本公開整體涉及電子設(shè)備，并且具體地涉及用于表示電子設(shè)備的用戶的系統(tǒng)、方法和設(shè)備。

背景技術(shù)：

1、在用戶使用電子設(shè)備時，該設(shè)備可能處于阻擋在該用戶周圍的其他人看到該用戶的一部分的位置。例如，當(dāng)用戶將設(shè)備舉起在其面部前方或穿戴設(shè)備(例如，諸如頭戴式設(shè)備(hmd))時，在相同房間/環(huán)境中的其他人可能無法看到用戶的面部的眼睛或其他部分。

技術(shù)實現(xiàn)思路

1、本文公開的各個具體實施包括在設(shè)備用戶的設(shè)備的面向外顯示器上呈現(xiàn)該用戶的面部部分(其原本將被定位在該用戶的面部前面的hmd、可穿戴設(shè)備或其他電子設(shè)備遮擋)的視圖的設(shè)備、系統(tǒng)和方法。顯示該用戶的面部部分可被配置為使觀察者能夠看到該用戶的當(dāng)前眼睛和面部表情，如同該觀察者正在透過透明設(shè)備看到該用戶的實際眼睛和面部表情一樣。使用各種技術(shù)來提供該用戶的面部的視圖，該視圖是寫實的，示出該用戶的當(dāng)前面部外觀和/或以3d空間準(zhǔn)確度呈現(xiàn)該面部部分，例如對于在用戶周圍的不同觀察視點，每只眼睛看起來處于其實際3d位置。

2、一些具體實施將實時數(shù)據(jù)(例如，基于實時眼睛相機數(shù)據(jù))與登記數(shù)據(jù)(例如，基于在面部未被設(shè)備遮擋的情況下并在一個或多個照明條件下該面部的視圖的所登記面板)組合?？苫趯⑦@種組合數(shù)據(jù)(例如，表示用戶的面部部分的當(dāng)前外觀的所推斷圖像/面板)映射到3d網(wǎng)格并接著針對觀察視點提供網(wǎng)格的視圖(在外部顯示器上)來提供視圖，使得眼睛(以及面部的其他部分)對從該觀察視點看向該設(shè)備的觀察者來說看起來就像眼睛(以及面部的其他部分)在其實際3d位置一樣。

3、通常，本說明書中描述的主題的一個創(chuàng)新方面可體現(xiàn)于在具有處理器的電子設(shè)備處執(zhí)行的操作的方法中。這種方法可涉及獲得對應(yīng)于面部部分的當(dāng)前外觀的第一數(shù)據(jù)，例如在用戶穿戴hmd時捕獲的描繪每只眼睛和其他面部區(qū)域的實時眼睛相機或其他傳感器數(shù)據(jù)。第一數(shù)據(jù)可基于經(jīng)由一個或多個傳感器(諸如hmd上捕獲對應(yīng)于用戶的面部或其他身體部分的ir或彩色圖像、深度數(shù)據(jù)、運動數(shù)據(jù)等的一個或多個面向內(nèi)和/或面向外傳感器)實時捕獲的第一傳感器數(shù)據(jù)。

4、該方法還獲得對應(yīng)于用戶外觀屬性的第二數(shù)據(jù)，其中該用戶外觀屬性基于對應(yīng)于面部部分的先前外觀的第二傳感器數(shù)據(jù)。在一個示例中，用戶外觀屬性描繪用戶的皮膚顏色，例如提供或基于來自先前執(zhí)行的登記過程的用戶的面部的彩色圖像。用戶外觀屬性可提供關(guān)于第一數(shù)據(jù)中也未捕獲到的用戶的外觀的信息。例如，第一數(shù)據(jù)可限于提供很少顏色信息的ir數(shù)據(jù)，而第二數(shù)據(jù)可提供關(guān)于用戶的面部、眼睛、皮膚、眉毛、睫毛等的顏色的顏色信息。第二數(shù)據(jù)可對應(yīng)于先前獲得的登記數(shù)據(jù)的集，諸如描繪眼睛和周圍面部區(qū)域的登記3d網(wǎng)格和/或正投影。第二數(shù)據(jù)的這種正投影或其他方面可對應(yīng)于基于以下項的圖像/面板：(a)在未穿戴設(shè)備時捕獲的圖像，使得面部的以其他方式遮擋的部分被描繪并呈彩色，以及/或者(b)對應(yīng)于不同照明條件/方向的圖像，例如其中對于不同照明條件的集中的每個照明條件中性眼睛睜開并直視前方的所登記面板。

5、該方法基于第一數(shù)據(jù)和第二數(shù)據(jù)來生成面部部分的表示。例如，在一些具體實施中，這可涉及渲染神經(jīng)網(wǎng)絡(luò)(或者其他機器學(xué)習(xí)模型)，該渲染神經(jīng)網(wǎng)絡(luò)輸入包括實時眼睛相機數(shù)據(jù)的第一數(shù)據(jù)和包括先前面部外觀屬性數(shù)據(jù)的第二數(shù)據(jù)以輸出內(nèi)容，例如表示具有該外觀屬性的面部部分的當(dāng)前外觀的圖像/所推斷面板。這可涉及將實時眼睛相機數(shù)據(jù)(例如，示出在其當(dāng)前凝視方向上的眼睛)與中性眼睛相機數(shù)據(jù)(例如，示出具有直視前方凝視方向的眼睛)比較以提取眼睛運動并使用該運動來產(chǎn)生內(nèi)容，例如圖像/所推斷面板。

6、該方法在可穿戴電子設(shè)備的面向外顯示器上呈現(xiàn)面部部分的表示。面部部分的表示(例如，所推斷面板)被映射到3d面部模型(例如，基于登記數(shù)據(jù)生成并對應(yīng)于面部的3d形狀的網(wǎng)格)并被顯示在設(shè)備前面。通過基于觀察視點/方向來顯示內(nèi)容，在面向外顯示器上顯示的視圖可顯示眼睛看起來在其準(zhǔn)確3d位置處?？赏瑫r地顯示針對多個觀察視點/方向的視圖，例如使用透鏡式顯示器來呈現(xiàn)各自僅從特定且對應(yīng)的觀察視點/方向可見的多個視圖。

7、面向外顯示器可以是平坦平面顯示器、平坦彎曲顯示器或具有任何其他形狀，并且呈現(xiàn)的視圖可考慮該顯示器形狀。

8、視圖可描繪原本將被設(shè)備遮擋的眼睛和周圍區(qū)域的當(dāng)前外觀。如果設(shè)備移動(例如，在用戶的臉部上上下移動)，則在視圖相應(yīng)地進行調(diào)整時，眼睛看起來停留在對應(yīng)于它們的實際位置的相同位置。

9、表示還可被調(diào)整以限制鞏膜與皮膚之間的對比度以避免偽影，例如確保白色眼睛部分不比淺色皮膚區(qū)域看起來顯著更白以避免比真實眼睛更亮的外觀或其他令人反感的外觀。

10、根據(jù)一些具體實施中，非暫態(tài)計算機可讀存儲介質(zhì)中存儲有指令，該指令是計算機可執(zhí)行的以執(zhí)行或使得執(zhí)行本文所述的任何方法。根據(jù)一些具體實施，一種設(shè)備包括一個或多個處理器、非暫態(tài)存儲器以及一個或多個程序；該一個或多個程序被存儲在非暫態(tài)存儲器中并且被配置為由一個或多個處理器執(zhí)行，并且該一個或多個程序包括用于執(zhí)行或使得執(zhí)行本文所述的方法中的任一種方法的指令。

技術(shù)特征：

1.一種方法，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其中所述第二數(shù)據(jù)對應(yīng)于先前獲得的登記數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其中所述第二數(shù)據(jù)包括表示所述面部部分的3d形狀的3d網(wǎng)格，所述3d網(wǎng)格是基于在未穿戴電子設(shè)備時捕獲的用戶圖像生成的。

4.根據(jù)權(quán)利要求1所述的方法，其中所述第二數(shù)據(jù)包括描繪所述面部部分的正投影，所述正投影是基于在未穿戴電子設(shè)備時捕獲的用戶圖像生成的。

5.根據(jù)權(quán)利要求1所述的方法，其中所述第二數(shù)據(jù)包括描繪在不同照明條件下的所述面部部分的多個正投影的集。

6.根據(jù)權(quán)利要求5所述的方法，其中所述不同照明條件對應(yīng)于從不同主光源方向?qū)λ雒娌康恼樟痢?/p>

7.根據(jù)權(quán)利要求5所述的方法，其中所述正投影描繪中性眼睛睜開并直視前方的所述面部部分。

8.根據(jù)權(quán)利要求1所述的方法，其中用戶外觀屬性對應(yīng)于所述第一傳感器數(shù)據(jù)中未描繪的用戶皮膚顏色或用戶眼睛顏色。

9.根據(jù)權(quán)利要求1所述的方法，其中用戶外觀屬性對應(yīng)于所述面部部分的未在所述第一傳感器數(shù)據(jù)中描繪的一部分。

10.根據(jù)權(quán)利要求1所述的方法，其中生成所述面部部分的所述表示包括將所述第一數(shù)據(jù)和所述第二數(shù)據(jù)輸入經(jīng)訓(xùn)練以通過將所述當(dāng)前外觀與所述用戶外觀屬性組合來輸出所述面部部分的所述表示的神經(jīng)網(wǎng)絡(luò)。

11.根據(jù)權(quán)利要求10所述的方法，其中生成所述面部部分的所述表示包括：

12.根據(jù)權(quán)利要求11所述的方法，還包括將中性眼睛相機數(shù)據(jù)輸入所述渲染過程。

13.根據(jù)權(quán)利要求12所述的方法，其中生成所述面部部分的所述表示包括基于所述實時眼睛相機數(shù)據(jù)和所述中性眼睛相機數(shù)據(jù)來確定改變。

14.根據(jù)權(quán)利要求11所述的方法，其中輸入描繪所述面部部分的所述2d圖像包括輸入描繪在對應(yīng)于當(dāng)前照明條件的照明條件下的所述面部部分的2d圖像。

15.根據(jù)權(quán)利要求14所述的方法，其中輸入描繪所述面部部分的所述2d圖像包括從描繪在不同照明條件下的所述面部部分的2d圖像的集中選擇描繪所述面部部分的所述2d圖像，所述選擇基于所述當(dāng)前照明條件。

16.根據(jù)權(quán)利要求1所述的方法，其中在所述可穿戴電子設(shè)備的所述面向外顯示器上呈現(xiàn)所述面部部分的所述表示包括：

17.根據(jù)權(quán)利要求16所述的方法，其中所述面部部分的所述3d表示是基于在未穿戴電子設(shè)備時捕獲的先前獲得的傳感器數(shù)據(jù)生成的。

18.根據(jù)權(quán)利要求16所述的方法，其中所述視圖描繪所述視圖，使得在所述視點處的觀看者觀察所述面部部分的在3d位置的眼睛和周圍部分，所述3d位置對應(yīng)于所述眼睛和所述周圍部分的實際3d位置。

19.根據(jù)權(quán)利要求16所述的方法，還包括經(jīng)由透鏡式顯示器提供所述面部部分的不同視圖。

20.根據(jù)權(quán)利要求16所述的方法，其中基于確定觀察者相對于所述可穿戴電子設(shè)備的相對位置來確定所述視點。

21.根據(jù)權(quán)利要求1所述的方法，其中所述可穿戴電子設(shè)備包括頭戴式設(shè)備(hmd)，當(dāng)在穿戴所述電子設(shè)備時，所述頭戴式設(shè)備阻擋對所述面部部分的直接觀看。

22.一種可穿戴設(shè)備，包括：

23.根據(jù)權(quán)利要求22所述的可穿戴設(shè)備，其中所述第二數(shù)據(jù)對應(yīng)于先前獲得的登記數(shù)據(jù)。

24.根據(jù)權(quán)利要求22所述的可穿戴設(shè)備，其中所述第二數(shù)據(jù)包括表示所述面部部分的3d形狀的3d網(wǎng)格，所述3d網(wǎng)格是基于在未穿戴電子設(shè)備時捕獲的用戶圖像生成的。

25.一種非暫態(tài)計算機可讀存儲介質(zhì)，所述非暫態(tài)計算機可讀存儲介質(zhì)存儲能夠在包括一個或多個處理器的設(shè)備上執(zhí)行以執(zhí)行操作的程序指令，所述操作包括：

技術(shù)總結(jié)
提供了一種用于外部顯示器的所登記用戶的面部的渲染。本文公開的各個具體實施包括在設(shè)備用戶的設(shè)備的面向外顯示器上呈現(xiàn)該用戶的原本會被定位在面部前面的電子設(shè)備遮擋的面部部分的視圖的設(shè)備、系統(tǒng)和方法。該用戶的面部部分的該視圖可被配置為使觀察者能夠看到該用戶的眼睛和面部表情，如同該觀察者正在透過透明設(shè)備看到該用戶的實際眼睛和面部表情一樣。使用各種技術(shù)來提供該用戶的面部的視圖，該視圖是寫實的，示出該用戶的當(dāng)前面部外觀和/或以3D空間準(zhǔn)確度呈現(xiàn)該面部部分，例如每只眼睛看起來處于其實際3D位置。一些具體實施將實時數(shù)據(jù)與先前獲得的數(shù)據(jù)組合，例如將實時數(shù)據(jù)與登記數(shù)據(jù)相組合。

技術(shù)研發(fā)人員：G·M·卡德特,關(guān)少波,O·蘇亞雷斯,G·L·法伊夫,宋洋
受保護的技術(shù)使用者：蘋果公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10