本公開涉及在虛擬現(xiàn)實(virtual?reality，vr)應(yīng)用和增強現(xiàn)實(augmentedreality，ar)應(yīng)用中生成化身。更具體地，本公開提供了用于vr/ar應(yīng)用的下半身化身重建。

背景技術(shù)：

1、在vr/ar應(yīng)用的領(lǐng)域，穿戴頭戴式設(shè)備(headset)的用戶可以根據(jù)他們的面部動作和對沉浸式現(xiàn)實環(huán)境的即時反應(yīng)來實時塑造他們自己的化身。然而，用戶的全身形象通常是卡通化的、不現(xiàn)實的，并且與用戶當(dāng)前的活動、姿勢和舉止幾乎沒有聯(lián)系。用戶的下半身形象的保真度的缺乏降低了用戶的沉浸式體驗。

技術(shù)實現(xiàn)思路

1、在第一實施例中，一種計算機實現(xiàn)的方法包括：為頭戴式設(shè)備的用戶生成上半身化身；追蹤該頭戴式設(shè)備的該用戶的下半身姿勢；將該下半身姿勢重構(gòu)(retarget)成下半身模型；以及將該下半身模型與該上半身化身合并，以形成該頭戴式設(shè)備的該用戶的全身化身。

2、在第二實施例中，一種系統(tǒng)包括：存儲器，該存儲器存儲多個指令；以及一個或多個處理器，該一個或多個處理器被配置成執(zhí)行該多個指令以使該系統(tǒng)執(zhí)行操作。這些操作包括：為頭戴式設(shè)備的用戶生成上半身化身；追蹤該頭戴式設(shè)備的該用戶的下半身姿勢；將該下半身姿勢重構(gòu)成下半身模型；以及將該下半身模型與該上半身化身合并，以形成該頭戴式設(shè)備的該用戶的全身化身。

3、在第三實施例中，一種用于訓(xùn)練模型以向虛擬現(xiàn)實頭戴式設(shè)備中的自動立體顯示器提供主體的視圖的計算機實現(xiàn)的方法包括：根據(jù)捕捉腳本，采集處于不同姿勢的一個或多個主體的下半身的多個圖像；使用該一個或多個主體的該下半身的多個圖像更新三維下半身模型中的姿勢編碼器和運動編碼器；以及利用該三維下半身模型生成新主體的下半身的合成視圖。

4、在另一實施例中，一種非暫態(tài)計算機可讀介質(zhì)，該非暫態(tài)計算機可讀介質(zhì)存儲指令，這些指令在由計算機中的處理器執(zhí)行時使得該計算機執(zhí)行一種方法。該方法包括：為頭戴式設(shè)備的用戶生成上半身化身；追蹤該頭戴式設(shè)備的該用戶的下半身姿勢；將該下半身姿勢重構(gòu)成下半身模型；以及將該下半身模型與該上半身化身合并，以形成該頭戴式設(shè)備的該用戶的全身化身。

5、在又一實施例中，一種系統(tǒng)包括：第一裝置，該第一裝置用于存儲指令；以及第二裝置，該第二裝置用于執(zhí)行這些指令以使該系統(tǒng)執(zhí)行一種方法。該方法包括：為頭戴式設(shè)備的用戶生成上半身化身；追蹤該頭戴式設(shè)備的該用戶的下半身姿勢；將該下半身姿勢重構(gòu)成下半身模型；以及將該下半身模型與該上半身化身合并，以形成該頭戴式設(shè)備的該用戶的全身化身。

6、考慮到以下內(nèi)容，這些實施例和其它實施例對于本領(lǐng)域普通技術(shù)人員來說是清楚的。

技術(shù)特征：

1.一種計算機實現(xiàn)的方法，所述計算機實現(xiàn)的方法包括：

2.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中，生成所述上半身化身包括：利用安裝在所述頭戴式設(shè)備上的傳感器追蹤所述用戶的面部動作。

3.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中，追蹤所述用戶的所述下半身姿勢包括：利用安裝在所述頭戴式設(shè)備上的攝像頭采集所述用戶的手臂、腿部、手部或腳部中的至少一者的圖像。

4.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中，追蹤所述用戶的所述下半身姿勢包括：接收來自移動設(shè)備的所述用戶的所述下半身姿勢的圖像。

5.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中，追蹤所述用戶的所述下半身姿勢包括：接收來自所述頭戴式設(shè)備中的慣性測量單元的加速度信號。

6.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中，追蹤所述用戶的所述下半身姿勢包括：根據(jù)來自所述頭戴式設(shè)備中的慣性運動單元的加速度信號的頻率來識別跑步運動或步行運動。

7.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中，追蹤所述用戶的所述下半身姿勢包括：識別所述用戶的坐姿或站姿。

8.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中，追蹤所述用戶的所述下半身姿勢包括：基于對下半身運動的物理約束來確定所述下半身姿勢。

9.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中，將所述下半身姿勢重構(gòu)成所述下半身模型包括：利用所述下半身姿勢作為所述下半身模型中的損失函數(shù)的地面真值基準(zhǔn)來優(yōu)化所述損失函數(shù)。

10.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中，將所述下半身模型與所述上半身化身合并包括：消除所述下半身模型與沉浸式現(xiàn)實應(yīng)用中的對象的對象碰撞。

11.一種系統(tǒng)，所述系統(tǒng)包括：

12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，為了生成所述上半身化身，所述一個或多個處理器執(zhí)行用于利用安裝在所述頭戴式設(shè)備上的傳感器追蹤所述用戶的面部動作的多個指令。

13.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，為了追蹤所述用戶的所述下半身姿勢，所述一個或多個處理器執(zhí)行用于利用安裝在所述頭戴式設(shè)備上的攝像頭采集所述用戶的手臂、腿部、手部或腳部中的至少一者的圖像的多個指令。

14.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，為了追蹤所述用戶的所述下半身姿勢，所述一個或多個處理器執(zhí)行用于接收來自移動設(shè)備的所述用戶的所述下半身姿勢的圖像的多個指令。

15.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，為了追蹤所述用戶的所述下半身姿勢，所述一個或多個處理器執(zhí)行用于接收來自所述頭戴式設(shè)備中的慣性測量單元的加速度信號的指令。

16.一種用于訓(xùn)練模型以向虛擬現(xiàn)實頭戴式設(shè)備中的自動立體顯示器提供主體的視圖的計算機實現(xiàn)的方法，所述計算機實現(xiàn)的方法包括：

17.根據(jù)權(quán)利要求16所述的計算機實現(xiàn)的方法，其中，更新所述三維下半身模型中的所述運動編碼器包括：識別來自運動傳感器的指示所述一個或多個主體的所述不同姿勢的信號。

18.根據(jù)權(quán)利要求16所述的計算機實現(xiàn)的方法，其中，所述不同姿勢包括一個主體的健美姿勢，所述計算機實現(xiàn)的方法還包括：采集來自該主體的心率信號并且用所述心率信號更新所述運動編碼器。

19.根據(jù)權(quán)利要求16所述的計算機實現(xiàn)的方法，所述計算機實現(xiàn)的方法還包括：將所述三維下半身模型與所述新主體的上半身模型合并，以形成所述新主體的全身模型。

20.根據(jù)權(quán)利要求16所述的計算機實現(xiàn)的方法，所述計算機實現(xiàn)的方法還包括：將所述三維下半身模型提供給安裝在所述頭戴式設(shè)備中的沉浸式應(yīng)用。

技術(shù)總結(jié)
本發(fā)明涉及預(yù)測化身的下半身運動。提供了一種用于預(yù)測化身的下半身運動的方法。該方法包括：為頭戴式設(shè)備的用戶生成上半身化身；追蹤該頭戴式設(shè)備的該用戶的下半身姿勢；將該下半身姿勢重構(gòu)成下半身模型；以及將該下半身模型與該上半身化身合并，以形成該頭戴式設(shè)備的該用戶的全身化身。還提供了一種系統(tǒng)，該系統(tǒng)包括存儲器和處理器，該存儲器存儲多個指令，該處理器被配置成執(zhí)行該多個指令并且使該系統(tǒng)執(zhí)行上述方法。

技術(shù)研發(fā)人員：讓·查爾斯·巴贊,索菲恩·布阿齊茲
受保護的技術(shù)使用者：元平臺技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10