本發(fā)明涉及虛擬現實社交實現技術領域，具體涉及一種基于實時人體三維重建的vr社交系統及其方法。

背景技術：

2015年9月，在altspacevr的發(fā)布會上，altspace宣布將支持三星gearvr頭盔，然而它并沒有直播創(chuàng)始人兼ceo恩里克·羅莫的演講，而是羅莫的虛擬形象與一群記者的虛擬形象在一個虛擬的環(huán)境中一起交談，其中虛擬形象的動作是由羅莫和這群記者動作的映射而來的。同樣，2016年10月，在oculusconnect3的開發(fā)者大會上，扎克伯格和他的同事帶上了oculusrift頭盔和oculustouch手柄在虛擬環(huán)境中做了一段vr社交的實際操作演示。這些vr社交的技術都是針對社交對象的位置、方向、基本姿態(tài)、表情等的跟蹤，并不能讓真實的人體對象在虛擬三維場景當中重現。相反，人體三維重建技術能夠讓真實的人體對象在虛擬三維場景中重現，并且能很好地解決在vr社交中看不到真實社交對象的問題。關于人體三維重建，目前主要分為多個rgb-d傳感器配準融合的方法和單個rgb-d傳感器移動掃描的方法。第一種，比如cyberware公司研制的兩款全身彩色三維掃描儀產品wb4和wbx，通過四個掃描頭從頭到腳進行三維測量，在幾十秒的時間內創(chuàng)建一個準確的三維數據集；第二種，比如微軟alexanderweiss等人研發(fā)的基于紅外線的深度傳感器kinect，通過移動單個kinect傳感器掃描人體來獲取整個三維人體模型。這兩種方法都是可以實現對人體模型的重建，但不能實時重建動態(tài)的人體。

鑒于以上問題，本方案提出一種基于實時人體三維重建的vr社交系統。首先，系統主要包含終端和云端兩大部分。第一，終端涉及到rgb-d傳感器和頭顯數據采集、頭顯數據處理、數據打包編碼、數據同步傳輸、同步接受云端數據和解碼分類云端數據；第二，云端涉及到三維場景數據處理、終端數據處理、數據打包編碼、數據同步傳輸、同步接受終端數據和解碼分類終端數據。其次，系統主要包含人體三維重建、場景三維重建、位姿獲取等技術。

vr社交活動需要將各個用戶進行虛擬現實化，其中最主要的即是要將人體和物體實時投影到虛擬場景，然而現有技術未能魯棒的和真實的完成實時投影。

技術實現要素：

針對上述現有技術，本發(fā)明目的在于提供一種基于實時人體三維重建的vr社交系統及其方法，解決現有技術vr社交活動中由于用戶配帶頭顯遮擋了臉部導致的人體三維重建時無法實時生成臉部點云等技術問題。

為達到上述目的，本發(fā)明采用的技術方案如下：

鑒于基于骨骼追蹤的vr社交系統缺乏真實感和沉浸感等問題，本發(fā)明不僅能讓每個社交對象通過人體定位自由控制自己在虛擬場景中的位置，也能讓每個社交對象通過位姿自由控制自己在頭顯中看到的視角，還能通過實時人體三維重建看到自己和其他社交對象；此外，本發(fā)明還可用于vr社交、會議、游戲以及醫(yī)學研究等領域。

一種基于實時人體三維重建的vr社交系統，包括：

終端，用于三維場景選擇、在區(qū)域內采集用戶未帶頭顯時的人體離線編碼數據、在區(qū)域內實時采集人體編碼數據和顯示融合場景的三維人體；

云端，用于在所述終端選擇的場景中重建人體，接收由所述終端采集的人體離線編碼數據和三維場景選擇指令；

所述云端，離線解碼分類人體離線編碼數據、由解碼分類得到的離線數據重建三維人體模型且在三維人體模型中獲得臉部三維坐標范圍；

所述云端，還同步接收由所述終端采集的人體編碼數據和定位數據、解碼分類人體編碼數據、由解碼分類得到的實時數據重建實時三維人體、由三維人體模型臉部配準并替換實時三維人體臉部且由定位數據導入配準的實時三維人體至選擇指令對應的三維場景；

所述終端，同步接收由所述云端打包輸出關于配準實時三維人體和三維場景的融合數據流。

上述方案中，所述終端，還采集其用戶的位姿數據且由位姿數據按視角顯示融合數據流。

上述方案中，所述終端，包括：

rgb-d傳感器數據獲取模塊，采集區(qū)域內rgb圖像、深度圖像和人體骨骼點數據；

第一數據打包編碼模塊，用于與云端交互的打包編碼接口；

第一初始化模塊，采集并關聯各個rgb-d傳感器之間的位置轉換矩陣和rgb-d傳感器的相機內參至由rgb-d傳感器數據獲取模塊所采集的rgb圖像、深度圖像和人體骨骼點數據，生成人體編碼數據或人體離線編碼數據且通過第一數據打包編碼模塊傳輸人體編碼數據或人體離線編碼數據至云端；

第一數據解碼分類模塊，用于與云端交互的解碼分類接口，對云端所輸出配準實時三維人體的點云數據和三維場景的點云數據解碼分類，且傳輸解碼分類后三維場景的點云數據至第一初始化模塊；

頭顯數據獲取模塊，采集位姿數據；

頭顯數據處理模塊，用于視角處理和顯示驅動，由位姿數據按視角在三維場景內驅動顯示配準實時三維人體。

上述方案中，所述云端，包括：

第二數據解碼分類模塊，用于與終端交互的解碼分類接口；

第二數據打包編碼模塊，用于與終端交互的打包編碼接口；

三維場景數據庫重建模塊，用于提供三維場景選擇，對應選擇指令重建三維場景；

第二初始化模塊，調用第二數據解碼分類模塊對位置轉換矩陣、相機內參、rgb圖像、深度圖像和人體骨骼點數據解碼分類，生成三維人體模型并設置其初始三維坐標，保存位置轉換矩陣、相機內參和三維人體模型的骨骼點數據，且調用第二數據打包編碼模塊傳輸三維場景的點云數據至終端；

實時三維人體重建模塊，由rgb圖像、深度圖像、所保存的位置轉換矩陣和相機內參生成實時三維人體的點云數據；

實時三維人體重建優(yōu)化模塊，使用三維人體模型臉部和實時三維人體臉部骨骼點將三維人體模型臉部配準并替換實時三維人體臉部，生成配準實時三維人體的點云數據；

人體實時定位模塊，用于獲取三維場景中用戶的三維坐標，由第二初始化模塊設定的初始三維坐標和配準實時三維人體的點云數據獲得用戶當前的位置數據；

所述第二數據打包編碼模塊，打包編碼后同步傳輸配準實時三維人體的點云數據和位置數據至終端。

一種基于實時人體三維重建的vr社交方法，包括以下步驟：

步驟1、獲取用戶未帶頭顯時的人體離線編碼數據，再根據人體離線編碼數據在三維場景中建立出三維人體模型并確定出三維人體模型的臉部三維坐標范圍和臉部骨骼點數據；

步驟2、選擇用戶的初始位置并獲取用戶帶頭顯時的人體編碼數據，接著根據人體編碼數據建立出實時三維人體，然后使用三維人體模型臉部配準并替換實時三維人體臉部，獲得配準實時三維人體，根據初始位置對應用戶將配準實時三維人體導入至三維場景。

上述方法中，所述的步驟1，包括以下步驟：

步驟1.1、選擇用戶的初始位置后，在終端，采集用戶未帶頭顯時的rgb圖像、深度圖像、傳感器的相機內參和人體模型骨骼點數據，并通過立體標定獲取傳感器之間的位置轉換矩陣；

步驟1.2、在終端，將rgb圖像、深度圖像、傳感器相機內參、位置轉換矩陣和人體模型骨骼點數據打包編碼，生成人體離線編碼數據并發(fā)送至云端；

步驟1.3、在云端，對人體離線編碼數據依次進行解碼、分類和人體模型三維重建，得到三維人體模型的骨骼點數據，再保存三維人體模型的骨骼點數據、傳感器的相機內參和位置轉換矩陣，并確定出三維人體模型的臉部三維坐標范圍和臉部骨骼點數據。

上述方法中，所述的步驟2，包括以下步驟:

步驟2.1、在終端，采集并打包編碼用戶帶頭顯時的rgb圖像和深度圖像，生成人體編碼數據并發(fā)送至云端；

步驟2.2、對人體編碼數據依次進行解碼和分類，在云端得到rgb圖像和深度圖像；

步驟2.3、利用相機內參把深度圖像和rgb圖像配準，接著對深度圖像進行平滑、降噪，然后利用降噪的深度圖像結合所保存的相機內參和位置轉換矩陣對rgb圖像進行人體前景提取操作，得到實時三維人體的點云數據；

步驟2.4、在臉部三維坐標范圍內，利用三維人體模型臉部和實時三維人體臉部骨骼點數據將三維人體模型臉部和實時三維人體臉部進行粗配準、icp精配準和去冗余，得到配準實時三維人體；

步驟2.5、根據初始位置對應用戶將配準實時三維人體導入至三維場景。

上述方法中，所述的步驟2.3，在得到實時三維人體的點云數據之前還包括步驟：

步驟①、在人體前景提取操作后，生成各個視角的實時三維人體點云數據；

步驟②、對各個視角的實時三維人體點云數據進行降噪；

步驟③、結合位置矩陣對降噪后各個視角的點云數據進行粗配準，然后利用全局配準對各個視角的點云數據進行精配準，再對精配準后各個視角的點云數據去冗余后，得到完整的實時三維人體的點云數據。

與現有技術相比，本發(fā)明的有益效果：

本發(fā)明克服了現有技術中采集域內在社交對象不取下頭顯時用戶本身無法看到社交對象臉部或在不取下頭顯時用戶本身無法看到自己臉部的技術壁壘；

(1)本發(fā)明將實時人體三維重建方法應用到vr社交系統，與利用骨骼追蹤和表情識別方法相比具有更強的沉浸感和真實性；

(2)本發(fā)明中通過人體定位和位姿獲取方法，讓每個社交對象不僅能夠通過腳步移動自由控制其在虛擬場景中的位置，還能通過頭部姿態(tài)變化自由控制在頭顯中看到的視角；

(3)本發(fā)明中使用了初始化三維人體模型重建的方法，解決了在人體實時三維重建過程中頭顯遮擋所導致的人臉缺失問題；

(4)此外，本發(fā)明還提出了采用rgb-d傳感器對任意真實場景進行三維重建來建立場景數據庫，并且應用到vr社交系統中。

附圖說明

圖1為本發(fā)明的技術流程圖；

圖2為三維場景數據庫建立過程示意圖；

圖3為初始化終端獲取場景點云過程示意圖；

圖4為初始化人體模型、傳感器相機參數、傳感器之間的位置轉換矩陣和人體模型骨骼點過程示意圖；

圖5為云端獲取終端rgb-d傳感器數據過程示意圖；

圖6為實時人體定位過程示意圖；

圖7為實時人體三維重建過程示意圖；

圖8為實時人體三維重建優(yōu)化過程示意圖；

圖9為人體點云導入場景過程示意圖；

圖10為實時頭顯位姿獲取過程示意圖。

具體實施方式

本說明書中公開的所有特征，或公開的所有方法或過程中的步驟，除了互相排斥的特征和/或步驟以外，均可以以任何方式組合。

一種基于實時人體三維重建的vr社交系統。系統主要包含終端和云端兩大部分。

首先，終端部分包含初始化模塊、rgb-d傳感器數據獲取模塊、頭顯數據獲取模塊、頭顯數據處理模塊、終端數據打包編碼模塊和終端數據解碼分類模塊。初始化模塊的作用是獲取rgb圖像、深度圖像、傳感器相機內參、傳感器之間的位置轉換矩陣和人體模型骨骼點數據，打包編碼后同步傳輸到云端，解碼云端傳輸過來的三維場景的點云數據。rgb-d傳感器數據獲取模塊的作用是獲取rgb圖像、深度圖像和人體骨骼點數據。頭顯數據獲取模塊的作用是獲取頭顯位姿數據。頭顯數據處理模塊作用是通過終端處理器對頭顯姿勢數據進行處理，讓社交對象帶上頭顯后能實現對視角的自由控制。終端數據打包編碼模塊作用是通過終端處理器對rgb圖像、深度圖像和人體骨骼點數據進行打包編碼，然后同步傳輸到云端。終端數據解碼分類模塊的作用是通過終端處理器同步獲取所有人體點云數據和位置數據，然后解碼分類。

然后，云端部分包含三維場景數據庫重建模塊、初始化模塊、云端數據解碼分類模塊、實時三維人體重建模塊、實時三維人體重建優(yōu)化模塊、人體實時定位模塊和云端數據打包編碼模塊。三維場景數據庫重建模塊主要通過rgb-d傳感器掃描和unity3d場景搭建來建立三維場景重建數據庫。初始化模塊的作用是把終端傳輸過來的rgb圖像、深度圖像、傳感器相機內參、傳感器之間的位置轉換矩陣和人體模型骨骼點數據在云端處理器同步獲取和解碼分類，完成人體模型三維重建，把傳感器相機內參、傳感器之間的位置轉換矩陣和人體模型骨骼點數據保存在云端，設置所有社交對象在三維場景的初始位置，對三維場景編碼并同步傳輸到終端。云端數據解碼分類模塊的作用是把終端傳輸過來的rgb圖像、深度圖像和人體骨骼點數據在云端處理器同步獲取，然后解碼分類。實時三維人體重建模塊的作用是利用rgb圖像、深度圖像、云端保存的傳感器相機內參和傳感器之間的位置轉換矩陣數據來實現實時三維人體重建。實時三維人體重建優(yōu)化模塊的作用是利用三維人體重建模型來解決實時三維人體重建導致的臉部點云缺失問題。實時人體定位模塊的作用是利用人體骨骼點數據和社交對象在三維場景的初始位置來獲取社交對象的場景三維坐標。云端數據打包編碼模塊的作用是通過云端處理器對人體點云數據和位置數據編碼打包，并且同步傳輸到終端。

下面結合附圖對本發(fā)明做進一步說明：

實施例1

圖1描述了本發(fā)明的具體實施流程。由于本系統采用的是實時人體三維重建的方法來實現vr社交，為了減少終端處理器的負擔，本發(fā)明采用在云端實現場景三維重建和人體三維重建的方式。此外，為了完成三維場景數據庫的建立、終端獲取三維場景點云、三維人體模型重建，保存?zhèn)鞲衅飨鄼C內參、傳感器之間的位置轉換矩陣、人體模型骨骼點數據，設置所有社交對象在三維場景的初始位置，首先要對系統進行初始化。

(1)三維場景數據庫建立過程如圖2，場景重建是指在vr社交系統活動之外的時間來進行數據采集實現場景重建。第一種方法是通過移動rgb-d傳感器對真實場景實時掃描，然后重建出整個真實場景；第二種方法是利用unity3d平臺搭建虛擬場景。并且利用這兩種場景重建方法重建出多種類型和不同風格的三維場景，實現三維場景數據庫的建立。

(2)初始化終端獲取場景點云過程如圖3，在vr社交活動建立時，首先，活動發(fā)起者會在三維場景數據庫中為所有社交對象選擇一個三維場景；然后，云端會把發(fā)起者選擇的三維場景編碼；接著，傳輸到終端解碼；最后，等待三維人體點云的導入。

(3)初始化人體模型、傳感器相機參數、多個傳感器位置轉換矩陣和人體模型骨骼點過程如圖4，整體步驟可以分為：1.在社交對象沒有帶頭顯的情況下通過rgb-d傳感器采集rgb圖像、深度圖像、傳感器相機內參和人體模型骨骼點數據；2.通過立體標定來獲取傳感器之間的位置轉換矩陣；3.打包編碼rgb圖像、深度圖像、傳感器相機內參、傳感器之間的位置轉換矩陣和人體模型骨骼點數據；4.把打包和編碼的數據傳輸到云端；5.解碼分類出所有數據；6.在云端完成人體模型三維重建，保存?zhèn)鞲衅飨鄼C內參、傳感器之間的位置轉換矩陣和人體模型骨骼點數據；7.人體模型三維重建和實時人體三維重建的過程是一樣的，在實時人體三維重建過程中會詳細說明。

完成人體模型和傳感器相機參數初始化后，最后還要初始化所有社交對象在三維場景的初始位置，本發(fā)明提供和社交對象人數相同的位置，通過社交對象自由選擇來確定其在三維場景的初始位置。

vr社交系統初始化完成之后，系統接下來會實現實時數據傳輸、實時人體定位、實時人體三維重建和實時頭顯位姿獲取等過程。

(4)云端獲取終端數據過程如圖5，首先，從rgb-d傳感器獲取rgb圖像、深度圖像和人體骨骼點數據；然后，進行統一打包編碼；最后，將處理后的數據同步傳輸到云端。

云端獲取終端數據后，需要利用獲取的終端數據和初始化數據實現實時人體定位和實時人體三維重建。獲取的終端數據包含rgb圖像、深度圖像和人體骨骼點數據。初始化數據包含傳感器相機內參、傳感器之間的位置轉換矩陣、人體模型骨骼點和社交對象初始位置數據。

(5)實時人體定位過程如圖6，首先，把終端傳輸過來的數據同步接收；然后，經過解碼后得到人體骨骼點數據；最后，人體骨骼點數據包含了rgb相機坐標系下人體骨骼點的三維坐標，根據初始化時社交對象選擇的初始位置，把rgb相機坐標系下人體骨骼點的三維坐標轉換到場景坐標系下的三維坐標。

(6)實時人體三維重建過程如圖7，整體步驟可以分為：1.把終端傳輸過來的數據同步接收并解碼分類出rgb圖像和深度圖像；2.利用傳感器相機內參把深度圖像配準到rgb圖像；3.對配準的深度圖進行平滑和降噪；4.利用處理過的深度圖像實現rgb圖像人體前景提??；5.通過人體前景處理的rgb圖像、處理過的深度圖像和相機內外參數數據生成單個視角的人體點云；6.對多個視角的人體點云進行降噪；7.利用傳感器之間的轉換矩陣對多個視角點云進行粗配準；8.利用全局配準對多視角點云進行精配準；9.對配準后的點云去冗余生成完整的人體點云。

由于頭顯對臉部有遮擋，導致實時人體三維重建不能獲取臉部點云信息，本發(fā)明利用初始時人體模型三維重建的人體三維臉部點云來修復實時重建的人體三維臉部點云，完成實時人體三維重建的優(yōu)化。

實時人體三維重建優(yōu)化過程如圖8，整體步驟可以分為：1.通過人體模型骨骼點獲取人體模型點云臉部的三維坐標范圍，然后利用臉部三維坐標范圍提取人體模型的臉部點云；2.把終端傳輸過來的數據同步接收并解碼分類出人體骨骼點數據，然后利用臉部三維坐標范圍去掉人體的臉部點云；3.利用人體模型臉部骨骼點和人體臉部骨骼點的三維坐標，實現人體模型的臉部點云和人體的臉部區(qū)域間的粗配準。4.利用icp方法對點云進行精配準；9.對配準后的人體點云去冗余；

在完成實時人體定位和實時人體三維重建優(yōu)化后，需要把云端處理后的數據發(fā)送給終端，并在頭顯中顯示。

(7)人體點云導入場景過程如圖9，首先，把實時人體定位后的人體位置數據和實時人體三維重建優(yōu)化后的人體三維點云打包編碼，并同步傳輸到終端；然后，在終端同步接收并解碼分類出人體位置數據和人體三維點云；最后，根據人體位置數據把人體三維點云數據導入三維場景中。

實時頭顯位姿獲取過程如圖10，首先，采集頭顯中陀螺儀的數據；然后，對陀螺儀數據進行位姿處理；最后，根據處理結果對頭顯中顯示的視角進行實時控制。

以上所述，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何屬于本技術領域的技術人員在本發(fā)明揭露的技術范圍內，可輕易想到的變化或替換，都應涵蓋在本發(fā)明的保護范圍之內。