本申請涉及圖形處理領(lǐng)域，并且更具體地，涉及一種圖形處理方法、處理器和虛擬現(xiàn)實系統(tǒng)。

背景技術(shù)：

當前生成虛擬現(xiàn)實(virtualreality，vr)場景的一種主流技術(shù)是三維(threedimensional，3d)建模技術(shù)。3d建模技術(shù)生成vr場景主要是根據(jù)3d模型制作vr場景。在某些vr游戲產(chǎn)品中，vr場景主要是采用3d建模技術(shù)結(jié)合實時渲染技術(shù)完成的。用戶以vr頭戴式顯示設備，例如vr眼鏡或vr頭盔等，作為觀察媒體，融入到vr場景中，與vr場景中的人物或其他物體進行交互，從而得到真實的空間感受。最常見的例如過山車vr場景等。當前的3d建模技術(shù)在處理vr場景中的物體上雖然已經(jīng)能夠達到比較逼真的效果，但是還遠遠達不到用戶要求。

技術(shù)實現(xiàn)要素：

本申請?zhí)峁┮环N圖形處理方法、處理器和虛擬現(xiàn)實系統(tǒng)，能夠真實的展現(xiàn)實景物體，為用戶提供真實的臨場感，從而能夠提升用戶體驗。

第一方面，提供了一種圖形處理方法，包括：獲取用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息；根據(jù)所述左眼位置信息和所述右眼位置信息，從三維模型庫中確定出目標三維模型；根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，其中，所述多個視頻是分別從不同的拍攝位置拍攝的視頻；根據(jù)左眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染左眼畫面；根據(jù)右眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染右眼畫面；其中，所述左眼畫面和所述右眼畫面顯示在虛擬現(xiàn)實vr顯示器上時形成vr場景，所述vr場景中包括所述目標三維模型的圖像和所述目標視頻的圖像。

第一方面的圖形處理方法，根據(jù)用戶的左右眼的位置信息，確定目標三維模型并且根據(jù)預先拍攝的多個視頻確定目標視頻，通過實時渲染的方式渲染技術(shù)分別渲染左眼畫面和右眼畫面，從而顯示vr場景，其中，vr場景中包括目標三維模型的圖像和目標視頻的圖像，該目標視頻可以真實的展現(xiàn)實景，在保持整個vr場景可交互性的基礎(chǔ)上，為用戶提供真實的臨場感，從而能夠提升用戶體驗。

在第一方面的一種可能的實現(xiàn)方式中，所述根據(jù)左眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染左眼畫面，包括：根據(jù)所述左眼朝向信息，將所述目標三維模型渲染到第一紋理上；根據(jù)所述左眼朝向信息，將所述目標視頻渲染到第二紋理上，其中，所述第二紋理是基于廣告板面片技術(shù)的；所述根據(jù)右眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染右眼畫面，包括：根據(jù)所述右眼朝向信息，將所述目標三維模型渲染到第三紋理上；根據(jù)所述右眼朝向信息，將所述目標視頻渲染到第四紋理上，其中，所述第四紋理是基于廣告板面片技術(shù)的。

應理解，廣告板面片在左眼畫面可以具有傾斜角度，傾斜角度的具體參數(shù)可以根據(jù)左眼位置信息來計算；廣告板面片在右眼畫面可以具有傾斜角度，傾斜角度的具體參數(shù)可以根據(jù)右眼位置信息來計算。

在第一方面的一種可能的實現(xiàn)方式中，所述根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，包括：對所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個視頻中選取出至少兩個視頻；將所述至少兩個視頻中每個視頻在相應時刻對應的視頻幀抽取出來；根據(jù)所述平均位置和所述至少兩個視頻的拍攝位置，對所述至少兩個視頻幀進行插值運算，得到所述當目標視頻。

在第一方面的一種可能的實現(xiàn)方式中，所述根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，包括：對所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個視頻中選取出所述目標視頻，其中，所述目標視頻的拍攝位置與所述平均位置的距離是所述多個視頻的所有的拍攝位置中與所述平均位置最接近的。

在第一方面的一種可能的實現(xiàn)方式中，所述多個視頻是對原始視頻經(jīng)過透明處理后的僅包括目標物體的視頻。

應理解，透明處理可以是基于阿爾法(alpha)透明技術(shù)的處理。

在第一方面的一種可能的實現(xiàn)方式中，所述目標物體為人物。

在第一方面的一種可能的實現(xiàn)方式中，所述左眼位置信息、所述右眼位置信息、所述左眼朝向信息和所述右眼朝向信息是根據(jù)所收集的用戶當前的姿態(tài)信息確定的。

在第一方面的一種可能的實現(xiàn)方式中，所述姿態(tài)信息包括頭部姿態(tài)信息、四肢姿態(tài)信息、軀干姿態(tài)信息、肌肉電刺激信息、眼球跟蹤信息、皮膚感知信息、運動感知信息和腦信號信息中的至少一種。

第二方面，提供了一種處理器，包括獲取模塊、計算模塊和渲染模塊，所述獲取模塊用于獲取用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息；所述計算模塊用于根據(jù)所述獲取模塊獲取的所述左眼位置信息和所述右眼位置信息，從三維模型庫中確定出目標三維模型；所述計算模塊還用于根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，其中，所述多個視頻是分別從不同的拍攝位置拍攝的視頻；所述渲染模塊用于根據(jù)左眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染左眼畫面；所述渲染模塊還用于根據(jù)右眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染右眼畫面；其中，所述左眼畫面和所述右眼畫面顯示在虛擬現(xiàn)實vr顯示器上時形成vr場景，所述vr場景中包括所述目標三維模型的圖像和所述目標視頻的圖像。

在第二方面的一種可能的實現(xiàn)方式中，所述渲染模塊具體用于：根據(jù)所述左眼朝向信息，將所述目標三維模型渲染到第一紋理上；根據(jù)所述左眼朝向信息，將所述目標視頻渲染到第二紋理上，其中，所述第二紋理是基于廣告板面片技術(shù)的；根據(jù)所述右眼朝向信息，將所述目標三維模型渲染到第三紋理上；根據(jù)所述右眼朝向信息，將所述目標視頻渲染到第四紋理上，其中，所述第四紋理是基于廣告板面片技術(shù)的。

在第二方面的一種可能的實現(xiàn)方式中，所述計算模塊根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，包括：對所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個視頻中選取出至少兩個視頻；將所述至少兩個視頻中每個視頻在相應時刻對應的視頻幀抽取出來；根據(jù)所述平均位置和所述至少兩個視頻的拍攝位置，對所述至少兩個視頻幀進行插值運算，得到所述當目標視頻。

在第二方面的一種可能的實現(xiàn)方式中，所述計算模塊根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，包括：對所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個視頻中選取出所述目標視頻，其中，所述目標視頻的拍攝位置與所述平均位置的距離是所述多個視頻的所有的拍攝位置中與所述平均位置最接近的。

在第二方面的一種可能的實現(xiàn)方式中，所述多個視頻是對原始視頻經(jīng)過透明處理后的僅包括目標物體的視頻。

在第二方面的一種可能的實現(xiàn)方式中，所述目標物體為人物。

在第二方面的一種可能的實現(xiàn)方式中，所述獲取模塊獲取的所述左眼位置信息、所述右眼位置信息、所述左眼朝向信息和所述右眼朝向信息是根據(jù)所收集的所述用戶當前的姿態(tài)信息確定的。

在第二方面的一種可能的實現(xiàn)方式中，所述姿態(tài)信息包括頭部姿態(tài)信息、四肢姿態(tài)信息、軀干姿態(tài)信息、肌肉電刺激信息、眼球跟蹤信息、皮膚感知信息、運動感知信息和腦信號信息中的至少一種。

應理解，所述處理器可以包括中央處理器cpu和圖形處理器gpu中的至少一種。計算模塊的功能可以對應cpu，渲染模塊的功能可以對應gpu。gpu可以存在于顯卡中，又稱顯示核心、視覺處理器或顯示芯片。

第二方面及相應的實現(xiàn)方式所能獲得的效果與第一方面及相應的實現(xiàn)方式所能獲得的效果對應，此處不再一一贅述。

第三方面，提供了一種圖形處理方法，其特征在于，包括：收集用戶當前的姿態(tài)信息；根據(jù)所述姿態(tài)信息，得到所述用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息；根據(jù)所述左眼位置信息和所述右眼位置信息，從三維模型庫中確定出目標三維模型；根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，其中，所述多個視頻是分別從不同的拍攝位置拍攝的視頻；根據(jù)左眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染左眼畫面；根據(jù)右眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染右眼畫面；顯示所述左眼畫面和所述右眼畫面，其中，所述左眼畫面和所述右眼畫面顯示時形成vr場景，所述vr場景中包括所述目標三維模型的圖像和所述目標視頻的圖像。

第三方面的圖形處理方法，收集用戶的姿態(tài)信息來確定用戶左右眼的位置，根據(jù)用戶的左右眼的位置信息，確定目標三維模型并且根據(jù)預先拍攝的多個視頻確定目標視頻，通過實時渲染的方式渲染技術(shù)分別渲染左眼畫面和右眼畫面，從而顯示vr場景，其中，vr場景中包括目標三維模型的圖像和目標視頻的圖像，該目標視頻可以真實的展現(xiàn)實景，在保持整個vr場景可交互性的基礎(chǔ)上，為用戶提供真實的臨場感，從而能夠提升用戶體驗。

在第三方面的一種可能的實現(xiàn)方式中，所述根據(jù)左眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染左眼畫面，包括：根據(jù)所述左眼朝向信息，將所述目標三維模型渲染到第一紋理上；根據(jù)所述左眼朝向信息，將所述目標視頻渲染到第二紋理上，其中，所述第二紋理是基于廣告板面片技術(shù)的；所述根據(jù)右眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染右眼畫面，包括：根據(jù)所述右眼朝向信息，將所述目標三維模型渲染到第三紋理上；根據(jù)所述右眼朝向信息，將所述目標視頻渲染到第四紋理上，其中，所述第四紋理是基于廣告板面片技術(shù)的。

在第三方面的一種可能的實現(xiàn)方式中，所述根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，包括：對所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個視頻中選取出至少兩個視頻；將所述至少兩個視頻中每個視頻在相應時刻對應的視頻幀抽取出來；根據(jù)所述平均位置和所述至少兩個視頻的拍攝位置，對所述至少兩個視頻幀進行插值運算，得到所述當目標視頻。

在第三方面的一種可能的實現(xiàn)方式中，所述根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，包括：對所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個視頻中選取出所述目標視頻，其中，所述目標視頻的拍攝位置與所述平均位置的距離是所述多個視頻的所有的拍攝位置中與所述平均位置最接近的。

在第三方面的一種可能的實現(xiàn)方式中，所述多個視頻是對原始視頻經(jīng)過透明處理后的僅包括目標物體的視頻。

在第三方面的一種可能的實現(xiàn)方式中，所述目標物體為人物。

在第三方面的一種可能的實現(xiàn)方式中，所述收集用戶當前的姿態(tài)信息，包括：收集所述用戶當前的頭部姿態(tài)信息、四肢姿態(tài)信息、軀干姿態(tài)信息、肌肉電刺激信息、眼球跟蹤信息、皮膚感知信息、運動感知信息和腦信號信息中的至少一種。

第四方面，提供了一種虛擬現(xiàn)實vr系統(tǒng)，包括姿態(tài)收集裝置、處理裝置和顯示裝置：所述姿態(tài)收集裝置用于：收集用戶當前的姿態(tài)信息；所述處理裝置用于：根據(jù)所述姿態(tài)信息，得到所述用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息；根據(jù)所述左眼位置信息和所述右眼位置信息，從三維模型庫中確定出目標三維模型；根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，其中，所述多個視頻是分別從不同的拍攝位置拍攝的視頻；根據(jù)左眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染左眼畫面；根據(jù)右眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染右眼畫面；所述顯示裝置用于顯示所述左眼畫面和所述右眼畫面，其中，所述左眼畫面和所述右眼畫面顯示時形成vr場景，所述vr場景中包括所述目標三維模型的圖像和所述目標視頻的圖像。

在第四方面的一種可能的實現(xiàn)方式中，所述處理裝置根據(jù)左眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染左眼畫面，包括：根據(jù)所述左眼朝向信息，將所述目標三維模型渲染到第一紋理上；根據(jù)所述左眼朝向信息，將所述目標視頻渲染到第二紋理上，其中，所述第二紋理是基于廣告板面片技術(shù)的；所述處理裝置根據(jù)右眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染右眼畫面，包括：根據(jù)所述右眼朝向信息，將所述目標三維模型渲染到第三紋理上；根據(jù)所述右眼朝向信息，將所述目標視頻渲染到第四紋理上，其中，所述第四紋理是基于廣告板面片技術(shù)的。

在第四方面的一種可能的實現(xiàn)方式中，所述處理裝置根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，包括：對所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個視頻中選取出至少兩個視頻；將所述至少兩個視頻中每個視頻在相應時刻對應的視頻幀抽取出來；根據(jù)所述平均位置和所述至少兩個視頻的拍攝位置，對所述至少兩個視頻幀進行插值運算，得到所述當目標視頻。

在第四方面的一種可能的實現(xiàn)方式中，所述處理裝置根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，包括：對所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個視頻中選取出所述目標視頻，其中，所述目標視頻的拍攝位置與所述平均位置的距離是所述多個視頻的所有的拍攝位置中與所述平均位置最接近的。

在第四方面的一種可能的實現(xiàn)方式中，所述多個視頻是對原始視頻經(jīng)過透明處理后的僅包括目標物體的視頻。

在第四方面的一種可能的實現(xiàn)方式中，所述目標物體為人物。

在第四方面的一種可能的實現(xiàn)方式中，所述姿態(tài)收集裝置具體用于：收集所述用戶當前的頭部姿態(tài)信息、四肢姿態(tài)信息、軀干姿態(tài)信息、肌肉電刺激信息、眼球跟蹤信息、皮膚感知信息、運動感知信息和腦信號信息中的至少一種。

在第四方面的一種可能的實現(xiàn)方式中，所述處理裝置包括中央處理器cpu和圖形處理器gpu中的至少一種。

第五方面提供一種計算機存儲介質(zhì)，其上存儲有指令，當所述指令在計算機上運行時，使得所述計算機執(zhí)行第一方面或第一方面的任一種可能的實現(xiàn)方式所述的方法。

第六方面提供一種計算機存儲介質(zhì)，其上存儲有指令，當所述指令在計算機上運行時，使得所述計算機執(zhí)行第三方面或第三方面的任一種可能的實現(xiàn)方式所述的方法。

第七方面提供一種包括指令的計算機程序產(chǎn)品，當計算機運行所述計算機程序產(chǎn)品的所述指時，所述計算機執(zhí)行第一方面或第一方面的任一種可能的實現(xiàn)方式所述的方法。

第八方面提供一種包括指令的計算機程序產(chǎn)品，當計算機運行所述計算機程序產(chǎn)品的所述指時，所述計算機執(zhí)行第三方面或第三方面的任一種可能的實現(xiàn)方式所述的方法。

第二方面至第八方面及相應的實現(xiàn)方式所能獲得的效果與第一方面及相應的實現(xiàn)方式所能獲得的效果對應，此處不再一一贅述。

附圖說明

圖1是全景視頻中的視頻幀的示意圖。

圖2是3d建模技術(shù)和全景視頻拍攝技術(shù)分別生成的vr場景的對比示意圖。

圖3是本發(fā)明一個實施例的圖形處理方法的示意性流程圖。

圖4是本發(fā)明一個實施例的需要呈現(xiàn)的場景的示意圖。

圖5是本發(fā)明一個實施例的進行預先拍攝的場景的示意圖。

圖6是本發(fā)明一個實施例的在不同拍攝位置得到的視頻的示意圖。

圖7是本發(fā)明一個實施例的確定目標視頻的示意圖。

圖8是本發(fā)明一個實施例的呈現(xiàn)目標視頻的示意圖。

圖9是本發(fā)明一個實施例的處理器的示意性框圖。

圖10是本發(fā)明一個實施例的虛擬現(xiàn)實系統(tǒng)的示意圖。

圖11是本發(fā)明另一個實施例的虛擬現(xiàn)實系統(tǒng)的示意圖。

具體實施方式

下面將結(jié)合附圖，對本申請中的技術(shù)方案進行描述。

下面介紹生成vr場景的另一種技術(shù)，即采用全景視頻拍攝技術(shù)生成vr場景。全景視頻又稱為360度立體(stereo)視頻，其與普通視頻類似，只是全景視頻包括了拍攝點的全方位信息。圖1是全景視頻中的視頻幀的示意圖。全景視頻拍攝技術(shù)生成vr場景是通過專業(yè)的全景視頻拍攝設備及拍攝團隊完成vr場景的全景視頻的拍攝，然后將全景視頻轉(zhuǎn)換成vr場景。由于全景視頻是預先拍攝的，因此對于通過全景視頻拍攝技術(shù)生成的vr場景，用戶只能變化眼睛的朝向來觀看視頻，不可能融入vr場景中，與vr場景中的人物或其他物體進行交互。同時，由于全景視頻包括全方位信息，所以全景視頻文件一般非常龐大，生成的vr場景的文件也很龐大。

圖2是3d建模技術(shù)和全景視頻拍攝技術(shù)分別生成的vr場景的對比示意圖。如圖2所示，3d建模技術(shù)生成的vr場景的圖像為數(shù)字型的可互動的圖像，需要通過實時渲染技術(shù)來實現(xiàn)；而全景視頻拍攝技術(shù)生成的vr場景則為實景動畫，不需要通過實時渲染技術(shù)實現(xiàn)。3d建模技術(shù)生成的vr場景機動性較好，其提供一種沉浸式的場景體驗，用戶可以在場景中四處走動；而全景視頻拍攝技術(shù)生成的vr場景則限于導演所拍攝的場景，用戶可以從鏡頭的位置出發(fā)，獲得360度觀看角度，但是不可以在場景中四處走動。3d建模技術(shù)生成的vr場景以用戶活動為時間軸，vr場景可以通過一系列的用戶活動進行播放，用戶還可以體驗自主探索出的新的vr場景；全景視頻拍攝技術(shù)生成的vr場景則以導演鏡頭移動為時間軸，vr場景按照導演拍攝順序播放。3d建模技術(shù)生成的vr場景的播放平臺通常需要vr頭戴式顯示設備(簡稱為vr頭顯設備)，例如vr眼鏡或vr頭盔等，vr頭顯設備可以連接pc或移動設備等；全景視頻拍攝技術(shù)生成的vr場景的播放平臺則通常為包括全景視頻播放器的計算設備或平臺，包括pc、移動設備、youtube平臺等。3d建模技術(shù)生成的vr場景講故事模式是用戶觸發(fā)劇情，導演不會在已構(gòu)建的場景中控制用戶的物理位置，需引導、激發(fā)用戶順著故事發(fā)展方向去觸發(fā)后續(xù)劇情；全景視頻拍攝技術(shù)生成的vr場景講故事模式是導演控制鏡頭的物理移動，來觸發(fā)劇情，以吸引用戶的注意力來觀看。

由此可見，3d建模技術(shù)生成vr場景主要是根據(jù)3d模型制作vr場景，用戶可以融入vr場景中，與vr場景中的人物或其他物體進行交互。然而，當前的3d建模技術(shù)在處理物體時得到的逼真程度，遠遠達不到用戶要求。全景視頻拍攝技術(shù)制作的vr場景，用戶不能與vr場景中的人物或其他物體進行交互，并且生成的vr場景的文件巨大?；谝陨霞夹g(shù)問題，本發(fā)明實施例提供了一種圖形處理方法、處理器和vr系統(tǒng)。

應理解，本發(fā)明各實施例的方法和設備應用于vr場景領(lǐng)域，例如，可以應用于vr游戲領(lǐng)域，還可以應用于其他的可交互場景，例如可交互的vr電影，可交互的vr演唱會等，本發(fā)明各實施例對此不作限定。

在詳細說明本發(fā)明實施例的圖形處理方法之前，首先介紹本發(fā)明各實施例涉及的實時渲染技術(shù)。實時渲染技術(shù)的本質(zhì)是圖形數(shù)據(jù)的實時計算和輸出，其最大的特性是實時(realtime)性。當前，個人電腦(personalcomputer，pc)、工作站、游戲機、移動設備或vr系統(tǒng)等中的處理器每秒至少以24幀以上的速度進行運算。也就是說，渲染一屏幕的圖像，至少也要在1/24秒以內(nèi)。而在實際的3d游戲中，每秒幀數(shù)要求則更高得多。正是由于實時渲染的實時性，才有可能實現(xiàn)3d游戲的連貫播放，以及實現(xiàn)3d游戲中用戶與游戲場景中的人物或其他物體進行交互。

本發(fā)明各實施例涉及的實時渲染可以是通過中央處理器(centralprocessingunit，cpu)或圖形處理器(graphicsprocessingunit，gpu)實現(xiàn)的，本發(fā)明實施例對此不作限定。具體而言，gpu是一種專門用于實現(xiàn)圖像運算工作的處理器，其可以存在于顯卡中，又稱顯示核心、視覺處理器或顯示芯片。

圖3是本發(fā)明一個實施例的圖形處理方法300的示意性流程圖。該方法300由vr系統(tǒng)30執(zhí)行。其中，vr系統(tǒng)30可以包括姿態(tài)收集裝置32、處理裝置34和顯示裝置36。該方法300可以包括以下步驟。

s310，收集用戶當前的姿態(tài)信息。應理解，s310可以由姿態(tài)收集裝置32來執(zhí)行。

s320，根據(jù)姿態(tài)信息，得到用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息。

s330，根據(jù)左眼位置信息和右眼位置信息，從三維模型庫中確定出目標三維模型。

s340，根據(jù)左眼位置信息、右眼位置信息和預先拍攝的多個視頻，確定目標視頻，其中，多個視頻是分別從不同的拍攝位置拍攝的視頻。

s350，根據(jù)左眼朝向信息、目標三維模型和目標視頻，實時渲染左眼畫面。

s360，根據(jù)右眼朝向信息、目標三維模型和目標視頻，實時渲染右眼畫面。

應理解，s320至s360可以由處理裝置34來執(zhí)行。

s370，顯示左眼畫面和右眼畫面，其中，左眼畫面和右眼畫面顯示時形成vr場景，vr場景中包括目標三維模型的圖像和目標視頻的圖像。

應理解，s370可以由顯示裝置36來執(zhí)行。

本發(fā)明實施例的圖形處理方法，收集用戶的姿態(tài)信息來確定用戶左右眼的位置，根據(jù)用戶的左右眼的位置信息，確定目標三維模型并且根據(jù)預先拍攝的多個視頻確定目標視頻，通過實時渲染的方式渲染技術(shù)分別渲染左眼畫面和右眼畫面，從而顯示vr場景，其中，vr場景中包括目標三維模型的圖像和目標視頻的圖像，該目標視頻可以真實的展現(xiàn)實景，在保持整個vr場景可交互性的基礎(chǔ)上，為用戶提供真實的臨場感，從而能夠提升用戶體驗。

應理解，通常而言vr系統(tǒng)30包括vr頭顯設備，顯示裝置36可以集成在vr頭顯設備中。本發(fā)明實施例的處理裝置34和/或姿態(tài)收集裝置32可以集成在vr頭顯設備中，也可以獨立于vr頭顯設備單獨部署。姿態(tài)收集裝置32、處理裝置34和顯示裝置36之間可以通過有線通信也可以通過無線通信，本發(fā)明實施例對此不作限定。

下面具體描述本申請的圖形處理方法300的各個步驟以及vr系統(tǒng)30的各組件。

在本發(fā)明實施例中，s310，姿態(tài)收集裝置32收集用戶當前的姿態(tài)信息。

姿態(tài)收集裝置32可以包括vr頭戴式顯示設備，例如vr眼鏡或vr頭盔中的傳感器。傳感器可以包括光敏傳感器，例如紅外傳感器、攝像頭等；傳感器還可以包括力敏傳感器，例如陀螺儀等；傳感器還可以包括磁敏傳感器，例如腦機接口等；傳感器還可以包括聲敏傳感器等，本發(fā)明實施例對傳感器的具體類型不作限定。vr頭戴式顯示設備中的傳感器可以收集用戶當前的頭部姿態(tài)信息、眼球跟蹤信息、皮膚感知信息、肌肉電刺激信息和腦信號信息中的至少一種。后續(xù)處理裝置34可以根據(jù)這些信息確定用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息。

在一個具體的例子中，在vr場景中，用戶的視角是指用戶的人眼視線方向在虛擬空間中的方位角，其中，包括人眼的位置和朝向。在虛擬空間中，用戶的視角可以隨用戶的頭部在現(xiàn)實空間中姿態(tài)的變化而變化。在一種具體的情況下，虛擬空間中用戶的視角的變化與現(xiàn)實空間中用戶的頭部姿態(tài)的變化同速且同方向。其中，用戶的視角又包括左眼視角和右眼視角，即包括用戶的左眼位置、右眼位置、左眼朝向和右眼朝向。

在該例子中，用戶佩戴的vr頭顯設備上的傳感器可以在用戶使用vr頭顯設備的過程中感測頭部的轉(zhuǎn)動、移動等運動及其姿態(tài)變化，并對各項運動進行解算，得到相關(guān)的頭部姿態(tài)信息(例如運動的速度、角度等)，處理裝置34根據(jù)得到的頭部姿態(tài)信息就可以確定用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息。

姿態(tài)收集裝置32還可以包括定位器、操控手柄、體感手套、體感衣服，以及跑步機等動感裝置等等，用于收集用戶的姿態(tài)信息，繼而由處理裝置34處理得到用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息。其中，姿態(tài)收集裝置32可以通過操控手柄、體感手套、體感衣服和跑步機等收集用戶的四肢姿態(tài)信息、軀干姿態(tài)信息、肌肉電刺激信息、皮膚感知信息和運動感知信息等。

在一個具體的例子中，vr頭顯設備上可以設有一個或多個定位器，用于監(jiān)測用戶頭部位置(可以包括高度)、朝向等。此時，用戶在佩戴vr頭顯設備所在的現(xiàn)實空間中可以設有定位系統(tǒng)，該定位系統(tǒng)可以與用戶佩戴的vr頭顯設備上的一個或多個定位器進行定位通信，確定用戶在此現(xiàn)實空間中的具體位置(可以包括高度)、朝向等姿態(tài)信息。然后。可以由處理裝置34將上述姿態(tài)信息轉(zhuǎn)換為用戶頭部在虛擬空間中的相關(guān)位置(可以包括高度)、朝向等信息。亦即，處理裝置34得到用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息。

應理解，本發(fā)明實施例的左眼位置信息、右眼位置信息可以通過在坐標系中的坐標值來表示；左眼朝向信息和右眼朝向信息可以通過在坐標系中的一個向量來表示，但本發(fā)明實施例對此不作限定。

還應理解，姿態(tài)收集裝置32在收集到姿態(tài)信息后，需通過有線通信或無線通信，將姿態(tài)信息發(fā)送給處理裝置34，文中對此不進行贅述。

還應理解，本發(fā)明實施例還可以通過其他方式收集用戶的姿態(tài)信息，通過其他的方式來獲取和/或表示左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息，本發(fā)明實施例對具體的方式不作限定。

在vr場景的設計中，例如在vr場景的游戲設計中，一個位置被設計為對應一個物體組。在一個具體的例子中，用戶的左眼位置le和右眼位置re分別對應的物體如圖4所示。用戶的左眼位置對應物體l41、物體43、物體44、物體46和人物42，用戶的右眼位置對應物體r45、物體43、物體44、物體46和人物42。其中，該人物42是希望被改善其真實性的物體，為目標物體。

具體地，確定用戶的左眼位置或右眼位置對應的物體組中哪個物體是目標物體，可以基于vr場景的設計。例如，每個場景或多個場景可以存在一個目標物體列表，在生成vr場景時，根據(jù)目標物體列表找到該目標場景中的目標物體。再如，在vr場景的游戲設計中規(guī)定，近景(距離用戶一定范圍內(nèi)的場景)處的人物是目標物體，近景處除人物以外的其他物體不是目標物體，遠景(距離用戶一定范圍外的場景)處的所有物體均不是目標物體，等等。確定場景中的目標物體可以由處理裝置34來執(zhí)行，例如可以由處理裝置34中的cpu確定，本發(fā)明實施例對此不作限定。

應理解，對于vr場景而言，其中除目標物體以外的其他物體可以是預先通過3d建模生成3d模型，存儲在3d模型庫中。具體而言，圖4示出的物體l41、物體43、物體44、物體r45和物體46的3d模型均存儲在3d模型庫中。處理裝置34(例如處理裝置34中的cpu)得到左眼位置信息和右眼位置信息后，從3d模型庫中確定出目標三維模型，即物體l41、物體43、物體44、物體r45和物體46的3d模型，以供后續(xù)渲染畫面使用。當然，也可以通過其他方式確定目標三維模型，本發(fā)明實施例對此不作限定。

對于vr場景中的目標物體，例如圖4所示的vr場景中的人物42，則根據(jù)預先拍攝的多個視頻來生成。其中，該多個視頻是分別從不同的拍攝位置拍攝的包括目標物體的視頻。

具體地，假設該目標物體是人物42，則本發(fā)明實施例會從多個拍攝位置預先拍攝的關(guān)于該人物42的多個視頻。圖5示出了預先拍攝的場景的示意圖。如圖5所示，要拍攝的場景中包括人物42、物體52和物體54，要拍攝的場景盡量與最終顯示的vr場景的情況接近，以增加真實感。針對要拍攝的場景，可以在水平方向上放置多個拍攝設備，分別從拍攝位置c1、拍攝位置c2和拍攝位置c3進行攝像，可以得到人物在不同拍攝位置的原始視頻如圖6所示。

應理解，預先拍攝視頻時可以在距離目標物體一定半徑的圓周上進行拍攝。在該圓周上拍攝位置選取得越多越密集，從中選擇出與用戶的左眼位置或右眼位置相同或相近的概率也越大，最終選擇出的或者計算出的目標視頻放到vr場景中的真實性也越高。

在本發(fā)明實施例中，多個視頻可以是對原始視頻經(jīng)過透明處理后的僅包括目標物體的視頻。具體地，可以將分別從3個拍攝位置所拍攝的3個視頻中將人物42與構(gòu)成背景的物體52和物體54進行分離，就可以得到只包括人物42的3個視頻。3個視頻是在相同的時間進行攝制的時間長度也相同的視頻。

可選地，本發(fā)明實施例中，透明處理可以是基于阿爾法(alpha)透明技術(shù)的處理。具體而言，如果vr場景的3d環(huán)境中允許像素擁有一組alpha值，alpha值用來記載像素的透明度，這樣使得物體可以擁有不同的透明程度。本發(fā)明實施例中，可以將原始視頻中的目標物體人物42處理為不透明的，構(gòu)成背景的物體52和物體54處理為透明的。

一種具體的方案中，s340根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，可以包括：對所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個視頻中選取出所述目標視頻，其中，所述目標視頻的拍攝位置與所述平均位置的距離是所述多個視頻的所有的拍攝位置中與所述平均位置最接近的。

應理解，本發(fā)明各實施例中，左眼位置、右眼位置和拍攝位置在vr場景中可以統(tǒng)一表示為虛擬空間的坐標，例如在x軸、y軸和z軸三軸坐標系的坐標或者球坐標。左眼位置、右眼位置和拍攝位置也可以以其他形式表示，本發(fā)明實施例對此不作限定。

在本方案中，對左眼位置信息和右眼位置信息求平均值，得到平均位置。例如，以三軸坐標系為例，左眼位置為(x1，y1，z1)，右眼位置為(x2，y2，z2)，則平均位置為((x1+x2)/2，(y1+y2)/2，(z1+z2)/2)。從多個視頻中選出拍攝位置與平均位置最接近的視頻作為目標視頻。

在多個拍攝位置是距離目標物體一定半徑的圓周上的多個位置的情況下，目標視頻的拍攝位置與平均位置最接近可以理解為目標視頻的拍攝位置(xt，yt，zt)與平均位置((x1+x2)/2，(y1+y2)/2，(z1+z2)/2)的距離需小于預設的閾值，即保證目標視頻的拍攝位置與平均位置的距離足夠小。

在多個拍攝位置不在距離目標物體一定半徑的圓周上的情況下，目標視頻的拍攝位置與平均位置最接近可以理解為，平均位置與目標物體構(gòu)成的線段與目標視頻的拍攝位置與目標物體構(gòu)成的線段之間的夾角是平均位置與目標物體構(gòu)成的線段與所有拍攝位置與目標物體構(gòu)成的線段之間的夾角中角度最小的。

另一種具體的方案中，s340根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，可以包括：對所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個視頻中選取出至少兩個視頻；將所述至少兩個視頻中每個視頻在相應時刻對應的視頻幀抽取出來；根據(jù)所述平均位置和所述至少兩個視頻的拍攝位置，對所述至少兩個視頻幀進行插值運算，得到所述當目標視頻。

在這個方案中，可以選取用戶的左眼和右眼平均位置的左右至少各一個拍攝位置，從多個視頻中選取出左右至少各一個拍攝位置拍攝的視頻，作為計算目標視頻的參考。截取至少兩個視頻在同一時刻對應的視頻幀進行插值運算，得到目標視頻。

在多個拍攝位置是距離目標物體一定半徑的圓周上的多個位置的情況下，從多個視頻中選取至少兩個視頻可以是選取與平均位置((x1+x2)/2，(y1+y2)/2，(z1+z2)/2)的距離最小的至少兩個視頻。至少兩個視頻的拍攝位置至少有一個分布在平均位置的左側(cè)，并且至少有一個分布在平均位置的右側(cè)。

在多個拍攝位置不在距離目標物體一定半徑的圓周上的情況下，從多個視頻中選取至少兩個視頻可以是，平均位置與目標物體構(gòu)成的線段與至少兩個視頻的拍攝位置與目標物體構(gòu)成的線段之間的夾角是平均位置與目標物體構(gòu)成的線段與所有拍攝位置與目標物體構(gòu)成的線段之間的夾角中角度最小的幾個。至少兩個視頻的拍攝位置至少有一個分布在平均位置的左側(cè)，并且至少有一個分布在平均位置的右側(cè)。

應理解，在本發(fā)明實施例中，還可以根據(jù)其他的準則選取作為參考的視頻，本發(fā)明實施例對戲不作限定。

還應理解，在本發(fā)明實施例中，不同拍攝位置拍攝到的視頻代表著觀察目標物體(例如，人物42)時的不同的觀察位置。換句話說，圖6所示的3個視頻在同一物理時刻對應的視頻幀，是在不同的觀察位置觀察時的圖像。3個拍攝角度分別可以對應3個拍攝位置c1、c2和c3。

應理解，在本發(fā)明實施例中，除了預先拍攝多個視頻以外，也可以采用從多個拍攝位置預先拍攝目標物體的多組照片(或多組圖像)。根據(jù)左眼位置和右眼位置(或者平均位置)與多個拍攝位置的關(guān)系，從多組圖像中找到至少兩個拍攝位置對應的至少兩張圖像，對至少兩張圖像進行插值運算，得到目標圖像。具體的插值算法，會在下文中詳細描述。

圖7是本發(fā)明一個實施例的確定目標視頻的示意圖。根據(jù)平均位置，從多個視頻中選取出至少兩個視頻，將至少兩個視頻中每個視頻在相應時刻對應的視頻幀抽取出來，根據(jù)平均位置和至少兩個視頻的拍攝位置，對至少兩個視頻幀進行插值運算，得到當目標視頻的具體過程可以如圖7所示。

用戶在觀察vr場景時，觀察位置可以發(fā)生變化，例如用戶在面向vr場景時，觀察位置可以沿左右方向移動。3個拍攝位置分別為c1、c2和c3。c1、c2和c3可以通過三維直角坐標系的坐標值來表示，也可以通過球坐標系的坐標值表示，還可以通過其他方式表示，本發(fā)明實施例對此不作限定。根據(jù)用戶的左眼位置信息和右眼位置信息，可以確定用戶觀察時的平均位置cview。如圖7所示，平均位置cview在c1和c2之間。在確定目標視頻時，因為平均位置cview介于c1和c2之間，因此選取在拍攝位置c1和c2預先拍攝的視頻作為參考。在生成目標視頻的視頻幀(圖像)時，同時取出c1和c2分別對應的視頻在同一時刻對應的視頻幀i1和i2，然后對兩個視頻幀i1和i2進行插值，例如可以是線性插值。其中，插值的權(quán)重依據(jù)平均位置cview與c1和c2的距離而定。輸出的目標視頻的視頻幀iout＝i1*(1-(c1-cview/c1-c2))+i2*(1-(c2-cview/c1-c2))。

應理解，以上只討論了用戶的觀察位置沿左右方向移動的情況，如果用戶的觀察位置前后移動，因為是在vr的3d場景中，所以觀察者看到的人物自然會呈現(xiàn)近大遠小的效果，雖然在物理上顯示的角度也應該有所變化，但是這種變化影響很小，一般用戶不會在意或者觀察到。此外，在一般的場景中，用戶只會前后左右移動，很少會進行在上下方向上進行大范圍移動，所以對于根據(jù)本發(fā)明實施例的方法確定的目標視頻，用戶所產(chǎn)生的失真感覺也很小。

應理解，本發(fā)明實施例以目標物體為人物為例進行說明。當然目標物體也可以為要求真實性的動物，甚至建筑物或植物等等，本發(fā)明實施例對此不作限定。

可選地，在本發(fā)明實施例中，s350根據(jù)左眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染左眼畫面，可以包括：根據(jù)所述左眼朝向信息，將所述目標三維模型渲染到第一紋理上；根據(jù)所述左眼朝向信息，將所述目標視頻渲染到第二紋理上，其中，所述第二紋理是基于廣告板面片技術(shù)的；s360根據(jù)右眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染右眼畫面，可以包括：根據(jù)所述右眼朝向信息，將所述目標三維模型渲染到第三紋理上；根據(jù)所述右眼朝向信息，將所述目標視頻渲染到第四紋理上，其中，所述第四紋理是基于廣告板面片技術(shù)的。

下面，結(jié)合圖8詳細說明本發(fā)明實施例中渲染左眼畫面和右眼畫面的過程。如前文描述，處理裝置34(例如其中的cpu)在s330中已經(jīng)確定目標三維模型，在s340中已經(jīng)確定目標視頻。處理裝置34(例如其中的gpu)根據(jù)左眼朝向信息，確定應呈現(xiàn)的左眼畫面；根據(jù)右眼朝向信息，確定應呈現(xiàn)的右眼畫面。例如如圖4所示的場景中，根據(jù)左眼朝向信息(面向人物42)，確定左眼畫面中呈現(xiàn)物體l41、物體43、物體44和人物42；根據(jù)右眼朝向信息(面向人物42)，確定右眼畫面中呈現(xiàn)物體43、物體44、物體r45和人物42。

處理裝置34(例如其中的gpu)將目標三維模型物體l41、物體43和物體44，渲染到左眼畫面l800的第一紋理82上，將所述目標視頻渲染到左眼畫面l800的第二紋理84上；將目標三維模型物體43、物體44和物體r45渲染到右眼畫面r800的第三紋理86上，將所述目標視頻渲染到右眼畫面r800的第四紋理88上。

具體地，分別對于左眼畫面和右眼畫面，可以在畫面的目標物體的位置設置廣告板(billboard)面片，在廣告板面片上呈現(xiàn)目標視頻。廣告板技術(shù)是計算機圖形學領(lǐng)域中進行快速繪制的一種方法。在類似3d游戲這種對實時性要求較高的情況下，采取廣告板技術(shù)可以大大加快繪制的速度從而提高3d游戲畫面的流暢性。廣告板技術(shù)是在3d場景中，用2d來表示物體，讓該物體始終朝向用戶。

具體地，廣告板面片在左眼畫面可以具有傾斜角度，傾斜角度的具體參數(shù)可以根據(jù)左眼位置信息來計算；廣告板面片在右眼畫面可以具有傾斜角度，傾斜角度的具體參數(shù)可以根據(jù)右眼位置信息來計算。

實際上，由于vr場景是實時渲染的，在任一時刻，可以認為是將前述通過插值得到的視頻幀呈現(xiàn)在目標物體的位置上。在場景變化的一個連續(xù)時間段內(nèi)，可以等效為視頻在廣告板面片上進行播放。

如圖8所示，在目標物體對應的位置設置廣告板面片，將視頻的每一幀作為貼圖紋理繪制到上述廣告板面片的貼圖，則視頻的每一幀會是一直是面對用戶的。

應理解，在渲染左眼畫面和右眼畫面時，可以采用深度緩沖技術(shù)與廣告板技術(shù)結(jié)合。深度緩沖技術(shù)有助于目標物體按遠近距離與其他物體形成遮擋關(guān)系和大小比例關(guān)系。本發(fā)明實施例中，渲染目標視頻還可以使用其他技術(shù)，本發(fā)明實施例對此不作限定。

還應理解，本發(fā)明實施例還提供一種圖形處理方法，包括步驟s320至s360，方法由處理器執(zhí)行。

還應理解，在本發(fā)明的各種實施例中，上述各過程的序號的大小并不意味著執(zhí)行順序的先后，各過程的執(zhí)行順序應以其功能和內(nèi)在邏輯確定，而不應對本發(fā)明實施例的實施過程構(gòu)成任何限定。

上文中結(jié)合圖1至圖8，詳細描述了根據(jù)本發(fā)明實施例的圖形處理方法。下面將結(jié)合圖9和圖10，詳細描述根據(jù)本發(fā)明實施例的處理器和vr系統(tǒng)。

圖9是本發(fā)明一個實施例的處理器900的示意性框圖。處理器900可以對應于前文所述的處理裝置34。如圖9所示，處理器900可以包括獲取模塊910、計算模塊920和渲染模塊930。

獲取模塊910用于獲取用戶的左眼位置信息、右眼位置信息、左眼朝向信息和右眼朝向信息。

計算模塊920用于根據(jù)所述獲取模塊獲取的所述左眼位置信息和所述右眼位置信息，從三維模型庫中確定出目標三維模型；計算模塊920還用于根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，其中，所述多個視頻是分別從不同的拍攝位置拍攝的視頻。

渲染模塊930用于根據(jù)左眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染左眼畫面；渲染模塊930還用于根據(jù)右眼朝向信息、所述目標三維模型和所述目標視頻，實時渲染右眼畫面；其中，所述左眼畫面和所述右眼畫面顯示在虛擬現(xiàn)實vr顯示器上時形成vr場景，所述vr場景中包括所述目標三維模型的圖像和所述目標視頻的圖像。

本發(fā)明實施例的圖形處理裝置，根據(jù)用戶的左右眼的位置信息，確定目標三維模型并且根據(jù)預先拍攝的多個視頻確定目標視頻，通過實時渲染的方式渲染技術(shù)分別渲染左眼畫面和右眼畫面，從而顯示vr場景，其中，vr場景中包括目標三維模型的圖像和目標視頻的圖像，該目標視頻可以真實的展現(xiàn)實景，在保持整個vr場景可交互性的基礎(chǔ)上，為用戶提供真實的臨場感，從而能夠提升用戶體驗。

可選地，作為一個實施例，所述渲染模塊930具體可以用于：根據(jù)所述左眼朝向信息，將所述目標三維模型渲染到第一紋理上；根據(jù)所述左眼朝向信息，將所述目標視頻渲染到第二紋理上，其中，所述第二紋理是基于廣告板面片技術(shù)的；根據(jù)所述右眼朝向信息，將所述目標三維模型渲染到第三紋理上；根據(jù)所述右眼朝向信息，將所述目標視頻渲染到第四紋理上，其中，所述第四紋理是基于廣告板面片技術(shù)的。

可選地，作為一個實施例，所述計算模塊920根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，可以包括：對所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個視頻中選取出至少兩個視頻；將所述至少兩個視頻中每個視頻在相應時刻對應的視頻幀抽取出來；根據(jù)所述平均位置和所述至少兩個視頻的拍攝位置，對所述至少兩個視頻幀進行插值運算，得到所述當目標視頻。

可選地，作為一個實施例，所述計算模塊920根據(jù)所述左眼位置信息、所述右眼位置信息和預先拍攝的多個視頻，確定目標視頻，可以包括：對所述左眼位置信息和所述右眼位置信息求平均值，得到平均位置；根據(jù)所述平均位置，從所述多個視頻中選取出所述目標視頻，其中，所述目標視頻的拍攝位置與所述平均位置的距離是所述多個視頻的所有的拍攝位置中與所述平均位置最接近的。

可選地，作為一個實施例，所述多個視頻是對原始視頻經(jīng)過透明處理后的僅包括目標物體的視頻。

可選地，作為一個實施例，所述目標物體為人物。

可選地，作為一個實施例，所述獲取模塊910獲取的所述左眼位置信息、所述右眼位置信息、所述左眼朝向信息和所述右眼朝向信息是根據(jù)所收集的所述用戶當前的姿態(tài)信息確定的。

可選地，作為一個實施例，所述姿態(tài)信息包括頭部姿態(tài)信息、四肢姿態(tài)信息、軀干姿態(tài)信息、肌肉電刺激信息、眼球跟蹤信息、皮膚感知信息、運動感知信息和腦信號信息中的至少一種。

應理解，所述處理器900可以是cpu也可以是gpu。處理器900還可以既包括cpu的功能又包括gpu的功能，例如，獲取模塊910和計算模塊920的功能(s320至s340)由cpu執(zhí)行，渲染模塊930的功能(s350和s360)由gpu執(zhí)行，本發(fā)明實施例對此不作限定。

圖10示出的是本發(fā)明實施例的一種vr系統(tǒng)的示意圖。圖10所示的是一種vr頭盔1000，vr頭盔1000可以包括頭部跟蹤器1010、cpu1020、gpu1030和顯示器1040。其中，頭部跟蹤器1010對應于姿態(tài)收集裝置，cpu1020和gpu1030對應于處理裝置，顯示器1040對應于顯示裝置，此處對頭部跟蹤器1010、cpu1020、gpu1030和顯示器1040的功能不再贅述。

應理解，圖10示出的頭部跟蹤器1010、cpu1020、gpu1030和顯示器1040集成在vr頭盔1000中。在vr頭盔1000外部還可以有其他的姿態(tài)收集裝置，收集用戶的姿態(tài)信息，發(fā)送給cpu1020進行處理，本發(fā)明實施例對此不作限定。

圖11示出的是本發(fā)明實施例的另一種vr系統(tǒng)的示意圖。圖11所示的是一種vr眼鏡1110與主機1120構(gòu)成的vr系統(tǒng)，vr眼鏡1110可以包括角度感應器1112、信號處理器1114、數(shù)據(jù)傳輸器1116和顯示器1118。其中，角度感應器1112對應于姿態(tài)收集裝置，主機1120中包括cpu和gpu對應于處理裝置來計算并渲染畫面，顯示器1118對應于顯示裝置。角度感應器1112收集用戶的姿態(tài)信息，將姿態(tài)信息發(fā)送給主機1120進行處理，主機1120計算并渲染左眼畫面和右眼畫面，并將左眼畫面和右眼畫面發(fā)送給顯示器1118進行顯示。信號處理器1114和數(shù)據(jù)傳輸器1116主要用于vr眼鏡1110與主機1120之間的通信。

在vr眼鏡1110外部還可以有其他的姿態(tài)收集裝置，收集用戶的姿態(tài)信息，發(fā)送給主機1120進行處理，本發(fā)明實施例對此不作限定。

本發(fā)明實施例的虛擬現(xiàn)實系統(tǒng)，收集用戶的姿態(tài)信息來確定用戶左右眼的位置，根據(jù)用戶的左右眼的位置信息，確定目標三維模型并且根據(jù)預先拍攝的多個視頻確定目標視頻，通過實時渲染的方式渲染技術(shù)分別渲染左眼畫面和右眼畫面，從而顯示vr場景，其中，vr場景中包括目標三維模型的圖像和目標視頻的圖像，該目標視頻可以真實的展現(xiàn)實景，在保持整個vr場景可交互性的基礎(chǔ)上，為用戶提供真實的臨場感，從而能夠提升用戶體驗。

本發(fā)明實施例還提供一種計算機可讀存儲介質(zhì)，其上存儲有指令，當所述指令在計算機上運行時，使得所述計算機執(zhí)行上述方法實施例的圖形處理方法。具體地，該計算機可以為上述vr系統(tǒng)或者為處理器。

本發(fā)明實施例還提供一種包括指令的計算機程序產(chǎn)品，其特征在于，當計算機運行所述計算機程序產(chǎn)品的所述指時，所述計算機執(zhí)行上述方法實施例的圖形處理方法。具體地，該計算機程序產(chǎn)品可以運行于vr系統(tǒng)或者處理器中。

在上述實施例中，可以全部或部分地通過軟件、硬件、固件或者其任意組合來實現(xiàn)。當使用軟件實現(xiàn)時，可以全部或部分地以計算機程序產(chǎn)品的形式實現(xiàn)。所述計算機程序產(chǎn)品包括一個或多個計算機指令。在計算機上加載和執(zhí)行所述計算機指令時，全部或部分地產(chǎn)生按照本申請實施例所述的流程或功能。所述計算機可以是通用計算機、專用計算機、計算機網(wǎng)絡、或者其他可編程裝置。所述計算機指令可以存儲在計算機可讀存儲介質(zhì)中，或者從一個計算機可讀存儲介質(zhì)向另一個計算機可讀存儲介質(zhì)傳輸，例如，所述計算機指令可以從一個網(wǎng)站站點、計算機、服務器或數(shù)據(jù)中心通過有線(例如同軸電纜、光纖、數(shù)字用戶線(digitalsubscriberline，dsl))或無線(例如紅外、無線、微波等)方式向另一個網(wǎng)站站點、計算機、服務器或數(shù)據(jù)中心進行傳輸。所述計算機可讀存儲介質(zhì)可以是計算機能夠存取的任何可用介質(zhì)或者是包含一個或多個可用介質(zhì)集成的服務器、數(shù)據(jù)中心等數(shù)據(jù)存儲設備。所述可用介質(zhì)可以是磁性介質(zhì)(例如，軟盤、硬盤、磁帶)、光介質(zhì)(例如，高密度數(shù)字視頻光盤(digitalvideodisc，dvd))、或者半導體介質(zhì)(例如，固態(tài)硬盤(solidstatedisk，ssd))等。

應理解，本文中涉及的第一、第二以及各種數(shù)字編號僅為描述方便進行的區(qū)分，并不用來限制本申請的范圍。

應理解，本文中術(shù)語“和/或”，僅僅是一種描述關(guān)聯(lián)對象的關(guān)聯(lián)關(guān)系，表示可以存在三種關(guān)系，例如，a和/或b，可以表示：單獨存在a，同時存在a和b，單獨存在b這三種情況。另外，本文中字符“/”，一般表示前后關(guān)聯(lián)對象是一種“或”的關(guān)系。

本領(lǐng)域普通技術(shù)人員可以意識到，結(jié)合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬件、或者計算機軟件和電子硬件的結(jié)合來實現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應用和設計約束條件。專業(yè)技術(shù)人員可以對每個特定的應用來使用不同方法來實現(xiàn)所描述的功能，但是這種實現(xiàn)不應認為超出本申請的范圍。

所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，上述描述的系統(tǒng)、裝置和單元的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。

在本申請所提供的幾個實施例中，應該理解到，所揭露的系統(tǒng)、裝置和方法，可以通過其他的方式實現(xiàn)。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其他的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。

以上所述，僅為本申請的具體實施方式，但本申請的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本申請揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應涵蓋在本申請的保護范圍之內(nèi)。因此，本申請的保護范圍應所述以權(quán)利要求的保護范圍為準。