背景

混合現(xiàn)實(shí)是一種允許將虛擬圖像與現(xiàn)實(shí)世界物理環(huán)境相混合的技術(shù)。用戶可佩戴透視、頭戴式、混合現(xiàn)實(shí)顯示設(shè)備來(lái)查看顯示在用戶的視野中的現(xiàn)實(shí)對(duì)象和虛擬對(duì)象的混合圖像。創(chuàng)建虛擬內(nèi)容并與虛擬內(nèi)容一起工作可能是有挑戰(zhàn)性的，因?yàn)樘摂M內(nèi)容不具有固有的單位比例(scale)。內(nèi)容創(chuàng)建者通常在創(chuàng)建內(nèi)容時(shí)定義其自己的比例，并期望他人使用相同的比例來(lái)消費(fèi)該內(nèi)容。這進(jìn)而導(dǎo)致難以理解虛擬內(nèi)容比例和現(xiàn)實(shí)世界比例之間的關(guān)系。其在嘗試使用有限的2d顯示器來(lái)查看虛擬內(nèi)容時(shí)還要復(fù)雜，并且還可使得進(jìn)行詳盡的內(nèi)容編輯變得困難。

概述

本技術(shù)的各實(shí)施例涉及一種用于從虛擬內(nèi)容內(nèi)的查看視角查看、探索、體驗(yàn)虛擬內(nèi)容以及與虛擬內(nèi)容進(jìn)行交互的系統(tǒng)和方法。實(shí)際上，用戶被縮小并被插入到虛擬內(nèi)容中，使得用戶可體驗(yàn)虛擬內(nèi)容的實(shí)物大小視圖。用于在虛擬環(huán)境內(nèi)創(chuàng)建虛擬對(duì)象的系統(tǒng)一般包括耦合至至少一個(gè)處理單元的透視、頭戴式顯示設(shè)備。處理單元與(諸)頭戴式顯示設(shè)備協(xié)作能夠顯示用戶正作用于的或以其他方式希望體驗(yàn)的虛擬工件。

本技術(shù)允許用戶選擇查看虛擬工件的模式，在本文中被稱為沉浸模式。在沉浸模式中，用戶能夠選擇虛擬化身，該虛擬化身可以是用戶放置在虛擬工件中或虛擬工件附近的某處的該用戶的經(jīng)縮小的模型。那時(shí)，向用戶顯示的視圖是來(lái)自該化身的視角的視圖。實(shí)際上，用戶被收縮并沉浸在虛擬內(nèi)容中。用戶可在實(shí)物大小比例上查看、探索、體驗(yàn)虛擬內(nèi)容中的工件以及與其進(jìn)行交互，例如與以同用戶在現(xiàn)實(shí)世界中的大小一比一的大小比例出現(xiàn)的工件進(jìn)行交互。

除了得到對(duì)虛擬工件的實(shí)物大小視角外，以沉浸模式查看虛擬工件還在用戶與工件的交互方面提供了更大的精度。例如，在從實(shí)際的現(xiàn)實(shí)世界空間查看虛擬工件時(shí)(在本文中被稱為現(xiàn)實(shí)世界模式)，用戶從多個(gè)小虛擬件中選擇一個(gè)小虛擬件并與其進(jìn)行交互的能力可受到限制。然而，當(dāng)處于沉浸模式時(shí)，用戶正在查看工件的實(shí)物大小的比例，并且能夠以更大的精度與各小件進(jìn)行交互。

提供本概述以便以簡(jiǎn)化的形式介紹以下在詳細(xì)描述中進(jìn)一步描述的一些概念。本概述并非旨在標(biāo)識(shí)出要求保護(hù)的主題的關(guān)鍵特征或必要特征，亦非旨在用作輔助確定要求保護(hù)的主題的范圍。

附圖簡(jiǎn)述

圖1是包括現(xiàn)實(shí)和虛擬對(duì)象的虛擬現(xiàn)實(shí)環(huán)境的圖解。

圖2是頭戴式顯示單元的一個(gè)實(shí)施例的透視圖。

圖3是頭戴式顯示單元的一個(gè)實(shí)施例的一部分的側(cè)視圖。

圖4是頭戴式顯示單元的各組件的一個(gè)實(shí)施例的框圖。

圖5是與頭戴式顯示單元相關(guān)聯(lián)的處理單元的各組件的一個(gè)實(shí)施例的框圖。

圖6是與頭戴式顯示單元相關(guān)聯(lián)的處理單元的各軟件組件的一個(gè)實(shí)施例的框圖。

圖7是示出與本系統(tǒng)的頭戴式顯示單元相關(guān)聯(lián)的一個(gè)或多個(gè)處理單元的操作的流程圖。

圖8-12是圖7的流程圖中所示的各步驟的示例的更詳細(xì)的流程圖。

圖13-16解說(shuō)用戶通過(guò)現(xiàn)實(shí)世界模式查看虛擬環(huán)境中的工件的示例。

圖17-19解說(shuō)根據(jù)本技術(shù)的各方面的從沉浸模式內(nèi)查看到的虛擬環(huán)境的示例。

詳細(xì)描述

現(xiàn)在將參考各附圖描述本技術(shù)的各實(shí)施例，這些圖一般涉及用于在混合現(xiàn)實(shí)環(huán)境中通過(guò)虛擬對(duì)象的沉浸式視圖來(lái)查看、探索、體驗(yàn)這些虛擬對(duì)象并與其進(jìn)行交互的系統(tǒng)和方法(本文中也被稱為全息圖)。在各實(shí)施例中，該系統(tǒng)和方法可使用移動(dòng)混合現(xiàn)實(shí)組裝件來(lái)生成三維混合現(xiàn)實(shí)環(huán)境?；旌犀F(xiàn)實(shí)組裝件包括耦合到具有相機(jī)和顯示元件的頭戴式顯示設(shè)備(或其他合適的裝置)的移動(dòng)處理單元。

處理單元可執(zhí)行經(jīng)縮放的沉浸軟件應(yīng)用，該應(yīng)用允許用戶通過(guò)將用戶控制的化身插入到虛擬內(nèi)容中并從該化身的視角顯示該虛擬內(nèi)容來(lái)使他或她自己沉浸在該虛擬內(nèi)容中。如以下所描述的，用戶可用現(xiàn)實(shí)世界模式和沉浸模式兩者來(lái)與虛擬工件的虛擬對(duì)象進(jìn)行交互。

頭戴式顯示設(shè)備的顯示元件在一定程度上是透明的，使得用戶可透過(guò)該顯示元件看到在該用戶的視野(fov)內(nèi)的現(xiàn)實(shí)世界對(duì)象。該顯示元件還提供將虛擬圖像投影到該用戶的fov中以使得所述虛擬圖像也可出現(xiàn)在現(xiàn)實(shí)世界對(duì)象旁邊的能力。在現(xiàn)實(shí)世界模式中，系統(tǒng)自動(dòng)地跟蹤用戶所看之處，從而該系統(tǒng)可確定將虛擬圖像插入到該用戶的fov中的何處。一旦該系統(tǒng)知曉要將該虛擬圖像投影至何處，就使用該顯示元件投影該圖像。

在沉浸模式中，用戶將用戶控制的化身放置在虛擬內(nèi)容中。該虛擬內(nèi)容包括(諸)虛擬工件和附屬于(諸)虛擬工件的區(qū)域。虛擬工件可以是部分構(gòu)造虛擬對(duì)象，或在其正被創(chuàng)建時(shí)用戶可查看到的對(duì)象的集合。虛擬工件也可以是完整虛擬對(duì)象，或用戶正在查看的對(duì)象的集合。

當(dāng)以沉浸模式操作時(shí)，系統(tǒng)跟蹤用戶正在看現(xiàn)實(shí)世界中的何處，并隨后使用經(jīng)縮放的沉浸矩陣將虛擬內(nèi)容的經(jīng)顯示視圖變換到虛擬化身的經(jīng)縮放的視角。用戶在現(xiàn)實(shí)世界中的移動(dòng)導(dǎo)致在沉浸式視圖中化身的查看視角的相應(yīng)經(jīng)縮放改變。這些特征在以下被解釋。

在各實(shí)施例中，處理單元可構(gòu)建包括房間或其它環(huán)境中的用戶、現(xiàn)實(shí)世界對(duì)象和虛擬三維對(duì)象的x、y、z笛卡爾位置的環(huán)境的三維模型。該三維模型可由移動(dòng)處理單元自身或者同其他處理設(shè)備合作工作來(lái)生成，如此后所解釋的。

在現(xiàn)實(shí)世界模式中，經(jīng)由頭戴式顯示設(shè)備從該頭戴式顯示設(shè)備的視角以及用戶自己的眼睛向用戶顯示虛擬內(nèi)容。該視角在本文中被稱為現(xiàn)實(shí)世界視圖。在沉浸模式中，查看視角被縮放、旋轉(zhuǎn)、轉(zhuǎn)換到虛擬內(nèi)容內(nèi)的位置和定向。該查看視角在本文中被稱為沉浸視圖。

從概念上講，沉浸視圖是一旦化身被用戶定位在虛擬內(nèi)容內(nèi)并在虛擬內(nèi)容內(nèi)被設(shè)定大小，該化身將“看見(jiàn)”的視圖。用戶可如以下所解釋的那樣移動(dòng)化身，使得化身在沉浸視圖中“看見(jiàn)”的虛擬內(nèi)容改變。因此，在本文中，有時(shí)沉浸視圖是按照化身對(duì)虛擬內(nèi)容的視圖或視角來(lái)描述的。然而，從軟件視角來(lái)說(shuō)，如以下所解釋的，沉浸視圖是從笛卡爾空間中的點(diǎn)xi,yi,zi開(kāi)始的視錐體以及從該點(diǎn)開(kāi)始的單位向量(俯仰i,偏航i和滾轉(zhuǎn)i)。如以下還解釋的，那個(gè)點(diǎn)和單位向量是從由用戶在虛擬內(nèi)容中設(shè)置的化身的初始位置和定向以及由用戶設(shè)置的化身的經(jīng)縮放的大小中導(dǎo)出的。

如以下所描述的，用戶可用現(xiàn)實(shí)世界模式和沉浸模式兩者來(lái)與虛擬工件的虛擬對(duì)象進(jìn)行交互。如本文中所使用的，術(shù)語(yǔ)“交互”包含物理和口頭姿勢(shì)兩者。物理姿勢(shì)包括用戶使用他或她的手指、手和/或其他身體部位執(zhí)行由混合現(xiàn)實(shí)系統(tǒng)識(shí)別為使該系統(tǒng)執(zhí)行預(yù)定義動(dòng)作的用戶命令的預(yù)定義姿勢(shì)。這樣的預(yù)定義姿勢(shì)可包括但不限于頭部瞄準(zhǔn)、眼睛瞄準(zhǔn)(注視)、指向、抓握、推動(dòng)、重設(shè)大小和塑造虛擬對(duì)象。

物理交互可進(jìn)一步包括用戶對(duì)虛擬對(duì)象的接觸。例如，用戶可將他或她的手定位在三維空間中與虛擬對(duì)象的位置相對(duì)應(yīng)的位置處。用戶可此后執(zhí)行諸如抓握或推動(dòng)之類的姿勢(shì)，該姿勢(shì)被混合現(xiàn)實(shí)系統(tǒng)解釋，并且相應(yīng)的動(dòng)作對(duì)虛擬對(duì)象執(zhí)行，例如該對(duì)象可被抓握并可此后被拿在用戶的手中，或者該對(duì)象可被推動(dòng)并且被移動(dòng)與推動(dòng)運(yùn)動(dòng)的程度相對(duì)應(yīng)的量。作為進(jìn)一步示例，用戶可通過(guò)推動(dòng)虛擬按鈕來(lái)與虛擬按鈕進(jìn)行交互。

用戶還可以用他的或她的眼睛來(lái)與虛擬對(duì)象物理地交互。在一些實(shí)例中，眼睛注視數(shù)據(jù)標(biāo)識(shí)用戶正關(guān)注于fov中的何處，并且因而可以標(biāo)識(shí)用戶正在看某一特定虛擬對(duì)象。持續(xù)的眼睛注視，或者一次眨眼或眨眼序列，因而可以是用戶借助來(lái)選擇一個(gè)或多個(gè)虛擬對(duì)象的物理交互。

用戶可替換地或附加地使用口頭姿勢(shì)來(lái)與虛擬對(duì)象進(jìn)行交互，口頭姿勢(shì)為諸如舉例來(lái)說(shuō)被該混合現(xiàn)實(shí)系統(tǒng)識(shí)別為使該系統(tǒng)執(zhí)行預(yù)定義動(dòng)作的用戶命令的口述單詞或短語(yǔ)。口頭姿勢(shì)可連同物理姿勢(shì)一起使用以與虛擬環(huán)境中的一個(gè)或多個(gè)虛擬對(duì)象交互。

圖1解說(shuō)了用于通過(guò)將虛擬內(nèi)容21與每一用戶的fov內(nèi)的現(xiàn)實(shí)內(nèi)容23融合來(lái)向用戶提供混合現(xiàn)實(shí)體驗(yàn)的混合現(xiàn)實(shí)環(huán)境10。圖1示出兩個(gè)用戶18a和18b，每一用戶均佩戴頭戴式顯示設(shè)備2，并且每一用戶均在查看調(diào)整到其視角的虛擬內(nèi)容21。應(yīng)理解，圖1中示出的特定虛擬內(nèi)容僅作為示例，并且可以是形成如以下所解釋的虛擬工件的各種各樣的虛擬對(duì)象中的任一者。如圖2中所示出的，每一頭戴式顯示設(shè)備2可包括其自己的處理單元4或例如經(jīng)由軟線6與其自己的處理單元4通信。頭戴式顯示設(shè)備可替換地與處理單元4無(wú)線地通信。在進(jìn)一步實(shí)施例中，處理單元4可被集成到頭戴式顯示設(shè)備2中。在一個(gè)實(shí)施例中為眼鏡形狀的頭戴式顯示設(shè)備2被佩戴在用戶的頭上，使得用戶可以透過(guò)顯示器進(jìn)行觀看，并且從而具有該用戶前方的空間的實(shí)際直接視圖。下面提供頭戴式顯示設(shè)備2和處理單元4的更多細(xì)節(jié)。

在處理單元4沒(méi)有被并入頭戴式顯示設(shè)備2中的情況下，處理單元4可以是例如佩戴在用戶的手腕上或儲(chǔ)放在用戶的口袋中的小型便攜式設(shè)備。處理單元4可包括執(zhí)行諸如游戲應(yīng)用、非游戲應(yīng)用等應(yīng)用的硬件組件和/或軟件組件。在一個(gè)實(shí)施例中，處理單元4可包括可執(zhí)行存儲(chǔ)在處理器可讀存儲(chǔ)設(shè)備上的用于執(zhí)行本文中描述的過(guò)程的指令的處理器，如標(biāo)準(zhǔn)化處理器、專用處理器、微處理器等。在各實(shí)施例中，處理單元4與一個(gè)或多個(gè)遠(yuǎn)程計(jì)算系統(tǒng)無(wú)線地(例如，wifi、藍(lán)牙、紅外、或其他無(wú)線通信手段)通信。這些遠(yuǎn)程計(jì)算系統(tǒng)可包括計(jì)算機(jī)、游戲系統(tǒng)或控制臺(tái)或遠(yuǎn)程服務(wù)提供者。

頭戴式顯示設(shè)備2和處理單元4可彼此協(xié)作以在混合現(xiàn)實(shí)環(huán)境10中向用戶呈現(xiàn)虛擬內(nèi)容21。以下解釋了用于構(gòu)建虛擬對(duì)象的本系統(tǒng)的細(xì)節(jié)?，F(xiàn)將參考圖2-6來(lái)解釋使得能夠構(gòu)建虛擬對(duì)象的移動(dòng)頭戴式顯示設(shè)備2和處理單元4的細(xì)節(jié)。

圖2和3示出了頭戴式顯示設(shè)備2的透視圖和側(cè)視圖。圖3僅僅示出了頭戴式顯示設(shè)備2的右側(cè)，其包括具有鏡腿102和鼻梁104的那部分。在鼻梁104中置入了話筒110用于記錄聲音以及將音頻數(shù)據(jù)傳送給處理單元4，如下所述。在頭戴式顯示設(shè)備2的前方是朝向房間的視頻相機(jī)112，該視頻相機(jī)112可以捕捉視頻和靜止圖像。那些圖像被傳送至處理單元4，如下所述。

頭戴式顯示設(shè)備2的鏡架的一部分將圍繞顯示器(顯示器包括一個(gè)或多個(gè)透鏡)。為了示出頭戴式顯示設(shè)備2的組件，未描繪圍繞顯示器的鏡架部分。該顯示器包括光導(dǎo)光學(xué)元件115、不透明濾光器114、透視透鏡116和透視透鏡118。在一個(gè)實(shí)施例中，不透明度濾光器114處于透視透鏡116之后并與其對(duì)齊，光導(dǎo)光學(xué)元件115處于不透明度濾光器114之后并與其對(duì)齊，而透視透鏡118處于光導(dǎo)光學(xué)元件115之后并與其對(duì)齊。透視透鏡116和118是眼鏡中使用的標(biāo)準(zhǔn)鏡片，并且可根據(jù)任何驗(yàn)光單(包括無(wú)驗(yàn)光單)來(lái)制作。在一個(gè)實(shí)施例中，透視透鏡116和118可由可變處方透鏡取代。不透明度濾光器114濾除自然光(要么以每像素為基礎(chǔ)，要么均勻地)以增強(qiáng)虛擬圖像的對(duì)比度。光導(dǎo)光學(xué)元件115將人造光引導(dǎo)到眼睛。下面提供不透光濾光器114和光導(dǎo)光學(xué)元件115的更多細(xì)節(jié)。

在鏡腿102處或鏡腿102內(nèi)安裝有圖像源，該圖像源(在一個(gè)實(shí)施例中)包括用于對(duì)虛擬圖像進(jìn)行投影的微顯示器120、以及用于將圖像從微顯示器120引導(dǎo)到光導(dǎo)光學(xué)元件115中的透鏡122。在一個(gè)實(shí)施例中，透鏡122是準(zhǔn)直透鏡。

控制電路136提供支持頭戴式顯示設(shè)備2的其他組件的各種電子裝置?？刂齐娐?36的更多細(xì)節(jié)在下文參照?qǐng)D4提供。處于鏡腿102內(nèi)部或安裝到鏡腿102的是耳機(jī)130、慣性測(cè)量單元132、以及溫度傳感器138。在圖4中所示的一個(gè)實(shí)施例中，慣性測(cè)量單元132(或imu132)包括慣性傳感器，諸如三軸磁力計(jì)132a、三軸陀螺儀132b以及三軸加速度計(jì)132c。慣性測(cè)量單元132感測(cè)頭戴式顯示設(shè)備2的位置、定向和突然加速度(俯仰、滾轉(zhuǎn)和偏航)。除了磁力計(jì)132a、陀螺儀132b和加速度計(jì)132c之外或者取代磁力計(jì)132a、陀螺儀132b和加速度計(jì)132c，imu132還可包括其他慣性傳感器。

微顯示器120通過(guò)透鏡122來(lái)投影圖像。存在著可被用于實(shí)現(xiàn)微顯示器120的不同的圖像生成技術(shù)。例如，微顯示器120可以使用透射投影技術(shù)來(lái)實(shí)現(xiàn)，其中光源由光學(xué)活性材料來(lái)調(diào)制，用白光從背后照亮。這些技術(shù)通常使用具有強(qiáng)大背光和高光能量密度的lcd型顯示器來(lái)實(shí)現(xiàn)。微顯示器120還可使用反射技術(shù)來(lái)實(shí)現(xiàn)，其中外部光被光學(xué)活性材料反射并調(diào)制。取決于該技術(shù)，照明是由白光源或rgb源來(lái)向前點(diǎn)亮的。數(shù)字光處理(dlp)、硅上液晶(lcos)、以及來(lái)自qualcomm有限公司的顯示技術(shù)是高效的反射技術(shù)的示例(因?yàn)榇蠖鄶?shù)能量從已調(diào)制結(jié)構(gòu)反射離開(kāi))并且可被用在本系統(tǒng)中。附加地，微顯示器120可以使用發(fā)射技術(shù)來(lái)實(shí)現(xiàn)，其中光由該顯示器生成。例如，來(lái)自microvision有限公司的picop^tm顯示引擎使用微型鏡面舵來(lái)將激光信號(hào)發(fā)射到擔(dān)當(dāng)透射元件的小型屏幕上或直接將光束(例如，激光)發(fā)射到眼睛。

光導(dǎo)光學(xué)元件115將來(lái)自微顯示器120的光傳送到佩戴頭戴式顯示設(shè)備2的用戶的眼睛140。光導(dǎo)光學(xué)元件115還允許如箭頭142所描繪的那樣將光從頭戴式顯示設(shè)備2的前方通過(guò)光導(dǎo)光學(xué)元件115傳送到眼睛140，從而除了接收來(lái)自微顯示器120的虛擬圖像之外還允許用戶具有頭戴式顯示設(shè)備2的前方的空間的實(shí)際直接視圖。從而，光導(dǎo)光學(xué)元件115的壁是透視的。光導(dǎo)光學(xué)元件115包括第一反射表面124(例如鏡面或其他表面)。來(lái)自微顯示器120的光穿過(guò)透鏡122并入射在反射表面124上。反射表面124反射來(lái)自微顯示器120的入射光，使得光通過(guò)內(nèi)反射被陷在包括光導(dǎo)光學(xué)元件115的平面基底內(nèi)。在基底的表面上進(jìn)行若干次反射之后，被陷的光波到達(dá)選擇性反射表面126的陣列。注意，五個(gè)表面中只有一個(gè)表面被標(biāo)記為126以防止附圖太過(guò)擁擠。反射表面126將從基底出射并入射在這些反射表面上的光波耦合進(jìn)用戶的眼睛140。

由于不同光線將以不同視角傳播并彈離襯底的內(nèi)部，因此這些不同的光線將以不同視角擊中各個(gè)反射面126。因此，不同光線將被所述反射面中的不同反射面從基底反射出。關(guān)于哪些光線將被哪個(gè)表面126從基底反射出的選擇是通過(guò)選擇表面126的合適視角來(lái)設(shè)計(jì)的。光導(dǎo)光學(xué)元件的更多細(xì)節(jié)可在于2008年11月20日公開(kāi)的題為“substrate-guidedopticaldevices”(基底導(dǎo)向的光學(xué)設(shè)備)的美國(guó)專利公開(kāi)號(hào)2008/0285140中找到。在一個(gè)實(shí)施例中，每只眼睛將具有其自己的光導(dǎo)光學(xué)元件115。當(dāng)頭戴式顯示設(shè)備2具有兩個(gè)光導(dǎo)光學(xué)元件時(shí)，每只眼睛都可以具有其自己的微顯示器120，該微顯示器120可以在兩只眼睛中顯示相同圖像或者在兩只眼睛中顯示不同圖像。在另一實(shí)施例中，可以存在將光反射到兩只眼睛中的一個(gè)光導(dǎo)光學(xué)元件。

與光導(dǎo)光學(xué)元件115對(duì)齊的不透明濾光器114要么均勻地、要么以每像素為基礎(chǔ)來(lái)選擇性地阻擋自然光，以免其穿過(guò)光導(dǎo)光學(xué)元件115。于2010年9月21日提交的bar-zeev等人的題為“opacityfilterforsee-throughmounteddisplay(用于透視安裝顯示器的不透明度濾光器)”的美國(guó)專利公開(kāi)號(hào)2012/0068913中提供了不透明度濾光器114的示例的細(xì)節(jié)。然而，一般而言，不透明濾光器114的一實(shí)施例可以是透視lcd面板、電致變色膜(electrochromicfilm)或能夠充當(dāng)不透明濾光器的類似設(shè)備。不透明度濾光器114可以包括致密的像素網(wǎng)格，其中每個(gè)像素的透光率能夠在最小和最大透光率之間被單獨(dú)地控制。盡管0-100％的透光率范圍是理想的，然而更受限的范圍也是可接受的，諸如例如每像素約50％到90％。

在用代理為現(xiàn)實(shí)世界對(duì)象進(jìn)行z-緩沖(z-buffering)之后，可以使用來(lái)自渲染流水線的阿爾法值的掩碼(mask)。當(dāng)系統(tǒng)為混合現(xiàn)實(shí)顯示器渲染場(chǎng)景時(shí)，該系統(tǒng)記錄哪些現(xiàn)實(shí)世界對(duì)象處于哪些虛擬對(duì)象之前，如同下面解釋的。如果虛擬對(duì)象處于現(xiàn)實(shí)世界對(duì)象之前，則不透明度對(duì)于該虛擬對(duì)象的覆蓋區(qū)域而言可以是開(kāi)啟的。如果虛擬對(duì)象(虛擬地)處于現(xiàn)實(shí)世界對(duì)象之后，則不透明度以及該像素的任何顏色都可被關(guān)閉，使得對(duì)于現(xiàn)實(shí)光的該相應(yīng)區(qū)域(其大小為一個(gè)像素或更多)而言，用戶將會(huì)看到現(xiàn)實(shí)世界對(duì)象。覆蓋將是以逐像素為基礎(chǔ)的，所以該系統(tǒng)可以處置虛擬對(duì)象的一部分處于現(xiàn)實(shí)世界對(duì)象之前、該虛擬對(duì)象的一部分處于現(xiàn)實(shí)世界對(duì)象之后、以及該虛擬對(duì)象的一部分與現(xiàn)實(shí)世界對(duì)象相重合的情況。對(duì)這種用途而言，最期望的是能夠以低的成本、功率和重量來(lái)從0％開(kāi)始直至100％不透明度的顯示器。此外，不透明度濾光器可以比如用彩色lcd或用諸如有機(jī)led等其他顯示器來(lái)以彩色進(jìn)行呈現(xiàn)。

頭戴式顯示設(shè)備2還包括用于跟蹤用戶的眼睛的位置的系統(tǒng)。如下面將會(huì)解釋的那樣，該系統(tǒng)將跟蹤用戶的位置和定向，使得該系統(tǒng)可以確定用戶的fov。然而，人類將不會(huì)感知到他們前方的一切。而是，用戶的眼睛將被導(dǎo)向該環(huán)境的一子集。因此，在一個(gè)實(shí)施例中，該系統(tǒng)將包括用于跟蹤用戶的眼睛的位置以便細(xì)化對(duì)該用戶的fov的測(cè)量的技術(shù)。例如，頭戴式顯示設(shè)備2包括眼睛跟蹤組件134(圖3)，該眼睛跟蹤組件134具有眼睛跟蹤照明設(shè)備134a和眼睛跟蹤相機(jī)134b(圖4)。在一個(gè)實(shí)施例中，眼睛跟蹤照明設(shè)備134a包括一個(gè)或多個(gè)紅外(ir)發(fā)射器，這些紅外發(fā)射器向眼睛發(fā)射ir光。眼睛跟蹤相機(jī)134b包括一個(gè)或多個(gè)感測(cè)反射的ir光的相機(jī)。通過(guò)檢測(cè)角膜的反射的已知成像技術(shù)，可以標(biāo)識(shí)出瞳孔的位置。例如，參見(jiàn)于2008年7月22日頒發(fā)的題為“headmountedeyetrackinganddisplaysystem”(頭戴式眼睛跟蹤和顯示系統(tǒng))的美國(guó)專利號(hào)7,401,920。此類技術(shù)可以定位眼睛的中心相對(duì)于跟蹤相機(jī)的位置。一般而言，眼睛跟蹤涉及獲得眼睛的圖像并使用計(jì)算機(jī)視覺(jué)技術(shù)來(lái)確定瞳孔在眼眶內(nèi)的位置。在一個(gè)實(shí)施例中，跟蹤一只眼睛的位置就足夠了，因?yàn)殡p眼通常一致地移動(dòng)。然而，單獨(dú)地跟蹤每只眼睛是可能的。

在一個(gè)實(shí)施例中，該系統(tǒng)將使用以矩形布置的4個(gè)irled和4個(gè)ir光電檢測(cè)器，使得在頭戴式顯示設(shè)備2的透鏡的每個(gè)角處存在一個(gè)irled和ir光電檢測(cè)器。來(lái)自led的光從眼睛反射離開(kāi)。由在4個(gè)ir光電檢測(cè)器中的每個(gè)處所檢測(cè)到的紅外光的量來(lái)確定瞳孔方向。也就是說(shuō)，眼睛中眼白相對(duì)于眼黑的量將確定對(duì)于該特定光電檢測(cè)器而言從眼睛反射離開(kāi)的光量。因此，光電檢測(cè)器將具有對(duì)眼睛中的眼白或眼黑的量的度量。從這4個(gè)采樣中，該系統(tǒng)可確定眼睛的方向。

另一替代方案是如上面所討論的那樣使用4個(gè)紅外led，但是在頭戴式顯示設(shè)備2的透鏡的一側(cè)上使用一個(gè)紅外ccd。ccd可使用小鏡子和/或透鏡(魚(yú)眼)，以使得ccd可對(duì)來(lái)自眼鏡框的可見(jiàn)眼睛的多達(dá)75％成像。然后，該ccd將感測(cè)圖像并且使用計(jì)算機(jī)視覺(jué)來(lái)找出該圖像，就像上文所討論的那樣。因此，盡管圖3示出了具有一個(gè)ir發(fā)射器的一個(gè)部件，但是圖3的結(jié)構(gòu)可以被調(diào)整為具有4個(gè)ir發(fā)射器和/或4個(gè)ir傳感器。也可以使用多于或少于4個(gè)的ir發(fā)射器和/或多于或少于4個(gè)的ir傳感器。

用于跟蹤眼睛的方向的另一實(shí)施例基于電荷跟蹤。此概念基于以下觀察：視網(wǎng)膜攜帶可測(cè)量的正電荷而角膜具有負(fù)電荷。傳感器被安裝在用戶的耳朵旁(靠近耳機(jī)130)以檢測(cè)眼睛在轉(zhuǎn)動(dòng)時(shí)的電勢(shì)并且高效地實(shí)時(shí)讀出眼睛正在干什么。也可以使用用于跟蹤眼睛的其他實(shí)施例。

圖3僅僅示出了頭戴式顯示設(shè)備2的一半。完整的頭戴式顯示設(shè)備可包括另一組透視透鏡、另一不透明度濾光器、另一光導(dǎo)光學(xué)元件、另一微顯示器120、另一透鏡122、面向房間的相機(jī)、眼睛跟蹤組裝件134、耳機(jī)、和溫度傳感器。

圖4是描繪了頭戴式顯示設(shè)備2的各個(gè)組件的框圖。圖5是描述處理單元4的各種組件的框圖。頭戴式顯示設(shè)備2(其組件在圖4中被描繪)被用于通過(guò)將一個(gè)或多個(gè)虛擬圖像無(wú)縫地與用戶對(duì)現(xiàn)實(shí)世界的視圖融合來(lái)向用戶提供虛擬體驗(yàn)。另外，圖4的頭戴式顯示設(shè)備組件包括跟蹤各種狀況的許多傳感器。頭戴式顯示設(shè)備2將從處理單元4接收關(guān)于虛擬圖像的指令，并且將把傳感器信息提供回給處理單元4。處理單元4將確定在何處以及在何時(shí)向用戶提供虛擬圖像并相應(yīng)地將指令發(fā)送給圖4的頭戴式顯示設(shè)備。

圖4的組件中的一些(例如朝向房間的相機(jī)112、眼睛跟蹤相機(jī)134b、微顯示器120、不透明濾光器114、眼睛跟蹤照明134a、耳機(jī)130和溫度傳感器138)是以陰影示出的，以指示這些設(shè)備中的每個(gè)都存在兩個(gè)，其中一個(gè)用于頭戴式顯示設(shè)備2的左側(cè)，而一個(gè)用于頭戴式顯示設(shè)備2的右側(cè)。圖4示出與電源管理電路202通信的控制電路200。控制電路200包括處理器210、與存儲(chǔ)器214(例如d-ram)進(jìn)行通信的存儲(chǔ)器控制器212、相機(jī)接口216、相機(jī)緩沖器218、顯示驅(qū)動(dòng)器220、顯示格式化器222、定時(shí)生成器226、顯示輸出接口228、以及顯示輸入接口230。

在一個(gè)實(shí)施例中，控制電路200的組件都通過(guò)專用線路或一個(gè)或多個(gè)總線彼此進(jìn)行通信。在另一實(shí)施例中，控制電路200的各組件與處理器210通信。相機(jī)接口216提供到兩個(gè)朝向房間的相機(jī)112的接口，并且將從朝向房間的相機(jī)所接收到的圖像存儲(chǔ)在相機(jī)緩沖器218中。顯示驅(qū)動(dòng)器220將驅(qū)動(dòng)微顯示器120。顯示格式化器222向控制不透明濾光器114的不透明度控制電路224提供關(guān)于微顯示器120上所正顯示的虛擬圖像的信息。定時(shí)生成器226被用來(lái)為該系統(tǒng)提供定時(shí)數(shù)據(jù)。顯示輸出接口228是用于將圖像從朝向房間的相機(jī)112提供給處理單元4的緩沖器。顯示輸入接口230是用于接收諸如要在微顯示器120上顯示的虛擬圖像之類的圖像的緩沖器。顯示輸出接口228和顯示輸入接口230與作為到處理單元4的接口的帶接口232通信。

電源管理電路202包括電壓調(diào)節(jié)器234、眼睛跟蹤照明驅(qū)動(dòng)器236、音頻dac和放大器238、話筒前置放大器和音頻adc240、溫度傳感器接口242、以及時(shí)鐘發(fā)生器244。電壓調(diào)節(jié)器234通過(guò)帶接口232從處理單元4接收電力，并將該電力提供給頭戴式顯示設(shè)備2的其他組件。每個(gè)眼睛跟蹤照明驅(qū)動(dòng)器236都如上面所述的那樣為眼睛跟蹤照明134a提供ir光源。音頻dac和放大器238向耳機(jī)130輸出音頻信息。話筒前置放大器和音頻adc240提供用于話筒110的接口。溫度傳感器接口242是用于溫度傳感器138的接口。電源管理電路202還向三軸磁力計(jì)132a、三軸陀螺儀132b以及三軸加速度計(jì)132c提供電能并從其接收回?cái)?shù)據(jù)。

圖5是描述處理單元4的各種組件的框圖。圖5示出與電源管理電路306通信的控制電路304?？刂齐娐?04包括：中央處理單元(cpu)320、圖形處理單元(gpu)322、高速緩存324、ram326、與存儲(chǔ)器330(例如d-ram)進(jìn)行通信的存儲(chǔ)器控制器328、與閃存334(或其他類型的非易失性存儲(chǔ))進(jìn)行通信的閃存控制器332、通過(guò)帶接口302和帶接口232與頭戴式顯示設(shè)備2進(jìn)行通信的顯示輸出緩沖器336、通過(guò)帶接口302和帶接口232與頭戴式顯示設(shè)備2進(jìn)行通信的顯示輸入緩沖器338、與用于連接到話筒的外部話筒連接器342進(jìn)行通信的話筒接口340、用于連接到無(wú)線通信設(shè)備346的pciexpress接口、以及(一個(gè)或多個(gè))usb端口348。在一個(gè)實(shí)施例中，無(wú)線通信設(shè)備346可包括啟用wi-fi的通信設(shè)備、藍(lán)牙通信設(shè)備、紅外通信設(shè)備等。usb端口可以用于將處理單元4對(duì)接到處理單元計(jì)算系統(tǒng)22，以便將數(shù)據(jù)或軟件加載到處理單元4上以及對(duì)處理單元4進(jìn)行充電。在一個(gè)實(shí)施例中，cpu320和gpu322是用于確定在何處、何時(shí)以及如何向用戶的視野內(nèi)插入虛擬三維對(duì)象的主要力量。以下提供更多的細(xì)節(jié)。

電源管理電路306包括時(shí)鐘發(fā)生器360、模數(shù)轉(zhuǎn)換器362、電池充電器364、電壓調(diào)節(jié)器366、頭戴式顯示器電源376、以及與溫度傳感器374進(jìn)行通信的溫度傳感器接口372(其可能位于處理單元4的腕帶上)。模數(shù)轉(zhuǎn)換器362被用于監(jiān)視電池電壓、溫度傳感器，以及控制電池充電功能。電壓調(diào)節(jié)器366與用于向該系統(tǒng)提供電力的電池368進(jìn)行通信。電池充電器364被用來(lái)在從充電插孔370接收到電力時(shí)(通過(guò)電壓調(diào)節(jié)器366)對(duì)電池368進(jìn)行充電。hmd電源376向頭戴式顯示設(shè)備2提供電力。

圖6解說(shuō)了包括顯示設(shè)備2的面向房間的相機(jī)112和處理單元4上的一些軟件模塊的移動(dòng)混合現(xiàn)實(shí)組裝件30的高級(jí)框圖。這些軟件模塊中的一些或全部可替換地被實(shí)現(xiàn)在頭戴式顯示設(shè)備2的處理器210上。如圖所示，面向房間的相機(jī)112向頭戴式顯示設(shè)備2中的處理器210提供圖像數(shù)據(jù)。在一個(gè)實(shí)施例中，面向房間的相機(jī)112可包括深度相機(jī)、rgb相機(jī)和ir光組件以捕捉場(chǎng)景的圖像數(shù)據(jù)。如以下所解釋的，面向房間的相機(jī)112可包括少于全部的這些組件。

例如使用飛行時(shí)間分析，ir光組件可將紅外光發(fā)射到場(chǎng)景上，并且可隨后使用傳感器(未示出)用例如深度相機(jī)和/或rgb相機(jī)來(lái)檢測(cè)從場(chǎng)景中的一個(gè)或多個(gè)對(duì)象的表面反向散射的光。在一些實(shí)施例中，可以使用脈沖紅外光，使得可以測(cè)量出射光脈沖與相應(yīng)入射光脈沖之間的時(shí)間，并且將其用于確定從面向房間的相機(jī)112到場(chǎng)景中的對(duì)象(包括例如用戶的手)上的特定位置的物理距離。另外，在其他示例實(shí)施例中，可以將出射光波的相位與入射光波的相位相比較來(lái)確定相移。然后可以使用該相移來(lái)確定從捕捉設(shè)備到目標(biāo)或?qū)ο笊系奶囟ㄎ恢玫奈锢砭嚯x。

根據(jù)另一示例性實(shí)施例，可以使用飛行時(shí)間分析來(lái)通過(guò)經(jīng)由包括例如快門(mén)式光脈沖成像在內(nèi)的各種技術(shù)分析反射光束隨時(shí)間的強(qiáng)度來(lái)間接地確定從面向房間的相機(jī)112到對(duì)象上的特定位置的物理距離。

在另一示例實(shí)施例中，面向房間的相機(jī)112可使用結(jié)構(gòu)化光來(lái)捕捉深度信息。在這樣的分析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案、條紋圖案、或不同圖案之類的已知圖案的光)可經(jīng)由例如ir光組件被投影到場(chǎng)景上。在落到場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)或?qū)ο蟮谋砻嫔弦院?，作為響?yīng)，圖案可以變?yōu)樽冃蔚摹D案的這種變形可由例如3-d相機(jī)和/或rgb相機(jī)(和/或其他傳感器)來(lái)捕捉，并可隨后被分析以確定從面向房間的相機(jī)112到對(duì)象上的特定位置的物理距離。在一些實(shí)現(xiàn)中，ir光組件從深度和/或rgb相機(jī)移位，使得可以使用三角測(cè)量來(lái)確定與深度和/或rgb相機(jī)的距離。在一些實(shí)現(xiàn)中，面向房間的相機(jī)112可包括感測(cè)ir光的專用ir傳感器或具有ir濾波器的傳感器。

應(yīng)理解，本技術(shù)可在沒(méi)有深度相機(jī)、rgb相機(jī)和ir光組件中的每一者的情況下感測(cè)對(duì)象和對(duì)象的三維位置。在各實(shí)施例中，面向房間的相機(jī)112可例如只與標(biāo)準(zhǔn)圖像相機(jī)(rgb或黑白)一起工作。這樣的實(shí)施例可通過(guò)單獨(dú)或組合使用的各種圖像跟蹤技術(shù)來(lái)操作。例如，單個(gè)、標(biāo)準(zhǔn)圖像面向房間的相機(jī)112可使用特征標(biāo)識(shí)和跟蹤。即，使用來(lái)自標(biāo)準(zhǔn)相機(jī)的圖像數(shù)據(jù)，有可能提取場(chǎng)景的感興趣區(qū)域或特征。通過(guò)查找那些相同的特征達(dá)某一時(shí)間段，可在三維空間中確定針對(duì)對(duì)象的信息。

在各實(shí)施例中，頭戴式顯示設(shè)備2可包括兩個(gè)間隔開(kāi)的標(biāo)準(zhǔn)圖像面向房間的相機(jī)112。在該實(shí)例中，到場(chǎng)景中對(duì)象的深度可依據(jù)兩個(gè)相機(jī)的立體效果來(lái)確定。每一相機(jī)都可成像某一重疊的特征集，并且深度可從其視野中的視差差異中被計(jì)算出。

一種用于確定未知環(huán)境內(nèi)具有位置信息的現(xiàn)實(shí)世界模型的進(jìn)一步方法被稱為同時(shí)定位和映射(slam)。slam的一個(gè)示例題為“systemsandmethodsforlandmarkgenerationforvisualsimultaneouslocalizationandmapping”(用于可視同時(shí)定位和映射的地標(biāo)生成的系統(tǒng)和方法)的美國(guó)專利no.7,774,158中被公開(kāi)。此外，來(lái)自imu的數(shù)據(jù)可被用于更準(zhǔn)確地解釋視覺(jué)跟蹤數(shù)據(jù)。

處理單元4可包括現(xiàn)實(shí)世界建模模塊452。使用以上所描述的來(lái)自(諸)面向前面的相機(jī)112的數(shù)據(jù)，現(xiàn)實(shí)世界建模模塊能夠?qū)?chǎng)景中的各對(duì)象(包括用戶的一只或兩只手)映射到三維參考幀。以下描述了現(xiàn)實(shí)世界建模模塊的進(jìn)一步細(xì)節(jié)。

為了跟蹤用戶在場(chǎng)景內(nèi)的位置，可從圖像數(shù)據(jù)中識(shí)別用戶。處理單元4可實(shí)現(xiàn)骨架識(shí)別和跟蹤模塊448。題為“skeletaljointrecognitionandtrackingsystem(骨架關(guān)節(jié)識(shí)別和跟蹤系統(tǒng))”的美國(guó)專利公開(kāi)no.2012/0162065中公開(kāi)了骨架跟蹤模塊448的一示例。這樣的系統(tǒng)還可跟蹤用戶的手。然而，在各實(shí)施例中，處理單元4還可執(zhí)行手部識(shí)別和跟蹤模塊450。該模塊450接收來(lái)自面向房間的相機(jī)112的圖像數(shù)據(jù)，并且能夠標(biāo)識(shí)fov中的用戶的手以及用戶的手的位置。題為“systemforrecognizinganopenorclosedhand(用于識(shí)別張開(kāi)或閉合的手的系統(tǒng))”的美國(guó)專利公開(kāi)no.2012/0308140中公開(kāi)了手部識(shí)別和跟蹤模塊450的一示例。一般來(lái)說(shuō)，模塊450可檢查圖像數(shù)據(jù)以辨別可以為手指、手指之間的間距以及在手指并在一起的情況下的指間的對(duì)象的寬度和長(zhǎng)度，以便標(biāo)識(shí)并跟蹤處于其各位置的用戶的手。

處理單元4還可以包括姿勢(shì)識(shí)別引擎454以用于接收?qǐng)鼍爸械囊粋€(gè)或多個(gè)用戶的骨架模型和/或手?jǐn)?shù)據(jù)，并確定該用戶是否正在執(zhí)行預(yù)定義的姿勢(shì)或影響在處理單元4上運(yùn)行的應(yīng)用的應(yīng)用控制移動(dòng)。關(guān)于姿勢(shì)識(shí)別引擎454的更多信息可以在2009年4月13日提交的題為“gesturerecognizersystemarchitecture(姿勢(shì)識(shí)別器系統(tǒng)架構(gòu))”的美國(guó)專利申請(qǐng)no.12/422,661中找到。

如上所述，用戶可例如以口述命令的形式執(zhí)行各種口頭姿勢(shì)以選擇對(duì)象并可能修改那些對(duì)象。因此，本系統(tǒng)進(jìn)一步包括語(yǔ)音識(shí)別引擎456。語(yǔ)音識(shí)別引擎456可根據(jù)各種已知技術(shù)中的任一者來(lái)操作。

在一個(gè)示例實(shí)施例中，頭戴式顯示設(shè)備2和處理單元4一起工作以創(chuàng)建用戶所在的環(huán)境的現(xiàn)實(shí)世界模型并且跟蹤該環(huán)境中各個(gè)移動(dòng)的或靜止的對(duì)象。此外，處理單元4通過(guò)跟蹤用戶18所佩戴的頭戴式顯示設(shè)備2的位置和定向來(lái)跟蹤該頭戴式顯示設(shè)備2的fov。由頭戴式顯示設(shè)備2獲得的例如來(lái)自面向房間的相機(jī)112和imu132的傳感器信息被傳送到處理單元4。處理單元4處理數(shù)據(jù)并更新現(xiàn)實(shí)世界模型。處理單元4進(jìn)一步向頭戴式顯示設(shè)備2提供關(guān)于在何處、在何時(shí)以及如何插入任何虛擬三維對(duì)象的指令。根據(jù)本技術(shù)，處理單元4進(jìn)一步實(shí)現(xiàn)縮放的沉浸軟件引擎458，縮放的沉浸軟件引擎458用于經(jīng)由頭戴式顯示設(shè)備2從虛擬內(nèi)容中的化身的視角向用戶顯示虛擬內(nèi)容?，F(xiàn)將參考圖7的流程圖更詳細(xì)地描述上述操作中的每一者。

圖7是處理單元4和頭戴式顯示設(shè)備2在離散時(shí)間段(比如為了生成、渲染和向每個(gè)用戶顯示單幀圖像數(shù)據(jù)所花費(fèi)的時(shí)間)期間的操作和交互性的高級(jí)流程圖在各實(shí)施例中，數(shù)據(jù)可以以60hz的速率刷新，但是在另外的實(shí)施例中可以以更高或更低的頻度刷新。

可以在步驟600配置用于將虛擬環(huán)境呈現(xiàn)給一個(gè)或多個(gè)用戶18的系統(tǒng)。根據(jù)本技術(shù)的各方面，步驟600可包括從存儲(chǔ)器檢索用戶的虛擬化身，諸如例如圖13中示出的化身500。在各實(shí)施例中，如果尚未被存儲(chǔ)，則化身500可由處理單元4和頭戴式顯示設(shè)備2在步驟604生成，如以下所解釋的?；砜梢允?在先前或當(dāng)前時(shí)間捕捉的)用戶的副本并且隨后被存儲(chǔ)。在進(jìn)一步實(shí)施例中，化身不需要是用戶的副本。化身500可以是另一個(gè)人或一般的人的副本。在進(jìn)一步實(shí)施例中，化身500可以是除人以外的具有外觀的對(duì)象。

在步驟604，處理單元4收集來(lái)自場(chǎng)景的數(shù)據(jù)。該數(shù)據(jù)可以是由頭戴式顯示設(shè)備2感測(cè)到的圖像數(shù)據(jù)，且具體而言，是由面向房間的相機(jī)112、眼睛跟蹤組裝件134和imu132感測(cè)到的圖像數(shù)據(jù)。在各實(shí)施例中，步驟604可包括掃描用戶以如以下所解釋的那樣渲染該用戶的化身以及確定該用戶的高度。如以下所解釋的，一旦在虛擬內(nèi)容中設(shè)定了化身的大小并對(duì)其進(jìn)行了放置，就可使用用戶的高度來(lái)確定該化身的縮放比例。步驟604可進(jìn)一步包括掃描用戶在其中操作移動(dòng)混合現(xiàn)實(shí)組裝件30的房間，并確定房間的尺寸。如以下所解釋的，已知的房間尺寸可被用于確定化身的經(jīng)縮放的大小和位置是否將允許用戶完全地探索化身被放置在其中的虛擬內(nèi)容。

現(xiàn)實(shí)世界模型可在步驟610中被開(kāi)發(fā)出，從而標(biāo)識(shí)其中使用移動(dòng)混合現(xiàn)實(shí)組裝件30的空間的幾何結(jié)構(gòu)以及對(duì)象的幾何結(jié)構(gòu)和對(duì)象在場(chǎng)景內(nèi)的位置。在各實(shí)施例中，在給定幀中生成的現(xiàn)實(shí)世界模型可包括該場(chǎng)景中用戶的(諸)手、其他現(xiàn)實(shí)世界對(duì)象和虛擬對(duì)象的x、y和z位置。以上解釋了用于收集深度和位置數(shù)據(jù)的方法。

處理單元4可接著將傳感器所捕捉到的圖像數(shù)據(jù)點(diǎn)轉(zhuǎn)換為場(chǎng)景的正交3d現(xiàn)實(shí)世界模型或圖。此正交3d現(xiàn)實(shí)世界模型可以是由頭戴式顯示設(shè)備相機(jī)所捕捉的所有圖像數(shù)據(jù)在正交x,y,z笛卡爾坐標(biāo)系中的點(diǎn)云圖。使用將相機(jī)視圖轉(zhuǎn)化成正交3-d世界視圖的矩陣變換等式的方法是已知的。例如參見(jiàn)davidh.eberly的“3dgameenginedesign:apracticalapproachtoreal-timecomputergraphics”(3d游戲引擎設(shè)計(jì)：實(shí)時(shí)計(jì)算機(jī)圖形的實(shí)用方法)，morgankaufman(摩根考夫曼)出版社(2000)。

在步驟612，該系統(tǒng)可檢測(cè)并跟蹤用戶的骨架和/或手(如以上所描述的)，并基于移動(dòng)身體部位和其他移動(dòng)對(duì)象的位置來(lái)更新現(xiàn)實(shí)世界模型。在步驟614，處理單元4確定頭戴式顯示設(shè)備2在場(chǎng)景內(nèi)的x、y和z位置、定向以及fov。現(xiàn)在參考附圖8的流程圖描述步驟614的進(jìn)一步細(xì)節(jié)。

在步驟700，由處理單元4分析場(chǎng)景的圖像數(shù)據(jù)以確定用戶頭部位置、以及從用戶的面部向外直視的面部單位向量二者。頭部位置可從來(lái)自頭戴式顯示設(shè)備2的反饋中標(biāo)識(shí)出，并且根據(jù)該反饋，可構(gòu)造面部單位向量。面部單位向量可被用來(lái)定義用戶的頭部定向，且在一些示例中可被認(rèn)為是用戶的fov的中心。也可或替代地根據(jù)從頭戴式顯示設(shè)備2上的面向房間的相機(jī)112返回的相機(jī)圖像數(shù)據(jù)來(lái)標(biāo)識(shí)面部單位向量。特別而言，基于頭戴式顯示設(shè)備2上的相機(jī)112所看到的，處理單元4能夠確定表示用戶的頭部定向的面部單位向量。

在步驟704，用戶的頭部的位置和定向還可或替代地通過(guò)如下方式來(lái)被確定：分析來(lái)自較早時(shí)間(要么在幀中較早，要么來(lái)自前一幀)的用戶的頭部的位置和定向，以及然后使用來(lái)自imu132的慣性信息來(lái)更新用戶的頭部的位置和定向。來(lái)自imu132的信息可以提供用戶的頭部的精確動(dòng)力學(xué)數(shù)據(jù)，但是imu典型地不提供關(guān)于用戶的頭部的絕對(duì)位置信息。該絕對(duì)位置信息也被稱為“地面實(shí)況”，其可提供自從頭戴式顯示設(shè)備2上的相機(jī)處獲得的圖像數(shù)據(jù)。

在各實(shí)施例中，用戶的頭部的位置和定向可以通過(guò)聯(lián)合作用的步驟700和704來(lái)確定。在又一些實(shí)施例中，步驟700和704中的一者或另一者可被用來(lái)確定用戶的頭部的頭部位置和定向。

可能發(fā)生的是，用戶未向前平看。因此，除了標(biāo)識(shí)出用戶頭部位置和定向以外，處理單元可進(jìn)一步考慮用戶的眼睛在其頭部中的位置。該信息可由上述眼睛跟蹤組件134提供。眼睛跟蹤組件能夠標(biāo)識(shí)出用戶的眼睛的位置，該位置可以被表示成眼睛單位向量，該眼睛單位向量示出了與用戶的眼睛聚焦所在且向前看的位置的向左、向右、向上和/或向下的偏離(即面部單位向量)。面部單位向量可以被調(diào)整為定義用戶正在看向何處的眼睛單位向量。

在步驟710，接著可以確定用戶的fov。頭戴式顯示設(shè)備2的用戶的視圖范圍可以基于假想用戶的向上、向下、向左和向右的邊界視力(peripheralvision)來(lái)預(yù)定義。為了確保針對(duì)給定用戶計(jì)算得到的fov包括特定用戶或許能夠在該fov的范圍內(nèi)看到的對(duì)象，這一假想用戶可不被當(dāng)作具有最大可能邊界視力的人。在一些實(shí)施例中，某一預(yù)定的額外fov可被添加于此以確保對(duì)給定用戶捕捉足夠的數(shù)據(jù)。

然后，可以通過(guò)取得視圖范圍并且將其中心定在調(diào)整了眼睛單位向量的任何偏離的面部單位向量周圍來(lái)計(jì)算該用戶在給定時(shí)刻的fov。除了定義用戶在給定時(shí)刻正在看什么之外，用戶的fov的這一確定還有用于確定什么可能對(duì)用戶是不可見(jiàn)的。如以下所解釋的，將對(duì)虛擬對(duì)象的處理限制于特定用戶的fov內(nèi)的那些區(qū)域可提高處理速度并降低延遲。

如以下還解釋的，本發(fā)明可以用沉浸模式操作，其中該視圖是來(lái)自用戶控制的化身的視角的經(jīng)縮放的視圖。在一些實(shí)施例中，當(dāng)以沉浸模式操作時(shí)，確定現(xiàn)實(shí)世界模型的fov的步驟710可被跳過(guò)。

本技術(shù)的各方面(包括從沉浸模式內(nèi)查看虛擬內(nèi)容的選項(xiàng))可由在處理單元4上執(zhí)行的縮放的沉浸軟件引擎458(圖6)基于經(jīng)由頭戴式顯示設(shè)備2接收到的輸入來(lái)實(shí)現(xiàn)。現(xiàn)在將參考圖9-18更詳細(xì)地解釋經(jīng)由內(nèi)容生成引擎458、處理單元4和顯示設(shè)備2從現(xiàn)實(shí)世界和沉浸模式內(nèi)查看內(nèi)容。盡管以下描述了由處理單元4執(zhí)行的處理步驟，但應(yīng)理解，這些步驟可附加地或替換地由頭戴式顯示設(shè)備2和/或一些其他計(jì)算設(shè)備內(nèi)的處理器來(lái)執(zhí)行。

如以下所解釋的那樣通過(guò)現(xiàn)實(shí)世界和沉浸模式與虛擬工件交互可通過(guò)用戶執(zhí)行各種預(yù)定義姿勢(shì)來(lái)完成。物理和/或口頭姿勢(shì)可被用于選擇虛擬工具(包括化身500)或工件的各部分，諸如例如通過(guò)觸摸、指向、抓握或注視虛擬工具或工件的部分。物理和口頭姿勢(shì)可被用于修改化身或工件，諸如例如說(shuō)“將化身放大20％”。這些姿勢(shì)僅作為示例，并且各種各樣的其他姿勢(shì)可被用于與化身、其他虛擬工具和/或工件進(jìn)行交互。

在步驟622，處理單元4檢測(cè)用戶是否正在發(fā)起沉浸模式。這樣的發(fā)起可例如由于用戶指向、抓握或注視化身500而被檢測(cè)到，當(dāng)沉浸模式中沒(méi)有使用化身500時(shí)，可將其存放在虛擬工作臺(tái)502(圖13)上。如果在步驟622檢測(cè)到對(duì)沉浸模式的選擇，則處理單元4在步驟626設(shè)置并驗(yàn)證沉浸模式?，F(xiàn)在將參考附圖9來(lái)解釋步驟626的進(jìn)一步細(xì)節(jié)。

在步驟712，用戶可將化身500定位在虛擬內(nèi)容504中的某處，如圖14所示出的。如所陳述的，虛擬內(nèi)容504可包括一個(gè)或多個(gè)工件506以及在該工件之中和周圍的空間。一般來(lái)說(shuō)，虛擬內(nèi)容504還可包括任何虛擬對(duì)象以及這樣的虛擬對(duì)象周圍的空間。一個(gè)或多個(gè)工件506可坐落在工作表面508上，該工作表面508可以是現(xiàn)實(shí)或虛擬的。化身500可在虛擬內(nèi)容中被定位在工作表面508上或工件506的表面上。還構(gòu)想了虛擬對(duì)象510(圖15)被放置在工作表面508上作為基座，并且化身500被放置在對(duì)象510頂部以改變化身的高度并因此改變化身的視野。

一旦化身500被放置在期望位置，化身500就可被旋轉(zhuǎn)(圖16)和/或縮放(圖17)到期望定向和大小。當(dāng)化身500被放置在一表面上時(shí)，該化身可對(duì)齊該表面的一法線。即，該化身可沿著垂直于該化身所放置在其上的表面的射線定向。如果化身500被放置在水平工作表面508上，則該化身可垂直站立。如果化身500被放置在虛擬的山或其他坡度表面上，則該化身可與其放置的位置垂直地定向。可以想象，附連到工件506的懸垂部分的化身具有懸垂部分，使得化身500被顛倒定位。

化身500在虛擬內(nèi)容504中的縮放是相關(guān)的，因?yàn)樗杀挥糜谠趫D9的步驟718中確定虛擬內(nèi)容504的比例以及縮放比例。具體地，如上所述，處理單元4和頭戴式設(shè)備2可協(xié)作以用現(xiàn)實(shí)世界坐標(biāo)確定用戶的高度。用戶的現(xiàn)實(shí)世界高度與由該用戶設(shè)置的化身(沿著其長(zhǎng)軸)的大小的比較在步驟718提供縮放比例。例如，在六英尺高的用戶將化身的z軸高度設(shè)置為6英寸時(shí)，這提供了12:1的縮放比例。該縮放比例僅作為示例，并且基于用戶的高度和化身500在虛擬內(nèi)容504中的高度設(shè)置可使用各種各樣的縮放比例。一旦縮放比例被設(shè)置，該縮放比例就可被用于現(xiàn)實(shí)世界視圖和經(jīng)縮放的沉浸視圖之間的所有變換，直到化身的大小被改變的時(shí)間。

圖10的流程圖提供用于確定縮放比例的一些細(xì)節(jié)。取代用戶的高度，應(yīng)理解，用戶可在步驟740和744獨(dú)立于用戶的高度和/或?yàn)榛?00設(shè)置的高度設(shè)置并指明縮放比例。還應(yīng)理解，取代用戶的高度，一些其他現(xiàn)實(shí)世界參考尺寸可由用戶提供，并與化身500的設(shè)置高度一起被用于根據(jù)本技術(shù)確定縮放比例。步驟746和748示出了上述掃描用戶的高度并基于測(cè)量到的用戶高度和由用戶設(shè)置的化身的高度來(lái)確定縮放比例的步驟。在各實(shí)施例中，虛擬標(biāo)尺或其他測(cè)量工具(未示出)可沿著化身被拉伸或收縮的軸被顯示在化身500旁邊，以在化身被重設(shè)大小時(shí)示出化身的大小。

在本技術(shù)中可按幾種方式來(lái)使用步驟718的縮放比例。例如，工件通常被創(chuàng)建而沒(méi)有任何比例。然而，一旦縮放比例被確定，該縮放比例就可被用來(lái)提供虛擬內(nèi)容504中的一個(gè)或多個(gè)工件的比例。由此，在以上示例中，在工件506包括例如具有12英寸的z軸高度的墻壁的情況下，該墻壁在現(xiàn)實(shí)世界尺寸中將縮放到12英尺。

縮放比例也可被用于針對(duì)用戶在現(xiàn)實(shí)世界中的位置的給定變化來(lái)定義在化身500的視角視圖中的位置的變化。具體地，當(dāng)處于沉浸模式時(shí)，頭戴式顯示設(shè)備2從化身500的視角顯示虛擬內(nèi)容504的視圖。該視角由現(xiàn)實(shí)世界中的用戶控制。隨著用戶的頭部在現(xiàn)實(shí)世界中平移(x、y和z)或旋轉(zhuǎn)(俯仰、偏航和滾轉(zhuǎn))，這導(dǎo)致在化身在虛擬內(nèi)容504中的視角中的相應(yīng)縮放改變(就好像化身正在執(zhí)行與用戶相同的相應(yīng)移動(dòng)，但根據(jù)縮放比例被縮放)。

再次參考圖9，在步驟722，一個(gè)或多個(gè)沉浸矩陣的集合被生成以用于在任一給定時(shí)刻將用戶在現(xiàn)實(shí)世界中的查看視角轉(zhuǎn)換為化身在虛擬內(nèi)容504中的查看視角。這些沉浸矩陣是使用縮放比例、用戶在現(xiàn)實(shí)世界模型中的查看視角的位置(x,y,z)和定向(俯仰、偏航、滾轉(zhuǎn))以及在化身被放置在虛擬內(nèi)容中時(shí)由用戶設(shè)置的化身的查看視角的位置(xi,yi,zi)和定向(俯仰i,偏航i,滾轉(zhuǎn)i)來(lái)生成的。當(dāng)化身被定位在虛擬內(nèi)容中時(shí)，位置(xi,yi,zi)可以是在化身的臉部中心(例如，在眼睛之間)的點(diǎn)的位置。該點(diǎn)可根據(jù)化身的已知位置和經(jīng)縮放的高度來(lái)確定。

定向(俯仰i,偏航i,滾轉(zhuǎn)i)可依據(jù)從那個(gè)點(diǎn)開(kāi)始的被定向?yàn)榇怪庇诨淼哪槻科矫娴膯挝幌蛄拷o出。在各示例中，當(dāng)化身被定向?yàn)樘幱谔摂M內(nèi)容中時(shí)，面部平面可以是與化身的身體和/或頭部的前表面平行的平面。如上所述，化身可對(duì)齊該化身被定位在其上的表面的一法線。面部平面可被定義為包括該法線以及用戶定義的化身繞該法線的旋轉(zhuǎn)位置。

一旦用戶的位置和定向、化身的位置和定向以及縮放比例已知，就可確定用于在用戶的視圖和化身的視圖之間變換的縮放變換矩陣。如以上所解釋的，變換矩陣已知用于在六個(gè)自由度上將第一視圖視角轉(zhuǎn)換成第二視圖視角。例如參見(jiàn)davidh.eberly的“3dgameenginedesign:apracticalapproachtoreal-timecomputergraphics”(3d游戲引擎設(shè)計(jì)：實(shí)時(shí)計(jì)算機(jī)圖形的實(shí)用方法)，morgankaufman(摩根考夫曼)出版社(2000)?？s放比例在沉浸(變換)矩陣中被應(yīng)用，使得用戶在現(xiàn)實(shí)世界中的查看視角的x、y、z、俯仰、偏航和/或滾轉(zhuǎn)移動(dòng)將導(dǎo)致化身在虛擬內(nèi)容504中的查看視角的相應(yīng)xi、yi、zi、俯仰i、偏航i和/或滾轉(zhuǎn)i移動(dòng)，但根據(jù)縮放比例被縮放。

由此，作為使用以上為12:1的縮放比例的簡(jiǎn)單示例，一旦在圖9的步驟722定義了沉浸矩陣，如果現(xiàn)實(shí)世界中的用戶沿著x軸邁了為18英寸的一步，則化身500的視角將沿著虛擬內(nèi)容504中的x軸具有相應(yīng)1.5英寸的改變。

當(dāng)在現(xiàn)實(shí)世界中到處移動(dòng)，并以沉浸模式探索虛擬內(nèi)容時(shí)，可能會(huì)發(fā)生的是,在虛擬內(nèi)容504中化身500的特定放置和比例導(dǎo)致次優(yōu)體驗(yàn)。在圖9的步驟724中，處理單元4可確認(rèn)沉浸參數(shù)的有效性以確保該體驗(yàn)是最優(yōu)的?，F(xiàn)在將參考附圖11的流程圖解釋步驟724的進(jìn)一步細(xì)節(jié)。

在步驟750，處理單元4確定用戶是否已將化身500定位在固體對(duì)象內(nèi)(現(xiàn)實(shí)或虛擬)。如上所述，處理單元4維護(hù)現(xiàn)實(shí)世界中的所有現(xiàn)實(shí)和虛擬對(duì)象的圖，并且能夠確定用戶何時(shí)跨現(xiàn)實(shí)或虛擬對(duì)象的表面定位了化身。如果在步驟750確定化身的眼睛或頭部被定位在固體對(duì)象內(nèi)，則處理單元4可使得頭戴式顯示設(shè)備2在步驟754提供該放置不合適的消息。用戶可隨后返回到步驟712和圖9以調(diào)整化身500的放置和/或比例。

在給定用戶正在其中使用移動(dòng)混合現(xiàn)實(shí)組裝件30的現(xiàn)實(shí)世界房間的大小的情況下，也可能發(fā)生的是,用戶已將化身的比例設(shè)置得對(duì)于使用戶完全地探索虛擬內(nèi)容504而言太小了。作為任何數(shù)目的示例之一，用戶可沿著現(xiàn)實(shí)世界中的y軸遠(yuǎn)離物理墻壁10英尺。然而，隨著用戶設(shè)置了化身500的比例，在化身的視角將到達(dá)虛擬內(nèi)容的y軸邊界之前，用戶將需要在y方向上走15英尺。由此，在給定房間的物理邊界和用戶設(shè)置的比例的情況下，可能存在虛擬內(nèi)容中用戶將可能無(wú)法探索的部分。

因此，在圖11的步驟756，處理單元4和頭戴式設(shè)備2可掃描其中存在該用戶的房間的大小。如所述的，該步驟可能在圖7的步驟604中收集場(chǎng)景數(shù)據(jù)時(shí)已經(jīng)被完成，并且可能不需要作為步驟724的一部分來(lái)執(zhí)行。接著，在步驟760，使用已知的房間大小、縮放比例和化身500相對(duì)于(諸)工件的放置，處理單元4確定當(dāng)處于沉浸模式時(shí)，用戶是否將能夠探索(諸)工件506的所有部分。具體地，處理單元確定現(xiàn)實(shí)世界中是否存在足夠的物理空間來(lái)完成在沉浸模式中從化身的視角對(duì)虛擬世界的任何部分的探索。

如果物理世界中不存在足夠的空間，則處理單元4可促使頭戴式顯示設(shè)備2提供化身500的放置和/或比例阻止對(duì)虛擬內(nèi)容504進(jìn)行完全探索的消息。用戶可隨后返回到圖9中的步驟712以調(diào)整化身500的放置和/或比例。

如果在步驟724檢測(cè)到化身500的放置和/或比例沒(méi)有問(wèn)題，則化身的初始位置和定向可在圖9的步驟732中被與確定的縮放比例和沉浸矩陣存儲(chǔ)在一起。應(yīng)理解，在進(jìn)一步實(shí)施例中，可忽略步驟724的用于確認(rèn)沉浸參數(shù)的有效性的至少各部分。

再次參考圖7，一旦沉浸模式已在步驟626被設(shè)置并被驗(yàn)證，處理單元4就可檢測(cè)用戶是否正在沉浸模式中操作。如上所述，這可在化身已經(jīng)被選擇并且被定位在虛擬內(nèi)容504中時(shí)被檢測(cè)到。在進(jìn)一步實(shí)施例中，到沉浸模式的切換可由某個(gè)其他預(yù)定義的姿勢(shì)來(lái)觸發(fā)。如果在步驟630中以沉浸模式操作，則處理單元4可在步驟634查找離開(kāi)沉浸模式的預(yù)定義姿勢(shì)命令。如果在步驟630中不在以沉浸模式操作或者離開(kāi)沉浸模式的命令在步驟634被接收到，則要向用戶顯示的視角可在步驟642被設(shè)置到現(xiàn)實(shí)世界視圖。如此后參考步驟644-656解釋的，圖像可隨后被渲染。

在本技術(shù)的替換實(shí)施例中，當(dāng)用戶在步驟634提供離開(kāi)沉浸模式的命令時(shí)，幾件不同的事情可相對(duì)于化身500發(fā)生。現(xiàn)實(shí)世界視圖可被顯示給用戶，并且化身500被從虛擬內(nèi)容移除并被返回到工作臺(tái)502。

在進(jìn)一步實(shí)施例中，現(xiàn)實(shí)世界視圖可被顯示給用戶，并且化身500以用戶選擇退出沉浸模式時(shí)的視角的位置和定向被示出。具體地，如以上所討論的，在處于沉浸模式時(shí)用戶已到處移動(dòng)了的情況下，化身500的位置改變相應(yīng)的縮放量。使用在用戶離開(kāi)沉浸模式時(shí)用戶的位置和定向以及沉浸矩陣，處理單元4可確定化身500在現(xiàn)實(shí)世界模型中的現(xiàn)實(shí)位置。在退出沉浸模式之際，化身可以以那個(gè)位置和定向顯示。

在進(jìn)一步實(shí)施例中，在退出沉浸模式之際，現(xiàn)實(shí)世界視圖可被顯示給用戶，并且化身500被示為處于在用戶最后進(jìn)入沉浸模式時(shí)由用戶設(shè)置的初始位置。如上所述，該初始位置在于步驟626設(shè)置并驗(yàn)證沉浸模式之際被存儲(chǔ)在存儲(chǔ)器中。

再次參考圖7，如果用戶在步驟630正以沉浸模式操作并且沒(méi)有退出命令在步驟634被接收到，則該模式在步驟638被設(shè)置為沉浸模式視圖。當(dāng)處于沉浸模式時(shí)，頭戴式顯示設(shè)備2從化身的視角和定向顯示虛擬內(nèi)容504。該位置和定向以及化身的視圖的錐體可在步驟640被設(shè)置?，F(xiàn)在將參考附圖12的流程圖解釋步驟640的進(jìn)一步細(xì)節(jié)。

在步驟770，處理單元4可根據(jù)存儲(chǔ)的沉浸矩陣以及在現(xiàn)實(shí)世界中的當(dāng)前用戶視角來(lái)確定當(dāng)前化身視角(關(guān)于六個(gè)自由度的位置和定向)。具體地，如以上結(jié)合圖8中的步驟700討論的，處理單元4能夠基于來(lái)自頭戴式顯示設(shè)備2的數(shù)據(jù)來(lái)確定表示用戶在現(xiàn)實(shí)世界中的頭部位置和定向的面部單位向量。在將沉浸矩陣應(yīng)用于用戶的x、y和z頭部位置和單位向量之際，處理單元4能夠確定在沉浸模式中虛擬內(nèi)容的視角的xi、yi和zi位置。使用沉浸矩陣，處理單元4能夠確定表示在沉浸模式中查看虛擬內(nèi)容的定向的沉浸模式單位向量。

在步驟772，處理單元4可確定錐體(類似于頭戴式顯示設(shè)備的fov)的范圍。該錐體可以以沉浸模式單位向量為中心。處理單元4還可在步驟772設(shè)置沉浸模式視圖的錐體的邊界。如以上結(jié)合設(shè)置現(xiàn)實(shí)世界視圖中的fov所描述的(圖8步驟710)，錐體的邊界可被預(yù)定義為基于假想用戶的上、下、左和右周邊視覺(jué)的查看范圍，該范圍以沉浸模式單位向量為中心。使用在步驟770和772確定的信息，處理單元4能夠根據(jù)化身的視圖的視角和錐體顯示虛擬內(nèi)容504。

可發(fā)生的是,近距離地持久查看對(duì)象(虛擬或現(xiàn)實(shí))可導(dǎo)致眼疲勞。因此，在步驟774，處理單元可檢查處于沉浸模式的視圖是否太接近工件506的一部分。如果如此，則處理單元4可使得頭戴式顯示設(shè)備2在步驟776向用戶提供進(jìn)一步遠(yuǎn)離工件506移動(dòng)的消息。在進(jìn)一步實(shí)施例中，可省略步驟774和776。

再次參考圖7，在步驟644，處理單元4可精選渲染操作使得僅僅有可能在該頭戴式顯示設(shè)備2的最終fov或錐體內(nèi)出現(xiàn)的那些虛擬對(duì)象被渲染。如果用戶正以現(xiàn)實(shí)世界模式操作，則在步驟644從用戶的視角獲得虛擬對(duì)象。如果用戶正以沉浸模式操作，則在步驟644從化身的視角獲得虛擬對(duì)象。在fov/錐體外部的其他虛擬對(duì)象的位置仍可被跟蹤，但是它們不被渲染。還可設(shè)想，在進(jìn)一步實(shí)施例中，步驟644可以被完全跳過(guò)且整個(gè)圖像根據(jù)現(xiàn)實(shí)世界視圖或沉浸視圖來(lái)渲染。

處理單元4可接著執(zhí)行渲染設(shè)置步驟648，在步驟648，使用在步驟610和614接收到的現(xiàn)實(shí)世界視圖和fov或者使用在步驟770和772接收到的沉浸視圖和錐體來(lái)執(zhí)行設(shè)置渲染操作。一旦接收到虛擬對(duì)象數(shù)據(jù)，處理單元就可在步驟648對(duì)要被渲染的虛擬對(duì)象執(zhí)行渲染設(shè)置操作。步驟648中的設(shè)置渲染操作可包括與要在最終fov/錐體中顯示的(諸)虛擬對(duì)象相關(guān)聯(lián)的常見(jiàn)渲染任務(wù)。這些渲染任務(wù)可包括例如陰影圖生成、光照和動(dòng)畫(huà)。在一些實(shí)施例中，渲染設(shè)置步驟648可進(jìn)一步包括對(duì)可能的繪制信息的編譯，諸如要在預(yù)測(cè)的最終fov中顯示的虛擬對(duì)象的頂點(diǎn)緩沖區(qū)、紋理和狀態(tài)。

使用關(guān)于對(duì)象在3d現(xiàn)實(shí)世界模型中的位置的信息，處理單元4可接著在步驟654確定用戶的fov或化身的錐體中的遮擋和陰影。具體地，處理單元4具有虛擬內(nèi)容的對(duì)象的三維位置。對(duì)于現(xiàn)實(shí)世界模式，已知用戶的位置以及他們對(duì)該fov中的對(duì)象的視線的情況下，處理單元4隨后可確定虛擬對(duì)象是否部分或全部遮擋用戶的現(xiàn)實(shí)或虛擬對(duì)象的視圖。此外，處理單元4可確定某一現(xiàn)實(shí)世界對(duì)象是否部分或全部地遮擋了該用戶的虛擬對(duì)象的視圖。

類似地，如果正以沉浸模式操作，則確定的化身500的視角允許處理單元4根據(jù)該視角確定到錐體中的對(duì)象的視線，以及虛擬對(duì)象是否部分或全部遮擋了化身對(duì)現(xiàn)實(shí)或虛擬對(duì)象的視角。此外，處理單元4可確定現(xiàn)實(shí)世界對(duì)象是否部分或全部遮擋了化身的虛擬對(duì)象的視圖。

在步驟656，處理單元4的gpu322可以接下來(lái)渲染要向該用戶顯示的圖像。渲染操作的各部分可能已經(jīng)在渲染設(shè)置步驟648中被執(zhí)行并且被周期性地更新。任何被遮擋的虛擬對(duì)象可能不被渲染，或者它們可被渲染。在被渲染的情況下，被遮擋的對(duì)象將被不透明濾光器114從顯示中省略，如以上所解釋的。

在步驟660，處理單元4檢查：是否到了該將經(jīng)渲染的圖像發(fā)送給頭戴式顯示設(shè)備2的時(shí)間、或者是否還有時(shí)間使用來(lái)自頭戴式顯示設(shè)備2的更新近的位置反饋數(shù)據(jù)來(lái)進(jìn)一步細(xì)化圖像。在使用60赫茲幀刷新率的系統(tǒng)中，單幀大約為16毫秒。

如果到了顯示經(jīng)更新的圖像的時(shí)間，則針對(duì)該一個(gè)或多個(gè)虛擬對(duì)象的圖像被發(fā)送至微顯示器120以在恰適像素處顯示，同時(shí)計(jì)入視角和遮擋。在此時(shí)，用于不透明濾光器的控制數(shù)據(jù)也從處理單元4被傳送至頭戴式顯示設(shè)備2以控制不透明濾光器114。該頭戴式顯示器隨后將在步驟662中向該用戶顯示該圖像。

另一方面，在步驟660還沒(méi)到發(fā)送要被顯示的圖像數(shù)據(jù)幀的時(shí)間的情況下，處理單元可循環(huán)回去以獲得更新的傳感器數(shù)據(jù)來(lái)細(xì)化對(duì)最終fov及fov中的對(duì)象的最終位置的預(yù)測(cè)。具體而言，如果在步驟660中仍舊有時(shí)間，則處理單元4可返回至步驟604以從頭戴式顯示設(shè)備2獲得更新近的傳感器數(shù)據(jù)。

上面僅以示例的方式描述了處理步驟600至662。理解到，這些步驟中的一個(gè)或多個(gè)步驟在另外的實(shí)施例中可被省略，這些步驟可以按不同次序來(lái)執(zhí)行，或者可以添加附加步驟。

圖18解說(shuō)了在給定圖17中示出的化身位置和定向的情況下，沉浸模式中的可向用戶顯示的虛擬內(nèi)容504的視圖。虛擬內(nèi)容504處于沉浸模式時(shí)的視圖提供實(shí)物大小視圖，其中用戶能夠辨別內(nèi)容的詳細(xì)特征。此外，沉浸模式中虛擬內(nèi)容的視圖提供其中用戶能夠看見(jiàn)虛擬對(duì)象實(shí)物大小有多大的視角。

用戶在現(xiàn)實(shí)世界中的移動(dòng)可導(dǎo)致化身朝向工件506移動(dòng)，并且化身對(duì)工件506的視角相應(yīng)地變得更大，如圖19中所示出的。用戶的其他移動(dòng)可導(dǎo)致化身遠(yuǎn)離工件506移動(dòng)和/或探索虛擬內(nèi)容504的其他部分。

除了從沉浸模式內(nèi)查看并探索虛擬內(nèi)容504外，在各實(shí)施例中，用戶能夠從沉浸模式內(nèi)與虛擬內(nèi)容504進(jìn)行交互并修改虛擬內(nèi)容504。用戶可具有對(duì)各種虛擬工件和控件的訪問(wèn)權(quán)。用戶可使用預(yù)定義的姿勢(shì)來(lái)選擇工件的一部分、作為整體的工件或多個(gè)工件506，并在此后應(yīng)用虛擬工具或控件來(lái)修改工件的該部分或多個(gè)工件。作為幾個(gè)示例，用戶可根據(jù)所選的工具或控件來(lái)移動(dòng)、旋轉(zhuǎn)、上色、移除、復(fù)制、黏合、復(fù)印等(諸)工件的一個(gè)或多個(gè)所選部分。

本技術(shù)的沉浸模式的進(jìn)一步優(yōu)點(diǎn)在于它允許用戶以增加的精度與虛擬內(nèi)容504進(jìn)行交互。作為示例，在用戶正嘗試?yán)缡褂弥赶蚧蜓劬ψ⒁晛?lái)從現(xiàn)實(shí)世界視圖中選擇虛擬內(nèi)容504的一部分的情況下，頭戴式顯示設(shè)備的傳感器能夠分辨虛擬內(nèi)容上可作為用戶的指向或注視的主題的給定大小的區(qū)域。可發(fā)生的是，該區(qū)域可具有一個(gè)以上可選的虛擬對(duì)象，在該情況下，用戶可能難以選擇用戶希望選擇的特定對(duì)象。

然而，當(dāng)以其中用戶的視角被縮放到虛擬內(nèi)容的尺寸的沉浸模式操作時(shí)，相同的指向或注視姿勢(shì)將導(dǎo)致作為用戶的指向或注視的主題的更小、更精確的區(qū)域。由此，用戶可更容易地用更大的精度選擇物品。

附加地，在沉浸模式中，可用更大的精度來(lái)執(zhí)行對(duì)工件的虛擬對(duì)象的修改。作為示例，用戶可希望小量移動(dòng)工件中的所選虛擬對(duì)象。在現(xiàn)實(shí)世界模式中，最小增量移動(dòng)可以是某個(gè)給定距離，并且可能發(fā)生該最小增量距離仍大于用戶期望。然而，當(dāng)以沉浸模式操作時(shí)，移動(dòng)的最小增量距離可能比現(xiàn)實(shí)世界模式中小。由此，用戶可能能夠在沉浸模式內(nèi)對(duì)虛擬對(duì)象作出更細(xì)、更精確的調(diào)整。

使用預(yù)定義的姿勢(shì)命令，用戶可在來(lái)自現(xiàn)實(shí)世界的虛擬內(nèi)容504的視圖和來(lái)自化身的沉浸視圖的虛擬內(nèi)容504的視圖之間進(jìn)行切換。進(jìn)一步構(gòu)想了用戶可將多個(gè)化身500定位在虛擬內(nèi)容504中。在該實(shí)例中，用戶可在來(lái)自現(xiàn)實(shí)世界的虛擬內(nèi)容504的視圖和來(lái)自化身中的任一者的視角的虛擬內(nèi)容504的視圖之間進(jìn)行切換。

總之，本技術(shù)的一示例涉及一種用于呈現(xiàn)虛擬環(huán)境的系統(tǒng)，所述虛擬環(huán)境與現(xiàn)實(shí)世界空間共同延伸，所述系統(tǒng)包括：頭戴式顯示設(shè)備，所述頭戴式顯示設(shè)備包括用于在所述虛擬環(huán)境中顯示三維虛擬內(nèi)容的顯示單元；以及，操作地耦合到所述顯示設(shè)備的處理單元，所述處理單元接收確定所述虛擬內(nèi)容由所述頭戴式顯示設(shè)備以第一模式顯示還是由所述頭戴式顯示設(shè)備以第二模式顯示的輸入，在所述第一模式中，所述虛擬內(nèi)容是從所述頭戴式顯示設(shè)備的現(xiàn)實(shí)世界視角顯示的，在所述第二模式中，所述虛擬內(nèi)容是從所述虛擬內(nèi)容內(nèi)的位置和定向的經(jīng)縮放視角顯示的。

在另一示例中，本技術(shù)涉及一種用于呈現(xiàn)虛擬環(huán)境的系統(tǒng)，所述虛擬環(huán)境與現(xiàn)實(shí)世界空間共同延伸，所述系統(tǒng)包括：頭戴式顯示設(shè)備，所述頭戴式顯示設(shè)備包括用于在所述虛擬環(huán)境中顯示三維虛擬內(nèi)容的顯示單元；以及，操作地耦合到所述顯示設(shè)備的處理單元，所述處理單元接收以相對(duì)于所述虛擬內(nèi)容的一位置和定向并以相對(duì)于所述虛擬內(nèi)容縮放的大小來(lái)將虛擬化身放置在所述虛擬內(nèi)容之中或周圍的第一輸入，所述處理單元確定來(lái)自所述頭戴式顯示設(shè)備的所述虛擬內(nèi)容的現(xiàn)實(shí)世界視圖和來(lái)自所述化身的視角的所述虛擬內(nèi)容的沉浸視圖之間的變換，所述變換基于以下來(lái)確定：所述化身的位置、定向和大小，所述頭戴式顯示設(shè)備的位置和定向，以及接收或確定的參考大小；所述處理單元至少接收用于在由所述頭戴式顯示設(shè)備顯示所述現(xiàn)實(shí)世界視圖和所述沉浸視圖之間切換的第二輸入。

在又一示例中，本技術(shù)涉及一種用于呈現(xiàn)虛擬環(huán)境的方法，所述虛擬環(huán)境與現(xiàn)實(shí)世界空間共同延伸，所述虛擬環(huán)境由頭戴式顯示設(shè)備呈現(xiàn)，所述方法包括：接收虛擬對(duì)象在所述虛擬內(nèi)容中的一位置處的放置；(b)接收所述虛擬對(duì)象的定向；(b)接收所述虛擬對(duì)象的縮放；(d)基于所述頭戴式顯示器的位置和定向、在所述步驟(a)接收到的所述虛擬對(duì)象的位置以及在所述步驟(b)接收到的所述虛擬對(duì)象的定向來(lái)確定一個(gè)或多個(gè)變換矩陣的集合；(e)基于所述用戶的移動(dòng)在所述虛擬內(nèi)容內(nèi)四處移動(dòng)所述虛擬對(duì)象；以及，(f)基于所述一個(gè)或多個(gè)變換矩陣的集合將所述頭戴式顯示設(shè)備所進(jìn)行的顯示從來(lái)自所述頭戴式顯示設(shè)備的視圖變換為在所述步驟(e)移動(dòng)之前和/或之后從所述虛擬對(duì)象取得的視圖。

盡管用結(jié)構(gòu)特征和/或方法動(dòng)作專用的語(yǔ)言描述了本發(fā)明主題，但可以理解，所附權(quán)利要求書(shū)中定義的主題不必限于上述具體特征或動(dòng)作。更確切而言，上述具體特征和動(dòng)作是作為實(shí)現(xiàn)權(quán)利要求的示例形式公開(kāi)的。本發(fā)明的范圍由所附的權(quán)利要求進(jìn)行定義。