用于混合現(xiàn)實(shí)環(huán)境的直接交互系統(tǒng)的制作方法
【專利說(shuō)明】用于混合現(xiàn)實(shí)環(huán)境的直接交互系統(tǒng)
【背景技術(shù)】
[0001] 混合現(xiàn)實(shí)是一種允許將虛擬圖像與現(xiàn)實(shí)世界物理環(huán)境相混合的技術(shù)。用戶可佩戴 透視、頭戴式、混合現(xiàn)實(shí)顯示設(shè)備來(lái)觀看用戶的視野中所顯示的現(xiàn)實(shí)對(duì)象和虛擬對(duì)象的混 合圖像。頭戴式顯示設(shè)備能夠創(chuàng)建可在其中看到虛擬和現(xiàn)實(shí)對(duì)象的環(huán)境的三維圖。用戶能 夠通過(guò)選擇虛擬對(duì)象（例如通過(guò)看著虛擬對(duì)象）來(lái)與虛擬對(duì)象交互。一旦被選擇，則用戶 此后可以操縱或移動(dòng)該虛擬對(duì)象，例如通過(guò)抓住并移動(dòng)該虛擬對(duì)象或者對(duì)該對(duì)象執(zhí)行某種 其他預(yù)定義姿勢(shì)。
[0002] 這種類型的間接交互具有缺點(diǎn)。例如，用戶的手的位置是在由頭戴式顯示設(shè)備所 創(chuàng)建的場(chǎng)景圖（scene map)中估計(jì)的，且所估計(jì)的位置可能隨時(shí)間漂移。這可能導(dǎo)致所抓 住的虛擬對(duì)象被顯示為在用戶的手外。使用手的移動(dòng)來(lái)選擇對(duì)象有時(shí)候還是反直覺(jué)的。

【發(fā)明內(nèi)容】

[0003] 本技術(shù)的各實(shí)施例涉及一種用于與虛擬環(huán)境內(nèi)的三維虛擬對(duì)象交互的系統(tǒng)和方 法。一種用于在虛擬環(huán)境內(nèi)創(chuàng)建虛擬對(duì)象的系統(tǒng)可部分包括耦合至一個(gè)或多個(gè)處理單元的 透視頭戴式顯示設(shè)備。所述處理單元與（諸）頭戴式顯示單元協(xié)作能夠定義虛擬對(duì)象在該 虛擬環(huán)境內(nèi)的場(chǎng)景圖。
[0004] 該系統(tǒng)可進(jìn)一步包括獨(dú)立于該頭戴式顯示設(shè)備移動(dòng)的配件，諸如手持設(shè)備。在各 實(shí)施例中，該手持設(shè)備可與該頭戴式顯示設(shè)備和/或（諸）處理單元協(xié)作以使得該手持設(shè) 備可以在由該頭戴式顯示設(shè)備所使用的相同場(chǎng)景圖中被對(duì)準(zhǔn)。
[0005] 該手持對(duì)象可包括固定于定位器（puck)的相機(jī)。該定位器可具有輸入墊，該輸入 墊包括例如使用戶能夠選擇該輸入墊上的命令以用于與由該頭戴式顯示設(shè)備所顯示的虛 擬對(duì)象交互的電容式觸摸屏。該相機(jī)可識(shí)別其視野中與由該頭戴式顯示設(shè)備上的一個(gè)或多 個(gè)圖像捕捉設(shè)備所識(shí)別的點(diǎn)公共的點(diǎn)。這些公共點(diǎn)可被用來(lái)解析該頭戴式顯示設(shè)備相對(duì)于 該手持設(shè)備的位置，以及在同一場(chǎng)景圖中對(duì)準(zhǔn)這兩個(gè)設(shè)備。該手持設(shè)備在該頭戴式顯示設(shè) 備的場(chǎng)景圖中的對(duì)準(zhǔn)允許該手持設(shè)備與由該頭戴式顯示設(shè)備所顯示的虛擬對(duì)象的直接交 互。
[0006] 在一示例中，本技術(shù)涉及一種用于呈現(xiàn)虛擬環(huán)境的系統(tǒng)，所述虛擬環(huán)境與現(xiàn)實(shí)世 界空間共同延伸，所述系統(tǒng)包括：至少部分輔助確定包括一個(gè)或多個(gè)虛擬對(duì)象的場(chǎng)景圖的 顯示設(shè)備，所述顯示設(shè)備包括用于在所述虛擬環(huán)境中顯示所述一個(gè)或多個(gè)虛擬對(duì)象中的虛 擬對(duì)象的顯示單元；以及能夠獨(dú)立于所述顯示設(shè)備在所述現(xiàn)實(shí)世界空間中移動(dòng)的配件，所 述配件在與所述顯示設(shè)備相同的場(chǎng)景圖內(nèi)被對(duì)準(zhǔn)。
[0007] 在另一示例中，本技術(shù)涉及一種用于呈現(xiàn)虛擬環(huán)境的系統(tǒng)，所述虛擬環(huán)境與現(xiàn)實(shí) 世界空間共同延伸，所述系統(tǒng)包括：至少部分輔助確定包括一個(gè)或多個(gè)虛擬對(duì)象的場(chǎng)景圖 的顯示設(shè)備，所述顯示設(shè)備包括用于在所述虛擬環(huán)境中顯示所述一個(gè)或多個(gè)虛擬對(duì)象中的 虛擬對(duì)象的顯示單元；以及在與所述顯示設(shè)備相同的場(chǎng)景圖內(nèi)被對(duì)準(zhǔn)的配件，所述配件能 夠與所述虛擬對(duì)象交互。
[0008] 在一進(jìn)一步示例中，本技術(shù)涉及一種與虛擬環(huán)境內(nèi)的虛擬對(duì)象直接交互的方法， 所述虛擬環(huán)境與所述現(xiàn)實(shí)世界空間共同延伸，所述方法包括：(a)定義所述虛擬環(huán)境的場(chǎng) 景圖，虛擬對(duì)象的位置在所述場(chǎng)景圖內(nèi)定義；(b)經(jīng)由顯示設(shè)備顯示所述虛擬對(duì)象，所述顯 示設(shè)備的位置在所述場(chǎng)景圖內(nèi)被對(duì)準(zhǔn)；以及（c)使用手持設(shè)備與所述顯示設(shè)備所顯示的所 述虛擬對(duì)象直接交互，所述手持設(shè)備的位置在所述場(chǎng)景圖內(nèi)被對(duì)準(zhǔn)。
[0009] 提供本
【發(fā)明內(nèi)容】
以便以簡(jiǎn)化形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概 念的選集。本概述并不旨在標(biāo)識(shí)出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用 于幫助確定所要求保護(hù)的主題的范圍。
[0010] 附圖簡(jiǎn)述
[0011] 圖1是用于向一個(gè)或多個(gè)用戶呈現(xiàn)虛擬環(huán)境的系統(tǒng)的一個(gè)實(shí)施例的示例性組件 的圖示。
[0012] 圖2是頭戴式顯示單元的一個(gè)實(shí)施例的立體圖。
[0013] 圖3是頭戴式顯示單元的一個(gè)實(shí)施例的一部分的側(cè)視圖。
[0014] 圖4是頭戴式顯示單元的組件的一個(gè)實(shí)施例的框圖。
[0015] 圖5是頭戴式顯示單元的捕捉設(shè)備和處理單元的組件的一個(gè)實(shí)施例的框圖。
[0016] 圖6是與頭戴式顯示單元相關(guān)聯(lián)的處理單元的組件的一個(gè)實(shí)施例的框圖。
[0017] 圖7是根據(jù)本公開的各實(shí)施例的手持設(shè)備的立體圖。
[0018] 圖8是根據(jù)本公開的各實(shí)施例的作為手持設(shè)備的部分提供的定位器的框圖。
[0019] 圖9是其中用戶使用手持設(shè)備與虛擬對(duì)象交互的虛擬環(huán)境的示例的圖示。
[0020] 圖10是示出本系統(tǒng)的該一個(gè)或多個(gè)處理單元、頭戴式顯示設(shè)備和手持設(shè)備的操 作和協(xié)作的流程圖。
[0021] 圖11是圖10的流程圖的步驟608的更詳細(xì)流程圖。
【具體實(shí)施方式】
[0022] 現(xiàn)在將參考圖1-11描述本技術(shù)的各實(shí)施例，所述圖一般涉及用于與混合現(xiàn)實(shí)環(huán) 境中的虛擬對(duì)象直接交互的系統(tǒng)和方法。在各實(shí)施例中，該系統(tǒng)和方法可使用能夠跟蹤由 頭戴式顯不設(shè)備所生成的三維場(chǎng)景圖（three-dimensional scene map)并將其自己在該三 維場(chǎng)景圖中對(duì)準(zhǔn)（register)的手持設(shè)備。該手持式設(shè)備和/或頭戴式顯示設(shè)備可包括耦 合至或集成于該相應(yīng)設(shè)備內(nèi)的移動(dòng)處理單元，以及用于捕捉用戶周圍的視野的相機(jī)。
[0023] 每個(gè)用戶可佩戴包括顯示元件的頭戴式顯示設(shè)備。該顯示元件在一定程度上透 明，以使得用戶可透過(guò)該顯示元件看到該用戶的視野（F0V)內(nèi)的現(xiàn)實(shí)世界對(duì)象。該顯示元 件還提供將虛擬圖像投影到該用戶的F0V以使得所述虛擬圖像也可出現(xiàn)在現(xiàn)實(shí)世界對(duì)象 旁邊的能力。該系統(tǒng)自動(dòng)地跟蹤用戶所看之處，以使得該系統(tǒng)可以確定將該虛擬圖像插入 到該用戶的F0V中的何處。一旦該系統(tǒng)知曉要將該虛擬對(duì)象投影至何處，就使用該顯示元 件投影該圖像。
[0024] 在各實(shí)施例中，該頭戴式顯示設(shè)備和/或該手持設(shè)備可協(xié)作以構(gòu)建該環(huán)境的模 型，該模型包括6個(gè)自由度：用戶、現(xiàn)實(shí)世界對(duì)象和虛擬三維對(duì)象在房間或其他環(huán)境中的X、 y、z、俯仰、偏航以及滾轉(zhuǎn)位置。由環(huán)境中的用戶佩戴的每個(gè)頭戴式顯示設(shè)備的位置可以被 校準(zhǔn)到該環(huán)境的模型并且彼此校準(zhǔn)。這允許該系統(tǒng)確定每個(gè)用戶的視線以及該環(huán)境的F0V。 從而，可向每個(gè)用戶顯示虛擬圖像，但是該系統(tǒng)確定從每個(gè)用戶的視角的該虛擬圖像的顯 示，從而針對(duì)視差以及來(lái)自或被該環(huán)境中的其他對(duì)象的任何閉塞來(lái)調(diào)整該虛擬圖像。該環(huán) 境的模型（在本文中被稱為場(chǎng)景圖（scene map))以及對(duì)每個(gè)用戶的FOV以及該環(huán)境中的 對(duì)象的跟蹤可由協(xié)力或獨(dú)立工作的一個(gè)或多個(gè)處理單元來(lái)生成。
[0025] 根據(jù)本技術(shù)的各方面，手持設(shè)備還可被校準(zhǔn)至該環(huán)境的模型并與該模型對(duì)準(zhǔn)。如 同后文解釋的，這允許準(zhǔn)確地知曉該手持設(shè)備在該環(huán)境的模型（也被稱為場(chǎng)景圖）內(nèi)的位 置和移動(dòng)（平移和旋轉(zhuǎn)）。
[0026] 由本系統(tǒng)所提供的虛擬環(huán)境可與現(xiàn)實(shí)世界空間共同延伸。換言之，虛擬環(huán)境可覆 蓋在現(xiàn)實(shí)世界空間上并與該現(xiàn)實(shí)世界空間共享相同區(qū)域。該虛擬環(huán)境可適合放入房間或其 他現(xiàn)實(shí)世界空間的邊界內(nèi)。替換地，該虛擬環(huán)境可大于該現(xiàn)實(shí)世界空間的邊界。
[0027] 在現(xiàn)實(shí)世界空間內(nèi)四處移動(dòng)的用戶也可在共同延伸的虛擬環(huán)境中四處移動(dòng)，并從 不同視角和觀察點(diǎn)來(lái)觀看虛擬和/或現(xiàn)實(shí)對(duì)象。一種類型的虛擬環(huán)境是混合現(xiàn)實(shí)環(huán)境，其 中虛擬環(huán)境包括虛擬對(duì)象和現(xiàn)實(shí)世界對(duì)象兩種對(duì)象。另一種類型的虛擬環(huán)境僅包括虛擬對(duì) 象。
[0028] 如同下面所解釋的，手持對(duì)象可被用來(lái)選擇虛擬環(huán)境內(nèi)的虛擬對(duì)象并與所述虛擬 對(duì)象直接交互。然而，用戶可使用手持對(duì)象，并結(jié)合其他物理和/或口頭姿勢(shì)，來(lái)與虛擬對(duì) 象交互。因此，除了致動(dòng)手持設(shè)備上的按鈕和/或觸摸屏外，物理姿勢(shì)可進(jìn)一步包括使用手 指、手和/或其他身體部位來(lái)執(zhí)行預(yù)定義姿勢(shì)，所述預(yù)定義姿勢(shì)被該混合現(xiàn)實(shí)系統(tǒng)識(shí)別為 對(duì)該系統(tǒng)執(zhí)行預(yù)定義動(dòng)作的用戶請(qǐng)求。物理交互可進(jìn)一步包括由手持設(shè)備或者用戶的其他 部位與虛擬對(duì)象的接觸。例如，用戶可將手持對(duì)象放置為與虛擬對(duì)象接觸或放入虛擬對(duì)象 內(nèi)，并且在此后推動(dòng)或碰撞該虛擬對(duì)象。
[0029] 用戶可替換地或附加地使用手持設(shè)備連同口頭姿勢(shì)來(lái)與虛擬對(duì)象交互，所述口頭 姿勢(shì)諸如例如被該混合現(xiàn)實(shí)系統(tǒng)識(shí)別為對(duì)該系統(tǒng)執(zhí)行預(yù)定義動(dòng)作的用戶請(qǐng)求的所講的單 詞或短語(yǔ)?？陬^姿勢(shì)可連同物理姿勢(shì)一起使用以與虛擬環(huán)境中的一個(gè)或多個(gè)虛擬對(duì)象交 互。
[0030] 圖1解說(shuō)了用于通過(guò)將虛擬內(nèi)容21與用戶的FOV內(nèi)的現(xiàn)實(shí)內(nèi)容27相融合來(lái)提供 混合現(xiàn)實(shí)體驗(yàn)的系統(tǒng)10。圖1示出用戶18正佩戴頭戴式顯示設(shè)備2,在一個(gè)實(shí)施例中該頭 戴式顯示設(shè)備是眼鏡的形狀，以使得用戶可透視顯示器并由此具有對(duì)該用戶前方的空間的 實(shí)際直接視圖。使用術(shù)語(yǔ)"實(shí)際直接視圖"來(lái)指直接用人眼查看現(xiàn)實(shí)世界對(duì)象的能力，而不 是查看對(duì)象的所創(chuàng)建的圖像表示。例如，通過(guò)眼鏡看房間將允許用戶得到該房間的實(shí)際直 接視圖，而在電視機(jī)上查看房間的視頻不是該房間的實(shí)際直接視圖。下面提供頭戴式顯示 設(shè)備2的更多細(xì)節(jié)。
[0031] 本技術(shù)的各方面可進(jìn)一步包括可由用戶攜帶的手持設(shè)備12。盡管在各實(shí)施例中被 稱為手持設(shè)備且在圖1中也如此示出，然而設(shè)備12可更寬泛地指代可獨(dú)立于頭戴式顯示設(shè) 備移動(dòng)并在頭戴式顯示設(shè)備的場(chǎng)景圖內(nèi)對(duì)準(zhǔn)的配件。當(dāng)該配件沒(méi)有被用戶的手握持時(shí)也可 操縱該配件。該配件可捆綁于用戶的臂或腿，或可被置于該環(huán)境內(nèi)的現(xiàn)實(shí)對(duì)象上。
[0032] 如圖2和3中所見，每個(gè)頭戴式顯示設(shè)備2經(jīng)由連線6與其自己的處理單元4通 信。在其他實(shí)施例中，頭戴式顯示設(shè)備2通過(guò)無(wú)線通信來(lái)與處理單元4進(jìn)行通信。在一個(gè) 實(shí)施例中，處理單元4是例如佩戴在用戶的手腕上或儲(chǔ)放在用戶的口袋中的小型便攜式設(shè) 備。該處理單元例如可以是蜂窩電話的大小和形狀因子，盡管在其他示例中它也可以是其 他形狀和大小的。在一進(jìn)一步實(shí)施例中，處理單元4可被集成到頭戴式顯示設(shè)備4中。處 理單元4可包括用于操作頭戴式顯示設(shè)備2的計(jì)算能力中的許多能力。在各實(shí)施例中，處 理單元4與手持設(shè)備12無(wú)線通信（例如，WiFi、藍(lán)牙、紅外或其他無(wú)線通信手段）。在進(jìn)一 步實(shí)施例中，構(gòu)想了處理單元4轉(zhuǎn)而被集成到手持設(shè)備12中。
[0033] 圖2和3示出了頭戴式顯示設(shè)備2的立體圖和側(cè)視圖。圖3示出了頭戴式顯示設(shè) 備2的右側(cè)，其包括具有鏡腿102和鼻梁104的一部分。在鼻梁104中置入了話筒110以 用于記錄聲音以及將音頻數(shù)據(jù)傳送給處理單元4,這將在下面予以描述。在頭戴式顯示設(shè)備 2的前方是一個(gè)或多個(gè)面向房間的捕捉設(shè)備125,所述捕捉設(shè)備可以捕捉視頻和靜止圖像。 那些圖像被傳送至處理單元4,如下所述。
[0034] 頭戴式顯示設(shè)備2的鏡架的一部分將圍繞顯示器（其包括一個(gè)或多個(gè)透鏡）。為 了示出頭戴式顯示設(shè)備2的組件，未描繪圍繞顯示器的鏡架部分。該顯示器包括光導(dǎo)光學(xué) 元件115、不透明度濾光器114、透視透鏡116和透視透鏡118。在一個(gè)實(shí)施例中，不透明度 濾光器114處于透視透鏡116之后并與其對(duì)齊，光導(dǎo)光學(xué)元件115處于不透明度濾光器114 之后并與其對(duì)齊，并且透視透鏡118處于光導(dǎo)光學(xué)元件115之后并與其對(duì)齊。透視透鏡116 和118是眼鏡中使用的標(biāo)準(zhǔn)透鏡，并且可根據(jù)任何處方（包括無(wú)處方）來(lái)制作。在一個(gè)實(shí) 施例中，透視透鏡116和118可由可變處方透鏡取代。在一些實(shí)施例中，頭戴式顯示設(shè)備2 可包括一個(gè)透視透鏡或者不包括透視透鏡。在另一替代方案中，處方透鏡可以進(jìn)入光導(dǎo)光 學(xué)元件115內(nèi)。不透明度濾光器114濾除自然光（要么以每像素為基礎(chǔ)，要么均勻地）以 增強(qiáng)虛擬圖像的對(duì)比度。光導(dǎo)光學(xué)元件115將人造光導(dǎo)向眼睛。
[0035] 在鏡腿102處或鏡腿102內(nèi)安裝有圖像源，該圖像源（在一個(gè)實(shí)施例中）