用于生成增強(qiáng)現(xiàn)實(shí)體驗(yàn)的難以察覺的標(biāo)簽的制作方法
【專利說明】用于生成増強(qiáng)現(xiàn)實(shí)體驗(yàn)的難以察覺的標(biāo)簽
[0001] Μ?
[0002] 增強(qiáng)現(xiàn)實(shí)是一種允許將虛擬圖像與用戶對真實(shí)世界的實(shí)際視野混合的技術(shù)。透 視、近眼增強(qiáng)現(xiàn)實(shí)顯示器可被用戶佩戴來查看虛擬和真實(shí)對象的混合圖像。顯示器在用戶 的視野中呈現(xiàn)虛擬圖像。透視、近眼增強(qiáng)現(xiàn)實(shí)顯示器是一種類型的頭戴式顯示器（HMD)。
[0003] 替換地，增強(qiáng)現(xiàn)實(shí)系統(tǒng)可包括固定系統(tǒng)，其包括捕捉關(guān)于用戶和用戶周圍環(huán)境的 信息（諸如視覺信息）的能力。增強(qiáng)現(xiàn)實(shí)系統(tǒng)接著可將這個信息表示回到用戶，例如通過 在顯示設(shè)備上顯示用戶和周圍環(huán)境的所捕捉的視覺數(shù)據(jù)。增強(qiáng)現(xiàn)實(shí)系統(tǒng)可用其他信息來覆 蓋所顯示的信息，該其他信息由系統(tǒng)內(nèi)部地生成或由系統(tǒng)從另一源外部地檢索。
[0004] 附圖簡沐
[0005] 圖1顯示了其中所公開的技術(shù)可被使用的示例場景。
[0006] 圖2是可在其中實(shí)施所公開的技術(shù)的聯(lián)網(wǎng)計(jì)算環(huán)境的一個實(shí)施例的框圖。
[0007] 圖3A-3C描繪了被配置成執(zhí)行所公開的技術(shù)的示例性頭戴式顯示器（HMD)的實(shí)施 例。
[0008] 圖4A-B是顯示示例性HMD的各組件以及這些組件的功能連接的框圖。
[0009] 圖5描繪了被配置成執(zhí)行所公開的技術(shù)的計(jì)算設(shè)備的一個實(shí)施例。
[0010] 圖6描繪了被配置成執(zhí)行所公開的技術(shù)的移動設(shè)備的一個實(shí)施例的框圖。
[0011] 圖7是顯示標(biāo)簽如何對入射光進(jìn)行響應(yīng)的圖。
[0012] 圖8顯示標(biāo)簽上的經(jīng)圖案化的材料的一個示例。
[0013] 圖9顯示標(biāo)簽的深度圖的一個示例。
[0014] 圖10A-F顯示所公開的技術(shù)的在使用中的示例。
[0015] 圖11是描繪了藉此系統(tǒng)檢測標(biāo)簽并對其進(jìn)行響應(yīng)的過程的一個實(shí)施例的流程 圖。
[0016] 圖12A-B是描繪了藉此系統(tǒng)確定虛擬對象和/或信息的查看位置的過程的實(shí)施例 的流程圖。
[0017] 詳細(xì)描沐
[0018] 增強(qiáng)現(xiàn)實(shí)系統(tǒng)被配備有向用戶表示虛擬對象旁邊的真實(shí)世界的能力。在一些情況 下，系統(tǒng)可基于系統(tǒng)從環(huán)境中接收到的信息（諸如可包括傳感器、相機(jī)、話筒等的增強(qiáng)現(xiàn)實(shí) 系統(tǒng)的信息捕捉裝置的視野內(nèi)的真實(shí)世界對象或圖案）來決定什么虛擬對象要表示以及 如何表示該虛擬對象。以下描述了一種技術(shù)，其中增強(qiáng)現(xiàn)實(shí)系統(tǒng)能夠檢測其視野中某種光 學(xué)上難以察覺的對象（此后稱為"標(biāo)簽"）并基于從該標(biāo)簽獲得的信息來顯示可視信息。
[0019] 一般而言，被增強(qiáng)現(xiàn)實(shí)系統(tǒng)讀取的標(biāo)簽會是光學(xué)上難以察覺的。為此，標(biāo)簽可具有 諸如小的大?。?，類似郵票的大?。┲惖膶傩院?或相對于可見光譜的透明度。在一 個實(shí)施例中，增強(qiáng)現(xiàn)實(shí)系統(tǒng)可采用深度相機(jī)之類的技術(shù)來讀取標(biāo)簽上的信息數(shù)據(jù)。標(biāo)簽可 采取能被紅外光掃描的貼紙形式，并且該貼紙進(jìn)而可被放置在增強(qiáng)現(xiàn)實(shí)系統(tǒng)的用戶能夠使 用增強(qiáng)現(xiàn)實(shí)系統(tǒng)來找到的各個位置中。標(biāo)簽可具有材料的圖案，使得每個材料在反射入射 紅外（或另一不可見波長）光之際將特定的相移引入該紅外光。替換地，標(biāo)簽的圖案可由 分隔到定義標(biāo)簽上的圖案的各區(qū)域中的單個層構(gòu)成。該單個層可由可被組裝到反射結(jié)構(gòu)中 的各材料（諸如二氧化鋯、鈦以及金）構(gòu)成。被各個區(qū)域引入到被反射的IR光的相移可取 決于該區(qū)域的大小。通過將標(biāo)簽暴露給光源并感測被反射的光，增強(qiáng)現(xiàn)實(shí)系統(tǒng)可將由標(biāo)簽 上的圖案導(dǎo)致的變化的相變化檢測為深度圖案。該深度圖案可以是兩個或三個維度，使得 維度之一是深度。標(biāo)簽上（由增強(qiáng)現(xiàn)實(shí)系統(tǒng)感測為被反射的深度測量中的相改變定義的圖 案）的圖案可對能被增強(qiáng)現(xiàn)實(shí)系統(tǒng)讀取并解釋的數(shù)據(jù)進(jìn)行編碼。被標(biāo)簽編碼的數(shù)據(jù)可以是 針對增強(qiáng)現(xiàn)實(shí)系統(tǒng)的指令，以從能經(jīng)由因特網(wǎng)或其他種類的網(wǎng)絡(luò)連接訪問的外部數(shù)據(jù)庫中 檢索進(jìn)一步的指令。
[0020] -旦數(shù)據(jù)已經(jīng)從標(biāo)簽中以及從標(biāo)簽引用的任何附加源（諸如數(shù)據(jù)庫或服務(wù)器）中 收集，系統(tǒng)就會顯示對應(yīng)于該數(shù)據(jù)的一個或多個虛擬對象。這些虛擬對象將相對于物理環(huán) 境的特征或?qū)ο髞肀伙@示。在一個實(shí)施例中，虛擬對象經(jīng)由頭戴式顯示器（HMD)被疊加在 物理環(huán)境的視圖上，該頭戴式顯示器（HMD)在圖2-4中被進(jìn)一步描述。替換地，虛擬對象可 被顯示在也顯示物理環(huán)境的圖像和其對象和特征的顯示器上。在一些設(shè)置中，諸如在視頻 游戲中，物理環(huán)境的圖像可被輕度或重度修改（參考圖10E)以匹配設(shè)置的上下文。
[0021] 在增強(qiáng)現(xiàn)實(shí)應(yīng)用中，標(biāo)簽可扮演各種角色，其中的一些將在以下被詳細(xì)討論。在這 些示例中，假定標(biāo)簽和周圍區(qū)域正通過適當(dāng)?shù)脑鰪?qiáng)現(xiàn)實(shí)裝備被查看或已經(jīng)通過適當(dāng)?shù)脑鰪?qiáng) 現(xiàn)實(shí)裝備被查看。例如，當(dāng)被放置在相框上或在相框附近時，標(biāo)簽可確保相框用作電視屏 幕。在空白的記事本表面上，標(biāo)簽可創(chuàng)建一屏幕，用戶能與之進(jìn)行交互，就好像用戶和平板 計(jì)算機(jī)交互那樣。在名片上，標(biāo)簽可提供關(guān)于姓名在該名片中的人或公司的附加文本或可 視信息，使得該信息被重疊在名片的圖像附近的區(qū)域上或在該區(qū)域中。在建筑物內(nèi)部或外 部的墻壁上，標(biāo)簽可產(chǎn)生具有伴隨聲音的動畫化廣告，該伴隨聲音可通過耳機(jī)被增強(qiáng)現(xiàn)實(shí) 系統(tǒng)用戶聽到。附加地，如果增強(qiáng)現(xiàn)實(shí)系統(tǒng)對附加的信息（諸如用戶的社交網(wǎng)絡(luò)簡檔）具 有訪問權(quán)，則被用戶查看的廣告的內(nèi)容可針對個別用戶來定制。
[0022] 現(xiàn)在將參考本文檔包括的附圖來描述各實(shí)施例。
[0023] 圖1描繪了其中所公開的技術(shù)可被使用的通用場景。圖1揭示了可被用戶19和 29根據(jù)本技術(shù)使用的各種類型的硬件。在一個情況下，該技術(shù)可包括游戲系統(tǒng)和相機(jī)以及 顯示器16。在另一實(shí)施例中，它可包括用戶佩戴的HMD設(shè)備。應(yīng)當(dāng)理解，這些可單獨(dú)使用或 可與其他類型的混合現(xiàn)實(shí)設(shè)備結(jié)合使用。在起居室內(nèi)，用戶29和19通過使用游戲控制臺 12和電視機(jī)16來玩視頻游戲。
[0024] 在該示例中，用戶19和29如娛樂系統(tǒng)10 (在這個情況下，包括電視機(jī)16、游戲控 制臺12以及相機(jī)20A和20B)以及椅子14a和14b所指示的那樣處于起居室內(nèi)。每個用戶 佩戴著透視、增強(qiáng)現(xiàn)實(shí)顯示設(shè)備系統(tǒng)，其在這個示例中包括作為一副眼鏡的頭戴式顯示設(shè) 備2以及腕上的處理單元4。顯示器24顯示用戶19和29中的每一個當(dāng)前正透過他的頭戴 式顯示設(shè)備2看到什么中的一些，但是正在起居室內(nèi)行走的不具有HMD的人可能沒有看到 關(guān)于這些顯示視圖的至少一些信息。用戶29和19透過他們的顯示設(shè)備看到與他們正在玩 的游戲中的事件相對應(yīng)的圖像。在其中控制臺執(zhí)行游戲的全部或游戲的正在顯示器24上 渲染該游戲的視覺中的一些或全部的部分的一個實(shí)施例中，顯示在顯示器24上的內(nèi)容可 依賴于在游戲控制臺12上運(yùn)行的軟件和被相機(jī)20A和20B捕捉的信息中的一個或兩者，相 機(jī)20A和20B可捕捉用戶19和29的運(yùn)動、姿勢或面部表情以及相機(jī)20A和20B的視野內(nèi) 的其他特征。將在以下提供更多細(xì)節(jié)。
[0025] 還呈現(xiàn)在起居室和游戲場景中的是相框28,它的一部分被標(biāo)簽18覆蓋。如將在以 下更加詳細(xì)解釋的，標(biāo)簽18在向用戶19和29的游戲體驗(yàn)提供增強(qiáng)現(xiàn)實(shí)方面中扮演了重要 的角色。對標(biāo)簽的形狀、尺寸和位置的選擇以及將相框選擇作為該標(biāo)簽與其相關(guān)聯(lián)的示例 性對象，完全是出于說明的目的。
[0026] 圖2是可在其中實(shí)施所公開的技術(shù)的聯(lián)網(wǎng)計(jì)算環(huán)境100的一個實(shí)施例的框圖。聯(lián) 網(wǎng)計(jì)算環(huán)境100包括通過一個或多個網(wǎng)絡(luò)180互連的多個計(jì)算設(shè)備。所述一個或多個網(wǎng)絡(luò) 180允許一特定計(jì)算設(shè)備連接到另一計(jì)算設(shè)備以及與其通信。所描繪的計(jì)算設(shè)備包括移動 設(shè)備11、移動設(shè)備12、頭戴式顯示設(shè)備（它的一個實(shí)施例可合并圖1的處理單元4)和服務(wù) 器15。在一些實(shí)施例中，所述多個計(jì)算設(shè)備可以包括未示出的其他計(jì)算設(shè)備。在一些實(shí)施 例中，所述多個計(jì)算設(shè)備可以包括比圖2所示的計(jì)算設(shè)備的數(shù)目更多或更少的計(jì)算設(shè)備。 所述一個或多個網(wǎng)絡(luò)180可以包括諸如企業(yè)專用網(wǎng)絡(luò)之類的安全網(wǎng)絡(luò)、諸如無線開放式網(wǎng) 絡(luò)之類的不安全網(wǎng)絡(luò)、局域網(wǎng)（LAN)、廣域網(wǎng)（WAN)、以及因特網(wǎng)。所述一個或多個網(wǎng)絡(luò)180 中的每個網(wǎng)絡(luò)可以包括集線器、網(wǎng)橋、路由器、交換機(jī)、以及有線傳輸介質(zhì)，比如有線網(wǎng)絡(luò)或 直接線連接。
[0027] 可包括補(bǔ)充信息服務(wù)器或應(yīng)用服務(wù)器的服務(wù)器15可允許客戶機(jī)從該服務(wù)器下載 信息（例如，文本、音頻、圖像和視頻文件）或者執(zhí)行與存儲在該服務(wù)器上的特定信息相關(guān) 的搜索查詢。一般而言，"服務(wù)器"可以包括在客戶端-服務(wù)器關(guān)系中充當(dāng)主機(jī)的硬件設(shè)備、 或者與一個或多個客戶機(jī)共享資源或?yàn)樗鲆粋€或多個客戶機(jī)執(zhí)行工作的軟件過程?？蛻?端-服務(wù)器關(guān)系下的計(jì)算設(shè)備之間的通信可以通過由客戶端向服務(wù)器發(fā)送要求訪問特定 資源或執(zhí)行特定工作的請求來發(fā)起。服務(wù)器隨后可以執(zhí)行所請求的動作并且將響應(yīng)發(fā)送回 客戶端。
[0028] 服務(wù)器15的一個實(shí)施例包括網(wǎng)絡(luò)接口 155、處理器156、存儲器157和翻譯器158， 所有這些都彼此通信。網(wǎng)絡(luò)接口 155允許服務(wù)器15連接到一個或多個網(wǎng)絡(luò)180。網(wǎng)絡(luò)接口 155可以包括無線網(wǎng)絡(luò)接口、調(diào)制解調(diào)器、和/或有線網(wǎng)絡(luò)接口。處理器156允許服務(wù)器15 執(zhí)行存儲在存儲器157中的計(jì)算機(jī)可讀指令以執(zhí)行在此討論的過程。翻譯器158可包括用 于將第一文件格式的第一文件翻譯成第二文件格式的對應(yīng)第二文件的映射邏輯（即，第二 文件可以是經(jīng)翻譯的版本的第一文件）?？墒褂梦募成渲噶顏砼渲梅g器158,該文件映 射指令提供用于將第一文件格式的文件（或其部分）映射成第二文件格式的對應(yīng)文件的指 令。
[0029] 頭戴式顯示設(shè)備2的一個實(shí)施例包括網(wǎng)絡(luò)接口 145、處理器146、存儲器147、相機(jī) 148、傳感器149、以及顯示器150,所有這些都彼此通信。網(wǎng)絡(luò)接口 145允許頭戴式顯示設(shè) 備2連接到一個或多個網(wǎng)絡(luò)180。網(wǎng)絡(luò)接口 145可以包括無線網(wǎng)絡(luò)接口、調(diào)制解調(diào)器、和/ 或有線網(wǎng)絡(luò)接口。處理器146允許頭戴式顯示設(shè)備2執(zhí)行存儲在存儲器147中的計(jì)算機(jī)可 讀指令以執(zhí)行在此討論的過程。相機(jī)148可以捕捉色彩圖像和/或深度圖像。傳感器149 可生成與頭戴式顯示設(shè)備2相關(guān)聯(lián)的運(yùn)動和/或定向信息。在一些情況下，傳感器149可 包括慣性測量單元（MU)。顯示器150可顯示數(shù)字圖像和/或視頻。顯示器150可包括透 視顯示器。
[0030] 在一些實(shí)施例中，包括網(wǎng)絡(luò)接口 145、處理器146、存儲器147、相機(jī)148以及傳感器 149的頭戴式顯示設(shè)備2的各組件可被集成在單芯片基片上。在一示例中，網(wǎng)絡(luò)接口 145、 處理器146、存儲器147、相機(jī)148、傳感器149可被集成成為片上系統(tǒng)（SOC)。在另