專利名稱：用于擴(kuò)展現(xiàn)實(shí)顯示的自動焦點(diǎn)改善的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于擴(kuò)展現(xiàn)實(shí)顯示的自動焦點(diǎn)改善。
背景技術(shù)：
擴(kuò)展現(xiàn)實(shí)是一種允許將虛擬圖像與現(xiàn)實(shí)世界物理環(huán)境或空間相混合的技術(shù)。通常，用戶佩戴近眼顯示器以查看虛擬物體和現(xiàn)實(shí)物體的混合圖像。該近眼顯示器通常使用光學(xué)器件與立體視覺的組合來將虛擬圖像聚焦到空間內(nèi)。用戶的聚焦能力能將用戶限于正在查看的處于該空間中的僅僅一部分中的物體、即現(xiàn)實(shí)物體和虛擬物體二者(如有的話)。

發(fā)明內(nèi)容
本技術(shù)提供了用于改善混合的現(xiàn)實(shí)或擴(kuò)展現(xiàn)實(shí)顯示的物體的焦點(diǎn)的實(shí)施例。用戶通過近眼顯示設(shè)備查看場景。該場景包括用戶用他或她的眼睛直接查看的物理環(huán)境或空間中的一個(gè)或多個(gè)現(xiàn)實(shí)物體。在透視顯示設(shè)備的情況下，用戶通過顯示設(shè)備的清透或透視透鏡直接地查看現(xiàn)實(shí)物體。一個(gè)或多個(gè)虛擬物體由顯示設(shè)備投影到用戶眼睛位置的至少之一。因此，用虛擬物體來擴(kuò)展現(xiàn)實(shí)場景的顯示。在一實(shí)施例中，本技術(shù)提供了包括透視顯示設(shè)備的擴(kuò)展現(xiàn)實(shí)系統(tǒng)，該透視顯示設(shè)備包括被定位為被用戶透視的可變焦透鏡。由附連到透視顯示設(shè)備的微顯示器部件來生成虛擬圖像。該虛擬圖像被投影到用戶的至少一只眼睛中，使得用戶在通過可變焦透鏡進(jìn)行查看時(shí)看見虛擬物體和現(xiàn)實(shí)物體二者。一個(gè)或多個(gè)處理器在存儲在可訪問存儲器中的軟件的控制下確定當(dāng)前用戶聚焦區(qū)。該處理器控制聚焦區(qū)調(diào)整單元以用于將可變焦透鏡聚焦到當(dāng)前用戶聚焦區(qū)中。在另一實(shí)施例中，擴(kuò)展現(xiàn)實(shí)系統(tǒng)提供縮放特性。該處理器基于縮放特性和當(dāng)前用戶聚焦區(qū)來確定焦距，并且聚焦區(qū)調(diào)整單元基于所確定的焦距來調(diào)整可變焦透鏡。在另一實(shí)施例中，本技術(shù)提供了一種用于提供擴(kuò)展現(xiàn)實(shí)系統(tǒng)中物體的改善的焦點(diǎn)的方法。用戶在包括現(xiàn)實(shí)物體的空間的三維模型中的視野被確定為當(dāng)前用戶聚焦區(qū)。針對至少一只眼睛把被定位為被用戶透視的可變焦透鏡自動地調(diào)整為聚焦在當(dāng)前用戶聚焦區(qū)中。在用戶的視野中的現(xiàn)實(shí)世界焦距處顯示一個(gè)或多個(gè)虛擬物體。對用戶視野中的物體之一的圖像進(jìn)行視覺增強(qiáng)。在一個(gè)示例中，現(xiàn)實(shí)物體被視覺增強(qiáng)。提供本發(fā)明內(nèi)容以便以簡化的形式介紹將在以下具體實(shí)施方式
中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并非旨在標(biāo)識所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護(hù)的主題的范圍。


圖IA是描繪了用于提供擴(kuò)展現(xiàn)實(shí)顯示中的焦點(diǎn)改善的系統(tǒng)的一個(gè)實(shí)施例的示例性組件的框圖。圖IB是頭戴式顯示設(shè)備的實(shí)施例的一部分的頂視圖，其包括被定位為被用戶透視的可變焦透鏡。圖IC是頭戴式顯示設(shè)備的另一實(shí)施例的一部分的頂視圖，其包括被定位為被用戶透視的可變焦透鏡。圖2A是供用作近眼顯示器的微顯示器部件的一部分的可旋轉(zhuǎn)透鏡系統(tǒng)的示例。圖2B1和圖2B2是展示出不同曲率半徑的流體透鏡的示例，這些流體透鏡供用作微顯示器部件的一部分或者用作透視可變焦透鏡。圖2B3是聚焦區(qū)域調(diào)整單元的另一示例，其可以用于作為微顯示器部件的一部分或者作為透視可變焦透鏡的液體透鏡。圖2C是供用作近眼顯示器的微顯示器部件的一部分的雙折射透鏡系統(tǒng)的示例。圖2D是供用作微顯示器部件的一部分的可插入透鏡系統(tǒng)的示例。圖3是頭戴式顯示單元的組件的一個(gè)實(shí)施例的框圖。圖4是與頭戴式顯示單元相關(guān)聯(lián)的處理單元的組件的一個(gè)實(shí)施例的框圖。圖5是結(jié)合頭戴式顯示單元使用的中樞計(jì)算系統(tǒng)的組件的一個(gè)實(shí)施例的框圖。圖6是可用于實(shí)現(xiàn)在此所述的中樞計(jì)算系統(tǒng)的計(jì)算系統(tǒng)的一個(gè)實(shí)施例的框圖。圖7是描繪可改變將處于用戶的焦點(diǎn)處的虛擬內(nèi)容的焦點(diǎn)的多用戶系統(tǒng)的框圖。圖8是描述了用于擴(kuò)展現(xiàn)實(shí)顯示中的焦點(diǎn)改善的過程的一個(gè)實(shí)施例的流程圖。圖9是描述用于創(chuàng)建空間的模型的過程的一個(gè)實(shí)施例的流程圖。圖10是描述用于將模型分割成物體的過程的一個(gè)實(shí)施例的流程圖。圖11是描述用于標(biāo)識出物體的過程的一個(gè)實(shí)施例的流程圖。圖IlA是描述用于響應(yīng)于移動物體來更新模型的過程的一個(gè)實(shí)施例的流程圖。圖12A是描述了用于將可變焦透鏡調(diào)整到當(dāng)前用戶聚焦區(qū)中的過程的實(shí)施例的流程圖。圖12B是描述了用于針對縮放特性調(diào)整可變焦透鏡的過程的實(shí)施例的流程圖。圖13是描述用于顯示將在被查看近眼顯示器的用戶查看時(shí)處于焦點(diǎn)處的虛擬物體的過程的一個(gè)實(shí)施例的流程圖。圖14是描述用于由中樞來跟蹤用戶和/或頭戴式顯示單元的位置和取向的過程的一個(gè)實(shí)施例的流程圖。圖15是描述用于跟蹤眼睛位置的過程的一個(gè)實(shí)施例的流程圖。圖16是描述用于確定用戶視野和用戶的聚焦區(qū)的過程的一個(gè)實(shí)施例的流程圖。圖17A是描述用于通過使微顯示器部件的至少一個(gè)透鏡移位來改變該部件的聚焦區(qū)的過程的一個(gè)實(shí)施例的流程圖。圖17B是描述用于通過改變微顯示器部件的至少一個(gè)透鏡的偏振性來改變該部件的聚焦區(qū)的過程的一個(gè)實(shí)施例的流程圖。圖17C是描述用于通過改變微顯示器部件的至少一個(gè)液體透鏡的曲率半徑來改變該部件的聚焦區(qū)的過程的一個(gè)實(shí)施例的流程圖。圖18A是描述用于在擴(kuò)展現(xiàn)實(shí)顯示中生成不同聚焦區(qū)中的虛擬物體圖像的過程的一個(gè)實(shí)施例的流程圖。圖18B是描述用于在擴(kuò)展現(xiàn)實(shí)顯示中生成不同聚焦區(qū)中的虛擬物體圖像的過程的另一實(shí)施例的流程圖。
圖19是描述了用于用用戶視野中的虛擬圖像來對現(xiàn)實(shí)物體進(jìn)行增強(qiáng)的過程的一個(gè)實(shí)施例的流程圖。
具體實(shí)施例方式本技術(shù)提供了用于實(shí)現(xiàn)用于混合現(xiàn)實(shí)或擴(kuò)展現(xiàn)實(shí)顯示的可變焦的實(shí)施例。在一個(gè)實(shí)施例中，系統(tǒng)包括作為用于擴(kuò)展現(xiàn)實(shí)的近眼顯示器的透視顯示設(shè)備、以及與該透視顯示設(shè)備通信的處理單元。在以下討論的各實(shí)施例中，透視顯示器處于一副眼鏡中，但是也可以使用其他HMD形式和近眼顯示器固定器。使用用戶的自然視力來實(shí)際和直接地查看所查看場景中的現(xiàn)實(shí)物體。換言之，用戶用人眼直接查看現(xiàn)實(shí)世界物體?；趫?zhí)行軟件(例如游戲應(yīng)用)的上下文，該系統(tǒng)可以將虛擬圖像投影在可由佩戴該透視顯示器的人查看的顯示器上，同時(shí)該人還通過該顯示器查看現(xiàn)實(shí)世界對象。使用一個(gè)或多個(gè)傳感器來掃描用戶所查看的相鄰物理環(huán)境，由此提供可用來構(gòu)建所掃描環(huán)境的三維模型的數(shù)據(jù)。該模型被分割成現(xiàn)實(shí)物體，并且如下面解釋的那樣被用虛擬物體圖像的位置進(jìn)行擴(kuò)展。附加地，使用各種傳感器來檢測用戶頭和眼睛的位置和取向以便確定將虛擬圖像投影到何處。該系統(tǒng)自動地跟蹤用戶正注視何處，使得該系統(tǒng)可以弄清用戶通過透視顯示設(shè)備的顯示器的視野。可以使用深度相機(jī)和包括深度傳感器、圖像傳感器、慣性傳感器、眼睛位置傳感器等在內(nèi)的各種傳感器中的任何傳感器來跟蹤用戶。除了用戶的視野以外， 該系統(tǒng)還確定用戶聚焦在或注視視野中的哪個(gè)位置，該位置常常稱為用戶聚焦區(qū)(focal region)0在一些實(shí)施例中，用戶聚焦區(qū)是稱為Panum匯合區(qū)域的體積，其中人類眼睛用單視覺來查看物體。人類具有雙眼視覺或立體視覺。每個(gè)眼睛都產(chǎn)生不同視角的圖像。僅僅在Panum匯合區(qū)域的該小體積中，人類用單視覺查看物體。這通常是指物體據(jù)稱處于焦點(diǎn)處時(shí)的情況。在該區(qū)域之外，物體可能看上去是模糊的，或者甚至看上去為雙重圖像。處于 Panum匯合區(qū)域的中心內(nèi)的有包括用戶眼睛的焦點(diǎn)在內(nèi)的雙眼單視界(Horopter)。當(dāng)用戶聚焦在空間中的某點(diǎn)(之后稱為焦點(diǎn))上時(shí)，該焦點(diǎn)位于曲線上?？臻g中的處于該曲線上的物體落到眼睛視網(wǎng)膜上的小凹中。該曲線有時(shí)稱為水平雙眼單視界。還存在垂直雙眼單視界，其是經(jīng)過該曲線的一條線，該線從眼睛的焦點(diǎn)之上向眼睛在該曲線上的焦點(diǎn)之下傾斜。 后面所使用的術(shù)語“雙眼單視界”是指其垂直和水平分量二者。一旦該系統(tǒng)知道了用戶的視野和用戶聚焦區(qū)，則系統(tǒng)就可以弄清一個(gè)或多個(gè)虛擬物體圖像應(yīng)當(dāng)由近眼顯示設(shè)備的顯示器投影到何處。近眼顯示設(shè)備的微顯示器部件生成用戶視野內(nèi)的虛擬物體，并且可以將虛擬物體放置在視野內(nèi)的用戶聚焦區(qū)。不同的用戶在不同焦距處具有不同的聚焦能力，這影響他們的視覺敏銳度或視力清晰度。許多人具有屈光異常，從而導(dǎo)致難以聚焦到幾英尺或更遠(yuǎn)處的物體。這些人是近視的。具體而言，隨著人上年紀(jì)，他們患上老花眼，其中對于許多人而言，眼睛聚焦到附近物體的能力也下降。因此，對于許多人而言，隨著他們上年紀(jì)，需要老花鏡。由眼科保健專業(yè)人員作為處方開出經(jīng)磨削的固定焦點(diǎn)眼鏡來補(bǔ)償屈光異常。用戶可以在他或她的近眼顯示器中具有處方透鏡，然而，這通常將是遠(yuǎn)距離處方，而不是老花鏡處方，使得患有老花眼的用戶將不能清楚地查看附近物體。附加地，尤其是對于兒童和40歲以上的成人而言，處方不總是最新的。在一些實(shí)施例中，透視顯示設(shè)備包括可變焦透鏡，該透鏡被定位為被用戶透視。當(dāng)用戶查看聚焦區(qū)中的現(xiàn)實(shí)物體和虛擬物體時(shí)，聚焦區(qū)調(diào)整單元將可變透鏡聚焦到聚焦區(qū)中。因此，用戶看見聚焦的聚焦區(qū)處的現(xiàn)實(shí)和虛擬物體。在一些實(shí)施例中，可變焦透鏡可以提供縮放特性，該特性允許用戶選擇超視力或超級視力。超級視力的示例是能夠比人用正常視力看得更遠(yuǎn)，例如能夠?qū)崿F(xiàn)20/20或6/6。虛擬圖像還可以用于增強(qiáng)包括現(xiàn)實(shí)物體在內(nèi)的物體的可見性或感知，以改善用戶感知或聚焦到該物體的能力。圖IA是描繪了用于提供擴(kuò)展現(xiàn)實(shí)顯示中的焦點(diǎn)改善的系統(tǒng)10的一個(gè)實(shí)施例的示例性組件的框圖。系統(tǒng)10包括作為通過線6與處理單元4進(jìn)行通信的近眼頭戴式顯示設(shè)備2的透視顯示設(shè)備。在其他實(shí)施例中，頭戴式顯示設(shè)備2通過無線通信來與處理單元4進(jìn)行通信。在一個(gè)實(shí)施例中為鏡架115中的眼鏡形狀的頭戴式顯示設(shè)備2被佩戴在用戶的頭上，使得用戶可以通過顯示器進(jìn)行查看，并且從而具有該用戶前方的空間的實(shí)際直接視圖。 使用術(shù)語“實(shí)際和直接視圖”來指直接用人眼查看現(xiàn)實(shí)世界物體的能力，而不是查看對物體的所創(chuàng)建的圖像表示。例如，在房間中通過眼鏡進(jìn)行查看將允許用戶具有房間的實(shí)際直接視圖，而在電視上查看房間的視頻不是房間的實(shí)際直接視圖。下面提供頭戴式顯示設(shè)備2 的更多細(xì)節(jié)。在一個(gè)實(shí)施例中，處理單元4被佩戴在用戶的手腕上，并且包括許多用于操作頭戴式顯示設(shè)備2的計(jì)算能力。處理單元4可以與一個(gè)或多個(gè)中樞計(jì)算系統(tǒng)12無線地(例如WiFi、藍(lán)牙、紅外、或其他無線通信手段)通信。中樞計(jì)算系統(tǒng)12可以是計(jì)算機(jī)、游戲系統(tǒng)或控制臺等等。根據(jù)一示例性實(shí)施例， 中樞計(jì)算系統(tǒng)12可以包括硬件組件和/或軟件組件，使得中樞計(jì)算系統(tǒng)12可以用于執(zhí)行諸如游戲應(yīng)用、非游戲應(yīng)用等等之類的應(yīng)用。在一個(gè)實(shí)施例中，中樞計(jì)算系統(tǒng)12可以包括諸如標(biāo)準(zhǔn)化處理器、專用處理器、微處理器等等之類的處理器，這些處理器可以執(zhí)行存儲在處理器可讀存儲設(shè)備上的指令以用于執(zhí)行在此所述的過程。中樞計(jì)算系統(tǒng)12還包括一個(gè)或多個(gè)捕捉設(shè)備，如捕捉設(shè)備20A和20B。在其他實(shí)施例中，可以使用多于或少于兩個(gè)的捕捉設(shè)備。在一個(gè)示例性實(shí)施方式中，捕捉設(shè)備20A和 20B指向不同方向，使得它們可以捕捉房間的不同部分?？赡苡欣氖牵瑑蓚€(gè)捕捉設(shè)備的視野稍微地重疊，使得中樞計(jì)算系統(tǒng)12可以理解捕捉設(shè)備的視野如何彼此相關(guān)。通過這種方式，可以使用多個(gè)捕捉設(shè)備來查看整個(gè)房間(或其他空間)。可替代地，如果捕捉設(shè)備可以在操作期間平移，使得整個(gè)相關(guān)空間隨時(shí)間被捕捉設(shè)備查看，則可以使用一個(gè)捕捉設(shè)備。捕捉設(shè)備20A和20B例如可以是相機(jī)，該相機(jī)在視覺上監(jiān)視一個(gè)或多個(gè)用戶和周圍空間，使得可以捕捉、分析并跟蹤該一個(gè)或多個(gè)用戶所執(zhí)行的姿勢和/或移動以及周圍空間的結(jié)構(gòu)，以在應(yīng)用中執(zhí)行一個(gè)或多個(gè)控制或動作和/或使化身或屏上人物動畫化。中樞計(jì)算環(huán)境12可以連接到諸如電視機(jī)、監(jiān)視器、高清電視機(jī)(HDTV)等可提供游戲或應(yīng)用程序視覺的視聽設(shè)備16。例如，中樞計(jì)算系統(tǒng)12可包括諸如圖形卡等視頻適配器和/或諸如聲卡等音頻適配器，這些適配器可提供與游戲應(yīng)用、非游戲應(yīng)用等相關(guān)聯(lián)的視聽信號。視聽設(shè)備16可從中樞計(jì)算系統(tǒng)12接收視聽信號，并且然后可以輸出與視聽信號相關(guān)聯(lián)的游戲或應(yīng)用視覺和/或音頻。根據(jù)一個(gè)實(shí)施例，視聽設(shè)備16可經(jīng)由例如，S-視頻電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜、分量視頻電纜、RCA電纜等連接至中樞計(jì)算系統(tǒng)12。在一個(gè)示例中，視聽設(shè)備16包括內(nèi)置揚(yáng)聲器。在其他實(shí)施例中，視聽設(shè)備16、單獨(dú)的立體聲系統(tǒng)或中樞計(jì)算設(shè)備12連接到外部揚(yáng)聲器22。中樞計(jì)算設(shè)備10可以與捕捉設(shè)備20A和20B —起用于識別、分析和/或跟蹤人類 (以及其他類型的)目標(biāo)。例如，可使用捕捉設(shè)備20A和20B來跟蹤佩戴頭戴式顯示設(shè)備2 的用戶，使得可以捕捉用戶的姿勢和/或運(yùn)動來使化身或屏幕上人物動畫化，和/或可將用戶的姿勢和/或移動解釋為可用于影響中樞計(jì)算系統(tǒng)12所執(zhí)行的應(yīng)用的控制。圖IB描繪了頭戴式顯示設(shè)備2的一部分的頂視圖，其包括鏡架115的包含鏡腿 102和鼻中104的那部分。鏡架115提供用于將該系統(tǒng)的各元件保持在原位的支承體以及用于電連接的管道。僅僅描繪了頭戴式顯示設(shè)備2的右側(cè)。在鼻中104中置入了話筒110 以用于記錄聲音以及將音頻數(shù)據(jù)傳送給處理單元4，這將在下面予以描述。在頭戴式顯示設(shè)備2的前方是朝向物理環(huán)境的視頻相機(jī)113，該視頻相機(jī)113可以捕捉視頻和靜止圖像。 這些圖像被傳送給處理單元4，這將在下面予以描述。為了示出頭戴式顯示設(shè)備2的組件，以虛線示出了鏡架115的一部分以展示布置在其中的透視透鏡116、118和119、以及用于可變焦透鏡119的聚焦區(qū)調(diào)整單元139的元件 139a、139b、139c。支承元件139c可以由諸如玻璃或塑料之類的透視材料制成。在該實(shí)施例中，鏡架115提供了便利的眼鏡架作為下面進(jìn)一步討論的系統(tǒng)的各元件的支承體。在其他實(shí)施例中，可以使用其他支承結(jié)構(gòu)。這樣的結(jié)構(gòu)的示例是臉罩。透鏡119是可變焦透鏡?？勺兘雇哥R的示例是液體透鏡。在該示例中，這些透鏡包括可改變形狀的撓性面117。例如，可以使該撓性面更加凸出、使其變直或更加內(nèi)凹。在該實(shí)施例中，透視透鏡116和118提供了保護(hù)以免受到物理空間中的諸如灰塵之類因素的損害以及以免落入充液可變透鏡中。透鏡116和118可以是用在眼鏡中的標(biāo)準(zhǔn)透鏡，并且兩個(gè)透鏡任一或二者可以包括處方。在其他實(shí)施例中，透視設(shè)備可以包括僅僅一個(gè)其他標(biāo)準(zhǔn)透鏡、或僅僅可變焦透鏡119，這些透鏡可能被玻璃或塑料包圍在鏡架115內(nèi)，所述玻璃或塑料作為保護(hù)以免受到諸如灰塵和跌落之類因素的損害。下面在圖2B1和2B2中示出了聚焦區(qū)調(diào)整單元139的示例，該聚焦區(qū)調(diào)整單元139通過影響曲率半徑來影響液體透鏡實(shí)施例的光學(xué)能力或焦距。透鏡的光學(xué)能力被定義成其焦距的倒數(shù)，例如1/焦距，使得一個(gè)改變將影響另一個(gè)。在一個(gè)示例中，透鏡119可以由諸如Mylar 的一個(gè)版本之類的清透膜制成，并且液體可以是諸如Dow-CorningDC-703或DC-705之類的硅油。微顯示器部件173包括光處理元件和可變焦調(diào)整器135。光處理元件的示例是微顯示器單元120。其他示例包括諸如透鏡系統(tǒng)122的一個(gè)或多個(gè)透鏡之類的一個(gè)或多個(gè)光學(xué)元件、以及諸如面12 和124b之類的一個(gè)或多個(gè)反射元件。透鏡系統(tǒng)122可包括單個(gè)透鏡或多個(gè)透鏡。微顯示器單元120安裝在鏡腿102上或處于鏡腿102內(nèi)部，它包括圖像源并生成虛擬對象的圖像。微顯示器單元120在光學(xué)上與透鏡系統(tǒng)122以及反射面12 和124b對準(zhǔn)。光學(xué)對準(zhǔn)可以沿著光軸133或包括一個(gè)或多個(gè)光軸的光路133。微顯示器單元120通過可引導(dǎo)圖像光的透鏡系統(tǒng)122將虛擬物體的圖像投影到反射元件12 (例如鏡或其他表面)上，該反射元件12 將虛擬圖像的光引導(dǎo)到部分反射元件1Mb，該部分反射元件124b將虛擬圖像視圖143與自然或現(xiàn)實(shí)和直接視圖142相組合。各視圖的組合被引導(dǎo)到用戶的眼睛140中?？勺兘拐{(diào)整器135改變微顯示器部件的光路中的一個(gè)或多個(gè)光處理元件之間的位移或微顯示器部件中的元件的光學(xué)能力。透鏡的光學(xué)能力被定義成其焦距的倒數(shù)，例如 1/焦距，使得一個(gè)中的改變影響另一個(gè)。該改變導(dǎo)致聚焦于微顯示器部件173所生成的圖像的視野區(qū)域改變。在微顯示器部件173作出位移改變的一個(gè)示例中，在電樞137內(nèi)對位移改變進(jìn)行引導(dǎo)，電樞137支承諸如該示例中的透鏡系統(tǒng)122和微顯示器120之類的至少一個(gè)光處理元件。電樞137幫助使得沿光路133的對準(zhǔn)在各元件的物理移動期間穩(wěn)定，以達(dá)到所選位移或光學(xué)能力。在一些示例中，調(diào)整器135可以移動一個(gè)或多個(gè)光學(xué)元件，如電樞137內(nèi)的透鏡系統(tǒng)122中的透鏡。在其他示例中，電樞可在光處理元件周圍的區(qū)域中具有槽或空間， 使得它在不移動光處理元件的情況下在該元件(例如微顯示器120)上滑動。電樞中的另一元件(如透鏡系統(tǒng)12 被附連，使得系統(tǒng)122或其內(nèi)的透鏡與移動的電樞137 —起滑動或移動。位移范圍通常是幾毫米(mm)的量級。在一個(gè)示例中，這一范圍是l_2mm。在其他示例中，電樞137可以向透鏡系統(tǒng)122提供對涉及除位移之外的其他物理參數(shù)的調(diào)整的焦點(diǎn)調(diào)整技術(shù)的支持，這將在下面的圖2A至2D的示例中予以討論。在一個(gè)示例中，調(diào)整器135可以是諸如壓電馬達(dá)之類的執(zhí)行器。也可使用用于執(zhí)行器的其他技術(shù)，并且這樣的技術(shù)的一些示例是由線圈和永久磁鐵、磁致伸縮元件、以及電致伸縮元件形成的音圈。存在著可用于實(shí)現(xiàn)微顯示器120的不同的圖像生成技術(shù)。例如，微顯示器120可以使用透射投影技術(shù)來實(shí)現(xiàn)，其中光源由光學(xué)活性材料來調(diào)制，用白光從背后照亮。這些技術(shù)通常是使用具有強(qiáng)大背光和高光能量密度的LCD類型的顯示器來實(shí)現(xiàn)的。微顯示器120 還可使用反射技術(shù)來實(shí)現(xiàn)，其中外部光被光學(xué)活性材料反射并調(diào)制。根據(jù)該技術(shù)，由白光源或RGB源向前點(diǎn)亮照明。數(shù)字光處理(DLP)、硅上液晶(LCOS)、以及來自Qualcomm有限公司的Mirasol 顯示技術(shù)都是高效的反射技術(shù)的示例，因?yàn)榇蠖鄶?shù)能量從已調(diào)制結(jié)構(gòu)反射并且可用于本文描述的系統(tǒng)中。附加地，微顯示器120可以使用發(fā)射技術(shù)來實(shí)現(xiàn)，其中光由該顯示器生成。例如，來自Microvision有限公司的PicoP 引擎使用微型鏡面舵來將激光信號發(fā)射到擔(dān)當(dāng)透射元件的小型屏幕上或直接按束發(fā)射到眼睛(例如，激光)。頭戴式顯示設(shè)備2還包括用于跟蹤用戶的眼睛位置的系統(tǒng)。如下面將會解釋的那樣，該系統(tǒng)將跟蹤用戶的位置和取向，使得該系統(tǒng)可以確定用戶的視野。然而，人類將不會察覺處于其之前的所有事物。相反，用戶的眼睛將對準(zhǔn)環(huán)境的子集。因此，在一個(gè)實(shí)施例中， 該系統(tǒng)將包括用于跟蹤用戶的眼睛位置的技術(shù)以便細(xì)化對用戶視野的測量。例如，頭戴式顯示設(shè)備2包括眼睛跟蹤部件134(參見圖1B)，該眼睛跟蹤部件134將包括眼睛跟蹤照明設(shè)備134A和眼睛跟蹤相機(jī)134B(參見圖3)。在一個(gè)實(shí)施例中，眼睛跟蹤照明源134A包括一個(gè)或多個(gè)紅外(IR)發(fā)射器，這些紅外發(fā)射器向眼睛發(fā)射頂光。眼睛跟蹤相機(jī)134B包括一個(gè)或多個(gè)感測所反射的頂光的相機(jī)。通過檢測角膜的反射的已知成像技術(shù)，可以標(biāo)識出瞳孔的位置。例如，參見2008 年 7 月 22 日頒發(fā)給 Kranz 等人的、名稱為“Head mounted eye trackingand display system(頭戴式眼睛跟蹤和顯示系統(tǒng))”的美國專利7，401，920，該專利通過引用結(jié)合于此。這樣的技術(shù)可以定位眼睛的中心相對于跟蹤相機(jī)的位置。一般而言，眼睛跟蹤涉及獲得眼睛的圖像以及使用計(jì)算機(jī)視覺技術(shù)來確定瞳孔在眼眶內(nèi)的位置。在一個(gè)實(shí)施例中，跟蹤一只眼睛的位置就足夠了，因?yàn)檠劬νǔＲ恢碌匾苿?。然而，單?dú)地跟蹤每只眼睛是可能的。在一個(gè)實(shí)施例中，該系統(tǒng)將使用以矩形布置的4個(gè)紅外(IR) LED和4個(gè)頂光電檢測器，使得在頭戴式顯示設(shè)備2的透鏡的每個(gè)角處存在一個(gè)IRLED和頂光電檢測器。來自 LED的光從眼睛反射離開。由在4個(gè)頂光電檢測器中的每個(gè)處所檢測到的紅外光的量來確定瞳孔方向。也就是說，眼睛中眼白相對于眼黑的量將確定對于該特定光電檢測器而言從眼睛反射離開的光量。因此，光電檢測器將具有對眼睛中的眼白或眼黑的量的度量。從 4個(gè)采樣中，該系統(tǒng)可以確定眼睛的方向。另一替代方案是如下面所討論的那樣使用4個(gè)紅外LED，但是在頭戴式顯示設(shè)備2 的透鏡的側(cè)邊處僅僅使用一個(gè)紅外成像設(shè)備。該成像設(shè)備將使用小鏡和/或透鏡(魚眼)， 使得該成像設(shè)備可以從鏡框?qū)Ω哌_(dá)75%的可見眼睛進(jìn)行成像。然后，該成像設(shè)備將感測圖像并且使用計(jì)算機(jī)視覺來找出瞳孔方向，就像下面所討論的那樣。因此，盡管圖IB示出了具有一個(gè)頂發(fā)射器的一個(gè)部件，但是圖IB的結(jié)構(gòu)可以被調(diào)整為具有4個(gè)頂發(fā)射機(jī)和/或 4個(gè)頂傳感器。也可以使用多于或少于4個(gè)的頂發(fā)射機(jī)和/或多于或少于4個(gè)的頂傳感
ο用于跟蹤眼睛方向的另一實(shí)施例基于電荷跟蹤。該方案基于如下觀察視網(wǎng)膜攜帶可測量的正電荷并且角膜具有負(fù)電荷。傳感器通過用戶的耳朵來安裝(靠近耳機(jī)130) 以檢測眼睛在轉(zhuǎn)動時(shí)的電勢并且有效地實(shí)時(shí)讀出眼睛正在進(jìn)行的動作。也可以使用其他用于跟蹤眼睛的實(shí)施例?？刂齐娐?36提供支持頭戴式顯示設(shè)備2的其他組件的各種電子裝置?？刂齐娐?36的更多細(xì)節(jié)在下文參照圖3提供。處于鏡腿102內(nèi)部或安裝在鏡腿102處的有耳機(jī) 130、慣性傳感器132、以及溫度傳感器138。在一個(gè)實(shí)施例中，慣性傳感器132包括三軸磁力計(jì)132A、三軸陀螺儀132B、以及三軸加速計(jì)132C(參見圖幻。慣性傳感器用于感測頭戴式顯示設(shè)備2的位置、取向、突然加速。圖IB僅僅示出了頭戴式顯示設(shè)備2的一半。完整的頭戴式顯示設(shè)備將包括另一組透視透鏡116和118、另一可變焦透鏡119、另一微顯示器120、另一透鏡系統(tǒng)122、朝向房間的相機(jī)113、眼睛跟蹤部件134、耳機(jī)130以及溫度傳感器138。圖IC是頭戴式顯示設(shè)備的另一實(shí)施例的一部分的頂視圖，其包括被定位為被用戶透視的可變焦透鏡。在該示例中，可變焦透鏡119是液體透鏡。在該實(shí)施例中，反射元件 124將圖像引導(dǎo)到光導(dǎo)光學(xué)元件112中。光導(dǎo)光學(xué)元件112將來自微顯示器120的光傳送到佩戴頭戴式顯示設(shè)備2的用戶的眼睛140。光導(dǎo)光學(xué)元件112還允許如箭頭142所示那樣將光從頭戴式顯示設(shè)備2的前方通過光導(dǎo)光學(xué)元件112透射到用戶的眼睛，從而除接收來自微顯示器120的虛擬圖像之外還允許用戶具有頭戴式顯示設(shè)備2的前方的空間的實(shí)際直接視圖。因此，光導(dǎo)光學(xué)元件112的壁是透視的。光導(dǎo)光學(xué)元件112包括反射面124。來自微顯示器120的光穿過透鏡系統(tǒng)122并入射在反射面1 上。反射面1 反射來自微顯示器120的入射光，使得光通過內(nèi)反射而被捕獲在包括光導(dǎo)光學(xué)元件112的平面襯底內(nèi)。在離開襯底的表面的若干反射之后，所捕獲的光波到達(dá)選擇性反射面126的陣列。注意，五個(gè)表面中只有一個(gè)表面被標(biāo)記為126以防止附圖太過擁擠。反射面1 將從襯底出射并入射在這些反射面上的光波耦合到用戶的眼睛140。由于不同光線將以不同角度傳播并彈離襯底的內(nèi)部，因此這些不同的光線將以不同角度擊中各個(gè)反射面126。因此，不同光線將被所述反射面中的不同反射面從襯底中反射出。關(guān)于哪些光線將被哪個(gè)表面1 從襯底反射出的選擇是通過選擇表面1 的合適角度來設(shè)計(jì)的。光導(dǎo)光學(xué)元件的更多細(xì)節(jié)可以在于2008年11月20日公開的美國專利申請公開號 2008/(^85140、序列號 12/214, 366 的 “Substrate-Guided Optical Devices (襯底導(dǎo)向的光學(xué)設(shè)備)”中找到，該申請的全部內(nèi)容通過引用結(jié)合于此。在一個(gè)實(shí)施例中，每只眼睛將具有其自己的光導(dǎo)光學(xué)元件112。當(dāng)頭戴式顯示設(shè)備具有兩個(gè)光導(dǎo)光學(xué)元件時(shí)，每只眼睛都可以具有其自己的微顯示器120，該微顯示器120可以在兩只眼睛中顯示相同圖像或者在兩只眼睛中顯示不同圖像。在另一實(shí)施例中，可以存在將光反射到兩只眼睛中的一個(gè)光導(dǎo)光學(xué)元件。在該示例中，透鏡119在兩側(cè)都具有撓性膜117a、117b。如在圖2B3的示例中進(jìn)一步討論的那樣，聚焦區(qū)調(diào)整單元139a、139b可以具有儲存器并且可以用作泵以從透鏡119 填充和移除液體。圖IC僅僅示出了頭戴式顯示設(shè)備2的一半。完整的頭戴式顯示設(shè)備將包括另一可變焦透鏡119、另一光導(dǎo)光學(xué)元件112、另一微顯示器120、另一透鏡系統(tǒng)122、朝向房間的相機(jī)113、眼睛跟蹤部件134、耳機(jī)130以及溫度傳感器138。圖2A至2D示出了微顯示器部件的不同實(shí)施例。在討論每個(gè)實(shí)施例的特性以前， 提供對改變焦距的討論。如上所述，微顯示器部件173的光處理元件的配置創(chuàng)建焦距或虛擬對象出現(xiàn)在圖像中的聚焦區(qū)。改變該配置會改變虛擬物體圖像的聚焦區(qū)。由光處理元件確定的聚焦區(qū)可以基于等式1/^+1/ = Ι/f來確定和改變。符號f表示透鏡的焦距，如微顯示器部件173中的透鏡系統(tǒng)122。透鏡系統(tǒng)122具有前面節(jié)點(diǎn)和背面節(jié)點(diǎn)。如果光線以相對于光軸的給定角度被向前引導(dǎo)到兩個(gè)節(jié)點(diǎn)任一， 則光線將以相對于光軸的相等角度從另一節(jié)點(diǎn)出射。在一個(gè)示例中，透鏡系統(tǒng)122的背面節(jié)點(diǎn)將處于其自身與圖IC或圖IB中的微顯示器120之間。從背面節(jié)點(diǎn)到微顯示器120的距離可被表示成&。前面節(jié)點(diǎn)通常處于透鏡系統(tǒng)122的幾毫米內(nèi)。目標(biāo)位置是要由微顯示器120生成的虛擬圖像在用戶物理空間的三維模型中的位置。(關(guān)于創(chuàng)建模型的更多細(xì)節(jié)， 參見下面對圖9-11A的討論)。從前面節(jié)點(diǎn)到虛擬圖像的目標(biāo)位置的距離可被表示成S115 因?yàn)閳D像是與微顯示器120出現(xiàn)在透鏡的相同側(cè)的虛擬圖像，所以符號規(guī)約示出S1具有負(fù)值。如果透鏡的焦距是固定的，則改變S1和&來將虛擬對象聚焦在不同的深度處。例如，初始位置可使S1設(shè)置成無限遠(yuǎn)處，并且使&等于透鏡系統(tǒng)122的焦距。假定透鏡系統(tǒng) 122具有IOmm的焦距，考慮虛擬對象要被置于用戶視野中大約1英尺或300mm處的示例。 S1現(xiàn)在大約是-300mm，f是IOmm并且&當(dāng)前被設(shè)置在焦距的初始位置10mm，從而意味著透鏡系統(tǒng)122的背面節(jié)點(diǎn)與微顯示器122相距10mm?；?/(-300)+1/ = 1/10(所有項(xiàng)的單位均為毫米)來確定透鏡122與微顯示器120之間的新距離或新位移。其結(jié)果是&大約為 9. 67mm。在一個(gè)示例中，處理單元4可以在讓焦距f固定的情況下計(jì)算S1和&的位移值， 并且致使控制電路136使可變調(diào)整器驅(qū)動器237 (參見圖幻發(fā)送驅(qū)動信號以讓可變虛焦點(diǎn)調(diào)整器135例如沿著光路133移動透鏡系統(tǒng)122。在其他實(shí)施例中，替代于或附加于移動透鏡系統(tǒng)122，可以移動微顯示器單元120。在其他實(shí)施例中，替代于或附加于沿光路133的位移改變，也可以改變透鏡系統(tǒng) 122中的至少一個(gè)透鏡的焦距。圖2A至2D中示出了微顯示器部件的一些實(shí)施例。所示透鏡的特定編號僅僅是示例?？梢允褂闷渌麛?shù)目和配置的根據(jù)相同原理操作的透鏡。此外， 如上所述，對可調(diào)整液體透鏡的討論適將這樣的透鏡用在微顯示器部件中以用于將虛擬物體放置在焦點(diǎn)處、以及用作透視可變焦透鏡以用于在擴(kuò)展現(xiàn)實(shí)顯示中使現(xiàn)實(shí)物體處于焦點(diǎn)處。圖2A是供用作近眼顯示器的微顯示器的一部分的可旋轉(zhuǎn)透鏡系統(tǒng)的示例。透鏡 12 至122d中的每個(gè)都具有不同的焦距，并且被支承在可由可變虛焦點(diǎn)調(diào)整器135來旋轉(zhuǎn)的盤支承體160內(nèi)。處理單元4確定聚焦區(qū)并且選擇焦距透鏡之一以獲得該聚焦區(qū)。如參照圖3所示，控制電路136的可變調(diào)整器驅(qū)動器237向可變虛焦點(diǎn)調(diào)整器135發(fā)送至少一個(gè)控制信號以旋轉(zhuǎn)該盤，使得所選透鏡與該部件的光路133對準(zhǔn)。圖 2B1 禾口圖 2B2 是 Hongwen 等人在 “Tunable-focus liquid lens controlledusing a servo motor(使用伺服電機(jī)控制的焦點(diǎn)可調(diào)液體透鏡)”(0PTICSEXPRESS，2006年9月4日，No. 18第14卷第8031-8036頁)中所示的展現(xiàn)出不同曲率半徑的液體透鏡158的例子。這些液體透鏡可以用作微顯示器部件或透視顯示器透鏡的一部分。透鏡的焦距可以通過改變曲率半徑來改變。曲率半徑R與焦距f之間的關(guān)系由f = R/nliquid-l來給定。流體或透鏡的液體的折射率是nli(luid。該實(shí)施例包括例如密封環(huán)之類的支承體157，其具有作為一部分或連接到其的撓性外部膜152、在一個(gè)實(shí)施例中為橡膠膜。外部膜152與流體156的儲存器接觸。透鏡膜 150位于液體透鏡158的撓性側(cè)的頂部或形成該撓性側(cè)，該液體透鏡158可以通過通道159 從儲存器156接收或向儲存器156釋放液體。在所引用的示例中，撓性透鏡膜150是諸如聚二甲基硅氧烷(PDMQ彈性膜之類的彈性膜。處于液體單元之后的玻璃板IM提供支承。 膜152的擠壓和釋放致使儲存器156中的該量的水通過通道159進(jìn)入和離開液體透鏡158， 從而由于液體量改變而使彈性膜150凸出和使彈性膜150松弛。液體量的改變致使透鏡膜 150的曲率半徑改變并由此致使液體透鏡158的焦距改變。曲率半徑與容量改變Δ V之間的關(guān)系可以表達(dá)如下AV = (1/3) π (2R2-r02-2R V R2T02) (2R+ V R2T02)其中rQ是透鏡孔徑的半徑。在微顯示器部件173的示例中，當(dāng)透鏡122是可變焦透鏡時(shí)，電樞137可以提供具有或不具有玻璃板154的支承結(jié)構(gòu)157、以及用于可變虛焦點(diǎn)調(diào)整器135的撓性膜部分 152，該可變虛焦點(diǎn)調(diào)整器135被控制電路136控制為如圖2B2中所示那樣擠壓以及釋放 (參見圖2B1)。類似地，在透視可變透鏡119類似于液體透鏡158以及其撓性面117類似于膜150的示例中，支承元件139c類似于具有或不具有玻璃板154的支承結(jié)構(gòu)157。側(cè)面支承體139a、139b中的每個(gè)都類似于側(cè)壁157。側(cè)面支承體139a、139b之一或二者可以包括儲存器156和撓性外部膜152，該撓性外部膜152可以在控制電路136的驅(qū)動器的控制下被向儲存器156擠壓和釋放。在其他實(shí)施例中，通道159可以被打開和關(guān)閉以調(diào)整液體量。 此外，可以替代于撓性外部膜152使用泵。
圖2B1和2B2提供了通過機(jī)械調(diào)整來調(diào)整可變焦液體透鏡的光學(xué)能力的示例。 也可以使用其他調(diào)整液體透鏡的方式。例如，還可以使用電濕潤(electro-wetting) 來改變液體透鏡的光學(xué)能力。參見khowengerdt等人的名稱為“Variable Fixation Viewing Distance Scanned Light Displays (可變注視查看距離掃描廣顯示器)”的 US2008/0117289。圖2B3是聚焦區(qū)調(diào)整單元的另一示例，其可以用于作為微顯示器部件的一部分或者作為透視可變焦透鏡的液體透鏡。透鏡158如圖IC中的可變焦透鏡119那樣來布置， 其中透鏡的兩側(cè)都具有撓性膜150a和150b,比如117a和117b。聚焦區(qū)調(diào)整單元139a和 139b每個(gè)都可以包括支承體157a、157b、儲存器156a、156b、通道159a、159b、以及外部撓性膜152a、15 ，所述外部撓性膜152a、152b可以在聚焦區(qū)單元驅(qū)動器239的控制下被諸如壓電執(zhí)行器或電機(jī)之類的執(zhí)行器或電機(jī)擠壓和釋放。在其他實(shí)施例中，通道159a和159b也可以被打開和關(guān)閉并且與泵一起工作以控制透鏡119中的液體量。圖2C是供用作近眼顯示器的微顯示器部件的一部分的雙折射透鏡系統(tǒng)的示例。 雙折射材料是各向異性的或者依賴于方向的。作為說明性的構(gòu)造，在將光描述為光線的情況下，雙折射透鏡將光分解成尋常光線和異常光線。對于各向異性的單個(gè)軸、或者光軸而言，可以因一個(gè)與該軸平行、一個(gè)與該軸垂直的不同偏振性而存在不同的折射率以及因此不同的焦距。在圖2的示例中，透鏡12 和122b是由具有箭頭所指示的不同偏振性的雙折射材料制成的透鏡。在兩個(gè)透鏡的該示例中，可以預(yù)定4個(gè)不同的折射率或焦距以供選擇。每個(gè)不同的焦距都可以與不同的焦距區(qū)域相關(guān)聯(lián)以供處理單元4選擇。偏振性組合可以是圖2C中所示的透鏡12 和122b的垂直偏振性；與圖3C中所示的偏振性相反的垂直偏振性；兩個(gè)透鏡在一個(gè)方向上具有相同的偏振性；以及兩個(gè)透鏡在另一偏振性方向上具有相同的偏振性。在一個(gè)實(shí)施例中，可變虛焦點(diǎn)調(diào)整器可以向每個(gè)透鏡施加電壓以影響所選的偏振性。在另一實(shí)施例中，可以施加物理應(yīng)力以改變透鏡的偏振性。圖2D是供用作微顯示器部件的一部分的可插入透鏡系統(tǒng)的示例。在該實(shí)施例中， 多個(gè)透鏡122中的每個(gè)都附連到附連至電樞137的相應(yīng)的臂123。每個(gè)臂123都在可變虛焦點(diǎn)調(diào)整器135的控制下將其例如透鏡或透鏡系統(tǒng)122之類的一個(gè)或多個(gè)光學(xué)元件122移動到微顯示器部件的光路133中的某個(gè)位移處的位置。例如，如果使用針對預(yù)先設(shè)置的聚焦區(qū)的預(yù)定位移，則每個(gè)透鏡122都可以被設(shè)置為與其鄰居分開某個(gè)距離、例如分開0. 1毫米(mm)。還可以使用不均勻的間隔和可調(diào)整的位移?？商娲?，可以選擇每個(gè)所插入元件的焦距以影響所期望的虛擬圖像距離。在上面調(diào)整透鏡的焦距的每個(gè)示例中，還可以執(zhí)行沿著光路133的位移。微處理器部件和聚焦區(qū)調(diào)整單元的處理可以對每只眼睛針對相應(yīng)眼睛的視角來執(zhí)行，使得虛擬圖像出現(xiàn)在用戶的當(dāng)前聚焦區(qū)中，例如Panum匯合區(qū)域、即人類的單視覺區(qū)域中。圖3是描繪了頭戴式顯示設(shè)備2的各個(gè)組件的框圖。圖4是描述處理單元4的各個(gè)組件的框圖。圖3中描繪了頭戴式顯示設(shè)備2的組件，該頭戴式顯示設(shè)備2用于提供在用戶對現(xiàn)實(shí)世界的視圖中聚焦的虛擬圖像。附加地，圖3的頭戴式顯示設(shè)備組件包括跟蹤各種狀況的多個(gè)傳感器。頭戴式顯示設(shè)備2將從處理單元4接收關(guān)于虛擬圖像的指令，并且將傳感器信息提供回給處理單元4。圖4中描繪了處理單元4的組件，該處理單元4將從頭戴式顯示設(shè)備2、并且還從中樞計(jì)算設(shè)備12 (參見圖1)接收傳感信息?；谠撔畔ⅲ幚韱卧?將確定在何處以及在何時(shí)向用戶提供聚焦虛擬圖像并相應(yīng)地將指令發(fā)送給圖3的頭戴式顯示設(shè)備。注意，圖3的組件中的一些(例如朝向物理環(huán)境的相機(jī)113、眼睛跟蹤相機(jī)134B、 可變虛焦點(diǎn)調(diào)整器135、聚焦區(qū)調(diào)整單元139、微顯示器120、眼睛跟蹤照明134A、耳機(jī)130 和溫度傳感器138)是以陰影示出的，以指示這些的設(shè)備中的每個(gè)都存在兩個(gè)，其中一個(gè)用于頭戴式顯示設(shè)備2的左側(cè)，一個(gè)用于頭戴式顯示設(shè)備2的右側(cè)。圖3示出與電源管理電路 202通信的控制電路200?？刂齐娐?00包括處理器210、與存儲器214(例如D-RAM)進(jìn)行通信的存儲器控制器212、相機(jī)接口 216、相機(jī)緩沖區(qū)218、顯示器驅(qū)動器220、顯示格式化器 222、定時(shí)生成器226、顯示輸出接口 228、以及顯示輸入接口 230。在一個(gè)實(shí)施例中，控制電路220的所有組件經(jīng)由一個(gè)或多個(gè)總線的專用線路彼此進(jìn)行通信。在另一實(shí)施例中，控制電路200的每個(gè)組件都與處理器210通信。相機(jī)接口 216提供到兩個(gè)朝向物理環(huán)境的相機(jī) 113的接口，并且將從朝向物理環(huán)境的相機(jī)所接收到的圖像存儲在相機(jī)緩沖區(qū)218中。顯示器驅(qū)動器220將驅(qū)動微顯示器120。顯示格式化器222可以向執(zhí)行該擴(kuò)充的真實(shí)系統(tǒng)的處理的一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)(例如4、12、210)的一個(gè)或多個(gè)處理器提供與被顯示在微顯示器120上的虛擬圖像有關(guān)的信息。定時(shí)生成器2 被用于向該系統(tǒng)提供定時(shí)數(shù)據(jù)。顯示輸出2 是用于將圖像從朝向物理環(huán)境的相機(jī)113提供給處理單元4的緩沖區(qū)。顯示輸入 230是用于接收諸如要在微顯示器120上顯示的虛擬圖像之類的圖像的緩沖區(qū)。顯示輸出 228和顯示輸入230與作為到處理單元4的接口的帶接口 232進(jìn)行通信。電源管理電路202包括電壓調(diào)節(jié)器234、眼睛跟蹤照明驅(qū)動器236、可變調(diào)整器驅(qū)動器237、聚焦區(qū)單元驅(qū)動器239、音頻DAC和放大器238、話筒前置放大器和音頻ADC 240, 溫度傳感器接口對2、以及時(shí)鐘生成器M4。電壓調(diào)節(jié)器234通過帶接口 232從處理單元4 接收電能，并將該電能提供給頭戴式顯示設(shè)備2的其他組件。眼睛跟蹤照明驅(qū)動器236如上面所述的那樣為眼睛跟蹤照明134A提供頂光源。音頻DAC和放大器238從耳機(jī)130接收音頻信息。話筒前置放大器和音頻ADC 240提供話筒110的接口。溫度傳感器接口 242 是用于溫度傳感器138的接口。電源管理單元202還向三軸磁力計(jì)132A、三軸陀螺儀132B 以及三軸加速度計(jì)132C提供電能并從其接收回?cái)?shù)據(jù)?？勺冋{(diào)整器驅(qū)動器237向調(diào)整器135提供例如驅(qū)動電流或驅(qū)動電壓之類的控制信號以移動微顯示器部件的一個(gè)或多個(gè)元件來達(dá)到針對由處理單元4或中樞計(jì)算系統(tǒng)12或二者中執(zhí)行的軟件所計(jì)算出的聚焦區(qū)的位移。在掃過一定范圍的位移并且因此掃過一定范圍的聚焦區(qū)的實(shí)施例中，可變調(diào)整器驅(qū)動器237從定時(shí)生成器226、或者可替代地從時(shí)鐘生成器244接收定時(shí)信號，以便以所編程的速率或頻率來操作。在機(jī)械調(diào)整示例中，聚焦區(qū)單元驅(qū)動器239向聚焦區(qū)調(diào)整單元139提供例如驅(qū)動器電流或驅(qū)動電壓之類的控制信號以基于在處理單元4或中樞計(jì)算機(jī)12或二者中運(yùn)行的軟件所計(jì)算的調(diào)整值來移動單元139的一個(gè)或多個(gè)元件以改變可變焦透鏡119的光學(xué)能力。例如，包括儲存器156和到透鏡119中的液體的通道159的側(cè)面支承體139a、139b之一的撓性膜152可以由諸如壓電執(zhí)行器之類的執(zhí)行器響應(yīng)于來自聚焦區(qū)單元驅(qū)動器239的驅(qū)動信號來擠壓或釋放。圖4是描述處理單元4的各個(gè)組件的框圖。圖4示出與電源管理電路306通信的控制電路304?？刂齐娐?04包括中央處理單元(CPU) 320 ；圖形處理單元(GPU) 322 ； 高速緩存324 ；RAM 326 ；與存儲器330 (例如D-RAM)進(jìn)行通信的存儲器控制器328 ；與閃存 334(或其他類型的非易失性存儲)進(jìn)行通信的閃存控制器332 ；通過帶接口 302和帶接口 232與頭戴式顯示設(shè)備2進(jìn)行通信的顯示輸出緩沖區(qū)336 ；經(jīng)由帶接口 302和帶接口 232與頭戴式顯示設(shè)備2進(jìn)行通信的顯示輸入緩沖區(qū)338 ；與用于連接到話筒的外部話筒連接器 342進(jìn)行通信的話筒接口 ；340，用于連接到無線通信設(shè)備346的PCI express接口 ；以及USB 端口 348。在一個(gè)實(shí)施例中，無線通信組件346可包括啟用Wi-Fi的通信設(shè)備、藍(lán)牙通信設(shè)備、紅外通信設(shè)備等.USB端口可以用于將處理單元4對接到中樞計(jì)算設(shè)備12，以便將數(shù)據(jù)或軟件加載到處理單元4上以及對處理單元4進(jìn)行充電。在一個(gè)實(shí)施例中，CPU 320和GPU 322是用于確定在何處、何時(shí)以及如何向用戶的視野內(nèi)插入虛擬圖像的主負(fù)荷設(shè)備。下面提供更多的細(xì)節(jié)。電源管理電路306包括時(shí)鐘生成器360、模數(shù)轉(zhuǎn)換器362、電池充電器364、電壓調(diào)節(jié)器366、頭戴式顯示器電源376、以及與溫度傳感器374進(jìn)行通信的溫度傳感器接口 372(其位于處理單元4的腕帶(wrist band)上)。交流電到直流電轉(zhuǎn)換器362被連接到充電插座370來接收AC電源并為該系統(tǒng)產(chǎn)生DC電源。電壓調(diào)節(jié)器366與用于向該系統(tǒng)提供電能的電池368進(jìn)行通信。電池充電器364被用來在從充電插孔370接收到電能時(shí)對電池 368進(jìn)行充電(通過電壓調(diào)節(jié)器366)。HMD電源接口 376向頭戴式顯示設(shè)備2提供電能。上述系統(tǒng)將被配置為將虛擬圖像插入到用戶的視野中，使得該虛擬圖像在用戶看來為自然聚焦或失焦的。在各個(gè)實(shí)施例中，虛擬圖像將基于該圖像被插入到的環(huán)境而被調(diào)整為與合適的取向、大小和形狀相匹配。在一個(gè)實(shí)施例中，頭戴式顯示設(shè)備2、處理單元4以及中樞計(jì)算設(shè)備12 —起工作，因?yàn)槊總€(gè)設(shè)備都包括用于獲得用于確定在何處、何時(shí)以及如何插入虛擬圖像的數(shù)據(jù)的傳感器的子集。在一個(gè)實(shí)施例中，確定在何處、如何以及何時(shí)插入虛擬圖像的計(jì)算是由中樞計(jì)算設(shè)備12執(zhí)行的。在另一實(shí)施例中，這些計(jì)算由處理單元4來執(zhí)行。在另一實(shí)施例中，這些計(jì)算中的一些由中樞計(jì)算設(shè)備12來執(zhí)行，而其他計(jì)算由處理單元4來執(zhí)行。在其他實(shí)施例中，這些計(jì)算可以由頭戴式顯示設(shè)備2來執(zhí)行。在一個(gè)示例性實(shí)施例中，中樞計(jì)算設(shè)備12將創(chuàng)建用戶所處的環(huán)境的模型，并且跟蹤在該環(huán)境中的多個(gè)移動物體。另外，中樞計(jì)算設(shè)備12通過跟蹤頭戴式顯示設(shè)備2的位置和取向來跟蹤頭戴式顯示設(shè)備2的視野。該模型和跟蹤信息被從中樞計(jì)算設(shè)備12提供給處理單元4。由頭戴式顯示設(shè)備2所獲得的傳感器信息被傳送給處理單元4。然后，處理單元4使用其從頭戴式顯示設(shè)備2接收的其他傳感器信息來細(xì)化用戶的視野并且向頭戴式顯示設(shè)備2提供關(guān)于如何、在何處以及何時(shí)插入虛擬圖像的指令。圖5示出了具有捕捉設(shè)備的中樞計(jì)算系統(tǒng)12的示例性實(shí)施例。在一個(gè)實(shí)施例中， 捕捉設(shè)備20A和20B為相同結(jié)構(gòu)，因此，圖5僅僅示出了捕捉設(shè)備20A。根據(jù)一示例性實(shí)施例，捕捉設(shè)備20A可被配置為通過可包括例如飛行時(shí)間、結(jié)構(gòu)化光、立體圖像等在內(nèi)的任何合適的技術(shù)來捕捉包括深度圖像的帶有深度信息的視頻，該深度圖像可包括深度值。根據(jù)一個(gè)實(shí)施例，捕捉設(shè)備20A可將深度信息組織成“Z層”、或者可與從深度相機(jī)沿其視線延伸的Z軸垂直的層。如圖5所示，捕捉設(shè)備20A可以包括相機(jī)組件423。根據(jù)一示例性實(shí)施例，相機(jī)組件423可以是或者可以包括可捕捉場景的深度圖像的深度相機(jī)。深度圖像可包括所捕捉的場景的二維O-D)像素區(qū)域，其中2-D像素區(qū)域中的每個(gè)像素都可以表示深度值，比如所捕捉的場景中的物體與相機(jī)相距的例如以厘米、毫米等為單位的距離。相機(jī)組件23可以包括可用于捕捉場景的深度圖像的紅外(IR)光組件425、三維 (3D)相機(jī)426、以及RGB (視覺圖像)相機(jī)428。例如，在飛行時(shí)間分析中，捕捉設(shè)備20A的頂光組件425可以將紅外光發(fā)射到場景上，并且然后可以使用傳感器(在一些實(shí)施例中包括未示出的傳感器)、例如使用3D相機(jī)4 和/或RGB相機(jī)4 來檢測從場景中的一個(gè)或多個(gè)目標(biāo)和物體的表面后向散射的光。在一些實(shí)施例中，可以使用脈沖紅外光，使得可以測量出射光脈沖和相應(yīng)的入射光脈沖之間的時(shí)間并將其用于確定從捕捉設(shè)備20A到場景中的目標(biāo)或物體上的特定位置的物理距離。附加地，在其他示例性實(shí)施例中，可將出射光波的相位與入射光波的相位進(jìn)行比較來確定相移。然后可以使用該相移來確定從捕捉設(shè)備到目標(biāo)或物體上的特定位置的物理距離。根據(jù)另一示例性實(shí)施例，可使用飛行時(shí)間分析，以通過經(jīng)由包括例如快門式光脈沖成像之類的各種技術(shù)分析反射光束隨時(shí)間的強(qiáng)度來間接地確定從捕捉設(shè)備20A到目標(biāo)或物體上的特定位置的物理距離。在另一示例性實(shí)施例中，捕捉設(shè)備20A可使用結(jié)構(gòu)化光來捕捉深度信息。在這樣的分析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案、條紋圖案、或不同圖案之類的已知圖案的光)可經(jīng)由例如頂光組件似4被投影到場景上。在落到場景中的一個(gè)或多個(gè)目標(biāo)或物體的表面上時(shí)，作為響應(yīng)，圖案可變形。圖案的這種變形可由例如3D相機(jī)似6和/或RGB 相機(jī)4 (和/或其他傳感器)來捕捉，然后可被分析以確定從捕捉設(shè)備到目標(biāo)或物體上的特定位置的物理距離。在一些實(shí)施方式中，頂光組件425與相機(jī)425和似6分開，使得可以使用三角測量來確定與相機(jī)425和似6相距的距離。在一些實(shí)施方式中，捕捉設(shè)備20A將包括感測頂光的專用頂傳感器或具有頂濾光器的傳感器。根據(jù)另一實(shí)施例，捕捉設(shè)備20A可以包括兩個(gè)或更多個(gè)在物理上分開的相機(jī)，這些相機(jī)可以從不同的角度觀察場景以獲得視覺立體數(shù)據(jù)，這些視覺立體數(shù)據(jù)可以被分辨以生成深度信息。也可使用其他類型的深度圖像傳感器來創(chuàng)建深度圖像。捕捉設(shè)備20A還可以包括話筒430，所述話筒430包括可以接收聲音并將其轉(zhuǎn)換成電信號的換能器或傳感器。話筒430可用于接收也可提供給中樞計(jì)算系統(tǒng)12的音頻信號。在一示例實(shí)施例中，捕捉設(shè)備20A還可包括可與圖像相機(jī)組件423進(jìn)行通信的處理器432。處理器432可包括可執(zhí)行指令的標(biāo)準(zhǔn)處理器、專用處理器、微處理器等，這些指令例如包括用于接收深度圖像、生成合適的數(shù)據(jù)格式(例如，幀)以及將數(shù)據(jù)傳送給中樞計(jì)算系統(tǒng)12的指令。捕捉設(shè)備20A還可包括存儲器434，該存儲器434可存儲由處理器432執(zhí)行的指令、由3D相機(jī)和/或RGB相機(jī)所捕捉的圖像或圖像幀、或任何其他合適的信息、圖像等等。 根據(jù)一示例性實(shí)施例，存儲器434可包括隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、高速緩存、閃存、硬盤或任何其他合適的存儲組件。如圖5所示，在一個(gè)實(shí)施例中，存儲器434可以是與圖像捕捉組件423和處理器432進(jìn)行通信的單獨(dú)組件。根據(jù)另一實(shí)施例，存儲器組件 434可被集成到處理器432和/或圖像捕捉組件422中。捕捉設(shè)備20A和20B通過通信鏈路436與中樞計(jì)算系統(tǒng)12通信。通信鏈路436可以是包括例如USB連接、火線連接、以太網(wǎng)線纜連接之類的有線連接和/或諸如無線 802. lib,802. llg、802. Ila或802. Iln連接之類的無線連接。根據(jù)一個(gè)實(shí)施例，中樞計(jì)算系統(tǒng)12可以通過通信鏈路436向捕捉設(shè)備20A提供可用于確定例如何時(shí)捕捉場景的時(shí)鐘。 附加地，捕捉設(shè)備20A通過通信鏈路436將由例如3D相機(jī)4 和/或RGB相機(jī)4 捕捉的深度信息和視覺(例如RGB)圖像提供給中樞計(jì)算系統(tǒng)12。在一個(gè)實(shí)施例中，深度圖像和視覺圖像以每秒30幀的速率來傳送，但是可以使用其他幀速率。中樞計(jì)算系統(tǒng)12然后可以創(chuàng)建模型并使用模型、深度信息、以及所捕捉的圖像來例如控制諸如游戲或文字處理程序等的應(yīng)用和/或使化身或屏上人物動畫化。中樞計(jì)算系統(tǒng)12包括深度圖像處理和骨架跟蹤模塊450，該模塊使用深度圖像來跟蹤可被捕捉設(shè)備20A的深度相機(jī)功能檢測到的一個(gè)或多個(gè)人。深度圖像處理和骨架跟蹤模塊450向應(yīng)用452提供跟蹤信息，該應(yīng)用可以是視頻游戲、生產(chǎn)性應(yīng)用、通信應(yīng)用或其他軟件應(yīng)用等。音頻數(shù)據(jù)和視覺圖像數(shù)據(jù)也被提供給應(yīng)用452和深度圖像處理和骨架跟蹤模塊450。應(yīng)用452將跟蹤信息、音頻數(shù)據(jù)和視覺圖像數(shù)據(jù)提供給識別器引擎454。在另一實(shí)施例中，識別器引擎4M直接從深度圖像處理和骨架跟蹤模塊450接收跟蹤信息，并直接從捕捉設(shè)備20A和20B接收音頻數(shù)據(jù)和視覺圖像數(shù)據(jù)。識別器引擎妨4與過濾器460、462、464、……、466的集合相關(guān)聯(lián)，每個(gè)過濾器都包括關(guān)于可被捕捉設(shè)備20A或20B檢測到的任何人或物體執(zhí)行的姿勢、動作或狀況的信息。 例如，來自捕捉設(shè)備20A的數(shù)據(jù)可由過濾器460、462、464、……、466來處理，以便標(biāo)識出一個(gè)用戶或一組用戶已經(jīng)何時(shí)執(zhí)行了一個(gè)或多個(gè)姿勢或其他動作。這些姿勢可與應(yīng)用452的各種控制、物體或狀況相關(guān)聯(lián)。因此，中樞計(jì)算系統(tǒng)12可以將識別器引擎4M和過濾器一起用于解釋和跟蹤物體(包括人)的移動。捕捉設(shè)備20A和20B向中樞計(jì)算系統(tǒng)12提供RGB圖像(或其他格式或色彩空間的視覺圖像)和深度圖像。深度圖像可以是多個(gè)觀測到的像素，其中每個(gè)觀測到的像素具有觀測到的深度值。例如，深度圖像可包括所捕捉的場景的二維OD)像素區(qū)域，其中2D像素區(qū)域中的每個(gè)像素都可具有深度值，比如所捕捉的場景中的物體與捕捉設(shè)備相距的距離。 中樞計(jì)算系統(tǒng)12將使用RGB圖像和深度圖像來跟蹤用戶或物體的移動。例如，系統(tǒng)將使用深度圖像來跟蹤人的骨架?？梢允褂迷S多方法以通過使用深度圖像來跟蹤人的骨架。使用深度圖像來跟蹤骨架的一個(gè)合適的示例在Craig等人2009年10月21日提交的美國專利申請12/603，437“Pose Tracking Pipeline (姿態(tài)跟蹤流水線)”(以下稱為’437申請)中提供，該申請的全部內(nèi)容通過引用結(jié)合于此?！?37申請的過程包括獲得深度圖像；對數(shù)據(jù)進(jìn)行降采樣；移除和/或平滑化高方差噪聲數(shù)據(jù)；標(biāo)識并移除背景；以及將前景像素中的每個(gè)分配給身體的不同部位?；谶@些步驟，系統(tǒng)將使一模型擬合到該數(shù)據(jù)并創(chuàng)建骨架。該骨架將包括一組關(guān)節(jié)和這些關(guān)節(jié)之間的連接。也可使用用于跟蹤的其他方法。在下列四個(gè)美國專利申請中還公開了合適的跟蹤技術(shù)，所述專利的全部內(nèi)容都通過引用結(jié)合于此于2009 年5月四日提交的的美國專利申請 12/475，308 "Device for Identifyingand Tracking Multiple Humans Over Time (用于隨時(shí)間標(biāo)識和跟蹤多個(gè)人類的設(shè)備)，，；于2010年1月 29日提交的美國專利申請12/696，282 "Visual Based IdentityTracking(基于視覺的身份跟蹤)”；于2009年12月18日提交美國專利申請12/641，788“Motion Detection Using Depth Images (使用深度圖像的運(yùn)動檢測)”；以及于2009年10月7日提交的美國專利申
17請 12/575，388 "Human TrackingSystem(人類跟蹤系統(tǒng))”。識別器引擎妨4包括多個(gè)過濾器460、462、464、……、466來確定姿勢或動作。過濾器包括定義姿勢、動作或狀況以及該姿勢、動作或狀況的參數(shù)或元數(shù)據(jù)的信息。例如，包括一只手從身體背后經(jīng)過身體前方的運(yùn)動的投擲可被實(shí)現(xiàn)為包括表示用戶的一只手從身體背后經(jīng)過身體前方的運(yùn)動的信息的姿勢，因?yàn)樵撨\(yùn)動將由深度相機(jī)來捕捉。然后可為該姿勢設(shè)定參數(shù)。當(dāng)姿勢是投擲時(shí)，參數(shù)可以是該手必須達(dá)到的閾值速度、該手必須行進(jìn)的距離(絕對的，或相對于用戶的整體大小)、以及識別器引擎對發(fā)生了該姿勢的置信度評級。 用于姿勢的這些參數(shù)可以隨時(shí)間在各應(yīng)用之間、在單個(gè)應(yīng)用的各上下文之間、或在一個(gè)應(yīng)用的一個(gè)上下文內(nèi)變化。過濾器可以是模塊化的或是可互換的。在一個(gè)實(shí)施例中，過濾器具有多個(gè)輸入 (這些輸入中的每一個(gè)具有一類型)以及多個(gè)輸出(這些輸出中的每一個(gè)具有一類型)。 第一過濾器可用具有與第一過濾器相同數(shù)量和類型的輸入和輸出的第二過濾器來替換而不更改識別器引擎架構(gòu)的任何其他方面。例如，可能具有用于驅(qū)動的第一過濾器，該第一過濾器將骨架數(shù)據(jù)作為輸入并輸出與該過濾器相關(guān)聯(lián)的姿勢正在發(fā)生的置信度和轉(zhuǎn)向角。在希望用第二驅(qū)動過濾器來替換該第一驅(qū)動過濾器的情況下(這可能是因?yàn)榈诙?qū)動過濾器更高效且需要更少的處理資源)，可以通過簡單地用第二過濾器替換第一過濾器來這樣做，只要第二過濾器具有同樣的輸入和輸出——骨架數(shù)據(jù)類型的一個(gè)輸入、以及置信度類型和角度類型的兩個(gè)輸出。過濾器不需要具有參數(shù)。例如，返回用戶的高度的“用戶高度”過濾器可能不允許可被調(diào)節(jié)的任何參數(shù)。備選的“用戶高度”過濾器可具有可調(diào)節(jié)參數(shù)，比如在確定用戶的高度時(shí)是否考慮用戶的鞋、發(fā)型、頭飾以及體態(tài)。對過濾器的輸入可包括諸如關(guān)于用戶的關(guān)節(jié)位置的關(guān)節(jié)數(shù)據(jù)、在關(guān)節(jié)處相交的骨所形成的角度、來自場景的RGB色彩數(shù)據(jù)、以及用戶的某一方面的變化速率等內(nèi)容。來自過濾器的輸出可包括諸如正作出給定姿勢的置信度、作出姿勢運(yùn)動的速度、以及作出姿勢運(yùn)動的時(shí)間等內(nèi)容。識別器引擎4M可以具有向過濾器提供功能的基本識別器引擎。在一實(shí)施例中，識別器引擎4M實(shí)現(xiàn)的功能包括跟蹤所識別的姿勢和其他輸入的隨時(shí)間輸入 (input-over-time)存檔；隱馬爾可夫模型實(shí)施方式(其中所建模的系統(tǒng)被假定為馬爾可夫過程-其中當(dāng)前狀態(tài)封裝了用于確定將來狀態(tài)的任何過去狀態(tài)信息，因此不必為此目的而維護(hù)任何其他過去狀態(tài)信息的過程-該過程具有未知參數(shù)，并且隱藏參數(shù)是從可觀察數(shù)據(jù)來確定的)；以及求解姿勢識別的特定實(shí)例的其他功能。過濾器460、462、464、……、466在識別器引擎妨4之上加載并實(shí)現(xiàn)，并且可利用識別器引擎妨4提供給所有過濾器460、462、464、……、466的服務(wù)。在一個(gè)實(shí)施例中，識別器引擎妨4接收數(shù)據(jù)來確定該數(shù)據(jù)是否滿足任何過濾器460、462、464、……、466的要求。由于這些所提供的諸如解析輸入之類的服務(wù)是由識別器引擎4M—次性提供而非由每個(gè)過濾器460、462、464、……、466提供的，因此這樣的服務(wù)在一段時(shí)間內(nèi)只需被處理一次而不是在該時(shí)間段對每個(gè)過濾器處理一次，因此減少了確定姿勢所需的處理。應(yīng)用452可使用識別器引擎妨4所提供的過濾器460、462、464、……、466，或者它可提供其自己的、插入到識別器引擎妨4中的過濾器。在一實(shí)施例中，所有過濾器具有啟用
1該插入特性的通用接口。此外，所有過濾器可利用參數(shù)，因此可使用以下單個(gè)姿勢工具來診斷并調(diào)節(jié)整個(gè)過濾器系統(tǒng)。關(guān)于識別器引擎454的更多信息可在2009年4月13日提交的美國專利申請 12/422，661 “Gesture Recognizer System Architecture (姿勢識別器系統(tǒng)架構(gòu))”中找到，該申請通過引用整體并入本文。關(guān)于識別姿勢的更多信息可在2009年2月23日提交的美國專利申請12/391，150 "Standard Gestures (標(biāo)準(zhǔn)姿勢)”；以及2009年5月四日提交的美國專利申請12/474，655 "Gesture Tool (姿勢工具)”中找到，這兩個(gè)申請的全部內(nèi)容都通過引用結(jié)合于此。圖6示出了可用于實(shí)現(xiàn)中樞計(jì)算系統(tǒng)12的計(jì)算系統(tǒng)的示例性實(shí)施例。如圖6所示，多媒體控制臺500具有含有一級高速緩存501、二級高速緩存504和閃存ROM(只讀存儲器)506的中央處理單元(CPU)502。一級高速緩存502和二級高速緩存504臨時(shí)存儲數(shù)據(jù)并因此減少存儲器訪問周期數(shù)，由此改進(jìn)處理速度和吞吐量。CPU 501可以被配備為具有一個(gè)以上的核，并且由此具有附加的1級和2級高速緩存502和504。閃存ROM 506可存儲在多媒體控制臺500通電時(shí)在引導(dǎo)過程初始化階段加載的可執(zhí)行代碼。圖形處理單元(GPU) 508和視頻編碼器/視頻編解碼器(編碼器/解碼器)514形成用于高速和高分辨率圖形處理的視頻處理流水線。經(jīng)由總線從圖形處理單元508向視頻編碼器/視頻編解碼器514運(yùn)送數(shù)據(jù)。視頻處理流水線向A/V(音頻/視頻)端口 540輸出數(shù)據(jù)，用于傳輸至電視或其他顯示器。存儲器控制器510連接到GPU 508以方便處理器訪問各種類型的存儲器512，諸如但不局限于RAM(隨機(jī)存取存儲器)。多媒體控制臺500包括較佳地在模塊518上實(shí)現(xiàn)的1/0控制器520、系統(tǒng)管理控制器522、音頻處理單元523、網(wǎng)絡(luò)接口控制器524、第一 USB主控制器526、第二 USB控制器 528和前面板1/0子部件530。USB控制器526和528用作外圍控制器542 (1) -542 (2)、無線適配器M8、和外置存儲器設(shè)備546 (例如閃存、外置⑶/DVD ROM驅(qū)動器、可移動介質(zhì)等) 的主機(jī)。網(wǎng)絡(luò)接口 5 和/或無線適配器548提供對網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問，并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線或無線適配器組件中任何一種。提供系統(tǒng)存儲器543來存儲在引導(dǎo)過程期間加載的應(yīng)用數(shù)據(jù)。提供介質(zhì)驅(qū)動器 544,且其可包括DVD/⑶驅(qū)動器、藍(lán)光驅(qū)動器、硬盤驅(qū)動器、或其他可移動介質(zhì)驅(qū)動器等。介質(zhì)驅(qū)動器144可位于多媒體控制臺500的內(nèi)部或外部。應(yīng)用數(shù)據(jù)可經(jīng)由介質(zhì)驅(qū)動器544訪問，以由多媒體控制臺500執(zhí)行、回放等。介質(zhì)驅(qū)動器544經(jīng)由諸如串行ATA總線或其他高速連接(例如IEEE 1394)等總線連接到1/0控制器520。系統(tǒng)管理控制器522提供涉及確保多媒體控制臺500的可用性的各種服務(wù)功能。 音頻處理單元523和音頻編解碼器532形成具有高保真度和立體聲處理的對應(yīng)的音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元523與音頻編解碼器532之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端口 540以供外部音頻用戶或具有音頻能力的設(shè)備再現(xiàn)。前面板1/0子部件530支持暴露在多媒體控制臺100的外表面上的電源按鈕550 和彈出按鈕552以及任何LED(發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊536向多媒體控制臺100的組件供電。風(fēng)扇538冷卻多媒體控制臺500內(nèi)的電路。CPU 501、GPU 508、存儲器控制器510、和多媒體控制臺500內(nèi)的各種其他組件經(jīng)由一條或多條總線互連，總線包括串行和并行總線、存儲器總線、外圍總線、和使用各種總線架構(gòu)中任一種的處理器或局部總線。作為示例，這些架構(gòu)可以包括外圍部件互連(PCI) 總線、PCI-Express總線等。當(dāng)多媒體控制臺500通電時(shí)，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲器543加載到存儲器512和/ 或高速緩存502、504中并在CPU 501上執(zhí)行。應(yīng)用可呈現(xiàn)在導(dǎo)航到多媒體控制臺500上可用的不同媒體類型時(shí)提供一致的用戶體驗(yàn)的圖形用戶界面。在操作中，介質(zhì)驅(qū)動器M4中包含的應(yīng)用和/或其他媒體可從介質(zhì)驅(qū)動器544啟動或播放，以向多媒體控制臺500提供附加功能。多媒體控制臺500可通過將該系統(tǒng)簡單地連接到電視機(jī)或其他顯示器而作為獨(dú)立系統(tǒng)來操作。在該獨(dú)立模式中，多媒體控制臺500允許一個(gè)或多個(gè)用戶與該系統(tǒng)交互、看電影、或聽音樂。然而，隨著通過網(wǎng)絡(luò)接口 5M或無線適配器548可用的寬帶連接的集成， 多媒體控制臺500還可作為更大網(wǎng)絡(luò)社區(qū)中的參與者來操作。附加地，多媒體控制臺500 可以通過無線適配器548與處理單元4通信。當(dāng)多媒體控制臺500通電時(shí)，可以保留設(shè)定量的硬件資源以供多媒體控制臺操作系統(tǒng)作系統(tǒng)使用。這些資源可包括存儲器、CPU和GPU周期、網(wǎng)絡(luò)帶寬等等的保留。因?yàn)檫@些資源是在系統(tǒng)引導(dǎo)時(shí)保留的，所以所保留的資源從應(yīng)用的角度而言是不存在的。具體而言，存儲器保留優(yōu)選地足夠大，以包含啟動內(nèi)核、并發(fā)系統(tǒng)應(yīng)用和驅(qū)動程序。CPU保留優(yōu)選地為恒定，使得若所保留的CPU用量不被系統(tǒng)應(yīng)用使用，則空閑線程將消耗任何未使用的周期。對于GPU保留，顯示由系統(tǒng)應(yīng)用程序生成的輕量消息(例如，彈出窗口)，所述顯示是通過使用GPU中斷來調(diào)度代碼以將彈出窗口呈現(xiàn)為覆蓋圖。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大小，并且覆蓋圖優(yōu)選地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應(yīng)用使用完整用戶界面的情況下，優(yōu)選使用獨(dú)立于應(yīng)用分辨率的分辨率。定標(biāo)器(scaler)可用于設(shè)置該分辨率，從而消除了對改變頻率并引起TV重新同步的需求。在多媒體控制臺500引導(dǎo)且系統(tǒng)資源被保留之后，執(zhí)行并發(fā)系統(tǒng)應(yīng)用來提供系統(tǒng)功能。系統(tǒng)功能被封裝在上述所保留的系統(tǒng)資源中執(zhí)行的一組系統(tǒng)應(yīng)用中。操作系統(tǒng)內(nèi)核標(biāo)識是系統(tǒng)應(yīng)用線程而非游戲應(yīng)用線程的線程。系統(tǒng)應(yīng)用優(yōu)選地被調(diào)度為在預(yù)定時(shí)間并以預(yù)定時(shí)間間隔在CPU 501上運(yùn)行，以便為應(yīng)用提供一致的系統(tǒng)資源視圖。進(jìn)行調(diào)度是為了把由在控制臺上運(yùn)行的游戲應(yīng)用所引起的高速緩存分裂最小化。當(dāng)并發(fā)系統(tǒng)應(yīng)用需要音頻時(shí)，則由于時(shí)間敏感性而將音頻處理異步地調(diào)度給游戲應(yīng)用。多媒體控制臺應(yīng)用管理器(如下所述)在系統(tǒng)應(yīng)用活動時(shí)控制游戲應(yīng)用的音頻水平 (例如，靜音、衰減)。任選的輸入設(shè)備(例如，控制器討2(1)和^2( )由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。 輸入設(shè)備不是保留資源，而是在系統(tǒng)應(yīng)用和游戲應(yīng)用之間切換以使其各自具有設(shè)備的焦點(diǎn)。應(yīng)用管理器優(yōu)選地控制輸入流的切換，而無需知曉游戲應(yīng)用的知識，并且驅(qū)動程序維護(hù)有關(guān)焦點(diǎn)切換的狀態(tài)信息。捕捉設(shè)備20A和20B可以通過USB控制器5 或其他接口來為控制臺500定義附加的輸入設(shè)備。在其他實(shí)施例中，中樞計(jì)算系統(tǒng)12可以使用其他硬件架構(gòu)來實(shí)現(xiàn)。沒有一種硬件架構(gòu)是必需的。圖3、4、5和6中所示示例性計(jì)算機(jī)系統(tǒng)包括計(jì)算機(jī)可讀存儲介質(zhì)的示例。這樣的介質(zhì)可包括以用于存儲諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊、或其他數(shù)據(jù)等信息的任何方法或技術(shù)實(shí)現(xiàn)的易失性和非易失性、可移動和不可移動介質(zhì)。計(jì)算機(jī)存儲介質(zhì)包括，但不限于，RAM、ROM、EEPR0M、閃存或其它存儲器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其它光盤存儲、記憶棒或存儲卡、磁帶盒、磁帶、磁盤存儲或其它磁性存儲設(shè)備、或能用于存儲所需信息且可以由計(jì)算機(jī)訪問的任何其它介質(zhì)。附圖中的計(jì)算機(jī)可讀存儲介質(zhì)的一些示例包括圖3的存儲器214、圖4的閃存334、存儲器330、RAM 326、以及高速緩存324、圖5的存儲器 434、以及圖6的ROM 506、高速緩存502、504、存儲器512、系統(tǒng)存儲器M3、存儲器單元546 以及介質(zhì)驅(qū)動器討4。圖IA描繪了與一個(gè)中樞處理設(shè)備12(稱為中樞)通信的一個(gè)頭戴式顯示設(shè)備2 和處理單元4(統(tǒng)稱為移動顯示設(shè)備)。在另一實(shí)施例中，多個(gè)移動顯示設(shè)備可以與單個(gè)中樞通信。每個(gè)移動顯示設(shè)備都將如上述那樣使用無線通信與中樞通信。在這樣的實(shí)施例中所構(gòu)思的是，有益于所有移動顯示設(shè)備的信息中的許多都將在中樞處被計(jì)算和存儲并且傳送給每個(gè)移動顯示設(shè)備。例如，中樞將生成環(huán)境的模型并且將該模型提供給與該中樞通信的所有移動顯示設(shè)備。附加地，中樞可以跟蹤移動顯示設(shè)備以及房間中的移動物體的位置和取向，并且然后將該信息傳輸給每個(gè)移動顯示設(shè)備。在另一實(shí)施例中，可以將虛擬和現(xiàn)實(shí)內(nèi)容的焦點(diǎn)改變?yōu)獒槍τ脩魹榫劢沟亩嘤脩粝到y(tǒng)可以包括多個(gè)中樞，其中每個(gè)中樞都包括一個(gè)或多個(gè)移動顯示設(shè)備。這些中樞可以直接地或者通過因特網(wǎng)(或者其他網(wǎng)絡(luò))彼此通信。例如，圖7示出了中樞560、562和564。 中樞560直接與中樞562通信。中樞560通過因特網(wǎng)與中樞564通信。中樞560與移動顯示設(shè)備570、572 574通信。中樞562與移動顯示設(shè)備578、580 582通信。中樞564與移動顯示設(shè)備584、586 588通信。每個(gè)移動顯示設(shè)備都如上面所討論的那樣通過無線通信與其相應(yīng)的中樞通信。如果這些中樞處于共同的環(huán)境中，則每個(gè)中樞都可以提供該環(huán)境的模型的一部分，或者一個(gè)中樞可以為其他中樞創(chuàng)建該模型。每個(gè)中樞都將跟蹤移動物體的子集并且將該信息與其他中樞共享，所述其他中樞進(jìn)而將與合適的移動顯示設(shè)備共享該信息。 用于移動顯示設(shè)備的傳感器信息將被提供給其相應(yīng)的中樞，并且然后與其他中樞共享以用于最終與其他移動顯示設(shè)備共享。因此，在中樞間共享的信息可以包括骨架跟蹤、關(guān)于模型的信息、各種應(yīng)用狀態(tài)、以及其他跟蹤。在中樞及其相應(yīng)的移動顯示設(shè)備之間傳遞的信息包括移動物體的跟蹤信息、世界模型的狀態(tài)和物理更新、幾何和紋理信息、視頻和音頻、以及用于執(zhí)行在此所述的操作的其他信息。圖8是描述了用于將擴(kuò)展現(xiàn)實(shí)顯示中的焦點(diǎn)改善的過程的一個(gè)實(shí)施例的流程圖， 其中該過程由上面所討論的組件來執(zhí)行。在步驟602，配置該系統(tǒng)。例如，應(yīng)用(例如圖5 的應(yīng)用45 可以將該系統(tǒng)配置為指示特定虛擬圖像(其表示虛擬物體)將被插入到場景的三維模型中的指定位置處。考慮如下示例用虛擬物體來填充空房間以將該空房間轉(zhuǎn)變?yōu)樘摂M現(xiàn)實(shí)。在另一示例中，在中樞計(jì)算系統(tǒng)12上運(yùn)行的應(yīng)用將指示特定的虛擬圖像 (其表示虛擬物體)將作為視頻游戲或其他進(jìn)程的一部分被插入到該場景中。在步驟604，該系統(tǒng)將創(chuàng)建頭戴式顯示設(shè)備2所處的空間的體積模型。例如在一個(gè)實(shí)施例中，中樞計(jì)算設(shè)備12將使用來自一個(gè)或多個(gè)深度相機(jī)的深度圖像來創(chuàng)建頭戴式顯示設(shè)備2所處的環(huán)境或空間的三維模型。在步驟606，將該模型分割成一個(gè)或多個(gè)物體。例如，如果中樞計(jì)算設(shè)備12創(chuàng)建房間的三維模型，則該房間很可能在里面具有多個(gè)物體。可
21以處于房間中的物體的示例包括人、椅子、桌子、沙發(fā)椅等等。步驟606包括確定彼此不同的物體。在步驟608，該系統(tǒng)將標(biāo)識出這些物體。例如，中樞計(jì)算設(shè)備12可以標(biāo)識出特定物體是桌子并且另一物體是椅子。在圖8的步驟610a，系統(tǒng)基于用戶空間的模型來確定用戶的視野。也就是說，該系統(tǒng)確定用戶正在查看該環(huán)境或空間的哪個(gè)部分。在一個(gè)實(shí)施例中，步驟610a是使用中樞計(jì)算設(shè)備12、處理單元4和頭戴式顯示設(shè)備2的協(xié)作工作。在一個(gè)示例性實(shí)施方式中，中樞計(jì)算機(jī)設(shè)備12將跟蹤用戶和頭戴式顯示設(shè)備2以便提供對頭戴式顯示設(shè)備2的位置和取向的初步確定。頭戴式顯示設(shè)備2上的傳感器將用于細(xì)化所確定的取向。例如，上述慣性傳感器34可以用于細(xì)化頭戴式顯示設(shè)備2的取向。附加地，可以使用上述眼睛跟蹤過程來標(biāo)識出最初所確定的視野的與用戶具體正在查看之處相對應(yīng)的子集(另稱為視野中的用戶聚焦區(qū)或深度焦點(diǎn))。下面將參照圖14、15和16來描述更多細(xì)節(jié)。在步驟610b，諸如在處理單元4中執(zhí)行的軟件之類的該系統(tǒng)確定用戶在該用戶的視野內(nèi)的當(dāng)前聚焦區(qū)。如后面在圖15和16中將進(jìn)一步討論的那樣，基于由眼睛跟蹤相機(jī) 134針對每只眼睛所捕捉的數(shù)據(jù)的眼睛跟蹤處理可以提供用戶的當(dāng)前聚焦區(qū)。例如，在有數(shù)據(jù)指示用戶臉的情況下，瞳孔之間的集中可以用于三角測定聚焦曲線、雙眼單視界上的焦點(diǎn)，從該焦點(diǎn)中可以計(jì)算出聚焦區(qū)、Panum匯合區(qū)域。Panum匯合區(qū)域是人眼所使用的雙眼立體視覺的單視覺區(qū)域。在步驟611，聚焦區(qū)調(diào)整單元139在處理單元4的控制下通過控制電路136把被定位為被至少一只眼睛透視的可變焦透鏡119調(diào)整為聚焦到當(dāng)前用戶聚焦區(qū)。下面將參照圖 12A和12B來描述更多細(xì)節(jié)。如步驟611所示，可變焦透鏡的焦距被顯示設(shè)備2的組件自動地調(diào)整為聚焦在當(dāng)前用戶聚焦區(qū)中。用戶不必在該用戶改變他或她查看之處時(shí)采取行動來改變可變焦透鏡的隹占。
ν 、、/、、人 °在步驟612，微顯示器部件173將在處理單元4的控制下通過控制電路136將一個(gè)或多個(gè)虛擬物體顯示為在用戶看來在用戶空間模型的視野中處于現(xiàn)實(shí)世界焦距處。也就是說，該系統(tǒng)在用戶通過頭戴式顯示設(shè)備2進(jìn)行查看的同時(shí)在用戶的視野內(nèi)用戶正在查看的焦點(diǎn)深度處顯示虛擬圖像。虛擬物體可以是靜止物體或者移動物體。在步驟614，在軟件的控制下，處理單元4可以單獨(dú)地或者與中樞計(jì)算設(shè)備12協(xié)作地可以任選地對用戶視野中的物體進(jìn)行視覺增強(qiáng)。例如，可以用用戶視野內(nèi)的虛擬物體對現(xiàn)實(shí)物體進(jìn)行視覺增強(qiáng)，以增強(qiáng)用戶對該物體的感知。在后面參照圖19來討論利用虛擬圖像對現(xiàn)實(shí)物體進(jìn)行這樣的增強(qiáng)的過程的實(shí)施例。在步驟616，頭戴式顯示設(shè)備2的用戶將基于在頭戴式顯示設(shè)備2中所顯示的虛擬物體來與運(yùn)行在中樞計(jì)算設(shè)備12 (或另一計(jì)算設(shè)備)上的應(yīng)用交互。下面將更詳細(xì)地描述步驟604-614中的每個(gè)。附加地，這些步驟以及下面的附圖中的那些步驟中的每個(gè)都可以隨著用戶使用近眼顯示設(shè)備2并且在改變他或她的視點(diǎn)時(shí)改變他或她的聚焦區(qū)而連續(xù)地執(zhí)行或重復(fù)。例如，如下面所討論的那樣更新三維模型，隨著用戶在四周移動或者移動他或她的眼睛而確定用戶視野和聚焦區(qū)。作出這些調(diào)整以跟上在空間中移動的用戶或物體。圖9是描述了用于創(chuàng)建空間的三維模型的過程的一個(gè)實(shí)施例的流程圖。例如，圖 9的過程是圖8的步驟604的一個(gè)示例性實(shí)施方式。在步驟640，中樞計(jì)算系統(tǒng)12接收頭戴式顯示設(shè)備2所處的空間的多個(gè)視角的一個(gè)或多個(gè)深度圖像。例如，中樞計(jì)算設(shè)備12可以從多個(gè)深度相機(jī)獲得深度圖像，或者通過使相機(jī)指向不同方向或者使用具有如下透鏡的相機(jī)來從同一相機(jī)獲得多個(gè)深度圖像該透鏡允許將要構(gòu)建模型的空間的全視圖。在步驟 642，基于共同的坐標(biāo)系來組合來自各個(gè)深度圖像的深度數(shù)據(jù)。例如，如果該系統(tǒng)從多個(gè)相機(jī)接收深度圖像，則該系統(tǒng)將兩個(gè)圖像相關(guān)以具有共同的坐標(biāo)系(例如使圖像排齊)。圖10是描述了用于將空間的模型分割成物體的過程的一個(gè)實(shí)施例的流程圖。例如，圖10的過程是圖8的步驟606的一個(gè)示例性實(shí)施方式。在圖10的步驟680，該系統(tǒng)將如上面所討論的那樣從一個(gè)或多個(gè)深度相機(jī)接收一個(gè)或多個(gè)深度圖像。可替代地，該系統(tǒng)可以訪問其已經(jīng)接收到的一個(gè)或多個(gè)深度圖像。在步驟682，該系統(tǒng)將如上述那樣從相機(jī)接收一個(gè)或多個(gè)視覺圖像?？商娲?，該系統(tǒng)可以訪問已經(jīng)接收到的一個(gè)或多個(gè)視覺圖像。 在步驟684，中樞計(jì)算系統(tǒng)12將基于深度圖像和/或視覺圖像來檢測一個(gè)或多個(gè)人。例如， 該系統(tǒng)將識別一個(gè)或多個(gè)骨架。在步驟686，中樞計(jì)算設(shè)備12將基于深度圖像和/或視覺圖像來檢測該模型內(nèi)的邊緣。在步驟688，中樞計(jì)算設(shè)備12將使用所檢測到的邊緣來標(biāo)識出彼此不同的物體。例如，假定這些邊緣是物體之間的邊界。在近眼顯示設(shè)備2如下面針對圖19所討論的那樣提供利用虛擬圖像對現(xiàn)實(shí)物體進(jìn)行的增強(qiáng)以幫助用戶更好地看見現(xiàn)實(shí)物體的實(shí)施例中，處理單元4可以向中樞計(jì)算設(shè)備12發(fā)送消息以發(fā)送針對所選現(xiàn)實(shí)物體的邊緣數(shù)據(jù)以供其生成虛擬圖像來對現(xiàn)實(shí)物體進(jìn)行視覺增強(qiáng)。在另一實(shí)施例中，中樞計(jì)算設(shè)備12生成具有對現(xiàn)實(shí)物體的視覺增強(qiáng)的虛擬圖像，并且將該虛擬圖像發(fā)送給處理單元4 以致使微顯示器單元120顯示該圖像。在步驟690，將更新使用圖9的過程所創(chuàng)建的模型以示出該模型的哪些部分與不同的物體相關(guān)聯(lián)。圖11是描述用于標(biāo)識出物體的過程的一個(gè)實(shí)施例的流程圖。例如，圖11的過程是圖8的步驟608的一個(gè)示例性實(shí)施方式。在步驟710，中樞計(jì)算設(shè)備12將所標(biāo)識出的人與用戶身份進(jìn)行匹配。例如，該系統(tǒng)可以具有用戶簡檔，所述用戶簡檔具有可以與所檢測到的物體的圖像相匹配的視覺圖像?？商娲兀脩艉啓n可以描述可基于深度圖像或視覺圖像來匹配的人的特征。在另一實(shí)施例中，用戶可以登陸到系統(tǒng)中并且中樞計(jì)算設(shè)備12可以使用登陸過程來標(biāo)識出特定用戶并且在此處所述的交互的整個(gè)過程中跟蹤該用戶。在步驟 712，中樞計(jì)算設(shè)備12將訪問形狀數(shù)據(jù)庫。在步驟714，中樞計(jì)算設(shè)備將模型中的多個(gè)物體與數(shù)據(jù)庫中的形狀進(jìn)行匹配。在步驟716，將突出不匹配的那些形狀并且將其顯示給用戶 (例如使用監(jiān)視器16)。在步驟718，中樞計(jì)算設(shè)備12將接收標(biāo)識出所突出形狀中的每個(gè) (或其子集)的用戶輸入。例如，用戶可以使用鍵盤、鼠標(biāo)、語音輸入、或者其他類型的輸入來指示每個(gè)未標(biāo)識出的形狀是什么。在步驟720，基于步驟718中的用戶輸入來更新形狀數(shù)據(jù)庫。在步驟722，通過添加每個(gè)物體的元數(shù)據(jù)來進(jìn)一步更新在步驟604被創(chuàng)建并且在步驟606被更新的環(huán)境模型。該元數(shù)據(jù)標(biāo)識出該物體。例如，該元數(shù)據(jù)可以指示特定物體處于擦亮的桌、某人、綠色真皮沙發(fā)椅等等的周圍。圖IlA是描述了用于響應(yīng)于移動物體(例如移動的人或其他類型的物體)而更新通過圖9的過程所創(chuàng)建的模型的過程的一個(gè)實(shí)施例的流程圖。在步驟728，該系統(tǒng)確定物體在移動。例如，系統(tǒng)將持續(xù)地接收深度圖像。如果深度圖像隨時(shí)間改變，則物體在移動。如果未檢測到移動物體，則該系統(tǒng)將繼續(xù)接收深度圖像并且繼續(xù)尋找移動物體。如果存在移動物體，則在步驟730，該系統(tǒng)將標(biāo)識出正在移動的物體?？梢允褂脦町惢蚋鞣N任何跟蹤技術(shù)來識別移動物體，并且將所識別的物體與在圖8的步驟608所標(biāo)識出的物體之一相關(guān)。一些物體將在移動時(shí)改變形狀。例如，人類可能在其行走或奔跑時(shí)改變形狀。在步驟732，標(biāo)識出并存儲移動物體的新形狀。在步驟734，基于移動物體的新的位置和形狀來更新之前創(chuàng)建的環(huán)境模型。圖IlA的過程可以由中樞計(jì)算設(shè)備12的處理單元4來執(zhí)行。圖12A是描述了用于將可變焦透鏡調(diào)整到當(dāng)前用戶聚焦區(qū)中的過程的實(shí)施例的流程圖。在軟件的控制下，處理單元4單獨(dú)地或者與中樞計(jì)算系統(tǒng)12協(xié)作地在步驟750確定從用戶的眼睛到當(dāng)前用戶聚焦區(qū)中的所確定的焦點(diǎn)的焦距。如上面和下面所討論的那樣，可以從眼睛跟蹤數(shù)據(jù)確定焦點(diǎn)。在一個(gè)示例中，可以基于每只眼睛的位置和每只眼睛與來自每只眼睛的光線相遇之處的終點(diǎn)所成的角度的測量來從與每只眼睛的視網(wǎng)膜接近的起點(diǎn)投射光線。該終點(diǎn)可以被選為焦點(diǎn)。在另一示例中，該焦點(diǎn)可以從基于用戶頭的位置、 場景的物體和所執(zhí)行的應(yīng)用(例如45 的上下文的推斷過程中確定。還可以使用同時(shí)定位和映射(SLAM)技術(shù)。在其他示例中，可以組合地使用一個(gè)或多個(gè)焦點(diǎn)確定技術(shù)。在步驟752，處理單元4為可變焦透鏡119、通常為每只眼睛的每個(gè)透鏡、但無論如何為至少一個(gè)透鏡119(例如單眼HMD)選擇調(diào)整值。所選調(diào)整值是針對逼近所確定的焦距的焦距的。圖12B是描述了用于針對縮放能力調(diào)整可變焦透鏡的過程的實(shí)施例的流程圖。在步驟760，處理單元4接受請求縮放等級的用戶輸入。該用戶輸入可以作為音頻由話筒110 來捕捉，或者作為姿勢由深度相機(jī)20A和20B來捕捉并由中樞計(jì)算設(shè)備12來處理。在其他實(shí)施例中，可以至少部分地通過針對用戶輸入?yún)f(xié)議基于眨眼或其他眼睛移動測量眼肌上的電勢來確定用戶輸入或命令。該用戶數(shù)據(jù)可以作為音頻由話筒110來捕捉，或者作為姿勢由深度相機(jī)20A和20B 來捕捉并由中樞計(jì)算設(shè)備12來處理。在步驟762，處理單元4或中樞計(jì)算設(shè)備12或二者協(xié)作地基于縮放等級和當(dāng)前聚焦區(qū)來確定焦距。接著在步驟764，針對逼近焦距的焦距為可變焦透鏡選擇調(diào)整值，并且聚焦區(qū)調(diào)整單元139在步驟766基于所選調(diào)整值來調(diào)整可變焦透
^Mi ο用戶可以在可變焦透鏡119的大小、凸出和凹進(jìn)的范圍所允許的程度下選擇縮放特性?？s放特性的示例是超越正常能力的聚焦能力，比如聚焦地看見20英尺處的物體的能力，而其他人用正常視力僅能看見10英尺處的物體。在一個(gè)實(shí)施例中，正常視力可以是 20/20或沒有老花眼的6/6視力?？s放特性還將是看見比當(dāng)前焦距更遠(yuǎn)或更近或其倍數(shù)的特定距離。虛擬物體的類型及其在用戶視野中的位置由應(yīng)用452基于缺省參數(shù)、用戶輸入或者二者的組合來確定。例如，用戶可以已經(jīng)選擇了房間中的咖啡桌這一現(xiàn)實(shí)世界物體，其中他運(yùn)行應(yīng)用452以看上去是巨石。虛擬巨石的目標(biāo)位置將與咖啡桌在三維模型中的位置相關(guān)。在另一示例中，可以由用戶選擇將在房間四周游動的虛擬海豚。海豚在房間四周的虛擬運(yùn)動可以由海豚物體的軌跡路徑來實(shí)現(xiàn)，其中海豚的目標(biāo)位置在每個(gè)顯示幀中都被更新。即使用戶注視巨石，海豚通常仍然很可能進(jìn)入和離開用戶的聚焦區(qū)和視野。當(dāng)用戶移動他或她的眼睛或頭時(shí)，用戶視野和當(dāng)前聚焦區(qū)也被用這些移動更新。一個(gè)或多個(gè)虛擬物體可以在任何給定時(shí)間位于用戶聚焦區(qū)和用戶視野中。
圖13是描述用于顯示將在被查看近眼顯示器的用戶查看時(shí)處于焦點(diǎn)處的虛擬物體的過程的一個(gè)實(shí)施例的流程圖。例如，圖13的過程是圖8的步驟612的一個(gè)示例性實(shí)施方式。該系統(tǒng)在步驟952確定在用戶的當(dāng)前視野中是否存在虛擬物體的任何目標(biāo)位置。在諸如中樞計(jì)算設(shè)備12之類的一個(gè)或多個(gè)計(jì)算機(jī)系統(tǒng)、或者處理單元4中執(zhí)行的軟件將標(biāo)識出視野中的目標(biāo)位置。在一個(gè)實(shí)施例中，中樞計(jì)算設(shè)備12將向處理單元4提供該模型。作為步驟952的一部分，處理單元4將使用環(huán)境的模型以及對用戶的位置和取向的知識來確定任何虛擬物體的目標(biāo)位置是否處于用戶的視野中。如果在用戶的當(dāng)前視野中不存在虛擬物體，則步驟964中的處理返回到執(zhí)行諸如步驟8或圖19中的實(shí)施例之類的過程實(shí)施例的其他步驟。在步驟954，在中樞計(jì)算機(jī)系統(tǒng) 12、處理單元4或二者中執(zhí)行的軟件基于虛擬物體在模型中的目標(biāo)位置來標(biāo)識出用戶視野中處于當(dāng)前用戶聚焦區(qū)中的每個(gè)虛擬物體。在步驟956，處理單元4對圖像的要插入到用戶視圖中的每個(gè)所標(biāo)識出的虛擬物體進(jìn)行縮放(scale)和定向。對虛擬物體的縮放和定向?qū)⒒谄湓谟脩粢曇爸械哪繕?biāo)位置。在步驟958，處理單元4、控制電路136或二者分擔(dān)處理以通過改變微顯示器部件173的聚焦區(qū)來放置每個(gè)被標(biāo)識為處于當(dāng)前用戶聚焦區(qū)中的虛擬物體。任選地，在步驟 960，根據(jù)與當(dāng)前聚焦區(qū)相距的距離將人工深度場技術(shù)應(yīng)用于其目標(biāo)位置處于用戶視野內(nèi)、 但處于用戶當(dāng)前聚焦區(qū)之外的每個(gè)虛擬物體。人工深度場技術(shù)的示例是人工模糊技術(shù)。人工模糊可以通過如下方式來實(shí)現(xiàn)根據(jù)與聚焦區(qū)相距的距離應(yīng)用深度場著色器或其他高斯模糊濾波器來模擬處于焦點(diǎn)之外的物體。該技術(shù)可以全部或部分地由在中樞計(jì)算機(jī)12、處理單元4或二者上執(zhí)行的軟件來執(zhí)行。為便于描述，將參考處理單元4。由處理單元4從作為虛擬物體的目標(biāo)位置的一部分的深度值中確定圖像中的物體的焦距，該處理單元4還確定比如包圍光導(dǎo)光學(xué)元件112的顯示元件之類的顯示元件112上的哪些像素將映射到圖像中的虛擬物體?；谠摻咕?，通過將該圖像與高斯函數(shù)卷積來應(yīng)用一個(gè)或多個(gè)加權(quán)高斯模糊濾波器以覆蓋至少二維，使得應(yīng)用于與該圖像的焦點(diǎn)或注視點(diǎn)相距越遠(yuǎn)的像素的變換將受到越多的模糊化效果。在一個(gè)示例中，高斯模糊濾波器充當(dāng)移除高頻信息的低通濾波器。在步驟962，微顯示器120顯示包括每個(gè)所標(biāo)識出的虛擬物體的虛擬圖像。在一個(gè)示例中，處理單元4向控制電路136的顯示驅(qū)動器220發(fā)送指令以用于在微顯示器120上顯示包括用戶視野中的每個(gè)虛擬物體的虛擬圖像。然后，透鏡系統(tǒng)122將從微顯示器120 接收的虛擬圖像投影到反射元件12 或124b上并且如圖IC中那樣向用戶的眼睛投影，或者如圖IB或ID中投影到反射元件IM上并且投影到光導(dǎo)光學(xué)元件112中以供用戶查看。 在一個(gè)實(shí)施方式中，頭戴式顯示設(shè)備中的正被用戶用來進(jìn)行查看的顯示器(例如光導(dǎo)光學(xué)元件11 被劃分成像素。步驟962可以包括確定哪些像素對應(yīng)于目標(biāo)位置，并且這些像素將在步驟962顯示包括每個(gè)所標(biāo)識出的虛擬物體的虛擬圖像。圖13的處理步驟可以在系統(tǒng)的操作期間連續(xù)地執(zhí)行，使得用戶視野和用戶聚焦區(qū)隨著用戶移動他或她的頭而被更新，并且虛擬物體可以相應(yīng)地被顯示為自然地移進(jìn)和移出用戶的焦點(diǎn)。圖16是描述了如下過程的一個(gè)實(shí)施例的流程圖用于確定用戶視野的過程，該過程是圖8的步驟610a的示例性實(shí)施方式；以及用于確定用戶聚焦區(qū)的過程，該過程是圖8
25的步驟610b的示例性實(shí)施方式。圖16的過程依靠來自中樞計(jì)算設(shè)備12的信息和上述眼睛跟蹤技術(shù)。圖14是描述了由中樞計(jì)算系統(tǒng)執(zhí)行以提供用在圖16的過程中的跟蹤信息的過程的一個(gè)實(shí)施例的流程圖。圖15是描述了用于跟蹤眼睛的過程的一個(gè)實(shí)施例的流程圖， 其中該過程的結(jié)果供圖16的過程來使用。在圖14的步驟810，中樞計(jì)算設(shè)備12將跟蹤用戶的位置。例如，中樞計(jì)算設(shè)備 12將使用一個(gè)或多個(gè)深度圖像和一個(gè)或多個(gè)視覺圖像來跟蹤用戶(例如使用骨架跟蹤)。 可以在步驟812使用一個(gè)或多個(gè)深度圖像和一個(gè)或多個(gè)視覺圖像來確定頭戴式顯示設(shè)備2 的位置和頭戴式顯示設(shè)備2的取向。在步驟814，將用戶和頭戴式顯示設(shè)備2的位置和取向從中樞計(jì)算設(shè)備12傳送給處理單元4。在步驟816，在處理單元4處接收該位置和取向信息。圖14的處理步驟可以在系統(tǒng)的操作期間連續(xù)地執(zhí)行，使得用戶被連續(xù)地跟蹤。圖15是描述用于使用上述技術(shù)來跟蹤眼睛的一個(gè)實(shí)施例的流程圖。在步驟860， 照明眼睛。例如，可以使用紅外光從眼睛跟蹤照明134A來照明眼睛。在步驟862，使用一個(gè)或多個(gè)眼睛跟蹤相機(jī)134B來檢測來自眼睛的反射。在步驟864，將該反射數(shù)據(jù)從頭戴式顯示設(shè)備2發(fā)送給處理單元4。在步驟866，處理單元4將如上述那樣基于反射數(shù)據(jù)來確定眼睛的位置。在步驟868，處理單元4還將基于反射數(shù)據(jù)來確定用戶眼睛正在查看的的焦點(diǎn)深度位置或聚焦區(qū)。圖15的處理步驟可以在系統(tǒng)的操作期間連續(xù)地執(zhí)行，使得用戶的眼睛被連續(xù)地跟蹤，從而提供用于跟蹤當(dāng)前用戶聚焦區(qū)的數(shù)據(jù)。圖16是描述了用于確定用戶的視野(例如圖8的步驟610b)以及用戶的聚焦區(qū) (例如圖8的步驟610b)的過程的一個(gè)實(shí)施例的流程圖。在步驟902，處理單元4將訪問從中樞接收到的最新的位置和取向信息。圖14的過程可以如從步驟814到步驟810的箭頭所描繪的那樣連續(xù)地執(zhí)行，因此，處理單元4將周期性地從中樞計(jì)算設(shè)備12接收經(jīng)更新的位置和取向信息。然而，處理單元4將需要與其從中樞計(jì)算設(shè)備12接收經(jīng)更新的信息相比更頻繁地繪制虛擬圖像。因此，處理單元4將需要依靠本地感測的信息(其例如來自頭戴式設(shè)備幻以在來自中樞計(jì)算設(shè)備12的采樣之間提供取向的更新。在步驟904，處理單元4 將從三軸陀螺儀132B訪問數(shù)據(jù)。在步驟906，處理單元4將從三軸加速度計(jì)132C訪問數(shù)據(jù)。在步驟908，處理單元4將從三軸磁力計(jì)132A訪問數(shù)據(jù)。在步驟910，處理單元4將用來自該陀螺儀、加速度計(jì)和磁力計(jì)的數(shù)據(jù)來細(xì)化(或以其他方式更新)來自中樞計(jì)算設(shè)備 12的位置和取向數(shù)據(jù)。在步驟912，處理單元4將基于頭戴式顯示設(shè)備的位置和取向來確定潛在的視野。在步驟914，處理單元4將訪問最新的眼睛位置信息。在步驟916，處理單元4將基于眼睛位置作為潛在視野的子集來確定模型的被用戶觀看的一部分。例如，用戶可以朝向墻壁，并且因此頭戴式顯示器的視野可以包括沿著墻壁的任何地方。然而，如果用戶的眼睛指向右邊，則步驟916將作出的結(jié)論是，用戶的視野僅僅是墻壁的右邊部分。在步驟916 結(jié)束時(shí)，處理單元4已經(jīng)確定了用戶通過頭戴式顯示器2的視野。處理單元4可以標(biāo)識出虛擬物體在該視野內(nèi)的目標(biāo)位置。在步驟918，處理單元4基于眼睛位置確定該模型部分內(nèi)的當(dāng)前用戶聚焦區(qū)。處理單元4可以標(biāo)識出處于當(dāng)前用戶聚焦區(qū)中的虛擬物體在該模型中的目標(biāo)位置。圖16的處理步驟可以在系統(tǒng)的操作期間連續(xù)地執(zhí)行，使得用戶視野和用戶聚焦區(qū)隨著用戶移動他或她的頭而被連續(xù)更新，并且虛擬物體可以相應(yīng)地被顯示為自然地移進(jìn)和移出用戶的焦點(diǎn)。
圖17A是描述用于通過使微顯示器部件173的至少一個(gè)透鏡移位來改變該部件的聚焦區(qū)的過程的一個(gè)實(shí)施例的流程圖。該實(shí)施例可用于實(shí)現(xiàn)圖13中的步驟958。針對說明性上下文，參考之前參照圖IB和IC描述的微顯示器部件173。微顯示器部件173包括在光路133中與透鏡系統(tǒng)122對準(zhǔn)的微顯示器單元120，該透鏡系統(tǒng)122將圖像光從微顯示器單元120引導(dǎo)到反射元件124或反射單元12^、lMb、并且要么引導(dǎo)到用戶眼睛中、要么引導(dǎo)到另一光學(xué)元件112中。微顯示器部件173還包括可變虛焦點(diǎn)調(diào)整器135，該可變虛焦點(diǎn)調(diào)整器135用于物理地移動光處理元件之一以獲得所選或所確定的聚焦區(qū)。在討論圖2A-2D以前，微顯示器部件173位移和焦距的關(guān)系為下列等式1/^+1/ =Ι/fo在步驟980，處理單元4確定透鏡系統(tǒng)122的前面節(jié)點(diǎn)與虛擬物體的目標(biāo)位置之間的位移值Sp附加地，在步驟982，處理單元4確定微顯示器120與透鏡系統(tǒng)的背面節(jié)點(diǎn)之間的位移值&以基于該等式獲得透鏡系統(tǒng)的焦距f。處理單元4在步驟984致使控制電路 136的處理器使可變調(diào)整器驅(qū)動器237向可變虛焦點(diǎn)調(diào)整器135施加至少一個(gè)驅(qū)動信號以物理地移動透鏡系統(tǒng)的至少一個(gè)透鏡以生成所確定的位移值S1和&。除了圖IB和IC中所示的微顯示器部件173以外，另一實(shí)施方式是使用圖2D的可插入透鏡系統(tǒng)示例的微顯示器部件173。該移動是如在原地則釋放一個(gè)透鏡的臂123并且將該透鏡的臂123移動確定的位移以將透鏡鎖定在光路133中。附加地，所插入透鏡的焦距可以影響所得到的S1I的值。圖17B是描述用于通過改變微顯示器部件173的至少一個(gè)透鏡的偏振性來改變該部件的聚焦區(qū)的過程的一個(gè)實(shí)施例的流程圖。該實(shí)施例可以用于實(shí)現(xiàn)圖13中的步驟 958，并且適于與諸如圖2C所示之類的微顯示器173部件的實(shí)施例一起使用。在該實(shí)施例中，該透鏡系統(tǒng)在微顯示器120與反射元件124(圖1C)、12如(圖1B)之間的光路中包括至少一個(gè)雙折射透鏡。在步驟986，處理單元4基于虛擬物體的目標(biāo)位置以及等式1/^+1/ =Ι/f來選擇S1的位移值。在步驟988，可變調(diào)整器驅(qū)動器237施加至少一個(gè)驅(qū)動信號以致使可變焦點(diǎn)調(diào)整器135改變所述至少一個(gè)雙折射透鏡的偏振性以改變雙折射透鏡的焦距f來生成所選S1值。由于每個(gè)雙折射透鏡都具有與兩個(gè)偏振軸相對應(yīng)的兩個(gè)離散焦距， 因此兩個(gè)這樣的透鏡的組合將提供對4個(gè)離散焦距的選擇。因此，在軟件的控制下，控制電路136的處理單元4或處理器210選擇最接近的可用焦距以逼近f的值。對于所添加的每個(gè)雙折射透鏡，離散焦距的數(shù)目加倍。圖17C是描述用于通過改變微顯示器部件173的至少一個(gè)液體透鏡的曲率半徑來改變該部件的聚焦區(qū)的過程的一個(gè)實(shí)施例的流程圖。該實(shí)施例可以用于實(shí)現(xiàn)圖13中的步驟958，并且適于與在其透鏡系統(tǒng)122中使用諸如圖2B1和2B2和2B3所示之類的至少一個(gè)液體或流體透鏡的微顯示器部件173的實(shí)施例一起使用。在步驟990，處理單元4基于虛擬物體的目標(biāo)位置以及等式1/^+1/ = Ι/f來選擇S1的位移值。在步驟992，可變調(diào)整器驅(qū)動器237施加至少一個(gè)驅(qū)動信號以致使可變焦點(diǎn)調(diào)整器135使流體或液體透鏡中的流體量改變，從而導(dǎo)致其曲率半徑改變以改變其焦距f來生成所選S1值。如上面在圖13的實(shí)施例中所提到的那樣，對于處于用戶視野中、但處于用戶的聚焦區(qū)之外的虛擬物體，可以應(yīng)用人工模糊技術(shù)。在其他實(shí)施例中，可以生成不同聚焦區(qū)處的一系列圖像。通過移動通過一定范圍的焦點(diǎn)或聚焦區(qū)以及顯示每個(gè)聚焦區(qū)處的圖像，可以使用戶看見由多層不同聚焦區(qū)圖像構(gòu)成的圖像。當(dāng)用戶重新調(diào)整他或她的焦點(diǎn)時(shí)，用戶將選定這些區(qū)域之一，并且其余區(qū)域中的虛擬物體將被自然地模糊化。掃過一定范圍的聚焦區(qū)可以以預(yù)定速率或頻率進(jìn)行。這足夠快地進(jìn)行，使得人類瞬時(shí)圖像匯合將使其所有看上去都同時(shí)存在。對諸如人工模糊之類的人工深度場技術(shù)的需要將減少，但是渲染負(fù)荷可能顯著增加。在一個(gè)實(shí)施例中，經(jīng)過一定范圍的聚焦區(qū)的移動可以通過如下方式來執(zhí)行以一定速率改變微處理器部件173的光處理元件之間的位移、或者該部件中的光處理元件的光學(xué)能力。該速率可以為至少高達(dá)每秒30的幀速(fps)，但是可以在一些實(shí)施例中為更高速率，比如60、120或180Hz。以高速率被沿著光軸移位從而提供不同聚焦區(qū)處的圖像的透鏡有時(shí)被稱為振動透鏡或振蕩透鏡。在一些實(shí)例中，圖像源120而不是透鏡系統(tǒng)122被移動， 但是原理是相同的。圖18A是描述用于在擴(kuò)展顯示顯示中生成不同聚焦區(qū)中的虛擬物體圖像的過程的一個(gè)實(shí)施例的流程圖，該過程可以用于實(shí)現(xiàn)圖8中的步驟612。在圖18A中，在步驟1004， 中樞計(jì)算設(shè)備12或處理單元4或二者在軟件的控制下如在步驟952中那樣確定在用戶的當(dāng)前視野中是否存在虛擬物體的任何目標(biāo)位置。類似于步驟964，如果在用戶的當(dāng)前視野中不存在虛擬物體，則步驟1004中的處理返回到執(zhí)行諸如步驟8或圖19中實(shí)施例之類的過程實(shí)施例的其他步驟。如在步驟956中那樣，處理單元4可以在步驟1012基于圖像的將被插入到用戶視圖中的虛擬物體在用戶視野中的目標(biāo)位置來對每個(gè)所標(biāo)識出的虛擬物體進(jìn)行縮放和定向。在步驟1016，由控制電路的定時(shí)生成器2 或時(shí)鐘生成器244啟動掃描速率時(shí)間段。在步驟1018，初始化計(jì)數(shù)器，以在掃描時(shí)間段期間經(jīng)歷該范圍內(nèi)的一定數(shù)目的聚焦區(qū)。 在一些實(shí)例中，聚焦區(qū)是預(yù)定的。在掃描速率時(shí)間段的每個(gè)時(shí)間步，調(diào)整微顯示器部件173 的元件的聚焦區(qū)，并且在步驟1022針對每個(gè)聚焦區(qū)在其掃描時(shí)間或時(shí)間步向用戶顯示圖像。在步驟1024，通過遞增計(jì)數(shù)器來選擇下一聚焦區(qū)，并且重復(fù)步驟1020至IOM的處理， 直到計(jì)數(shù)器指示該范圍的掃描完成。掃描時(shí)間段在步驟10 結(jié)束。在其他示例中，用于顯示的幀結(jié)尾可以中斷經(jīng)過該掃描范圍的掃描，并且另一掃描從下一幀開始。在一個(gè)實(shí)施例中，可以通過如下方式來降低渲染負(fù)荷渲染聚焦區(qū)的子集；以及使用對用戶聚焦區(qū)的跟蹤來優(yōu)化選擇哪些聚焦區(qū)進(jìn)行渲染。在其他示例中，眼睛跟蹤數(shù)據(jù)不提供足夠的精確度來確定用戶正在查看的焦點(diǎn)位置的深度。推斷邏輯可以推斷用戶聚焦到的物體。一旦選擇物體作為焦點(diǎn)物體，就可以使用當(dāng)前場景的三維模型或映射來確定與焦點(diǎn)物體相距的距離。圖18B示出了用于顯示將在被查看擴(kuò)展現(xiàn)實(shí)顯示的用戶查看時(shí)處于焦點(diǎn)處的虛擬物體的過程的另一實(shí)施例，該過程可以用于實(shí)現(xiàn)圖8中的步驟612。圖18B是描述用于在擴(kuò)展現(xiàn)實(shí)顯示中生成不同聚焦區(qū)中的虛擬物體圖像的過程的一個(gè)實(shí)施例的流程圖。在圖 18B中，在步驟1004，中樞計(jì)算設(shè)備12或處理單元4或二者在軟件的控制下如在步驟952 中那樣確定在用戶的當(dāng)前視野中是否存在虛擬物體的任何目標(biāo)位置。類似于步驟964，如果在用戶的當(dāng)前視野中不存在虛擬物體，則步驟1004中的處理返回到執(zhí)行諸如步驟8或圖 19中實(shí)施例之類的過程實(shí)施例的其他步驟。如果存在至少一個(gè)虛擬對象在用戶的視野中具有目標(biāo)位置，則在步驟1008，如在步驟954中那樣，在中樞計(jì)算機(jī)系統(tǒng)12、處理單元4或二者中執(zhí)行的軟件在步驟1010基于虛擬物體在該模型中的其目標(biāo)位置標(biāo)識出用戶視野中的處于當(dāng)前用戶聚焦區(qū)中的每個(gè)虛擬物體。如在步驟956中那樣，處理單元4將在步驟1012基于圖像的將被插入到用戶視圖中的虛擬物體在用戶視野中的目標(biāo)位置來對每個(gè)所標(biāo)識出的虛擬物體進(jìn)行縮放和定向。在步驟1014，處理單元4選擇包括當(dāng)前用戶聚焦區(qū)在內(nèi)的一定范圍的聚焦區(qū)。處理單元4可以基于諸如執(zhí)行應(yīng)用(例如452)的上下文之類的標(biāo)準(zhǔn)來選擇聚焦區(qū)的范圍。應(yīng)用可以使用對具有預(yù)定運(yùn)動軌跡的虛擬物體和觸發(fā)其出現(xiàn)的事件的選擇。當(dāng)物體的模型隨著物體的移動被更新時(shí)，處理單元4按照圖9至14A的討論來接收這些更新。在各更新之間，處理單元4可以使用關(guān)于用戶頭的位置和取向的傳感器數(shù)據(jù)來確定他或她在當(dāng)時(shí)很可能聚焦到哪些虛擬物體。處理單元4可以基于場景的三維模型來選擇虛擬物體的軌跡將經(jīng)過的多個(gè)聚焦區(qū)。因此，一個(gè)示例性標(biāo)準(zhǔn)是包括虛擬物體所處的每個(gè)聚焦區(qū)。另外，還可以選擇如下的聚焦區(qū)在所述區(qū)域中，移動虛擬物體的軌跡將處于預(yù)定的時(shí)間幀中。在一個(gè)示例中，預(yù)定的時(shí)間幀可以是直到指示虛擬物體的精確位置的模型數(shù)據(jù)的下次更新為止。掃過該范圍的聚焦區(qū)的起始聚焦區(qū)點(diǎn)可以是在用戶眼睛的用戶視野中接近無窮遠(yuǎn)處的點(diǎn)。可以使用起始位置。在步驟1016，由控制電路的定時(shí)生成器2 或時(shí)鐘生成器 244啟動掃描速率時(shí)間段。在步驟1018，初始化計(jì)數(shù)器，以在掃描時(shí)間段期間經(jīng)歷該范圍內(nèi)的一定數(shù)目的聚焦區(qū)。在一些實(shí)例中，聚焦區(qū)是預(yù)定的。在掃描時(shí)間段的每個(gè)時(shí)間步，調(diào)整微顯示器部件173的元件的聚焦區(qū)，并且在步驟1022針對每個(gè)聚焦區(qū)在其掃描時(shí)間或時(shí)間步向用戶顯示圖像。在步驟1024，通過遞增計(jì)數(shù)器來選擇下一聚焦區(qū)，并且重復(fù)步驟1020 至IOM的處理，直到計(jì)數(shù)器指示該范圍的掃描完成。掃描時(shí)間段在步驟10 結(jié)束。在其他示例中，用于顯示的幀結(jié)尾可以中斷經(jīng)過該掃描范圍的掃描，并且另一掃描從下一幀開始。如前面所討論的那樣，聚焦限制可能致使用戶不能清楚地看見某些聚焦區(qū)中的現(xiàn)實(shí)或虛擬物體。例如，老花眼可能將50歲以上患有老花眼的用戶清楚地看見物體的能力限制在不小于約1. 5英尺的范圍。對虛擬和現(xiàn)實(shí)物體的視覺增強(qiáng)還可以改善用戶對場景的感知?？梢詫μ摂M物體進(jìn)行視覺增強(qiáng)，并且還可以使用對現(xiàn)實(shí)物體進(jìn)行跟蹤和視覺增強(qiáng)的虛擬圖像。增強(qiáng)標(biāo)準(zhǔn)可以由處理單元4、中樞計(jì)算設(shè)備12或二者用于確定用戶視野中的哪個(gè)現(xiàn)實(shí)物體符合要求以用于增強(qiáng)。一個(gè)因素可以是現(xiàn)實(shí)物體表示另一個(gè)人。另一因素可以是現(xiàn)實(shí)物體滿足運(yùn)動標(biāo)準(zhǔn)，比如其移動了某個(gè)距離或者其速度或加速度滿足閾值。例如，在戰(zhàn)爭游戲中，現(xiàn)實(shí)物體可以是炮彈。而且，在戰(zhàn)爭游戲示例中，物體的類型可以使其符合要求以用于增強(qiáng)。如果現(xiàn)實(shí)物體例如是槍支，則其可以被突出或著色為紅色以吸引具有低于正常視力的用戶的注意力。圖19是描述了用于用用戶視野中的虛擬圖像來對現(xiàn)實(shí)物體進(jìn)行視覺增強(qiáng)的過程的一個(gè)實(shí)施例的流程圖。該過程可用于實(shí)現(xiàn)圖8的步驟614。在步驟1050，處理單元4標(biāo)識出用戶視野中的滿足增強(qiáng)標(biāo)準(zhǔn)的現(xiàn)實(shí)物體，并且在步驟1052基于增強(qiáng)標(biāo)準(zhǔn)來選擇增強(qiáng)技術(shù)。例如，可以通過突出現(xiàn)實(shí)物體所應(yīng)用于的那些軌道來使正在加速的現(xiàn)實(shí)物體的邊緣增強(qiáng)。在另一實(shí)施例中，可以在現(xiàn)實(shí)物體仍然處于焦點(diǎn)之外時(shí)在用戶具有更佳的聚焦能力處的焦距處跟蹤該現(xiàn)實(shí)物體的邊緣的清晰虛擬輪廓。諸如虛擬框或圓圈之類的更簡單的增強(qiáng)可以顯示在感興趣的現(xiàn)實(shí)物體所處的視野部分中。附加地，可以使用色彩以虛擬覆蓋來增強(qiáng)現(xiàn)實(shí)物體。例如，在夜視模式中，可以在虛擬覆蓋中為感興趣的現(xiàn)實(shí)物體使用不同的色彩。在步驟IOM，處理單元選擇由所選增強(qiáng)技術(shù)所使用的現(xiàn)實(shí)物體圖像數(shù)據(jù)。一示例可以是在圖10的步驟686被中樞計(jì)算設(shè)備12檢測到的邊緣數(shù)據(jù)。處理單元4可以請求該數(shù)據(jù)以在步驟1056為所選技術(shù)生成現(xiàn)實(shí)物體的虛擬圖像， 或者中樞計(jì)算設(shè)備12可以在處理單元4的請求下生成虛擬圖像。在步驟1058，顯示虛擬圖像以基于用戶視野的三維模型跟蹤現(xiàn)實(shí)物體。針對虛擬物體，也可以使用類似于圖19的過程來對虛擬物體進(jìn)行視覺增強(qiáng)。單獨(dú)的虛擬圖像可以跟蹤虛擬物體，或者虛擬物體的圖像數(shù)據(jù)可以被更新為包括該增強(qiáng)。盡管用結(jié)構(gòu)特征和/或方法動作專用的語言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動作。更確切而言，上述具體特征和動作是作為實(shí)現(xiàn)權(quán)利要求的示例形式公開的。
權(quán)利要求
1.一種提供物體的經(jīng)改善的焦點(diǎn)的擴(kuò)展現(xiàn)實(shí)系統(tǒng)，包括透視顯示設(shè)備O)，該透視顯示設(shè)備( 包括被定位為被用戶透視的可變焦透鏡 (119)；附連到該透視顯示設(shè)備的微顯示器部件(173)，該微顯示器部件(17 用于生成虛擬圖像以用于向至少一只眼睛進(jìn)行顯示；存儲器(330，214)，該存儲器(330，214)用于存儲軟件和數(shù)據(jù)； 處理器(320，322，210)，該處理器(320，322，210)用于在軟件的控制下確定當(dāng)前用戶聚焦區(qū)，該處理器具有對該存儲器的訪問并且可通信地耦合到該微顯示器部件；聚焦區(qū)調(diào)整單元(139)，該聚焦區(qū)調(diào)整單元(139)用于在該處理器的控制下將該可變焦透鏡調(diào)整在當(dāng)前用戶聚焦區(qū)中；以及該處理器在軟件的控制下通過控制該聚焦區(qū)調(diào)整單元致使該微顯示器將一個(gè)或多個(gè)虛擬物體顯示在它們在用戶視野中的現(xiàn)實(shí)世界焦距處。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于 該可變焦透鏡是液體透鏡(150，158)；以及其中該聚焦區(qū)調(diào)整單元通過調(diào)整(754,99 所述液體透鏡的曲率半徑來對該可變焦透鏡進(jìn)行聚焦以將該透鏡的焦距調(diào)整為處于當(dāng)前用戶聚焦區(qū)中。
3.如權(quán)利要求1所述的系統(tǒng)，其特征在于，還包括 該處理器確定(750)到聚焦區(qū)中的焦點(diǎn)的焦距；該處理器針對逼近該焦距的焦距為可變焦透鏡選擇(75 調(diào)整值；以及該聚焦區(qū)調(diào)整單元基于所選調(diào)整值調(diào)整(754)該可變焦透鏡。
4.一種提供物體的經(jīng)改善的焦點(diǎn)的擴(kuò)展現(xiàn)實(shí)系統(tǒng)，包括透視顯示設(shè)備O)，該透視顯示設(shè)備⑵包括被定位為被用戶透視的可變焦透鏡 (119)；附連到該透視顯示設(shè)備的微顯示器部件(173)，該微顯示器部件(17 用于生成虛擬圖像以用于向至少一只眼睛進(jìn)行顯示；存儲器(330，214)，該存儲器(330，214)用于存儲軟件和數(shù)據(jù)； 處理器(320，322，210)，該處理器(320，322，210)用于在軟件的控制下基于縮放特性和當(dāng)前用戶聚焦區(qū)來確定焦距，該處理器具有對該存儲器的訪問并且可通信地耦合到該微顯示器部件；以及聚焦區(qū)調(diào)整單元(139)，該聚焦區(qū)調(diào)整單元(139)用于將該可變焦透鏡聚焦在大約所確定的焦距處。
5.如權(quán)利要求4所述的系統(tǒng)，其特征在于，用于在軟件的控制下基于縮放特性和當(dāng)前用戶聚焦區(qū)來確定焦距的處理器還包括用于接收(760)請求縮放特性的用戶輸入的處理器； 用于基于所請求的縮放特性和當(dāng)前聚焦區(qū)來確定(76 焦距的處理器； 用于針對大約為該焦距的焦距為該可變焦透鏡選擇(764)調(diào)整值的處理器；以及用于基于所選調(diào)整值調(diào)整(766)該可變焦透鏡的該聚焦區(qū)調(diào)整單元。
6.如權(quán)利要求4所述的系統(tǒng)，其特征在于 該可變焦透鏡是液體透鏡(150，158)；以及該聚焦區(qū)調(diào)整單元通過調(diào)整(176,99 所述液體透鏡的曲率半徑來對該可變焦透鏡進(jìn)行聚焦以將該透鏡的焦距調(diào)整為大約為該縮放特性所確定的焦距。
7.—種在擴(kuò)展現(xiàn)實(shí)系統(tǒng)中用于提供物體的經(jīng)改善的焦點(diǎn)的方法，包括 確定(610a)用戶在包括現(xiàn)實(shí)物體的空間的三維模型中的視野；確定(610b)當(dāng)前用戶聚焦區(qū)；針對至少一只眼睛自動地將可變焦透鏡調(diào)整(611)為聚焦到當(dāng)前用戶聚焦區(qū)中，該可變焦透鏡被定位為被所述至少一只眼睛透視；將虛擬物體顯示(61 在該虛擬物體在用戶視野中的現(xiàn)實(shí)世界焦距處；以及對用戶視野中的物體之一的圖像進(jìn)行視覺增強(qiáng)(614)。
8.如權(quán)利要求7所述的方法，其特征在于，針對至少一只眼睛自動地將可變焦透鏡調(diào)整為聚焦到當(dāng)前用戶聚焦區(qū)中還包括調(diào)整(92 該可變焦透鏡的曲率半徑以將所述透鏡的焦距調(diào)整到當(dāng)前用戶聚焦區(qū)中。
9.如權(quán)利要求7所述的方法，其特征在于，將虛擬物體顯示在該虛擬物體在用戶視野中的現(xiàn)實(shí)世界焦距處還包括基于虛擬物體的在該模型中的位置標(biāo)識出(954)處于當(dāng)前用戶聚焦區(qū)中的每個(gè)虛擬物體；通過改變該微顯示器部件的聚焦區(qū)來放置(958)被標(biāo)識為處于當(dāng)前用戶聚焦區(qū)中的每個(gè)虛擬物體；以及顯示(96 包括當(dāng)前用戶聚焦區(qū)中的每個(gè)虛擬物體的圖像。
10.如權(quán)利要求7所述的方法，其特征在于，對用戶視野中的物體之一的圖像進(jìn)行視覺增強(qiáng)還包括通過如下動作對用戶視野中的現(xiàn)實(shí)物體進(jìn)行視覺增強(qiáng)標(biāo)識出(1050)用戶視野中的滿足增強(qiáng)標(biāo)準(zhǔn)的現(xiàn)實(shí)物體；基于該增強(qiáng)標(biāo)準(zhǔn)選擇(105 增強(qiáng)技術(shù)；選擇(1054)由所選增強(qiáng)技術(shù)所使用的現(xiàn)實(shí)物體圖像數(shù)據(jù)；生成(1056)實(shí)現(xiàn)所選增強(qiáng)技術(shù)的虛擬圖像；以及基于該三維模型跟蹤(1058)該虛擬圖像對該現(xiàn)實(shí)物體的顯示。
全文摘要
本發(fā)明涉及用于擴(kuò)展現(xiàn)實(shí)顯示的自動焦點(diǎn)改善。一種擴(kuò)展現(xiàn)實(shí)系統(tǒng)提供現(xiàn)實(shí)和虛擬物體的經(jīng)改善的焦點(diǎn)。透視顯示設(shè)備包括被用戶透視的可變焦透鏡。聚焦區(qū)調(diào)整單元自動地將可變焦透鏡聚焦到當(dāng)前用戶聚焦區(qū)中。附連到透視顯示設(shè)備的微顯示器部件生成虛擬物體以供通過調(diào)整其聚焦區(qū)顯示在用戶的當(dāng)前聚焦區(qū)中。還可以調(diào)整可變焦透鏡以提供一個(gè)或多個(gè)縮放特性。還可以提供對物體的視覺增強(qiáng)以改善用戶對物體的感知。
文檔編號G02B3/14GK102445756SQ201110386149
公開日2012年5月9日 申請日期2011年11月18日 優(yōu)先權(quán)日2010年11月18日
發(fā)明者A·巴-澤埃夫, J·劉易斯 申請人:微軟公司