【具體實(shí)施方式】
[0032]公開(kāi)一種用于基于焦距確定顯示的信息的表示的方法、裝置和計(jì)算機(jī)程序產(chǎn)品的示例。在以下描述中，出于說(shuō)明的目的，闡述許多具體細(xì)節(jié)以便提供對(duì)本發(fā)明的實(shí)施方式的透徹理解。然而對(duì)于本領(lǐng)域技術(shù)人員清楚的是無(wú)這些具體細(xì)節(jié)或者用等同布置可以實(shí)現(xiàn)本發(fā)明的實(shí)施方式。在其它實(shí)例中，以框圖形式示出熟知的結(jié)構(gòu)和設(shè)備以免不必要地模糊本發(fā)明的實(shí)施方式。
[0033]圖1A為根據(jù)至少一個(gè)實(shí)例實(shí)施方式的由具有穿視顯示器的一對(duì)眼鏡體現(xiàn)的顯示器的透視圖。如先前討論的那樣，穿視顯示器和其它電子顯示器可以用來(lái)呈現(xiàn)虛擬信息和物理現(xiàn)實(shí)信息的混合。換而言之，穿視顯示器使虛擬數(shù)據(jù)(例如數(shù)據(jù)的可視表示)能夠呈現(xiàn)而讓用戶(hù)能夠通過(guò)顯示器觀看信息、對(duì)象、場(chǎng)景等。例如增強(qiáng)現(xiàn)實(shí)應(yīng)用可以在實(shí)況景物上提供圖形疊加以給出信息的表示，以增強(qiáng)或者補(bǔ)充通過(guò)顯示器可觀看的景物。如圖1中所示，顯示器101具體實(shí)施為具有穿視顯示器的一對(duì)頭戴眼鏡。在所示示例中，用戶(hù)正在通過(guò)顯示器101觀看現(xiàn)實(shí)對(duì)象103 (例如球體)。在至少一個(gè)示例性實(shí)施方式中，顯示器101包括表示用于提供對(duì)象103的雙目視圖的相應(yīng)子顯示器105a和106b的兩個(gè)透鏡。通過(guò)每個(gè)子顯示器105a和105b，對(duì)象103是可視的。在這一情況下，也可以在對(duì)象103上呈現(xiàn)附加信息(例如笑臉的表示107a和107b、也統(tǒng)稱(chēng)為表示107)作為疊加以提供增強(qiáng)現(xiàn)實(shí)顯示器。
[0034]穿視顯示器的實(shí)施方式例如包括圖1A中描繪的眼鏡。然而這里描述的方法、裝置和計(jì)算機(jī)程序產(chǎn)品的各種實(shí)施方式也適用于穿視顯示器的任何實(shí)施方式、例如包括頭上顯示器(HUD)單元、擋風(fēng)鏡、護(hù)目鏡、擋風(fēng)玻璃、窗戶(hù)等。通常，穿視顯示器如顯示器101已經(jīng)用固定焦點(diǎn)來(lái)實(shí)施用于給出疊加的信息的表示。這可能在設(shè)置顯示器的固定聚焦，但是其它深度提示(例如轉(zhuǎn)向、陰影等)使得用戶(hù)在不同深度感測(cè)對(duì)象103以及表示107a和107b時(shí)，引起沖突或者視覺(jué)錯(cuò)誤提示。例如在雙目視覺(jué)中，在一段距離注視對(duì)象103將在眼睛中自動(dòng)地引起轉(zhuǎn)向和調(diào)適。轉(zhuǎn)向例如是移動(dòng)雙眼以將注意的對(duì)象103移入視網(wǎng)膜的中央凹中。調(diào)適例如是如下過(guò)程，通過(guò)該過(guò)程，眼睛改變光學(xué)能力以聚焦產(chǎn)生清晰中央凹圖像，這酷似對(duì)相機(jī)透鏡進(jìn)行調(diào)焦。
[0035]因而，沖突或者視覺(jué)錯(cuò)誤提示是轉(zhuǎn)向調(diào)適失配(例如聚焦失配)，其中眼睛調(diào)適或者聚焦到與用于調(diào)試的預(yù)計(jì)深度不同的深度。這可能在眼睛中引起疲勞或者不適。在固定聚焦系統(tǒng)中，這一問(wèn)題變復(fù)雜，因?yàn)檠劬σ话銓⒃噲D無(wú)論其它深度提示如何都調(diào)試在固定聚焦處。
[0036]圖1B是根據(jù)本發(fā)明的至少一個(gè)示例性實(shí)施方式的圖示視覺(jué)錯(cuò)誤提示的穿視顯示器的透視圖。雖然圖1B圖示關(guān)于穿視顯示器的視覺(jué)錯(cuò)誤提示，但是相似視覺(jué)錯(cuò)誤提示可能在例如包括嵌入顯示器的其它類(lèi)型的顯示器中存在。此外，取決于穿視顯示器運(yùn)用的渲染系統(tǒng)，顯示器無(wú)需具有以下描述的相同部件。例如取決于用于顯示器的渲染器115，光導(dǎo)117可以存在或者可以不存在。如這一示例中所示，圖1B從俯視圖描繪顯示器101的一個(gè)子顯示器105a (例如顯示器101的眼鏡的一個(gè)透鏡)。如從俯視圖所示，對(duì)象距離109 (例如從用戶(hù)的眼睛113到物體103的感知距離)和可表示距離111 (例如從用戶(hù)的眼睛113到表示107a的感知距離)在子顯示器105a正在固定聚焦模式中操作時(shí)未重合。例如在固定聚焦模式中操作時(shí)，子顯示器105a可以通過(guò)光導(dǎo)117(例如透鏡)投影(例如經(jīng)由渲染器115)表示107a以在可表示距離111 (例如通常為固定聚焦模式設(shè)置于無(wú)窮遠(yuǎn))被用戶(hù)感知。然而在這一示例中，可表示距離111 (例如無(wú)窮遠(yuǎn))與感知的對(duì)象距離109 (例如有限距離)沖突。因而，由于表示107a旨在于被顯示在對(duì)象103上，所以在用于表示107a的調(diào)適在無(wú)窮距離處與用于對(duì)象103的調(diào)適在有限距離處之間的差異，可能在用戶(hù)的眼睛中產(chǎn)生視覺(jué)錯(cuò)誤提示或者沖突。
[0037]為了至少解決這些挑戰(zhàn)，這里描述的方法、裝置和計(jì)算機(jī)程序產(chǎn)品的各種實(shí)施方式引入用于基于用戶(hù)的焦距確定如何在顯示器101中給出表示107的能力。在至少一個(gè)示例性實(shí)施方式中，給出表示107，從而它們對(duì)應(yīng)于用戶(hù)的焦距。舉例而言，焦距表示從用戶(hù)的眼睛113到用戶(hù)正在聚焦或者調(diào)適于的點(diǎn)的距離。本發(fā)明的各種實(shí)施方式使得基于光學(xué)技術(shù)、非光學(xué)技術(shù)或者其組合能夠確定將如何在顯示器101中呈現(xiàn)表示。舉例而言，確定所述表示，從而可以通過(guò)光學(xué)和非光學(xué)技術(shù)減少或者消除視覺(jué)錯(cuò)誤提示或者沖突。
[0038]在至少一個(gè)示例性實(shí)施方式中，光學(xué)技術(shù)基于確定用戶(hù)的焦距、基于焦距確定焦點(diǎn)設(shè)定、然后用所確定的焦點(diǎn)設(shè)定來(lái)配置一個(gè)或者多個(gè)動(dòng)態(tài)聚焦光學(xué)元件。在至少一個(gè)示例性實(shí)施方式中，基于凝視跟蹤信息確定焦距。舉例而言，凝視跟蹤器可以測(cè)量每個(gè)眼睛的視軸線(xiàn)的相交點(diǎn)以確定眼睛的會(huì)聚距離。在凝視跟蹤器的至少一個(gè)示例性實(shí)施方式中，會(huì)聚距離然后用作每個(gè)眼睛的焦距或者焦點(diǎn)?？梢栽O(shè)想包括非光學(xué)手段的其它手段被用確定眼睛的焦距。
[0039]附加地或者備選地，可以通過(guò)用戶(hù)的用戶(hù)界面交互(例如用輸入設(shè)備選擇在用戶(hù)的顯示視野中的具體點(diǎn)以指示焦距)確定焦距。本發(fā)明的至少一個(gè)示例性實(shí)施方式使用凝視跟蹤以確定用戶(hù)的聚焦并且在近眼顯示器的每個(gè)透鏡上顯示信息的表示107，從而表示107恰當(dāng)?shù)貙?duì)應(yīng)于用戶(hù)的焦距。例如如果用戶(hù)正在聚焦于應(yīng)當(dāng)在4英尺的距離渲染的虛擬對(duì)象，則凝視跟蹤可以用來(lái)檢測(cè)到用戶(hù)聚焦于這一距離，并且動(dòng)態(tài)地改變顯示器的光學(xué)裝置的焦點(diǎn)設(shè)定以產(chǎn)生4英尺的聚焦。在至少一個(gè)示例性實(shí)施方式中，隨著用戶(hù)的焦距改變，也可以動(dòng)態(tài)地改變顯示器的動(dòng)態(tài)聚焦光學(xué)部件的焦點(diǎn)設(shè)定以將光學(xué)裝置聚焦到在用戶(hù)的凝視或者注意下的對(duì)象的距離。
[0040]圖1C描繪顯示器119的至少一個(gè)示例性實(shí)施方式，該顯示器運(yùn)用動(dòng)態(tài)聚焦光學(xué)部件以表示用于表示107的確定的焦距。更具體而言，顯示器119包括兩個(gè)動(dòng)態(tài)聚焦光學(xué)部件121a和121b，這些動(dòng)態(tài)聚焦部件的焦點(diǎn)設(shè)定可以被動(dòng)態(tài)地改變以變更它們的聚焦。設(shè)想動(dòng)態(tài)聚焦光學(xué)部件121a和121b可以使用下列技術(shù)，，比如流體學(xué)、電光學(xué)或者任何其它動(dòng)態(tài)聚焦技術(shù)。例如基于流體學(xué)的動(dòng)態(tài)聚焦部件可以包括聚焦元件，這些聚焦元件的焦點(diǎn)設(shè)定或者聚焦可以通過(guò)聚焦元件的流體注入或者緊縮來(lái)改變?；陔姽鈱W(xué)的動(dòng)態(tài)聚焦部件運(yùn)用材料，這些材料的光學(xué)性質(zhì)(例如雙折射)可以響應(yīng)于電場(chǎng)的變化而改變。光學(xué)性質(zhì)改變?nèi)缓罂梢杂脕?lái)變更基于電光學(xué)的動(dòng)態(tài)聚焦部件的焦點(diǎn)設(shè)定或者聚焦。這樣的動(dòng)態(tài)聚焦光學(xué)部件的一個(gè)優(yōu)點(diǎn)是用于支持在距離范圍內(nèi)的連續(xù)聚焦的能力。另一示例包括透鏡系統(tǒng)，該透鏡系統(tǒng)基于它的透鏡的壓電移動(dòng)而具有聚焦能力。提供本文描述的聚焦技術(shù)的示例作為示例，而不是要限制使用其它技術(shù)或者手段用于實(shí)現(xiàn)動(dòng)態(tài)聚焦。
[0041]如圖1C中所示，顯示器119是穿視顯示器，該穿視顯示器具有在觀看位置(例如用戶(hù)的眼睛113)與光導(dǎo)123之間定位的一個(gè)動(dòng)態(tài)聚焦光學(xué)部件121a，表示107通過(guò)該光導(dǎo)被呈現(xiàn)。第二動(dòng)態(tài)聚焦光學(xué)部件121b可以被定位在光導(dǎo)123與正在通過(guò)光導(dǎo)123或者穿視顯示器觀看的信息之間。以這一方式，可以獨(dú)立于焦點(diǎn)設(shè)定而控制用于校正表示107的聚焦的焦點(diǎn)設(shè)定，用于保證通過(guò)顯示器119觀看信息。在至少一個(gè)示例性實(shí)施方式中，通過(guò)顯示器119觀看的信息可以是其它表示107或者其它對(duì)象。以這一方式，多個(gè)顯示器119可以被分層以提供對(duì)表示107和通過(guò)顯示器觀看的信息二者的聚焦控制的更復(fù)雜控制。
[0042]在至少一個(gè)示例性實(shí)施方式中，顯示器可以是如下非穿視顯示器，該非穿視顯示器給出數(shù)據(jù)的表示107而未在透視圖上疊加表示107至實(shí)體世界或者其它信息。在這一示例中，顯示器將不透明并且運(yùn)用在顯示器前面的動(dòng)態(tài)聚焦光學(xué)元件以更改用于在顯示器上觀看表示107的焦點(diǎn)設(shè)定或者焦點(diǎn)。提供對(duì)動(dòng)態(tài)聚焦光學(xué)元件、光導(dǎo)、顯示器等的配置的描述作為示例，而不是要限制?？梢栽O(shè)想在任何組合中組合或者使用任何數(shù)目的在各種實(shí)施方式中描述的部件。
[0043]圖1D描繪顯示器125的至少一個(gè)示例性實(shí)施方式，該顯示器提供一種用于基于多個(gè)焦平面的動(dòng)態(tài)聚焦的光學(xué)技術(shù)。如圖所示，顯示器125包括配置為在相應(yīng)焦點(diǎn)設(shè)定或者焦距129a-129c顯示數(shù)據(jù)的表示107的三個(gè)光導(dǎo)127a_127c(出瞳擴(kuò)展器(EPE))。在這一示例中，每個(gè)光導(dǎo)127a-127c與固定的但是不同的焦點(diǎn)設(shè)定或者焦平面(例如近焦平面129a、中焦平面12%和無(wú)窮焦平面129c)關(guān)聯(lián)。根據(jù)希望的焦距，渲染器115可以選擇光導(dǎo)127a-127c中的哪個(gè)光導(dǎo)具有與希望的焦距最近的焦點(diǎn)設(shè)定。渲染器115然后可以通過(guò)選擇的光導(dǎo)或者焦平面給出表示107。在至少一個(gè)示例性實(shí)施方式中，光導(dǎo)127a-127c被彎曲以實(shí)現(xiàn)在表示107與通過(guò)顯示器127看見(jiàn)的數(shù)據(jù)(例如圖像源)之間匹配的更近焦距。舉例而言，彎曲的光導(dǎo)127a-127c可以是用于多個(gè)虛擬圖像距離的堆疊的圓柱形地或者球形地成形的EPE。雖然關(guān)于提供三個(gè)焦平面129a-129c的三個(gè)光導(dǎo)127a_127c描述圖1D的示例，但是在至少一個(gè)示例性實(shí)施方式中，例如依賴(lài)于對(duì)于在每個(gè)離散焦平面之間的焦點(diǎn)設(shè)定希望多精細(xì)的粒度，顯示器125可以被配置任何數(shù)目的光導(dǎo)或者焦平面。
[0044]如以上指出的那樣，在至少一個(gè)示例性實(shí)施方式中，除了以上描述的光學(xué)技術(shù)之外或者代替這些光學(xué)技術(shù)，還可以使用非光學(xué)技術(shù)以確定如何給出數(shù)據(jù)的表示107以減少或者避免視覺(jué)錯(cuò)誤提示或者沖突。例如顯示器(例如顯示器101、顯示器119或者顯示器125)可以確定或者生成表示107以基于(I)用戶(hù)的焦距、(2)表示107是否為用戶(hù)感興趣的主體或者(3)其組合，而創(chuàng)建深度感和聚焦。在至少一個(gè)示例性實(shí)現(xiàn)方式中，顯示器101確定用戶(hù)的焦距、然后基于焦距確定要給出的表示107。顯示器101可以例如在數(shù)據(jù)的表示107不是用戶(hù)的凝視或者聚焦的主體因而應(yīng)當(dāng)模糊時(shí)，未對(duì)焦地渲染它們。在至少一個(gè)示例性實(shí)現(xiàn)方式中，除了模糊或者離焦呈現(xiàn)之外，還可以基于焦距而改變其它渲染技術(shù)(例如陰影、轉(zhuǎn)向、顏色等)。
[0045]在至少一個(gè)示例性實(shí)施方式中，可以用深度感測(cè)感測(cè)信息來(lái)增強(qiáng)本發(fā)明的方法、裝置和計(jì)算機(jī)程序產(chǎn)品的各種實(shí)施方式。例如顯示器101可以包括向前深度感測(cè)相機(jī)或者其它相似技術(shù)，用于檢測(cè)在用戶(hù)的視圖中的實(shí)體對(duì)象的深度和幾何形狀。在這一情況下，顯示器101可以檢測(cè)聚焦的給定的實(shí)體對(duì)象的距離并且保證與給定的實(shí)體對(duì)象關(guān)聯(lián)的距離的任何表示107是在正確焦距的位置并且相應(yīng)地調(diào)整聚焦。
[0046]可以有利地經(jīng)由軟件、硬件、固件或者軟件和/或固件和/或硬件的組合實(shí)施本文描述的用于基于焦距來(lái)確定顯示的信息的表示的過(guò)程。例如，可以有利地經(jīng)由處理器、數(shù)字信號(hào)處理(DSP)芯片、專(zhuān)用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)等實(shí)施這里描述的過(guò)程。下文具體描述這樣的用于執(zhí)行描述的功能的示例硬件。
[0047]圖2是根據(jù)本發(fā)明的至少一個(gè)示例性實(shí)施方式的用于基于焦距來(lái)確定顯示的信息的表示的裝置200的框圖。在至少一個(gè)示例性實(shí)施方式中，裝置200與先前關(guān)于圖1描述的顯示器101、顯示器119和/或顯示器125關(guān)聯(lián)或者被結(jié)合在該顯示器中。然而可以設(shè)想其它設(shè)備或者裝備可以部署裝置200的所示硬件和部件的全部或者部分。在至少一個(gè)示例性實(shí)施方式中，裝置200被編程(例如經(jīng)由計(jì)算機(jī)程序代碼或者指令)為如本文描述的那樣基于焦距來(lái)確定顯示的信息的表示并且包括通信機(jī)制，比如用于在裝置200的其它內(nèi)部與外部部件之間傳遞信息的總線(xiàn)210。將信息(也稱(chēng)為數(shù)據(jù))表示為可測(cè)量現(xiàn)象的物理表達(dá)，該現(xiàn)象通常為電壓、但是在其它實(shí)施方式中包括比如磁、電磁、壓力、化學(xué)、生物、分子、原子、亞原子和量子相互作用這樣的現(xiàn)象。例如北和南磁場(chǎng)或者零和非零電壓表示二進(jìn)制數(shù)(位)的兩個(gè)狀態(tài)(O，I)。其它現(xiàn)象可以表示更高基數(shù)的數(shù)字。在測(cè)量之前的多個(gè)同時(shí)量子狀態(tài)的疊加表示量子位(qubit) O 一個(gè)或者多個(gè)數(shù)的序列構(gòu)成數(shù)字?jǐn)?shù)據(jù)，該數(shù)字?jǐn)?shù)據(jù)用來(lái)表示用于字符的編號(hào)或者代碼。在至少一個(gè)示例性實(shí)施方式中，稱(chēng)為模擬數(shù)