本申請(qǐng)要求于2014年9月17日提交的、標(biāo)題為“TECHNOLOGIES FOR ADJUSTING PERSPECTIVE OF A CAPTURED IMAGE FOR DISPLAY”的序列號(hào)為14/488,516的美國(guó)實(shí)用新型專利申請(qǐng)的優(yōu)先權(quán)。

背景技術(shù)：

增強(qiáng)現(xiàn)實(shí)系統(tǒng)通過(guò)將虛擬的角色和對(duì)象投射到物理位置中來(lái)融合真實(shí)世界和虛擬世界，從而允許沉浸式的體驗(yàn)和新穎的交互模型。特別地，在一些增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，可以將虛擬的角色和對(duì)象插入到所捕獲的真實(shí)世界環(huán)境的圖像中(例如，通過(guò)將虛擬角色的二維或三維渲染覆蓋在所捕獲的真實(shí)世界環(huán)境的圖像或視頻流上)。在一些系統(tǒng)中，在所捕獲的圖像中所識(shí)別出的物理對(duì)象可以被與該物理對(duì)象相關(guān)聯(lián)的虛擬對(duì)象所替代。例如，可以在所捕獲的圖像中識(shí)別出經(jīng)識(shí)別的車輛，并且用動(dòng)畫或類似卡通的車輛對(duì)其進(jìn)行替代。

已經(jīng)在靜態(tài)計(jì)算設(shè)備和移動(dòng)計(jì)算設(shè)備兩者中實(shí)現(xiàn)了增強(qiáng)現(xiàn)實(shí)系統(tǒng)。在一些移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)中，移動(dòng)計(jì)算設(shè)備的相機(jī)(例如，位于顯示器反面的智能電話相機(jī))捕獲真實(shí)世界環(huán)境的圖像。接著，增強(qiáng)現(xiàn)實(shí)系統(tǒng)對(duì)所捕獲的圖像進(jìn)行增強(qiáng)現(xiàn)實(shí)的修改，并且在移動(dòng)計(jì)算設(shè)備的顯示器中顯示經(jīng)增強(qiáng)的圖像(例如，實(shí)時(shí)地)。以這樣的方式，用戶能夠看到符合他或她的實(shí)際的真實(shí)世界環(huán)境的虛擬世界。然而，因?yàn)橛脩艉鸵苿?dòng)計(jì)算設(shè)備的相機(jī)具有真實(shí)世界環(huán)境的不同的視角，所以沉浸式的體驗(yàn)由于受阻礙的視覺流而受到損害。例如，從用戶的視角，真實(shí)世界的對(duì)象(例如，在移動(dòng)計(jì)算設(shè)備的邊緣處的那些對(duì)象)在增強(qiáng)現(xiàn)實(shí)渲染中是重復(fù)的。

附圖說(shuō)明

在附圖中作為示例而非限制示出了在本文中所描述的概念。為了說(shuō)明的簡(jiǎn)單和清楚，在圖中所示出的元素不一定是按比例繪制的。在適當(dāng)?shù)乜紤]的情況下，可以在附圖間重復(fù)附圖標(biāo)記，以指示對(duì)應(yīng)的或類似的元素。

圖1是用于調(diào)整所捕獲的圖像的視角以供顯示的移動(dòng)計(jì)算設(shè)備的至少一個(gè)實(shí)施例的簡(jiǎn)化框圖；

圖2是由圖1的移動(dòng)計(jì)算設(shè)備所建立的環(huán)境的至少一個(gè)實(shí)施例的簡(jiǎn)化框圖；

圖3是用于調(diào)整所捕獲的圖像的視角以供圖1的移動(dòng)計(jì)算設(shè)備來(lái)顯示的方法的至少一個(gè)實(shí)施例的簡(jiǎn)化流程圖；

圖4是用于生成圖1的移動(dòng)計(jì)算設(shè)備的真實(shí)世界環(huán)境的后投影的方法的至少一個(gè)實(shí)施例的簡(jiǎn)化流程圖；

圖5是在執(zhí)行圖4的方法期間用戶拿著圖1的移動(dòng)計(jì)算設(shè)備的簡(jiǎn)化示圖；

圖6是用于生成圖1的移動(dòng)計(jì)算設(shè)備的真實(shí)世界環(huán)境的后投影的方法的至少一個(gè)實(shí)施例的簡(jiǎn)化流程圖；

圖7-8是示出了各種角度關(guān)系的用戶拿著圖1的移動(dòng)計(jì)算設(shè)備的簡(jiǎn)化示圖；

圖9是圖1的移動(dòng)計(jì)算設(shè)備的真實(shí)世界環(huán)境的簡(jiǎn)化示圖；

圖10是用戶拿著圖1的移動(dòng)計(jì)算設(shè)備并且將沒有經(jīng)調(diào)整的視角的所捕獲的對(duì)應(yīng)的圖像顯示在移動(dòng)計(jì)算設(shè)備上的示圖；

圖11是用戶拿著圖1的移動(dòng)計(jì)算設(shè)備并且將具有憑借圖3的方法的經(jīng)調(diào)整的視角的所捕獲的對(duì)應(yīng)的圖像顯示在移動(dòng)計(jì)算設(shè)備上的示圖。

具體實(shí)施方式

盡管本公開的概念容易受到各種修改和可替代的形式的影響，但其具體的實(shí)施例已經(jīng)作為示例在附圖中被示出并且將在本文中詳細(xì)地描述。然而，應(yīng)當(dāng)理解的是，沒有打算將本公開的概念限制至所公開的特定的形式，而相反，目的是覆蓋與本公開和所附權(quán)利要求相一致的所有修改、等同物、和替代物。

在說(shuō)明書中對(duì)“一個(gè)實(shí)施例”、“實(shí)施例”、“說(shuō)明性實(shí)施例”等的引用指示所描述的實(shí)施例可以包括特定的特征、結(jié)構(gòu)、或特性，但每個(gè)實(shí)施例可以或可以不一定包括該特定的特征、結(jié)構(gòu)、或特性。此外，這樣的短語(yǔ)不一定指的是同一實(shí)施例。此外，當(dāng)結(jié)合實(shí)施例來(lái)描述特定的特征、結(jié)構(gòu)、或特性時(shí)，所主張的是結(jié)合其他實(shí)施例(無(wú)論其是否進(jìn)行了明確地描述)實(shí)現(xiàn)這樣的特征、結(jié)構(gòu)、或特性也在本領(lǐng)域技術(shù)人員的知識(shí)范圍內(nèi)。額外地，應(yīng)當(dāng)理解的是，以“至少一個(gè)A、B和C”的形式包括在列表中的項(xiàng)目可以意味著(A)；(B)；(C)；(A和B)；(B和C)；或者(A、B和C)。類似地，以“A、B或C中的至少一個(gè)”的形式列出的項(xiàng)目可以意味著(A)；(B)；(C)；(A和B)；(B和C)；或者(A、B和C)。

在一些情況下，可以以硬件、固件、軟件或其任何組合來(lái)實(shí)現(xiàn)所公開的實(shí)施例。還可以將所公開的實(shí)施例實(shí)現(xiàn)為由一個(gè)或多個(gè)瞬時(shí)性或者非瞬時(shí)性機(jī)器可讀(例如，計(jì)算機(jī)可讀)存儲(chǔ)介質(zhì)所實(shí)行或存儲(chǔ)在其上的指令，所述指令可以由一個(gè)或多個(gè)處理器來(lái)讀取或執(zhí)行。機(jī)器可讀存儲(chǔ)介質(zhì)可以被實(shí)施為用于以能夠由機(jī)器讀取的形式存儲(chǔ)或發(fā)送信息的任何存儲(chǔ)設(shè)備、機(jī)制、或其他物理結(jié)構(gòu)(例如，易失性或非易失性存儲(chǔ)器、媒體盤、或其他介質(zhì)設(shè)備)。

在附圖中，可以以具體的布置和/或順序來(lái)示出一些結(jié)構(gòu)或方法特征。然而，應(yīng)當(dāng)理解的是，這樣的具體的布置和/或順序不是必需的。相反，在一些實(shí)施例中，可以以與在說(shuō)明性附圖中所示出的不同的方式和/或順序來(lái)布置這樣的特征。額外地，將結(jié)構(gòu)或方法特征包含在特定的附圖中不意味著暗示在所有實(shí)施例中都需要這樣的特征，而在一些實(shí)施例中，這樣的特征可以不被包括，或者可以與其他特征進(jìn)行組合。

現(xiàn)在參考圖1，示出了用于調(diào)整所捕獲的圖像的視角以供顯示的移動(dòng)計(jì)算設(shè)備100。在使用中，如在下文中更加詳細(xì)地描述的，移動(dòng)計(jì)算設(shè)備100被配置為捕獲移動(dòng)計(jì)算設(shè)備100的用戶的圖像和移動(dòng)計(jì)算設(shè)備100的真實(shí)世界環(huán)境的圖像。移動(dòng)計(jì)算設(shè)備100還分析所捕獲的用戶的圖像來(lái)確定用戶的眼睛相對(duì)于移動(dòng)計(jì)算設(shè)備100的定位。如在下文中所討論的，通過(guò)這樣做，移動(dòng)計(jì)算設(shè)備100可以確定用戶到動(dòng)計(jì)算設(shè)備100的距離，并且識(shí)別/檢測(cè)在所捕獲的圖像中用戶的眼睛的位置。額外地，移動(dòng)計(jì)算設(shè)備100確定在所捕獲的真實(shí)世界的環(huán)境中的一個(gè)或多個(gè)對(duì)象(例如，在所捕獲的場(chǎng)景中的主要對(duì)象和/或其他對(duì)象)相對(duì)于移動(dòng)計(jì)算設(shè)備100的距離。例如，如在下文中所描述的，取決于特定的實(shí)施例，移動(dòng)計(jì)算設(shè)備100可以分析所捕獲的真實(shí)世界環(huán)境的圖像、利用深度或距離感測(cè)數(shù)據(jù)、或者以其他方式確定對(duì)象的相對(duì)距離。移動(dòng)計(jì)算設(shè)備100基于真實(shí)世界的對(duì)象相對(duì)于移動(dòng)計(jì)算設(shè)備100的距離、用戶的眼睛相對(duì)于移動(dòng)計(jì)算設(shè)備100的定位、以及一個(gè)或多個(gè)設(shè)備參數(shù)來(lái)確定真實(shí)世界環(huán)境到移動(dòng)計(jì)算設(shè)備100的顯示器120的后投影。如在下文中所討論的，可以將后投影實(shí)施為后投影圖像、可用于生成后投影圖像的一組數(shù)據(jù)(例如，像素值)、和/或指示對(duì)應(yīng)的后投影圖像的其他數(shù)據(jù)。如在下文中所討論的，設(shè)備參數(shù)可以包括例如：移動(dòng)計(jì)算設(shè)備100的相機(jī)的焦距、顯示器120或者移動(dòng)計(jì)算設(shè)備100本身的大小、移動(dòng)計(jì)算設(shè)備100的組件相對(duì)于彼此或參考點(diǎn)的位置、和/或與移動(dòng)計(jì)算設(shè)備100相關(guān)聯(lián)的其他相關(guān)信息。移動(dòng)計(jì)算設(shè)備100基于所確定的后投影來(lái)顯示圖像，并且通過(guò)這樣做，可以應(yīng)用虛擬對(duì)象、角色、和/或場(chǎng)景，或者以其他方式修改圖像以用于增強(qiáng)現(xiàn)實(shí)。應(yīng)當(dāng)理解的是，在本文中所描述的技術(shù)產(chǎn)生后投影至顯示器120的圖像，以使得在顯示器120上可見的圖像直接地或者接近直接地映射至真實(shí)世界，從而使得用戶感覺如同她在通過(guò)窗戶看著真實(shí)世界環(huán)境一樣。即，在說(shuō)明性實(shí)施例中，所顯示的圖像包括從與用戶相同的視角觀看時(shí)與移動(dòng)計(jì)算設(shè)備100所遮擋的內(nèi)容相同的內(nèi)容。

可以將移動(dòng)計(jì)算設(shè)備100實(shí)施為能夠執(zhí)行在本文中所描述的功能的任何類型的計(jì)算設(shè)備。例如，可以將移動(dòng)計(jì)算設(shè)備100實(shí)施為智能電話、蜂窩電話、可穿戴計(jì)算設(shè)備、個(gè)人數(shù)字助理、移動(dòng)互聯(lián)網(wǎng)設(shè)備、平板計(jì)算機(jī)、上網(wǎng)本、筆記本計(jì)算機(jī)、超極本、膝上型計(jì)算機(jī)、和/或任何其他移動(dòng)計(jì)算/通信設(shè)備。如在圖1中所示出的，說(shuō)明性移動(dòng)計(jì)算設(shè)備100包括處理器110、輸入/輸出(“I/O”)子系統(tǒng)112、存儲(chǔ)器114、數(shù)據(jù)存儲(chǔ)116、相機(jī)系統(tǒng)118、顯示器120、一個(gè)或多個(gè)傳感器122、以及通信電路124。當(dāng)然，在其他實(shí)施例中，移動(dòng)計(jì)算設(shè)備100可以包括其他或額外的組件，例如在一般的計(jì)算設(shè)備中常常發(fā)現(xiàn)的那些組件(例如，各種輸入/輸出設(shè)備和/或其他組件)。額外地，在一些實(shí)施例中，可以將說(shuō)明性組件中的一個(gè)或多個(gè)組件并入另一個(gè)組件或者以其他方式形成另一個(gè)組件。例如在一些實(shí)施例中，可以將存儲(chǔ)器114或其部分并入處理器110。

處理器110可以被實(shí)施為能夠執(zhí)行在本文中所描述的功能的任何類型的處理器。例如，處理器110可以被實(shí)施為單核或多核處理器、數(shù)字信號(hào)處理器、微控制器、或者其它處理器或處理/控制電路。類似地，存儲(chǔ)器114可以被實(shí)施為能夠執(zhí)行在本文中所描述的功能的任何類型的易失性或非易失性存儲(chǔ)器或數(shù)據(jù)存儲(chǔ)。在操作中，存儲(chǔ)器114可以存儲(chǔ)在移動(dòng)計(jì)算設(shè)備100的操作期間所使用的各種數(shù)據(jù)和軟件，例如，操作系統(tǒng)、應(yīng)用、程序、庫(kù)、和驅(qū)動(dòng)程序。存儲(chǔ)器114經(jīng)由I/O子系統(tǒng)112通信地耦合至處理器110，其中I/O子系統(tǒng)112可以被實(shí)施為促進(jìn)與處理器110、存儲(chǔ)器114、以及移動(dòng)計(jì)算設(shè)備100的其它組件的輸入/輸出操作的電路和/或組件。例如，I/O子系統(tǒng)112可以被實(shí)施為或者以其他方式包括：存儲(chǔ)器控制器集線器、輸入/輸出控制集線器、固件設(shè)備、通信鏈路(即，點(diǎn)對(duì)點(diǎn)鏈路、總線鏈路、導(dǎo)線、電纜、光導(dǎo)、印刷電路板跡線等)、和/或促進(jìn)輸入/輸出操作的其它組件和子系統(tǒng)。在一些實(shí)施例中，I/O子系統(tǒng)112可以形成片上系統(tǒng)(SoC)的一部分，并且連同處理器110、存儲(chǔ)器114、以及移動(dòng)計(jì)算設(shè)備100的其它組件一起被包含在單個(gè)集成電路芯片上。

數(shù)據(jù)存儲(chǔ)116可以被實(shí)施為針對(duì)數(shù)據(jù)的短期存儲(chǔ)或長(zhǎng)期存儲(chǔ)而配置的任何類型的設(shè)備或多個(gè)設(shè)備，例如，存儲(chǔ)器設(shè)備和電路、存儲(chǔ)器卡、硬盤驅(qū)動(dòng)器、固態(tài)驅(qū)動(dòng)器、或其他數(shù)據(jù)存儲(chǔ)設(shè)備。在說(shuō)明性實(shí)施例中，數(shù)據(jù)存儲(chǔ)116可以存儲(chǔ)移動(dòng)計(jì)算設(shè)備100的設(shè)備參數(shù)130。應(yīng)當(dāng)理解的是，特定的設(shè)備參數(shù)130可以取決于特定的實(shí)施例而不同。設(shè)備參數(shù)130可以包括例如，與移動(dòng)計(jì)算設(shè)備100、顯示器120、和/或移動(dòng)計(jì)算設(shè)備100的另一個(gè)組件的大小/形狀相關(guān)聯(lián)的信息或數(shù)據(jù)、與移動(dòng)計(jì)算設(shè)備100的一個(gè)或多個(gè)相機(jī)相關(guān)的固有參數(shù)或其他數(shù)據(jù)(例如，焦距、基本點(diǎn)、變焦信息等)、移動(dòng)計(jì)算設(shè)備100的組件相對(duì)于參考點(diǎn)的位置(例如，標(biāo)識(shí)移動(dòng)計(jì)算設(shè)備100的組件的相對(duì)位置的坐標(biāo)系統(tǒng))、和/或與移動(dòng)計(jì)算設(shè)備100相關(guān)聯(lián)的其他信息。額外地，在一些實(shí)施例中，數(shù)據(jù)存儲(chǔ)116和/或存儲(chǔ)器114可以存儲(chǔ)在移動(dòng)計(jì)算設(shè)備100的操作期間有用的各種其他數(shù)據(jù)。

相機(jī)系統(tǒng)118包括被配置為捕獲圖像或視頻(即，圖像或幀的集合)以及能夠執(zhí)行在本文中所描述的功能的多個(gè)相機(jī)。應(yīng)當(dāng)理解的是，可以將相機(jī)系統(tǒng)118的相機(jī)中的每個(gè)相機(jī)實(shí)施為適用于捕獲圖像的任何外圍設(shè)備或集成的設(shè)備，例如，靜物相機(jī)、視頻相機(jī)、或能夠捕獲視頻和/或圖像的其他設(shè)備。在說(shuō)明性實(shí)施例中，相機(jī)系統(tǒng)118包括面對(duì)用戶的相機(jī)126和面對(duì)環(huán)境的相機(jī)128。如在下文中所指示的，可以將面對(duì)用戶的相機(jī)126、面對(duì)環(huán)境的相機(jī)128、和/或相機(jī)系統(tǒng)118的其他相機(jī)中的每個(gè)相機(jī)實(shí)施為二維(2D)相機(jī)(例如，RGB相機(jī))或三維(3D)相機(jī)。這樣的3D相機(jī)包括例如，深度相機(jī)、雙焦相機(jī)、和/或以其他方式能夠生成深度圖像、通道、或流的相機(jī)。例如，一個(gè)或多個(gè)相機(jī)可以包括紅外(IR)投影儀和IR傳感器，以使得IR傳感器通過(guò)分析由IR投影儀投影在場(chǎng)景上的光圖案來(lái)估計(jì)場(chǎng)景中的對(duì)象的深度值。在另一個(gè)實(shí)施例中，相機(jī)系統(tǒng)118的相機(jī)中的一個(gè)或多個(gè)相機(jī)包括至少兩個(gè)鏡頭和對(duì)應(yīng)的傳感器，它們被配置為從場(chǎng)景的至少兩個(gè)不同的視點(diǎn)來(lái)捕獲圖像(例如，立體相機(jī))。

如在下文中更加詳細(xì)地描述的，面對(duì)用戶的相機(jī)126被配置為捕獲移動(dòng)計(jì)算設(shè)備100的用戶的圖像。特別地，面對(duì)用戶的相機(jī)126捕獲用戶的臉的圖像，所述圖像可以被分析以確定用戶的眼睛相對(duì)于移動(dòng)計(jì)算設(shè)備100(例如，相對(duì)于面對(duì)用戶的相機(jī)126或者相對(duì)于移動(dòng)計(jì)算設(shè)備100的另一個(gè)參考點(diǎn))的位置。面對(duì)環(huán)境的相機(jī)128捕獲移動(dòng)計(jì)算設(shè)備100的真實(shí)世界環(huán)境的圖像。在說(shuō)明性實(shí)施例中，面對(duì)用戶的相機(jī)126和面對(duì)環(huán)境的相機(jī)128位于移動(dòng)計(jì)算設(shè)備100的相反側(cè)，并且因此具有相反方向的視場(chǎng)。特別地，面對(duì)用戶的相機(jī)126與顯示器120在移動(dòng)計(jì)算設(shè)備100的相同側(cè)，以使得面對(duì)用戶的相機(jī)126可以在用戶查看顯示器120時(shí)捕獲她的圖像。

可以將移動(dòng)計(jì)算設(shè)備100的顯示器120實(shí)施為信息可以在其上被顯示給移動(dòng)計(jì)算設(shè)備100的用戶的任何類型的顯示器。此外，顯示器120可以被實(shí)施為或者以其他方式使用任何合適的顯示技術(shù)，所述顯示技術(shù)包括例如，液晶顯示(LCD)、發(fā)光二極管(LED)顯示、陰極射線管(CRT)顯示、等離子顯示、觸摸屏顯示、和/或其他顯示技術(shù)。盡管在圖1的說(shuō)明性實(shí)施例中僅僅示出了一個(gè)顯示器120，但在其他實(shí)施例中，移動(dòng)計(jì)算設(shè)備100可以包括多個(gè)顯示器120。

如在圖1中所示出的，移動(dòng)計(jì)算設(shè)備100可以包括被配置為收集當(dāng)執(zhí)行在本文中所描述的功能時(shí)有用的數(shù)據(jù)的一個(gè)或多個(gè)傳感器122。例如，傳感器122可以包括可以用于確定對(duì)象與移動(dòng)計(jì)算設(shè)備100的距離的深度傳感器。額外地，在一些實(shí)施例中，傳感器122可以包括加速度計(jì)、陀螺儀、和/或磁力計(jì)以確定移動(dòng)計(jì)算設(shè)備100的相對(duì)朝向。在各種實(shí)施例中，傳感器122可以被實(shí)施為或者以其他方式包括例如，接近度傳感器、光學(xué)傳感器、光傳感器、音頻傳感器、溫度傳感器、運(yùn)動(dòng)傳感器、壓電傳感器、和/或其他類型的傳感器。當(dāng)然，移動(dòng)計(jì)算設(shè)備100還可以包括被配置為促進(jìn)傳感器122的使用的組件和/或設(shè)備。

通信電路124可以被實(shí)施為能夠支持移動(dòng)計(jì)算設(shè)備100與其他遠(yuǎn)程設(shè)備通過(guò)網(wǎng)絡(luò)(未示出)的通信的任何通信電路、設(shè)備、或其集合。例如，在一些實(shí)施例中，移動(dòng)計(jì)算設(shè)備100可以將在本文中所描述的功能中的一個(gè)或多個(gè)功能(例如，對(duì)后投影的確定)卸載至遠(yuǎn)程計(jì)算設(shè)備。通信電路124可以被配置為使用任何一個(gè)或多個(gè)通信技術(shù)(例如，無(wú)線或有線通信)和相關(guān)聯(lián)的協(xié)議(例如，以太網(wǎng)、WiMAX等)來(lái)影響這樣的通信。

現(xiàn)在參考圖2，在使用中，移動(dòng)計(jì)算設(shè)備100建立了用于調(diào)整所捕獲的圖像的視角以供在移動(dòng)計(jì)算設(shè)備100的顯示器120上顯示的環(huán)境200。如在下文中所討論的，移動(dòng)計(jì)算設(shè)備100利用面對(duì)用戶的相機(jī)126來(lái)捕獲用戶的圖像，并且利用面對(duì)環(huán)境的相機(jī)128來(lái)捕獲移動(dòng)計(jì)算設(shè)備100的真實(shí)世界環(huán)境的圖像。此外，移動(dòng)計(jì)算設(shè)備基于由面對(duì)用戶的相機(jī)126所捕獲的圖像來(lái)確定用戶的眼睛相對(duì)于移動(dòng)計(jì)算設(shè)備100的定位，并且基于由面對(duì)環(huán)境的相機(jī)128所捕獲的圖像來(lái)確定真實(shí)世界環(huán)境中的對(duì)象相對(duì)于移動(dòng)計(jì)算設(shè)備100的距離。接著，移動(dòng)計(jì)算設(shè)備100生成真實(shí)世界對(duì)象到顯示器120的后投影，并且基于所生成的后投影來(lái)在顯示器120上顯示對(duì)應(yīng)的圖像(例如，包括增強(qiáng)現(xiàn)實(shí)修改)。

移動(dòng)計(jì)算設(shè)備100的說(shuō)明性環(huán)境200包括圖像捕獲模塊202、眼睛追蹤模塊204、對(duì)象距離確定模塊206、圖像投影模塊208、以及顯示模塊210?？梢詫h(huán)境200的模塊中的每個(gè)模塊實(shí)施為硬件、軟件、固件、或其組合。例如，在實(shí)施例中，可以將環(huán)境200的模塊中的每個(gè)模塊實(shí)施為電路(例如，圖像捕獲電路、眼睛追蹤電路、對(duì)象距離確定電路、圖像投影電路、以及顯示電路)。額外地，在一些實(shí)施例中，說(shuō)明性模塊中的一個(gè)或多個(gè)模塊可以形成另一個(gè)模塊的一部分。例如，在一些實(shí)施例中，圖像投影模塊208可以形成顯示模塊210的一部分。

圖像捕獲模塊202控制相機(jī)系統(tǒng)118(例如，面對(duì)用戶的相機(jī)126和面對(duì)環(huán)境的相機(jī)128)來(lái)在相應(yīng)的相機(jī)126、128的視場(chǎng)內(nèi)捕獲圖像。例如，如在本文中所描述的，面對(duì)用戶的相機(jī)126被配置為捕獲用戶的臉的圖像(例如，以供眼睛檢測(cè)/追蹤)。應(yīng)當(dāng)理解的是，移動(dòng)計(jì)算設(shè)備100可以檢測(cè)和/或追蹤用戶的眼睛中的一個(gè)或兩個(gè)眼睛，并且因此，在說(shuō)明性實(shí)施例中，由面對(duì)用戶的相機(jī)126所捕獲以供移動(dòng)計(jì)算設(shè)備100分析的圖像包括用戶的眼睛中的至少一個(gè)眼睛。盡管有時(shí)出于描述的簡(jiǎn)單和清楚的目的關(guān)于用戶的單個(gè)眼睛而在本文中討論了眼睛追蹤和分析，但在本文中所描述的技術(shù)等同地應(yīng)用至對(duì)用戶的兩個(gè)眼睛的檢測(cè)/追蹤。額外地，如在本文中所討論的，面對(duì)環(huán)境的相機(jī)128被配置為捕獲移動(dòng)計(jì)算設(shè)備100的真實(shí)世界環(huán)境的圖像。盡管為了簡(jiǎn)單起見，這樣的所捕獲的圖像常常在本文中被描述為具有單個(gè)主要對(duì)象，但應(yīng)當(dāng)理解的是，所捕獲的場(chǎng)景可以包括任何數(shù)量的主要對(duì)象(獨(dú)特的或者以其他方式重要的對(duì)象)。

眼睛追蹤模塊204確定用戶的眼睛相對(duì)于移動(dòng)計(jì)算設(shè)備100(例如，相對(duì)于面對(duì)用戶的相機(jī)126或另一個(gè)參考點(diǎn))的位置/定位。通過(guò)這樣做，眼睛追蹤模塊204檢測(cè)在由面對(duì)用戶的相機(jī)126所捕獲的圖像中一個(gè)或多個(gè)人的眼睛的存在，并且確定在所捕獲的圖像(即，與眼睛相關(guān)聯(lián)的圖像的一部分)中待追蹤的眼睛的位置。為此，眼睛追蹤模塊204可以使用任何合適的技術(shù)、算法、和/或圖像濾波器(例如，邊緣檢測(cè)和圖像分割)。在一些實(shí)施例中，眼睛追蹤模塊204確定在所捕獲的圖像中用戶的臉的位置，并且利用用戶的臉的位置來(lái)例如減小被分析以定位用戶的眼睛的所捕獲的圖像的區(qū)域。額外地，在一些實(shí)施例中，眼睛追蹤模塊204分析用戶的眼睛以確定用戶的眼睛的各種特性/特征(例如，閃光位置、虹膜位置、瞳孔位置、虹膜-瞳孔對(duì)比、眼睛的大小/形狀、和/或其他特性)，從而確定用戶的視線方向。例如可以使用用戶的視線方向來(lái)確定用戶是否在看著顯示器120、在由面對(duì)環(huán)境的相機(jī)所捕獲的場(chǎng)景中識(shí)別用戶的視線所指向的對(duì)象(例如，主要對(duì)象)、確定用戶的眼睛的相對(duì)位置或定位(例如，在三維空間中)、和/或出于其他目的。額外地，在一些實(shí)施例中，眼睛追蹤模塊204還可以確定用戶的頭的朝向或者以其他方式確定用戶的頭的姿勢(shì)。

如在下文中所描述的，在確定用戶的眼睛相對(duì)于移動(dòng)計(jì)算設(shè)備100的定位時(shí)，眼睛追蹤模塊204確定用戶眼睛相對(duì)于移動(dòng)計(jì)算設(shè)備100(例如，相對(duì)于面對(duì)用戶的相機(jī)126或者另一個(gè)參考點(diǎn))的距離。應(yīng)當(dāng)理解的是，眼睛追蹤模塊204可以利用任何合適的算法和/或技術(shù)來(lái)這樣做。例如，在一些實(shí)施例中，可以將面對(duì)用戶的相機(jī)126實(shí)施為深度相機(jī)或者能夠生成與在所捕獲的場(chǎng)景中的對(duì)象的距離相對(duì)應(yīng)的數(shù)據(jù)(例如，深度流或者深度圖像)的其他3D相機(jī)。在另一個(gè)實(shí)施例中，眼睛追蹤模塊204可以結(jié)合用戶的臉的已知的近似的大小來(lái)使用臉部檢測(cè)，以估計(jì)用戶的臉與移動(dòng)計(jì)算設(shè)備100的距離。在另一個(gè)實(shí)施例中，眼睛追蹤模塊204可以分析與用戶的眼睛相對(duì)應(yīng)的所捕獲的區(qū)域，以找到從用戶的角膜的光的反射(即，閃光)和/或瞳孔?；谀切┓瓷?，眼睛追蹤模塊204可以確定用戶的眼睛相對(duì)于移動(dòng)計(jì)算設(shè)備100的位置或定位(例如，在三維空間中)。此外，在一些事實(shí)例中，眼睛追蹤模塊204可以結(jié)合在所捕獲的圖像中用戶的眼睛的位置而利用由傳感器122所生成的數(shù)據(jù)(例如，深度/距離信息)來(lái)確定用戶的眼睛相對(duì)于移動(dòng)計(jì)算設(shè)備100的位置。

對(duì)象距離確定模塊206確定由面對(duì)環(huán)境的相機(jī)128所捕獲的真實(shí)世界環(huán)境中的一個(gè)或多個(gè)對(duì)象相對(duì)于移動(dòng)計(jì)算設(shè)備100(相對(duì)于面對(duì)環(huán)境的相機(jī)128或者相對(duì)于移動(dòng)計(jì)算設(shè)備100的另一個(gè)參考點(diǎn))的距離。如在上文中所指示的，在面對(duì)環(huán)境的相機(jī)128的視場(chǎng)內(nèi)并且因此由面對(duì)環(huán)境的相機(jī)128所捕獲的真實(shí)世界環(huán)境可以包括任何數(shù)量的對(duì)象。從而，取決于特定的實(shí)施例，對(duì)象距離確定模塊206可以確定對(duì)象中的每個(gè)對(duì)象與移動(dòng)計(jì)算設(shè)備100的距離或者對(duì)象的子集(例如，單個(gè)對(duì)象)與移動(dòng)計(jì)算設(shè)備100的距離。例如，在一些實(shí)施例中，對(duì)象距離確定模塊206識(shí)別針對(duì)其確定距離的所捕獲的對(duì)象中的主要對(duì)象。這樣的主要對(duì)象可以是例如用戶的視線所指向的對(duì)象或者場(chǎng)景中的主對(duì)象。在一些實(shí)施例中，為了簡(jiǎn)單起見，對(duì)象距離確定模塊206假定場(chǎng)景中的對(duì)象中的每個(gè)對(duì)象距離移動(dòng)計(jì)算設(shè)備100大約相同的距離。此外，在一些實(shí)施例中，對(duì)象距離確定模塊206假定或者以其他方式將對(duì)象與移動(dòng)計(jì)算設(shè)備100的距離設(shè)置為預(yù)先定義的距離。例如，預(yù)先定義的距離可以是顯著地大于面對(duì)環(huán)境的相機(jī)128的焦距的值、近似無(wú)窮的值(可用數(shù)空間中的最大數(shù))、或者另一個(gè)預(yù)先定義的距離值。為了便于討論，表示無(wú)窮的數(shù)在本文中可以簡(jiǎn)單地被稱為“無(wú)窮”。

應(yīng)當(dāng)理解的是，對(duì)象距離確定模塊206可以使用任何合適的技術(shù)和/或算法來(lái)確定真實(shí)世界環(huán)境中的對(duì)象相對(duì)于移動(dòng)計(jì)算設(shè)備100的距離。例如，在一些實(shí)施例中，對(duì)象距離確定模塊206可以使用在上文中所描述的關(guān)于確定(即，由眼睛追蹤模塊204)用戶相對(duì)于移動(dòng)計(jì)算設(shè)備100的距離的技術(shù)和算法中的一個(gè)或多個(gè)技術(shù)和算法。特別地，可以將面對(duì)環(huán)境的相機(jī)128實(shí)施為深度相機(jī)或者生成用于確定所捕獲的圖像中對(duì)象的距離的深度數(shù)據(jù)的其他3D相機(jī)。額外地或可替代地，在一些實(shí)施例中，對(duì)象距離確定模塊206可以參考關(guān)于某些對(duì)象的大小的所存儲(chǔ)的數(shù)據(jù)來(lái)估計(jì)對(duì)象與移動(dòng)計(jì)算設(shè)備100的距離。在另一個(gè)實(shí)施例中，對(duì)象距離確定模塊206可以利用由傳感器122所生成的數(shù)據(jù)(例如，深度/距離信息)來(lái)確定對(duì)象相對(duì)于移動(dòng)計(jì)算設(shè)備100的距離和/或位置。當(dāng)然，在一些實(shí)施例中，對(duì)象距離確定模塊206可以將特定對(duì)象的距離指定為預(yù)先定義的值。例如，對(duì)象距離確定模塊206可以響應(yīng)于確定對(duì)象的距離超過(guò)預(yù)先定義的閾值而假定對(duì)象是無(wú)窮遠(yuǎn)的。即，在一些實(shí)施例中，可以將距移動(dòng)計(jì)算設(shè)備100至少閾值距離(例如，四米)的對(duì)象視為例如好像它們距移動(dòng)計(jì)算設(shè)備100無(wú)窮遠(yuǎn)。從這樣的實(shí)施例可以理解，運(yùn)算偏差可以變得可忽略不計(jì)(例如，基于十米的距離和二十米的距離的運(yùn)算可以得出大約相同的結(jié)果)。如在下文中所描述的，可以使用對(duì)象相對(duì)于移動(dòng)計(jì)算設(shè)備100(例如，相對(duì)于相機(jī)128)的距離來(lái)確定對(duì)象相對(duì)于移動(dòng)計(jì)算設(shè)備100的位置，并且生成真實(shí)世界環(huán)境的后投影(例如，基于設(shè)備參數(shù)130)。

圖像投影模塊208生成由面對(duì)環(huán)境的相機(jī)128所捕獲的真實(shí)世界環(huán)境到顯示器120的后投影。在說(shuō)明性實(shí)施例中，圖像投影模塊208基于以下參數(shù)來(lái)生成后投影，所述參數(shù)包括：真實(shí)世界環(huán)境中的對(duì)象相對(duì)于移動(dòng)計(jì)算設(shè)備100的距離(例如，無(wú)窮、預(yù)先定義的距離、或者經(jīng)確定的距離)、用戶的眼睛相對(duì)于移動(dòng)計(jì)算設(shè)備100的定位/位置、和/或移動(dòng)計(jì)算設(shè)備100的設(shè)備參數(shù)(例如，相機(jī)126、128的固有參數(shù)、移動(dòng)計(jì)算設(shè)備100或顯示器120的大小等)。如在上文中所指示的，通過(guò)將真實(shí)世界環(huán)境后投影至顯示器120(即，朝向用戶的眼睛)而將移動(dòng)計(jì)算設(shè)備100所遮擋的可視內(nèi)容示出在顯示器120上，以使得用戶感覺到好像她在通過(guò)窗口看。換句話說(shuō)，由于邊緣周圍的對(duì)象不在所顯示的圖像中重復(fù)而保持了視覺連續(xù)性。應(yīng)當(dāng)理解的是，圖像投影模塊208可以利用任何合適的技術(shù)和/或算法來(lái)生成后投影圖像，以供在移動(dòng)計(jì)算設(shè)備100的顯示器120上顯示。如在下文中所描述的，圖4-8示出了用來(lái)這樣做的說(shuō)明性實(shí)施例。

顯示模塊210在顯示器120上渲染圖像以供移動(dòng)計(jì)算設(shè)備100的用戶查看。例如，顯示模塊210可以基于由圖像投影模塊208所生成的后投影來(lái)在顯示器120上渲染圖像。當(dāng)然，在一些實(shí)施例中，后投影可以不是在傳統(tǒng)意義上“投影”在顯示器120上的；相反，可以生成對(duì)應(yīng)的圖像以用于在顯示器120上渲染。此外，如在上文中所討論的，在一些實(shí)施例中，顯示模塊210可以修改后投影圖像以包括針對(duì)增強(qiáng)現(xiàn)實(shí)的虛擬的對(duì)象、角色、和/或環(huán)境，并且在顯示器120上渲染經(jīng)修改的圖像。

通信模塊212處理在移動(dòng)計(jì)算設(shè)備100與遠(yuǎn)程設(shè)備之間通過(guò)對(duì)應(yīng)的網(wǎng)絡(luò)的通信。例如，在一些實(shí)施例中，移動(dòng)計(jì)算設(shè)備100可以與遠(yuǎn)程計(jì)算設(shè)備進(jìn)行通信以將在本文中所描述的移動(dòng)計(jì)算設(shè)備100的功能中的一個(gè)或多個(gè)功能(例如，用于確定后投影圖像或者修改針對(duì)增強(qiáng)現(xiàn)實(shí)的圖像)卸載至遠(yuǎn)程計(jì)算設(shè)備。當(dāng)然，可以由遠(yuǎn)程計(jì)算設(shè)備來(lái)發(fā)送并且由移動(dòng)計(jì)算設(shè)備100的通信模塊212來(lái)接收與這樣的分析相關(guān)聯(lián)的相關(guān)數(shù)據(jù)。

現(xiàn)在參考圖3，在使用中，移動(dòng)計(jì)算設(shè)備100可以執(zhí)行用于調(diào)整所捕獲的圖像的視角以供移動(dòng)計(jì)算設(shè)備100顯示的方法300。說(shuō)明性方法300開始于方框302和310。在方框302中，移動(dòng)計(jì)算設(shè)備100利用面對(duì)用戶的相機(jī)126來(lái)捕獲用戶的臉的圖像。取決于特定的實(shí)施例，面對(duì)用戶的相機(jī)126可以連續(xù)地捕獲圖像(例如，作為視頻流)以供分析或者對(duì)用戶輸入(例如，按下按鈕)進(jìn)行響應(yīng)。在方框304中，移動(dòng)計(jì)算設(shè)備100在所捕獲的圖像中識(shí)別用戶的眼睛。如在上文中所討論的，移動(dòng)計(jì)算設(shè)備100可以利用任何合適的技術(shù)和/或算法(例如，邊緣檢測(cè)和/或圖像分割)來(lái)這樣做。此外，取決于特定的實(shí)施例，移動(dòng)計(jì)算設(shè)備100可以確定和利用用戶的眼睛中的一個(gè)或兩個(gè)眼睛的位置。

在方框306中，移動(dòng)計(jì)算設(shè)備100確定用戶的眼睛相對(duì)于面對(duì)用戶的相機(jī)126或移動(dòng)計(jì)算設(shè)備100的另一個(gè)參考點(diǎn)的定位。通過(guò)這樣做，移動(dòng)計(jì)算設(shè)備100確定用戶的距離，或者更加特別地，確定用戶的眼睛相對(duì)于面對(duì)用戶的相機(jī)126的距離。如在上文中所討論的，移動(dòng)計(jì)算設(shè)備100可以基于以下數(shù)據(jù)來(lái)進(jìn)行這樣的確定，例如，深度圖像或者由面對(duì)用戶的相機(jī)126(即，如果面對(duì)用戶的相機(jī)126是深度相機(jī)或者其他3D相機(jī))所生成的其他深度信息、用戶視線信息、由傳感器122所生成的距離信息、設(shè)備參數(shù)130、和/或其他相關(guān)數(shù)據(jù)?？梢越Y(jié)合在所捕獲的圖像中用戶的眼睛的位置來(lái)使用用戶相對(duì)于面對(duì)用戶的相機(jī)126的距離，以確定用戶的眼睛相對(duì)于面對(duì)用戶的相機(jī)126或移動(dòng)計(jì)算設(shè)備100的其他參考點(diǎn)的定位。應(yīng)當(dāng)理解的是，設(shè)備參數(shù)130可以包括與移動(dòng)計(jì)算設(shè)備100的組件相對(duì)于彼此的位置相關(guān)的信息，從而建立具有作為原點(diǎn)的參考點(diǎn)的坐標(biāo)系統(tǒng)。被選擇為原點(diǎn)的參考點(diǎn)可以取決于特定的實(shí)施例而不同，并且可以例如是面對(duì)用戶的相機(jī)126的位置、面對(duì)環(huán)境的相機(jī)128的位置、顯示器120的中心、或者另一個(gè)合適的位置。

如圖所示，在圖3的說(shuō)明性實(shí)施例中，方框302-308與方框310-314并行發(fā)生；然而，在其他實(shí)施例中，可以串行地執(zhí)行那些方框。在方框310中，移動(dòng)計(jì)算設(shè)備100利用面對(duì)環(huán)境的相機(jī)128來(lái)捕獲移動(dòng)計(jì)算設(shè)備100的真實(shí)世界環(huán)境的圖像。類似于面對(duì)用戶的相機(jī)126，取決于特定的實(shí)施例，面對(duì)環(huán)境的相機(jī)128可以連續(xù)地捕獲圖像(例如，作為視頻流)以供分析或者對(duì)諸如按下按鈕之類的用戶輸入進(jìn)行響應(yīng)。例如，在一些實(shí)施例中，用戶可以提供一些輸入以開始執(zhí)行方法300，在方法300中，移動(dòng)計(jì)算設(shè)備100執(zhí)行方框302和310中的每個(gè)方框。如在上文中所指示的，在說(shuō)明性實(shí)施例中，面對(duì)環(huán)境的相機(jī)128位于面對(duì)用戶的相機(jī)126反面，以使得面對(duì)環(huán)境的相機(jī)128具有類似于用戶的視場(chǎng)(即，在相同的大致方向上)。

在方框312中，移動(dòng)計(jì)算設(shè)備100確定對(duì)應(yīng)的真實(shí)世界環(huán)境中的一個(gè)或多個(gè)對(duì)象相對(duì)于面對(duì)環(huán)境的相機(jī)128或移動(dòng)計(jì)算設(shè)備的另一個(gè)參考點(diǎn)的距離。如在上文中所討論的，移動(dòng)計(jì)算設(shè)備100可以基于以下數(shù)據(jù)來(lái)進(jìn)行這樣的確定，例如，由面對(duì)環(huán)境的相機(jī)122(即，如果面對(duì)用戶的相機(jī)126是深度相機(jī)或者其他3D相機(jī))所生成的深度信息、由傳感器122所生成的距離信息、設(shè)備參數(shù)130、和/或其他相關(guān)數(shù)據(jù)。此外，針對(duì)其確定了相對(duì)距離的對(duì)象可以取決于特定的實(shí)施例而不同。例如，在上文中所討論的，在一些實(shí)施例中，移動(dòng)計(jì)算設(shè)備100可以確定所捕獲的圖像中的每個(gè)對(duì)象或每個(gè)主要對(duì)象的相對(duì)距離，然而在其他實(shí)施例中，移動(dòng)計(jì)算設(shè)備100可以僅僅確定所捕獲的圖像中的主對(duì)象(用戶的視線所指向的、或者以其他方式被確定為主要對(duì)象的對(duì)象)的相對(duì)距離。此外，如在上文中所指示的，在方框314中，移動(dòng)計(jì)算設(shè)備100可以將對(duì)象的距離設(shè)置為預(yù)先定義的距離。

在方框316中，移動(dòng)計(jì)算設(shè)備100基于以下參數(shù)生成真實(shí)世界環(huán)境到顯示器120的后投影，所述參數(shù)包括：真實(shí)世界對(duì)象相對(duì)于移動(dòng)計(jì)算設(shè)備100的距離(例如，經(jīng)確定的或者預(yù)先定義的距離)、用戶的眼睛相對(duì)于移動(dòng)計(jì)算設(shè)備100的定位、和/或一個(gè)或多個(gè)設(shè)備參數(shù)130(例如，相機(jī)126、128的固有參數(shù)、移動(dòng)計(jì)算設(shè)備100或顯示器120的大小等)。如在上文中所指示的，移動(dòng)計(jì)算設(shè)備100可以使用用于這樣做的任何合適的算法和/或技術(shù)來(lái)生成后投影圖像。例如，在一些實(shí)施例中，移動(dòng)計(jì)算設(shè)備100可以通過(guò)執(zhí)行如在圖4中所示出的方法400來(lái)生成后投影，而在其他實(shí)施例中，移動(dòng)計(jì)算設(shè)備100可以通過(guò)執(zhí)行如在圖6中所示出的方法600來(lái)生成后投影。當(dāng)然，應(yīng)當(dāng)理解的是，圖4和圖9的實(shí)施例是作為說(shuō)明性實(shí)施例來(lái)提供的并且不限制在本文中所描述的概念。

在方框318中，在已經(jīng)確定了后投影之后，移動(dòng)計(jì)算設(shè)備100基于所生成的后投影而在顯示器120上顯示圖像。通過(guò)這樣做，在方框320中，移動(dòng)計(jì)算設(shè)備100可以如在上文中所討論的出于增強(qiáng)現(xiàn)實(shí)的目的而修改后投影或者對(duì)應(yīng)的圖像。例如，移動(dòng)計(jì)算設(shè)備100可以將虛擬角色、對(duì)象、和/或其他虛擬特征并入所構(gòu)建的/所生成的后投影圖像中以用于在顯示器120上渲染。當(dāng)然，在一些實(shí)施例中，移動(dòng)計(jì)算設(shè)備100可以針對(duì)增強(qiáng)現(xiàn)實(shí)或其他目的而不修改后投影，以使得觀看者真實(shí)地感受到好像顯示器120是她可以通過(guò)其看到移動(dòng)計(jì)算設(shè)備100所遮擋的真實(shí)世界環(huán)境的窗口。

現(xiàn)在參考圖4，說(shuō)明性方法400開始于方框402，在方框402中，移動(dòng)計(jì)算設(shè)備100確定是否生成后投影。如果生成后投影，則在方框404中，移動(dòng)計(jì)算設(shè)備100確定從用戶的眼睛504通過(guò)顯示器120的下一顯示像素506到真實(shí)世界對(duì)象508的光線502，如在圖5中所示出的。應(yīng)當(dāng)理解的是，組成“下一”顯示像素506的顯示像素506可以取決于特定的實(shí)施例而不同。在說(shuō)明性實(shí)施例中，移動(dòng)計(jì)算設(shè)備100將在方法400的執(zhí)行期間還沒有針對(duì)其確定光線502的顯示像素506選擇為“下一”顯示像素506。還應(yīng)當(dāng)理解的是，在其他實(shí)施例中，移動(dòng)計(jì)算設(shè)備100可以確定通過(guò)顯示器120的另一個(gè)子區(qū)域(即，例如不同于顯示像素的在不同的粒度等級(jí)上的子區(qū)域)的光線502。

如在上文中所討論的，移動(dòng)計(jì)算設(shè)備100的設(shè)備參數(shù)130可以包括與移動(dòng)計(jì)算設(shè)備100的各種組件的相對(duì)位置相關(guān)的數(shù)據(jù)，并且建立例如具有作為原點(diǎn)的某參考點(diǎn)的三維坐標(biāo)系統(tǒng)。例如，在一些實(shí)施例中，面對(duì)環(huán)境的相機(jī)128可以是原點(diǎn)。應(yīng)當(dāng)理解的是，顯示器上的每個(gè)像素/點(diǎn)都位于相對(duì)于面對(duì)環(huán)境的相機(jī)128的某點(diǎn)處。從而，在一些實(shí)施例中，移動(dòng)計(jì)算設(shè)備100基于在上文中所描述的分析來(lái)確定用戶的眼睛504和對(duì)象508的對(duì)應(yīng)的三維坐標(biāo)。應(yīng)當(dāng)理解的是，在說(shuō)明性實(shí)施例中，具備有用戶的眼睛504、顯示像素506、和對(duì)象508的坐標(biāo)或相對(duì)位置，移動(dòng)計(jì)算設(shè)備100確定從用戶的眼睛504通過(guò)顯示像素506中的每個(gè)像素到對(duì)象508的對(duì)應(yīng)的光線502。

在方框406中，移動(dòng)計(jì)算設(shè)備100識(shí)別由面對(duì)環(huán)境的相機(jī)128所捕獲的、與對(duì)應(yīng)的光線502所指向的真實(shí)世界對(duì)象的定位/位置510相對(duì)應(yīng)的真實(shí)世界環(huán)境的圖像的圖像像素。例如，基于諸如面對(duì)環(huán)境的相機(jī)128的固有參數(shù)(例如，焦距)之類的設(shè)備參數(shù)130以及對(duì)象508的真實(shí)世界坐標(biāo)或相對(duì)位置，移動(dòng)計(jì)算設(shè)備100可以確定如何將由面對(duì)環(huán)境的相機(jī)128所捕獲的圖像從真實(shí)世界環(huán)境投影至所捕獲的圖像的坐標(biāo)。在這樣的實(shí)施例中，移動(dòng)計(jì)算設(shè)備100可以由此識(shí)別與光線502所指向的真實(shí)世界坐標(biāo)(即，位置510)相關(guān)聯(lián)的圖像像素。

在方框408中，移動(dòng)計(jì)算設(shè)備100確定是否剩余任何顯示像素506。如果剩余，方法400返回至方框404，在方框404中，移動(dòng)計(jì)算設(shè)備100確定從用戶的眼睛504通過(guò)下一顯示像素506到真實(shí)世界對(duì)象508的光線502。換句話說(shuō)，移動(dòng)計(jì)算設(shè)備100針對(duì)顯示器120的每個(gè)顯示像素506(或者顯示器120的其他子區(qū)域)而確定從用戶的眼睛504通過(guò)對(duì)應(yīng)的顯示像素506到真實(shí)世界環(huán)境中的對(duì)象508的光線502，并且針對(duì)每個(gè)經(jīng)確定的光線502而識(shí)別與由對(duì)應(yīng)的光線502所指向的真實(shí)世界環(huán)境中的對(duì)象的位置相對(duì)應(yīng)的、由面對(duì)環(huán)境的相機(jī)128所捕獲的真實(shí)世界環(huán)境的圖像的圖像像素。在方框410中，移動(dòng)計(jì)算設(shè)備100從所識(shí)別的圖像像素構(gòu)建圖像以用于在移動(dòng)計(jì)算設(shè)備100上顯示。在說(shuō)明性實(shí)施例中，移動(dòng)計(jì)算設(shè)備100在所生成的圖像的合適的圖像坐標(biāo)中生成具有經(jīng)識(shí)別的圖像像素的圖像。換句話說(shuō)，移動(dòng)計(jì)算設(shè)備100可以將可視內(nèi)容從每個(gè)對(duì)應(yīng)的光線502所指向的位置后投影至光線502穿過(guò)其的顯示器120上的對(duì)應(yīng)的點(diǎn)。

現(xiàn)在參考圖6，在使用中，移動(dòng)計(jì)算設(shè)備100可以執(zhí)行用于生成如在上文中所指示的移動(dòng)計(jì)算設(shè)備100的真實(shí)世界環(huán)境的后投影的方法600。說(shuō)明性方法600開始于方框602，在方框602中，移動(dòng)計(jì)算設(shè)備100確定是否生成后投影。如果確定生成后投影，則在方框604中，移動(dòng)計(jì)算設(shè)備100基于用戶706相對(duì)于面對(duì)用戶的相機(jī)126(或者移動(dòng)計(jì)算設(shè)備100的其他參考點(diǎn))的距離704和設(shè)備參數(shù)130來(lái)確定從用戶的視角的移動(dòng)計(jì)算設(shè)備100的角度大小，如參考圖7-8所示出的。如在上文中所指示的，設(shè)備參數(shù)130可以包括例如，移動(dòng)計(jì)算設(shè)備100和/或移動(dòng)計(jì)算設(shè)備100的組件的大小、形狀、和其他特性。應(yīng)當(dāng)理解的是，對(duì)象的角度大小指示從距對(duì)象已知距離的參考點(diǎn)(例如，觀察者或相機(jī))包含對(duì)象所需要的觀察角度。在說(shuō)明性實(shí)施例中，從視角點(diǎn)的對(duì)象(例如，移動(dòng)計(jì)算設(shè)備)的角度大小是根據(jù)來(lái)確定的，其中，δ是對(duì)象的角度大小，d是對(duì)應(yīng)的對(duì)象的實(shí)際大小，而D是對(duì)應(yīng)的對(duì)象與視角點(diǎn)(即，從其處確定角度大小的點(diǎn))之間的距離。然而，在其他實(shí)施例中，可以以其他方式來(lái)確定對(duì)象的角度大小。應(yīng)當(dāng)理解的是，盡管有時(shí)可以關(guān)于二維而在本文中討論了角度大小，但在本文中所描述的技術(shù)也可以應(yīng)用至三維(例如，對(duì)水平角度大小和豎直角度大小兩者進(jìn)行考慮、確定跨對(duì)象的對(duì)角線的角度大小、將三維大小投影成二維的、應(yīng)用在上文中所提供的角度大小公式的三維等價(jià)物等)。

在方框606中，移動(dòng)計(jì)算設(shè)備100確定真實(shí)世界對(duì)象710相對(duì)于用戶706的距離708。在說(shuō)明性實(shí)施例中，移動(dòng)計(jì)算設(shè)備100基于用戶706到面對(duì)用戶的相機(jī)126的距離704(見圖3的方框308)、以及真實(shí)世界對(duì)象710到面對(duì)環(huán)境的相機(jī)128(見圖3的方框312)或移動(dòng)計(jì)算設(shè)備100的其他參考點(diǎn)的距離712來(lái)進(jìn)行這樣的確定。通過(guò)這樣做，在一些實(shí)施例中，移動(dòng)計(jì)算設(shè)備100可以假定用戶706、移動(dòng)計(jì)算設(shè)備100、以及對(duì)象710是相對(duì)共線的，并且對(duì)先前計(jì)算的兩個(gè)距離求和以確定用戶706與真實(shí)世界對(duì)象710(例如，如果對(duì)象遠(yuǎn)離用戶)之間的距離708。在其他實(shí)施例中，移動(dòng)計(jì)算設(shè)備100可以采用更加復(fù)雜的算法來(lái)確定用戶706與真實(shí)世界對(duì)象710之間的距離。例如，移動(dòng)計(jì)算設(shè)備100可以基于以下參數(shù)來(lái)進(jìn)行這樣的確定，所述參數(shù)包括：移動(dòng)計(jì)算設(shè)備100、用戶706(或者更加特別地，用戶的眼睛)、以及對(duì)象710彼此或者到特定的參考點(diǎn)(例如，經(jīng)定義的原點(diǎn))的相對(duì)位置、移動(dòng)計(jì)算設(shè)備100和用戶706與移動(dòng)計(jì)算設(shè)備100之間以及移動(dòng)計(jì)算設(shè)備100與對(duì)象710之間的已知的距離704、712(例如，基于三角形的屬性)。

在方框608中，移動(dòng)計(jì)算設(shè)備100確定從用戶的視角由移動(dòng)計(jì)算設(shè)備100所遮擋的真實(shí)世界對(duì)象710的區(qū)域714。在說(shuō)明性實(shí)施例中，移動(dòng)計(jì)算設(shè)備100基于從用戶的視角的移動(dòng)計(jì)算設(shè)備100的角度大小以及真實(shí)世界對(duì)象710相對(duì)于用戶706的距離708來(lái)進(jìn)行這樣的確定。

在方框610中，移動(dòng)計(jì)算設(shè)備100基于從用戶的視角所遮擋的真實(shí)世界對(duì)象的區(qū)域714以及真實(shí)世界對(duì)象距面對(duì)環(huán)境的相機(jī)128的距離712來(lái)確定面對(duì)環(huán)境的相機(jī)128的經(jīng)校正的變焦大小。換句話說(shuō)，移動(dòng)計(jì)算設(shè)備100確定利用面對(duì)環(huán)境的相機(jī)128捕獲與從用戶的視角由移動(dòng)計(jì)算設(shè)備100所遮擋的對(duì)象710的區(qū)域714相對(duì)應(yīng)的圖像所需要的面對(duì)環(huán)境的相機(jī)128的變焦大小。如在上文中所討論的，設(shè)備參數(shù)130可以包括相機(jī)128的固有參數(shù)(例如，焦距、圖像投影參數(shù)等)。應(yīng)當(dāng)理解的是，在一些實(shí)施例中，可以使用這樣的設(shè)備參數(shù)130來(lái)識(shí)別與捕獲到相機(jī)128某一距離的環(huán)境的特定的區(qū)域相對(duì)應(yīng)的變焦大小。在一些實(shí)施例中，確定變焦大小以使得面對(duì)環(huán)境的相機(jī)128捕獲這樣的圖像，其僅僅具有與來(lái)自從用戶的視角由移動(dòng)計(jì)算設(shè)備100所遮擋的對(duì)象的區(qū)域714的對(duì)象710的可視內(nèi)容(例如，對(duì)象710的特征)相關(guān)聯(lián)的圖像像素。

在說(shuō)明性實(shí)施例的方框612中，為了確定經(jīng)校正的變焦大小，移動(dòng)計(jì)算設(shè)備100確定與從用戶的視角所遮擋的真實(shí)世界對(duì)象710的區(qū)域714相對(duì)應(yīng)的、從面對(duì)環(huán)境的相機(jī)128的視角的真實(shí)世界對(duì)象710的區(qū)域718的角度大小716。移動(dòng)計(jì)算設(shè)備100可以基于例如設(shè)備參數(shù)130和/或?qū)?yīng)的幾何學(xué)來(lái)進(jìn)行這樣的確定。即，在一些實(shí)施例中，移動(dòng)計(jì)算設(shè)備100可以基于區(qū)域714的大小、距離712、以及在上文中所提供的角度大小公式來(lái)確定角度大小716。應(yīng)當(dāng)理解的是，在一些實(shí)施例中，區(qū)域718和區(qū)域714是相同的區(qū)域，而在一些實(shí)施例中，那些原因可以在某種程度上不同。類似地，經(jīng)校正的變焦大小可以偏離生成區(qū)域718所需要的精確的變焦(例如，基于技術(shù)的、硬件的、和/或空間的限制)。在方框614中，移動(dòng)計(jì)算設(shè)備100生成具有經(jīng)校正的變焦大小的圖像以供在移動(dòng)計(jì)算設(shè)備100上顯示。例如，在一些實(shí)施例中，移動(dòng)計(jì)算設(shè)備100可以利用從同一視角但是具有不同的變焦大小的面對(duì)環(huán)境的相機(jī)128來(lái)捕獲新的圖像。在其他實(shí)施例中，移動(dòng)計(jì)算設(shè)備100可以例如修改由面對(duì)環(huán)境的相機(jī)128所捕獲的原始圖像，以生成具有期望的變焦大小和其他特性的圖像。

現(xiàn)在參考圖9-11，示出了移動(dòng)計(jì)算設(shè)備100的真實(shí)世界環(huán)境900(例如，見圖9)和用戶拿著計(jì)算設(shè)備100(見圖10-11)的簡(jiǎn)化視圖。如在上文中所討論的，真實(shí)世界環(huán)境900可以由面對(duì)環(huán)境的相機(jī)128來(lái)捕獲并且在顯示器120上渲染。此外，在利用增強(qiáng)現(xiàn)實(shí)系統(tǒng)的情況下，可以修改所捕獲的圖像以將例如虛擬角色、對(duì)象、或其他特征并入所捕獲的圖像中以供在移動(dòng)計(jì)算設(shè)備100上顯示。在沒有利用圖3的方法300的實(shí)施例中(即，如果在移動(dòng)計(jì)算設(shè)備100的顯示器120上顯示所捕獲的圖像或增強(qiáng)現(xiàn)實(shí)的經(jīng)修改的版本)，則在顯示器120上所顯示的圖像902包括在移動(dòng)計(jì)算設(shè)備100的邊緣周圍的真實(shí)世界環(huán)境900中也可見的真實(shí)世界對(duì)象904(例如，見圖10)。換句話說(shuō)，對(duì)用戶可見的某些真實(shí)世界對(duì)象904在所顯示的圖像902中是重復(fù)的，從而阻礙了視覺流。然而，在利用了圖3的方法300的實(shí)施例中，在顯示器120上所顯示的圖像906包括從與用戶相同的視角觀察的、與由移動(dòng)計(jì)算設(shè)備100所遮擋的內(nèi)容相同的可視內(nèi)容。因?yàn)楸３至怂@示的圖像906與背景真實(shí)世界環(huán)境900之間的視覺連續(xù)性，因此用戶感覺到好像她在通過(guò)窗口看著真實(shí)世界環(huán)境900一樣。

示例

以下提供了在本文中所公開的技術(shù)的說(shuō)明性示例。技術(shù)的實(shí)施例可以包括在下文中所描述的任何一個(gè)或多個(gè)示例以及在下文中所描述的示例的任何組合。

示例1包括一種用于調(diào)整所捕獲的圖像的視角以供顯示的移動(dòng)計(jì)算設(shè)備，所述移動(dòng)計(jì)算設(shè)備包括：顯示器；相機(jī)系統(tǒng)，其包括第一相機(jī)和第二相機(jī)，所述相機(jī)系統(tǒng)用于(i)利用所述第一相機(jī)捕獲所述移動(dòng)計(jì)算設(shè)備的用戶的第一圖像，并且(i)利用所述第二相機(jī)捕獲所述移動(dòng)計(jì)算設(shè)備的真實(shí)世界環(huán)境的第二圖像；眼睛追蹤模塊，其用于基于所捕獲的第一圖像來(lái)確定所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的定位；對(duì)象距離確定模塊，其用于基于所捕獲的第二圖像來(lái)確定所述真實(shí)世界環(huán)境中的對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離；圖像投影模塊，其用于基于以下參數(shù)來(lái)生成由所述第二相機(jī)所捕獲的所述真實(shí)世界環(huán)境對(duì)所述顯示器的后投影，所述參數(shù)包括：所述真實(shí)世界環(huán)境中的所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的經(jīng)確定的距離、所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的經(jīng)確定的定位、以及所述移動(dòng)計(jì)算設(shè)備的至少一個(gè)設(shè)備參數(shù)。

示例2包括示例1的主題，并且其中，生成所述后投影包括：針對(duì)所述顯示器的每個(gè)像素而確定從所述用戶的眼睛通過(guò)對(duì)應(yīng)的顯示像素到所述真實(shí)世界環(huán)境中的所述對(duì)象的光線；針對(duì)所確定的每個(gè)光線而識(shí)別與對(duì)應(yīng)的光線所指向的所述真實(shí)世界環(huán)境中的所述對(duì)象的定位相對(duì)應(yīng)的、所述真實(shí)世界環(huán)境的所述所捕獲的第二圖像的圖像像素；以及基于所識(shí)別的圖像像素來(lái)構(gòu)建后投影圖像以用在所述移動(dòng)計(jì)算設(shè)備的所述顯示器上顯示。

示例3包括示例1和示例2中的任何一個(gè)的主題，并且其中，生成所述后投影包括：確定從所述用戶的角度的所述移動(dòng)計(jì)算設(shè)備的角度大小；確定所述真實(shí)世界環(huán)境中的所述對(duì)象相對(duì)于所述用戶的距離；確定從所述用戶的視角由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的區(qū)域；基于由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的經(jīng)確定的區(qū)域以及所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離來(lái)確定所述第二相機(jī)的經(jīng)校正的變焦大??；以及基于所述經(jīng)校正的變焦大小來(lái)生成后投影圖像以供在所述移動(dòng)計(jì)算設(shè)備的所述顯示器上顯示。

示例4包括示例1-3中的任何一個(gè)的主題，并且其中，確定所述經(jīng)校正的變焦大小包括確定與從所述用戶的視角由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的所述區(qū)域相對(duì)應(yīng)的、從所述第二相機(jī)的視角的所述對(duì)象的區(qū)域的角度大小。

示例5包括示例1-4中的任何一個(gè)的主題，并且其中，所述經(jīng)校正的變焦大小是利用所述第二相機(jī)捕獲與從所述用戶的視角由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的所述區(qū)域相對(duì)應(yīng)的圖像所需要的變焦大小。

示例6包括示例1-5中的任何一個(gè)的主題，并且其中，所述經(jīng)校正的變焦大小是利用所述第二相機(jī)捕獲僅僅具有與來(lái)自從所述用戶的視角由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的所述區(qū)域的所述對(duì)象的特征相對(duì)應(yīng)的圖像像素的圖像所需要的變焦大小。

示例7包括示例1-6中的任何一個(gè)的主題，并且其中，確定從所述用戶的視角的所述移動(dòng)計(jì)算設(shè)備的所述角度大小包括基于所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離和所述移動(dòng)計(jì)算設(shè)備的大小來(lái)確定從所述用戶的視角的所述移動(dòng)計(jì)算設(shè)備的角度大??；確定所述對(duì)象相對(duì)于所述用戶的距離包括基于所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離和所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離來(lái)確定所述對(duì)象相對(duì)于所述用戶的距離；以及確定從所述用戶的視角由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的所述區(qū)域包括基于從所述用戶的視角的所述移動(dòng)計(jì)算設(shè)備的所述角度大小和所述對(duì)象相對(duì)于所述用戶的距離來(lái)確定由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的所述區(qū)域的所述角度大小。

示例8包括示例1-7中的任何一個(gè)的主題，并且其中，角度大小，δ，是根據(jù)來(lái)確定的，其中，d是對(duì)應(yīng)的對(duì)象的實(shí)際大小而D是所述對(duì)應(yīng)的對(duì)象與點(diǎn)之間的距離，所述點(diǎn)是從其確定所述角度大小的視角。

示例9包括示例1-8中的任何一個(gè)的主題，并且其中，捕獲所述用戶的所述第一圖像包括捕獲所述用戶的臉的圖像；并且確定所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的定位包括識(shí)別所述用戶的眼睛在所述用戶的臉的所述圖像中的位置。

示例10包括示例1-9中的任何一個(gè)的主題，并且其中，確定所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的定位包括確定所述用戶的眼睛距所述移動(dòng)計(jì)算設(shè)備的距離。

示例11包括示例1-10中的任何一個(gè)的主題，并且其中，確定所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的定位包括確定所述用戶的眼睛相對(duì)于所述第一相機(jī)的定位；并且確定所述真實(shí)世界環(huán)境中的所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離包括確定所述對(duì)象相對(duì)于所述第二相機(jī)的距離。

示例12包括示例1-11中的任何一個(gè)的主題，并且其中，所述第一相機(jī)具有與所述第二相機(jī)的視場(chǎng)關(guān)于所述顯示器方向相反的視場(chǎng)。

示例13包括示例1-12中的任何一個(gè)的主題，并且其中，確定所述真實(shí)世界環(huán)境中的所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離包括將所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離設(shè)置為預(yù)先定義的距離。

示例14包括示例1-13中的任何一個(gè)的主題，并且其中，所述預(yù)先定義的距離大于所述第二相機(jī)的焦距。

示例15包括示例1-14中的任何一個(gè)的主題，并且還包括顯示模塊，所述顯示模塊用于基于由所述第二相機(jī)所捕獲的所述真實(shí)世界環(huán)境的所生成的后投影來(lái)在所述顯示器上顯示圖像。

示例16包括示例1-15中的任何一個(gè)的主題，并且其中，基于所述所生成的后投影來(lái)顯示所述圖像包括顯示與被修改為包括增強(qiáng)現(xiàn)實(shí)特征的所述后投影相對(duì)應(yīng)的圖像。

示例17包括示例1-16中的任何一個(gè)的主題，其中，所述至少一個(gè)設(shè)備參數(shù)包括以下中的至少一個(gè)：(i)所述第二相機(jī)的焦距、(ii)所述顯示器的大小、(iii)所述移動(dòng)計(jì)算設(shè)備的大小、或者(iv)所述移動(dòng)計(jì)算設(shè)備的組件相對(duì)于參考點(diǎn)的位置。

示例18包括一種用于調(diào)整所捕獲的圖像的視角以供在移動(dòng)計(jì)算設(shè)備上顯示的方法，所述方法包括：由所述移動(dòng)計(jì)算設(shè)備的第一相機(jī)捕獲所述移動(dòng)計(jì)算設(shè)備的用戶的第一圖像；由所述移動(dòng)計(jì)算設(shè)備基于所捕獲的第一圖像來(lái)確定所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的定位；由不同于所述第一相機(jī)的所述移動(dòng)計(jì)算設(shè)備的第二相機(jī)來(lái)捕獲所述移動(dòng)計(jì)算設(shè)備的真實(shí)世界環(huán)境的第二圖像；由所述移動(dòng)計(jì)算設(shè)備基于所捕獲的第二圖像來(lái)確定所述真實(shí)世界環(huán)境中的對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離；以及由所述移動(dòng)計(jì)算設(shè)備基于以下參數(shù)來(lái)生成由所述第二相機(jī)所捕獲的所述真實(shí)世界環(huán)境對(duì)所述移動(dòng)計(jì)算設(shè)備的顯示器的后投影，所述參數(shù)包括：所述真實(shí)世界環(huán)境中的所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的經(jīng)確定的距離、所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的經(jīng)確定的定位、以及所述移動(dòng)計(jì)算設(shè)備的至少一個(gè)設(shè)備參數(shù)。

示例19包括示例18的主題，并且其中，生成所述后投影包括：針對(duì)所述顯示器的每個(gè)像素而確定從所述用戶的眼睛通過(guò)對(duì)應(yīng)的顯示像素到所述真實(shí)世界環(huán)境中的所述對(duì)象的光線；針對(duì)所確定的每個(gè)光線而識(shí)別與對(duì)應(yīng)的光線所指向的所述真實(shí)世界環(huán)境中的所述對(duì)象的定位相對(duì)應(yīng)的、所述真實(shí)世界環(huán)境的所述所捕獲的第二圖像的圖像像素；以及基于所識(shí)別的圖像像素來(lái)構(gòu)建后投影圖像以用在所述移動(dòng)計(jì)算設(shè)備的所述顯示器上顯示。

示例20包括示例18和示例19中的任何一個(gè)的主題，并且其中，生成所述后投影包括：確定從所述用戶的角度的所述移動(dòng)計(jì)算設(shè)備的角度大??；確定所述真實(shí)世界環(huán)境中的所述對(duì)象相對(duì)于所述用戶的距離；確定從所述用戶的視角由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的區(qū)域；基于由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的經(jīng)確定的區(qū)域以及所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離來(lái)確定所述第二相機(jī)的經(jīng)校正的變焦大?。灰约盎谒鼋?jīng)校正的變焦大小來(lái)生成后投影圖像以供在所述移動(dòng)計(jì)算設(shè)備的所述顯示器上顯示。

示例21包括示例18-20中的任何一個(gè)的主題，并且其中，確定所述經(jīng)校正的變焦大小包括確定與從所述用戶的視角由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的所述區(qū)域相對(duì)應(yīng)的、從所述第二相機(jī)的視角的所述對(duì)象的區(qū)域的角度大小。

示例22包括示例18-21中的任何一個(gè)的主題，并且其中，所述經(jīng)校正的變焦大小是利用所述第二相機(jī)捕獲與從所述用戶的視角由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的所述區(qū)域相對(duì)應(yīng)的圖像所需要的變焦大小。

示例23包括示例18-22中的任何一個(gè)的主題，并且其中，所述經(jīng)校正的變焦大小是利用所述第二相機(jī)捕獲僅僅具有與來(lái)自從所述用戶的視角由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的所述區(qū)域的所述對(duì)象的特征相對(duì)應(yīng)的圖像像素的圖像所需要的變焦大小。

示例24包括示例18-23中的任何一個(gè)的主題，并且其中，確定從所述用戶的視角的所述移動(dòng)計(jì)算設(shè)備的所述角度大小包括基于所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離和所述移動(dòng)計(jì)算設(shè)備的大小來(lái)確定從所述用戶的視角的所述移動(dòng)計(jì)算設(shè)備的角度大小；確定所述對(duì)象相對(duì)于所述用戶的距離包括基于所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離和所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離來(lái)確定所述對(duì)象相對(duì)于所述用戶的距離；以及確定從所述用戶的視角由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的所述區(qū)域包括基于從所述用戶的視角的所述移動(dòng)計(jì)算設(shè)備的所述角度大小和所述對(duì)象相對(duì)于所述用戶的距離來(lái)確定由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的所述區(qū)域。

示例25包括示例18-24中的任何一個(gè)的主題，并且其中，角度大小，δ，是根據(jù)來(lái)確定的，其中，d是對(duì)應(yīng)的對(duì)象的實(shí)際大小而D是所述對(duì)應(yīng)的對(duì)象與點(diǎn)之間的距離，所述點(diǎn)是從其確定所述角度大小的視角。

示例26包括示例18-25中的任何一個(gè)的主題，并且其中，捕獲所述用戶的所述第一圖像包括捕獲所述用戶的臉的圖像；并且確定所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的定位包括識(shí)別所述用戶的眼睛在所述用戶的臉的所述圖像中的位置。

示例27包括示例18-26中的任何一個(gè)的主題，并且其中，確定所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的定位包括確定所述用戶的眼睛具所述移動(dòng)計(jì)算設(shè)備的距離。

示例28包括示例18-27中的任何一個(gè)的主題，并且其中，確定所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的定位包括確定所述用戶的眼睛相對(duì)于所述第一相機(jī)的定位；并且確定所述真實(shí)世界環(huán)境中的所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離包括確定所述對(duì)象相對(duì)于所述第二相機(jī)的距離。

示例29包括示例18-28中的任何一個(gè)的主題，并且其中，所述第一相機(jī)具有與所述第二相機(jī)的視場(chǎng)關(guān)于所述顯示器方向相反的視場(chǎng)。

示例30包括示例18-29中的任何一個(gè)的主題，并且其中，確定所述真實(shí)世界環(huán)境中的所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離包括將所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離設(shè)置為預(yù)先定義的距離。

示例31包括示例18-30中的任何一個(gè)的主題，并且其中，所述預(yù)先定義的距離大于所述第二相機(jī)的焦距。

示例32包括示例18-31中的任何一個(gè)的主題，并且還包括顯示模塊，所述顯示模塊用于基于由所述第二相機(jī)所捕獲的所述真實(shí)世界環(huán)境的所生成的后投影來(lái)在所述顯示器上顯示圖像。

示例33包括示例18-32中的任何一個(gè)的主題，并且其中，基于所述所生成的后投影來(lái)顯示所述圖像包括顯示與被修改為包括增強(qiáng)現(xiàn)實(shí)特征的所述后投影相對(duì)應(yīng)的圖像。

示例34包括示例18-33中的任何一個(gè)的主題，其中，所述至少一個(gè)設(shè)備參數(shù)包括以下中的至少一個(gè)：(i)所述第二相機(jī)的焦距、(ii)所述顯示器的大小、(iii)所述移動(dòng)計(jì)算設(shè)備的大小、或者(iv)所述移動(dòng)計(jì)算設(shè)備的組件相對(duì)于參考點(diǎn)的位置。

示例35包括移動(dòng)計(jì)算設(shè)備，所述移動(dòng)計(jì)算設(shè)備包括處理器；以及具有存儲(chǔ)在其中的多個(gè)指令的存儲(chǔ)器，其中當(dāng)由所述處理器執(zhí)行時(shí)，所述指令使得所述移動(dòng)計(jì)算設(shè)備執(zhí)行示例18-34中的任何一個(gè)所述的方法。

示例36包括一個(gè)或多個(gè)機(jī)器可讀存儲(chǔ)介質(zhì)，所述機(jī)器可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)在其上的多個(gè)指令，其中響應(yīng)于被執(zhí)行，所述多個(gè)指令使得移動(dòng)計(jì)算設(shè)備執(zhí)行示例18-34中的任何一個(gè)所述的方法。

示例37包括用于調(diào)整所捕獲的圖像的視角以供顯示的移動(dòng)計(jì)算設(shè)備，所述移動(dòng)計(jì)算設(shè)備包括：用于由所述移動(dòng)計(jì)算設(shè)備的第一相機(jī)來(lái)捕獲所述移動(dòng)計(jì)算設(shè)備的用戶的第一圖像的單元；用于基于所捕獲的第一圖像來(lái)確定所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的定位的單元；用于由不用于所述第一相機(jī)的所述移動(dòng)計(jì)算設(shè)備的第二相機(jī)來(lái)捕獲所述移動(dòng)計(jì)算設(shè)備的真實(shí)世界環(huán)境的第二圖像的單元；用于基于所捕獲的第二圖像來(lái)確定所述真實(shí)世界環(huán)境中的對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離的單元；用于基于以下參數(shù)來(lái)生成由所述第二相機(jī)所捕獲的所述真實(shí)世界環(huán)境對(duì)所述顯示器的后投影，所述參數(shù)包括：所述真實(shí)世界環(huán)境中的所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的經(jīng)確定的距離、所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的經(jīng)確定的定位、以及所述移動(dòng)計(jì)算設(shè)備的至少一個(gè)設(shè)備參數(shù)。

示例38包括示例37的主題，并且其中，用于生成所述后投影的單元包括：用于針對(duì)所述顯示器的每個(gè)像素而確定從所述用戶的眼睛通過(guò)對(duì)應(yīng)的顯示像素到所述真實(shí)世界環(huán)境中的所述對(duì)象的光線的單元；用于針對(duì)所確定的每個(gè)光線而識(shí)別與對(duì)應(yīng)的光線所指向的所述真實(shí)世界環(huán)境中的所述對(duì)象的定位相對(duì)應(yīng)的、所述真實(shí)世界環(huán)境的所述所捕獲的第二圖像的圖像像素的單元；以及用于基于所識(shí)別的圖像像素來(lái)構(gòu)建后投影圖像以用在所述移動(dòng)計(jì)算設(shè)備的所述顯示器上顯示的單元。

示例39包括示例37和示例38中的任何一個(gè)的主題，并且其中，用于生成所述后投影的單元包括：用于確定從所述用戶的角度的所述移動(dòng)計(jì)算設(shè)備的角度大小的單元；用于確定所述真實(shí)世界環(huán)境中的所述對(duì)象相對(duì)于所述用戶的距離的單元；用于確定從所述用戶的視角由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的區(qū)域的單元；用于基于由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的經(jīng)確定的區(qū)域以及所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離來(lái)確定所述第二相機(jī)的經(jīng)校正的變焦大小的單元；以及用于基于所述經(jīng)校正的變焦大小來(lái)生成后投影圖像以供在所述移動(dòng)計(jì)算設(shè)備的所述顯示器上顯示的單元。

示例40包括示例37-39中的任何一個(gè)的主題，并且其中，用于確定所述經(jīng)校正的變焦大小的單元包括用于確定與從所述用戶的視角由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的所述區(qū)域相對(duì)應(yīng)的、從所述第二相機(jī)的視角的所述對(duì)象的區(qū)域的角度大小的單元。

示例41包括示例37-40中的任何一個(gè)的主題，并且其中，所述經(jīng)校正的變焦大小是利用所述第二相機(jī)捕獲與從所述用戶的視角由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的所述區(qū)域相對(duì)應(yīng)的圖像所需要的變焦大小。

示例42包括示例37-41中的任何一個(gè)的主題，并且其中，所述經(jīng)校正的變焦大小是利用所述第二相機(jī)捕獲僅僅具有與來(lái)自從所述用戶的視角由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的所述區(qū)域的所述對(duì)象的特征相對(duì)應(yīng)的圖像像素的圖像所需要的變焦大小。

示例43包括示例37-42中的任何一個(gè)的主題，并且其中，用于確定從所述用戶的視角的所述移動(dòng)計(jì)算設(shè)備的所述角度大小的單元包括用于基于所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離和所述移動(dòng)計(jì)算設(shè)備的大小來(lái)確定從所述用戶的視角的所述移動(dòng)計(jì)算設(shè)備的角度大小的單元；用于確定所述對(duì)象相對(duì)于所述用戶的距離的單元包括用于基于所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離和所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離來(lái)確定所述對(duì)象相對(duì)于所述用戶的距離的單元；以及用于確定從所述用戶的視角由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的所述區(qū)域的單元包括用于基于從所述用戶的視角的所述移動(dòng)計(jì)算設(shè)備的所述角度大小和所述對(duì)象相對(duì)于所述用戶的距離來(lái)確定由所述移動(dòng)計(jì)算設(shè)備所遮擋的所述對(duì)象的所述區(qū)域的單元。

示例44包括示例37-43中的任何一個(gè)的主題，并且其中，角度大小，δ，是根據(jù)來(lái)確定的，其中，d是對(duì)應(yīng)的對(duì)象的實(shí)際大小而D是所述對(duì)應(yīng)的對(duì)象與點(diǎn)之間的距離，所述點(diǎn)是從其確定所述角度大小的視角。

示例45包括示例37-44中的任何一個(gè)的主題，并且其中，用于捕獲所述用戶的所述第一圖像的單元包括用于捕獲所述用戶的臉的圖像；并且用于確定所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的定位包括用于識(shí)別所述用戶的眼睛在所述用戶的臉的所述圖像中的位置的單元。

示例46包括示例37-45中的任何一個(gè)的主題，并且其中，用于確定所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的定位的單元包括用于確定所述用戶的眼睛距所述移動(dòng)計(jì)算設(shè)備的距離的單元。

示例47包括示例37-46中的任何一個(gè)的主題，并且其中，用于確定所述用戶的眼睛相對(duì)于所述移動(dòng)計(jì)算設(shè)備的定位的單元包括用于確定所述用戶的眼睛相對(duì)于所述第一相機(jī)的定位的單元；并且用于確定所述真實(shí)世界環(huán)境中的所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離的單元包括用于確定所述對(duì)象相對(duì)于所述第二相機(jī)的距離的單元。

示例48包括示例37-47中的任何一個(gè)的主題，并且其中，所述第一相機(jī)具有與所述第二相機(jī)的視場(chǎng)關(guān)于所述顯示器方向相反的視場(chǎng)。

示例49包括示例37-48中的任何一個(gè)的主題，并且其中，用于確定所述真實(shí)世界環(huán)境中的所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離的單元包括用于將所述對(duì)象相對(duì)于所述移動(dòng)計(jì)算設(shè)備的距離設(shè)置為預(yù)先定義的距離的單元。

示例50包括示例37-49中的任何一個(gè)的主題，并且其中，所述預(yù)先定義的距離大于所述第二相機(jī)的焦距。

示例51包括示例37-50中的任何一個(gè)的主題，并且還包括用于基于由所述第二相機(jī)所捕獲的所述真實(shí)世界環(huán)境的所生成的后投影來(lái)在所述顯示器上顯示圖像的單元。

示例52包括示例37-51中的任何一個(gè)的主題，并且其中，用于基于所述所生成的后投影來(lái)顯示所述圖像的單元包括用于顯示與被修改為包括增強(qiáng)現(xiàn)實(shí)特征的所述后投影相對(duì)應(yīng)的圖像的單元。

示例53包括示例37-52中的任何一個(gè)的主題，其中，所述至少一個(gè)設(shè)備參數(shù)包括以下中的至少一個(gè)：(i)所述第二相機(jī)的焦距、(ii)所述顯示器的大小、(iii)所述移動(dòng)計(jì)算設(shè)備的大小、或者(iv)所述移動(dòng)計(jì)算設(shè)備的組件相對(duì)于參考點(diǎn)的位置。