機(jī)接收?qǐng)D像數(shù)據(jù)。在另一實(shí)施例中，2D處理器802包括單個(gè)接口和像素行緩沖區(qū)844，并且從而2D處理器802在成像相機(jī)之間復(fù)用。像素行緩沖區(qū)844可以包括足夠用于由對(duì)應(yīng)成像相機(jī)捕獲的圖像幀的一個(gè)或多個(gè)像素行的存儲(chǔ)(高達(dá)全幀緩沖)。為了說(shuō)明，成像相機(jī)中的一個(gè)或多個(gè)可以包括滾動(dòng)快門(mén)成像相機(jī)，由此成像相機(jī)的圖像傳感器每次被掃描一行或者每次行子集。在每個(gè)行或行子集被掃描時(shí)，其像素?cái)?shù)據(jù)臨時(shí)緩沖在像素行緩沖區(qū)844。緩沖的像素行然后可以轉(zhuǎn)移至諸如分立的幀緩沖區(qū)(未示出)之類(lèi)的更大存儲(chǔ)區(qū)域，以用于全幀處理。
[0073]2D處理器802被配置為處理從成像相機(jī)捕獲的圖像數(shù)據(jù)以標(biāo)識(shí)圖像數(shù)據(jù)中存在的2D空間特征。在一些實(shí)施例中，2D處理器802實(shí)現(xiàn)特別設(shè)計(jì)用于這一任務(wù)的硬件配置。在其它實(shí)施例中，2D處理器802包括更通用的處理器架構(gòu)，其通過(guò)執(zhí)行被配置為實(shí)現(xiàn)2D空間特征檢測(cè)處理的軟件程序來(lái)提供2D空間特征檢測(cè)。2D處理器802還可以實(shí)現(xiàn)專(zhuān)用硬件和專(zhuān)用軟件的組合以用于這一目的。如上面描述的，各種熟知2D空間特征檢測(cè)或提取算法中的任何一種可以由2D處理器802來(lái)實(shí)現(xiàn)。2D處理器802將與標(biāo)識(shí)的2D空間特征有關(guān)的元數(shù)據(jù)和其它信息存儲(chǔ)到2D特征數(shù)據(jù)存儲(chǔ)838。
[0074]在一個(gè)實(shí)施例中，2D處理器802被配置為使用各種熟知頭部跟蹤算法中的任何一種來(lái)分析由面對(duì)用戶(hù)的成像相機(jī)118捕獲的像，以跟蹤用戶(hù)的頭部的當(dāng)前定位/定向。在所描繪的示例中，2D處理器802向顯示控制器806提供頭部跟蹤信息，顯示控制器806轉(zhuǎn)而被配置為調(diào)整所顯示的像，以對(duì)如用戶(hù)的頭部的定位/定向改變中反映的用戶(hù)的視圖視角的改變做出反應(yīng)。在另一實(shí)施例中，2D處理器802向應(yīng)用處理器804提供頭部跟蹤信息，應(yīng)用處理器804轉(zhuǎn)而在向顯示控制器806提供顯示數(shù)據(jù)之前修改顯示數(shù)據(jù)以反映更新的視圖視角。
[0075]在其用于確定本地環(huán)境112的捕獲像中標(biāo)識(shí)的空間特征的深度數(shù)據(jù)中，2D處理器802還充當(dāng)其操作調(diào)制光投射器119的控制器。在諸如相對(duì)明亮的設(shè)置(如使用環(huán)境光傳感器826感測(cè)的)之類(lèi)的某些條件下，2D處理器802可以使用由廣角成像相機(jī)114和窄角成像相機(jī)116并發(fā)捕獲的像的多視圖圖像分析來(lái)確定捕獲像中存在的空間特征的深度數(shù)據(jù)。在諸如相對(duì)低照明條件之類(lèi)的其它條件下，2D處理器802可以切換為使用深度傳感器120 (圖1)來(lái)確定這一深度數(shù)據(jù)。在其它實(shí)施例中，處理系統(tǒng)800實(shí)現(xiàn)與2D處理器802分立的控制器(未示出)以控制調(diào)制光投射器119的操作。
[0076]如上面描述的，深度傳感器120依靠由調(diào)制光投射器119向本地環(huán)境中的調(diào)制光圖案的投射，并且依靠由成像相機(jī)中的一個(gè)或多個(gè)對(duì)調(diào)制光圖案從那里的反射的捕獲。從而，2D處理器802可以使用面對(duì)前方的成像相機(jī)114和成像相機(jī)116中的一者或兩者來(lái)捕獲調(diào)制光圖案的投射的反射，并且處理所產(chǎn)生的反射調(diào)制光圖案的像，以確定反射調(diào)制光圖案中表示的對(duì)應(yīng)空間特征的深度。為了匹配深度讀數(shù)與對(duì)應(yīng)2D空間特征，2D處理器802可以執(zhí)行針對(duì)深度像的2D空間特征分析以確定2D空間特征及其相對(duì)深度，并且然后嘗試匹配2D空間特征與在捕獲反射調(diào)制光像的相同或幾乎相同的時(shí)間捕獲的可見(jiàn)光像中標(biāo)識(shí)的對(duì)應(yīng)空間特征。在另一實(shí)施例中，2D處理器802可以捕獲可見(jiàn)光圖像，并且此后迅速地控制調(diào)制光投射器119投射調(diào)制光圖案并且捕獲反射的調(diào)制光圖像。然后2D處理器802可以從反射調(diào)制光圖像獲取針對(duì)可見(jiàn)光圖像的深度圖，因?yàn)榉瓷湔{(diào)制光圖像有效地表示具有在相同坐標(biāo)的相同空間特征的相同場(chǎng)景，這是由于可見(jiàn)光圖像和反射調(diào)制光圖像的同時(shí)期捕獲。
[0077]盡管在幫助感測(cè)捕獲像中存在的空間特征的相對(duì)深度方面有效，但是調(diào)制光圖案的投射可能干擾電子設(shè)備100的其它操作。舉個(gè)例子，盡管調(diào)制光投射器119可以被配置為投射紅外或近紅外光圖案，但是如果成像相機(jī)碰巧在投射調(diào)制光圖案的同時(shí)激活它們的快門(mén)，則這一紅外或近紅外光的發(fā)射可能將干擾引入到成像相機(jī)捕獲的可見(jiàn)光像中。這一干擾不僅會(huì)減損用戶(hù)對(duì)捕獲的可見(jiàn)光像的查看體驗(yàn)，而且會(huì)對(duì)2D處理器802執(zhí)行的圖像處理準(zhǔn)確性或效力造成負(fù)面影響。而且，調(diào)制光投射器119的激活會(huì)消耗顯著量的功率，這會(huì)影響電子設(shè)備100在電池充電之間的運(yùn)行時(shí)間。通過(guò)處理系統(tǒng)800可實(shí)現(xiàn)用于減少干擾和調(diào)制光投射器119功耗的各種技術(shù)下面參照?qǐng)D10至圖12進(jìn)行描述。
[0078]應(yīng)用處理器804被配置為使用2D特征數(shù)據(jù)存儲(chǔ)838中表示的2D空間特征并且使用來(lái)自非圖像傳感器的集810的非圖像傳感器信息，來(lái)標(biāo)識(shí)捕獲像中表示的3D空間特征。正如2D處理器802，應(yīng)用處理器804可以被配置為通過(guò)專(zhuān)用硬件配置、通過(guò)執(zhí)行被配置用于這一處理的軟件、或者專(zhuān)用硬件和軟件的組合來(lái)執(zhí)行這一處理。所標(biāo)識(shí)的3D空間特征的元數(shù)據(jù)和其它信息被存儲(chǔ)在3D特征數(shù)據(jù)存儲(chǔ)840中。2D到3D空間特征提取處理下面參照?qǐng)D9進(jìn)行描述。
[0079]應(yīng)用處理器804進(jìn)一步被配置為使用3D特征數(shù)據(jù)存儲(chǔ)840中表示的3D空間特征并且使用如由非圖像傳感器數(shù)據(jù)表示的電子設(shè)備100的當(dāng)前上下文，來(lái)提供SLAM、AR、VR和其它基于位置的功能。當(dāng)前上下文可以包括從例如用戶(hù)接口 812或經(jīng)由分析用戶(hù)交互而獲得的顯式或隱式用戶(hù)輸入。這一功能可以包括基于視覺(jué)測(cè)程法處理來(lái)確定電子設(shè)備100的當(dāng)前相對(duì)定位/定向，視覺(jué)測(cè)程法處理使用3D空間特征以及諸如來(lái)自陀螺儀820的6DoF讀數(shù)、使用加速計(jì)824保持的航位推算歷史、使用GPS接收器828確定的或經(jīng)由蜂窩接口832使用無(wú)線電遙測(cè)確定的無(wú)線信號(hào)接收器絕對(duì)位置指示符等之類(lèi)的各種位置有關(guān)的非圖像傳感器數(shù)據(jù)。相似地，應(yīng)用處理器804可以使用電子設(shè)備100的定位/定向歷史和那些定位/定向中觀察到的空間特征歷史來(lái)創(chuàng)建本地環(huán)境112的地圖。
[0080]由應(yīng)用處理器804提供的基于位置的功能可以進(jìn)一步包括AR有關(guān)或VR有關(guān)的功能，其包括基于由應(yīng)用處理器804確定的當(dāng)前定位/定向，從SLAM/AR數(shù)據(jù)存儲(chǔ)842標(biāo)識(shí)和訪問(wèn)要作為圖形覆蓋提供在顯示器108上的圖形信息。這一圖形覆蓋可以經(jīng)由顯示控制器806與當(dāng)前定位/定向中的成像相機(jī)捕獲的像相關(guān)聯(lián)地提供用于在顯示器108顯示。顯示控制器806操作為控制顯示器108 (圖1)顯示由從應(yīng)用處理器804接收的顯示數(shù)據(jù)所表示的像。進(jìn)一步地，在一些實(shí)施例中，顯示控制器806可以從2D處理器802接收頭部跟蹤信息，并且基于接收的頭部跟蹤信息中表示的用戶(hù)頭部定位或眼睛定位來(lái)調(diào)整正被顯示的像的視圖視角。
[0081]在傳統(tǒng)2D空間特征檢測(cè)應(yīng)用中，整個(gè)圖像幀被捕獲，并且然后在GPU或其它處理器發(fā)起針對(duì)圖像幀的空間特征提取之前，被緩沖在幀緩沖區(qū)。由于在將圖像數(shù)據(jù)轉(zhuǎn)移到幀緩沖區(qū)以準(zhǔn)備其由GPU訪問(wèn)中招致的延遲，這一方法可以引入空間特征檢測(cè)的顯著延遲或滯后，并且從而引入定位/定向檢測(cè)的顯著延遲或滯后。為了減少或消除這一滯后，在一些實(shí)施例中，2D處理器802被配置為在捕獲的圖像數(shù)據(jù)從對(duì)應(yīng)成像相機(jī)被流式傳輸向2D處理器時(shí)執(zhí)行2D空間特征提取。在像素行緩沖區(qū)844從成像相機(jī)接收一個(gè)或多個(gè)像素行的子集時(shí)，2D處理器802處理由緩沖像素的子集表示的圖像部分，以標(biāo)識(shí)該圖像部分中存在的2D空間特征。然后，在從圖像部分標(biāo)識(shí)2D空間特征時(shí)，2D處理器802可以將2D空間特征流式傳輸向2D特征數(shù)據(jù)存儲(chǔ)838或者直接流式傳輸向應(yīng)用處理器804的輸入。在圖像數(shù)據(jù)流式傳入時(shí)標(biāo)識(shí)2D空間特征時(shí)，并且在標(biāo)識(shí)的2D空間特征在它們被標(biāo)識(shí)時(shí)被流式傳輸向應(yīng)用處理器804時(shí)，相比于其依靠整個(gè)圖像幀分析的傳統(tǒng)圖像處理技術(shù)，2D空間特征檢測(cè)處理和3D空間特征檢測(cè)處理可以以更快的速率進(jìn)行。
[0082]圖9圖示依照至少一個(gè)實(shí)施例的用于使用處理系統(tǒng)800的兩處理器架構(gòu)進(jìn)行2D空間特征提取和3D空間特征提取的示例方法900。方法900的迭代開(kāi)始于在塊902處由面對(duì)前方的成像相機(jī)114和成像相機(jī)116之一捕獲圖像的發(fā)起。在塊904處，2D處理器802將正在成像相機(jī)的圖像傳感器捕獲的圖像的一部分掃描到像素行緩沖區(qū)844中，并且分析來(lái)自像素行緩沖區(qū)844的圖像部分以標(biāo)識(shí)圖像部分中存在的任何2D空間特征。響應(yīng)于檢測(cè)到2D特征(塊906)，在塊908處2D處理器802提供表示2D特征的2D空間特征數(shù)據(jù)以用于存儲(chǔ)在2D特征數(shù)據(jù)庫(kù)838中。這一 2D空間特征數(shù)據(jù)可以包括例如空間特征標(biāo)識(shí)符、其中發(fā)現(xiàn)空間特征的圖像的指示符或者與這樣的圖像相關(guān)聯(lián)的時(shí)間戳、空間特征在圖像內(nèi)的定位的指示符、空間特征的類(lèi)型(例如，邊緣、拐角等)的指示符等。2D處理器802重復(fù)塊904、塊906和塊908的處理直到針對(duì)圖像部分的空間特征提取完成(塊910)，在該點(diǎn)處方法900返回到塊904，于是下一圖像部分從成像相機(jī)的圖像傳感器被掃描到像素行緩沖區(qū)844，并且對(duì)于該下一圖像部分重復(fù)塊904至塊910的2D空間特征提取處理。當(dāng)圖像幀的最后圖像部分的2D空間特征提取已經(jīng)完成時(shí)(塊912)，方法900返回到塊902，并且對(duì)于電子設(shè)備100的成像相機(jī)捕獲的下一圖像重復(fù)處理。
[0083]與塊902至塊912的圖像捕獲和分析處理同時(shí)期地，2D處理器802確定要與捕獲的圖像相關(guān)聯(lián)的電子設(shè)備100的當(dāng)前上下文。為此目的，在塊914處2D處理器802發(fā)起讀取非圖像傳感器中的一個(gè)或多個(gè)，并且使用所產(chǎn)生的非圖像傳感器數(shù)據(jù)來(lái)指定電子設(shè)備100的當(dāng)前上下文的一個(gè)或多個(gè)參數(shù)。這可以包括例如指定在塊902處捕獲圖像時(shí)電子設(shè)備100的6DoF定向、指定此時(shí)入射在電子設(shè)備100上的環(huán)境光、指定用于蜂窩信令的接收信號(hào)強(qiáng)度指示(RSSI)、指定此時(shí)電子設(shè)備100的GPS坐標(biāo)等。在塊916處，2D處理器802提供這一當(dāng)前上下文信息以用于存儲(chǔ)在2D特征數(shù)據(jù)存儲(chǔ)中，作為與并發(fā)捕獲的圖像幀中標(biāo)識(shí)的2D空間特征相關(guān)聯(lián)的元數(shù)據(jù)。然后，對(duì)于下一圖像捕獲循環(huán)可以重復(fù)塊914和塊916的當(dāng)前上下文捕獲處理。
[0084]如上文所述，在一些實(shí)施例中，在標(biāo)識(shí)2D空間特征時(shí)，2D處理器802向應(yīng)用處理器804流式傳輸2D空間特征和它們相關(guān)聯(lián)的上下文元數(shù)據(jù)。據(jù)此，在2D空間特征的2D空間特征數(shù)據(jù)和元數(shù)據(jù)被接收時(shí)，在塊918處應(yīng)用處理器804通過(guò)確定2D空間特征的當(dāng)前深度將2D空間特征轉(zhuǎn)換為3D空間特征。如上文所述，在兩個(gè)并發(fā)捕獲的圖像可用的情況下，空間特征的深度可以通過(guò)兩個(gè)圖像的多視圖分析而確定。在這種情況下，應(yīng)用處理器804關(guān)聯(lián)來(lái)自?xún)蓚€(gè)幀的2D空間特征以標(biāo)識(shí)很可能表示相同空間特征的2D空間特征集，并且然后，基于兩個(gè)圖像之間的空間特征定位之間展現(xiàn)的視差來(lái)確定2D空間特征的深度。在其中兩個(gè)并發(fā)捕獲的圖像不可用的實(shí)例中，應(yīng)用處理器804可以基于由深度傳感器120并發(fā)捕獲的深度數(shù)據(jù)來(lái)確定所接收的2D空間特征的當(dāng)前深度。
[0085]在生成3D空間特征的情況下，在塊920處應(yīng)用處理器804可以嘗試通過(guò)向這一 3D空間特征應(yīng)用視覺(jué)測(cè)程法算法，來(lái)確定電子設(shè)備100的當(dāng)前定位/定向。在一些實(shí)例中，3D空間特征自己可能不足夠獨(dú)特以便于允許準(zhǔn)確確定當(dāng)前定位/定向。據(jù)此，電子設(shè)備100可以緩沖表示多個(gè)同時(shí)期的3D空間特征的3D空間特征數(shù)據(jù)，并且然后嘗試從這多個(gè)3D空間特征確定當(dāng)前定位/定向。
[0086]在上面描述的方法中，應(yīng)用處理器804可以能夠使用一個(gè)或幾個(gè)3D空間特征來(lái)標(biāo)識(shí)具有足夠粒度的當(dāng)前定位/定向。由于可以在標(biāo)識(shí)對(duì)應(yīng)2D空間特征之后不久確定每個(gè)3D空間特征，甚至在2D處理器802已經(jīng)完成來(lái)自成像相機(jī)的圖像幀的捕獲和處理之前，應(yīng)用處理器804就可以開(kāi)始確定當(dāng)前定位/定向的處理?？焖俅_定當(dāng)前定位/定向的這一能力可以轉(zhuǎn)譯為改善的基于位置的功能。為了說(shuō)明，由于比起其要求首先填滿(mǎn)幀緩沖區(qū)的傳統(tǒng)方法可以更快地標(biāo)識(shí)當(dāng)前定位/定向，可以更快速地訪問(wèn)和顯示AR圖形覆蓋信息，這可以導(dǎo)致電子設(shè)備100處顯示的AR加強(qiáng)像中更少的抖動(dòng)和偽影。
[0087]圖10圖示依照本公開(kāi)的至少一個(gè)實(shí)施例的用于深度傳感器120的高效操作的示例方法1000。深度傳感器120的調(diào)制光投射器119的激活會(huì)消耗顯著量的功率。在一些傳統(tǒng)實(shí)施方式中，基于調(diào)制光的深度傳感器采取連續(xù)操作，并且以在15-30赫茲(Hz)之間的幀速率或者與典型視頻流相似的速率捕獲深度數(shù)據(jù)。這可以使深度傳感器成為相對(duì)高功率的設(shè)備。事實(shí)上，在這一傳統(tǒng)方式中調(diào)制光投射器消耗的功率可以大幅大于由平板、智能電話(huà)或其它便攜式用戶(hù)設(shè)備中使用的典型顯示器所消耗的功率。
[0088]在許多實(shí)例中，以這一連續(xù)捕獲方法捕獲的深度數(shù)據(jù)量大幅大于電子設(shè)備100針對(duì)準(zhǔn)確深度分析所需要的深度數(shù)據(jù)的程度。據(jù)此，方法1000圖示用于選擇性激活深度傳感器120的技術(shù)，以便于減少或最小化深度傳感器120的總激活時(shí)間，同時(shí)捕獲足夠的深度數(shù)據(jù)以允許捕獲像中標(biāo)識(shí)的空間特征的準(zhǔn)確深度確定。在一些實(shí)施例中，這一選擇性激活可以包括響應(yīng)于一個(gè)或多個(gè)觸發(fā)事件類(lèi)型以突發(fā)模式操作深度傳感器120，由此按需捕獲深度圖像的單個(gè)或小的快速序列。根據(jù)這一方法，可以減小深度傳感器120的總功率汲取，由此延長(zhǎng)了對(duì)于給定電池電荷電子設(shè)備100可以操作的時(shí)間量，同時(shí)還減少了電子設(shè)備100的熱要求。
[0089]為了以下目的，通過(guò)指定調(diào)制光投射器119被激活以投射調(diào)制光圖案的頻率以及投射調(diào)制光圖案的強(qiáng)度和持續(xù)時(shí)間，“激活配置”控制深度傳感器的操作。這一頻率、強(qiáng)度和持續(xù)時(shí)間一起類(lèi)似于占空比。當(dāng)深度傳感器120禁用時(shí)(例如，當(dāng)正在經(jīng)由多視圖圖像分析執(zhí)行深度感測(cè)時(shí))，深度傳感器120的激活配置可以解譯為零頻率、零強(qiáng)度和零持續(xù)時(shí)間。相反，當(dāng)深度傳感器120啟用時(shí)(例如，當(dāng)要經(jīng)由調(diào)制光投射執(zhí)行深度感測(cè)時(shí))，深度傳感器的激活配置表示非零頻率、非零強(qiáng)度和非零持續(xù)時(shí)間。
[0090]當(dāng)正在執(zhí)行基于調(diào)制光的深度感測(cè)時(shí)，深度圖像捕獲的頻率通常相對(duì)于電子設(shè)備100對(duì)正被感測(cè)的極近的區(qū)域所具有的“熟悉度”。如果電子設(shè)備100已經(jīng)靜止一段時(shí)間，則電子設(shè)備100很可能已經(jīng)有機(jī)會(huì)獲得針對(duì)極近的區(qū)域的足夠的深度數(shù)據(jù)。因此，電子設(shè)備100可以降低深度圖像捕獲處理的頻率和光強(qiáng)度。然而，如果電子設(shè)備100是運(yùn)動(dòng)的，更可能的是，電子設(shè)備100遇到先前未遇到的環(huán)境，并且從而電子設(shè)備100將增加深度圖像捕獲的頻率，以便于更快速地累積針對(duì)它行進(jìn)通過(guò)的本地環(huán)境的足夠的深度數(shù)據(jù)。
[0091]在一些實(shí)例中，電子設(shè)備100可以處于其先前已經(jīng)獲取足夠深度數(shù)據(jù)的區(qū)域中，但是后來(lái)已經(jīng)發(fā)生環(huán)境中的改變，并且從而使先前的深度數(shù)據(jù)不可靠。為了說(shuō)明，用戶(hù)與電子設(shè)備100第一次進(jìn)入會(huì)議室時(shí)，電子設(shè)備100可能已經(jīng)獲取針對(duì)會(huì)議室中的對(duì)象的深度數(shù)據(jù)。后來(lái)，會(huì)議室中的家具和固定物已經(jīng)重新布置，使得用戶(hù)下一次進(jìn)入會(huì)議室時(shí)，用戶(hù)遇到先前未遇到的環(huán)境，并且從而針對(duì)會(huì)議室的深度數(shù)據(jù)過(guò)時(shí)。在一些實(shí)施例中，通過(guò)由定時(shí)器的推移觸發(fā)的自動(dòng)周期性深度數(shù)據(jù)重新捕獲以便于刷新或更新針對(duì)該區(qū)域的深度數(shù)據(jù)，可以處理給定區(qū)域中的對(duì)象的布置改變的可能性。通過(guò)評(píng)估從當(dāng)前區(qū)域捕獲的像中存在的幾何不確定性，電子設(shè)備100還可以測(cè)定其對(duì)其極近的區(qū)域的當(dāng)前熟悉度。例如，這一幾何不確定性反映在先前未遇到的對(duì)象或幾何結(jié)構(gòu)(諸如，以相同或相似定位/定向捕獲的先前的像中不存在的邊緣的集)的檢測(cè)中或者反映在意外幾何結(jié)構(gòu)(諸如，拐角集的空間定位從相同或相似設(shè)備定位/定向的較早捕獲的圖像中的它們的先前定位的位移)的檢測(cè)中。
[0092]為此目的，在一個(gè)實(shí)施例中，電子設(shè)備100為以特定定位/定向檢測(cè)的空間特征編目錄。這一特征目錄可以包括空間特征連同諸如它們的相對(duì)定位/定向、它們的維度等之類(lèi)的某些特性的列表。因?yàn)楸镜丨h(huán)境可以相對(duì)于相同位置改變(例如，對(duì)象可以被添加或移除、或者移動(dòng)到新定位)，當(dāng)電子設(shè)備100再次返回到相同位置時(shí)，通過(guò)標(biāo)識(shí)從該位置當(dāng)前可觀察的空間特征并且比較所標(biāo)識(shí)的空間特征與針