對該位置先前編目錄的空間特征，電子設(shè)備100可以確定其是否處于先前未遇到的環(huán)境，如果在針對相同位置的當前遇到的空間特征和先前遇到的空間特征之間存在足夠的不一致，則電子設(shè)備100斷定其處于先前未遇到的環(huán)境，并且據(jù)此著手進行配置深度傳感器120的激活配置。
[0093]從而，為了發(fā)起對深度傳感器120的激活配置的調(diào)整，在塊1002處，2D處理器監(jiān)控被選擇為使得重新評定深度傳感器120的當前激活配置的觸發(fā)事件。這一觸發(fā)事件可以包括超過閾值的感測的環(huán)境光的改變(塊1092)、電子設(shè)備的運動的檢測(或者運動不存在的檢測)(塊1094)、或者當前正由成像相機114、成像相機116和/或成像相機118捕獲的像中的某些幾何不確定性的檢測(塊1096)。觸發(fā)事件還可以包括其表示周期性刷新觸發(fā)器的定時器的推移。
[0094]響應(yīng)于檢測到觸發(fā)事件，在塊1004處，2D處理器802基于觸發(fā)事件確定用于深度傳感器120的適當修訂的激活配置。作為示例，如果觸發(fā)事件1002、1092是感測的環(huán)境光超過一個閾值，則2D處理器802選擇從基于多視圖的深度感測切換至基于調(diào)制光的深度感測，并且從而激活深度傳感器120和將調(diào)制光圖案的投射的頻率、強度和持續(xù)時間初始設(shè)置為指定的默認值。相反，如果觸發(fā)事件1002、1092是感測的環(huán)境光降至較低閾值以下，則2D處理器802選擇切換回到基于多視圖的深度感測，并且從而通過將頻率、強度和持續(xù)時間設(shè)置為零來停用深度傳感器120。作為另一示例，如果觸發(fā)事件1002、1094是電子設(shè)備100以高于閾值的速度行進，則2D處理器802增加調(diào)制光圖案投射和對應(yīng)的反射調(diào)制光圖像捕獲的頻率。即，2D處理器802可以進入突發(fā)模式，由此進行深度圖像捕獲的快速序列。相反，如果觸發(fā)事件1002、1094是電子設(shè)備100以低于閾值的速度行進，則2D處理器802減少調(diào)制光圖案投射和對應(yīng)的反射調(diào)制光圖像捕獲的頻率。作為進一步的示例，基于所檢測的幾何不確定性的指示符與一個或多個閾值的比較(塊1096)，2D處理器802可以增加或減少調(diào)制光圖案投射/反射調(diào)制光圖像捕獲的頻率。
[0095]電子設(shè)備100的當前上下文也可以用于確定適當?shù)募せ钆渲谩榱苏f明，如果當前上下文指示用戶正在使用電子設(shè)備100提供其被假定為精確地標識不可見或埋藏對象的位置的AR圖形覆蓋，可能更加必要的是，電子設(shè)備100準確地標識空間特征的相對3D定位，以便于準確地將AR圖形覆蓋定位在底層捕獲圖像之上。因此，2D處理器802可以將調(diào)制光投射設(shè)置為與對應(yīng)觸發(fā)事件相關(guān)聯(lián)的范圍的較高端。然而，如果當前上下文指示用戶正在使用電子設(shè)備100經(jīng)由所顯示的方向性區(qū)域提供一般的導(dǎo)航指引，可能不太必要準確地標識空間特征的相對3D定位，并且從而2D處理器802可以將調(diào)制光投射設(shè)置為與對應(yīng)觸發(fā)事件相關(guān)聯(lián)的范圍的較低端。
[0096]還可以基于電子設(shè)備100的觸發(fā)事件類型或當前上下文來修訂持續(xù)時間或強度。例如，如果有較多的環(huán)境光存在于本地環(huán)境中，并且從而有更多的機會干擾調(diào)制光圖案，則2D處理器802可以將調(diào)制光投射器119配置為以更高的強度和更長的持續(xù)時間來投射調(diào)制光圖案，以便于用反射的調(diào)制光圖案更充分地激勵圖像傳感器。作為另一示例，還可以基于電子設(shè)備100到視場中的對象的接近度或者視場中存在的材料的發(fā)射率，來設(shè)置調(diào)制光圖案的持續(xù)時間或強度。
[0097]在設(shè)置了修訂的激活配置的情況下，在塊1006處，2D處理器802激活調(diào)制光投射器119，并且以在塊1004處設(shè)置的激活配置指定的頻率來捕獲所產(chǎn)生的深度圖像(即，反射的調(diào)制光圖像)。并行地，方法1000返回到塊1002，由此2D處理器802繼續(xù)監(jiān)控另一觸發(fā)事件，以便于發(fā)起由方法1000表示的深度傳感器配置處理的下一迭代。
[0098]圖11圖示依照本公開的至少一個實施例的其表示更一般的方法1000的具體示例實施方式的方法1100。對于方法1100，基于入射在電子設(shè)備100上的環(huán)境光并且基于電子設(shè)備100的運動，來控制深度傳感器120的激活配置。據(jù)此，在塊1102處，2D處理器802對環(huán)境光傳感器826 (圖8)進行采樣，以獲得當前環(huán)境光讀數(shù)，并且在塊1104處，2D處理器802比較當前環(huán)境光讀數(shù)與指定閾值。如果當前環(huán)境光讀數(shù)大于閾值，則在塊1106處，2D處理器802進入立體或其它多視圖深度感測模式(或者如果已經(jīng)處于這一模式，則停留在多視圖深度感測模式中)并且禁用調(diào)制光投射器119。
[0099]如果當前環(huán)境光讀數(shù)小于閾值，則在塊1108處，2D處理器802進入調(diào)制光深度感測模式(或者如果其已經(jīng)處于這一模式，則停留在這一模式中)并且啟用調(diào)制光投射器
119。進一步地，如果2D處理器802從調(diào)制光深度發(fā)送模式切換至這一模式，則2D處理器802將激活配置設(shè)置為默認非零的頻率、強度和持續(xù)時間。在調(diào)制光深度感測模式中的同時，在塊1110處，2D處理器802監(jiān)控加速計824以確定電子設(shè)備100是否在運動。如果不在運動，在塊1112處，在自運動停止后的指定時移之后，2D處理器802可以從默認速率降低深度圖像捕獲速率(并且對應(yīng)地降低調(diào)制光投射的頻率)。如果在運動，在塊1114處，2D處理器802可以從默認速率增加深度圖像捕獲速率(并且對應(yīng)地增加調(diào)制光投射的頻率)。并發(fā)地，方法1100返回到塊1102，由此2D處理器802捕獲下一環(huán)境光讀數(shù)并且開始將深度圖像捕獲速率調(diào)諧到電子設(shè)備100遇到的當前條件的下一迭代。注意，環(huán)境光傳感器826的采樣(塊1104)和加速計824的采樣(塊1110)、以及響應(yīng)于所產(chǎn)生的樣本值所發(fā)生的處理可以以相同的速率或以不同的速率發(fā)生。
[0100]圖12圖示依照至少一個實施例的由電子設(shè)備100在基于調(diào)制光的深度感測期間用于可見光圖像捕獲的示例方法1200。諸如其可以部署在成像相機114、成像相機116和成像相機118中的那些之類的圖像傳感器對寬范圍的電磁譜敏感，包括可見光和紅外光兩者。據(jù)此，由調(diào)制光投射器119投射的紅外或近紅外調(diào)制光圖案會干擾同時嘗試捕獲可見光的成像相機。通常，這一干擾表現(xiàn)為調(diào)制光圖案在捕獲的可見光像中可見。
[0101]在許多實例中，嘗試通過捕獲后圖像處理從可見光像移除調(diào)制光圖案是不可行的。據(jù)此，方法1200表示用于依賴防止查看者容易檢測到移除的損壞圖像幀的視覺暫留現(xiàn)象或者在其位置使用替換圖像幀而移除損壞圖像幀的技術(shù)。從而，如果成像相機以例如30幀每秒(fps)或60fps運行，電子設(shè)備100可以針對每秒的單個幀使調(diào)制光投射器119閃光，并且然后跳過在調(diào)制光投射器119激活的同時捕獲的可見光圖像幀的顯示或使用。替代地，替換圖像幀可被插入視頻饋送代替損壞圖像幀，以便于提供稍微平滑的視頻過渡。這一替換圖像可以包括視頻幀序列中的之前或之后圖像幀的副本。替換圖像還可以是插值在之前幀和之后幀之間的插值圖像幀。在另一方法中，像素翹曲技術(shù)可以被應(yīng)用于關(guān)聯(lián)深度像，以合成丟棄圖像幀的圖像內(nèi)容。在任何情況下，結(jié)果將是有效幀速率輕微降低到29或59fps的可接受速率，大多數(shù)時候這對大多數(shù)查看者來說將是難以察覺的改變。
[0102]為此目的，方法1200的迭代開始于塊1202，由此2D處理器802 (圖8)操作成像相機114和成像相機116之一以捕獲可見光圖像幀。在塊1204處，2D處理器802確定調(diào)制光投射器119在圖像捕獲時是否激活，并且從而很可能損壞可見光圖像幀。在一個實施例中，2D處理器802可以實現(xiàn)滑動時間窗，使得如果它的控制歷史示出調(diào)制光投射器119的激活和成像相機中快門的操作兩者都發(fā)生在這一滑動時間窗內(nèi)，則2D處理器802可以斷定捕獲的可見光圖像幀被損壞。在另一實施例中，2D處理器802可以執(zhí)行圖像分析，以檢測調(diào)制光圖案的一些相似物是否存在于可見光圖像幀中，以確定可見光圖像幀是否被損壞。
[0103]如果可見光圖像幀被認為未損壞，在塊1206處，2D處理器802許可捕獲的圖像幀包括在向用戶呈現(xiàn)的視頻流中。否則，如果可見光圖像幀被認為損壞，則在塊1208處，2D處理器802阻止損壞圖像幀的顯示或其它使用。如上文所述，這可以包括簡單地跳過整個損壞幀(塊1210)、通過復(fù)制視頻流中的另一圖像幀來生成替換圖像幀(塊1212)、或者通過在視頻流中的兩個或更多其它圖像幀之間插值或者使用諸如由另一成像相機并發(fā)捕獲的深度像之類的替代圖像內(nèi)容以合成損壞圖像幀中存在的圖像內(nèi)容來生成替換圖像幀(塊1214)
[0104]依照一個方面，電子設(shè)備包括部署在第一表面并且具有第一視角的第一成像相機、部署在第一表面并且具有大于第一視角的第二視角的第二成像相機、以及部署在第一表面的深度傳感器。深度傳感器可以包括用于投射調(diào)制光圖案的調(diào)制光投射器、以及用于捕獲調(diào)制光圖案的反射的第一成像相機和第二成像相機中的至少一個。調(diào)制光投射器可以包括一個或多個豎直腔面發(fā)射激光器(VCSEL) 二極管的陣列、覆在一個或多個VCSEL 二極管陣列上面的一個或多個透鏡的陣列、以及覆在一個或多個透鏡的陣列上面的衍射光學(xué)元件。第二成像相機可以包括魚眼透鏡，并且可以被配置用于機器視覺圖像捕獲。第二成像相機可以包括滾動快門成像相機，并且可以被配置用于用戶發(fā)起的圖像捕獲。
[0105]電子設(shè)備進一步可以包括部署在第二表面并且具有大于第一視角的第三視角的第三成像相機。第一成像相機可以被配置用于用戶發(fā)起的圖像捕獲，第二成像相機可以被配置用于機器視覺圖像捕獲，并且第三成像相機可以被配置用于面部識別和頭部跟蹤中的至少一個。在一個實施例中，電子設(shè)備進一步包括部署在與第一表面相反的第二表面的顯示器，并且電子設(shè)備可以被配置為經(jīng)由顯示器呈現(xiàn)經(jīng)由第一成像相機和第二成像相機中的至少一個成像相機捕獲的像。
[0106]依照本公開的另一方面，電子設(shè)備可以包括部署在第一表面并且具有第一視角的第一成像相機、部署在第一表面并且具有大于第一視角的第二視角的第二成像相機、以及部署在第二表面并且具有大于第一視角的第三視角的第三成像相機。第一成像相機可以被配置用于用戶發(fā)起的圖像捕獲，第二成像相機可以被配置用于機器視覺圖像捕獲，并且第三成像相機可以被配置用于面部識別和頭部跟蹤中的至少一個。在一個實施例中，電子設(shè)備進一步包括深度傳感器，深度傳感器具有部署在第一表面、用于投射調(diào)制光圖案的調(diào)制光投射器，并且進一步包括用于捕獲調(diào)制光圖案的反射的成像相機。深度傳感器的成像相機可以包括第一成像相機和第二成像相機中的至少一個。調(diào)制光投射器可以包括一個或多個豎直腔面發(fā)射激光器(VCSEL) 二極管的陣列、覆在一個或多個VCSEL 二極管陣列上面的一個或多個透鏡的陣列、以及覆在一個或多個透鏡的陣列上面的衍射光學(xué)元件。在一個實施例中，電子設(shè)備包括部署在第二表面的顯示器，由此電子設(shè)備被配置為經(jīng)由顯示器呈現(xiàn)經(jīng)由第一成像相機、第二成像相機和第三成像相機中的至少一個成像相機捕獲的圖像數(shù)據(jù)。
[0107]依照又一方面，方法包括:使用部署在電子設(shè)備的第一表面的第一成像相機捕獲第一圖像數(shù)據(jù)，以及使用部署在電子設(shè)備的第一表面的第二成像相機捕獲第二圖像數(shù)據(jù)，第二圖像數(shù)據(jù)表示比第一圖像數(shù)據(jù)更廣的視場。方法進一步包括使用部署在電子設(shè)備的第一表面的深度傳感器捕獲深度數(shù)據(jù)。方法還可以包括從第一圖像數(shù)據(jù)、第二圖像數(shù)據(jù)和深度數(shù)據(jù)中的一個或多個確定至少一個空間特征，以及基于至少一個空間特征來確定電子設(shè)備的相對定位和相對定向中的至少一個。方法還可以包括使用部署在電子設(shè)備的第二表面的第三成像相機捕獲第三圖像數(shù)據(jù)，第三圖像數(shù)據(jù)表示比第一圖像數(shù)據(jù)更廣的視場，由此其中確定至少一個空間特征包括進一步基于第三圖像數(shù)據(jù)來確定至少一個空間特征。
[0108]在一個實施例中，方法進一步包括基于第一圖像數(shù)據(jù)、第二圖像數(shù)據(jù)和深度數(shù)據(jù)在電子設(shè)備顯示圖像。方法還可以包括:至少部分基于深度數(shù)據(jù)來確定電子設(shè)備的當前上下文，基于當前上下文來確定增強圖形覆蓋，并且其中顯示圖像進一步包括顯示具有增強圖形覆蓋的圖像。方法可以包括使用部署在電子設(shè)備的第二表面的第三成像相機捕獲第三圖像數(shù)據(jù)、并且基于第三圖像數(shù)據(jù)來確定用戶的頭部的定位。為此，顯示圖像可以包括進一步基于用戶的頭部的定位來顯示圖像。在一個實施例中，使用深度傳感器捕獲深度數(shù)據(jù)包括從電子設(shè)備的第一表面投射調(diào)制光圖案、并且使用第一成像相機和第二成像相機中的至少一個捕獲調(diào)制光圖案的反射。
[0109]依照本公開的另一方面，電子設(shè)備包括第一處理器，用于從第一成像相機接收圖像數(shù)據(jù)，并且用于確定表示從圖像數(shù)據(jù)標識的一個或多個2D空間特征的二維(2D)空間特征數(shù)據(jù)。電子設(shè)備進一步包括耦合到第一處理器的第二處理器，用于確定表示基于2D空間特征數(shù)據(jù)標識的一個或多個3D空間特征的三維(3D)空間特征數(shù)據(jù)。第一處理器可以在接收整個圖像幀前，發(fā)起從圖像幀的一部分檢測一個或多個2D空間特征。電子設(shè)備進一步可以包括部署在電子設(shè)備的第一表面并且具有第一視場的第一成像相機、以及部署在電子設(shè)備的第一表面并且具有比第一視場窄的第二視場的第二成像相機。電子設(shè)備進一步可以包括部署在電子設(shè)備的第二表面并且具有比第二視場大第三視場的第三成像相機，由此第一處理器進一步基于從第三成像相機捕獲的圖像數(shù)據(jù)標識的一個或多個2D空間特征來確定2D空間特征數(shù)據(jù)。
[0110]在至少一個實施例中，電子設(shè)備進一步包括用于捕獲深度數(shù)據(jù)的深度傳感器，由此第二處理器可以進一步基于深度數(shù)據(jù)來確定3D空間特征數(shù)據(jù)。深度傳感器可以包括調(diào)制光投射器，并且深度數(shù)據(jù)可以包括由第一成像相機捕獲的并且表示調(diào)制光投射器投射的調(diào)制光圖案的反射的圖像數(shù)據(jù)。
[0111]在至少一個實施例中，電子設(shè)備進一步可以包括耦合到第二處理器、用于提供非圖像傳感器數(shù)據(jù)的傳感器，由此第二處理器可以進一步基于非圖像傳感器數(shù)據(jù)來確定3D空間特征數(shù)據(jù)。對于每個圖像幀，第一處理器捕獲傳感器的至少一個傳感器狀態(tài)，并且第一處理器確定圖像幀中標識的2D空間特征的2D空間特征列表并且向第二處理器發(fā)送2D空間特征列表和至少一個傳感器狀態(tài)的表示。傳感器可以包括從以下項中選擇的至少一個:加速計；陀螺儀；環(huán)境光傳感器；磁強計；重力梯度儀；無線蜂窩接口 ；無線局域網(wǎng)接口 ；有線網(wǎng)絡(luò)接口 ；近場通信接口 ；全球定位系統(tǒng)接口 ；麥克風；以及小鍵盤。
[0112]依照另一方面，方法包括:在電子設(shè)備的第一處理器接收由電子設(shè)備的第一成像相機捕獲的第一圖像數(shù)據(jù)，第一圖像數(shù)據(jù)表示第一圖像幀；以及在第一處理器從第一圖像數(shù)據(jù)確定一個或多個二維(2D)空間特征的第一集。方法進一步包括:在電子設(shè)備的第二處理器使用一個或多個2D空間特征的第一集確定一個或多個三維(3D)空間特征的集。方法還可以包括:在第一處理器接收由電子設(shè)備的第二成像相機捕獲的第二圖像數(shù)據(jù)，第二圖像數(shù)據(jù)表示第二圖像幀；在第一處理器從第二圖像數(shù)據(jù)確定一個或多個2D空間特征的第二集。確定一個或多個3D空間特征的集可以包括:基于一個或多個2D空間特征的第一集和一個或多個2D空間特征的第二集之間的關(guān)聯(lián)，來確定一個或多個3D空間特征的集。方法還可以包括:使第一成像相機捕獲的圖像數(shù)據(jù)和第二成像相機捕獲的圖像數(shù)據(jù)對齊以生成組合圖像幀，并且在電子設(shè)備顯示組合圖像幀。
[0113]在一個實施例中，方法包括:在第一處理器接收由電子設(shè)備的深度傳感器捕獲的深度數(shù)據(jù)，并且由此確定一個或多個3D空間特征的集可以包括進一步基于深度數(shù)據(jù)來確定一個或多個3D空間特征的集。方法還可以包括:在第一處理器確定與捕獲第一圖像數(shù)據(jù)并發(fā)的表示電子設(shè)備的至少一個非成像傳感器的傳感器狀態(tài)的傳感器數(shù)據(jù)，由此確定一個或多個3D空間特征的集包括進一步基于傳感器數(shù)據(jù)來確定一個或多個3D空間特征的集。
[0114]依照本公開的另一方面，方法包括:在電子設(shè)備的第一處理器接收由電子設(shè)備的第一成像相機捕獲的第一圖像數(shù)據(jù)流，第一圖像數(shù)