據(jù)流表示第一圖像幀。方法進一步包括:在第一處理器確定針對第一圖像幀的一部分的一個或多個二維(2D)空間特征的第一集，并且在繼續(xù)在第一處理器接收表示第一圖像幀的下一部分的第一圖像數(shù)據(jù)流的一部分的同時，向電子設(shè)備的第二處理器發(fā)送表示一個或多個2D空間特征的第一集的第一 2D空間特征數(shù)據(jù)。方法進一步可以包括:在第二處理器基于第一 2D空間特征數(shù)據(jù)確定一個或多個三維(3D)空間特征的第一部分集。方法還可以包括:在第一處理器接收由電子設(shè)備的深度傳感器捕獲的深度數(shù)據(jù)。確定一個或多個3D空間特征的第一集可以包括進一步基于深度數(shù)據(jù)來確定一個或多個3D空間特征的第一集。
[0115]方法還可以包括與接收第一圖像數(shù)據(jù)流并發(fā)地接收表示電子設(shè)備的至少一個非成像傳感器的傳感器狀態(tài)的傳感器數(shù)據(jù)。確定一個或多個3D空間特征的第一集可以包括進一步基于傳感器數(shù)據(jù)來確定一個或多個3D空間特征的第一集。非成像傳感器可以包括陀螺儀，并且其中確定一個或多個3D空間特征的第一集可以包括進一步基于來自陀螺儀的定向讀數(shù)來確定一個或多個3D空間特征的第一集。
[0116]在一個實施例中，第一成像相機包括具有多行像素傳感器的滾動快門成像相機，接收第一圖像數(shù)據(jù)流包括接收由滾動快門成像相機捕獲的逐行圖像數(shù)據(jù)流，由此第一圖像幀的部分包括滾動快門成像相機的一行或多行的第一集的圖像數(shù)據(jù)，并且由此圖像幀的下一部分包括滾動快門成像相機的一行或多行的第二集的圖像數(shù)據(jù)。方法還可以包括:在第一處理器接收由電子設(shè)備的第二成像相機捕獲的第二圖像數(shù)據(jù)流，第二圖像數(shù)據(jù)流表示第二圖像幀。方法進一步可以包括:在第一處理器確定針對第二圖像幀的一個或多個2D空間特征的第二集，并且向第二處理器流式傳輸表示一個或多個2D空間特征的第二集的第二2D空間特征數(shù)據(jù)。
[0117]依照本公開的又一方面，電子設(shè)備包括深度傳感器，深度傳感器包括用于投射調(diào)制光圖案的調(diào)制光投射器和用于捕獲調(diào)制光圖案的反射的第一成像相機。電子設(shè)備進一步包括控制器，用于響應(yīng)于至少一個觸發(fā)事件，選擇性地修改調(diào)制光投射器投射調(diào)制光圖案的頻率、強度和持續(xù)時間中的至少一個。電子設(shè)備進一步可以包括環(huán)境光傳感器，其中至少一個觸發(fā)事件包括由環(huán)境光傳感器檢測的環(huán)境光的改變。響應(yīng)于環(huán)境光降至第一閾值以下，控制器可以增加投射的調(diào)制光圖案的頻率、強度和持續(xù)時間中的至少一個，并且響應(yīng)于環(huán)境光升至第二閾值以上，控制器可以減少投射的調(diào)制光圖案的頻率、強度和持續(xù)時間中的至少一個。至少一個觸發(fā)事件可以包括定時器的推移。
[0118]至少一個觸發(fā)事件可以包括電子設(shè)備位于先前未遇到的環(huán)境，其中響應(yīng)于電子設(shè)備位于先前未遇到的環(huán)境，控制器可以增加調(diào)制光圖案的投射的頻率、強度和持續(xù)時間中的至少一個。電子設(shè)備進一步可以包括用于標識電子設(shè)備的粗定位的無線信號接收器，無線信號接收器包括全球定位系統(tǒng)接收器、無線蜂窩接收器和無線局域網(wǎng)接收器中的至少一個?；谟蔁o線信號接收器確定的粗定位，控制器可以確定電子設(shè)備處于先前未遇到的環(huán)境。電子設(shè)備進一步可以包括用于捕獲電子設(shè)備的本地環(huán)境的圖像的第二成像相機?；趶膱D像確定的一個或多個空間特征和由調(diào)制光圖案的反射表示的深度數(shù)據(jù)，控制器可以為電子設(shè)備處的當前環(huán)境編目錄。控制器還可以基于編目錄的當前環(huán)境來確定電子設(shè)備處于先前未遇到的環(huán)境。
[0119]在至少一個實施例中，電子設(shè)備進一步包括用于捕獲電子設(shè)備的本地環(huán)境的圖像的第二成像相機。基于本地環(huán)境電子設(shè)備的圖像，并且基于由調(diào)制光圖案的反射表示的深度數(shù)據(jù)，控制器可以確定一個或多個空間特征，并且至少一個觸發(fā)事件包括確定空間特征中的一個或多個空間特征是先前未遇到的空間特征。進一步地，至少一個觸發(fā)事件可以包括檢測到電子設(shè)備的運動高于閾值，并且響應(yīng)于檢測到高于閾值的運動，控制器可以增加投射的調(diào)制光圖案的頻率、強度和持續(xù)時間中的至少一個。
[0120]在一個實施例中，電子設(shè)備進一步包括用于捕獲電子設(shè)備的環(huán)境的圖像的第二成像相機，并且至少一個觸發(fā)事件包括從捕獲的圖像檢測高于閾值的運動。響應(yīng)于檢測到高于閾值的運動，控制器可以增加投射的調(diào)制光圖案的頻率、強度和持續(xù)時間中的至少一個。在一個實施例中，第二成像相機捕獲電子設(shè)備的環(huán)境的圖像，并且控制器阻止顯示由第二成像相機與調(diào)制光投射器投射調(diào)制光圖案并發(fā)捕獲的圖像。
[0121]依照本公開的另一方面，方法包括:使用電子設(shè)備的調(diào)制光投射器投射調(diào)制光圖案，使用成像相機捕獲投射的調(diào)制光圖案的反射，并且響應(yīng)于至少一個觸發(fā)事件，控制調(diào)制光投射器選擇性地修改調(diào)制光圖案的投射的頻率、強度和持續(xù)時間中的至少一個。至少一個觸發(fā)事件可以包括以下項中的至少一個:環(huán)境照明的改變；經(jīng)由電子設(shè)備的第二成像相機檢測高于閾值的運動；以及確定電子設(shè)備處于先前未遇到的環(huán)境。方法可以進一步包括:捕獲電子設(shè)備的環(huán)境的至少一個圖像，并且基于至少一個圖像來確定至少一個空間特征，其中至少一個觸發(fā)事件包括確定至少一個空間特征是先前未遇到的空間特征。方法可以進一步包括阻止在調(diào)制光投射器投射調(diào)制光圖案的同時在電子設(shè)備顯示由電子設(shè)備的成像相機捕獲的圖像。
[0122]依照本公開的又一方面，電子設(shè)備包括第一成像相機、用于至少投射調(diào)制光圖案的調(diào)制光投射器、以及用于檢測電子設(shè)備的環(huán)境光條件的環(huán)境光傳感器。方法進一步包括控制器，用于響應(yīng)于環(huán)境光條件來控制調(diào)制光投射器投射調(diào)制光圖案的頻率、強度和持續(xù)時間中的至少一個。在一個實施例中，響應(yīng)于環(huán)境光條件小于第一閾值，控制器增加投射的調(diào)制光圖案的頻率、強度和持續(xù)時間中的至少一個，并且響應(yīng)于環(huán)境光條件大于第二閾值，控制器減少投射的調(diào)制光圖案的頻率、強度和持續(xù)時間中的至少一個。第一閾值和第二閾值可以包括同一閾值。響應(yīng)于確定電子設(shè)備處于先前遇到的環(huán)境，控制器可以減少調(diào)制光圖案的投射的頻率、強度和持續(xù)時間中的至少一個。
[0123]電子設(shè)備可以進一步包括第二成像相機和深度傳感器，深度傳感器包括調(diào)制光投射器以及第一成像相機和第二成像相機中的至少一個。響應(yīng)于確定環(huán)境光條件大于閾值，電子設(shè)備可以使用來自第一成像相機的圖像數(shù)據(jù)和來自第二成像相機的圖像數(shù)據(jù)來確定針對檢測的空間特征的深度數(shù)據(jù)。響應(yīng)于環(huán)境光條件小于閾值，電子設(shè)備可以使用由第一成像相機或第二成像相機之一捕獲的調(diào)制光圖案的反射來確定針對檢測的空間特征的深度數(shù)據(jù)。
[0124]上面描述的許多發(fā)明功能和許多發(fā)明原理非常適用于具有或以軟件程序或指令以及諸如專用IC(ASIC)之類的集成電路(1C)的實施方式。預(yù)期的是，當由本文中公開的概念和原理引導(dǎo)時，普通技術(shù)人員(盡管由例如可用時間、當前技術(shù)和經(jīng)濟上的考慮激勵的可能顯著的努力和許多設(shè)計選擇)將容易地能夠以最少的實驗生成這樣的軟件指令和程序和1C。因此，為了簡潔和最小化模糊根據(jù)本公開的原理和概念的任何風(fēng)險，對這樣的軟件和1C的進一步討論(如果有的話)將限于關(guān)于優(yōu)選實施例內(nèi)的原理和概念的基本要點。
[0125]在本文檔中，諸如第一和第二等之類的關(guān)系術(shù)語可以僅用于區(qū)分一個實體或動作與另一實體或動作，而不一定要求或暗指在這樣的實體或動作之間的任何實際的這樣的關(guān)系或順序。術(shù)語“包括”或其任何其它變型旨在于涵蓋非排他性包含，使得包括元件列表的處理、方法、物品或裝置不只包括那些元件，而是可以包括未明確列出或這樣的處理、方法、物品或裝置所固有的其它元件。在沒有更多約束的情況下，在“包括…”后的元件不排除在包括該元件的處理、方法、物品或裝置中存在附加的完全相同的元件。如本文中使用的術(shù)語“另一”被定義為至少第二或更多。如本文中使用的術(shù)語“包含”和/或“具有”被定義為包括。如本文中參考電光技術(shù)所使用的術(shù)語“耦合”被定義為連接，雖然不一定直接地，并且不一定機械地。如本文中使用的術(shù)語“程序”被定義為設(shè)計用于執(zhí)行在計算機系統(tǒng)上的指令序列?！俺绦颉被颉坝嬎銠C程序”可以包括子例程、函數(shù)、過程、對象方法、對象實施方式、可執(zhí)行應(yīng)用、小應(yīng)用程序、小服務(wù)程序、源代碼、目標代碼、共享庫/動態(tài)加載庫和/或設(shè)計用于執(zhí)行在計算機系統(tǒng)上的其它指令序列。
[0126]本說明書和附圖應(yīng)當被視為僅僅是示例，并且據(jù)此本公開的范圍旨在于僅由所附權(quán)利要求及其等同物來限定。注意，并不要求上面在一般性描述中所描述的所有活動或元件，可以不要求特定活動或設(shè)備的一部分，并且除了所描述的那些，可以執(zhí)行一個或多個其它活動，或者可以包括一個或多個其它元件。再進一步地，列出活動的順序不一定是它們執(zhí)行的順序。除非另有規(guī)定，上面所描繪的流程圖的步驟可以按任何順序，并且根據(jù)實施方式，可以省略、重復(fù)和/或添加步驟。還有，已經(jīng)參考具體實施例描述了概念。然而，本領(lǐng)域普通技術(shù)人員理解，可以做出各種修改和改變，而不脫離如所附權(quán)利要求中所闡述的本公開的范圍。據(jù)此，說明書和附圖要在說明性而非限制性的意義上來看待，并且所有這樣的修改旨在于包括在本公開的范圍內(nèi)。
[0127]上面已經(jīng)關(guān)于具體實施例描述了益處、其它優(yōu)點和問題的解決方案。然而，益處、優(yōu)點、問題的解決方案、以及其可以使得任何益處、優(yōu)點或解決方案發(fā)生或變得更為顯著的任何(多個)特征不應(yīng)被解釋為任何或所有權(quán)利要求的關(guān)鍵的、必需的或基本的特征。
【主權(quán)項】
1.一種電子設(shè)備，包括: 深度傳感器，包括: 調(diào)制光投射器，用于投射調(diào)制光圖案；以及 第一成像相機，用于至少捕獲所述調(diào)制光圖案的反射；以及 控制器，用于響應(yīng)于至少一個觸發(fā)事件而選擇性地修改由所述調(diào)制光投射器投射所述調(diào)制光圖案的頻率、強度和持續(xù)時間中的至少一個。2.根據(jù)權(quán)利要求1所述的電子設(shè)備，其中所述至少一個觸發(fā)事件包括: 定時器的推移。3.根據(jù)權(quán)利要求1所述的電子設(shè)備，進一步包括: 環(huán)境光傳感器；并且 其中所述至少一個觸發(fā)事件包括: 由所述環(huán)境光傳感器檢測的環(huán)境光的改變。4.根據(jù)權(quán)利要求3所述的電子設(shè)備，其中響應(yīng)于所述環(huán)境光降至第一閾值以下，所述控制器增加投射的所述調(diào)制光圖案的所述頻率、所述強度和所述持續(xù)時間中的至少一個，并且響應(yīng)于所述環(huán)境光升至第二閾值以上，所述控制器減少投射的所述調(diào)制光圖案的所述頻率、所述強度和所述持續(xù)時間中的至少一個。5.根據(jù)權(quán)利要求1所述的電子設(shè)備，其中所述至少一個觸發(fā)事件包括: 所述電子設(shè)備位于先前未遇到的環(huán)境中；并且 響應(yīng)于所述電子設(shè)備位于先前未遇到的環(huán)境中，所述控制器增加所述調(diào)制光圖案的投射的所述頻率、所述強度和所述持續(xù)時間中的至少一個。6.根據(jù)權(quán)利要求5所述的電子設(shè)備，進一步包括: 無線信號接收器，用于標識所述電子設(shè)備的粗定位，所述無線信號接收器包括全球定位系統(tǒng)接收器、無線蜂窩接收器和無線局域網(wǎng)接收器中的至少一個；并且 其中基于由所述無線信號接收器確定的所述粗定位，所述控制器確定所述電子設(shè)備處于先前未遇到的環(huán)境中。7.根據(jù)權(quán)利要求5所述的電子設(shè)備，進一步包括: 第二成像相機，用于捕獲所述電子設(shè)備的本地環(huán)境的圖像； 其中基于從所述圖像確定的一個或多個空間特征和由所述調(diào)制光圖案的所述反射表示的深度數(shù)據(jù)，所述控制器為所述本地環(huán)境編目錄；并且 其中基于編目錄的所述本地環(huán)境，所述控制器確定所述電子設(shè)備處于先前未遇到的環(huán)境中。8.根據(jù)權(quán)利要求1所述的電子設(shè)備，進一步包括: 第二成像相機，用于捕獲所述電子設(shè)備的本地環(huán)境的圖像； 其中基于所述本地環(huán)境電子設(shè)備的所述圖像，并且基于由所述調(diào)制光圖案的所述反射表示的深度數(shù)據(jù)，所述控制器確定一個或多個空間特征；并且其中所述至少一個觸發(fā)事件包括: 確定所述空間特征中的至少一個空間特征是先前未遇到的空間特征。9.根據(jù)權(quán)利要求1所述的電子設(shè)備，其中: 所述至少一個觸發(fā)事件包括: 檢測所述電子設(shè)備的運動高于閾值；并且 響應(yīng)于檢測到高于所述閾值的所述運動，所述控制器增加投射的所述調(diào)制光圖案的所述頻率、所述強度和所述持續(xù)時間中的至少一個。10.根據(jù)權(quán)利要求1所述的電子設(shè)備，進一步包括: 第二成像相機，用于捕獲所述電子設(shè)備的環(huán)境的圖像； 所述至少一個觸發(fā)事件包括: 從捕獲的所述圖像檢測高于閾值的運動；并且 響應(yīng)于檢測到高于所述閾值的所述運動，所述控制器增加投射的所述調(diào)制光圖案的所述頻率、所述強度和所述持續(xù)時間中的至少一個。11.根據(jù)權(quán)利要求1所述的電子設(shè)備，其中所述控制器阻止由所述第一成像相機與捕獲所述調(diào)制光圖案的所述反射并發(fā)捕獲的圖像的顯示。12.—種方法，包括: 使用電子設(shè)備的調(diào)制光投射器投射調(diào)制光圖案； 使用成像相機捕獲投射的所述調(diào)制光圖案的反射；以及 響應(yīng)于至少一個觸發(fā)事件，控制所述調(diào)制光投射器選擇性地修改所述調(diào)制光圖案的投射的頻率、強度和持續(xù)時間中的至少一個。13.根據(jù)權(quán)利要求12所述的方法，其中所述至少一個觸發(fā)事件包括以下項中的至少一個: 環(huán)境照明的改變；檢測到高于閾值的運動；以及確定所述電子設(shè)備處于先前未遇到的環(huán)境中。14.根據(jù)權(quán)利要求12所述的方法，進一步包括: 捕獲所述電子設(shè)備的環(huán)境的至少一個圖像； 基于所述至少一個圖像，確定至少一個空間特征；并且 其中所述至少一個觸發(fā)事件包括: 確定所述至少一個空間特征是先前未遇到的空間特征。15.根據(jù)權(quán)利要求12所述的方法，進一步包括: 阻止由所述電子設(shè)備的成像相機在所述調(diào)制光投射器投射調(diào)制光圖案的同時捕獲的圖像在所述電子設(shè)備的顯示。16.—種電子設(shè)備，包括: 第一成像相機； 調(diào)制光投射器，用于至少投射調(diào)制光圖案； 環(huán)境光傳感器，用于檢測所述電子設(shè)備的環(huán)境光條件；以及 控制器，用于響應(yīng)于所述環(huán)境光條件，控制所述調(diào)制光投射器投射所述調(diào)制光圖案的頻率、強度和持續(xù)時間中的至少一個。17.根據(jù)權(quán)利要求16所述的電子設(shè)備，其中響應(yīng)于所述環(huán)境光條件小于第一閾值，所述控制器增加投射的所述調(diào)制光圖案的所述頻率、所述強度和所述持續(xù)時間中的至少一個。18.根據(jù)權(quán)利要求16所述的電子設(shè)備，其中響應(yīng)于所述環(huán)境光條件大于第二閾值，所述控制器減少投射的所述調(diào)制光圖案的所述頻率、所述強度和所述持續(xù)時間中的至少一個。19.根據(jù)權(quán)利要求16所述的電子設(shè)備，進一步包括: 第二成像相機；以及 深度傳感器，包括所述調(diào)制光投射器以及所述第一成像相機和所述第二成像相機中的至少一個成像相機； 其中響應(yīng)于所述環(huán)境光條件大于閾值，所述電子設(shè)備使用來自所述第一成像相機的圖像數(shù)據(jù)和來自所述第二成像相機的圖像數(shù)據(jù)來確定用于檢測的空間特征的深度數(shù)據(jù)；并且 其中響應(yīng)于所述環(huán)境光條件小于所述閾值，所述電子設(shè)備使用由所述第一成像相機或所述第二成像相機之一捕獲的所述調(diào)制光圖案的反射來確定用于檢測的空間特征的深度數(shù)據(jù)。20.根據(jù)權(quán)利要求16所述的電子設(shè)備，其中響應(yīng)于確定所述電子設(shè)備處于先前遇到的環(huán)境中，所述控制器減少所述調(diào)制光圖案的投射的所述頻率、所述強度和所述持續(xù)時間中的至少一個。
【專利摘要】電子設(shè)備(100)包括深度傳感器(120)、第一成像相機(114，116)和控制器(802)。深度傳感器(120)包括用于投射調(diào)制光圖案(500)的調(diào)制光投射器(119)。第一成像相機(114，116)至少捕獲調(diào)制光圖案(500)的反射。響應(yīng)于至少一個觸發(fā)事件(1002)，控制器(802)選擇性地修改(1004)調(diào)制光投射器投射調(diào)制光圖案的頻率、強度和持續(xù)時間中的至少一個。觸發(fā)事件可以包括例如入射在電子設(shè)備上的環(huán)境光的改變(1092)、電子設(shè)備的運動的檢測(1094)、或者確定(1096)電子設(shè)備遇到了先前未遇到的環(huán)境。
【IPC分類】G01B11/22, G01B11/25
【公開號】CN105393079
【申請?zhí)枴緾N201480011049
【發(fā)明人】J·李
【申請人】谷歌技術(shù)控股有限責(zé)任公司
【公開日】2016年3月9日
【申請日】2014年1月23日
【公告號】EP2962062A1, US9398287, US20140240464, WO2014133691A1