上下文感知定位、映射和跟蹤的制作方法
【技術(shù)領(lǐng)域】
[0001 ] 本文披露的主題一般涉及映射、定位和跟蹤。
【背景技術(shù)】
[0002]計(jì)算機(jī)視覺(jué)系統(tǒng)一般包含獲取、處理、分析以及理解圖像以及一般來(lái)說(shuō)來(lái)自現(xiàn)實(shí)世界的高維數(shù)據(jù)以產(chǎn)生數(shù)字或符號(hào)信息(例如決策形式)的方法。計(jì)算機(jī)視覺(jué)中的一個(gè)已知問(wèn)題為確定圖像數(shù)據(jù)是否含有特定對(duì)象、特征或活動(dòng)。盡管人類(lèi)可能能夠快速解決上述問(wèn)題，但計(jì)算機(jī)視覺(jué)系統(tǒng)領(lǐng)域仍為針對(duì)任意境遇中的任意對(duì)象的一般情形的發(fā)展中理解。
[0003]穩(wěn)定計(jì)算機(jī)視覺(jué)算法對(duì)擴(kuò)增實(shí)境使用情形高度有益?？赡艽嬖诙喾N算法和參數(shù)來(lái)實(shí)現(xiàn)具體任務(wù)。許多計(jì)算機(jī)視覺(jué)算法取決于參數(shù)或特征的選擇并且取決于具體情況的特定調(diào)整。沒(méi)有一組通用參數(shù)或算法可以對(duì)全部情況起作用并且難以不使用額外信息就推斷出這些參數(shù)“在運(yùn)行中”。
[0004]因此，需要改善的計(jì)算機(jī)視覺(jué)技術(shù)。

【發(fā)明內(nèi)容】

[0005]本文所披露的實(shí)施例可能涉及執(zhí)行計(jì)算機(jī)視覺(jué)任務(wù)的方法。所述方法可包含推斷用戶(hù)或裝置的上下文，并且根據(jù)推斷的上下文配置計(jì)算機(jī)視覺(jué)任務(wù)。所述方法可進(jìn)一步包含執(zhí)行包含以下各者中的至少一者的計(jì)算機(jī)視覺(jué)任務(wù):視覺(jué)映射裝置的環(huán)境、在裝置的環(huán)境內(nèi)視覺(jué)定位裝置或?qū)ο?，或在裝置的環(huán)境內(nèi)視覺(jué)跟蹤裝置。
[0006]本文所披露的實(shí)施例可涉及具有執(zhí)行一種方法的指令的機(jī)器可讀非暫時(shí)性存儲(chǔ)媒體，所述方法包含計(jì)算機(jī)視覺(jué)任務(wù)。所述方法可進(jìn)一步包含推斷用戶(hù)或裝置的上下文，并且根據(jù)推斷的上下文配置計(jì)算機(jī)視覺(jué)任務(wù)。所述方法可進(jìn)一步包含執(zhí)行包含以下各者中的至少一者的計(jì)算機(jī)視覺(jué)任務(wù):視覺(jué)映射裝置的環(huán)境、在裝置的環(huán)境內(nèi)視覺(jué)定位裝置或?qū)ο螅蛟谘b置的環(huán)境內(nèi)視覺(jué)跟蹤裝置。
[0007]本文所披露的實(shí)施例也可以涉及一種設(shè)備，其包含用于執(zhí)行計(jì)算機(jī)視覺(jué)任務(wù)的裝置。所述設(shè)備進(jìn)一步包含推斷用戶(hù)或裝置的上下文，并且根據(jù)推斷的上下文配置計(jì)算機(jī)視覺(jué)任務(wù)。所述設(shè)備可進(jìn)一步包含執(zhí)行包含以下各者中的至少一者的計(jì)算機(jī)視覺(jué)任務(wù):視覺(jué)映射裝置的環(huán)境、在裝置的環(huán)境內(nèi)視覺(jué)定位裝置或?qū)ο?，或在裝置的環(huán)境內(nèi)視覺(jué)跟蹤裝置。
[0008]本文所披露的實(shí)施例可進(jìn)一步涉及一種數(shù)據(jù)處理系統(tǒng)，其包含處理器和可配置以存儲(chǔ)用以執(zhí)行計(jì)算機(jī)視覺(jué)任務(wù)的指令的存儲(chǔ)裝置。數(shù)據(jù)處理系統(tǒng)經(jīng)進(jìn)一步配置以推斷用戶(hù)或裝置的上下文，根據(jù)推斷的上下文配置計(jì)算機(jī)視覺(jué)任務(wù)以及執(zhí)行計(jì)算機(jī)視覺(jué)任務(wù)。計(jì)算機(jī)視覺(jué)任務(wù)針對(duì)以下各者中的至少一者進(jìn)一步配置:視覺(jué)映射所述裝置的環(huán)境、在所述裝置的所述環(huán)境內(nèi)視覺(jué)定位所述裝置或?qū)ο?，或在所述裝置的所述環(huán)境內(nèi)視覺(jué)跟蹤所述裝置。
[0009]其它特征和優(yōu)勢(shì)將從附圖及【具體實(shí)施方式】中顯而易知。
【附圖說(shuō)明】
[0010]圖1是在一個(gè)實(shí)施例中可實(shí)踐本發(fā)明的方面的系統(tǒng)的框圖；
[0011]圖2是說(shuō)明在一個(gè)實(shí)施例中包含傳感器和示范性處理模塊的系統(tǒng)的子區(qū)段的框圖；以及
[0012]圖3說(shuō)明用于定位、映射和跟蹤的方法的一個(gè)實(shí)施例的流程圖。
【具體實(shí)施方式】
[0013]本文中所用的詞語(yǔ)“示范性”或“實(shí)例”意思是“充當(dāng)實(shí)例、例子或說(shuō)明”。本文中描述為“示范性”或描述為“實(shí)例”的任何方面或?qū)嵤├幢貞?yīng)被解釋為比其它方面或?qū)嵤├齼?yōu)選或有利。
[0014]圖1為說(shuō)明可在其中實(shí)踐本文中描述的實(shí)施例的示范性數(shù)據(jù)處理系統(tǒng)的框圖。所述系統(tǒng)可為裝置(例如裝置100)，其可包含一或多個(gè)處理器101、存儲(chǔ)器105、I/O控制器125以及網(wǎng)絡(luò)接口 110。裝置100還可包含耦合到一或多個(gè)總線或信號(hào)線的若干裝置傳感器，所述總線或信號(hào)線進(jìn)一步耦合到處理器101。應(yīng)了解，裝置100還可包含顯示器120、用戶(hù)接口(例如鍵盤(pán)、觸摸屏或類(lèi)似裝置)、電源裝置121 (例如電池)，以及通常與電子裝置有關(guān)的其它組件。在一些實(shí)施例中，裝置可為移動(dòng)或非移動(dòng)裝置。網(wǎng)絡(luò)接口 110還可耦合到若干無(wú)線子系統(tǒng)115(例如藍(lán)牙166、WiFi 111、蜂窩161或其它網(wǎng)絡(luò))以經(jīng)由無(wú)線鏈路將數(shù)據(jù)流發(fā)射到無(wú)線網(wǎng)絡(luò)/從無(wú)線網(wǎng)絡(luò)接收數(shù)據(jù)流，或可為用于直接連接到網(wǎng)絡(luò)(例如因特網(wǎng)、以太網(wǎng)或其它無(wú)線系統(tǒng))的有線接口。因此，裝置可為:移動(dòng)裝置、無(wú)線裝置、蜂窩電話、個(gè)人數(shù)字助理、移動(dòng)計(jì)算機(jī)、可穿戴式裝置(例如頭戴式顯示器、虛擬現(xiàn)實(shí)眼鏡等)、機(jī)器人導(dǎo)航系統(tǒng)、平板計(jì)算機(jī)、個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)，或具有處理能力的任何類(lèi)型的裝置。
[0015]裝置(例如裝置100)可包含傳感器，例如時(shí)鐘130、環(huán)境光傳感器(ALS) 135、加速計(jì)140、陀螺儀145、磁力計(jì)150、溫度傳感器151、氣壓傳感器155、紅色-綠色-藍(lán)色(RGB)顏色傳感器152、紫外線(UV)傳感器153、UV-A傳感器、UV-B傳感器、指紋傳感器、觸摸傳感器、指南針、藍(lán)牙166、WiFi 111、蜂窩161、接近度傳感器167和/或全球定位傳感器(GPS) 160。在一些實(shí)施例中，麥克風(fēng)165、相機(jī)170和/或無(wú)線子系統(tǒng)115用作傳感器以分析裝置的環(huán)境。在一些實(shí)施例中，多個(gè)相機(jī)集成或接入到裝置。舉例來(lái)說(shuō)，移動(dòng)裝置可具有至少一前部和后部安裝的相機(jī)。在另一個(gè)實(shí)例中，機(jī)器人導(dǎo)航系統(tǒng)可具有多個(gè)不同相機(jī)來(lái)捕獲機(jī)器人的多個(gè)視點(diǎn)。在一些實(shí)施例中，其它傳感器也可以具有多個(gè)副本或版本。
[0016]存儲(chǔ)器105可耦合到處理器101以存儲(chǔ)指令供處理器101執(zhí)行。在一些實(shí)施例中，存儲(chǔ)器105為非暫時(shí)的。存儲(chǔ)器105還可存儲(chǔ)一或多個(gè)模型或模塊以實(shí)施下文描述的實(shí)施例。存儲(chǔ)器105還可存儲(chǔ)來(lái)自集成或外部傳感器的數(shù)據(jù)。此外，存儲(chǔ)器105可存儲(chǔ)應(yīng)用程序接口(API)用于接入模塊171 (例如應(yīng)用數(shù)據(jù)模塊、上下文模塊、定位模塊、映射模塊以及跟蹤模塊)。存儲(chǔ)器105還可存儲(chǔ)描述預(yù)定義特征調(diào)度信息的配置文件、訓(xùn)練數(shù)據(jù)樣本、傳感器數(shù)據(jù)樣本，或關(guān)于類(lèi)別或特征的功率簡(jiǎn)檔。雖然模塊171說(shuō)明為與裝置100中的其它元件分離，但模塊171可完全或部分由圖1中說(shuō)明的其它元件實(shí)施，例如在處理器101和/或存儲(chǔ)器105中，或在裝置100的另一處理器和/或存儲(chǔ)器中，或在裝置100的一或多個(gè)其它元件中。關(guān)于模塊171的實(shí)施的額外細(xì)節(jié)在下文描述。
[0017]應(yīng)了解，本文中描述為將在下文中描述的系統(tǒng)和方法的實(shí)施例可以通過(guò)裝置和/或裝置的其它電路和/或其它裝置的處理器101執(zhí)行指令(例如如存儲(chǔ)于存儲(chǔ)器105或其它元件中)來(lái)實(shí)施。具體來(lái)說(shuō)，裝置的包含(但不限于)處理器101的電路可在程序、工藝路線或指令的執(zhí)行控制下操作，來(lái)執(zhí)行根據(jù)本發(fā)明的實(shí)施例的的方法或工藝。舉例來(lái)說(shuō)，此程序可在固件或軟件中實(shí)施(例如存儲(chǔ)在存儲(chǔ)器105和/或其它位置中)且可由處理器來(lái)實(shí)施，例如處理器101和/或裝置的其它電路。另外，應(yīng)了解，術(shù)語(yǔ)處理器、微處理器、電路、控制器等是指能夠執(zhí)行邏輯、命令、指令、軟件、固件、功能性等的任何類(lèi)型的邏輯或電路。
[0018]此外，應(yīng)了解，本文描述的一些或所有功能、引擎或模塊可由裝置本身執(zhí)行，且/或本文描述的一些或所有功能、引擎或模塊可由通過(guò)I/O控制器125或網(wǎng)絡(luò)接口 110 (無(wú)線方式或有線方式)連接到裝置的另一系統(tǒng)執(zhí)行。因此，一些和/或所有功能可由另一系統(tǒng)執(zhí)行，且結(jié)果或中間計(jì)算可傳遞回到裝置。在一些實(shí)施例中，此另一裝置可包括經(jīng)配置以實(shí)時(shí)或近實(shí)時(shí)處理信息的服務(wù)器。在一些實(shí)施例中，另一裝置經(jīng)配置以例如基于裝置的已知配置預(yù)先確定結(jié)果。此外，圖1中說(shuō)明的元件的一或多者可從裝置100省略。舉例來(lái)說(shuō)，傳感器130-165中的一或多者可在一些實(shí)施例中省略。
[0019]裝置(例如裝置100)可使用一或多個(gè)傳感器或應(yīng)用數(shù)據(jù)來(lái)搜集環(huán)境信息并且推斷與裝置有關(guān)的上下文。在一個(gè)實(shí)施例中，上下文感知定位、映射和跟蹤(CALMT)可確定以下各者中的一或多者:僅舉幾例，基于特征施加哪一個(gè)圖像、對(duì)象或環(huán)境的適合模型或圖示、既定定位、映射和跟蹤任務(wù)的優(yōu)化實(shí)施、最佳參數(shù)設(shè)定、高效傳感器抽樣策略以及何時(shí)開(kāi)始映射、定位或跟蹤。
[0020]如本文所用的上下文和背景信息可為可用于表征裝置(例如裝置100)的境遇或裝置的用戶(hù)的境遇任何信息。在一些實(shí)施例中，上下文可包含以下各者中的一或多者:如下文更詳細(xì)描述位置、運(yùn)動(dòng)、活動(dòng)和環(huán)境。
[0021]圖2是說(shuō)明在一個(gè)實(shí)施例中包含傳感器205和示范性處理模塊171的裝置100的子區(qū)段的框圖。模塊171可例如作為裝置100的子組件直接實(shí)施在硬件或固件中，其中專(zhuān)門(mén)處理器或?qū)嵤┓桨腹蚕碇醒胩幚韱卧?例如處理器101)?；蛘撸K可實(shí)施在由處理器執(zhí)行的軟件中，或利用軟件與硬件的組合實(shí)施。軟件模塊可駐留在存儲(chǔ)器(例如存儲(chǔ)器105)或此項(xiàng)技術(shù)中已知的其它形式的存儲(chǔ)媒體中。本文所述的模塊可代表用于進(jìn)行計(jì)算機(jī)視覺(jué)任務(wù)的方面的功能性方法，所述任務(wù)可在多種替代實(shí)施方式中實(shí)施。盡管定位模塊215、映射模塊210、跟蹤模塊220、上下文模塊225以及應(yīng)用數(shù)據(jù)模塊230分別在圖2中說(shuō)明，但這些模塊中的一或多者的功能組合或可以與上文所述的方式不同的方式分布。舉例來(lái)說(shuō)，上下文模塊225和跟蹤模塊220或定位模塊或映射模塊可在一些實(shí)施例中組合。類(lèi)似地，上下文模塊和應(yīng)用數(shù)據(jù)模塊可在一些實(shí)施例中組合。在一些實(shí)施例中，如本文所述的CALMT作為模塊實(shí)施并且上述模塊(例如跟蹤、映射、定位、分類(lèi)器、上下文和應(yīng)用數(shù)據(jù))為CALMT系統(tǒng)或模塊的子模塊或組件。模塊的其它組合也可能使用任何模塊171。
[0022]傳感器205可包括以下各者中的任何一或多者:時(shí)鐘130、環(huán)境光傳感器(ALS) 135、加速計(jì)140、陀螺儀145、磁力計(jì)150、溫度傳感器151、麥克風(fēng)165、氣壓傳感器155、相機(jī)170、紅色-綠色-藍(lán)色(RGB)顏色傳感器152、紫外線(UV)傳感器153、UV-A傳感器、UV-B傳感器、指紋傳感器、觸摸傳感器、指南針、藍(lán)牙166、WiFi 111、蜂窩161、接近度傳感器167和/或全球定位傳感器(GPS) 160或其它傳感器。
[0023]在一個(gè)實(shí)施例中，定位、跟蹤和映射模塊可執(zhí)行如下文更詳細(xì)描述的定位、跟蹤和映射任務(wù)中的一或多者。在一個(gè)實(shí)施例中，定位、跟蹤和映射模塊可接收或請(qǐng)求來(lái)自上下文模塊225的上下文確定。上下文模塊225可從傳感器205和應(yīng)用數(shù)據(jù)模塊230請(qǐng)求和接收傳感器數(shù)據(jù)。在其它實(shí)施例中，定位、跟蹤和映射模塊可經(jīng)配置以不借助上下文模塊225來(lái)執(zhí)行上下文確定，并且定位、跟蹤和映射模塊可從傳感器205和應(yīng)用數(shù)據(jù)模塊230直接請(qǐng)求和接收數(shù)據(jù)。
[0024]圖3說(shuō)明在一個(gè)實(shí)施例中用于上下文感知定位、映射和跟蹤的方法的流程圖。在方框305處，CALMT可推斷用戶(hù)或裝置的上下文。在其它實(shí)施例中，CALMT可從配置文件接收上下文或直接從上下文模塊接收上下文。上下文確定的細(xì)節(jié)在下文中更詳細(xì)地論述。
[0025]在方框310處，CALMT可根據(jù)推斷的上下文配置計(jì)算機(jī)視覺(jué)任務(wù)。舉例來(lái)說(shuō)，計(jì)算機(jī)視覺(jué)任務(wù)可為多個(gè)定位、映射和跟蹤中的一或多者。推斷的上下文可來(lái)自一或多個(gè)傳感器流(例如傳感器205)或應(yīng)用(例如應(yīng)用數(shù)據(jù)模塊230)。舉例來(lái)說(shuō)，視裝置或用戶(hù)的環(huán)境(例如位置、環(huán)境、活動(dòng)或運(yùn)動(dòng))而定，CALMT可指的是匹配優(yōu)化參數(shù)以應(yīng)用特定定位、映射和跟蹤實(shí)施方式。
[0026]在方框315處，CAL