專利名稱：深度圖置信過濾的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)，尤其涉及深度圖的處理技術(shù)。
背景技術(shù)：
各種類型的基于圖像的數(shù)據(jù)獲取設(shè)備將深度信息用于不同的應(yīng)用。帶有無線電頻率調(diào)制的信號的片上連續(xù)波相關(guān)性的飛行時間范圍傳感器正日益流行。它們同時傳送深度圖以及帶有對于該特定種類的數(shù)據(jù)是唯一的噪聲和系統(tǒng)差錯的強(qiáng)度圖像。捕捉設(shè)備提供場景的深度信息以及量化深度信息的準(zhǔn)確性的可靠性的置信指示。
使用各種類型的圖像處理技術(shù)來將噪聲從二維圖像中移除。噪聲可以從獲取時的任意數(shù)量的差錯中生成并且可以影響置信信息。

發(fā)明內(nèi)容
公開了用于過濾從捕捉設(shè)備接收的深度信息的技術(shù)。通過使用與深度信息一起提供的、基于每像素基礎(chǔ)上的自適應(yīng)創(chuàng)建的最優(yōu)空間濾波器的置信信息來過濾深度信息。在一個實施例中，提供了用于過濾包括置信度量的深度信息的方法。接收場景上包括深度信息的輸入數(shù)據(jù)。深度信息包括多個像素，每一像素包括深度值和置信值。為深度信息中的每一像素生成置信權(quán)重歸一化濾波器。將權(quán)重歸一化濾波器與輸入數(shù)據(jù)進(jìn)行組合來向應(yīng)用程序提供經(jīng)過濾的數(shù)據(jù)。
提供本發(fā)明內(nèi)容以便以簡化形式介紹將在以下的具體實施方式
中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標(biāo)識出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護(hù)的主題的范圍。


圖1描繪了適于實現(xiàn)本發(fā)明的技術(shù)的捕捉設(shè)備和處理設(shè)備。
圖2描繪了示例性多媒體控制臺處理設(shè)備。
圖3描繪了處理設(shè)備的第二實施例。
圖4是捕捉設(shè)備所捕捉的示例性深度圖像。
圖5示出正被采樣的深度圖像的一部分的示例實施例。
圖6和7示出典型的場景的深度噪聲對不確定性的散點(diǎn)圖表。
圖8示出根據(jù)本發(fā)明的技術(shù)的用于動態(tài)地過濾深度圖像的方法。
圖9示出用于為930處的圖像中的每一像素計算置信權(quán)重歸一化濾波器的方法。
圖10示出用于配置濾波器的方法。
圖11示出說明了離輸入像素的距離值的數(shù)據(jù)存儲。
圖12A到12D示出使用輸入像素置信值以及到內(nèi)核像素的距離的空間加權(quán)矩陣的創(chuàng)建。
圖13A示出根據(jù)上述步驟1040的用于基于各個內(nèi)核置信來生成置信加權(quán)矩陣的方法。
圖13B示出輸入像素的給定集合的置信矩陣。
圖14示出經(jīng)組合的矩陣。
圖15示出用于歸一化經(jīng)組合的加權(quán)矩陣的過程。
圖16示出用于準(zhǔn)備對象相關(guān)性矩陣的過程。
具體實施例方式公開了用于過濾從捕捉設(shè)備接收的深度信息的技術(shù)。通過使用與深度信息一起提供的、基于每像素基礎(chǔ)上的自適應(yīng)創(chuàng)建的最優(yōu)空間濾波器的置信信息來過濾深度信息。將濾波器系數(shù)的較大加權(quán)用于與輸出的空間位置較接近的輸入樣本。將較大加權(quán)應(yīng)用于具有較高置信的輸入深度樣本，該輸入深度樣本的置信高于帶有較低置信的輸入深度樣本。系數(shù)的縮放確保保留了總體增益和局部增益。
該技術(shù)在諸如美國專利申請中公開的目標(biāo)識別、分析和跟蹤系統(tǒng)中被有利地利用，這些美國專利申請例如2009年5月29日提交的題為“EnvironmentAnd/Or Target Segmentation (環(huán)境和/或目標(biāo)分段)，，的序列號為12/475094的美國專利申請，該申請通過引用完整地結(jié)合于此；在2009年10月21日提交的“Pose Tracking Pipeline (姿勢跟蹤流水線)”的第12/603，437號美國專利申請(在下文中也被稱為‘437申請)，并且該申請通過引用完整地結(jié)合于此；在2009年5月29日提交的“Device for Identifying and Tracking Multiple HumansOver Time (用于標(biāo)識和跟蹤隨時間的多個人的設(shè)備)”第 12/475，308號美國專利申請，該申請通過引用完整地結(jié)合于此；在2009年12月18日提交的“ Motion Detection Using Depth Images (使用深度圖像的動作檢測)”，該申請通過引用完整地結(jié)合于此；在2009年10月7日提交的“Human TrackingSystenK人類跟蹤系統(tǒng))” 的第12/575，388號美國專利申請，并且該申請通過引用完整地結(jié)合于此。
捕捉設(shè)備可以耦合到諸如圖1-4所示的計算環(huán)境。計算環(huán)境12可以是計算機(jī)、游戲系統(tǒng)或控制臺等等。根據(jù)一示例實施例，計算環(huán)境12可包括硬件組件和/或軟件組件， 從而使得計算環(huán)境12可用于執(zhí)行諸如游戲應(yīng)用程序、非游戲應(yīng)用程序等的應(yīng)用程序。在一個實施例中，計算系統(tǒng)12可包括可執(zhí)行包括例如用于接收深度圖像的指令的處理器，如標(biāo)準(zhǔn)化處理器、專用處理器、微處理器等。
根據(jù)一實施例，目標(biāo)識別、分析和跟蹤系統(tǒng)10可連接到可向用戶提供游戲或應(yīng)用程序視覺形象和/或音頻的視聽設(shè)備(未示出)，如電視機(jī)、監(jiān)視器、高清電視機(jī)(HDTV)等。 例如，計算環(huán)境12可包括諸如圖形卡等視頻適配器和/或諸如聲卡等音頻適配器，這些適配器可提供與游戲應(yīng)用程序、非游戲應(yīng)用程序等相關(guān)聯(lián)的視聽信號。
在目標(biāo)識別、分析和跟蹤系統(tǒng)中存在和使用的即時技術(shù)的其他應(yīng)用僅僅是一種示例性的使用。
圖1示出可結(jié)合計算環(huán)境12來使用的捕捉設(shè)備20的示例實施例。根據(jù)一示例實施例，捕捉設(shè)備20可被配置成經(jīng)由任何合適的技術(shù)，包括例如飛行時間、結(jié)構(gòu)化光、立體圖像等來捕捉包括深度圖像的帶有深度信息的視頻，該深度圖像可包括深度值。根據(jù)一實施例，捕捉設(shè)備20可將深度信息組織為“Z層”，即可與Z軸正交的從深度相機(jī)沿著其視線延伸的層。
如圖1所示，捕捉設(shè)備20可包括圖像照像機(jī)組件22。根據(jù)一個示例實施例，圖像照像機(jī)組件22可以是可以捕捉一個場景的深度圖像的深度照像機(jī)。深度圖像可包括所捕捉的場景的二維(2-D)像素區(qū)域，其中2-D像素區(qū)域中的每一像素可表示諸如按照以厘米、 毫米等為單位的所捕捉的場景中的物體離照相機(jī)的長度或距離等的深度值。
如圖1所示，根據(jù)一示例實施例，圖像相機(jī)組件22可包括可用于捕捉場景的深度圖像的IR光組件24、三維(3-D)相機(jī)26、和RGB相機(jī)28。例如，在飛行時間分析中，捕捉設(shè)備20的IR光組件24可以將紅外光發(fā)射到場景上，然后，可以使用傳感器(未示出)，用例如3-D照像機(jī)26和/或RGB照像機(jī)28，來檢測從場景中的一個或多個目標(biāo)和對象的表面反向散射的光。在某些實施例中，可以使用脈沖式紅外光從而可以測量出射光脈沖和相應(yīng)的入射光脈沖之間的時間差并將其用于確定從捕捉設(shè)備20到場景中的目標(biāo)或物體上的特定位置的物理距離。另外，在其他示例實施例中，可將入射光波的相位與出射光波的相位進(jìn)行比較來確定相移。然后可以使用相移來確定從捕捉設(shè)備到目標(biāo)或?qū)ο笊系奶囟ㄎ恢玫木嘭琛?br> 根據(jù)另一示例實施例，可使用飛行時間分析，通過經(jīng)由包括例如快門式光脈沖成像的各種技術(shù)來分析反射光束隨時間的強(qiáng)度變化以間接地確定從捕捉設(shè)備20到目標(biāo)或物體上的特定位置的物理距離。
在另一示例實施例中，捕捉設(shè)備20可使用結(jié)構(gòu)化光來捕捉深度信息。在該分析中，圖案化光(即，被顯示為諸如網(wǎng)格圖案或條紋圖案等已知圖案的光)可經(jīng)由例如IR光組件24被投影到場景上。在撞擊到場景中的一個或多個目標(biāo)或物體的表面時，作為響應(yīng)， 圖案可變形。圖案的這種變形可由例如3-D相機(jī)26和/或RGB相機(jī)28來捕捉，然后可被分析來確定從捕捉設(shè)備到目標(biāo)或?qū)ο笊系奶囟ㄎ恢玫奈锢砭嚯x。
根據(jù)另一實施例，捕捉設(shè)備20可包括兩個或更多物理上分開的相機(jī)，這些相機(jī)可從不同角度查看場景來獲得可被解析以生成深度信息的視覺立體數(shù)據(jù)。
捕捉設(shè)備20還可包括話筒30。話筒30可包括可接收聲音并將其轉(zhuǎn)換成電信號的換能器或傳感器。根據(jù)一個實施例，麥克風(fēng)30可以被用來減少目標(biāo)識別、分析，及跟蹤系統(tǒng)10中的捕捉設(shè)備20和計算環(huán)境12之間的反饋。另外，話筒30可用于接收也可由用戶提供的音頻信號，以控制可由計算環(huán)境12執(zhí)行的諸如游戲應(yīng)用程序、非游戲應(yīng)用程序等應(yīng)用程序。
在一示例實施例中，捕捉設(shè)備20還可以包括可以與圖像照像機(jī)組件22進(jìn)行可操作的通信的處理器32。處理器32可包括可執(zhí)行包括例如用于接收深度圖像；基于深度圖像來生成深度圖；基于深度圖像來提供置信信息的指令，或任何其他合適的指令的標(biāo)準(zhǔn)化處理器、專用處理器、微處理器等，這將在下文更詳細(xì)地描述。
捕捉設(shè)備20還可以包括存儲器組件34，該存儲器組件34可以存儲可以由處理器 32執(zhí)行的指令，由3-D照像機(jī)或RGB照像機(jī)捕捉到的圖像或圖像的幀，或任何其他合適的信息、圖像等等。根據(jù)一個示例實施例，存儲器組件34可包括隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、緩存、閃存、硬盤或任何其他合適的存儲組件。如圖1所示，在一實施例中，存儲器組件34可以是與圖像捕捉組件22和處理器32進(jìn)行通信的單獨(dú)的組件。根據(jù)另一實施例，存儲器組件34可被集成到處理器32和/或圖像捕捉組件22中。
如圖1所示，捕捉設(shè)備20可經(jīng)由通信鏈路36與計算環(huán)境12進(jìn)行通信。通信鏈路36可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接和/或諸如無線 802. lib,802. llg、802. Ila或802. Iln連接等無線連接。根據(jù)一個實施例，計算環(huán)境12可以向捕捉設(shè)備20提供時鐘，可以使用該時鐘來通過通信鏈路36確定何時捕捉，例如，場景。
另外，捕捉設(shè)備20可將由例如3-D照相機(jī)26和/或RGB照相機(jī)28捕捉的深度信息和圖像經(jīng)由通信鏈路36提供給計算環(huán)境12。
如圖1所示的過濾元件60包括行緩存74、76，置信加權(quán)矩陣生成器82，空間加權(quán)矩陣生成器80以及歸一化引擎84。同樣還示出了乘法器81和86。過濾元件60和其上包括的各組件可由專用硬件組件組成，可被集成到圖2和3所示的一個或多個外圍組件上，或者可由用于指令諸如圖2和3中的CPU 101或處理單元259之類的處理器分別執(zhí)行以下在圖9-16中描述的任務(wù)的代碼來實現(xiàn)。
啟用行緩存74、76，置信加權(quán)矩陣生成器82，空間加權(quán)矩陣生成器80，歸一化引擎 84，對象相關(guān)性矩陣生成器85和相關(guān)矩陣乘法器85a以及乘法器81和86被實現(xiàn)為硬件組件生成器，因為硬件加法器、乘法器和存儲器提高了生成器的速度并允許用最小增加的等待時間來進(jìn)行過濾。
可以經(jīng)由鏈路36將從捕捉設(shè)備20獲得的深度信息提供給計算環(huán)境。對信息的場景的每一輸入像素執(zhí)行根據(jù)本發(fā)明的技術(shù)的過濾。圖像可以被認(rèn)為是示出場景的一個版本的像素集。可以用光柵掃描方式或使用全局快門曝光來提供來自捕捉設(shè)備的深度信息。光柵掃描一般從左到右地在圖像上發(fā)生而在圖像傳感器中從上到下地進(jìn)行。
緩存74和76允許捕捉足夠數(shù)量的信息(取決于下文參考圖10討論的濾波器矩陣配置)來允許過濾技術(shù)對輸入流執(zhí)行動作。在將信息提供給過濾元件60時，緩存74、76 獲得足夠的信息用于置信加權(quán)矩陣生成器82、空間加權(quán)矩陣生成器80、對象相關(guān)性矩陣生成器85、歸一化引擎84和乘法器81、85a和86來提供過濾操作。
一般而言，對于每一輸入像素，基于在與輸入像素相鄰的多個像素的基礎(chǔ)上的濾波器分辨率矩陣來定義濾波器矩陣。對于每一輸入像素，置信加權(quán)矩陣生成器82基于圍繞輸入像素的矩陣中的像素的置信值來生成置信濾波器矩陣?？臻g加權(quán)矩陣生成器80基于輸入像素的置信值以及矩陣中的像素到周圍像素的距離來生成空間加權(quán)矩陣。乘法器81 將置信加權(quán)矩陣生成器82和空間加權(quán)矩陣生成器80的值進(jìn)行組合來提供經(jīng)組合的矩陣。 對象相關(guān)性矩陣生成器85生成相關(guān)性加權(quán)矩陣來移除濾波器矩陣中內(nèi)核像素在不同的深度平面上且由該技術(shù)找到的組分。對象相關(guān)性矩陣在過濾過程期間移除圖像邊界外部的未定義像素和來自不同對象的像素。使用乘法器85a來將乘法器81的輸出與對象相關(guān)性矩陣進(jìn)行組合。歸一化引擎84創(chuàng)建歸一化經(jīng)組合的矩陣，然后通過乘法器86將該矩陣與輸入值進(jìn)行組合來向一個或多個應(yīng)用程序226提供經(jīng)過濾的深度輸出。
圖2示出可用于解釋目標(biāo)識別、分析和跟蹤系統(tǒng)中的一個或多個姿勢和/或動畫化目標(biāo)識別、分析和跟蹤系統(tǒng)所顯示的化身或屏幕上的人物的計算環(huán)境的示例實施例。以上參考附圖1所描述的諸如計算環(huán)境12的計算環(huán)境可以是多媒體控制臺100，諸如游戲控制臺。如圖2所示，多媒體控制臺100具有含有1級高速緩存102、2級高速緩存104和閃存R0M(只讀存儲器)106的中央處理單元(CPU) 101。一級高速緩存102和二級高速緩存 104臨時存儲數(shù)據(jù)并因此減少存儲器訪問周期數(shù)，由此改進(jìn)處理速度和吞吐量。CPU 101可以設(shè)置成具有一個以上的內(nèi)核，以及由此的附加的一級和二級高速緩存102和104。閃存ROM 106可存儲在當(dāng)多媒體控制臺100通電時的引導(dǎo)過程的初始階段期間加載的可執(zhí)行代碼。
圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用于高速、高分辨率圖形處理的視頻處理流水線。數(shù)據(jù)經(jīng)由總線從圖形處理單元108輸送到視頻編碼器/視頻編解碼器114。視頻處理流水線將數(shù)據(jù)輸出到A/V (音頻/視頻)端口 140以傳輸?shù)诫娨暀C(jī)或其他顯示器。存儲器控制器110連接到GPU 108以方便處理器訪問各種類型的存儲器112，諸如但不局限于RAM(隨機(jī)存取存儲器)。
多媒體控制臺100包括較佳地在模塊118上實現(xiàn)的I/O控制器120、系統(tǒng)管理控制器122、音頻處理單元123、網(wǎng)絡(luò)接口控制器124、第一 USB主控制器126、第二 USB控制器 128和前面板I/O子部件130。USB控制器126和128用作外圍控制器142 (1)-142 (2)、無線適配器148、和外置存儲器設(shè)備146 (例如閃存、外置⑶/DVD ROM驅(qū)動器、可移動介質(zhì)等) 的主機(jī)。網(wǎng)絡(luò)接口 124和/或無線適配器148提供對網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線或無線適配器組件中任何一種。
提供系統(tǒng)存儲器143來存儲在引導(dǎo)進(jìn)程期間加載的應(yīng)用數(shù)據(jù)。提供了介質(zhì)驅(qū)動器 144，其可以包括DVD/CD驅(qū)動器、硬盤驅(qū)動器，或其他可移動介質(zhì)驅(qū)動器等等。媒體驅(qū)動器 144對于多媒體控制臺100可以內(nèi)置或外置的。應(yīng)用數(shù)據(jù)可經(jīng)由媒體驅(qū)動器144訪問，以由多媒體控制臺100執(zhí)行、回放等。介質(zhì)驅(qū)動器144經(jīng)由諸如串行ATA總線或其他高速連接 (例如IEEE 1394)等總線連接到I/O控制器120。
系統(tǒng)管理控制器122提供涉及確保多媒體控制臺100的可用性的各種服務(wù)功能。 音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的對應(yīng)的音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端口 140以供外置音頻播放器或具有音頻能力的設(shè)備再現(xiàn)。
前板I/O子部件130支持暴露在多媒體控制臺100的外表面上的電源按鈕150和彈出按鈕152以及任何LED(發(fā)光二極管)或其他指示器的功能。系統(tǒng)供電模塊136向多媒體控制臺100的組件供電。風(fēng)扇138冷卻多媒體控制臺100內(nèi)的電路。
CPU 101、GPU 108、存儲器控制器110、和多媒體控制臺100內(nèi)的各個其他組件經(jīng)由一條或多條總線互連，包括串行和并行總線、存儲器總線、外圍總線、和使用各種總線架構(gòu)中任一種的處理器或局部總線。作為示例，這些架構(gòu)可以包括外圍部件互連(PCI)總線、 PCI-Express 總線等。
當(dāng)多媒體控制臺100通電時，應(yīng)用數(shù)據(jù)可從系統(tǒng)存儲器143加載到存儲器112和 /或高速緩存102、104中并在CPU 101上執(zhí)行。應(yīng)用可呈現(xiàn)在導(dǎo)航到多媒體控制臺100上可用的不同媒體類型時提供一致的用戶體驗的圖形用戶界面。在操作中，媒體驅(qū)動器144 中包含的應(yīng)用程序和/或其他媒體可從媒體驅(qū)動器144啟動或播放，以向多媒體控制臺100 提供附加功能。
多媒體控制臺100可通過將該系統(tǒng)簡單地連接到電視機(jī)或其他顯示器而作為獨(dú)立系統(tǒng)來操作。在該獨(dú)立模式中，多媒體控制臺100允許一個或多個用戶與該系統(tǒng)交互、看電影、或聽音樂。然而，隨著通過網(wǎng)絡(luò)接口 124或無線適配器148可用的寬帶連接的集成， 多媒體控制臺100還可作為較大網(wǎng)絡(luò)社區(qū)中的參與者來操作。
當(dāng)多媒體控制臺100通電時，可以保留設(shè)定量的硬件資源以供多媒體控制臺操作系統(tǒng)作系統(tǒng)使用。這些資源可包括存儲器的保留量(諸如，16MB)、CPU和GPU周期的保留量(諸如，5% )、網(wǎng)絡(luò)帶寬的保留量(諸如，8kbs)，等等。因為這些資源是在系統(tǒng)引導(dǎo)時間保留的，所保留的資源對于應(yīng)用程序視角而言是不存在的。
具體地，存儲器保留較佳地足夠大，以包含啟動內(nèi)核、并發(fā)系統(tǒng)應(yīng)用程序和驅(qū)動程序。CPU保留較佳地為恒定，使得若所保留的CPU用量不被系統(tǒng)應(yīng)用程序使用，則空閑線程將消耗任何未使用的周期。
對于GPU保留，通過使用GPU中斷來顯示由系統(tǒng)應(yīng)用程序生成的輕量消息(例如， 彈出窗口)，以調(diào)度代碼來將彈出窗口呈現(xiàn)為覆蓋圖。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大小，并且覆蓋圖較佳地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應(yīng)用程序使用完整用戶界面的情況下，優(yōu)選使用獨(dú)立于應(yīng)用程序分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率，從而無需改變頻率，也就不會引起TV重新同步。
在多媒體控制臺100引導(dǎo)且系統(tǒng)資源被保留之后，就執(zhí)行并發(fā)系統(tǒng)應(yīng)用程序來提供系統(tǒng)功能。系統(tǒng)功能被封裝在一組在上述所保留的系統(tǒng)資源中執(zhí)行的系統(tǒng)應(yīng)用程序中。 操作系統(tǒng)內(nèi)核標(biāo)識是系統(tǒng)應(yīng)用程序線程而非游戲應(yīng)用程序線程的線程。系統(tǒng)應(yīng)用程序優(yōu)選地被調(diào)度為在預(yù)定時間并以預(yù)定時間間隔在CPUlOl上運(yùn)行，以便為應(yīng)用程序提供一致的系統(tǒng)資源視圖。進(jìn)行調(diào)度是為了把由在控制臺上運(yùn)行的游戲應(yīng)用程序所引起的高速緩存分裂最小化。
當(dāng)并發(fā)系統(tǒng)應(yīng)用程序需要音頻時，則由于時間敏感性而異步調(diào)度音頻處理給游戲應(yīng)用程序。多媒體控制臺應(yīng)用程序管理器(如下所述)在系統(tǒng)應(yīng)用程序活動時控制游戲應(yīng)用程序的音頻水平(例如，靜音、衰減)。
輸入設(shè)備(例如，控制器142(1)和142(2))由游戲應(yīng)用程序和系統(tǒng)應(yīng)用程序共享。輸入設(shè)備不是所保留的資源，但卻在系統(tǒng)應(yīng)用程序和游戲應(yīng)用程序之間切換以使其各自具有設(shè)備的焦點(diǎn)。應(yīng)用程序管理器較佳地控制輸入流的切換，而無需知曉游戲應(yīng)用程序的知識，并且驅(qū)動程序維持有關(guān)焦點(diǎn)切換的狀態(tài)信息。照像機(jī)26、28和捕捉設(shè)備20可以為控制臺100定義額外的輸入設(shè)備。
圖3示出了可以是圖1所示的計算環(huán)境12的計算環(huán)境220的另一示例實施例。計算系統(tǒng)環(huán)境220只是合適的計算環(huán)境的一個示例，并且不旨在對所公開的主題的使用范圍或功能提出任何限制。也不應(yīng)該將計算環(huán)境220解釋為對示例性操作環(huán)境220中示出的任一組件或其組合有任何依賴性或要求。在某些實施例中，所描繪的各種計算元素可包括被配置成實例化本公開的各具體方面的電路。例如，本公開中使用的術(shù)語電路可包括被配置成通過固件或開關(guān)來執(zhí)行功能的專用硬件組件。在其他示例實施方式中，術(shù)語電路可包括由實施可用于執(zhí)行功能的邏輯的軟件指令配置的通用處理單元、存儲器等。在其中電路包括硬件和軟件的組合的示例實施例中，實施者可以編寫體現(xiàn)邏輯的源代碼，且源代碼可以被編譯為可以由通用處理單元處理的機(jī)器可讀代碼。因為本領(lǐng)域技術(shù)人員可以明白現(xiàn)有技術(shù)已經(jīng)進(jìn)化到硬件、軟件或硬件/軟件組合之間幾乎沒有差別的地步，因而選擇硬件或是軟件來實現(xiàn)具體功能是留給實現(xiàn)者的設(shè)計選擇。更具體地，本領(lǐng)域技術(shù)人員可以明白軟件進(jìn)程可被變換成等價的硬件結(jié)構(gòu)，而硬件結(jié)構(gòu)本身可被變換成等價的軟件進(jìn)程。因此，對于硬件實現(xiàn)還是軟件實現(xiàn)的選擇是設(shè)計選擇并留給實現(xiàn)者。
在圖3中，計算環(huán)境220包括計算機(jī)241，計算機(jī)241通常包括各種計算機(jī)可讀介質(zhì)。計算機(jī)可讀介質(zhì)可以是能由計算機(jī)241訪問的任何可用介質(zhì)，而且包含易失性和非易失性介質(zhì)、可移動和不可移動介質(zhì)。系統(tǒng)存儲器222包括易失性和/或非易失性存儲器形式的計算機(jī)存儲介質(zhì)，如只讀存儲器(ROM) 223和隨機(jī)存取存儲器(RAM) 260?；据斎?輸出系統(tǒng)224(BI0S)包括如在啟動時幫助在計算機(jī)241內(nèi)的元件之間傳輸信息的基本例程， 它通常儲存在ROM 223中。RAM 260通常包含處理單元259可以立即訪問和/或目前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖3示出操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)228。
計算機(jī)241還可以包括其他可移動/不可移動、易失性/非易失性計算機(jī)存儲介質(zhì)。僅作為示例，圖3示出了從不可移動、非易失性磁介質(zhì)中讀取或向其寫入的硬盤驅(qū)動器 238，從可移動、非易失性磁盤254中讀取或向其寫入的磁盤驅(qū)動器239，以及從諸如⑶ROM 或其他光學(xué)介質(zhì)等可移動、非易失性光盤253中讀取或向其寫入的光盤驅(qū)動器240?？梢栽谑纠圆僮鳝h(huán)境中使用的其他可移動/不可移動、易失性/非易失性計算機(jī)存儲介質(zhì)包括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等等。硬盤驅(qū)動器238通常由諸如接口 234等不可移動存儲器接口連接至系統(tǒng)總線221，磁盤驅(qū)動器239 和光盤驅(qū)動器240通常由諸如接口 235等可移動存儲器接口連接至系統(tǒng)總線221。
以上討論并在圖3中示出的驅(qū)動器及其相關(guān)聯(lián)的計算機(jī)存儲介質(zhì)為計算機(jī)241提供了對計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲。在圖3中，例如，硬盤驅(qū)動器238被示為存儲操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256和程序數(shù)據(jù)255。注意， 這些組件可以與操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)228相同，也可以與它們不同。在此給操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256、以及程序數(shù)據(jù)255 提供了不同的編號，以說明至少它們是不同的副本。用戶可以通過輸入設(shè)備，諸如鍵盤251 和定點(diǎn)設(shè)備252 (通常被稱為鼠標(biāo)、跟蹤球或觸摸墊)，向計算機(jī)241輸入命令和信息。其他輸入設(shè)備(未示出)可以包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等等。這些和其他輸入設(shè)備通常由耦合至系統(tǒng)總線的用戶輸入接口 236連接至處理單元259，但也可以由其他接口和總線結(jié)構(gòu)，諸如并行端口、游戲端口或通用串行總線(USB)，來連接。照像機(jī)26、28和捕捉設(shè)備20可以為控制臺100定義額外的輸入設(shè)備。監(jiān)視器242或其他類型的顯示設(shè)備也通過接口，諸如視頻接口 232，連接至系統(tǒng)總線221。除監(jiān)視器以外，計算機(jī)也可以包括其他外圍輸出設(shè)備，諸如揚(yáng)聲器244和打印機(jī)243，它們可以通過輸出外圍接口 233連接。
計算機(jī)241可使用至一個或多個遠(yuǎn)程計算機(jī)，諸如遠(yuǎn)程計算機(jī)246的邏輯連接在網(wǎng)絡(luò)化環(huán)境中操作。遠(yuǎn)程計算機(jī)246可以是個人計算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對等設(shè)備或其他常見網(wǎng)絡(luò)節(jié)點(diǎn)，并且通常包括許多或所有以上關(guān)于計算機(jī)241所描述的元件，盡管在圖3中僅示出了存儲器存儲設(shè)備247。圖2中所示的邏輯連接包括局域網(wǎng)(LAN) 245和廣域網(wǎng)(WAN)249，但也可以包括其他網(wǎng)絡(luò)。這樣的聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍計算機(jī)網(wǎng)絡(luò)、 內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。
當(dāng)在LAN聯(lián)網(wǎng)環(huán)境中使用時，計算機(jī)241通過網(wǎng)絡(luò)接口或適配器237連接至LAN 245。當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時，計算機(jī)241通常包括調(diào)制解調(diào)器250或用于通過諸如因特網(wǎng)等WAN 249建立通信的其他裝置。調(diào)制解調(diào)器250可以是內(nèi)置或外置的，它可以經(jīng)由用戶輸入接口 236或其他適當(dāng)?shù)臋C(jī)制連接至系統(tǒng)總線221。在網(wǎng)絡(luò)化環(huán)境中，相對于計算機(jī) 241所描述的程序模塊或其部分可被存儲在遠(yuǎn)程存儲器存儲設(shè)備中。作為示例而非限制， 圖3示出遠(yuǎn)程應(yīng)用程序248駐留在存儲器設(shè)備247上?？梢岳斫?，所示的網(wǎng)絡(luò)連接是示例性的，且可以使用在計算機(jī)之間建立通信鏈路的其他手段。
圖4示出了可由計算環(huán)境12接收的深度圖像400的示例實施例。根據(jù)一示例實施例，深度圖像400可以是由例如以上參考圖1所描述的捕捉設(shè)備20的3-D照相機(jī)26和/ 或RGB照相機(jī)28所捕捉的場景的圖像或幀。如圖4所示，深度圖像400可包括所捕捉的場景中例如與用戶相對應(yīng)的人類目標(biāo)402a以及一個或多個非人類目標(biāo)404，諸如墻壁、桌子、 監(jiān)視器等。深度圖像400可包括多個觀測到的像素，其中每一觀測到的像素具有與其相關(guān)聯(lián)的觀測到的深度值。例如，深度圖像400可包括所捕捉的場景的二維(2-D)像素區(qū)域，其中2-D像素區(qū)域中的特定X值和Y值處的每一像素可具有諸如以例如厘米、毫米等為單位的所捕捉的場景中的目標(biāo)或?qū)ο箅x捕捉設(shè)備的長度或絕對距離之類的深度值。
在一實施例中，深度圖像400可被著色從而使得深度圖像的像素的不同顏色對應(yīng)于和/或從視覺上描繪了人類目標(biāo)402a和非人類目標(biāo)404離捕捉設(shè)備的不同距離。例如， 與深度圖像中最接近捕捉設(shè)備的目標(biāo)相關(guān)聯(lián)的像素可用紅色和/或橙色陰影來著色，而與深度圖像中較遠(yuǎn)的目標(biāo)相關(guān)聯(lián)的像素可用綠色和/或藍(lán)色陰影來著色。
例如，如上所述，深度圖像可包括所捕捉的場景的2-D像素區(qū)域，其中每一像素具有與其相關(guān)聯(lián)的X值、Y值和深度值(或ζ值)。在一實施例中，深度圖像可通過將2-D像素區(qū)域中的像素減少為一個或多個像素的網(wǎng)格來降采樣。例如，深度圖像可被分成各個像素部分或像素塊，諸如4x4的像素塊、5x5的像素塊、8x8的像素塊、10x10的像素塊等等。
圖5示出正被采樣的深度圖像的一部分的示例實施例。例如，如圖5所示，以上參考圖4所述的深度圖像400的一部分430可包括多個像素450，其中每一像素可具有與其相關(guān)聯(lián)的X值、Y值和深度值(或Z值)。根據(jù)一實施例，如上所述，諸如深度圖像400之類的深度圖像可被分成像素部分或像素塊430，諸如5x5的像素塊。諸如目標(biāo)識別、分析和跟蹤系統(tǒng)的應(yīng)用程序可以使用圖像中的像素來表示與真實世界空間中的像素相關(guān)聯(lián)的位置從而來處理圖像。
多個像素中的每一個可包括相對于圖像和相對于5x5的塊的位置。圖像中像素的相對位置可被稱為像素分割。在當(dāng)前描述中，可以在表示空間內(nèi)核的像素塊的中心處提供輸入像素475，并且內(nèi)核中的像素在圖5所示的內(nèi)核內(nèi)可具有在(-2，2)到(2，2)和(-2，-2) 到(2，-2)處的相對的χ和y坐標(biāo)位置，各坐標(biāo)是離輸入像素的相對位置。
在將來自捕捉設(shè)備20的深度信息提供給應(yīng)用程序之前，可以如下討論地過濾深度信息ζ-值。
圖6和7示出典型的場景的深度噪聲對不確定性的散點(diǎn)圖表。圖7是圖6的數(shù)據(jù)曲線中的彎折附近的部分700的放大區(qū)域。許多深度獲取技術(shù)提供深度和置信數(shù)據(jù)。在使用飛行時間(TOF)技術(shù)的照相機(jī)中，光源投影到場景上，光反射離開場景中的對象，并且圖像傳感器收集所反射的光。盡管TOF原理可以變化，但在所收集的所反射的光的強(qiáng)度和所得所生成的深度樣本的噪聲之間存在一般的相關(guān)性。如圖6和7所示，所收集的光越多等價于深度樣本的噪聲越少。應(yīng)該注意，雖然置信與深度樣本的噪聲相關(guān)，但它通常不是線性關(guān)系。
11 圖8示出根據(jù)本發(fā)明的技術(shù)的用于動態(tài)地過濾深度圖像的方法。圖8所示的方法可由計算環(huán)境12以及一實施例中的圖1所示的各組件來執(zhí)行?；蛘?，計算環(huán)境中的單個處理器可以遵循提供來對處理器進(jìn)行編程以執(zhí)行該方法的指令來執(zhí)行圖8所示的方法。
在810中，計算環(huán)境12從諸如捕捉設(shè)備20等捕捉設(shè)備獲得深度信息。在820處， 置信信息與深度信息一起被包括。置信信息是深度信息的準(zhǔn)確性的可靠性的度量。如上所述，捕捉設(shè)備可以經(jīng)由鏈路36提供深度和置信信息并將其分別導(dǎo)向到緩存74和76。深度信息可包括所捕捉的場景中特定像素的ζ軸距離值，而置信信息可以是按已知比例提供的深度信息的可靠性的數(shù)值指示。例如在一實施例中，置信信息可包括8位數(shù)值(例如， 0-255)。在830中，為在810和820處獲得的圖像中的每一像素計算置信權(quán)重歸一化濾波器。下面參考圖10-16來說明用于執(zhí)行步驟830的方法。在840中，對置信加權(quán)歸一化濾波器信息和在810處獲得的輸入數(shù)據(jù)進(jìn)行卷積來提供圖像中的每一像素的經(jīng)過濾的值。隨后在850處將經(jīng)過濾的輸入數(shù)據(jù)提供給應(yīng)用程序。
圖9示出用于為930處的圖像中的每一像素計算置信權(quán)重歸一化濾波器的方法。 在一實施例中，圖9的方法由圖1中的組件80、82、84、85和86執(zhí)行。最初在1010處，配置濾波器。為配置濾波器，選擇內(nèi)核的空間濾波器。例如，空間濾波器可以是3x3的像素矩陣或5x5的像素矩陣，其中輸入像素是矩陣的中心像素，如圖5在475處所示的。如上所述， 在圖5處，輸入像素475將被24個內(nèi)核像素圍繞?？梢圆捎萌我獯笮〉木仃?，但因為上文的描述，將描述5x5的空間濾波器。如下所討論的，被約束為與5x5的空間濾波器內(nèi)核一起運(yùn)作的算法從圍繞中心輸入像素的24個像素中收集樣本，總共提供25個深度值和25個置信值。
在1015處，獲得樣本圖像。通常，圖像用光柵掃描的方式被采樣為信息的幀。進(jìn)而，如下所述，在逐像素的基礎(chǔ)上對移動窗口執(zhí)行步驟1020到1055。在1020處，為樣本圖像中的每一輸入像素執(zhí)行步驟1025-1055。在1025處，獲得輸入像素的深度和置信值。在 1030處，獲得在空間內(nèi)核中定義的那些像素的深度和置信值。在1035處，使用輸入像素置信值以及到每一內(nèi)核像素的距離來生成空間加權(quán)矩陣。下面將參考圖12A和12B來說明用于執(zhí)行空間加權(quán)矩陣的方法。一般而言，空間加權(quán)矩陣基于內(nèi)核像素的貢獻(xiàn)、將內(nèi)核像素與輸入像素的像素分割考慮在內(nèi)來向輸入濾波器分配加權(quán)。在接收到輸入像素的較高置信 (一般意味著像素的較低噪聲值)的情況下，則生成較窄的空間濾波器，從而保留空間分辨率。另外，對象往往具有相關(guān)的深度并且直接相鄰的像素往往比離得較遠(yuǎn)的像素在值上更接近。無論使用什么空間過濾方法，較高置信的輸入像素被分配較高的權(quán)重。經(jīng)過濾的權(quán)重的分配可以使用任意數(shù)量的過濾函數(shù)來發(fā)生。在一個示例中，利用高斯函數(shù)，其中歸因于像素的權(quán)重為 e(_(距離 *。)—2) 其中σ基于輸入樣本的置信來分配。ο的值可以通過引用基于輸入像素置信值來提供較窄或較寬的濾波器的查找表來導(dǎo)出?？臻g加權(quán)矩陣的示例在圖12C和12D中示出。
以此方式，濾波器可以是自適應(yīng)的，S卩，為過濾函數(shù)作出的選擇以及基于輸入像素所分配的權(quán)重可以根據(jù)濾波器設(shè)計者作出的選擇，或根據(jù)作為數(shù)據(jù)目的地的應(yīng)用程序的特定需要而變化。
在1040處，基于各個內(nèi)核置信來生成置信加權(quán)矩陣。在1040中，利用矩陣內(nèi)核中的每一源樣本的置信來生成置信加權(quán)矩陣。下面在圖13A中示出了用于創(chuàng)建置信加權(quán)矩陣的方法。在1040處創(chuàng)建的置信加權(quán)矩陣將與輸入像素相鄰的像素具有良好的距離數(shù)據(jù)的置信考慮在內(nèi)。置信矩陣的示例在圖13B中示出。
在1043處，生成對象相關(guān)性矩陣。用于創(chuàng)建對象相關(guān)性矩陣的示例性方法在圖16 中示出。使用對象相關(guān)性矩陣來避免在過濾過程期間將圖像邊界外部的像素(因為它們可能是未定義的)以及來自不同對象的像素(因為距離可能彼此不相關(guān))包括在內(nèi)。在一替換實施例中，忽略對象相關(guān)性并且可以用每一內(nèi)核抽頭的值為1來填充對象相關(guān)性矩陣。 例如，對于在(_1，1)、(-2，-2)、(-2，-1)等處的像素在源圖像的邊界外部(即，未定義)的對象相關(guān)性矩陣，對象相關(guān)性矩陣可以通過將落在圖像邊界外部的像素位置的條目置零來解決這一問題。在1045處，將置信加權(quán)矩陣、對象相關(guān)性矩陣和空間加權(quán)矩陣進(jìn)行組合。在 1045處，將置信加權(quán)矩陣和空間加權(quán)矩陣的相應(yīng)系數(shù)中的每一個相乘來提供與濾波器內(nèi)核大小同階的經(jīng)組合的加權(quán)矩陣。經(jīng)組合的矩陣的示例在圖14中示出。
在步驟1050處，為了保留增益，隨后將矩陣的每一系數(shù)除以所有系數(shù)的總和來歸一化樣本。在1052處，將歸一化的經(jīng)組合的矩陣中的每一像素與內(nèi)核中該位置處的像素的輸入值相乘，并且在1054處，對所得乘積求和來提供給定輸入像素(0，0)的經(jīng)過濾的值。 在1055處，將輸入像素(0，0)的經(jīng)過濾的像素值輸出給應(yīng)用程序，如步驟850 (圖8)處所述，并且在1060處，該方法對每一像素(轉(zhuǎn)換到如圖5的440處所指示的圖像中的下一像素(例如，像素(0，1)))以及1065處的樣本中的每一圖像重復(fù)。
圖10示出在步驟1010處執(zhí)行的用于配置濾波器的方法。在1110處，選擇濾波器的矩陣大小。如上所述，矩陣大小可以是3x3的濾波器、5x5的濾波器、7x7的濾波器等等。 在1120處，計算輸入或中心樣本像素與相鄰像素的距離。在1130處將這些距離存儲在數(shù)據(jù)存儲中。示出距離值的示例性數(shù)據(jù)存儲在圖11中示出。在圖11中，表1150示出到中心像素0，0的示例性距離。使用勾股定理，每一中心像素到相鄰像素的距離就是χ距離的平方加上y距離的平方的平方根。使用表1150，像素離目標(biāo)越近，則該像素對目標(biāo)像素0，0所具有的貢獻(xiàn)越多?；趦?nèi)核像素離輸入像素的距離，使用矩陣1150來對權(quán)重進(jìn)行分配。如上所述，可以將表1150存儲在輸入表中，并且假定許多值是重復(fù)的(表1150中只存在五個唯一的值)，則表所需的存儲空間最小。應(yīng)該明白，存儲在表1150中的距離是相對值，而不是實際值。
圖12A到12D示出使用輸入像素置信值以及上述到內(nèi)核像素的距離的空間加權(quán)矩陣的創(chuàng)建(步驟1035處)。在一實施例中，空間濾波器的創(chuàng)建可以由空間加權(quán)矩陣生成器 80來執(zhí)行。在一實施例中，在1210處，獲得輸入像素(0，0)的置信值。在步驟1215處，可以對照已經(jīng)用基于給定過濾函數(shù)對置信值范圍的權(quán)重分配來預(yù)填充的數(shù)據(jù)存儲來為給定范圍的置信值執(zhí)行置信值和預(yù)定義權(quán)重之間的查找?；蛘?，基于距離和置信值，可以計算所選函數(shù)來創(chuàng)建系數(shù)以填充像素(0，0)的空間加權(quán)矩陣。在1220處，基于將相對距離考慮在內(nèi)的表所分配的權(quán)重來生成濾波器。在一實施例中，可以通過將加權(quán)值除以表1150中給出的距離值來考慮相對距離。
在深度和置信獲取步驟中，如上所述，可以獲得低于特定深度或置信閾值的樣本。 對于索引在圖像外部、在邊緣處，或低于置信閾值處的樣本，可以將深度和置信值分配為零。在該實施例中，零的深度是未定義的(無效的)。向這些值分配為零的值保留了用來忽略未對特定樣本作出貢獻(xiàn)的像素的值?；蛘撸梢韵蜻@些像素分配置信值0來使它們對經(jīng)過濾的像素輸出的貢獻(xiàn)無效。
在某些情況下，輸入像素可以在特定圖像的邊緣處。在其他情況下，邊緣像素可被定義為不同深度處的對象(可被認(rèn)為是前景對象和背景對象)之間的邊界。如下所討論的， 可以使用對象相關(guān)性矩陣來對待這些不相關(guān)的像素。
圖12B示出用于使用輸入像素置信值以及到內(nèi)核像素的距離來創(chuàng)建空間加權(quán)矩陣的方法。最初在1240處，獲得給定輸入像素的置信值。在1245處，對于矩陣中的每一像素，執(zhí)行一系列的步驟1247來創(chuàng)建到較遠(yuǎn)距離的像素的所分配的權(quán)重，該權(quán)重一般是輸入置信的強(qiáng)度的逆。最初在1255處，作出關(guān)于置信值是否超過特定閾值的確定。如果否，則在1260處可分配為零的值。如果在1265處找到輸入像素的強(qiáng)置信值，則在1270處為給定過濾技術(shù)分配強(qiáng)的加權(quán)。如果在1275處找到弱置信，則在1275處分配弱過濾權(quán)重。如果在780處找到平衡的置信，則分配平衡的權(quán)重。應(yīng)該理解，可以分配任意數(shù)量的閾值和相應(yīng)的權(quán)重，得到除了步驟1250、1260和1270之外的附加步驟和附加閾值。如上所述，生成空間加權(quán)矩陣的一種方法是在所使用的特定過濾函數(shù)內(nèi)分配權(quán)重值。還應(yīng)該明白，步驟1255 到1280可以通過引用具有對應(yīng)于濾波器加權(quán)分配的置信范圍的查找表來執(zhí)行。
一旦確定了值權(quán)重，則在1285處結(jié)合矩陣中特定像素的距離并且在1290處生成系數(shù)來填充空間矩陣。窄空間矩陣和寬空間矩陣的兩個示例分別在圖12C和12D中示出。 如圖12C中1296處所示，輸入像素0，0具有0.7的加權(quán)因子而邊緣像素-2，2具有0. 05的權(quán)重。在較寬的空間矩陣中的1297處，這些值分別從0. 5變化到0. 15。對圖12C和12D中各個值的檢查示出矩陣1296中歸因于除了輸入樣本0，0之外的像素的權(quán)重大于1275中的權(quán)重。在后續(xù)步驟中使用每一矩陣中的每一系數(shù)來生成最終經(jīng)過濾的加權(quán)矩陣。
圖13A示出根據(jù)上述步驟1040的用于基于各個內(nèi)核置信來生成置信加權(quán)矩陣的方法。在一實施例中，通過置信加權(quán)矩陣生成器82來創(chuàng)建置信加權(quán)矩陣。在步驟1325處， 對于內(nèi)核矩陣中的每一像素，在1340處檢索各個像素的置信值。如果在1345處值未超過基本閾值，則在1330處將置信值設(shè)為零。如果在1345處置信權(quán)重超過初始閾值，則執(zhí)行一系列的步驟1347來定義矩陣中的置信權(quán)重，該權(quán)重一般與內(nèi)核像素的置信值成正比。如果在1330處找到強(qiáng)置信，則在1335處分配高權(quán)重。如果在1340處找到弱置信，則在1345處分配低權(quán)重。否則，可以在1350處分配中等權(quán)重。應(yīng)該注意，定義強(qiáng)、弱和中等置信的閾值任意地在圖13A中示出，并且可以利用任意數(shù)量的不同閾值。邊界框1347所定義的各步驟可以通過引用值的預(yù)定義集合以及查找表中由圖1的硬件所執(zhí)行的分配給置信值的特定權(quán)重來執(zhí)行。
輸入像素的給定集合的置信矩陣在圖13B中示出。在一實施例中，置信值可以是范圍從0到255變化的8位數(shù)，并且圖13B所示的置信矩陣1390示出歸因于陣列中不同像素的一系列值。
圖14示出由步驟1045提供的、并通過將諸如置信矩陣1390之類的置信矩陣與空間加權(quán)矩陣(諸如矩陣1295或1297)相乘來檢索的經(jīng)組合的矩陣。如其中所示，得到內(nèi)核中的每一像素的系數(shù)。乘法器85可創(chuàng)建經(jīng)組合的矩陣。
圖15示出用于歸一化經(jīng)組合的加權(quán)矩陣的過程。在一實施例中，權(quán)重矩陣歸一化器84可以創(chuàng)建歸一化的矩陣。在步驟1510處，通過將圖14所示的所有系數(shù)加在一起來計算矩陣中所有系數(shù)的和。在1515處，對于經(jīng)組合的矩陣中的每一系數(shù)，在1520處將矩陣值除以矩陣中所有系數(shù)的和。結(jié)果是以上參考步驟1050所討論的歸一化的樣本。
如上在840處所述，比較器86將歸一化的濾波器與輸入數(shù)據(jù)進(jìn)行組合。在86處， 將歸一化的矩陣中的每一內(nèi)核與相對應(yīng)的內(nèi)核輸入值相乘，并且對所得乘積求和來提供輸入像素的經(jīng)過濾的值，如上所述。
圖16示出用于生成對象相關(guān)性矩陣的過程，其中源(內(nèi)核)像素中的某些在圖像邊界的外部。對于內(nèi)核中的每一像素(1605)，在步驟1610處，作出關(guān)于特定像素是否在圖像邊界外部的確定。如果在外部，則在1620處，將該像素的對象相關(guān)性矩陣值分配為零。
如果否，則在步驟1625處，作出關(guān)于特定像素是否處在與內(nèi)核中的中心像素相同的深度平面中的確定。可以通過各種方式來確定已知的前景/背景像素，諸如通過尋找所指定的閾值以上的像素梯度(轉(zhuǎn)換速率)。如果找到來自與中心像素不同的深度平面的像素，則在1660處，將該位置的對象相關(guān)性矩陣值分配為零，否則在1665處將其分配為1。該方法在1635處重復(fù)直到內(nèi)核中的最后一個像素。在步驟1670處，該方法可返回至圖9中的步驟1045來繼續(xù)處理該像素。
盡管用專門描述結(jié)構(gòu)特征和/或方法動作的語言描述了主題，但是應(yīng)當(dāng)理解，在所附權(quán)利要求書中限定的主題并不一定局限于上述特定的特征或動作。更確切而言，上述具體特征和動作是作為實現(xiàn)權(quán)利要求的示例形式公開的。
權(quán)利要求
1.一種用于過濾深度信息的方法，所述深度信息包括置信度量，所述方法包括 接收(810)場景上包括深度信息的輸入數(shù)據(jù)，所述深度信息包括多個像素，每一像素包括深度值和置信值；為所述深度信息中的每一像素生成(830)置信權(quán)重歸一化濾波器，所述置信權(quán)重歸一化濾波器包括從相對于圍繞每一所述像素的像素的距離的置信值中導(dǎo)出的過濾權(quán)重； 將所述歸一化濾波器和所述輸入數(shù)據(jù)進(jìn)行組合(840)；以及將經(jīng)過濾的數(shù)據(jù)輸出(850)給應(yīng)用程序。
2.如權(quán)利要求1所述的方法，其特征在于，生成置信權(quán)重歸一化濾波器包括 在所述深度信息中選擇輸入像素；生成空間加權(quán)矩陣，所述空間加權(quán)矩陣基于所述輸入像素周圍的像素的內(nèi)核的貢獻(xiàn)、 將所述內(nèi)核像素與所述輸入像素的距離考慮在內(nèi)來分配第一濾波器權(quán)重； 基于所述內(nèi)核中的每一像素的置信值來生成置信加權(quán)矩陣； 將所述置信加權(quán)矩陣和所述空間加權(quán)矩陣相乘來提供經(jīng)組合的矩陣； 歸一化所述經(jīng)組合的矩陣；以及將所述加權(quán)的歸一化矩陣與所述輸入數(shù)據(jù)相乘；并且對所述乘積求和來導(dǎo)出最終經(jīng)過濾的值。
3.如權(quán)利要求2所述的方法，其特征在于，所述生成空間加權(quán)矩陣的步驟包括基于所述輸入像素的置信值來生成所述矩陣。
4.如權(quán)利要求3所述的方法，其特征在于，所述生成空間矩陣的步驟包括計算所述空間矩陣中所述輸入像素到每一像素的距離并且將所述距離與所述輸入像素的置信值進(jìn)行組合。
5.如權(quán)利要求4所述的方法，其特征在于，所述生成空間矩陣的步驟包括當(dāng)所述輸入像素置信值高于所指定的閾值時，向所述輸入像素深度值分配高于分配給內(nèi)核像素深度值的權(quán)重的權(quán)重。
6.如權(quán)利要求4所述的方法，其特征在于，所述生成空間矩陣的步驟包括當(dāng)所述輸入像素置信值低于所指定的閾值時，向所述內(nèi)核像素深度值分配高于分配給所述輸入像素深度值的權(quán)重的權(quán)重。
7.如權(quán)利要求1所述的方法，其特征在于，還包括生成對象相關(guān)性矩陣并將所述經(jīng)組合的矩陣與對象相關(guān)性矩陣相乘的步驟。
8.如權(quán)利要求1所述的方法，其特征在于，還包括以下步驟生成空間加權(quán)矩陣，所述空間加權(quán)矩陣基于來自圍繞所述輸入像素的像素內(nèi)核的置信值貢獻(xiàn)來分配第一濾波器權(quán)重，所述置信值貢獻(xiàn)與每一內(nèi)核像素和所述輸入像素的距離有關(guān)；基于每一像素內(nèi)核的置信值來生成置信加權(quán)矩陣；基于輸入像素和所述內(nèi)核中的像素之間的相對深度來生成對象相關(guān)性矩陣； 將所述置信加權(quán)矩陣、對象相關(guān)性矩陣和所述空間加權(quán)矩陣進(jìn)行組合來提供經(jīng)組合的矩陣；歸一化所述經(jīng)組合的矩陣；以及將所述加權(quán)的歸一化矩陣與所述輸入數(shù)據(jù)相乘，并且對所述乘積求和來導(dǎo)出最終經(jīng)過濾的值。
9.如權(quán)利要求8所述的方法，其特征在于，所述生成置信加權(quán)矩陣的步驟包括基于所述內(nèi)核中的每一像素的置信值來分配加權(quán)值。
10.如權(quán)利要求9所述的方法，其特征在于，所述生成對象相關(guān)性矩陣的步驟包括確定是否內(nèi)核像素是未定義的或在與所述輸入像素不同的深度平面上的，并且如果是這樣，則向所述內(nèi)核像素分配為零的值，否則向所述內(nèi)核像素分配為1的值。
全文摘要
本發(fā)明描述了深度圖置信過濾。用于過濾從捕捉設(shè)備接收的深度信息的裝置和方法。通過使用與深度信息一起提供的、基于每像素基礎(chǔ)上的自適應(yīng)創(chuàng)建的最優(yōu)空間濾波器的置信信息來過濾深度信息。接收場景上包括深度信息的輸入數(shù)據(jù)。深度信息包括多個像素，每一像素包括深度值和置信值。為深度信息中的每一像素生成置信權(quán)重歸一化濾波器。將權(quán)重歸一化濾波器與輸入數(shù)據(jù)進(jìn)行組合來向應(yīng)用程序提供經(jīng)過濾的數(shù)據(jù)。
文檔編號G06T5/00GK102184531SQ20111012770
公開日2011年9月14日 申請日期2011年5月6日 優(yōu)先權(quán)日2010年5月7日
發(fā)明者J·塔迪夫 申請人:微軟公司