專利名稱：概率分布云的多質(zhì)心壓縮的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人機(jī)接口，尤其涉及識別身體部位。
背景技術(shù)：
計(jì)算機(jī)游戲和多媒體應(yīng)用已開始使用照相機(jī)和軟件姿勢識別引擎來提供人機(jī)接口(“HCI”)。使用HCI，檢測、解釋用戶身體部位和移動并將其用于控制游戲人物或應(yīng)用的其他方面。HCI系統(tǒng)的一個困難之處是標(biāo)識身體部位。樣本分類是一種方法，其中向每個像素分配身體部位上的一概率分布。一次取一個身體部位，導(dǎo)出一新的單色圖像，其中向一像素分配一概率，如其屬于一給定部位的似然度。然而，存在許多像素，并且如果分類結(jié)果被縮小到一組原型位置則可以有益于性能，這些原型位置在此被稱為質(zhì)心。對于性能而言，對于每個身體部位產(chǎn)生單個質(zhì)心將是理想的，但這不太可能?；谖恢锰卣鱽韺ο袼剡M(jìn)行分類的樣本可以產(chǎn)生多個不相交的高概率區(qū)域。最多，僅僅其中之一將對應(yīng)于真實(shí)的身體部位。計(jì)算全局質(zhì)心會把與正確身體部位有關(guān)的像素與來自錯誤分類區(qū)域的像素進(jìn)行平均化。這對作為樣本輸出的概要而言是不可靠的，因?yàn)槠鋵⒙湓谶@些多個區(qū)域的中央，但不確保其本身是個有意義的點(diǎn)。因此需要一種方法來為一身體部位計(jì)算零或更多個有意義的質(zhì)心，其中每個質(zhì)心與樣本輸出中的非零概率的區(qū)域相吻合。

發(fā)明內(nèi)容
此處描述的是通過將所分類的圖像數(shù)據(jù)壓縮(condense)成所捕捉的對象是正確標(biāo)識的身體部位的概率的質(zhì)心，來標(biāo)識由深度照相機(jī)捕捉的圖像的系統(tǒng)和方法。由深度照相機(jī)捕捉的圖像數(shù)據(jù)被處理以產(chǎn)生樣本輸出，其中向深度圖像中的每個像素分配其所對應(yīng)的身體部位的概率分布。本技術(shù)取得該輸出，并對其進(jìn)行處理以檢測非零概率像素的空間局部簇。對于每個簇，生成一質(zhì)心，這通常導(dǎo)致用于每個身體部位的多個質(zhì)心?；诖氐拇笮『托螤钜约霸摯貥?gòu)成像素的概率，對每個質(zhì)心分配置信度值，指示其對應(yīng)于真實(shí)身體部位的似然度。本技術(shù)具有多個不同實(shí)施例，例如通過高度并行執(zhí)行(例如，在圖形處理單元上)來實(shí)現(xiàn)的實(shí)施例，以及適用于具有有限存儲器帶寬的系統(tǒng)的實(shí)施例。在多個實(shí)施例中，本技術(shù)涉及一種方法，通過以下步驟來標(biāo)識由深度照相機(jī)捕捉的對象a)確定由捕捉設(shè)備所捕捉的一組采樣的深度信息；b)向由捕捉設(shè)備所捕捉這組采樣分配概率，所分配的概率與這些采樣屬于真實(shí)世界對象的概率有關(guān)；以及C)將這些采樣的一個或多個子分組群集在一起以形成所述真實(shí)世界對象的一個或多個候選質(zhì)心，步驟C) 中對一個或多個子分組的群集取決于采樣之間的接近程度、由采樣所表示的空間區(qū)域、以及采樣表示真實(shí)世界對象的概率。在另一實(shí)施例中，本技術(shù)涉及一種方法，通過以下步驟來標(biāo)識由捕捉設(shè)備捕捉的身體部位a)確定由捕捉設(shè)備所捕捉的一組像素的深度信息；b)接收樣本分類結(jié)果，所述樣本分類結(jié)果分配一組捕捉的像素屬于一特定身體部位的概率；C)對候選項(xiàng)分配置信得分，所述候選項(xiàng)是所捕捉的該組像素中的像素，或是由所捕捉的該組像素中的像素所形成的置信，置信得分部分基于所述步驟b)中的樣本分類；迭代地評估候選項(xiàng)陣列，以基于以下因素將候選項(xiàng)合并在一起以形成下一級的候選項(xiàng)候選項(xiàng)彼此之間在空間中的接近程度、由候選項(xiàng)所表示的空間區(qū)域、以及在步驟C)中確定的候選項(xiàng)的置信得分。在又一實(shí)施例中，本技術(shù)涉及一種方法，通過以下步驟來標(biāo)識由捕捉設(shè)備捕捉的身體部位通過將深度圖像分段為多個近似恒定深度的區(qū)域，來確定深度小塊(patch)；對每一小塊分配與其鄰接的小塊列表，以定義鄰域圖；通過計(jì)算由樣本處理對小塊內(nèi)的像素所分配的平均概率得分來處理樣本；將具有比其所有鄰居高的得分的一組小塊標(biāo)識為種子簇；并從種子小塊向外增長簇。提供本發(fā)明內(nèi)容是為了以精簡的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標(biāo)識出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于幫助確定所要求保護(hù)的主題的范圍。所要求保護(hù)的主題不限于解決在背景中提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。


圖1示出了當(dāng)用戶玩游戲時的目標(biāo)識別、分析和跟蹤系統(tǒng)的示例實(shí)施方式。圖2示出了可在目標(biāo)識別、分析和跟蹤系統(tǒng)中使用的捕捉設(shè)備的示例實(shí)施方式。圖3A示出了可用于在目標(biāo)識別、分析和跟蹤系統(tǒng)中解釋一個或多個姿勢的計(jì)算環(huán)境的示例實(shí)施方式。圖IBB示出了可用于在目標(biāo)識別、分析和跟蹤系統(tǒng)中解釋一個或多個姿勢的計(jì)算環(huán)境的另一示例實(shí)施方式。圖4是根據(jù)本技術(shù)的多個實(shí)施例的對圖像進(jìn)行壓縮的流程圖。圖5是圖4的步驟414的更詳細(xì)的流程圖。圖6是圖5的步驟472的更詳細(xì)的流程圖。圖7是圖5的步驟476的更詳細(xì)的流程圖。圖8是根據(jù)本技術(shù)的多個替換實(shí)施例的對圖像進(jìn)行壓縮的流程圖。圖9是圖8的步驟520的更詳細(xì)的流程圖。
具體實(shí)施例方式以下將參考附圖1-9描述本技術(shù)的多個實(shí)施例，其一般涉及一種通過將分類的圖像數(shù)據(jù)壓縮成捕捉對象被正確標(biāo)識的概率的質(zhì)心來對深度照相機(jī)所捕捉的對象進(jìn)行標(biāo)識的方法。這樣的系統(tǒng)示例性地可被用于在游戲或其他應(yīng)用中的人-機(jī)接口中標(biāo)識所捕捉的圖像對象。參照圖1-2，用于實(shí)現(xiàn)本發(fā)明的技術(shù)的硬件包括目標(biāo)識別、分析和跟蹤系統(tǒng)10，它可用于識別、分析、跟蹤和標(biāo)識諸如用戶18的人類目標(biāo)的各部分。系統(tǒng)10的各實(shí)施例包括用于執(zhí)行游戲或其他應(yīng)用的計(jì)算環(huán)境12，以及用于從游戲或其他應(yīng)用提供音頻和視覺表示的視聽設(shè)備16。視聽設(shè)備16在游戲應(yīng)用程序中是有用的，但可以理解到，本技術(shù)不必要有視聽設(shè)備來進(jìn)行其操作。本系統(tǒng)10還包括用于捕捉用戶18的位置和所執(zhí)行的移動的捕捉設(shè)備20，計(jì)算環(huán)境接收、解釋并使用這些位置和移動來控制游戲或其他應(yīng)用。這些組件中的
5每一個都會在以下詳細(xì)描述。圖1提供了一示例，其中計(jì)算環(huán)境12能標(biāo)識捕捉設(shè)備20的視野中的一個或多個對象，諸如用戶的手18a。在圖1的示例中，執(zhí)行在計(jì)算環(huán)境12上的應(yīng)用程序可向用戶18 呈現(xiàn)用戶界面(UI) 19。UI可以是游戲或其他應(yīng)用的一部分，并且在多個實(shí)施例中可以是用于訪問游戲或其他應(yīng)用的所選擇區(qū)域的導(dǎo)航菜單。用戶可以通過經(jīng)由用戶移動(例如，通過用戶的手18a進(jìn)行指點(diǎn))所控制的光標(biāo)與界面19進(jìn)行交互。通過標(biāo)識用戶的手，本技術(shù)可以將其設(shè)置為光標(biāo)控制器。此后，游戲可提供關(guān)于用戶正在指點(diǎn)視聽設(shè)備16上的具體位置的閉環(huán)反饋。如上所述，圖1僅僅是一個示例。本技術(shù)可被用于為大量的其他應(yīng)用程序標(biāo)識由捕捉設(shè)備所捕捉的對象。圖2示出根據(jù)本技術(shù)可被用于捕捉對象以進(jìn)行標(biāo)識的捕捉設(shè)備20的示例性實(shí)施例。捕捉設(shè)備的類型對本技術(shù)而言不是關(guān)鍵的，只要該設(shè)備能夠捕捉所捕捉的圖像的深度信息即可。然而，涉及用于本技術(shù)的捕捉設(shè)備的一個示例的進(jìn)一步細(xì)節(jié)在題為“Device For Identifying And Tracking Multiple Humans Over Time (用于隨時間標(biāo)識和跟蹤多個人的設(shè)備)”的共同待批的美國專利申請?zhí)?2/475，308中描述，該申請通過引用而整體結(jié)合于此。在一個示例性實(shí)施例中，捕捉設(shè)備20可被配置成經(jīng)由任何合適的技術(shù)捕捉帶有可包括深度值的深度圖像的視頻，這些技術(shù)包括例如飛行時間、結(jié)構(gòu)化光、立體圖像等。根據(jù)一實(shí)施例，捕捉設(shè)備20可將所計(jì)算的深度信息組織為“Z層”，或可與從深度照相機(jī)沿其視線延伸的Z軸垂直的層。如圖2所示，捕捉設(shè)備20可包括圖像照相機(jī)組件22。根據(jù)一示例實(shí)施例，圖像相機(jī)組件22可以是可捕捉場景的深度圖像的深度照相機(jī)。深度圖像可包括所捕捉的場景的二維O-D)像素區(qū)域，其中2-D像素區(qū)域中的每一像素可表示來自照相機(jī)的所捕捉的場景中的對象的長度，該長度可采用例如厘米、毫米等為單位。雖然下述描述涉及像素，可以理解到本技術(shù)在其它實(shí)施例中可使用其他數(shù)據(jù)點(diǎn)來進(jìn)行執(zhí)行。如圖2所示，根據(jù)一示例實(shí)施方式，圖像照相機(jī)組件22可包括可用于捕捉場景的深度圖像的頂光組件對、三維(3-D)照相機(jī)沈、和RGB照相機(jī)28。例如，在飛行時間分析中，捕捉設(shè)備20的頂光組件M可將紅外光發(fā)射到場景上，然后可使用傳感器(未示出)， 使用例如3-D相機(jī)沈和/或RGB相機(jī)觀，來檢測來自場景中的一個或多個目標(biāo)和對象的表面的反向散射光。根據(jù)另一實(shí)施例，捕捉設(shè)備20可包括兩個或更多物理上分開的照相機(jī)，這些照相機(jī)可從不同角度查看場景以獲得視覺立體數(shù)據(jù)，該視覺立體數(shù)據(jù)可被解析以生成深度信息。捕捉設(shè)備20還可包括話筒30。話筒30可包括可接收聲音并將其轉(zhuǎn)換成電信號的變換器或換能器。根據(jù)一實(shí)施例，話筒30可用于減少目標(biāo)識別、分析和跟蹤系統(tǒng)10中的捕捉設(shè)備20與計(jì)算環(huán)境12之間的反饋。另外，話筒30可用于接收也可由用戶提供的音頻信號，以控制可由計(jì)算環(huán)境12執(zhí)行的諸如游戲應(yīng)用、非游戲應(yīng)用等應(yīng)用。在一示例實(shí)施例中，捕捉設(shè)備20還可包括可與圖像照相機(jī)組件22進(jìn)行操作通信的處理器32。處理器32可包括可執(zhí)行指令的標(biāo)準(zhǔn)處理器、專用處理器、微處理器等，這些指令可以用于接收深度圖像、用于確定合適的目標(biāo)是否可被包括在深度圖像中、用于將合適的目標(biāo)轉(zhuǎn)換成該目標(biāo)的骨骼表示或模型、或任何其他合適的指令。
捕捉設(shè)備20還可包括存儲器組件34，存儲器組件34可存儲可由處理器32執(zhí)行的指令、由3-D照相機(jī)或RGB照相機(jī)所捕捉的圖像或圖像的幀、或任何其他合適的信息、圖像等等。根據(jù)一示例實(shí)施例，存儲器組件34可包括隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、 高速緩存、閃存、硬盤、或任何其他合適的存儲組件。如圖2所示，在一實(shí)施例中，存儲器組件34可以是與圖像相機(jī)組件22和處理器32進(jìn)行通信的單獨(dú)組件。根據(jù)另一實(shí)施例，存儲器組件34可被集成到處理器32和/或圖像相機(jī)組件22中。如圖2所示，捕捉設(shè)備20可經(jīng)由通信鏈路36與計(jì)算環(huán)境12進(jìn)行通信。通信鏈路36可以是包括例如USB連接、火線連接、以太網(wǎng)電纜連接等的有線連接和/或諸如無線 802. lib,802. llg、802. Ila或802. Iln連接等無線連接。根據(jù)一實(shí)施例，計(jì)算環(huán)境12可經(jīng)由通信鏈路36向捕捉設(shè)備20提供可用于確定何時捕捉諸如一場景的時鐘。此外，捕捉設(shè)備20可提供由諸如3D照相機(jī)沈和/或RGB照相機(jī)觀所捕捉的深度信息和圖像。該信息可被用于使用骨骼映射技術(shù)來生成骨骼模型。這些技術(shù)允許對用戶骨骼上的多個點(diǎn)(諸如例如手、腕、肘、膝蓋、鼻子、腳踝、肩、以及骨盆與脊柱相交處的關(guān)節(jié))進(jìn)行標(biāo)識。其他技術(shù)包括將圖像變換成該人的身體模型表示以及將圖像變換成該人的網(wǎng)格模型表示。由諸如3D照相機(jī)沈和/或RGB照相機(jī)觀所捕捉的深度信息和圖像也可被圖像壓縮引擎190用于根據(jù)下述的本技術(shù)標(biāo)識圖像中的特定對象。圖3A示出了可用于在目標(biāo)識別、分析和跟蹤系統(tǒng)中解釋一個或多個用戶移動的計(jì)算環(huán)境的示例實(shí)施方式。以下參考附圖1-2所描述的諸如計(jì)算環(huán)境12的計(jì)算環(huán)境可以是多媒體控制臺100，諸如游戲控制臺。如圖3A所示，多媒體控制臺100包括具有1級高速緩存102、2級高速緩存104和閃存ROM 106的中央處理單元(CPU) 101。1級高速緩存102 和2級高速緩存104臨時性地存儲數(shù)據(jù)并因此減少存儲器訪問周期數(shù)，由此改進(jìn)處理速度和吞吐量。CPU 101可以設(shè)置成具有一個以上的核，以及由此的附加的1級和2級高速緩存 102和104。閃存ROM 106可存儲在當(dāng)多媒體控制臺100通電時的引導(dǎo)過程的初始階段期間加載的可執(zhí)行代碼。圖形處理單元(GPU) 108和視頻編碼器/視頻編解碼器(編碼器/解碼器)114形成用于高速、高分辨率圖形處理的視頻處理流水線。經(jīng)由總線從GPU 108向視頻編碼器/ 視頻編解碼器114運(yùn)送數(shù)據(jù)。視頻處理流水線向A/V(音頻/視頻)端口 140輸出數(shù)據(jù)，用于傳輸至電視機(jī)或其他顯示器。存儲器控制器110連接到GPU 108以方便處理器訪問各種類型的存儲器112，諸如但不局限于RAM。多媒體控制臺100包括較佳地在模塊118上實(shí)現(xiàn)的I/O控制器120、系統(tǒng)管理控制器122、音頻處理單元123、網(wǎng)絡(luò)接口控制器124、第一 USB主控制器126、第二 USB主控制器 1 和前面板I/O子部件130。USB控制器126和1 用作外圍控制器142 (1)-142 (2)、無線適配器148、和外置存儲器設(shè)備146(例如閃存、外置⑶/DVD ROM驅(qū)動器、可移動介質(zhì)等) 的主機(jī)。網(wǎng)絡(luò)接口 1 和/或無線適配器148提供對網(wǎng)絡(luò)(例如，因特網(wǎng)、家庭網(wǎng)絡(luò)等)的訪問并且可以是包括以太網(wǎng)卡、調(diào)制解調(diào)器、藍(lán)牙模塊、電纜調(diào)制解調(diào)器等的各種不同的有線和無線適配器組件中任何一種。提供系統(tǒng)存儲器143來存儲在引導(dǎo)進(jìn)程期間加載的應(yīng)用數(shù)據(jù)。提供媒體驅(qū)動器 144，且其可包括DVD/⑶驅(qū)動器、硬盤驅(qū)動器、或其他可移動媒體驅(qū)動器等。媒體驅(qū)動器144 可以是對多媒體控制器100內(nèi)置的或外置的。應(yīng)用數(shù)據(jù)可經(jīng)由媒體驅(qū)動器144來訪問，以由多媒體控制臺100執(zhí)行、回放等。媒體驅(qū)動器144經(jīng)由諸如串行ATA總線或其他高速連接(例如IEEE 1394)等總線連接到I/O控制器120。系統(tǒng)管理控制器122提供涉及確保多媒體控制臺100的可用性的各種服務(wù)功能。 音頻處理單元123和音頻編解碼器132形成具有高保真度和立體聲處理的對應(yīng)的音頻處理流水線。音頻數(shù)據(jù)經(jīng)由通信鏈路在音頻處理單元123與音頻編解碼器132之間傳輸。音頻處理流水線將數(shù)據(jù)輸出到A/V端口 140以供外置音頻播放器或具有音頻能力的設(shè)備再現(xiàn)。前面板I/O子部件130支持暴露在多媒體控制臺100的外表面上的電源按鈕150 和彈出按鈕152以及任何LED(發(fā)光二極管)或其它指示器的功能。系統(tǒng)供電模塊136向多媒體控制臺100的組件供電。風(fēng)扇138冷卻多媒體控制臺100內(nèi)的電路。CPU 101、GPU 108、存儲器控制器110、和多媒體控制臺100內(nèi)的各個其它組件經(jīng)由一條或多條總線互連，包括串行和并行總線、存儲器總線、外圍總線、和使用各種總線架構(gòu)中任一種的處理器或局部總線。作為示例，這種架構(gòu)可以包括外圍部件互連(PCI)總線、 PCI-Express 總線等。當(dāng)多媒體控制臺100通電時，應(yīng)用程序數(shù)據(jù)可從系統(tǒng)存儲器143加載到存儲器112 和/或高速緩存102、104中并在CPU 101上執(zhí)行。應(yīng)用程序可呈現(xiàn)圖形用戶界面，圖形用戶界面當(dāng)導(dǎo)航到多媒體控制臺100上可用的不同媒體類型時提供一致的用戶體驗(yàn)。在操作中，媒體驅(qū)動器144中包含的應(yīng)用和/或其它媒體可從媒體驅(qū)動器144啟動或播放，以向多媒體控制臺100提供附加功能。多媒體控制臺100可通過將該系統(tǒng)簡單地連接到電視機(jī)或其它顯示器而作為獨(dú)立系統(tǒng)來操作。在該獨(dú)立模式中，多媒體控制臺100允許一個或多個用戶與該系統(tǒng)交互、看電影、或聽音樂。然而，隨著通過網(wǎng)絡(luò)接口 1 或無線適配器148可用的寬帶連接的集成， 多媒體控制臺100還可作為較大網(wǎng)絡(luò)社區(qū)中的參與者來操作。當(dāng)多媒體控制臺100通電時，可以保留設(shè)定量的硬件資源以供多媒體控制臺操作系統(tǒng)作系統(tǒng)使用。這些資源可包括存儲器的保留量(諸如，16MB)、CPU和GPU周期的保留量(諸如，5% )、網(wǎng)絡(luò)帶寬的保留量(諸如，Slcbs)，等等。因?yàn)檫@些資源是在系統(tǒng)引導(dǎo)時間保留的，所保留的資源對于應(yīng)用程序視角而言是不存在的。具體地，存儲器保留量較佳地足夠大，以包含啟動內(nèi)核、并發(fā)系統(tǒng)應(yīng)用和驅(qū)動程序。CPU保留量較佳地為恒定，使得若所保留的CPU用量不被系統(tǒng)應(yīng)用使用，則空閑線程將消耗任何未使用的周期。對于GPU保留量，通過使用GPU中斷來顯示由系統(tǒng)應(yīng)用生成的輕量消息(例如，彈出窗口)，以調(diào)度代碼來將彈出窗口呈現(xiàn)為覆蓋圖。覆蓋圖所需的存儲器量取決于覆蓋區(qū)域大小，并且覆蓋圖較佳地與屏幕分辨率成比例縮放。在并發(fā)系統(tǒng)應(yīng)用使用完整用戶界面的情況下，優(yōu)選使用獨(dú)立于應(yīng)用分辨率的分辨率。定標(biāo)器可用于設(shè)置該分辨率，從而無需改變頻率，也就不會引起TV重新同步。在多媒體控制臺100引導(dǎo)且系統(tǒng)資源被保留之后，就執(zhí)行并發(fā)系統(tǒng)應(yīng)用來提供系統(tǒng)功能。系統(tǒng)功能被封裝在一組在上述所保留的系統(tǒng)資源中執(zhí)行的系統(tǒng)應(yīng)用中。操作系統(tǒng)內(nèi)核標(biāo)識是系統(tǒng)應(yīng)用線程而非游戲應(yīng)用線程的線程。系統(tǒng)應(yīng)用優(yōu)選地被調(diào)度為在預(yù)定時間并以預(yù)定時間間隔在CPU 101上運(yùn)行，以便為應(yīng)用提供一致的系統(tǒng)資源視圖。進(jìn)行調(diào)度是為了把由在控制臺上運(yùn)行的游戲應(yīng)用所引起的高速緩存分裂最小化。
當(dāng)并發(fā)系統(tǒng)應(yīng)用需要音頻時，則由于時間敏感性而異步調(diào)度音頻處理給游戲應(yīng)用。多媒體控制臺應(yīng)用管理器(如下所述)在系統(tǒng)應(yīng)用活動時控制游戲應(yīng)用的音頻水平 (例如，靜音、衰減)。輸入設(shè)備(例如，控制器142(1)和142( )由游戲應(yīng)用和系統(tǒng)應(yīng)用共享。輸入設(shè)備不是所保留的資源，但卻在系統(tǒng)應(yīng)用和游戲應(yīng)用之間切換以使其各自具有設(shè)備的焦點(diǎn)。 應(yīng)用管理器較佳地控制輸入流的切換，而無需知曉游戲應(yīng)用的知識，并且驅(qū)動程序維護(hù)有關(guān)焦點(diǎn)切換的狀態(tài)信息。照相機(jī)26J8和捕捉設(shè)備20可定義控制臺100的附加輸入設(shè)備。圖;3B示出了計(jì)算環(huán)境220的另一個示例性實(shí)施例，其可以是圖12中所示的計(jì)算環(huán)境12，用于在目標(biāo)識別、分析和跟蹤系統(tǒng)中的解釋一個或多個用戶移動。計(jì)算系統(tǒng)環(huán)境 220只是合適的計(jì)算環(huán)境的一個示例，并且不旨在對所公開的主題的使用范圍或功能提出任何限制。也不應(yīng)該將計(jì)算環(huán)境220解釋為對示例性操作環(huán)境220中示出的任一組件或其組合有任何依賴性或要求。在某些實(shí)施方式中，所描繪的各種計(jì)算元件可包括被配置成實(shí)例化本發(fā)明的具體方面的電路。例如，本公開中使用的術(shù)語電路可包括被配置成通過固件或開關(guān)來執(zhí)行功能的專用硬件組件。在其他示例實(shí)施方式中，術(shù)語電路可包括由具體化可操作來執(zhí)行功能的邏輯的軟件指令來配置的通用處理單元等。在電路包括硬件與軟件組合的示例實(shí)施方式中，實(shí)現(xiàn)者可編寫實(shí)施邏輯的源代碼且該源代碼可被編譯成可由通用處理單元處理的機(jī)器可讀代碼。因?yàn)楸绢I(lǐng)域技術(shù)人員可以明白現(xiàn)有技術(shù)已經(jīng)進(jìn)化到硬件、軟件或硬件/軟件組合之間幾乎沒有差別的地步，因而選擇硬件或是軟件來實(shí)現(xiàn)具體功能是留給實(shí)現(xiàn)者的設(shè)計(jì)選擇。更具體地，本領(lǐng)域技術(shù)人員可以明白軟件進(jìn)程可被變換成等價的硬件結(jié)構(gòu)，而硬件結(jié)構(gòu)本身可被變換成等價的軟件進(jìn)程。因此，對于硬件實(shí)現(xiàn)還是軟件實(shí)現(xiàn)的選擇是設(shè)計(jì)選擇并留給實(shí)現(xiàn)者。在圖;3B中，計(jì)算環(huán)境220包括計(jì)算機(jī)Ml，其通常包括各種計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)可以是能由計(jì)算機(jī)241訪問的任何可用介質(zhì)，而且包含易失性和非易失性介質(zhì)、可移動和不可移動介質(zhì)。系統(tǒng)存儲器222包括以諸如ROM 223和RAM 260之類的易失性和/或非易失性存儲器的形式存在的計(jì)算機(jī)存儲介質(zhì)?；据斎?輸出系統(tǒng)2M(BI0S) 包括如在啟動時幫助在計(jì)算機(jī)Ml內(nèi)的元件之間傳輸信息的基本例程，它通常儲存在ROM 223中。RAM 260通常包含處理單元259可以立即訪問和/或目前正在操作的數(shù)據(jù)和/或程序模塊。作為示例而非限制，圖:3B示出了操作系統(tǒng)225、應(yīng)用程序226、其它程序模塊227 和程序數(shù)據(jù)228。計(jì)算機(jī)241還可以包括其他可移動/不可移動、易失性/非易失性計(jì)算機(jī)存儲介質(zhì)。僅作為示例，圖3B示出了對不可移動、非易失性磁介質(zhì)進(jìn)行讀寫的硬盤驅(qū)動器238，對可移動、非易失性磁盤邪4進(jìn)行讀寫的磁盤驅(qū)動器239，以及對諸如CD ROM或其它光學(xué)介質(zhì)等可移動、非易失性光盤253進(jìn)行讀寫的光盤驅(qū)動器M0?？梢栽谑纠圆僮鳝h(huán)境中使用的其他可移動/不可移動、易失性/非易失性計(jì)算機(jī)存儲介質(zhì)包括但不限于，磁帶盒、閃存卡、數(shù)字多功能盤、數(shù)字錄像帶、固態(tài)RAM、固態(tài)ROM等等。硬盤驅(qū)動器238通常由不可移動存儲器接口，諸如接口 234連接至系統(tǒng)總線221，磁盤驅(qū)動器239和光盤驅(qū)動器240通常由可移動存儲器接口，諸如接口 235連接至系統(tǒng)總線221。以上討論并在圖;3B中示出的驅(qū)動器及其相關(guān)聯(lián)的計(jì)算機(jī)存儲介質(zhì)為計(jì)算機(jī)241 提供了對計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲。在圖3B中，例如，硬盤
9驅(qū)動器238被示為存儲操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256和程序數(shù)據(jù)255。注意，這些組件可以與操作系統(tǒng)225、應(yīng)用程序226、其他程序模塊227和程序數(shù)據(jù)2 相同， 也可以與它們不同。在此給操作系統(tǒng)258、應(yīng)用程序257、其他程序模塊256、以及程序數(shù)據(jù) 255提供了不同的編號，以說明至少它們是不同的副本。用戶可以通過諸如鍵盤251和指示設(shè)備252(通常被稱為鼠標(biāo)、軌跡球或觸摸板)之類的輸入設(shè)備向計(jì)算機(jī)241中輸入命令和信息。其他輸入設(shè)備(未示出)可以包括話筒、操縱桿、游戲手柄、圓盤式衛(wèi)星天線、掃描儀等等。這些和其他輸入設(shè)備通常通過耦合至系統(tǒng)總線的用戶輸入接口 236連接至處理單元 259，但也可以由其他接口和總線結(jié)構(gòu)，諸如并行端口、游戲端口或通用串行總線(USB)來連接。照相機(jī)26J8和捕捉設(shè)備20可定義控制臺100的附加輸入設(shè)備。監(jiān)視器242或其他類型的顯示設(shè)備也通過接口，諸如視頻接口 232，連接至系統(tǒng)總線221。除監(jiān)視器以外，計(jì)算機(jī)還可以包括其他外圍輸出設(shè)備，諸如揚(yáng)聲器244和打印機(jī)M3，它們可以通過輸出外圍接口 233連接。計(jì)算機(jī)241可以使用到諸如遠(yuǎn)程計(jì)算機(jī)246之類的一個或多個遠(yuǎn)程計(jì)算機(jī)的邏輯連接在聯(lián)網(wǎng)環(huán)境中操作。遠(yuǎn)程計(jì)算機(jī)246可以是個人計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、 對等設(shè)備或其他常見的網(wǎng)絡(luò)節(jié)點(diǎn)，且通常包括許多或所有以上相對于計(jì)算機(jī)241描述的元件，盡管在圖3B中僅示出了存儲器存儲設(shè)備M7。圖;3B中所示的邏輯連接包括局域網(wǎng) (LAN)245和廣域網(wǎng)(WAN) M9，但也可以包括其他網(wǎng)絡(luò)。這樣的聯(lián)網(wǎng)環(huán)境在辦公室、企業(yè)范圍計(jì)算機(jī)網(wǎng)絡(luò)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中是常見的。當(dāng)在LAN聯(lián)網(wǎng)環(huán)境中使用時，計(jì)算機(jī)241通過網(wǎng)絡(luò)接口或適配器237連接至 LAN245.當(dāng)在WAN聯(lián)網(wǎng)環(huán)境中使用時，計(jì)算機(jī)241通常包括調(diào)制解調(diào)器250或用于通過諸如因特網(wǎng)等WAN 249建立通信的其他裝置。調(diào)制解調(diào)器250可以是內(nèi)置或外置的，它可以通過用戶輸入接口 236或其他適當(dāng)?shù)臋C(jī)制連接至系統(tǒng)總線221。在聯(lián)網(wǎng)環(huán)境中，相對于計(jì)算機(jī)Ml所描述的程序模塊或其部分可被存儲在遠(yuǎn)程存儲器存儲設(shè)備中。作為示例而非限制，圖:3B示出了遠(yuǎn)程應(yīng)用程序248駐留在存儲器設(shè)備247上。能夠理解，所示的網(wǎng)絡(luò)連接是示例性的，并且可以使用在計(jì)算機(jī)之間建立通信鏈路的其他手段?，F(xiàn)在將參考附圖4到9來解釋圖像壓縮引擎190的操作。通常，圖像壓縮引擎190 將圖像數(shù)據(jù)壓縮成在此稱為質(zhì)心的多個組。本技術(shù)將各個分類分布?xì)w組在一起，并將它們合并為質(zhì)心。質(zhì)心可以被認(rèn)為是3D空間中最佳捕捉所有有貢獻(xiàn)的分類采樣的位置。質(zhì)心具有相關(guān)聯(lián)的概率，該概率是所捕捉的對象被正確標(biāo)識為給定對象(諸如，手、臉、手臂等等) 的概率。一旦從深度照相機(jī)接收到深度圖像，已知執(zhí)行在此稱為樣本處理的處理，其將身體的深度圖像處理為身體姿勢的估計(jì)。樣本處理的任務(wù)是通過對每個像素分配其可對應(yīng)的身體部位上的概率分布來對每個像素進(jìn)行分類。因此，例如，實(shí)際上來自用戶右手的給定像素可以被分配其屬于右手的70%的可能性、其屬于左手的20%的可能性、以及各個其他身體部位上的10%的可能性分布。要求處理的后續(xù)階段來將該概率圖轉(zhuǎn)換成骨骼估計(jì)。本技術(shù)涉及接收到樣本輸出之后的處理階段。即，本技術(shù)將分類的像素陣列變換為身體部位的候選位置。后續(xù)的處理將使用這些候選項(xiàng)來輔助估計(jì)全局骨骼配置。如下所解釋的，由圖像壓縮引擎190所執(zhí)行的本技術(shù)包括計(jì)算多個質(zhì)心的方法。圖像壓縮引擎190可由圖像處理單元108/2 所執(zhí)行。然而，本領(lǐng)域技術(shù)人員可以理解，圖像壓縮引擎190的操作可由除圖像處理單元108/2 以外或替代圖像處理單元108/2 的計(jì)算環(huán)境12中的其他處理組件和/或捕捉設(shè)備20來完成。如在此所使用的，質(zhì)心是身體部位被正確標(biāo)識的非零概率的局部簇。如下所解釋的，對質(zhì)心進(jìn)行迭代處理以導(dǎo)出該簇的示例性“中心”。除了位置信息，簇具有形狀、表面積大小以及質(zhì)量(其組成像素的概率得分)。該簇可被分析以確定簇的形狀、表面積大小和質(zhì)量對應(yīng)于給定身體部位的似然度。圖像壓縮引擎190執(zhí)行一方法，該方法通過分層合并和排序處理適于高度并行的執(zhí)行(諸如，在圖像處理單元108/2 上)。然而，在其它實(shí)施例中處理可被串行化執(zhí)行。 本發(fā)明將來自局部區(qū)域的大小不斷增加的身體部位分布結(jié)合成多個代表性質(zhì)心。每個質(zhì)心包括定義空間中所結(jié)合的身體部位分布的中心的三維位置，以及從簇中的聚集概率中所導(dǎo)出的置信度值。合并是基于重力模型的，其中使用標(biāo)準(zhǔn)化的置信度值作為質(zhì)量的體現(xiàn)。如前所述，在初始樣本處理步驟之后，系統(tǒng)具有一分類圖，其中使用像素屬于特定身體部位的概率來對像素進(jìn)行分類。系統(tǒng)也具有來自捕捉設(shè)備20的深度圖?，F(xiàn)在參考圖4 的流程圖，在步驟400中，對于輸入分類圖和深度圖中的每個像素，將二維像素位置和在該地點(diǎn)采樣的深度轉(zhuǎn)換成三維空間位置。隨后在步驟404中計(jì)算像素的密度，作為該像素在空間中在所標(biāo)識的深度上的表面積。即，覆蓋一遠(yuǎn)離捕捉設(shè)備的區(qū)域的像素與覆蓋離捕捉設(shè)備較近的一區(qū)域的像素而言在密度上具有線性比例差。隨后在步驟408中為樣本處理中定義的每個身體部位計(jì)算絕對置信度值。每個像素的絕對置信度值由樣本處理分配給該像素的身體部位概率所定標(biāo)的密度。其身體部位概率為零的像素將具有零置信度值，并且將無法對任何后續(xù)的用于該部位的質(zhì)心形成作貢獻(xiàn)。在步驟409中，每個像素的三維空間位置、密度、以及絕對身體部位置信度集合被聯(lián)合以形成一組局部質(zhì)心。在步驟410中，每個身體部位的局部質(zhì)心被分組，并且在步驟 414中，將一組中的每個質(zhì)心相對于該組中的其他質(zhì)心進(jìn)行評估。在多個實(shí)施例中，可以從輸入將質(zhì)心形成為質(zhì)心的2x2對準(zhǔn)組，雖然在其它實(shí)施例中它們可以2x2大。從第一像素行中導(dǎo)出的兩個質(zhì)心相對于彼此進(jìn)行評估，從第二像素行中導(dǎo)出的兩個質(zhì)心相對于彼此進(jìn)行評估。在第一遍時，可替換地相對于彼此評估對應(yīng)列中的質(zhì)心。關(guān)于評估步驟414的進(jìn)一步細(xì)節(jié)將在以下參考附圖5的流程圖解釋。在步驟470 中，計(jì)算兩個候選質(zhì)心(在此也簡稱為“候選項(xiàng)”)的空間位置之間的平方距離。在步驟472 中，計(jì)算候選質(zhì)心的標(biāo)準(zhǔn)化置信度(步驟472將在以下結(jié)合附圖6的流程圖進(jìn)行更詳細(xì)的解釋)。在步驟474中，如果所計(jì)算的平方距離小于第一候選項(xiàng)的標(biāo)準(zhǔn)化置信度乘以第二候選項(xiàng)的標(biāo)準(zhǔn)化置信度乘以一恒定“合并閾值”，則通過步驟476中的內(nèi)插操作將兩個候選項(xiàng)合并在一起。合并閾值可以類似于當(dāng)質(zhì)心合并時的重力恒定設(shè)置，以使得合并不會是太敏感或太抗拒的。可以認(rèn)識到合并閾值可對每個身體部位被設(shè)置為不同的值或可以在替換實(shí)施例中被完全忽略。以下將結(jié)合附圖7的流程圖更詳細(xì)地解釋步驟476，但通常，如果兩個質(zhì)心對于它們被正確分類的概率在空間中足夠靠近，那這兩個質(zhì)心會合并。如果不是，則由候選項(xiàng)的標(biāo)準(zhǔn)化置信度對候選項(xiàng)進(jìn)行排序(具有更大置信度的候選項(xiàng)排列在先)。圖6提供了對如何標(biāo)準(zhǔn)化和計(jì)算每個候選項(xiàng)的置信度的進(jìn)一步細(xì)節(jié)。通常，候選項(xiàng)首先被標(biāo)準(zhǔn)化，使得它們可以彼此進(jìn)行比較。在步驟480，假設(shè)候選項(xiàng)是從出現(xiàn)在視野 (FOV)中的候選深度處的單個像素中形成的，通過計(jì)算候選項(xiàng)的空間表面積來獲得候選項(xiàng)的基準(zhǔn)密度。在步驟482中，候選項(xiàng)的密度除以此基準(zhǔn)密度，得到密度比率(近似對形成候選項(xiàng)作貢獻(xiàn)的采樣的數(shù)量)。替換實(shí)施例替代地維護(hù)作貢獻(xiàn)的采樣的實(shí)際數(shù)量，交換用于處理工作的額外存儲和帶寬。在步驟486中，一開始將標(biāo)準(zhǔn)化置信度計(jì)算為分配給該候選項(xiàng) (步驟408)的絕對置信度除以候選項(xiàng)密度。隨后驟490中，通過將標(biāo)準(zhǔn)化置信度乘以一加上密度比率與擴(kuò)散比例常數(shù)的乘積，來調(diào)整標(biāo)準(zhǔn)化置信度以抵消樣本概率擴(kuò)散壓力，擴(kuò)散標(biāo)準(zhǔn)化置信度=(候選項(xiàng)絕對置信度/候選項(xiàng)密度)x(l+(密度比率X擴(kuò)散比例))在步驟492中進(jìn)一步將標(biāo)準(zhǔn)化置信度夾緊，使其不能超過其初始標(biāo)準(zhǔn)化置信度的
某一倍數(shù)。擴(kuò)散標(biāo)準(zhǔn)化置信度=最小值(擴(kuò)散標(biāo)準(zhǔn)化置信度，候選項(xiàng)絕對置信度χ (候選項(xiàng)密度X擴(kuò)散比例限值))接下來在步驟496中，通過乘以衰減因數(shù)，以漸進(jìn)方式對擴(kuò)散標(biāo)準(zhǔn)化置信度進(jìn)行衰減。步驟496的目的是當(dāng)其他質(zhì)心被迭代合并時衰減單個質(zhì)心的概率。例如，如果從連續(xù)質(zhì)心合并的多個源像素中形成一質(zhì)心簇，并且存在從未經(jīng)合并的單個像素中形成的另一質(zhì)心，它們可能具有可比較的概率，并可能是在空間中彼此相對靠近的。如果兩個質(zhì)心(包括大簇和單個像素)簡單地被合并，后一個單像素質(zhì)心將會對所產(chǎn)生的質(zhì)心的合成具有不恰當(dāng)?shù)挠绊憽Ｒ虼?，本技術(shù)相對于從相對較大的像素采樣所形成的質(zhì)心，對從個別像素或小像素組所形成的質(zhì)心的概率進(jìn)行衰減。替換實(shí)施例可通過當(dāng)質(zhì)心置信度包括更大數(shù)量的分類采樣時對質(zhì)心置信度的漸進(jìn)放大來達(dá)成類似的結(jié)果。通過將密度比率除以二的冪來計(jì)算衰減因數(shù)，其中冪是評估候選項(xiàng)的分層級別。 評估的級別和衰減因數(shù)均被進(jìn)一步“夾緊”以分別不超過級別衰減限值以及1. 0。因此，最終衰減置信度由如下給定最終衰減置信度=擴(kuò)散標(biāo)準(zhǔn)化置信度χ最小值(1.0，密度比率/(2~最小值(級別，級別衰減限值)))如果候選項(xiàng)的密度等于零，則最終衰減置信度將同樣被設(shè)置為零。如上在圖5的步驟474中所述，如果候選項(xiàng)之間所計(jì)算的平方距離小于第一候選項(xiàng)的標(biāo)準(zhǔn)化置信度乘以第二候選項(xiàng)的標(biāo)準(zhǔn)化置信度乘以一恒定合并閾值，則通過步驟476 中的內(nèi)插操作將兩個候選項(xiàng)合并在一起。關(guān)于合并步驟476的進(jìn)一步細(xì)節(jié)現(xiàn)在將參考附圖 7的流程圖解釋。在步驟500中確定兩個合并候選項(xiàng)的絕對置信度是絕對置信度之和。合并絕對置信度=候選項(xiàng)0絕對置信度+候選項(xiàng)1絕對置信度通過絕對置信度的內(nèi)插在步驟504中確定兩個合并候選項(xiàng)的位置，使得合并位置由以下給定合并位置=(候選項(xiàng)0位置χ候選項(xiàng)0絕對置信度+候選項(xiàng)1位置χ候選項(xiàng)1絕對置信度)/ 合并絕對置信度
接著，在步驟508將兩個合并候選項(xiàng)的密度確定為候選項(xiàng)密度之和合并密度= 候選項(xiàng)0密度+候選項(xiàng)1密度當(dāng)單個組中的第一行和第二行質(zhì)心被合并或排序之后，將會有兩個、三個或四個得到的質(zhì)心。具體地，如果來自兩行的質(zhì)心均按如上所述的被合并，則將會有兩個質(zhì)心。如果僅來自兩行中的一行的質(zhì)心被合并，那么會有三個質(zhì)心。并且如果沒有一個質(zhì)心被合并， 那么會有四個質(zhì)心(在值上等于四個候選質(zhì)心)。再次參考圖4的流程圖，來自兩行的得到的質(zhì)心在步驟418中被類似地相對于彼此而評估，用于合并和排序。再次執(zhí)行圖5-7的步驟。帶有最大置信度的質(zhì)心將首先相對于彼此進(jìn)行評估，用于合并/排序。如果它們成功合并，則具有最低置信度的質(zhì)心將相對于彼此進(jìn)行評估，用于合并。如果它們無法合并，那么具有第二大置信度的質(zhì)心將相對于具有第三大置信度的質(zhì)心(如果存在的話)進(jìn)行評估。該處理繼續(xù)，試圖相對于彼此評估所有的候選質(zhì)心，并將產(chǎn)生一到四個結(jié)果質(zhì)心，根據(jù)它們的標(biāo)準(zhǔn)化置信度以降序排序。具有最大標(biāo)準(zhǔn)化置信度的質(zhì)心將接著成為后續(xù)分層遍中來自局部區(qū)域的代表性質(zhì)心，后續(xù)分層遍將該局部區(qū)域相對于鄰近區(qū)域進(jìn)行評估以用于進(jìn)一步的質(zhì)心合并。任何具有較小置信度的質(zhì)心，如果它們無法與鄰近區(qū)域的代表性質(zhì)心進(jìn)行組合(在如下所描述的步驟中)，將在身體部位建議的最終集合中被保留為獨(dú)立局部簇。替代性實(shí)施例可在后續(xù)分層遍中支持來自局部區(qū)域的多個代表性質(zhì)心，其中也可傳播一個或多個具有較小置信度的質(zhì)心。作為一個示例，假設(shè)在存儲首行中的兩個質(zhì)心被合并，但在末行中的質(zhì)心不夠強(qiáng)而無法與末行中的另一質(zhì)心合并在一起。當(dāng)隨后這兩行被相對彼此而評估時，首行質(zhì)心將與末行的兩個質(zhì)心中的較強(qiáng)質(zhì)心合并，并產(chǎn)生單個質(zhì)心。勝出并作為該2x2組的代表性質(zhì)心而被繼續(xù)處理的那個質(zhì)心將是從與末行采樣組合的兩個首行采樣形成的質(zhì)心或是來自末行的剩下的未被合并的質(zhì)心候選項(xiàng)中最強(qiáng)的那個(最高置信度值)?；蛘呷绻仔匈|(zhì)心不與來自末行的兩個質(zhì)心中的任意一個質(zhì)心合并，那么結(jié)果是來自首行的一個質(zhì)心以及來自末行的兩個其他質(zhì)心(因?yàn)樗鼈儧]有合并)。在這種情況下，勝出的那個質(zhì)心將是來自末行的兩個候選項(xiàng)或從首行形成的新質(zhì)心中具有最大置信度的那個。給定基于像素的輸入以及質(zhì)心存儲中的空間子劃分固有的本質(zhì)，將質(zhì)心候選項(xiàng)的評估限制在僅僅2x2組的評估將是限制性的。僅僅因?yàn)橘|(zhì)心候選項(xiàng)無法與對準(zhǔn)子劃分中的鄰居合并不代表它無法與其他直接鄰近項(xiàng)合并。例如，存儲在2x2組中的右下的質(zhì)心的位置將位于遠(yuǎn)離該組中其他三個質(zhì)心，而與在右側(cè)鄰近的2x2組的左下存儲的質(zhì)心在空間上非?？拷?。在該情況中，當(dāng)一質(zhì)心無法與其組內(nèi)的任何其他質(zhì)心合并并在合并結(jié)果中具有相對較低的置信度時，該質(zhì)心將得益于相對于其鄰近組的進(jìn)一步評估。因此，來自步驟422 的輸出被在另一遍中處理，其中來自每個合并/排序的像素組得出的零到三個質(zhì)心(排除具有最大置信度的質(zhì)心)被評估以用于與來自鄰近組的具有最大置信度的質(zhì)心進(jìn)行合并。 鄰近組包括上方、下方、左側(cè)和/或右側(cè)的組。在其它實(shí)施例中所檢查的組可以是這些組的某一子集，或是某個擴(kuò)展集以包括左上、右上、左下、右下的鄰近對角組。其它實(shí)施例也將鄰近組中的候選質(zhì)心擴(kuò)展為包括不僅僅具有最大置信度的質(zhì)心，而是所有得到的質(zhì)心(具有相應(yīng)的規(guī)則以限制質(zhì)心跨組合并的方向)。如果，在步驟422的檢查中，兩個質(zhì)心相對于它們的標(biāo)準(zhǔn)化置信度以及合并閾值的平方距離足夠小，則來自該組的候選質(zhì)心將被指示至與鄰居進(jìn)行合并(在后續(xù)的遍中執(zhí)行以獲得完全的并行化)。再次將組中具有最高置信度的質(zhì)心排除在考慮之外，沒有被指示與鄰居進(jìn)行合并的剩余質(zhì)心將可選地在步驟424中被挑出，如果它們的(使用最終分層級別的值來計(jì)算的)標(biāo)準(zhǔn)化置信度沒有超過一閾值。執(zhí)行該步驟以通過移除具有低置信度的質(zhì)心來減少后續(xù)提取期間的質(zhì)心搜索時間。在其他實(shí)施例中可以省略步驟424。在步驟 426中通過駐留信息(諸如，每個質(zhì)心存儲一比特，用于指示在該位置是否存在有效質(zhì)心) 來標(biāo)識存活的質(zhì)心。在步驟430中，讀取從每個組的上方、下方、左側(cè)、右側(cè)的像素組的合并指示。本系統(tǒng)隨后從鄰近組中選擇合適的較低置信度質(zhì)心。在步驟434中，將這些質(zhì)心(通過內(nèi)插處理)與給定組中具有最高置信度的質(zhì)心進(jìn)行合并。再次，該處理可以使用并行處理在所有組之上執(zhí)行。步驟410到434的上述步驟以分層方式重復(fù)，直到在步驟438中沒有其它要合并或排序的質(zhì)心。來自每個2x2組中的具有最高標(biāo)準(zhǔn)化置信度的質(zhì)心在存儲集合中被收集在一起，其在每個維度上為原始分辨率的一半。該集合本身被分成多個2x2組，并且處理重復(fù)步驟410到434，直到該集合無法再被水平或垂直細(xì)分，最終產(chǎn)生按照標(biāo)準(zhǔn)化置信度進(jìn)行區(qū)域化排序的質(zhì)心金字塔，并在結(jié)構(gòu)上形成四叉樹。因?yàn)檎叫屋斎雸D像不是必須的，當(dāng)集合降至Nxl或IxN維(或維度N本身不是二的倍數(shù))時，該集合可用初始為具有零密度、置信度、位置和駐留的質(zhì)心的添補(bǔ)的存儲位置添補(bǔ)為Nx2或hN。當(dāng)四叉樹金字塔被構(gòu)建時，附加地準(zhǔn)備駐留信息以包括用于每個節(jié)點(diǎn)組的一比特，該比特跟蹤節(jié)點(diǎn)的任何后代中有效質(zhì)心的存在。該比特提供了提取中的有用優(yōu)化，如果該比特沒有被設(shè)置，則不需要對源自給定節(jié)點(diǎn)的子樹檢查質(zhì)心。如果在一節(jié)點(diǎn)處具有最高置信度的質(zhì)心不大于在搜索期間已經(jīng)標(biāo)識的質(zhì)心，則附加地跳過該子樹。在每個所標(biāo)識的身體部位上迭代地執(zhí)行上述步驟。因此，在步驟440中，處理檢查是否存在其它身體部位需要分析。如果存在，流程回到步驟408并在下一個身體部位上執(zhí)行步驟408到438。本處理在已經(jīng)考慮了所有身體部位時結(jié)束。給定上述描述，本領(lǐng)域技術(shù)人員可以認(rèn)識到其他步驟可以被加入或替換一個或多個以上描述的步驟。在一個這樣的示例中，可在本技術(shù)中使用平均偏移群集(mean shift clustering)，用于將像素群集為上述質(zhì)心。平均偏移群集算法的其它細(xì)節(jié)在D. Comaniciu 禾口 P. Meer 所著的題 % "Mean Shift :A Robust Approach Toward Feature Space Analysis (平均偏移對特征空間分析的強(qiáng)健方法)”，IEEE模式分析和機(jī)器智能學(xué)報(bào)，24 603-619,2002的出版物中描述，其公開整體結(jié)合在此作為參考。圖8示出本技術(shù)的另一實(shí)施例，用于通過將深度陣列預(yù)處理為低維度表示來生成質(zhì)心，其可被具有低存儲器帶寬的系統(tǒng)所使用。然而，可以理解到圖8的實(shí)施例可用于以上所描述的圖4的實(shí)施例可使用的任何場合。圖8的實(shí)施例包括對于每個新的深度圖進(jìn)行一次的預(yù)處理步驟。對每個身體部位重復(fù)其余的階段。預(yù)處理步驟包括計(jì)算深度小塊的步驟510。具體地，將深度圖像分段為多個大致恒定深度的區(qū)域。這些區(qū)域的每一個隨后被正面平行平面小塊(frontoparallel planar patch)所近似。大多數(shù)后續(xù)處理將按照這些小塊來進(jìn)行。當(dāng)頻繁地存在比像素少一個或兩個數(shù)量級的小塊時，該近似提供了本方法在存儲器(帶寬)要求中的極大減少。在步驟512中通過對每個小塊分配與其鄰接的小塊列表(即，與該小塊共享邊界的那些小塊)來定義鄰域圖。在步驟516中處理樣本。對于每個小塊，計(jì)算該小塊中由樣本處理對像素分配的平均概率。將其稱之為值小塊得分。在步驟518中，本系統(tǒng)標(biāo)識種子簇。在該步驟中，計(jì)算作為局部圖形極大值的所有小塊的集合，即，具有比其所有鄰居高的得分的小塊的集合。隨后修剪該集合，以僅包括具有比給定閾值高的得分的種子小塊。隨后在步驟520中“增長”多個簇。通過從種子小塊向外增長來使用鄰域圖來形成更大的簇。 關(guān)于種子簇增長的進(jìn)一步細(xì)節(jié)在下文參照圖9的流程圖來解釋。如圖9所示，種子簇的增長從種子小塊的初始化開始。在步驟526中向每個種子小塊分配唯一的簇，在步驟5 中將每個種子小塊增加到一增長候選項(xiàng)集合中。在步驟532 中，對每個簇分配等于其種子小塊的得分的得分值。在步驟536中，移除具有最低置信度的增長候選項(xiàng)集合的成員。在步驟538中，可向正在增長的小塊的簇添加鄰近簇。在確定是否添加鄰近簇時，應(yīng)用下面三條規(guī)則。規(guī)則 1 如果鄰居未被分配到任何簇，則將其分配給正在增長的小塊的簇。規(guī)則2 如果鄰居被分配給一不同的簇，則應(yīng)用用“增長競爭規(guī)則”。增長競爭規(guī)則規(guī)定當(dāng)兩個簇競爭一小塊時， 根據(jù)哪個簇更適宜來分配小塊。一種選擇是將競爭小塊分配給目前為止具有最大置信度的簇。規(guī)則3 除非達(dá)到“停止條件”，將所訪問的鄰居添加到增長候選項(xiàng)集合。當(dāng)專用于小塊所分配的簇的總區(qū)域超過某些預(yù)定最大值時，達(dá)到該停止條件。在步驟MO中，已經(jīng)添加了新小塊的簇得分可被更新。用于該更新的選項(xiàng)包括但不限于將簇得分按照所添加的小塊的得分遞增、或按照對前述的圖形處理單元實(shí)施方式所用的合并規(guī)則的某一變量遞增。在步驟544中，本系統(tǒng)檢查增長候選項(xiàng)集合是否為空。如果不為空，則本系統(tǒng)重復(fù)步驟536到M0。當(dāng)增長候選項(xiàng)集合為空時，算法結(jié)束。對于被分配一個或多個小塊的每個簇，使用由簇的組成小塊的平均位置所給定的位置來計(jì)算質(zhì)心，并且置信度等于簇的最終得分。雖然以上在根據(jù)對深度圖像的分類來壓縮質(zhì)心的上下文中描述了本技術(shù)，可以構(gòu)建一種樣本處理的變形以用于彩色或任何其他任意概率分布上。本技術(shù)包括根據(jù)二維或三維(用于2D的操作是類似的，但是使用二維位置和均一的初始密度)中的任何類型的概率分布云來壓縮質(zhì)心的可能性。此外，樣本分類和/或質(zhì)心壓縮是可替換地用于合成圖像。例如，上述的壓縮處理可被用于尋找計(jì)算機(jī)生成的“地面真值”上的質(zhì)心，其中使用合成人類模型來呈現(xiàn)骨骼姿勢，該合成人類模型包括用于不同的身體部位的紋理映射多種色彩。在此，計(jì)算而非捕捉深度信息，并且分類是事先已知的而非分析得出的。本發(fā)明系統(tǒng)的前述詳細(xì)描述是出于說明和描述的目的而提供的。這并不旨在窮舉本發(fā)明系統(tǒng)或?qū)⒈景l(fā)明系統(tǒng)限于所公開的精確形式。鑒于上述教導(dǎo)，許多修改和變型都是可能的。選擇所述實(shí)施方式以最好地解釋本發(fā)明系統(tǒng)的原理及其實(shí)踐應(yīng)用，從而允許本領(lǐng)域技術(shù)人員能夠在各種實(shí)施方式中并采用各種適于所構(gòu)想的特定用途的修改來最好地利用本發(fā)明系統(tǒng)。本發(fā)明系統(tǒng)的范圍旨在由所附權(quán)利要求書來定義。
1權(quán)利要求
1.一種根據(jù)表示對象(18)的部位的概率分布云來壓縮質(zhì)心的方法，所述方法包括a)對數(shù)據(jù)采樣集進(jìn)行樣本處理(步驟404、408)來向采樣分配概率，所分配的概率與采樣屬于所述對象的相應(yīng)部位的概率有關(guān)；b)將采樣位置與所分配的概率組合以生成概率分布云(步驟409、410)；c)將采樣的一個或多個子組群集在一起以形成用于所述對象的部位的一個或多個候選質(zhì)心(步驟434)，所述步驟c)中對一個或多個子組的群集取決于采樣之間的接近程度以及采樣表示所述對象的部位的概率。
2.如權(quán)利要求1所述的方法，其特征在于，還包括如下步驟將置信度值分配給所述一個或多個候選質(zhì)心，質(zhì)心的置信度值指示所述質(zhì)心對應(yīng)于所述對象的正確部位的似然度。
3.如權(quán)利要求2所述的方法，其特征在于，所述將置信度值分配給所述一個或多個候選質(zhì)心的步驟包括如下步驟基于子組的大小和形狀以及其組成采樣的概率來分配置信度值。
4.如權(quán)利要求1所述的方法，其特征在于，所述將采樣的一個或多個子組群集在一起以形成一個或多個候選質(zhì)心的步驟c)包括如下步驟如果子組中的一對采樣相對于它們被正確分類的概率在空間上足夠接近，則將所述一對采樣合并。
5.如權(quán)利要求1所述的方法，其特征在于，所述將采樣的一個或多個子組群集在一起以形成一個或多個候選質(zhì)心的步驟c)包括如下步驟d)將兩個候選采樣的空間位置之間的距離平方化；e)確定兩個候選采樣的標(biāo)準(zhǔn)化置信度；以及f)如果步驟d)中所計(jì)算的距離小于在步驟e)中確定的第一候選項(xiàng)的標(biāo)準(zhǔn)化置信度乘以在步驟e)中確定的第二候選項(xiàng)的標(biāo)準(zhǔn)化置信度乘以一恒定合并閾值，則將所述兩個采樣合并。
6.如權(quán)利要求5所述的方法，其特征在于，還包括步驟g)如果兩個候選采樣在步驟 f)中沒有被合并，則根據(jù)所述兩個候選采樣各自的標(biāo)準(zhǔn)化置信度對所述兩個候選采樣進(jìn)行排序。
7.如權(quán)利要求5所述的方法，其特征在于，還包括如下步驟基于合并以形成采樣的采樣的數(shù)量以及采樣所表示的空間區(qū)域與在步驟f)中已經(jīng)合并的其他采樣的大小，衰減或放大采樣的置信度。
8.在一系統(tǒng)(10)中的標(biāo)識真實(shí)世界對象的方法，所述系統(tǒng)(10)包括耦合到捕捉設(shè)備 (20)的計(jì)算環(huán)境(12)，捕捉設(shè)備00)用于捕捉身體(18)的深度圖像，所述方法包括a)確定(步驟400)由所述捕捉設(shè)備所捕捉的像素組的深度信息；b)接收(步驟404)樣本分類結(jié)果，所述樣本分類結(jié)果分配所捕捉的像素組屬于真實(shí)世界對象的概率；c)對候選項(xiàng)分配(步驟408)置信度得分，所述候選項(xiàng)是所捕捉的像素組中的像素或是從所捕捉的像素組中的像素形成的質(zhì)心，所述置信度得分部分基于所述步驟b)中的樣本分類；以及d)迭代評估候選項(xiàng)陣列以便合并在一起(步驟410-438)以基于候選項(xiàng)在空間中彼此之間的接近程度以及在所述步驟c)中確定的它們的置信度得分來形成下一級的候選項(xiàng)。
9.如權(quán)利要求8所述的方法，其特征在于，所述對候選項(xiàng)分配置信度得分的步驟c)包括如下步驟基于像素組的大小和形狀以及在步驟b)所分配的其組成像素的概率來分配置信度值。
10.如權(quán)利要求8所述的方法，其特征在于，還包括步驟f)對在所述步驟c)中所分配的置信度得分進(jìn)行標(biāo)準(zhǔn)化。
11.如權(quán)利要求10所述的方法，其特征在于，所述迭代評估候選項(xiàng)陣列的步驟d)包括g)將兩個候選項(xiàng)的空間位置之間的距離平方化；h)確定兩個候選項(xiàng)的標(biāo)準(zhǔn)化置信度；以及j)如果步驟g)中所計(jì)算的距離小于在步驟h)中確定的第一候選項(xiàng)的標(biāo)準(zhǔn)化置信度乘以在步驟h)中確定的第二候選項(xiàng)的標(biāo)準(zhǔn)化置信度乘以一恒定合并閾值，則將所述兩個候選項(xiàng)合并。
12.如權(quán)利要求11所述的方法，其特征在于，還包括步驟k)如果兩個候選項(xiàng)點(diǎn)在步驟f)中沒有被合并，則根據(jù)所述兩個候選項(xiàng)各自的標(biāo)準(zhǔn)化置信度對所述兩個候選項(xiàng)進(jìn)行排序。
13.在一系統(tǒng)(10)中的標(biāo)識真實(shí)世界對象的方法，所述系統(tǒng)(10)包括耦合到捕捉設(shè)備 (20)的計(jì)算環(huán)境(12)，捕捉設(shè)備00)用于捕捉身體(18)的深度圖像，所述方法包括a)通過將所述深度圖像分為大致恒定深度的多個區(qū)域，確定(步驟510)深度小塊；b)對每條小塊分配(步驟51 與其鄰接的小塊列表，以定義鄰域圖；c)通過計(jì)算由樣本處理對小塊內(nèi)的像素所分配的平均概率得分來處理樣本(步驟 516)；d)將種子簇標(biāo)識(步驟518)為具有比所有其所有鄰居高的得分的一組小塊；以及e)從所述種子小塊向外增長(步驟520)簇。
14.如權(quán)利要求13所述的方法，其特征在于，所述步驟e)包括如下步驟如果出現(xiàn)以下情況則將鄰居簇添加到當(dāng)前種子簇中i)鄰居沒有被分配給任何簇； )鄰居被分配給另一個簇，但當(dāng)前種子簇具有更高的置信度值，其中所述置信度值是至少部分基于在所述步驟c)中所處理的樣本的；以及iii)專用于當(dāng)前種子簇的總區(qū)域沒有超過某個預(yù)定義最大值。
15.如權(quán)利要求14所述的方法，其特征在于，還包括如下步驟在已經(jīng)將鄰居添加到當(dāng)前種子簇之后，更新概率得分。
全文摘要
描述了概率分布云的多質(zhì)心壓縮的機(jī)制。描述了用于通過將所分類的圖像數(shù)據(jù)壓縮為所捕捉的對象是正確標(biāo)識的實(shí)體的概率的質(zhì)心，來標(biāo)識由深度照相機(jī)所捕捉的對象的系統(tǒng)和方法。處理輸出樣本以檢測非零概率像素的空間局部簇。對于每個簇，生成一質(zhì)心，這通常導(dǎo)致用于每個區(qū)別對象的多個質(zhì)心。基于簇的大小和形狀以及其所組成像素的概率，對每個質(zhì)心分配一置信度值，指示其對應(yīng)于真實(shí)對象的似然度。
文檔編號G06F3/01GK102184558SQ20111011823
公開日2011年9月14日 申請日期2011年4月28日 優(yōu)先權(quán)日2010年4月29日
發(fā)明者A·費(fèi)茨吉本, J·肖頓, M·布龍德爾, O·威廉姆斯, R·蓋斯 申請人:微軟公司