動(dòng)向量。
[0146]上述變換操作通過以關(guān)鍵點(diǎn)的主方向作為標(biāo)準(zhǔn)方向，旋轉(zhuǎn)關(guān)鍵點(diǎn)附近區(qū)域內(nèi)的像素的運(yùn)動(dòng)向量，可以實(shí)現(xiàn)一定程度的旋轉(zhuǎn)不變性，由此一定程度上可以獲得相對(duì)相機(jī)視角不變的運(yùn)動(dòng)特征。
[0147]4.5、基于旋轉(zhuǎn)不變運(yùn)動(dòng)向量提取關(guān)鍵點(diǎn)的特征
[0148]圖18示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的用于基于關(guān)鍵點(diǎn)的周圍區(qū)域的像素的運(yùn)動(dòng)向量來(lái)提取關(guān)鍵點(diǎn)的特征的示例性方法3500的流程圖，該方法3500可以用于實(shí)現(xiàn)圖5所示的步驟S3500。
[0149]如圖18所示，在步驟S3510中，將圍繞關(guān)鍵點(diǎn)的區(qū)域劃分為多個(gè)種子區(qū)域。
[0150]例如圍繞關(guān)鍵點(diǎn)的區(qū)域?yàn)榇笮?6*16的窗口，該窗口以關(guān)鍵點(diǎn)為中心。將該區(qū)域劃分為4*4的種子區(qū)域，其中每個(gè)種子區(qū)域如圖19中的右上角的方形區(qū)域，如標(biāo)號(hào)I指
/Jn ο
[0151]在步驟S3520中，對(duì)每個(gè)種子區(qū)域，統(tǒng)計(jì)運(yùn)動(dòng)特征。
[0152]圖20示出了根據(jù)本發(fā)明一個(gè)實(shí)施例對(duì)于每個(gè)種子區(qū)域統(tǒng)計(jì)運(yùn)動(dòng)特征的示例性方法3520的流程圖。
[0153]如圖20所示，基于種子區(qū)域中的運(yùn)動(dòng)向量(3521)，計(jì)算運(yùn)動(dòng)方向直方圖S3522。
[0154]在一個(gè)不例中，可以將方向直方圖劃分為8個(gè)bin(立柱),每個(gè)bin覆蓋45度。圖21示出了方向直方圖的8個(gè)bin的角度劃分關(guān)系。
[0155]查看種子區(qū)域中的每個(gè)像素的運(yùn)動(dòng)向量在圖像參考平面(x，y)中的方向(以角度表示)，基于該方向相關(guān)聯(lián)的角度，將該像素分配到相應(yīng)的bin中，進(jìn)行累計(jì)。在一個(gè)示例中，可以利用像素的包括深度方向的幅度在內(nèi)的運(yùn)動(dòng)向量幅度信息(例如將深度方向的幅度和圖像參考平面(x，y)中的幅度相加)，對(duì)于該像素在其對(duì)應(yīng)的運(yùn)動(dòng)方向上的貢獻(xiàn)加權(quán)，可以利用高斯函數(shù)來(lái)計(jì)算權(quán)重。
[0156]在步驟S3530中，集合各個(gè)種子區(qū)域的運(yùn)動(dòng)特征，作為描述關(guān)鍵點(diǎn)的特征。
[0157]例如，以圖19所示的16個(gè)種子區(qū)域?yàn)槔?，每個(gè)種子區(qū)域的特征為8個(gè)bin內(nèi)的像素的加權(quán)統(tǒng)計(jì)，則將各個(gè)種子區(qū)域的特征集合起來(lái)可以得到一個(gè)16*8=128維的特征向量，作為描述關(guān)鍵點(diǎn)的特征向量。
[0158]圖22示意性地示出了該關(guān)鍵點(diǎn)的128維特征向量的示意性表示。
[0159]一個(gè) 128 維特征向量 F 的例子可以是 F=[18;6;2;0;0;0;0;16;43;7;0;0;0;0;10;31;33;10;0;0;0;0;24;33;39;1;0;0;0;0;19;125;38;20;12;4;0;0;I;11;128;26;4;0;0;I;37;96;26;12;15;3;2;27;128;64;128;8;2;I;I;5;20;128;61;17;3;2;O;O;6;52;100;70;47; 5; 12; 8; 11; 45; 18; 99; 128 ; 8; 5; 10; 11; 11; 128; 128; 28; I; I; 2; 3 ; 12; 82 ; 78; 4; 3 ; 2; O; I;8;41;32;8;5;23;21;45;44;8;22;23;2;8;18;128;81;128;60;4;0;3;13;37;23]ο
[0160]需要說明的是，bin的數(shù)目可以少于或多于8個(gè)，以及特征向量F的維數(shù)可以少于或多于128維。
[0161]上面參考附圖描述了根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)對(duì)象表示裝置和運(yùn)動(dòng)對(duì)象表示方法，其本質(zhì)為一種關(guān)鍵點(diǎn)的特征提取方法，其中使用關(guān)鍵點(diǎn)附近區(qū)域內(nèi)的像素的三維運(yùn)動(dòng)相關(guān)聯(lián)的統(tǒng)計(jì)信息來(lái)確定關(guān)鍵點(diǎn)的主方向(dominant direct1n),并根據(jù)關(guān)鍵點(diǎn)的主方向，調(diào)整圍繞關(guān)鍵點(diǎn)的區(qū)域內(nèi)的像素的運(yùn)動(dòng)向量，以得到旋轉(zhuǎn)不變運(yùn)動(dòng)向量，由此使得調(diào)整后的關(guān)鍵點(diǎn)周圍的像素的運(yùn)動(dòng)向量與相機(jī)視角無(wú)關(guān)。隨后，基于關(guān)鍵點(diǎn)附近區(qū)域內(nèi)的像素的運(yùn)動(dòng)向量來(lái)提取關(guān)鍵點(diǎn)的特征，從而關(guān)鍵點(diǎn)的特征也具有與相機(jī)視角無(wú)關(guān)的特性。
[0162]后續(xù)可以利用這樣的提取關(guān)鍵點(diǎn)的特征的方法，來(lái)對(duì)例如作為訓(xùn)練樣本的一個(gè)或多個(gè)運(yùn)動(dòng)周期，或者一個(gè)或多個(gè)周期的一部分的圖像序列進(jìn)行特征提取，得到各個(gè)特征向量，由此進(jìn)行模型擬合或分類器訓(xùn)練；進(jìn)而可以對(duì)作為測(cè)試樣本的一個(gè)或多個(gè)運(yùn)動(dòng)周期，或者一個(gè)或多個(gè)周期的一部分的圖像序列進(jìn)行特征提取，得到各個(gè)特征向量，并輸入到擬合后的模型或者訓(xùn)練好的分類器，得到模型輸出或者分類器分類結(jié)果。
[0163]5、運(yùn)動(dòng)對(duì)象識(shí)別方法示例
[0164]上述根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)對(duì)象特征提取方法可以用于運(yùn)動(dòng)對(duì)象識(shí)別應(yīng)用中。
[0165]需要說明的是，本文中的運(yùn)動(dòng)對(duì)象識(shí)別，除非上下文給出相反指示，否則應(yīng)該做廣義理解，即既包括一般意義上的對(duì)象本身的識(shí)別，也包括對(duì)象相關(guān)聯(lián)的動(dòng)作的識(shí)別，其中對(duì)象本身的識(shí)別可以是不同層面的，例如將此對(duì)象類別與其它對(duì)象類別區(qū)分開(例如將人和車輛區(qū)分開)，也包括就對(duì)象的身份進(jìn)行識(shí)別(例如將此人和他人區(qū)分開)；對(duì)象相關(guān)聯(lián)的動(dòng)作的識(shí)別也同樣可以是不同層面的，例如將此類動(dòng)作與其它類動(dòng)作識(shí)別開(例如將握拳動(dòng)作和擺手動(dòng)作區(qū)分開)，也包括同類動(dòng)作的做出過程中的不同姿態(tài)的分析(例如握拳動(dòng)作中的從手張開姿態(tài)到手閉合姿態(tài)的分析)等等。
[0166]圖23示出了一般的運(yùn)動(dòng)對(duì)象識(shí)別方法4000的示例性總體操作過程。
[0167]具體地，運(yùn)動(dòng)對(duì)象識(shí)別方法包括訓(xùn)練過程和測(cè)試過程。
[0168]在訓(xùn)練過程中，對(duì)于運(yùn)動(dòng)對(duì)象的至少一個(gè)運(yùn)動(dòng)周期的按時(shí)間順序的樣本深度圖像中的一個(gè)或多個(gè)(4010)，進(jìn)行上述提取關(guān)鍵點(diǎn)、確定關(guān)鍵點(diǎn)的主方向、旋轉(zhuǎn)像素的運(yùn)動(dòng)向量、提取關(guān)鍵點(diǎn)的特征的操作，得到用于訓(xùn)練的關(guān)鍵點(diǎn)的特征的集合(4020);以及基于用于訓(xùn)練的關(guān)鍵點(diǎn)的特征的集合，訓(xùn)練預(yù)定分類器(4050)。
[0169]在測(cè)試過程中，接收運(yùn)動(dòng)對(duì)象的至少一個(gè)運(yùn)動(dòng)周期的按時(shí)間順序的測(cè)試深度圖像中的一個(gè)或多個(gè)(4030)，進(jìn)行上述提取關(guān)鍵點(diǎn)、確定關(guān)鍵點(diǎn)的主方向、旋轉(zhuǎn)像素的運(yùn)動(dòng)向量、提取關(guān)鍵點(diǎn)的特征的操作，得到用于測(cè)試的關(guān)鍵點(diǎn)的特征的集合(4040);以及基于該用于測(cè)試的關(guān)鍵點(diǎn)的特征的集合和所述訓(xùn)練的預(yù)定分類器，對(duì)測(cè)試深度圖像相關(guān)聯(lián)的運(yùn)動(dòng)對(duì)象進(jìn)行分類(4050)。
[0170]需要說明的是，視角不變特征提取操作(4020)和視角不變特征提取操作(4040)可以共享相同的軟件、硬件或固件。
[0171]訓(xùn)練階段和測(cè)試階段涉及的模型或分類器是同一模型或分類器，該模型或分類器在訓(xùn)練階段訓(xùn)練好參數(shù)或結(jié)構(gòu)，然后在測(cè)試階段利用建構(gòu)好的模型或訓(xùn)練好的分類器來(lái)進(jìn)行分析或分類。
[0172]運(yùn)動(dòng)對(duì)象識(shí)別可以包括，但不限于，下述方面的識(shí)別:識(shí)別運(yùn)動(dòng)對(duì)象的性別；識(shí)別運(yùn)動(dòng)對(duì)象的身份；識(shí)別運(yùn)動(dòng)對(duì)象的步態(tài)；以及識(shí)別運(yùn)動(dòng)對(duì)象的手勢(shì)。
[0173]圖24示出了根據(jù)行人步態(tài)識(shí)別行人的性別的運(yùn)動(dòng)對(duì)象識(shí)別方法5000的示例性過程。
[0174]圖24的上部分的右側(cè)為訓(xùn)練過程，輸入為用于訓(xùn)練的人步態(tài)圖像序列5010’，例如不同性別的人的一行走周期的圖像序列。
[0175]對(duì)各個(gè)訓(xùn)練樣本的圖像序列進(jìn)行特征提取，其中包括圖像預(yù)處理(步驟S5020’)、關(guān)鍵點(diǎn)提取(步驟S5030’)、關(guān)鍵點(diǎn)的主方向計(jì)算(步驟S5040’)、關(guān)鍵點(diǎn)的特征生成(步驟S5050’)，得到訓(xùn)練用的特征向量集合(5050’)，對(duì)支持向量機(jī)(SVM)分類器進(jìn)行訓(xùn)練(步驟S5100，)，得到訓(xùn)練好的SVM分類器(5070 )。
[0176]對(duì)于輸入的供測(cè)試的步態(tài)圖像序列(5010)，進(jìn)行上述圖像預(yù)處理、關(guān)鍵點(diǎn)提取、關(guān)鍵點(diǎn)主方向計(jì)算、關(guān)鍵點(diǎn)特征生成步驟(S5020-S5050)，生成測(cè)試特征向量集合(5060)，輸入到訓(xùn)練好的SVM分類器5070中，進(jìn)行性別分類(S5080)，得到性別分類結(jié)果(5090)。
[0177]運(yùn)動(dòng)對(duì)象識(shí)別在現(xiàn)實(shí)生活中具有各種應(yīng)用。
[0178]例如，運(yùn)動(dòng)對(duì)象識(shí)別可以應(yīng)用于商場(chǎng)中目標(biāo)區(qū)分性的廣告推送，例如在有人走過電子廣告牌時(shí)，基于該人的行走姿態(tài)判斷該人的性別，并相應(yīng)地調(diào)整播放的廣告，例如當(dāng)判斷走過的人是男性時(shí)，播放男士錢包的廣告，而當(dāng)走過的是女性時(shí)，播放女士挎包的廣告。
[0179]再例如，大型商廈可以收集走入大廈的客戶的統(tǒng)計(jì)信息，包括性別和年齡信息等。
[0180]再例如，遠(yuǎn)程醫(yī)院中，根據(jù)病人的步態(tài)等自動(dòng)診斷病人的異常情況，例如判斷腦功能障礙。
[0181]再例如，在機(jī)場(chǎng)、火車站等，自動(dòng)識(shí)別人的動(dòng)作，判斷是否做出危險(xiǎn)性動(dòng)作，從而采取相應(yīng)的警告或安保措施等。
[0182]6、用于進(jìn)行運(yùn)動(dòng)對(duì)象表示的計(jì)算系統(tǒng)
[0183]本發(fā)明還可以通過一種用于進(jìn)行運(yùn)動(dòng)對(duì)象表示的計(jì)算系統(tǒng)來(lái)實(shí)施。圖25示出了適于用來(lái)實(shí)現(xiàn)本發(fā)明實(shí)施方式的示例性計(jì)算系統(tǒng)600的框圖。如圖25所示，計(jì)算系統(tǒng)600可以包括:CPU (中央處理單元)601、RAM (隨機(jī)存取存儲(chǔ)器)602、R0M (只讀存儲(chǔ)器)603、系統(tǒng)總線604、硬盤控制器605、鍵盤控制器606、串行接口控制器607、并行接口控制器608、顯示控制器69、硬盤610、鍵盤611、串行外部設(shè)備612、并行外部設(shè)備613和顯示器614。在這些設(shè)備中，與系統(tǒng)總線604耦合的有CPU601、RAM602、R0M603、硬盤控制器605、鍵盤控制器606、串行控制器607、并行控制器608和顯示控制器609。硬盤610與硬盤控制器605耦合，鍵盤611與鍵盤控制器606耦合，串行外部設(shè)備612與串行接口控制器607耦合，并行外部設(shè)備613與并行接口控制器608耦合，以及顯示器614與顯示控制器609耦合。應(yīng)當(dāng)理解，圖25所述的結(jié)構(gòu)框圖僅僅是為了示例的目的，而不是對(duì)本發(fā)明范圍的限制。在某些情況下，可以根據(jù)具體情況增加或減少某些設(shè)備。
[0184]所屬技術(shù)領(lǐng)域的技術(shù)人員知道，本發(fā)明可以實(shí)現(xiàn)為系統(tǒng)、裝置、方法或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可以具體實(shí)現(xiàn)為以下形式，即:可以是完全的硬件、也可以是完全的軟件(包括固件、駐留軟件、微代碼等)，還可以是硬件和軟件結(jié)合的形式，本文一般稱為“電路”、“模塊”、“裝置”或“系統(tǒng)”。此外，在一些實(shí)施例中，本發(fā)明還可以實(shí)現(xiàn)為在一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品的形式，該計(jì)算機(jī)可讀介質(zhì)中包含計(jì)算機(jī)可讀的程序代碼。
[0185]可以采用一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)的任意組合。計(jì)算機(jī)可讀介質(zhì)可以是計(jì)算機(jī)可讀信號(hào)介質(zhì)或者計(jì)算