立體相機1100和計算裝置1200。
[0065]立體相機1100可以是能夠獲得二維灰度圖像(包括彩色圖像)和深度圖像功能的任何相機。需要說明的是，在本發(fā)明中的相機應該做廣義理解，既包括獨立的立體相機如雙目相機等，也包括并入于其它機器中的能夠起到圖像捕獲功能的裝置，例如移動電話、平板電腦等中的圖像捕獲部件。另外，立體相機可以指專門的拍攝立體圖像的相機，也可以指通過內(nèi)部或者外部處理而聯(lián)合起到立體相機功能的相機。立體相機的示例有PrimeSensor, Kinect 等。
[0066]立體相機1100拍攝得到人行走的立體圖像序列，并通過例如USB連接，其它有線或者無線手段傳送到計算裝置1200。
[0067]計算裝置1200接收來自立體相機1100的立體圖像，并可以進行下文所述的例如圖像預處理、關(guān)鍵點提取、關(guān)鍵點主方向確定、運動向量確定，關(guān)鍵點特征提取等功能，從而擔任運動對象表示裝置。另外計算裝置1200還可以對于訓練樣本，例如一個周期中的一部分、一個或多個周期的視頻圖像，進行上述關(guān)鍵點特征提取，并進而基于這樣提取的特征來得到表征對象運動的特征向量，基于這樣的特征向量擬合預定的模型或者訓練預定的分類器。另外計算裝置1200還可以離線或者實時地接收測試樣本，例如一個或多個周期例如一個周期中的一部分、一個或多個周期的視頻圖像，進行上述關(guān)鍵點特征提取，并進而基于這樣提取的特征來得到表征對象運動的特征向量，基于這樣的特征向量來利用模型或者分類器進行分析或分類，從而例如實現(xiàn)對于對象的運動分析等。
[0068]3、運動對象表示裝置實施例的功能配置
[0069]圖4示出了根據(jù)本發(fā)明一個實施例的運動對象表示裝置2000的功能配置。
[0070]如圖4所示，運動對象表示裝置2000可以包括圖像獲得部件2100、關(guān)鍵點提取部件2200、關(guān)鍵點主方向確定部件2300、關(guān)鍵點附近區(qū)域內(nèi)像素運動向量確定部件2400、關(guān)鍵點特征描述部件2500。
[0071]圖像獲得部件2100配置為獲得捕獲運動對象的立體圖像，該立體圖像包括深度圖像。
[0072]關(guān)鍵點提取部件2200配置為從立體圖像中的運動對象提取關(guān)鍵點。
[0073]關(guān)鍵點主方向確定部件2300配置為使用圍繞關(guān)鍵點的第一預定區(qū)域內(nèi)的像素的三維運動相關(guān)聯(lián)的統(tǒng)計信息來確定關(guān)鍵點的主方向。
[0074]關(guān)鍵點附近區(qū)域內(nèi)像素運動向量確定部件2400配置為根據(jù)關(guān)鍵點的主方向，確定該圍繞關(guān)鍵點的第二預定區(qū)域內(nèi)的像素的運動向量。
[0075]關(guān)鍵點特征描述部件2500配置為基于確定的圍繞該關(guān)鍵點的第二預定區(qū)域內(nèi)的像素的運動向量，提取描述關(guān)鍵點的特征。
[0076]需要說明的是，上述運動對象表示裝置2000的部件可以用軟件程序來實現(xiàn)，例如通過通用計算機中的CPU結(jié)合RAM和ROM等以及其中運行的軟件代碼來實現(xiàn)。軟件程序可以存儲在諸如閃存、軟盤、硬盤、光盤等存儲介質(zhì)上，在運行時加載到諸如隨機訪問存儲器RAM上來由CPU執(zhí)行。另外，除了通用計算機上，還可以通過專用集成電路和軟件之間的合作來實現(xiàn)。所述集成電路包括通過例如MPU (微處理單元)、DSP (數(shù)字信號處理器)、FPGA(現(xiàn)場可編程門陣列)、ASIC (專用集成電路)等中的至少一個來實現(xiàn)。另外，運動對象表示裝置2000的各個部件可以用專門的硬件來實現(xiàn)，例如特定的現(xiàn)場可編程門陣列、專用集成電路等。另外，運動對象表示裝置2000的各個部件也可以利用軟件和硬件的結(jié)合來實現(xiàn)。
[0077]上述運動對象表示裝置2000中的各個單元的結(jié)構(gòu)和數(shù)量不對本發(fā)明的范圍構(gòu)成限制。根據(jù)本發(fā)明的一個實施例，上述圖像獲得部件2100、關(guān)鍵點提取部件2200、關(guān)鍵點主方向確定部件2300、關(guān)鍵點附近區(qū)域內(nèi)像素運動向量確定部件2400、關(guān)鍵點特征描述部件2500可以合并為一個獨立的部件來執(zhí)行和實現(xiàn)相應的功能和操作，或者可以將圖像獲得部件2100、關(guān)鍵點提取部件2200、關(guān)鍵點主方向確定部件2300、關(guān)鍵點附近區(qū)域內(nèi)像素運動向量確定部件2400、關(guān)鍵點特征描述部件2500進一步拆分為更小的單元來實現(xiàn)他們各自的功能和操作。
[0078]另外，需要說明的是，圖4所示的結(jié)構(gòu)并不是排他式的，相反運動對象表示裝置2000可以包括其他部件，例如模型擬合部件或分類器訓練部件，用于對模型進行擬合或者對分類器進行訓練，以及例如通信部件，用于將有關(guān)信息和/或中間處理結(jié)果傳遞到外部等，再比如顯示部件，例如用于顯示運動對象識別結(jié)果或者對象的運動的識別結(jié)果等。
[0079]4、運動對象表示方法的第一實施例
[0080]圖5示出了根據(jù)本發(fā)明一個實施例的運動對象表示方法3000的總體流程圖。該運動對象表示方法3000的各個步驟可以例如由圖4所示的對應的部件來執(zhí)行，當然也可以由通用或?qū)Ｓ糜嬎阊b置來執(zhí)行。
[0081]如圖5所示，在步驟S3100中，獲得捕獲運動對象的立體圖像，該立體圖像至少包括深度圖像。
[0082]在步驟S3300中，使用與圍繞關(guān)鍵點的第一預定區(qū)域內(nèi)的像素的三維運動相關(guān)聯(lián)的統(tǒng)計信息來確定關(guān)鍵點的主方向。
[0083]在步驟S3400中，根據(jù)關(guān)鍵點的主方向，確定在該圍繞關(guān)鍵點的第二預定區(qū)域內(nèi)的像素的運動向量。
[0084]在步驟S3500中，基于所確定的圍繞該關(guān)鍵點的第二預定區(qū)域內(nèi)的像素的運動向量，提取描述關(guān)鍵點的特征。
[0085]4.1立體圖像獲得操作示例
[0086]在一個示例中，該立體圖像包括深度圖像和對應的灰度圖像。
[0087]該立體圖像數(shù)據(jù)可以是利用立體相機例如雙目相機拍攝的其中包括運動對象部分的圖像數(shù)據(jù)。
[0088]在一個示例中，獲得的立體圖像可以是經(jīng)過預處理后的圖像數(shù)據(jù)。在另一個示例中，可以在獲得立體圖像之后，進行預處理操作。
[0089]圖6示出了根據(jù)本發(fā)明一個示例的對立體圖像進行預處理的方法的示例性流程。該預處理方法可以并入圖5所示的步驟S3100或S3200中，或者也可以作為獨立的步驟安排在步驟S3100和S3200之間，再或者也可以是在步驟S3100之前執(zhí)行的，并將處理后的圖像作為步驟S3100中的獲得對象。
[0090]如圖6所示，在步驟S3110中，分割出對象區(qū)域，該對象區(qū)域可以為一個長方形區(qū)域。
[0091]該步驟操作通過涉及背景識別和去除?？梢岳酶鞣N技術(shù)來完成此任務(wù)，例如可以利用非參數(shù)型背景建模技術(shù)來檢測視頻中的前景信息。有關(guān)實現(xiàn)此步驟的技術(shù)例如可以參考前述專利文獻US7330566中的關(guān)于圖4中的步驟408和410的介紹。
[0092]在一個示例中，可以使用深度信息來分割對象區(qū)域，例如可以采用Kinect的交流軟件庫中包括的軟件來實現(xiàn)該對象區(qū)域分割操作。
[0093]在步驟S3120中，可以將對象的某部分的區(qū)域?qū)R，以實現(xiàn)對象對齊操作。例如，以人體為例，可以將各個圖像中的對象輪廓的上半部分的中心點互相對齊，以便保證對象區(qū)域圖像序列中人體軀干部分對齊。在一個示例中，可以采用人體的頭肩模型來識別人體的軀干部分。
[0094]在步驟S3130中，調(diào)整該分割出并經(jīng)對齊的對象區(qū)域圖像的大小，使得所有對象的輪廓具有同樣的大小，然后得到了預處理后的對象區(qū)域圖像。
[0095]圖7示出了該圖像預處理方法對應的數(shù)據(jù)流圖示例。首先，對于標號I所示的一個步態(tài)周期的圖像序列中的每個圖像，分割出人體區(qū)域圖像部分(2)，然后進行軀干對齊操作(3)，調(diào)整圖像大小(4)，得到了一個步態(tài)周期的經(jīng)對齊調(diào)整的人體區(qū)域圖像。
[0096]在一個示例中，圖6和圖7所示的操作可以先在深度圖上進行，然后對于灰度圖像(包括彩色圖像)進行與深度圖對應的規(guī)范化操作，例如將灰度圖像中的對應部分提取出來并調(diào)整大小。
[0097]4.2、關(guān)鍵點提取操作示例
[0098]圖8示出了根據(jù)本發(fā)明一個實施例的從立體圖像中的運動對象提取關(guān)鍵點的示例性方法3200的流程圖，該示例性方法3200可以用于實現(xiàn)圖5中的步驟S3200。
[0099]圖9結(jié)合數(shù)據(jù)流示出了根據(jù)本發(fā)明一個實施例的從立體圖像中的運動對象提取關(guān)鍵點的示例性方法3200’的操作過程。
[0100]如圖8所示，在步驟S3210中，從深度圖像獲得表征運動對象上的運動部分的運動區(qū)域。
[0101]例如，在人體行走中，希望集中分析運動幅度較大的腿部區(qū)域或胳膊區(qū)域，腿部區(qū)域或胳膊區(qū)域的運動能較好地表征人體行走的體態(tài)特征。
[0102]再例如，在人手勢動作中，希望集中分析手部。
[0103]在一個示例中，從深度圖像獲得表征運動對象上的運動部分的運動區(qū)域可以包括:從包括該深度圖像以及時間上在該深度圖像之前的順序的深度圖像分割出運動對象區(qū)域的序列；統(tǒng)計運動對象區(qū)域中各位置處的像素出現(xiàn)頻率；以及基于像素出現(xiàn)頻率，確定并去除運動對象區(qū)域中的基本靜止部分。此操作基于如下思想:在圖像中的人體對齊之后，人動作中人體上相對不動的部分將基本處于同一位置，而運動頻率和幅度較大的部分則不會處于同一位置，這樣從統(tǒng)計上看，人體上同一位置處像素出現(xiàn)頻次高的位置對應于人體上的基本靜止部分，例如胸部、腹部等，由此可以例如通過統(tǒng)計一個運動周期的視頻圖像中的各位置處像素出現(xiàn)頻次，而迅速確定并去除運動過程中人體上的相對不動部分，而保留下相對運動部分。
[0104]后面將參考圖10詳細介紹一個用于獲得對象的運動部分的示例性方法的操作過程。
[0105]在步驟S3220中，從該運動區(qū)域提取關(guān)鍵點。
[0106]在一個示例中，如圖9所示，提取關(guān)鍵點可以包括將運動區(qū)域劃分為更小的單元(圖9中的3203)，計算每個單元的中心(圖9中的3204)，以各個單元的中心作為關(guān)鍵點(圖
9中的3205)。另外，如果一個單元內(nèi)不存在有效像素值(體現(xiàn)在圖9中為不存在白點的全黑單元)，則可以對該單元不進行關(guān)鍵點提取處理。
[0107]作為提取關(guān)鍵點的方法的另一示例，可以在運動區(qū)域?qū)幕叶葓D像中進行，例如可以通過求得該灰度圖像的不同尺度(scale)下的高斯差分圖像，并且計算高斯差分的局部極值來定位關(guān)鍵點。在某些示例中，一個關(guān)鍵點可以用其尺度(即其所在的高斯差分圖像的尺度)、位置、朝向等來描述。有關(guān)二維灰度圖像中的關(guān)鍵點的確定可以參考David G.Lowe 的文章 Distinctive i