專利名稱：一種基于深度圖像感應(yīng)的肢體動作識別方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人機交互技術(shù)，具體地說，本發(fā)明涉及一種基于深度圖像感應(yīng)的肢體動作識別方法及系統(tǒng)。
背景技術(shù)：
因為鼠標、鍵盤等傳統(tǒng)人機交互設(shè)備在用戶體驗的自然性和友好性方面都存在一定的局限性，人機交互技術(shù)成為近年來非常熱門的研究領(lǐng)域，進而出現(xiàn)了越來越多的諸如觸控控制、聲音控制、手勢控制、動作感應(yīng)等各種新型人機交互方式。特別是以任天堂的Wii和索尼的MOVE為代表的動作感應(yīng)人機交互方式，通過各類傳感器設(shè)備，實時的完成對肢體動作，更具體的說是上肢動作的識別過程，并轉(zhuǎn)化為游戲主機等宿主設(shè)備能夠識別的命令，是目前非常流行的一種人機交互方式。以Wii的動作感應(yīng)解決方案為例，其核心是位于特制的用戶手持的游戲手柄中的 MEMS (Micro Electromechanical System,即微電子機械系統(tǒng))三軸加速度感應(yīng)芯片，當(dāng)用戶手持手柄做動作時，三軸加速度傳感器則能夠?qū)⒂脩舻氖謩輨幼魍ㄟ^該傳感器轉(zhuǎn)換為數(shù)字信號從而能夠被系統(tǒng)識別。而MOVE的動作感應(yīng)解決方案則是基于圖像識別的原理，其核心是顯示設(shè)備上的攝像頭對特制的用戶手持的游戲手柄上的發(fā)光彩球軌跡的識別和跟蹤，而且彩球的發(fā)光顏色會根據(jù)實際環(huán)境的光照顏色條件進行自動調(diào)節(jié)，以保證能被系統(tǒng)高效識別。無論是采用MEMS傳感器的方案還是圖像識別的方案，都還是需要手持輔助設(shè)備，這對于用戶體驗來說還是有一定的限制。比如，用戶動作過大時容易將手持輔助設(shè)備扔出，因為MEMS傳感器手柄本身價格也比較高，跌落受損的經(jīng)濟損失比較大；M0VE方案中如果用戶在強光環(huán)境中，則用戶的動作識別率會大幅下降，甚至無法識別用戶動作，嚴重影響用戶體驗。目前以手勢識別為代表的，可以讓用戶不借助任何外部輔助設(shè)備進行人機交互的解決方案，基本上都是基于二維圖像處理和模式識別技術(shù)，對使用環(huán)境光照條件等有較苛刻的要求。從肢體動作識別過程來說，傳統(tǒng)的動作識別需要進行動作建模、動作分割、動作分析等多個復(fù)雜步驟和過程，特別是對于動態(tài)肢體動作來說，不同的用戶在進行肢體動作的時候會存在速率差異、軌跡差異等，從而導(dǎo)致動作建模軌跡在時間軸上引起非線性波動，而這種非線性波動的消除非常困難和復(fù)雜，所以傳統(tǒng)的基于二維圖像的肢體動作識別率和識別效率普遍不夠高。另一方面，真實的用戶肢體動作都是在三維環(huán)境下做出的，而基于二維圖像處理的結(jié)果是將用戶的三維動作映射為二維動作來進行處理，很難獲得真實的三維動作信息，也就在很大程度上限制了可以識別的肢體動作的豐富性，限制了手勢識別設(shè)備的廣泛應(yīng)用
發(fā)明內(nèi)容
本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)的不足之處，公開一種基于深度圖像感應(yīng)的肢體動作識別方法及系統(tǒng)，識別和跟蹤用戶的肢體動作，提高肢體動作識別效率。本發(fā)明公開了一種基于深度圖像感應(yīng)的肢體動作識別系統(tǒng)，包括
深度圖像信息獲取單元用于獲取用戶及其所在環(huán)境的深度圖像信息；
肢體輪廓抽取單元用于從上述深度圖像信息的背景中抽取用戶肢體輪廓；
標準骨骼適配單元用于分別改變標準人體骨骼框架中各個部分的大小，使其與上述用戶肢體輪廓相適應(yīng)，獲得相應(yīng)于該用戶的適配肢體骨骼框架；
骨骼運動跟蹤單元用于在深度圖像信息中，以適配肢體骨骼框架的格式跟蹤、抽取表達用戶肢體的運動的數(shù)據(jù)；
肢體動作識別單元用于根據(jù)上述表達用戶肢體的運動的數(shù)據(jù)識別用戶的肢體動作。本發(fā)明公開的肢體動作識別系統(tǒng)中，所述深度圖像信息獲取單元進一步包括 深度圖像傳感單元用于向用戶所在方向發(fā)射經(jīng)過編碼的紅外結(jié)構(gòu)原始光平面，并接
收和感應(yīng)經(jīng)由用戶及其所在環(huán)境反射回來的三維環(huán)境對象紅外結(jié)構(gòu)光；和
深度圖像處理單元用于通過對比上述三維環(huán)境對象紅外結(jié)構(gòu)光的編碼和原始結(jié)構(gòu)光平面的編碼，來獲取深度圖像息。所述肢體輪廓抽取單元是根據(jù)連續(xù)的深度圖像信息中的運動差分分析抽取用戶肢體輪廓。所述標準骨骼適配單元通過縮放、旋轉(zhuǎn)、變形的計算方法對所述標準人體骨骼框架進行適配。所述標準人體骨骼框架包括按照正常人體結(jié)構(gòu)相互連接的頭部、軀干、盆骨、左上臂、左下臂、左手、右上臂、右下臂、右手、左大腿、左小腿、左腳、右大腿、右小腿和右腳。本發(fā)明還公開了一種基于深度圖像感應(yīng)的肢體動作識別方法，包括如下步驟
A，獲取用戶及其所在環(huán)境的深度圖像信息；
B，從上述深度圖像信息的背景中抽取用戶肢體輪廓；
C，分別改變標準人體骨骼框架中各個部分的大小，使其與上述用戶肢體輪廓相適應(yīng)，獲得相應(yīng)于該用戶的適配肢體骨骼框架；
D，在深度圖像信息中，以適配肢體骨骼框架的格式跟蹤、抽取表達用戶肢體的運動的數(shù)據(jù)；
E，根據(jù)表達用戶肢體的運動的數(shù)據(jù)識別用戶的肢體動作。本發(fā)明公開的肢體動作識別方法，所述步驟C中進一步包括如下步驟
Cl，根據(jù)標準人體骨骼框架和步驟B中獲取的用戶肢體輪廓，保證盆骨的對應(yīng)位置相
一致；
C2，移動、縮放標準人體骨骼框架的軀干骨骼至合適高度，保證頭部骨骼的對應(yīng)位置相
一致；
C3，移動、縮放標準人體骨骼框架的下肢骨骼至合適位置，保證腳部的對應(yīng)位置相一
致；
C4，移動、縮放標準人體骨骼框架的上肢骨骼至合適位置，保證雙手對應(yīng)位置相一致；C5，檢查對比適配骨架關(guān)鍵點位置是否與所述用戶肢體輪廓相一致，如果否，則回到上述步驟Cl，從盆骨開始重新適配；如果是，則進入下一步。
所述步驟A中可以采用雙目視覺技術(shù)、或者飛行時間技術(shù)、或者結(jié)構(gòu)光編碼技術(shù)獲取用戶及其所在環(huán)境的深度圖像信息。所述步驟A采用結(jié)構(gòu)光編碼技術(shù)獲取用戶及其所在環(huán)境的深度圖像信息的方法，進一步包括如下步驟
Al，向用戶所在方向發(fā)射經(jīng)過編碼的紅外結(jié)構(gòu)原始光平面，并接收和感應(yīng)經(jīng)由用戶及其所在環(huán)境反射回來的三維環(huán)境對象紅外結(jié)構(gòu)光；
A2，通過對比上述三維環(huán)境對象紅外結(jié)構(gòu)光的編碼和原始結(jié)構(gòu)光平面的編碼，來獲取深度圖像信息。步驟C中還可以包括C6， 在用戶動作時檢查肢體輪廓是否與全身骨骼的實際運動保持一致。本發(fā)明公開的一種基于深度圖像感應(yīng)的肢體動作識別方法及系統(tǒng)，基于深度圖像 傳感器和深度圖像處理單元，可以將用戶肢體圖像高效的從復(fù)雜背景中分離出來，能夠重建用戶肢體的骨骼系統(tǒng)，進一步的識別和跟蹤用戶的肢體動作，最終完成用戶肢體動作識別過程，從而可以較好的解決現(xiàn)有的動作感應(yīng)識別解決方案中存在的問題，提高肢體動作識別效率，改善人機交互用戶體驗。


圖I為本發(fā)明的肢體動作識別系統(tǒng)的一個實施例的電路框圖。圖2為本發(fā)明的肢體動作識別方法的一個實施例的流程圖。圖3是本發(fā)明的肢體動作識別系統(tǒng)采用的肢體骨骼結(jié)構(gòu)示意圖。圖4是本發(fā)明的標準骨骼適配方法的一個實施例的流程圖。
具體實施例方式下面結(jié)合附圖和具體實施方式
對本發(fā)明作進一步詳細說明。獲取圖像深度信息的方式有多種，常見的包括雙目視覺技術(shù)，飛行時間技術(shù)，結(jié)構(gòu)光編碼技術(shù)等，不失一般性地，本發(fā)明以結(jié)構(gòu)光編碼技術(shù)作為獲取圖像深度信息的一種手段來描述本發(fā)明。如圖I所示為本發(fā)明的肢體動作識別系統(tǒng)的一個實施例的電氣結(jié)構(gòu)框圖，本發(fā)明的基于深度圖像感應(yīng)的肢體動作識別系統(tǒng)主要構(gòu)成包括
深度圖像傳感單元負責(zé)向用戶所在方向發(fā)射經(jīng)過編碼的結(jié)構(gòu)光平面，并接收和感應(yīng)經(jīng)由用戶所在環(huán)境反射回來的紅外結(jié)構(gòu)光。深度圖像處理單元根據(jù)結(jié)構(gòu)光編碼技術(shù)原理,通過對比三維環(huán)境對象結(jié)構(gòu)光編碼和原始平面結(jié)構(gòu)光編碼，來獲取結(jié)構(gòu)光傳感器可視范圍內(nèi)的場景深度信息。肢體輪廓抽取單元負責(zé)從環(huán)境背景中抽取用戶肢體輪廓，不失一般性，這里假設(shè)用戶在實際使用環(huán)境中相對于其他場景部分是運動的，所以可以根據(jù)連續(xù)深度圖像中的運動差分分析抽取出用戶肢體輪廓。標準骨骼適配單元負責(zé)將標準人體骨骼框架根據(jù)實際抽取的用戶肢體輪廓進行自動適配，包括縮放、旋轉(zhuǎn)、變形等過程，從而將標準骨骼框架轉(zhuǎn)換為與當(dāng)前用戶肢體輪廓相適應(yīng)的適配肢體骨骼框架系統(tǒng)。
骨骼運動跟蹤單元負責(zé)跟蹤適配肢體骨骼框架系統(tǒng)的運動；
肢體動作識別單元負責(zé)完成肢體動作識別過程。圖I中的深度圖像傳感單元和深度圖像處理單元，就是采用結(jié)構(gòu)光編碼技術(shù)作為獲取圖像深度信息的手段。如果采用雙目視覺技術(shù)、或者飛行時間技術(shù)，采用相應(yīng)的深度圖像傳感器單元，再進行相應(yīng)的深度圖像處理技術(shù)，也同樣可以獲得圖像深度信息。如圖2所示為本發(fā)明的肢體動作識別方法的一個實施例的流程圖，主要步驟包括
1、深度圖像傳感單元獲取深度圖像數(shù)據(jù)；
2、深度圖像處理單元獲取可視范圍內(nèi)的場景深度信息，傳給肢體輪廓抽取單元，抽取動態(tài)肢體輪廓； 3、標準骨骼適配單元進行標準人體骨骼適配，獲取與當(dāng)前用戶肢體輪廓相適應(yīng)的適配肢體骨骼框架；
4、對適配肢體骨骼框架進行骨骼動作跟蹤；
5、肢體工作識別單元進行肢體動作識別。如圖3所示是本發(fā)明的肢體動作識別系統(tǒng)采用的標準肢體骨骼結(jié)構(gòu)示意圖，包括頭部、軀干、盆骨、左上臂、左下臂、左手、右上臂、右下臂、右手、左大腿、左小腿、左腳、右大腿、右小腿和右腳。如圖4所示是本發(fā)明的標準骨骼適配方法的一個實施例的流程圖，本發(fā)明中的標準骨骼適配步驟包括
I、系統(tǒng)提示用戶做出標準適配姿態(tài)，即豎直站立，雙手平伸，且保證肢體在深度圖像傳感單元的可視范圍以內(nèi)。也可以用戶不需要做出特定適配姿態(tài)，而是適配系統(tǒng)自動去適配。2、用戶按照提示做出標準適配姿態(tài)，并保持靜止。3、系統(tǒng)從標準人體骨骼框架的盆骨位置開始進行骨骼適配，保證盆骨位置與肢體輪廓對應(yīng)位置相一致。4、移動、縮放標準人體骨骼框架的軀干骨骼至合適高度，保證頭部骨骼與肢體輪廓對應(yīng)位置相一致。5、移動、縮放標準人體骨骼框架的下肢骨骼至合適位置，保證腳部與肢體輪廓對
應(yīng)位置相一致。6、移動、縮放標準人體骨骼框架的上肢骨骼至合適位置，保證雙手與肢體輪廓對
應(yīng)位置相一致。7、檢查獲得的適配肢體骨骼框架的全部骨骼是否與實際肢體輪廓匹配。如果否，則回到上述第3步，從盆骨開始重新適配。是，則進入下一步。這里的檢查，是指對比適配骨架關(guān)鍵點位置是否與用戶肢體輪廓相一致，比如骨骼上的頭部關(guān)鍵點是否在用戶輪廓的頭部位置等。 8、系統(tǒng)提示用戶開始做任意動作。9、檢查全身骨骼是否與實際肢體輪廓的運動動作保持一致。10、完成骨骼匹配過程。本發(fā)明通過基于深度圖像傳感器和深度圖像處理單元，可以將用戶肢體圖像高效的從復(fù)雜背景中分離出來，并能獲得場景圖像的深度信息，進而能夠重建用戶肢體的骨骼系統(tǒng)，更進一步的能夠識別和跟蹤用戶的肢體動作，最終完成用戶肢體動作識別過程，提高肢體動作識別效率，改善人機交互用戶體驗。以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替 換和改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種基于深度圖像感應(yīng)的肢體動作識別系統(tǒng)，其特征在于，包括 深度圖像信息獲取單元用于獲取用戶及其所在環(huán)境的深度圖像信息； 肢體輪廓抽取單元用于從上述深度圖像信息的背景中抽取用戶肢體輪廓； 標準骨骼適配單元用于分別改變標準人體骨骼框架中各個部分的大小，使其與上述用戶肢體輪廓相適應(yīng)，獲得相應(yīng)于該用戶的適配肢體骨骼框架； 骨骼運動跟蹤單元用于在深度圖像信息中，以適配肢體骨骼框架的格式跟蹤、抽取表達用戶肢體的運動的數(shù)據(jù)； 肢體動作識別單元用于根據(jù)上述表達用戶肢體的運動的數(shù)據(jù)識別用戶的肢體動作。
2.如權(quán)利要求I所述的肢體動作識別系統(tǒng)，其特征在于，所述深度圖像信息獲取單元進一步包括 深度圖像傳感單元用于向用戶所在方向發(fā)射經(jīng)過編碼的紅外結(jié)構(gòu)原始光平面，并接收和感應(yīng)經(jīng)由用戶及其所在環(huán)境反射回來的三維環(huán)境對象紅外結(jié)構(gòu)光；和 深度圖像處理單元用于通過對比上述三維環(huán)境對象紅外結(jié)構(gòu)光的編碼和原始結(jié)構(gòu)光平面的編碼，來獲取深度圖像息。
3.如權(quán)利要求2所述的肢體動作識別系統(tǒng)，其特征在于，所述肢體輪廓抽取單元根據(jù)連續(xù)的深度圖像信息中的運動差分分析抽取用戶肢體輪廓。
4.如權(quán)利要求3所述的肢體動作識別系統(tǒng)，其特征在于，所述標準骨骼適配單元通過縮放、旋轉(zhuǎn)、變形的計算方法對所述標準人體骨骼框架進行適配。
5.如權(quán)利要求4所述的肢體動作識別系統(tǒng)，其特征在于，所述標準人體骨骼框架包括按照正常人體結(jié)構(gòu)相互連接的頭部、軀干、盆骨、左上臂、左下臂、左手、右上臂、右下臂、右手、左大腿、左小腿、左腳、右大腿、右小腿和右腳。
6.一種基于深度圖像感應(yīng)的肢體動作識別方法，其特征在于，包括如下步驟 A、獲取用戶及其所在環(huán)境的深度圖像信息； B、從上述深度圖像信息的背景中抽取用戶肢體輪廓； C、分別改變標準人體骨骼框架中各個部分的大小，使其與上述用戶肢體輪廓相適應(yīng)，獲得相應(yīng)于該用戶的適配肢體骨骼框架； D、在深度圖像信息中，以適配肢體骨骼框架的格式跟蹤、抽取表達用戶肢體的運動的數(shù)據(jù)； E、根據(jù)表達用戶肢體的運動的數(shù)據(jù)識別用戶的肢體動作。
7.如權(quán)利要求6所述的肢體動作識別方法，其特征在于，所述步驟C中進一步包括如下步驟 Cl、根據(jù)標準人體骨骼框架和步驟B中獲取的用戶肢體輪廓，保證盆骨的對應(yīng)位置相一致； C2、移動、縮放標準人體骨骼框架的軀干骨骼至合適高度，保證頭部骨骼的對應(yīng)位置相一致； C3、移動、縮放標準人體骨骼框架的下肢骨骼至合適位置，保證腳部的對應(yīng)位置相一致； C4、移動、縮放標準人體骨骼框架的上肢骨骼至合適位置，保證雙手對應(yīng)位置相一致； C5、檢查對比適配骨架關(guān)鍵點位置是否與所述用戶肢體輪廓相一致，如果否，則回到上述步驟Cl，從盆骨開始重新適配；如果是，則進入下一步。
8.如權(quán)利要求6所述的肢體動作識別方法，其特征在于，所述步驟A中采用雙目視覺技術(shù)、或者飛行時間技術(shù)、或者結(jié)構(gòu)光編碼技術(shù)獲取用戶及其所在環(huán)境的深度圖像信息。
9.如權(quán)利要求8所述的肢體動作識別方法，其特征在于，所述步驟A采用結(jié)構(gòu)光編碼技術(shù)獲取用戶及其所在環(huán)境的深度圖像信息的方法，進一步包括如下步驟 Al、向用戶所在方向發(fā)射經(jīng)過編碼的紅外結(jié)構(gòu)原始光平面，并接收和感應(yīng)經(jīng)由用戶及其所在環(huán)境反射回來的三維環(huán)境對象紅外結(jié)構(gòu)光； A2、通過對比上述三維環(huán)境對象紅外結(jié)構(gòu)光的編碼和原始結(jié)構(gòu)光平面的編碼，來獲取深度圖像信息。
10.如權(quán)利要求7所述的肢體動作識別方法，其特征在于，還包括 C6、在用戶動作時檢查肢體輪廓是否與全身骨骼的實際運動保持一致。
全文摘要
本發(fā)明涉及一種基于深度圖像感應(yīng)的肢體動作識別方法及系統(tǒng)，包括獲取用戶及其所在環(huán)境的深度圖像信息；從上述深度圖像信息的背景中抽取用戶肢體輪廓；分別改變標準人體骨骼框架中各個部分的大小，使其與上述用戶肢體輪廓相適應(yīng)，獲得相應(yīng)于該用戶的適配肢體骨骼框架；在深度圖像信息中，以適配肢體骨骼框架的格式跟蹤、抽取表達用戶肢體的運動的數(shù)據(jù)；根據(jù)表達用戶肢體的運動的數(shù)據(jù)識別用戶的肢體動作。本發(fā)明通過重建用戶肢體的骨骼系統(tǒng)，再進一步的識別和跟蹤用戶的肢體動作，較好的解決了現(xiàn)有的動作感應(yīng)識別解決方案中存在的問題，提高肢體動作識別效率，改善人機交互用戶體驗。
文檔編號G06T7/20GK102831380SQ20111016031
公開日2012年12月19日 申請日期2011年6月15日 優(yōu)先權(quán)日2011年6月15日
發(fā)明者陳大煒 申請人:康佳集團股份有限公司