專利名稱：基于隱馬爾科夫模型判斷手勢運動方向的方法
技術領域：
本發(fā)明涉及視頻圖像處理領域，具體的講是基于隱馬爾科夫模型(HMM)判斷手勢運動方向的方法。
背景技術：
近年來，隨著計算機在現(xiàn)代社會影響的迅速擴大，多模式人機交互在現(xiàn)實生活中的應用越來越廣泛?；谝曈X的手勢識別已成為新一代人機交互不可或缺的技術。手勢是一種自然、直觀、易于學習的人機交互手段，以人手直接作為計算機的輸入設備，人機間的通訊將不再需要媒介?；谟嬎銠C的手勢識別是具有發(fā)展趨勢的一種識別技術，但技術上存在很多困難。如手勢來源于復雜背景(人自身干擾、光照、場景等)條件下的視頻流、手具有彈性的特點、手具有大量冗余特征信息(如掌紋等)、手勢在三維空間如何識別等，這些問題目前還未完善解決，具體實現(xiàn)需要增加限制條件。如何克服手勢識別中的技術問題，使其改變未來人機交互模式，目前有許多研究者致力于此項目。目前，手勢識別視頻流的獲取分為2D攝像頭與3D攝像頭。3D攝像頭獲得的是手勢的三維信息，其成本昂貴不利于普及。因此現(xiàn)階段大多致力于廉價的USB 2D攝像機手勢識別技術，具有積極意義。現(xiàn)有的手勢運動方向判定主要是單一的基于手勢運動跟蹤，通過計算手位移距離從而判定其運動方向的方法。但是由于手是非剛體物體，且手勢跟蹤一般基于膚色進行， 導致這種基于跟蹤的方法不穩(wěn)定，易受環(huán)境光照、及背景色的干擾，無法形成正確的跟蹤軌跡。

發(fā)明內容
針對以上出現(xiàn)的問題，本發(fā)明提供了一種基于隱馬爾科夫模型判斷手勢運動方向的方法，通過多種判斷條件對隱馬爾科夫模型的手勢運動方向進行判斷，提高判斷的準確性，降低各種因素對判斷結果的干擾。本發(fā)明基于隱馬爾科夫模型判斷手勢運動方向的方法，包括a.通過攝像頭進行人臉檢測，以確定用戶進入系統(tǒng)識別范圍，可以采用常規(guī)的 Adaboost檢測器進行人臉檢測；b.從視頻流中獲取當前運動圖像，建立膚色概率模型，作為手勢運動過程中膚色分割的依據(jù)，將膚色概率圖與幀差結果相乘后的數(shù)據(jù)經(jīng)中值濾波器進行濾波，得到手勢區(qū)域灰度圖；c.根據(jù)當前手勢區(qū)域灰度圖，更新手勢運動歷史圖，并獲得運動能量圖；d.對有效的手勢運動歷史圖進行圖像梯度向量計算，得到手勢運動向量和向量水平夾角，再將向量水平夾角規(guī)劃到360度平面區(qū)域劃分的相應區(qū)域對應的編碼中；e.通過運動能量圖獲得手勢運動的開始時刻和結束時刻，分割出手勢運動；f.通過步驟a 步驟e對一段視頻的分析，獲得該視頻中一個運動方向的編碼序列，通過所述的編碼序列得到隱馬爾科夫模型的可見狀態(tài)序列，對隱馬爾科夫模型參數(shù)進行訓練，利用隱馬爾科夫模型的前向、后向算法推定手勢運動方向。本發(fā)明的方法不依賴于手勢的跟蹤效果，而是將手的膚色信息與手勢的運動信息 (幀差)相融合，這樣能較準確的分割出手勢。在此基礎上構建出手勢運動歷史圖和運動能量圖，并根據(jù)手的運動特征自適應切分手勢運動間隔，計算并獲得該時間間隔內一系列手勢運動的方向角度特征，使用該角度特征序列構建隱馬爾科夫模型，并利用該模型的前、后向算法推斷最有可能的手勢運動方向，從而實現(xiàn)手勢運動的判定。具體的一種方案為，步驟c所述的更新手勢運動歷史圖的方法為
叉=，其中Ητ(χ，y, t)為當前的手勢運動歷史圖，
為當前的手勢區(qū)域灰度圖，τ為描述運動的時間范圍的參數(shù)，δ為手勢運動歷史圖的衰減參數(shù)，I為手勢區(qū)域二值分割的閾值。通過大量的仿真試驗和測試，為取得較好的運動判斷，優(yōu)選的衰減參數(shù)δ =0.5， 閾值ξ = 10。另一種具體的方案為，步驟c所述的獲得運動能量圖的方法為
( 、「I H Ax,y,t) > I ET{x,y,t) = \，其中E,(x，y，t)為運動能量圖，τ為描述運動的時間范圍的
參數(shù)，X，I分別為運動能量圖的橫縱坐標，t為時刻。進一步的，步驟e所述的通過運動能量圖獲得手勢運動的開始時刻和結束時刻的方法為計算兩個不同時刻的運動能量圖累加的差，如果所述的差值> 400為手勢運動開始，如果所述的差值< 20為手勢運動結束。其中400和20的取值是經(jīng)過大量實驗的統(tǒng)計數(shù)據(jù)。具體的，步驟f中所述利用隱馬爾科夫模型的前向、后向算法推定手勢運動方向為根據(jù)所述的隱馬爾科夫模型的可見狀態(tài)序列，通過隱馬爾科夫模型參數(shù)的狀態(tài)轉移概率和觀測值概率，計算運動模型概率，根據(jù)最大的運動模型概率對應的運動模型對整個系統(tǒng)的手勢運動方向進行判斷。具體的，步驟f中對隱馬爾科夫模型參數(shù)進行訓練包括Π.初始化待訓練模型參數(shù)，根據(jù)動作編碼設定待訓練模型參數(shù)的各個狀態(tài)轉移矩陣；f2.根據(jù)待訓練模型參數(shù)和隱馬爾科夫模型可見狀態(tài)的觀察值序列，訓練新模型參數(shù)如果新模型下獲得所述觀察值序列的概率的對數(shù)一待模型下獲得所述觀察值序列的概率的對數(shù)< delta，則訓練結束；否則將重復步驟f2。優(yōu)選的，步驟d中對手勢在上、下、左、右四個方向的運動進行計算。優(yōu)選的，為克服運動噪聲，步驟f中截取所獲得的編碼序列的中間6 8個編碼為隱馬爾科夫模型的可見狀態(tài)序列，進一步優(yōu)選為截取8個編碼。測試得知，本發(fā)明基于隱馬爾科夫模型判斷手勢運動方向的方法，通過多種判斷條件對隱馬爾科夫模型的手勢運動方向進行判斷，能夠提高手勢運動判斷的準確性，能夠明顯降低各種因素對判斷結果的干擾。以下結合由附圖所示實施例的具體實施方式
，對本發(fā)明的上述內容再作進一步的詳細說明。但不應將此理解為本發(fā)明上述主題的范圍僅限于以下的實例。在不脫離本發(fā)明上述技術思想情況下，根據(jù)本領域普通技術知識和慣用手段做出的各種替換或變更，均應包括在本發(fā)明的范圍內。


圖I是本發(fā)明基于隱馬爾科夫模型判斷手勢運動方向的方法的流程圖。
具體實施例方式如圖I所示本發(fā)明基于隱馬爾科夫模型判斷手勢運動方向的方法，包括a.通過攝像頭進行人臉檢測，以確定用戶進入系統(tǒng)識別范圍，采用常規(guī)的 Adaboost檢測器檢測當前巾貞f (x, y, t)中人臉個數(shù)numf,如果在某個位置附近出現(xiàn)持續(xù)人臉個數(shù)numf > O且在2秒以上，則認為有用戶進入場景；b.從視頻流中獲取當前運動圖像，建立膚色概率模型，作為手勢運動過程中膚色分割的依據(jù)，在HSV(色調、飽和度、亮度)顏色空間，統(tǒng)計大量膚色與非膚色信息， 建立歸一化的H-S(色調、飽和度)膚色直方圖，用于后續(xù)視頻幀圖像的膚色分割，膚色
分割的閾值概率設定為O. 85，當前幀的的膚色概率圖
權利要求
1.基于隱馬爾科夫模型判斷手勢運動方向的方法，其特征為包括a.通過攝像頭進行人臉檢測，以確定用戶進入系統(tǒng)識別范圍；b.從視頻流中獲取當前運動圖像，建立膚色概率模型，作為手勢運動過程中膚色分割的依據(jù)，將膚色概率圖與視頻幀差結果相乘后的數(shù)據(jù)經(jīng)中值濾波器進行濾波，得到手勢區(qū)域灰度圖；c.根據(jù)當前手勢區(qū)域灰度圖，更新手勢運動歷史圖，并獲得運動能量圖；d.對有效的手勢運動歷史圖進行圖像梯度向量計算，得到手勢運動向量和向量水平夾角，再將向量水平夾角規(guī)劃到360度平面區(qū)域劃分的相應區(qū)域對應的編碼中；e.通過運動能量圖獲得手勢運動的開始時刻和結束時刻，分割出手勢運動；f.通過步驟a 步驟e對一段視頻的分析，獲得該視頻的一個運動方向的編碼序列， 通過所述的編碼序列得到隱馬爾科夫模型的可見狀態(tài)序列，對隱馬爾科夫模型參數(shù)進行訓練，利用隱馬爾科夫模型的前向、后向算法推定手勢運動方向。
2.如權利要求I所述的基于隱馬爾科夫模型判斷手勢運動方向的方法，其特征為步驟c所述的更新手勢運動歷史圖的方法為=，其中Ητ (x,y,t)為當前的手勢運動歷史圖，爐0，>^)為當前的手勢區(qū)域灰度圖，τ為描述運動的時間范圍的參數(shù)，δ為手勢運動歷史圖的衰減參數(shù)，ξ為手勢區(qū)域二值分割的閾值。
3.如權利要求2所述的基于隱馬爾科夫模型判斷手勢運動方向的方法，其特征為所述的衰減參數(shù)δ =0.5,閾值ξ = 10s。
4.如權利要求I所述的基于隱馬爾科夫模型判斷手勢運動方向的方法，其特征為步驟( 、「I H Ax,y,t) > I C所述的獲得運動能量圖的法為4(Χ，>^)=?！?，其中E,(x，y，t)為運動能量圖，τ為描述運動的時間范圍的參數(shù)，x，y分別為運動能量圖的橫縱坐標，t為時刻。
5.如權利要求I所述的基于隱馬爾科夫模型判斷手勢運動方向的方法，其特征為步驟 e所述的通過運動能量圖獲得手勢運動的開始時刻和結束時刻的方法為計算兩個不同時刻的運動能量圖累加的差，如果所述的差值> 400為手勢運動開始，如果所述的差值< 20 為手勢運動結束。
6.如權利要求I所述的基于隱馬爾科夫模型判斷手勢運動方向的方法，其特征為步驟 f中所述利用隱馬爾科夫模型的前向、后向算法推定手勢運動方向為根據(jù)所述的隱馬爾科夫模型的可見狀態(tài)序列，通過隱馬爾科夫模型參數(shù)的狀態(tài)轉移概率和觀測值概率，計算運動模型概率，根據(jù)最大的運動模型概率對應的運動模型對整個系統(tǒng)的手勢運動方向進行判斷。
7.如權利要求I所述的基于隱馬爾科夫模型判斷手勢運動方向的方法，其特征為步驟 f中對隱馬爾科夫模型參數(shù)進行訓練包括fl.初始化待訓練模型參數(shù)，根據(jù)動作編碼設定待訓練模型參數(shù)的各個狀態(tài)轉移矩陣；f2.根據(jù)待訓練模型參數(shù)和隱馬爾科夫模型可見狀態(tài)的觀察值序列，訓練新模型參數(shù) 如果新模型下獲得所述觀察值序列的概率的對數(shù)一待模型下獲得所述觀察值序列的概率的對數(shù)< delta，則訓練結束；否則將重復步驟f2。
8.如權利要求I至7之一所述的基于隱馬爾科夫模型判斷手勢運動方向的方法，其特征為步驟d中對手勢在上、下、左、右四個方向的運動進行計算。
9.如權利要求I至7之一所述的基于隱馬爾科夫模型判斷手勢運動方向的方法，其特征為步驟f中截取所獲得的編碼序列的中間6 8個編碼為隱馬爾科夫模型的可見狀態(tài)序列。
全文摘要
本發(fā)明涉及基于隱馬爾科夫模型判斷手勢運動方向的方法，包括a.人臉識別；b.多線索融合得到手勢區(qū)域灰度圖；c.根據(jù)手勢區(qū)域灰度圖，更新手勢運動歷史圖，并獲得運動能量圖；d.劃分向量水平夾角；e.通過運動能量圖獲得手勢運動的開始時刻和結束時刻，分割出手勢運動；f.對隱馬爾科夫模型參數(shù)進行訓練，利用隱馬爾科夫模型的前向、后向算法推定手勢運動方向。本發(fā)明基于隱馬爾科夫模型判斷手勢運動方向的方法，通過多種判斷條件對隱馬爾科夫模型的手勢運動方向進行判斷，能夠提高手勢運動判斷的準確性，能夠明顯降低各種因素對判斷結果的干擾。
文檔編號G06K9/00GK102592112SQ201110429580
公開日2012年7月18日 申請日期2011年12月20日 優(yōu)先權日2011年12月20日
發(fā)明者劉恒, 呂金鋼, 張彩虹, 趙仕才 申請人:四川長虹電器股份有限公司