專利名稱：基于視頻流的對變形手勢進行跟蹤的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理、模式識別、人機交互等技術(shù)領(lǐng)域，尤其涉及一種基于視頻流的對變形手勢進行跟蹤的方法。
背景技術(shù)：
基于計算機視覺的人機手勢交互，其核心是利用計算機視覺、圖像處理、模式識別等技術(shù)，對攝像頭采集到的視頻序列中的幀圖像進行檢測、跟蹤和識別，得到人們的各種手勢，并對該手勢所表示的行為進行理解和響應(yīng)。近些年來，隨著計算機視覺和模式識別技術(shù)的不斷發(fā)展，手勢交互技術(shù)已經(jīng)應(yīng)用到了電視遙控、視頻游戲、視頻會議等領(lǐng)域中，給人們的生活和娛樂帶來了極大的便利。基于計算機視覺的手勢交互是先進人機交互領(lǐng)域中的一項關(guān)鍵技術(shù)，也是當前的一個比較熱門的研究課題。國內(nèi)外已有很多的學者在這個領(lǐng)域取得了一定的成果，然而這項技術(shù)尚未完善。在手勢交互技術(shù)研究的早期，基于數(shù)據(jù)手套的手勢識別研究較多，但是隨著用戶要求的不斷提高和科學技術(shù)的不斷發(fā)展，基于視覺的手勢識別逐步凸顯它的優(yōu)越性。因為，基于視覺的手勢識別在一定程度上為使用者提供了更加自然，更加直接的人機交互方式。對于一個基于計算機視覺的手勢交互系統(tǒng)，由于研究人員為了處理方便，往往會對使用者進行限制，例如，對手勢的形狀進行限制，在手勢移動過程中需要用戶的手一直處于張開狀態(tài)并且與攝像頭保持平行。然而，過多類似的限制就會對手勢動作的內(nèi)容提出很高的限定性，不利于深入拓展復雜的手勢識別。對于一個基于計算機視覺的手勢交互系統(tǒng)，對手勢的快速跟蹤是整個過程的重要基礎(chǔ)，也是研究的熱點和難點。雖然手勢識別技術(shù)研究已經(jīng)取得了很大的進步，但是距離性能穩(wěn)定、可靠的要求還有一定的距離，它存在若干難點和亟待解決的問題。首先，如何應(yīng)對變化的環(huán)境，例如，光線、背景、視角等，這也是計算機視覺領(lǐng)域常見的問題；其次，如何應(yīng)對人手的各種變形，人手是最為靈活的器官之一，有很高的自由度，能否在人手任意變化的情況下都能識別出各種手勢是很關(guān)鍵的問題，在利用手勢進行交互的過程中，如果過多的限制人手的形狀和運動方式，必將給使用者帶來不適，也不滿足自然、舒適、和諧的初衷。

發(fā)明內(nèi)容
(一)要解決的技術(shù)問題有鑒于此，本發(fā)明的主要目的是提供一種基于視頻流的對變形手勢進行跟蹤的方法，以在普通單目攝像頭下，對任意變化的人手進行實時跟蹤，在嘈雜的背景下和大面積膚色干擾的情況下，都能魯棒和快速的跟蹤人手的位置。( 二 )技術(shù)方案為達到上述目的，本發(fā)明提供了一種基于視頻流的對變形手勢進行跟蹤的方法，包括獲取幀圖像，并從獲取的幀圖像中提取包含人手的子圖像；從該包含人手的子圖像中選取特征跟蹤點，并利用該包含人手的子圖像對連續(xù)自適應(yīng)均值漂移(Camshift)
4跟蹤器進行初始化；對選取的特征跟蹤點進行光流計算，作為局部跟蹤結(jié)果，同時利用 Camshift跟蹤器對人手進行整體跟蹤，作為全局跟蹤結(jié)果；對特征跟蹤點進行更新；以及以光流跟蹤的結(jié)果作為變形手勢的最終輸出結(jié)果。(三)有益效果本發(fā)明提供的基于視頻流的對變形手勢進行跟蹤的方法，是針對任意變化的手型進行跟蹤，其具有的有益效果如下首先，由于采用了膚色特征角點的光流計算進行跟蹤，所以消除了背景變化和大面積膚色的干擾；其次，由于采用了膚色特征角點和連續(xù)自適應(yīng)均值漂移整體控制的局部加全局的策略，充分利用到了兩種方法的優(yōu)點，使對變形人手的跟蹤更為魯棒；最后，由于采用了特征點實時更新的策略，所以能夠在手型劇烈變化下進行實時跟蹤，特征點的更新策略充分利用到了運動預(yù)測和連續(xù)自適應(yīng)均值漂移全局的控制，使特征點的更新更為精確和可靠?？傊景l(fā)明提供的基于視頻流的對變形手勢進行跟蹤的方法，在普通單目攝像頭下，能夠?qū)θ我庾兓娜耸诌M行實時跟蹤，在嘈雜的背景下和大面積膚色干擾的情況下， 都能魯棒和快速的跟蹤人手的位置，實現(xiàn)了實時的、魯棒的手勢跟蹤。


圖1是依照本發(fā)明實施例的基于視頻流的對變形手勢進行跟蹤的方法流程圖；圖2是光流跟蹤結(jié)果與Camshift跟蹤器之間相互作用的示意圖；圖3是運動預(yù)測的示意圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進一步詳細說明。圖1示出了依照本發(fā)明實施例的基于視頻流的對變形手勢進行跟蹤的方法流程圖，其具體步驟如下步驟1 獲取幀圖像，并從獲取的幀圖像中提取包含人手的子圖像。采用單目攝像頭獲取幀圖像，并運用檢測算法從獲取的幀圖像中提取包含人手的子圖像。此步驟是要選定跟蹤目標，本實施例利用自動的選取方法，將人手作為跟蹤目標。步驟2 從該包含人手的子圖像中選取特征跟蹤點，并利用該包含人手的子圖像對Camshift跟蹤器進行初始化。在利用光流進行跟蹤的實現(xiàn)過程中，計算每一個像素點的光流實際上是沒有必要的，跟蹤的目的是想知道目標的移動方向和位置，所以本實施例是選擇一些有代表性的像素點作為特征點進行光流跟蹤，在這里選擇包含人手的子圖像上面的一些包含豐富紋理信息的角點作為跟蹤點，這樣就融合了紋理和膚色信息，在一定程度上可以與背景點和其他膚色干擾點做出區(qū)分，在這里從包含人手的子圖像中選擇強 Harris特征角點作為跟蹤點；在選取特征跟蹤點的同時，利用檢測到的包含人手的子圖像對Camshift跟蹤器進行初始化，作為一個全局跟蹤的約束，而光流特征點作為局部跟蹤的約束。
步驟3 對選取的特征跟蹤點進行光流計算，作為局部跟蹤結(jié)果，同時利用 Camshift跟蹤器對人手進行整體跟蹤，作為全局跟蹤結(jié)果。本實施例采用局部跟蹤加全局約束的融合策略，即采用人手上的特征點作為局部跟蹤目標，采用Camshift針對人手進行全局的跟蹤約束，控制特征點的更新范圍。本實施例選取30個哈里斯(Harris)特征點并且是膚色的像素點進行稀疏點光流計算，這里稀疏點光流計算使用的是Lucas-Kanade算法；采用稀疏點光流計算進行手勢跟蹤，一方面滿足了跟蹤的需求，另一方面極大的加快了跟蹤的速度。利用初始化的膚色模型，Camshift跟蹤器對人手進行整體跟蹤。步驟4 對特征跟蹤點進行更新。利用光流特征跟蹤點在前后兩幀的位置關(guān)系統(tǒng)計出人手的運動方向和大小，結(jié)合Camshift跟蹤結(jié)果的整體性約束，對跟蹤特征點進行更新，刪除那些由于人手變形造成的丟失的特征點，添加一些新的特征點，使得特征點的總數(shù)保持30個。步驟5 輸出跟蹤結(jié)果。整個跟蹤方法以光流跟蹤的結(jié)果作為變形手勢的最終輸
出結(jié)果ο在利用光流進行跟蹤的實現(xiàn)過程中，計算每一個像素點的光流實際上是沒有必要的，因為本實施例只需要知道目標的整體移動方向和位置，如果計算全圖光流的話，速度也會大大的降低。所以，本實施例要選擇一些有代表性的像素點作為跟蹤點進行光流計算。 考慮到本實施例是對人手進行實時跟蹤，本實施例可以選擇人手上面的一些包含豐富紋理信息的角點作為特征跟蹤點，這樣一來本實施例就融合了紋理和膚色信息，在一定程度上可以與背景點和其他膚色干擾點做出區(qū)分。在這里采用強Harris特征點作為特征跟蹤點， 強Harris特征點實際上是采用Harris特征點的思想，在圖像鄰域內(nèi)選擇特征最強的那些角點作為特征跟蹤點。采用強Harris特征點方法，在包含手勢的子圖像內(nèi)選擇特征較強的 Harris特征點，在這些Harris特征點內(nèi)再篩選是膚色特征點的像素點作為跟蹤的目標，即特征跟蹤點。因此，圖1中所述從該包含人手的子圖像中選取特征跟蹤點的具體實現(xiàn)步驟如下步驟1 在包含人手的子圖像的檢測框內(nèi)選取若干Harris特征點，作為特征跟蹤點的備選對象；步驟2 從選取的若干Harris特征點選出膚色特征點，刪除非膚色特征點；步驟3 對選出的膚色特征點進行篩選，首先選取位置處于中心地帶的一個膚色特征點，然后通過距離閾值的判斷，以此點為中心往四周擴散，再選取若干特征較強的膚色特征點，保證這些點分布比較均勻；步驟4 選取30個分布均勻的膚色特征點，然后針對這些膚色特征點進行光流跟
S示ο圖1中所述利用Camshift跟蹤器對人手進行整體跟蹤，采用的是Camshift跟蹤算法，該Camshift跟蹤算法是以均值漂移(Mear^hift)算法為基礎(chǔ)的一種跟蹤算法，在建立好跟蹤模型之后，對以后的每一幀圖像，Camshift跟蹤器能夠自動調(diào)節(jié)搜索框的大小和位置，利用當前幀的跟蹤結(jié)果去預(yù)測下一幀圖像中目標的中心和大小。Camshift跟蹤算法是一種動態(tài)變化分布的密度函數(shù)估計的非參數(shù)方法。為了減少光照的影響，Camshift跟蹤算法一般將顏色空間轉(zhuǎn)換到HSV空間，并使用H通道的信息。Camshift跟蹤算法可以分為以下幾個步驟
步驟1 初始化跟蹤目標的搜索框大?。徊襟E2 計算目標顏色概率分布情況；步驟3 運行Mear^hift獲得搜索窗口新的大小和位置；步驟4 重新設(shè)定搜索窗口大小，并輸出參數(shù)；步驟5 將當前幀的跟蹤結(jié)果賦值給下一幀并進行下一幀循環(huán)。圖1中所述在對特征跟蹤點進行更新的步驟中，利用光流跟蹤結(jié)果和Camshift 相結(jié)合排除大面積膚色干擾。圖2示出了光流跟蹤結(jié)果與Camshift跟蹤器之間相互作用的示意圖。Camshift的跟蹤僅僅依靠膚色特征，這樣一來很容易受到其他大面積膚色物體的干擾，尤其是當人手和人臉有重疊時，Camshift便漂移到人臉上去。為了能夠除去這種干擾，考慮到光流跟蹤幾乎不受人臉的影響，本實施例添加了一個判斷機制，即在每一幀對 Camshift跟蹤中心與光流跟蹤中心之間的距離d進行判斷，當這個距離d達到某一閾值時， 便利用光流跟蹤的結(jié)果對Camshift跟蹤器重定位，在人手離開與人臉的重疊區(qū)時，就可以把Camshift “拉到”人手上來，從而擺脫了人臉的影響。圖1中所述在對特征跟蹤點進行更新的步驟中，利用光流特征跟蹤點在前后兩幀的位置關(guān)系統(tǒng)計出人手的運動方向和大小，即人手運動預(yù)測的具體實現(xiàn)采用了運動預(yù)測的機制，該運動預(yù)測的機制基于對相鄰兩幀內(nèi)若干特征點的運動向量的統(tǒng)計，如圖3所示，圖 3所示為人手運動預(yù)測的示意圖。已知這個運動向量，本實施例可以用這些運動向量來估計一個整體的運動方向和大小，計算方法如下其中，Vi表示某一特征點前后兩幀的運動矢量，η表示特征點的總數(shù)目，歸一化的向量V表示對人手運動方向和大小的預(yù)估，i表示特征點的序號?；诖?，本實施例中對特征跟蹤點進行更新，具體包括步驟1 根據(jù)人手運動預(yù)測的結(jié)果獲得人手的大致運動速度和方向，利用這個運動向量乘以一個放縮因子生成一個矩形框；步驟2 將生成的矩形框與Camshift跟蹤結(jié)果進行對比，計算出重疊的那部分區(qū)域；步驟3 在重疊的那部分區(qū)域中選擇若干新的膚色特征點作為備選特征跟蹤點；步驟4 在備選特征跟蹤點中選擇若干位于區(qū)域中心的像素點作為新的特征跟蹤點添加到特征跟蹤點集中，使得特征跟蹤點總數(shù)目為30個。以上所述的具體實施例，對本發(fā)明的目的、技術(shù)方案和有益效果進行了進一步詳細說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
權(quán)利要求
1.一種基于視頻流的對變形手勢進行跟蹤的方法，其特征在于，包括獲取幀圖像，并從獲取的幀圖像中提取包含人手的子圖像；從該包含人手的子圖像中選取特征跟蹤點，并利用該包含人手的子圖像對連續(xù)自適應(yīng)均值漂移跟蹤器進行初始化；對選取的特征跟蹤點進行光流計算，作為局部跟蹤結(jié)果，同時利用連續(xù)自適應(yīng)均值漂移跟蹤器對人手進行整體跟蹤，作為全局跟蹤結(jié)果；對特征跟蹤點進行更新；以及以光流跟蹤的結(jié)果作為變形手勢的最終輸出結(jié)果。
2.根據(jù)權(quán)利要求1所述的基于視頻流的對變形手勢進行跟蹤的方法，其特征在于，所述獲取幀圖像，并從獲取的幀圖像中提取包含人手的子圖像的步驟中，采用單目攝像頭獲取幀圖像，并運用檢測算法從獲取的幀圖像中提取包含人手的子圖像。
3.根據(jù)權(quán)利要求1所述的基于視頻流的對變形手勢進行跟蹤的方法，其特征在于，所述從該包含人手的子圖像中選取特征跟蹤點的步驟中，選取包含人手的子圖像中的包含豐富紋理信息的強哈里斯Harris特征點作為跟蹤點，以融合紋理和膚色信息，并與背景點和其他膚色干擾點做出區(qū)分。
4.根據(jù)權(quán)利要求1或3所述的基于視頻流的對變形手勢進行跟蹤的方法，其特征在于， 所述從該包含人手的子圖像中選取特征跟蹤點，具體包括在包含人手的子圖像的檢測框內(nèi)選取若干Harris特征點，作為特征跟蹤點的備選對象；從選取的若干Harris特征點選出膚色特征點，刪除非膚色特征點；對選出的膚色特征點進行篩選，首先選取位置處于中心地帶的一個膚色特征點，然后通過距離閾值的判斷，以此點為中心往四周擴散，再選取若干特征較強的膚色特征點，保證這些點分布比較均勻；以及選取30個分布均勻的膚色特征點，然后針對這些膚色特征點進行光流跟蹤。
5.根據(jù)權(quán)利要求1、3或4所述的基于視頻流的對變形手勢進行跟蹤的方法，其特征在于，所述在從該包含人手的子圖像中選取特征跟蹤點的同時，利用檢測到的包含人手的子圖像對連續(xù)自適應(yīng)均值漂移跟蹤器進行初始化，作為一個全局跟蹤的約束，而光流特征點作為局部跟蹤的約束。
6.根據(jù)權(quán)利要求1所述的基于視頻流的對變形手勢進行跟蹤的方法，其特征在于，所述對選取的特征跟蹤點進行光流計算，是選取30個Harris特征點并且是膚色的像素點進行稀疏點光流計算，該稀疏點光流計算使用的是Lucas-Kanade算法。
7.根據(jù)權(quán)利要求1所述的基于視頻流的對變形手勢進行跟蹤的方法，其特征在于，所述利用連續(xù)自適應(yīng)均值漂移跟蹤器對人手進行整體跟蹤，采用的是連續(xù)自適應(yīng)均值漂移跟蹤算法，該連續(xù)自適應(yīng)均值漂移跟蹤算法是以均值漂移算法為基礎(chǔ)的一種跟蹤算法，在建立好跟蹤模型之后，對以后的每一幀圖像，連續(xù)自適應(yīng)均值漂移跟蹤器能夠自動調(diào)節(jié)搜索框的大小和位置，利用當前幀的跟蹤結(jié)果去預(yù)測下一幀圖像中目標的中心和大小。
8.根據(jù)權(quán)利要求1或7所述的基于視頻流的對變形手勢進行跟蹤的方法，其特征在于， 所述連續(xù)自適應(yīng)均值漂移跟蹤算法是一種動態(tài)變化分布的密度函數(shù)估計的非參數(shù)方法，為了減少光照的影響，連續(xù)自適應(yīng)均值漂移跟蹤算法一般將顏色空間轉(zhuǎn)換到HSV空間，并使用H通道的信息；該連續(xù)自適應(yīng)均值漂移跟蹤算法包括 初始化跟蹤目標的搜索框大?。?計算目標顏色概率分布情況； 運行均值漂移獲得搜索窗口新的大小和位置； 重新設(shè)定搜索窗口大小，并輸出參數(shù)；以及將當前幀的跟蹤結(jié)果賦值給下一幀并進行下一幀循環(huán)。
9.根據(jù)權(quán)利要求1所述的基于視頻流的對變形手勢進行跟蹤的方法，其特征在于，所述對特征跟蹤點進行更新，是利用光流特征跟蹤點在前后兩幀的位置關(guān)系統(tǒng)計出人手的運動方向和大小，結(jié)合連續(xù)自適應(yīng)均值漂移跟蹤結(jié)果的整體性約束，對跟蹤特征點進行更新， 刪除那些由于人手變形造成的丟失的特征點，添加一些新的特征點，使得特征點的總數(shù)保持30個。
10.根據(jù)權(quán)利要求1或9所述的基于視頻流的對變形手勢進行跟蹤的方法，其特征在于，所述在對特征跟蹤點進行更新的步驟中，利用光流跟蹤結(jié)果和連續(xù)自適應(yīng)均值漂移相結(jié)合排除大面積膚色干擾，具體是在每一幀對連續(xù)自適應(yīng)均值漂移跟蹤中心與光流跟蹤中心之間的距離進行判斷，當這個距離達到某一閾值時，便利用光流跟蹤的結(jié)果對連續(xù)自適應(yīng)均值漂移跟蹤器重定位，在人手離開與人臉的重疊區(qū)時，就可以把連續(xù)自適應(yīng)均值漂移 “拉到”人手上來，從而擺脫人臉的影響。
11.根據(jù)權(quán)利要求1或9所述的基于視頻流的對變形手勢進行跟蹤的方法，其特征在于，所述在對特征跟蹤點進行更新的步驟中，利用光流特征跟蹤點在前后兩幀的位置關(guān)系統(tǒng)計出人手的運動方向和大小，人手運動預(yù)測的具體實現(xiàn)采用運動預(yù)測的機制，該運動預(yù)測的機制基于對相鄰兩幀內(nèi)若干特征點的運動向量的統(tǒng)計。
12.根據(jù)權(quán)利要求1所述的基于視頻流的對變形手勢進行跟蹤的方法，其特征在于，所述對特征跟蹤點進行更新，具體包括根據(jù)人手運動預(yù)測的結(jié)果獲得人手的大致運動速度和方向，利用這個運動向量乘以一個放縮因子生成一個矩形框；將生成的矩形框與連續(xù)自適應(yīng)均值漂移跟蹤結(jié)果進行對比，計算出重疊的那部分區(qū)域；在重疊的那部分區(qū)域中選擇若干新的膚色特征點作為備選特征跟蹤點；以及在備選特征跟蹤點中選擇若干位于區(qū)域中心的像素點作為新的特征跟蹤點添加到特征跟蹤點集中，使得特征跟蹤點總數(shù)目為30個。
全文摘要
本發(fā)明公開了一種基于視頻流的對變形手勢進行跟蹤的方法，包括獲取幀圖像，并從獲取的幀圖像中提取包含人手的子圖像；從該包含人手的子圖像中選取特征跟蹤點，并利用該包含人手的子圖像對連續(xù)自適應(yīng)均值漂移跟蹤器進行初始化；對選取的特征跟蹤點進行光流計算，作為局部跟蹤結(jié)果，同時利用連續(xù)自適應(yīng)均值漂移跟蹤器對人手進行整體跟蹤，作為全局跟蹤結(jié)果；對特征跟蹤點進行更新；以及以光流跟蹤的結(jié)果作為變形手勢的最終輸出結(jié)果。本發(fā)明可以跟蹤任意變化手型的人手，能使人機手勢交互以更舒適的方式進行操作。針對任意變化的手型進行跟蹤，消除了背景變化和大面積膚色的干擾，實現(xiàn)了實時的、魯棒的手勢跟蹤。
文檔編號G06T7/20GK102270348SQ20111024258
公開日2011年12月7日 申請日期2011年8月23日 優(yōu)先權(quán)日2011年8月23日
發(fā)明者王陽生, 石磊 申請人:中國科學院自動化研究所, 北京盛開互動科技有限公司