專利名稱：基于CamShift算法與手形遮罩的手識(shí)別裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及虛擬現(xiàn)實(shí)與計(jì)算機(jī)圖像學(xué)領(lǐng)域，特別涉及一種對(duì)視頻中的人手部位進(jìn)行連續(xù) 識(shí)別與跟蹤定位的基于CamShift算法與手形遮罩的手識(shí)別裝置及其方法。
背景技術(shù)：
手識(shí)別是人機(jī)交互、機(jī)器人、計(jì)算機(jī)視覺以及數(shù)字圖像處理等領(lǐng)域一個(gè)重要內(nèi)容。對(duì)手 的位置進(jìn)行準(zhǔn)確測(cè)定與跟蹤，在人機(jī)交互，手勢(shì)識(shí)別等方面具有重要意義。
手識(shí)別與跟蹤的方法很多，現(xiàn)有的方法包括基于膚色信息、基于運(yùn)動(dòng)信息、基于運(yùn)動(dòng)模 型等。目前，中科大的顧理、莊鎮(zhèn)泉等人利用光照補(bǔ)償和基于分類搜索的局部閾值手形提取 方法對(duì)手形進(jìn)行提取，提取效果較好，但未能實(shí)現(xiàn)在連續(xù)視頻中的追蹤。哈工大的張良國(guó)等 提出了基于hausdorff距離的手識(shí)別系統(tǒng)并利用其進(jìn)行手勢(shì)識(shí)別，但對(duì)光照與復(fù)雜背景等因 素較敏感。哈工大的孫超、姜立利用FSR傳感器檢測(cè)加支持向量機(jī)的方式進(jìn)行檢測(cè)，效果較 好但對(duì)硬件要求較高。
現(xiàn)有的手識(shí)別技術(shù)或是技術(shù)較復(fù)雜，在實(shí)時(shí)性上有一定缺陷，或是主要運(yùn)用于單幀的靜 態(tài)圖像，不能對(duì)連續(xù)視頻進(jìn)行準(zhǔn)確性較高的跟蹤與識(shí)別。本系統(tǒng)提出一種利用Camshift算法 與手形遮罩相結(jié)合的手識(shí)別方法。該方法針對(duì)連續(xù)視頻，以基于CamShift的顏色分析為主， 結(jié)合手形模板的形狀分析技術(shù)，并利用Haar算法等對(duì)視頻的干擾成分進(jìn)行處理與去除，能對(duì) 視頻中手所在部位進(jìn)行連續(xù)與準(zhǔn)確性較高的識(shí)別與跟蹤。
其中的CamShift是"Continuously Adaptive Mean-SHIFT"的縮寫，即連續(xù)自適應(yīng) Mean-SHIFT算法，是一種基于Mean-SHIFT算法，應(yīng)用于連續(xù)視頻的跟蹤算法。CamShift基 于隨機(jī)顏色概率模型，與被跟蹤對(duì)象的具體形狀模型無(wú)關(guān)。CamShift算法采用了 HSV色彩空 間，受光照等環(huán)境因素影響較小，且人手膚色在HSV空間色度值分布鮮明。CamShift分為反 向投影(Back Projection) ， MeanShift算法與CamShift算法三部分。
參考文獻(xiàn)[1 ]和[2]公開了 Haar算法。 Paul Viola, Michael J. Jones. Robust Real-Time Face Detection[J]. International Journal of Computer Vision, May 2004， 57: 137-154. Friedman, J. H.， Hastie， T. and Tibshirani， R. Additive Logistic Regression:
4a Statistical View of Boosting. Technical Report[R], Dept. of Statistics, Stanford University, 1998.
有鑒于此，本領(lǐng)域發(fā)明人針對(duì)上述問題，研發(fā)了一種對(duì)視頻中的人手部位進(jìn)行連續(xù)識(shí)別 與跟蹤定位的基于CamShift算法與手形遮罩的手識(shí)別裝置及其方法。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種基于C柳Shift算法與手形遮罩的手識(shí)別裝置及其方法，克 服了現(xiàn)有技術(shù)的困難，達(dá)到對(duì)視頻中的人手部位進(jìn)行連續(xù)識(shí)別與跟蹤定位的目的。
本發(fā)明采用如下技術(shù)方案
本發(fā)明的一種基于CamShift算法與手形遮罩的手識(shí)別裝置，包括干擾區(qū)域去除模塊、手
部區(qū)域初步追蹤模塊、圖像處理模塊以及基于手形模板的識(shí)別模塊；
所述干擾區(qū)域去除模塊通過(guò)Haar算法識(shí)別并去除人臉等包含膚色的干擾部位； 所述手部區(qū)域初步追蹤模塊通過(guò)CamShift算法對(duì)視頻中的手區(qū)域進(jìn)行初步的識(shí)別與連續(xù)
追蹤；
所述圖像處理模塊對(duì)經(jīng)CamShift處理得到的每一幀，進(jìn)行圖像的二值化、腐蝕、膨脹、 劃分出各個(gè)連通區(qū)域等操作，去除圖像噪點(diǎn)；
所述基于手形模板的識(shí)別模塊利用手形模板對(duì)圖像進(jìn)行處理，判斷每個(gè)連通區(qū)域是否為 手區(qū)域，確定最終的識(shí)別與跟蹤區(qū)域。
進(jìn)一步地，所述干擾區(qū)域去除模塊至少包括Haar算法訓(xùn)練模塊以及Haar算法識(shí)別模塊。
進(jìn)一步地，所述手部區(qū)域初步追蹤模塊至少包括基于CamShift算法的處理模塊和識(shí)別模塊。
進(jìn)一步地，所述基于手形模板的識(shí)別模塊中手形遮罩分為左張開，左合并，右張開，右 合并四種。
進(jìn)一步地，四種所述手形遮罩再分為旋轉(zhuǎn)O度，正負(fù)45度，正負(fù)90度五種，共20種遮罩。
本發(fā)明的一種基于CamShift算法與手形遮罩的手識(shí)別方法，采用上述基于CamShift算 法與手形遮罩的手識(shí)別裝置，包括以下步驟
1) 采用Haar算法識(shí)別臉部區(qū)域并加于去除；
2) 采用CamShift算法對(duì)圖像的手部區(qū)域進(jìn)行初步的識(shí)別；
3) 對(duì)CamShift算法生成的顏色概率分布圖進(jìn)行二值化、腐蝕、膨脹處理；4) 將處理后的圖中滿足一定大小的連通區(qū)域分割出來(lái)，分別與每一個(gè)手形遮罩進(jìn)行相似 度對(duì)比，式(1)為計(jì)算針對(duì)某一手形遮罩的相似度值的公式
A =05/&+S/S2)/2 (1)
其中，/v為相似度值，Si為某連通區(qū)域面積，S2為手遮罩面積，S為兩者重疊面積， 對(duì)每一個(gè)手形遮罩計(jì)算相應(yīng)的A值，取所有A中最大值^皿為最終相似度值；
5) 判斷所述最終相似度值P-是否大于閾值，若是，則判定為手，標(biāo)出該連通區(qū)域；若
否，則輸入下一幀，執(zhí)行步驟l)。
進(jìn)一步地，所述步驟l)之前還包括預(yù)設(shè)閾值。
進(jìn)一步地，所述步驟4)中的手形遮罩分為左張開，左合并，右張開，右合并四種。 進(jìn)一步地，四種所述手形遮罩再分為旋轉(zhuǎn)O度，正負(fù)45度，正負(fù)90度五種，共20種遮罩。
進(jìn)一步地，所述歩驟5)中當(dāng)判定為手時(shí)，將所述連通區(qū)域用方框標(biāo)出，完成手部位的追
相對(duì)于己有的其他方法，本發(fā)明創(chuàng)造性地將Haar算法，CamShift算法，手形遮罩處理方 法等計(jì)算機(jī)視覺與數(shù)字圖像處理算法結(jié)合在一起，集中幾種算法的優(yōu)勢(shì)，先對(duì)圖像進(jìn)行干擾 區(qū)域去除，再將基于色彩的識(shí)別跟蹤與基于形狀的識(shí)別跟蹤算法結(jié)合起來(lái)，可以對(duì)視頻中的 手所在區(qū)域進(jìn)行連續(xù)跟蹤，試驗(yàn)證明，該方法執(zhí)行效率較高，跟蹤準(zhǔn)確性較高。相比現(xiàn)有技 術(shù)還具有能對(duì)連續(xù)視頻進(jìn)行準(zhǔn)確性較高的跟蹤與識(shí)別，對(duì)光照與復(fù)雜背景等因素敏感度低， 降低硬件要求的優(yōu)點(diǎn)。
以下結(jié)合附圖及實(shí)施例進(jìn)一步說(shuō)明本發(fā)明。


圖1為本發(fā)明中基于CamShift算法與手形遮罩的手識(shí)別裝置的結(jié)構(gòu)示意圖； 圖2為本發(fā)明中基于CamShift算法與手形遮罩的手識(shí)別方法的流程圖； 圖3為實(shí)施例1中所用到部分手形模板圖。
具體實(shí)施例方式
下面通過(guò)圖1至3，來(lái)介紹本發(fā)明的一種具體實(shí)施例。形遮罩的手識(shí)別裝置，包括通過(guò)數(shù)據(jù) 線相連并交換數(shù)據(jù)的干擾區(qū)域去除模塊、手部區(qū)域初步追蹤模塊、圖像處理模塊以及基于手 形模板的識(shí)別模塊。
其中，所述干擾區(qū)域去除模塊通過(guò)Haar算法識(shí)別并去除人臉等包含膚色的干擾部位，所 述干擾區(qū)域去除模塊至少包括Haar算法訓(xùn)練模塊以及Haar算法識(shí)別模塊。
所述手部區(qū)域初步追蹤模塊通過(guò)CamShift算法對(duì)視頻中的手區(qū)域進(jìn)行初步的識(shí)別與連續(xù) 追蹤，所述手部區(qū)域初步追蹤模塊至少包括基于CamShift算法的處理模塊和識(shí)別模塊。
所述圖像處理模塊對(duì)經(jīng)CamShift處理得到的每一幀，進(jìn)行圖像的二值化、腐蝕、膨脹、 劃分出各個(gè)連通區(qū)域等操作，去除圖像噪點(diǎn)；
所述基于手形模板的識(shí)別模塊利用手形模板對(duì)圖像進(jìn)行處理，判斷每個(gè)連通區(qū)域是否為 手區(qū)域，確定最終的識(shí)別與跟蹤區(qū)域。所述基于手形模板的識(shí)別模塊中手形遮罩分為左張開， 左合并，右張開，右合并四種，這四種所述手形遮罩再分為旋轉(zhuǎn)0度，正負(fù)45度，正負(fù)90 度五種，共20種遮罩。
參見圖3，列舉了其中的8種 (左合并，0度)、(右合并，0度)； (左張開，0度)、(右張開，0度)； (左合并，90度)、(右合并，90度)； (左合并，45度)、(右合并，45度)。 如圖2所示，本發(fā)明的一種基于CamShift算法與手形遮罩的手識(shí)別方法，采用上述基于 CamShift算法與手形遮罩的手識(shí)別裝置，包括以下步驟 預(yù)設(shè)閾值。
1) 采用Haar算法識(shí)別臉部區(qū)域并加于去除；
2) 采用CamShift算法對(duì)圖像的手部區(qū)域進(jìn)行初步的識(shí)別；
3) 對(duì)CamShift算法生成的顏色概率分布圖進(jìn)行二值化、腐蝕、膨脹處理；
4) 將處理后的圖中滿足一定大小的連通區(qū)域分割出來(lái)，分別與每一個(gè)手形遮罩進(jìn)行相似 度對(duì)比，式(1)為計(jì)算針對(duì)某一手形遮罩的相似度值的公式
+S/S2)/2 (1)
其中，A為相似度值，Si為某連通區(qū)域面積，S2為手遮罩面積，S為兩者重疊面積， 對(duì)每一個(gè)手形遮罩計(jì)算相應(yīng)的A值，取所有A中最大值A(chǔ)n^為最終相似度值；手形遮罩分為左張開，左合并，右張開，右合并四種，這四種所述手形遮罩再分為旋轉(zhuǎn)0 度，正負(fù)45度，正負(fù)90度五種，共20種遮罩。 參見圖3，列舉了其中的8種 (左合并，0度)、(右合并，0度)；
(左張開，0度)、(右張開，0度)；
(左合并，90度)、(右合并，90度)； (左合并，45度)、(右合并，45度)。
5)判斷所述最終相似度值^皿是否大于閾值，若是，則判定為手，將所述連通區(qū)域用方
框標(biāo)出，完成手部位的追蹤；若否，則輸入下一幀，執(zhí)行步驟l)。
綜上可知，本發(fā)明創(chuàng)造性地將Haar算法，CamShift算法，手形遮罩處理方法等計(jì)算機(jī)視 覺與數(shù)字圖像處理算法結(jié)合在一起，集中幾種算法的優(yōu)勢(shì)，先對(duì)圖像進(jìn)行干擾區(qū)域去除，再 將基于色彩的識(shí)別跟蹤與基于形狀的識(shí)別跟蹤算法結(jié)合起來(lái)，可以對(duì)視頻中的手所在區(qū)域進(jìn) 行連續(xù)跟蹤，試驗(yàn)證明，該方法執(zhí)行效率較高，跟蹤準(zhǔn)確性較高。
以上所述的實(shí)施例僅用于說(shuō)明本發(fā)明的技術(shù)思想及特點(diǎn)，其目的在于使本領(lǐng)域內(nèi)的技術(shù) 人員能夠了解本發(fā)明的內(nèi)容并據(jù)以實(shí)施，不能僅以本實(shí)施例來(lái)限定本發(fā)明的專利范圍，即凡 依本發(fā)明所揭示的精祌所作的同等變化或修飾，仍落在本發(fā)明的專利范圍內(nèi)。
權(quán)利要求
1、一種基于CamShift算法與手形遮罩的手識(shí)別裝置，其特征在于包括干擾區(qū)域去除模塊、手部區(qū)域初步追蹤模塊、圖像處理模塊以及基于手形模板的識(shí)別模塊；所述干擾區(qū)域去除模塊通過(guò)Haar算法識(shí)別并去除人臉等包含膚色的干擾部位；所述手部區(qū)域初步追蹤模塊通過(guò)CamShift算法對(duì)視頻中的手區(qū)域進(jìn)行初步的識(shí)別與連續(xù)追蹤；所述圖像處理模塊對(duì)經(jīng)CamShift處理得到的每一幀，進(jìn)行圖像的二值化、腐蝕、膨脹、劃分出各個(gè)連通區(qū)域等操作，去除圖像噪點(diǎn)；所述基于手形模板的識(shí)別模塊利用手形模板對(duì)圖像進(jìn)行處理，判斷每個(gè)連通區(qū)域是否為手區(qū)域，確定最終的識(shí)別與跟蹤區(qū)域。
2、 根據(jù)權(quán)利要求1所述的基于CamShift算法與手形遮罩的手識(shí)別裝置，其特征在于所述干擾區(qū)域去除模塊至少包括Haar算法訓(xùn)練模塊以及Haar算法識(shí)別模塊。
3、 根據(jù)權(quán)利要求1所述的基于CamShift算法與手形遮罩的手識(shí)別裝置，其特征在于-所述手部區(qū)域初步追蹤模塊至少包括基于CamShift算法的處理模塊和識(shí)別模塊。
4、 根據(jù)權(quán)利要求1所述的基于CamShift算法與手形遮罩的手識(shí)別裝置，其特征在于所述基于手形模板的識(shí)別模塊中手形遮罩分為左張開，左合并，右張開，右合并四種。
5、 根據(jù)權(quán)利要求4所述的基于CamShift算法與手形遮罩的手識(shí)別裝置，其特征在于四種所述手形遮罩再分為旋轉(zhuǎn)O度，正負(fù)45度，正負(fù)90度五種，共20種遮罩。
6、 一種基于CamShift算法與手形遮罩的手識(shí)別方法，采用如所述權(quán)利要求1至5中的任意一項(xiàng)基于CamShift算法與手形遮罩的手識(shí)別裝置，其特征在于包括以下步驟1) 采用Haar算法識(shí)別臉部區(qū)域并加于去除；2) 采用CamShift算法對(duì)圖像的手部區(qū)域進(jìn)行初步的識(shí)別；3) 對(duì)CamShift算法生成的顏色概率分布圖進(jìn)行二值化、腐蝕、膨脹處理；4) 將處理后的圖中滿足一定大小的連通區(qū)域分割出來(lái)，分別與每一個(gè)手形遮罩進(jìn)行相似度對(duì)比，式(1)為計(jì)算針對(duì)某一手形遮罩的相似度值的公式<formula>formula see original document page 2</formula>(1)其中，^為相似度值，Si為某連通區(qū)域面積，S2為手遮罩面積，S為兩者重疊面積，對(duì)每一個(gè)手形遮罩計(jì)算相應(yīng)的^值，取所有A中最大值^皿為最終相似度值；5) 判斷所述最終相似度值A(chǔ)皿是否大于閾值，若是，則判定為手，標(biāo)出該連通區(qū)域；若否，則輸入下一幀，執(zhí)行步驟l)。
7、 根據(jù)權(quán)利要求6所述的基于CamShift算法與手形遮罩的手識(shí)別方法，其特征在于: 所述步驟l)之前還包括預(yù)設(shè)閾值。
8、 根據(jù)權(quán)利要求6所述的基于CamShift算法與手形遮罩的手識(shí)別方法，其特征在于: 所述步驟4)中的手形遮罩分為左張開，左合并，右張開，右合并四種。
9、 根據(jù)權(quán)利要求8所述的基于CamShift算法與手形遮罩的手識(shí)別方法，其特征在于: 四種所述手形遮罩再分為旋轉(zhuǎn)O度，正負(fù)45度，正負(fù)90度五種，共20種遮罩。
10、 根據(jù)權(quán)利要求6所述的基于CamShift算法與手形遮罩的手識(shí)別方法，其特征在于.-所述歩驟5)中當(dāng)判定為手時(shí)，將所述連通區(qū)域用方框標(biāo)出，完成手部位的追蹤。
全文摘要
本發(fā)明揭示了一種基于CamShift算法與手形遮罩的手識(shí)別裝置及其方法，包括干擾區(qū)域去除模塊、手部區(qū)域初步追蹤模塊、圖像處理模塊以及基于手形模板的識(shí)別模塊；其方法為1)采用Haar算法識(shí)別臉部區(qū)域并加于去除；2)采用CamShift算法對(duì)圖像的手部區(qū)域進(jìn)行初步的識(shí)別；3)對(duì)CamShift算法生成的顏色概率分布圖進(jìn)行二值化、腐蝕、膨脹處理；4)將處理后的圖中滿足一定大小的連通區(qū)域分割出來(lái)，分別與每一個(gè)手形遮罩進(jìn)行相似度對(duì)比；5)判斷所述相似度值中的最大值是否大于閾值，若是，則判定為手，標(biāo)出該連通區(qū)域；若否，則輸入下一幀，執(zhí)行步驟1)；本發(fā)明集中幾種算法的優(yōu)勢(shì)，對(duì)視頻中的手所在區(qū)域進(jìn)行連續(xù)跟蹤，方法執(zhí)行效率較高，跟蹤準(zhǔn)確性較高。
文檔編號(hào)G06K9/00GK101667250SQ20091019698
公開日2010年3月10日 申請(qǐng)日期2009年10月10日 優(yōu)先權(quán)日2009年10月10日
發(fā)明者周暖云, 季斐翀, 晉 潘, 濤 陸 申請(qǐng)人:上海水晶石信息技術(shù)有限公司