專(zhuān)利名稱(chēng)：一種基于參考區(qū)域和時(shí)域信息的人機(jī)交互方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多媒體圖像處理技術(shù)領(lǐng)域，尤其涉及的是一種基于參考區(qū)域和時(shí)域信息的人機(jī)交互方法及系統(tǒng)。
背景技術(shù)：
人機(jī)交互(Human-Computer hteraction，簡(jiǎn)寫(xiě)HCI)是實(shí)現(xiàn)人與計(jì)算系統(tǒng)進(jìn)行交交互。隨著計(jì)算機(jī)技術(shù)的迅猛發(fā)展，人與計(jì)算機(jī)的交互活動(dòng)逐漸成為人們?nèi)粘Ｉ畹囊粋€(gè)重要組成部分。鼠標(biāo)、鍵盤(pán)等傳統(tǒng)的人機(jī)交互設(shè)備在使用的自然性和友好性等方面都存在一定的局限性，因此研究符合人際交流習(xí)慣的人機(jī)交互技術(shù)成為了當(dāng)前的發(fā)展趨勢(shì)。以往的人機(jī)交互方式需要附加特定的傳感器，比如手柄，遙控器，數(shù)據(jù)手套。這種方式給用戶(hù)操作帶來(lái)了許多不方便。還有的人機(jī)交互方式通過(guò)人手手形檢測(cè)和跟蹤來(lái)完成，由于人手的活動(dòng)自由度很大，形狀變化大，因此在復(fù)雜的自然場(chǎng)景下檢測(cè)率不高。這樣的方法使得交互需要更多的時(shí)間負(fù)擔(dān)，難以滿(mǎn)足許多實(shí)時(shí)人機(jī)交互應(yīng)用的需求。因此，現(xiàn)有技術(shù)還有待于改進(jìn)和發(fā)展。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題在于，針對(duì)現(xiàn)有技術(shù)的上述缺陷，提供一種基于參考區(qū)域和時(shí)域信息的人機(jī)交互方法及系統(tǒng)，提供了一種基于計(jì)算機(jī)視覺(jué)的可包容更多人體動(dòng)作靈活性以及實(shí)時(shí)的人機(jī)交互方法，通過(guò)基于參考區(qū)域的選擇方法和時(shí)域信息處理就跳過(guò)了人手手形檢測(cè)和跟蹤，從而簡(jiǎn)化了處理過(guò)程，提高人機(jī)交互效率。本發(fā)明解決技術(shù)問(wèn)題所采用的技術(shù)方案如下
一種基于參考區(qū)域和時(shí)域信息的人機(jī)交互方法，其中，包括步驟
A、通過(guò)攝像頭采集人體圖像，以人臉為參照物體，采用參考區(qū)域自適應(yīng)選擇算法將參考區(qū)域自適應(yīng)地選擇在人臉區(qū)域側(cè)的某個(gè)區(qū)域，并獲取參考區(qū)域RGB彩色圖像；
B、獲取步驟A中參考區(qū)域RGB彩色圖像的相鄰幀差圖像；
C、根據(jù)步驟B獲取的相鄰幀差圖像計(jì)算二維空間參考區(qū)域內(nèi)人體的運(yùn)動(dòng)特征，通過(guò)計(jì)算參考區(qū)域RGB彩色圖像在某時(shí)域內(nèi)的運(yùn)動(dòng)特征，并計(jì)算出時(shí)域運(yùn)動(dòng)特征向量；
D、將步驟C中計(jì)算出的運(yùn)動(dòng)特征向量與預(yù)定動(dòng)作類(lèi)型模版特征庫(kù)中的動(dòng)作類(lèi)型模版進(jìn)行特征比對(duì)，計(jì)算運(yùn)動(dòng)特征向量與動(dòng)作類(lèi)型模版的相似度；
E、根據(jù)步驟D計(jì)算相似度獲得的結(jié)果對(duì)參考區(qū)域內(nèi)的人體運(yùn)動(dòng)進(jìn)行判斷，最后輸出動(dòng)作事件標(biāo)準(zhǔn)數(shù)據(jù)，供外層應(yīng)用程序調(diào)用。所述基于參考區(qū)域和時(shí)域信息的人機(jī)交互方法，其中，所述步驟A具體包括如下步驟
Al、計(jì)算通過(guò)攝像頭采集到的人體圖像的積分圖，提取該人體圖像的類(lèi)矩形特征，根據(jù)預(yù)定的分類(lèi)器特征庫(kù)，運(yùn)行cascade級(jí)聯(lián)的方法在該人體圖像中搜索人臉區(qū)域；
A2、以人臉為參照物體，采用參考區(qū)域自適應(yīng)選擇算法將參考區(qū)域自適應(yīng)地選擇在人臉區(qū)域側(cè)的某個(gè)區(qū)域，計(jì)算參考區(qū)域RGB彩色圖像的位置及大小 P{U',G',W',H') = ^,g,w,M),其中、P是包含參考區(qū)域RGB彩色圖像中心點(diǎn)橫坐標(biāo)、縱坐
標(biāo)、寬度和高度的向量，T是映射函數(shù)，自變量Ag，分別表示輸入人臉區(qū)域的中心位置橫坐標(biāo)、縱坐標(biāo)、寬度和高度。所述基于參考區(qū)域和時(shí)域信息的人機(jī)交互方法，其中，所述步驟Al中的預(yù)定的分類(lèi)器特征庫(kù)包括如下步驟
All、計(jì)算所述人體圖像的積分圖，提取所述人體圖像的類(lèi)矩形特征； A12、根據(jù)Adaboost算法篩選有效的特征，構(gòu)成弱分類(lèi)器； A13、通過(guò)組合多個(gè)弱分類(lèi)器，構(gòu)成強(qiáng)分類(lèi)器； A14、級(jí)聯(lián)多個(gè)強(qiáng)分類(lèi)器，形成人臉檢測(cè)的分類(lèi)器特征庫(kù)。所述基于參考區(qū)域和時(shí)域信息的人機(jī)交互方法，其中，所述步驟B具體包括如下步驟
Bi、將所述參考區(qū)域RGB彩色圖像通過(guò)如下公式
權(quán)利要求
1.一種基于參考區(qū)域和時(shí)域信息的人機(jī)交互方法，其特征在于，包括步驟A、通過(guò)攝像頭采集人體圖像，以人臉為參照物體，采用參考區(qū)域自適應(yīng)選擇算法將參考區(qū)域自適應(yīng)地選擇在人臉區(qū)域側(cè)的某個(gè)區(qū)域，并獲取參考區(qū)域RGB彩色圖像；B、獲取步驟A中參考區(qū)域RGB彩色圖像的相鄰幀差圖像；C、根據(jù)步驟B獲取的相鄰幀差圖像計(jì)算二維空間參考區(qū)域內(nèi)人體的運(yùn)動(dòng)特征，通過(guò)計(jì)算參考區(qū)域RGB彩色圖像在某時(shí)域內(nèi)的運(yùn)動(dòng)特征，計(jì)算出時(shí)域運(yùn)動(dòng)特征向量；D、將步驟C中計(jì)算出的運(yùn)動(dòng)特征向量與預(yù)定動(dòng)作類(lèi)型模版特征庫(kù)中的動(dòng)作類(lèi)型模版進(jìn)行特征比對(duì)，計(jì)算運(yùn)動(dòng)特征向量與動(dòng)作類(lèi)型模版的相似度；E、根據(jù)步驟D計(jì)算相似度獲得的結(jié)果對(duì)參考區(qū)域內(nèi)的人體運(yùn)動(dòng)進(jìn)行判斷，最后輸出動(dòng)作事件標(biāo)準(zhǔn)數(shù)據(jù)，供外層應(yīng)用程序調(diào)用。
2.根據(jù)權(quán)利要求1所述基于參考區(qū)域和時(shí)域信息的人機(jī)交互方法，其特征在于，所述步驟A具體包括如下步驟Al、計(jì)算通過(guò)攝像頭采集到的人體圖像的積分圖，提取該人體圖像的類(lèi)矩形特征，根據(jù)預(yù)定的分類(lèi)器特征庫(kù)，運(yùn)行cascade級(jí)聯(lián)的方法在該人體圖像中搜索人臉區(qū)域；A2、以人臉為參照物體，采用參考區(qū)域自適應(yīng)選擇算法將參考區(qū)域自適應(yīng)地選擇在人臉區(qū)域側(cè)的某個(gè)區(qū)域，計(jì)算參考區(qū)域RGB彩色圖像的位置及大小
3.根據(jù)權(quán)利要求2所述基于參考區(qū)域和時(shí)域信息的人機(jī)交互方法，其特征在于，所述步驟Al中的預(yù)定的分類(lèi)器特征庫(kù)包括如下步驟All、計(jì)算所述人體圖像的積分圖，提取所述人體圖像的類(lèi)矩形特征；A12、根據(jù)Adaboost算法篩選有效的特征，構(gòu)成弱分類(lèi)器；A13、通過(guò)組合多個(gè)弱分類(lèi)器，構(gòu)成強(qiáng)分類(lèi)器；A14、級(jí)聯(lián)多個(gè)強(qiáng)分類(lèi)器，形成人臉檢測(cè)的分類(lèi)器特征庫(kù)。
4.根據(jù)權(quán)利要求1所述基于參考區(qū)域和時(shí)域信息的人機(jī)交互方法，其特征在于，所述步驟B具體包括如下步驟Bi、將所述參考區(qū)域RGB彩色圖像通過(guò)如下公式
5.根據(jù)權(quán)利要求4所述基于參考區(qū)域和時(shí)域信息的人機(jī)交互方法，其特征在于，所述步驟C中的統(tǒng)計(jì)二維空間運(yùn)動(dòng)特征具體包括C11、根據(jù)步驟B2中相鄰幀差圖像所述運(yùn)動(dòng)變化值計(jì)算運(yùn)動(dòng)點(diǎn)個(gè)數(shù)，計(jì)算公式為
6.根據(jù)權(quán)利要求5所述基于參考區(qū)域和時(shí)域信息的人機(jī)交互方法，其特征在于，所述步驟D包括D1、預(yù)定義K個(gè)動(dòng)作類(lèi)型模版Ti,其中i=ll，i為自然數(shù)；D2、利用絕對(duì)值距離來(lái)計(jì)算步驟C14得到的運(yùn)動(dòng)特征向量V與動(dòng)作類(lèi)型模版T的相似 ^Si = Simikmfy(TiJr)；D3、如果
7. 一種基于參考區(qū)域和時(shí)域信息的人機(jī)交互系統(tǒng)，其特征在于，包括 參考區(qū)域圖像獲取模塊，用于通過(guò)攝像頭采集人體圖像，以人臉為參照物體，采用參考區(qū)域自適應(yīng)選擇算法將參考區(qū)域自適應(yīng)地選擇在人臉周?chē)哪硞€(gè)區(qū)域，以獲取參考區(qū)域 RGB彩色圖像；相鄰幀差獲取模塊，用于獲取所述參考區(qū)域RGB彩色圖像的相鄰幀差圖像； 統(tǒng)計(jì)與計(jì)算模塊，用于根據(jù)獲取的相鄰幀差圖像計(jì)算二維空間參考區(qū)域內(nèi)人體的運(yùn)動(dòng)特征，通過(guò)計(jì)算參考區(qū)域RGB彩色圖像在某時(shí)域內(nèi)的運(yùn)動(dòng)特征，并計(jì)算出時(shí)域運(yùn)動(dòng)特征向量；特征對(duì)比模塊，用于將所計(jì)算出的運(yùn)動(dòng)特征向量與預(yù)定動(dòng)作類(lèi)型模版特征庫(kù)中的動(dòng)作類(lèi)型模版進(jìn)行特征比對(duì)，計(jì)算運(yùn)動(dòng)特征向量與動(dòng)作類(lèi)型模版的相似度；輸出模塊，用于根據(jù)計(jì)算相似度獲得的結(jié)果對(duì)參考區(qū)域內(nèi)的人體運(yùn)動(dòng)進(jìn)行判斷，最后輸出動(dòng)作事件標(biāo)準(zhǔn)數(shù)據(jù)，供外層應(yīng)用程序調(diào)用。
8.根據(jù)權(quán)利要求7所述基于參考區(qū)域和時(shí)域信息的人機(jī)交互系統(tǒng)，其特征在于，所述參考區(qū)域圖像獲取模塊包括人臉?biāo)阉鲉卧?，用于?jì)算通過(guò)攝像頭采集到的人體圖像的積分圖，提取該人體圖像的類(lèi)矩形特征，根據(jù)預(yù)定的分類(lèi)器特征庫(kù)，運(yùn)行cascade級(jí)聯(lián)的方法在該人體圖像中搜索人臉區(qū)域；參考區(qū)域計(jì)算單元，用于以人臉為參照物體，采用參考區(qū)域自適應(yīng)選擇算法將參考區(qū)域自適應(yīng)地選擇在人臉周?chē)哪硞€(gè)區(qū)域，計(jì)算參考區(qū)域RGB彩色圖像的位置及大小P(lf，G\W'jt)=T(^g,wJi),其中、P是包含參考區(qū)域RGB彩色圖像中心點(diǎn)橫坐標(biāo)，縱坐標(biāo)，寬度，高度的向量，T是映射函數(shù)，自變量H風(fēng)A分別表示輸入人臉區(qū)域的中心位置橫坐標(biāo)，縱坐標(biāo)，寬度和高度。
9.根據(jù)權(quán)利要求7所述基于參考區(qū)域和時(shí)域信息的人機(jī)交互系統(tǒng)，其特征在于，所述相鄰幀差獲取模塊包括灰度處理單元，用于將所述參考區(qū)域RGB彩色圖像通過(guò)如下公式進(jìn)行灰度化處理；其中χ、y為所述參考區(qū)域RGB彩色圖像中任意像素點(diǎn)的橫坐標(biāo)和縱坐標(biāo)，f (χ，y)表示灰度圖像，其值在(Γ255之間；相鄰幀差圖像獲取單元，用于通過(guò)公式
全文摘要
本發(fā)明公開(kāi)了一種基于參考區(qū)域和時(shí)域信息的人機(jī)交互方法及系統(tǒng)。該方法獲取參考區(qū)域RGB彩色圖像，獲取相鄰幀差圖像，統(tǒng)計(jì)二維空間運(yùn)動(dòng)特征，統(tǒng)計(jì)時(shí)域運(yùn)動(dòng)特征，將計(jì)算出的運(yùn)動(dòng)特征向量與預(yù)定動(dòng)作類(lèi)型模版特征庫(kù)中的動(dòng)作類(lèi)型模版進(jìn)行特征比對(duì)，計(jì)算運(yùn)動(dòng)特征向量與動(dòng)作類(lèi)型模版的相似度。根據(jù)計(jì)算相似度獲得的結(jié)果對(duì)參考區(qū)域內(nèi)的人體運(yùn)動(dòng)進(jìn)行判斷，最后輸出動(dòng)作事件標(biāo)準(zhǔn)數(shù)據(jù)，供外層應(yīng)用程序調(diào)用，簡(jiǎn)化了處理過(guò)程，提高了處理速度。本發(fā)明包含的自適應(yīng)區(qū)域選擇算法，減少了對(duì)人機(jī)交互動(dòng)作設(shè)計(jì)的約束，提高了人體動(dòng)作靈活性，包容更多更方便的人機(jī)交互動(dòng)作的類(lèi)型。
文檔編號(hào)G06K9/62GK102436301SQ20111023967
公開(kāi)日2012年5月2日 申請(qǐng)日期2011年8月20日 優(yōu)先權(quán)日2011年8月20日
發(fā)明者譚文偉 申請(qǐng)人:Tcl集團(tuán)股份有限公司