一種手勢(shì)識(shí)別裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及信號(hào)處理技術(shù)，尤其涉及一種手勢(shì)識(shí)別裝置。
【背景技術(shù)】
[0002] 隨著科學(xué)技術(shù)的發(fā)展，諸如筆記本電腦、手機(jī)、平板電腦等的電子設(shè)備逐漸具有越 來(lái)越多的功能，而手勢(shì)識(shí)別正是這諸多功能之一。
[0003]目前，現(xiàn)有的手勢(shì)識(shí)別技術(shù)的識(shí)別處理過(guò)程利用的算法較為復(fù)雜，不僅耗費(fèi)時(shí)間， 而且由此識(shí)別手勢(shì)的精度較低、準(zhǔn)確度較差。此外，基于模式識(shí)別的現(xiàn)有手勢(shì)識(shí)別技術(shù)的實(shí) 時(shí)性較差，不適合即時(shí)交互需求的場(chǎng)合。

【發(fā)明內(nèi)容】

[0004] 在下文中給出了關(guān)于本發(fā)明的簡(jiǎn)要概述，以便提供關(guān)于本發(fā)明的某些方面的基本 理解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的 關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡(jiǎn)化的形式給出某些概 念，以此作為稍后論述的更詳細(xì)描述的前序。
[0005] 鑒于此，本發(fā)明提供了一種手勢(shì)識(shí)別裝置，以至少解決現(xiàn)有的手勢(shì)識(shí)別技術(shù)所存 在的手勢(shì)識(shí)別精度低、準(zhǔn)確度差的問(wèn)題。
[0006] 根據(jù)本發(fā)明的一個(gè)方面，提供了一種手勢(shì)識(shí)別裝置，手勢(shì)識(shí)別裝置包括：圖像獲取 單元，其用于獲取含有深度信息的使用者手部的待測(cè)圖像序列；輪廓檢測(cè)單元，其用于根據(jù) 圖像深度信息和圖像顏色信息，在待測(cè)圖像序列的每幀圖像中檢測(cè)出使用者的手部輪廓； 特征點(diǎn)序列確定單元，其用于針對(duì)使用者的每只手，利用預(yù)設(shè)的手部結(jié)構(gòu)模板，在待測(cè)圖像 序列的每幀圖像中確定該只手的待測(cè)特征點(diǎn)序列；動(dòng)作識(shí)別單元，其用于針對(duì)使用者的每 只手，在多個(gè)預(yù)設(shè)特征點(diǎn)序列中確定該只手的待測(cè)特征點(diǎn)序列的匹配序列，以根據(jù)匹配序 列確定該只手的動(dòng)作名稱和位置；手勢(shì)確定單元，其用于在預(yù)設(shè)手勢(shì)表中選擇與使用者雙 手的動(dòng)作名稱和位置相匹配的手勢(shì)，作為待測(cè)圖像序列的手勢(shì)識(shí)別結(jié)果。
[0007] 進(jìn)一步地，特征點(diǎn)序列確定單元包括：模板存儲(chǔ)子單元，其用于存儲(chǔ)預(yù)設(shè)的手部結(jié) 構(gòu)模板；模板匹配子單元，其用于針對(duì)使用者的每只手，利用手部結(jié)構(gòu)模板，在待測(cè)圖像序 列的每幀圖像的手部輪廓中確定該只手的預(yù)定數(shù)目個(gè)特征點(diǎn)；序列生成子單元，其用于針 對(duì)使用者的每只手，利用該只手在待測(cè)圖像序列的各幀圖像中對(duì)應(yīng)的預(yù)定數(shù)目個(gè)特征點(diǎn)， 獲得該只手的待測(cè)特征點(diǎn)序列。
[0008] 進(jìn)一步地，模板匹配子單元包括：定位基點(diǎn)確定模塊，其用于針對(duì)待測(cè)圖像序列的 每幀圖像，根據(jù)該圖像中的輪廓線的曲率找到該輪廓線中的指尖點(diǎn)和指根關(guān)節(jié)點(diǎn)，以將指 尖點(diǎn)作為定位基點(diǎn)；縮放基準(zhǔn)確定模塊，其用于針對(duì)定位基點(diǎn)確定模塊處理后的每幀圖像， 基于該幀圖像中已找到的定位基點(diǎn)，匹配每個(gè)單指的指根關(guān)節(jié)點(diǎn)，得到各單指的長(zhǎng)度來(lái)作 為尺度縮放的基準(zhǔn)；縮放及形變模塊，其用于針對(duì)縮放基準(zhǔn)確定模塊處理后的每幀圖像，基 于已找到的指尖點(diǎn)和指根關(guān)節(jié)點(diǎn)的位置以及各單指的長(zhǎng)度來(lái)對(duì)相應(yīng)的手部結(jié)構(gòu)模板進(jìn)行 縮放和形變，通過(guò)匹配得到每只手的各指關(guān)節(jié)特征點(diǎn)和手腕中點(diǎn)特征點(diǎn)；其中，模板存儲(chǔ)子 單元存儲(chǔ)的手部結(jié)構(gòu)模板包括左手結(jié)構(gòu)模板和右手結(jié)構(gòu)模板，左手結(jié)構(gòu)模板和右手結(jié)構(gòu)模 板各自包括：各手指的指尖特征點(diǎn)、各指關(guān)節(jié)特征點(diǎn)、各指根關(guān)節(jié)特征點(diǎn)、手腕中點(diǎn)特征點(diǎn) 以及各特征點(diǎn)之間的拓?fù)潢P(guān)系。
[0009] 進(jìn)一步地，圖像獲取單元用于：通過(guò)捕獲預(yù)定成像區(qū)域內(nèi)的使用者手部的圖像，獲 得可見光圖像序列丨C(Xj)丨和紅外圖像序列丨，4(x,W為可見光圖像序列第i幀 圖像坐標(biāo)（x，y)處的像素值，而/丨(W)為紅外圖像序列第i幀圖像坐標(biāo)（x，y)處的像素值， 根據(jù)如下公式獲得抽取使用者雙手信息的圖像序列：
[0011] 其中，a、0、A為預(yù)設(shè)參數(shù)閾值，{/丨(X,州為獲取的含有深度信息的使用者雙手 的圖像序列，作為待測(cè)圖像序列，i= 1，2,…，M，M為待測(cè)圖像序列所包含的圖像幀數(shù)。
[0012] 進(jìn)一步地，輪廓檢測(cè)單元用于：針對(duì)待測(cè)圖像序列！Mx,J)}中的每幀圖像 ，結(jié)合顏色信息刪除該幀圖像斗(U)中的噪聲點(diǎn)及非膚色區(qū)域，利用邊緣檢測(cè)算 子E( ?)對(duì)刪除噪聲點(diǎn)和非膚色區(qū)域后所得到的圖像A(Xj)進(jìn)行邊緣檢測(cè)，得到邊緣圖像 : /^(x，_y) =EC^x,_>')），邊緣圖像A(U)即為僅包含使用者手部輪廓的圖像。
[0013] 進(jìn)一步地，動(dòng)作識(shí)別單元包括：分割子單元，其用于針對(duì)每只手的待測(cè)特征點(diǎn)序 列，根據(jù)預(yù)定時(shí)間窗將該待測(cè)特征點(diǎn)序列分割為多個(gè)子序列，并獲得每個(gè)子序列對(duì)應(yīng)的平 均位置；匹配序列確定子單元，其用于針對(duì)每只手對(duì)應(yīng)的每個(gè)子序列，將該子序列與多個(gè)預(yù) 設(shè)特征點(diǎn)序列中的每一個(gè)分別進(jìn)行匹配，在多個(gè)預(yù)設(shè)特征點(diǎn)序列中選擇與該子序列的匹配 程度高于預(yù)設(shè)的匹配閾值、并且最大的預(yù)設(shè)特征點(diǎn)序列，作為該子序列的匹配序列；關(guān)聯(lián) 子單元，其用于將每個(gè)子序列對(duì)應(yīng)的平均位置與該子序列的匹配序列對(duì)應(yīng)的動(dòng)作名稱相關(guān) 聯(lián)；動(dòng)作名稱確定子單元，針對(duì)每只手，將該只手對(duì)應(yīng)的各子序列的匹配序列作為該只手 對(duì)應(yīng)的多個(gè)匹配序列，并將該多個(gè)匹配序列各自對(duì)應(yīng)的動(dòng)作名稱作為該只手的多個(gè)動(dòng)作名 稱。
[0014] 進(jìn)一步地，手勢(shì)確定單元包括：手勢(shì)表存儲(chǔ)子單元，其用于存儲(chǔ)如下映射列表來(lái)作 為預(yù)設(shè)手勢(shì)表：該映射列表中的每個(gè)映射的左端是一組動(dòng)作名稱對(duì)及每個(gè)動(dòng)作名稱對(duì)的位 置；該映射列表中的每個(gè)映射的右端是一個(gè)手勢(shì)；手勢(shì)表匹配子單元，其用于將預(yù)設(shè)手勢(shì) 表中的每個(gè)映射的左端與使用者雙手的動(dòng)作名稱和位置進(jìn)行匹配，其中，動(dòng)作名稱的匹配 執(zhí)行嚴(yán)格匹配，而位置則是通過(guò)使用者雙手各自的平均位置計(jì)算得到相對(duì)位置信息，進(jìn)而 計(jì)算該相對(duì)位置信息與映射左端的位置之間的相似度來(lái)實(shí)現(xiàn)的。
[0015] 上述根據(jù)本發(fā)明實(shí)施例的手勢(shì)識(shí)別裝置，采用先識(shí)別單手動(dòng)作、再進(jìn)而通過(guò)雙手 動(dòng)作識(shí)別手勢(shì)的方式來(lái)實(shí)現(xiàn)，能夠準(zhǔn)確識(shí)別使用者的手勢(shì)，識(shí)別精度較高，而且識(shí)別速度較 快。
[0016] 本發(fā)明的上述手勢(shì)識(shí)別裝置采用層次化設(shè)計(jì)算法，算法復(fù)雜度低，便于實(shí)現(xiàn)。
[0017] 此外，應(yīng)用本發(fā)明的上述手勢(shì)識(shí)別裝置，當(dāng)需要改變（例如修改、增加或減少等） 對(duì)動(dòng)作和/或手勢(shì)的定義時(shí)，可以僅通過(guò)調(diào)整模板（即，通過(guò)修改預(yù)設(shè)特征點(diǎn)序列對(duì)應(yīng)的動(dòng) 作名稱來(lái)改變動(dòng)作的定義，通過(guò)增加或減少預(yù)設(shè)特征點(diǎn)序列及其對(duì)應(yīng)動(dòng)作名稱來(lái)增、減動(dòng) 作）以及預(yù)設(shè)手勢(shì)表（即，通過(guò)修改預(yù)設(shè)手勢(shì)表中手勢(shì)對(duì)應(yīng)的多個(gè)動(dòng)作來(lái)改變手勢(shì)的定義， 通過(guò)增加或減少預(yù)設(shè)手勢(shì)表中的手勢(shì)及其對(duì)應(yīng)動(dòng)作來(lái)增、減手勢(shì)），而不需改變算法或者重 新訓(xùn)練分類器，大大提高了算法的適應(yīng)性。
[0018] 此外，本發(fā)明的上述手勢(shì)識(shí)別裝置的實(shí)時(shí)性強(qiáng)，能夠適合即時(shí)交互需求的場(chǎng)合。
[0019] 通過(guò)以下結(jié)合附圖對(duì)本發(fā)明的最佳實(shí)施例的詳細(xì)說(shuō)明，本發(fā)明的這些以及其他優(yōu) 點(diǎn)將更加明顯。
【附圖說(shuō)明】
[0020] 本發(fā)明可以通過(guò)參考下文中結(jié)合附圖所給出的描述而得到更好的理解，其中在所 有附圖中使用了相同或相似的附圖標(biāo)記來(lái)表示相同或者相似的部件。所述附圖連同下面的 詳細(xì)說(shuō)明一起包含在本說(shuō)明書中并且形成本說(shuō)明書的一部分，而且用來(lái)進(jìn)一步舉例說(shuō)明本 發(fā)明的優(yōu)選實(shí)施例和解釋本發(fā)明的原理和優(yōu)點(diǎn)。在附圖中：
[0021] 圖1是示出本發(fā)明的手勢(shì)識(shí)別裝置的一個(gè)示例的結(jié)構(gòu)示意圖；
[0022] 圖2是示出圖1中的特征點(diǎn)序列確定單元130的一個(gè)示例的結(jié)構(gòu)示意圖；
[0023] 圖3是示出圖2中的模板匹配子單元220的一個(gè)示例的結(jié)構(gòu)示意圖；
[0024] 圖4是示出圖1中的動(dòng)作識(shí)別單元140的一個(gè)示例的結(jié)構(gòu)示意圖；
[0025] 圖5是示出圖1中的手勢(shì)確定單元150的一個(gè)示例的結(jié)構(gòu)示意圖。
[0026] 本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，附圖中的元件僅僅是為了簡(jiǎn)單和清楚起見而示出的， 而且不一定是按比例繪制的。例如，附圖中某些元件的尺寸可能相對(duì)于其他元件放大了，以 便有助于提高對(duì)本發(fā)明實(shí)施例的理解。
【具體實(shí)施方式】
[0027] 在下文中將結(jié)合附圖對(duì)本發(fā)明的示范性實(shí)施例進(jìn)行描述。為了清楚和簡(jiǎn)明起見， 在說(shuō)明書中并未描述實(shí)際實(shí)施方式的所有特征。然而，應(yīng)該了解，在開發(fā)任何這種實(shí)際實(shí)施 例的過(guò)程中必須做出很多特定于實(shí)施方式的決定，以便實(shí)現(xiàn)開發(fā)人員的具體目標(biāo)，例如，符 合與系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件，并且這些限制條件可能會(huì)隨著實(shí)施方式的不同而有 所改變。此外，還應(yīng)該了解，雖然開發(fā)工作有可能是非常復(fù)雜和費(fèi)時(shí)的，但對(duì)得益于本公開 內(nèi)容的本領(lǐng)域技術(shù)人員來(lái)說(shuō)，這種開發(fā)工作僅僅是例行的任務(wù)。
[0028] 在此，還需要說(shuō)明的一點(diǎn)是，為了避免因不必要的細(xì)節(jié)而模糊了本發(fā)明，在附圖中 僅僅示出了與根據(jù)本發(fā)明的方案密切相關(guān)的裝置結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明 關(guān)系不大的其他細(xì)節(jié)。
[0029] 本發(fā)明的實(shí)施例提供了一種手勢(shì)識(shí)別裝置，該手勢(shì)識(shí)別裝置包括：圖像獲取單元， 其用于獲取含有深度信息的使用者手部的待測(cè)圖像序列；輪廓檢測(cè)單元，其用于根據(jù)圖像 深度信息和圖像顏色信息，在待測(cè)圖像序列的每幀圖像中檢測(cè)出使用者的手部輪廓；特征 點(diǎn)序列確定單元，其用于針對(duì)使用者的每只手，利用預(yù)設(shè)的手部結(jié)構(gòu)模板，在待測(cè)圖像序列 的每幀圖像中確定該只手的待測(cè)特征點(diǎn)序列；動(dòng)作識(shí)別單元，其用于針對(duì)使用者的每只手， 在多個(gè)預(yù)設(shè)特征點(diǎn)序列中確定該只手的待測(cè)特征點(diǎn)序列的匹配序列，以根據(jù)匹配序列確定 該只手的動(dòng)作名稱和位置；手勢(shì)確定單元，其用于在預(yù)設(shè)手勢(shì)表中選擇與使用者雙手的動(dòng) 作名稱和位置相匹配的手勢(shì)，作為待測(cè)圖像序列的手勢(shì)識(shí)別結(jié)果。
[0030] 圖1示出了本發(fā)明的手勢(shì)識(shí)別裝置的一個(gè)示例的結(jié)構(gòu)示意圖。如圖1所示，手勢(shì) 識(shí)別裝置100包