為pm!、pm2、pm3和pm4,貝抽此得至Ij的左手 的動作名稱和位置包括："揮"（位置Pm 1)推"（位置pm2)拉"（位置pm3)空"（位置 "pm4"）。需要注意到是，在不同實施例中，？!11 4可能是真實位置值，也可能是"空"或"+m" 等。
[0075] 由此，通過步驟四一至步驟四四的處理，能夠得到使用者每只手對應(yīng)的多個動作 名稱（作為該只手的動作名稱，也就是說，該只手的動作名稱），且每個動作名稱分別關(guān)聯(lián) 有一個平均位置（作為該只手的位置，"該只手的位置"中包括一個或多個平均位置，數(shù)量與 動作名稱的數(shù)量相同）。相比于單單識別單個動作作為手勢的識別技術(shù)來說，上述處理所識 別的雙手各自的多個動作和位置，提供了更靈活的組合方式，一方面使得手勢的識別精度 更高，另一方面使得能夠識別的手勢更多樣、豐富。
[0076] 然后，在步驟五中，在預(yù)設(shè)手勢表中選擇與使用者雙手的動作名稱和位置相匹配 的手勢，作為已識別手勢，即使用者的手勢。
[0077] 根據(jù)一種實現(xiàn)方式，可以通過如圖4所示的步驟五一和步驟五二來實現(xiàn)步驟五的 處理。
[0078] 如圖4所示，步驟五一、預(yù)定義一個從兩只手動作和位置兩個要素到手勢的映射 列表作為預(yù)設(shè)手勢表：每個映射的左端是一組動作名稱對及每個動作名稱對的位置；每個 映射的右端是一個手勢HandSignal。然后，執(zhí)行步驟五二。
[0079] 其中，"一組動作名稱對"包括多個動作名稱對，每個動作名稱對包括左手動作名 稱ActName lf3fJP右手動作名稱ActName "ght，每個動作名稱對的位置包括兩只手的相對位 置。
[0080] 例如，在預(yù)設(shè)手勢表中，映射一為{( "拉"，"空"拉"，"拉"空"，"合"）、 ("空"，"空"）}(作為要素一）、{(Xl，yi)，（x2, y2)，（x3, y3)，（x4, y4)}(相對位置，作為要 素二）到手勢"開關(guān)"的映射；映射二為{( "拉"，"拉"）、（"張"，"張"）、（"空"，"空"）、 ("空"，"空"）}、{(x5，y 5)，（x6，y6)，（x7，y7)，（x s，ys)}到手勢"爆炸"的映射；等等。其中， 每個動作對（如（"拉"，"空"））中左邊的動作名稱對應(yīng)于左手動作，而右邊的動作名稱對 應(yīng)于右手動作。
[0081] 以映射一為例，（X1, Y1)表不的是左手第一個動作"拉"與右手第一個動作"空"之 間的相對位置（即動作對（"拉"，"空"）中左手動作和右手動作對應(yīng)的兩只手的相對位 置）；(χ 2, y2)表示的是左手第二個動作"拉"與右手第二個動作"拉"之間的相對位置；(χ3， y 3)表示的是左手第三個動作"空"與右手第三個動作"合"之間的相對位置；而（χ4, y4)表 示的是左手第四個動作"空"與右手第四個動作"空"之間的相對位置。其他映射中的表述 意義與此類似，不再贅述。
[0082] 在步驟五二中，將預(yù)設(shè)手勢表中的每個映射的左端與使用者雙手的動作名稱和位 置進行匹配，以將與使用者雙手動作名稱和位置匹配的手勢作為已識別手勢。
[0083] 其中，動作名稱的匹配執(zhí)行嚴(yán)格匹配，也即，在兩個動作名稱之間一字不差的情況 下判定這兩個動作名稱是匹配的；而位置則是通過使用者雙手各自的平均位置計算得到相 對位置信息，進而計算該相對位置信息與映射左端的位置之間的相似度來實現(xiàn)的（如可以 設(shè)定一個相似度閾值，當(dāng)計算的相似度大于或等于該相似度閾值時判定位置是匹配的）。
[0084] 例如，假設(shè)通過步驟四得到使用者雙手各自的動作名稱為{( "拉"，"拉")、（"張"， "張 "空"，"空"空"，"空"）}，位置為{(xn，y12)、（x21，y 22)、（x31，y32)、（x41，y42) (對應(yīng)左手）；（X' n，y' 12)、（X' 21，y' 22)、（X' 31，y' 32)、（X' 41，y' 42)(對應(yīng)左手）}。
[0085] 然后，將使用者雙手的動作名稱與預(yù)設(shè)手勢表中的每個映射的左端進行匹配。
[0086] 當(dāng)與映射一進行匹配時，可以得出，使用者雙手的動作名稱與映射一的左端的動 作名稱不匹配，因此忽略映射一，繼續(xù)匹配映射二。
[0087] 當(dāng)與映射二進行匹配時，可以得出，使用者雙手的動作名稱與映射二的左端的動 作名稱完全匹配，然后再將使用者雙手的位置與映射二的左端的相對位置進行匹配。
[0088] 在將使用者雙手的位置與映射二的左端的相對位置進行匹配的過程中，首先計算 使用者雙手的相對位置如下：{(X ll_Xll，y 12_yi2)、（X 21_X21，y 22_y22)、（X 31_X31，y 32_y32)、 (x' 41-X41，y' 42-y42)(對應(yīng)左手）}。然后，將計算得到的使用者雙手的上述相對位置與映射 二左端的相對位置{(x 5, y5)，（x6, y6)，（x7, y7)，（x8, y8)}進行匹配，也即，計算{(X' H-X11, y 12_y"l2)、（X 2「X21，y 22_y"22)、（X 3「X31，y 32_y"32)、（X 4「X41，y 42_y"42)(對應(yīng)左手）}與 {(叉5,75)，（叉6,76)，（叉 7,77)，（叉8,78)}之間的相似度，假設(shè)計算得到的相似度為95%。在該 例子中，設(shè)相似度閾值為80%，于是判定計算得到的使用者雙手的相對位置與映射二左端 的相對位置是匹配的。由此，在該例子中，人機交互的結(jié)果為"爆炸"。
[0089] 以上步驟五一和步驟五二，通過雙手各自的多個動作和位置與預(yù)定手勢表之間的 匹配，來確定使用者的手勢，識別的精度較高；當(dāng)根據(jù)不同應(yīng)用場景需要改變（例如修改、 增加或減少等）對手勢的定義時，不需要修改算法或重新訓(xùn)練分類器，可以僅通過調(diào)整預(yù) 定手勢表中的手勢名稱或者手勢對應(yīng)的動作名稱等方式來實現(xiàn)對手勢定義的改變，大大提 高了算法的適應(yīng)性。
[0090] 接著，在步驟六中，根據(jù)預(yù)設(shè)操作指令表，確定與步驟五中已識別手勢對應(yīng)的操作 指令。
[0091] 例如，可以建立一個手勢名稱和操作指令之間的一個映射關(guān)系表，作為上述預(yù)設(shè) 操作指令表。該預(yù)設(shè)操作指令表包括多個映射，每個映射的左邊為一個預(yù)設(shè)手勢的名稱，而 右邊為與該預(yù)設(shè)手勢對應(yīng)的操作指令（比如用于移動計算設(shè)備圖形界面操作的基本操作 指令，例如焦點移動、點擊、雙擊、點擊拖動、放大、縮小、旋轉(zhuǎn)、長觸等）。由此，通過查表操作 即可獲得與步驟五中的已識別手勢HandSignal對應(yīng)的那個操作指令OptCom。
[0092] 然后，在步驟七中，對與確定的操作指令相關(guān)的設(shè)備進行與該操作指令對應(yīng)的操 作。
[0093] 由此，將確定的操作指令發(fā)送到相關(guān)設(shè)備，能夠?qū)崿F(xiàn)對諸如移動計算設(shè)備的相關(guān) 設(shè)備的擬人化、自然化、非接觸的操作與控制。
[0094] 此外，根據(jù)其他一種實現(xiàn)方式，上述人機交互方法還可以包括如下的步驟八：將使 用者每只手的位置傳遞給設(shè)備，以基于使用者每只手的位置在設(shè)備的屏幕上顯示使用者手 部的半透明簡化手部模擬圖形。
[0095] 例如，可以通過圖5所示的步驟八一至步驟八三來實現(xiàn)步驟八的處理：步驟八一、 根據(jù)使用者每只手在待測圖像序列的每幀圖像中對應(yīng)的待測特征點序列（例如每幀圖像 中每只手的20個特征點），通過連接骨骼后外延得到該只手的外輪廓圖形，作為該只手的 模擬圖形；步驟八二、通過對使用者雙手的相對位置進行平移校準(zhǔn)和比例縮放，確定使用者 的每只手在所述屏幕中的顯示位置；步驟八三、基于使用者每只手的模擬圖形和顯示位置 來在屏幕中顯示使用者手部的模擬圖形。
[0096] 由此，可以通過在移動計算設(shè)備的屏幕上顯示半透明的手部圖形來給用戶提供視 覺反饋，并幫助用戶調(diào)整手部位置和操作。需要說明的是，在"通過對使用者雙手的相對位 置進行平移校準(zhǔn)和比例縮放"的步驟中，如果已識別手勢中只包含使用者的單只手，則不存 在相對位置（或者相對位置被記為無窮大），此時，可以在一個指定的初始位置顯示對應(yīng)的 單只手。此外，在"基于使用者每只手的模擬圖形和顯示位置來在屏幕中顯示使用者手部的 模擬圖形"的步驟中，已識別手勢中包括雙手，則顯示雙手的模擬圖形；若已識別手勢僅包 含單只手，則僅顯示該只手的模擬圖形。
[0097] 例如，在實際應(yīng)用中，可以將本發(fā)明的上述技術(shù)應(yīng)用于平板電腦或筆記本電腦，實 現(xiàn)非接觸式的手勢操作。在該應(yīng)用場景中，深度攝像頭安裝于平板電腦或筆記本電腦屏幕 上方，正對使用者，使用者抬起雙手置于屏幕前，做出相關(guān)手勢操作，即可：1、替代實體鼠標(biāo) 實現(xiàn)鼠標(biāo)光標(biāo)的移動及點擊操作；2、在游戲或相關(guān)軟件操作中通過手勢實現(xiàn)場景導(dǎo)航，以 及對象的縮放、旋轉(zhuǎn)、