度和縱向速度的疊加，其中手勢質(zhì)心速度V h表示橫向速度，手勢包圍盒速度V v表示 縱向速度；
[0034] 手勢包圍盒速度Vv表示為：
[0036] 其中，VdP Vh*別表示為手勢包圍盒水平速度和手勢包圍盒垂直速度；
[0037] 手勢平移速度模型表示為：
[0039] 其中，Vh和別表示為手勢質(zhì)心速度和包圍盒速度。
[0040] 二、建立人手抓取和釋放物體模型。
[0041] 人手在抓取和釋放物體階段，人手的關(guān)節(jié)角度變化量與對應(yīng)的人手面積變化量之 間的關(guān)系近似高斯曲線和拋物線，利用高斯曲線和二次多項式進行擬合，人手抓取和釋放 物體模型的表達式：
[0042] 抓取階段：
[0043] 釋放階段 J1= p y+qj+A ④
[0044] 其中，apbpCpm^npkpPpqdP r ;是第i個自由度擬合系數(shù)，X是人手面積變化 量，Y1是第i個自由度變化量。
[0045] 選取人手抓取和釋放物體過程中的任意時刻t，t>0時，計算t時刻的人手面積與 初始時刻人手面積的變化量X (t)，并帶入步驟2中的數(shù)學(xué)表達式內(nèi)計算出人手關(guān)節(jié)角度變 化量y (t)，結(jié)合初始時刻的人手關(guān)節(jié)角度值，得出t時刻的人手關(guān)節(jié)角度值，并作為自由度 參數(shù)實時輸入給三維虛擬手勢模型。
[0046] 三、建立人手軌跡模型。
[0047] 勢在抓取物體完成后，下一步就是要將物體移動到目標位置，如果操作者的實際 手勢是線性的，但其心理模型可能是非線性的。為此，本文采用曲線軌跡表達操作者的直線 平移運動。在手勢平移的過程中，不同用戶從始點到終點軌跡會出現(xiàn)差異，為了表現(xiàn)出用戶 軌跡的不同，我們對用戶的軌跡進行曲線擬合。我們希望軌跡具有1、總體形狀和起伏劇烈 程度可控，2、經(jīng)過始點和終點，3、曲線光滑，4、形狀隨機的特點。因此，選用Berizer曲線進 行曲線擬合。理論上講，如果有n+1個控制點，可以選用η次Berizer曲線進行擬合。但是， 高次Berizer曲線的計算量比較大，而且階次越高，曲線在局部偏離控制點越遠。所以，采 用三次Berizer曲線生成光滑軌跡曲線。從始點到終點的人手軌跡模型表示為：
[0048] P(t) = (l-t)3P〇+3t (1-0^+3^(1-^?^? ⑤
[0049] 其中，P。是軌跡的始點，P 3是軌跡的終點，P JP P 2是介于P。和P 3之間的控制點。
[0050] 四、建立觀察視角模型。
[0051] 在三維手勢交互過程中，平移視角確定時，假設(shè)視點到目標物體的距離不變，并且 視點沿球面運動，若物體的中心位置〇(x〇, y〇, z〇)，則視點A(X，y，z)的觀察視角模型表示 為：
[0053] 其中r、Θ和φ是球面的參數(shù)方程系數(shù)(0:_?θ$2π，
[0054] 在平移階段，主要表達軌跡、視角和平移速度風格。具體為：
[0055] (1)利用膚色分割算法找出所有膚色區(qū)域，去除小塊類膚色區(qū)域，獲得手勢區(qū)域， 得到人手的最小包圍盒和重心坐標；
[0056] (2)根據(jù)平移速度模型，計算包圍盒水平速度和垂直速度，根據(jù)公式①得到手勢包 圍盒速度，然后計算手勢質(zhì)心運動速度，根據(jù)公式②得到人手平移速度V t。那么，三維手勢 的運動速度：Vti= a VT;其中，α為常量參數(shù)；
[0057] (3)手勢位置為始點，目標位置作為終點。在始點和終點之間隨機生成兩個控制 點，根據(jù)軌跡模型，通過四個控制點，根據(jù)公式⑤生成三次Berizer曲線，將這條曲線作為 手勢運動軌跡。三維手勢以速度V ti在軌跡方向上的運動。如果用戶對生成的軌跡不滿意， 用戶手勢可以靜止不動，延遲一定時間。隨后，系統(tǒng)會按照上述方法，自動生成另一條軌跡， 直到用戶滿意為止；
[0058] 手勢在平移過程中，用戶可以從不同的角度觀察場景中的物體。按照視角模型，本 文分為兩種視角變換，一種是平行于物體所在平面的視角轉(zhuǎn)換，另一種是垂直于物體所在 平面的視角轉(zhuǎn)換。
[0059] 手勢在抓取或釋放物體時，根據(jù)手勢圖像估計手勢運動速度。具體為：
[0060] (1)初始時刻t = t。時，計算分割后的人手初始面積S (t。)，此時，三維手勢各個自 由度為Θ i (t。）；
[0061] (2)任意時刻t>t。時，獲得手勢圖像面積S(t)，根據(jù)
，計算當前時 刻與初始時刻人手面積的變化量X (t);
[0062] (3)根據(jù)速度模型，計算時刻t手勢各個自由度變化量y (t);
[0063] (4)根據(jù)yi (t) = I Θ i⑴-Θ i (〇) I得到任意時刻t手勢自由度值Θ i⑴；
[0064] (5)更新，t - t+1。
[0065] 手勢表達簡單、自然，符合人類交流的習(xí)慣，是一種自然的和常見的表達方式。手 勢已成為自然交互界面設(shè)計中重要的輸入方式。本文將基于行為模型的手勢風格算法運用 到自然交互界面的設(shè)計中，表達用戶的心理模型，降低用戶的認知負荷，改善用戶的交互體 驗。
[0066] 具體步驟如下：
[0067] (1)自動初始化。利用基于認知行為模型的方法實現(xiàn)手勢模型自動初始化，記錄手 勢初始狀態(tài)；
[0068] (2)選擇對象。在三維場景中有多個物體，用"令牌環(huán)"技術(shù)從多個物體中選擇要 抓取的物體；
[0069] (3)生成軌跡。根據(jù)軌跡模型，從手勢位置到目標位置生成軌跡曲線；
[0070] (4)平移運動。計算手勢速度Ve，手勢以速度Ve沿軌跡運動。人手在平移過程中， 用戶可以從平行于物體所在平面或者垂直于物體所在平面觀察物體；
[0071] (5)抓取物體。在人手平移到目標物體位置處，進行碰撞檢測。如果人手掌心到目 標物體的距離小于一定閾值時，認為發(fā)生碰撞檢測。先進行手勢識別，然后抓取物體。在抓 取物體過程中，根據(jù)人手圖像面積估計抓取速度；
[0072] (6)生成軌跡。根據(jù)軌跡模型，從被抓物體位置到目標位置生成軌跡曲線；
[0073] (7)平移運動。計算手勢速度Vp人手和物體以速度Vt;沿軌跡運動。人手和物體 在平移過程中，用戶可以從平行于物體所在平面或者垂直于物體所在平面觀察被抓物體；
[0074] (8)釋放物體。在人手和物體平移到目標位置處，利用包圍盒技術(shù)實現(xiàn)碰撞檢測。 如果人手掌心到目標位置的距離小于一定閾值時，認為發(fā)生碰撞檢測，釋放物體。在釋放過 程中，根據(jù)人手圖像面積估計釋放速度；
[0075] (9)循環(huán)。如果場景中物體全部抓取完畢，則退出；否則，轉(zhuǎn)向步驟（2)。
[0076] 以上所述僅是本專利的優(yōu)選實施方式，應(yīng)當指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人 員來說，在不脫離本專利技術(shù)原理的前提下，還可以做出若干改進和替換，這些改進和替換 也應(yīng)視為本專利的保護范圍。
【主權(quán)項】
1. 一種面向用戶心理模型表達的三維手勢交互方法，其特征在于，包括以下步驟： 步驟1，在計算機中建立三維虛擬手勢模型，并構(gòu)建虛擬場景，在虛擬場景中搭建人機 交互平臺，實驗者利用攝像頭、數(shù)據(jù)手套和位置跟蹤儀進行包含人手初次平移、抓取物體、 再次平移、釋放物體四個階段的人機交互實驗； 步驟2,統(tǒng)計步驟1中人機交互實驗中關(guān)于手勢姿態(tài)、平移速度、平移視角、運動軌跡以 及抓取和釋放物體的實驗數(shù)據(jù)，分階段建立人手的抓取和釋放物體模型、平移速度模型、人 手運動軌跡模型和觀察視角模型； 步驟3,將步驟2分析出的人手抓取和釋放物體模型、平移速度模型、人手運動軌跡模 型和觀察視角模型應(yīng)用到三維虛擬手勢模型中，通過三維虛擬手勢模型表達人手運動風 格。2. 根據(jù)權(quán)利要求1所述面向用戶心理模型表達的三維手勢交互方法，其特征在于：在 步驟2中，人手在抓取和釋放物體階段，人手的關(guān)節(jié)角度變化量與對應(yīng)的人手面積變化量 之間的關(guān)系近似高斯曲線和拋物線，利用高斯曲線和二次多項式進行擬合，人手抓取和釋 放物體模型的表達式：釋放階段J1=PZ+qj+n 其中，a;、bpCpinpn;、kpPpqjPr;是第i個自由度擬合系數(shù)，X是人手面積變化量，Y1是第i個自由度變化量。3. 根據(jù)權(quán)利要求1所述面向用戶心理模型表達的三維手勢交互方法，其特征在于：在 步驟2中，人手初次平移和再次平移階段，手勢平移速度t是橫向速度和縱向速度的疊加， 其中手勢質(zhì)心速度Vh表示橫向速度，手勢包圍盒速度V￥表示縱向速度； 手勢包圍盒速度Vv表示為：其中，1和V別表示為手勢包圍盒水平速度和手勢包圍盒垂直速度； 手勢平移速度模型表示為：其中，％和VAv別表示為手勢質(zhì)心速度和包圍盒速度。4. 根據(jù)權(quán)利要求1所述面向用戶心理模型表達的三維手勢交互方法，其特征在于：在 步驟2中，手勢平移的過程中，選用Berizer曲線對用戶的平移軌跡進行曲線擬合，采用三 次Berizer曲線生成光滑軌跡曲線，從始點到終點的人手軌跡模型表示為： P(t) = (l-t)3P〇+3t(1-0^+3^(1-^?^? 其中，Pc是軌跡的始點，P3是軌跡的終點，P:和P2是介于Pc和P3之間的控制點。5. 根據(jù)權(quán)利要求1所述面向用戶心理模型表達的三維手勢交互方法，其特征在于：在 三維手勢交互過程中，平移視角確定時，假設(shè)視點到目標物體的距離不變，并且視點沿球面 運動，若物體的中心位置〇(x〇,y〇,z〇)，則視點A(x，y，z)的觀察視角模型表示為：
【專利摘要】本發(fā)明的面向用戶心理模型表達的三維手勢交互方法，從速度、軌跡和視角三個方面提出一種基于單目視覺的人手運動風格表達算法。首先，建立交互實驗平臺，利用攝像頭、數(shù)據(jù)手套和位置跟蹤儀，建立手勢行為模型；其次，根據(jù)行為模型，分階段建立人手運動的速度、軌跡和視角模型。最后，通過手勢圖像和運動模型，獲得人手運動風格，使三維虛擬手勢運動風格與實際人手運動風格保持一致，并實時顯示，從而順利完成和諧、自然、方便的人機交互任務(wù)。本發(fā)明的有益效果是：本發(fā)明將基于行為模型的手勢風格算法運用到自然交互界面的設(shè)計中，表達用戶的心理模型，降低用戶的認知負荷，改善用戶的交互體驗。
【IPC分類】G06F3/01, G06K9/00
【公開號】CN105045373
【申請?zhí)枴緾N201510136561
【發(fā)明人】馮志全, 黃忠柱
【申請人】濟南大學(xué)
【公開日】2015年11月11日
【申請日】2015年3月26日