一種面向用戶心理模型表達的三維手勢交互方法
【技術領域】
[0001] 本發(fā)明涉及一種面向用戶心理模型表達的三維手勢交互方法。
【背景技術】
[0002] 自然人機交互是利用人的日常技能進行的，強調(diào)無需特別訓練或不需要訓練。在 基于人臉、頭部、手臂、人手、人眼以及整個人體的輸入方式中，由于在通信和操作中的靈巧 性，人手是最有效、用途最多的輸入工具。手勢是一種自然、直觀、易于學習的人機交互手 段，以人手直接作為計算機的輸入方式，人機間的通訊將不再需要中間媒體，用戶可以簡單 地定義一種適當?shù)氖謩輥韺χ車臋C器進行控制；手勢是人與人之間的一種非口頭交流形 式，它包括從用手指示方向和移動物體的簡單動作到能夠表達感情以及允許彼此交流的復 雜手勢?？紤]到人們擁有做手勢的大量經(jīng)驗知識，如果人們能夠把這些技能從日常的經(jīng)驗 中轉(zhuǎn)換過來并用在人機交互方面，就可以期盼直觀的、操作簡便的、功能強大的人機接口。 手勢交互運用手勢來表達交互意圖，其中包含了大量的信息和符合人的心理模型。與傳統(tǒng) 的交互方式相比，手勢交互可以使用戶擺脫鼠標和鍵盤束縛。目前，手勢交互正向著自然、 直接、舒適和智能化的趨勢發(fā)展。運動風格是個人習慣、生活背景和主觀情緒等綜合因素 的表現(xiàn)形式，是運動的高層屬性。由于用戶間的差異性，會出現(xiàn)不同的運動風格。Urtasun 等人將速度看作是運動的風格，特定的個體進行參數(shù)化的位移活動，并使用主成分分析 (Principal component analysis, PCA)系數(shù)合成多種風格的行走運動，包括跑步、跳躍和 行走動作等。Amaya等人認為運動風格表現(xiàn)在速度和步幅上，提出一種情感動畫模型，這 種方法可以計算特定的情感變換，并將變換后的情感模型應用到中性動作上，是動作具有 特定的情感表現(xiàn)形式，對其進行參數(shù)化并修改，以得到不同風格化的運動序列。Rose等人 提出了一種利用基本動作的進行插值合成方法?；緞幼鱽碜赃\動捕捉或通過傳統(tǒng)的動 畫制作工具生成，將描述行為動作的副詞看作風格信息，并使用徑向基函數(shù)（radial basis function，RBF)實現(xiàn)種風格間的平滑切換。參數(shù)化插值方法對所需的數(shù)據(jù)規(guī)模要求較高， 所需的動作樣本數(shù)據(jù)個數(shù)隨控制參數(shù)的維數(shù)增長而急劇增長。Xia等人將風格看作用戶自 定義參數(shù)所張成的連續(xù)空間，并構建了一個層次化模型來刻畫同樣內(nèi)容、同樣風格的運動 之間的細微差異。藍榮祎和孫懷江提出一種基于重構式獨立成分分析（Reconstructive independent component analysis, RICA)的運動風格分析方法，該方法能夠有效地分析出 行走、跳躍和踢腿等運動中代表風格的獨立成分，并根據(jù)用戶對風格的編輯，實時地生成 自然、平滑的運動。De Lasa等人從物理學角度建立了人體運動風格模型，將風格定義為質(zhì) 心、角動量等物理參數(shù)，通過調(diào)整這些物理參數(shù)并優(yōu)化相應的目標函數(shù)生成風格不同的運 動.吳小毛等人通過將運動風格傳輸問題表達為對運動統(tǒng)計量的概率分布的傳輸問題，提 出了一個實時、方便的人體運動風格傳輸算法。算法運行速度快，占用內(nèi)存少，非常適合于 實時的場合。本文的運動風格主要表現(xiàn)在為運動速度、運動軌跡和運動方向的不同。對人 手運動風格的研究主要借助人體運動自動生成特定的手勢動作。Majkowska等人為了減少 的運動數(shù)據(jù)樣本規(guī)模，提出了運動拼接技術（Motion Splicing or Composition),將人體 劃分為不同的身體部位，如上半身和下半身，軀干和手臂等，不同身體部位的動作姿態(tài)基于 不同的運動數(shù)據(jù)生成。JSrg等人通過查找人體和手指運動數(shù)據(jù)庫，自動在人體動作上添加 手指動作，生成交談、討論和指揮等類型的手勢。這種通過人體大范圍運動自動合成手勢運 動的方法，沒有考慮實際人手運動速度。Oshita等人提出一種從人體運動生成手勢動作的 方法，假定人體運動可以估計人手狀態(tài)。利用支持向量機（SVM)從四種可能的關鍵手勢中 選擇一種。訓練模型由一系列包含人手狀態(tài)關鍵幀的人體運動組成，輸出連續(xù)的手部動作。 Wheatland等人通過少量標記捕捉手勢動作從視頻中生成反應人手運動風格的手勢動畫， 利用主成分分析方法從手勢庫中生成復雜的手勢動作。馬萬里等人對運動數(shù)據(jù)進行主旋轉(zhuǎn) 分析，提取運動內(nèi)容和風格，動態(tài)構建風格圖，根據(jù)風格圖生成風格可控的運動。Huang等人 建立運動圖模型，圖中每個結(jié)點代表上肢運動關鍵幀，每條邊代表一段運動序列，通過識別 關鍵幀，遍歷圖結(jié)點，進行上肢運動速度控制，這種方法，可以控制人體上肢運動速度，但存 在一定延時。
[0003] 在三維交互過程中不同用戶的手勢具有不同的運動風格，無論是不同的操作者做 同一種運動還是同一個操作者重復一種運動，都存在差異性。目前有關手勢風格的關注并 藉此表達用戶心理模型（Mental Model)的研究尚不多見。利用手勢動畫庫實現(xiàn)基于手勢 輸入的三維自然交互界面，是實現(xiàn)快速、魯棒人機交互的重要途徑之一。從手勢庫中檢索出 的手勢動畫，可能僅僅意味著它與用戶的實際手勢語義具有一致性，但它與用戶手勢的運 動方向、運動速度等運動風格可能很有差異，怎樣獲取施加于動畫手勢的數(shù)學變換，使得變 換后的手勢動畫與用戶的運動風格一致，并實時顯示，順利完成人機交互任務，是要解決的 核心問題。

【發(fā)明內(nèi)容】

[0004] 為解決以上技術上的不足，本發(fā)明提供了一種降低用戶的認知負荷，改善用戶的 交互體驗的面向用戶心理模型表達的三維手勢交互方法。
[0005] 本發(fā)明是通過以下措施實現(xiàn)的：
[0006] 本發(fā)明的一種面向用戶心理模型表達的三維手勢交互方法，包括以下步驟：
[0007] 步驟1，在計算機中建立三維虛擬手勢模型，并構建虛擬場景，在虛擬場景中搭建 人機交互平臺，實驗者利用攝像頭、數(shù)據(jù)手套和位置跟蹤儀進行包含人手初次平移、抓取物 體、再次平移、釋放物體四個階段的人機交互實驗；
[0008] 步驟2,統(tǒng)計步驟1中人機交互實驗中關于手勢姿態(tài)、平移速度、平移視角、運動軌 跡以及抓取和釋放物體的實驗數(shù)據(jù)，分階段建立人手的抓取和釋放物體模型、平移速度模 型、人手運動軌跡模型和觀察視角模型；
[0009] 步驟3,將步驟2分析出的人手抓取和釋放物體模型、平移速度模型、人手運動軌 跡模型和觀察視角模型應用到三維虛擬手勢模型中，通過三維虛擬手勢模型表達人手運動 風格。
[0010] 在步驟2中，人手在抓取和釋放物體階段，人手的關節(jié)角度變化量與對應的人手 面積變化量之間的關系近似高斯曲線和拋物線，利用高斯曲線和二次多項式進行擬合，人 手抓取和釋放物體模型的表達式：
[0013] 其中，apbpCpmpnpkpPpqjPI r ;是第i個自由度擬合系數(shù)，x是人手面積變化 量，Y1是第i個自由度變化量。
[0014] 在步驟2中，人手初次平移和再次平移階段，手勢平移速度t是橫向速度和縱向 速度的疊加，其中手勢質(zhì)心速度V h表示橫向速度，手勢包圍盒速度V ￥表示縱向速度；
[0015] 手勢包圍盒速度Vv表示為：
[0017] 其中，VdP Vh*別表示為手勢包圍盒水平速度和手勢包圍盒垂直速度；
[0018] 手勢平移速度模型表示為：
[0020] 其中，Vh和別表示為手勢質(zhì)心速度和包圍盒速度。
[0021] 在步驟2中，手勢平移的過程中，選用Berizer曲線對用戶的平移軌跡進行曲線擬 合，采用三次Berizer曲線生成光滑軌跡曲線，從始點到終點的人手軌跡模型表示為：
[0022] P(t) = (l-t)3P〇+3t (1-0^+3^(1-^?^?
[0023] 其中，P。是軌跡的始點，P 3是軌跡的終點，P JP P 2是介于P。和P 3之間的控制點。
[0024] 上述在三維手勢交互過程中，平移視角確定時，假設視點到目標物體的距離不變， 并且視點沿球面運動，若物體的中心位置〇(x〇, y〇, z0)，則視點A(x，y，z)的觀察視角模型 表示為：
[0025]
[0026] 其中r、Θ和φ是球面的參數(shù)方程系數(shù)(〇魂泣π，〇3φ3π)。
[0027] 本發(fā)明的有益效果是：本發(fā)明將基于行為模型的手勢風格算法運用到自然交互界 面的設計中，表達用戶的心理模型，降低用戶的認知負荷，改善用戶的交互體驗。而且采用 本發(fā)明的方法，在人機交互界面中手勢表達簡單、自然，符合人類交流的習慣，體現(xiàn)了一種 自然的和常見的表達方式。
【具體實施方式】
[0028] 為體現(xiàn)用戶的不同運動風格，本發(fā)明從速度、軌跡和視角三個方面提出一種基于 單目視覺的人手運動風格表達算法。首先，建立交互實驗平臺，利用攝像頭、數(shù)據(jù)手套和位 置跟蹤儀，建立手勢行為模型；其次，根據(jù)行為模型，分階段建立人手運動的速度、軌跡和視 角模型。最后，通過手勢圖像和運動模型，獲得人手運動風格，使三維虛擬手勢運動風格與 實際人手運動風格保持一致，并實時顯示，從而順利完成和諧、自然、方便的人機交互任務。
[0029]
[0030] 首先在計算機中建立三維虛擬手勢模型，并構建虛擬場景，在虛擬場景中搭建人 機交互平臺，實驗者利用攝像頭、數(shù)據(jù)手套和位置跟蹤儀進行包含人手初次平移、抓取物 體、再次平移、釋放物體四個階段的人機交互實驗。
[0031] 為了獲取手勢圖像與關節(jié)角度數(shù)據(jù)，建立基于數(shù)據(jù)手套、位置跟蹤儀和普通USB 攝像頭的虛擬平臺。手勢交互過程是由一個一個的基本操作完成的，這些基本操作包括 "抓"、"放"、"平移"等。把這些基本操作的一般數(shù)學表達稱為手勢行為模型。在交互過程 中，屏幕上出現(xiàn)與操作者手勢亦步亦趨的三維手勢動畫模型，該3D手勢動畫模型的顯示方 式就是手勢風格問題。
[0032] 根據(jù)人手在運動過程中不同的運動形式，將行為模型分為四個階段，其中第一階 段是初次平移階段，人手由初始位置移動到物體位置；第二階段是抓取物體階段，人手抓取 物體；第三階段是再次平移階段，人手抓取物體后，由物體位置移動到目標位置；第四階 段是釋放物體階段，人手在目標位置將物體放下。在平移階段，手掌平移運動，手指關節(jié)角 度幾乎不變。在抓取和釋放階段，手指關節(jié)角度發(fā)生變化，手掌幾乎不動。在每個階段，人 手的表達風格不同。在平移階段，主要表達軌跡、視角和平移速度風格，在抓取階段，主要表 達人手抓取物體的速度風格，在釋放階段，主要表達人手釋放物體的速度風格。
[0033] -、建立手勢平移速度模型。人手初次平移和再次平移階段，手勢平移速度t是 橫向速