一種手勢(shì)識(shí)別方法，裝置和頭戴式可視設(shè)備的制造方法
【專(zhuān)利摘要】本發(fā)明涉及虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)，公開(kāi)了一種基于頭戴式可視設(shè)備的手勢(shì)識(shí)別方法，裝置和一種頭戴式可視設(shè)備，其中所述方法包括：獲取第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息；根據(jù)所述第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第一夾角；獲取第一角度信息，根據(jù)所述第一角度信息得到第一姿態(tài)角；獲取第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息；根據(jù)所述第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第二夾角；獲取第二角度信息，根據(jù)所述第二角度信息得到第二姿態(tài)角；得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度；根據(jù)所述目標(biāo)物體角度和預(yù)設(shè)的手勢(shì)識(shí)別算法得到手勢(shì)信息。使用本發(fā)明，可以解決因?yàn)樵O(shè)備轉(zhuǎn)動(dòng)造成的手勢(shì)識(shí)別錯(cuò)誤的問(wèn)題，提高手勢(shì)識(shí)別的準(zhǔn)確度。
【專(zhuān)利說(shuō)明】
一種手勢(shì)識(shí)別方法，裝置和頭戴式可視設(shè)備
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及虛擬現(xiàn)實(shí)(Virtual Reality，VR)和增強(qiáng)現(xiàn)實(shí)(Augmented Reality,AR)技術(shù)，具體涉及一種手勢(shì)識(shí)別方法，裝置和頭戴式可視設(shè)備。
【背景技術(shù)】
[0002]虛擬現(xiàn)實(shí)(VirtualReality，VR)和增強(qiáng)現(xiàn)實(shí)(Augmented Reality ,AR)技術(shù)是近年來(lái)新興的多媒體技術(shù)。虛擬現(xiàn)實(shí)技術(shù)是一種可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng)，增強(qiáng)現(xiàn)實(shí)技術(shù)是一種可以將虛擬現(xiàn)實(shí)和真實(shí)世界疊加并進(jìn)行互動(dòng)的技術(shù)。在VR或AR場(chǎng)景中，使用者通常佩戴一種頭戴式可視設(shè)備(Head Mounted Display ,HMD)，HMD設(shè)備由集成的圖形系統(tǒng)、光學(xué)系統(tǒng)和姿態(tài)追蹤系統(tǒng)組成，可以為設(shè)備的使用者提供一種可交互的沉浸式體驗(yàn)。HMD通常是用眼罩或頭盔的形式，把顯示屏貼近用戶(hù)的眼睛，通過(guò)光路調(diào)整焦距以在近距離中對(duì)眼睛投射畫(huà)面。頭戴式顯示器能以比普通顯示器小的多的體積產(chǎn)生一個(gè)廣視角的畫(huà)面，通常視角都會(huì)超過(guò)90度。
[0003]在VR或AR場(chǎng)景中，當(dāng)使用者戴上HMD設(shè)備之后，看不到真實(shí)世界中的手柄、觸摸板等常見(jiàn)的交互物體，一般都是使用手勢(shì)來(lái)操控HMD設(shè)備。
[0004]目前手勢(shì)識(shí)別主要依賴(lài)于紅外攝像頭、深度攝像頭、或雙目攝像頭。攝像頭用于采集設(shè)備使用者的手部特征，然后將攝像頭采集到的手部中心位置的軌跡變化信息，輸送給識(shí)別算法軟件來(lái)識(shí)別出相應(yīng)的手勢(shì)動(dòng)作(例如:左劃、右劃、上劃、下劃、前推等)。
[0005]在HMD的應(yīng)用中，為減少連接線纜，可在頭盔上內(nèi)置攝像頭，當(dāng)用戶(hù)的手在HMD設(shè)備的正前方揮動(dòng)時(shí)，內(nèi)置攝像頭即可隨時(shí)獲取手部的位置信息。通過(guò)不斷的采集，獲取完整的手部運(yùn)動(dòng)軌跡數(shù)據(jù)。然后HMD設(shè)備里的識(shí)別算法根據(jù)這些軌跡數(shù)據(jù)識(shí)別出具體的手勢(shì)動(dòng)作，再將識(shí)別結(jié)果輸送給人機(jī)交互模塊完成交互。
[0006]如圖1所示，HMD設(shè)備內(nèi)置攝像頭，攝像頭通過(guò)不斷的采集手部位置坐標(biāo)，得到連續(xù)的手勢(shì)軌跡，根據(jù)手勢(shì)識(shí)別算法對(duì)得到的手部位置坐標(biāo)進(jìn)行處理，得到手勢(shì)動(dòng)作信息，手勢(shì)動(dòng)作信息指示出一個(gè)上劃的手勢(shì)動(dòng)作，再將此手勢(shì)動(dòng)作信息傳送給人機(jī)交互模塊，即完成了基于手勢(shì)識(shí)別的人機(jī)交互。
[0007]現(xiàn)有技術(shù)的主要缺點(diǎn)是，在HMD應(yīng)用中不能很準(zhǔn)確的得到手部的真實(shí)運(yùn)動(dòng)軌跡。因?yàn)樵贖MD應(yīng)用中，攝像頭會(huì)隨著頭部的轉(zhuǎn)動(dòng)而轉(zhuǎn)動(dòng)，因此攝像獲取的軌跡不僅僅是手部運(yùn)動(dòng)軌跡，而是手部與攝像頭之間的相對(duì)運(yùn)動(dòng)軌跡。所以會(huì)造成以下問(wèn)題:
[0008]當(dāng)使用者的手部處于靜止?fàn)顟B(tài)時(shí)，若使用者的頭部轉(zhuǎn)動(dòng)，內(nèi)置攝像頭跟手部產(chǎn)生相對(duì)運(yùn)動(dòng)，如圖2。因此即使手部靜止，攝像頭獲取的數(shù)據(jù)也存在相對(duì)運(yùn)動(dòng)的軌跡。此時(shí)HMD設(shè)備會(huì)錯(cuò)誤的認(rèn)為手部有一個(gè)劃動(dòng)的動(dòng)作。
[0009]另外，當(dāng)使用者的手部做一個(gè)手勢(shì)動(dòng)作時(shí)，若使用者的頭部也轉(zhuǎn)動(dòng)，則內(nèi)置攝像頭獲取的相對(duì)運(yùn)動(dòng)軌跡與手部真實(shí)運(yùn)動(dòng)軌跡之間存在較大的差別，因此容易導(dǎo)致錯(cuò)誤的手勢(shì)識(shí)別，降低識(shí)別率。

【發(fā)明內(nèi)容】

[0010]為解決上述問(wèn)題，提供手勢(shì)識(shí)別的準(zhǔn)確率，本發(fā)明第一方面的實(shí)施例提供了一種基于頭戴式可視設(shè)備的手勢(shì)識(shí)別方法，所述方法包括:獲取第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述目標(biāo)物體坐標(biāo)信息表示目標(biāo)物體在所述頭戴式可視設(shè)備的采集坐標(biāo)系中的二維坐標(biāo);根據(jù)所述第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第一夾角；獲取所述頭戴式可視設(shè)備在所述第一時(shí)間點(diǎn)的第一角度信息，根據(jù)所述第一角度信息得到第一姿態(tài)角;獲取第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述第二時(shí)間點(diǎn)在所述第一時(shí)間點(diǎn)之后，所述第二時(shí)間點(diǎn)與所述第一時(shí)間點(diǎn)相差一個(gè)采樣間隔;根據(jù)所述第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第二夾角；獲取所述頭戴式可視設(shè)備在所述第二時(shí)間點(diǎn)的第二角度信息，根據(jù)所述第二角度信息得到第二姿態(tài)角;根據(jù)所述第一夾角，所述第二夾角，所述第一姿態(tài)角和所述第二姿態(tài)角得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度;根據(jù)所述目標(biāo)物體角度和預(yù)設(shè)的手勢(shì)識(shí)別算法得到手勢(shì)信息。
[0011]在本發(fā)明的實(shí)施例中，可以計(jì)算多個(gè)時(shí)刻的目標(biāo)物體角度，根據(jù)多個(gè)目標(biāo)物體角度得到手勢(shì)信息。
[0012]在本發(fā)明的實(shí)施例中，將目標(biāo)物體角度轉(zhuǎn)換成目標(biāo)物體位置坐標(biāo)，用于預(yù)設(shè)的手勢(shì)識(shí)別算法進(jìn)行運(yùn)算。
[0013]在本發(fā)明的實(shí)施例中，預(yù)設(shè)的手勢(shì)識(shí)別算法可以采用現(xiàn)有技術(shù)中的算法，例如可以采用模板匹配(OpenCV采用)、隱馬爾可夫模型(HMM)、深度學(xué)習(xí)等方式。本發(fā)明對(duì)此不做具體的限制。本發(fā)明并不涉及手勢(shì)識(shí)別算法的改進(jìn)。
[0014]在本發(fā)明的實(shí)施例中，第一時(shí)間點(diǎn)和第二時(shí)間點(diǎn)是采集設(shè)備采集目標(biāo)物體坐標(biāo)信息的時(shí)間點(diǎn)，例如，第一時(shí)間點(diǎn)可以是1.01秒，第二時(shí)間點(diǎn)可以是1.03秒，第一時(shí)間點(diǎn)和第二時(shí)間點(diǎn)相差一個(gè)采樣間隔。采樣間隔為采集設(shè)備采集數(shù)據(jù)幀的時(shí)間間隔。
[0015]在本發(fā)明的實(shí)施例中，目標(biāo)物體坐標(biāo)信息是目標(biāo)物體(例如:使用者的手部)在所述頭戴式可視設(shè)備的采集坐標(biāo)系中的坐標(biāo)，采集坐標(biāo)系是三維坐標(biāo)系，如圖11所示，使用者的手部在XY平面揮動(dòng)，得到(x，y)坐標(biāo)，攝像頭在Z軸上。XY平面即是攝像頭的采集面，XYZ軸的交叉點(diǎn)為原點(diǎn)，即是攝像頭的采集面的中心點(diǎn)。
[0016]在本發(fā)明的實(shí)施例中，可以由頭戴式可視設(shè)備的慣性測(cè)量單元獲取第一角度信息，慣性測(cè)量單元通常為3軸陀螺儀，或3軸陀螺儀加3軸加速計(jì)。
[0017]在本發(fā)明的實(shí)施例中，姿態(tài)角為頭戴式可視設(shè)備在三維坐標(biāo)系的角度。如圖12所示，攝像頭若在YZ平面轉(zhuǎn)動(dòng)，得到與Y軸的夾角ΦΥ;如圖12所示，攝像頭若在XZ平面轉(zhuǎn)動(dòng)，得到與X軸的夾角ΦΧ。實(shí)際上攝像頭會(huì)同時(shí)在YZ平面和XZ平面轉(zhuǎn)動(dòng)，因此得到(ΦΧ，ΦΥ)即為設(shè)備的姿態(tài)角。
[0018]在本發(fā)明第一方面實(shí)施例的第一種可能的方式中，所述根據(jù)所述第一夾角，所述第二夾角，所述第一姿態(tài)角和所述第二姿態(tài)角得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度，包括:根據(jù)所述第一夾角和所述第二夾角得到夾角差;根據(jù)所述第一姿態(tài)角和所述第二姿態(tài)角得到姿態(tài)角差;根據(jù)所述夾角差和所述姿態(tài)角差得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度。
[0019]結(jié)合本發(fā)明第一方面實(shí)施例第一種可能的方式的本發(fā)明第一方面實(shí)施例的第二種可能的方式中，所述根據(jù)所述第一夾角和所述第二夾角得到夾角差，包括:所述夾角差等于所述第二夾角減所述第一夾角。
[0020]在本發(fā)明第一方面實(shí)施例的一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述第一姿態(tài)角和所述第二姿態(tài)角得到姿態(tài)角差，包括:所述姿態(tài)角差等于所述第二姿態(tài)角減所述第一姿態(tài)角。
[0021]本發(fā)明第二方面的實(shí)施例公開(kāi)了一種基于頭戴式可視設(shè)備的手勢(shì)識(shí)別裝置，所述裝置包括:坐標(biāo)信息獲取模塊，用于獲取第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述目標(biāo)物體坐標(biāo)信息表示目標(biāo)物體在所述頭戴式可視設(shè)備的采集坐標(biāo)系中的二維坐標(biāo);計(jì)算模塊，用于根據(jù)所述第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第一夾角；角度信息獲取模塊，用于獲取所述頭戴式可視設(shè)備在所述第一時(shí)間點(diǎn)的第一角度信息，根據(jù)所述第一角度信息得到第一姿態(tài)角;所述坐標(biāo)信息獲取模塊還用于獲取第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述第二時(shí)間點(diǎn)在所述第一時(shí)間點(diǎn)之后，所述第二時(shí)間點(diǎn)與所述第一時(shí)間點(diǎn)相差一個(gè)采樣間隔；所述計(jì)算模塊還用于根據(jù)所述第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第二夾角;所述角度信息獲取模塊還用于獲取所述頭戴式可視設(shè)備在所述第二時(shí)間點(diǎn)的第二角度信息，根據(jù)所述第二角度信息得到第二姿態(tài)角；目標(biāo)物體角度模塊，用于根據(jù)所述第一夾角，所述第二夾角，所述第一姿態(tài)角和所述第二姿態(tài)角得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度;手勢(shì)識(shí)別模塊，用于根據(jù)所述目標(biāo)物體角度和預(yù)設(shè)的手勢(shì)識(shí)別算法得到手勢(shì)信息。
[0022]在本發(fā)明第二方面實(shí)施例的一種可能的方式中，所述目標(biāo)物體角度模塊用于:根據(jù)所述第一夾角和所述第二夾角得到夾角差;根據(jù)所述第一姿態(tài)角和所述第二姿態(tài)角得到姿態(tài)角差;根據(jù)所述夾角差和所述姿態(tài)角差得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度。
[0023]在本發(fā)明第二方面實(shí)施例的一種可能的方式中，所述根據(jù)所述第一夾角和所述第二夾角得到夾角差，包括:所述夾角差等于所述第二夾角減所述第一夾角。
[0024]在本發(fā)明第二方面實(shí)施例的一種可能的方式中，所述根據(jù)所述第一姿態(tài)角和所述第二姿態(tài)角得到姿態(tài)角差，包括:所述姿態(tài)角差等于所述第二姿態(tài)角減所述第一姿態(tài)角。
[0025]本發(fā)明第三方面實(shí)施例公開(kāi)了一種頭戴式可視設(shè)備，所述設(shè)備包括:攝像頭，用于獲取第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述目標(biāo)物體坐標(biāo)信息表示目標(biāo)物體在所述頭戴式可視設(shè)備的采集坐標(biāo)系中的二維坐標(biāo);處理器，用于根據(jù)所述第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第一夾角；慣性測(cè)量單元，用于獲取所述頭戴式可視設(shè)備在所述第一時(shí)間點(diǎn)的第一角度信息;所述處理器還用于根據(jù)所述第一角度信息得到第一姿態(tài)角;所述攝像頭還用于獲取第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述第二時(shí)間點(diǎn)在所述第一時(shí)間點(diǎn)之后，所述第二時(shí)間點(diǎn)與所述第一時(shí)間點(diǎn)相差一個(gè)采樣間隔；所述處理器還用于根據(jù)所述第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第二夾角;所述慣性測(cè)量單元還用于獲取所述頭戴式可視設(shè)備在所述第二時(shí)間點(diǎn)的第二角度信息;所述處理器還用于，根據(jù)所述第二角度信息得到第二姿態(tài)角，根據(jù)所述第一夾角，所述第二夾角，所述第一姿態(tài)角和所述第二姿態(tài)角得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度，根據(jù)所述目標(biāo)物體角度和預(yù)設(shè)的手勢(shì)識(shí)別算法得到手勢(shì)信息。
[0026]在本發(fā)明第三方面實(shí)施例的一種可能的方式中，所述處理器用于:根據(jù)所述第一夾角和所述第二夾角得到夾角差;根據(jù)所述第一姿態(tài)角和所述第二姿態(tài)角得到姿態(tài)角差；根據(jù)所述夾角差和所述姿態(tài)角差得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度。
[0027]在本發(fā)明第三方面實(shí)施例的一種可能的方式中，所述根據(jù)所述第一夾角和所述第二夾角得到夾角差，包括:所述夾角差等于所述第二夾角減所述第一夾角。
[0028]在本發(fā)明第三方面實(shí)施例的一種可能的方式中，所述根據(jù)所述第一姿態(tài)角和所述第二姿態(tài)角得到姿態(tài)角差，包括:所述姿態(tài)角差等于所述第二姿態(tài)角減所述第一姿態(tài)角。
[0029]從本發(fā)明實(shí)施例提供的以上技術(shù)方案可以看出，由于本發(fā)明實(shí)施例在判斷手勢(shì)移動(dòng)角度時(shí)，同時(shí)考慮了設(shè)備轉(zhuǎn)動(dòng)產(chǎn)生的偏差，并對(duì)該偏差對(duì)手勢(shì)移動(dòng)角度造成的誤差進(jìn)行了糾正，從而使得手勢(shì)移動(dòng)角度的判斷更加準(zhǔn)確，提高了手勢(shì)識(shí)別準(zhǔn)確率。
【附圖說(shuō)明】
[0030]為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0031]圖1為現(xiàn)有技術(shù)中頭戴式可視設(shè)備的手勢(shì)交互處理示意圖。
[0032]圖2為現(xiàn)有技術(shù)中頭戴式可是設(shè)備的另一手勢(shì)交互處理示意圖。
[0033]圖3為本發(fā)明實(shí)施例的一種頭戴式可視設(shè)備的結(jié)構(gòu)示意圖。
[0034]圖4為本發(fā)明實(shí)施例的基于頭戴式可視設(shè)備的手勢(shì)識(shí)別方法的流程圖。
[0035]圖5為本發(fā)明實(shí)施例的校正手勢(shì)軌跡的流程圖。
[0036]圖6為本發(fā)明實(shí)施例的基于頭戴式可視設(shè)備的手勢(shì)識(shí)別裝置的結(jié)構(gòu)圖。
[0037]圖7為本發(fā)明實(shí)施例的一種頭戴式可視設(shè)備的示意圖。
[0038]圖8為本發(fā)明實(shí)施例的TO時(shí)刻夾角和姿態(tài)角的示意圖。
[0039]圖9為本發(fā)明實(shí)施例的Tl時(shí)刻夾角和姿態(tài)角的示意圖。
[0040]圖10為本發(fā)明實(shí)施例的校正后的手勢(shì)運(yùn)動(dòng)軌跡的示意圖。
[0041]圖11為本發(fā)明實(shí)施例的目標(biāo)物體在所述頭戴式可視設(shè)備的采集坐標(biāo)系中的二維坐標(biāo)的示意圖。
[0042]圖12為本發(fā)明實(shí)施例的頭戴式可視設(shè)備的姿態(tài)角的示意圖。
【具體實(shí)施方式】
[0043]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0044]本發(fā)明實(shí)施例提供的一種基于頭戴式可視(Head Mounted Display ,HMD)設(shè)備的手勢(shì)識(shí)別方法，裝置和一種頭戴式可視設(shè)備。本實(shí)施例的應(yīng)用場(chǎng)景可以與【背景技術(shù)】中的應(yīng)用場(chǎng)景相同。
[0045]下面結(jié)合圖3描述本發(fā)明實(shí)施例的一種HMD設(shè)備的結(jié)構(gòu)。如圖3所示，HMD設(shè)備30主要由慣性測(cè)量單元(Inertial Measurement Unit，IMU)31、攝像頭單元32、控制單元33、主機(jī)34、顯示單元35，及音頻單元36組成。
[0046]慣性測(cè)量單元31通常為3軸陀螺儀，或3軸陀螺儀加3軸加速計(jì)，用于獲取HMD設(shè)備的方位信息。
[0047]攝像頭單元32用于采集使用者的手勢(shì)信息，還可以用于采集HMD應(yīng)用環(huán)境中的其它信息，例如周?chē)矬w信息，物體運(yùn)動(dòng)狀態(tài)信息等。在本發(fā)明的一個(gè)實(shí)施例中，手勢(shì)信息包括使用者手部的位置信息和深度信息。
[0048]控制單元33用于獲取使用者的交互指令。
[0049]主機(jī)34是處理器的一種實(shí)現(xiàn)方式，包括CPU(中央處理單元)和GPU(圖像處理單元)等。
[0050]在本發(fā)明的一個(gè)實(shí)施例中，主機(jī)也可以只包括CPU。主機(jī)34還可以包括內(nèi)存以及各類(lèi)媒體處理軟件，如運(yùn)動(dòng)跟蹤、手勢(shì)識(shí)別算法、人機(jī)交互、渲染顯示、音頻處理等;在本發(fā)明的一個(gè)實(shí)施例中，運(yùn)動(dòng)跟蹤、手勢(shì)識(shí)別算法、人機(jī)交互、渲染顯示、音頻處理等在CPU上執(zhí)行。
[0051]顯示單元35通常包括顯示屏以及配套的光學(xué)器件，用于內(nèi)容顯示。根據(jù)使用者不同的交互方式，顯示單元35可以將相應(yīng)的信息呈現(xiàn)給使用者。
[0052]音頻單元36可以包括音頻采集子單元或音頻輸出子單元，音頻單元36用于采集或輸出音頻信息。音頻采集子單元可以為單個(gè)麥克風(fēng)或麥克風(fēng)陣列，或者其它用于采集使用者語(yǔ)音的裝置;音頻輸出子單元可以為揚(yáng)聲器或揚(yáng)聲器陣列，或者其它用于輸出音頻信號(hào)的裝置。音頻采集子單元可以幫助用戶(hù)使用語(yǔ)音指令進(jìn)行交互，此時(shí)用戶(hù)可以在手勢(shì)交互指令和語(yǔ)音交互指令之間切換。音頻單元36也可以?xún)H包括音頻輸出子單元，采用本發(fā)明實(shí)施例的手勢(shì)交互指令實(shí)現(xiàn)使用者與HMD設(shè)備的交互。
[0053]從信息流的角度劃分，HMD設(shè)備包括:
[°°54] 輸入單元:IMU單元31，攝像頭單元32，控制單元33。
[0055]主機(jī)用于處理從各個(gè)輸入單元獲取的信息，對(duì)這些信息進(jìn)行處理后生成待輸出信息，然后將待輸出信息傳輸給輸出單元。
[0056]輸出單元:顯示單元35，音頻單元36。
[0057]如圖4所示，本發(fā)明的一個(gè)實(shí)施例提供了一種基于HMD設(shè)備的手勢(shì)信息獲取方法。該方法可以使用圖3所示例的HMD設(shè)備執(zhí)行。
[0058]S41:得到第一夾角和第一姿態(tài)角；
[0059]獲取第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述目標(biāo)物體坐標(biāo)信息表示目標(biāo)物體在所述頭戴式可視設(shè)備的采集坐標(biāo)系中的二維坐標(biāo)；
[0060]根據(jù)所述第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第一夾角；
[0061]獲取所述頭戴式可視設(shè)備在所述第一時(shí)間點(diǎn)的第一角度信息，根據(jù)所述第一角度信息得到第一姿態(tài)角。
[0062]在一個(gè)示例中，如圖8所示，TO時(shí)刻讀取攝像頭模塊輸出的手部位置的二維坐標(biāo)(X0，Y0)，與攝像頭的連接線與XY平面的初始夾角為(ΘΧ0，ΘΥ0)。同時(shí)讀取頂U(kuò)傳感器輸出的角度信息，轉(zhuǎn)換成頭盔的二維初始姿態(tài)角(ΦΧΟ，ΦΥ0)。
[0063]S42:得到第二夾角和第二姿態(tài)角；
[0064]獲取第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述第二時(shí)間點(diǎn)在所述第一時(shí)間點(diǎn)之后，所述第二時(shí)間點(diǎn)與所述第一時(shí)間點(diǎn)相差一個(gè)采樣間隔；
[0065]根據(jù)所述第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第二夾角；
[0066]獲取所述頭戴式可視設(shè)備在所述第二時(shí)間點(diǎn)的第二角度信息，根據(jù)所述第二角度信息得到第二姿態(tài)角。
[0067]在一個(gè)示例中，如圖9所示，Tl時(shí)刻讀取攝像頭模塊輸出的手部位置的二維坐標(biāo)(乂1，￥1)，轉(zhuǎn)換成與攝像頭的中軸線的夾角(0乂1^1)。同時(shí)讀取]1]傳感器輸出的角度信息，轉(zhuǎn)換成頭盔的二維姿態(tài)角(ΦΧ1，ΦΠ)。
[0068]S43:根據(jù)所述第一夾角，所述第二夾角，所述第一姿態(tài)角和所述第二姿態(tài)角得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度；
[0069]在一個(gè)示例中，計(jì)算Tl時(shí)刻手部相對(duì)攝像頭中軸線轉(zhuǎn)動(dòng)的糾正后角度(ωΧΙ，ω丫1)，其中0父1 = (0父1-0父0)-(?1-?0)，0丫1 = (0丫1-0丫0)-(1^1-1^0)，并將((^1，ωΥΙ)保存至隊(duì)列。
[0070]在本發(fā)明的一個(gè)實(shí)施例中，可以計(jì)算多個(gè)糾正后角度，例如計(jì)算Tn時(shí)刻的手部相對(duì)攝像頭中軸線轉(zhuǎn)動(dòng)的真實(shí)角度(ωΧη,ωΥη)并保存至隊(duì)列，直到滿(mǎn)足退出條件(如手部靜止或者移出視線)。退出條件用于判斷是否開(kāi)始進(jìn)行手勢(shì)識(shí)別。
[0071]在本發(fā)明的一個(gè)實(shí)施例中，如圖5所示，上述采集和運(yùn)算重復(fù)進(jìn)行，直到滿(mǎn)足退出條件，從而得到校正后的手勢(shì)軌跡(如圖10所示)。
[0072]在本發(fā)明的一個(gè)實(shí)施例中，將隊(duì)列里的角度數(shù)據(jù)(ωΧΙ，ωΥ1)...(ωΧη，ωΥη)再轉(zhuǎn)換成位置坐標(biāo)(乂1，￥1)"_(乂11，￥11)，就是校正后的手勢(shì)運(yùn)動(dòng)軌跡，如圖10所示。
[0073]S44:根據(jù)所述目標(biāo)物體角度和預(yù)設(shè)的手勢(shì)識(shí)別算法得到手勢(shì)信息。
[0074]將隊(duì)列里的角度數(shù)據(jù)輸送給手勢(shì)識(shí)別算法，識(shí)別出正確的手勢(shì)事件。
[0075]在本發(fā)明的一個(gè)實(shí)施例中，可以采用隱馬爾可夫模型(HMM)等常用手勢(shì)識(shí)別算法?；贖MM的手勢(shì)識(shí)別算法包括幾個(gè)部分，I是特征的選擇與提取，2是HMM的訓(xùn)練，3是HMM的識(shí)別。
[0076]這里選擇的特征就是角度數(shù)據(jù)。
[0077]采集大量的樣本，并將所有角度數(shù)據(jù)輸送給HMM進(jìn)行訓(xùn)練，得到HMM的模型數(shù)據(jù)庫(kù)。
[0078]之后每次做手勢(shì)識(shí)別的過(guò)程中，將采集的角度數(shù)據(jù)輸送給HMM算法，算法將根據(jù)角度數(shù)據(jù)與模型數(shù)據(jù)庫(kù)的匹配度進(jìn)行識(shí)別，并輸出最佳的識(shí)別結(jié)果。
[0079]如圖6所示，本發(fā)明的實(shí)施例公開(kāi)一種基于頭戴式可視設(shè)備的手勢(shì)識(shí)別裝置60。
[0080]裝置60包括:
[0081 ]坐標(biāo)信息獲取模塊61，用于獲取第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述目標(biāo)物體坐標(biāo)信息表示目標(biāo)物體在所述頭戴式可視設(shè)備的采集坐標(biāo)系中的二維坐標(biāo)；
[0082]計(jì)算模塊62，用于根據(jù)所述第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第一夾角；
[0083]角度信息獲取模塊63，用于獲取所述頭戴式可視設(shè)備在所述第一時(shí)間點(diǎn)的第一角度信息，根據(jù)所述第一角度信息得到第一姿態(tài)角；
[0084]坐標(biāo)信息獲取模塊61還用于獲取第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述第二時(shí)間點(diǎn)在所述第一時(shí)間點(diǎn)之后，所述第二時(shí)間點(diǎn)與所述第一時(shí)間點(diǎn)相差一個(gè)采樣間隔；
[0085]計(jì)算模塊62還用于根據(jù)所述第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第二夾角；
[0086]角度信息獲取模塊63還用于獲取所述頭戴式可視設(shè)備在所述第二時(shí)間點(diǎn)的第二角度信息，根據(jù)所述第二角度信息得到第二姿態(tài)角；
[0087]目標(biāo)物體角度模塊64，用于根據(jù)所述第一夾角，所述第二夾角，所述第一姿態(tài)角和所述第二姿態(tài)角得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度；
[0088]手勢(shì)識(shí)別模塊65，用于根據(jù)所述目標(biāo)物體角度和預(yù)設(shè)的手勢(shì)識(shí)別算法得到手勢(shì)信息。
[0089]如圖7所示，本發(fā)明的實(shí)施例公開(kāi)一種頭戴式可視設(shè)備70。頭戴式設(shè)備包括70:
[0090]攝像頭71，用于獲取第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述目標(biāo)物體坐標(biāo)信息表示目標(biāo)物體在所述頭戴式可視設(shè)備的采集坐標(biāo)系中的二維坐標(biāo);處理器73，用于根據(jù)所述第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第一夾角；慣性測(cè)量單元72，用于獲取所述頭戴式可視設(shè)備在所述第一時(shí)間點(diǎn)的第一角度信息;處理器73還用于根據(jù)所述第一角度信息得到第一姿態(tài)角;攝像頭71還用于獲取第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述第二時(shí)間點(diǎn)在所述第一時(shí)間點(diǎn)之后，所述第二時(shí)間點(diǎn)與所述第一時(shí)間點(diǎn)相差一個(gè)采樣間隔；處理器73還用于根據(jù)所述第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第二夾角;慣性測(cè)量單元72還用于獲取所述頭戴式可視設(shè)備在所述第二時(shí)間點(diǎn)的第二角度信息；處理器73還用于，根據(jù)所述第二角度信息得到第二姿態(tài)角，根據(jù)所述第一夾角，所述第二夾角，所述第一姿態(tài)角和所述第二姿態(tài)角得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度，根據(jù)所述目標(biāo)物體角度和預(yù)設(shè)的手勢(shì)識(shí)別算法得到手勢(shì)信息。
[0091]在本發(fā)明的一種實(shí)現(xiàn)方式中，處理器73用于:根據(jù)所述第一夾角和所述第二夾角得到夾角差;根據(jù)所述第一姿態(tài)角和所述第二姿態(tài)角得到姿態(tài)角差;根據(jù)所述夾角差和所述姿態(tài)角差得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度。
[0092]在本發(fā)明的一種實(shí)現(xiàn)方式中，所述夾角差等于所述第二夾角減所述第一夾角。
[0093]在本發(fā)明的一種實(shí)現(xiàn)方式中，所述姿態(tài)角差等于所述第二姿態(tài)角減所述第一姿態(tài)角。
[0094]需要說(shuō)明的是，對(duì)于前述的各方法實(shí)施例，為了簡(jiǎn)單描述，故將其都表述為一系列的動(dòng)作組合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明并不受所描述的動(dòng)作順序的限制，因?yàn)橐罁?jù)本發(fā)明，某些步驟可以采用其他順序或者同時(shí)進(jìn)行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說(shuō)明書(shū)中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例，所涉及的動(dòng)作和模塊并不一定是本發(fā)明所必須的。
[0095]上述裝置和設(shè)備內(nèi)的各模塊之間的信息交互、執(zhí)行過(guò)程等內(nèi)容，由于與本發(fā)明方法實(shí)施例基于同一構(gòu)思，具體內(nèi)容可參見(jiàn)本發(fā)明方法實(shí)施例中的敘述，此處不再贅述。
[0096]本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過(guò)計(jì)算機(jī)程序來(lái)指令相關(guān)的硬件來(lái)完成，上述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，上述的存儲(chǔ)介質(zhì)可為磁碟、光盤(pán)、只讀存儲(chǔ)記憶體(ROM:Read-OnIy Memory)或隨機(jī)存儲(chǔ)記憶體(RAM: RandomAccess Memory)等。
[0097]本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在【具體實(shí)施方式】及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
【主權(quán)項(xiàng)】
1.一種基于頭戴式可視設(shè)備的手勢(shì)識(shí)別方法，其特征在于，所述方法包括: 獲取第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述目標(biāo)物體坐標(biāo)信息表示目標(biāo)物體在所述頭戴式可視設(shè)備的采集坐標(biāo)系中的二維坐標(biāo)； 根據(jù)所述第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第一夾角； 獲取所述頭戴式可視設(shè)備在所述第一時(shí)間點(diǎn)的第一角度信息，根據(jù)所述第一角度信息得到第一姿態(tài)角； 獲取第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述第二時(shí)間點(diǎn)在所述第一時(shí)間點(diǎn)之后，所述第二時(shí)間點(diǎn)與所述第一時(shí)間點(diǎn)相差一個(gè)采樣間隔； 根據(jù)所述第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第二夾角； 獲取所述頭戴式可視設(shè)備在所述第二時(shí)間點(diǎn)的第二角度信息，根據(jù)所述第二角度信息得到第二姿態(tài)角； 根據(jù)所述第一夾角，所述第二夾角，所述第一姿態(tài)角和所述第二姿態(tài)角得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度； 根據(jù)所述目標(biāo)物體角度和預(yù)設(shè)的手勢(shì)識(shí)別算法得到手勢(shì)信息。2.根據(jù)權(quán)利要求1所述的手勢(shì)識(shí)別方法，其特征在于，所述根據(jù)所述第一夾角，所述第二夾角，所述第一姿態(tài)角和所述第二姿態(tài)角得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度，包括: 根據(jù)所述第一夾角和所述第二夾角得到夾角差； 根據(jù)所述第一姿態(tài)角和所述第二姿態(tài)角得到姿態(tài)角差； 根據(jù)所述夾角差和所述姿態(tài)角差得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度。3.根據(jù)權(quán)利要求2所述的手勢(shì)識(shí)別方法，其特征在于，所述根據(jù)所述第一夾角和所述第二夾角得到夾角差，包括: 所述夾角差等于所述第二夾角減所述第一夾角。4.根據(jù)權(quán)利要求2或3所述的手勢(shì)識(shí)別方法，其特征在于，所述根據(jù)所述第一姿態(tài)角和所述第二姿態(tài)角得到姿態(tài)角差，包括: 所述姿態(tài)角差等于所述第二姿態(tài)角減所述第一姿態(tài)角。5.—種基于頭戴式可視設(shè)備的手勢(shì)識(shí)別裝置，其特征在于，所述裝置包括: 坐標(biāo)信息獲取模塊，用于獲取第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述目標(biāo)物體坐標(biāo)信息表示目標(biāo)物體在所述頭戴式可視設(shè)備的采集坐標(biāo)系中的二維坐標(biāo)； 計(jì)算模塊，用于根據(jù)所述第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第一夾角； 角度信息獲取模塊，用于獲取所述頭戴式可視設(shè)備在所述第一時(shí)間點(diǎn)的第一角度信息，根據(jù)所述第一角度信息得到第一姿態(tài)角； 所述坐標(biāo)信息獲取模塊還用于獲取第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述第二時(shí)間點(diǎn)在所述第一時(shí)間點(diǎn)之后，所述第二時(shí)間點(diǎn)與所述第一時(shí)間點(diǎn)相差一個(gè)采樣間隔； 所述計(jì)算模塊還用于根據(jù)所述第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第二夾角； 所述角度信息獲取模塊還用于獲取所述頭戴式可視設(shè)備在所述第二時(shí)間點(diǎn)的第二角度信息，根據(jù)所述第二角度信息得到第二姿態(tài)角； 目標(biāo)物體角度模塊，用于根據(jù)所述第一夾角，所述第二夾角，所述第一姿態(tài)角和所述第二姿態(tài)角得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度； 手勢(shì)識(shí)別模塊，用于根據(jù)所述目標(biāo)物體角度和預(yù)設(shè)的手勢(shì)識(shí)別算法得到手勢(shì)信息。6.根據(jù)權(quán)利要求5所述的手勢(shì)識(shí)別裝置，其特征在于，所述目標(biāo)物體角度模塊用于: 根據(jù)所述第一夾角和所述第二夾角得到夾角差； 根據(jù)所述第一姿態(tài)角和所述第二姿態(tài)角得到姿態(tài)角差； 根據(jù)所述夾角差和所述姿態(tài)角差得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度。7.根據(jù)權(quán)利要求6所述的手勢(shì)識(shí)別裝置，其特征在于，所述根據(jù)所述第一夾角和所述第二夾角得到夾角差，包括: 所述夾角差等于所述第二夾角減所述第一夾角。8.根據(jù)權(quán)利要求6或7所述的手勢(shì)識(shí)別裝置，其特征在于，所述根據(jù)所述第一姿態(tài)角和所述第二姿態(tài)角得到姿態(tài)角差，包括: 所述姿態(tài)角差等于所述第二姿態(tài)角減所述第一姿態(tài)角。9.一種頭戴式可視設(shè)備，其特征在于，所述設(shè)備包括: 攝像頭，用于獲取第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述目標(biāo)物體坐標(biāo)信息表示目標(biāo)物體在所述頭戴式可視設(shè)備的采集坐標(biāo)系中的二維坐標(biāo)； 處理器，用于根據(jù)所述第一時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第一夾角； 慣性測(cè)量單元，用于獲取所述頭戴式可視設(shè)備在所述第一時(shí)間點(diǎn)的第一角度信息； 所述處理器還用于根據(jù)所述第一角度信息得到第一姿態(tài)角； 所述攝像頭還用于獲取第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息，其中，所述第二時(shí)間點(diǎn)在所述第一時(shí)間點(diǎn)之后，所述第二時(shí)間點(diǎn)與所述第一時(shí)間點(diǎn)相差一個(gè)采樣間隔； 所述處理器還用于根據(jù)所述第二時(shí)間點(diǎn)的目標(biāo)物體坐標(biāo)信息得到第二夾角； 所述慣性測(cè)量單元還用于獲取所述頭戴式可視設(shè)備在所述第二時(shí)間點(diǎn)的第二角度信息; 所述處理器還用于， 根據(jù)所述第二角度信息得到第二姿態(tài)角， 根據(jù)所述第一夾角，所述第二夾角，所述第一姿態(tài)角和所述第二姿態(tài)角得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度， 根據(jù)所述目標(biāo)物體角度和預(yù)設(shè)的手勢(shì)識(shí)別算法得到手勢(shì)信息。10.根據(jù)權(quán)利要求9所述的頭戴式可視設(shè)備，其特征在于，所述處理器用于: 根據(jù)所述第一夾角和所述第二夾角得到夾角差； 根據(jù)所述第一姿態(tài)角和所述第二姿態(tài)角得到姿態(tài)角差； 根據(jù)所述夾角差和所述姿態(tài)角差得到所述第二時(shí)間點(diǎn)的目標(biāo)物體角度。11.根據(jù)權(quán)利要求10所述的頭戴式可視設(shè)備，其特征在于，所述根據(jù)所述第一夾角和所述第二夾角得到夾角差，包括: 所述夾角差等于所述第二夾角減所述第一夾角。12.根據(jù)權(quán)利要求9或10所述的頭戴式可視設(shè)備，其特征在于，所述根據(jù)所述第一姿態(tài)角和所述第二姿態(tài)角得到姿態(tài)角差，包括: 所述姿態(tài)角差等于所述第二姿態(tài)角減所述第一姿態(tài)角。
【文檔編號(hào)】G02B27/01GK105929958SQ201610266509
【公開(kāi)日】2016年9月7日
【申請(qǐng)日】2016年4月26日
【發(fā)明人】馮蔚騰, 劉思維
【申請(qǐng)人】華為技術(shù)有限公司