專(zhuān)利名稱::一種基于空間編碼的手語(yǔ)運(yùn)動(dòng)信息與文本信息相互轉(zhuǎn)換的實(shí)現(xiàn)方法
技術(shù)領(lǐng)域:
:本發(fā)明涉及一種聾啞人與正常人之間實(shí)現(xiàn)實(shí)時(shí)交流的方法,尤其是一種手語(yǔ)交流方法。
背景技術(shù):
:手語(yǔ)是聾啞人使用的語(yǔ)言。它是由手形動(dòng)作輔之以表情姿勢(shì)而構(gòu)成的比較穩(wěn)定的表達(dá)系統(tǒng),是一種靠動(dòng)作/視覺(jué)進(jìn)行交際的特殊語(yǔ)言。我國(guó)有2000多萬(wàn)的聽(tīng)力障礙者,他們主要使用手語(yǔ)進(jìn)行交流。由于手語(yǔ)不是社會(huì)的大多數(shù)人的常用語(yǔ)言,這在很大程度上制約了他們與社會(huì)的交流。手語(yǔ)交流系統(tǒng)的研制,可以一定程度上解決這個(gè)問(wèn)題,為聾人創(chuàng)造無(wú)障礙環(huán)境方面發(fā)揮重要作用,并對(duì)推廣規(guī)范的中國(guó)手語(yǔ)有很大作用。隨著社會(huì)對(duì)聾啞人關(guān)愛(ài)的增長(zhǎng),越來(lái)越多的學(xué)者專(zhuān)家開(kāi)始研究手語(yǔ)識(shí)別系統(tǒng),以更好地實(shí)現(xiàn)正常人和聾啞人之間的交流。目前的手語(yǔ)識(shí)別系統(tǒng)主要分為基于數(shù)據(jù)手套的手語(yǔ)識(shí)別和基于視覺(jué)(圖像)的手語(yǔ)識(shí)別系統(tǒng)。對(duì)于具有時(shí)空并發(fā)性的手語(yǔ)的識(shí)別,宜采用數(shù)據(jù)手套作為手形輸入設(shè)備,并采用位置跟蹤器采集手掌的運(yùn)動(dòng)。因?yàn)榕c攝像機(jī)相比,數(shù)據(jù)手套與位置跟蹤器采集的數(shù)據(jù)簡(jiǎn)潔、準(zhǔn)確,這兩種采集設(shè)備易獲取表明手語(yǔ)時(shí)空特性的特征,如手指關(guān)節(jié)運(yùn)動(dòng)信息,手掌運(yùn)動(dòng)信息等,數(shù)據(jù)手套采集的數(shù)據(jù)不受光照等環(huán)境變化的影響。世界上很多專(zhuān)家致力于手語(yǔ)識(shí)別方法的研究,實(shí)現(xiàn)了手語(yǔ)信號(hào)到文本、聲音信息的轉(zhuǎn)化,也有一些專(zhuān)家采用電子設(shè)備把文本信息轉(zhuǎn)化為手語(yǔ)動(dòng)畫(huà),從而實(shí)現(xiàn)人與機(jī)器終端單向的手語(yǔ)交流。然而,聾椏人絕大部分的交流障礙是在與正常人交流的過(guò)程中產(chǎn)生的。如果要實(shí)現(xiàn)實(shí)時(shí)的交流,就必須要求有響應(yīng)迅速的輸入輸出設(shè)備,同時(shí)也要求高效的識(shí)別與轉(zhuǎn)化方法,能在瞬間實(shí)現(xiàn)手語(yǔ)與文本信息的相互轉(zhuǎn)化。為了進(jìn)一步實(shí)現(xiàn)推廣,所用的設(shè)備成本不能太昂貴。
發(fā)明內(nèi)容為了克服已有的手語(yǔ)識(shí)別方法的快速性差、實(shí)時(shí)性差、成本高的不足,本發(fā)明提供一種快速性好、實(shí)時(shí)性強(qiáng)、成本低的基于空間編碼的手語(yǔ)運(yùn)動(dòng)信息與文本信息相互轉(zhuǎn)換的實(shí)現(xiàn)方法。本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是一種基于空間編碼的手語(yǔ)運(yùn)動(dòng)信息轉(zhuǎn)換為文本信息的實(shí)現(xiàn)方法,首先建立文本信息、手語(yǔ)編碼信息和動(dòng)作動(dòng)畫(huà)建立對(duì)應(yīng)序列的手語(yǔ)字典數(shù)據(jù)庫(kù),所述的實(shí)現(xiàn)方法包括以下步驟-(1)、信號(hào)數(shù)據(jù)采集根據(jù)佩戴者身上的數(shù)據(jù)手套和位置跟蹤器的波特率得到時(shí)間段的數(shù)據(jù)幀,得到輸入數(shù)據(jù)的一系列向量數(shù)據(jù);(2)、數(shù)據(jù)預(yù)處理根據(jù)數(shù)據(jù)手套佩戴者的手語(yǔ)習(xí)慣對(duì)彎曲度值域進(jìn)行界定,同時(shí)使用位置跟蹤器對(duì)佩戴者的個(gè)體特征對(duì)空間區(qū)域進(jìn)行劃分,定位嘴,左耳垂,右耳垂,左肩以及右肩的位置;(3)、手語(yǔ)信息特征提取根據(jù)數(shù)據(jù)手套輸入的數(shù)據(jù)提取手勢(shì)信息,從位置跟蹤器輸入的數(shù)據(jù)中提取手的方向、位置信息,構(gòu)成輸入樣本的特征向量;(4)、手形信息編碼根據(jù)獲得的特征向量的手語(yǔ)信號(hào)進(jìn)行編碼,得到字符串,編碼規(guī)則如下(4.1)、每個(gè)手指關(guān)節(jié)分為三個(gè)活動(dòng)狀態(tài)——伸直、半彎曲以及完全彎曲,采用二進(jìn)制編碼方式對(duì)指關(guān)節(jié)彎曲狀態(tài)進(jìn)行編碼;(4.2)、對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼;(5)、輸出信息匹配根據(jù)字符串的數(shù)值在手語(yǔ)字典數(shù)據(jù)庫(kù)中進(jìn)行査詢,查詢到的結(jié)果得到文本信息。作為優(yōu)選的一種方案在所述步驟(4.1)中,將手指的三種狀態(tài)分別編碼為伸直O(jiān)O,半彎曲Ol,完全彎曲10,每個(gè)手指都按照上述的彎曲狀態(tài)編碼方式,用一個(gè)十位的字符串來(lái)表示五指的狀態(tài)。作為優(yōu)選的再一種方案在所述步驟(4.2)中,對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼過(guò)程為將嘴部以上劃分為三個(gè)空間,左耳以左的空間為"ioor,左耳到右耳之間的空間為"iooo",右耳以右的空間為"1010";將嘴部以下、肩以上的空間劃分為三個(gè)空間,左耳以左的空間為"0001",左耳到右耳之間的空間為"0000",右耳以右的空間為"0010";將肩以下的空間也劃分為三個(gè)空間,左肩以左的空間為"0101",左肩到右肩的空間為"0100",右肩以右的空間為"0110";手掌方向根據(jù)手掌矢量對(duì)應(yīng)的位置跟蹤器的XYZ坐標(biāo),手掌朝上0010,手掌朝下0011,手掌朝左oioi,手掌朝右oioo,手掌朝前1001以及手掌朝身體1000。一種基于空間編碼的文本信息轉(zhuǎn)換為手語(yǔ)運(yùn)動(dòng)信息的實(shí)現(xiàn)方法,首先建立文本信息、手語(yǔ)編碼信息和動(dòng)作動(dòng)畫(huà)建立對(duì)應(yīng)序列的手語(yǔ)字典數(shù)據(jù)庫(kù),所述的實(shí)現(xiàn)方法包括以下步驟-(1)、根據(jù)虛擬人的骨骼參數(shù)設(shè)定虛擬人的演示空間,以空間劃分規(guī)則界定虛擬人的演示空間;(2)、記錄下運(yùn)動(dòng)手掌在演示空間中各個(gè)區(qū)域的中心位置和相關(guān)的骨骼位置的矩陣;(3)、以輸入的信息作為關(guān)鍵字在手語(yǔ)字典數(shù)據(jù)庫(kù)中進(jìn)行檢索,檢索到相關(guān)信息則提取出手語(yǔ)編碼信息;(4)、根據(jù)手語(yǔ)編碼信息設(shè)定虛擬人骨骼在手語(yǔ)意義涉及的各個(gè)區(qū)域中的定位位置,得到虛擬人動(dòng)作關(guān)鍵幀;(5)、由關(guān)鍵幀自動(dòng)生成插補(bǔ)幀,得到虛擬人演示的手語(yǔ)動(dòng)畫(huà),顯示于屏幕終端。作為優(yōu)選的一種方案在所述步驟(3)、(4)中,手語(yǔ)編碼信息的編碼規(guī)則為每個(gè)手指關(guān)節(jié)分為三個(gè)活動(dòng)狀態(tài)——伸直、半彎曲以及完全彎曲,采用二進(jìn)制編碼方式對(duì)指關(guān)節(jié)彎曲狀態(tài)進(jìn)行編碼;對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼。進(jìn)一步,所述手語(yǔ)編碼信息的編碼規(guī)則中,將手指的三種狀態(tài)分別編碼為伸直O(jiān)O,半彎曲Ol,完全彎曲10,每個(gè)手指都按照上述的彎曲狀態(tài)編碼方式,則用一個(gè)十位的字符串來(lái)表示五指的狀態(tài)。再進(jìn)一步,所述手語(yǔ)編碼信息的編碼規(guī)則中,對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼過(guò)程為將嘴部以上劃分為三個(gè)空間,左耳以左的空間為"1001",左耳到右耳之間的空間為"1000",右耳以右的空間為"1010";將嘴部以下、肩以上的空間劃分為三個(gè)空間,左耳以左的空間為"ooor,左耳到右耳之間的空間為"oooo",右耳以右的空間為"0010";將肩以下的空間也劃分為三個(gè)空間,左肩以左的空間為"0101",左肩到右肩的空間為"0100",右肩以右的空間為"0110";手掌方向根據(jù)手掌矢量對(duì)應(yīng)的位置跟蹤器的XYZ坐標(biāo),手掌朝上0010,手掌朝下0011,手掌朝左oioi,手掌朝右oioo,手掌朝前1001以及手掌朝身體1000。本發(fā)明的技術(shù)構(gòu)思為基于手語(yǔ)動(dòng)作常用的統(tǒng)計(jì)規(guī)律,通過(guò)構(gòu)造一個(gè)帶有編碼的手形和手勢(shì)的劃分空間,提出了專(zhuān)用于手語(yǔ)與文本之間實(shí)現(xiàn)實(shí)時(shí)交流的方法。根據(jù)手形與手勢(shì)的編碼組合以及手語(yǔ)字典數(shù)據(jù)庫(kù)的引入,給出了一種快速編碼方法,用于手語(yǔ)的識(shí)別;給出了一種快速的解碼方法,用于手語(yǔ)的合成。該方法具有編碼效率高和解碼速度快的特點(diǎn)。本發(fā)明提出一種有效的手語(yǔ)字典數(shù)據(jù)庫(kù)使用方法,用以存儲(chǔ)手語(yǔ)編碼信息并推動(dòng)手語(yǔ)合成的應(yīng)用。原有的將動(dòng)作動(dòng)畫(huà)數(shù)據(jù)一一輸入手語(yǔ)運(yùn)動(dòng)數(shù)據(jù)庫(kù)方法,其數(shù)據(jù)庫(kù)存儲(chǔ)量大,系統(tǒng)運(yùn)行效率低,形成的手語(yǔ)合成文件過(guò)大,不適合實(shí)時(shí)手語(yǔ)翻譯。提出的數(shù)據(jù)庫(kù)使用方法是一種更有效的方法。本發(fā)明的基于空間編碼的特點(diǎn)為(1)、常用手語(yǔ)中手的空間位置主要集中在頭部周?chē)倭糠植加谏习肷砩眢w周?chē)?,所以頭部空間是手語(yǔ)運(yùn)動(dòng)頻率最高的空間。豎直方向分別以嘴部,肩為分界點(diǎn),將空間劃分為3個(gè)橫向空間,水平方向分別以左耳、右耳、左肩、右肩分界點(diǎn)將空間劃分為6個(gè)縱向空間。這種劃分方法有效地對(duì)頭部周?chē)目臻g進(jìn)行細(xì)致的劃分,而對(duì)身體周?chē)目臻g則進(jìn)行大致的劃分,從而提高空間的識(shí)別效率。(2)、根據(jù)手語(yǔ)設(shè)備佩戴者個(gè)體大小的不同事先對(duì)手語(yǔ)運(yùn)動(dòng)空間進(jìn)行預(yù)定義,使運(yùn)動(dòng)空間具有自適應(yīng)性。(3)、編碼效率高。利用空間的劃分,手形的編碼和手勢(shì)的編碼過(guò)程中充分采用了二進(jìn)制編碼方式,沒(méi)有使用長(zhǎng)碼字和特殊碼字的出現(xiàn),可以使手語(yǔ)字典數(shù)據(jù)庫(kù)的存儲(chǔ)量更小,讀寫(xiě)效率更高。利用本方法對(duì)手語(yǔ)運(yùn)動(dòng)信息編碼,根據(jù)句子的長(zhǎng)度數(shù)據(jù)量可以控制在0.75K以內(nèi)。(4)、解碼速度快。利用編碼序列映射到虛擬人骨骼矩陣的特點(diǎn),解碼過(guò)程中可以有效避免圖片或動(dòng)畫(huà)的編輯工作,因此可以很容易實(shí)現(xiàn)手語(yǔ)合成。(5)、方法簡(jiǎn)單,實(shí)現(xiàn)方便。整個(gè)算法只采用二進(jìn)制匹配運(yùn)算,避免了復(fù)雜的運(yùn)算,是一種簡(jiǎn)單且有效的編碼方法,可以方便的在多個(gè)不同版本的開(kāi)發(fā)平臺(tái)上移植。本發(fā)明的有益效果主要表現(xiàn)在(1)、借助于手語(yǔ)運(yùn)動(dòng)空間的劃分與編碼,實(shí)現(xiàn)了手語(yǔ)交流的實(shí)時(shí)功能,減少了無(wú)意義的等待與響應(yīng)時(shí)間;(2)、帶有手指彎曲傳感器的數(shù)據(jù)手套就能實(shí)現(xiàn)手形特征的提取,降低系統(tǒng)配套設(shè)施的成本;(3)、編碼是高效的,佩戴者可以通過(guò)手語(yǔ)的輸入完善手語(yǔ)字典數(shù)據(jù)庫(kù),保證了手語(yǔ)詞匯的完備性;(4)、所用的快速合成手語(yǔ)方法能保證手語(yǔ)合成具有較快的速度;(5)、手語(yǔ)實(shí)時(shí)交流系統(tǒng)是具有培訓(xùn)性的系統(tǒng),可以為不懂手語(yǔ)的用戶提供手語(yǔ)教學(xué)訓(xùn)練。圖1是實(shí)時(shí)手語(yǔ)交流系統(tǒng)框架示意圖。圖2是手形編碼說(shuō)明示意圖。圖3是手語(yǔ)空間劃分的示意圖。圖4是手掌方向測(cè)量參考坐標(biāo)示意圖。圖5是漢語(yǔ)手指字母圖。圖6是"你好"手語(yǔ)的示意圖。圖7是"很高興認(rèn)識(shí)你"手語(yǔ)的示意圖。具體實(shí)施方式下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步描述。實(shí)施例1參照?qǐng)D1圖7,一種基于空間編碼的手語(yǔ)運(yùn)動(dòng)信息轉(zhuǎn)換為文本信息的實(shí)現(xiàn)方法,首先建立文本信息、手語(yǔ)編碼信息和動(dòng)作動(dòng)畫(huà)建立對(duì)應(yīng)序列的手語(yǔ)字典數(shù)據(jù)庫(kù),所述的實(shí)現(xiàn)方法包括以下步驟(1)、信號(hào)數(shù)據(jù)采集根據(jù)佩戴者身上的數(shù)據(jù)手套和位置跟蹤器的波特率得到時(shí)間段的數(shù)據(jù)幀,得到輸入數(shù)據(jù)的一系列向量數(shù)據(jù);(2)、數(shù)據(jù)預(yù)處理根據(jù)數(shù)據(jù)手套佩戴者的手語(yǔ)習(xí)慣對(duì)彎曲度值域進(jìn)行界定,同時(shí)使用位置跟蹤器對(duì)佩戴者的個(gè)體特征對(duì)空間區(qū)域進(jìn)行劃分,定位嘴,左耳垂,右耳垂,左肩以及右肩的位置;(3)、手語(yǔ)信息特征提取根據(jù)數(shù)據(jù)手套輸入的數(shù)據(jù)提取手勢(shì)信息,從位置跟蹤器輸入的數(shù)據(jù)中提取手的方向、位置信息,構(gòu)成輸入樣本的特征向量;(4)、手形信息編碼根據(jù)獲得的特征向量的手語(yǔ)信號(hào)進(jìn)行編碼,得到字符串,編碼規(guī)則如下(4.1)、每個(gè)手指關(guān)節(jié)分為三個(gè)活動(dòng)狀態(tài)——伸直、半彎曲以及完全彎曲,采用二進(jìn)制編碼方式對(duì)指關(guān)節(jié)彎曲狀態(tài)進(jìn)行編碼;(4.2)、對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼;(5)、輸出信息匹配根據(jù)字符串的數(shù)值在手語(yǔ)字典數(shù)據(jù)庫(kù)中進(jìn)行查詢,查詢到的結(jié)果得到文本信息。參照?qǐng)D2、圖3,根據(jù)手勢(shì)的運(yùn)動(dòng)信息進(jìn)行編碼通過(guò)手語(yǔ)詞匯實(shí)驗(yàn)結(jié)果,在充分考慮手語(yǔ)交流的實(shí)時(shí)性,本文給出的基于空間編碼的手語(yǔ)識(shí)別方法是一種性能穩(wěn)定,識(shí)別迅速的方法。該方法在中國(guó)手語(yǔ)詞匯上進(jìn)行應(yīng)用說(shuō)明。當(dāng)使用者佩戴上數(shù)據(jù)手套時(shí),根據(jù)使用者手的大小及使用者對(duì)彎曲程度的不同定義閥值。如數(shù)據(jù)手套原始數(shù)據(jù)范圍為04095,對(duì)于食指而言,相應(yīng)的數(shù)據(jù)為小于1862的數(shù)表示手指處于伸直狀態(tài),顯示值為1862—2268之間的數(shù)值表示手指處于半彎曲狀態(tài),顯示值為2268—4095之間的數(shù)值則表示手指處于完全彎曲狀態(tài)。由于每個(gè)手指的靈活程度不同,各個(gè)手指的閥值也不盡相同。位置跟蹤器固定于使用者的手腕上,絕對(duì)坐標(biāo)原點(diǎn)位于接收器位置。位置跟蹤器獲得的角度信息可以確定手掌方向,將使用者以豎直方向分別以嘴部,肩為分界點(diǎn),將空間劃分為3個(gè)橫向空間,水平方向分別以左耳、右耳、左肩、右肩分界點(diǎn)將空間劃分為6個(gè)縱向空間。本發(fā)明的編碼方法為根據(jù)對(duì)于所述終端上獲得的手形和手勢(shì)信息,依次設(shè)定每個(gè)手形和手勢(shì)信息的編碼值,得到碼流數(shù)據(jù),該碼表對(duì)應(yīng)動(dòng)態(tài)鏈表存儲(chǔ)時(shí)間序列。按照時(shí)間與手形的變換情況可分為靜態(tài)手勢(shì),靜態(tài)復(fù)合手勢(shì),和動(dòng)態(tài)手勢(shì)。(1)、靜態(tài)手勢(shì)如表1所示對(duì)應(yīng)的手語(yǔ)手形,編碼規(guī)則如表l所示。表1為漢字手指字母表對(duì)應(yīng)編碼<table>tableseeoriginaldocumentpage13</column></row><table><table>tableseeoriginaldocumentpage14</column></row><table>表l(2)、靜態(tài)復(fù)合手勢(shì)如圖6所示"你好"手語(yǔ),按照時(shí)間順序記錄各個(gè)時(shí)間序列的手形,如表2所示:<table>tableseeoriginaldocumentpage14</column></row><table>表2(3)、動(dòng)態(tài)手勢(shì)如圖7所示"很高興認(rèn)識(shí)你"手語(yǔ),按照時(shí)間順序記錄各個(gè)時(shí)間序列的手形,如表3所示,左手手形同理可得。<table>tableseeoriginaldocumentpage14</column></row><table><table>tableseeoriginaldocumentpage15</column></row><table>上述編碼信息經(jīng)由手語(yǔ)字典數(shù)據(jù)庫(kù)進(jìn)行信息匹配,若對(duì)應(yīng)各個(gè)時(shí)間序列上的各個(gè)編碼均相同,則輸出相對(duì)應(yīng)文字;若對(duì)應(yīng)各個(gè)時(shí)間序列上的編碼不同,則輸出"未知手語(yǔ)信息",用戶可以重新演示手語(yǔ)以確認(rèn)手語(yǔ)信息或者作為新手語(yǔ)信息輸入手語(yǔ)字典數(shù)據(jù)庫(kù)。實(shí)施例2參照?qǐng)D1—圖7,一種基于空間編碼的文本信息轉(zhuǎn)換為手語(yǔ)運(yùn)動(dòng)信息的實(shí)現(xiàn)方法,首先建立文本信息、手語(yǔ)編碼信息和動(dòng)作動(dòng)畫(huà)建立對(duì)應(yīng)序列的手語(yǔ)字典數(shù)據(jù)庫(kù),所述的實(shí)現(xiàn)方法包括以下步驟(1)、根據(jù)虛擬人的骨骼參數(shù)設(shè)定虛擬人的演示空間,以空間劃分規(guī)則界定虛擬人的演示空間;(2)、記錄下運(yùn)動(dòng)手掌在演示空間中各個(gè)區(qū)域的中心位置和相關(guān)的骨骼位置的矩陣;(3)、以輸入的信息作為關(guān)鍵字在手語(yǔ)字典數(shù)據(jù)庫(kù)中進(jìn)行檢索,檢索到相關(guān)信息則提取出手語(yǔ)編碼信息;(4)、根據(jù)手語(yǔ)編碼信息設(shè)定虛擬人骨骼在手語(yǔ)意義涉及的各個(gè)區(qū)域中的定位位置,得到虛擬人動(dòng)作關(guān)鍵幀;(5)、由關(guān)鍵幀自動(dòng)生成插補(bǔ)幀,得到虛擬人演示的手語(yǔ)動(dòng)畫(huà),顯示于屏幕終端。在所述步驟(3)、(4)中,手語(yǔ)編碼信息的編碼規(guī)則為每個(gè)手指關(guān)節(jié)分為三個(gè)活動(dòng)狀態(tài)——伸直、半彎曲以及完全彎曲,采用二進(jìn)制編碼方式對(duì)指關(guān)節(jié)彎曲狀態(tài)進(jìn)行編碼;對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼。本實(shí)施例的手語(yǔ)編碼信息的編碼規(guī)則與實(shí)施例1相同。當(dāng)不懂手語(yǔ)的用戶看到文字信息并以文字信息作為回應(yīng)時(shí),參照?qǐng)D3設(shè)定虛擬人的演示空間。控制虛擬人骨骼,使手掌位置經(jīng)過(guò)演示空間中各個(gè)區(qū)域的中心位置,并記錄骨骼關(guān)節(jié)矩陣以及相關(guān)的變換信息。以輸入的文字信息作為關(guān)鍵字在手語(yǔ)數(shù)據(jù)詞典中進(jìn)行檢索,檢索到相關(guān)信息則提取出手語(yǔ)動(dòng)作的編碼,若檢索不到則提醒用戶重新輸入文本信息。根據(jù)手語(yǔ)動(dòng)作的時(shí)間序列設(shè)置動(dòng)畫(huà)時(shí)間與各個(gè)關(guān)鍵時(shí)刻點(diǎn)。提取手掌編碼設(shè)定虛擬人骨骼在圖3所示的各個(gè)區(qū)域中各個(gè)關(guān)鍵時(shí)刻點(diǎn)定位位置,提取手掌方向編碼設(shè)定虛擬人手骨骼的方向,提取手形編碼設(shè)定虛擬人手指骨骼的動(dòng)作,從而得到各個(gè)時(shí)間序列中的關(guān)鍵幀;由關(guān)鍵幀生成插補(bǔ)幀,得到虛擬人演示的手語(yǔ)關(guān)鍵幀動(dòng)畫(huà),顯示于屏幕終端。權(quán)利要求1、一種基于空間編碼的手語(yǔ)運(yùn)動(dòng)信息轉(zhuǎn)換為文本信息的實(shí)現(xiàn)方法,其特征在于首先建立文本信息、手語(yǔ)編碼信息和動(dòng)作動(dòng)畫(huà)建立對(duì)應(yīng)序列的手語(yǔ)字典數(shù)據(jù)庫(kù),所述的實(shí)現(xiàn)方法包括以下步驟(1)、信號(hào)數(shù)據(jù)采集根據(jù)佩戴者身上的數(shù)據(jù)手套和位置跟蹤器的波特率得到時(shí)間段的數(shù)據(jù)幀,得到輸入數(shù)據(jù)的一系列向量數(shù)據(jù);(2)、數(shù)據(jù)預(yù)處理根據(jù)數(shù)據(jù)手套佩戴者的手語(yǔ)習(xí)慣對(duì)彎曲度值域進(jìn)行界定,同時(shí)使用位置跟蹤器對(duì)佩戴者的個(gè)體特征對(duì)空間區(qū)域進(jìn)行劃分,定位嘴,左耳垂,右耳垂,左肩以及右肩的位置;(3)、手語(yǔ)信息特征提取根據(jù)數(shù)據(jù)手套輸入的數(shù)據(jù)提取手勢(shì)信息,從位置跟蹤器輸入的數(shù)據(jù)中提取手的方向、位置信息,構(gòu)成輸入樣本的特征向量;(4)、手形信息編碼根據(jù)獲得的特征向量的手語(yǔ)信號(hào)進(jìn)行編碼,得到字符串,編碼規(guī)則如下(4.1)、每個(gè)手指關(guān)節(jié)分為三個(gè)活動(dòng)狀態(tài)——伸直、半彎曲以及完全彎曲,采用二進(jìn)制編碼方式對(duì)指關(guān)節(jié)彎曲狀態(tài)進(jìn)行編碼;(4.2)、對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼;(5)、輸出信息匹配根據(jù)字符串的數(shù)值在手語(yǔ)字典數(shù)據(jù)庫(kù)中進(jìn)行查詢,查詢到的結(jié)果得到文本信息。2、如權(quán)利要求1所述的基于空間編碼的手語(yǔ)運(yùn)動(dòng)信息轉(zhuǎn)換為文本信息的實(shí)現(xiàn)方法,其特征在于在所述步驟(4.1)中,將手指的三種狀態(tài)分別編碼為伸直O(jiān)O,半彎曲Ol,完全彎曲10,每個(gè)手指都按照上述的彎曲狀態(tài)編碼方式,用一個(gè)十位的字符串來(lái)表示五指的狀態(tài)。3、如權(quán)利要求1或2所述的基于空間編碼的實(shí)時(shí)手語(yǔ)交流系統(tǒng),其特征在于在所述歩驟(4.2)中,對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼過(guò)程為將嘴部以上劃分為三個(gè)空間,左耳以左的空間為"1001",左耳到右耳之間的空間為"1000",右耳以右的空間為"1010";將嘴部以下、肩以上的空間劃分為三個(gè)空間,左耳以左的空間為"ooor,,左耳到右耳之間的空間為"OOOO",右耳以右的空間為"0010";將肩以下的空間也劃分為三個(gè)空間,左肩以左的空間為"oior,,左肩到右肩的空間為"0100",右肩以右的空間為"0110";手掌方向根據(jù)手掌矢量對(duì)應(yīng)的位置跟蹤器的XYZ坐標(biāo),手掌朝上OOIO,手掌朝下OOll,手掌朝左OIOI,手掌朝右OIOO,手掌朝前IOOI以及手掌朝身體IOOO。4、一種基于空間編碼的文本信息轉(zhuǎn)換為手語(yǔ)運(yùn)動(dòng)信息的實(shí)現(xiàn)方法,其特征在于首先建立文本信息、手語(yǔ)編碼信息和動(dòng)作動(dòng)畫(huà)建立對(duì)應(yīng)序列的手語(yǔ)字典數(shù)據(jù)庫(kù),所述的實(shí)現(xiàn)方法包括以下步驟(1)、根據(jù)虛擬人的骨骼參數(shù)設(shè)定虛擬人的演示空間,以空間劃分規(guī)則界定虛擬人的演示空間;(2)、記錄下運(yùn)動(dòng)手掌在演示空間中各個(gè)區(qū)域的中心位置和相關(guān)的骨骼位置的矩陣;(3)、以輸入的信息作為關(guān)鍵字在手語(yǔ)字典數(shù)據(jù)庫(kù)中進(jìn)行檢索,檢索到相關(guān)信息則提取出手語(yǔ)編碼信息;(4)、根據(jù)手語(yǔ)編碼信息設(shè)定虛擬人骨骼在手語(yǔ)意義涉及的各個(gè)區(qū)域中的定位位置,得到虛擬人動(dòng)作關(guān)鍵幀;(5)、由關(guān)鍵幀自動(dòng)生成插補(bǔ)幀,得到虛擬人演示的手語(yǔ)動(dòng)畫(huà),顯示于屏幕終端。5、如權(quán)利要求1所述的一種基于空間編碼的文本信息轉(zhuǎn)換為手語(yǔ)運(yùn)動(dòng)信息的實(shí)現(xiàn)方法,其特征在于在所述步驟(3)、(4)中,手語(yǔ)編碼信息的編碼規(guī)則為每個(gè)手指關(guān)節(jié)分為三個(gè)活動(dòng)狀態(tài)——伸直、半彎曲以及完全彎曲,采用二進(jìn)制編碼方式對(duì)指關(guān)節(jié)彎曲狀態(tài)進(jìn)行編碼;對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼。6、如權(quán)利要求5所述的一種基于空間編碼的文本信息轉(zhuǎn)換為手語(yǔ)運(yùn)動(dòng)信息的實(shí)現(xiàn)方法,其特征在于所述手語(yǔ)編碼信息的編碼規(guī)則中,將手指的三種狀態(tài)分別編碼為伸直00,半彎曲Ol,完全彎曲10,每個(gè)手指都按照上述的彎曲狀態(tài)編碼方式,則用一個(gè)十位的字符串來(lái)表示五指的狀態(tài)。7、如權(quán)利要求5或6所述的一種基于空間編碼的文本信息轉(zhuǎn)換為手語(yǔ)運(yùn)動(dòng)信息的實(shí)現(xiàn)方法,其特征在于所述手語(yǔ)編碼信息的編碼規(guī)則中,對(duì)手掌所在的位置空間進(jìn)行二進(jìn)制編碼過(guò)程為將嘴部以上劃分為三個(gè)空間,左耳以左的空間為"ioor,左耳到右耳之間的空間為"iooo",右耳以右的空間為"1010";將嘴部以下、肩以上的空間劃分為三個(gè)空間,左耳以左的空間為"ooor,,左耳到右耳之間的空間為"oooo",右耳以右的空間為"0010";將肩以下的空間也劃分為三個(gè)空間,左肩以左的空間為"oior,左肩到右肩的空間為"oioo",右肩以右的空間為"0110";手掌方向根據(jù)手掌矢量對(duì)應(yīng)的位置跟蹤器的XYZ坐標(biāo),手掌朝上OOIO,手掌朝下OOll,手掌朝左oioi,手掌朝右oioo,手掌朝前1001以及手掌朝身體1000。全文摘要一種基于空間編碼的手語(yǔ)運(yùn)動(dòng)信息與文本信息相互轉(zhuǎn)換的實(shí)現(xiàn)方法,首先建立文本信息、手語(yǔ)編碼信息和動(dòng)作動(dòng)畫(huà)建立對(duì)應(yīng)序列的手語(yǔ)字典數(shù)據(jù)庫(kù),通過(guò)檢測(cè)佩戴者的手形變換的數(shù)據(jù)手套和佩戴者的手所在空間區(qū)域的位置跟蹤器,根據(jù)數(shù)據(jù)手套和位置跟蹤器進(jìn)行手語(yǔ)識(shí)別的智能識(shí)別,所述智能識(shí)別包括手語(yǔ)運(yùn)動(dòng)信息轉(zhuǎn)化為文本信息模塊、文本信息轉(zhuǎn)化為手語(yǔ)信息模塊。本發(fā)明提供一種快速性好、實(shí)時(shí)性強(qiáng)、成本低的基于空間編碼的手語(yǔ)運(yùn)動(dòng)信息與文本信息相互轉(zhuǎn)換的實(shí)現(xiàn)方法。文檔編號(hào)G09B21/00GK101577062SQ20081016375公開(kāi)日2009年11月11日申請(qǐng)日期2008年12月30日優(yōu)先權(quán)日2008年12月30日發(fā)明者應(yīng)文良,張寧寧,曉李,容顧申請(qǐng)人:浙江工業(yè)大學(xué)