專利名稱：手語識別方法及系統(tǒng)的制作方法
手語識別方法及系統(tǒng)
技術(shù)領(lǐng)域：
本發(fā)明涉及人工智能領(lǐng)域，特別涉及一種手語識別方法及系統(tǒng)。
背景技術(shù)：
在日常生活中，聾啞人由于喪失了正常人的聽說能力，在與他人的溝通中，通常采用手語進(jìn)行交流。聾啞人通過肢體做出規(guī)范的動(dòng)作來表示相應(yīng)的語義。但由于大多數(shù)正常人不了解手語的含義，因此聾啞人通常只能通過手語與其他聾啞人進(jìn)行交流，而與正常人的交流仍然存在障礙。傳統(tǒng)技術(shù)中，為了使聾啞人能夠與正常人進(jìn)行交流，通常使聾啞人戴上具有多個(gè)傳感器的數(shù)據(jù)手套，并通過數(shù)據(jù)手套采集聾啞人肢體的行動(dòng)軌跡和方位，并根據(jù)獲取到的行動(dòng)軌跡和方位生成具有語義的文本信息，從而將手語轉(zhuǎn)換成了正常人較易理解的自然語
言信息。然而，上述手語識別方法中，數(shù)據(jù)手套體積較小，導(dǎo)致數(shù)據(jù)手套上的傳感器的數(shù)量較少。因此，數(shù)據(jù)手套在采集肢體的行動(dòng)軌跡和方位時(shí)，得到的數(shù)據(jù)不夠準(zhǔn)確，使得傳統(tǒng)技術(shù)中手語識別方法的識別錯(cuò)誤的錯(cuò)誤率較大。

發(fā)明內(nèi)容基于此，有必要提供一種能提高準(zhǔn)確率的手語識別方法。一種手語識別方法，包括以下步驟:采集包含標(biāo)記區(qū)域的圖像；識別標(biāo)記區(qū)域的姿態(tài)；生成所述姿態(tài)對應(yīng)的控制指令；將所述控制指令轉(zhuǎn)換成自然語言信息。優(yōu)選的，所述將所述控制指令轉(zhuǎn)換成自然語言信息的步驟包括:將所述控制指令排列成控制指令序列，根據(jù)所述控制指令序列生成自然語言信肩、O優(yōu)選的，所述根據(jù)所述控制指令序列生成自然語言信息的步驟包括:計(jì)算所述控制指令序列的特征值，根據(jù)所述預(yù)設(shè)的特征值與自然語言信息的映射關(guān)系生成自然語言信息。優(yōu)選的，所述計(jì)算所述控制指令序列的特征值的步驟之前還包括:將所述控制指令序列中重復(fù)的控制指令去除。優(yōu)選的，所述計(jì)算所述控制指令序列的特征值的步驟之前還包括:將所述控制指令序列中與相鄰控制指令差別大于閾值的控制指令去除。優(yōu)選的，所述將所述 控制指令排列成控制指令序列的步驟具體為:將所述控制指令按照生成的順序排列成隊(duì)列，當(dāng)檢測到隊(duì)列末尾有連續(xù)預(yù)設(shè)個(gè)數(shù)的相同的控制指令時(shí)，排列完畢，并根據(jù)所述隊(duì)列生成控制指令序列。
優(yōu)選的，所述將所述控制指令轉(zhuǎn)換成自然語言信息的步驟之后還包括:通過文本和/或音頻的方式展示所述自然語言信息。此外，還有必要提供一種能提高準(zhǔn)確率的手語識別系統(tǒng)。一種手語識別系統(tǒng)，包括以下模塊:。圖像采集模塊，用于采集包含標(biāo)記區(qū)域的圖像；姿態(tài)識別模塊，用于識別標(biāo)記區(qū)域的姿態(tài)；指令生成模塊，用于生成所述姿態(tài)對應(yīng)的控制指令；指令轉(zhuǎn)換模塊，用于將所述控制指令轉(zhuǎn)換成自然語言信息。優(yōu)選的，所述指令轉(zhuǎn)換模塊還用于將所述控制指令排列成控制指令序列，根據(jù)所述控制指令序列生成自然語言信息。優(yōu)選的，所述指令轉(zhuǎn)換模塊還用于計(jì)算所述控制指令序列的特征值，根據(jù)所述預(yù)設(shè)的特征值與自然語言信息的映射關(guān)系生成自然語言信息。 優(yōu)選的，所述指令轉(zhuǎn)換模塊還用于將所述控制指令序列中重復(fù)的控制指令去除。優(yōu)選的，所述指令轉(zhuǎn)換模塊還用于將所述控制指令序列中與相鄰控制指令差別大于閾值的控制指令去除。優(yōu)選的，所述指令轉(zhuǎn)換模塊還用于將所述控制指令按照生成的順序排列隊(duì)列，當(dāng)檢測到隊(duì)列末尾有連續(xù)預(yù)設(shè)個(gè)數(shù)的相同的控制指令時(shí)，排列完畢，并根據(jù)所述隊(duì)列生成控制指令序列。 優(yōu)選的，還包括信息展示模塊，用于通過文本和/或音頻的方式展示所述自然語
言信息。上述手語識別方法及系統(tǒng)，根據(jù)采集到的包含標(biāo)記區(qū)域的圖像識別出標(biāo)記區(qū)域所產(chǎn)生的姿態(tài)，并生成姿態(tài)對應(yīng)的控制指令，然后將該控制指令轉(zhuǎn)換成正常人容易理解的自然語言信息。由于通過獲取肢體動(dòng)作的圖像來判斷肢體動(dòng)作的運(yùn)動(dòng)軌跡和姿態(tài)，因此，對整個(gè)肢體動(dòng)作的過程均有記錄，從而避免了因?yàn)槿狈鞲衅鞫┑裟硞€(gè)動(dòng)作或姿態(tài)的情況，從而提高了識別手語時(shí)的準(zhǔn)確率。

圖1為本發(fā)明中控制瀏覽網(wǎng)頁的方法的流程示意圖；圖2為一個(gè)實(shí)施例中步驟S20的流程示意圖；圖3為一個(gè)實(shí)施例中交互設(shè)備的結(jié)構(gòu)示意圖；圖4為一個(gè)實(shí)施例中構(gòu)建坐標(biāo)系的示意圖；圖5為另一個(gè)實(shí)施例中的交互設(shè)備的結(jié)構(gòu)示意圖；圖6為另一個(gè)實(shí)施例中的交互設(shè)備的結(jié)構(gòu)示意圖；圖7為另一個(gè)實(shí)施例中步驟S20的流程示意圖；圖8為另一個(gè)實(shí)施例中構(gòu)建坐標(biāo)系的示意圖；圖9為一個(gè)實(shí)施例中步驟S30的流程示意圖；圖10為另一個(gè)實(shí)施例中步驟S30的流程示意圖；圖11為一個(gè)實(shí)施例中手語識別系統(tǒng)系統(tǒng)的結(jié)構(gòu)示意圖；圖12為一個(gè)實(shí)施例中姿態(tài)識別模塊的結(jié)構(gòu)示意圖13為另一個(gè)實(shí)施例中姿態(tài)識別模塊的結(jié)構(gòu)示意圖；圖14為一個(gè)實(shí)施例中指令生成模塊的結(jié)構(gòu)示意圖；圖15為另一個(gè)實(shí)施例中指令生成模塊的結(jié)構(gòu)示意圖；圖16為另一個(gè)實(shí)施例中手語識別系統(tǒng)的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面結(jié)合具體的實(shí)施例及附圖對技術(shù)方案進(jìn)行詳細(xì)的描述。在一個(gè)實(shí)施例 中，如圖1所示，一種手語識別方法，包括以下步驟:步驟S10，采集包含標(biāo)記區(qū)域的圖像。本實(shí)施例中，標(biāo)記區(qū)域是采集的圖像中的一個(gè)區(qū)域，該區(qū)域可由交互設(shè)備形成。具體的，在一個(gè)實(shí)施例中，交互設(shè)備可以是手持裝置，可將手持裝置的一部分或全部設(shè)定為指定的顏色或形狀，采集手持裝置的圖像，圖像中的手持裝置中的該指定顏色或形狀的部分形成標(biāo)記區(qū)域。另外，交互設(shè)備還可以是帶標(biāo)記的手持裝置，即在手持裝置上附帶指定顏色或形狀的標(biāo)記(如反光材料)，采集手持裝置的圖像，圖像中的手持裝置上所附帶的指定顏色或形狀的標(biāo)記形成標(biāo)記區(qū)域。在另一個(gè)實(shí)施例中，交互設(shè)備還可以是人體部位(例如人臉、手掌、手臂等)，采集人體部位的圖像，圖像中的人體部位形成標(biāo)記區(qū)域。另外，交互設(shè)備還可以是帶標(biāo)記的人體部位，即在人體部位上附帶指定顏色或形狀的標(biāo)記(如反光材料)，采集人體部位的圖像時(shí)，圖像中的該指定顏色或形狀的標(biāo)記形成標(biāo)記區(qū)域。步驟S20，識別標(biāo)記區(qū)域的姿態(tài)。具體的，對采集到的圖像進(jìn)行處理，提取圖像中的標(biāo)記區(qū)域，然后根據(jù)標(biāo)記區(qū)域中的像素在構(gòu)建的圖像坐標(biāo)系中的像素坐標(biāo)產(chǎn)生標(biāo)記區(qū)域的姿態(tài)。所謂姿態(tài)，是指標(biāo)記區(qū)域在圖像中所形成的姿勢狀態(tài)。進(jìn)一步的，在二維圖像中，姿態(tài)為二維圖像中的標(biāo)記區(qū)域與預(yù)設(shè)位置之間的角度，即姿態(tài)角；在三維圖像中，姿態(tài)為二維圖像中的標(biāo)記區(qū)域與預(yù)設(shè)位置之間的多個(gè)姿態(tài)角所組成的矢量，即姿態(tài)向量。本發(fā)明中說的“標(biāo)記區(qū)域產(chǎn)生的姿態(tài)”，“標(biāo)記區(qū)域的姿態(tài)”、“姿態(tài)”都是指所述姿態(tài)，也就是不同實(shí)施例的姿態(tài)角與姿態(tài)向量。步驟S30，生成姿態(tài)對應(yīng)的控制指令。本實(shí)施例中，預(yù)先設(shè)定標(biāo)記區(qū)域的姿態(tài)與控制指令之間的映射關(guān)系，并將該映射關(guān)系存儲在數(shù)據(jù)庫中。在識別出標(biāo)記區(qū)域的姿態(tài)后，可根據(jù)識別出的姿態(tài)從數(shù)據(jù)庫中查找與姿態(tài)對應(yīng)的控制指令。步驟S40，將控制指令轉(zhuǎn)換成自然語言信息。自然語言信息即正常人容易理解的語言信息，如中文、英文、拉丁文等。可預(yù)先設(shè)置控制指令與自然語言信息的映射表，并存儲在數(shù)據(jù)庫中，然后通過在數(shù)據(jù)庫中查詢控制指令來獲取與其對應(yīng)的自然語言信息。例如，預(yù)設(shè)的控制指令與自然語言信息的映射表可如表I所示:表I
權(quán)利要求
1.一種手語識別方法，包括以下步驟: 采集包含標(biāo)記區(qū)域的圖像； 識別標(biāo)記區(qū)域的姿態(tài)； 生成所述姿態(tài)對應(yīng)的控制指令； 將所述控制指令轉(zhuǎn)換成自然語言信息。
2.根據(jù)權(quán)利要求1所述的手語識別方法，其特征在于，所述將所述控制指令轉(zhuǎn)換成自然語言信息的步驟包括: 將所述控制指令排列成控制指令序列，根據(jù)所述控制指令序列生成自然語言信息。
3.根據(jù)權(quán)利要求2中所述的手語識別方法，其特征在于，所述根據(jù)所述控制指令序列生成自然語言信息的步驟包括: 計(jì)算所述控制指令序列的特征值，根據(jù)所述預(yù)設(shè)的特征值與自然語言信息的映射關(guān)系生成自然語言信息。
4.根據(jù)權(quán)利要求3中所述的手語識別方法，其特征在于，所述計(jì)算所述控制指令序列的特征值的步驟之前還包括: 將所述控制指令序列中重復(fù)的控制指令去除。
5.根據(jù)權(quán)利要求3中所述的手語識別方法，其特征在于，所述計(jì)算所述控制指令序列的特征值的步驟之前還包括: 將所述控制指令序列中與相鄰控制指令差別大于閾值的控制指令去除。
6.根據(jù)權(quán)利要求2中所述的手語識別方法，其特征在于，所述將所述控制指令排列成控制指令序列的步驟包括: 將所述控制指令按照生成的順序排列成隊(duì)列，當(dāng)檢測到隊(duì)列末尾有連續(xù)預(yù)設(shè)個(gè)數(shù)的相同的控制指令時(shí)，排列完畢，并根據(jù)所述隊(duì)列生成控制指令序列。
7.根據(jù)權(quán)利要求1至6所述的手語識別方法，其特征在于，所述將所述控制指令轉(zhuǎn)換成自然語言信息的步驟之后還包括: 通過文本和/或音頻的方式展示所述自然語言信息。
8.一種手語識別系統(tǒng)，其特征在于，包括以下模塊: 圖像采集模塊，用于采集包含標(biāo)記區(qū)域的圖像； 姿態(tài)識別模塊，用于識別標(biāo)記區(qū)域的姿態(tài)； 指令生成模塊，用于生成所述姿態(tài)對應(yīng)的控制指令； 指令轉(zhuǎn)換模塊，用于將所述控制指令轉(zhuǎn)換成自然語言信息。
9.根據(jù)權(quán)利要求8所述的手語識別系統(tǒng)，其特征在于，所述指令轉(zhuǎn)換模塊還用于將所述控制指令排列成控制指令序列，根據(jù)所述控制指令序列生成自然語言信息。
10.根據(jù)權(quán)利要求9中所述的手語識別系統(tǒng)，其特征在于，所述指令轉(zhuǎn)換模塊還用于計(jì)算所述控制指令序列的特征值， 根據(jù)所述預(yù)設(shè)的特征值與自然語言信息的映射關(guān)系生成自然語言信息。
11.根據(jù)權(quán)利要求10中所述的手語識別系統(tǒng)，其特征在于，所述指令轉(zhuǎn)換模塊還用于將所述控制指令序列中重復(fù)的控制指令去除。
12.根據(jù)權(quán)利要求10中所述的手語識別方法，其特征在于，所述指令轉(zhuǎn)換模塊還用于將所述控制指令序列中與相鄰控制指令差別大于閾值的控制指令去除。
13.根據(jù)權(quán)利要求9中所述的手語識別系統(tǒng)，其特征在于，所述指令轉(zhuǎn)換模塊還用于將所述控制指令按照生成的順序排列隊(duì)列，當(dāng)檢測到隊(duì)列末尾有連續(xù)預(yù)設(shè)個(gè)數(shù)的相同的控制指令時(shí)，排列完畢，并根據(jù)所述隊(duì)列生成控制指令序列。
14.根據(jù)權(quán)利要求8至13任一項(xiàng)所述的手語識別系統(tǒng)，其特征在于，還包括信息展示模塊，用于通過文本和/或音頻的方`式展示所述自然語言信息。
全文摘要
本發(fā)明涉及一種手語識別方法，包括以下步驟采集包含標(biāo)記區(qū)域的圖像；識別標(biāo)記區(qū)域的姿態(tài)；生成所述姿態(tài)對應(yīng)的控制指令；將所述控制指令轉(zhuǎn)換成自然語言信息。此外，還提供了一種手語識別系統(tǒng)。上述手語識別方法及系統(tǒng)可以提高識別的準(zhǔn)確率。
文檔編號G09B21/00GK103136986SQ20121003159
公開日2013年6月5日 申請日期2012年2月13日 優(yōu)先權(quán)日2011年12月2日
發(fā)明者雷敏娟, 周雷, 師丹瑋 申請人:深圳泰山在線科技有限公司