專利名稱：一種口型語言的轉(zhuǎn)換方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信技術(shù)領(lǐng)域，特別涉及一種口型語言的轉(zhuǎn)換方法及裝置。
背景技術(shù)：
通信技術(shù)快速發(fā)展的現(xiàn)代社會(huì)，手機(jī)產(chǎn)品在通信方面帶給了人們極大的便 利，從藍(lán)牙技術(shù)到無線上網(wǎng)都顯示出了手機(jī)產(chǎn)品的強(qiáng)大功能。利用手機(jī)產(chǎn)品進(jìn) 行通話，成為了人們聯(lián)系的主要方式。如今，攝像頭也已經(jīng)成為了手機(jī)的標(biāo)準(zhǔn) 配置，隨著手機(jī)功能的多樣化，手機(jī)產(chǎn)品漸漸成為了人們?nèi)粘Ｉ钪械谋匦杵贰?br> 現(xiàn)有的手機(jī)產(chǎn)品在通話時(shí)，都是利用語音通話技術(shù)，通過將人的語音信號(hào) 轉(zhuǎn)換為相應(yīng)的電信號(hào)，再通過無限射頻技術(shù)發(fā)送，接受方接收到信號(hào)，還原出 原來的語音信號(hào)。
在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)，現(xiàn)有技術(shù)存在以下缺點(diǎn) 現(xiàn)有的手機(jī)產(chǎn)品，主要是對(duì)通話方的語音信號(hào)進(jìn)行接受處理，沒有考慮到 具有語音障礙的人士基本無法使用語音通話技術(shù)，因此，現(xiàn)有的手機(jī)產(chǎn)品還不
能夠?yàn)榫哂姓Z音障礙的人士提供真正的方便。

發(fā)明內(nèi)容
為了滿足具有語音障礙人士的通話需求，為具有語音障礙的人士提供方便， 本發(fā)明實(shí)施例提供了一種口型語言的轉(zhuǎn)換方法及裝置，技術(shù)方案如下 一方面，提供了一種口型語言的轉(zhuǎn)換方法，所述方法包括 將采集的嘴唇運(yùn)動(dòng)視頻分割成口型圖像序列組；
對(duì)所述口型圖像序列組進(jìn)行識(shí)別，得到所述口型圖像序列組對(duì)應(yīng)的語音音
節(jié)
另一方面，提供了一種口型語言的轉(zhuǎn)換裝置，所述裝置包括 分割模塊，用于將采集的嘴唇運(yùn)動(dòng)視頻分割成口型圖像序列組；
識(shí)別模塊，用于對(duì)所述口型圖像序列組進(jìn)行識(shí)別，得到所述口型圖像序列組對(duì)應(yīng)的語音音節(jié)。
還提供了一種口型語言的轉(zhuǎn)換方法，所述方法包括
識(shí)別語音音節(jié)對(duì)應(yīng)的口型圖像序列，獲得所述語音音節(jié)對(duì)應(yīng)的口型圖4象序
列；
將所述口型圖像序列連續(xù)播放，產(chǎn)生對(duì)應(yīng)的口型語言。
還提供了一種口型語言的轉(zhuǎn)換裝置，所述轉(zhuǎn)換裝置包括
識(shí)別模塊，用于識(shí)別語音音節(jié)對(duì)應(yīng)的口型圖像序列，獲得所述語音音節(jié)對(duì)
應(yīng)的口型圖像序列；
播放模塊，用于將所述識(shí)別模塊識(shí)別出的口型圖像序列連續(xù)播放，產(chǎn)生對(duì)
應(yīng)的口型語言。
本發(fā)明實(shí)施例提供的技術(shù)方案的有益效果是
通過將采集的嘴唇運(yùn)動(dòng)視頻分割成口型圖像序列，并識(shí)別口型圖像序列所 對(duì)應(yīng)的語音音節(jié)，實(shí)現(xiàn)口型語言到語音音節(jié)妁轉(zhuǎn)換，還可以通過識(shí)別出語音音 節(jié)對(duì)應(yīng)的口型圖像序列，實(shí)現(xiàn)語音音節(jié)到口型語言的轉(zhuǎn)換，解決了語音障礙人 士的通話問題，從而滿足語音障礙人士的通話需求，為語音障礙人士提供方便。


為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施 例或現(xiàn)有技術(shù)描述中所需要使用的附圖作筒單地介紹，顯而易見地，下面描述 中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付 出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。 圖1是本發(fā)明實(shí)施例1提供的口型語言的轉(zhuǎn)換方法流程圖； 圖2是本發(fā)明實(shí)施例l提供的另一種口型語言的轉(zhuǎn)換方法流程圖； 圖3是本發(fā)明實(shí)施例2提供的口型語言的轉(zhuǎn)換方法流程圖； 圖4是本發(fā)明實(shí)施例2提供的口型圖像示意圖； 圖5是本發(fā)明實(shí)施例2提供的另一種口型語言的轉(zhuǎn)換方法流程圖； 圖6是本發(fā)明實(shí)施例3提供的口型語言的轉(zhuǎn)換裝置結(jié)構(gòu)示意圖； 圖7是本發(fā)明實(shí)施例3提供的另一種口型語言的轉(zhuǎn)換裝置結(jié)構(gòu)示意圖； 圖8是本發(fā)明實(shí)施例3提供的又一種口型語言的轉(zhuǎn)換裝置結(jié)構(gòu)示意圖； 圖9是本發(fā)明實(shí)施例4提供的口型語言的轉(zhuǎn)換裝置結(jié)構(gòu)示意5圖IO是本發(fā)明實(shí)施例4提供的另一種口型語言的轉(zhuǎn)換裝置結(jié)構(gòu)示意圖。
具體實(shí)施例方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明
實(shí)施方式作進(jìn)一步地詳細(xì)描述。 實(shí)施例1
參見圖1,本實(shí)施例提供了一種口型語言的轉(zhuǎn)換方法，所述方法包括 101:將釆集的嘴唇運(yùn)動(dòng)視頻分割成口型圖像序列組；
102:對(duì)所述口型圖像序列組進(jìn)行識(shí)別，得到所述口型圖像序列組對(duì)應(yīng)的語 音音節(jié)。
上述方法通過對(duì)表現(xiàn)口型語言的嘴唇運(yùn)動(dòng)視頻進(jìn)行分割和識(shí)別，實(shí)現(xiàn)了 口 型語言到語音音節(jié)的轉(zhuǎn)換，參見圖2,本實(shí)施例還提供了一種口型語言的轉(zhuǎn)換方 法，能夠?qū)崿F(xiàn)語音音節(jié)到口型語言的轉(zhuǎn)換，方法流程如下
201:識(shí)別語音音節(jié)對(duì)應(yīng)的口型圖像序列，獲得所述語音音節(jié)對(duì)應(yīng)的口型圖 像序列；
202:將所述口型圖像序列連續(xù)播放，產(chǎn)生對(duì)應(yīng)的口型語言。 本實(shí)施例通過對(duì)采集的嘴唇運(yùn)動(dòng)視頻進(jìn)行分割和識(shí)別，實(shí)現(xiàn)口型語言到語 音音節(jié)的轉(zhuǎn)換，并通過識(shí)別出語音音節(jié)對(duì)應(yīng)的口型圖像序列，實(shí)現(xiàn)語音音節(jié)到 口型語言的轉(zhuǎn)換，解決了語音障礙人士的通話問題，從而滿足語音障礙人士的 通話需求，為語音障礙人士提供方便。
實(shí)施例2
本實(shí)施例提供了一種口型語言的轉(zhuǎn)換方法，為了便于說明，以手機(jī)產(chǎn)品在 通話時(shí)應(yīng)用本實(shí)施例提供的口型語言的轉(zhuǎn)換方法為例，且該手機(jī)產(chǎn)品具有攝像 頭的配置，參見圖3，該口型語言的轉(zhuǎn)換方法流程如下所示
301:用手機(jī)攝像頭錄制人在說話時(shí)的嘴唇運(yùn)動(dòng)視頻，該嘴唇運(yùn)動(dòng)視頻由連 續(xù)口型圖像序列組成，對(duì)手機(jī)攝像頭釆集的嘴唇運(yùn)動(dòng)視頻進(jìn)行視頻分割，即將 連續(xù)的口型圖像序列分割成口型圖 <象序列組。
對(duì)于該步驟，因?yàn)槿嗽诎l(fā)音時(shí)，字與字之間會(huì)有停頓，停頓時(shí)采集的口型 圖像序列的特征變化很小，利用這一特性，可以很容易將連續(xù)的口型圖像序列
6分割出多組口型圖像序列，得到口型圖像序列組，每組口型圖像序列對(duì)應(yīng)一個(gè) 文字。
302:對(duì)分割出的每組口型圖像序列中的每個(gè)口型圖像進(jìn)行圖像增強(qiáng)，提取 每個(gè)口型圖像的圖像特征。
303:根據(jù)每組口型圖像序列的所有口型圖像的圖像特征，分辨出每組口型 圖像序列對(duì)應(yīng)的語音音節(jié)。
具體地，分辨每組口型圖像序列對(duì)應(yīng)的語音音節(jié)時(shí)，可以采用常用于模式 識(shí)別的H醒(Hidden Markov Model,隱馬爾可夫才莫型)來識(shí)別語音音節(jié)。
對(duì)于現(xiàn)代漢語來講， 一個(gè)文字可能表示不同的語音音節(jié)， 一個(gè)語音音節(jié)也 可以用不同的文字來表示，如jian (四聲)這個(gè)語音音節(jié)，可以用"見、件、 間、鍵、賤、建、箭"等文字表示，以圖4所示的口型圖像為例，對(duì)該步驟做 舉例說明，由圖可以看出，口型圖像A為嘴唇未運(yùn)動(dòng)時(shí)的口型圖像，設(shè)識(shí)別出 的口型圖像B的語音音節(jié)為"a (啊)"，識(shí)別出口型圖^象C的語音音節(jié)為"e (呃)"。
304:將分辨出的每組口型圖像序列對(duì)應(yīng)的語音音節(jié)結(jié)合，得到嘴唇運(yùn)動(dòng)時(shí) 所對(duì)應(yīng)的漢語纟并音。
進(jìn)一步地，得到嘴唇運(yùn)動(dòng)時(shí)所對(duì)應(yīng)的漢語拼音后，還可以將漢語拼音轉(zhuǎn)換 成文字，再轉(zhuǎn)換成語音。實(shí)際應(yīng)用方面，如果在某些特殊場(chǎng)合，如開會(huì)時(shí)，通 話雙方中的一方不方便發(fā)出聲音，那么，采用本實(shí)施例提供的方法，利用口型 語言的轉(zhuǎn)換，通話雙方仍然能夠進(jìn)行正常通話。本實(shí)施例提供的口型語言的轉(zhuǎn) 換方法，同樣能夠滿足有發(fā)聲障礙人士的通話需求。
本實(shí)施例提供的口型語言的轉(zhuǎn)換方法，不僅能夠?qū)崿F(xiàn)將口型語言轉(zhuǎn)換成語 音音節(jié)、文字或語音，同理，還能夠?qū)崿F(xiàn)將語音音節(jié)、文字或語音轉(zhuǎn)換成口型 語言。為了便于說明，仍以手機(jī)產(chǎn)品在通話時(shí)應(yīng)用本實(shí)施例提供的口型語言的 轉(zhuǎn)換方法為例，運(yùn)用該方法之前，預(yù)先在手機(jī)中存放標(biāo)準(zhǔn)的三維口型圖像庫及 拼音庫，口型圖像庫中存儲(chǔ)了標(biāo)準(zhǔn)的三維口型圖像，每個(gè)語音音節(jié)都有對(duì)應(yīng)的 一組標(biāo)準(zhǔn)的三維口型圖像序列，實(shí)現(xiàn)當(dāng)手機(jī)接收到人的語音時(shí)，將語音轉(zhuǎn)換成 口型語言，參見圖5，方法的具體流程如下
501:手機(jī)接收到語音，從已存放的拼音庫中檢索到語音相對(duì)應(yīng)的漢語拼音。
502:將漢語拼音分解為對(duì)應(yīng)的語音音節(jié)，每個(gè)語音音節(jié)對(duì)應(yīng)一組標(biāo)準(zhǔn)的三 維口型圖像序列；503:將所有語音音節(jié)對(duì)應(yīng)的所有口型圖像序列連續(xù)播放，得到對(duì)應(yīng)的嘴唇 運(yùn)動(dòng)視頻，即顯示出對(duì)應(yīng)的口型語言。
實(shí)際應(yīng)用方面，對(duì)于聽障人士，具有語音障礙，無法聽到通話方的語音， 釆用本實(shí)施例提供的方法，實(shí)現(xiàn)將語音轉(zhuǎn)換成對(duì)應(yīng)的口型語言，通話雙方仍然 能夠進(jìn)行正常通話。
本實(shí)施例通過用手機(jī)攝像頭采集嘴唇運(yùn)動(dòng)視頻，并對(duì)采集的嘴唇運(yùn)動(dòng)視頻 進(jìn)行有效的切割、圖像增強(qiáng)、圖像特征提取，并分辨口型語言所對(duì)應(yīng)語音音節(jié)， 并通過識(shí)別出語音音節(jié)對(duì)應(yīng)的口型圖^象序列，實(shí)現(xiàn)語音音節(jié)到口型語言的轉(zhuǎn)換， 解決了語音障礙人士的通話問題從而滿足語音障礙人士的通話需求，為語音障 礙人士提供方便。
實(shí)施例3
參見圖6,本實(shí)施例提供了一種口型語言的轉(zhuǎn)換裝置，該裝置包括 采集模塊601,用于釆集嘴唇運(yùn)動(dòng)視頻；
分割模塊602,用于將采集的嘴唇運(yùn)動(dòng)視頻分割成口型圖像序列組； 識(shí)別模塊603,用于對(duì)多組口型圖像序列進(jìn)行識(shí)別，得到口型圖像序列組對(duì) 應(yīng)的語音音節(jié)。
進(jìn)一步地，參見圖7,識(shí)別模塊603,具體包括
圖像增強(qiáng)單元603a,用于對(duì)每組口型圖像序列中的每個(gè)口型圖像進(jìn)行圖像 增強(qiáng)；
提取單元603b,用于提取圖像增強(qiáng)后的每個(gè)口型圖像的圖像特征，獲得每 組口型圖像序列的圖像特征；
識(shí)別單元603c，用于根據(jù)每組口型圖像序列的圖像特征，對(duì)每組口型圖像 序列進(jìn)行模式識(shí)別，分辨出每組口型圖像序列對(duì)應(yīng)的語音音節(jié)。
參見圖8,該裝置還包括
轉(zhuǎn)換模塊604,用于將識(shí)別出的語音音節(jié)轉(zhuǎn)換成漢語拼音、文字和語音中的 至少一種。
本實(shí)施例提供的口型語言的轉(zhuǎn)換裝置可以設(shè)置于通信終端中，通過將采集 的嘴唇運(yùn)動(dòng)視頻進(jìn)行有效的切割、圖像增強(qiáng)、圖像特征提取，并分辨口型語言 所對(duì)應(yīng)的口型圖像的語音音節(jié)，實(shí)現(xiàn)語音、文字與口型語言之間的轉(zhuǎn)換，從而解決語音障礙人士的通話問題，滿足語音障礙人士的通話需求，為具有語音障 礙的人士提供方便。
實(shí)施例4
參見圖9，本實(shí)施例提供了一種口型語言的轉(zhuǎn)換裝置，該裝置包括 識(shí)別模塊901，用于識(shí)別語音音節(jié)對(duì)應(yīng)的口型圖像序列，獲得語音音節(jié)對(duì)應(yīng) 的口型圖像序列；
播放模塊902,用于將識(shí)別模塊901識(shí)別出的口型圖像序列連續(xù)播放，產(chǎn)生 對(duì)應(yīng)的口型i吾言。
優(yōu)選地，參見圖10，該裝置還包括
轉(zhuǎn)換模塊903,用于將語音、文字、漢語拼音中的至少一種轉(zhuǎn)換成語音音節(jié)。 本實(shí)施例提供的口型語言的轉(zhuǎn)換裝置，通過識(shí)別出語音音節(jié)對(duì)應(yīng)的口型圖
像序列，實(shí)現(xiàn)語音音節(jié)到口型語言的轉(zhuǎn)換，解決了語音障礙人士的通話問題，
從而滿足語音障礙人士的通話需求，為語音障礙人士提供方便。 上述本發(fā)明實(shí)施例序號(hào)僅僅為了描述，不代表實(shí)施例的優(yōu)劣。 本發(fā)明實(shí)施例中的部分步驟，可以利用軟件實(shí)現(xiàn)，相應(yīng)的軟件程序可以存
儲(chǔ)在可讀取的存儲(chǔ)介質(zhì)中，如光盤或硬盤等。
以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的
精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的
保護(hù)范圍之內(nèi)。
權(quán)利要求
1、一種口型語言的轉(zhuǎn)換方法，其特征在于，所述方法包括將采集的嘴唇運(yùn)動(dòng)視頻分割成口型圖像序列組；對(duì)所述口型圖像序列組進(jìn)行識(shí)別，得到所述口型圖像序列組對(duì)應(yīng)的語音音節(jié)。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述口型圖像序列組進(jìn)行識(shí)別包括對(duì)每組口型圖像序列中的每個(gè)口型圖像進(jìn)行圖像增強(qiáng)，提取圖像增強(qiáng)后的每個(gè)口型圖像的圖像特征，獲得每組口型圖像序列的圖像特征；根據(jù)每組口型圖像序列的圖像特征，對(duì)每組口型圖像序列進(jìn)行模式識(shí)別，分辨出每組口型圖像序列對(duì)應(yīng)的語音音節(jié)。
3、 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述得到所述口型圖像序列組對(duì)應(yīng)的語音音節(jié)之后，還包括將識(shí)別出的語音音節(jié)轉(zhuǎn)換成漢語拼音、文字和語音中的至少一種。
4、 一種口型語言的轉(zhuǎn)換方法，其特征在于，所述方法包括識(shí)別語音音節(jié)對(duì)應(yīng)的口型圖像序列，獲得所述語音音節(jié)對(duì)應(yīng)的口型圖像序列；將所述口型圖像序列連續(xù)播放，產(chǎn)生對(duì)應(yīng)的口型語言。
5、 根據(jù)權(quán)利要求4所述的方法，其特征在于，所述識(shí)別語音音節(jié)對(duì)應(yīng)的口型圖像序列之前，還包括將語音、文字、漢語拼音中的至少一種轉(zhuǎn)換成語音音節(jié)。
6、 一種口型語言的轉(zhuǎn)換裝置，其特征在于，所述裝置包括采集模塊，用于采集嘴唇運(yùn)動(dòng)視頻；分割4莫塊，用于將采集的嘴唇運(yùn)動(dòng)視頻分割成口型圖像序列組；識(shí)別模塊，用于對(duì)所述口型圖像序列組進(jìn)行識(shí)別，得到所述口型圖像序列 組對(duì)應(yīng)的語音音節(jié)。
7、根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述識(shí)別模塊，具體包括 圖像增強(qiáng)單元，用于對(duì)每組口型圖像序列中的每個(gè)口型圖像進(jìn)行圖像增強(qiáng)； 提取單元，用于提取圖像增強(qiáng)后的每個(gè)口型圖像的圖像特征，獲得每組口型圖像序列的圖像特征；識(shí)別單元，用于根據(jù)每組口型圖像序列的圖像特征，對(duì)每組口型圖像序列進(jìn)行模式識(shí)別，分辨出每組口型圖像序列對(duì)應(yīng)的語音音節(jié)。
8、根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置，還包括 轉(zhuǎn)換模塊，用于將識(shí)別出的語音音節(jié)轉(zhuǎn)換成漢語拼音、文字和語音中的至 少一種。
9、 一種口型語言的轉(zhuǎn)換裝置，其特征在于，所述裝置包括識(shí)別模塊，用于識(shí)別語音音節(jié)對(duì)應(yīng)的口型圖像序列，獲得所述語音音節(jié)對(duì)應(yīng)的口型圖像序列；播放模塊，用于將所述識(shí)別模塊識(shí)別出的口型圖像序列連續(xù)播放，產(chǎn)生對(duì)應(yīng)的口型語言。
10、根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述裝置，還包括 轉(zhuǎn)換模塊，用于將語音、文字和漢語拼音中的至少一種轉(zhuǎn)換成語音音節(jié)。
全文摘要
本發(fā)明公開了一種口型語言的轉(zhuǎn)換方法及裝置，屬于通信技術(shù)領(lǐng)域。所述方法包括將采集的嘴唇運(yùn)動(dòng)視頻分割成口型圖像序列組；對(duì)所述口型圖像序列組進(jìn)行識(shí)別，得到所述口型圖像序列組對(duì)應(yīng)的語音音節(jié)。所述裝置包括采集模塊、分割模塊和識(shí)別模塊。本發(fā)明通過將采集的嘴唇運(yùn)動(dòng)視頻分割成口型圖像序列，并識(shí)別口型圖像序列所對(duì)應(yīng)的語音音節(jié)，實(shí)現(xiàn)口型語言到語音音節(jié)的轉(zhuǎn)換，解決了語音障礙人士的通話問題，從而滿足語音障礙人士的通話需求，具有為語音障礙人士提供方便的效果。
文檔編號(hào)G06K9/00GK101510256SQ200910129508
公開日2009年8月19日 申請(qǐng)日期2009年3月20日 優(yōu)先權(quán)日2009年3月20日
發(fā)明者孔令賀 申請(qǐng)人:深圳華為通信技術(shù)有限公司