一種便攜式聾啞人交流設(shè)備的制造方法
【專利摘要】本發(fā)明公開(kāi)了一種便攜式聾啞人交流設(shè)備，包括聾啞人輸入信息處理模塊及正常人輸入信息處理模塊；聾啞人通過(guò)所述聾啞人信息輸入處理模塊將輸入的手語(yǔ)手勢(shì)或文本翻譯為語(yǔ)音；正常人通過(guò)正常人信息輸入處理模塊將輸入的語(yǔ)音或輸入的文本翻譯為手語(yǔ)手勢(shì)和文本并同時(shí)進(jìn)行顯示其能夠?qū)⒚@啞人的手語(yǔ)手勢(shì)或輸入的文本轉(zhuǎn)換為語(yǔ)音，將正常人的語(yǔ)音或輸入的文本轉(zhuǎn)換為手語(yǔ)手勢(shì)和文本。本發(fā)明是一款聾啞人可隨身攜帶的用于和正常人現(xiàn)場(chǎng)交流的設(shè)備，其能夠快速的進(jìn)行信息處理轉(zhuǎn)換，并具有深度學(xué)習(xí)功能，能夠逐漸適應(yīng)使用者的表達(dá)習(xí)慣，具有一定的實(shí)時(shí)性和實(shí)用性。
【專利說(shuō)明】
一種便攜式聾啞人交流設(shè)備
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種能夠幫助聾啞人與正常人面對(duì)面交流的單機(jī)設(shè)備，具體涉及一種手語(yǔ)手勢(shì)、語(yǔ)音、文本相互轉(zhuǎn)換的設(shè)備，屬于電子技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]根據(jù)全國(guó)統(tǒng)計(jì)局的統(tǒng)計(jì)，2015年我國(guó)聽(tīng)力語(yǔ)言殘疾者即聾啞人居視力殘疾、肢殘、智殘等五大殘疾之首，為2057萬(wàn)人。他們與正常人進(jìn)行交流時(shí)存在聽(tīng)、說(shuō)障礙。傳統(tǒng)的解決方案為手語(yǔ)和文字書寫，具有一定的局限性。一方面，文字交流受到了閱讀能力、紙筆書寫等條件的制約。另一方面，手語(yǔ)只有部分聾啞人和極少數(shù)專業(yè)人士掌握，普通人對(duì)手語(yǔ)很陌生，很難與聾啞人交流。
[0003]國(guó)內(nèi)的申請(qǐng)公開(kāi)號(hào)為CN101115088A，名稱為“聾啞人專用手機(jī)”的專利。其以智能型手機(jī)為載體，設(shè)置有信息輸入處理模塊、語(yǔ)音應(yīng)用延伸模塊和信息反饋處理模塊;聾啞人通過(guò)信息輸入處理模塊可以直接將文字信息向外界或發(fā)送短信，或轉(zhuǎn)換為語(yǔ)音傳遞給交流對(duì)象;交流對(duì)象的語(yǔ)音或其他反饋信息通過(guò)信息反饋處理模塊轉(zhuǎn)換為相應(yīng)的文字或圖形，反饋給聾啞人。其能夠?qū)崿F(xiàn)聾啞人與正常人之間的交流。但其不能識(shí)別聾啞人手語(yǔ)手勢(shì)。
[0004]國(guó)內(nèi)的申請(qǐng)公開(kāi)號(hào)CN101605158A，名稱為“聾啞人專用手機(jī)”的專利。其包括一顯示屏，以及一用于采集聾啞人手語(yǔ)圖像的信息采集模塊及一與所述信息采集模塊相連的手語(yǔ)翻譯系統(tǒng)，所述手語(yǔ)翻譯系統(tǒng)包括一信息輸入模塊及一信息輸出模塊，所述信息輸入模塊可將文字信息或語(yǔ)音信息轉(zhuǎn)換為手語(yǔ)圖片信息，并可顯示于所述顯示屏上，所述信息輸出模塊可將所述信息采集模塊采集的手語(yǔ)圖像轉(zhuǎn)換為文字信息或語(yǔ)音信息。其能夠?qū)崿F(xiàn)聾啞人與外界的交流。
[0005]上述專利所涉及聾啞人專用手機(jī)在實(shí)現(xiàn)聾啞人與外界交流時(shí)至少使用兩部手機(jī)。其只能與聾啞人專用手機(jī)通信，或通過(guò)專用技術(shù)設(shè)備與普通手機(jī)通信。其極大的限制了實(shí)用性。且其處理速度較慢，實(shí)時(shí)性較差。

【發(fā)明內(nèi)容】

[0006]針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明的目的是提供一種便攜式聾啞人交流設(shè)備，其為單機(jī)設(shè)備，能夠?qū)⒚@啞人的手語(yǔ)手勢(shì)或輸入的文本轉(zhuǎn)換為語(yǔ)音，將正常人的語(yǔ)音或輸入的文本轉(zhuǎn)換為手語(yǔ)手勢(shì)和文本，是一款聾啞人可隨身攜帶的用于和正常人面對(duì)面現(xiàn)場(chǎng)交流的設(shè)備，能夠快速的進(jìn)行信息處理轉(zhuǎn)換，并具有深度學(xué)習(xí)功能，能夠逐漸適應(yīng)使用者的表達(dá)習(xí)慣，具有一定的實(shí)時(shí)性和實(shí)用性。
[0007]本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的:
[0008]—種便攜式聾啞人交流設(shè)備，包括聾啞人輸入信息處理模塊及正常人輸入信息處理模塊;聾啞人通過(guò)所述聾啞人信息輸入處理模塊將輸入的手語(yǔ)手勢(shì)或文本翻譯為語(yǔ)音；正常人通過(guò)正常人信息輸入處理模塊將輸入的語(yǔ)音或輸入的文本翻譯為手語(yǔ)手勢(shì)和文本并同時(shí)進(jìn)行顯示；
[0009]所述聾啞人信息輸入處理模塊包括:
[0010]聾啞人文本輸入模塊，其用于聾啞人輸入文本信息，并將文本信息發(fā)送至語(yǔ)音合成模塊；
[0011]手勢(shì)識(shí)別處理模塊，其用于對(duì)聾啞人的手語(yǔ)手勢(shì)進(jìn)行圖像提取，并通過(guò)圖像識(shí)別和處理后轉(zhuǎn)換成文本信息，將文本信息發(fā)送至語(yǔ)音識(shí)別模塊；
[0012]語(yǔ)音合成模塊，其分別與聾啞人文本輸入模塊及手勢(shì)識(shí)別處理模塊的輸出端連接，用于將接收的文本信息轉(zhuǎn)換為語(yǔ)音進(jìn)行播報(bào)；
[0013]所述正常人信息輸入處理模塊包括:
[0014]正常人文本輸入模塊，其用于正常人輸入文本信息，并將文本信息發(fā)送至文本-圖像存儲(chǔ)器；
[0015]語(yǔ)音識(shí)別處理模塊，其用于對(duì)正常人輸入的語(yǔ)音進(jìn)行提取，并通過(guò)識(shí)別和處理后轉(zhuǎn)換問(wèn)文本信息，將文本信息發(fā)送至文本-圖像存儲(chǔ)器；
[0016]文本-圖像存儲(chǔ)器，其分別與正常人文本輸入模塊和語(yǔ)音識(shí)別處理模塊的輸出端連接，其對(duì)文本和手勢(shì)圖像建立一一對(duì)應(yīng)的存儲(chǔ)模式，可查找出文本信息對(duì)應(yīng)的手勢(shì)圖像，將與所識(shí)別的文本信息對(duì)應(yīng)的手勢(shì)圖像輸出至顯示屏；
[0017]顯示屏，其與文本-圖像存儲(chǔ)器的輸出端連接，用于顯示接收來(lái)的圖像。
[0018]進(jìn)一步地，所述聾啞人信息輸入處理模塊中的手勢(shì)識(shí)別處理模塊包括:
[0019]手勢(shì)拾取模塊，其用于對(duì)聾啞人的手語(yǔ)手勢(shì)進(jìn)行圖像提取，并發(fā)送至第一圖像識(shí)別豐旲塊;
[0020]第一圖像識(shí)別模塊，其與手勢(shì)拾取模塊的輸出端連接，接收手勢(shì)拾取模塊提取的手勢(shì)圖像，調(diào)用圖像標(biāo)識(shí)存儲(chǔ)器中的數(shù)據(jù)，對(duì)手勢(shì)圖像的分類標(biāo)識(shí)進(jìn)行識(shí)別，并對(duì)后續(xù)接收的手勢(shì)圖像進(jìn)行歸類；
[0021 ]圖像標(biāo)識(shí)存儲(chǔ)器，其與第一圖像識(shí)別模塊連接，用于存儲(chǔ)圖像分類標(biāo)識(shí)；
[0022]第二圖像識(shí)別模塊，其與第一圖像識(shí)別模塊的輸出端連接，接收第一圖像識(shí)別模塊識(shí)別出的手勢(shì)圖像的分類標(biāo)識(shí)，并根據(jù)此分類標(biāo)示在文本-圖像存儲(chǔ)器指定存儲(chǔ)區(qū)域?qū)κ謩?shì)圖像進(jìn)行識(shí)別，并將手勢(shì)圖像對(duì)應(yīng)的文本信息輸出至所述語(yǔ)音合成模塊；
[0023]文本-圖像存儲(chǔ)器，其與第二圖像識(shí)別模塊連接，對(duì)手語(yǔ)手勢(shì)圖像進(jìn)行分類存儲(chǔ)，并可查找各分類標(biāo)識(shí)下的手勢(shì)圖像對(duì)應(yīng)的文本信息。
[0024]進(jìn)一步地，所述正常人輸入信息處理模塊的語(yǔ)音識(shí)別處理模塊包括:
[0025]語(yǔ)音拾取模塊，其用于拾取正常人輸入的語(yǔ)音信息，并發(fā)送至語(yǔ)音特征提取模塊；
[0026]語(yǔ)音特征提取-模塊，其與語(yǔ)音拾取模塊的輸出端連接，用于對(duì)語(yǔ)音信息進(jìn)行特征提取后發(fā)送至第一語(yǔ)音識(shí)別模塊；
[0027]第一語(yǔ)音識(shí)別模塊，其與語(yǔ)音特征提取模塊的輸出端連接，接收特征提取后的語(yǔ)音信息，調(diào)用語(yǔ)音標(biāo)識(shí)存儲(chǔ)器中的數(shù)據(jù)，對(duì)語(yǔ)音信息的語(yǔ)音分類標(biāo)識(shí)進(jìn)行識(shí)別，并對(duì)后續(xù)接收的語(yǔ)音信息進(jìn)行歸類；
[0028]語(yǔ)音標(biāo)識(shí)存儲(chǔ)器，其與第一語(yǔ)音識(shí)別模塊連接，用于存儲(chǔ)語(yǔ)音分類標(biāo)識(shí)；
[0029]第二語(yǔ)音識(shí)別模塊，其與第一語(yǔ)音識(shí)別模塊的輸出端連接，接收第一語(yǔ)音識(shí)別模塊識(shí)別出的語(yǔ)音分類標(biāo)識(shí)，并根據(jù)此語(yǔ)音分類標(biāo)示在詞庫(kù)存儲(chǔ)器的指定區(qū)域進(jìn)行語(yǔ)音識(shí)另IJ，并將識(shí)別出的語(yǔ)音對(duì)應(yīng)的文本信息輸出至文本-圖像存儲(chǔ)器；
[0030]詞庫(kù)存儲(chǔ)器，其與第二語(yǔ)音識(shí)別模塊連接，對(duì)語(yǔ)音信息進(jìn)行分類存儲(chǔ)，并可查找各語(yǔ)音信息對(duì)應(yīng)的文本信息。更進(jìn)一步地，所述語(yǔ)音特征提取模塊包括語(yǔ)音濾波模塊、與語(yǔ)音濾波模塊連接的背景噪聲去除模塊、與背景噪聲去除模塊連接的語(yǔ)音放大模塊，語(yǔ)音濾波模塊允許300?3000Hz的音頻信號(hào)通過(guò)，背景噪聲去除模塊去除背景噪聲，語(yǔ)音放大模塊對(duì)音頻信號(hào)進(jìn)行放大處理。
[0031]本發(fā)明所達(dá)到的有益效果是:能夠?qū)⒚@啞人的手語(yǔ)手勢(shì)或輸入的文本轉(zhuǎn)換為語(yǔ)音，將正常人的語(yǔ)音或輸入的文本轉(zhuǎn)換為手語(yǔ)手勢(shì)和文本。幫助聾啞人與正常人正常交流。通過(guò)語(yǔ)音特征提取模塊，能夠?yàn)V除原音頻信號(hào)的噪聲，確保語(yǔ)音識(shí)別的正確率。對(duì)聾啞人的手語(yǔ)手勢(shì)以及正常人的語(yǔ)音進(jìn)行分類識(shí)別，確保識(shí)別的速度。該設(shè)備為聾啞人隨身攜帶的設(shè)備，不需其他設(shè)備，能夠進(jìn)行深度學(xué)習(xí)，逐漸適應(yīng)使用者的表達(dá)習(xí)慣。
【附圖說(shuō)明】
[0032]圖1是本發(fā)明的功能模塊框圖
[0033]其中:1_聾啞人，2-聾啞人輸入信息處理模塊，2A-文本輸入模塊，2B-手勢(shì)拾取模塊，2C-圖像標(biāo)識(shí)存儲(chǔ)器，2D-第一圖像識(shí)別模塊，5-文本-圖像存儲(chǔ)器，2F-第二圖像識(shí)別模塊，2G-語(yǔ)音合成模塊，3-正常人，4-正常人輸入信息處理模塊，4A-正常人文本輸入模塊，4B-語(yǔ)音拾取模塊，4C-語(yǔ)音特征提取模塊，4CA-語(yǔ)音濾波模塊，4CB-背景噪聲去除模塊，4CC-語(yǔ)音放大模塊，4D-第一語(yǔ)音識(shí)別模塊，4E-語(yǔ)音標(biāo)識(shí)存儲(chǔ)器，4F-第二語(yǔ)音識(shí)別模塊，4G-詞庫(kù)存儲(chǔ)器，4H-顯示屏。
【具體實(shí)施方式】
[0034]以下將結(jié)合附圖對(duì)本發(fā)明提出的一種汽車自動(dòng)駕駛儀實(shí)施例進(jìn)行詳細(xì)描述。
[0035]參見(jiàn)圖1，一種便攜式聾啞人交流設(shè)備，包括聾啞人輸入信息處理模塊2，正常人輸入信息處理模塊4。聾啞人I通過(guò)聾啞人信息輸入處理模塊2將輸入的手語(yǔ)手勢(shì)或文本翻譯為可傳遞給正常人的語(yǔ)音;正常人3通過(guò)正常人信息輸入處理模塊4將輸入的語(yǔ)音或輸入的文本翻譯為手語(yǔ)手勢(shì)和文本并同時(shí)顯示在顯示屏上。
[0036]一.所述聾啞人信息輸入處理模塊2包括:
[0037]1.聾啞人文本輸入模塊2A，其用于聾啞人輸入的文本信息，并將文本信息發(fā)送至語(yǔ)音合成模塊。
[0038]2.手勢(shì)識(shí)別處理模塊，其用于對(duì)聾啞人的手語(yǔ)手勢(shì)進(jìn)行圖像提取，并通過(guò)圖像識(shí)別和處理后轉(zhuǎn)換成文本信息，將文本信息發(fā)送至語(yǔ)音識(shí)別模塊。
[0039]聾啞人信息輸入處理模塊中的手勢(shì)識(shí)別處理模塊包括:
[0040]I)手勢(shì)拾取模塊2B，其用于對(duì)聾啞人的手語(yǔ)手勢(shì)進(jìn)行圖像提取，并發(fā)送至第一圖像識(shí)別t吳塊；
[0041]2)第一圖像識(shí)別模塊2D，其與手勢(shì)拾取模塊2B的輸出端連接，接收手勢(shì)拾取模塊提取的手勢(shì)圖像，調(diào)用圖像標(biāo)識(shí)存儲(chǔ)器中的數(shù)據(jù)，對(duì)手勢(shì)圖像的分類標(biāo)識(shí)進(jìn)行識(shí)別，并對(duì)后續(xù)的手勢(shì)圖像進(jìn)行歸類；
[0042]3)圖像標(biāo)識(shí)存儲(chǔ)器2C，其與第一圖像識(shí)別模塊2D連接，用于存儲(chǔ)圖像分類標(biāo)識(shí)；
[0043]4)第二圖像識(shí)別模塊2F，其與第一圖像識(shí)別模塊2D的輸出端連接，接收第一圖像識(shí)別模塊2D識(shí)別出的手勢(shì)圖像的分類標(biāo)識(shí)，并根據(jù)此分類標(biāo)示在文本-圖像存儲(chǔ)器5指定存儲(chǔ)區(qū)域?qū)κ謩?shì)圖像進(jìn)行識(shí)別。并將手勢(shì)圖像對(duì)應(yīng)的文本信息輸出至所述語(yǔ)音合成模塊2G;
[0044]5)文本-圖像存儲(chǔ)器5，其與第二圖像識(shí)別模塊2F連接，對(duì)手語(yǔ)手勢(shì)圖像進(jìn)行分類存儲(chǔ)，并可查找各分類標(biāo)識(shí)下的手勢(shì)圖像對(duì)應(yīng)的文本信息。
[0045]3.語(yǔ)音合成模塊2G，其分別與聾啞人文本輸入模塊2A及手勢(shì)識(shí)別處理模塊的輸出端連接，用于將接收的文本信息轉(zhuǎn)換為語(yǔ)音進(jìn)行播報(bào)。
[0046]二.所述正常人信息輸入處理模塊包括:
[0047]1.正常人文本輸入模塊4A，其用于正常人輸入文本信息，并將文本信息發(fā)送至文本-圖像存儲(chǔ)器5。
[0048]2.語(yǔ)音識(shí)別處理模塊，其用于對(duì)正常人輸入的語(yǔ)音進(jìn)行提取，并通過(guò)識(shí)別和處理后轉(zhuǎn)換問(wèn)文本信息，將文本信息發(fā)送至文本-圖像存儲(chǔ)器5。
[0049]正常人輸入信息處理模塊的語(yǔ)音識(shí)別處理模塊包括:
[0050]I)語(yǔ)音拾取模塊4B，其用于拾取正常人輸入的語(yǔ)音信息，并發(fā)送至語(yǔ)音特征提取模塊4C;
[0051]2)語(yǔ)音特征提取模塊4C，其與語(yǔ)音拾取模塊4B的輸出端連接，用于對(duì)語(yǔ)音信息進(jìn)行特征提取后發(fā)送至第一語(yǔ)音識(shí)別模塊4D;
[0052]語(yǔ)音特征提取模塊4C包括語(yǔ)音濾波模塊4CA、與語(yǔ)音濾波模塊4CA連接的背景噪聲去除模塊4CB、與背景噪聲去除模塊4CB連接的語(yǔ)音放大模塊4CC，語(yǔ)音濾波模塊4CA允許300?3000Hz的音頻信號(hào)通過(guò)，背景噪聲去除模塊4CB去除背景噪聲，語(yǔ)音放大模塊4CC對(duì)音頻信號(hào)進(jìn)行放大處理。
[0053]3)第一語(yǔ)音識(shí)別模塊4D，其與語(yǔ)音特征提取模塊4C的輸出端連接，接收特征提取后的語(yǔ)音信息，調(diào)用語(yǔ)音標(biāo)識(shí)存儲(chǔ)器中的數(shù)據(jù)，對(duì)語(yǔ)音信息的語(yǔ)音分類標(biāo)識(shí)進(jìn)行識(shí)別，并對(duì)后續(xù)的語(yǔ)音信息進(jìn)行歸類；
[0054]4)語(yǔ)音標(biāo)識(shí)存儲(chǔ)器4E，其與第一語(yǔ)音識(shí)別模塊4D連接，用于存儲(chǔ)語(yǔ)音分類標(biāo)識(shí)；
[0055]5)第二語(yǔ)音識(shí)別模塊4F，其與第一語(yǔ)音識(shí)別模塊4D的輸出端連接，接收第一語(yǔ)音識(shí)別模塊識(shí)4D別出的語(yǔ)音分類標(biāo)識(shí)，并根據(jù)此語(yǔ)音分類標(biāo)示在詞庫(kù)存儲(chǔ)器4G的指定區(qū)域進(jìn)行語(yǔ)音識(shí)別，并將識(shí)別出的語(yǔ)音對(duì)應(yīng)的文本信息輸出至文本-圖像存儲(chǔ)器5;
[0056]6)詞庫(kù)存儲(chǔ)器4G，其與第二語(yǔ)音識(shí)別模塊4D連接，對(duì)語(yǔ)音信息進(jìn)行分類存儲(chǔ)，并可查找各語(yǔ)音信息對(duì)應(yīng)的文本信息。
[0057]3.文本-圖像存儲(chǔ)器5，其分別與正常人文本輸入模塊4A和語(yǔ)音識(shí)別處理模塊的輸出端連接，其對(duì)文本和手勢(shì)圖像建立一一對(duì)應(yīng)的存儲(chǔ)模式，可查找出文本信息對(duì)應(yīng)的手勢(shì)圖像，將與所識(shí)別的文本信息對(duì)應(yīng)的手勢(shì)圖像輸出至顯示屏4H。
[0058]4.顯示屏4H，其與文本-圖像存儲(chǔ)器5的輸出端連接，用于顯示接收來(lái)的圖像。
[0059]聾啞人I可以通過(guò)聾啞人文本輸入模塊2A將文本輸入給語(yǔ)音合成模塊2G，語(yǔ)音合成模塊2G將文本轉(zhuǎn)換為語(yǔ)音。當(dāng)聾啞人I使用手語(yǔ)時(shí)，手勢(shì)拾取模塊2B捕獲手語(yǔ)手勢(shì)，第一圖像識(shí)別模塊2D對(duì)手勢(shì)拾取模塊2B所捕獲的手勢(shì)圖像標(biāo)識(shí)進(jìn)行識(shí)別，并對(duì)手勢(shì)拾取模塊2B捕獲的后續(xù)圖像進(jìn)行歸類，第二圖像識(shí)別模塊2F根據(jù)第一圖像識(shí)別模塊2D識(shí)別的手語(yǔ)手勢(shì)圖像類別在指定文本-圖像存儲(chǔ)器5存儲(chǔ)區(qū)域內(nèi)對(duì)手勢(shì)圖像進(jìn)行針對(duì)性識(shí)別，直至手勢(shì)拾取模塊2B捕獲新的手勢(shì)圖像標(biāo)識(shí)，并將對(duì)應(yīng)的文本傳遞給語(yǔ)音合成模塊2G，最后通過(guò)語(yǔ)音合成模塊2G將文本轉(zhuǎn)換為語(yǔ)音。
[0060]正常人輸入信息處理模塊4包括正常人文本輸入模塊4A、語(yǔ)音識(shí)別處理模塊、分別與正常人文本輸入模塊4A和語(yǔ)音識(shí)別處理模塊的輸出端連接的文本-圖像存儲(chǔ)器5、以及與文本-圖像存儲(chǔ)器5連接的顯示屏4H。正常人輸入信息處理模塊4與聾啞人信息輸入處理模塊2共用一個(gè)文本-圖像存儲(chǔ)器5。其中，語(yǔ)音識(shí)別處理模塊包括語(yǔ)音拾取模塊4B、與語(yǔ)音拾取模塊4B連接的語(yǔ)音特征提取模塊4C、與語(yǔ)音特征提取模塊4C連接的用于識(shí)別語(yǔ)音分類標(biāo)識(shí)的第一語(yǔ)音識(shí)別模塊4D、與第一語(yǔ)音識(shí)別模塊4D連接的語(yǔ)音標(biāo)識(shí)存儲(chǔ)器4E、與第一語(yǔ)音識(shí)別模塊4D連接的用于識(shí)別語(yǔ)音的第二語(yǔ)音識(shí)別模塊4F、與第二語(yǔ)音識(shí)別模塊4F連接的詞庫(kù)存儲(chǔ)器4G、分別與正常人文本輸入模塊4A及第二語(yǔ)音識(shí)別模塊4F的輸出端連接的文本-圖像存儲(chǔ)器5。其中，語(yǔ)音特征提取模塊4C包括語(yǔ)音濾波模塊4CA、與語(yǔ)音濾波模塊4CA連接的背景噪聲去除模塊4CB、與背景噪聲去除模塊4CB連接的語(yǔ)音放大模塊4CC。
[0061 ]正常人可以直接通過(guò)正常人文本輸入模塊4A將文本輸入給文本-圖像存儲(chǔ)器5，文本-圖像存儲(chǔ)器5同時(shí)輸出手勢(shì)圖像和文本到顯示屏4H上。此外語(yǔ)音拾取模塊4B可以捕獲正常人的語(yǔ)音，語(yǔ)音濾波模塊4CA允許300?3000Hz的音頻信號(hào)通過(guò)，背景噪聲去除模塊4CB可以去除背景噪聲、語(yǔ)音放大模塊4CC對(duì)音頻信號(hào)進(jìn)行放大處理;之后第一語(yǔ)音識(shí)別模塊4D對(duì)語(yǔ)音特征提取模塊4C所發(fā)送的語(yǔ)音信息的語(yǔ)音分類標(biāo)識(shí)特征進(jìn)行識(shí)別，對(duì)語(yǔ)音特征提取模塊4C提取的后續(xù)語(yǔ)音進(jìn)行歸類，第二語(yǔ)音識(shí)別模塊4F根據(jù)第一語(yǔ)音識(shí)別模塊4D識(shí)別的語(yǔ)音類別在指定詞庫(kù)存儲(chǔ)器4E存儲(chǔ)區(qū)域內(nèi)對(duì)語(yǔ)音針對(duì)性識(shí)別成文本信息，直至語(yǔ)音特征提取模塊4C獲得新的語(yǔ)音標(biāo)識(shí)，并將對(duì)應(yīng)的文本傳遞給文本-圖像存儲(chǔ)器5，文本-圖像存儲(chǔ)器5將文本和手勢(shì)圖像輸出到顯示屏4H上。
[0062]實(shí)施例
[0063]當(dāng)聾啞人I通過(guò)聾啞人文本輸入模塊2A輸入“你好”時(shí)，語(yǔ)音合成模塊2G將該文本轉(zhuǎn)換為語(yǔ)音“你好” O當(dāng)聾啞人I使用手語(yǔ)表達(dá)“你好”時(shí)，手勢(shì)拾取模塊2B捕獲該手語(yǔ)手勢(shì)，之后第一圖像識(shí)別模塊2D對(duì)手勢(shì)拾取模塊2B所捕獲的手勢(shì)圖像標(biāo)識(shí)進(jìn)行識(shí)別，對(duì)手勢(shì)拾取模塊2B捕獲的后續(xù)圖像“你好”歸為問(wèn)候類，第二圖像識(shí)別模塊2F根據(jù)第一圖像識(shí)別模塊2D識(shí)別的手語(yǔ)手勢(shì)圖像類別在文本-圖像存儲(chǔ)器5的問(wèn)候類存儲(chǔ)區(qū)域內(nèi)對(duì)“你好”手勢(shì)圖像進(jìn)行針對(duì)性識(shí)別，直至手勢(shì)拾取模塊2B捕獲新的手勢(shì)圖像標(biāo)識(shí)，之后將對(duì)應(yīng)的“你好”文本傳遞給語(yǔ)音合成模塊2G，最后通過(guò)語(yǔ)音合成模塊2G輸出“你好”語(yǔ)音。
[0064]當(dāng)正常人4通過(guò)文本輸入模塊輸入“你好”時(shí)，“你好”文本以及“你好”手語(yǔ)手勢(shì)會(huì)直接在屏幕4H上展現(xiàn)。此外當(dāng)正常人說(shuō)出“你好”時(shí)，語(yǔ)音拾取模塊4B可以捕獲該語(yǔ)音，語(yǔ)音濾波模塊4CA對(duì)該音頻信號(hào)進(jìn)行濾波，允許300?3000Hz的音頻信號(hào)通過(guò)，背景噪聲去除模塊4CB可以去除該音頻信號(hào)中的背景噪聲、語(yǔ)音放大模塊4CC對(duì)濾波后的音頻信號(hào)進(jìn)行放大處理，之后第一語(yǔ)音識(shí)別模塊4D對(duì)語(yǔ)音特征提取模塊4C所提取的語(yǔ)音分類標(biāo)識(shí)特征進(jìn)行識(shí)另Ij，對(duì)語(yǔ)音特征提取模塊4C提取的“你好”語(yǔ)音歸為問(wèn)候類，第二語(yǔ)音識(shí)別模塊4F根據(jù)第一語(yǔ)音識(shí)別模塊4D識(shí)別的語(yǔ)音類別在指定詞庫(kù)存儲(chǔ)器4E問(wèn)候類存儲(chǔ)區(qū)域內(nèi)對(duì)“你好”語(yǔ)音進(jìn)行針對(duì)性識(shí)別，直至語(yǔ)音特征提取模塊4C獲得新的語(yǔ)音標(biāo)識(shí)，之后將對(duì)應(yīng)的文本傳遞給文本-圖像存儲(chǔ)器5，文本-圖像存儲(chǔ)器5將“你好”文本和“你好”手勢(shì)圖像輸出到顯示屏4H上。
【主權(quán)項(xiàng)】
1.一種便攜式聾啞人交流設(shè)備，其特征在于，包括聾啞人輸入信息處理模塊及正常人輸入信息處理模塊;聾啞人通過(guò)所述聾啞人信息輸入處理模塊將輸入的手語(yǔ)手勢(shì)或文本翻譯為語(yǔ)音;正常人通過(guò)正常人信息輸入處理模塊將輸入的語(yǔ)音或輸入的文本翻譯為手語(yǔ)手勢(shì)和文本并同時(shí)進(jìn)行顯示； 所述聾啞人信息輸入處理模塊包括: 聾啞人文本輸入模塊，其用于聾啞人輸入文本信息，并將文本信息發(fā)送至語(yǔ)音合成模塊； 手勢(shì)識(shí)別處理模塊，其用于對(duì)聾啞人的手語(yǔ)手勢(shì)進(jìn)行圖像提取，并通過(guò)圖像識(shí)別和處理后轉(zhuǎn)換成文本信息，將文本信息發(fā)送至語(yǔ)音識(shí)別模塊； 語(yǔ)音合成模塊，其分別與聾啞人文本輸入模塊及手勢(shì)識(shí)別處理模塊的輸出端連接，用于將接收的文本信息轉(zhuǎn)換為語(yǔ)音進(jìn)行播報(bào)； 所述正常人信息輸入處理模塊包括: 正常人文本輸入模塊，其用于正常人輸入文本信息，并將文本信息發(fā)送至文本-圖像存儲(chǔ)器； 語(yǔ)音識(shí)別處理模塊，其用于對(duì)正常人輸入的語(yǔ)音進(jìn)行提取，并通過(guò)識(shí)別和處理后轉(zhuǎn)換問(wèn)文本信息，將文本信息發(fā)送至文本-圖像存儲(chǔ)器； 文本-圖像存儲(chǔ)器，其分別與正常人文本輸入模塊和語(yǔ)音識(shí)別處理模塊的輸出端連接，其對(duì)文本和手勢(shì)圖像建立一一對(duì)應(yīng)的存儲(chǔ)模式，可查找出文本信息對(duì)應(yīng)的手勢(shì)圖像，將與所識(shí)別的文本信息對(duì)應(yīng)的手勢(shì)圖像輸出至顯示屏； 顯示屏，其與文本-圖像存儲(chǔ)器的輸出端連接，用于顯示接收來(lái)的圖像。2.如權(quán)利要求1所述的一種便攜式聾啞人交流設(shè)備，其特征在于，所述聾啞人信息輸入處理模塊中的手勢(shì)識(shí)別處理模塊包括: 手勢(shì)拾取模塊，其用于對(duì)聾啞人的手語(yǔ)手勢(shì)進(jìn)行圖像提取，并發(fā)送至第一圖像識(shí)別模塊； 第一圖像識(shí)別模塊，其與手勢(shì)拾取模塊的輸出端連接，接收手勢(shì)拾取模塊提取的手勢(shì)圖像，調(diào)用圖像標(biāo)識(shí)存儲(chǔ)器中的數(shù)據(jù)，對(duì)手勢(shì)圖像的分類標(biāo)識(shí)進(jìn)行識(shí)別，并對(duì)后續(xù)接收的手勢(shì)圖像進(jìn)行歸類； 圖像標(biāo)識(shí)存儲(chǔ)器，其與第一圖像識(shí)別模塊連接，用于存儲(chǔ)圖像分類標(biāo)識(shí)； 第二圖像識(shí)別模塊，其與第一圖像識(shí)別模塊的輸出端連接，接收第一圖像識(shí)別模塊識(shí)別出的手勢(shì)圖像的分類標(biāo)識(shí)，并根據(jù)此分類標(biāo)示在文本-圖像存儲(chǔ)器指定存儲(chǔ)區(qū)域?qū)κ謩?shì)圖像進(jìn)行識(shí)別，并將手勢(shì)圖像對(duì)應(yīng)的文本信息輸出至所述語(yǔ)音合成模塊； 文本-圖像存儲(chǔ)器，其與第二圖像識(shí)別模塊連接，對(duì)手語(yǔ)手勢(shì)圖像進(jìn)行分類存儲(chǔ)，并可查找各分類標(biāo)識(shí)下的手勢(shì)圖像對(duì)應(yīng)的文本信息。3.如權(quán)利要求1所述的一種便攜式聾啞人交流設(shè)備，其特征在于，所述正常人輸入信息處理模塊的語(yǔ)音識(shí)別處理模塊包括: 語(yǔ)音拾取模塊，其用于拾取正常人輸入的語(yǔ)音信息，并發(fā)送至語(yǔ)音特征提取模塊；語(yǔ)音特征提取-模塊，其與語(yǔ)音拾取模塊的輸出端連接，用于對(duì)語(yǔ)音信息進(jìn)行特征提取后發(fā)送至第一語(yǔ)音識(shí)別模塊； 第一語(yǔ)音識(shí)別模塊，其與語(yǔ)音特征提取模塊的輸出端連接，接收特征提取后的語(yǔ)音信息，調(diào)用語(yǔ)音標(biāo)識(shí)存儲(chǔ)器中的數(shù)據(jù)，對(duì)語(yǔ)音信息的語(yǔ)音分類標(biāo)識(shí)進(jìn)行識(shí)別，并對(duì)后續(xù)接收的語(yǔ)音信息進(jìn)行歸類； 語(yǔ)音標(biāo)識(shí)存儲(chǔ)器，其與第一語(yǔ)音識(shí)別模塊連接，用于存儲(chǔ)語(yǔ)音分類標(biāo)識(shí)； 第二語(yǔ)音識(shí)別模塊，其與第一語(yǔ)音識(shí)別模塊的輸出端連接，接收第一語(yǔ)音識(shí)別模塊識(shí)別出的語(yǔ)音分類標(biāo)識(shí)，并根據(jù)此語(yǔ)音分類標(biāo)示在詞庫(kù)存儲(chǔ)器的指定區(qū)域進(jìn)行語(yǔ)音識(shí)別，并將識(shí)別出的語(yǔ)音對(duì)應(yīng)的文本信息輸出至文本-圖像存儲(chǔ)器； 詞庫(kù)存儲(chǔ)器，其與第二語(yǔ)音識(shí)別模塊連接，對(duì)語(yǔ)音信息進(jìn)行分類存儲(chǔ)，并可查找各語(yǔ)音信息對(duì)應(yīng)的文本信息。4.如權(quán)利要求3所述的一種便攜式聾啞人交流設(shè)備，其特征在于，所述語(yǔ)音特征提取模塊包括語(yǔ)音濾波模塊、與語(yǔ)音濾波模塊連接的背景噪聲去除模塊、與背景噪聲去除模塊連接的語(yǔ)音放大模塊，語(yǔ)音濾波模塊允許300?3000Hz的音頻信號(hào)通過(guò)，背景噪聲去除模塊去除背景噪聲，語(yǔ)音放大模塊對(duì)音頻信號(hào)進(jìn)行放大處理。
【文檔編號(hào)】G10L21/0208GK105957514SQ201610538192
【公開(kāi)日】2016年9月21日
【申請(qǐng)日】2016年7月11日
【發(fā)明人】王豫喆, 趙潔, 劉禹錫, 宋平, 李默
【申請(qǐng)人】吉林宇恒光電儀器有限責(zé)任公司