聾啞人與人的智能信息交流裝置及其交流方法
【專利摘要】本發(fā)明涉及一種聾啞人與人的智能信息交流裝置及其交流方法，該裝置包括用于獲取正常人語音信息的語音采集終端以及一用于獲取聾啞人面部信息、手勢信息以及唇部信息的圖像采集終端。該方法為正常人通過語音采集終端輸入語音，并通過兩個顯示屏顯示內(nèi)容，通過圖像采集終端采集聾啞人面部、手部以及唇部信息，并通過兩個顯示屏顯示內(nèi)容，完成正常人與聾啞人的交流。本發(fā)明涉及一種聾啞人與人的智能信息交流裝置及其交流方法，極大地方便了正常人與聾啞人的交流，進(jìn)而為聾啞人能更快更好地融入到正常社會生活之中提供了技術(shù)基礎(chǔ)，提高他們的生活質(zhì)量，同時，通過本發(fā)明所提供的裝置，為其他外接設(shè)備的接入提供了方便的接入方式。
【專利說明】
聾啞人與人的智能信息交流裝置及其交流方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種聾啞人與人的智能信息交流裝置及其交流方法。
【背景技術(shù)】
[0002] 全世界的聾啞人的人數(shù)在6億左右，且該數(shù)字還在呈上升趨勢。目前，聾啞人主要 通過手勢、肢體動作以及面部表情等肢體語言同他人進(jìn)行交流和溝通。然而，手語由于其姿 勢較為復(fù)雜，且適用人群較低，在健聽人群中的普及度也較低。即使通過一些簡單的肢體語 言可以初步了解所要表達(dá)的內(nèi)容，但卻遠(yuǎn)遠(yuǎn)達(dá)不到與聾人交流的程度，直接導(dǎo)致了聽障人 與其他人之間的交流障礙。隨著現(xiàn)代高新的計(jì)算機(jī)技術(shù)和信息技術(shù)的發(fā)展，將聽障人的各 種肢體語言（包括手形語言，各種面部表情信號等)轉(zhuǎn)換成有聲語音或者文字符號，對促進(jìn) 聽障人更好更快地融入到正常社會生活，消除聾啞人士與他人之間交流的障礙，提高聾啞 人的生活質(zhì)量，真正地實(shí)現(xiàn)融合共生，無疑具有重要的社會現(xiàn)實(shí)意義。而現(xiàn)有的技術(shù)中，能 夠較好的實(shí)現(xiàn)聾啞人與正常人交流的設(shè)備較少且效果較差，并不能與外接的其他設(shè)備有效 的進(jìn)行連接，實(shí)現(xiàn)擴(kuò)展。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的在于提供一種聾啞人與人的智能信息交流裝置及其交流方法，以克 服現(xiàn)有技術(shù)存在的缺陷。
[0004] 為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案是:一種聾啞人與人的智能信息交流裝置，包 括一用于獲取正常人語音信息的語音采集終端以及一用于獲取聾啞人面部信息、手勢信息 以及唇部信息的圖像采集終端;所述語音采集終端包括一第一顯示單元、一第一控制計(jì)算 單元、一語音輸入單元以及一第一通信單元;所述圖像采集終端包括一第二顯示單元、一第 二控制計(jì)算單元、一第一攝像頭單元、一第二攝像頭單元、一第三攝像頭單元以及一第二通 信單元;所述第一通信單元與所述第二通信單元匹配。
[0005] 在本發(fā)明一實(shí)施例中，所述語音采集終端以及所述圖像采集終端均設(shè)置于一載臺 上;所述載臺的下端設(shè)置有一剪式升降臺；所述剪式升降臺的驅(qū)動單元與所述第一控制計(jì) 算單元相連;所述語音采集終端的還包括一按鍵單元，所述按鍵單元與所述第一控制計(jì)算 單元相連，且通過該按鍵單元，調(diào)整所述剪式升降臺的高低。
[0006] 在本發(fā)明一實(shí)施例中，所述剪式升降臺的底部設(shè)置有一底盤;所述底盤兩側(cè)分別 設(shè)置有驅(qū)動輪，所述底盤前側(cè)設(shè)置有導(dǎo)向輪;所述驅(qū)動輪以及所述導(dǎo)向輪分別通過電機(jī)驅(qū) 動，且所述驅(qū)動輪的驅(qū)動電機(jī)的驅(qū)動單元以及所述導(dǎo)向輪的驅(qū)動電機(jī)的驅(qū)動單元均與一嵌 設(shè)于所述底盤內(nèi)的第三控制計(jì)算單元相連;所述第三控制單元與一方向控制裝置相連，通 過該方向控制裝置發(fā)送控制信號至所述第三控制計(jì)算單元;所述第三控制單元接收控制信 號，產(chǎn)生驅(qū)動信號，并經(jīng)對應(yīng)的驅(qū)動單元驅(qū)動驅(qū)動電機(jī)。
[0007] 在本發(fā)明一實(shí)施例中，還包括一穿戴于聾啞人手部的手套，所述攝像頭單元通過 獲取該手套圖像信息，從而獲取所述手勢信息。
[0008] 在本發(fā)明一實(shí)施例中，所述第一控制計(jì)算單元以及所述第二控制計(jì)算單元為一計(jì) 算機(jī)。
[0009] 進(jìn)一步的，還提供一種聾啞人與人的智能信息交流裝置的交流方法，所述語音采 集終端通過語音輸入單元采集正常人的語音信息，經(jīng)所述第一控制計(jì)算單元進(jìn)行處理以及 識別，將所采集的語音信息轉(zhuǎn)換為對應(yīng)的文字信息，并通過所述第一顯示單元以及所述第 二顯示單元顯示文字信息，以用于與正常人交流的聾啞人查看;所述圖像采集終端中的第 一攝像頭單元采集聾啞人的手勢圖像，第二攝像頭單元采集聾啞人的唇部圖像，第三攝像 頭單元采集聾啞人的面部圖像，并將該手勢圖像、唇部圖像以及面部圖像傳輸至所述第二 控制計(jì)算單元，所述第二控制計(jì)算單元對該手勢圖像、唇部圖像以及面部圖像進(jìn)行處理、識 別以及分析，將手勢圖像、唇部圖像以及面部圖像轉(zhuǎn)換為對應(yīng)的文字信息，并通過所述第一 顯示單元顯示所述手勢圖像、所述唇部圖像以及所述面部圖像對應(yīng)的文字信息，通過所述 第二顯示單元顯示所述手勢圖像與所述唇部圖像對應(yīng)的文字信息，以用于與聾啞人交流的 正常人查看。
[0010] 在本發(fā)明一實(shí)施例中，所述第二控制計(jì)算單元對所述手勢圖像以及所述唇部圖像 進(jìn)行處理、識別以及分析按照如下步驟實(shí)現(xiàn)： 步驟S11:基于形態(tài)學(xué)和分水嶺算法對手勢圖像以及唇部圖像的邊緣進(jìn)行提取； 步驟S12:通過雙正交小波變換算法以及紋理一致性測度分析算法，對所述步驟S1中的 計(jì)算結(jié)果進(jìn)行圖像融合； 步驟S13:通過模糊BP神經(jīng)網(wǎng)絡(luò)融合算法，對經(jīng)所述步驟S2處理后的手勢圖像以及唇 部圖像，進(jìn)行融合計(jì)算，將融合圖像后的手形圖像以及唇形圖像分別作為手形模糊集和唇 形模糊集;對手形模糊集和唇形模糊集分別進(jìn)行模糊算子操作，然后將操作結(jié)果分別與預(yù) 設(shè)手形數(shù)據(jù)庫中的手語符號以及預(yù)設(shè)唇形數(shù)據(jù)庫中的唇語語符號進(jìn)行匹配，對應(yīng)獲取兩個 手語集;將獲得的兩個手語集進(jìn)行模糊集合運(yùn)算，得到識別結(jié)果，并將識別結(jié)果通過文字信 息的形式輸出。
[0011] 在本發(fā)明一實(shí)施例中，所述預(yù)設(shè)手形數(shù)據(jù)庫包括通過機(jī)器訓(xùn)練得到手形數(shù)據(jù)庫以 及中國手語提供的手形數(shù)據(jù)庫;所述預(yù)設(shè)唇形數(shù)據(jù)庫包括通過機(jī)器訓(xùn)練得到唇形數(shù)據(jù)庫以 及中國手語提供的唇形數(shù)據(jù)庫。
[0012] 在本發(fā)明一實(shí)施例中，所述第二控制計(jì)算單元通過采用LBP算法對所述面部圖像 進(jìn)行處理、識別以及分析，并將識別結(jié)果通過文字信息的形式輸出；所述LBP算法的紋理算 子為
其中，?為差值函數(shù)，&為符號函數(shù)，且#為:為半徑為！的圓形 區(qū)域上，個像素點(diǎn)所在區(qū)域的中心點(diǎn)像素值，&、霧1、〃·:、
分別表示該區(qū)域內(nèi)的其他 ^個點(diǎn)的像素值。
[0013] 在本發(fā)明一實(shí)施例中，將所述手勢圖像以及所述唇部圖像對應(yīng)的文字信息作為交 流內(nèi)容，將所述面部圖像對應(yīng)的文字信息作為參考內(nèi)容;通過所述第一顯示單元顯示時，按 照如下形式顯示:交流內(nèi)容，（參考內(nèi)容），通過第二按照如下形式顯示:交流內(nèi)容。
[0014] 相較于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果:本發(fā)明提出了一種聾啞人與人的智 能信息交流裝置及其交流方法，極大地方便了正常人與聾啞人的交流，進(jìn)而為聾啞人能更 快更好地融入到正常社會生活之中提供了技術(shù)基礎(chǔ)，提高他們的生活質(zhì)量，同時，通過本發(fā) 明所提供的裝置，為其他外接設(shè)備的接入提供了方便的接入方式，極大地方便了不同場合 的使用。
【附圖說明】
[0015] 圖1為本發(fā)明中語音采集終端的原理圖。
[0016] 圖2為本發(fā)明中圖像采集終端的原理圖。
[0017] 圖3為本發(fā)明中一實(shí)施例中語音采集終端以及圖像采集終端設(shè)置于載臺以及底盤 上的示意圖。
[0018] 圖4為本發(fā)明中一實(shí)施例中底盤內(nèi)的驅(qū)動輪與導(dǎo)向輪電路原理圖。
[0019]【標(biāo)號說明】:載臺1;第一顯示單元2;第一控制計(jì)算單元3;語音輸入單元4;第二顯 示單元5;第二控制計(jì)算單元6;第一攝像頭單元7;第二攝像頭單元8;第三攝像頭單元9;按 鍵單元10;第一支撐架11;第二支撐架12;底盤13;第一驅(qū)動輪14;第二驅(qū)動輪15;導(dǎo)向輪16; 外接方向控制器17;底盤接口 18;線纜19。
【具體實(shí)施方式】
[0020] 下面結(jié)合附圖，對本發(fā)明的技術(shù)方案進(jìn)行具體說明。
[0021] 本發(fā)明提供一種聾啞人與人的智能信息交流裝置，如圖1~3所示，包括一用于獲取 正常人語音信息的語音采集終端以及一用于獲取聾啞人面部信息、手勢信息以及唇部信息 的圖像采集終端;語音采集終端包括一第一顯示單元、一第一控制計(jì)算單元、一語音輸入單 元以及一第一通信單元；圖像采集終端包括一第二顯示單元、一第二控制計(jì)算單元、一第一 攝像頭單元、一第二攝像頭單元、一第三攝像頭單元以及一第二通信單元;第一通信單元與 第二通信單元匹配。第一控制計(jì)算單元對獲取的語音信息處理，通過第一顯示單元進(jìn)行顯 示，并將處理后的信息通過第一通信單元發(fā)送至第二通信單元，第二控制計(jì)算單元通過第 二通信單元獲取信息，并通過第二顯示器對應(yīng)顯示;第二控制計(jì)算單元對獲取的圖像信息 處理，通過第二顯示單元進(jìn)行顯示，并將處理后的信息通過第二通信單元發(fā)送至第一通信 單元，第一控制計(jì)算單元通過第一通信單元獲取信息，并通過第一顯示器對應(yīng)顯示。
[0022] 進(jìn)一步的，在本實(shí)施例中，語音采集終端以及圖像采集終端均設(shè)置于一載臺1上， 如圖3所示，一側(cè)設(shè)置有第一顯示單元2、第一控制計(jì)算單元3，語音輸入單元4，另一側(cè)設(shè)置 有第二顯示單元5，第二控制計(jì)算單元6，第一攝像頭單元7，第二攝像頭單元8，第三攝像頭 單元9;載臺1的下端設(shè)置有一剪式升降臺2;剪式升降臺2的驅(qū)動單元與第一控制計(jì)算單元 相連;語音采集終端的還包括一按鍵單元10,按鍵單元與第一控制計(jì)算單元相連，且通過該 按鍵單元，調(diào)整剪式升降臺的高低。在本實(shí)施例中，設(shè)置于載臺上的語音采集終端中的語音 輸入單元4可以為一話筒或一便攜式拾音器，且該話筒或便攜式拾音器可采用有線或無線 的方式與第一控制計(jì)算單元相連。較佳地，采用有線的方式連接。此外，該按鍵單元10可為 外置的按鍵裝置或通過第一顯示單元中的觸摸顯示屏實(shí)現(xiàn)的虛擬鍵盤，且外置的按鍵裝置 可采用有線或無線的方式與第一控制計(jì)算單元相連。較佳地，采用有線的方式連接。為了方 便設(shè)置，載臺上還設(shè)置有一第一支撐架11，用于放置語音輸入單元4以及按鍵單元10。為了 便于圖像采集，第一攝像頭單元7以及第二攝像頭單元8設(shè)置于第二支撐架12上，第三攝像 頭單元9設(shè)置于第二顯示單元5的頂端，且在設(shè)置時，可通過調(diào)整對應(yīng)攝像單元中攝像頭的 位置，以更好的獲取圖片。
[0023]進(jìn)一步的，在本實(shí)施例中，第一顯示單元2以及第二顯示單元5均包括一臺式觸摸 顯示器。
[0024] 進(jìn)一步的，在本實(shí)施例中，如圖3以及圖4所示，剪式升降臺2的底部設(shè)置有一底盤 13;底盤13兩側(cè)分別設(shè)置有第一驅(qū)動輪14以及第二驅(qū)動輪15,底盤前側(cè)設(shè)置有導(dǎo)向輪16;驅(qū) 動輪以及導(dǎo)向輪分別通過電機(jī)驅(qū)動，且驅(qū)動輪的驅(qū)動電機(jī)的驅(qū)動單元以及導(dǎo)向輪的驅(qū)動電 機(jī)的驅(qū)動單元均與一嵌設(shè)于底盤內(nèi)的第三控制計(jì)算單元相連;第三控制單元與一方向控制 裝置相連，通過該方向控制裝置發(fā)送控制信號至第三控制計(jì)算單元;第三控制單元接收控 制信號，產(chǎn)生驅(qū)動信號，并經(jīng)對應(yīng)的驅(qū)動單元驅(qū)動驅(qū)動電機(jī)，控制底盤轉(zhuǎn)動或行駛。較佳的， 該方向控制裝置為一外接方向控制器17。該外接方向控制器17通過設(shè)置于底盤上的接口 18,并經(jīng)線纜19與第三控制計(jì)算單元相連。
[0025] 進(jìn)一步的，在本實(shí)施例中，還包括一穿戴于聾啞人手部的手套，攝像頭單元通過獲 取該手套圖像信息，從而獲取手勢信息，以較少由于不同使用者使用時造成的圖像獲取的 誤差問題。
[0026] 進(jìn)一步的，在本實(shí)施例中，第一控制計(jì)算單元以及第二控制計(jì)算單元為一計(jì)算機(jī)。 此外，還可設(shè)置一中轉(zhuǎn)設(shè)備，如包括一第四控制計(jì)算單元，并設(shè)置有對應(yīng)的輸入/輸出接口， 包括視頻接口，音頻接口等，并通過通信單元分別與第一通信單元以及第二通信單元匹配 起來，為第三方提供交流信息，如在會議過程中，可通過中轉(zhuǎn)設(shè)備將參與交流的雙方的內(nèi) 容展示到一公共顯示平臺上。
[0027] 進(jìn)一步的，在本實(shí)施例中，還提供一種聾啞人與人的智能信息交流裝置的交流方 法，語音采集終端通過語音輸入單元采集正常人的語音信息，經(jīng)第一控制計(jì)算單元進(jìn)行處 理以及識別，將所采集的語音信息轉(zhuǎn)換為對應(yīng)的文字信息，并通過第一顯示單元以及第二 顯示單元顯示文字信息，以用于與正常人交流的聾啞人查看；圖像采集終端中的第一攝像 頭單元采集聾啞人的手勢圖像，第二攝像頭單元采集聾啞人的唇部圖像，第三攝像頭單元 采集聾啞人的面部圖像，并將該手勢圖像、唇部圖像以及面部圖像傳輸至第二控制計(jì)算單 元，第二控制計(jì)算單元對該手勢圖像、唇部圖像以及面部圖像進(jìn)行處理、識別以及分析，將 手勢圖像、唇部圖像以及面部圖像轉(zhuǎn)換為對應(yīng)的文字信息，并通過所述第一顯示單元顯示 所述手勢圖像、所述唇部圖像以及所述面部圖像對應(yīng)的文字信息，通過所述第二顯示單元 顯示所述手勢圖像與所述唇部圖像對應(yīng)的文字信息，以用于與聾啞人交流的正常人查看。 [0028]進(jìn)一步的，在本實(shí)施例中，第二控制計(jì)算單元對手勢圖像以及唇部圖像進(jìn)行處理、 識別以及分析按照如下步驟實(shí)現(xiàn)： 步驟S11:基于形態(tài)學(xué)和分水嶺算法對手勢圖像以及唇部圖像的邊緣進(jìn)行提取;通過自 動識別最優(yōu)閾值算法，以圖像的灰度級特征為基礎(chǔ)，計(jì)算將圖像前景和背景分開的最優(yōu)分 割閾值，并用該最優(yōu)閾值進(jìn)一步地限制原IFT分水嶺算法中的路徑成本函數(shù)，從而最大程 度地將圖像的前景和背景分割開； 步驟SI 2:通過雙正交小波變換算法以及紋理一致性測度分析算法，對步驟S1中的計(jì)算 結(jié)果進(jìn)行圖像融合;對步驟S1處理后的手勢圖像以及唇部圖像進(jìn)行小波分解，然后再確定 融合圖像的小波系數(shù);在對應(yīng)低頻系數(shù)方向上，按預(yù)設(shè)比例選取圖像的小波系數(shù)，構(gòu)成融合 圖像小波低頻系數(shù)矩陣;對于反映圖像細(xì)節(jié)的高頻小波系數(shù)，采用紋理一致性測度分析特 定區(qū)域不同方向的邊緣特性，針對不同區(qū)域，采用不同的策略得到融合圖像的小波系數(shù)矩 陣，從而得到融合圖像； 步驟S13:通過模糊BP神經(jīng)網(wǎng)絡(luò)融合算法，對經(jīng)步驟S2處理后的手勢圖像以及唇部圖 像，進(jìn)行融合計(jì)算，將融合圖像后的手形圖像以及唇形圖像分別作為手形模糊集和唇形模 糊集;對手形模糊集和唇形模糊集分別進(jìn)行模糊算子操作，然后將操作結(jié)果分別與預(yù)設(shè)手 形數(shù)據(jù)庫中的手語符號以及預(yù)設(shè)唇形數(shù)據(jù)庫中的唇語語符號進(jìn)行匹配，對應(yīng)獲取兩個手語 集;將獲得的兩個手語集進(jìn)行模糊集合運(yùn)算，得到識別結(jié)果，并將識別結(jié)果通過文字信息的 形式輸出，在該識別過程中，若得到多個運(yùn)算結(jié)果，識別失敗，重新進(jìn)行上述匹配識別計(jì)算。
[0029] 進(jìn)一步的，在本實(shí)施例中，預(yù)設(shè)手形數(shù)據(jù)庫包括通過機(jī)器訓(xùn)練得到手形數(shù)據(jù)庫以 及中國手語提供的手形數(shù)據(jù)庫;預(yù)設(shè)唇形數(shù)據(jù)庫包括通過機(jī)器訓(xùn)練得到唇形數(shù)據(jù)庫以及中 國手語提供的唇形數(shù)據(jù)庫。通過訓(xùn)練獲取的數(shù)據(jù)對現(xiàn)有的數(shù)據(jù)庫進(jìn)行不斷更新。
[0030] 進(jìn)一步的，在本實(shí)施例中，第二控制計(jì)算單元通過采用LBP算法對面部圖像進(jìn)行處 理、識別以及分析，并將識別結(jié)果通過文字信息的形式輸出。LBP算法的紋理算子為
其中，I為差值函數(shù)，》S為符號函數(shù)，且次為:.
為半徑為身的圓形 區(qū)域上F個像素點(diǎn)所在區(qū)域的中心點(diǎn)像素值，&、ft、?分別表示該區(qū)域內(nèi)的其他 產(chǎn)個點(diǎn)的像素值。
[0031] 進(jìn)一步的，在本實(shí)施例中，將所述手勢圖像以及所述唇部圖像對應(yīng)的文字信息作 為交流內(nèi)容，將所述面部圖像對應(yīng)的文字信息作為參考內(nèi)容;通過所述第一顯示單元顯示 時，按照如下形式顯示:交流內(nèi)容，（參考內(nèi)容），以方便正常人在交流時，了解聾啞人的面部 體現(xiàn)的情緒;通過第二按照如下形式顯示:交流內(nèi)容。
[0032]進(jìn)一步的，在本實(shí)施例中，第一顯示單元以及第二顯示單元還均包括一手持式觸 摸顯示器;在進(jìn)行交流時，語音采集終端在采集顯示后，提示正常人確認(rèn)所采集的語音信號 轉(zhuǎn)換后的文字信息是否準(zhǔn)確，若準(zhǔn)確，則通過對應(yīng)的手持式觸摸顯示器發(fā)送確認(rèn)信息，并通 過臺式觸摸顯示器顯示;若不準(zhǔn)確，可通過應(yīng)的手持式觸摸顯示器進(jìn)行修改；同理，圖像采 集終端對應(yīng)的信息也需經(jīng)過聾啞人的確認(rèn)，并對有誤的進(jìn)行修改。
[0033]以上是本發(fā)明的較佳實(shí)施例，凡依本發(fā)明技術(shù)方案所作的改變，所產(chǎn)生的功能作 用未超出本發(fā)明技術(shù)方案的范圍時，均屬于本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一種聾啞人與人的智能信息交流裝置，其特征在于，包括一用于獲取正常人語音信 息的語音采集終端W及一用于獲取聾啞人面部信息、手勢信息W及唇部信息的圖像采集終 端;所述語音采集終端包括一第一顯示單元、一第一控制計(jì)算單元、一語音輸入單元W及一 第一通信單元;所述圖像采集終端包括一第二顯示單元、一第二控制計(jì)算單元、一第一攝像 頭單元、一第二攝像頭單元、一第Ξ?dāng)z像頭單元W及一第二通信單元;所述第一通信單元與 所述第二通信單元匹配。2. 根據(jù)權(quán)利要求1所述的聾啞人與人的智能信息交流裝置，其特征在于，所述語音采集 終端W及所述圖像采集終端均設(shè)置于一載臺上;所述載臺的下端設(shè)置有一剪式升降臺；所 述剪式升降臺的驅(qū)動單元與所述第一控制計(jì)算單元相連;所述語音采集終端還包括一按鍵 單元，所述按鍵單元與所述第一控制計(jì)算單元相連，且通過該按鍵單元，調(diào)整所述剪式升降 臺的高低。3. 根據(jù)權(quán)利要求2所述的聾啞人與人的智能信息交流裝置，其特征在于，所述剪式升降 臺的底部設(shè)置有一底盤;所述底盤兩側(cè)分別設(shè)置有驅(qū)動輪，所述底盤前側(cè)設(shè)置有導(dǎo)向輪;所 述驅(qū)動輪W及所述導(dǎo)向輪分別通過電機(jī)驅(qū)動，且所述驅(qū)動輪的驅(qū)動電機(jī)的驅(qū)動單元W及所 述導(dǎo)向輪的驅(qū)動電機(jī)的驅(qū)動單元均與一嵌設(shè)于所述底盤內(nèi)的第Ξ控制計(jì)算單元相連;所述 第Ξ控制單元與一方向控制裝置相連，通過該方向控制裝置發(fā)送控制信號至所述第Ξ控制 計(jì)算單元;所述第Ξ控制單元接收控制信號，產(chǎn)生驅(qū)動信號，并經(jīng)對應(yīng)的驅(qū)動單元驅(qū)動驅(qū)動 電機(jī)。4. 根據(jù)權(quán)利要求1所述的聾啞人與人的智能信息交流裝置，其特征在于，還包括一穿戴 于聾啞人手部的手套，所述攝像頭單元通過獲取該手套圖像信息，從而獲取所述手勢信息。5. 根據(jù)權(quán)利要求1所述的聾啞人與人的智能信息交流裝置，其特征在于，所述第一控制 計(jì)算單元W及所述第二控制計(jì)算單元為一計(jì)算機(jī)。6. -種基于權(quán)利要求1~5任一項(xiàng)所述的聾啞人與人的智能信息交流裝置的交流方法， 其特征在于，所述語音采集終端通過語音輸入單元采集正常人的語音信息，經(jīng)所述第一控 制計(jì)算單元進(jìn)行處理W及識別，將所采集的語音信息轉(zhuǎn)換為對應(yīng)的文字信息，并通過所述 第一顯示單元W及所述第二顯示單元顯示文字信息，W用于與正常人交流的聾啞人查看； 所述圖像采集終端中的第一攝像頭單元采集聾啞人的手勢圖像，第二攝像頭單元采集聾啞 人的唇部圖像，第Ξ?dāng)z像頭單元采集聾啞人的面部圖像，并將該手勢圖像、唇部圖像W及面 部圖像傳輸至所述第二控制計(jì)算單元，所述第二控制計(jì)算單元對該手勢圖像、唇部圖像W 及面部圖像進(jìn)行處理、識別W及分析，將手勢圖像、唇部圖像W及面部圖像轉(zhuǎn)換為對應(yīng)的文 字信息，并通過所述第一顯示單元顯示所述手勢圖像、所述唇部圖像W及所述面部圖像對 應(yīng)的文字信息，通過所述第二顯示單元顯示所述手勢圖像與所述唇部圖像對應(yīng)的文字信 息，W用于與聾啞人交流的正常人查看。7. 根據(jù)權(quán)利要求6所述的聾啞人與人的智能信息交流方法，其特征在于，所述第二控制 計(jì)算單元對所述手勢圖像W及所述唇部圖像進(jìn)行處理、識別W及分析按照如下步驟實(shí)現(xiàn)： 步驟S11:基于形態(tài)學(xué)和分水嶺算法對手勢圖像W及唇部圖像的邊緣進(jìn)行提?。? 步驟S12:通過雙正交小波變換算法W及紋理一致性測度分析算法，對所述步驟S1中的 計(jì)算結(jié)果進(jìn)行圖像融合； 步驟S13:通過模糊BP神經(jīng)網(wǎng)絡(luò)融合算法，對經(jīng)所述步驟S2處理后的手勢圖像W及唇 部圖像，進(jìn)行融合計(jì)算，將融合圖像后的手形圖像w及唇形圖像分別作為手形模糊集和唇 形模糊集;對手形模糊集和唇形模糊集分別進(jìn)行模糊算子操作，然后將操作結(jié)果分別與預(yù) 設(shè)手形數(shù)據(jù)庫中的手語符號W及預(yù)設(shè)唇形數(shù)據(jù)庫中的唇語語符號進(jìn)行匹配，分別對應(yīng)獲取 兩個預(yù)判手語集;將獲得的兩個預(yù)判手語集進(jìn)行模糊集合運(yùn)算，得到識別結(jié)果，并將識別結(jié) 果通過文字信息的形式輸出。8. 根據(jù)權(quán)利要求7所述的聾啞人與人的智能信息交流方法，其特征在于，所述預(yù)設(shè)手形 數(shù)據(jù)庫包括通過機(jī)器訓(xùn)練得到手形數(shù)據(jù)庫W及中國手語提供的手形數(shù)據(jù)庫;所述預(yù)設(shè)唇形 數(shù)據(jù)庫包括通過機(jī)器訓(xùn)練得到唇形數(shù)據(jù)庫W及中國手語提供的唇形數(shù)據(jù)庫。9. 根據(jù)權(quán)利要求6所述的聾啞人與人的智能信息交流方法，其特征在于，所述第二控制 計(jì)算單元通過采用LBP算法對所述面部圖像進(jìn)行處理、識別W及分析，并將識別結(jié)果通過文 字信息的形式輸出;所述LBP算法的紋理算子為其中，?為差值函數(shù)，《為符號函數(shù)，且沒為：款為半徑為點(diǎn)的圓形 區(qū)域上滬個像素點(diǎn)所在區(qū)域的中必點(diǎn)像素值，祭3、篡;、*，*:.、裳於/分別表示該區(qū)域內(nèi)的其他 個點(diǎn)的像素值。10. 根據(jù)權(quán)利要求6所述的聾啞人與人的智能信息交流方法，其特征在于，將所述手勢 圖像W及所述唇部圖像對應(yīng)的文字信息作為交流內(nèi)容，將所述面部圖像對應(yīng)的文字信息作 為參考內(nèi)容;通過所述第一顯示單元顯示時，按照如下形式顯示:交流內(nèi)容，（參考內(nèi)容），通 過第二按照如下形式顯示:交流內(nèi)容。
【文檔編號】G09B21/00GK105976675SQ201610324696
【公開日】2016年9月28日
【申請日】2016年5月17日
【發(fā)明人】張培紅, 張可池
【申請人】福建萬億店中店電子商務(wù)有限責(zé)任公司