本發(fā)明涉及聾人服務(wù)應(yīng)用技術(shù)領(lǐng)域，具體涉及一種基于在線手語(yǔ)翻譯的聾人遠(yuǎn)程聊天方法。

背景技術(shù)：

在現(xiàn)代信息社會(huì)，音視頻聊天是異地親友間遠(yuǎn)程溝通使用的主要方式。然而聾人由于聽(tīng)覺(jué)和語(yǔ)言障礙，無(wú)法通過(guò)現(xiàn)有的聊天系統(tǒng)或軟件與聽(tīng)人親友進(jìn)行遠(yuǎn)程無(wú)障礙溝通。其解決方法目前主要有四種：第一，現(xiàn)場(chǎng)人工翻譯。在聾人現(xiàn)場(chǎng)或聽(tīng)人現(xiàn)場(chǎng)，安排專門的手語(yǔ)翻譯者進(jìn)行聾、聽(tīng)互譯。這種方式的缺點(diǎn)是：手語(yǔ)翻譯從業(yè)者數(shù)量較少且費(fèi)用較高，并且聾人群體和手語(yǔ)翻譯者信息流通不暢，造成供需不平衡不及時(shí)。第二，文字溝通。聾、聽(tīng)雙方使用普通聊天軟件的文字聊天功能進(jìn)行溝通，但受文化程度和表達(dá)習(xí)慣等影響，這種方式并未得到聾人認(rèn)可，而且文字溝通存在速度慢、打字不方便等缺點(diǎn)。第三，借助基于人工智能的手語(yǔ)自動(dòng)翻譯器，但這種翻譯器本身尚處于研究階段，目前并未看到成熟的應(yīng)用級(jí)產(chǎn)品。第四，有人提出利用傳統(tǒng)視頻電話技術(shù)將聾人、聽(tīng)人和手語(yǔ)翻譯者連接完成溝通的方法，但這種方法的實(shí)現(xiàn)需要傳統(tǒng)視頻會(huì)議系統(tǒng)的支持，這對(duì)普通使用者難度較大，且使用范圍較??；而且，該方法不能做到實(shí)時(shí)在線地提供翻譯服務(wù)，對(duì)供需雙方需求問(wèn)題解決效果并不好。此外，為了改善聾人和聽(tīng)人的現(xiàn)場(chǎng)溝通困難，我們提出了基于在線手語(yǔ)翻譯的聾人溝通方法(專利申請(qǐng)?zhí)枺?01710474975.1)。本文發(fā)明是對(duì)上述專利的擴(kuò)展，主要解決了聾人和聽(tīng)人在異地、遠(yuǎn)程進(jìn)行溝通的問(wèn)題。

總的來(lái)說(shuō)，手語(yǔ)翻譯是聾人和聽(tīng)人親友間遠(yuǎn)程溝通時(shí)的共同需求，但現(xiàn)有方法還不能很好地支持這一需求，還存在費(fèi)用高、不符合聾人習(xí)慣等不足，因此，研究新的、適合聾人的遠(yuǎn)程聊天方法就具有重要的現(xiàn)實(shí)意義。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于解決現(xiàn)有聊天方法用于聾人和聽(tīng)人遠(yuǎn)程聊天時(shí)存在成本高、使用習(xí)慣不兼容、溝通效果差等不足，旨在提供一種費(fèi)用低、普遍可接受、溝通效果好的聾人遠(yuǎn)程聊天方法。

一種基于在線手語(yǔ)翻譯的聾人遠(yuǎn)程聊天方法，包括如下步驟：

step1：選擇并呼叫好友；

step2：聾人端和聽(tīng)人端建立并維護(hù)連接；

step3：服務(wù)器端判定所述聾人端和所述聽(tīng)人端是否接通，如果是則轉(zhuǎn)step4，否則轉(zhuǎn)step2；

step4：呼叫客服；

step5：所述服務(wù)器端判定是否有空閑客服，如果是，則選擇一個(gè)空閑客服并轉(zhuǎn)step7，否則轉(zhuǎn)step6；

step6：所述服務(wù)器端判定是否繼續(xù)呼叫，如果是，則轉(zhuǎn)step4，否則結(jié)束；

step7：所述聾人端、所述聽(tīng)人端和所述客服端三方建立并維護(hù)連接；

step8：所述服務(wù)器端判定三方是否接通，如果是則轉(zhuǎn)step9，否則轉(zhuǎn)step7；

step9：所述聾人端、所述聽(tīng)人端和所述客服端三方信息交互；

step10：所述服務(wù)器端判定所述聾人端、所述聽(tīng)人端和所述客服端三方交互是否中斷，如果是則轉(zhuǎn)step11，否則轉(zhuǎn)step9；

step11：所述服務(wù)器端判定是否正常結(jié)束，如果是則結(jié)束，否則轉(zhuǎn)step7。

在本發(fā)明提供的基于在線手語(yǔ)翻譯的聾人遠(yuǎn)程聊天方法的一種較佳實(shí)施例中，步驟step1具體為：

所述聾人端為聾人攜帶的便攜式移動(dòng)終端，所述聽(tīng)人端為聽(tīng)人攜帶的便攜式移動(dòng)終端，所述客服端為手語(yǔ)翻譯客服人員使用的計(jì)算機(jī)軟硬件系統(tǒng)，所述服務(wù)器端為提供所述聾人端、所述聽(tīng)人端和所述客服端請(qǐng)求響應(yīng)與服務(wù)的計(jì)算機(jī)軟硬件系統(tǒng)。

所述聾人端、所述聽(tīng)人端和所述客服端可分別向所述服務(wù)器端注冊(cè)成為合法聾人端用戶、聽(tīng)人端用戶和客服端用戶；聾人端用戶和聽(tīng)人端用戶可以互相加為好友；對(duì)于每個(gè)聾人端用戶和聽(tīng)人端用戶，服務(wù)器端都為其維護(hù)一個(gè)好友列表，并為其提供增加、刪除、修改、查找、選擇、呼叫好友功能，且在同一時(shí)刻，每個(gè)聾人端用戶和聽(tīng)人端用戶能且只能選擇一個(gè)處于在線狀態(tài)的好友進(jìn)行呼叫，聾人端用戶或聽(tīng)人端用戶的每個(gè)選擇并呼叫好友的操作，均形成一對(duì)“聾人端用戶-聽(tīng)人端用戶”；客服端用戶的狀態(tài)有：在線、離線、空閑、服務(wù)，其中空閑的定義為該客服端用戶處于在線狀態(tài)且未和任何一對(duì)“聾人端用戶-聽(tīng)人端用戶”交互，服務(wù)的定義為該客服端用戶處于在線狀態(tài)且正與某對(duì)“聾人端用戶-聽(tīng)人端用戶”交互。

在本發(fā)明提供的基于在線手語(yǔ)翻譯的聾人遠(yuǎn)程聊天方法的一種較佳實(shí)施例中，步驟step2具體為：

“聾人端用戶-聽(tīng)人端用戶”建立網(wǎng)絡(luò)和音視頻連接，二者建立連接的必要條件是二者同時(shí)在線且均同意建立連接；所述服務(wù)器端負(fù)責(zé)在二者之間建立并維護(hù)連接。

在本發(fā)明提供的基于在線手語(yǔ)翻譯的聾人遠(yuǎn)程聊天方法的一種較佳實(shí)施例中，步驟step4具體為：

“聾人端用戶-聽(tīng)人端用戶”呼叫客服，指所述聾人端用戶和/或所述聽(tīng)人端用戶向所述服務(wù)器端提交呼叫客服請(qǐng)求。

在本發(fā)明提供的基于在線手語(yǔ)翻譯的聾人遠(yuǎn)程聊天方法的一種較佳實(shí)施例中，步驟step5具體為：

所述服務(wù)器端響應(yīng)step4中的呼叫客服請(qǐng)求后，查詢?cè)诒径俗?cè)的合法客服端用戶并判定是否存在空閑客服，若是，則所述服務(wù)器端選定一個(gè)空閑客服分配給提出請(qǐng)求的“聾人端用戶-聽(tīng)人端用戶”，該空閑客服轉(zhuǎn)變?yōu)榉?wù)客服，從而形成一組“聾人端用戶-聽(tīng)人端用戶-服務(wù)客服”，轉(zhuǎn)step7執(zhí)行；否則轉(zhuǎn)step6執(zhí)行。

在本發(fā)明提供的基于在線手語(yǔ)翻譯的聾人遠(yuǎn)程聊天方法的一種較佳實(shí)施例中，步驟step6具體為：

所述服務(wù)器端向提出請(qǐng)求的“聾人端用戶-聽(tīng)人端用戶”反饋信息“當(dāng)前無(wú)空閑客服”；該“聾人端用戶-聽(tīng)人端用戶”收到反饋信息后，如果選擇繼續(xù)呼叫客服，則轉(zhuǎn)step2執(zhí)行；否則，結(jié)束。

在本發(fā)明提供的基于在線手語(yǔ)翻譯的聾人遠(yuǎn)程聊天方法的一種較佳實(shí)施例中，步驟step7具體為：

對(duì)于每組“聾人端用戶-聽(tīng)人端用戶-服務(wù)客服”，所述服務(wù)器端負(fù)責(zé)在聾人端用戶、聽(tīng)人端用戶、服務(wù)客服三方建立并維護(hù)連接，此連接是網(wǎng)絡(luò)和音視頻連接。

在本發(fā)明提供的基于在線手語(yǔ)翻譯的聾人遠(yuǎn)程聊天方法的一種較佳實(shí)施例中，步驟step8具體為：

對(duì)于每組“聾人端用戶-聽(tīng)人端用戶-服務(wù)客服”，定義其連接的狀態(tài)值：1表示三方處于接通狀態(tài)，意為三方中的任意兩方均處于接通狀態(tài)；0表示三方處于斷開(kāi)狀態(tài)，意為至少存在兩方處于斷開(kāi)狀態(tài)；如果其連接的狀態(tài)值為1，則轉(zhuǎn)step9，為0則轉(zhuǎn)step7。

在本發(fā)明提供的基于在線手語(yǔ)翻譯的聾人遠(yuǎn)程聊天方法的一種較佳實(shí)施例中，步驟step9具體為：

step91：所述聾人端采集聾人手語(yǔ)及文字信息，并通過(guò)step7建立的連接將其發(fā)送給所述客服端；所述客服端接收所述聾人端發(fā)送來(lái)的聾人手語(yǔ)及文字信息并展示給服務(wù)客服進(jìn)行翻譯，接著所述客服端通過(guò)采集服務(wù)客服手語(yǔ)、語(yǔ)音及文字信息生成翻譯信息一，然后通過(guò)step7建立的連接將翻譯信息一發(fā)送給所述聽(tīng)人端；所述聽(tīng)人端接收所述客服端發(fā)送來(lái)的翻譯信息一并展示給聽(tīng)人；

step92：所述聽(tīng)人端采集聽(tīng)人語(yǔ)音及文字信息，并通過(guò)step7建立的連接將其發(fā)送給所述客服端；所述客服端接收所述聽(tīng)人端發(fā)送來(lái)的聽(tīng)人語(yǔ)音及文字信息并展示給服務(wù)客服進(jìn)行翻譯，接著所述客服端通過(guò)采集服務(wù)客服手語(yǔ)、語(yǔ)音及文字信息生成翻譯信息二，然后通過(guò)step7建立的連接將翻譯信息二發(fā)送給所述聾人端；所述聾人端接收所述客服端發(fā)送來(lái)的翻譯信息二并展示給聾人。

對(duì)于每組處于接通狀態(tài)的“聾人端用戶-聽(tīng)人端用戶-服務(wù)客服”，三方采用不分先后的步驟step91和步驟step92進(jìn)行交互，所述服務(wù)器端負(fù)責(zé)監(jiān)控每組“聾人端用戶-聽(tīng)人端用戶-服務(wù)客服”的用戶狀態(tài)及連接狀態(tài)。

在本發(fā)明提供的基于在線手語(yǔ)翻譯的聾人遠(yuǎn)程聊天方法的一種較佳實(shí)施例中，步驟step10具體為：

對(duì)于每組“聾人端用戶-聽(tīng)人端用戶-服務(wù)客服”，當(dāng)其連接的狀態(tài)值從1變?yōu)?時(shí)，稱為三方交互中斷；所述服務(wù)器端負(fù)責(zé)判斷三方交互是否中斷，如果交互中斷，則轉(zhuǎn)step11執(zhí)行，否則轉(zhuǎn)step9執(zhí)行。

在本發(fā)明提供的基于在線手語(yǔ)翻譯的聾人遠(yuǎn)程聊天方法的一種較佳實(shí)施例中，步驟step11具體為：

對(duì)于每組交互中斷的“聾人端用戶-聽(tīng)人端用戶-服務(wù)客服”，定義：如果聾人端用戶和聽(tīng)人端用戶至少一方主動(dòng)掛斷三方連接，則稱三方交互正常結(jié)束，否則稱非正常結(jié)束；所述服務(wù)器端負(fù)責(zé)判斷三方交互是否正常結(jié)束，如果是，則結(jié)束；否則轉(zhuǎn)step7執(zhí)行。

相較于現(xiàn)有技術(shù)，本發(fā)明主要解決了聾人和聽(tīng)人在異地、遠(yuǎn)程進(jìn)行溝通的問(wèn)題，且具有以下有益效果：

一、解決現(xiàn)有聊天軟件或系統(tǒng)對(duì)聾人支持不夠的問(wèn)題，明顯改善聾人和聽(tīng)人親友在異地、遠(yuǎn)程溝通時(shí)的體驗(yàn)；

二、相較于現(xiàn)場(chǎng)人工翻譯方法，具有成本低、服務(wù)實(shí)時(shí)的優(yōu)點(diǎn)；

三、相較于文字溝通方法，具有使用習(xí)慣普遍接受，溝通體驗(yàn)好的優(yōu)點(diǎn)；

四、相較于自動(dòng)翻譯器等其它方法，具有實(shí)施難度低、溝通效果好的優(yōu)點(diǎn)。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例描述中所使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其它的附圖，其中：

圖1示出了本發(fā)明所提基于在線手語(yǔ)翻譯的聾人遠(yuǎn)程聊天方法流程圖；

圖2是本文所提方法工作原理圖；

圖3是本文所提方法各端連接圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例。另外，本發(fā)明所提方法可通過(guò)一般可執(zhí)行程序代碼實(shí)現(xiàn)。

請(qǐng)參閱圖1，是本發(fā)明所提基于在線手語(yǔ)翻譯的聾人遠(yuǎn)程聊天方法流程圖。

step1：選擇并呼叫好友；

step2：聾人端和聽(tīng)人端建立并維護(hù)連接；

step3：服務(wù)器端判定所述聾人端和所述聽(tīng)人端是否接通，如果是則轉(zhuǎn)step4，否則轉(zhuǎn)step2；

step4：呼叫客服；

step5：所述服務(wù)器端判定是否有空閑客服，如果是，則選擇一個(gè)空閑客服并轉(zhuǎn)step7，否則轉(zhuǎn)step6；

step6：所述服務(wù)器端判定是否繼續(xù)呼叫，如果是，則轉(zhuǎn)step4，否則結(jié)束；

step7：所述聾人端、所述聽(tīng)人端和所述客服端三方建立并維護(hù)連接；

step8：所述服務(wù)器端判定三方是否接通，如果是則轉(zhuǎn)step9，否則轉(zhuǎn)step7；

step9：所述聾人端、所述聽(tīng)人端和所述客服端三方信息交互；

step10：所述服務(wù)器端判定所述聾人端、所述聽(tīng)人端和所述客服端三方交互是否中斷，如果是則轉(zhuǎn)step11，否則轉(zhuǎn)step9；

step11：所述服務(wù)器端判定是否正常結(jié)束，如果是則結(jié)束，否則轉(zhuǎn)step7。

實(shí)施例

步驟step1：選擇并呼叫好友。具體步驟如下：

第一步，請(qǐng)參閱圖2和圖3，令聾人端為聾人攜帶的手機(jī)，記為a，可處理聾人手語(yǔ)及文字信息；令聽(tīng)人端為聽(tīng)人攜帶的手機(jī)，記為b，可處理聽(tīng)人語(yǔ)音及文字信息；令客服端為手語(yǔ)翻譯客服人員使用的pc計(jì)算機(jī)系統(tǒng)，記為p；令服務(wù)器端為提供請(qǐng)求響應(yīng)與服務(wù)的服務(wù)器系統(tǒng)，記為s；將a、b、p和s以圖3所示方式連接；

第二步，令a、b、p分別向s注冊(cè)成為合法用戶；

第三步，令a和b的狀態(tài)均為“在線”；

第三步，令a和b互相加為好友；

第四步，請(qǐng)參閱圖2中的“一”，令a在其好友列表查找并選擇b，然后向s請(qǐng)求呼叫好友；

第五步，請(qǐng)參閱圖2中的“二”，s處理a的呼叫請(qǐng)求操作，并形成一對(duì)“聾人端用戶-聽(tīng)人端用戶”即“a-b”。

步驟step2：聾人端和聽(tīng)人端建立并維護(hù)連接。具體步驟如下：

第一步，請(qǐng)參閱圖2中的“三”，s在a和b之間建立網(wǎng)絡(luò)和音視頻連接；

第二步，s負(fù)責(zé)維護(hù)“a-b”連接，轉(zhuǎn)step3執(zhí)行。

步驟step3：服務(wù)器端判定所述聾人端和所述聽(tīng)人端是否接通，如果是則轉(zhuǎn)step4，否則轉(zhuǎn)step2。具體步驟如下：

第一步，對(duì)于“a-b”，s判定其連接的狀態(tài)為接通；

第二步，轉(zhuǎn)step4執(zhí)行。

步驟step4：呼叫客服。具體步驟如下：

第一步，請(qǐng)參閱圖2中的“四”，令a向s提交呼叫客服請(qǐng)求，即“a-b”向s提交呼叫客服請(qǐng)求。

步驟step5：所述服務(wù)器端判定是否有空閑客服，如果是，則選擇一個(gè)空閑客服并轉(zhuǎn)step7，否則轉(zhuǎn)step6。具體步驟如下：

第一步，令p的狀態(tài)為空閑；

第二步，請(qǐng)參閱圖2中的“五”，s收到“a-b”的呼叫客服請(qǐng)求后，查詢到本端已注冊(cè)的合法客服端用戶p，并判定p的狀態(tài)為空閑；

第三步，請(qǐng)參閱圖2中的“六”，s選擇p并將其分配給“a-b”，p成為服務(wù)客服，從而形成一組“聾人端用戶-聽(tīng)人端用戶-服務(wù)客服”，即“a-b-p”；

第四步，轉(zhuǎn)step7執(zhí)行。

步驟step7：所述聾人端、所述聽(tīng)人端和所述客服端三方建立并維護(hù)連接。具體步驟如下：

第一步，請(qǐng)參閱圖2中的“七”，對(duì)于“a-b-p”，s在a、b、p三方建立網(wǎng)絡(luò)和音視頻連接；

第二步，s將“a-b-p”連接的狀態(tài)值置為1，并負(fù)責(zé)維護(hù)此連接，轉(zhuǎn)step8執(zhí)行。

步驟step8：所述服務(wù)器端判定三方是否接通，如果是則轉(zhuǎn)step9，否則轉(zhuǎn)step7。具體步驟如下：

第一步，對(duì)于“a-b-p”，s判斷其三方接通；

第二步，轉(zhuǎn)step9執(zhí)行。

步驟step9：所述聾人端、所述聽(tīng)人端和所述客服端三方信息交互。具體步驟如下：

第一步，請(qǐng)參閱圖2，a負(fù)責(zé)采集聾人手語(yǔ)及文字信息，并通過(guò)“a-b-p”連接將其發(fā)送給p；

第二步，p接收a發(fā)送來(lái)的聾人手語(yǔ)及文字信息并展示給客服進(jìn)行翻譯，接著采集客服手語(yǔ)、語(yǔ)音及文字信息以生成翻譯信息一，然后通過(guò)“a-b-p”連接將翻譯信息一發(fā)送給b；

第三步，b接收p發(fā)送來(lái)的翻譯信息一并展示給聽(tīng)人，然后采集聽(tīng)人語(yǔ)音及文字信息，并通過(guò)“a-b-p”連接將其發(fā)送給p；

第四步，p接收b發(fā)送來(lái)的聽(tīng)人語(yǔ)音及文字信息并展示給客服進(jìn)行翻譯，接著采集客服手語(yǔ)、語(yǔ)音及文字信息以生成翻譯信息二，然后通過(guò)“a-b-p”連接將翻譯信息二發(fā)送給a；

第五步，請(qǐng)參閱圖2中的“八”，三方進(jìn)行交互式通話，s負(fù)責(zé)監(jiān)控“a-b-p”的用戶狀態(tài)及連接狀態(tài)。

步驟step10：所述服務(wù)器端判定所述聾人端、所述聽(tīng)人端和所述客服端三方交互是否中斷，如果是則轉(zhuǎn)step11，否則轉(zhuǎn)step9。具體步驟如下：

第一步，請(qǐng)參閱圖2中的“九”，a主動(dòng)掛斷連接；

第二步，“a-b-p”連接的狀態(tài)值1變?yōu)?；

第三步，s判斷“a-b-p”三方交互中斷，轉(zhuǎn)step11執(zhí)行。

步驟step11：所述服務(wù)器端判定是否正常結(jié)束，如果是則結(jié)束，否則轉(zhuǎn)step7。具體步驟如下：

第一步，請(qǐng)參閱圖2中的“十”，s判斷“a-b-p”三方交互正常結(jié)束”；

第二步，結(jié)束。

相較于現(xiàn)有技術(shù)，本發(fā)明主要解決了聾人和聽(tīng)人在異地、遠(yuǎn)程進(jìn)行溝通的問(wèn)題，且具有以下有益效果：

一、解決現(xiàn)有聊天軟件或系統(tǒng)對(duì)聾人支持不夠的問(wèn)題，明顯改善聾人和聽(tīng)人親友在異地、遠(yuǎn)程溝通時(shí)的體驗(yàn)；

二、相較于現(xiàn)場(chǎng)人工翻譯方法，具有成本低、服務(wù)實(shí)時(shí)的優(yōu)點(diǎn)；

三、相較于文字溝通方法，具有使用習(xí)慣普遍接受，溝通體驗(yàn)好的優(yōu)點(diǎn)；

四、相較于自動(dòng)翻譯器等其它方法，具有實(shí)施難度低、溝通效果好的優(yōu)點(diǎn)。

為使本發(fā)明的目的、方案和優(yōu)點(diǎn)更加清楚明白，本實(shí)施例僅以手機(jī)為例并結(jié)合說(shuō)明書附圖來(lái)進(jìn)行說(shuō)明，其他可實(shí)現(xiàn)聯(lián)網(wǎng)及音視頻連接的移動(dòng)端，以及對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下所提出的類似方法，都在該權(quán)利保護(hù)的范圍之內(nèi)。