專利名稱：基于網(wǎng)絡(luò)的多語種語音、文字信息即時互譯通信系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種通信系統(tǒng)及方法，尤指一種基于網(wǎng)絡(luò)的通信系統(tǒng)及方法。
背景技術(shù)：
目前，Internet和信息技術(shù)的應(yīng)用已經(jīng)深入到企業(yè)行為和個人生活的方方面面，許多企業(yè)已經(jīng)基于Internet建立自己的企業(yè)應(yīng)用系統(tǒng)和互聯(lián)網(wǎng)即時通信系統(tǒng)，用于改善內(nèi)部管理、降低通信成本、提高效率，從而提升企業(yè)的競爭力，個人也可能充分享受Internet和信息技術(shù)帶來的諸如開闊視野、縮短時空距離等種種好處。尤其近年來即時通信技術(shù)的發(fā)展及普及應(yīng)用，互聯(lián)網(wǎng)的無國界屬性及國際間通信交流的巨大需求，使得基于Internet的的即時通信(IM)，PSTN公共電話網(wǎng)，其它無線移動電話網(wǎng)(GSM，CDMA，3G，SMS等通信方式)的多語種語音，文字的即時互譯，語音識別(ASR)技術(shù)，語音合成(TTS)技術(shù)的應(yīng)用成為可能。
就當(dāng)前而言，互聯(lián)網(wǎng)的即時通信(IM)，PSTN公共電話網(wǎng)，其它無線移動電話網(wǎng)(GSM，CDMA，3G，SMS等通信方式)的多語種語音，文字的即時互譯、對企業(yè)產(chǎn)品的售前支持、售中溝通和售后服務(wù)，國際業(yè)務(wù)交流都是極其重要的.
另外，到目前為止，仍然缺乏一種有效的用戶語音或文字信息在進行通信時完成語音及文字的多語種互譯機制，讓用戶通信中說出的語音或發(fā)出的文字信息讓對方聽到或收到的是自己選定的語種或文字，基于INTERNET的即時通信(IM)，PSTN公共電話網(wǎng)，其它無線移動電話網(wǎng)(GSM，CDMA，3G，SMS等通信方式)的多語種語音，文字的即時互譯系統(tǒng)，語音識別引擎，語音合成引擎，語音通道，翻譯引擎，結(jié)合了Internet、語音CODEC、視頻CODEC、TCP/IP、數(shù)據(jù)庫技術(shù)和軟件技術(shù)的Internet即時互譯系統(tǒng)。許多企業(yè)和個人越來越多地認(rèn)識到國際交流及個性化服務(wù)的重要性，語音識別(ASR)技術(shù)，語音合成(TTS)技術(shù)也越來越成熟；即時互譯，語音CODEC、以及TCP/IP通信技術(shù)也發(fā)展到實用階段；，基于INTERNET的即時通信(IM)，PSTN公共電話網(wǎng)，其它無線移動電話網(wǎng)(GSM，CDMA，3G，SMS等通信方式)的多語種語音，文字的即時互譯系統(tǒng)正是適應(yīng)這種應(yīng)用需求和技術(shù)進步而提出的一種應(yīng)用系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)，包括用戶終端設(shè)備和服務(wù)器端設(shè)備，所述用戶終端設(shè)備和服務(wù)器端設(shè)備分別與網(wǎng)絡(luò)聯(lián)通，通過該網(wǎng)絡(luò)進行通信，所述服務(wù)器端設(shè)備包括用于通信信令控制和管理、用戶管理、權(quán)限控制、數(shù)據(jù)存儲和中轉(zhuǎn)、客戶端管理、計費管理、數(shù)據(jù)安全管理的控制服務(wù)器；用于語音及文字信息的即時翻譯的多語種語音文字翻譯服務(wù)器，所述用戶終端設(shè)備包括至少一個第一發(fā)送/接收端設(shè)備；至少一個第二發(fā)送/接收端設(shè)備，當(dāng)使用所述第一發(fā)送/接收端設(shè)備通過所述網(wǎng)絡(luò)與所述第二發(fā)送/接收端設(shè)備通信時，所述控制服務(wù)器控制所述翻譯服務(wù)器將所述第一發(fā)送/接收端設(shè)備發(fā)送的語音或文字信息翻譯成對應(yīng)語種的語音或文字信息并發(fā)送到所述第二發(fā)送/接收端設(shè)備上，該系統(tǒng)既能實現(xiàn)一個語種對應(yīng)另一語種的即時語音和/或文字的即時通信翻譯，也能實現(xiàn)一個語種對多個語種的語音和/或文字即時通信翻譯。
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)，所述翻譯服務(wù)器部署有用于語音及文字信息即時翻譯的多語種語音文字翻譯引擎軟件、語音識別(ASR)引擎軟件，語音合成(TTS)引擎軟件，語音通道軟件。
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)，所述網(wǎng)絡(luò)為互聯(lián)網(wǎng)(internet)；所述第一發(fā)送/接收端設(shè)備和第二發(fā)送/接收端設(shè)備為客戶機，該客戶機包括客戶機主機，該客戶機主機部署有具有通信信令控制和管理、數(shù)據(jù)傳輸控制、數(shù)據(jù)安全管理、語音數(shù)據(jù)處理、視頻數(shù)據(jù)處理、語音及文字信息即時翻譯、文字?jǐn)?shù)據(jù)處理、文件傳輸、留言(語音、文字和/或視頻)管理、自動更新支持、IVR支持和硬件設(shè)備支持等功能，可獨立運行的獨立客戶端軟件和/或與所述獨立客戶端軟件功能一致，但需要與瀏覽器結(jié)合運行的組件客戶端軟件和用于語音及文字信息即時翻譯的多語種語音文字翻譯引擎軟件、語音識別(ASR)引擎軟件，語音合成(TTS)引擎軟件，語音通道軟件；該客戶機還包括用于語音和視頻信號的捕獲和轉(zhuǎn)換的語音視頻設(shè)備和與所述互聯(lián)網(wǎng)相聯(lián)接的internet接入設(shè)備；所述服務(wù)器端設(shè)備還包括用于數(shù)據(jù)操作和存儲的數(shù)據(jù)庫服務(wù)器。
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)，所述數(shù)據(jù)庫服務(wù)器還部署有語音標(biāo)記語言與關(guān)系型數(shù)據(jù)庫相互轉(zhuǎn)換的XML-DB轉(zhuǎn)換模塊，所述服務(wù)器端設(shè)備還包括VoiceXML語音網(wǎng)關(guān)；和用于信息發(fā)布和采集及所述組件客戶端軟件部署的WWW服務(wù)器。
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)，所述網(wǎng)絡(luò)為PSTN公共電話網(wǎng)或無線移動電話網(wǎng)，所述第一發(fā)送/接收端設(shè)備和第二發(fā)送/接收端設(shè)備為固定電話或移動電話，所述翻譯服務(wù)器還部署有語音標(biāo)記語言與關(guān)系型數(shù)據(jù)庫相互轉(zhuǎn)換的XML-DB轉(zhuǎn)換模塊。
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)，所述無線移動電話網(wǎng)的通信方式為GSM，CDMA，3G，SMS等通信方式。
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)，所述瀏覽器為IE瀏覽器，該IE瀏覽器與所述組件客戶端軟件結(jié)合的形式是組件客戶端軟件設(shè)計為瀏覽器組件或插件元素。
本發(fā)明的另一個目的在于提供一種基于如權(quán)利要求1所述的基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的通信方法，一次單向通信包括如下步驟(5)系統(tǒng)初始化；(6)所述第一發(fā)送/接收端設(shè)備發(fā)送語音和/或文字信息通過所述網(wǎng)絡(luò)到達所述服務(wù)器端設(shè)備；(7)所述控制服務(wù)器控制所述翻譯服務(wù)器將所述語音和/或文字信息翻譯成對應(yīng)語種的語音和/或文字信息并通過網(wǎng)絡(luò)發(fā)送到第二發(fā)送/接收端設(shè)備；(8)一次單向通信結(jié)束。
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的通信方法，所述網(wǎng)絡(luò)為互聯(lián)網(wǎng)(internet)；所述第一發(fā)送/接收端設(shè)備和第二發(fā)送/接收端設(shè)備為客戶機，該客戶機部署有可獨立運行的獨立客戶端軟件和/或與所述獨立客戶端軟件功能一致，但需要與瀏覽器結(jié)合運行的組件客戶端軟件和用于語音及文字信息即時翻譯的多語種語音文字翻譯引擎軟件、語音識別(ASR)引擎軟件，語音合成(TTS)引擎軟件，語音通道軟件；該客戶機還包括用于語音和視頻信號的捕獲和轉(zhuǎn)換的語音視頻設(shè)備和與所述互聯(lián)網(wǎng)相聯(lián)接的internet接入設(shè)備；所述服務(wù)器端設(shè)備還包括用于數(shù)據(jù)操作和存儲的數(shù)據(jù)庫服務(wù)器。
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的通信方法，所述網(wǎng)絡(luò)為PSTN公共電話網(wǎng)或無線移動電話網(wǎng)，所述第一發(fā)送/接收端設(shè)備和第二發(fā)送/接收端設(shè)備為固定電話或移動電話。
本發(fā)明提供的這種系統(tǒng)及方法為internet網(wǎng)絡(luò)即時通信用戶，固定電話用戶和移動通信用戶提供多語種語音及文字的互譯服務(wù)，突破了人與人之間交流的語言障礙，從而使上述用戶交流更加方便，交流范圍更加廣泛。


圖1為本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的基于internet的即時通信系統(tǒng)整體結(jié)構(gòu)方框圖；圖2為本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的基于internet的即時通信系統(tǒng)的軟件系統(tǒng)結(jié)構(gòu)方框圖；圖3為本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的基于internet的即時通信系統(tǒng)的控制服務(wù)器軟件結(jié)構(gòu)方框圖；圖4為本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的基于int erne t的即時通信系統(tǒng)的客戶端結(jié)構(gòu)方框圖；圖5為本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的基于internet的即時通信系統(tǒng)的組件客戶端軟件與IE瀏覽器結(jié)合及與獨立客戶端軟件的通信翻譯方框圖；圖6為本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的基于internet的即時通信系統(tǒng)的組件客戶端軟件表現(xiàn)在瀏覽器形式示意圖；圖7為本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的基于PSTN公共電話網(wǎng)或無線移動電話網(wǎng)的系統(tǒng)的電話終端與翻譯服務(wù)器的結(jié)合示意圖；圖8為本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的通信方法的流程圖。
具體實施例方式
本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的一個具體實施例是一種基于internet的即時互譯通信系統(tǒng)，其實現(xiàn)需要結(jié)合Internet技術(shù)、語音識別(ASR)技術(shù)，語音合成(TTS)技術(shù)，翻譯引擎技術(shù)，語音CODEC、視頻CODEC、TCP/IP、數(shù)據(jù)庫技術(shù)和軟件技術(shù)等多種技術(shù)，為用戶提供實時通信中的語音文字翻譯系統(tǒng)平臺，從而使用戶從發(fā)起語音訪問或文本信息開始，啟動語音識別引擎，將人說話的語音信號轉(zhuǎn)換為可被計算機程序所識別的文字信息，從而識別說話人的語音指令以及文字內(nèi)容。由翻譯引擎服務(wù)器發(fā)起關(guān)聯(lián)，實現(xiàn)多語錄種語音文字在通信中即時翻譯。
下面結(jié)合附圖詳細描述本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的具體實施例實施例一基于internet的即時互譯通信系統(tǒng)。
1.系統(tǒng)整體結(jié)構(gòu)基于internet的即時互譯通信系統(tǒng)由控制服務(wù)器、數(shù)據(jù)庫服務(wù)器、多語種語音文字翻譯服務(wù)器構(gòu)成的服務(wù)器端設(shè)備和由客戶機構(gòu)成的用戶終端設(shè)備通過internet聯(lián)接構(gòu)成。其中客戶機包括客戶機主機、internet接入設(shè)備和語音視頻設(shè)備。
參考圖1，客戶機主機1由Internet接入設(shè)備10接入internet。多語種語音文字翻譯服務(wù)器4提供internet即時通信中的即時互翻譯服務(wù)；控制服務(wù)器7完成通信過程的信令控制及狀態(tài)管理；數(shù)據(jù)庫服務(wù)器8提供數(shù)據(jù)庫服務(wù)。
語音視頻設(shè)備3為客戶機主機1的輸入設(shè)備，負(fù)責(zé)為該客戶機主機1輸入語音視頻信息。
在本發(fā)明提供的一個實施例中，還提供了用于HTML與VOICEXML轉(zhuǎn)換的VoiceXML語音網(wǎng)關(guān)6，其與提供互聯(lián)網(wǎng)服務(wù)的www服務(wù)器5共同提供用戶訪問www網(wǎng)的服務(wù)。
在多語種語音文字翻譯服務(wù)器4中部署有用于語音及文字信息即時翻譯的多語種語音文字翻譯引擎軟件、語音識別(ASR)引擎軟件，語音合成(TTS)引擎軟件，語音通道軟件；客戶機主機1中則部署有通信信令控制和管理、數(shù)據(jù)傳輸控制、數(shù)據(jù)安全管理、語音數(shù)據(jù)處理、視頻數(shù)據(jù)處理、語音及文字信息即時翻譯、文字?jǐn)?shù)據(jù)處理、文件傳輸、留言(語音、文字和/或視頻)管理、自動更新支持、IVR支持和硬件設(shè)備支持等功能，可獨立運行的獨立客戶端軟件和/或與所述獨立客戶端軟件功能一致，但需要與瀏覽器結(jié)合運行的組件客戶端軟件和用于語音及文字信息即時翻譯的多語種語音文字翻譯引擎軟件、語音識別(ASR)引擎軟件，語音合成(TTS)引擎軟件，語音通道軟件；數(shù)據(jù)庫服務(wù)器8中還可部署用于語音標(biāo)記語言與關(guān)系型數(shù)據(jù)庫的相互轉(zhuǎn)換的XML-DB轉(zhuǎn)換模塊。
系統(tǒng)通信的過程即客戶機主機中的獨立客戶端軟件或組件客戶端軟件之間的交互通信過程。這一過程即internet即時通信(IM)過程，該技術(shù)為公知技術(shù)，這里不在贅述。當(dāng)其中任意兩臺客戶機主機通過獨立客戶端軟件或組件客戶端軟件交互通信時，發(fā)信息的一方我們稱之為發(fā)送端，接收信息的一方我們稱之為接收端，當(dāng)然，任一客戶機主機既可以做發(fā)送端也可以做接收端，因此，我們把通信雙方稱為第一發(fā)送/接收端和第二發(fā)送/接收端。一次單向通信的過程即是第一發(fā)送/接收端發(fā)出信息，在控制服務(wù)器7的控制下，通過多語種語音文字翻譯服務(wù)器4的翻譯，發(fā)送到第二發(fā)送/接收端時即是經(jīng)過翻譯的語音文字信息了。
需要說明的是該系統(tǒng)的整體組成具有可伸縮性，客戶機主機中可以部署翻譯引擎，語音識別引擎ASR，語音合成引擎TTS，語音通道等軟件，也可以不部署。數(shù)據(jù)庫服務(wù)器8、控制服務(wù)器7、www服務(wù)器5、客戶機主機1、VoiceXML語音網(wǎng)關(guān)6在數(shù)量上是不限的。
2.控制服務(wù)器的功能及實現(xiàn)所述控制服務(wù)器的主要功能包括通信信令控制和管理、用戶管理、權(quán)限控制、數(shù)據(jù)存儲和中轉(zhuǎn)、客戶端管理、計費管理、數(shù)據(jù)安全管理等。通信信令由自主設(shè)計，用于支持客戶端呼叫、尋找、建立連接、狀態(tài)控制、數(shù)據(jù)交換和中轉(zhuǎn)、防火墻偵測和穿透等，翻譯引擎，語音識別引擎ASR，語音合成引擎TTS，語音識別與轉(zhuǎn)換控制等，采用TCP/IP協(xié)議棧提供的SOCKET接口函數(shù)實現(xiàn)。用戶管理主要對用戶的相關(guān)資料和數(shù)據(jù)進行管理，應(yīng)用本系統(tǒng)的每個用戶(包括企業(yè)用戶和個人用戶)都有至少一個獨立的標(biāo)識號碼，權(quán)限控制用于實現(xiàn)權(quán)限管理和控制，數(shù)據(jù)存儲和中轉(zhuǎn)用于管理臨時數(shù)據(jù)，客戶端管理實現(xiàn)客戶端版本控制和自動版本更新功能，用戶管理、權(quán)限控制、數(shù)據(jù)存儲和中轉(zhuǎn)和客戶端結(jié)合數(shù)據(jù)庫存技術(shù)進行實現(xiàn)。計費管理用于系統(tǒng)訪問量化或可能用于計費的未來部署。數(shù)據(jù)安全管理用于支持?jǐn)?shù)據(jù)的安全傳輸，數(shù)據(jù)的安全傳輸采用通用的對稱密鑰算法和非對稱密鑰算法機制，具體算法涉及RSA、MD5和DES/3DES。
參考圖3，控制服務(wù)器軟件結(jié)構(gòu)方框圖中，控制功能服務(wù)器采用分層結(jié)構(gòu)設(shè)計，數(shù)據(jù)傳輸控制層C02，通過網(wǎng)絡(luò)傳輸層(TCP/IP協(xié)議棧)C01提供的TCP/IP開發(fā)接口完成數(shù)據(jù)傳輸；數(shù)據(jù)安全管理層C03采用數(shù)據(jù)傳輸控制層C02提供的接口完成數(shù)據(jù)的安全傳輸；通信信令的控制和管理C04采用數(shù)據(jù)安全管理層C03提供的接口完成通信信令和數(shù)據(jù)的傳輸；應(yīng)用功能層部分(包括客戶端管理C07、數(shù)據(jù)存儲和中轉(zhuǎn)C06、用戶管理C10、權(quán)限控制C08、計費管理C09)采用通信信令的控制和管理C04、數(shù)據(jù)安全管理層C03、數(shù)據(jù)傳輸控制層C02實現(xiàn)具體的功能，同時應(yīng)用功能層部分還需要結(jié)合數(shù)據(jù)庫系統(tǒng)；系統(tǒng)的獨立客戶端C13、組件客戶端C14、翻譯引擎，語音識別引擎ASR，語音合成引擎TTS，語音通道C 15主要通過應(yīng)用功能層和控制服務(wù)器進行通信。
3.系統(tǒng)的軟件系統(tǒng)結(jié)構(gòu)系統(tǒng)的軟件系統(tǒng)整體上采用C/S結(jié)構(gòu)，即客戶端/服務(wù)器結(jié)構(gòu)。其中服務(wù)器端軟件作為獨立的應(yīng)用(或服務(wù))來運行，結(jié)合軟件分布式技術(shù)，根據(jù)客戶端數(shù)量，服務(wù)器端軟件可以部署在一臺或多臺計算機上，從而平衡服務(wù)器端流量，服務(wù)器主要完成一些控制功能，我們把服務(wù)器叫做控制服務(wù)器?？蛻舳塑浖捎脙煞N方式來實現(xiàn)即可以獨立運行的客戶端(我們稱之為獨立客戶端)和作為軟件組件形式的客戶端(我們稱之為組件客戶端)。獨立客戶端是一個獨立的應(yīng)用程序，可以單獨運行；組件客戶端為一個ActiveX控件，需要在其他應(yīng)用程序容器中運行，如瀏覽器。在本發(fā)明的一個具體實施例中，根據(jù)具體的應(yīng)用形式，該ActiveX控件可以部署在IE瀏覽器并與其結(jié)合。
IM即時通信可以通過啟動IE運行組件客戶端，也可直接運行獨立客戶端，發(fā)起通信時與翻譯引擎發(fā)生關(guān)聯(lián)完成翻譯?？蛻舳撕头?wù)器端通過TCP/IP協(xié)議進行通信。
參考圖2，軟件系統(tǒng)結(jié)構(gòu)方框圖中，軟件系統(tǒng)整體上包括控制服務(wù)器和客戶端兩部分，控制服務(wù)器采用分層的設(shè)計結(jié)構(gòu)，即控制服務(wù)器由數(shù)據(jù)傳輸控制B02、數(shù)據(jù)安全管理B03、通信信令控制與管理B04、應(yīng)用處理層(包括語音文字翻譯引擎，語音識別引擎ASR，語音合成引擎TTS，語音通道(上述這4個部分本圖未示，詳見圖3)，語音部分B06、視頻部分B07、數(shù)據(jù)存儲和中轉(zhuǎn)B08、權(quán)限控制B09、客戶端管理B10等子系統(tǒng))等部分組成。客戶機也采用分層設(shè)計結(jié)構(gòu)，并且和服務(wù)器端具有對應(yīng)的分層處理?？蛻魴C和服務(wù)器通過網(wǎng)絡(luò)傳輸層(TCP/IP協(xié)議棧進行直接的數(shù)據(jù)通信)，另外，系統(tǒng)還包括數(shù)據(jù)庫服務(wù)器B11。
4.客戶端功能及實現(xiàn)客戶機的軟件功能實現(xiàn)包括獨立客戶端軟件和組件客戶端軟件兩種方式，兩種方式在功能實現(xiàn)上基本一致，獨立客戶端是全功能客戶機，除擔(dān)負(fù)基本通信功能外，還具備翻譯引擎功能，企業(yè)端還作為語音、視頻、文字、文件等多語種語音文字信息編譯端、組件客戶端不能獨立運行，但可以集成在其它容器當(dāng)中，作為其他客戶機的一部分。客戶端的功能包括通信信令控制和管理、數(shù)據(jù)傳輸控制、數(shù)據(jù)安全管理、語音數(shù)據(jù)處理、視頻數(shù)據(jù)處理、文字消息處理、文件傳輸、留言(語音、文字和視頻)管理、自動更新支持、IVR支持和硬件設(shè)備支持等。客戶端通信信令控制和管理和服務(wù)器端通信信令控制和管理功能配合，完成語音識別ASR，語音轉(zhuǎn)換TTS，翻譯引擎完成多語種互翻譯，完成VOIP呼叫、尋的，建立連接、狀態(tài)控制、數(shù)據(jù)交換和中轉(zhuǎn)、防火墻偵測和穿透等功能，數(shù)據(jù)傳輸控制用于完成數(shù)據(jù)的實時傳輸控制、自適應(yīng)帶寬控制、非實時數(shù)據(jù)的傳輸，客戶端通信信令控制和數(shù)據(jù)傳輸控制采用TCP/IP協(xié)議棧實現(xiàn)；客戶端數(shù)據(jù)安全管理和服務(wù)器端數(shù)據(jù)安全管理互相配合，完成數(shù)據(jù)安全傳輸，采用通用的對稱密鑰算法和非對稱密鑰算法機制，非對稱密鑰算法采用RSA，對稱密鑰算法采用DES/3DES，哈希算法采用MD5；語音數(shù)據(jù)處理包括語音的實時捕獲、編碼解碼(CODEC)、傳輸、回放，視頻數(shù)據(jù)處理包括視頻的實時捕獲、編碼解碼(CODEC)、傳輸、播放，語音和視頻的編碼遵循國際的語音和視頻編碼解碼算法；文字消息處理完成即時的文字信息傳輸，文件傳輸用于傳輸文件數(shù)據(jù)，文字消息處理和文件傳輸都采用密文的方式進行傳輸；自動更新支持完成客戶端軟件的自動升級；IVR支持完成交互式的語音、視頻、圖文響應(yīng)，通信連接的一端根據(jù)另一端的操作，自動響應(yīng)，向另一端播放或者顯示語音、視頻、圖文內(nèi)容。
參考圖4，客戶端結(jié)構(gòu)方框圖中，客戶端采用分層結(jié)構(gòu)設(shè)計，數(shù)據(jù)傳輸層D02、數(shù)據(jù)安全管理D03、通信信令控制和管理D04和控制服務(wù)器基本對應(yīng)，但在客戶端數(shù)據(jù)傳輸層D02中，實現(xiàn)實時傳輸控制、自適應(yīng)傳輸控制及非實時傳輸控制；在功能層D05中，包括版本更新、文字消息、文件傳輸、留言管理、IVR管理；翻譯引擎，語音識別ASR，語音轉(zhuǎn)換TTS以及音頻和視頻的處理功能。
5.組件客戶端軟件與IE瀏覽器結(jié)合及與獨立客戶端軟件的通信翻譯基于IM的組件客戶端軟件與獨立客戶端軟件是系統(tǒng)客戶端軟件的兩種方式，兩種方式在功能實現(xiàn)上基本一致，在進行通信時，無論是組件客戶端軟件還是獨立客戶端軟件，都具備一個獨立的標(biāo)識碼，組件客戶端軟件可以直接呼叫組件客戶端軟件，也可呼叫獨立客戶端軟件，反之也然，INTERNET端對端通信，二種客戶端軟件都需要數(shù)據(jù)庫服務(wù)器及數(shù)據(jù)控制服務(wù)器常連接，由次完成系統(tǒng)通信信令控制和管理、用戶管理、權(quán)限控制、數(shù)據(jù)存儲和中轉(zhuǎn)、客戶端管理、計費管理、數(shù)據(jù)安全管理等；當(dāng)客戶端對另一端發(fā)起呼叫、尋找、建立連接時，除獨立客戶端之間的通信外，其它的呼叫請求首先被發(fā)往翻譯服務(wù)器，由翻譯引擎執(zhí)行翻譯，如A端的用戶使用的語種是中文，對端B用戶是用的語種是英文，無論發(fā)出的是語音或文本信息，都有ASR，TTS及翻譯引擎關(guān)聯(lián)完成通信中的翻譯，獨立客戶端軟件之間的通信其翻譯將根據(jù)發(fā)起端與受話端的語音或文字的語種選擇由本地客戶端完成。
在圖5中企業(yè)可通過部署WWW服務(wù)器為用戶提供語音信息服務(wù)，企業(yè)被訪問時需要首先播放的語音文件通過VoiceXML語音網(wǎng)關(guān)，XML與DB模塊，語音通道，翻譯引擎等關(guān)聯(lián)即可實現(xiàn)。
6.組件客戶端軟件與IE瀏覽器結(jié)合組件客戶端軟件可以在IE瀏覽容器環(huán)境運行，可以通過客戶端瀏覽器腳本語言，實現(xiàn)作為軟件組件形式的客戶端與IE瀏覽容器結(jié)合。直接生成于IE框上，當(dāng)IE啟動時組件客戶端被激活。
在圖5中，組件客戶端與IE瀏覽容器結(jié)合中，Internet用戶利用瀏覽器E01在語音通道呼叫目標(biāo)用戶或發(fā)送文本信息，經(jīng)ASR，TTS，翻譯引擎實現(xiàn)多語種語音及文本信息在通信中完成即時翻譯，組件客戶端軟件還可關(guān)聯(lián)控制服務(wù)器及數(shù)據(jù)庫服務(wù)器，控制服務(wù)器把數(shù)據(jù)庫服務(wù)器關(guān)于站點的信息由VoiceXML語音網(wǎng)關(guān)把HTML轉(zhuǎn)換成VXML，客戶端獲取語音信息。組件客戶端完成通信中的即時翻譯。
組件客戶端軟件嵌入到IE瀏覽器，其表現(xiàn)形式是控件元素，控件元素可以是一個按鈕、圖標(biāo)、圖片、文字、鏈接，也可是其他別的可視的內(nèi)容。參考圖6，組件客戶端軟件以控件的形式表現(xiàn)在IE瀏覽器中。用戶通過直接操作或呼叫或用鼠標(biāo)、鍵盤、或者其他輸入設(shè)備來點擊控件元素發(fā)起關(guān)聯(lián)通信。
實施例二基于PSTN公共電話網(wǎng)或無線移動電話網(wǎng)的即時互譯通信系統(tǒng)。
本發(fā)明的另一個實施例中提供了一種基于傳統(tǒng)的PSTN公共電話網(wǎng)或無線移動電話網(wǎng)(GSM，CDMA，3G，SMS等通信方式)的多語種語音，文字的即時通信翻譯系統(tǒng)，仍按客戶端/服務(wù)器結(jié)構(gòu)形式構(gòu)建，如圖7，圖中PSTN公共電話網(wǎng)及移動電話網(wǎng)中的電話終端用戶作為客戶端，在PSTN及移動電話網(wǎng)的交換中心部署一臺或多臺翻譯服務(wù)器，由控制服務(wù)器實施管理，服務(wù)器端具有文字消息翻譯傳輸、留言管理、IVR管理；翻譯引擎，翻譯模塊，語音識別ASR，語音轉(zhuǎn)換TTS以及音頻的處理功能。
當(dāng)終端用戶發(fā)起語音通話時，經(jīng)電話終端語音通道被送往翻譯服務(wù)器，服務(wù)器根據(jù)主叫用戶或被叫用戶的語種選擇執(zhí)行翻譯，通信中即時翻譯完成。
當(dāng)終端用戶發(fā)起移動網(wǎng)或固網(wǎng)的SMS短信通信時，短信中心將文本信息送翻譯服務(wù)器，返回結(jié)果由短信中心送達被叫，用戶回復(fù)短信流程相同。
圖8是本發(fā)明提供的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的通信方法的流程圖。系統(tǒng)初始化步驟具體實現(xiàn)為用戶啟動組件客戶端軟件或獨立客戶端軟件或在公共電信網(wǎng)或移動通信網(wǎng)中用電話終端執(zhí)行撥號；第一發(fā)送/接收端發(fā)送信息通過網(wǎng)絡(luò)到服務(wù)器步驟具體實現(xiàn)為IM用戶使用組件客戶端軟件或獨立客戶端軟件通過語音視頻設(shè)備發(fā)起語音呼叫，或用鍵盤發(fā)送文本信息，公共電信網(wǎng)中或移動通信網(wǎng)電話終端用戶開始通話或發(fā)送SMS短信；服務(wù)器響應(yīng)并將信息翻譯成指定語種信息步驟具體實現(xiàn)為系統(tǒng)發(fā)起關(guān)聯(lián)通信并激活翻譯引擎，翻譯成對應(yīng)語種的語音及文字信息；服務(wù)器將翻譯完的信息通過網(wǎng)絡(luò)發(fā)送到第二發(fā)送/接收端步驟具體實現(xiàn)為IM用戶的信息接收端是獨立客戶端軟件或組件客戶端軟件，公共電信網(wǎng)或移動通信網(wǎng)的用戶的信心接收端是電話終端，各網(wǎng)絡(luò)的服務(wù)器將把翻譯好的信息傳送給各自的接收端；然后一次單向通信結(jié)束。此過程可根據(jù)用戶需要不斷進行，所述第一發(fā)送/接收端設(shè)備和第二發(fā)送接收端設(shè)備將交互的發(fā)送和接收信息，各自使用各自的語言，能夠無障礙的交流。
以上所揭露的僅為本發(fā)明較佳實施例而已，當(dāng)然不能以此來限定本發(fā)明之權(quán)利范圍，因此依本發(fā)明申請專利范圍所作的等同變化，仍屬本發(fā)明所涵蓋的范圍。
權(quán)利要求
1.一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)，包括用戶終端設(shè)備和服務(wù)器端設(shè)備，所述用戶終端設(shè)備和服務(wù)器端設(shè)備分別與網(wǎng)絡(luò)聯(lián)通，通過該網(wǎng)絡(luò)進行通信，其特征是所述服務(wù)器端設(shè)備包括用于通信信令控制和管理、用戶管理、權(quán)限控制、數(shù)據(jù)存儲和中轉(zhuǎn)、客戶端管理、計費管理、數(shù)據(jù)安全管理的控制服務(wù)器；用于語音及文字信息的即時翻譯的多語種語音文字翻譯服務(wù)器，所述用戶終端設(shè)備包括至少一個第一發(fā)送/接收端設(shè)備；至少一個第二發(fā)送/接收端設(shè)備，當(dāng)使用所述第一發(fā)送/接收端設(shè)備通過所述網(wǎng)絡(luò)與所述第二發(fā)送/接收端設(shè)備通信時，所述控制服務(wù)器控制所述翻譯服務(wù)器將所述第一發(fā)送/接收端設(shè)備發(fā)送的語音或文字信息翻譯成對應(yīng)語種的語音或文字信息并發(fā)送到所述第二發(fā)送/接收端設(shè)備上，該系統(tǒng)既能實現(xiàn)一個語種對應(yīng)另一語種的即時語音和/或文字的即時通信翻譯，也能實現(xiàn)一個語種對多個語種的語音和/或文字即時通信翻譯。
2.如權(quán)利要求1所述的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)，其特征在于所述翻譯服務(wù)器部署有用于語音及文字信息即時翻譯的多語種語音文字翻譯引擎軟件、語音識別(ASR)引擎軟件，語音合成(TTS)引擎軟件，語音通道軟件。
3.如權(quán)利要求2所述的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)，其特征在于所述網(wǎng)絡(luò)為互聯(lián)網(wǎng)(internet)；所述第一發(fā)送/接收端設(shè)備和第二發(fā)送/接收端設(shè)備為客戶機，該客戶機包括客戶機主機，該客戶機主機部署有具有通信信令控制和管理、數(shù)據(jù)傳輸控制、數(shù)據(jù)安全管理、語音數(shù)據(jù)處理、視頻數(shù)據(jù)處理、語音及文字信息即時翻譯、文字?jǐn)?shù)據(jù)處理、文件傳輸、留言(語音、文字和/或視頻)管理、自動更新支持、IVR支持和硬件設(shè)備支持等功能，可獨立運行的獨立客戶端軟件和/或與所述獨立客戶端軟件功能一致，但需要與瀏覽器結(jié)合運行的組件客戶端軟件和用于語音及文字信息即時翻譯的多語種語音文字翻譯引擎軟件、語音識別(ASR)引擎軟件，語音合成(TTS)引擎軟件，語音通道軟件；所述客戶機還包括用于語音和視頻信號的捕獲和轉(zhuǎn)換的語音視頻設(shè)備和與所述互聯(lián)網(wǎng)相聯(lián)接的internet接入設(shè)備；所述服務(wù)器端設(shè)備還包括用于數(shù)據(jù)操作和存儲的數(shù)據(jù)庫服務(wù)器。
4.如權(quán)利要求3所述的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)，其特征在于所述數(shù)據(jù)庫服務(wù)器還部署有語音標(biāo)記語言與關(guān)系型數(shù)據(jù)庫相互轉(zhuǎn)換的XML-DB轉(zhuǎn)換模塊，所述服務(wù)器端設(shè)備還包括VoiceXML語音網(wǎng)關(guān)；和用于信息發(fā)布和采集及所述組件客戶端軟件部署的WWW服務(wù)器。
5.如權(quán)利要求2所述的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)，其特征在于所述網(wǎng)絡(luò)為PSTN公共電話網(wǎng)或無線移動電話網(wǎng)，所述第一發(fā)送/接收端設(shè)備和第二發(fā)送/接收端設(shè)備為固定電話或移動電話，所述翻譯服務(wù)器還部署有語音標(biāo)記語言與關(guān)系型數(shù)據(jù)庫相互轉(zhuǎn)換的XML-DB轉(zhuǎn)換模塊。
6.如權(quán)利要求5所述的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)，其特征在于所述無線移動電話網(wǎng)的通信方式為GSM，CDMA，3G，SMS通信方式。
7.如權(quán)利要求3所述的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)，其特征在于所述瀏覽器為IE瀏覽器，該IE瀏覽器與所述組件客戶端軟件結(jié)合的形式是組件客戶端軟件設(shè)計為瀏覽器組件或插件元素。
8.一種基于如權(quán)利要求1所述的基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的通信方法，其特征在于一次單向通信包括如下步驟(1)系統(tǒng)初始化；(2)所述第一發(fā)送/接收端設(shè)備發(fā)送語音和/或文字信息通過所述網(wǎng)絡(luò)到達所述服務(wù)器端設(shè)備；(3)所述控制服務(wù)器控制所述翻譯服務(wù)器將所述語音和/或文字信息翻譯成對應(yīng)語種的語音和/或文字信息并通過網(wǎng)絡(luò)發(fā)送到第二發(fā)送/接收端設(shè)備；(4)一次單向通信結(jié)束。
9.如權(quán)利要求8所述的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的通信方法，其特征在于所述網(wǎng)絡(luò)為互聯(lián)網(wǎng)(internet)；所述第一發(fā)送/接收端設(shè)備和第二發(fā)送/接收端設(shè)備為客戶機，該客戶機部署有可獨立運行的獨立客戶端軟件和/或與所述獨立客戶端軟件功能一致，但需要與瀏覽器結(jié)合運行的組件客戶端軟件和用于語音及文字信息即時翻譯的多語種語音文字翻譯引擎軟件、語音識別(ASR)引擎軟件，語音合成(TTS)引擎軟件，語音通道軟件；該客戶機還包括用于語音和視頻信號的捕獲和轉(zhuǎn)換的語音視頻設(shè)備和與所述互聯(lián)網(wǎng)相聯(lián)接的internet接入設(shè)備；所述服務(wù)器端設(shè)備還包括用于數(shù)據(jù)操作和存儲的數(shù)據(jù)庫服務(wù)器。
10.如權(quán)利要求8所述的一種基于網(wǎng)絡(luò)的多語種語音和/或文字信息的即時互譯通信系統(tǒng)的通信方法，其特征在于所述網(wǎng)絡(luò)為PSTN公共電話網(wǎng)或無線移動電話網(wǎng)，所述第一發(fā)送/接收端設(shè)備和第二發(fā)送/接收端設(shè)備為固定電話或移動電話。
全文摘要
本發(fā)明提供了一種基于網(wǎng)絡(luò)的多語種語音、文字的即時互譯通信系統(tǒng)，尤指基于INTERNET的即時通信(IM)，PSTN公共電話網(wǎng)，其它無線移動電話網(wǎng)(GSM，CDMA，3G，SMS等通信方式)的多語種語音、文字的即時互譯通信系統(tǒng)。該系統(tǒng)由用戶終端設(shè)備和服務(wù)器端設(shè)備組成，兩設(shè)備分別與網(wǎng)絡(luò)聯(lián)通，通過網(wǎng)絡(luò)進行通信，服務(wù)器端設(shè)備包括控制服務(wù)器和多語種語音文字翻譯服務(wù)器，用戶終端設(shè)備包括至少一個第一發(fā)送/接收端設(shè)備和至少一個第二發(fā)送/接收端設(shè)備。系統(tǒng)能實現(xiàn)一個語種對應(yīng)另一語種的語音或文字的實時通信翻譯，也能實現(xiàn)一個語種對多個語種受眾的語音或文字實時通信翻譯。此外本發(fā)明還公開了基于該系統(tǒng)的一種通信方法。
文檔編號G10L13/00GK1770747SQ200510100298
公開日2006年5月10日 申請日期2005年10月17日 優(yōu)先權(quán)日2005年10月17日
發(fā)明者陳漢奕 申請人:陳漢奕