159]步驟814、WebrtC信令服務(wù)器將B和C的翻譯字幕返回給用戶A，用戶A的瀏覽器應(yīng)用根據(jù)收到的字幕將B的翻譯字幕顯示在B的視頻框中，將收到的用戶C的翻譯字幕顯示在C的視頻框中。
[0160]本發(fā)明提供了的WebRTC點(diǎn)對(duì)點(diǎn)音視頻通話的方法，使用webrtc技術(shù)實(shí)現(xiàn)的視頻通話和視頻會(huì)議中的語(yǔ)音解析并且生成字幕、翻譯字幕、翻譯音頻。通過(guò)本系統(tǒng)，webrtc視頻會(huì)議的會(huì)話成員可以在會(huì)議視頻窗口中查看會(huì)議發(fā)言人的實(shí)時(shí)字幕。通過(guò)本系統(tǒng)，在webrtc的點(diǎn)對(duì)點(diǎn)音視頻通話中也可以完成語(yǔ)音解析和語(yǔ)音翻譯，并將翻譯后的語(yǔ)音解析為文本字幕顯示在用戶的視頻通話窗口上，或者將翻譯后的語(yǔ)音解析為其他語(yǔ)言的語(yǔ)音并合成到原有視頻流中。翻譯出來(lái)的語(yǔ)言文本也可以作為會(huì)議紀(jì)要內(nèi)容保存起來(lái)。本發(fā)明可以在使用不同語(yǔ)言進(jìn)行通話或會(huì)議的用戶請(qǐng)求字幕翻譯或語(yǔ)音翻譯，并可以將會(huì)議內(nèi)容以對(duì)話文本的方式保存為會(huì)議紀(jì)要。
[0161]圖8為本發(fā)明實(shí)施例的WebRTC服務(wù)器的示意圖，如圖8所示，本實(shí)施例的WebRTC服務(wù)器包括:
[0162]第一傳輸模塊，用于接收到第一 WebRTC客戶端的字幕請(qǐng)求消息或翻譯字幕請(qǐng)求消息后，將所述字幕請(qǐng)求消息或翻譯字幕請(qǐng)求消息發(fā)送給一個(gè)或多個(gè)目標(biāo)WebRTC客戶端；
[0163]第二傳輸模塊，用于接收到所述目標(biāo)WebRTC客戶端返回的字幕或翻譯后的字幕后，實(shí)時(shí)地將所述字幕或翻譯后的字幕發(fā)送給所述第一 WebRTC客戶端。
[0164]圖9為本發(fā)明實(shí)施例的作為請(qǐng)求字幕方的WebRTC客戶端的示意圖，如圖9所示，本實(shí)施例的WebRTC客戶端包括:
[0165]發(fā)送模塊，用于向WebRTC服務(wù)器發(fā)送請(qǐng)求一個(gè)或多個(gè)目標(biāo)WebRTC客戶端的字幕請(qǐng)求消息或翻譯字幕請(qǐng)求消息；
[0166]顯示模塊，用于接收到所述WebRTC服務(wù)器返回的字幕或翻譯字幕后，將所述字幕或翻譯字幕顯示在對(duì)應(yīng)的目標(biāo)WebRTC客戶端的視頻框中。
[0167]在一優(yōu)選實(shí)施例中，所述WebRTC客戶端還包括:
[0168]保存模塊，用于保存所述字幕或所述翻譯字幕。
[0169]圖10為本發(fā)明一實(shí)施例的目標(biāo)WebRTC客戶端的示意圖，如圖10所示，本實(shí)施例的WebRTC客戶端包括:
[0170]第一傳輸模塊，用于接收到WebRTC服務(wù)器的字幕請(qǐng)求消息后，將自己的音頻發(fā)送給語(yǔ)音分析字幕服務(wù)器；
[0171]第二傳輸模塊，用于接收到所述語(yǔ)音分析字幕服務(wù)器返回的字幕后將所述字幕返回給所述WebRTC服務(wù)器。
[0172]在一優(yōu)選實(shí)施例中，所述第二傳輸模塊，具體用于接收到所述語(yǔ)音分析字幕服務(wù)器返回的字幕后，向翻譯服務(wù)器發(fā)送翻譯字幕請(qǐng)求，所述翻譯字幕請(qǐng)求包括:所述字幕、翻譯源語(yǔ)言、翻譯目標(biāo)語(yǔ)言；接收到所述翻譯服務(wù)器返回的翻譯后的字幕后，將翻譯后的字幕發(fā)送給所述WebRTC服務(wù)器。
[0173]在一優(yōu)選實(shí)施例中，所述翻譯字幕請(qǐng)求還包括:翻譯返回類型，所述翻譯返回類型包括語(yǔ)音翻譯；所述WebRTC客戶端還包括:
[0174]第三傳輸模塊，用于接收到所述翻譯服務(wù)器返回的翻譯后的音頻后，將翻譯后的音頻放到實(shí)時(shí)的視頻流中，通過(guò)預(yù)先建立的媒體通道發(fā)送給請(qǐng)求翻譯字幕的WebRTC客戶端。
[0175]本領(lǐng)域普通技術(shù)人員可以理解上述方法中的全部或部分步驟可通過(guò)程序來(lái)指令相關(guān)硬件完成，所述程序可以存儲(chǔ)于計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，如只讀存儲(chǔ)器、磁盤或光盤等。可選地，上述實(shí)施例的全部或部分步驟也可以使用一個(gè)或多個(gè)集成電路來(lái)實(shí)現(xiàn)。相應(yīng)地，上述實(shí)施例中的各模塊/單元可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能模塊的形式實(shí)現(xiàn)。本發(fā)明不限制于任何特定形式的硬件和軟件的結(jié)合。
[0176]以上僅為本發(fā)明的優(yōu)選實(shí)施例，當(dāng)然，本發(fā)明還可有其他多種實(shí)施例，在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。
【主權(quán)項(xiàng)】
1.一種網(wǎng)頁(yè)實(shí)時(shí)通信WebRTC點(diǎn)對(duì)點(diǎn)音視頻通話的方法，包括: WebRTC服務(wù)器接收到第一 WebRTC客戶端的字幕請(qǐng)求消息或翻譯字幕請(qǐng)求消息后，將所述字幕請(qǐng)求消息或翻譯字幕請(qǐng)求消息發(fā)送給一個(gè)或多個(gè)目標(biāo)WebRTC客戶端； 所述WebRTC服務(wù)器接收到所述目標(biāo)WebRTC客戶端返回的字幕或翻譯后的字幕后，實(shí)時(shí)地將所述字幕或翻譯后的字幕發(fā)送給所述第一 WebRTC客戶端。
2.如權(quán)利要求1所述的方法，其特征在于: 所述翻譯字幕請(qǐng)求消息包括:翻譯源語(yǔ)言、翻譯目標(biāo)語(yǔ)言以及翻譯返回類型，所述翻譯返回類型包括文字翻譯和/或語(yǔ)音翻譯。
3.一種網(wǎng)頁(yè)實(shí)時(shí)通信WebRTC服務(wù)器，其特征在于，包括: 第一傳輸模塊，用于接收到第一 WebRTC客戶端的字幕請(qǐng)求消息或翻譯字幕請(qǐng)求消息后，將所述字幕請(qǐng)求消息或翻譯字幕請(qǐng)求消息發(fā)送給一個(gè)或多個(gè)目標(biāo)WebRTC客戶端； 第二傳輸模塊，用于接收到所述目標(biāo)WebRTC客戶端返回的字幕或翻譯后的字幕后，實(shí)時(shí)地將所述字幕或翻譯后的字幕發(fā)送給所述第一 WebRTC客戶端。
4.如權(quán)利要求3所述的WebRTC服務(wù)器，其特征在于: 所述翻譯字幕請(qǐng)求消息包括:翻譯源語(yǔ)言、翻譯目標(biāo)語(yǔ)言以及翻譯返回類型，所述翻譯返回類型包括文字翻譯和/或語(yǔ)音翻譯。
5.一種網(wǎng)頁(yè)實(shí)時(shí)通信WebRTC點(diǎn)對(duì)點(diǎn)音視頻通話的方法，包括: WebRTC客戶端向WebRTC服務(wù)器發(fā)送請(qǐng)求一個(gè)或多個(gè)目標(biāo)WebRTC客戶端的字幕請(qǐng)求消息或翻譯字幕請(qǐng)求消息； 所述WebRTC客戶端接收到所述WebRTC服務(wù)器返回的字幕或翻譯字幕后，將所述字幕或翻譯字幕顯示在對(duì)應(yīng)的目標(biāo)WebRTC客戶端的視頻框中。
6.如權(quán)利要求5所述的方法，其特征在于: 所述翻譯字幕請(qǐng)求消息包括:翻譯源語(yǔ)言、翻譯目標(biāo)語(yǔ)言以及翻譯返回類型，所述翻譯返回類型包括文字翻譯和/或語(yǔ)音翻譯。
7.如權(quán)利要求5或6所述的方法，其特征在于:還包括: 所述WebRTC客戶端保存所述字幕或所述翻譯字幕。
8.一種WebRTC客戶端，其特征在于，包括: 發(fā)送模塊，用于向WebRTC服務(wù)器發(fā)送請(qǐng)求一個(gè)或多個(gè)目標(biāo)WebRTC客戶端的字幕請(qǐng)求消息或翻譯字幕請(qǐng)求消息； 顯示模塊，用于接收到所述WebRTC服務(wù)器返回的字幕或翻譯字幕后，將所述字幕或翻譯字幕顯示在對(duì)應(yīng)的目標(biāo)WebRTC客戶端的視頻框中。
9.如權(quán)利要求8所述的WebRTC客戶端，其特征在于，還包括: 保存模塊，用于保存所述字幕或所述翻譯字幕。
10.一種網(wǎng)頁(yè)實(shí)時(shí)通信WebRTC點(diǎn)對(duì)點(diǎn)音視頻通話的方法，包括: WebRTC客戶端接收到WebRTC服務(wù)器的字幕請(qǐng)求消息后，將自己的音頻發(fā)送給語(yǔ)音分析字幕服務(wù)器； 所述WebRTC客戶端接收到所述語(yǔ)音分析字幕服務(wù)器返回的字幕后將所述字幕返回給所述WebRTC服務(wù)器。
11.如權(quán)利要求10所述的方法，其特征在于:所述WebRTC客戶端接收到所述語(yǔ)音分析字幕服務(wù)器返回的字幕后將所述字幕返回給所述WebRTC服務(wù)器，包括: 所述WebRTC客戶端接收到所述語(yǔ)音分析字幕服務(wù)器返回的字幕后，向翻譯服務(wù)器發(fā)送翻譯字幕請(qǐng)求，所述翻譯字幕請(qǐng)求包括:所述字幕、翻譯源語(yǔ)言、翻譯目標(biāo)語(yǔ)言； 所述WebRTC客戶端接收到所述翻譯服務(wù)器返回的翻譯后的字幕后，將翻譯后的字幕發(fā)送給所述WebRTC服務(wù)器。
12.如權(quán)利要求11所述的方法，其特征在于: 所述翻譯字幕請(qǐng)求還包括:翻譯返回類型，所述翻譯返回類型包括語(yǔ)音翻譯；所述方法還包括: 所述WebRTC客戶端接收到所述翻譯服務(wù)器返回的翻譯后的音頻后，將翻譯后的音頻放到實(shí)時(shí)的視頻流中，通過(guò)預(yù)先建立的媒體通道發(fā)送給請(qǐng)求翻譯字幕的WebRTC客戶端。
13.一種WebRTC客戶端，其特征在于，包括: 第一傳輸模塊，用于接收到WebRTC服務(wù)器的翻譯字幕請(qǐng)求消息后，將自己的音頻發(fā)送給語(yǔ)音分析字幕服務(wù)器； 第二傳輸模塊，用于接收到所述語(yǔ)音分析字幕服務(wù)器返回的字幕后將所述字幕返回給所述WebRTC服務(wù)器。
14.如權(quán)利要求13所述的WebRTC客戶端，其特征在于， 所述第二傳輸模塊，具體用于接收到所述語(yǔ)音分析字幕服務(wù)器返回的字幕后，向翻譯服務(wù)器發(fā)送翻譯字幕請(qǐng)求，所述翻譯字幕請(qǐng)求包括:所述字幕、翻譯源語(yǔ)言、翻譯目標(biāo)語(yǔ)言；接收到所述翻譯服務(wù)器返回的翻譯后的字幕后，將翻譯后的字幕發(fā)送給所述WebRTC服務(wù)器。
15.如權(quán)利要求14所述的WebRTC客戶端，其特征在于，所述翻譯字幕請(qǐng)求還包括:翻譯返回類型，所述翻譯返回類型包括語(yǔ)音翻譯；所述WebRTC客戶端還包括: 第三傳輸模塊，用于接收到所述翻譯服務(wù)器返回的翻譯后的音頻后，將翻譯后的音頻放到實(shí)時(shí)的視頻流中，通過(guò)預(yù)先建立的媒體通道發(fā)送給請(qǐng)求翻譯字幕的WebRTC客戶端。
【專利摘要】發(fā)明提供一種WebRTC點(diǎn)對(duì)點(diǎn)音視頻通話的方法及WebRTC服務(wù)器與WebRTC客戶端，使用戶可以跨越語(yǔ)言的障礙，更方便的進(jìn)行通話。在多人視頻會(huì)議中，發(fā)言人將自動(dòng)解析和顯示字幕、翻譯字幕或翻譯音頻，用戶可以輕松判斷誰(shuí)正在發(fā)言和識(shí)別發(fā)言內(nèi)容，而不需要在多個(gè)視頻窗口中尋找發(fā)言人。
【IPC分類】H04N7-14, H04N7-15, G06F17-30
【公開號(hào)】CN104780335
【申請(qǐng)?zhí)枴緾N201510136472
【發(fā)明人】巫妍
【申請(qǐng)人】中興通訊股份有限公司
【公開日】2015年7月15日
【申請(qǐng)日】2015年3月26日