專利名稱：視頻會(huì)議系統(tǒng)的多畫面混圖方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻會(huì)議系統(tǒng)，具體是一種視頻會(huì)議系統(tǒng)的多畫面混圖方法及裝置。
背景技術(shù)：
視頻會(huì)議系統(tǒng)是支持聲音、視頻以及數(shù)據(jù)通信的多媒體通信系統(tǒng)，它通常包括 視頻會(huì)議終端，多點(diǎn)控制單元(MultipointControlUnit，簡(jiǎn)稱MCU)以及其它一些音 視頻采集和輸出設(shè)備。
目前市場(chǎng)上的視頻會(huì)議系統(tǒng)一般符合ITU-TH. 320(國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn) H. 320)或ITU-TH. 323標(biāo)準(zhǔn)，也有符合IETFSIP(互聯(lián)網(wǎng)工程任務(wù)組會(huì)話初始化協(xié)議) 標(biāo)準(zhǔn)的系統(tǒng)。
在通常的視頻會(huì)議系統(tǒng)中各部分的基本功能如下
視頻會(huì)議終端是用戶使用的設(shè)備。終端內(nèi)包含音視頻編解碼器，音視頻編解碼 器負(fù)責(zé)完成聲音、視頻等媒體的壓縮編碼和解碼，終端還連接麥克風(fēng)，攝像頭，顯 示設(shè)備，功放，調(diào)音臺(tái)，用來(lái)完成聲音、視頻的輸入和輸出；終端還可包括紅外輸 入接口 ，用戶通過(guò)紅外輸入接口向終端輸入指令和信息，也可通過(guò)計(jì)算機(jī)進(jìn)行輸入 指令和信息；終端還負(fù)責(zé)和系統(tǒng)中其他終端建立連接，協(xié)商雙方的編解碼器能力， 采用雙方支持的編解碼算法進(jìn)行通信；終端還需完成本地音頻功率測(cè)量,并將功率 信息發(fā)送到多點(diǎn)控制單元；
多點(diǎn)控制單元(MCU)用來(lái)完成多方通信。參加多方通信的終端和MCU建立呼 叫，并進(jìn)行媒體的收發(fā)，MCU負(fù)責(zé)完成媒體的交換和混合。MCU能夠把從多個(gè)終端獲得的視頻合成為一個(gè)多畫面圖像，然后發(fā)送給不同的終端。
在多點(diǎn)會(huì)議中，多畫面功能允許用戶能夠同時(shí)看到多個(gè)通話終端的視頻，并在 各畫面中注明主席端，發(fā)言端,會(huì)議討論熱烈端，以便各用戶根據(jù)自己的意愿選擇觀 看的終端。現(xiàn)有系統(tǒng)中，多畫面通常由多點(diǎn)控制單元來(lái)進(jìn)行合成，最終合并成一路 視頻流和一路音頻流發(fā)送給各個(gè)接收終端。并且各畫面中發(fā)言端沒(méi)有任何標(biāo)示和處 理加以區(qū)別,只是標(biāo)明會(huì)場(chǎng)名稱信息，用戶選擇視頻就帶有很大的盲目性。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是提供一種視頻會(huì)議系統(tǒng)的多畫面混圖方法和裝置， 解決現(xiàn)有視頻會(huì)議系統(tǒng)中，各終端子屏幕無(wú)法自動(dòng)判別并顯示發(fā)言端的問(wèn)題，以方 便會(huì)議參與者的使用，改善系統(tǒng)實(shí)際運(yùn)行效果。
本發(fā)明視頻會(huì)議系統(tǒng)的多畫面混圖方法依次包括以下步驟
a. 視頻會(huì)議終端和多點(diǎn)控制單元建立連接，將本地音、視頻流和聲音情況發(fā)送 給多點(diǎn)控制單元；
b. 多點(diǎn)控制單元根據(jù)聲音信息判斷哪個(gè)終端是發(fā)言端，將該發(fā)言端的畫面與其 他終端的畫面合成為一路輸出視頻流，并將該發(fā)言端的畫面進(jìn)行特殊顯示；
C.多點(diǎn)控制單元將合成的輸出視頻流發(fā)送至各視頻會(huì)議終端； d.各視頻會(huì)議終端將接收到的輸出視頻流顯示在顯示器上。 上述方法中，所述視頻會(huì)議終端和多點(diǎn)控制單元通過(guò)ITU-T H.323或ITU-T H. 320或互聯(lián)網(wǎng)工程任務(wù)組會(huì)話初始化協(xié)議IETF SIP協(xié)議建立連接。
上述方法中，所述多點(diǎn)控制單元和視頻會(huì)議終端之間建立一個(gè)雙向音頻通道、 一個(gè)視頻會(huì)議終端到多點(diǎn)控制單元的視頻通道、 一個(gè)多點(diǎn)控制單元到視頻會(huì)議終端 的視頻通道，通過(guò)音頻通道和視頻通道傳輸輸入視頻流和輸出視頻流。上述方法中，在步驟b沖判斷發(fā)言端所依據(jù)的聲音信息可以包括聲音峰值或 平均功率或其他聲音信息中的一種或多種信息。
上述方法中，由所述視頻會(huì)議終端測(cè)量聲音信息,并將測(cè)量結(jié)果發(fā)送給所述多 點(diǎn)控制單元，再由多點(diǎn)控制單元根據(jù)聲音信息判斷發(fā)言端，并將該發(fā)言端視頻進(jìn)行 特殊顯示。
上述方法的步驟a中，建立連接時(shí)建立信令請(qǐng)求通道，所述信令請(qǐng)求通道需 傳送以下參數(shù)輸出視頻流的多畫面數(shù)、多畫面包含的子畫面內(nèi)容、多畫面布局、 聲音信息。
上述方法的步驟b中，所述特殊顯示包括但不限于顯示在設(shè)定的發(fā)言位置、 加邊框、背景處理等。
本發(fā)明視頻會(huì)議系統(tǒng)的多畫面混圖裝置包括有視頻會(huì)議終端、多點(diǎn)控制單元； 所述視頻會(huì)議終端用于把本地音、視頻流發(fā)送給多點(diǎn)控制單元，還用于接收多點(diǎn)控 制單元發(fā)送的輸出視頻流并顯示在顯示器上；所述多點(diǎn)控制單元，用于把各視頻會(huì) 議終端的輸入視頻流合成為 一個(gè)輸出視頻流并發(fā)送給各視頻會(huì)議終端；所述視頻會(huì) 議終端或多點(diǎn)控制單元中包括有用來(lái)檢測(cè)聲音信息的聲音信息檢測(cè)模塊；所述多點(diǎn) 控制單元中包括有根據(jù)聲音信息判斷發(fā)言端的發(fā)言端判斷模塊。
采用本發(fā)明的方法及裝置，可以自動(dòng)判別參與通信的終端，并能同時(shí)看到多個(gè) 通話終端的視頻，同時(shí)可根據(jù)各終端聲音情況自動(dòng)判別發(fā)言端并將發(fā)言端進(jìn)行特殊 顯示，提高了用戶的視頻體驗(yàn)，增強(qiáng)了用戶溝通效果，提升了系統(tǒng)的使用價(jià)值。


圖l是本發(fā)明的方法的流程圖2是本發(fā)明實(shí)施例的設(shè)備組網(wǎng)3是本發(fā)明實(shí)施例的方法流程圖 圖4是本發(fā)明實(shí)施例中MCU合成多畫面的步驟示意圖 圖5是多畫面的一些典型布局示意圖 圖6是終端和MCU建立連接的信令交互示意圖
具體實(shí)施例方式
本發(fā)明通過(guò)把多畫面合成為一路的視頻流，視頻流為多畫面視頻(包括單畫面 的特例)，多畫面視頻顯示在顯示器上。參與通信的終端能同時(shí)看到多個(gè)通話終端 的視頻，并能根據(jù)各終端聲音情況自動(dòng)判別發(fā)言端并將發(fā)言端進(jìn)行特殊顯示，從而 提高用戶的視頻體驗(yàn)，增強(qiáng)用戶溝通效果，提升系統(tǒng)的使用價(jià)值。
如圖1所示，本發(fā)明所述方法包含如下步驟
步驟110，參與通信的終端和提供多點(diǎn)通信服務(wù)的MCU建立連接。 其中，終端和MCU之間可以使用但不限制于ITU-TH. 323， ITU-TH. 320， IETFSIP 協(xié)議之一建立連接。
連接建立過(guò)程中，不排除有第三方設(shè)備的參與。但這些設(shè)備不是本發(fā)明要說(shuō)明 的核心，所以省略了相關(guān)描述。
MCU可通過(guò)協(xié)商獲知終端聲音信息.
MCU和終端建立一個(gè)雙向音頻通道， 一個(gè)雙向視頻通道(相當(dāng)于一個(gè)終端到MCU 的視頻通道， 一個(gè)MCU到終端的視頻通道)，一個(gè)控制信息傳輸通道。上述MCU和終 端建立通道的方法只是一個(gè)示例，也可以用其他方式建立通道、通道數(shù)目也不限于 上述說(shuō)明?？梢愿鶕?jù)終端的需要建立相應(yīng)的通道數(shù)，例如終端要發(fā)送聲音信息，則 可建立聲音信息傳送通道。
步驟120，終端把本地視頻流和聲音信息發(fā)送給MCU。步驟130， MCU把多個(gè)終端輸入的視頻流合成為一個(gè)輸出視頻流，輸出視頻流 可含一個(gè)或多個(gè)子畫面，每個(gè)子畫面為一路輸入視頻流的圖像。
其中，用戶可以通過(guò)終端設(shè)備發(fā)送信令請(qǐng)求MCU或內(nèi)置MCU的終端本地終端多 畫面的合成效果，該信令請(qǐng)求中的參數(shù)包括但不限于輸出視頻流的多畫面數(shù)，子 畫面內(nèi)容，多畫面布局等。
MCU將多路畫面合成為一路輸出視頻流，其中根據(jù)各終端聲音情況自動(dòng)判別發(fā) 言端并將發(fā)言端顯示在突出位置，輸出視頻流內(nèi)容是由一個(gè)或多個(gè)所述輸入視頻流
合成的多畫面
步驟140， MCU把步驟130中所述的輸出視頻流發(fā)送給終端。MCU可通過(guò)信令 通知終端每個(gè)輸出視頻流的多畫面布局。
步驟150，終端接收該輸出視頻流，把該輸出視頻流顯示在顯示器中。 本發(fā)明還提出一種實(shí)現(xiàn)混圖的視頻會(huì)議系統(tǒng)，包含視頻會(huì)議終端、多點(diǎn)控制 單元。視頻會(huì)議終端，用于把本地視頻流和音頻功率信息發(fā)送給所述多點(diǎn)控制單元， 還用于接收所述多點(diǎn)控制單元發(fā)送的輸出視頻流并顯示在顯示器上；多點(diǎn)控制單元 將多路視頻合成為一個(gè)輸出視頻流并發(fā)送給終端，其中根據(jù)各終端聲音情況自動(dòng)判 別發(fā)言端并將發(fā)言端顯示在突出位置，其中輸出視頻流內(nèi)容是由一個(gè)或多個(gè)輸入視 頻流合成的多畫面，圖2描述了本發(fā)明的一個(gè)具體實(shí)施例的設(shè)備連接關(guān)系。設(shè)置在 視頻會(huì)議終端或多點(diǎn)控制單元中的聲音信息檢測(cè)模塊用來(lái)檢測(cè)各終端的聲音信息， 設(shè)置在多點(diǎn)控制單元的發(fā)言端判斷模塊用來(lái)根據(jù)各終端的聲音信息判斷發(fā)言端。該 實(shí)施例中，終端和MCU都連接到IP網(wǎng)絡(luò)中，通過(guò)IP網(wǎng)絡(luò)進(jìn)行通信。終端和MCU通 信符合ITU-TH. 323標(biāo)準(zhǔn)。在該實(shí)施例中每個(gè)終端有一個(gè)顯示器,MCU具有多畫面的 合成能力。
8圖3描述了本發(fā)明實(shí)施例的方法流程。
步驟310，終端l和MCU建立H. 323連接?？梢允墙K端1主動(dòng)呼叫MCU，也 可以是MCU呼叫終端1。
H. 323連接建立過(guò)程包括呼叫信今過(guò)程，H. 245信令過(guò)程。建立的連接，包括 信令通道，多個(gè)媒體通道，包括1個(gè)雙向的聲音通道，1個(gè)雙向的視頻通道，1個(gè) 單向的MCU到終端的視頻通道。具體的信令交互過(guò)程如圖6所示。
終端2，終端3，終端4按相同的方式也和MCU建立連接。因?yàn)樗羞B接有類 似的特征，在不違背一般性的情況下，這里以終端1和MCU之間的連接為例進(jìn)行描 述。
步驟320，終端1把本會(huì)場(chǎng)的視頻流通過(guò)一個(gè)視頻通道發(fā)送給MCU,把本會(huì)場(chǎng) 的音頻功率信息通過(guò)一個(gè)控制通道發(fā)送給MCU。
步驟330， MCU把4個(gè)終端發(fā)來(lái)的視頻流合成為一個(gè)輸出視頻流并發(fā)送給所述 終端，其中根據(jù)各終端聲音情況自動(dòng)判別發(fā)言端并將發(fā)言端畫面進(jìn)行特殊顯示，其 中輸出視頻流內(nèi)容是由一個(gè)或多個(gè)輸入視頻流合成的多畫面.
在本實(shí)施例中，合成為一個(gè)輸出視頻流，輸出視頻流包含4個(gè)終端的視頻圖 像，其中對(duì)發(fā)言端畫面進(jìn)行特殊顯示。
MCU也可以為每個(gè)終端合成不同的多畫面效果。
步驟340， MCU把合成的輸出視頻流通過(guò)視頻通道發(fā)送給終端1。同時(shí)，MCU
可用信令通知終端每個(gè)輸出視頻流的多畫面布局樣式。
步驟350,終端收到輸出視頻流后，輸出視頻流顯示在顯示器上。
圖4為MCU處理多畫面合成的示意圖。從4個(gè)終端來(lái)的視頻流最后合并為一
個(gè)輸出視頻流，輸出視頻流包含了 4個(gè)終端的視頻圖像，其中發(fā)言端進(jìn)行特殊顯示。圖5為幾種多畫面顯示布局示意圖。圖中給出了 1畫面，2子畫面(左右排列)， 3子畫面(1上2下排列)，4子畫面(上下左右各1個(gè)排列)，6子畫面，9子畫面，16 子畫面的布局例子。
圖6為終端和MCU建立連接的信令交互序列示意圖。
假設(shè)MCU端創(chuàng)建會(huì)議并呼叫終端。
1，檢査是否有空閑會(huì)議控制模塊，有則創(chuàng)建成功,檢查邀請(qǐng)信息正確性與完備
性；
2， MCU向終端發(fā)起呼叫，經(jīng)過(guò)Callprocess， Alerting,后進(jìn)入Setup狀態(tài)，呼叫 過(guò)程完成,會(huì)議成員加入；
3, MCU與終端協(xié)調(diào)發(fā)送終端能力，記錄終端可支持的編解碼能力，進(jìn)入Connect
狀態(tài)；
4, 創(chuàng)建設(shè)置邏輯通道對(duì)象打開邏輯通道，通道狀態(tài)變成Connect;
5，設(shè)置RTP/RTCP地址，建立音視頻流RTP/RTCP連接;其中終端音頻功率信息 是通過(guò)RTCP通道發(fā)往MCU;
6，其他終端的呼叫,通道連接同上,4方會(huì)議進(jìn)入連接中； 7，會(huì)議完成后,MCU發(fā)出刪除終端命令；
類似地，終端和MCU之間建立一個(gè)雙向的視頻流通道。然后MCU和終端之間 在聲音、視頻流通道上發(fā)送接收媒體數(shù)據(jù)。最后會(huì)議結(jié)束,刪除終端。
10
權(quán)利要求
1、一種視頻會(huì)議系統(tǒng)的多畫面混圖方法，其特征是依次包括以下步驟，a. 視頻會(huì)議終端和多點(diǎn)控制單元建立連接，將本地音、視頻流和聲音情況發(fā)送給多點(diǎn)控制單元；b. 多點(diǎn)控制單元根據(jù)聲音信息判斷哪個(gè)終端是發(fā)言端，將該發(fā)言端的畫面與其他終端的畫面合成為一路輸出視頻流，并將該發(fā)言端的畫面進(jìn)行特殊顯示；c. 多點(diǎn)控制單元將合成的輸出視頻流發(fā)送至各視頻會(huì)議終端；d. 各視頻會(huì)議終端將接收到的輸出視頻流顯示在顯示器上。
2、 根據(jù)權(quán)利要求1所述的視頻會(huì)議系統(tǒng)的多畫面混圖方法，其特征是視頻 會(huì)議終端和多點(diǎn)控制單元通過(guò)ITU-TH. 323或ITU-TH. 320或互聯(lián)網(wǎng)工程任務(wù)組會(huì)話 初始化協(xié)議IETF SIP協(xié)議建立連接。
3、 根據(jù)權(quán)利要求1所述的視頻會(huì)議系統(tǒng)的多畫面混圖方法，其特征是多點(diǎn) 控制單元和視頻會(huì)議終端之間建立一個(gè)雙向音頻通道、 一個(gè)視頻會(huì)議終端到多點(diǎn)控制單元的視頻通道、 一個(gè)多點(diǎn)控制單元到視頻會(huì)議終端的視頻通道，通過(guò)音頻通道 和視頻通道傳輸輸入視頻流和輸出視頻流。
4、 根據(jù)權(quán)利要求1所述的視頻會(huì)議系統(tǒng)的多畫面混圖方法，其特征是聲音 信息包括聲音峰值、平均功率中的一種或兩種信息。
5、 根據(jù)權(quán)利要求1所述的視頻會(huì)議系統(tǒng)的多畫面混圖方法，其特征是由視頻會(huì)議終端測(cè)量聲音信息,并將測(cè)量結(jié)果發(fā)送給所述多點(diǎn)控制單元，再由多點(diǎn)控制 單元根據(jù)聲音信息判斷發(fā)言端。
6、 根據(jù)權(quán)利要求1所述的視頻會(huì)議系統(tǒng)的多畫面混圖方法，其特征是步驟 b中所述的特殊顯示包括但不限于顯示在多畫面中的設(shè)定發(fā)言位置或加邊框或背 景處理。
7、根據(jù)權(quán)利要求1所述的視頻會(huì)議系統(tǒng)的多畫面混圖方法，其特征是步驟 a中，建立連接時(shí)建立信令請(qǐng)求通道，所述信令請(qǐng)求通道需傳送以下參數(shù)輸出視 頻流的多畫面數(shù)、多畫面包含的子畫面內(nèi)容、多畫面布局、聲音信息。
8、 一種視頻會(huì)議系統(tǒng)的多畫面混圖裝置，其特征是它包括有視頻會(huì)議終端、 多點(diǎn)控制單元；所述視頻會(huì)議終端用于把本地音、視頻流發(fā)送給多點(diǎn)控制單元，還 用于接收多點(diǎn)控制單元發(fā)送的輸出視頻流并顯示在顯示器上；所述多點(diǎn)控制單元， 用于把各視頻會(huì)議終端的輸入視頻流合成為一個(gè)輸出視頻流并發(fā)送給各視頻會(huì)議 終端；所述視頻會(huì)議終端或多點(diǎn)控制單元中包括有用來(lái)檢測(cè)聲音信息的聲音信息檢 測(cè)模塊；所述多點(diǎn)控制單元中包括有根據(jù)聲音信息判斷發(fā)言端的發(fā)言端判斷模塊。
全文摘要
本發(fā)明涉及視頻會(huì)議系統(tǒng)，具體是一種視頻會(huì)議系統(tǒng)的多畫面混圖方法及裝置。其方法依次包括以下步驟a.視頻會(huì)議終端和多點(diǎn)控制單元建立連接，將本地音、視頻流和聲音情況發(fā)送給多點(diǎn)控制單元；b.多點(diǎn)控制單元根據(jù)聲音信息判斷哪個(gè)終端是發(fā)言端，將該發(fā)言端的畫面與其他終端的畫面合成為一路輸出視頻流，并將該發(fā)言端的畫面進(jìn)行特殊顯示；c.多點(diǎn)控制單元將合成的輸出視頻流發(fā)送所述輸出至各視頻會(huì)議終端；d.各視頻會(huì)議終端將接收到的輸出視頻流顯示在顯示器上。本發(fā)明解決了現(xiàn)有視頻會(huì)議系統(tǒng)中，各終端子屏幕無(wú)法自動(dòng)判別并顯示發(fā)言端的問(wèn)題，方便了會(huì)議參與者的使用，改善了系統(tǒng)實(shí)際運(yùn)行效果。
文檔編號(hào)H04N5/262GK101478642SQ20091002804
公開日2009年7月8日 申請(qǐng)日期2009年1月14日 優(yōu)先權(quán)日2009年1月14日
發(fā)明者勃 劉, 宋慶恒 申請(qǐng)人:鎮(zhèn)江暢聯(lián)通信科技有限公司;華中科技大學(xué);武漢世紀(jì)信通通信產(chǎn)業(yè)有限公司