專(zhuān)利名稱(chēng)：一種實(shí)現(xiàn)多屏多畫(huà)面的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻會(huì)議領(lǐng)域，特別涉及一種在視頻會(huì)議系統(tǒng)中實(shí)現(xiàn)多屏多 畫(huà)面的方法和系統(tǒng)。
背景技術(shù)：
視頻會(huì)議系統(tǒng)是支持聲音、視頻以及數(shù)據(jù)通信的多媒體通信系統(tǒng)，它包
括會(huì)議電一見(jiàn)終端，MCU ( Multipoint Control Unit，多點(diǎn)控制單元)以及其它 一些設(shè)備。
目前市場(chǎng)上的視頻會(huì)議系統(tǒng)一般符合ITU-T H,320(國(guó)際電信聯(lián)盟電信 標(biāo)準(zhǔn)H,320)或ITU-T H,323標(biāo)準(zhǔn)，也有符合IETF SIP (互聯(lián)網(wǎng)工程任務(wù)組會(huì) 話(huà)初始化協(xié)議)標(biāo)準(zhǔn)的系統(tǒng)。
終端是用戶(hù)使用的設(shè)備，終端內(nèi)包含編解碼器，編解碼器負(fù)責(zé)完成聲音、 視頻等媒體的壓縮編碼和解碼，終端還連接麥克風(fēng)，攝像頭，顯示器，聲音 播放子系統(tǒng)，用來(lái)完成聲音、視頻的輸入和輸出，終端還包括用戶(hù)輸入接口， 用戶(hù)通過(guò)輸入接口向終端輸入指令和信息。終端負(fù)責(zé)和對(duì)方的終端建立連 接，協(xié)商雙方的編解碼器能力，采用雙方支持的編解碼算法進(jìn)行通信。
MCU用來(lái)完成多方通信。參加多方通信的終端和MCU建立呼叫，并 進(jìn)行媒體的收發(fā)，MCU負(fù)責(zé)完成媒體的交換和混合。MCU能夠4巴,人多個(gè)終 端獲得的視頻合成為一個(gè)多畫(huà)面圖像，然后發(fā)送給不同的終端。
部分終端也支持多方通信能力，即能夠同時(shí)和多個(gè)終端建立連接。本文 中，把這類(lèi)終端稱(chēng)為內(nèi)置MCU功能的終端。
在多點(diǎn)會(huì)議中，多畫(huà)面功能允許用戶(hù)能夠同時(shí)看到多個(gè)通話(huà)終端的視 頻，有助于改進(jìn)通話(huà)效果，是非常受歡迎的功能。
目前多畫(huà)面通常由MCU或內(nèi)置MCU的終端來(lái)進(jìn)4亍合成，最終作為一
路視頻流送給接收終端。
許多情況下，用戶(hù)的終端設(shè)備配置了兩個(gè)以上的顯示器，目前^L頻會(huì)議 系統(tǒng)支持兩絲4見(jiàn)頻流，但是現(xiàn)有的多畫(huà)面顯示只允許在一個(gè)4見(jiàn)頻流中合成并 傳送，另一個(gè)視頻流只傳遞一個(gè)視頻源圖像，例如傳送電腦的VGA顯示信 號(hào)。如果把多畫(huà)面合成為一路視頻流，只能顯示在一個(gè)顯示器中，這樣分配 給每個(gè)子畫(huà)面的顯示區(qū)域較小。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是提供 一 種實(shí)現(xiàn)多屏多畫(huà)面的方法和系統(tǒng)，解 決現(xiàn)有視頻會(huì)議中，多畫(huà)面只能顯示在一個(gè)屏幕中，導(dǎo)致子畫(huà)面顯示區(qū)域小 的問(wèn)題，改善用戶(hù)體-驗(yàn)。
為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了 一種視頻會(huì)議系統(tǒng)中實(shí)現(xiàn)多屏多 畫(huà)面的方法，所述^L頻會(huì)議系統(tǒng)包含若干個(gè)終端，包含如下步驟
(a) 終端和多點(diǎn)控制單元建立連接，終端把本地視頻流發(fā)送給所述多 點(diǎn)控制單元；
(b) 所述多點(diǎn)控制單元把所述終端發(fā)送的輸入視頻流合成為多個(gè)輸出 視頻流，每一個(gè)輸出一見(jiàn)頻流內(nèi)容是由一個(gè)或多個(gè)所述輸入一見(jiàn)頻流合成的多畫(huà) 面；
(c) 所述多點(diǎn)控制單元發(fā)送所述多個(gè)輸出視頻流給所述終端；
(d) 所述終端接收到所述多個(gè)輸出視頻流后顯示在多個(gè)顯示器上。
進(jìn)一步地，上述方法還可具有以下特點(diǎn)，步驟(a)中，所述多點(diǎn)控制 單元為一獨(dú)立多點(diǎn)控制單元或內(nèi)置于任一所述^L頻會(huì)議系統(tǒng)的終端上。
進(jìn)一步地，上述方法還可具有以下特點(diǎn)，步驟(a)中，所述終端和所 述多點(diǎn)控制單元通過(guò)ITU-T H.323或ITU-T H.320或互聯(lián)網(wǎng)工程任務(wù)組會(huì)話(huà) 初始化協(xié)議IETF SIP協(xié)議建立連接。
進(jìn)一步地，上述方法還可具有以下特點(diǎn)，步驟(a)中，所述多點(diǎn)控制 單元和所述終端建立一個(gè)雙向音頻通道， 一個(gè)終端到多點(diǎn)控制單元的^L頻通 道， 一個(gè)或多個(gè)多點(diǎn)控制單元到終端的^L頻通道，通過(guò)所述音頻通道和—見(jiàn)頻通道傳輸所述輸入3見(jiàn)頻流和輸出#見(jiàn)頻流。
進(jìn)一步地，上述方法還可具有以下特點(diǎn)，所述多點(diǎn)控制單元到終端的視 頻通道個(gè)數(shù)取決于終端的顯示器數(shù)目，所述多點(diǎn)控制單元通過(guò)協(xié)商或手工配 置獲得所述終端的顯示器數(shù)目。
進(jìn)一步地，上述方法還可具有以下特點(diǎn)，所述步驟(b)中，用戶(hù)通過(guò) 所述終端發(fā)送信令請(qǐng)求所述多點(diǎn)控制單元所述終端本地多畫(huà)面的合成效果， 所述多點(diǎn)控制單元根據(jù)所述信令請(qǐng)求進(jìn)行輸入視頻流的合成。
進(jìn)一步地，上述方法還可具有以下特點(diǎn)，所述信令請(qǐng)求中包含如下一個(gè)
或多個(gè)參數(shù)輸出視頻流數(shù)目，每路輸出視頻流的多畫(huà)面數(shù)，多畫(huà)面包含的 子畫(huà)面內(nèi)容，多畫(huà)面布局。
進(jìn)一步地，上述方法還可具有以下特點(diǎn)，所述步驟(b)中，所述多點(diǎn) 控制單元為每個(gè)所述終端合成的輸出視頻流中不包含所述終端本地的輸入 視頻流。
進(jìn)一步地，上述方法還可具有以下特點(diǎn)，所述步驟(c)中，所述多點(diǎn) 控制單元發(fā)送信令通知所述終端每個(gè)輸出視頻流的多畫(huà)面布局。
本發(fā)明還提出一種實(shí)現(xiàn)多屏多畫(huà)面的視頻會(huì)議系統(tǒng)，包含終端、多點(diǎn)控 制單元，所述終端，用于把本地視頻流發(fā)送給所述多點(diǎn)控制單元，還用于接 收所述多點(diǎn)控制單元發(fā)送的多個(gè)輸出視頻流并顯示在多個(gè)顯示器上；
所述多點(diǎn)控制單元，用于把所述終端的輸入視頻流合成為多個(gè)輸出視頻 流并發(fā)送給所述終端，其中每一個(gè)輸出視頻流內(nèi)容是由一個(gè)或多個(gè)輸入視頻 流合成的多畫(huà)面。
采用本發(fā)明的方法，參與通信的終端能夠使用多個(gè)顯示器來(lái)顯示多個(gè)遠(yuǎn) 端會(huì)場(chǎng)的視頻圖像，用戶(hù)能夠看到更大或更多的遠(yuǎn)端會(huì)場(chǎng)的視頻圖像，提高 了用戶(hù)的視頻體驗(yàn)，增強(qiáng)了用戶(hù)溝通效果，提升了系統(tǒng)的使用價(jià)值。


圖1是本發(fā)明的方法的流程圖2是本發(fā)明實(shí)施例的設(shè)備組網(wǎng)圖3是本發(fā)明實(shí)施例的方法流程圖4是本發(fā)明實(shí)施例中MCU合成多畫(huà)面的示意圖5是多畫(huà)面的一些典型布局示意圖6是終端和MCU建立連接的信令交互序列示意圖。
具體實(shí)施例方式
本發(fā)明通過(guò)把多畫(huà)面合成為兩路以上的一見(jiàn)頻流，每路一見(jiàn)頻流分別為多畫(huà) 面視頻(包括單畫(huà)面的特例)，每路視頻流顯示在不同的顯示器上。這樣在 相同的子畫(huà)面總數(shù)下，每個(gè)子畫(huà)面有更大的顯示區(qū)域可用，用戶(hù)能夠看得更 大的子畫(huà)面，從而改進(jìn)視頻體—瞼質(zhì)量。
如圖1所示，本發(fā)明所述方法包含如下步驟
步驟110，參與通信的終端和提供多點(diǎn)通信服務(wù)的MCU或內(nèi)置MCU 終端建立連接。
其中，終端和MCU或內(nèi)置MCU終端之間可以使用但不限制于ITU-T H.323, ITU-T H.320, IETF SIP協(xié)議之一建立連接。
連接建立過(guò)程中，不排除有第三方設(shè)備的參與。但這些設(shè)備不是本發(fā)明 要說(shuō)明的核心，所以省略了相關(guān)描述。
MCU或內(nèi)置MCU終端可通過(guò)協(xié)商獲知終端的顯示器數(shù)目，MCU或內(nèi) 置MCU終端也可以通過(guò)其它途徑(如進(jìn)行手工配置)獲得終端的顯示器數(shù) 目。
MCU和終端建立一個(gè)雙向音頻通道， 一個(gè)雙向^L頻通道(相當(dāng)于一個(gè) 終端到MCU的一見(jiàn)頻通道， 一個(gè)MCU到終端的i見(jiàn)頻通道)，多個(gè)MCU到 終端的單向視頻通道，其中單向視頻通道數(shù)取決于終端的顯示器數(shù)目。終端 包含n個(gè)顯示器時(shí)，需建立n-1個(gè)單向一見(jiàn)頻通道。上述MCU和終端建立通 道的方法只是一個(gè)示例，也可以用其他方式建立通道、通道數(shù)目也不限于上 述說(shuō)明?？梢愿鶕?jù)終端的需要建立相應(yīng)的通道數(shù)，例如終端包括多個(gè)顯示器， 但只使用其中的部分顯示器進(jìn)行顯示，則只為這些顯示器建立視頻通道。
步驟120,終端把本地視頻流發(fā)送給MCU或內(nèi)置MCU終端。
步驟130, MCU或內(nèi)置MCU的終端把多個(gè)終端輸入的視頻流合成為多 個(gè)輸出^L頻流，每個(gè)輸出一見(jiàn)頻流可含一個(gè)或多個(gè)子畫(huà)面，每個(gè)子畫(huà)面為一路 輸入視頻流的圖像。
其中，用戶(hù)可以通過(guò)終端設(shè)備發(fā)送信令請(qǐng)求MCU或內(nèi)置MCU的終端 本地終端多畫(huà)面的合成效果，該信令請(qǐng)求中的參數(shù)包括但不限于輸出視頻 流數(shù)目，每路輸出視頻流的多畫(huà)面數(shù)，子畫(huà)面內(nèi)容，多畫(huà)面布局等。
步驟140， MCU或內(nèi)置MCU的終端把步驟130中所述的多個(gè)輸出一見(jiàn)頻 流發(fā)送給終端。
MCU或內(nèi)置MCU的終端可通過(guò)信令通知終端每個(gè)輸出^L頻流的多畫(huà) 面布局。
步驟150,終端接收該多個(gè)輸出視頻流，把該多個(gè)輸出視頻流顯示在不 同的顯示器中。
本發(fā)明還提出一種實(shí)現(xiàn)多屏多畫(huà)面的視頻會(huì)議系統(tǒng)，包含終端、多點(diǎn)控 制單元，所述終端，用于把本地視頻流發(fā)送給所述多點(diǎn)控制單元，還用于接 收所述多點(diǎn)控制單元發(fā)送的多個(gè)輸出^L頻流并顯示在多個(gè)顯示器上；所述多 點(diǎn)控制單元，用于把所述終端的輸入視頻流合成為多個(gè)輸出視頻流并發(fā)送給 所述終端，其中每一個(gè)輸出視頻流內(nèi)容是由一個(gè)或多個(gè)輸入視頻流合成的多 畫(huà)面，圖2描述了本發(fā)明的一個(gè)具體實(shí)施例的設(shè)備連接關(guān)系。該例子中，終 端和MCU都連接到IP網(wǎng)絡(luò)中，通過(guò)IP網(wǎng)絡(luò)進(jìn)行通信。終端和MCU通信 符合ITU-TR323標(biāo)準(zhǔn)。在該實(shí)施例中每個(gè)終端有兩個(gè)顯示器，并且支持接 收兩鴻4見(jiàn)頻流。MCU具有多畫(huà)面的合成能力。
圖3描述了本發(fā)明實(shí)施例的方法流程。
步驟310,終端1和MCU建立H.323連接。
可以是終端1主動(dòng)呼叫MCU,也可以是MCU呼叫終端1。
H.323連接建立過(guò)程包括呼叫信令過(guò)程，H.245信令過(guò)程。建立的連接包括信令通道，多個(gè)Jf某體通道，包括l個(gè)雙向的聲音通道，l個(gè)雙向的4見(jiàn)頻
通道，1個(gè)單向的MCU到終端的3見(jiàn)頻通道。具體的信令交互過(guò)程如圖6所 示。
終端2，終端3，終端4按相同的方式也和MCU建立連接。因?yàn)樗?連接有類(lèi)似的特征，在不違背一般性的情況下，這里以終端1和MCU之間 的連接為例進(jìn)行描述。
步驟320,終端1把本會(huì)場(chǎng)的一見(jiàn)頻流通過(guò)一個(gè)i見(jiàn)頻通道發(fā)送給MCU。
步驟330, MCU把4個(gè)終端發(fā)來(lái)的視頻流進(jìn)行多畫(huà)面合成，合成為多 個(gè)輸出4見(jiàn)頻流。
在本實(shí)施例中，合成為兩個(gè)輸出一見(jiàn)頻流，每個(gè)輸出視頻流包含部分終端 的視頻圖像，例如一個(gè)輸出視頻流包含終端1和終端2的視頻圖像，另一個(gè) 輸出3見(jiàn)頻流包含終端3和終端4的3見(jiàn)頻圖<象。
MCU也可以為每個(gè)終端合成不同的多畫(huà)面效果。例如，發(fā)送給每個(gè)終 端的輸出視頻流中不包含終端本身的輸入視頻流。
步驟340, MCU把合成的2個(gè)輸出視頻流通過(guò)兩個(gè)視頻通道發(fā)送給終 端l。同時(shí)，MCU可用信令通知終端每個(gè)輸出視頻流的多畫(huà)面布局樣式。
步驟350,終端收到輸出視頻流后，兩個(gè)輸出視頻流顯示在不同的顯示器。
圖4為MCU處理多畫(huà)面合成的示意圖。從4個(gè)終端來(lái)的視頻流最后合 并為兩個(gè)輸出視頻流，每個(gè)輸出視頻流包含了 2個(gè)終端的視頻圖像。
圖5為幾種多畫(huà)面顯示布局示意圖。圖中給出了 1畫(huà)面，2子畫(huà)面(左 右排列)，3子畫(huà)面(1上2下排列)，4子畫(huà)面(上下左右各1個(gè)排列)， 6子畫(huà)面，9子畫(huà)面的布局例子。
圖6為終端和MCU建立連接的信令交互序列示意圖。
假設(shè)終端主動(dòng)呼叫MCU。
1,終端首先和MCU之間建立傳遞呼叫信令的通道。
2,終端在呼叫信令通道上和MCU進(jìn)行呼叫信令交互。終端發(fā)送Setup 消息，MCU響應(yīng)Alerting、 Connect消息，呼叫過(guò)禾呈完成。
3，終端和MCU之間建立傳遞H,245控制信令的通道。
4,終端在控制信令通道上和MCU進(jìn)行控制信令的交互。
終端發(fā)送TerminalCapabilitySet 消息給MCU ， MCU響應(yīng) TerminalCapabilitySetAck確認(rèn)消息。MCU發(fā)送TerminalCapabilitySet消息給 終端，終端響應(yīng)TerminalCapabilitySetAck確i人消息。雙方能力交換完成。 終端和MCU的能力集指示支持一個(gè)聲音流、兩個(gè)視頻流的接收和發(fā)送。
終端發(fā)送MasterSlaveDetermination消息給MCU ， MCU響應(yīng) MasterSlaveDeterminationAck石角i人消'息-,MCU發(fā)送MasterSlaveDetermination 消息給終端，終端響應(yīng)MasterSlaveDeterminationAck確i人消息。雙方主/人決 定協(xié)商完成。
終端發(fā)送OpenLogicalChannel消息給MCU,請(qǐng)求建立聲音流通道，MCU 發(fā)送OpenLogicalChannel消息給終端，請(qǐng)求建立聲音流通道。終端響應(yīng) OpenLogicalChannelAck確認(rèn)消息，MCU響應(yīng)OpenLogicalChannelAck確認(rèn)
消息。雙方建立了雙向的聲音通道。
類(lèi)似地，終端和MCU之間建立第一個(gè)雙向的—見(jiàn)頻流通道，另外終端和 MCU之間還建立一個(gè)單向的第二個(gè)視頻流通道。最后，MCU和終端之間在 聲音、視頻流通道上發(fā)送接收媒體數(shù)據(jù)。
采用本發(fā)明的方法，參與通信的終端能夠使用多個(gè)顯示器來(lái)顯示多個(gè)遠(yuǎn) 端會(huì)場(chǎng)的視頻圖像，用戶(hù)能夠看到更大或更多的遠(yuǎn)端會(huì)場(chǎng)的視頻圖像，提高 了用戶(hù)的視頻體驗(yàn)，增強(qiáng)了用戶(hù)溝通效果，提升了系統(tǒng)的使用價(jià)值。
權(quán)利要求
1、一種視頻會(huì)議系統(tǒng)中實(shí)現(xiàn)多屏多畫(huà)面的方法，所述視頻會(huì)議系統(tǒng)包含多點(diǎn)控制單元和若干個(gè)終端，包含如下步驟(a)終端和多點(diǎn)控制單元建立連接，終端把本地視頻流發(fā)送給所述多點(diǎn)控制單元；(b)所述多點(diǎn)控制單元把所述終端發(fā)送的輸入視頻流合成為多個(gè)輸出視頻流，每一個(gè)輸出視頻流內(nèi)容是由一個(gè)或多個(gè)輸入視頻流合成的多畫(huà)面；(c)所述多點(diǎn)控制單元發(fā)送所述多個(gè)輸出視頻流給所述終端；(d)所述終端接收到所述多個(gè)輸出視頻流后顯示在多個(gè)顯示器上。
2、 如權(quán)利要求l所述的方法，其特征在于，步驟(a)中，所述多點(diǎn)控 制單元為一獨(dú)立多點(diǎn)控制單元或內(nèi)置于任一所述視頻會(huì)議系統(tǒng)的終端上。
3、 如權(quán)利要求l所述的方法，其特征在于，步驟(a)中，所述終端和話(huà)初始化協(xié)議IETF SIP協(xié)議建立連接。
4、 如權(quán)利要求l所述的方法，其特征在于，步驟(a)中，所述多點(diǎn)控 制單元和所述終端建立一個(gè)雙向音頻通道， 一個(gè)終端到多點(diǎn)控制單元的3見(jiàn)頻 通道， 一個(gè)或多個(gè)多點(diǎn)控制單元到終端的視頻通道，通過(guò)所述音頻通道和視 頻通道傳輸所述輸入視頻流和輸出視頻流。
5、 如權(quán)利要求1或4所述的方法，其特征在于，所述多點(diǎn)控制單元到 終端的視頻通道個(gè)數(shù)取決于終端的顯示器數(shù)目，所述多點(diǎn)控制單元通過(guò)協(xié)商 或手工配置獲得所述終端的顯示器數(shù)目。
6、 如權(quán)利要求l所述的方法，其特征在于，所述步驟(b)中，用戶(hù)通 過(guò)所述終端發(fā)送信令請(qǐng)求所述多點(diǎn)控制單元所述終端本地多畫(huà)面的合成效 果，所述多點(diǎn)控制單元根據(jù)所述信令請(qǐng)求進(jìn)行輸入視頻流的合成。
7、 如權(quán)利要求6所述的方法，其特征在于，所述信令請(qǐng)求中包含如下 一個(gè)或多個(gè)參數(shù)輸出視頻流數(shù)目，每路輸出視頻流的多畫(huà)面數(shù)，多畫(huà)面包 含的子畫(huà)面內(nèi)容，多畫(huà)面布局。
8、 如權(quán)利要求1或6或7所述的方法，其特征在于，所述步驟(b)中， 所述多點(diǎn)控制單元為每個(gè)所述終端合成的輸出視頻流中不包含所述終端本 地的輸入纟見(jiàn)頻流。
9、 如權(quán)利要求1或6或7所述的方法，其特征在于，所述步驟(c)中， 所述多點(diǎn)控制單元發(fā)送信令通知所述終端每個(gè)輸出視頻流的多畫(huà)面布局。
10、 一種實(shí)現(xiàn)多屏多畫(huà)面的視頻會(huì)議系統(tǒng)，包含終端、多點(diǎn)控制單元， 其特征在于，所述終端，用于把本地視頻流發(fā)送給所述多點(diǎn)控制單元，還用 于接收所述多點(diǎn)控制單元發(fā)送的多個(gè)輸出視頻流并顯示在多個(gè)顯示器上；所述多點(diǎn)控制單元，用于把所述終端的輸入視頻流合成為多個(gè)輸出視頻 流并發(fā)送給所述終端，其中每一個(gè)輸出視頻流內(nèi)容是由 一個(gè)或多個(gè)輸入視頻 流合成的多畫(huà)面。
全文摘要
本發(fā)明提供了一種視頻會(huì)議系統(tǒng)中實(shí)現(xiàn)多屏多畫(huà)面的方法和系統(tǒng)，該視頻會(huì)議系統(tǒng)包含多點(diǎn)控制單元和若干個(gè)終端，包含如下步驟(a)終端和多點(diǎn)控制單元建立連接，終端把本地視頻流發(fā)送給多點(diǎn)控制單元；(b)多點(diǎn)控制單元把終端的輸入視頻流合成為多個(gè)輸出視頻流；(c)多點(diǎn)控制單元發(fā)送該多個(gè)輸出視頻流給終端，每一個(gè)輸出視頻流內(nèi)容是由一個(gè)或多個(gè)輸入視頻流合成的多畫(huà)面；(d)終端接收到該多個(gè)輸出視頻流后顯示在多個(gè)顯示器上。采用本發(fā)明的方法，參與通信的終端能夠使用多個(gè)顯示器來(lái)顯示多個(gè)遠(yuǎn)端會(huì)場(chǎng)的視頻圖像，用戶(hù)能夠看到更大或更多的遠(yuǎn)端會(huì)場(chǎng)的視頻圖像，提高了用戶(hù)的視頻體驗(yàn)，增強(qiáng)了用戶(hù)溝通效果，提升了系統(tǒng)的使用價(jià)值。
文檔編號(hào)H04N7/15GK101198008SQ20081000180
公開(kāi)日2008年6月11日 申請(qǐng)日期2008年1月3日 優(yōu)先權(quán)日2008年1月3日
發(fā)明者吳永明, 范旭彤 申請(qǐng)人:中興通訊股份有限公司