專利名稱：視頻會(huì)議系統(tǒng)和操作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻會(huì)議。本發(fā)明可以應(yīng)用于基于H.323和/或基于SIP的集中視頻會(huì)議中、使用分層視頻編碼的視頻交換機(jī)制，但并不限于此。
背景技術(shù)：
由于商業(yè)步伐加快，商業(yè)關(guān)系擴(kuò)展到全世界，因此對(duì)快速并且經(jīng)濟(jì)地跨越通信距離的需要變成了主要的難題。為了在競(jìng)爭(zhēng)越來(lái)越激烈的市場(chǎng)上取得成功，把顧客和工作人員有效地集合起來(lái)是關(guān)鍵。商家正在尋找靈活的解決方案，以使用各種通信方法，例如語(yǔ)音、視頻、圖像數(shù)據(jù)和它們的任何組合來(lái)支持跨國(guó)以及跨大洲的實(shí)時(shí)信息共享。
尤其是，跨國(guó)組織越來(lái)越希望取消昂貴的旅行并連接多個(gè)位置，以便讓組織內(nèi)的群組能夠更有效地通信。在互聯(lián)網(wǎng)協(xié)議(IP)網(wǎng)絡(luò)上操作的多點(diǎn)會(huì)議系統(tǒng)試圖解決該需要。在本發(fā)明的領(lǐng)域中，已知在多點(diǎn)視頻會(huì)議中終端可以實(shí)時(shí)交換音頻和視頻流?，F(xiàn)有的在IP網(wǎng)絡(luò)上建立多點(diǎn)會(huì)議的方法是使用多點(diǎn)控制單元(MCU)。MCU是網(wǎng)絡(luò)上的端點(diǎn)，為三個(gè)或更多終端和/或通信網(wǎng)關(guān)提供參與多點(diǎn)會(huì)議的能力。在點(diǎn)對(duì)點(diǎn)會(huì)議中MCU還可以連接兩個(gè)終端，以便他們能夠具有發(fā)展成多點(diǎn)會(huì)議的能力。
首先參照?qǐng)D1，示出了已知的集中會(huì)議模型100。集中會(huì)議利用基于MCU的會(huì)議網(wǎng)橋。所有終端(端點(diǎn))120、122、125發(fā)送并接收去往/來(lái)自MCU110的以音頻、視頻和/或數(shù)據(jù)信號(hào)形式的媒體信息以及控制信息流140。這些傳輸可以以點(diǎn)對(duì)點(diǎn)方式進(jìn)行。這在圖1中示出了。
MCU100由多點(diǎn)控制器(MC)和零或多個(gè)多點(diǎn)處理器(MP)組成。MC處理所有終端之間的呼叫建立和呼叫信令協(xié)商，以確定用于音頻和視頻處理的共同能力。MC110不直接處理任何一個(gè)媒體流。這留給MP處理，MP混合、交換并處理音頻、視頻和/或數(shù)據(jù)比特。
以這種方式，MCU提供舉行多位置會(huì)議、銷售會(huì)議、群組會(huì)議和其他‘面對(duì)面’通信的性能。已知多點(diǎn)會(huì)議可以用于各種應(yīng)用，例如(i)在多個(gè)位置的執(zhí)行者和管理者能夠‘面對(duì)面’開會(huì)，共享實(shí)時(shí)信息，并且更快地做出決定，而沒(méi)有時(shí)間、開支的任何損失和旅行的需要。
(ii)項(xiàng)目組和知識(shí)工作者可以以實(shí)時(shí)方式協(xié)調(diào)各自的任務(wù)，并且觀看和修正共享的文檔、文稿、設(shè)計(jì)和文件；并且(iii)在遠(yuǎn)程位置的學(xué)生、受訓(xùn)人員和雇員可以跨越任何距離或時(shí)區(qū)訪問(wèn)共享的教育/培訓(xùn)資源。
因此，可以想象得到，在未來(lái)基于IP的網(wǎng)絡(luò)上的多媒體通信中，基于MCU的系統(tǒng)將起到重要作用。
這樣的多媒體通信通常采用視頻傳輸。在這種傳輸中，在發(fā)送和接收單元之間傳送圖像序列，這些圖像序列通常被稱為幀?？梢允褂酶鞣N方法建立多點(diǎn)多媒體會(huì)議系統(tǒng)，例如H.232和SIP會(huì)話層協(xié)議標(biāo)準(zhǔn)所規(guī)定的方法。有關(guān)SIP的參考文獻(xiàn)可以在以下網(wǎng)址找到http//www.ietf.org/rfc/rfc2534.txt，以及http//www.cs.columbia.edu/～hgs/sip.
此外，例如在使用ITU H.263視頻壓縮[ITU-T Recommendation，H.263，‘Video Coding for Low Bit Rate Communication’]系統(tǒng)中，視頻序列的第一幀包括相當(dāng)數(shù)量的綜合圖像數(shù)據(jù)，通常被稱為幀內(nèi)編碼信息。由于幀內(nèi)編碼幀是第一幀，因此它可以提供要顯示的圖像的實(shí)質(zhì)部分。幀內(nèi)編碼幀隨后是幀間編碼(預(yù)測(cè))信息，其通常包括與正發(fā)送的圖像中的變化有關(guān)的數(shù)據(jù)。因此預(yù)測(cè)的幀間編碼信息包含的信息比幀內(nèi)編碼信息少得多。
在傳統(tǒng)的多媒體會(huì)議系統(tǒng)中，當(dāng)用戶講話時(shí)他們需要識(shí)別自己本身，以便接收終端知道是誰(shuí)在講話。很明顯，如果發(fā)送終端不能識(shí)別它本身，收聽的用戶將不得不猜測(cè)是誰(shuí)在講話。
一種已知的技術(shù)通過(guò)分析音頻流并轉(zhuǎn)發(fā)活躍發(fā)言人的姓名和視頻流給所有參與方來(lái)解決該問(wèn)題。在集中會(huì)議系統(tǒng)中，MCU通常執(zhí)行該功能。之后MCU可以通過(guò)把合適的輸入多媒體流交換到輸入端口/路徑來(lái)把發(fā)言人的姓名和相應(yīng)的視頻和音頻流發(fā)送給所有參與方。
視頻交換是一種公知的技術(shù)，其旨在給每個(gè)端點(diǎn)傳送一個(gè)單獨(dú)的視頻流，相當(dāng)于安排多個(gè)點(diǎn)對(duì)點(diǎn)會(huì)話。視頻交換可以是(i)語(yǔ)音激活交換，其中MCU發(fā)送活躍發(fā)言人的視頻。
(ii)定時(shí)激活交換，其中在預(yù)定時(shí)間隔相繼發(fā)送每個(gè)參與方的視頻。
(iii)個(gè)人視頻選擇交換，其中每一端點(diǎn)可以請(qǐng)求他/她希望接收的參與方視頻流。
現(xiàn)在參照?qǐng)D2，示出了傳統(tǒng)的視頻交換機(jī)制200的功能框圖。在傳統(tǒng)的集中會(huì)議系統(tǒng)中，視頻交換的執(zhí)行如下。MCU220，例如位于基于互聯(lián)網(wǎng)協(xié)議(IP)的網(wǎng)絡(luò)210內(nèi)的MCU200，包含交換機(jī)230。MCU220接收所有參與方(用戶設(shè)備)250、260、270、280的視頻流255、265、275、285。MCU還可以從正在講話的參與方單獨(dú)接收組合(多路復(fù)用)的音頻流290。之后，MCU220選擇一個(gè)視頻流并且把該視頻流240發(fā)送給所有參與方250、260、270、280。
這種傳統(tǒng)系統(tǒng)有一個(gè)缺點(diǎn)，就是他們只發(fā)送活躍發(fā)言人的視頻流。用戶還可能有一個(gè)問(wèn)題，就是如果幾個(gè)發(fā)言人同時(shí)講話或活躍發(fā)言人不斷改變，識(shí)別視頻流發(fā)言人會(huì)有問(wèn)題。這尤其是大型視頻會(huì)議中存在的問(wèn)題。
作為替換，可以將每個(gè)參與方的視頻發(fā)送給所有參與方。但是，在基于無(wú)線的會(huì)議中該方法會(huì)由于帶寬限制而受影響。
在視頻技術(shù)領(lǐng)域，已知視頻作為一系列靜態(tài)圖像/畫面發(fā)送。因?yàn)橐曨l信號(hào)的質(zhì)量在視頻信號(hào)編碼和壓縮期間會(huì)受到影響，因此已知會(huì)包括附加的信息‘層’，這些層基于視頻信號(hào)和編碼視頻比特流之間的差異。包含附加層能夠使接收信號(hào)質(zhì)量隨著解碼和/或解壓縮而得到增強(qiáng)。因此，使用圖像和被分為一個(gè)或多個(gè)層的增強(qiáng)圖像這樣的分級(jí)結(jié)構(gòu)來(lái)產(chǎn)生分層視頻比特流。
在分層(可量測(cè))視頻比特流中，可以在基本層之外通過(guò)以下之一對(duì)視頻信號(hào)進(jìn)行增強(qiáng)(i)提高畫面的分辨率(空間量測(cè)性)；(ii)包括錯(cuò)誤信息，以改善畫面的信噪比(SNR量測(cè)性)；或(iii)包括額外的畫面，以提高幀速率(時(shí)間量測(cè)性)。
這樣的增強(qiáng)可以應(yīng)用于整個(gè)畫面，或應(yīng)用到畫面中任意形狀的目標(biāo)，這被稱為基于目標(biāo)的量測(cè)性。為了保留時(shí)間增強(qiáng)層的可任意處理特性，H.263+標(biāo)準(zhǔn)規(guī)定，包含在時(shí)間量測(cè)性模式中的畫面應(yīng)該是如圖3的視頻流所示的雙向預(yù)測(cè)(B)畫面。
圖3示出了可量測(cè)視頻配置300的示意性圖示，說(shuō)明了視頻編碼技術(shù)領(lǐng)域公知的B畫面預(yù)測(cè)相關(guān)性。最初的幀內(nèi)編碼幀(I1)310后是雙向預(yù)測(cè)幀(B2)320。隨后是(單向)預(yù)測(cè)幀(P3)330，再然后是第二雙向預(yù)測(cè)幀(B4)330。再后面是(單向)預(yù)測(cè)幀(P5)350，等等。
圖4是視頻編碼技術(shù)領(lǐng)域中已知的分層視頻配置的示意性圖示。分層視頻比特流包括基本層405和一個(gè)或多個(gè)增強(qiáng)層435。
基本層(層1)包括從原始視頻信號(hào)畫面抽樣、編碼和/或壓縮得到的一個(gè)或多個(gè)幀內(nèi)編碼畫面(I畫面)410。另外，基本層包括從幀內(nèi)編碼幀410預(yù)測(cè)的多個(gè)預(yù)測(cè)幀間編碼畫面(P畫面)420、430。
在增強(qiáng)層(層2或3或更多)435中，可以使用三種類型的畫面(i)雙向預(yù)測(cè)(B)畫面(未示出)；(ii)基于基本層405的幀內(nèi)編碼畫面410的增強(qiáng)內(nèi)插(EI)畫面440；和(iii)基于基本層的幀間編碼畫面420、430的增強(qiáng)預(yù)測(cè)(EP)畫面450、460。
從較低層向上的垂直箭頭說(shuō)明，增強(qiáng)層中的畫面是從參考(較低)層中的畫面的重構(gòu)近似中預(yù)測(cè)的。
總之，可以在多點(diǎn)通信多媒體會(huì)議中使用可量測(cè)視頻編碼，并且僅僅在點(diǎn)對(duì)點(diǎn)或多點(diǎn)通信視頻通信的情況中使用。但是，當(dāng)前無(wú)線網(wǎng)絡(luò)不支持多點(diǎn)通信。另外，通過(guò)多點(diǎn)通信，每一層在分開的多點(diǎn)通信會(huì)話中發(fā)送，接收方確定它自己是否登錄到一個(gè)或多個(gè)會(huì)話中。
因此，需要一種改進(jìn)的視頻會(huì)議配置和操作方法，可以減輕上面提到的缺點(diǎn)。

發(fā)明內(nèi)容
根據(jù)本發(fā)明，提供一種如權(quán)利要求1所述的在多媒體視頻會(huì)議中中繼視頻圖像的方法，一種如權(quán)利要求7所述的用于中繼視頻圖像的視頻會(huì)議設(shè)備，一種如權(quán)利要求11所述的用于參與視頻會(huì)議的無(wú)線裝置，一種如權(quán)利要求12所述的多點(diǎn)處理器，一種如權(quán)利要求16所述的視頻通信系統(tǒng)，一種如權(quán)利要求18所述的媒體資源功能元件，一種如權(quán)利要求19或權(quán)利要求20所述的視頻通信單元，一種如權(quán)利要求23所述的存儲(chǔ)介質(zhì)。本發(fā)明的其他方面如從屬權(quán)利要求所述。
總之，本發(fā)明的發(fā)明原理是通過(guò)提供一種視頻交換方法來(lái)解決現(xiàn)有技術(shù)配置的缺點(diǎn)，以在視頻會(huì)議中改善參與方和發(fā)言人的識(shí)別。本發(fā)明利用分層視頻編碼，以更好地利用可用于每一用戶的帶寬。


圖1示出了一種已知的集中會(huì)議模型。
圖2示出了傳統(tǒng)的視頻交換機(jī)制的功能框圖。
圖3是一個(gè)視頻配置的示意性圖示，表示在視頻編碼技術(shù)領(lǐng)域中已知的畫面預(yù)測(cè)相關(guān)性。
圖4是在視頻編碼技術(shù)領(lǐng)域中已知的分層視頻配置的示意性圖示。
現(xiàn)在將參照附圖描述本發(fā)明的示例性實(shí)施例，其中圖5示出了根據(jù)本發(fā)明的優(yōu)選實(shí)施例的視頻交換機(jī)制的功能框圖。
圖6示出了根據(jù)本發(fā)明的優(yōu)選實(shí)施例的多點(diǎn)處理單元的功能框圖/流程圖。
圖7示出了使用本發(fā)明的優(yōu)選實(shí)施例參與視頻會(huì)議的無(wú)線裝置的視頻顯示。
圖8示出了根據(jù)本發(fā)明的優(yōu)選實(shí)施例采用的UMTS(3GPP)通信系統(tǒng)。
具體實(shí)施例方式
總體來(lái)說(shuō)，本發(fā)明的優(yōu)選實(shí)施例提出一種用于多媒體會(huì)議的新的視頻交換機(jī)制，該機(jī)制使用分層視頻編碼。以前，分層視頻編碼只用于把一個(gè)視頻比特流分成多于一個(gè)的層如上面對(duì)照?qǐng)D4所描述的基本層和一個(gè)或幾個(gè)增強(qiáng)層。這些用于可量測(cè)視頻通信的已知技術(shù)在諸如H.263和MPEG-4的標(biāo)準(zhǔn)中進(jìn)行了詳細(xì)描述。
但是，本發(fā)明的發(fā)明人已經(jīng)認(rèn)識(shí)到通過(guò)采用分層視頻編碼的原理并把采用的原理應(yīng)用到多媒體視頻會(huì)議應(yīng)用中可以得到這些好處。以這種方式，本發(fā)明定義了一種與點(diǎn)對(duì)點(diǎn)或多點(diǎn)通信視頻通信不同類型的可量測(cè)視頻編碼來(lái)用于多媒體會(huì)議。
現(xiàn)在參照?qǐng)D5，示出了根據(jù)本發(fā)明的優(yōu)選實(shí)施例的視頻交換機(jī)制的功能框圖500。與傳統(tǒng)的集中會(huì)議系統(tǒng)形成相比，這種視頻交換的執(zhí)行如下。MCU520，例如位于基于互聯(lián)網(wǎng)協(xié)議(IP)的網(wǎng)絡(luò)510內(nèi)的MCU520，包含交換機(jī)530。
值得注意的是，MCU520接收‘分層’視頻流，該視頻流包括所有參與方(用戶設(shè)備)550、560、570、580的基本層552、562、572、582和一個(gè)或多個(gè)增強(qiáng)層流555、565、575、585。為了清楚的目的，每個(gè)參與方只示出了一個(gè)增強(qiáng)層視頻流。
MCU520還可以單獨(dú)從參與方接收組合(多路復(fù)用)的音頻流590。之后MCU520使用交換機(jī)530選擇多個(gè)活躍發(fā)言人535的基本層視頻流和最活躍發(fā)言人的增強(qiáng)層540。之后MCU520發(fā)送這些視頻流535、540給所有的參與方550、560、570、580。
優(yōu)選地，確定最活躍發(fā)言人的選擇過(guò)程通過(guò)MCU520分析音頻流590來(lái)執(zhí)行，以便首先確定所有這些活躍發(fā)言人都是誰(shuí)。然后如圖6所述，優(yōu)選地，在多點(diǎn)處理器單元中確定最活躍發(fā)言人。優(yōu)選地，根據(jù)基于每一參與方的活躍性的優(yōu)先級(jí)把一個(gè)或多個(gè)基本層和一個(gè)增強(qiáng)層發(fā)送到參與方。
為了實(shí)現(xiàn)圖5的改進(jìn)的但是更復(fù)雜的視頻交換機(jī)制，多點(diǎn)處理單元(MP)600適于促進(jìn)根據(jù)本發(fā)明的優(yōu)選實(shí)施例和如圖6所示的新的視頻交換機(jī)制。
MP600還通過(guò)分組過(guò)濾模塊610從參與方的視頻/多媒體通信單元接收音頻流590并且把該音頻流路由到分組路由模塊630。但是，音頻流現(xiàn)在還被路由到一個(gè)發(fā)言人識(shí)別模塊620，該模塊分析該音頻流590以便確定誰(shuí)是活躍的發(fā)言人。發(fā)言人識(shí)別模塊620基于每一參與方的活躍性分配優(yōu)先級(jí)并且確定(i)最活躍發(fā)言人620，(ii)任何其他的活躍發(fā)言人625以及缺席的人(iii)任何剩余的不活躍發(fā)言人。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例，之后發(fā)言人識(shí)別模塊620把優(yōu)先級(jí)信息轉(zhuǎn)發(fā)到交換模塊640，該交換模塊適于處理發(fā)言人的優(yōu)先級(jí)。另外，交換模塊640適于通過(guò)分組過(guò)濾模塊610從參與方的視頻通信單元接收分層視頻流，該分層視頻流包括視頻基本層流552、562、572和582以及視頻增強(qiáng)層流555、565、575和585。交換模塊640使用該發(fā)言人信息通過(guò)分組路由模塊630把第二(次)活躍發(fā)言人和最活躍發(fā)言人的視頻基本層和最活躍發(fā)言人的視頻增強(qiáng)層發(fā)送給所有參與方。
因此，多點(diǎn)處理器的一個(gè)或多個(gè)接收端口適于從一組用戶設(shè)備550、560、570和580接收分層視頻流，給分層視頻流包括基本層視頻流552、562、572和582以及增強(qiáng)層視頻流555、565、575和585。在本發(fā)明的考慮中，如果確定只有一個(gè)活躍發(fā)言人，交換模塊640可以只選擇一個(gè)基本層視頻圖像和相應(yīng)的一個(gè)或多個(gè)增強(qiáng)層。之后將該發(fā)言人自動(dòng)指定為最活躍發(fā)言人，以發(fā)送到一個(gè)或一組用戶設(shè)備550、560、570和580。
如在視頻會(huì)議中發(fā)生的，當(dāng)最活躍發(fā)言人經(jīng)常改變時(shí)，將不斷交換增強(qiáng)層。本發(fā)明的發(fā)明人已經(jīng)認(rèn)識(shí)到這樣經(jīng)常并快速交換所具有的潛在問(wèn)題。在這種情況下，如果第一幀實(shí)際上是來(lái)自之前只是第二活躍發(fā)言人的預(yù)測(cè)幀(EP)，那么該幀需要被轉(zhuǎn)換為內(nèi)插幀(EI)。
為了解決該潛在問(wèn)題，優(yōu)選地將來(lái)自分組過(guò)濾模塊610的視頻基本層流552、562、572和582以及視頻增強(qiáng)層流555、565、575、585輸入到解包功能元件680。解包功能元件680對(duì)視頻流去多路復(fù)用并且把經(jīng)過(guò)去多路復(fù)用的視頻流提供給視頻解碼器和緩沖器功能元件670。
為了同步并配合視頻解碼，視頻解碼器和緩沖器功能元件670接收最活躍發(fā)言人622的指示。在提取最活躍發(fā)言人的視頻流信息后，視頻解碼器和緩沖器功能元件670提供最活躍發(fā)言人622的雙向預(yù)測(cè)(BP)675和/或預(yù)測(cè)(EP)視頻流數(shù)據(jù)給‘EP幀到EI幀譯碼模塊’660。該‘EP幀到EI幀譯碼模塊’660處理輸入視頻流，以提供最初的發(fā)言人增強(qiáng)層視頻流，如幀內(nèi)編碼(EI)幀。
之后將最初的發(fā)言人增強(qiáng)層視頻流輸入到打包功能元件650，在那里打包并且輸入到交換模塊640。之后交換模塊640組合最初的發(fā)言人增強(qiáng)層視頻流和第二活躍發(fā)言人的視頻基本層流552、562、572和582并且把組合的多媒體流路由到分組路由模塊630。之后分組路由模塊根據(jù)圖5的方法把該信息路由到參與方。
在本發(fā)明的優(yōu)選實(shí)施例中，當(dāng)確定最初發(fā)言人改變時(shí)，視頻交換模塊640使用‘EP幀到EI幀譯碼模塊’660的輸出。
在本發(fā)明的考慮中，還可以在MP600中包括類似于模塊660的一個(gè)或多個(gè)模塊，以便當(dāng)認(rèn)為第二發(fā)言人已經(jīng)改變時(shí)對(duì)他們執(zhí)行相同的功能。否則，在使用單個(gè)‘EP幀到EI幀譯碼模塊’660來(lái)譯碼最初發(fā)言人的視頻流的實(shí)施例中，當(dāng)假定一個(gè)不活躍的發(fā)言人變成第二活躍發(fā)言人時(shí)，發(fā)言人識(shí)別模塊620(或交換模塊640)可以請(qǐng)求新的內(nèi)插幀。作為選擇的，交換模塊640可以在發(fā)送相應(yīng)的視頻基本層流給所有參與方之前等待新的第二活躍發(fā)言人的新內(nèi)插幀。
在本發(fā)明的優(yōu)選實(shí)施例之外，在多于一個(gè)的增強(qiáng)層可以使用的情況中使用多類發(fā)言人也在本發(fā)明的考慮之內(nèi)。通過(guò)使用多類發(fā)言人，由于改善了發(fā)言人識(shí)別，可以得到多媒體消息的更精確的可量測(cè)性，尤其是對(duì)大的視頻會(huì)議來(lái)說(shuō)。
對(duì)一個(gè)或多個(gè)基本層流增加預(yù)測(cè)幀到內(nèi)插幀的轉(zhuǎn)換，也在本發(fā)明的考慮內(nèi)。以這種方式，交換模塊640可以快速的在基本層之間交換而不需等待新的內(nèi)插幀。
圖7示出了使用本發(fā)明的優(yōu)選實(shí)施例參加視頻會(huì)議的無(wú)線裝置700的視頻顯示器710。通過(guò)實(shí)現(xiàn)此前描述的本發(fā)明原理，可以得到改善的視頻通信。具體地說(shuō)，對(duì)于給定的帶寬，通過(guò)降低次(第二)活躍發(fā)言人730的視頻質(zhì)量并且不為不活躍的發(fā)言人提供視頻，參與方現(xiàn)在能夠接收最活躍發(fā)言人720的更好的視頻質(zhì)量。為了提供這種改善的視頻會(huì)議，視頻通信裝置接收最活躍發(fā)言人720的增強(qiáng)層和基本層、第二活躍發(fā)言人730的基本層并且不從不活躍發(fā)言人接收視頻。
以這種方式，視頻通信單元可以在更大、更高分辨率的顯示器提供不斷更新的最活躍發(fā)言人的視頻圖像，同時(shí)較小的顯示器可以顯示第二(次)活躍發(fā)言人。
優(yōu)選地，無(wú)線裝置700具有用于顯示最活躍發(fā)言人的較高質(zhì)量視頻圖像的主要視頻顯示器710，以及一個(gè)或多個(gè)第二不同的顯示器，用于顯示各個(gè)次活躍發(fā)言人。優(yōu)選地，由可操作地耦合到視頻顯示器的處理器(未示出)執(zhí)行各個(gè)視頻圖像進(jìn)入相應(yīng)顯示器的處理。處理器接收最活躍發(fā)言人720和次活躍發(fā)言人的指示，并且確定所接收的哪一個(gè)視頻圖像應(yīng)該在第一顯示器上顯示，從次活躍發(fā)言人730接收的哪一個(gè)圖像應(yīng)該在第二顯示器上顯示。有益地，可以設(shè)置第二顯示器，以提供較低質(zhì)量的次活躍發(fā)言人視頻圖像，從而節(jié)省費(fèi)用。
可以預(yù)料到，在未來(lái)，基于MCU的系統(tǒng)將會(huì)有助于在基于IP的網(wǎng)絡(luò)上的多媒體通信。因此，本發(fā)明的發(fā)明人想到，在此描述的技術(shù)可以包含在利用MCU的任何基于H.323/SIP的多點(diǎn)多媒體會(huì)議或系統(tǒng)中。
前述的優(yōu)選應(yīng)用是在用于寬帶碼分多址(WCDMA)標(biāo)準(zhǔn)的第三代合作計(jì)劃(3GPP)規(guī)范中。具體地說(shuō)，本發(fā)明可以應(yīng)用于IP多媒體域(在規(guī)范的3G TS25.xxx系列中描述)，其計(jì)劃把H.323/SIP MCU結(jié)合到3GPP網(wǎng)絡(luò)中。見(jiàn)圖8，MCU將由媒體資源功能元件(MRF)890A支持。
圖8示出了一種以分級(jí)結(jié)構(gòu)形式的3GPP(UMTS)通信系統(tǒng)/網(wǎng)絡(luò)800，其能夠在根據(jù)本發(fā)明的的優(yōu)選實(shí)施例中采用。通信系統(tǒng)800適于并且包含能夠在UMTS和/或GPRS空中接口上操作的網(wǎng)絡(luò)元件。
通常認(rèn)為該網(wǎng)絡(luò)包括(i)用戶設(shè)備域810，由以下構(gòu)成(a)用戶SIM(USIM)域820，以及(b)移動(dòng)設(shè)備域830；和(ii)基礎(chǔ)設(shè)施域840，由以下構(gòu)成(c)接入網(wǎng)域850，和(d)核心網(wǎng)域860，其由以下(至少)構(gòu)成(di)服務(wù)網(wǎng)域870，和(dii)轉(zhuǎn)接網(wǎng)域880，和(diii)IP多媒體域890，具有由SIP提供的多媒體(ETFRFC2543)。
在移動(dòng)設(shè)備域830中，UE830A經(jīng)有線Cu接口從USIM域820中的用戶SIM820A接收數(shù)據(jù)。UE830A經(jīng)無(wú)線Uu接口與網(wǎng)絡(luò)接入域850中的節(jié)點(diǎn)B850A傳送數(shù)據(jù)。在網(wǎng)絡(luò)接入域850內(nèi)，節(jié)點(diǎn)B850A包含一個(gè)或多個(gè)收發(fā)信機(jī)單元并且經(jīng)UMTS規(guī)范定義的Iub接口與基于蜂窩的系統(tǒng)基礎(chǔ)設(shè)施的其余部分，例如，RNC850B通信。
RNC850B經(jīng)Iu接口與其它RNC(未示出)通信。RNC850B經(jīng)Iu接口與服務(wù)網(wǎng)域870中的SGSN870A通信。在服務(wù)網(wǎng)域870內(nèi)，SGSN870A經(jīng)Gn接口與GGSN870B通信，并且SGSN870A經(jīng)Gs接口與VLR服務(wù)器870C通信。根據(jù)本發(fā)明的優(yōu)選實(shí)施例，SGSN870A與MCU(未示出)通信，該MCU位于IP多媒體域890的媒體資源功能元件(890A)內(nèi)。經(jīng)Gi接口執(zhí)行通信。
GGSN870B(和/或SSGN)負(fù)責(zé)UMTS(或GPRS)與諸如因特網(wǎng)或公共交換電話網(wǎng)(PSTN)這樣的公共交換數(shù)據(jù)網(wǎng)(PDSN)880A接口。SGSN870A執(zhí)行UMTS核心網(wǎng)內(nèi)業(yè)務(wù)的路由和隧道功能，同時(shí)GGSN870B連接到外部分組網(wǎng)絡(luò)，在這種情況中是任何一個(gè)訪問(wèn)系統(tǒng)的UMTS模式的網(wǎng)絡(luò)。
RNC850B是負(fù)責(zé)許多節(jié)點(diǎn)B的資源控制和分配的UTRAN元件；通常，一個(gè)RNC850B可以控制50到100個(gè)節(jié)點(diǎn)B。RNC850B還通過(guò)空中接口提供可靠的用戶業(yè)務(wù)傳送。多個(gè)RNC彼此通信(經(jīng)接口Iur)以支持切換和宏分集。
SGSN870A是UMTS核心網(wǎng)元件，負(fù)責(zé)會(huì)話控制以及到位置寄存器(HLR和VLR)的接口。SGSN是用于許多RNC的大型集中控制器。
GGSN870B是UMTS核心網(wǎng)元件，負(fù)責(zé)把核心分組網(wǎng)的用戶數(shù)據(jù)集中并隧道到最終的目的地(例如，因特網(wǎng)服務(wù)提供商(ISP))。這樣的用戶數(shù)據(jù)包括去往/來(lái)自IP多媒體域890的多媒體和相關(guān)的信令數(shù)據(jù)。在IP多媒體域890中，MRF被分為多媒體資源功能控制器(MRFC)892A和多媒體資源功能處理器(MPFP)891A。如上所述，MRFC892A提供多點(diǎn)控制器(MC)功能性，而MPFP891A提供多點(diǎn)處理器(MP)功能性。
跨越Mr參考點(diǎn)/接口893A使用的協(xié)議是SIP(如RFC2543定義的)。呼叫狀態(tài)控制功能元件(CSCF)895A充當(dāng)呼叫服務(wù)器并處理多媒體呼叫信令。
因此，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，如在此之前描述的，元件SGSN870A、GGSN870B和所有MRF890A中的部分都適于促進(jìn)多媒體消息。此外，如在此之前描述的，UE830A、節(jié)點(diǎn)B850A和RNC850B還適于促進(jìn)改進(jìn)的多媒體消息。
總的來(lái)說(shuō)，這種適配可以以任何合適的方式在各個(gè)通信單元中實(shí)現(xiàn)。例如，可以在現(xiàn)有的通信單元添加新的裝置，或作為選擇的采用現(xiàn)有的通信單元的現(xiàn)有部分，例如通過(guò)對(duì)其中的一個(gè)或多個(gè)處理器重新編程。這樣，所要求的適配可以以存儲(chǔ)在存儲(chǔ)介質(zhì)上的處理器可實(shí)現(xiàn)指令的形式來(lái)實(shí)現(xiàn)，這里的存儲(chǔ)介質(zhì)例如軟盤、硬盤、PROM、RAM或任何這些或其他存儲(chǔ)多媒體的組合。
作為選擇的，多媒體消息的這種適配還可以通過(guò)采用通信系統(tǒng)800的任何其他部分來(lái)控制、全部實(shí)現(xiàn)或部分實(shí)現(xiàn)，這也在本發(fā)明的考慮中。
盡管通常提供上面的元件作為分立單元(在它們自己各自的軟件/硬件平臺(tái)上)，分為移動(dòng)設(shè)備域830、接入網(wǎng)域850和服務(wù)網(wǎng)域870，但是可以想到也可以采用其他的配置。
另外，在其他網(wǎng)絡(luò)基礎(chǔ)設(shè)施的情況中，例如GSM網(wǎng)中，處理操作的實(shí)現(xiàn)可以由任何合適的節(jié)點(diǎn)來(lái)執(zhí)行，例如任何其他合適類型的基站、基站控制器、移動(dòng)交換中心或可操作和管理控制器等等。作為選擇的，可以通過(guò)分布在任何合適網(wǎng)絡(luò)網(wǎng)絡(luò)內(nèi)的不同位置或?qū)嶓w的各種部件來(lái)執(zhí)行上面提到的步驟。
如上所述，優(yōu)選的，當(dāng)應(yīng)用在集中視頻會(huì)議中時(shí)，使用分層視頻編碼的視頻會(huì)議方法可以提供以下的優(yōu)點(diǎn)(i)與傳統(tǒng)系統(tǒng)相比，發(fā)言人的識(shí)別有了很大改善，因?yàn)楣蚕韼捲试S發(fā)送一個(gè)或多個(gè)增強(qiáng)層和幾個(gè)基本層而不是只發(fā)送一個(gè)完全質(zhì)量視頻流。
(ii)當(dāng)活躍發(fā)言人改變時(shí)，使用在此描述的本發(fā)明原理的視頻交換更加平滑，這是因?yàn)樗x了幾個(gè)狀態(tài)，活躍發(fā)言人、第二最活躍發(fā)言人、不活躍發(fā)言人。
(iii)最活躍發(fā)言人的視頻質(zhì)量得到了改善。
(iv)改進(jìn)的視頻通信單元可以顯示各種發(fā)言人，每一被顯示的圖像依賴于與相應(yīng)視頻通信單元的傳輸有關(guān)的優(yōu)先級(jí)。
已經(jīng)描述了一種在多個(gè)多媒體用戶設(shè)備之間的多媒體視頻會(huì)議中中繼視頻圖像的方法。該方法包括以下步驟通過(guò)許多用戶設(shè)備中的多個(gè)發(fā)送分層視頻圖像，其中分層視頻圖像包括基本層和一個(gè)或多個(gè)增強(qiáng)層，并且在多點(diǎn)控制單元接收發(fā)送的分層視頻圖像。選擇許多活躍發(fā)言人的許多基本層圖像和最活躍發(fā)言人的一個(gè)或多個(gè)增強(qiáng)層。該多點(diǎn)控制單元把許多活躍發(fā)言人的許多基本層視頻圖像和最活躍發(fā)言人的一個(gè)或多個(gè)增強(qiáng)層發(fā)送給多個(gè)多媒體用戶設(shè)備的一個(gè)或多個(gè)。
此外，描述了一種用于在多個(gè)用戶設(shè)備之間中繼視頻圖像的視頻會(huì)議裝置。另外，還描述了一種用于參與視頻會(huì)議的無(wú)線裝置，其中許多參與方發(fā)送視頻圖像。
權(quán)利要求
1.一種用于在多個(gè)多媒體用戶設(shè)備(550、560、570、580)之間的多媒體會(huì)議中中繼視頻圖像的方法，該方法包括以下步驟由多個(gè)所述用戶設(shè)備組發(fā)送分層視頻圖像，其中所述分層視頻圖像包括基本層(552、562、572、582)和一個(gè)或多個(gè)增強(qiáng)層(555、565、575、585)；在多點(diǎn)控制單元(520)接收所述的發(fā)送的分層視頻圖像；選擇許多活躍發(fā)言人(535)的許多基本層視頻圖像和最活躍發(fā)言人的一個(gè)或多個(gè)增強(qiáng)層(540)；并且由所述多點(diǎn)控制單元(520)發(fā)送所述許多活躍發(fā)言人(535)的許多基本層視頻圖像以及最活躍發(fā)言人的一個(gè)或多個(gè)增強(qiáng)層(540)給該多個(gè)多媒體用戶設(shè)備(550、560、570、580)的一個(gè)或多個(gè)。
2.根據(jù)權(quán)利要求1的在多媒體會(huì)議中中繼視頻圖像的方法，其中，選擇步驟進(jìn)一步包括以下步驟分析所述多個(gè)多媒體用戶設(shè)備(550、560、570、580)發(fā)送的許多音頻數(shù)據(jù)流(590)，以便確定所述許多活躍發(fā)言人和/或最活躍發(fā)言人。
3.根據(jù)權(quán)利要求1或2的在多媒體會(huì)議中中繼視頻圖像的方法，其中該方法進(jìn)一步包括以下步驟為由各個(gè)用戶設(shè)備發(fā)送的每一分層視頻圖像和/或所述音頻數(shù)據(jù)流指定優(yōu)先級(jí)；并且基于所述指定的優(yōu)先級(jí)，選擇許多基本層視頻圖像(535)和一個(gè)或多個(gè)增強(qiáng)層(540)，用于發(fā)送給所述多個(gè)多媒體用戶設(shè)備(550、560、570、580)的所述一個(gè)或多個(gè)。
4.根據(jù)前述任一權(quán)利要求的在多媒體會(huì)議中中繼視頻圖像的方法，其中該方法進(jìn)一步包括以下步驟把最活躍發(fā)言人的視頻圖像的第一預(yù)測(cè)幀譯碼(660)為幀內(nèi)編碼幀，用于增強(qiáng)最活躍發(fā)言人的視頻質(zhì)量。
5.根據(jù)前述任一權(quán)利要求的在多媒體會(huì)議中中繼視頻圖像的方法，其中該方法進(jìn)一步包括以下步驟當(dāng)多于一個(gè)的增強(qiáng)層可用時(shí)，通過(guò)所述多媒體控制單元(520)隨著每一分層視頻圖像的傳輸，接收所述一個(gè)或多個(gè)發(fā)言人的分類指示，以便提供所述視頻圖像的更精確的量測(cè)性。
6.根據(jù)前述任一權(quán)利要求的在多媒體會(huì)議中中繼視頻圖像的方法，其中，該方法進(jìn)一步包括以下步驟對(duì)于一個(gè)或多個(gè)基本層視頻流，把預(yù)測(cè)幀轉(zhuǎn)換為幀內(nèi)編碼幀。
7.一種用于在多個(gè)用戶設(shè)備(550、560、570、580)之間中繼視頻圖像的視頻會(huì)議裝置，該視頻會(huì)議裝置包括多點(diǎn)控制單元(520)，適于接收所述許多用戶設(shè)備的多個(gè)發(fā)送的許多分層視頻圖像，其中所述分層視頻圖像包括基本層(552、562、572、582)和一個(gè)或多個(gè)增強(qiáng)層(555、565、575、585)；以及視頻交換模塊(530)，以可操作的方式耦合到所述多點(diǎn)控制單元(520)并且適于選擇許多活躍發(fā)言人(535)的許多基本層視頻圖像和最活躍發(fā)言人的一個(gè)或多個(gè)增強(qiáng)層(540)；其中所述多點(diǎn)控制單元(520)進(jìn)一步適于發(fā)送所述許多活躍發(fā)言人(535)的許多基本層視頻圖像以及最活躍發(fā)言人的一個(gè)或多個(gè)增強(qiáng)層(540)給該多個(gè)多媒體用戶設(shè)備(550、560、570、580)的一個(gè)或多個(gè)。
8.根據(jù)權(quán)利要求7的視頻會(huì)議裝置，進(jìn)一步包括預(yù)測(cè)幀到幀內(nèi)編碼幀譯碼模塊(660)，可操作地耦合到所述視頻交換模塊(530)，以便如果所述多點(diǎn)控制單元(520)接收初始作為預(yù)測(cè)幀的所述幀，就提供最活躍發(fā)言人增強(qiáng)層視頻流為幀內(nèi)編碼幀。
9.根據(jù)權(quán)利要求7或8的視頻會(huì)議裝置，進(jìn)一步包括發(fā)言人識(shí)別模塊(620)，分析許多音頻流(590)，以便確定許多活躍發(fā)言人和/或所述最活躍發(fā)言人。
10.根據(jù)權(quán)利要求9的視頻會(huì)議裝置，其中所述發(fā)言人識(shí)別模塊(620)基于確定的每一參與方的活躍性分配優(yōu)先級(jí)，以確定以下的一個(gè)或多個(gè)最活躍發(fā)言人(622)、任何其他活躍發(fā)言人(625)和任何不活躍發(fā)言人。
11.一種用于參與視頻會(huì)議的無(wú)線裝置(700)，在視頻會(huì)議中多個(gè)參與方發(fā)送視頻圖像，該無(wú)線裝置(700)包括視頻顯示器(710)，具有第一顯示器和一個(gè)或多個(gè)第二不同顯示器，用于顯示來(lái)自該多個(gè)參與方的各個(gè)參與方(720、730)；以及處理器，可操作地耦合到到所述視頻顯示器，用于接收最活躍發(fā)言人(720)和多個(gè)次活躍發(fā)言人(730)的指示，并且確定從所述最活躍發(fā)言人(720)接收的所述視頻圖像顯示在提供較高質(zhì)量視頻圖像的所述第一顯示器上，并且從所述多個(gè)次活躍發(fā)言人(730)接收的所述視頻圖像顯示在提供較低質(zhì)量視頻圖像的所述第二顯示器上。
12.一種多點(diǎn)處理器器，包括一個(gè)或多個(gè)接收端口，適于從多個(gè)用戶設(shè)備(550、560、570、580)接收分層視頻圖像，分層視頻圖像包括基本層視頻流(552、562、572、582)和增強(qiáng)層視頻流(555、565、575、585)；以及交換模塊(640)，可操作地耦合到所述一個(gè)或多個(gè)接收端口，選擇許多活躍發(fā)言人(535)的許多基本層視頻圖像和最活躍發(fā)言人的一個(gè)或多個(gè)增強(qiáng)層(540)，用于發(fā)送給一個(gè)或多個(gè)用戶設(shè)備(550、560、570、580)。
13.根據(jù)權(quán)利要求12的多點(diǎn)處理器，進(jìn)一步包括發(fā)言人識(shí)別模塊(620)，可操作地耦合到所述一個(gè)或多個(gè)接收端口，用于分析從所述許多用戶設(shè)備的多個(gè)中接收的許多音頻流(590)，以便確定許多活躍發(fā)言人和/或所述最活躍發(fā)言人。
14.根據(jù)權(quán)利要求12或13的多點(diǎn)處理器，其中所述發(fā)言人識(shí)別模塊(620)基于確定的許多參與方的活動(dòng)性分配優(yōu)先級(jí)，以確定以下的一個(gè)或多個(gè)最活躍發(fā)言人(622)、任何其他活躍發(fā)言人(625)和任何不活躍發(fā)言人。
15.根據(jù)權(quán)利要求12到14任一個(gè)的多點(diǎn)處理器，進(jìn)一步包括預(yù)測(cè)幀到幀內(nèi)編碼幀譯碼模塊(660)，可操作地耦合到所述交換模塊(640)，以便如果在相應(yīng)的端口接收的所述最活躍發(fā)言人的增強(qiáng)層視頻流為預(yù)測(cè)幀，就把它轉(zhuǎn)換為幀內(nèi)編碼幀。
16.一種適于執(zhí)行權(quán)利要求1到6中任何一個(gè)的方法步驟，或適于包括權(quán)利要求7到10中任何一個(gè)的視頻會(huì)議裝置、或適于包括權(quán)利要求12到15中任何一個(gè)的多點(diǎn)處理器的視頻通信系統(tǒng)。
17.根據(jù)權(quán)利要求16的視頻通信系統(tǒng)，其中，該視頻通信系統(tǒng)可與具有互聯(lián)網(wǎng)協(xié)議多媒體域(890)的UMTS通信標(biāo)準(zhǔn)(800)兼容，以便于視頻會(huì)議通信。
18.一種適于執(zhí)行權(quán)利要求1到6中任何一個(gè)的方法步驟、或適于包括權(quán)利要求7到10中任何一個(gè)的視頻會(huì)議裝置、或適于包括權(quán)利要求12到15中任何一個(gè)的多點(diǎn)處理器的媒體資源功能元件(890A)。
19.一種適于接收根據(jù)權(quán)利要求1到6的方法產(chǎn)生的分層視頻會(huì)議圖像的視頻通信單元(700)。
20.一種適于產(chǎn)生用在權(quán)利要求1到6的方法中的分層視頻會(huì)議圖像、或適于發(fā)送根據(jù)權(quán)利要求1到6的方法產(chǎn)生的分層視頻會(huì)議圖像的視頻通信單元。
21.根據(jù)權(quán)利要求19的視頻通信單元，其中該視頻通信單元是以下之一節(jié)點(diǎn)B(850A)，RNC(850B)，SGSN(870A)，GGSN(870B)，MRF(890A)。
22.根據(jù)權(quán)利要求1到6的在多媒體視頻會(huì)議中中繼視頻圖像的方法或根據(jù)權(quán)利要求7到10中任何一個(gè)的視頻會(huì)議裝置，或根據(jù)權(quán)利要求12到15中任何一個(gè)的多點(diǎn)處理器或根據(jù)權(quán)利要求16到17的視頻通信系統(tǒng)，或根據(jù)權(quán)利要求18的媒體資源功能元件(890A)或根據(jù)權(quán)利要求19、20或21的視頻通信單元，都適于促進(jìn)基于H.323標(biāo)準(zhǔn)或SIP標(biāo)準(zhǔn)的視頻會(huì)議圖像。
23.一種存儲(chǔ)處理器可實(shí)現(xiàn)指令的存儲(chǔ)介質(zhì)，該指令用于控制處理器執(zhí)行權(quán)利要求1到6中任何一個(gè)的方法。
全文摘要
一種在多個(gè)多媒體用戶設(shè)備(550、560、570、580)之間的多媒體視頻會(huì)議中重放視頻圖像的方法，包括通過(guò)許多所述用戶設(shè)備發(fā)送分層視頻圖像的步驟，其中所述分層視頻圖像包括基本層(552、562、572、582)和一個(gè)或多個(gè)增強(qiáng)層(555、565、575、585)。在多點(diǎn)控制單元(520)接收所發(fā)送的分層視頻圖像，在該單元選擇許多活躍發(fā)言人(535)的許多基本層視頻圖像和最活躍發(fā)言人的一個(gè)或多個(gè)增強(qiáng)層(540)。該多點(diǎn)控制單元(520)把這些基本層視頻圖像和該最活躍發(fā)言人的一個(gè)或多個(gè)增強(qiáng)層發(fā)送給所述多個(gè)多媒體用戶設(shè)備(550、560、570、580)中的一個(gè)或多個(gè)。相對(duì)于現(xiàn)有的視頻會(huì)議系統(tǒng)，發(fā)言人的識(shí)別得到了極大改善，因?yàn)榭捎脦挼墓蚕碓试S發(fā)送一個(gè)增強(qiáng)層和幾個(gè)基本層，而不是只發(fā)送一個(gè)完全質(zhì)量視頻流。
文檔編號(hào)H04N5/00GK1618233SQ02827743
公開日2005年5月18日 申請(qǐng)日期2002年12月16日 優(yōu)先權(quán)日2002年1月30日
發(fā)明者阿瑟·拉萊 申請(qǐng)人:摩托羅拉公司