切換操作，開通或關(guān)閉選定的與會方話機的視頻解碼通道，用以接收其發(fā)送過 來的視頻數(shù)據(jù)，并進行視頻解碼處理。在本發(fā)明具體實施例中，如果主持人以固定顯示模式 選擇話機A和話機C的視頻輪詢，則此時話機M將把話機B設(shè)置為不可見狀態(tài),把話機C設(shè) 置為可見狀態(tài)。
[0036] 步驟S680:話機M進行視頻混合疊加，即將解碼后的與會方話機視頻與本地攝像 頭的視頻數(shù)據(jù)混合疊加，后續(xù)將該混合疊加的視頻碼流發(fā)送到各與會方話機端。
[0037] 圖7為本發(fā)明具體實施例中固定視頻輪詢模式的流程圖。由圖可知，在上述具體 實施方式中，在主持方話機M、話機A、話機B進行三方視頻會議,后續(xù)因為話機C的請求而 在上述步驟S660中，會議主持人選定固定顯示模式，并進一步選定話機A和話機C來進行 固定顯示，也就是此時需要對話機B和話機C的顯示狀態(tài)進行切換調(diào)整。則在步驟S670中 具體包括了以下操作： 步驟S710 :根據(jù)選定的話機A和話機C固定顯示模式，話機M進行視頻解碼通道的切 換，即開通話機C的視頻解碼通道從而關(guān)閉話機B的視頻解碼通道，同時給各與會方話機通 過控制通道發(fā)送工作狀態(tài)信息。
[0038] 步驟S720 :話機A接收上述工作狀態(tài)信息，并判斷為狀態(tài)三，則繼續(xù)保持向話機M 發(fā)送語音數(shù)據(jù)和視頻數(shù)據(jù)，并且接收來自話機M疊加后的語音數(shù)據(jù)和疊加后的視頻數(shù)據(jù)。
[0039] 步驟S730 :話機B接收上述工作狀態(tài)信息，并判斷為狀態(tài)二，則繼續(xù)保持向話機M 發(fā)送語音數(shù)據(jù)，但不再向話機M發(fā)送來自自己攝像頭的視頻數(shù)據(jù)，并且繼續(xù)接收來自話機M 疊加后的語音數(shù)據(jù)和疊加后的視頻數(shù)據(jù)。
[0040] 步驟S740 :話機C接收上述工作狀態(tài)信息，并判斷為狀態(tài)三，則向話機M發(fā)送語音 數(shù)據(jù)，同時也向話機M發(fā)送來自自己攝像頭的視頻數(shù)據(jù)，并且繼續(xù)接收來自話機M疊加后的 語音數(shù)據(jù)和疊加后的視頻數(shù)據(jù)。
[0041] 對于上述固定顯示模式所選中的話機A和話機C，他們會將其本地攝像頭采集到 的視頻數(shù)據(jù)發(fā)送到主持方話機M上，話機M進行視頻混合疊加處理后再發(fā)送到與會方話機 A、話機B和話機C端進行顯示。
[0042] 在定時顯示模式中，通過定時器輪詢對所接收的視頻數(shù)據(jù)的解碼時間進行設(shè)定， 該時間大小可以根據(jù)用戶使用需求而定。
[0043] 此外，在本發(fā)明所公開的技術(shù)方案還支持音量確定模式的顯示輪詢，即根據(jù)音頻 音量大小來輪詢。此時，主持方話機M根據(jù)各與會方話機的音頻音量大小來判斷，當前發(fā)言 者優(yōu)先顯示的規(guī)則。音頻處理模塊將會分析每一個與會方的音頻數(shù)據(jù)的分貝，從而通過與 會方的持續(xù)分貝值達到一定的量值，來判斷哪一方正在說話，進而將視頻切換到該與會方， 來替換最久的未發(fā)言者的視頻。
[0044] 圖8為本發(fā)明具體實施例中音量確定模式的功能示意圖。設(shè)置音量最大的兩個與 會方為可見。該模式需要音頻處理模塊協(xié)同處理。為實現(xiàn)本發(fā)明，會議主持方的話機首先 計算其他與會方的來話語音數(shù)據(jù)解碼后音量的大小，之后，一方面將其他與會方語音作混 音處理后在本地播放，另一方面上報語音音量最大的兩個與會方ID。如圖8所示，主持方話 機M通過設(shè)置能量計算單元來計算各路來話語音數(shù)據(jù)的短時能量，即實時計算一段固定時 間長度的語音能量，一般固定時間長度取值范圍為l〇ms-16m S，以保持準確性。此時有兩種 方式可以用來計算短時能量，其效果相同：一種是將固定時間長度內(nèi)每個語音數(shù)據(jù)的絕對 值相加，另一種是將固定時間長度內(nèi)每個語音數(shù)據(jù)的平方值相加。選路單元獲得各個與會 方的語音能量后，將其作簡單的排序處理，即可找到音量最大的兩個與會方ID。以上過程 與語音的混音相互獨立，不會對語音數(shù)據(jù)作修改，因而也不會影響會議的后續(xù)語音處理。如 表1所示為采用語音數(shù)據(jù)的絕對值相加判斷來話語音能量的一個例子，其中各時間段長度 相同，均為l〇ms。表中各數(shù)值表示了與會方A、B、C的來話語音在各個時間段的能量，根據(jù) 比較能量大小可以選出各時間段應顯示的兩個與會方，也就是如表1選路結(jié)果欄所示。
[0045] 圖9為本發(fā)明具體實施例中音量確定模式的狀態(tài)切換示意圖。表1不同時間段各 個與會方話機端的語音能量變化。由于T3-T4時段內(nèi)話機B和話機C的語音能量值是最高 的，因此T4時刻將選取話機B和話機C作為需要顯示的與會方進行調(diào)度，此時與會方話機 與主持方話機M的視頻連接可以參考圖9所示。在話機M端主要操作步驟是： (1) 停止話機A的視頻顯示，即關(guān)閉話機A的視頻解碼通道，話機A從可見狀態(tài)切換到 不可見狀態(tài)； (2) 打開話機B的視頻顯示，即開通話機B的視頻解碼通道，話機B從不可見狀態(tài)切換 到可見狀態(tài)。
[0046]表 1 : 時轉(zhuǎn)蘗 Ttt-Tl TM2 T2? T3 T3-T4 T4-TJ T# A 珊W 300(S2 25229 1284? I_t 21009 § m in i_# a ms tmw 靈屬 a馨.... 嘗重------- C 3W1 J?l W?? l?3f 2WW ?ffl 遶囍她乘 ..................^........................................^........................................^...............................................................................^......................................^.................. 圖10所示為本發(fā)明具體實施例中視頻輪詢顯示的功能模塊圖。由圖可知，在主持方話 機M端包括以下幾個功能模塊：視頻通訊模塊、信令協(xié)商模塊、0SD顯示模塊、視頻通道管理 模塊、視頻解碼模塊a、視頻解碼模塊b、視頻合成、視頻編碼、視頻顯示，以及攝像頭。其中， 視頻解碼模塊a和視頻解碼模塊b進一步包括：RTP緩沖器、視頻編碼器、縮放單元。
[0047] 視頻通道管理，主要用于判斷識別當前各個與會方話機的視頻狀態(tài)，并根據(jù)0SD 顯示模塊接收到的主持人的操作信令來確定是否接通對方話機的視頻通訊，以及判斷與會 方話機視頻狀態(tài)發(fā)生變化時通知信令協(xié)商模塊進行通知交互。其中，上述的判斷識別包括： 1)判斷是否有來自三方視頻會議外的話機的視頻接入請求；2)根據(jù)話機M的解碼能力選 定合適數(shù)量的視頻碼流，話機M端是否需要開啟輪詢式視頻會議模式，其進一步包括：話機 M判斷支持視頻碼流解碼的通路數(shù)量，設(shè)為L ;判斷新增與會方話機后的所有與會方話機數(shù) 量，設(shè)為H ;比較H是否超出了 L。如果H>L，則確定所述可見狀態(tài)的與會方話機最多可以設(shè) 置L個，并顯示所述視頻輪詢機制菜單供用戶操作。在本發(fā)明具體實施例中，話機M支持視 頻碼流解碼通路為2,新增話機C后所有與會方話機的數(shù)量為3,此時明顯與會方話機數(shù)量 超出了視頻解碼的能力。
[0048] 在發(fā)明具體實施例中輪詢式視頻會議中，與會方話機可以包括以下三種視頻狀態(tài) 的切換： 狀態(tài)一：音頻連接狀態(tài)，表示話機僅連接音頻沒有連接視頻通道，從而只能進行音頻會 議； 狀態(tài)二：不可見狀態(tài)，即未打開解碼的視頻連接，表示視頻通道已經(jīng)連接，可以進行視 頻會議，但是該與會方的視頻未發(fā)送給主持方話機進行解碼，該與會方只能看到其他與會 方和主持方的視頻，而其他與會方不能看到該與會方的視頻數(shù)據(jù)； 狀態(tài)三：可見狀態(tài)，即已打開解碼的視頻連接，表示視頻通道已經(jīng)連接，可以進行視頻 會議，并且該與會方的視頻數(shù)據(jù)將發(fā)送給主持方話機進行解碼，同時將會發(fā)送給其他與會 方話機進行顯示。并由主持方進行視頻疊加處理之后發(fā)送給其他與會方話機進行顯示。
[0049]為