處理多跳RTP流中的關(guān)鍵分組丟失的系統(tǒng)和方法相關(guān)申請(qǐng)的交叉引用本申請(qǐng)要求2012年2月10日提交的申請(qǐng)?zhí)枮?1/597,524、發(fā)明名稱為“SYSTEMANDMETHODFORHANDLINGCRITICALPACKETSLOSSINMULTI-HOPRTPSTREAMING”的美國(guó)臨時(shí)專利申請(qǐng)的優(yōu)先權(quán),上述申請(qǐng)的全部?jī)?nèi)容以引用的方式并入本文中。技術(shù)領(lǐng)域本發(fā)明涉及視頻通信,尤其是,涉及多點(diǎn)視頻會(huì)議領(lǐng)域。
背景技術(shù):視頻會(huì)議能夠使相互之間距離遙遠(yuǎn)的個(gè)體進(jìn)行面對(duì)面的會(huì)議??梢允褂靡纛l和視頻通信來執(zhí)行視頻會(huì)議。視頻會(huì)議可以在最少兩個(gè)站點(diǎn)(點(diǎn)對(duì)點(diǎn))之間,或者在多個(gè)站點(diǎn)(多個(gè)點(diǎn))之間進(jìn)行。會(huì)議站點(diǎn)可以包括一個(gè)參與者(用戶,與會(huì)者)或者多個(gè)參與者(用戶,與會(huì)者)。視頻會(huì)議還可以被用于共享文件、演示、信息,以及諸如此類。例如,參與者可以通過視頻會(huì)議端點(diǎn)(EP)來參加視頻會(huì)議。端點(diǎn)(EP)可以是例如網(wǎng)絡(luò)終端。端點(diǎn)能夠?yàn)槠渌K端和/或多點(diǎn)控制單元(MCU)提供實(shí)時(shí)、雙向、音頻/視頻/數(shù)據(jù)通信。端點(diǎn)(EP)可以提供不同形式的信息/數(shù)據(jù),包括音頻;音頻和視頻;數(shù)據(jù)、音頻和視頻等等??梢韵嗷ヌ鎿Q地使用術(shù)語“終端”、“站點(diǎn)”和“端點(diǎn)”。在本公開中,術(shù)語端點(diǎn)可以被用作上面那些術(shù)語的代表性術(shù)語。端點(diǎn)可以包括顯示單元(屏幕),在其上可以顯示來自一個(gè)或多個(gè)遠(yuǎn)程站點(diǎn)的視頻圖像。示例端點(diǎn)包括和系列端點(diǎn),每一個(gè)都可以從Polycom公司獲得(POLYCOM、VSX和HDX都是Polycom公司的注冊(cè)商標(biāo))。視頻會(huì)議端點(diǎn)可以將來自本地站點(diǎn)的音頻、視頻,和/或數(shù)據(jù)發(fā)送至一個(gè)或多個(gè)遠(yuǎn)程站點(diǎn),以及在其屏幕(顯示單元)上顯示從遠(yuǎn)程站點(diǎn)(一個(gè)或多個(gè))接收到的視頻和/或數(shù)據(jù)。在端點(diǎn)的屏幕上顯示的視頻圖像可以以所設(shè)置的布局被顯示。界面可以包括一個(gè)或多個(gè)用于顯示視頻圖像的區(qū)塊。區(qū)塊可以是接收端點(diǎn)的屏幕的預(yù)定部分,接收端點(diǎn)被分配給從參加視頻會(huì)議會(huì)話的站點(diǎn)之一接收的視頻圖像。在兩個(gè)參與者之間的視頻會(huì)議中,區(qū)塊可以覆蓋端點(diǎn)屏幕的整個(gè)顯示區(qū)域。在每個(gè)站點(diǎn)中,區(qū)塊可以顯示從其它站點(diǎn)接收的視頻圖像。在本地站點(diǎn)和多個(gè)遠(yuǎn)程站點(diǎn)之間的視頻會(huì)議中的視頻顯示模式的例子可以是切換模式。切換模式可以是,每次只有來自遠(yuǎn)程站點(diǎn)之一的視頻/數(shù)據(jù)被顯示在本地站點(diǎn)的屏幕上。依賴于會(huì)議的動(dòng)態(tài),所顯示的視頻可以被切換至從另一站點(diǎn)接收的視頻。與切換模式相反,在持續(xù)存在(CP)會(huì)議中,本地端點(diǎn)處的與會(huì)者(參與者)可以同時(shí)觀察來自參加視頻會(huì)議的不同端點(diǎn)的多個(gè)其他與會(huì)者。每個(gè)站點(diǎn)可以被顯示在布局的不同區(qū)塊中,布局被顯示在本地屏幕上。區(qū)塊可以是相同大小或者不同大小。顯示在屏幕上的站點(diǎn)的組合及其與布局的區(qū)塊的關(guān)聯(lián)在參加相同會(huì)話的不同站點(diǎn)之間改變。此外,在持續(xù)存在的布局中,來自站點(diǎn)的接收視頻圖像可以被縮放,上移或者下移,和/或裁切,以適合給其分配的區(qū)塊大小。應(yīng)該注意到,可以相互替換地使用術(shù)語“與會(huì)者”、“用戶”和“參與者”。在本公開中,術(shù)語與會(huì)者可以被用作上面那些術(shù)語的代表性術(shù)語。MCU可以被用于管理視頻會(huì)議。MCU是會(huì)議控制實(shí)體,通常位于網(wǎng)絡(luò)節(jié)點(diǎn)中或者終端中,其接收來自端點(diǎn)的多個(gè)信道,以及根據(jù)某種標(biāo)準(zhǔn),處理音頻和/或視頻信號(hào),并將它們分配給所連接的一組信道。示例MCU包括Polycom公司提供的MGC-100和(RMX2000是Polycom公司的注冊(cè)商標(biāo))。某些MCU可以由兩個(gè)邏輯單元組成:媒體控制器(MC)和媒體處理器(MP)。端點(diǎn)和MCU更詳盡的定義可以在國(guó)際電信聯(lián)盟(“ITU”)標(biāo)準(zhǔn)中找到,包括H.320、H.324和H.323標(biāo)準(zhǔn)。關(guān)于諸如ITU標(biāo)準(zhǔn)或者會(huì)話發(fā)起協(xié)議(SIP)的視頻會(huì)議標(biāo)準(zhǔn)和協(xié)議的補(bǔ)充信息分別可以在ITU網(wǎng)站www.itu.int或者在Internet工程任務(wù)組(IETF)網(wǎng)站www.ietf.org中找到。其它視頻會(huì)議系統(tǒng)可以使用媒體中繼會(huì)議系統(tǒng)(MRC)。在MRC中,媒體中繼MCU(MRM)從每個(gè)參與媒體中繼端點(diǎn)(MRE)接收一個(gè)或多個(gè)流。MRM將從會(huì)議中的其它端點(diǎn)接收的多個(gè)視頻流集合中繼到每個(gè)參與端點(diǎn)。每個(gè)接收端點(diǎn)使用多個(gè)流來生成與布局相符的CP視頻圖像。CP視頻圖像被呈現(xiàn)給MRE用戶。MRE可以是會(huì)話中的與會(huì)者終端,其能夠從MRM接收中繼的媒體,并根據(jù)來自MRM的指令傳送壓縮媒體。在公開號(hào)為2010/0194847的美國(guó)專利申請(qǐng)中詳細(xì)描述了MRM,其為了所有目的通過引用合并于本文中。為了本公開的目的,可以相互替換地使用術(shù)語端點(diǎn)和MRE。在某些MRC系統(tǒng)中,發(fā)送MRE以兩個(gè)或更多個(gè)質(zhì)量層、等級(jí)發(fā)送其視頻圖像。在某些系統(tǒng)中,在單個(gè)流上攜帶兩個(gè)或更多個(gè)層。在其它MRC系統(tǒng)中,每個(gè)層與不同的流關(guān)聯(lián)。這些系統(tǒng)可以提供布局中的不同窗口大小、每個(gè)接收端點(diǎn)使用的不同分辨率、不同的幀率(framerate)等等。此外,多個(gè)層可以被用于克服分組丟失。質(zhì)量在幀率、分辨率和/或信噪比(SNR)等等方面不同。遍及本公開,術(shù)語視頻流表示在多媒體會(huì)議會(huì)話、媒體流或任何使用壓縮多媒體流傳遞的應(yīng)用中的任何壓縮媒體(例如,音頻和/或視頻)傳輸。媒體已經(jīng)由可伸縮譯碼編碼器壓縮。進(jìn)一步地,發(fā)送的壓縮媒體可以包括多個(gè)層,各層的媒體質(zhì)量相互不同。不同層可以由所公開的實(shí)施例不同地處理。同樣,本文使用的術(shù)語可伸縮譯碼(Scalable-Coding,SC)表示多層媒體編碼的示例。視頻流正變得越來越受歡迎。而且,越來越多的視頻流的源以及視頻會(huì)議系統(tǒng)傳輸多個(gè)層,其中各層的壓縮視頻質(zhì)量相互不同??梢栽诙鄠€(gè)域中表示質(zhì)量,諸如時(shí)域(例如,幀/秒)、空間域(例如,高清晰度(HD)或通用中間格式(CIF)),和/或用質(zhì)量(例如,明銳度)表示。用于視頻流和多質(zhì)量層的視頻壓縮標(biāo)準(zhǔn)包括H.264AVC、H.264附件G、MPEG-4等等。這些壓縮標(biāo)準(zhǔn)可以被稱為SC標(biāo)準(zhǔn)。關(guān)于諸如H.264的壓縮標(biāo)準(zhǔn)的更多信息可以在ITU網(wǎng)站www.itu.int或者www.mpeg.org上找到。某些視頻壓縮技術(shù)使用兩類幀,內(nèi)幀(intra-frame)和間幀(inter-frame)。內(nèi)幀是與僅包含在相同幀內(nèi)的信息相關(guān)地、而不與視頻序列中的任何其它幀相關(guān)地被壓縮的視頻幀。間幀是既與包含在相同幀內(nèi)的信息相關(guān)地、也與視頻序列中的一個(gè)或多個(gè)其它幀(參考幀)相關(guān)地被壓縮的視頻幀。間幀可以包括預(yù)測(cè)幀(P幀)和/或雙向預(yù)測(cè)幀(B幀)。在視頻會(huì)議中,由于B幀引入了等待時(shí)間而通常不使用B幀。在以下描述中,間幀被用作術(shù)語P幀的代表性術(shù)語。在因特網(wǎng)協(xié)議(IP)網(wǎng)絡(luò)上攜帶的通常視頻會(huì)議會(huì)話的媒體(例如,音頻和視頻)使用實(shí)時(shí)傳輸協(xié)議(RTP)作為媒體分組的傳輸協(xié)議。協(xié)同使用RTP協(xié)議與實(shí)時(shí)控制協(xié)議(RTCP)。RTCP被用于監(jiān)控傳輸統(tǒng)計(jì)和服務(wù)質(zhì)量(QoS),并協(xié)助多個(gè)流的同步。另外,RTP分組通過UDP/IP運(yùn)送。本領(lǐng)域公知的是,UDP/IP是無連接協(xié)議,其不可靠且遭受分組丟失。作為用于識(shí)別分組丟失的手段之一,在視頻會(huì)議流的源端的通用RTP處理器在將媒體分組發(fā)送至它們的目的端之前,為每個(gè)媒體分組添加序列號(hào)。在壓縮視頻流的目的端,RTP處理器根據(jù)接收分組的序列號(hào)對(duì)其進(jìn)行分類,并向相關(guān)解碼器傳遞壓縮媒體。為了克服分組丟失,RTP處理器在連接的兩端可以使用不同的前向糾錯(cuò)技術(shù)。進(jìn)一步地,位于連接兩端的視頻編碼器/解碼器使用不同的恢復(fù)方法以克服分組丟失。然而,另一個(gè)恢復(fù)方法可以包括向流的源端發(fā)送對(duì)一個(gè)或多個(gè)丟失分組的重傳請(qǐng)求。
技術(shù)實(shí)現(xiàn)要素:在實(shí)時(shí)通信中,諸如在視頻會(huì)議中,重傳可以包括對(duì)內(nèi)幀編碼并將其發(fā)送給所有呈現(xiàn)視頻圖像的端點(diǎn),盡管重傳幀是由端點(diǎn)之一請(qǐng)求的。內(nèi)幀的發(fā)送增加了網(wǎng)絡(luò)上的帶寬消耗,并且由于幀率的臨時(shí)減小而降低了用戶體驗(yàn)。在使用多個(gè)媒體跳(media-hop)的會(huì)話中分組丟失通常是很常見的。媒體跳可以是兩個(gè)或更多個(gè)端點(diǎn)之間的中間節(jié)點(diǎn)。例如,媒體跳可以是MCU、MRM、媒體網(wǎng)關(guān)等等。為了本公開的目的,術(shù)語MCU、MRM、媒體網(wǎng)關(guān)和媒體跳可以依賴于上下文被相互替換地使用。在涉及多個(gè)媒體跳的會(huì)話中,分組在路徑的任何部分都會(huì)丟失。因此,在到第一跳的途中丟失的分組可以被第二跳所請(qǐng)求,也可以被包括在流的目的端處的終端的一個(gè)或多個(gè)連續(xù)跳所請(qǐng)求。在這種情況下,由其后跟隨著多個(gè)重傳分組的多個(gè)不必要重傳請(qǐng)求將增加網(wǎng)絡(luò)和連接兩端的端點(diǎn)的負(fù)載。公開了一種方法和系統(tǒng)的示例實(shí)施例,其試圖增強(qiáng)視頻會(huì)議會(huì)話的與會(huì)者的體驗(yàn),并減小由會(huì)話造成的帶寬消耗。不同方法可以被用在媒體流系統(tǒng)中,其中媒體壓縮技術(shù)傳遞多個(gè)可伸縮層。例如,公開的技術(shù)可以被實(shí)現(xiàn)在視頻會(huì)議會(huì)話中,其中的視頻壓縮是基于SC的。示例SC壓縮標(biāo)準(zhǔn)可以是H.264附件G,通常被稱為SVC。在SC中,由于層之間的依賴性,不同層具有不同的重要等級(jí)。例如,對(duì)于時(shí)間可伸縮性(temporalscalability),其中使用了3層(T0,T1和T2),每層與不同的幀率相關(guān),如圖1A所示。圖1A中的X軸表示RTP流中的幀,這些幀以SC編碼,幀率為30幀每秒(F/s)。為了以30F/s傳遞壓縮視頻,壓縮流包括向目的端發(fā)送的3層。第一層是基層(BL)。對(duì)于時(shí)間可伸縮性,BL可以被稱為T0。BL(T0)包括壓縮幀,所述壓縮幀是以7.5F/s壓縮的,并且基于參考幀來壓縮每個(gè)幀,該參考幀是在對(duì)相同層BL(T0)中其前一個(gè)幀進(jìn)行編碼時(shí)創(chuàng)建的。因此,幀#5,其是該層BL(T0)中的第二個(gè)幀,基于參考幀而被壓縮,該參考幀是在對(duì)該層的第一個(gè)幀(幀#1)進(jìn)行編碼時(shí)創(chuàng)建的。幀#9,其是該層BL(T0)的第三個(gè)幀,基于參考幀而被壓縮,該參考幀是在對(duì)該層的第二個(gè)幀(幀#5)進(jìn)行編碼時(shí)創(chuàng)建的,以此類推。第二層是第一增強(qiáng)層(EL1)。對(duì)于時(shí)間可伸縮性,EL1可以被稱為T1。EL1(T1)包括壓縮幀,該壓縮幀是以7.5F/s并且在相對(duì)于第一層BL(T0)移位兩幀的情況下而被壓縮的。每個(gè)幀基于參考幀而被壓縮,該參考幀是在對(duì)第一層BL(T0)中的前一幀進(jìn)行編碼時(shí)創(chuàng)建的。因此,幀#3,其是層EL1(T1)的第一個(gè)幀,基于層BL(T0)的第一個(gè)幀(幀1)而被壓縮。幀#7,其是層EL1(T1)的第二個(gè)幀,基于層BL(T0)的第二個(gè)幀(幀5)而被壓縮,以此類推。因此,包括層BL(T0)和EL1(T1)的幀的流可以以15F/s的幀率被解碼和呈現(xiàn)。第三層是第二增強(qiáng)層(EL2)。對(duì)于時(shí)間可伸縮性,第三層可以被稱為T2。EL2(T2)可以包括以15F/s壓縮的壓縮幀,其中該層的第一個(gè)幀(幀2)位于BL(T0)的第一個(gè)幀(幀1)和EL1(T1)的第一個(gè)幀(幀3)之間。EL2(T2)的每個(gè)奇數(shù)幀基于參考幀而被壓縮,該參考幀是在對(duì)第一層BL(T0)中的前一幀進(jìn)行編碼時(shí)創(chuàng)建的。EL2(T2)的每個(gè)偶數(shù)幀基于參考幀而被壓縮,該參考幀是在對(duì)第二層EL1(T1)中的前一幀進(jìn)行編碼時(shí)創(chuàng)建的。因此,幀#2,其是層EL2(T2)的第一個(gè)幀,基于層BL(T0)的第一個(gè)幀(幀1)而被壓縮。幀#4,其是層EL2(T2)的第二個(gè)幀,基于層EL1(T1)的第一個(gè)幀(幀3)而被壓縮,以此類推。因此,包括層BL(T0)、EL1(T1)和EL2(T2)的幀的流可以以30F/s的幀率被解碼和呈現(xiàn)?;谏鲜鰤嚎s不同層的方法,可以在層之間分配優(yōu)先級(jí)?;鶎覤L(T0)的幀是最關(guān)鍵的幀且具有最高優(yōu)先級(jí);因?yàn)槠渌鼉蓪覧L1和EL2(對(duì)于時(shí)間可伸縮性而言是T1和T2)中每一層的幀解碼依賴于BL(T0)中的前一幀。EL1(T1)的幀關(guān)鍵程度較低,僅EL2(T2)的幀的解碼基于EL1(T1)的幀。類似地,EL2(T2)的幀比EL1(T1)的幀的關(guān)鍵程度更低。丟失攜帶EL2(T2)的幀一一例如幀8一一的壓縮數(shù)據(jù)的分組將減小所呈現(xiàn)圖像的質(zhì)量一小段時(shí)間(~30毫秒),直到接收到下一幀,幀9,為止,幀9屬于層BL(T0)。但是,如果攜帶BL(T0)的幀13的數(shù)據(jù)的分組丟失了,就會(huì)發(fā)生持久的偽像,因而需要內(nèi)幀以恢復(fù)丟失的分組。示例實(shí)施例可以修改攜帶SC壓縮數(shù)據(jù)的分組的RTP報(bào)頭以包括擴(kuò)展報(bào)頭。擴(kuò)展報(bào)頭可以包括指示由該分組攜帶的壓縮視頻的優(yōu)先級(jí)的字段。該字段可以被稱為PrID字段,其中Pr0表示最高優(yōu)先級(jí)。在一些實(shí)施例中,發(fā)送端點(diǎn)(其是壓縮流的源端)可以定義優(yōu)先級(jí)等級(jí)。在一些實(shí)施例中,在會(huì)話期間優(yōu)先級(jí)等級(jí)可以改變。例如,可以依賴于接收重傳請(qǐng)求的頻率來改變優(yōu)先級(jí)等級(jí)。攜帶基層BL(T0)的壓縮視頻數(shù)據(jù)的分組可以用最高優(yōu)先級(jí)Pr0來標(biāo)記。攜帶EL2(T2)的壓縮視頻數(shù)據(jù)的分組可以用最低優(yōu)先級(jí)Pr2來標(biāo)記。在某些會(huì)話中,只接收到很少的重傳請(qǐng)求,發(fā)送端點(diǎn)可以給層T0和T1都標(biāo)以最高優(yōu)先級(jí)Pr0。進(jìn)一步地,沿著從源端至目的端的路徑的媒體跳適于丟棄具有較低優(yōu)先級(jí)的RTP分組,并傳送具有較高優(yōu)先級(jí)的RTP分組。示例媒體跳可以是媒體GW、MCU、MRM、橋等等。進(jìn)一步地,在RTPSC分組的目的端,與具有較高優(yōu)先級(jí)的丟失分組相比,RTP處理器適于不同地響應(yīng)具有較低優(yōu)先級(jí)的丟失分組。在其它示例實(shí)施例中,RTP擴(kuò)展報(bào)頭可以進(jìn)一步包括新字段,其可以與序列號(hào)相關(guān)聯(lián)。對(duì)于每個(gè)攜帶Pr0幀的壓縮數(shù)據(jù)的RTP分組,可以由流的源端將第一序列號(hào)增加。在從源端至RTP分組的接收端點(diǎn)的所有路徑中,該字段的值保持不變。該序列號(hào)可以被稱為原始Pr0序列號(hào)(OPr0SN),OPr0SN使連接到SC流的目的端的解碼器的RTP處理器能夠識(shí)別丟失的Pr0分組。如果發(fā)現(xiàn)關(guān)鍵分組,諸如BL(T0)分組,丟失,可以生成對(duì)于I幀的請(qǐng)求。第二個(gè)序列號(hào)可以被稱為跳Pr0序列號(hào)(HPr0SN)。由沿著流的路徑的每個(gè)媒體跳替換HPr0SN。HPr0SN使連接到下一跳的RTP處理器能夠識(shí)別在RTP處理器之前的最后一段丟失的Pr0分組。從一跳到下一跳,該字段發(fā)生變化。每個(gè)跳可以使用另一序列計(jì)數(shù)器,因此從一跳到另一跳,HPr0SN的值可以動(dòng)態(tài)變化。對(duì)于每個(gè)被發(fā)送或者重傳Pr0分組,每個(gè)跳增加其序列號(hào),即其HPr0SN的值。另外,每個(gè)跳的RTP處理器可以適于檢查該字段。如果發(fā)現(xiàn)關(guān)鍵分組(Pr0),諸如BL(T0)分組,被下一個(gè)RTP接收器丟失,RTP接收器可以發(fā)送重傳請(qǐng)求至其使用RTCP重傳請(qǐng)求的發(fā)送器。使用HPr0SN字段識(shí)別丟失的關(guān)鍵分組(Pr0)并請(qǐng)求重傳丟失的關(guān)鍵分組有效地消除了重傳低優(yōu)先級(jí)丟失分組的開銷流量。進(jìn)一步地,每一跳可以適于操縱已發(fā)送關(guān)鍵分組的臨時(shí)存儲(chǔ)設(shè)備,以便在本地響應(yīng)對(duì)于關(guān)鍵分組(Pr0)的重傳請(qǐng)求,這發(fā)生在其出口和下一個(gè)RTP接收器之間。示例臨時(shí)存儲(chǔ)器可以存儲(chǔ)幾十個(gè)至幾百個(gè)最后發(fā)送的Pr0分組。示例存儲(chǔ)器可以是隨機(jī)存取存儲(chǔ)器(RAM),其中它的地址位可以是HPr0SN的最后幾位(例如6、8或者10位)。然而,在替代性示例實(shí)施例中,HPr0SN可以用于對(duì)所有層的分組計(jì)數(shù)。在這種實(shí)施例中,下一跳的RTCP可以獨(dú)立于丟失分組的層,通過請(qǐng)求丟失分組的重傳來響應(yīng)丟失分組,只要其發(fā)生在來自前一跳的段中。第三個(gè)序列號(hào)可以被稱為原始序列號(hào)(OSN)。OSN由壓縮流的源端控制,并且遍及所有跳,OSN都將保持不變。對(duì)于每個(gè)發(fā)送分組,獨(dú)立于其優(yōu)先級(jí),在由分組攜帶的可伸縮層上獨(dú)立地增加OSN。OSN使流的目的端處的RTP處理器能夠在將分組發(fā)送到視頻解碼器之前將這些分組組織起來,其中壓縮SC流在該目的端上被解碼。本領(lǐng)域通常技術(shù)人員將認(rèn)識(shí)到,盡管公開的實(shí)施例涉及時(shí)間可伸縮性;但本公開不限于時(shí)間可伸縮性,而是對(duì)于其它類型的可伸縮性也是可以實(shí)現(xiàn)的,舉例來說,諸如空間可伸縮性。所公開系統(tǒng)的實(shí)施例可以將丟失分組的重傳僅限于具有高優(yōu)先級(jí)(Pr0)的分組。因此,所公開的系統(tǒng)和方法可以減小帶寬消耗,并且減少對(duì)于內(nèi)幀的重傳請(qǐng)求,以改進(jìn)與會(huì)者的體驗(yàn)??紤]到附圖和詳細(xì)說明,本發(fā)明的這些方面和其它方面將會(huì)是顯而易見的。前述概要并非意味著概括了本公開的每個(gè)潛在實(shí)施例或每個(gè)方面,并且通過閱讀實(shí)施例的詳細(xì)說明、附圖和所附權(quán)利要求,本公開的其它特征和優(yōu)點(diǎn)將變得顯而易見。此外,盡管詳細(xì)描述了特定示例實(shí)施例,以向本領(lǐng)域通常技術(shù)人員說明本發(fā)明構(gòu)思,但這些實(shí)施例容易受到各種修改和具有可替換形式。因此,附圖和所記載的說明并非意味著以任何方式限制本發(fā)明構(gòu)思的范圍。附圖說明圖1A示出了根據(jù)一個(gè)或多個(gè)公開實(shí)施例的在使用3層時(shí)間可伸縮性時(shí)30F/s的壓縮視頻流可能SC結(jié)構(gòu)的示例示意圖;圖1B示出了根據(jù)示例實(shí)施例的包括多種電子視頻會(huì)議系統(tǒng)的多媒體會(huì)議系統(tǒng)100;圖2A描述了根據(jù)示例實(shí)施例的發(fā)送端點(diǎn)的示例RTP處理器的相關(guān)元件的框圖;圖2B描述了根據(jù)示例實(shí)施例的接收端點(diǎn)的示例RTP處理器的相關(guān)元件的框圖;圖3A描述了根據(jù)中間媒體跳的實(shí)施例的中間媒體跳的發(fā)送RTP處理器的實(shí)施例的相關(guān)元件的框圖;圖3B描述了根據(jù)中間媒體跳的實(shí)施例的中間媒體跳的接收RTP處理器的實(shí)施例的相關(guān)元件的框圖;圖4示出了發(fā)送EP-RTP處理器的實(shí)施例的發(fā)送任務(wù)的相關(guān)模塊的流程圖;圖5A和5B示出了可以由在壓縮SC流的目的端端點(diǎn)處的示例RTP處理器的接收部實(shí)現(xiàn)的接收方法的相關(guān)模塊的流程圖;圖6示出了在接收壓縮SC流時(shí)可以由中間媒體跳的示例RTP處理器實(shí)現(xiàn)的示例方法的相關(guān)模塊的流程圖;和圖7示出了在發(fā)送壓縮SC流時(shí)可以由中間媒體跳的示例RTP處理器實(shí)現(xiàn)的示例方法的相關(guān)模塊的流程圖。具體實(shí)施方式現(xiàn)在轉(zhuǎn)到附圖,描述了本公開的不同實(shí)施例,其中遍及幾個(gè)圖,同樣的標(biāo)號(hào)表示同樣的元件。為了方便起見,只有相同組的某些元件被標(biāo)記了標(biāo)號(hào)。附圖的目的是描述不同的實(shí)施例,而不是為了制造。因此圖中所示特征的選擇僅僅是為了方便和清楚的呈現(xiàn)。而且,本公開中使用的語言的選擇主要是為了可讀性和指導(dǎo)性的目的,而不是為了敘述或限制本發(fā)明的主題,確定該發(fā)明的主題必需依賴于權(quán)利要求。說明書中提到“一個(gè)實(shí)施例”或者“一實(shí)施例”意指與實(shí)施例結(jié)合所描述的特定特征、結(jié)構(gòu)或者特性包含在本發(fā)明的至少一個(gè)實(shí)施例中,并且多次提到“一個(gè)實(shí)施例”或者“一實(shí)施例”不應(yīng)該被理解為全部都必需指示相同的實(shí)施例。盡管下面的一些描述中記載了與軟件或者固件有關(guān)的術(shù)語,但實(shí)施例可以按需用軟件、固件或者硬件,包括軟件、固件和硬件的任意組合,來實(shí)現(xiàn)本文中所描述的特征和功能。在下面的描述中,單詞“單元”、“元件”、“模塊”和“邏輯模塊”可以相互替換地使用。任何被指定為單元或者模塊的東西可以是獨(dú)立的單元或者專用或集成模塊。單元或者模塊可以是模塊化的或者具有模塊化方面,以允許其可以被簡(jiǎn)單地移除或者由另一相似的單元或者模塊代替。每個(gè)單元或者模塊可以是軟件、硬件和/或固件中的任一個(gè),或者是它們的任意組合,最終導(dǎo)致一個(gè)或多個(gè)處理器被編程來執(zhí)行單元或者模塊所有的功能。另外,相同或者不同類型的多個(gè)模塊可以由單處理器來實(shí)現(xiàn)。邏輯模塊的軟件可以包含在計(jì)算機(jī)可讀介質(zhì)上,諸如讀/寫硬盤、CDROM、閃存、ROM、或者其它存儲(chǔ)器或者存儲(chǔ)器等等。為了執(zhí)行某個(gè)任務(wù),按需將軟件程序加載到合適的處理器。在本公開中,術(shù)語任務(wù)、方法和處理可以相互替換地使用。圖1A示出了在使用3層時(shí)間可伸縮性時(shí)30F/s的SC壓縮視頻流的壓縮幀之間的關(guān)系。參見以上針對(duì)圖1A的討論。圖1B示出了根據(jù)本公開一個(gè)實(shí)施例的多媒體會(huì)議系統(tǒng)100。系統(tǒng)100可以包括網(wǎng)絡(luò)110、一個(gè)或多個(gè)媒體中繼MCU(MRM)120和多個(gè)媒體中繼端點(diǎn)(MRE)130。在系統(tǒng)100的其它實(shí)施例中,MRM120可以是多點(diǎn)控制單元(MCU),且多個(gè)MRE130可以是視頻會(huì)議端點(diǎn)(EP)。網(wǎng)絡(luò)110可以是任何分組交換網(wǎng)絡(luò)、IP網(wǎng)絡(luò),或者它們的任意組合。會(huì)話管理通信可以基于諸如H.323、SIP等的協(xié)議,媒體傳輸協(xié)議可以基于帶RTCP的RTP,并可以使用媒體壓縮標(biāo)準(zhǔn),諸如音頻壓縮標(biāo)準(zhǔn)G.711和G.719和/或用于視頻流和多質(zhì)量流的視頻壓縮標(biāo)準(zhǔn):H.264AVC、H.264附件G、MPEG-4等等。每個(gè)EP或者M(jìn)RE130能夠提供至另一端點(diǎn)130或者M(jìn)CU120的實(shí)時(shí)、雙向音頻和/或視頻通信。EP130可以是會(huì)話中的與會(huì)者的終端,其能夠從MCU接收壓縮媒體并根據(jù)來自MCU的指令傳遞壓縮音頻和視頻數(shù)據(jù)。視頻會(huì)議端點(diǎn)和MCU的常規(guī)操作對(duì)于本領(lǐng)域通常技術(shù)人員來說是公知的,因而在此將不再進(jìn)一步地描述。示例MRE130可以向MRM傳遞一個(gè)或多個(gè)壓縮視頻流,并從MRM120接收一個(gè)或多個(gè)所選壓縮視頻流。MRE對(duì)接收的一個(gè)或多個(gè)壓縮視頻流進(jìn)行解碼,并可以將解碼后的流加入顯示在MRE130的屏幕上的視頻圖像。MRM120是媒體中繼MCU,其從多個(gè)MRE130接收多個(gè)壓縮視頻流,選擇一個(gè)或多個(gè)壓縮視頻流集合并向參與媒體中繼會(huì)議(MRC)會(huì)話的多個(gè)MRE130中繼一個(gè)或多個(gè)壓縮視頻流集合。希望了解更多關(guān)于MRE、MRM和MRC的信息的讀者可以閱讀公開號(hào)為US2010/0,194,847的美國(guó)專利申請(qǐng),其內(nèi)容通過引用而并入本文中。除了上面公開的示例EP或MRE130的常規(guī)操作之外,EP/MRE130還可以被配置為包括兩類RTP處理器。一類RTP處理器可以被稱為發(fā)送-端點(diǎn)-RTP處理器(TERP)。每個(gè)TERP可以被可通信地耦合在視頻流的編碼器(圖中未示出)與端點(diǎn)的網(wǎng)絡(luò)接口卡(圖中未示出)之間。TERP的實(shí)施例可以獲得壓縮視頻網(wǎng)絡(luò)抽象層(NAL)數(shù)據(jù)單元的流,將NAL單元匯聚到RTP分組中,并在將RTP分組發(fā)送到網(wǎng)絡(luò)接口之前增加擴(kuò)展RTP報(bào)頭至RTP分組。并行地,攜帶最高優(yōu)先級(jí)層(Pr0)的壓縮視頻的RTP分組可以被存儲(chǔ)在臨時(shí)存儲(chǔ)器中。在發(fā)送端點(diǎn)和下一媒體跳之間丟失Pr0分組(即,分組丟失)的情況下,存儲(chǔ)的分組可以被用于重傳。擴(kuò)展RTP報(bào)頭可以包括通用RTP報(bào)頭的字段,諸如序列號(hào)(SN)、時(shí)間戳等等的字段。另外,擴(kuò)展RTP報(bào)頭可以包括附加的4個(gè)字段的擴(kuò)展,其由所公開技術(shù)的示例實(shí)施例使用。一個(gè)字段,被稱為PrID,可以指示由RTP分組攜帶的壓縮視頻層的優(yōu)先級(jí)等級(jí)。其中Pr0指示最高優(yōu)先級(jí)。另一個(gè)字段可以分配給序列號(hào),其被稱為原始序列號(hào)(OSN)。遍及所有中間媒體跳,OSN將保持不變。對(duì)于分組的第一次傳輸,獨(dú)立于該分組優(yōu)先級(jí),TERP增加OSN。OSN使流的目的端的RTP處理器能夠在發(fā)送分組至視頻解碼器(未示出)之前將這些分組組織起來,壓縮SC流在該RTP處理器中被解碼。下一個(gè)字段可以被分配給另一個(gè)新的序列號(hào),其可以針對(duì)攜帶關(guān)鍵幀(Pr0幀)的壓縮數(shù)據(jù)的每個(gè)RTP分組而被增加。在從源EP的TERP至RTP分組的接收端點(diǎn)的所有路徑上,該字段的值保持不變。該序列號(hào)可以被稱為原始-Pr0-序列號(hào)(OPr0SN)。針對(duì)第一次發(fā)送的每個(gè)關(guān)鍵(Pr0)RTP分組,增加OPr0SN。OPr0SN使連接到SC流的目的端的解碼器的RTP處理器(圖中未示出)能夠識(shí)別丟失的Pr0分組。如果發(fā)現(xiàn)關(guān)鍵分組,諸如BL(T0)分組,被丟失,可以生成對(duì)于內(nèi)幀(I幀)的請(qǐng)求。第4個(gè)字段可以被分配給被稱為跳-Pr0-序列號(hào)(HPr0SN)的序列號(hào)??梢杂裳刂鞯穆窂降拿總€(gè)媒體跳替換HPr0SN。HPr0SN使在下一媒體跳處的RTP處理器能夠識(shí)別在該段上丟失的Pr0分組。然后,HPr0SN值可以被該媒體跳使用來請(qǐng)求重傳丟失的一個(gè)或多個(gè)關(guān)鍵分組。在下面結(jié)合圖2A和圖4公開了TERP實(shí)施例的更多詳細(xì)信息。第二類RTP處理器可以被稱為接收-端點(diǎn)-RTP處理器(RERP)。示例RERP可以被可通信地耦合在端點(diǎn)的網(wǎng)絡(luò)接口卡(圖中未示出)和端點(diǎn)處的視頻流的解碼器(圖中未示出)之間。RERP的實(shí)施例可以獲得攜帶壓縮視頻NAL數(shù)據(jù)單元的RTP分組的流。RERP的實(shí)施例可以解析擴(kuò)展RTP報(bào)頭。基于HPr0SN的值,RERP可以確定關(guān)鍵分組是否在最后的媒體跳和接收EP之間的最后網(wǎng)絡(luò)段中丟失。如果是,則向最后的媒體跳發(fā)送重傳請(qǐng)求。RERP可以根據(jù)擴(kuò)展RTP報(bào)頭的OSN字段將接收到的RTP分組組織起來,OPr0SN可以被檢查以確定關(guān)鍵分組是否丟失,如果是,對(duì)內(nèi)幀的請(qǐng)求可以被發(fā)送至作為該流的源端的編碼器(圖中未示出)。組織好的RTP分組可以被解析成壓縮NAL數(shù)據(jù)單元。壓縮NAL數(shù)據(jù)單元可以被發(fā)送至解碼器(圖中未示出)。適用于處理擴(kuò)展RTP報(bào)頭的示例MRE130可以包括多個(gè)RERP,每一個(gè)從MRM120中繼的壓縮視頻流對(duì)應(yīng)一個(gè)RERP。在下面結(jié)合圖2B和圖5A-5B公開了RERP的實(shí)施例的更多詳細(xì)信息。根據(jù)本公開配置的MCU的實(shí)施例可以包括多個(gè)RERP模塊和多個(gè)TERP模塊。每個(gè)RERP模塊可以被可通信地耦合在分配給端點(diǎn)的網(wǎng)絡(luò)接口卡(圖中未示出)和包括解碼器的輸入端口(圖中未示出)之間。輸入端口也被分配給該端點(diǎn)。每個(gè)RERP可以執(zhí)行與上面公開的EP的RERP單元相似的任務(wù)。來自輸入端口解碼器的解碼視頻可以被傳送到輸出端口。輸出端口可以獲得來自多個(gè)輸入端口的解碼視頻,裁剪解碼視頻并組成CP視頻圖像。CP視頻圖像可以被輸出端口的SC視頻編碼器(圖中未示出)壓縮。每個(gè)輸出端口可以被分配給接收EP。來自每個(gè)輸出端口的壓縮CP視頻圖像的NAL數(shù)據(jù)單元可以被傳送到TERP模塊,其被分配給相同的接收EP作為輸出端口,并被可通信地耦合到被分配給相同EP的網(wǎng)絡(luò)接口卡(圖中未示出)。如上面公開的,每個(gè)TERP可以執(zhí)行與EP的TERP單元相似的任務(wù)。根據(jù)本公開配置的MRM120的實(shí)施例可以包括一個(gè)或多個(gè)中間-媒體-跳-接收-RTP處理器(IMHRRP)和一個(gè)或多個(gè)中間-媒體-跳-發(fā)送-RTP處理器(IMHTRP)。每個(gè)IMHRRP可以被分配給從MRE130接收的壓縮SC視頻流,并可以被中繼至一個(gè)或多個(gè)其它MRE。在通用RTP處理器的其它任務(wù)中,IMHRRP的實(shí)施例可以從所分配的MRE獲得壓縮SC視頻的RTP分組,并解析擴(kuò)展RTP報(bào)頭。基于HPr0SN字段,可以確定關(guān)鍵分組是否在最后一段丟失。如果是,IMHRRP可以基于HPr0SN發(fā)送重傳請(qǐng)求至之前的媒體跳。IMHTRP的實(shí)施例可以檢查擴(kuò)展報(bào)頭的PrID字段。如果Pr0ID字段是Pr0,則IMHTRP可以增加其HPr0SN并用IMHTRP的HPr0SN計(jì)數(shù)器的新值代替RTP報(bào)頭中的HPr0SN字段的值。如果Pr0ID值不是Pr0,則HPr0SN計(jì)數(shù)器不增加,其前一個(gè)值被載入到擴(kuò)展RTP報(bào)頭的HPr0SN字段。SN值可以被新的值代替,并且RTP分組可以被傳送至一個(gè)或多個(gè)MRE130。攜帶最高優(yōu)先級(jí)層(Pr0)的壓縮視頻的RTP分組可以被存儲(chǔ)在臨時(shí)存儲(chǔ)器中。如果在MRM120和下一媒體跳或者M(jìn)RE之間丟失了Pr0分組,則存儲(chǔ)的分組可以被用于重傳。在下面結(jié)合圖3A-3B、6和7公開了關(guān)于MRM120的更多詳細(xì)信息。圖2A示出了發(fā)送EP的一個(gè)實(shí)施例的發(fā)送-EP-RTP-處理器(TERP)200的相關(guān)元件的框圖。EP可以是通用視頻會(huì)議端點(diǎn),其從MCU或者M(jìn)RE接收CP視頻圖像,該CP視頻圖像自身組成CP圖像。在其它元件中,MRE的實(shí)施例可以包括一個(gè)或多個(gè)TERP200。每個(gè)TERP200可與MRE的編碼器(圖中未示出)關(guān)聯(lián)。TERP200的實(shí)施例可以包括NAL累加器210、RTP報(bào)頭創(chuàng)建器215、發(fā)送緩沖器220、重傳Pr0緩沖器(ReXPr0緩沖器)225、發(fā)送RTP管理器230和4個(gè)序列計(jì)數(shù)器235a-d。例如,當(dāng)相關(guān)EP加入視頻會(huì)議時(shí),每個(gè)序列計(jì)數(shù)器可以被設(shè)置為隨機(jī)生成的數(shù)。一個(gè)序列計(jì)數(shù)器235a可以對(duì)通用RTP序列號(hào)計(jì)數(shù),該計(jì)數(shù)器可以被稱為L(zhǎng)astSN,并且對(duì)于第一次從端點(diǎn)發(fā)送的或者響應(yīng)于接收到重傳請(qǐng)求發(fā)送的每個(gè)RTP分組,增加LastSN。LastSN的值可以被寫入發(fā)送RTP分組的報(bào)頭的SN字段。另一個(gè)序列計(jì)數(shù)器235b可以對(duì)由相關(guān)EP的關(guān)聯(lián)編碼器(圖中未示出)壓縮的原始RTP分組計(jì)數(shù)。序列計(jì)數(shù)器235b可以被稱為L(zhǎng)astOSN,并且對(duì)于第一次從端點(diǎn)發(fā)送的每個(gè)原始(非重傳的)RTP分組增加LastOSN。LastOSN的值可以被寫入發(fā)送RTP分組的擴(kuò)展報(bào)頭的OSN字段。另一個(gè)序列計(jì)數(shù)器235c可以對(duì)攜帶Pr0幀的壓縮數(shù)據(jù)的原始RTP分組計(jì)數(shù)。序列計(jì)數(shù)器235c可以被稱為L(zhǎng)astOPr0SN,并且對(duì)于第一次從端點(diǎn)發(fā)送的且攜帶Pr0幀的壓縮數(shù)據(jù)的每個(gè)原始(非重傳的)RTP分組,增加LastOPr0SN。LastOPr0SN計(jì)數(shù)器的值可以被寫入發(fā)送RTP分組的擴(kuò)展報(bào)頭的OPr0SN字段。最后一個(gè)序列計(jì)數(shù)器235d可以對(duì)從EP發(fā)送的且攜帶Pr0幀的壓縮數(shù)據(jù)的RTP分組計(jì)數(shù)。該序列計(jì)數(shù)器235d可以被稱為L(zhǎng)astHPr0SN,并且對(duì)于從端點(diǎn)發(fā)送或者重傳的且攜帶Pr0幀的壓縮數(shù)據(jù)的每個(gè)原始和重傳RTP分組,增加LastHPr0SN。LastHPr0SN計(jì)數(shù)器的值可以被寫入RTP分組的擴(kuò)展報(bào)頭的HPr0SN字段。TERP200的實(shí)施例可以從其關(guān)聯(lián)編碼器(圖中未示出)接收壓縮NAL單元的流。NAL單元的流可以攜帶具有不同優(yōu)先級(jí)的兩個(gè)或更多個(gè)等級(jí)的壓縮NAL單元。所獲得的NAL單元流可以被匯聚到NAL累加器210,直到滿足完成RTP分組的RTP協(xié)議的條件。RTP分組的示例條件可以是作為RTP分組的有效載荷攜帶的字節(jié)的數(shù)目;另一個(gè)條件可以是視頻幀的結(jié)束,還有另一個(gè)條件可以是具有其它優(yōu)先級(jí)等級(jí)的NAL等等。當(dāng)這樣的條件發(fā)生時(shí),一個(gè)或多個(gè)匯聚NAL可以作為RTP分組的有效載荷被傳送到報(bào)頭創(chuàng)建器215的隊(duì)列。在報(bào)頭創(chuàng)建器215的一個(gè)實(shí)施例中,分組的通用RTP報(bào)頭可以被添加到分組的有效載荷。通用RTP報(bào)頭的擴(kuò)展字段可以被設(shè)置為指示擴(kuò)展RTP字段的存在。在其它的字段中,通用RTP報(bào)頭可以包括寫入在時(shí)間戳字段中的捕獲時(shí)間。接下來,LastSN計(jì)數(shù)器235a的值可以被復(fù)制到RTP報(bào)頭的SN字段等等。除了通用報(bào)頭,還可以增加擴(kuò)展報(bào)頭字段??梢詮木幋a器接收壓縮數(shù)據(jù)的可伸縮層,分組的優(yōu)先級(jí)等級(jí)可以被定義為Pr0、Pr1等等。在一個(gè)實(shí)施例中,分組的優(yōu)先級(jí)等級(jí)可以基于接收的重傳請(qǐng)求的頻率。當(dāng)接收到多個(gè)重傳請(qǐng)求時(shí),只有攜帶壓縮幀的基層的分組可以被定義為Pr0。當(dāng)接收到少數(shù)的重傳請(qǐng)求時(shí),攜帶基層和第一增強(qiáng)層的壓縮層的分組可以被定義為Pr0分組。在某些實(shí)施例中,根據(jù)重傳請(qǐng)求頻率,可以在會(huì)議會(huì)話期間改變優(yōu)先級(jí)等級(jí)。Pr值可以被存儲(chǔ)在擴(kuò)展RTP報(bào)頭的Pr字段。進(jìn)一步地,3個(gè)序列計(jì)數(shù)器的值,LastOSN、LastOPr0SN和LastHPr0SN(分別為235b、235c和235d)可以被分別復(fù)制到擴(kuò)展RTP報(bào)頭中的適當(dāng)字段,字段OSN、OPr0SN和HPr0SN。組成的具有擴(kuò)展RTP報(bào)頭的RTP分組可以由報(bào)頭創(chuàng)建器215經(jīng)由發(fā)送緩沖器220傳送到網(wǎng)絡(luò)接口卡(圖中未示出)。其中網(wǎng)絡(luò)接口卡與壓縮視頻流相關(guān)聯(lián)。并行地,攜帶關(guān)鍵幀(Pr0)的壓縮視頻數(shù)據(jù)的RTP分組可以被存儲(chǔ)在ReX-Pr0緩沖器225中。ReX-Pr0緩沖器225可以是RAM設(shè)備,其中ReX-Pr0緩沖器225中的每個(gè)地址可以存儲(chǔ)帶有擴(kuò)展RTP報(bào)頭的Pr0壓縮視頻的整個(gè)RTP分組。存儲(chǔ)Pr0RTP分組的地址可以反映分組的擴(kuò)展RTP報(bào)頭的HPr0SN字段的最后幾個(gè)比特。例如,最后幾個(gè)比特的數(shù)量可以是HPr0SN字段的最后6-10位。發(fā)送RTP管理器230可以管理TERP200的整個(gè)處理。在RTP連接的發(fā)起期間,發(fā)送RTP管理器230可以分配和設(shè)置4個(gè)序列計(jì)數(shù)器235a-d。每個(gè)序列計(jì)數(shù)器235a-d可以被設(shè)置為隨機(jī)數(shù),并根據(jù)發(fā)送RTP分組的種類(nature)而增加。在一些實(shí)施例中,一個(gè)或多個(gè)序列計(jì)數(shù)器可以被設(shè)置為特定的數(shù)。例如,LastHPr0SN可以被設(shè)置為0。另外,RTP管理器可以與RTP連接的接收器側(cè)的RTP管理器模塊通信,以控制RTP連接。與連接的接收側(cè)的管理器模塊的通信可以通過使用RTCP通信協(xié)議來完成。在會(huì)議會(huì)話期間,RTP管理器230可以接收來自接收器的RTP管理器的RTCP重傳請(qǐng)求。重傳請(qǐng)求的例子是可以包括重傳請(qǐng)求列表(ReXReqList)。ReXReqList可以具有所請(qǐng)求的Pr0分組的列表。該列表可以包括丟失關(guān)鍵分組(Pr0)的HPr0SN字段的值?;赗eXReqList,RTP管理器230可以搜索ReX-Pr0緩沖器225,查找具有相同HPr0SN值的分組。如果所請(qǐng)求的Pr0分組存儲(chǔ)在ReX-Pr0緩沖器225中,則那些分組可以從ReX-Pr0緩沖器225中找回并傳送給報(bào)頭創(chuàng)建器215。在報(bào)頭創(chuàng)建器215中,SN和HPr0SN字段可以根據(jù)LastSN235a和LastHPr0SN235d計(jì)數(shù)器的當(dāng)前值而被更新。擴(kuò)展RTP報(bào)頭的OSN和OPr0SN字段的值可以保持不變。然后,LastSN235a和LastHPr0SN235d計(jì)數(shù)器可以被增加,并且所請(qǐng)求分組可以經(jīng)由發(fā)送緩沖器220被重傳。如果一個(gè)或多個(gè)所請(qǐng)求的Pr0分組不存在于ReX-Pr0緩沖器225中,則RTP管理器230發(fā)送內(nèi)幀請(qǐng)求(Intrarequest)至關(guān)聯(lián)編碼器(圖中未示出)。在下面結(jié)合圖4公開了關(guān)于TERP200的操作的更多信息?,F(xiàn)在參考圖2B,其示出了接收-EP-RTP處理器(RERP)250的實(shí)施例的相關(guān)元件的框圖。接收EP可以是通用視頻會(huì)議端點(diǎn),該端點(diǎn)從MCU或者M(jìn)RE接收CP視頻圖像,其自身組成CP圖像。在其它元件中,MRE的實(shí)施例可以包括一個(gè)或多個(gè)RERP250。每個(gè)RERP250可以與例如直接地或者通過MRM從發(fā)送MRE接收的接收壓縮流和用于解碼接收流的解碼器(圖中未示出)相關(guān)聯(lián)。RERP250的實(shí)施例可以包括抖動(dòng)緩沖器255、組織OSN緩沖器(OOSNB)260、關(guān)鍵層驗(yàn)證器262、NAL緩沖器265、RTP報(bào)頭解析器270和接收RTP管理器275。RERP250的實(shí)施例可以從與相關(guān)流關(guān)聯(lián)的網(wǎng)絡(luò)接口卡(圖中未示出)獲得攜帶壓縮視頻NAL數(shù)據(jù)單元的RTP分組的流。獲得的RTP分組可以被存儲(chǔ)在抖動(dòng)緩沖器255中。報(bào)頭解析器270可以解析存儲(chǔ)在抖動(dòng)緩沖器255中的RTP分組的擴(kuò)展RTP報(bào)頭?;跀U(kuò)展字段PrID和HPr0SN的值,可以判定在該路徑中來自最后一個(gè)媒體跳的一個(gè)或多個(gè)Pr0關(guān)鍵分組是否丟失。如果檢測(cè)到HPr0SN中的空隙,則經(jīng)由接收RTP管理器275向發(fā)送EP的發(fā)送RTP管理器230(圖2A)發(fā)送帶有一個(gè)或多個(gè)丟失Pr0分組的重傳列表的請(qǐng)求。來自抖動(dòng)緩沖器255的RTP分組可以基于它們的OSN擴(kuò)展字段的值,被傳送和存儲(chǔ)到OOSNB260中。關(guān)鍵等級(jí)驗(yàn)證器262的實(shí)施例可以基于其OSN值,從OOSNB260獲得下一個(gè)分組,然后擴(kuò)展RTP報(bào)頭的OPr0SN字段的值可以被檢查,以確定關(guān)鍵分組(Pr0)是否丟失。如果檢測(cè)到OPr0SN中的空隙,則經(jīng)由接收RTP管理器275使用RTCP連接向發(fā)送EP的關(guān)聯(lián)編碼器(圖中未示出)發(fā)送內(nèi)幀請(qǐng)求。然后,獲得的RTP分組可以被分解為一個(gè)或多個(gè)NAL單元,NAL單元可以被存儲(chǔ)在NAL緩沖器265中?;谒鼈?cè)贜AL緩沖器265中的命令,關(guān)聯(lián)解碼器可以獲得NAL單元,圖中未示出。在通用端點(diǎn)中,關(guān)聯(lián)解碼器可以解碼接收的壓縮CP視頻圖像,解碼的CP視頻圖像可以被顯示在EP顯示單元(圖中未示出)。在MRE中,來自關(guān)聯(lián)解碼器的解碼視頻圖像可以被傳送到CP圖像創(chuàng)建器(圖中未示出),在CP圖像創(chuàng)建器中該解碼視頻圖像可以被置于CP視頻圖像的一段中,并作為CP視頻圖像的一部分在MRE顯示單元上呈現(xiàn)。接收RTP管理器275可以管理RERP250的整個(gè)處理。在發(fā)起RTP連接期間,接收RTP管理器275可以分配并設(shè)置RERP250的資源。另外,接收RTP管理器275可以經(jīng)由RTCP連接與RTP連接的發(fā)送側(cè)的發(fā)送RTP管理器模塊通信,以控制RTP連接。例如,發(fā)送側(cè)可以是EP、MRE、MCU或者M(jìn)RM。在會(huì)議會(huì)話期間,接收RTP管理器275可以向發(fā)送側(cè)的發(fā)送RTP管理器發(fā)送RTCP重傳請(qǐng)求。重傳請(qǐng)求的例子可以包括重傳請(qǐng)求列表(ReXReqList)。ReXReqList可以有所請(qǐng)求的Pr0分組的列表。該列表可以包括丟失關(guān)鍵分組(Pr0)的HPr0SN字段的值。另外,如果在向關(guān)聯(lián)解碼器(圖中未示出)傳送壓縮視頻之前檢測(cè)到丟失關(guān)鍵分組,則接收RTP管理器275可以發(fā)送對(duì)于內(nèi)幀的請(qǐng)求。在下面結(jié)合圖5A-5B公開了關(guān)于RERP250的操作的更多信息。MCU為媒體跳的一個(gè)例子,其從多個(gè)EP接收多個(gè)壓縮視頻流;解碼壓縮數(shù)據(jù);組成一個(gè)或多個(gè)CP視頻圖像;壓縮一個(gè)或多個(gè)CP視頻圖像并發(fā)送一個(gè)或多個(gè)壓縮CP視頻圖像至多個(gè)EP。根據(jù)所公開技術(shù)的實(shí)施例,這樣的MCU可以被調(diào)整。這樣的MCU的實(shí)施例可以包括多個(gè)RERP250。每個(gè)RERP250可以被可通信地置于網(wǎng)絡(luò)接口卡和與來自EP的壓縮視頻流關(guān)聯(lián)的解碼器之間。另外,MCU的實(shí)施例可以包括多個(gè)TERP200。每個(gè)TERP200可以被可通信地置于編碼器和與壓縮CP視頻流關(guān)聯(lián)的網(wǎng)絡(luò)接口卡之間,其中壓縮CP視頻流被發(fā)送到一個(gè)或多個(gè)EP。圖3A描述了根據(jù)中間媒體跳的實(shí)施例的中間-媒體-跳-發(fā)送-RTP處理器(IMHTRP)300的實(shí)施例的相關(guān)元件的框圖。中間媒體跳可以是MRM,其將來自多個(gè)MRE的多個(gè)壓縮視頻流中繼出去,并將多個(gè)壓縮視頻流中繼至多個(gè)MRE。在其它元件中,MRM的實(shí)施例可以包括一個(gè)或多個(gè)IMHTRP300。每個(gè)IMHTRP300可以與MRM和MRE之間的RTP連接相關(guān)聯(lián)。IMHTRP300的實(shí)施例可以包括輸入緩沖器310、RTP報(bào)頭修改器320、媒體跳(MH)發(fā)送緩沖器325、MH重傳Pr0緩沖器(ReXPr0緩沖器)330、發(fā)送-MH-RTP管理器340和兩個(gè)MH序列計(jì)數(shù)器335a、335b。例如,當(dāng)建立相關(guān)RTP時(shí),每個(gè)MH序列計(jì)數(shù)器335a、335b可以被設(shè)置為隨機(jī)生成數(shù)。在一些實(shí)施例中,一個(gè)或多個(gè)序列計(jì)數(shù)器可以被設(shè)置為特定的數(shù)。例如,LastHPr0SN可以被設(shè)置為0。一個(gè)MH序列計(jì)數(shù)器335a可以對(duì)通用RTP序列號(hào)計(jì)數(shù),該計(jì)數(shù)器可以被稱為L(zhǎng)astSN,并且對(duì)于從IMHTRP300第一次發(fā)送的、或者響應(yīng)于接收到重傳請(qǐng)求而發(fā)送的每個(gè)RTP分組,增加LastSN。LastSN的值可以被寫入發(fā)送RTP分組的報(bào)頭的SN字段。另一個(gè)序列計(jì)數(shù)器235b可以對(duì)從IMHTRP300發(fā)送的攜帶關(guān)鍵幀(Pr0幀)的壓縮數(shù)據(jù)的RTP分組計(jì)數(shù)。這個(gè)序列計(jì)數(shù)器235b可以被稱為L(zhǎng)astHPr0SN,并且對(duì)于攜帶從IMHTRP300發(fā)送或者重傳的Pr0幀的壓縮數(shù)據(jù)的每個(gè)原始或者重傳的RTP分組,增加LastHPr0SN。LastHPr0SN計(jì)數(shù)器的值可以被寫入發(fā)送RTP分組的擴(kuò)展報(bào)頭的HPr0SN字段中。IMHTRP300的實(shí)施例可以從中間媒體跳的內(nèi)部元件(圖中未示出)接收壓縮RTP分組的流,并且目標(biāo)是相關(guān)RTP連接。RTP分組的流可以攜帶具有不同優(yōu)先級(jí)的兩個(gè)或更多個(gè)層的壓縮NAL單元。獲得的RTP分組可以被存儲(chǔ)在輸入緩沖器310中,報(bào)頭修改器320可以從輸入緩沖器310取出每個(gè)RTP分組。在報(bào)頭修改器320的一個(gè)實(shí)施例中,分組的RTP報(bào)頭可以被修改。MHLastSN計(jì)數(shù)器335a的值可以被寫入RTP報(bào)頭的SN字段中,替代之前的值,等等。序列計(jì)數(shù)器MHLastHPr0SN335b的值可以被寫入擴(kuò)展RTP報(bào)頭的HPr0SN字段,替代之前的值。可以在第一次向相關(guān)連接發(fā)送分組時(shí)或者針對(duì)重傳分組,進(jìn)行HPr0SN字段的修改??梢詮膱?bào)頭修改器320經(jīng)由MH發(fā)送緩沖器325向網(wǎng)絡(luò)接口卡(圖中未示出)發(fā)送具有擴(kuò)展RTP報(bào)頭的RTP分組。網(wǎng)絡(luò)接口卡可以與相關(guān)RTP連接相關(guān)聯(lián)。并行地,攜帶關(guān)鍵幀(Pr0)的壓縮視頻數(shù)據(jù)的RTP分組可以被存儲(chǔ)在MHReX-Pr0緩沖器330中。MHReX-Pr0緩沖器330可以是RAM設(shè)備,其中MHReX-Pr0緩沖器330的RAM中的每個(gè)地址可以存儲(chǔ)Pr0壓縮視頻和擴(kuò)展RTP報(bào)頭的整個(gè)RTP分組。可以存儲(chǔ)Pr0RTP分組的地址可以反映分組的擴(kuò)展RTP報(bào)頭的HPr0SN字段的最后幾位。例如,最后幾位的數(shù)目可以是HPr0SN字段的最后6-10位。發(fā)送-MH-RTP管理器340可以管理IMHTRP300的整個(gè)處理。在RTP連接的發(fā)起期間,發(fā)送-MH-RTP管理器340可以分配和設(shè)置兩個(gè)MH序列計(jì)數(shù)器335a、335b。每個(gè)MH序列計(jì)數(shù)器335a、335b可以被設(shè)置為隨機(jī)數(shù)或者是0,并根據(jù)發(fā)送RTP分組的種類而增加。另外,MHRTP管理器340可以與RTP連接的接收器側(cè)的RTP管理器模塊通信,以控制RTP連接。可以使用RTCP通信協(xié)議來完成與連接的接收側(cè)的管理器模塊的通信。在會(huì)議會(huì)話期間,MHRTP管理器340可以從連接的接收器側(cè)的RTP管理器接收RTCP重傳請(qǐng)求。重傳請(qǐng)求的例子可以包括重傳請(qǐng)求列表(ReXReList)。ReXReList可以具有所請(qǐng)求的Pr0分組的列表。該列表可以包括丟失關(guān)鍵分組(Pr0)的HPr0SN字段的值?;赗eXReList,MHRTP管理器340可以搜索MHReX-Pr0緩沖器330,以查找具有相同HPr0SN值的分組。如果所請(qǐng)求的Pr0分組被存儲(chǔ)在MHReX-Pr0緩沖器330中,則那些分組可以從MHReX-Pr0緩沖器330找回,并向報(bào)頭修改器320傳送。在報(bào)頭修改器320中,SN和HPr0SN的字段可以根據(jù)MHLastSN335a和MHLastHPr0SN335b計(jì)數(shù)器的當(dāng)前值而被更新。擴(kuò)展RTP報(bào)頭的OSN和OPr0SN字段的值保持不變。然后,MHLastSN335a和MHLastHPr0SN335b計(jì)數(shù)器可以被增加,并且所請(qǐng)求分組可以經(jīng)由MH發(fā)送緩沖器325而被重傳。如果一個(gè)或多個(gè)所請(qǐng)求的Pr0分組不存在于MHReX-Pr0緩沖器330中,則MHRTP管理器340可以發(fā)送內(nèi)幀請(qǐng)求至發(fā)起相關(guān)流的端點(diǎn)。在一些實(shí)施例中,一個(gè)或多個(gè)序列計(jì)數(shù)器可以在更新RTP報(bào)頭中的相關(guān)字段之前被增加。在下面結(jié)合圖7公開了關(guān)于IMHTRP300操作的更多信息?,F(xiàn)在參考圖3B,示出了中間-媒體-跳-接收-RTP處理器(IMHRRP)350的實(shí)施例的相關(guān)元件的框圖。中間媒體跳可以是MRM,其從多個(gè)MRE中繼多個(gè)壓縮視頻流,并中繼多個(gè)壓縮視頻流至MRE。在其它元件中,MRM的實(shí)施例可以包括一個(gè)或多個(gè)IMHRRP350。每個(gè)IMHRRP350可以與MRM和發(fā)送MRE或者沿路徑的另一個(gè)MRM之間的RTP連接相關(guān)聯(lián)。IMHRRP350的實(shí)施例可以包括緩沖器360、MH-RTP-報(bào)頭解析器370和MH-接收-RTP管理器380。IMHRRP350的實(shí)施例可以從與相關(guān)RTP連接關(guān)聯(lián)的網(wǎng)絡(luò)接口卡(圖中未示出)獲得攜帶壓縮視頻NAL數(shù)據(jù)單元的RTP分組的流。所獲得的RTP分組可以被存儲(chǔ)在緩沖器360中。例如,緩沖器360可以是循環(huán)存儲(chǔ)器,用于存儲(chǔ)多個(gè)獲得的RTP分組。MH-報(bào)頭解析器370可以從緩沖器360取得下一個(gè)RTP分組,解析取得的RTP分組的擴(kuò)展RTP報(bào)頭,并傳送取得的RTP分組至中間媒體跳的內(nèi)部單元(圖中未示出)?;跀U(kuò)展字段PrID和HPr0SN的值,MH報(bào)頭解析器370的實(shí)施例可以確定是否在路徑的最后一段中來自發(fā)送MRE或MRM的Pr0分組,即關(guān)鍵分組,丟失。如果檢測(cè)到HPr0SN中的間隙,接收-MH-RTP管理器380可以確定哪一個(gè)或者哪些關(guān)鍵分組丟失,并且可以經(jīng)由接收-MH-RTP管理器380通過RTCP連接向發(fā)送MRE的發(fā)送RTP管理器230(圖2A)或者前一中間MH的發(fā)送MHRTP管理器340發(fā)送具有一個(gè)或多個(gè)丟失Pr0分組的重傳列表的請(qǐng)求。接收-MH-RTP管理器380可以管理IMHRRP350的整個(gè)處理。在RTP連接的發(fā)起期間,接收-MH-RTP管理器380可以分配和設(shè)置IMHRRP350的資源。另外,接收-MH-RTP管理器380可以與發(fā)送RTP管理器模塊230(圖2A)或者RTP連接的發(fā)送側(cè)的發(fā)送MH-RTP管理器340經(jīng)由RTCP連接通信,以控制RTP連接。在會(huì)議會(huì)話期間,接收-MH-RTP管理器380可以(分別地)發(fā)送RTCP重傳請(qǐng)求至發(fā)送EP或者媒體跳的發(fā)送-RTP管理器230或者340。重傳請(qǐng)求的例子可以包括重傳請(qǐng)求列表(ReXReqList)。ReXReqList可以具有所請(qǐng)求的Pr0分組的列表。該列表可以包括丟失關(guān)鍵分組(Pr0)的HPr0SN字段的值。在下面結(jié)合圖6公開了關(guān)于IMHRRP350的操作的更多信息。現(xiàn)在參考圖4,示出了發(fā)送-EP-RTP-處理器(TERP)200的發(fā)送任務(wù)400的相關(guān)模塊的流程圖。TERP200可以與作為壓縮SC流的源端的EP或者M(jìn)RE相關(guān)聯(lián),該壓縮SC流在與TERP200關(guān)聯(lián)的RTP連接上傳送。方法400可以在建立發(fā)送EP/MRE和下一媒體跳之間的RTP連接期間被發(fā)起402。RTP連接可以在建立會(huì)議會(huì)話期間或者在加入正在進(jìn)行的會(huì)話時(shí)被發(fā)起。在發(fā)起之后,TERP200的資源可以被分配404和設(shè)置。例如,4個(gè)序列計(jì)數(shù)器235a-235d(圖2A)可以被分配。例如,每個(gè)計(jì)數(shù)器(LastSN、LastOSN、LastOPr0SN和LastHPr0SN)可以被設(shè)置為隨機(jī)數(shù)或者0。另外,諸如但不限于ReX-Pr0緩沖器225(圖2A)的緩沖器可以被分配和重置,諸如LastIDR的寄存器可以被分配和重置,等等。下一發(fā)送-RTP管理器230(圖2A)可以檢查410Rex請(qǐng)求列表中的條目是否存在于其隊(duì)列中。如果否,方法400可以進(jìn)行至模塊412。如果在410,Rex請(qǐng)求存在,則可以找回請(qǐng)求并清除該條目,所找回的請(qǐng)求可以被解析,并且在430判定所請(qǐng)求的HPr0SN的值是否比存儲(chǔ)在LastIDR寄存器中的值小。LastIDR寄存器存儲(chǔ)攜帶Pr0內(nèi)幀的起始部分的第一分組的HPr0SN字段的值。如果在430,該值較小,這表明內(nèi)幀已經(jīng)在由丟失分組攜帶的壓縮Pr0視頻數(shù)據(jù)之后被發(fā)送,則不需要重傳丟失分組,并且方法400可以返回模塊410。如果在430,該值不是較小,則ReX-Pr0緩沖器225(圖2A)可以被檢查432,并判定所請(qǐng)求的Pr0分組是否存在于ReX-Pr0緩沖器225中。如果所請(qǐng)求分組不存在于ReX-Pr0緩沖器225中,則解碼器刷新請(qǐng)求(內(nèi)幀請(qǐng)求)被發(fā)送436至相關(guān)流的編碼器,且方法400返回模塊410。如果在432,請(qǐng)求列表中提及的Pr0分組存在于ReX-Pr0緩沖器225中,則所請(qǐng)求的Pr0分組被取得,并從ReX-Pr0緩沖器225中移除434,并且方法400進(jìn)行至模塊440,以處理所取得的所請(qǐng)求分組?,F(xiàn)在回到模塊410,如果在ReX請(qǐng)求列表中不再有條目,則NAL累加器210(圖2A)可以被檢查412以確定414是否有足夠的字節(jié)用于RTP分組的有效載荷。如果在414,沒有足夠的字節(jié),則方法400可以返回模塊410以便能夠匯聚來自相關(guān)編碼器的附加NAL單元。如果在414有足夠的字節(jié)用于RTP分組的有效載荷,則通過從NAL累積器210取得NAL單元而組裝成有效載荷,并且該有效載荷被傳送到報(bào)頭創(chuàng)建器215(圖2A)用于將RTP報(bào)頭以及擴(kuò)展報(bào)頭組裝到有效載荷,以建立416RTP分組。可以根據(jù)從編碼器接收的信息而設(shè)置PrID。OSN序列計(jì)數(shù)器LastOSN的值可以被增加,并且LastOSN的新值可以被寫入418到擴(kuò)展RTP報(bào)頭的OSN字段中。接著,在420判定有效載荷的內(nèi)容是否包括Pr0幀,即關(guān)鍵幀,的壓縮視頻。如果否,則LastOPr0SN的值保持不變,其值被復(fù)制428至擴(kuò)展RTP報(bào)頭的OPr0SN字段,且方法400進(jìn)行到模塊442。如果在420,RTP分組的有效載荷攜帶關(guān)鍵幀的壓縮數(shù)據(jù),則LastOPr0SN計(jì)數(shù)器的值被增加422,并且新值被復(fù)制到擴(kuò)展RTP報(bào)頭的OPr0SN字段。接著,基于壓縮視頻數(shù)據(jù)的解析報(bào)頭,在424判定RTP分組是否攜帶內(nèi)幀的起始部分。如果不是,方法400進(jìn)行到模塊440。如果是,則序列計(jì)數(shù)器LastPr0SN的值加1被復(fù)制426到寄存器LastIDR,其在模塊430中被用于處理重傳請(qǐng)求,且方法400進(jìn)行到模塊440。在模塊440,序列計(jì)數(shù)器LastPr0SN被增加。序列計(jì)數(shù)器LastPr0SN的值被復(fù)制422到擴(kuò)展RTP報(bào)頭的HPr0SN字段,并且序列計(jì)數(shù)器LastSN被增加442,且LastSN的新值被復(fù)制到RTP報(bào)頭的SN字段?;跀U(kuò)展RTP報(bào)頭的Pr0ID字段,在450判定分組是否攜帶關(guān)鍵幀的數(shù)據(jù)。如果在450為否,則方法400進(jìn)行到模塊454并經(jīng)由網(wǎng)絡(luò)接口卡(圖中未示出)在相關(guān)RTP連接上發(fā)送新的RTP分組至下一個(gè)媒體跳。在發(fā)送RTP分組之后,方法400返回到模塊410,啟動(dòng)新的循環(huán)。如果在450,分組攜帶關(guān)鍵幀的數(shù)據(jù),則方法400在ReXPr0緩沖器255(圖2A)中存儲(chǔ)452RTP分組的副本,并經(jīng)由網(wǎng)絡(luò)接口卡(圖中未示出)在相關(guān)RTP連接上發(fā)送454新的RTP分組至下一個(gè)媒體跳。然后,方法400返回模塊410,啟動(dòng)新的循環(huán)。在RTER200(圖2A)的一些實(shí)施例中,RTP分組存儲(chǔ)在ReXPr0緩沖器255中的地址可以反映分組的擴(kuò)展RTP報(bào)頭的HPr0SN字段的值。圖5A示出了示例組織方法500的相關(guān)模塊的流程圖。組織方法500可以由接收-EP-RTP-處理器(RERP)250的實(shí)施例來實(shí)現(xiàn)。RERP250可以與壓縮SC流的目的端處的接收EP或者接收MRE相關(guān)聯(lián),壓縮SC流通過與RERP250相關(guān)的RTP連接被傳送。方法500可以在建立接收EP/MRE和前一媒體跳之間的RTP連接期間被發(fā)起502。RTP連接可以在建立會(huì)議會(huì)話期間或者在將接收EP加入到正在進(jìn)行的會(huì)話時(shí)被發(fā)起。在發(fā)起之后,RERP250的資源可以被分配504和設(shè)置??梢苑峙浜椭刂觅Y源,諸如但不限于OOSNB260(圖2B)、NAL緩沖器262、抖動(dòng)緩沖器255、寄存器N、寄存器Last_Pr0等等??梢詮亩秳?dòng)緩沖器255(圖2B)取得下一個(gè)接收RTP分組。分組的擴(kuò)展RTP報(bào)頭可以被解析506,并且HPr0SN和PrID字段的值可以被找回。找回的HPr0SN值和寫入在寄存器Last_Pr0中的值之間的差可以被計(jì)算508,并且結(jié)果可以被存儲(chǔ)到寄存器‘N’中。在將差值存儲(chǔ)在‘N’中之后,在510判定‘N’的值是否小于或等于0。如果該值小于或等于0,這表明在路徑上從最后一個(gè)媒體跳和接收EP亂序接收到分組,那么在512另外判定取得的PrID的值是否為0,這表明當(dāng)前分組是否攜帶關(guān)鍵幀的數(shù)據(jù)。如果在512為是,則可以檢查514重傳請(qǐng)求列表(ReXReqList),并且對(duì)于具有相同HPr0SN值的重傳RTP分組的請(qǐng)求可以從重傳請(qǐng)求列表中被移除。然后方法500可以進(jìn)行到模塊530。如果在512取得的PrID的值不是0,這表明其不是關(guān)鍵分組,則方法500可以進(jìn)行到模塊530。在模塊530上,接收RTP管理器275(圖2B)可以在RTCP連接上發(fā)送基于ReXReqList的重傳請(qǐng)求至在RTCP連接的另一側(cè)上的RTP管理器。然后,接收的RTP分組可以被轉(zhuǎn)發(fā)532至OOSNB260(圖2B),由方法5000(圖5B)處理,方法500返回模塊506。在一些實(shí)施例中,每當(dāng)接收到內(nèi)幀時(shí)就清除列表,或者基于列表中每個(gè)條目的年齡清除列表,等等。然而在一些實(shí)施例中,在模塊532復(fù)制分組,即具有相同OSN的分組,可以從OOSNB260(圖2B)中丟棄。現(xiàn)在返回模塊510,如果‘N’的值大于0,則在516判定取得的PrID的值是否為0,這指示當(dāng)前分組攜帶關(guān)鍵幀的數(shù)據(jù)。如果在516PrID不為0,這表明來自前一媒體跳的一個(gè)或多個(gè)關(guān)鍵分組沿著最后一段丟失,然后可以更新518ReXReqList。該更新可以通過寫所請(qǐng)求分組的列表來完成,所請(qǐng)求分組的擴(kuò)展RTP報(bào)頭的HPr0SN字段的值等于存儲(chǔ)在Last_Pr0寄存器中的值加上1、加上2、加上3...直到加上存儲(chǔ)在寄存器‘N’中的值。在更新ReXReqList之后,替代寄存器Last_Pr0的前一個(gè)值,存儲(chǔ)524當(dāng)前接收的RTP分組的擴(kuò)展RTP報(bào)頭的HPr0SN字段的值,方法500進(jìn)行到模塊530。如果在516,取得的PrID的值為0,這表明當(dāng)前分組攜帶關(guān)鍵幀的數(shù)據(jù),則在520另外判定‘N’的值是否等于1。如果在520為是,這表明沒有關(guān)鍵分組丟失,則方法500可以進(jìn)行到模塊524。如果在520為否,這表明直到這個(gè)一,一個(gè)或多個(gè)關(guān)鍵分組已丟失,因此可以更新522ReXReqList。該更新可以通過寫所請(qǐng)求分組的列表來完成,所請(qǐng)求分組的擴(kuò)展RTP報(bào)頭的HPr0SN字段的值等于存儲(chǔ)在Last_Pr0寄存器的值加上1、加上2、加上3...直到加上存儲(chǔ)在寄存器‘N’中的值減1。在更新ReXReqList之后,替代寄存器Last_Pr0的前一個(gè)值,存儲(chǔ)524當(dāng)前接收的RTP分組的擴(kuò)展RTP報(bào)頭的HPr0SN字段的值,并且方法500進(jìn)行到模塊530。圖5B顯示了Pr0驗(yàn)證方法5000的實(shí)施例的例子的相關(guān)模塊的流程圖。Pr0驗(yàn)證方法5000可以由接收-EP-RTP-處理器(RERP)250的一個(gè)實(shí)施例來實(shí)現(xiàn)。RERP250可以與壓縮SC流的目的端上的接收EP或者接收MRE相關(guān)聯(lián),該壓縮SC流經(jīng)與RERP250關(guān)聯(lián)的RTP連接而被傳送。方法5000可以在建立接收EP/MRE和前一媒體跳之間的RTP連接期間被發(fā)起550。RTP連接可以在建立會(huì)議會(huì)話期間或者在將接收EP加入到正在進(jìn)行的會(huì)話時(shí)而被發(fā)起。在發(fā)起之后,涉及方法5000的RERP250的資源可以被分配522和設(shè)置??梢苑峙浜椭刂觅Y源,諸如但不限于:關(guān)鍵級(jí)別驗(yàn)證器262(圖2B)、寄存器和諸如但不限于OOSNB260(圖2B)、NAL緩沖器262、寄存器M、寄存器Last_OPr0等等的緩沖器。來自O(shè)OSNB260(圖2B)的下一個(gè)接收的RTP分組可以被取得。分組的擴(kuò)展RTP報(bào)頭可以被解析554,且OPr0SN和PrID字段的值可以被找回。OPr0SN的找回值和寫入在寄存器Last_OPr0中的值之間的差可以被計(jì)算556,其結(jié)果可以被存儲(chǔ)在寄存器‘M’中。在將差值寫入在寄存器‘M’中之后,在560判定取得的PrID的值是否為0,這指示當(dāng)前分組攜帶關(guān)鍵幀的數(shù)據(jù)。如果在560為是,則在564另外判定‘M’的值是否等于1。如果在564為是,這表明從接收的壓縮視頻流的原始源端直到壓縮視頻流的接收目的端,沒有丟失關(guān)鍵分組,則替代寄存器Last_OPr0的前一個(gè)值,寫入570當(dāng)前接收的RTP分組的擴(kuò)展RTP報(bào)頭的OPr0SN字段的值,且方法5000進(jìn)行到模塊572。在模塊572,接收的RTP分組可以被轉(zhuǎn)發(fā)至NAL緩沖器265(圖2B),RTP分組可以從NAL緩沖器265被轉(zhuǎn)發(fā)至接收EP的解碼器。解碼器可以處理壓縮視頻流,其被承載在相關(guān)的RTP連接上。然后,方法5000返回至模塊554,以在OOSNB260中處理下一個(gè)RTP分組。如果在560取得的PrID的值不為0,這表明當(dāng)前分組不是關(guān)鍵分組,則在562另外判定‘M’的值是否等于0。如果在562為是,這表明從接收的壓縮視頻流的原始源端直到壓縮視頻流的接收目的端,沒有丟失關(guān)鍵分組,則替代寄存器Last_OPr0的前一個(gè)值,寫入570當(dāng)前接收的RTP分組的擴(kuò)展RTP報(bào)頭的OPr0SN字段的值,并且方法5000進(jìn)行到模塊572。在模塊572,接收RTP分組可以被轉(zhuǎn)發(fā)至NAL緩沖器265(圖2B),RTP分組可以從NAL緩沖器265被轉(zhuǎn)發(fā)至接收EP的解碼器。解碼器可以處理壓縮視頻流,其被承載在相關(guān)的RTP連接上。然后,方法5000返回至模塊554,以在OOSNB260中處理下一個(gè)RTP分組?,F(xiàn)在返回模塊564或者562,如果寄存器‘M’的值分別不等于1或者0,這表明丟失了一個(gè)或多個(gè)關(guān)鍵分組,并且內(nèi)幀請(qǐng)求可以由接收RTP管理器275(圖2B)發(fā)送568。內(nèi)幀請(qǐng)求可以通過RTPC連接被發(fā)送至相關(guān)壓縮視頻流的源端的發(fā)送RTP管理器。內(nèi)幀請(qǐng)求可以通過一個(gè)或多個(gè)中間媒體跳被傳送。然后,方法5000可以進(jìn)行到模塊570。在方法5000的一些實(shí)施例中,在將RTP分組轉(zhuǎn)發(fā)572至解碼器之后,處理可以等待一段時(shí)間,以便克服發(fā)送幀內(nèi)的抖動(dòng)。等待時(shí)期可以在幾毫秒的范圍內(nèi),例如在5至20毫秒之間。圖6示出了示例中間-媒體-跳-接收方法600的相關(guān)模塊的流程圖。方法600可以由IMHRRP350(圖3B)的實(shí)施例來實(shí)現(xiàn)。IMHRRP350可以與位于壓縮視頻流的源端和該壓縮SC視頻流的接收目的端之間的中間-媒體-跳相關(guān)聯(lián)。例如,中間-媒體-跳可以是位于兩個(gè)或更多個(gè)MRE之間的MRM。方法600可以在建立媒體跳和EP/MRE之間的RTP連接期間被發(fā)起602,該EP/MRE是視頻SC流或者前一媒體跳的源端。例如,可以在建立會(huì)議會(huì)話期間或者在將發(fā)送EP/MRE加入到正在進(jìn)行的會(huì)話中發(fā)起RTP連接。發(fā)起之后,IMHRRP350的資源可以被分配604和設(shè)置??梢苑峙浜椭刂觅Y源,諸如但不限于緩沖器360(圖3B)、寄存器N’、寄存器Last_Pr0'等等。可以從緩沖器360(圖3B)取得下一個(gè)接收RTP分組。分組的擴(kuò)展RTP報(bào)頭可以被解析606,HPr0SN和PrID字段的值可以被找回。HPr0SN的找回值和寫入在寄存器Last_Pr0中的值之間的差可以被計(jì)算608,其結(jié)果可以被存儲(chǔ)在寄存器N’中。在將差值存儲(chǔ)在N’中之后,可以在610判定N’的值是否小于或等于0。如果該值小于或等于0,這表明在路徑上從最后一個(gè)媒體跳和接收EP亂序接收到分組,那么可以在612另外判定取得的PrID的值是否為0,這表明當(dāng)前分組攜帶關(guān)鍵幀的數(shù)據(jù)。如果在612為是,則可以檢查614重傳請(qǐng)求列表(ReXReqList),并且時(shí)于具有相同HPr0SN值的重傳RTP分組的請(qǐng)求可以從重傳請(qǐng)求列表中被移除。然后方法600可以進(jìn)行到模塊630。如果在612取得的PrID的值不是0,這表明不是關(guān)鍵分組,則方法600可以進(jìn)行到模塊630。在模塊630,可以在RTCP連接上從接收MH-RTP管理器380(圖3B)發(fā)送基于ReXReqList的重傳請(qǐng)求至在RTCP連接的另一側(cè)的RTP管理器。然后,接收的RTP分組可以被轉(zhuǎn)發(fā)632至媒體跳的一個(gè)或多個(gè)其它內(nèi)部單元(圖中未示出),并且方法600返回模塊606以處理緩沖器360中的下一個(gè)RTP分組。在一些實(shí)施例中,可以在每次接收到內(nèi)幀時(shí),或者基于列表中每個(gè)條目的年齡等等,清除ReXReqList。在另一些實(shí)施例中,在模塊630復(fù)制分組,即具有相同OSN的分組,可以從OOSNB260(圖2B)中被丟棄。現(xiàn)在返回模塊610,如果‘N”的值大于0,則判定616取得的PrID的值是否為0,這指示當(dāng)前分組攜帶關(guān)鍵幀的數(shù)據(jù)。如果在616,PrID不為0,這表明來自前一媒體跳或EP/MRE的一個(gè)或多個(gè)關(guān)鍵分組沿著最后一段丟失,則可以更新618ReXReqList。該更新可以通過寫所請(qǐng)求分組的列表來完成,所請(qǐng)求分組的擴(kuò)展RTP報(bào)頭的HPr0SN字段的值等于存儲(chǔ)在Last_Pr0'寄存器中的值加上1、加上2、加上3...直到加上存儲(chǔ)在寄存器‘N”中的值。在更新ReXReqList之后,替代寄存器Last_Pr0’的前一個(gè)值,存儲(chǔ)624當(dāng)前接收的RTP分組的擴(kuò)展RTP報(bào)頭的HPr0SN字段的值,并且方法600進(jìn)行到模塊630。如果在616,取得的PrID的值為0,這表明當(dāng)前分組攜帶關(guān)鍵幀的數(shù)據(jù),則另外判定620‘N”的值是否等于1。如果在620為是,這表明沒有關(guān)鍵分組丟失,則方法600可以進(jìn)行到模塊624。如果在620為否,這表明直到這個(gè)一,一個(gè)或多個(gè)關(guān)鍵分組已丟失,因此可以更新622ReXReqList。該更新可以通過寫所請(qǐng)求分組的列表來完成,所請(qǐng)求分組的擴(kuò)展RTP報(bào)頭的HPr0SN字段的值等于存儲(chǔ)在Last_Pr0'寄存器中的值加上1、加上2、加上3...直到加上存儲(chǔ)在寄存器‘N”中的值減1。在更新ReXReqList之后,替代寄存器Last_Pr0的前一個(gè)值,存儲(chǔ)624當(dāng)前接收的RTP分組的擴(kuò)展RTP報(bào)頭的HPr0SN字段的值,并且方法600進(jìn)行到模塊630。圖7示出了中間-媒體-跳-發(fā)送方法700的例子的相關(guān)模塊的流程圖。方法700可以由IMHTRP300(圖3A)的實(shí)施例來實(shí)現(xiàn)。IMHTRP300可以與位于壓縮視頻流的源端和該壓縮SC視頻流的接收目的端之間的中間-媒體-跳相關(guān)聯(lián)。例如,中間-媒體-跳可以是位于兩個(gè)或更多個(gè)MRE之間的MRM。方法700可以在建立媒體跳和EP/MRE之間的RTP連接期間被發(fā)起702,該EP/MRE是視頻SC流的目的端或者下一媒體跳。例如,RTP連接可以在建立會(huì)議會(huì)話期間或者在將發(fā)送EP/MRE加入到正在進(jìn)行的會(huì)話時(shí)而被發(fā)起。發(fā)起之后,IMHTRP300的資源可以被分配704和設(shè)置。例如,兩個(gè)MH序列計(jì)數(shù)器335a-335d(圖3A)可以被分配。每個(gè)計(jì)數(shù)器(LastSN和LastPr0SN)可以被設(shè)置為隨機(jī)數(shù)或者0。另外,諸如但不限于MH-ReX-Pr0緩沖器330(圖3A)的緩沖器可以被分配704和重置,諸如LastIDR的寄存器可以被分配和重置,等等。接著,MH-發(fā)送-RTP管理器340(圖3A)可以檢查710Rex請(qǐng)求條目是否在其隊(duì)列中。如果不是,方法700可以進(jìn)行到模塊712。如果在710ReX請(qǐng)求條目被找到,則找回該請(qǐng)求并清除條目,找回的請(qǐng)求被解析,并且基于所請(qǐng)求的HPr0SN的值是否小于存儲(chǔ)在LastIDR寄存器中的值,進(jìn)行判定720。LastIDR寄存器存儲(chǔ)攜帶Pr0內(nèi)幀的起始部分的第一分組的HPr0SN字段的值。如果在720該值較小,這表明內(nèi)幀已經(jīng)被發(fā)出,并可以在創(chuàng)建由丟失分組攜帶的壓縮Pr0視頻數(shù)據(jù)之后被接收,因此不需要重傳丟失分組,并且方法700可以返回模塊710。如果在720,該值不是較小,則MH-ReX-Pr0緩沖器330(圖3A)可以被檢查722,并且基于在列表的條目中所提及的Pr0分組是否存在于MH-ReX-Pr0緩沖器330中進(jìn)行判定。如果所請(qǐng)求的分組不存在于MH-ReX-Pr0緩沖器330中,則解碼器刷新請(qǐng)求(內(nèi)幀請(qǐng)求)可以通過RTP連接被發(fā)送726至壓縮SC視頻流的源端,并且方法700返回至模塊710。如果在722,在請(qǐng)求列表的條目中提及的Pr0分組存在于MH-ReX-Pr0緩沖器330中,則所請(qǐng)求的Pr0分組可以被取得并從ReX-Pr0緩沖器330中移除724,且方法700可以進(jìn)行到模塊730,以處理取得的所請(qǐng)求分組?,F(xiàn)在返回模塊710,如果隊(duì)列中沒有未決的ReX請(qǐng)求,則輸入緩沖器310(圖3A)可以被檢查712,且來自IMHTRP300的內(nèi)部模塊(圖中未示出)的下一個(gè)RTP分組可以被取得。RTP報(bào)頭和取得的分組的擴(kuò)展報(bào)頭可以被解析,且HPr0SN字段和PrID的值可以被找回712。接著,在714判定有效載荷的內(nèi)容是否包括Pr0幀(即關(guān)鍵幀)的壓縮視頻。如果在714為否,則方法700可以進(jìn)行到模塊732。如果在714,分組攜帶關(guān)鍵幀的數(shù)據(jù),則RTP分組的報(bào)頭可以被檢查以確定716RTP分組是否攜帶新的關(guān)鍵內(nèi)幀的起始部分。如果在716,分組沒有攜帶新的關(guān)鍵內(nèi)幀的起始部分,則方法700進(jìn)行到模塊730。如果在716,分組攜帶新的關(guān)鍵內(nèi)幀的起始部分,則LastPr0SN的值加上1的和可以被寫入718寄存器LastIDR,替代寄存器LastIDR的前一數(shù)據(jù)。在模塊730,序列計(jì)數(shù)器LastPr0SN可以被增加。序列計(jì)數(shù)器LastPr0SN的值可以被寫入732擴(kuò)展RTP報(bào)頭的HPr0SN字段中。另外,LastSN序列計(jì)數(shù)器可以被增加734,且新的值可以被寫入通用RTP報(bào)頭的SN字段。接著,基于擴(kuò)展RTP報(bào)頭的Pr0ID字段判定740分組的有效載荷是否攜帶關(guān)鍵幀的壓縮視頻。如果否,RTP分組經(jīng)由網(wǎng)絡(luò)接口卡(圖中未示出)通過相關(guān)RTP連接被發(fā)送744至下一個(gè)媒體跳或者接收EP/MRE。如果在740,分組攜帶關(guān)鍵幀的壓縮視頻,則RTP分組的副本可以被存儲(chǔ)在MH-ReX-Pr0緩沖器330(圖3A)中,并且分組經(jīng)由網(wǎng)絡(luò)接口卡(圖中未示出)通過相關(guān)RTP連接被發(fā)送744至下一個(gè)媒體跳或者接收EP/MRE。在發(fā)送RTP分組至其目的端之后,方法700可以返回至模塊710以啟動(dòng)新的循環(huán)。在本公開的說明書和權(quán)利要求書中,“包含”、“包括”、“具有”等等以及它們的變化被用于指示動(dòng)詞的賓語不一定是動(dòng)詞的主語的成員、部件、單元、或者部分的完整列表。如上所述,所公開的實(shí)施例可以包括一種方法,包括:在媒體發(fā)送設(shè)備處獲得多個(gè)傳輸協(xié)議(TP)分組的流,所述多個(gè)TP分組的流攜帶由可伸縮譯碼(SC)編碼器創(chuàng)建的壓縮媒體數(shù)據(jù)單元,所述多個(gè)TP分組中的每一個(gè)具有分配的優(yōu)先級(jí)等級(jí),其中所述多個(gè)TP分組的流包括至少一個(gè)具有第一優(yōu)先級(jí)等級(jí)的分組和至少一個(gè)具有第二優(yōu)先級(jí)等級(jí)的分組;分配第一序列號(hào)給所述多個(gè)TP分組中每一個(gè)TP分組的多個(gè)報(bào)頭字段的第一報(bào)頭字段,其中對(duì)于具有第一優(yōu)先級(jí)等級(jí)的每個(gè)TP分組,所述第一序列號(hào)是改變的;及向一個(gè)或多個(gè)媒體接收設(shè)備發(fā)送所述多個(gè)TP分組。同樣,SC編碼器也可以被包括在始發(fā)媒體發(fā)送設(shè)備中。另外,可以在始發(fā)媒體發(fā)送設(shè)備處分配第二序列號(hào)給第二報(bào)頭字段,所述第二序列號(hào)指示具有第一優(yōu)先級(jí)等級(jí)的分組的原始序列號(hào)。在最后的媒體接收設(shè)備處所述第二序列號(hào)可以被用來識(shí)別來自任一在前網(wǎng)絡(luò)段的一個(gè)或多個(gè)丟失的第一優(yōu)先級(jí)等級(jí)分組。始發(fā)媒體發(fā)送設(shè)備可以分配第三序列號(hào)給第三報(bào)頭字段,所述第三序列號(hào)指示所有TP分組的原始序列號(hào),其中所述第三序列號(hào)字段還可以被用于在不考慮優(yōu)先級(jí)等級(jí)的情況下對(duì)TP分組重新排序。始發(fā)媒體發(fā)送設(shè)備可以包括具有SC編碼器的端點(diǎn)或媒體中繼端點(diǎn)(MRE),所述SC編碼器對(duì)由所述MRE或者甚至是多點(diǎn)控制單元(MCU)生成的媒體進(jìn)行壓縮,并且SC編碼器對(duì)來自視頻圖像的持續(xù)存在(CP)視頻圖像進(jìn)行編碼,其中所述視頻圖像是從多個(gè)端點(diǎn)接收的第一序列號(hào)可以被第一媒體接收設(shè)備使用來識(shí)別一個(gè)或多個(gè)丟失的TP分組,并經(jīng)由與所述第一媒體接收設(shè)備關(guān)聯(lián)的網(wǎng)絡(luò)段請(qǐng)求重傳,其中所述第一媒體接收設(shè)備是從一個(gè)或多個(gè)媒體接收設(shè)備中選擇的。另外,公開的方法和系統(tǒng)可以被配置成在源重傳緩沖器中存儲(chǔ)一個(gè)或多個(gè)發(fā)送的TP分組;從接收設(shè)備接收對(duì)于重傳特定TP分組的請(qǐng)求;在源重傳緩沖器中搜索特定TP分組;和響應(yīng)于所述請(qǐng)求向接收設(shè)備重傳特定TP分組??蛇x地,只有具有第一優(yōu)先級(jí)等級(jí)的TP分組才被存儲(chǔ)在源重傳緩沖器中,且重傳請(qǐng)求可以從接收TP分組以顯示持續(xù)存在(CP)的視頻圖像的端點(diǎn)接收。在一些情況下,如果在源重傳緩沖器中沒有找到特定TP分組,則從始發(fā)媒體發(fā)送設(shè)備請(qǐng)求內(nèi)幀會(huì)是有益的。當(dāng)然,上面公開的一些方法可以在包括中間媒體跳的媒體發(fā)送設(shè)備上實(shí)現(xiàn)。應(yīng)當(dāng)理解,上面的描述是說明性的,而不是限制性的。上述的裝置、系統(tǒng)和方法可以以很多方式改變,包括改變步驟的順序和所使用的精確實(shí)施方式。所述的實(shí)施例包括不同的特征,本公開的所有實(shí)施例中并不需要所有的特征。而且,本公開的一些實(shí)施例僅使用一些特征或者這些特征的可能組合。本領(lǐng)域的通常技術(shù)人員將會(huì)想到在所述實(shí)施例中記載的特征的不同組合。此外,本公開的一些實(shí)施例可以由與根據(jù)公開者的不同示例實(shí)施例相關(guān)聯(lián)地記載的特征和元件的組合來實(shí)現(xiàn)。本發(fā)明的范圍僅由下列權(quán)利要求及其等同限定。