專利名稱：立體視頻序列的同步的制作方法
技術(shù)領(lǐng)域：
本發(fā)明是關(guān)于同步立體視頻序列的譯碼和顯示(即表示)的裝置和方法。特別是，除了最小化所需的譯碼器輸入緩沖器尺寸的相應(yīng)的最佳化位流傳輸順序之外，呈現(xiàn)出增強(qiáng)層的確定表示時(shí)間章和譯碼時(shí)間章。
數(shù)字化技術(shù)已經(jīng)變革了為顧客服務(wù)的視頻和音頻的傳送，這是因?yàn)樗鼙饶M技術(shù)更高的質(zhì)量傳送信號(hào)和提供先前所不能提供的附加的特點(diǎn)。數(shù)字系統(tǒng)對(duì)于通過電纜電視網(wǎng)絡(luò)或通過衛(wèi)星到電纜電視聯(lián)合廣播和或直接到家用衛(wèi)星電視接收器進(jìn)行廣播的信號(hào)特別有用。在這樣的系統(tǒng)中，用戶通過恢復(fù)和譯碼數(shù)據(jù)的接收器和譯碼器接收數(shù)字?jǐn)?shù)據(jù)流以重構(gòu)初始的視頻和音頻信號(hào)。數(shù)字接收器包括對(duì)此處理而使用的微機(jī)和存儲(chǔ)器部件。
在提供低成本的接收器的同時(shí)仍能提供高質(zhì)量的視頻和音頻的要求需要被處理的數(shù)量受到限制。然而，傳送數(shù)字信號(hào)的可用帶寬也受到物理制約，現(xiàn)存的通訊協(xié)議書，和政府規(guī)定的限制。依此，各種幀內(nèi)數(shù)據(jù)壓縮方案已經(jīng)被發(fā)展了，它們具有在特定視頻畫面(如幀)內(nèi)在相鄰諸象素之間的空間相關(guān)的優(yōu)點(diǎn)。
進(jìn)而，幀內(nèi)壓縮方案具有在由使用運(yùn)動(dòng)補(bǔ)償數(shù)據(jù)的連續(xù)幀的對(duì)應(yīng)區(qū)域之間的瞬時(shí)相關(guān)和塊匹配運(yùn)動(dòng)估算算法的優(yōu)點(diǎn)。在這種情況下，通過識(shí)別最緊密相似特定當(dāng)前塊的先前畫面的塊確定圖象的當(dāng)前畫面的每一塊的運(yùn)動(dòng)矢量。通過發(fā)送表示對(duì)應(yīng)塊對(duì)之間差別的數(shù)據(jù)和識(shí)別對(duì)應(yīng)對(duì)所需要的運(yùn)動(dòng)矢量在譯碼器中重構(gòu)整個(gè)當(dāng)前畫面。當(dāng)組合以塊為基礎(chǔ)的空間壓縮技術(shù)例如離散余弦變換(DCT)時(shí)，塊匹配運(yùn)動(dòng)估算算法特別有效。
進(jìn)而，這里已經(jīng)增加了對(duì)提出的立體視頻傳送格式例如運(yùn)動(dòng)畫面專家組(MPEG)MPEG-2多視點(diǎn)輪廓(MVP)系統(tǒng)的興趣，在1995年11月標(biāo)題為“對(duì)13818-2提出草案修改號(hào)3(多視點(diǎn)輪廓)的ISO/IECJTC1/SC29/WG11 N1088的文件中描述了該系統(tǒng)，在此一并作為參考、立體視頻提供同一個(gè)圖象的略微偏離的視點(diǎn)以產(chǎn)生具有較大景深的組合的圖象，以此產(chǎn)生三維(3-D)效果。在這個(gè)系統(tǒng)中，雙攝象機(jī)可以位于相隔大約兩英寸遠(yuǎn)以記錄一事件在兩個(gè)分離的視頻信號(hào)上。兩攝象機(jī)之間的空間距離近似為人眼的左眼和右眼之間的距離。進(jìn)而，使用一些立體視頻攝象記錄器時(shí)，兩個(gè)棱鏡裝在一個(gè)攝象記錄器頭內(nèi)和例如當(dāng)拍攝圖象全景時(shí)，可以同步地移動(dòng)。視頻信號(hào)能被傳送和在接收器內(nèi)被重新組合以產(chǎn)生對(duì)應(yīng)正常人眼的具有景深的圖象。也能提供其它的空間效果。
該MPEG MVP系統(tǒng)包括在復(fù)用信號(hào)內(nèi)傳送的兩個(gè)視頻層。首先，基(即較低)層表示三維目標(biāo)的左視。第二，增強(qiáng)(即輔助或較上部)層表示該目標(biāo)的右視。由于左視和右視相同的目標(biāo)和僅僅是相互稍微的偏移，因此通常在基層和增強(qiáng)層視頻圖象間存在著大的相關(guān)度。使用該相關(guān)壓縮相對(duì)于基層的增強(qiáng)層的數(shù)據(jù)，以此減少在增強(qiáng)層內(nèi)傳送的必要的數(shù)據(jù)量以維持給定圖象的質(zhì)量。圖象質(zhì)量一般對(duì)應(yīng)著視頻數(shù)據(jù)的量化水平。
MPEG MVP系統(tǒng)包括三類視頻畫面指定的內(nèi)編碼畫面(I-畫面，預(yù)測(cè)編碼畫面(P-畫面)，雙向預(yù)測(cè)編碼畫面(B-畫面)。進(jìn)而，當(dāng)基層接收幀或場(chǎng)結(jié)構(gòu)的視頻序列時(shí)，增強(qiáng)層僅接收幀結(jié)構(gòu)。I-畫面完全描述了單個(gè)視頻畫面而沒有參考任何其它的畫面。為了改進(jìn)錯(cuò)誤的隱芷，運(yùn)動(dòng)矢量能包括在I-畫面內(nèi)。I-畫面的錯(cuò)誤在顯示的視頻中具有潛在的較大的影響，這是因?yàn)樵诨鶎拥腜-畫面和B-畫面是從諸I-畫面中預(yù)測(cè)出來的。進(jìn)而，在增強(qiáng)層的諸畫面在稱之為差異預(yù)測(cè)的交叉層預(yù)測(cè)的處理中從基層內(nèi)的諸畫面中預(yù)測(cè)出來的。在層內(nèi)的從一幀到另一幀的預(yù)測(cè)被稱為瞬時(shí)預(yù)測(cè)。
在基層中，基于先前的I或P畫面預(yù)測(cè)P畫面。從較早的I或P畫面到未來的P畫面給出參照被稱為向前預(yù)測(cè)。B畫面是從最接近的較早I或P畫面和最接近的較后I或P畫面預(yù)測(cè)出的。
在增強(qiáng)層中，P畫面是從(a)增強(qiáng)層中最當(dāng)前的譯碼的畫面，(b)在顯示順序中的最當(dāng)前的基層畫中，或(c)在顯示順序中的下一個(gè)低層畫面中預(yù)測(cè)出來的。當(dāng)在顯示順序中的最當(dāng)前的基層是I畫面時(shí)，最經(jīng)常使用情況(b)。進(jìn)而，使用(d)為向前預(yù)測(cè)的最當(dāng)前譯碼的增強(qiáng)層畫面和在顯示順序里的為向后預(yù)測(cè)的最當(dāng)前低層畫面，(e)為向前預(yù)測(cè)的最當(dāng)前譯碼的增強(qiáng)層畫面和在顯示順序里的為向后預(yù)測(cè)的下一低層畫面，或(f)在顯示順序里的為向后預(yù)測(cè)的最當(dāng)前低層畫面和在顯示順序里的為向后預(yù)測(cè)的下一個(gè)低層畫面，能夠預(yù)測(cè)增強(qiáng)層的B圖象。當(dāng)在顯示順序里的最當(dāng)前低層畫面是I畫面時(shí)，僅僅這個(gè)I畫面將被使用以預(yù)測(cè)編碼(即，這里沒有向前預(yù)測(cè)。
注意，僅僅預(yù)測(cè)模式(a)，(b)和(d)包括在MPEG MVP系統(tǒng)內(nèi)。該MVP系統(tǒng)是包括每一種模式(a)-(f)的MPEG瞬時(shí)可測(cè)量性編碼的子集。
在一種最佳的配置中，增強(qiáng)層僅具有P和B畫面，而沒有I畫面。參考未來畫面(即一個(gè)還沒有被顯示的畫面)被稱為向后預(yù)測(cè)。注意，在增強(qiáng)層中不發(fā)生向后預(yù)測(cè)。依此，增強(qiáng)層畫面按顯示順序傳送。這里存在著這樣的情況，向后預(yù)測(cè)在增強(qiáng)壓縮比率中是非常有用的。例如，在門打開的場(chǎng)景中，當(dāng)前的畫面根據(jù)門已經(jīng)打開的的未來畫面預(yù)測(cè)什么芷在門后。
B畫面產(chǎn)生最大的壓縮，但也包含著最大的錯(cuò)誤。為了限制錯(cuò)誤的傳播，B畫面決不從基層內(nèi)的基它B畫面中加以預(yù)測(cè)。P圖象產(chǎn)生較小的錯(cuò)誤和較小的壓縮。I畫面產(chǎn)生最小的壓縮，但能夠提供隨機(jī)的存取。
這樣，在基層內(nèi)，為了解碼P畫面，必須能獲得前先的I畫面或P畫面。類似的，為了解碼B畫面，必須能獲得先前的P或I和未來的P或I畫面。結(jié)果是，視頻畫面以相互依賴的順序被編碼和被傳送，使得在畫面預(yù)測(cè)之前，預(yù)測(cè)使用的所有畫面被編碼。當(dāng)在譯碼器中接收到編碼的信號(hào)時(shí)，視頻畫面被解碼和為顯示重新排序。依此，需要臨時(shí)的存儲(chǔ)部件以緩沖顯示前的數(shù)據(jù)。然而，對(duì)相對(duì)大的譯碼器輸入緩沖器的要求增大了制造譯碼器的成本。這是不期望的，因?yàn)樽g碼器是大量銷售的物品，它必需以最低的價(jià)格進(jìn)行生產(chǎn)。
依此，這里需要同步增強(qiáng)層和基層視頻序列的譯碼和表示。立體視頻的譯碼和表示處理的同步是MVP的特別重要的方面。這是立體視頻所固有的，兩個(gè)審視相互緊密的聯(lián)接，表示或顯示同步的損失能夠造成視者許多問題，例如眼睛緊張，頭痛等。
進(jìn)而，處理數(shù)字壓縮位流這一事件的諸問題不同于例如符合NTSC或PAL標(biāo)準(zhǔn)的未壓縮的位流或模擬信號(hào)的事件。例如，使用NTSC或PAL信號(hào)時(shí)，諸畫面以同步的方式傳送，使得時(shí)鐘信號(hào)能從畫面同步信號(hào)中直接地導(dǎo)出。在這種情況中，兩個(gè)審視的同步可以通過使用畫面同步容易地完成。
然而，在數(shù)字壓縮立體位流中，在每層的每一畫面的數(shù)據(jù)量是變化的，這取決于位速率，畫面編碼類型和場(chǎng)的復(fù)雜性。這樣，譯碼和表示定時(shí)不能直接從畫面數(shù)據(jù)開始處推導(dǎo)出來。即，不象模擬視頻傳送，在數(shù)字壓縮位流中不存在著同步脈沖的自然概念。
依此，提供同步譯碼和立體視頻順序的表示的系統(tǒng)是有優(yōu)點(diǎn)的。該系統(tǒng)能與順序譯碼畫面(即在一時(shí)刻一個(gè)畫面)或平行譯碼畫面(即一時(shí)刻兩個(gè)畫面)的譯碼器相兼容。進(jìn)而，系統(tǒng)能夠提供最小化所需譯碼器輸入緩沖器尺寸的最佳畫面?zhèn)魉晚樞颍景l(fā)明提供的系統(tǒng)具有上述和其它的優(yōu)點(diǎn)。
依照本發(fā)明，這里提供了調(diào)整立體視頻序列的低層和增強(qiáng)層視頻畫面的傳輸順序的方法和裝置。特別是，畫面以這樣的順序被傳送，使得先于表示的必需臨時(shí)存儲(chǔ)的畫面的數(shù)目得到最小化。進(jìn)而，能夠確定每個(gè)畫面的譯碼的時(shí)間章(DTS)和表示的時(shí)間章(PTS)以在譯碼以順序或平行發(fā)生的譯碼器內(nèi)提供低層和增強(qiáng)層畫面之間的同步。
特別是，這里提供了調(diào)整立體視頻信號(hào)的低層和增強(qiáng)層內(nèi)的視頻畫面的傳送順序的方法，這里增強(qiáng)層包括了使用相應(yīng)低層畫面進(jìn)行預(yù)測(cè)的差異預(yù)測(cè)畫面。該方法包括了調(diào)整視頻畫面的步驟，使得在相應(yīng)的有關(guān)的低層畫面之后傳送差異預(yù)測(cè)的增強(qiáng)層畫面。
在第一實(shí)施例中，僅包括內(nèi)編碼畫面的低層包含有連續(xù)畫面ILi，ILi+1，ILi+2，ILi+3，ILi+4，等等，和相應(yīng)的增強(qiáng)層畫面由HEi，HEi+1，HEi+2，HEi+3，HEi+4，等等表示。在這種情況下，視頻圖象按下面順序傳送ILi，ILi+1，HEi，ILi+2，HEi+3，ILi+3，HEi+2，ILi+4，HEi+3等等(即序列1)。
替換地，在第二個(gè)實(shí)施例中，視頻畫面以下列順序傳送ILi，HEi，ILi+1，ILi+2，HEi+2，ILi+3，HEi+3等等(即序列2)。
在第三個(gè)實(shí)施例中，僅包括內(nèi)編碼畫面(I畫面)和預(yù)測(cè)編碼畫面(P畫面)的低層包括連續(xù)畫面ILi，ILi+1，ILi+2，ILi+3和ILi+4等等和相應(yīng)的增強(qiáng)層畫面被分別表示為HEi，HEi+1，HEi+2，HEi+3，HEi+4等等。這里，視頻畫面以下面順序傳送ILi，PLi+1，HEi，PLi+2，HEi+1，PLi+3，HEi+2，PLi+4，HEi+3，等等(即序列3)。
替換地，在第四個(gè)實(shí)施例中，視頻畫面以下面順序傳送ILi，HEi，PLi+1，HEi+1，PLi+2，HEi+2，PLi+3，HEi+3等等(即序列4)。
在第五個(gè)實(shí)施例中，包括內(nèi)編碼畫面(I畫面)，預(yù)測(cè)編碼畫面(P畫面)，和非連續(xù)的雙向可預(yù)測(cè)編碼畫面(B畫面)的低層分別包括連續(xù)的畫面ILi，BLi+1，PLi+2，BLi+3，PLi+4，BLi+5，PLi+6等等，和相應(yīng)的增強(qiáng)層畫面分別表示為HEi，HEi+1，HEi+2，HEi+3，HEi+4，HEi+5，HEi+6等等。視頻畫面按以下順序傳送ILi，PLi+2，BLi+1，HEi，HEi+1，PLi+4，BLi+3，HEi+2，HEi+3等等(即序列5)。
替換地，在第六個(gè)實(shí)施例中，視頻畫面按下面順序傳送ILi，HEi，PLi+2，BLi+1，HEi+1，HEi+2，PLi+4，BLi+3，HEi+3，HEi+4等等(即序列6)。
替換地，在第七個(gè)實(shí)施例中，視頻畫面以下面順序傳送ILi，PLi+2，HEi，BLi+1，HEi+1，PLi+4，HEi+2，BLi+3，HEi+3，等等(即序列7)。
在第八個(gè)實(shí)施例中，包括內(nèi)編碼畫面(I畫面)，預(yù)測(cè)編碼畫面(P畫面)和連續(xù)雙向預(yù)測(cè)編碼畫面(B畫面)的低層分別包括連續(xù)畫面ILi，BLi+1，BLi+2，PLi+3，BLi+4，BLi+5，PLi+6等等，和相應(yīng)增強(qiáng)層畫面分別表示為HEi、HEi+1，HEi+2，HEi+3，HEi+4，HEi+5和HEi+6等等。視頻畫面按以下順序傳送ILi，PLi+3，BLi+1，HEi，BLi+2，HEi+1，HEi+2，PLi+6，BLi+4，HEi+3，BLi+5，HEi+4，HEi+5等等(即序列8)。
替換地，在第九個(gè)實(shí)施例中，視頻畫面以下面順序傳送ILi，HEi，PLi+3，BLi+1，HEi+1，BLi+2，HEi+2，HEi+3，PLi+4，BEi+4，HEi+5，BLi+5，HEi+5和HEi+6等等(即序列9)。
替換地，在第十個(gè)實(shí)施例中，視頻畫面以下面順序傳送ILi，PLi+3，HEi，BLi+1，HEi+1，BLi+2，PLi+6，HEi+3，BLi+4，HEi+4，BLi+5，HEi+5等等(即序列10)。
還介紹相應(yīng)的裝置。
進(jìn)而，提供了處理包括低層和增強(qiáng)層的立體信號(hào)的視頻畫面序列的接收器，該接收器包括存儲(chǔ)器，恢復(fù)/預(yù)測(cè)處理器和結(jié)合存儲(chǔ)器和處理器操作的存儲(chǔ)器管理器。存儲(chǔ)器管理器在存儲(chǔ)器中安排選出的低層畫面的存儲(chǔ)，使得在差異預(yù)測(cè)增強(qiáng)層畫面中的相應(yīng)一個(gè)之前由恢復(fù)/預(yù)測(cè)處理器處理它們、進(jìn)而譯碼操作可以順序地或平行地發(fā)生。


圖1是立體視頻的編碼器/譯碼器的框圖。
圖2示出了使用本發(fā)明系統(tǒng)的增強(qiáng)層畫面序列和第一基層畫面序列。
圖3示出了使用本發(fā)明系統(tǒng)的增強(qiáng)層畫面序列和第二基層畫面序列。
圖4示出了使用本發(fā)明系統(tǒng)的增強(qiáng)層畫面序列和第三基層畫面序列。
圖5示出了使用本發(fā)明系統(tǒng)的增強(qiáng)層畫面序列和第四基層畫面序列。
圖6是立體視頻增強(qiáng)層譯碼器結(jié)構(gòu)的框圖。
這里提供了同步譯碼和立體視頻畫面序列的方法和裝置。
圖1是立體視頻的編碼器/譯碼器結(jié)構(gòu)的框圖。MPEG MVP標(biāo)準(zhǔn)和類似的系統(tǒng)包括兩視頻層，即低層和增強(qiáng)層的編碼。對(duì)于這樣的應(yīng)用，低層分配給左視，而增強(qiáng)層分配給右視。在圖1的編碼器/譯碼器結(jié)構(gòu)中，由臨時(shí)的再多路器(remux)105接收低層和增強(qiáng)層視頻序列。使用時(shí)分多路傳輸(TDMX)，提供增強(qiáng)層視頻給增強(qiáng)編碼器110，而提供基層視頻給低層編碼器115。注意，可以提供低層視頻數(shù)據(jù)給增強(qiáng)層編碼器110以用于差異預(yù)測(cè)。
提供編碼的增強(qiáng)層和基層到一般用122標(biāo)出的傳送傳送流給譯碼器的系統(tǒng)多路傳送器120。傳送路徑典型的是衛(wèi)星連接到電纜系統(tǒng)的開始部分或通過衛(wèi)星直接連到用戶的家中。在譯碼器122中，傳送流在系統(tǒng)分離器125內(nèi)被分離。提供編碼的增強(qiáng)層數(shù)據(jù)給增強(qiáng)層譯碼器130，而提供編碼的低層數(shù)據(jù)給低層譯碼器器135。注意，在低層和增強(qiáng)層平行處理的配置中，譯碼最好同時(shí)完成。替換地，增強(qiáng)譯碼器130和低層譯碼器135可以共享處理硬件，在這種情況下，譯碼可以順序地完成，一個(gè)時(shí)間一個(gè)畫面。
譯碼的低層數(shù)據(jù)作為分離的數(shù)據(jù)流從低層譯碼器135中輸出，和提供給臨時(shí)再多路器140。在臨時(shí)的再多路器140中，譯碼的基層數(shù)據(jù)和譯碼的增強(qiáng)層數(shù)據(jù)組合在一起以提供所示的增強(qiáng)層輸出信號(hào)。增強(qiáng)和低層輸出信號(hào)再提供給供顯示的顯示裝置。
進(jìn)而，低層和增強(qiáng)層的編碼的位流在系統(tǒng)多路器120內(nèi)必須被多路傳輸，使得譯碼器122能夠依賴已經(jīng)被譯碼的僅一幀或多場(chǎng)就能譯碼任何幀或場(chǎng)。然而，該問題由以下事實(shí)變得復(fù)雜化，對(duì)P和B畫面的預(yù)測(cè)模式在低層和增強(qiáng)層內(nèi)是不同的。進(jìn)而，增強(qiáng)層畫面總是以表示(即顯示)順序傳送的，而對(duì)低層而言，并不經(jīng)常是這種情況。因此，這經(jīng)常需要在譯碼器內(nèi)去存儲(chǔ)和重新排序視頻畫面，使得譯碼和顯示能以適當(dāng)?shù)捻樞虬l(fā)生。
進(jìn)而，困難出現(xiàn)在同步譯碼和低層和增強(qiáng)層數(shù)據(jù)的表示。如上所述，低層和增強(qiáng)層的視頻位流作為兩個(gè)基本視頻流被傳送，對(duì)于傳送流而言，傳送流小包的兩個(gè)小包識(shí)別器(PIDS)在兩層的傳送流程序變換部分內(nèi)被指定。進(jìn)而，定時(shí)信息在低層的選取的小包的適配字段(即在PCR_PID)內(nèi)完成以服務(wù)作為在譯碼器內(nèi)定時(shí)比較的參考。特別是，27MHz時(shí)鐘采樣在程序_時(shí)鐘_參考(PCR)字段被傳送。更精確而言，采樣是在程序_時(shí)鐘_參考_基礎(chǔ)和程序_時(shí)鐘_參考_擴(kuò)展字段內(nèi)傳輸，這些均在1995，4，27的MPEG-2系統(tǒng)文件TIU-TRec.H.262，ISO/IEC 13818-1中描述過，一并在此作為參考。MPEG-2標(biāo)準(zhǔn)的進(jìn)一步細(xì)節(jié)可在1994，3，25的標(biāo)題為“信息技術(shù)—運(yùn)動(dòng)畫面和相關(guān)的音頻的一般編碼”，推薦H.262的文件ISO/IECJICI/SC29/WG11 N0702內(nèi)發(fā)現(xiàn)，一并在此作為參考。
PCR指出了在譯碼器內(nèi)從位流中完成讀取字段所期望的時(shí)間。在譯碼器中運(yùn)行的局部時(shí)鐘的相位和在瞬時(shí)獲得PCR值的位流中的PCR值比較以確定是否視頻，音頻，和其它數(shù)據(jù)的譯碼被同步。進(jìn)而，在譯碼器內(nèi)的采樣時(shí)鐘被鎖定到從PCR值導(dǎo)出的系統(tǒng)時(shí)鐘。通過使用在ITU-TRec.H.262，ISO/IEC 13818-1內(nèi)描述的等式計(jì)算PCR的值，該等式如下PCR(i)＝PCR_tase(i)X300+PCR_ext(i)，這里
PCR_tase(i)＝((系統(tǒng)_時(shí)鐘_頻率Xt(i))DIV 300)％233和PCR_ext(i)＝((系統(tǒng)_時(shí)鐘_頻率Xt(i))DIV1)％300這里“％”符號(hào)指出模操作。
以類似的方法，對(duì)于立體視頻信號(hào)的程序流，定時(shí)信息作為在系統(tǒng)_時(shí)鐘_參考(SCR)字段內(nèi)的27MHz時(shí)鐘的采樣在小包頭內(nèi)完成的。使用在ITU-T Rec.H.262，ISO/IEc 13818-1內(nèi)描述的等式計(jì)算SCR值，該等式如下SCR(i)＝SCR_tbase(i)X300+SCR_ext(i)，這里SCR_base(i)＝((系統(tǒng)_時(shí)鐘_頻率Xt(i))DIV 300)％233，和SCR_ext(i)＝((系統(tǒng)_時(shí)鐘_頻率Xt(i))DIV1)％300在低層和增強(qiáng)層內(nèi)的視頻小包內(nèi)的識(shí)別在程序流變換中被指定作為兩流的識(shí)別器。對(duì)于傳送流和程序流兩者而言，在小包化的基本流(PES)小包內(nèi)提供了譯碼和立體視頻的表示處理的同步。特別是，在PES頭的任意字段內(nèi)提供了表示時(shí)間章(PTS)和/或譯碼時(shí)間章(DTS)。
在傳送或程序小包化之前，為每一個(gè)基本視頻流構(gòu)成了PES小包。如果需要去發(fā)送PTS和/或DTS到譯碼器，在PES流內(nèi)提供新PES小包。因此，同步的關(guān)鍵是正確地計(jì)算PTS和DTS。在假想譯碼器模型的基礎(chǔ)上由編碼器確定PTS和DTS，即，傳送流系統(tǒng)目標(biāo)譯碼器(T-STD)，或程序流系統(tǒng)目標(biāo)譯碼器(P-STD)，及它們兩者均在ITU-TRec.H.262，ISO/TEC13818-1被描述。
系統(tǒng)時(shí)鐘頻率的周期的諸單元除以300指定了PTS和DTS兩者，這就產(chǎn)生了90KHz諸單元。特別是在ITU-TRec.H.262，ISO/TEC13818-1中描述的
PTS(K)＝((系統(tǒng)_時(shí)鐘_頻率Xtpn(K))DIV 300)％233，這里tpn(K)是表示單元Pn(K)的表示時(shí)間。類似地，DTS(j)＝((系統(tǒng)_時(shí)鐘_頻率Xtdn(K))DIV300)％233，這里tdn(K)是存取單元An(j)的譯碼時(shí)間。當(dāng)畫面需要由STD譯碼時(shí)，視頻DTS指示時(shí)間。當(dāng)譯碼的畫面要表示給視者(即在電視上顯示)時(shí)視頻PTS指示時(shí)間。進(jìn)而，由PTS和DTS指示的時(shí)間依照當(dāng)前的PCR或SCR值加以估算。
視頻位流在理論上的STD模型里瞬時(shí)地加以譯碼。然而，如果B畫面呈現(xiàn)在立體位流的低層內(nèi)，位流將不以表示的(即顯示)順序到達(dá)譯碼器。在這種情況下，在被譯碼后直到適當(dāng)?shù)谋硎緯r(shí)間，一些I和/或P畫面必需臨時(shí)存儲(chǔ)在STD的重排序緩沖器內(nèi)。然而，隨著增強(qiáng)層，所有圖象以表示的順序到達(dá)譯碼器，和結(jié)果是，PTS和DTS值應(yīng)當(dāng)是一致的或者僅偏置一個(gè)固定的間隔。
為了同步低層和增強(qiáng)層順序，在低層和增強(qiáng)層相對(duì)應(yīng)的畫面必需具有相同的PTS。任何現(xiàn)存的為MPEG-2主輪廓計(jì)算DTS的方法能被使用計(jì)算低層內(nèi)的DTS，即DTSL，這里“L”表示低層，后來的PTS和DTS值將參照相應(yīng)的DTSL。特別是，讓DTSLi和PTSLi分別為低層第i畫面的DTS和PTS。同樣，讓DTSEi和PTSEi分別為增強(qiáng)層內(nèi)第i畫面的DTS和PTS。然后，連續(xù)畫面的表示之間的時(shí)間間隔F能被定義為
例如，在NTSC標(biāo)準(zhǔn)下，幀速率為29.97幀/秒，F(xiàn)＝3,003。F是90KHz時(shí)鐘周期的正常幀周期，和對(duì)應(yīng)著真實(shí)用去時(shí)間3,003周期/90KHz＝0.0336秒。在PAL標(biāo)準(zhǔn)下，當(dāng)幀速率是25幀/秒時(shí)，F(xiàn)＝3,600。
進(jìn)而，同步低層和增強(qiáng)層序列是緊密地依賴于視頻序列的傳送和顯示次序。一般地，非立體視頻信號(hào)的MPEG2標(biāo)準(zhǔn)并不指定任何特定分布，I畫面，P畫面和B畫面必需采用在基層的順序，但允許不同的分布以提供不同的壓縮和隨機(jī)存取度。在一種可能的分布中，在基層的每一個(gè)畫面均是I畫面。在另一種可能的分布中，兩個(gè)I和P畫面被提供，或者是I，P，和B畫面，這里提供的B畫面不是連續(xù)的，或兩者I，P，和B畫面被提供，這里可以提供兩個(gè)連續(xù)的B畫面。一般而言，由于降低圖象的質(zhì)量，所以不提三個(gè)或者更多的連續(xù)的B畫面。在增強(qiáng)層中，提供B，P畫面，I畫面可以任意地被提供。
圖2示出了使用本發(fā)明系統(tǒng)的增強(qiáng)層畫面序列和第一基層畫面序列。這里低層僅包括I畫面。增強(qiáng)層畫面序列一般用200表示，而低層序列一般用250表示。序列200和250以顯示順序示出。每個(gè)畫面均被標(biāo)號(hào)以指示畫面類型(即I，B或P)，層的指定(例如“E”表示增強(qiáng)層，和“L”表示低層)和畫面的序列位置，這里腳標(biāo)“0”表示序列的第0個(gè)畫面，腳標(biāo)“1”表示序列內(nèi)的第一個(gè)畫面，等等。
增強(qiáng)層200包括畫面IE0(202)，BE1(204)，BE2(206)，PE3(208)，BE4(210)，BE5(212)，PE6(214)，BE7(216)，BE8(218)，PE9(220)，BE10(222)，BE11(224)和IE12(226)。然而特別增強(qiáng)層序列僅僅用于示意。在此討論的任意增強(qiáng)層序列包括圖2-5的那些序列，特別的增強(qiáng)層畫面類型并不限定，這是因?yàn)樵鰪?qiáng)層是按顯示順序傳送的。這樣，任何增強(qiáng)層畫面均能被考慮為一般畫面類型(即HEi)，這里“H”表示畫面類型。
在這實(shí)例的低層250僅包括I畫面，即包括IL0(252)，IL1(254)，IL2(256)，IL3(2 58)，IL4(260)，IL5(262)，IL6(264)，IL7(266)，IL8(268)，IL9(270)，IL10(272)，IL11(274)和IL12(276)。進(jìn)而，每一序列的畫面組(GOP)的開始被指出。GOP指示能夠被譯碼而不參考其它GOP畫面的一個(gè)或多個(gè)連續(xù)畫面。一般而言，低層和增強(qiáng)層的諸GOP并不對(duì)準(zhǔn)，而有不同的長度。例如，增強(qiáng)層200的第一GOP的開始處示出在畫面IE0(202)，而第二GOP的開始處是在畫面IE0(226)。類似地，示出的在低層250的第一GOP的開始處是在畫面IL2(256)，而第二GOP的開始是在畫面IL8(268)。
進(jìn)而，在圖2所示的諸箭頭指示允許的預(yù)測(cè)模式，根據(jù)連到箭頭尾部的畫面可以預(yù)測(cè)由箭頭頭部指出的畫面。例如，由畫面IL1(254)可以預(yù)測(cè)畫面BE1(204)。請(qǐng)回憶，I畫面是不能預(yù)測(cè)編碼的，但是自保持的。
使用圖2的畫面顯示順序，開始點(diǎn)在IL2的依照本發(fā)明的有優(yōu)點(diǎn)的傳送順序是IL2，BE1，IL3，BE2，IL4，BE3，IL5，IL6，BE5，IL7，PE6，IL8，BE7，IL9，BE8，IL10，PE9，IL11，BE10，IL12，BE11等等(序列1)。使用這個(gè)圖象順序，到達(dá)譯碼器的每一個(gè)預(yù)編碼的畫面在譯碼前并沒有被重新排列順序。這樣，能夠減少在譯碼器內(nèi)的存儲(chǔ)和處理要求，因此也就減少了譯碼器的成本。另一個(gè)適當(dāng)?shù)漠嬅鎮(zhèn)魉晚樞蚴荌L2，BE2，IL3，PE3，IL4，BE4，IL5，BE5，IL6，PE6，IE6，BE7，IL8，BE8，IL9，PE9，IL10，BE10，IL11，BE11，IL12，IE12等等(序列2)。
隨著這些圖象的傳送順序，所有的畫面以表示順序到達(dá)譯碼器。進(jìn)而，這就可能為每一畫面確定適當(dāng)?shù)腜TS和DTS。首先假定，第三低層畫面的DTS，即DTSLi是已知的。
作為特定的實(shí)例，使用圖2的第一畫面?zhèn)魉晚樞?，即序?，在下面的表1中描述了譯碼和表示的發(fā)生、假定為順序譯碼。在表1中，第一列表示時(shí)間，使用DTSL2作為開始時(shí)間，使用增量是0.5F，第二列表示低層畫面的譯碼時(shí)間，第三列表示增強(qiáng)層畫面的譯碼時(shí)間，和第四列表示低層和增強(qiáng)層畫面的表示時(shí)間。
這里，需要僅兩個(gè)譯碼畫面的存儲(chǔ)。例如，在BE2被接收以前，IL2和IL3被譯碼和被存儲(chǔ)。當(dāng)接收時(shí)，BE2能同時(shí)被譯碼和輸出，為實(shí)質(zhì)上和IL2同時(shí)表示。
表1
這里，僅需要一個(gè)譯碼畫面的存儲(chǔ)，例如，在BE2被接收前，對(duì)IL2譯碼和存儲(chǔ)。當(dāng)接收時(shí)，BE2能被瞬時(shí)譯碼和為用IL2同時(shí)表示而輸出。
對(duì)于在低層或增強(qiáng)序列的第i個(gè)畫面，DTS和PTS能從如下的為表2傳送順序的DTSLi中加以確定PTSLi＝DTSLi+0.5F；DTSEi＝DTSLi+0.5F；和PTSEi＝PTSLi圖3是使用本發(fā)明系統(tǒng)的增強(qiáng)層畫面序列和第二基層畫面序列的圖示。這里，低層包括了I和P畫面兩者。一樣的數(shù)字成份對(duì)應(yīng)著圖2的成分。增強(qiáng)層200和先前討論的相同。一般用300表示的低層包括畫面序列PL0(302)，PL1(304)，IL2(306)，PL3(308)，PL4(310)，PL5(312)，PL6(314)，IL8(316)，PL9(318)，PL10(320)，PL11(322)和PL12(326)。在IL2(306)和IL8(318)處開始GOP。
這里預(yù)測(cè)方案稍微復(fù)雜一些。請(qǐng)回憶，在基層中，P畫面是使用最接近的前先的I或P畫面進(jìn)行預(yù)測(cè)編碼的。在增強(qiáng)層中，B畫面是使用直至三個(gè)可能的不同的模式進(jìn)行預(yù)測(cè)編碼的。然而，當(dāng)相應(yīng)的低層畫面是I畫面時(shí)，只使用那個(gè)I畫面。同樣，在增強(qiáng)層中，使用最當(dāng)前的增強(qiáng)層畫面，按顯示順序的最當(dāng)前低層畫面或按顯示順序的下一個(gè)低層畫面，進(jìn)行P畫面的預(yù)測(cè)編碼的。再一次，當(dāng)相應(yīng)的低層畫面是I畫面時(shí)，僅僅使用那個(gè)I畫面。注意，在一些情況下，所示的預(yù)測(cè)模式包括任選的路徑。
這樣，在低層序列300中，例如，使用PL3和PL5對(duì)PL4進(jìn)行編碼。在增強(qiáng)層200中，使用BE2或PL3對(duì)PE3進(jìn)行編碼。開始于IL2的依本發(fā)明的適當(dāng)?shù)漠嬅鎮(zhèn)魉晚樞蚴荌L2，BE1，PL3，BE2，PL4，PE3，PL5，BE4，PL6，BE5，PL7，PE6，IL8，BE7，PL9，BE8，PL10，PE9，PL11，BE10，PL12，BE11等等(序列3)。對(duì)此序列而言，在下面的表3描述了譯碼和表示的發(fā)生。
表3
這里，僅需要對(duì)兩個(gè)譯碼畫面的存儲(chǔ)，例如，在BE2被接收前，對(duì)IL2和PL3進(jìn)行譯碼和存儲(chǔ)。當(dāng)接收時(shí)，BE2然后能瞬時(shí)譯碼和為同時(shí)用IL2表示而輸出。
對(duì)于在低層或增強(qiáng)層序列內(nèi)的第三個(gè)畫面而言，DTS和PTS可由如下的表3傳送順序的DTSLi加以確定PTSLi＝DTSLi+1.5F；DTSEi＝DTSLi+1.5F；和PTSEi＝PTSLi。
替換地，作為圖3實(shí)例的另一個(gè)適當(dāng)?shù)膫魉晚樞蚴荌L2，BE2，PL3，PE3，PL4，BE4，PL5，BE5，PL6，PE6，PL7，BE7，IL8，BE8，PL9，PE9，PL10，BE10，PL11，BE11，PL12，IE12等等(序列4)。下面的表4描述譯碼和表示的發(fā)生。
表4
這里，僅需要一個(gè)譯碼畫面的存儲(chǔ)。例如，在BE2被收到以前，IL2被譯碼和存儲(chǔ)，在此時(shí)間BE2能被譯碼和直接輸出以同時(shí)用IL2表示。
對(duì)在低層或增強(qiáng)層序列的第三個(gè)畫面而言，DTS和PTS能從隨后表4的傳送順序的DTSLi中加以確定PTSLi＝DTSLi+0.5F；DTSEi＝DTSLi+0.5F；和PTSEi＝PTSLi圖4示出了使用本發(fā)明系統(tǒng)的增強(qiáng)層畫面序列和第三基層畫面序列。這里，低層包括了I、P和B畫面，這里B畫面不是連續(xù)的。一樣的數(shù)部分對(duì)應(yīng)著圖2和3的成份。增強(qiáng)層200和先前討論的相同。一般用400給出的低層包括畫面序列PL0(402)，BL1(404)，IL2(406)，BL3(408)，PL4(410)，BL5(412)，PL6(414)，BL7(416)，IL8(418)，BL9(420)，PL10(422)，BL11(424)和PL12(426)。在IL2(406)和IL8(418)處開始GOP。
這里預(yù)測(cè)方案如下，請(qǐng)回憶，在基層中，B畫面是使用最接近先前的I或P畫面，和最接近隨后的I或P畫面進(jìn)行預(yù)測(cè)編碼的。這樣，在低層序列400中，例如，使用IL2和PL4對(duì)BL3進(jìn)行編碼。開始于IL2的依照本發(fā)明的適當(dāng)?shù)漠嬅鎮(zhèn)魉晚樞蚴荌L2，PL4，BE2，PE3，PL6，BL5，BE5，IL8，BL7，PE6，BE7，PL10，BL9，BE8，PE9，PL12，BL11，BE10，BE11等等(序列5)。替換地，另一個(gè)適當(dāng)?shù)膫魉晚樞蚴荌L2，BE2，PL4，BL3，PE3，BE4，PL6，BL5，BE5，PE6，IL8，BL7，BE7，BE8，PL10，BL9，PE9，BE10，PL12，BL11，BE11，IE12等等(序列6)。進(jìn)一步的適當(dāng)?shù)膫魉晚樞蚴荌L2，PL4，BE2，BL3，PE3，PL6，BE4，BL5，BE5，IL8，PE8，BL7，BE7，PL10，BE8，BL9，PE9，PL12，BE10，BL11，BE11等等(序列7)。
對(duì)于在低層或增強(qiáng)層序列內(nèi)的第三個(gè)畫面而言，DTS和PTS能從如下的DTSLi中確定。對(duì)于每一個(gè)畫面而言，畫面的表示被延遲了整數(shù)乘以跟隨的畫面的譯碼F的倍數(shù)。
例如，使用上面的第一傳送順序，即序列5，下面的表5描述了譯碼和表示的發(fā)生。
表5
這里，僅需要三個(gè)譯碼畫面的存儲(chǔ)，例如，在BE2被接收前，譯碼和存儲(chǔ)IL2，PL4和BL3,在此時(shí)間BE2能然后被譯碼和直接輸出以用IL2同時(shí)表示。
對(duì)于在低層或增強(qiáng)層序列內(nèi)的第i個(gè)畫面而言，對(duì)于表5的傳送順序，DTS和PTS能從下面的DTSLi中加以確定如下PTSLi＝DTSLi+(mod2(i+1)+1)1.5F，對(duì)于所有的i；DTSEi＝DTSLi+1.5F，對(duì)于i＝2；
DTSEi＝DTSLi+(1+mod2(i+1)F，對(duì)于i＞2；和PTSEi＝PTSLi，對(duì)于所有的i；這里，mod2(i)是對(duì)整數(shù)(i)求模2，使得當(dāng)i是偶數(shù)時(shí)mod2(i)＝0，當(dāng)i是奇數(shù)時(shí)mod2(i)＝1。
使用序列6時(shí)，在下面的表6描述了譯碼和表示的發(fā)生。
表6<
這里，僅需要兩個(gè)譯碼畫面的存儲(chǔ)。例如，在PE3被接收之前，譯碼和存儲(chǔ)PL4和BL3，在這時(shí)PE3被譯碼和直接輸出以同時(shí)用IL2表示。
對(duì)于低層或增強(qiáng)層序列的第三個(gè)畫面而言，對(duì)于表6的傳送順序，DTS和PTS能從DTSLi加以確定如下PTSLi＝DTSLi+F，對(duì)于i＝2；PTSLi＝DTSLi+(3mod2(i+1)+1)0.5F，對(duì)于i＞2；DTSEi＝DTSLi+0.5F，對(duì)于i＝2；DTSEi＝DTSLi+(1+2mod(i+1))0.5F，對(duì)于i＞2；和PTSEi＝PTSLi，對(duì)于所有的i。
使用序列7，下面的表7描述了譯碼和表示的發(fā)生。
表7
這里，僅需要存儲(chǔ)兩個(gè)譯碼的畫面，例如，在BE2被接收前譯碼和存儲(chǔ)IL2和PL4，在此期間BE2被譯碼和直接輸出以同時(shí)用IL2表示。
對(duì)于在低層或增強(qiáng)層序列的第i個(gè)畫面而言，對(duì)于表7的傳送順序，DTS和PTS能從DTSLi加以確定如下PTSLi＝DTSLi+F，對(duì)于i＝2；PTSLi＝DTSLi+(4mod2(i+1)+1)0.5F，對(duì)于i＞2；DTSEi＝DTSLi+F，對(duì)于i＝2；DTSEi＝DTSLi+(4mod2(i+1)+1)0.5F，對(duì)于i＞2；和PTSEi＝PTSLi，對(duì)于所有的i。
圖5示出了使用本發(fā)明系統(tǒng)的增強(qiáng)層畫面序列和第四基層畫面序列。這里，低層包括了I，P和B畫面，具有兩個(gè)連續(xù)的B畫面。一樣的數(shù)字部件對(duì)應(yīng)著圖2-4的部件。增強(qiáng)層200和先前討論的相同。一般用500標(biāo)出的低層包括圖面序列BL0(502)，BL1(504)，IL2(506)，BL3(508)，BL4(510)，PL5(512)，BL6(514)，BL7(516)，IL8(518)，BL9(520)，BL10(522)，PL11(524)和BL12(526)。在IL2(506)和IL8(518)處開始GOP。
在IL2開始的依照本發(fā)明的適當(dāng)?shù)漠嬅鎮(zhèn)魉晚樞蚴荌L2，PL5，BL3，BE2，BL4，PE4，BE4，IL8，BL6，BE5，BL7，PE6，BE7，PL11，BL9，BE8，BL10，PE9，BE10等等(序列8)使用這個(gè)傳送順序，下面的表8描述了譯碼和表示的發(fā)生。
表8
這里，僅需要存儲(chǔ)三個(gè)譯碼的畫面。例如，在BE2被接收前，譯碼和存儲(chǔ)IL2，PL5，和BL3，在這個(gè)時(shí)間BE2被譯碼和直接輸出以同時(shí)用IL2加以表示。
對(duì)于在低層或增強(qiáng)層序列的第i個(gè)畫面而言，對(duì)于表8的傳送順序，DTS和PTS能從DTSLi中確定如下PTSLi＝DTSLi+1.5F，對(duì)于i＝2；PTSLi＝DTSLi+(5mod2(mod3(i-1))+3)0.5F，對(duì)于i＞2；DTSEi＝DTSLi+1.5F，對(duì)于i＝2；DTSEi＝DTSLi+(3-mod2(mod3(i))+5mod2(mod3(i-1))0.5F，對(duì)于i＞2；和PTSEi＝PTSLi，對(duì)于所有的i。這里mod3(i)是對(duì)整數(shù)i求模3，使得當(dāng)i＝0+3n時(shí)mod2(i)＝0，當(dāng)i＝1+3n時(shí)，mod3(i)＝1，和當(dāng)i＝2+3n，n＝0，1，2，3等等時(shí)，mod3(i)＝2。
替換地，另一個(gè)適當(dāng)?shù)膫魉晚樞蚴荌L2，BE2，PL5，BL3，PE3，BL4，BE4，BE5，IL8，BL6，PE6，BL7，BE7，BE8，PL11，BL9，PE9，BL10，BE10，BE11等等(序列9)。使用這種傳送順序，下面的表9描述了譯碼和表示的發(fā)生。
表9
這里，僅需要存儲(chǔ)兩個(gè)譯碼的畫面，例如，在PL5被接收以前，譯碼和存儲(chǔ)IL2和BE2，在此時(shí)間輸出BE2和IL2以同時(shí)表示。
對(duì)于在低層或增強(qiáng)層序列的第i個(gè)畫面而言，對(duì)于傳送順序表9，DTS和PTS可以從DTSLi加以推導(dǎo)如下PTSLi＝DTSLi+F，對(duì)于i＝2；PTSLi＝DTSLi+(5mod2(mod3(i-1))+1)0.5F，對(duì)于i＞2；DTSEi＝DTSLi+0.5F，對(duì)于i＝2；DTSEi＝DTSLi+(5mod2(mod3(i-1))+1)0.5F，對(duì)于i＞2；和PTSEi＝PTSLi，對(duì)于所有的i。
進(jìn)一步適當(dāng)?shù)膫魉晚樞蚴荌L2，PL5，BE2，BL3，PE3，BL4，BE4，IL8，BE5，BL6，PE6，BL7，BE7，PL11，BE5，BL9，PE9，BL10，BE10等等(序列10)。使用這樣的序列，下面的表10描述了譯碼和表示的發(fā)生。
表10
這里，只需要存儲(chǔ)兩個(gè)譯碼的畫面，例如，在BE2被接收之前，譯碼和存儲(chǔ)IL2和PL5，在此時(shí)間BE2被譯碼和直接輸出以用IL2同時(shí)表示。
對(duì)于在低層或增強(qiáng)層序列的第i個(gè)畫面而言，對(duì)于表10的傳送順序，DTS和PTS能由DTSLi加以表示如下PTSLi＝DTSLi+F，對(duì)于i＝2；PTSLi＝DTSLi+(6mod2(mod3(i-1))+1)0.5F，對(duì)于i＞2；DTSEi＝DTSLi+F，對(duì)于i＝2；DTSEi＝DTSLi+(6mod2(mod3(i-1))+1)0.5F，對(duì)于i＞2；和PTSEi＝PTSLi，對(duì)于所有的i。
注意，在上述序列1-10的每一個(gè)情況下，假定順序譯碼，當(dāng)使用平行譯碼時(shí)，PTS和DTS之間的關(guān)系以更一般的方式為特征。特定情況下，當(dāng)?shù)蛯記]有B畫面時(shí)而僅有I和/或P畫面時(shí)，在兩層內(nèi)的所有畫面以表示的順序到達(dá)譯碼器。這樣，對(duì)在低層或增強(qiáng)層序列的第i個(gè)畫面而言，DTS和PTS能DTSLi加以確定如下PTSLi＝DTSLi+F；DTSEi＝DTSLi+F；和PTSEi＝PTSLi。
下面表11示出的實(shí)例給出了這種關(guān)系。DTSLi和DTSL(i-I)之間的差是F。
表11
例如，參看序列1并結(jié)合上面圖2討論，下面表12示出了譯碼和表示的發(fā)生。
當(dāng)?shù)蛯硬痪哂羞B續(xù)B畫面時(shí)，DTS和PTS由DTSLi加以確定如下。如果低層的第i個(gè)畫面是由帶有“閉合GOP”指示器的I畫面，或是由這樣I畫面跟隨的P畫面時(shí)，那么PTSLi＝DTSLi+2F。如果低層內(nèi)的第i個(gè)畫面是P畫面，或“打開GOP”的I畫面，和第(i+1)畫面不是帶有“閉合GOP”的I畫面，那末PTSLi=DTSLi+3F。如果低層的第I畫面是B畫面，那末PTSLi＝DTSLi+F對(duì)于增強(qiáng)層而言，DTSEi＝DTSLi+2F和PTSEi=DTSLi+2F。注意，在MPEG-2的視頻協(xié)議書中，一組的畫面頭是包括在GOP的開始和由一位指示器加以設(shè)置，閉合gop(組)＝0，而當(dāng)閉合gop(組)＝1時(shí)指示閉合的GOP，一打開GOP的I畫面依照譯碼的順序象P畫面一樣處理。下面表13實(shí)例示出了在低層內(nèi)的非連續(xù)B畫面的譯碼和表示。
表13
在特定的例子中，按顯示順序的低層序列是IL0，BL1，PL2，BL3，PL4BL5，IL6，IL7等等。按顯示和傳送順序的增強(qiáng)層序列是PE0，BE1，BE2，BE3，BE4，BE5，PE6，PE7等等。依照本發(fā)明的一個(gè)可能的傳送順序是IL0，PL2，BL1，PE0，PL4，BE1，BL3，BE2，IL6，BE3，BL5，BE4，IL7，BE5等等。所示的表14能夠確定DTS和PTS。
低層的兩個(gè)連續(xù)B畫面的譯碼和表示由下面的表15作為實(shí)例給出。
表15
在特定的實(shí)例中，按顯示順序的低層序列是IL0，BL1，BL2，PL3，BL4，BL5，IL6，IL7等等。按顯示和傳送順序的增強(qiáng)層序列是PE0，BE1，BE2，BE3，BE4，BE5，PE6，PE7等等。依照本發(fā)明的一個(gè)可能的傳送順序是IL0，PL3，BL1，PE0，BL2，BE1，IL6，BE2，BL4，BE3，BL5，BE4，IL7，BE5等等。示出的表16可以確定DTS和PTS。
表16
應(yīng)用到幀模式視頻的上述規(guī)則可以一般化到電影模式的相應(yīng)情況。
圖6是立體視頻的增強(qiáng)層譯碼器結(jié)構(gòu)的框圖。一般用130示出的譯碼器包括輸入端605以接收壓縮的增強(qiáng)層數(shù)據(jù)，和傳送水平的語法分析程序610以分析數(shù)據(jù)。分析的數(shù)據(jù)提供給可以包括中央處理單元的存儲(chǔ)器管理器630。存儲(chǔ)器管理器630和例如可以包括動(dòng)態(tài)隨機(jī)存取的存儲(chǔ)器(ORAM)的存儲(chǔ)器620通訊。存儲(chǔ)器管理器630也和恢復(fù)/預(yù)測(cè)處理器640通訊，和通過端口650接收可以臨時(shí)存儲(chǔ)在存儲(chǔ)器620內(nèi)的譯碼的低層數(shù)據(jù)以在對(duì)差異預(yù)測(cè)的增強(qiáng)層畫面譯碼時(shí)由處理器640連續(xù)地使用。
恢復(fù)/預(yù)測(cè)處理器640提供各種處理功能，例如錯(cuò)誤檢測(cè)和校正，運(yùn)動(dòng)矢量譯碼，逆量化，逆離散余弦變換，Huffman譯碼和預(yù)測(cè)計(jì)算。在由恢復(fù)/預(yù)測(cè)功能640處理之后，由存儲(chǔ)器管理器輸出譯碼的增強(qiáng)層數(shù)據(jù)。替換地，譯碼的數(shù)據(jù)通過未示出的裝置直接從恢復(fù)/預(yù)測(cè)功能640輸出。
對(duì)于低層也可以使用類似的結(jié)構(gòu)。進(jìn)而，增強(qiáng)層和低層譯碼器可以共享硬件。例如，可以共享存儲(chǔ)器620和處理器640。然而，使用平行譯碼時(shí)，這是不可能的。提供共同的時(shí)鐘信號(hào)(未示出)，使得依照這里公開的傳送順序協(xié)調(diào)譯碼。特別是，在接收預(yù)測(cè)的畫面數(shù)據(jù)之前，這將必須臨時(shí)存儲(chǔ)用來預(yù)測(cè)差異預(yù)測(cè)增強(qiáng)層畫面而使用的低層畫面，或其它低層畫面。依照本發(fā)明，在譯碼前必需存儲(chǔ)的畫面數(shù)被最小化，因此允許減少存儲(chǔ)器的尺寸。
如所見，本發(fā)明提供了立體視頻畫面順序的有優(yōu)點(diǎn)的畫面?zhèn)魉头桨?。特別是，以這樣的順序傳送畫面，使得必需在表示前臨時(shí)存儲(chǔ)的畫面數(shù)被最小化。然而，這里公開的傳送順序的實(shí)例和MPEG-2，MVP協(xié)議書，和提出的MPEG-4協(xié)議書相兼容。進(jìn)而，可以確定每個(gè)畫面的譯碼時(shí)間章(DTS)和表示時(shí)間章(PTS)以提供在譯碼器內(nèi)的低層和增強(qiáng)層畫面之間的同步。依照是否譯碼是順序的或并聯(lián)的，和是否低層沒有B畫面，或有非連續(xù)的B畫面，或有兩個(gè)連續(xù)的B畫面而設(shè)置DTS和PTS。
雖然結(jié)合各種特定的實(shí)施例已經(jīng)描述了發(fā)明，對(duì)此可以做出各種適用和修改而不脫離權(quán)利要求書中給出的本發(fā)明的精神和范圍，這對(duì)本領(lǐng)域的普通技術(shù)人員而言是受歡迎的。例如，這里公開的方案可以采用不同于這里特別示出的其它的低層和增強(qiáng)層序列，這對(duì)該領(lǐng)域的普通技術(shù)人員而言是受歡迎的。
權(quán)利要求
1.排列傳送到譯碼器的立體視頻信號(hào)的在低層和增強(qiáng)層內(nèi)的視頻畫面序列的方法，所說的增強(qiáng)層包括使用相應(yīng)低層畫面進(jìn)行預(yù)測(cè)的差異預(yù)測(cè)畫面，該方法包括步驟為排列所說視頻畫面，在所說的相應(yīng)的有關(guān)的低層畫面之后傳送所說差異預(yù)測(cè)增強(qiáng)層畫面。
2.權(quán)利要求1的方法，其中，僅包括內(nèi)編碼畫面(I畫面)的所說低層包括連續(xù)畫面ILi，ILi+1，和ILi+2，和相應(yīng)的增強(qiáng)層畫面分別表示為HEi，HEi+1，和Hei+2，該方法進(jìn)而包括的步驟是排列所說視頻畫面，使它們按照如下順序傳送ILi，ILi+1，HEi，ILi+2。
3.權(quán)利要求1的方法，其中，僅包括內(nèi)編碼畫面(I畫面)的所說低層包括連續(xù)畫面ILi和ILi+1和相應(yīng)的增強(qiáng)層畫面分別表示為HEi和HEi+1，該方法進(jìn)一步包括步驟是排列所說視頻畫面，使得它們以下面順序傳送ILi，HEi，ILi+1，HEi+1。
4.權(quán)利要求1的方法，其中，僅包括內(nèi)編碼畫面(I畫面)和預(yù)測(cè)編碼畫面(P畫面)的所說低層包括連續(xù)的畫面ILi，PLi+1，和PLi+2，和相應(yīng)的增強(qiáng)層畫面分別被表示為HEi，HEi+1，和HEi+2，該方法進(jìn)而包括步驟是排列所說視頻畫面，使得它們按下面順序傳送ILi，PLi+1，HEi，PLi+2。
5.權(quán)利要求1的方法，其中，僅包括內(nèi)編碼畫面(I畫面)和預(yù)測(cè)編碼畫面(P畫面)的所說低層包括連續(xù)畫面ILi和ILi+1，和相應(yīng)的增強(qiáng)層畫面分別表示為HEi和HEi+1，該方法進(jìn)而包括以下步驟排列所說視頻畫面，使得它們按下面順序傳送ILi，HEi，PLi+1，HEi+1。
6.權(quán)利要求1的方法，包括內(nèi)編碼畫面(I畫面)，預(yù)測(cè)編碼畫面(P畫面)和非連續(xù)雙向預(yù)測(cè)編碼畫面(B畫面)的所說低層包括連續(xù)畫面ILi，BLi+1和PLi+2，和相應(yīng)的增強(qiáng)層畫面分別表示為HEi，HEi+1，和HEi+2，該方法進(jìn)而包括步驟是排列所說視頻畫面，使得它們按下面順序傳送ILi，PLi+2，BLi+1，HEi，HEi+1。
7.權(quán)利要求1的方法，其中，包括內(nèi)編碼畫面(I畫面)，預(yù)測(cè)編碼畫面(P畫面)和非連續(xù)雙向預(yù)測(cè)編碼畫面(B畫面)的所說低層包括連續(xù)畫面ILi，BLi+1，和PLi+2，和相應(yīng)增強(qiáng)層畫面分別表示為HEi，HEi+1，和HEi+2，該方法進(jìn)而包括步驟是排列所說視頻畫面，使得它們按下面順序傳送ILi，HEi，PLi+2，BLi+1，HEi+1，HEi+2。
8.權(quán)利要求1的方法，包括內(nèi)編碼畫面(I畫面)，預(yù)測(cè)編碼畫面(P畫面)和非連續(xù)雙向預(yù)測(cè)編碼畫面(B畫面)的低層包括連續(xù)畫面ILi，BLi+1和PL+2和相應(yīng)的增強(qiáng)層畫面分別表示為HEi，HEi+1，和HEi+2，該方法進(jìn)而包括步驟是排列所說視頻畫面，使得它們按下面順序傳送ILi，PLi+2，HEi，BLi+1，Hei+1。
9.權(quán)利要求1的方法，其中，包括內(nèi)編碼畫面(I畫面)，預(yù)測(cè)編碼畫面(P畫面)，和連續(xù)雙向預(yù)測(cè)編碼畫面(B畫面)的所說低層包括連續(xù)畫面ILi，BLi+1，BLi+2和PLi+3，和相應(yīng)的增強(qiáng)層畫面分別表示為HEi，HEi+1，HEi+2，和HEi+3，該方法進(jìn)而包括步驟是排列所說視頻畫面，使得它們按下面順序傳送ILi，PLi+3，BLi+1，HEi，BLi+2，HEi+1，HEi+2。
10.權(quán)利要求1的方法，包括內(nèi)編碼畫面(I畫面)，預(yù)測(cè)編碼畫面(P畫面)和連續(xù)的雙向預(yù)測(cè)編碼畫面(B畫面)的所說低層包括連續(xù)畫面ILi，BLi+1，BLi+2，和PLi+3，和相應(yīng)的增強(qiáng)層畫面分別表示為HEi，HEi+1，HEi+2，和Hei+3，該方法進(jìn)而包括步驟是排列所說視頻畫面，使得它們按以下順序傳送ILi，HEi，PLi+3，BLi+1，HEi+1，BLi+2，HEi+2，HEi+3。
11.權(quán)利要求1的方法，包括內(nèi)編碼畫面(I畫面)，預(yù)測(cè)編碼畫面(P畫面)，和連續(xù)的雙向預(yù)測(cè)編碼畫面(B畫面)的所說低層包括連續(xù)畫面ILi，BLi+1，BLi+2，和PLi+3，和相應(yīng)的增強(qiáng)層畫面分別表示為HEi，HEi+1，HEi+2，和HEi+3，該方法進(jìn)而包括步驟是排列所說視頻畫面，使得它們按以下順序傳送ILi，PLi+3，HEi，BLi+1，HE1+1，BLi+2，HEi+2。
12.對(duì)立體視頻信號(hào)的在低層和增強(qiáng)層的并行視頻畫面序列進(jìn)行譯碼的方法，其中，所說的低層至少包括內(nèi)編碼畫面(I畫面)和預(yù)測(cè)編碼畫面的一種但并不包括雙向預(yù)測(cè)編碼畫面(B畫面)，該方法包括步驟是提供帶有譯碼時(shí)間章(DTS)和表示時(shí)間章(PTS)以分別指示譯碼的時(shí)間和表示每一所說的畫面，其中第i低層畫面的DTS是DTSLi；第i低層畫面的PTS是PTSLi；第i增強(qiáng)層畫面的DTS是DTSHi；第i增強(qiáng)層畫面的PTS是PTSHi；F是連續(xù)畫面表示之間的時(shí)間間隔；和PTSLi＝DTSHi＝PTSHi＝DTSLi+F
13.對(duì)立體視頻信號(hào)的在低層和增強(qiáng)層的并行視頻畫面序列進(jìn)行譯碼的方法，其中所說的低層包括非連續(xù)雙向預(yù)測(cè)編碼畫面(B畫面)，該方法包括步驟是提供帶有譯碼時(shí)間章(DTS)和表示時(shí)間章(PTS)的所說畫面，以分別指示譯碼的時(shí)間和表示每一所說的畫面；其中第i低層畫面的DTS是DTSLi；第i低層畫面的PTS是PTSLi；第i增強(qiáng)層畫面的DTS是DTSHi；第i增強(qiáng)層畫面的PTS是PTSHi；F是連續(xù)畫面表示之間的時(shí)間間隔；和當(dāng)?shù)趇低層畫面是帶有閉合GOP指示器的內(nèi)編碼畫面(I畫面)時(shí)，PTSLi＝DTSLi+2F。
14.權(quán)利要求13的方法，其中當(dāng)?shù)趇低層畫面是預(yù)測(cè)編碼畫面(P畫面)和第(i+1)低層畫面是帶有閉合GOP指示器的I畫面時(shí)，PTSLi＝DTSLi+2F。
15.權(quán)利要求13或14的方法，其中當(dāng)?shù)趇低層畫面是P畫面指示器和第i+1低層畫面不是帶閉合GOP指示器的I畫面時(shí)，PTSLi＝DTSLi+3F。
16.權(quán)利要求13至15之一的方法，其中當(dāng)?shù)趇低層畫面是帶有打開GOP指示器的I畫面及第(i+1)低層畫面不是帶閉合GOP指示器的I畫面時(shí)，PTSLi＝DTSLi+3F。
17.權(quán)利要求13至16之一的方法，其中當(dāng)?shù)趇低層畫面是B畫面時(shí)，PTSLi＝DTSLi+F。
18.權(quán)利要求13的方法，其中DTSHi＝PTSHi＝PTSLi＝DTSLi+2F
19.對(duì)立體視頻信號(hào)的在低層和增強(qiáng)層內(nèi)的并行視頻畫面進(jìn)行譯碼的方法，其中所說的低層至少包括一組兩個(gè)連續(xù)的雙向預(yù)測(cè)編碼畫面(B畫面)，該方法包括步驟是提供帶有譯碼時(shí)間章(DTS)和表示時(shí)間章(PTS)的畫面，以分別指示譯碼的時(shí)間和表示每一所說的畫面；其中第i低層畫面的DTS是DTSLi；第i低層畫面的PTS是PTSLi；第i增強(qiáng)層畫面的DTS是DTSHi；第i增強(qiáng)層畫面的PTS是PTSHi；F是連續(xù)畫面的表示之間的時(shí)間間隔；和當(dāng)?shù)趇低層畫面是帶有閉合GOP指示器的內(nèi)編碼畫面(I畫面)時(shí)，PTSLi＝DTSLi+2F。
20.權(quán)利要求19的方法，其中當(dāng)?shù)趇低層畫面是預(yù)測(cè)編碼畫面(P畫面)和第i+1低層畫面是帶有閉合GOP指示器的I畫面時(shí)，PTSLi＝DTSLi+2F。
21.權(quán)利要求19或20的方法，其中當(dāng)?shù)趇低層畫面是P畫面指示器和第i+1低層畫面不是帶有閉合GOP指示器的I畫面時(shí)，PTSLi＝DTSLi+4F。
22.權(quán)利要求19至21之一的方法，其中當(dāng)?shù)趇低層畫面是帶有打開GOP指示器的I畫面和第i+1低層畫面不是帶有閉合GOP指示器的I畫面時(shí)，PTSLi＝DTSLi+4F。
23.權(quán)利要求19至22之一的方法，其中當(dāng)?shù)趇低層畫面是B畫面時(shí)，PTSLi＝DTSLi+F。
24.權(quán)利要求19的方法，其中DTSHi＝PTSHi＝PTSLi＝DTSLi+2F
全文摘要
在立體視頻傳送系統(tǒng)中,低層和增強(qiáng)層的視頻畫面以特定的順序傳送,使得先于表示的臨時(shí)存儲(chǔ)的畫面數(shù)被最小化。進(jìn)而,每一畫面的譯碼的時(shí)間章(DTS)和表示的時(shí)間章(PTS)能被確定以提供低層和增強(qiáng)層畫面之間的同步?？梢皂樞虻幕虿⒙?lián)地進(jìn)行譯碼。特別是,提供一方法,其中增強(qiáng)層包括使用相應(yīng)低層畫面預(yù)測(cè)的差異預(yù)測(cè)畫面。視頻畫面被排序,使得在相應(yīng)的有關(guān)的低層畫面之后傳送差異預(yù)測(cè)的增強(qiáng)層畫面,該方案以大量不同的特定實(shí)例示出。
文檔編號(hào)H04N13/00GK1187734SQ9712528
公開日1998年7月15日 申請(qǐng)日期1997年10月24日 優(yōu)先權(quán)日1996年10月24日
發(fā)明者陳學(xué)敏 申請(qǐng)人:次級(jí)系統(tǒng)有限公司