本實施例總體上涉及視頻編碼和視頻解碼，具體涉及在該視頻編碼和視頻解碼期間引入和使用依賴型隨機訪問點。

背景技術：

通過互聯(lián)網(wǎng)、廣播網(wǎng)絡和移動網(wǎng)絡發(fā)送的視頻數(shù)據(jù)量每年都在增加。這種趨勢受到了如Netflix、Hulu和YouTube等OTT(over the top)服務的使用量增加以及對高質(zhì)量視頻和更靈活的看電視和其他視頻服務的方式的需求增長的推動。

為了跟上視頻日益增加的比特率需求，良好的視頻壓縮至關重要。最近，JCT-VC與MPEG合作開發(fā)了第1版的高效率視頻編碼(HEVC)視頻編解碼器，與其前身AVC/H.264相比，可以有效地針對相同質(zhì)量將比特率降低一半。

HEVC(也稱為H.265)是利用時間和空間預測的基于塊的視頻編解碼器。使用來自當前畫面內(nèi)的幀內(nèi)(I)預測來實現(xiàn)空間預測。僅由幀內(nèi)編碼塊組成的畫面被稱為I畫面。在塊一級使用幀間預測(P)(也稱為單預測性預測)或雙向幀間預測(B)(也稱為雙預測性預測)來實現(xiàn)時間預測。在幀間預測中，從單個在先解碼的畫面進行預測。在雙向幀間預測中，從兩個預測的組合進行預測，這兩個預測可以參考相同的在先解碼的畫面或兩個不同的在先解碼的畫面。在先解碼的畫面在當前畫面之前被解碼，并且按顯示時間(輸出順序)可以在當前畫面之前或之后。包含至少一個幀間編碼塊但不包含雙向編碼幀間塊的畫面被稱為P畫面。包含至少一個雙向幀間塊的畫面被稱為B畫面。P畫面和B畫面兩者也可以包含幀內(nèi)編碼塊。對于典型的塊，與幀間編碼相比，幀內(nèi)編碼比特成本通常要高得多，而幀間編碼通常比雙預測性編碼成本更高。

瞬時解碼刷新(IDR)畫面是以下I畫面：對于該I畫面，后續(xù)畫面可以不參考在IDR畫面之前的畫面。凈隨機訪問(CRA)畫面是以下I畫面：其允許隨機訪問跳過超前(RASL)畫面參考依解碼順序在CRA畫面之后且依顯示或輸出順序在CRA畫面之前的畫面。在解碼開始于CRA畫面的情況下，RASL畫面必須被丟棄，因為它們被允許根據(jù)在CRA畫面之前的畫面進行預測，而其在CRA畫面用于隨機訪問時可能不可用于預測。斷鏈訪問(BLA)畫面是用于指示比特流中的拼接點的I畫面?？梢酝ㄟ^將第一比特流中的CRA畫面的畫面類型改變?yōu)锽LA畫面以及將流拼接在另一比特流的適當位置處來執(zhí)行比特流拼接操作。

幀內(nèi)隨機訪問點(IRAP)畫面可以是IDR、CRA或BLA畫面中的任何一個。所有IRAP畫面保證依照解碼和輸出順序在IRAP后的畫面不參考依照解碼順序在IRAP畫面之前的任何畫面。比特流的第一個畫面必須是IRAP畫面，但在整個比特流中可能有許多其他IRAP畫面。IRAP畫面提供了調(diào)諧到視頻比特流的可能性，例如當開始觀看電視或從一個電視頻道切換到另一個電視頻道時。IRAP畫面還可以用于在視頻剪輯中進行搜索，例如通過使用視頻播放器的控制條來移動播放位置。此外，在視頻比特流中存在差錯或丟失的情況下，IRAP畫面提供視頻的刷新。

特殊的屏幕內(nèi)容服務(例如屏幕共享和屏幕監(jiān)控)正變得越來越流行。屏幕內(nèi)容對視頻編碼提出了不同于一般視頻內(nèi)容的要求。屏幕內(nèi)容通常包括具有銳利邊緣的窗口、圖形和文本、不同的顏色，并且往往具有長時間不更新的視頻畫面區(qū)域。

圖1示出了具有窗口的典型屏幕內(nèi)容場景。對于該特定場景，背景和一些窗口(如瀏覽器窗口和命令行窗口)很少改變，而左上角的視頻窗口和左下角的Matlab仿真可以針對每個畫面而改變。

在第1版HEVC的開發(fā)期間，沒有明確解決屏幕內(nèi)容編碼的特殊特性。因此，JCT-VC現(xiàn)在正在開發(fā)HEVC的擴展，明確針對屏幕內(nèi)容編碼。

如上所述，可以使用以周期性方式插入的IRAP畫面來實施差錯魯棒性。對于低延遲視頻場景，使用周期性幀內(nèi)塊更新的也是常見的，其以周期性方式刷新使用幀內(nèi)塊編碼的視頻圖像的每個塊，一次刷新一個塊或幾個塊。隨著時間推移，視頻圖像中的所有塊已被幀內(nèi)刷新。然而，對于運動視頻，差錯仍然可能長時間地傳播，因為幀內(nèi)塊并不都同時被更新。

在HEVC及其前身中，編碼畫面可以被劃分為片，其中每個片可以包含一個或多個編碼樹單元(CTU)。每個片與其他片獨立地編碼。盡管片工具的主要優(yōu)勢是提供并行編碼和解碼，但該工具還提供一定程度的差錯魯棒性，因為差錯不會越過片邊界傳播。

在屏幕內(nèi)容場景中，周期性IRAP和周期性幀內(nèi)塊更新的問題是所有塊都被刷新，無論該塊自從上次刷新以來是否已改變。對于具有長時間未更新的部分的視頻(例如屏幕內(nèi)容)，這種編碼方式在比特方面變得不必要地高成本，因為幀內(nèi)編碼在比特成本方面通常非常高。

關于周期性幀內(nèi)塊更新的另一問題是，運動視頻中產(chǎn)生的差錯可能隨時間傳播，因為通常一次僅更新幾個塊。

技術實現(xiàn)要素：

總體目的是提供一種有效的視頻編碼和視頻解碼。

具體目的是在視頻比特流中提供一種新型隨機訪問點。

本文公開的實施例滿足這些目的和其他目的。

實施例的一個方面涉及一種對視頻比特流進行解碼的方法，包括對視頻比特流的幀內(nèi)隨機訪問點(IRAP)畫面進行解碼。該方法還包括使用IRAP畫面和/或視頻比特流中根據(jù)解碼順序在依賴型隨機接入點(DRAP)畫面之前的在先DRAP畫面作為該DRAP畫面的僅有的參考畫面，將視頻比特流的DRAP畫面解碼為時間預測畫面。DRAP畫面構成視頻比特流中的隨機訪問點。

實施例的相關方面定義了一種對視頻比特流進行解碼的解碼器。解碼器被配置為對視頻比特流的IRAP畫面進行解碼。解碼器還被配置為使用IRAP畫面和/或視頻比特流中根據(jù)解碼順序的在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將視頻比特流的DRAP畫面解碼為時間預測畫面。DRAP畫面構成視頻比特流中的隨機訪問點。

實施例的另一相關方面定義了一種對視頻比特流進行解碼的解碼器，該解碼器包括用于對視頻比特流的IRAP畫面進行解碼的IRAP解碼器。解碼器還包括DRAP解碼器，所述DRAP解碼器使用IRAP畫面和/或視頻比特流中根據(jù)解碼順序的在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將視頻比特流的DRAP畫面解碼為時間預測畫面。DRAP畫面構成視頻比特流中的隨機訪問點。

實施例的另一方面涉及一種對視頻流進行編碼的方法。該方法包括使用IRAP畫面和/或視頻流中根據(jù)解碼順序的在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將視頻流的DRAP畫面編碼為時間預測畫面。DRAP畫面構成視頻流的編碼畫面的視頻比特流中的隨機訪問點。

實施例的相關方面定義了一種對視頻流進行編碼的編碼器。編碼器被配置為對視頻流的IRAP畫面進行編碼。該編碼器還被配置為使用IRAP畫面和/或視頻流中根據(jù)解碼順序的在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將所述視頻流的DRAP畫面編碼為時間預測畫面。DRAP畫面構成視頻流的編碼畫面的視頻比特流中的隨機訪問點。

實施例的另一相關方面定義了一種對視頻流進行編碼的編碼器。該編碼器包括對視頻流的IRAP畫面進行編碼的IRAP編碼器。該編碼器還包括DRAP編碼器，所述DRAP編碼器使用IRAP畫面和/或視頻流中根據(jù)解碼順序的在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將視頻流的DRAP畫面編碼為時間預測畫面。DRAP畫面構成視頻流的編碼畫面的視頻比特流中的隨機訪問點。

實施例的另一方面涉及一種包括指令的計算機程序，所述指令當被處理器執(zhí)行時使得所述處理器對視頻比特流的IRAP畫面進行解碼。還使得所述處理器使用IRAP畫面和/或視頻比特流中根據(jù)解碼順序的在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將視頻比特流的DRAP畫面解碼為時間預測畫面。DRAP畫面構成視頻比特流中的隨機訪問點。

實施例的又一方面涉及一種包括指令的計算機程序，所述指令當被處理器執(zhí)行時使得所述處理器對視頻流的IRAP畫面進行編碼。還使得所述處理器使用IRAP畫面和/或視頻流中根據(jù)解碼順序的在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將所述視頻流的DRAP畫面編碼為時間預測畫面。DRAP畫面構成視頻流的編碼畫面的視頻比特流中的隨機訪問點。

實施例的相關方面定義了一種包括如上所述的計算機程序的載體。該載體是電子信號、光信號、電磁信號、磁信號、電信號、無線電信號、微波信號或計算機可讀存儲介質(zhì)之一。

本實施例在視頻比特流中提供一種可用于執(zhí)行隨機訪問操作的新型隨機訪問點(RAP)畫面。該RAP畫面是依賴型RAP(DRAP)畫面，這意味著它是使用在先IRAP畫面和/或在先DRAP畫面作為僅有的參考畫面來編碼和解碼的時間預測畫面。因此，與IRAP畫面相比，DRAP畫面可以以顯著更低的比特成本來表示，但是仍構成視頻比特流中的RAP。

附圖說明

通過參考以下結合附圖的描述，能夠最佳地理解實施例及其更多的目的和優(yōu)點，其中：

圖1示出了典型的屏幕內(nèi)容的示例；

圖2是示出根據(jù)實施例的對視頻比特流進行解碼的方法的流程圖；

圖3是示出圖2所示方法的附加、可選步驟的流程圖；

圖4是示出圖2所示方法的附加、可選步驟的流程圖；

圖5是示出了根據(jù)實施例的對視頻比特流進行編碼的方法的流程圖；

圖6是示出圖5所示方法的附加、可選步驟的流程圖；

圖7是示出圖5所示方法的附加、可選步驟的流程圖；

圖8是示出圖5所示方法的附加、可選步驟的流程圖；

圖9是示出圖5所示方法的附加、可選步驟的流程圖；

圖10是示出根據(jù)實施例的對視頻比特流進行編碼的處理的流程圖；

圖11示出了根據(jù)實施例的使用DRAP畫面的編碼模式的示例；

圖12示出了根據(jù)另一實施例的使用DRAP畫面的編碼模式的示例；

圖13示出了根據(jù)實施例的隱藏丟失的沒有偽像的IRAP畫面的示例；

圖14示出了典型的屏幕內(nèi)容和將視頻畫面劃分為三個片的示例；

圖15是示出實施例的突出顯示組件的框圖；

圖16是根據(jù)實施例的編碼器和解碼器的示意性概要圖；

圖17是根據(jù)實施例的解碼器的示意框圖；

圖18是根據(jù)另一實施例的解碼器的示意性框圖；

圖19是根據(jù)另一個實施例的解碼器的示意框圖；

圖20是根據(jù)實施例的編碼器的示意框圖；

圖21是根據(jù)另一個實施例的編碼器的示意框圖；

圖22是根據(jù)另一個實施例的編碼器的示意框圖；以及

圖23示意性地示出了根據(jù)實施例的計算機程序?qū)崿F(xiàn)方式。

具體實施方式

附圖中，將相同的附圖標記用于類似或?qū)囊亍?/p>

本實施例總體上涉及視頻編碼和視頻解碼，具體涉及在該視頻編碼和視頻解碼期間引入和使用依賴型隨機訪問點。

實施例引入了關于視頻編碼和解碼中的隨機防問點(RAP)的新概念。實施例的RAP畫面不同于通常被用作視頻比特流中的RAP點的IRAP畫面。IRAP畫面是可獨立解碼的，即，不使用任何參考畫面。實施例的RAP是具有依賴型隨機訪問點(DRAP)畫面形式的依賴型RAP。因此，實施例的DRAP畫面是不可獨立解碼的(即DRAP畫面使用至少一個參考畫面)，但仍構成視頻比特流內(nèi)的RAP。與IRAP畫面相比，可以使用明顯更少的比特來對DRAP畫面進行編碼和表示。因此，實施例的DRAP畫面可以用于減少視頻比特流的總比特成本，或者可以用于增加視頻比特流中的RAP的總數(shù)而不增加總比特成本。

DRAP畫面與其他非IRAP畫面的不同之處在于，DRAP畫面在其可以使用的參考畫面方面受到更多限制。這些限制使得DRAP畫面能夠用于隨機訪問操作。隨機訪問操作是不從視頻比特流的開頭開始解碼的情況。相反，在視頻比特流內(nèi)被識別為隨機訪問點的點處的某個位置開始解碼。隨機訪問操作的示例包括調(diào)諧到廣播電視流，即，開始觀看電視或從一個電視頻道切換到另一個電視頻道的情況。

圖2是示出根據(jù)實施例的對視頻比特流中的畫面進行解碼的方法的流程圖。該方法包括在步驟S1中對視頻比特流的IRAP畫面進行解碼。該方法然后繼續(xù)到步驟S2，步驟S2包括使用IRAP畫面和/或視頻比特流中根據(jù)解碼順序的在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將視頻比特流的DRAP畫面解碼為時間預測畫面。步驟S2中解碼的DRAP畫面構成視頻比特流中的隨機訪問點。

步驟S2中解碼的DRAP畫面是時間預測畫面。這意味著使用時間預測對其進行解碼，即，使用至少一個參考畫面作為預測基礎來解碼DRAP畫面，并且其中所述至少一個參考畫面按解碼順序位于該DRAP畫面之前。因此，就解碼順序而言，DRAP畫面和所述至少一個參考畫面之間存在時間距離。

這與步驟S1中被解碼的IRAP畫面明顯不同。IRAP畫面是可獨立解碼的畫面，因而不使用任何參考畫面來解碼IRAP畫面。因此，IRAP畫面可以相應地被認為是幀內(nèi)預測或空間預測畫面。這意味著使用同一IRAP畫面內(nèi)的已解碼塊對IRAP畫面中塊(即幀內(nèi)塊)進行解碼。

如上所述，步驟S2中解碼的DRAP畫面構成視頻比特流中的RAP。因此，可以在DRAP畫面處執(zhí)行隨機訪問操作。注意，步驟S1中解碼的IRAP畫面也是視頻比特流中的RAP。然而，IRAP畫面提供的RAP是獨立型RAP，這意味著可以不參考視頻比特流中的任何其它畫面來解碼IRAP畫面。這與DRAP畫面提供的RAP明顯不同，DRAP畫面是依賴型RAP，這意味著DRAP畫面參考視頻比特流中的在先IRAP和/或DRAP畫面，因此使用這些在先IRAP和/或DRAP畫面作為僅有的參考畫面來對其進行解碼。

在一個實施例中，利用DRAP畫面的隨機訪問操作包括：對IRAP畫面和/或在先DRAP畫面(即，DRAP畫面所依賴的畫面)進行解碼，然后對DRAP畫面進行解碼，但是不對IRAP畫面和DRAP畫面之間任何其它畫面進行解碼。

因此，在步驟S1中解碼、并且在步驟S2中在解碼DRAP畫面時可用作參考畫面的IRAP畫面是視頻比特流中根據(jù)解碼順序的在先IRAP畫面。在特定實施例中，在先IRAP畫面是視頻比特流中根據(jù)解碼順序的最接近的在先IRAP畫面。在不使用任何參考畫面的情況下，IRAP畫面被獨立解碼。

明顯不同的是，步驟S2中解碼的DRAP畫面具有至少一個參考畫面。該至少一個參考畫面是在步驟S1中解碼的IRAP畫面和/或視頻比特流中根據(jù)解碼順序的在先DRAP畫面。此時，根據(jù)解碼順序在先DRAP畫面位于IRAP畫面和當前DRAP畫面之間。DRAP畫面可以僅使用這個或這些畫面作為參考畫面，因而可以不參考視頻比特流中的任何其他畫面。

在實施例中，步驟S2包括：僅使用視頻比特流中根據(jù)解碼順序的最接近的在先IRAP畫面作為DRAP畫面的僅有的參考畫面來對DRAP畫面進行解碼。在該實施例中，DRAP畫面可以僅參考視頻比特流中根據(jù)解碼順序的最接近的在先IRAP畫面，并且在步驟S2中對DRAP畫面的塊進行解碼時僅使用該特定IRAP畫面作為參考畫面。

DRAP畫面可以被編碼為時間預測畫面，所述時間預測畫面具有對最接近的在先IRAP畫面的單個參考指示。這意味著DRAP畫面可以被視為P畫面，但是還有重要的差別，即其構成視頻比特流中的RAP，而P畫面不能構成這樣的RAP。在另一示例中，DRAP畫面可以被視為B畫面。在這種情況下，它可以包含使用對相同的最接近的在先IRAP畫面的兩個參考而不是僅使用對最接近的在先IRAP畫面的一個參考的塊。

解碼DRAP畫面時被用作參考畫面的IRAP畫面優(yōu)選是視頻比特流中根據(jù)解碼順序的最接近的在先IRAP畫面。然而，在備選實施例中，被DRAP畫面用作參考畫面的IRAP畫面不一定必須是視頻比特流中的最接近的在先IRAP畫面，而可以是視頻比特流中根據(jù)解碼順序的在先IRAP畫面。

在另一實施例中，步驟S2包括使用根據(jù)解碼順序的最接近的在先DRAP畫面作為DRAP畫面的僅有的參考畫面來解碼DRAP畫面。在該實施例中，DRAP畫面僅可以參考另一個DRAP畫面，并且該另一個DRAP畫面是視頻比特流中根據(jù)解碼順序的最接近的在先DRAP畫面。

在該特定示例中，該另一個DRAP畫面可以繼而參考在先的DRAP畫面或IRAP畫面。因此，視頻比特流中根據(jù)解碼順序在IRAP畫面后的第一個DRAP畫面參考IRAP畫面，根據(jù)解碼順序的第二個DRAP畫面參考第一個DRAP畫面，以此類推。

取決于DRAP畫面是否類似于P畫面(單個參考)或B畫面(兩個參考)被解碼，DRAP畫面可以包含對前在先DRAP畫面的單個參考或兩個參考。

在另一實施例中，步驟S2包括使用根據(jù)解碼順序的最接近的在先IRAP畫面和根據(jù)解碼順序的最接近的在先DRAP畫面作為DRAP畫面的僅有的參考畫面來對DRAP畫面進行解碼。在該實施例中，DRAP畫面可以參考兩個不同的畫面。然而，這兩個不同的畫面是最接近的在先IRAP和DRAP畫面。

圖2的步驟S1中對IRAP畫面的解碼優(yōu)選根據(jù)視頻解碼領域中公知的幀內(nèi)模式來執(zhí)行。這意味著，根據(jù)幀內(nèi)模式來解碼IRAP畫面的塊(在本領域中通常稱為編碼單元(CU)或預測單元(PU)，或更一般地稱為像素塊或樣本塊)以形成解碼塊，解碼塊中的每個像素或樣本具有至少一個像素值或樣本值，例如亮度值和兩個色度值，或者紅色、綠色和藍色值。

在圖2的步驟2中，使用IRAP畫面和/或在先DRAP畫面作為DRAP畫面的僅有的參考畫面對DRAP進行解碼。這意味著根據(jù)幀間模式對DRAP畫面進行解碼。這意味著DRAP畫面的塊可以具有P塊、B塊或I塊的形式。

在特定實施例中，通過使用IRAP畫面和/或在先DRAP畫面作為DRAP畫面的僅有的參考畫面將DRAP畫面的塊解碼為跳過塊，或?qū)RAP畫面的塊解碼為幀內(nèi)塊，優(yōu)選地使用IRAP畫面作為DRAP畫面的僅有的參考畫面將DRAP畫面的塊解碼為跳過塊，或?qū)RAP畫面的塊解碼為幀內(nèi)塊，以對DRAP畫面進行解碼。

跳過塊意味著該塊是根據(jù)跳過模式使用IRAP畫面和/或在先DRAP畫面作為僅有的參考畫面來進行編碼的。這意味著在沒有任何運動補償?shù)那闆r下從參考畫面中的同位塊(collocated block)復制跳過塊的樣本或像素值。由此，針對DRAP畫面的塊的跳過模式和幀內(nèi)模式的組合是對DRAP畫面進行編碼和解碼的有效方式。

因此，優(yōu)選將DRAP畫面中相對于參考畫面(例如最接近的在先IRAP畫面)沒有改變或改變不超過某個定義的最小差別的塊編碼或解碼為跳過塊，而將DRAP畫面中相對于參考畫面已改變或改變超過所定義的最小參考的塊編碼或解碼為幀內(nèi)塊。

在另一實施例中，如果IRAP畫面中的同位塊與另一IRAP畫面中的同位塊相同或差別不超過定義的閾值，則使用IRAP畫面作為DRAP畫面的僅有的參考畫面，將DRAP畫面的塊編碼為跳過塊，否則編碼為幀內(nèi)塊。根據(jù)解碼順序，該另一IRAP畫面在視頻流中在IRAP畫面之前，并且優(yōu)選是在對IRAP畫面進行編碼之前被編碼的最接近的在先IRAP畫面。在特定實施例中，如果IRAP畫面中的同位塊與另一IRAP畫面或按照解碼順序在該另一IRAP畫面和該IRAP畫面之間的中間畫面中的相應同位塊相同或差別不超過定義的閾值，則使用視頻流中的IRAP畫面作為DRAP畫面的僅有的參考畫面，將DRAP畫面的塊編碼為跳過塊，否則編碼為幀內(nèi)塊。

根據(jù)幀內(nèi)模式的塊的解碼，即幀內(nèi)塊的解碼，優(yōu)選地如在ITU-T H.265的H系列：視聽和多媒體系統(tǒng)，視聽服務的基礎結構-移動視頻編碼，高效視頻編碼，第8.4節(jié)“對在幀內(nèi)預測模式中編碼的編碼單元的解碼處理”中規(guī)定的來執(zhí)行。根據(jù)幀間模式的塊的解碼，即幀間塊(如跳過塊)的解碼，優(yōu)選地如在ITU-T H265的H系列：視聽和多媒體系統(tǒng)，視聽服務的基礎結構-移動視頻編碼，高效視頻編碼，第8.5節(jié)“對在幀間預測模式中編碼的編碼單元的解碼處理”中規(guī)定的來執(zhí)行。ITU-TH.265的H系列：視聽和多媒體系統(tǒng)，視聽服務的基礎結構-移動視頻編碼，高效視頻編碼，第8.5.4.1節(jié)總則中具體描述了對跳過塊(即跳過標志的值等于1的塊)的解碼。

在HEVC中，跳過模式類似于新的合并模式，差別僅是跳過殘差數(shù)據(jù)。合并模式從四個空間候選、一個時間候選和一個零運動候選中的一個中選擇運動參數(shù)。因此，在選擇了零運動候選的HEVC中，優(yōu)選地根據(jù)跳過模式來解碼跳過塊。

使用IRAP畫面和/或視頻比特流中的在先DRAP畫面作為DRAP畫面的僅有的參考畫面來解碼DRAP畫面。這意味著對DRAP畫面的塊的實際解碼僅使用IRAP畫面和/或在先的DRAP畫面作為參考畫面。

在實施例中，DRAP畫面的參考畫面集(RPS)僅包括IRAP畫面和/或在先DRAP畫面。這意味著，在該實施例中，DRAP畫面的RPS將僅包含當解碼DRAP畫面的塊時可以用作參考畫面的那個或那些畫面(即IRAP畫面和/或在先DRAP畫面)的標識符。

在另一實施例中，DRAP畫面的RPS可以包括IRAP畫面和/或在先DRAP畫面，并且還可以包含視頻比特流中根據(jù)解碼順序的其他在先畫面。然而，在該實施例中，即使RPS可能包含其它畫面，也僅使用IRAP畫面和/或在先DRAP畫面作為DRAP畫面的參考畫面來執(zhí)行對DRAP畫面的實際解碼。

在HEVC和使用參考畫面集的其它視頻編碼標準中，使用畫面作為參考畫面對應于在所謂的RPS的Curr列表(即在RefPicSetStCurrBefore、RefPicSetStCurrAfter或RefPicSetLtCurr)中具有標識符。這意味著DRAP畫面優(yōu)選地在其RPS的Curr列表中僅具有IRAP畫面和/或在先DRAP畫面的標識符。當解碼DRAP畫面時不能被用作參考畫面的其他在先畫面的標識符仍然可以存在于DRAP畫面的RPS的Foll列表中的RPS中，即在PocStFoll或PocLtFoll中。

視頻比特流的畫面可以包括一個或多個(即至少兩個)片。大多數(shù)情況下，片可以獨立于同一畫面內(nèi)的其他片被解碼。因此，片可以被認為是自包含的，因為不跨片邊界進行預測。

在特定實施例中，在圖2的步驟S2中解碼的DRAP畫面包括多個片。在這種情況下，可以如圖3的流程圖所示進行對DRAP畫面的解碼。該方法從圖2中的步驟S1繼續(xù)。下一步驟S10包括將DRAP畫面中的至少一個片的塊解碼為幀內(nèi)塊。步驟S11相應地包括使用IRAP畫面和/或在先DRAP畫面作為DRAP畫面的僅有的參考畫面將DRAP畫面中的至少一個片的塊解碼為跳過塊。步驟S10和S11可以以任何順序或至少部分地并行執(zhí)行，因為片優(yōu)選地可彼此獨立地解碼。

該方法的優(yōu)點是，可以在包括片的編碼視頻數(shù)據(jù)的NAL單元的網(wǎng)絡抽象層(NAL)單元首部中發(fā)信號通知僅具有幀內(nèi)塊的DRAP畫面的片作為幀內(nèi)片(I片)。這相應地使得更容易識別視頻比特流中的幀內(nèi)塊的位置。

圖4是示出圖2所示方法的附加、可選步驟的流程圖。該方法從圖2中的步驟S2繼續(xù)。下一步驟S20包括按照輸出順序和解碼順序?qū)σ曨l比特流中在DRAP畫面之后的至少一個非RAP畫面進行解碼。所述至少一個非RAP畫面不使用在視頻比特流中按照解碼順序在DRAP畫面之前的任何非RAP畫面作為參考畫面。

因此，除了可能的用作DRAP畫面的參考的IRAP畫面和/或在先DRAP畫面之外，在DRAP畫面之后的非RAP畫面不參考按照解碼順序在DRAP畫面之前的任何畫面。這意味著按照解碼順序在DRAP畫面之前的非RAP畫面不被用作按照輸出順序和解碼順序在DRAP畫面之后的任何非RAP畫面的參考畫面。

因此，禁止跨DRAP畫面的預測。在DRAP畫面之后的非RAP畫面不得使用在DRAP畫面之前的任何非RAP畫面用于預測。

在特定實施例中，按照輸出順序和解碼順序在DRAP畫面之后的畫面不能使用按照解碼順序在DRAP畫面之前的任何畫面作為參考畫面，除了在后的DRAP畫面可以使用IRAP畫面作為參考畫面。

這種對跨DRAP畫面的預測的限制實現(xiàn)了將DRAP畫面有效地用作視頻比特流中的RAP。如果允許跨DRAP畫面的預測，則可能不能正確地解碼按照解碼和輸出順序在DRAP畫面之后的非RAP畫面，因為按照解碼順序在DRAP畫面之前的任何參考畫面可能在DPB中不可用。

圖5是示出用于對視頻流的畫面進行編碼的方法的流程圖。該方法包括在步驟S30中對視頻流的IRAP畫面進行編碼。該方法還包括，在步驟S31，使用IRAP畫面和/或視頻流中根據(jù)解碼順序的在先DRAP畫面作為DRAP畫面的僅有的參考畫面將視頻流的DRAP畫面編碼為時間預測畫面。DRAP畫面構成視頻流的編碼畫面的視頻比特流中的隨機訪問點。

解碼順序指定解碼器對視頻比特流中的畫面進行解碼的順序。該順序是編碼器對視頻流中的畫面進行編碼的相同順序。因此，解碼順序也可以被稱為編碼順序。

在一個實施例中，步驟S31包括使用視頻流中根據(jù)解碼順序的最接近的在先IRAP畫面作為DRAP畫面的僅有的參考畫面來編碼DRAP畫面。

在另一實施例中，步驟S31包括使用視頻流中根據(jù)解碼順序的最接近的在先DRAP畫面作為DRAP畫面的僅有的參考畫面來編碼DRAP畫面。

在另一實施例中，步驟S31包括使用視頻流中根據(jù)解碼順序的最接近的在先IRAP畫面和DRAP畫面作為DRAP畫面的僅有的參考畫面來編碼DRAP畫面。

在特定實施例中，步驟S31包括使用IRAP畫面和/或在先DRAP畫面作為DRAP畫面的僅有的參考畫面將DRAP畫面的塊編碼為跳過塊，或?qū)RAP畫面的塊編碼為幀內(nèi)塊。

圖6是更詳細地示出圖5的解碼步驟S31的實施例的流程圖。在該實施例中，DRAP畫面被劃分為多個片，其中至少一個將被編碼為I片，并且其中至少一個將使用跳過模式來編碼。該方法從圖5的步驟S30繼續(xù)。下一步驟S40包括將DRAP畫面中的至少一個片的塊編碼為幀內(nèi)塊。步驟S41包括使用IRAP畫面和/或在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將DRAP畫面中的至少一個片的塊編碼為跳過塊。步驟S40和S41可以以任何順序或至少部分地并行執(zhí)行，因為片優(yōu)選地可彼此獨立地編碼。

圖7是示出根據(jù)實施例的圖5中示出的方法的附加可選步驟的流程圖。該方法從圖5的步驟S30繼續(xù)。以下步驟S50包括對根據(jù)解碼順序在IRAP畫面和DRAP畫面之間的中間畫面進行編碼。

在步驟S50中編碼的這些中間畫面優(yōu)選地是非RAP畫面，或非RAP和DRAP畫面。優(yōu)選地，使用幀間模式將非RAP畫面編碼為P畫面或B畫面。這意味著，在步驟S50的編碼期間，中間畫面使用視頻流中根據(jù)解碼順序的一個或多個在先參考畫面。但是要注意，在步驟S50中編碼的這些中間畫面優(yōu)選不使用根據(jù)解碼順序在步驟S30中編碼的IRAP畫面之前的任何參考畫面。因此，優(yōu)選禁止跨IRAP畫面的預測，但被編碼為RASL畫面的任何中間畫面可以除外。

因此，在步驟S50中編碼的第一中間畫面優(yōu)選地使用在步驟S30中編碼的IRAP畫面作為僅有的參考畫面。在步驟S50中編碼的第二中間畫面優(yōu)選地使用IRAP畫面和/或第一中間畫面作為參考畫面。

然后，該方法繼續(xù)到圖5的步驟S31，其中使用IRAP畫面和/或在先DRAP畫面作為DRAP畫面的僅有的參考畫面將DRAP畫面編碼為時間預測畫面。這意味著視頻比特流優(yōu)選地包括IRAP畫面，以及IRAP畫面之后的多個中間畫面(優(yōu)選非RAP畫面)，然后是DRAP畫面。優(yōu)選地，視頻比特流還包括多個后續(xù)非RAP畫面，然后是第二DRAP畫面，以此類推，直到視頻流的畫面被編碼為第二IRAP畫面。

圖8是示出圖5所示方法的附加、可選步驟的流程圖。該方法從步驟S31繼續(xù)。下一步驟S60包括對視頻流中按照輸出順序和解碼順序在DRAP畫面之后的至少一個非RAP畫面進行編碼。在步驟S60中，不使用視頻流中按照解碼順序在DRAP畫面之前的任何非RAP畫面作為非RAP畫面的參考畫面來對至少一個非RAP畫面進行編碼。因此，優(yōu)選地阻止跨在步驟S31中編碼的DRAP畫面的參考，可能除了非RAP畫面可以使用在步驟S30中編碼的IRAP畫面作為參考畫面，和/或使用在先DRAP畫面，即位于在步驟S30中編碼的IRAP畫面和在步驟S31中編碼的DRAP畫面之間的DRAP畫面，作為參考畫面。

在實施例中，圖5的步驟S31包括：如果IRAP畫面中的同位塊與中間畫面(在步驟S50中編碼)中的相應同位塊相同或差別不超過定義的閾值，則使用IRAP畫面(在步驟S30中編碼)作為DRAP畫面的僅有的參考畫面，將DRAP畫面的塊編碼為跳過塊，否則將DRAP畫面的塊編碼為幀內(nèi)塊。

因此，在該實施例中，如果根據(jù)解碼順序在先并且到IRAP畫面為止的中間畫面中的同位塊全部相同或至少基本相同，即彼此的差別不超過定義的閾值，則僅使用跳過模式來編碼DRAP畫面中的塊。

同位塊是根據(jù)解碼順序的在先畫面中的塊，其位置在該畫面中與當前畫面中的塊相同。通常，在原點在畫面的左上角的坐標系中，塊的位置由塊的左上角的像素或樣本位置或坐標來定義。優(yōu)選地，當前畫面中的塊和在先畫面中的同位塊在像素或樣本的數(shù)量方面也具有相同的大小。

可以使用各種技術來驗證DRAP畫面中的塊與中間畫面和IRAP畫面中的同位塊是否相同或充分相同。第一種方法是簡單地將塊中的像素或樣本值與同位塊中的相應像素或樣本值進行比較。例如，這可以根據(jù)來執(zhí)行，其中p(i，j)表示DRAP畫面中的塊的像素或樣本值，q(i，j)表示中間畫面或IRAP畫面中的同位塊的對應像素或樣本值。在該示例中，塊和同位塊都具有m×n個像素或樣本的大小。如果兩個塊相同，則和將為零。如果和等于或小于定義的閾值T，則認為兩個塊充分相同。因此，針對根據(jù)解碼順序位于DRAP畫面和IRAP畫面之間的每個中間畫面以及IRAP畫面，如果和等于或小于T，優(yōu)選地等于零，則將該塊編碼為跳過塊，否則將該塊編碼為幀內(nèi)塊。

作為對直接像素或樣本匹配的替代，可以采用基于散列的比較。在基于散列的比較中，針對DRAP畫面中的塊和在先中間畫面或IRAP畫面中的同位塊，計算相應的散列值。通常使用常規(guī)散列算法來計算散列值，其中，塊的像素或樣本值作為輸入。如果兩個塊的兩個散列值相同，則認為這些塊相同或充分相同。與直接像素或樣本匹配相比，使用散列值的優(yōu)點是比較通常更快。

這種方法通過確保自IRAP畫面起的中間畫面中已改變的任何塊的同位DRAP塊被編碼為幀內(nèi)塊來增加差錯魯棒性。在丟失IRAP畫面的情況下，解碼器可能試圖對IRAP畫面的最新解碼畫面進行隱藏。在畫面的一些部分在最新解碼畫面和IRAP畫面之間改變并且不應用如上定義的對跳過塊的限制性使用的情況下，已解碼的DRAP畫面可能包含一些傳播差錯。

因此，如果參考的IRAP畫面丟失，但是在DRAP畫面之前的中間畫面被正確解碼，則通過從最新被解碼的畫面復制跳過塊，自IRAP畫面起已處于靜態(tài)的部分視頻流將可能被正確地隱藏。自IRAP畫面起已改變的視頻流的部分將被DRAP畫面中的幀內(nèi)塊刷新。

在另一實施例中，如果IRAP畫面中的同位塊與另一IRAP畫面中的相應同位塊相同或差別不超過定義的閾值，則使用視頻流中根據(jù)解碼順序的最接近的在先IRAP畫面作為所述DRAP畫面的僅有的參考畫面，將DRAP畫面的塊編碼為跳過塊，否則將DRAP的塊編碼為幀內(nèi)塊。根據(jù)解碼順序，該另一IRAP畫面在視頻流中在IRAP畫面之前，并且優(yōu)選是在對IRAP畫面進行編碼之前被編碼的最接近的在先IRAP畫面。

在特定實施例中，如果IRAP畫面中的同位塊與另一IRAP中或按照解碼順序在另一IRAP畫面和該IRAP畫面之間的中間畫面中的相應同位塊相同或差別不超過定義的閾值，則使用視頻流中根據(jù)解碼順序的最接近的在先IRAP畫面作為所述DRAP畫面的僅有的參考畫面，將DRAP畫面的塊編碼為跳過塊，否則將DRAP畫面的塊編碼為幀內(nèi)塊。

在該特定實施例中，在連續(xù)解碼期間，如果參考的IRAP畫面丟失，但另一IRAP畫面被正確解碼，則當重建丟失的參考的IRAP畫面時，通過最新被解碼的畫面復制跳過塊，視頻流中在該另一IRAP畫面和參考的IRAP畫面之間已處于靜態(tài)的部分將被正確地隱藏。視頻流中在該另一IRAP畫面和參考的IRAP畫面之間的已改變的部分將被DRAP畫面中的幀內(nèi)塊刷新。

圖9是示出圖5所示方法的附加、可選步驟的流程圖。該方法從步驟S31繼續(xù)。下一步驟S70包括將IRAP畫面的標識符(ID)包括在DRAP畫面的參考畫面集(RPS)中。RPS信號通知作為短期參考畫面或長期參考畫面的IRAP畫面。

因此，在該實施例中，IRAP畫面是DRAP畫面的僅有的參考畫面，并且由此在DRAP畫面的RPS中信號通知。根據(jù)解碼的IRAP畫面應保持存儲在解碼畫面緩沖器(DPB)中多久，可以信號通知IRAP畫面，作為所謂的短期參考畫面或長期參考畫面。

在實施例中，對視頻流進行編碼包括以第一周期性間隔(圖5中的線L1所示)執(zhí)行對視頻流的IRAP畫面的編碼。該方法還包括以比第一周期性間隔短的第二周期性間隔(圖5中的線L2所示)執(zhí)行對視頻流的DRAP畫面的編碼。

因此，在對視頻流中的畫面進行編碼期間，在步驟S30中以第一周期性將畫面編碼為IRAP畫面，而在步驟S31中以第二周期性將視頻流中的其它畫面編碼為DRAP畫面，即，比畫面編碼為IRAP畫面更頻繁。

例如，對于一般的視頻內(nèi)容，按照常規(guī)，可以每0.5至1秒插入一個IRAP畫面。根據(jù)實施例，大多數(shù)這樣的IRAP畫面可以替代地被編碼為DRAP畫面，以便減少視頻比特流的總比特成本。例如，替代地，IRAP畫面每10至60秒插入一次，而DRAP畫面每0.5至1秒插入一次。

由于多個原因，例如，提供頻道切換和特效播放(快進、倒回、前跳、后跳、跳轉位置等)的隨機訪問操作以及為了在發(fā)生差錯的情況下刷新編碼視頻，可以在編碼視頻中使用周期性IRAP畫面。

對于其中長時間僅更新視頻的部分的視頻內(nèi)容(例如屏幕內(nèi)容)，就壓縮效率而言以周期性方式插入IRAP畫面則可能是不必要的。

對于典型的視頻內(nèi)容，在比特率方面，IRAP畫面的成本趨向于是編碼為P畫面的約3-5倍，并且是編碼為B畫面的約5-10倍。對于屏幕的某些部分可能只是很少更新的屏幕內(nèi)容編碼，IRAP畫面與P畫面和B畫面之間的比率通常更大，因為P畫面和B畫面通常包含大量跳過塊。因此，對于這種情況，用IRAP畫面刷新視頻的處理在比特方面上相對非常高成本。

下面的實施例描述了對視頻比特流進行編碼的方法，該方法在減小總比特率的同時還保持IRAP畫面的一些差錯魯棒性特性。視頻比特流還以這樣的方式編碼，其使得可以以比比特流中的IRAP畫面的間隔更頻繁的間隔來執(zhí)行隨機訪問操作。

下面將進一步更詳細地描述各種實施例。

實施例1

在本發(fā)明的第一實施例中，使用至少一個IRAP畫面和僅可以參考在先IRAP畫面的P畫面來編碼視頻流。下文中，具有此限制的P畫面被稱為DRAP畫面或刷新P畫面。

圖11示出了DRAP畫面的編碼模式的示例。這里，每24個畫面插入IRAP畫面，并且每8個畫面插入DRAP畫面。深灰色畫面是IRAP畫面，中灰色畫面是DRAP畫面，白色畫面是常規(guī)編碼的P畫面或B畫面。

根據(jù)DRAP畫面和參考的IRAP畫面之間的距離，可以將對IRAP畫面的參考編碼為短期畫面參考或長期畫面參考。

圖10是示出根據(jù)第一實施例的對視頻比特流進行編碼的處理的流程圖。該處理開始于對視頻比特流的開始處的IRAP畫面進行編碼。然后，對視頻比特流中的DRAP畫面(在圖中表示為刷新P畫面)和其他時間預測畫面進行編碼，以用于畫面組(GOP)。GOP是視頻編碼中的公知術語，描述視頻流中以IRAP畫面開始的一組連續(xù)畫面。根據(jù)下面的實施例4，可以以周期性間隔插入DRAP畫面。每個新GOP都以IRAP畫面開始。

因此，決定是否將下一畫面編碼為DRAP畫面。如果是，則僅參考在先編碼的IRAP畫面或在先編碼的DRAP畫面來編碼DRAP畫面。如果下一畫面未被編碼為DRAP畫面，則做出是否將其編碼為其它時間預測畫面(即非RAP的P畫面或B畫面)的決定。如果是，則將畫面編碼為這樣的其它時間預測畫面。如果到達視頻流的結尾，則該方法結束。如否，則檢查是否到達GOP的結尾。如是，則該方法繼續(xù)，對下一個GOP的新IRAP畫面進行編碼。如否，則該方法返回，檢查是否要將下一畫面編碼為其它時間預測畫面的DRAP畫面。

實施例2

在一個實施例中，已編碼的DRAP畫面可以參考在先編碼的IRAP畫面或另一個在先編碼的DRAP畫面。如果DRAP畫面參考另一個DRAP畫面，則必須對依賴鏈中回溯到IRAP畫面的所有DRAP畫面進行解碼，以便對DRAP畫面進行解碼。圖12中示出了可以參考在先編碼的DRAP的用于DRAP畫面的編碼模式。深灰色畫面是IRAP畫面，中灰色畫面是DRAP畫面，白色畫面是常規(guī)編碼的P畫面或B畫面。

根據(jù)DRAP畫面與參考的IRAP畫面或在先DRAP畫面之間的距離，可以將對IRAP畫面或在先DRAP畫面的參考編碼為短期畫面參考或長期畫面參考。

實施例3

在實施例中，編碼器僅使用幀內(nèi)塊或跳過塊來編碼DRAP畫面，其中，DRAP畫面參考在先編碼的IRAP畫面或在先編碼的DRAP畫面。

在該實施例的一個版本中，如果在先編碼的IRAP畫面中的同位塊與在IRAP畫面之后直到DRAP畫面被編碼的所有畫面中的同位塊相同，則可以僅將DRAP畫面中的塊編碼為跳過塊。同位塊是在先畫面中位于與當前畫面中的塊的相同像素位置處的塊。如果中間畫面中的同位塊不全部與IRAP畫面中的同位塊相同，則該塊必須被編碼為幀內(nèi)塊。

因此，編碼器需要跟蹤從已編碼的參考的IRAP畫面起同位塊是否已改變。為了檢查特定塊是否從已編碼的參考的IRAP畫面起已改變，可以采用直接像素匹配或基于散列的比較方法。在基于散列的比較中，針對要比較的兩個塊中的每一個，使用常規(guī)散列算法來計算散列值。如果兩個塊的兩個散列值相同，則兩個塊精確匹配的可能性接近100％。與直接像素匹配相比，使用散列值的優(yōu)點是搜索可以更快。

如果參考的IRAP畫面丟失，但是在IRAP畫面之前的畫面被正確解碼，則通過從最新被解碼的畫面復制跳過塊，自IRAP畫面起已處于靜態(tài)的部分視頻將可能被正確地隱藏。自IRAP畫面起已改變的部分視頻將被幀內(nèi)塊刷新。這在圖13中示出。

如果IRAP畫面丟失，則有很大概率在DRAP畫面處可以隱藏視頻而沒有偽像，因為只能在視頻處于靜態(tài)的情況下進行跳過。幀內(nèi)塊被標記為深灰色，幀間塊被標記為灰色(灰色塊中的一些也可以是幀內(nèi)塊)，白色塊是跳過塊。

實施例4

在本發(fā)明的實施例中，以周期性方式用IRAP畫面和DRAP畫面兩者對視頻流進行編碼。DRAP畫面比IRAP畫面更頻繁地編碼。例如，可以每1-2秒在視頻比特流中插入DRAP畫面，并且每10-30秒插入IRAP畫面。

實施例5

在本發(fā)明的實施例中，要使用DRAP畫面來編碼的視頻圖像被劃分為片，使得至少一個片僅包含被幀內(nèi)編碼的塊，并且至少一個其他片包含被編碼為跳過的至少一個塊。

圖14示出了將視頻圖像分割為幀內(nèi)編碼片和幀間編碼片。自參考的IRAP或DRAP畫面起已改變的編碼樹單元(CTU)(有時稱為最大編碼單元(LCU))被編碼為幀內(nèi)。自參考的IRAP或DRAP畫面起未改變的CTU被編碼為跳過。圖14的左側部分示出了典型的屏幕內(nèi)容。在圖14的右側部分中，視頻圖像或畫面已經(jīng)被劃分為兩個圖塊，第一圖塊中具有兩個幀內(nèi)片和兩個幀間片，第二圖塊中具有一個幀間片?；覊K是幀內(nèi)編碼CTU，白塊是編碼為跳過的CTU。

該方法的優(yōu)點是，可以在NAL單元首部中信號通知只有幀內(nèi)塊的片作為幀內(nèi)片，這使得更容易識別視頻比特流中的幀內(nèi)塊的位置。

這種方法的缺點是，片被分成CTU，CTU是HEVC中的最大編碼單元，通常為64×64個像素。在這種情況下，DRAP畫面中的幀內(nèi)編碼塊可能不具有比CTU更精細的粒度。另外，可能無法在片邊界上執(zhí)行幀內(nèi)預測，且必須在視頻比特流中信號通知片結構，這兩者通常會導致比特率的少量提高。

實施例6

在本發(fā)明的實施例中，在視頻比特流中對DRAP畫面進行編碼以允許隨機訪問點操作。為了對DRPA畫面進行解碼并作為隨機訪問點使用，必須首先解碼參考的IRAP或DRAP畫面。

在DRAP畫面的位置處的可能的隨機訪問操作包括但不限于：特效播放(快進、后退、后跳、前跳和跳轉位置)和頻道切換。

在該實施例的一個版本中，當DRAP畫面要被用于隨機訪問時，應用在DRAP畫面中僅可以使用幀內(nèi)塊或跳過塊的限制。當僅使用幀內(nèi)塊和跳過塊對DRAP畫面進行編碼時，在DRAP畫面處執(zhí)行隨機訪問的計算復雜度減小，因為在DRAP畫面的解碼期間不需要執(zhí)行運動補償和子像素插值。

實施例7

在本發(fā)明的實施例中，為了識別畫面是DRAP畫面，解碼器檢查畫面是否僅參考IRAP畫面或者畫面是否僅參考在先識別的DRAP畫面。

在該實施例的另一版本中，為了識別畫面是DRAP畫面，解碼器檢查畫面是否僅具有幀內(nèi)編碼塊或參考IRAP畫面或在先識別為DRAP畫面的畫面使用跳過來編碼的塊。

實施例8

在本發(fā)明的另一實施例中，DRAP畫面如實施例6中被用作視頻比特流中的RAP畫面，但在封閉的編碼器/解碼器系統(tǒng)中使用。然后，編碼器和解碼器可以對應當以什么間隔來定位DRAP畫面達成共識。然后，解碼器將預先知道DRAP畫面的位置。

所提出的解決方案的構思在于，在編碼視頻比特流中的特定間隔處，使用諸如P畫面的時間預測畫面來刷新視頻。這些P畫面被稱為刷新P畫面或DRAP(依賴型隨機訪問點)畫面。DRAP畫面具有它們可以僅參考在先IRAP畫面的限制。在一個實施例中，DRAP畫面還可以參考另一個DRAP畫面。

在本發(fā)明的實施例中，可以僅使用幀內(nèi)塊或跳過塊來編碼DRAP畫面。僅當從在先參考的IRAP畫面或DRAP畫面起當前塊沒有發(fā)生改變時，才能使用跳過塊。因此，針對從上一個IRAP畫面或DRAP畫面起已改變的DRAP畫面的部分，必須使用幀內(nèi)編碼塊。

在本發(fā)明的附加實施例中，對DRAP畫面進行編碼以用于隨機訪問操作，其中，解碼器使用各種方法來檢測視頻比特流中的DRAP畫面。

就壓縮效率而言，IRAP畫面的編碼通常比預測編碼畫面成本高幾倍。IRAP畫面的優(yōu)點是它們不依賴于在先的畫面，因此在前一畫面中出現(xiàn)差錯的情況下將刷新視頻。在我們的解決方案中，組合了來自幀內(nèi)編碼畫面的差錯魯棒性和預測編碼畫面的低比特率需求。

通過僅跳過與在先解碼的IRAP畫面或DRAP畫面中的塊完全匹配的塊，確保不從中間P畫面或B畫面?zhèn)鞑ゲ铄e。IRAP畫面將所有塊編碼為幀內(nèi)，相比于DRAP畫面產(chǎn)生了比較大的比特率開銷。

實施例的另一個優(yōu)點是，如果參考的IRAP畫面先被解碼，則DRAP畫面可以用于隨機訪問操作。

實施例對于不怎么隨時間改變的內(nèi)容(例如屏幕內(nèi)容)特別有用。

在實施例中，提供了一種對視頻比特流中的畫面進行編碼的方法。所述方法包括：

-對IRAP畫面進行編碼；

-對中間畫面進行編碼；

-對僅依賴于IRAP畫面的時間預測畫面進行編碼，所述時間預測畫面被稱為DRAP畫面。

在實施例中，所述方法還包括對僅依賴于第一DRAP畫面的附加時間預測畫面進行編碼，所述附加時間預測畫面也被稱為DRAP畫面。

在實施例中，僅使用幀內(nèi)塊或跳過塊對DRAP畫面進行編碼。

在實施例中，以周期性間隔插入DRAP畫面，該間隔等于或短于視頻比特流中的IRAP畫面的間隔。

在實施例中，將DRAP畫面的幀內(nèi)編碼塊編碼在至少一個幀內(nèi)片內(nèi)，并且將相同畫面的至少一個跳過塊編碼在至少一個幀間片內(nèi)。

在實施例中，提供了一種對視頻比特流中的畫面進行解碼的方法。所述方法包括：

-解碼器使用DRAP畫面用于隨機訪問操作；

-解碼器通過檢測DRAP畫面僅由幀內(nèi)編碼塊或跳過編碼塊組成來確定DRAP畫面可以用于隨機訪問。

在實施例中，提供了一種對視頻比特流中的畫面進行解碼的方法。所述方法包括：

-解碼器使用DRAP畫面用于隨機訪問操作；

-解碼器通過檢測DRAP畫面僅參考IRAP畫面來確定DRAP畫面可以用于隨機訪問。

在實施例中，提供了一種用于解碼器對視頻比特流中的畫面進行解碼的方法，其中解碼器處于與編碼器的封閉系統(tǒng)中。所述方法包括：

-對視頻比特流進行解碼；

-解碼器使用DRAP畫面用于隨機訪問操作；

解碼器通過使用預定間隔檢測DRAP畫面的位置來確定DRAP畫面可以用于隨機訪問。

在實施例中，如果塊與參考的IRAP畫面中的同位塊以及位于參考的IRAP畫面和DRAP畫面之間的畫面中的同位塊相同，則編碼器僅用跳過編碼對該塊進行編碼。

在實施例中，使用散列算法來執(zhí)行檢查DRAP畫面中的塊是否與同位塊相同。

IRAP畫面通常以周期性方式來使用，以提供隨機訪問和用于編碼視頻的差錯魯棒性。對于一般的視頻內(nèi)容，在比特率方面，IRAP畫面的成本通常是編碼為P畫面的約3-5倍，并且是編碼為B畫面的約5-10倍。

每0.5到1.0秒插入一個IRAP畫面耗費相當多的比特。對于其中的大部分圖像很少更新的序列，例如某個屏幕內(nèi)容，IRAP畫面與P畫面和B畫面之間的比率通常更多得多，因為P畫面和B畫面通常包含大量跳過塊。

通常具有大量靜態(tài)內(nèi)容的視頻服務包括屏幕共享和監(jiān)控視頻。屏幕共享例如可以用作個人之間的實況通信工具，或者可以被設置為監(jiān)視諸如服務器的其他計算機。對于所有這些服務，通常有興趣去記錄和存儲視頻資料。優(yōu)選地，所存儲的視頻資料應易于使用隨機訪問操作來搜索。同時，有興趣將視頻比特率保持在最小，以限制帶寬使用和節(jié)省存儲空間。

所提出的解決方案旨在減少在屏幕內(nèi)容編碼(SCC)和一般內(nèi)容編碼中花費在IRAP畫面上的大量比特，同時保持IRAP畫面的幾乎相同的隨機訪問和差錯魯棒性。這通過引入新的畫面類型(這里稱為依賴型隨機訪問點(DRAP)畫面)來完成。DRAP畫面是僅可以參考在先IRAP畫面(并且在一些實施例中也可以參考其他DRAP畫面)的P畫面。

DRAP畫面可以替換IRAP畫面中的一些，以減少比特流的總比特成本。備選地，在相同比特率的情況下，可以更頻繁地放置隨機訪問點。通過首先解碼在先IRAP畫面然后解碼DRAP畫面來完成對DRAP畫面的隨機訪問。

對DRAP畫面提供隨機訪問，其限制是必須在解碼DRAP畫面之前將參考的IRAP畫面解碼(以及參考DRAP畫面，如果相關)。DRAP畫面例如對于通過視頻的快速轉發(fā)非常有用，同時將用于提供隨機訪問的比特率開銷保持為最小。

另一個優(yōu)選的限制是必須禁止跨DRAP畫面的預測。在DRAP畫面之后的非RAP畫面不得使用在DRAP畫面之前的任何非RAP畫面用于預測。這種限制的一種替代形式是按照解碼和輸出順序在DRAP畫面之后的非RAP畫面不可以使用按照解碼順序在DRAP畫面之前的任何非RAP畫面來用于參考。

在本發(fā)明的實施例中，針對DRAP畫面僅允許使用幀內(nèi)塊或跳過塊以提供改進的差錯魯棒性。

在HEVC中以及在AVC/H.264中，存在一種被稱為恢復點SEI的補充增強信息(SEI)消息?；謴忘cSEI消息幫助解碼器確定在解碼器啟動隨機訪問之后或者在編碼器指示比特流中的斷鏈之后解碼處理何時將產(chǎn)生用于顯示的可接受畫面。當解碼處理以按照解碼順序與恢復點SEI消息相關聯(lián)的畫面開始時，按照在該SEI消息中指定的輸出順序在恢復點處或其后的所有解碼畫面被指示為內(nèi)容正確或近似正確。

恢復點SEI消息不能用于實現(xiàn)DRAP畫面的功能。如果恢復點SEI消息與IRAP畫面一起被發(fā)送，則按照解碼順序在其后且在DRAP畫面之前的所有畫面都必須被解碼，這是不期望的。并且，恢復點SEI消息不能與DRAP畫面一起被發(fā)送，因為不可能指示對按解碼順序在恢復點SEI消息之前的任何事物的依賴性。

根據(jù)第一方面，提供了一種用于對視頻流進行編碼的方法。在該方法中，對幀內(nèi)隨機訪問點(IRAP)畫面進行編碼，并且對僅依賴于IRAP畫面的幀間畫面進行編碼，其中，幀間畫面被稱為依賴型隨機訪問點(DRAP)畫面。

根據(jù)第二方面，提供了一種用于對視頻比特流進行解碼的方法。在該方法中，對幀內(nèi)隨機訪問點(IRAP)畫面進行解碼，對僅依賴于IRAP畫面的幀間畫面進行解碼，其中所述幀間畫面被稱為依賴型隨機訪問點(DRAP)畫面，并且使用DRAP畫面來執(zhí)行隨機訪問操作。

根據(jù)第三方面，參見圖16，提供了用于對視頻流進行編碼的編碼器200。編碼器200包括適于對幀內(nèi)隨機訪問點(IRAP)畫面進行編碼并對僅依賴于IRAP畫面的幀間畫面進行編碼的處理裝置，其中，所述幀間畫面被稱為依賴型隨機訪問點(DRAP)畫面。

根據(jù)第四方面，參見圖16，提供了用于對比特流進行解碼的解碼器100。解碼器100包括適于對幀內(nèi)隨機訪問點(IRAP)畫面進行解碼并對僅依賴于IRAP畫面的幀間畫面進行解碼的處理裝置，其中所述幀間畫面被稱為依賴型隨機訪問點(DRAP)畫面，并且使用DRAP畫面來執(zhí)行隨機訪問操作。

在編碼器200和解碼器100中，處理裝置分別包括處理器和存儲器，其中所述存儲器包含當被所述處理器執(zhí)行時被配置為執(zhí)行本文所述的方法的指令。

編碼器200可以包括用于發(fā)送編碼視頻比特流和控制信息(由例如SEI消息所例示)的輸出單元，并且解碼器100包括用于接收視頻比特流和控制信息的輸入單元。

編碼器200和解碼器100可以分別位于諸如用戶終端或網(wǎng)絡節(jié)點的設備中。用戶終端可以是例如視頻攝像機、移動電話或平板電腦。

圖15是示出本發(fā)明的突出顯示組件的框圖。視頻編碼器200產(chǎn)生可以通過網(wǎng)絡發(fā)送并被視頻解碼器100解碼的視頻比特流。視頻編碼器200包含刷新P畫面或DRAP選擇器201，其確定應當插入DRAP畫面的畫面位置。視頻編碼器200還包含對DRAP畫面進行編碼的刷新P畫面或DRAP編碼器單元202，其可以包含根據(jù)實施例3的同位塊匹配器203。視頻解碼器100可以包含根據(jù)實施例7的刷新P畫面或DRAP檢測器101。DRAP畫面可以與隨機訪問點選擇器102或隱藏單元103一起使用。隨機訪問點選擇器102確定什么隨機訪問點可用于隨機訪問點操作。刷新P畫面或DRAP檢測器101可以為隨機訪問選擇器提供要被添加到可能的隨機訪問點集合的DRAP畫面。在視頻比特流中發(fā)生差錯的情況下，知道P畫面是DRAP畫面可以幫助隱藏單元103隱藏差錯。

應當理解，示例實施例可以以多種方式提供指令。

實施例的另一方面涉及一種用于對視頻比特流的畫面進行解碼的解碼器。解碼器被配置為對視頻比特流的IRAP畫面進行解碼。解碼器還被配置為使用IRAP畫面和/或視頻比特流中根據(jù)解碼順序的在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將視頻比特流的DRAP畫面解碼為時間預測畫面。DRAP構成視頻比特流中的隨機訪問點。

在實施例中，解碼器被配置為使用視頻比特流中根據(jù)解碼順序的最接近的在先IRAP畫面作為DRAP畫面的僅有的參考畫面來解碼DRAP畫面。

在實施例中，解碼器被配置為使用IRAP畫面和/或在先DRAP畫面作為DRAP畫面的僅有的參考畫面將DRAP畫面的塊解碼為跳過塊，或?qū)RAP畫面的塊解碼為幀內(nèi)塊。

在特定實施例中，解碼器被配置為將DRAP畫面中的至少一個片的塊解碼為幀內(nèi)塊。解碼器還被配置為使用IRAP畫面和/或在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將DRAP畫面中的至少一個片的塊解碼為跳過塊。

在實施例中，解碼器被配置為對視頻比特流中按照輸出順序和解碼順序在DRAP畫面之后的至少一個非RAP畫面進行解碼。所述至少一個非RAP畫面不使用視頻比特流中按照解碼順序在DRAP畫面之前的任何非RAP畫面作為參考畫面。

實施例的又一方面涉及一種對視頻流中的畫面進行編碼的編碼器。編碼器被配置為對視頻流的IRAP畫面進行編碼。該編碼器還被配置為使用IRAP畫面和/或視頻流中根據(jù)解碼順序的在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將所述視頻流的DRAP畫面編碼為時間預測畫面。DRAP畫面構成視頻流的編碼畫面的視頻比特流中的隨機訪問點。

在實施例中，編碼器被配置為使用視頻比特流中根據(jù)解碼順序的最接近的在先IRAP畫面作為DRAP畫面的僅有的參考畫面來編碼DRAP畫面。

在實施例中，編碼器被配置為使用IRAP畫面和/或在先DRAP畫面作為DRAP畫面的僅有的參考畫面將DRAP畫面的塊編碼為跳過塊，或?qū)RAP畫面的塊編碼為幀內(nèi)塊。

在特定實施例中，編碼器被配置為將DRAP畫面中的至少一個片的塊編碼為幀內(nèi)塊。編碼器還被配置為使用DRAP畫面和/或在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將DRAP畫面中的至少一個片的塊編碼為跳過塊。

在實施例中，編碼器被配置為對根據(jù)解碼順序存在于IRAP畫面和DRAP畫面之間的中間畫面進行編碼。

在實施例中，編碼器被配置為：如果IRAP畫面中的同位塊與IRAP畫面中的相應同位塊相同或差別不超過定義的閾值，則使用IRAP畫面作為DRAP畫面的僅有的參考畫面，將DRAP畫面的塊編碼為跳過塊，否則將DRAP畫面的塊編碼為幀內(nèi)塊。

在實施例中，編碼器被配置為：如果IRAP畫面中的同位塊與另一IRAP畫面中的相應同位塊相同或差別不超過定義的閾值，則使用根據(jù)解碼順序的最接近的在先IRAP畫面作為DRAP畫面的僅有的參考畫面，將DRAP畫面的塊編碼為跳過塊，否則將DRAP畫面的塊編碼為幀內(nèi)塊。所述另一IRAP畫面是按解碼順序在IRAP畫面之前的在先IRAP畫面。

在另一實施例中，編碼器被配置為：如果IRAP畫面中的同位塊與另一IRAP畫面以及根據(jù)解碼順序在該另一IRAP畫面和該IRAP畫面之間的中間畫面中的相應同位塊相同或差別不超過定義的閾值，則使用根據(jù)解碼順序的最接近的在先IRAP畫面作為DRAP畫面的僅有的參考畫面，將DRAP畫面的塊編碼為跳過塊，否則將DRAP畫面的塊編碼為幀內(nèi)塊。所述另一IRAP畫面是按解碼順序在IRAP畫面之前的在先IRAP畫面。

在實施例中，編碼器被配置為對視頻流中按照輸出順序和解碼順序在DRAP畫面之后的至少一個非RAP畫面進行編碼。所述至少一個非RAP畫面不使用視頻流中按照解碼順序在DRAP畫面之前的任何非RAP畫面作為參考畫面。

在實施例中，編碼器被配置為將IRAP畫面的標識符包括到DRAP畫面的參考畫面集中。參考畫面集信號通知IRAP畫面作為短期參考畫面或長期參考畫面。

在實施例中，編碼器被配置為以第一周期性間隔對視頻流的IRAP畫面進行編碼，并且以比第一周期性間隔短的第二周期性間隔對視頻流的DRAP畫面進行編碼。

將理解的是，本文所描述的方法和設備可以用各種方式組合和重新布置。

例如，實施例可以用硬件，或用由合適的處理電路執(zhí)行的軟件，或其組合來實現(xiàn)。

本文所述的步驟、功能、過程、模塊和/或框可以使用任何常規(guī)技術實現(xiàn)在硬件中，例如分立式電路或集成電路技術，包括通用電子電路和專用電路二者。

特定示例包括一個或多個合適配置的數(shù)字信號處理器和其他已知電子電路，例如用于專用特別功能的互連的分立邏輯門、或者應用專用集成電路(ASIC)。

圖17示出了根據(jù)實施例的解碼器110的特定硬件實現(xiàn)。在實施例中，解碼器110包括被配置為對IRAP畫面進行解碼的IRAP解碼器111。解碼器110還包括被配置為對DRAP畫面進行解碼的DRAP解碼器112。

在圖17中，解碼器110被示為包括單獨的IRAP解碼器111和DRAP解碼器112。在備選實施方式中，解碼器110可以包括對視頻比特流的畫面進行操作和解碼的單個解碼單元，無論該畫面是IRAP畫面、DRAP畫面還是非RAP畫面。

優(yōu)選地，解碼器110還包括被配置為接收視頻比特流的輸入單元113，所述視頻比特流的形式通常是攜帶視頻流中的畫面的編碼視頻數(shù)據(jù)的NAL單元序列和攜帶與視頻比特流相關的其他控制數(shù)據(jù)的NAL單元，例如，畫面參數(shù)集(PPS)、序列參數(shù)集(SPS)和視頻參數(shù)集(VPS)。

優(yōu)選地，解碼器110還包括輸出單元114，輸出單元114被配置為輸出由解碼器110解碼，特別是由IRAP解碼器111和DRAP解碼器112解碼的畫面。輸出單元114優(yōu)選地被配置為將解碼畫面輸出到顯示器或屏幕，以顯示視頻流。備選地，輸出單元114可將解碼畫面輸出到被配置為對視頻流進行代碼轉換的代碼轉換器，輸出到用于存儲解碼畫面的存儲器。

輸入單元113可以實現(xiàn)為接收器或收發(fā)器，特別是用于視頻比特流的無線接收。備選地，輸入單元113可以是通用輸入或輸入端口的形式，特別是用于視頻比特流的有線接收。相應地，輸出單元114可以實現(xiàn)為發(fā)射器、收發(fā)器、通用輸出或輸出端口。

優(yōu)選地，解碼器110還包括被配置為臨時存儲由IRAP解碼器111或DRAP解碼器112生成的解碼畫面的解碼畫面緩沖器(DPB)115。解碼畫面優(yōu)選存儲在DPB 115中，以在解碼視頻比特流中的后續(xù)畫面時被用作參考畫面和/或被存儲直到應根據(jù)輸出順序來輸出畫面。

輸入單元113優(yōu)選地連接到IRAP解碼器111和DRAP解碼器112，以將接收的畫面轉發(fā)到給IRAP解碼器111和DRAP解碼器112以進行解碼。IRAP解碼器111和DRAP解碼器112連接到DPB 115以便在DPB 115中存儲解碼畫面，并且DRAP解碼器112可以在對當前DRAP畫面進行解碼期間訪問在先解碼的IRAP畫面和/或DRAP畫面。輸出單元114優(yōu)選地連接到DPB 115，以根據(jù)輸出順序從DPB 115輸出解碼畫面。

圖20示出了根據(jù)實施例的編碼器210的對應硬件實現(xiàn)。在實施例中，編碼器210包括被配置為對IRAP畫面進行編碼的IRAP編碼器211。編碼器210還包括被配置為對DRAP畫面進行編碼的DRAP編碼器212。

在圖20中，編碼器210被示為包括單獨的IRAP編碼器211和DRAP編碼器212。在備選實施方式中，編碼器210可以包括對視頻流的畫面進行操作和編碼的單個編碼單元，無論該畫面是IRAP畫面、DRAP畫面還是非RAP畫面。

編碼器210優(yōu)選地還包括被配置為接收視頻流的輸入單元213。優(yōu)選地，編碼器210還包括被配置為輸出視頻比特流的輸出單元214，所述視頻比特流的形式通常是攜帶視頻流中的畫面的編碼視頻數(shù)據(jù)的NAL單元序列和攜帶與視頻比特流相關的其他控制數(shù)據(jù)的NAL單元。

輸入單元213可以實現(xiàn)為接收器、收發(fā)器、或者通用輸入或輸入端口。相應地，輸出單元214可以實現(xiàn)為發(fā)射器、收發(fā)器、通用輸出或輸出端口。

優(yōu)選地，編碼器210還包括DPB 215，DPB 215被配置為臨時存儲在視頻比特流的編碼期間生成的解碼或重建畫面。

輸入單元213優(yōu)選地連接到IRAP編碼器211和DRAP解碼器212，以將接收的畫面轉發(fā)到IRAP編碼器211和DRAP解碼器212以進行編碼。IRAP編碼器211和DRAP解碼器212連接到DPB 215，以便將解碼或重建的畫面存儲在DPB 115中。輸出單元214優(yōu)選地連接到IRAP編碼器211和DRAP編碼器212以輸出編碼畫面的視頻比特流。

備選地，上述步驟、功能、過程、模塊和/或框的至少一部分可以實現(xiàn)在軟件中，由例如一個或多個處理單元的合適處理電路來執(zhí)行的計算機程序。

處理電路的示例包括但不限于，一個或多個微處理器、一個或多個數(shù)字信號處理器(DSP)、一個或多個中央處理單元(CPU)、視頻加速硬件、和/或任意合適的可編程邏輯電路，例如一個或多個現(xiàn)場可編程門陣列(FPGA)或者一個或多個可編程邏輯控制器(PLC)。

還應當理解，可以重用任意常用設備或者實現(xiàn)提出的技術的單元的通用處理能力。還可以例如通過重新編程現(xiàn)有的軟件或者通過添加新的軟件組件來重新使用現(xiàn)有的軟件。

在特定示例中，如圖18的解碼器120包括處理器121和包括可由處理器121執(zhí)行的指令的存儲器122。處理器121操作為對IRAP畫面和DRAP畫面進行解碼。

在實施例中，解碼器120還包括被配置為接收視頻比特流并輸出解碼畫面的輸入/輸出(I/O)單元123。

解碼器120的存儲器122優(yōu)選地包括被處理器121用于存儲和訪問解碼畫面的DPB。

在特定實施例中，處理器121操作為當執(zhí)行存儲在存儲器122中的指令時執(zhí)行上述操作。因此，處理器121互連到存儲器122以實現(xiàn)正常的軟件執(zhí)行。

在相應的特定示例中，如圖21的編碼器220包括處理器221和包括可由處理器221執(zhí)行的指令的存儲器222。處理器221操作為對IRAP畫面和DRAP畫面進行編碼。

在實施例中，編碼器220還包括被配置為接收視頻流并輸出視頻比特流的輸入/輸出(I/O)單元223。

編碼器220的存儲器222優(yōu)選地包括被處理器221用于存儲解碼或重建畫面的DPB。

在特定實施例中，處理器121操作為當執(zhí)行存儲在存儲器222中的指令時執(zhí)行上述操作。因此，處理器221互連到存儲器222以實現(xiàn)正常的軟件執(zhí)行。

圖23是示出包括處理器310、相關聯(lián)的存儲器320和通信電路330的用戶設備(UE)300的示例的示意框圖。

在該具體示例中，以計算機程序?qū)崿F(xiàn)本文描述的步驟、功能、過程、模塊和/或框的至少一部分，所述計算機程序340被加載到存儲器320中用于包括一個或更多個處理器310的處理電路的執(zhí)行。處理器310和存儲器320彼此互連，以實現(xiàn)正常的軟件執(zhí)行。通信電路330還互連到處理器310和/或存儲器320，以分別實現(xiàn)視頻比特流和視頻比特流的解碼畫面的輸入和/或輸出。

在實施例中，用戶設備300可以是能夠接收和處理視頻比特流的任何設備或裝置。例如，用戶設備300可以是固定或便攜式的計算機，例如膝上型計算機、智能電話、平板電腦、機頂盒等。在另一實施例中，用戶設備300可以是能夠接收和處理視頻流的任何設備或裝置。例如，用戶設備300可以是固定或便攜式的計算機，例如膝上型計算機、智能電話、平板電腦、視頻攝像機等。

術語“處理器”應當在一般意義上解釋為能夠執(zhí)行程序代碼或計算機程序指令以執(zhí)行特定處理、確定或計算任務的任意系統(tǒng)、設備或裝置。

因此，包括一個或多個處理器的處理電路被配置為：在運行所述計算機程序時執(zhí)行例如本文描述的那些明確定義的處理任務。

計算機/處理器不是必須專用于僅執(zhí)行上述步驟、功能、過程和/或塊，而是還可以執(zhí)行其他的軟件任務。

在實施例中，計算機程序340包括指令，所述指令當被處理器310執(zhí)行時使得處理器310對視頻比特流的IRAP畫面進行解碼。還使得處理器310使用IRAP畫面和/或視頻比特流中根據(jù)解碼順序的在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將視頻比特流的DRAP畫面解碼為時間預測畫面。DRAP畫面構成視頻比特流中的隨機訪問點。

在另一實施例中，計算機程序340包括指令，所述指令當被處理器310執(zhí)行時使得處理器310對視頻流的IRAP畫面進行編碼。還使得處理器310使用IRAP畫面和/或視頻流中根據(jù)解碼順序的在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將視頻流的DRAP畫面編碼為時間預測畫面。DRAP構成視頻比特流中的隨機訪問點。

所提出的技術還提供了包括計算機程序340的載體350。載體350是電信號、光信號、電磁信號、磁信號、電信號、無線電信號、微波信號或計算機可讀存儲介質(zhì)350之一。

通過示例的方式，軟件或計算機程序340可以實現(xiàn)為計算機程序產(chǎn)品，其通常承載或存儲在計算機可讀介質(zhì)340(優(yōu)選非易失性計算機可讀存儲介質(zhì)350)上。計算機可讀介質(zhì)350可包括一個或多個可移除或不可移除的存儲設備，包括但不限于只讀存儲器(ROM)、隨機訪問存儲器(RAM)、緊致盤(CD)、數(shù)字多用途盤(DVD)、通用串行總線存儲器(USB)、硬盤驅(qū)動(HDD)存儲設備、閃存、磁帶或者任意其他常規(guī)存儲設備。因而，計算機程序340可以被加載到計算機或等效處理設備(圖23中的用戶設備300所示)的操作存儲器中，由其處理器310來執(zhí)行。

因此，當由一個或多個處理器執(zhí)行時，本文提出的流程圖(一個或多個)可被認為是計算機流程圖(一個或多個)。對應的解碼器或編碼器可以定義為一組功能模塊，其中由處理器執(zhí)行的每個步驟對應于功能模塊。在這種情況下，功能模塊實現(xiàn)為在處理器上運行的計算機程序。因此，解碼器或編碼器可以備選地定義為一組功能模塊，其中功能模塊實現(xiàn)為在至少一個處理器上運行的計算機程序。

駐留在存儲器中的計算機程序可以被組織為合適的功能模塊，所述功能模塊被配置為，當被處理器執(zhí)行時，執(zhí)行上述步驟和/或任務的至少一部分。圖19和圖22中示出了這些功能模塊的示例。

圖19是具有功能模塊的解碼器130的示意框圖。解碼器130包括用于對視頻比特流的IRAP畫面進行解碼的IRAP解碼器131。解碼器130還包括DRAP解碼器132，所述DRAP解碼器132使用IRAP畫面和/或視頻比特流中根據(jù)解碼順序的在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將視頻比特流的DRAP畫面解碼為時間預測畫面。DRAP畫面構成視頻比特流中的隨機訪問點。

圖22是具有功能模塊的編碼器230的示意框圖。編碼器230包括用于對視頻流的IRAP畫面進行編碼的IRAP編碼器231。編碼器230還包括DRAP編碼器232，所述DRAP編碼器232使用IRAP畫面和/或視頻流中根據(jù)解碼順序的在先DRAP畫面作為DRAP畫面的僅有的參考畫面，將視頻流的DRAP畫面編碼為時間預測畫面。DRAP畫面構成視頻流的編碼畫面的視頻比特流中的隨機訪問點。

本領域技術人員將理解，盡管使用了HEVC作為描述本文的實施例的基礎，但是實施例對使用包括AVC/H.264、H.263、MPEG-4、VP8和VP9在內(nèi)的時間預測編碼的其他視頻編碼同樣有效。

如本文所描述的IRAP畫面構成隨機訪問點畫面(即構成并因此可用作隨機訪問點的畫面)，并且使用空間(即幀內(nèi))預測對其進行編碼和解碼，從而僅包括幀內(nèi)編碼塊。如前所述，根據(jù)HEVC規(guī)范，IRAP畫面可以具有IDR畫面、CRA畫面或BLA畫面的形式。在例如上面提到的其他視頻編碼標準中，可以使用其他特定畫面類型名稱，以便定義幀內(nèi)隨機訪問點畫面，例如關鍵畫面或關鍵幀。然而，對于這些其它視頻編碼標準，這些其它特定畫面類型被認為被如本文所使用的表述IRAP畫面所涵蓋，只要它們構成并因此可以用作隨機訪問點，并且僅使用空間或幀內(nèi)預測進行編碼或解碼。在視頻編碼中，視頻流的畫面有時被稱為幀。

上述實施例被理解為本發(fā)明的幾個說明性示例。本領域技術人員將理解，在不脫離本發(fā)明的范圍的前提下，可以對實施例作出各種修改、合并和改變。尤其是，不同實施例中的不同部分的方案可在其他技術上可行配置中進行組合。然而，本發(fā)明的范圍由所附權利要求限定。