用于視頻譯碼的參考圖片狀態(tài)的制作方法
【專利說(shuō)明】用于視頻譯碼的參考圖片狀態(tài)
[0001]本申請(qǐng)案主張2012年10月25日申請(qǐng)的美國(guó)臨時(shí)申請(qǐng)案61/718，629的權(quán)益，所述申請(qǐng)案的全部?jī)?nèi)容以引用的方式并入本文中。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及視頻譯碼，且更確切地說(shuō)，涉及關(guān)于用于視頻譯碼的參考圖片狀態(tài)的技術(shù)。
【背景技術(shù)】
[0003]數(shù)字視頻能力可并入到廣泛范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無(wú)線廣播系統(tǒng)、個(gè)人數(shù)字助理(PDA)、膝上型或桌上型計(jì)算機(jī)、平板計(jì)算機(jī)、電子書閱讀器、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺(tái)、蜂窩式或衛(wèi)星無(wú)線電電話、所謂的“智能電話”、視頻電話會(huì)議裝置、視頻流式傳輸裝置及其類似者。數(shù)字視頻裝置實(shí)施視頻壓縮技術(shù)，例如由 MPEG-2、MPEG-4、ITU-T H.263 或 ITU-T H.264/MPEG-4 第 10部分高級(jí)視頻譯碼(AVC)所定義的標(biāo)準(zhǔn)、目前正在開發(fā)的高效率視頻譯碼(HEVC)標(biāo)準(zhǔn)及這些標(biāo)準(zhǔn)的擴(kuò)展中所描述的視頻壓縮技術(shù)。視頻裝置可通過(guò)實(shí)施此類視頻壓縮技術(shù)來(lái)更有效率地發(fā)射、接收、編碼、解碼及/或存儲(chǔ)數(shù)字視頻信息。
[0004]視頻壓縮技術(shù)執(zhí)行空間(圖片內(nèi))預(yù)測(cè)和/或時(shí)間(圖片間)預(yù)測(cè)來(lái)減少或移除視頻序列中固有的冗余。對(duì)于基于塊的視頻譯碼來(lái)說(shuō)，視頻切片(即，視頻幀或視頻幀的一部分)可分割成視頻塊，視頻塊也可稱作樹塊、譯碼單元(CU)及/或譯碼節(jié)點(diǎn)。使用相對(duì)于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測(cè)對(duì)圖片的經(jīng)幀內(nèi)譯碼(I)切片中的視頻塊進(jìn)行編碼。圖片的經(jīng)幀間譯碼(P或B)切片中的視頻塊可使用相對(duì)于同一圖片中的相鄰塊中的參考樣本的空間預(yù)測(cè)，或相對(duì)于其它參考圖片中的參考樣本的時(shí)間預(yù)測(cè)。圖片可稱為幀，且參考圖片可稱為參考幀。
[0005]空間或時(shí)間預(yù)測(cè)產(chǎn)生用于待譯碼的塊的預(yù)測(cè)性塊。殘余數(shù)據(jù)表示待譯碼的原始?jí)K與預(yù)測(cè)性塊之間的像素差。經(jīng)幀間譯碼塊是根據(jù)指向形成預(yù)測(cè)性塊的參考樣本塊的運(yùn)動(dòng)向量及指示經(jīng)譯碼塊與預(yù)測(cè)性塊之間的差的殘余數(shù)據(jù)編碼的。經(jīng)幀內(nèi)譯碼塊是根據(jù)幀內(nèi)譯碼模式及殘余數(shù)據(jù)而編碼。為了進(jìn)一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘余變換系數(shù)，接著可以對(duì)殘余變換系數(shù)進(jìn)行量化。可掃描一開始按二維陣列排列的經(jīng)量化變換系數(shù)，以便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼以達(dá)成更多壓縮。

【發(fā)明內(nèi)容】

[0006]本發(fā)明中所描述的技術(shù)通常涉及視頻譯碼過(guò)程，且存儲(chǔ)在對(duì)使用參考圖片中的一或多者的圖片進(jìn)行譯碼的情況下的參考圖片的參考狀態(tài)信息。以此方式，即使參考圖片的參考狀態(tài)隨后改變，視頻譯碼器仍能夠確定在對(duì)圖片進(jìn)行譯碼的情況下的參考圖片的參考狀態(tài)。
[0007]在一個(gè)實(shí)例中，本發(fā)明描述一種用于對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的方法。所述方法包含存儲(chǔ)第一圖片的一或多個(gè)參考圖片的參考狀態(tài)信息，所述參考狀態(tài)信息指示在對(duì)第一圖片進(jìn)行譯碼的情況下的一或多個(gè)參考圖片的參考狀態(tài)信息，及基于第一圖片的一或多個(gè)參考圖片的在對(duì)第一圖片進(jìn)行譯碼的情況下的所存儲(chǔ)的參考狀態(tài)信息對(duì)第二不同圖片內(nèi)的視頻塊進(jìn)行譯碼。
[0008]在一個(gè)實(shí)例中，本發(fā)明描述一種用于對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的設(shè)備。所述設(shè)備包含視頻譯碼器，所述視頻譯碼器經(jīng)配置以存儲(chǔ)第一圖片的一或多個(gè)參考圖片的參考狀態(tài)信息，所述參考狀態(tài)信息指示在對(duì)第一圖片進(jìn)行譯碼的情況下的一或多個(gè)參考圖片的參考狀態(tài)信息，及基于第一圖片的一或多個(gè)參考圖片的在對(duì)第一圖片進(jìn)行譯碼的情況下的所存儲(chǔ)的參考狀態(tài)信息對(duì)第二不同圖片內(nèi)的視頻塊進(jìn)行譯碼。
[0009]在一個(gè)實(shí)例中，本發(fā)明描述一種用于對(duì)視頻數(shù)據(jù)進(jìn)行譯碼的設(shè)備。所述設(shè)備包含用于存儲(chǔ)第一圖片的一或多個(gè)參考圖片的參考狀態(tài)信息的裝置，所述參考狀態(tài)信息指示在對(duì)第一圖片進(jìn)行譯碼的情況下的一或多個(gè)參考圖片的參考狀態(tài)信息，及用于基于第一圖片的一或多個(gè)參考圖片的在對(duì)第一圖片進(jìn)行譯碼的情況下的所存儲(chǔ)的參考狀態(tài)信息對(duì)第二不同圖片內(nèi)的視頻塊進(jìn)行譯碼的裝置。
[0010]在一個(gè)實(shí)例中，本發(fā)明描述一種具有存儲(chǔ)于其上的指令的計(jì)算機(jī)可讀存儲(chǔ)媒體，所述指令在執(zhí)行時(shí)致使一或多個(gè)處理器存儲(chǔ)第一圖片的一或多個(gè)參考圖片的參考狀態(tài)信息，所述參考狀態(tài)信息指示在對(duì)第一圖片進(jìn)行譯碼的情況下的一或多個(gè)參考圖片的參考狀態(tài)信息，及基于第一圖片的一或多個(gè)參考圖片的在對(duì)第一圖片進(jìn)行譯碼的情況下的所存儲(chǔ)的參考狀態(tài)信息對(duì)第二不同圖片內(nèi)的視頻塊進(jìn)行譯碼。
[0011]隨附圖式及以下描述中陳述一或多個(gè)實(shí)例的細(xì)節(jié)。其它特征、目標(biāo)及優(yōu)勢(shì)將從所述描述及所述圖式以及從權(quán)利要求書顯而易見。
【附圖說(shuō)明】
[0012]圖1是說(shuō)明可利用本發(fā)明中描述的技術(shù)的實(shí)例視頻編碼及解碼系統(tǒng)的框圖。
[0013]圖2是說(shuō)明可實(shí)施本發(fā)明中描述的技術(shù)的實(shí)例視頻編碼器的框圖。
[0014]圖3是說(shuō)明可實(shí)施本發(fā)明中描述的技術(shù)的實(shí)例視頻解碼器的框圖。
[0015]圖4是說(shuō)明根據(jù)本發(fā)明中所描述的一或多個(gè)實(shí)例技術(shù)的實(shí)例操作的流程圖。
【具體實(shí)施方式】
[0016]本發(fā)明中所描述的技術(shù)通常涉及視頻譯碼過(guò)程中的圖片的參考狀態(tài)的檢查。作為參考狀態(tài)的實(shí)例，視頻譯碼器可將圖片指明(例如，標(biāo)記)為“用于長(zhǎng)期參考”、“用于短期參考”或“不用于參考”。舉例來(lái)說(shuō)，為了對(duì)圖片內(nèi)的視頻塊進(jìn)行幀間預(yù)測(cè)，視頻譯碼器可建構(gòu)一個(gè)或兩個(gè)參考圖片列表(RefPicListO及/或RefPicListl)。參考圖片列表識(shí)別可用以幀間預(yù)測(cè)所述圖片內(nèi)的視頻塊的參考圖片。在本發(fā)明中所描述的技術(shù)中，視頻譯碼器存儲(chǔ)在對(duì)圖片進(jìn)行譯碼的情況下的在RefPicListO及/或RefPicListl中識(shí)別的參考圖片的參考狀態(tài)信息。
[0017]在一些狀況下，視頻譯碼器可需要在對(duì)后續(xù)圖片的視頻塊進(jìn)行譯碼時(shí)確定圖片的參考圖片的參考狀態(tài)信息。然而，圖片的參考圖片的參考狀態(tài)可能已從視頻譯碼器對(duì)圖片進(jìn)行譯碼改變?yōu)橐曨l譯碼器對(duì)后續(xù)圖片進(jìn)行譯碼。通過(guò)存儲(chǔ)在對(duì)圖片進(jìn)行譯碼的情況下的圖片的參考圖片的參考狀態(tài)信息，本發(fā)明中所描述的技術(shù)可允許視頻譯碼器在對(duì)后續(xù)圖片進(jìn)行譯碼時(shí)確定圖片的參考圖片的參考狀態(tài)。
[0018]舉例來(lái)說(shuō)，視頻譯碼器可需要在改變參考狀態(tài)的時(shí)間之前獲得參考圖片的參考狀態(tài)，以實(shí)施用于對(duì)視頻塊進(jìn)行譯碼的合并/跳過(guò)模式或高級(jí)運(yùn)動(dòng)向量預(yù)測(cè)(AMVP)模式。僅出于說(shuō)明的目的，描述關(guān)于合并/跳過(guò)模式或AMVP模式的技術(shù)。然而，本發(fā)明中所描述的技術(shù)不應(yīng)被視為限于合并/跳過(guò)模式或AMVP模式。
[0019]如更詳細(xì)地描述，在合并/跳過(guò)模式或AMVP模式中，視頻譯碼器利用運(yùn)動(dòng)向量預(yù)測(cè)子來(lái)確定將進(jìn)行幀間預(yù)測(cè)的塊的運(yùn)動(dòng)向量。運(yùn)動(dòng)向量預(yù)測(cè)子的一個(gè)實(shí)例為時(shí)間運(yùn)動(dòng)向量預(yù)測(cè)子(TMVP)。
[0020]TMVP參考時(shí)間相鄰塊的運(yùn)動(dòng)向量。時(shí)間相鄰塊存在于除包含進(jìn)行幀間預(yù)測(cè)的塊的圖片之外的圖片內(nèi)。時(shí)間相鄰塊可為不同于與經(jīng)譯碼的視頻塊相關(guān)聯(lián)的圖片的圖片的相同位置塊，但也可使用其它非相同位置塊。為易于描述，進(jìn)行幀間預(yù)測(cè)的塊被稱作當(dāng)前圖片中的當(dāng)前塊。時(shí)間相鄰塊存在于時(shí)間圖片內(nèi)，其中時(shí)間圖片為除當(dāng)前圖片之外的圖片。
[0021]TMVP參考為時(shí)間圖片的參考圖片的圖片。舉例來(lái)說(shuō)，視頻譯碼器可建構(gòu)時(shí)間圖片的兩個(gè)參考圖片列表(RefPicListO及RefPicListl)。為時(shí)間相鄰塊的運(yùn)動(dòng)向量的TMVP參考時(shí)間圖片的RePicListO或RefPicListl中的一者中的參考圖片。在用兩個(gè)運(yùn)動(dòng)向量對(duì)時(shí)間相鄰塊進(jìn)行幀間預(yù)測(cè)(即，雙向預(yù)測(cè))的實(shí)例中，一個(gè)運(yùn)動(dòng)向量參考RefPicListO中的參考圖片，且另一運(yùn)動(dòng)向量參考RefPicListl中的圖片。在這些實(shí)例中，可存在兩個(gè)TMVP。
[0022]在一些實(shí)例中，為了利用時(shí)間相鄰塊的一或多個(gè)運(yùn)動(dòng)向量作為當(dāng)前塊的一或多個(gè)運(yùn)動(dòng)向量預(yù)測(cè)子(即，作為當(dāng)前塊的一或多個(gè)TMVP)，視頻譯碼器可需要確定時(shí)間相鄰塊的一或多個(gè)運(yùn)動(dòng)向量所參考的參考圖片的參考狀態(tài)。換句話說(shuō)，視頻譯碼器可需要確定在視頻譯碼器對(duì)時(shí)間圖片進(jìn)行譯碼的情況下的在時(shí)間圖片的RefPicListO及/或RefPicListl中識(shí)別的參考圖片的參考狀態(tài)。
[0023]一般來(lái)說(shuō)，視頻譯碼器可能已經(jīng)經(jīng)配置以存儲(chǔ)圖片的參考狀態(tài)信息。然而，圖片的參考狀態(tài)信息可改變。因此，在對(duì)時(shí)間圖片進(jìn)行譯碼的情況下的時(shí)間圖片的RefPicListO及RefPicListl中識(shí)別的圖片的的參考狀態(tài)可在隨后對(duì)當(dāng)前圖片進(jìn)行譯碼時(shí)丟失。
[0024]舉例來(lái)說(shuō)，假設(shè)在對(duì)時(shí)間圖片進(jìn)行譯碼的情況下，時(shí)間圖片的參考圖片的參考狀態(tài)“用于長(zhǎng)期參考圖片”。接著，假設(shè)在對(duì)當(dāng)前圖片進(jìn)行譯碼之前，參考圖片的參考狀態(tài)從“用于長(zhǎng)期參考圖片”改變?yōu)椤坝糜诙唐趨⒖紙D片”。在此實(shí)例中，在視頻譯碼器對(duì)時(shí)間圖片進(jìn)行譯碼的情況下為“所使用的長(zhǎng)期參考圖片”的參考圖片的參考狀態(tài)可在視頻譯碼器對(duì)當(dāng)前圖片進(jìn)行譯碼時(shí)丟失。
[0025]在本發(fā)明中所描述的技術(shù)中，視頻譯碼器存儲(chǔ)在對(duì)第一圖片進(jìn)行譯碼的情況下的第一圖片(例如，時(shí)間圖片)的參考圖片的參考狀態(tài)信息。接著，在對(duì)第一圖片進(jìn)行譯碼的情況下的第一圖片的參考圖片的參考狀態(tài)信息在對(duì)第二不同圖片(例如，當(dāng)前圖片)進(jìn)行譯碼時(shí)可用。舉例來(lái)說(shuō)，如果第一圖片中的塊的運(yùn)動(dòng)向量為第二不同圖片中的塊的運(yùn)動(dòng)向量預(yù)測(cè)子，那么視頻譯碼器可能能夠確定在對(duì)第一圖片進(jìn)行譯碼的情況下的第一圖片中的塊的運(yùn)動(dòng)向量所參考的參考圖片的參考狀態(tài)，以確保恰當(dāng)?shù)貛g預(yù)測(cè)第二不同圖片中的塊。
[0026]圖1為說(shuō)明可利用本發(fā)明中所描述的技術(shù)的實(shí)例視頻編碼和解碼系統(tǒng)10的框圖。如圖1中所示，系統(tǒng)10包含源裝置12，所述源裝置產(chǎn)生經(jīng)編碼視頻數(shù)據(jù)以在稍后時(shí)間由目的地裝置14解碼。源裝置12和目的地裝置14可包括廣泛范圍的裝置中的任一者，包含桌上型計(jì)算機(jī)、筆記型(即，膝上型)計(jì)算機(jī)、平板計(jì)算機(jī)、機(jī)頂盒、電話手持機(jī)(例如所謂的“智能”電話)、所謂的“智能”平板電腦、電視機(jī)、相機(jī)、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺(tái)、視頻流式傳輸裝置或類似者。在一些情況下，源裝置12和目的地裝置14可能經(jīng)裝備以用于無(wú)線通信。
[0027]目的地裝置14可經(jīng)由鏈路16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。鏈路16可包括能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置12移動(dòng)到目的地裝置14的任何類型的媒體或裝置。在一個(gè)實(shí)例中，鏈路16可包括使得源裝置12能夠?qū)崟r(shí)地將經(jīng)編碼視頻數(shù)據(jù)直接發(fā)射到目的地裝置14的通信媒體。經(jīng)編碼視頻數(shù)據(jù)可根據(jù)通信標(biāo)準(zhǔn)(例如，無(wú)線通信協(xié)議)加以調(diào)制，且發(fā)射到目的地裝置14。通信媒體可包括任何無(wú)線或有線通信媒體，例如射頻(RF)頻譜或一或多個(gè)物理傳輸線。通信媒體可形成基于包的網(wǎng)絡(luò)(例如，局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡(luò)，例如因特網(wǎng))的部分。通信媒體可包含路由器、交換器、基站或任何其它可以用于促進(jìn)從源裝置12到目的地裝置14的通信的設(shè)備。
[0028]替代地，可將經(jīng)編碼數(shù)據(jù)從輸出接口 22輸出到存儲(chǔ)裝置34。類似地，可通過(guò)輸入接口從存儲(chǔ)裝置34存取經(jīng)編碼數(shù)據(jù)。存儲(chǔ)裝置34可包含多種分布式或本地存取的數(shù)據(jù)存儲(chǔ)媒體中的任一者，例如硬盤驅(qū)動(dòng)器、藍(lán)光光盤、DVD、CD-ROM、快閃存儲(chǔ)器、易失性或非易失性存儲(chǔ)器或用于存儲(chǔ)經(jīng)編碼視頻數(shù)據(jù)的任何其它合適的數(shù)字存儲(chǔ)媒體。在另一實(shí)例中，存儲(chǔ)裝置34可對(duì)應(yīng)于文件服務(wù)器或可保持由源裝置12產(chǎn)生的經(jīng)編碼視頻的另一中間存儲(chǔ)裝置。目的地裝置14可經(jīng)由流式傳輸或下載從存儲(chǔ)裝置34存取所存儲(chǔ)的視頻數(shù)據(jù)。文件服務(wù)器可以是任何類型的能夠存儲(chǔ)經(jīng)編碼的視頻數(shù)據(jù)并且將經(jīng)編碼的視頻數(shù)據(jù)發(fā)射到目的地裝置14的服務(wù)器。實(shí)例文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器(例如，用于網(wǎng)站)、FTP服務(wù)器、網(wǎng)絡(luò)附接存儲(chǔ)(NAS)裝置或本地磁盤驅(qū)動(dòng)器。目的地裝置14可以通過(guò)任何標(biāo)準(zhǔn)數(shù)據(jù)連接(包含因特網(wǎng)連接)來(lái)存取經(jīng)編碼視頻數(shù)據(jù)。此連接可包含適合于存取存儲(chǔ)在文件服務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)的無(wú)線信道(例如，W1-Fi連接)、有線連接(例如，DSL、電纜調(diào)制解調(diào)器等)或兩者的組合。經(jīng)編碼視頻數(shù)據(jù)從存儲(chǔ)裝置34的傳輸可為流式傳輸、下載傳輸或兩者的組合。
[0029]本發(fā)明的技術(shù)不必限于無(wú)線應(yīng)用或設(shè)定。所述技術(shù)可應(yīng)用于視頻譯碼以支持多種多媒體應(yīng)用中的任一者，例如空中電視廣播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、流式視頻傳輸(例如，經(jīng)由因特網(wǎng))、編碼數(shù)字視頻以用于存儲(chǔ)在數(shù)據(jù)存儲(chǔ)媒體上、解碼存儲(chǔ)在數(shù)據(jù)存儲(chǔ)媒體上的數(shù)字視頻，或其它應(yīng)用。在一些實(shí)例中，系統(tǒng)10可經(jīng)配置以支持單向或雙向視頻傳輸，以支持例如視頻流式傳輸、視頻回放、視頻廣播和/或視頻電話等應(yīng)用。
[0030]在圖1的實(shí)例中，源裝置12包含視頻源18、視頻編碼器20及輸出接口 22。在一些狀況下，輸出接口 22可包含調(diào)制器/解調(diào)器(調(diào)制解調(diào)器)及/或發(fā)射器。在源裝置12中，視頻源18可包含例如視頻俘獲裝置(例如，攝像機(jī))、含有先前俘獲的視頻的視頻存檔、用于從視頻內(nèi)容提供者接收視頻的視頻饋入接口及/或用于產(chǎn)生計(jì)算機(jī)圖形數(shù)據(jù)作為源視頻的計(jì)算機(jī)圖形系統(tǒng)，或此類源的組合等源。作為一個(gè)實(shí)例，如果視頻源18是攝像機(jī)，那么源裝置12和目的地裝置14可以形成所謂的相機(jī)電話或視頻電話。然而，本發(fā)明中所描述的技術(shù)可大體上適用于視頻譯碼，且可應(yīng)用于無(wú)線和/或有線應(yīng)用。
[0031]可由視頻編碼器20來(lái)編碼所俘獲視頻、經(jīng)預(yù)先俘獲的視頻或計(jì)算機(jī)產(chǎn)生的視頻?？山?jīng)由源裝置12的輸出接口 22將經(jīng)編碼視頻數(shù)據(jù)直接發(fā)射到目的地裝置14。還可(或替代地)將經(jīng)編碼視頻數(shù)據(jù)存儲(chǔ)到存儲(chǔ)裝置34上以供稍后由目的地裝置14或其它裝置存取以用于解碼及/或回放。
[0032]目的地裝置14包括輸入接口 28、視頻解碼器30和顯示裝置32。在一些狀況下，輸入接口 28可包含接收器和/或調(diào)制解調(diào)器。目的地裝置14的輸入接口 28經(jīng)由鏈路16接收經(jīng)編碼視頻數(shù)據(jù)。經(jīng)由鏈路16傳送或在存儲(chǔ)裝置34上提供的經(jīng)編碼視頻數(shù)據(jù)可包含由視頻編碼器20產(chǎn)生的多種語(yǔ)法元素以供由例如視頻解碼器30等視頻解碼器用于解碼視頻數(shù)據(jù)。此類語(yǔ)法元素可與在通信媒體上發(fā)射、存儲(chǔ)在存儲(chǔ)媒體上或存儲(chǔ)在文件服務(wù)器中的經(jīng)編碼視頻數(shù)據(jù)包含在一起。
[0033]顯示裝置32可與目的地裝置14集成或在目的地裝置14外部。在一些實(shí)例中，目的地裝置14可包含集成顯示裝置，且還經(jīng)配置以與外部顯示裝置介接。在其它實(shí)例中，目的地裝置14可為顯示裝置。一般來(lái)說(shuō)，顯示裝置32將經(jīng)解碼視頻數(shù)據(jù)顯示給用戶，且可包括多種顯示裝置中的任一者，例如液晶顯示器(LCD)、等離子顯示器、有機(jī)發(fā)光二極管(OLED)顯示器或另一類型的顯示裝置。
[0034]視頻編碼器20和視頻解碼器30可根據(jù)各種視頻譯碼標(biāo)準(zhǔn)操作。