用于視頻編碼參考圖像列表的用信號(hào)發(fā)送和建構(gòu)的方法及裝置制造方法
【專(zhuān)利摘要】用于時(shí)間預(yù)測(cè)的參考圖像的用信號(hào)發(fā)送的改進(jìn)方法及裝置。用于HEVC工作草案(WD5)中的不同參考圖像列表的用信號(hào)發(fā)送方案和建構(gòu)過(guò)程被改進(jìn)。
【專(zhuān)利說(shuō)明】用于視頻編碼參考圖像列表的用信號(hào)發(fā)送和建構(gòu)的方法及裝置
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)為2012年I月19日提交的美國(guó)臨時(shí)專(zhuān)利申請(qǐng)N0.61/588，571的非臨時(shí)申請(qǐng)，該申請(qǐng)的內(nèi)容通過(guò)引用結(jié)合于此。

【背景技術(shù)】
[0003]視頻編碼系統(tǒng)被廣泛地用于壓縮數(shù)字視頻信號(hào)以減少這種信號(hào)的存儲(chǔ)需要和/或傳輸帶寬。在各種類(lèi)型的視頻解碼系統(tǒng)(例如，基于區(qū)塊、基于小波和基于對(duì)象(object-based)的系統(tǒng))中，當(dāng)今被廣泛地使用和部署的是基于區(qū)塊的混合視頻編碼系統(tǒng)。基于區(qū)塊混合視頻編碼系統(tǒng)的示例包括國(guó)際視頻編碼標(biāo)準(zhǔn)(例如，MPEG1/2/4部分2、
H.264/MPEG-4 部分 10AVC[I] [3]和 VC-1 [2]標(biāo)準(zhǔn))。
[0004]圖1是通用基于區(qū)塊混合視頻編碼系統(tǒng)的方框圖。輸入視頻信號(hào)102逐區(qū)塊被處理。在所有現(xiàn)有視頻編碼標(biāo)準(zhǔn)中，視頻區(qū)塊單元由16X16像素組成；這種區(qū)塊單元通常還被稱(chēng)為宏區(qū)塊或MB。目前，ITU-T/SG16/Q.6/VCEG的JCT-VC (視頻編碼聯(lián)合協(xié)作組)和IS0/IEC/MPEG正在開(kāi)發(fā)下一代視頻編碼標(biāo)準(zhǔn)(稱(chēng)為高效視頻編碼)或HEVC[4]。在HEVC中，擴(kuò)展的區(qū)塊大小(稱(chēng)為“編碼單元”或CU)被用于有效地壓縮高分辨率(1080p及以上)視頻信號(hào)。在HEVC中，⑶可以多達(dá)64X64像素。⑶可以被進(jìn)一步分割成預(yù)測(cè)單元或I3U,對(duì)于其應(yīng)用單獨(dú)的預(yù)測(cè)方法。對(duì)于每個(gè)輸入視頻區(qū)塊(MB或CU)，空間預(yù)測(cè)(160)和/或時(shí)間預(yù)測(cè)(temporal predict1n) (162)可以被執(zhí)行?？臻g預(yù)測(cè)(或“巾貞內(nèi)預(yù)測(cè)(intrapredict1n)”)使用來(lái)自在相同視頻圖像/切片(slice)中的已經(jīng)編碼的鄰近區(qū)塊的像素來(lái)預(yù)測(cè)當(dāng)前視頻區(qū)塊?？臻g預(yù)測(cè)減少在視頻信號(hào)中固有的空間冗余。時(shí)間預(yù)測(cè)(也被稱(chēng)為“幀間預(yù)測(cè)(inter predict1n) ”或“運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)”)使用來(lái)自已經(jīng)編碼的視頻圖像(通常稱(chēng)為參考圖像)的像素來(lái)預(yù)測(cè)當(dāng)前視頻區(qū)塊。時(shí)間預(yù)測(cè)減少在視頻信號(hào)中固有的時(shí)間冗余。給定視頻區(qū)塊的時(shí)間預(yù)測(cè)信號(hào)通常由一個(gè)或多個(gè)運(yùn)動(dòng)向量用信號(hào)發(fā)送，運(yùn)動(dòng)向量用于指示在參考圖像中的當(dāng)前區(qū)塊和其預(yù)測(cè)區(qū)塊之間的運(yùn)動(dòng)量和方向。此外，如果多個(gè)參考圖像是被支持的(例如H.264/AVC或HEVC等的針對(duì)近期視頻編碼標(biāo)準(zhǔn)的情況)，則對(duì)于每個(gè)視頻區(qū)塊，其參考圖像索引被附加地發(fā)送。參考圖像索引識(shí)別將從參考圖像存儲(chǔ)(164)(也被稱(chēng)為“解碼的圖像緩沖”或DPB)中的哪個(gè)參考圖像獲得時(shí)間預(yù)測(cè)信號(hào)，以為了生成將被重構(gòu)的當(dāng)前視頻區(qū)塊的預(yù)測(cè)。在空間和/或時(shí)間預(yù)測(cè)后，在編碼器中的模式?jīng)Q定區(qū)塊(180)選擇最佳預(yù)測(cè)模式，例如，基于速率失真優(yōu)化的方法。預(yù)測(cè)區(qū)塊之后被從當(dāng)前視頻區(qū)塊中減去(116);以及預(yù)測(cè)殘差被變換(104)和量化(106)。量化的殘差系數(shù)被逆量化(110)和逆變換(112)以形成重構(gòu)的殘差，其之后被加回到預(yù)測(cè)區(qū)塊(126)以形成重構(gòu)的視頻區(qū)塊。進(jìn)一步地，環(huán)路(in-loop)濾波器(166)(例如解塊濾波器、采樣自適應(yīng)偏移、和自適應(yīng)環(huán)路濾波器)可以在重構(gòu)的視頻區(qū)塊置于參考圖像存儲(chǔ)(164)中并用于編碼未來(lái)的視頻區(qū)塊之前被應(yīng)用到重構(gòu)的視頻區(qū)塊。為了形成輸出視頻比特流120，編碼模式(幀間或幀內(nèi))、預(yù)測(cè)模式信息、運(yùn)動(dòng)信息、和量化的殘差系數(shù)都被發(fā)送到熵編碼單元(108)以被進(jìn)一步壓縮和分組(packed)以形成比特流。
[0005]圖2給出了基于區(qū)塊視頻解碼器的常規(guī)方框圖。視頻比特流202首先未被分組且在熵解碼單元(208)處被熵解碼。編碼模式和預(yù)測(cè)信息被發(fā)送到空間預(yù)測(cè)單元260 (如果幀內(nèi)編碼)或時(shí)間預(yù)測(cè)單元262 (如果幀間編碼)以形成預(yù)測(cè)區(qū)塊。如果幀間編碼，預(yù)測(cè)信息包括預(yù)測(cè)區(qū)塊大小、一個(gè)或多個(gè)運(yùn)動(dòng)向量(指示方向和運(yùn)動(dòng)量)、和一個(gè)或多個(gè)參考索引(指示預(yù)測(cè)信號(hào)將從哪個(gè)參考圖像中獲得)。運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)之后由時(shí)間預(yù)測(cè)單元262來(lái)應(yīng)用以形成時(shí)間預(yù)測(cè)區(qū)塊。殘差變換系數(shù)被發(fā)送到逆量化單元210和逆變換單元212來(lái)重構(gòu)殘差區(qū)塊。預(yù)測(cè)區(qū)塊和殘差區(qū)塊之后在226處相加。重構(gòu)的區(qū)塊還可以在將其存儲(chǔ)在參考圖像存儲(chǔ)264中之前經(jīng)過(guò)環(huán)路濾波器。在參考圖像存儲(chǔ)中的重構(gòu)視頻之后被發(fā)出以驅(qū)動(dòng)顯示裝置，也用于預(yù)測(cè)未來(lái)的視頻區(qū)塊。


【發(fā)明內(nèi)容】

[0006]這里描述了提供靈活性以改進(jìn)用于時(shí)間預(yù)測(cè)的參考圖像的用信號(hào)發(fā)送的方法和系統(tǒng)(參見(jiàn)圖1中的方框162和圖2中的方框262)。具體地，用于HEVC工作草案(WD5) [4]
[5]中的不同參考圖像列表的用信號(hào)發(fā)送方案和建構(gòu)過(guò)程被改進(jìn)。
[0007]根據(jù)一種實(shí)施方式，一種生成參考圖像列表LO和LI以解碼視頻數(shù)據(jù)內(nèi)的預(yù)測(cè)圖像的方法，該方法包括:從解碼的圖像緩沖(DPB)中生成經(jīng)排序的第一參考圖像列表，其中所述列表按下述方式來(lái)排序:時(shí)間上在當(dāng)前圖像之前的所述DPB中的參考圖像，如果有的話(huà)，按與所述當(dāng)前圖像的時(shí)間距離的順序列出，接著是時(shí)間上在所述當(dāng)前圖像之后的所述DPB中的參考圖像，如果有的話(huà)，按與所述當(dāng)前圖像的時(shí)間距離的順序列出，接著是所述DPB中的長(zhǎng)期參考圖像，如果有的話(huà)，按它們?cè)谒鯠PB中存儲(chǔ)的順序列出；從所述解碼的圖像緩沖(DPB)中生成經(jīng)排序的第二參考圖像列表，其中所述列表按下述方式來(lái)排序:時(shí)間上在所述當(dāng)前圖像之后的所述DPB中的參考圖像，如果有的話(huà)，首先按離所述當(dāng)前圖像的時(shí)間距離的順序列出，接著是時(shí)間上在所述當(dāng)前圖像之前的所述DPB中的參考圖像，如果有的話(huà)，按離所述當(dāng)前圖像的時(shí)間距離的順序列出，接著是所述DPB中的長(zhǎng)期參考圖像，如果有的話(huà)，以它們?cè)谒鯠PB中存儲(chǔ)的順序列出；通過(guò)分別從經(jīng)排序的第一列表和經(jīng)排序的第二列表中選擇參考圖像而生成列表LO和LI中的至少一者。
[0008]根據(jù)另一種實(shí)施方式，一種用于初始化用于參考圖像列表的解碼器以解碼P或B切片頭的方法，該方法包括:通過(guò)以下方式建構(gòu)第一臨時(shí)列表，RefPicSetCurrTempListO:
[0009]
cldx = O
NumRpsCuiTTempList=NumRpsStCurrO+NumRpsStCurrI +
NumRpsLtCurr.對(duì)+丁t ?=0; i < NiimRpsStCiirrO; cfdx++, ?++ )

RefPicSetCuixTenipListO [cldx] = MefPicSetStCurrOfi]
對(duì)+丁.( i=0; i < NumRpsStCuiTl; cfdx++, ?++ )

RefPicSetCurrTempListO [cldx] = RefPicSetStCuirl [i]
對(duì)丁.( i=0; i < NumRpsLtCurr; cldx++? i++ )

RefPicSetCurrTempListO [cldx] = RefPicSetLtCuir[i] 0
[0010]根據(jù)又一種實(shí)施方式，一種用信號(hào)發(fā)送修改到多個(gè)參考圖像列表的方法，該方法包括使用統(tǒng)一的信令句法規(guī)則用信號(hào)發(fā)送所述修改到所述多個(gè)參考圖像列表。
[0011]根據(jù)再一種實(shí)施方式，一種方法包括:確定參考圖像列表中的條目數(shù)量；生成消息，該消息包括用于識(shí)別所述參考圖像列表中的條目的值，其中如果所述參考圖像列表中的條目數(shù)量為兩個(gè)則所述值由單個(gè)比特表示，如果所述參考圖像列表中的條目數(shù)量為三個(gè)或更多個(gè)則所述值由多個(gè)比特表示，而如果所述參考圖像列表中的條目數(shù)量為一個(gè)則所述消息省略所述值。
[0012]根據(jù)再一種實(shí)施方式，一種創(chuàng)建參考圖像的組合的列表LC的方法，該參考圖像的組合的列表LC將被用于解碼來(lái)自第一參考圖像列表LO和第二參考圖像列表LI的P或B圖像，該方法包括:確定LO是否包含多于一個(gè)條目；確定LI是否包含多于一個(gè)條目；如果LO或LI包含多于一個(gè)條目，則使用句法規(guī)則元素ref_idx_list_curr以指示LO和LI中的至少一者中的條目將被添加到LC ;如果LO僅包含一個(gè)條目，則設(shè)定ref_idx_list_curr為O ;如果LI僅包含一個(gè)條目，則設(shè)定ref_idx_list_curr為O ;以及使用ref_idx_list_curr的值創(chuàng)建LC。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0013]更詳細(xì)的理解可以從以下結(jié)合附圖并且舉例給出的描述中得到，其中:
[0014]圖1是基于區(qū)塊混合視頻編碼方案的方框圖，其中可以結(jié)合本發(fā)明的實(shí)施方式；
[0015]圖2是基于區(qū)塊視頻解碼方案的方框圖，其中可以結(jié)合本發(fā)明的實(shí)施方式；
[0016]圖3描述了根據(jù)現(xiàn)有技術(shù)的根據(jù)參考圖像存儲(chǔ)的時(shí)間單預(yù)測(cè)(unipredict1n)，該參考圖像存儲(chǔ)包含多個(gè)參考圖像；
[0017]圖4描述了根據(jù)現(xiàn)有技術(shù)使用多個(gè)參考圖像的時(shí)間雙預(yù)測(cè)；
[0018]圖5是根據(jù)現(xiàn)有技術(shù)的建構(gòu)組合的參考圖像列表的過(guò)程的流程圖；
[0019]圖6示出了根據(jù)有關(guān)圖5中所描述的過(guò)程的建構(gòu)組合的參考圖像列表的示例過(guò)程;
[0020]圖7示出了根據(jù)現(xiàn)有技術(shù)的建構(gòu)組合、的參考圖像列表的示例修改過(guò)程；
[0021]圖8是根據(jù)現(xiàn)有技術(shù)使用LO作為示例的針對(duì)LO和LI的參考圖像列表修改的流程圖；
[0022]圖9是根據(jù)有關(guān)圖8中所描述的過(guò)程的針對(duì)LO的示例參考_圖像_列表_修改(ref_pic_list_modificat1n)過(guò)程；
[0023]圖10是根據(jù)本發(fā)明實(shí)施方式的使用LO作為示例的參考圖像列表修改的流程圖；
[0024]圖11是根據(jù)本發(fā)明的一種實(shí)施方式的原理的針對(duì)與圖9中相同的示例的ref_pic_list_modificat1n 過(guò)程；
[0025]圖12A是其中可以實(shí)施所公開(kāi)的一個(gè)或多個(gè)實(shí)施方式的示例通信系統(tǒng)的系統(tǒng)圖；
[0026]圖12B是可以在圖12A中示出的通信系統(tǒng)內(nèi)使用的示例無(wú)線發(fā)射/接收單元(WTRU)的系統(tǒng)圖；以及
[0027]圖12C、圖12D、和圖12E是可以在圖12A中示出的通信系統(tǒng)內(nèi)使用的示例無(wú)線電接入網(wǎng)和示例核心網(wǎng)的系統(tǒng)圖。

【具體實(shí)施方式】
[0028]如這里使用的，術(shù)語(yǔ)“時(shí)間預(yù)測(cè)”、“運(yùn)動(dòng)預(yù)測(cè)”、“運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)”、以及“幀間預(yù)測(cè)”被交替地使用；以及術(shù)語(yǔ)“參考圖像存儲(chǔ)”、“解碼的圖像緩沖”、以及“DPB”被交替地使用。
[0029]根據(jù)應(yīng)用在H.264和HEVC WD5中的已知技術(shù)，視頻區(qū)塊的時(shí)間預(yù)測(cè)可以使用單預(yù)測(cè)技術(shù)或雙預(yù)測(cè)技術(shù)被執(zhí)行。為了根據(jù)這種技術(shù)執(zhí)行預(yù)測(cè)，用信號(hào)發(fā)送和建構(gòu)參考圖像列表。對(duì)于單預(yù)測(cè)，可以存在單個(gè)參考圖像列表，從該參考圖像列表中預(yù)測(cè)當(dāng)前圖像中的區(qū)塊。對(duì)于雙預(yù)測(cè)，存在兩個(gè)列表LO和LI，其中從每個(gè)列表中選擇一個(gè)參考圖像以形成在當(dāng)前圖像中的區(qū)塊的預(yù)測(cè)。但進(jìn)一步地，已經(jīng)做出針對(duì)雙預(yù)測(cè)技術(shù)的建議(但是在寫(xiě)入時(shí)不再結(jié)合在最新的HEVC WD9[9]中)，該雙預(yù)測(cè)技術(shù)包括對(duì)是第一二列表LO和LI的組合的第三列表的使用，這里稱(chēng)為列表LC。這里描述的是用于針對(duì)所有參考圖像列表(L0、L1和/或LC)的修改句法規(guī)則的用信號(hào)發(fā)送的有效統(tǒng)一技術(shù)以及組合的參考圖像列表的用信號(hào)發(fā)送的技術(shù)的方法和系統(tǒng)。
[0030]圖3有助于用圖表示出可以由幀間預(yù)測(cè)處理器(例如，在圖1中的方框162)執(zhí)行的根據(jù)單個(gè)參考圖像列表301的單預(yù)測(cè)。根據(jù)單預(yù)測(cè)技術(shù)，參考圖像列表301包含從鄰近的已經(jīng)編碼的視頻幀到視頻區(qū)塊(例如，區(qū)塊304)的鏈路，以預(yù)測(cè)當(dāng)前視頻區(qū)塊，以及由此可以利用時(shí)間相關(guān)性并移除在視頻信號(hào)中固有的時(shí)間冗余。這些已經(jīng)編碼的視頻幀存儲(chǔ)在解碼的圖像緩沖(DPB，例如，在圖1中的參考圖像存儲(chǔ)164)中。H.264/AVC和HEVC WD5允許多于一個(gè)參考圖像的使用。在圖3中，N個(gè)參考圖像303的列表被標(biāo)記為refn，η = 0...N-1 (參考η，η = O…N-1)，可以用于預(yù)測(cè)在當(dāng)前圖像305中的視頻區(qū)塊307。假設(shè)refm被選作將使用運(yùn)動(dòng)向量(mvx，mvy)預(yù)測(cè)當(dāng)前區(qū)塊307的依據(jù)。時(shí)間預(yù)測(cè)以下式執(zhí)行為:
[0031]P (x, y) = refm(x-mvx, y-mvy)(I)
[0032]其中，refU，y)是在參考圖像ref中的位置(x，y)處的像素值，而P (x，y)是預(yù)測(cè)的區(qū)塊?，F(xiàn)有視頻編碼系統(tǒng)以分?jǐn)?shù)像素(fract1nal pixel)精度[I] [2] [4]支持巾貞間預(yù)測(cè)。當(dāng)運(yùn)動(dòng)向量(mvx，mvy)具有分?jǐn)?shù)像素值時(shí)，應(yīng)用插值濾波器以獲得在分?jǐn)?shù)像素位置處的像素值。
[0033]在等式⑴中，來(lái)自一個(gè)源(即refm)的時(shí)間預(yù)測(cè)，通常被稱(chēng)為單預(yù)測(cè)。其中使用單預(yù)測(cè)來(lái)預(yù)測(cè)在圖像或切片中的所有區(qū)塊的圖像或切片(一組視頻區(qū)塊)通常被稱(chēng)為P圖像或P切片。
[0034]為了改變時(shí)間預(yù)測(cè)的準(zhǔn)確性，更多最新的基于區(qū)塊視頻編碼系統(tǒng)還支持多假設(shè)預(yù)測(cè)，其中預(yù)測(cè)信號(hào)是通過(guò)將來(lái)自不同參考圖像的多個(gè)預(yù)測(cè)信號(hào)進(jìn)行組合而形成的。多假設(shè)預(yù)測(cè)通常使用的形式被稱(chēng)為雙預(yù)測(cè)，其中兩個(gè)預(yù)測(cè)信號(hào)(各自來(lái)自不同參考圖像列表中的圖像)被組合來(lái)形成對(duì)當(dāng)前區(qū)塊的預(yù)測(cè)。圖4有助于示出雙預(yù)測(cè)。特別地，兩個(gè)參考圖像列表(列表0401和列表1403)被用于預(yù)測(cè)在當(dāng)前圖像中的視頻區(qū)塊。列表O包含總共N。個(gè)圖像404，而列表I包含總共N1個(gè)圖像404。在圖4中，來(lái)自列表0401的具有運(yùn)動(dòng)向量(mvxO, mvyO)的refm°和來(lái)自列表1403的具有運(yùn)動(dòng)向量(mvxl，mvyl)的refml被選擇以形成如等式(2)中的當(dāng)前圖像412的預(yù)測(cè)區(qū)塊410的雙預(yù)測(cè):
[0035]
( 、_ PJx,)-) + Pl(XiV) _ ri>fm,J(x - mvxa%y -mvy0) + ref"'' (.t -1nvxi,y- --.>>?,)
UJmI—，/1、
JUdm\ / f
[0036]其中，P0 (x, y)和P1 (x, y)分別是第一和第二預(yù)測(cè)區(qū)塊407和408。如果使用雙預(yù)測(cè)預(yù)測(cè)圖像或切片中的至少一些區(qū)塊(而可以使用單預(yù)測(cè)來(lái)預(yù)測(cè)其他區(qū)塊)，則圖像或切片通常被稱(chēng)為B圖像或B切片。雙預(yù)測(cè)在所有最新的視頻編碼標(biāo)準(zhǔn)(例如，MPEG2/4、VCU
H.264、和HEVC)中得以支持。
[0037]預(yù)測(cè)之后，預(yù)測(cè)區(qū)塊P(x，y)在第一加法器(summer)處(見(jiàn)圖1中的116)從原始視頻區(qū)塊中被減去以形成預(yù)測(cè)殘差區(qū)塊。預(yù)測(cè)殘差區(qū)塊在變換單元104處被變換并且在量化單元106處被量化。量化的殘差變換系數(shù)區(qū)塊之后被發(fā)送到熵編碼單元108而被熵編碼以進(jìn)一步降低比特率。熵編碼的殘差系數(shù)之后被分組以形成輸出視頻比特流120的一部分。
[0038]由于使用單預(yù)測(cè)預(yù)測(cè)所有區(qū)塊，所以用于P圖像/切片的參考圖像列表的結(jié)構(gòu)相對(duì)簡(jiǎn)單(意味著僅需要一個(gè)參考圖像列表)。但在B圖像/切片中，可使用雙預(yù)測(cè)來(lái)預(yù)測(cè)一些區(qū)塊，而使用單預(yù)測(cè)來(lái)預(yù)測(cè)其他區(qū)塊。在HEVC中，用于雙預(yù)測(cè)的參考圖像列表(即，如在圖4中的列表0(或LO)401和列表I (或LI)403)和H.264/AVC中的相同。但是，在如何形成用于B圖像/切片的單預(yù)測(cè)的參考圖像列表方面，HEVC不同于H.264/AVC。在H.264/AVC中，用于B圖像/切片中的視頻區(qū)塊的單預(yù)測(cè)需要首先指示預(yù)測(cè)是來(lái)自LO還是來(lái)自LI，之后指示該特定列表的參考_索引(ref_idx)。在HEVC中，在第4次JCT-VC會(huì)議上，組合的參考圖像列表的概念被提出[8]。組合的列表在這里公開(kāi)的被稱(chēng)為L(zhǎng)C，其通過(guò)將LO和LI組合在一起形成；之后LC充當(dāng)在B圖像/切片中使用單預(yù)測(cè)所預(yù)測(cè)的所有區(qū)塊的唯一參考圖像列表。
[0039]在當(dāng)前HEVC中，組合的列表LC默認(rèn)的以可替換地方式從LO和LI中獲取唯一的圖像而被形成以保證組合列表中最小的冗余。圖5中給出了默認(rèn)的組合列表生成的流程圖。特別地，L0、L1、和LC的索引1、j和k分別在501處被初始化，它們作為兩個(gè)列表LO和LI的大小。在決策503處，確定是否LO中的所有參考圖像都已經(jīng)被檢查。如果沒(méi)有，則進(jìn)行到?jīng)Q策方框505，其中確定LO中的索引i處的參考圖像是否已經(jīng)在組合的列表LC中。如果沒(méi)有，其被添加并且組合列表LC的索引(the index into combined list LC)被增加(507)。索引i也被增加(509)。另一方面，如果其已經(jīng)在LC中，流程反而直接從505進(jìn)行到509。接下來(lái)，關(guān)于列表LI的索引j處的參考圖像基本上執(zhí)行相同的過(guò)程。具體地，在決策511處，確定是否在LI中的所有參考圖像都已經(jīng)被檢查。如果沒(méi)有，則流程進(jìn)行到?jīng)Q策方框513，其中確定LI的索引j處的參考圖像是否已經(jīng)在組合的列表LC中。如果沒(méi)有，其被添加并且在LC的索引被增加(515)。LI的索引j也被增加(517)。另一方面，如果LI的索引j處的參考圖像已經(jīng)在LC中，流程反而直接從513進(jìn)行到517。如在決策方框519處所示，通過(guò)交替地檢查列表LO和LI的每個(gè)中的下一個(gè)參考圖像來(lái)重復(fù)上述過(guò)程直到達(dá)到兩個(gè)列表的末尾。
[0040]由圖5的流程圖所示的過(guò)程創(chuàng)建的組合的列表LC的示例在圖6中給出。在該示例中，正在被編碼的當(dāng)前圖像在時(shí)間上介于參考圖像2和參考圖像4之間。此外，LO包含下述順序的參考圖像:參考圖像Ref2、Refl和Ref4，而LI包含下述順序的參考圖像:參考圖像Ref4、Ref5和Ref2的順序的參考圖像。接著在圖5中的流程，圖6中的示例通過(guò)以交替方式分別檢查L(zhǎng)O和LI中的3個(gè)參考圖像中的每一個(gè)參考圖像是否已經(jīng)存在于LC中、以及添加所有之前未存在的參考圖像到LC來(lái)形成組合的列表LC。作為結(jié)果，圖6中的示例形成具有4個(gè)參考圖像的組合的列表LC，通過(guò)以下述順序添加到LC:L0中的第一個(gè)參考圖像(Ref2)、Ll中的第一個(gè)參考圖像(Ref4)、L0中的第二個(gè)參考圖像(Refl)、L1中的第二個(gè)參考圖像(Ref5)，跳過(guò)了 LO中的第三個(gè)參考圖像(Ref4)是因?yàn)槠湟呀?jīng)被添加到LC，由于其與LI中的第一個(gè)參考圖像是相同的圖像，而跳過(guò)了 LI中的第三個(gè)參考圖像(Ref2)是因?yàn)槠湟呀?jīng)被添加到LC，由于其與LO中的第一個(gè)參考圖像是相同的圖像。
[0041]注意到圖6中的列表L0、LI和LC的每一個(gè)列表中的參考圖像的編碼順序都與顯示順序不同，例如參考圖像Ref4和Ref5(顯示順序在后)在當(dāng)前圖像之前被編碼。通過(guò)在列表LO和LI之間來(lái)回(ping-ponging)建構(gòu)LC的默認(rèn)過(guò)程確保LC中的每個(gè)條目代表在編碼視頻序列中的一個(gè)唯一的圖像，因此確保了最小化冗余。
[0042]由于所述默認(rèn)過(guò)程不支持參考圖像重排序(也就是，具有與默認(rèn)列表大小不同的列表大小、具有不同于默認(rèn)過(guò)程排序的列表中的條目、在列表中重復(fù)一些條目、和/或從列表中移除一些條目等等)，附加的句法規(guī)則元素在HEVC WD5中(見(jiàn)下表I)使用以支持組合的列表LC的修改過(guò)程。圖7給出了組合的列表修改的兩個(gè)示例，其中第一個(gè)示例示出了重排序的LC，而第二個(gè)示例示出了具有重復(fù)條目的和不同于默認(rèn)LC大小(4個(gè)條目)的修改后的LC大小(3個(gè)條目)的LC。在HEVC WD5中，使用表I中的句法規(guī)則表來(lái)用信號(hào)發(fā)送組合的參考圖像列表LC。
[0043]表I WD5[4]中的參考圖像列表組合句法規(guī)貝Ijj................兩...sf^L^pKy::...........?.「?..?.;?^................................................................................................................................................................~_
I_rcf pic list combinaticm flagu( I)_
I----^]?^:--?^:?[--^?;::]----^?iic(v)
?^--?1--^Τ?ΙΓ^?^--------^Γ1?^1^?{?)
if( rcf pic list modificat1n flag Ic )
_for ( i ~0; i <— nuin rcf idxjc activc miiius I; i++ ) {__
pic^fronillist~ ~ ~..................................................................................................................................0(l)_
rcQdxJisl_ciirrnc(v)
丨=廠…1—:-:-:.......................................................................................................................................................................................
[0044]參考圖像列表組合語(yǔ)義如下:
[0045]參考_圖像_列表_組合_標(biāo)記(ref_pic_list_combinat1n_f lag)等于I指不參考圖像列表O和參考圖像列表I被組合為用于區(qū)塊或正在單預(yù)測(cè)的其他預(yù)測(cè)單元的附加的組合的參考圖像列表。當(dāng)該標(biāo)記等于O時(shí)，其指不參考圖像列表O和參考圖像列表I是等同的，且因此參考圖像列表O可以被用作組合的參考圖像列表。組合的參考圖像列表在表I中定義的循環(huán)開(kāi)始處設(shè)定為空；
[0046]數(shù)量_ 參考 _ 索引 _lc_ 活動(dòng) _ 減 1+1 (num_ref_idx_lc_active_minusl+l)指定從組合的參考圖像列表中的參考圖像列表O或參考圖像列表I中選擇的參考圖像的數(shù)量；
[0047]參考_ 圖像 _ 列表 _ 修改 _ 標(biāo)記 _lc (ref_pic_list_modificat1n_flag_lc)等于I指定句法規(guī)則元素圖像_來(lái)自_列表_0_標(biāo)記(pic_from_list_0_flag)和參考_索引_列表_當(dāng)前(ref_i dx_l ist_curr)呈現(xiàn)用于指定組合的參考圖像列表的條目的到參考圖像列表O和參考圖像列表I的條目的映射；
[0048]ref_pic_list_modificat1n_flag_lc等于O指定這些句法規(guī)則元素不被呈現(xiàn)。如HEVC WD5的子條款8.2.2.4中所指定的初始化組合的參考圖像列表。
[0049]pic_from_list_0_flag指示添加到組合的參考圖像列表的當(dāng)前參考圖像來(lái)自參考圖像列表O或參考圖像列表I。當(dāng)該標(biāo)記等于I時(shí)，圖像來(lái)自參考圖像列表0，且當(dāng)前參考圖像列表(CurrRefPicList)是參考圖像列表O ;當(dāng)該標(biāo)記等于O時(shí)，圖像來(lái)自參考圖像列表1，且CurrRefPicList是參考圖像列表I ;
[0050]ref_idx_list_curr指示CurrRefPicList中的圖像的參考索引將被附加在參考圖像列表組合的末尾。
[0051]參考圖像列表LO和LI可以被修改。為了允許參考圖像列表LO和LI的靈活使用，HEVC中支持默認(rèn)建構(gòu)過(guò)程和修改建構(gòu)過(guò)程兩者。對(duì)于LO和LI的當(dāng)前參考圖像列表建構(gòu)和修改過(guò)程在2011年11月的第七次JCT-VC會(huì)議[6] [7]中被展示且在HEVC WD5[4]中得以應(yīng)用。對(duì)于HEVC WD5中的LO和LI的參考圖像列表修改的句法規(guī)則在下表2中被給出并且在圖8的流程圖形式中得以表現(xiàn)。
[0052]表2針對(duì)LO和LI的參考圖像列表修改句法規(guī)則

【權(quán)利要求】
1.一種用于生成參考圖像列表LO和列表LI以解碼視頻數(shù)據(jù)內(nèi)的預(yù)測(cè)圖像的方法，該方法包括: 從解碼的圖像緩沖(DPB)中生成經(jīng)排序的第一參考圖像列表RefPicSetCurrTempListO,其中所述列表按下述方式來(lái)排序:時(shí)間上在當(dāng)前圖像之前的所述DPB中的參考圖像，如果有的話(huà)，按與所述當(dāng)前圖像的時(shí)間距離的順序列出，接著是時(shí)間上在所述當(dāng)前圖像之后的所述DPB中的參考圖像，如果有的話(huà)，按與所述當(dāng)前圖像的時(shí)間距離的順序列出，接著是所述DPB中的長(zhǎng)期參考圖像，如果有的話(huà)，按它們?cè)谒鯠PB中存儲(chǔ)的順序列出； 從所述DPB中生成經(jīng)排序的第二參考圖像列表RefPicSetCurrTempListl,其中所述列表按下述方式來(lái)排序:時(shí)間上在所述當(dāng)前圖像之后的所述DPB中的參考圖像，如果有的話(huà)，首先按與所述當(dāng)前圖像的時(shí)間距離的順序列出，接著是時(shí)間上在所述當(dāng)前圖像之前的所述DPB中的參考圖像，如果有的話(huà)，按與所述當(dāng)前圖像的時(shí)間距離的順序列出，接著是所述DPB中的長(zhǎng)期參考圖像，如果有的話(huà)，按它們?cè)谒鯠PB中存儲(chǔ)的順序列出；以及 通過(guò)分別從 RefPicSetCurrTempListO 和 RefPicSetCurrTempListl 中選擇參考圖像而生成列表LO和列表LI中的至少一者。
2.根據(jù)權(quán)利要求1所述的方法，該方法還包括: 確定是否列表LO或列表LI是將要被修改的列表，其中: 如果列表LO是將要被修改的列表,則生成列表LO包括:對(duì)于參考圖像列表LO中的每個(gè)參考圖像，接收經(jīng)排序的第一列表的第一索引，并且列出在LO中對(duì)應(yīng)條目處的所述經(jīng)排序的第一列表中該索引處識(shí)別的參考圖像；以及 如果列表LI是將要被修改的列表,貝U生成列表LI包括:對(duì)于參考圖像列表LI中的每個(gè)參考圖像條目，接收經(jīng)排序的第二列表的第二索引，并且列出在LI中對(duì)應(yīng)條目處的所述經(jīng)排序的第二列表中該索引處識(shí)別的參考圖像。
3.根據(jù)權(quán)利要求2所述的方法，其中: 如果列表LO不是將要被修改的列表，則生成列表LO包括:按順序從RefPicSetCurrTempListO獲取多達(dá)第一指定條目數(shù)量的條目；以及 如果列表LI不是將要被修改的列表，則生成列表LI包括:按順序從RefPicSetCurrTempListl獲取多達(dá)第二指定條目數(shù)量的條目。
4.根據(jù)權(quán)利要求2所述的方法，其中所述確定包括讀取關(guān)于列表LO的句法規(guī)則元素 ref_pic_list_modificat1n_flag_10 和關(guān)于列表 LI 的句法規(guī)則兀素 ref_pic_list_modificat1n_f lag—11。
5.根據(jù)權(quán)利要求2所述的方法，其中所述第一索引和所述第二索引處于O到所述DPB中的圖像數(shù)量的范圍內(nèi)。
6.根據(jù)權(quán)利要求2所述的方法，其中句法規(guī)則元素ref_pic_Set_idX被用于指定所述第一索引和所述第二索引。
7.根據(jù)權(quán)利要求6所述的方法，該方法還包括: 讀取句法規(guī)則兀素 ref_pic_list_modificat1n_f lag_ll,其中 ref_pic_list_modificat1n_flag_ll等于指定所述句法規(guī)則元素ref_pic_set_idx被提出用于指定LI的第一值，并且其中ref_pic_list_modificat1n_flag_ll等于指定該句法規(guī)則元素不被提出用于指定LI的第二值。
8.根據(jù)權(quán)利要求6所述的方法，該方法還包括: 讀取句法規(guī)則兀素 ref_pic_list_modificat1n_f lag_10,其中 ref_pic_list_modificat1n_flag_10等于指定所述句法規(guī)則元素ref_pic_set_idx被提出用于指定LO的第一值，并且其中ref_pic_list_modificat1n_flag_10等于指定該句法規(guī)則元素不被提出用于指定LO的第二值。
9.根據(jù)權(quán)利要求8所述的方法，該方法還包括: 讀取句法規(guī)則兀素 ref_pic_list_modificat1n_f lag_ll,其中 ref_pic_list_modificat1n_flag_ll等于指定所述句法規(guī)則元素ref_pic_set_idx被提出用于指定LI的第一值，并且其中ref_pic_list_modificat1n_flag_ll等于指定該句法規(guī)則元素不被提出用于指定LI的第二值。
10.根據(jù)權(quán)利要求9所述的方法，其中如果所述第一索引不被提出，則該第一索引被設(shè)定為0，而如果所述第二索引不被提出，則該第二索引被設(shè)定為O。
11.一種包括初始化用于參考圖像列表的解碼器以解碼P或B切片頭的方法，該方法包括: 通過(guò)以下方式建構(gòu)第一臨時(shí)列表RefPicSetCurrTempListO:
cldx = O
NumRps€urrTempList=NumRpsStCurrO+NumRpsStCurrl+
NumRpsLtCurr
對(duì)于(i=0; i < NumRpsStCuuO; cldx++, I++ )
RefPicSetCurrTempListO [cldx] = RefPicSelSlCurrO[i]
對(duì)于(i=0; I < NumRpsStCurrl; cldx++, ?++ )
RefPicSetCurrTempListO [cldx] = RefPicSetStCurrl [i]
對(duì)于(i=0; i < NumRpsLtCurr; cldx++, i++ )
RefPicSetCurrTempListO [cldx] = RefPieSetLtCurrpJ。
12.根據(jù)權(quán)利要求11所述的方法，該方法還包括如果標(biāo)記ref_pic_list_modificat1n_f lag_10 為 O,則通過(guò)在 RefPicSetCurrTempListO 中獲取第一 num_ref_idx_10_active_minusl+l 條目來(lái)建構(gòu)列表 LO (RefPicListO)。
13.根據(jù)權(quán)利要求12所述的方法，該方法還包括如果所述標(biāo)記ref_piC_list_modificat1n_flag_10 為 I,則通過(guò)調(diào)用使用 RefPicSetCurrTempListO和 num_ref_idx_10_active_minusl作為輸入的圖像列表修改過(guò)程來(lái)建構(gòu)列表L0。
14.根據(jù)權(quán)利要求13所述的方法，該方法還包括:如果解碼B切片頭: 通過(guò)以下方式建構(gòu)第二臨時(shí)列表RefPicSetCurrTempListl:
cldx = O
MumRpsCurrTempList = NumRps StCurrO + NnmRpsStCuni +
NumRpsLCurr
對(duì)予(i=0; i <NumRpsCmrI; cldx++.?++ )
RefPicSetCurrTempListl [cldx] = ReffieSetCurrlp]
對(duì)].(i==0; i < NiumRpsCunO; cldx++? i++ )
RefPicSetCurrTempListl [cldx] = RefPicSeiCunOpl
對(duì)丁-(j=o- j < NumRpsLtCurr; cidx++, i++ )
RefPicSetCurrTempListI [cldx] = RefPicSetLtCurr[i] 0
15.根據(jù)權(quán)利要求14所述的方法，該方法還包括如果標(biāo)記(ref_pic_list_modificat1n_flag_ll)為 O,則通過(guò)在 RefPicSetCurrTempListl 中獲取第一 num_ref_idx_ll_active_minusl+l 條目來(lái)建構(gòu)列表 LI (RefPicListl)。
16.根據(jù)權(quán)利要求15所述的方法，該方法還包括如果所述標(biāo)記(ref_pic_list_modificat1n_flag_ll)為 1，則通過(guò)調(diào)用使用 RefPicSetCurrTempListl 和 num_ref_idx_ll_active_minusl作為輸入的圖像列表修改過(guò)程來(lái)建構(gòu)列表LI (RefPicListl)。
17.根據(jù)權(quán)利要求16所述的方法，其中所述參考圖像列表修改過(guò)程被用于生成RefPicListX，其中X表明所對(duì)應(yīng)的列表O或1，其中: 設(shè)定refldxLX作為參考圖像列表RefPicListX的索引；以及 迭代地重復(fù)直到 refldxLX 大于 num_ref_idx_lX_active_minusl+l:
RefPicListX[refIdxLX++] = RefPicSetCurrTempLX[ref_pic_set_idx]
18.一種用信號(hào)發(fā)送修改到多個(gè)參考圖像列表的方法，該方法包括使用統(tǒng)一的信令句法規(guī)則用信號(hào)發(fā)送所述修改到所述多個(gè)參考圖像列表。
19.根據(jù)權(quán)利要求18所述的方法，其中所述多個(gè)參考圖像列表包括L0、L1、和組合的列表LC0
20.根據(jù)權(quán)利要求19所述的方法，其中所述統(tǒng)一的信令句法規(guī)則包括使用熵編碼方法來(lái)編碼參考圖像的索引。
21.根據(jù)權(quán)利要求20所述的方法，其中所述統(tǒng)一的信令句法規(guī)則包括使用te(v)編碼參考圖像的所述索引。
22.—種方法,該方法包括: 確定參考圖像列表中的條目數(shù)量； 生成消息，該消息包括用于識(shí)別所述參考圖像列表中的條目的值，其中如果所述參考圖像列表中的條目數(shù)量為兩個(gè)則所述值由單個(gè)比特表示，如果所述參考圖像列表中的條目數(shù)量為三個(gè)或更多個(gè)則所述值由多個(gè)比特表示，而如果所述參考圖像列表中的條目數(shù)量為一個(gè)則所述消息省略所述值。
23.根據(jù)權(quán)利要求22所述的方法，其中當(dāng)條目數(shù)量為三個(gè)或更多個(gè)值時(shí)，所述值是ue(V)ο
24.根據(jù)權(quán)利要求22所述的方法，其中所述索引由所述句法規(guī)則元素ref_idX_liSt_curr所指定。
25.—種創(chuàng)建參考圖像的組合的列表LC的方法，該參考圖像的組合的列表LC將被用于解碼來(lái)自第一參考圖像列表LO和第二參考圖像列表LI的B切片，該方法包括: 確定LO是否包含多于一個(gè)條目； 確定LI是否包含多于一個(gè)條目； 如果LO或LI包含多于一個(gè)條目，則使用句法規(guī)則元素ref_idx_list_curr以指示LO和LI中的至少一者中的條目將被添加到LC ； 如果LO僅包含一個(gè)條目，則設(shè)定ref_idx_list_curr為O ; 如果LI僅包含一個(gè)條目，則設(shè)定ref_idx_list_curr為O ;以及 使用 ref_idx_list_curr 的值創(chuàng)建 LC。
26.根據(jù)權(quán)利要求25所述的方法，其中所述確定LO是否包含多于一個(gè)條目包括:確定句法規(guī)則元素num_ref_idx_10_active_minusl是O還是更多，而所述確定LI是否包含多于一個(gè)條目包括:確定句法規(guī)則元素num_ref_idx_ll_active_minusl是O還是更多。
【文檔編號(hào)】H04N19/103GK104170390SQ201380006165
【公開(kāi)日】2014年11月26日 申請(qǐng)日期:2013年1月10日 優(yōu)先權(quán)日:2012年1月19日
【發(fā)明者】葉琰, Y·何 申請(qǐng)人:Vid拓展公司