專利名稱：使用用于運(yùn)動(dòng)補(bǔ)償預(yù)測的代替參考幀的視頻編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像解碼設(shè)備和方法、圖像編碼設(shè)備和方 法、計(jì)算機(jī)程序、以及存儲(chǔ)介質(zhì)。
背景技術(shù)：
近年來，需要這樣的編碼技術(shù)其能在高壓縮率下以高圖
像質(zhì)量對(duì)圖像數(shù)據(jù)進(jìn)行編碼，以將運(yùn)動(dòng)圖像信息處理為數(shù)字?jǐn)?shù) 據(jù)并將其用于存儲(chǔ)和傳輸。為了壓縮圖像信息，已經(jīng)提出并普
及了MPEG等方法其通過利用圖像信息特有的冗余性，通過 離散余弦變換(discrete cosine transformation)等正交變換 (orthogonal transformation)和運(yùn)動(dòng)子貞領(lǐng)'j /運(yùn)動(dòng)才卜j嘗來對(duì)圖 <象信息
進(jìn)^亍壓縮編碼。
而且，近年來，H.264(也被稱作MPEG4第IO部分AVC) 作為一種目的在于更高壓縮率和更高圖像質(zhì)量的編碼方法是可 用的。與MPEG2、 MPEG4等傳統(tǒng)的編碼方法相比較，這種11.264 在編碼處理和解碼處理中需要更多的運(yùn)算量但是可以實(shí)現(xiàn)更高 的編碼率(關(guān)于H.264標(biāo)準(zhǔn)的詳細(xì)信息，參見ISO/IEC 14496-10(Mpeg-4第IO部分)。
這樣的編碼方法通過減少時(shí)間冗余信息來壓縮信息大小。 可以通過參考圖像圓片之間在時(shí)間上的過去和將來的信息而進(jìn) 行對(duì)于各塊的運(yùn)動(dòng)信息的檢測和預(yù)測圖像的生成、計(jì)算獲得的 預(yù)測圖像和當(dāng)前的幀圖像之間的差分值、然后對(duì)該差分值進(jìn)行 編碼，來減少時(shí)間冗余信息。
注意，"圖片，，是表示一個(gè)畫面的術(shù)語，其代表逐行掃描圖 像(progressive image)中的幀圖 <象以及隔4亍掃描圖 <象(interlacedimage)中的幀圖像或者場圖像。
圖IO示出了H.264中的圖片的類型及其參考關(guān)系。參考圖 10，符號(hào)I、 P和B分別表示圖片的類型，即I(內(nèi)部編碼)圖片、 P(前向預(yù)測編碼)圖片以及B(雙向預(yù)測編碼)圖片。跟在符號(hào)后 的數(shù)字表示圖片的編號(hào)。在這種情況下，越小的圖片編號(hào)表示 在時(shí)間上越早回放的數(shù)據(jù)。例如，在圖10中，P5圖片將在B1圖 片之后回放。P5圖片通過箭頭與B1圖片聯(lián)結(jié)。該箭頭表示圖片 間的參考關(guān)系。因此，P5圖片參考B1圖片，并且對(duì)于P5圖片， 對(duì)P5和B1圖片之間的差分進(jìn)行編碼。
在圖10中，12和I17都是I圖片。這種I圖片被限制在各圖片 內(nèi)進(jìn)行編碼，并且不參考其它圖片。如P5、 P8、 P11和P14圖片 等P圖片僅參考在時(shí)間上存在于感興趣的圖片之前的圖片，并 對(duì)圖片之間的差分進(jìn)行編碼。此外，B0、 Bl、 B3、 B4、 B6、 B7、 B9、 BIO、 B12、 B13、 B15和B16是B圖片。每一個(gè)這樣的 B圖片與時(shí)間關(guān)系無關(guān)地參考兩個(gè)圖片，并對(duì)圖片之間的差分 進(jìn)行編碼。注意，P和B圖片可能包括不參考其它圖片并在圖片 內(nèi)進(jìn)行編碼的塊。
在H.264中，對(duì)于作為包含在各圖片中的小區(qū)域的各塊指定 參考目的地，各圖片中這樣的塊可以參考不同圖片中的塊。圖 ll示出了這種參考關(guān)系。參考圖ll，作為P圖片的P5圖片包括 P5(a)塊和P5(b)塊。P5(a)塊參考Bl圖片中的Bl(a)塊，而P5(b) 塊參考I2圖片中的12(b)塊。
在H.264中，可以對(duì)作為比圖片小的單位的各切片(slice)指 定I、 P和B。然而，為了簡便起見，在一個(gè)圖片包括相同的切 片類型(I， P, B)的假設(shè)下給出以下說明。
為了對(duì)使用圖片間(inter-picture)差分而編碼的數(shù)據(jù)進(jìn)行解 碼，必須已經(jīng)對(duì)被參考的圖片進(jìn)行了解碼。以下考慮這樣的情
況即僅提取具有圖ll所示參考關(guān)系的編碼數(shù)據(jù)的I圖片和P圖 片以進(jìn)行搜索回放。在對(duì)I2圖片進(jìn)行解碼時(shí)，由于對(duì)I2圖片進(jìn) 行了內(nèi)部編碼，因而可以毫無問題地對(duì)其進(jìn)行解碼。接著，對(duì) 于P5圖片，由于P5圖片中的P5(b)塊參考已被解碼的I2圖片的 12(b)塊，因而可以對(duì)P5(b)塊進(jìn)行解碼。然而，由于P5(a)塊參 考仍未被解碼的B1圖片的Bl(a)塊，因而不能對(duì)P5(a)塊原樣進(jìn) 行解碼。這樣，在僅對(duì)I圖片和P圖片解碼時(shí)，可以僅對(duì)P圖片的 某些塊和I圖片進(jìn)行解碼。
同樣，可以單獨(dú)提取I圖片并在回放時(shí)對(duì)其進(jìn)行解碼。然而，
即使當(dāng)采用與MPEG2中相同的圖片結(jié)構(gòu)時(shí)，也是每例如1 5個(gè)圖 片包括一個(gè)I圖片。因此，在僅提取I圖片的回放中，不能進(jìn)行 低速(例如三倍速度)搜索。
即使在搜索以外的情況下，當(dāng)從圖像流的中間(例如B圖片) 開始回放時(shí)，通常也不能對(duì)被參考的圖片進(jìn)行解碼。在這種情 況下，必須通過將控制返回或者前進(jìn)到作為參考的I圖片(IDR 圖片)來進(jìn)行解碼，并且難以立即對(duì)圖l象進(jìn)4亍解碼和回放。

發(fā)明內(nèi)容
考慮到上述問題做出了本發(fā)明，本發(fā)明的目的在于即使 當(dāng)對(duì)圖像進(jìn)行解碼時(shí)作為該圖像的參考的圖片未被解碼時(shí)，也 將該圖像作為近似圖像進(jìn)行解碼和回放。
為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明，提供一種對(duì)包括多個(gè)圖 像圖片的壓縮編碼圖像數(shù)據(jù)進(jìn)行解碼的圖像數(shù)據(jù)解碼方法，其 特征在于包括選擇步驟，用于當(dāng)要對(duì)所述多個(gè)圖像圖片中的 一個(gè)圖像圖片進(jìn)行解碼時(shí)，以及當(dāng)待解碼的該圖像圖片所參考 的第一參考圖片未被解碼時(shí)，從已解碼圖片中選擇第二參考圖
片作為代替參考；以及解碼步驟，用于參考作為所述第一參考
圖片的代替的所述第二參考圖片對(duì)所述待解碼的圖像圖片進(jìn)行解碼。
根據(jù)下面結(jié)合附圖所做的說明，本發(fā)明的其它特征和優(yōu)點(diǎn) 將變得明顯，在所有附圖中，相同的附圖標(biāo)記表示相同或相似 的部分。


圖l是示出根據(jù)本發(fā)明第 一實(shí)施例的圖像解碼設(shè)備的配置
的示例的才匡圖2示出了根據(jù)本發(fā)明第 一實(shí)施例的圖像序列的圖片結(jié)構(gòu)； 圖3是根據(jù)本發(fā)明第一實(shí)施例的用于說明圖片的代替參考 的圖4是示出根據(jù)本發(fā)明第 一 實(shí)施例的運(yùn)動(dòng)補(bǔ)償單元的處理 的流程的示例的流程圖5是根據(jù)本發(fā)明第一實(shí)施例的用于說明當(dāng)場景變化發(fā)生 時(shí)的圖片的參考關(guān)系的圖6是根據(jù)本發(fā)明第 一 實(shí)施例的用于說明單個(gè)圖片中的多 個(gè)塊參考不同圖片的示例的圖7是根據(jù)本發(fā)明第 一實(shí)施例的用于說明單個(gè)圖片中的多 個(gè)塊參考作為代替參考的一個(gè)圖片的示例的圖8是示出根據(jù)本發(fā)明第二實(shí)施例的編碼設(shè)備的配置的示 例的框圖9是示出根據(jù)本發(fā)明第二實(shí)施例的解碼設(shè)備的示例的框
圖10示出了根據(jù)本發(fā)明現(xiàn)有技術(shù)的圖片的參考關(guān)系；以及 圖ll示出了根據(jù)本發(fā)明現(xiàn)有技術(shù)的圖片的參考關(guān)系。
具體實(shí)施例方式
以下將參考示出了本發(fā)明實(shí)施例的附圖來更充分地說明本 發(fā)明。然而，可以以多種不同形式實(shí)施本發(fā)明，并且本發(fā)明不
應(yīng)理解為僅限于此處^t是出的實(shí)施例；相反，所4是供的這些實(shí)施 例表明本公開是徹底的和完整的，并將向本領(lǐng)域技術(shù)人員充分
地傳達(dá)本發(fā)明的范圍。相同的附圖標(biāo)記在整個(gè)附圖中表示相同 的元件。
第 一 實(shí)施例
圖l是示出根據(jù)本實(shí)施例的對(duì)通過H.264編碼方法壓縮編碼 的數(shù)據(jù)進(jìn)行解碼的圖像解碼設(shè)備的配置的示例的框圖。參考圖 1 , 附圖標(biāo)記100表示可變長度解碼單元(variable-length decoding unit); 1 01表示逆量化單元(inverse quantization unit); 102表示逆正叉變換單元(inverse orthogonal transformation unit) ; 103表示力口 〉去器；104表示運(yùn)云力才卜^嘗單元(motion compensation unit); 以及105表示幀存儲(chǔ)器。
下面將參考圖l說明圖像解碼設(shè)備的操作。在接收到壓縮編
碼后的碼序列時(shí)，可變長度解碼單元10 0執(zhí)行可變長度解碼處理 以將輸入的碼序列解碼為量化的正交變換系數(shù)(orthogonal transformation coefficient)和圖 <象相關(guān)4言息，并且將其輸出到逆 量化單元101。此時(shí)，由于圖像相關(guān)信息包括運(yùn)動(dòng)向量數(shù)據(jù)，因 而將該運(yùn)動(dòng)向量數(shù)據(jù)輸出到運(yùn)動(dòng)補(bǔ)償單元104。逆量化單元101 基于存儲(chǔ)在量化表(未示出)中的量化值，對(duì)輸入的量化正交變 換系數(shù)進(jìn)行逆量化，并將所獲得的正交變換系數(shù)輸出到逆正交 變換單元102。
逆正交變換單元102將逆正交變換應(yīng)用于作為頻率分量的 正交變換系數(shù)，以將它們轉(zhuǎn)換為原始圖像數(shù)據(jù)。當(dāng)要從逆正交 變換單元102輸出的圖像數(shù)據(jù)是圖片內(nèi)(intra-picture)編碼數(shù)據(jù)(即I圖片數(shù)據(jù))時(shí)，將該圖像數(shù)據(jù)連接到端子(a)并向外部輸出該 圖像數(shù)據(jù)。此時(shí)，該圖像數(shù)據(jù)也被存儲(chǔ)在幀存儲(chǔ)器105中。另一 方面，當(dāng)該輸出的圖像數(shù)據(jù)是編碼時(shí)參考其它圖像數(shù)據(jù)的圖像 數(shù)據(jù)(即P圖片或者B圖片)時(shí)，將該圖像數(shù)據(jù)連接到端子(b)并由 加法器103將該圖像數(shù)據(jù)與從運(yùn)動(dòng)補(bǔ)償單元104輸出的預(yù)測圖像 相加，輸出總和數(shù)據(jù)。此時(shí)，該總和數(shù)據(jù)也被存儲(chǔ)在幀存儲(chǔ)器 105中。運(yùn)動(dòng)補(bǔ)償單元104通過利用從可變長度解碼單元100輸出 的運(yùn)動(dòng)向量數(shù)據(jù)，對(duì)存儲(chǔ)在幀存儲(chǔ)器105中的圖像數(shù)據(jù)施加稍后 將^L明的處理，來生成預(yù)測圖像。
下面將參考圖2 ~ 4說明圖l所示的圖像解碼設(shè)備中的運(yùn)動(dòng) 補(bǔ)償單元104的操作的細(xì)節(jié)。圖2示出了待解碼圖像數(shù)據(jù)的圖片 序列的示例。在圖2中，I、 P和B表示圖片的類型，編號(hào)表示回 放時(shí)的時(shí)間順序。
圖3部分地示出了圖2中從B0圖片開始到P5圖片為止的參 考關(guān)系。在圖3中，P5(a)和P5(b)表示運(yùn)動(dòng)參考的單位塊，實(shí)線 箭頭表示編碼時(shí)的參考。即，P5(a)塊參考Bl(a)塊，P5(b)塊參 考12(b)塊。這樣，圖像圖片被分割成塊。作為塊的大小，可以 選擇16xl6像素、16x8像素、8xl6像素以及8x8像素的其中之一， 在8x8像素的情況下，可以選擇8x4像素、4x8像素和4x4像素的 其中之一作為更小的塊。
下面將詳細(xì)地說明將圖2所示的碼序列輸入到圖l所示的圖 像解碼設(shè)備的情況。在下面的說明中，將舉例說明通過從具有 圖2所示圖片結(jié)構(gòu)的圖像數(shù)據(jù)中僅提取I和P圖片來執(zhí)行三倍速 搜索回放的情況。在下面所要說明的示例中，假設(shè)將本實(shí)施例 的圖像解碼設(shè)備應(yīng)用于圖像回放設(shè)備，并使用圖像回放設(shè)備中 的n倍速回放功能來實(shí)現(xiàn)搜索回放。
當(dāng)將I2圖片的碼序列輸入到可變長度解碼單元100時(shí)，如上
所述，由于I圖片是圖片內(nèi)編碼數(shù)據(jù)，因而從圖l中的逆正交變
換單元102輸出的數(shù)據(jù)被直接輸出到外部。由于I2圖片被P5圖片 參考，因而其數(shù)據(jù)被輸出并存儲(chǔ)到幀存儲(chǔ)器105中。
當(dāng)通過可變長度解碼單元100對(duì)P5圖片的碼序列進(jìn)行解碼 時(shí)，將其運(yùn)動(dòng)向量信息輸出到運(yùn)動(dòng)補(bǔ)償單元104,并且通過逆量 化單元1 01和逆正交變換單元10 2將其圖^f象數(shù)據(jù)輸出到加法器 103。
下面將參考圖4的流程圖說明對(duì)P5圖片進(jìn)行解碼時(shí)運(yùn)動(dòng)補(bǔ) 償單元104的實(shí)際操作。圖4是示出運(yùn)動(dòng)補(bǔ)償單元的處理的流程 的流程圖。當(dāng)要對(duì)包括在P5(b)塊中的圖像數(shù)據(jù)進(jìn)行解碼時(shí)，在 步驟S400中檢查其參考圖片是否已經(jīng)被解碼。在這種情況下， P5(b)塊參考I2圖片。如上所述，由于I2圖片已經(jīng)被解碼，所以 判斷為參考圖片已經(jīng)被解碼(在步驟S400中為"是")，并且流 程進(jìn)入步驟S401。在步驟S401中，基于存儲(chǔ)在幀存儲(chǔ)器105中 的I2圖片和運(yùn)動(dòng)向量信息來進(jìn)行運(yùn)動(dòng)補(bǔ)償，以生成I2(b)塊的圖 像作為預(yù)測圖像。將生成的預(yù)測圖像輸出到加法器103并通過加 法器103將該預(yù)測圖像與解碼后的圖像信號(hào)相加，從而對(duì)P5(b) 塊的圖像信號(hào)進(jìn)行解碼。這樣，完成了P5(b)塊的解碼處理。
在執(zhí)行P5(a)塊的解碼處理時(shí)，同樣地在步驟S400中檢查其 參考圖片是否已經(jīng)被解碼。如圖3所示，P5(a)塊參考Bl圖片。 然而，在這種情況下，由于進(jìn)行三倍速搜索回放，因而作為B 圖片的B1圖片未被解碼。因此，判斷為參考圖片仍未被解碼(在 步驟S400中為"否")。因此，流程進(jìn)入步驟S402。在步驟S402 中，檢測在時(shí)間上與參考圖片最鄰近的I圖片或P圖片。即，本 實(shí)施例使用檢測到的鄰近的I圖片或P圖片作為原本所參考的B 圖片的代替圖片。
更具體地，在圖2和圖3的示例中，檢測在時(shí)間上與B1圖片
最鄰近的作為I圖片或P圖片的I2圖片。該I2圖片作為B1圖片的
代替而被參考。在步驟S403中，執(zhí)行運(yùn)動(dòng)向量信息的補(bǔ)償處理。
下面將詳細(xì)"i兌明該補(bǔ)償處理。P5(a)塊的運(yùn)動(dòng)向量信息是當(dāng) 參考Bl(a)塊時(shí)所產(chǎn)生的運(yùn)動(dòng)向量信息。因此，當(dāng)將該運(yùn)動(dòng)向量 原樣應(yīng)用于I2圖片時(shí)，例如當(dāng)運(yùn)動(dòng)很大時(shí)，誤差增大。因此， 必須根據(jù)顯示時(shí)序來補(bǔ)償運(yùn)動(dòng)向量。注意塊之間在時(shí)間上的差 別，Bl圖片與P5圖片具有四個(gè)圖片的差別，12圖片與P5圖片具 有三個(gè)圖片的差別。因此，通過將Bl(a)塊的運(yùn)動(dòng)向量乘以3/4， 可以生成12(a)塊的補(bǔ)償運(yùn)動(dòng)向量。
以這樣的方式在步驟S403中補(bǔ)償運(yùn)動(dòng)向量之后，流程進(jìn)入 步驟S401。在步驟S401中，基于補(bǔ)償后的運(yùn)動(dòng)向量和存儲(chǔ)在幀 存儲(chǔ)器105中的I2圖片來執(zhí)行運(yùn)動(dòng)補(bǔ)償，從而生成對(duì)應(yīng)于I2(a) 的塊作為預(yù)測圖像。將生成的預(yù)測圖像輸出到加法器103,并由 加法器103將該預(yù)測圖像與解碼后的圖像信號(hào)相加，從而對(duì)原始 圖像信號(hào)進(jìn)行解碼。
這樣，即使當(dāng)在圖像解碼時(shí)參考圖片仍未被解碼時(shí)，也代 替地參考在時(shí)間上與參考圖片最鄰近的已解碼圖片，從而對(duì)圖 像進(jìn)行解碼。結(jié)果，可以得到搜索等的靈活回放。
注意，基于上面說明中的補(bǔ)償運(yùn)動(dòng)向量來執(zhí)行加法處理。 然而，當(dāng)運(yùn)動(dòng)向量很大時(shí)，可能跳過加法器103的加法處理，而 原樣輸出預(yù)測圖像。這是因?yàn)?，?dāng)代替地參考鄰近的圖片時(shí)， 已經(jīng)與原始參考的圖像產(chǎn)生了誤差，如果將解碼信號(hào)與該包括 誤差的圖像相加，則可能進(jìn)一步增大誤差。
選擇作為代替而參考的圖片的其它方法
在上面的說明中，選擇在時(shí)間上與原本所參考的圖片最鄰 近的I圖片或P圖片作為代替地參考的圖片。然而，選擇代替地 參考的圖片的方法并不限于該方法，也可以使用其它方法。 即，當(dāng)代替地參考的圖片是P圖片時(shí)，由于解碼后的P圖片 原本包括誤差，因而代替的參考圖片可不限于P圖片，而是限 于與原本所參考的圖片最鄰近的I圖片。根據(jù)本示例，可以防止
P圖片的誤差的傳播。
作為另 一個(gè)示例，可以使用考慮到給予各圖片的特征信息 來選擇代替參考的方法。為了提取該特征信息，例如，可以使
用場景信息、照相才幾信息等元數(shù)據(jù)(meta data)。注意，元數(shù)據(jù) 是與記錄的圖像數(shù)據(jù)相關(guān)聯(lián)附加記錄的附加數(shù)據(jù)的通稱。
下面將說明使用特征信息來選擇代替參考的方法。圖5示出 了圖像序列以及一些參考關(guān)系。在圖5中，11 Bll表示圖片， 而P10圖片原本參考B5圖片。而且，在P4圖片和B5圖片之間發(fā) 生了場景變化。
下面考慮使用該序列僅提取并回放I圖片或P圖片的情況。 在對(duì)P10圖片進(jìn)行解碼時(shí)，通常必須已經(jīng)對(duì)B5圖片進(jìn)行了解碼。 然而，在I圖片或P圖片的搜索回放時(shí)，B5圖片未被解碼。因此 選擇代替B5圖片而被參考的圖片。在這種情況下，如果選擇在 時(shí)間上最鄰近的I圖片或P圖片，則選擇P4圖片。
然而，在本示例中，由于在P4圖片和B5圖片之間發(fā)生了場 景變化，所以P4圖片和B5圖片之間的相關(guān)性4艮小。由于該原因， 當(dāng)代替P5圖片而參考P4圖片進(jìn)行解碼時(shí)，解碼圖像的誤差很有 可能變得非常大。因此，在圖4的流程圖的步驟S402中，從與 P10圖片相關(guān)聯(lián)的元數(shù)據(jù)中獲取作為參考圖片的B5圖片的場景 信息。然后，選擇與B5圖片的場景屬于相同場景的并與B5圖片 最鄰近的已經(jīng)被解碼的I圖片或P圖片。在這種情況下，選擇P7 圖片作為代替地參考的圖片。
注意，表示發(fā)生場景變化等的參考圖片的場景信息在例如 編碼時(shí) 一皮記錄為元It據(jù)。
在上面的說明中，從場景信息檢測場景變化，并基于場景 變化選擇代替參考。同樣地，可以使用照相機(jī)信息。更具體地， 當(dāng)存在在時(shí)間上最鄰近并具有與原本所參考的圖片的元數(shù)據(jù)中 包括的照相機(jī)信息相對(duì)應(yīng)(或者 一 致)的照相機(jī)信息的I圖片或P 圖片時(shí)，可以選擇該I圖片等作為代替參考。
注意，作為特征信,1、的照相機(jī)信息包括例如攝影時(shí)的被攝
體的亮度、鏡頭的縮放倍率、閃光燈的發(fā)光狀態(tài)、AF狀態(tài)、所
拍圖像的大小、白平衡控制狀態(tài)、ND濾光器狀態(tài)、攝影模式等。
注意，在對(duì)圖像數(shù)據(jù)進(jìn)行編碼(即攝影)時(shí)，這種照相機(jī)信息被
記錄為元凄t據(jù)。
運(yùn)動(dòng)向量補(bǔ)償?shù)牧?一示例
在上面的說明中，基于原本所參考的圖片以及代替地參考 的圖片的回放時(shí)序來補(bǔ)償運(yùn)動(dòng)向量。然而，運(yùn)動(dòng)向量補(bǔ)償方法 并不僅限于這種特定的方法，還可以通過其它方法來實(shí)現(xiàn)補(bǔ)償。
例如，可以使用下面將說明的方法。圖6和圖7示出了P5圖 片中的4個(gè)相鄰塊的參考。參考圖6， P5圖片中的P5(a)塊參考I2 圖片。同樣地，P5(b)塊參考Bl圖片，P5(c)塊參考B0圖片，B5(d) 塊參考B3圖片。
如上所述，由于除了 12圖片之外的其它圖片在回放I圖片和 P圖片時(shí)均未被解碼，因而在這種狀態(tài)下不能對(duì)P5(b)、 P5(c)以 及P5(d)塊進(jìn)行解碼。因此，檢測代替參考圖片。在這種情況下， 將相鄰的P5(a) ~ P5(d)塊組合在一起并作為 一個(gè)大塊來考慮。如 果在該大塊中發(fā)現(xiàn)參考已解碼圖片的任何塊，則該圖片就被確 定為被整個(gè)大塊代替地參考的圖片。
在圖6的情況下，在由P5(a) ~ P5(d)塊形成的大塊中，僅P5(a) 塊參考已解碼的I2圖片。因此，12圖片被確定為該大塊的代替 參考。關(guān)于運(yùn)動(dòng)向量，將P5(a)塊的運(yùn)動(dòng)向量代替地用作P5(b)
P5(d)塊的運(yùn)動(dòng)向量。結(jié)果，如圖7所示，這四個(gè)塊代替地參考 12圖片，并可以對(duì)這四個(gè)塊的圖像進(jìn)行解碼。
在本示例中，由P5(a) ~ P5(d)塊形成的大塊中僅P5(a)塊參 考已解碼圖片。如果另 一個(gè)塊參考I2圖片以外的已解碼圖片， 則必須選擇這兩個(gè)圖片的其中之一作為代替參考。選擇代替參 考圖片的方法沒有特別的限制。例如，可以使用以下任何一種 方法選擇在時(shí)間上與待解碼的P5圖片最鄰近的圖片作為代替 參考圖片的方法；比P圖片更優(yōu)先地選擇I圖片作為參考的方法； 選擇被大塊中多于其它塊的多個(gè)塊參考的圖片作為代替參考圖 片的方法等。
在圖6所示的情況下，由P5(a) ~ P5(d)塊形成的大塊中僅 P5(a)塊參考I2圖片。如果在一個(gè)大塊中有多個(gè)參考I2圖片的塊， 則可以采用如下方法使用參考I2圖片的塊的運(yùn)動(dòng)向量的平均 值作為代替參考的運(yùn)動(dòng)向量。
如上所述，即使當(dāng)通過僅對(duì)包括在碼序列中的多個(gè)圖片中 的一些圖片進(jìn)行解碼而進(jìn)行回放時(shí)，根據(jù)本實(shí)施例的圖像解碼 設(shè)備也可以僅使用已解碼圖片來對(duì)待解碼的圖片進(jìn)行解碼。
本實(shí)施例已經(jīng)說明了三倍速搜索回放。在這種搜索回放中， 由于只需要識(shí)別場景的大致輪廓，因而和原始圖像相比，只要 維持了特定的再現(xiàn)性，就可以達(dá)到其目的。因此，當(dāng)使用在時(shí) 間上與原本所參考的圖片最鄰近的圖片來對(duì)圖片進(jìn)行解碼時(shí)， 即使當(dāng)未進(jìn)行不必要的解碼處理時(shí)，也可以在達(dá)到上述目的的 同時(shí)維持再現(xiàn)性，從而有效地執(zhí)行搜索回放。
此外，對(duì)于場景變化等增大誤差的因素，可以使用場景信 息或者照相機(jī)信息來選擇與參考圖片在相同場景內(nèi)的圖片。這 樣，即使當(dāng)發(fā)生了場景變化時(shí)，解碼時(shí)所產(chǎn)生的誤差也可以維 持得較低。
第二實(shí)施例
在第 一實(shí)施例的說明中，在解碼時(shí)確定了代替地參考的圖 片之后執(zhí)行解碼處理。與此相反，在本實(shí)施例中，在編碼時(shí)預(yù) 先確定代替地參考的圖片的信息，并將其記錄在碼序列中。解 碼時(shí)，根據(jù)該代替地參考的圖片的信息來進(jìn)行解碼。下面將說 明該實(shí)施例。
首先參考圖8說明根據(jù)本實(shí)施例的圖像編碼設(shè)備。圖8是示 出根據(jù)本實(shí)施例的使用H.264進(jìn)行圖像壓縮編碼的圖像編碼設(shè) 備的基本配置的示例的框圖。參考圖8，附圖標(biāo)記800表示圖片 重排列(rearrangement)單元；801表示圖片內(nèi)預(yù)測單元；802表 示正交變換單元；803表示量化單元；804表示編碼單元；805 表示逆量化單元；806表示逆正交變換單元；807表示力。法器； 808表示環(huán)路濾波器(loop filter)處理單元；809表示幀存儲(chǔ)器； 810表示運(yùn)動(dòng)預(yù)測單元；811表示運(yùn)動(dòng)補(bǔ)償單元；8]2表示減法器。
下面將說明圖8中所示的圖像編碼設(shè)備的操作。當(dāng)將數(shù)字輸 入圖像信號(hào)輸入到圖片重排列單元800時(shí)，圖片重排列單元800 以圖像圖片被編碼的順序來重排列圖像圖片。這是因?yàn)锽圖片 參考在時(shí)間上出現(xiàn)在該圖片之后的圖片，所以必須在對(duì)參考圖 片編碼之后再對(duì)B圖片進(jìn)行編碼。
對(duì)于各塊處理以編碼順序重排列的圖像。在I圖片或確定要 經(jīng)過圖片內(nèi)預(yù)測的塊的情況下，圖片內(nèi)預(yù)測單元801預(yù)測圖片中 的像素，并將來自預(yù)測像素的差分?jǐn)?shù)據(jù)輸出到正交變換單元 802。如果輸入的圖像是B圖片或P圖片，并要進(jìn)行圖片間預(yù)測， 則將由圖片間預(yù)測(稍后將說明)生成的預(yù)測圖像與當(dāng)前圖像之 間的差分圖像輸出到正交變換單元8 0 2 。正交變換單元8 0 2進(jìn)行 4x4(像素)整數(shù)變換以將圖像轉(zhuǎn)換成頻率分量。量化單元803對(duì) 輸入的頻率分量的數(shù)據(jù)進(jìn)行量化。將通過量化單元803量化的圖
像數(shù)據(jù)輸出到編碼單元804以及對(duì)圖像數(shù)據(jù)進(jìn)行本地解碼的逆 量化單元805。
另 一方面，逆量化單元805對(duì)通過量化單元803量化的圖<象 數(shù)據(jù)進(jìn)行逆量化，以解碼頻率分量，并且逆正交變換單元806 通過逆正交變換對(duì)預(yù)測誤差圖像(差分圖像)進(jìn)行解碼。如果從 逆量化單元803輸出的圖像是P圖片或B圖片的圖像，則加法器 807將差分圖像與運(yùn)動(dòng)補(bǔ)償圖像相加，以對(duì)圖片圖像進(jìn)行解碼。 解碼后的圖像經(jīng)過由環(huán)路濾波器(處理單元)808進(jìn)行的去除塊 失真的濾波處理，然后被存儲(chǔ)在幀存儲(chǔ)器809中。幀存儲(chǔ)器809 可以存儲(chǔ)任意數(shù)量的可用作參考圖片的圖片。
運(yùn)動(dòng)補(bǔ)償單元810在圖片間預(yù)測模式下在存儲(chǔ)于幀存儲(chǔ)器
809內(nèi)的解碼圖像中搜索與輸入圖像的差分最小的參考圖像，計(jì) 算到該參考圖像的運(yùn)動(dòng)向量，并將該運(yùn)動(dòng)向量輸出到編碼單元
804。而且，將在時(shí)間上與被選擇為參考圖像的圖片最鄰近的I 圖片或P圖片的位置信息作為解碼時(shí)的代替參考信息輸出到編 碼單元804。
運(yùn)動(dòng)補(bǔ)償單元811進(jìn)行由運(yùn)動(dòng)向量和參考方向信息表示的 算術(shù)運(yùn)算，并輸出運(yùn)動(dòng)補(bǔ)償后的圖像。減法器812計(jì)算輸入圖像 和運(yùn)動(dòng)補(bǔ)償后的圖像之間的差分，并將差分圖像輸出到正交變 換單元802。編碼單元804通過對(duì)圖像數(shù)據(jù)、運(yùn)動(dòng)向量信息和代 替參考信息進(jìn)行可變長度編碼或算術(shù)編碼，生成碼序列，并輸
出所生成的碼序列。
關(guān)于代替參考圖片的選擇，不僅可以采用選擇與參考圖像 鄰近的I圖片或P圖片的方法，還可以采用在第一實(shí)施例中說明 的任何一種選4奪方法。
下面將參考圖9說明對(duì)這樣生成的碼序列進(jìn)行回放的解碼 設(shè)備。圖9是示出與圖l相同的圖像解碼設(shè)備的配置的框圖。除可
變長度解碼單元900和運(yùn)動(dòng)補(bǔ)償單元904以外的塊與第 一 實(shí)施例 中由相同的附圖標(biāo)記表示的塊相同，在此省略其i兌明。
下面將說明如下情況與第一實(shí)施例相同，通過僅回放輸 入碼序列的I圖片和P圖片，來進(jìn)行搜索回;^文。
在接收到碼序列時(shí)，可變長度解碼單元900進(jìn)行可變長度解 碼處理，并將碼序列解碼為量化的正交變換系數(shù)和圖像相關(guān)信 息。圖像相關(guān)信息存儲(chǔ)運(yùn)動(dòng)向量數(shù)據(jù)和代替參考信息。將運(yùn)動(dòng) 向量數(shù)據(jù)和代替參考信息輸出到運(yùn)動(dòng)補(bǔ)償單元904，而將量化的 正交變換系數(shù)數(shù)據(jù)輸出到逆量化單元IOI。在逆量化單元IOI、 逆正交變換單元102和幀存儲(chǔ)器中的處理與第 一 實(shí)施例中的處 理相同。
運(yùn)動(dòng)補(bǔ)償單元904通過基于運(yùn)動(dòng)向量數(shù)據(jù)和存儲(chǔ)在幀存儲(chǔ) 器105中的本地解碼圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償，來生成預(yù)測圖像。當(dāng)待 解碼圖片的參考圖片未被解碼時(shí)，確定代替參考圖片。在確定 了代替參考后，補(bǔ)償運(yùn)動(dòng)向量數(shù)據(jù)、生成代替預(yù)測圖像和由加 法器1 0 3相加該圖 <象的處理與第 一 實(shí)施例的處理相同，在此省略 其說明。
如上所述，根據(jù)本實(shí)施例，由于在編碼時(shí)指定了代替參考 圖片，因而不需要進(jìn)行在解碼時(shí)檢測代替參考圖片的處理，并 且可以進(jìn)一 步減輕搜索回放時(shí)的處理負(fù)荷。
作為代替參考信息，不僅記錄代替參考圖片，而且到代替 參考圖片的運(yùn)動(dòng)向量信息等也會(huì)被一起記錄。運(yùn)動(dòng)向量信息既 可以通過補(bǔ)償對(duì)于原本所參考的圖片計(jì)算出的運(yùn)動(dòng)向量信息來 獲得，也可以通過計(jì)算代替參考圖片的新的運(yùn)動(dòng)向量信息來獲得。
上述各實(shí)施例以H.264作為編碼方法的示例進(jìn)行了說明。然
而，編碼方法并不局限于這種特定的方法，可以使用任何其它 的編碼方法，只要它們使用圖片間預(yù)測即可。 其它實(shí)施例
也可以通過向系統(tǒng)或者設(shè)備提供記錄有可實(shí)現(xiàn)上述實(shí)施例 的功能的軟件程序的程序代碼的存儲(chǔ)介質(zhì)(或記錄介質(zhì))，由系
統(tǒng)或設(shè)備的計(jì)算機(jī)(或CPU或MPU)讀出并執(zhí)行存儲(chǔ)在存儲(chǔ)介 質(zhì)中的程序代碼，來達(dá)到本發(fā)明的目的。
在這種情況下，從存儲(chǔ)介質(zhì)讀出的程序代碼本身實(shí)現(xiàn)了上 述實(shí)施例的功能，并且存儲(chǔ)該程序代碼的存儲(chǔ)介質(zhì)構(gòu)成了本發(fā)明。
此外，例如軟盤(floppy )、硬盤、光盤、磁光盤、CD-R()M、 CD-R、磁帶、磁性和非易失型存儲(chǔ)卡以及ROM等存儲(chǔ)介質(zhì)可 以用來提供該程序代碼。
上述實(shí)施例的功能不僅可以通過由計(jì)算積d丸行所讀出的程 序代碼來實(shí)現(xiàn)，也可以通過由運(yùn)行在計(jì)算才幾上的才喿作系統(tǒng) (Operating System, OS)基于程序代碼的指令所執(zhí)行的部分或全 部的實(shí)際處理操作來實(shí)現(xiàn)。
此外，上述實(shí)施例的功能還可以通過在將從存儲(chǔ)介質(zhì)讀出 的程序代碼寫入插入計(jì)算機(jī)的功能擴(kuò)展卡或連接到計(jì)算機(jī)的功 能擴(kuò)展單元的存儲(chǔ)器中之后，由功能擴(kuò)展卡或者功能擴(kuò)展單元 中配置的CPU等所執(zhí)行的部分或全部的實(shí)際處理操作來實(shí)現(xiàn)。
當(dāng)將本發(fā)明應(yīng)用于上述存儲(chǔ)介質(zhì)時(shí)，該存儲(chǔ)介質(zhì)優(yōu)選地存 儲(chǔ)與實(shí)施例中說明的流程圖對(duì)應(yīng)的程序代碼。同時(shí)，本發(fā)明不 限于上述實(shí)施例，在本發(fā)明的精神和范圍內(nèi)可以進(jìn)行各種變化 和修改。因此，為了向公眾告知本發(fā)明的范圍而做出了所附的 權(quán)利要求書。
這樣，我們相信從上面的說明中可以看出，本發(fā)明的操作
和配置是顯而易見的。顯然，可以適當(dāng)?shù)貙?duì)所公開和說明的方 法、設(shè)備和系統(tǒng)進(jìn)行特征化，并且可以在不脫離所附權(quán)利要求 書中所定義的本發(fā)明的范圍的情況下，做出各種變化和修改。
由于在不脫離本發(fā)明的精神和范圍的情況下可以做出本發(fā) 明許多明顯大大不同的實(shí)施例，因而應(yīng)該理解，除在所附權(quán)利 要求書中所定義的以外，本發(fā)明并不局限于其特定的實(shí)施例。
本申請(qǐng)主張于2005年5月27日提交的日本專利申請(qǐng)2005 -1.56197號(hào)的權(quán)益，其全部內(nèi)容通過引用包含于此。
權(quán)利要求
1.一種對(duì)包括多個(gè)圖像圖片的壓縮編碼圖像數(shù)據(jù)進(jìn)行解碼的圖像數(shù)據(jù)解碼方法，其特征在于，包括選擇步驟，用于當(dāng)要對(duì)所述多個(gè)圖像圖片中的一個(gè)圖像圖片進(jìn)行解碼時(shí)，以及當(dāng)待解碼的該圖像圖片所參考的第一參考圖片未被解碼時(shí)，從已解碼圖片中選擇第二參考圖片作為代替參考；以及解碼步驟，用于參考作為所述第一參考圖片的代替的所述第二參考圖片對(duì)所述待解碼的圖像圖片進(jìn)行解碼。
2. 根據(jù)權(quán)利要求l所述的圖像數(shù)據(jù)解碼方法，其特征在于， 所述多個(gè)圖像圖片包括不參考任何其它圖像圖片而壓縮編碼的 第一圖像圖片、參考一個(gè)不同的圖片而壓縮編碼的第二圖像圖 片、以及參考兩個(gè)不同的圖像圖片而壓縮編碼的第三圖像圖片， 以及當(dāng)僅對(duì)所述多個(gè)圖像圖片中的所述第 一 圖像圖片和所述第 二圖像圖片進(jìn)行解碼時(shí)，進(jìn)行所述解碼步驟中的解碼。
3. 根據(jù)權(quán)利要求l所述的圖像數(shù)據(jù)解碼方法，其特征在于， 多個(gè)圖片包括I圖片、P圖片和B圖片，以及當(dāng)僅對(duì)所述多個(gè)圖像圖片中的I圖片和P圖片進(jìn)行解碼時(shí)， 進(jìn)行所述解碼步驟中的解碼。
4. 根據(jù)權(quán)利要求l ~ 3中任一項(xiàng)所述的圖像數(shù)據(jù)解碼方法， 其特征在于，在所述選擇步驟中，從所述已解碼圖片中選擇在 時(shí)間上與所述第 一參考圖片鄰近的圖片作為所述第二參考圖 片。
5. 根據(jù)權(quán)利要求2所述的圖像數(shù)據(jù)解碼方法，其特征在于， 在所述選擇步驟中，從所述已解碼圖片中選擇在時(shí)間上與所述 第一參考圖片鄰近的所述第一圖像圖片作為所述第二參考圖片。
6. 根據(jù)權(quán)利要求l ~ 5中任一項(xiàng)所述的圖像數(shù)據(jù)解碼方法，其特征在于，所述選擇步驟包括特征信息獲取步驟，該特征信 息獲取步驟用于獲取與所述圖像圖片相關(guān)聯(lián)的特征信息，并且 基于與所述第一參考圖片相關(guān)聯(lián)的特征信息來選擇所述第二參考圖片。
7. 根據(jù)權(quán)利要求6所述的圖像數(shù)據(jù)解碼方法，其特征在于， 在所述選擇步驟中，選擇已解碼的圖像圖片中的、具有與所述第 一參考圖片相關(guān)聯(lián)的特征信息對(duì)應(yīng)的特征信息的圖像圖片作 為所述第二參考圖片。
8. 根據(jù)權(quán)利要求l ~ 7中任一項(xiàng)所述的圖像數(shù)據(jù)解碼方法， 其特征在于，所述解碼步驟包括補(bǔ)償步驟，該補(bǔ)償步驟用于對(duì) 為所述待解碼的圖像圖片而給出的第一運(yùn)動(dòng)信息進(jìn)行補(bǔ)償，以 及通過利用補(bǔ)償后的所述第 一運(yùn)動(dòng)信息和所述第二參考圖片 對(duì)所述待解碼的圖像圖片進(jìn)行解碼。
9. 根據(jù)權(quán)利要求8所述的圖像數(shù)據(jù)解碼方法，其特征在于， 在所述補(bǔ)償步驟中，基于所述第一參考圖片和所述第二參考圖 片相對(duì)于所述待解碼的圖像圖片的時(shí)間關(guān)系，對(duì)所述第 一 運(yùn)動(dòng) 信息進(jìn)行補(bǔ)償。
10. 根據(jù)權(quán)利要求l所述的圖像數(shù)據(jù)解碼方法，其特征在 于，在將所述圖像圖片分割為各自具有預(yù)定數(shù)量像素的塊之后， 對(duì)所述圖像圖片進(jìn)行壓縮編碼，并且各塊可以參考不同的第一 參考圖片，在所述選擇步驟中為各塊選擇所述第二參考圖片，以及 在所述解碼步驟中對(duì)各塊進(jìn)行解碼。
11.根據(jù)權(quán)利要求2所述的圖像數(shù)據(jù)解碼方法，其特征在 于，在將所述圖像圖片分割為各自具有預(yù)定數(shù)量像素的塊之后，對(duì)所述圖像圖片進(jìn)行壓縮編碼，并且各塊可以參考不同的第一 參考圖片，以及當(dāng)所述待解碼的圖像圖片中的第一個(gè)塊是參考所述第一圖 像圖片和所述第二圖像圖片的其中之一而壓縮編碼的塊，并且 參考所述第三圖像圖片對(duì)與所述第一個(gè)塊相鄰的第二個(gè)塊進(jìn)行 壓縮編；馬時(shí)，在所述選擇步驟中，與所述第二個(gè)塊相關(guān)聯(lián)地選擇由所述 第一個(gè)塊參考的所述第一圖像圖片和所述第二圖像圖片的其中 之一作為所述第二參考圖片。
12. 根據(jù)權(quán)利要求l ~ ll中任一項(xiàng)所述的圖像數(shù)據(jù)解碼方 法，其特征在于，在所述解碼步驟中，輸出使用所述第二參考 圖片進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)膱D像作為所述待解碼的圖像圖片的解碼圖
13. 才艮據(jù)斥又利要求l、 2、 3、 8 ~ 10以及12中任一項(xiàng)所述的圖像數(shù)據(jù)解碼方法，其特征在于，所述待解碼的圖像圖片包括 指定所述第二參考圖片作為所述代替參考的信息，以及在所述選擇步驟中，基于所述指定來選擇所述第二參考信臺(tái)、
14. 根據(jù)權(quán)利要求13所述的圖像數(shù)據(jù)解碼方法，其特征在 于，所述待解碼的圖像圖片還包括與指定的所述第二參考圖片 相關(guān)聯(lián)給出的第二運(yùn)動(dòng)信息，以及在所述解碼步驟中，通過利用所述第二運(yùn)動(dòng)信息和所述第 二參考圖片來進(jìn)行解碼。
15. —種對(duì)包括多個(gè)圖像圖片的圖像數(shù)據(jù)進(jìn)行壓縮編碼的 圖像編碼方法，其特征在于，包括第一編碼步驟，用于不參考任何其它圖像圖片對(duì)待編碼的 圖像圖片進(jìn)行壓縮編碼； 第二編碼步驟，用于參考其它圖像圖片對(duì)待編碼的圖像圖片進(jìn)4亍壓縮編碼；以及選擇步驟，用于當(dāng)在所述第二編碼步驟中參考的所述其它圖像圖片是參考另一個(gè)圖像圖片而壓縮編碼的第一圖像圖片 時(shí)，選擇不參考任何其它圖像圖片而壓縮編碼的第二圖像圖片 和參考一個(gè)不同的圖像圖片而壓縮編碼的第三圖像圖片的其中之一作為代替參考圖像圖片，以及其中，將所述代替參考圖像圖片的信息附加到在所述第二 編碼步驟中編碼的所述圖像圖片的編碼數(shù)據(jù)。
16. —種計(jì)算機(jī)程序，其特征在于，使計(jì)算機(jī)執(zhí)行根據(jù)權(quán) 利要求l ~ 15中4壬一項(xiàng)所述的方法。
17. —種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，存儲(chǔ)權(quán)利要 求16所述的計(jì)算機(jī)程序。
18. —種對(duì)包括多個(gè)圖像圖片的壓縮編碼圖像數(shù)據(jù)進(jìn)行解 碼的圖像解碼設(shè)備，其特征在于，包括選擇部件，用于當(dāng)要對(duì)所述多個(gè)圖像圖片中的一個(gè)圖像圖 片進(jìn)行解碼時(shí)，以及當(dāng)待解碼的該圖像圖片所參考的第 一 參考 圖片未被解碼時(shí)，從已解碼圖片中選擇第二參考圖片作為代替 參考；以及解碼部件，用于參考作為所述第一參考圖片的代替的所述 第二參考圖片對(duì)所述待解碼的圖像圖片進(jìn)行解碼。
19. 一種對(duì)包括多個(gè)圖像圖片的圖像數(shù)據(jù)進(jìn)行壓縮編碼的 圖像編碼設(shè)備，其特征在于，包括第一編碼部件，用于不參考任何其它圖像圖片而對(duì)待編碼的圖像圖片進(jìn)行壓縮編碼；第二編碼部件，用于參考其它圖像圖片而對(duì)待編碼的圖像圖片進(jìn)行壓縮編碼；以及 選擇部件，用于當(dāng)由所述第二編碼部件參考的所述其它圖像圖片是參考另 一個(gè)圖像圖片而壓縮編碼的第一圖像圖片時(shí)， 選擇不參考任何其它圖像圖片而壓縮編碼的第二圖像圖片和參考一個(gè)不同的圖像圖片而壓縮編碼的第三圖像圖片的其中之一 作為代替參考圖像圖片，以及其中，將所述代替參考圖像圖片的信息附加到由所述第二 編碼部件編碼的所述圖像圖片的編碼數(shù)據(jù)。
全文摘要
一種對(duì)包括多個(gè)圖像圖片的壓縮編碼圖像數(shù)據(jù)進(jìn)行解碼的圖像數(shù)據(jù)解碼方法，包括選擇步驟，用于當(dāng)要對(duì)所述多個(gè)圖像圖片中的一個(gè)圖像圖片進(jìn)行解碼時(shí)，以及當(dāng)待解碼的圖像圖片所參考的第一參考圖片未被解碼時(shí)，從已解碼圖片中選擇第二參考圖片作為代替參考；以及解碼步驟，用于參考作為所述第一參考圖片的代替的所述第二參考圖片而對(duì)所述待解碼的圖像圖片進(jìn)行解碼。
文檔編號(hào)H04N7/26GK101185339SQ20068001865
公開日2008年5月21日 申請(qǐng)日期2006年5月22日 優(yōu)先權(quán)日2005年5月27日
發(fā)明者北島光太郎 申請(qǐng)人:佳能株式會(huì)社