圖像編碼方法、圖像編碼裝置、圖像解碼方法、圖像解碼裝置及圖像編解碼裝置制造方法
【專利摘要】一種圖像編碼方法，將編碼對(duì)象塊分割為多個(gè)子塊的步驟、按照每個(gè)子塊取得預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合的候選即合并候選的步驟、選擇合并候選的步驟、以及將用于確定所選擇的合并候選的索引附加在比特流上的步驟，在取得合并候選的步驟中執(zhí)行：第一判定處理，按照每個(gè)與子塊鄰接的鄰接塊，判定是否包含在編碼對(duì)象塊中，將未包含在編碼對(duì)象塊中的鄰接塊決定為合并對(duì)象塊；以及第一導(dǎo)出處理，使用用于合并對(duì)象塊的預(yù)測(cè)圖像的生成的所述集合導(dǎo)出第一候選，作為所述合并候選的一部分。
【專利說明】圖像編碼方法、圖像編碼裝置、圖像解碼方法、圖像解碼裝置及圖像編解碼裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像編碼方法及圖像解碼方法。
【背景技術(shù)】
[0002]在運(yùn)動(dòng)圖像編碼處理中，通常利用運(yùn)動(dòng)圖像具有的空間方向及時(shí)間方向的冗余性進(jìn)行信息量的壓縮。其中，作為利用空間方向的冗余性的方法通常采用向頻域的變換。另夕卜，作為利用時(shí)間方向的冗余性的方法，采用圖片間預(yù)測(cè)(以后稱為幀間(inter)預(yù)測(cè))編碼處理。當(dāng)在幀間預(yù)測(cè)編碼處理中對(duì)某個(gè)圖片進(jìn)行編碼時(shí)，將按照顯示順序位于編碼對(duì)象圖片的前方或者后方的已編碼的圖片用作參照?qǐng)D片。并且，通過相對(duì)于該參照?qǐng)D片的編碼對(duì)象圖片的運(yùn)動(dòng)檢測(cè)來導(dǎo)出運(yùn)動(dòng)矢量。并且，根據(jù)所導(dǎo)出的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，并計(jì)算通過運(yùn)動(dòng)補(bǔ)償而得到的預(yù)測(cè)圖像數(shù)據(jù)與編碼對(duì)象圖片的圖像數(shù)據(jù)之差分，由此消除時(shí)間方向的冗余性(例如，參照非專利文獻(xiàn)I )。在此，在運(yùn)動(dòng)檢測(cè)中，計(jì)算編碼圖片內(nèi)的編碼對(duì)象塊與參照?qǐng)D片內(nèi)的塊的差分值，將差分值為最小的參照?qǐng)D片內(nèi)的塊決定為參照塊。并且，使用編碼對(duì)象塊和參照塊檢測(cè)運(yùn)動(dòng)矢量。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]非專利文獻(xiàn)
[0005]非專利文獻(xiàn)1:1TU_T Recommendation H.264 “Advanced video coding forgeneric audiovisual services，，，2010 年 3 月
[0006]非專利文獻(xiàn)2:JCT-VC, “WD3:Working Draft3of High-Efficiency VideoCoding”，JCTVC-E603，March201L
發(fā)明概要
[0007]發(fā)明要解決的問題
[0008]但是，在上述現(xiàn)有技術(shù)中，期望提高采用幀間預(yù)測(cè)的圖像編碼及解碼的編碼效率。
[0009]
【發(fā)明內(nèi)容】
[0010]本發(fā)明的目的在于，提供一種圖像編碼方法及圖像解碼方法，能夠提高采用幀間預(yù)測(cè)的圖像編碼及解碼的編碼效率。
[0011]用于解決問題的手段
[0012]本發(fā)明的一個(gè)方式的圖像編碼方法，通過按照每個(gè)塊對(duì)圖像進(jìn)行編碼來生成比特流，該圖像編碼方法包括:將編碼對(duì)象塊分割為多個(gè)子塊的步驟；按照每個(gè)子塊，取得在所述編碼對(duì)象塊的編碼中參照的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合的候選即合并候選的步驟；從在取得所述合并候選的步驟中取得的所述合并候選，選擇用于所述編碼對(duì)象塊的編碼的合并候選的步驟；以及將用于確定在選擇所述合并候選的步驟中選擇的所述合并候選的索引附加在所述比特流上的步驟，在取得所述合并候選的步驟中，執(zhí)行:第一判定處理，按照與所述子塊鄰接的每個(gè)鄰接塊，判定該鄰接塊是否包含在所述編碼對(duì)象塊中，將未包含在所述編碼對(duì)象塊中的所述鄰接塊決定為合并對(duì)象塊；以及第一導(dǎo)出處理，在決定了 I個(gè)以上的合并對(duì)象塊的情況下,按照所述I個(gè)以上的合并對(duì)象塊中的每個(gè)合并對(duì)象塊，使用該合并對(duì)象塊的預(yù)測(cè)圖像的生成中使用的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合來導(dǎo)出第一候選，作為所述合并候選的一部分。
[0013]發(fā)明效果
[0014]根據(jù)本發(fā)明的一個(gè)方式，能夠提高采用幀間預(yù)測(cè)的圖像編碼及解碼的編碼效率。【專利附圖】
【附圖說明】
[0015]圖1A是用于說明B圖片中的參照?qǐng)D片列表的一例的圖。
[0016]圖1B是表示B圖片中的預(yù)測(cè)方向O的參照?qǐng)D片列表的一例的圖。
[0017]圖1C是表示B圖片中的預(yù)測(cè)方向I的參照?qǐng)D片列表的一例的圖。
[0018]圖2是用于說明時(shí)間預(yù)測(cè)運(yùn)動(dòng)矢量模式中的運(yùn)動(dòng)矢量的圖。
[0019]圖3是表示在合并模式中使用的鄰接塊的運(yùn)動(dòng)矢量的一例的圖。
[0020]圖4是用于說明合并塊候選列表的一例的圖。
[0021]圖5是表示合并塊候選尺寸與對(duì)合并塊索引分配的比特序列的關(guān)系的圖。
[0022]圖6是表示使用合并模式時(shí)的編碼處理的一例的流程圖。
[0023]圖7是表示使用合并模式對(duì)圖像進(jìn)行編碼的圖像編碼裝置的結(jié)構(gòu)的一例的圖。
[0024]圖8是表示使用合并模式時(shí)的解碼處理的一例的流程圖。
[0025]圖9是表示對(duì)使用合并模式被編碼后的圖像進(jìn)行解碼的圖像解碼裝置的結(jié)構(gòu)的一例的圖。
[0026]圖10是表示將合并塊索引附加在比特流中時(shí)的句法的圖。
[0027]圖11是表示編碼塊單位與預(yù)測(cè)塊單位(分塊)的關(guān)系的圖。
[0028]圖12是表示實(shí)施方式I的圖像編碼裝置的結(jié)構(gòu)的塊圖。
[0029]圖13是表示實(shí)施方式I的圖像編碼裝置的處理動(dòng)作的流程圖。
[0030]圖14A是表不實(shí)施方式I的合并塊候選列表的一例的圖。
[0031]圖14B是表不實(shí)施方式I的合并塊候選列表的一例的圖。
[0032]圖14C是表不實(shí)施方式I的合并塊候選列表的一例的圖。
[0033]圖14D是表不實(shí)施方式I的合并塊候選列表的一例的圖。
[0034]圖15是表示實(shí)施方式I的合并塊候選及合并塊候選列表尺寸的計(jì)算處理的流程圖。
[0035]圖16是表示實(shí)施方式I的可合并候選數(shù)的計(jì)算動(dòng)作的流程圖。
[0036]圖17是表示實(shí)施方式I的合并對(duì)象外塊的判定動(dòng)作的流程圖。
[0037]圖18是表示實(shí)施方式I的編碼塊單位和預(yù)測(cè)塊單位的關(guān)系的圖。
[0038]圖19是表示實(shí)施方式I的新候選的追加處理的流程圖。
[0039]圖20是表示實(shí)施方式I的與合并塊候選的選擇相關(guān)的處理的流程圖。
[0040]圖21是表示實(shí)施方式2的圖像編碼裝置的結(jié)構(gòu)的塊圖。
[0041]圖22是表示實(shí)施方式2的圖像編碼裝置的處理動(dòng)作的流程圖。
[0042]圖23是表示實(shí)施方式2的合并塊候選列表尺寸的設(shè)定處理的流程圖。
[0043]圖24是表示實(shí)施方式2的合并塊候選的計(jì)算處理的流程圖。[0044]圖25是表示將合并塊索引附加在比特流中時(shí)的句法的一例的圖。
[0045]圖26是表示將合并塊候選列表尺寸固定為合并塊候選數(shù)的最大值時(shí)的句法的一例的圖。
[0046]圖27是實(shí)現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)的整體結(jié)構(gòu)圖。
[0047]圖28是數(shù)字廣播用系統(tǒng)的整體結(jié)構(gòu)圖。
[0048]圖29是表示電視機(jī)的結(jié)構(gòu)例的模塊圖。
[0049]圖30是表示對(duì)作為光盤的記錄介質(zhì)進(jìn)行信息的讀寫的信息再現(xiàn)/記錄部的結(jié)構(gòu)例的模塊圖。
[0050]圖31是表示作為光盤的記錄介質(zhì)的構(gòu)造例的圖。
[0051]圖32A是表示便攜電話的一例的圖。
[0052]圖32B是表示便攜電話的結(jié)構(gòu)例的模塊圖。
[0053]圖33是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。
[0054]圖34是示意地表示各流在復(fù)用數(shù)據(jù)中怎樣被復(fù)用的圖。
[0055]圖35是更詳細(xì)地表示在PES包序列中視頻流怎樣被保存的圖。
[0056]圖36是表示復(fù)用數(shù)據(jù)的TS包和源包的構(gòu)造的圖。
[0057]圖37是表示PMT的數(shù)據(jù)結(jié)構(gòu)的圖。
[0058]圖38是表示復(fù)用數(shù)據(jù)信息的內(nèi)部結(jié)構(gòu)的圖。
[0059]圖39是表示流屬性信息的內(nèi)部結(jié)構(gòu)的圖。
[0060]圖40是表示識(shí)別影像數(shù)據(jù)的步驟的圖。
[0061]圖41是表示實(shí)現(xiàn)各實(shí)施方式的運(yùn)動(dòng)圖像編碼方法及運(yùn)動(dòng)圖像解碼方法的集成電路的結(jié)構(gòu)例的模塊圖。
[0062]圖42是表示切換驅(qū)動(dòng)頻率的結(jié)構(gòu)的圖。
[0063]圖43是表示識(shí)別影像數(shù)據(jù)、切換驅(qū)動(dòng)頻率的步驟的圖。
[0064]圖44是表示將影像數(shù)據(jù)的標(biāo)準(zhǔn)與驅(qū)動(dòng)頻率建立了對(duì)應(yīng)的查找表的一例的圖。
[0065]圖45A是表示將信號(hào)處理部的模塊共用的結(jié)構(gòu)的一例的圖。
[0066]圖45B是表不將信號(hào)處理部的模塊共用的結(jié)構(gòu)的另一例的圖。
【具體實(shí)施方式】
[0067](作為本發(fā)明的基礎(chǔ)的見解)
[0068]在已經(jīng)標(biāo)準(zhǔn)化的被稱為H.264的運(yùn)動(dòng)圖像編碼方式中，為了壓縮信息量而采用I圖片、P圖片、B圖片這三種圖片類型。
[0069]I圖片在幀間預(yù)測(cè)編碼處理中不被編碼。也就是說，I圖片是在圖片內(nèi)預(yù)測(cè)(以后稱為幀內(nèi)(intra)預(yù)測(cè))編碼處理中被編碼。對(duì)于P圖像，參照按照顯示時(shí)間順序位于編碼對(duì)象圖片的前方或者后方的已編碼的一個(gè)圖片進(jìn)行幀間預(yù)測(cè)編碼。對(duì)于B圖片，參照按照顯示事件順序位于編碼對(duì)象圖片的前方或者后方的已編碼的兩個(gè)圖片進(jìn)行幀間預(yù)測(cè)編碼。
[0070]在幀間預(yù)測(cè)編碼中，生成用于確定參照?qǐng)D片的參照?qǐng)D片列表。參照?qǐng)D片列表是對(duì)在進(jìn)行幀間預(yù)測(cè)時(shí)參照的已編碼的參照?qǐng)D片分配了參照?qǐng)D片索引的列表。例如，在B圖片中能夠參照兩個(gè)圖片進(jìn)行編碼，因而生成兩個(gè)參照?qǐng)D片列表(L0、LI)。
[0071]圖1A是用于說明B圖片中的參照?qǐng)D片列表的一例的圖。圖1B表示雙向預(yù)測(cè)中的預(yù)測(cè)方向O的參照?qǐng)D片列表O (LO)的一例。其中，在參照?qǐng)D片列表O中，參照?qǐng)D片索引O的值O被分配給顯示順序2的參照?qǐng)D片O。并且，參照?qǐng)D片索引O的值I被分配給顯示順序I的參照?qǐng)D片I。并且，參照?qǐng)D片索引O的值2被分配給顯示順序O的參照?qǐng)D片2。BP,按照顯示順序在時(shí)間上越接近編碼對(duì)象圖片的參照?qǐng)D片，被分配具有越小的值的參照?qǐng)D片索引。
[0072]另一方面，圖1C表示雙向預(yù)測(cè)中的預(yù)測(cè)方向I的參照?qǐng)D片列表I (LI)的一例。其中，在參照?qǐng)D片列表I中，參照?qǐng)D片索引I的值O被分配給顯示順序I的參照?qǐng)D片I。并且，參照?qǐng)D片索引I的值I被分配給顯示順序2的參照?qǐng)D片O。并且，參照?qǐng)D片索引2的值2被分配給顯示順序O的參照?qǐng)D片2。
[0073]這樣，針對(duì)各參照?qǐng)D片，能夠按照每個(gè)預(yù)測(cè)方向分配不同的參照?qǐng)D片索引的值(圖1A的參照?qǐng)D片0、1)、或者分配相同的參照?qǐng)D片索引的值(圖1A的參照?qǐng)D片2)。
[0074]另外，在被稱為H.264的運(yùn)動(dòng)圖像編碼方式(非專利文獻(xiàn)I)中，B圖片中的各編碼對(duì)象塊的幀間預(yù)測(cè)的編碼模式采用運(yùn)動(dòng)矢量檢測(cè)模式。在運(yùn)動(dòng)矢量檢測(cè)模式中，預(yù)測(cè)圖像數(shù)據(jù)與編碼對(duì)象塊的圖像數(shù)據(jù)的差分值、以及在生成預(yù)測(cè)圖像數(shù)據(jù)時(shí)使用的運(yùn)動(dòng)矢量被進(jìn)行編碼。并且，在運(yùn)動(dòng)矢量檢測(cè)模式中，關(guān)于預(yù)測(cè)方向能夠選擇雙向預(yù)測(cè)和單向預(yù)測(cè)。在雙向預(yù)測(cè)中，參照位于編碼對(duì)象圖片的前方或者后方的已經(jīng)被編碼的兩個(gè)圖片來生成預(yù)測(cè)圖像。在單向預(yù)測(cè)中，參照位于編碼對(duì)象圖片的前方或者后方的已經(jīng)被編碼的一個(gè)圖片來生成預(yù)測(cè)圖像。
[0075]另外，在被稱為H.264的運(yùn)動(dòng)圖像編碼方式中，當(dāng)在對(duì)B圖片進(jìn)行編碼中導(dǎo)出運(yùn)動(dòng)矢量時(shí)，能夠選擇被稱為時(shí)間預(yù)測(cè)運(yùn)動(dòng)矢量模式的編碼模式。使用圖2說明時(shí)間預(yù)測(cè)運(yùn)動(dòng)矢量模式中的幀間預(yù)測(cè)編碼方法。
[0076]圖2是用于說明時(shí)間預(yù)測(cè)運(yùn)動(dòng)矢量模式中的運(yùn)動(dòng)矢量的圖。具體地講，圖2表示以時(shí)間預(yù)測(cè)運(yùn)動(dòng)矢量模式對(duì)圖片B2的塊a進(jìn)行編碼的情況。
[0077]在此，利用了在對(duì)位于圖片B2后方的參照?qǐng)D片即圖片P3中的、位于與塊a相同位置的塊b (以后稱為“co-located塊”)進(jìn)行編碼時(shí)使用的運(yùn)動(dòng)矢量vb。運(yùn)動(dòng)矢量vb是在參照?qǐng)D片Pl對(duì)塊b進(jìn)行編碼時(shí)使用的運(yùn)動(dòng)矢量。
[0078]使用與運(yùn)動(dòng)矢量vb平行的運(yùn)動(dòng)矢量，從作為前方參照?qǐng)D片的圖片Pl和作為后方參照?qǐng)D片的圖片P3取得塊a用的兩個(gè)參照塊。并且，根據(jù)所取得的兩個(gè)參照塊進(jìn)行雙向預(yù)測(cè)，由此對(duì)塊a進(jìn)行編碼。即，在對(duì)塊a進(jìn)行編碼時(shí)使用的運(yùn)動(dòng)矢量，針對(duì)圖片Pl是指運(yùn)動(dòng)矢量val，針對(duì)圖片P3是指運(yùn)動(dòng)矢量va2。
[0079]另外，關(guān)于B圖片或者P圖片中的各編碼對(duì)象塊的幀間預(yù)測(cè)模式，正在研究合并模式(非專利文獻(xiàn)2)。在合并模式中，復(fù)制在對(duì)編碼對(duì)象塊的鄰接塊進(jìn)行編碼時(shí)使用的預(yù)測(cè)方向、運(yùn)動(dòng)矢量及參照?qǐng)D片索引，來進(jìn)行編碼對(duì)象塊的編碼。此時(shí)，在復(fù)制時(shí)使用的矢量塊的索引等被附加在比特流中。因此，能夠在解碼側(cè)選擇在進(jìn)行編碼時(shí)使用的運(yùn)動(dòng)方向、運(yùn)動(dòng)矢量及參照?qǐng)D片索引。關(guān)于具體示例，參照?qǐng)D3進(jìn)行說明。
[0080]圖3是表示在合并模式中使用的鄰接塊的運(yùn)動(dòng)矢量的一例的圖。在圖3中，鄰接塊A是編碼對(duì)象塊的左側(cè)鄰接的已編碼塊，鄰接塊A的下端與預(yù)測(cè)對(duì)象塊的下端處于同一直線上。鄰接塊B是編碼對(duì)象塊的上側(cè)鄰接的已編碼塊，鄰接塊B的右端與預(yù)測(cè)對(duì)象塊的右端處于同一直線上。鄰接塊C是編碼對(duì)象塊的右上側(cè)鄰接的已編碼塊。鄰接塊D是編碼對(duì)象塊的左下側(cè)鄰接的已編碼塊。鄰接塊E是編碼對(duì)象塊的左上側(cè)鄰接的已編碼塊。
[0081]這里，對(duì)復(fù)制鄰接塊A?D與co-located塊中的某個(gè)塊的編碼中使用的預(yù)測(cè)方向、運(yùn)動(dòng)矢量和參照?qǐng)D片索引，來進(jìn)行編碼對(duì)象塊的編碼的情況進(jìn)行說明。
[0082]并且，鄰接塊A是按照預(yù)測(cè)方向O的單向預(yù)測(cè)被進(jìn)行了編碼的塊。鄰接塊A具有預(yù)測(cè)方向O的運(yùn)動(dòng)矢量MvL0_A，作為針對(duì)預(yù)測(cè)方向O的參照?qǐng)D片索引RefL0_A所示出的參照?qǐng)D片的運(yùn)動(dòng)矢量。其中，MvLO表示參照利用參照?qǐng)D片列表O (LO)所確定的參照?qǐng)D片的運(yùn)動(dòng)矢量。并且，MvLl表示參照利用參照?qǐng)D片列表I (LI)所確定的參照?qǐng)D片的運(yùn)動(dòng)矢量。
[0083]另外，鄰接塊B是按照預(yù)測(cè)方向I的單向預(yù)測(cè)被進(jìn)行了編碼的塊。鄰接塊B具有預(yù)測(cè)方向I的運(yùn)動(dòng)矢量MvLl_B，作為針對(duì)預(yù)測(cè)方向I的參照?qǐng)D片索引RefLl_B所示出的參照?qǐng)D片的運(yùn)動(dòng)矢量。
[0084]另外，鄰接塊C是按照幀內(nèi)預(yù)測(cè)被進(jìn)行了編碼的塊。
[0085]另外，鄰接塊D是按照預(yù)測(cè)方向O的單向預(yù)測(cè)被進(jìn)行了編碼的塊。鄰接塊D具有預(yù)測(cè)方向O的運(yùn)動(dòng)矢量MvL0_D，作為針對(duì)預(yù)測(cè)方向O的參照?qǐng)D片索引RefL0_D所示出的參照?qǐng)D片的運(yùn)動(dòng)矢量。
[0086]在這種情況下，例如從鄰接塊A?D的預(yù)測(cè)方向、運(yùn)動(dòng)矢量和參照?qǐng)D片索引、以及使用co-located塊求出的基于時(shí)間預(yù)測(cè)運(yùn)動(dòng)矢量模式的預(yù)測(cè)方向、運(yùn)動(dòng)矢量和參照?qǐng)D片索引中，選擇編碼效率最好的預(yù)測(cè)方向、運(yùn)動(dòng)矢量和參照?qǐng)D片索引，作為編碼對(duì)象塊的預(yù)測(cè)方向、運(yùn)動(dòng)矢量和參照?qǐng)D片索引。并且，表示所選擇的預(yù)測(cè)方向、運(yùn)動(dòng)矢量和參照?qǐng)D片索引的塊的合并塊索引被附加在比特流中。
[0087]例如，在選擇了鄰接塊A的情況下，使用預(yù)測(cè)方向O的運(yùn)動(dòng)矢量MvL0_A和參照?qǐng)D片索引RefL0_A對(duì)編碼對(duì)象塊進(jìn)行編碼。并且，只有表示如圖4所示的使用了鄰接塊A的合并塊索引的值O被附加在比特流中。由此，能夠削減預(yù)測(cè)方向、運(yùn)動(dòng)矢量和參照?qǐng)D片索引
的信息量。
[0088]并且，如圖4所示，在合并模式中，不能用于編碼的候選(以后稱為“不能合并候選”)、或者預(yù)測(cè)方向、運(yùn)動(dòng)矢量及參照?qǐng)D片索引的組合彼此一致的候選(以后稱為“重復(fù)候選”)，被從合并塊候選中刪除。
[0089]這樣，通過削減合并塊候選數(shù)量，能夠削減分配給合并塊索引的代碼量。其中，所謂不能進(jìn)行合并是指合并塊候選(I)是按照幀內(nèi)預(yù)測(cè)已被編碼后的塊、(2)是包括編碼對(duì)象塊的切片(slice)或者圖片的邊界外的塊、或者(3)是尚未被進(jìn)行編碼的塊等。
[0090]在圖4的示例中，按照幀內(nèi)預(yù)測(cè)對(duì)鄰接塊C進(jìn)行編碼。因此，合并塊索引3的合并塊候選是不能合并候選，被從合并塊候選列表中刪除。另外，鄰接塊D的預(yù)測(cè)方向、運(yùn)動(dòng)矢量及參照?qǐng)D片索引與鄰接塊A—致。因此，合并塊索引4的合并塊候選被從合并塊候選列表中刪除。其結(jié)果是，最終的合并塊候選數(shù)量是3，合并塊候選列表的列表尺寸被設(shè)定為3。
[0091]如圖5所示，合并塊索引按照合并塊候選列表尺寸的大小被分配比特序列，并被實(shí)施可變長(zhǎng)度編碼。這樣，在合并模式中，使分配給合并模式索引的比特序列根據(jù)合并塊候選列表尺寸的大小而變化，由此削減代碼量。
[0092]圖6是表示使用合并模式時(shí)的編碼處理的一例的流程圖。在步驟S1001，從鄰接塊和co-located塊取得合并塊候選的運(yùn)動(dòng)矢量、參照?qǐng)D片索引和預(yù)測(cè)方向。在步驟S1002，從合并塊候選中刪除重復(fù)候選和不能合并候選。在步驟S1003，將刪除處理后的合并塊候選數(shù)量設(shè)定為合并塊候選列表尺寸。在步驟S1004，決定在進(jìn)行編碼對(duì)象塊的編碼時(shí)使用的合并塊索引。在步驟S1005，使用根據(jù)合并塊候選列表尺寸而決定的比特序列，對(duì)所決定的合并塊索引進(jìn)行可變長(zhǎng)度編碼。
[0093]圖7表示使用合并模式對(duì)圖像進(jìn)行編碼的圖像編碼裝置1000的結(jié)構(gòu)的一例。圖像編碼裝置1000具有加法部1001、正交變換部1002、量化部1003、逆量化部1004、逆正交變換部1005、加法部1006、塊存儲(chǔ)器1007、幀存儲(chǔ)器1008、幀內(nèi)預(yù)測(cè)部1009、幀間預(yù)測(cè)部1010、幀間預(yù)測(cè)控制部1011、圖片類型決定部1012、開關(guān)1013、合并塊候選計(jì)算部1014、colPic存儲(chǔ)器1015、和可變長(zhǎng)度編碼部1016。
[0094]在圖7中，合并塊候選計(jì)算部1014計(jì)算合并塊候選。并且，合并塊候選計(jì)算部1014將計(jì)算出的合并塊候選數(shù)發(fā)送給可變長(zhǎng)度編碼部1016?？勺冮L(zhǎng)度編碼部1016將合并塊候選數(shù)設(shè)定為作為編碼參數(shù)的合并塊候選列表尺寸。并且，可變長(zhǎng)度編碼部1016對(duì)在進(jìn)行編碼時(shí)使用的合并塊索引分配與合并塊候選列表尺寸對(duì)應(yīng)的比特序列，并對(duì)所分配的比特序列進(jìn)行可變長(zhǎng)度編碼。
[0095]圖8是表示使用合并模式時(shí)的解碼處理的一例的流程圖。在步驟S2001，從鄰接塊和co-located塊取得合并塊候選的運(yùn)動(dòng)矢量、參照?qǐng)D片索引和預(yù)測(cè)方向。在步驟S2002，從合并塊候選中刪除重復(fù)候選和不能合并候選。在步驟S2003，將刪除處理后的合并塊候選數(shù)量設(shè)定為合并塊候選列表尺寸。在步驟S2004，使用合并塊候選列表尺寸對(duì)比特流中在進(jìn)行解碼對(duì)象塊的解碼時(shí)使用的合并塊索引進(jìn)行解碼。在步驟S2005，使用被解碼后的合并塊索引所示出的合并塊候選，生成預(yù)測(cè)圖像并進(jìn)行解碼處理。
[0096]圖9表示對(duì)使用合并模式被編碼后的圖像進(jìn)行解碼的圖像解碼裝置2000的結(jié)構(gòu)的一例。圖像解碼裝置2000具有可變長(zhǎng)度解碼部2001、逆量化部2002、逆正交變換部2003、加法部2004、塊存儲(chǔ)器2005、幀存儲(chǔ)器2006、幀內(nèi)預(yù)測(cè)部2007、幀間預(yù)測(cè)部2008、幀間預(yù)測(cè)控制部2009、開關(guān)2010、合并塊候選計(jì)算部2011和colPic存儲(chǔ)器2012。
[0097]在圖9中，合并塊候選計(jì)算部2011計(jì)算合并塊候選。并且，合并塊候選計(jì)算部2011將計(jì)算出的合并塊候選的數(shù)量(合并塊候選數(shù))發(fā)送給可變長(zhǎng)度解碼部2001。可變長(zhǎng)度解碼部2001將合并塊候選數(shù)設(shè)定為作為解碼參數(shù)的合并塊候選列表尺寸。并且，可變長(zhǎng)度解碼部2001使用合并塊候選列表尺寸對(duì)包含于比特流中的合并塊索引進(jìn)行解碼。
[0098]圖10表示將合并塊索引附加在比特流中時(shí)的句法。在圖10中，merge_idx表示合并塊索引。merge_flag表示合并標(biāo)志。NumMergeCand表示合并塊候選列表尺寸。對(duì)該NumMergeCand設(shè)定有從合并塊候選中刪除不能合并候選和重復(fù)候選后的合并塊候選數(shù)。
[0099]按照以上所述，使用合并模式對(duì)圖像進(jìn)行編碼或者解碼。
[0100]另外，上述非專利文獻(xiàn)2中討論的運(yùn)動(dòng)圖像編碼方式的前提是以編碼塊單位(以下稱為⑶(Coding Unit))來進(jìn)行預(yù)測(cè)圖像的生成，即編碼塊單位⑶和進(jìn)行預(yù)測(cè)圖像的生成的預(yù)測(cè)塊單位PU是相同尺寸。
[0101]但是，預(yù)測(cè)圖像也可以是以將編碼塊⑶進(jìn)一步分割而得到的預(yù)測(cè)塊單位PU來生成。如果是以預(yù)測(cè)塊單位PU來生成預(yù)測(cè)圖像，則能夠生成更精細(xì)的預(yù)測(cè)圖像。
[0102]圖11表示了將2NX2N尺寸(N是整數(shù))的編碼塊單位⑶分割為多個(gè)預(yù)測(cè)塊單位PU的情況的示例。
[0103]具體來說，圖11的(a)?(C)表示了將編碼塊單位⑶上下二分割的情況，將位于上側(cè)的預(yù)測(cè)塊單位PUO設(shè)為分塊0，將位于下側(cè)的預(yù)測(cè)塊單位PUl設(shè)為分塊I。圖11(a)表示了預(yù)測(cè)塊單位I3U為2NXN的情況。圖11 (b)表示了預(yù)測(cè)塊單位I3U為2NXnU的情況。圖11 (c)表示了預(yù)測(cè)塊單位I3U為2NXnD的情況。
[0104]圖11的(d)?圖11 (f)表示了將編碼塊單位⑶左右二分割的情況，將位于左側(cè)的預(yù)測(cè)塊單位PUO設(shè)為分塊0，將位于右側(cè)的預(yù)測(cè)塊單位PUl設(shè)為分塊I。圖11 (d)表示了預(yù)測(cè)塊單位I3U為N X 2N的情況。圖11 Ce )表示了預(yù)測(cè)塊單位PU為nL X 2N的情況。圖11 Cf)表示了預(yù)測(cè)塊單位PU為nRX2N的情況。
[0105]圖11的(g)表示預(yù)測(cè)塊單位I3U為NXN的情況，即將編碼塊單位⑶分割為4個(gè)(上下二分割、左右二分割)的情況。圖11的(g)中，將位于左上側(cè)的預(yù)測(cè)塊單位PUO設(shè)為分塊0，將位于右上側(cè)的預(yù)測(cè)塊單位PUl設(shè)為分塊1，將位于左下側(cè)的預(yù)測(cè)塊單位PU2設(shè)為分塊2，將位于右下側(cè)的預(yù)測(cè)塊單位PU3設(shè)為分塊3。
[0106]圖11的(h)表示預(yù)測(cè)塊單位I3U為2NX2N的情況，即編碼塊單位⑶與預(yù)測(cè)塊單位PU相同的情況。圖11的(h )中，將預(yù)測(cè)塊單位PUO設(shè)為分塊O。
[0107]在這樣的根據(jù)將編碼塊單位CU分割而得到的預(yù)測(cè)塊單位I3U的編碼中，優(yōu)選在預(yù)測(cè)圖像的生成中使用的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引被設(shè)定為在分割得到的所有分塊中不相同。這是因?yàn)樵谒械姆謮K中使用相同的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引時(shí)，實(shí)質(zhì)上是與根據(jù)編碼塊單位CU來生成預(yù)測(cè)圖像是相同的結(jié)果，削減了將編碼塊單位CU分割為預(yù)測(cè)塊單位的優(yōu)點(diǎn)。在根據(jù)預(yù)測(cè)塊單位的編碼中，在生成運(yùn)動(dòng)矢量等，計(jì)算出預(yù)測(cè)圖像，從而得到預(yù)測(cè)殘差時(shí)，通過從圖11 (a)?(h)所示的多個(gè)預(yù)測(cè)塊單位中，有選擇地使用預(yù)測(cè)圖像的生成中所使用的運(yùn)動(dòng)矢量等，能夠?qū)哂袕?fù)雜形狀的運(yùn)動(dòng)圖像也高效地進(jìn)行編碼。
[0108]但是，現(xiàn)有的合并模式是在將編碼塊單位CU分割為多個(gè)分塊來進(jìn)行預(yù)測(cè)圖像的生成時(shí)，即使是位于同一編碼塊單位CU內(nèi)的鄰接塊，也要計(jì)算出合并塊候選。如上所述，對(duì)同一編碼塊單位CU內(nèi)的預(yù)測(cè)塊單位并不優(yōu)選使用相同的運(yùn)動(dòng)矢量等。因此，從位于同一編碼塊單位CU內(nèi)的鄰接塊的運(yùn)動(dòng)矢量等求得的合并塊候選成為冗長(zhǎng)的合并塊候選。這樣，現(xiàn)有的合并模式就存在如下的問題，即，由于即使是位于同一編碼塊單位CU內(nèi)的鄰接塊也要求得合并塊候選，所以對(duì)多余的合并塊候選也分配合并塊索引，因此造成比特量增加。
[0109]因此、本發(fā)明的一個(gè)方式的圖像編碼方法為，通過按照每個(gè)塊對(duì)圖像進(jìn)行編碼來生成比特流，該圖像編碼方法包括:將編碼對(duì)象塊分割為多個(gè)子塊的步驟；按照每個(gè)子塊，取得在所述編碼對(duì)象塊的編碼中參照的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合的候選即合并候選的步驟；從在取得所述合并候選的步驟中取得的所述合并候選，選擇用于所述編碼對(duì)象塊的編碼的合并候選的步驟；以及將用于確定在選擇所述合并候選的步驟中選擇的所述合并候選的索引附加在所述比特流上的步驟，在取得所述合并候選的步驟中，執(zhí)行:第一判定處理，按照與所述子塊鄰接的每個(gè)鄰接塊，判定該鄰接塊是否包含在所述編碼對(duì)象塊中，將未包含在所述編碼對(duì)象塊中的所述鄰接塊決定為合并對(duì)象塊；以及第一導(dǎo)出處理，在決定了 I個(gè)以上的合并對(duì)象塊的情況下，按照所述I個(gè)以上的合并對(duì)象塊中的每個(gè)合并對(duì)象塊，使用該合并對(duì)象塊的預(yù)測(cè)圖像的生成中使用的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合來導(dǎo)出第一候選，作為所述合并候選的一部分。
[0110]根據(jù)上述結(jié)構(gòu)的圖像編碼方法，在將編碼塊單位分割為多個(gè)分塊(預(yù)測(cè)塊單位ro)來生成預(yù)測(cè)圖像的情況下，判定作為合并塊候選的計(jì)算對(duì)象的鄰接塊是否位于同一編碼塊單位內(nèi)，在判定為位于同一編碼塊單位內(nèi)的情況下，將其從合并塊候選的計(jì)算對(duì)象中排除。根據(jù)這種結(jié)構(gòu)，在上述結(jié)構(gòu)的圖像編碼方法中，不會(huì)將多余的合并塊候選追加在合并塊候選列表中，能夠提高編碼效率。
[0111]并且，例如，也可以是在所述第一判定處理中，還判定所述鄰接塊是否是根據(jù)幀內(nèi)預(yù)測(cè)編碼后的塊，是否是位于包含所述編碼對(duì)象塊的切片或者圖片的邊界外的塊，以及是否是還未被編碼的塊，將(I)判定為是不包含在所述編碼對(duì)象塊中、并且(2)判定為不是根據(jù)幀內(nèi)預(yù)測(cè)編碼后的塊、并且(3)判定為不是位于包含所述編碼對(duì)象塊的切片或者圖片的邊界外的塊、并且(4)判定為不是還未被編碼的塊的所述鄰接塊，決定為所述合并對(duì)象塊。
[0112]并且，例如，也可以是還包含決定能夠取得的合并候選的最大數(shù)的步驟，取得所述合并候選的步驟還進(jìn)行:第二判定處理，判定所述第一候選的數(shù)量是否比所述最大數(shù)小；以及第二導(dǎo)出處理，在判定為所述第一候選的數(shù)量比所述最大數(shù)小的情況下導(dǎo)出新候選，該新候選具有針對(duì)在所述對(duì)象子塊的編碼中能夠參照的圖片的圖片索引。
[0113]并且，例如，也可以是還包含使用在選擇所述合并候選的步驟中選擇的所述合并候選，生成所述對(duì)象子塊的預(yù)測(cè)圖像的步驟。
[0114]本發(fā)明的一個(gè)方式的圖像解碼方法為，按照每個(gè)塊對(duì)編碼比特流中包含的圖像數(shù)據(jù)進(jìn)行解碼，包含:將解碼對(duì)象塊分割為多個(gè)子塊的步驟；按照每個(gè)子塊，取得在所述解碼對(duì)象塊的解碼中參照的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合的候選即合并候選的步驟；從所述編碼比特流取得用于確定在所述解碼對(duì)象塊的解碼中參照的合并候選的索引的步驟；以及使用所取得的所述索引確定所述合并候選，使用所確定的所述合并候選對(duì)所述解碼對(duì)象塊進(jìn)行解碼的步驟，在取得所述合并候選的步驟中，執(zhí)行:第一判定處理，按照與所述子塊鄰接的每個(gè)鄰接塊，判定該鄰接塊是否包含在所述解碼對(duì)象塊中，將未包含在所述解碼對(duì)象塊中的所述鄰接塊決定為合并對(duì)象塊；以及第一導(dǎo)出處理，在決定了 I個(gè)以上的合并對(duì)象塊的情況下，按照所述I個(gè)以上的合并對(duì)象塊中的每個(gè)合并對(duì)象塊，使用該合并對(duì)象塊的預(yù)測(cè)圖像的生成中使用的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合來導(dǎo)出第一候選，作為所述合并候選的一部分。
[0115]并且，例如，也可以是，在所述第一判定處理中，還判定所述鄰接塊是否是根據(jù)幀內(nèi)預(yù)測(cè)解碼后的塊、是否是位于包含所述解碼對(duì)象塊的切片或者圖片的邊界外的塊、以及是否是還未被解碼的塊，將(I)判定為是不包含在所述解碼對(duì)象塊中、并且(2)判定為不是根據(jù)幀內(nèi)預(yù)測(cè)解碼后的塊、并且(3)判定為不是位于包含所述解碼對(duì)象塊的切片或者圖片的邊界外的塊、并且(4)判定為不是還未被解碼的塊的所述鄰接塊，決定為所述合并對(duì)象塊。
[0116]并且，也可以是，還包含決定能夠取得的合并候選的最大數(shù)的步驟，取得所述合并候選的步驟還進(jìn)行:第二判定處理，判定所述第一候選的數(shù)量是否比所述最大數(shù)??；以及第二導(dǎo)出處理，在判定為所述第一候選的數(shù)量比所述最大數(shù)小的情況下導(dǎo)出新候選，該新候選具有針對(duì)在所述對(duì)象子塊的解碼中能夠參照的圖片的圖片索引。
[0117]并且，例如，也可以是，還包含使用在選擇所述合并候選的步驟中選擇的所述合并候選，生成所述對(duì)象子塊的預(yù)測(cè)圖像的步驟。
[0118]本發(fā)明的一個(gè)方式的圖像編碼裝置為，通過按照每個(gè)塊對(duì)圖像進(jìn)行編碼來生成比特流，該圖像編碼裝置包括:第一分割部，將編碼對(duì)象塊分割為多個(gè)子塊；第一取得部，按照所述多個(gè)子塊中的每個(gè)子塊，取得在所述編碼對(duì)象塊的編碼中參照的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合的候選即合并候選；第一選擇部，從在取得所述合并候選的步驟中取得的所述合并候選，選擇用于所述編碼對(duì)象塊的編碼的合并候選；以及編碼部，將用于確定在所述第一選擇部中選擇的所述合并候選的索引附加在所述編碼比特流上，所述第一取得部執(zhí)行:第一判定處理，按照與所述子塊鄰接的每個(gè)鄰接塊，判定該鄰接塊是否包含在所述編碼對(duì)象塊中，將未包含在所述編碼對(duì)象塊中的所述鄰接塊決定為合并對(duì)象塊；以及第一導(dǎo)出處理，在決定了 I個(gè)以上的合并對(duì)象塊的情況下，按照所述I個(gè)以上的合并對(duì)象塊中的每個(gè)合并對(duì)象塊，使用該合并對(duì)象塊的預(yù)測(cè)圖像的生成中使用的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合來導(dǎo)出第一候選，作為所述合并候選的一部分。
[0119]本發(fā)明的一個(gè)方式的圖像解碼裝置為，按照每個(gè)塊對(duì)編碼比特流中包含的圖像數(shù)據(jù)進(jìn)行解碼，該圖像解碼裝置包括:第二分割部，將解碼對(duì)象塊分割為多個(gè)子塊；第二取得部，按照所述多個(gè)子塊中的每個(gè)子塊，取得在所述解碼對(duì)象塊的解碼中參照的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合的候選即合并候選的步驟；索引取得部，從所述編碼比特流取得用于確定在所述解碼對(duì)象塊的解碼中參照的合并候選的索引；以及解碼部，使用所取得的所述索引確定所述合并候選，使用所確定的所述合并候選對(duì)所述解碼對(duì)象塊進(jìn)行解碼，所述第二取得部執(zhí)行:第一判定處理，按照與所述子塊鄰接的每個(gè)鄰接塊，判定該鄰接塊是否包含在所述解碼對(duì)象塊中，將未包含在所述解碼對(duì)象塊中的所述鄰接塊決定為合并對(duì)象塊；以及第一導(dǎo)出處理，在決定了 I個(gè)以上的合并對(duì)象塊的情況下，按照所述I個(gè)以上的合并對(duì)象塊中的每個(gè)合并對(duì)象塊，使用該合并對(duì)象塊的預(yù)測(cè)圖像的生成中使用的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合來導(dǎo)出第一候選，作為所述合并候選的一部分。
[0120]本發(fā)明的一個(gè)方式的圖像編解碼裝置具有上述圖像編碼裝置和上述圖像解碼裝置。
[0121]另外，本發(fā)明的全盤或者具體的方式也能夠以系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序或者計(jì)算機(jī)能夠讀取的CD-ROM等存儲(chǔ)介質(zhì)的方式來實(shí)現(xiàn)，還能夠以系統(tǒng)、方法、集成電路、計(jì)算機(jī)程序及存儲(chǔ)介質(zhì)的任意組合的方式來實(shí)現(xiàn)。
[0122]下面，參照附圖具體說明本發(fā)明的一個(gè)方式的圖像編碼裝置和圖像解碼裝置。
[0123]另外，下面說明的實(shí)施方式均用于示出本發(fā)明的一個(gè)具體示例。在下面的實(shí)施方式中示出的數(shù)值、形狀、材料、構(gòu)成要素、構(gòu)成要素的配置位置及連接方式、步驟、步驟的順序等僅是一例，其主旨不是限定本發(fā)明。并且，關(guān)于下面的實(shí)施方式的構(gòu)成要素中、沒有在表示本發(fā)明的最上位概念的獨(dú)立權(quán)利要求中記載的構(gòu)成要素，作為任意的構(gòu)成要素進(jìn)行說明。
[0124](實(shí)施方式I)
[0125]根據(jù)圖12?圖20對(duì)執(zhí)行本實(shí)施方式中的圖像編碼方法的圖像編碼裝置進(jìn)行說明。本實(shí)施方式中對(duì)如下情況進(jìn)行說明，即，根據(jù)將編碼塊單位CU (編碼對(duì)象塊)分割而得到的預(yù)測(cè)塊單位PU (預(yù)測(cè)對(duì)象塊)，導(dǎo)出合并塊候選，并生成預(yù)測(cè)圖像。
[0126][I 一 I圖像編碼裝置的結(jié)構(gòu)]
[0127]首先，根據(jù)圖12對(duì)圖像編碼裝置的結(jié)構(gòu)進(jìn)行說明。
[0128]圖12是表示實(shí)施方式I的圖像編碼裝置100的結(jié)構(gòu)的塊圖。圖像編碼裝置100通過按照每個(gè)塊對(duì)圖像進(jìn)行編碼來生成比特流。
[0129]圖像編碼裝置100如圖12所示具有減法部101、正交變換部102、量化部103、逆量化部104、逆正交變換部105、加法部106、塊存儲(chǔ)器107、幀存儲(chǔ)器108、幀內(nèi)預(yù)測(cè)部109、幀間預(yù)測(cè)部110、幀間預(yù)測(cè)控制部111、圖片類型決定部112、開關(guān)113、合并塊候選計(jì)算部114、colPic存儲(chǔ)器115、和可變長(zhǎng)度編碼部116。
[0130]減法部101對(duì)于每個(gè)塊(預(yù)測(cè)塊單位TO)，從包含于輸入圖像列中的輸入圖像數(shù)據(jù)減去預(yù)測(cè)圖像數(shù)據(jù)，由此生成預(yù)測(cè)誤差數(shù)據(jù)。
[0131]正交變換部102對(duì)所生成的預(yù)測(cè)誤差數(shù)據(jù)進(jìn)行從圖像區(qū)域向頻域的變換。
[0132]量化部103對(duì)被變換到頻域中的預(yù)測(cè)誤差數(shù)據(jù)進(jìn)行量化處理。
[0133]逆量化部104對(duì)由量化部103進(jìn)行量化處理后的預(yù)測(cè)誤差數(shù)據(jù)進(jìn)行逆量化處理。
[0134]逆正交變換部105對(duì)于被實(shí)施逆量化處理后的預(yù)測(cè)誤差數(shù)據(jù)，進(jìn)行從頻域向圖像區(qū)域的變換。
[0135]加法部106對(duì)于每個(gè)塊(預(yù)測(cè)塊單位PU)，將預(yù)測(cè)圖像數(shù)據(jù)、和由逆正交變換部105進(jìn)行逆量化處理后的預(yù)測(cè)誤差數(shù)據(jù)相加，由此生成重構(gòu)建圖像數(shù)據(jù)。
[0136]在塊存儲(chǔ)器107中以塊單位保存重構(gòu)建圖像數(shù)據(jù)。
[0137]在幀存儲(chǔ)器108中以幀單位保存重構(gòu)建圖像數(shù)據(jù)。
[0138]圖片類型決定部112決定按照I圖片、B圖片、P圖片中的哪種圖片類型對(duì)輸入圖像數(shù)據(jù)進(jìn)行編碼。并且，圖片類型決定部112生成表示所決定的圖片類型的圖片類型信息。
[0139]幀內(nèi)預(yù)測(cè)部109使用在塊存儲(chǔ)器107中保存的塊單位的重構(gòu)建圖像數(shù)據(jù)進(jìn)行幀內(nèi)預(yù)測(cè)，由此生成編碼對(duì)象塊的幀內(nèi)預(yù)測(cè)圖像數(shù)據(jù)。
[0140]幀間預(yù)測(cè)部110使用在幀存儲(chǔ)器108中保存的幀單位的重構(gòu)建圖像數(shù)據(jù)、和通過運(yùn)動(dòng)檢測(cè)等導(dǎo)出的運(yùn)動(dòng)矢量進(jìn)行幀間預(yù)測(cè)，由此生成編碼對(duì)象塊的幀間預(yù)測(cè)圖像數(shù)據(jù)。
[0141]在編碼對(duì)象塊被實(shí)施幀內(nèi)預(yù)測(cè)編碼的情況下，開關(guān)113將由幀內(nèi)預(yù)測(cè)部109生成的幀內(nèi)預(yù)測(cè)圖像數(shù)據(jù)作為編碼對(duì)象塊的預(yù)測(cè)圖像數(shù)據(jù)輸出給減法部101和加法部106。另一方面，在編碼對(duì)象塊被實(shí)施了幀間預(yù)測(cè)編碼的情況下，開關(guān)113將由幀間預(yù)測(cè)部110生成的幀間預(yù)測(cè)圖像數(shù)據(jù)作為編碼對(duì)象塊的預(yù)測(cè)圖像數(shù)據(jù)輸出給減法部101和加法部106。
[0142]在本實(shí)施方式中，合并塊候選計(jì)算部114根據(jù)圖11的(a)?(f)所示的預(yù)測(cè)塊單位PU導(dǎo)出合并塊候選。另外，在本實(shí)施方式中，為了便于說明，以不選擇圖11的(g)以及(h)所示的預(yù)測(cè)塊單位PU的情況為例進(jìn)行說明。合并塊候選計(jì)算部114使用編碼對(duì)象塊的鄰接塊的運(yùn)動(dòng)矢量等、以及被存儲(chǔ)在colPic存儲(chǔ)器115中的co-located塊的運(yùn)動(dòng)矢量等(colPic信息)，導(dǎo)出合并模式的合并塊候選。并且，合并塊候選計(jì)算部114利用后述的方法計(jì)算可合并候選數(shù)。
[0143]并且，合并塊候選計(jì)算部114對(duì)所導(dǎo)出的合并塊候選分配合并塊索引的值。并且，合并塊候選計(jì)算部114將合并塊候選和合并塊索引發(fā)送給幀間預(yù)測(cè)控制部111。并且，合并塊候選計(jì)算部114將計(jì)算出的可合并候選數(shù)發(fā)送給可變長(zhǎng)度編碼部116。
[0144]幀間預(yù)測(cè)控制部111選擇使用通過運(yùn)動(dòng)檢測(cè)而導(dǎo)出的運(yùn)動(dòng)矢量的預(yù)測(cè)模式(運(yùn)動(dòng)檢測(cè)模式)、和使用從合并塊候選導(dǎo)出的運(yùn)動(dòng)矢量的預(yù)測(cè)模式(合并模式)中、能夠得到最小的預(yù)測(cè)誤差的預(yù)測(cè)模式。并且，幀間預(yù)測(cè)控制部111將表示預(yù)測(cè)模式是否是合并模式的合并標(biāo)志發(fā)送給可變長(zhǎng)度編碼部116。并且，在選擇了合并模式作為預(yù)測(cè)模式的情況下，幀間預(yù)測(cè)控制部111將與所決定的合并塊候選對(duì)應(yīng)的合并塊索引發(fā)送給可變長(zhǎng)度編碼部116。另外，幀間預(yù)測(cè)控制部111將包括預(yù)測(cè)對(duì)象塊的運(yùn)動(dòng)矢量等的colPic信息傳輸給colPic存儲(chǔ)器115。
[0145]可變長(zhǎng)度編碼部116對(duì)被實(shí)施量化處理后的預(yù)測(cè)誤差數(shù)據(jù)、及合并標(biāo)志和圖片類型信息進(jìn)行可變長(zhǎng)度編碼處理，由此生成比特流。并且，可變長(zhǎng)度編碼部116將可合并候選數(shù)設(shè)定為合并塊候選列表尺寸。并且，可變長(zhǎng)度編碼部116對(duì)在進(jìn)行編碼時(shí)使用的合并塊索引分配與合并塊候選列表尺寸對(duì)應(yīng)的比特序列，并對(duì)所分配的比特序列進(jìn)行可變長(zhǎng)度編碼。
[0146][1- 2圖像編碼裝置的圖像編碼方法的執(zhí)行]
[0147]其次，根據(jù)圖13?圖20對(duì)圖像編碼裝置100的處理動(dòng)作(圖像編碼方法的執(zhí)行)進(jìn)行說明。
[0148]圖13是表示本實(shí)施方式的圖像編碼裝置100的處理動(dòng)作的流程圖。
[0149]這里，圖像編碼裝置100首先將編碼對(duì)象塊分割為多個(gè)子塊，將多個(gè)子塊中的一個(gè)子塊決定為預(yù)測(cè)對(duì)象塊。
[0150]在步驟SlOl中，合并塊候選計(jì)算部114取得在預(yù)測(cè)對(duì)象塊的預(yù)測(cè)中要參照的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合的候選即合并候選。具體而言，合并塊候選計(jì)算部114例如從預(yù)測(cè)對(duì)象塊的鄰接塊以及Co - located塊導(dǎo)出合并塊候選。并且，在本實(shí)施方式中，合并塊候選計(jì)算部114利用后述的方法計(jì)算出合并塊候選列表尺寸。
[0151]在合并塊候選的導(dǎo)出中，合并塊候選計(jì)算部114首先根據(jù)后述的方法從預(yù)測(cè)對(duì)象塊的鄰接塊A?D以及Co - located塊生成合并塊候選。而且，合并塊候選計(jì)算部114例如如圖14A的(a)所示，對(duì)各合并塊候選分配合并塊索引。
[0152]合并塊索引的值越小則分配的代碼越短。即，合并塊索引的值較小的情況下，合并塊索引所需的信息量越少。
[0153]另一方面，在合并塊索引的值增大時(shí)，合并塊索引所需要的信息量增大。因此，如果對(duì)具有精度更高的運(yùn)動(dòng)矢量和參照?qǐng)D片索引的可能性較大的合并塊候選，分配值較小的合并塊索引，則編碼效率提高。
[0154]因此，也可以是，合并塊候選計(jì)算部114例如對(duì)于每個(gè)合并塊候選測(cè)定被選擇為合并塊的次數(shù)，對(duì)其次數(shù)較多的塊分配值較小的合并塊索引。具體地講，可以考慮確定在鄰接塊中被選擇的合并塊，在進(jìn)行對(duì)象塊的編碼時(shí)，減小針對(duì)所確定的合并塊的合并塊索引的值。
[0155]而且，合并塊候選計(jì)算部114利用后述的方法進(jìn)行不能合并候選以及重復(fù)候選的刪除。這時(shí)，合并塊候選計(jì)算部114也可以進(jìn)行新候選的追加。新候選的追加不需要一定執(zhí)行。
[0156]在本實(shí)施方式中，將不能被利用于預(yù)測(cè)圖像的生成的合并塊候選稱為不能合并候選。并且,將與不能合并候選對(duì)應(yīng)的塊稱為合并對(duì)象外塊。合并對(duì)象外塊中包含同一編碼對(duì)象塊中所含有的鄰接塊。在本實(shí)施方式中，作為合并對(duì)象外塊，包含:(1)不具有運(yùn)動(dòng)矢量等信息的塊(利用幀內(nèi)預(yù)測(cè)編碼后的塊)、(2)位于包含編碼對(duì)象塊的切片或圖片的邊界外的塊、(3)尚未編碼的塊。
[0157]并且，將能夠被利用于預(yù)測(cè)圖像的生成的合并塊候選稱為可合并候選。而且，將與可合并候選對(duì)應(yīng)的塊稱為合并對(duì)象塊。
[0158]并且，在多個(gè)合并塊候選中，將與其他的某個(gè)合并塊候選的運(yùn)動(dòng)矢量、參照?qǐng)D片索弓丨、以及預(yù)測(cè)方向全部一致的候選稱為重復(fù)候選。
[0159]例如，在圖14A的(a)的情況下，鄰接塊C是利用幀內(nèi)預(yù)測(cè)編碼后的塊，所以構(gòu)成不能合并候選。并且，鄰接塊D由于與鄰接塊A的運(yùn)動(dòng)矢量、參照?qǐng)D片索引、以及預(yù)測(cè)方向全部一致，所以構(gòu)成重復(fù)候選。
[0160]這里，圖14A的(b)是表示不存在包含于相同編碼對(duì)象塊中的鄰接塊(合并對(duì)象外塊)的情況下計(jì)算出的合并塊候選列表的例子。并且，圖14B是表示鄰接塊A是在相同編碼對(duì)象塊中包含的合并對(duì)象外塊的情況下計(jì)算出的合并塊候選列表的圖。圖14C是表示鄰接塊B是在相同編碼對(duì)象塊中包含的合并對(duì)象外塊的情況下計(jì)算出的合并塊候選列表的圖。圖14D是表示鄰接塊A以及鄰接塊B是在相同編碼對(duì)象塊中包含的合并對(duì)象外塊的情況下計(jì)算出的合并塊候選列表的圖。后面將描述合并對(duì)象外塊的判定。
[0161]在步驟S102，幀間預(yù)測(cè)控制部111利用后述的方法，將使用通過運(yùn)動(dòng)檢測(cè)而導(dǎo)出的運(yùn)動(dòng)矢量生成的預(yù)測(cè)圖像的預(yù)測(cè)誤差、和使用從合并塊候選得到的運(yùn)動(dòng)矢量生成的預(yù)測(cè)圖像的預(yù)測(cè)誤差進(jìn)行比較，并選擇預(yù)測(cè)模式(選擇編碼對(duì)象塊的編碼中使用的合并候選)。在此，如果所選擇的預(yù)測(cè)模式是合并模式，幀間預(yù)測(cè)控制部111將合并標(biāo)志設(shè)定為1，否則將合并標(biāo)志設(shè)定為O。
[0162]可變長(zhǎng)編碼部116通過執(zhí)行步驟S103?步驟S105，將用于確定選擇出的合并候選的索引，附加在比特流中。
[0163]具體來說，在步驟S103，判定合并標(biāo)志是否為I (即，預(yù)測(cè)模式是否是合并模式)。
[0164]在此，如果步驟S103的判定結(jié)果為真(S103:是)，在步驟S104，可變長(zhǎng)度編碼部116將合并標(biāo)志附加在比特流中。另外，在步驟S105，可變長(zhǎng)度編碼部116對(duì)在進(jìn)行編碼時(shí)使用的合并塊候選的合并塊索引分配如圖5所示的與合并塊候選列表尺寸對(duì)應(yīng)的比特序列。并且，可變長(zhǎng)度編碼部116對(duì)所分配的比特序列進(jìn)行可變長(zhǎng)度編碼。
[0165]另一方面，如果步驟S103的判定結(jié)果為假(S103:否)，在步驟S106，可變長(zhǎng)度編碼部116將合并標(biāo)志和運(yùn)動(dòng)檢測(cè)矢量模式的信息附加在比特流中。
[0166]在本實(shí)施方式中，如圖14A的(a)所示，對(duì)與鄰接塊A對(duì)應(yīng)的合并塊索引的值分配“O”。另外，對(duì)與鄰接塊B對(duì)應(yīng)的合并塊索引的值分配“I”。另外，對(duì)與co-loctaed合并塊對(duì)應(yīng)的合并塊索引的值分配“2”。另外，對(duì)與鄰接塊C對(duì)應(yīng)的合并塊索引的值分配“3”。另外，對(duì)與鄰接塊D對(duì)應(yīng)的合并塊索引的值分配“4”。
[0167]另外，合并塊索引的值的分配方式不一定限于該示例。例如，可變長(zhǎng)編碼部116也可以對(duì)co-loctaed合并塊分配比鄰接塊大的合并塊索引。例如，在使用后述的方法追加了新候選的情況下等，可變長(zhǎng)度編碼部116也可以對(duì)原來的合并塊候選分配較小的值，而對(duì)新候選分配較大的值。即，可變長(zhǎng)度編碼部116也可以優(yōu)先對(duì)原來的合并塊候選分配較小的值的合并塊索引。
[0168]另外，用于求出合并塊候選的鄰接塊不一定局限于鄰接塊A?D和co-loctaed塊。例如，也可以從圖3的鄰接塊E等求出合并塊候選。并且，不一定限定于使用鄰接塊A?D以及co-loctaed塊的所有鄰接塊，例如，也可以僅將鄰接塊A、B用作合并塊候選。
[0169]另外，在本實(shí)施方式中，在圖13的步驟S105，可變長(zhǎng)度編碼部116將合并塊索引附加在比特流中，但不需要一定將合并塊索引附加在比特流中。例如，在合并塊候選列表尺寸為“I”的情況下，可變長(zhǎng)度編碼部116也可以不將合并塊索引附加在比特流中。由此，能夠削減合并塊索引的信息量。
[0170]圖15是表示圖13的步驟SlOl的具體處理的流程圖。具體地講，圖15表示計(jì)算合并塊候選及合并塊候選列表尺寸的方法。下面，對(duì)圖15進(jìn)行說明。
[0171]在步驟S111，合并塊候選計(jì)算部114利用后述的方法判定合并塊候選[N]是否是可合并候選(第一導(dǎo)出處理的一部分)。并且，合并塊候選計(jì)算部114按照判定結(jié)果更新可合并候選數(shù)。
[0172]其中，N是用于表不各合并塊候選的索引值。在本實(shí)施方式中，N取O?4的值。具體地講，對(duì)合并塊候選[O]分配圖3的鄰接塊A。并且，對(duì)合并塊候選[I]分配圖3的鄰接塊B。并且，對(duì)合并塊候選[2]分配co-located合并塊。并且，對(duì)合并塊候選[3]分配圖3的鄰接塊C。并且，對(duì)合并塊候選[4]分配圖3的鄰接塊D。
[0173]在步驟S112，合并塊候選計(jì)算部114取得合并塊候選[N]的運(yùn)動(dòng)矢量、參照?qǐng)D片索引和預(yù)測(cè)方向，并追加在合并塊候選列表中(第一導(dǎo)出處理的一部分)。
[0174]在步驟S113，合并塊候選計(jì)算部114按照?qǐng)D14A?圖14C所示從合并塊候選列表中檢索并刪除不能合并候選和重復(fù)候選(第一導(dǎo)出處理的一部分)。
[0175]在步驟SI 14，合并塊候選計(jì)算部114利用后述的方法將新候選追加在合并塊候選列表中。在此，在追加新候選時(shí)，合并塊候選計(jì)算部114也可以進(jìn)行合并塊索引的值的再分配，以便優(yōu)先對(duì)原來存在的合并塊候選分配較小的值的合并塊索引。即，也可以是，合并塊候選計(jì)算部114進(jìn)行合并塊索引的值的再分配，使得對(duì)新候選分配數(shù)值較大的合并塊索弓I。由此，能夠削減合并塊索引的代碼量。
[0176]在步驟S115，合并塊候選計(jì)算部114將在步驟Slll計(jì)算出的可合并候選數(shù)設(shè)定為合并塊候選列表尺寸。在圖14A的示例中，利用后述的方法計(jì)算出可合并候選數(shù)為“4”，合并塊候選列表尺寸被設(shè)定為“4”。
[0177]另外，所謂步驟S114中的新候選是指在合并塊候選數(shù)未達(dá)到可合并候選數(shù)的情況下，利用后述的方法新追加在合并塊候選中的候選。例如，新候選可以是圖3中的左上鄰接塊E等。并且，新候選例如也可以是與co-located塊的鄰接塊A?D對(duì)應(yīng)的塊。另外，新候選例如也可以是參照?qǐng)D片的畫面整體或者一定區(qū)域中的具有運(yùn)動(dòng)矢量、參照?qǐng)D片索引和預(yù)測(cè)方向的統(tǒng)計(jì)值等的塊。這樣，在合并塊候選數(shù)未達(dá)到可合并候選數(shù)的情況下，合并塊候選計(jì)算部114通過追加具有新的運(yùn)動(dòng)矢量、參照?qǐng)D片索引和預(yù)測(cè)方向的新候選，能夠提高編碼效率。
[0178]圖16是表示圖15的步驟Slll的具體處理的流程圖。具體地講，圖16表示判定合并塊候選[N]是否是可合并候選，并更新可合并候選數(shù)的方法。下面，對(duì)圖16進(jìn)行說明。
[0179]在步驟S121，合并塊候選計(jì)算部114判定合并塊候選[N]是否是(I)按照幀內(nèi)預(yù)測(cè)被實(shí)施了編碼的塊、或者(2)位于包括編碼對(duì)象塊的切片或者圖片的邊界外的塊、或者
(3)尚未被實(shí)施編碼的塊。
[0180]如果步驟S121的判定結(jié)果為真(S121:是)，合并塊候選計(jì)算部114將與合并塊候選[N]對(duì)應(yīng)的塊決定為合并對(duì)象外塊。而且，在步驟S123中，將合并塊候選[N]設(shè)定為不能合并候選。[0181]另一方面，如果步驟S121的判定結(jié)果為假(S121:否)，在步驟S122，利用后述的方法，判定合并塊候選[N]是否是合并對(duì)象外塊(第一判定處理)。
[0182]如果步驟S122的判定結(jié)果為真(步驟S122:是)，在步驟S123中，合并塊候選計(jì)算部114將合并塊候選[N]決定為不能合并候選。
[0183]另一方面，如果步驟S122的判定結(jié)果為假(步驟S121:否)，在步驟S124中，合并塊候選計(jì)算部114將合并塊候選[N]決定為可合并候選。
[0184]在步驟S125中，合并塊候選計(jì)算部114判定合并塊候選[N]是否是可合并候選、或者Co — located合并塊候選。
[0185]如果步驟S125的判定結(jié)果是真(步驟S125:是)，在步驟S126中，合并塊候選計(jì)算部114將合并塊候選數(shù)加1，并更新合并塊候選數(shù)。另一方面，如果步驟S125的判定結(jié)果是假(步驟S125:否)，則不更新可合并候選數(shù)。
[0186]這樣，在合并塊候選是co-located合并塊的情況下,無論co-located合并塊是可合并候選還是不能合并候選，合并塊候選計(jì)算部114都將可合并候選數(shù)加I。由此，即使是co-located合并塊的信息由于包損失等而丟失的情況下，在圖像編碼裝置和圖像解碼裝置中也不會(huì)產(chǎn)生可合并候選數(shù)的不一致。
[0187]該可合并候選數(shù)在圖15的步驟S115被設(shè)定為合并塊候選列表尺寸。另外，在圖13的步驟S105，合并塊候選列表尺寸被用于合并塊索引的可變長(zhǎng)度編碼中。由此，即使是丟失了包括co-located塊等的參照?qǐng)D片信息的情況下，圖像編碼裝置100也能夠生成能夠正常對(duì)合并塊索引進(jìn)行解碼的比特流。
[0188]另外，在本實(shí)施方式中，在圖16中表示了按照步驟S121、步驟S122的順序進(jìn)行判定的例子，但不一定限定于此。例如，也可以按照步驟S122、步驟S121的順序進(jìn)行判定。并且，例如，也可以在一個(gè)步驟中執(zhí)行步驟S121和步驟S122。而且，步驟S121不一定必須執(zhí)行。
[0189]另外，本實(shí)施方式的主要構(gòu)成是步驟S122。
[0190]圖17是表示圖16的步驟S122的具體處理的流程圖。具體而言，圖17表示判定與合并塊候選[N]對(duì)應(yīng)的塊是否是合并對(duì)象外塊的方法。以下，對(duì)圖17進(jìn)行說明。
[0191]另外，在步驟S122中，在判定對(duì)象的塊是預(yù)測(cè)對(duì)象塊所屬的編碼對(duì)象塊中包含的塊的情況下，將其決定為合并對(duì)象外塊。
[0192]在步驟S151中，合并塊候選計(jì)算部114判定預(yù)測(cè)對(duì)象塊的預(yù)測(cè)塊單位相當(dāng)于2NXN、2NXnU、2NXnD、NX 2N、nLX 2N、或nRX 2N的哪個(gè)，并且，是否是在預(yù)測(cè)塊單位PUl的分塊I的合并塊候選的計(jì)算中，并且，與合并塊候選[N]對(duì)應(yīng)的預(yù)測(cè)對(duì)象塊是否位于同一編碼塊單位CU內(nèi)。
[0193]如果步驟S151的判定結(jié)果是真(步驟S151:是)，合并塊候選計(jì)算部114將與合并塊候選[N]對(duì)應(yīng)的預(yù)測(cè)對(duì)象塊決定為合并對(duì)象外塊。
[0194]這樣，與合并塊候選[N]對(duì)應(yīng)的預(yù)測(cè)對(duì)象塊是合并對(duì)象外塊的情況下，合并塊候選[N]構(gòu)成不能合并候選，從合并塊候選列表刪除。
[0195]另外，在本實(shí)施方式中，如果步驟S151的判定結(jié)果是真(步驟S151:是)，合并塊候選計(jì)算部114將與合并塊候選[N]對(duì)應(yīng)的預(yù)測(cè)對(duì)象塊判定為合并對(duì)象外塊，但不限于此。在步驟S151的判定結(jié)果是假(步驟S151:否)的情況下，合并塊候選計(jì)算部114也可以將與合并塊候選[N]對(duì)應(yīng)的預(yù)測(cè)對(duì)象塊決定為合并對(duì)象塊。另外，即使是在步驟S151的判定結(jié)果是假的情況下將與合并塊候選[N]對(duì)應(yīng)的預(yù)測(cè)對(duì)象塊決定為合并對(duì)象塊時(shí)，也能夠得到與在步驟S151的判定結(jié)果是真的情況下將與合并塊候選[N]對(duì)應(yīng)的預(yù)測(cè)對(duì)象塊決定為合并對(duì)象外塊時(shí)相同的結(jié)果。
[0196]該情況下，在圖16的步驟S122中，合并塊候選計(jì)算部114判定合并塊候選[N]是否是合并對(duì)象塊。在步驟S122的判定結(jié)果是合并對(duì)象塊的情況下，合并塊候選計(jì)算部114轉(zhuǎn)移到步驟Sm。并且，在步驟S122的判定結(jié)果不是合并對(duì)象塊的情況下，合并塊候選計(jì)算部114轉(zhuǎn)移到步驟S123。
[0197]圖18是對(duì)于與圖11的(a)?(f)對(duì)應(yīng)的各預(yù)測(cè)塊單位表示了構(gòu)成合并對(duì)象外塊的塊的塊圖。另外，圖18中，用粗線表示預(yù)測(cè)對(duì)象塊(分塊I)和與該預(yù)測(cè)對(duì)象塊對(duì)應(yīng)的合并對(duì)象外塊。換言之，在鄰接塊內(nèi)，不是用粗線而是用通常的線記載的鄰接塊是合并對(duì)象塊。
[0198]并且，塊L與圖3的鄰接塊A對(duì)應(yīng)。塊T與圖3的鄰接塊B對(duì)應(yīng)。塊TR與圖3的鄰接塊C對(duì)應(yīng)。塊BL與圖3的鄰接塊D對(duì)應(yīng)。塊TL與圖3的鄰接塊E對(duì)應(yīng)。
[0199]如圖18的(a)?(C)所示，在預(yù)測(cè)塊單位是2NXN、或2NXnU、或2NXnD的情況下計(jì)算分塊I的合并塊候選列表時(shí)，與預(yù)測(cè)塊單位PU的上側(cè)鄰接的塊T包含在同一編碼塊單位⑶中。因此，塊T構(gòu)成合并對(duì)象外塊。因此，該情況下,塊T (鄰接塊B)構(gòu)成合并對(duì)象外塊，所以在合并塊候選的導(dǎo)出中，如圖14C所示，將鄰接塊B從合并候選刪除。
[0200]并且，如圖18的(d)?(f)所示，預(yù)測(cè)塊單位是NX2N、或nLX2N、或nRX2N的情況下計(jì)算分塊I的合并塊候選列表時(shí)，與預(yù)測(cè)塊單位I3U的左側(cè)鄰接的塊L包含在同一編碼塊單位中。因此，塊L構(gòu)成合并對(duì)象外塊。因此，該情況下，塊L (鄰接塊A)構(gòu)成合并對(duì)象外塊，所以在合并塊候選的導(dǎo)出中，如圖14B所示，將鄰接塊A從合并候選刪除。
[0201]另外，在分塊O與分塊I具有同一預(yù)測(cè)方向、同一運(yùn)動(dòng)矢量、以及同一參照?qǐng)D片索引的情況下生成的預(yù)測(cè)圖像，與利用不伴隨編碼塊單位CU的分割的2NX2N的預(yù)測(cè)塊單位(圖11的(h))所生成的預(yù)測(cè)圖像相同。因此，在分塊I的合并塊候選列表中，追加從分塊O所包含的塊得到的合并塊候選，相當(dāng)于是對(duì)冗長(zhǎng)的合并塊候選分配合并塊索引。因此，如本實(shí)施方式那樣，在利用將編碼塊單位分割為分塊的預(yù)測(cè)塊單位來生成預(yù)測(cè)圖像的情況下，判定計(jì)算出合并塊候選的鄰接塊是否位于同一編碼塊單位內(nèi)，如果判定結(jié)果是真，則不將從該鄰接塊獲得的合并塊候選追加到合并塊候選列表中。由此，不需要對(duì)冗長(zhǎng)的合并塊候選分配合并塊索引，能夠提高編碼效率。并且，通過將冗長(zhǎng)的合并塊候選從合并塊候選列表刪除，能夠追加通過后述的方法計(jì)算出的用于提高編碼效率的候選即新候選。通過刪除冗長(zhǎng)的合并塊候選并追加新候選，能夠提高編碼效率。
[0202]另外，在本實(shí)施方式中，表示了將不能合并候選暫時(shí)追加到合并塊候選列表之后刪除的例子，但不一定限定于此，例如，也可以從最初就不將不能合并候選追加到合并塊候選列表中。
[0203]圖19是表示圖15的步驟SI 14的具體處理的流程圖。具體地講，圖19表示追加新候選的方法。下面，對(duì)圖19進(jìn)行說明。
[0204]在步驟S131，合并塊候選計(jì)算部114判定合并塊候選數(shù)是否小于可合并候選數(shù)。即，合并塊候選計(jì)算部114判定合并塊候選數(shù)是否未達(dá)到可合并候選數(shù)。
[0205]在此，如果步驟S131的判定結(jié)果為真(S131:是)，在步驟S132，合并塊候選計(jì)算部114判定是否存在能夠作為合并塊候選被追加在合并塊候選列表中的新候選。在此，如果步驟S132的判定結(jié)果為真(S132:是)，在步驟S133，合并塊候選計(jì)算部114對(duì)新候選分配合并塊索引的值，并將新候選追加在合并塊候選列表中。另外，在步驟S134，合并塊候選計(jì)算部114將合并塊候選數(shù)加I。
[0206]另一方面，如果步驟S131或者步驟S132的判定結(jié)果為假(S131或者S132:否)，結(jié)束新候選追加處理。即，在合并塊候選數(shù)已達(dá)到可合并候選數(shù)的情況下、或者不存在新候選的情況下，結(jié)束新候選追加處理。
[0207]圖20是表示圖13的步驟S102的具體處理的流程圖。具體地講，圖20表示與合并塊候選的選擇相關(guān)的處理。下面，對(duì)圖20進(jìn)行說明。
[0208]在步驟S141，幀間預(yù)測(cè)控制部111對(duì)合并塊候選索引設(shè)定0，對(duì)最小預(yù)測(cè)誤差設(shè)定運(yùn)動(dòng)矢量檢測(cè)模式的預(yù)測(cè)誤差(成本)，對(duì)合并標(biāo)志設(shè)定O。在此，關(guān)于成本例如利用R-D最優(yōu)化模型的下式進(jìn)行計(jì)算。
[0209](式I)
[0210]Cost=D+λ R
[0211]在式I中，D表示編碼失真。例如，D采用使用根據(jù)某個(gè)運(yùn)動(dòng)矢量生成的預(yù)測(cè)圖像對(duì)編碼對(duì)象塊進(jìn)行編碼及解碼而得到的像素值、與編碼對(duì)象塊的原來的像素值之差分絕對(duì)值和等。另外，R表示產(chǎn)生代碼量。R采用對(duì)在生成預(yù)測(cè)圖像時(shí)使用的運(yùn)動(dòng)矢量進(jìn)行編碼所需要的代碼量等。另外，λ表示拉格朗日的未定乘數(shù)。
[0212]在步驟S142，幀間預(yù)測(cè)控制部111判定合并塊候選索引的值是否小于編碼對(duì)象塊的合并塊候選數(shù)。即，幀間預(yù)測(cè)控制部111判定是否存在還沒有進(jìn)行下面的步驟S143?S145的處理的合并塊候選。
[0213]在此，如果步驟S142的判定結(jié)果為真(S142:是)，在步驟S143，幀間預(yù)測(cè)控制部111計(jì)算被分配了合并塊候選索引的合并塊候選的成本。并且，在步驟S144，幀間預(yù)測(cè)控制部111判定計(jì)算出的合并塊候選的成本是否小于最小預(yù)測(cè)誤差。
[0214]在此，如果步驟S144的判定結(jié)果為真(S144:是)，在步驟S145，幀間預(yù)測(cè)控制部111更新最小預(yù)測(cè)誤差、合并塊索引及合并標(biāo)志的值。另一方面，如果步驟S144的判定結(jié)果為假(S144:否)，幀間預(yù)測(cè)控制部111不更新最小預(yù)測(cè)誤差、合并塊索引及合并標(biāo)志的值。
[0215]在步驟S146，幀間預(yù)測(cè)控制部111將合并塊候選索引的值加1，反復(fù)進(jìn)行步驟S142?S146的處理。
[0216]另一方面，如果步驟S142的判定結(jié)果為假(S142:否)，即，如果不存在未處理的合并塊候選，在步驟S147，幀間預(yù)測(cè)控制部111確定最終設(shè)定的合并標(biāo)志及合并塊索引的值。
[0217][1-3效果、變形例等]
[0218]這樣，本實(shí)施方式的圖像編碼裝置100在將編碼塊單位CU分割為預(yù)測(cè)塊單位(分塊)來進(jìn)行預(yù)測(cè)圖像的生成的情況下，當(dāng)鄰接塊位于同一編碼塊單位CU內(nèi)時(shí)，不將從該鄰接塊獲得的合并塊候選追加到合并塊候選列表中。由此，本實(shí)施方式的圖像編碼裝置100不需要對(duì)冗長(zhǎng)的合并塊候選分配合并塊索引，能夠提高編碼效率。并且，通過將冗長(zhǎng)的合并塊候選從合并塊候選列表中排除，由此能夠追加更多的新候選，能夠提高編碼效率。
[0219]另外，在本實(shí)施方式中，以將編碼塊單位CU分割為預(yù)測(cè)塊單位(分塊)為例，對(duì)分割為2NXN、2NXnU、2NXnD、NX2N、nLX2N、以及nRX2N的情況為例進(jìn)行了說明，但不一定限定于此。例如，也可以適用于如圖11的(g)所示的預(yù)測(cè)塊單位NXN的情況。該情況下，如果鄰接塊位于同一編碼塊單位內(nèi)，圖像編碼裝置100也不將該鄰接塊追加到合并塊候選列表中，由此不需要對(duì)冗長(zhǎng)的合并塊候選分配合并塊索引，能夠提高編碼效率。
[0220]并且，根據(jù)本實(shí)施方式的圖像編碼裝置100，能夠根據(jù)不依賴于包含Co - located塊等的參照?qǐng)D片信息的方法來計(jì)算在編碼或解碼合并塊索引時(shí)使用的合并塊候選列表尺寸。由此，圖像編碼裝置100能夠提高錯(cuò)誤容限。
[0221]更具體而言，本實(shí)施方式的圖像編碼裝置100中，與Co — located合并塊是否是可合并候選無關(guān)，如果合并塊候選是Co - located合并塊，則始終對(duì)可合并候選數(shù)加I。而且，圖像編碼裝置100使用這樣計(jì)算出的可合并候選數(shù)，來決定分配給合并塊索引的比特序列。由此，即使在丟失了包含Co — located塊的參照?qǐng)D片信息的情況下，圖像編碼裝置100也能夠生成能夠?qū)⒑喜K索引正常解碼的比特流。
[0222]并且，本實(shí)施方式的圖像編碼裝置100中，在合并塊候選數(shù)未達(dá)到可合并候選數(shù)的情況下，通過追加具有新的運(yùn)動(dòng)矢量、參照?qǐng)D片索引以及預(yù)測(cè)方向的新候選來作為合并塊候選，能夠提高編碼效率。
[0223]另外，在本實(shí)施方式中，如圖16的步驟S125所示，雖然僅針對(duì)Co — located合并塊不考慮其是可合并候選還是不能合并候選，始終對(duì)合并塊候選數(shù)加1，但不限定于此。對(duì)于其他塊也可以與是可合并候選還是不能合并候選無關(guān)，而始終對(duì)合并塊候選數(shù)加I。該情況下，圖像編碼裝置100例如也可以始終將可合并候選數(shù)固定為合并塊候選數(shù)的最大值Max。即，也可以是將所有鄰接塊的合并塊候選視為可合并候選，將合并塊候選列表尺寸固定為合并候選塊候選數(shù)的最大值Max，對(duì)合并塊索引進(jìn)行編碼。例如，在本實(shí)施方式中，由于合并塊候選數(shù)的最大值Max是5 (鄰接塊A、鄰接塊B、Co — located合并塊、鄰接塊C、鄰接塊D)，所以始終將合并塊候選列表尺寸設(shè)定為“5”，來對(duì)合并塊索引進(jìn)行編碼。
[0224]并且，例如，在是不參照Co-located合并塊的圖片(參照I圖片的B圖片或P圖片)的情況等、合并塊候選數(shù)的最大值Max是4 (鄰接塊A、鄰接塊B、鄰接塊C、鄰接塊D)的情況下，始終對(duì)合并塊候選列表尺寸設(shè)定“4”，來對(duì)合并塊索引進(jìn)行編碼。
[0225]這樣，也可以根據(jù)合并塊候選數(shù)的最大值Max來決定合并塊候選列表尺寸。該情況下，圖像編碼裝置100在圖13的步驟S105中，使用最大值Max作為合并塊候選列表尺寸來進(jìn)行可變長(zhǎng)度編碼。
[0226]由此，圖像解碼裝置的可變長(zhǎng)度解碼部能夠不參照鄰接塊或Co - located塊的信息來對(duì)比特流中的合并塊索引進(jìn)行解碼而生成比特流，能夠削減可變長(zhǎng)度解碼部的處理量。并且，也可以將合并塊候選數(shù)的最大值Max埋入SPS (Sequence Parameter Set)、PPS(Picture Parameter Set)、或切片頭等中。由此,能夠根據(jù)編碼對(duì)象圖片來切換合并塊候選數(shù)的最大值Max，能夠?qū)崿F(xiàn)處理量的削減并提高編碼效率。
[0227]另外，在本實(shí)施方式中示出了在合并模式時(shí)合并標(biāo)志始終被附加在比特流中的示例，但不限于此。例如，也可以根據(jù)在進(jìn)行編碼對(duì)象塊的幀間預(yù)測(cè)時(shí)使用的塊形狀等強(qiáng)制選擇合并模式。在這種情況下，也可以不將合并標(biāo)志附加在比特流中，由此削減信息量。
[0228]另外，在本實(shí)施方式中示出了采用合并模式的示例，在該合并模式中，從編碼對(duì)象塊的鄰接塊復(fù)制預(yù)測(cè)方向、運(yùn)動(dòng)矢量和參照?qǐng)D片索引來進(jìn)行編碼對(duì)象塊的編碼，但不必限定于此。例如，也可以采用跳躍合并模式。在跳躍合并模式中，使用如圖14A的(b)所示生成的合并塊候選列表，與合并模式相同地從編碼對(duì)象塊的鄰接塊復(fù)制預(yù)測(cè)方向、運(yùn)動(dòng)矢量和參照?qǐng)D片索引來進(jìn)行編碼對(duì)象塊的編碼。如果其結(jié)果是編碼對(duì)象塊的所有預(yù)測(cè)誤差數(shù)據(jù)為O，將跳躍標(biāo)志設(shè)定為1，將跳躍標(biāo)志和合并塊索引附加在比特流中。另外，如果預(yù)測(cè)誤差數(shù)據(jù)不是O，將跳躍標(biāo)志設(shè)定為O，將跳躍標(biāo)志、合并標(biāo)志、合并塊索引和預(yù)測(cè)誤差數(shù)據(jù)附加在比特流中。
[0229]另外，在本實(shí)施方式中示出了采用合并模式的示例，在該合并模式中，從編碼對(duì)象塊的鄰接塊復(fù)制預(yù)測(cè)方向、運(yùn)動(dòng)矢量和參照?qǐng)D片索引來進(jìn)行編碼對(duì)象塊的編碼，但不限于此。例如，也可以使用如圖14A的(b)所示而生成的合并塊候選列表對(duì)運(yùn)動(dòng)矢量檢測(cè)模式的運(yùn)動(dòng)矢量進(jìn)行編碼。即，從運(yùn)動(dòng)矢量檢測(cè)模式的運(yùn)動(dòng)矢量減去利用合并塊索引指定的合并塊候選的運(yùn)動(dòng)矢量，由此求出差分。并且，也可以將所求出的差分和合并塊索引附加在比特流中。
[0230]另外，也可以是，使用運(yùn)動(dòng)檢測(cè)模式的參照?qǐng)D片索引RefIdX_ME、和合并塊候選的參照?qǐng)D片索引RefIdx_Merge,對(duì)合并塊候選的運(yùn)動(dòng)矢量MV_Merge進(jìn)行調(diào)度,從運(yùn)動(dòng)檢測(cè)模式的運(yùn)動(dòng)矢量減去調(diào)度后的合并塊候選的運(yùn)動(dòng)矢量scaledMV_Merge，由此求出差分。并且，也可以將所求出的差分和合并塊索引附加在比特流中。調(diào)度的式子的示例如下所示。
[0231](式2)
[0232]scaledMV_Merge=MV_Merge X (POC (Ref Idx_ME) -curPOC) / (POC (Ref Idx_Merge)-curPOC)
[0233]其中，P0C(RefIdx_ME)表示參照?qǐng)D片索引RefIdx_ME所示出的參照?qǐng)D片的顯示順序。POC(RefIdx_Merge)表示參照?qǐng)D片索引RefIdx_Merge所示出的參照?qǐng)D片的顯示順序。curPOC表示編碼對(duì)象圖片的顯示順序。
[0234](實(shí)施方式2)
[0235]針對(duì)執(zhí)行本實(shí)施方式的圖像解碼方法的圖像解碼裝置，根據(jù)圖21?圖24來進(jìn)行說明。在本實(shí)施方式中，對(duì)通過將解碼塊單位CU (解碼對(duì)象塊)分割而得到的預(yù)測(cè)塊單位PU (預(yù)測(cè)對(duì)象塊)，導(dǎo)出合并塊候選，并生成預(yù)測(cè)圖像的情況進(jìn)行說明。
[0236][2-1圖像解碼裝置的結(jié)構(gòu)]
[0237]圖21是表示實(shí)施方式2的圖像解碼裝置的結(jié)構(gòu)的塊圖。該圖像解碼裝置300是與實(shí)施方式I的圖像編碼裝置100對(duì)應(yīng)的裝置。圖像解碼裝置300例如按照每個(gè)塊對(duì)由實(shí)施方式I的圖像編碼裝置100生成的比特流中所包含的編碼圖像進(jìn)行解碼。
[0238]圖像解碼裝置300如圖21所示具有可變長(zhǎng)度解碼部301、逆量化部302、逆正交變換部303、加法部304、塊存儲(chǔ)器305、幀存儲(chǔ)器306、幀內(nèi)預(yù)測(cè)部307、幀間預(yù)測(cè)部308、幀間預(yù)測(cè)控制部309、開關(guān)310、合并塊候選計(jì)算部311和colPic存儲(chǔ)器312。
[0239]可變長(zhǎng)度解碼部301對(duì)所輸入的比特流進(jìn)行可變長(zhǎng)度解碼，并生成圖片類型信息、合并標(biāo)志和量化系數(shù)。并且，可變長(zhǎng)度解碼部301使用后述的可合并候選數(shù)進(jìn)行合并塊索引的可變長(zhǎng)度解碼處理。
[0240]逆量化部302對(duì)通過可變長(zhǎng)度解碼處理而得到的量化系數(shù)進(jìn)行逆量化處理。
[0241]逆正交變換部303將通過逆量化處理而得到的正交變換系數(shù)從頻域變換到圖像區(qū)域中，由此生成預(yù)測(cè)誤差數(shù)據(jù)。
[0242]在塊存儲(chǔ)器305中以塊單位保存將預(yù)測(cè)誤差數(shù)據(jù)和預(yù)測(cè)圖像數(shù)據(jù)相加而生成的解碼圖像數(shù)據(jù)。
[0243]在幀存儲(chǔ)器306中以幀單位保存解碼圖像數(shù)據(jù)。
[0244]幀內(nèi)預(yù)測(cè)部307使用在塊存儲(chǔ)器305中保存的塊單位的解碼圖像數(shù)據(jù)進(jìn)行幀內(nèi)預(yù)測(cè)，由此生成解碼對(duì)象塊的預(yù)測(cè)圖像數(shù)據(jù)。
[0245]幀間預(yù)測(cè)部308使用在幀存儲(chǔ)器306中保存的幀單位的解碼圖像數(shù)據(jù)進(jìn)行幀間預(yù)測(cè)，由此生成解碼對(duì)象塊的預(yù)測(cè)圖像數(shù)據(jù)。
[0246]在解碼對(duì)象塊將被實(shí)施幀內(nèi)預(yù)測(cè)解碼的情況下，開關(guān)310將由幀內(nèi)預(yù)測(cè)部307生成的幀內(nèi)預(yù)測(cè)圖像數(shù)據(jù)，作為解碼對(duì)象塊的預(yù)測(cè)圖像數(shù)據(jù)輸出給加法部304。另一方面，在解碼對(duì)象塊將被實(shí)施幀間預(yù)測(cè)解碼的情況下，開關(guān)310將由幀間預(yù)測(cè)部308生成的幀間預(yù)測(cè)圖像數(shù)據(jù)，作為解碼對(duì)象塊的預(yù)測(cè)圖像數(shù)據(jù)輸出給加法部304。
[0247]在本實(shí)施方式中，合并塊候選計(jì)算部311根據(jù)圖11的(a)?(f)所示的預(yù)測(cè)塊單位PU，導(dǎo)出合并塊候選。另外，在本實(shí)施方式中，由于是與實(shí)施方式I的圖像編碼裝置100對(duì)應(yīng)的裝置，因此以圖11的(g)和(h)所示的預(yù)測(cè)塊單位PU未被選擇的情況為例進(jìn)行說明。合并塊候選計(jì)算部311使用預(yù)測(cè)對(duì)象塊的鄰接塊的運(yùn)動(dòng)矢量等、以及在COlPiC存儲(chǔ)器312中存儲(chǔ)的co-located塊的運(yùn)動(dòng)矢量等(colPic信息)，利用后述的方法導(dǎo)出合并模式的合并塊候選。并且，合并塊候選計(jì)算部311對(duì)所導(dǎo)出的各合并塊候選分配合并塊索引的值。并且,合并塊候選計(jì)算部311將合并塊候選和合并塊索引發(fā)送給幀間預(yù)測(cè)控制部309。
[0248]如果被解碼后的合并標(biāo)志為“0”，幀間預(yù)測(cè)控制部309使用運(yùn)動(dòng)矢量檢測(cè)模式的信息，使幀間預(yù)測(cè)部308生成幀間預(yù)測(cè)圖像。另一方面，如果合并標(biāo)志為“ 1”，幀間預(yù)測(cè)控制部309根據(jù)被解碼后的合并塊索引，從多個(gè)合并塊候選中決定在進(jìn)行幀間預(yù)測(cè)時(shí)使用的運(yùn)動(dòng)矢量、參照?qǐng)D片索引和預(yù)測(cè)方向。并且，幀間預(yù)測(cè)控制部309使用所決定的運(yùn)動(dòng)矢量、參照?qǐng)D片索引和預(yù)測(cè)方向，使幀間預(yù)測(cè)部308生成幀間預(yù)測(cè)圖像。并且，幀間預(yù)測(cè)控制部309將包括解碼對(duì)象塊的運(yùn)動(dòng)矢量等的colPic信息傳輸給colPic存儲(chǔ)器312。
[0249]最后，加法部304將預(yù)測(cè)圖像數(shù)據(jù)和預(yù)測(cè)誤差數(shù)據(jù)相加，由此生成解碼圖像數(shù)據(jù)。
[0250][2 - 2圖像解碼裝置的圖像解碼方法的執(zhí)行]
[0251]接著，針對(duì)圖像解碼裝置300的處理動(dòng)作(圖像解碼方法的執(zhí)行)，根據(jù)圖22?圖24來進(jìn)行說明。
[0252]圖22是表示實(shí)施方式3的圖像解碼裝置300的處理動(dòng)作的流程圖。
[0253]這里，圖像解碼裝置300首先將解碼對(duì)象塊分割為多個(gè)子塊，將多個(gè)子塊中的一個(gè)決定為預(yù)測(cè)對(duì)象塊。
[0254]在步驟S301，可變長(zhǎng)度解碼部301對(duì)合并標(biāo)志進(jìn)行解碼。
[0255]在步驟S302，如果合并標(biāo)志為“ I ”(S302:是)，在步驟S303，合并塊候選計(jì)算部311利用后述的方法計(jì)算可合并候選數(shù)。并且，合并塊候選計(jì)算部311將計(jì)算出的可合并候選數(shù)設(shè)定為合并塊候選列表尺寸。
[0256]在步驟S304，可變長(zhǎng)度解碼部301使用合并塊候選列表尺寸，對(duì)比特流中的合并塊索引進(jìn)行可變長(zhǎng)度解碼。
[0257]在步驟S305，合并塊候選計(jì)算部311利用后述的方法從解碼對(duì)象塊的鄰接塊和co-located塊生成合并塊候選。
[0258]在步驟S306，幀間預(yù)測(cè)控制部309使用被解碼后的合并塊索引所示出的合并塊候選的運(yùn)動(dòng)矢量、參照?qǐng)D片索引和預(yù)測(cè)方向，使幀間預(yù)測(cè)部308生成幀間預(yù)測(cè)圖像。
[0259]在步驟S302，如果合并標(biāo)志為“O” (S302:否)，在步驟S307，幀間預(yù)測(cè)部308使用由可變長(zhǎng)度解碼部301進(jìn)行解碼后的運(yùn)動(dòng)矢量檢測(cè)模式的信息，生成幀間預(yù)測(cè)圖像。
[0260]另外，當(dāng)在步驟S303計(jì)算出的合并塊候選列表尺寸為“I”的情況下，也可以不對(duì)合并塊索引進(jìn)行解碼，而估計(jì)為“O”。
[0261]圖23是表示圖22的步驟S303的具體處理的流程圖。具體地講，圖23表示判定合并塊候選[N]是否是可合并候選，并計(jì)算可合并候選數(shù)的方法。下面，對(duì)圖23進(jìn)行說明。
[0262]在步驟S311，合并塊候選計(jì)算部311判定合并塊候選[N]是否是(I)已按照幀內(nèi)預(yù)測(cè)被解碼后的塊、或者(2)位于包括解碼對(duì)象塊的切片或者圖片的邊界外的塊、或者(3)尚未被解碼的塊。
[0263]如果步驟S311的判定結(jié)果為真(S311:是)，合并塊候選計(jì)算部311將與合并塊候選[N]對(duì)應(yīng)的塊設(shè)定為合并對(duì)象外塊。而且，在步驟S313，合并塊候選計(jì)算部311將合并塊候選[N]設(shè)定為不可合并候選。
[0264]另一方面，如果步驟S311的判定結(jié)果為假(S311:否)，在步驟S312，合并塊候選計(jì)算部311使用與圖17的流程圖所示的方法相同的方法，判定與合并塊候選[N]對(duì)應(yīng)的塊是否是合并對(duì)象外塊(第一判定處理)。
[0265]如果S312的判定結(jié)果為真(步驟S312:是)，在步驟S313中，合并塊候選計(jì)算部311將將合并塊候選[N]決定為不可合并候選。
[0266]這樣，在將解碼塊單位分割為分塊進(jìn)行解碼的情況下，如果鄰接塊位于同一解碼塊單位內(nèi)，則不將該鄰接塊追加在合并塊候選列表中，由此，能夠?qū)τ蓤D像編碼裝置100生成的比特流進(jìn)行正常的解碼。
[0267]另一方面，如果步驟S312的判定結(jié)果是假(步驟S312:否)，則在步驟S314中，合并塊候選計(jì)算部311將合并塊候選[N]決定為可合并候選。
[0268]在步驟S315中，合并塊候選計(jì)算部311判定合并塊候選[N]是可合并候選還是Co 一 located合并塊候選。
[0269]如果步驟S315的判定結(jié)果是真(步驟S315:是)，則在步驟S316中，合并塊候選計(jì)算部311對(duì)合并塊候選數(shù)加I并更新值。
[0270]另一方面，如果步驟S315的判定結(jié)果是假(步驟S315:否)，則不更新可合并候選數(shù)。
[0271 ] 這樣，在合并塊候選是co-located合并塊的情況下,無論co-located合并塊是可合并候選還是不能合并候選，合并塊候選計(jì)算部311都將可合并候選數(shù)加I。由此，即使是co-located合并塊的信息由于包損失等而丟失的情況下，在圖像編碼裝置和圖像解碼裝置中也不會(huì)產(chǎn)生可合并候選數(shù)的不一致。
[0272]該可合并候選數(shù)在圖22的步驟S303被設(shè)定為合并塊候選列表尺寸。另外，在圖22的步驟S304，合并塊候選列表尺寸被用于合并塊索引的可變長(zhǎng)度解碼中。由此，即使是丟失了包括co-located塊等的參照?qǐng)D片信息的情況下，圖像解碼裝置300也能夠正常對(duì)合并塊索引進(jìn)行解碼。
[0273]另外，在本實(shí)施方式中，在圖23中表示了按照步驟S311、步驟S312的順序進(jìn)行判定的例子，但不一定限定于此。例如，也可以按照步驟S312、步驟S311的順序進(jìn)行判定。并且，例如，也可以將步驟S311和步驟S312在一個(gè)步驟中執(zhí)行。而且，步驟S311不需要一定執(zhí)行。
[0274]并且，在本實(shí)施方式中，在步驟S312中，合并塊候選[N]包含在解碼對(duì)象塊中的情況下，合并塊候選計(jì)算部311將其決定為合并對(duì)象外塊，但不限定于此。也可以在合并塊候選[N]不包含在解碼對(duì)象塊中的情況下，將其決定為合并對(duì)象塊。該情況下，合并塊候選計(jì)算部311在圖23的步驟S312的判定結(jié)果是合并對(duì)象塊的情況下，轉(zhuǎn)移到步驟S314。并且，合并塊候選計(jì)算部311在步驟S312的判定結(jié)果不是合并對(duì)象塊的情況下，轉(zhuǎn)移到步驟S313。
[0275]另外，本實(shí)施方式的主要結(jié)構(gòu)是步驟S312。
[0276]圖24是表示圖22的步驟S305的具體處理的流程圖。具體地講，圖24表示計(jì)算合并塊候選的方法。下面，對(duì)圖24進(jìn)行說明。
[0277]在步驟S321，合并塊候選計(jì)算部311取得合并塊候選[N]的運(yùn)動(dòng)矢量、參照?qǐng)D片索引和預(yù)測(cè)方向，并追加在合并塊候選列表中(第一導(dǎo)出處理的一部分)。
[0278]在步驟S322，合并塊候選計(jì)算部311按照?qǐng)D14A?圖14D所示從合并塊候選列表中檢索不能合并候選和重復(fù)候選并將其刪除(第一導(dǎo)出處理的一部分)。
[0279]在步驟S323，合并塊候選計(jì)算部311利用與圖19相同的方法將新候選追加在合并塊候選列表中。
[0280]圖25表示將合并塊索引附加在比特流中時(shí)的句法的一例。在圖25中，merge_idx表示合并塊索引，merge_flag表示合并標(biāo)志。NumMergeCand表示合并塊候選列表尺寸,在本實(shí)施方式中被設(shè)定為通過圖23所示的處理流程而計(jì)算出的可合并候選數(shù)。
[0281][2-3效果、變形例等]
[0282]這樣，根據(jù)本實(shí)施方式的圖像解碼裝置300，在將解碼塊單位分割為分塊進(jìn)行解碼的情況下，通過對(duì)于位于同一解碼塊單位內(nèi)的鄰接塊，不將其追加為合并塊候選，由此，不需對(duì)冗長(zhǎng)的合并塊候選分配合并塊索引。這是因?yàn)槿绻褂萌康姆謮K都相同的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引，實(shí)質(zhì)上是與以解碼塊單位來生成預(yù)測(cè)圖像是相同的結(jié)果，降低了將解碼塊單位分割為預(yù)測(cè)塊單位PU的優(yōu)點(diǎn)。由此，圖像解碼裝置300能夠?qū)μ岣吡司幋a效率的比特流進(jìn)行適當(dāng)?shù)慕獯a。并且，通過將冗長(zhǎng)的合并塊候選更多地從合并塊候選列表刪除，而能夠追加更多的新候選。由此，圖像解碼裝置300能夠?qū)μ岣吡司幋a效率的比特流進(jìn)行適當(dāng)?shù)慕獯a。
[0283]并且，根據(jù)本實(shí)施方式的圖像解碼裝置300，能夠根據(jù)依賴于包含Co - located塊等的參照?qǐng)D片信息來計(jì)算在解碼或者編碼合并塊索引時(shí)使用的合并塊候選列表尺寸。由此，圖像解碼裝置300能夠?qū)μ岣吡隋e(cuò)誤容限的比特流進(jìn)行適當(dāng)?shù)慕獯a。
[0284]更具體地講,只要合并塊候選是co-located合并塊,無論co-located合并塊是否是可合并候選，本實(shí)施方式的圖像解碼裝置300都始終將可合并候選數(shù)加I。并且，圖像解碼裝置300使用這樣計(jì)算出的可合并候選數(shù)決定分配給合并塊索引的比特序列。因此，即使是丟失了包括co-located塊等的參照?qǐng)D片信息的情況下，圖像解碼裝置300也能夠正常對(duì)合并塊索引進(jìn)行解碼。
[0285]并且，在合并塊候選數(shù)未達(dá)到可合并候選數(shù)的情況下，本實(shí)施方式的圖像解碼裝置300通過將具有新的運(yùn)動(dòng)矢量、參照?qǐng)D片索引和預(yù)測(cè)方向的新候選追加為合并塊候選，能夠適當(dāng)?shù)貙?duì)提高了編碼效率的比特流進(jìn)行解碼。
[0286]另外，在本實(shí)施方式中，作為將解碼塊單位CU分割為預(yù)測(cè)塊單位PU (分塊)的例子，對(duì)分割為2NXN、2NXnU、2NXnD、NX2N、nLX2N、以及nRX2N的情況進(jìn)行了說明，但不一定限定于此。例如，也可以適用于圖11的(g)所示的預(yù)測(cè)塊單位NXN的情況。該情況下的圖像解碼裝置300，如果鄰接塊位于同一解碼塊單位內(nèi)，則通過不將該鄰接塊追加到合并塊候選列表中，能夠不需要對(duì)冗長(zhǎng)的合并塊候選分配合并塊索引，而對(duì)提高了編碼效率的比特流適當(dāng)?shù)亟獯a。
[0287]另外，在本實(shí)施方式中，如圖23的步驟S315所示，與是可合并候選還是不能合并候選無關(guān)，僅對(duì)于Co - located合并塊計(jì)算為將合并塊候選數(shù)始終加1，但不限定于此。對(duì)于其他塊，也可以與是可合并候選還是不能合并候選無關(guān)，將合并塊候選數(shù)始終加I。該情況下，圖像解碼裝置300例如也可以始終將可合并候選數(shù)固定為合并塊候選數(shù)的最大值Max。S卩，圖像解碼裝置300將全部的合并塊候選視作可合并候選，將合并塊候選列表尺寸固定為合并塊候選數(shù)的最大值N，對(duì)合并塊索引進(jìn)行解碼。
[0288]例如，在本實(shí)施方式中，也可以是，由于合并塊候選數(shù)的最大值Max是5 (鄰接塊A、鄰接塊B、Co — located合并塊、鄰接塊C、鄰接塊D)，圖像解碼裝直始終對(duì)合并塊候選列表尺寸設(shè)定5，并對(duì)合并塊索引進(jìn)行解碼。并且，在是不參照Co — located塊的圖片(參照I圖片的B圖片或P圖片)的情況下，也可以將合并塊候選數(shù)的最大值Max設(shè)定為4 (鄰接塊A、鄰接塊B、鄰接塊C、鄰接塊D)。由此，圖像解碼裝置的可變長(zhǎng)度解碼部能夠不參照鄰接塊或者Co — located塊的信息就對(duì)比特流中的合并塊索引進(jìn)行解碼。結(jié)果，例如，能夠省略圖23的步驟S314、以及步驟S315的處理等，并能夠削減可變長(zhǎng)度解碼部的處理量。
[0289]圖26表示將合并塊候選列表尺寸固定為合并塊候選數(shù)的最大值時(shí)的句法的一例。如圖26所示，在將合并塊候選列表尺寸固定為合并塊候選數(shù)的最大值時(shí)，將NumMergeCand從句法刪除。
[0290]并且，作為合并塊候選數(shù)的最大值Max，可以使用被埋入在SPS、PPS、或者切片頭等中的值。由此，能夠根據(jù)解碼對(duì)象圖片切換合并塊候選數(shù)的最大值Max，能夠?qū)ο鳒p了處理量并提高了編碼效率的比特流正確地解碼。
[0291](實(shí)施方式I以及實(shí)施方式2的變形例)
[0292]上述實(shí)施方式I以及實(shí)施方式2中說明了如下情況，即，根據(jù)圖15或圖24的處理，從與對(duì)象塊(編碼對(duì)象塊或解碼對(duì)象塊)在空間上鄰接的塊(例如鄰接塊A?E等)以及在時(shí)間上鄰接的塊(例如Co - located塊等)生成合并塊候選，并生成圖14A?圖14D所示的合并塊候選。
[0293]這里，在上述實(shí)施方式I以及實(shí)施方式2中，也可以在將合并塊候選列表尺寸設(shè)為固定值的情況下，當(dāng)合并塊候選列表有空閑時(shí)，為了提高錯(cuò)誤容限，在合并塊候選列表的空閑部分中放入規(guī)定的錯(cuò)誤容限提高用的合并塊候選(第二候選)。
[0294]具體而言，例如，也可以是，如果對(duì)象圖片(編碼對(duì)象圖片或解碼對(duì)象圖片)是B圖片，則根據(jù)雙向預(yù)測(cè)，分配預(yù)測(cè)方向O的參照?qǐng)D片索引是O、運(yùn)動(dòng)矢量是(0、0)的合并塊候選、和預(yù)測(cè)方向I的參照?qǐng)D片索引是O、運(yùn)動(dòng)矢量是(0、0)的合并塊候選。并且，例如，也可以是，如果對(duì)象圖片是P圖片，則根據(jù)單向預(yù)測(cè)，分配預(yù)測(cè)方向O的參照?qǐng)D片索引是O、運(yùn)動(dòng)矢量是(0、0)的合并塊候選。由于第二候選是用于提高錯(cuò)誤容限的候選，所以在追加多個(gè)第二候選時(shí)，也可以設(shè)定為全部是相同值。另外，由于新候選是用于提高編碼效率的候選，所以在追加多個(gè)新候選的情況下，追加不同的候選。其中，在第一候選以及第二候選之間，結(jié)果是新候選也可以是存在相同的候選。
[0295]例如，在圖14A的(a)的例子中，合并塊候選數(shù)的最大值是5。并且，如圖14A的(b)所示，合并塊候選數(shù)(第一候選的數(shù))是4。因此，在圖14A所示的例子中，成為對(duì)合并塊索引4未分配合并塊候選的狀態(tài)。也可以是對(duì)該合并塊索引4分配第二候選，例如，根據(jù)雙向預(yù)測(cè)，分配預(yù)測(cè)方向O的參照?qǐng)D片索引是O、運(yùn)動(dòng)矢量是(0、0)、和預(yù)測(cè)方向I的參照?qǐng)D片索引是O、運(yùn)動(dòng)矢量是(0、0)的合并塊候選。
[0296]由此，例如，在圖像解碼裝置300中，即使合并塊候選的重復(fù)候選的刪除中發(fā)生了錯(cuò)誤等，也能夠回避對(duì)解碼了的合并塊索引未分配合并塊候選的狀況。
[0297]另外，本變形例中，以對(duì)未被分配合并塊候選的合并塊索引分配參照?qǐng)D片是O、運(yùn)動(dòng)矢量是(0、0)的合并塊候選的情況為例進(jìn)行了說明，但不一定限定于此。作為第二候選，例如也可以復(fù)制分配給了其他合并塊索引的合并塊候選。并且，也可以例如對(duì)分配給了其他合并塊索引的合并塊候選求平均，而從分配給其他合并塊索引的合并塊候選中生成。
[0298]并且，也可以是在圖22的步驟S306中，判定是否對(duì)解碼了的合并塊索引分配了合并塊候選，在未分配合并塊候選的情況下，使用第二候選。
[0299]并且，也可以是在圖22的步驟S306中，判定解碼了的合并塊索引的值是否是步驟S305中求出的合并塊候選數(shù)以上，在合并塊索引的值是合并塊候選數(shù)以上時(shí)，使用第二候選。
[0300]并且，也可以是在圖22的步驟S306中，判定解碼了的合并塊索引的值是否是步驟S305中求出的合并塊候選數(shù)以上，在解碼了的合并塊索引的值是合并塊候選數(shù)以上的情況下，將合并塊索引的值用合并塊候選數(shù)的值進(jìn)行剪取處理，以便使合并塊索引的值成為比合并塊候選數(shù)小的值。通過這樣的處理，例如，即使是在合并塊候選的重復(fù)候選的刪除中發(fā)生了錯(cuò)誤的情況下，也能夠回避對(duì)解碼了合并塊索引未分配合并塊候選的狀況。
[0301](實(shí)施方式3)
[0302]通過將用來實(shí)現(xiàn)上述各實(shí)施方式所示的運(yùn)動(dòng)圖像編碼方法(圖像編碼方法)或運(yùn)動(dòng)圖像解碼方法(圖像解碼方法)的結(jié)構(gòu)的程序記錄到存儲(chǔ)介質(zhì)中，能夠?qū)⑸鲜龈鲗?shí)施方式所示的處理在獨(dú)立的計(jì)算機(jī)系統(tǒng)中簡(jiǎn)單地實(shí)施。存儲(chǔ)介質(zhì)是磁盤、光盤、光磁盤、IC卡、半導(dǎo)體存儲(chǔ)器等，只要是能夠記錄程序的介質(zhì)就可以。
[0303]進(jìn)而，這里說明在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法(圖像編碼方法)及運(yùn)動(dòng)圖像解碼方法(圖像解碼方法)的應(yīng)用例和使用它的系統(tǒng)。該系統(tǒng)的特征在于，具有由使用圖像編碼方法的圖像編碼裝置及使用圖像解碼方法的圖像解碼裝置構(gòu)成的圖像編解碼裝置。關(guān)于系統(tǒng)的其他結(jié)構(gòu)，可以根據(jù)情況而適當(dāng)變更。
[0304]圖27是表示實(shí)現(xiàn)內(nèi)容分發(fā)服務(wù)的內(nèi)容供給系統(tǒng)exlOO的整體結(jié)構(gòu)的圖。將通信服務(wù)的提供區(qū)劃分為希望的大小，在各小區(qū)內(nèi)分別設(shè)置有作為固定無線站的基站exl06、exl07、exl08、exl09、exllO。
[0305]該內(nèi)容供給系統(tǒng)exlOO在因特網(wǎng)exlOl上經(jīng)由因特網(wǎng)服務(wù)提供商exl02及電話網(wǎng)exl04、及基站 exl07 ?exllO 連接著計(jì)算機(jī) exlll、PDA (Personal Digital Assistant)exll2、照相機(jī)exll3、便攜電話exll4、游戲機(jī)exll5等的各設(shè)備。[0306]但是，內(nèi)容供給系統(tǒng)exlOO并不限定于圖27那樣的結(jié)構(gòu)，也可以將某些要素組合連接。此外，也可以不經(jīng)由作為固定無線站的基站exl07?exllO將各設(shè)備直接連接在電話網(wǎng)exl04上。此外，也可以將各設(shè)備經(jīng)由近距離無線等直接相互連接。
[0307]照相機(jī)ex113是能夠進(jìn)行數(shù)字?jǐn)z像機(jī)等的運(yùn)動(dòng)圖像攝影的設(shè)備，照相機(jī)exll6是能夠進(jìn)行數(shù)字照相機(jī)等的靜止圖像攝影、運(yùn)動(dòng)圖像攝影的設(shè)備。此外，便攜電話exll4是GSM (Global System for Mobile Communications)方式、CDMA (Code Division MultipleAccess)方式、W — CDMA (Wideband — Code Division Multiple Access)方式、或 LTE(Long Term Evolution)方式、HSPA (High Speed Packet Access)的便攜電話機(jī)、或 PHS(Personal Handyphone System)等，是哪種都可以。
[0308]在內(nèi)容供給系統(tǒng)exlOO中，通過將照相機(jī)exl 13等經(jīng)由基站exl09、電話網(wǎng)exl04連接在流媒體服務(wù)器exl03上，能夠進(jìn)行現(xiàn)場(chǎng)轉(zhuǎn)播等。在現(xiàn)場(chǎng)轉(zhuǎn)播中，對(duì)用戶使用照相機(jī)exll3攝影的內(nèi)容(例如音樂會(huì)現(xiàn)場(chǎng)的影像等)如在上述各實(shí)施方式中說明那樣進(jìn)行編碼處理(即，作為本發(fā)明的一個(gè)方式的圖像編碼裝置發(fā)揮作用)，向流媒體服務(wù)器exl03發(fā)送。另一方面，流媒體服務(wù)器exl03將發(fā)送來的內(nèi)容數(shù)據(jù)對(duì)有請(qǐng)求的客戶端進(jìn)行流分發(fā)。作為客戶端，有能夠?qū)⑸鲜鼍幋a處理后的數(shù)據(jù)解碼的計(jì)算機(jī)eXlll、PDAeX112、照相機(jī)exll3、便攜電話exll4、游戲機(jī)exll5等。在接收到分發(fā)的數(shù)據(jù)的各設(shè)備中，將接收到的數(shù)據(jù)解碼處理而再現(xiàn)(即，作為本發(fā)明的一個(gè)方式的圖像解碼裝置發(fā)揮作用)。
[0309]另外，攝影的數(shù)據(jù)的編碼處理既可以由照相機(jī)exll3進(jìn)行，也可以由進(jìn)行數(shù)據(jù)的發(fā)送處理的流媒體服務(wù)器exl03進(jìn)行，也可以相互分擔(dān)進(jìn)行。同樣，分發(fā)的數(shù)據(jù)的解碼處理既可以由客戶端進(jìn)行，也可以由流媒體服務(wù)器exl03進(jìn)行，也可以相互分擔(dān)進(jìn)行。此外，并不限于照相機(jī)exll3，也可以將由照相機(jī)exll6攝影的靜止圖像及/或運(yùn)動(dòng)圖像數(shù)據(jù)經(jīng)由計(jì)算機(jī)exlll向流媒體服務(wù)器exl03發(fā)送。此情況下的編碼處理由照相機(jī)exll6、計(jì)算機(jī)exlll、流媒體服務(wù)器exl03的哪個(gè)進(jìn)行都可以，也可以相互分擔(dān)進(jìn)行。
[0310]此外，這些編碼解碼處理一般在計(jì)算機(jī)exlll或各設(shè)備具有的LSIex500中處理。LSIex500既可以是單芯片，也可以是由多個(gè)芯片構(gòu)成的結(jié)構(gòu)。另外，也可以將運(yùn)動(dòng)圖像編碼解碼用的軟件裝入到能夠由計(jì)算機(jī)exlll等讀取的某些記錄介質(zhì)(⑶一 ROM、軟盤、硬盤等)中、使用該軟件進(jìn)行編碼解碼處理。進(jìn)而，在便攜電話exll4是帶有照相機(jī)的情況下，也可以將由該照相機(jī)取得的運(yùn)動(dòng)圖像數(shù)據(jù)發(fā)送。此時(shí)的運(yùn)動(dòng)圖像數(shù)據(jù)是由便攜電話exll4具有的LSIex500編碼處理的數(shù)據(jù)。
[0311]此外，也可以是，流媒體服務(wù)器exl03是多個(gè)服務(wù)器或多個(gè)計(jì)算機(jī)，是將數(shù)據(jù)分散處理、記錄、及分發(fā)的。
[0312]如以上這樣，在內(nèi)容供給系統(tǒng)exlOO中，客戶端能夠接收編碼的數(shù)據(jù)而再現(xiàn)。這樣，在內(nèi)容供給系統(tǒng)exlOO中，客戶端能夠?qū)⒂脩舭l(fā)送的信息實(shí)時(shí)地接收、解碼、再現(xiàn)，即使是沒有特別的權(quán)利或設(shè)備的用戶也能夠?qū)崿F(xiàn)個(gè)人廣播。
[0313]另外，并不限定于內(nèi)容供給系統(tǒng)exlOO的例子，如圖28所示，在數(shù)字廣播用系統(tǒng)ex200中也能夠裝入上述實(shí)施方式的至少運(yùn)動(dòng)圖像編碼裝置(圖像編碼裝置)或運(yùn)動(dòng)圖像解碼裝置(圖像解碼裝置)的某個(gè)。具體而言，在廣播站ex201中，將對(duì)影像數(shù)據(jù)復(fù)用了音樂數(shù)據(jù)等而得到的復(fù)用數(shù)據(jù)經(jīng)由電波向通信或廣播衛(wèi)星ex202傳送。該影像數(shù)據(jù)是通過上述各實(shí)施方式中說明的運(yùn)動(dòng)圖像編碼方法編碼后的數(shù)據(jù)(即，通過本發(fā)明的一個(gè)方式的圖像編碼裝置編碼后的數(shù)據(jù))。接受到該數(shù)據(jù)的廣播衛(wèi)星ex202發(fā)出廣播用的電波，能夠?qū)υ撾姴ㄟM(jìn)行衛(wèi)星廣播接收的家庭的天線ex204接收該電波，通過電視機(jī)(接收機(jī))ex300或機(jī)頂盒(STB) ex217等的裝置將接收到的復(fù)用數(shù)據(jù)解碼并將其再現(xiàn)(S卩，作為本發(fā)明的一個(gè)方式的圖像解碼裝置發(fā)揮作用)。
[0314]此外，也可以是，在將記錄在DVD、BD等的記錄介質(zhì)ex215中的復(fù)用數(shù)據(jù)讀取并解碼、或?qū)⒂跋駭?shù)據(jù)編碼再根據(jù)情況與音樂信號(hào)復(fù)用而寫入記錄介質(zhì)ex215中的讀取器/記錄器ex218中也能夠安裝上述各實(shí)施方式所示的運(yùn)動(dòng)圖像解碼裝置或運(yùn)動(dòng)圖像編碼裝置。在此情況下，可以將再現(xiàn)的影像信號(hào)顯示在監(jiān)視器ex219上，通過記錄有復(fù)用數(shù)據(jù)的記錄介質(zhì)ex215在其他裝置或系統(tǒng)中能夠再現(xiàn)影像信號(hào)。此外，也可以是，在連接在有線電視用的線纜ex203或衛(wèi)星/地面波廣播的天線ex204上的機(jī)頂盒ex217內(nèi)安裝運(yùn)動(dòng)圖像解碼裝置，將其用電視機(jī)的監(jiān)視器ex219顯示。此時(shí)，也可以不是在機(jī)頂盒、而在電視機(jī)內(nèi)裝入運(yùn)動(dòng)圖像解碼裝置。
[0315]圖29是表示使用在上述各實(shí)施方式中說明的運(yùn)動(dòng)圖像解碼方法及運(yùn)動(dòng)圖像編碼方法的電視機(jī)(接收機(jī))ex300的圖。電視機(jī)ex300具備經(jīng)由接收上述廣播的天線ex204或線纜ex203等取得或者輸出對(duì)影像數(shù)據(jù)復(fù)用了聲音數(shù)據(jù)的復(fù)用數(shù)據(jù)的調(diào)諧器ex301、將接收到的復(fù)用數(shù)據(jù)解調(diào)或調(diào)制為向外部發(fā)送的編碼數(shù)據(jù)的調(diào)制/解調(diào)部ex302、和將解調(diào)后的復(fù)用數(shù)據(jù)分離為影像數(shù)據(jù)、聲音數(shù)據(jù)或?qū)⒃谛盘?hào)處理部ex306中編碼的影像數(shù)據(jù)、聲音數(shù)據(jù)復(fù)用的復(fù)用/分離部ex303。
[0316]此外，電視機(jī)ex300具備:具有將聲音數(shù)據(jù)、影像數(shù)據(jù)分別解碼、或?qū)⒏髯缘男畔⒕幋a的聲音信號(hào)處理部ex304和影像信號(hào)處理部ex305(即，作為本發(fā)明的一個(gè)方式的圖像編碼裝置或圖像解碼裝置發(fā)揮作用)的信號(hào)處理部ex306 ;具有將解碼后的聲音信號(hào)輸出的揚(yáng)聲器ex307及顯示解碼后的影像信號(hào)的顯示器等的顯示部ex308的輸出部ex309。進(jìn)而，電視機(jī)eX300具備具有受理用戶操作的輸入的操作輸入部ex312等的接口部ex317。進(jìn)而，電視機(jī)ex300具有合并控制各部的控制部ex310、對(duì)各部供給電力的電源電路部ex311。接口部ex317也可以除了操作輸入部ex312以外，還具有與讀取器/記錄器ex218等的外部設(shè)備連接的橋接部ex313、用來能夠安裝SD卡等的記錄介質(zhì)ex216的插槽部ex314、用來與硬盤等的外部記錄介質(zhì)連接的驅(qū)動(dòng)器ex315、與電話網(wǎng)連接的調(diào)制解調(diào)器ex316等。另外，記錄介質(zhì)ex216是能夠通過收存的非易失性/易失性的半導(dǎo)體存儲(chǔ)元件電氣地進(jìn)行信息的記錄的結(jié)構(gòu)。電視機(jī)ex300的各部經(jīng)由同步總線相互連接。
[0317]首先，對(duì)電視機(jī)eX300將通過天線ex204等從外部取得的復(fù)用數(shù)據(jù)解碼、再現(xiàn)的結(jié)構(gòu)進(jìn)行說明。電視機(jī)ex300接受來自遙控器ex220等的用戶操作，基于具有CPU等的控制部ex310的控制，將由調(diào)制/解調(diào)部ex302解調(diào)的復(fù)用數(shù)據(jù)用復(fù)用/分離部ex303分離。進(jìn)而，電視機(jī)ex300將分離的聲音數(shù)據(jù)用聲音信號(hào)處理部ex304解碼，將分離的影像數(shù)據(jù)用影像信號(hào)處理部ex305使用在上述各實(shí)施方式中說明的解碼方法解碼。將解碼后的聲音信號(hào)、影像信號(hào)分別從輸出部ex309朝向外部輸出。在輸出時(shí)，可以暫時(shí)將這些信號(hào)儲(chǔ)存到緩沖器ex318、ex319等中，以使聲音信號(hào)和影像信號(hào)同步再現(xiàn)。此外，電視機(jī)ex300也可以不是從廣播等、而從磁/光盤、SD卡等的記錄介質(zhì)ex215、ex216讀出編碼的復(fù)用數(shù)據(jù)。接著，對(duì)電視機(jī)ex300將聲音信號(hào)或影像信號(hào)編碼、向外部發(fā)送或?qū)懭氲接涗浗橘|(zhì)等中的結(jié)構(gòu)進(jìn)行說明。電視機(jī)ex300接受來自遙控器ex220等的用戶操作，基于控制部ex310的控制，由聲音信號(hào)處理部ex304將聲音信號(hào)編碼，由影像信號(hào)處理部ex305將影像信號(hào)使用在上述各實(shí)施方式中說明的編碼方法編碼。將編碼后的聲音信號(hào)、影像信號(hào)用復(fù)用/分離部ex303復(fù)用，向外部輸出。在復(fù)用時(shí)，可以暫時(shí)將這些信號(hào)儲(chǔ)存到緩沖器ex320、ex321等中，以使聲音信號(hào)和影像信號(hào)同步再現(xiàn)。另外，緩沖器ex318、ex319、ex320、ex321既可以如圖示那樣具備多個(gè)，也可以是共用一個(gè)以上的緩沖器的結(jié)構(gòu)。進(jìn)而，在圖示以外，也可以是，在例如調(diào)制/解調(diào)部ex302或復(fù)用/分離部ex303之間等也作為避免系統(tǒng)的上溢、下溢的緩沖部而在緩沖器中儲(chǔ)存數(shù)據(jù)。
[0318]此外，電視機(jī)ex300除了從廣播等或記錄介質(zhì)等取得聲音數(shù)據(jù)、影像數(shù)據(jù)以外，也可以具備受理麥克風(fēng)或照相機(jī)的AV輸入的結(jié)構(gòu)，對(duì)從它們中取得的數(shù)據(jù)進(jìn)行編碼處理。另夕卜，這里，將電視機(jī)ex300作為能夠進(jìn)行上述編碼處理、復(fù)用、及外部輸出的結(jié)構(gòu)進(jìn)行了說明，但也可以是，不能進(jìn)行這些處理，而是僅能夠進(jìn)行上述接收、解碼處理、外部輸出的結(jié)構(gòu)。
[0319]此外，在由讀取器/記錄器ex218從記錄介質(zhì)將復(fù)用數(shù)據(jù)讀出、或?qū)懭氲那闆r下，上述解碼處理或編碼處理由電視機(jī)ex300、讀取器/記錄器ex218的哪個(gè)進(jìn)行都可以，也可以是電視機(jī)ex300和讀取器/記錄器ex218相互分擔(dān)進(jìn)行。
[0320]作為一例，將從光盤進(jìn)行數(shù)據(jù)的讀入或?qū)懭氲那闆r下的信息再現(xiàn)/記錄部ex400的結(jié)構(gòu)表示在圖30中。信息再現(xiàn)/記錄部ex400具備以下說明的單元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光頭ex401對(duì)作為光盤的記錄介質(zhì)ex215的記錄面照射激光斑而寫入信息，檢測(cè)來自記錄介質(zhì)ex215的記錄面的反射光而讀入信息。調(diào)制記錄部ex402電氣地驅(qū)動(dòng)內(nèi)置在光頭ex401中的半導(dǎo)體激光器，根據(jù)記錄數(shù)據(jù)進(jìn)行激光的調(diào)制。再現(xiàn)解調(diào)部ex403將由內(nèi)置在光頭ex401中的光檢測(cè)器電氣地檢測(cè)到來自記錄面的反射光而得到的再現(xiàn)信號(hào)放大，將記錄在記錄介質(zhì)ex215中的信號(hào)成分分離并解調(diào)，再現(xiàn)所需要的信息。緩沖器ex404將用來記錄到記錄介質(zhì)ex215中的信息及從記錄介質(zhì)ex215再現(xiàn)的信息暫時(shí)保持。盤馬達(dá)ex405使記錄介質(zhì)ex215旋轉(zhuǎn)。伺服控制部ex406 —邊控制盤馬達(dá)ex405的旋轉(zhuǎn)驅(qū)動(dòng)一邊使光頭ex401移動(dòng)到規(guī)定的信息軌道，進(jìn)行激光斑的追蹤處理。系統(tǒng)控制部ex407進(jìn)行信息再現(xiàn)/記錄部ex400整體的控制。上述的讀出及寫入的處理由系統(tǒng)控制部ex407利用保持在緩沖器ex404中的各種信息、此外根據(jù)需要而進(jìn)行新的信息的生成、追力口、并且一邊使調(diào)制記錄部ex402、再現(xiàn)解調(diào)部ex403、伺服控制部ex406協(xié)調(diào)動(dòng)作、一邊通過光頭ex401進(jìn)行信息的記錄再現(xiàn)來實(shí)現(xiàn)。系統(tǒng)控制部ex407例如由微處理器構(gòu)成，通過執(zhí)行讀出寫入的程序來執(zhí)行它們的處理。
[0321]以上，假設(shè)光頭ex401照射激光斑而進(jìn)行了說明，但也可以是使用近場(chǎng)光進(jìn)行高密度的記錄的結(jié)構(gòu)。
[0322]在圖31中表示作為光盤的記錄介質(zhì)ex215的示意圖。在記錄介質(zhì)ex215的記錄面上，以螺旋狀形成有導(dǎo)引槽(溝)，在信息軌道ex230中，預(yù)先通過溝的形狀的變化而記錄有表示盤上的絕對(duì)位置的地址信息。該地址信息包括用來確定作為記錄數(shù)據(jù)的單位的記錄塊ex231的位置的信息，通過在進(jìn)行記錄及再現(xiàn)的裝置中將信息軌道ex230再現(xiàn)而讀取地址信息，能夠確定記錄塊。此外，記錄介質(zhì)ex215包括數(shù)據(jù)記錄區(qū)域ex233、內(nèi)周區(qū)域ex232、外周區(qū)域ex234。為了記錄用戶數(shù)據(jù)而使用的區(qū)域是數(shù)據(jù)記錄區(qū)域ex233，配置在比數(shù)據(jù)記錄區(qū)域ex233靠?jī)?nèi)周或外周的內(nèi)周區(qū)域ex232和外周區(qū)域ex234用于用戶數(shù)據(jù)的記錄以外的特定用途。信息再現(xiàn)/記錄部ex400對(duì)這樣的記錄介質(zhì)ex215的數(shù)據(jù)記錄區(qū)域ex233進(jìn)行編碼的聲音數(shù)據(jù)、影像數(shù)據(jù)或復(fù)用了這些數(shù)據(jù)的編碼數(shù)據(jù)的讀寫。
[0323]以上，舉I層的DVD、BD等的光盤為例進(jìn)行了說明，但并不限定于這些，也可以是多層構(gòu)造、在表面以外也能夠記錄的光盤。此外，也可以是在盤的相同的地方使用不同波長(zhǎng)的顏色的光記錄信息、或從各種角度記錄不同的信息的層等、進(jìn)行多維的記錄/再現(xiàn)的構(gòu)造的光盤。
[0324]此外，在數(shù)字廣播用系統(tǒng)ex200中，也可以由具有天線ex205的車ex210從衛(wèi)星ex202等接收數(shù)據(jù)、在車ex210具有的車載導(dǎo)航儀ex211等的顯示裝置上再現(xiàn)運(yùn)動(dòng)圖像。另夕卜，車載導(dǎo)航儀ex211的結(jié)構(gòu)可以考慮例如在圖29所示的結(jié)構(gòu)中添加GPS接收部的結(jié)構(gòu)，在計(jì)算機(jī)exlll及便攜電話exll4等中也可以考慮同樣的結(jié)構(gòu)。
[0325]圖32A是表示使用在上述實(shí)施方式中說明的運(yùn)動(dòng)圖像解碼方法和運(yùn)動(dòng)圖像編碼方法的便攜電話exll4的圖。便攜電話exll4具有由用來在與基站exllO之間收發(fā)電波的天線ex350、能夠拍攝影像、靜止圖像的照相機(jī)部ex365、顯示將由照相機(jī)部ex365攝影的影像、由天線ex350接收到的影像等解碼后的數(shù)據(jù)的液晶顯示器等的顯示部ex358。便攜電話exll4還具有包含操作鍵部ex366的主體部、用來進(jìn)行聲音輸出的揚(yáng)聲器等的聲音輸出部ex357、用來進(jìn)行聲音輸入的麥克風(fēng)等的聲音輸入部ex356、保存拍攝到的影像、靜止圖像、錄音的聲音、或者接收到的影像、靜止圖像、郵件等的編碼后的數(shù)據(jù)或者解碼后的數(shù)據(jù)的存儲(chǔ)器部ex367、或者作為與同樣保存數(shù)據(jù)的記錄介質(zhì)之間的接口部的插槽部ex364。
[0326]進(jìn)而，使用圖32B對(duì)便攜電話exl 14的結(jié)構(gòu)例進(jìn)行說明。便攜電話exl 14對(duì)于合并控制具備顯示部ex358及操作鍵部ex366的主體部的各部的主控制部ex360，將電源電路部ex361、操作輸入控制部ex362、影像信號(hào)處理部ex355、照相機(jī)接口部ex363、LCD (LiquidCrystal Display:液晶顯示器)控制部ex359、調(diào)制/解調(diào)部ex352、復(fù)用/分離部ex353、聲音信號(hào)處理部ex354、插槽部ex364、存儲(chǔ)器部ex367經(jīng)由總線ex370相互連接。
[0327]電源電路部ex361如果通過用戶的操作使通話結(jié)束及電源鍵成為開啟狀態(tài)，則通過從電池組對(duì)各部供給電力，便攜電話exll4起動(dòng)為能夠動(dòng)作的狀態(tài)。
[0328]便攜電話exl 14基于具有CPU、ROM及RAM等的主控制部ex360的控制，在語(yǔ)音通話模式時(shí)，將由聲音輸入部ex356集音的聲音信號(hào)通過聲音信號(hào)處理部ex354變換為數(shù)字聲音信號(hào)，將其用調(diào)制/解調(diào)部ex352進(jìn)行波譜擴(kuò)散處理，由發(fā)送/接收部ex351實(shí)施數(shù)字模擬變換處理及頻率變換處理后經(jīng)由天線ex350發(fā)送。此外，便攜電話exll4在語(yǔ)音通話模式時(shí)，將由天線ex350接收到的接收數(shù)據(jù)放大并實(shí)施頻率變換處理及模擬數(shù)字變換處理，用調(diào)制/解調(diào)部ex352進(jìn)行波譜逆擴(kuò)散處理，通過聲音信號(hào)處理部ex354變換為模擬聲音數(shù)據(jù)后，將其經(jīng)由聲音輸出部ex357輸出。
[0329]進(jìn)而，在數(shù)據(jù)通信模式時(shí)發(fā)送電子郵件的情況下，將通過主體部的操作鍵部ex366等的操作輸入的電子郵件的文本數(shù)據(jù)經(jīng)由操作輸入控制部ex362向主控制部ex360送出。主控制部ex360將文本數(shù)據(jù)用調(diào)制/解調(diào)部ex352進(jìn)行波譜擴(kuò)散處理，由發(fā)送/接收部ex351實(shí)施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex350向基站exllO發(fā)送。在接收電子郵件的情況下，對(duì)接收到的數(shù)據(jù)執(zhí)行上述處理的大致逆處理，并輸出到顯示部ex350o
[0330]在數(shù)據(jù)通信模式時(shí)，在發(fā)送影像、靜止圖像、或者影像和聲音的情況下，影像信號(hào)處理部ex355將從照相機(jī)部ex365供給的影像信號(hào)通過上述各實(shí)施方式所示的運(yùn)動(dòng)圖像編碼方法進(jìn)行壓縮編碼(即，作為本發(fā)明的一個(gè)方式的圖像編碼裝置發(fā)揮作用)，將編碼后的影像數(shù)據(jù)送出至復(fù)用/分離部ex353。另外，聲音信號(hào)處理部ex354對(duì)通過照相機(jī)部ex365拍攝影像、靜止圖像等的過程中用聲音輸入部ex356集音的聲音信號(hào)進(jìn)行編碼，將編碼后的聲音數(shù)據(jù)送出至復(fù)用/分離部ex353。
[0331]復(fù)用/分離部ex353通過規(guī)定的方式，對(duì)從影像信號(hào)處理部ex355供給的編碼后的影像數(shù)據(jù)和從聲音信號(hào)處理部ex354供給的編碼后的聲音數(shù)據(jù)進(jìn)行復(fù)用，將其結(jié)果得到的復(fù)用數(shù)據(jù)用調(diào)制/解調(diào)部(調(diào)制/解調(diào)電路部)ex352進(jìn)行波譜擴(kuò)散處理，由發(fā)送/接收部ex351實(shí)施數(shù)字模擬變換處理及頻率變換處理后，經(jīng)由天線ex350發(fā)送。
[0332]在數(shù)據(jù)通信模式時(shí)接收到鏈接到主頁(yè)等的運(yùn)動(dòng)圖像文件的數(shù)據(jù)的情況下，或者接收到附加了影像或者聲音的電子郵件的情況下，為了對(duì)經(jīng)由天線ex350接收到的復(fù)用數(shù)據(jù)進(jìn)行解碼，復(fù)用/分離部ex353通過將復(fù)用數(shù)據(jù)分離，分為影像數(shù)據(jù)的比特流和聲音數(shù)據(jù)的比特流，經(jīng)由同步總線ex370將編碼后的影像數(shù)據(jù)向影像信號(hào)處理部ex355供給，并將編碼后的聲音數(shù)據(jù)向聲音信號(hào)處理部ex354供給。影像信號(hào)處理部ex355通過與上述各實(shí)施方式所示的運(yùn)動(dòng)圖像編碼方法相對(duì)應(yīng)的運(yùn)動(dòng)圖像解碼方法進(jìn)行解碼，由此對(duì)影像信號(hào)進(jìn)行解碼(即，作為本發(fā)明的一個(gè)方式的圖像解碼裝置發(fā)揮作用)，經(jīng)由IXD控制部ex359從顯示部ex358顯示例如鏈接到主頁(yè)的運(yùn)動(dòng)圖像文件中包含的影像、靜止圖像。另外，聲音信號(hào)處理部ex354對(duì)聲音信號(hào)進(jìn)行解碼,從聲音輸出部ex357輸出聲音。
[0333]此外，上述便攜電話exll4等的終端與電視機(jī)ex300同樣，除了具有編碼器、解碼器兩者的收發(fā)型終端以外，還可以考慮只有編碼器的發(fā)送終端、只有解碼器的接收終端的3種安裝形式。另外，在數(shù)字廣播用系統(tǒng)ex200中，設(shè)為發(fā)送、接收在影像數(shù)據(jù)中復(fù)用了音樂數(shù)據(jù)等得到的復(fù)用數(shù)據(jù)而進(jìn)行了說明，但除聲音數(shù)據(jù)之外復(fù)用了與影像關(guān)聯(lián)的字符數(shù)據(jù)等的數(shù)據(jù)也可以，不是復(fù)用數(shù)據(jù)而是影像數(shù)據(jù)本身也可以。
[0334]這樣，將在上述各實(shí)施方式中表示的運(yùn)動(dòng)圖像編碼方法或運(yùn)動(dòng)圖像解碼方法用在上述哪種設(shè)備、系統(tǒng)中都可以，通過這樣，能夠得到在上述各實(shí)施方式中說明的效果。
[0335]此外，本發(fā)明并不限定于這樣的上述實(shí)施方式，能夠不脫離本發(fā)明的范圍而進(jìn)行各種變形或修正。
[0336](實(shí)施方式4)
[0337]也可以通過將在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置、與依據(jù)MPEG - 2、MPEG4 — AVC、VC — I等不同的標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像編碼方法或裝置根據(jù)需要而適當(dāng)切換,來生成影像數(shù)據(jù)。
[0338]這里，在生成分別依據(jù)不同的標(biāo)準(zhǔn)的多個(gè)影像數(shù)據(jù)的情況下，在解碼時(shí)，需要選擇對(duì)應(yīng)于各個(gè)標(biāo)準(zhǔn)的解碼方法。但是，由于不能識(shí)別要解碼的影像數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn)，所以產(chǎn)生不能選擇適當(dāng)?shù)慕獯a方法的問題。
[0339]為了解決該問題，在影像數(shù)據(jù)中復(fù)用了聲音數(shù)據(jù)等的復(fù)用數(shù)據(jù)采用包含表示影像數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn)的識(shí)別信息的結(jié)構(gòu)。以下，說明包括通過在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)在內(nèi)的復(fù)用數(shù)據(jù)的具體的結(jié)構(gòu)。復(fù)用數(shù)據(jù)是MPEG - 2傳輸流形式的數(shù)字流。
[0340]圖33是表示復(fù)用數(shù)據(jù)的結(jié)構(gòu)的圖。如圖33所示，復(fù)用數(shù)據(jù)通過將視頻流、音頻流、演示圖形流(PG)、交互圖形流中的I個(gè)以上進(jìn)行復(fù)用而得到。視頻流表示電影的主影像及副影像，音頻流(IG)表示電影的主聲音部分和與該主聲音混合的副聲音，演示圖形流表示電影的字幕。這里，所謂主影像，表示顯示在畫面上的通常的影像，所謂副影像，是在主影像中用較小的畫面顯示的影像。此外，交互圖形流表示通過在畫面上配置GUI部件而制作的對(duì)話畫面。視頻流通過在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置、依據(jù)以往的MPEG - 2、MPEG4 — AVC,VC 一 1等標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像編碼方法或裝置編碼。音頻流由杜比AC - 3, Dolby Digital Plus、MLP、DTS、DTS — HD、或線性 PCM 等的方式編碼。
[0341 ] 包含在復(fù)用數(shù)據(jù)中的各流通過PID被識(shí)別。例如，對(duì)在電影的影像中使用的視頻流分配0x1011，對(duì)音頻流分配0x1100到OxlllF，對(duì)演示圖形分配0x1200到0xl21F，對(duì)交互圖形流分配0x1400到0xl41F，對(duì)在電影的副影像中使用的視頻流分配OxlBOO到OxlBlF，對(duì)與主聲音混合的副聲音中使用的音頻流分配OxIAOO到OxlAlF。
[0342]圖34是示意地表示復(fù)用數(shù)據(jù)怎樣被復(fù)用的圖。首先，將由多個(gè)視頻幀構(gòu)成的視頻流ex235、由多個(gè)音頻幀構(gòu)成的音頻流ex238分別變換為PES包序列ex236及ex239，并變換為TS包ex237及ex240。同樣，將演示圖形流ex241及交互圖形ex244的數(shù)據(jù)分別變換為PES包序列ex242及ex245，再變換為TS包ex243及ex246。復(fù)用數(shù)據(jù)ex247通過將這些TS包復(fù)用到I條流中而構(gòu)成。
[0343]圖35更詳細(xì)地表示在PES包序列中怎樣保存視頻流。圖35的第I段表示視頻流的視頻幀序列。第2段表示PES包序列。如圖35的箭頭yyl、yy2、yy3、yy4所示,視頻流中的多個(gè)作為Video Presentation Unit的I圖片、B圖片、P圖片按每個(gè)圖片被分割并保存到PES包的有效載荷中。各PES包具有PES頭，在PES頭中，保存有作為圖片的顯示時(shí)刻的PTS (Presentation Time-Stamp)及作為圖片的解碼時(shí)刻的 DTS (Decoding Time-Stamp)?
[0344]圖36表示最終寫入在復(fù)用數(shù)據(jù)中的TS包的形式。TS包是由具有識(shí)別流的PID等信息的4字節(jié)的TS頭和保存數(shù)據(jù)的184字節(jié)的TS有效載荷構(gòu)成的188字節(jié)固定長(zhǎng)度的包，上述PES包被分割并保存到TS有效載荷中。在BD — ROM的情況下，對(duì)于TS包賦予4字節(jié)的TP_Extra_Header,構(gòu)成192字節(jié)的源包,寫入到復(fù)用數(shù)據(jù)中。在TP_Extra_Header中記載有ATS (Arrival_Time_Stamp)等信息。ATS表示該TS包向解碼器的PID濾波器的轉(zhuǎn)送開始時(shí)刻。在復(fù)用數(shù)據(jù)中，源包如圖36下段所示排列，從復(fù)用數(shù)據(jù)的開頭起遞增的號(hào)碼被稱作SPN (源包號(hào))。
[0345]此外，在復(fù)用數(shù)據(jù)所包含的TS包中，除了影像、聲音、字幕等的各流以外，還有PAT (Program Association Table)、PMT (Program Map Table)、PCR (Program ClockReference)等。PAT表示在復(fù)用數(shù)據(jù)中使用的PMT的PID是什么，PAT自身的PID被登記為
O。PMT具有復(fù)用數(shù)據(jù)所包含的影像、聲音、字幕等的各流的PID、以及與各PID對(duì)應(yīng)的流的屬性信息，還具有關(guān)于復(fù)用數(shù)據(jù)的各種描述符。在描述符中，有指示許可/不許可復(fù)用數(shù)據(jù)的拷貝的拷貝控制信息等。PCR為了取得作為ATS的時(shí)間軸的ATC (Arrival Time Clock)與作為PTS及DTS的時(shí)間軸的STC (System Time Clock)的同步，擁有與該P(yáng)CR包被轉(zhuǎn)送至解碼器的ATS對(duì)應(yīng)的STC時(shí)間的信息。
[0346]圖37是詳細(xì)地說明PMT的數(shù)據(jù)構(gòu)造的圖。在PMT的開頭，配置有記述了包含在該P(yáng)MT中的數(shù)據(jù)的長(zhǎng)度等的PMT頭。在其后面，配置有多個(gè)關(guān)于復(fù)用數(shù)據(jù)的描述符。上述拷貝控制信息等被記載為描述符。在描述符之后，配置有多個(gè)關(guān)于包含在復(fù)用數(shù)據(jù)中的各流的流信息。流信息由記載有用來識(shí)別流的壓縮編解碼器的流類型、流的PID、流的屬性信息(幀速率、縱橫比等)的流描述符構(gòu)成。流描述符存在復(fù)用數(shù)據(jù)中存在的流的數(shù)量。
[0347]在記錄到記錄介質(zhì)等中的情況下，將上述復(fù)用數(shù)據(jù)與復(fù)用數(shù)據(jù)信息文件一起記錄。
[0348]復(fù)用數(shù)據(jù)信息文件如圖38所示，是復(fù)用數(shù)據(jù)的管理信息，與復(fù)用數(shù)據(jù)一對(duì)一地對(duì)應(yīng)，由復(fù)用數(shù)據(jù)信息、流屬性信息以及入口映射構(gòu)成。
[0349]復(fù)用數(shù)據(jù)信息如圖38所示，由系統(tǒng)速率、再現(xiàn)開始時(shí)刻、再現(xiàn)結(jié)束時(shí)刻構(gòu)成。系統(tǒng)速率表示復(fù)用數(shù)據(jù)的向后述的系統(tǒng)目標(biāo)解碼器的PID濾波器的最大轉(zhuǎn)送速率。包含在復(fù)用數(shù)據(jù)中的ATS的間隔設(shè)定為成為系統(tǒng)速率以下。再現(xiàn)開始時(shí)刻是復(fù)用數(shù)據(jù)的開頭的視頻幀的PTS，再現(xiàn)結(jié)束時(shí)刻設(shè)定為對(duì)復(fù)用數(shù)據(jù)的末端的視頻幀的PTS加上I幀量的再現(xiàn)間隔的值。
[0350]流屬性信息如圖39所示，按每個(gè)PID登記有關(guān)于包含在復(fù)用數(shù)據(jù)中的各流的屬性信息。屬性信息具有按視頻流、音頻流、演示圖形流、交互圖形流而不同的信息。視頻流屬性信息具有該視頻流由怎樣的壓縮編解碼器壓縮、構(gòu)成視頻流的各個(gè)圖片數(shù)據(jù)的分辨率是多少、縱橫比是多少、幀速率是多少等的信息。音頻流屬性信息具有該音頻流由怎樣的壓縮編解碼器壓縮、包含在該音頻流中的聲道數(shù)是多少、對(duì)應(yīng)于哪種語(yǔ)言、采樣頻率是多少等的信息。這些信息用于在播放器再現(xiàn)之前的解碼器的初始化等中。
[0351]在本實(shí)施方式中，使用上述復(fù)用數(shù)據(jù)中的、包含在PMT中的流類型。此外，在記錄介質(zhì)中記錄有復(fù)用數(shù)據(jù)的情況下，使用包含在復(fù)用數(shù)據(jù)信息中的視頻流屬性信息。具體而言，在上述各實(shí)施方式示出的運(yùn)動(dòng)圖像編碼方法或裝置中，設(shè)置如下步驟或單元，該步驟或單元對(duì)包含在PMT中的流類型、或視頻流屬性信息，設(shè)定表示是通過在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)的固有信息。通過該結(jié)構(gòu)，能夠識(shí)別通過在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)、和依據(jù)其他標(biāo)準(zhǔn)的影像數(shù)據(jù)。
[0352]此外，在圖40中表示本實(shí)施方式的運(yùn)動(dòng)圖像解碼方法的步驟。在步驟exSlOO中，從復(fù)用數(shù)據(jù)中取得包含在PMT中的流類型、或包含在復(fù)用數(shù)據(jù)信息中的視頻流屬性信息。接著，在步驟exSlOl中，判斷流類型、或視頻流屬性信息是否表示是通過在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的復(fù)用數(shù)據(jù)。并且，在判斷為流類型、或視頻流屬性信息是通過在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的復(fù)用數(shù)據(jù)情況下，在步驟exS102中，通過在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像解碼方法進(jìn)行解碼。此外，在流類型、或視頻流屬性信息表示是依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的標(biāo)準(zhǔn)的復(fù)用數(shù)據(jù)的情況下，在步驟exS103中，通過依據(jù)以往的標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像解碼方法進(jìn)行解碼。
[0353]這樣，通過在流類型、或視頻流屬性信息中設(shè)定新的固有值，在解碼時(shí)能夠判斷是否能夠通過在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像解碼方法或裝置解碼。因而，在被輸入了依據(jù)不同的標(biāo)準(zhǔn)的復(fù)用數(shù)據(jù)的情況下，也能夠選擇適當(dāng)?shù)慕獯a方法或裝置，所以能夠不發(fā)生錯(cuò)誤地進(jìn)行解碼。此外，將在本實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置、或者運(yùn)動(dòng)圖像解碼方法或裝置用在上述任何設(shè)備、系統(tǒng)中。
[0354](實(shí)施方式5)[0355]在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法及裝置、運(yùn)動(dòng)圖像解碼方法及裝置典型地可以由作為集成電路的LSI實(shí)現(xiàn)。作為一例，在圖41中表示I芯片化的LSIex500的結(jié)構(gòu)。LSIex500 具備以下說明的單元 ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各單元經(jīng)由總線ex510連接。電源電路部ex505通過在電源是開啟狀態(tài)的情況下對(duì)各部供給電力，起動(dòng)為能夠動(dòng)作的狀態(tài)。
[0356]例如在進(jìn)行編碼處理的情況下，LSIex500基于具有CPUex502、存儲(chǔ)器控制器ex503、流控制器ex504、驅(qū)動(dòng)頻率控制部ex512等的控制部ex501的控制，通過AV I/0ex509從麥克風(fēng)exl 17及照相機(jī)exl 13等輸入AV信號(hào)。被輸入的AV信號(hào)暫時(shí)儲(chǔ)存在SDRAM等的外部的存儲(chǔ)器ex511中。基于控制部ex501的控制，將儲(chǔ)存的數(shù)據(jù)根據(jù)處理量及處理速度適當(dāng)?shù)胤譃槎啻蔚龋蛐盘?hào)處理部ex507發(fā)送，在信號(hào)處理部ex507中進(jìn)行聲音信號(hào)的編碼及/或影像信號(hào)的編碼。這里，影像信號(hào)的編碼處理是在上述各實(shí)施方式中說明的編碼處理。在信號(hào)處理部ex507中，還根據(jù)情況而進(jìn)行將編碼的聲音數(shù)據(jù)和編碼的影像數(shù)據(jù)復(fù)用等的處理，從流I/0ex506向外部輸出。將該輸出的比特流向基站exl07發(fā)送、或?qū)懭氲接涗浗橘|(zhì)ex215中。另外，在復(fù)用時(shí)，可以暫時(shí)將數(shù)據(jù)儲(chǔ)存到緩沖器ex508中以使其同步。
[0357]另外，在上述中，設(shè)存儲(chǔ)器ex511為L(zhǎng)SIex500的外部的結(jié)構(gòu)進(jìn)行了說明，但也可以是包含在LSIex500的內(nèi)部中的結(jié)構(gòu)。緩沖器ex508也并不限定于一個(gè)，也可以具備多個(gè)緩沖器。此外，LSIex500既可以形成I個(gè)芯片，也可以形成多個(gè)芯片。
[0358]此外，在上述中，假設(shè)控制部ex510具有CPUex502、存儲(chǔ)器控制器ex503、流控制器ex504、驅(qū)動(dòng)頻率控制部ex512等,但控制部ex510的結(jié)構(gòu)并不限定于該結(jié)構(gòu)。例如,也可以是信號(hào)處理部ex507還具備CPU的結(jié)構(gòu)。通過在信號(hào)處理部ex507的內(nèi)部中也設(shè)置CPU，能夠進(jìn)一步提高處理速度。此外，作為其他例，也可以是CPUex502具備信號(hào)處理部ex507、或作為信號(hào)處理部ex507的一部分的例如聲音信號(hào)處理部的結(jié)構(gòu)。在這樣的情況下，控制部ex501為具備具有信號(hào)處理部ex507或其一部分的CPUex502的結(jié)構(gòu)。
[0359]另外，這里設(shè)為L(zhǎng)SI，但根據(jù)集成度的差異，也有稱作1C、系統(tǒng)LS1、超級(jí)(super)LS1、特級(jí)(ultra)LSI的情況。
[0360]此外，集成電路化的方法并不限定于LSI，也可以由專用電路或通用處理器實(shí)現(xiàn)。也可以利用在LSI制造后能夠編程的FPGA (Field Programmable Gate Array)、或能夠重構(gòu)LSI內(nèi)部的電路單元的連接及設(shè)定的可重構(gòu)處理器。
[0361]進(jìn)而，如果因半導(dǎo)體技術(shù)的進(jìn)步或派生的其他技術(shù)而出現(xiàn)代替LSI的集成電路化的技術(shù)，則當(dāng)然也可以使用該技術(shù)進(jìn)行功能模塊的集成化。有可能是生物技術(shù)的應(yīng)用等。
[0362](實(shí)施方式6)
[0363]在將通過在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的情況下，考慮到與將依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況相比處理量會(huì)增加。因此，在LSIex500中，需要設(shè)定為比將依據(jù)以往的標(biāo)準(zhǔn)的影像數(shù)據(jù)解碼時(shí)的CPUex502的驅(qū)動(dòng)頻率更高的驅(qū)動(dòng)頻率。但是，如果將驅(qū)動(dòng)頻率設(shè)得高，則發(fā)生消耗電力變高的問題。
[0364]為了解決該問題，電視機(jī)ex300、LSIex500等的運(yùn)動(dòng)圖像解碼裝置采用識(shí)別影像數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn)、并根據(jù)標(biāo)準(zhǔn)切換驅(qū)動(dòng)頻率的結(jié)構(gòu)。圖42表示本實(shí)施方式的結(jié)構(gòu)ex800。驅(qū)動(dòng)頻率切換部ex803在影像數(shù)據(jù)是通過在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的情況下，將驅(qū)動(dòng)頻率設(shè)定得高。并且，對(duì)執(zhí)行在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像解碼方法的解碼處理部ex801指示將影像數(shù)據(jù)解碼。另一方面，在影像數(shù)據(jù)是依據(jù)以往的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，與影像數(shù)據(jù)是通過在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的數(shù)據(jù)的情況相比，將驅(qū)動(dòng)頻率設(shè)定得低。并且，對(duì)依據(jù)以往的標(biāo)準(zhǔn)的解碼處理部ex802指示將影像數(shù)據(jù)解碼。
[0365]更具體地講，驅(qū)動(dòng)頻率切換部ex803由圖41的CPUex502和驅(qū)動(dòng)頻率控制部ex512構(gòu)成。此外，執(zhí)行在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像解碼方法的解碼處理部ex801、以及依據(jù)以往的標(biāo)準(zhǔn)的解碼處理部ex802對(duì)應(yīng)于圖41的信號(hào)處理部ex507。CPUex502識(shí)別影像數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn)。并且，基于來自CPUex502的信號(hào)，驅(qū)動(dòng)頻率控制部ex512設(shè)定驅(qū)動(dòng)頻率。此外，基于來自CPUex502的信號(hào)，信號(hào)處理部ex507進(jìn)行影像數(shù)據(jù)的解碼。這里，可以考慮在影像數(shù)據(jù)的識(shí)別中使用例如在實(shí)施方式4中記載的識(shí)別信息。關(guān)于識(shí)別信息，并不限定于在實(shí)施方式4中記載的信息，只要是能夠識(shí)別影像數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn)的信息就可以。例如，在基于識(shí)別影像數(shù)據(jù)利用于電視機(jī)還是利用于盤等的外部信號(hào)，來能夠識(shí)別影像數(shù)據(jù)依據(jù)哪個(gè)標(biāo)準(zhǔn)的情況下，也可以基于這樣的外部信號(hào)進(jìn)行識(shí)別。此外，CPUex502的驅(qū)動(dòng)頻率的選擇例如可以考慮如圖44所示的將影像數(shù)據(jù)的標(biāo)準(zhǔn)與驅(qū)動(dòng)頻率建立對(duì)應(yīng)的查找表進(jìn)行。將查找表預(yù)先保存到緩沖器ex508、或LSI的內(nèi)部存儲(chǔ)器中，CPUex502通過參照該查找表，能夠選擇驅(qū)動(dòng)頻率。
[0366]圖43表示實(shí)施本實(shí)施方式的方法的步驟。首先，在步驟exS200中，在信號(hào)處理部ex507中，從復(fù)用數(shù)據(jù)中取得識(shí)別信息。接著，在步驟exS201中，在CPUex502中，基于識(shí)別信息識(shí)別影像數(shù)據(jù)是否是通過在上述各實(shí)施方式中示出的編碼方法或裝置生成的數(shù)據(jù)。在影像數(shù)據(jù)是通過在上述各實(shí)施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況下，在步驟exS202中，CPUex502向驅(qū)動(dòng)頻率控制部ex512發(fā)送將驅(qū)動(dòng)頻率設(shè)定得高的信號(hào)。并且，在驅(qū)動(dòng)頻率控制部ex512中設(shè)定為高的驅(qū)動(dòng)頻率。另一方面，在表示是依據(jù)以往的MPEG — 2、MPEG4 - AVC,VC 一 I等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，在步驟exS203中，CPUex502向驅(qū)動(dòng)頻率控制部ex512發(fā)送將驅(qū)動(dòng)頻率設(shè)定得低的信號(hào)。并且，在驅(qū)動(dòng)頻率控制部ex512中，設(shè)定為與影像數(shù)據(jù)是通過在上述各實(shí)施方式中示出的編碼方法或裝置生成的數(shù)據(jù)的情況相比更低的驅(qū)動(dòng)頻率。
[0367]進(jìn)而，通過與驅(qū)動(dòng)頻率的切換連動(dòng)而變更對(duì)LSIex500或包括LSIex500的裝置施加的電壓，由此能夠進(jìn)一步提高節(jié)電效果。例如，在將驅(qū)動(dòng)頻率設(shè)定得低的情況下，隨之，可以考慮與將驅(qū)動(dòng)頻率設(shè)定得高的情況相比，將對(duì)LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得低。
[0368]此外，驅(qū)動(dòng)頻率的設(shè)定方法只要是在解碼時(shí)的處理量大的情況下將驅(qū)動(dòng)頻率設(shè)定得高、在解碼時(shí)的處理量小的情況下將驅(qū)動(dòng)頻率設(shè)定得低就可以，并不限定于上述的設(shè)定方法。例如，可以考慮在將依據(jù)MPEG4 - AVC標(biāo)準(zhǔn)的影像數(shù)據(jù)解碼的處理量大于將通過在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)解碼的處理量的情況下，與上述的情況相反地進(jìn)行驅(qū)動(dòng)頻率的設(shè)定。
[0369]進(jìn)而，驅(qū)動(dòng)頻率的設(shè)定方法并不限定于使驅(qū)動(dòng)頻率低的結(jié)構(gòu)。例如，也可以考慮在識(shí)別信息是通過在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，將對(duì)LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得高，在表示是依據(jù)以往的MPEG - 2、MPEG4 一 AVC, VC 一 I等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，將對(duì)LSIex500或包括LSIex500的裝置施加的電壓設(shè)定得低。此外，作為另一例，也可以考慮在識(shí)別信息表示是通過在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，不使CPUex502的驅(qū)動(dòng)停止，在表示是依據(jù)以往的MPEG — 2、MPEG4 — AVC,VC 一 I等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況下，由于在處理中有富余，所以使CPUex502的驅(qū)動(dòng)暫停。也可以考慮在識(shí)別信息表示是通過在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像編碼方法或裝置生成的影像數(shù)據(jù)的情況下，也只要在處理中有富余則使CPUex502的驅(qū)動(dòng)暫停。在此情況下，可以考慮與表示是依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的標(biāo)準(zhǔn)的影像數(shù)據(jù)的情況相比，將停止時(shí)間設(shè)定得短。
[0370]這樣，根據(jù)影像數(shù)據(jù)所依據(jù)的標(biāo)準(zhǔn)來切換驅(qū)動(dòng)頻率，由此能夠?qū)崿F(xiàn)節(jié)電化。此外，在使用電池來驅(qū)動(dòng)LSIex500或包括LSIex500的裝置的情況下，能夠隨著節(jié)電而延長(zhǎng)電池的壽命。
[0371](實(shí)施方式7)
[0372]在電視機(jī)、便攜電話等上述的設(shè)備、系統(tǒng)中，有時(shí)被輸入依據(jù)不同的標(biāo)準(zhǔn)的多個(gè)影像數(shù)據(jù)。這樣，為了使得在被輸入了依據(jù)不同的標(biāo)準(zhǔn)的多個(gè)影像數(shù)據(jù)的情況下也能夠解碼，LSIex500的信號(hào)處理部ex507需要對(duì)應(yīng)于多個(gè)標(biāo)準(zhǔn)。但是，如果單獨(dú)使用對(duì)應(yīng)于各個(gè)標(biāo)準(zhǔn)的信號(hào)處理部ex507，則發(fā)生LSIex500的電路規(guī)模變大、此外成本增加的問題。
[0373]為了解決該問題，采用將用來執(zhí)行在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像解碼方法的解碼處理部、和依據(jù)以往的MPEG - 2、MPEG4 — AVC, VC 一 I等的標(biāo)準(zhǔn)的解碼處理部一部分共用的結(jié)構(gòu)。圖45A的ex900表示該結(jié)構(gòu)例。例如,在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像解碼方法和依據(jù)MPEG4 - AVC標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像解碼方法在熵編碼、逆量化、解塊濾波器、運(yùn)動(dòng)補(bǔ)償?shù)鹊奶幚碇杏幸徊糠痔幚韮?nèi)容共通。可以考慮如下結(jié)構(gòu):關(guān)于共通的處理內(nèi)容，共用對(duì)應(yīng)于MPEG4 - AVC標(biāo)準(zhǔn)的解碼處理部ex902，關(guān)于不對(duì)應(yīng)于MPEG4 — AVC標(biāo)準(zhǔn)的本發(fā)明的一個(gè)方式所特有的其他的處理內(nèi)容，使用專用的解碼處理部ex901。關(guān)于解碼處理部的共用，也可以是如下結(jié)構(gòu):關(guān)于共通的處理內(nèi)容，共用用來執(zhí)行在上述各實(shí)施方式中示出的運(yùn)動(dòng)圖像解碼方法的解碼處理部，關(guān)于MPEG4 - AVC標(biāo)準(zhǔn)所特有的處理內(nèi)容，使用專用的解碼處理部。
[0374]此外,用圖45B的exlOOO表示將處理一部分共用的另一例。在該例中，采用使用與本發(fā)明的一個(gè)方式所特有的處理內(nèi)容對(duì)應(yīng)的專用的解碼處理部exlOOl、和與其他的以往標(biāo)準(zhǔn)所特有的處理內(nèi)容對(duì)應(yīng)的專用的解碼處理部exl002、和與在本發(fā)明的一個(gè)方式的運(yùn)動(dòng)圖像解碼方法和其他的以往標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像解碼方法中共通的處理內(nèi)容對(duì)應(yīng)的共用的解碼處理部exl003的結(jié)構(gòu)。這里,專用的解碼處理部exl001、exl002并不一定是為本發(fā)明的一個(gè)方式、或者其他的以往標(biāo)準(zhǔn)所特有的處理內(nèi)容而特殊化的，可以是能夠執(zhí)行其他的通用處理的結(jié)構(gòu)。此外，也能夠由LSIeX500安裝本實(shí)施方式的結(jié)構(gòu)。
[0375]這樣，對(duì)于在本發(fā)明的一個(gè)方式的運(yùn)動(dòng)圖像解碼方法和以往的標(biāo)準(zhǔn)的運(yùn)動(dòng)圖像解碼方法中共通的處理內(nèi)容，共用解碼處理部，由此能夠減小LSI的電路規(guī)模并且降低成本。
[0376]產(chǎn)業(yè)上的可利用性
[0377]本發(fā)明的一個(gè)方式涉及的圖像編碼方法及圖像解碼方法適合應(yīng)用于運(yùn)動(dòng)圖像的編碼方法及解碼方法。[0378]標(biāo)號(hào)說明
[0379]100、1000圖像編碼裝置；101、1001減法部；102、1002正交變換部；103、1003量化部;104、1004、302、2002 逆量化部;105、1005、303、2003 逆正交變換部；106,1006,304,2004加法部;107、1007、305、2005 塊存儲(chǔ)器;108、1008、306、2006 幀存儲(chǔ)器；109,1009,307,2007幀內(nèi)預(yù)測(cè)部;110、1010、308、2008幀間預(yù)測(cè)部;111、1011、309、2009幀間預(yù)測(cè)控制部；112、1012圖片類型決定部；113、1013、310、2010開關(guān);114、1014、311、2011合并塊候選計(jì)算部；115、1015、312、2012colPic存儲(chǔ)器;116、1016可變長(zhǎng)度編碼部;300、2000圖像解碼裝置；301、2001可變長(zhǎng)度解碼部。
【權(quán)利要求】
1.一種圖像編碼方法，通過按照每個(gè)塊對(duì)圖像進(jìn)行編碼來生成比特流，該圖像編碼方法包括: 將編碼對(duì)象塊分割為多個(gè)子塊的步驟； 按照每個(gè)子塊，取得在所述編碼對(duì)象塊的編碼中參照的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合的候選即合并候選的步驟； 從在取得所述合并候選的步驟中取得的所述合并候選，選擇用于所述編碼對(duì)象塊的編碼的合并候選的步驟；以及 將用于確定在選擇所述合并候選的步驟中選擇的所述合并候選的索引附加在所述比特流上的步驟， 在取得所述合并候選的步驟中，執(zhí)行: 第一判定處理，按照與所述子塊鄰接的每個(gè)鄰接塊，判定該鄰接塊是否包含在所述編碼對(duì)象塊中，將未包含在所述編碼對(duì)象塊中的所述鄰接塊決定為合并對(duì)象塊；以及 第一導(dǎo)出處理，在決定了 I個(gè)以上的合并對(duì)象塊的情況下，按照所述I個(gè)以上的合并對(duì)象塊中的每個(gè)合并對(duì)象塊，使用該合并對(duì)象塊的預(yù)測(cè)圖像的生成中使用的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合來導(dǎo)出第一候選，作為所述合并候選的一部分。
2.如權(quán)利要求1所述的圖像編碼方法， 在所述第一判定處理中， 還判定所述鄰接塊是否是根據(jù)幀內(nèi)預(yù)測(cè)編碼后的塊，是否是位于包含所述編碼對(duì)象塊的切片或者圖片的邊界外的塊，以及是否是還未被編碼的塊， 將(1)判定為是不包含在所述編碼對(duì)象塊中、并且(2)判定為不是根據(jù)幀內(nèi)預(yù)測(cè)編碼后的塊、并且(3)判定為不是位于包含所述編碼對(duì)象塊的切片或者圖片的邊界外的塊、并且(4)判定為不是還未被編碼的塊的所述鄰接塊，決定為所述合并對(duì)象塊。
3.如權(quán)利要求1或2所述的圖像編碼方法， 還包含決定能夠取得的合并候選的最大數(shù)的步驟， 取得所述合并候選的步驟還進(jìn)行: 第二判定處理，判定所述第一候選的數(shù)量是否比所述最大數(shù)小；以及第二導(dǎo)出處理，在判定為所述第一候選的數(shù)量比所述最大數(shù)小的情況下導(dǎo)出新候選，該新候選具有針對(duì)在所述對(duì)象子塊的編碼中能夠參照的圖片的圖片索引。
4.如權(quán)利要求1~3中任一項(xiàng)所述的圖像編碼方法， 還包含使用在選擇所述合并候選的步驟中選擇的所述合并候選，生成所述對(duì)象子塊的預(yù)測(cè)圖像的步驟。
5.一種圖像解碼方法，按照每個(gè)塊對(duì)編碼比特流中包含的圖像數(shù)據(jù)進(jìn)行解碼，包含: 將解碼對(duì)象塊分割為多個(gè)子塊的步驟； 按照每個(gè)子塊，取得在所述解碼對(duì)象塊的解碼中參照的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合的候選即合并候選的步驟； 從所述編碼比特流取得用于確定在所述解碼對(duì)象塊的解碼中參照的合并候選的索引的步驟；以及 使用所取得的所述索引確定所述合并候選，使用所確定的所述合并候選對(duì)所述解碼對(duì)象塊進(jìn)行解碼的步驟，在取得所述合并候選的步驟中，執(zhí)行: 第一判定處理，按照與所述子塊鄰接的每個(gè)鄰接塊，判定該鄰接塊是否包含在所述解碼對(duì)象塊中，將未包含在所述解碼對(duì)象塊中的所述鄰接塊決定為合并對(duì)象塊；以及 第一導(dǎo)出處理，在決定了 I個(gè)以上的合并對(duì)象塊的情況下，按照所述I個(gè)以上的合并對(duì)象塊中的每個(gè)合并對(duì)象塊，使用該合并對(duì)象塊的預(yù)測(cè)圖像的生成中使用的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合來導(dǎo)出第一候選，作為所述合并候選的一部分。
6.如權(quán)利要求5所述的圖像解碼方法， 在所述第一判定處理中， 還判定所述鄰接塊是否是根據(jù)幀內(nèi)預(yù)測(cè)解碼后的塊、是否是位于包含所述解碼對(duì)象塊的切片或者圖片的邊界外的塊、以及是否是還未被解碼的塊， 將(I)判定為是不包含在所述解碼對(duì)象塊中、并且(2)判定為不是根據(jù)幀內(nèi)預(yù)測(cè)解碼后的塊、并且(3)判定為不是位于包含所述解碼對(duì)象塊的切片或者圖片的邊界外的塊、并且(4)判定為不是還未被解碼的塊的所述鄰接塊，決定為所述合并對(duì)象塊。
7.如權(quán)利要求5或6所述的圖像解碼方法， 還包含決定能夠取得的合并候選的最大數(shù)的步驟， 取得所述合并候選 的步驟還進(jìn)行: 第二判定處理，判定所述第一候選的數(shù)量是否比所述最大數(shù)??；以及第二導(dǎo)出處理，在判定為所述第一候選的數(shù)量比所述最大數(shù)小的情況下導(dǎo)出新候選，該新候選具有針對(duì)在所述對(duì)象子塊的解碼中能夠參照的圖片的圖片索引。
8.如權(quán)利要求5~7中任一項(xiàng)所述的圖像解碼方法， 還包含使用在選擇所述合并候選的步驟中選擇的所述合并候選，生成所述對(duì)象子塊的預(yù)測(cè)圖像的步驟。
9.一種圖像編碼裝置，通過按照每個(gè)塊對(duì)圖像進(jìn)行編碼來生成比特流，該圖像編碼裝置包括: 第一分割部，將編碼對(duì)象塊分割為多個(gè)子塊； 第一取得部，按照所述多個(gè)子塊中的每個(gè)子塊，取得在所述編碼對(duì)象塊的編碼中參照的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合的候選即合并候選； 第一選擇部，從在取得所述合并候選的步驟中取得的所述合并候選，選擇用于所述編碼對(duì)象塊的編碼的合并候選；以及 編碼部，將用于確定在所述第一選擇部中選擇的所述合并候選的索引附加在所述編碼比特流上， 所述第一取得部執(zhí)行: 第一判定處理，按照與所述子塊鄰接的每個(gè)鄰接塊，判定該鄰接塊是否包含在所述編碼對(duì)象塊中，將未包含在所述編碼對(duì)象塊中的所述鄰接塊決定為合并對(duì)象塊；以及 第一導(dǎo)出處理，在決定了 I個(gè)以上的合并對(duì)象塊的情況下，按照所述I個(gè)以上的合并對(duì)象塊中的每個(gè)合并對(duì)象塊，使用該合并對(duì)象塊的預(yù)測(cè)圖像的生成中使用的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合來導(dǎo)出第一候選，作為所述合并候選的一部分。
10.一種圖像解碼裝置，按照每個(gè)塊對(duì)編碼比特流中包含的圖像數(shù)據(jù)進(jìn)行解碼，該圖像解碼裝置包括:第二分割部，將解碼對(duì)象塊分割為多個(gè)子塊； 第二取得部，按照所述多個(gè)子塊中的每個(gè)子塊，取得在所述解碼對(duì)象塊的解碼中參照的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合的候選即合并候選的步驟； 索引取得部，從所述編碼比特流取得用于確定在所述解碼對(duì)象塊的解碼中參照的合并候選的索引； 以及 解碼部，使用所取得的所述索引確定所述合并候選，使用所確定的所述合并候選對(duì)所述解碼對(duì)象塊進(jìn)行解碼， 所述第二取得部執(zhí)行: 第一判定處理，按照與所述子塊鄰接的每個(gè)鄰接塊，判定該鄰接塊是否包含在所述解碼對(duì)象塊中，將未包含在所述解碼對(duì)象塊中的所述鄰接塊決定為合并對(duì)象塊；以及 第一導(dǎo)出處理，在決定了 I個(gè)以上的合并對(duì)象塊的情況下，按照所述I個(gè)以上的合并對(duì)象塊中的每個(gè)合并對(duì)象塊，使用該合并對(duì)象塊的預(yù)測(cè)圖像的生成中使用的預(yù)測(cè)方向、運(yùn)動(dòng)矢量以及參照?qǐng)D片索引的集合來導(dǎo)出第一候選，作為所述合并候選的一部分。
11.一種圖像編解碼裝置，具有: 權(quán)利要求9所述的圖像編碼裝置、以及 權(quán)利要求10所述的圖像解碼裝置。
【文檔編號(hào)】H04N19/52GK103828373SQ201280046937
【公開日】2014年5月28日 申請(qǐng)日期:2012年9月21日 優(yōu)先權(quán)日:2011年10月5日
【發(fā)明者】杉尾敏康, 西孝啟, 柴原陽(yáng)司, 谷川京子, 笹井壽郎, 松延徹, 寺田健吾 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社