圖像處理裝置以及方法
【專利摘要】本發(fā)明涉及一種圖像處理裝置及方法，該圖像處理裝置及方法能夠改進(jìn)多視圖編碼中的編碼效率。預(yù)測(cè)矢量生成單元使用位于目標(biāo)處理區(qū)域附近的周圍區(qū)域的運(yùn)動(dòng)視差矢量來生成預(yù)測(cè)矢量。當(dāng)要確定視差矢量的預(yù)測(cè)矢量但此時(shí)不可以參考任何周圍區(qū)域時(shí)，預(yù)測(cè)矢量生成單元使用由視差檢測(cè)單元所提供的最小視差值或最大視差值作為預(yù)測(cè)矢量。本發(fā)明可以適用于例如圖像處理裝置。
【專利說明】圖像處理裝置以及方法
【技術(shù)領(lǐng)域】
[0001]本公開涉及一種圖像處理裝置以及方法，并且更具體地，涉及一種可以提高多視圖編碼中的編碼效率的圖像處理裝置以及方法。
【背景技術(shù)】
[0002]近年來，為了將圖像信息處理為數(shù)字信息并且在該過程中實(shí)現(xiàn)高效率的信息傳送和累積，通過使用圖像信息固有的冗余、實(shí)施用于通過諸如離散余弦變換的正交變換和運(yùn)動(dòng)補(bǔ)償對(duì)圖像信息進(jìn)行壓縮的編碼方法來對(duì)圖像進(jìn)行壓縮的設(shè)備得到了普及。例如，該編碼方法可以是MPEG (運(yùn)動(dòng)圖像專家組)。
[0003]具體地，MPEG2 (IS0/IEC13818-2)被定義為通用圖像編碼標(biāo)準(zhǔn)，并且MPEG2適用于隔行掃描圖像和非隔行掃描圖像，以及適用于標(biāo)準(zhǔn)分辨率圖像和高清晰度圖像。例如，當(dāng)前MPEG2被用在用于專業(yè)人員和普通消費(fèi)者的廣泛的應(yīng)用中。通過使用MPEG2壓縮方法，例如4Mbps至8Mbps的比特率被分配給具有720X480像素的標(biāo)準(zhǔn)分辨率隔行掃描圖像。并且，通過使用MPEG2壓縮方法，例如18Mbps至22Mbps的比特率被分配給具有1920 X 1088像素的高分辨率隔行掃描圖像。以這種方式，可以實(shí)現(xiàn)高壓縮率和良好的圖像質(zhì)量。
[0004]MPEG2主要是針對(duì)適合于廣播的高質(zhì)量圖像編碼而設(shè)計(jì)的，但是不與比MPEGl更低的比特率或涉及較高壓縮率的編碼方法兼容。隨著移動(dòng)終端變得普及，預(yù)期將來對(duì)于這樣的編碼方法的需求增加，并且為了滿足該需求，對(duì)MPEG4編碼方法進(jìn)行了標(biāo)準(zhǔn)化。關(guān)于圖像編碼方法，1998年12月，IS0/IEC14496-2標(biāo)準(zhǔn)被批準(zhǔn)為國際標(biāo)準(zhǔn)。
[0005]在標(biāo)準(zhǔn)化的日程上，2003年3月將該標(biāo)準(zhǔn)以H.264和MPEG-4第10部分(先進(jìn)視頻編碼，在下文中被稱為H.264/AVC)的名稱批準(zhǔn)為國際標(biāo)準(zhǔn)。
[0006]作為H.264/AVC的擴(kuò)展，在2005年2月對(duì)FRExt (保真度范圍擴(kuò)展)進(jìn)行了標(biāo)準(zhǔn)化。FRExt包括用于商業(yè)使用的編碼工具(諸如，RGB、4:2:2、以及4:4:4)以及在MPEG2中所指定的8X8DCT (離散余弦變換)和量化矩陣。作為結(jié)果，通過使用H.264/AVC實(shí)現(xiàn)了用于能夠良好的表現(xiàn)包含有影片噪聲的電影的編碼方法，并且該編碼方法現(xiàn)在被用于諸如藍(lán)光盤(商標(biāo)名稱)的廣泛的應(yīng)用中。
[0007]然而，為了對(duì)具有大約4000X2000像素的分辨率(其為高清晰度圖像分辨率的四倍)的圖像進(jìn)行壓縮、或?yàn)榱嗽趥魉腿萘渴芟薜漠?dāng)前環(huán)境(如互聯(lián)網(wǎng))中分發(fā)高清晰度圖像，存在對(duì)于以較高壓縮率進(jìn)行編碼的增長(zhǎng)的需求。因此，ITU-T的VCEG (視頻編碼專家組)仍在繼續(xù)對(duì)于改進(jìn)編碼效率的研究。
[0008]當(dāng)前，為了實(shí)現(xiàn)比H.264/AVC的編碼效率更高的編碼效率，作為ITU-T和IS0/IEC的聯(lián)合標(biāo)準(zhǔn)化組織的JCTVC (聯(lián)合合作組-視頻編碼)正在將被稱為HEVC (高效率視頻編碼)的編碼方法發(fā)展為標(biāo)準(zhǔn)。關(guān)于HEVC，非專利文獻(xiàn)I已經(jīng)提出了草案。
[0009]在針對(duì)HEVC的草案中，描述了生成預(yù)測(cè)矢量的處理。預(yù)測(cè)矢量是根據(jù)位于當(dāng)前塊附近的周圍塊的運(yùn)動(dòng)矢量而預(yù)測(cè)的，并且當(dāng)不可以參考那些參考?jí)K時(shí)，使用O作為預(yù)測(cè)矢量。[0010]引用列表
[0011]非專利文獻(xiàn)
[0012]非專利文獻(xiàn)1:Thomas ffiegand, Woo-jin Han, Benjamin Bross, Jens-RainerOhm,以及Gary J.SulIivian, “WD3:Working Draft3of High-Efficiency Video Coding，，，JCTVC-E603,2011 年 3 月。

【發(fā)明內(nèi)容】

[0013]發(fā)明要解決的問題
[0014]在針對(duì)HEVC的草案中，沒有對(duì)視差矢量的描述。然而，在對(duì)于視差矢量使用與以上相同的方法的情況下，效率不高。具體地，在不可以參考周圍塊并且使用O作為預(yù)測(cè)矢量的情況下，將視差矢量按照原樣傳送到解碼側(cè)。因此，編碼效率可能降低。
[0015]鑒于這些情況提出了本公開，并且本公開將提高多視圖編碼中的編碼效率。
[0016]問題的解決方案
[0017]本公開的一個(gè)方面的圖像處理裝置包括:解碼單元，被配置成通過對(duì)比特流進(jìn)行解碼來生成圖像；預(yù)測(cè)矢量確定單元，被配置成當(dāng)要預(yù)測(cè)由所述解碼單元所生成的所述圖像中的要被解碼的區(qū)域的視差矢量并且不可以參考位于所述區(qū)域附近的任何周圍區(qū)域時(shí)，將在根據(jù)所述比特流獲得的所述圖像和在同一時(shí)刻與所述圖像具有不同視差的視圖圖像之間的圖像間視差的范圍的上限值或下限值確定為預(yù)測(cè)矢量；以及預(yù)測(cè)圖像生成單元，被配置成使用由所述預(yù)測(cè)矢量確定單元確定的所述預(yù)測(cè)矢量來生成由所述解碼單元所生成的所述圖像的預(yù)測(cè)圖像。
[0018]所述圖像間視差的范圍的上限值或下限值是所述圖像間視差的最大值或最小值。
[0019]所述解碼可以接收指示所述圖像間視差的范圍的上限值和下限值中的哪個(gè)要被用作所述預(yù)測(cè)矢量的標(biāo)志，以及所述預(yù)測(cè)矢量確定單元可以將由所述解碼所接收到的標(biāo)志所指示的值確定為所述預(yù)測(cè)矢量。
[0020]所述預(yù)測(cè)矢量生成單元可以將所述圖像間視差的范圍的上限值、下限值以及平均值之一確定為所述預(yù)測(cè)矢量。
[0021]所述預(yù)測(cè)矢量生成單元可以將所述圖像間視差的范圍的上限值和下限值以及所述圖像間視差的范圍內(nèi)的預(yù)定值之一確定為所述預(yù)測(cè)矢量。
[0022]當(dāng)由所述圖像的參考圖像索引所指示的圖像與所述視圖圖像不同時(shí)，所述預(yù)測(cè)矢量生成單元可以將通過對(duì)所述圖像間視差的范圍的上限值或下限值執(zhí)行縮放所獲得的值確定為所述預(yù)測(cè)矢量。
[0023]本公開的一個(gè)方面的圖像處理方法包括:通過對(duì)比特流進(jìn)行解碼來生成圖像；當(dāng)要預(yù)測(cè)所生成的圖像中的要被解碼的區(qū)域的視差矢量并且不可以參考位于所述區(qū)域附近的任何周圍區(qū)域時(shí)，將在根據(jù)所述比特流獲得的所述圖像和在同一時(shí)刻與所述圖像具有不同視差的視圖圖像之間的圖像間視差的范圍的上限值或下限值確定為預(yù)測(cè)矢量；以及使用所確定的預(yù)測(cè)矢量來生成所生成的圖像的預(yù)測(cè)圖像，圖像處理裝置生成所述圖像、確定所述預(yù)測(cè)矢量以及生成所述預(yù)測(cè)圖像。
[0024]本公開的另一方面的圖像處理裝置包括:預(yù)測(cè)矢量確定單元，被配置成當(dāng)要預(yù)測(cè)圖像中的要被編碼的區(qū)域的視差矢量并且不可以參考位于所述區(qū)域附近的任何周圍區(qū)域時(shí)，將在所述圖像和在同一時(shí)刻與所述圖像具有不同視差的視圖圖像之間的圖像間視差的 范圍的上限值或下限值確定為預(yù)測(cè)矢量；以及編碼單元，被配置成對(duì)所述區(qū)域的視差矢量 與由所述預(yù)測(cè)矢量確定單元所確定的所述預(yù)測(cè)矢量之間的差別進(jìn)行編碼。
[0025]所述圖像間視差的范圍的上限值或下限值是所述圖像間視差的最大值或最小值。
[0026]該圖像處理裝置還可以包括傳送單元，該傳送單元傳送指示所述圖像間視差的范 圍的上限值和下限值中的哪個(gè)已經(jīng)被所述預(yù)測(cè)矢量確定單元確定為預(yù)測(cè)矢量的標(biāo)志，并且 傳送通過對(duì)所述圖像進(jìn)行編碼所生成的編碼流。
[0027]所述預(yù)測(cè)矢量生成單元可以將所述圖像間視差的范圍的上限值、下限值以及平均 值之一確定為所述預(yù)測(cè)矢量。
[0028]所述預(yù)測(cè)矢量生成單元可以將所述圖像間視差的范圍的上限值和下限值以及所 述圖像間視差的范圍內(nèi)的預(yù)定值之一確定為所述預(yù)測(cè)矢量。
[0029]當(dāng)由所述圖像的參考圖像索引所指示的圖像與所述視圖圖像不同時(shí)，所述預(yù)測(cè)矢 量生成單元可以將通過對(duì)所述圖像間視差的范圍的上限值或下限值執(zhí)行縮放所獲得的值 確定為所述預(yù)測(cè)矢量。
[0030]本公開的另一方面的圖像處理方法包括:當(dāng)要預(yù)測(cè)圖像中的要被編碼的區(qū)域的視 差矢量并且不可以參考位于所述區(qū)域附近的任何周圍區(qū)域時(shí)，將在所述圖像和在同一時(shí)刻 與所述圖像具有不同視差的視圖圖像之間的圖像間視差的范圍的上限值或下限值確定為 預(yù)測(cè)矢量；以及對(duì)所述區(qū)域的視差矢量與所確定的預(yù)測(cè)矢量之間的差別進(jìn)行編碼，圖像處 理裝置確定所述預(yù)測(cè)矢量并且對(duì)所述差別進(jìn)行編碼。
[0031]在本公開的一個(gè)方面中，通過對(duì)比特流進(jìn)行解碼生成圖像。當(dāng)要預(yù)測(cè)在由解碼單 元所生成的圖像中要被解碼的區(qū)域的視差矢量并且不可以參考位于區(qū)域附近的任何周圍 區(qū)域時(shí)，將預(yù)測(cè)矢量確定為在從比特流所獲得的圖像和在同一時(shí)刻與該圖像具有不同視差 的視圖圖像之間的圖像間視差的范圍的上限值或下限值。然后，通過使用所確定的預(yù)測(cè)矢 量生成所生成的圖像的預(yù)測(cè)圖像。
[0032]在本公開的另一方面中，當(dāng)要預(yù)測(cè)在圖像中要被編碼的區(qū)域的視差矢量并且不可 以參考位于該區(qū)域附近的任何周圍區(qū)域時(shí)，將在該圖像和在同一時(shí)刻與該圖像具有不同視 差的視圖圖像之間的圖像間視差的范圍的上限值或下限值確定為預(yù)測(cè)矢量值。然后，對(duì)該 區(qū)域的視差矢量與所確定的預(yù)測(cè)矢量之間的差別進(jìn)行編碼。
[0033]以上所述的圖像處理裝置中的每個(gè)可以是獨(dú)立的裝置，或可以是圖像編碼裝置或 圖像解碼裝置中的內(nèi)部塊。
[0034]發(fā)明的效果
[0035]根據(jù)本公開的一個(gè)方面，可以對(duì)圖像進(jìn)行解碼。特別地，可以提高編碼效率。
[0036]根據(jù)本公開的另一方面，可以對(duì)圖像進(jìn)行編碼。特別地，可以提高編碼效率。
【專利附圖】

【附圖說明】
[0037]圖1是用于說明深度圖像(視圖圖像)的圖。
[0038]圖2是示出圖像編碼裝置的典型示例結(jié)構(gòu)的框圖。
[0039]圖3是示出在三個(gè)視點(diǎn)圖像中的視圖之間的參考關(guān)系的示例的圖。
[0040]圖4是用于說明預(yù)測(cè)矢量生成的示例的圖。[0041]圖5是示出運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元的示例結(jié)構(gòu)的框圖。
[0042]圖6是示出序列參數(shù)集中的語法的示例的表。
[0043]圖7是示出在切片頭中的語法的示例的表。
[0044]圖8是用于說明在編碼處理中的示例流程的流程圖。
[0045]圖9是用于說明在幀間運(yùn)動(dòng)視差預(yù)測(cè)處理中的示例流程的流程圖。
[0046]圖10是用于說明在運(yùn)動(dòng)視差矢量預(yù)測(cè)處理中的示例流程的流程圖。
[0047]圖11是用于說明在合并模式中的運(yùn)動(dòng)視差矢量預(yù)測(cè)處理中的示例流程的流程圖。
[0048]圖12是示出圖像解碼裝置的典型示例結(jié)構(gòu)的框圖。
[0049]圖13是示出運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元的示例結(jié)構(gòu)的框圖。
[0050]圖14是用于說明解碼處理中的示例流程的流程圖。
[0051]圖15是用于說明在幀間運(yùn)動(dòng)視差預(yù)測(cè)處理中的示例流程的流程圖。
[0052]圖16是用于說明在運(yùn)動(dòng)視差矢量預(yù)測(cè)處理中的示例流程的流程圖。
[0053]圖17是用于說明在合并模式中的運(yùn)動(dòng)視差矢量預(yù)測(cè)處理中的示例流程的流程圖。
[0054]圖18是示出個(gè)人計(jì)算機(jī)的典型示例結(jié)構(gòu)的框圖。
[0055]圖19是示意地示出電視機(jī)設(shè)備的示例結(jié)構(gòu)的框圖。
[0056]圖20是示意地示出便攜式電話裝置的示例結(jié)構(gòu)的框圖。
[0057]圖21是示意地示出記錄/再現(xiàn)裝置的示例結(jié)構(gòu)的框圖。
[0058]圖22是示意地示出成像裝置的示例結(jié)構(gòu)的框圖。
【具體實(shí)施方式】
[0059]下面將描述用于實(shí)施本公開的模式(在下文中被稱為實(shí)施例)。將按照下面的順序進(jìn)行說明。
[0060]1.本說明書中對(duì)深度圖像的描述
[0061]2.第一實(shí)施例(圖像編碼裝置)
[0062]3.第二實(shí)施例(圖像解碼裝置)
[0063]4.第三實(shí)施例(個(gè)人計(jì)算機(jī))
[0064]5.第四實(shí)施例(電視接收機(jī))
[0065]6.第五實(shí)施例(便攜式電話裝置)
[0066]7.第六實(shí)施例(硬盤記錄器)
[0067]8.第七實(shí)施例(攝像裝置)
[0068]〈1.本說明書中對(duì)深度圖像的描述〉
[0069]圖1是用于說明視差和深度的圖。
[0070]如圖1所示，在要通過位于位置Cl的攝像裝置Cl和位于位置C2的攝像裝置c2對(duì)物體M的彩色圖像進(jìn)行成像的情況下，通過下面的等式(I)限定深度Z，深度Z是在深度方向上物體M與攝像裝置I (攝像裝置2)的距離。
[0071][數(shù)學(xué)公式I]
[0072]Z= (L/d) X f[0073]在此，L代表位置Cl與位置C2在水平方向上的距離(在下文中被稱為攝像裝置間距)。同時(shí)，d代表通過從在由攝像裝置Cl所捕獲的彩色圖像中物體M的位置與彩色圖像的中心之間在水平方向上的距離ul中，減去在由攝像裝置c2所捕獲的彩色圖像中物體M的位置與彩色圖像的中心之間在水平方向上的距離u2所獲得的值。即，d代表視差。此外，f代表攝像裝置Cl的焦距，并且在等式(I)中攝像裝置Cl和攝像裝置c2具有相同的焦距。
[0074]如等式(I)所示，視差d和深度Z可以唯一地轉(zhuǎn)換。因此，在本說明書中，指示由攝像裝置Cl和攝像裝置c2所捕獲的兩個(gè)視點(diǎn)彩色圖像的視差d的圖像、以及指示深度Z的圖像被整體地稱作深度圖像(視圖圖像)。
[0075]深度圖像(視圖圖像)是代表視差d或深度Z的圖像，并且深度圖像(視圖圖像)的像素值不是如原樣地視差d或深度Z，而可以是通過對(duì)視差d進(jìn)行歸一化所獲得的值或通過對(duì)深度Z的倒數(shù)1/Z進(jìn)行歸一化所獲得的值。
[0076]可以通過下面的等式(2)確定采用8個(gè)比特(O至255)對(duì)視差d進(jìn)行歸一化所獲得的值I。應(yīng)當(dāng)注意，用于視差d的歸一化比特的數(shù)量不限于8個(gè)，但是可以是一些其他數(shù)量，諸如10或12個(gè)。
[0077][數(shù)學(xué)公式2]

max mm
[0079]在等式(2)中，Dmax代表視差d的最大值，并且Dmin代表視差d的最小值?？梢葬槍?duì)每個(gè)屏幕設(shè)置最大值Dmax和最小值Dmin,或可以針對(duì)多于一個(gè)屏幕中的每個(gè)屏幕設(shè)置最大值Dmax和最小值0_。
[0080]還可以通過下面的等式(3)確定采用8個(gè)比特(O至255)對(duì)深度Z的倒數(shù)1/Z進(jìn)行歸一化所獲得的值y。應(yīng)當(dāng)注意，用于深度Z的倒數(shù)1/Z的歸一化比特的數(shù)量不限于8個(gè)，但是可以是一些其他數(shù)量，諸如10或12個(gè)。
[0081][數(shù)學(xué)公式3]

I _ I
_2]產(chǎn) 255x f Z/'…⑶
Z Z

nearfar
[0083]在等式(3)中，Zfm代表深度Z的最大值，并且Znem代表深度Z的最小值?？梢葬槍?duì)每個(gè)屏幕設(shè)置最大值Zfm和最小值z(mì)n_，或可以針對(duì)多于一個(gè)屏幕中的每個(gè)屏幕設(shè)置最大值Zfm和最小值z(mì)n_。
[0084]如上所述，在本說明書中，鑒于視差d和深度Z可以唯一地轉(zhuǎn)換，所以可以將具有作為通過對(duì)視差d進(jìn)行歸一化所獲得的值I的像素值的圖像和具有作為通過對(duì)深度Z的倒數(shù)1/Z進(jìn)行歸一化所獲得的值7的像素值的圖像整體地稱為深度圖像(視圖圖像)。在此，深度圖像(視圖圖像)的顏色格式是YUV420或YUV400，但是也可以是一些其他顏色格式。
[0085]在關(guān)注關(guān)于值I或值y的信息而不是關(guān)注深度圖像(視圖圖像)的像素值的情況下，可以將值I或值I設(shè)置為深度信息(視差信息/視圖信息)。此外，通過對(duì)值I或值y進(jìn)行映射形成深度映射(視差映射)。
[0086]<2.第一實(shí)施例>
[0087][圖像編碼裝置的示例結(jié)構(gòu)]
[0088]圖2示出了作為應(yīng)用了本公開的圖像處理裝置的圖像編碼裝置的示例的結(jié)構(gòu)。
[0089]在圖2中所示的圖像編碼裝置100通過使用預(yù)測(cè)處理對(duì)圖像數(shù)據(jù)進(jìn)行編碼。在此所使用的編碼方法可以是例如H.264和MPEG (運(yùn)動(dòng)圖像專家組)4第10部分(AVC (先進(jìn)視頻編碼))(在下文中被稱為H.264/AVC)，或HEVC (高效率視頻編碼)。
[0090]在H.264/AVC中，使用宏塊或塊作為用作處理單元的區(qū)域。在HEVC中，使用CU(編碼單元)、PU (預(yù)測(cè)單元)、TU (變換單元)等作為用作處理單元的區(qū)域。即，“塊”和“單元”兩者均意味著“處理單元區(qū)域”，并且因此，在下面的描述中可以使用意味著塊或單元的術(shù)語“處理單元區(qū)域”或術(shù)語“當(dāng)前區(qū)域”。
[0091]在圖2中所示的示例中，圖像編碼裝置100包括A/D (模擬/數(shù)字)轉(zhuǎn)換器101、屏幕重排緩沖器102、算術(shù)運(yùn)算單元103、正交變換單元104、量化單元105、無損編碼單元106、累積緩沖器107以逆量化單元108。圖像編碼裝置100還包括逆正交變換單元109、算術(shù)運(yùn)算單元110、去塊效應(yīng)濾波器111、解碼圖片緩沖器112、選擇單元113、幀內(nèi)預(yù)測(cè)單元114、運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115、選擇單元116以及碼率控制(rate control)單元117。
[0092]圖像編碼裝置100還包括多視圖解碼圖片緩沖器121和視差檢測(cè)單元122。
[0093]A/D轉(zhuǎn)換器101對(duì)于圖像數(shù)據(jù)執(zhí)行A/D轉(zhuǎn)換，將圖像數(shù)據(jù)輸出到屏幕重排緩沖器102，以及將圖像數(shù)據(jù)存儲(chǔ)在屏幕重排緩沖器102中。
[0094]屏幕重排緩沖器102依照GOP (圖片組)結(jié)構(gòu)、按照顯示順序?qū)λ鎯?chǔ)的圖像幀進(jìn)行重排，以使得按照編碼順序布置幀。屏幕重排緩沖器102將具有重排后的幀順序的圖像提供給算術(shù)運(yùn)算單元103。屏幕重排緩沖器102還將具有重排后的幀順序的圖像提供給幀內(nèi)預(yù)測(cè)單元114和運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115。
[0095]算術(shù)運(yùn)算單元103在從屏幕重排緩沖器102所讀取的圖像中，減去從幀內(nèi)預(yù)測(cè)單元114或運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115經(jīng)由選擇單元116所提供的預(yù)測(cè)圖像，并且將差分信息輸出到正交變換單元104。
[0096]例如，當(dāng)要對(duì)圖像執(zhí)行幀內(nèi)編碼時(shí)，算術(shù)運(yùn)算單元103在從屏幕重排緩沖器102所讀取的圖像中減去從幀內(nèi)預(yù)測(cè)單元114所提供的預(yù)測(cè)圖像。例如，當(dāng)要對(duì)圖像執(zhí)行幀間編碼時(shí)，算術(shù)運(yùn)算單元103在從屏幕重排緩沖器102所讀取的圖像中減去從運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115所提供的預(yù)測(cè)圖像。
[0097]正交變換單元104對(duì)從算術(shù)運(yùn)算單元103所提供的差分信息執(zhí)行諸如離散余弦變換或Karhunen-Loeve變換的正交變換，并且將變換系數(shù)提供給量化單元105。
[0098]量化單元105對(duì)從正交變換單元104所輸出的變換系數(shù)進(jìn)行量化。量化單元105將量化后的變換系數(shù)提供給無損編碼單元106。
[0099]無損編碼單元106對(duì)量化后的變換系數(shù)執(zhí)行無損編碼，諸如可變長(zhǎng)度編碼或算術(shù)編碼。
[0100]無損編碼單元106從幀內(nèi)預(yù)測(cè)單元114獲取指示幀內(nèi)預(yù)測(cè)模式的信息等，并且從運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115獲取指示幀間預(yù)測(cè)模式的信息、運(yùn)動(dòng)視差矢量信息等。
[0101]無損編碼單元106不僅對(duì)量化后的變換系數(shù)進(jìn)行編碼，而且還將諸如幀內(nèi)預(yù)測(cè)模式信息、幀間預(yù)測(cè)模式信息、以及運(yùn)動(dòng)視差矢量信息的信息合并(復(fù)用)到編碼數(shù)據(jù)的頭 (header)信息中。無損編碼單元106還將從視差檢測(cè)單元122所提供的最大視差值和最 小視差值、以及最大視差值和最小視差值所基于的參考視圖信息合并到編碼數(shù)據(jù)的頭信息 中。無損編碼單元106將通過進(jìn)行編碼所獲得的編碼數(shù)據(jù)提供給累積緩沖器107，并且將編 碼數(shù)據(jù)累積在累積緩沖器107中。
[0102]例如，在無損編碼單元106中，執(zhí)行諸如可變長(zhǎng)度編碼或算術(shù)編碼的無損編碼處 理。例如，可變長(zhǎng)度編碼可以是CAVLC (基于上下文的自適應(yīng)可變長(zhǎng)度編碼)。算術(shù)編碼可 以是CABAC (基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼)等。
[0103]累積緩沖器107暫時(shí)存儲(chǔ)從無損編碼單元106所提供的編碼數(shù)據(jù)，并且例如以預(yù) 定的時(shí)間將編碼數(shù)據(jù)作為編碼圖像輸出到在稍后的階段中的記錄裝置或傳送路徑(未示 出)。
[0104]還將由量化單元105所量化的變換系數(shù)提供給逆量化單元108。逆量化單元108 通過與由量化單元105所執(zhí)行的量化相對(duì)應(yīng)的方法對(duì)量化的變換系數(shù)執(zhí)行逆矢量化。逆量 化單元108將所獲得的變換系數(shù)提供給逆正交變換單元109。
[0105]逆正交變換單元109通過與由正交變換單元104所執(zhí)行的正交變換處理相對(duì)應(yīng)的 方法對(duì)所提供的變換系數(shù)執(zhí)行逆正交變換。將經(jīng)歷了逆正交變換的輸出(恢復(fù)的差分信息) 提供給算術(shù)運(yùn)算單元110。
[0106]算術(shù)運(yùn)算單元110將從幀內(nèi)預(yù)測(cè)單元114或運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115經(jīng)由選 擇單元116所提供的預(yù)測(cè)圖像加到從逆正交變換單元109所提供的逆正交變換結(jié)果或加到 恢復(fù)的差分信息。作為結(jié)果，獲得了局部解碼圖像(解碼圖像)。
[0107]例如，當(dāng)差分信息與要被執(zhí)行幀內(nèi)編碼的圖像相對(duì)應(yīng)時(shí)，算術(shù)運(yùn)算單元110將從 幀內(nèi)預(yù)測(cè)單元114所提供的預(yù)測(cè)圖像加到差分信息。例如，當(dāng)差分信息與要進(jìn)行幀間編碼 的圖像相對(duì)應(yīng)時(shí)，算術(shù)運(yùn)算單元110將從運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115所提供的預(yù)測(cè)圖像 加到差分信息。
[0108]將相加結(jié)果提供給去塊效應(yīng)濾波器111和解碼圖片緩沖器112。
[0109]需要時(shí)，去塊效應(yīng)濾波器111通過執(zhí)行去塊效應(yīng)濾波處理從解碼圖像中去除塊失 真。去塊效應(yīng)濾波器111將濾波處理結(jié)果提供給解碼圖片緩沖器112。
[0110]將來自去塊效應(yīng)濾波器111的編碼視點(diǎn)的解碼圖像或除了來自多視圖解碼圖片 緩沖器112的編碼視點(diǎn)之外的視點(diǎn)的解碼圖像累積在解碼圖片緩沖器112中。解碼圖片緩 沖器112在預(yù)定時(shí)間將所存儲(chǔ)的參考圖像經(jīng)由選擇單元113輸出到幀內(nèi)預(yù)測(cè)單元114或運(yùn) 動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115。
[0111]例如，當(dāng)要對(duì)圖像執(zhí)行幀內(nèi)編碼時(shí)，解碼圖片緩沖器112經(jīng)由選擇單元113將參考 圖像提供給幀內(nèi)預(yù)測(cè)單元114。例如，當(dāng)要對(duì)圖像執(zhí)行幀間編碼時(shí)，解碼圖片緩沖器112經(jīng) 由選擇單元113將參考圖像提供給運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115。
[0112]當(dāng)從解碼圖片緩沖器112所提供的參考圖像是要經(jīng)歷幀內(nèi)編碼的圖像時(shí)，選擇單 元113將參考圖像提供給幀內(nèi)預(yù)測(cè)單元114。當(dāng)從解碼圖片緩沖器112所提供的參考圖像是 要經(jīng)歷幀間編碼的圖像時(shí)，選擇單元113將參考圖像提供給運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115。
[0113]幀內(nèi)預(yù)測(cè)單元114執(zhí)行幀內(nèi)預(yù)測(cè)(屏幕內(nèi)預(yù)測(cè))以通過使用屏幕中的像素值生成預(yù) 測(cè)圖像。幀內(nèi)預(yù)測(cè)單元114以多于一種模式(幀內(nèi)預(yù)測(cè)模式)執(zhí)行幀內(nèi)預(yù)測(cè)。[0114]幀內(nèi)預(yù)測(cè)單元114以所有幀內(nèi)預(yù)測(cè)模式生成預(yù)測(cè)圖像，評(píng)估各個(gè)幀內(nèi)預(yù)測(cè)圖像，以及選擇最佳模式。在選擇了最佳幀內(nèi)預(yù)測(cè)模式之后，幀內(nèi)預(yù)測(cè)單元114經(jīng)由選擇單元116將以最佳幀內(nèi)預(yù)測(cè)模式所生成的預(yù)測(cè)圖像提供給算術(shù)運(yùn)算單元103和算術(shù)運(yùn)算單元110。
[0115]如上所述，幀內(nèi)預(yù)測(cè)單元114還適當(dāng)?shù)貙⒅T如指示所采用的幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)模式信息等信息提供給無損編碼單元106。
[0116]運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115通過使用經(jīng)由選擇單元113從屏幕重排緩沖器102所提供的輸入圖像和從解碼圖片緩沖器112所提供的參考圖像，對(duì)要被進(jìn)行幀間編碼的圖像執(zhí)行運(yùn)動(dòng)視差預(yù)測(cè)。運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115依照所檢測(cè)到的運(yùn)動(dòng)視差矢量執(zhí)行運(yùn)動(dòng)視差補(bǔ)償處理，以生成預(yù)測(cè)圖像(幀間預(yù)測(cè)圖像信息)。以所有的候選幀間預(yù)測(cè)模式執(zhí)行那些處理，并且在那些候選之中確定最佳幀間預(yù)測(cè)模式。運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115經(jīng)由選擇單元116將所生成的預(yù)測(cè)圖像提供給算術(shù)運(yùn)算單元103和算術(shù)運(yùn)算單元110。
[0117]運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115通過使用位于當(dāng)前區(qū)域附近的周圍區(qū)域的運(yùn)動(dòng)視差矢量來生成預(yù)測(cè)矢量。當(dāng)要確定視差矢量的預(yù)測(cè)矢量但是不可以參考任何周圍區(qū)域時(shí)，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115將從視差檢測(cè)單元122所提供的最小視差值或最大視差值設(shè)置為預(yù)測(cè)矢量。
[0118]運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115還將諸如指示所采用的幀間預(yù)測(cè)模式的幀間預(yù)測(cè)模式信息、運(yùn)動(dòng)視差矢量信息、參考圖像索引、以及預(yù)測(cè)矢量索引等信息提供給無損編碼單元106。運(yùn)動(dòng)視差矢量信息是指示運(yùn)動(dòng)視差矢量與預(yù)測(cè)矢量之間的差別的信息。
[0119]當(dāng)要對(duì)圖像執(zhí)行幀內(nèi)編碼時(shí)，選擇單元116將幀內(nèi)預(yù)測(cè)單元114的輸出提供給算術(shù)運(yùn)算單元103和算術(shù)運(yùn)算單元110。當(dāng)要對(duì)圖像執(zhí)行幀間編碼時(shí)，選擇單元116將運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115的輸出提供給算術(shù)運(yùn)算單元103和算術(shù)運(yùn)算單元110。
[0120]基于在累積緩沖器107中所累積的壓縮后的圖像，碼率控制單元117控制量化單元105的量化操作速率，以便使得不發(fā)生上溢或下溢。
[0121]多視圖解碼圖片緩沖器112依照當(dāng)前視圖(視點(diǎn))采用除了編碼視點(diǎn)之外的視點(diǎn)的解碼圖像替換在解碼圖片緩沖器112中所累積的編碼視點(diǎn)的解碼圖像。
[0122]視差檢測(cè)單元122將當(dāng)前圖像和在同一時(shí)刻具有與當(dāng)前圖像不同的視差的參考視圖圖像之間的最大視差值和最小視差值提供給運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115和無損編碼單元106。視差檢測(cè)單元122還將作為關(guān)于在參考計(jì)算時(shí)要參考的圖像的信息的參考視圖信息提供給運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115和無損編碼單元106。在此，在視差計(jì)算時(shí)要參考的圖像被稱為參考視圖圖像。例如，最大視差值和最小視差值，以及參考視圖息由流制作者(stream maker)經(jīng)由操作單元(未示出)輸入到視差檢測(cè)單元122。
[0123]無損編碼單元106將最大視差值和最小視差值插入到切片頭(sliceheader)。參考視圖信息被插入到序列參數(shù)集中。
[0124][預(yù)測(cè)模式選擇]
[0125]為了實(shí)現(xiàn)較高的編碼效率，關(guān)鍵的是選擇適當(dāng)?shù)念A(yù)測(cè)模式。例如，在H.264/AVC中，可以使用被稱為JM (聯(lián)合模式)的H.264/MPEG-4AVC的參考軟件中所實(shí)施的方法(可以在http: //iphome.hh1.de/suehring/tml/index, htm處獲得)作為這樣的選擇方法的示例。
[0126]在JM中，可以選擇以下所描述的兩種模式確定方法:高復(fù)雜度模式和低復(fù)雜度模式。根據(jù)兩種方法中的任一種，計(jì)算關(guān)于每個(gè)預(yù)測(cè)模式的編碼成本值，并且選擇使得成本值最小化的預(yù)測(cè)模式作為用于目標(biāo)塊或宏塊的最佳模式。
[0127]可以根據(jù)下面的表達(dá)式(4)計(jì)算高復(fù)雜度模式中的成本函數(shù)。
[0128]Cost (Mode e Q)=D+A*R...(4)
[0129]在此，在此，“？”代表用于對(duì)目標(biāo)塊或宏塊進(jìn)行編碼的候選模式的全集，并且“D”代表在當(dāng)前預(yù)測(cè)模式中執(zhí)行編碼時(shí)，解碼圖像和輸入圖像之間的差分能量。“ λ ”代表作為量化參數(shù)函數(shù)而給定的拉格朗日待定乘子。“R”代表在以當(dāng)前模式執(zhí)行編碼的情況下的總比特率，其包括正交變換系數(shù)。
[0130]S卩，為了以高復(fù)雜度模式執(zhí)行編碼，需要以所有候選模式執(zhí)行規(guī)定的編碼處理以計(jì)算以上參數(shù)D和R，并且因此需要較大的計(jì)算量。
[0131]通過下面的表達(dá)式(5)表示低復(fù)雜度模式的成本函數(shù)。
[0132]Cost (Mode e Ω ) =D+QP2Quant (QP) *HeaderBit...(5)
[0133]在此，D與高復(fù)雜度模式中的D不同，并且代表預(yù)測(cè)圖像和輸入圖像之間的差分能量?！癚P2Quant(QP) ”代表量化參數(shù)QP的函數(shù)，以及“HeaderBit”代表與屬于Header并且不包括正交變換系數(shù)的信息(諸如運(yùn)動(dòng)矢量和模式)有關(guān)的比特率。
[0134]S卩，在低復(fù)雜度模式中，需要針對(duì)候選模式中的每個(gè)執(zhí)行預(yù)測(cè)處理，但是不需要解碼后的圖像。因此，不需要執(zhí)行編碼處理。因此，計(jì)算量小于高復(fù)雜度模式中的計(jì)算量。
[0135][三個(gè)視點(diǎn)圖像之間的參考關(guān)系]
[0136]圖3是示出在三個(gè)視點(diǎn)圖像中的視圖之間的參考關(guān)系的示例的圖。圖3所示的示例從左起、按照POC (圖片順序計(jì)數(shù):用于圖片的輸出順序)的升序示出了 1-圖片、B2-圖片、B1-圖片、B2-圖片、BO-圖片、B2-圖片、B1-圖片、B2-圖片以及P-圖片。還示出了 POC索引、PicNum (解碼順序)索引。
[0137]例如,PicNum=I的P-圖片可以參考相對(duì)應(yīng)的PicNum=O的解碼1-圖片。PicNum=2的BO-圖片可以參考PicNum=O的解碼1-圖片和PicNum=I的P-圖片。PicNum=3的B1-圖片可以參考PicNum=O的解碼1-圖片和PicNum=2的BO-圖片。PicNum=4的B1-圖片可以參考PicNum=2的解碼BO-圖片和PicNum=I的P-圖片。
[0138]并且，從頂部起順序地示出了具有相同時(shí)間信息和不同視差信息的視圖O (View_id_0)、視圖1 (View_id_l)以及視圖2 (View_id_2)的各個(gè)圖片。圖3所示的示例示出了按照此順序?qū)σ晥DO、視圖1以及視圖2進(jìn)行解碼的情況。
[0139]視圖O被稱為基礎(chǔ)視圖、并且可以通過使用時(shí)間預(yù)測(cè)對(duì)其圖像進(jìn)行編碼。視圖1和視圖2被稱為非基礎(chǔ)視圖，并且可以通過使用時(shí)間預(yù)測(cè)和視差預(yù)測(cè)對(duì)其圖像進(jìn)行編碼。
[0140]在視差預(yù)測(cè)時(shí)，如箭頭所示，視圖1的圖像可以參考視圖O和視圖2的編碼圖像。因此，POC中的視圖1的第8個(gè)的P-圖片是時(shí)間預(yù)測(cè)中的P-圖片、視差預(yù)測(cè)中的B-圖片。
[0141]視差預(yù)測(cè)時(shí)，如箭頭所示，視圖2的圖像可以參考視圖O的編碼圖像。
[0142]在圖3中所示的三個(gè)視點(diǎn)圖像中，首先對(duì)基礎(chǔ)視圖的圖像進(jìn)行解碼，并且對(duì)于在同一時(shí)刻的其他視圖的圖像進(jìn)行解碼。之后，開始下一個(gè)時(shí)間(PicNum)的基礎(chǔ)視圖的圖像的解碼。以這樣的順序執(zhí)行解碼。
[0143][預(yù)測(cè)矢量的生成]
[0144]現(xiàn)在參照?qǐng)D4，描述在HEVC中預(yù)測(cè)矢量的生成。圖4所示的示例示出了在與當(dāng)前區(qū)域M相同的圖片中，在當(dāng)前區(qū)域M的左側(cè)的空間關(guān)聯(lián)的區(qū)域A、在區(qū)域M的上方的空間關(guān)聯(lián)的區(qū)域B、在區(qū)域M的右上方的空間關(guān)聯(lián)的區(qū)域C、以及在區(qū)域M的左下方的空間關(guān)聯(lián)的區(qū)域D。另外，如箭頭所示，示出了在與當(dāng)前區(qū)域M不同時(shí)間的圖片中、在與區(qū)域M相同的位置處的時(shí)間關(guān)聯(lián)的區(qū)域N。在本實(shí)施例中那些關(guān)聯(lián)的區(qū)域被稱為周圍區(qū)域。即，周圍區(qū)域包括空間上的周圍區(qū)域和時(shí)間上的周圍區(qū)域。應(yīng)當(dāng)注意在每個(gè)區(qū)域中的“-1”意味著不可以參考每個(gè)區(qū)域的運(yùn)動(dòng)視差矢量。
[0145]在HEVC中，通過使用空間上位于附近的空間關(guān)聯(lián)的區(qū)域A、B、C以及D，和時(shí)間上位于附近的時(shí)間關(guān)聯(lián)的區(qū)域N的運(yùn)動(dòng)視差矢量中的一個(gè)生成當(dāng)前區(qū)域M的預(yù)測(cè)矢量。
[0146]然而，當(dāng)因?yàn)閳?zhí)行幀內(nèi)預(yù)測(cè)或那些區(qū)域位于屏幕外部而不可以參考空間關(guān)聯(lián)的區(qū)域A、B、C以及D和時(shí)間關(guān)聯(lián)的區(qū)域N的運(yùn)動(dòng)矢量中的任一個(gè)時(shí)，將當(dāng)前區(qū)域M的預(yù)測(cè)矢量
設(shè)置為O矢量。
[0147]在對(duì)于視差矢量使用以上所述的方法的情況下，因?yàn)轭A(yù)測(cè)矢量是O矢量，所以將在當(dāng)前區(qū)域中所檢測(cè)到的視差矢量按照原樣發(fā)送到解碼側(cè)。結(jié)果，存在編碼效率變低的可能性。
[0148]有鑒于此，圖像編碼裝置100將對(duì)于在顯示側(cè)調(diào)整視差以及組合視點(diǎn)所需要的最大視差值和最小視差值插入到切片頭，并且將切片頭發(fā)送到解碼側(cè)。如果當(dāng)要預(yù)測(cè)視差矢量時(shí)不可以參考周圍區(qū)域中的任何一個(gè)，則圖像編碼裝置100使用最大視差值和最小視差值中的一個(gè)作為預(yù)測(cè)矢量。
[0149]存在如下情況:在該情況中，最小視差值和最大視差值所基于的參考視圖圖像的視圖1D與用于視差矢量的參考圖像的視圖1D不同。在這樣的情況下，依照那些視圖的距離對(duì)最小值或最大值執(zhí)行縮放，并且使用縮放結(jié)果作為預(yù)測(cè)矢量。
[0150]稍后將對(duì)此進(jìn)行詳細(xì)描述。
[0151][運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元的示例結(jié)構(gòu)]
[0152]接下來，描述圖像編碼裝置100的各個(gè)組件。圖5是示出運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115的示例結(jié)構(gòu)的框圖。圖5中所示的示例僅示出了主要信息的流程。
[0153]在圖5所示的示例中，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115被設(shè)計(jì)成包括運(yùn)動(dòng)視差矢量搜索單元131、預(yù)測(cè)圖像生成單元132、編碼成本計(jì)算單元133以及模式確定單元134。運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115還被設(shè)計(jì)成包括編碼信息累積緩沖器135、空間預(yù)測(cè)矢量生成單元136、時(shí)間視差預(yù)測(cè)矢量生成單元137、以及預(yù)測(cè)矢量生成單元138。
[0154]將來自解碼圖片緩沖器112的解碼圖像像素值提供給運(yùn)動(dòng)視差矢量搜索單元131和預(yù)測(cè)圖像生成單元132。將來自屏幕重排緩沖器102的原始圖像像素值提供給運(yùn)動(dòng)視差矢量搜索單元131和編碼成本計(jì)算單元133。
[0155]運(yùn)動(dòng)視差矢量搜索單元131通過使用來自屏幕重排緩沖器102的原始圖像像素值和來自解碼圖片緩沖器112的解碼圖像像素值在所有候選幀間預(yù)測(cè)模式中執(zhí)行運(yùn)動(dòng)視差預(yù)測(cè)，并且搜索運(yùn)動(dòng)視差矢量。運(yùn)動(dòng)視差矢量搜索單元131將檢測(cè)到的運(yùn)動(dòng)視差矢量、用作參考的參考圖像索引以及預(yù)測(cè)模式信息提供給預(yù)測(cè)圖像生成單元132和編碼成本計(jì)算單元 133。
[0156]預(yù)測(cè)圖像生成單元132通過使用來自運(yùn)動(dòng)視差矢量搜索單元131的運(yùn)動(dòng)視差矢量對(duì)來自解碼圖片緩沖器112的解碼圖像像素值執(zhí)行運(yùn)動(dòng)視差補(bǔ)償處理，并且生成預(yù)測(cè)圖像。預(yù)測(cè)圖像生成單元132將所生成的預(yù)測(cè)圖像像素值提供給編碼成本計(jì)算單元133。[0157]將來自屏幕重排緩沖器102的原始圖像像素值、來自運(yùn)動(dòng)視差矢量搜索單元131 的運(yùn)動(dòng)視差矢量、參考圖像索引以及預(yù)測(cè)模式信息和來自預(yù)測(cè)圖像生成單元132的預(yù)測(cè)圖 像像素值提供給編碼成本計(jì)算單元133。此外，將來自預(yù)測(cè)矢量生成單元138的運(yùn)動(dòng)視差矢 量的預(yù)測(cè)值(或預(yù)測(cè)矢量)提供給編碼成本計(jì)算單元133。
[0158]編碼成本計(jì)算單元133通過使用所提供的信息和以上所述的表達(dá)式(4)或(5)的 成本函數(shù)，計(jì)算編碼成本值。編碼成本計(jì)算單元133將所計(jì)算出的編碼成本值提供給模式 確定單元134。此時(shí)，編碼成本計(jì)算單元133還將從各個(gè)組件所提供的信息提供給模式確定 單元134。
[0159]模式確定單元134將來自編碼成本計(jì)算單元133的編碼成本值互相比較，以確定 最佳幀間預(yù)測(cè)模式。模式確定單元134還基于編碼成本值、針對(duì)每個(gè)切片確定是否應(yīng)該當(dāng) 使用最大視差值或最小視差值作為預(yù)測(cè)矢量。在對(duì)于預(yù)測(cè)矢量存在多于一個(gè)候選的情況 下，模式確定單元134基于編碼成本值選擇最佳候選作為預(yù)測(cè)矢量。
[0160]模式確定單元134將在所確定的最佳幀間預(yù)測(cè)模式中的預(yù)測(cè)圖像的像素值提供 給選擇單元116。模式確定單元134還將指示所確定的最佳幀間預(yù)測(cè)模式的模式信息、參考 圖像索引、預(yù)測(cè)矢量索引、指示運(yùn)動(dòng)視差矢量與預(yù)測(cè)矢量之間的差別的運(yùn)動(dòng)視差矢量信息 提供給無損編碼單元106。此時(shí)，還將指示最大視差值和最小視差值中的哪一個(gè)要被使用并 且要被插入到切片頭的標(biāo)志提供給無損編碼單元106。
[0161]此外，模式確定單元134將模式信息、參考圖像索引、以及運(yùn)動(dòng)視差矢量作為關(guān)于 周圍區(qū)域的編碼信息提供給編碼信息累積緩沖器135。
[0162]編碼信息累積緩沖器135對(duì)關(guān)于周圍區(qū)域的編碼信息(其是模式信息的)、參考圖 像索引、運(yùn)動(dòng)視差矢量等進(jìn)行累積。
[0163]空間預(yù)測(cè)矢量生成單元136如果需要?jiǎng)t從編碼信息累積緩沖器135獲取諸如關(guān)于 周圍區(qū)域的模式信息、參考圖像索引以及運(yùn)動(dòng)視差矢量的信息，并且通過使用那些信息生 成當(dāng)前區(qū)域的空間關(guān)聯(lián)的預(yù)測(cè)矢量?？臻g預(yù)測(cè)矢量生成單元136將所生成的空間關(guān)聯(lián)的預(yù) 測(cè)矢量和在生成中所使用的關(guān)于周圍區(qū)域的信息提供給預(yù)測(cè)矢量生成單元138。
[0164]時(shí)間視差預(yù)測(cè)矢量生成單元137如果需要?jiǎng)t從編碼信息累積緩沖器135獲取諸如 關(guān)于周圍區(qū)域的模式信息、參考圖像索引、以及運(yùn)動(dòng)視差矢量的信息，并且通過使用那些信 息生成當(dāng)前區(qū)域的時(shí)間視差(temporal-disparity)關(guān)聯(lián)的預(yù)測(cè)矢量。時(shí)間視差預(yù)測(cè)矢量 生成單元137將所生成的時(shí)間視差關(guān)聯(lián)的預(yù)測(cè)矢量和在生成中所使用的周圍區(qū)域信息提 供給預(yù)測(cè)矢量生成單元138。
[0165]預(yù)測(cè)矢量生成單元138從視差檢測(cè)單元122獲取最小視差值和最大視差值、以及 參考視圖信息。預(yù)測(cè)矢量生成單元138從空間預(yù)測(cè)矢量生成單元136和時(shí)間視差預(yù)測(cè)矢量 生成單元137獲取所生成的預(yù)測(cè)矢量和周圍區(qū)域信息。預(yù)測(cè)矢量生成單元138還從編碼成 本計(jì)算單元133獲取關(guān)于當(dāng)前區(qū)域的參考圖像索引的信息。
[0166]通過參考所獲取的信息，預(yù)測(cè)矢量生成單元138將由空間預(yù)測(cè)矢量生成單元136 或由時(shí)間視差預(yù)測(cè)矢量生成單元137所生成的預(yù)測(cè)矢量、0矢量、或根據(jù)最小視差值和最大 視差值所確定的預(yù)測(cè)矢量提供給編碼成本計(jì)算單元133。
[0167]在要預(yù)測(cè)運(yùn)動(dòng)矢量(或由參考圖像索引所指示的參考圖像是不同時(shí)間的圖像)的 情況下，預(yù)測(cè)矢量生成單元138將0矢量設(shè)置為當(dāng)不可以參考任何周圍區(qū)域時(shí)的預(yù)測(cè)矢量。[0168]在要預(yù)測(cè)視差矢量(或由參考圖像索引所指示的參考圖像是不同時(shí)間的視圖)的情況下，預(yù)測(cè)矢量生成單元138將最小視差值或最大視差值設(shè)置為用于預(yù)測(cè)矢量的候選，并且當(dāng)不可以參考任何周圍區(qū)域時(shí)將該候選提供給編碼成本計(jì)算單元133。如果最小視差值和最大視差值所基于的參考視圖圖像的視圖1D與此時(shí)的參考圖像索引的視圖1D不同，則預(yù)測(cè)矢量生成單元138將通過對(duì)最小視差值和最大視差值執(zhí)行縮放所獲得的候選預(yù)測(cè)矢量提供給編碼成本計(jì)算單元133。
[0169][序列參數(shù)集中的語法的示例]
[0170]圖6是示出在序列參數(shù)集中的語法的示例的表。在每行的左端的數(shù)字是為了說明方便所提供的行號(hào)。
[0171]在圖6所不的不例中，在第21行中設(shè)置max_num_ref_frames。max_num_ref_frames指示在此流中的參考圖像的最大值(數(shù)量)。
[0172]將視圖參考信息寫入到第31行至第38行。例如，視圖參考信息由視圖的總數(shù)量、視圖標(biāo)識(shí)符、列表LO中的視差預(yù)測(cè)數(shù)量、列表LO中的參考視圖的標(biāo)識(shí)符、列表LI中的視差預(yù)測(cè)的數(shù)量、列表LI中的參考視圖的標(biāo)識(shí)符等組成。
[0173]具體地,在第31行中設(shè)置num_views。num_views指示在此流中所包括的視圖的總數(shù)。
[0174]在第33行中設(shè)置view_id[i]。該view_id[i]是用于將視圖互相區(qū)分的標(biāo)識(shí)符。
[0175]在第34 行中，設(shè)置 num_ref_viewslO [i]。該 num_ref_views_10 [i]指不在列表LO中的視差預(yù)測(cè)的數(shù)量。例如，在“num_ref_ViewS_10[i]”示出了 2的情況下，可以參考列表LO中的僅僅兩個(gè)視圖。
[0176]在第35 行中，設(shè)置 ref_view_id_10[i] [j]。該 ref_view_id_10 [i] [j]是在列表LO中的視差預(yù)測(cè)中要被用作參考的視圖的標(biāo)識(shí)符。例如，在盡管存在三個(gè)視圖但是“num_ref_views_10[i] ”示出了 2的情況下,設(shè)置“ref_view_id_10 [i] [j] ”以用于在列表LO中的三個(gè)視圖之中標(biāo)識(shí)要用作參考的兩個(gè)視圖。
[0177]在第36 行中，設(shè)置 num_ref_views_ll [i]。該 num_ref_views_ll [i]指不在列表LI中的視差預(yù)測(cè)的數(shù)量。例如，在“num_ref_views_ll[i]”示出2的情況下，可以參考列表LI中的僅僅兩個(gè)視圖。
[0178]在第37 行中，設(shè)置 ref_view_id_ll [i] [j]。該 ref_view_id_ll [i] [j]是在列表LI的視差預(yù)測(cè)中要被用作參考的視圖的標(biāo)識(shí)符。例如，在盡管存在三個(gè)視圖但是“ref_view_id_ll [i] ”示出了 2的情況下,設(shè)置“ref_view_id_ll [i] [j] ”以用于在列表LI中的三個(gè)視圖之中標(biāo)識(shí)要用作參考的兩個(gè)的視圖。
[0179]在第40 行中，設(shè)置 min_max_ref_view_id[i]。該 min_max_ref_view_id[i]是最小視差值和最大視差值所基于的參考視圖圖像(參考視圖彳目息)的視圖1D。
[0180]如果在不可以參考任何周圍區(qū)域的情況下該視圖1D與當(dāng)前區(qū)域的參考圖像索引的視圖1D相同，則最小視差值或最大視差值不是受到縮放而是被設(shè)置為預(yù)測(cè)矢量。如果在不可以參考任何周圍區(qū)域的情況下該視圖1D與參考圖像索引的視圖1D不同，則依照那兩個(gè)視圖之間的距離使得最小視差值或最大視差值受到縮放，并且將得到的結(jié)果設(shè)置為預(yù)測(cè)矢量。
[0181][切片頭中的語法的示例][0182]圖7是示出在切片頭中的語法的示例的表。在每行左端的號(hào)碼是為了說明的方便所設(shè)置的行號(hào)。
[0183]在圖7所示的示例中,在第5行中設(shè)置slice_type。該slice_type指示此切片是
1-切片、P-切片、或B-切片。
[0184]在第8行中，設(shè)置view_id。該view_id是用于標(biāo)識(shí)視圖的ID。
[0185]在第9 行中，設(shè)置 minimum_disparity。該 minimum_disparity 指示最小視差值。在第10行中，設(shè)置maximum_disparity。該maximum_disparity指示最大視差值。
[0186]在第 11 行中，設(shè)置 initialized_disparity_flag0 initialized_disparity_flag是指示最小視差值和最大視差值中的哪一個(gè)要被用作預(yù)測(cè)矢量的值的標(biāo)志。
[0187]即，當(dāng)initialized_disparity_fIag=O 時(shí)，將切片頭中的 minimum_disparity 設(shè)置為預(yù)測(cè)矢量。當(dāng) initialized_disparity_fIag=I 時(shí)，將切片頭中的 maximum_disparity設(shè)置為預(yù)測(cè)矢量。
[0188]在第12 行中，設(shè)置 pic_order_cnt_lsb。該 pic_order_cnt_lsb 是時(shí)間信息(或POC:圖片順序計(jì)數(shù))。
[0189]通過使用以上的語法，按照下面的方式在編碼側(cè)和解碼側(cè)生成預(yù)測(cè)矢量。例如，A代表要由要被解碼的區(qū)域用作參考的參考圖像與解碼圖片之間的視點(diǎn)距離，B代表解碼圖片與參考視圖圖像之間的視點(diǎn)距離，以及pmv代表要被解碼的區(qū)域的預(yù)測(cè)矢量。
[0190]當(dāng)A=B時(shí),如下面的表達(dá)式(6)所示生成預(yù)測(cè)矢量。
[0191]initialized_disparity_fIag=O — pmv=minimum_disparity
[0192]initialized_disparity_fIag=I — pmv=maximum_disparity
[0193]...(6)
[0194]當(dāng)A不等于B時(shí)，如下面的表達(dá)式(7)所示生成預(yù)測(cè)矢量。
[0195]initialized_disparity_fIag=O — pmv=minimum_disparity氺A/B
[0196]initialized_disparity_fIag=I — pmv=maximum_disparity氺A/B
[0197]...(7)
[0198]S卩，將依照?qǐng)D片之間的距離(A/B)經(jīng)歷了縮放的值設(shè)置為預(yù)測(cè)矢量。
[0199][編碼處理中的流程]
[0200]接下來，描述要由以上所述的圖像編碼裝置100所執(zhí)行的每個(gè)處理中的流程。首先，參照?qǐng)D8中所示的流程圖，描述編碼處理中的示例流程。
[0201]在步驟SlOl中，A/D轉(zhuǎn)換器101對(duì)輸入圖像執(zhí)行A/D轉(zhuǎn)換。在步驟S102中，屏幕重排緩沖器102存儲(chǔ)經(jīng)歷了 A/D轉(zhuǎn)換的圖像，并且按照編碼順序而不是顯示順序重排各個(gè)圖片。
[0202]在步驟S103中，算術(shù)運(yùn)算單元103計(jì)算由在步驟S102中的處理所重排的圖像與預(yù)測(cè)圖像之間的差別。當(dāng)要執(zhí)行幀間預(yù)測(cè)時(shí)，將預(yù)測(cè)圖像從運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115經(jīng)由選擇單元116提供給算術(shù)運(yùn)算單元103，并且當(dāng)要執(zhí)行幀內(nèi)預(yù)測(cè)時(shí)，將預(yù)測(cè)圖像從幀內(nèi)預(yù)測(cè)單元114經(jīng)由選擇單元116提供給算術(shù)運(yùn)算單元103。
[0203]差別數(shù)據(jù)的數(shù)據(jù)量小于原始圖像數(shù)據(jù)的數(shù)據(jù)量。因此，與直接地對(duì)圖像進(jìn)行編碼的情況相比可以使得數(shù)據(jù)量變小。
[0204]在步驟S104中，正交變換單元104對(duì)通過在步驟S103中的處理所生成的差分信息執(zhí)行正交變換。具體地，執(zhí)行諸如離散余弦變換或Karhunen-Loeve變換的正交變換，并且輸出變換系數(shù)。
[0205]在步驟S105中，量化單元105對(duì)通過在步驟S104中的處理所獲得的正交變換系
數(shù)進(jìn)行量化。
[0206]按照下面的方式對(duì)通過在步驟S105中的處理所量化的差分信息進(jìn)行本地解碼。在步驟S106中，逆量化單元108使用與量化單元105的屬性相對(duì)應(yīng)的屬性，對(duì)由在步驟S105中的處理所生成的量化后的正交變換系數(shù)(也被稱為量化系數(shù))執(zhí)行逆量化。
[0207]在步驟S107中，逆正交變換單元109使用與正交變換單元104的屬性相對(duì)應(yīng)的屬性，對(duì)通過在步驟S106中的處理所獲得的正交變換系數(shù)執(zhí)行逆正交變換。
[0208]在步驟S108中，算術(shù)運(yùn)算單元110將預(yù)測(cè)圖像加到局域解碼的差分信息，并且生成局域解碼圖像(與算術(shù)運(yùn)算單元103的輸入相對(duì)應(yīng)的圖像)。
[0209]在步驟S109中，去塊效應(yīng)濾波器111對(duì)通過在步驟S108中的處理所生成的圖像執(zhí)行去塊效應(yīng)濾波處理。以這種方式，移除塊失真(或移除處理單元區(qū)域中的失真)。
[0210]在步驟SllO中，解碼圖片緩沖器112存儲(chǔ)通過在步驟S109中的處理塊失真被移除的的圖像。應(yīng)當(dāng)注意，還將未受到去塊效應(yīng)濾波器111進(jìn)行的濾波處理的圖像從算術(shù)運(yùn)算單元Iio提供給解碼圖片緩沖器112，并且將其存儲(chǔ)在解碼圖片緩沖器112中。
[0211]在步驟Slll中，幀內(nèi)預(yù)測(cè)單元114在幀內(nèi)預(yù)測(cè)模式中執(zhí)行幀內(nèi)預(yù)測(cè)處理。在步驟S112中，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115執(zhí)行幀間運(yùn)動(dòng)視差預(yù)測(cè)處理以在幀間預(yù)測(cè)模式中執(zhí)行運(yùn)動(dòng)視差預(yù)測(cè)和運(yùn)動(dòng)視差補(bǔ)償。稍后將參照?qǐng)D9描述此幀間運(yùn)動(dòng)視差預(yù)測(cè)處理。
[0212]通過步驟S112中的處理，在所有幀間預(yù)測(cè)模式中預(yù)測(cè)運(yùn)動(dòng)視差，并且生成預(yù)測(cè)圖像。還針對(duì)運(yùn)動(dòng)視差矢量生成預(yù)測(cè)矢量。當(dāng)在要生成視差矢量的預(yù)測(cè)矢量的情況下不可以參考任何周圍區(qū)域時(shí)，將最小視差值或最大視差值設(shè)置為預(yù)測(cè)矢量。然后計(jì)算編碼成本值，確定最佳幀間預(yù)測(cè)模式，以及將在最佳幀間預(yù)測(cè)模式中的預(yù)測(cè)圖像和成本值輸出到選擇單元 116。
[0213]在步驟SI 13中，選擇單元116基于從幀內(nèi)預(yù)測(cè)單元114和運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115所輸入的各個(gè)編碼成本值確定最佳預(yù)測(cè)模式。具體地，選擇單元116選擇由幀內(nèi)預(yù)測(cè)單元114所生成的預(yù)測(cè)圖像或由運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115所生成的預(yù)測(cè)圖像。
[0214]將指示選擇了哪個(gè)預(yù)測(cè)圖像的選擇信息提供給幀內(nèi)預(yù)測(cè)單元114或運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115 (它們中的任一個(gè)已經(jīng)生成了所選擇的預(yù)測(cè)圖像)。當(dāng)選擇了在最佳幀內(nèi)預(yù)測(cè)模式中所生成的預(yù)測(cè)圖像時(shí)，幀內(nèi)預(yù)測(cè)單元114將指示最佳幀內(nèi)預(yù)測(cè)模式的信息(或幀內(nèi)預(yù)測(cè)模式信息)提供給無損編碼單元106。
[0215]當(dāng)選擇了在最佳幀間預(yù)測(cè)模式中所生成的預(yù)測(cè)圖像時(shí)，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115如果需要?jiǎng)t將指示最佳幀間預(yù)測(cè)模式的信息以及與最佳幀間預(yù)測(cè)模式相應(yīng)的信息輸出到無損編碼單元106。與最佳幀間預(yù)測(cè)模式相應(yīng)的信息包括運(yùn)動(dòng)視差矢量信息、預(yù)測(cè)矢量索弓丨、intitialized_disparity標(biāo)志、參考圖像索引等。
[0216]在步驟SI 14中，無損編碼單元106對(duì)通過在步驟S105中的處理所量化的變換系數(shù)進(jìn)行編碼。即，對(duì)于差別圖像(在幀間預(yù)測(cè)的情況下為二階差別圖像)執(zhí)行諸如可變長(zhǎng)度編碼或算術(shù)編碼的無損編碼。
[0217]無損編碼單元106還對(duì)關(guān)于通過在步驟S113中的處理所選擇的預(yù)測(cè)圖像的預(yù)測(cè)模式的信息進(jìn)行編碼，并且將編碼的信息加到通過對(duì)差別圖像進(jìn)行編碼所獲得的編碼數(shù)據(jù)。具體地，無損編碼單元106還依照從幀內(nèi)預(yù)測(cè)單元114所提供的幀內(nèi)預(yù)測(cè)模式信息或與從運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115所提供的與最佳幀間預(yù)測(cè)模式相應(yīng)的信息對(duì)該信息進(jìn)行編碼，并且將編碼信息加到編碼數(shù)據(jù)。更具體地，還對(duì)運(yùn)動(dòng)視差矢量信息、預(yù)測(cè)矢量索引、initialized_disparity標(biāo)志、參考巾貞索弓I等進(jìn)行編碼，并且將其加到編碼數(shù)據(jù)。此外，還對(duì)來自視差檢測(cè)單元122的最大和最小視差值以及參考視圖信息進(jìn)行編碼，并且將其加到編碼數(shù)據(jù)。
[0218]initialized_disparity標(biāo)志以及最大和最小視差值被包括在以上參照?qǐng)D7所述的切片頭中，并且參考視圖信息被包括在以上參照?qǐng)D6所描述的序列參數(shù)集中。
[0219]在步驟SI 15中，累積緩沖器107對(duì)從無損編碼單元106所輸出的編碼數(shù)據(jù)進(jìn)行累積。適當(dāng)?shù)刈x取在累積緩沖器107中所累積的編碼數(shù)據(jù)，并且將其經(jīng)由傳送信道傳送到解碼側(cè)。
[0220]在步驟S116中，基于通過在步驟S115中的處理在累積緩沖器107中所累積的壓縮圖像，碼率控制單元117控制量化單元105的量化操作速率以便不使得發(fā)生上溢或下溢。
[0221]當(dāng)完成步驟S116中的處理時(shí)，編碼處理結(jié)束。
[0222][幀間運(yùn)動(dòng)視差預(yù)測(cè)處理中的流程]
[0223]現(xiàn)在參照?qǐng)D9中的流程圖，描述要在圖8中的步驟S112中執(zhí)行的幀間運(yùn)動(dòng)視差預(yù)測(cè)處理中的示例流程。
[0224]將來自解碼圖片緩沖器112的解碼圖像像素值提供給運(yùn)動(dòng)視差矢量搜索單元131和預(yù)測(cè)圖像生成單元132。將來自屏幕重排緩沖器102的原始圖像像素值提供給與運(yùn)動(dòng)視差矢量搜索單元131和編碼成本計(jì)算單元133。
[0225]在步驟S131中，運(yùn)動(dòng)視差矢量搜索單元131通過使用來自屏幕重排緩沖器102的原始圖像像素值和來自解碼圖片緩沖器112的解碼圖像像素值來以每個(gè)幀間預(yù)測(cè)模式執(zhí)行運(yùn)動(dòng)視差預(yù)測(cè)。作為結(jié)果，檢測(cè)到運(yùn)動(dòng)視差矢量，并且運(yùn)動(dòng)視差矢量搜索單元131將所檢測(cè)到的運(yùn)動(dòng)視差矢量、用作參考的參考圖像索引以及預(yù)測(cè)模式信息提供給預(yù)測(cè)圖像生成單元132和編碼成本計(jì)算單元133。
[0226]在步驟S132中，預(yù)測(cè)圖像生成單元132通過使用來自運(yùn)動(dòng)視差矢量搜索單元131的運(yùn)動(dòng)視差矢量對(duì)來自解碼圖片緩沖器112的解碼圖像像素值執(zhí)行運(yùn)動(dòng)視差補(bǔ)償處理，并且生成預(yù)測(cè)圖像。還在所有幀間預(yù)測(cè)模式中執(zhí)行此處理。
[0227]在步驟S133中，空間預(yù)測(cè)矢量生成單元136、時(shí)間視差預(yù)測(cè)矢量生成單元137、以及預(yù)測(cè)矢量生成單元138在每個(gè)幀間預(yù)測(cè)模式中執(zhí)行運(yùn)動(dòng)視差矢量預(yù)測(cè)處理。稍后將參照?qǐng)D10描述此運(yùn)動(dòng)視差矢量預(yù)測(cè)處理。通過步驟S133中的處理，生成每個(gè)幀間預(yù)測(cè)模式中的預(yù)測(cè)矢量。將所生成的預(yù)測(cè)矢量提供給編碼成本計(jì)算單元133。
[0228]此外，在步驟S134中，空間預(yù)測(cè)矢量生成單元136、時(shí)間視差預(yù)測(cè)矢量生成單元137以及預(yù)測(cè)矢量生成單元138以合并模式執(zhí)行運(yùn)動(dòng)視差矢量預(yù)測(cè)處理。稍后將參照?qǐng)D11描述在合并模式中的此運(yùn)動(dòng)視差矢量預(yù)測(cè)處理。通過步驟S134中的處理，生成了在合并模式和跳過模式(skip mode)中的預(yù)測(cè)矢量。將所生成的預(yù)測(cè)矢量提供給編碼成本計(jì)算單元133。
[0229]在此，合并模式是用于僅將指示合并模式中的預(yù)測(cè)矢量的合并索引和殘差系數(shù)傳送到解碼側(cè)的模式，并且跳過模式是用于僅將合并索引傳送到解碼側(cè)的模式。在解碼側(cè)，通過使用合并指數(shù)、根據(jù)周圍的運(yùn)動(dòng)視差矢量確定當(dāng)前區(qū)域的運(yùn)動(dòng)視差矢量。
[0230]在步驟S135中，編碼成本計(jì)算單元133在各個(gè)模式(分別是幀間預(yù)測(cè)模式、合并模式以及跳過模式)中計(jì)算編碼成本值。在編碼成本的計(jì)算中，例如，使用在以上所述的表達(dá)式(4)或(5)中的成本函數(shù)。
[0231]編碼成本計(jì)算單元133將所計(jì)算出的編碼成本值連同從各個(gè)組件所提供的信息一起提供給模式確定單元134。
[0232]在步驟S136中，模式確定單元134將來自編碼成本計(jì)算單元133的編碼成本值互相比較，以確定最佳幀間預(yù)測(cè)模式。模式確定單元134將在所確定的最佳幀間預(yù)測(cè)模式中的預(yù)測(cè)圖像的像素值提供給選擇單元116。
[0233]在通過步驟S133或S134中的處理將多于一個(gè)預(yù)測(cè)矢量設(shè)置為候選的情況下，通過步驟S135中的處理確定候選的編碼成本值，并且由模式確定單元134確定預(yù)測(cè)矢量。另夕卜，通過在步驟S133中的處理針對(duì)每個(gè)切片計(jì)算編碼成本值，并且模式確定單元134確定initialized_disparity 標(biāo)志是 I 還是 O。
[0234]因此，模式確定單元134還將指示所確定的最佳幀間預(yù)測(cè)模式的模式信息、所確定的預(yù)測(cè)矢量的索引、參考圖像索引、指示運(yùn)動(dòng)視差矢量與預(yù)測(cè)矢量之間的差別的運(yùn)動(dòng)視差矢量信息提供給無損編碼單元106。當(dāng)確定為合并模式或跳過模式時(shí)，模式確定單元134將關(guān)于所確定的模式的信息和合并索引(在合并模式中的預(yù)測(cè)矢量的索引)提供給無損編碼單元106。模式確定單元134針對(duì)每個(gè)切片還將initialized_disparity的值提供給無損編碼單元106。
[0235]模式確定單元134還將關(guān)于所確定的模式的信息、參考圖像索引、以及運(yùn)動(dòng)視差矢量按照原樣提供給編碼信息累積緩沖器135。
[0236][在運(yùn)動(dòng)視差矢量預(yù)測(cè)處理中的流程]
[0237]現(xiàn)在參照?qǐng)D10中的流程圖，描述要在圖9的步驟S133中執(zhí)行的運(yùn)動(dòng)視差矢量預(yù)測(cè)處理中的示例流程。
[0238]將模式信息、參考圖像索引、運(yùn)動(dòng)視差矢量等作為關(guān)于周圍區(qū)域的編碼信息累積在編碼信息累積緩沖器135中。
[0239]空間預(yù)測(cè)矢量生成單元136如果需要?jiǎng)t從編碼信息累積緩沖器135獲取諸如關(guān)于周圍區(qū)域的模式信息、參考圖像索引以及運(yùn)動(dòng)視差矢量的信息。在步驟S151中，空間預(yù)測(cè)矢量生成單元136通過使用所獲取的信息生成當(dāng)前區(qū)域的空間關(guān)聯(lián)的預(yù)測(cè)矢量?？臻g預(yù)測(cè)矢量生成單元136將所生成的空間關(guān)聯(lián)的預(yù)測(cè)矢量和在生成中所使用的關(guān)于周圍區(qū)域的信息提供給預(yù)測(cè)矢量生成單元138。
[0240]時(shí)間視差預(yù)測(cè)矢量生成單元137如果需要?jiǎng)t從編碼信息累積緩沖器135獲取諸如關(guān)于周圍區(qū)域的模式信息、參考圖像索引以及運(yùn)動(dòng)視差矢量的信息。在步驟S152中，時(shí)間視差預(yù)測(cè)矢量生成單元137通過使用所獲取的信息生成當(dāng)前區(qū)域的時(shí)間視差關(guān)聯(lián)的預(yù)測(cè)矢量。時(shí)間視差預(yù)測(cè)矢量生成單元137將所生成的時(shí)間視差關(guān)聯(lián)的預(yù)測(cè)矢量和在生成中所使用的周圍區(qū)域信息提供給預(yù)測(cè)矢量生成單元138。
[0241]在步驟S153中，預(yù)測(cè)矢量生成單元138確定是否可以參考當(dāng)前區(qū)域的所有周圍區(qū)域。當(dāng)未從空間預(yù)測(cè)矢量生成單元136或時(shí)間視差預(yù)測(cè)矢量生成單元137提供任何預(yù)測(cè)矢量時(shí)，在步驟S153中確定不存在運(yùn)動(dòng)視差信息或不可以參考任何周圍區(qū)域，并且然后處理 前進(jìn)到步驟S154。
[0242]在步驟S154中，預(yù)測(cè)矢量生成單元138獲取各種需要的信息。具體地，預(yù)測(cè)矢量生 成單元138從視差檢測(cè)單元122獲取最小視差值和最大視差值、以及參考視圖信息。預(yù)測(cè) 矢量生成單元138還從編碼成本計(jì)算單元133獲取關(guān)于當(dāng)前區(qū)域的參考圖像索引的信息。
[0243]在步驟S155中，預(yù)測(cè)矢量生成單元138確定其是否是視差矢量。當(dāng)由參考圖像索 引所指示的參考圖像是同一時(shí)刻的不同視圖時(shí)，在步驟S155中將其確定為視差矢量，并且 預(yù)測(cè)矢量生成單元138在步驟S156中將最小視差值和最大視差值確定為用于預(yù)測(cè)矢量的 候選。
[0244]在步驟S157中，預(yù)測(cè)矢量生成單元138確定參考圖像索引與由參考視圖息所指示 的參考視圖圖像的視圖1D是否相同。如果在步驟S157中確定參考圖像索引與參考視圖圖 像的視圖1D不同，則預(yù)測(cè)矢量生成單元138在步驟S158中依照視圖的距離對(duì)每個(gè)候選預(yù) 測(cè)矢量執(zhí)行縮放。然后，預(yù)測(cè)矢量生成單元138將經(jīng)歷了縮放的候選預(yù)測(cè)矢量提供給編碼 成成本計(jì)算單元133，并且結(jié)束運(yùn)動(dòng)視差矢量預(yù)測(cè)處理。
[0245]如果在步驟S157中確定參考圖像索引與參考視圖圖像的視圖1D相同，則預(yù)測(cè)矢 量生成單元138將候選預(yù)測(cè)矢量提供給編碼成本計(jì)算單元133，并且結(jié)束運(yùn)動(dòng)視差矢量預(yù) 測(cè)處理。
[0246]當(dāng)由參考圖像索引所指示的參考圖像是不同時(shí)間的相同視圖時(shí)，在步驟S155中 將其確定為運(yùn)動(dòng)矢量，并且處理前進(jìn)到步驟S159。在步驟S159中，預(yù)測(cè)矢量生成單元138 將0作為預(yù)測(cè)矢量提供給編碼成本計(jì)算單元133，并且結(jié)束運(yùn)動(dòng)視差矢量預(yù)測(cè)處理。
[0247]另一方面，當(dāng)在步驟S153中確定存在運(yùn)動(dòng)信息或可以參考一個(gè)或多個(gè)周圍區(qū)域 的情況下，處理繼續(xù)到步驟S160。如果在運(yùn)動(dòng)信息中存在重疊，則預(yù)測(cè)矢量生成單元138在 步驟S160中去除重疊。然后，預(yù)測(cè)矢量生成單元138將除了作為候選預(yù)測(cè)矢量的信息之外 的信息提供給編碼成本計(jì)算單元133，并且結(jié)束運(yùn)動(dòng)視差矢量預(yù)測(cè)處理。
[0248]當(dāng)存在多于一個(gè)候選時(shí)，模式確定單元134依照編碼成本值從那些候選中確定一 個(gè)預(yù)測(cè)矢量，并且將所確定的預(yù)測(cè)矢量的索引提供給無損編碼單元106。
[0249][在合并模式中的運(yùn)動(dòng)視差矢量預(yù)測(cè)處理中的流程]
[0250]現(xiàn)在參照?qǐng)D11中的流程圖，描述要在圖9的步驟S134中執(zhí)行的合并模式中的運(yùn) 動(dòng)視差矢量預(yù)測(cè)處理中的示例流程。
[0251]將模式信息、參考圖像索引、運(yùn)動(dòng)視差矢量等作為關(guān)于周圍區(qū)域的編碼信息累積 在編碼信息累積緩沖器135中。
[0252]空間預(yù)測(cè)矢量生成單元136如果需要?jiǎng)t從編碼信息累積緩沖器135獲取諸如關(guān)于 周圍區(qū)域的模式信息、參考圖像索引以及運(yùn)動(dòng)視差矢量的信息。在步驟S171中，空間預(yù)測(cè) 矢量生成單元136通過使用所獲取的信息生成當(dāng)前區(qū)域的空間關(guān)聯(lián)的預(yù)測(cè)矢量?？臻g預(yù)測(cè) 矢量生成單元136將所生成的空間關(guān)聯(lián)的預(yù)測(cè)矢量和在生成中所使用的關(guān)于周圍區(qū)域的 信息提供給預(yù)測(cè)矢量生成單元138。
[0253]時(shí)間視差預(yù)測(cè)矢量生成單元137如果需要?jiǎng)t從編碼信息累積緩沖器135獲取諸如 關(guān)于周圍區(qū)域的模式信息、參考圖像索引、以及運(yùn)動(dòng)視差矢量的信息。在步驟S172中，時(shí)間 視差預(yù)測(cè)矢量生成單元137通過使用該信息生成當(dāng)前區(qū)域的時(shí)間視差關(guān)聯(lián)的預(yù)測(cè)矢量。時(shí)間視差預(yù)測(cè)矢量生成單元137將所生成的時(shí)間視差關(guān)聯(lián)的預(yù)測(cè)矢量和在生成中所使用的周圍區(qū)域的信息提供給預(yù)測(cè)矢量生成單元138。
[0254]在步驟S173中，預(yù)測(cè)矢量生成單元138確定是否可以參考所有周圍區(qū)域。當(dāng)未從空間預(yù)測(cè)矢量生成單元136或時(shí)間視差預(yù)測(cè)矢量生成單元137提供任何預(yù)測(cè)矢量信息時(shí)，在步驟S173中確定不存在運(yùn)動(dòng)信息或不可以參考任何周圍區(qū)域，并且然后處理繼續(xù)到步驟 S174。
[0255]在步驟S174中，預(yù)測(cè)矢量生成單元138獲取各種需要的信息。具體地，預(yù)測(cè)矢量生成單元138從視差檢測(cè)單元122獲取最小視差值和最大視差值、以及參考視圖信息。
[0256]在步驟S175中，預(yù)測(cè)矢量生成單元138將參考圖像索引設(shè)置為O。
[0257]在步驟S176中，預(yù)測(cè)矢量生成單元138確定其是否是視差矢量。當(dāng)由參考圖像索引所指示的參考圖像是在同一時(shí)刻的不同視圖時(shí)，在步驟S176中將其確定為視差矢量，并且預(yù)測(cè)矢量生成單元138在步驟S177中將最小視差值和最大視差值確定為用于預(yù)測(cè)矢量的候選。
[0258]在步驟S178中，預(yù)測(cè)矢量生成單元138確定參考圖像索引與由參考視圖信息所指示的參考視圖圖像的視圖1D是否相同。如果在步驟S178中確定參考圖像索引與參考視圖圖像的視圖1D不同，則預(yù)測(cè)矢量生成單元138在步驟S179中依照視圖的距離對(duì)每個(gè)候選預(yù)測(cè)矢量執(zhí)行縮放。然后，預(yù)測(cè)矢量生成單元138將經(jīng)歷了縮放的候選預(yù)測(cè)矢量提供給編碼成本函數(shù)計(jì)算單元133，并且結(jié)束運(yùn)動(dòng)視差矢量預(yù)測(cè)處理。
[0259]如果在步驟S178中確定參考圖像索引ID與參考視圖圖像的視圖相同，則預(yù)測(cè)矢量生成單元138將候選預(yù)測(cè)矢量提供給編碼成本計(jì)算單元133，并且結(jié)束在合并模式中的運(yùn)動(dòng)視差矢量預(yù)測(cè)處理。
[0260]當(dāng)由參考圖像索引所指示的參考圖像是在不同時(shí)間的相同視圖時(shí)，在步驟S176中將其確定為運(yùn)動(dòng)矢量，并且處理繼續(xù)到步驟S180。在步驟S180中，預(yù)測(cè)矢量生成單元138將O作為預(yù)測(cè)矢量提供給編碼成本計(jì)算單元133，并且結(jié)束合并模式中的運(yùn)動(dòng)視差矢量預(yù)測(cè)處理。
[0261]另一方面，當(dāng)在步驟S173中確定存在運(yùn)動(dòng)信息或可以參考一個(gè)或更多個(gè)周圍區(qū)域時(shí)，處理繼續(xù)到步驟S181。如果在運(yùn)動(dòng)信息中存在重疊，則預(yù)測(cè)矢量生成單元138在步驟S181中去除重疊。預(yù)測(cè)矢量生成單元138然后將除了作為候選預(yù)測(cè)矢量的信息之外的信息提供給編碼成本計(jì)算單元133，并且結(jié)束運(yùn)動(dòng)視差矢量預(yù)測(cè)處理。
[0262]當(dāng)存在多于一個(gè)候選時(shí)，模式確定單元134依照編碼成本值從那些候選中確定一個(gè)預(yù)測(cè)矢量，并且將所確定的預(yù)測(cè)矢量的索引作為合并索引提供給無損編碼單元106。
[0263]如上所述，在當(dāng)要確定視差矢量的預(yù)測(cè)矢量時(shí)不可以參考任何周圍區(qū)域的情況下，將最小視差值或最大視差值設(shè)置為預(yù)測(cè)矢量。作為結(jié)果，使得編碼效率高于在之前的預(yù)測(cè)矢量被設(shè)置為O矢量的情況下的編碼效率。
[0264]<3.第二實(shí)施例>
[0265][圖像解碼裝置]
[0266]圖12示出了作為應(yīng)用了本發(fā)明的圖像處理裝置的圖像解碼裝置的實(shí)施例的結(jié)構(gòu)。圖12中所示的圖像解碼裝置200是與圖1中所示的圖像編碼裝置100兼容的解碼裝置。[0267]由圖像編碼裝置100所編碼的數(shù)據(jù)被經(jīng)由預(yù)定傳送路徑而傳送到與圖像編碼裝置100兼容的圖像解碼裝置200，并且然后被解碼。
[0268]如圖14所示，圖像解碼裝置200包括累積緩沖器201、無損解碼單元202、逆量化單元203、逆正交變換單元204、算術(shù)運(yùn)算單元205、去塊效應(yīng)濾波器206、屏幕重排緩沖器207、以及D/A轉(zhuǎn)換器208。圖像解碼裝置200還包括解碼圖片緩沖器209、選擇單元210、幀內(nèi)預(yù)測(cè)單元211、運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212以及選擇單元213。
[0269]圖像解碼裝置200還包括多視圖解碼圖片緩沖器221。
[0270]累積緩沖器201對(duì)所傳送的編碼數(shù)據(jù)進(jìn)行累積。編碼收據(jù)已經(jīng)由圖像編碼裝置100所編碼。無損解碼單元202通過與由圖2所示的無損編碼單元106所使用的編碼方法相對(duì)應(yīng)的方法，對(duì)在預(yù)定時(shí)間從累積緩沖器201所讀取的編碼數(shù)據(jù)進(jìn)行解碼。
[0271]逆量化單元203通過與圖2所示的量化單元105所使用的量化方法相對(duì)應(yīng)的方法，對(duì)由無損解碼單元202所解碼的系數(shù)數(shù)據(jù)(量化系數(shù))進(jìn)行逆量化。具體地，使用從圖像編碼裝置100所提供的量化參數(shù)，逆量化單元203通過與由圖2所示的逆量化單元108所使用的方法相同的方法對(duì)量化后的系數(shù)執(zhí)行逆量化。
[0272]逆量化單元203將逆量化后的系數(shù)數(shù)據(jù)或正交變換系數(shù)提供給逆正交變換單元204。逆量化單元203還將在逆量化中所使用的量化參數(shù)提供給去塊效應(yīng)濾波器206。逆正交變換單元204通過與由圖2所示的正交變換單元104所使用的正交變換方法相對(duì)應(yīng)的方法、使得正交變換系數(shù)經(jīng)歷逆正交變換，并且獲得與在由圖像編碼裝置100所執(zhí)行的正交變換之前的殘差誤差數(shù)據(jù)相對(duì)應(yīng)的解碼殘差誤差數(shù)據(jù)。
[0273]將通過逆正交變換所獲得的解碼殘差誤差數(shù)據(jù)提供給算術(shù)運(yùn)算單元205。還將預(yù)測(cè)圖像從幀內(nèi)預(yù)測(cè)單元211或運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212經(jīng)由選擇單元213提供給算術(shù)運(yùn)算單元205。
[0274]算術(shù)運(yùn)算單元205將解碼殘差誤差數(shù)據(jù)加到預(yù)測(cè)圖像，并且獲得與在由圖像編碼裝置100的算術(shù)運(yùn)算單元103所執(zhí)行的減法之前的圖像數(shù)據(jù)相對(duì)應(yīng)的解碼圖像數(shù)據(jù)。算術(shù)運(yùn)算單元205將解碼圖像數(shù)據(jù)提供給去塊效應(yīng)濾波器206。
[0275]去塊效應(yīng)濾波器206基本上具有與圖像編碼裝置100的去塊效應(yīng)濾波器111相同的結(jié)構(gòu)。需要時(shí)去塊效應(yīng)濾波器206通過執(zhí)行去塊效應(yīng)濾波操作從解碼圖像中移除塊失真。
[0276]屏幕重排緩沖器207執(zhí)行圖像重排。具體地，按照原始顯示順序?qū)τ蓤D2所示的屏幕重排緩沖器102按照編碼順序所重排的幀序列進(jìn)行重排。D/A轉(zhuǎn)換器208對(duì)于從屏幕重排緩沖器207所提供的圖像執(zhí)行D/A轉(zhuǎn)換，并且將轉(zhuǎn)換后的圖像輸出到顯示器(未示出)以顯示該圖像。
[0277]去塊效應(yīng)濾波器206的輸出還被提供到解碼圖片緩沖器209。
[0278]解碼圖片緩沖器209、選擇單元210、幀內(nèi)預(yù)測(cè)單元211、運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212、以及選擇單元213分別地對(duì)應(yīng)于圖像編碼裝置100的解碼圖片緩沖器112、選擇單元113、幀內(nèi)預(yù)測(cè)單元114、運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元115、以及選擇單元116。
[0279]將來自去塊效應(yīng)濾波器206的編碼視點(diǎn)的解碼圖像或除了來自多視圖解碼圖片緩沖器211的編碼視點(diǎn)之外的視點(diǎn)的解碼圖像累積在解碼圖片緩沖器209中。
[0280]選擇單元210從解碼圖片緩沖器209中讀取要進(jìn)被行幀間處理的圖像和要被參考的圖像，并且將該圖像提供給運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212。選擇單元210還從解碼圖片緩沖器209中讀取要用于幀內(nèi)預(yù)測(cè)的圖像，并且將該圖像提供給幀內(nèi)預(yù)測(cè)單元211。
[0281]適當(dāng)?shù)貙⑼ㄟ^對(duì)頭信息進(jìn)行解碼所獲得的并且指示幀內(nèi)預(yù)測(cè)模式的信息等從無損解碼單元202提供給幀內(nèi)預(yù)測(cè)單元211?；谠撔畔?，幀內(nèi)預(yù)測(cè)單元211根據(jù)從解碼圖片緩沖器209所獲得的參考圖像生成預(yù)測(cè)圖像，并且將所生成的預(yù)測(cè)圖像提供給選擇單元213。
[0282]將通過對(duì)頭信息進(jìn)行解碼所獲得的信息(預(yù)測(cè)模式信息、指示運(yùn)動(dòng)視差矢量與預(yù)測(cè)矢量之間的差別的運(yùn)動(dòng)視差矢量信息、參考幀索引、標(biāo)志、各個(gè)參數(shù)等)從無損解碼單元202提供到運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212。此外，將最小視差值和最大視差值、以及參考視圖信息從無損解碼單元202提供給運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212。
[0283]基于從無損解碼單元202所提供的信息，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212通過使用位于當(dāng)前區(qū)域附近的周圍區(qū)域的運(yùn)動(dòng)視差矢量生成預(yù)測(cè)矢量。當(dāng)要確定視差矢量的預(yù)測(cè)矢量但是不可以參考周圍區(qū)域的任何運(yùn)動(dòng)視差矢量時(shí)，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212將從無損解碼單元202所提供的最小視差值或最大視差值設(shè)置為預(yù)測(cè)矢量。
[0284]使用所生成的預(yù)測(cè)矢量和運(yùn)動(dòng)視差矢量信息，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212重新構(gòu)建運(yùn)動(dòng)視差矢量、根據(jù)從解碼圖片緩沖器209所獲取的參考圖像生成預(yù)測(cè)圖像、以及將所生成的預(yù)測(cè)圖像提供給選擇單元213。
[0285]選擇單元213選擇由運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212所生成的預(yù)測(cè)圖像或由幀內(nèi)預(yù)測(cè)單元211所生成的預(yù)測(cè)圖像，并且將所選擇的預(yù)測(cè)圖像提供給算術(shù)運(yùn)算單元205。
[0286]多視圖解碼圖片緩沖器211依照當(dāng)前視圖(視點(diǎn))采用除了編碼視點(diǎn)之外的視點(diǎn)的解碼圖像替換在解碼圖片緩沖器209中所累積的編碼視點(diǎn)的解碼圖像。
[0287][運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元的結(jié)構(gòu)示例]
[0288]接下來，描述圖像解碼裝置200的各個(gè)組件。圖13是示出運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212的示例結(jié)構(gòu)的框圖。圖13所示的示例僅示出了主要信息的流程。
[0289]在圖13中所示的示例中，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212被設(shè)計(jì)成包括編碼信息累積緩沖器231、空間預(yù)測(cè)矢量生成單元232、時(shí)間視差預(yù)測(cè)矢量生成單元233、預(yù)測(cè)矢量生成單元234、算術(shù)運(yùn)算單元235、以及預(yù)測(cè)圖像生成單元236。具體地，空間預(yù)測(cè)矢量生成單元232、時(shí)間視差預(yù)測(cè)矢量生成單元233、以及預(yù)測(cè)矢量生成單元234對(duì)應(yīng)于圖5中所示的空間預(yù)測(cè)矢量生成單元136、時(shí)間視差預(yù)測(cè)矢量生成單元137、以及預(yù)測(cè)矢量生成單元138。
[0290]將關(guān)于當(dāng)前區(qū)域的模式信息、參考圖像索引、預(yù)測(cè)矢量索引、以及指示運(yùn)動(dòng)視差矢量與預(yù)測(cè)矢量之間的差別的運(yùn)動(dòng)視差矢量信息從無損解碼單元203提供給編碼信息累積緩沖器231。另外，將從切片頭所獲得的initialiZed_disparity標(biāo)志、最小視差值和最大視差值以及從序列參數(shù)集所獲得的參考視圖信息從無損解碼單元202提供給編碼信息累積緩沖器231。
[0291]此外，由算術(shù)運(yùn)算單元235所重新構(gòu)建的周圍區(qū)域運(yùn)動(dòng)視差矢量(在下文中被稱為解碼運(yùn)動(dòng)視差矢量)被提供給編碼信息累積緩沖器231。
[0292]空間預(yù)測(cè)矢量生成單元232如果需要?jiǎng)t從編碼信息累積緩沖器231獲取諸如關(guān)于周圍區(qū)域的模式信息、參考圖像索引以及解碼運(yùn)動(dòng)視差矢量的信息，并且通過使用那些信息生成當(dāng)前區(qū)域的空間關(guān)聯(lián)的預(yù)測(cè)矢量?？臻g預(yù)測(cè)矢量生成單元232將所生成的空間關(guān)聯(lián)的預(yù)測(cè)矢量和在生成中所使用的關(guān)于周圍區(qū)域的信息提供給預(yù)測(cè)矢量生成單元234。
[0293]時(shí)間視差預(yù)測(cè)矢量生成單元233如果需要?jiǎng)t從編碼信息累積緩沖器231獲取諸如關(guān)于周圍區(qū)域的模式信息、參考圖像索引以及解碼運(yùn)動(dòng)視差矢量的信息。時(shí)間視差預(yù)測(cè)矢量生成單元233通過使用那些信息生成當(dāng)前區(qū)域的時(shí)間視差關(guān)聯(lián)的預(yù)測(cè)矢量。時(shí)間視差預(yù)測(cè)矢量生成單元233將所生成的時(shí)間視差關(guān)聯(lián)的預(yù)測(cè)矢量和在生成中所使用的周圍區(qū)域信息提供給預(yù)測(cè)矢量生成單元234。
[0294]預(yù)測(cè)矢量生成單元234從編碼信息累積緩沖器231獲取參考圖像索引、預(yù)測(cè)矢量索引、initialized_disparity標(biāo)志、最小視差值和最大視差值、以及參考視圖信息。預(yù)測(cè)矢量生成單元234從空間預(yù)測(cè)矢量生成單元232和時(shí)間視差預(yù)測(cè)矢量生成單元233獲取所生成的預(yù)測(cè)矢量和周圍區(qū)域信息。
[0295]通過參考所獲取的信息，預(yù)測(cè)矢量生成單元234將來自空間預(yù)測(cè)矢量生成單元232或時(shí)間視差預(yù)測(cè)矢量生成單元233的預(yù)測(cè)矢量、O矢量或根據(jù)最小視差值或最大視差值所確定的預(yù)測(cè)矢量提供給算術(shù)運(yùn)算單元235。具體地，當(dāng)要確定視差矢量的預(yù)測(cè)矢量但是不可以參考周圍區(qū)域的任何運(yùn)動(dòng)視差矢量時(shí)，預(yù)測(cè)矢量生成單元234將從無損解碼單元202所提供的最小視差值或最大視差值設(shè)置為預(yù)測(cè)矢量。
[0296]算術(shù)運(yùn)算單元235從編碼信息累積緩沖器231獲取運(yùn)動(dòng)視差矢量信息(關(guān)于運(yùn)動(dòng)視差矢量的差值)，并且通過將運(yùn)動(dòng)視差矢量信息加到從預(yù)測(cè)矢量生成單元234所提供的預(yù)測(cè)矢量來重新構(gòu)建運(yùn)動(dòng)視差矢量。算術(shù)運(yùn)算單元235將重新構(gòu)建的運(yùn)動(dòng)視差矢量提供給預(yù)測(cè)圖像生成單元236和編碼信息累積緩沖器231。
[0297]預(yù)測(cè)圖像生成單元236從解碼圖片緩沖器209獲取由從編碼信息累積緩沖器231所提供的參考圖像索引所指示的解碼圖像的像素值，并且通過使用從算術(shù)運(yùn)算單元235所提供的運(yùn)動(dòng)視差矢量生成預(yù)測(cè)圖像。預(yù)測(cè)圖像生成單元236將所生成的預(yù)測(cè)圖像的像素值提供給選擇單元213。
[0298][解碼處理中的流程]
[0299]接下來，描述由以上所述的圖像解碼裝置200所執(zhí)行的每個(gè)處理中的流程。首先參照?qǐng)D14中所示的流程圖，描述在解碼操作中的示例流程。
[0300]當(dāng)開始了解碼操作時(shí)，累積緩沖器201在步驟S201中對(duì)所傳送的編碼數(shù)據(jù)進(jìn)行累積。在步驟S202中，無損解碼單元202對(duì)從累積緩沖器201所提供的編碼數(shù)據(jù)進(jìn)行解碼。具體地，對(duì)由圖2中所示的無損編碼單元106所編碼的1-圖片、P-圖片以及B-圖片進(jìn)行解碼。
[0301 ] 此時(shí)，也對(duì)預(yù)測(cè)模式信息(幀內(nèi)預(yù)測(cè)模式、幀間預(yù)測(cè)模式、合并模式、跳過模式等)進(jìn)行解碼。此外，還對(duì)運(yùn)動(dòng)視差矢量信息、參考圖像索弓丨、預(yù)測(cè)矢量索引、initialized_disparity標(biāo)志、最小視差值和最大視差值、以及與幀間預(yù)測(cè)模式相對(duì)應(yīng)的信息(諸如參考視圖信息)進(jìn)行解碼。
[0302]在預(yù)測(cè)模式信息是幀內(nèi)預(yù)測(cè)模式信息的情況下，將該預(yù)測(cè)模式信息提供給幀內(nèi)預(yù)測(cè)單元211。在預(yù)測(cè)模式信息是幀間預(yù)測(cè)模式信息、合并模式或跳過模式的情況下，將該預(yù)測(cè)模式信息和根據(jù)幀間預(yù)測(cè)模式的信息提供給運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212。
[0303]在步驟S203中，逆量化單元203對(duì)作為由無損解碼單元202所進(jìn)行的解碼的結(jié)果而獲得的量化后的正交變換系數(shù)進(jìn)行逆量化。在步驟S204中，逆正交變換單元204通過與圖2中所示的正交變換單元104所使用的方法相對(duì)應(yīng)的方法，對(duì)通過由逆量化單元203所執(zhí)行的逆量化所獲得的正交變換系數(shù)執(zhí)行逆正交變換。作為結(jié)果，對(duì)與圖2所示的正交變換單元104的輸入(或來自算術(shù)運(yùn)算單元103的輸出)相對(duì)應(yīng)的差分信息進(jìn)行解碼。
[0304]在步驟S205中，算術(shù)運(yùn)算單元205將預(yù)測(cè)圖像加到通過在步驟S204中的處理所獲得的差分信息。以這樣的方式，對(duì)原始圖像數(shù)據(jù)進(jìn)行解碼。
[0305]在步驟S206中，去塊效應(yīng)濾波器206適當(dāng)?shù)貙?duì)通過在步驟S205中的處理所獲得的解碼圖像執(zhí)行濾波。作為結(jié)果，從解碼圖像中適當(dāng)移除塊失真。
[0306]在步驟S207中，解碼圖片緩沖器209存儲(chǔ)經(jīng)歷了濾波的解碼圖像。
[0307]在步驟S208中，幀內(nèi)預(yù)測(cè)單元211或運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212確定是否依照從無損解碼單元202所提供的預(yù)測(cè)模式信息執(zhí)行了幀內(nèi)編碼。
[0308]如果在步驟S208中確定已經(jīng)執(zhí)行了幀內(nèi)編碼，則幀內(nèi)編碼單元211在步驟S209中從無損解碼單元202獲取幀內(nèi)預(yù)測(cè)模式。在步驟S210中，幀內(nèi)預(yù)測(cè)單元211依照在步驟S209中所獲取的幀內(nèi)預(yù)測(cè)模式來生成預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)單元211將所生成的預(yù)測(cè)圖像提供給選擇單元213。
[0309]如果在步驟S208中確定預(yù)測(cè)模式信息是幀間預(yù)測(cè)模式、合并模式、跳過模式等，并且尚未執(zhí)行幀內(nèi)編碼，則處理繼續(xù)到步驟S211。在步驟S211中，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212執(zhí)行幀間運(yùn)動(dòng)視差預(yù)測(cè)處理。稍后將參照?qǐng)D15描述幀間運(yùn)動(dòng)視差預(yù)測(cè)處理。
[0310]基于從無損解碼單元202所提供的信息、通過使用在步驟S221中的處理中位于當(dāng)前區(qū)域附近的周圍區(qū)域的運(yùn)動(dòng)視差矢量來生成預(yù)測(cè)矢量。當(dāng)要確定視差矢量的預(yù)測(cè)矢量而不可以參考周圍區(qū)域的任何運(yùn)動(dòng)視差矢量時(shí)，運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212將從無損解碼單元202所提供的最小視差值或最大視差值設(shè)置為預(yù)測(cè)矢量。
[0311]通過使用所生成的預(yù)測(cè)矢量和運(yùn)動(dòng)視差矢量信息(差別值)，對(duì)運(yùn)動(dòng)視差矢量進(jìn)行重新構(gòu)建，根據(jù)從解碼圖片緩沖器209所獲取的參考圖像生成預(yù)測(cè)圖像，以及將所生成的預(yù)測(cè)圖像提供給選擇單元213。
[0312]在步驟S212中，選擇單元213選擇預(yù)測(cè)圖像。具體地，由幀內(nèi)預(yù)測(cè)單元211所生成的預(yù)測(cè)圖像或由運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元212所生成的預(yù)測(cè)圖像被提供給選擇單元213。選擇單元213選擇所提供的預(yù)測(cè)圖像，并且將該預(yù)測(cè)圖像提供給算術(shù)運(yùn)算單元205。將此預(yù)測(cè)圖像加到在通過步驟S205中的處理所生成的差別信息。
[0313]在步驟S213中，屏幕重排緩沖器207對(duì)解碼圖像數(shù)據(jù)的幀進(jìn)行重排。具體地，在解碼圖像數(shù)據(jù)中按照原始顯示順序?qū)τ蓤D像編碼裝置100 (圖2)的屏幕重排緩沖器102針對(duì)編碼所重排的幀的順序進(jìn)行重排。
[0314]在步驟S214中，D/A轉(zhuǎn)換器208對(duì)具有由屏幕重排緩沖器207所重排的幀的解碼圖像數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換。將解碼圖像數(shù)據(jù)輸出到顯示器(未示出)，并且顯示該圖像。
[0315][在幀間運(yùn)動(dòng)視差預(yù)測(cè)處理中的流程]
[0316]現(xiàn)在參照?qǐng)D15中的流程圖，描述在圖14的步驟S211中要執(zhí)行的幀間運(yùn)動(dòng)視差預(yù)測(cè)處理中的示例流程。
[0317]從無損解碼單元202提供關(guān)于當(dāng)前區(qū)域的解碼模式信息、參考圖像索引、運(yùn)動(dòng)視差矢量信息以及預(yù)測(cè)矢量索引。如果需要，還提供Initialized_disparity標(biāo)志、最小視差值和最大視差值、以及參考視圖信息。編碼信息累積緩沖器231在步驟S231中獲取運(yùn)動(dòng)視差矢量信息等，并且在步驟S232中對(duì)那些信息進(jìn)行累積。
[0318]通過參考在編碼信息累積緩沖器231中所累積的模式信息，空間預(yù)測(cè)矢量生成單元232和時(shí)間視差預(yù)測(cè)矢量生成單元233在步驟S233中確定當(dāng)前區(qū)域的模式是否是跳過模式。
[0319]如果在步驟S233中確定模式不是跳過模式，則空間預(yù)測(cè)矢量生成單元232和時(shí)間視差預(yù)測(cè)矢量生成單元233在步驟S234中確定當(dāng)前區(qū)域的模式是否是合并模式。如果在步驟S234中確定模式不是合并模式，則處理繼續(xù)到步驟S235。
[0320]在步驟S235中，預(yù)測(cè)矢量生成單元234和預(yù)測(cè)圖像生成單元236獲取在編碼信息累積緩沖器231中所累積的當(dāng)前區(qū)域的參考圖像索引。
[0321]在步驟S236中，算術(shù)運(yùn)算單元235獲取運(yùn)動(dòng)視差矢量信息，該運(yùn)動(dòng)視差矢量信息是關(guān)于在編碼信息累積緩沖器231中所累積的當(dāng)前區(qū)域的運(yùn)動(dòng)視差矢量的差別值。
[0322]在步驟S237中，空間預(yù)測(cè)矢量生成單元232、時(shí)間視差矢預(yù)測(cè)矢量生成單元233以及預(yù)測(cè)矢量生成單元234執(zhí)行運(yùn)動(dòng)視差矢量預(yù)測(cè)處理。稍后將參照?qǐng)D16詳細(xì)地描述運(yùn)動(dòng)視差矢量預(yù)測(cè)處理。
[0323]通過在步驟S237中的處理，生成預(yù)測(cè)矢量。在要生成視差矢量但是不可以參考任何周圍區(qū)域的情況下，通過使用從切片頭所獲得的最大視差值或最小視差值生成預(yù)測(cè)矢量。預(yù)測(cè)矢量生成單元234將所生成的預(yù)測(cè)矢量輸出到算術(shù)運(yùn)算單元235。
[0324]在步驟S238中，算術(shù)運(yùn)算單元235將關(guān)于在步驟S236中所獲得的運(yùn)動(dòng)視差矢量的差值加到在步驟S237中所生成的預(yù)測(cè)矢量。作為結(jié)果，重新構(gòu)建運(yùn)動(dòng)視差矢量。重新構(gòu)建的運(yùn)動(dòng)視差矢量被提供給預(yù)測(cè)圖像生成單元236，并且處理繼續(xù)到步驟S240。
[0325]另一方面，如果在步驟S233中確定模式為跳過模式，或如果在步驟S234中確定模式為合并模式，則處理繼續(xù)到步驟S239。在步驟S239中，空間預(yù)測(cè)矢量生成單元232、時(shí)間視差預(yù)測(cè)矢量生成單元233、以及預(yù)測(cè)矢量生成單元234在合并模式中執(zhí)行運(yùn)動(dòng)視差預(yù)測(cè)處理。稍后將參照?qǐng)D17詳細(xì)地描述在合并模式中的運(yùn)動(dòng)視差預(yù)測(cè)處理。
[0326]通過步驟S237中的處理，在合并模式中生成預(yù)測(cè)矢量。在要生成視差矢量但是不可以參考任何周圍區(qū)域的情況下，通過使用從切片頭所獲得的最大視差值或最小視差值生成預(yù)測(cè)矢量。預(yù)測(cè)矢量生成單元234將所生成的預(yù)測(cè)矢量和參考圖像索引經(jīng)由算術(shù)運(yùn)算單元235提供給預(yù)測(cè)圖像生成單元236。
[0327]在步驟S240中，預(yù)測(cè)圖像生成單元236生成預(yù)測(cè)圖像。如果模式不是合并模式，則預(yù)測(cè)圖像生成單元236從解碼圖片緩沖器209讀取由從編碼信息累積緩沖器231所提供的參考圖像索引所指示的解碼圖像像素值。預(yù)測(cè)圖像生成單元236然后通過使用解碼圖像像素值和運(yùn)動(dòng)視差矢量生成預(yù)測(cè)圖像。
[0328]如果模式是合并模式，則預(yù)測(cè)圖像生成單元236從解碼圖片緩沖器209讀取由從預(yù)測(cè)矢量生成單元234所提供的參考圖像索引所指示的解碼圖像像素值。預(yù)測(cè)圖像生成單元236然后通過使用解碼圖像像素值和所生成的預(yù)測(cè)矢量生成預(yù)測(cè)圖像。
[0329]在步驟S240中所生成的預(yù)測(cè)圖像的像素值被輸出到選擇單元213，并且然后結(jié)束幀間運(yùn)動(dòng)視差預(yù)測(cè)處理。
[0330][在運(yùn)動(dòng)視差矢量預(yù)測(cè)處理中的流程]
[0331]現(xiàn)在參照?qǐng)D16中的流程圖，描述在圖15的步驟S237中要執(zhí)行的運(yùn)動(dòng)視差矢量預(yù)測(cè)處理中的示例流程。
[0332]空間預(yù)測(cè)矢量生成單元232如果需要?jiǎng)t從編碼信息累積緩沖器231獲取諸如關(guān)于周圍區(qū)域的模式信息、參考圖像索引以及解碼運(yùn)動(dòng)視差矢量的信息。在步驟S251中，空間預(yù)測(cè)矢量生成單元232通過使用所獲取的信息生成當(dāng)前區(qū)域的空間關(guān)聯(lián)的預(yù)測(cè)矢量?？臻g預(yù)測(cè)矢量生成單元232將所生成的空間關(guān)聯(lián)的預(yù)測(cè)矢量和在生成中所使用的關(guān)于周圍區(qū)域的信息提供給預(yù)測(cè)矢量生成單元234。
[0333]時(shí)間視差預(yù)測(cè)矢量生成單元233如果需要?jiǎng)t從編碼信息累積緩沖器231獲取諸如關(guān)于周圍區(qū)域的模式信息、參考圖像索引以及解碼運(yùn)動(dòng)視差矢量的信息。在步驟S252中，時(shí)間視差預(yù)測(cè)矢量生成單元233通過使用所獲取的信息生成當(dāng)前區(qū)域的時(shí)間視差關(guān)聯(lián)的預(yù)測(cè)矢量。時(shí)間視差預(yù)測(cè)矢量生成單元233將所生成的時(shí)間視差關(guān)聯(lián)的預(yù)測(cè)矢量和在生成中所使用的周圍區(qū)域信息提供給預(yù)測(cè)矢量生成單元234。
[0334]在步驟S253中，預(yù)測(cè)矢量生成單元234確定是否存在運(yùn)動(dòng)視差信息。在從空間預(yù)測(cè)矢量生成單元232提供了預(yù)測(cè)矢量或從時(shí)間視差預(yù)測(cè)矢量生成單元233提供了預(yù)測(cè)矢量的情況下，預(yù)測(cè)矢量生成單元234在步驟S253中確定存在運(yùn)動(dòng)視差信息，并且處理繼續(xù)到步驟S254。
[0335]在步驟S254中，如果在運(yùn)動(dòng)視差信息中存在重疊，則預(yù)測(cè)矢量生成單元234從來自空間預(yù)測(cè)矢量生成單元232的預(yù)測(cè)矢量或從來自時(shí)間視差預(yù)測(cè)矢量生成單元233的預(yù)測(cè)矢量中刪除運(yùn)動(dòng)視差信息中的重疊。
[0336]在步驟S255中，預(yù)測(cè)矢量生成單元234確定預(yù)測(cè)矢量。在存在多于一個(gè)預(yù)測(cè)矢量的情況下，預(yù)測(cè)矢量生成單元234將預(yù)測(cè)矢量確定為與在編碼信息累積緩沖器231中所累積的預(yù)測(cè)矢量索引相對(duì)應(yīng)的預(yù)測(cè)矢量。所確定的預(yù)測(cè)矢量被輸出到算術(shù)運(yùn)算單元235，并且結(jié)束運(yùn)動(dòng)視差矢量預(yù)測(cè)處理。
[0337]另一方面，如果在步驟S253中確定不存在運(yùn)動(dòng)視差信息，則處理繼續(xù)到步驟S256。在步驟S256中，預(yù)測(cè)矢量生成單元234確定預(yù)測(cè)矢量是否是視差矢量。在由從編碼信息累積緩沖器231所提供的當(dāng)前區(qū)域的參考圖像索引所指示的參考圖像是在與當(dāng)前圖像相同的時(shí)刻與當(dāng)前圖像不同視圖的圖像，在步驟S256中預(yù)測(cè)矢量被確定為視差矢量，并且處理繼續(xù)到步驟S257。
[0338]在步驟S257中，預(yù)測(cè)矢量生成單元234確定從切片頭所獲取的并且在編碼信息累積緩沖器231中所累積的initialized_disparity標(biāo)志是否為O。
[0339]如果在步驟S257中initialized_disparity標(biāo)志被確定為O,則處理繼續(xù)到步驟S258。在步驟S258中，預(yù)測(cè)矢量生成單元234將從切片頭所獲得的minimum_disparity的
值或最小視差值設(shè)置為預(yù)測(cè)矢量。
[0340]此外，在步驟S259中，預(yù)測(cè)矢量生成單元234確定參考圖像索引的視圖1D和由參考視圖信息所指示的參考視圖圖像的視圖1D是否相同。如果在步驟S259中確定參考圖像索引的視圖1D與參考視圖圖像的視圖1D相同，則跳過在步驟S260中的處理，并且結(jié)束運(yùn)動(dòng)視差矢量生成處理。即，在此情況下在步驟S258中所確定的預(yù)測(cè)矢量被提供給算術(shù)運(yùn)算單元235。
[0341]如果在步驟S2359中，確定參考圖像索引的視圖1D和參考視圖圖像的視圖1D不同，則預(yù)測(cè)矢量生成單元234在步驟S260中對(duì)在步驟S258中所確定的預(yù)測(cè)矢量執(zhí)行縮放。具體地，預(yù)測(cè)矢量生成單元234將通過依照作為預(yù)測(cè)矢量的視圖圖像的視點(diǎn)距離對(duì)最小視差值執(zhí)行縮放所獲得的值提供給算術(shù)運(yùn)算單元235，并且結(jié)束運(yùn)動(dòng)視差矢量生成處理。
[0342]如果在步驟S257中initialized_diparity標(biāo)志被確定為I,則處理繼續(xù)到步驟S261。在步驟S261,預(yù)測(cè)矢量生成單元234將從切片頭所獲得的maximum_disparity的值或最大視差值設(shè)置為預(yù)測(cè)矢量。
[0343]同樣地，在步驟S262中，預(yù)測(cè)矢量生成單元234確定參考圖像索引的視圖1D和由參考視圖信息所指示的參考視圖圖像的視圖1D是否相同。如果在步驟S262中確定參考圖像索引的視圖1D和參考視圖圖像的視圖1D相同，則跳過步驟S263中的處理，并且結(jié)束運(yùn)動(dòng)視差矢量生成處理。即，在這種情況下將在步驟S261中所確定的預(yù)測(cè)矢量提供給算術(shù)運(yùn)算單元235。
[0344]如果在步驟S262中確定參考圖像索引的視圖1D和參考視圖圖像的視圖1D不同，則預(yù)測(cè)矢量生成單元234在步驟S263中對(duì)在步驟S261中所確定的預(yù)測(cè)矢量執(zhí)行縮放。具體地，預(yù)測(cè)矢量生成單元234將通過依照作為預(yù)測(cè)矢量的視圖圖像的視點(diǎn)距離對(duì)最小視差值執(zhí)行縮放所獲得的值提供給算術(shù)運(yùn)算單元235，并且運(yùn)動(dòng)視差矢量生成處理結(jié)束。
[0345]另一方面，在由從編碼信息累積緩沖器231提供的當(dāng)前區(qū)域的參考圖像索引所指示的參考圖像是在與當(dāng)前圖像的不同時(shí)刻與當(dāng)前圖像相同的視圖的圖像的情況下，在步驟S256中預(yù)測(cè)矢量不被確定為視差矢量，并且處理繼續(xù)到步驟S264。在步驟S264中，預(yù)測(cè)矢量生成單元234將預(yù)測(cè)矢量設(shè)置為初始值(O)。具體地，在步驟S264中，預(yù)測(cè)矢量生成單元234將O矢量作為預(yù)測(cè)矢量提供給算術(shù)運(yùn)算單元235，并且運(yùn)動(dòng)視差矢量生成單元然后結(jié)束。
[0346][在合并模式中的運(yùn)動(dòng)視差矢量預(yù)測(cè)處理中的流程]
[0347]現(xiàn)在參照?qǐng)D17中的流程圖，描述在圖15的步驟S239中要執(zhí)行的合并模式中的運(yùn)動(dòng)視差矢量預(yù)測(cè)處理中的示例流程。
[0348]空間預(yù)測(cè)矢量生成單元232如果需要?jiǎng)t從編碼信息累積緩沖器231獲取諸如關(guān)于周圍區(qū)域的模式信息、參考圖像索引、以及解碼運(yùn)動(dòng)視差矢量的信息。在步驟S271中，空間預(yù)測(cè)矢量生成單元232通過使用所獲取的信息生成當(dāng)前區(qū)域的空間關(guān)聯(lián)的預(yù)測(cè)矢量?？臻g預(yù)測(cè)矢量生成單元232將所生成的空間關(guān)聯(lián)的預(yù)測(cè)矢量和在生成中所使用的關(guān)于周圍區(qū)域的信息提供給預(yù)測(cè)矢量生成單元234。
[0349]時(shí)間視差預(yù)測(cè)矢量生成單元233如果需要?jiǎng)t從編碼信息累積緩沖器231獲取諸如關(guān)于周圍區(qū)域的模式信息、參考圖像索引以及解碼運(yùn)動(dòng)視差矢量的信息。在步驟S272中，時(shí)間視差預(yù)測(cè)矢量生成單元233通過使用所獲取的信息生成當(dāng)前區(qū)域的時(shí)間視差關(guān)聯(lián)的預(yù)測(cè)矢量。時(shí)間視差預(yù)測(cè)矢量生成單元233將所生成的時(shí)間視差關(guān)聯(lián)的預(yù)測(cè)矢量和在生成中所使用的周圍區(qū)域信息提供給預(yù)測(cè)矢量生成單元234。
[0350]在步驟S273中，預(yù)測(cè)矢量生成單元234確定是否存在運(yùn)動(dòng)視差信息。在從空間預(yù)測(cè)矢量生成單元232提供預(yù)測(cè)矢量或從時(shí)間視差預(yù)測(cè)矢量生成單元233提供預(yù)測(cè)矢量的情況下，預(yù)測(cè)矢量生成單元234在步驟S273中確定存在運(yùn)動(dòng)視差信息，并且處理繼續(xù)到步驟S274。
[0351]在步驟S274中，如果在運(yùn)動(dòng)視差信息中存在重疊，則預(yù)測(cè)矢量生成單元234從來自空間預(yù)測(cè)矢量生成單元232的預(yù)測(cè)矢量或從來自時(shí)間視差預(yù)測(cè)矢量生成單元233的預(yù)測(cè)矢量中刪除運(yùn)動(dòng)視差信息中的重疊。
[0352]在步驟S275中，預(yù)測(cè)矢量生成單元234確定是否存在多于一個(gè)運(yùn)動(dòng)視差信息。如果在步驟S275中確定存在多于一個(gè)運(yùn)動(dòng)視差信息，則預(yù)測(cè)矢量生成單元234在步驟S276中從編碼信息累積緩沖器231獲取合并索引。合并索引是指示在合并模式中的預(yù)測(cè)矢量的索引的信息。
[0353]如果在步驟S275中確定不存在多于一個(gè)運(yùn)動(dòng)視差信息或確定存在一個(gè)運(yùn)動(dòng)視差信息，則跳過步驟S276。
[0354]在步驟S277中，預(yù)測(cè)矢量生成單元234確定預(yù)測(cè)矢量。具體地，由運(yùn)動(dòng)視差信息之中的合并索引所指示的運(yùn)動(dòng)視差信息被確定為預(yù)測(cè)矢量。另一方面，如果僅存在一個(gè)運(yùn)動(dòng)視差信息，則該一個(gè)運(yùn)動(dòng)視差信息被確定為預(yù)測(cè)矢量。
[0355]在步驟S278中，預(yù)測(cè)矢量生成單元234根據(jù)要被確定為預(yù)測(cè)矢量的運(yùn)動(dòng)視差信息獲取被用作參考的參考圖像索引，并且將預(yù)測(cè)矢量和參考圖像索引提供給算術(shù)運(yùn)算單元235。之后，結(jié)束合并模式中的運(yùn)動(dòng)視差矢量預(yù)測(cè)處理。
[0356]另一方面，如果在步驟S273中確定不存在運(yùn)動(dòng)視差信息時(shí)，則處理繼續(xù)到步驟S279。在步驟S279中，預(yù)測(cè)矢量生成單元234將參考圖像索引設(shè)置為初始值(O)。
[0357]在步驟S280中，預(yù)測(cè)矢量生成單元234確定預(yù)測(cè)矢量是否是視差矢量。在由參考圖像索引所指示的參考圖像是在與當(dāng)前圖像相同的時(shí)間與當(dāng)前圖像不同的視圖的圖像的情況下，在步驟S280中預(yù)測(cè)矢量被確定為視差矢量，并且處理繼續(xù)到步驟S281。
[0358]在步驟S281中，預(yù)測(cè)矢量生成單元234確定從切片頭所獲取的并且在編碼信息累積緩沖器231中所累積的initialized_disparity標(biāo)志是否為O。
[0359]如果在步驟S281中initiallized_disparity標(biāo)志被確定為O,則處理繼續(xù)到步驟S282。在步驟S282中，預(yù)測(cè)矢量生成單元234將從切片頭所獲得的minimum_disparity的
值或最小視差值設(shè)置為預(yù)測(cè)矢量。
[0360]此外，在步驟S283中，預(yù)測(cè)矢量生成單元234確定參考圖像索引的視圖1D和由參考視圖信息所指示的參考視圖圖像的視圖1D是否相同。如果在步驟S283中確定參考圖像索引的視圖1D和參考視圖圖像的視圖1D相同，則跳過在步驟S284中的處理，并且運(yùn)動(dòng)視差矢量生成處理結(jié)束。即，在這種情況下將在步驟S282中所確定的預(yù)測(cè)矢量提供給算術(shù)運(yùn)算單元235。
[0361]如果在步驟S283中確定參考圖像索引的視圖1D和參考視圖圖像的視圖1D不同，則預(yù)測(cè)矢量生成單元234在步驟S284中對(duì)在步驟S282中所確定的預(yù)測(cè)矢量執(zhí)行縮放。具體地，預(yù)測(cè)矢量生成單元234將通過依照作為預(yù)測(cè)矢量的視圖圖像的視點(diǎn)距離對(duì)最小視差值執(zhí)行縮放所獲得的值提供給算術(shù)運(yùn)算單元235，并且結(jié)束運(yùn)動(dòng)視差矢量生成處理。
[0362]如果在步驟S281中initialized_disparity標(biāo)志被確定為I,則處理繼續(xù)到步驟S285。在步驟S285中，預(yù)測(cè)矢量生成單元234將從切片頭所獲得的maximum_disparity的值或最大視差值設(shè)置為預(yù)測(cè)矢量。
[0363]同樣地，在步驟S286中，預(yù)測(cè)矢量生成單元234確定參考圖像索引的視圖1D和由參考視圖信息所指示的參考視圖圖像的視圖1D是否相同。如果在步驟S286中確定參考圖像索引的視圖1D和參考視圖圖像的視圖1D相同，則跳過步驟S287中的處理，并且結(jié)束運(yùn)動(dòng)視差矢量生成處理。即，在這種情況下將在步驟S285中所確定的預(yù)測(cè)矢量提供給算術(shù)運(yùn)算單元235。
[0364]如果在步驟S286中確定參考圖像索引的視圖1D和參考視圖圖像的視圖1D不同，則預(yù)測(cè)矢量生成單元234在步驟S287中對(duì)在步驟S285中所確定的預(yù)測(cè)矢量執(zhí)行縮放。具體地，預(yù)測(cè)矢量生成單元234將通過依照作為預(yù)測(cè)矢量的視圖圖像的視點(diǎn)距離對(duì)最小視差值執(zhí)行縮放所獲得的值提供給算術(shù)運(yùn)算單元235，并且結(jié)束運(yùn)動(dòng)視差矢量生成處理。
[0365]另一方面，在由參考圖像索引所指示的參考圖像是在與當(dāng)前圖像不同的時(shí)間與當(dāng)前圖像相同的視圖的圖像時(shí)，在步驟S280中預(yù)測(cè)矢量未被確定為視差矢量，并且處理繼續(xù)到步驟S288。在步驟S288中，預(yù)測(cè)矢量生成單元234將預(yù)測(cè)矢量設(shè)置為初始值(O)。具體地，預(yù)測(cè)矢量生成單元234在步驟S288中將O矢量作為預(yù)測(cè)矢量提供給算術(shù)運(yùn)算單元235，并且然后結(jié)束運(yùn)動(dòng)視差矢量生成處理。
[0366]如上所述，在要預(yù)測(cè)視差矢量時(shí)不可以參考任何周圍區(qū)域的情況下，將圖片中的最大視差值或最小視差值設(shè)置為預(yù)測(cè)矢量。以這種方式，可以改善視差矢量的預(yù)測(cè)矢量的精確度。具體地，關(guān)于所傳送的視差矢量的差值小于在O矢量被設(shè)置為預(yù)測(cè)矢量的情況下的差值，并且如在通常的情況下那樣，運(yùn)動(dòng)視差矢量被按照原樣傳送。因此，提高了編碼效率。
[0367]另外，考慮到在切片頭中所限定的最小視差值與最大視差值之間生成視差矢量。因此，在不可以參考任何周圍區(qū)域時(shí)，可以通過將最小值或最大值設(shè)置為預(yù)測(cè)矢量來生成具有隨機(jī)高精確度的預(yù)測(cè)矢量。
[0368]此外，作為預(yù)測(cè)矢量，最小值和最大值中的哪個(gè)更好是依賴于情景的，并且因此，通過在切片頭中設(shè)置指示最小值和最大值中的哪個(gè)更好的標(biāo)志，可以生成具有高精確度的預(yù)測(cè)矢量。
[0369]另外，最大視差值和最小視差值、以及參考視圖信息是在顯示側(cè)調(diào)整視差并且合并視點(diǎn)所需要的信息。因此，這樣的信息被包括在要傳送的切片頭中，并且被用于實(shí)現(xiàn)較高的效率。
[0370]要用作預(yù)測(cè)矢量的最大視差值可以是在視差范圍中的預(yù)定上限值，或最小視差值可以是在視差范圍中的預(yù)定下限值。另外，可以使用圖片中的視差的平均值作為預(yù)測(cè)矢量。此外，可以使用視差范圍中的預(yù)定值(設(shè)置值)作為預(yù)測(cè)矢量。
[0371]盡管在當(dāng)前技術(shù)中使用最大視差值和最小視差值作為預(yù)測(cè)矢量，但是可以使用以上所述的最大視差值、最小視差值、上限值、下限值、平均值或預(yù)定值作為運(yùn)動(dòng)視差矢量之中的候選矢量。
[0372]盡管以上所述的編碼方法是基于H.264/AVC或HEVC，但是本公開不限于H.264/AVC或HEVC，并且可以被應(yīng)用到其他編碼/解碼方法。
[0373]本公開可以應(yīng)用到如下的圖像編碼裝置和圖像解碼裝置:例如，如在MPEG或H.26x中，當(dāng)經(jīng)由網(wǎng)絡(luò)介質(zhì)(諸如衛(wèi)星廣播、有線電視、互聯(lián)網(wǎng)或便攜式電話裝置)接收通過諸如離散余弦變換的正交變換和運(yùn)動(dòng)補(bǔ)償所壓縮的圖像信息(比特流)時(shí)使用該圖像編碼裝置和圖像解碼裝置。本公開還可以被應(yīng)用到當(dāng)在諸如光盤或磁盤或閃速存儲(chǔ)器的存儲(chǔ)介質(zhì)上對(duì)壓縮后的圖像信息進(jìn)行處理時(shí)所使用的圖像編碼裝置和圖像解碼裝置。此外，本公開還可以應(yīng)用到在這樣的圖像編碼裝置和圖像解碼裝置中所包括的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償裝置。
[0374]<4.第三實(shí)施例>[0375][個(gè)人計(jì)算機(jī)]
[0376]可以通過硬件或軟件執(zhí)行以上所述的處理序列。當(dāng)通過軟件執(zhí)行以上所述的處理序列時(shí)，將構(gòu)成軟件的程序安裝在計(jì)算機(jī)中。注意計(jì)算機(jī)的示例包括嵌入在專用硬件中的計(jì)算機(jī)和能夠通過在其上安裝各種程序來執(zhí)行各種功能的通用個(gè)人計(jì)算機(jī)。
[0377]在圖18中，個(gè)人計(jì)算機(jī)500的CPU (中央處理單元)501根據(jù)在ROM (只讀存儲(chǔ)器)502中存儲(chǔ)的程序或從存儲(chǔ)單元513載入到RAM (隨機(jī)存取存儲(chǔ)器)503的程序執(zhí)行各種處理。如果需要RMA503還存儲(chǔ)CPU501執(zhí)行各種處理所需要的數(shù)據(jù)等。
[0378]CPU501、R0M502以及RAM503經(jīng)由總線504彼此連接。輸入/輸出接口 510還連接到總線504。
[0379]輸入/輸出接口 510具有連接到其上的如下組件:包括鍵盤、鼠標(biāo)等的輸入單元511 ;包括諸如CRT(陰極射線管)或LCD(液晶顯示器)等顯示器以及揚(yáng)聲器的輸出單元512 ；包括硬盤等的存儲(chǔ)單元513 ;以及包括調(diào)制解調(diào)器等的通信單元514。通信單元514經(jīng)由包括互聯(lián)網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信。
[0380]需要時(shí)驅(qū)動(dòng)器515還連接到輸入/輸出接口 510，將可移除介質(zhì)521 (諸如磁盤、光盤、磁光盤、或半導(dǎo)體存儲(chǔ)器)適當(dāng)?shù)匕惭b在驅(qū)動(dòng)器上，以及需要時(shí)從可移除盤中所讀出的計(jì)算機(jī)程序被安裝在存儲(chǔ)單元513中。
[0381]當(dāng)通過軟件執(zhí)行以上所述的處理序列時(shí)，從網(wǎng)絡(luò)或記錄介質(zhì)安裝構(gòu)成軟件的程序。
[0382]如圖18所示，記錄介質(zhì)的示例包括與裝置分離地、用于將程序遞送給用戶而分布的并且在其上記錄有程序的可移除介質(zhì)521，諸如磁盤(包括軟盤)、光盤(包括⑶-ROM (壓縮盤-只讀存儲(chǔ)器)或DVD (通用數(shù)字盤))、磁光盤(包括MD (迷你盤))以及半導(dǎo)體存儲(chǔ)器；并且替選地，包括在遞送給用戶之前預(yù)先并入裝置的、具有記錄在其中的程序的R0M502和存儲(chǔ)單元513中所包括的硬盤。
[0383]要由計(jì)算機(jī)所執(zhí)行的程序可以是用于依照在本說明書中所描述的序列按照時(shí)間順序?qū)嵤┨幚淼某绦?，或可以是用于并行地或在需要的定時(shí)(諸如響應(yīng)于調(diào)用)實(shí)施處理的程序。
[0384]在本說明書中，描述要記錄在在記錄介質(zhì)中的程序的步驟包括:如果不必按照時(shí)間順序則并行地或彼此獨(dú)立地執(zhí)行的處理，以及依照在本文中所描述的序列按照時(shí)間順序執(zhí)行的處理。
[0385]在本說明書中，系統(tǒng)指的是包括多于一個(gè)裝置的設(shè)備的整體。
[0386]此外，以上作為一個(gè)裝置(或一個(gè)處理單元)所描述的結(jié)構(gòu)可以被分割為兩個(gè)或更多個(gè)裝置(或處理單元)。相反，以上作為兩個(gè)或更多個(gè)裝置(或處理單元)所描述的任何結(jié)構(gòu)可以組合到一個(gè)裝置(或處理單元)中。此外，當(dāng)然可以將除了以上所述的那些組件之外的組件加到裝置(或處理單元)中的任一個(gè)的結(jié)構(gòu)中。此外，裝置(或處理單元)的一些組件可以并入到另外的裝置(或處理單元)的結(jié)構(gòu)中，只要系統(tǒng)的結(jié)構(gòu)和功能作為整體基本上相同。即，本技術(shù)不限于以上所述的實(shí)施例，而且對(duì)于其可以進(jìn)行各種修改而不背離本技術(shù)的范圍。
[0387]根據(jù)以上所述的實(shí)施例的圖像編碼裝置和圖像解碼裝置可以被應(yīng)用到:諸如衛(wèi)星廣播、有線廣播(諸如有線電視)、經(jīng)由互聯(lián)網(wǎng)的分發(fā)、經(jīng)由蜂窩通信到終端的分發(fā)等中的傳送器和接收器的各種電子裝置，被配置成將圖像記錄在介質(zhì)(諸如磁盤和閃速存儲(chǔ)器)中的記錄裝置，以及被配置成從存儲(chǔ)介質(zhì)對(duì)圖像進(jìn)行再現(xiàn)的再現(xiàn)裝置。下面將描述應(yīng)用的四個(gè)示例。
[0388]〈5.第四實(shí)施例〉
[0389][第一應(yīng)用:電視接收機(jī)]
[0390]圖19示意地示出了應(yīng)用了以上所述的實(shí)施例的電視機(jī)設(shè)備的示例結(jié)構(gòu)。電視機(jī)設(shè)備900包括天線901、調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號(hào)處理單元905、顯示單元906、音頻信號(hào)處理單元907、揚(yáng)聲器908、外部接口 909、控制單元910、用戶接口 911以及總線912。
[0391]調(diào)諧器902從經(jīng)由天線901所接收到的廣播信號(hào)中提取期望的頻道的信號(hào)，并且對(duì)所提取的信號(hào)進(jìn)行解調(diào)。然后，調(diào)諧器902將通過解調(diào)所獲得的編碼比特流輸出到解復(fù)用器903。即，調(diào)諧器902在電視機(jī)設(shè)備900中用作接收編碼圖像的編碼流的傳送裝置。
[0392]解復(fù)用器903將來自編碼比特流的要觀看的節(jié)目的視頻流和音頻流進(jìn)行分離，并且將分離后的流輸出到解碼器904。解復(fù)用器903還從編碼比特流中提取諸如EPG (電子節(jié)目指南)的輔助數(shù)據(jù)，并且將所提取的數(shù)據(jù)提供給控制單元910。如果編碼比特流是擾頻的，則解復(fù)用器903可以對(duì)編碼比特流進(jìn)行解擾。
[0393]解碼器904對(duì)從解復(fù)用器903所輸入的視頻流和音頻流進(jìn)行解碼。然后，解碼器904將通過進(jìn)行解碼所生成的視頻數(shù)據(jù)輸出到視頻信號(hào)處理單元905。解碼器904還將通過解碼所生成音頻數(shù)據(jù)輸出到音頻信號(hào)處理單元907。
[0394]視頻信號(hào)處理單元905對(duì)從解碼器904所輸入的視頻數(shù)據(jù)進(jìn)行再現(xiàn)，并且將視頻數(shù)據(jù)顯示在顯示單元906上。視頻信號(hào)處理單元905還可以將經(jīng)由網(wǎng)絡(luò)所提供的應(yīng)用程序屏幕顯示在顯示單元906上。此外，視頻信號(hào)處理單元905可以依賴于設(shè)置對(duì)視頻數(shù)據(jù)執(zhí)行諸如噪聲移除的附加處理。視頻信號(hào)處理單元905可以進(jìn)一步生成諸如菜單、按鈕或光標(biāo)的⑶I (圖形用戶界面)的圖像，并且將所生成的圖像疊加在輸出圖像上。
[0395]顯示單元906由從視頻信號(hào)處理單元905所提供的驅(qū)動(dòng)信號(hào)所驅(qū)動(dòng)，并且將視頻或圖像顯示在顯示裝置(諸如液晶顯示器、等離子顯示器、或OLED (有機(jī)電致發(fā)光顯示器))的視頻屏幕上。
[0396]音頻信號(hào)處理單元907對(duì)從解碼器904所輸入的音頻數(shù)據(jù)執(zhí)行諸如D/A轉(zhuǎn)換和放大的再現(xiàn)處理，并且通過揚(yáng)聲器908輸出音頻。此外，音頻信號(hào)處理單元907可以對(duì)音頻數(shù)據(jù)執(zhí)行諸如噪聲移除的附加處理。
[0397]外部接口 909是用于將電視機(jī)設(shè)備900連接到外部裝置或網(wǎng)絡(luò)的接口。例如，解碼器904可以對(duì)經(jīng)由外部接口 909所接收到的視頻流或音頻流進(jìn)行解碼。S卩，外部接口 909還用作電視機(jī)設(shè)備900中接收編碼圖像的編碼流的傳送裝置。
[0398]控制單元910包括諸如CPU的處理器、諸如RAM或ROM的存儲(chǔ)器。存儲(chǔ)器存儲(chǔ)要有CPU所執(zhí)行的程序、程序數(shù)據(jù)、EPG數(shù)據(jù)、經(jīng)由網(wǎng)絡(luò)所獲取的數(shù)據(jù)等。例如當(dāng)接通電視機(jī)設(shè)備900時(shí)，由CPU讀取并且執(zhí)行在存儲(chǔ)器中所存儲(chǔ)的程序。例如CPU通過執(zhí)行程序、根據(jù)從用戶接口 911所輸入的控制信號(hào)對(duì)電視機(jī)設(shè)備900的操作進(jìn)行控制。
[0399]用戶接口 911連接到控制單元910。用戶接口 911例如包括用于用戶操作電視機(jī)設(shè)備900的按鈕和開關(guān)，以及用于接收遠(yuǎn)程控制信號(hào)的接收單元。用戶接口 911經(jīng)由這些組件檢測(cè)用戶操作，生成控制信號(hào)，以及將所生成的控制信號(hào)輸出到控制單元910。
[0400]總線912將調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號(hào)處理單元905、音頻信號(hào)處理單元907、外部接口 909以及控制單元910彼此連接。
[0401]在具有這樣的結(jié)構(gòu)的電視機(jī)設(shè)備900中，解碼器904具有根據(jù)以上所述的實(shí)施例的圖像解碼裝置的功能。因此，當(dāng)在電視機(jī)設(shè)備900中對(duì)圖像進(jìn)行解碼時(shí)，可以更加適當(dāng)?shù)匾瞥龎K失真，并且可以在解碼圖像中實(shí)現(xiàn)更高的主觀圖像質(zhì)量。
[0402]<6.第五實(shí)施例>
[0403][第二應(yīng)用:便攜式電話裝置]
[0404]圖20示意地示出應(yīng)用了以上所述的實(shí)施例的便攜式電話裝置的示例結(jié)構(gòu)。便攜式電話裝置920包括天線921、通信單元922、音頻編碼解碼器923、揚(yáng)聲器924、麥克風(fēng)925、攝像裝置單元926、圖像處理單元927、復(fù)用/分離單元928、記錄/再現(xiàn)單元929、顯示單元930、控制單元931、操作單元932以及總線933。
[0405]天線921連接到通信單元922。揚(yáng)聲器924和麥克風(fēng)925連接到音頻編碼解碼器923。操作單元932連接到控制單元931?？偩€933將通信單元922、音頻編碼解碼器923、攝像裝置單元926、圖像處理單元927、復(fù)用/分離單元928、記錄/再現(xiàn)單元929、顯示單元930以及控制單元931彼此連接。
[0406]便攜式電話裝置920在各種操作模式(包括語音呼叫模式、數(shù)據(jù)通信模式、成像模式以及視頻電話模式)中執(zhí)行諸如音頻信號(hào)的傳送/接收、電子郵件和圖像數(shù)據(jù)的傳送/接收、圖像的捕獲、數(shù)據(jù)的記錄等操作。
[0407]在語音呼叫模式中，將由麥克風(fēng)925所生成的模擬音頻信號(hào)提供給音頻編碼解碼器923。音頻編碼解碼器923將模擬音頻信號(hào)轉(zhuǎn)換為音頻數(shù)據(jù)，對(duì)轉(zhuǎn)換之后的音頻數(shù)據(jù)執(zhí)行A/D轉(zhuǎn)換，以及對(duì)音頻數(shù)據(jù)進(jìn)行壓縮。然后，音頻編碼解碼器923將壓縮所生成的音頻數(shù)據(jù)輸出到通信單元922。通信單元922對(duì)音頻數(shù)據(jù)進(jìn)行編碼和調(diào)制以生成要傳送的信號(hào)。然后，通信單元922經(jīng)由天線921將所生成的、要傳送的信號(hào)傳送到基站(未示出)。通信單元922還對(duì)經(jīng)由天線921所接收到的無線電信號(hào)執(zhí)行放大和頻率轉(zhuǎn)換，并且獲得所接收到的信號(hào)。然后，通信單元922對(duì)所接收到的信號(hào)進(jìn)行解調(diào)和解碼以生成音頻數(shù)據(jù)，并且將所生成的音頻數(shù)據(jù)輸出到音頻編碼解碼器923。音頻編碼解碼器923對(duì)音頻數(shù)據(jù)執(zhí)行解壓縮和D/A轉(zhuǎn)換，以生成模擬音頻信號(hào)。然后，音頻編碼解碼器923將所生成的音頻信號(hào)提供給揚(yáng)聲器924以從其輸出音頻。
[0408]在數(shù)據(jù)通信模式中，例如，控制單元931根據(jù)用戶經(jīng)由操作單元932進(jìn)行的操作生成要被包括在電子郵件中的文本數(shù)據(jù)?？刂茊卧?31還將文本顯示在顯示單元930上?？刂茊卧?31還響應(yīng)于經(jīng)由操作單元932來自于用戶的用于傳送的指令來生成電子郵件數(shù)據(jù)，并且將所生成的電子郵件數(shù)據(jù)輸出到通信單元922。通信單元922對(duì)電子郵件數(shù)據(jù)進(jìn)行編碼和解調(diào)以生成要傳送的信號(hào)。然后，通信單元922將所生成的要傳送的信號(hào)經(jīng)由天線921傳送到基站(未示出)。通信單元922還對(duì)經(jīng)由天線921所接收到的無線電信號(hào)執(zhí)行放大和頻率轉(zhuǎn)換。然后，通信單元922對(duì)所接收到的信號(hào)進(jìn)行解調(diào)和解碼以恢復(fù)電子郵件數(shù)據(jù)，并且將所恢復(fù)的電子郵件數(shù)據(jù)輸出到控制單元931。控制單元931將電子郵件的內(nèi)容顯示在顯示單元930上，并且將電子郵件的內(nèi)容存儲(chǔ)在記錄/再現(xiàn)單元929的存儲(chǔ)介質(zhì)上。
[0409]記錄/再現(xiàn)單元929包括可讀/可寫存儲(chǔ)介質(zhì)。例如，存儲(chǔ)介質(zhì)可以是諸如RAM或閃速存儲(chǔ)器的內(nèi)部存儲(chǔ)介質(zhì)，或可以是外部安裝的存儲(chǔ)介質(zhì)(諸如硬盤、磁盤、磁光盤、USB(未分配空間位圖)存儲(chǔ)器、或存儲(chǔ)卡)。
[0410]例如，在成像模式中，攝像裝置單元926對(duì)物體成像以生成圖像數(shù)據(jù)，并且將所生成的圖像數(shù)據(jù)輸出到圖像處理單元927。圖像處理單元927對(duì)從攝像裝置單元926所輸入的圖像數(shù)據(jù)進(jìn)行編碼，并且將編碼流存儲(chǔ)在存儲(chǔ)/再現(xiàn)單元929的存儲(chǔ)介質(zhì)中。
[0411]在視頻電話模式中，復(fù)用/分離單元928對(duì)由圖像處理單元927所編碼的視頻流和從音頻編碼解碼器923所輸入的音頻流進(jìn)行復(fù)用，并且將復(fù)用的流輸出到通信單元922。通信單元922對(duì)流進(jìn)行編碼和調(diào)制以生成要傳送的信號(hào)。然后，通信單元922將所生成的要傳送的信號(hào)經(jīng)由天線921傳送到基站(未示出)。通信單元922還對(duì)經(jīng)由天線921所接收到的無線電信號(hào)執(zhí)行放大和頻率轉(zhuǎn)換，并且獲得所接收的信號(hào)。要傳送的信號(hào)和所接收到的信號(hào)可以包括編碼比特流。通信單元922通過對(duì)所接收到的信號(hào)進(jìn)行解調(diào)和解碼來恢復(fù)流，并且將恢復(fù)的流輸出到復(fù)用/分離單元928。復(fù)用/分離單元928將來自輸入流的視頻流和音頻流進(jìn)行分離，并且將視頻流輸出到圖像處理單元927以及將音頻流輸出到音頻編碼解碼器923。圖像處理單元927對(duì)視頻流進(jìn)行解碼以生成視頻數(shù)據(jù)。將視頻數(shù)據(jù)提供給顯示單元930，并且由顯示單元930顯示一系列圖像。音頻編碼解碼器923對(duì)音頻流執(zhí)行解壓縮和D/A轉(zhuǎn)換以生成模擬音頻信號(hào)。然后，音頻編碼解碼器923將所生成的音頻信號(hào)提供給揚(yáng)聲器924以從其輸出音頻。
[0412]在具有這樣的結(jié)構(gòu)的便攜式電話裝置920中，圖像處理單元927具有根據(jù)以上所述的實(shí)施例的圖像編碼裝置和圖像解碼裝置的功能。因此，當(dāng)在便攜式電話裝置920中對(duì)圖像進(jìn)行編碼和解碼時(shí)，可以更適當(dāng)?shù)匾瞥龎K失真，并且在解碼圖像中可以實(shí)現(xiàn)更高的主觀圖像質(zhì)量。
[0413]〈7.第六實(shí)施例〉
[0414][第三應(yīng)用:記錄/再現(xiàn)裝置]
[0415]圖21示意地示出了應(yīng)用了以上所述的實(shí)施例的記錄/再現(xiàn)裝置的示例結(jié)構(gòu)。例如，記錄/再現(xiàn)裝置940對(duì)所接收到的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行編碼，并且將編碼數(shù)據(jù)記錄在記錄介質(zhì)中。例如，記錄/再現(xiàn)裝置940還可以對(duì)從另外的裝置所獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行編碼，并且將編碼數(shù)據(jù)記錄在記錄介質(zhì)中。例如，記錄/再現(xiàn)裝置940還可以響應(yīng)于來自用戶的指令，將記錄介質(zhì)中所記錄的數(shù)據(jù)在監(jiān)視器上進(jìn)行再現(xiàn)，或通過揚(yáng)聲器對(duì)數(shù)據(jù)進(jìn)行再現(xiàn)。在這種情況下，記錄/再現(xiàn)裝置940對(duì)音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼。
[0416]記錄/再現(xiàn)裝置940包括調(diào)諧器941、外部接口 942、編碼器943、HDD (硬盤驅(qū)動(dòng)器)944、磁盤驅(qū)動(dòng)器945、選擇器946、解碼器947、OSD (屏上顯示)948、控制單元949以及用戶接口 950。
[0417]調(diào)諧器941從經(jīng)由天線(未示出)所接收到的廣播信號(hào)中提取期望的頻道的信號(hào)，并且對(duì)所提取的信號(hào)進(jìn)行解調(diào)。然后，調(diào)諧器941將通過解調(diào)所獲得的編碼比特流輸出到選擇器946。S卩，調(diào)諧器941在記錄/再現(xiàn)裝置940中具有作為傳送裝置的角色。
[0418]外部接口 942是用于將記錄/再現(xiàn)裝置940與外部裝置或網(wǎng)絡(luò)連接的接口。例如，外部接口 942可以是IEEE1394接口、網(wǎng)絡(luò)接口、USB接口或閃速存儲(chǔ)器接口。例如，經(jīng)由外部接口 942所接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)被輸入到編碼器943。即，外部接口 942在記錄/再現(xiàn)裝置940中具有作為傳送裝置的角色。
[0419]如果從外部接口 942所輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)未被編碼，則編碼器943對(duì)視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行編碼。然后，編碼器943將編碼比特流輸出到選擇器946。
[0420]HDD944將壓縮后的內(nèi)容數(shù)據(jù)(諸如視頻和音頻、各種程序以及其他數(shù)據(jù))的編碼比特流記錄在內(nèi)部硬盤上。HDD944還從硬盤中讀出數(shù)據(jù)以用于視頻和音頻的再現(xiàn)。
[0421]盤驅(qū)動(dòng)器945將數(shù)據(jù)記錄在安裝在其上的記錄介質(zhì)上，以及從安裝在其上的記錄介質(zhì)中讀取數(shù)據(jù)。例如，安裝在盤驅(qū)動(dòng)器945上的記錄介質(zhì)可以是DVD盤(諸如DVD視頻、DVD-RAM、DVD-R、DVD-RW、DVD+R 或 DVD+RW)或藍(lán)光(注冊(cè)商標(biāo))盤。
[0422]為了記錄視頻和音頻，選擇器946選擇從調(diào)諧941或編碼器943所輸入的編碼比特流，并且將所選擇的編碼比特流輸出到HDD944或盤驅(qū)動(dòng)器945。為了再現(xiàn)視頻和音頻，選擇器946對(duì)解碼器947選擇從HDD944或盤驅(qū)動(dòng)器945輸入的編碼比特流。
[0423]解碼器947對(duì)編碼比特流進(jìn)行解碼以生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。然后，解碼器947將所生成的視頻數(shù)據(jù)輸出到0SD948。解碼器904還將所生成的音頻數(shù)據(jù)輸出到外部揚(yáng)聲器。
[0424]0SD948對(duì)從解碼器947所輸入的視頻數(shù)據(jù)進(jìn)行再現(xiàn)并且顯示視頻。0SD948還可以將諸如菜單、按鈕或光標(biāo)的⑶I圖像疊加在要顯示的視頻上。
[0425]控制單元949包括諸如CPU的處理器、以及諸如RAM和ROM的存儲(chǔ)器。存儲(chǔ)器存儲(chǔ)要由CPU所執(zhí)行的程序、程序數(shù)據(jù)等。例如，當(dāng)啟動(dòng)記錄/再現(xiàn)裝置940時(shí)由CPU讀取并且執(zhí)行在存儲(chǔ)器中所存儲(chǔ)的程序。例如，CPU通過執(zhí)行程序根據(jù)從用戶接口 950所輸入的控制信號(hào)對(duì)記錄/再現(xiàn)裝置940的操作進(jìn)行控制。
[0426]用戶接口 950連接到控制單元949。例如，用戶接口 950包括用于用戶操作記錄/再現(xiàn)裝置940的按鈕和開關(guān)，以及用于接收遠(yuǎn)程控制信號(hào)的接收單元。用戶接口 950檢測(cè)用戶經(jīng)由這些組件進(jìn)行的操作，生成控制信號(hào)以及將所生成的控制信號(hào)輸出到控制單元949。
[0427]在具有這樣的結(jié)構(gòu)的記錄/再現(xiàn)裝置940中，編碼器943具有根據(jù)以上所描述的實(shí)施例的圖像編碼裝置的功能。此外，解碼器947具有根據(jù)以上所述的實(shí)施例的圖像解碼裝置的功能。因此，當(dāng)在記錄/再現(xiàn)裝置940中對(duì)圖像進(jìn)行編碼和解碼時(shí)，可以更加適當(dāng)?shù)匾瞥龎K失真，并且在解碼圖像中可以實(shí)現(xiàn)更高的主觀圖像質(zhì)量。
[0428]<8.第七實(shí)施例>
[0429][第四應(yīng)用:成像裝置]
[0430]圖22示意地示出了應(yīng)用了以上所述的實(shí)施例的成像裝置的示例結(jié)構(gòu)。成像裝置960對(duì)物體進(jìn)行成像以生成圖像，對(duì)圖像數(shù)據(jù)進(jìn)行編碼以及將編碼圖像數(shù)據(jù)記錄在記錄介質(zhì)中。
[0431]成像裝置960包括光學(xué)塊961、成像單元962、信號(hào)處理單元963、圖像處理單元964、顯示單元965、外部接口 966、存儲(chǔ)器967、介質(zhì)驅(qū)動(dòng)器968、0SD969、控制單元970、用戶接口 971以及總線972。
[0432]光學(xué)塊962連接到成像單元962。成像單元962連接到信號(hào)處理單元963。顯示單元965連接到圖像處理單元964。用戶接口 971連接到控制單元970?？偩€972將圖像處理單元964、外部接口 966、存儲(chǔ)器967、介質(zhì)驅(qū)動(dòng)器969、0SD969以及控制單元970彼此連接。[0433]光學(xué)塊961包括聚焦透鏡、光闌等。光學(xué)塊961在成像單元962的像平面上形成物體的光學(xué)圖像。成像單元962包括圖像傳感器(例如CXD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體))，并且將形成在成像平面上的光學(xué)圖像通過光電轉(zhuǎn)換轉(zhuǎn)換成作為電信號(hào)的圖像信號(hào)。然后，成像單元962將圖像信號(hào)輸出到信號(hào)處理單元963。
[0434]信號(hào)處理單元963對(duì)于從成像單元962所輸入的圖像信號(hào)執(zhí)行各種攝像信號(hào)處理，諸如拐點(diǎn)校正(knee correction)、伽馬校正以及色彩校正。信號(hào)處理單元963將受到攝像信號(hào)處理的圖像數(shù)據(jù)輸出至圖像處理單元964。
[0435]圖像處理單元964對(duì)從信號(hào)處理單元963所輸入的圖像數(shù)據(jù)進(jìn)行編碼以生成編碼數(shù)據(jù)。然后，圖像處理單元964將所生成的編碼數(shù)據(jù)輸出到外部接口 966或介質(zhì)驅(qū)動(dòng)器968。另外，圖像處理單元964對(duì)從外部接口 966或介質(zhì)驅(qū)動(dòng)器968所輸入的編碼數(shù)據(jù)進(jìn)行解碼以生成圖像數(shù)據(jù)。然后，圖像處理單元964將所生成的圖像數(shù)據(jù)輸出到顯示單元965。圖像處理單元964可以將從信號(hào)處理單元963所輸入的圖像數(shù)據(jù)輸出到顯示單元965以顯示圖像。圖像處理單元964還可以將從0SD969所獲取的用于顯示的數(shù)據(jù)疊加在將輸出至顯示單元965的圖像上。
[0436]例如，0SD969生成諸如菜單、按鈕或光標(biāo)的⑶I的圖像，并且將所生成的圖像輸出至圖像處理單元964。
[0437]外部接口 966是例如USB輸入/輸出端子。外部接口 966例如為了打印圖像而連接成像裝置960與打印機(jī)。另外，當(dāng)必要時(shí)，驅(qū)動(dòng)器連接到外部接口 966。例如，可移除介質(zhì)(諸如磁盤或光盤)被安裝到驅(qū)動(dòng)器，并且從可移除介質(zhì)所讀取的程序可以安裝在成像裝置960上。另外，外部接口 966可被為連接到網(wǎng)絡(luò)(諸如LAN或因特網(wǎng))的網(wǎng)絡(luò)接口。S卩，外部接口 966在成像裝置960中具有作為傳輸裝置的角色。
[0438]裝載到介質(zhì)驅(qū)動(dòng)器968的記錄介質(zhì)可以是可讀/寫可移除介質(zhì)，諸如磁盤、磁光盤、光盤、或半導(dǎo)體存儲(chǔ)器。替選地，記錄介質(zhì)可以固定方式安裝在介質(zhì)驅(qū)動(dòng)器968上以形成固定存儲(chǔ)單元，例如內(nèi)置硬盤驅(qū)動(dòng)器或SSD (固態(tài)驅(qū)動(dòng)器)。
[0439]控制單元970包括處理器(諸如CPU)和存儲(chǔ)器(諸如RAM和ROM)。存儲(chǔ)器存儲(chǔ)由(PU執(zhí)行的程序、程序數(shù)據(jù)等。例如，當(dāng)啟動(dòng)成像裝置960時(shí)，CPU讀取并且執(zhí)行在存儲(chǔ)器中所存儲(chǔ)的程序。CPU通過執(zhí)行程序、根據(jù)例如從用戶接口 971所輸入的控制信號(hào)來控制成像裝置960的操作。
[0440]用戶接口 971連接到控制單元970。用戶接口 971包括例如用于用戶操作成像裝置960的按鈕、開關(guān)等。用戶接口 971檢測(cè)用戶經(jīng)由這些部件進(jìn)行的操作，生成控制信號(hào)，并且將生成的控制信號(hào)輸出至控制單元970。
[0441]在具有這樣的結(jié)構(gòu)的成像裝置960中，圖像處理單元964具有根據(jù)以上所述的實(shí)施例的圖像編碼裝置和圖像解碼裝置的功能。因此，當(dāng)在成像裝置960中對(duì)圖像進(jìn)行編碼和解碼時(shí)，可以更加適當(dāng)?shù)匾瞥龎K失真，并且可以在解碼圖像中實(shí)現(xiàn)更高的主觀圖像質(zhì)量。
[0442]在本說明書中，描述了如下示例:在該示例中，將各種信息(諸如差分量化參數(shù))與編碼流復(fù)用，并且將各種信息從編碼器側(cè)傳送到解碼器側(cè)。然而，傳送信息的方法不限于以上的示例。例如，信息可以作為與編碼比特流關(guān)聯(lián)的單獨(dú)數(shù)據(jù)而被傳送或記錄，而不與編碼比特流復(fù)用。在此，術(shù)語“關(guān)聯(lián)”意味著解碼時(shí)允許將比特流中所包括的圖像(可以是部分圖像，諸如切片或塊)鏈接至與圖像相對(duì)應(yīng)的信息。即，信息可以經(jīng)由不同于用于圖像(或比特流)的傳輸路徑的傳輸路徑而傳送。替選地，信息可以記錄在除了用于圖像(或比特流)的記錄介質(zhì)之外的記錄介質(zhì)(或相同記錄介質(zhì)的不同記錄區(qū)域)上。此外，信息和圖像(或比特流)可以以任意單位(諸如以多個(gè)幀、單個(gè)幀或幀的一部分為單位)彼此關(guān)聯(lián)。
[0443]盡管參照附圖詳細(xì)地描述了本公開的優(yōu)選實(shí)施例，但是本公開不限于那些示例。對(duì)于本領(lǐng)域內(nèi)技術(shù)人員明顯的是，在所附的權(quán)利要求或其等同方案的技術(shù)范圍內(nèi)，可以進(jìn)行各種修改或變型，并且應(yīng)當(dāng)理解，這樣的修改或變型仍在本公開的技術(shù)范圍內(nèi)。
[0444]本技術(shù)還可以具有下面的結(jié)構(gòu)。
[0445](I) 一種圖像處理裝置，包括:
[0446]解碼單元，被配置成通過對(duì)比特流進(jìn)行解碼來生成圖像；
[0447]預(yù)測(cè)矢量確定單元，被配置成當(dāng)要預(yù)測(cè)由所述解碼單元所生成的所述圖像中的要被解碼的區(qū)域的視差矢量并且不可以參考位于所述區(qū)域附近的任何周圍區(qū)域時(shí)，將在根據(jù)所述比特流獲得的所述圖像和在同一時(shí)刻與所述圖像具有不同視差的視圖圖像之間的圖像間視差的范圍的上限值或下限值確定為預(yù)測(cè)矢量；以及
[0448]預(yù)測(cè)圖像生成單元，被配置成使用由所述預(yù)測(cè)矢量確定單元確定的所述預(yù)測(cè)矢量來生成由所述解碼單元所生成的所述圖像的預(yù)測(cè)圖像。
[0449](2)根據(jù)(I)所述的圖像處理裝置，
[0450]其中，所述圖像間視差的范圍的上限值或下限值是所述圖像間視差的最大值或最小值。
[0451](3)根據(jù)(I)或(2)所述的圖像處理裝置，其中
[0452]所述解碼接收指示所述圖像間視差的范圍的上限值和下限值中的哪個(gè)要被用作所述預(yù)測(cè)矢量的標(biāo)志，以及
[0453]所述預(yù)測(cè)矢量確定單元將由所述解碼所接收到的標(biāo)志所指示的值確定為所述預(yù)
測(cè)矢量。
[0454](4)根據(jù)(I )至(3)中任一項(xiàng)所述的圖像處理裝置，其中，所述預(yù)測(cè)矢量生成單元將所述圖像間視差的范圍的上限值、下限值以及平均值之一確定為所述預(yù)測(cè)矢量。
[0455](5)根據(jù)(I)至(3)中任一項(xiàng)所述的圖像處理裝置，其中，所述預(yù)測(cè)矢量生成單元將所述圖像間視差的范圍的上限值和下限值以及所述圖像間視差的范圍內(nèi)的預(yù)定值之一確定為所述預(yù)測(cè)矢量。
[0456](6)根據(jù)(I)至(5)中任一項(xiàng)所述的圖像處理裝置，其中，當(dāng)由所述圖像的參考圖像索引所指示的圖像與所述視圖圖像不同時(shí)，所述預(yù)測(cè)矢量生成單元將通過對(duì)所述圖像間視差的范圍的上限值或下限值執(zhí)行縮放所獲得的值確定為所述預(yù)測(cè)矢量。
[0457](7) 一種圖像處理方法，包括:
[0458]通過對(duì)比特流進(jìn)行解碼來生成圖像；
[0459]當(dāng)要預(yù)測(cè)所生成的圖像中的要被解碼的區(qū)域的視差矢量并且不可以參考位于所述區(qū)域附近的任何周圍區(qū)域時(shí)，將在根據(jù)所述比特流獲得的所述圖像和在同一時(shí)刻與所述圖像具有不同視差的視圖圖像之間的圖像間視差的范圍的上限值或下限值確定為預(yù)測(cè)矢量；以及
[0460]使用所確定的預(yù)測(cè)矢量來生成所生成的圖像的預(yù)測(cè)圖像，
[0461]圖像處理裝置生成所述圖像、確定所述預(yù)測(cè)矢量以及生成所述預(yù)測(cè)圖像。[0462](8) 一種圖像處理裝置，包括:
[0463]預(yù)測(cè)矢量確定單元，被配置成當(dāng)要預(yù)測(cè)圖像中的要被編碼的區(qū)域的視差矢量并且不可以參考位于所述區(qū)域附近的任何周圍區(qū)域時(shí)，將在所述圖像和在同一時(shí)刻與所述圖像具有不同視差的視圖圖像之間的圖像間視差的范圍的上限值或下限值確定為預(yù)測(cè)矢量；以及
[0464]編碼單元，被配置成對(duì)所述區(qū)域的視差矢量與由所述預(yù)測(cè)矢量確定單元所確定的所述預(yù)測(cè)矢量之間的差別進(jìn)行編碼。
[0465](9)根據(jù)(8)所述的圖像處理裝置，其中，所述圖像間視差的范圍的上限值或下限值是所述圖像間視差的最大值或最小值。
[0466](10)根據(jù)(8)或(9)所述的圖像處理裝置，還包括:
[0467]傳送單元，被配置成傳送指示所述圖像間視差的范圍的上限值和下限值中的哪個(gè)已經(jīng)被所述預(yù)測(cè)矢量確定單元確定為預(yù)測(cè)矢量的標(biāo)志，并且傳送通過對(duì)所述圖像進(jìn)行編碼所生成的編碼流。
[0468](11)根據(jù)(8)至(10)中任一項(xiàng)所述的圖像處理裝置，其中，所述預(yù)測(cè)矢量生成單元將所述圖像間視差的范圍的上限值、下限值以及平均值之一確定為所述預(yù)測(cè)矢量。
[0469](12)根據(jù)(8)至(10)中任一項(xiàng)所述的圖像處理裝置，其中，所述預(yù)測(cè)矢量生成單元將所述圖像間視差的范圍的上限值和下限值以及所述圖像間視差的范圍內(nèi)的預(yù)定值之一確定為所述預(yù)測(cè)矢量。
[0470](13)根據(jù)(8)至(12)中任一項(xiàng)所述的圖像處理裝置，其中，當(dāng)由所述圖像的參考圖像索引所指示的圖像與所述視圖圖像不同時(shí)，所述預(yù)測(cè)矢量生成單元將通過對(duì)所述圖像間視差的范圍的上限值或下限值執(zhí)行縮放所獲得的值確定為所述預(yù)測(cè)矢量。
[0471](14) 一種圖像處理方法，包括:
[0472]當(dāng)要預(yù)測(cè)圖像中的要被編碼的區(qū)域的視差矢量并且不可以參考位于所述區(qū)域附近的任何周圍區(qū)域時(shí)，將在所述圖像和在同一時(shí)刻與所述圖像具有不同視差的視圖圖像之間的圖像間視差的范圍的上限值或下限值確定為預(yù)測(cè)矢量；以及
[0473]對(duì)所述區(qū)域的視差矢量與所確定的預(yù)測(cè)矢量之間的差別進(jìn)行編碼，
[0474]圖像處理裝置確定所述預(yù)測(cè)矢量并且對(duì)所述差別進(jìn)行編碼。
[0475]附圖標(biāo)記列表
[0476]100圖像編碼裝置，106無損編碼單元，115運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元，121多視圖解碼圖片緩沖器，122視差檢測(cè)單元，135編碼信息緩沖器，136空間預(yù)測(cè)矢量生成單元，137時(shí)間視差預(yù)測(cè)矢量生成單元，138預(yù)測(cè)矢量生成單元，133編碼成本計(jì)算單元，134模式確定單元，200圖像解碼裝置，202無損解碼單元，212運(yùn)動(dòng)視差預(yù)測(cè)/補(bǔ)償單元，221多視點(diǎn)解碼圖片緩沖器，231編碼信息緩沖器，232空間預(yù)測(cè)矢量生成單元，233時(shí)間視差預(yù)測(cè)矢量生成單元，234預(yù)測(cè)矢量生成單元
【權(quán)利要求】
1.一種圖像處理裝置，包括:解碼單元，被配置成通過對(duì)比特流進(jìn)行解碼來生成圖像；預(yù)測(cè)矢量確定單元，被配置成當(dāng)要預(yù)測(cè)由所述解碼單元所生成的所述圖像中的要被解碼的區(qū)域的視差矢量并且不可以參考位于所述區(qū)域附近的任何周圍區(qū)域時(shí)，將在根據(jù)所述比特流獲得的所述圖像和在同一時(shí)刻與所述圖像具有不同視差的視圖圖像之間的圖像間視差的范圍的上限值或下限值確定為預(yù)測(cè)矢量；以及預(yù)測(cè)圖像生成單元，被配置成使用由所述預(yù)測(cè)矢量確定單元確定的所述預(yù)測(cè)矢量來生成由所述解碼單元所生成的所述圖像的預(yù)測(cè)圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像間視差的范圍的上限值或下限值是所述圖像間視差的最大值或最小值。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述解碼接收指示所述圖像間視差的范圍的上限值和下限值中的哪個(gè)要被用作所述預(yù)測(cè)矢量的標(biāo)志，以及所述預(yù)測(cè)矢量確定單元將通過所述解碼所接收到的標(biāo)志所指示的值確定為所述預(yù)測(cè)矢量。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述預(yù)測(cè)矢量生成單元將所述圖像間視差的范圍的上限值、下限值以及平均值之一確定為所述預(yù)測(cè)矢量。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述預(yù)測(cè)矢量生成單元將所述圖像間視差的范圍的上限值和下限值以及所述圖像間視差的范圍內(nèi)的預(yù)定值之一確定為所述預(yù)測(cè)矢量。
6.根據(jù)權(quán)利要求1所述的·圖像處理裝置，其中，當(dāng)由所述圖像的參考圖像索引所指示的圖像與所述視圖圖像不同時(shí)，所述預(yù)測(cè)矢量生成單元將通過對(duì)所述圖像間視差的范圍的上限值或下限值執(zhí)行縮放所獲得的值確定為所述預(yù)測(cè)矢量。
7.一種圖像處理方法，包括:通過對(duì)比特流進(jìn)行解碼來生成圖像；當(dāng)要預(yù)測(cè)所生成的圖像中的要被解碼的區(qū)域的視差矢量并且不可以參考位于所述區(qū)域附近的任何周圍區(qū)域時(shí)，將在根據(jù)所述比特流獲得的所述圖像和在同一時(shí)刻與所述圖像具有不同視差的視圖圖像之間的圖像間視差的范圍的上限值或下限值確定為預(yù)測(cè)矢量；以及使用所確定的預(yù)測(cè)矢量來生成所生成的圖像的預(yù)測(cè)圖像，圖像處理裝置生成所述圖像、確定所述預(yù)測(cè)矢量以及生成所述預(yù)測(cè)圖像。
8.一種圖像處理裝置，包括:預(yù)測(cè)矢量確定單元，被配置成當(dāng)要預(yù)測(cè)圖像中的要被編碼的區(qū)域的視差矢量并且不可以參考位于所述區(qū)域附近的任何周圍區(qū)域時(shí)，將在所述圖像和在同一時(shí)刻與所述圖像具有不同視差的視圖圖像之間的圖像間視差的范圍的上限值或下限值確定為預(yù)測(cè)矢量；以及編碼單元，被配置成對(duì)所述區(qū)域的視差矢量與由所述預(yù)測(cè)矢量確定單元所確定的所述預(yù)測(cè)矢量之間的差別進(jìn)行編碼。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其中，所述圖像間視差的范圍的上限值或下限值是所述圖像間視差的最大值或最小值。
10.根據(jù)權(quán)利要求8所述的圖像處理裝置，還包括: 傳送單元，被配置成傳送指示所述圖像間視差的范圍的上限值和下限值中的哪個(gè)已經(jīng)被所述預(yù)測(cè)矢量確定單元確定為預(yù)測(cè)矢量的標(biāo)志，并且傳送通過對(duì)所述圖像進(jìn)行編碼所生成的編碼流。
11.根據(jù)權(quán)利要求8所述的圖像處理裝置，其中，所述預(yù)測(cè)矢量生成單元將所述圖像間視差的范圍的上限值、下限值以及平均值之一確定為所述預(yù)測(cè)矢量。
12.根據(jù)權(quán)利要求8所述的圖像處理裝置，其中，所述預(yù)測(cè)矢量生成單元將所述圖像間視差的范圍的上限值和下限值以及所述圖像間視差的范圍內(nèi)的預(yù)定值之一確定為所述預(yù)測(cè)矢量。
13.根據(jù)權(quán)利要求8所述的圖像處理裝置，其中，當(dāng)由所述圖像的參考圖像索引所指示的圖像與所述視圖圖像不同時(shí)，所述預(yù)測(cè)矢量生成單元將通過對(duì)所述圖像間視差的范圍的上限值或下限值執(zhí)行縮放所獲得的值確定為所述預(yù)測(cè)矢量。
14.一種圖像處理方法，包括: 當(dāng)要預(yù)測(cè)圖像中的要被編碼的區(qū)域的視差矢量并且不可以參考位于所述區(qū)域附近的任何周圍區(qū)域時(shí)，將在所述圖像和在同一時(shí)刻與所述圖像具有不同視差的視圖圖像之間的圖像間視差的范圍的上限值或下限值確定為預(yù)測(cè)矢量；以及 對(duì)所述區(qū)域的視差矢量與所確定的預(yù)測(cè)矢量之間的差別進(jìn)行編碼， 圖像處理裝置確定所述預(yù)測(cè)·矢量并且對(duì)所述差別進(jìn)行編碼。
【文檔編號(hào)】H04N19/176GK103597833SQ201280029321
【公開日】2014年2月19日 申請(qǐng)日期:2012年6月14日 優(yōu)先權(quán)日:2011年6月22日
【發(fā)明者】高橋良知, 服部忍 申請(qǐng)人:索尼公司