運(yùn)動(dòng)圖像編碼裝置、運(yùn)動(dòng)圖像解碼裝置、運(yùn)動(dòng)圖像編碼方法以及運(yùn)動(dòng)圖像解碼方法
【專利摘要】在幀內(nèi)預(yù)測(cè)處理是水平方向預(yù)測(cè)處理的情況下，對(duì)預(yù)測(cè)塊的左面所鄰接的像素的亮度值相加與預(yù)測(cè)塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加后的值決定為預(yù)測(cè)圖像的預(yù)測(cè)值，在幀內(nèi)預(yù)測(cè)處理是垂直方向預(yù)測(cè)處理的情況下，對(duì)預(yù)測(cè)塊的上面所鄰接的像素的亮度值，相加與預(yù)測(cè)塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加后的值決定為預(yù)測(cè)圖像的預(yù)測(cè)值。
【專利說明】運(yùn)動(dòng)圖像編碼裝置、運(yùn)動(dòng)圖像解碼裝置、運(yùn)動(dòng)圖像編碼方法以及運(yùn)動(dòng)圖像解碼方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及高效地對(duì)運(yùn)動(dòng)圖像進(jìn)行編碼的運(yùn)動(dòng)圖像編碼裝置以及運(yùn)動(dòng)圖像編碼方法、和對(duì)高效地編碼了的運(yùn)動(dòng)圖像進(jìn)行解碼的運(yùn)動(dòng)圖像解碼裝置以及運(yùn)動(dòng)圖像解碼方法。
【背景技術(shù)】
[0002]例如，在MPEG(MovingPicture Experts Group,運(yùn)動(dòng)圖像專家組)、“ITU_T H.26x”等國(guó)際標(biāo)準(zhǔn)影像編碼方式中，將輸入影像幀分割為矩形的塊(編碼塊)，并對(duì)該編碼塊實(shí)施使用已編碼的圖像信號(hào)的預(yù)測(cè)處理從而生成預(yù)測(cè)圖像，將作為該編碼塊與預(yù)測(cè)圖像的差分的預(yù)測(cè)誤差信號(hào)按照塊單位進(jìn)行正交變換、量化處理，從而進(jìn)行信息壓縮。
[0003]例如，在作為國(guó)際標(biāo)準(zhǔn)方式的MPEG-4 AVC/H.264 (IS0/IEC 14496-10 | ITU-TH.264)中，根據(jù)已編碼的附近像素進(jìn)行幀內(nèi)部(Intra)預(yù)測(cè)處理或者鄰近幀間的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理(例如，參照非專利文獻(xiàn)I)。
[0004]在MPEG-4 AVC/H.264中，在亮度的幀內(nèi)部預(yù)測(cè)模式中，能夠按照塊單位，從多個(gè)預(yù)測(cè)模式中選擇I個(gè)預(yù)測(cè)模式。
[0005]圖14是示出亮度的塊尺寸是4X4像素的情況的幀內(nèi)部預(yù)測(cè)模式的說明圖。
[0006]在圖14中，塊內(nèi)的白圈表示編碼對(duì)象的像素，黑圈表示作為預(yù)測(cè)中使用的像素的已編碼的像素。在亮度的塊尺寸是4X4像素的情況下，規(guī)定了模式O至模式8這9個(gè)幀內(nèi)部預(yù)測(cè)模式。
[0007]在圖14中，模式2是進(jìn)行平均值預(yù)測(cè)的模式，利用塊的上面和左面的鄰接像素的平均值，預(yù)測(cè)塊內(nèi)的像素。
[0008]模式2以外的模式是進(jìn)行方向性預(yù)測(cè)的模式。模式O是垂直方向預(yù)測(cè)，通過在垂直方向上重復(fù)塊的上面的鄰接像素從而生成預(yù)測(cè)圖像。例如，在豎條紋花紋時(shí)選擇模式O。
[0009]模式I是水平方向預(yù)測(cè)，通過在水平方向上重復(fù)塊的左面的鄰接像素從而生成預(yù)測(cè)圖像。例如，在橫條紋花紋時(shí)選擇模式I。
[0010]在模式3至模式8中，使用塊的上面或者左面的已編碼的像素，在規(guī)定的方向(箭頭表示的方向)上生成插值像素來生成預(yù)測(cè)圖像。
[0011 ] 此處，應(yīng)用幀內(nèi)部預(yù)測(cè)的亮度的塊尺寸能夠從4X4像素、8 X 8像素、16 X 16像素中選擇，在8X8像素的情況下，與4X4像素同樣地規(guī)定了 9個(gè)幀內(nèi)部預(yù)測(cè)模式。但是，關(guān)于預(yù)測(cè)中使用的像素，并非是已編碼的像素自身，而是使用針對(duì)這些像素實(shí)施濾波處理而得到的像素。
[0012]相對(duì)于此，在16X16像素的情況下，除了與平均值預(yù)測(cè)、垂直方向預(yù)測(cè)以及水平方向預(yù)測(cè)有關(guān)的幀內(nèi)部預(yù)測(cè)模式以外，還規(guī)定了被稱為Plane預(yù)測(cè)的4個(gè)幀內(nèi)部預(yù)測(cè)模式。
[0013]與Plane預(yù)測(cè)有關(guān)的幀內(nèi)部預(yù)測(cè)模式是將針對(duì)塊的上面和左面的已編碼的鄰接像素在傾斜方向上進(jìn)行內(nèi)插插值而生成的像素作為預(yù)測(cè)值的模式。[0014]另外，在方向性預(yù)測(cè)模式中，通過在預(yù)定的方向(預(yù)測(cè)方向)上重復(fù)塊的鄰接像素或者根據(jù)鄰接像素生成的插值像素從而生成預(yù)測(cè)值，所以在圖15所示那樣的預(yù)測(cè)對(duì)象塊內(nèi)的目標(biāo)的邊界(邊緣)的方向與預(yù)測(cè)方向一致、并且塊內(nèi)的信號(hào)值沿著預(yù)測(cè)方向而恒定的情況下，預(yù)測(cè)效率變高而能夠削減符號(hào)量。
[0015]非專利文獻(xiàn)I:MPEG-4 AVC (IS0/IEC 14496-10) /ITU-T H.264 標(biāo)準(zhǔn)
【發(fā)明內(nèi)容】

[0016]以往的運(yùn)動(dòng)圖像編碼裝置如以上那樣構(gòu)成，所以如果預(yù)測(cè)對(duì)象塊內(nèi)的目標(biāo)的邊界(邊緣)的方向與預(yù)測(cè)方向一致、并且預(yù)測(cè)對(duì)象塊內(nèi)的信號(hào)值沿著該預(yù)測(cè)方向而恒定，則能夠通過使用方向性預(yù)測(cè)來高精度地進(jìn)行預(yù)測(cè)。但是，存在如下課題:即便預(yù)測(cè)對(duì)象塊內(nèi)的目標(biāo)的邊界(邊緣)的方向與預(yù)測(cè)方向一致，在如圖16所示，在信號(hào)值沿著該預(yù)測(cè)方向而變化的情況下，預(yù)測(cè)誤差也會(huì)變大。
[0017]本發(fā)明是為了解決上述那樣的課題而完成的，其目的在于得到一種運(yùn)動(dòng)圖像編碼裝置、運(yùn)動(dòng)圖像解碼裝置、運(yùn)動(dòng)圖像編碼方法以及運(yùn)動(dòng)圖像解碼方法，即使在信號(hào)值沿著預(yù)測(cè)方向而變化的情況下，也能夠?qū)崿F(xiàn)高精度的預(yù)測(cè)來提高圖像質(zhì)量。
[0018]在本發(fā)明的運(yùn)動(dòng)圖像編碼裝置中，幀內(nèi)部預(yù)測(cè)單元在生成預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是水平方向預(yù)測(cè)處理的情況下，對(duì)預(yù)測(cè)塊的左面所鄰接的像素的亮度值相加與預(yù)測(cè)塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加后的值決定為預(yù)測(cè)圖像的預(yù)測(cè)值，在生成預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是垂直方向預(yù)測(cè)處理的情況下，對(duì)預(yù)測(cè)塊的上面所鄰接的像素的亮度值相加與預(yù)測(cè)塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加后的值決定為預(yù)測(cè)圖像的預(yù)測(cè)值。
[0019]根據(jù)本發(fā)明，幀內(nèi)部預(yù)測(cè)單元構(gòu)成為在生成預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是水平方向預(yù)測(cè)處理的情況下，對(duì)預(yù)測(cè)塊的左面所鄰接的像素的亮度值相加與預(yù)測(cè)塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加后的值決定為預(yù)測(cè)圖像的預(yù)測(cè)值，在生成預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是垂直方向預(yù)測(cè)處理的情況下，對(duì)預(yù)測(cè)塊的上面所鄰接的像素的亮度值相加與預(yù)測(cè)塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加后的值決定為預(yù)測(cè)圖像的預(yù)測(cè)值，所以具有即使在信號(hào)值沿著預(yù)測(cè)方向而變化的情況下也能夠?qū)崿F(xiàn)高精度的預(yù)測(cè)來提高圖像質(zhì)量的效果。
【專利附圖】

【附圖說明】
[0020]圖1是示出本發(fā)明的實(shí)施方式I的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)圖。
[0021]圖2是示出本發(fā)明的實(shí)施方式I的運(yùn)動(dòng)圖像編碼裝置的處理內(nèi)容(運(yùn)動(dòng)圖像編碼方法)的流程圖。
[0022]圖3是示出本發(fā)明的實(shí)施方式I的運(yùn)動(dòng)圖像解碼裝置的結(jié)構(gòu)圖。
[0023]圖4是示出本發(fā)明的實(shí)施方式I的運(yùn)動(dòng)圖像解碼裝置的處理內(nèi)容(運(yùn)動(dòng)圖像解碼方法)的流程圖。
[0024]圖5是示出最大編碼塊被層次性地分割為多個(gè)編碼塊的例子的說明圖。
[0025]圖6的(a)是示出分割后的編碼塊以及預(yù)測(cè)塊的分布的說明圖，(b)是示出通過層次分割而分配了編碼模式m (Bn)的狀況的說明圖。[0026]圖7是示出編碼塊Bn內(nèi)的各預(yù)測(cè)塊Pi11可選擇的幀內(nèi)部預(yù)測(cè)參數(shù)(幀內(nèi)部預(yù)測(cè)模式)的一個(gè)例子的說明圖。
[0027]圖8是示出在1IN=nC = 4的情況下生成預(yù)測(cè)塊Pi11內(nèi)的像素的預(yù)測(cè)值時(shí)使用的像素的一個(gè)例子的說明圖。
[0028]圖9是示出以預(yù)測(cè)塊Pi11內(nèi)的左上像素為原點(diǎn)的相對(duì)坐標(biāo)的說明圖。
[0029]圖10是示出垂直方向預(yù)測(cè)中的以往的為了計(jì)算對(duì)預(yù)測(cè)值相加的亮度值變化量而參照的左面的預(yù)測(cè)塊的鄰接像素的一個(gè)例子的說明圖。
[0030]圖11是示出垂直方向預(yù)測(cè)中的以往的對(duì)預(yù)測(cè)值相加的亮度值變化量的縮放值的一個(gè)例子的說明圖。
[0031]圖12是示出水平方向預(yù)測(cè)中的以往的為了計(jì)算對(duì)預(yù)測(cè)值相加的亮度值變化量而參照的上面的預(yù)測(cè)塊的鄰接像素的一個(gè)例子的說明圖。
[0032]圖13是示出水平方向預(yù)測(cè)中的以往的對(duì)預(yù)測(cè)值相加的亮度值變化量的縮放值的一個(gè)例子的說明圖。
[0033]圖14是示出亮度的塊尺寸是4X4像素的情況的幀內(nèi)部預(yù)測(cè)模式的說明圖。
[0034]圖15是示出通過水平方向預(yù)測(cè)而高精度地預(yù)測(cè)的預(yù)測(cè)圖像的一個(gè)例子的說明圖。
[0035]圖16是示出在通過水平方向預(yù)測(cè)進(jìn)行了預(yù)測(cè)時(shí)發(fā)生大的預(yù)測(cè)誤差的一個(gè)例子的說明圖。
[0036]圖17是示出編碼塊Bn內(nèi)的各預(yù)測(cè)塊Pi11可選擇的幀內(nèi)部預(yù)測(cè)參數(shù)(幀內(nèi)部預(yù)測(cè)模式)的一個(gè)例子的說明圖。
[0037](符號(hào)說明)
[0038]1:塊分割部(塊分割單元);2:編碼控制部(編碼控制單元);3:切換開關(guān)；4:幀內(nèi)部預(yù)測(cè)部(幀內(nèi)部預(yù)測(cè)單元);5:運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部(運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元)；6:減法部(量化單元)；
7:變換/量化部(量化單元);8:逆量化/逆變換部；9:加法部；10:幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器(幀內(nèi)部預(yù)測(cè)單元);11:環(huán)路濾波器部；12:運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器(運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元);13:可變長(zhǎng)編碼部(可變長(zhǎng)編碼單元);31:可變長(zhǎng)解碼部(可變長(zhǎng)解碼單元);32:逆量化/逆變換部(逆量化單元);33:切換開關(guān)；34:幀內(nèi)部預(yù)測(cè)部(幀內(nèi)部預(yù)測(cè)單元);35:運(yùn)動(dòng)補(bǔ)償部(運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元)；36:加法部；37:幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器(幀內(nèi)部預(yù)測(cè)單元)；38:環(huán)路濾波器部；39:運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器(運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元)。
【具體實(shí)施方式】
[0039]以下，為了更詳細(xì)地說明本發(fā)明，依照附圖來說明用于實(shí)施本發(fā)明的方式。
[0040]實(shí)施方式1.[0041]圖1是示出本發(fā)明的實(shí)施方式I的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)圖。
[0042]在圖1中，塊分割部I實(shí)施如下處理:如果輸入了表示輸入圖像的影像信號(hào)，則將該輸入圖像分割為由編碼控制部2決定的最大尺寸的編碼塊即最大編碼塊，并且直至達(dá)到由編碼控制部2決定的上限的層次數(shù)為止，將該最大編碼塊層次性地分割為各編碼塊。
[0043]即，塊分割部I實(shí)施如下處理:根據(jù)由編碼控制部2決定的分割而將輸入圖像分割為各編碼塊，并輸出該編碼塊。另外，各編碼塊被分割為成為預(yù)測(cè)處理單位的一個(gè)或多個(gè)預(yù)測(cè)塊。
[0044]另外，塊分割部I構(gòu)成了塊分割單元。
[0045]編碼控制部2實(shí)施如下處理:決定成為實(shí)施預(yù)測(cè)處理時(shí)的處理單位的編碼塊的最大尺寸，并且決定最大尺寸的編碼塊被層次性地分割時(shí)的上限的層次數(shù)，從而決定各個(gè)編碼塊的尺寸。
[0046]另外，編碼控制部2實(shí)施如下處理:從可選擇的I個(gè)以上的編碼模式(I個(gè)以上的幀內(nèi)部編碼模式、I個(gè)以上的幀間編碼模式)中，選擇針對(duì)從塊分割部I輸出的編碼塊的編碼效率最高的編碼模式。
[0047]另外，編碼控制部2實(shí)施如下處理:在編碼效率最高的編碼模式是幀內(nèi)部編碼模式的情況下，針對(duì)作為預(yù)測(cè)處理單位的每個(gè)預(yù)測(cè)塊，決定在以該幀內(nèi)部編碼模式實(shí)施針對(duì)編碼塊的幀內(nèi)部預(yù)測(cè)處理時(shí)所使用的幀內(nèi)部預(yù)測(cè)參數(shù)，在編碼效率最高的編碼模式是幀間編碼模式的情況下，針對(duì)作為預(yù)測(cè)處理單位的每個(gè)預(yù)測(cè)塊，決定在以該幀間編碼模式實(shí)施針對(duì)編碼塊的幀間預(yù)測(cè)處理時(shí)所使用的幀間預(yù)測(cè)參數(shù)。
[0048]而且，編碼控制部2實(shí)施如下處理:決定對(duì)變換/量化部7以及逆量化/逆變換部8提供的預(yù)測(cè)差分編碼參數(shù)。
[0049]另外，編碼控制部2構(gòu)成了編碼控制單元。
[0050]切換開關(guān)3實(shí)施如下處理:如果由編碼控制部2決定的編碼模式是幀內(nèi)部編碼模式，則將從塊分割部I輸出的編碼塊輸出到幀內(nèi)部預(yù)測(cè)部4，如果由編碼控制部2決定的編碼模式是幀間編碼模式，則將從塊分割部I輸出的編碼塊輸出到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5。
[0051 ] 幀內(nèi)部預(yù)測(cè)部4實(shí)施如下處理:針對(duì)從切換開關(guān)3輸出的編碼塊，按照作為預(yù)測(cè)處理單位的每個(gè)預(yù)測(cè)塊，一邊參照幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器10中儲(chǔ)存的局部解碼圖像，一邊實(shí)施使用了由編碼控制部2決定的幀內(nèi)部預(yù)測(cè)參數(shù)的幀內(nèi)部預(yù)測(cè)處理(幀內(nèi)預(yù)測(cè)處理)來生成幀內(nèi)部預(yù)測(cè)圖像。
[0052]另外，幀內(nèi)部預(yù)測(cè)部4在生成預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是水平方向預(yù)測(cè)處理的情況下，對(duì)預(yù)測(cè)塊的左面所鄰接的像素的亮度值相加與預(yù)測(cè)塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加后的值決定為預(yù)測(cè)圖像的預(yù)測(cè)值，在生成預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是垂直方向預(yù)測(cè)處理的情況下，對(duì)預(yù)測(cè)塊的上面所鄰接的像素的亮度值相加與預(yù)測(cè)塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加后的值決定為預(yù)測(cè)圖像的預(yù)測(cè)值。
[0053]由幀內(nèi)部預(yù)測(cè)部4以及幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器10構(gòu)成了幀內(nèi)部預(yù)測(cè)單元。
[0054]運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5實(shí)施如下處理:按照作為預(yù)測(cè)處理單位的預(yù)測(cè)塊單位，比較從切換開關(guān)3輸出的編碼塊和儲(chǔ)存在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12中的I幀以上的局部解碼圖像，來搜索運(yùn)動(dòng)矢量，并使用該運(yùn)動(dòng)矢量和由編碼控制部2決定的幀間預(yù)測(cè)參數(shù)，按照預(yù)測(cè)塊單位實(shí)施針對(duì)該編碼塊的幀間預(yù)測(cè)處理(運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理)而生成幀間預(yù)測(cè)圖像。
[0055]減法部6實(shí)施如下處理:從由塊分割部I輸出的編碼塊減去由幀內(nèi)部預(yù)測(cè)部4生成的幀內(nèi)部預(yù)測(cè)圖像或者由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5生成的幀間預(yù)測(cè)圖像，將作為其相減結(jié)果的預(yù)測(cè)差分信號(hào)(差分圖像)輸出到變換/量化部7。
[0056]變換/量化部7實(shí)施如下處理:參照由編碼控制部2決定的預(yù)測(cè)差分編碼參數(shù)，實(shí)施針對(duì)從減法部6輸出的預(yù)測(cè)差分信號(hào)的正交變換處理(例如，DCT (離散余弦變換)、預(yù)先對(duì)特定的學(xué)習(xí)序列進(jìn)行基底設(shè)計(jì)的KL變換等正交變換處理)來計(jì)算變換系數(shù)，并且參照該預(yù)測(cè)差分編碼參數(shù)，對(duì)該變換系數(shù)進(jìn)行量化，將作為量化后的變換系數(shù)的壓縮數(shù)據(jù)輸出到逆量化/逆變換部8以及可變長(zhǎng)編碼部13。
[0057]另外，由減法部6以及變換/量化部7構(gòu)成了量化單元。
[0058]逆量化/逆變換部8實(shí)施如下處理:參照由編碼控制部2決定的預(yù)測(cè)差分編碼參數(shù)，對(duì)從變換/量化部7輸出的壓縮數(shù)據(jù)進(jìn)行逆量化，并且參照該預(yù)測(cè)差分編碼參數(shù)，實(shí)施針對(duì)作為逆量化后的壓縮數(shù)據(jù)的變換系數(shù)的逆正交變換處理，計(jì)算與從減法部6輸出的預(yù)測(cè)差分信號(hào)相當(dāng)?shù)木植拷獯a預(yù)測(cè)差分信號(hào)。
[0059]加法部9實(shí)施如下處理:將由逆量化/逆變換部8計(jì)算出的局部解碼預(yù)測(cè)差分信號(hào)、與由幀內(nèi)部預(yù)測(cè)部4生成的幀內(nèi)部預(yù)測(cè)圖像或者由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5生成的幀間預(yù)測(cè)圖像進(jìn)行相加，來計(jì)算與從塊分割部I輸出的編碼塊相當(dāng)?shù)木植拷獯a圖像。
[0060]幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器10是儲(chǔ)存由加法部9計(jì)算出的局部解碼圖像的記錄介質(zhì)。
[0061]環(huán)路濾波器部11實(shí)施如下處理:對(duì)由加法部9計(jì)算出的局部解碼圖像實(shí)施規(guī)定的濾波處理，輸出濾波處理后的局部解碼圖像。
[0062]運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12是儲(chǔ)存濾波處理后的局部解碼圖像的記錄介質(zhì)。
[0063]可變長(zhǎng)編碼部13實(shí)施如下處理:對(duì)從變換/量化部7輸出的壓縮數(shù)據(jù)、編碼控制部2的輸出信號(hào)(最大編碼塊內(nèi)的塊分割信息、編碼模式、預(yù)測(cè)差分編碼參數(shù)、幀內(nèi)部預(yù)測(cè)參數(shù)或者幀間預(yù)測(cè)參數(shù))、以及從運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5輸出的運(yùn)動(dòng)矢量(編碼模式是幀間編碼模式的情況)進(jìn)行可變長(zhǎng)編碼，而生成比特流。
[0064]另外，可變長(zhǎng)編碼部13構(gòu)成了可變長(zhǎng)編碼單元。
[0065]在圖1的例子中，設(shè)想作為運(yùn)動(dòng)圖像編碼裝置的構(gòu)成要素的塊分割部1、編碼控制部2、切換開關(guān)3、幀內(nèi)部預(yù)測(cè)部4、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5、減法部6、變換/量化部7、逆量化/逆變換部8、加法部9、幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器10、環(huán)路濾波器部11、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12以及可變長(zhǎng)編碼部13的各個(gè)由專用的硬件(例如，安裝了 CPU的半導(dǎo)體集成電路、單片式微型計(jì)算機(jī)等)構(gòu)成的例子，但在運(yùn)動(dòng)圖像編碼裝置由計(jì)算機(jī)構(gòu)成的情況下，也可以將記述了塊分割部1、編碼控制部2、切換開關(guān)3、幀內(nèi)部預(yù)測(cè)部4、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5、減法部6、變換/量化部7、逆量化/逆變換部8、加法部9、環(huán)路濾波器部11以及可變長(zhǎng)編碼部13的處理內(nèi)容的程序儲(chǔ)存到計(jì)算機(jī)的存儲(chǔ)器中，并由該計(jì)算機(jī)的CPU執(zhí)行該存儲(chǔ)器中儲(chǔ)存的程序。
[0066]圖2是示出本發(fā)明的實(shí)施方式I的運(yùn)動(dòng)圖像編碼裝置的處理內(nèi)容(運(yùn)動(dòng)圖像編碼方法)的流程圖。
[0067]圖3是示出本發(fā)明的實(shí)施方式I的運(yùn)動(dòng)圖像解碼裝置的結(jié)構(gòu)圖。
[0068]在圖3中，可變長(zhǎng)解碼部31實(shí)施如下處理:如果輸入了由圖1的運(yùn)動(dòng)圖像編碼裝置生成的比特流，則從該比特流，對(duì)壓縮數(shù)據(jù)、塊分割信息、編碼模式、幀內(nèi)部預(yù)測(cè)參數(shù)(編碼模式是幀內(nèi)部編碼模式的情況)、幀間預(yù)測(cè)參數(shù)(編碼模式是幀間編碼模式的情況)、預(yù)測(cè)差分編碼參數(shù)以及運(yùn)動(dòng)矢量(編碼模式是幀間編碼模式的情況)進(jìn)行可變長(zhǎng)解碼。
[0069]另外，可變長(zhǎng)解碼部31構(gòu)成了可變長(zhǎng)解碼單元。
[0070]逆量化/逆變換部32實(shí)施如下處理:參照由可變長(zhǎng)解碼部31可變長(zhǎng)解碼了的預(yù)測(cè)差分編碼參數(shù)，對(duì)由可變長(zhǎng)解碼部31可變長(zhǎng)解碼了的壓縮數(shù)據(jù)進(jìn)行逆量化，并且參照該預(yù)測(cè)差分編碼參數(shù)來實(shí)施針對(duì)作為逆量化后的壓縮數(shù)據(jù)的變換系數(shù)的逆正交變換處理，計(jì)算與從圖1的逆量化/逆變換部8輸出的局部解碼預(yù)測(cè)差分信號(hào)相同的解碼預(yù)測(cè)差分信號(hào)。
[0071]另外，逆量化/逆變換部32構(gòu)成了逆量化單元。
[0072]切換開關(guān)33實(shí)施如下處理:如果由可變長(zhǎng)解碼部31可變長(zhǎng)解碼了的編碼模式是幀內(nèi)部編碼模式，則將由可變長(zhǎng)解碼部31可變長(zhǎng)解碼了的幀內(nèi)部預(yù)測(cè)參數(shù)輸出到幀內(nèi)部預(yù)測(cè)部34，如果由可變長(zhǎng)解碼部31可變長(zhǎng)解碼了的編碼模式是幀間編碼模式，則將由可變長(zhǎng)解碼部31可變長(zhǎng)解碼了的幀間預(yù)測(cè)參數(shù)以及運(yùn)動(dòng)矢量輸出到運(yùn)動(dòng)補(bǔ)償部35。
[0073]幀內(nèi)部預(yù)測(cè)部34實(shí)施如下處理:針對(duì)根據(jù)由可變長(zhǎng)解碼部31可變長(zhǎng)解碼了的塊分割信息以及編碼模式而確定的解碼塊(與圖1的運(yùn)動(dòng)圖像編碼裝置的“編碼塊”相當(dāng)?shù)膲K)，按照作為預(yù)測(cè)處理單位的每個(gè)預(yù)測(cè)塊，一邊參照幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器37中儲(chǔ)存的解碼圖像，一邊實(shí)施使用了從切換開關(guān)33輸出的幀內(nèi)部預(yù)測(cè)參數(shù)的幀內(nèi)部預(yù)測(cè)處理(幀內(nèi)預(yù)測(cè)處理)而生成幀內(nèi)部預(yù)測(cè)圖像。
[0074]另外，幀內(nèi)部預(yù)測(cè)部34在生成預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是水平方向預(yù)測(cè)處理的情況下，對(duì)預(yù)測(cè)塊的左面所鄰接的像素的亮度值相加與預(yù)測(cè)塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加后的值決定為預(yù)測(cè)圖像的預(yù)測(cè)值，在生成預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是垂直方向預(yù)測(cè)處理的情況下，對(duì)預(yù)測(cè)塊的上面所鄰接的像素的亮度值相加與預(yù)測(cè)塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加后的值決定為預(yù)測(cè)圖像的預(yù)測(cè)值。
[0075]由幀內(nèi)部預(yù)測(cè)部34以及幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器37構(gòu)成了幀內(nèi)部預(yù)測(cè)單元。
[0076]運(yùn)動(dòng)補(bǔ)償部35實(shí)施如下處理:針對(duì)根據(jù)由可變長(zhǎng)解碼部31可變長(zhǎng)解碼了的塊分割信息以及編碼模式而確定的解碼塊，按照作為預(yù)測(cè)處理單位的每個(gè)預(yù)測(cè)塊，一邊參照運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器39中儲(chǔ)存的解碼圖像，一邊實(shí)施使用了從切換開關(guān)33輸出的運(yùn)動(dòng)矢量和幀間預(yù)測(cè)參數(shù)的幀間預(yù)測(cè)處理(運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理)而生成幀間預(yù)測(cè)圖像。
[0077]加法部36實(shí)施如下處理:將由逆量化/逆變換部32計(jì)算出的解碼預(yù)測(cè)差分信號(hào)、與由幀內(nèi)部預(yù)測(cè)部34生成的幀內(nèi)部預(yù)測(cè)圖像或者由運(yùn)動(dòng)補(bǔ)償部35生成的幀間預(yù)測(cè)圖像進(jìn)行相加，計(jì)算與從圖1的加法部9輸出的局部解碼圖像相同的解碼圖像。
[0078]幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器37是儲(chǔ)存由加法部36計(jì)算出的解碼圖像的記錄介質(zhì)。
[0079]環(huán)路濾波器部38實(shí)施如下處理:對(duì)由加法部36計(jì)算出的解碼圖像實(shí)施規(guī)定的濾波處理，輸出濾波處理后的解碼圖像。
[0080]運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器39是儲(chǔ)存濾波處理后的解碼圖像的記錄介質(zhì)。
[0081]在圖3的例子中，設(shè)想作為運(yùn)動(dòng)圖像解碼裝置的構(gòu)成要素的可變長(zhǎng)解碼部31、逆量化/逆變換部32、切換開關(guān)33、幀內(nèi)部預(yù)測(cè)部34、運(yùn)動(dòng)補(bǔ)償部35、加法部36、幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器37、環(huán)路濾波器部38以及運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器39的各個(gè)由專用的硬件(例如，安裝了 CPU的半導(dǎo)體集成電路、單片式微型計(jì)算機(jī)等)構(gòu)成的例子，但在運(yùn)動(dòng)圖像解碼裝置由計(jì)算機(jī)構(gòu)成的情況下，也可以將記述了可變長(zhǎng)解碼部31、逆量化/逆變換部32、切換開關(guān)33、幀內(nèi)部預(yù)測(cè)部34、運(yùn)動(dòng)補(bǔ)償部35、加法部36以及環(huán)路濾波器部38的處理內(nèi)容的程序儲(chǔ)存到計(jì)算機(jī)的存儲(chǔ)器中，并由該計(jì)算機(jī)的CPU執(zhí)行該存儲(chǔ)器中儲(chǔ)存的程序。
[0082]圖4是示出本發(fā)明的實(shí)施方式I的運(yùn)動(dòng)圖像解碼裝置的處理內(nèi)容(運(yùn)動(dòng)圖像解碼方法)的流程圖。[0083]接下來，說明動(dòng)作。
[0084]在該實(shí)施方式I中，說明運(yùn)動(dòng)圖像編碼裝置和運(yùn)動(dòng)圖像解碼裝置，其中，所述運(yùn)動(dòng)圖像編碼裝置將影像的各幀圖像作為輸入圖像，實(shí)施基于已編碼的附近像素的幀內(nèi)部預(yù)測(cè)或者鄰近幀間的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，針對(duì)所得到的預(yù)測(cè)差分信號(hào)實(shí)施基于正交變換/量化的壓縮處理，之后進(jìn)行可變長(zhǎng)編碼來生成比特流，所述運(yùn)動(dòng)圖像解碼裝置對(duì)從該運(yùn)動(dòng)圖像編碼裝置輸出的比特流進(jìn)行解碼。
[0085]圖1的運(yùn)動(dòng)圖像編碼裝置的特征在于，適應(yīng)于影像信號(hào)的空間/時(shí)間方向的局部性的變化，將影像信號(hào)分割為各種尺寸的塊，來進(jìn)行幀內(nèi)/幀間自適應(yīng)編碼。
[0086]一般，影像信號(hào)具有信號(hào)的復(fù)雜度在空間/時(shí)間上局部地變化的特性。在空間上觀察時(shí)，有時(shí)在某個(gè)影像幀上，例如既有在天空、壁等那樣的比較寬的圖像區(qū)域中具有均勻的信號(hào)特性的圖樣，也混合存在人物或包含細(xì)微的紋理的繪畫等在小的圖像區(qū)域內(nèi)具有復(fù)雜的紋理圖案的圖樣。
[0087]即使在時(shí)間上觀察，雖然關(guān)于天空、壁，局部性地時(shí)間方向的圖樣的變化小，但關(guān)于活動(dòng)的人物、物體，由于其輪廓在時(shí)間上進(jìn)行剛體/非剛體的運(yùn)動(dòng)，所以時(shí)間上的變化大。
[0088]在編碼處理中，進(jìn)行通過時(shí)間/空間上的預(yù)測(cè)來生成信號(hào)功率或熵小的預(yù)測(cè)差分信號(hào)從而削減整體的符號(hào)量的處理，但只要能夠?qū)㈩A(yù)測(cè)中使用的參數(shù)均勻地應(yīng)用于盡可能大的圖像信號(hào)區(qū)域，就能夠減小該參數(shù)的符號(hào)量。
[0089]另一方面，如果針對(duì)時(shí)間上/空間上變化大的圖像信號(hào)圖案，將同一預(yù)測(cè)參數(shù)應(yīng)用于大的圖像區(qū)域，則預(yù)測(cè)的錯(cuò)誤增加，所以預(yù)測(cè)差分信號(hào)的符號(hào)量增加。
[0090]因此，在時(shí)間上/空間上變化大的區(qū)域中，優(yōu)選減小應(yīng)用同一預(yù)測(cè)參數(shù)來進(jìn)行預(yù)測(cè)處理的塊尺寸，增加預(yù)測(cè)中使用的參數(shù)的數(shù)據(jù)量，降低預(yù)測(cè)差分信號(hào)的功率/熵。
[0091]在該實(shí)施方式I中，為了進(jìn)行與這樣的影像信號(hào)的一般的性質(zhì)適應(yīng)的編碼，采用如下結(jié)構(gòu):最初從規(guī)定的最大塊尺寸開始預(yù)測(cè)處理等，層次性地分割影像信號(hào)的區(qū)域，針對(duì)所分割的每個(gè)區(qū)域，使預(yù)測(cè)處理、其預(yù)測(cè)差分的編碼處理自適應(yīng)化。
[0092]關(guān)于圖1的運(yùn)動(dòng)圖像編碼裝置設(shè)為處理對(duì)象的影像信號(hào)格式，除了由亮度信號(hào)和
2個(gè)色差信號(hào)構(gòu)成的YUV信號(hào)、從數(shù)字?jǐn)z像元件輸出的RGB信號(hào)等任意的顏色空間的彩色影像信號(hào)以外，還設(shè)為單色圖像信號(hào)、紅外線圖像信號(hào)等影像幀由水平和垂直二維的數(shù)字采樣(像素)列構(gòu)成的任意的影像信號(hào)。
[0093]其中，各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。
[0094]在以下的說明中，為了方便，只要沒有特別說明，就說明設(shè)為輸入圖像的影像信號(hào)是YUV信號(hào)、并且處理2個(gè)色差分量U、V相對(duì)亮度分量Y被子采樣了的4:2:0格式的信號(hào)的情況。
[0095]另外，將與影像信號(hào)的各幀對(duì)應(yīng)的處理數(shù)據(jù)單位稱為“圖片”。
[0096]在該實(shí)施方式I中，將“圖片”設(shè)為依次掃描(逐行掃描)了的影像幀信號(hào)而進(jìn)行說明，但在影像信號(hào)是隔行掃描信號(hào)的情況下，“圖片”也可以是作為構(gòu)成影像幀的單位的場(chǎng)圖像信號(hào)。
[0097]最初，說明圖1的運(yùn)動(dòng)圖像編碼裝置的處理內(nèi)容。
[0098]首先，編碼控制部2決定成為編碼對(duì)象的圖片(當(dāng)前圖片)的編碼中使用的最大編碼塊的尺寸、和對(duì)最大編碼塊進(jìn)行層次分割的層次數(shù)的上限(圖2的步驟ST1)。
[0099]作為最大編碼塊的尺寸的決定方法，例如既可以根據(jù)輸入圖像的影像信號(hào)的分辨率而對(duì)所有圖片決定同一尺寸，也可以將輸入圖像的影像信號(hào)的局部性的運(yùn)動(dòng)的復(fù)雜度的差異作為參數(shù)而進(jìn)行定量化，對(duì)于運(yùn)動(dòng)劇烈的圖片決定小的尺寸，另一方面對(duì)于運(yùn)動(dòng)少的圖片決定大的尺寸。
[0100]作為分割層次數(shù)的上限的決定方法，例如有根據(jù)輸入圖像的影像信號(hào)的分辨率針對(duì)所有圖片決定同一層次數(shù)的方法、或在輸入圖像的影像信號(hào)的運(yùn)動(dòng)劇烈的情況下設(shè)定為增大層次數(shù)而能夠檢測(cè)更細(xì)微的運(yùn)動(dòng)且在運(yùn)動(dòng)少的情況下設(shè)定為抑制層次數(shù)的方法等。
[0101]另外，編碼控制部2從可利用的I個(gè)以上的編碼模式中選擇與層次性地分割的各個(gè)編碼塊對(duì)應(yīng)的編碼模式(步驟ST2)。
[0102]S卩，編碼控制部2針對(duì)最大編碼塊尺寸的每個(gè)圖像區(qū)域，直至達(dá)到預(yù)先決定的分割層次數(shù)的上限為止，層次性地分割為具有編碼塊尺寸的編碼塊，決定針對(duì)各個(gè)編碼塊的編碼模式。
[0103]在編碼模式中有一個(gè)或多個(gè)幀內(nèi)部編碼模式(總稱為“INTRA”)、和一個(gè)或多個(gè)幀間編碼模式(總稱為“INTER”)，編碼控制部2從在該圖片中可利用的所有編碼模式或者其子集中，選擇與各個(gè)編碼塊對(duì)應(yīng)的編碼模式。
[0104]其中，由后述塊分割部I層次性地分割的各個(gè)編碼塊被進(jìn)一步分割為作為進(jìn)行預(yù)測(cè)處理的單位的一個(gè)或多個(gè)預(yù)測(cè)塊，預(yù)測(cè)塊的分割狀態(tài)也作為信息而被包含于編碼模式中。
[0105]編碼控制部2的編碼模式的選擇方法是公知的技術(shù)，所以省略詳細(xì)的說明，例如有如下方法等:使用可利用的任意的編碼模式來實(shí)施針對(duì)編碼塊的編碼處理而驗(yàn)證編碼效率，在可利用的多個(gè)編碼模式中選擇編碼效率最佳的編碼模式。
[0106]另外，編碼控制部2針對(duì)各個(gè)編碼塊的每一個(gè)，決定在壓縮差分圖像時(shí)使用的量化參數(shù)以及變換塊尺寸，并且決定在實(shí)施預(yù)測(cè)處理時(shí)使用的預(yù)測(cè)參數(shù)(幀內(nèi)部預(yù)測(cè)參數(shù)或者幀間預(yù)測(cè)參數(shù))。
[0107]其中，在編碼塊進(jìn)一步被分割為進(jìn)行預(yù)測(cè)處理的預(yù)測(cè)塊單位的情況下，能夠針對(duì)每個(gè)預(yù)測(cè)塊選擇預(yù)測(cè)參數(shù)(幀內(nèi)部預(yù)測(cè)參數(shù)或者幀間預(yù)測(cè)參數(shù))。
[0108]進(jìn)而，在編碼模式是幀內(nèi)部編碼模式的編碼塊中，由于在如后所述那樣進(jìn)行幀內(nèi)部預(yù)測(cè)處理時(shí)使用與預(yù)測(cè)塊鄰接的已編碼的像素，所以需要按照預(yù)測(cè)塊單位進(jìn)行編碼，所以可選擇的變換塊尺寸被限制為預(yù)測(cè)塊的尺寸以下。
[0109]編碼控制部2將包括量化參數(shù)以及變換塊尺寸的預(yù)測(cè)差分編碼參數(shù)輸出到變換/量化部7、逆量化/逆變換部8以及可變長(zhǎng)編碼部13。
[0110]另外，編碼控制部2將幀內(nèi)部預(yù)測(cè)參數(shù)根據(jù)需要而輸出到幀內(nèi)部預(yù)測(cè)部4。
[0111]另外，編碼控制部2將幀間預(yù)測(cè)參數(shù)根據(jù)需要而輸出到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5。
[0112]如果輸入了輸入圖像的影像信號(hào)，則塊分割部I將該輸入圖像的影像信號(hào)分割為由編碼控制部2決定的最大編碼塊尺寸，進(jìn)而將分割了的最大編碼塊層次性地分割為由編碼控制部2決定的編碼塊，并輸出該編碼塊。
[0113]此處，圖5是示出最大編碼塊被層次性地分割為多個(gè)編碼塊的例子的說明圖。
[0114]在圖5中，最大編碼塊是被記載為“第O層次”的亮度分量具有(L°，M0)的尺寸的編碼塊。[0115]將最大編碼塊設(shè)為出發(fā)點(diǎn)，直至利用四叉樹構(gòu)造另行決定的規(guī)定的深度為止，層次性地進(jìn)行分割，從而得到編碼塊。
[0116]在深度η中，編碼塊是尺寸(Ln，Mn)的圖像區(qū)域。
[0117]其中，Ln和Mn既可以相同，也可以不同，但在圖5中示出了 Ln = M1^A情形。
[0118]以后，將由編碼控制部2決定的編碼塊尺寸定義為編碼塊的亮度分量中的尺寸(Ln, Mn)。
[0119]由于進(jìn)行四叉樹分割，所以(Ln+1，Mn+1) = (LV2，Mn/2 )始終成立。
[0120]另外，在RGB信號(hào)等所有顏色分量具有同一采樣數(shù)的彩色影像信號(hào)(4:4:4格式)中，所有顏色分量的尺寸成為(Ln，Mn)，但在處理4:2:0格式的情況下，所對(duì)應(yīng)的色差分量的編碼塊尺寸成為(Ln/2，Mn/2)。
[0121]以后，設(shè)為用Bn來表示第η層次的編碼塊，用m (Bn)來表示在編碼塊Bn中可選擇的編碼模式。
[0122]在由多個(gè)顏色分量構(gòu)成的彩色影像信號(hào)的情況下，編碼模式m (Bn)既可以構(gòu)成為針對(duì)每個(gè)顏色分量分別使用單獨(dú)的模式，也可以構(gòu)成為針對(duì)所有顏色分量使用共同的模式。以后，只要沒有特別說明，就指與YUV信號(hào)、4:2:0格式的編碼塊的亮度分量對(duì)應(yīng)的編碼模式而進(jìn)行說明。
[0123]編碼塊Bn如圖6所示，通過塊分割部I而被分割為表示預(yù)測(cè)處理單位的一個(gè)或多個(gè)預(yù)測(cè)塊。
[0124]以后，將屬于編碼塊Bn的預(yù)測(cè)塊記載為PinG是第η層次中的預(yù)測(cè)塊編號(hào))。圖5不出P(i°和的一個(gè)例子。
[0125]在編碼模式m (Bn)中作為信息而包含有如何進(jìn)行編碼塊Bn的預(yù)測(cè)塊分割。
[0126]關(guān)于預(yù)測(cè)塊PA全部依照編碼模式m (Bn)進(jìn)行預(yù)測(cè)處理，但能夠針對(duì)每個(gè)預(yù)測(cè)塊ΡΛ選擇單獨(dú)的預(yù)測(cè)參數(shù)(幀內(nèi)部預(yù)測(cè)參數(shù)或者幀間預(yù)測(cè)參數(shù))。
[0127]編碼控制部2針對(duì)最大編碼塊，例如生成圖6所示那樣的塊分割狀態(tài)來確定編碼塊。
[0128]圖6 Ca)的虛線所包圍的矩形表示各編碼塊，各編碼塊內(nèi)存在的用斜線涂覆的塊表示各預(yù)測(cè)塊的分割狀態(tài)。
[0129]圖6 (b)是關(guān)于圖6 (a)的例子利用四叉樹圖形表示了通過層次分割來分配編碼模式m (Bn)的狀況的圖。圖6 (b)的□所包圍的節(jié)點(diǎn)是分配了編碼模式m (Bn)的節(jié)點(diǎn)(編碼塊)。
[0130]該四叉樹圖形的信息與編碼模式m (Bn) 一起從編碼控制部2輸出到可變長(zhǎng)編碼部13而被復(fù)用到比特流。
[0131]切換開關(guān)3在由編碼控制部2決定的編碼模式m (Bn)是幀內(nèi)部編碼模式的情況(m (Bn) e INTRA的情況)下，將從塊分割部I輸出的編碼塊Bn輸出到幀內(nèi)部預(yù)測(cè)部4。
[0132]另一方面，在由編碼控制部2決定的編碼模式m (Bn)是幀間編碼模式的情況(m(Bn) e INTER的情況)下，將從塊分割部I輸出的編碼塊Bn輸出到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5。
[0133]在幀內(nèi)部預(yù)測(cè)部4中，如果由編碼控制部2決定的編碼模式m (Bn)是幀內(nèi)部編碼模式(m (Bn) e INTRA的情況)，且從切換開關(guān)3接收到編碼塊Bn (步驟ST3)，則一邊參照幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器10中儲(chǔ)存的局部解碼圖像，一邊使用由編碼控制部2決定的幀內(nèi)部預(yù)測(cè)參數(shù)，來實(shí)施針對(duì)該編碼塊Bn內(nèi)的各預(yù)測(cè)塊Pi11的幀內(nèi)部預(yù)測(cè)處理而生成幀內(nèi)部預(yù)測(cè)圖像P1Nmin (步驟 ST4)。
[0134]另外，運(yùn)動(dòng)圖像解碼裝置需要生成與幀內(nèi)部預(yù)測(cè)圖像PINTEAin完全相同的幀內(nèi)部預(yù)測(cè)圖像，所以幀內(nèi)部預(yù)測(cè)圖像PINTEAin的生成中使用的幀內(nèi)部預(yù)測(cè)參數(shù)從編碼控制部2輸出到可變長(zhǎng)編碼部13而被復(fù)用到比特流。
[0135]在后面詳細(xì)敘述幀內(nèi)部預(yù)測(cè)部4的處理內(nèi)容。
[0136]在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5中，如果由編碼控制部2決定的編碼模式m (Bn)是幀間編碼模式(m (Bn)e INTER的情況)，且從切換開關(guān)3接收到編碼塊Bn (步驟ST3)，則比較該編碼塊^內(nèi)的各預(yù)測(cè)塊Pi11和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12中儲(chǔ)存的濾波處理后的局部解碼圖像來搜索運(yùn)動(dòng)矢量，使用該運(yùn)動(dòng)矢量和由編碼控制部2決定的幀間預(yù)測(cè)參數(shù)，實(shí)施針對(duì)該編碼塊Bn內(nèi)的各預(yù)測(cè)塊Pi11的幀間預(yù)測(cè)處理，生成幀間預(yù)測(cè)圖像PINTEKin (步驟ST5)。
[0137]另外，運(yùn)動(dòng)圖像解碼裝置需要生成與幀間預(yù)測(cè)圖像匕—^完全相同的幀間預(yù)測(cè)圖像，所以幀間預(yù)測(cè)圖像PINTEKin的生成中使用的幀間預(yù)測(cè)參數(shù)從編碼控制部2輸出到可變長(zhǎng)編碼部13而被復(fù)用到比特流。
[0138]另外，由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5搜索到的運(yùn)動(dòng)矢量也輸出到可變長(zhǎng)編碼部13而被復(fù)用到比特流。
[0139]減法部6如果從塊分割部I接收到編碼塊Bn，則從該編碼塊Bn內(nèi)的預(yù)測(cè)塊Pi11減去由幀內(nèi)部預(yù)測(cè)部4生成的幀內(nèi)部預(yù)測(cè)圖像PINTEAin或者由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5生成的幀間預(yù)測(cè)圖像PINTEKin中的某一方，將作為其相減結(jié)果的預(yù)測(cè)差分信號(hào)ein輸出到變換/量化部7 (步驟 ST6)。
[0140]變換/量化部7如果從減法部6接收到預(yù)測(cè)差分信號(hào)θΛ則參照由編碼控制部2決定的預(yù)測(cè)差分編碼參數(shù)，實(shí)施針對(duì)該預(yù)測(cè)差分信號(hào)ef的正交變換處理(例如，DCT (離散余弦變換)、對(duì)預(yù)先確定的學(xué)習(xí)序列進(jìn)行了基底設(shè)計(jì)的KL變換等正交變換處理)，計(jì)算變換系數(shù)。
[0141]另外，變換/量化部7參照該預(yù)測(cè)差分編碼參數(shù)，對(duì)該變換系數(shù)進(jìn)行量化，將作為量化后的變換系數(shù)的壓縮數(shù)據(jù)輸出到逆量化/逆變換部8以及可變長(zhǎng)編碼部13(步驟ST7)。
[0142]逆量化/逆變換部8如果從變換/量化部7接收到壓縮數(shù)據(jù)，則參照由編碼控制部2決定的預(yù)測(cè)差分編碼參數(shù)，對(duì)該壓縮數(shù)據(jù)進(jìn)行逆量化。
[0143]另外，逆量化/逆變換部8參照該預(yù)測(cè)差分編碼參數(shù)，實(shí)施針對(duì)作為逆量化后的壓縮數(shù)據(jù)的變換系數(shù)的逆正交變換處理(例如，逆DCT、逆KL變換等)，計(jì)算與從減法部6輸出的預(yù)測(cè)差分信號(hào)ef相當(dāng)?shù)木植拷獯a預(yù)測(cè)差分信號(hào)并輸出到加法部9 (步驟ST8)。
[0144]加法部9如果從逆量化/逆變換部8接收到局部解碼預(yù)測(cè)差分信號(hào)，則將該局部解碼預(yù)測(cè)差分信號(hào)、與由幀內(nèi)部預(yù)測(cè)部4生成的幀內(nèi)部預(yù)測(cè)圖像PINTKAin和由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5生成的幀間預(yù)測(cè)圖像PINTEKin中的某一方進(jìn)行相加，從而計(jì)算局部解碼圖像(步驟ST9)。
[0145]另外， 加法部9將該局部解碼圖像輸出到環(huán)路濾波器部11，并且將該局部解碼圖像儲(chǔ)存到幀內(nèi)部預(yù)測(cè)用存儲(chǔ)器10中。
[0146]該局部解碼圖像成為在以后的幀內(nèi)部預(yù)測(cè)處理時(shí)使用的已編碼的圖像信號(hào)。
[0147]環(huán)路濾波器部11如果從加法部9接收到局部解碼圖像，則對(duì)該局部解碼圖像實(shí)施規(guī)定的濾波處理，將濾波處理后的局部解碼圖像儲(chǔ)存到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器12中(步驟ST10)。
[0148]另外，關(guān)于由環(huán)路濾波器部11執(zhí)行的濾波處理，既可以以所輸入的局部解碼圖像的最大編碼塊或者各個(gè)編碼塊為單位進(jìn)行，也可以在輸入了 I個(gè)圖片量的局部解碼圖像之后集中I個(gè)圖片量來進(jìn)行。
[0149]另外，作為規(guī)定的濾波處理的例子，可以舉出以使編碼塊邊界的不連續(xù)性(塊噪聲)不會(huì)變得顯著的方式對(duì)塊邊界進(jìn)行濾波的處理、以使作為輸入圖像的圖1的影像信號(hào)與局部解碼圖像之間的誤差成為最小的方式對(duì)局部解碼圖像的失真進(jìn)行補(bǔ)償?shù)臑V波處理等。
[0150]但是，在進(jìn)行以使作為輸入圖像的圖1的影像信號(hào)與局部解碼圖像之間的誤差成為最小的方式對(duì)局部解碼圖像的失真進(jìn)行補(bǔ)償?shù)臑V波處理的情況下，需要在環(huán)路濾波器部11中參照影像信號(hào)，所以需要變更圖1的運(yùn)動(dòng)圖像編碼裝置使得對(duì)環(huán)路濾波器部11輸入影像信號(hào)。
[0151]直至針對(duì)層次性地分割了的所有編碼塊Bn的處理完成為止重復(fù)實(shí)施步驟ST3?ST9的處理，如果針對(duì)所有編碼塊Bn的處理完成，則轉(zhuǎn)移到步驟ST13的處理(步驟ST11、ST12)。
[0152]可變長(zhǎng)編碼部13對(duì)從變換/量化部7輸出的壓縮數(shù)據(jù)、從編碼控制部2輸出的最大編碼塊內(nèi)的塊分割信息(以圖6 (b)為例子的四叉樹信息)、編碼模式m (Bn)以及預(yù)測(cè)差分編碼參數(shù)、從編碼控制部2輸出的幀內(nèi)部預(yù)測(cè)參數(shù)(編碼模式是幀內(nèi)部編碼模式的情況)或者幀間預(yù)測(cè)參數(shù)(編碼模式是幀間編碼模式的情況)、以及從運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部5輸出的運(yùn)動(dòng)矢量(編碼模式是幀間編碼模式的情況)進(jìn)行可變長(zhǎng)編碼，生成表示這些編碼結(jié)果的比特流(步驟ST13)。
[0153]接下來，詳細(xì)說明幀內(nèi)部預(yù)測(cè)部4的處理內(nèi)容。
[0154]圖7是示出編碼塊Bn內(nèi)的各預(yù)測(cè)塊Pi11可選擇的幀內(nèi)部預(yù)測(cè)參數(shù)(幀內(nèi)部預(yù)測(cè)模式)的一個(gè)例子的說明圖。
[0155]在圖7中，示出幀內(nèi)部預(yù)測(cè)模式和該幀內(nèi)部預(yù)測(cè)模式所表示的預(yù)測(cè)方向矢量，在圖7的例子中，進(jìn)行設(shè)計(jì)使得隨著可選擇的幀內(nèi)部預(yù)測(cè)模式的個(gè)數(shù)增加而使預(yù)測(cè)方向矢量彼此的相對(duì)角度變小。
[0156]幀內(nèi)部預(yù)測(cè)部4如上述那樣參照預(yù)測(cè)塊Pi11的幀內(nèi)部預(yù)測(cè)參數(shù)，實(shí)施針對(duì)該預(yù)測(cè)塊Pin的幀內(nèi)部預(yù)測(cè)處理，生成幀內(nèi)部預(yù)測(cè)圖像PINTEAin，但此處說明生成亮度信號(hào)中的預(yù)測(cè)塊Pin的幀內(nèi)部預(yù)測(cè)信號(hào)的幀內(nèi)部處理。
[0157]將預(yù)測(cè)塊Pi11的尺寸設(shè)為IinXmi11像素。
[0158]圖8是示出生成1廣=nC = 4的情況的預(yù)測(cè)塊Pi11內(nèi)的像素的預(yù)測(cè)值時(shí)使用的像素的一個(gè)例子的說明圖。
[0159]在圖8中，將預(yù)測(cè)塊Pi11的上面的已編碼的像素(2Xlin+l)個(gè)、和左面的已編碼的像素(2Xmin)個(gè)設(shè)為預(yù)測(cè)中使用的像素，但預(yù)測(cè)中使用的像素既可以多于圖8所示的像素也可以少于圖8所示的像素。
[0160]另外，在圖8中，將預(yù)測(cè)塊Pi11的附近的I行或者I列量的像素用于預(yù)測(cè)，但也可以將2行或2列、或者其以上的像素用于預(yù)測(cè)。
[0161]在針對(duì)預(yù)測(cè)塊Pi11的幀內(nèi)部預(yù)測(cè)模式的索引值是O (垂直方向預(yù)測(cè))的情況下，根據(jù)下述式(I)而計(jì)算預(yù)測(cè)塊Pin內(nèi)的像素的預(yù)測(cè)值，生成預(yù)測(cè)圖像。
[0162]S' (X，y) = S(x，-1) + (S(_1，y)-S(_l，_l))/t (I)
[0163]其中，坐標(biāo)(x，y)是以預(yù)測(cè)塊Pi11內(nèi)的左上像素為原點(diǎn)的相對(duì)坐標(biāo)(參照?qǐng)D9)，S，(X，y)是坐標(biāo)(X，y)中的預(yù)測(cè)值，S (X, y)是坐標(biāo)(X, y)中的已編碼的像素的亮度值(解碼了的亮度值)。
[0164]這樣，對(duì)作為以往(MPEG-4 AVC/H.264)的垂直方向預(yù)測(cè)的預(yù)測(cè)值的預(yù)測(cè)塊Pi11的上面所鄰接的已編碼的像素的亮度值S (X，-1)，相加與預(yù)測(cè)塊Pi11的左面所鄰接的已編碼的像素(圖10的粗框所包圍的像素)的表示垂直方向的亮度值的變化量的S (-1，y) -S(-1，-1)成比例的值(將表示垂直方向的亮度值的變化量的S (-1，y)-S (-1，-1)縮放為Ι/t而得到的值)，將該相加后的值決定為預(yù)測(cè)圖像的預(yù)測(cè)值，從而能夠?qū)崿F(xiàn)追隨向預(yù)測(cè)方向的亮度值的變化的垂直方向預(yù)測(cè)。
[0165]但是，在上述預(yù)測(cè)值未收斂于亮度值可取的值的范圍內(nèi)的情況下，對(duì)值進(jìn)行舍入使得收斂于該范圍內(nèi)。
[0166]另外，上述Ι/t也可以設(shè)為固定值，但還可以設(shè)為根據(jù)坐標(biāo)(X，y)而變化的變量。
[0167]例如，如果設(shè)為t = 2X+1，則如圖11所示，縮放值從左端的列起依次如1/2、1/4、1/8、1/16那樣變小，所以從預(yù)測(cè)塊Pi11的左面所鄰接的已編碼的像素起的距離越遠(yuǎn)，相加的垂直方向的亮度值的變化量越小。
[0168]由此，越是與預(yù)測(cè)塊Pi11的左面所鄰接的已編碼的像素之間的距離遠(yuǎn)而相關(guān)變低的預(yù)測(cè)對(duì)象像素，越能夠使預(yù)測(cè)塊Pin的左面所鄰接的已編碼的像素的影響變小，所以能夠進(jìn)行和與預(yù)測(cè)塊Pin的左面所鄰接的已編碼的像素之間的相關(guān)對(duì)應(yīng)的高精度的預(yù)測(cè)。
[0169]進(jìn)而，也可以限定進(jìn)行式(I)的預(yù)測(cè)處理的預(yù)測(cè)塊Pi11的塊尺寸。一般在大的塊尺寸中，在塊內(nèi)易于包含各種信號(hào)變化，能夠使用方向性預(yù)測(cè)而高精度地進(jìn)行預(yù)測(cè)的情形少，所以例如在16X16像素以上的塊尺寸的預(yù)測(cè)塊Pi11中不應(yīng)用式(I)而設(shè)為以往的垂直方向預(yù)測(cè)的預(yù)測(cè)值(預(yù)測(cè)塊Pi11的上面所鄰接的已編碼的像素的亮度值S(x，-1))，僅在比16X16像素小的塊中應(yīng)用式(1)，從而相比于以往的垂直方向預(yù)測(cè)，能夠提高預(yù)測(cè)性能，并且抑制運(yùn)算量的增加。
[0170]另外，在針對(duì)預(yù)測(cè)塊Pi11的幀內(nèi)部預(yù)測(cè)模式的索引值是I (水平方向預(yù)測(cè))的情況下，根據(jù)下述式(2)而計(jì)算預(yù)測(cè)塊Pi11內(nèi)的像素的預(yù)測(cè)值，生成預(yù)測(cè)圖像。
[0171]S ' (X, y) = S(_l, y) + (S(x,-1)-S(_1, _l))/u (2)
[0172]其中，坐標(biāo)(x，y)是以預(yù)測(cè)塊Pi11內(nèi)的左上像素為原點(diǎn)的相對(duì)坐標(biāo)(參照?qǐng)D9)，S，(X，y)是坐標(biāo)(X，y)中的預(yù)測(cè)值，S (X, y)是坐標(biāo)(X, y)中的已編碼的像素的亮度值(解碼了的亮度值)。
[0173]這樣，對(duì)作為以往(MPEG-4 AVC/H.264)的水平方向預(yù)測(cè)的預(yù)測(cè)值的預(yù)測(cè)塊Pi11的左面所鄰接的已編碼的像素的亮度值S (-1，y)，相加與預(yù)測(cè)塊Pi11的上面所鄰接的已編碼的像素(圖12的粗框所包圍的像素)的表示水平方向的亮度值的變化量的S (X，-D-S(-1，-1)成比例的值(將表示水平方向的亮度值的變化量的S (x, -D-S (-1，-1)縮放為1/u而得到的值)，并將該相加后的值決定為預(yù)測(cè)圖像的預(yù)測(cè)值，從而能夠?qū)崿F(xiàn)追隨向預(yù)測(cè)方向的亮度值的變化的水平方向預(yù)測(cè)。
[0174]但是，在上述預(yù)測(cè)值未收斂于亮度值可取的值的范圍內(nèi)的情況下，對(duì)值進(jìn)行舍入使得收斂于該范圍內(nèi)。
[0175]另外，上述1/u也可以設(shè)為固定值，但還可以設(shè)為隨著坐標(biāo)(X，y)而變化的變量。
[0176]例如，如果設(shè)為u = 2y+1，則如圖13所示，縮放值從上端的行起依次如1/2、1/4、1/8、1/16那樣變小，所以從預(yù)測(cè)塊Pi11的上面所鄰接的已編碼的像素起的距離越遠(yuǎn)，相加的水平方向的亮度值的變化量越小。
[0177]由此，越是與預(yù)測(cè)塊Pi11的上面所鄰接的已編碼的像素之間的距離遠(yuǎn)而相關(guān)變低的像素，越能夠使預(yù)測(cè)塊Pin的上面所鄰接的已編碼的像素的影響變小，所以能夠進(jìn)行和與預(yù)測(cè)塊Pin的上面所鄰接的已編碼的像素之間的相關(guān)對(duì)應(yīng)的高精度的預(yù)測(cè)。
[0178]進(jìn)而，也可以限定進(jìn)行式(2)的預(yù)測(cè)處理的預(yù)測(cè)塊Pi11的塊尺寸。一般在大的塊尺寸中，在塊內(nèi)易于包含各種信號(hào)變化，能夠使用方向性預(yù)測(cè)而高精度地進(jìn)行預(yù)測(cè)的情形少，所以例如在16X16像素以上的塊尺寸的預(yù)測(cè)塊Pi11中不應(yīng)用式(2)而設(shè)為以往的水平方向預(yù)測(cè)的預(yù)測(cè)值(預(yù)測(cè)塊Pi11的左面所鄰接的已編碼的像素的亮度值S(-l，y))，僅在比16X16像素小的塊中應(yīng)用式(2)，從而相比于以往的水平方向預(yù)測(cè)，能夠提高預(yù)測(cè)性能，并且抑制運(yùn)算量的增加。
[0179]另外，在針對(duì)預(yù)測(cè)塊Pi11的幀內(nèi)部預(yù)測(cè)模式的索引值是2 (平均值預(yù)測(cè))的情況下，將預(yù)測(cè)塊Pin的上面所鄰接的已編碼的像素和預(yù)測(cè)塊Pin的左面所鄰接的已編碼的像素的平均值作為預(yù)測(cè)塊Pin內(nèi)的像素的預(yù)測(cè)值而生成預(yù)測(cè)圖像。
[0180]在幀內(nèi)部預(yù)測(cè)模式的索引值是O (垂直方向預(yù)測(cè))、1 (水平方向預(yù)測(cè))、2 (平均值預(yù)測(cè))以外的情況下，根據(jù)索引值 表示的預(yù)測(cè)方向矢量up=(dx，dy)，生成預(yù)測(cè)塊Pi11內(nèi)的像素的預(yù)測(cè)值。
[0181]如圖9所示，如果以預(yù)測(cè)塊Pi11的左上像素為原點(diǎn)而將預(yù)測(cè)塊Pi11內(nèi)的相對(duì)坐標(biāo)設(shè)定為(x，y)，則預(yù)測(cè)中使用的參照像素的位置成為下述L和鄰接像素的交點(diǎn)。
[0182]
【權(quán)利要求】
1.一種運(yùn)動(dòng)圖像編碼裝置，其特征在于， 具備幀內(nèi)部預(yù)測(cè)單元，該幀內(nèi)部預(yù)測(cè)單元在選擇幀內(nèi)部編碼模式作為與編碼塊對(duì)應(yīng)的編碼模式的情況下，針對(duì)成為進(jìn)行所述編碼塊的預(yù)測(cè)處理時(shí)的預(yù)測(cè)處理單位的每個(gè)預(yù)測(cè)塊，實(shí)施與所述幀內(nèi)部編碼模式對(duì)應(yīng)的幀內(nèi)預(yù)測(cè)處理來生成預(yù)測(cè)圖像， 所述幀內(nèi)部預(yù)測(cè)單元在生成所述預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是水平方向預(yù)測(cè)處理的情況下，對(duì)所述預(yù)測(cè)塊的左面所鄰接的像素的亮度值，相加與所述預(yù)測(cè)塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加后的值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值， 在生成所述預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是垂直方向預(yù)測(cè)處理的情況下，對(duì)所述預(yù)測(cè)塊的上面所鄰接的像素的亮度值，相加與所述預(yù)測(cè)塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加后的值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值。
2.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于，具備: 編碼控制單元，決定成為實(shí)施編碼處理時(shí)的處理單位的編碼塊的最大尺寸，并且決定最大尺寸的編碼塊被層次性地分割時(shí)的上限的層次數(shù)，從能利用的I個(gè)以上的編碼模式中，選擇與層次性地分割的各個(gè)編碼塊對(duì)應(yīng)的編碼模式； 塊分割單元，將輸入圖像分割為由所述編碼控制單元決定的最大尺寸的編碼塊，并且直至達(dá)到由所述編碼控制單元決定的上限的層次數(shù)為止，層次性地分割所述編碼塊； 差分圖像生成單元，生成由所述塊分割單元分割的編碼塊與由所述幀內(nèi)部預(yù)測(cè)單元生成的預(yù)測(cè)圖像的差分圖像； 圖像壓縮單元，對(duì)由所述差分圖像生成單元生成的差分圖像進(jìn)行壓縮，輸出所述差分圖像的壓縮數(shù)據(jù)；以及` 可變長(zhǎng)編碼單元，對(duì)從所述圖像壓縮單元輸出的壓縮數(shù)據(jù)以及由所述編碼控制單元選擇的編碼模式進(jìn)行可變長(zhǎng)編碼，生成復(fù)用了所述壓縮數(shù)據(jù)以及所述編碼模式的編碼數(shù)據(jù)的比特流。
3.根據(jù)權(quán)利要求2所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于， 設(shè)置運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元，該運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元在由編碼控制單元選擇幀間編碼模式作為與由塊分割單元分割了的編碼塊對(duì)應(yīng)的編碼模式的情況下，針對(duì)成為進(jìn)行編碼塊的預(yù)測(cè)處理時(shí)的預(yù)測(cè)處理單位的每個(gè)預(yù)測(cè)塊，使用參照?qǐng)D像，實(shí)施針對(duì)該預(yù)測(cè)塊的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理來生成預(yù)測(cè)圖像， 差分圖像生成單元生成由所述塊分割單元分割的編碼塊與由幀內(nèi)部預(yù)測(cè)單元或所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元生成的預(yù)測(cè)圖像的差分圖像。
4.根據(jù)權(quán)利要求3所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于， 編碼控制單元針對(duì)各個(gè)編碼塊的每一個(gè)，決定在壓縮差分圖像時(shí)使用的量化參數(shù)以及變換塊尺寸，并且針對(duì)該編碼塊的每個(gè)預(yù)測(cè)塊，決定在實(shí)施預(yù)測(cè)處理時(shí)使用的幀內(nèi)部預(yù)測(cè)參數(shù)或者幀間預(yù)測(cè)參數(shù)， 圖像壓縮單元以由所述編碼控制單元決定的變換塊尺寸為單位，實(shí)施由差分圖像生成單元生成的差分圖像的變換處理，并且使用由所述編碼控制單元決定的量化參數(shù)，對(duì)所述差分圖像的變換系數(shù)進(jìn)行量化，將量化后的變換系數(shù)作為所述差分圖像的壓縮數(shù)據(jù)而輸出，可變長(zhǎng)編碼單元在對(duì)從所述圖像壓縮單元輸出的壓縮數(shù)據(jù)以及由所述編碼控制單元選擇的編碼模式進(jìn)行可變長(zhǎng)編碼時(shí)，對(duì)由所述編碼控制單元決定的幀內(nèi)部預(yù)測(cè)參數(shù)或幀間預(yù)測(cè)參數(shù)、和量化參數(shù)及變換塊尺寸進(jìn)行可變長(zhǎng)編碼，生成所述壓縮數(shù)據(jù)、所述編碼模式、所述幀內(nèi)部預(yù)測(cè)參數(shù)或所述幀間預(yù)測(cè)參數(shù)、所述量化參數(shù)及所述變換塊尺寸的編碼數(shù)據(jù)被復(fù)用了的比特流。
5.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于， 幀內(nèi)部預(yù)測(cè)單元在生成預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是水平方向預(yù)測(cè)處理的情況下，對(duì)所述預(yù)測(cè)塊的左面所鄰接的像素的亮度值，相加對(duì)所述預(yù)測(cè)塊的上面所鄰接的像素的水平方向的亮度值變化量乘以針對(duì)所述預(yù)測(cè)塊的每行設(shè)定的縮放值而得到的值，將該相加后的值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值， 在生成所述預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是垂直方向預(yù)測(cè)處理的情況下，對(duì)所述預(yù)測(cè)塊的上面所鄰接的像素的亮度值，相加對(duì)所述預(yù)測(cè)塊的左面所鄰接的像素的垂直方向的亮度值變化量乘以針對(duì)所述預(yù)測(cè)塊的每列設(shè)定的縮放值而得到的值，將該相加后的值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值。
6.根據(jù)權(quán)利要求5所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于， 關(guān)于在由幀內(nèi)部預(yù)測(cè)單元實(shí)施水平方向預(yù)測(cè)處理時(shí)使用的縮放值，越是與從所述預(yù)測(cè)塊的上面所鄰接的像素起的距離遠(yuǎn)的行有關(guān)的縮放值，設(shè)定為越小的值，關(guān)于在由所述幀內(nèi)部預(yù)測(cè)單元實(shí)施垂直方向預(yù)測(cè)處理時(shí)使用的縮放值，越是與從所述預(yù)測(cè)塊的左面所鄰接的像素起的距離遠(yuǎn)的列有關(guān)的縮放值，設(shè)定為越小的值。
7.根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于， 幀內(nèi)部預(yù)測(cè)單元在生成預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是水平方向預(yù)測(cè)處理的情況下，關(guān)于從所述預(yù)測(cè)塊內(nèi)的上端起規(guī)定的行數(shù)內(nèi)的行，對(duì)所述預(yù)測(cè)塊的左面所鄰接的像素的亮度值相加與所述預(yù)測(cè)塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加后的值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值，但關(guān)于所述預(yù)測(cè)塊內(nèi)的剩余的行，將所述預(yù)測(cè)塊的左面所鄰接的像素的亮度值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值， 在生成所述預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是垂直方向預(yù)測(cè)處理的情況下，關(guān)于從所述預(yù)測(cè)塊內(nèi)的左端起規(guī)定的列數(shù)內(nèi)的列，對(duì)所述預(yù)測(cè)塊的上面所鄰接的像素的亮度值相加與所述預(yù)測(cè)塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加后的值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值，但關(guān)于所述預(yù)測(cè)塊內(nèi)的剩余的列，將所述預(yù)測(cè)塊的上面所鄰接的像素的亮度值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值。
8.根據(jù)權(quán)利要求5所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于， 可變長(zhǎng)編碼單元對(duì)針對(duì)所述預(yù)測(cè)塊的每行設(shè)定的縮放值以及針對(duì)所述預(yù)測(cè)塊的每列設(shè)定的縮放值進(jìn)行可變長(zhǎng)編碼，生成復(fù)用了所述縮放值、壓縮數(shù)據(jù)以及編碼模式的編碼數(shù)據(jù)的比特流。
9.根據(jù)權(quán)利要求7所述的運(yùn)動(dòng)圖像編碼裝置，其特征在于， 可變長(zhǎng)編碼單元可變長(zhǎng)編碼對(duì)于將對(duì)所述預(yù)測(cè)塊的左面所鄰接的像素的亮度值相加與所述預(yù)測(cè)塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值而得到的值作為預(yù)測(cè)值的預(yù)測(cè)塊內(nèi)的行進(jìn)行確定的塊內(nèi)信息、或者對(duì)于將對(duì)所述預(yù)測(cè)塊的上面所鄰接的像素的亮度值相加與所述預(yù)測(cè)塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值而得到的值作為預(yù)測(cè)值的預(yù)測(cè)塊內(nèi)的列進(jìn)行確定的塊內(nèi)信息，生成復(fù)用了所述塊內(nèi)信息、壓縮數(shù)據(jù)以及編碼模式的編碼數(shù)據(jù)的比特流。
10.一種運(yùn)動(dòng)圖像解碼裝置，其特征在于， 具備幀內(nèi)部預(yù)測(cè)單元，該幀內(nèi)部預(yù)測(cè)單元在與可變長(zhǎng)解碼了的編碼塊有關(guān)的編碼模式是幀內(nèi)部編碼模式的情況下，針對(duì)成為進(jìn)行所述編碼塊的預(yù)測(cè)處理時(shí)的預(yù)測(cè)處理單位的每個(gè)預(yù)測(cè)塊，實(shí)施與所述幀內(nèi)部編碼模式對(duì)應(yīng)的幀內(nèi)預(yù)測(cè)處理來生成預(yù)測(cè)圖像， 所述幀內(nèi)部預(yù)測(cè)單元在生成所述預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是水平方向預(yù)測(cè)處理的情況下，對(duì)所述預(yù)測(cè)塊的左面所鄰接的像素的亮度值，相加與所述預(yù)測(cè)塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加后的值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值， 在生成所述預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是垂直方向預(yù)測(cè)處理的情況下，對(duì)所述預(yù)測(cè)塊的上面所鄰接的像素的亮度值，相加與所述預(yù)測(cè)塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加后的值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值。
11.根據(jù)權(quán)利要求10所述的運(yùn)動(dòng)圖像解碼裝置，其特征在于，具備: 可變長(zhǎng)解碼單元，從復(fù)用到比特流中的編碼數(shù)據(jù)，對(duì)與層次性地分割了的各個(gè)編碼塊有關(guān)的壓縮數(shù)據(jù)以及編碼模式進(jìn)行可變長(zhǎng)解碼； 差分圖像生成單元，根據(jù)與由所述可變長(zhǎng)解碼單元可變長(zhǎng)解碼了的編碼塊有關(guān)的壓縮數(shù)據(jù)，生成壓縮前的差分圖像；以及 解碼圖像生成單元，將由所述差分圖像生成單元生成的差分圖像與由所述幀內(nèi)部預(yù)測(cè)單元生成的預(yù)測(cè)圖像進(jìn)行相加來生成解碼圖像。`
12.根據(jù)權(quán)利要求11所述的運(yùn)動(dòng)圖像解碼裝置，其特征在于， 設(shè)置運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元，該運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元在與由可變長(zhǎng)解碼單元可變長(zhǎng)解碼了的編碼塊有關(guān)的編碼模式是幀間編碼模式的情況下，針對(duì)成為進(jìn)行編碼塊的預(yù)測(cè)處理時(shí)的預(yù)測(cè)處理單位的每個(gè)預(yù)測(cè)塊，使用參照?qǐng)D像，實(shí)施針對(duì)該預(yù)測(cè)塊的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理來生成預(yù)測(cè)圖像， 解碼圖像生成單元將由差分圖像生成單元生成的差分圖像與由幀內(nèi)部預(yù)測(cè)單元或所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)單元生成的預(yù)測(cè)圖像進(jìn)行相加來生成解碼圖像。
13.根據(jù)權(quán)利要求12所述的運(yùn)動(dòng)圖像解碼裝置，其特征在于， 可變長(zhǎng)解碼單元從復(fù)用到比特流中的編碼數(shù)據(jù)，對(duì)與各個(gè)編碼塊有關(guān)的壓縮數(shù)據(jù)、編碼模式、幀內(nèi)部預(yù)測(cè)參數(shù)或幀間預(yù)測(cè)參數(shù)、量化參數(shù)以及變換塊尺寸進(jìn)行可變長(zhǎng)解碼， 差分圖像生成單元使用與由所述可變長(zhǎng)解碼單元可變長(zhǎng)解碼了的編碼塊有關(guān)的量化參數(shù)，對(duì)與該編碼塊有關(guān)的壓縮數(shù)據(jù)進(jìn)行逆量化，以所述變換塊尺寸為單位來實(shí)施逆量化后的壓縮數(shù)據(jù)的逆變換處理，從而生成壓縮前的差分圖像。
14.根據(jù)權(quán)利要求10所述的運(yùn)動(dòng)圖像解碼裝置，其特征在于， 幀內(nèi)部預(yù)測(cè)單元在生成預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是水平方向預(yù)測(cè)處理的情況下，對(duì)所述預(yù)測(cè)塊的左面所鄰接的像素的亮度值，相加對(duì)所述預(yù)測(cè)塊的上面所鄰接的像素的水平方向的亮度值變化量乘以針對(duì)所述預(yù)測(cè)塊的每行設(shè)定的縮放值而得到的值，將該相加后的值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值， 在生成所述預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是垂直方向預(yù)測(cè)處理的情況下，對(duì)所述預(yù)測(cè)塊的上面所鄰接的像素的亮度值，相加對(duì)所述預(yù)測(cè)塊的左面所鄰接的像素的垂直方向的亮度值變化量乘以針對(duì)所述預(yù)測(cè)塊的每列設(shè)定的縮放值而得到的值，將該相加后的值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值。
15.根據(jù)權(quán)利要求14所述的運(yùn)動(dòng)圖像解碼裝置，其特征在于， 關(guān)于在由幀內(nèi)部預(yù)測(cè)單元實(shí)施水平方向預(yù)測(cè)處理時(shí)使用的縮放值，越是從所述預(yù)測(cè)塊的上面所鄰接的像素起距離遠(yuǎn)的行有關(guān)的縮放值，設(shè)定為越小的值，關(guān)于在由所述幀內(nèi)部預(yù)測(cè)單元實(shí)施垂直方向預(yù)測(cè)處理時(shí)使用的縮放值，越是從所述預(yù)測(cè)塊的左面所鄰接的像素起距離遠(yuǎn)的列有關(guān)的縮放值，設(shè)定為越小的值。
16.根據(jù)權(quán)利要求10所述的運(yùn)動(dòng)圖像解碼裝置，其特征在于， 幀內(nèi)部預(yù)測(cè)單元在生成預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是水平方向預(yù)測(cè)處理的情況下，關(guān)于從所述預(yù)測(cè)塊內(nèi)的上端起規(guī)定的行數(shù)內(nèi)的行，對(duì)所述預(yù)測(cè)塊的左面所鄰接的像素的亮度值，相加與所述預(yù)測(cè)塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加后的值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值，但關(guān)于所述預(yù)測(cè)塊內(nèi)的剩余的行，將所述預(yù)測(cè)塊的左面所鄰接的像素的亮度值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值， 在生成所述預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是垂直方向預(yù)測(cè)處理的情況下，關(guān)于從所述預(yù)測(cè)塊內(nèi)的左端起規(guī)定的列數(shù)內(nèi)的列，對(duì)所述預(yù)測(cè)塊的上面所鄰接的像素的亮度值，相加與所述預(yù)測(cè)塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加后的值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值，但關(guān)于所述預(yù)測(cè)塊內(nèi)的剩余的列，將所述預(yù)測(cè)塊的上面所鄰接的像素的亮度值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值。
17.根據(jù)權(quán)利要求14所述的運(yùn)動(dòng)圖像解碼裝置，其特征在于， 可變長(zhǎng)解碼單元在從復(fù)用到比特流中的編碼數(shù)據(jù)對(duì)與編碼塊有關(guān)的壓縮數(shù)據(jù)以及編碼模式進(jìn)行可變長(zhǎng)解碼時(shí)，可變長(zhǎng)解碼針對(duì)所述預(yù)測(cè)塊的每行設(shè)定的縮放值以及針對(duì)所述預(yù)測(cè)塊的每列設(shè)定的縮放值。
18.根據(jù)權(quán)利要求16所述的運(yùn)動(dòng)圖像解碼裝置，其特征在于， 可變長(zhǎng)解碼單元在從復(fù)用到比特流中的編碼數(shù)據(jù)對(duì)與編碼塊有關(guān)的壓縮數(shù)據(jù)以及編碼模式進(jìn)行可變長(zhǎng)解碼時(shí)，可變長(zhǎng)解碼對(duì)于將對(duì)所述預(yù)測(cè)塊的左面所鄰接的像素的亮度值相加與所述預(yù)測(cè)塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值而得到的值作為預(yù)測(cè)值的預(yù)測(cè)塊內(nèi)的行進(jìn)行確定的塊內(nèi)信息、或者對(duì)于將對(duì)所述預(yù)測(cè)塊的上面所鄰接的像素的亮度值相加與所述預(yù)測(cè)塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值而得到的值作為預(yù)測(cè)值的預(yù)測(cè)塊內(nèi)的列進(jìn)行確定的塊內(nèi)信息。
19.一種運(yùn)動(dòng)圖像編碼方法，其特征在于， 具備幀內(nèi)部預(yù)測(cè)處理步驟，在該幀內(nèi)部預(yù)測(cè)處理步驟中，幀內(nèi)部預(yù)測(cè)單元在選擇幀內(nèi)部編碼模式作為與編碼塊對(duì)應(yīng)的編碼模式的情況下，針對(duì)成為進(jìn)行所述編碼塊的預(yù)測(cè)處理時(shí)的預(yù)測(cè)處理單位的每個(gè)預(yù)測(cè)塊，實(shí)施與所述幀內(nèi)部編碼模式對(duì)應(yīng)的幀內(nèi)預(yù)測(cè)處理來生成預(yù)測(cè)圖像， 在所述幀內(nèi)部預(yù)測(cè)處理步驟中，在生成所述預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是水平方向預(yù)測(cè)處理的情況下，對(duì)所述預(yù)測(cè)塊的左面所鄰接的像素的亮度值，相加與所述預(yù)測(cè)塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加后的值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值，在生成所述預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是垂直方向預(yù)測(cè)處理的情況下，對(duì)所述預(yù)測(cè)塊的上面所鄰接的像素的亮度值，相加與所述預(yù)測(cè)塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加后的值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值。
20.一種運(yùn)動(dòng)圖像解碼方法，其特征在于， 具備幀內(nèi)部預(yù)測(cè)處理步驟，在該幀內(nèi)部預(yù)測(cè)處理步驟中，幀內(nèi)部預(yù)測(cè)單元在與可變長(zhǎng)解碼了的編碼塊有關(guān)的編碼模式是幀內(nèi)部編碼模式的情況下，針對(duì)成為進(jìn)行所述編碼塊的預(yù)測(cè)處理時(shí)的預(yù)測(cè)處理單位的每個(gè)預(yù)測(cè)塊，實(shí)施與所述幀內(nèi)部編碼模式對(duì)應(yīng)的幀內(nèi)預(yù)測(cè)處理來生成預(yù)測(cè)圖像， 在所述幀內(nèi)部預(yù)測(cè)處理步驟中，在生成所述預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是水平方向預(yù)測(cè)處理的情況下，對(duì)所述預(yù)測(cè)塊的左面所鄰接的像素的亮度值，相加與所述預(yù)測(cè)塊的上面所鄰接的像素的水平方向的亮度值變化量成比例的值，將該相加后的值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值， 在生成所述預(yù)測(cè)圖像時(shí)的幀內(nèi)預(yù)測(cè)處理是垂直方向預(yù)測(cè)處理的情況下，對(duì)所述預(yù)測(cè)塊的上面所鄰接的像素的亮度值，相加與所述預(yù)測(cè)塊的左面所鄰接的像素的垂直方向的亮度值變化量成比例的值，將該相加后的值決定為所述預(yù)測(cè)圖像的預(yù)測(cè)值。
【文檔編號(hào)】H04N19/61GK103503457SQ201280021843
【公開日】2014年1月8日 申請(qǐng)日期:2012年5月30日 優(yōu)先權(quán)日:2011年6月24日
【發(fā)明者】峯澤彰, 杉本和夫, 關(guān)口俊一 申請(qǐng)人:三菱電機(jī)株式會(huì)社