專利名稱：圖像編碼裝置和圖像編碼方法及圖像解碼裝置和圖像解碼方法以及記錄媒體的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法以及記錄媒體。特別涉及為了能得到與原圖像幾乎相同的解碼圖像而對圖像進(jìn)行間抽并進(jìn)行壓縮編碼的圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法以及記錄媒體。
背景技術(shù)：
例如，在將標(biāo)準(zhǔn)清晰度或者低清晰度的圖像(下面，稱為SD圖像)變換成高清晰度的圖像(下面，稱為HD圖像)，或者對圖像進(jìn)行放大的場合，利用所謂的插入濾波器等進(jìn)行不足的象素的象素值的插入(補(bǔ)償)。
但是，即使利用插入濾波器進(jìn)行象素的插入，也因不能恢復(fù)不包含在SD圖像中的HD圖像的成分(高頻成分)，所以難于得到高清晰度的圖像。
因此，本申請人先前建議有將SD圖像變換成也包含有SD圖像中不包含的高頻成分的HD圖像的圖像變換裝置(圖像變換電路)。
在這種圖像變換裝置中，利用SD圖像和規(guī)定的預(yù)測系數(shù)的線性組合，進(jìn)行求出HD圖像的象素的預(yù)測值的自適應(yīng)處理，恢復(fù)在SD圖像中不包含的高頻成分。
也就是說，例如現(xiàn)在考慮利用由若干個(gè)SD象素(構(gòu)成SD圖像的象素)的象素值(下面稱為學(xué)習(xí)數(shù)據(jù))x1,x2,…和規(guī)定的預(yù)測系數(shù)w1,w2,…的線性組合所確定的線性1次組合模式，求得構(gòu)成HD圖像的象素(下面稱為HD象素)的象素值y的預(yù)測值E[y]。這種場合，預(yù)測值E[y]能用式(1)表示。
E[y]=w1x1+w2x2+…(1)這里，為一般化起見，若用式(2)定義由預(yù)測系數(shù)w的集合形成的矩陣W，用式(3)定義由學(xué)習(xí)數(shù)據(jù)的集合形成的矩陣X，用式(4)定義由預(yù)測值E[y]的集合形成的矩陣Y’，則成立式(5)那樣的觀察方程式。X=x11x12…x1nx21x22…x2n…………xm1xm2…xmn]]>(2)W=w1w2…wn]]>(3)Y'=E[y1]E[y2]…E[ym]]]>(4)XW=Y’(5)并且，考慮將最小二乘法用于這種觀察方程式，求得接近于HD象素的象素值y的預(yù)測值E[y]。這種場合，若用式(6)定義由成為教師數(shù)據(jù)的HD象素的真正的象素值y的集合形成的矩陣Y，用式(7)定義由對于HD象素的象素值Y的預(yù)測值E[y]的殘差e的集合形成的矩陣E，Y=y1y2…ym]]>(6)E=e1e2…em]]>(7)
則根據(jù)式(5)、成立式(8)那樣的殘差方程式。
XW=Y+E(8)這種場合，用于求得接近于HD象素的象素值y的預(yù)測值E[y]的預(yù)測系數(shù)w能通過使式(9)所示的平方誤差為最小來求得。Σi=1mei2--------(9)]]>因此，在前述式(9)所示的平方誤差對預(yù)測系數(shù)wi進(jìn)行微分后成為0的場合，即滿足式(10)的預(yù)測系數(shù)wi，成為用于求得接近于HD象素的象素值y的預(yù)測值E[y]的最優(yōu)值。e1∂e1∂wi+e2∂e2∂wi+…+em∂em∂wi=0(i=1,2,…,n)(10)]]>因此，首先用預(yù)測系數(shù)wi對式(8)進(jìn)行微分，則式(11)成立。∂e1∂w1=x11,∂ei∂w2=x12,…,ei∂wn=xin(i=1,2,…,m)(11)]]>由式(10)和式(11)能得到式(12)。Σi=1meixi1=0,Σi=1meixi2=0,…,Σi=1meixin=0---(12)]]>此外，如考慮式(8)的殘差方程式的學(xué)習(xí)數(shù)據(jù)x，預(yù)測系數(shù)w，教師數(shù)據(jù)y和殘差e的關(guān)系，則由式(12)能得到式(13)那樣的正規(guī)方程式。(Σi=1mxi1xi1)w1+(Σi=1mxi1xi2)w2+…,+(Σi=1mxi1xin)wn=Σi=1mxi1yi1]]>(Σi=1mxi2xi1)w1+(Σi=1mxi2xi2)w2+…+(Σi=1mxi2xin)wn=Σi=1mxi2yi]]>……(Σi=1mxinxi1)w1+(Σi=1mxinxi2)w2+…+(Σi=1mxinxin)wn=Σi=1mxinyi---(13)]]>式(13)的正規(guī)方程式僅能產(chǎn)生與應(yīng)該求得的預(yù)測系數(shù)w的數(shù)相同的數(shù)，因此，求解式(13)(其中，為了求解式(13)，在式(13)中用與預(yù)測系數(shù)w相關(guān)的系數(shù)構(gòu)成矩陣必須是正則的)，能求得最優(yōu)的預(yù)測系數(shù)w。此外，在求解式(13)時(shí)，能運(yùn)用例如清除法(Gauss-Jordan消去法)等。
如前所述，求得最優(yōu)預(yù)測系數(shù)w的集合并且利用式(1)并用該預(yù)測系數(shù)w的集合求得接近于HD象素值y的預(yù)測值E[y]，是適應(yīng)處理(其中求得預(yù)測系數(shù)w的集合并從該預(yù)測系數(shù)w的集合求得預(yù)測值，也包含在適應(yīng)處理中)。
此外，適應(yīng)處理與插入處理不同的是重現(xiàn)不包含在SD圖像中的包含在HD圖像中的成分。也就是說，雖然在適應(yīng)處理中若僅僅限于看式(1)，與用所謂的插入濾波器的插入處理是相同的，但因用教師數(shù)據(jù)y，可以說利用學(xué)習(xí)，能求得與該插入濾波器的抽頭(tap)系數(shù)相當(dāng)?shù)念A(yù)測系數(shù)w，所以能重現(xiàn)包含在HD圖像中的成分。也就是說，能容易地得到高清晰度的圖像。因此，適應(yīng)處理可以說是具有圖像的創(chuàng)作作用的處理。
圖22示出了利用基于圖像特征(類別)的前述適應(yīng)處理、將SD圖像變換成HD圖像的圖像變換裝置的結(jié)構(gòu)例。
將SD圖像供給到類別分類電路101和延遲電路102中，在類別分類電路101中將構(gòu)成SD圖像的SD象素依次作為注目象素并將這種注目象素類別分類成規(guī)定的類別。
也就是說，類別分類電路101首先一開始收集若干個(gè)在注目象素周圍的SD象素構(gòu)成塊(下面稱為處理塊)，以構(gòu)成該處理塊的例如全部SD象素的象素值模式預(yù)先分配的值作為注目象素類別，供給到系數(shù)ROM104的地址端(AD)上。
具體地說，例如圖23中虛線四邊形圍住的部分所示，類別分類電路101從SD圖像提取以注目象素為中心的5×5的SD象素(在圖中用“○”表示)組成的處理塊，并輸出對應(yīng)于這些25個(gè)SD象素的象素值的模式的值作為注目象素的類別。
這里，為了表示各SD象素的象素值，在例如用8位(bit)等的多位數(shù)的場合，25個(gè)SD象素的象素值的模式數(shù)成為(28)25極大的數(shù)，難于對其進(jìn)行高速處理。
因此，作為進(jìn)行類別分類前的前置處理，對處理塊施行例如ADRC(AdaptiveDynamic Range Coding)處理等，以減少構(gòu)成其的SD象素的位數(shù)。
也就是說，在ADRC處理中，首先從構(gòu)成處理塊的25個(gè)SD象素中檢測出其象素值最大的象素(下面稱為最大象素)和最小的象素(下面稱為最小象素)。并且，運(yùn)算最大象素的象素值MAX和最小象素的象素值MIN的差DR(=MAX-MIN)，并以這種DR作為處理塊的局部的動(dòng)態(tài)范圍?；谶@種動(dòng)態(tài)范圍DR將構(gòu)成處理塊的各象素值重新量化成比原來的分配位數(shù)少的K位。也就是說，從構(gòu)成處理塊的各象素值減去最小象素的象素值MIN并用DR/2k除以各減后的值。
其結(jié)果，就成為用K位表示構(gòu)成處理塊的各象素值。因此，在例如K=1的場合，25個(gè)SD象素的象素值的模式數(shù)為(21)25，與不進(jìn)行ADRC處理的場合比較，能使模式數(shù)大大減少。下面，稱這樣使象素值成為K位的ADRC處理為K位ADRC處理。
系數(shù)ROM104將借助于預(yù)先學(xué)習(xí)求得的預(yù)測系數(shù)的按每個(gè)類別集合存儲(chǔ)，當(dāng)從類別分類電路101供給類別時(shí)，就讀出存儲(chǔ)在對應(yīng)于該類別的地址中的預(yù)測系數(shù)的集合，并供給到預(yù)測運(yùn)算電路105中。
另一方面，在延遲電路102中，為了對于預(yù)測運(yùn)算電路105使由系數(shù)ROM104供給預(yù)測系數(shù)的集合的時(shí)間與后述的預(yù)測抽頭生成電路103供給預(yù)測抽頭的時(shí)間一致，將SD圖像延遲必要的時(shí)間并供給到預(yù)測抽頭生成電路103中。
在預(yù)測抽頭生成電路103中，從供給其的SD圖像提取用于在預(yù)測運(yùn)算電路105中求出規(guī)定的HD象素的預(yù)測值的SD象素，將其作為預(yù)測抽頭供給到預(yù)測運(yùn)算電路105中。也就是說，在預(yù)測抽頭生成電路103中，從SD圖像提取例如與在類別分類電路101中提取的相同的處理塊，并將構(gòu)成該處理塊的SD象素作為預(yù)測抽頭，供給到預(yù)測運(yùn)算電路105中。
在預(yù)測運(yùn)算電路105中，用來自系數(shù)ROM104的預(yù)測系數(shù)w1,w2,...和來自預(yù)測抽頭生成電路103的預(yù)測抽頭x1,x2,...，利用式(1)所示的運(yùn)算、即進(jìn)行適應(yīng)處理，求得注目象素y的預(yù)測值E[y]，并輸出其作為HD象素的象素值。
也就是說，在這里，從1個(gè)預(yù)測抽頭求出例如在圖23中用實(shí)線四邊形圍住的以注目象素為中心的3×3的HD象素(在同一圖中用“●”表示)的預(yù)測值，這種場合，在預(yù)測運(yùn)算電路105中對于這種9個(gè)HD象素進(jìn)行式(1)的運(yùn)算。因此，在系數(shù)ROM104中，在對應(yīng)于1個(gè)類別的地址中存儲(chǔ)9組預(yù)測系數(shù)的集合。
以其它的SD圖像作為注目象素進(jìn)行下面相同的處理，由此將SD圖像變換成HD圖像。
接著，圖24示出了進(jìn)行算出存儲(chǔ)在圖22中系數(shù)ROM104中的每個(gè)類別的預(yù)測系數(shù)集合的學(xué)習(xí)處理的學(xué)習(xí)裝置結(jié)構(gòu)例。
將應(yīng)該成為學(xué)習(xí)中的教師數(shù)據(jù)y的HD圖像供給到間抽電路111和延遲電路114中，在間抽電路111中，HD圖像例如其象素?cái)?shù)由于間抽而減少，并由此成為SD圖像。將這種SD圖像供給到類別分類電路112和預(yù)測抽頭生成電路113中。
在類別分類電路112或者預(yù)測抽頭生成電路113中進(jìn)行與圖22中類別分類電路101或者預(yù)測抽頭生成電路103的場合相同的處理，并由此分別輸出注目象素的類別或者預(yù)測抽頭。將類別分類電路112輸出的類別供給到預(yù)測抽頭存儲(chǔ)器115和教師數(shù)據(jù)存儲(chǔ)器116的地址端(AD)上，將預(yù)測抽頭生成電路113輸出的預(yù)測抽頭供給到預(yù)測抽頭存儲(chǔ)器115中。
在預(yù)測抽頭存儲(chǔ)器115中，在對應(yīng)于由類別分類電路112供給的類別的地址中存儲(chǔ)由預(yù)測抽頭生成電路113供給的預(yù)測抽頭。
另一方面，在延遲電路114中，使HD圖像僅延遲對應(yīng)于注目象素的類別從類別分類電路112供給到教師數(shù)據(jù)存儲(chǔ)器116中的時(shí)間，對于其中的預(yù)測抽頭，僅將圖23所示的位置關(guān)系的HD象素的象素值作為教師數(shù)據(jù)供給到教師數(shù)據(jù)存儲(chǔ)器116中。
并且，在教師數(shù)據(jù)存儲(chǔ)器116中，在對應(yīng)于由類別分類電路112供給的類別的地址中存儲(chǔ)由延遲電路114供給的教師數(shù)據(jù)。
重復(fù)下面相同的處理，直到將構(gòu)成由預(yù)先學(xué)習(xí)用準(zhǔn)備的全部的HD圖像得到的SD圖像的全部的SD象素作為注目象素為止。
這樣，在預(yù)測抽頭存儲(chǔ)器115和教師數(shù)據(jù)存儲(chǔ)器116的同一個(gè)地址中存儲(chǔ)分別與在圖23中用“○”表示的SD象素或者在圖23中用“●”表示的HD象素有同一位置關(guān)系的SD象素或者HD象素作為學(xué)習(xí)數(shù)據(jù)x或者教師數(shù)據(jù)y。
此外，在預(yù)測抽頭存儲(chǔ)器115和教師數(shù)據(jù)存儲(chǔ)器116中，能在同一地址中存儲(chǔ)多個(gè)信息，因此，在同一地址中，能存儲(chǔ)屬于同一類別的多個(gè)學(xué)習(xí)數(shù)據(jù)x和教師數(shù)據(jù)y。
然后，運(yùn)算電路117從預(yù)測抽頭存儲(chǔ)器115或者教師數(shù)據(jù)存儲(chǔ)器116讀出存儲(chǔ)在同一地址中的作為學(xué)習(xí)數(shù)據(jù)的預(yù)測抽頭或者作為教師數(shù)據(jù)的HD象素的象素值，并用它們根據(jù)最小二乘法算出使預(yù)測值和教師數(shù)據(jù)間的誤差為最小的預(yù)測系數(shù)的集合。也就是說，在運(yùn)算電路117中，對每個(gè)類別建立式(13)所示的正規(guī)方程式，借助于求解該方程式求得每個(gè)類別的預(yù)測系數(shù)的集合。
這樣，在運(yùn)算電路117求得的每個(gè)類別的預(yù)測系數(shù)的集合，存儲(chǔ)在圖22中系數(shù)ROM104的對應(yīng)于該類別的地址中。
此外，在前述的學(xué)習(xí)處理中，雖然也可能產(chǎn)生不能得到用于求得預(yù)測系數(shù)的集合所必須數(shù)量的正規(guī)方程式的類別，但對于這種類別，例如借助于忽略類別建立并求解正規(guī)方程式得到的預(yù)測系數(shù)的集合等，可以作為缺省的預(yù)測系數(shù)的集合使用。
但是，采用圖22的圖像變換裝置，通過間抽HD圖像的象素值等使象素值減少而得到SD圖像，如前所述，從該得到的SD圖像能得到還包含有SD圖像不包含的高頻成分的HD圖像，但對于接近原來的HD圖像還有一定限制。其理由是，為了復(fù)原到原來的HD圖像，僅間抽HD圖像的象素值后的SD圖像的象素(SD象素)的象素值不是最優(yōu)的。
因此，本申請人為了能得到更加接近于原來的HD圖像的畫面質(zhì)量的解碼圖像，先前建議有關(guān)于利用適應(yīng)處理的圖像壓縮(編碼)(例如已公開的日本特愿平8-206552號(hào)公報(bào)等所示)。
也就是說，為了能根據(jù)適應(yīng)處理得到更加接近于原來的HD圖像的解碼圖像，圖25示出了將其HD圖像壓縮(編碼)成最優(yōu)SD圖像的圖像編碼裝置的結(jié)構(gòu)例。
將編碼對象的HD圖像供給到間抽單元121和誤差算出單元43中。
在間抽單元121利用例如單純地間抽使HD圖像成為SD圖像，并供給到校正單元41中。校正單元41一從間抽單元121接收到SD圖像，開始原樣地將該SD圖像輸出到局部解碼單元122中。局部解碼單元122具有與例如圖22所示的圖像變換裝置相同的結(jié)構(gòu)，用來自校正單元41的SD圖像并借助于進(jìn)行前述的適應(yīng)處理，算出HD象素的預(yù)測值并輸出到誤差算出單元43中。誤差算出單元43算出來自局部解碼單元122的HD象素的預(yù)測值的相對于原來的HD象素的預(yù)測誤差(誤差信息)，并輸出到控制單元44中?？刂茊卧?4對應(yīng)于來自誤差算出單元43的預(yù)測誤差對校正單元41進(jìn)行控制。
也就是說，由此，校正單元41按照來自控制單元44的控制，校正來自間抽單元121的SD圖像的象素值，并輸出到局部解碼單元122中。在局部解碼單元122中，用由校正單元41供給的校正后的SD圖像再次求得HD圖像的預(yù)測值。
下面，重復(fù)相同的處理，直到誤差算出單元43輸出的預(yù)測誤差達(dá)到規(guī)定值以下為止。
當(dāng)誤差算出單元43輸出的預(yù)測誤差達(dá)到規(guī)定值以下時(shí)，控制單元44控制校正單元41，由此，輸出預(yù)測誤差在規(guī)定值以下時(shí)的校正后的SD圖像作為HD圖像的最優(yōu)編碼結(jié)果。
因此，采用這種校正后的SD圖像，則借助于對其進(jìn)行適應(yīng)處理，能得到預(yù)測誤差在規(guī)定值以下的HD圖像。
因此，如前所述，因從圖25的圖像編碼裝置輸出的SD圖像可說是為得到更加接近于原來HD圖像的解碼圖像的最優(yōu)圖像，所以用這種圖像編碼裝置的校正單元41、局部解碼單元122、誤差算出單元43和控制單元44構(gòu)成的系統(tǒng)進(jìn)行的處理是最優(yōu)處理。
但是，適應(yīng)處理可以說是用HD象素的周圍的SD象素構(gòu)成預(yù)測抽頭，用這種預(yù)測抽頭求得HD象素的預(yù)測值，但作為預(yù)測抽頭使用的SD象素的選擇與象素?zé)o關(guān)而形成。
也就是說，用圖22的圖像變換裝置的預(yù)測抽頭生成電路103和與這種圖像變換裝置相同結(jié)構(gòu)的圖25的局部解碼單元122，能不斷地生成(形成)一定模式的預(yù)測抽頭。
但是，圖像的局部特性不同的場合很多，因此，如果特性不同，則用與其對應(yīng)的預(yù)測抽頭進(jìn)行適應(yīng)處理，能得到更加接近于原來的HD特性的畫面質(zhì)量的解碼圖像。
發(fā)明概述本發(fā)明鑒于前述的狀況，其目的是能得到進(jìn)一步改善畫面質(zhì)量的解碼圖像。
與本發(fā)明相關(guān)的對圖像信號(hào)進(jìn)行編碼的圖像編碼裝置，包括發(fā)生象素?cái)?shù)比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)的壓縮單元；對于作為構(gòu)成所述壓縮圖像信號(hào)的象素之一的注目象素，用該注目象素的附近象素，形成多個(gè)模式的預(yù)測象素的第1形成單元；由所述多個(gè)模式的各個(gè)預(yù)測象素和規(guī)定的預(yù)測系數(shù)預(yù)測所述原圖像信號(hào)，并分別輸出對于這些多個(gè)模式的預(yù)測象素的預(yù)測值的第1預(yù)測單元；算出對于所述多個(gè)模式的預(yù)測象素的各個(gè)預(yù)測值的、對于所述原圖像信號(hào)的預(yù)測誤差的第1算出單元；將所述多個(gè)模式的預(yù)測象素中對應(yīng)于得到最小的預(yù)測誤差的預(yù)測象素的模式碼附加在所述注目象素的象素值上的附加單元。
與本發(fā)明相關(guān)的對圖像信號(hào)進(jìn)行編碼的圖像編碼方法，包括發(fā)生象素?cái)?shù)比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)的壓縮步驟；對于作為構(gòu)成所述壓縮圖像信號(hào)的象素之一的注目象素，用該注目象素的附近象素，形成多個(gè)模式的預(yù)測象素的第1形成步驟；由所述多個(gè)模式的各個(gè)預(yù)測象素和規(guī)定的預(yù)測系數(shù)預(yù)測所述原圖像信號(hào)，并分別輸出對于這些多個(gè)模式的預(yù)測象素的預(yù)測值的第1預(yù)測步驟；算出對于所述多個(gè)模式的預(yù)測象素的各個(gè)預(yù)測值的、對于所述原圖像信號(hào)的預(yù)測誤差的第1算出步驟；將所述多個(gè)模式的預(yù)測象素中對應(yīng)于得到最小的預(yù)測誤差的預(yù)測象素的模式碼附加在所述注目象素的象素值上的附加步驟。
與本發(fā)明相關(guān)的將壓縮圖像信號(hào)解碼成原來圖像信號(hào)的圖像解碼裝置，包括接收所述壓縮圖像信號(hào)的接收單元；形成對應(yīng)于附加在所述壓縮圖像信號(hào)的注目象素的象素值上的模式碼的模式預(yù)測象素的形成單元；由在所述形成單元形成的所述預(yù)測象素和規(guī)定的預(yù)測系數(shù)對原圖像信號(hào)進(jìn)行預(yù)測，并輸出所述原圖像信號(hào)的預(yù)測單元。
與本發(fā)明相關(guān)的將壓縮圖像信號(hào)解碼成原來圖像信號(hào)的圖像解碼方法，包括接收所述壓縮圖像信號(hào)的接收步驟；形成對應(yīng)于附加在所述壓縮圖像信號(hào)的注目象素的象素值上的模式碼的模式預(yù)測象素的形成步驟；由在所述形成步驟形成的所述預(yù)測象素和規(guī)定的預(yù)測系數(shù)對原圖像信號(hào)進(jìn)行預(yù)測，并輸出所述原圖像信號(hào)的預(yù)測步驟。
在與本發(fā)明相關(guān)的記錄媒體中，記錄利用圖像解碼裝置能解碼的壓縮圖像信號(hào)。利用發(fā)生象素?cái)?shù)比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)的壓縮步驟；對于作為構(gòu)成所述壓縮圖像信號(hào)的象素之一的注目象素，用該注目象素的附近象素，形成多個(gè)模式的預(yù)測象素的形成步驟；由所述多個(gè)模式的各個(gè)預(yù)測象素和規(guī)定的預(yù)測系數(shù)預(yù)測所述原圖像信號(hào)，并分別輸出對于這些多個(gè)模式的預(yù)測象素的預(yù)測值的預(yù)測步驟；算出對于所述多個(gè)模式的預(yù)測象素的各個(gè)預(yù)測值的、對于所述原圖像信號(hào)的預(yù)測誤差的算出步驟；將所述多個(gè)模式的預(yù)測象素中對應(yīng)于得到最小的預(yù)測誤差的預(yù)測象素的模式碼附加在所述注目象素的象素值上的附加步驟，形成這種壓縮圖像信號(hào)。
附圖簡要說明

圖1是表示采用本發(fā)明的圖像處理裝置的一實(shí)施形態(tài)的結(jié)構(gòu)方框圖。
圖2是表示圖1中發(fā)送裝置1的結(jié)構(gòu)例的方框圖。
圖3是表示圖2中發(fā)送裝置1的功能的結(jié)構(gòu)例的方框圖。
圖4是用于說明圖3中發(fā)送裝置1的動(dòng)作的流程圖。
圖5是表示圖3中前置處理單元21的結(jié)構(gòu)例的方框圖。
圖6是用于說明圖5中間抽電路31的處理的圖。
圖7是表示預(yù)測抽頭的結(jié)構(gòu)例的圖。
圖8是表示預(yù)測抽頭的結(jié)構(gòu)例的圖。
圖9是表示預(yù)測抽頭的結(jié)構(gòu)例的圖。
圖10是表示預(yù)測抽頭的結(jié)構(gòu)例的圖。
圖11是用于說明圖5中前置處理單元21的處理的流程圖。
圖12是用于更詳細(xì)地說明圖11的步驟S11的處理的流程圖。
圖13A-圖13B是表示用于進(jìn)行類別分類的抽頭類型的結(jié)構(gòu)例的圖。
圖14是表示圖3中最優(yōu)化單元23的結(jié)構(gòu)例的方框圖。
圖15是用于說明圖14中最適化單元23的處理的流程圖。
圖16是用于說明圖15中的步驟S33的處理的圖。
圖17是表示圖3中自適應(yīng)處理單元24的結(jié)構(gòu)例的方框圖。
圖18是用于說明圖17中適應(yīng)處理單元24的處理的流程圖。
圖19是表示圖3中預(yù)測抽頭模式判定單元26的結(jié)構(gòu)例的方框圖。
圖20是用于說明圖19中預(yù)測抽頭模式判定單元26的處理的流程圖。
圖21是表示圖1中接收裝置4的結(jié)構(gòu)例的方框圖。
圖22是表示本申請人先前提議了的圖像變換裝置的結(jié)構(gòu)例的方框圖。
圖23是用于說明圖22中類別分類電路101的處理的圖。
圖24是表示本申請人先前提議了的學(xué)習(xí)裝置的結(jié)構(gòu)例的方框圖。
圖25是表示本申請人在先提議了的圖像編碼裝置的結(jié)構(gòu)例的方框圖。
圖26是表示類別分類適應(yīng)處理電路(預(yù)測系數(shù)、預(yù)測值算出)電路33的一部分的結(jié)構(gòu)的一例的方框圖。
圖27是表示類別分類適應(yīng)處理電路(預(yù)測系數(shù)、預(yù)測值算出)電路33的其它的一部分的結(jié)構(gòu)的一例的方框圖。
圖28是表示類別分類適應(yīng)處理電路42B和74的結(jié)構(gòu)的一例的方框圖。
實(shí)施發(fā)明的最佳方式下面，參照附圖對與發(fā)明相關(guān)的圖像編碼裝置、圖像編碼方法、圖像解碼裝置、圖像解碼方法以及記錄媒體的實(shí)施形態(tài)進(jìn)行說明。
圖1示出了采用本發(fā)明的圖像處理裝置的一實(shí)施形態(tài)的結(jié)構(gòu)。將數(shù)字化的HD圖像的圖像數(shù)據(jù)供給到發(fā)送裝置1中。發(fā)送裝置1利用間抽被輸入的圖像數(shù)據(jù)(減少其象素?cái)?shù))進(jìn)行壓縮、編碼，并將其結(jié)果得到的SD圖像的圖像數(shù)據(jù)作為HD圖像的編碼數(shù)據(jù)，記錄在例如光盤、光磁盤、磁帶等構(gòu)成的記錄媒體2上，或者通過例如地面波、衛(wèi)星線路、電話線路、CATV網(wǎng)等的傳送通道3進(jìn)行傳送。
在接收裝置4中重放記錄在記錄媒體2中的編碼數(shù)據(jù)，或者接收通過傳送通道3傳送來的編碼數(shù)據(jù)，擴(kuò)展并解碼該編碼數(shù)據(jù)，并將其結(jié)果得到的HD圖像的解碼圖像供給到未圖示的顯示器上進(jìn)行顯示。
此外，前述的圖像處理裝置適用于例如光盤裝置、光磁盤裝置、磁帶等的進(jìn)行圖像的記錄/重放的裝置，或者例如電視電話裝置、電視廣播系統(tǒng)、CATV系統(tǒng)等的進(jìn)行圖像傳送的裝置。此外，如后所述，因發(fā)送裝置1輸出的編碼數(shù)據(jù)的數(shù)據(jù)量少，所以圖1的圖像處理裝置也能適用于傳輸速率低的、例如手機(jī)等的便于移動(dòng)的便攜式終端等。
圖2表示發(fā)送裝置1的結(jié)構(gòu)例。
I/F(InterFace接口)11進(jìn)行由外部供給的HD圖像的圖像數(shù)據(jù)的接收處理和對于發(fā)送機(jī)/記錄裝置16的編碼數(shù)據(jù)的發(fā)送處理。ROM(Read Only Memory只讀存儲(chǔ)器)12存儲(chǔ)IPL(Initial Program Loading初始程序裝載)用的程序等。RAM(Random Access Memory隨機(jī)存儲(chǔ)器)13存儲(chǔ)記錄在外部存儲(chǔ)裝置15中的系統(tǒng)程序(OS(Operating System操作系統(tǒng)))和應(yīng)用程序，并存儲(chǔ)CPU(CentralProcessing Unit中央處理單元)14動(dòng)作的必要的數(shù)據(jù)。CPU14按照存儲(chǔ)在ROM12中的IPL程序，從外部存儲(chǔ)器15將系統(tǒng)程序和應(yīng)用程序展開到RAM13中，并在該系統(tǒng)程序的控制下執(zhí)行應(yīng)用程序，通過這樣對由I/F11供給的圖像數(shù)據(jù)進(jìn)行后述的編碼處理。外部存儲(chǔ)裝置15、例如磁盤裝置等，如前所述除存儲(chǔ)CPU14執(zhí)行的系統(tǒng)程序和應(yīng)用程序外，還存儲(chǔ)CPU14動(dòng)作上必要的數(shù)據(jù)。發(fā)送機(jī)/記錄裝置16將由I/F11供給的編碼數(shù)據(jù)記錄在記錄媒體2中，或者通過傳輸通道3進(jìn)行傳輸。
此外，通過總線互相連接I/F11、ROM12、RAM13、CPU14和外部存儲(chǔ)裝置15。在圖2中，雖然發(fā)送裝置1用CPU14構(gòu)成，但也可以用硬線連接邏輯構(gòu)成。
在如前所述結(jié)構(gòu)的發(fā)送裝置1中，HD圖像的圖像數(shù)據(jù)一供給到I/F11中，其圖像數(shù)據(jù)就供給到CPU14中。CPU14對圖像數(shù)據(jù)進(jìn)行編碼，并將作為該結(jié)果得到的編碼數(shù)據(jù)的SD圖像供給到I/F11中。I/F11一接收到編碼數(shù)據(jù)，就將其供給到發(fā)送機(jī)/記錄裝置16中。發(fā)送機(jī)/記錄裝置16將來自I/F11的編碼數(shù)據(jù)記錄在記錄媒體2中，或者通過傳輸通道3進(jìn)行傳輸。
圖3是表示圖2中發(fā)送裝置1的、除去發(fā)送機(jī)/記錄裝置16部分的功能的方框圖。
將作為應(yīng)該編碼的圖像數(shù)據(jù)的HD圖像供給到前置處理單元21、最優(yōu)化單元23、自適應(yīng)處理單元24和預(yù)測抽頭模式判定單元26中。
前置處理單元21對于供給它的HD圖像，用例如1幀(或者1場)為單位施行后述的前置處理，并將關(guān)于其結(jié)果得到的SD圖像或者多個(gè)模式的預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合，分別供給到開關(guān)22或者25的端a上。將前置處理單元21或者預(yù)測抽頭模式判定單元26輸出的SD圖像，分別供給到開關(guān)22的端a或者b上。只有在前置處理單元22中對某個(gè)HD圖像施行前置處理、并由此輸出SD圖像時(shí)，開關(guān)22選擇端a，在其它時(shí)間選擇端b，并將前置處理單元21或者預(yù)測抽頭模式判定單元26輸出的SD圖像供給到最優(yōu)化單元23中。
最優(yōu)化單元23對于由開關(guān)22供給的SD圖像，施行在前述圖25說明了的最優(yōu)化處理，并將其結(jié)果得到的最優(yōu)化SD圖像供給到自適應(yīng)處理單元25、預(yù)測抽頭模式判定單元26和多路化單元27中。自適應(yīng)處理單元24借助于用來自最優(yōu)化單元23的最適合SD圖像和原來的HD圖像進(jìn)行自適應(yīng)處理，對多個(gè)模式的每個(gè)類型算出減小由最優(yōu)SD圖像的象素值的線性組合求得的HD圖像的預(yù)測值的預(yù)測誤差的每個(gè)類別的預(yù)測系數(shù)w的集合，并輸出到開關(guān)25的端b上。
只有在前置處理單元21中對某個(gè)HD圖像施行前置處理、并由此輸出關(guān)于多個(gè)模式的預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合時(shí)，開關(guān)25選擇端a，在其它時(shí)間選擇端b，并將前置處理單元21或者自適應(yīng)處理單元24輸出的關(guān)于多個(gè)模式的預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合，供給到最優(yōu)化單元23、預(yù)測抽頭模式判定單元26和多路化單元27中。
預(yù)測抽頭模式判定單元26由最優(yōu)化單元23供給的自適應(yīng)SD圖像，形成多個(gè)模式的預(yù)測抽頭，并分別用該多個(gè)模式的預(yù)測抽頭進(jìn)行自適應(yīng)處理，求得多個(gè)HD圖像的預(yù)測值。此外，預(yù)測抽頭模式判定單元26在多個(gè)模式的預(yù)測抽頭中，判定多個(gè)HD圖像的預(yù)測值的預(yù)測誤差最小的，對應(yīng)其判定結(jié)果將后述的模式碼附加到來自最優(yōu)化單元23的最適SD圖像的象素值上，并供給到開關(guān)22的端b上。
多路化單元27在規(guī)定的場合，將由最優(yōu)化單元23供給的最適SD圖像和通過開關(guān)25供給的多個(gè)模式的預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合進(jìn)行多路化處，并以其多路化結(jié)果作為編碼數(shù)據(jù)輸出到發(fā)送機(jī)/記錄裝置16(圖2)中。
接著，參照圖4的流程圖對其動(dòng)作進(jìn)行說明。
當(dāng)應(yīng)該編碼的HD圖像一供給到前置處理單元21、最優(yōu)化單元23、自適應(yīng)處理單元24和預(yù)測抽頭模式判定單元26中，在前置處理單元21就在步驟S1列HD圖像施行前置處理。
也就是說，前置處理單元21借助于減少HD圖像的象素?cái)?shù)并進(jìn)行壓縮，構(gòu)成SD圖像，并分別以構(gòu)成其SD圖像的SD象素依次地作為注目象素，對于各注目象素形成多個(gè)模式的預(yù)測抽頭。此外，前置處理單元21分別對于其多個(gè)模式的預(yù)測抽頭，借助于用式(13)所示的正規(guī)方程式求解，求得每個(gè)類別的預(yù)測系數(shù)w的集合。并且，前置處理單元21借助于用多個(gè)模式的預(yù)測抽頭和與其相關(guān)求得的每個(gè)類別的預(yù)測系數(shù)w的集合的規(guī)定的類別的預(yù)測系數(shù)的集合，對式(1)所示的線性一次方程式進(jìn)行計(jì)算，求得從多個(gè)模式的各個(gè)預(yù)測抽頭得到的多個(gè)HD圖像的預(yù)測值。此外，前置處理單元21檢測多個(gè)模式的預(yù)測抽頭中的多個(gè)HD圖像的預(yù)測值的預(yù)測誤差為最小的，并將預(yù)先對應(yīng)于其預(yù)測抽頭的模式的、例如作為2位碼的抽頭模式碼，附加在成為注目象素的SD象素上并進(jìn)行輸出。
如前所述，分別將附加抽頭模式碼的SD圖像輸出到開關(guān)22的端a上，或者將關(guān)于求解正規(guī)方程式得到的多個(gè)模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合輸出到開關(guān)25的端a上。
如前所述，開關(guān)22和25在從前置處理單元21輸出SD圖像和多個(gè)模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合時(shí)，都選擇端a，因此，前置處理單元21輸出的SD圖像，通過開關(guān)22供給到最優(yōu)化單元23中，前置處理單元21輸出的多個(gè)模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合，通過開關(guān)25輸出到最優(yōu)化單元23和預(yù)測抽頭模式判定單元26中。
最優(yōu)化單元23一接收到SD圖像和關(guān)于多個(gè)模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合，就在步驟S2中用它們進(jìn)行最優(yōu)化處理。即最優(yōu)化單元23用SD圖像和關(guān)于多個(gè)模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合進(jìn)行自適應(yīng)處理，并校正SD圖像的象素值，以便其結(jié)果得到的HD圖像的預(yù)測值的預(yù)測誤差小。并且，將其結(jié)果得到的最適SD圖像供給到自適應(yīng)處理單元24和預(yù)測抽頭模式判定單元26中。
自適應(yīng)處理單元24從最優(yōu)化單元23一接收到最適SD圖像，就在步驟S3中借助于進(jìn)行自適應(yīng)處理算出關(guān)于減小用最適SD圖像得到的HD圖像的預(yù)測值的預(yù)測誤差的多個(gè)模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合。即自適應(yīng)處理單元24分別以構(gòu)成最適SD圖像的SD象素依次地作為注目象素，并對于各注目象素形成預(yù)測抽頭。此外，這時(shí)預(yù)測抽頭形成對應(yīng)于附加在注目象素上的抽頭模式碼的模式。并且，自適應(yīng)處理單元24借助于對于多個(gè)模式的每個(gè)預(yù)測抽頭，由預(yù)測抽頭建立正規(guī)方程式并對其求解，求得多個(gè)模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合。并將這些多個(gè)模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合，供給到開關(guān)25的端b上。
經(jīng)前述處理后，進(jìn)入到步驟S4中，開關(guān)22和25都從端a切換到端b，由此，通過開關(guān)25將在自適應(yīng)處理單元24中求得的關(guān)于多個(gè)模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合，供給到最優(yōu)化單元23和預(yù)測抽頭模式判定單元26中。
預(yù)測抽頭模式判定單元26從最優(yōu)化單元23接收最適SD圖像，并且從自適應(yīng)處理單元24一接收到關(guān)于多個(gè)模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合，就在步驟S5中決定以構(gòu)成最適SD圖像的各個(gè)SD象素作為注目象素形成的預(yù)測抽頭的最優(yōu)模式。
也就是說，預(yù)測抽頭模式判定單元26以構(gòu)成最適SD圖像的各個(gè)SD象素依次地作為注目象素，對于各注目象素形成多個(gè)模式的預(yù)測抽頭。此外，預(yù)測抽頭模式判定單元26，借助于對于其多個(gè)模式的每個(gè)預(yù)測抽頭、用對應(yīng)于來自自適應(yīng)處理單元24的其預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合中規(guī)定的類別的預(yù)測系數(shù)w的集合，對式(1)所示的線性一次方程式進(jìn)行計(jì)算，求得從多個(gè)模式的各個(gè)預(yù)測抽頭得到的多個(gè)HD圖像的預(yù)測值。此外，預(yù)測抽頭模式判定單元26檢測多個(gè)模式的預(yù)測抽頭中的多個(gè)HD圖像的預(yù)測值的預(yù)測誤差為最小的，并將已經(jīng)附加在成為注目象素的SD象素上的抽頭模式碼變更成對應(yīng)于其預(yù)測抽頭的抽頭模式碼。也就是說，在現(xiàn)在的場合因在SD象素上已經(jīng)附加抽頭模式碼，所以能用附加使預(yù)測誤差為最小的預(yù)測抽頭的抽頭模式碼代替。
如前所述，將變更抽頭模式碼后的SD圖像輸出到開關(guān)22的端b上。
因在步驟S4中切換開關(guān)22并選擇端b，所以預(yù)測抽頭模式判定單元26輸出的SD圖像通過開關(guān)22供給到最優(yōu)化單元23中。在步驟S6中與步驟S2的場合相同，最優(yōu)化單元23進(jìn)行最優(yōu)化處理，并由此輸出最適合SD圖像。此外，這種場合，在最優(yōu)化單元23雖然進(jìn)行如在步驟S2說明了的自適應(yīng)處理，但這種自適應(yīng)處理是通過開關(guān)25用由自適應(yīng)處理單元供給的關(guān)于多個(gè)模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合進(jìn)行。
將從最優(yōu)化單元23輸出的最適合SD圖像供給到自適應(yīng)處理單元24和預(yù)測抽頭模式判定單元26中，在步驟S7中與步驟S3的場合相同，在自適應(yīng)處理單元24中借助于用最優(yōu)化單元23輸出的最適合SD圖像進(jìn)行自適應(yīng)處理，求得關(guān)于多個(gè)模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合，并通過開關(guān)25輸出到最優(yōu)化單元23和預(yù)測抽頭模式判定單元26中。
然后，進(jìn)入到步驟S8，判定是否僅以規(guī)定的規(guī)定次數(shù)進(jìn)行步驟S5至步驟S8的處理。在步驟S8中，在判定還沒有以規(guī)定的規(guī)定次數(shù)進(jìn)行步驟S5至步驟S8的處理的場合，返回到步驟S5，并重復(fù)前述的處理。在步驟S8中，在判定以規(guī)定的規(guī)定次數(shù)進(jìn)行步驟S5至步驟S8的處理的場合，進(jìn)入到步驟S9，多路化單元27對在前次的步驟S6的處理中，最優(yōu)化單元23輸出的最適合SD圖像和那時(shí)使用的多個(gè)模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合進(jìn)行多路化處理，作為編碼數(shù)據(jù)輸出，并結(jié)束處理。
前述的處理用例如1幀為單位等重復(fù)進(jìn)行。
此外，在前述的場合的步驟S8中，判定是否以規(guī)定的規(guī)定次數(shù)進(jìn)行步驟S5至步驟S8的處理，但也可以在步驟S8中，判定借助于用例如在該時(shí)刻從最優(yōu)化單元23輸出的最適合SD圖像進(jìn)行自適應(yīng)處理所得到的HD圖像的預(yù)測值的預(yù)測誤差的1幀部分的絕對值之和是否在規(guī)定的閾值以下，在閾值以下的場合進(jìn)入到步驟9，在不是閾值以下的場合中返回到步驟S5。也就是說，步驟S5至步驟S8的處理能夠重復(fù)進(jìn)行，一直到借助于用最適合SD圖像進(jìn)行自適應(yīng)處理所得到的HD圖像的預(yù)測值的預(yù)測誤差的1幀部分的絕對值之和達(dá)到規(guī)定的閾值以下為止。
圖5示出了圖3中前置處理單元21的結(jié)構(gòu)例。
將應(yīng)該編碼的HD圖像供給到間抽電路31、類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33和預(yù)測誤差算出電路34中。
間抽電路31例如利用間抽減少HD圖像的象素?cái)?shù)構(gòu)成SD圖像，并供給到預(yù)測抽頭生成電路32和抽頭模式碼附加電路36中。也就是說，間抽電路31將HD圖像分割成長×寬為3×3象素的9象素的正方形塊，以各塊的9象素的平均值作為其中心的象素的象素值構(gòu)成SD圖像。由此，在間抽電路31中，由例如在圖6中用“·”所示的HD象素組成的HD圖像，構(gòu)成同圖中用“○”所示的SD象素組成的SD圖像。
此外，在間抽電路31中，也可以例如僅提取前述塊的中心的象素，構(gòu)成SD圖像。
預(yù)測抽頭生成電路32以來自間抽電路31的構(gòu)成SD圖像的各象素(在圖6中用“○”表示的部分)作為依次注目象素，并對于各注目象素構(gòu)成多個(gè)模式的預(yù)測抽頭。也就是說，在本實(shí)施形態(tài)中，分別如圖7至圖10所示，形成以注目象素為中心的3×3象素、5×3象素、3×5象素或者7×5象素的4種模式的預(yù)測抽頭。將這些4種模式的預(yù)測抽頭供給到類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33中。
類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33分別對于由預(yù)測抽頭生成電路32供給的4種模式的預(yù)測抽頭進(jìn)行類別分類，而且，對于各類別借助于用HD圖像求解式(13)所示的正規(guī)方程式，能求得關(guān)于4種模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合。此外，類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33借助于運(yùn)算式(1)所示的線性一次方程式，從關(guān)于求得的4種模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合中各個(gè)規(guī)定類別的預(yù)測系數(shù)w和4種模式的各個(gè)預(yù)測抽頭，求得由4種模式的各個(gè)預(yù)測抽頭得到的多個(gè)HD圖像的預(yù)測值，并輸出到預(yù)測誤差算出電路34中。
此外，在類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33中，將對于4種模式的各個(gè)預(yù)測抽頭求得的每個(gè)類別的預(yù)測系數(shù)w的集合，供給到存儲(chǔ)器35中。
此外，在本實(shí)施形態(tài)中，在類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33中對于4種模式的各個(gè)預(yù)測抽頭，建立正規(guī)方程式求得如在圖6中用虛線圍住的那樣以成為注目象素的SD象素為中心的3×3的HD象素的預(yù)測值，而與預(yù)測抽頭的模式無關(guān)。因此，能求得用于生成3×3的HD象素的預(yù)測值的對于4種模式的各個(gè)預(yù)測抽頭的每種類別的預(yù)測系數(shù)w的集合。關(guān)于這種類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33的詳細(xì)的結(jié)構(gòu)將在后面說明。
預(yù)測誤差算出電路34對于各注目象素求得由4種模式的各個(gè)預(yù)測抽頭得到的HD圖像的預(yù)測值的對于原來的HD圖像的象素值的預(yù)測誤差。也就是說，例如對于4種模式的各個(gè)預(yù)測抽頭，運(yùn)算HD圖像的9象素的預(yù)測值和原來的HD圖像的9象素的象素值的差的平方和。并且，預(yù)測誤差算出電路34檢測出4種模式的預(yù)測抽頭中預(yù)測誤差(差的平方和)為最小的。并且，將對應(yīng)于預(yù)測誤差最小的預(yù)測抽頭的模式的2位抽頭模式碼輸出到存儲(chǔ)器35和抽頭模式碼附加電路36中。
存儲(chǔ)器35暫時(shí)存儲(chǔ)由類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33供給的、對于4種模式的各個(gè)預(yù)測抽頭求得的每個(gè)類別的預(yù)測系數(shù)w的集合。并且，存儲(chǔ)器35當(dāng)例如1幀(或者1場)的HD圖像的處理一結(jié)束(即在全部的SD象素上附加抽頭模式碼)，就讀出對于4種模式的各個(gè)預(yù)測抽頭求得的每個(gè)類別的預(yù)測系數(shù)w的集合，并輸出到開關(guān)25的端a上。
抽頭模式碼附加電路36對于供給它的SD圖像，附加由預(yù)測誤差算出電路34供給的抽頭模式碼。即抽頭模式碼附加電路36刪除成為注目象素的SD象素的象素值(例如用8位等構(gòu)成)的LSB(Least Significant Bit最低有效位)側(cè)的2位，并在那里配置2位的抽頭模式碼。在抽頭模式碼附加電路36中，將附加抽頭模式碼的SD圖像輸出到開關(guān)22的端a上。
下面，對類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33的結(jié)構(gòu)進(jìn)行說明。這種類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33分別對于4種模式的預(yù)測抽頭，具有類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路。也就是說，類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33具有用于4種模式的預(yù)測抽頭的獨(dú)立的4個(gè)類別分類自適應(yīng)處理電路。圖26和圖27示出了這種1個(gè)類別分類自適應(yīng)處理電路。此外，4個(gè)類別分類自適應(yīng)處理電路因除了供給不同的4類預(yù)測抽頭外具有相同的結(jié)構(gòu)，所以說明1個(gè)類別分類自適應(yīng)處理電路，省略其它的說明。
圖26所示的類別分類自適應(yīng)處理電路包括類別分類電路112、延遲電路114、預(yù)測抽頭存儲(chǔ)器115、教師數(shù)據(jù)存儲(chǔ)器116、運(yùn)算電路117和延遲電路118(圖25)，圖27所示的類別分類自適應(yīng)處理電路包括類別分類電路201、系數(shù)RAM204和預(yù)測運(yùn)算電路205。
構(gòu)成圖26所示的類別分類自適應(yīng)處理電路的一部分的各電路除延遲電路118外，分別與圖24所示的學(xué)習(xí)裝置的類別分類電路112、延遲電路114、預(yù)測抽頭存儲(chǔ)器115、教師數(shù)據(jù)存儲(chǔ)器116、運(yùn)算電路117、延遲電路118、以及圖22所示的圖像變換裝置的結(jié)構(gòu)相同。其中因預(yù)測抽頭由預(yù)測抽頭生成電路32供給，所以代替圖24所示的預(yù)測抽頭生成電路113，將預(yù)測抽頭供給到延遲電路118中。并且，在延遲電路118中與延遲電路114相同，延遲時(shí)間為對于注目象素的類別從類別分類電路112供給到預(yù)測抽頭存儲(chǔ)器中的時(shí)間，對預(yù)測抽頭進(jìn)行延遲，并存儲(chǔ)到預(yù)測抽頭存儲(chǔ)器115中。
在將對于1幀的HD象素的數(shù)據(jù)存儲(chǔ)在預(yù)測抽頭存儲(chǔ)器115和教師數(shù)據(jù)存儲(chǔ)器116中后，利用與圖24的學(xué)習(xí)裝置的動(dòng)作相同的動(dòng)作生成每個(gè)類別的預(yù)測系數(shù)的集合。在將這種生成的每個(gè)類別的預(yù)測系數(shù)的集合存儲(chǔ)在圖27所示的系數(shù)RAM204中的同時(shí)，供給并存儲(chǔ)在圖5的前置處理單元21的存儲(chǔ)器35中。此外，如前所述，因用獨(dú)立的電路生成對于4種模式的各個(gè)預(yù)測抽頭求得的每個(gè)類別的預(yù)測系數(shù)w的集合，所以在將對于4種模式的各個(gè)預(yù)測抽頭求得的每個(gè)類別的預(yù)測系數(shù)w的集合存儲(chǔ)在圖27的系數(shù)RAM204中的同時(shí)，供給并存儲(chǔ)在圖5的前置處理單元21的存儲(chǔ)器35中。
在將對于4種模式的各個(gè)預(yù)測抽頭求得的每個(gè)類別的預(yù)測系數(shù)w的集合存儲(chǔ)在圖27的系數(shù)RAM204中后，在類別分類電路201中進(jìn)行類別分類，并將類別信息供給到系數(shù)RAM204中。系數(shù)RAM204輸出對應(yīng)于被供給的類別信息的預(yù)測系數(shù)的集合，并供給到預(yù)測運(yùn)算電路205中。預(yù)測運(yùn)算電路205借助于運(yùn)算式(1)所示的線性一次方程式，從被供給的預(yù)測抽頭和預(yù)測系數(shù)的集合求出多個(gè)HD圖像的預(yù)測值。此外，構(gòu)成圖27所示的類別分類自適應(yīng)處理電路的一部分的各電路在存儲(chǔ)每個(gè)類別的預(yù)測系數(shù)的集合到系數(shù)RAM204中后的動(dòng)作，與執(zhí)行與圖22的圖像變換裝置的類別分類電路101、系數(shù)RAM104和預(yù)測運(yùn)算電路105的動(dòng)作相同。此外，因類別分類電路112和類別分類電路201結(jié)構(gòu)相同，所以也可以作為1個(gè)結(jié)構(gòu)。
下面，參照圖11的流程圖對前置處理單元21的處理進(jìn)行說明。
前置處理單元21一輸入應(yīng)該編碼的HD圖像，就將該HD圖像供給到間抽電路31、類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33和預(yù)測誤差算出電路34中。間抽電路31一接收到HD圖像，就在步驟S11中間抽其象素?cái)?shù)，構(gòu)成SD圖像。
也就是說，在步驟S11中，如圖12的流程圖所示，首先一開始在步驟S21中將HD圖像分割成例如3×3象素的HD圖像塊，并進(jìn)入到步驟S22中。
此外，在本實(shí)施例中，由例如亮度信號(hào)Y和色差信號(hào)U、V構(gòu)成HD圖像，在步驟S21中，構(gòu)成亮度信號(hào)塊和色差信號(hào)塊。
在步驟S22中，取任何一個(gè)塊為注目塊，并計(jì)算構(gòu)成該注目塊的3×3的HD象素的象素值的平均值。此外，在步驟S22中，取該平均值為注目塊的中心的象素(SD象素)的象素值，并進(jìn)入到步驟S23中。
在步驟S23中，判定注目塊是否為亮度信號(hào)塊。在步驟S23中判定注目塊是亮度信號(hào)塊的場合，進(jìn)入到步驟S24，為了附加抽頭模式碼而將作為SD象素的注目塊的中心的象素的象素值(這里為亮度信號(hào))的LSB側(cè)的2位例如清零成0，并進(jìn)入到步驟S25中。此外，在步驟S23中判定注目塊不是亮度信號(hào)塊的場合，即注目塊是色差信號(hào)塊的場合，跳過步驟S24，進(jìn)入到步驟S25中。
這里，在本實(shí)施形態(tài)中，僅對于亮度信號(hào)準(zhǔn)備多個(gè)模式的預(yù)測抽頭，對于色差信號(hào)用固定模式的預(yù)測抽頭。因此，因僅對于亮度信號(hào)附加抽頭模式碼而對于色差信號(hào)不附加抽頭模式碼，所以不必對其LSB側(cè)的2位進(jìn)行清零。
在步驟S25中，判定是否將在步驟S21構(gòu)成的全部塊作為注目塊進(jìn)行處理，在判定沒有將全部塊作為注目塊進(jìn)行處理的場合，返回到步驟S22，并將沒有作為注目塊的塊重新作為注目塊重復(fù)同樣的處理。在步驟S25中，在判定將全部塊作為注目塊進(jìn)行處理的場合、即構(gòu)成SD圖像的場合，返回。
回到圖11，在步驟S11中，將如前所述構(gòu)成的SD圖像從間抽電路31供給到預(yù)測抽頭生成電路32和抽頭模式碼附加電路36中。預(yù)測抽頭生成電路32從間抽電路31一接收到SD圖像，就在步驟S12中，以構(gòu)成它的SD象素中的1個(gè)作為注目象素，并對于該注目象素形成(生成)圖7至圖10所示的4種模式的預(yù)測抽頭，并供給到類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33中。
此外，如前所述，僅對于亮度信號(hào)形成4種模式的預(yù)測抽頭，對于色差信號(hào)經(jīng)常僅形成例如圖10所示的7×5象素的預(yù)測抽頭。
類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33在步驟S13中，首先對于各個(gè)從預(yù)測抽頭生成電路32供給的4種模式的預(yù)測抽頭(亮度信號(hào)的場合)，用各自的類別分類自適應(yīng)處理電路進(jìn)行分類。
這里，在本實(shí)施形態(tài)中，對于4種模式的各個(gè)預(yù)測抽頭構(gòu)成例如下面所述的類別分類用的抽頭(下面稱為類別抽頭)，進(jìn)行類別分類。
也就是說，如圖13A中用虛線圍住的部分所示，對于亮度信號(hào)，即使與4種模式的各個(gè)預(yù)測抽頭的任何一個(gè)相關(guān)，也能基于以注目象素為中心的菱形的范圍的5個(gè)SD象素，構(gòu)成類別抽頭。并且，以這種5象素的象素值中的最大值和最小值之差作為動(dòng)態(tài)范圍DR，并用這種動(dòng)態(tài)范圍DR對類別抽頭中的縱向排列的3象素(在圖13A中用實(shí)線圍住的3象素)進(jìn)行1位ADRC處理。
并且，在這種3象素的象素值的模式中附加對應(yīng)于預(yù)測抽頭的抽頭碼取作注目象素的類別。因此，這種場合，用3位表示類別抽頭中的對縱向排列的3象素進(jìn)行1位ADRC處理所得到的象素值的模式，此外，因抽頭碼是2位，所以能將亮度信號(hào)分類成32(=25)類別中的任何一類。
另一方面，如圖13B中用虛線圍住的部分所示，對于色差信號(hào)，基于以注目象素為中心的正方形的范圍的9個(gè)SD象素，構(gòu)成類別抽頭。并且，以這種9象素的象素值中的最大值和最小值之差作為動(dòng)態(tài)范圍DR，并用這種動(dòng)態(tài)范圍DR對類別抽頭中的以注目象素為中心的菱形范圍的5個(gè)SD象素(在圖13B中用實(shí)線圍住的5象素)進(jìn)行1位ADRC處理。并且，將這種5象素的象素值的模式取作注目象素的類別。因此，這種場合，用5位表示類別抽頭中的對以注目象素為中心的5象素進(jìn)行1位ADRC處理所得到的象素值的模式，此外，與亮度信號(hào)相同也能將色差信號(hào)分類成32(=25)類別中的任何一類。
如前所述，在類別分類自適應(yīng)處理電路(預(yù)測系數(shù)、預(yù)測值算出)電路33中，決定注目象素的類別后，對于4種模式的各個(gè)預(yù)測抽頭，借助于對每個(gè)類別用預(yù)測抽頭和HD圖像建立式(13)所示的正規(guī)方程式并對其進(jìn)行求解，能求得對于4種模式的各個(gè)預(yù)測抽頭求得的每個(gè)類別的預(yù)測系數(shù)w的集合。用4種模式的各個(gè)預(yù)測抽頭求得的對于4種模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合都供給并存儲(chǔ)到存儲(chǔ)器35中。
此外，類別分類自適應(yīng)處理電路(預(yù)測系數(shù)、預(yù)測值算出)電路33，借助于運(yùn)算式(1)所示的線性一次方程式從分別用4種模式的預(yù)測抽頭得到的對于4種模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合和4種模式的各個(gè)預(yù)測抽頭，求得從4種模式的各個(gè)預(yù)測抽頭得到的HD圖像的預(yù)測值，并輸出到預(yù)測誤差算出電路34中。
在步驟S14中，預(yù)測誤差算出電路34求得由類別分類自適應(yīng)處理電路(預(yù)測系數(shù)、預(yù)測值算出)電路33供給的、4種模式的各個(gè)預(yù)測抽頭的HD圖像的預(yù)測值的、對于原來的HD圖像的象素值的預(yù)測誤差。也就是說，例如以HD圖像的9象素的預(yù)測值和原來的HD圖像的象素的象素值的差的平方和為預(yù)測誤差，求得對于4種模式的各個(gè)預(yù)測抽頭。然后，進(jìn)入到步驟S15中，并且對于注目象素檢測出預(yù)測誤差最小的預(yù)測抽頭。然后，將對應(yīng)于這種預(yù)測抽頭的抽頭模式碼輸出到抽頭模式碼附加電路36中。
在步驟S16中，在抽頭模式碼附加電路36中輸出來自間抽電路31的構(gòu)成SD圖像的SD象素中的注目象素的象素值(在本實(shí)施形態(tài)中僅對于亮度信號(hào))的LSB側(cè)的2位，作為抽頭模式碼。
然后，進(jìn)入到步驟S17中，并判定是否將抽頭模式碼附加到全部的SD象素上，在判定沒有將抽頭模式碼附加到全部的SD象素上的場合，返回到步驟S12，并以沒有附加抽頭模式碼的SD象素中的任何一個(gè)作為新的注目象素，重復(fù)相同的處理。另一方面，在步驟17判定已將抽頭模式碼附加到全部的SD象素上的場合，在步驟S18中，存儲(chǔ)器35輸出對于4種模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合，并結(jié)束處理。
如前所述，在前置處理單元21中，對于各個(gè)間抽電路31輸出的構(gòu)成SD圖像的SD象素(如前所述，這里具有以3×3的HD象素的平均值作為象素值的象素)，可以說是臨時(shí)附加預(yù)測誤差為最小的預(yù)測抽頭的抽頭模式碼。
圖14示出了圖3的最優(yōu)化單元23的結(jié)構(gòu)例。在圖中，對于與圖25的場合基本上結(jié)構(gòu)相同的部分，附以相同的標(biāo)號(hào)。也就是說，最優(yōu)化23沒有間抽單元121，并且除設(shè)置局部解碼單元42代替局部解碼單元122外，與圖25的圖像編碼裝置基本上結(jié)構(gòu)相同。
局部解碼單元42由預(yù)測抽頭生成電路42A和類別分類自適應(yīng)處理電路42B構(gòu)成，在這里，由校正單元41供給SD圖像。預(yù)測抽頭生成電路42A對應(yīng)于配置在由校正單元41供給的SD圖像的SD象素的LSB側(cè)上的抽頭模式碼，形成(生成)預(yù)測抽頭，并供給到類別分類自適應(yīng)處理電路42B中。對于類別分類自適應(yīng)處理電路42B，除了供給預(yù)測抽頭外，還供給類別分類用的SD象素的對于4種模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合。類別分類自適應(yīng)處理電路42B如圖13中說明了的那樣、用類別分類用的SD象素，對構(gòu)成預(yù)測抽頭的注目象素進(jìn)行類別分類，并借助于運(yùn)算式(1)所示的線性一次方程式從對應(yīng)于該類別預(yù)測系數(shù)w的集合和預(yù)測抽頭，求得在圖6中用虛線圍住的部分所示的、以成為注目象素的SD象素為中心的3×3的HD象素的象素值的預(yù)測值，并將這種預(yù)測值供給到誤差算出單元43中。
這里，對圖28所示的類別分類自適應(yīng)處理電路42B的構(gòu)成進(jìn)行說明。圖28所示的類別分類自適應(yīng)處理電路42B由類別分類電路201、系數(shù)RAM204和預(yù)測運(yùn)算電路205構(gòu)成。這種類別分類自適應(yīng)處理電路42B與圖26所示的類別分類自適應(yīng)處理電路(預(yù)測系數(shù)、預(yù)測值算出)電路33中的1個(gè)類別分類自適應(yīng)處理電路的一部分結(jié)構(gòu)相同，并在相同的部分上附以相同的標(biāo)號(hào)并省略對于其結(jié)構(gòu)的說明。
下面，參照圖15的流程圖對其動(dòng)作進(jìn)行說明。
最優(yōu)化單元23一接收到SD圖像，就以構(gòu)成其SD圖像的SD象素中的1個(gè)作為注目象素，在步驟S31中，將表示校正注目象素的象素值的校正量的變量Δ初始化例如成為0。在步驟S31中，將作為初始值的例如4或者1對表示使校正量變化的變化量(下面稱為偏移量)的變量S進(jìn)行置數(shù)。
也就是說，如前所述，對于亮度信號(hào)，因其LSB側(cè)的2位是抽頭模式碼，不是構(gòu)成象素值的成分，所以對偏移量S置數(shù)4(=22)。對于色差信號(hào)，與亮度信號(hào)不同，因全部的位構(gòu)成象素值，所以對偏移量S置數(shù)1(=20)。
此外，在步驟S31中，對注目象素的校正次數(shù)進(jìn)行計(jì)數(shù)的變量i置數(shù)為初始值的-1，并進(jìn)入到步驟S32。在步驟S32中，次數(shù)i僅增加1，并進(jìn)入到步驟S33中，在僅用校正量Δ校正注目象素的象素值的校正值進(jìn)行自適應(yīng)處理的場合，算出由于該校正而受到影響的HD象素的預(yù)測值的預(yù)測誤差E。
也就是說，這種場合，校正單元41在注目象素的象素值例如上加上校正量Δ，并以其加法后的值作為注目象素的象素值輸出到局部解碼單元42中。這里，對于注目象素在最初施行步驟S33的處理的場合，即次數(shù)i=0的場合，因校正量Δ仍是是保持在步驟S31置位的初始值0，所以從校正單元41原樣地輸出注目象素的象素值。
在局部解碼單元42中，在預(yù)測抽頭生成電路42A中對應(yīng)于配置在注目象素的象素值的LSB側(cè)的2位上的抽頭模式碼，形成預(yù)測抽頭，并輸出到類別分類自適應(yīng)處理電路42B中，在類別分類自適應(yīng)處理電路42B中，首先與圖5的類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33的場合相同對注目象素進(jìn)行類別分類。此外，在類別分類自適應(yīng)處理電路42B中，借助于運(yùn)算式(1)所示的線性一次方程式從對應(yīng)于該類別的預(yù)測系數(shù)和來自預(yù)測抽頭生成電路42A的預(yù)測抽頭，求得HD象素的象素值的預(yù)測值。
此外，在類別分類自適應(yīng)處理電路42B中，在僅用校正量Δ校正注目象素的象素值的的場合，對于由于該校正而受到影響的HD象素，也同樣能求得預(yù)測值。
也就是說，如圖16所示，例如以SD象素A作為注目象素進(jìn)行校正。在本實(shí)施形態(tài)中，如圖10所示，預(yù)測抽頭的范圍最寬為用7×5的SD象素構(gòu)成預(yù)測抽頭的場合，這樣，在用7×5的SD象素構(gòu)成預(yù)測抽頭的場合，當(dāng)該預(yù)測抽頭中包含SD象素A的情況時(shí)，以離開SD象素A最遠(yuǎn)的SD象素作為注目象素是以SD象素B、C、D、E為注目象素構(gòu)成7×5象素的預(yù)測抽頭的情況。并且，在以SD象素B、C、D、E為注目象素構(gòu)成7×5象素的預(yù)測抽頭的場合，在本實(shí)施形態(tài)中分別求得同圖中用實(shí)線圍住的范圍b、c、d、e中的3×3的HD象素的預(yù)測值。因此，在以SD象素A作為注目象素校正其象素值的場合，由于該校正而受到影響的最差的情況是包含范圍b、c、d、e的最小的長方形為圖16中用虛線所示的范圍內(nèi)的21×15的HD象素的預(yù)測值。
因此，在本實(shí)施形態(tài)中，在類別分類自適應(yīng)處理電路42B中，能求得這種21×15的HD象素的預(yù)測值。
將用在類別分類自適應(yīng)處理電路42B中求得的HD象素的預(yù)測值供給到誤差算出電路單元43中。在誤差算出電路單元43從類別分類自適應(yīng)處理電路42B的HD象素的預(yù)測值減去對應(yīng)的HD象素的原來的象素值，求得例如作為其減去后的值的預(yù)測誤差的平方和。并且，將這種平方和供給到控制單元44中，作為誤差信息E。
控制單元44一從誤差算出單元43接收到誤差信息，就在步驟S34判定次數(shù)i是否為0。在步驟S34中判定次數(shù)i是0的場合、即未進(jìn)行注目象素的校正而得到控制單元44接收到的誤差信息E的場合，進(jìn)入到步驟S35中，并在未進(jìn)行注目象素的校正而得到的誤差信息(未校正時(shí)的誤差信息)的變量E0中置數(shù)誤差信息E，另外，對于存儲(chǔ)前次得到的誤差信息的變量E’中也置數(shù)誤差信息E。此外，在步驟S35中，校正量Δ僅增加偏移量S，控制單元44控制校正單元41以便僅由其得到的校正量Δ校正注目象素的象素值。然后，返回到步驟S32，并在后面重復(fù)同樣的處理。
這種場合，在步驟S32中，因次數(shù)i僅增加1而成為1，所以在步驟S34中，判定次數(shù)不是0，進(jìn)入到步驟S36中。在步驟S36中，判定次數(shù)i是否為1。這種場合，因次數(shù)i變?yōu)?，所以在步驟S36中，判定次數(shù)i為1，進(jìn)入到步驟S37中，判定前次的誤差信息E’是否大于本次的誤差信息E。在步驟S37中判定前次的誤差信息E’不大于本次的誤差信息E的場合、即借助于僅校正量Δ校正注目象素的象素值、本次的誤差信息E比前次的誤差信息E’(這里是不進(jìn)行校正的場合的誤差信息)增加的場合，進(jìn)入到步驟S38中，控制單元44以在偏移量S上乘以-1后作為新的偏移量S，此外，將校正量Δ僅增加偏移量的2倍，返回到步驟S32中。
也就是說，借助于僅校正量Δ(這種場合，校正量Δ=S)校正注目象素的象素值，在比沒有校正時(shí)誤差增加的場合，反轉(zhuǎn)偏移量S的符號(hào)(在本實(shí)施形態(tài)中，在步驟S31中，因?qū)⑵屏縎置位成正的值，所以在步驟S38中，偏移量的符號(hào)由正變成負(fù))。此外，當(dāng)前次是S時(shí)，校正量Δ成為-S。
在步驟S37中判定前次的誤差信息E’大于本次的誤差信息E的場合、即借助于僅校正量Δ校正注目象素的象素值、本次的誤差信息E比前次的誤差信息E’減小的場合(或者與前次的誤差信息E’相同的場合)，進(jìn)入到步驟S39中，控制單元44將校正量Δ僅增加偏移量S，同時(shí)借助于置位本次的誤差信息E，對前次的誤差信息E’進(jìn)行更新，返回到步驟S32中。
這種場合，在步驟S32中，次數(shù)i再加1成為2，在步驟S34或者步驟S36中，分別判定次數(shù)i不是0或者1，其結(jié)果，從步驟S36進(jìn)入到步驟40。在步驟S40中判定次數(shù)是否為2。因當(dāng)前的次數(shù)i變?yōu)?，所以在步驟S40中判定次數(shù)是2，進(jìn)入到步驟S41，并判定是否未校正時(shí)的誤差信息E0在當(dāng)前的誤差信息E以下而且偏移量S為負(fù)。
在步驟S40中，在判定為未校正時(shí)的誤差信息E0在當(dāng)前的誤差信息以下而且偏移量S為負(fù)的場合，也就是說，在即使將注目象素僅校正+S或者即使僅校正-S，也比沒有校正時(shí)誤差增加的場合，進(jìn)入到步驟S42，校正量Δ成為0，并進(jìn)入到步驟S47。
在步驟S40中在判定為未校正時(shí)的誤差信息E0不在當(dāng)前的誤差信息E以下、或者偏移量S不是負(fù)的場合，進(jìn)入到步驟S44，判定前次的誤差信息E’是否在本次的誤差信息E以上。在步驟S44中判定前次的誤差信息E’在本次的誤差信息E以上的場合，即借助于僅校正量Δ校正注目象素的象素值、本次的誤差信息E比前次的誤差信息E’減小的場合，進(jìn)入到步驟S45中，將校正量Δ僅增加偏移量S，同時(shí)借助于置位本次的誤差信息E，對前次的誤差信息E’進(jìn)行更新，返回到步驟S32中。
這種場合，在步驟S32中，次數(shù)i再加1成為3，在步驟S34、步驟36或者步驟S40中，分別判定次數(shù)i不是0、1或者2，其結(jié)果，從步驟S40進(jìn)入到步驟44。因此，在步驟S44中重復(fù)步驟S32至S34、S36、S40、S44、S45的循環(huán)處理，直到判定前次的誤差信息E’不在本次的誤差信息E以上為止。
在步驟S44中判定前次的誤差信息E’不在本次的誤差信息E以上的場合，即借助于僅校正量Δ校正注目象素的象素值、本次的誤差信息E比前次的誤差信息E，增加的場合，進(jìn)入到步驟S46中，控制單元44將校正量Δ僅減少偏移量S，并進(jìn)入到步驟S47中。即這種場合，校正量Δ成為誤差增加前的值。
在步驟S47中，控制單元44借助于控制校正單元41，僅用步驟S42或者S46得到的校正量Δ校正注目象素的象素值，由此，為了基于自適應(yīng)處理得到預(yù)測值，將注目象素的象素值校正成預(yù)測誤差為最小的最優(yōu)象素值。
然后，進(jìn)入到步驟S48，判定是否將全部的SD象素作為注目象素進(jìn)行處理。在步驟S48中判定還沒有將全部的SD象素作為注目象素進(jìn)行處理的場合，返回到步驟S31，并將沒有作為注目象素的SD象素作為新的注目象素，重復(fù)相同的處理。在步驟S48中判定將全部的SD象素作為注目象素進(jìn)行處理的場合，結(jié)束處理。
如前所述，為了求得HD圖像的預(yù)測值，將SD圖像的象素值最優(yōu)化成為最優(yōu)象素值。
圖17示出了圖3的自適應(yīng)處理單元24的結(jié)構(gòu)例。
將來自最優(yōu)化單元23的最適合SD圖像供給到在預(yù)測抽頭生成電路51中，這里，與圖14的預(yù)測抽頭生成電路42A的場合相同，檢測配置在該象素值的LSB側(cè)的2位上的抽頭模式碼，按照其抽頭模式碼構(gòu)成預(yù)測抽頭，并供給到類別分類自適應(yīng)處理電路52中。
在類別分類自適應(yīng)處理電路52中，除預(yù)測抽頭外還供給在類別分類中使用的最優(yōu)SD圖像和原來的HD圖像，這里，用與例如圖13說明了的場合相同地進(jìn)行構(gòu)成預(yù)測抽頭的注目象素的類別分類，而且，對于其結(jié)果得到的各個(gè)類別，用預(yù)測抽頭和HD圖像建立式(13)所示的正規(guī)方程式。并且，類別分類自適應(yīng)處理電路52借助于求解其每個(gè)類別的正規(guī)方程式，求得并輸出對于新的4種模式的各個(gè)預(yù)測抽頭的預(yù)測系數(shù)w的集合。
下面，參照圖18的流程圖對其動(dòng)作進(jìn)行說明。預(yù)測抽頭生成電路51一接收到最適合SD圖像，就在步驟S51中檢測(提取)附加在構(gòu)成其最適合SD圖像的各SD象素上的抽頭模式碼，并進(jìn)入到步驟S52，基于其提取的抽頭模式碼，形成預(yù)測抽頭。并且，預(yù)測抽頭生成電路51將形成的預(yù)測抽頭輸出到類別分類自適應(yīng)處理電路52中。在步驟S53中，類別分類自適應(yīng)處理電路52進(jìn)行構(gòu)成預(yù)測抽頭的注目象素的類別分類，并對于其結(jié)果得到的各個(gè)類別，借助于用預(yù)測抽頭和HD圖像建立并求解正規(guī)方程式，求出并輸出預(yù)測系數(shù)w，并結(jié)束處理。
由此，在自適應(yīng)處理單元24中，為了從最適合SD圖像得到原來的HD圖像，求出預(yù)測誤差最小的對于4種模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合。如前所述，將這些對于4種模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合供給到最優(yōu)化單元23和預(yù)測抽頭模式判定單元26中，并用于自適應(yīng)處理(式(1)所示的線性1次方程式的計(jì)算)。
下面，對自適應(yīng)處理單元24的其它的實(shí)施例進(jìn)行說明。在其它的實(shí)施例中，與圖5的前置處理單元21的預(yù)測抽頭生成電路32相同地構(gòu)成預(yù)測抽頭生成電路51。也就是說，不是檢測象素值的LSB側(cè)的2位所配置的抽頭模式碼、并按照該抽頭模式碼構(gòu)成預(yù)測抽頭，而是用全部來構(gòu)成4種模式的預(yù)測抽頭，并供給到類別分類自適應(yīng)處理電路52中。類別分類自適應(yīng)處理電路52包括用于算出對于4種模式的各個(gè)預(yù)測抽頭的4個(gè)預(yù)測系數(shù)w的類別分類自適應(yīng)處理電路(亮度信號(hào)用)，這種各個(gè)類別分類自適應(yīng)處理電路的結(jié)構(gòu)，與圖26所示的類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33中的1個(gè)類別分類自適應(yīng)處理電路的一部分相同。
也就是說，將對于各個(gè)HD圖像的各模式的預(yù)測抽頭和類別分類用的最適合SD象素供給到各類別分類自適應(yīng)處理電路中，并分別進(jìn)行類別分類。并且，在各類別分類自適應(yīng)處理電路中，分別對于每個(gè)類別將1幀的HD象素和對于該HD象素的預(yù)測抽頭存儲(chǔ)在教師數(shù)據(jù)存儲(chǔ)器和預(yù)測抽頭存儲(chǔ)器中。然后，在各個(gè)類別分類自適應(yīng)處理電路中，利用與圖24的學(xué)習(xí)裝置的動(dòng)作相同的動(dòng)作，生成對于4種模式的各個(gè)預(yù)測抽頭求得的新的每個(gè)類別的預(yù)測系數(shù)w的集合。
下面，圖19示出了圖3的預(yù)測抽頭模式判定單元26的結(jié)構(gòu)例。
如圖19所示，預(yù)測抽頭模式判定單元26由預(yù)測抽頭生成電路61、類別分類自適應(yīng)處理電路62、預(yù)測誤差算出電路63和抽頭模式碼變更電路64構(gòu)成，這些預(yù)測抽頭生成電路61、類別分類自適應(yīng)處理電路62、預(yù)測誤差算出電路63或者抽頭模式碼變更電路64的結(jié)構(gòu)與圖5的前置處理單元21的預(yù)測抽頭生成電路32、類別分類自適應(yīng)處理(預(yù)測系數(shù)、預(yù)測值算出)電路33、預(yù)測誤差算出電路34或者抽頭模式碼附加電路36基本上相同。
下面，參照圖20的流程圖對其動(dòng)作進(jìn)行說明。
將最適合SD圖像、對于4種模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合及HD圖像供給到預(yù)測抽頭模式判定電路26中，將最適合SD圖像供給到預(yù)測抽頭生成電路61和抽頭模式碼變更電路64中，并將對于4種模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合和HD圖像分別供給到類別分類自適應(yīng)處理電路62或者預(yù)測誤差算出電路63中。
在步驟S61中，預(yù)測抽頭生成電路61一接收到最適合SD圖像，就與圖5的預(yù)測抽頭生成電路32相同，以其中的一個(gè)作為注目象素，對于該注目象素，形成圖7至圖10所示的4種模式的預(yù)測抽頭。并且，將這種4種模式的預(yù)測抽頭輸出到類別分類自適應(yīng)處理電路62中。
在步驟S62中，類別分類自適應(yīng)處理電路62一接收到以注目象素為對象形成的4種模式的預(yù)測抽頭，就用其各個(gè)4種模式的預(yù)測抽頭和對應(yīng)的每個(gè)類別的各個(gè)預(yù)測系數(shù)w的集合，計(jì)算式(1)表示的線性1次方程式，由此求得從4種模式的各個(gè)預(yù)測抽頭得到的HD圖像的象素的預(yù)測值，并輸出到預(yù)測誤差算出電路63中。
在步驟S63或者步驟S64中，在預(yù)測誤差算出電路63進(jìn)行分別與圖5的預(yù)測誤差生成電路34進(jìn)行的圖11的步驟S14或者S15的場合相同的處理，由此，將4種模式的預(yù)測抽頭中的預(yù)測誤差最小的抽頭模式碼輸出到抽頭模式碼變更電路64中。
在步驟S65中，在抽頭模式碼變更電路64將附加在注目象素(最適合SD圖像的SD象素)的LSB測的2位上的抽頭模式碼變更成由預(yù)測誤差算出電路63供給的抽頭模式碼，并進(jìn)入到步驟S66中。
在步驟S66中，判定是否以全部的SD象素作為注目象素進(jìn)行處理，在判定沒有以全部的SD象素作為注目象素進(jìn)行處理的場合，返回到步驟61，再以沒有取為注目象素的SD象素重新作為注目象素，重復(fù)同樣的處理。另一方面，在步驟S66中，在判定以全部的SD象素作為注目象素進(jìn)行處理的場合，結(jié)束處理。
如前所述，在預(yù)測抽頭模式判定單元26中，用自適應(yīng)處理單元24得到的對于4種模式的各個(gè)預(yù)測抽頭的預(yù)測系數(shù)w的集合，將預(yù)測模式碼變更成與預(yù)測誤差更小的預(yù)測抽頭相對應(yīng)。
下面，圖21示出了圖1的接收裝置4的結(jié)構(gòu)例。
在接收機(jī)/重放裝置71中，重放記錄在記錄媒體2中的編碼數(shù)據(jù)，或者接收通過傳輸通道3傳輸來的編碼數(shù)據(jù)，并供給到分離單元72中。在分離單元72將編碼數(shù)據(jù)分離成SD圖像的圖像數(shù)據(jù)和對于4種模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合，將SD圖像的圖像數(shù)據(jù)供給到預(yù)測抽頭生成電路73中，并將對于4種模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合供給到類別分類自適應(yīng)處理電路74中。
預(yù)測抽頭生成電路73或者類別分類自適應(yīng)處理電路74分別與構(gòu)成圖14所示的最優(yōu)化單元23的局部解碼單元42的預(yù)測抽頭生成電路42A或者類別分類自適應(yīng)處理電路42B(圖27)的結(jié)構(gòu)相同。因此，與局部解碼單元42的場合相同，求得HD圖像的預(yù)測值并將其作為解碼圖像進(jìn)行輸出。如前所述，這種解碼圖像為與原來的圖像幾乎同一的圖像。
此外，在接收側(cè)即使不是圖21所示的接收裝置4，也能由利用單純的插入對被間抽的圖像進(jìn)行解碼的裝置、不用預(yù)測系數(shù)而用通常的插入，得到解碼圖像。但是，這種場合得到的解碼圖像其畫面質(zhì)量(清晰度)變得較差。
如前所述，由于以構(gòu)成由壓縮HD圖像得到的SD圖像的象素中的1個(gè)作為注目象素，對于該注目象素形成多個(gè)模式的預(yù)測抽頭，利用預(yù)測抽頭和預(yù)測系數(shù)的線性組合進(jìn)行求得HD圖像的預(yù)測值的自適應(yīng)處理，算出從多個(gè)模式的各個(gè)預(yù)測抽頭得到的預(yù)測值的預(yù)測誤差，并將多個(gè)模式的預(yù)測抽頭中對應(yīng)于最小預(yù)測誤差得到的抽頭模式碼附加到注目象素的象素值上，因此用對應(yīng)于圖像的局部特性的預(yù)測抽頭進(jìn)行自適應(yīng)處理，其結(jié)果，能得到畫面質(zhì)量更好的解碼圖像。
此外，因配置2位抽頭模式碼代替象素值的LSB側(cè)的2位，所以能防止數(shù)據(jù)量的增加。因抽頭模式碼配置在象素值的LSB側(cè)，所以不會(huì)有很大的畫面質(zhì)量的劣化。
再有，在最優(yōu)化單元23中，利用使誤差為最小的預(yù)測抽頭進(jìn)行自適應(yīng)處理，使SD圖像進(jìn)行最優(yōu)化處理，因此能夠得到基本上與原來的HD圖像相同的解碼圖像。
此外，在自適應(yīng)處理單元24中用最適合SD圖像進(jìn)行自適應(yīng)處理，將對于多個(gè)模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)w的集合更新成所謂的更適合預(yù)測系數(shù)的集合，在預(yù)測抽頭模式判定單元26中，因用其被更新的多個(gè)模式的各個(gè)預(yù)測抽頭的每個(gè)類別的預(yù)測系數(shù)的集合決定并校正預(yù)測抽頭，所以能進(jìn)一步得到畫面質(zhì)量改善的解碼圖像。
以上，就適用于對HD圖像進(jìn)行編碼/解碼的圖像處理裝置的場合對本發(fā)明進(jìn)行了說明，但本發(fā)明也能適用于對其它的SD圖像等的標(biāo)準(zhǔn)清晰度的圖像進(jìn)行編碼/解碼的場合。即能適用于對例如NTSC方式等的標(biāo)準(zhǔn)方式的電視信號(hào)進(jìn)行編碼/解碼的場合。其中，本發(fā)明特別適用于對數(shù)據(jù)量多的所謂的高清晰度(high vision)方式的電視信號(hào)等進(jìn)行編碼/解碼的場合。此外，本發(fā)明還適用于所謂的分層編碼的場合等。
在本實(shí)施形態(tài)中，僅對于亮度信號(hào)準(zhǔn)備多個(gè)模式的預(yù)測抽頭、對于色差信號(hào)僅用5×7象素的預(yù)測抽頭，但對于色差信號(hào)也能與亮度信號(hào)相同地進(jìn)行處理。
在本實(shí)施形態(tài)中，抽頭模式碼做成2位，但抽頭模式碼不限于2位。其中希望望位數(shù)更少。
此外，在本實(shí)施形態(tài)中，配置抽頭模式碼代替象素值的LSB側(cè)的2位，但抽頭模式碼也能與象素值分別記錄或者傳輸。
在本實(shí)施形態(tài)中，采用在前置處理單元21進(jìn)行前置處理、在最優(yōu)化單元23最優(yōu)化處理的最適合SD圖像更新預(yù)測系數(shù)，并用其預(yù)測系數(shù)再次決定并校正抽頭模式碼，但也可以將在前置處理單元21進(jìn)行前置處理、在最優(yōu)化單元23最優(yōu)化處理的最適合SD圖像，原樣地作為編碼數(shù)據(jù)。這種場合，解碼圖像的畫面質(zhì)量(S/N)與決定并校正抽頭模式碼的場合進(jìn)行比較，雖然多少差一點(diǎn)但能實(shí)現(xiàn)處理的高速化。
此外，在本實(shí)施形態(tài)中，用3×3、5×3、3×5、7×5象素的4種模式的預(yù)測抽頭，但也可以用這些以外的例如1×5和5×1象素等的預(yù)測抽頭。此外，預(yù)測抽頭的模式當(dāng)然也不限于4種。
此外，雖然在本實(shí)施形態(tài)中沒有特別提到，但也可以在象素值上附加抽頭模式碼后，以將附加該抽頭模式碼后的LSB側(cè)的2位做成固定值作為象素值進(jìn)行處理。此外，也可以包含抽頭模式碼作為象素值進(jìn)行處理。此外，采用本發(fā)明者進(jìn)行的實(shí)驗(yàn)，則在包含抽頭模式碼作為象素值的場合，與以其抽頭模式碼的一部分作為規(guī)定值的0的場合相比，雖然S/N多少差一點(diǎn)，但有多少能改善色調(diào)的結(jié)果。
在圖15中，借助于以注目象素的象素值作為偏移量S的每4或者1進(jìn)行校正，預(yù)測誤差E檢測出最初成為極小的校正量Δ，但也能對于其它的例如對于取得注目象素的象素值的全部的值求得預(yù)測誤差E，檢測其最小值，并基于這種場合的校正量Δ校正注目象素的象素值。這種場合，雖然在處理中花費(fèi)時(shí)間，但能得到S/N更高的解碼圖像。
此外，在這種對于取得注目象素的象素值的全部的值求得預(yù)測誤差E的場合，注目象素的象素值的初始值也可以是任何的值(注目象素的象素值取得的范圍內(nèi)的值)、也就是說，這種場合，無論初始值是什么樣的值都能求得預(yù)測誤差E為最小的校正量Δ。
工業(yè)上的實(shí)用性在與本發(fā)明相關(guān)的圖像編碼裝置和圖像編碼方法中，發(fā)生象素?cái)?shù)比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)，對于作為構(gòu)成壓縮圖像信號(hào)的象素之一的注目象素，用該注目象素的附近象素，形成多個(gè)模式的預(yù)測象素，由多個(gè)模式的各個(gè)預(yù)測象素和規(guī)定的預(yù)測系數(shù)預(yù)測原圖像信號(hào)，并分別輸出對于這些多個(gè)模式的預(yù)測象素的預(yù)測值，算出對于多個(gè)模式的預(yù)測象素的各個(gè)預(yù)測值的、對于原圖像信號(hào)的預(yù)測誤差，將多個(gè)模式的預(yù)測象素中對應(yīng)于得到最小的預(yù)測誤差的預(yù)測象素的模式碼附加在注目象素的象素值上。因此，按照這種模式碼形成預(yù)測抽頭并進(jìn)行解碼，能得到進(jìn)一步改善畫面質(zhì)量的解碼圖像。
在與本發(fā)明相關(guān)的圖像解碼裝置和圖像解碼方法中，接收壓縮圖像信號(hào)，形成對應(yīng)于附加在壓縮圖像信號(hào)的注目象素的象素值上的模式碼的模式預(yù)測圖像，由在形成部形成的預(yù)測象素和規(guī)定的預(yù)測系數(shù)，預(yù)測原圖像信號(hào)，并輸出原圖像信號(hào)。因此，能得到更加接近于原圖像的預(yù)測值。
在與本發(fā)明相關(guān)的記錄媒體中，記錄利用圖像解碼裝置、能解碼的壓縮圖像信號(hào)。借助于發(fā)生象素?cái)?shù)比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)，對于作為構(gòu)成壓縮圖像信號(hào)的象素之一的注目象素，用該注目象素的附近象素，形成多個(gè)模式的預(yù)測象素，由多個(gè)模式的各個(gè)預(yù)測象素和規(guī)定的預(yù)測系數(shù)預(yù)測原圖像信號(hào)，并分別輸出對于這些多個(gè)模式的預(yù)測象素的預(yù)測值，算出對于多個(gè)模式的預(yù)測象素的各個(gè)預(yù)測值的、對于原圖像信號(hào)的預(yù)測誤差，將多個(gè)模式的預(yù)測象素中對應(yīng)于得到最小的預(yù)測誤差的預(yù)測象素的模式碼附加在注目象素的象素值上，形成這種壓縮圖像信號(hào)。因此，按照這種模式碼形成預(yù)測抽頭并進(jìn)行解碼，能得到進(jìn)一步改善畫面質(zhì)量的解碼圖像。
此外，在不脫離本發(fā)明主題的范圍內(nèi)，可以考慮種種的變形和應(yīng)用例。因此，本發(fā)明的要點(diǎn)不限于實(shí)施例中所述的內(nèi)容。
權(quán)利要求
1．一種圖像編碼裝置，對圖像信號(hào)進(jìn)行編碼，其特征在于，包括發(fā)生象素?cái)?shù)比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)的壓縮單元；對于作為構(gòu)成所述壓縮圖像信號(hào)的象素之一的注目象素，用該注目象素的附近象素，形成多個(gè)模式的預(yù)測象素的第1形成單元；由所述多個(gè)模式的各個(gè)預(yù)測象素和規(guī)定的預(yù)測系數(shù)預(yù)測所述原圖像信號(hào)，并分別輸出對于這些多個(gè)模式的預(yù)測象素的預(yù)測值的第1預(yù)測單元；算出對于所述多個(gè)模式的預(yù)測象素的各個(gè)預(yù)測值的、對于所述原圖像信號(hào)的預(yù)測誤差的第1算出單元；將所述多個(gè)模式的預(yù)測象素中對應(yīng)于得到最小的預(yù)測誤差的預(yù)測象素的模式碼附加在所述注目象素的象素值上的附加單元。
2．如權(quán)利要求1所述的圖像編碼裝置，其特征在于，所述附加單元配置所述模式碼，代替所述注目象素的象素值的LSB(LeastSignificant Bit最低有效位)側(cè)的N位。
3．如權(quán)利要求1所述的圖像編碼裝置，其特征在于，所述第1預(yù)測單元包括基于所述原圖像信號(hào)和所述壓縮圖像信號(hào)對所述規(guī)定的預(yù)測系數(shù)進(jìn)行運(yùn)算的運(yùn)算單元。
4．如權(quán)利要求3所述的圖像編碼裝置，其特征在于，所述第1預(yù)測單元包括將所述注目象素分類成規(guī)定的類別的類別分類單元；所述運(yùn)算單元基于所述原圖像信號(hào)和所述壓縮圖像信號(hào)、對每個(gè)類別運(yùn)算所述規(guī)定的預(yù)測系數(shù)；所述第1預(yù)測單元由對應(yīng)于所述注目象素的類別的預(yù)測系數(shù)和預(yù)測抽頭、預(yù)測所述預(yù)測值。
5．如權(quán)利要求3所述的圖像編碼裝置，其特征在于，所述運(yùn)算單元分別對于多個(gè)模式的預(yù)測象素、運(yùn)算所述規(guī)定的預(yù)測系數(shù)。
6．如權(quán)利要求4所述的圖像編碼裝置，其特征在于，所述運(yùn)算單元分別對于多個(gè)模式的預(yù)測象素、對每個(gè)類別運(yùn)算所述規(guī)定的預(yù)測系數(shù)；所述第1預(yù)測單元分別對于多個(gè)模式的預(yù)測象素、由對應(yīng)于所述注目象素的類別的預(yù)測系數(shù)和預(yù)測抽頭、預(yù)測所述預(yù)測值。
7．如權(quán)利要求1至6任一項(xiàng)所述的圖像編碼裝置，其特征在于，還包括將所述壓縮圖像信號(hào)變換成最優(yōu)壓縮圖像信號(hào)的最優(yōu)化單元，所述最優(yōu)化單元包括形成對應(yīng)于附加在所述注目象素的象素值上的所述模式碼的模式的預(yù)測象素的第2形成單元；由在所述第2形成單元形成的所述預(yù)測象素和所述規(guī)定的預(yù)測系數(shù)、預(yù)測所述原圖像信號(hào)并輸出所述原圖像信號(hào)的預(yù)測值的第2預(yù)測單元；算出在所述第2預(yù)測單元預(yù)測的所述原圖像信號(hào)的預(yù)測值的、對于所述原圖像信號(hào)的預(yù)測誤差的第2算出單元；對應(yīng)于在所述第2算出單元算出的預(yù)測誤差，校正所述注目象素的象素值的校正單元。
8．如權(quán)利要求7所述的圖像編碼裝置，其特征在于，所述最優(yōu)化單元重復(fù)所述第2最優(yōu)化單元的動(dòng)作，直到所述壓縮圖像信號(hào)成為最優(yōu)壓縮圖像信號(hào)為止。
9．如權(quán)利要求8所述的圖像編碼裝置，其特征在于，還包括在所述最優(yōu)化單元重復(fù)動(dòng)作期間，基于重復(fù)動(dòng)作中的壓縮圖像信號(hào)和所述原圖像信號(hào)，修正所述規(guī)定的預(yù)測系數(shù)，使在所述第2預(yù)測單元預(yù)測的所述原圖像信號(hào)的預(yù)測值的、對于所述原圖像信號(hào)的預(yù)測誤差減小，并輸出被修正的規(guī)定的預(yù)測系數(shù)的修正單元，所述第1預(yù)測單元和所述第2預(yù)測單元用所述被修正的規(guī)定的預(yù)測系數(shù)對預(yù)測值進(jìn)行預(yù)測。
10．如權(quán)利要求1或權(quán)利要求3至6任一項(xiàng)所述的圖像編碼裝置，其特征在于，還包括輸出所述壓縮圖像信號(hào)和所述規(guī)定的預(yù)測系數(shù)的輸出單元。
11．如權(quán)利要求9所述的圖像編碼裝置，其特征在于，還包括輸出所述壓縮圖像信號(hào)和所述規(guī)定的預(yù)測系數(shù)的輸出單元。
12．一種圖像編碼方法，對圖像信號(hào)進(jìn)行編碼，其特征在于，包括發(fā)生象素?cái)?shù)比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)的壓縮步驟；對于作為構(gòu)成所述壓縮圖像信號(hào)的象素之一的注目象素，用該注目象素的附近象素，形成多個(gè)模式的預(yù)測象素的第1形成步驟；由所述多個(gè)模式的各個(gè)預(yù)測象素和規(guī)定的預(yù)測系數(shù)預(yù)測所述原圖像信號(hào)，并分別輸出對于這些多個(gè)模式的預(yù)測象素的預(yù)測值的第1預(yù)測步驟；算出對于所述多個(gè)模式的預(yù)測象素的各個(gè)預(yù)測值的、對于所述原圖像信號(hào)的預(yù)測誤差的第1算出步驟；將所述多個(gè)模式的預(yù)測象素中對應(yīng)于得到最小的預(yù)測誤差的預(yù)測象素的模式碼附加在所述注目象素的象素值上的附加步驟。
13．如權(quán)利要求12所述的圖像編碼方法，其特征在于，所述附加步驟配置所述模式碼，代替所述注目象素的象素值的LSB(LeastSignificant Bit最低有效位)側(cè)的N位。
14．如權(quán)利要求12所述的圖像編碼方法，其特征在于，所述第1預(yù)測步驟包括基于所述原圖像信號(hào)和所述壓縮圖像信號(hào)對所述規(guī)定的預(yù)測系數(shù)進(jìn)行運(yùn)算的運(yùn)算步驟。
15．如權(quán)利要求14所述的圖像編碼方法，其特征在于，所述第1預(yù)測步驟包括將所述注目象素分類成規(guī)定的類別的類別分類步驟；所述運(yùn)算步驟基于所述原圖像信號(hào)和所述壓縮圖像信號(hào)、對每個(gè)類別運(yùn)算所述規(guī)定的預(yù)測系數(shù)；所述第1預(yù)測步驟由對應(yīng)于所述注目象素的類別的預(yù)測系數(shù)和預(yù)測抽頭、預(yù)測所述預(yù)測值。
16．如權(quán)利要求14所述的圖像編碼方法，其特征在于，所述運(yùn)算步驟分別對于多個(gè)模式的預(yù)測象素、運(yùn)算所述規(guī)定的預(yù)測系數(shù)。
17．如權(quán)利要求15所述的圖像編碼方法，其特征在于，所述運(yùn)算單元分別對于多個(gè)模式的預(yù)測象素、對每個(gè)類別運(yùn)算所述預(yù)測系數(shù)；所述第1預(yù)測步驟分別對于多個(gè)模式的預(yù)測象素、由對應(yīng)于所述注目象素的類別的預(yù)測系數(shù)和預(yù)測抽頭、預(yù)測所述預(yù)測值。
18．如權(quán)利要求12至17任一項(xiàng)所述的圖像編碼方法，其特征在于，還包括將所述壓縮圖像信號(hào)變換成最優(yōu)壓縮圖像信號(hào)的最優(yōu)化步驟，所述最優(yōu)化步驟包括形成對應(yīng)于附加在所述注目象素的象素值上的所述模式碼的模式的預(yù)測象素的第2形成步驟；由在所述第2形成步驟形成的所述預(yù)測象素和所述規(guī)定的預(yù)測系數(shù)、預(yù)測所述原圖像信號(hào)并輸出所述原圖像信號(hào)的預(yù)測值的第2預(yù)測步驟；算出在所述第2預(yù)測步驟預(yù)測的所述原圖像信號(hào)的預(yù)測值的、對于所述原圖像信號(hào)的預(yù)測誤差的第2算出步驟；對應(yīng)于在所述第2算出步驟算出的預(yù)測誤差，校正所述注目象素的象素值的校正步驟。
19．如權(quán)利要求18所述的圖像編碼方法，其特征在于，所述最優(yōu)化步驟重復(fù)所述第2最優(yōu)化步驟的動(dòng)作，直到所述壓縮圖像信號(hào)成為最優(yōu)壓縮圖像信號(hào)為止。
20．如權(quán)利要求19所述的圖像編碼方法，其特征在于，還包括在所述最優(yōu)化步驟重復(fù)動(dòng)作期間，基于重復(fù)動(dòng)作中的壓縮圖像信號(hào)和所述原圖像信號(hào)，修正所述規(guī)定的預(yù)測系數(shù)，使在所述第2預(yù)測步驟預(yù)測的所述原圖像信號(hào)的預(yù)測值的、對于所述原圖像信號(hào)的預(yù)測誤差減小，并輸出被修正的規(guī)定的預(yù)測系數(shù)的修正步驟，所述第1預(yù)測步驟和所述第2預(yù)測步驟用所述被修正的規(guī)定的預(yù)測系數(shù)對預(yù)測值進(jìn)行預(yù)測。
21．如權(quán)利要求12至17任一項(xiàng)所述的圖像編碼方法，其特征在于，還包括輸出所述壓縮圖像信號(hào)和所述規(guī)定的預(yù)測系數(shù)的輸出步驟。
22．如權(quán)利要求20所述的圖像編碼方法，其特征在于，還包括輸出所述壓縮圖像信號(hào)和所述規(guī)定的預(yù)測系數(shù)的輸出步驟。
23．如權(quán)利要求1至6任一項(xiàng)所述的圖像編碼裝置，其特征在于，還包括將所述壓縮圖像信號(hào)變換成最優(yōu)壓縮圖像信號(hào)的最優(yōu)化單元。
24．如權(quán)利要求12至17任一項(xiàng)所述的圖像編碼方法，其特征在于，還包括將所述壓縮圖像信號(hào)變換成最優(yōu)壓縮圖像信號(hào)的最優(yōu)化步驟。
25．一種圖像解碼裝置，將壓縮圖像信號(hào)解碼成原來的圖像信號(hào)，其特征在于，包括接收所述壓縮圖像信號(hào)的接收單元；形成對應(yīng)于附加在所述壓縮圖像信號(hào)的注目象素的象素值上的模式碼的模式預(yù)測象素的形成單元；由在所述形成單元形成的所述預(yù)測象素和規(guī)定的預(yù)測系數(shù)對原圖像信號(hào)進(jìn)行預(yù)測，并輸出所述原圖像信號(hào)的預(yù)測單元。
26．如權(quán)利要求25所述的圖像解碼裝置，其特征在于，代替所述注目象素的象素值的LSB(Least Significant Bit最低有效位)側(cè)的N位，在所述注目象素上配置所述模式碼。
27．如權(quán)利要求25所述的圖像解碼裝置，其特征在于，基于所述原圖像信號(hào)和所述壓縮圖像信號(hào)，運(yùn)算所述規(guī)定的預(yù)測系數(shù)。
28．如權(quán)利要求27所述的圖像解碼裝置，其特征在于，所述預(yù)測單元包括將所述注目象素分類成規(guī)定的類別的類別分類單元；基于所述原圖像信號(hào)和所述壓縮圖像信號(hào)、對每個(gè)類別運(yùn)算所述規(guī)定的預(yù)測系數(shù)；所述預(yù)測單元由對應(yīng)于所述注目象素的類別的預(yù)測系數(shù)和預(yù)測抽頭、預(yù)測所述預(yù)測值。
29．如權(quán)利要求27所述的圖像解碼裝置，其特征在于，分別對于多個(gè)模式的預(yù)測值、運(yùn)算所述規(guī)定的預(yù)測系數(shù)。
30．如權(quán)利要求29所述的圖像解碼裝置，其特征在于，分別對于多個(gè)模式的預(yù)測值、對每個(gè)類別運(yùn)算所述規(guī)定的預(yù)測系數(shù)；所述預(yù)測單元分別對于多個(gè)模式的預(yù)測象素、由對應(yīng)于所述注目象素的類別的預(yù)測系數(shù)和預(yù)測抽頭、預(yù)測所述預(yù)測值。
31．如權(quán)利要求25至30任一項(xiàng)所述的圖像解碼裝置，其特征在于，所述壓縮圖像信號(hào)包含所述規(guī)定的預(yù)測系數(shù)，并且還包括分離所述壓縮圖像信號(hào)和所述規(guī)定的預(yù)測系數(shù)，將所述規(guī)定的預(yù)測系數(shù)供給到預(yù)測單元中的分離單元。
32．一種圖像解碼方法，將壓縮圖像信號(hào)解碼成原來的圖像信號(hào)，其特征在于，包括接收所述壓縮圖像信號(hào)的接收步驟；形成對應(yīng)于附加在所述壓縮圖像信號(hào)的注目象素的象素值上的模式碼的模式預(yù)測象素的形成步驟；由在所述形成步驟形成的所述預(yù)測象素和規(guī)定的預(yù)測系數(shù)、預(yù)測原圖像信號(hào)，并輸出所述原圖像信號(hào)的預(yù)測步驟。
33．如權(quán)利要求32所述的圖像解碼方法，其特征在于，代替所述注目象素的象素值的LSB(Least Significant Bit最低有效位)側(cè)的N位，在所述注目象素上配置所述模式碼。
34．如權(quán)利要求32所述的圖像解碼方法，其特征在于，基于所述原圖像信號(hào)和所述壓縮圖像信號(hào)、運(yùn)算所述規(guī)定的預(yù)測系數(shù)。
35．如權(quán)利要求34所述的圖像解碼方法，其特征在于，所述預(yù)測步驟包括將所述注目象素分類成規(guī)定的類別的類別分類步驟；基于所述原圖像信號(hào)和所述壓縮圖像信號(hào)、對每個(gè)類別運(yùn)算所述規(guī)定的預(yù)測系數(shù)；所述預(yù)測步驟由對應(yīng)于所述注目象素的類別的預(yù)測系數(shù)和預(yù)測抽頭、預(yù)測所述預(yù)測值。
36．如權(quán)利要求34所述的圖像解碼方法，其特征在于，分別對于多個(gè)模式的預(yù)測象素、運(yùn)算所述規(guī)定的預(yù)測系數(shù)。
37．如權(quán)利要求36所述的圖像解碼方法，其特征在于，分別對于多個(gè)模式的預(yù)測象素、對每個(gè)類別運(yùn)算所述規(guī)定的預(yù)測系數(shù)；所述預(yù)測步驟分別對于多個(gè)模式的預(yù)測象素、由對應(yīng)于所述注目象素的類別的預(yù)測系數(shù)和預(yù)測抽頭、預(yù)測所述預(yù)測值。
38．如權(quán)利要求32至37任一項(xiàng)所述的圖像解碼方法，其特征在于，所述壓縮圖像信號(hào)包含所述規(guī)定的預(yù)測系數(shù)，并且還包括分離所述壓縮圖像信號(hào)和所述規(guī)定的預(yù)測系數(shù)的分離步驟。
39．一種記錄媒體，記錄利用圖像解碼裝置能解碼的壓縮圖像信號(hào)，其特征在于，根據(jù)發(fā)生象素?cái)?shù)比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)的壓縮步驟；對于作為構(gòu)成所述壓縮圖像信號(hào)的象素之一的注目象素，用該注目象素的附近象素，形成多個(gè)模式的預(yù)測象素的形成步驟；由所述多個(gè)模式的各個(gè)預(yù)測象素和規(guī)定的預(yù)測系數(shù)、預(yù)測所述原圖像信號(hào)，并分別輸出對于這些多個(gè)模式的預(yù)測象素的預(yù)測值的預(yù)測步驟；算出對于所述多個(gè)模式的預(yù)測象素的各個(gè)預(yù)測值的、對于所述原圖像信號(hào)的預(yù)測誤差的算出步驟；將所述多個(gè)模式的預(yù)測象素中對應(yīng)于得到最小的預(yù)測誤差的預(yù)測象素的模式碼附加在所述注目象素的象素值上的附加步驟，形成所述壓縮圖像信號(hào)。
40．如權(quán)利要求39所述的記錄媒體，其特征在于，將所述規(guī)定的預(yù)測系數(shù)記錄在所述記錄媒體上。
全文摘要
本發(fā)明揭示一種圖像編碼裝置和圖像編碼方法及圖像解碼裝置和圖像解碼方法以及記錄媒體,包括在預(yù)測抽頭生成電路(32)中,以構(gòu)成借助于用間抽電路(31)間抽HD圖像得到的SD圖像的象素之一作為注目象素,對于該注目象素形成多個(gè)模式的預(yù)測抽頭,在類別分類自適應(yīng)處理電路(33)中,利用預(yù)測抽頭和規(guī)定的預(yù)測系數(shù)的線性組合,進(jìn)行求出HD圖像的預(yù)測值的自適應(yīng)處理,在預(yù)測誤差算出電路(34)中,算出對于分別由多個(gè)模式的預(yù)測抽頭得到的預(yù)測值的、對于HD圖像的預(yù)測誤差,在抽頭模式碼附加電路(36)中,將多個(gè)模式的預(yù)測抽頭中的、對應(yīng)于得到最小的預(yù)測誤差的模式碼,附加在注目象素的象素值上。因此,按照該模式碼形成預(yù)測抽頭并進(jìn)行解碼,能得到進(jìn)一步改善畫面質(zhì)量的解碼圖像。
文檔編號(hào)H04N7/34GK1215529SQ97193646
公開日1999年4月28日 申請日期1997年12月26日 優(yōu)先權(quán)日1996年12月26日
發(fā)明者近藤哲二郎, 高橋健治 申請人:索尼株式會(huì)社