專利名稱：圖像信號(hào)編碼裝置和編碼方法及圖像信號(hào)解碼裝置和解碼方法以及記錄媒體的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像信號(hào)編碼裝置、圖像信號(hào)編碼方法、圖像信號(hào)解碼裝置、圖像信號(hào)解碼方法以及記錄媒體。特別涉及為了能得到與原圖像幾乎相同的解碼圖像而對(duì)圖像進(jìn)行間抽并進(jìn)行壓縮編碼的圖像信號(hào)編碼裝置、圖像信號(hào)編碼方法、圖像信號(hào)解碼裝置、圖像信號(hào)解碼方法以及記錄媒體。
背景技術(shù)：
例如，在將標(biāo)準(zhǔn)清晰度或者低清晰度的圖像(下面，稱為SD圖像)變換成高清晰度的圖像(下面，稱為HD圖像)，或者對(duì)圖像進(jìn)行放大的場(chǎng)合，利用所謂的插入濾波器等進(jìn)行不足的象素的象素值的插入(補(bǔ)償)。
但是，即使利用插入濾波器進(jìn)行象素的插入，也因不能恢復(fù)不包含在SD圖像中的HD圖像的成分(高頻成分)，所以難于得到高清晰度的圖像。
因此，本申請(qǐng)人先前建議有將SD圖像變換成也包含有SD圖像中不包含的高頻成分的HD圖像的圖像變換裝置(圖像變換電路)。
在這種圖像變換裝置中，利用SD圖像和規(guī)定的預(yù)測(cè)系數(shù)的線性組合，進(jìn)行求出HD圖像的象素的預(yù)測(cè)值的自適應(yīng)處理，恢復(fù)在SD圖像中不包含的高頻成分。
具體地說(shuō)，例如現(xiàn)在考慮利用由若干個(gè)SD象素(構(gòu)成SD圖像的象素)的象素值(下面稱為學(xué)習(xí)數(shù)據(jù))x1,x2,…和規(guī)定的預(yù)測(cè)系數(shù)w1,w2,…的線性組合所確定的線性1次組合模式，求得構(gòu)成HD圖像的象素(下面稱為HD象素)的象素值y的預(yù)測(cè)值E[y]。這種場(chǎng)合，預(yù)測(cè)值E[y]能用式(1)表示。
E[y]=w1x1+w2x2+…(1)這里，為一般化起見(jiàn)，若用式(2)定義由預(yù)測(cè)系數(shù)w的集合形成的矩陣W，用式(3)定義由學(xué)習(xí)數(shù)據(jù)的集合形成的矩陣X，用式(4)定義由預(yù)測(cè)值E[y]的集合形成的矩陣Y’，則成立式(5)那樣的觀察方程式。X=X11X12...X1nX21X22...X2n............Xm1Xm2...Xmn]]>(2)W=W1W2...Wn]]>(3)Y′=E[y1]E[y2]...E[ym]]]>(4)XW=Y＇ (5)并且，考慮將最小二乘法用于這種觀察方程式，求得接近于HD象素的象素值y的預(yù)測(cè)值E[y]。這種場(chǎng)合，若用式(6)定義由成為教師數(shù)據(jù)的HD象素的真正象素值y的集合形成的矩陣Y，用式(7)定義由對(duì)于HD象素的象素值y的預(yù)測(cè)值E[y]的殘差e的集合形成的矩陣E，Y=y1y2...ym]]>(6)E=e1e2···em-------------(7)]]>則根據(jù)式(5)、成立式(8)那樣的殘差方程式。
XW=Y+E (8)這種場(chǎng)合，用于求得接近于HD象素的象素值y的預(yù)測(cè)值E[y]的預(yù)測(cè)系數(shù)w能通過(guò)使式(9)所示的平方誤差為最小來(lái)求得。Σi=1mei2-------------------(9)]]>因此，在前述式(9)所示的平方誤差對(duì)預(yù)測(cè)系數(shù)wi進(jìn)行微分后成為0的場(chǎng)合，即滿足式(10)的預(yù)測(cè)系數(shù)wi，成為用于求得接近HD象素的象素值y的預(yù)測(cè)值E[y]的最優(yōu)值。e1∂e1∂wi+e2∂e2∂wi+···+en∂en∂wi=0(i=1,2,···,n)----(10)]]>因此，首先用預(yù)測(cè)系數(shù)wi對(duì)式(8)進(jìn)行微分，則式(11)成立。∂ei∂w1=Xi1,∂ei∂w2=Xi2,···,ei∂wn=Xin(i=1,2,···,m)---(11)]]>由式(10)和式(11)能得到式(12)。Σi=1meixi1=0,Σi=1meixi2=0,···,Σi=1meixin=0---(12)]]>
此外，如考慮式(8)的殘差方程式的學(xué)習(xí)數(shù)據(jù)x，預(yù)測(cè)系數(shù)w，教師數(shù)據(jù)y和殘差e的關(guān)系，則由式(12)能得到式(13)那樣的正規(guī)方程式。(Σi=1mxi1xi1)w1+(Σi=1mxi1xi2)w2+···+(Σi=1mxi1xin)wn=Σi=1mxi1yi]]>(Σi=1mxi2xi1)w1+(Σi=1mxi2xi2)w2+···+(Σi=1mxi2xin)wn=Σi=1mxi2yi]]>(Σi=1mxinxi1)w1+(Σi=1mxinxi2)w2+···+(Σi=1mxinxin)wn=Σi=1mxinyi]]>(13)式(13)的正規(guī)方程式僅能產(chǎn)生與應(yīng)該求得的預(yù)測(cè)系數(shù)w的數(shù)相同的數(shù)，因此，求解式(13)(其中，為了求解式(13)，在式(13)中用與預(yù)測(cè)系數(shù)w相關(guān)的系數(shù)構(gòu)成矩陣必須是正則的)，能求得最優(yōu)預(yù)測(cè)系數(shù)w。此外，在求解式(13)時(shí)，能運(yùn)用例如清除法(Gauss-Jordan消去法)等。
如前所述，求得最優(yōu)預(yù)測(cè)系數(shù)w的集合并且利用式(1)并用該預(yù)測(cè)系數(shù)W的集合求得接近于HD象素的象素值y的預(yù)測(cè)值E[y]，是自適應(yīng)處理(其中求得預(yù)測(cè)系數(shù)w的集合并從該預(yù)測(cè)系數(shù)w的集合求得預(yù)測(cè)值，也包含在自適應(yīng)處理中)。
此外，自適應(yīng)處理與插入處理不同的是重現(xiàn)不包含在SD圖像中的包含在HD圖像中的成分。也就是說(shuō)，雖然在自適應(yīng)處理中若僅僅限于看式(1)，與用所謂的插入濾波器的插入處理是相同的，但因用教師數(shù)據(jù)y，可以說(shuō)利用學(xué)習(xí)，能求得與該插入濾波器的抽頭(tap)系數(shù)相當(dāng)?shù)念A(yù)測(cè)系數(shù)w，所以能重現(xiàn)包含在HD圖像中的成分。也就是說(shuō)，能容易地得到高清晰度的圖像。因此，自適應(yīng)處理可以說(shuō)是具有圖像的創(chuàng)作作用的處理。


圖1示出了利用基于圖像特征(類別)的前述自適應(yīng)處理、將SD圖像變換成HD圖像的圖像變換裝置的結(jié)構(gòu)例。
將SD圖像供給到類別分類電路101和延遲電路102中，在類別分類電路101中將構(gòu)成SD圖像的SD象素依次作為注目象素并將這種注目象素類別分類成規(guī)定的類別。
具體地說(shuō)，類別分類電路101首先一開(kāi)始收集若干個(gè)在注目象素周圍的SD象素構(gòu)成塊(下面稱為處理塊)，以構(gòu)成該處理塊的例如全部SD象素的象素值模式預(yù)先分配的值作為注目象素類別，供給到系數(shù)ROM104的地址端(AD)上。
具體地說(shuō)，例如圖2中虛線四邊形圍住的部分所示，類別分類電路101從SD圖像提取以注目象素為中心的5×5的SD象素(在圖中用“O”表示)組成的處理塊，并輸出對(duì)應(yīng)于這些25個(gè)SD象素的象素值模式值作為注目象素的類別。
這里，為了表示各SD象素的象素值，在例如用8位(bit)等的多位數(shù)的場(chǎng)合，25個(gè)SD象素的象素值模式數(shù)成為(28)25極大的數(shù)，難于對(duì)其進(jìn)行高速處理。
因此，作為進(jìn)行類別分類前的前置處理，對(duì)處理塊施行例如ADRC(AdaptiveDynamic Range Coding)處理等，以減少構(gòu)成其的SD象素的位數(shù)。
具體地說(shuō)，在ADRC處理中，首先從構(gòu)成處理塊的25個(gè)SD象素中檢測(cè)出其象素值最大的象素(下面稱為最大象素)和最小的象素(下面稱為最小象素)。并且，運(yùn)算最大象素的象素值MAX和最小象素的象素值MIN的差DR(=MAX-MIN)，并以這種DR作為處理塊的局部的動(dòng)態(tài)范圍。基于這種動(dòng)態(tài)范圍DR將構(gòu)成處理塊的各象素值重新量化成比原來(lái)的分配位數(shù)少的K位。也就是說(shuō)，從構(gòu)成處理塊的各象素值減去最小象素的象素值MIN并用DR/2k除以各減后的值。
其結(jié)果，就成為用K位表示構(gòu)成處理塊的各象素值。因此，在例如K=1的場(chǎng)合，25個(gè)SD象素的象素值模式數(shù)為(21)25，與不進(jìn)行ADRC處理的場(chǎng)合比較，能使圖案數(shù)大大減少。下面，稱這樣使象素值成為K位的ADRC處理為K位ADRC處理。
系數(shù)ROM104將借助于預(yù)先學(xué)習(xí)求得的預(yù)測(cè)系數(shù)的集合按每個(gè)類別存儲(chǔ)，當(dāng)從類別分類電路101供給類別時(shí)，就讀出存儲(chǔ)在對(duì)應(yīng)于該類別的地址中的預(yù)測(cè)系數(shù)的集合，并供給到預(yù)測(cè)運(yùn)算電路105中。
另一方面，在延遲電路102中，為了對(duì)于預(yù)測(cè)運(yùn)算電路105使由系數(shù)ROM104供給預(yù)測(cè)系數(shù)的集合的時(shí)間與后述的預(yù)測(cè)抽頭生成電路103供給預(yù)測(cè)抽頭的時(shí)間一致，將SD圖像延遲必要的時(shí)間并供給到預(yù)測(cè)抽頭生成電路103中。
預(yù)測(cè)抽頭生成電路103從供給其的SD圖像提取用于在預(yù)測(cè)運(yùn)算電路105中求出規(guī)定的HD象素的預(yù)測(cè)值的SD象素，將其作為預(yù)測(cè)抽頭供給到預(yù)測(cè)運(yùn)算電路105中。也就是說(shuō)，在預(yù)測(cè)抽頭生成電路103中，從SD圖像提取例如與在類別分類電路101中提取的相同的處理塊，并將構(gòu)成該處理塊的SD象素作為預(yù)測(cè)抽頭，供給到預(yù)測(cè)運(yùn)算電路105中。
預(yù)測(cè)運(yùn)算電路105用來(lái)自系數(shù)ROM104的預(yù)測(cè)系數(shù)w1,w2,…和來(lái)自預(yù)測(cè)抽頭生成電路103的預(yù)測(cè)抽頭x1,x2,…，利用式(1)所示的運(yùn)算、即進(jìn)行自適應(yīng)處理，求得注目象素y的預(yù)測(cè)值E[y]，并輸出其作為HD象素的象素值。
具體地說(shuō)，在這里，從1個(gè)預(yù)測(cè)抽頭求出例如在圖2中用實(shí)線四邊形圍住的以注目象素為中心的3×3的HD象素(在圖2中用“●”表示)的預(yù)測(cè)值，這種場(chǎng)合，在預(yù)測(cè)運(yùn)算電路105中對(duì)于這種9個(gè)HD象素進(jìn)行式(1)的運(yùn)算。因此，在系數(shù)ROM104中，在對(duì)應(yīng)于1個(gè)類別的地址中存儲(chǔ)9組的預(yù)測(cè)系數(shù)的集合。
以其它的SD圖像作為注目象素進(jìn)行下面相同的處理，由此將SD圖像變換成HD圖像。
接著，圖3示出了進(jìn)行算出存儲(chǔ)在圖1中系數(shù)ROM104中的每個(gè)類別的預(yù)測(cè)系數(shù)集合的學(xué)習(xí)處理的學(xué)習(xí)裝置(學(xué)習(xí)電路)結(jié)構(gòu)例。
將應(yīng)該成為學(xué)習(xí)中的教師數(shù)據(jù)y的HD圖像供給到間抽電路111和延遲電路114中，在間抽電路111中，HD圖像例如其象素?cái)?shù)由于間抽而減少，并由此成為SD圖像。將這種SD圖像供給到類別分類電路112和預(yù)測(cè)抽頭生成電路113中。
在類別分類電路112或者預(yù)測(cè)抽頭生成電路113中進(jìn)行與圖1中類別分類電路101或者預(yù)測(cè)抽頭生成電路103的場(chǎng)合相同的處理，并由此分別輸出注目象素的類別或者預(yù)測(cè)抽頭。將類別分類電路112輸出的類別供給到預(yù)測(cè)抽頭存儲(chǔ)器115和教師數(shù)據(jù)存儲(chǔ)器116的地址端(AD)上，將預(yù)測(cè)抽頭生成電路113輸出的預(yù)測(cè)抽頭供給到預(yù)測(cè)抽頭存儲(chǔ)器115中。
在預(yù)測(cè)抽頭存儲(chǔ)器115中，在對(duì)應(yīng)于由類別分類電路112供給的類別的地址中存儲(chǔ)由預(yù)測(cè)抽頭生成電路113供給的預(yù)測(cè)抽頭。
另一方面，在延遲電路114中，使HD圖像僅延遲對(duì)應(yīng)于注目象素的類別，從類別分類電路112供給到教師數(shù)據(jù)存儲(chǔ)器116中的時(shí)間，并僅以其中的在作為注目象素的周圍的HD象素的象素值作為教師數(shù)據(jù)，供給到教師數(shù)據(jù)存儲(chǔ)器116中。
并且，在教師數(shù)據(jù)存儲(chǔ)器116中，在對(duì)應(yīng)于由類別分類電路112供給的類別的地址中存儲(chǔ)由延遲電路114供給的教師數(shù)據(jù)。
重復(fù)下面相同的處理，直到將構(gòu)成由預(yù)先學(xué)習(xí)用準(zhǔn)備的全部的HD圖像的全部HD象素作為注目象素為止。
這樣，在預(yù)測(cè)抽頭存儲(chǔ)器115和教師數(shù)據(jù)存儲(chǔ)器116的同一個(gè)地址中存儲(chǔ)分別與在圖2中用“O”表示的SD象素或者在圖2中用“●”表示的HD象素有同一位置關(guān)系的SD象素或者HD象素作為學(xué)習(xí)數(shù)據(jù)x或者教師數(shù)據(jù)y。
此外，在預(yù)測(cè)抽頭存儲(chǔ)器115和教師數(shù)據(jù)存儲(chǔ)器116中，能在同一地址中存儲(chǔ)多個(gè)信息，因此，在同一地址中，能存儲(chǔ)屬于同一類別的多個(gè)學(xué)習(xí)數(shù)據(jù)x和教師數(shù)據(jù)y。
然后，運(yùn)算電路117從預(yù)測(cè)抽頭存儲(chǔ)器115或者教師數(shù)據(jù)存儲(chǔ)器116讀出存儲(chǔ)在同一地址中的作為學(xué)習(xí)數(shù)據(jù)的預(yù)測(cè)抽頭或者作為教師數(shù)據(jù)的HD象素的象素值，并用它們根據(jù)最小二乘法算出使預(yù)測(cè)值和教師數(shù)據(jù)間的誤差為最小的預(yù)測(cè)系數(shù)的集合。也就是說(shuō)，在運(yùn)算電路117中，對(duì)每個(gè)類別建立式(13)所示的正規(guī)方程式，借助于求解該方程式求得每個(gè)類別的預(yù)測(cè)系數(shù)的集合。
這樣，在運(yùn)算電路117求得的每個(gè)類別的預(yù)測(cè)系數(shù)的集合，存儲(chǔ)在圖1中系數(shù)ROM104的對(duì)應(yīng)于該類別的地址中。
此外，在前述的學(xué)習(xí)處理中，雖然也可能產(chǎn)生不能得到用于求得預(yù)測(cè)系數(shù)的集合所必須數(shù)量的正規(guī)方程式的類別，但對(duì)于這種類別，例如借助于忽略類別建立并求解正規(guī)方程式得到的預(yù)測(cè)系數(shù)的集合等，可以作為缺省的預(yù)測(cè)系數(shù)的集合使用。
但是，在圖1的圖像變換裝置中，通過(guò)間抽HD圖像的象素值等使象素值減少而得到SD圖像，如前所述，從該得到的SD圖像能得到還包含有SD圖像不包含的高頻成分的HD圖像，但對(duì)于接近原來(lái)的HD圖像還有一定限制。其理由是，為了復(fù)原到原來(lái)的HD圖像，僅間抽HD圖像的象素值后的SD圖像的象素(SD象素)的象素值不是最優(yōu)的。
因此，本申請(qǐng)人為了能得到更加接近于原來(lái)的HD圖像的畫(huà)面質(zhì)量的解碼圖像，先前建議有關(guān)于利用自適應(yīng)處理的圖像壓縮(編碼)(例如已公開(kāi)的日本特愿平8-206552號(hào)公報(bào)等所示)。
也就是說(shuō)，為了能根據(jù)自適應(yīng)處理得到更加接近于原來(lái)的HD圖像的解碼圖像，圖4示出了將其HD圖像壓縮(編碼)成最優(yōu)SD圖像的圖像信號(hào)編碼裝置的結(jié)構(gòu)例。
將編碼對(duì)象的HD圖像供給到間抽單元121和誤差算出單元124中。
在間抽單元121利用例如單純地間抽使HD圖像成為SD圖像，并供給到校正單元122中。校正單元122一從間抽單元121接收到SD圖像，開(kāi)始原樣地將該SD圖像輸出到局部解碼單元123中。局部解碼單元123具有與例如圖1所示的圖像變換裝置相同的結(jié)構(gòu)，用來(lái)自校正單元122的SD圖像并借助于進(jìn)行前述的自適應(yīng)處理，算出HD象素的預(yù)測(cè)值并輸出到誤差算出單元124中。誤差算出單元124算出來(lái)自局部解碼單元123的HD象素的預(yù)測(cè)值的相對(duì)于原來(lái)的HD象素的的預(yù)測(cè)誤差(誤差信息)，并輸出到控制單元125中。控制單元125對(duì)應(yīng)于來(lái)自誤差算出單元124的預(yù)測(cè)誤差對(duì)校正單元122進(jìn)行控制。
由此，校正單元122按照來(lái)自控制單元125的控制，校正來(lái)自間抽單元121的SD圖像的象素值，并輸出到局部解碼單元123中。在局部解碼單元123中，用由校正單元122供給的校正后的SD圖像再次求得HD圖像的預(yù)測(cè)值。
下面，重復(fù)相同的處理，直到誤差算出單元124輸出的預(yù)測(cè)誤差達(dá)到規(guī)定值以下為止。
當(dāng)誤差算出單元124輸出的預(yù)測(cè)誤差達(dá)到規(guī)定值以下時(shí)，控制單元125控制校正單元122，由此，輸出預(yù)測(cè)誤差在規(guī)定值以下時(shí)的校正后的SD圖像作為HD圖像的最優(yōu)編碼結(jié)果。
因此，借助于對(duì)這種校正后的SD圖像，進(jìn)行自適應(yīng)處理，能得到預(yù)測(cè)誤差在規(guī)定值以下的HD圖像。
因此，如前所述，因從圖4的圖像信號(hào)編碼裝置輸出的SD圖像可能說(shuō)是為得到更加接近于原來(lái)HD圖像的解碼圖像的最優(yōu)圖像，所以用這種圖像信號(hào)編碼裝置的校正單元122、局部解碼單元123、誤差算出單元124和控制單元125構(gòu)成的系統(tǒng)進(jìn)行的處理是最優(yōu)處理。
但是，為了得到更接近于原來(lái)的HD圖像的象素值的預(yù)測(cè)值，希望由接近于要求出其預(yù)測(cè)值的HD象素的多個(gè)SD象素構(gòu)成在自適應(yīng)處理中使用的預(yù)測(cè)抽頭。
然而，如果由多個(gè)SD象素構(gòu)成預(yù)測(cè)抽頭，則離要求出預(yù)測(cè)值的HD象素遠(yuǎn)的SD象素將包含在預(yù)測(cè)抽頭中。因此，這種場(chǎng)合，表示與要求出預(yù)測(cè)值的HD象素所表示的物體不同的物體的SD象素包含在預(yù)測(cè)抽頭中，其結(jié)果，預(yù)測(cè)值的精度降低，并且由該預(yù)測(cè)值構(gòu)成的解碼圖像變差。
因此，有一種方法是，在圖4的圖像信號(hào)編碼裝置的間抽單元121中，減少?gòu)腍D圖像間抽的象素?cái)?shù)，從而使接近于要求出其預(yù)測(cè)值的HD象素的位置的SD象素增加，但是這樣會(huì)使編碼效率降低。
發(fā)明概述本發(fā)明鑒于前述的狀況，其目的是能使編碼效率不會(huì)降低、得到更加接近于原圖像的解碼圖像。
與本發(fā)明相關(guān)的對(duì)圖像信號(hào)進(jìn)行編碼的圖像信號(hào)編碼裝置，包括發(fā)生象素?cái)?shù)比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)的壓縮單元；在構(gòu)成所述原圖像信號(hào)的象素的壓縮象素的附近，設(shè)定作為假想的象素的假想象素，并由所述原圖像信號(hào)算出該假想象素的象素值的第1算出單元；將所述壓縮圖像的象素值的一部分置換成所述假想象素的象素值的一部分的置換單元；以構(gòu)成所述壓縮圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的所述壓縮象素和所述假想象素形成預(yù)測(cè)抽頭的形成單元；由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值的預(yù)測(cè)單元；算出由所述被預(yù)測(cè)的預(yù)測(cè)值組成的預(yù)測(cè)圖像信號(hào)對(duì)于所述原圖像信號(hào)的預(yù)測(cè)誤差的第2算出單元；和對(duì)應(yīng)于所述預(yù)測(cè)誤差校正構(gòu)成所述壓縮圖像信號(hào)的壓縮象素的象素值的校正單元。
與本發(fā)明相關(guān)的對(duì)編碼圖像信號(hào)進(jìn)行解碼圖像信號(hào)解碼裝置，包括以構(gòu)成所述編碼圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的象素形成預(yù)測(cè)抽頭的形成單元；由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)生成復(fù)原圖像信號(hào)的象素值的生成單元，借助于發(fā)生比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)；在構(gòu)成所述原圖像信號(hào)的象素的壓縮象素附近設(shè)假設(shè)作為假想的象素的假想象素，并由所述原圖像信號(hào)算出該假想象素的象素值；將所述壓縮象素的象素值的一部分置換成所述假想象素的象素值的一部分；
以構(gòu)成所述壓縮圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的所述壓縮象素和所述假想象素形成預(yù)測(cè)抽頭；由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)，預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值；算出由所述被預(yù)測(cè)的預(yù)測(cè)值組成的預(yù)測(cè)圖像信號(hào)對(duì)于所述原圖像信號(hào)的預(yù)測(cè)誤差；對(duì)應(yīng)于所述預(yù)測(cè)誤差，校正構(gòu)成所述壓縮圖像信號(hào)的壓縮象素的象素值，從而發(fā)生所述編碼圖像信號(hào)。
與本發(fā)明相關(guān)的對(duì)圖像信號(hào)進(jìn)行編碼的圖像信號(hào)編碼方法，包括下述步驟發(fā)生象素?cái)?shù)比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)的步驟；在構(gòu)成所述原圖像信號(hào)的象素的壓縮象素的附近，設(shè)定作為假想的象素的假想象素，并由所述原圖像信號(hào)算出該假想象素的象素值的步驟；將所述壓縮圖像的象素值的一部分置換成所述假想象素的象素值的一部分的步驟；以構(gòu)成所述壓縮圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的所述壓縮象素和所述假想象素形成預(yù)測(cè)抽頭的步驟；由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值的步驟；算出由所述被預(yù)測(cè)的預(yù)測(cè)值組成的預(yù)測(cè)圖像信號(hào)對(duì)于所述原圖像信號(hào)的預(yù)測(cè)誤差的步驟；和對(duì)應(yīng)于所述預(yù)測(cè)誤差校正構(gòu)成所述壓縮圖像信號(hào)的壓縮象素的象素值的步驟。
與本發(fā)明相關(guān)的對(duì)編碼圖像信號(hào)進(jìn)行解碼的圖像信號(hào)解碼方法，包括下述步驟以構(gòu)成所述編碼圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的象素形成預(yù)測(cè)抽頭的步驟；由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)生成復(fù)原圖像信號(hào)的象素值的步驟，借助于發(fā)生比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)；在構(gòu)成所述原圖像信號(hào)的象素的壓縮象素附近設(shè)定作為假想的象素的假想象素，并由所述原圖像信號(hào)算出該假想象素的象素值；將所述壓縮象素的象素值的一部分置換成所述假想象素的象素值的一部分；
以構(gòu)成所述壓縮圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的所述壓縮象素和所述假想象素形成預(yù)測(cè)抽頭；由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)，預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值；算出由所述被預(yù)測(cè)的預(yù)測(cè)值組成的預(yù)測(cè)圖像信號(hào)對(duì)于所述原圖像信號(hào)的預(yù)測(cè)誤差；對(duì)應(yīng)于所述預(yù)測(cè)誤差，校正構(gòu)成所述壓縮圖像信號(hào)的壓縮象素的象素值，從而發(fā)生所述編碼圖像信號(hào)。
在利用與本發(fā)明相關(guān)的機(jī)器能進(jìn)行解碼的記錄媒體上，記錄借助于發(fā)生象素?cái)?shù)比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)，在構(gòu)成所述原圖像信號(hào)的象素的壓縮象素的附近，設(shè)定作為假想的象素的假想象素，并由所述原圖像信號(hào)算出該假想象素的象素值，將所述壓縮象素的象素值的一部分置換成所述假想象素的象素值的一部分，以構(gòu)成所述壓縮圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的所述壓縮象素和所述假想象素形成預(yù)測(cè)抽頭，由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值，算出由所述被預(yù)測(cè)的預(yù)測(cè)值組成的預(yù)測(cè)圖像信號(hào)對(duì)于所述原圖像信號(hào)的預(yù)測(cè)誤差，和對(duì)應(yīng)于所述預(yù)測(cè)誤差校正構(gòu)成所述壓縮圖像信號(hào)的壓縮象素的象素值，從而發(fā)生的記錄信號(hào)。
附圖簡(jiǎn)要說(shuō)明圖1是表示本申請(qǐng)人先前提出的圖像變換裝置(圖像變換電路)的結(jié)構(gòu)的一例的方框圖。
圖2是用于說(shuō)明圖1中類別分類電路101的處理的圖。
圖3是表示本申請(qǐng)人先前提出的學(xué)習(xí)裝置(學(xué)習(xí)電路)的結(jié)構(gòu)的一例的方框圖。
圖4是表示本申請(qǐng)人先前提出的圖像信號(hào)編碼裝置的結(jié)構(gòu)的一例的方框圖。
圖5是表示采用本發(fā)明的圖像處理裝置的一實(shí)施形態(tài)的結(jié)構(gòu)的方框圖。
圖6是表示圖5中發(fā)送裝置1的結(jié)構(gòu)的一例的方框圖。
圖7是表示圖6中發(fā)送裝置1的功能的結(jié)構(gòu)的一例的方框圖。
圖8是表示圖7中前置處理單元21的結(jié)構(gòu)的一例的方框9A是用于說(shuō)明圖8中間抽電路31的處理的圖。
圖9B是用于說(shuō)明圖8中間抽電路31的處理的圖。
圖10是用于說(shuō)明圖8中假想象素形成電路32的處理的圖。
圖11是用于說(shuō)明圖8中假想象素形成電路32的處理的圖。
圖12是用于說(shuō)明圖8中前置處理單元21的動(dòng)作的流程圖。
圖13是表示圖7中最優(yōu)化單元22的結(jié)構(gòu)的一例的方框圖。
圖14是表示圖13中類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41的結(jié)構(gòu)的一例的方框圖。
圖15是表示圖13中類別分類自適應(yīng)處理電路43的結(jié)構(gòu)的一例的方框圖。
圖16是用于說(shuō)明圖13中最適合化單元22的動(dòng)作的流程圖。
圖17A是表示在圖13中類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41進(jìn)行類別分類時(shí)形成的預(yù)測(cè)抽頭的圖。
圖17B是表示在圖13中類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41進(jìn)行類別分類時(shí)形成的預(yù)測(cè)抽頭的圖。
圖18是表示在圖13中類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41進(jìn)行自適應(yīng)處理時(shí)形成的預(yù)測(cè)抽頭的圖。
圖19是用于更加詳細(xì)地說(shuō)明圖16中步驟S13的處理的流程圖。
圖20是用于說(shuō)明圖19中步驟S33的處理的圖。
圖21是用于更加詳細(xì)地說(shuō)明圖16中步驟S14的處理的流程圖。
圖22是用于說(shuō)明圖21中步驟S66的處理的圖。
圖23是用于更加詳細(xì)地說(shuō)明圖16中步驟S15的處理的流程圖。
圖24是表示圖5中接收裝置4的結(jié)構(gòu)的一例的方框圖。
圖25是表示圖24中類別分類自適應(yīng)處理電路73的結(jié)構(gòu)的一例的方框圖。
圖26是用于說(shuō)明類別分類自適應(yīng)處理電路73的動(dòng)作的流程圖。
圖27是表示預(yù)測(cè)抽頭的其它結(jié)構(gòu)的一例的圖。
實(shí)施發(fā)明的最佳方式下面，參照附圖對(duì)與發(fā)明相關(guān)的圖像信號(hào)編碼裝置、圖像信號(hào)編碼方法、圖像信號(hào)解碼裝置、圖像信號(hào)解碼方法以及記錄媒體的實(shí)施形態(tài)進(jìn)行說(shuō)明。
圖5示出了采用本發(fā)明的圖像處理裝置的一實(shí)施形態(tài)的結(jié)構(gòu)。將被數(shù)字化的HD圖像的圖像數(shù)據(jù)供給到發(fā)送裝置1中。發(fā)送裝置1利用間抽被輸入的圖像數(shù)據(jù)(減少其象素?cái)?shù))，對(duì)圖像數(shù)據(jù)進(jìn)行編碼，對(duì)圖像進(jìn)行壓縮，并以其結(jié)果得到的SD圖像的通信數(shù)據(jù)作為HD圖像的編碼數(shù)據(jù)，記錄在例如光盤(pán)、光磁盤(pán)、磁帶等的記錄媒體2上，或者通過(guò)例如地面波、衛(wèi)星線路、電話線路、CATV網(wǎng)等的傳送通道3進(jìn)行傳送。
在接收裝置4，收到由記錄媒體2重放的編碼數(shù)據(jù)，或者接收通過(guò)傳送通道3傳送來(lái)的編碼數(shù)據(jù)，解碼并解壓縮該編碼數(shù)據(jù)，并將其結(jié)果得到的HD圖像的解碼圖像供給到未圖示的顯示器上進(jìn)行顯示。
此外，前述的圖像處理裝置適用于例如光盤(pán)裝置、光磁盤(pán)裝置、磁帶裝置等的進(jìn)行圖像的記錄/重放的裝置，或者例如電視電話裝置、電視廣播系統(tǒng)、CATV系統(tǒng)等的進(jìn)行圖像傳送的裝置。此外，如后所述，因發(fā)送裝置1輸出的編碼數(shù)據(jù)的數(shù)據(jù)量少，所以圖5的圖像處理裝置也能適用于傳輸速率低的、例如手機(jī)等的便于移動(dòng)的便攜式終端等。
圖6表示發(fā)送裝置1的結(jié)構(gòu)例。
I/F(InterFace接口)11進(jìn)行由外部供給的HD圖像的圖像數(shù)據(jù)的接收處理和對(duì)于發(fā)送機(jī)/記錄裝置16的編碼數(shù)據(jù)的發(fā)送處理。ROM(Read Only Memory只讀存儲(chǔ)器)12存儲(chǔ)IPL(Initial Program Loading初始程序裝載)用的程序及其他的程序。RAM(Random Access Memory隨機(jī)存儲(chǔ)器)13存儲(chǔ)記錄在外部存儲(chǔ)裝置15中的系統(tǒng)程序(OS(Operating System操作系統(tǒng)))和應(yīng)用程序，并存儲(chǔ)CPU(Central Processing Unit中央處理單元)14動(dòng)作的必要的數(shù)據(jù)。CPU14按照存儲(chǔ)在ROM12中的IPL程序，從外部存儲(chǔ)裝置15將系統(tǒng)程序和應(yīng)用程序展開(kāi)到RAM13中，并在該系統(tǒng)程序的控制下執(zhí)行應(yīng)用程序，通過(guò)這樣對(duì)由I/F11供給的圖像數(shù)據(jù)進(jìn)行后述的編碼處理。外部存儲(chǔ)裝置15、例如由磁盤(pán)裝置等構(gòu)成，如前所述除存儲(chǔ)CPU14執(zhí)行的系統(tǒng)程序和應(yīng)用程序外，還存儲(chǔ)CPU14動(dòng)作上必要的數(shù)據(jù)。發(fā)送機(jī)/記錄裝置16將由I/F11供給的編碼數(shù)據(jù)記錄在記錄媒體2中，或者通過(guò)傳輸通道3進(jìn)行傳輸。
此外，通過(guò)總線互相連接I/F11、ROM12、RAM13、CPU14和外部存儲(chǔ)裝置15。在圖6中，雖然發(fā)送裝置1用CPU14構(gòu)成，但也可以用硬線連接邏輯電路構(gòu)成。
在如前所述結(jié)構(gòu)的發(fā)送裝置1中，HD圖像的圖像數(shù)據(jù)一供給到I/F11中，其圖像數(shù)據(jù)就供給到CPU14中。CPU14對(duì)圖像數(shù)據(jù)進(jìn)行編碼，并將作為該結(jié)果得到的編碼數(shù)據(jù)的SD圖像供給到I/F11中。I/F11一接收到編碼數(shù)據(jù)，就將其供給到發(fā)送機(jī)/記錄裝置16中。發(fā)送機(jī)/記錄裝置16將來(lái)自I/F11的編碼數(shù)據(jù)記錄在記錄媒體2中，或者通過(guò)傳輸通道3進(jìn)行傳輸。
圖7是表示圖6中發(fā)送裝置1的、除去發(fā)送機(jī)/記錄裝置16部分的功能的方框圖。
將作為應(yīng)該編碼的圖像數(shù)據(jù)的HD圖像供給到前置處理單元21和最適合化單元22中。前置處理單元21借助于減少HD圖像(原圖像)的象素?cái)?shù)對(duì)其進(jìn)行壓縮，在構(gòu)成由其結(jié)果得到的SD圖像(壓縮圖像)的SD象素的附近，假設(shè)作為假想的象素的假想象素，并由HD圖像得到其假想象素的象素值。此外，前置處理單元21配置假想象素的象素值的一部分來(lái)代替SD象素的象素值的一部分，并供給到最適合化單元22中。
最適合化單元22以來(lái)自前置處理單元21的SD象素依次地作為注目象素，進(jìn)行最適合化處理。具體地說(shuō)，最適合化單元22由注目象素周圍的SD象素和假想象素形成預(yù)測(cè)抽頭，借助于其預(yù)測(cè)抽頭和預(yù)測(cè)系數(shù)的集合的線性組合，求得原圖像的預(yù)測(cè)值并進(jìn)行自適應(yīng)處理。此外，最適合化單元22算出其預(yù)測(cè)值的、對(duì)于原來(lái)的HD圖像的預(yù)測(cè)誤差，并對(duì)應(yīng)于該預(yù)測(cè)誤差，校正注目象素的象素值。并且，最適合化單元22用其被校正的注目象素的象素值，重復(fù)相同的處理，直到例如其預(yù)測(cè)誤差達(dá)到規(guī)定值以下為止，求得為了得到原來(lái)的HD圖像的預(yù)測(cè)值是最優(yōu)的注目象素的SD象素的象素值。
最適合化單元22以來(lái)自前置處理單元21的、構(gòu)成例如1幀(或者1場(chǎng))的SD圖像的全部SD象素作為注目象素，在進(jìn)行了前述的處理后，用由其結(jié)果得到的最優(yōu)SD圖像進(jìn)行自適應(yīng)處理，通過(guò)這樣求得使預(yù)測(cè)誤差更小的每個(gè)類別的預(yù)測(cè)系數(shù)的集合。也就是說(shuō)，最適合化單元22用最優(yōu)SD圖像，更新每個(gè)類別的預(yù)測(cè)系數(shù)的集合使預(yù)測(cè)誤差更小。并且，用其每個(gè)類別的預(yù)測(cè)系數(shù)的集合再次重復(fù)最適合化處理。然后，例如，當(dāng)1幀部分的預(yù)測(cè)誤差的絕對(duì)值之和在規(guī)定的閾值以下、或者以規(guī)定的次數(shù)更新每個(gè)類別的預(yù)測(cè)系數(shù)的集合時(shí)，輸出這時(shí)得到的最優(yōu)SD圖像和每個(gè)類別的預(yù)測(cè)系數(shù)的集合，作為HD圖像的編碼結(jié)果的編碼數(shù)據(jù)。
下面，在圖8中示出了圖7中前置處理單元21的結(jié)構(gòu)的一例。
將應(yīng)該編碼的HD圖像供給到間抽電路31和假想象素形成電路32中。間抽電路31例如利用間抽減少HD圖像的象素?cái)?shù)構(gòu)成SD圖像，并供給到假想象素形成電路32中。具體地說(shuō)，間抽電路31將HD圖像分割成長(zhǎng)×寬為3×3象素的9象素的正方形塊，以各塊的幾個(gè)象素(將在后面敘述)將的平均值作為其中心的象素的象素值構(gòu)成SD圖像。由此，在間抽電路31中，由例如在圖9A中用“·”所示的HD象素組成的HD圖像，將其間抽成1/9，構(gòu)成圖9B中用“O”所示的SD象素組成的SD圖像。
此外，在間抽電路31中，也可以例如僅抽取前述塊的中心的象素，構(gòu)成SD圖像。
假想象素形成電路32在來(lái)自間抽電路31的構(gòu)成SD圖像的SD象素的附近，假設(shè)作為假想的象素的假想象素，并由HD圖像求得其象素值。具體地說(shuō)，假想象素形成電路32在例如圖10中用“○”表示的SD象素的左上、左下、右上和右下的位置上，假設(shè)圖10中用“◎”表示假想象素。并且，假想象素形成電路32求得對(duì)應(yīng)于假想象素位置的、例如4個(gè)HD象素(在圖9A中用虛線的正方形圍住表示)的象素值的平均值，并以它作為其假想象素的象素值。
此外，假想象素形成電路32對(duì)于例如1個(gè)SD象素對(duì)應(yīng)1個(gè)假想象素，并配置對(duì)應(yīng)的假想象素的象素值的一部分、代替SD象素的象素值的一部分。具體地說(shuō)，假設(shè)例如用8位表示HD象素的象素值，則作為其平均值的SD象素和假想象素的象素值也能用8位表示。這種場(chǎng)合。如圖11所示，假想象素形成電路32配置假想象素的象素值的MSB(Most Significant Bit)側(cè)的4位、代替SD象素的象素值的LSB(Least Significant Bit)側(cè)的4位。也就是說(shuō)，假想象素形成電路32分別從SD象素或者假想象素的象素值取出MSB側(cè)的4位，將從SD象素取出的4位配置在MSB側(cè)上、同時(shí)將從假想象素取出的4位配置在LSB側(cè)上，構(gòu)成8位數(shù)據(jù)，并將其作為SD象素的象素值。
將用如前所述的SD象素構(gòu)成的SD圖像供給到最適合化單元22(圖7)中。
下面，參照?qǐng)D12所示的流程圖對(duì)前置處理單元21的動(dòng)作進(jìn)行說(shuō)明。
前置處理單元21一輸入應(yīng)該編碼的HD圖像，就將該HD圖像供給到間抽電路31和假想象素形成電路32中。間抽電路31一接收到HD圖像，就間抽其象素?cái)?shù)，構(gòu)成SD圖像。
也就是說(shuō)，在步驟S1中，間抽電路31將HD圖像分割成例如3×3象素的HD圖像的塊，并進(jìn)入到步驟S2中。這里，在本實(shí)施例中，假設(shè)由例如亮度信號(hào)Y和色差信號(hào)U、V構(gòu)成HD圖像，則在步驟S1中，構(gòu)成亮度信號(hào)塊和色差信號(hào)塊。
在步驟S2中，間抽電路31取任何一個(gè)塊為注目塊，判定該注目塊是否為亮度信號(hào)塊。在判定注目塊是(Yes)亮度信號(hào)塊時(shí)，進(jìn)入到步驟S3，在判定注目塊不是(No)亮度信號(hào)塊時(shí)，進(jìn)入到步驟S4中。
在步驟S3中，間抽電路31計(jì)算例如在該注目塊中包含的中心的HD象素交叉的十字形范圍內(nèi)的5個(gè)HD象素的象素值的平均值，以該平均值作為注目塊的中心象素(SD象素)的象素值，并進(jìn)入到步驟S5中。
另一方面，在步驟2判定注目塊不是(No)亮度信號(hào)塊的場(chǎng)合，也就是說(shuō)，注目塊是色差信號(hào)塊的場(chǎng)合，在步驟S4中，間抽電路31計(jì)算例如構(gòu)成其注目塊的3×3個(gè)HD象素的象素值的平均值，并以該平均值作為注目塊的中心的象素(SD象素)的象素值，進(jìn)入到步驟S5中。
在步驟S5中，間抽電路31判定是否將在步驟S1構(gòu)成的全部塊作為注目塊進(jìn)行處理，在判定將全部塊作為注目塊進(jìn)行處理時(shí)，進(jìn)入到步驟S6，在判定沒(méi)有將全部塊作為注目塊進(jìn)行處理的場(chǎng)合，返回到步驟S2，并將沒(méi)有作為注目塊的塊重新作為注目塊重復(fù)同樣的處理。在步驟S5中，間抽電路31在判定將全部塊作為注目塊進(jìn)行處理的場(chǎng)合，也就是說(shuō)，在構(gòu)成SD圖像的場(chǎng)合，將該SD圖像供給到假想象素形成電路32中。
在步驟S6中，假想象素形成電路32，一由間抽電路31供給SD圖像，就以構(gòu)成其SD圖像的SD象素中的1個(gè)作為注目象素，判定該注目象素是否為亮度信號(hào)，當(dāng)是亮度信號(hào)時(shí)進(jìn)入到步驟S7中，當(dāng)不是亮度信號(hào)時(shí)進(jìn)入到步驟S9中。
在步驟S7中，假想象素形成電路32如前所述地從HD象素的象素值求得對(duì)應(yīng)于注目象素的假想象素的象素值，并進(jìn)入到步驟S8中。如圖11所說(shuō)明的那樣，在步驟S8中，假想象素形成電路32配置對(duì)應(yīng)的假想象素的象素值的MSB側(cè)的4位、代替注目象素的象素值的LSB側(cè)的4位，并進(jìn)入到步驟S9中。
在步驟S9中，假想象素形成電路32判定是否將全部的SD象素作為注目象素進(jìn)行了處理，在判定為是時(shí)結(jié)束處理，在判定為不是時(shí)返回到步驟S6，并以沒(méi)有作為注目象素的SD象素作為新的注目象素，重復(fù)相同的處理。也就是說(shuō)，在步驟S9中，假想象素形成電路32在判定將全部的SD象素作為注目象素進(jìn)行了處理的場(chǎng)合，將象素值的LSB側(cè)的4位置換成假想象素的象素值的MSB側(cè)的4位后的SD象素構(gòu)成的SD圖像、輸出到最適合化單元22中(圖7)，并結(jié)束處理。
在前置處理單元21中，用例如1幀為單位重復(fù)前述的處理。
在本實(shí)施形態(tài)中，僅對(duì)于亮度信號(hào)構(gòu)成假想象素，而對(duì)于色差信號(hào)采用僅用SD象素構(gòu)成的預(yù)測(cè)抽頭。因此，僅對(duì)亮度信號(hào)進(jìn)行置換成假想象素的象素值的MSB側(cè)的4位，對(duì)于色差信號(hào)不進(jìn)行這樣的置換。
圖13示出了圖7中最適合化單元22的結(jié)構(gòu)的一例。
將來(lái)自前置處理單元21的假想象素形成電路32的SD圖像供給到類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41和校正電路42中，并將HD圖像供給到類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41和誤差算出電路44中。
當(dāng)HD圖像供給類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41，同時(shí)由前置處理單元21供給SD圖像時(shí)，就用其HD圖像和SD圖像，對(duì)每個(gè)類別進(jìn)行自適應(yīng)處理，通過(guò)這樣算出每個(gè)類別的預(yù)測(cè)系數(shù)w的集合，并輸出到類別分類自適應(yīng)處理電路43和多路化電路46中。
這里，圖14示出了類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41的結(jié)構(gòu)一例。在圖14中，對(duì)于與圖3的學(xué)習(xí)裝置的場(chǎng)合對(duì)應(yīng)的部分附以相同的標(biāo)號(hào)。也就是說(shuō)，這種類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41除沒(méi)有設(shè)置間抽電路111外，與圖3的學(xué)習(xí)這種結(jié)構(gòu)基本相同。其中，將來(lái)自前置處理單元21或者校正電路42的SD圖像供給到類別分類電路112和預(yù)測(cè)系數(shù)抽頭生成電路113中，將與供給到前置處理單元21中的HD圖像相同的HD圖像供給到延遲電路114中，而后述的類別抽頭形成和預(yù)測(cè)抽頭形成相關(guān)的動(dòng)作則不同。對(duì)類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41的動(dòng)作將在后面進(jìn)行說(shuō)明。
回到圖13，校正電路42按照控制電路45的控制，校正構(gòu)成SD圖像的SD象素的象素值，并將其校正后的象素值輸出到類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41、類別分類自適應(yīng)處理電路43和多路化電路46中。借助于用由校正電路42供給的SD象素和由類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41供給的每個(gè)類別的預(yù)測(cè)系數(shù)w的集合、進(jìn)行自適應(yīng)處理，類別分類自適應(yīng)處理電路43求得HD象素的預(yù)測(cè)值，并供給到誤差算出電路44中。
這里，圖15示出了類別分類自適應(yīng)處理電路43的結(jié)構(gòu)的一例。此外，對(duì)于與圖1的圖像變換裝置的場(chǎng)合對(duì)應(yīng)的部分附以相同的標(biāo)號(hào)。也就是說(shuō)，類別分類自適應(yīng)處理電路43除設(shè)置每個(gè)類別的預(yù)測(cè)系數(shù)w的集合能重寫(xiě)的系數(shù)ROM104’代替系數(shù)ROM104外，與圖1中圖像變換裝置的結(jié)構(gòu)基本相同。在這種系數(shù)ROM104’中存儲(chǔ)由圖13中類別分類適應(yīng)電路(預(yù)測(cè)系數(shù)生成)電路41供給的每個(gè)類別的預(yù)測(cè)系數(shù)w的集合，此外，與類別抽頭形成和預(yù)測(cè)抽頭形成相關(guān)的動(dòng)作與圖1中圖像變換裝置不同。對(duì)類別分類自適應(yīng)處理電路43的動(dòng)作將在后面進(jìn)行說(shuō)明。
再回到圖13，誤差算出電路44算出來(lái)自類別分類自適應(yīng)處理電路43的HD象素的預(yù)測(cè)值的、對(duì)于真的HD象素的象素值的預(yù)測(cè)誤差，并輸出到控制電路45中?？刂齐娐?5對(duì)應(yīng)于來(lái)自誤差算出電路44的預(yù)測(cè)誤差，控制校正電路42的SD象素的象素值的校正量。多路化電路46將來(lái)自類別分類適應(yīng)電路(預(yù)測(cè)系數(shù)生成)電路41的預(yù)測(cè)系數(shù)w和來(lái)自校正電路42的被校正后的SD象素的象素值進(jìn)行多化處理，并作為編碼數(shù)據(jù)輸出。
下面，參照?qǐng)D16的流程圖對(duì)最適合化單元22的動(dòng)作進(jìn)行說(shuō)明。
在步驟S11中，類別分類適應(yīng)電路(預(yù)測(cè)系數(shù)生成)電路41一由前置處理單元21供給SD圖像，就借助于用該SD圖像和HD圖像進(jìn)行自適應(yīng)處理，算出每個(gè)類別的預(yù)測(cè)系數(shù)w的集合。
具體地說(shuō)，類別分類適應(yīng)電路(預(yù)測(cè)系數(shù)生成)電路41以構(gòu)成SD圖像的SD象素依次地作為注目象素，并對(duì)于其注目象素構(gòu)成類別分類用的抽頭(下面稱為類別抽頭)，進(jìn)行類別分類。在本實(shí)施形態(tài)中，對(duì)于注目象素構(gòu)成例如如下的類別抽頭，并進(jìn)行類別分類。
也就是說(shuō)如圖17A所示，基于以注目象素為中心的菱形范圍內(nèi)的5個(gè)SD象素和4個(gè)假想象素共計(jì)9個(gè)象素，對(duì)于亮度信號(hào)構(gòu)成類別抽頭。并且，將這9個(gè)象素的象素值中的最大值和最小值的差作為動(dòng)態(tài)范圍DR，并用這種動(dòng)態(tài)范圍DR對(duì)類別抽頭中的注目象素和與其相鄰的4個(gè)假想象素的共計(jì)5個(gè)象素(在圖17A中用虛線圍住的5個(gè)象素)施行1位ADRC處理。并且，該5個(gè)象素的象素值模式取作為注目象素的類別。因此，這種場(chǎng)合，因用5位表示借助于對(duì)類別抽頭中的、以注目象素為中心的5個(gè)象素施行1位ADRC處理得到的象素值模式，所以能將亮度信號(hào)分類成32(=25)個(gè)類別中的任何一個(gè)類別。
此外，用將對(duì)應(yīng)于該假想象素的SD象素的象素值的LSB側(cè)的4位左移4位(乘以24)、再加上例如8(=23)的值，作為假想象素的象素值。但是其它的也可以原樣地用將SD象素的象素值的LSB側(cè)的4位左移4位的值，或者用在左移后加上8以外的大于0小于16(24)的值，作為假想象素的象素值。
如圖11所示，SD象素的象素值其LSB側(cè)的4位是對(duì)應(yīng)的假想象素的象素值的MSB側(cè)的4位，但其8位值原樣地用作SD象素的象素值。但是，也可以用將例如其LSB側(cè)的4位置換成隨機(jī)發(fā)生的大于0小于16(24)的值，作為SD象素的象素值。
另一方面，如圖17B所示，基于以注目象素為中心的正方形的范圍內(nèi)的9個(gè)SD象素，對(duì)大于色差信號(hào)構(gòu)成類別抽頭。并且，將這9個(gè)象素的象素值中的最大值和最小值的差作為動(dòng)態(tài)范圍DR，并用這種動(dòng)態(tài)范圍DR對(duì)類別抽頭中的、以注目象素為中心的菱形范圍內(nèi)的5個(gè)象素(在圖17B中用虛線圍住的5個(gè)象素)施行1位ADRC處理。并且，該5個(gè)象素的象素值模式取作為注目象素的類別。因此，這種場(chǎng)合，因用5位表示借助于對(duì)類別抽頭中的、以注目象素為中心的5個(gè)象素施行1位ADRC處理得到的象素值模式，所以色差信號(hào)也與亮度信號(hào)相同，能分類成32(=25)個(gè)類別中的任何一個(gè)類別。
如前所述，類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41決定注目象素的類別后，形成預(yù)測(cè)抽頭。也就是說(shuō)，如圖18所示，類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41在注目象素是色差信號(hào)的場(chǎng)合，用以其注目象素為中心的7×5(長(zhǎng)×寬)的35個(gè)SD象素(在圖18中用實(shí)線或者虛線的“O”表示)形成預(yù)測(cè)抽頭。而類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41在注目象素是亮度信號(hào)的場(chǎng)合，與色差信號(hào)的場(chǎng)合相同，用35個(gè)象素形成預(yù)測(cè)抽頭，但用與注目象素相鄰的假想象素代替7×5個(gè)SD象素中的、其最左上、左下、右上和右下的SD象素(在圖18中用虛線的“O”表示)。
并且，類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41對(duì)于每個(gè)類別用預(yù)測(cè)抽頭和HD圖像建立式(13)的正規(guī)方程式并對(duì)其求解，求得每個(gè)類別的預(yù)測(cè)系數(shù)w的集合。此外，這種場(chǎng)合，對(duì)于注目象素用例如前述的圖2中實(shí)線正方形圍住的范圍的位置關(guān)系的HD象素，建立正規(guī)方程式。將用類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41求得的每個(gè)類別的預(yù)測(cè)系數(shù)w的集合，供給到類別分類適應(yīng)電路43中并存儲(chǔ)在系數(shù)RAM104’中。
在類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41中，一求得每個(gè)類別的預(yù)測(cè)系數(shù)w的集合，就在最適合化單元22并在步驟S12中取來(lái)自前置處理單元21的構(gòu)成SD圖像的SD象素中的1個(gè)作為注目象素，并判定該注目象素是否為亮度信號(hào)，如果是亮度信號(hào)則進(jìn)入到步驟S13中，如果不是亮度信號(hào)則進(jìn)入到步驟S15中。
在步驟S13中，校正電路42、類別分類自適應(yīng)處理電路43、誤差算出電路44和控制電路45，以注目象素的象素值的MSB側(cè)的4位為對(duì)象進(jìn)行最適合化處理，并進(jìn)入到步驟S14中。在步驟S14中，校正電路42、類別分類自適應(yīng)處理電路43、誤差算出電路44和控制電路45，以注目象素的象素值剩下的LSB側(cè)的4位為對(duì)象進(jìn)行最適合化處理，并進(jìn)入到步驟S16中。
另一方面，在步驟S12中，在判定注目象素不是亮度信號(hào)的場(chǎng)合，也就是說(shuō)是色差信號(hào)的場(chǎng)合，在步驟S15中，校正電路42、類別分類自適應(yīng)處理電路43、誤差算出電路44和控制電路45，以色差信號(hào)為對(duì)象進(jìn)行最適合化處理，并進(jìn)入到步驟S16中。
在步驟S16中，判定是否以來(lái)自前置處理單元21的構(gòu)成SD圖像的全部的SD象素作為對(duì)象進(jìn)行處理。在判定沒(méi)有以全部的SD象素進(jìn)行處理的場(chǎng)合，返回到步驟S12，并以沒(méi)有取作注目象素的SD象素作為新的注目象素，重復(fù)相同的處理。
在步驟S16中，在判定以全部的SD象素作為注目象素進(jìn)行處理的場(chǎng)合，進(jìn)入到步驟S17中，判定由SD象素預(yù)測(cè)的HD象素的預(yù)測(cè)值的、1幀部分的預(yù)測(cè)誤差的總和是否在規(guī)定的閾值ε以下，在步驟S17中判定1幀部分的預(yù)測(cè)誤差的總和不在規(guī)定的閾值ε以下的場(chǎng)合，返回到步驟S11中，并重復(fù)與前述場(chǎng)合相同的處理。但是，這種場(chǎng)合，在類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41中不用在步驟S11中前置處理單元21輸出的SD象素的象素值，而是用校正電路42輸出的后述的最優(yōu)SD象素的象素值，即對(duì)于圖14中類別分類電路112和預(yù)測(cè)抽頭生成電路113，輸入來(lái)自校正電路42的最優(yōu)SD象素，利用相同的處理求得(更新)每個(gè)類別的預(yù)測(cè)系數(shù)w的集合。
并且，在步驟S17中，在判定1幀部分的預(yù)測(cè)誤差的總和在規(guī)定的閾值ε以下的場(chǎng)合，進(jìn)入到步驟S18中，在類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41中，這時(shí)，用校正電路42輸出的SD象素的象素值，算出每個(gè)類別的預(yù)測(cè)系數(shù)w的集合。并且，對(duì)該SD象素的象素值和每個(gè)類別的預(yù)測(cè)系數(shù)w的集合，在多重化電路46中進(jìn)行多重化處理、取作編碼數(shù)據(jù)，并結(jié)束處理。
然后，在最適合化單元22中，等待供給下一幀的HD圖像和SD圖像，進(jìn)行同樣的處理。
下面，參照?qǐng)D19的流程圖對(duì)圖16中步驟S13的以注目象素的象素值的MSB側(cè)的4位為對(duì)象的最適合化處理進(jìn)行說(shuō)明。
在類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41中，求得每個(gè)類別的預(yù)測(cè)系數(shù)w的集合，它一被供給到類別分類自適應(yīng)處理電路43中，就取來(lái)自前置處理單元21的構(gòu)成SD圖像的SD象素中的1個(gè)作為注目象素，在步驟S31中，控制電路45將表示校正注目象素的象素值的校正量的變量Δ初始化例如成為0。另外，在步驟S31中，將表示使校正量變化的變化量(下面稱為偏移量)的變量S置位成例如16作為初始值。
也就是說(shuō)，現(xiàn)在的場(chǎng)合，因以注目象素的象素值的MSB側(cè)的4位作為對(duì)象，所以對(duì)偏移量S置位用于使其MSB側(cè)的4位變化為最小值的16(=24)。
此外，在步驟S31中，將對(duì)注目象素的校正次數(shù)進(jìn)行計(jì)數(shù)的變量i，置位初始值的-1，并進(jìn)入到步驟S32中。在步驟S32中，次數(shù)i加1，并進(jìn)入到步驟S33中，在用校正量Δ校正注目象素的象素值的校正值進(jìn)行自適應(yīng)處理的場(chǎng)合，算出由于該校正而受到影響的HD象素的預(yù)測(cè)值的預(yù)測(cè)誤差E。
也就是說(shuō)，這種場(chǎng)合，校正電路42在注目象素的象素值上加上例如校正量Δ，并以其相加后的值作為注目象素的象素值輸出到類別分類自適應(yīng)處理單元43中。這里，對(duì)于注目象素在最初施行步驟S33的處理的場(chǎng)合，即次數(shù)i=0的場(chǎng)合，因校正量Δ是保持在步驟S31置位的初始值為0的數(shù)值不變，所以從校正單元42原樣地輸出注目象素的象素值。
與類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41的場(chǎng)合相同，在類別分類自適應(yīng)處理電路43中形成圖17所示的類別抽頭，同時(shí)形成圖18所示的預(yù)測(cè)抽頭。即預(yù)測(cè)抽頭，用與注目象素相鄰的4個(gè)假想象素代替以注目象素為中心的7×5個(gè)SD象素中的、離注目象素最遠(yuǎn)的左上、左下、右上和右下的SD象素。
此外，對(duì)應(yīng)于該類別抽頭，對(duì)注目象素進(jìn)行類別分類，對(duì)應(yīng)于其結(jié)果得到的類別的預(yù)測(cè)系數(shù)的集合從類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41供給、并存儲(chǔ)在系數(shù)RAM104’中的預(yù)測(cè)系數(shù)的集合中選擇。并且，由該被選擇的預(yù)測(cè)系數(shù)的集合和預(yù)測(cè)抽頭，借助于式(1)所示的線性一次方程式，求得HD象素的象素值的預(yù)測(cè)值。
此外，在類別分類自適應(yīng)處理電路43中，在用校正量Δ校正注目象素的象素值的場(chǎng)合，對(duì)于由于該校正而受到影響的HD象素，至少也同樣能求得預(yù)測(cè)值。
也就是說(shuō)，如圖20所示，例如以SD象素A作為注目象素進(jìn)行校正。在本實(shí)施形態(tài)中，因簡(jiǎn)單地在包含7×5個(gè)SD象素的范圍構(gòu)成預(yù)測(cè)抽頭，所以在由這種7×5個(gè)SD象素構(gòu)成預(yù)測(cè)抽頭的場(chǎng)合中，當(dāng)該預(yù)測(cè)抽頭中包含SD象素A的情況時(shí)，以離開(kāi)SD象素A最遠(yuǎn)的SD象素作為注目象素是以SD象素B、C、D、E為注目象素構(gòu)成7×5象素的預(yù)測(cè)抽頭的情況。并且，在以SD象素B、C、D、E為注目象素構(gòu)成7×5象素的預(yù)測(cè)抽頭的場(chǎng)合，在本實(shí)施形態(tài)中分別求得該圖中用實(shí)線圍住的范圍b、c、d、e中的3×3的HD象素的預(yù)測(cè)值。因此，在以SD象素A作為注目象素校正其象素值的場(chǎng)合，由于該校正而受到影響的最壞的情況是包含范圍b、c、d、e的最小的正方形，成為圖20中用虛線所示的范圍內(nèi)的21×15的HD象素的預(yù)測(cè)值。
因此，在本實(shí)施形態(tài)中，在類別分類自適應(yīng)處理電路43中，至少能求得這種21×15的HD象素的預(yù)測(cè)值。
將在類別分類自適應(yīng)處理電路43中求得的HD象素的預(yù)測(cè)值供給到誤差算出電路44中。在誤差算出電路44從類別分類自適應(yīng)處理電路43的HD象素的預(yù)測(cè)值減去對(duì)應(yīng)的HD象素的真的象素值，求得作為其差值的預(yù)測(cè)誤差A(yù)的例如平方和。并且，將這種平方和供給到控制電路45中，作為誤差信息E。
控制電路45一從誤差算出電路44接收到誤差信息，就在步驟S34判定次數(shù)i是否為0。在步驟S34中判定次數(shù)i是0的場(chǎng)合、即控制電路45接收到的誤差信息E是不進(jìn)行注目象素的校正而得到的場(chǎng)合，進(jìn)入到步驟S35中，并在存儲(chǔ)不進(jìn)行注目象素的校正而得到的誤差信息(未校正時(shí)的誤差信息)的變量E0中置位誤差信息E，在存儲(chǔ)前次得到的誤差信息的變量E’中也置位誤差信息E。此外，在步驟S35中，校正量Δ僅增加偏移量S，控制電路45控制校正單元42以便由其得到的校正量Δ校正注目象素的象素值。然后，返回到步驟S32，并在后面重復(fù)同樣的處理。
這種場(chǎng)合，在步驟S32中，因次數(shù)i僅增加1而成為1，所以在步驟S34中，判定次數(shù)不是0，進(jìn)入到步驟S36中。在步驟S36中，判定次i是否為1。這種場(chǎng)合，因次數(shù)i為1，所以在步驟S36中，判定次數(shù)i為1，進(jìn)入到步驟S37中，判定前次的誤差信息E’是否大于本次的誤差信息E。在步驟S37中判定前次的誤差信息E’不大于本次的誤差信息E的場(chǎng)合，即借助于校正量Δ校正注目象素的象素值、使本次的誤差信息E比前次的誤差信息E’(這里是不進(jìn)行校正的場(chǎng)合的誤差信息)增加的場(chǎng)合，進(jìn)入到步驟S38中，控制電路45以在偏移量S上乘以-1后作為新的偏移量S，此外，將校正量Δ增加偏移量的2倍，返回到步驟S32中。
也就是說(shuō)，借助于以校正量Δ(這種場(chǎng)合，校正量Δ=S)校正注目象素的象素值，在比沒(méi)有校正時(shí)誤差增加的場(chǎng)合，反轉(zhuǎn)偏移量S的符號(hào)(在本實(shí)施形態(tài)中，在步驟S31中，因?qū)⑵屏縎置位成正的值，所以在步驟S38中，偏移量的符號(hào)由正變成負(fù))。此外，當(dāng)前次是S的校正量Δ，則成為-S。
在步驟S37中判定前次的誤差信息E’大于本次的誤差信息E的場(chǎng)合，即借助于以校正量Δ校正注目象素的象素值、使本次的誤差信息E比前次的誤差信息E’減小的場(chǎng)合(或者與前次的誤差信息E’相同的場(chǎng)合)，進(jìn)入到步驟S39中，控制電路45將校正量Δ增加偏移量S，同時(shí)借助于置位本次的誤差信息E，對(duì)前次的誤差信息E’進(jìn)行更新，返回到步驟S32中。
這種場(chǎng)合，在步驟S32中，次數(shù)i再加1成為2，因此在步驟S34或者步驟S36中，分別判定次數(shù)i不是0或者1，其結(jié)果，從步驟S36進(jìn)入到步驟40。在步驟S40中判定次數(shù)i是否為2。因當(dāng)前的次數(shù)是2，所以在步驟S40中判定次數(shù)i是2，進(jìn)入到步驟S41，并判定是否未校正時(shí)的誤差信息E0在當(dāng)前的誤差信息以下而且偏移量S為負(fù)。
在步驟S40中，在判定未校正時(shí)的誤差信息E0在當(dāng)前的誤差信息以下而且偏移量S為負(fù)的場(chǎng)合，也就是說(shuō)，在即使將注目象素校正+S或者即使校正-S，也比沒(méi)有校正時(shí)誤差增加的場(chǎng)合，進(jìn)入到步驟S42，校正量Δ成為0，并進(jìn)入到步驟S46。
在步驟S40中在未校正時(shí)的誤差信息E0不在當(dāng)前的誤差信息以下、或者偏移量S不是負(fù)的場(chǎng)合，進(jìn)入到步驟S43，判定前次的誤差信息E’是否在本次的誤差信息E以上。在步驟S43中判定前次的誤差信息E’在本次的誤差信息E以上的場(chǎng)合，即借助于以校正量Δ校正注目象素的象素值、使本次的誤差信息E比前次的誤差信息E’減小的場(chǎng)合，進(jìn)入到步驟S44中，控制電路45將校正量Δ增加偏移量S，同時(shí)借助于置位本次的誤差信息E，對(duì)前次的誤差信息E’進(jìn)行更新，返回到步驟S32中。
這種場(chǎng)合，在步驟S32中，次數(shù)i再加1成為3，在步驟S34、步驟36或者步驟S40中，分別判定次數(shù)i不是0、1或者2，其結(jié)果，從步驟S40進(jìn)入到步驟43。因此，重復(fù)步驟S32至S34、S36、S40、S43、S44的循環(huán)處理，直到在步驟S43中判定前次的誤差信息E’不在本次的誤差信息E以上為止。
在步驟S43中判定前次的誤差信息E’不在本次的誤差信息E以上的場(chǎng)合，即借助于以校正量Δ校正注目象素的象素值、使本次的誤差信息E比前次的誤差信息E’增加的場(chǎng)合，進(jìn)入到步驟S45中，控制電路45將校正量Δ減少偏移量S，并進(jìn)入到步驟S46中。即這種場(chǎng)合，校正量Δ成為誤差增加前的值。
在步驟S46中，控制電路45借助于控制校正電路42，用步驟S42或者S45得到的校正量Δ校正注目象素的象素值，由此，為了基于自適應(yīng)處理得到預(yù)測(cè)值，將注目象素的象素值校正成預(yù)測(cè)誤差為最小的最優(yōu)象素值。
這樣，為了求得HD圖像的預(yù)測(cè)值，在將注目象素的象素值的MSB側(cè)的4位最優(yōu)化成最優(yōu)值后，返回。
下面，參照?qǐng)D21的流程圖對(duì)以圖16中步驟S14的注目象素的象素值的LSB側(cè)的4位為對(duì)象的最適合化處理詳細(xì)地進(jìn)行說(shuō)明。
這種場(chǎng)合，在步驟S51到步驟S66中基本上分別進(jìn)行與圖19中步驟S31到步驟S46的場(chǎng)合相同的處理。
但是，在步驟S51中，在偏移量S中置位1而不是16作為初始值。即現(xiàn)在的場(chǎng)合，因以注目象素的象素值的LSB側(cè)的4位為對(duì)象，所以對(duì)偏移量S置位用于使其LSB側(cè)的4位變化為最小值的1(=20)。
在步驟S66中，與圖19中步驟S46的場(chǎng)合相同，用校正量Δ校正注目象素的象素值，但因此用校正量Δ的16(=24)倍的量校正對(duì)應(yīng)于該注目象素的假想象素的象素值。這是基于以下的理由，即在圖11中說(shuō)明了的那樣，注目象素的LSB側(cè)的4位表示對(duì)應(yīng)的假想象素的MSB的4位，例如現(xiàn)在如圖22所示，假如對(duì)于注目象素、其與左斜下相鄰的假想象素對(duì)應(yīng)，則所謂的校正注目象素的LSB側(cè)的4位，就是校正其左斜下相鄰的假想象素的MSB的4位。
下面，參照?qǐng)D23的流程圖對(duì)以圖16中步驟S15的注目象素是色差信號(hào)的場(chǎng)合的最適合化處理詳細(xì)地進(jìn)行說(shuō)明。
這種場(chǎng)合，在步驟S71到步驟S86中也基本上分別進(jìn)行與圖19中步驟S31到步驟S46的場(chǎng)合相同的處理。
但是，在步驟S71中，在偏移量S中置位1而不是16作為初始值。即對(duì)于色差信號(hào)置位用于使其8位的象素值變化為最小值的1(=20)。
下面，圖24示出了圖5的接收裝置4的結(jié)構(gòu)例。
在接收機(jī)/重放裝置71中，重放記錄在記錄媒體2中的編碼數(shù)據(jù)，或者接收通過(guò)傳輸通道3傳輸來(lái)的編碼數(shù)據(jù)，并供給到分離單元72中。在分離單元72將編碼數(shù)據(jù)分離成SD圖像(最優(yōu)SD圖像)的圖像數(shù)據(jù)和每個(gè)類別的預(yù)測(cè)系數(shù)w的集合，并將其中的任何一個(gè)供給到類別分類自適應(yīng)處理電路73中。
類別分類自適應(yīng)處理電路73與構(gòu)成圖13所示的最適合化單元22的類別分類自適應(yīng)處理電路43相同，求得HD圖像的預(yù)測(cè)值并將其作為解碼圖像進(jìn)行輸出。這種解碼圖像為與原來(lái)的圖像幾乎同一的圖像。
圖25示出了圖24中類別分類適應(yīng)處理電路73的結(jié)構(gòu)的一例。類別分類適應(yīng)電路73包括類別分類電路201、延遲電路202、預(yù)測(cè)抽頭生成電路203、系數(shù)RAM204和預(yù)測(cè)運(yùn)算電路205。這些電路分別與圖15所示的類別分類適應(yīng)電路43包括的類別分類電路101、延遲電路102、預(yù)測(cè)抽頭生成電路103、系數(shù)RAM104’和預(yù)測(cè)運(yùn)算電路105的結(jié)構(gòu)相同。
如前所述結(jié)構(gòu)的類別分類適應(yīng)電路73，當(dāng)由分類單元72一供給每個(gè)類別的預(yù)測(cè)系數(shù)的集合，就將這些每個(gè)類別的預(yù)測(cè)系數(shù)的集合存儲(chǔ)在系數(shù)RAM204中。并且，在類別分類適應(yīng)處理電路73中，用存儲(chǔ)在系數(shù)RAM204中的每個(gè)類別的預(yù)測(cè)系數(shù)的集合，對(duì)于從分離單元72供給的SD圖像，進(jìn)行與類別分類適應(yīng)處理電路43的場(chǎng)合相同的處理，求得HD圖像的預(yù)測(cè)值。
也就是說(shuō)，如圖26的流程圖所示，在步驟S91中，分別在類別分類電路201和預(yù)測(cè)抽頭生成電路203中形成用圖17A、圖17B或者圖18說(shuō)明了的類別抽頭或者預(yù)測(cè)抽頭。此外，在類別分類電路201中，對(duì)類別抽頭進(jìn)行類別分類，并將其結(jié)果得到的類別作為地址供給到系數(shù)RAM204中。在系數(shù)RAM204中讀出對(duì)應(yīng)于來(lái)自類別分類電路201的類別的預(yù)測(cè)系數(shù)的集合，并供給到預(yù)測(cè)運(yùn)算電路205中。
并且，在步驟S92中，預(yù)測(cè)運(yùn)算電路205用來(lái)自系數(shù)RAM204的預(yù)測(cè)系數(shù)的集合和預(yù)測(cè)抽頭生成電路203形成的預(yù)測(cè)抽頭，求得HD圖像的預(yù)測(cè)值并結(jié)束處理。
此外，在接收側(cè)即使不是圖24所示的接收裝置4，也能由利用單純的插補(bǔ)對(duì)被間抽的圖像進(jìn)行解碼的裝置，不用預(yù)測(cè)系數(shù)而用通常的插補(bǔ)，得到解碼圖像。但是，這種場(chǎng)合得到的解碼圖像其畫(huà)面質(zhì)量(清晰度)較差。
如前所述，由于在構(gòu)成利用壓縮HD圖像得到的SD圖像的SD象素的附近假設(shè)假想象素，并由HD圖像求得該象素值，所以能由接近于注目象素、而且多個(gè)象素形成預(yù)測(cè)抽頭，其結(jié)果，通過(guò)采用該預(yù)測(cè)抽頭進(jìn)行解碼，能得到更接近于原來(lái)的HD圖像的解碼圖像。
此外，因配置假想象素的象素值的MSB側(cè)的4位代替SD象素的象素值的LSB側(cè)的4位，所以編碼效率也不會(huì)降低。
以上，對(duì)于采用本發(fā)明的對(duì)HD圖像進(jìn)行編碼/解碼的圖像處理裝置進(jìn)行了說(shuō)明，但本發(fā)明也能適用于對(duì)其它的SD圖像等的標(biāo)準(zhǔn)清晰度的圖像進(jìn)行編碼/解碼的場(chǎng)合。即也能適用于對(duì)例如NTSC方式等的標(biāo)準(zhǔn)方式的電視信號(hào)采用間抽進(jìn)行編碼/解碼的場(chǎng)合。其中，本發(fā)明對(duì)于數(shù)據(jù)量多的所謂的高清晰度(high vision)方式的電視信號(hào)等進(jìn)行編碼/解碼的場(chǎng)合特別有效。此外，本發(fā)明還適用于由原來(lái)的圖像生成各層圖像數(shù)據(jù)并進(jìn)行解碼的所謂的進(jìn)行分層編碼的場(chǎng)合。
此外，在本實(shí)施形態(tài)中，僅對(duì)于亮度信號(hào)用假想象素形成預(yù)測(cè)抽頭，但對(duì)于色差信號(hào)也能用假想象素形成預(yù)測(cè)抽頭。
此外，在本實(shí)施形態(tài)中，僅用5×7個(gè)象素為基礎(chǔ)形成預(yù)測(cè)抽頭，但預(yù)測(cè)抽頭不限于5×7個(gè)象素。
此外，在本實(shí)施形態(tài)中，在用假想象素形成預(yù)測(cè)抽頭的場(chǎng)合，僅用5×7個(gè)共35個(gè)象素形成的塊為基礎(chǔ)形成由圖18所示的35個(gè)象素組成的預(yù)測(cè)抽頭，但如圖27所示，還能進(jìn)一步更多地使用接近于其注目象素的假想象素代替遠(yuǎn)離注目象素的SD象素，形成預(yù)測(cè)抽頭。
此外，在本實(shí)施形態(tài)中，配置假想象素的象素值的MSB側(cè)的4位代替SD象素的象素值的LSB側(cè)的4位，但也可以配置假想象素的象素值的MSB側(cè)的3位和2位代替SD象素的象素值的LSB側(cè)的3位和2位。但是根據(jù)本發(fā)明者進(jìn)行的模擬得到的結(jié)果是，在用8位表示SD象素的象素值的場(chǎng)合中，通過(guò)配置假想象素的象素值的MSB側(cè)的4位代替SD象素的象素值的LSB側(cè)的4位所得到的解碼圖像的S/N為最好。此外有這樣的趨勢(shì)，即置換SD圖像的象素值的位數(shù)越多灰度等級(jí)會(huì)提高。
此外，在本實(shí)施形態(tài)中，在間抽電路31中將HD圖像間抽成1/9，構(gòu)成SD圖像，但也能用其它的間抽率間抽HD圖像，構(gòu)成SD圖像。
此外，如圖10所示，在本實(shí)施形態(tài)中，在斜向相鄰的SD象素之間設(shè)置1個(gè)假想象素，但也可以在它們之間設(shè)置2個(gè)以上的假想象素。
此外，在本實(shí)施形態(tài)中，在構(gòu)成發(fā)送裝置1的最適合化單元22(圖13)中設(shè)置類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41，并更新每個(gè)類別的預(yù)測(cè)系數(shù)的集合，但也可以不更新每個(gè)類別的預(yù)測(cè)系數(shù)的集合，原樣地使用預(yù)先求得的每個(gè)類別的預(yù)測(cè)系數(shù)的集合。也就是說(shuō)，能夠基于前述的圖25所示的學(xué)習(xí)裝置，利用學(xué)習(xí)預(yù)先求得每個(gè)類別的預(yù)測(cè)系數(shù)的集合，并在類別分類自適應(yīng)處理電路43中使用。這種場(chǎng)合，類別分類自適應(yīng)處理電路43能與圖1所示的圖像變換裝置結(jié)構(gòu)相同，只要將利用學(xué)習(xí)裝置預(yù)先求得的每個(gè)類別的預(yù)測(cè)系數(shù)的集合存儲(chǔ)在系數(shù)RAM104中即可。這種場(chǎng)合，不必設(shè)置類別分類自適應(yīng)處理(預(yù)測(cè)系數(shù)生成)電路41，能簡(jiǎn)化發(fā)送裝置1。
在對(duì)應(yīng)于這種發(fā)送裝置1的接收裝置4(圖24)中，只要預(yù)先存儲(chǔ)求得的每個(gè)類別的預(yù)測(cè)系數(shù)的集合，在類別分類自適應(yīng)處理電路73中，用該每個(gè)類別的預(yù)測(cè)系數(shù)的集合，求得預(yù)測(cè)值即可。這種場(chǎng)合，能與圖1所示的圖像變換裝置結(jié)構(gòu)相同，構(gòu)成類別分類自適應(yīng)處理電路73。并且，只要利用前述的圖3所示的學(xué)習(xí)裝置，利用學(xué)習(xí)，預(yù)先求得每個(gè)類別的預(yù)測(cè)系數(shù)的集合，并將這些預(yù)先求得每個(gè)類別的預(yù)測(cè)系數(shù)的集合存儲(chǔ)在系數(shù)RAM104中即可。
在圖19中，借助于將注目象素的象素值以作為偏移量S的16進(jìn)行校正，檢測(cè)出預(yù)測(cè)誤差E最初地成為極小的校正量Δ，但另外，也能對(duì)于例如注目象素的象素值能取的全部的值求得預(yù)測(cè)誤差值E，檢測(cè)其最小值，并基于這種場(chǎng)合的校正量Δ校正注目象素的象素值。這種場(chǎng)合，雖然在處理中花費(fèi)時(shí)間，但能得到S/N更高的解碼圖像。
此外，在這種對(duì)于注目象素的象素值能取的全部的值求得預(yù)測(cè)誤差值E的場(chǎng)合，注目象素的象素值的初始值也可以是任何的值(注目象素的象素值能取的范圍內(nèi)的值)。也就是說(shuō)，這種場(chǎng)合，無(wú)論初始值是什么樣的值都能求得預(yù)測(cè)誤差E為最小的校正量Δ。
以上所述的處理與圖21和圖23說(shuō)明了的處理相同。
工業(yè)上的實(shí)用性在與本發(fā)明相關(guān)的圖像信號(hào)編碼裝置和圖像信號(hào)編碼方法中，借助于發(fā)生象素?cái)?shù)比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)，在構(gòu)成所述原圖像信號(hào)的象素的壓縮象素的附近，設(shè)定作為假想的象素的假想象素，并由所述原圖像信號(hào)算出該假想象素的象素值，將所述壓縮象素的象素值的一部分置換成所述假想象素的象素值的一部分，以構(gòu)成所述壓縮圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的所述壓縮象素和所述假想象素形成預(yù)測(cè)抽頭的形成單元，以及由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值，算出由所述被預(yù)測(cè)的預(yù)測(cè)值組成的預(yù)測(cè)圖像信號(hào)對(duì)于所述原圖像信號(hào)的預(yù)測(cè)誤差，并對(duì)應(yīng)于所述預(yù)測(cè)誤差校正構(gòu)成所述壓縮圖像信號(hào)的壓縮象素的象素值，就能不降低編碼產(chǎn)率、并得到更加接近于原圖像的解碼圖像。
在與本發(fā)明相關(guān)的圖像信號(hào)解碼裝置和圖像信號(hào)解碼方法中，以構(gòu)成所述編碼圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的象素形成預(yù)測(cè)抽頭，由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)生成復(fù)原圖像信號(hào)的象素值。借助于發(fā)生比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)，在構(gòu)成所述原圖像信號(hào)的象素的壓縮象素附近設(shè)定作為假想的象素的假想象素，并由所述原圖像信號(hào)算出該假想象素的象素值；將所述壓縮象素的象素值的一部分置換成所述假想象素的象素值的一部分，以構(gòu)成所述壓縮圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的所述壓縮象素和所述假想象素形成預(yù)測(cè)抽頭，由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)，預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值，算出由所述被預(yù)測(cè)的預(yù)測(cè)值組成的預(yù)測(cè)圖像信號(hào)對(duì)于所述原圖像信號(hào)的預(yù)測(cè)誤差，對(duì)應(yīng)于所述預(yù)測(cè)誤差，校正構(gòu)成所述壓縮圖像信號(hào)的壓縮象素的象素值，從而發(fā)生所述被解碼的編碼圖像信號(hào)。因此，在與本發(fā)明相關(guān)的圖像信號(hào)解碼裝置和圖像信號(hào)解碼方法中，能得到更加接近于原圖像的解碼圖像。
在利用與本發(fā)明相關(guān)的機(jī)器能解碼的記錄媒體中記錄的記錄信號(hào)是通過(guò)下述過(guò)程產(chǎn)生的，即借助于發(fā)生象素?cái)?shù)比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)，在構(gòu)成所述原圖像信號(hào)的象素的壓縮象素的附近，設(shè)定作為假想的象素的假想象素，并由所述原圖像信號(hào)算出該假想象素的象素值，將所述壓縮象素的象素值的一部分置換成所述假想象素的象素值的一部分，以構(gòu)成所述壓縮圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的所述壓縮象素和所述假想象素形成預(yù)測(cè)抽頭，由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值，算出由所述被預(yù)測(cè)的預(yù)測(cè)值組成的預(yù)測(cè)圖像信號(hào)對(duì)于所述原圖像信號(hào)的預(yù)測(cè)誤差，和對(duì)應(yīng)于所述預(yù)測(cè)誤差校正構(gòu)成所述壓縮圖像信號(hào)的壓縮象素的象素值，從而發(fā)生的記錄信號(hào)。因此，由該記錄信號(hào)，能得到更加接近于原圖像的解碼圖像。
權(quán)利要求
1．一種圖像信號(hào)編碼裝置，對(duì)圖像信號(hào)進(jìn)行編碼，其特征在于，包括發(fā)生象素?cái)?shù)比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)的壓縮單元；在構(gòu)成所述原圖像信號(hào)的象素的壓縮象素的附近，設(shè)定作為假想的象素的假想象素，并由所述原圖像信號(hào)算出該假想象素的象素值的第1算出單元；將所述壓縮圖像的象素值的一部分置換成所述假想象素的象素值的一部分的置換單元；以構(gòu)成所述壓縮圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的所述壓縮象素和所述假想象素形成預(yù)測(cè)抽頭的形成單元；由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值的預(yù)測(cè)單元；算出由所述被預(yù)測(cè)的預(yù)測(cè)值組成的預(yù)測(cè)圖像信號(hào)對(duì)于所述原圖像信號(hào)的預(yù)測(cè)誤差的第2算出單元；和對(duì)應(yīng)于所述預(yù)測(cè)誤差校正構(gòu)成所述壓縮圖像信號(hào)的壓縮象素的象素值的校正單元。
2．如權(quán)利要求1所述的圖像信號(hào)編碼裝置，其特征在于，還包括基于所述原圖像信號(hào)和所述壓縮圖像信號(hào)或者被校正的壓縮圖像信號(hào)，運(yùn)算所述預(yù)測(cè)系數(shù)的運(yùn)算單元；和傳送最適合壓縮圖像信號(hào)和所述預(yù)測(cè)系數(shù)的傳送單元。
3．如權(quán)利要求1所述的圖像信號(hào)編碼裝置，其特征在于，基于預(yù)先根據(jù)學(xué)習(xí)圖像信號(hào)和學(xué)習(xí)壓縮圖像信號(hào)進(jìn)行學(xué)習(xí)，運(yùn)算所述規(guī)定的預(yù)測(cè)系數(shù)，并且所述預(yù)測(cè)單元具有存儲(chǔ)所述預(yù)測(cè)系數(shù)的存儲(chǔ)器。
4．如權(quán)利要求1所述的圖像信號(hào)編碼裝置，其特征在于，所述規(guī)定的預(yù)測(cè)系數(shù)由對(duì)應(yīng)于所述壓縮圖像信號(hào)特征的每個(gè)類別的預(yù)測(cè)系數(shù)組成，所述編碼裝置還包括基于所述原圖像信號(hào)和所述壓縮圖像信號(hào)或者被校正的壓縮圖像信號(hào)、運(yùn)算所述每個(gè)類別的預(yù)測(cè)系數(shù)的運(yùn)算單元，和傳送最適合壓縮圖像信號(hào)和每個(gè)類別的預(yù)測(cè)系數(shù)的傳送單元，所述預(yù)測(cè)單元，由對(duì)應(yīng)于所述壓縮圖像信號(hào)特征的類別的預(yù)測(cè)系數(shù)和所述預(yù)測(cè)抽頭，預(yù)測(cè)所述預(yù)測(cè)值。
5．如權(quán)利要求1所述的圖像信號(hào)編碼裝置，其特征在于，所述規(guī)定的預(yù)測(cè)系數(shù)由對(duì)應(yīng)于所述壓縮圖像信號(hào)特征的每個(gè)類別的預(yù)測(cè)系數(shù)組成，所述預(yù)測(cè)單元，由對(duì)應(yīng)于所述壓縮圖像信號(hào)特征的類別的預(yù)測(cè)系數(shù)和所述預(yù)測(cè)抽頭，預(yù)測(cè)所述預(yù)測(cè)值。
6．如權(quán)利要求5所述的圖像信號(hào)編碼裝置，其特征在于，對(duì)與學(xué)習(xí)壓縮圖像信號(hào)特征對(duì)應(yīng)的每個(gè)類別，由學(xué)習(xí)圖像信號(hào)和學(xué)習(xí)壓縮圖像信號(hào)運(yùn)算所述每個(gè)類別的預(yù)測(cè)系數(shù)，所述預(yù)測(cè)單元具有存儲(chǔ)所述每個(gè)類別的預(yù)測(cè)系數(shù)的存儲(chǔ)器。
7．如權(quán)利要求1所述的圖像信號(hào)編碼裝置，其特征在于，所述置換單元將所述壓縮象素的象素值的LSB中的規(guī)定位，置換成所述假想象素的象素值的MSB中的規(guī)定位。
8．一種圖像信號(hào)解碼裝置，對(duì)編碼圖像信號(hào)進(jìn)行解碼，其特征在于，包括以構(gòu)成所述編碼圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的象素形成預(yù)測(cè)抽頭的形成單元；由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)生成復(fù)原圖像信號(hào)的象素值的生成單元，借助于發(fā)生比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)；在構(gòu)成所述原圖像信號(hào)的象素的壓縮象素的附近設(shè)定作為假想的象素的假想象素，并由所述原圖像信號(hào)算出該假想象素的象素值；將所述壓縮象素的象素值的一部分置換成所述假想象素的象素值的一部分；以構(gòu)成所述壓縮圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的所述壓縮象素和所述假想象素形成預(yù)測(cè)抽頭；由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)，預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值；算出由所述被預(yù)測(cè)的預(yù)測(cè)值組成的預(yù)測(cè)圖像信號(hào)對(duì)于所述原圖像信號(hào)的預(yù)測(cè)誤差；對(duì)應(yīng)于所述預(yù)測(cè)誤差，校正構(gòu)成所述壓縮圖像信號(hào)的壓縮象素的象素值，從而發(fā)生所述編碼圖像信號(hào)。
9．如權(quán)利要求8所述的圖像信號(hào)解碼裝置，其特征在于，同時(shí)供給所述規(guī)定的預(yù)測(cè)系數(shù)及所述編碼圖像信號(hào)。
10．如權(quán)利要求8所述的圖像信號(hào)解碼裝置，其特征在于，基于預(yù)先根據(jù)學(xué)習(xí)圖像信號(hào)和學(xué)習(xí)壓縮圖像信號(hào)進(jìn)行學(xué)習(xí)，運(yùn)算所述規(guī)定的預(yù)測(cè)系數(shù)，所述生成單元具有存儲(chǔ)所述預(yù)測(cè)系數(shù)的存儲(chǔ)器。
11．如權(quán)利要求8所述的圖像信號(hào)解碼裝置，其特征在于，所述規(guī)定的預(yù)測(cè)系數(shù)由對(duì)應(yīng)于所述壓縮圖像信號(hào)的特征的每個(gè)類別的預(yù)測(cè)系數(shù)組成，同時(shí)供給所述每個(gè)類別的預(yù)測(cè)系數(shù)及所述編碼圖像信號(hào)。
12．如權(quán)利要求8所述的圖像信號(hào)解碼裝置，其特征在于，所述規(guī)定的預(yù)測(cè)系數(shù)由對(duì)應(yīng)于所述壓縮圖像信號(hào)的特征的每個(gè)類別的預(yù)測(cè)系數(shù)組成，所述生成單元由對(duì)應(yīng)于所述壓縮圖像信號(hào)特征的類別的預(yù)測(cè)系數(shù)和所述預(yù)測(cè)抽頭，預(yù)測(cè)所述預(yù)測(cè)值。
13．如權(quán)利要求12所述的圖像信號(hào)解碼裝置，其特征在于，對(duì)對(duì)應(yīng)于學(xué)習(xí)壓縮圖像信號(hào)的特征的每個(gè)類別，由學(xué)習(xí)圖像信號(hào)和學(xué)習(xí)壓縮圖像信號(hào)運(yùn)算所述每個(gè)類別的預(yù)測(cè)系數(shù)，所述生成單元具有存儲(chǔ)所述每個(gè)類別的預(yù)測(cè)系數(shù)的存儲(chǔ)器。
14．如權(quán)利要求8所述的圖像信號(hào)解碼裝置，其特征在于，將所述編碼圖像信號(hào)的象素的象素值的LSB中的規(guī)定位，置換成所述假想象素的象素值的MSB中的規(guī)定位。
15．一種圖像信號(hào)編碼方法，對(duì)圖像信號(hào)進(jìn)行編碼，其特征在于，包括下述步驟發(fā)生象素?cái)?shù)比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)的步驟；在構(gòu)成所述原圖像信號(hào)的象素的壓縮象素的附近，設(shè)定作為假想的象素的假想象素，并由所述原圖像信號(hào)算出該假想象素的象素值的步驟；將所述壓縮圖像的象素值的一部分置換成所述假想象素的象素值的一部分的步驟；以構(gòu)成所述壓縮圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的所述壓縮象素和所述假想象素形成預(yù)測(cè)抽頭的步驟；由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值的步驟；算出由所述被預(yù)測(cè)的預(yù)測(cè)值組成的預(yù)測(cè)圖像信號(hào)對(duì)于所述原圖像信號(hào)的預(yù)測(cè)誤差的步驟；和對(duì)應(yīng)于所述預(yù)測(cè)誤差校正構(gòu)成所述壓縮圖像信號(hào)的壓縮象素的象素值的步驟。
16．如權(quán)利要求15所述的圖像信號(hào)編碼方法，其特征在于，還包括基于所述原圖像信號(hào)和所述壓縮圖像信號(hào)或者被校正的壓縮圖像信號(hào)，運(yùn)算所述預(yù)測(cè)系數(shù)的步驟；和傳送最適合壓縮圖像信號(hào)和所述預(yù)測(cè)系數(shù)的步驟。
17．如權(quán)利要求15所述的圖像信號(hào)編碼方法，其特征在于，基于預(yù)先根據(jù)學(xué)習(xí)圖像信號(hào)和學(xué)習(xí)壓縮圖像信號(hào)進(jìn)行學(xué)習(xí)，運(yùn)算所述規(guī)定的預(yù)測(cè)系數(shù)，并且預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值的步驟使用所述預(yù)測(cè)系數(shù)。
18．如權(quán)利要求15所述的圖像信號(hào)編碼方法，其特征在于，所述規(guī)定的預(yù)測(cè)系數(shù)由對(duì)應(yīng)于所述壓縮圖像信號(hào)特征的每個(gè)類別的預(yù)測(cè)系數(shù)組成，另外還具有，基于所述原圖像信號(hào)和所述壓縮圖像信號(hào)或者被校正的壓縮圖像信號(hào)、運(yùn)算所述每個(gè)類別的預(yù)測(cè)系數(shù)的步驟和傳送最適合壓縮圖像信號(hào)和每個(gè)類別的預(yù)測(cè)系數(shù)的步驟，預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值的步驟，由對(duì)應(yīng)于所述壓縮圖像信號(hào)特征的類別的預(yù)測(cè)系數(shù)和所述預(yù)測(cè)抽頭，預(yù)測(cè)所述預(yù)測(cè)值。
19．如權(quán)利要求15所述的圖像信號(hào)編碼方法，其特征在于，所述規(guī)定的預(yù)測(cè)系數(shù)由對(duì)應(yīng)于所述壓縮圖像信號(hào)特征的每個(gè)類別的預(yù)測(cè)系數(shù)組成，預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值的步驟，由對(duì)應(yīng)于所述壓縮圖像信號(hào)特征的類別的預(yù)測(cè)系數(shù)和所述預(yù)測(cè)抽頭，預(yù)測(cè)所述預(yù)測(cè)值。
20．如權(quán)利要求19所述的圖像信號(hào)編碼方法，其特征在于，對(duì)與學(xué)習(xí)壓縮圖像信號(hào)特征對(duì)應(yīng)的每個(gè)類別，由學(xué)習(xí)圖像信號(hào)和學(xué)習(xí)壓縮圖像信號(hào)運(yùn)算所述每個(gè)類別的預(yù)測(cè)系數(shù)，預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值的預(yù)測(cè)步驟，使用所述每個(gè)類別的預(yù)測(cè)系數(shù)。
21．如權(quán)利要求15所述的圖像信號(hào)編碼方法，其特征在于，置換所述壓縮圖像的象素值的一部分的步驟，將所述壓縮象素的象素值的LSB中的規(guī)定位，置換成所述假想象素的象素值的MSB中的規(guī)定位。
22．一種圖像信號(hào)解碼方法，對(duì)編碼圖像信號(hào)進(jìn)行解碼，其特征在于，包括下述步驟以構(gòu)成所述編碼圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的象素形成預(yù)測(cè)抽頭的步驟；由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)生成復(fù)原圖像信號(hào)的象素值的步驟，借助于發(fā)生比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)；在構(gòu)成所述原圖像信號(hào)的象素的壓縮象素的附近設(shè)定作為假想的象素的假想象素，并由所述原圖像信號(hào)算出該假想象素的象素值；將所述壓縮象素的象素值的一部分置換成所述假想象素的象素值的一部分；以構(gòu)成所述壓縮圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的所述壓縮象素和所述假想象素形成預(yù)測(cè)抽頭；由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)，預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值；算出由所述被預(yù)測(cè)的預(yù)測(cè)值組成的預(yù)測(cè)圖像信號(hào)對(duì)于所述原圖像信號(hào)的預(yù)測(cè)誤差；對(duì)應(yīng)于所述預(yù)測(cè)誤差，校正構(gòu)成所述壓縮圖像信號(hào)的壓縮象素的象素值，從而發(fā)生所述編碼圖像信號(hào)。
23．如權(quán)利要求22所述的圖像信號(hào)解碼方法，其特征在于，同時(shí)供給所述規(guī)定的預(yù)測(cè)系數(shù)及所述編碼圖像信號(hào)。
24．如權(quán)利要求22所述的圖像信號(hào)解碼方法，其特征在于，基于預(yù)先根據(jù)學(xué)習(xí)圖像信號(hào)和學(xué)習(xí)壓縮圖像信號(hào)進(jìn)行學(xué)習(xí)，運(yùn)算所述規(guī)定的預(yù)測(cè)系數(shù)，生成所述復(fù)原圖像信號(hào)的象素值的步驟，使用所述預(yù)測(cè)系數(shù)。
25．如權(quán)利要求22所述的圖像信號(hào)解碼方法，其特征在于，所述規(guī)定的預(yù)測(cè)系數(shù)由對(duì)應(yīng)于所述壓縮圖像信號(hào)的特征每個(gè)類別的預(yù)測(cè)系數(shù)組成，同時(shí)供給所述每個(gè)類別的預(yù)測(cè)系數(shù)及所述編碼圖像信號(hào)。
26．如權(quán)利要求22所述的圖像信號(hào)解碼方法，其特征在于，所述規(guī)定的預(yù)測(cè)系數(shù)由對(duì)應(yīng)于所述壓縮圖像信號(hào)的特征的每個(gè)類別的預(yù)測(cè)系數(shù)組成，生成所述復(fù)原圖像信號(hào)的象素值的步驟，由對(duì)應(yīng)于所述壓縮圖像信號(hào)特征的類別的預(yù)測(cè)系數(shù)和所述預(yù)測(cè)抽頭，預(yù)測(cè)所述預(yù)測(cè)值。
27．如權(quán)利要求26所述的圖像信號(hào)解碼方法，其特征在于，對(duì)對(duì)應(yīng)于學(xué)習(xí)壓縮圖像信號(hào)的特征的每個(gè)類別，由學(xué)習(xí)圖像信號(hào)和學(xué)習(xí)壓縮圖像信號(hào)運(yùn)算所述每個(gè)類別的預(yù)測(cè)系數(shù)，生成所述復(fù)原圖像信號(hào)的象素值的步驟，使用所述每個(gè)類別的預(yù)測(cè)系數(shù)。
28．如權(quán)利要求22所述的圖像信號(hào)解碼方法，其特征在于，將所述編碼圖像信號(hào)的象素的象素值的LSB中的規(guī)定位，置換成所述假想象素的象素值的MSB中的規(guī)定位。
29．一種記錄媒體，能利用機(jī)器進(jìn)行解碼，其特征在于，所述記錄媒體記錄記錄信號(hào)，借助于發(fā)生象素?cái)?shù)比原圖像信號(hào)的象素?cái)?shù)少的壓縮圖像信號(hào)，在構(gòu)成所述原圖像信號(hào)的象素的壓縮象素的附近，設(shè)定作為假想的象素的假想象素，并由所述原圖像信號(hào)算出該假想象素的象素值，將所述壓縮象素的象素值的一部分置換成所述假想象素的象素值的一部分，以構(gòu)成所述壓縮圖像信號(hào)的壓縮象素中的1個(gè)作為注目象素，并由該注目象素附近的所述壓縮象素和所述假想象素形成預(yù)測(cè)抽頭，由所述預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)預(yù)測(cè)所述原圖像信號(hào)的預(yù)測(cè)值，算出由所述被預(yù)測(cè)的預(yù)測(cè)值組成的預(yù)測(cè)圖像信號(hào)對(duì)于所述原圖像信號(hào)的預(yù)測(cè)誤差，和對(duì)應(yīng)于所述預(yù)測(cè)誤差校正構(gòu)成所述壓縮圖像信號(hào)的壓縮象素的象素值，從而發(fā)生所述記錄信號(hào)。
全文摘要
本發(fā)明揭示一種圖像信號(hào)編碼裝置和圖像信號(hào)編碼方法及圖像信號(hào)解碼裝置和圖像信號(hào)解碼方法以及記錄媒體。在構(gòu)成由HD圖像進(jìn)行間抽得到的SD圖像的SD象素(在圖18中用于“O”表示)的附近、設(shè)定作為假想的象素的假想象素(在圖18中用于“◎”表示),并由HD象素值求得該象素值,再配置假想象素的象素值的一部分代替SD象素的象素值的一部分。并且,以SD象素中的1個(gè)作為注目象素,由其周圍的SD象素和假想象素形成預(yù)測(cè)抽頭,借助于預(yù)測(cè)抽頭和規(guī)定的預(yù)測(cè)系數(shù)的線性組合,進(jìn)行求得HD圖像的預(yù)測(cè)值的自適應(yīng)處理。此外,算出由自適應(yīng)處理求得的預(yù)測(cè)值的、對(duì)于HD圖像的預(yù)測(cè)誤差,并對(duì)應(yīng)于預(yù)測(cè)誤差,校正注目象素的象素值。因此,不會(huì)降低編碼效率,能得到更加接近于原圖像的解碼圖像。
文檔編號(hào)H04N5/85GK1216663SQ97194092
公開(kāi)日1999年5月12日 申請(qǐng)日期1997年12月26日 優(yōu)先權(quán)日1996年12月26日
發(fā)明者近藤哲二郎, 高橋健治 申請(qǐng)人:索尼株式會(huì)社