本申請是同一申請人的申請日為2012年4月10日的、申請?zhí)枮?01280023109.6(pct/jp2012/059779)、發(fā)明名稱為“圖像處理裝置和圖像處理方法”的中國發(fā)明專利申請的分案申請。

本公開涉及圖像處理裝置和圖像處理方法。

背景技術(shù)：

在作為圖像編碼方案的標(biāo)準(zhǔn)說明之一的h.264/avc中，能夠在以高規(guī)格甚至更高規(guī)格量化圖像數(shù)據(jù)的同時對正交變換系數(shù)的各成分使用不同的量化步長。針對正交變換系數(shù)的各成分的量化步長可以基于以與正交變換單位相同大小定義的量化矩陣(也被稱為縮放列表)以及標(biāo)準(zhǔn)步長值而被設(shè)定。

圖28例示了在h.264/avc中預(yù)定義的四類默認(rèn)量化矩陣。矩陣sl1是用于幀內(nèi)預(yù)測模式的默認(rèn)4×4量化矩陣。矩陣sl2是用于幀間預(yù)測模式的默認(rèn)4×4量化矩陣。矩陣sl3是用于幀內(nèi)預(yù)測模式的默認(rèn)8×8量化矩陣。矩陣sl4是用于幀間預(yù)測模式的默認(rèn)8×8量化矩陣。用戶還可以在序列參數(shù)集或圖片參數(shù)集中定義與圖28所例示默認(rèn)矩陣不同的自己的量化矩陣。注意到在沒有量化矩陣被指定的情況下，可以使用對所有成分都具有相等量化步長的平坦量化矩陣。

在其標(biāo)準(zhǔn)化被發(fā)展作為h.264/avc之后的下一代圖像編碼方案的高效視頻編碼(hevc)中，引入了與過去的宏塊(參見如下的非專利文獻(xiàn)1)相對應(yīng)的編碼單位(cu)的概念。此外，一個編碼單位可被分成用于指代各個預(yù)測處理的單位的一個或多個預(yù)測單位(pu)。隨后對各預(yù)測單位進(jìn)行幀內(nèi)預(yù)測或幀間預(yù)測。此外，一個編碼單位可被分成用于指代各個正交變換的單位的一個或多個變換單位(tu)。每個變換單位隨后經(jīng)歷從圖像數(shù)據(jù)到變換系數(shù)數(shù)據(jù)的正交變換，并且變換系數(shù)數(shù)據(jù)被量化。如下的非專利文獻(xiàn)2提出了一種被稱為短距離幀內(nèi)預(yù)測法的技術(shù)，其能夠在幀內(nèi)預(yù)測模式中選擇大小相對較小的、非正方形預(yù)測單位(例如，線狀或矩形預(yù)測單位)。在此情況下，變換單位的形狀也可以變?yōu)榉钦叫?，以與預(yù)測單位的形狀相匹配。

現(xiàn)有技術(shù)文獻(xiàn)

非專利文獻(xiàn)

非專利文獻(xiàn)1：jctvc-b205,"testmodelunderconsideration",itu-tsg16wp3andiso/iecjtc1/sc29/wg112ndmeeting:geneva,21-28july,2010

非專利文獻(xiàn)2：jctvc-e278,"ce6.b1reportonshortdistanceintrapredictionmethod",itu-tsg16wp3andiso/iecjtc1/sc29/wg115thmeeting:geneva,16-23march,2011

技術(shù)實現(xiàn)要素：

技術(shù)問題

然而，隨著用于變換單位的形狀和大小的可選擇類型的增加，對應(yīng)量化矩陣的數(shù)量也增加，并且由這些量化矩陣引起的比特率的增加又可能會導(dǎo)致編碼效率的降低。結(jié)果，期望提供一種即便在所使用的候選量化矩陣增加的情況下仍然不會顯著降低編碼效率的機(jī)制。

問題的解決方案

根據(jù)本公開的一個實施例，提供了一種圖像處理裝置，包括：解碼部，對編碼流進(jìn)行解碼并生成量化的變換系數(shù)數(shù)據(jù)；以及逆量化部，該逆量化部采用變換系數(shù)數(shù)據(jù)作為要在逆正交變換期間使用的變換單位來對由所述解碼部解碼的量化的變換系數(shù)數(shù)據(jù)進(jìn)行逆量化，使得在選擇了非正方形變換單位的情況下，該逆量化部使用從與正方形變換單位相對應(yīng)的正方形量化矩陣生成的、與非正方形變換單位相對應(yīng)的非正方形量化矩陣。

上述圖像處理裝置可以典型地被實現(xiàn)為解碼圖像的圖像解碼設(shè)備。

進(jìn)一步地，根據(jù)本公開的一個實施例，提供了一種圖像處理方法，包括：對編碼流進(jìn)行解碼并生成量化的變換系數(shù)數(shù)據(jù)；以及

采用變換系數(shù)數(shù)據(jù)作為要在逆正交變換期間使用的變換單位來對經(jīng)解碼的量化的變換系數(shù)數(shù)據(jù)進(jìn)行逆量化，使得在選擇了非正方形變換單位的情況下，使用與非正方形變換單位相對應(yīng)的非正方形量化矩陣，所述非正方形量化矩陣是從與正方形變換單位相對應(yīng)的正方形量化矩陣生成的。

本發(fā)明的有益效果

如上所述，根據(jù)本公開，提供了一種即便在所使用的候選量化矩陣由于變換單位的可選類型增加而增加的情況下仍然不會顯著降低編碼效率的機(jī)制。

附圖說明

圖1是例示了根據(jù)一個實施例的圖像編碼裝置的示例性構(gòu)成的框圖。

圖2是示出了圖1所示語法處理部的詳細(xì)構(gòu)造例的框圖。

圖3是示出了圖1所示正交變換部的詳細(xì)構(gòu)造例的框圖。

圖4是示出了圖1所示量化部的詳細(xì)構(gòu)造例的框圖。

圖5是示出了用于生成量化矩陣的參數(shù)例的示意圖。

圖6a是用于說明在復(fù)制模式下生成非正方形量化矩陣的第一示意圖。

圖6b是用于說明在復(fù)制模式下生成非正方形量化矩陣的第二示意圖。

圖6c是用于說明在復(fù)制模式下生成非正方形量化矩陣的第三示意圖。

圖7是用于說明在轉(zhuǎn)置模式下生成量化矩陣的示意圖。

圖8a是說明用于生成非正方形量化矩陣的簡化技術(shù)的第一示意圖。

圖8b是說明用于生成非正方形量化矩陣的簡化技術(shù)的第二示意圖。

圖9是說明在使用默認(rèn)正方形量化矩陣的情況下用于生成非正方形量化矩陣的技術(shù)的示意圖。

圖10是說明用于非正方形量化矩陣的掃描圖案例的示意圖。

圖11是示出了根據(jù)一個實施例的編碼期間的處理流程例的流程圖。

圖12是例示了根據(jù)一個實施例的圖像解碼裝置的示例性構(gòu)成的框圖。

圖13是示出了圖12所示語法處理部的詳細(xì)構(gòu)造例的框圖。

圖14是示出了圖12所示逆量化部的詳細(xì)構(gòu)造例的框圖。

圖15是示出了圖12所示逆正交變換部的詳細(xì)構(gòu)造例的框圖。

圖16是示出了根據(jù)一個實施例的解碼期間的處理流程例的流程圖。

圖17是示出了圖16所示量化矩陣生成處理的流程例的流程圖。

圖18是用于說明多視角編解碼器的示意圖。

圖19是用于說明根據(jù)多視角編解碼器的一個實施例的圖像編碼處理應(yīng)用的示意圖。

圖21是用于說明可縮放編解碼器的示意圖。

圖22是用于說明根據(jù)可縮放編解碼器的一個實施例的圖像編碼處理應(yīng)用的示意圖。

圖23是用于說明根據(jù)可縮放編解碼器的一個實施例的圖像編碼處理應(yīng)用的示意圖。

圖24是示出了電視的概略配置例的框圖。

圖25是示出了移動電話的概略配置例的框圖。

圖26是示出了記錄和回放裝置的概略配置例的框圖。

圖27是示出了成像裝置的概略配置例的框圖。

圖28是示出了在h.264/avc中預(yù)定義的默認(rèn)量化矩陣的示意圖。

具體實施例

其后，將參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實施例。注意到，在此說明書和附圖中，具有基本相同功能和結(jié)構(gòu)的元件由相同的參考編號所指示，并由此省略對其的重復(fù)解釋。

同樣地，描述將以如下次序進(jìn)行。

1.根據(jù)實施例的圖像編碼裝置的示例性配置

1-1.示例性整體配置

1-2.語法處理部的示例性配置

1-3.正交變換部的示例性配置

1-4.量化部的示例性配置

1-5.示例性參數(shù)結(jié)構(gòu)

1-6.生成非正方形量化矩陣的示例

1-7.掃描圖案的示例

2.根據(jù)實施例的編碼期間的處理流程

3.根據(jù)實施例的圖像解碼裝置的示例性配置

3-1.示例性整體配置

3-2.語法處理部的示例性配置

3-3.逆量化部的示例性配置

3-4.逆正交變換部的示例性配置

4.根據(jù)實施例的解碼期間的處理流程

5.各種編解碼器的應(yīng)用

5-1.多視角編解碼器

5-2.可縮放編解碼器

6.應(yīng)用

7.結(jié)論

<1.根據(jù)實施例的圖像編碼裝置的示例性配置>

這一部分描述根據(jù)一個實施例的圖像編碼裝置的示例性配置。

[1-1.示例性整體配置]

圖1是例示了根據(jù)一個實施例的圖像編碼裝置10的示例性構(gòu)成的框圖。參見圖1，圖像編碼裝置10配備有模數(shù)(a/d)轉(zhuǎn)換部11、重排序緩沖器12、語法處理部13、減法部14、正交變換部15、量化部16、無損編碼部17、累積緩沖器18、速率控制部19、逆量化部21、逆正交變換部22、加法部23、解塊濾波器24、幀存儲器25、選擇器26、幀內(nèi)預(yù)測部30、運(yùn)動估計部40、以及模式選擇部50。

a/d轉(zhuǎn)換部11將模擬格式的圖像信號輸入轉(zhuǎn)換成數(shù)字格式，并將數(shù)字圖像數(shù)據(jù)序列輸出到重排序緩沖器12。

重排序緩沖器12對從a/d轉(zhuǎn)換部11輸入的圖像數(shù)據(jù)序列內(nèi)包括的圖像進(jìn)行重新排序。在根據(jù)按照編碼處理的圖片組(gop)結(jié)構(gòu)重新排序圖像后，重排序緩沖器12將重新排序的圖像數(shù)據(jù)輸出至語法處理部13。

從重排序緩沖器12輸出至語法處理部13的圖像數(shù)據(jù)以被稱為網(wǎng)絡(luò)抽象層(nal)單元的單位映射至比特流。圖像數(shù)據(jù)流包括一個或多個序列。序列中的前導(dǎo)圖片被稱為瞬時解碼刷新(idr)圖片。每個序列包括一個或多個圖片，并且每個圖片還包括一個或多個片段。在h.264/avc和hevc中，這些片段是圖像編碼和解碼的基本單位。用于各個片段的數(shù)據(jù)被識別為視頻編碼層(vcl)nal單元。

語法處理部13依次識別從重排序緩沖器12輸入的圖像數(shù)據(jù)流的nal單元，并且將存儲首部信息的非vclnal單元插入該流中。由語法處理部13插入流中的非vclnal單元包括序列參數(shù)集(sps)和圖片參數(shù)集(pps)。存儲在sps和psp中的首部信息例如包括隨后描述的與量化矩陣有關(guān)的參數(shù)(其后稱為量化矩陣參數(shù))。注意到也可以設(shè)定與sps和pps不同的其他新參數(shù)集。例如，語法處理部13可以將僅存儲所述量化矩陣參數(shù)的量化矩陣參數(shù)集(qmps)插入流內(nèi)。語法處理部13還可以在片段開始處添加片段首部(sh)。語法處理部13隨后將包括vclnal單元和非vclnal單元的圖像數(shù)據(jù)流輸出至減法部14、幀內(nèi)預(yù)測部30和運(yùn)動估計部40。隨后將進(jìn)一步描述語法處理部13的詳細(xì)配置。

減法部14被供應(yīng)有從語法處理部13輸入的圖像數(shù)據(jù)以及由隨后描述的模式選擇部50選擇的預(yù)測圖像數(shù)據(jù)。減法部14計算作為從語法處理部13輸入的圖像數(shù)據(jù)和從模式選擇部50輸入的預(yù)測圖像數(shù)據(jù)之差的預(yù)測誤差數(shù)據(jù)，并將該計算出的預(yù)測誤差數(shù)據(jù)輸出至正交變換部15。

正交變換部15設(shè)置要被編碼的圖像中的變換單位，并且通過針對每個變換單位對圖像數(shù)據(jù)進(jìn)行正交變換來生成變換系數(shù)數(shù)據(jù)。在本實施例中，由正交變換部15設(shè)置的變換單位的形狀可以是正方形或非正方形。正方形變換單位的邊長大小可以是諸如4個像素、8個像素、16個像素或32個像素之類的大小。非正方形變換單位的長邊尺寸類似地可以是諸如4個像素、8個像素、16個像素或32個像素之類的尺寸，并且長邊尺寸和短邊尺寸之比可以是諸如2:1、4:1或8:1的比例。經(jīng)歷由正交變換部15進(jìn)行的正交變換的圖像數(shù)據(jù)是從減法部14輸入的預(yù)測誤差數(shù)據(jù)。正交變換部15進(jìn)行的正交變換可以根據(jù)任意正交變換方案進(jìn)行，諸如離散余弦變換(dct)方案、離散正弦變換(dst)方案、hadamard變換方案、karhunen-loeve變換方案等。正交變換部15將經(jīng)由正交變換處理從預(yù)測誤差數(shù)據(jù)變換而來的變換系數(shù)數(shù)據(jù)輸出至量化部16。隨后將進(jìn)一步描述正交變換部15的詳細(xì)配置。

量化部16使用與各變換單位相對應(yīng)的量化矩陣按照各個變換單位量化從正交變換部15輸入的變換系數(shù)數(shù)據(jù)，并將經(jīng)量化的變換系數(shù)數(shù)據(jù)(其后稱為量化數(shù)據(jù))輸出至無損編碼部17和逆量化部21。量化數(shù)據(jù)的比特率基于來自速率控制部19的速率控制信號而被控制。由量化部16使用的量化矩陣在sps、pps或其他參數(shù)集中定義，并且可以在片段首部為各個片段所指定。還可以使用像是圖28中例示的默認(rèn)量化矩陣來代替在參數(shù)集中定義的量化矩陣。在此情況下，用于定義量化矩陣的參數(shù)變?yōu)椴槐匾?。隨后將進(jìn)一步描述量化部16的詳細(xì)配置。

無損編碼部17通過對從量化部16輸入的量化數(shù)據(jù)進(jìn)行編碼來生成編碼流。此外，無損編碼部17對由語法處理部13插入流內(nèi)的量化矩陣參數(shù)進(jìn)行編碼，并將經(jīng)編碼的參數(shù)多路復(fù)用到編碼流內(nèi)。此外，無損編碼部17對從模式選擇部50輸入的有關(guān)幀內(nèi)預(yù)測的信息或有關(guān)幀間預(yù)測的信息進(jìn)行編碼，并將經(jīng)編碼的信息多路復(fù)用到編碼流內(nèi)。典型地，由無損編碼部17進(jìn)行的編碼是基于諸如算術(shù)編碼、golomb編碼或huffman編碼之類的方案的無損長度可變編碼。無損編碼部17隨后將由此生成的編碼流輸出至累積緩沖器18。

累積緩沖器18使用諸如半導(dǎo)體存儲器的存儲介質(zhì)臨時緩沖從無損編碼部17輸入的編碼流。累積緩沖器18隨后以根據(jù)傳輸通道的帶寬的速率將由此緩沖的編碼流輸出至未示出的傳輸部(諸如與外圍設(shè)備的通信接口或連接接口)。

速率控制部19監(jiān)視累積緩沖器18內(nèi)的空閑容量。隨后，速率控制部19依據(jù)累積緩沖器18內(nèi)的空閑容量生成速率控制信號，并將生成的速率控制信號輸出至量化部16。例如，當(dāng)累積緩沖器18內(nèi)沒有什么空閑容量時，速率控制部19生成降低量化數(shù)據(jù)的比特率的速率控制信號。同樣地，例如，當(dāng)累積緩沖器18內(nèi)有充足空閑容量時，速率控制部19生成提升量化數(shù)據(jù)的比特率的速率控制信號。

逆量化部21使用與量化部16在量化處理期間設(shè)定的量化矩陣相同的量化矩陣對從量化部16輸入的量化數(shù)據(jù)執(zhí)行逆量化處理。逆量化部21隨后將通過逆量化處理獲取的變換系數(shù)數(shù)據(jù)輸出至逆正交變換部22。

逆正交變換部22通過對從逆量化部21輸入的變換系數(shù)數(shù)據(jù)應(yīng)用逆正交變換來恢復(fù)預(yù)測誤差數(shù)據(jù)。由逆正交變換部22使用的正交變換方法與正交變換部15在正交變換處理期間選擇的方法相等同。隨后，逆正交變換部22將經(jīng)恢復(fù)的預(yù)測誤差數(shù)據(jù)輸出至加法部23。

加法部23將從逆正交變換部22輸入的經(jīng)恢復(fù)的預(yù)測誤差數(shù)據(jù)與從模式選擇部50輸入的預(yù)測圖像數(shù)據(jù)相加，藉此生成解碼圖像數(shù)據(jù)。隨后，加法部23將由此生成的解碼圖像數(shù)據(jù)輸出至解塊濾波器24和幀存儲器25。

解塊濾波器24應(yīng)用濾波以減少圖像編碼時產(chǎn)生的成塊偽像。解塊濾波器24通過對從加法部23輸入的解碼圖像數(shù)據(jù)進(jìn)行濾波來移除成塊偽像，并且將由此濾波的解碼圖像數(shù)據(jù)輸出至幀存儲器25。

幀存儲器25使用存儲介質(zhì)存儲從加法部23輸入的解碼圖像數(shù)據(jù)以及從解塊濾波器24輸入的濾波后的解碼圖像數(shù)據(jù)。

選擇器26從幀存儲器25中讀取要被用于幀內(nèi)預(yù)測的未經(jīng)濾波的解碼圖像數(shù)據(jù)，并將由此讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)供應(yīng)至幀內(nèi)預(yù)測部30。同樣地，選擇器26從幀存儲器25中讀取要被用于幀間預(yù)測的經(jīng)濾波的解碼圖像數(shù)據(jù)，并將由此讀取的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)供應(yīng)至運(yùn)動估計部40。

幀內(nèi)預(yù)測部30基于從語法處理部13輸入的要被編碼的圖像數(shù)據(jù)和經(jīng)由選擇器26供應(yīng)的解碼圖像數(shù)據(jù)而在各個幀內(nèi)預(yù)測模式下執(zhí)行幀內(nèi)預(yù)測處理。例如，幀內(nèi)預(yù)測部30使用預(yù)先確定的成本函數(shù)評估每個幀內(nèi)預(yù)測模式的預(yù)測結(jié)果。然后，幀內(nèi)預(yù)測部30選擇產(chǎn)生最小成本函數(shù)值的幀內(nèi)預(yù)測模式(即，產(chǎn)生最高壓縮比率的幀內(nèi)預(yù)測模式)作為最優(yōu)幀內(nèi)預(yù)測模式。幀內(nèi)預(yù)測部30隨后將預(yù)測圖像數(shù)據(jù)、包括所選最優(yōu)幀內(nèi)預(yù)測模式等的有關(guān)幀內(nèi)預(yù)測的信息以及成本函數(shù)值輸出至模式選擇部50。

運(yùn)動估計部40基于從語法處理部13輸入的要被編碼的圖像數(shù)據(jù)和經(jīng)由選擇器26供應(yīng)的解碼圖像數(shù)據(jù)而執(zhí)行幀間預(yù)測處理(多個幀之間的預(yù)測處理)。例如，運(yùn)動估計部40使用預(yù)先確定的成本函數(shù)評估每個預(yù)測模式的預(yù)測結(jié)果。然后，運(yùn)動估計部40選擇產(chǎn)生最小成本函數(shù)值的預(yù)測模式(即，產(chǎn)生最高壓縮比率的預(yù)測模式)作為最優(yōu)預(yù)測模式。運(yùn)動估計部40根據(jù)該最優(yōu)預(yù)測模式生成預(yù)測圖像數(shù)據(jù)。運(yùn)動估計部40將預(yù)測圖像數(shù)據(jù)、包括所選最優(yōu)預(yù)測模式等的有關(guān)幀間預(yù)測的信息以及成本函數(shù)值輸出至模式選擇部50。

模式選擇部50將從幀內(nèi)預(yù)測部30輸入的有關(guān)幀內(nèi)預(yù)測的成本函數(shù)值與從運(yùn)動估計部40輸入的有關(guān)幀間預(yù)測的成本函數(shù)值相比較。隨后，模式選擇部50在幀內(nèi)預(yù)測和幀間預(yù)測之中選擇具有最小成本函數(shù)值的預(yù)測方法。在選擇幀內(nèi)預(yù)測的情況下，模式選擇部50將與幀內(nèi)預(yù)測有關(guān)的信息輸出至無損編碼部17，并將預(yù)測圖像數(shù)據(jù)輸出至減法部14和加法部23。同樣地，在選擇幀間預(yù)測的情況下，模式選擇部50將與上述幀間預(yù)測有關(guān)的信息輸出至無損編碼部17，并將預(yù)測圖像數(shù)據(jù)輸出至減法部14和加法部23。

[1-2.語法處理部的示例性配置]

圖2是示出了圖1所示圖像編碼裝置10的語法處理部13的詳細(xì)構(gòu)造例的框圖。參考圖2，語法處理部13包括設(shè)置存儲部132、參數(shù)生成部134和插入部136。

(1)設(shè)置存儲部

設(shè)置存儲部132存儲由圖像編碼裝置10在編碼處理中使用的各種設(shè)置。例如，設(shè)置存儲部132存儲諸如用于圖像數(shù)據(jù)內(nèi)每個序列的類(profile)、用于每個圖片的編碼模式、有關(guān)gop結(jié)構(gòu)的數(shù)據(jù)、以及編碼單位、預(yù)測單位和變換單位設(shè)置之類的信息。同樣地，在本實施例中，設(shè)置存儲部132存儲由量化部16(和逆量化部21)使用的有關(guān)量化矩陣的設(shè)置。這些設(shè)置可以是針對每個片段被預(yù)定的，典型地基于離線圖像分析。

(2)參數(shù)生成部

參數(shù)生成部134生成定義由設(shè)置存儲部132存儲的設(shè)置的參數(shù)，并且將生成的參數(shù)輸出至插入部136。

例如，在本實施例中，參數(shù)生成部134生成量化矩陣參數(shù)，后者則用于生成可由量化部16用作候選的量化矩陣。由量化部16使用的候選量化矩陣包括與可在圖像內(nèi)設(shè)置的各類變換單位相對應(yīng)的量化矩陣。在本實施例中，至少根據(jù)變換單位的形狀和尺寸的組合來對變換單位類型進(jìn)行分類。隨后將進(jìn)一步討論由參數(shù)生成部134生成的量化矩陣參數(shù)的例子。

(3)插入部

插入部136將相應(yīng)地包括由參數(shù)生成部134生成的參數(shù)組的諸如sps和pps的首部信息以及片段首部插入從重排序緩沖器12輸入的圖像數(shù)據(jù)流。由插入部136插入圖像數(shù)據(jù)流的首部信息包括由參數(shù)生成部134生成的量化矩陣參數(shù)。插入部136隨后將帶有插入的首部信息的圖像數(shù)據(jù)流輸出至減法部14、幀內(nèi)預(yù)測部30和運(yùn)動估計部40。

[1-3.正交變換部的示例性配置]

圖3是示出了圖1所示圖像編碼裝置10的正交變換部15的詳細(xì)構(gòu)造例的框圖。參見圖3，正交變換部15包括變換單位設(shè)置部152和正交變換計算部154。

(1)變換單位設(shè)置部

變換單位設(shè)置部152在圖像內(nèi)設(shè)置在對要被編碼的圖像數(shù)據(jù)進(jìn)行正交變換時使用的變換單位。由變換單位設(shè)置部152設(shè)置的變換單位的形狀可以是正方形或非正方形。例如，在幀內(nèi)預(yù)測部30使用在前討論的短距離幀內(nèi)預(yù)測方法的情況下，變換單位設(shè)置部152可以在非正方形預(yù)測單位被選作預(yù)測單位時設(shè)置與圖像中的預(yù)測單位具有相同尺寸的非正方形變換單位。

(2)正交變換計算部

針對由變換單位設(shè)置部152在圖像內(nèi)設(shè)置的各變換單位，正交變換計算部154通過對從減法部14輸入的預(yù)測誤差數(shù)據(jù)進(jìn)行正交變換來生成變換系數(shù)數(shù)據(jù)。正交變換計算部154隨后將生成的變換系數(shù)數(shù)據(jù)輸出至量化部16。此外，變換單位設(shè)置部152將指定設(shè)置的變換單位的變換單位信息輸出至量化部16。

[1-4.量化部的示例性配置]

圖4是示出了圖1所示圖像編碼裝置10的量化部16的詳細(xì)構(gòu)造例的框圖。參見圖4，量化部16包括量化矩陣設(shè)置部162和量化計算部164。

(1)量化矩陣設(shè)置部

對于由正交變換部15設(shè)置的各變換單位，量化矩陣設(shè)置部162設(shè)置用于量化由正交變換生成的變換系數(shù)數(shù)據(jù)的量化矩陣。例如，量化矩陣設(shè)置部162首先從正交變換部15獲取變換單位信息。變換單位信息可以是指定將各編碼單位劃分為一個或多個變換單位的分區(qū)位置的信息。此外，變換單位信息在其中預(yù)測單位和變換單位相等同的情況下可以是指定預(yù)測單位而非變換單位的信息。

量化矩陣設(shè)置部162從獲取的變換單位信息中識別各變換單位的形狀和尺寸，并且設(shè)置與所識別的各變換單位的形狀和大小相對應(yīng)的量化矩陣。例如，針對8×8像素變換單位設(shè)置一個8行8列的量化矩陣，針對2×8像素變換單位設(shè)置一個2行8列的量化矩陣，以及針對8×2像素變換單位設(shè)置一個8行2列的量化矩陣。量化矩陣設(shè)置部162針對各變換單位設(shè)置設(shè)置的量化矩陣可以對于例如預(yù)測模式(幀內(nèi)預(yù)測/幀間預(yù)測)和信號成分(y/cb/cr)的每種組合而不同。還可以根據(jù)來自速率控制部19的速率控制信號來對設(shè)定量化矩陣的量化步長進(jìn)行調(diào)整。

(2)正交變換計算部

針對每個變換單位，正交變換計算部154使用由變換方法選擇部152選擇的正交變換方法將從減法部14輸入的預(yù)測誤差數(shù)據(jù)變換為變換系數(shù)數(shù)據(jù)。正交變換計算部154隨后將經(jīng)變換的變換系數(shù)數(shù)據(jù)輸出至量化部16。變換方法選擇部152還可以將表達(dá)為每個變換單位選擇的正交變換方法的變換方法信息輸出至量化部16。

[1-5.示例性參數(shù)結(jié)構(gòu)]

圖5示出了由語法處理部13的參數(shù)生成部134生成的量化矩陣參數(shù)中與非正方形量化矩陣有關(guān)的參數(shù)例。注意到與正方形量化矩陣有關(guān)的參數(shù)可以是與諸如h.264/avc的現(xiàn)有圖像編碼方案中的那些參數(shù)相類似的參數(shù)。

參見圖5，量化矩陣參數(shù)包括用于生成各非正方形量化矩陣的參數(shù)組和“非正方形矩陣標(biāo)志”。

“非正方形矩陣標(biāo)志”是表達(dá)是否使用非正方形量化矩陣的標(biāo)志。在其中非正方形矩陣標(biāo)志指示“0:否”的情況下，不使用非正方形量化矩陣，并且由此省略圖5所示的用于生成非正方形量化矩陣的其他參數(shù)。另一方面，在其中非正方形矩陣標(biāo)志指示“1:是”的情況下，可以使用非正方形量化矩陣，并且這些量化矩陣將在解碼側(cè)基于以下描述的參數(shù)生成。

“生成模式”是用于生成非正方形量化矩陣的一個參數(shù)?！吧赡Ｊ健笆潜磉_(dá)如何生成非正方形量化矩陣的一種類別。作為一例，生成模式類別可以采用如下之一的值：

0:完全掃描模式

1:復(fù)制模式

2:轉(zhuǎn)置模式

完全掃描模式

如果生成模式是“0:完全掃描模式”，則量化矩陣參數(shù)額外包括“差分?jǐn)?shù)據(jù)”。該“差分?jǐn)?shù)據(jù)”是定義非正方形量化矩陣的數(shù)據(jù)。該“差分?jǐn)?shù)據(jù)”可以是通過例如根據(jù)給定掃描圖案將非正方形量化矩陣的所有元素轉(zhuǎn)換成線性陣列并以差分脈沖代碼調(diào)制(dpcm)格式編碼該線性陣列而獲取的數(shù)據(jù)。

(2)復(fù)制模式

如果生成模式是“1:復(fù)制模式”，非正方形量化矩陣則通過將對應(yīng)的正方形量化矩陣的某些行或列復(fù)制到非正方形量化矩陣的相應(yīng)行或列中來生成。與一具體非正方形量化矩陣相對應(yīng)的正方形量化矩陣可以是其邊長尺寸與該非正方形量化矩陣的長邊尺寸相等的正方形量化矩陣。在此情況下，量化矩陣參數(shù)額外包括“指定模式”。該“指定模式”是表達(dá)如何指定將被用作復(fù)制源行或列的正方形量化矩陣的行或列的類別。作為一例，該類別可以采用如下之一的值：

0:默認(rèn)

1:復(fù)制源id

2:方向+復(fù)制源id

如果指定模式是“0:默認(rèn)”，則處于預(yù)定義的默認(rèn)位置處的行或列被看做是復(fù)制源行或列。例如，如果正被處理的非正方形量化矩陣的尺寸是2行乘8列(2×8)，則相對應(yīng)的正方形量化矩陣的尺寸是8行乘8列(8×8)。在此情況下，該8×8量化矩陣的第0行和第4行或是第0行和第1行可以是默認(rèn)復(fù)制源。另舉一例，如果正被處理的非正方形量化矩陣的尺寸是8×2，則相對應(yīng)的正方形量化矩陣的尺寸類似地仍是8×8。在此情況下，該8×8量化矩陣的第0列和第4列或是第0列和第1列可以是默認(rèn)復(fù)制源。注意到，矩陣的最上行和最左列在本文中分別被看作是第0行和第0列。

如果指定模式是“1:復(fù)制源id”，則量化矩陣參數(shù)額外包括“復(fù)制源id”。該“復(fù)制源id”表達(dá)用于指定對應(yīng)正方形量化矩陣中將被用作復(fù)制源行或列的行或列的位置的一個或多個行id或列id。例如，假設(shè)正被處理的非正方形量化矩陣的尺寸為2×8，并且“復(fù)制源id”指示“0”和“3”。在此情況下，該8×8正方形量化矩陣的第0行和第3行變?yōu)閺?fù)制源。注意到使用該指定方案，如果正被處理的非正方形量化矩陣的長邊是水平邊，則相應(yīng)正方形量化矩陣的一些行變?yōu)閺?fù)制源。與此同時，如果正被處理的非正方形量化矩陣的長邊是垂直邊，則相應(yīng)正方形量化矩陣的一些列變?yōu)閺?fù)制源。

如果指定模式是“2:方向+復(fù)制源id”，則可以將相應(yīng)正方形量化矩陣的行指定為復(fù)制源，也可以將列指定為復(fù)制源，而不考慮正被處理的非正方形量化矩陣的長邊方向。在此情況下，量化矩陣參數(shù)額外包括“復(fù)制源id”和“復(fù)制源方向”?！皬?fù)制源方向”是指示是采用相應(yīng)正方形量化矩陣的行作為復(fù)制源還是采用列作為復(fù)制源的類別。作為一例，復(fù)制源方向類別可以采用如下之一的值：

0:相同方向

1:不同方向

例如，假設(shè)正被處理的非正方形量化矩陣的尺寸為2×8，“復(fù)制源id”指示“0”和“3”，并且“復(fù)制源方向”指示“0:相同方向”。在此情況下，該8×8正方形量化矩陣的第0行和第3行變?yōu)閺?fù)制源。另一方面，在“復(fù)制源方向”在類似條件下指示“1:不同方向”的情況下，8×8正方形量化矩陣的第0列和第3列分別變?yōu)橛糜?×8非正方形量化矩陣的第0行和第1行的復(fù)制源。

(3)轉(zhuǎn)置模式

如果生成模式是“2:轉(zhuǎn)置模式”，則正被處理的非正方形量化矩陣被計算作為其長邊尺寸和短邊尺寸相反的另一非正方形量化矩陣的轉(zhuǎn)置。例如，一個8×2量化矩陣可被計算作為一個2×8量化矩陣的轉(zhuǎn)置。

在其中生成模式是“1:復(fù)制模式”或“2:轉(zhuǎn)置模式”的情況下，“殘差數(shù)據(jù)”可被包括在量化矩陣參數(shù)內(nèi)。殘差數(shù)據(jù)可以是通過把根據(jù)復(fù)制或轉(zhuǎn)置生成的量化矩陣相對于實際正被使用的量化矩陣的所有元素的殘差使用給定掃描圖案轉(zhuǎn)換為線性陣列而獲取的數(shù)據(jù)。

正如在前所討論的，在圖5例示的量化矩陣參數(shù)可被插入sps或pps，或是與這些參數(shù)集不同的參數(shù)集。應(yīng)該注意到這些量化矩陣參數(shù)僅是一個例子。換句話說，可以省略上述量化矩陣參數(shù)中的一些參數(shù)，并且還可以添加其他參數(shù)。此外，還可以分別為各類型的非正方形量化矩陣定義除圖5例示的“非正方形矩陣標(biāo)志”和“殘差數(shù)據(jù)”之外的參數(shù)，或為多種類型的非正方形量化矩陣共同定義上述參數(shù)。

例如，有關(guān)是否以復(fù)制模式生成非正方形量化矩陣以及復(fù)制哪些行或列的問題可以被預(yù)定義為在編碼器和解碼器之間共享的規(guī)范。在此情況下，可以不將諸如“生成模式”、“指定模式”、“復(fù)制源id”和“復(fù)制源方向”之類的參數(shù)插入?yún)?shù)集，由此減少開銷并潛在地改善編碼效率。

此外，在使用默認(rèn)量化矩陣作為相應(yīng)正方形量化矩陣的情況下，即便“非正方形矩陣標(biāo)志”指示“1:是”，也可以省略圖5例示的除“非正方形矩陣標(biāo)志”之外的量化矩陣參數(shù)。在此情況下，還可以為該非正方形量化矩陣使用預(yù)定義的默認(rèn)量化矩陣。

[1-6.生成非正方形量化矩陣的示例]

圖6a至6c示出了在復(fù)制模式下生成非正方形量化矩陣的例子。

圖6a的右側(cè)示出了2×8非正方形量化矩陣mns28，其是正被生成的量化矩陣。與此同時，圖6a的左側(cè)示出了與量化矩陣mns28相對應(yīng)的8×8正方形量化矩陣ms8。同樣地，“0:默認(rèn)”被規(guī)定作為指定模式。假設(shè)預(yù)定義的默認(rèn)復(fù)制源是第0行和第4行。在此情況下，量化矩陣mns28可以通過將量化矩陣ms8的第0行復(fù)制到第0行，并將量化矩陣ms8的第4行復(fù)制到第1行來生成。此外，還可以在需要時向復(fù)制得到的量化矩陣mns28的每個元素添加殘差。

以此方式，通過使得能夠通過復(fù)制正方形量化矩陣的行或列生成非正方形量化矩陣，就能夠抑制因使用非正方形量化矩陣引起的比特率的增加。此外，采用復(fù)制源行或列的位置作為默認(rèn)位置則避免了由指定所述復(fù)制源行或列的位置所引起的比特率的增加。

圖6b的右側(cè)示出了8×2非正方形量化矩陣mns82，其是正被生成的量化矩陣。與此同時，圖6b的左側(cè)示出了與量化矩陣mns82相對應(yīng)的8×8正方形量化矩陣ms8。同樣地，“1:復(fù)制源id”被規(guī)定作為指定模式，并且(0,6)被指定為復(fù)制源id。在此情況下，量化矩陣mns82可以通過將量化矩陣ms8的第0列復(fù)制到第0列并將量化矩陣ms8的第6列復(fù)制到第1列來生成。此外，還可以在需要時向復(fù)制得到的量化矩陣mns82的每個元素添加殘差。

以此方式，通過在從正方形量化矩陣中生成非正方形量化矩陣時指定復(fù)制源行或列的位置，變得能夠進(jìn)一步減小復(fù)制所得矩陣相對于實際使用矩陣的殘差，并抑制用于殘差數(shù)據(jù)的比特率。于是，能夠更為有效地抑制由使用非正方形量化矩陣引起的比特率的增加。

圖6c的右側(cè)示出了2×4非正方形量化矩陣mns24，其是正被生成的量化矩陣。與此同時，圖6c的左側(cè)示出了與量化矩陣mns24相對應(yīng)的4×4正方形量化矩陣ms4。此外，“2:復(fù)制源方向+復(fù)制源id”被規(guī)定作為指定模式，(0,3)被規(guī)定為復(fù)制源id，并且“1:不同方向”被規(guī)定為復(fù)制源方向。在此情況下，量化矩陣mns24可以通過將量化矩陣ms4的第0列復(fù)制到第0行并將量化矩陣ms4的第3列復(fù)制到第1行來生成。此外，還可以在需要時向復(fù)制得到的量化矩陣mns24的每個元素添加殘差。

以此方式，通過使得能夠?qū)⒄叫瘟炕仃嚨男泻土袃烧咧付閺?fù)制源，而不考慮非正方形量化矩陣的形狀，就能夠拓展復(fù)制源的選擇范圍，尤其是在使用具有不對稱元素值的量化矩陣的情況下。于是，能夠最小化復(fù)制所得矩陣相比于正實際使用矩陣的殘差。

圖7示出了在轉(zhuǎn)置模式下生成非正方形量化矩陣的例子。

圖7的右側(cè)示出了2×8非正方形量化矩陣mns28，其是正被生成的量化矩陣。與此同時，圖7的左側(cè)示出了8×2非正方形量化矩陣mns82。在此情況下，量化矩陣mns28可被生成作為量化矩陣mns82的轉(zhuǎn)置(mns82^t)。此外，還可以在需要時向轉(zhuǎn)置得到的量化矩陣mns28的每個元素添加殘差。

以此方式，在轉(zhuǎn)置模式下，就能夠與使用來自另一對稱非正方形量化矩陣的復(fù)制模式的情況相類似地生成非正方形量化矩陣，而不需要諸如指定模式、復(fù)制源id和復(fù)制源方向之類的參數(shù)。結(jié)果，就能夠進(jìn)一步降低用于非正方形量化矩陣的比特率。

圖8a和8b是說明用于生成非正方形量化矩陣的簡化技術(shù)的說明圖。

圖8a的右側(cè)示出了兩個非正方形量化矩陣mns416和mns164，其是正被生成的量化矩陣。與此同時，圖8a的左側(cè)示出了對應(yīng)的8×8正方形量化矩陣ms16。在此，假設(shè)有關(guān)是否以復(fù)制模式生成非正方形量化矩陣以及復(fù)制哪些行/列的問題已為編碼器和解碼器兩者所知(例如，預(yù)定義為規(guī)范)。結(jié)果，“生成模式”、“指定模式”、“復(fù)制源id”和“復(fù)制源方向”沒有被編碼為量化參數(shù)。該預(yù)定義的默認(rèn)復(fù)制源行/列的位置可以是任意位置。在圖8a的例子中，假設(shè)該預(yù)定義的默認(rèn)復(fù)制源行和列的位置分別是從第0行開始每隔3行以及從第0列開始每隔3列的位置(圖中的陰影部分)。在此情況下，量化矩陣mns416可以通過將量化矩陣ms16的第0行、第4行、第8行和第12行復(fù)制到四行內(nèi)來生成。而量化矩陣mns164則可通過將量化矩陣ms16的第0列、第4列、第8列和第12列復(fù)制到四列內(nèi)來生成。

圖8b的右側(cè)示出了兩個非正方形量化矩陣mns832和mns328，其是正被生成的量化矩陣。與此同時，圖8b的左側(cè)示出了對應(yīng)的32×32正方形量化矩陣ms32。類似于圖8a的例子，“生成模式”、“指定模式”、“復(fù)制源id”和“復(fù)制源方向”沒有被編碼為量化參數(shù)。類似于圖8a的例子，假設(shè)該預(yù)定義的默認(rèn)復(fù)制源行和列的位置分別是從第0行開始每隔3行以及從第0列開始每隔3列的位置(圖中的陰影部分)。在此情況下，量化矩陣mns832可以通過將量化矩陣ms32的第0行、第4行、第8行、第12行、第16行、第20行、第24行和第28行復(fù)制到八行內(nèi)來生成。量化矩陣mns328可以通過將量化矩陣ms32的第0列、第4列、第8列、第12列、第16列、第20列、第24列和第28列復(fù)制到八列內(nèi)來生成。

注意到，如同圖8a和8b中的例子，默認(rèn)復(fù)制源行/列的位置是根據(jù)矩陣的邊長尺寸的比例以相等的間隔分配的位置。另外，例如可以使用從頂邊或左邊開始的n個連續(xù)的行/列。此外，作為復(fù)制默認(rèn)位置上的行/列的代替，可以將正方形量化矩陣內(nèi)默認(rèn)位置處的四個元素復(fù)制到非正方形量化矩陣的四個頂點位置處的元素內(nèi)，而其余元素則被插值(使用諸如線性插值之類的技術(shù))。此外，還可以將正方形量化矩陣內(nèi)默認(rèn)位置處的n個元素(其中n等于非正方形量化矩陣中所有元素的數(shù)目)分別復(fù)制到非正方形量化矩陣內(nèi)相應(yīng)位置處的元素內(nèi)。

以此方式，通過預(yù)定義是否要在復(fù)制模式下從正方形量化矩陣中生成非正方形量化矩陣以及如何復(fù)制所述矩陣，就能夠省略用于非正方形量化矩陣的量化矩陣參數(shù)的大部分編碼。于是，能夠降低傳送開銷，同時還降低編碼器和解碼器配置的復(fù)雜度。

圖9是說明在使用默認(rèn)正方形量化矩陣的情況下用于生成非正方形量化矩陣的技術(shù)的說明圖。

圖9的左側(cè)例示的是8×8默認(rèn)正方形量化矩陣ms8def。在使用這一默認(rèn)正方形量化矩陣ms8def的情況下，相應(yīng)的非正方形量化矩陣也可以是默認(rèn)矩陣。圖9的右側(cè)例示的是兩個默認(rèn)非正方形量化矩陣mns28def和mns82def。作為從正方形量化矩陣ms8def生成(使用諸如復(fù)制行或列的技術(shù))的代替，非正方形量化矩陣mns28def和mns82def則例如可被預(yù)定義為共享規(guī)范，并且可被存儲在編碼器和解碼器兩者的存儲器內(nèi)。

以此方式，在使用默認(rèn)正方形量化矩陣的情況下，還采用非正方形量化矩陣作為默認(rèn)量化矩陣，使得減少編碼用量化矩陣參數(shù)并降低傳送開銷變得可能。此外，還能夠降低編碼器和解碼器配置的復(fù)雜度。

[1-7.掃描圖案的示例]

使用圖5例示的量化矩陣參數(shù)，通過根據(jù)某一掃描圖案線性化二維矩陣而在完全掃描模式下生成差分?jǐn)?shù)據(jù)，而在復(fù)制模式和轉(zhuǎn)置模式下生成殘差數(shù)據(jù)。在線性化正方形量化矩陣的各元素時通常使用的掃描圖案是被稱為折線掃描的圖案。相比之下，在線性化非正方形量化矩陣的各元素時，也可以使用與類似折線掃描的掃描圖案不相同的掃描圖案。

圖10示出了可被用于非正方形量化矩陣的掃描圖案的三個例子。

圖10左側(cè)的第一例是類似于折線掃描的掃描圖案。在此，這一掃描圖案也被稱為折線掃描。在折線掃描中，假設(shè)位于量化矩陣的從右上到左下的對角線上的元素高度相關(guān)，并且掃描順序被確定為使得高度相關(guān)元素組中的元素被連續(xù)掃描。

在圖10中央的第二例是連續(xù)掃描布置在非正方形量化矩陣的長邊方向內(nèi)的元素組的掃描圖案。該掃描圖案被稱為長邊優(yōu)先掃描。在布置在量化矩陣的長邊方向內(nèi)的各元素之間具有高度相關(guān)的情況下，該長邊優(yōu)先掃描減小被連續(xù)掃描的各元素之間的差異并優(yōu)化dpcm后的線性陣列。

在圖10右側(cè)的第三例是連續(xù)掃描布置在非正方形量化矩陣的短邊方向內(nèi)的元素組的掃描圖案。該掃描圖案被稱為短邊優(yōu)先掃描。在布置在量化矩陣的短邊方向內(nèi)的各元素之間具有高度相關(guān)的情況下，該短邊優(yōu)先掃描減小被連續(xù)掃描的各元素之間的差異并優(yōu)化dpcm后的線性陣列。

用于非正方形量化矩陣的掃描圖案可以是根據(jù)圖10例示的掃描圖案的任意被靜態(tài)定義的掃描圖案。另外，可以為各序列、各圖片或各片段從多個候選掃描圖案中適應(yīng)性地選擇用于優(yōu)化編碼效率的掃描圖案。在此情況下，用于標(biāo)識所使用的掃描圖案的標(biāo)識符(諸如圖10中例示的掃描id(scan_id))可被包括在諸如sps、pps或片段首部之類的參數(shù)集內(nèi)。

<2.根據(jù)實施例的編碼期間的處理流程>

圖11是示出了由根據(jù)本實施例的圖像編碼裝置10編碼期間的處理流程例的流程圖。注意到，出于在此描述簡明的目的，僅例示了與圖像數(shù)據(jù)的正交變換和量化有關(guān)的處理步驟。

參見圖11，首先，正交變換部15的變換單位設(shè)置部152識別要在圖像數(shù)據(jù)中設(shè)置以用于編碼的各變換單位的形狀和尺寸，并設(shè)置該圖像內(nèi)的變換單位(步驟s110)。

接下來，針對由變換單位設(shè)置部152設(shè)置的各變換單位，正交變換計算部154通過對圖像數(shù)據(jù)(從減法部14輸入的預(yù)測誤差數(shù)據(jù))進(jìn)行正交變換來生成變換系數(shù)數(shù)據(jù)(步驟s120)。

接下來，量化部16的量化矩陣設(shè)置部162根據(jù)設(shè)置的變換單位的形狀和尺寸設(shè)置用于各變換單位的量化矩陣(步驟s130)。

接下來，針對各變換單位，量化計算部164使用由量化矩陣設(shè)置部162設(shè)置的量化矩陣來對從正交變換計算部154輸入的變換系數(shù)數(shù)據(jù)進(jìn)行量化(步驟s140)。

無損編碼部17隨后通過對從量化計算部164輸入的量化數(shù)據(jù)進(jìn)行編碼生成編碼流，并且還將量化矩陣參數(shù)編碼并多路復(fù)用到該編碼流中(步驟s150)。

典型地，可以為要編碼圖像內(nèi)的所有變換單位重復(fù)這些處理步驟。

<3.根據(jù)實施例的圖像解碼裝置的示例性配置]

這一部分描述根據(jù)一個實施例的圖像解碼裝置的示例性配置。

[3-1.示例性整體配置]

圖12是例示了根據(jù)一個實施例的圖像解碼裝置60的示例性構(gòu)成的框圖。參考圖12，圖像解碼裝置60包括語法處理部61、無損解碼部62、逆量化部63、逆正交變換部64、加法部65、解塊濾波器66、重排序緩沖器67、數(shù)模(d/a)轉(zhuǎn)換部68、幀存儲器69、選擇器70和71、幀內(nèi)預(yù)測部80和運(yùn)動補(bǔ)償部90。

語法處理部61從經(jīng)由傳輸通道輸入的編碼流獲取諸如sps、pps和片段首部的首部信息，并基于所獲取的首部信息識別由圖像解碼裝置60進(jìn)行解碼處理的各種設(shè)置。例如，在本實施例中，語法處理部61基于在每個參數(shù)集內(nèi)包括的量化矩陣參數(shù)生成可在由逆量化部63進(jìn)行的逆量化處理期間使用的候選量化矩陣。隨后將進(jìn)一步描述語法處理部61的詳細(xì)配置。

無損解碼部62根據(jù)在編碼時使用的編碼方法解碼從語法處理部61輸入的編碼流。無損解碼部62隨后將經(jīng)解碼的量化數(shù)據(jù)輸出至逆量化部63。此外，無損解碼部62將包括在首部信息內(nèi)的與幀內(nèi)預(yù)測有關(guān)的信息輸出至幀內(nèi)預(yù)測部80，并將與幀間預(yù)測有關(guān)的信息輸出至運(yùn)動補(bǔ)償部90。

逆量化部63使用從由語法處理部61生成的候選量化矩陣中與各變換單位的形狀和尺寸相對應(yīng)的量化矩陣對由無損解碼部62解碼的量化數(shù)據(jù)(即，量化的變換系數(shù)數(shù)據(jù))進(jìn)行逆量化。隨后將進(jìn)一步描述逆量化部63的詳細(xì)配置。

逆正交變換部64通過對要解碼的圖像內(nèi)設(shè)置的各變換單位的經(jīng)逆量化的變換系數(shù)數(shù)據(jù)進(jìn)行逆正交變換來生成預(yù)測誤差數(shù)據(jù)?？稍诒緦嵤├性O(shè)置的變換單位的形狀如前所述是正方形或非正方形。隨后，逆正交變換部64將生成的預(yù)測誤差數(shù)據(jù)輸出至加法部65。

加法部65將從逆正交變換部64輸入的預(yù)測誤差數(shù)據(jù)與從選擇器71輸入的預(yù)測圖像數(shù)據(jù)相加，藉此生成解碼圖像數(shù)據(jù)。隨后，加法部65將由此生成的解碼圖像數(shù)據(jù)輸出至解塊濾波器66和幀存儲器69。

解塊濾波器66通過對從加法部65輸入的解碼圖像數(shù)據(jù)進(jìn)行濾波來移除成塊偽像，并且將由此濾波的解碼圖像數(shù)據(jù)輸出至重排序緩沖器67和幀存儲器69。

重排序緩沖器67通過對從解塊濾波器66輸入的圖像進(jìn)行重新排序而生成按時間順序的圖像數(shù)據(jù)序列。隨后，重排序緩沖器67將生成的圖像數(shù)據(jù)輸出至d/a轉(zhuǎn)換部68。

d/a轉(zhuǎn)換部68將從重排序緩沖器67輸入的數(shù)字格式的圖像數(shù)據(jù)轉(zhuǎn)換成模擬格式的圖像信號。然后，d/a轉(zhuǎn)換部68就通過將模擬圖像信號輸入至例如連接至圖像解碼裝置60的顯示器(未示出)而實現(xiàn)圖像的顯示。

幀存儲器69使用存儲介質(zhì)存儲從加法部65輸入的未經(jīng)濾波的解碼圖像數(shù)據(jù)以及從解塊濾波器66輸入的經(jīng)濾波的解碼圖像數(shù)據(jù)。

選擇器70根據(jù)由無損解碼部62獲取的模式信息為圖像內(nèi)的每個塊在幀內(nèi)預(yù)測部80和運(yùn)動補(bǔ)償部90之間切換來自幀存儲器69的圖像數(shù)據(jù)的輸出目的地。例如，在幀內(nèi)預(yù)測模式被指定的情況下，選擇器70將從幀存儲器69供應(yīng)的未經(jīng)濾波的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)輸出至幀內(nèi)預(yù)測部80。同樣地，在幀間預(yù)測模式被指定的情況下，選擇器70將從幀存儲器69供應(yīng)的經(jīng)濾波的解碼圖像數(shù)據(jù)作為參考圖像數(shù)據(jù)輸出至運(yùn)動補(bǔ)償部90。

選擇器71根據(jù)由無損解碼部62獲取的模式信息為圖像內(nèi)的每個塊在幀內(nèi)預(yù)測部80和運(yùn)動補(bǔ)償部90之間切換要被供應(yīng)至加法部65的預(yù)測圖像數(shù)據(jù)的輸出源。例如，在幀內(nèi)預(yù)測模式被指定的情況下，選擇器71為加法部65供應(yīng)從幀內(nèi)預(yù)測部80輸出的預(yù)測圖像數(shù)據(jù)。在幀間預(yù)測模式被指定的情況下，選擇器71為加法部65供應(yīng)從運(yùn)動補(bǔ)償部90輸出的預(yù)測圖像數(shù)據(jù)。

基于從無損解碼部62輸入的與幀內(nèi)預(yù)測有關(guān)的信息以及來自幀存儲器69的參考圖像數(shù)據(jù)，幀內(nèi)預(yù)測部80執(zhí)行像素值的圖片內(nèi)預(yù)測，并且生成預(yù)測圖像數(shù)據(jù)。隨后，幀內(nèi)預(yù)測部80將由此生成的預(yù)測圖像數(shù)據(jù)輸出至選擇器71。

基于從無損解碼部62輸入的與幀間預(yù)測有關(guān)的信息以及來自幀存儲器69的參考圖像數(shù)據(jù)，運(yùn)動補(bǔ)償部90執(zhí)行運(yùn)動補(bǔ)償處理，并且生成預(yù)測圖像數(shù)據(jù)。隨后，運(yùn)動補(bǔ)償部90將由此生成的預(yù)測圖像數(shù)據(jù)輸出至選擇器71。

[3-2.語法處理部的示例性配置]

圖13是示出了圖12所示圖像解碼裝置60的語法處理部61的詳細(xì)構(gòu)造例的框圖。參見圖13，語法處理部61包括參數(shù)獲取部212和生成部214。

(1)參數(shù)獲取部

參數(shù)獲取部212從圖像數(shù)據(jù)流中識別諸如sps、pps和片段首部之類的首部信息，并且獲取包括在該首部信息內(nèi)的參數(shù)。例如，在本實施例中，參數(shù)獲取部212從各個參數(shù)集獲取定義量化矩陣的量化矩陣參數(shù)。參數(shù)獲取部212隨后將獲取的參數(shù)輸出至生成部214。參數(shù)獲取部212還將圖像數(shù)據(jù)流輸出至無損解碼部62。

(2)生成部

生成部214基于由參數(shù)獲取部212獲取的量化矩陣參數(shù)生成可由逆量化部63使用的候選量化矩陣。在本實施例中，由生成部214生成的量化矩陣包括與各類型的變換單位(即，形狀和尺寸的每個組合)相對應(yīng)的量化矩陣，其中所述變換單位是由逆正交變換部64進(jìn)行逆正交變換的單位。

更具體地，例如在其中不使用默認(rèn)量化矩陣的情況下，生成部214基于在編碼流的首部或參數(shù)集中的定義來生成各種尺寸的正方形量化矩陣。生成部214還在編碼流的首部或參數(shù)集包括指示要使用非正方形量化矩陣的標(biāo)志(例如，在前討論的非正方形矩陣標(biāo)志)的情況下生成非正方形量化矩陣。非正方形量化矩陣可以根據(jù)在前討論的完全掃描模式、復(fù)制模式和轉(zhuǎn)置模式中的任意模式生成。

例如，在復(fù)制模式下，生成部214通過從相應(yīng)的正方形量化矩陣中復(fù)制行或列來生成非正方形量化矩陣。有關(guān)從該正方形量化矩陣中復(fù)制哪些行或列的問題可由量化矩陣參數(shù)中的復(fù)制源id和復(fù)制源方向指定。與此同時，在要復(fù)制的行或列未被指定的情況下，可以將在預(yù)定義的默認(rèn)位置處的行或列看作是復(fù)制源。

此外，在完全掃描模式下，生成部214基于在dpcm格式下使用的差分?jǐn)?shù)據(jù)的定義生成非正方形量化矩陣，而非從正方形量化矩陣中生成非正方形量化矩陣。

此外，在轉(zhuǎn)置模式下，生成部214生成作為另一非正方形量化矩陣的轉(zhuǎn)置的非正方形量化矩陣，其中該另一非正方形量化矩陣具有與所述非正方形量化矩陣對稱的形狀。在復(fù)制模式和轉(zhuǎn)置模式下，生成部214可以進(jìn)一步地將量化矩陣參數(shù)中定義的殘差添加至復(fù)制得到的量化矩陣或轉(zhuǎn)置得到的量化矩陣的各元素。

注意到在其中與一具體非正方形量化矩陣相對應(yīng)的正方形量化矩陣是默認(rèn)量化矩陣的情況下，生成部214使用預(yù)定義的默認(rèn)非正方形量化矩陣作為所述非正方形量化矩陣。

生成部214將以此方式生成的候選量化矩陣輸出至逆量化部63。

[3-3.逆量化部的示例性配置]

圖14是示出了圖12所示圖像解碼裝置60的逆量化部63的詳細(xì)構(gòu)造例的框圖。參見圖14，逆量化部63包括量化矩陣設(shè)置部232和逆量化計算部234。

(1)量化矩陣設(shè)置部

量化矩陣設(shè)置部232識別由逆正交變換部64在進(jìn)行逆正交變換期間所使用的變換單位的形狀和尺寸，并且為各變換單位設(shè)置與所識別的形狀和尺寸相對應(yīng)的量化矩陣。例如，量化矩陣設(shè)置部232獲取包括在編碼流首部信息內(nèi)的變換單位信息。隨后，量化矩陣設(shè)置部232從變換單位信息中識別各變換單位的形狀和尺寸，并且針對各變換單位設(shè)置與從由語法處理部61的生成部214生成的量化矩陣中識別的形狀和尺寸相對應(yīng)的量化矩陣。注意到量化矩陣設(shè)置部232還可以為各變換單位設(shè)置針對例如預(yù)測模式(幀內(nèi)預(yù)測/幀間預(yù)測)和信號成分(y/cb/cr)的每種組合而有所不同的量化矩陣。

(2)逆量化計算部

針對每個變換單位，逆量化計算部234使用由量化矩陣設(shè)置部232設(shè)置的量化矩陣來對從正交變換部62輸入的變換系數(shù)數(shù)據(jù)(量化數(shù)據(jù))進(jìn)行逆量化。逆量化計算部234隨后將經(jīng)逆量化的變換系數(shù)數(shù)據(jù)輸出至逆正交變換部64。

[3-4.逆正交變換部的示例性配置]

圖15是示出了圖12所示圖像解碼裝置60的逆正交變換部64的詳細(xì)構(gòu)造例的框圖。參見圖15，逆正交變換部64包括變換單位選擇部242和逆正交變換計算部244。

(1)變換單位設(shè)置部

變換單位設(shè)置部242設(shè)置正方形或非正方形變換單位作為在對要解碼的圖像數(shù)據(jù)進(jìn)行逆正交變換時使用的變換單位。由變換單位設(shè)置部242設(shè)置的變換單位的形狀可以是正方形或非正方形。例如，在幀內(nèi)預(yù)測部80使用在前討論的短距離幀內(nèi)預(yù)測法的情況下，變換單位設(shè)置部242可以在非正方形預(yù)測單位被選作預(yù)測單位時設(shè)置與該預(yù)測單位具有相同尺寸的非正方形變換單位。

(2)正交變換計算部

針對由變換單位設(shè)置部242設(shè)置的各變換單位，逆正交變換計算部244通過對從逆量化部63輸入的變換系數(shù)數(shù)據(jù)進(jìn)行逆正交變換來生成預(yù)測誤差數(shù)據(jù)。隨后，逆正交變換計算部244將生成的預(yù)測誤差數(shù)據(jù)輸出至加法部65。

<4.根據(jù)實施例的解碼期間的處理流程>

(1)處理流程概述

圖16是示出了由根據(jù)本實施例的圖像解碼裝置60解碼期間的處理流程例的流程圖。注意到，出于在此描述簡明的目的，僅例示了與圖像數(shù)據(jù)的逆正交變換和逆量化有關(guān)的處理步驟。

參見圖16，首先，語法處理部61的參數(shù)獲取部212從圖像數(shù)據(jù)的流中識別諸如sps、pps和片段首部之類的首部信息，并且獲取包括在該首部信息內(nèi)的量化矩陣參數(shù)(步驟s210)。

接下來，語法處理部61的生成部214基于由參數(shù)獲取部212獲取的量化矩陣參數(shù)從可由逆量化部63使用的候選量化矩陣中生成正方形量化矩陣(步驟s220)。

接下來，生成部214基于上述量化矩陣參數(shù)從可由逆量化部63使用的候選量化矩陣中生成非正方形量化矩陣(步驟s230)。隨后使用圖17進(jìn)一步描述在此處的詳細(xì)處理流程。

接下來，逆量化部63的量化矩陣設(shè)置部232為各變換單位設(shè)置與該變換單位的形狀和尺寸的組合相對應(yīng)的量化矩陣(步驟s260)。

接下來，針對各變換單位，逆量化部63的逆量化計算部234使用由量化矩陣設(shè)置部232設(shè)置的量化矩陣對從無損解碼部62輸入的量化數(shù)據(jù)進(jìn)行逆量化(步驟s270)。

接下來，針對各變換單位，逆正交變換部64通過對從逆量化部63生成的變換系數(shù)數(shù)據(jù)進(jìn)行逆正交變換來生成預(yù)測誤差數(shù)據(jù)(步驟s280)。通過具有將在此處生成的預(yù)測誤差數(shù)據(jù)與預(yù)測圖像數(shù)據(jù)相加的加法部65，編碼前的圖像數(shù)據(jù)得以恢復(fù)。

注意到，典型地可以為要解碼圖像內(nèi)的全部變換單位重復(fù)從步驟s260到步驟s280的處理。

(2)非正方形量化矩陣生成處理

圖17是示出了圖16的步驟s230的非正方形量化矩陣生成處理的流程例的流程圖。在圖17中例示的處理可以針對包括量化矩陣參數(shù)的各參數(shù)集進(jìn)行。注意到，假設(shè)各參數(shù)集包括圖5例示的量化矩陣參數(shù)。

參見圖17，首先，生成部214獲取非正方形矩陣標(biāo)志(步驟s231)。生成部214隨后基于該非正方形矩陣標(biāo)志的值判定是否要生成非正方形量化矩陣(步驟s232)。在此處，生成部214在判定不生成非正方形量化矩陣的情況下跳過后續(xù)處理。另一方面，該處理在生成部214判定生成非正方形量化矩陣的情況下行進(jìn)至步驟s234。

可以針對每種類型的非正方形量化矩陣重復(fù)從步驟s236到步驟s252的處理(步驟s234)。可以通過例如量化矩陣尺寸、預(yù)測模式和信號成分的組合來對非正方形量化矩陣的類型進(jìn)行分類。

在步驟s238，生成部214判定相應(yīng)的正方形量化矩陣是否是默認(rèn)量化矩陣(步驟s236)。在此處，該處理在相應(yīng)的正方形量化矩陣是默認(rèn)量化矩陣的情況下行進(jìn)至驟s237。另一方面，該處理在相應(yīng)的正方形量化矩陣不是默認(rèn)量化矩陣的情況下行進(jìn)至驟s238。

在步驟s237，生成部214獲取在存儲器中存儲的預(yù)定義的默認(rèn)量化矩陣作為要生成的非正方形量化矩陣(步驟s237)。

在步驟s238，生成部214獲取生成模式(步驟s238)。生成部214隨后基于獲取的生成模式的值切換后續(xù)處理。

例如，在生成模式指示完全掃描模式的情況下(步驟s240)，生成部214額外獲取差分?jǐn)?shù)據(jù)并且在完全掃描模式下生成非正方形量化矩陣(步驟s242)。

此外，在生成模式指示復(fù)制模式的情況下(步驟s244)，生成部214額外獲取指定模式，并且在需要時獲取復(fù)制源id和復(fù)制源方向(步驟s246)。生成部214隨后在復(fù)制模式下生成非正方形量化矩陣，或者換句話說，通過從相應(yīng)正方形量化矩陣中復(fù)制指定的行或列來生成非正方形量化矩陣(步驟s248)。

此外，例如在其中生成模式指示轉(zhuǎn)置模式的情況下，生成部214在轉(zhuǎn)置模式下從另一非正方形量化矩陣生成非正方形量化矩陣，其中該另一非正方形量化矩陣具有與所述非正方形量化矩陣對稱的形狀(步驟s250)。

注意到在通過從正方形量化矩陣中復(fù)制來預(yù)定義生成非正方形量化矩陣的情況下，非正方形量化矩陣可以在作為一般規(guī)則的復(fù)制模式下生成，而無需基于生成模式的值來進(jìn)行切換處理。

此外，在復(fù)制模式或轉(zhuǎn)置模式中存在殘差數(shù)據(jù)的情況下，生成部214將殘差添加至復(fù)制得到的量化矩陣或轉(zhuǎn)置得到的量化矩陣的各元素(步驟s252)。

<5.各種編解碼器的應(yīng)用>

根據(jù)本公開的技術(shù)可以應(yīng)用至與圖像編碼和解碼有關(guān)的各種編解碼器。在本章內(nèi)，將描述根據(jù)本公開的技術(shù)被分別應(yīng)用于多視點編解碼器和可縮放編解碼器的例子。

[5-1.多視圖編解碼器]

多視圖編解碼器是用于對被稱為多視點視頻進(jìn)行編碼和解碼的圖像編碼方案。圖18是用于說明多視圖編解碼器的說明圖。參見圖18，例示了分別從三個視點捕捉的三個視圖的幀序列。向每個視圖給出一個視圖id(view_id)。多個視圖之一被指定為基本視圖?；疽晥D之外的其他視圖被稱為非基本視圖。在圖18的例子中，帶有視圖id“0”的視圖是基本視圖，而另兩個帶有視圖id“1”和“2”的視圖是非基本視圖。當(dāng)對該多視圖圖像數(shù)據(jù)進(jìn)行編碼時，編碼流的總數(shù)據(jù)大小可以通過基于基本視圖內(nèi)各幀的編碼信息來編碼非基本視圖內(nèi)的幀而被壓縮。

在根據(jù)上述多視圖編解碼器的編碼處理和解碼處理中，可以從與正方形變換單位相對應(yīng)的量化矩陣中生成與非正方形變換單位相對應(yīng)的量化矩陣。還可以為各視圖設(shè)置某種類型的控制參數(shù)(例如，圖5例示的參數(shù))，以生成要由各視圖使用的量化矩陣。同樣地，在基本視圖中設(shè)置的控制參數(shù)也可以針對非基本視圖重新使用。同樣地，可以額外指定用于指示是否要跨視圖重新使用控制參數(shù)的標(biāo)志。

圖19是用于說明上述圖像編碼處理對多視圖編解碼器的應(yīng)用的說明圖。參見圖19，示出了多視圖編碼裝置710的配置作為例子。多視圖編碼裝置710配備有第一編碼部720、第二編碼部730和多路復(fù)用部740。

第一編碼部720對基本視圖圖像進(jìn)行編碼，并且生成基本視圖的編碼流。第二編碼部730對非基本視圖圖像進(jìn)行編碼，并且生成非基本視圖的編碼流。多路復(fù)用部740將由第一編碼部720生成的基本視圖的編碼流與由第二編碼部730生成的非基本視圖的編碼流進(jìn)行多路復(fù)用，并生成多視圖的多路復(fù)用流。

圖19例示的第一編碼部720和第二編碼部730具有與根據(jù)在前討論的實施例的圖像編碼裝置10相類似的配置。于是，變得能夠從與正方形變換單位相對應(yīng)的量化矩陣中生成與要用于各視圖的非正方形變換單位相對應(yīng)的量化矩陣?？刂七@些處理的參數(shù)可被插入到各視圖的編碼流的首部區(qū)域，或可被插入到多路復(fù)用流的共享首部區(qū)域。

圖20是用于說明上述圖像解碼處理對多視圖編解碼器的應(yīng)用的說明圖。參見圖20，示出了多視圖解碼裝置760的配置作為例子。該多視圖解碼裝置760配備有解多路復(fù)用部770、第一解碼部780和第二解碼部790。

解多路復(fù)用部770將多視圖的多路復(fù)用流解多路復(fù)用為基本視圖的編碼流和一個或多個非基本視圖的編碼流。第一解碼部780將基本視圖的編碼流解碼成基本視圖圖像。第二解碼部790將非基本視圖的編碼流解碼成非基本視圖圖像。

圖20例示的第一解碼部780和第二解碼部790具有與根據(jù)在前討論的實施例的圖像解碼裝置60相類似的配置。于是，變得能夠從與正方形變換單位相對應(yīng)的量化矩陣中生成與要用于各視圖的非正方形變換單位相對應(yīng)的量化矩陣?？刂七@些處理的參數(shù)可以從各視圖的編碼流的首部區(qū)域獲取，或者可以從多路復(fù)用流的共享首部區(qū)域獲取。

[5-2.可縮放編解碼器]

可縮放編解碼器是用于實現(xiàn)被稱為可縮放編碼的圖像編碼方案。圖21是用于說明可縮放編解碼器的說明圖。參見圖21，例示了空間分辨率、時間分辨率或質(zhì)量有所不同的三層的幀序列。向每層給出一個層id(layer_id)。在這多個層中，具有最低分辨率(或質(zhì)量)的層是基層?；鶎又獾钠渌鼘颖环Q為增強(qiáng)層。在圖21的例子中，帶有層id“0”的層是基層，而另兩個帶有層id“1”和“2”的層是增強(qiáng)層。當(dāng)對該多層圖像數(shù)據(jù)進(jìn)行編碼時，編碼流的總數(shù)據(jù)大小可以通過基于基層內(nèi)各幀的編碼信息來編碼增強(qiáng)層內(nèi)的幀而被壓縮。

在根據(jù)上述可縮放編解碼器的編碼處理和解碼處理中，可以從與正方形變換單位相對應(yīng)的量化矩陣中生成與非正方形變換單位相對應(yīng)的量化矩陣。還可以為各層設(shè)置某種類型的控制參數(shù)(例如，圖5例示的參數(shù))，以生成要由各層使用的量化矩陣。同樣地，在基層中設(shè)置的控制參數(shù)也可以針對增強(qiáng)層重新使用。同樣地，可以額外指定用于指示是否要跨層重新使用控制參數(shù)的標(biāo)志。

圖22是用于說明上述圖像編碼處理對可縮放編解碼器的應(yīng)用的說明圖。參見圖22，示出了可縮放編碼裝置810的配置作為例子?？煽s放編碼裝置810配備有第一編碼部820、第二編碼部830和多路復(fù)用部840。

第一編碼部820對基層圖像進(jìn)行編碼，并且生成基層的編碼流。第二編碼部830對增強(qiáng)層圖像進(jìn)行編碼，并且生成增強(qiáng)層的編碼流。多路復(fù)用部840將由第一編碼部820生成的基層的編碼流與由第二編碼部830生成的一個或多個增強(qiáng)層的編碼流進(jìn)行多路復(fù)用，并生成多層的多路復(fù)用流。

圖22例示的第一編碼部820和第二編碼部830具有與根據(jù)在前討論的實施例的圖像編碼裝置10相類似的配置。于是，變得能夠從與正方形變換單位相對應(yīng)的量化矩陣中生成與要用于各層的非正方形變換單位相對應(yīng)的量化矩陣。控制這些處理的參數(shù)可被插入到各層的編碼流的首部區(qū)域，或可被插入到多路復(fù)用流的共享首部區(qū)域。

圖23是用于說明上述圖像解碼處理對可縮放編解碼器的應(yīng)用的說明圖。參見圖23，示出了可縮放解碼裝置860的配置作為例子。該可縮放解碼裝置860配備有解多路復(fù)用部870、第一解碼部880和第二解碼部890。

解多路復(fù)用部870將多層的多路復(fù)用流解多路復(fù)用為基層的編碼流和一個或多個增強(qiáng)層的編碼流。第一解碼部880將基層的編碼流解碼成基層圖像。第二解碼部880將增強(qiáng)層的編碼流解碼成增強(qiáng)層圖像。

圖23例示的第一解碼部880和第二解碼部890具有與根據(jù)在前討論的實施例的圖像解碼裝置60相類似的配置。于是，變得能夠從與正方形變換單位相對應(yīng)的量化矩陣中生成與要用于各層的非正方形變換單位相對應(yīng)的量化矩陣?？刂七@些處理的參數(shù)可以從各層的編碼流的首部區(qū)域獲取，或者可以從多路復(fù)用流的共享首部區(qū)域獲取。

<6.應(yīng)用例>

根據(jù)上述實施例的圖像編碼裝置10和圖像解碼裝置60可被應(yīng)用于各種電子設(shè)備，諸如用于衛(wèi)星廣播、諸如有線電視的線纜廣播、因特網(wǎng)上的分發(fā)、經(jīng)由蜂窩通信向客戶機(jī)裝置分發(fā)等的發(fā)射機(jī)和接收機(jī)；將圖像記錄在諸如光盤、磁盤或閃存的介質(zhì)上的記錄裝置；以及從這類存儲介質(zhì)中回放圖像的回放裝置。如下將討論四種應(yīng)用示例。

[6-1.第一應(yīng)用例]

圖24是例示了適用于上述實施例的電視的概略構(gòu)成的框圖。電視900包括天線901、調(diào)諧器902、解多路復(fù)用器903、解碼器904、視頻信號處理部905、顯示部906、音頻信號處理部907、揚(yáng)聲器908、外部接口909、控制部910、用戶接口911和總線912。

調(diào)諧器902從經(jīng)由天線901接收的廣播信號中提取期望的頻道，并且解調(diào)所提取的信號。隨后，調(diào)諧器902將通過解調(diào)獲得的編碼比特流輸出至解多路復(fù)用器903。也就是說，調(diào)諧器902用作電視900的傳輸裝置來接收圖像被編碼到其中的編碼流。

解多路復(fù)用器903將經(jīng)編碼的比特流分離成要被觀看的節(jié)目的視頻流和音頻流，并將分離的流輸出至解碼器904。同樣地，解多路復(fù)用器903從經(jīng)編碼的比特流中提取諸如電子節(jié)目指南(epg)的輔助數(shù)據(jù)，并將所提取的數(shù)據(jù)供應(yīng)至控制部910。此外，解多路復(fù)用器903還可以在經(jīng)編碼比特流被擾頻的情況下執(zhí)行解擾頻。

解碼器904對從解多路復(fù)用器903輸入的視頻流和音頻流進(jìn)行解碼。其后，解碼器904將通過解碼處理生成的視頻數(shù)據(jù)輸出至視頻信號處理部905。其后，解碼器904將通過解碼處理生成的音頻數(shù)據(jù)輸出至音頻信號處理部907。

視頻信號處理部905回放從解碼器904輸入的視頻數(shù)據(jù)，并使得顯示部906顯示所述視頻。視頻信號處理部905還使得顯示部顯示經(jīng)由網(wǎng)絡(luò)供應(yīng)的應(yīng)用屏幕。其后，視頻信號處理部905可以根據(jù)設(shè)置對視頻數(shù)據(jù)執(zhí)行諸如噪聲移除的附加處理。此外，視頻信號處理部905可以生成諸如菜單、按鈕或光標(biāo)的圖形用戶界面(gui)圖像，并將所生成的圖像疊加在輸出圖像上。

顯示部906由驅(qū)動信號(由視頻信號處理部905供應(yīng))驅(qū)動，并且在顯示裝置(例如液晶顯示器、等離子顯示器或)led顯示器)的視頻屏幕上顯示視頻或圖像。

音頻信號處理部907對從解碼器904輸入的音頻數(shù)據(jù)執(zhí)行諸如d/a轉(zhuǎn)換和放大的回放處理，并將音頻輸出到揚(yáng)聲器908。同樣地，音頻信號處理部907也對音頻數(shù)據(jù)執(zhí)行諸如噪聲移除的附加處理。

外部接口909是用于將電視900連接至外部機(jī)器或網(wǎng)絡(luò)的接口。例如，經(jīng)由外部接口909接收到的視頻流或音頻流可由解碼器904解碼。也就是說，外部接口909用作電視900接收圖像被編碼其中的編碼流的傳輸途徑。

控制部910包括諸如中央處理單位(cpu)的處理器和諸如隨機(jī)存取存儲器(ram)和只讀存儲器(rom)的存儲器。存儲器存儲待由cpu執(zhí)行的程序、程序數(shù)據(jù)、epg數(shù)據(jù)、經(jīng)由網(wǎng)絡(luò)獲取的數(shù)據(jù)等等。存儲器中存儲的程序例如在電視900啟動時由cpu讀取并執(zhí)行。通過執(zhí)行程序，cpu根據(jù)例如從用戶接口911輸入的操作信號控制電視900的操作。

用戶接口911連接至控制部910。用戶接口911例如包括由操作電視900的用戶使用的按鈕和開關(guān)，以及遙控信號接收器。用戶接口911檢測用戶經(jīng)由這些結(jié)構(gòu)元件所進(jìn)行的操作，生成操作信號，并將生成的操作信號輸出至控制部910。

總線912互連調(diào)諧器902、解多路復(fù)用器903、解碼器904、視頻信號處理部905、音頻信號處理部907、外部接口909和控制部910。

在以此方式構(gòu)成的電視900中，解碼器904包括根據(jù)前述實施例的圖像解碼裝置60的各種功能。結(jié)果，就能夠抑制用于定義要由電視900解碼的視頻的量化矩陣所需的比特率的增加，即便在可以使用非正方形量化矩陣的情況下亦是如此。

[6-2.第二應(yīng)用例]

圖25是例示了適用于上述實施例的移動電話的概略構(gòu)成的框圖。移動電話920包括天線921、通信部922、音頻編解碼器923、揚(yáng)聲器924、麥克風(fēng)925、相機(jī)部926、圖像處理部927、多路復(fù)用/解多路復(fù)用(mux/demux)部928、記錄和回放部929、顯示部930、控制部931、可操作部932和總線933。

天線921連接至通信部922。揚(yáng)聲器924和麥克風(fēng)925連接至音頻編解碼器923?？刹僮鞑?32連接至控制部931?？偩€933互連通信部922、音頻編解碼器923、相機(jī)部926、圖像處理部927、mux/demux部928、記錄和回放部929、顯示部930和控制部931。

移動電話920以包括音頻通信模式、數(shù)據(jù)通信模式、成像模式和視頻電話模式在內(nèi)的各種操作描述執(zhí)行諸如發(fā)送和接收音頻信號、發(fā)送和接收電子郵件或圖像數(shù)據(jù)、拍攝圖像及記錄數(shù)據(jù)的操作。

在音頻通信模式中，由麥克風(fēng)925生成的模擬音頻數(shù)據(jù)被供應(yīng)至音頻編解碼器923。音頻編解碼器923將模擬音頻信號轉(zhuǎn)換成音頻數(shù)據(jù)，并且a/d轉(zhuǎn)換和壓縮經(jīng)轉(zhuǎn)換的音頻數(shù)據(jù)。隨后，音頻編解碼器923將經(jīng)壓縮的音頻數(shù)據(jù)輸出至通信部922。通信部922編碼并調(diào)整音頻數(shù)據(jù)，并且生成發(fā)送信號。隨后，通信部922將生成的發(fā)送信號經(jīng)由天線921發(fā)送至基站(未示出)。同樣地，通信部922放大經(jīng)由天線921接收到的無線信號，轉(zhuǎn)換該無線信號的頻率，并獲取接收到的信號。隨后，通信部922解調(diào)并解碼接收到的信號，生成音頻數(shù)據(jù)，并將生成的音頻數(shù)據(jù)輸出至音頻編解碼器923。音頻編解碼器923解壓縮并d/a轉(zhuǎn)換音頻數(shù)據(jù)，并生成模擬音頻信號。隨后，音頻編解碼器923將生成的音頻信號供應(yīng)至揚(yáng)聲器924并使得音頻被輸出。

同樣地，在數(shù)據(jù)通信模式中，控制部931根據(jù)例如用戶經(jīng)由可操作部932進(jìn)行的操作而生成構(gòu)成電子郵件的文本數(shù)據(jù)。此外，控制部931使得該文本在顯示部930上顯示。此外，控制部931根據(jù)用戶經(jīng)由可操作部932輸入的發(fā)送指令生成電子郵件數(shù)據(jù)，并將生成的電子郵件數(shù)據(jù)輸出至通信部922。通信部922編碼并調(diào)整電子郵件數(shù)據(jù)，并且生成發(fā)送信號。隨后，通信部922將生成的發(fā)送信號經(jīng)由天線921發(fā)送至基站(未示出)。同樣地，通信部922放大經(jīng)由天線921接收到的無線信號，轉(zhuǎn)換該無線信號的頻率，并獲取接收到的信號。隨后，通信部922解調(diào)并解碼接收到的信號，重構(gòu)電子郵件數(shù)據(jù)，并將重構(gòu)的電子郵件數(shù)據(jù)輸出至控制部931?？刂撇?31使得顯示部930顯示電子郵件的內(nèi)容，并且還使得該電子郵件數(shù)據(jù)在記錄和回放部929的存儲介質(zhì)中存儲。

記錄和回放部929包括任意可讀和可寫存儲介質(zhì)。例如，存儲介質(zhì)可以是諸如ram或閃存的內(nèi)建存儲介質(zhì)，或者是諸如硬盤、磁盤、磁光盤、光盤、usb存儲器或存儲卡之類的外部安裝的存儲介質(zhì)。

此外，在成像模式中，相機(jī)部926拍攝對象的圖像，生成圖像數(shù)據(jù)，并將生成的圖像數(shù)據(jù)輸出至例如圖像處理部927。圖像處理部927編碼從相機(jī)部926接收的圖像數(shù)據(jù)，并且使得編碼流在記錄和回放部929的存儲介質(zhì)中存儲。

此外，在視頻電話模式中，mux/demux部928多路復(fù)用由圖像處理部927編碼的視頻流以及從音頻編解碼器923輸入的音頻流，并且將經(jīng)多路復(fù)用的流輸出至例如通信部922。通信部922編碼并調(diào)整所述流，并且生成發(fā)送信號。隨后，通信部922將生成的發(fā)送信號經(jīng)由天線921發(fā)送至基站(未示出)。同樣地，通信部922放大經(jīng)由天線921接收到的無線信號，轉(zhuǎn)換該無線信號的頻率，并獲取接收到的信號。發(fā)送信號和接收到的信號可以包括經(jīng)編碼的比特流。隨后，通信部922解調(diào)并解碼接收到的信號，重構(gòu)所述流，并將重構(gòu)的流輸出至mux/demux部928。mux/demux部928分離來自輸入流的視頻流和音頻流，并將視頻流輸出至圖像處理部927而將音頻流輸出至音頻編解碼器923。圖像處理部927解碼視頻流并生成視頻數(shù)據(jù)。視頻數(shù)據(jù)被供應(yīng)給顯示部930，并由顯示部930顯示一系列圖像。音頻編解碼器923解壓縮并d/a轉(zhuǎn)換音頻流，并生成模擬音頻信號。隨后，音頻編解碼器923將生成的音頻信號供應(yīng)至揚(yáng)聲器924并使得音頻被輸出。

在以此方式構(gòu)成的移動電話920中，圖像處理部927包括根據(jù)前述實施例的圖像編碼裝置10和圖像解碼裝置60的各種功能。結(jié)果，就能夠抑制用于定義要由移動電話920編碼和解碼的視頻的量化矩陣所需的比特率的增加，即便在可以使用非正方形量化矩陣的情況下亦是如此。

[6-3.第三應(yīng)用例]

圖26是例示了適用于上述實施例的記錄和回放裝置的概略構(gòu)成的框圖。記錄和回放裝置940對例如接收到的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行編碼，并將其記錄介質(zhì)上進(jìn)行記錄。記錄和回放裝置940還可以對例如從其他裝置獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行編碼，并將其在記錄介質(zhì)上進(jìn)行記錄。此外，記錄和回放裝置940還根據(jù)例如來自用戶的指令，經(jīng)由監(jiān)視器和揚(yáng)聲器回放在記錄介質(zhì)上記錄的數(shù)據(jù)。在這些時刻，記錄和回放裝置940解碼音頻數(shù)據(jù)和視頻數(shù)據(jù)。

記錄和回放裝置940包括調(diào)諧器941、外部接口942、編碼器943、硬盤驅(qū)動器(hdd)944、盤驅(qū)動器945、選擇器946、解碼器947、屏上顯示器(osd)948和用戶接口950。

調(diào)諧器941從經(jīng)由天線901(未示出)接收的廣播信號中提取期望的頻道，并且解調(diào)所提取的信號。隨后，調(diào)諧器941將通過解調(diào)獲得的編碼比特流輸出至選擇器946。也就是說，調(diào)諧器941用作記錄和回放裝置940的傳輸途徑。

外部接口942是用于將記錄和回放裝置940連接至外部機(jī)器或網(wǎng)絡(luò)的接口。例如，外部接口942可以是ieee1394接口、網(wǎng)絡(luò)接口、usb接口、閃存接口等。例如，由外部接口942接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)輸入至編碼器943。也就是說，外部接口942用作記錄和回放裝置940的傳輸途徑。

在從外部接口942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)未被編碼的情況下，編碼器943對所述視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行編碼。隨后，編碼器943將經(jīng)編碼的比特流輸出至選擇器946。

hdd944將編碼的比特流(作為經(jīng)壓縮的內(nèi)容數(shù)據(jù)，諸如視頻或音頻、各種節(jié)目和其他數(shù)據(jù))記錄在內(nèi)部硬盤上。同樣地，hdd944在回放視頻和音頻時從硬盤讀取這些數(shù)據(jù)。

盤驅(qū)動器945根據(jù)插入的記錄介質(zhì)記錄或讀取數(shù)據(jù)。插入到盤驅(qū)動器945內(nèi)的記錄介質(zhì)可以是dvd盤(諸如，dvd-視頻、dvd-ram、dvd-r、dvd-rw、dvd+或dvd+rw盤)、藍(lán)光(注冊商標(biāo))盤等。

當(dāng)記錄視頻和音頻時，選擇器946選擇從調(diào)諧器941或從解碼器943輸入的經(jīng)編碼比特流，并將所選的經(jīng)編碼比特流輸出至hdd944或盤驅(qū)動器945。同樣地，當(dāng)回放視頻和音頻時，選擇器946將從hdd944或從盤驅(qū)動器945輸入的經(jīng)編碼比特流輸出至解碼器947。

解碼器947解碼經(jīng)編碼的比特流，并生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。隨后，解碼器947將生成的視頻數(shù)據(jù)輸出至osd948。同樣地，解碼器904將生成的音頻數(shù)據(jù)輸出至外部揚(yáng)聲器。

osd948回放從解碼器947輸入的視頻數(shù)據(jù)，并且顯示視頻。同樣地，osd948可以將諸如菜單、按鈕或光標(biāo)的gui圖像疊加在所顯示的視頻上。

控制部949包括諸如cpu的處理器，以及諸如ram或rom的存儲器。存儲器存儲要被cpu執(zhí)行的程序、程序數(shù)據(jù)等。存儲器中存儲的程序例如在記錄和回放裝置940啟動時由cpu讀取并執(zhí)行。通過執(zhí)行程序，cpu根據(jù)例如從用戶接口950輸入的操作信號控制記錄和回放裝置940的操作。

用戶接口950連接至控制部949。用戶接口950例如包括由操作記錄和回放裝置940的用戶使用的按鈕和開關(guān)，以及遙控信號接收器。用戶接口950檢測用戶經(jīng)由這些結(jié)構(gòu)元件所進(jìn)行的操作，生成操作信號，并將生成的操作信號輸出至控制部949。

在以此方式構(gòu)成的記錄和回放裝置940中，編碼器943包括根據(jù)前述實施例的圖像編碼裝置10的各種功能。此外，解碼器947包括根據(jù)前述實施例的圖像解碼裝置60的各種功能。結(jié)果，就能夠抑制用于定義要由記錄和回放裝置940編碼和解碼的視頻的量化矩陣所需的比特率的增加，即便在可以使用非正方形量化矩陣的情況下亦是如此。

[6-4.第四應(yīng)用例]

圖27是例示了適用于上述實施例的程序裝置的概略構(gòu)成示例的框圖。成像裝置960拍攝對象的圖像，生成圖像，編碼圖像數(shù)據(jù)，并將圖像數(shù)據(jù)在記錄介質(zhì)上記錄。

成像裝置960包括光學(xué)塊961、成像部962、信號處理部963、圖像處理部964、顯示部965、外部接口966、存儲器967、介質(zhì)驅(qū)動器968、osd969、控制部970、用戶接口971和總線972。

光學(xué)塊961連接至成像部962。成像部962連接至信號處理部963。顯示部965連接至信號處理部964。用戶接口971連接至控制部970。通信972互連圖像處理部964、外部接口966、存儲器967、介質(zhì)驅(qū)動器968、osd969和控制部970。

光學(xué)塊961包括聚焦透鏡和孔徑光闌機(jī)構(gòu)等。光學(xué)塊961在成像部962的成像表面上形成對象的光學(xué)圖像。成像部962包括諸如ccd或cmos傳感器的圖像傳感器，并將在成像表面上形成的光學(xué)圖像光電轉(zhuǎn)換成作為電子信號的圖像信號。隨后，成像部962將圖像信號輸出至信號處理部963。

信號處理部963對從成像部962輸入的圖像信號執(zhí)行各種相機(jī)信號處理，諸如拐點(knee)校正、伽馬校正和色差校正。信號處理部963將經(jīng)處理的圖像數(shù)據(jù)輸出至圖像處理部964。

圖像處理部964對從信號處理部963輸入的圖像信號進(jìn)行編碼，并生成經(jīng)編碼的數(shù)據(jù)。隨后，圖像處理部964將由此生成的經(jīng)編碼數(shù)據(jù)輸出至外部接口966或介質(zhì)驅(qū)動器968。同樣地，圖像處理部964解碼從外部接口966或介質(zhì)驅(qū)動器968輸入的經(jīng)編碼數(shù)據(jù)，并生成圖像數(shù)據(jù)。隨后，圖像處理部964將生成的圖像數(shù)據(jù)輸出至顯示部965。同樣地，圖像處理部964可以將從信號處理部963輸入的圖像數(shù)據(jù)輸出至顯示部965，并使得圖像被顯示。此外，圖像處理部964可以將從osd969獲取的顯示數(shù)據(jù)疊加到要被輸出至顯示部965的圖像上。

osd969生成諸如菜單、按鈕或圖標(biāo)的gui圖像，并將生成的圖像輸出至圖像處理部964。

外部接口966被構(gòu)造成例如usb輸入/輸出終端。外部接口966在例如打印圖像時將成像裝置960連接至打印機(jī)。同樣地，驅(qū)動器在需要時連接至外部接口966。諸如磁盤或光盤的可移動介質(zhì)被插入驅(qū)動器，從可移除介質(zhì)中讀取的程序則可被安裝在成像裝置960內(nèi)。此外，外部接口966還可被構(gòu)造為用于連接諸如lan或因特網(wǎng)的網(wǎng)絡(luò)的網(wǎng)絡(luò)接口。也就是說，外部接口966用作圖像捕捉裝置960的發(fā)送途徑。

插入介質(zhì)驅(qū)動器968的記錄介質(zhì)可以是任意的可讀和可寫的可移除介質(zhì)，諸如磁盤、磁光盤、光盤或半導(dǎo)體存儲器。同樣地，記錄介質(zhì)可被永久性地安裝在介質(zhì)驅(qū)動器968內(nèi)，由此構(gòu)成諸如內(nèi)部硬盤驅(qū)動器或固態(tài)驅(qū)動器(ssd)的非便攜式存儲部。

控制部970包括諸如cpu的處理器，以及諸如ram或rom的存儲器。存儲器存儲要被cpu執(zhí)行的程序、程序數(shù)據(jù)等。存儲器中存儲的程序例如在成像裝置960啟動時由cpu讀取并執(zhí)行。通過執(zhí)行程序，cpu根據(jù)例如從用戶接口971輸入的操作信號控制成像裝置960的操作。

用戶接口971連接至控制部970。用戶接口971例如可包括用戶用來操作成像裝置960的按鈕和開關(guān)等。用戶接口971檢測用戶經(jīng)由這些結(jié)構(gòu)元件所進(jìn)行的操作，生成操作信號，并將生成的操作信號輸出至控制部970。

在以此方式構(gòu)成的成像裝置960中，圖像處理部964包括根據(jù)前述實施例的圖像編碼裝置10和圖像解碼裝置60的各種功能。結(jié)果，就能夠抑制用于定義要由成像裝置960編碼和解碼的視頻的量化矩陣所需的比特率的增加，即便在可以使用非正方形量化矩陣的情況下亦是如此。

<7.結(jié)論>

前面使用圖1至27描述了根據(jù)實施例的圖像編碼裝置10和圖像解碼裝置60。根據(jù)前述實施例，當(dāng)對變換系數(shù)數(shù)據(jù)進(jìn)行量化和逆量化時，與變換單位的形狀相對應(yīng)地為各變換單位設(shè)置量化矩陣。量化矩陣的形狀是正方形或非正方形，并且與非正方形變換單位相對應(yīng)的量化矩陣可以從與正方形變換單位相對應(yīng)的量化矩陣生成。結(jié)果，就能夠部分地省略定義與非正方形變換單位相對應(yīng)的量化矩陣，或是能夠有效(即，以更低的比特率)定義與非正方形變換單位相對應(yīng)的量化矩陣。出于這一原因，能夠避免由變換單位的可選擇類型增加引起的編碼效率的顯著降低，即便在實現(xiàn)能對非正方形變換單位的所述選擇的方案的情況下亦是如此。

同樣地，根據(jù)各實施例，長邊尺寸等于給定正方形量化矩陣邊長的非正方形量化矩陣可以通過從該正方形量化矩陣復(fù)制某些行或列來生成。結(jié)果，就能夠僅通過重復(fù)復(fù)制元素值的成本極低的處理操作而更為容易地生成非正方形量化矩陣。

同樣地，根據(jù)各實施例，可以在編碼流的參數(shù)集或首部中靈活指定從正方形量化矩陣復(fù)制的行或列。結(jié)果，就能夠經(jīng)由上述復(fù)制生成適于對非正方形變換單位的變換系數(shù)數(shù)據(jù)進(jìn)行量化和逆量化的量化矩陣。與此同時，在預(yù)定義了從正方形量化矩陣中復(fù)制的行和列的情況下，能夠在降低裝置復(fù)雜度的同時減少要編碼的量化矩陣參數(shù)的數(shù)量并降低傳送開銷。

注意到本說明書描述了其中量化矩陣參數(shù)被多路復(fù)用至編碼流的首部并從編碼側(cè)傳送至解碼側(cè)的例子。然而，傳送量化矩陣參數(shù)的技術(shù)不限于這一例子。例如，首部信息也可被發(fā)送或記錄為與編碼比特流相關(guān)聯(lián)的分離數(shù)據(jù)，而無需被多路復(fù)用至編碼比特流。在此，術(shù)語關(guān)聯(lián)的指的是包括在比特流內(nèi)的圖像(以及涵蓋諸如片段或塊的部分圖像)以及與這些圖像相對應(yīng)的信息能夠在解碼時被鏈接。換句話說，信息還可以在與圖像(或比特流)分離的傳送通道上傳送。同樣地，該信息可被記錄在與圖像(或比特流)分離的記錄介質(zhì)(或相同記錄介質(zhì)的不同記錄區(qū)域)上。此外，信息和圖像(或比特流)可以以諸如多個幀、單個幀、幀內(nèi)一部分等的任意單位彼此關(guān)聯(lián)。

上文由此參考附圖詳細(xì)描述了本公開的各優(yōu)選實施例。然而，本公開的技術(shù)范圍不限于這些例子。對于本公開所屬技術(shù)領(lǐng)域的普通技術(shù)人員而言，顯見的是可以在所附權(quán)利要求聲明的技術(shù)理念的范圍內(nèi)出現(xiàn)各種修改或變化，并且可以理解的是這些修改或變化顯然屬于本公開的技術(shù)范圍。

此外，本技術(shù)還可如下構(gòu)成。

(1)一種圖像處理裝置，包括：

解碼部，對編碼流進(jìn)行解碼并生成量化的變換系數(shù)數(shù)據(jù)；以及

逆量化部，該逆量化部采用變換系數(shù)數(shù)據(jù)作為要在逆正交變換期間使用的變換單位來對由所述解碼部解碼的量化的變換系數(shù)數(shù)據(jù)進(jìn)行逆量化，使得在選擇了非正方形變換單位的情況下，該逆量化部使用從與正方形變換單位相對應(yīng)的正方形量化矩陣生成的、與非正方形變換單位相對應(yīng)的非正方形量化矩陣。

(2)如(1)所述的圖像處理裝置，其中

通過復(fù)制所述正方形量化矩陣的行元素和列元素之一來生成所述非正方形量化矩陣。

(3)如(2)所述的圖像處理裝置，其中

所述非正方形量化矩陣的長邊尺寸等于所述正方形量化矩陣的邊長尺寸。

(4)如(2)或(3)所述的圖像處理裝置，其中

要從所述正方形量化矩陣復(fù)制的行元素和列元素之一是預(yù)定義的。

(5)如(2)-(4)中任一項所述的圖像處理裝置，其中

通過以相等間隔復(fù)制所述正方形量化矩陣的行元素和列元素之一來生成所述非正方形量化矩陣。

(6)如(5)所述的圖像處理裝置，其中

要從所述正方形量化矩陣復(fù)制的行元素和列元素之一的間隔是根據(jù)所述非正方形量化矩陣的短邊尺寸相對于所述正方形量化矩陣的邊長尺寸的比例來確定的。

(7)如(6)所述的圖像處理裝置，其中

所述比例是1:4，并且所述間隔是四行和四列之一。

(8)如(7)所述的圖像處理裝置，其中

所述正方形量化矩陣的尺寸是4×4，而所述非正方形量化矩陣的尺寸是1×4和4×1之一。

(9)如(7)所述的圖像處理裝置，其中

所述正方形量化矩陣的尺寸是8×8，而所述非正方形量化矩陣的尺寸是2×8和8×2之一。

(10)如(7)所述的圖像處理裝置，其中

所述正方形量化矩陣的尺寸是16×16，而所述非正方形量化矩陣的尺寸是4×16和16×4之一。

(11)如(7)所述的圖像處理裝置，其中

所述正方形量化矩陣的尺寸是32×32，而所述非正方形量化矩陣的尺寸是8×32和32×8之一。

(12)根據(jù)(2)-(11)所述的圖像處理裝置，還包括：

生成部，從所述正方形量化矩陣生成所述非正方形量化矩陣。

(13)根據(jù)(2)-(12)所述的圖像處理裝置，還包括：

逆正交變換部，通過使用所選擇的非正方形變換單位對由所述逆量化部逆量化的變換系數(shù)數(shù)據(jù)進(jìn)行逆正交變換。

(14)一種圖像處理方法，包括：

對編碼流進(jìn)行解碼并生成量化的變換系數(shù)數(shù)據(jù)；以及

采用變換系數(shù)數(shù)據(jù)作為要在逆正交變換期間使用的變換單位來對經(jīng)解碼的量化的變換系數(shù)數(shù)據(jù)進(jìn)行逆量化，使得在選擇了非正方形變換單位的情況下，使用與非正方形變換單位相對應(yīng)的非正方形量化矩陣，所述非正方形量化矩陣是從與正方形變換單位相對應(yīng)的正方形量化矩陣生成的。

參考標(biāo)記列表

10圖像處理裝置(圖像編碼裝置)

15正交變換部

152變換單位設(shè)置部

16量化部

17無損編碼部

60圖像解碼裝置

63逆量化部

214生成部

242變換單位設(shè)置部