專利名稱：圖像處理裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置及方法，特別涉及一種能夠?qū)τ删幋a時(shí)或解碼時(shí)的濾波處理的局部控制所引起的濾波處理的效果的降低進(jìn)行抑制的圖像處理裝置及方法。
背景技術(shù)：
近年來，將圖像信息作為數(shù)字信號(hào)進(jìn)行處理，并且此時(shí)以高效率的信息的傳輸、存儲(chǔ)為目的，利用圖像信息特有的冗余性，依照通過諸如離散余弦變換等正交變換與運(yùn)動(dòng)補(bǔ)償對(duì)圖像進(jìn)行壓縮的MPEG (Moving Picture Experts Group，運(yùn)動(dòng)圖像專家組)等格式的裝置，作為諸如廣播等的信息發(fā)送及一般家庭中的信息接收兩者都正變得普及。
MPEG2 (ISO (International Organization for Standardization, Hl^feit 化組織)/IEC(International Electrotechnical Commission,國際電工委員會(huì))13818—2) 被定義為通用圖像編碼格式，并且它包括隔行掃描圖像及連續(xù)掃描圖像兩者和標(biāo)準(zhǔn)解析度圖像及高清晰度圖像的標(biāo)準(zhǔn)。例如，MPEG2目前已廣為用于專業(yè)用途及消費(fèi)型用途的廣泛應(yīng)用。通過使用MPEG2壓縮格式，例如若為具有720X480像素的標(biāo)準(zhǔn)解析度的交錯(cuò)掃描圖像，則分配4至8Mbps的碼量(比特率)。同樣，若為具有1920X1088像素的高解析度的交錯(cuò)掃描圖像，則分配18至22Mbps的碼量(比特率)，從而可實(shí)現(xiàn)高的壓縮率及良好的畫質(zhì)。
利用MPEG2主要以適合于播放用的高畫質(zhì)編碼為對(duì)象，而并不處理比MPEGl的碼量更低的碼量(比特率)，即具有更高壓縮率的編碼格式?？梢灶A(yù)計(jì)隨著個(gè)人數(shù)字助理的普及，今后對(duì)這種編碼格式的需求將增長(zhǎng)，對(duì)應(yīng)于此，已進(jìn)行了 MPEG4編碼格式的標(biāo)準(zhǔn)化。關(guān)于圖像編碼格式，其規(guī)格于1998年12月作為IS0/IEC 14496-2被批準(zhǔn)為國際標(biāo)準(zhǔn)。
進(jìn)而，近年來，當(dāng)初打算供電視會(huì)議用的圖像編碼的H. 26L (ITU-T (ITU Telecommunication Standardization Sector,國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門) Q6/16VCEG (Video Coding Experts Group，視頻編碼專家群))這一標(biāo)準(zhǔn)的標(biāo)準(zhǔn)化已在推進(jìn)。眾所周知，H.26L雖與諸如MPEG2或MPEG4之類常規(guī)的編碼格式相比，其編碼、解碼要求更多的運(yùn)算量，但可實(shí)現(xiàn)更高的編碼效率。并且，目前，作為MPEG4的活動(dòng)的一環(huán)，已在進(jìn)行以該H. 26L為基礎(chǔ)，還導(dǎo)入H. 26L無法支持的功能以實(shí)現(xiàn)更高的編碼效率的標(biāo)準(zhǔn)化作為 Joint Model of Enhanced-Compression Video Coding(增強(qiáng)壓縮視頻編碼的聯(lián)合模型)。 作為標(biāo)準(zhǔn)化的日程安排，H. 264和MPEG4 PartlO (AVC(Advanced Video Coding，先進(jìn)視頻編碼))于2003年3月成為國際標(biāo)準(zhǔn)。
最近作為正在考慮的下一代視頻編碼技術(shù)，還有自適應(yīng)環(huán)路濾波器 (ALF(Adaptive Loop Filter))(例如，參見非專利文獻(xiàn)1)。通過該自適應(yīng)濾波器，對(duì)每幀 (frame)進(jìn)行最佳的濾波處理，能夠減少未被解塊濾波器完全去除的塊(block)噪聲和由量化所引起的噪聲。
然而，圖像通常具有各種特征，因此最佳濾波系數(shù)在局部不同。根據(jù)非專利文獻(xiàn)1 所記載的方法，對(duì)于1個(gè)幀內(nèi)的所有像素應(yīng)用相同的濾波系數(shù)，因此幀整體的畫質(zhì)改善了，但存在局部劣化的可能性。
因此，考慮了不對(duì)局部劣化的區(qū)域進(jìn)行濾波處理的方法(例如參見非專利文獻(xiàn)2 和非專利文獻(xiàn)幻。在這樣的情況下，圖像編碼裝置使以如同鋪設(shè)的、無間隙地排列的多個(gè)控制塊對(duì)應(yīng)于圖像的區(qū)域，并控制是否對(duì)每個(gè)塊中的圖像進(jìn)行濾波處理。圖像編碼裝置對(duì)每個(gè)塊設(shè)定標(biāo)志信息，并根據(jù)該標(biāo)志信息進(jìn)行自適應(yīng)濾波處理。同樣地，圖像解碼裝置也根據(jù)該標(biāo)志信息而進(jìn)行自適應(yīng)濾波處理。
引用文獻(xiàn)
非專利文獻(xiàn)
非專利文獻(xiàn)1 :Yi_Jen Chiu and L. Xu, "Adaptive (Wiener)Filter for Video Compression,，，ITU-T SG16 Contribution, C437, Geneva, April 2008.
非專禾Ij 文獻(xiàn) 2 :Takeshi，Chujoh，et al.，"Block—based Adaptive Loop Filter” ITU-T SG16 Q6 VCEG Contribution, AI18, Germany, July, 2008.
非專利文獻(xiàn) 3 :T. Chujoh，N. Wada and G. Yasuda，"Quadtree-based Adaptive Loop Filter，” ITU-T SG16 Q6 VCEG Contribution, VCEG-AK22 (rl), Japan, April, 2009.發(fā)明內(nèi)容
發(fā)明所要解決的技術(shù)問題
然而，有將1幀分割成多個(gè)片層(slice)，并對(duì)每個(gè)這樣的片層(多片層 multi-slice)進(jìn)行圖像的編碼處理和解碼處理的方法。在非專利文獻(xiàn)2和非專利文獻(xiàn)3中， 并未記載在這樣的多片層的情況下的片層的邊界附近的像素的處理，而應(yīng)該如何處理尚不明確。
本發(fā)明是鑒于這種情況而提出的，其目的在于抑制由編碼時(shí)或解碼時(shí)的濾波處理的局部控制所引起的濾波處理的效果的降低。
解決問題的技術(shù)手段
本發(fā)明的一個(gè)方面是一種圖像處理裝置，包括判斷單元，配置為判斷在對(duì)圖像局部進(jìn)行的濾波處理的要處理的像素的周邊像素中，是否包括與包括上述要處理的像素的片層相鄰片層的像素；選擇單元，配置為在通過上述判斷單元判斷為上述周邊像素中包括上述相鄰片層的像素的情況下，根據(jù)邊界控制標(biāo)志，從多種方法中選擇針對(duì)上述要處理的像素的上述濾波處理的方法；以及濾波處理單元，配置為利用由上述選擇單元所選擇的方法， 對(duì)上述要處理的像素進(jìn)行上述濾波處理。
上述選擇單元可從如下兩種方法中選擇任一種方法一種是獲得位于上述相鄰片層的上述周邊像素后進(jìn)行針對(duì)上述要處理的像素的上述濾波處理；另一種是通過復(fù)制位于包括上述要處理的像素的片層的上述周邊像素，生成位于上述相鄰片層的上述周邊像素的虛擬數(shù)據(jù)(dummy data)，進(jìn)行針對(duì)上述要處理的像素的上述濾波處理。
上述選擇單元可從如下兩種方法中選擇任一種方法一種是獲得位于上述相鄰片層的上述周邊像素后進(jìn)行針對(duì)上述要處理的像素的上述濾波處理；另一種是省略針對(duì)上述要處理的像素的上述濾波處理。
上述圖像處理裝置還可以包括生成單元，配置為根據(jù)系統(tǒng)規(guī)格而生成上述邊界控制標(biāo)志；上述選擇單元根據(jù)由上述生成單元所生成的上述邊界控制標(biāo)志，選擇關(guān)于要處理的像素的上述濾波處理的方法。
上述系統(tǒng)規(guī)格可包括上述圖像處理裝置的硬件資源。
上述系統(tǒng)規(guī)格可包括上述圖像處理裝置的使用目的。
上述圖像處理裝置還可以包括編碼單元，配置為對(duì)上述圖像進(jìn)行編碼而生成編碼數(shù)據(jù)；上述編碼單元還對(duì)由上述生成單元所生成的上述邊界控制標(biāo)志進(jìn)行編碼，并將其附加至上述編碼數(shù)據(jù)。
上述圖像處理裝置還可以包括解碼單元，配置為對(duì)將上述圖像編碼所得的編碼數(shù)據(jù)進(jìn)行解碼而生成上述圖像；上述解碼單元還對(duì)附加至上述編碼數(shù)據(jù)的經(jīng)編碼的上述邊界控制標(biāo)志進(jìn)行解碼；上述選擇單元根據(jù)由上述解碼單元所解碼的上述邊界控制標(biāo)志，選擇關(guān)于要處理的像素的上述濾波處理的方法。
本發(fā)明的另一個(gè)方面為一種圖像處理方法，包括如下步驟由圖像處理裝置的判斷單元判斷在對(duì)圖像局部進(jìn)行的濾波處理的要處理的像素的周邊像素中，是否包括與包括上述要處理的像素的片層相鄰片層的像素；由上述圖像處理裝置的選擇單元在判斷為上述周邊像素中包括上述相鄰的片層的像素的情況下，根據(jù)邊界控制標(biāo)志，從多種方法中選擇針對(duì)上述要處理的像素的上述濾波處理的方法；由上述圖像處理裝置的濾波處理單元利用所選擇的方法，對(duì)上述要處理的像素進(jìn)行上述濾波處理。
根據(jù)本發(fā)明的一個(gè)方面，判斷在針對(duì)圖像局部進(jìn)行的濾波處理的要處理的像素的周邊像素中，是否包括與包括要處理的像素的片層相鄰片層的像素，在判斷為周邊像素中包括相鄰片層的像素的情況下，根據(jù)邊界控制標(biāo)志，從多種方法中選擇針對(duì)要處理的像素的濾波處理的方法，且利用所選擇的方法，對(duì)要處理的像素進(jìn)行濾波處理。
根據(jù)本發(fā)明，可對(duì)圖像進(jìn)行編碼或解碼。尤其，可抑制由編碼時(shí)或解碼時(shí)的濾波處理的局部控制所引起的濾波處理的效果的降低。例如，即使于將圖像的各幀分為多個(gè)進(jìn)行編碼或解碼的情況下，也能夠抑制濾波處理的效果的降低。


圖1是表示應(yīng)用本發(fā)明的圖像編碼裝置的實(shí)施例的構(gòu)成的框圖。 圖2是說明可變塊大小運(yùn)動(dòng)預(yù)/補(bǔ)償處理的圖。 圖3是表示控制信息生成部的主要構(gòu)成例的框圖。 圖4是說明ALF塊和濾波器塊標(biāo)志的圖。 圖5是說明多片層的例子的圖。 圖6是說明用于濾波處理的周邊像素的圖。 圖7是說明邊界附近的進(jìn)行濾波處理的情況的圖。 圖8是表示自適應(yīng)濾波處理部的主要構(gòu)成例的框圖。 圖9是說明編碼處理的流程的例子的流程圖。 圖10是說明控制信息生成處理的流程的例子的流程圖。 圖11是說明邊界控制標(biāo)志設(shè)定處理的流程的例子的流程圖。 圍12是說明自適應(yīng)濾波控制處理的流程的例子的流程圖。 圖13是說明濾波處理的流程的例子的流程圖， 圖14是說明濾波處理的流程的例子的流程圖。6
固15是表示應(yīng)用本發(fā)明的圖像解碼裝置的主要構(gòu)成例的框圖。
圖16是說明解碼處理的流程的例子的流程圖。
圖17是表示應(yīng)用本發(fā)明的圖像編碼裝置的其他構(gòu)成例的框圖。
圖18是表示應(yīng)用本發(fā)明的圖像解碼裝置的其他構(gòu)成例的框圖。
圖19是說明進(jìn)行規(guī)格信息的交換的處理的流程的例子的流程圖。
圖20是說明ALF塊和濾波器塊標(biāo)志的其他例的圖。
圖21是說明ALF塊和濾波器塊標(biāo)志的其他例的圖。
圖22是說明多片層的情況下的處理的方式的圖。
圖23是表示應(yīng)用本發(fā)明的個(gè)人計(jì)算機(jī)的主要構(gòu)成例的框圖。
圖M是表示應(yīng)用本發(fā)明的電視接收機(jī)的主要構(gòu)成例的框圖。
圖25是表示應(yīng)用本發(fā)明的移動(dòng)電話的主要構(gòu)成例的框圖。
圖沈是表示應(yīng)用本發(fā)明的硬盤記錄器的主要構(gòu)成例的框圖。
圖27是表示應(yīng)用本發(fā)明的相機(jī)的主要構(gòu)成例的框圖。
圖28是表示宏塊的例子的圖。
具體實(shí)施方式
以下，對(duì)本發(fā)明的實(shí)施例進(jìn)行說明。說明按以下的順序進(jìn)行。
1.第1實(shí)施例圖像編碼裝置)
2.第2實(shí)施例圖像解碼裝置)
3.第3實(shí)施例圖像編碼/解碼系統(tǒng))
4.第4實(shí)施例QALF)
5.第5實(shí)施例個(gè)人計(jì)算機(jī))
6.第6實(shí)施例電視接收機(jī))
7.第7實(shí)施例移動(dòng)電話)
8.第8實(shí)施例硬盤記錄器)
9.第9實(shí)施例相機(jī))
<1.第1實(shí)施例>
[裝置的構(gòu)成]
圖1表示作為應(yīng)用本發(fā)明的圖像處理裝置的圖像編碼裝置的一個(gè)實(shí)施例的構(gòu)成。
圖1所示的圖像編碼裝置100是使用例如H. 264和MPEG4PartlO (先進(jìn)視頻編碼，Advanced Video Coding)(以下記作H. 264/AVC)格式對(duì)圖像進(jìn)行壓縮編碼的圖像編碼裝置，并且還采用自適應(yīng)環(huán)路濾波器。
在圖1的例中，圖像編碼裝置100包括A/D(模擬/數(shù)字)變換部101、畫面重排緩沖器(screen rearranging buffer) 102、運(yùn)算部103、正交變換部104、量化部105、無損編碼部106和存儲(chǔ)緩沖器107。圖像編碼裝置100還包括反量化部108、逆正交變換部109、 運(yùn)算部110和解塊濾波器111。圖像編碼裝置100還包括控制信息生成部112、自適應(yīng)濾波處理部113和幀存儲(chǔ)器114。圖像編碼裝置100還包括幀內(nèi)預(yù)測(cè)部(intra prediction unit) 115、運(yùn)動(dòng)補(bǔ)償部116、運(yùn)動(dòng)預(yù)測(cè)部117和預(yù)測(cè)圖像選擇部118。進(jìn)而，圖像編碼裝置 100 包括碼率控制部(rate control unit) 119。
A/D變換部101對(duì)所輸入的圖像進(jìn)行A/D變換，并輸出至畫面重排緩沖器102中加以存儲(chǔ)。畫面重排緩沖器102將所存儲(chǔ)的用于顯示的順序的幀的圖像重排為對(duì)應(yīng)于 GOP (Group of Picture，圖像群組)的用于編碼的幀的順序。運(yùn)算部103從畫面重排緩沖器102讀出的圖像減去由預(yù)測(cè)圖像選擇部118所選擇的來自幀內(nèi)預(yù)測(cè)部115的預(yù)測(cè)圖像、 或來自運(yùn)動(dòng)補(bǔ)償部116的預(yù)測(cè)圖像，并將該差分信息輸出至正交變換部104中。正交變換部104對(duì)來自運(yùn)算部103的差分信息實(shí)施諸如離散余弦變換、K-L(Karhunen-Loeve)變換等正交變換，并輸出其變換系數(shù)。量化部105將正交變換部104所輸出的變換系數(shù)量化。
成為量化部105的輸出的經(jīng)量化的變換系數(shù)被輸入至無損編碼部106中。無損編碼部106對(duì)該經(jīng)量化的變換系數(shù)實(shí)施諸如可變長(zhǎng)度編碼、算術(shù)編碼等無損編碼并進(jìn)行壓縮。
無損編碼部106從幀內(nèi)預(yù)測(cè)部115獲取表示幀內(nèi)預(yù)測(cè)的信息等，并從運(yùn)動(dòng)預(yù)測(cè)部 117獲取表示幀間預(yù)測(cè)模式(inter prediction mode)的信息等。注意，表示幀內(nèi)預(yù)測(cè)的信息以下也被稱為幀內(nèi)預(yù)測(cè)模式信息。另外，表示幀間預(yù)測(cè)的信息以下也被稱為幀間預(yù)測(cè)模式fe息。
無損編碼部106從控制信息生成部112獲取在自適應(yīng)濾波處理部113中所進(jìn)行的自適應(yīng)濾波處理的控制信息。
無損編碼部106對(duì)經(jīng)量化的變換系數(shù)進(jìn)行編碼，并且對(duì)自適應(yīng)濾波處理的控制信息、表示幀內(nèi)預(yù)測(cè)的信息、表示幀間預(yù)測(cè)模式的信息以及量化參數(shù)等進(jìn)行編碼，并且將它們作為壓縮圖像中的首部信息(header information)的一部分(進(jìn)行復(fù)用，multiplexes)。 無損編碼部106將經(jīng)編碼的數(shù)據(jù)提供至存儲(chǔ)緩沖器107中加以存儲(chǔ)。
例如，無損編碼部106進(jìn)行諸如可變長(zhǎng)度編碼或者算術(shù)編碼等無損編碼處理?？勺冮L(zhǎng)度編碼的例子包括由H. 264/AVC格式所規(guī)定的CAVIC (Context-Adaptive Variable Length Coding,上下文自適應(yīng)變長(zhǎng)編碼)等。算術(shù)編碼的例子包括 CABAC (Context-Adaptive Binary Arithmetic Coding，上下文自適應(yīng)二進(jìn)制算術(shù)編碼)寸。
存儲(chǔ)緩沖器107臨時(shí)保持從無損編碼部106所提供的數(shù)據(jù)，并在特定的時(shí)間點(diǎn) (timing)將其作為以H. ^4/AVC格式進(jìn)行編碼的壓縮圖像，輸出至例如后繼的未圖示的存儲(chǔ)裝置或傳輸路徑等。
另外，從量化部105輸出的經(jīng)量化的變換系數(shù)還被輸入至反量化部108。反量化部108用與在量化部105所進(jìn)行的量化相對(duì)應(yīng)的方法對(duì)該經(jīng)量化的變換系數(shù)進(jìn)行反量化， 并將所獲得的變換系數(shù)提供至逆正交變換部109。
逆正交變換部109以與由正交變換部104所進(jìn)行的正交變換處理相對(duì)應(yīng)的方法對(duì)所提供的變換系數(shù)進(jìn)行逆正交變換。經(jīng)逆正交變換的輸出被提供至運(yùn)算部110。運(yùn)算部110 將從逆正交變換合109所提供的逆正交變換結(jié)果，即經(jīng)恢復(fù)的差分信息與從預(yù)測(cè)圖像選擇部118所提供的預(yù)測(cè)圖像相加，而獲得局部經(jīng)解碼的圖像(解碼圖像)。該相加結(jié)果被提供至解塊濾波器111。
解塊濾波器111從解碼圖像中去除塊噪聲。解塊濾波器111之后將該噪聲去除結(jié)果提供至控制信息生成部112和自適應(yīng)濾波處理部113。
控制信息生成部112獲取從解塊濾波器111所提供的解碼圖像和從畫面重排緩沖器102所讀出的當(dāng)前的輸入圖像，并根據(jù)它們生成在適應(yīng)濾波處理部113所進(jìn)行的自適應(yīng)濾波的控制信息。詳細(xì)情況將后述，而控制信息包括濾波系數(shù)、塊大小、濾波器塊標(biāo)志和邊界控制標(biāo)志等。
控制信息生成部112將所生成的控制信息提供至自適應(yīng)濾波處理部113。控制信息生成部112也還將所生成的控制信息提供至無損編碼部106。如上所述，控制信息由無損編碼部106進(jìn)行無損壓縮處理，并被包括在圖像壓縮信息中(被復(fù)用)。即，控制信息與圖像壓縮信息一并被輸送至圖像解碼裝置。
自適應(yīng)濾波處理部113使用從控制信息生成部112所提供的控制信息的濾波系數(shù)、塊大小指定以及濾波器塊標(biāo)志等，對(duì)從解塊濾波器111所提供的解碼圖像進(jìn)行濾波處理。作為該濾波器，例如使用維納濾波器(Wiener Filter)。當(dāng)然，也可以使用維納濾波器以外的濾波器。自適應(yīng)濾波處理部113將濾波處理結(jié)果提供至幀存儲(chǔ)器114，并將其作為參考圖像而加以存儲(chǔ)。
幀存儲(chǔ)器114在特定的時(shí)間點(diǎn)，將所存儲(chǔ)的參考圖像輸出至運(yùn)動(dòng)補(bǔ)償部116和運(yùn)動(dòng)預(yù)測(cè)部117。
在該圖像編碼裝置100中，例如將來自畫面重排緩沖器102的I畫面、B畫面以及 P畫面作為進(jìn)行幀內(nèi)預(yù)測(cè)(也稱為幀內(nèi)處理)的圖像提供至幀內(nèi)預(yù)測(cè)部115。另外，將從畫面重排緩沖器102所讀出的B畫面以及P畫面作為進(jìn)行幀間預(yù)測(cè)(也稱為幀間處理)的圖像提供至運(yùn)動(dòng)預(yù)測(cè)部117。
幀內(nèi)預(yù)測(cè)部115根據(jù)從畫面重排緩沖器102所讀出的進(jìn)行幀內(nèi)預(yù)測(cè)的圖像和從幀存儲(chǔ)器114所提供的參考圖像，進(jìn)行對(duì)所有作為候補(bǔ)的幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)處理，而生成預(yù)測(cè)圖像。
在幀內(nèi)預(yù)測(cè)部115中，與對(duì)當(dāng)前塊/宏塊所應(yīng)用的幀內(nèi)預(yù)測(cè)模式有關(guān)的信息被傳輸至無損編碼部106，并作為圖像壓縮信息中的首部信息的一部分而被編碼。在HJ64圖像信息編碼格式中，對(duì)于亮度信號(hào)，定義有幀內(nèi)4X4預(yù)測(cè)模式、幀內(nèi)8X8預(yù)測(cè)模式及幀內(nèi) 16X 16預(yù)測(cè)模式，另外，關(guān)于色差信號(hào)，可對(duì)于每個(gè)宏塊定義獨(dú)立于亮度信號(hào)的預(yù)測(cè)模式。 對(duì)于幀內(nèi)4X4預(yù)測(cè)模式，針對(duì)各個(gè)4X4亮度塊定義1個(gè)幀內(nèi)預(yù)測(cè)模式。對(duì)于幀內(nèi)8X8預(yù)測(cè)模式，針對(duì)各個(gè)8X8亮度塊定義1個(gè)幀內(nèi)預(yù)測(cè)模式。對(duì)于幀內(nèi)16X16預(yù)測(cè)模式及色差信號(hào)，針對(duì)每個(gè)宏塊定義1個(gè)幀內(nèi)預(yù)測(cè)模式。
幀內(nèi)預(yù)測(cè)部115針對(duì)已生成預(yù)測(cè)圖像的幀內(nèi)預(yù)測(cè)模式計(jì)算出成本函數(shù)值，并將所計(jì)算出的成本函數(shù)值給出最小值的幀內(nèi)預(yù)測(cè)模式選擇為最佳幀內(nèi)預(yù)測(cè)模式。幀內(nèi)預(yù)測(cè)部 115將由最佳幀內(nèi)預(yù)測(cè)模式所生成的預(yù)測(cè)圖像提供至預(yù)測(cè)圖像選擇部118。
運(yùn)動(dòng)預(yù)測(cè)部117針對(duì)要進(jìn)行幀間編碼的圖像，獲取從畫面重排緩沖器102所提供的圖像信息(輸入圖像)和從幀存儲(chǔ)器114所提供的作為參考幀的圖像信息(解碼圖像)， 并計(jì)算運(yùn)動(dòng)向量。運(yùn)動(dòng)預(yù)測(cè)部117將表示所計(jì)算出的運(yùn)動(dòng)向量的運(yùn)動(dòng)向量信息提供至無損編碼部106。該運(yùn)動(dòng)向量信息通過無損編碼部106而進(jìn)行無損壓縮處理，并被包括在圖像壓縮信息中。即，運(yùn)動(dòng)向量信息與圖像壓縮信息一并被輸送至圖像解碼裝置。
另外，運(yùn)動(dòng)預(yù)測(cè)部117還將運(yùn)動(dòng)向量信息提供至運(yùn)動(dòng)補(bǔ)償部116。
運(yùn)動(dòng)補(bǔ)償部116對(duì)應(yīng)于從運(yùn)動(dòng)預(yù)測(cè)部117所提供的運(yùn)動(dòng)向量信息進(jìn)行運(yùn)動(dòng)補(bǔ)償處理，生成幀間預(yù)測(cè)圖像信息。運(yùn)動(dòng)補(bǔ)償部116將所生成的預(yù)測(cè)圖像信息提供至預(yù)測(cè)圖像選擇部118。
預(yù)測(cè)圖像選擇部118在進(jìn)行幀內(nèi)編碼的圖像的情況下，將幀內(nèi)預(yù)測(cè)部115的輸出提供至運(yùn)算部103，并在進(jìn)行幀間編碼的圖像的情況下，將運(yùn)動(dòng)補(bǔ)償部116的輸出提供至運(yùn)算部103。
碼率控制部119根據(jù)存儲(chǔ)緩沖器107中所存儲(chǔ)的壓縮圖像，控制量化部105的量化操作的碼率，以防止產(chǎn)生溢出或下溢。
在MPEG (運(yùn)動(dòng)圖像專家組，Moving Picture Experts Group) 2中，運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償/ 處理的單位是運(yùn)動(dòng)補(bǔ)償塊，并且能夠在每個(gè)運(yùn)動(dòng)補(bǔ)償塊中保持獨(dú)立的運(yùn)動(dòng)向量信息。該運(yùn)動(dòng)補(bǔ)償塊的大小在幀運(yùn)動(dòng)補(bǔ)償模式的情形下是16X 16像素，在場(chǎng)運(yùn)動(dòng)補(bǔ)償模式的情況下， 針對(duì)第一場(chǎng)、第二場(chǎng)的各自是16X8像素。
另一方面，在AVC(先進(jìn)視頻編碼，Advanced Video Coding)中，如圖2上側(cè)所示， 可將由16X16像素所構(gòu)成的一個(gè)宏塊分割成16X16、16X8、8X16或8X8的任一分區(qū)， 且分別具有獨(dú)立的運(yùn)動(dòng)向量信息。進(jìn)而，如圖2下側(cè)所示，一個(gè)8X8分區(qū)可分割成8X8、 8X4、4X8或4X4的任一子分區(qū)，且分別具有獨(dú)立的運(yùn)動(dòng)向量信息。將該運(yùn)動(dòng)補(bǔ)償塊作為單位進(jìn)行運(yùn)動(dòng)預(yù)測(cè)補(bǔ)償處理。
圖3是表示控制信息生成部112的主要構(gòu)成例的框圖。
控制信息生成部112生成在自適應(yīng)濾波處理部113中所運(yùn)行的作為環(huán)路濾波器的自適應(yīng)濾波器(ALF(AdaptiVe Loop Filter))所使用的控制信息。控制信息生成部112生成例如濾波系數(shù)、ALF塊大小、濾波器塊標(biāo)志以及邊界控制標(biāo)志作為該控制信息。
控制信息生成部112具有濾波系數(shù)計(jì)算部131、邊界控制標(biāo)志生成部132以及塊信息生成部133。
濾波系數(shù)計(jì)算部131獲取從解塊濾波器111所提供的解碼圖像和從畫面重排緩沖器102所讀出的當(dāng)前的輸入圖像，并針對(duì)每個(gè)幀計(jì)算ALF的濾波系數(shù)。
邊界控制標(biāo)志生成部132生成邊界控制標(biāo)志(alf_enable_in_slice_boundary)， 該邊界控制標(biāo)志控制對(duì)在幀中形成多個(gè)的片層的邊界附近的像素如何進(jìn)行濾波處理(指定濾波處理方法)。詳細(xì)情況將后述。
塊信息生成部133根據(jù)從解塊濾波器111所提供的解碼圖像和由濾波系數(shù)計(jì)算部 131所計(jì)算出的濾波系數(shù)，決定ALF塊大小，并針對(duì)要處理的片層內(nèi)的各ALF塊生成濾波器塊標(biāo)志。
此處，對(duì)ALF塊和濾波器塊標(biāo)志進(jìn)行說明。圖4是說明ALF塊和濾波器塊標(biāo)志的圖。
如上所述，自適應(yīng)濾波器針對(duì)每個(gè)幀設(shè)定濾波系數(shù)。即，以幀單位進(jìn)行最佳的濾波處理。但是，一般而言，幀圖像的整體并不均一，局部具有各種特征。因此，局部的最佳的濾波系數(shù)不同。因此，如上所述，在使用針對(duì)每個(gè)幀所決定的濾波系數(shù)的濾波處理中，存在改善幀整體的畫質(zhì)，但局部劣化的可能性。
因此，業(yè)界考慮了不對(duì)畫質(zhì)惡化的局部區(qū)域進(jìn)行濾波處理的BALF(Block based Adaptive Loop Filter，基于塊的自適應(yīng)環(huán)路濾波器)。
圖4中的A中的幀151示出解塊濾波處理后的解碼圖像。如圖4的B所示，塊信息生成部133將分別作為局部所進(jìn)行的自適應(yīng)濾波處理的控制單位的控制塊的多個(gè)ALF塊152以鋪滿該幀151的整個(gè)區(qū)域的方式無間隙地配置。配置該ALF塊152的區(qū)域可與幀151 的區(qū)域不同，但至少包括幀的整個(gè)區(qū)域。結(jié)果，幀151的區(qū)域被分割成ALF塊152的區(qū)域 (多個(gè)區(qū)域)。
塊信息生成部133決定ALF塊152的水平方向的大小(雙箭頭153)與垂直方向的大小(雙箭頭154)。ALF塊的大小可針對(duì)每個(gè)片層而指定例如8X8、16X16、24X24、 32 X 32、48 X 48、64 X 64、96 X 96或128 X 128的任一者。將指定該ALF塊的大小的信息稱為塊大小指數(shù)(block size index)。
若已決定塊大小，則幀大小固定，因此每個(gè)幀的ALF塊數(shù)也被決定。
塊信息生成部133如圖4的C所示，針對(duì)每個(gè)ALF塊152，設(shè)定控制是否進(jìn)行濾波處理的濾波器塊標(biāo)志155。例如，對(duì)于通過自適應(yīng)濾波器而改善畫質(zhì)的區(qū)域，生成值為“1” 的濾波器塊標(biāo)志155，對(duì)于因自適應(yīng)濾波器而導(dǎo)致畫質(zhì)惡化的區(qū)域，生成值為“0”的濾波器塊標(biāo)志155。在濾波器塊標(biāo)志155中，值“1”是表示要進(jìn)行濾波處理的值，值“0”是表示不進(jìn)行濾波處理的值。
自適應(yīng)濾波處理部113根據(jù)該濾波器塊標(biāo)志155的值控制自適應(yīng)濾波處理。例如， 自適應(yīng)濾波處理部113僅對(duì)濾波器塊標(biāo)志155的值為“1”的ALF塊152的區(qū)域進(jìn)行濾波處理，而不對(duì)濾波器塊標(biāo)志155的值為“0”的ALF塊152的區(qū)域進(jìn)行濾波處理。
另外，上述塊大小指數(shù)與濾波器塊標(biāo)志包括在圖像壓縮信息的片層首部中，并且從圖像編碼裝置100輸送至圖像解碼裝置。對(duì)應(yīng)于ALF塊的數(shù)量的1個(gè)以上的濾波器塊標(biāo)志以例如光柵掃描(raster scan)的順序包括于片層首部中。
因此，ALF塊的大小越小，越能夠?qū)崿F(xiàn)更細(xì)致的濾波器控制，而且越能夠?qū)崿F(xiàn)更適當(dāng)?shù)腁LF濾波。但是，較小的ALF塊的大小會(huì)增加濾波器塊標(biāo)志的比特量。即，ALF塊的大小越小，圖像壓縮信息的編碼效率越下降。從而，自適應(yīng)濾波器的性能與圖像壓縮信息的編碼效率處于折衷的關(guān)系。
AlF塊的數(shù)量按照如下的表達(dá)式(1)而計(jì)算
[數(shù)學(xué)表達(dá)式1]N = floor Γ16χ nMBw+nSIZE-I] χ fl00r |~16xN勵(lì)+N肌-ι-1nalfblock ll,JUirjχ iiuur—-
L"SIZEJL^StZE_…⑴
在表達(dá)式(1)中，Na-表示ALF塊的數(shù)量。另外，Nmbw表示畫面的水平方向的宏塊數(shù)，Nsffih表示畫面的垂直方向的宏塊數(shù)。進(jìn)而，Nsize表示ALF塊的一邊的大小。另外， floor [χ]是將χ的小數(shù)點(diǎn)以下舍去而成為整數(shù)的函數(shù)。
然而，在H. 264/AVC中，可將1個(gè)幀分割成多個(gè)片層，并對(duì)每個(gè)片層輸出圖像壓縮信息。圖5是說明多片層的例子的圖。在圖5的例子的情況下，幀151被分割成片層0、片層1和片層2這3個(gè)片層。
通過以比幀更細(xì)小的片層單位輸出圖像壓縮信息，圖像編碼裝置能夠以更短的間隔生成圖像壓縮信息并將其輸出。即，對(duì)該圖像壓縮信息進(jìn)行解碼的圖像解碼裝置還可以在更早的階段開始圖像壓縮信息的解碼。即，能夠縮短從輸入圖像起，進(jìn)行編碼處理及解碼處理，直至輸出圖像為止的延遲時(shí)間。
在對(duì)BALF進(jìn)行記載的非專利文獻(xiàn)2中，并未公開該多片層。即，僅記載有針對(duì)幀整體設(shè)定ALF塊。然而，在多片層的情況下，對(duì)于片層的邊界附近的像素，有時(shí)無法進(jìn)行通常的濾波處理。
圖6是表示針對(duì)片層的邊界附近的像素的濾波處理的情況的圖。自適應(yīng)濾波處理部113在對(duì)要處理的像素進(jìn)行濾波處理的情況下，使用該要處理的像素周邊的特定的范圍內(nèi)的像素(周邊像素)而進(jìn)行。例如，在圖6的情況下，自適應(yīng)濾波處理部113使用由陰影所示的9X9的周邊像素162進(jìn)行對(duì)要處理的像素161的濾波處理。
但是，如圖6所示，要處理的像素161為片層邊界163附近的像素。此處，片層邊界 163表示當(dāng)前要處理的的片層(當(dāng)前片層)與鄰接于該要處理的片層的片層(相鄰片層) 的邊界。即，片層邊界163表示當(dāng)前片層的外框。
如圖6所示，用于針對(duì)該片層邊界163附近的要處理的像素161的濾波處理的周邊像素162的一部分超過片層邊界163，而跨越至相鄰片層的區(qū)域。即，為了如例如圖7的 A所示地對(duì)該要處理的像素161進(jìn)行與通常的情形相同的濾波處理，需要相鄰片層的像素值。
在圖7的A的例子的情況下，自適應(yīng)濾波處理部113使用當(dāng)前片層與相鄰片層兩者的像素AA至像素JJ，對(duì)作為要處理的像素的像素EE進(jìn)行濾波處理。
但是，為此必需待機(jī)至相鄰片層的解碼圖像生成為止，因此，在此情況下，編碼處理的延遲時(shí)間有增大的可能性。
另一方面，例如如圖7的B所示，有生成并利用虛擬數(shù)據(jù)的方法。在圖7的B的例子的情況下，自適應(yīng)濾波處理部113對(duì)相鄰于片層邊界163的像素EA至像素EJ進(jìn)行復(fù)制， 從而生成周邊像素162的相鄰片層內(nèi)的像素(虛擬數(shù)據(jù))。濾波處理部113使用所生成的虛擬數(shù)據(jù)進(jìn)行針對(duì)像素EE的濾波處理。
從而，自適應(yīng)濾波處理部113無需等待相鄰片層的像素生成，而能夠比圖7的A的情形更早地對(duì)像素EE進(jìn)行濾波處理。
S卩，在使用鄰接片層的像素的圖7的A的方法的情況下，由于自適應(yīng)濾波處理部 113使用實(shí)際的數(shù)據(jù)，因此可進(jìn)行更適合于實(shí)際的圖像的內(nèi)容的濾波處理。即，可期待通過濾波處理而使畫質(zhì)得到更大的改善。
另一方面，在圖7的B的方法的情況下，自適應(yīng)濾波處理部113無需將相鄰片層的數(shù)據(jù)用于濾波處理，而可僅利用當(dāng)前片層的數(shù)據(jù)進(jìn)行處理，因此還可以更早地進(jìn)行濾波處理。
哪一種方法較理想根據(jù)系統(tǒng)的規(guī)格、用戶的要求等而不同。例如，如果系統(tǒng)重視畫質(zhì)，則圖7的A所示的方法更理想，但圖7的A的方法與圖7的B的方法相比存儲(chǔ)器消耗量更多，且存在延遲時(shí)間增大的可能性。因此，根據(jù)系統(tǒng)中可使用的存儲(chǔ)器的容量和允許的延遲時(shí)間的長(zhǎng)度，有時(shí)也可能認(rèn)為圖7的B的方法更理想。
邊界控制標(biāo)志控制針對(duì)這樣的邊界附近的像素的濾波處理的方法。
返回至圖3，邊界控制標(biāo)志生成部132生成這樣的邊界控制標(biāo)志。邊界控制標(biāo)志生成部132具有系統(tǒng)規(guī)格管理部141、判斷部142和生成部143。
系統(tǒng)規(guī)格管理部141管理包括圖像編碼裝置100的進(jìn)行圖像處理的系統(tǒng)的規(guī)格 (硬件資源或使用目的等)。例如，系統(tǒng)規(guī)格管理部141可安排為管理在圖像編碼裝置10012中經(jīng)編碼的圖像解碼裝置的規(guī)格(硬件資源或使用目的等)。
判斷部142判斷要處理的像素是否為邊界附近的像素。生成部143針對(duì)判斷為邊界附近的像素的要處理的像素生成邊界控制標(biāo)志。
圖8是表示圖1的自適應(yīng)濾波處理部113的主要構(gòu)成例的框圖。
自適應(yīng)濾波處理部113使用自控制信息生成部112所提供的控制信息，對(duì)從解塊濾波器111所提供的解碼圖像進(jìn)行濾波處理。
自適應(yīng)濾波處理部113如圖8所示，包括控制部171、自適應(yīng)濾波器172和選擇部 173。
控制部171控制自適應(yīng)濾波器172和選擇部173。例如，控制部171從控制信息生成部112獲取控制信息，并根據(jù)該控制信息而控制濾波處理。
自適應(yīng)濾波器172使用由控制部171所設(shè)定的濾波系數(shù)，對(duì)自解塊濾波器111所提供的解碼圖像的由控制部171指定為要處理的ALF塊的區(qū)域進(jìn)行濾波處理。
自適應(yīng)濾波器172具有緩沖器181、片層內(nèi)自適應(yīng)濾波器182、邊界用第1自適應(yīng)濾波器183和邊界用第2自適應(yīng)濾波器184。
緩沖器181臨時(shí)保持從解塊濾波器111所提供的解碼圖像。緩沖器181不僅可保持要處理的片層，也能夠保持鄰接于要處理的片層的片層(相鄰片層)。
片層內(nèi)自適應(yīng)濾波器182在控制部171的控制下，對(duì)周邊像素中不包括相鄰片層的像素的、并且不是片層邊界附近的要處理的像素進(jìn)行濾波處理。即，片層內(nèi)自適應(yīng)濾波器 182僅使用當(dāng)前片層的像素進(jìn)行濾波處理。
邊界用第1自適應(yīng)濾波器183在控制部171的控制下，對(duì)周邊像素中包括相鄰片層的像素的片層邊界附近的要處理的像素進(jìn)行跨越片層的濾波處理。即，邊界用第1自適應(yīng)濾波器183以如圖7的A所示的方法，利用當(dāng)前片層和相鄰片層的像素進(jìn)行濾波處理。因此，邊界用第1自適應(yīng)濾波器183在緩沖器181中存儲(chǔ)有相鄰片層的像素之后開始濾波處理。
邊界用第2自適應(yīng)濾波器184在控制部171的控制下，對(duì)周邊像素中包括相鄰片層的像素的片層邊界附近的要處理的像素進(jìn)行在當(dāng)前片層關(guān)閉的濾波處理。即，邊界用第 2自適應(yīng)濾波器184以如圖7的B所示的方法，僅利用當(dāng)前片層的像素，且根據(jù)需要生成虛擬數(shù)據(jù)而進(jìn)行濾波處理。因此，邊界用第2自適應(yīng)濾波器184在一旦緩沖器181存儲(chǔ)當(dāng)前片層的像素時(shí)便開始濾波處理。
控制部171根據(jù)要處理的像素的位置和控制信息中所包括的邊界控制標(biāo)志的值， 從片層內(nèi)自適應(yīng)濾波器182、邊界用第1自適應(yīng)濾波器183和邊界用第2自適應(yīng)濾波器184 中選擇任一者，并且使所選擇的處理部以各自的方法執(zhí)行濾波處理。
另外，控制部171對(duì)應(yīng)于緩沖器181中的圖像的存儲(chǔ)狀況，控制所選擇的處理部 (片層內(nèi)自適應(yīng)濾波器182、邊界用笫1自適應(yīng)濾波器183、或邊界用第2自適應(yīng)濾波器184) 的濾波處理的開始時(shí)間點(diǎn)。
自適應(yīng)濾波器172(片層內(nèi)自適應(yīng)濾波器182、邊界用第1自適應(yīng)濾波器183、或邊界用第2自適應(yīng)濾波器184)將濾波處理結(jié)果提供至選擇部173。
在控制部171的控制下，選擇部173從解塊濾波器111所提供的解碼圖像(未經(jīng)自適應(yīng)濾波處理的解碼圖像)和從自適應(yīng)濾波器172所提供的解碼圖像(經(jīng)自適應(yīng)濾波處理的解碼圖像)中選擇其中之一，并將其提供至幀存儲(chǔ)器114，使其作為參考圖像而加以存儲(chǔ)。
控制部171根據(jù)控制信息中所包括的濾波器塊標(biāo)志的值，控制選擇部173，使其選擇未經(jīng)自適應(yīng)濾波處理的解碼圖像、或者經(jīng)自適應(yīng)濾波處理的解碼圖像的其中之一。
S卩，自適應(yīng)濾波處理部113僅對(duì)從解塊濾波器111所提供的解碼圖像的通過濾波器塊標(biāo)志表示要進(jìn)行濾波處理的區(qū)域(判斷為通過濾波處理而使畫質(zhì)得到改善的區(qū)域)進(jìn)行濾波處理。
[處理的流程]
接下來，對(duì)使用如上述構(gòu)成的各部分的處理的流程進(jìn)行說明。首先，參考圖9的流程圖說明由圖像編碼裝置100所進(jìn)行的編碼處理的流程的例子。
在步驟SlOl中，A/D變換部101將所輸入的圖像從模擬變換為數(shù)字。在步驟S102 中，畫面重排緩沖器102存儲(chǔ)經(jīng)A/D變換的圖像，并且進(jìn)行各畫面的從顯示順序向編碼順序的重排。
在步驟S103中，運(yùn)算部103對(duì)通過步驟S102的處理而重排的圖像與預(yù)測(cè)圖像的差分進(jìn)行運(yùn)算。預(yù)測(cè)圖像在進(jìn)行幀間預(yù)測(cè)的情況下是從運(yùn)動(dòng)補(bǔ)償部116經(jīng)由預(yù)測(cè)圖像選擇部118而提供至運(yùn)算部103，而在進(jìn)行幀內(nèi)預(yù)測(cè)的情況下則是從幀內(nèi)預(yù)測(cè)部115經(jīng)由預(yù)測(cè)圖像選擇部118而提供至運(yùn)算部103。
差分?jǐn)?shù)據(jù)與原始圖像數(shù)據(jù)相比數(shù)據(jù)量變小，因此，與對(duì)原始圖像進(jìn)行編碼的情況相比，可壓縮數(shù)據(jù)量。
在步驟S104中，正交變換部104對(duì)通過步驟S103的處理所生成的差分信息進(jìn)行正交變換。具體而言，進(jìn)行離散余弦變換、Karhimen-Lc^ve變換等正交變換，并輸出變換系數(shù)。在步驟S105中，量化部105將變換系數(shù)加以量化。在該量化時(shí)，如后述的步驟S119的處理中所說明的，碼率受到控制。
如上所述的量化的差分信息以如下方式被局部解碼。S卩，在步驟S106中，反量化部108以與量化部105的特性相對(duì)應(yīng)的特性將通過量化部105而量化的變換系數(shù)反量化。 在步驟S107中，逆正交變換部109以與正交變換部104的特性相對(duì)應(yīng)的特性對(duì)通過反量化部108而反量化的變換系數(shù)進(jìn)行逆正交變換。
在步驟S108中，運(yùn)算部110使經(jīng)由預(yù)測(cè)圖像選擇部118而輸入的預(yù)測(cè)圖像與經(jīng)局部解碼的差分信息相加，生成經(jīng)局部解碼的圖像(與向運(yùn)算部103的輸入相對(duì)應(yīng)的圖像)。 在步驟S109中，解塊濾波器111對(duì)從運(yùn)算部110所輸出的圖像進(jìn)行濾波。從而去除塊噪聲。
當(dāng)對(duì)1個(gè)片層進(jìn)行以上的處理時(shí)，則在步驟SllO中，控制信息生成部112生成用于自適應(yīng)濾波處理的控制信息?？刂菩畔⒌纳商幚淼脑敿?xì)情況將后述。
當(dāng)通過步驟SllO的處理，生成濾波系數(shù)、ALF塊大小、及濾波器塊標(biāo)志等控制信息時(shí)，則自適應(yīng)濾波處理部113在步驟Slll中，使用該控制信息，對(duì)通過步驟S109的處理而受到解塊濾波處理的解碼圖像進(jìn)行自適應(yīng)濾波處理。該自適應(yīng)濾波處理的詳細(xì)情況將后述。
在步驟S112中，幀存儲(chǔ)器114存儲(chǔ)步驟Slll中經(jīng)自適應(yīng)濾波處理的圖像。
在步驟S113中，幀內(nèi)預(yù)測(cè)部115進(jìn)行幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)處理。在步驟S114 中，運(yùn)動(dòng)預(yù)測(cè)部117和運(yùn)動(dòng)補(bǔ)償部116進(jìn)行幀間預(yù)測(cè)模式的幀間運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理。
在步驟S115中，預(yù)測(cè)圖像選擇部118對(duì)應(yīng)于要處理的幀的預(yù)測(cè)模式，從通過幀內(nèi)預(yù)測(cè)處理所生成的預(yù)測(cè)圖像、或者通過幀間運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理所生成的預(yù)測(cè)圖像中選擇其中之一。預(yù)測(cè)圖像選擇部118將所選擇的預(yù)測(cè)圖像提供至運(yùn)算部103和110。該預(yù)測(cè)圖像如上所述，被用于步驟S103和步驟S108的運(yùn)算。
在步驟Sl 16中，無損編碼部106對(duì)從量化部105所輸出的經(jīng)量化的變換系數(shù)進(jìn)行編碼。特別地，對(duì)差分圖像進(jìn)行可變長(zhǎng)度編碼、算術(shù)編碼等無損編碼，并加以壓縮。此時(shí)，無損編碼部106也對(duì)在步驟SllO中所生成的控制信息、步驟S113的幀內(nèi)預(yù)測(cè)處理的幀內(nèi)預(yù)測(cè)模式信息和步驟S114的幀間運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償處理的幀間預(yù)測(cè)模式等進(jìn)行編碼。
在步驟S117中，無損編碼部106將經(jīng)編碼的控制信息等的元數(shù)據(jù)嵌入(記述)至片層首部。該元數(shù)據(jù)在圖像解碼時(shí)被讀出、利用。以這種方式包括(復(fù)用)解碼處理中所需要的元數(shù)據(jù)，從而能夠以比幀單位更細(xì)小的單位來執(zhí)行解碼處理，并可抑制延遲時(shí)間的增大。
在步驟S118中，存儲(chǔ)緩沖器107將差分圖像作為壓縮圖像加以存儲(chǔ)。適當(dāng)?shù)刈x出存儲(chǔ)緩沖器107中所存儲(chǔ)的壓縮圖像，并將其經(jīng)由傳輸路徑而傳輸至解碼側(cè)。
在步驟S119中，碼率控制部119根據(jù)存儲(chǔ)緩沖器107中所存儲(chǔ)的壓縮圖像，控制量化部105的量化操作的碼率，以防止產(chǎn)生溢出或下溢。
接下來，參考圖11的流程圖說明圖10的步驟SllO中通過控制信息生成部112所執(zhí)行的控制信息生成處理的流程的例子。
當(dāng)控制信息生成處理開始時(shí)，則控制信息生成部112的濾波系數(shù)計(jì)算部131在步驟S131中，使用從畫面重排緩沖器102所提供的輸入圖像和從解塊濾波器111所提供的經(jīng)解塊濾波處理的解碼圖像來計(jì)算濾波系數(shù)。例如，濾波系數(shù)計(jì)算部131決定濾波系數(shù)的值以使輸入圖像與解碼圖像的殘差變成最小。
當(dāng)計(jì)算出濾波系數(shù)時(shí)，則邊界控制標(biāo)志生成部132在步驟S132中，生成用于控制針對(duì)邊界附近的像素的自適應(yīng)濾波處理方法的邊界控制標(biāo)志。詳細(xì)情況將后述。
當(dāng)生成邊界控制標(biāo)志時(shí)，則塊信息生成部133在步驟S133中，生成包括ALF塊大小和濾波器塊標(biāo)志的塊信息。ALF塊大小可預(yù)先規(guī)定，也可根據(jù)圖像內(nèi)容而適當(dāng)沒定。在此情況下，塊信息生成部133例如使用成本函數(shù)計(jì)算出評(píng)價(jià)濾波處理結(jié)果的成本值，并決定 ALF塊大小以使該成本值變成最小。
另外，塊信息生成部133根據(jù)對(duì)要處理的ALF塊實(shí)施濾波處理的情況下畫質(zhì)是否得到改善而決定濾波器塊標(biāo)志的值。例如，塊信息生成部133在判斷為通過實(shí)施濾波處理而使畫質(zhì)得到改善的情況下，將濾波器塊標(biāo)志的值設(shè)定為表示進(jìn)行濾波處理的值“ 1 ”，在判斷為因?qū)嵤V波處理而導(dǎo)致畫質(zhì)惡化的情況下，將濾波器塊標(biāo)志的值設(shè)定為表示不進(jìn)行濾波處理的值“0”。
當(dāng)生成塊信息時(shí)，則返回至圖9的步驟S110，執(zhí)行步驟Slll以后的處理。
注意步驟S131中所進(jìn)行的濾波系數(shù)的計(jì)算也可以幀單位進(jìn)行。在此情況下，步驟 S131的處理也可僅在幀內(nèi)的特定的片層(例如，幀內(nèi)識(shí)別編號(hào)為特定的值(例如，“0”)的片層，或者幀內(nèi)首先被處理的片層等)進(jìn)行，而在其他片層中使用該值。另外，在濾波系數(shù)的計(jì)算中可利用任意的圖像。例如，也可以根據(jù)過去的幀圖像進(jìn)行計(jì)算。
接下來，參考圖11的流程圖，說明圖10的步驟S132中所執(zhí)行的邊界控制標(biāo)志設(shè)定處理的流程的例子。
當(dāng)邊界控制標(biāo)志設(shè)定處理開始時(shí)，則邊界控制標(biāo)志生成部132的系統(tǒng)規(guī)格管理部 141在步驟S151中獲取系統(tǒng)規(guī)格信息。
該系統(tǒng)規(guī)格信息包括例如包括圖像編碼裝置100的系統(tǒng)的硬件資源及使用目的等的信息。硬件資源是指構(gòu)成系統(tǒng)的各裝置(包括圖像編碼裝置100)的硬件資源，例如包括處理能力、可使用的存儲(chǔ)器容量、總線傳送速度等。另外，使用目的是指系統(tǒng)整體或各裝置的工作模式，例如包括是以重視畫質(zhì)的方式工作、或者是以重視速度的方式工作等。當(dāng)然，系統(tǒng)規(guī)格信息也可以包括這些以外的信息。
該系統(tǒng)規(guī)格信息也可以預(yù)先存儲(chǔ)在內(nèi)置在系統(tǒng)規(guī)格管理部14中的存儲(chǔ)器等中。 在此情況下，系統(tǒng)規(guī)格管理部141通過步驟S151的處理，從存儲(chǔ)器讀出該系統(tǒng)規(guī)格信息。另外，在步驟S151的處理時(shí)，系統(tǒng)規(guī)格管理部141也可從圖像編碼裝置100的各部以及其他裝置等收集如上所述的規(guī)格信息。
當(dāng)系統(tǒng)規(guī)格管理部141獲取系統(tǒng)規(guī)格信息時(shí)，將其提供至判斷部142。
判斷部142在步驟S152中，根據(jù)所提供的系統(tǒng)規(guī)格信息(硬件資源或使用目的等)，判斷是否對(duì)邊界附近的濾波處理使用下一片層。即，在將周邊像素中包括相鄰片層的邊界附近的像素作為要處理的像素的情況下，判斷部142判斷是要進(jìn)行跨越片層的濾波處理，還是進(jìn)行在當(dāng)前片層關(guān)閉的濾波處理。
例如，在允許延遲時(shí)間的增大、且在圖像編碼裝置100或圖像解碼裝置等中的可用存儲(chǔ)器容量充分的情況下，判斷部142選擇跨越片層的濾波處理。另外，例如，在不允許延遲時(shí)間的增大、或者系統(tǒng)的各裝置的硬件資源不充分的情況下，判斷部142選擇在當(dāng)前片層關(guān)閉的濾波處理。
在判斷為要使用下一片層，即進(jìn)行跨越片層的濾波處理的情況下，進(jìn)入至步驟 S153。在步驟S153中，生成部143生成值為“ 1，，的邊界控制標(biāo)志。
另外，在判斷為不使用下一片層，即進(jìn)行在當(dāng)前片層關(guān)閉的濾波處理的情況下，進(jìn)入至步驟S1M。于步驟SlM中，生成部143生成值為“0”的邊界控制標(biāo)志。
當(dāng)生成部143生成邊界控制標(biāo)志時(shí)，則將其提供至自適應(yīng)濾波處理部113或無損編碼部106。無損編碼部106將從生成部143提供的邊界控制標(biāo)志作為控制信息進(jìn)行編碼， 并將其嵌入至當(dāng)前片層的片層首部等中。自適應(yīng)濾波處理部113使用從生成部143提供的邊界控制標(biāo)志來控制自適應(yīng)濾波處理。
當(dāng)步驟S153或步驟SlM的處理結(jié)束時(shí)，則邊界控制標(biāo)志設(shè)定處理結(jié)束，返回至圖 10的步驟S132，進(jìn)行步驟S133以后的處理。
接下來，參考圖12的流程圖，說明圖9的步驟Slll中所執(zhí)行的自適應(yīng)濾波處理的流程的例子。
當(dāng)自適應(yīng)濾波處理開始時(shí)，則緩沖器181在步驟S171中，從解塊濾波器111獲取要處理的片層的解碼圖像。當(dāng)獲取要處理的片層時(shí)，則在步驟S172中，控制部171確定該要處理的片層的區(qū)域。
為了獲知作為要處理的的當(dāng)前片層的區(qū)域，可通過獲知當(dāng)前片層中所包括的宏塊，并自該宏塊獲知包括在該宏塊中的像素而得出。控制部171從片層首部獲得當(dāng)前片層的起始宏塊地址。16
此處，起始宏塊地址是指從屏幕的左上方起以光柵掃描順序?qū)陦K所標(biāo)注的編號(hào)。如圖5所示，圖像(幀151)的左上方的宏塊地址為0。由于片層0從幀151的左上方開始，因此片層0的起始宏塊156-1的宏塊地址為0。根據(jù)該順序，將片層0的最終宏塊156-2 的宏塊地址設(shè)定為E0。另外，與當(dāng)前片層0同樣地，將片層1的起始宏塊157-1的宏塊地址設(shè)定為Si，將最終宏塊157-2的宏塊地址設(shè)定為E1。進(jìn)而，將片層2的起始宏塊158-1的宏塊地址設(shè)定為S2，將最終宏塊158-2的宏塊地址設(shè)定為E2。
當(dāng)對(duì)當(dāng)前片層進(jìn)行解碼時(shí)，則每當(dāng)完成1個(gè)宏塊的解碼處理，就追加1個(gè)宏塊地址，最終到達(dá)當(dāng)前片層的最終宏塊。在最終宏塊中設(shè)置有表示片層的最終宏塊的標(biāo)志。通過這些，可知當(dāng)前片層所保有的所有宏塊地址。即，從起始宏塊地址到最終宏塊地址為止。
此處，在AVC流(圖像壓縮信息)的序列參數(shù)集(SPSGequence Parameter Set)) 中，1個(gè)幀的圖像大小通過宏塊的數(shù)量表示。pic_height_in_map_units_minusl表示圖像的縱向的宏塊數(shù)。pic_Width_in_mbS_minuSl表示圖像的橫向的宏塊數(shù)。
因此，根據(jù)宏塊地址，由以下的表達(dá)式( 和表達(dá)式C3)表示該宏塊的位置。
mbx = macro block address % pic_width_in_mbs_minusl ... (2)
mby = floor[macro block address / pic_width_in_mbs_minusl]
.. . (3)
在表達(dá)式( 和表達(dá)式(3)中，mbx表示宏塊為從左側(cè)起第幾個(gè)，mby表示宏塊為從上方起第幾個(gè)。另外，fl00r[z]表示將ζ的小數(shù)點(diǎn)以下舍去而變成整數(shù)，B表示A除以B所得的余數(shù)。
如果將宏塊的大小決定為16X16像素，則宏塊的左上方的像素的縱向和橫向的位置為(16Xmbx、16Xmby)，該宏塊中所包括的像素為包括于如下范圍中的像素，即自該左上方的像素位置起朝下方16個(gè)像素、及朝右方16像素的范圍。至此，可知當(dāng)前片層的所有像素。即，要處理的片層的區(qū)域得到確定。
在步驟S173中，控制部171獲取控制信息生成部112中所生成的1個(gè)濾波器塊標(biāo)ο
在步驟S174中，控制部171將未處理的ALF塊中的1個(gè)塊決定為要處理的ALF塊。 該ALF塊的選擇順序是預(yù)先決定的，且與控制信息生成部112中的選擇順序相同。進(jìn)而，控制部171確定所決定的要處理的ALF塊的區(qū)域。
由于預(yù)先規(guī)定了幀的圖像大小，因此當(dāng)決定ALF塊大小時(shí)，則也能夠以幀的左上方為原點(diǎn)而計(jì)算出為鋪滿ALF塊所需要的ALF塊的數(shù)量(幀內(nèi)的ALF塊數(shù))。由于預(yù)先準(zhǔn)備了 ALF塊的縱向的大小(像素?cái)?shù))與橫向的大小(像素?cái)?shù))的設(shè)定值，因此控制部171 根據(jù)該設(shè)定值而決定各ALF塊的大小與ALF塊數(shù)，并對(duì)解碼圖像配置ALF塊。
注意，ALF塊的數(shù)量通過以下的表達(dá)式(4)及表達(dá)式(5)而計(jì)算出。
num—alf—block—χ = floor[(16X (pic—width_in—mbs—minusl+1)+(alf—block— size-1))/alf—block—size] …(4)
num—alf—block—y = floor[(16X (pic—height_in—map—units—minusl+1)+(alf— block—size-1))/aif—block—size] …(5)
在表達(dá)式(4)及表達(dá)式(5)中，num—alf—block—χ以及 num—alf—block—y 分別為圖像中所包括的ALF塊的橫向與縱向的數(shù)量。另外，alf—block—size表示ALF塊的一邊的大小。此處，為使說明簡(jiǎn)單化，將ALF塊設(shè)定為正方形。當(dāng)然，也能夠使ALF塊的縱向的大小he橫向的大小彼此不同。
第i個(gè)ALF塊的位置由以下的表達(dá)式(6)及表達(dá)式(7)表示。
alf_block_x = i% (num_alf_block_x_l)... (6)
alf_block_y = floor[i/(num_alf_block_x_l)]. . . (7)
在表達(dá)式(6)及表達(dá)式(7)中，alf_block_x與alf_block_y分別表示第i個(gè)ALF 塊在橫向與縱向上為第幾個(gè)。第i個(gè)ALF塊的左上方的像素的位置為alf_bl0Ck_x與alf_ block_y的各個(gè)乘以alf_block_x與alf_block_size所得的位置。即，橫向變成16Xalf_ block_x，縱向變成16Xalf_bloCk_y。因此，第i個(gè)ALF塊的區(qū)域從其左上方的像素起為 alf_block_sizeXalf_block_size 的范圍。
在步驟S175中，控制部171判斷在以上述方式確定的要處理的ALF塊的區(qū)域內(nèi)， 是否包括要處理的片層的區(qū)域。在判斷為包括要處理的片層的區(qū)域的情況下，流程進(jìn)入至步驟S176。
步驟S176中，控制部171判斷濾波器塊標(biāo)志的值是否為1。在濾波器塊標(biāo)志的值為1，且給出對(duì)要處理的ALF塊的區(qū)域進(jìn)行濾波處理的指示的情況下，進(jìn)行控制以使選擇部 173選擇從適應(yīng)濾波器172的輸出，然后流程進(jìn)入至步驟S177。在步驟S177中，控制部171 以例如光柵掃描順序等特定順序從未處理的像素中選擇要處理的像素。
在步驟S178中，控制部171判斷在所選擇的要處理的像素的濾波處理中是否需要相鄰片層的像素。在要處理的像素的周邊像素中包括相鄰片層的像素，且判斷為要處理的像素為片層邊界附近的像素的情況下，流程進(jìn)入至步驟S179。
在步驟S179中，控制部171判斷從控制信息生成部112所獲取的控制信息中所包括的邊界控制標(biāo)志的值是否為“ 1 ”。在判斷為邊界控制標(biāo)志的值為“ 1 ”的情況下，流程進(jìn)入至步驟S180。
在步驟S180中，控制部171選擇邊界用第1自適應(yīng)濾波器183作為自適應(yīng)濾波器，且使該邊界用第1自適應(yīng)濾波器183如圖7的A所示執(zhí)行跨越片層的濾波處理。當(dāng)步驟S180的處理結(jié)束時(shí)，則流程進(jìn)入至步驟S183。
另外，當(dāng)在步驟S179中判斷為邊界控制標(biāo)志的值為“0”時(shí)，流程進(jìn)入至步驟S181。
在步驟S181中，控制部171選擇邊界用第2自適應(yīng)濾波器184作為自適應(yīng)濾波器， 且使該邊界用第2自適應(yīng)濾波器184如圖7的B所示執(zhí)行在當(dāng)前片層關(guān)閉的濾波處理。當(dāng)步驟S181的處理結(jié)束時(shí)，則流程進(jìn)入至步驟S183。
另外，當(dāng)在步驟S178中判斷為要處理的像素并非片層邊界附近的像素時(shí)，流程進(jìn)入至步驟S182。
在步驟S182中，控制部171選擇片層內(nèi)自適應(yīng)濾波器182作為自適應(yīng)濾波器，且使當(dāng)前片層內(nèi)自適應(yīng)濾波器182執(zhí)行通常的僅使用當(dāng)前片層的像素的濾波處理。當(dāng)步驟 S182的處理結(jié)束時(shí)，則流程進(jìn)入至步驟S183。
另外，當(dāng)在步驟S176中判斷為濾波器塊標(biāo)志的值為“0”時(shí)，流程進(jìn)入至步驟S183。 進(jìn)而，當(dāng)在步驟S175中判斷為要處理的ALF塊不包括要處理的片層的區(qū)域時(shí)，流程進(jìn)入至步驟S183。
在步驟S183中，控制部171判斷是否已對(duì)要處理的ALF塊內(nèi)的所有像素進(jìn)行了處理。在判斷為存在未處理的像素的情況下，流程返回至步驟S177，并重復(fù)后繼的處理。
另外，當(dāng)在步驟S183中判斷為已對(duì)要處理的ALF塊內(nèi)的所有像素進(jìn)行了處理時(shí)， 流程進(jìn)入至步驟S184。
在步驟S184中，控制部171判斷是否已對(duì)幀內(nèi)的所有ALF塊進(jìn)行了處理。在判斷為存在未處理的ALF塊的情況下，流程返回至步驟S173，并重復(fù)后繼的處理。另外，當(dāng)在步驟S184中判斷為已對(duì)所有ALF塊進(jìn)行了處理時(shí)，自適應(yīng)濾波控制處理結(jié)束，流程返回至圖 9的步驟S111，進(jìn)行步驟S112及以后的處理。
注意，步驟S180至步驟S182中所進(jìn)行的針對(duì)各要處理的像素的濾波處理各自作為與自適應(yīng)濾波控制處理不同的任務(wù)而獨(dú)立地執(zhí)行。即，在步驟S180至步驟S182中，當(dāng)指定執(zhí)行自適應(yīng)濾波處理時(shí)，則適當(dāng)執(zhí)行該自適應(yīng)濾波處理。即，這些自適應(yīng)濾波處理可與自適應(yīng)濾波控制處理和針對(duì)其他像素的自適應(yīng)濾波處理并行執(zhí)行。
參考圖13及圖14的流程圖，對(duì)這些濾波處理進(jìn)行說明。首先，參考圖13的流程圖，說明由邊界用第1自適應(yīng)濾波器183所執(zhí)行的濾波處理的流程的例子。
當(dāng)在圖12的步驟S180中指示執(zhí)行被指示執(zhí)行的跨越片層的濾波處理時(shí)，則邊界用第1自適應(yīng)濾波器183在步驟S201中，監(jiān)視緩沖器181，判斷要處理的像素的周邊區(qū)域的像素是否已全部備齊，并待機(jī)至備齊為止。該周邊區(qū)域的像素(即，周邊像素)也包括相鄰片層的像素。在判斷為緩沖器181中已備齊全部周邊像素的情況下，流程進(jìn)入至步驟S202。
在步驟S202中，邊界用第1自適應(yīng)濾波器183從緩沖器181獲取周邊區(qū)域的像素 (周邊像素)，在步驟S203中，使用該周邊像素與由控制部171所設(shè)定的濾波系數(shù)，進(jìn)行要處理的像素的濾波處理。當(dāng)濾波處理結(jié)束時(shí)，則邊界用第1自適應(yīng)濾波器183將濾波處理結(jié)果提供至選擇部173，并結(jié)束濾波處理。
選擇部173在濾波器塊標(biāo)志的值為“1”的情況下，選擇該濾波處理結(jié)果，并將其作為經(jīng)濾波處理的解碼圖像提供至幀存儲(chǔ)器114中加以存儲(chǔ)。
接下來，參考圖14的流程圖，說明由邊界用第2自適應(yīng)濾波器184所執(zhí)行的濾波處理的流程的例子。
當(dāng)在圖12的步驟S180中指示執(zhí)行被指示執(zhí)行的在當(dāng)前片層關(guān)閉的濾波處理時(shí)， 則邊界用第2自適應(yīng)濾波器184在步驟S221中，復(fù)制已保持于緩沖器181中的位于當(dāng)前片層中的周邊像素，生成位于相鄰片層中的周邊像素的虛擬數(shù)據(jù)。
當(dāng)生成虛擬數(shù)據(jù)時(shí)，則邊界用第2自適應(yīng)濾波器184在步驟S212中，使用包括虛擬數(shù)據(jù)的周邊像素與由控制部171所設(shè)定的濾波系數(shù)，進(jìn)行要處理的像素的濾波處理。當(dāng)濾波處理結(jié)束時(shí)，則邊界用第2自適應(yīng)濾波器184將濾波處理結(jié)果提供至選擇部173，并結(jié)束濾波處理。
選擇部173在濾波器塊標(biāo)志的值為“1”的情況下，選擇該濾波處理結(jié)果，并將其作為經(jīng)濾波處理的解碼圖像提供至幀存儲(chǔ)器114中加以存儲(chǔ)。
如上所述根據(jù)邊界控制標(biāo)志的值，從多種方法的中適當(dāng)選擇針對(duì)邊界附近的像素的濾波處理的方法，從而自適應(yīng)濾波處理部113可抑制由編碼時(shí)的濾波處理的局部控制所引起的濾波處理的效果的降低。例如，通過以跨越片層的格式進(jìn)行濾波處理，自適應(yīng)濾波處理部113可提升濾波處理結(jié)果的畫質(zhì)。另外，例如，通過進(jìn)行在當(dāng)前片層關(guān)閉的濾波處理， 自適應(yīng)濾波處理部113可低延遲地進(jìn)行濾波處理。
此時(shí)，自適應(yīng)濾波處理部113根據(jù)基于系統(tǒng)規(guī)格信息所決定的邊界控制標(biāo)志來選擇濾波處理方法，因此可不使處理失敗而進(jìn)行濾波處理。
另外，邊界控制標(biāo)志生成部132根據(jù)系統(tǒng)規(guī)格信息設(shè)定邊界控制標(biāo)志，從而可使自適應(yīng)濾波處理部113以抑制效果的降低的格式執(zhí)行濾波處理。
S卩，圖像編碼裝置100可抑制由編碼時(shí)的濾波處理的局部控制所引起的濾波處理的效果的降低。
注意，無損編碼部106對(duì)邊界控制標(biāo)志進(jìn)行編碼，并將其附加至圖像壓縮信息中 (例如嵌入至片層首部中)。因此，圖像編碼裝置100可使對(duì)圖像編碼裝置100所輸出的圖像壓縮信息進(jìn)行解碼的圖像解碼裝置抑制由解碼時(shí)所進(jìn)行的濾波處理的局部控制所引起的濾波處理的效果的降低。
注意，“附加”表示以任意的形態(tài)使邊界控制標(biāo)志與圖像壓縮信息產(chǎn)生關(guān)聯(lián)。例如， 這可作為圖像壓縮信息的語法而記述，也可作為用戶數(shù)據(jù)而記述。另外，也可將邊界控制標(biāo)志作為元數(shù)據(jù)而成為與圖像壓縮信息鏈接的狀態(tài)。即，“附加”包括“嵌入”、“記述”、“復(fù)用” 和“鏈接”等。
另外，以上，對(duì)針對(duì)片層邊界附近的像素進(jìn)行跨越片層的濾波處理、或者進(jìn)行在當(dāng)前片層關(guān)閉的濾波處理的情形進(jìn)行了說明，但也可以利用除此以外的方法進(jìn)行濾波處理。 另外，例如，也可以省略濾波處理來代替在當(dāng)前片層關(guān)閉的濾波處理。
進(jìn)而，針對(duì)片層邊界附近的像素的濾波處理方法只要準(zhǔn)備多種即可，也可以準(zhǔn)備3 種以上的方法作為選項(xiàng)。在此情況下，邊界控制標(biāo)志需要2比特以上。注意，邊界控制標(biāo)志的比特?cái)?shù)是任意的。但是，該比特?cái)?shù)越少，越抑制圖像壓縮信息的編碼效率的降低，因此不希望無謂地增大比特?cái)?shù)。
<2.第2實(shí)施例>
[設(shè)備的構(gòu)成]
接下來，對(duì)與第1實(shí)施例中所說明的圖像編碼裝置100相對(duì)應(yīng)的圖像解碼裝置進(jìn)行說明。圖15表示作為應(yīng)用本發(fā)明的圖像處理裝置的圖像解碼裝置的一個(gè)實(shí)施例的構(gòu)成例的框圖。
圖像解碼裝置200對(duì)從圖像編碼裝置100所輸出的圖像壓縮信息進(jìn)行解碼，生成解碼圖像。
圖像解碼裝置200包括存儲(chǔ)緩沖器201、無損解碼器202、反量化部203、逆正交變換部204、運(yùn)算部205和解塊濾波器206。另外，圖像解碼裝置200包括自適應(yīng)濾波處理部207。圖像解碼裝置200還具有畫面重排緩沖器208和D/A (數(shù)字/模擬)變換部209。 圖像解碼裝置200還具有幀存儲(chǔ)器210、幀內(nèi)預(yù)測(cè)部211、運(yùn)動(dòng)補(bǔ)償部212和選擇部213。
存儲(chǔ)緩沖器201存儲(chǔ)傳輸而來的圖像壓縮信息。無損解碼部202對(duì)從存儲(chǔ)緩沖器 201提供的通過圖1的無損編碼部106而編碼的信息，以與無損編碼部106的編碼格式相對(duì)應(yīng)的格式進(jìn)行解碼。
在當(dāng)前宏塊經(jīng)幀內(nèi)編碼的情況下，無損解碼部202對(duì)圖像壓縮信息的首部部分中所存儲(chǔ)的幀內(nèi)預(yù)測(cè)模式信息進(jìn)行解碼，并將該信息傳輸至幀內(nèi)預(yù)測(cè)部211。另外，在當(dāng)前宏塊經(jīng)幀間編碼的情況下，無損解碼部202對(duì)圖像壓縮信息的首部部分中所存儲(chǔ)的運(yùn)動(dòng)向量信息進(jìn)行解碼，并將該信息傳送至運(yùn)動(dòng)補(bǔ)償部212。
另外，無損解碼部202從圖像壓縮信息的片層首部中提取自適應(yīng)濾波器用的控制信息(由控制信息生成部112所生成的控制信息)并進(jìn)行解碼，并且將該信息提供至自適應(yīng)濾波處理部207。
反量化部203以與圖1的量化部105的量化格式相對(duì)應(yīng)的格式，將通過無損解碼部202而解碼的圖像反量化。逆正交變換部204以與圖1的正交變換合104的正交變換格式相對(duì)應(yīng)的格式，對(duì)反量化部203的輸出進(jìn)行逆正交變換。
運(yùn)算部205使經(jīng)逆正交變換的差分信息和從選擇部213提供的預(yù)測(cè)圖像相加，而生成解碼圖像。解塊濾波器206去除通過該相加處理所生成的解碼圖像的塊噪聲。
自適應(yīng)濾波處理部207根據(jù)從無損解碼部202提供的控制信息中所包括的濾波系數(shù)、ALF塊大小、濾波器塊標(biāo)志和邊界控制標(biāo)志等信息，對(duì)從解塊濾波器206提供的圖像進(jìn)行濾波處理。自適應(yīng)濾波處理部207進(jìn)行與圖1的自適應(yīng)濾波處理部113相同的自適應(yīng)濾波處理。從而，自適應(yīng)濾波處理部207可減少未被解塊濾波器206完全去除的塊噪聲和由量化所引起的噪聲。
自適應(yīng)濾波處理部207將濾波處理后的圖像提供至幀存儲(chǔ)器210，使其作為參考圖像信息加以存儲(chǔ)，并且將其輸出至畫面重排緩沖器208。
畫面重排緩沖器208進(jìn)行圖像的重排。即，將為了編碼而通過圖1的畫面重排緩沖器102重排的幀的順序重排成原來的顯示的順序。D/A變換部209對(duì)從畫面重排緩沖器 208提供的圖像進(jìn)行D/A變換，并將其輸出。例如，D/A變換部209將通過進(jìn)行D/A變換所獲得的輸出信號(hào)輸出至未圖示的顯示器，而顯示圖像。
幀內(nèi)預(yù)測(cè)部211在當(dāng)前幀經(jīng)幀內(nèi)編碼的情況下，根據(jù)從無損解碼部202提供的信息，生成預(yù)測(cè)圖像，并將所生成的預(yù)測(cè)圖像輸出至選擇部213。
運(yùn)動(dòng)補(bǔ)償部212在當(dāng)前幀經(jīng)幀間編碼的情況下，根據(jù)從無損解碼部202提供的運(yùn)動(dòng)向量信息，對(duì)幀存儲(chǔ)器210中所存儲(chǔ)的參考圖像信息進(jìn)行運(yùn)動(dòng)補(bǔ)償處理。
在當(dāng)前宏塊經(jīng)幀內(nèi)編碼的情況下，選擇部213與幀內(nèi)預(yù)測(cè)部211連接，將從幀內(nèi)預(yù)測(cè)部211提供的圖像作為預(yù)測(cè)圖像提供至運(yùn)算部205。另外，在當(dāng)前宏塊經(jīng)幀間編碼的情況下，選擇部213與運(yùn)動(dòng)補(bǔ)償部212連接，將從運(yùn)動(dòng)補(bǔ)償部212提供的圖像作為預(yù)測(cè)圖像提供至運(yùn)算部205。
[處理的流程]
參考圖16的流程圖，說明該圖像解碼裝置200所執(zhí)行的解碼處理的流程的例子。
在步驟S301中，存儲(chǔ)緩沖器201存儲(chǔ)傳輸而來的圖像。無損解碼部202在步驟 S302中，從圖像壓縮信息的片層首部中提取自適應(yīng)濾波處理用的控制信息，并在步驟S303 中進(jìn)行解碼。經(jīng)解碼的控制信息被提供至自適應(yīng)濾波處理部207。
另外，在步驟S303中，無損解碼部202對(duì)從存儲(chǔ)緩沖器201提供的壓縮圖像進(jìn)行解碼。具體而言，對(duì)通過圖1的無損編碼部106而編碼的I畫面、P畫面以及B畫面進(jìn)行解碼。
此時(shí)，也對(duì)運(yùn)動(dòng)向量信息、參考幀信息、預(yù)測(cè)模式信息(表示幀內(nèi)預(yù)測(cè)模式或幀間預(yù)測(cè)模式的信息)等進(jìn)行解碼。
具體而言，在預(yù)測(cè)模式信息為幀內(nèi)預(yù)測(cè)模式信息的情況下，預(yù)測(cè)模式信息被提供至幀內(nèi)預(yù)測(cè)部211。在預(yù)測(cè)模式信息為幀間預(yù)測(cè)模式信息的情況下，與預(yù)測(cè)模式信息相對(duì)應(yīng)的運(yùn)動(dòng)向量信息及參考幀信息被提供至運(yùn)動(dòng)補(bǔ)償部212。
在步驟S304中，反量化部203以與圖1的量化部105的特性相對(duì)應(yīng)的特性，將在步驟S302中經(jīng)解碼的變換系數(shù)反量化。在步驟S305中，逆正交變換部204以與圖1的正交變換部104的特性相對(duì)應(yīng)的特性，對(duì)通過步驟S204的處理而反量化的變換系數(shù)進(jìn)行逆正交變換。這意味著，與圖1的正交變換部104的輸入(運(yùn)算部103的輸出)相對(duì)應(yīng)的差分信息得到解碼。
在步驟S306中，運(yùn)算部205使在后述的步驟S212的處理中所選擇的預(yù)測(cè)圖像與差分信息相加。從而對(duì)原始圖像進(jìn)行解碼。在步驟S307中，解塊濾波器206對(duì)從運(yùn)算部 205輸出的圖像進(jìn)行濾波。從而去除塊噪聲。
在步驟S308中，自適應(yīng)濾波處理部207對(duì)經(jīng)解塊濾波處理的圖像進(jìn)一步進(jìn)行用以實(shí)施自適應(yīng)濾波處理的自適應(yīng)濾波控制處理。該自適應(yīng)濾波控制處理與圖1的自適應(yīng)濾波處理部113所進(jìn)行的處理相同。即，該自適應(yīng)濾波控制處理除使用從無損解碼部202提供的控制信息以外，以與參考圖12的流程圖所說明的情形相同的方式進(jìn)行。注意，然而從該無損解碼部202提供的控制信息被圖1的控制信息生成部112生成，實(shí)際上與圖1的自適應(yīng)濾波處理部113所利用的從控制信息生成部112提供的控制信息相同。
通過該自適應(yīng)濾波控制處理，能夠減少解塊濾波處理中未完全去除的塊噪聲和由量化所引起的噪聲。
在步驟S309中，幀存儲(chǔ)器210存儲(chǔ)經(jīng)濾波的圖像。
在提供了幀內(nèi)預(yù)測(cè)模式信息的情況下，幀內(nèi)預(yù)測(cè)部211在步驟S310中進(jìn)行幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)處理。另外，在提供了幀間預(yù)測(cè)模式信息的情況下，運(yùn)動(dòng)補(bǔ)償部212在步驟S311中進(jìn)行幀間預(yù)測(cè)模式的運(yùn)動(dòng)補(bǔ)償處理。
在步驟S312中，選擇部213選擇預(yù)測(cè)圖像。即，選擇由幀內(nèi)預(yù)測(cè)部211所生成的預(yù)測(cè)圖像、或者由運(yùn)動(dòng)補(bǔ)償部212所生成的預(yù)測(cè)圖像中的其中之一，并將所選擇的預(yù)測(cè)圖像提供至運(yùn)算部205。
例如，在圖像經(jīng)幀內(nèi)編碼的情況下，選擇部213選擇由幀內(nèi)預(yù)測(cè)部211所生成的預(yù)測(cè)圖像，并將其提供至運(yùn)算部205。另外，在圖像經(jīng)幀間編碼的情況下，選擇部213選擇由運(yùn)動(dòng)補(bǔ)償部212所生成的預(yù)測(cè)圖像，并將其提供至運(yùn)算部205。
在步驟S313中，畫面重排緩沖器208進(jìn)行重排。具體而言，將為編碼而通過圖1 的圖像編碼裝置100的畫面重排緩沖器102重排的幀的順序重排成原來的顯示的順序。
在步驟S314中，D/A變換部209對(duì)來自畫面重排緩沖器208的圖像進(jìn)行D/A變換。 將該圖像輸出至未圖示的顯示器而顯示圖像。
如此，圖像解碼裝置200的無損解碼部202提取從圖像編碼裝置100提供的控制信息并進(jìn)行解碼，自適應(yīng)濾波處理部207使用該控制信息，與圖像編碼裝置100的自適應(yīng)濾波處理部113同樣地進(jìn)行自適應(yīng)濾波控制處理(以及濾波處理)。
通過進(jìn)行這樣的自適應(yīng)濾波控制處理，自適應(yīng)濾波處理部207能夠抑制由解碼時(shí)的濾波處理的局部控制所引起的濾波處理的效果的降低。
因此，圖像解碼裝置200能夠抑制由解碼時(shí)所進(jìn)行的濾波處理的局部控制所引起的濾波處理的效果的降低。
<3.第3實(shí)施例>CN 102511165 A說明書20/34 頁
[圖像處理系統(tǒng)]
注意，以上對(duì)控制信息生成部112的系統(tǒng)規(guī)格管理部141保持或收集系統(tǒng)規(guī)格信息的情形進(jìn)行了說明，該系統(tǒng)規(guī)格信息也可包括圖像解碼裝置的規(guī)格信息。
在此情況下，當(dāng)未預(yù)先掌握?qǐng)D像解碼裝置的規(guī)格信息時(shí)，例如在諸如將圖像編碼裝置與圖像解碼裝置連接成可進(jìn)行通信時(shí)等的特定的時(shí)間點(diǎn)，圖像編碼裝置需要收集圖像解碼裝置的規(guī)格信息。此時(shí)，圖像編碼裝置可與圖像解碼裝置進(jìn)行通信，從圖像解碼裝置獲取規(guī)格信息，例如可獲取由用戶所輸入的規(guī)格信息。
此處，未圖示的圖像處理系統(tǒng)是經(jīng)由網(wǎng)絡(luò)等通信媒體而將圖17所示的圖像編碼裝置300與圖18所示的圖像解碼裝置400連接成可進(jìn)行通信的系統(tǒng)。以下，對(duì)裝置的構(gòu)造進(jìn)行說明。
圖17表示作為應(yīng)用本發(fā)明的圖像處理裝置的圖像編碼裝置的其他的例子的框圖。
圖17所示的圖像編碼裝置300為基本上與圖1的圖像編碼裝置100相同的裝置， 其具有圖像編碼部301。
圖像編碼部301的構(gòu)成與圖像編碼裝置100的構(gòu)成相同，包括A/D變換部101至碼率控制部119，且與第1實(shí)施例中所說明的情形同樣地工作。
圖像編碼裝置300除該圖像編碼部301以外，還具有輸入部302、通信部303和信息收集部304。
輸入部302接受用戶等的操作。通信部303經(jīng)由網(wǎng)絡(luò)等與圖像解碼裝置400進(jìn)行通信。信息收集部304收集經(jīng)由輸入部302而輸入的圖像解碼裝置400的規(guī)格信息、或者經(jīng)由通信部303從圖像解碼裝置400提供的規(guī)格信息。信息收集部304將所收集的規(guī)格信息提供至控制信息生成部112的系統(tǒng)規(guī)格管理部141。
圖18表示作為應(yīng)用本發(fā)明的圖像處理裝置的圖像解碼裝置的其他的例子的框圖。
圖像解碼裝置400是基本上與圖15的圖像解碼裝置200相同的裝置，其具有圖像解碼部401。
圖像解碼部401的構(gòu)成與圖像解碼裝置200的構(gòu)成相同，具有存緩沖器201至選擇部213，且與第2實(shí)施例中所說明的情形同樣地工作。
圖像解碼裝置400除該圖像解碼部401以外，還包括信息提供部402和通信部 403。
信息提供部402具有圖像解碼裝置400的規(guī)格信息，并根據(jù)來自圖像編碼裝置300 的請(qǐng)求提供該規(guī)格信息。通信部403經(jīng)由網(wǎng)絡(luò)等與圖像編碼裝置300進(jìn)行通信。通信部 403接收來自圖像編碼裝置300的請(qǐng)求，并將其提供至信息提供部402。另外，通信部403 根據(jù)該請(qǐng)求而將從信息提供部402提供的圖像解碼裝置400的規(guī)格信息提供至圖像編碼裝置 300。
[處理的流程]
參考圖19的流程圖說明這樣的圖像處理系統(tǒng)中的規(guī)格信息的交換的流程的例子。
在步驟S401中，圖像編碼裝置300的信息收集部304經(jīng)由通信部303，對(duì)圖像解碼23裝置400請(qǐng)求圖像解碼裝置400的規(guī)格信息。在步驟S421中，圖像解碼裝置400的通信部 403當(dāng)獲取該請(qǐng)求時(shí)，則將該請(qǐng)求提供至信息提供部402。
在步驟S422中，信息提供部402將作為針對(duì)該請(qǐng)求的應(yīng)答的圖像解碼裝置400的規(guī)格信息經(jīng)由通信部403提供至發(fā)出請(qǐng)求的圖像編碼裝置300。
在步驟S402中，圖像編碼裝置300的信息收集部304當(dāng)經(jīng)由通信部303而獲取該規(guī)格信息時(shí)，則將其提供至控制信息生成部112的系統(tǒng)規(guī)格管理部141。
在步驟S403中，圖像編碼部301根據(jù)該規(guī)格信息進(jìn)行編碼處理，生成碼流。在步驟S404中，圖像編碼部301將所生成的碼流提供至圖像解碼裝置400。
在步驟S423中，圖像解碼裝置400的圖像解碼部401獲取從圖像編碼裝置300提供的碼流。在步驟S4M中，圖像解碼部401對(duì)該碼流進(jìn)行解碼處理。
如此，在圖像編碼處理和圖像解碼處理之前交換圖像解碼裝置400的規(guī)格信息， 從而圖像編碼裝置300能夠根據(jù)包括該圖像解碼裝置400的規(guī)格信息的系統(tǒng)規(guī)格信息創(chuàng)建邊界控制標(biāo)志。
從而，圖像編碼裝置300和圖像解碼裝置400如第1實(shí)施例與第2實(shí)施例中所說明的那樣，能夠抑制由編碼時(shí)或解碼時(shí)的濾波處理的局部控制所引起的濾波處理的效果的降低。
<4.第4實(shí)施例>
[QALF 的說明]
如非專利文獻(xiàn)3所示，可以將ALF塊設(shè)定為四叉樹(quad tree)構(gòu)造。該技術(shù)稱為QALF(Quad tree-based Adaptive Loop Filter，基于四叉樹的自適應(yīng)環(huán)路濾波器)。四叉樹構(gòu)造是指在下位階層(hierarchical level)中將上一位階層的1個(gè)ALF塊的區(qū)域一分為四的階層構(gòu)造。
圖20表示通過最大層數(shù)為3的四叉樹構(gòu)造來表現(xiàn)ALF塊分割，并對(duì)各ALF塊指定濾波器塊標(biāo)志的例子。
圖20的A表示成為四叉樹構(gòu)造的基本的ALF塊即層0。在四叉樹構(gòu)造中，各ALF 塊具有表示是否在下位的階層中被一分為四的塊分割標(biāo)志。圖20的A所示的ALF塊的塊分割標(biāo)志的值為“1”。即，該ALF塊在下位的階層(層1)中被一分為四。圖20的B表示該層1。即，在層1中形成4個(gè)ALF塊。
在塊分割標(biāo)志為“0”的情況下，在更下位的階層中不被一分為四。即，不再進(jìn)行分割，而針對(duì)該ALF塊生成濾波器塊標(biāo)志。即，塊分割標(biāo)志為“0”的ALF塊也具有濾波器塊標(biāo)志。圖20的B所示的，“0-1 ”的左邊的“0”表示該ALF塊的塊分割標(biāo)志，右邊的“ 1 ”表示該ALF塊的濾波器塊標(biāo)志。
層1的塊分割標(biāo)志為“1”的兩個(gè)ALF塊在更下位的階層(層2)中被一分為四。 圖20的C表示該層2。即，在層2中形成10個(gè)ALF塊。同樣地，在層2中，也將濾波器塊標(biāo)志分配至塊分割標(biāo)志為“0”的ALF塊中。在圖20的C中，1個(gè)ALF塊的塊分割標(biāo)志為“1”。 即，該ALF塊在更下位的階層(層3)中被一分為四。圖20的D表示該層3。S卩，在層3中形成13個(gè)ALF塊。
如圖20所示地形成四叉樹，ALF塊的構(gòu)成最終變成如圖21所示。這樣，在四叉樹構(gòu)造中，ALF塊的大小在每個(gè)階層中不同。即，通過采用四叉樹構(gòu)造，ALF塊可在幀內(nèi)中使其大小彼此不同。
各ALF塊中的濾波器塊標(biāo)志的控制與上述其他實(shí)施例的情形相同。S卩，在濾波器塊標(biāo)志的值為“0”的ALF塊的區(qū)域(圖21的陰影部分)不進(jìn)行濾波處理。
圖22表示使用QALF技術(shù)對(duì)圖5的片層1的區(qū)域進(jìn)行編碼的例子。此處，粗線521 的區(qū)域表示片層1的區(qū)域。不論ALF的構(gòu)成如何，在對(duì)片層邊界附近的像素進(jìn)行濾波處理時(shí)，有時(shí)周邊像素跨越多個(gè)片層。因此，在該QALF的情況下，也能夠與上述其他實(shí)施例的情形同樣地進(jìn)行針對(duì)片層邊界附近的像素的濾波處理的控制方法。
S卩，即使在四叉樹構(gòu)造的ALF塊的情況下，圖像編碼裝置和圖像解碼裝置也能夠抑制由編碼時(shí)或解碼時(shí)的濾波處理的局部控制所引起的濾波處理的效果的降低。
<5.第5實(shí)施例>
[個(gè)人計(jì)算機(jī)]
上述一系列處理可通過硬件執(zhí)行，也能夠通過軟件執(zhí)行。在此情況下，例如也能夠構(gòu)成為如圖23所示的個(gè)人計(jì)算機(jī)。
圖23中，個(gè)人計(jì)算機(jī)600的CPU (Central Processing Unit，中央處理單元)601 根據(jù)ROM (Read Only Memory，只讀存儲(chǔ)器)602中所存儲(chǔ)的程序、或者從存儲(chǔ)部613載入至 RAM (Random Access Memory,隨機(jī)存取存儲(chǔ)器)603中的程序執(zhí)行各種處理。RAM603中還適當(dāng)?shù)卮鎯?chǔ)CPU 601執(zhí)行各種處理時(shí)所需的數(shù)據(jù)等。
CPU 60UROM 602和RAM 603經(jīng)由總線604而相互連接。該總線604上也連接有輸入/輸出接口 610。
輸入/輸出接口 610上連接有包括鍵盤、鼠標(biāo)等的輸入部611，包括由CRT (Cathode Ray Tube，陰極射線管)或LCD (Liquid Crystal Display，液晶顯示器)等所構(gòu)成的顯示器及揚(yáng)聲器等的輸出部612，由硬盤等所構(gòu)成的存儲(chǔ)部613，由調(diào)制解調(diào)器等所構(gòu)成的通信部 614。通信部614經(jīng)由包括因特網(wǎng)的網(wǎng)絡(luò)而進(jìn)行通信處理。
另外，根據(jù)需要在輸入/輸出接口 610上還連接驅(qū)動(dòng)器615，適當(dāng)?shù)貙⒋疟P、光盤、 磁光盤、或者半導(dǎo)體存儲(chǔ)器等可移動(dòng)介質(zhì)621安裝至驅(qū)動(dòng)器615，并根據(jù)需要將從它們所讀出的計(jì)算機(jī)程序安裝在存儲(chǔ)部613中。
在通過軟件執(zhí)行上述一系列處理的情況下，從網(wǎng)絡(luò)或記錄介質(zhì)安裝構(gòu)成該軟件的程序。
該記錄介質(zhì)不僅由為了獨(dú)立于裝置本體而對(duì)用戶發(fā)送程序而配置的包括記錄有程序的磁盤(包括軟盤)、光盤(包括CD-ROM (Compact Disc-Read Only Memory，緊密光盤-只讀存儲(chǔ)器)、DVD (Digital Versatile Disc，數(shù)字多功能光盤))、磁光盤(包括 MD (Mini Disc，迷你盤))或半導(dǎo)體存儲(chǔ)器等的可移動(dòng)介質(zhì)621構(gòu)成，而且由以預(yù)先組裝入裝置本體的狀態(tài)對(duì)用戶進(jìn)行發(fā)送的記錄有程序的ROM 602、存儲(chǔ)部613中所包括的硬盤等構(gòu)成。
注意，計(jì)算機(jī)所執(zhí)行的程序可為按本說明書中所說明的順序以時(shí)間序列進(jìn)行處理的程序，也可以為并行地、或以當(dāng)進(jìn)行調(diào)用時(shí)等的必要時(shí)序進(jìn)行處理的程序。
另外，在本說明書中，記述記錄介質(zhì)中所記錄的程序的步驟當(dāng)然包括按所記載的順序以時(shí)間序列所進(jìn)行的處理，也包括未必以時(shí)間序列進(jìn)行處理，也并行地或個(gè)別地執(zhí)行的處理。
另外，在本說明書中，術(shù)語“系統(tǒng)”是指由多個(gè)設(shè)備(裝置)所構(gòu)成的整個(gè)裝置。
另外，也能夠?qū)⒁陨献鳛?個(gè)裝置(或處理部)所說明的構(gòu)成加以分割而構(gòu)成為多個(gè)裝置(或處理部)。相反地，也能夠?qū)⒁陨献鳛槎鄠€(gè)裝置(或處理部)所說明的構(gòu)成加以組合而構(gòu)成為1個(gè)裝置(或處理部)。另外，當(dāng)然也能夠?qū)Ω餮b置(或各處理部)的構(gòu)成附加除上述以外的構(gòu)成。進(jìn)而，若系統(tǒng)整體的構(gòu)成或操作實(shí)質(zhì)上相同，則可在其他裝置(或其他處理部)的構(gòu)成中包括某裝置(或處理部)的構(gòu)成的一部分，即，本發(fā)明的實(shí)施例并不限定在上述實(shí)施例，在不脫離本發(fā)明的主旨的范圍內(nèi)可進(jìn)行各種變更。
例如，上述圖像編碼裝置100、圖像解碼裝置200、圖像編碼裝置300和圖像解碼裝置400可應(yīng)用于各種電子設(shè)備。以下，對(duì)其例子進(jìn)行說明。
<6.第6實(shí)施例>
[電視接收機(jī)]
圖M是表示使用應(yīng)用了本發(fā)明的圖像解碼裝置200或圖像解碼裝置400的電視接收機(jī)的主要構(gòu)成例的框圖。
圖M所示的電視接收機(jī)1000包括地面波調(diào)諧器1013、視頻解碼器1015、視頻信號(hào)處理電路1018、圖形生成電路1019、面板驅(qū)動(dòng)電路1020和顯示面板1021。
地面波調(diào)諧器1013經(jīng)由天線接收地面模擬廣播的廣播波信號(hào)，進(jìn)行解調(diào)后獲取視頻信號(hào)，并將其提供至視頻解碼器1015。視頻解碼器1015對(duì)從地面波調(diào)諧器1013提供的視頻信號(hào)實(shí)施解碼處理，并將所獲得的數(shù)字分量信號(hào)提供至視頻信號(hào)處理電路1018。
視頻信號(hào)處理電路1018對(duì)從視頻解碼器1015提供的視頻數(shù)據(jù)實(shí)施噪聲去除等特定處理，并將所獲得的視頻數(shù)據(jù)提供至圖形生成電路1019。
圖形生成電路1019生成顯示在顯示面板1021的節(jié)目的視頻數(shù)據(jù)、或由基于經(jīng)由網(wǎng)絡(luò)所提供的應(yīng)用程序的處理所產(chǎn)生的圖像數(shù)據(jù)等，并將所生成的視頻數(shù)據(jù)或圖像數(shù)據(jù)提供至面板驅(qū)動(dòng)電路1020。另外，圖形生成電路1019也適當(dāng)?shù)剡M(jìn)行如下處理，即生成用于顯示由用戶在選擇項(xiàng)目等時(shí)所利用的畫面的視頻數(shù)據(jù)(圖形)，并將其與節(jié)目的視頻數(shù)據(jù)重疊，將所獲得的視頻數(shù)據(jù)提供至面板驅(qū)動(dòng)電路1020。
面板驅(qū)動(dòng)電路1020根據(jù)從圖形生成電路1019提供的數(shù)據(jù)而驅(qū)動(dòng)顯示面板1021， 并使節(jié)目的視頻或上述各種畫面顯示在顯示面板1021。
顯示面板1021包括LCD (Liquid Crystal Display,液晶顯示器)等，其根據(jù)面板驅(qū)動(dòng)電路1020的控制而顯示節(jié)目的視頻等。
另外，電視接收機(jī)1000還包括音頻A/D(模擬/數(shù)字，Analog/Digital)變換電路1014、音頻信號(hào)處理電路1022、回音消除/音頻合成電路1023、音頻放大電路IOM和揚(yáng)聲器1025。
地面波調(diào)諧器1013對(duì)所接收的廣播波信號(hào)進(jìn)行解調(diào)，從而不僅獲取視頻信號(hào)，也獲取聲音信號(hào)。地面波調(diào)諧器1013將所獲取的音頻信號(hào)提供至音頻A/D變換電路1014。
音頻A/D變換電路1014對(duì)從地面波調(diào)諧器1013提供的音頻信號(hào)實(shí)施A/D變換處理，并將所獲得的數(shù)字的音頻信號(hào)提供至音頻信號(hào)處理電路1022。
音頻信號(hào)處理電路1022對(duì)從音頻A/D變換電路1014提供的音頻數(shù)據(jù)實(shí)施噪聲去除等特定的處理，并將所獲得的音頻數(shù)據(jù)提供至回音消除/音頻合成電路1023。
回音消除/音頻合成電路1023將從音頻信號(hào)處理電路1022所提供的音頻數(shù)據(jù)提供至音頻放大電路10M。
音頻放大電路IOM對(duì)從回音消除/音頻合成電路1023提供的音頻數(shù)據(jù)實(shí)施D/A 變換處理、放大處理，并在調(diào)整為特定的音量之后，使音頻從揚(yáng)聲器1025輸出。
進(jìn)而，電視接收機(jī)1000還包括數(shù)字調(diào)諧器1016和MPEG解碼器1017。
數(shù)字調(diào)諧器1016經(jīng)由天線接收數(shù)字廣播(地面數(shù)字廣播、BS (Broadcasting &itellite，廣播衛(wèi)星)/CS(Communications &itellite，通信衛(wèi)星)數(shù)值廣播)的廣播波信 ^MPEG-TS (Moving Picture Experts Group-Transport Stream, 3 像專家群-傳輸流)，并將其提供至MPEG解碼器1017。
MPEG解碼器1017解除對(duì)從數(shù)字調(diào)諧器1016提供的MPEG-TS所實(shí)施的加擾 (scrambling)，并提取包括成為回放對(duì)象(視聽對(duì)象)的節(jié)目的數(shù)據(jù)的串流(stream)。MPEG 解碼器1017對(duì)構(gòu)成所提取的串流的音頻包進(jìn)行解碼，將所獲得的音頻數(shù)據(jù)提供至音頻信號(hào)處理電路1022，并且對(duì)構(gòu)成串流的視頻包進(jìn)行解碼，將所獲得的視頻數(shù)據(jù)提供至視頻信號(hào)處理電路1018。另外，MPEG解碼器1017將從MPEG-TS提取的EPG(Electronic Program Guide，電子節(jié)目表)數(shù)據(jù)經(jīng)由未圖示的路徑提供至CPU 1032。
電視接收機(jī)1000以這樣的方式使用上述圖像解碼裝置200或圖像解碼裝置400 作為對(duì)視頻包進(jìn)行解碼的MPEG解碼器1017。注意，從廣播電視局等所發(fā)送的MPEG-TS通過圖像編碼裝置100或圖像編碼裝置300而編碼。
MPEG解碼器1017以與圖像解碼裝置200或圖像解碼裝置400同樣的方式，提取從圖像編碼裝置100或圖像編碼裝置300提供的控制信息并進(jìn)行解碼，然后使用該控制信息進(jìn)行自適應(yīng)濾波控制處理(以及濾波處理)。從而，MPEG解碼器1017能夠抑制由濾波處理的局部控制所引起的效果的降低。
從MPEG解碼器1017提供的視頻數(shù)據(jù)與從視頻解碼器1015提供的視頻數(shù)據(jù)的情形同樣地，在視頻信號(hào)處理電路1018中被實(shí)施特定的處理，然后在圖形生成電路1019中， 適當(dāng)?shù)嘏c所生成的視頻數(shù)據(jù)等重疊，并經(jīng)由面板驅(qū)動(dòng)電路1020而被提供至顯示面板1021 后顯示其圖像。
從MPEG解碼器1017提供的音頻數(shù)據(jù)與從音頻A/D變換電路1014所提供的音頻數(shù)據(jù)的情形同樣地，在音頻信號(hào)處理電路1022中被實(shí)施特定的處理，然后經(jīng)由回音消除/ 音頻合成電路1023而被提供至音頻放大電路10M，并被實(shí)施D/A變換處理或放大處理。其結(jié)果，調(diào)整為特定的音量的音頻從揚(yáng)聲器1025輸出。
另外，電視接收機(jī)1000還包括麥克風(fēng)10 和A/D變換電路1027。
A/D變換電路1027接收由設(shè)置在電視接收機(jī)1000的作為用于音頻會(huì)話的麥克風(fēng) 1026所收集的用戶的音頻信號(hào)，對(duì)所接收的音頻信號(hào)實(shí)施A/D變換處理，并將所獲得的數(shù)字音頻數(shù)據(jù)提供至回音消除/音頻合成電路1023。
在從A/D變換電路1027提供了電視接收機(jī)1000的用戶(用戶A)的音頻數(shù)據(jù)的情況下，回音消除/音頻合成電路1023將用戶A的音頻數(shù)據(jù)作為對(duì)象而進(jìn)行回音消除，然后將與其它音頻數(shù)據(jù)進(jìn)行合成等而獲得的音頻數(shù)據(jù)經(jīng)由音頻放大電路10M從揚(yáng)聲器1025 輸出。
進(jìn)而，電視接收機(jī)1000還包括音頻編解碼器1(^8、內(nèi)部總線1029、 SDRAM (Synchronous Dynamic Random Access Memory，同步動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)1030、快閃存儲(chǔ)器 1031、CPU 1032、USB(Universal Serial Bus，通用串行總線)I/F 1033、和網(wǎng)絡(luò) I/F 1034ο
A/D變換電路1027接收設(shè)置在電視接收機(jī)1000的作為用于音頻會(huì)話的麥克風(fēng) 1026所收集的用戶的音頻信號(hào)，然后對(duì)所接收的音頻信號(hào)實(shí)施A/D變換處理，并將所獲得的數(shù)字音頻數(shù)據(jù)提供至音頻編解碼器10 。
音頻編解碼器10 將從A/D變換電路1027提供的音頻數(shù)據(jù)變換為用以經(jīng)由網(wǎng)絡(luò)發(fā)送的特定格式的數(shù)據(jù)，并經(jīng)由內(nèi)部總線10 提供至網(wǎng)絡(luò)I/F 1034。
網(wǎng)絡(luò)I/F 1034經(jīng)由安裝在網(wǎng)絡(luò)端子1035的電纜而與網(wǎng)絡(luò)連接。網(wǎng)絡(luò)I/F 1034例如對(duì)連接到該網(wǎng)絡(luò)的其他裝置發(fā)送從音頻編解碼器10 提供的音頻數(shù)據(jù)。另外，網(wǎng)絡(luò)I/F 1034例如經(jīng)由網(wǎng)絡(luò)端子1035接收從經(jīng)由網(wǎng)絡(luò)而連接的其他裝置所發(fā)送的音頻數(shù)據(jù)，并將其經(jīng)由內(nèi)部總線10 而提供至音頻編解碼器1(^8。
音頻編解碼器10 將從網(wǎng)絡(luò)I/F 1034所提供的音頻數(shù)據(jù)變換為特定格式的數(shù)據(jù)，并將其提供至回音消除/音頻合成電路1023。
回音消除/音頻合成電路1023將從音頻編解碼器10 提供的音頻數(shù)據(jù)作為對(duì)象而進(jìn)行回音消除，然后將該音頻數(shù)據(jù)與其他音頻數(shù)據(jù)等進(jìn)行合成而獲得的音頻的數(shù)據(jù)經(jīng)由音頻放大電路IOM從揚(yáng)聲器1025輸出。
SDRAM 1030存儲(chǔ)CPU 1032進(jìn)行處理時(shí)所需的各種數(shù)據(jù)。
快閃存儲(chǔ)器1031存儲(chǔ)由CPU 1032所執(zhí)行的程序。在電視接收機(jī)1000的啟動(dòng)時(shí)等特定的時(shí)間點(diǎn)，通過CPU 1032讀出快閃存儲(chǔ)器1031中所存儲(chǔ)的程序。在快閃存儲(chǔ)器1031 中還存儲(chǔ)經(jīng)由數(shù)字廣播所獲取的EPG數(shù)據(jù)，經(jīng)由網(wǎng)絡(luò)而從特定的服務(wù)器所獲取的數(shù)據(jù)等。
例如，在快閃存儲(chǔ)器1031中存儲(chǔ)MPEG-TS，該MPEG-TS包括通過CPU 1032的控制而經(jīng)由網(wǎng)絡(luò)從特定的服務(wù)器所獲取的內(nèi)容數(shù)據(jù)。快閃存儲(chǔ)器1031例如通過CPU 1032的控制，將該MPEG-TS經(jīng)由內(nèi)部總線10 而提供至MPEG解碼器1017。
MPEG解碼器1017與從數(shù)字調(diào)諧器1016所提供的MPEG-TS的情形同樣地對(duì)該 MPEG-TS進(jìn)行處理。如此，電視接收機(jī)1000可經(jīng)由網(wǎng)絡(luò)接收包括視頻或音頻等的內(nèi)容數(shù)據(jù)， 并使用MPEG解碼器1017進(jìn)行解碼，從而顯示該視頻并輸出音頻。
另外，電視接收機(jī)1000還包括接收從遙控器1051所發(fā)送的紅外線信號(hào)的光接收部 1037。
光接收部1037接收來自遙控器1051的紅外線，將進(jìn)行解調(diào)而獲得的表示用戶操作的內(nèi)容的控制碼輸出至CPU1032。
CPU 1032執(zhí)行快閃存儲(chǔ)器1031中所存儲(chǔ)的程序，并根據(jù)從光接收部1037所提供的控制碼等而控制電視接收機(jī)1000整體的操作。CPU 1032與電視接收機(jī)1000的各部分經(jīng)由未圖示的路徑連接。
USB I/F 1033與經(jīng)由安裝在USB端子1036的USB電纜而連接的電視接收機(jī)1000 的外部機(jī)器行數(shù)據(jù)的發(fā)送/接收。網(wǎng)絡(luò)I/F 1034還經(jīng)由安裝在網(wǎng)絡(luò)端子1035的電纜而連接到網(wǎng)絡(luò)，且與連接到網(wǎng)絡(luò)的各種裝置進(jìn)行音頻數(shù)據(jù)以外的數(shù)據(jù)的發(fā)送/接收。
電視接收機(jī)1000使用圖像解碼裝置200或圖像解碼裝置400作為MPEG解碼器 1017，從而能夠抑制由針對(duì)經(jīng)由天線所接收的廣播波信號(hào)、或經(jīng)由網(wǎng)絡(luò)而獲得的內(nèi)容數(shù)據(jù)的濾波處理的局部控制所引起的效果的降低。28
<7.第7實(shí)施例>
[移動(dòng)電話]
圖25是表示使用應(yīng)用了本發(fā)明的圖像編碼裝置和圖像解碼裝置的移動(dòng)電話的主要構(gòu)成例的框圖。
圖25所示的移動(dòng)電話1100包括配置為統(tǒng)一控制各部分的主控制部1150、電源電路部1151、操作輸入控制部1152、圖像編碼器1153、相機(jī)I/F部1154、LCD控制部1155， 圖像解碼器1156、復(fù)用/分離部1157、記錄/回放部1162、調(diào)制/解調(diào)電路部1158和音頻編解碼器1159。它們經(jīng)由總線1160而相互連接。
另外，移動(dòng)電話1100包括操作鍵1119、CCD(Charge CoupledDevices,電荷耦合元件)相機(jī)1116、液晶顯示器1118、存儲(chǔ)部1123、發(fā)送/接收電路部1163、天線1114、麥克風(fēng)(話筒)1121和揚(yáng)聲器1117。
在由用戶的操作而結(jié)束通話及使電源鍵成為接通狀態(tài)時(shí)，電源電路部1151從電池組對(duì)各部分提供電力，從而使移動(dòng)電話1100啟動(dòng)為可操作的狀態(tài)。
移動(dòng)電話1100基于包括CPU、ROM和RAM等的主控制部1150的控制，以音頻通話模式或數(shù)據(jù)通信模式等各種模式進(jìn)行音頻信號(hào)的發(fā)送/接收、電子郵件或圖像數(shù)據(jù)的發(fā)送 /接收、圖像拍攝、數(shù)據(jù)記錄等各種操作。
例如在音頻通話模式中，移動(dòng)電話1100通過音頻編解碼器1159將由麥克風(fēng)(話筒)1121所收集的音頻信號(hào)變換為數(shù)字音頻數(shù)據(jù)，并在調(diào)制/解調(diào)電路部1158對(duì)該數(shù)字音頻數(shù)據(jù)進(jìn)行擴(kuò)頻處理，并且在發(fā)送/接收電路部1163進(jìn)行數(shù)字/模擬變換處理和頻率變換處理。移動(dòng)電話1100經(jīng)由天線1114將通過上述變換處理而獲得的發(fā)送用信號(hào)發(fā)送至未圖示的基站。向基站傳輸?shù)陌l(fā)送用信號(hào)(音頻信號(hào))經(jīng)由公眾電話網(wǎng)絡(luò)而提供至另一方的移動(dòng)電話。
另外，例如在音頻通話模式中，移動(dòng)電話1100在發(fā)送/接收電路部1163將在天線 1114所接收的接收信號(hào)放大，進(jìn)而進(jìn)行頻率變換處理和模擬數(shù)字變換處理，并在調(diào)制/解調(diào)電路部1158進(jìn)行解擴(kuò)頻處理，并通過音頻編解碼器1159將其變換為模擬音頻信號(hào)。移動(dòng)電話1100將經(jīng)該變換而獲得的模擬音頻信號(hào)從揚(yáng)聲器1117輸出。
進(jìn)而，例如當(dāng)在數(shù)據(jù)通信模式中發(fā)送電子郵件時(shí)，移動(dòng)電話1100在操作輸入控制部1152接收由操作鍵1119的操作而輸入的電子郵件的文本數(shù)據(jù)。移動(dòng)電話1100在主控制部1150中對(duì)該文本數(shù)據(jù)進(jìn)行處理，并經(jīng)由IXD控制部1155將其在液晶顯示器1118上顯示為圖像。
另外，移動(dòng)電話1100在主控制部1150中，根據(jù)操作輸入控制部1152所接收的文本數(shù)據(jù)或用戶指示等而生成電子郵件數(shù)據(jù)。移動(dòng)電話1100利用調(diào)制/解調(diào)電路部1158對(duì)該電子郵件數(shù)據(jù)進(jìn)行擴(kuò)頻處理，并在發(fā)送/接收電路部1163進(jìn)行數(shù)字/模擬變換處理和頻率變換處理。移動(dòng)電話1100將經(jīng)該變換處理而獲得的發(fā)送用信號(hào)經(jīng)由天線1114而發(fā)送至未圖示的基站。向基站傳輸?shù)陌l(fā)送用信號(hào)(電子郵件)經(jīng)由網(wǎng)絡(luò)和郵件服務(wù)器等而提供至特定的目的地。
另外，例如當(dāng)在數(shù)據(jù)通信模式中接收電子郵件時(shí)，移動(dòng)電話1100經(jīng)由天線1114以發(fā)送/接收電路部1163接收從基站所發(fā)送的信號(hào)，將該信號(hào)放大后，進(jìn)而進(jìn)行頻率變換處理和模擬/數(shù)字變換處理。移動(dòng)電話1100在調(diào)制/解調(diào)電路部1158對(duì)該接收信號(hào)進(jìn)行解擴(kuò)頻處理而復(fù)原原來的電子郵件數(shù)據(jù)。移動(dòng)電話1100將經(jīng)復(fù)原的電子郵件數(shù)據(jù)經(jīng)由LCD 控制部1155而顯示在液晶顯示器1118上。注意，移動(dòng)電話1100也能夠經(jīng)由記錄/回放部1162而將所接收的電子郵件數(shù)據(jù)記錄(存儲(chǔ))在存儲(chǔ)部1123。該存儲(chǔ)部1123為可覆寫的任意的存儲(chǔ)介質(zhì)。存儲(chǔ)部1123例如可為RAM或內(nèi)置型快閃存儲(chǔ)器等半導(dǎo)體存儲(chǔ)器，也可為硬盤，或者也可為磁盤、磁光盤、光盤、USB存儲(chǔ)器或存儲(chǔ)卡等可移動(dòng)介質(zhì)。當(dāng)然，也可以是這些以外的存儲(chǔ)器。進(jìn)而，例如當(dāng)在數(shù)據(jù)通信模式中發(fā)送圖像數(shù)據(jù)時(shí)，移動(dòng)電話1100通過拍攝而在 C⑶相機(jī)1116生成圖像數(shù)據(jù)。C⑶相機(jī)1116包括透鏡、光圈等光學(xué)設(shè)備和作為光電變換元件的CCD，其對(duì)被攝體進(jìn)行成像，并將所接收的光的強(qiáng)度變換為電信號(hào)，生成被攝體的圖像的圖像數(shù)據(jù)。CXD相機(jī)1116在圖像編碼器1153，并經(jīng)由相機(jī)I/F部IlM對(duì)該圖像數(shù)據(jù)進(jìn)行編碼，而將其變換為編碼圖像數(shù)據(jù)。移動(dòng)電話1100使用上述圖像編碼裝置100或圖像編碼裝置300作為進(jìn)行這樣的處理的圖像編碼器1153。因此，圖像編碼器1053與圖像編碼裝置100或圖像編碼裝置300 的方式同樣地，能夠抑制由濾波處理的局部控制所引起的效果的降低。注意，與此同時(shí)，移動(dòng)電話1100將通過CXD相機(jī)1116進(jìn)行攝像的過程中由麥克風(fēng) (話筒)1121所收集的音頻在音頻編解碼器1159中進(jìn)行模擬/數(shù)字變換，進(jìn)而進(jìn)行編碼。移動(dòng)電話1100在復(fù)用/分離部1157中，以特定的方式將從圖像編碼器1153所提供的編碼圖像數(shù)據(jù)和從音頻編解碼器1159所提供的數(shù)字音頻數(shù)據(jù)復(fù)用。移動(dòng)電話1100利用調(diào)制/解調(diào)電路部1158對(duì)上述所獲得的復(fù)用數(shù)據(jù)進(jìn)行擴(kuò)頻處理，并利用發(fā)送/接收電路部1163進(jìn)行數(shù)字/模擬變換處理和頻率變換處理。移動(dòng)電話1100將通過該變換處理而獲得的發(fā)送用信號(hào)經(jīng)由天線1114發(fā)送至未圖示的基站。向基站傳輸?shù)陌l(fā)送用信號(hào)(圖像數(shù)據(jù))經(jīng)由網(wǎng)絡(luò)等而提供至另一方。注意，在不發(fā)送圖像數(shù)據(jù)的情況下，移動(dòng)電話1100也能夠不經(jīng)由圖像編碼器 1153，而經(jīng)由IXD控制部1155將由C⑶相機(jī)1116所生成的圖像數(shù)據(jù)顯示在液晶顯示器 1118。另外，例如當(dāng)在數(shù)據(jù)通信模式中接收與簡(jiǎn)單網(wǎng)頁等鏈接的運(yùn)動(dòng)圖像文件的數(shù)據(jù)等情況下，移動(dòng)電話1100經(jīng)由天線1114在發(fā)送/接收電路部1163接收從基站所發(fā)送的信號(hào)，將該信號(hào)放大后，進(jìn)而進(jìn)行頻率變換處理和模擬/數(shù)字變換處理，移動(dòng)電話1100在調(diào)制 /解調(diào)電路部1158對(duì)該接收信號(hào)進(jìn)行解擴(kuò)頻處理而復(fù)原原來的復(fù)用數(shù)據(jù)。移動(dòng)電話1100 在復(fù)用/分離部1157中將該復(fù)用數(shù)據(jù)分離為編碼圖像數(shù)據(jù)和音頻數(shù)據(jù)。移動(dòng)電話1100在圖像解碼器1156中對(duì)編碼圖像數(shù)據(jù)進(jìn)行解碼，從而生成回放運(yùn)動(dòng)圖像數(shù)據(jù)，并經(jīng)由IXD控制部1155使其顯示在液晶顯示器1118。從而，使例如與簡(jiǎn)單網(wǎng)頁鏈接的運(yùn)動(dòng)圖像文件中所包括的運(yùn)動(dòng)圖像數(shù)據(jù)顯示在液晶顯示器1118。移動(dòng)電話1100使用上述圖像解碼裝置200或圖像解碼裝置400作為進(jìn)行這樣的處理的圖像解碼器1156。因此，圖像解碼器1156與圖像解碼裝置200或圖像解碼裝置400 的情形同樣地，提取從圖像編碼裝置100或圖像編碼裝置300提供的控制信息并進(jìn)行解碼， 然后使用該控制信息進(jìn)行自適應(yīng)濾波控制處理(以及濾波處理)。這樣，圖像解碼器1156 可抑制由濾波處理的局部控制所引起的效果的降低。
30
此時(shí)，移動(dòng)電話1100同時(shí)在音頻編解碼器1159中，將數(shù)字音頻數(shù)據(jù)變換為模擬音頻信號(hào)，并使其自揚(yáng)聲器1117輸出。從而，使例如與簡(jiǎn)單網(wǎng)頁鏈接的運(yùn)動(dòng)圖像文件中所包括的音頻數(shù)據(jù)被播放。注意，與電子郵件的情形同樣地，移動(dòng)電話1100可以將所接收的與簡(jiǎn)單網(wǎng)頁等鏈接的數(shù)據(jù)經(jīng)由記錄/回放部1162而記錄(存儲(chǔ))在存儲(chǔ)部1123。另外，移動(dòng)電話1100在主控制部1150中，對(duì)由C⑶相機(jī)1116進(jìn)行攝像而獲得的
二維碼進(jìn)行解析，從而能夠獲取記錄為二維碼的信息。進(jìn)而，移動(dòng)電話1100可在紅外線通信部1181以紅外線與外部的設(shè)備進(jìn)行通信。移動(dòng)電話1100使用圖像編碼裝置100或圖像編碼裝置300作為圖像編碼器1153， 從而可抑制由針對(duì)如下的編碼數(shù)據(jù)的濾波處理的局部控制所引起的效果的降低，該編碼數(shù)據(jù)例如是對(duì)在CCD相機(jī)1116中所生成的圖像數(shù)據(jù)進(jìn)行編碼而生成的。例如，移動(dòng)電話1100通過進(jìn)行跨越片層的濾波處理，從而能夠提升濾波處理結(jié)果的畫質(zhì)，并且能夠?qū)嬞|(zhì)更高的編碼數(shù)據(jù)提供至其它移動(dòng)電話。另外，例如，通過進(jìn)行在當(dāng)前片層關(guān)閉的濾波處理，移動(dòng)電話1100能夠低延遲地進(jìn)行濾波處理，并且能夠以更低的延遲將編碼數(shù)據(jù)提供至其它移動(dòng)電話。另外，移動(dòng)電話1100使用圖像解碼裝置200或圖像解碼裝置400作為圖像解碼器 1156，從而能夠抑制由例如針對(duì)與簡(jiǎn)單網(wǎng)頁等鏈接的運(yùn)動(dòng)圖像文件的數(shù)據(jù)的濾波處理的局部控制所引起的效果的降低。例如，移動(dòng)電話1100通過進(jìn)行跨越片層的濾波處理，從而能夠提升濾波處理結(jié)果的畫質(zhì)，并且能夠?qū)崿F(xiàn)解碼圖像的高畫質(zhì)。另外，例如，通過進(jìn)行在當(dāng)前片層關(guān)閉的濾波處理，從而移動(dòng)電話1100能夠以低延遲進(jìn)行濾波處理，并且能夠以低延遲對(duì)編碼數(shù)據(jù)進(jìn)行解碼，注意，以上對(duì)移動(dòng)電話1100使用CXD相機(jī)1116的情形進(jìn)行了說明，但移動(dòng)電話 1100 可應(yīng)用使用 CMOS (Complementary Metal Oxide kmiconductor，互補(bǔ)金屬氧化物半導(dǎo)體)的圖像傳感器(CMOS圖像傳感器)來代替該CCD相機(jī)1116。在此情況下，移動(dòng)電話 1100也能夠與使用C⑶相機(jī)1116的情形同樣地對(duì)被攝體進(jìn)行拍攝，并生成被攝體的圖像的圖像數(shù)據(jù)。另外，以上對(duì)移動(dòng)電話1100進(jìn)行了說明，但只要是具有與該移動(dòng)電話1100相同的攝像功能和通信功能的裝置，例如PDA (Personal Digital Assistants，個(gè)人數(shù)字助理)、智能手機(jī)、UMPC(Ultra Mobile Personal Computer，超移動(dòng)個(gè)人計(jì)算機(jī))、迷你筆記本、筆記型個(gè)人電腦等，則無論為何種裝置，都可與移動(dòng)電話1100的情形同樣地應(yīng)用圖像編碼裝置 100和圖像解碼裝置200。<8.第8實(shí)施例>[硬盤記錄器]圖沈是表示使用應(yīng)用了本發(fā)明的圖像編碼裝置和圖像解碼裝置的硬盤記錄器的主要構(gòu)成例的框圖。圖沈所示的硬盤記錄器(HDD記錄器)1200為如下的裝置，即，將由調(diào)諧器所接收的從衛(wèi)星或地面的天線等發(fā)送的廣播波信號(hào)(電視信號(hào))中所包括的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)保存在內(nèi)置的硬盤中，并將所保存的數(shù)據(jù)在按照用戶指示的時(shí)間點(diǎn)提供給用戶。硬盤記錄器1200例如可從廣播波信號(hào)中提取音頻數(shù)據(jù)和視頻數(shù)據(jù)，并適當(dāng)?shù)貙?duì)這些數(shù)據(jù)進(jìn)行解碼，然后將這其存儲(chǔ)在內(nèi)置的硬盤中。另外，硬盤記錄器1200例如也能夠經(jīng)由網(wǎng)絡(luò)而從其它裝置獲取音頻數(shù)據(jù)和視頻數(shù)據(jù)，并適當(dāng)?shù)貙?duì)這些數(shù)據(jù)進(jìn)行解碼，然后將其存儲(chǔ)在內(nèi)置的硬盤中。進(jìn)而，硬盤記錄器1200例如可對(duì)記錄在內(nèi)置的硬盤中的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼并提供至監(jiān)視器1沈0，將該圖像顯示在監(jiān)視器1260的畫面上，并將該音頻從監(jiān)視器 1260的揚(yáng)聲器輸出。另外，硬盤記錄器1200例如也能夠?qū)慕?jīng)由調(diào)諧器而獲取的廣播波信號(hào)所提取的音頻數(shù)據(jù)和視頻數(shù)據(jù)、或者經(jīng)由網(wǎng)絡(luò)而從其它裝置所獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼并提供至監(jiān)視器1沈0，使該圖像顯示在監(jiān)視器1260的畫面上，并將該音頻從監(jiān)視器1260的揚(yáng)聲器輸出。當(dāng)然，也可以進(jìn)行其它操作。如圖沈所示，硬盤記錄器1200包括接收部1221、解調(diào)部1222、解復(fù)用器1223、 音頻解碼器1224、視頻解碼器1225和記錄器控制部12 。硬盤記錄器1200還包括EPG 數(shù)據(jù)存儲(chǔ)器1227、程序存儲(chǔ)器1228、工作存儲(chǔ)器1229、顯示變換器1230、OSD(On Screen Display，屏幕顯示)控制部1231、顯示控制部1232、記錄/回放部1233、D/A變換器1234 和通信部12；35。另外，顯示變換器1230具有視頻編碼器1241。記錄/回放部1233具有編碼器 1251和解碼器1252。接收部1221接收來自遙控器(未圖示)的紅外線信號(hào)，將該紅外線信號(hào)變換為電信號(hào)并輸出至記錄器控制部1226。記錄器控制部12 例如由微處理器等構(gòu)成，并且根據(jù)存儲(chǔ)在程序存儲(chǔ)器12 的程序而執(zhí)行各種處理。此時(shí)，記錄器控制都12 根據(jù)需要而使用工作存儲(chǔ)器12 。通信部1235連接到網(wǎng)絡(luò)，經(jīng)由網(wǎng)絡(luò)而與其它裝置進(jìn)行通信處理。例如，通信部 1235由記錄器控制部12 控制，與調(diào)諧器(未圖示)進(jìn)行通信，并主要向調(diào)諧器輸出頻道選擇控制信號(hào)。解調(diào)部1222對(duì)從調(diào)諧器提供的信號(hào)進(jìn)行解調(diào)，并將其輸出至解復(fù)用器1223。解復(fù)用器1223將從解調(diào)部1222提供的數(shù)據(jù)分離為音頻數(shù)據(jù)、視頻數(shù)據(jù)和EPG數(shù)據(jù)，并分別輸出至音頻解碼器1224、視頻解碼器1225和記錄器控制部12沈。音頻解碼器12M對(duì)所輸入的音頻數(shù)據(jù)進(jìn)行解碼，并將其輸出至記錄/回放部 1233。視頻解碼器1225對(duì)所輸入的視頻數(shù)據(jù)進(jìn)行解碼，并將其輸出至顯示變換器1230。記錄器控制部12 將所輸入的EPG數(shù)據(jù)提供至EPG數(shù)據(jù)存儲(chǔ)器1227中加以存儲(chǔ)。顯示變換器1230將從視頻解碼器1225或記錄器控制部12 所提供的視頻數(shù)據(jù)，使用視頻編碼器1241而編碼為例如符合NTSC(National Television Standards committee，國家電視標(biāo)準(zhǔn)委員會(huì))格式的視頻數(shù)據(jù)，并輸出至記錄/回放部1233。另外，顯示變換器1230將從視頻解碼器1225或記錄器控制部12 提供的視頻數(shù)據(jù)的畫面的大小變換為與監(jiān)視器1260的大小相對(duì)應(yīng)的大小，并使用視頻編碼器1241而變換為符合NTSC格式的視頻數(shù)據(jù)，變換為模擬信號(hào)并輸出至顯示控制部1232。顯示控制部1232在記錄器控制部12 的控制下，將OSD (On Screen Display)控制部1231所輸出的OSD信號(hào)和從顯示變換器1230所輸入的視頻信號(hào)重疊，并輸出至監(jiān)視器1260的顯示器而加以顯示。另外，通過D/A變換器1234而將音頻解碼器12M所輸出的音頻數(shù)據(jù)變換為模擬信號(hào)，并提供至監(jiān)視器1260。監(jiān)視器1260將該音頻信號(hào)從內(nèi)置的揚(yáng)聲器輸出。記錄/回放部1233具有硬盤作為記錄視頻數(shù)據(jù)或音頻數(shù)據(jù)等的存儲(chǔ)介質(zhì)。記錄/回放部1233例如通過編碼器1251對(duì)從音頻解碼器12 提供的音頻數(shù)據(jù)進(jìn)行編碼。另外，記錄/回放部1233通過編碼器1251對(duì)從顯示變換器1230的視頻編碼器 1241提供的視頻數(shù)據(jù)進(jìn)行編碼。記錄/回放部1233使用復(fù)用器對(duì)該音頻數(shù)據(jù)的編碼數(shù)據(jù)和視頻數(shù)據(jù)的編碼數(shù)據(jù)進(jìn)行合成。記錄/回放部1233對(duì)該合成數(shù)據(jù)進(jìn)行信道編碼并將其放大，然后經(jīng)由記錄頭而將該數(shù)據(jù)寫入至硬盤。記錄/回放部1233經(jīng)由回放頭對(duì)記錄在硬盤的數(shù)據(jù)進(jìn)行回放、放大，并使用解復(fù)用器而將該數(shù)據(jù)分離為音頻數(shù)據(jù)和視頻數(shù)據(jù)。記錄/回放部1233通過解碼器1252使用 MPEG格式對(duì)音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼。記錄/回放部1233將經(jīng)解碼的音頻數(shù)據(jù)從數(shù)字變換至模擬，并將其輸出至監(jiān)視器1260的揚(yáng)聲器。另外，記錄/回放部1233將經(jīng)解碼的視頻數(shù)據(jù)從數(shù)字變換至模擬，并將其輸出至監(jiān)視器1260的顯示器。記錄器控制部12 根據(jù)經(jīng)由接收部1221而接收的由來自遙控器的紅外線信號(hào)所表示的用戶指示，從EPG數(shù)據(jù)存儲(chǔ)器1227讀出最新的EPG數(shù)據(jù)，并將其提供至OSD控制部 1231。OSD控制部1231生成與所輸入的EPG數(shù)據(jù)相對(duì)應(yīng)的圖像數(shù)據(jù)，并將其輸出至顯示控制部1232。顯示控制部1232將從OSD控制部1231所輸入的視頻數(shù)據(jù)輸出至監(jiān)視器1260 的顯示器而加以顯示。從而，在監(jiān)視器1260的顯示器中顯示EPG(電子節(jié)目表)。另外，硬盤記錄器1200可經(jīng)由因特網(wǎng)等網(wǎng)絡(luò)而獲取從其它裝置所提供的視頻數(shù)據(jù)、音頻數(shù)據(jù)和EPG數(shù)據(jù)等各種數(shù)據(jù)。通信部1235由記錄器控制部12 控制，經(jīng)由網(wǎng)絡(luò)而獲取從其它裝置所發(fā)送的視頻數(shù)據(jù)、音頻數(shù)據(jù)和EPG數(shù)據(jù)等的編碼數(shù)據(jù)，并將其提供至記錄器控制部1226。記錄器控制部12 例如將所獲取的視頻數(shù)據(jù)和音頻數(shù)據(jù)的編碼數(shù)據(jù)提供至記錄/回放部1233，并存儲(chǔ)在硬盤。此時(shí)，記錄器控制部12 和記錄/回放部1233可以根據(jù)需要而進(jìn)行再編碼等處理。另外，記錄器控制部12 對(duì)所獲取的視頻數(shù)據(jù)和音頻數(shù)據(jù)的編碼數(shù)據(jù)進(jìn)行解碼， 將所獲得的視頻數(shù)據(jù)提供至顯示變換器1230。與從視頻解碼器1225提供的視頻數(shù)據(jù)同樣地，顯示變換器1230對(duì)從記錄器控制部12 提供的視頻數(shù)據(jù)進(jìn)行處理，經(jīng)由顯示控制部 1232而將其提供至監(jiān)視器1260以顯示該圖像。另外，也能夠根據(jù)該圖像顯示進(jìn)行配置，由記錄器控制部12 將經(jīng)解碼的音頻數(shù)據(jù)經(jīng)由D/A變換器1234提供至監(jiān)視器1沈0，并將該音頻從揚(yáng)聲器輸出。進(jìn)而，記錄器控制部12 對(duì)所獲取的EPG數(shù)據(jù)的編碼數(shù)據(jù)進(jìn)行解碼，將經(jīng)解碼的 EPG數(shù)據(jù)提供至EPG數(shù)據(jù)存儲(chǔ)器1227。這樣配置的硬盤記錄器1200使用圖像解碼裝置200或圖像解碼裝置400作為視頻解碼器1225、解碼器1252和內(nèi)置在記錄器控制部12 的解碼器。因此，視頻解碼器 1225、解碼器1252和內(nèi)置在記錄器控制部12 的解碼器與圖像解碼裝置200或圖像解碼裝置400的情形同樣地，提取從圖像編碼裝置100或圖像編碼裝置300所提供的控制信息并進(jìn)行解碼，然后使用該控制信息進(jìn)行自適應(yīng)濾波控制處理(以及濾波處理)。從而，視頻解碼器1225、解碼器1252和內(nèi)置在記錄器控制部12 的解碼器可抑制由濾波處理的局部控制所引起的效果的降低。因此，硬盤記錄器1200能夠抑制由例如針對(duì)經(jīng)由調(diào)諧器或通信部1235而接收的視頻數(shù)據(jù)、和記錄/回放部1233的硬盤中所記錄的視頻數(shù)據(jù)的濾波處理的局部控制所引起的效果降低。例如，硬盤記錄器1200通過進(jìn)行跨越片層的濾波處理，從而能夠提升濾波處理結(jié)果的畫質(zhì)，并且能夠?qū)崿F(xiàn)解碼圖像的高畫質(zhì)。另外，例如，通過進(jìn)行在當(dāng)前片層關(guān)閉的濾波處理，從而硬盤記錄器1200能夠以低延遲進(jìn)行濾波處理，并且能夠以低延遲對(duì)編碼數(shù)據(jù)進(jìn)行解碼。另外，硬盤記錄器1200使用圖像編碼裝置100或圖像編碼裝置300作為編碼器 1251。因此，編碼器1251與圖像編碼裝置100或圖像編碼裝置300的情形同樣地，能夠抑制由濾波處理的局部控制所引起的效果的降低。因此，硬盤記錄器1200能夠抑制由例如針對(duì)硬盤中所記錄的編碼數(shù)據(jù)的濾波處理的局部控制所引起的效果的降低。例如，硬盤記錄器1200通過進(jìn)行跨越片層的濾波處理，從而能夠提升濾波處理結(jié)果的畫質(zhì)，并且能夠?qū)嬞|(zhì)更高的編碼數(shù)據(jù)記錄在硬盤中。另外，例如，通過進(jìn)行在當(dāng)前片層關(guān)閉的濾波處理，從而硬盤記錄器1200能夠以低延遲進(jìn)行濾波處理，并且能夠以更低的延遲生成編碼數(shù)據(jù)，并將其記錄在硬盤中。注意，以上對(duì)將視頻數(shù)據(jù)和音頻數(shù)據(jù)記錄在硬盤的硬盤記錄器1200進(jìn)行了說明， 當(dāng)然，也能夠采用任意的記錄介質(zhì)。例如即便為應(yīng)用快閃存儲(chǔ)器、光盤、或錄影帶等硬盤以外的記錄介質(zhì)的記錄器，也能夠與上述硬盤記錄器1200的情形同樣地應(yīng)用圖像編碼裝置 100和圖像解碼裝置200。<9.第9實(shí)施例>[相機(jī)]圖27是表示使用應(yīng)用了本發(fā)明的圖像編碼裝置和圖像解碼裝置機(jī)的相機(jī)的主要構(gòu)成例的框圖。圖27所示的相機(jī)1300對(duì)被攝體進(jìn)行攝像，并使被攝體的圖像顯示在IXD 1316，并將其作為圖像數(shù)據(jù)而記錄在記錄介質(zhì)1333。透鏡塊1311將光(即被攝體的畫面)輸入至(XD/CM0S 1312。(XD/CM0S 1312是使用有CCD或CMOS的圖像傳感器，其將所接收的光的強(qiáng)度變換為電信號(hào)，并提供至相機(jī)信號(hào)處理部1313。相機(jī)信號(hào)處理部1313將從(XD/CM0S 1312提供的電信號(hào)變換為Y、Cr、Cb的色差信號(hào)，并提供至圖像信號(hào)處理部1314。圖像信號(hào)處理部1314在控制器1321的控制下，對(duì)從相機(jī)信號(hào)處理部1313提供的圖像信號(hào)實(shí)施特定的圖像處理，或由編碼器1341使用例如 MPEG格式對(duì)該圖像信號(hào)進(jìn)行編碼。圖像信號(hào)處理部1314將對(duì)圖像信號(hào)進(jìn)行編碼所生成的編碼數(shù)據(jù)提供至解碼器1315。進(jìn)而，圖像信號(hào)處理部1314獲取在屏幕顯示器(OSD) 1320中所生成的顯示用數(shù)據(jù)，并將其提供至解碼器1315。在以上的處理中，相機(jī)信號(hào)處理部1313適當(dāng)?shù)厥褂媒?jīng)由總線1317而連接的
34DRAM (Dynamic Rands Access Memory，動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)1318，并根據(jù)需要而將圖像數(shù)據(jù)、對(duì)該圖像數(shù)據(jù)進(jìn)行編碼所得的編碼數(shù)據(jù)等保持在該DRAM 1318。解碼器1315對(duì)從圖像信號(hào)處理部1314所提供的編碼數(shù)據(jù)進(jìn)行解碼，將所獲得的圖像數(shù)據(jù)(解碼圖像數(shù)據(jù))提供至LCD 1316。另外，解碼器1315將從圖像信號(hào)處理部1314 所提供的顯示用數(shù)據(jù)提供至IXD 1316。IXD 1316適當(dāng)?shù)貙慕獯a器1315所提供的解碼圖像數(shù)據(jù)的圖像與顯示用數(shù)據(jù)的圖像加以合成，并顯示該合成圖像。屏幕顯示器1320在控制器1321的控制下，將包括符號(hào)、字符、或圖形的菜單畫面或圖標(biāo)等顯示用數(shù)據(jù)經(jīng)由總線1317輸出至圖像信號(hào)處理部1314。根據(jù)表示由用戶使用操作部1322而指示的內(nèi)容的信號(hào)，控制器1321執(zhí)行各種處理，并且經(jīng)由總線1317而控制圖像信號(hào)處理部1314、DRAM 1318、外部接口 1319、屏幕顯示器1320和介質(zhì)驅(qū)動(dòng)器1323等。在FLASH ROM 1324中存儲(chǔ)控制器1321執(zhí)行各種處理所需的程序或數(shù)據(jù)等。例如，控制器1321可代替圖像信號(hào)處理部1314和解碼器1315而對(duì)存儲(chǔ)在DRAM 1318的圖像數(shù)據(jù)進(jìn)行編碼、或?qū)Υ鎯?chǔ)在DRAM1318的編碼數(shù)據(jù)進(jìn)行解碼。此時(shí)，控制器1321 可使用與圖像信號(hào)處理部1314或解碼器1315的編碼和解碼格式相同的格式進(jìn)行編碼和解碼處理，也可以使用與圖像信號(hào)處理部1314或解碼器1315不對(duì)應(yīng)的格式進(jìn)行編碼和解碼處理。另外，例如，在從操作部1322指示開始打印圖像的情況下，控制器1321從DRAM 1318讀出圖像數(shù)據(jù)，將其經(jīng)由總線1317而提供至連接到外部接口 1319的打印機(jī)1334并進(jìn)行打印。進(jìn)而，例如，在從操作部1322指示記錄圖像的情況下，控制器1321從DRAM 1318 讀出編碼數(shù)據(jù)，將其經(jīng)由總線1317而提供至安裝在介質(zhì)驅(qū)動(dòng)器1323的記錄介質(zhì)1333并加以存儲(chǔ)。記錄介質(zhì)1333例如為磁盤、磁光盤、光盤、或半導(dǎo)體存儲(chǔ)器等可讀寫的任意的可移動(dòng)介質(zhì)。當(dāng)然記錄介質(zhì)1333作為可移動(dòng)介質(zhì)的種類也是任意的，相應(yīng)地也可為磁帶設(shè)備，或者可以是盤片，或者可以是存儲(chǔ)卡。當(dāng)然，記錄介質(zhì)1333也可以是非接觸IC卡等。另外，介質(zhì)驅(qū)動(dòng)器1323和記錄介質(zhì)1333也可被配置為集成為一個(gè)非移動(dòng)性記錄介質(zhì)，例如，如內(nèi)置型硬盤驅(qū)動(dòng)器或SSD(Solid State Drive，固態(tài)驅(qū)動(dòng)器)等。外部接口 1319例如由USB輸入/輸出端子等構(gòu)成，在進(jìn)行圖像打印的情況下，其連接到打印機(jī)1334。另外，根據(jù)需要，驅(qū)動(dòng)器1331連接至外部接口 1319，且適當(dāng)?shù)匕惭b磁盤、光盤，或磁光盤等可移動(dòng)介質(zhì)1332到驅(qū)動(dòng)器1331，并且從它們所讀出的計(jì)算機(jī)程序根據(jù)需要而被安裝在FLASH ROM 1324。進(jìn)而，外部接口 1319具有連接到如LAN(local area network，局域網(wǎng)絡(luò))或因特網(wǎng)等特定的網(wǎng)絡(luò)的網(wǎng)絡(luò)接口。例如根據(jù)來自操作部1322的指示，控制器1321能夠從DRAM 1318讀出編碼數(shù)據(jù)，并將其從外部接口 1319提供至經(jīng)由網(wǎng)絡(luò)而連接的其它裝置。另外，控制器1321可經(jīng)由外部接口 1319而獲取經(jīng)由網(wǎng)絡(luò)從其它裝置所提供的編碼數(shù)據(jù)或圖像數(shù)據(jù)，并將其保持在DRAM 1318或提供至圖像信號(hào)處理部1314。如上配置的相機(jī)1300使用圖像解碼裝置200或圖像解碼裝置400作為解碼器 1315。因此，與圖像解碼裝置200或圖像解碼裝置400的情形同樣地，解碼器1315提取從圖像編碼裝置100或圖像編碼裝置300所提供的控制信息并進(jìn)行解碼，然后使用該控制信息進(jìn)行自適應(yīng)濾波控制處理(以及濾波處理)。從而，解碼器1315能夠抑制濾波處理的由局部控制所引起的效果的降低。因此，相機(jī)1300能夠抑制例如針對(duì)(XD/CM0S 1312中所生成的圖像數(shù)據(jù)、或者從 DRAM 1318或記錄介質(zhì)1333所讀出的視頻數(shù)據(jù)的編碼數(shù)據(jù)、或者經(jīng)由網(wǎng)絡(luò)而獲取的視頻數(shù)據(jù)的編碼數(shù)據(jù)的濾波處理的由局部控制所引起的效果的降低。例如，相機(jī)1300通過進(jìn)行跨越片層的濾波處理，能夠提升濾波處理結(jié)果的畫質(zhì)， 并且能夠?qū)崿F(xiàn)解碼圖像的高畫質(zhì)。另外，例如，通過進(jìn)行在當(dāng)前片層關(guān)閉的濾波處理，從而相機(jī)1300能夠以低延遲進(jìn)行濾波處理，并且能夠以低延遲對(duì)編碼數(shù)據(jù)進(jìn)行解碼。另外，相機(jī)1300使用圖像編碼裝置100或圖像編碼裝置300作為編碼器1341。因此，與圖像編碼裝置100或圖像編碼裝置300的情形同樣地，編碼器1341能夠抑制濾波處理的由局部控制所引起的效果的降低。因此，相機(jī)1300能夠抑制例如針對(duì)DRAM 1318或記錄介質(zhì)1333中所記錄的編碼數(shù)據(jù)、或者提供至其它裝置的編碼數(shù)據(jù)的濾波處理的由局部控制所引起的效果的降低。例如，相機(jī)1300通過進(jìn)行跨越片層的濾波處理，能夠提升濾波處理結(jié)果的畫質(zhì)， 并且能夠?qū)嬞|(zhì)更高的編碼數(shù)據(jù)記錄在DRAM1318或記錄介質(zhì)1333中、或者提供至其它裝置。另外，例如，通過進(jìn)行在當(dāng)前片層關(guān)閉的濾波處理，相機(jī)1300能夠以低延遲進(jìn)行濾波處理，并且能夠以更低的延遲將編碼數(shù)據(jù)記錄在DRAM 1318或記錄介質(zhì)1333中、或者提供至其它裝置。注意，也可以在控制器1321所進(jìn)行的解碼處理中應(yīng)用圖像解碼裝置200或圖像解碼裝置400的解碼方法。同樣地，也可以在控制器1321所進(jìn)行的編碼處理中應(yīng)用圖像編碼裝置100或圖像編碼裝置300的編碼方法。另外，相機(jī)1300所拍攝的圖像數(shù)據(jù)可以是運(yùn)動(dòng)圖像，也可以是靜態(tài)圖像。當(dāng)然，圖像編碼裝置100、圖像解碼裝置200、圖像編碼裝置300以及圖像解碼裝置 400也可以應(yīng)用于上述裝置以外的裝置或系統(tǒng)。另外，宏塊的大小也不限定于16X16像素。可應(yīng)用于例如圖觀所示的32X32像素等的任何大小的宏塊。以上，對(duì)將標(biāo)志信息等復(fù)用(記述)成比特流的情形進(jìn)行了說明，但也可以除進(jìn)行復(fù)用以外，傳輸(記錄)標(biāo)志和圖像數(shù)據(jù)(或比特流)。也可以是將標(biāo)志與圖像數(shù)據(jù)(或比特流)加以鏈接(附加)的形態(tài)。鏈接(附加)是指圖像數(shù)據(jù)(或比特流)與標(biāo)志相互鏈接的狀態(tài)(相關(guān)的狀態(tài))， 而物理性的位置關(guān)系是任意的。例如，可以通過分立的傳輸路徑傳輸圖像數(shù)據(jù)(或比特流) 和標(biāo)志。另外，可以將圖像數(shù)據(jù)(或比特流)與標(biāo)志記錄在分立的記錄介質(zhì)(或同一個(gè)記錄介質(zhì)內(nèi)的不同的記錄區(qū)域)。注意，圖像數(shù)據(jù)(或比特流)與標(biāo)志鏈接的單位是任意的， 例如可設(shè)定為編碼處理單位(1幀、多個(gè)幀等)。附圖標(biāo)記100圖像編碼裝置112控制信息生成部113自適應(yīng)濾波控制部
132邊界控制標(biāo)志生成部141系統(tǒng)規(guī)格管理部142判斷部161要處理的像素162周邊像素163片層邊界171控制部172自適應(yīng)濾波器173選擇部181緩沖器182片層內(nèi)自適應(yīng)濾波器183邊界用第1自適應(yīng)濾波器184邊界用第2自適應(yīng)濾波器200圖像解碼裝置201存儲(chǔ)緩沖器202無損解碼部207自適應(yīng)濾波處理部300圖像編碼裝置301圖像編碼部302輸入部303通信部304信息收集部400圖像解碼裝置401圖像解碼部402信息提供部403通信部
權(quán)利要求
1.一種圖像處理裝置，包括判斷單元，配置為判斷針對(duì)圖像局部進(jìn)行的濾波處理的要處理的像素的周邊像素中， 是否包括與包括上述要處理的像素的片層相鄰的片層的像素；選擇單元，配置為在由上述判斷單元判斷為上述周邊像素中包括上述相鄰的片層的像素的情況下，根據(jù)邊界控制標(biāo)志，從多種方法中選擇針對(duì)上述要處理的像素要進(jìn)行的上述濾波處理的方法；以及濾波處理單元，配置為利用由上述選擇單元所選擇的方法，對(duì)上述要處理的像素進(jìn)行上述濾波處理。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，上述選擇單元從如下兩種方法中選擇其中一種方法在獲得位于上述相鄰片層的上述周邊像素后，進(jìn)行針對(duì)上述要處理的像素的上述濾波處理的方法；以及通過復(fù)制位于包括上述要處理的像素的片層的上述周邊像素，生成位于上述相鄰片層的上述周邊像素的虛擬數(shù)據(jù)，進(jìn)行針對(duì)上述要處理的像素的上述濾波處理的方法。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，上述選擇單元從如下兩種方法中選擇其中一種方法在獲得位于上述相鄰片層的上述周邊像素后，進(jìn)行針對(duì)上述要處理的像素的上述濾波處理的方法；以及省略針對(duì)上述要處理的像素的上述濾波處理的方法。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括生成單元，配置為根據(jù)系統(tǒng)規(guī)格而生成上述邊界控制標(biāo)志；其中，上述選擇單元根據(jù)由上述生成單元所生成的上述邊界控制標(biāo)志，選擇針對(duì)上述要處理的像素的上述濾波處理的方法。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中上述系統(tǒng)規(guī)格包括上述圖像處理裝置的硬件資源。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中上述系統(tǒng)規(guī)格包括上述圖像處理裝置的使用目的。
7.根據(jù)權(quán)利要求4所述的圖像處理裝置，還包括編碼單元，配置為對(duì)上述圖像進(jìn)行編碼并生成編碼數(shù)據(jù)；其中上述編碼單元還對(duì)由上述生成單元所生成的上述邊界控制標(biāo)志進(jìn)行編碼，并將其附加至上述編碼數(shù)據(jù)。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括解碼單元，配置為對(duì)將上述圖像編碼所得的編碼數(shù)據(jù)進(jìn)行解碼，并生成上述圖像；其中，上述解碼單元還對(duì)附加至上述編碼數(shù)據(jù)的經(jīng)編碼的上述邊界控制標(biāo)志進(jìn)行解碼；并且上述選擇單元根據(jù)由上述解碼單元所解碼的上述邊界控制標(biāo)志，選擇針對(duì)上述要處理的像素的上述濾波處理的方法。
9.一種圖像處理方法，包括由圖像處理裝置的判斷單元判斷針對(duì)圖像局部進(jìn)行的濾波處理的要處理的像素的周邊像素中，是否包括與包括上述要處理的像素的片層相鄰的片層的像素；由上述圖像處理裝置的選擇單元在判斷為上述周邊像素中包括上述相鄰的片層的像素的情況下，根據(jù)邊界控制標(biāo)志，從多種方法中選擇針對(duì)上述要處理的像素要進(jìn)行的上述濾波處理的方法；以及由上述圖像處理裝置的濾波處理單元利用所選擇的方法，對(duì)上述要處理的像素進(jìn)行上述濾波處理。
全文摘要
本發(fā)明涉及一種圖像處理裝置及方法，其可抑制由編碼時(shí)或解碼時(shí)的濾波處理的局部控制所引起的濾波處理的效果的降低。控制信息生成部112的邊界控制標(biāo)志生成部132根據(jù)系統(tǒng)規(guī)格管理部141所管理的系統(tǒng)規(guī)格信息，生成邊界控制標(biāo)志。自適應(yīng)濾波處理部113的控制部171根據(jù)該邊界控制標(biāo)志的值，決定針對(duì)片層邊界附近的像素進(jìn)行的濾波處理的處理方法。例如，選擇進(jìn)行跨越片層的濾波處理、或者進(jìn)行在當(dāng)前片層關(guān)閉的濾波處理。本發(fā)明例如可應(yīng)用于圖像處理裝置。
文檔編號(hào)H04N7/26GK102511165SQ20108004241
公開日2012年6月20日 申請(qǐng)日期2010年7月23日 優(yōu)先權(quán)日2009年7月31日
發(fā)明者近藤健治 申請(qǐng)人:索尼公司