圖像處理裝置及方法
【專利摘要】本發(fā)明涉及一種圖像處理裝置及方法，其可抑制由編碼時或解碼時的濾波處理的局部控制所引起的濾波處理的效果的降低?？刂菩畔⑸刹?12的邊界控制標志生成部132根據(jù)系統(tǒng)規(guī)格管理部141所管理的系統(tǒng)規(guī)格信息，生成邊界控制標志。自適應(yīng)濾波處理部113的控制部171根據(jù)該邊界控制標志的值，決定針對片層邊界附近的像素進行的濾波處理的處理方法。例如，選擇進行跨越片層的濾波處理、或者進行在當前片層關(guān)閉的濾波處理。本發(fā)明例如可應(yīng)用于圖像處理裝置。
【專利說明】圖像處理裝置及方法
[0001]本申請是同一 申請人:的申請日為2010年7月23日的、申請?zhí)枮?01080042415.5 (PCT/JP2010/062398)、發(fā)明名稱為“圖像處理裝置及方法”的中國發(fā)明專利申請的分案申請。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及一種圖像處理裝置及方法，特別涉及一種能夠?qū)τ删幋a時或解碼時的濾波處理的局部控制所引起的濾波處理的效果的降低進行抑制的圖像處理裝置及方法。
【背景技術(shù)】
[0003]近年來，將圖像信息作為數(shù)字信號進行處理，并且此時以高效率的信息的傳輸、存儲為目的，利用圖像信息特有的冗余性，依照通過諸如離散余弦變換等正交變換與運動補償對圖像進行壓縮的MPEG (Moving Picture Experts Group,運動圖像專家組)等格式的裝置，作為諸如廣播等的信息發(fā)送及一般家庭中的信息接收兩者都正變得普及。
[0004]尤其，MPEG2(ISO (International Organization for Standardization,國際標準化組織)/IEC(International Electrotechnical Commission,國際電工委員會)13818-2)被定義為通用圖像編碼格式，并且它包括隔行掃描圖像及連續(xù)掃描圖像兩者和標準解析度圖像及高清晰度圖像的標準。例如，MPEG2目前已廣為用于專業(yè)用途及消費型用途的廣泛應(yīng)用。通過使用MPEG2壓縮格式，例如若為具有720X480像素的標準解析度的交錯掃描圖像，則分配4至8Mbps的碼量(比特率)。同樣，若為具有1920 X 1088像素的高解析度的交錯掃描圖像，則分配18至22Mbps的碼量(比特率)，從而可實現(xiàn)高的壓縮率及良好的畫質(zhì)。
[0005]利用MPEG2主要以適合于播放用的高畫質(zhì)編碼為對象,而并不處理比MPEGl的碼量更低的碼量(比特率)，即具有更高壓縮率的編碼格式。可以預(yù)計隨著個人數(shù)字助理的普及，今后對這種編碼格式的需求將增長，對應(yīng)于此，已進行了 MPEG4編碼格式的標準化。關(guān)于圖像編碼格式，其規(guī)格于1998年12月作為IS0/IEC14496-2被批準為國際標準。
[0006]進而，近年來，當初打算供電視會議用的圖像編碼的H.26L(ITU-T (ITUTelecommunication Standardization Sector,國際電信聯(lián)盟電信標準化部門)Q6/16VCEG (Video Coding Experts Group,視頻編碼專家群))這一標準的標準化已在推進。眾所周知，H.26L雖與諸如MPEG2或MPEG4之類常規(guī)的編碼格式相比，其編碼、解碼要求更多的運算量，但可實現(xiàn)更高的編碼效率。并且，目前，作為MPEG4的活動的一環(huán)，已在進行以該H.26L為基礎(chǔ)，還導(dǎo)入H.26L無法支持的功能以實現(xiàn)更高的編碼效率的標準化作為Joint Model of Enhanced-Compression Video Coding(增強壓縮視頻編碼的聯(lián)合模型)。作為標準化的日程安排，H.264和MPEG4PartlO(AVC(Advanced Video Coding，先進視頻編碼))于2003年3月成為國際標準。
[0007]最近作為正在考慮的下一代視頻編碼技術(shù)，還有自適應(yīng)環(huán)路濾波器(ALF(Adaptive Loop Filter))(例如,參見非專利文獻I)。通過該自適應(yīng)濾波器,對每中貞(frame)進行最佳的濾波處理,能夠減少未被解塊濾波器完全去除的塊(block)噪聲和由量化所引起的噪聲。
[0008]然而，圖像通常具有各種特征，因此最佳濾波系數(shù)在局部不同。根據(jù)非專利文獻I所記載的方法，對于I個幀內(nèi)的所有像素應(yīng)用相同的濾波系數(shù)，因此幀整體的畫質(zhì)改善了，但存在局部劣化的可能性。
[0009]因此，考慮了不對局部劣化的區(qū)域進行濾波處理的方法(例如參見非專利文獻2和非專利文獻3)。在這樣的情況下，圖像編碼裝置使以如同鋪設(shè)的、無間隙地排列的多個控制塊對應(yīng)于圖像的區(qū)域，并控制是否對每個塊中的圖像進行濾波處理。圖像編碼裝置對每個塊設(shè)定標志信息，并根據(jù)該標志信息進行自適應(yīng)濾波處理。同樣地，圖像解碼裝置也根據(jù)該標志信息而進行自適應(yīng)濾波處理。
[0010]引用文獻
[0011]非專利文獻
[0012]非專利文獻1:Y1-Jen Chiu and L.Xu, “Adaptive (Wiener)Filter for VideoCompression, ” ITU-T SG16Contribution, C437, Geneva, April2008.[0013]非專利文獻2:Takeshi, Chujoh, et al., ^Block-based Adaptive LoopFilter^ITU-T SG16Q6VCEG Contribution, Al18, Germany, July,2008.[0014]非專利文獻3:T.Chujoh,N.Wada and G.Yasuda,“Quadtree-based Adaptive LoopFilter, ” ITU-T SG16Q6VCEG Contribution, VCEG-AK22 (rl)，Japan, April, 2009.
【發(fā)明內(nèi)容】

[0015]發(fā)明所要解決的技術(shù)問題
[0016]然而，有將I幀分割成多個片層(slice)，并對每個這樣的片層(多片層mult1-slice)進行圖像的編碼處理和解碼處理的方法。在非專利文獻2和非專利文獻3中，并未記載在這樣的多片層的情況下的片層的邊界附近的像素的處理，而應(yīng)該如何處理尚不明確。
[0017]本發(fā)明是鑒于這種情況而提出的，其目的在于抑制由編碼時或解碼時的濾波處理的局部控制所引起的濾波處理的效果的降低。
[0018]解決問題的技術(shù)手段
[0019]本發(fā)明的一個方面是一種圖像處理裝置，包括:判斷單元，配置為判斷在對圖像局部進行的濾波處理的要處理的像素的周邊像素中，是否包括與包括上述要處理的像素的片層相鄰片層的像素；選擇單元，配置為在通過上述判斷單元判斷為上述周邊像素中包括上述相鄰片層的像素的情況下，根據(jù)邊界控制標志，從多種方法中選擇針對上述要處理的像素的上述濾波處理的方法；以及濾波處理單元，配置為利用由上述選擇單元所選擇的方法，對上述要處理的像素進行上述濾波處理。
[0020]上述選擇單元可從如下兩種方法中選擇任一種方法:一種是獲得位于上述相鄰片層的上述周邊像素后進行針對上述要處理的像素的上述濾波處理；另一種是通過復(fù)制位于包括上述要處理的像素的片層的上述周邊像素，生成位于上述相鄰片層的上述周邊像素的虛擬數(shù)據(jù)(dummy data)，進行針對上述要處理的像素的上述濾波處理。
[0021]上述選擇單元可從如下兩種方法中選擇任一種方法:一種是獲得位于上述相鄰片層的上述周邊像素后進行針對上述要處理的像素的上述濾波處理；另一種是省略針對上述要處理的像素的上述濾波處理。
[0022]上述圖像處理裝置還可以包括:生成單元，配置為根據(jù)系統(tǒng)規(guī)格而生成上述邊界控制標志；上述選擇單元根據(jù)由上述生成單元所生成的上述邊界控制標志，選擇關(guān)于要處理的像素的上述濾波處理的方法。
[0023]上述系統(tǒng)規(guī)格可包括上述圖像處理裝置的硬件資源。
[0024]上述系統(tǒng)規(guī)格可包括上述圖像處理裝置的使用目的。
[0025]上述圖像處理裝置還可以包括:編碼單元，配置為對上述圖像進行編碼而生成編碼數(shù)據(jù)；上述編碼單元還對由上述生成單元所生成的上述邊界控制標志進行編碼，并將其附加至上述編碼數(shù)據(jù)。
[0026]上述圖像處理裝置還可以包括:解碼單元，配置為對將上述圖像編碼所得的編碼數(shù)據(jù)進行解碼而生成上述圖像；上述解碼單元還對附加至上述編碼數(shù)據(jù)的經(jīng)編碼的上述邊界控制標志進行解碼；上述選擇單元根據(jù)由上述解碼單元所解碼的上述邊界控制標志，選擇關(guān)于要處理的像素的上述濾波處理的方法。
[0027]本發(fā)明的另一個方面為一種圖像處理方法，包括如下步驟:由圖像處理裝置的判斷單元判斷在對圖像局部進行的濾波處理的要處理的像素的周邊像素中，是否包括與包括上述要處理的像素的片層相鄰片層的像素；由上述圖像處理裝置的選擇單元在判斷為上述周邊像素中包括上述相鄰的片層的像素的情況下，根據(jù)邊界控制標志，從多種方法中選擇針對上述要處理的像素的上述濾波處理的方法；由上述圖像處理裝置的濾波處理單元利用所選擇的方法，對上述要處理的像素進行上述濾波處理。
[0028]根據(jù)本發(fā)明的一個方面，判斷在針對圖像局部進行的濾波處理的要處理的像素的周邊像素中，是否包括與包括要處理的像素的片層相鄰片層的像素，在判斷為周邊像素中包括相鄰片層的像素的情況下，根據(jù)邊界控制標志，從多種方法中選擇針對要處理的像素的濾波處理的方法，且利用所選擇的方法，對要處理的像素進行濾波處理。
[0029]根據(jù)本發(fā)明，可對圖像進行編碼或解碼。尤其，可抑制由編碼時或解碼時的濾波處理的局部控制所引起的濾波處理的效果的降低。例如，即使于將圖像的各幀分為多個進行編碼或解碼的情況下，也能夠抑制濾波處理的效果的降低。
【專利附圖】

【附圖說明】
[0030]圖1是表示應(yīng)用本發(fā)明的圖像編碼裝置的實施例的構(gòu)成的框圖。
[0031]圖2是說明可變塊大小運動預(yù)/補償處理的圖。
[0032]圖3是表示控制信息生成部的主要構(gòu)成例的框圖。
[0033]圖4是說明ALF塊和濾波器塊標志的圖。
[0034]圖5是說明多片層的例子的圖。
[0035]圖6是說明用于濾波處理的周邊像素的圖。
[0036]圖7是說明邊界附近的進行濾波處理的情況的圖。
[0037]圖8是表示自適應(yīng)濾波處理部的主要構(gòu)成例的框圖。
[0038]圖9是說明編碼處理的流程的例子的流程圖。
[0039]圖10是說明控制信息生成處理的流程的例子的流程圖。[0040]圖11是說明邊界控制標志設(shè)定處理的流程的例子的流程圖。
[0041]圖12是說明自適應(yīng)濾波控制處理的流程的例子的流程圖。
[0042]圖13是說明濾波處理的流程的例子的流程圖，
[0043]圖14是說明濾波處理的流程的例子的流程圖。
[0044]圖15是表示應(yīng)用本發(fā)明的圖像解碼裝置的主要構(gòu)成例的框圖。
[0045]圖16是說明解碼處理的流程的例子的流程圖。
[0046]圖17是表示應(yīng)用本發(fā)明的圖像編碼裝置的其他構(gòu)成例的框圖。
[0047]圖18是表示應(yīng)用本發(fā)明的圖像解碼裝置的其他構(gòu)成例的框圖。
[0048]圖19是說明進行規(guī)格信息的交換的處理的流程的例子的流程圖。
[0049]圖20是說明ALF塊和濾波器塊標志的其他例的圖。
[0050]圖21是說明ALF塊和濾波器塊標志的其他例的圖。
[0051]圖22是說明多片層的情況下的處理的方式的圖。
[0052]圖23是表示應(yīng)用本發(fā)明的個人計算機的主要構(gòu)成例的框圖。
[0053]圖24是表示應(yīng)用本發(fā)明的電視接收機的主要構(gòu)成例的框圖。
[0054]圖25是表示應(yīng)用本發(fā)明的移動電話的主要構(gòu)成例的框圖。
[0055]圖26是表示應(yīng)用本發(fā)明的硬盤記錄器的主要構(gòu)成例的框圖。
[0056]圖27是表示應(yīng)用本發(fā)明的相機的主要構(gòu)成例的框圖。
[0057]圖28是表示宏塊的例子的圖。
【具體實施方式】
[0058]以下，對本發(fā)明的實施例進行說明。說明按以下的順序進行。
[0059]1.第I實施例(圖像編碼裝置)
[0060]2.第2實施例(圖像解碼裝置)
[0061]3.第3實施例(圖像編碼/解碼系統(tǒng))
[0062]4.第 4 實施例(QALF)
[0063]5.第5實施例(個人計算機)
[0064]6.第6實施例(電視接收機)
[0065]7.第7實施例(移動電話)
[0066]8.第8實施例(硬盤記錄器)
[0067]9.第9實施例(相機)
[0068]〈1.第I實施例>
[0069][裝置的構(gòu)成]
[0070]圖1表示作為應(yīng)用本發(fā)明的圖像處理裝置的圖像編碼裝置的一個實施例的構(gòu)成。
[0071]圖1所示的圖像編碼裝置100是使用例如H.264和MPEG4PartlO (先進視頻編碼，Advanced Video Coding)(以下記作H.264/AVC)格式對圖像進行壓縮編碼的圖像編碼裝置，并且還采用自適應(yīng)環(huán)路濾波器。
[0072]在圖1的例中，圖像編碼裝置100包括:A/D (模擬/數(shù)字)變換部101、畫面重排緩沖器(screen rearranging buffer) 102、運算部103、正交變換部104、量化部105、無損編碼部106和存儲緩沖器107。圖像編碼裝置100還包括:反量化部108、逆正交變換部109、運算部110和解塊濾波器111。圖像編碼裝置100還包括:控制信息生成部112、自適應(yīng)濾波處理部113和巾貞存儲器114。圖像編碼裝置100還包括:巾貞內(nèi)預(yù)測部(intra predictionunit) 115、運動補償部116、運動預(yù)測部117和預(yù)測圖像選擇部118。進而，圖像編碼裝置100 包括碼率控制部(rate control unit) 119。
[0073]A/D變換部101對所輸入的圖像進行A/D變換，并輸出至畫面重排緩沖器102中加以存儲。畫面重排緩沖器102將所存儲的用于顯示的順序的幀的圖像重排為對應(yīng)于GOP(Group of Picture,圖像群組)的用于編碼的巾貞的順序。運算部103從畫面重排緩沖器102讀出的圖像減去由預(yù)測圖像選擇部118所選擇的來自幀內(nèi)預(yù)測部115的預(yù)測圖像、或來自運動補償部116的預(yù)測圖像，并將該差分信息輸出至正交變換部104中。正交變換部104對來自運算部103的差分信息實施諸如離散余弦變換、K-L(Karhunen-Loeve)變換等正交變換，并輸出其變換系數(shù)。量化部105將正交變換部104所輸出的變換系數(shù)量化。
[0074]成為量化部105的輸出的經(jīng)量化的變換系數(shù)被輸入至無損編碼部106中。無損編碼部106對該經(jīng)量化的變換系數(shù)實施諸如可變長度編碼、算術(shù)編碼等無損編碼并進行壓縮。
[0075]無損編碼部106從幀內(nèi)預(yù)測部115獲取表示幀內(nèi)預(yù)測的信息等，并從運動預(yù)測部117獲取表示巾貞間預(yù)測模式(inter prediction mode)的信息等。注意,表示巾貞內(nèi)預(yù)測的信息以下也被稱為幀內(nèi)預(yù)測模式信息。另外，表示幀間預(yù)測的信息以下也被稱為幀間預(yù)測模
式信息。
[0076]無損編碼部106從控制信息生成部112獲取在自適應(yīng)濾波處理部113中所進行的自適應(yīng)濾波處理的控制信息。
[0077]無損編碼部106對經(jīng)量化的變換系數(shù)進行編碼，并且對自適應(yīng)濾波處理的控制信息、表示幀內(nèi)預(yù)測的信息、表示幀間預(yù)測模式的信息以及量化參數(shù)等進行編碼，并且將它們作為壓縮圖像中的首部信息(header information)的一部分(進行復(fù)用，multiplexes)。無損編碼部106將經(jīng)編碼的數(shù)據(jù)提供至存儲緩沖器107中加以存儲。
[0078]例如，無損編碼部106進行諸如可變長度編碼或者算術(shù)編碼等無損編碼處理?？勺冮L度編碼的例子包括由H.264/AVC格式所規(guī)定的CAVIC (Context-AdaptiveVariable Length Coding,上下文自適應(yīng)變長編碼)等。算術(shù)編碼的例子包括CABAC (Context-Adaptive Binary Arithmetic Coding,上下文自適應(yīng)二進制算術(shù)編碼)
坐寸ο
[0079]存儲緩沖器107臨時保持從無損編碼部106所提供的數(shù)據(jù)，并在特定的時間點(timing)將其作為以H.264/AVC格式進行編碼的壓縮圖像，輸出至例如后繼的未圖示的存儲裝置或傳輸路徑等。
[0080]另外，從量化部105輸出的經(jīng)量化的變換系數(shù)還被輸入至反量化部108。反量化部108用與在量化部105所進行的量化相對應(yīng)的方法對該經(jīng)量化的變換系數(shù)進行反量化，并將所獲得的變換系數(shù)提供至逆正交變換部109。
[0081]逆正交變換部109以與由正交變換部104所進行的正交變換處理相對應(yīng)的方法對所提供的變換系數(shù)進行逆正交變換。經(jīng)逆正交變換的輸出被提供至運算部110。運算部110將從逆正交變換合109所提供的逆正交變換結(jié)果，即經(jīng)恢復(fù)的差分信息與從預(yù)測圖像選擇部118所提供的預(yù)測圖像相加，而獲得局部經(jīng)解碼的圖像(解碼圖像)。該相加結(jié)果被提供至解塊濾波器111。
[0082]解塊濾波器111從解碼圖像中去除塊噪聲。解塊濾波器111之后將該噪聲去除結(jié)果提供至控制信息生成部112和自適應(yīng)濾波處理部113。
[0083]控制信息生成部112獲取從解塊濾波器111所提供的解碼圖像和從畫面重排緩沖器102所讀出的當前的輸入圖像，并根據(jù)它們生成在適應(yīng)濾波處理部113所進行的自適應(yīng)濾波的控制信息。詳細情況將后述，而控制信息包括濾波系數(shù)、塊大小、濾波器塊標志和邊界控制標志等。
[0084]控制信息生成部112將所生成的控制信息提供至自適應(yīng)濾波處理部113?？刂菩畔⑸刹?12也還將所生成的控制信息提供至無損編碼部106。如上所述，控制信息由無損編碼部106進行無損壓縮處理，并被包括在圖像壓縮信息中(被復(fù)用)。即，控制信息與圖像壓縮信息一并被輸送至圖像解碼裝置。
[0085]自適應(yīng)濾波處理部113使用從控制信息生成部112所提供的控制信息的濾波系數(shù)、塊大小指定以及濾波器塊標志等，對從解塊濾波器111所提供的解碼圖像進行濾波處理。作為該濾波器，例如使用維納濾波器(Wiener Filter)。當然，也可以使用維納濾波器以外的濾波器。自適應(yīng)濾波處理部113將濾波處理結(jié)果提供至幀存儲器114，并將其作為參考圖像而加以存儲。
[0086]幀存儲器114在特定的時間點，將所存儲的參考圖像輸出至運動補償部116和運動預(yù)測部117。
[0087]在該圖像編碼裝置100中，例如將來自畫面重排緩沖器102的I畫面、B畫面以及P畫面作為進行幀內(nèi)預(yù)測(也稱為幀內(nèi)處理)的圖像提供至幀內(nèi)預(yù)測部115。另外，將從畫面重排緩沖器102所讀出的B畫面以及P畫面作為進行幀間預(yù)測(也稱為幀間處理)的圖像提供至運動預(yù)測部117。
[0088]幀內(nèi)預(yù)測部115根據(jù)從畫面重排緩沖器102所讀出的進行幀內(nèi)預(yù)測的圖像和從幀存儲器114所提供的參考圖像，進行對所有作為候補的幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測處理，而生成預(yù)測圖像。
[0089]在幀內(nèi)預(yù)測部115中，與對當前塊/宏塊所應(yīng)用的幀內(nèi)預(yù)測模式有關(guān)的信息被傳輸至無損編碼部106，并作為圖像壓縮信息中的首部信息的一部分而被編碼。在H.264圖像信息編碼格式中，對于亮度信號，定義有幀內(nèi)4X4預(yù)測模式、幀內(nèi)8X8預(yù)測模式及幀內(nèi)16X 16預(yù)測模式，另外，關(guān)于色差信號，可對于每個宏塊定義獨立于亮度信號的預(yù)測模式。對于幀內(nèi)4X4預(yù)測模式，針對各個4X4亮度塊定義I個幀內(nèi)預(yù)測模式。對于幀內(nèi)8X8預(yù)測模式，針對各個8X8亮度塊定義I個幀內(nèi)預(yù)測模式。對于幀內(nèi)16X16預(yù)測模式及色差信號，針對每個宏塊定義I個幀內(nèi)預(yù)測模式。
[0090]幀內(nèi)預(yù)測部115針對已生成預(yù)測圖像的幀內(nèi)預(yù)測模式計算出成本函數(shù)值，并將所計算出的成本函數(shù)值給出最小值的幀內(nèi)預(yù)測模式選擇為最佳幀內(nèi)預(yù)測模式。幀內(nèi)預(yù)測部115將由最佳幀內(nèi)預(yù)測模式所生成的預(yù)測圖像提供至預(yù)測圖像選擇部118。
[0091]運動預(yù)測部117針對要進行幀間編碼的圖像，獲取從畫面重排緩沖器102所提供的圖像信息(輸入圖像)和從幀存儲器114所提供的作為參考幀的圖像信息(解碼圖像)，并計算運動向量。運動預(yù)測部117將表示所計算出的運動向量的運動向量信息提供至無損編碼部106。該運動向量信息通過無損編碼部106而進行無損壓縮處理，并被包括在圖像壓縮信息中。即，運動向量信息與圖像壓縮信息一并被輸送至圖像解碼裝置。
[0092]另外，運動預(yù)測部117還將運動向量信息提供至運動補償部116。
[0093]運動補償部116對應(yīng)于從運動預(yù)測部117所提供的運動向量信息進行運動補償處理，生成幀間預(yù)測圖像信息。運動補償部116將所生成的預(yù)測圖像信息提供至預(yù)測圖像選擇部118。
[0094]預(yù)測圖像選擇部118在進行幀內(nèi)編碼的圖像的情況下，將幀內(nèi)預(yù)測部115的輸出提供至運算部103，并在進行幀間編碼的圖像的情況下，將運動補償部116的輸出提供至運算部103。
[0095]碼率控制部119根據(jù)存儲緩沖器107中所存儲的壓縮圖像，控制量化部105的量化操作的碼率，以防止產(chǎn)生溢出或下溢。
[0096]在MPEG(運動圖像專家組,Moving Picture Experts Group) 2中，運動預(yù)測補償/處理的單位是運動補償塊，并且能夠在每個運動補償塊中保持獨立的運動向量信息。該運動補償塊的大小在幀運動補償模式的情形下是16X 16像素，在場運動補償模式的情況下，針對第一場、第二場的各自是16X8像素。
[0097]另一方面,在AVC(先進視頻編碼,Advanced Video Coding)中，如圖2上側(cè)所示，可將由16X16像素所構(gòu)成的一個宏塊分割成16X16、16X8、8X16或8X8的任一分區(qū)，且分別具有獨立的運動向量信息。進而，如圖2下側(cè)所示，一個8X8分區(qū)可分割成8X8、8X4、4X8或4X4的任一子分區(qū)，且分別具有獨立的運動向量信息。將該運動補償塊作為單位進行運動預(yù)測補償處理。
[0098]圖3是表示控制信息生成部112的主要構(gòu)成例的框圖。
[0099]控制信息生成部112生成在自適應(yīng)濾波處理部113中所運行的作為環(huán)路濾波器的自適應(yīng)濾波器(ALF(Adaptive Loop Filter))所使用的控制信息?？刂菩畔⑸刹?12生成例如濾波系數(shù)、ALF塊大小、濾波器塊標志以及邊界控制標志作為該控制信息。
[0100]控制信息生成部112具有:濾波系數(shù)計算部131、邊界控制標志生成部132以及塊信息生成部133。
[0101]濾波系數(shù)計算部131獲取從解塊濾波器111所提供的解碼圖像和從畫面重排緩沖器102所讀出的當前的輸入圖像，并針對每個幀計算ALF的濾波系數(shù)。
[0102]邊界控制標志生成部132生成邊界控制標志(alf_enable_in_slice_boundary),該邊界控制標志控制對在幀中形成多個的片層的邊界附近的像素如何進行濾波處理(指定濾波處理方法)。詳細情況將后述。
[0103]塊信息生成部133根據(jù)從解塊濾波器111所提供的解碼圖像和由濾波系數(shù)計算部131所計算出的濾波系數(shù)，決定ALF塊大小，并針對要處理的片層內(nèi)的各ALF塊生成濾波器塊標志。
[0104]此處，對ALF塊和濾波器塊標志進行說明。圖4是說明ALF塊和濾波器塊標志的圖。
[0105]如上所述，自適應(yīng)濾波器針對每個幀設(shè)定濾波系數(shù)。即，以幀單位進行最佳的濾波處理。但是，一般而言，幀圖像的整體并不均一，局部具有各種特征。因此，局部的最佳的濾波系數(shù)不同。因此，如上所述，在使用針對每個幀所決定的濾波系數(shù)的濾波處理中，存在改善幀整體的畫質(zhì)，但局部劣化的可能性。[0106]因此，業(yè)界考慮了不對畫質(zhì)惡化的局部區(qū)域進行濾波處理的BALF(Block basedAdaptive Loop Filter,基于塊的自適應(yīng)環(huán)路濾波器)。
[0107] 圖4中的A中的幀151示出解塊濾波處理后的解碼圖像。如圖4的B所示，塊信息生成部133將分別作為局部所進行的自適應(yīng)濾波處理的控制單位的控制塊的多個ALF塊152以鋪滿該幀151的整個區(qū)域的方式無間隙地配置。配置該ALF塊152的區(qū)域可與幀151的區(qū)域不同，但至少包括幀的整個區(qū)域。結(jié)果，幀151的區(qū)域被分割成ALF塊152的區(qū)域(多個區(qū)域)。
[0108]塊信息生成部133決定ALF塊152的水平方向的大小(雙箭頭153)與垂直方向的大小(雙箭頭154)。ALF塊的大小可針對每個片層而指定例如8X8、16X16、24X24、32 X 32、48 X 48、64 X 64、96 X 96或128 X 128的任一者。將指定該ALF塊的大小的信息稱為塊大小指數(shù)(block size index)。
[0109]若已決定塊大小，則幀大小固定，因此每個幀的ALF塊數(shù)也被決定。
[0110]塊信息生成部133如圖4的C所示，針對每個ALF塊152，設(shè)定控制是否進行濾波處理的濾波器塊標志155。例如，對于通過自適應(yīng)濾波器而改善畫質(zhì)的區(qū)域，生成值為“I”的濾波器塊標志155，對于因自適應(yīng)濾波器而導(dǎo)致畫質(zhì)惡化的區(qū)域，生成值為“O”的濾波器塊標志155。在濾波器塊標志155中，值“I”是表示要進行濾波處理的值，值“O”是表示不進行濾波處理的值。
[0111]自適應(yīng)濾波處理部113根據(jù)該濾波器塊標志155的值控制自適應(yīng)濾波處理。例如，自適應(yīng)濾波處理部113僅對濾波器塊標志155的值為“I”的ALF塊152的區(qū)域進行濾波處理，而不對濾波器塊標志155的值為“O”的ALF塊152的區(qū)域進行濾波處理。
[0112]另外，上述塊大小指數(shù)與濾波器塊標志包括在圖像壓縮信息的片層首部中，并且從圖像編碼裝置100輸送至圖像解碼裝置。對應(yīng)于ALF塊的數(shù)量的I個以上的濾波器塊標志以例如光柵掃描(raster scan)的順序包括于片層首部中。
[0113]因此，ALF塊的大小越小，越能夠?qū)崿F(xiàn)更細致的濾波器控制，而且越能夠?qū)崿F(xiàn)更適當?shù)腁LF濾波。但是，較小的ALF塊的大小會增加濾波器塊標志的比特量。即，ALF塊的大小越小，圖像壓縮信息的編碼效率越下降。從而，自適應(yīng)濾波器的性能與圖像壓縮信息的編碼效率處于折衷的關(guān)系。
[0114]AlF塊的數(shù)量按照如下的表達式(I)而計算:
[0115][數(shù)學(xué)表達式I]
【權(quán)利要求】
1.一種圖像處理裝置，具備: 生成單元，生成塊控制數(shù)據(jù)和片層控制數(shù)據(jù)，其中所述塊控制數(shù)據(jù)對四叉樹構(gòu)造的像素塊的每一個控制是否進行濾波處理，所述片層控制數(shù)據(jù)控制是跨越處理對象的片層的邊界來進行所述濾波處理，還是不跨越所述處理對象的片層的邊界來進行所述濾波處理。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，還具備: 編碼單元，生成包括所述塊控制數(shù)據(jù)和所述片層控制數(shù)據(jù)的編碼流。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中， 所述塊控制數(shù)據(jù)和所述片層控制數(shù)據(jù)被作為規(guī)定的語法而包括在所述編碼流中。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中， 所述片層控制數(shù)據(jù)被包括在所述編碼流的片層首部中。
5.根據(jù)權(quán)利 要求1所述的圖像處理裝置，還具備: 濾波單元，對所述像素塊進行濾波處理， 所述濾波單元被構(gòu)造為:在跨越處理對象的片層的邊界來進行所述濾波處理的情況下，對所述像素塊中包括的全部像素進行濾波處理。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中 所述濾波單元被構(gòu)造為:在不跨越處理對象的片層的邊界來進行所述濾波處理的情況下，對所述像素塊中包括的邊界以外的像素進行濾波處理。
7.根據(jù)權(quán)利要求5所述的圖像處理裝置，還具備: 顯示控制單元，在顯示器上顯示由所述濾波單元濾波處理了的圖像。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，還具備: 編碼單元，生成包括所述塊控制數(shù)據(jù)和所述片層控制數(shù)據(jù)的編碼流；以及 調(diào)制單元，對由所述編碼單元所生成的編碼流進行擴頻處理。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置，還具備: 電源單元，在由用戶的操作而結(jié)束通話及使電源鍵成為接通狀態(tài)時，從電池組對各處理單元提供電力，從而啟動為可操作的狀態(tài)。
10.根據(jù)權(quán)利要求1所述的圖像處理裝置，還具備: 信號處理單元，將對被攝體進行拍攝而得到的圖像信號變換為Y、Cr、Cb的圖像數(shù)據(jù)， 所述生成單元被構(gòu)成為:對于由所述信號處理單元所生成的Y、Cr、Cb的圖像數(shù)據(jù)，生成所述塊控制數(shù)據(jù)和所述片層控制數(shù)據(jù)。
11.根據(jù)權(quán)利要求10所述的圖像處理裝置，還具備: 編碼單元，生成包括由所述生成單元所生成的、對于由所述信號處理單元所生成的Y、Cr、Cb的圖像數(shù)據(jù)的所述塊控制數(shù)據(jù)和所述片層控制數(shù)據(jù)的編碼流；以及 存儲單元，存儲由所述信號處理單元所生成的Y、Cr、Cb的圖像數(shù)據(jù)、或者由所述編碼單元所生成的編碼流。
12.根據(jù)權(quán)利要求11所述的圖像處理裝置，還具備: 傳輸單元，傳輸從所述存儲單元讀出的所述編碼數(shù)據(jù)。
13.一種圖像處理方法，其特征在于， 生成塊控制數(shù)據(jù)和片層控制數(shù)據(jù)，其中所述塊控制數(shù)據(jù)對四叉樹構(gòu)造的像素塊的每一個控制是否進行濾波處理，所述片層控制數(shù)據(jù)控制是跨越處理對象的片層的邊界來進行所述濾波處理，還是不跨越所述處理對象的片層的邊界來進行所述濾波處理。
14.根據(jù)權(quán)利要求13所述的圖像處理方法，其中 還生成包括所述塊控制數(shù)據(jù)和所述片層控制數(shù)據(jù)的編碼流。
15.根據(jù)權(quán)利要求14所述的圖像處理方法，其中， 所述塊控制數(shù)據(jù)和所述片層控制數(shù)據(jù)被作為規(guī)定的語法而包括在所述編碼流中。
16.根據(jù)權(quán)利要求15所述的圖像處理方法，其中， 所述片層控制數(shù)據(jù)被包括在所述編碼流的片層首部中。
17.根據(jù)權(quán)利要求13所述的圖像處理方法，其中 在跨越處理對象的片層的邊界來進行所述濾波處理的情況下，對所述像素塊中包括的全部像素進行濾波處理。
18.根據(jù)權(quán)利要求13所述的圖像處理方法，其中 在不跨越處理對象的片層的邊界來進行所述濾波處理的情況下，對所述像素塊中包括的邊界以外的像素進行濾波處理。
19.根據(jù)權(quán)利要求13所述的圖像處理方法，其中 對像素塊進行濾波處理， 在顯示器上顯示濾波處理了的圖像。
20.根據(jù)權(quán)利要求13所述的圖像處理方法，其中 生成包括所述塊控制數(shù)據(jù)和所述片層控制數(shù)據(jù)的編碼流， 對所生成的編碼流進行擴頻處理。
21.根據(jù)權(quán)利要求13所述的圖像處理方法，其中 在由用戶的操作而結(jié)束通話及使電源鍵成為接通狀態(tài)時，從電池組對各處理單元提供電力，從而啟動為可操作的狀態(tài)。
22.根據(jù)權(quán)利要求13所述的圖像處理方法，其中 將對被攝體進行拍攝而得到的圖像信號變換為Y、Cr、Cb的圖像數(shù)據(jù)， 對于所生成的Y、Cr、Cb的圖像數(shù)據(jù)，生成所述塊控制數(shù)據(jù)和所述片層控制數(shù)據(jù)。
23.根據(jù)權(quán)利要求22所述的圖像處理方法，其中 生成包括對于所生成的Y、Cr、Cb的圖像數(shù)據(jù)的所述塊控制數(shù)據(jù)和所述片層控制數(shù)據(jù)的編碼流， 存儲所生成的Y、Cr、Cb的圖像數(shù)據(jù)、或者所生成的編碼流。
24.根據(jù)權(quán)利要求23所述的圖像處理方法，其中 讀出并傳輸所存儲的所述編碼數(shù)據(jù)。
25.一種計算機可讀介質(zhì)，記錄有使得計算機作為如下單元發(fā)揮功能的程序: 生成單元，生成塊控制數(shù)據(jù)和片層控制數(shù)據(jù)，其中所述塊控制數(shù)據(jù)對四叉樹構(gòu)造的像素塊的每一個控制是否進行濾波處理，所述片層控制數(shù)據(jù)控制是跨越處理對象的片層的邊界來進行所述濾波處理，還是不跨越所述處理對象的片層的邊界來進行所述濾波處理。
【文檔編號】H04N19/136GK103957408SQ201410206896
【公開日】2014年7月30日 申請日期:2010年7月23日 優(yōu)先權(quán)日:2009年7月31日
【發(fā)明者】近藤健治 申請人:索尼公司