專利名稱：圖像處理裝置、方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置、方法和程序，尤其涉及能夠更加有效地以高編碼效率執(zhí)行編碼和解碼的圖像處理裝置、方法和程序。
背景技術(shù)：
近些年，用于處理圖像信息作為數(shù)字信息并且此時針對高效信息發(fā)送和累積的目的通過利用圖像信息所特有的冗余基于例如離散余弦變換和運動補償?shù)恼蛔儞Q壓縮圖像信息的例如與MPEG (運動圖像專家組)的制式兼容的裝置變得廣泛應(yīng)用于廣播站等等的信息發(fā)布和普通家庭中的信息接收二者。
具體地講，MPEG2 (ISO (國際標(biāo)準(zhǔn)化組織)/IEC (國際電エ委員會)13818-2)被定 義為通用圖像編碼系統(tǒng)并且是覆蓋隔行掃描圖像和逐行掃描圖像二者以及標(biāo)準(zhǔn)分辨率圖像和高清晰度圖像的標(biāo)準(zhǔn)。目前，它廣泛應(yīng)用于大量的專業(yè)使用和消費者使用應(yīng)用。通過使用MPEG2壓縮系統(tǒng)，例如，通過在具有720X480像素的標(biāo)準(zhǔn)分辨率隔行掃描圖像的情況下分配4到8Mbps的碼量(位率)或者在具有1920X 1088像素的高分辨率隔行掃描圖像的情況下分配18到22Mbps的碼量(位率)能夠?qū)崿F(xiàn)高壓縮率和良好圖像質(zhì)量。
MPEG2主要針對與廣播兼容的高圖像質(zhì)量編碼但是不支持低于MPEGl即具有更高壓縮率的編碼系統(tǒng)的碼量(位率)。在未來由于便攜式終端的普及對這種編碼系統(tǒng)的需求將變得更大，并且已經(jīng)響應(yīng)于此執(zhí)行了 MPEG4編碼系統(tǒng)的標(biāo)準(zhǔn)化。關(guān)于該圖像編碼系統(tǒng)，在1998年12月它的標(biāo)準(zhǔn)被核準(zhǔn)為國際標(biāo)準(zhǔn)IS0/IEC14496-2。
此外，近些年，針對初始用于視頻會議的圖像編碼的目的，執(zhí)行標(biāo)準(zhǔn)H. 26L(ITU-TdTU電信標(biāo)準(zhǔn)化部門)Q6/16VCEG (視頻編碼專家組))的標(biāo)準(zhǔn)化。所知道的是，盡管與諸如MPEG2和MPEG4的傳統(tǒng)編碼系統(tǒng)相比較而言針對H. 26L的編碼和解碼需要更大運算量，但是在H. 26L中實現(xiàn)更高編碼效率。另外，目前，作為MPEG4的活動的一部分，基于這個H.26L，通過另外引入不由H. 26L支持的功能實現(xiàn)更高編碼效率的標(biāo)準(zhǔn)化被實現(xiàn)為增強壓縮視頻編碼的聯(lián)合模型。作為標(biāo)準(zhǔn)化的進(jìn)度，在2003年3月它變成名稱為H. 264和MPEGPartlO (AVC (先進(jìn)視頻編碼))的國際標(biāo)準(zhǔn)。
此外，作為擴展，還包括專業(yè)使用所需的諸如RGB、4:2:2、4:4:4、8X8DCT (離散余弦變換)和由MPEG2定義的量化矩陣的編碼工具的FRExt (保真范圍擴展)的標(biāo)準(zhǔn)化被執(zhí)行。由此，它已經(jīng)變成通過使用AVC能夠良好表達(dá)包括在電影中的平滑影片噪聲的編碼系統(tǒng)并且已經(jīng)被確定用于諸如藍(lán)光盤的大量應(yīng)用中。
然而，當(dāng)今，對以更高壓縮率進(jìn)行編碼的需求(例如，壓縮大約4000X2000像素即高清圖像四倍的圖像的需求或在如互聯(lián)網(wǎng)的有限傳輸容量的環(huán)境下發(fā)布高清圖像的需求)正變得更大。因此，在上述的ITU-T的范圍之下的VCEG中，正在持續(xù)進(jìn)行關(guān)于提高編碼效率的研究。
另外，最近出現(xiàn)ー種自適應(yīng)環(huán)路濾波器(ALF)作為進(jìn)行研究的下一代視頻編碼技術(shù)(例如參考非專利文獻(xiàn)I和非專利文獻(xiàn)2)?；谶@個環(huán)路濾波器，對每幀執(zhí)行最佳濾波器處理并且能夠減小沒有由解塊濾波器完全去除的塊效應(yīng)和由于量化導(dǎo)致的失真。
通過這種方法，將宏塊尺寸設(shè)置成16像素X 16像素并非最適于將是下一代編碼系統(tǒng)的主題的例如UHD (超高清；4000像素X2000像素)的大的圖像幀。在這種情況下已經(jīng)建議將宏塊尺寸設(shè)置成例如32像素X32像素或者64像素X64像素的尺寸(例如參考非專利文獻(xiàn)3)。
現(xiàn)有技術(shù)文獻(xiàn)
非專利文獻(xiàn)
非專利文獻(xiàn)I: Yi-Jen Chiu and L. Xu, “Adaptive (Wiener) Filter for VideoCompression，，，ITU-T SG16 Contribution, C437, Geneva, April 2008
非專利文獻(xiàn)2: Takeshi. Chujohj et al.，^Block-based Adaptive LoopFilter”ITU-T SG16 Q6 VCEG Contribution, Al 18, Germany, July, 2008
非專利文獻(xiàn)3: Qualcomm Inc，“Video Coding Using Extended BlockSizes” ITU-T SG16 Contribution, C 123,English, January 2009發(fā)明內(nèi)容
然而，在傳統(tǒng)提議的方法中，按照時序方式執(zhí)行編碼處理或解碼處理、解塊濾波器處理和自適應(yīng)濾波器處理。因此，為了通過實時處理執(zhí)行所有這些類型的處理，必須通過較高時鐘頻率的電路執(zhí)行處理并且運算量和功耗可能會增加。
鑒于這些情形提議本發(fā)明并且本發(fā)明的目的在于增強圖像的編碼或解碼中執(zhí)行的濾波器處理的效率從而抑制運算量和功耗的增加并且能夠以較低開銷實現(xiàn)實時處理。
本發(fā)明的ー個方面是圖像處理裝置，包括分類裝置，根據(jù)去除塊效應(yīng)的必要性將圖像的每個像素分類成多個類中的任何一個；解塊濾波器裝置，對由分類裝置分類成去除塊效應(yīng)的必要性高的類的像素執(zhí)行去除塊效應(yīng)的解塊濾波器處理；以及自適應(yīng)濾波器裝置，對由分類裝置分類成去除塊效應(yīng)的必要性低的類的像素執(zhí)行用于增強圖像質(zhì)量的自適應(yīng)濾波器處理。
作為解塊濾波器裝置，能夠包括強解塊濾波器裝置，執(zhí)行強去除塊效應(yīng)的強解塊 濾波器處理，以及弱解塊濾波器裝置，執(zhí)行弱去除塊效應(yīng)的弱解塊濾波器處理。分類裝置能夠?qū)D像的每個像素分類成強去除塊效應(yīng)的必要性高的類、弱去除塊效應(yīng)的必要性高的類和去除塊效應(yīng)的必要性低的類的三個類中的任何ー類。強解塊濾波器裝置能夠?qū)τ煞诸愌b置分類成強去除塊效應(yīng)的必要性高的類的像素執(zhí)行強解塊濾波器處理。弱解塊濾波器裝置能夠?qū)τ煞诸愌b置分類成弱去除塊效應(yīng)的必要性高的類的像素執(zhí)行弱解塊濾波器處理。自適應(yīng)濾波器裝置能夠?qū)τ煞诸愌b置分類成去除塊效應(yīng)的必要性低的類的像素執(zhí)行用于增強圖像質(zhì)量的自適應(yīng)濾波器處理。
分類裝置能夠通過使用運動矢量信息或包括宏塊模式信息的編碼信息執(zhí)行圖像的每個像素的分類。
圖像處理裝置還能夠包括濾波器系數(shù)計算裝置，計算用于關(guān)于由分類裝置分類的每個類的濾波器處理的濾波器系數(shù)。解塊濾波器裝置和自適應(yīng)濾波器裝置能夠通過使用由濾波器系數(shù)計算裝置計算并且對應(yīng)于這些類中的各類的濾波器系數(shù)執(zhí)行它們自身的濾波器處理。
圖像處理裝置還能夠包括相加裝置，將由濾波器系數(shù)計算裝置計算的濾波器系數(shù)加到通過由編碼裝置對圖像進(jìn)行編碼獲得的編碼數(shù)據(jù)，以及發(fā)送裝置，發(fā)送通過相加裝置向其加入濾波器系數(shù)的編碼數(shù)據(jù)。
濾波器系數(shù)計算裝置能夠僅僅計算對去除塊效應(yīng)的必要性低的類執(zhí)行的自適應(yīng)濾波器的濾波器系數(shù)。自適應(yīng)濾波器裝置能夠通過使用由濾波器系數(shù)計算裝置計算的濾波器系數(shù)執(zhí)行自適應(yīng)濾波。解塊濾波器裝置能夠通過使用預(yù)先設(shè)置的預(yù)定濾波器系數(shù)執(zhí)行解塊濾波。
圖像處理裝置還能夠包括解碼裝置，對通過圖像的編碼獲得的編碼的數(shù)據(jù)進(jìn)行解碼以產(chǎn)生解碼的圖像。分類裝置能夠根據(jù)去除塊效應(yīng)的必要性將由解碼裝置對編碼數(shù)據(jù)進(jìn)行解碼獲得的解碼的圖像的每個像素分類成多個類中的任何ー個。解塊濾波器裝置能夠?qū)τ煞诸愌b置分類成去除塊效應(yīng)的必要性高的類的像素執(zhí)行解塊濾波器處理。自適應(yīng)濾波器裝置能夠?qū)τ煞诸愌b置分類成去除塊效應(yīng)的必要性低的類的像素執(zhí)行自適應(yīng)濾波器處理。
圖像處理裝置還能夠包括濾波器系數(shù)獲取裝置，從編碼數(shù)據(jù)獲取濾波器系數(shù)。解塊濾波器裝置能夠通過使用由濾波器系數(shù)獲取裝置獲取并且對應(yīng)于去除塊效應(yīng)的必要性高的類的濾波器系數(shù)對由分類裝置分類成去除塊效應(yīng)的必要性高的類的像素執(zhí)行解塊濾波器處理。自適應(yīng)濾波器裝置能夠通過使用由濾波器系數(shù)獲取裝置獲取并且對應(yīng)于去除塊效應(yīng)的必要性低的類的濾波器系數(shù)對由分類裝置分類成去除塊效應(yīng)的必要性低的類的像素執(zhí)行自適應(yīng)濾波器處理。
另外，本發(fā)明的ー個方面是圖像處理方法。在該圖像處理方法中，圖像處理裝置的分類裝置根據(jù)去除塊效應(yīng)的必要性將圖像的每個像素分類成多個類的任何ー個。圖像處理裝置的解塊濾波器裝置對分類成去除塊效應(yīng)的高必要性的類的像素執(zhí)行去除塊效應(yīng)的解塊濾波器處理。圖像處理裝置的自適應(yīng)濾波器裝置對分類成去除塊效應(yīng)的低必要性的類的像素執(zhí)行用于增強圖像質(zhì)量的自適應(yīng)濾波器處理。
此外，本發(fā)明的ー個方面是使得計算機發(fā)揮如下部件作用的程序分類裝置，根據(jù)去除塊效應(yīng)的必要性將圖像的每個像素分類成多個類的任何一個；解塊濾波器裝置，對由分類裝置分類成去除塊效應(yīng)的高必要性的類的像素執(zhí)行去除塊效應(yīng)的解塊濾波器處理；以及自適應(yīng)濾波器裝置，對由分類裝置分類成去除塊效應(yīng)的低必要性的類的像素執(zhí)行用于增強圖像質(zhì)量的自適應(yīng)濾波器處理。
在本發(fā)明的ー個方面中，根據(jù)去除塊效應(yīng)的必要性，圖像的每個像素被分類到多 個類中的任何ー類。對分類到去除塊效應(yīng)的必要性高的類的像素執(zhí)行用于去除塊效應(yīng)的解塊濾波器處理。對分類到去除塊效應(yīng)的必要性低的類的像素執(zhí)行用于增強圖像質(zhì)量的自適應(yīng)濾波器處理。
根據(jù)本發(fā)明，能夠?qū)D像進(jìn)行編碼或解碼。具體地講，在圖像的編碼或解碼中，能夠更加有效地執(zhí)行用于增強編碼效率的濾波器處理。


圖I是示出應(yīng)用本發(fā)明的圖像編碼裝置的主結(jié)構(gòu)例子的框圖。
圖2用于解釋解塊濾波器的工作原理。
圖3用于解釋Bs的定義的方法。
全文摘要
本發(fā)明涉及能夠以高編碼效率更加有效地執(zhí)行編碼和解碼的圖像處理裝置、方法和程序。像素分類器151執(zhí)行從運算部分110提供的濾波器處理之前的解碼圖像的各個像素值的分類。濾波器系數(shù)計算器112計算關(guān)于分類的像素值的每個類的濾波器系數(shù)。強解塊濾波器152、弱解塊濾波器153和自適應(yīng)濾波器154均通過使用從濾波器系數(shù)計算器112提供的濾波器系數(shù)對從運算部分110提供的像素值執(zhí)行它們自身的濾波器處理。本發(fā)明例如能夠應(yīng)用到圖像處理裝置。
文檔編號H04N7/26GK102714718SQ201080059659
公開日2012年10月3日 申請日期2010年12月17日 優(yōu)先權(quán)日2009年12月28日
發(fā)明者佐藤數(shù)史 申請人:索尼公司