圖像處理設(shè)備和方法
【專利摘要】提供了可以改進編碼效率同時防止負(fù)荷增加的圖像處理設(shè)備和方法。濾波預(yù)測電路(64)的提取電路(71)從低分辨率的基層中的基準(zhǔn)幀提取運動補償圖像，所述運動補償圖像是用于在高分辨率的增強層中的預(yù)測圖像產(chǎn)生的圖像。使用時間方向分析和與上轉(zhuǎn)換相關(guān)聯(lián)的濾波預(yù)測電路(64)的濾波電路(72)關(guān)于由提取電路(71)提取的多個基層運動補償圖像進行濾波，并產(chǎn)生增強層中的預(yù)測圖像。本發(fā)明例如可以應(yīng)用于編碼和解碼設(shè)備。
【專利說明】圖像處理設(shè)備和方法
[0001 ] 本申請是以下專利申請的分案申請:申請?zhí)?201080016310.2，申請日:2010年02月12日，發(fā)明名稱:圖像處理設(shè)備和方法。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及圖像處理設(shè)備和方法，且更具體地涉及可以改善編碼效率同時防止負(fù)荷增加的圖像處理設(shè)備和方法。
【背景技術(shù)】
[0003]通常，使用運動補償和比如離散余弦變換、Karhunen-Logve變換或者小波變換之類的正交變換的編碼方案(包括MPEG(運動圖像專家組)、H.26x等)通常已經(jīng)用作在處理運動圖像的情況下的編碼方案。在這些運動圖像編碼方案中，通過利用要編碼的輸入圖像信號的特性當(dāng)中的空間方向和時間方向上的相關(guān)性來實現(xiàn)代碼量的減少。
[0004]例如，在H.264中，當(dāng)利用時間方向上的相關(guān)性產(chǎn)生作為要經(jīng)歷幀間預(yù)測(幀間預(yù)測)的幀的幀間時使用單向預(yù)測或者雙向預(yù)測。設(shè)計幀間預(yù)測以產(chǎn)生基于在不同時間的幀的預(yù)測圖像。
[0005]此外，在作為H.264的標(biāo)準(zhǔn)擴展的SVC(可縮放視頻編碼)中，已經(jīng)建立考慮空間可縮放性的編碼方案。SVC(H.264/AVC附錄G)是在2007年11月由ITU-T(國際電信聯(lián)盟電信標(biāo)準(zhǔn)化部門)和IS0/IEC(用于標(biāo)準(zhǔn)化的國際組織/國際電工委員會)標(biāo)準(zhǔn)化的最新的視頻編碼標(biāo)準(zhǔn)。
[0006]圖1圖示在SVC中考慮空間可縮放性的創(chuàng)建用于壓縮的預(yù)測圖像的參考關(guān)系。在SVC中，例如，如圖1所示，以基層和增強層中的多個分辨率執(zhí)行編碼。在圖1中的示例的情況下，作為基層，使用空間可縮放性編碼具有nXm[像素(pix)] (η和m是整數(shù))的分辨率的圖像。與此一起，使用空間可縮放性編碼具有NXM[像素(pix)KN和M是整數(shù))的分辨率的圖像(其中N>n且M>m)作為增強層。
[0007]在基層的情況下，與基于H.264標(biāo)準(zhǔn)的編碼的情況類似地，利用幀內(nèi)預(yù)測或者幀間預(yù)測編碼當(dāng)前幀。在圖1中的示例的情況下，當(dāng)執(zhí)行基層的編碼時，使用兩個基準(zhǔn)面(RefO，Refl)。提取來自單獨的基準(zhǔn)面的運動補償圖像(MC0，MC1)，并執(zhí)行幀間預(yù)測。
[0008]同樣在增強層的情況下，與基本層的情況類似，可以利用幀內(nèi)預(yù)測或者幀間預(yù)測編碼當(dāng)前幀。
[0009]在幀內(nèi)預(yù)測的情況下，利用當(dāng)前幀的增強層中的空間相關(guān)性執(zhí)行預(yù)測。在時間方向上的相關(guān)性低時，比如當(dāng)對象少量移動時，幀內(nèi)預(yù)測在要編碼的運動圖像中是有效的。但是，通常，在一般的運動圖像中，在多數(shù)情況下，時間方向上的相關(guān)性高于空間方向上的預(yù)測，且?guī)瑑?nèi)預(yù)測不能被認(rèn)為就編碼效率而言是最適宜的。
[0010]在幀間預(yù)測的情況下，在時間上在前或在后的幀的增強層中的解碼圖像用作基準(zhǔn)面。幀間預(yù)測使用時間方向上的相關(guān)性，因此使得高編碼效率是可行的。但是，需要預(yù)先解碼在用作基準(zhǔn)面的增強層中的高分辨率幀圖像。此外，還需要在存儲器中保存高分辨率圖像以利用它們作為參考。此外，需要從存儲器讀取具有大量數(shù)據(jù)的高分辨率圖像。因此，幀間預(yù)測可以被認(rèn)為是就處理量和實現(xiàn)成本而言施加大負(fù)荷的方案。
[0011]在這點上，在增強層的情況下，除上述兩個方案之外，基于基層的空間上采樣(上轉(zhuǎn)換)的預(yù)測方法(以下稱為上轉(zhuǎn)換預(yù)測)可用于編碼當(dāng)前幀。
[0012]在基層中的圖像是增強層中的圖像的低分辨率版本，因此可以被認(rèn)為包括與增強層中的圖像的低頻分量對應(yīng)的信號。就是說，可以通過將高頻分量加到基層中的圖像來獲得增強層中的圖像。上轉(zhuǎn)換預(yù)測是用于利用這種層之間的相關(guān)性執(zhí)行預(yù)測的方法，且特別在幀內(nèi)預(yù)測或者幀間預(yù)測不適用的情況下是對改善編碼效率有用的預(yù)測方法。此外，該預(yù)測方法僅通過在基層中同時解碼圖像來解碼當(dāng)前幀的增強層中的圖像，因此可以被認(rèn)為是就處理量而言同樣優(yōu)秀的(施加小負(fù)荷)的預(yù)測方案。
[0013]同時，用于增大分辨率的處理包括用于執(zhí)行運動補償和像素值的FIR濾波以將時間方向上的相關(guān)性轉(zhuǎn)換為用于使用的空間分辨率的技術(shù)。(例如，參見，NPL I)。
[0014]在NPLI中描述的方法中，時間方向上的相關(guān)性用于增加輸入圖像序列的分辨率的處理。具體地說，計算在當(dāng)前圖像和先前圖像之間的有關(guān)已運動預(yù)測/補償?shù)膱D像的差別信息，且將其反饋到目標(biāo)當(dāng)前圖像以恢復(fù)輸入圖像中包括的高頻分量。
[0015]引文列表
[0016]非專利文獻
[0017]NPL 1:“Improving Resolut1n by Image Registrat1n”，MICHAL IRANI和SHMUEL PELEG，計算機科學(xué)系，耶路撒冷希伯來大學(xué)，耶路撒冷91904，以色列，由RamaChelIapa傳送，在1989年6月16日接收；1990年5月25日接受。

【發(fā)明內(nèi)容】

[0018]技術(shù)問題
[0019]但是，上轉(zhuǎn)換低分辨率圖像使得由于線性內(nèi)插濾波器的影響而產(chǎn)生具有少量高頻分量的圖像。因此，在上轉(zhuǎn)換預(yù)測中，僅可以獲得具有少量高頻分量的預(yù)測圖像。就是說，在上轉(zhuǎn)換預(yù)測中，不能說已經(jīng)發(fā)送的基層中的像素信息充分地用于執(zhí)行預(yù)測。因此，在增強層中，可能需要大量代碼來編碼殘差信號。
[0020]如上，在現(xiàn)有的編碼和解碼方法中，難以實現(xiàn)編碼效率的改善以及防止負(fù)荷增加兩者。
[0021]因此，可以設(shè)想通過應(yīng)用如NPLI描述的用于將運動圖像的時間相關(guān)性轉(zhuǎn)換為空間分辨率的圖像處理技術(shù)來實現(xiàn)編碼效率的改善的方法。但是，NPLl中描述的方法不能簡單地應(yīng)用于SVC。
[0022]例如，在幀間預(yù)測中，從基準(zhǔn)面獲得的運動補償圖像的分辨率與產(chǎn)生的預(yù)測圖像的相同，且NPL I中描述的方法不能應(yīng)用于上轉(zhuǎn)換預(yù)測。此外，在上轉(zhuǎn)換預(yù)測中，因為僅從基層中當(dāng)前幀的圖像產(chǎn)生預(yù)測圖像，所以其中使用三個圖像增加分辨率的NPL I中描述的方法不能應(yīng)用于上轉(zhuǎn)換預(yù)測。
[0023]已經(jīng)考慮上述情況而提出本發(fā)明，且本發(fā)明意在通過更有效地利用運動圖像的信號序列中包括的時間相關(guān)性來執(zhí)行考慮空間可縮放性的編碼，由此使得能夠改善編碼效率同時防止比如編碼和解碼的處理的負(fù)荷的增加。
[0024]技術(shù)方案
[0025]本發(fā)明的一個方面提供了圖像處理設(shè)備，包括:解碼裝置，用于解碼編碼圖像;產(chǎn)生裝置，用于將由解碼裝置解碼的圖像和預(yù)測圖像相加，并用于產(chǎn)生解碼圖像;提取裝置，用于使用由產(chǎn)生裝置產(chǎn)生的解碼圖像形成的幀作為基準(zhǔn)幀并使用已經(jīng)編碼的圖像中的運動矢量來執(zhí)行運動補償，并用于從與預(yù)測圖像對應(yīng)的基準(zhǔn)幀提取具有比預(yù)測圖像更低分辨率的運動補償圖像;和預(yù)測圖像產(chǎn)生裝置，用于通過利用運動補償圖像中包括的時間方向上的相關(guān)性，執(zhí)行用于補償由提取裝置提取的運動補償圖像的高頻分量的濾波處理，由此產(chǎn)生具有比運動補償圖像更高分辨率的預(yù)測圖像。
[0026]編碼圖像已經(jīng)分級地分解為具有不同分辨率的多個層中的圖像且圖像已經(jīng)被編碼;解碼裝置可以解碼每一層中的編碼圖像;產(chǎn)生裝置可以產(chǎn)生每一層中的解碼圖像;當(dāng)要執(zhí)行高分辨率層的解碼時，提取裝置可以使用具有比該層更低分辨率的層中的幀作為基準(zhǔn)幀，并從在具有更低分辨率的層中的基準(zhǔn)幀提取運動補償圖像;且預(yù)測圖像產(chǎn)生裝置可以通過關(guān)于從具有更低分辨率的層中的基準(zhǔn)幀提取的運動補償圖像執(zhí)行濾波處理，來產(chǎn)生高分辨率層中的預(yù)測圖像。
[0027]預(yù)測圖像產(chǎn)生裝置可以包括:分辨率轉(zhuǎn)換裝置，用于轉(zhuǎn)換由提取裝置提取的多個運動補償圖像之間的差別圖像的分辨率并增加分辨率;第一濾波器裝置，用于將低通濾波器應(yīng)用于其分辨率已經(jīng)由分辨率轉(zhuǎn)換裝置增加的差別圖像;第二濾波器裝置，用于將高通濾波器應(yīng)用于通過由第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像;和相加裝置，用于將通過由第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像與由第二濾波器裝置應(yīng)用高通濾波器而獲得的圖像與由提取裝置提取的多個運動補償圖像之一相加，并用于產(chǎn)生預(yù)測圖像。
[0028]相加裝置可以將通過由第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像和通過由第二濾波器裝置應(yīng)用高通濾波器而獲得的圖像與從關(guān)于預(yù)測圖像的時間的在前幀提取的運動補償圖像相加。
[0029]圖像處理設(shè)備可以進一步包括:單向預(yù)測裝置，用于使用多個運動補償圖像執(zhí)行單向預(yù)測，并用于產(chǎn)生預(yù)測圖像;雙向預(yù)測裝置，用于使用多個運動補償圖像執(zhí)行雙向預(yù)測，并用于產(chǎn)生預(yù)測圖像;和判斷裝置，用于通過使用編碼圖像的報頭中包括的標(biāo)識標(biāo)記，來判斷是要由單向預(yù)測裝置通過單向預(yù)測產(chǎn)生預(yù)測圖像、要由雙向預(yù)測裝置通過雙向預(yù)測產(chǎn)生預(yù)測圖像還是要由預(yù)測圖像產(chǎn)生裝置通過濾波處理產(chǎn)生預(yù)測圖像。
[0030]本發(fā)明的一個方面進一步提供圖像處理方法，包括:解碼編碼圖像;將解碼圖像和預(yù)測圖像相加并產(chǎn)生解碼圖像;使用由產(chǎn)生的解碼圖像形成的幀作為基準(zhǔn)幀并使用已經(jīng)編碼的圖像中的運動矢量來執(zhí)行運動補償，和從與預(yù)測圖像對應(yīng)的基準(zhǔn)幀提取具有比預(yù)測圖像更低分辨率的運動補償圖像;和通過利用運動補償圖像中包括的時間方向上的相關(guān)性，執(zhí)行用于補償提取的運動補償圖像的高頻分量的濾波處理，由此產(chǎn)生具有比運動補償圖像更高分辨率的預(yù)測圖像。
[0031]本發(fā)明的另一方面提供了圖像處理設(shè)備，包括:編碼裝置，用于編碼作為要編碼的圖像的原始圖像，并用于產(chǎn)生編碼圖像;檢測裝置，基于多個圖像和原始圖像檢測運動矢量，該多個圖像中的每一個是通過基于指示原始圖像和預(yù)測圖像之間的差別的殘差信號執(zhí)行本地解碼而獲得的；提取裝置，用于使用由通過執(zhí)行本地解碼獲得的圖像形成的幀作為基準(zhǔn)幀并使用由檢測裝置檢測的運動矢量來執(zhí)行運動補償，和用于從與預(yù)測圖像對應(yīng)的基準(zhǔn)幀提取具有比預(yù)測圖像更低分辨率的運動補償圖像;和產(chǎn)生裝置，用于通過利用運動補償圖像中包括的時間方向上的相關(guān)性，執(zhí)行用于補償由提取裝置提取的運動補償圖像的高頻分量的濾波處理，由此產(chǎn)生具有比運動補償圖像更高分辨率的預(yù)測圖像。
[0032]編碼裝置可以產(chǎn)生具有不同分辨率的多個層中的編碼圖像；當(dāng)要執(zhí)行高分辨率層的解碼時，提取裝置可以使用具有比該層更低分辨率的層中的幀作為基準(zhǔn)幀，并使用由檢測裝置在具有更低分辨率的層中檢測到的運動矢量，從具有更低分辨率的層中的基準(zhǔn)幀提取運動補償圖像;和產(chǎn)生裝置，可以通過關(guān)于從具有更低分辨率的層中的基準(zhǔn)幀提取的運動補償圖像執(zhí)行濾波處理，來產(chǎn)生高分辨率層中的預(yù)測圖像。
[0033]產(chǎn)生裝置可以包括:分辨率轉(zhuǎn)換裝置，用于轉(zhuǎn)換由提取裝置提取的多個運動補償圖像之間的差別圖像的分辨率并增加分辨率;第一濾波器裝置，用于將低通濾波器應(yīng)用于其分辨率已經(jīng)由分辨率轉(zhuǎn)換裝置增加的差別圖像;第二濾波器裝置，用于將高通濾波器應(yīng)用于通過由第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像;和相加裝置，用于將通過由第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像與由第二濾波器裝置應(yīng)用高通濾波器而獲得的圖像與由提取裝置提取的多個運動補償圖像之一相加，并產(chǎn)生預(yù)測圖像。
[0034]相加裝置可以將通過由第一濾波器裝置應(yīng)用低通濾波器而獲得的圖像和通過由第二濾波器裝置應(yīng)用高通濾波器而獲得的圖像與從關(guān)于預(yù)測圖像的時間的在前幀提取的運動補償圖像相加。
[0035]編碼裝置可以使得報頭包括標(biāo)識標(biāo)記，該標(biāo)識標(biāo)記標(biāo)識是否要與由解碼設(shè)備解碼的圖像相加的預(yù)測圖像是通過單向預(yù)測產(chǎn)生、通過雙向預(yù)測產(chǎn)生還是通過濾波處理產(chǎn)生。
[0036]本發(fā)明的另一方面進一步提供了圖像處理方法，包括:編碼作為要編碼的圖像的原始圖像，并產(chǎn)生編碼圖像;基于多個圖像和原始圖像檢測運動矢量，該多個圖像中的每一個是通過基于指示原始圖像和預(yù)測圖像之間的差別的殘差信號執(zhí)行本地解碼而獲得的;使用由通過執(zhí)行本地解碼獲得的圖像形成的幀作為基準(zhǔn)幀并使用所檢測到的運動矢量來執(zhí)行運動補償，和從與預(yù)測圖像對應(yīng)的基準(zhǔn)幀提取具有比預(yù)測圖像更低分辨率的運動補償圖像;和通過利用運動補償圖像中包括的時間方向上的相關(guān)性，執(zhí)行用于補償所提取的運動補償圖像的高頻分量的濾波處理，由此產(chǎn)生具有比運動補償圖像更高分辨率的預(yù)測圖像。
[0037]在本發(fā)明的一個方面中，解碼編碼圖像;將解碼圖像和預(yù)測圖像相加并產(chǎn)生解碼圖像;使用由產(chǎn)生的解碼圖像形成的幀作為基準(zhǔn)幀并使用已經(jīng)編碼的圖像中的運動矢量來執(zhí)行運動補償，和從與預(yù)測圖像對應(yīng)的基準(zhǔn)幀提取具有比預(yù)測圖像更低分辨率的運動補償圖像;和通過利用運動補償圖像中包括的時間方向上的相關(guān)性，執(zhí)行用于補償提取的運動補償圖像的高頻分量的濾波處理，由此產(chǎn)生具有比運動補償圖像更高分辨率的預(yù)測圖像。
[0038]在本發(fā)明的另一方面中，編碼作為要編碼的圖像的原始圖像，并產(chǎn)生編碼圖像;基于多個圖像和原始圖像檢測運動矢量，該多個圖像中的每一個是通過基于指示原始圖像和預(yù)測圖像之間的差別的殘差信號執(zhí)行本地解碼而獲得的;使用由通過執(zhí)行本地解碼獲得的圖像形成的幀作為基準(zhǔn)幀并使用所檢測到的運動矢量來執(zhí)行運動補償，和從與預(yù)測圖像對應(yīng)的基準(zhǔn)幀提取具有比預(yù)測圖像更低分辨率的運動補償圖像;和通過利用運動補償圖像中包括的時間方向上的相關(guān)性，執(zhí)行用于補償所提取的運動補償圖像的高頻分量的濾波處理，由此產(chǎn)生具有比運動補償圖像更高分辨率的預(yù)測圖像。
[0039]技術(shù)效果
[0040]根據(jù)本發(fā)明，可以處理信息。具體來說，可以產(chǎn)生高精度的預(yù)測圖像并可以改善編碼效率而不增加多于必要的負(fù)荷。
【附圖說明】
[0041 ]圖1是解釋考慮現(xiàn)有的空間可縮放性的編碼方案的解碼的圖；
[0042]圖2是解釋應(yīng)用本發(fā)明的預(yù)測圖像的產(chǎn)生的概述的圖；
[0043]圖3是圖示應(yīng)用本發(fā)明的解碼設(shè)備的主要部分的示例配置的框圖；
[0044]圖4是圖示圖3中的無損解碼電路的主要部分的示例配置的框圖；
[0045]圖5是圖示圖3中的運動預(yù)測/補償電路的主要部分的示例配置的框圖；
[0046]圖6是圖示圖5中的濾波預(yù)測電路的主要部分的示例配置的框圖；
[0047]圖7是解釋解碼處理的流程的示例的流程圖；
[0048]圖8是解釋無損解碼處理的流程的示例的流程圖；
[0049]圖9是解釋當(dāng)執(zhí)行解碼時濾波預(yù)測處理的流程的示例的流程圖；
[0050]圖10是圖示應(yīng)用本發(fā)明的編碼設(shè)備的主要部分的示例配置的框圖；
[0051]圖11是圖示圖10中的模式確定電路的主要部分的示例配置的框圖；
[0052]圖12是圖示運動預(yù)測/補償電路的主要部分的示例配置的框圖；
[0053]圖13是解釋編碼處理的流程的示例的流程圖；
[0054]圖14是解釋模式確定處理的流程的示例的流程圖；
[0055]圖15是解釋當(dāng)執(zhí)行編碼時濾波預(yù)測處理的流程的示例的流程圖；
[0056]圖16是解釋應(yīng)用本發(fā)明的解碼處理的概述的另一示例的圖；
[0057]圖17是圖示圖6中的濾波電路的另一示例配置的框圖；
[0058]圖18是解釋應(yīng)用本發(fā)明的解碼處理的概述的又一示例的圖；
[0059]圖19是解釋當(dāng)執(zhí)行解碼時的濾波預(yù)測處理的流程的另一示例的流程圖；
[0060]圖20是解釋當(dāng)執(zhí)行編碼時的濾波預(yù)測處理的另一示例的流程圖；
[0061]圖21是圖示應(yīng)用本發(fā)明的個人計算機的主要部分的示例配置的框圖；
[0062]圖22是圖示應(yīng)用本發(fā)明的電視接收機的主要部分的示例配置的框圖；
[0063]圖23是圖示應(yīng)用本發(fā)明的移動電話的主要部分的示例配置的框圖；
[0064]圖24是圖示應(yīng)用本發(fā)明的硬盤記錄器的主要部分的示例配置的框圖；
[0065]圖25是圖不應(yīng)用本發(fā)明的相機的主要部分的不例配置的框圖；
[0066]圖26是圖示宏塊大小的示例的圖。
【具體實施方式】
[0067]在下文中將解釋本發(fā)明的【具體實施方式】(在下文中，實施例)。注意將以以下次序給出說明:
[0068]1.第一實施例(解碼處理)
[0069]2.第二實施例(編碼處理)
[0070]3.第三實施例(具有三個或更多運動補償圖像的解碼處理)
[0071]4.第四實施例(使用相同層中的運動補償圖像的解碼處理和編碼處理)
[0072]〈1.第一實施例〉
[0073][預(yù)測的概述]
[0074]圖2是解釋應(yīng)用本發(fā)明的預(yù)測圖像產(chǎn)生方法的概況的圖。如圖2所示，在這種情況下，關(guān)于基層中多個基準(zhǔn)面的圖像執(zhí)行濾波以產(chǎn)生增強層中的當(dāng)前塊(在當(dāng)時的處理目標(biāo)塊)的預(yù)測圖像。
[0075]用這樣的方式，使用時間方向上的分析使得可以比使用空間上采樣濾波器更有效地利用圖像序列中的信號分量。因此，由本發(fā)明的技術(shù)(以下稱為濾波預(yù)測)產(chǎn)生的預(yù)測圖像可以減少預(yù)測殘差，同時具有比通過利用基層中當(dāng)前幀(當(dāng)時的處理目標(biāo)幀)的圖像的現(xiàn)有上轉(zhuǎn)換預(yù)測產(chǎn)生的預(yù)測圖像在空間上更高頻的分量。也就是說，可以減少用于要在增強層中編碼的畫面的代碼量，且可以有助于編碼效率的改善。
[0076]此外，在該濾波預(yù)測中，不參考在時間上不同的幀的增強層中的解碼圖像。因此，可以減少編碼所需的處理量、臨時存儲器容量、從存儲器讀出的信息量等，且可以減少實現(xiàn)所需的成本。此外，還可以減少功耗。
[0077][解碼設(shè)備的配置]
[0078]圖3是圖示根據(jù)本發(fā)明的實施例的解碼設(shè)備I的示例配置的框圖。
[0079]由如下所述的編碼設(shè)備編碼的圖像信息經(jīng)由線纜、網(wǎng)絡(luò)或者可拆卸介質(zhì)輸入到解碼設(shè)備I。壓縮圖像信息的示例包括根據(jù)H.264/SVC標(biāo)準(zhǔn)編碼的圖像信息。
[0080]在SVC中，壓縮圖像信息由多個分辨率的層組成。最低分辨率的層是基層，且比基層更高分辨率的層是增強層。注意，層的數(shù)目是任意的;但是，在下面的描述中，假定壓縮圖像信息由兩個層組成。也就是說，輸入到解碼設(shè)備I的壓縮圖像信息具有基層和一個增強層。
[0081 ]每個幀的壓縮圖像信息被順序地輸入到解碼設(shè)備I。在每個幀中，順序地輸入從低分辨率側(cè)到高分辨率側(cè)的各個層的位流。也就是說，基層中的位流被較早地輸入到解碼設(shè)備I O
[0082]以類似于在基于H.264/AVC標(biāo)準(zhǔn)的壓縮圖像信息的情況下的方式解碼基層中的位流，因此這里省略其說明。在解碼基層中的位流之后，將增強層中的位流輸入到解碼設(shè)備I?；旧希谙挛闹袑⒔忉岅P(guān)于在增強層中的位流的處理。
[0083]存儲緩沖器11順序地存儲作為壓縮圖像信息輸入的位流。在存儲緩沖器11中存儲的信息適當(dāng)?shù)赜蔁o損解碼電路12以特定單元的圖像(比如形成幀的宏塊)為單位讀取。在H.264標(biāo)準(zhǔn)中，還可以以將宏塊進一步劃分所得的塊(比如8 X 8像素或者4 X 4像素的塊)為單位而不是以16 X 16像素的宏塊為單位執(zhí)行處理。
[0084]無損解碼電路12關(guān)于從存儲緩沖器11讀取的圖像執(zhí)行與編碼方案對應(yīng)的解碼處理，比如可變長度解碼處理或者算術(shù)解碼處理。無損解碼電路12將通過執(zhí)行解碼處理獲得的已量化變換系數(shù)輸出到反量化電路13。
[0085]此外，無損解碼電路12基于要解碼的圖像的報頭中包括的標(biāo)識標(biāo)記來識別預(yù)測方法。在判定要解碼的圖像是幀內(nèi)編碼圖像的情況下，無損解碼電路12將存儲在圖像的報頭中的幀內(nèi)預(yù)測模式信息輸出到幀內(nèi)預(yù)測電路22。幀內(nèi)預(yù)測模式信息包括關(guān)于幀內(nèi)預(yù)測的信息，比如用作所述處理單元的塊的大小。
[0086]在判斷要解碼的圖像是幀間編碼信息的情況下，無損解碼電路12將存儲在圖像的報頭中的運動矢量和標(biāo)識標(biāo)記輸出到運動預(yù)測/補償電路21。使用標(biāo)識標(biāo)記識別其中通過幀間預(yù)測產(chǎn)生預(yù)測圖像的預(yù)測模式。例如，以宏塊或者幀為單位設(shè)置標(biāo)識標(biāo)記。
[0087]除單向預(yù)測模式、雙向預(yù)測模式和上轉(zhuǎn)換預(yù)測模式之外，準(zhǔn)備的預(yù)測模式包括用于通過關(guān)于從基層中位于一個或者兩個時間方向上的多個基準(zhǔn)幀提取的運動補償圖像執(zhí)行濾波來產(chǎn)生預(yù)測圖像的濾波預(yù)測模式。
[0088]在下文中，其中從位于一個方向上的多個基準(zhǔn)幀提取的運動補償圖像當(dāng)中一個運動補償圖像中的像素值被設(shè)置為預(yù)測圖像中的像素值的預(yù)測模式被簡單地稱為單向預(yù)測模式。此外，其中從位于兩個方向上的多個基準(zhǔn)幀單獨地提取的運動補償圖像中的像素值的平均值被設(shè)置為預(yù)測圖像中的像素值的預(yù)測模式被簡單地稱為雙向預(yù)測模式。此外，其中將從基層中的當(dāng)前幀提取的運動補償圖像上轉(zhuǎn)換以確定預(yù)測圖像中的像素值的預(yù)測模式被簡單地稱為上轉(zhuǎn)換預(yù)測模式。
[0089]如圖2所示的其中通過執(zhí)行濾波確定預(yù)測圖像中的像素值的預(yù)測的第四模式被稱為濾波預(yù)測模式，該濾波包括關(guān)于從位于基層的一個或者兩個方向上的多個基準(zhǔn)幀提取的每一運動補償圖像的上轉(zhuǎn)換。
[0090]反量化電路13使用與在編碼側(cè)使用的量化方案對應(yīng)的方案關(guān)于從無損解碼電路12提供的已量化變換系數(shù)執(zhí)行反量化。反量化電路13輸出通過執(zhí)行反量化獲得的變換系數(shù)到逆正交變換電路14。
[0091]例如，逆正交變換電路14使用與編碼側(cè)上的正交變換方案(比如離散余弦變換或者Karhunen-Logve變換)對應(yīng)的方案，關(guān)于從反量化電路13提供的變換系數(shù)執(zhí)行四階逆正交變換，并輸出所獲得的圖像到加法器電路15。
[0092]加法器電路15將從逆正交變換電路14提供的解碼圖像與從運動預(yù)測/補償電路21或者從幀內(nèi)預(yù)測電路22經(jīng)由開關(guān)23提供的預(yù)測圖像組合，并輸出合成圖像到解塊濾波器16。
[0093]解塊濾波器16除去從加法器電路15提供的圖像中包括的塊噪聲，并輸出已經(jīng)除去塊噪聲的圖像。從解塊濾波器16輸出的圖像被提供到重排緩沖器17和幀存儲器19。
[0094]重排緩沖器17臨時存儲從解塊濾波器16提供的圖像。重排緩沖器17例如從存儲的每個宏塊的圖像產(chǎn)生單獨的幀，并在將產(chǎn)生的幀輸出到D/A(數(shù)字/模擬)轉(zhuǎn)換器電路18之前以比如顯示次序的某個次序重排產(chǎn)生的幀。
[0095]D/A轉(zhuǎn)換器電路18關(guān)于從重排緩沖器17提供的每一幀執(zhí)行D/A轉(zhuǎn)換，并輸出幀的信號到外部。
[0096]幀存儲器19臨時存儲從解塊濾波器16提供的圖像。存儲在幀存儲器19中的信息被經(jīng)由開關(guān)20提供到運動預(yù)測/補償電路21或者幀內(nèi)預(yù)測電路22。注意，幀存儲器19還存儲在增強層的解碼之前已經(jīng)解碼的基層中的圖像，且存儲的圖像用于增強層的解碼，如下所述。
[0097]開關(guān)20在要通過幀間預(yù)測產(chǎn)生預(yù)測圖像的情況下連接到端子al，且在要通過幀內(nèi)預(yù)測產(chǎn)生預(yù)測圖像的情況下連接到端子bl。開關(guān)20的切換例如由控制電路31控制。
[0098]運動預(yù)測/補償電路21根據(jù)從無損解碼電路12提供的標(biāo)識標(biāo)記確定預(yù)測模式，并根據(jù)預(yù)測模式從存儲在幀存儲器19中的解碼幀當(dāng)中選擇要用作基準(zhǔn)幀的幀。運動預(yù)測/補償電路21基于從無損解碼電路12提供的運動矢量，從形成基準(zhǔn)幀的宏塊當(dāng)中確定與目標(biāo)預(yù)測圖像對應(yīng)的宏塊，并提取所確定的宏塊作為運動補償圖像。運動預(yù)測/補償電路21根據(jù)預(yù)測模式從運動補償圖像中的像素值確定預(yù)測圖像中的像素值，并將已經(jīng)確定了像素值的預(yù)測圖像經(jīng)由開關(guān)23輸出到加法器電路15。
[0099]幀內(nèi)預(yù)測電路22根據(jù)從無損解碼電路12提供的幀內(nèi)預(yù)測模式信息執(zhí)行幀內(nèi)預(yù)測，并產(chǎn)生預(yù)測圖像。幀內(nèi)預(yù)測電路22將產(chǎn)生的預(yù)測圖像經(jīng)由開關(guān)23輸出到加法器電路15。
[0100]開關(guān)23在已經(jīng)由運動預(yù)測/補償電路21產(chǎn)生預(yù)測圖像的情況下連接到端子a2，并在已經(jīng)由幀內(nèi)預(yù)測電路22產(chǎn)生預(yù)測圖像的情況下連接到端子b2。開關(guān)23的切換例如也由控制電路31控制。
[0101]控制電路31例如通過切換開關(guān)20和23的連接來控制解碼設(shè)備I的整體操作。可以由控制電路31執(zhí)行用于處理目標(biāo)圖像的預(yù)測方法的識別。
[0102]圖4是圖示圖3中的無損解碼電路12的主要部分的示例配置的框圖。
[0103]如圖4所示，無損解碼電路12包括預(yù)測判定電路41和解碼處理電路42。預(yù)測判定電路41判斷用于從存儲緩沖器11提供的圖像的預(yù)測方法。預(yù)測判定電路41例如基于要解碼的圖像的報頭中包括的標(biāo)識標(biāo)記來識別預(yù)測方法。注意，預(yù)測判定電路41當(dāng)然可以通過分析位流來識別預(yù)測方法。在這種情況下，可以省略標(biāo)識標(biāo)記，且可以減少壓縮圖像信息的信息量。
[0104]在判斷要解碼的圖像是幀內(nèi)編碼圖像的情況下，預(yù)測判定電路41將存儲在圖像的報頭中的幀內(nèi)預(yù)測模式信息輸出到幀內(nèi)預(yù)測電路22。此外，在判斷要解碼的圖像是幀間編碼信息的情況下，預(yù)測判定電路41將存儲在圖像的報頭中的運動矢量和標(biāo)識標(biāo)記輸出到運動預(yù)測/補償電路21。
[0105]預(yù)測判定電路41進一步將已經(jīng)對其判斷了預(yù)測方法的圖像的位流提供到解碼處理電路42。解碼處理電路42關(guān)于圖像執(zhí)行與編碼方案對應(yīng)的解碼處理，比如可變長度解碼處理或者算術(shù)解碼處理。預(yù)測判定電路41將通過執(zhí)行解碼處理獲得的已量化變換系數(shù)輸出到反量化電路13。
[0106]圖5是圖示圖3中的運動預(yù)測/補償電路的主要部分的示例配置的框圖。
[0107]如圖5所示，運動預(yù)測/補償電路21包括預(yù)測選擇電路51、單向預(yù)測電路61、雙向預(yù)測電路62、上轉(zhuǎn)換預(yù)測電路63和濾波預(yù)測電路64。將從無損解碼電路12(預(yù)測判定電路41)提供的運動矢量和標(biāo)識標(biāo)記輸入到預(yù)測選擇電路51。
[0108]預(yù)測選擇電路51根據(jù)從預(yù)測判定電路41提供的標(biāo)識標(biāo)記選擇預(yù)測模式。在確定要通過單向預(yù)測產(chǎn)生預(yù)測圖像的情況下，預(yù)測選擇電路51輸出運動矢量到單向預(yù)測電路61。此外，在確定要通過雙向預(yù)測產(chǎn)生預(yù)測圖像的情況下，預(yù)測選擇電路51輸出運動矢量到雙向預(yù)測電路62。此外，在確定要通過上轉(zhuǎn)換預(yù)測產(chǎn)生預(yù)測圖像的情況下，預(yù)測選擇電路51輸出為此的指令到上轉(zhuǎn)換預(yù)測電路63。
[0109]此外，在確定要通過濾波預(yù)測產(chǎn)生預(yù)測圖像的情況下，預(yù)測選擇電路51輸出運動矢量到濾波預(yù)測電路64。
[0110]用這樣的方式，為了允許濾波預(yù)測的標(biāo)識，可以將與現(xiàn)有標(biāo)準(zhǔn)中定義的表示單向預(yù)測的值、表示雙向預(yù)測的值和表示上轉(zhuǎn)換預(yù)測的值不同的值設(shè)置為標(biāo)識標(biāo)記的值。
[0111]單向預(yù)測電路61設(shè)置位于增強層中一個時間方向上的多個幀作為基準(zhǔn)幀，并基于運動矢量確定在與預(yù)測圖像對應(yīng)的基準(zhǔn)幀中的宏塊。此外，單向預(yù)測電路61通過從幀存儲器19讀取基準(zhǔn)幀中每一確定的宏塊作為運動補償圖像，并設(shè)置在運動補償圖像之一中的像素值作為預(yù)測圖像中的像素值，來產(chǎn)生預(yù)測圖像。單向預(yù)測電路61輸出所產(chǎn)生的預(yù)測圖像到加法器電路15。由單向預(yù)測電路61執(zhí)行的單向預(yù)測的示例包括以H.264/SVC標(biāo)準(zhǔn)(或者H.264標(biāo)準(zhǔn))定義的單向預(yù)測。
[0112]雙向預(yù)測電路62設(shè)置位于增強層中兩個時間方向上的多個幀作為基準(zhǔn)幀，并基于運動矢量確定在與預(yù)測圖像對應(yīng)的基準(zhǔn)幀中的宏塊。此外，雙向預(yù)測電路62通過從幀存儲器19讀取基準(zhǔn)幀中每一確定的宏塊作為運動補償圖像，并設(shè)置在讀取運動補償圖像中的像素值的平均值作為預(yù)測圖像中的像素值，來產(chǎn)生預(yù)測圖像。雙向預(yù)測電路62輸出所產(chǎn)生的預(yù)測圖像到加法器電路15。由雙向預(yù)測電路62執(zhí)行的雙向預(yù)測的示例包括以H.264/SVC標(biāo)準(zhǔn)(或者H.264標(biāo)準(zhǔn))定義的雙向預(yù)測。
[0113]如圖1所示，上轉(zhuǎn)換預(yù)測電路63將基層中的當(dāng)前幀設(shè)置為基準(zhǔn)幀。上轉(zhuǎn)換預(yù)測電路63從基層中的基準(zhǔn)幀提取在與增強層中的當(dāng)前幀中的處理目標(biāo)宏塊相同位置處的宏塊。也就是說，上轉(zhuǎn)換預(yù)測電路63從幀存儲器19讀取與處理目標(biāo)宏塊對應(yīng)的基層中基準(zhǔn)幀的宏塊。所提取的宏塊是基層中的宏塊，因此具有比處理目標(biāo)宏塊更低的分辨率。上轉(zhuǎn)換預(yù)測電路63上轉(zhuǎn)換基層中提取的宏塊以產(chǎn)生處理目標(biāo)宏塊的預(yù)測圖像。
[0114]上轉(zhuǎn)換預(yù)測電路63輸出所產(chǎn)生的預(yù)測圖像到加法器電路15。由上轉(zhuǎn)換預(yù)測電路63執(zhí)行的雙向預(yù)測的示例包括以H.264/SVC標(biāo)準(zhǔn)定義的上轉(zhuǎn)換預(yù)測。
[0115]如圖2所示，濾波預(yù)測電路64確定位于基層中的一個或者兩個時間方向上的多個幀作為基準(zhǔn)幀。可以預(yù)先確定或者可以由與標(biāo)識標(biāo)記一起從編碼側(cè)發(fā)送的信息指定哪個幀用作基準(zhǔn)幀。例如，關(guān)于當(dāng)前幀的時間上在前的幀和進一步在前的幀(即，兩個幀)可以被設(shè)置為基準(zhǔn)幀。此外，例如，關(guān)于當(dāng)前幀的時間上在前的幀和在后的幀(即，兩個幀)可以被設(shè)置為基準(zhǔn)幀。當(dāng)然，其他幀可以用作基準(zhǔn)幀。
[0116]濾波預(yù)測電路64基于從預(yù)測選擇電路51提供的運動矢量，確定與預(yù)測圖像對應(yīng)的以上述方式確定的基層中的基準(zhǔn)幀的宏塊。濾波預(yù)測電路64從幀存儲器19讀取基準(zhǔn)幀的每一確定的宏塊作為運動補償圖像。注意，可以以宏塊進一步劃分所得的塊為單位代替以16X 16像素等的宏塊為單位來確定運動矢量。
[0117]運動補償圖像是基層中的圖像，因此具有比增強層中的處理目標(biāo)宏塊更低的分辨率。濾波預(yù)測電路64使用運動補償圖像作為輸入執(zhí)行涉及上轉(zhuǎn)換的濾波，并輸出通過執(zhí)行濾波而獲得的預(yù)測圖像到加法器電路15。預(yù)測圖像已經(jīng)被上轉(zhuǎn)換為增強層中的宏塊的分辨率。
[0118]濾波預(yù)測電路64輸出所產(chǎn)生的預(yù)測圖像到加法器電路15。
[0119]圖6是圖示圖5中的濾波預(yù)測電路64的主要部分的示例配置的框圖。在具有圖6中的配置的濾波預(yù)測電路64中，關(guān)于時域中的信號執(zhí)行濾波。
[0120]如圖6所示，濾波預(yù)測電路64包括提取電路71和濾波電路72。提取電路71基于從預(yù)測選擇電路51提供的信息指定基層中的基準(zhǔn)幀，并從基層中的基準(zhǔn)幀提取運動補償圖像(例如，運動補償圖像MCO和運動補償圖像MCl)。
[0121]用于識別用于本發(fā)明的多個低分辨率圖像的一個可想到的方式是利用基層中的流中的信號而不添加新的信號。
[0122]也就是說，該方法是兩個圖像用作隨后的濾波處理的輸入，其中第一輸入是在當(dāng)時的低分辨率圖像中的空間上相同位置的解碼圖像，且第二輸入是已經(jīng)用于時間預(yù)測的時間上過去或未來的低分辨率圖像。
[0123]就是說，在這種情況下，提取電路71提取在與增強層中的處理目標(biāo)宏塊相同的位置處的基層中當(dāng)前幀的宏塊作為一個運動補償圖像，并使用已經(jīng)用于基層中宏塊的解碼的運動矢量來進一步提取另一運動補償圖像。該技術(shù)的優(yōu)點是不向流添加新的信號，這對于編碼效率是有益的。
[0124]此時，在低分辨率圖像的情況下，關(guān)于多個基準(zhǔn)幀的信息用于解碼，具體地說，在正在執(zhí)行雙向預(yù)測等的情況下，全部預(yù)測圖像可以用作第二和第三輸入。
[0125]通常，使用具有高相關(guān)性的時間信息越多，則作為隨后的濾波處理的結(jié)果可以產(chǎn)生的分辨率越高。因此，上述方法是有效的。
[0126]此外，為了通過濾波處理更精確地產(chǎn)生高分辨率圖像，還可以使用新編碼一個或者多個運動矢量的方法。
[0127]就是說，在這種情況下，對于增強層的解碼，編碼與用于基層的解碼的運動矢量分離的新的運動矢量。在該方法中，新的信號被添加到流;但是，增加增強層的預(yù)測精度使得可以減少增強層中的殘差信號。因此，該方法就編碼效率而言是有效的。
[0128]提取電路71以上述方式指定運動補償圖像MCO和運動補償圖像MCl，并從幀存儲器19獲取關(guān)于它們的信息。提取電路71將提取的運動補償圖像MCO和運動補償圖像MCl提供到濾波電路72。
[0129]濾波電路72關(guān)于提供的運動補償圖像MCO和運動補償圖像MCl執(zhí)行涉及上轉(zhuǎn)換的濾波，并產(chǎn)生預(yù)測圖像。就是說，濾波電路72利用運動補償圖像中包括的時間方向上的相關(guān)性對于高頻分量執(zhí)行用于補償由提取電路71提取的多個運動補償圖像的濾波處理，以產(chǎn)生具有比運動補償圖像更高分辨率的預(yù)測圖像。已經(jīng)補償了用這樣的方式產(chǎn)生的預(yù)測圖像的高頻分量。因此，改善了預(yù)測精度。因此，改善了編碼效率。
[0130]如圖6所示，濾波電路72包括差別計算電路81、上轉(zhuǎn)換電路82、低通濾波器電路83、增益調(diào)節(jié)電路84、高通濾波器電路85、增益調(diào)節(jié)電路86、加法器電路87、上轉(zhuǎn)換電路88和加法器電路89。
[0131]將從提取電路71提供的運動補償圖像MCO輸入到差別計算電路81和上轉(zhuǎn)換電路88，且將運動補償圖像MCl輸入到差別計算電路81。
[0132]在要通過單向預(yù)測產(chǎn)生預(yù)測圖像的情況下，例如，從接近于當(dāng)前幀的基準(zhǔn)幀RO提取的圖像可以被認(rèn)為具有比預(yù)測圖像更高的相關(guān)性，其用作運動補償圖像MC0，且從遠(yuǎn)離當(dāng)前幀的基準(zhǔn)幀Rl提取的圖像用作運動補償圖像MCI。從基準(zhǔn)幀RO提取的圖像可以被設(shè)計為用作運動補償圖像MCl，且從基準(zhǔn)幀Rl提取的圖像可以被設(shè)計為用作運動補償圖像MC0。
[0133]此外，在要通過雙向預(yù)測產(chǎn)生預(yù)測圖像的情況下，例如，從在前的基準(zhǔn)幀LO提取的圖像用作運動補償圖像MC0，且從在后的基準(zhǔn)幀LI提取的圖像用作運動補償圖像MCI。從基準(zhǔn)幀LO提取的圖像可以被設(shè)計以用作運動補償圖像MCl，且從基準(zhǔn)幀LI提取的圖像可以被設(shè)計以用作運動補償圖像MC0。
[0134]差別計算電路81例如使用以下公式(I)計算運動補償圖像MCO和運動補償圖像MCl之間的差別，并輸出差別圖像D到上轉(zhuǎn)換電路82。
[0135]D(i, j)=A(i, j)-B(i, j)...(I)
[0136]在公式(I)中，(i，j)表示運動補償圖像中像素的相對位置。例如，在配置以16X16像素的宏塊為單位執(zhí)行處理的情況下，設(shè)置0<i<16和OS j<16。這類似地適用于以下描述。
[0137]上轉(zhuǎn)換電路82關(guān)于由差別計算電路81計算的差別圖像D執(zhí)行分辨率轉(zhuǎn)換。分辨率轉(zhuǎn)換比率基于基層的空間分辨率與增強層的空間分辨率的比率。例如，在基層的分辨率是ηXm[像素Kn和m是整數(shù))而增強層的分辨率是NXM[像素](Ν和M是整數(shù)，其中Ν>η且M>m)的情況下，水平方向上的放大倍率H_Scale和垂直方向上的放大倍率V_Scale由公式(2)和公式(3)給出。
[0138]H_Scale = N/n...(2)
[0139]V_Scale=M/m...(3)
[0140]上轉(zhuǎn)換電路82將已經(jīng)用這樣的方式經(jīng)歷了分辨率轉(zhuǎn)換(已經(jīng)上變換)的差別圖像D7輸出到低通濾波器電路83。
[0141]低通濾波器電路83包括FIR濾波器電路。低通濾波器電路83將低通濾波器應(yīng)用于從上轉(zhuǎn)換電路82提供的差別圖像D'，并輸出所獲得的圖像到增益調(diào)節(jié)電路84和高通濾波器電路85。作為通過將應(yīng)用低通濾波器而獲得的圖像的差別圖像D"由如下公式(4)表示。
[0142]D〃=LPF(D, )...(4)
[0143]在公式(4)中，LPF(X)表示使用二維FIR濾波器的低通濾波器到輸入圖像X的應(yīng)用。
[0144]增益調(diào)節(jié)電路84調(diào)節(jié)從低通濾波器電路83提供的差別圖像D"的增益，并輸出已調(diào)節(jié)增益的圖像到加法器電路87。如果設(shè)置O彡i彡16 X H_ScaIe并設(shè)置O彡j彡16 X V_Scale，則增益調(diào)節(jié)電路84的輸出圖像X(I，J)由如下公式(5)表示。
[0145]X(IJ)=CaZ(IJ)...(5)
[0146]高通濾波器電路85包括FIR濾波器電路。高通濾波器電路85將高通濾波器應(yīng)用于從低通濾波器電路83提供的差別圖像D"，并將所獲得的圖像輸出到增益調(diào)節(jié)電路86。作為通過應(yīng)用高通濾波器獲得的圖像的差別圖像D"'由如下公式(6)表示。
[0147]=HPF(D7r)...(6)
[0148]在公式(6)中，HPF(X)表示使用二維FIR濾波器關(guān)于輸入圖像對丸行高通濾波處理。
[0149]增益調(diào)節(jié)電路86調(diào)節(jié)從高通濾波器電路85提供的差別圖像的增益，并將已調(diào)節(jié)增益的圖像輸出到加法器電路87。增益調(diào)節(jié)電路86的輸出圖像Y(I，J)由如下公式(7)表不O
[0150]Y(IJ)=PDm--G)
[0151 ] 作為公式(5)中的值α和公式(7)中的值β，例如，選擇比如α = 0.8和β = 0.2的值。但是，可以使用其它值以增加預(yù)測像素的精度。此外，可以根據(jù)輸入序列的性質(zhì)等自適應(yīng)地改變值。
[0152]加法器電路87將已調(diào)節(jié)增益圖像X(I，J)和圖像Y(I，J)相加，并輸出通過相加獲得的圖像。加法器電路87的輸出圖像Z(I，J)由以下公式(8)表示。
[0153]Z(I，J)=X(I，J)+Y(I，J)...(8)
[0154]輸出圖像Z(I，J)是可以從運動補償圖像MCO和運動補償圖像MCl之間的差別，SP，相關(guān)性確定的圖像的高頻分量的表示。
[0155]上轉(zhuǎn)換電路88關(guān)于運動補償圖像MCO執(zhí)行分辨率轉(zhuǎn)換。與上轉(zhuǎn)換電路82的情況的類似，分辨率轉(zhuǎn)換比率基于基層的空間分辨率與增強層的空間分辨率的比率。就是說，水平方向上的放大倍率11_5(^1 e和垂直方向上的放大倍率￥_5(^1 e由以上公式(2)和公式(3)給出。上轉(zhuǎn)換電路88輸出作為以上述方式經(jīng)歷分辨率轉(zhuǎn)換(上變換)的運動補償圖像MCO的圖1fA7到加法器電路89。
[0156]加法器電路89將從加法器電路87提供的輸出圖像Z(I，J)與從上轉(zhuǎn)換電路88提供的圖像Y相加，并輸出所獲得的圖像到加法器電路15作為預(yù)測圖像。最后從加法器電路89輸出的預(yù)測圖像S(I，J)由如下公式(9)表示。
[0157]8(1,1)=^(1,1)+2(1,1)...(9)
[0158]用這樣的方式，根據(jù)濾波預(yù)測模式，表示高頻分量并通過上轉(zhuǎn)換基層中的圖像而產(chǎn)生的圖像與通過上轉(zhuǎn)換運動補償圖像MCO而獲得的圖像相加。由此，產(chǎn)生預(yù)測圖像。
[0159]通過以如上的濾波預(yù)測模式產(chǎn)生預(yù)測圖像，解碼設(shè)備I可以獲得包括比通過上轉(zhuǎn)換基層中的當(dāng)前幀的圖像而獲得的上轉(zhuǎn)換預(yù)測中的預(yù)測圖像更多高頻分量的預(yù)測圖像。此夕卜，因為當(dāng)從多個運動補償圖像產(chǎn)生預(yù)測圖像時以如上所述的方式執(zhí)行濾波，所以解碼設(shè)備I可以獲得包括比簡單地將多個運動補償圖像的各個像素的平均值作為每一像素值的預(yù)測圖像更多高頻分量的預(yù)測圖像。
[0160]此外，要參考的圖像的分辨率小于用于其中通過參考增強層中的幀來產(chǎn)生預(yù)測圖像的幀間預(yù)測的圖像的分辨率。因此，不需要在幀存儲器19中保存增強層中的高分辨率圖像或者從幀存儲器19讀取它們。此外，例如，就像運動矢量，在增強層的解碼時可以使用在基層的解碼時的信息。因此，可以減少用于壓縮圖像信息的代碼量。就是說，解碼設(shè)備I可以改善壓縮效率。
[0161]用這樣的方式，解碼設(shè)備I可以改善編碼效率同時防止負(fù)荷增加。
[0162][解碼處理的流程的解釋]
[0163]接下來，將解釋具有上述配置的解碼設(shè)備I的處理。首先，將參考圖7中的流程圖解釋用于增強層的解碼處理的流程的示例。與用于基層的解碼處理的情況類似，基本上使用符合H.264標(biāo)準(zhǔn)的方法來執(zhí)行用于增強層的解碼。
[0164]在這點上，用于增強層的解碼處理與用于基層的解碼處理或者H.264標(biāo)準(zhǔn)的很大不同在于，存在其中基層中的圖像同時用于產(chǎn)生預(yù)測圖像的模式。此外，在應(yīng)用本發(fā)明的用于增強層的解碼處理的情況下，添加使用時間上與當(dāng)前幀同時或者與當(dāng)前幀不同時間的基層中的多個圖像用于增強層的解碼的功能。
[0165]例如，當(dāng)由無損解碼電路12從在存儲緩沖器11中存儲的信息讀取比如16X16像素的宏塊的某個大小的圖像時開始圖9中的處理。與另一步驟的處理并行地或通過重新安排步驟來適當(dāng)?shù)貓?zhí)行圖9中每個步驟的處理。這類似地適用于如下所述的每個流程圖中每個步驟的處理。
[0166]在步驟SI，無損解碼電路12關(guān)于從存儲緩沖器11讀取的圖像開始無損解碼處理。無損解碼處理的細(xì)節(jié)將如下所述。無損解碼電路12將使用無損解碼處理產(chǎn)生的已量化變換系數(shù)輸出到反量化電路13。此外，無損解碼電路12在要解碼的圖像是幀內(nèi)編碼圖像的情況下輸出幀內(nèi)預(yù)測模式信息到幀內(nèi)預(yù)測電路22，并在無損解碼處理中圖像是幀間編碼圖像的情況下輸出運動矢量和標(biāo)識標(biāo)記到運動預(yù)測/補償電路21。
[0167]在步驟S2，反量化電路13使用與在編碼側(cè)使用的量化方案對應(yīng)的方案執(zhí)行反量化，并輸出變換系數(shù)到逆正交變換電路14。在步驟S3，逆正交變換電路14關(guān)于從反量化電路13提供的變換系數(shù)執(zhí)行逆正交變換，并輸出所獲得的圖像到加法器電路15。
[0168]在步驟S4，加法器電路15組合從逆正交變換電路14提供的解碼圖像和從運動預(yù)測/補償電路21或者幀內(nèi)預(yù)測電路22提供的預(yù)測圖像，并輸出合成圖像到解塊濾波器16。在步驟S5，解塊濾波器16執(zhí)行濾波以除去合成圖像中包括的塊噪聲，并輸出已經(jīng)從其除去塊噪聲的圖像。在步驟S6，幀存儲器19臨時地存儲從解塊濾波器16提供的圖像。此外，此時，還在重排緩沖器17中保持圖像。
[0169]在步驟S7，控制電路31判斷是否已經(jīng)關(guān)于一整個幀中的宏塊執(zhí)行了前述處理。在判斷還沒有執(zhí)行處理的情況下，關(guān)注另一宏塊，且重復(fù)地執(zhí)行從步驟SI開始的處理。
[0170]此外，在步驟S7判斷已經(jīng)關(guān)于一整個幀中的宏塊執(zhí)行處理的情況下，處理進行到步驟S8。在步驟S8，重排緩沖器17根據(jù)控制電路31的控制輸出產(chǎn)生的幀到D/Α轉(zhuǎn)換器電路18。
[0171]在步驟S9，D/A轉(zhuǎn)換器電路18關(guān)于從重排緩沖器17提供的幀執(zhí)行D/Α轉(zhuǎn)換，并輸出模擬信號到外部。關(guān)于每個幀執(zhí)行前述處理。
[0172]接下來，將參考圖8中的流程圖解釋無損解碼處理的流程的示例。
[0173]當(dāng)開始無損解碼處理時，在步驟S21，預(yù)測判定電路41參考從存儲緩沖器11提供的壓縮圖像信息的報頭。在步驟S22，預(yù)測判定電路41基于報頭中包括的指示由編碼設(shè)備指定的預(yù)測模式的信息來判斷是否要執(zhí)行幀內(nèi)預(yù)測。在已經(jīng)由編碼設(shè)備指定幀內(nèi)預(yù)測模式的情況下，處理進行到步驟S23。
[0174]在步驟S23，幀內(nèi)預(yù)測電路22執(zhí)行幀內(nèi)預(yù)測以產(chǎn)生預(yù)測圖像，并將預(yù)測圖像提供到加法器電路15。預(yù)測圖像與在圖7中的步驟S4從逆正交變換電路14提供的解碼圖像組合。
[0175]當(dāng)完成步驟S23的處理時，處理進行到步驟S29。此外，如果在步驟S22判斷不執(zhí)行幀內(nèi)預(yù)測，則處理進行到步驟S24。
[0176]在步驟S24，預(yù)測判定電路41基于報頭中包括的指示由編碼設(shè)備指定的預(yù)測模式的信息來判斷是否要執(zhí)行上轉(zhuǎn)換預(yù)測。在已經(jīng)由編碼設(shè)備指定上轉(zhuǎn)換預(yù)測模式的情況下，處理進行到步驟S25。
[0177]在步驟S25，運動預(yù)測/補償電路21的上轉(zhuǎn)換預(yù)測電路63執(zhí)行上轉(zhuǎn)換預(yù)測以產(chǎn)生預(yù)測圖像，并提供預(yù)測圖像到加法器電路15。預(yù)測圖像與在圖7中的步驟S4從逆正交變換電路14提供的解碼圖像組合。
[0178]當(dāng)完成步驟S25的處理時，處理進行到步驟S29。此外，在步驟S24判斷不執(zhí)行上轉(zhuǎn)換預(yù)測的情況下，處理進行到步驟S26。
[0179]在步驟S26，預(yù)測判定電路41基于報頭中包括的指示由編碼設(shè)備指定的預(yù)測模式的信息來判斷是否要執(zhí)行幀間預(yù)測。在已經(jīng)由編碼設(shè)備指定幀間預(yù)測模式的情況下，處理進行到步驟S27。
[0180]在步驟S27，運動預(yù)測/補償電路21的單向預(yù)測電路61或者雙向預(yù)測電路62執(zhí)行幀間預(yù)測(單向預(yù)測或者雙向預(yù)測)以產(chǎn)生預(yù)測圖像，并提供預(yù)測圖像到加法器電路15。預(yù)測圖像與在圖7中的步驟S4從逆正交變換電路14提供的解碼圖像組合。
[0181]當(dāng)完成步驟S27的處理時，處理進行到步驟S29。此外，在步驟S26判斷已經(jīng)由編碼設(shè)備指定濾波預(yù)測模式且不執(zhí)行幀間預(yù)測的情況下，處理進行到步驟S28。
[0182]在步驟S28，運動預(yù)測/補償電路21的濾波預(yù)測電路64基于報頭中包括的指示濾波預(yù)測模式的信息而執(zhí)行濾波預(yù)測以產(chǎn)生預(yù)測圖像，并提供預(yù)測圖像到加法器電路15。預(yù)測圖像與在圖7中的步驟S4從逆正交變換電路14提供的解碼圖像組合。當(dāng)完成步驟S28的處理時，處理進行到步驟S29。
[0183]在步驟S29，解碼處理電路42解碼壓縮圖像信息的殘差信號，并輸出已量化變換系數(shù)到反量化電路13。當(dāng)完成步驟S29的處理時，無損解碼處理結(jié)束。然后，處理返回到圖7中的步驟SI，且執(zhí)行步驟S2之后的處理。
[0184]注意，已經(jīng)解釋了基于要在步驟S21參考的壓縮圖像信息的報頭中包括的信息選擇預(yù)測模式。但是，這不是限制性的，且預(yù)測判定電路41可以配置為能夠例如通過分析壓縮圖像信息的位流來選擇適當(dāng)?shù)念A(yù)測模式。在這種情況下，在步驟S21，代替參考報頭，預(yù)測判定電路41分析壓縮圖像信息，并在步驟S22和后續(xù)步驟的處理中基于分析結(jié)果選擇預(yù)測模式。
[0185]接下來，將參考圖9中的流程圖解釋圖8中的步驟S28的處理中執(zhí)行的濾波預(yù)測處理的流程的示例。
[0186]當(dāng)開始濾波預(yù)測處理時，在步驟S41，提取電路71從當(dāng)前幀或者基層中的基準(zhǔn)幀提取運動補償圖像。在步驟S42，差別計算電路81計算運動補償圖像之間的差別。在步驟S43，上轉(zhuǎn)換電路82上變換在步驟S42計算的運動補償圖像之間的差別。在步驟S44，低通濾波器電路83將低通濾波器應(yīng)用于在步驟S43上變換的差別。
[0187]在步驟S45，增益調(diào)節(jié)電路84將在步驟S44的處理中的低通濾波器的輸出乘以系數(shù)α以執(zhí)行增益調(diào)節(jié)。在步驟S46，高通濾波器電路85將高通濾波器應(yīng)用于在步驟S44的處理中低通濾波器的輸出。在步驟S47，增益調(diào)節(jié)電路86將在步驟S46的處理中高通濾波器的輸出乘以系數(shù)β以執(zhí)行增益調(diào)節(jié)。
[0188]在步驟S48，加法器電路87將在步驟S45的處理中低通濾波器的已調(diào)節(jié)增益的輸出與在步驟S47的處理中高通濾波器的已調(diào)節(jié)增益的輸出相加以確定高頻分量。
[0189]在步驟S49，上轉(zhuǎn)換電路88上變換從基層提取的運動補償圖像MC0。在步驟S50，加法器電路89將在步驟S48確定的高頻分量與在步驟S49上變換的運動補償圖像相加以產(chǎn)生預(yù)測圖像。加法器電路89提供所產(chǎn)生的預(yù)測圖像到加法器電路15。
[0190]當(dāng)完成步驟S50的處理時，濾波預(yù)測處理結(jié)束。然后，處理返回到圖8中的步驟S28，且執(zhí)行步驟S29之后的處理。
[0191]如上，使用通過濾波預(yù)測產(chǎn)生的預(yù)測圖像執(zhí)行解碼，因此可以獲得高清晰度的解碼圖像而不增加處理負(fù)荷。就是說，解碼設(shè)備I可以改善編碼效率同時防止負(fù)荷增加。
[0192]注意，已經(jīng)解釋了由同一解碼設(shè)備I執(zhí)行基層的解碼和增強層的解碼。但是，這不是限制性的，且可以由不同的解碼設(shè)備I執(zhí)行兩個層的解碼。在這點上，同樣在這種情況下，幀存儲器19對全部解碼設(shè)備是公共的，且基層中的幀可以配置為在增強層的解碼時讀取。
[0193]〈2.第二實施例〉
[0194][編碼設(shè)備的配置]
[0195]圖10是圖示應(yīng)用本發(fā)明的編碼設(shè)備的主要部分的示例配置的框圖。編碼設(shè)備101是與圖3中的解碼設(shè)備I對應(yīng)的編碼設(shè)備。就是說，將通過由編碼設(shè)備101執(zhí)行編碼而獲得的壓縮圖像信息輸入到圖3中的解碼設(shè)備I。
[0196]編碼設(shè)備101包括Α/D轉(zhuǎn)換器電路111、重排緩沖器112、加法器電路113、正交變換電路114、量化電路115、無損編碼電路116和存儲緩沖器117。編碼設(shè)備101進一步包括比率控制電路118、反量化電路119、逆正交變換電路120、解塊濾波器121、幀存儲器122和模式確定電路123。此外，編碼設(shè)備101包括開關(guān)124、運動預(yù)測/補償電路125、幀內(nèi)預(yù)測電路126、開關(guān)127和控制電路131。
[0197]圖像信息被分為兩層(或者多于兩層的多層)，即，低分辨率基層和高分辨率增強層，且低分辨率的基層中每幀的圖像信息被較早地提供到編碼設(shè)備101并編碼。以與H.264標(biāo)準(zhǔn)的情況下的方式類似的方式執(zhí)行基層的編碼。當(dāng)完成基層的編碼時，由編碼設(shè)備101編碼增強層中的圖像信息。將在下文中解釋增強層的編碼。
[0198]Α/D轉(zhuǎn)換器電路111關(guān)于輸入信號執(zhí)行Α/D轉(zhuǎn)換，并輸出圖像到重排緩沖器112。重排緩沖器112根據(jù)壓縮圖像信息的GOP(畫面組)結(jié)構(gòu)重排幀，并輸出比如宏塊之類的某個單元的圖像。從重排緩沖器112輸出的圖像被提供到加法器電路113、模式確定電路123、運動預(yù)測/補償電路125和幀內(nèi)預(yù)測電路126。
[0199]加法器電路113確定從重排緩沖器112提供的圖像和由運動預(yù)測/補償電路125或者幀內(nèi)預(yù)測電路126產(chǎn)生并經(jīng)由開關(guān)127提供的預(yù)測圖像之間的差別，并輸出殘差到正交變換電路114。預(yù)測圖像越接近原始圖像且這里確定的殘差的數(shù)量越小，則要分配給殘差的代碼量越小，因此可以說編碼效率越高。
[0200]正交變換電路114關(guān)于從加法器電路113提供的殘差執(zhí)行正交變換，比如離散余弦變換或者Karhunen-Logve變換，并將通過執(zhí)行正交變換獲得的變換系數(shù)輸出到量化電路115。
[0201 ]量化電路115根據(jù)比率控制電路118的控制來量化從正交變換電路114提供的變換系數(shù)，并輸出已量化變換系數(shù)。由量化電路115量化的變換系數(shù)被提供到無損編碼電路116和反量化電路119。
[0202]無損編碼電路116通過執(zhí)行比如可變長度編碼或者算術(shù)編碼之類的無損編碼，來壓縮從量化電路115提供的變換系數(shù)，并輸出信息到存儲緩沖器117。
[0203]此外，無損編碼電路116根據(jù)從模式確定電路123提供的信息設(shè)置標(biāo)識標(biāo)記的值，并在圖像的報頭中描述標(biāo)識標(biāo)記。如上所述，解碼設(shè)備I基于由無損編碼電路116描述的標(biāo)識標(biāo)記來確定預(yù)測模式。
[0204]無損編碼電路116還在圖像的報頭中描述從運動預(yù)測/補償電路125或者幀內(nèi)預(yù)測電路126提供的信息。從運動預(yù)測/補償電路125提供當(dāng)執(zhí)行幀間預(yù)測時檢測的運動矢量等，且從幀內(nèi)預(yù)測電路126提供關(guān)于應(yīng)用的幀內(nèi)預(yù)測模式的信息。
[0205]存儲緩沖器117臨時地存儲從無損編碼電路116提供的信息，并在某個定時將其作為壓縮圖像信息輸出。存儲緩沖器117輸出關(guān)于產(chǎn)生的代碼量的信息到比率控制電路118。
[0206]比率控制電路118基于從存儲緩沖器117輸出的代碼量計算量化比例，并控制量化電路115以使得可以以計算的量化比例來執(zhí)行量化。
[0207]反量化電路119關(guān)于由量化電路115量化的變換系數(shù)執(zhí)行反量化，并輸出變換系數(shù)到逆正交變換電路120。
[0208]逆正交變換電路120關(guān)于從反量化電路119提供的變換系數(shù)執(zhí)行逆正交變換，并輸出所獲得的圖像到解塊濾波器121。
[0209]解塊濾波器121除去在本地解碼的圖像中出現(xiàn)的塊噪聲，并將已經(jīng)從其除去塊噪聲的圖像輸出該幀存儲器122。
[0210]幀存儲器122存儲從解塊濾波器121提供的圖像。存儲在幀存儲器122中的圖像由模式確定電路123適當(dāng)?shù)刈x取。
[0211]模式確定電路123基于存儲在幀存儲器122中的圖像和從重排緩沖器112提供的原始圖像，確定要執(zhí)行幀內(nèi)編碼或者要執(zhí)行幀間編碼。此外，在判斷要執(zhí)行幀間編碼的情況下，模式確定電路123確定單向預(yù)測模式、雙向預(yù)測模式、上轉(zhuǎn)換預(yù)測模式和濾波預(yù)測模式當(dāng)中的一個模式。模式確定電路123將指示確定結(jié)果的信息作為模式信息輸出到無損編碼電路116。
[0212]在判斷要執(zhí)行幀間編碼的情況下，模式確定電路123將存儲在幀存儲器122中并通過本地解碼獲得的幀經(jīng)由開關(guān)124輸出到運動預(yù)測/補償電路125。
[0213]此外，在判斷要執(zhí)行幀內(nèi)編碼的情況下，模式確定電路123將存儲在幀存儲器122中并通過本地解碼而獲得的幀輸出到幀內(nèi)預(yù)測電路126。
[0214]開關(guān)124在要執(zhí)行幀間編碼的情況下連接到端子all，并在要執(zhí)行幀內(nèi)編碼的情況下連接到端子bll。開關(guān)124的切換例如由控制電路131控制。
[0215]運動預(yù)測/補償電路125基于從重排緩沖器112提供的原始圖像和從幀存儲器122讀取的基準(zhǔn)幀來檢測運動矢量，并輸出檢測到的運動矢量到無損編碼電路116。此外，運動預(yù)測/補償電路125通過使用檢測到的運動矢量和基準(zhǔn)幀執(zhí)行運動補償來產(chǎn)生預(yù)測圖像，并經(jīng)由開關(guān)127輸出所產(chǎn)生的預(yù)測圖像到加法器電路113。
[0216]幀內(nèi)預(yù)測電路126基于從重排緩沖器112提供的原始圖像和本地解碼并存儲在幀存儲器122中的基準(zhǔn)幀來執(zhí)行幀內(nèi)預(yù)測，并產(chǎn)生預(yù)測圖像。幀內(nèi)預(yù)測電路126經(jīng)由開關(guān)127輸出所產(chǎn)生的預(yù)測圖像到加法器電路113，并輸出幀內(nèi)預(yù)測模式信息到無損編碼電路116。
[0217]開關(guān)127連接到端子al2或者端子bl2，并將由運動預(yù)測/補償電路125或者幀內(nèi)預(yù)測電路126產(chǎn)生的預(yù)測圖像輸出到加法器電路113。
[0218]控制電路131例如通過根據(jù)由模式確定電路123確定的模式切換開關(guān)124和127的連接來控制編碼設(shè)備101的總體操作。
[0219]圖11是圖示圖10中的模式確定電路123的主要部分的示例配置的框圖。
[0220]如圖11所示，模式確定電路123包括幀內(nèi)預(yù)測電路141、單向預(yù)測電路142、雙向預(yù)測電路143、上轉(zhuǎn)換預(yù)測電路144、濾波預(yù)測電路145、預(yù)測誤差計算電路146和確定電路147。
[0221]在模式確定電路123中，關(guān)于具有不同尺寸的塊執(zhí)行幀內(nèi)預(yù)測和幀間預(yù)測中的每一個，并根據(jù)獲得的結(jié)果確定要執(zhí)行哪個預(yù)測模式預(yù)測。對于幀間預(yù)測，以每一預(yù)測模式(gp，單向預(yù)測模式、雙向預(yù)測模式、上轉(zhuǎn)換預(yù)測模式和濾波預(yù)測模式)執(zhí)行處理。
[0222]幀內(nèi)預(yù)測電路141、單向預(yù)測電路142、雙向預(yù)測電路143、上轉(zhuǎn)換預(yù)測電路144和濾波預(yù)測電路145使用各個方法執(zhí)行預(yù)測以基于原始圖像和從幀存儲器122讀取的圖像產(chǎn)生預(yù)測圖像，并輸出所產(chǎn)生的預(yù)測圖像到預(yù)測誤差計算電路146。
[0223]幀內(nèi)預(yù)測電路141使用與解碼設(shè)備I的幀內(nèi)預(yù)測電路22的方法類似的方法來執(zhí)行幀內(nèi)預(yù)測。單向預(yù)測電路142檢測運動矢量，基于所檢測的運動矢量從基準(zhǔn)幀提取運動補償圖像，并使用運動補償圖像執(zhí)行單向預(yù)測以產(chǎn)生預(yù)測圖像。就是說，單向預(yù)測電路142基于所檢測的運動矢量，使用與解碼設(shè)備I的單向預(yù)測電路61的方法類似的方法產(chǎn)生預(yù)測圖像。
[0224]雙向預(yù)測電路143檢測運動矢量，基于所檢測的運動矢量從基準(zhǔn)幀提取運動補償圖像，并使用運動補償圖像執(zhí)行雙向預(yù)測以產(chǎn)生預(yù)測圖像。就是說，雙向預(yù)測電路143基于所檢測的運動矢量，使用與解碼設(shè)備I的雙向預(yù)測電路62的方法類似的方法產(chǎn)生預(yù)測圖像。
[0225]上轉(zhuǎn)換預(yù)測電路144將在與增強層中當(dāng)前幀的處理目標(biāo)宏塊相同位置的基層中當(dāng)前幀的宏塊設(shè)置為運動補償圖像，并上變換運動補償圖像以產(chǎn)生增強層中的預(yù)測圖像。就是說，上轉(zhuǎn)換預(yù)測電路144使用與解碼設(shè)備I的上轉(zhuǎn)換預(yù)測電路63的方法類似的方法來產(chǎn)生預(yù)測圖像。
[0226]濾波預(yù)測電路145檢測基層中的運動矢量，基于所檢測的運動矢量從基準(zhǔn)幀提取基層中的運動補償圖像，并使用基層中的運動補償圖像執(zhí)行濾波預(yù)測以產(chǎn)生預(yù)測圖像。就是說，濾波預(yù)測電路145基于所檢測的運動矢量，使用與解碼設(shè)備I的濾波預(yù)測電路145的方法類似的方法產(chǎn)生預(yù)測圖像。
[0227]注意，幀內(nèi)預(yù)測電路141到濾波預(yù)測電路145例如以4X4像素的塊、8 X 8像素的塊和16 X 16像素的塊為單位檢測運動矢量或者執(zhí)行預(yù)測。用作處理單位的塊的大小是任意的。此外，要關(guān)于其執(zhí)行預(yù)測的塊的類型的數(shù)目也是任意的。幀內(nèi)預(yù)測電路141到濾波預(yù)測電路145對于每個塊產(chǎn)生預(yù)測圖像，并輸出所產(chǎn)生的各個預(yù)測圖像到預(yù)測誤差計算電路146。
[0228]將從重排緩沖器112提供的原始圖像輸入到幀內(nèi)預(yù)測電路141到濾波預(yù)測電路145并輸入到預(yù)測誤差計算電路146。
[0229]預(yù)測誤差計算電路146確定從幀內(nèi)預(yù)測電路141中的各個電路提供的每一預(yù)測圖像和原始圖像之間的差別，并輸出表示所確定的差別的殘差信號到確定電路147。類似地，預(yù)測誤差計算電路146確定從單向預(yù)測電路142、雙向預(yù)測電路143、上轉(zhuǎn)換預(yù)測電路144和濾波預(yù)測電路145提供的每一預(yù)測圖像和原始圖像之間的差別，并輸出表示所確定的差別的殘差號到確定電路147。
[0230]確定電路147測量從預(yù)測誤差計算電路146提供的殘差信號的強度，并將已經(jīng)用于產(chǎn)生具有與原始圖像小的差別的預(yù)測圖像的預(yù)測方法確定為用于產(chǎn)生要用于編碼的預(yù)測圖像的預(yù)測方法。確定電路147輸出表示確定結(jié)果的信息到無損編碼電路116作為模式信息。模式信息還包括表示要用作處理單位的塊的大小的信息，等等。
[0231]此外，在確定要通過幀間預(yù)測產(chǎn)生預(yù)測圖像的情況下(在確定要執(zhí)行幀間編碼的情況下)，確定電路147與模式信息一起將從幀存儲器122讀取的基準(zhǔn)幀輸出到運動預(yù)測/補償電路125。在確定要通過幀內(nèi)預(yù)測產(chǎn)生預(yù)測圖像的情況下(在確定要執(zhí)行幀內(nèi)編碼的情況下)，確定電路147將從幀存儲器122讀取的用于幀內(nèi)預(yù)測的圖像與模式信息一起輸出到幀內(nèi)預(yù)測電路126。
[0232]圖12是圖示圖10中的運動預(yù)測/補償電路125的主要部分的示例配置的框圖。
[0233]如圖12所示，運動預(yù)測/補償電路125包括運動矢量檢測電路151、單向預(yù)測電路152、雙向預(yù)測電路153、上轉(zhuǎn)換預(yù)測電路154和濾波電路155。除了提供運動矢量檢測電路151代替預(yù)測選擇電路51之外，運動預(yù)測/補償電路125具有與如圖5所示的運動預(yù)測/補償電路21類似的配置。
[0234]運動矢量檢測電路151通過基于從重排緩沖器112提供的原始圖像和從模式確定電路123提供的基準(zhǔn)幀執(zhí)行塊匹配等來檢測運動矢量。運動矢量檢測電路151參考從模式確定電路123提供的模式信息，并輸出基準(zhǔn)幀到單向預(yù)測電路152到濾波預(yù)測電路155之一。此夕卜，運動矢量檢測電路151還適當(dāng)?shù)貙⑦\動矢量輸出到基準(zhǔn)幀要輸出的目的地。
[0235]運動矢量檢測電路151在已經(jīng)選擇單向預(yù)測的情況下，將運動矢量與基準(zhǔn)幀一起輸出到單向預(yù)測電路152，并在已經(jīng)選擇要執(zhí)行雙向預(yù)測的情況下將這些信息輸出到雙向預(yù)測電路153。此外，在已經(jīng)選擇上轉(zhuǎn)換預(yù)測的情況下，運動矢量檢測電路151將作為基準(zhǔn)幀的基層中當(dāng)前幀的圖像輸出到上轉(zhuǎn)換預(yù)測電路154。此外，在已經(jīng)選擇濾波預(yù)測的情況下，運動矢量檢測電路151將運動矢量與基層中的基準(zhǔn)幀一起輸出到濾波預(yù)測電路155。
[0236]單向預(yù)測電路152通過與圖5中的單向預(yù)測電路61類似地執(zhí)行單向預(yù)測來產(chǎn)生預(yù)測圖像。單向預(yù)測電路152將所產(chǎn)生的預(yù)測圖像輸出到加法器電路113。雙向預(yù)測電路153通過與圖5中的雙向預(yù)測電路62類似地執(zhí)行雙向預(yù)測來產(chǎn)生預(yù)測圖像。雙向預(yù)測電路153將所產(chǎn)生的預(yù)測圖像輸出到加法器電路113。上轉(zhuǎn)換預(yù)測電路154通過與圖5中的上轉(zhuǎn)換預(yù)測電路63類似地執(zhí)行上轉(zhuǎn)換預(yù)測來產(chǎn)生預(yù)測圖像。上轉(zhuǎn)換預(yù)測電路154將所產(chǎn)生的預(yù)測圖像輸出到加法器電路113。
[0237]濾波預(yù)測電路155通過與圖5中的濾波預(yù)測電路64類似地從基層中的多個基準(zhǔn)幀中的每一個提取運動補償圖像，并關(guān)于多個提取的運動補償圖像執(zhí)行涉及上轉(zhuǎn)換的濾波預(yù)測來產(chǎn)生預(yù)測圖像。濾波預(yù)測電路155將所產(chǎn)生的預(yù)測圖像輸出到加法器電路113。注意，濾波預(yù)測電路155具有與如圖6所示的濾波預(yù)測電路64的配置類似的配置。在下文中，將適當(dāng)?shù)赝ㄟ^參考如圖6所示的濾波預(yù)測電路64的配置來解釋濾波預(yù)測電路155的配置。
[0238]通過濾波預(yù)測產(chǎn)生的預(yù)測圖像可以是包括比通過單向預(yù)測、雙向預(yù)測或者上轉(zhuǎn)換預(yù)測產(chǎn)生的預(yù)測圖像更多高頻分量并具有與原始圖像小的差別的圖像。因此，濾波預(yù)測僅需要將少量代碼分配給殘差，由此使得可以增加編碼效率。此外，在濾波預(yù)測中，基準(zhǔn)幀的分辨率比其中參考增強層中的幀的單向預(yù)測或者雙向預(yù)測的情況下的分辨率更低，造成比如在幀存儲器122中保存基準(zhǔn)幀和從幀存儲器122讀取基準(zhǔn)幀之類的處理的小的負(fù)荷。就是說，通過使用濾波預(yù)測，編碼設(shè)備101可以改善編碼效率同時防止編碼或者解碼的負(fù)荷增加。
[0239]此外，可以使用至少兩個基準(zhǔn)幀執(zhí)行濾波預(yù)測。因此，使得這種編碼效率的增加是可行的而不增加處理的復(fù)雜性。例如，還可以通過增加要在幀間預(yù)測中使用的基準(zhǔn)幀的數(shù)目以產(chǎn)生高精度預(yù)測圖像并通過使用該預(yù)測圖像，來減少與原始圖像的殘差并增加編碼效率。但是，在這種情況下，使用的基準(zhǔn)幀的數(shù)目增加，且處理的復(fù)雜性增加。
[0240]注意，當(dāng)選擇預(yù)測方法時，可以通過考慮用于預(yù)測所需的比如運動矢量的信息的代碼量和編碼方式，并通過將與代碼量對應(yīng)的權(quán)重加到殘差信號的強度來選擇最佳預(yù)測方法。這使得可以進一步改進編碼效率。此外，對于簡化的編碼處理，可以利用在時間和空間方向上的輸入原始圖像的特征值來自適應(yīng)地選擇預(yù)測方法。
[0241 ][編碼處理的流程的說明]
[0242]接下來，將解釋具有上述配置的編碼設(shè)備101的處理。
[0243]將參考圖13中的流程圖解釋由編碼設(shè)備101執(zhí)行的用于增強層的編碼處理。當(dāng)從重排緩沖器112輸出比如宏塊的某個單元的圖像時開始該處理。注意，如上所述，用于基層的編碼處理類似于基于H.264要求的方法且因此省略其說明。
[0244]在步驟SlOl，加法器電路113確定從重排緩沖器112提供的圖像和由運動預(yù)測/補償電路125或者幀內(nèi)預(yù)測電路126產(chǎn)生的預(yù)測圖像之間的差別，并輸出殘差到正交變換電路114。
[0245]在步驟S102，正交變換電路114關(guān)于從加法器電路113提供的殘差執(zhí)行正交變換，并輸出變換系數(shù)到量化電路115。
[0246]在步驟S103，量化電路115量化從正交變換電路114提供的變換系數(shù)，并輸出已量化變換系數(shù)。
[0247]在步驟S104，反量化電路119關(guān)于由量化電路115量化的變換系數(shù)執(zhí)行反量化，并輸出變換系數(shù)到逆正交變換電路120。
[0248]在步驟S105，逆正交變換電路120關(guān)于從反量化電路119提供的變換系數(shù)執(zhí)行逆正交變換，并輸出所獲得的圖像到解塊濾波器121。
[0249]在步驟S106，解塊濾波器121通過執(zhí)行濾波除去塊噪聲，并輸出已經(jīng)從其除去塊噪聲的圖像到幀存儲器122。
[0250 ]在步驟S107，幀存儲器122存儲從解塊濾波器121提供的圖像。
[0251]在步驟S108，模式確定電路123執(zhí)行模式確定處理。通過該模式確定處理，確定要以哪個預(yù)測模式產(chǎn)生預(yù)測圖像。模式確定處理的細(xì)節(jié)將如下所述。
[0252]在步驟S109，運動預(yù)測/補償電路125或者幀內(nèi)預(yù)測電路126以在步驟S108確定的模式產(chǎn)生預(yù)測圖像。在步驟SlOl的處理中使用該預(yù)測圖像。
[0253]在步驟S110，無損編碼電路116壓縮從量化電路115提供的變換系數(shù)，并將壓縮的變換系數(shù)輸出到存儲緩沖器117。此外，無損編碼電路116根據(jù)從模式確定電路123提供的信息，在圖像的報頭中描述標(biāo)識標(biāo)記或者在圖像的報頭中描述從運動預(yù)測/補償電路125提供的運動矢量。
[0254]在步驟SI11，存儲緩沖器117臨時存儲從無損編碼電路116提供的信息。
[0255]在步驟S112，控制電路31判斷是否已經(jīng)關(guān)于一整個幀中的宏塊執(zhí)行了前述處理。在判斷還沒有執(zhí)行處理的情況下，關(guān)注另一宏塊，且重復(fù)地執(zhí)行從步驟SlOl開始的處理。
[0256]相對地，在步驟SI12判斷已經(jīng)關(guān)于一整個幀中的宏塊執(zhí)行了處理的情況下，然后在步驟S113，存儲緩沖器117根據(jù)控制電路131的控制輸出壓縮圖像信息。關(guān)于每個幀執(zhí)行上述處理。
[0257]接下來，將參考圖14的流程圖解釋在圖13的步驟S108中執(zhí)行的模式確定處理。
[0258]在步驟S131，幀內(nèi)預(yù)測電路141到濾波預(yù)測電路145中的每一個關(guān)于具有不同尺寸的塊執(zhí)行幀內(nèi)預(yù)測或者幀間預(yù)測，并產(chǎn)生預(yù)測圖像。將所產(chǎn)生的預(yù)測圖像提供到預(yù)測誤差計算電路146。
[0259]在步驟S132，預(yù)測誤差計算電路146確定原始圖像和從幀內(nèi)預(yù)測電路141到濾波預(yù)測電路145提供的每一預(yù)測圖像之間的差別。預(yù)測誤差計算電路146輸出殘差信號到確定電路 147。
[0260]在步驟S133，確定電路147基于從預(yù)測誤差計算電路146提供的殘差信號的強度，確定用于產(chǎn)生要提供到加法器電路113的預(yù)測圖像的預(yù)測方法。
[0261]在步驟S134，確定電路147輸出作為關(guān)于確定的預(yù)測方法的模式信息到無損編碼電路116。此后，處理返回到圖13中的步驟S108，并執(zhí)行后續(xù)處理。
[0262]接下來，將參考圖15中的流程圖解釋用于通過執(zhí)行濾波預(yù)測產(chǎn)生預(yù)測圖像的濾波預(yù)測處理的流程的示例，作為在圖13中的步驟S109執(zhí)行的用于產(chǎn)生預(yù)測圖像的處理的例子。[0263 ]如上所述，在圖13中的步驟S109，使用在步驟S108的模式確定處理中確定的模式產(chǎn)生預(yù)測圖像。因此，在步驟S108確定濾波預(yù)測模式的情況下，在步驟S109，執(zhí)行如圖15所示的濾波預(yù)測處理。
[0264]當(dāng)開始濾波預(yù)測處理時，在步驟S151，運動矢量檢測電路151基于原始圖像和基準(zhǔn)幀來檢測運動矢量。
[0265]當(dāng)檢測到運動矢量時，分別以類似于圖9中的步驟S41到S50的處理的方式，使用所檢測的運動矢量執(zhí)行步驟S152到S161的處理。就是說，基于運動矢量以基層中的基準(zhǔn)幀產(chǎn)生運動補償圖像，并關(guān)于運動補償圖像執(zhí)行涉及上轉(zhuǎn)換的濾波處理以產(chǎn)生增強層中的預(yù)測圖像。
[0266]當(dāng)完成步驟S161的處理時，濾波預(yù)測處理結(jié)束。然后，處理返回到圖13中的步驟S109，且執(zhí)行步驟SllO之后的處理。
[0267]注意，在步驟S108的處理中選擇不同模式的情況下，運動預(yù)測/補償電路125或者幀內(nèi)預(yù)測電路126使用所選的不同模式產(chǎn)生預(yù)測圖像。根據(jù)H.264/SVC標(biāo)準(zhǔn)執(zhí)行上述處理，并因此省略其說明。
[0268]如上所述，通過更有效地利用運動圖像中的信號序列中包括的時間相關(guān)性來執(zhí)行考慮空間可縮放性的編碼，因此例如使得能夠改善編碼效率同時防止比如編碼和解碼之類的處理的負(fù)荷增加。
[0269]〈3.第三實施例〉
[0270][解碼處理的概述]
[0271]圖16是解釋應(yīng)用本發(fā)明的解碼處理的概述的另一示例的圖。如圖16所示，基準(zhǔn)幀的數(shù)目可以是三個或更多。
[0272]在圖16中的示例中，關(guān)于當(dāng)前幀的時間上在前的幀、進一步在前的幀和更進一步在前的幀(即，三個幀(1^抑、1?#1、1?#2))被設(shè)置為基準(zhǔn)幀。關(guān)于當(dāng)前幀的在前幀被設(shè)置為基準(zhǔn)幀RefO，關(guān)于基準(zhǔn)幀RefO的在前幀被設(shè)置為基準(zhǔn)幀Refl，且關(guān)于基準(zhǔn)幀Refl的在前幀被設(shè)置為基準(zhǔn)幀Ref2。
[0273][濾波電路的配置]
[0274]圖17是圖示在這種參考三個幀的情況下圖6中的濾波電路的示例配置的框圖。
[0275]如圖17所示，濾波電路211包括濾波電路221和濾波電路222。濾波電路221和濾波電路222中的每一個具有如圖6所示的配置。也就是說，濾波電路211被配置以通過級聯(lián)連接用于兩輸入和一輸出設(shè)計的濾波電路72，而作為三輸入和一輸出電路工作。
[0276]注意，此時，提取電路71從三個基準(zhǔn)幀(1^抑、1^€1、1^€2)中的每一個提取運動補償圖像。就是說，例如，提取電路71從基準(zhǔn)幀RefO提取運動補償圖像MC0。此外，例如，提取電路71從基準(zhǔn)幀Refl提取運動補償圖像MCI。此外，例如，提取電路71從基準(zhǔn)幀Ref 2提取運動補償圖像MC2。
[0277]運動補償圖像MCl和MC2輸入到濾波電路221，且運動補償圖像MCO輸入到濾波電路222。
[0278]濾波電路221在圖6等中分別使用運動補償圖像MCl和MC2作為運動補償圖像MCO和MCl來執(zhí)行濾波，并將作為濾波結(jié)果的中間輸出X輸出到濾波電路222。
[0279]濾波電路221在圖6等中分別使用中間輸出X和運動補償圖像MCO作為運動補償圖像MCO和MCl來執(zhí)行濾波，并輸出濾波結(jié)果作為預(yù)測圖像。
[0280]代替濾波電路72，處理這三個基準(zhǔn)幀的濾波電路211還可以在圖3中的解碼設(shè)備I或者圖10中的編碼設(shè)備101中提供。
[0281]注意，濾波電路221和濾波電路222可以不必具有相同配置，且可以具有不同配置。此外，還可以通過考慮在濾波之前和之后獲得的輸入/輸出特性，而使得用于濾波器的參數(shù)(例如，α，β)彼此不同。
[0282]濾波電路211可以不關(guān)于從位于一個時間方向上的基準(zhǔn)幀提取的運動補償圖像而是關(guān)于從位于前向和后向上的三個基準(zhǔn)幀提取的運動補償圖像執(zhí)行濾波。
[0283]注意，在關(guān)于當(dāng)前幀的時間的在前和在后幀用作基準(zhǔn)幀的情況下，比如濾波期間的抽頭系數(shù)(tap coefficient)之類的參數(shù)可以根據(jù)時間方向或者基準(zhǔn)幀的距離而動態(tài)地改變。
[0284]壓縮圖像信息被經(jīng)由包括記錄介質(zhì)的各種介質(zhì)(比如光盤、磁盤、和閃存、衛(wèi)星廣播、有線電視、因特網(wǎng)和移動電話網(wǎng)絡(luò))從編碼設(shè)備101發(fā)送到解碼設(shè)備I。
[0285]注意，已經(jīng)解釋了在增強層的編碼和解碼的情況下，從基層中的基準(zhǔn)幀提取運動補償圖像。但是，可以從基層以外的任意層提取運動補償圖像。
[0286]例如，假定壓縮圖像信息形成具有第一層到第三層的三層結(jié)構(gòu)，其中第一層是作為具有最低分辨率的層的基層，第二層是具有第二低的分辨率的層，且第三層是具有最高分辨率的層。在這種情況下，在第三層的濾波預(yù)測中，可以從不是基層的第二層中的基準(zhǔn)幀提取運動補償圖像。當(dāng)然，可以從作為基層的第一層中的基準(zhǔn)幀提取運動補償圖像。
[0287]〈4.第四實施例〉
[0288][解碼處理的概述]
[0289]此外，也可以從與其中要產(chǎn)生預(yù)測圖像的層相同的層中的基準(zhǔn)幀提取運動補償圖像。例如，在如上所述的三層結(jié)構(gòu)的情況下，在第三層的濾波預(yù)測中，可以從第三層中的基準(zhǔn)幀提取低分辨率的運動補償圖像。
[0290]圖18是解釋在這種情況下的解碼處理的概述的圖。
[0291]在如圖18所示的示例的情況下，基準(zhǔn)幀RefO和基準(zhǔn)幀RefI是與預(yù)測圖像的幀相同的增強層中的幀。在這點上，從各個基準(zhǔn)幀提取的運動補償圖像的分辨率低于預(yù)測圖像的分辨率。
[0292]例如，與符合H.264標(biāo)準(zhǔn)的現(xiàn)有方法類似，與增強層中的基準(zhǔn)幀中的處理目標(biāo)宏塊對應(yīng)的位置(范圍)由運動矢量指定，以特定數(shù)目抽取(dec imate)該范圍中的像素值，并提取運動補償圖像。此外，例如，與符合H.264標(biāo)準(zhǔn)的現(xiàn)有方法類似，與增強層中的基準(zhǔn)幀中的處理目標(biāo)宏塊對應(yīng)的位置由運動矢量指定，且提取以該位置為中心并小于處理目標(biāo)宏塊的大小的范圍作為運動補償圖像。當(dāng)然，可以使用任何其他方法。
[0293]就是說，要提取的運動補償圖像的分辨率可以低于預(yù)測圖像的分辨率，且為此的提取方法是任意的。此外，可以從任何層提取運動補償圖像。
[0294]用這樣的方式提取的低分辨率運動補償圖像以類似于如上所述的其他情況的方式經(jīng)歷包括上轉(zhuǎn)換的濾波處理，且產(chǎn)生具有要求的分辨率的預(yù)測圖像。
[0295]僅僅要從其產(chǎn)生運動補償圖像的層不同，且在這種情況下編碼設(shè)備I的配置基本上類似于在參考圖3到圖6解釋的情況中的配置。在這點上，幀存儲器19保持在增強層中的幀，且提取電路71從幀存儲器19讀取增強層中的圖像。
[0296][解碼處理的流程的解釋]
[0297]因此，也以基本上與參考圖7和圖8的流程圖解釋的情況中的方式類似的方式執(zhí)行解碼處理和無損解碼處理的流程。將參考圖19中的流程圖解釋在這種情況下由濾波預(yù)測電路64執(zhí)行的濾波預(yù)測處理的流程。該流程圖對應(yīng)于圖9中的流程圖。
[0298]當(dāng)開始濾波預(yù)測處理時，在步驟S341，提取電路71從增強層中的基準(zhǔn)幀提取在低分辨率的運動補償圖像。分別以與圖9中步驟S42到S50的處理中的方式類似的方式執(zhí)行步驟S342到S350的處理，且以與圖9的情況下的方式類似的方式產(chǎn)生預(yù)測圖像。
[0299]當(dāng)完成步驟S350的處理時，濾波預(yù)測處理結(jié)束。然后，處理返回到圖8中的步驟S28，且處理進行到步驟S29。
[0300]用這樣的方式，即使在從增強層中的幀提取運動補償圖像的情況下，解碼設(shè)備I可以通過更有效地利用運動圖像中的信號序列中包括的時間相關(guān)性來產(chǎn)生高分辨率和高精度的預(yù)測圖像，且可以改善編碼效率。此外，因為可以使得運動補償圖像具有比預(yù)測圖像更低的分辨率，例如，解碼設(shè)備I可以減少要從幀存儲器讀取的圖像信息量，且可以改善編碼效率同時防止比如編碼和解碼之類的處理的負(fù)荷增加。
[0301 ][編碼處理的流程的說明]
[0302]注意，與在這種情況下的解碼設(shè)備I對應(yīng)的編碼設(shè)備101的配置基本上類似于在參考圖10到圖12解釋的情況下的配置。在這點上，幀存儲器122保持增強層中的幀，且模式確定處理123從幀存儲器19讀取增強層中的圖像。
[0303]即使在這種情況下，與圖11和圖12的情況類似，模式確定處理123的濾波預(yù)測電路145和運動預(yù)測/補償電路125的濾波預(yù)測電路155的配置也與如圖6所示的濾波預(yù)測電路64的配置類似。在這點上，與解碼設(shè)備I的情況類似，提取電路71從增強層中的幀提取運動補償圖像。
[0304]因此，以基本上與參考圖13和圖14中的流程圖解釋的情況下的方式類似的方式執(zhí)行編碼處理或者模式確定處理的流程。將參考圖20中的流程圖解釋在這種情況下由濾波預(yù)測電路155執(zhí)行的濾波預(yù)測處理的流程。該流程圖對應(yīng)于圖15中的流程圖。
[0305]當(dāng)開始濾波預(yù)測處理時，在步驟S451，與圖15中的步驟S151的情況類似，運動矢量檢測電路151檢測運動矢量。在步驟S452，提取電路71從增強層中的基準(zhǔn)幀提取在低分辨率的運動補償圖像。分別以與圖15中的步驟S153到S161的處理類似的方式執(zhí)行步驟S453到S461的處理，且以與圖15中的方式類似的方式產(chǎn)生預(yù)測圖像。
[0306]當(dāng)完成步驟S461的處理時，濾波預(yù)測處理結(jié)束。然后，處理返回到圖13中的步驟S109，且處理進行到步驟SI 10。
[0307]用這樣的方式，即使在從增強層中的幀提取運動補償圖像的情況下，編碼設(shè)備101可以通過更有效地利用運動圖像中的信號序列中包括的時間相關(guān)性來產(chǎn)生高分辨率和高精度的預(yù)測圖像，且可以改善編碼效率。此外，因為可以使得運動補償圖像具有比預(yù)測圖像更低的分辨率，例如，編碼設(shè)備101可以減少要從幀存儲器讀取的圖像信息量，且可以改善編碼效率同時防止比如編碼和解碼之類的處理的負(fù)荷增加。
[0308]也就是說，上述方法還可以應(yīng)用于使用不考慮空間可縮放性的單層結(jié)構(gòu)來編碼和解碼圖像信息的情況。就是說，上述方法還可以應(yīng)用于以H.264/AVC標(biāo)準(zhǔn)的編碼和解碼。
[0309]注意，如上所述，當(dāng)提取運動補償圖像時，可以將分辨率調(diào)節(jié)為低分辨率。因此，可以以多個層執(zhí)行運動補償圖像的提取。在這點上，濾波預(yù)測處理需要確定運動補償圖像之間的差別。因此，到此時，需要使得各個運動補償圖像的分辨率彼此匹配。
[0310]可以通過硬件或者軟件執(zhí)行如上所述的一系列處理。在這種情況下，一系列處理可以實現(xiàn)為例如如圖21所示的個人計算機。
[0311 ] 在圖21中，個人計算機500的CPU(中央處理單元)501根據(jù)存儲在ROM(只讀存儲器)502中的程序或者根據(jù)從存儲單元513載入RAM(隨機存取存儲器)503中的程序執(zhí)行各種處理。RAM 503還適當(dāng)?shù)卮鎯PU 501執(zhí)行各種處理所需的數(shù)據(jù)等。
[0312]CPU 50KROM 502和RAM 503經(jīng)由總線504彼此連接。輸入/輸出接口510還連接到總線504。
[0313]包括鍵盤、鼠標(biāo)等的輸入單元511、包括比如CRT(陰極射線管)顯示器或者LCD(液晶顯示器)之類的顯示器、揚聲器等的輸出單元512、由硬盤等組成的存儲單元513和由調(diào)制解調(diào)器等組成的通信單元514連接到輸入/輸出接口 510。通信單元514經(jīng)由包括因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。
[0314]驅(qū)動器515也根據(jù)需要連接到輸入/輸出接口 510，且比如磁盤、光盤、磁光盤或者半導(dǎo)體存儲器之類的可拆卸介質(zhì)521適當(dāng)?shù)馗接隍?qū)動器515。從可拆卸介質(zhì)521讀取的計算機程序根據(jù)需要安裝到存儲單元513中。
[0315]在通過軟件執(zhí)行如上所述的一系列處理的情況下，從網(wǎng)絡(luò)或者記錄介質(zhì)安裝構(gòu)成軟件的程序。
[0316]如圖21所示，記錄介質(zhì)不僅由例如與設(shè)備主體分開地分布以傳送程序給用戶并具有在其上記錄的程序的可拆卸介質(zhì)521 (比如磁盤(包括軟盤)、光盤(包括⑶-ROM(致密盤-只讀存儲器)和DVD(數(shù)字多用途盤))、磁光盤(包括MD(微型盤))或者半導(dǎo)體存儲器)組成，而且可以由以預(yù)先并入設(shè)備主體的狀態(tài)分發(fā)給用戶并具有在其上記錄的程序的ROM 502、存儲單元513中包括的硬盤等組成。
[0317]注意，由計算機執(zhí)行的程序可以是其中根據(jù)在這里描述的次序以時間序列方式執(zhí)行處理的程序，或者可以是其中并行執(zhí)行處理或者在比如調(diào)用時的所需定時執(zhí)行處理的程序。
[0318]此外，如在這里使用的，描述記錄在記錄介質(zhì)上的程序的步驟當(dāng)然包括以在這里描述的次序以時間序列方式執(zhí)行的處理，且還包括作為不必以時間序列方式而是并行或者單獨地執(zhí)行的處理。
[0319]此外，如在這里使用的，術(shù)語系統(tǒng)是指由多個裝置(設(shè)備)構(gòu)成的總體設(shè)備。
[0320]此外，上述作為單個設(shè)備(或者處理單元)的配置可以被劃分以構(gòu)造多個設(shè)備(或者處理單元)。相反地，上述作為多個設(shè)備(或者處理單元)的配置可以集中以構(gòu)造單個設(shè)備(或者處理單元)。此外，當(dāng)然，除了如上所述的之外的配置可以加到每個設(shè)備(或者每個處理單元)的配置。此外，如果作為整個系統(tǒng)的配置或操作實質(zhì)上相同，則某個設(shè)備(或者處理單元)的配置的一部分可以包括在另一設(shè)備(或者另一處理單元)的配置中。就是說，本發(fā)明的實施例不限于如上所述的實施例，且可以在不脫離本發(fā)明的精神的情況下做出各種改變。
[0321]例如，如上所述的解碼設(shè)備I或者編碼設(shè)備101可以應(yīng)用于任何電子設(shè)備。在下文中將解釋其示例。
[0322]圖22是圖示使用應(yīng)用本發(fā)明的解碼設(shè)備I的電視接收機的主要部分的示例配置的框圖。
[0323]如圖22所示的電視接收機1000包括地面調(diào)諧器1013、視頻解碼器1015、視頻信號處理電路1018、圖形產(chǎn)生電路1019、面板驅(qū)動電路1020和顯示面板1021。
[0324]地面調(diào)諧器1013經(jīng)由天線接收地面模擬廣播的廣播波信號，將其解調(diào)，獲得視頻信號，并將視頻信號提供到視頻解碼器1015。視頻解碼器1015關(guān)于從地面調(diào)諧器1013提供的視頻信號執(zhí)行解碼處理，并將所獲得的數(shù)字分量信號提供到視頻信號處理電路1018。
[0325]視頻信號處理電路1018關(guān)于從視頻解碼器1015提供的視頻數(shù)據(jù)執(zhí)行比如噪聲去除的某個處理，并提供所獲得的視頻數(shù)據(jù)到圖形產(chǎn)生電路1019。
[0326]圖形產(chǎn)生電路1019產(chǎn)生要在顯示面板1021上顯示的節(jié)目的視頻數(shù)據(jù)、通過基于經(jīng)由網(wǎng)絡(luò)等提供的應(yīng)用程序的處理獲得的圖像數(shù)據(jù)等，并將所產(chǎn)生的視頻數(shù)據(jù)或者圖像數(shù)據(jù)提供到面板驅(qū)動電路1020。此外，圖形產(chǎn)生電路1019還適當(dāng)?shù)貓?zhí)行以下處理，比如產(chǎn)生用于顯示由用戶使用以選擇項目等的屏幕的視頻數(shù)據(jù)(圖形)，將其重疊到節(jié)目的視頻數(shù)據(jù)上以獲得視頻數(shù)據(jù)，和將所獲得的視頻數(shù)據(jù)提供到面板驅(qū)動電路1020。
[0327]面板驅(qū)動電路1020基于從圖形產(chǎn)生電路1019提供的數(shù)據(jù)來驅(qū)動顯示面板1021，并使得如上所述的節(jié)目的視頻或者各種屏幕顯示在顯示面板1021上。
[0328]顯示面板1021由LCD(液晶顯示器)等形成，并使得根據(jù)面板驅(qū)動電路1020的控制來顯示節(jié)目等的視頻。
[0329]此外，電視接收機1000還包括音頻Α/D(模擬/數(shù)字)轉(zhuǎn)換器電路1014、音頻信號處理電路1022、回波抵消/音頻合成電路1023、音頻放大器電路1024和揚聲器1025。
[0330]地面調(diào)諧器1013解調(diào)所接收的廣播波信號以獲取視頻信號以及音頻信號。地面調(diào)諧器1013提供所獲取的音頻信號到音頻Α/D轉(zhuǎn)換器電路1014。
[0331]音頻Α/D轉(zhuǎn)換器電路1014關(guān)于從地面調(diào)諧器1013提供的音頻信號執(zhí)行Α/D轉(zhuǎn)換處理，并提供所獲得的數(shù)字音頻信號到音頻信號處理電路1022。
[0332]音頻信號處理電路1022關(guān)于從音頻Α/D轉(zhuǎn)換器電路1014提供的音頻數(shù)據(jù)執(zhí)行比如噪聲去除的某個處理，并提供所獲得的音頻數(shù)據(jù)到回波抵消/音頻合成電路1023。
[0333]回波抵消/音頻合成電路1023將從音頻信號處理電路1022提供的音頻數(shù)據(jù)提供到音頻放大器電路1024。
[0334]音頻放大器電路1024關(guān)于從回波抵消/音頻合成電路1023提供的音頻數(shù)據(jù)執(zhí)行D/A轉(zhuǎn)換處理和放大處理，并在從揚聲器1025輸出音頻之前將其調(diào)節(jié)到某個音量。
[0335]另外，電視接收機1000還包括數(shù)字調(diào)諧器1016和MPEG解碼器1017。
[0336]數(shù)字調(diào)諧器1016經(jīng)由天線接收數(shù)字廣播(地面數(shù)字廣播、BS(廣播衛(wèi)星)/CS(通信衛(wèi)星)數(shù)字廣播)的廣播波信號，將其解調(diào)，獲取MPEG-TS(運動圖像專家組-傳輸流)，并將其提供到MPEG解碼器1017。
[0337]MPEG解碼器1017解擾從數(shù)字調(diào)諧器1016提供的MPEG-TS，并提取包括要再現(xiàn)(要觀看和收聽)的節(jié)目的數(shù)據(jù)的流。MPEG解碼器1017解碼形成所提取的流的音頻分組，并提供所獲得的音頻數(shù)據(jù)到音頻信號處理電路1022。并且，MPEG解碼器1017解碼形成流的視頻分組，并提供所獲得的視頻數(shù)據(jù)到視頻信號處理電路1018。此外，MPEG解碼器1017將從MPEG-TS提取的EPG(電子節(jié)目指南)數(shù)據(jù)經(jīng)由在附圖中未示出的路徑提供到CPU1032。
[0338]電視接收機1000使用如上所述的解碼設(shè)備I作為以上述方式解碼視頻分組的MPEG解碼器1017。注意，已經(jīng)由編碼設(shè)備101編碼從廣播站等發(fā)送的MPEG-TS。
[0339]與解碼設(shè)備I的情況類似，MPEG解碼器1017關(guān)于基層中多個基準(zhǔn)面的圖像執(zhí)行濾波以產(chǎn)生增強層中當(dāng)前塊的預(yù)測圖像。因此，MPEG解碼器1017可以比空間上采樣濾波器更有效地利用圖像序列中的信號分量。因此，預(yù)測圖像可以比通過利用基層中的當(dāng)前幀的圖像的現(xiàn)有的上轉(zhuǎn)換預(yù)測產(chǎn)生的預(yù)測圖像具有空間上更高頻的分量，同時可以減少預(yù)測殘差。就是說，可以減少用于要在增強層中編碼的畫面的代碼量，且可以有助于編碼效率的改口 ο
[0340]此外，在該濾波預(yù)測中，不參考在時間上不同的幀的增強層中的解碼圖像。因此，可以減少編碼所需的處理量、臨時存儲器容量、從存儲器讀出的信息量等，且可以減少實現(xiàn)所需的成本。此外，還可以減少功耗。
[0341]與從視頻解碼器1015提供的視頻數(shù)據(jù)的情況類似，從MPEG解碼器1017提供的視頻數(shù)據(jù)經(jīng)歷視頻信號處理電路1018的某個處理，且由圖形產(chǎn)生電路1019將所產(chǎn)生的視頻數(shù)據(jù)等疊加在其上。所產(chǎn)生的數(shù)據(jù)被經(jīng)由面板驅(qū)動電路1020提供到顯示面板1021，并顯示其圖像。
[0342]與從音頻Α/D轉(zhuǎn)換器電路1014提供的音頻數(shù)據(jù)的情況類似，從MPEG解碼器1017提供的音頻數(shù)據(jù)經(jīng)歷音頻信號處理電路1022的確定處理，被經(jīng)由回波抵消/音頻合成電路1023提供到音頻放大器電路1024，并經(jīng)歷D/Α轉(zhuǎn)換處理或者放大處理。因此，從揚聲器1025輸出其音量已經(jīng)調(diào)節(jié)到某個值的音頻。
[0343]此外，電視接收機1000還包括麥克風(fēng)1026和Α/D轉(zhuǎn)換器電路1027。
[0344]Α/D轉(zhuǎn)換器電路1027接收由在電視接收機1000中提供的麥克風(fēng)1026捕捉到的、用于音頻會話的用戶的音頻的信號，關(guān)于接收的音頻信號執(zhí)行Α/D轉(zhuǎn)換處理，并將獲得的數(shù)字音頻數(shù)據(jù)提供給回波抵消/音頻合成電路1023。
[0345]在已經(jīng)從Α/D轉(zhuǎn)換器電路1027提供電視接收機1000的用戶(用戶A)的音頻數(shù)據(jù)的情況下，回波抵消/音頻合成電路1023關(guān)于用戶A的音頻數(shù)據(jù)執(zhí)行回波抵消，并使得例如通過與其他音頻數(shù)據(jù)組合而獲得的音頻的數(shù)據(jù)經(jīng)由音頻放大器電路1024從揚聲器1025輸出。
[0346]另外，電視接收機1000還包括音頻編解碼器1028、內(nèi)部總線1029、SDRAM(同步動態(tài)隨機存取存儲器)1030、閃存1031、CPU 1032、USB(通用串行總線)I/F 1033和網(wǎng)絡(luò)I/F1034。
[0347]Α/D轉(zhuǎn)換器電路1027接收由在電視接收機1000中提供的麥克風(fēng)1026捕捉的、用于音頻回話的用戶的音頻的信號，關(guān)于接收的音頻信號執(zhí)行Α/D轉(zhuǎn)換處理，并將獲得的數(shù)字音頻數(shù)據(jù)提供給音頻編解碼器1028。
[0348]音頻編解碼器1028將從Α/D轉(zhuǎn)換器電路1027提供的音頻數(shù)據(jù)轉(zhuǎn)換為用于通過網(wǎng)絡(luò)發(fā)送的某個格式的數(shù)據(jù)，并經(jīng)由內(nèi)部總線1029將其提供到網(wǎng)絡(luò)I/F 1034。
[0349]網(wǎng)絡(luò)I/F1034經(jīng)由附于網(wǎng)路端子1035的線纜連接到網(wǎng)絡(luò)。網(wǎng)絡(luò)I/F 1034發(fā)送從音頻編解碼器1028提供的音頻數(shù)據(jù)到例如連接到網(wǎng)絡(luò)的另一設(shè)備。此外，例如，網(wǎng)絡(luò)I/F 1034接收從經(jīng)由網(wǎng)絡(luò)端子1035在網(wǎng)絡(luò)上連接的另一設(shè)備發(fā)送的音頻數(shù)據(jù)，并將其經(jīng)由內(nèi)部總線1029提供到音頻編解碼器1028。
[0350]音頻編解碼器1028將從網(wǎng)絡(luò)I/F1034提供的音頻數(shù)據(jù)轉(zhuǎn)換為某個格式的數(shù)據(jù)，并將其提供到回波抵消/音頻合成電路1023。
[0351]回波抵消/音頻合成電路1023關(guān)于從音頻編解碼器1028提供的音頻數(shù)據(jù)執(zhí)行回波抵消，并使得通過例如與其他音頻數(shù)據(jù)結(jié)合而獲得的音頻的數(shù)據(jù)經(jīng)由音頻放大器電路1024從揚聲器1025輸出。
[0352]SDRAM 1030存儲CPU 1032執(zhí)行處理所需的各種數(shù)據(jù)。
[0353]閃存1031存儲由CPU 1032執(zhí)行的程序。存儲在閃存1031中的程序由CPU 1032在比如啟動電視接收機1000時的某個定時讀取。閃存1031還存儲經(jīng)由數(shù)字廣播獲取的EPG數(shù)據(jù)、經(jīng)由網(wǎng)絡(luò)從某個服務(wù)器獲取的數(shù)據(jù)等。
[0354]例如，閃存1031在CPU1032的控制下存儲包括從在網(wǎng)絡(luò)上的某個服務(wù)器獲取的內(nèi)容數(shù)據(jù)的MPEG-TS。閃存1031通過例如CPU 1032的控制經(jīng)由內(nèi)部總線1029將MPEG-TS提供到MPEG解碼器1017。
[0355 ] MPEG解碼器1017以與從數(shù)字調(diào)諧器1016提供的MPEG-TS的情況下的方式類似的方式處理MPEG-TS ο用這樣的方式，電視接收機1000可以接收由在網(wǎng)絡(luò)上的視頻、音頻等構(gòu)成的內(nèi)容數(shù)據(jù)，使用MPEG解碼器1017解碼內(nèi)容數(shù)據(jù)，顯示內(nèi)容數(shù)據(jù)的視頻，并輸出音頻。
[0356]此外，電視接收機1000還包括接收從遙控器1051發(fā)送的紅外信號的光的光接收單元 1037。
[0357]光接收單元1037從遙控器1051接收紅外光，并將指示通過解調(diào)獲得的用戶操作的內(nèi)容的控制代碼輸出到CPU 1032。
[0358]CPU 1032執(zhí)行存儲在閃存1031中的程序，并根據(jù)從光接收單元1037等提供的控制代碼控制電視接收機1000的總體操作。CPU 1 32經(jīng)由在附圖中未示出的路徑連接到電視接收機1000的每個單元。
[0359]USB I/F 1033發(fā)送數(shù)據(jù)到經(jīng)由附加到USB端子1036的USB線纜連接的電視接收機1000的外部設(shè)備，并從其接收數(shù)據(jù)。網(wǎng)絡(luò)I/F 1034經(jīng)由附加到網(wǎng)絡(luò)端子1035的線纜連接到網(wǎng)絡(luò)，且還將除了音頻數(shù)據(jù)之外的數(shù)據(jù)發(fā)送到連接到網(wǎng)絡(luò)的各種設(shè)備，并從其接收數(shù)據(jù)。
[0360]通過使用解碼設(shè)備I作為MPEG解碼器1017，電視接收機1000能夠在關(guān)于形成流的視頻分組的解碼期間獲得高分辨率解碼圖像而不增加負(fù)荷。就是說，電視接收機1000可以改進編碼效率同時防止負(fù)荷增加。
[0361 ]圖23是圖不使用應(yīng)用本發(fā)明的解碼設(shè)備I和編碼設(shè)備101的移動電話的主要部分的示例配置的框圖。
[0362]如圖23所示的移動電話1100包括被配置以總體地控制各個單元的主控制單元1150、電源電路單元1151、操作輸入控制單元1152、圖像編碼器1153、相機I/F單元1154、IXD控制單元1155、圖像解碼器1156、復(fù)用/解復(fù)用單元1157、記錄/再現(xiàn)單元1162、調(diào)制/解調(diào)電路單元1158和音頻編解碼器1159。它們經(jīng)由總線1160互連。
[0363]此外，移動電話1100包括操作按鍵1119、CXD (電荷耦合器件)相機1116、液晶顯示器1118、存儲單元1123、發(fā)送/接收電路單元1163、天線1114、麥克風(fēng)(mic) 1121和揚聲器1117。
[0364]當(dāng)呼叫結(jié)束且通過用戶操作接通電源按鍵時，電源電路單元1151從電池組提供電能到每個單元，由此啟動移動電話1100從而能夠操作。
[0365]移動電話1100基于由CPU、R0M、RAM等構(gòu)成的主控制單元1150的控制，以比如音頻呼叫模式和數(shù)據(jù)通信模式之類的各種模式執(zhí)行各種操作，比如發(fā)送和接收音頻信號、發(fā)送和接收電子郵件和圖像數(shù)據(jù)、捕捉圖像和記錄數(shù)據(jù)。
[0366]例如，在音頻呼叫模式中，移動電話1100使用音頻編解碼器1159將由麥克風(fēng)(mic)1121收集的音頻信號轉(zhuǎn)換為數(shù)字音頻數(shù)據(jù)，使用調(diào)制/解調(diào)電路單元1158關(guān)于數(shù)字音頻數(shù)據(jù)執(zhí)行擴頻處理，并使用發(fā)送/接收電路單元1163執(zhí)行數(shù)字模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。移動電話1100將通過轉(zhuǎn)換處理獲得的傳輸信號經(jīng)由天線1114發(fā)送到在附圖中未示出的基站。被發(fā)送到基站的傳輸信號(音頻信號)被經(jīng)由公共電話線路網(wǎng)提供到在呼叫的另一端的移動電話。
[0367]此外，例如，在音頻呼叫模式中，移動電話1100使用發(fā)送/接收電路單元1163放大已經(jīng)由天線1114接收的接收信號，進一步執(zhí)行頻率轉(zhuǎn)換處理和模擬數(shù)字轉(zhuǎn)換處理，使用調(diào)制/解調(diào)電路單元1158執(zhí)行逆擴頻處理，并使用音頻編解碼器1159將產(chǎn)生的信號轉(zhuǎn)換為模擬音頻信號。移動電話1100從揚聲器1117輸出通過轉(zhuǎn)換獲得的模擬音頻信號。
[0368]此外，例如，在以數(shù)據(jù)通信模式發(fā)送電子郵件的情況下，移動電話1100使用操作輸入控制單元1152接受通過操作操作按鍵1119輸入的電子郵件的文本數(shù)據(jù)。移動電話1100使用主控制單元1150處理文本數(shù)據(jù)，并經(jīng)由LCD控制單元1155使得產(chǎn)生的數(shù)據(jù)作為圖像顯示在液晶顯示器1118上。
[0369]此外，移動電話1100基于用戶指令等使用主控制單元1150產(chǎn)生基于由操作輸入控制單元1152接受的文本數(shù)據(jù)的電子郵件數(shù)據(jù)。移動電話1100使用調(diào)制/解調(diào)電路單元1158關(guān)于電子郵件數(shù)據(jù)執(zhí)行擴頻處理，并使用發(fā)送/接收電路單元1163執(zhí)行數(shù)字模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。移動電話1100將通過轉(zhuǎn)換處理獲得的傳輸信號經(jīng)由天線1114發(fā)送到在附圖中未示出的基站。發(fā)送到基站的傳輸信號(電子郵件)被經(jīng)由網(wǎng)絡(luò)、郵件服務(wù)器等提供到某個目的地。
[0370]此外，例如，在以數(shù)據(jù)通信模式接收電子郵件的情況下，移動電話1100使用發(fā)送/接收電路單元1163接收經(jīng)由天線1114從基站發(fā)送的信號，將其放大，并進一步執(zhí)行頻率轉(zhuǎn)換處理和模擬數(shù)字轉(zhuǎn)換處理。移動電話1100使用調(diào)制/解調(diào)電路單元1158關(guān)于接收的信號執(zhí)行逆擴頻處理以恢復(fù)初始的電子郵件數(shù)據(jù)。移動電話1100經(jīng)由LCD控制單元1155在液晶顯示器1118上顯示恢復(fù)的電子郵件數(shù)據(jù)。
[0371]注意，移動電話1100還能夠經(jīng)由記錄/再現(xiàn)單元1162在存儲單元1123上記錄(存儲)接收的電子郵件數(shù)據(jù)。
[0372]存儲單元1123是任何可重寫存儲介質(zhì)。例如，存儲單元1123可以是比如RAM或者內(nèi)置閃存的半導(dǎo)體存儲器，或者可以是硬盤，或者比如磁盤、磁光盤、光盤、USB存儲器或者存儲卡之類的可拆卸介質(zhì)。當(dāng)然，可以使用任何其他類型的介質(zhì)。
[0373]另外，例如，在以數(shù)據(jù)通信模式發(fā)送圖像數(shù)據(jù)的情況下，移動電話1100使用CCD相機1116通過捕捉圖像產(chǎn)生圖像數(shù)據(jù)。CXD相機1116包括比如鏡頭和光圈的光學(xué)器件和用作光電轉(zhuǎn)換元件的CCD，捕捉對象的圖像，將接收的光的強度轉(zhuǎn)換為電信號，并產(chǎn)生對象的圖像的圖像數(shù)據(jù)。CXD相機1116經(jīng)由相機I/F單元1154使用圖像編碼器1153編碼圖像數(shù)據(jù)，并將圖像數(shù)據(jù)轉(zhuǎn)換為編碼圖像數(shù)據(jù)。
[0374]移動電話1100使用如上所述的編碼設(shè)備101作為執(zhí)行上述處理的圖像編碼器1153。與編碼設(shè)備101的情況類似地，圖像編碼器1153使用用于產(chǎn)生預(yù)測圖像的濾波預(yù)測。通過此，可以獲得包括比通過單向預(yù)測、雙向預(yù)測或者上轉(zhuǎn)換預(yù)測產(chǎn)生的預(yù)測圖像更多高頻分量并具有與原始圖像小的差別的預(yù)測圖像。因此，可以需要僅將少量代碼分配給殘差，且可以增加編碼效率。因為基準(zhǔn)幀的分辨率低于在其中參考增強層中的幀的單向預(yù)測或者雙向預(yù)測的情況下的分辨率，所以比如在幀存儲器122中保存基準(zhǔn)幀和從幀存儲器122讀取基準(zhǔn)幀之類的處理的負(fù)荷很小。此外，可以使用至少兩個基準(zhǔn)幀執(zhí)行濾波預(yù)測。因此，使得這種編碼效率的增加是可行的而不增加處理的復(fù)雜性。
[0375]注意，此時，移動電話1100在使用CCD相機1116的圖像捕捉期間使用音頻編解碼器1159同時關(guān)于由麥克風(fēng)(mic)1121收集的音頻執(zhí)行模擬數(shù)字轉(zhuǎn)換，并進一步將其編碼。
[0376]移動電話1100使用確定方案，使用復(fù)用/解復(fù)用單元1157復(fù)用從圖像編碼器1153提供的已編碼圖像數(shù)據(jù)和從音頻編解碼器1159提供的數(shù)字音頻數(shù)據(jù)。移動電話1100使用調(diào)制/解調(diào)電路單元1158關(guān)于因此獲得的復(fù)用的數(shù)據(jù)執(zhí)行擴頻處理，并使用發(fā)送/接收電路單元1163執(zhí)行數(shù)字模擬轉(zhuǎn)換處理和頻率轉(zhuǎn)換處理。移動電話1100將通過轉(zhuǎn)換處理獲得的傳輸信號經(jīng)由天線1114發(fā)送到在附圖中未示出的基站。發(fā)送到基站的傳輸信號(圖像數(shù)據(jù))被經(jīng)由網(wǎng)絡(luò)等提供到通信的另一端。
[0377]注意，在不發(fā)送圖像數(shù)據(jù)的情況下，移動電話1100也可以使得使用CXD相機1116產(chǎn)生的圖像數(shù)據(jù)經(jīng)由LCD控制單元1155顯示在液晶顯示器1118上而沒有圖像編碼器1153的介入。
[0378]此外，例如，在要以數(shù)據(jù)通信模式接收具有到簡化的主頁等的鏈接的運動圖像文件的數(shù)據(jù)的情況下，移動電話1100經(jīng)由天線1114使用發(fā)送/接收電路單元1163接收從基站發(fā)送的信號，將其放大，并進一步執(zhí)行頻率轉(zhuǎn)換處理和模擬數(shù)字轉(zhuǎn)換處理。移動電話1100使用調(diào)制/解調(diào)電路單元1158關(guān)于接收的信號執(zhí)行逆擴頻處理以恢復(fù)初始的復(fù)用數(shù)據(jù)。移動電話1100使用復(fù)用/解復(fù)用單元1157解復(fù)用該復(fù)用的數(shù)據(jù)以將其分離為已編碼圖像數(shù)據(jù)和音頻數(shù)據(jù)。
[0379]移動電話1100使用圖像解碼器1156解碼已編碼圖像數(shù)據(jù)以產(chǎn)生再現(xiàn)運動圖像數(shù)據(jù)，并經(jīng)由LCD控制單元1155在液晶顯示器1118上顯示再現(xiàn)運動圖像數(shù)據(jù)。例如，這允許包括在鏈接到簡化的主頁的運動圖像文件中的運動圖像數(shù)據(jù)顯示在液晶顯示器1118上。
[0380]移動電話1100使用如上所述的解碼設(shè)備I作為執(zhí)行上述處理的圖像解碼器1156。就是說，與解碼設(shè)備I的情況類似，圖像解碼器1156關(guān)于基層中多個基準(zhǔn)面的圖像執(zhí)行濾波以產(chǎn)生增強層中當(dāng)前塊的預(yù)測圖像。因此，圖像解碼器1156可以比空間上采樣濾波器更有效地利用圖像序列中的信號分量。因此，預(yù)測圖像可以比通過利用基層中的當(dāng)前幀的圖像的現(xiàn)有的上轉(zhuǎn)換預(yù)測產(chǎn)生的預(yù)測圖像具有空間上更高頻的分量，同時可以減少預(yù)測殘差。就是說，可以減少用于要在增強層中編碼的畫面的代碼量，且可以有助于編碼效率的改善。
[0381]此外，在該濾波預(yù)測中，不參考在時間上不同的幀的增強層中的解碼圖像。因此，可以減少編碼所需的處理量、臨時存儲器容量、從存儲器讀出的信息量等，且可以減少實現(xiàn)所需的成本。此外，還可以減少功耗。
[0382]此時，移動電話1100同時使用音頻編解碼器1159將數(shù)字音頻數(shù)據(jù)轉(zhuǎn)換為模擬音頻信號，并使得其從揚聲器1117輸出。例如，這允許再現(xiàn)包括在鏈接到簡化的主頁的運動圖像文件中的音頻數(shù)據(jù)。
[0383]注意，與電子郵件的情況類似，移動電話1100也能夠使得鏈接到簡化的主頁等的接收的數(shù)據(jù)經(jīng)由記錄/再現(xiàn)單元1162記錄在(存儲在)存儲單元1123上。
[0384]此外，移動電話1100還可以使用主控制單元1150分析由CCD相機1116通過捕捉其圖像而獲得的二維碼，并獲取二維碼中記錄的信息。
[0385]此外，移動電話1100可以使用紅外通信單元1181經(jīng)由紅外光與外部設(shè)備通信。
[0386]移動電話1100使用編碼設(shè)備101作為圖像編碼器1153。因此，例如，通過更有效地利用運動圖像中的信號序列中包括的時間相關(guān)性，實現(xiàn)當(dāng)編碼并發(fā)送由CCD相機1116產(chǎn)生圖像數(shù)據(jù)時考慮空間可縮放性的編碼。由此，例如，可以改進編碼效率同時防止比如編碼和解碼之類的處理負(fù)荷的增加。
[0387]此外，移動電話1100使用解碼設(shè)備I作為圖像解碼器1156，因此使得可以獲得高清晰度的解碼圖像而不增加例如當(dāng)接收鏈接到簡化主頁等的運動圖像文件的數(shù)據(jù)(編碼數(shù)據(jù))時的解碼期間的處理負(fù)荷。就是說，移動電話1100可以改善編碼效率同時防止負(fù)荷增加。
[0388]注意，雖然已經(jīng)解釋了移動電話1100使用CCD相機1116。但是，移動電話1100可以使用采用CMOS(互補金屬氧化物半導(dǎo)體)的圖像傳感器(CMOS圖像傳感器)代替CCD相機1116。同樣在這種情況下，與使用CCD相機1116的情況類似，移動電話1100可以捕捉對象的圖像并產(chǎn)生對象的圖像的圖像數(shù)據(jù)。
[0389]此外，雖然已經(jīng)在移動電話1100的情況下給出了上述說明，但是與移動電話1100的情況類似，解碼設(shè)備I和編碼設(shè)備101可以應(yīng)用于例如具有與移動電話1100的功能類似的圖像捕捉功能或者通信功能的任何設(shè)備，比如PDA(個人數(shù)字助理)、智能電話、UMPCX超移動個人計算機)、網(wǎng)絡(luò)本或者筆記本式個人計算機。
[0390]圖24是圖示使用應(yīng)用本發(fā)明的解碼設(shè)備I和編碼設(shè)備101的硬盤記錄器的主要部分的示例配置的框圖。
[0391]如圖24所示的硬盤記錄器(HDD記錄器)1200是在其內(nèi)置硬盤中保存包括在從衛(wèi)星、地面天線等發(fā)送的、已經(jīng)由調(diào)諧器接收的廣播波信號(電視信號)中的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)，并在根據(jù)用戶指令的定時向用戶提供保存的數(shù)據(jù)的設(shè)備。
[0392]硬盤記錄器1200例如可以從廣播波信號提取音頻數(shù)據(jù)和視頻數(shù)據(jù)，適當(dāng)?shù)亟獯a它們，并將其存儲在內(nèi)置硬盤中。此外，硬盤記錄器1200還可以例如經(jīng)由網(wǎng)絡(luò)從另一設(shè)備獲取音頻數(shù)據(jù)或者視頻數(shù)據(jù)，適當(dāng)?shù)貙⑵浣獯a，并將解碼的數(shù)據(jù)存儲在內(nèi)置硬盤中。
[0393]另外，硬盤記錄器1200可以解碼例如記錄在內(nèi)置硬盤上的音頻數(shù)據(jù)和視頻數(shù)據(jù)，將其提供到監(jiān)視器1260，在監(jiān)視器1260的屏幕上顯示其圖像，并從監(jiān)視器1260的揚聲器輸出其音頻。此外，硬盤記錄器1200還可以例如解碼從經(jīng)由調(diào)諧器獲取的廣播波信號提取的音頻數(shù)據(jù)和視頻數(shù)據(jù)，或者經(jīng)由網(wǎng)絡(luò)從另一設(shè)備獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)，將其提供到監(jiān)視器1260，在監(jiān)視器1260的屏幕上顯示其圖像，并從監(jiān)視器1260的揚聲器輸出其音頻。
[0394]當(dāng)然，其他操作也是可能的。
[0395]如圖24所示，硬盤記錄器1200包括接收單元1221、解調(diào)單元1222、解復(fù)用器1223、音頻解碼器1224、視頻解碼器1225和記錄器控制單元1226。硬盤記錄器1200另外包括EPG數(shù)據(jù)存儲器1227、程序存儲器1228、工作存儲器1229、顯示轉(zhuǎn)換器1230、0SD(在屏顯示)控制單元1231、顯示控制單元1232、記錄/再現(xiàn)單元1233、D/A轉(zhuǎn)換器1234和通信單元1235。
[0396]此外，顯示轉(zhuǎn)換器1230包括視頻編碼器1241。記錄/再現(xiàn)單元1233包括編碼器1251和解碼器1252。
[0397]接收單元1221從遙控器(未示出)接收紅外信號，將其轉(zhuǎn)換為電信號，并輸出到記錄器控制單元1226。記錄器控制單元1226由例如微處理器等組成，并根據(jù)存儲在程序存儲器1228中的程序執(zhí)行各種處理。此時，記錄器控制單元1226根據(jù)需要使用工作存儲器1229。
[0398]通信單元1235連接到網(wǎng)絡(luò)，并經(jīng)由網(wǎng)絡(luò)與另一設(shè)備執(zhí)行通信處理。例如，通信單元1235由記錄器控制單元1226控制以與調(diào)諧器(未示出)通信并主要輸出信道選擇控制信號到調(diào)諧器。
[0399]解調(diào)單元1222解調(diào)從調(diào)諧器提供的信號，并將其輸出到解復(fù)用器1223。解復(fù)用器1223將從解調(diào)單元1222提供的數(shù)據(jù)解復(fù)用為音頻數(shù)據(jù)、視頻數(shù)據(jù)和EPG數(shù)據(jù)，并將其分別輸出到音頻解碼器1224、視頻解碼器1225和記錄器控制單元1226。
[0400]音頻解碼器1224解碼輸入音頻數(shù)據(jù)并輸出已解碼的音頻數(shù)據(jù)到記錄/再現(xiàn)單元1233。視頻解碼器1225解碼輸入視頻數(shù)據(jù)并將已解碼的視頻數(shù)據(jù)輸出到顯示轉(zhuǎn)換器1230。記錄器控制單元1226提供輸入EPG數(shù)據(jù)到EPG數(shù)據(jù)存儲器1227以存儲EPG數(shù)據(jù)。
[0401]顯示轉(zhuǎn)換器1230使用視頻編碼器1241將從視頻解碼器1225或者記錄器控制單元1226提供的視頻數(shù)據(jù)編碼為例如NTSC(國家電視制式委員會)方案的視頻數(shù)據(jù)，并將其輸出到記錄/再現(xiàn)單元1233。此外，顯示轉(zhuǎn)換器1230將從視頻解碼器1225或者記錄器控制單元1226提供的視頻數(shù)據(jù)的屏幕大小轉(zhuǎn)換為與監(jiān)視器1260的大小對應(yīng)的大小，使用視頻編碼器1241將視頻數(shù)據(jù)轉(zhuǎn)換為NTSC方案的視頻數(shù)據(jù)，將其轉(zhuǎn)換為模擬信號，并將其輸出到顯示控制單元1232。
[0402]在記錄器控制單元1226的控制下，顯示控制單元1232將從OSD(在屏顯示)控制單元1231輸出的OSD信號疊加到從顯示轉(zhuǎn)換器1230輸入的視頻信號上，并將其輸出到監(jiān)視器1260的顯示器以顯示它。
[0403]從音頻解碼器1224輸出的音頻數(shù)據(jù)已經(jīng)由D/Α轉(zhuǎn)換器1234轉(zhuǎn)換為模擬信號，其也被提供到監(jiān)視器1260。監(jiān)視器1260從其內(nèi)置的揚聲器輸出音頻信號。
[0404]記錄/再現(xiàn)單元1233包括硬盤作為在其上記錄視頻數(shù)據(jù)、音頻數(shù)據(jù)等的存儲介質(zhì)。
[0405]記錄/再現(xiàn)單元1233使用編碼器1251編碼例如從音頻解碼器1224提供的音頻數(shù)據(jù)。此外，記錄/再現(xiàn)單元1233使用編碼器1251編碼從顯示轉(zhuǎn)換器1230的視頻編碼器1241提供的視頻數(shù)據(jù)。記錄/再現(xiàn)單元1233使用復(fù)用器組合音頻數(shù)據(jù)的編碼數(shù)據(jù)和視頻數(shù)據(jù)的編碼數(shù)據(jù)。記錄/再現(xiàn)單元1233關(guān)于產(chǎn)生的合成數(shù)據(jù)執(zhí)行信道編碼，將其放大，并經(jīng)由記錄磁頭將數(shù)據(jù)寫到硬盤。
[0406]記錄/再現(xiàn)單元1233經(jīng)由再現(xiàn)磁頭再現(xiàn)記錄在硬盤上的數(shù)據(jù)，將其放大，并使用解復(fù)用器將其分離為音頻數(shù)據(jù)和視頻數(shù)據(jù)。記錄/再現(xiàn)單元1233使用解碼器1252解碼音頻數(shù)據(jù)和視頻數(shù)據(jù)。記錄/再現(xiàn)單元1233關(guān)于解碼的音頻數(shù)據(jù)執(zhí)行D/Α轉(zhuǎn)換，并將其輸出到監(jiān)視器1260的揚聲器。此外，記錄/再現(xiàn)單元1233關(guān)于解碼的視頻數(shù)據(jù)執(zhí)行D/Α轉(zhuǎn)換，并將其輸出到監(jiān)視器1260的顯示器。
[0407]記錄器控制單元1226基于由經(jīng)由接收單元1221接收的來自遙控器的紅外信號指示的用戶指令，從EPG數(shù)據(jù)存儲器1227讀取最新的EPG數(shù)據(jù)，并提供EPG數(shù)據(jù)到OSD控制單元
1231。OSD控制單元1231產(chǎn)生與輸入EPG數(shù)據(jù)對應(yīng)的圖像數(shù)據(jù)，并將其輸出到顯示控制單元1232。顯示控制單元1232將從OSD控制單元1231輸入的視頻數(shù)據(jù)輸出到監(jiān)視器1260的顯示器以顯示它。這允許在監(jiān)視器1260的顯示器上顯示EPG(電子節(jié)目指南)。
[0408]此外，硬盤記錄器1200還可以經(jīng)由比如因特網(wǎng)的網(wǎng)絡(luò)獲取從另一設(shè)備提供的各種數(shù)據(jù)，比如視頻數(shù)據(jù)、音頻數(shù)據(jù)和EPG數(shù)據(jù)。
[0409]通信單元1235由記錄器控制單元1226控制以獲取經(jīng)由網(wǎng)絡(luò)從另一設(shè)備發(fā)送的比如視頻數(shù)據(jù)、音頻數(shù)據(jù)和EPG數(shù)據(jù)之類的編碼數(shù)據(jù)，并將其提供到記錄器控制單元1226。記錄器控制單元1226例如將獲取的視頻數(shù)據(jù)和音頻數(shù)據(jù)的編碼數(shù)據(jù)提供到記錄/再現(xiàn)單元1233以在硬盤中進行存儲。此時，記錄器控制單元1226和記錄/再現(xiàn)單元1233可以根據(jù)需要執(zhí)行比如重編碼的處理。
[0410]此外，記錄器控制單元1226解碼獲取的視頻數(shù)據(jù)和音頻數(shù)據(jù)的編碼數(shù)據(jù)，并提供獲得的視頻數(shù)據(jù)到顯示轉(zhuǎn)換器1230。顯示轉(zhuǎn)換器1230以與從視頻解碼器1225提供的視頻數(shù)據(jù)的方式類似的方式處理從記錄器控制單元1226提供的視頻數(shù)據(jù)，并將產(chǎn)生的視頻數(shù)據(jù)經(jīng)由顯示控制單元1232提供到監(jiān)視器1260以顯示其圖像。
[0411]此外，與圖像的顯示一起，記錄器控制單元1226可以經(jīng)由D/Α轉(zhuǎn)換器1234將解碼的音頻數(shù)據(jù)提供到監(jiān)視器1260并從揚聲器輸出其音頻。
[0412]另外，記錄器控制單元1226解碼獲取的EPG數(shù)據(jù)的編碼數(shù)據(jù)，并提供解碼的EPG數(shù)據(jù)到EPG數(shù)據(jù)存儲器1227。
[0413]如上的硬盤記錄器1200使用解碼設(shè)備I作為視頻解碼器1225、解碼器1252和記錄器控制單元1226的內(nèi)置解碼器中的每一個。就是說，與解碼設(shè)備I的情況類似，視頻解碼器1225、解碼器1252和記錄器控制單元1226的內(nèi)置解碼器關(guān)于基層中多個基準(zhǔn)面的圖像執(zhí)行濾波，以產(chǎn)生增強層中當(dāng)前塊的預(yù)測圖像。
[0414]因此，視頻解碼器1225、解碼器1252和記錄器控制單元1226內(nèi)置解碼器可以比空間上采樣濾波器更有效地利用圖像序列中的信號分量。因此，預(yù)測圖像可以比通過利用基層中的當(dāng)前幀的圖像的現(xiàn)有的上轉(zhuǎn)換預(yù)測產(chǎn)生的預(yù)測圖像具有空間上更高頻的分量，同時可以減少預(yù)測殘差。就是說，可以減少用于要在增強層中編碼的畫面的代碼量，且可以有助于編碼效率的改善。
[0415]此外，在該濾波預(yù)測中，不參考在時間上不同的幀的增強層中的解碼圖像。因此，可以減少編碼所需的處理量、臨時存儲器容量、從存儲器讀出的信息量等，且可以減少實現(xiàn)所需的成本。此外，還可以減少功耗。
[0416]因此，硬盤記錄器1200可以獲得高清晰度的解碼圖像而不增加當(dāng)例如調(diào)諧器或者通信單元1235接收視頻數(shù)據(jù)(編碼數(shù)據(jù))時或者當(dāng)記錄/再現(xiàn)單元1233從硬盤再現(xiàn)視頻數(shù)據(jù)(編碼數(shù)據(jù))時的解碼期間的處理負(fù)荷。就是說，硬盤記錄器1200可以改進編碼效率同時防止負(fù)荷增加。
[0417]此外，硬盤記錄器1200使用編碼設(shè)備101作為編碼器1251。因此，與編碼設(shè)備101的情況類似，編碼器1251獲得比通過雙向預(yù)測或者上轉(zhuǎn)換預(yù)測產(chǎn)生的預(yù)測圖像包括更多高頻分量且具有與原始圖像小的差別的預(yù)測圖像。因此，可以減少要分配給殘差的僅少量代碼，且可以增加編碼效率。因為基準(zhǔn)幀的分辨率低于在其中參考增強層中的幀的單向預(yù)測或者雙向預(yù)測的情況下的分辨率，所以比如在幀存儲器122中保存基準(zhǔn)幀和從幀存儲器122讀取基準(zhǔn)幀之類的處理的負(fù)荷很小。此外，可以使用至少兩個基準(zhǔn)幀執(zhí)行濾波預(yù)測。因此，使得這種編碼效率的增加是可行的而不增加處理的復(fù)雜性。
[0418]因此，硬盤記錄器1200通過更有效地利用運動圖像中信號序列中包括的時間相關(guān)性，來執(zhí)行當(dāng)例如編碼數(shù)據(jù)記錄在硬盤上時考慮空間可縮放性的編碼，且因此例如可以改進編碼效率同時防止比如編碼和解碼之類的處理的負(fù)荷增加。
[0419]注意，雖然已經(jīng)解釋了在硬盤上記錄視頻數(shù)據(jù)和音頻數(shù)據(jù)的硬盤記錄器1200，但是當(dāng)然可以使用任何類型的記錄介質(zhì)。例如，即使使用除了硬盤之外的記錄介質(zhì)(比如閃存、光盤或者錄像帶)的記錄器也可以以與如上所述硬盤記錄器1200的情況下的方式類似的方式使用解碼設(shè)備I和編碼設(shè)備101。
[0420]圖25是圖不使用應(yīng)用本發(fā)明的解碼設(shè)備I和編碼設(shè)備101的相機的主要部分的不例配置的框圖。
[0421]如圖25所示的相機1300捕捉對象的圖像，并使得對象的圖像顯示在LCD1316上，或者將其作為圖像數(shù)據(jù)記錄在記錄介質(zhì)1333上。
[0422]鏡頭塊1311使得光(也就是說，對象的視頻)入射在CCD/CM0S 1312上。CCD/CM0S1312是使用CCD或者CMOS，將接收的光的強度轉(zhuǎn)換為電信號，并將其提供到相機信號處理單元1313的圖像傳感器。
[0423]相機信號處理單元1313將從(XD/CM0S1312提供的電信號轉(zhuǎn)換為Y、Cr和Cb色差信號，并將其提供到圖像信號處理單元1314。在控制器1321的控制下，圖像信號處理單元1314關(guān)于從相機信號處理單元1313提供的圖像信號執(zhí)行某個圖像處理，或者使用編碼器1341編碼圖像信號。圖像信號處理單元1314將通過編碼圖像信號產(chǎn)生的編碼數(shù)據(jù)提供到解碼器1315。另外，圖像信號處理單元1314獲取通過在屏顯示(0SDH320產(chǎn)生的顯示數(shù)據(jù)，并將其提供到解碼器1315。
[0424]在上述處理中，相機信號處理單元1313利用經(jīng)由總線1317連接的DRAM(動態(tài)隨機存取存儲器)1318，并根據(jù)需要使得圖像數(shù)據(jù)、通過編碼圖像數(shù)據(jù)獲得的編碼數(shù)據(jù)等保持在DRAM 1318 中。
[0425]解碼器1315解碼從圖像信號處理單元1314提供的編碼數(shù)據(jù)，并提供獲得的圖像數(shù)據(jù)(解碼圖像數(shù)據(jù))到IXD 1316。此外，解碼器1315將從圖像信號處理單元1314提供的顯示數(shù)據(jù)提供到LCD Uiet3IXD 1316適當(dāng)?shù)亟M合從解碼器1315提供的解碼的圖像數(shù)據(jù)的圖像和顯示數(shù)據(jù)的圖像，并顯示產(chǎn)生的合成圖像。
[0426]在控制器1321的控制下，在屏顯示1320將比如由符號、字符或者圖形形成的菜單屏幕和圖標(biāo)之類的顯示數(shù)據(jù)經(jīng)由總線1317輸出到圖像信號處理單元1314。
[0427]控制器1321基于指示由用戶使用操作單元1322發(fā)布的命令的內(nèi)容的信號執(zhí)行各種處理，且還經(jīng)由總線1317控制圖像信號處理單元1314、DRAM 1318、外部接口 1319、在屏顯示1320、介質(zhì)驅(qū)動器1323等。閃速ROM 1324存儲控制器1321執(zhí)行各種處理所需的程序、數(shù)據(jù)等。
[0428]例如，控制器1321可以代表圖像信號處理單元1314或者解碼器1315編碼存儲在DRAM 1318中的圖像數(shù)據(jù)或者解碼存儲在DRAM 1318中的編碼數(shù)據(jù)。此時，控制器1321可以使用與圖像信號處理單元1314或者解碼器1315的編碼或者解碼方案類似的方案執(zhí)行編碼或者解碼處理，或者可以使用圖像信號處理單元1314或者解碼器1315不支持的方案來執(zhí)行編碼或者解碼處理。
[0429]此外，例如，在已經(jīng)從操作單元1322發(fā)布用于開始打印圖像的指令的情況下，控制器1321從DRAM 1318讀取圖像數(shù)據(jù)，并將其提供到經(jīng)由總線1317連接到外部接口 1319的打印機1334以打印它。
[0430]另外，例如，在已經(jīng)從操作單元1322發(fā)布了用于記錄圖像的指令的情況下，控制器1321從DRAM 1318讀取編碼數(shù)據(jù)，并經(jīng)由總線1317將其提供到附于介質(zhì)驅(qū)動器1323的記錄介質(zhì)1333以存儲它。
[0431]例如，記錄介質(zhì)1333是比如磁盤、磁光盤、光盤或者半導(dǎo)體存儲器之類的任何可讀和可重寫可拆卸介質(zhì)。當(dāng)然，記錄介質(zhì)1333也可以是任何類型的可拆卸介質(zhì)，且可以是磁帶裝置、盤、或存儲卡。當(dāng)然，也可以使用無接觸IC卡等。
[0432]此外，例如，介質(zhì)驅(qū)動器1323和記錄介質(zhì)1333也可以整體地形成為非便攜式存儲介質(zhì)，比如內(nèi)置硬盤驅(qū)動器或者SSD(固態(tài)驅(qū)動器)。
[0433]例如，外部接口丨319由USB輸入輸出端子等組成，且在要打印圖像的情況下連接到打印機1334。此外，驅(qū)動器1331根據(jù)需要連接到外部接口 1319，且適當(dāng)?shù)馗郊颖热绱疟P、光盤或者磁光盤之類的可拆卸介質(zhì)1332，以使得根據(jù)需要將從其讀取的計算機程序安裝到閃速ROM 1324中。
[0434]另外，外部接口1319包括連接到比如LAN或者因特網(wǎng)的某個網(wǎng)絡(luò)的網(wǎng)絡(luò)接口?？刂破?321可以根據(jù)例如來自操作單元1322的指令從DRAM 1318讀取編碼數(shù)據(jù)，并將其從外部接口 1319提供到經(jīng)由網(wǎng)絡(luò)連接的另一設(shè)備。此外，控制器1321可以經(jīng)由外部接口 1319獲取經(jīng)由網(wǎng)絡(luò)從另一設(shè)備提供的編碼數(shù)據(jù)或者圖像數(shù)據(jù)，并將其保持在DRAM 1318中或者將其提供到圖像信號處理單元1314。
[0435]如上的相機1300使用解碼設(shè)備I作為解碼器1315。就是說，與解碼設(shè)備I的情況類似，解碼器1315關(guān)于基層中多個基準(zhǔn)面的圖像執(zhí)行濾波以產(chǎn)生增強層中當(dāng)前塊的預(yù)測圖像。因此，解碼器1315可以比空間上采樣濾波器更有效地利用圖像序列中的信號分量。因此，預(yù)測圖像可以比通過利用基層中的當(dāng)前幀的圖像的現(xiàn)有的上轉(zhuǎn)換預(yù)測產(chǎn)生的預(yù)測圖像具有空間上更高頻的分量，同時可以減少預(yù)測殘差。就是說，可以減少用于要在增強層中編碼的畫面的代碼量，且可以有助于編碼效率的改善。
[0436]因此，相機1300可以改進編碼效率同時防止例如當(dāng)從DRAM 1318或者記錄介質(zhì)1333讀取視頻數(shù)據(jù)的編碼數(shù)據(jù)時，或者當(dāng)經(jīng)由網(wǎng)絡(luò)獲取視頻數(shù)據(jù)的編碼數(shù)據(jù)時由CCD/CM0S1312產(chǎn)生的圖像數(shù)據(jù)的負(fù)荷增加。
[0437]此外，相機1300使用編碼設(shè)備101作為編碼器1341。與編碼設(shè)備101的情況類似，編碼器1341可以獲得比通過雙向預(yù)測或者上轉(zhuǎn)換預(yù)測產(chǎn)生的預(yù)測圖像包括更多高頻分量且具有與原始圖像小的差別的預(yù)測圖像。因此，可以減少要分配給殘差的僅少量代碼，且可以增加編碼效率。因為基準(zhǔn)幀的分辨率低于在其中參考增強層中的幀的單向預(yù)測或者雙向預(yù)測的情況下的分辨率，所以比如在幀存儲器122中保存基準(zhǔn)幀和從幀存儲器122讀取基準(zhǔn)幀之類的處理的負(fù)荷很小。此外，可以使用至少兩個基準(zhǔn)幀執(zhí)行濾波預(yù)測。因此，使得這種編碼效率的增加是可行的而不增加處理的復(fù)雜性。
[0438]因此，相機1300通過更有效地利用運動圖像中的信號序列中包括的時間相關(guān)性，執(zhí)行例如當(dāng)編碼數(shù)據(jù)記錄在DRAM 1318或者記錄介質(zhì)1333上時，或者當(dāng)編碼數(shù)據(jù)提供到另一設(shè)備時考慮空間可縮放性的編碼，且因此例如可以改進編碼效率同時防止比如編碼和解碼之類的處理的負(fù)荷增加。
[0439]注意，解碼設(shè)備I的解碼方法可以應(yīng)用于由控制器1321執(zhí)行的解碼處理。類似地，編碼設(shè)備101的編碼方法可以應(yīng)用于由控制器1321執(zhí)行的編碼處理。
[0440]此外，由相機1300捕捉的圖像數(shù)據(jù)可以是運動圖像或者靜止圖像的圖像數(shù)據(jù)。
[0441]當(dāng)然，解碼設(shè)備I和編碼設(shè)備101還可以應(yīng)用于除了如上所述的設(shè)備之外的設(shè)備或者系統(tǒng)。
[0442]此外，宏塊的尺寸是任意的。例如，本發(fā)明可以應(yīng)用于如圖26所示的具有任何尺寸的宏塊。例如，本發(fā)明不僅可以應(yīng)用于16X16像素的普通宏塊，而且可以應(yīng)用于比如32X32像素的宏塊的擴展的宏塊(擴展宏塊)。
[0443]在圖26中，在上部，從左側(cè)開始依次圖示由32X 32像素、32 X 16像素、16 X 32像素和16 X 16像素的塊(分區(qū))劃分的由32 X 32像素構(gòu)成的宏塊。此外，在中部，從左側(cè)依次圖示由16 X 16像素、16 X 8像素、8 X 16像素和8 X 8像素的塊劃分的由16 X 16像素構(gòu)成的塊。此外，在下部，從左側(cè)依次圖示由8 X 8像素、8 X 4像素、4 X 8像素和4 X 4像素的塊劃分的由8 X8像素構(gòu)成的塊。
[0444]也就是說，32X 32像素的宏塊可以由上部中圖示的32 X 32像素、32 X 16像素、16 X32像素和16 X 16像素的塊處理。
[0445]與H.264/AVC方案類似，在上部的右側(cè)圖示的16 X 16像素的塊可以由在中部圖示的16 X 16像素、16 X 8像素、8 X 16像素和8 X 8像素的塊處理。
[0446]與H.264/AVC方案類似，在中部的右側(cè)圖示的8 X 8像素的塊可以由在下部圖示的8X 8像素、8 X 4像素、4 X 8像素和4 X 4像素的塊處理。
[0447]上述塊可以分類為以下三個分級層。也就是說，圖26中上部圖示的32X32像素，32X 16像素和16 X 32像素的塊被稱為的第一分級層中的塊。上部的右側(cè)圖示的16 X 16像素的塊和中部圖示的16 X 16像素、16 X 8像素和8 X 16像素的塊被稱為第二分級層中的塊。中部的右側(cè)圖示的8X8像素的塊以及下部圖示的8X8像素、8X4像素、4X8像素和4X4像素的塊被稱為第三分級層中的塊。
[0448]通過采用上述分級層結(jié)構(gòu)，關(guān)于等于或者低于16X16像素的塊的塊，更大的塊可以被定義為其超集同時保持與H.264/AVC方案的兼容性。
[0449]例如，解碼設(shè)備I和編碼設(shè)備101可以被配置以產(chǎn)生每個分級層的預(yù)測圖像。此外，例如，解碼設(shè)備I和編碼設(shè)備101可以被配置以對于第二分級層，也利用在具有比第二分級層更大的塊大小的第一分級層中產(chǎn)生的預(yù)測圖像。
[0450]要對于其使用相對大的塊大小執(zhí)行編碼的宏塊(比如第一分級層和第二分級層)不包括相對高頻的分量。相反，要對于其使用相對小的塊大小執(zhí)行編碼的宏塊(比如第三分級層)被認(rèn)為包括相對高頻的分量。
[0451]由此，根據(jù)具有不同塊大小的各個分級層分別產(chǎn)生預(yù)測圖像，由此使得適于圖像的局部特性的編碼性能的改善是可以的。
[0452]附圖標(biāo)記列表
[0453]I解碼設(shè)備、12無損解碼電路、15加法器電路、19幀存儲器、21運動預(yù)測/補償電路、41預(yù)測判定電路、51預(yù)測選擇電路、64濾波預(yù)測電路、71提取電路、72濾波電路、81差別計算電路、82上轉(zhuǎn)換電路、83低通濾波器電路、84增益調(diào)節(jié)電路、85高通濾波器電路、86增益調(diào)節(jié)電路、87加法器電路、88上轉(zhuǎn)換電路、89加法器電路、101編碼設(shè)備、112重排緩沖器、123模式確定電路、125運動預(yù)測/補償電路、126幀內(nèi)預(yù)測電路、145濾波預(yù)測電路、155濾波預(yù)測電路、211濾波電路。
【主權(quán)項】
1.一種圖像解碼設(shè)備，包括: 提取裝置，用于使用解碼圖像形成的幀作為基準(zhǔn)幀并使用已經(jīng)編碼的圖像中的運動矢量來執(zhí)行運動補償，并用于從與預(yù)測圖像對應(yīng)的基準(zhǔn)幀提取具有比所述預(yù)測圖像更低頻率的運動補償圖像； 預(yù)測圖像產(chǎn)生裝置，用于通過利用第一運動補償圖像和第二運動補償圖像中包括的時間方向上的相關(guān)性，對于由所述提取裝置提取的至少兩個運動補償圖像執(zhí)行濾波處理，以產(chǎn)生具有比所述至少兩個運動補償圖像更高的頻率的預(yù)測圖像， 其中所述第一運動補償圖像和所述第二運動補償圖像是從不同的基準(zhǔn)幀提取的運動補償圖像。2.根據(jù)權(quán)利要求1所述的圖像解碼設(shè)備，其中所述預(yù)測圖像產(chǎn)生裝置將表示高頻分量并通過上轉(zhuǎn)換基層中的圖像而產(chǎn)生的圖像與通過上轉(zhuǎn)換第一運動補償圖像而獲得的圖像相加。3.根據(jù)權(quán)利要求1所述的圖像解碼設(shè)備， 其中，所述已經(jīng)編碼的圖像已經(jīng)被分級地分解為具有不同頻率的多個層中的圖像且圖像已經(jīng)被編碼， 其中，當(dāng)要執(zhí)行高頻率層的解碼時，所述提取裝置使用具有比該層更低頻率的層中的幀作為基準(zhǔn)幀，并從具有更低頻率的層中的基準(zhǔn)幀提取運動補償圖像，和 其中，所述預(yù)測圖像產(chǎn)生裝置通過關(guān)于從具有更低頻率的層中的基準(zhǔn)幀提取的運動補償圖像執(zhí)行濾波處理，來產(chǎn)生高頻率層中的預(yù)測圖像。4.根據(jù)權(quán)利要求1所述的圖像解碼設(shè)備， 其中，所述預(yù)測圖像產(chǎn)生裝置包括 頻率轉(zhuǎn)換裝置，用于轉(zhuǎn)換由所述提取裝置提取的多個運動補償圖像之間的差別圖像的頻率并增加頻率， 低通濾波器裝置，用于將低通濾波器應(yīng)用于頻率已經(jīng)由所述頻率轉(zhuǎn)換裝置增加的差別圖像， 高通濾波器裝置，用于將高通濾波器應(yīng)用于通過由所述低通濾波器裝置應(yīng)用低通濾波器而獲得的圖像，和 相加裝置，用于將通過由所述低通濾波器裝置應(yīng)用低通濾波器而獲得的圖像和通過由所述高通濾波器裝置應(yīng)用高通濾波器而獲得的圖像與由所述提取裝置提取的多個運動補償圖像之一相加，并用于產(chǎn)生預(yù)測圖像。5.根據(jù)權(quán)利要求4所述的圖像解碼設(shè)備， 其中，所述相加裝置將通過由所述低通濾波器裝置應(yīng)用低通濾波器而獲得的圖像和通過由所述高通濾波器裝置應(yīng)用高通濾波器而獲得的圖像與從關(guān)于預(yù)測圖像的時間的在前幀提取的運動補償圖像相加。6.根據(jù)權(quán)利要求1所述的圖像解碼設(shè)備，進一步包括: 接收裝置，用于接收標(biāo)識標(biāo)記，所述標(biāo)識標(biāo)記標(biāo)識要通過單向預(yù)測產(chǎn)生預(yù)測圖像、要通過雙向預(yù)測產(chǎn)生預(yù)測圖像還是要通過由所述預(yù)測圖像產(chǎn)生裝置執(zhí)行的濾波處理產(chǎn)生預(yù)測圖像； 判斷裝置，通過參考由所述接收裝置接收的標(biāo)識標(biāo)記，判斷要通過單向預(yù)測產(chǎn)生預(yù)測圖像、要通過雙向預(yù)測產(chǎn)生預(yù)測圖像還是要通過濾波處理產(chǎn)生預(yù)測圖像。7.根據(jù)權(quán)利要求6所述的圖像解碼設(shè)備，進一步包括: 單向預(yù)測裝置，用于使用多個運動補償圖像執(zhí)行單向預(yù)測，并用于產(chǎn)生預(yù)測圖像;和 雙向預(yù)測裝置，用于使用多個運動補償圖像執(zhí)行雙向預(yù)測，并用于產(chǎn)生預(yù)測圖像。8.根據(jù)權(quán)利要求1所述的圖像解碼設(shè)備，進一步包括: 解碼裝置，用于解碼編碼圖像;和 產(chǎn)生裝置，用于將由所述解碼裝置解碼的圖像與預(yù)測圖像相加并用于產(chǎn)生解碼圖像。9.一種圖像解碼方法，包括: 使用由解碼圖像形成的幀作為基準(zhǔn)幀并使用已經(jīng)編碼的圖像中的運動矢量來執(zhí)行運動補償，并從與預(yù)測圖像對應(yīng)的基準(zhǔn)幀提取具有比所述預(yù)測圖像更低頻率的運動補償圖像； 通過利用第一運動補償圖像和第二運動補償圖像中包括的時間方向上的相關(guān)性，對于所提取的至少兩個運動補償圖像執(zhí)行的濾波處理，以產(chǎn)生具有比所述至少兩個運動補償圖像更高的頻率的預(yù)測圖像， 其中所述第一運動補償圖像和所述第二運動補償圖像是從不同的基準(zhǔn)幀提取的運動補償圖像。10.—種圖像解碼設(shè)備，包括: 檢測裝置，用于基于圖像和作為要解碼的圖像的原始圖像檢測運動矢量，所述圖像中的每一個是通過基于指示原始圖像和預(yù)測圖像之間的差別的殘差信號來執(zhí)行本地解碼而獲得的； 提取裝置，用于使用由本地解碼的圖像形成的幀作為基準(zhǔn)幀并使用由所述檢測裝置檢測的運動矢量來執(zhí)行運動補償，并用于從與預(yù)測圖像對應(yīng)的基準(zhǔn)幀提取具有比所述預(yù)測圖像更低頻率的運動補償圖像； 產(chǎn)生裝置，用于通過利用第一運動補償圖像和第二運動補償圖像中包括的時間方向上的相關(guān)性，對于由所述提取裝置提取的至少兩個運動補償圖像執(zhí)行濾波處理，以產(chǎn)生具有比所述至少兩個運動補償圖像更高的頻率的預(yù)測圖像， 其中所述第一運動補償圖像和所述第二運動補償圖像是從不同的基準(zhǔn)幀提取的運動補償圖像。11.根據(jù)權(quán)利要求10所述的圖像解碼設(shè)備，其中所述產(chǎn)生裝置將表示高頻分量并通過上轉(zhuǎn)換基層中的圖像而產(chǎn)生的圖像與通過上轉(zhuǎn)換第一運動補償圖像而獲得的圖像相加。12.根據(jù)權(quán)利要求10所述的圖像解碼設(shè)備， 其中，當(dāng)要執(zhí)行高頻率層的解碼時，所述提取裝置使用具有比該層更低頻率的層中的幀作為基準(zhǔn)幀，并使用由所述檢測裝置在具有更低頻率的層中檢測到的運動矢量從具有更低頻率的層中的基準(zhǔn)幀提取運動補償圖像，和 其中，所述產(chǎn)生裝置通過關(guān)于從具有更低頻率的層中的基準(zhǔn)幀提取的運動補償圖像執(zhí)行濾波處理，來產(chǎn)生高頻率層中的預(yù)測圖像。13.根據(jù)權(quán)利要求10所述的圖像解碼設(shè)備， 其中，所述產(chǎn)生裝置包括 頻率轉(zhuǎn)換裝置，用于轉(zhuǎn)換由所述提取裝置提取的多個運動補償圖像之間的差別圖像的頻率并增加頻率， 低通濾波器裝置，用于將低通濾波器應(yīng)用于頻率已經(jīng)由所述頻率轉(zhuǎn)換裝置增加的差別圖像， 高通濾波器裝置，用于將高通濾波器應(yīng)用于通過由所述低通濾波器裝置應(yīng)用低通濾波器而獲得的圖像，和 相加裝置，用于將通過由所述低通濾波器裝置應(yīng)用低通濾波器而獲得的圖像和通過由所述高通濾波器裝置應(yīng)用高通濾波器而獲得的圖像與由所述提取裝置提取的多個運動補償圖像之一相加，并用于產(chǎn)生預(yù)測圖像。14.根據(jù)權(quán)利要求13所述的圖像解碼設(shè)備， 其中，所述相加裝置將通過由所述低通濾波器裝置應(yīng)用低通濾波器而獲得的圖像和通過由所述高通濾波器裝置應(yīng)用高通濾波器而獲得的圖像與從關(guān)于預(yù)測圖像的時間的在前幀提取的運動補償圖像相加。15.根據(jù)權(quán)利要求10所述的圖像解碼設(shè)備，還包括: 編碼裝置，用于編碼作為要編碼的圖像的原始圖像，并用于產(chǎn)生編碼圖像。16.根據(jù)權(quán)利要求15所述的圖像解碼設(shè)備， 其中，所述編碼裝置使得報頭包括標(biāo)識標(biāo)記，所述標(biāo)識標(biāo)記標(biāo)識要與由解碼設(shè)備解碼的圖像相加的預(yù)測圖像是通過單向預(yù)測產(chǎn)生、通過雙向預(yù)測產(chǎn)生還是通過濾波處理產(chǎn)生。17.—種圖像解碼方法，包括: 基于圖像和作為要編碼的圖像的原始圖像檢測運動矢量，所述圖像中的每一個是通過基于指示原始圖像和預(yù)測圖像之間的差別的殘差信號來執(zhí)行本地解碼而獲得的； 使用由本地解碼的圖像形成的幀作為基準(zhǔn)幀并使用檢測到的運動矢量來執(zhí)行運動補償，和從與預(yù)測圖像對應(yīng)的基準(zhǔn)幀提取具有比所述預(yù)測圖像更低頻率的運動補償圖像； 通過利用第一運動補償圖像和第二運動補償圖像中包括的時間方向上的相關(guān)性，對于所提取的至少兩個運動補償圖像執(zhí)行濾波處理，以產(chǎn)生具有比所述至少兩個運動補償圖像更高的頻率的預(yù)測圖像， 其中所述第一運動補償圖像和所述第二運動補償圖像是從不同的基準(zhǔn)幀提取的運動補償圖像。18.一種用于增強層的圖像解碼方法，包括: 執(zhí)行無損解碼處理，輸出使用無損解碼處理產(chǎn)生的已量化變換系數(shù)，且進一步在要解碼的圖像是幀內(nèi)編碼圖像的情況下輸出幀內(nèi)預(yù)測模式信息，或者在要解碼的圖像是幀間編碼圖像的情況下輸出運動矢量和標(biāo)識標(biāo)記，以根據(jù)所述幀內(nèi)預(yù)測模式信息或者所述運動矢量和標(biāo)識標(biāo)記來產(chǎn)生預(yù)測圖像； 執(zhí)行反量化，并且對已反量化的變換系數(shù)執(zhí)行逆正交變換，以獲得解碼的圖像； 將所述解碼的圖像與所述預(yù)測圖像進行組合，以產(chǎn)生合成圖像； 對所述合成圖像進行濾波，并且存儲所述合成圖像； 重復(fù)執(zhí)行前述處理，直到一整個幀中的宏塊執(zhí)行了前述處理。
【文檔編號】H04N19/61GK105915900SQ201610344309
【公開日】2016年8月31日
【申請日】2010年2月12日
【發(fā)明人】中神央二, 矢崎陽, 矢崎陽一
【申請人】索尼公司