專利名稱：圖像處理裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置和方法，更具體而言，涉及可以抑制附帶二次預(yù)測的預(yù)測效率降低的圖像處理裝置和方法。
背景技術(shù)：
近年來，以數(shù)字形式處理圖像信息，且廣泛使用如下裝置該裝置通過采用如下編碼方法壓縮和編碼圖像，以求信息的高效率傳輸和存儲，該編碼方法使用圖像信息的固有冗余執(zhí)行使用諸如離散余弦變換(DCT)的正交變換以及運(yùn)動補(bǔ)償?shù)膲嚎s。作為這種編碼方法，例如，MPEG(活動圖片專家組)等可以作為示范。特別地，MPEG 2(IS0/IEC 13818-2)被定義成通用圖像編碼方法，以及是涵蓋高清晰度圖像和標(biāo)準(zhǔn)清晰度圖像以及逐行掃描圖像和隔行掃描圖像這二者的標(biāo)準(zhǔn)。例如，已在顧客使用和專業(yè)使用的各種應(yīng)用中廣泛使用MPEG 2。例如，在具有720X480像素的標(biāo)準(zhǔn)分辨率的隔行掃描圖像的情形中，可以通過使用MPEG 2壓縮方法分配4至8Mbps的代碼量 (比特速率)。另外，例如，在具有1920X1088像素的高分辨率的隔行掃描圖像的情形中， 可以通過使用MPEG 2壓縮方法分配18至22Mbps的代碼量。以此方式，可以實(shí)現(xiàn)高壓縮比和良好圖像質(zhì)量。MPEG 2主要意在適合廣播的高圖像質(zhì)量編碼，但是不對應(yīng)于比MPEG 1中的代碼量(比特速率)低的代碼量，它是壓縮比高于MPEG 1中壓縮比的編碼方法。由于移動終端的普及，認(rèn)為對于此編碼方法的需求增加，據(jù)此進(jìn)行了 MPEG 4編碼方法的標(biāo)準(zhǔn)化。針對圖像編碼方法，在1998年12月作為IS0/IEC 14496-2通過了其標(biāo)準(zhǔn)，作為國際標(biāo)準(zhǔn)。此外，近年來，最初旨在電視會議圖像編碼的稱為H. ^L(ITU-T Q6/16VCEG)的標(biāo)準(zhǔn)的標(biāo)準(zhǔn)化已在進(jìn)展。已知H. 26L雖然相比于相關(guān)領(lǐng)域中的所謂MPEG 2或MPEG 4而言需要用于編碼和解碼的大運(yùn)算量但實(shí)現(xiàn)了相對較高的編碼效率。另外，近年來，對于MPEG 4的運(yùn)用，已基于H. 26L,作為增強(qiáng)壓縮視頻編碼的聯(lián)合模型進(jìn)行了采取H. 26L不支持的功能并實(shí)現(xiàn)高編碼效率的標(biāo)準(zhǔn)化。作為標(biāo)準(zhǔn)化的日程，在2003年3月作出了稱為H. 264和 MPEG-4 Part 10 (高級視頻編碼，在下文中，稱作H. 264/AVC)的國際標(biāo)準(zhǔn)。此外，作為其擴(kuò)展，在2005年2月完成了包括量化矩陣的FRExt (保真度范圍擴(kuò)展)，MPEG-2定義的8X8DCT，對于商業(yè)使用有必要的被稱為RGB、4 2 2以及4 :4:4 的編碼工具的標(biāo)準(zhǔn)化。按此方式，通過使用H. 264/AVC實(shí)現(xiàn)了能夠良好地表示活動圖片中包括的影片噪聲的編碼方法，并用在包括藍(lán)光盤(商標(biāo))的各種應(yīng)用中。然而，近年來，對于以更高的壓縮比進(jìn)行編碼的需求已增加，其中壓縮具有基本上 4000X2000像素的圖像，其像素是高視覺圖像的四倍。另外，在諸如因特網(wǎng)的受限傳輸容量的環(huán)境中增加了對于以更高的壓縮比進(jìn)行編碼以便傳輸高視覺圖像的需求。因此，在隸屬于ITU-T的VCEG (視頻編碼專家組)中，已做出對編碼效率改進(jìn)的研究。例如，對于MPEG-2方法，執(zhí)行通過線性插值過程的1/2像素精度的運(yùn)動預(yù)測和壓縮過程。另一方面，對于H. 264/AVC方法，執(zhí)行使用6抽頭的FIR(有限沖激響應(yīng)濾波器)的1/4像素精度的預(yù)測和補(bǔ)償過程。即，對于H. 264/AVC方法，通過6抽頭的HR執(zhí)行1/2像素精度的插值過程，通過線性插值執(zhí)行1/4像素精度的插值過程。針對該1/4像素精度的預(yù)測和補(bǔ)償過程，近年來，已對H. ^4/AVC方法效率的改進(jìn)做出研究。因此，作為一個編碼方法，已在NPL 1中提出1/8像素精度的運(yùn)動預(yù)測。即，在NPL 1 中，通過濾波器[-3,12, -39，158，158，-39，12，-3]/256 執(zhí)行 1/2 像素精度的插值過程。另外，通過濾波器[_3，12，-37，229，71，-21，6，-1]/256執(zhí)行1/4像素精度的插值過程，通過線性插值執(zhí)行1/8像素精度的插值過程。如上所述，執(zhí)行使用像素精度較高的插值過程的運(yùn)動預(yù)測，以使得特別是對于具有高分辨率的紋理以及相對較慢的運(yùn)動序列，改進(jìn)預(yù)測精度且從而可以實(shí)現(xiàn)編碼效率的改進(jìn)。然而，另外，對于NPL 2，已提出用于進(jìn)一步改進(jìn)幀間預(yù)測中的編碼效率的二次預(yù)測方法。接下來，將參照圖1描述二次預(yù)測方法。在圖1中示例的實(shí)例中，示出了對象幀和參考幀，在對象幀中示出了對象塊A。對于參考幀和對象幀，在對于對象塊A獲得運(yùn)動向量mv (mv_x,mv_y)的情形中，計(jì)算通過把運(yùn)動向量mv關(guān)聯(lián)到對象塊A獲得的塊與對象塊A之間的差分信息(殘差)。對于二次預(yù)測方法，計(jì)算與對象塊A有關(guān)的差分信息、以及通過把運(yùn)動向量mv關(guān)聯(lián)到相鄰像素組R獲得的相鄰像素組Rl與和對象塊A相鄰的相鄰像素組R之間的差分信肩、O也就是說，根據(jù)對象塊A的左上坐標(biāo)(x，y)獲得相鄰像素組R的每個坐標(biāo)。另外， 根據(jù)通過把運(yùn)動向量mv關(guān)聯(lián)到對象塊A獲得的塊的左上坐標(biāo)(X+mv_X，y+mv_y)獲得相鄰像素Rl的每個坐標(biāo)。根據(jù)此坐標(biāo)值，計(jì)算相鄰像素組的差分信息。對于二次預(yù)測方法，在與按此方式計(jì)算的對象塊有關(guān)的差分信息與和相鄰像素有關(guān)的差分信息之間執(zhí)行對于H. 264/AVC的幀內(nèi)預(yù)測，根據(jù)此幀內(nèi)預(yù)測，生成二次差分信息。 對生成的二次差分信息進(jìn)行正交變換、量化、與壓縮圖像一起編碼并將其發(fā)送到解碼側(cè)。引述列表非專利文獻(xiàn)NPL 1 :“Motion compensated prediction with 1/8-pel displacement vector resolution，，， VCEG-AD09, ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video Coding Experts Group (VCEG)，2OO6 年 10 月 23_27 日NPL 2 ” Second Order Prediction (SOP) in P Slice，，，Sijia Chen、Jinpeng Wang、Shangwen Li、以及 Lu Yu, VCEG-AD09, ITU-Telecommunications Standardization Sector STUDY GROUP Question 6 Video Coding Experts Group (VCEG)，2008年 7 月 16-18 曰

發(fā)明內(nèi)容
技術(shù)問題然而，在應(yīng)用參照圖1描述的二次預(yù)測方法的情形中，當(dāng)運(yùn)動向量信息表示小數(shù)像素精度時(shí)，針對相鄰像素組的像素值執(zhí)行線性插值。因此，與二次預(yù)測有關(guān)的精度降低。
在考慮此情況的情況下做出本發(fā)明，目的是抑制附帶二次預(yù)測的預(yù)測效率降低。解決方案根據(jù)本發(fā)明第一方面的圖像處理裝置包括二次預(yù)測單元，在對象幀中的對象塊的運(yùn)動向量信息的精度是整數(shù)像素精度的情形中，用于在和參考塊相鄰的參考相鄰像素與和對象塊相鄰的對象相鄰像素之間的差分信息、與在參考幀中通過運(yùn)動向量信息與對象塊關(guān)聯(lián)的參考塊和對象塊的差分信息之間執(zhí)行二次預(yù)測過程，以及用于生成二次差分信息； 以及編碼單元，用于編碼二次預(yù)測單元生成的二次差分信息。圖像處理裝置可以進(jìn)一步包括編碼效率確定單元，用于在二次預(yù)測單元生成的二次差分信息的編碼與對象圖像的差分信息的編碼之間確定哪個編碼效率較好，其中，只有在編碼效率確定單元確定二次差分信息的編碼效率較好的情形中，編碼單元編碼表明執(zhí)行二次預(yù)測過程的二次預(yù)測標(biāo)志以及二次預(yù)測單元生成的二次差分信息。在豎直方向上對象塊的運(yùn)動向量信息的精度是小數(shù)像素精度、以及二次預(yù)測過程中的幀內(nèi)預(yù)測模式是豎直預(yù)測模式的情形中，二次預(yù)測單元可以執(zhí)行二次預(yù)測過程。在水平方向上對象塊的運(yùn)動向量信息的精度是小數(shù)像素精度、以及二次預(yù)測過程中的幀內(nèi)預(yù)測模式是水平預(yù)測模式的情形中，二次預(yù)測單元可以執(zhí)行二次預(yù)測過程。在豎直方向和水平方向中至少一個上對象塊的運(yùn)動向量信息的精度是小數(shù)像素精度、以及二次預(yù)測過程中的幀內(nèi)預(yù)測模式是DC預(yù)測模式的情形中，二次預(yù)測單元可以執(zhí)行二次預(yù)測過程。二次預(yù)測單元可以包括相鄰像素預(yù)測單元，用于通過使用對象相鄰像素與參考相鄰像素之間的差分信息執(zhí)行預(yù)測，以及用于生成針對對象塊的幀內(nèi)預(yù)測圖像，以及二次差分生成單元，用于通過對相鄰像素預(yù)測單元生成的幀內(nèi)預(yù)測圖像、對象塊和參考塊之間的差分信息進(jìn)行差分生成二次差分信息。根據(jù)本發(fā)明第一方面的用于處理圖像的方法包括步驟允許圖像處理裝置在對象幀中對象塊的運(yùn)動向量信息的精度是整數(shù)像素精度的情形中，在和參考塊相鄰的參考相鄰像素與和對象塊相鄰的對象相鄰像素之間的差分信息、與在參考幀中通過運(yùn)動向量信息與對象塊關(guān)聯(lián)的參考塊和對象塊的差分信息之間執(zhí)行二次預(yù)測過程，以及生成二次差分信息；以及編碼通過二次預(yù)測過程生成的二次差分信息。根據(jù)本發(fā)明第二方面的圖像處理裝置包括解碼單元，用于解碼在參考幀中針對對象塊檢測的運(yùn)動向量信息、以及編碼對象幀中的對象塊的圖像；二次預(yù)測單元，在解碼單元解碼的運(yùn)動向量信息表示整數(shù)像素精度的情形中，用于通過使用與在參考幀中通過運(yùn)動向量信息與對象塊關(guān)聯(lián)的參考塊相鄰的參考相鄰像素、 與和對象塊相鄰的對象相鄰像素之間的差分信息執(zhí)行二次預(yù)測過程，以及用于生成預(yù)測圖像；以及計(jì)算單元，用于把根據(jù)運(yùn)動向量信息獲得的參考塊的圖像、二次預(yù)測單元生成的預(yù)測圖像、以及對象塊的圖像相加，以及用于生成對象塊的解碼圖像。二次預(yù)測單元可以獲取解碼單元解碼以及表明執(zhí)行二次預(yù)測過程的二次預(yù)測標(biāo)志，以及根據(jù)二次預(yù)測標(biāo)志執(zhí)行二次預(yù)測過程。在豎直方向上對象塊的運(yùn)動向量信息的精度是小數(shù)像素精度、以及二次預(yù)測過程中解碼單元解碼的幀內(nèi)預(yù)測模式是豎直預(yù)測模式的情形中，二次預(yù)測單元可以根據(jù)二次預(yù)測標(biāo)志執(zhí)行二次預(yù)測過程。在水平方向上對象塊的運(yùn)動向量信息的精度是小數(shù)像素精度、以及二次預(yù)測過程中解碼單元解碼的幀內(nèi)預(yù)測模式是水平預(yù)測模式的情形中，二次預(yù)測單元可以根據(jù)二次預(yù)測標(biāo)志執(zhí)行二次預(yù)測過程。在豎直方向和水平方向中至少一個上對象塊的運(yùn)動向量信息的精度是小數(shù)像素精度、以及二次預(yù)測過程中解碼單元解碼的幀內(nèi)預(yù)測模式是DC預(yù)測模式的情形中，二次預(yù)測單元根據(jù)二次預(yù)測標(biāo)志執(zhí)行二次預(yù)測過程。根據(jù)本發(fā)明第二方面的用于處理圖像的方法包括步驟允許圖像處理裝置解碼在參考幀中關(guān)于對象塊檢測的運(yùn)動向量信息、以及編碼對象幀中對象塊的圖像；在解碼的運(yùn)動向量信息表示整數(shù)像素精度的情形中，通過使用與通過在參考幀中通過運(yùn)動向量信息與對象塊關(guān)聯(lián)的參考塊相鄰的參考相鄰像素、與和對象塊相鄰的對象相鄰像素之間的差分信息執(zhí)行二次預(yù)測過程，以及生成預(yù)測圖像；以及把根據(jù)運(yùn)動向量信息獲得的參考塊的圖像、 生成的預(yù)測圖像、以及對象塊的圖像相加，以及生成對象塊的解碼圖像。根據(jù)本發(fā)明的第一方面，在對象幀中對象塊的運(yùn)動向量信息的精度是整數(shù)像素精度的情形中，在和參考塊相鄰的參考相鄰像素與和對象塊相鄰的對象相鄰像素之間的差分信息、與在參考幀中可通過運(yùn)動向量信息與對象塊關(guān)聯(lián)的參考塊和對象塊的差分信息之間執(zhí)行二次預(yù)測過程，以及生成二次差分信息。另外，編碼通過二次預(yù)測過程生成的二次差分 fn息ο另外，根據(jù)本發(fā)明的第二方面，解碼在參考幀中關(guān)于對象塊檢測的運(yùn)動向量信息、 以及在編碼對象幀中的對象塊的圖像；在解碼的運(yùn)動向量信息表示整數(shù)像素精度的情形中，通過使用與在參考幀通過運(yùn)動向量信息與對象塊關(guān)聯(lián)的參考塊相鄰的參考相鄰像素、 與和對象塊相鄰的對象相鄰像素之間的差分信息執(zhí)行二次預(yù)測過程，以及生成預(yù)測圖像。 另外，把根據(jù)運(yùn)動向量信息獲得的參考塊的圖像、生成的預(yù)測圖像、以及對象塊的圖像相加，以及生成對象塊的解碼圖像。另外，上述圖像處理裝置中的每個可以是獨(dú)立裝置，或者可以是構(gòu)建圖像解碼裝置的內(nèi)部塊或者一個編碼裝置。有益效果根據(jù)本發(fā)明的第一方面，可以編碼圖像。另外，根據(jù)本發(fā)明的第一方面，可以抑制附帶二次預(yù)測的預(yù)測效率降低。根據(jù)本發(fā)明的第二方面，可以解碼圖像。另外，根據(jù)本發(fā)明的第二方面，可以抑制附帶二次預(yù)測的預(yù)測效率降低。


圖1是示例了對于幀間預(yù)測的二次預(yù)測方法的圖。圖2是示例了應(yīng)用本發(fā)明的圖像編碼裝置的實(shí)施例配置的方框圖。圖3是示例了可變塊尺寸運(yùn)動預(yù)測和補(bǔ)償過程的方框圖。圖4是示例了 1/4像素精度的運(yùn)動預(yù)測和補(bǔ)償過程的圖。圖5是示例了多參考幀的運(yùn)動預(yù)測和補(bǔ)償方法的圖。圖6是示例了創(chuàng)建運(yùn)動向量信息的方法的實(shí)例的圖。
圖7是示例了圖2中二次預(yù)測單元的配置示例的方框圖。圖8是示例了對于二次預(yù)測由于小數(shù)像素精度的運(yùn)動向量導(dǎo)致的預(yù)測效率的降低的圖。圖9是示例了對于二次預(yù)測由于小數(shù)像素精度的運(yùn)動向量導(dǎo)致的預(yù)測效率的降低的圖。圖10是示例了圖2中圖像編碼裝置的編碼過程的流程圖。圖11是示例了圖10中步驟S21的預(yù)測過程的流程圖。圖12是示例了 16X16個像素的幀內(nèi)預(yù)測模式的情形中的過程序列的圖。圖13是示例了亮度信號的4X4個像素的幀內(nèi)預(yù)測模式的種類的圖。圖14是示例了亮度信號的4X4個像素的幀內(nèi)預(yù)測模式的種類的圖。圖15是示例了 4 X 4個像素的幀內(nèi)預(yù)測方向的圖。圖16是示例了 4 X 4個像素的幀內(nèi)預(yù)測的圖。圖17是示例了亮度信號的4X4個像素的幀內(nèi)預(yù)測模式的編碼的圖。圖18是示例了亮度信號的8X8個像素的幀內(nèi)預(yù)測模式的種類的圖。圖19是示例了亮度信號的8X8個像素的幀內(nèi)預(yù)測模式的種類的圖。圖20是示例了亮度信號的16X16個像素的幀內(nèi)預(yù)測模式的種類的圖。圖21是示例了亮度信號的16X16個像素的幀內(nèi)預(yù)測模式的種類的圖。圖22是示例了 16X 16個像素的幀內(nèi)預(yù)測的圖。圖23是示例了色差信號的幀內(nèi)預(yù)測模式的種類的圖。圖M是示例了圖11中步驟S31的幀內(nèi)預(yù)測過程的流程圖。圖25是示例了圖11中步驟S32的幀間運(yùn)動預(yù)測過程的流程圖。圖沈是示例了圖25中步驟S52的運(yùn)動預(yù)測和補(bǔ)償過程的流程圖。圖27是示例了應(yīng)用本發(fā)明的圖像解碼裝置的實(shí)施例的方框圖。圖觀是示例了圖27中二次預(yù)測單元的配置實(shí)例的方框圖。圖四是示例了圖27中的圖像解碼裝置的解碼過程的流程圖。圖30是示例了圖四中步驟S138的預(yù)測過程的流程圖。圖31是示例了圖30中步驟S180的二次幀間預(yù)測過程的流程圖。圖32是示例了計(jì)算機(jī)硬件的配置示例的方框圖。
具體實(shí)施例方式在下文中，將參考附圖來描述本發(fā)明的實(shí)施例。圖像編碼設(shè)備的配置示例圖2示出了作為應(yīng)用本發(fā)明的圖像處理設(shè)備的圖像編碼設(shè)備的一個實(shí)施例的配置。圖像編碼設(shè)備51利用H. 264和MPEG-4第10部分(高級視頻編碼)(下文中稱作 H. 264/AVC)方法對圖像進(jìn)行壓縮和編碼。在圖2所示的示例中，圖像編碼設(shè)備51包括模擬/數(shù)字轉(zhuǎn)換單元61、屏幕排序緩存器62、計(jì)算單元63、正交變換單元64、量化單元65、可逆編碼單元66、存儲緩存器67、逆量化單元68、逆正交變換單元69、計(jì)算單元70、去塊濾波器71、幀存儲器72、開關(guān)73、幀內(nèi)預(yù)測單元74、運(yùn)動補(bǔ)償單元75、二次預(yù)測單元76、運(yùn)動向量精度確定單元77、預(yù)測圖像選擇單元78和速率控制單元79。模擬/數(shù)字轉(zhuǎn)換單元61對輸入圖像進(jìn)行模擬/數(shù)字轉(zhuǎn)換，并將轉(zhuǎn)換后的圖像輸出到屏幕排序緩存器62來存儲該轉(zhuǎn)換后的圖像。屏幕排序緩存器62根據(jù)圖片組(G0P，GroUp Of Picture)將存儲的顯示順序的幀的圖像排序?yàn)榫哂芯幋a的幀的順序。計(jì)算單元63從自屏幕排序緩存器62讀出的圖像中減去從幀內(nèi)預(yù)測單元74提供的預(yù)測圖像或從運(yùn)動預(yù)測和補(bǔ)償單元75提供的預(yù)測圖像(預(yù)測圖像是由預(yù)測圖像選擇單元78所選擇的)，并將其差分信息輸出到正交變換單元64。正交變換單元64關(guān)于從計(jì)算單元63提供的差分信息執(zhí)行正交變換(諸如離散余弦變換或卡南洛伊夫(Karhimen-Loeve) 變換)，并輸出其變換系數(shù)。量化單元65對從正交變換單元64輸出的變換系數(shù)進(jìn)行量化。量化變換系數(shù)是來自量化單元65的輸出，它被輸入到可逆編碼單元66，并經(jīng)受諸如可變長度編碼和算術(shù)編碼之類的可逆編碼并且被壓縮。可逆編碼單元66從幀內(nèi)預(yù)測單元74獲得表示幀內(nèi)預(yù)測的信息，并且從運(yùn)動預(yù)測和補(bǔ)償單元75獲得表示幀間預(yù)測的信息等。此外，表示幀內(nèi)預(yù)測的信息和表示幀間預(yù)測的信息分別稱作幀內(nèi)預(yù)測模式信息和幀間預(yù)測模式信息?？赡婢幋a單元66對量化的變換系數(shù)進(jìn)行編碼，并對表示幀內(nèi)預(yù)測的信息或表示幀間預(yù)測模式的信息等進(jìn)行編碼，并且將編碼信息設(shè)置為壓縮圖像中的頭部信息的部分。 可逆編碼單元66將編碼數(shù)據(jù)提供給存儲緩存器67以將其存儲。例如，在可逆編碼單元66中，執(zhí)行可變長度編碼或算術(shù)編碼。關(guān)于可變長度編碼， 可以例舉H. 264/AVC方法中定義的上下文自適應(yīng)可變長度編碼(CAVLC，Context-Adaptive Variable Length Coding)等。關(guān)于算術(shù)編碼，可以例舉用上下文自適應(yīng)二進(jìn)制算術(shù)編碼 (CABAC, Context-Adaptive Binary Arithmetic Coding)等。存儲緩存器67將從可逆編碼單元66提供的數(shù)據(jù)作為通過H. 264/AVC方法編碼的壓縮圖像，輸出到記錄設(shè)備、傳輸路徑等。此外，從量化單元65輸出的量化變換系數(shù)還被輸入到逆量化單元68并被逆量化， 然后還在逆正交變換單元69中被逆正交變換。利用計(jì)算單元70將逆正交變換后的輸出和從預(yù)測圖像選擇單元78提供的預(yù)測圖像相加，并變?yōu)榫植拷獯a的圖像。去塊濾波器71將解碼圖像的塊失真去除并將該塊失真提供給幀存儲器72以將其存儲。在幀存儲器72中， 在其中還提供并存儲了經(jīng)受由去塊濾波器71進(jìn)行的去塊濾波處理之前的圖像。開關(guān)73將存儲在幀存儲器72中的參考圖像輸出給運(yùn)動預(yù)測和補(bǔ)償單元75或幀內(nèi)預(yù)測單元74。關(guān)于圖像編碼設(shè)備51，把從屏幕排序緩存器62提供的P圖片、B圖片和I圖片作為幀內(nèi)預(yù)測(也稱作幀內(nèi)處理)圖像提供給幀內(nèi)預(yù)測單元74。此外，把從屏幕排序緩存器 62讀出的B圖片和P圖片作為幀間預(yù)測(也稱作幀間處理)圖像提供給運(yùn)動預(yù)測和補(bǔ)償單元75。幀內(nèi)預(yù)測單元74基于從屏幕排序緩存器62讀出的幀內(nèi)預(yù)測圖像和從幀存儲器72 提供的參考圖像，來執(zhí)行成為候選的所有幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測處理，并生成預(yù)測圖像。此時(shí)，幀內(nèi)預(yù)測單元74關(guān)于成為候選的所有幀內(nèi)預(yù)測模式計(jì)算成本函數(shù)值，并選擇分配有所計(jì)算的成本函數(shù)值的最小值的幀內(nèi)預(yù)測模式作為最佳幀內(nèi)預(yù)測模式。
幀內(nèi)預(yù)測單元74將最佳幀內(nèi)預(yù)測模式下生成的預(yù)測圖像及其成本函數(shù)值提供給預(yù)測圖像選擇單元78。在由預(yù)測圖像選擇單元78選擇最佳幀內(nèi)預(yù)測模式下生成的預(yù)測圖像的情況下，幀內(nèi)預(yù)測單元74將表示最佳幀內(nèi)預(yù)測模式的信息提供給可逆編碼單元66?？赡婢幋a單元66對該信息進(jìn)行編碼，并將其設(shè)置為壓縮圖像中的頭部信息的部分。運(yùn)動預(yù)測和補(bǔ)償單元75執(zhí)行所有幀間預(yù)測模式的運(yùn)動預(yù)測和補(bǔ)償處理。S卩，在運(yùn)動預(yù)測和補(bǔ)償單元75中，提供了從屏幕排序緩存器62讀出并被幀間處理的圖像，并通過開關(guān)73提供了來自幀存儲器72的參考圖像。運(yùn)動預(yù)測和補(bǔ)償單元75基于經(jīng)幀間處理的圖像和參考圖像來檢測成為候選的所有幀間預(yù)測模式的運(yùn)動向量，基于該運(yùn)動向量對參考圖像執(zhí)行補(bǔ)償處理，并生成預(yù)測圖像。運(yùn)動預(yù)測和補(bǔ)償單元75將檢測到的運(yùn)動向量信息、經(jīng)幀間處理的圖像的信息(地址等)以及一次殘差(該一次殘差是經(jīng)幀間處理的圖像與所生成的預(yù)測圖像之間的差)提供給二次預(yù)測單元76。此外，運(yùn)動預(yù)測和補(bǔ)償單元75還將檢測到的運(yùn)動向量信息提供給運(yùn)動向量精度確定單元77。二次預(yù)測單元76基于從運(yùn)動預(yù)測和補(bǔ)償單元75提供的運(yùn)動向量信息和經(jīng)幀間處理的圖像的信息，從幀存儲器72讀出與要幀間處理的對象的對象塊相鄰的對象相鄰像素。 此外，二次預(yù)測單元76從幀存儲器72讀出與參考塊相鄰的參考相鄰像素，參考塊能夠通過運(yùn)動向量信息與對象塊相關(guān)聯(lián)。二次預(yù)測單元76根據(jù)參考相鄰確定單元77的確定結(jié)果來執(zhí)行二次預(yù)測。這里， 二次預(yù)測是在對象相鄰像素和參考相鄰像素的差與一次殘差之間執(zhí)行預(yù)測、并生成二次差分信息(二次殘差)的處理。二次預(yù)測單元76將通過二次預(yù)測處理生成的二次殘差輸出給運(yùn)動預(yù)測和補(bǔ)償單元75。此外，二次預(yù)測單元76即使在參考相鄰確定單元77的確定結(jié)果和二次預(yù)測的一種幀內(nèi)預(yù)測模式處于特定組合的情況下也執(zhí)行二次預(yù)測處理，生成二次殘差，并將其輸出給運(yùn)動預(yù)測和補(bǔ)償單元75。運(yùn)動向量精度確定單元77確定來自運(yùn)動預(yù)測和補(bǔ)償單元75的運(yùn)動向量信息的精度是整數(shù)像素精度還是小數(shù)像素精度，并將確定結(jié)果提供給二次預(yù)測單元76。運(yùn)動預(yù)測和補(bǔ)償單元75通過與來自二次預(yù)測單元76的二次殘差的比較來確定二次預(yù)測模式中最佳的幀內(nèi)預(yù)測模式。此外，運(yùn)動預(yù)測和補(bǔ)償單元75對二次殘差和一次殘差進(jìn)行比較，并確定是否執(zhí)行二次預(yù)測處理(即，對二次殘差進(jìn)行編碼，或者對一次殘差進(jìn)行編碼)。此外，該處理是關(guān)于成為候選的所有幀間預(yù)測模式而執(zhí)行的。此外，運(yùn)動預(yù)測和補(bǔ)償單元75關(guān)于成為候選的所有幀間預(yù)測模式計(jì)算成本函數(shù)值。此時(shí)，使用了針對一次殘差和二次殘差之間的每個幀間預(yù)測模式所確定的殘差，并確定了成本函數(shù)值。運(yùn)動預(yù)測和補(bǔ)償單元75確定分配有所計(jì)算的成本函數(shù)值之中的最小值的預(yù)測模式作為最佳預(yù)測模式。運(yùn)動預(yù)測和補(bǔ)償單元75將在最佳幀間預(yù)測模式下生成的預(yù)測圖像(或者經(jīng)幀間處理圖像與二次殘差之間的差)及其成本函數(shù)提供給預(yù)測圖像選擇單元78。在由預(yù)測圖像選擇單元78選擇在最佳幀間預(yù)測模式下生成的預(yù)測圖像的情況下，運(yùn)動預(yù)測和補(bǔ)償單元 75將表示最佳幀間預(yù)測模式的信息輸出給可逆編碼單元66。此時(shí)，運(yùn)動向量信息的信息、參考幀的信息、指示執(zhí)行二次預(yù)測的二次預(yù)測標(biāo)記、 以及二次預(yù)測中的幀內(nèi)預(yù)測模式的信息等被輸出到可逆編碼單元66?？赡婢幋a單元66關(guān)于來自運(yùn)動預(yù)測和補(bǔ)償單元75的信息執(zhí)行諸如可變長度編碼和算術(shù)編碼之類的可逆編碼處理，并將處理后的信息插入到壓縮圖像的頭部部分中。預(yù)測圖像選擇單元78基于從幀內(nèi)預(yù)測單元74或運(yùn)動預(yù)測和補(bǔ)償單元75輸出的每個成本函數(shù)值，來確定最佳幀內(nèi)預(yù)測模式和最佳幀間預(yù)測模式之間的最佳預(yù)測模式。預(yù)測圖像選擇單元78選擇所確定的最佳預(yù)測模式的預(yù)測圖像，并將其提供給計(jì)算單元63和 70。此時(shí)，預(yù)測圖像選擇單元78將預(yù)測圖像的選擇信息提供給幀內(nèi)預(yù)測單元74或運(yùn)動預(yù)測和補(bǔ)償單元75。速率控制單元79基于存儲在存儲緩存器67中的壓縮圖像來控制量化單元65的量化操作速率，以不發(fā)生上溢或下溢。H. 264/AVC方法的描述圖3是示出關(guān)于H. ^4/AVC方法的運(yùn)動預(yù)測補(bǔ)償?shù)膲K尺寸的示例的圖。在H. 264/ AVC方法中，使得塊尺寸為可變的，并執(zhí)行運(yùn)動預(yù)測補(bǔ)償。在圖3的上端，從左側(cè)依次示出了通過16X16像素、16X8像素、8X16像素和 8X8像素的分割區(qū)劃分的宏塊16X16像素。此外，在圖3的下端，從左側(cè)依次示出了通過 8 X 8像素、8 X 4像素、4 X 8像素和4 X 4像素的子分割區(qū)劃分的分割區(qū)8 X 8像素。SP，關(guān)于H. ^4/AVC方法，可以通過以16X16像素、16X8像素、8X16像素或者 8X8像素的若干分割區(qū)劃分一個宏塊而分別得到多條運(yùn)動向量信息。關(guān)于8X8像素的分割區(qū)，可以通過劃分為8X8像素、8X4像素、4X8像素或者4X4像素而分別得到多條運(yùn)動向量信息。圖4是示出關(guān)于H. 264/AVC方法的具有1/4像素精度的預(yù)測和補(bǔ)償處理的圖。在 H. 264/AVC方法中，執(zhí)行使用6抽頭的有限脈沖響應(yīng)(FIR, Finite Impulse Response)濾波器的、具有1/4像素精度的預(yù)測和補(bǔ)償處理。在圖4所示的示例中，位置A表示整數(shù)精度像素的位置，位置b、c和d表示1/2像素精度的位置，位置el、e2和e3表示1/4像素精度的位置。首先，在下文中，通過以下等式 (1)來定義ClipO。
權(quán)利要求
1.一種圖像處理裝置，包括二次預(yù)測單元，用于在對象幀中對象塊的運(yùn)動向量信息的精度是整數(shù)像素精度的情形中，在對象塊和在參考幀中通過運(yùn)動向量信息與對象塊關(guān)聯(lián)的參考塊之間的差分信息、以及與所述對象塊相鄰的對象相鄰像素和與所述參考塊相鄰的參考相鄰像素之間的差分信息之間執(zhí)行二次預(yù)測過程，以及生成二次差分信息；以及編碼單元，用于編碼所述二次預(yù)測單元生成的二次差分信息。
2.如權(quán)利要求1所述的圖像處理裝置，進(jìn)一步包括編碼效率確定單元，用于確定在所述二次預(yù)測單元生成的二次差分信息的編碼與對象圖像的差分信息的編碼之間哪個編碼效率較好，其中，只有在所述編碼效率確定單元確定所述二次差分信息的編碼效率較好的情形中，所述編碼單元對所述二次預(yù)測單元生成的二次差分信息以及表明執(zhí)行二次預(yù)測過程的二次預(yù)測標(biāo)志進(jìn)行編碼。
3.如權(quán)利要求2所述的圖像處理裝置，其中，在豎直方向上對象塊的運(yùn)動向量信息的精度是小數(shù)像素精度、以及二次預(yù)測過程中的幀內(nèi)預(yù)測模式是豎直預(yù)測模式的情形中，所述二次預(yù)測單元執(zhí)行二次預(yù)測過程。
4.如權(quán)利要求2所述的圖像處理裝置，其中，在水平方向上對象塊的運(yùn)動向量信息的精度是小數(shù)像素精度、以及二次預(yù)測過程中的幀內(nèi)預(yù)測模式是水平預(yù)測模式的情形中，所述二次預(yù)測單元執(zhí)行二次預(yù)測過程。
5.如權(quán)利要求2所述的圖像處理裝置，其中，在豎直方向和水平方向中至少一個上所述對象塊的運(yùn)動向量信息的精度是小數(shù)像素精度、以及二次預(yù)測過程中的幀內(nèi)預(yù)測模式是DC預(yù)測模式的情形中，所述二次預(yù)測單元執(zhí)行二次預(yù)測過程。
6.如權(quán)利要求1所述的圖像處理裝置， 其中，所述二次預(yù)測單元包括相鄰像素預(yù)測單元，用于通過使用所述對象相鄰像素與所述參考相鄰像素之間的差分信息執(zhí)行預(yù)測，以及用于生成針對對象塊的幀內(nèi)預(yù)測圖像，以及二次差分生成單元，用于通過對所述相鄰像素預(yù)測單元生成的幀內(nèi)預(yù)測圖像、所述對象塊和所述參考塊之間的差分信息進(jìn)行差分生成二次差分信息。
7.一種用于處理圖像的方法，包括步驟 允許圖像處理裝置 在對象幀中的對象塊的運(yùn)動向量信息的精度是整數(shù)像素精度的情形中，在和參考塊相鄰的參考相鄰像素與和對象塊相鄰的對象相鄰像素之間的差分信息、以及在參考幀中通過運(yùn)動向量信息與對象塊關(guān)聯(lián)的參考塊和對象塊之間的差分信息之間執(zhí)行二次預(yù)測過程，以及生成二次差分信息；以及編碼通過二次預(yù)測過程生成的二次差分信息。
8.一種圖像處理裝置，包括解碼單元，用于對在參考幀中針對對象塊檢測的運(yùn)動向量信息、以及在編碼的對象幀中的對象塊的圖像進(jìn)行解碼；二次預(yù)測單元，用于在所述解碼單元解碼的運(yùn)動向量信息表示整數(shù)像素精度的情形中，通過使用與在參考幀中通過運(yùn)動向量信息與對象塊關(guān)聯(lián)的參考塊相鄰的參考相鄰像素、以及和對象塊相鄰的對象相鄰像素之間的差分信息來執(zhí)行二次預(yù)測過程，以及用于生成預(yù)測圖像；以及計(jì)算單元，用于把根據(jù)運(yùn)動向量信息獲得的參考塊的圖像、所述二次預(yù)測單元生成的預(yù)測圖像、以及對象塊的圖像相加，以及用于生成對象塊的解碼圖像。
9.如權(quán)利要求8所述的圖像處理裝置，其中，所述二次預(yù)測單元獲取所述解碼單元解碼的、表明執(zhí)行二次預(yù)測過程的二次預(yù)測標(biāo)志，以及根據(jù)所述二次預(yù)測標(biāo)志執(zhí)行所述二次預(yù)測過程。
10.如權(quán)利要求9所述的圖像處理裝置，其中，在豎直方向上對象塊的運(yùn)動向量信息的精度是小數(shù)像素精度、以及二次預(yù)測過程中所述解碼單元解碼的幀內(nèi)預(yù)測模式是豎直預(yù)測模式的情形中，所述二次預(yù)測單元根據(jù)所述二次預(yù)測標(biāo)志執(zhí)行二次預(yù)測過程。
11.如權(quán)利要求9所述的圖像處理裝置，其中，在水平方向上對象塊的運(yùn)動向量信息的精度是小數(shù)像素精度、以及二次預(yù)測過程中所述解碼單元解碼的幀內(nèi)預(yù)測模式是水平預(yù)測模式的情形中，所述二次預(yù)測單元根據(jù)所述二次預(yù)測標(biāo)志執(zhí)行二次預(yù)測過程。
12.如權(quán)利要求9所述的圖像處理裝置，其中，在豎直方向和水平方向中至少一個上對象塊的運(yùn)動向量信息的精度是小數(shù)像素精度、以及二次預(yù)測過程中解碼單元解碼的幀內(nèi)預(yù)測模式是DC預(yù)測模式的情形中，所述二次預(yù)測單元根據(jù)所述二次預(yù)測標(biāo)志執(zhí)行二次預(yù)測過程。
13.一種用于處理圖像的方法，包括步驟允許圖像處理裝置對編碼的對象幀中的對象塊的圖像以及在參考幀中關(guān)于所述對象塊檢測的運(yùn)動向量信息進(jìn)行解碼；在解碼的運(yùn)動向量信息表示整數(shù)像素精度的情形中，通過使用與在參考幀中通過運(yùn)動向量信息與對象塊關(guān)聯(lián)的參考塊相鄰的參考相鄰像素、以及和對象塊相鄰的對象相鄰像素之間的差分信息執(zhí)行二次預(yù)測過程，以及生成預(yù)測圖像；以及把根據(jù)運(yùn)動向量信息獲得的參考塊的圖像、生成的預(yù)測圖像和對象塊的圖像相加，并生成對象塊的解碼圖像。
全文摘要
本發(fā)明涉及可以抑制附帶二次預(yù)測的預(yù)測效率降低的圖像處理裝置和方法。相鄰像素預(yù)測單元83通過使用對象相鄰像素與參考相鄰像素之間的差分執(zhí)行針對對象塊的幀內(nèi)預(yù)測，通過殘差信號生成預(yù)測圖像，以及把預(yù)測圖像輸出到二次殘差生成單元82。二次殘差生成單元82把作為一次殘差與通過殘差信號的預(yù)測圖像之間差分的二次殘差輸出到開關(guān)84。開關(guān)84只有在運(yùn)動向量精度確定單元77確定從運(yùn)動預(yù)測和補(bǔ)償單元75提供的運(yùn)動向量信息表示整數(shù)像素精度的情形中選擇二次殘差生成單元82側(cè)的一個端子以及把從二次殘差生成單元82提供的二次殘差輸出到運(yùn)動預(yù)測和補(bǔ)償單元75?？梢园驯景l(fā)明應(yīng)用于例如通過H.264/AVC方法執(zhí)行編碼的圖像編碼裝置。
文檔編號H04N7/32GK102396232SQ20108001747
公開日2012年3月28日 申請日期2010年4月22日 優(yōu)先權(quán)日2009年4月24日
發(fā)明者佐藤數(shù)史 申請人:索尼公司