專利名稱：圖像處理器和圖像處理方法
技術(shù)領(lǐng)域：
本公開涉及一種圖像處理器和圖像處理方法，并且更具體地，涉及一種抑制在幀內(nèi)預(yù)測中色差信號的相移的產(chǎn)生的圖像處理器和圖像處理方法。
背景技術(shù)：
近些年來，廣播電臺等的信息分發(fā)和普通家庭的信息接收雙方中如下設(shè)備正變得普及:該設(shè)備遵循數(shù)字地處理圖像信息、同時為了高效的信息的傳輸和累積、利用圖像信息特有的冗余通過正交變換(諸如離散余弦變換)和運(yùn)動補(bǔ)償來壓縮的諸如MPEG (運(yùn)動圖片專家組)的方案。具體地，MPEG2 (ISO (國際標(biāo)準(zhǔn)化組織)/IEC (國際電工技術(shù)委員會)13818_2)被定義為通用圖像編碼，并且是涵蓋了隔行掃描圖像和逐行掃描圖像、以及標(biāo)準(zhǔn)分辨率圖像和高清晰度圖像的標(biāo)準(zhǔn)，當(dāng)前廣泛地用于專業(yè)使用和消費(fèi)使用的廣泛而多樣的應(yīng)用。通過使用MPEG2壓縮，例如，對具有720X480像素的標(biāo)準(zhǔn)分辨率的隔行掃描圖像，分配4至8Mbps的編碼量(比特率)，并且對具有1920X1088像素的高清晰度的隔行掃描圖像，分配18至22Mbps的編碼量(比特率)，由此實(shí)現(xiàn)高壓縮率和良好圖像質(zhì)量。MPEG2主要針對適合于廣播的高圖像質(zhì)量編碼，但是不對應(yīng)于比MPEGl低的編碼量(比特率)、即更高的壓縮率的編碼。對于分布廣泛的移動電話終端，在未來上述編碼會增長，并且對應(yīng)于此，MPEG4編碼被標(biāo)準(zhǔn)化。關(guān)于圖 像編碼，IS0/IEC14496-2的規(guī)范在1998年12月被確認(rèn)為國際標(biāo)準(zhǔn)。此外，近年來，初始用于視頻會議的圖像編碼的目的，H.26L的標(biāo)準(zhǔn)(ITU-T (國際電信聯(lián)盟遠(yuǎn)程通信標(biāo)準(zhǔn)部)Q6/16VCEG (視頻編碼專家組))的標(biāo)準(zhǔn)化處于發(fā)展之中。理解盡管相比于過去的編碼(諸如MPEG2和MEPG4)，H.26L要求用于編碼和解碼的更大運(yùn)算量，但是，H.26L實(shí)現(xiàn)更高的編碼效率。此外，當(dāng)前，作為MPEG4活動的一部分，基于H.26L、還通過并入H.26L所不支持的功能，實(shí)現(xiàn)更高編碼效率的標(biāo)準(zhǔn)化被執(zhí)行為增強(qiáng)的壓縮視頻編碼的聯(lián)合模型。作為標(biāo)準(zhǔn)化的日程，H.26L標(biāo)準(zhǔn)以H.264和MPEG-4部分10 (高級視頻編碼，在下文中稱為AVC)的名稱在2003年3月成為國際標(biāo)準(zhǔn)。在AVC中，限定以宏塊和子宏塊作為編碼的處理單位(編碼單位)的層級結(jié)構(gòu)。然而，對于作為下一代編碼對象的、諸如UHD (超高清晰度；4000X2000像素)的大圖像幀，16像素X 16像素的宏塊尺寸不是最優(yōu)的。據(jù)此，在成為post AVC編碼的HEVC (高效視頻編碼)中，取代宏塊定義編碼單位(CU)作為編碼單位(例如，參照 Benjamin Bross, Woo-Jin Han, Jens-RainerOhm, Gary J.Sullivan, Thomas Wiegand，"Working Draft 4 of High-Efficiency VideoCoding"，JCTVC_F803—d2，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and IS0/IEC JTCl/SC29/WG116th Meeting:Torino，IT，14_22July，2011)在這樣的AVC和HEVC中，為幀內(nèi)預(yù)測準(zhǔn)備許多模式。作為它們中的一種，例如，提出了利用亮度信號和色差信號之間的相關(guān)關(guān)系的色差信號的幀內(nèi)預(yù)測(LM (線性模型)模式)(例如，參照 Jianle Chen, Vadim Seregin, Woo-Jin Han, JungsunKim, Byeongmoon Jeon, 〃CE6.a.4:Chroma intra prediction by reconstructed lumasamples", JCTVC-E266，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and ISO/IEC JTCl/SC29/WG115th Meeting:Geneva, 16_23March, 2011)。

發(fā)明內(nèi)容
然而，在輸入是亮度信號和色差信號彼此具有不同垂直分辨率的格式且還是交錯信號的情況下，亮度信號的相位和色差信號的相位以與亮度信號和色差信號具有彼此相同的垂直分辨率的格式的情況不同的方式偏移。因此，不考慮相位關(guān)系，以與亮度信號和色差信號具有彼此相同的垂直分辨率的格式的情況相似，存在如下風(fēng)險:在以LM模式執(zhí)行幀內(nèi)預(yù)測處理(可被稱為基于亮度的色差幀內(nèi)預(yù)測處理)時，在色差信號中產(chǎn)生相移。期望抑制幀內(nèi)預(yù)測中色差信號的相移的產(chǎn)生。一種根據(jù)本公開的實(shí)施例的圖像處理器包括:相移部，在對具有亮度信號和色差信號的不同垂直分辨率的交錯格式的圖像進(jìn)行場編碼時，根據(jù)作為處理對象的當(dāng)前場的類型以及亮度信號與色差信號的垂直分辨率比，偏移亮度信號的相位；預(yù)測圖像生成部，其使用具有相移部偏移的相位的亮度信號， 生成色差信號的幀內(nèi)預(yù)測圖像；以及編碼部，其使用預(yù)測圖像生成部生成的幀內(nèi)預(yù)測圖像，對該圖像進(jìn)行編碼。相移部可以分別偏移亮度解碼像素的相位和亮度周圍像素的相位，其中，亮度解碼像素是作為處理對象的當(dāng)前區(qū)域中的像素的亮度信號，亮度周圍像素是位于當(dāng)前區(qū)域周邊的周圍像素的亮度信號。圖像處理器還可以包括:相關(guān)系數(shù)生成部，其使用色差周圍像素和偏移周圍像素來生成相關(guān)系數(shù)，其中，色差周圍像素是周圍像素的色差信號，偏移周圍像素是具有相移部偏移的相位的亮度周圍像素。預(yù)測圖像生成部使用相關(guān)系數(shù)生成部生成的相關(guān)系數(shù)，根據(jù)作為具有相移部偏移的相位的亮度解碼像素的偏移解碼像素，生成色差信號的幀內(nèi)預(yù)測圖像。相移部可以根據(jù)當(dāng)前場的類型以及亮度信號與色差信號的垂直分辨率比來確定亮度信號的相位的偏移量和方向，并且將亮度信號的相位偏移所確定的偏移量和方向。相移部可以在亮度信號與色差信號的垂直分辨率比是2:1且當(dāng)前場是頂場的情況下，將亮度信號的相位偏移1/4相位，并且在亮度信號與色差信號的垂直分辨率比是2:1且當(dāng)前場是底場的情況下，將亮度信號的相位偏移3/4相位。相移部可以通過線性內(nèi)插實(shí)現(xiàn)亮度信號的相移。相移部可以通過FIR濾波器實(shí)現(xiàn)亮度信號的相移。相移部可以使用用于運(yùn)動補(bǔ)償?shù)?/4像素精度的濾波器作為FIR濾波器。圖像處理器還可以包括:場判定部，其對當(dāng)前場的類型進(jìn)行判定。相移部基于場判定部的判定結(jié)果，偏移亮度信號的相位。一種圖像處理器的根據(jù)本公開的另一實(shí)施例的圖像處理方法包括:在相移部中，在對具有亮度信號和色差信號的不同垂直分辨率的交錯格式的圖像進(jìn)行場編碼時，根據(jù)作為處理對象的當(dāng)前場的類型以及亮度信號與色差信號的垂直分辨率比，偏移亮度信號的相位；在預(yù)測圖像生成部中，使用具有偏移的相位的亮度信號，生成色差信號的幀內(nèi)預(yù)測圖像；以及在編碼部中，使用所生成的幀內(nèi)預(yù)測圖像來對圖像進(jìn)行編碼。一種根據(jù)本公開的又一實(shí)施例的圖像處理器包括:解碼部，其對如下編碼數(shù)據(jù)進(jìn)行解碼，在編碼數(shù)據(jù)中，具有亮度信號和色差信號的不同垂直分辨率的交錯格式的圖像被場編碼；相移部，其根據(jù)通過解碼部解碼編碼數(shù)據(jù)而獲得的、該圖像與該圖像的預(yù)測圖像之間的差分圖像的、作為處理對象的當(dāng)前場的類型以及亮度信號與色差信號的垂直分辨率t匕，偏移亮度信號的相位；預(yù)測圖像生成部，其使用具有相移部偏移的相位的亮度信號，生成色差信號的幀內(nèi)預(yù)測圖像；以及運(yùn)算部，其將預(yù)測圖像生成部生成的幀內(nèi)預(yù)測圖像加到差分圖像并且復(fù)原該圖像。相移部可以分別偏移亮度解碼像素的相位和亮度周圍像素的相位，其中，亮度解碼像素是作為處理對象的當(dāng)前區(qū)域中的像素的亮度信號，亮度周圍像素是位于當(dāng)前區(qū)域周邊的周圍像素的亮度信號。圖像處理器還可以包括:相關(guān)系數(shù)生成部，其使用色差周圍像素和偏移周圍像素來生成相關(guān)系數(shù)，其中，色差周圍像素是周圍像素的色差信號，偏移周圍像素是具有相移部偏移的相位的亮度周圍像素。預(yù)測圖像生成部使用相關(guān)系數(shù)生成部生成的相關(guān)系數(shù)，根據(jù)作為具有相移部偏移的相位的亮度解碼像素的偏移解碼像素，生成色差信號的幀內(nèi)預(yù)測圖像。 相移部可以根據(jù)當(dāng)前場的類型以及亮度信號與色差信號的垂直分辨率比來確定亮度信號的相位的偏移量和方向，并且將亮度信號的相位偏移所確定的偏移量和方向。相移部可以在亮度信號與色差信號的垂直分辨率比是2:1且當(dāng)前場是頂場的情況下，將亮度信號的相位偏移1/4相位，并且在亮度信號與色差信號的垂直分辨率比是2:1且當(dāng)前場是底場的情況下，將亮度信號的相位偏移3/4相位。相移部可以通過線性內(nèi)插實(shí)現(xiàn)亮度信號的相移。相移部可以通過FIR濾波器實(shí)現(xiàn)亮度信號的相移。相移部可以使用用于運(yùn)動補(bǔ)償?shù)?/4像素精度的濾波器作為FIR濾波器。圖像處理器還可以包括:場判定部，其對當(dāng)前場的類型進(jìn)行判定。相移部基于場判定部的判定結(jié)果，偏移亮度信號的相位。一種圖像處理器的根據(jù)本公開的還一實(shí)施例的圖像處理方法包括:在解碼部中，對如下編碼數(shù)據(jù)進(jìn)行解碼，在編碼數(shù)據(jù)中，具有亮度信號和色差信號的不同垂直分辨率的交錯格式的圖像被場編碼；在相移部中，根據(jù)通過解碼編碼數(shù)據(jù)而獲得的、該圖像與該圖像的預(yù)測圖像之間的差分圖像的、作為處理對象的當(dāng)前場的類型以及亮度信號與色差信號的垂直分辨率比，偏移亮度信號的相位；在預(yù)測圖像生成部中，使用具有偏移的相位的亮度信號，生成色差信號的幀內(nèi)預(yù)測圖像；以及在運(yùn)算部中，將所生成的幀內(nèi)預(yù)測圖像加到差分圖像并且生成該圖像。根據(jù)本公開的還一實(shí)施例，在對具有亮度信號和色差信號的不同垂直分辨率的交錯格式的圖像進(jìn)行場編碼時，根據(jù)作為處理對象的當(dāng)前場的類型以及亮度信號與色差信號的垂直分辨率比，偏移亮度信號的相位；使用具有偏移的相位的亮度信號，生成色差信號的幀內(nèi)預(yù)測圖像；以及使用所生成的幀內(nèi)預(yù)測圖像，對該圖像進(jìn)行編碼。
根據(jù)本公開的還一實(shí)施例，對如下編碼數(shù)據(jù)進(jìn)行解碼，在編碼數(shù)據(jù)中，具有亮度信號和色差信號的不同垂直分辨率的交錯格式的圖像被場編碼；根據(jù)通過解碼編碼數(shù)據(jù)而獲得的、該圖像與該圖像的預(yù)測圖像之間的差分圖像的、作為處理對象的當(dāng)前場的類型以及亮度信號與色差信號的垂直分辨率比，偏移亮度信號的相位；使用具有偏移的相位的亮度信號，生成色差信號的幀內(nèi)預(yù)測圖像；以及通過將所生成的幀內(nèi)預(yù)測圖像加到差分圖像來生成該圖像。根據(jù)本公開的實(shí)施例，可以處理圖像。具體地，可以抑制幀內(nèi)預(yù)測中色差分量的相移的產(chǎn)生。


圖1是示出圖像編碼器的主要配置示例的框圖；圖2示出了編碼單元的配置示例；圖3示出了 LM中的相移的示例；圖4示出了基于場的編碼處理；圖5示出了亮度信號與色差信號之間的相位關(guān)系的示例；

圖6A和6B示出了色差信號的相移的示例；圖7是示出基于亮度的色差信號幀內(nèi)預(yù)測部的主要配置示例的框圖；圖8是說明編碼處理的流程示例的流程圖；圖9是說明幀內(nèi)預(yù)測處理的流程示例的流程圖；圖10是說明基于亮度的色差幀內(nèi)預(yù)測處理的流程示例的流程圖；圖11是示出圖像解碼器的主要配置示例的框圖；圖12是示出基于亮度的色差幀內(nèi)預(yù)測部的主要配置示例的框圖；圖13是示出解碼處理的流程示例的流程圖；圖14是說明預(yù)測處理的流程示例的流程圖；圖15是說明幀內(nèi)預(yù)測處理的流程示例的流程圖；圖16是示出計(jì)算機(jī)的主要配置示例的框圖；圖17是示出電視設(shè)備的主要配置示例的框圖；圖18是示出移動電話的主要配置示例的框圖；圖19是示出記錄器/再現(xiàn)器的主要配置示例的框圖；以及圖20是示出成像器的主要配置示例的框圖。
具體實(shí)施例方式以下描述本公開的實(shí)施例(在下文中，稱為實(shí)施例)。以下面順序給出描述。1.第一實(shí)施例(圖像編碼器)2.第二實(shí)施例(圖像解碼器)3.第三實(shí)施例(計(jì)算機(jī))4.第四實(shí)施例(電視設(shè)備)5.第五實(shí)施例(移動電話)6.第六實(shí)施例(記錄器/再現(xiàn)器)
7.第七實(shí)施例(成像器)〈1.第一實(shí)施例>[圖像編碼器]圖1是示出作為應(yīng)用本技術(shù)的實(shí)施例的圖像處理器的圖像編碼器的主要配置示例的框圖。

圖1中示出的圖像編碼器100例如如HEVC (高效視頻編碼)編碼和H.264以及MPEG (運(yùn)動圖片專家組)4部分10 (AVC (高級視頻編碼))編碼對動態(tài)圖片圖像的圖像數(shù)據(jù)進(jìn)行編碼。如圖1所示，圖像編碼器100具有A/D轉(zhuǎn)換部101、畫面排序緩沖器102、運(yùn)算部103、正交變換部104、量化部105、無損編碼部106以及累積緩沖器107。圖像編碼器100還具有逆量化部108、逆正交變換部109、運(yùn)算部110、環(huán)路濾波器111、幀存儲器112、選擇部113、幀內(nèi)預(yù)測部114、運(yùn)動估計(jì)和補(bǔ)償部115、預(yù)測圖像選擇部116以及碼率控制部117。A/D轉(zhuǎn)換部101對輸入的圖像數(shù)據(jù)進(jìn)行A/D轉(zhuǎn)換，以將在轉(zhuǎn)換后的圖像數(shù)據(jù)(數(shù)字?jǐn)?shù)據(jù))提供至畫面排序緩沖器102以用于存儲。畫面排序緩沖器102根據(jù)GOP (圖片組)將存儲的顯示順序的幀圖像排序成用于編碼的幀順序，以將排序后的幀順序的圖像提供至運(yùn)算部103。畫面排序緩沖器102對于要成為編碼處理的處理單位(編碼單位)的每個預(yù)定子區(qū)域?qū)⒚總€幀圖像提供至運(yùn)算部103。類似地對于每個子區(qū)域，畫面排序緩沖器102還將排序的幀順序的圖像提供至幀內(nèi)預(yù)測部114以及運(yùn)動估計(jì)和補(bǔ)償部115。運(yùn)算部103從由畫面排序緩沖器102讀取的圖像中減去經(jīng)由預(yù)測圖像選擇部116從幀內(nèi)預(yù)測部114或運(yùn)動估計(jì)和補(bǔ)償部115提供的預(yù)測圖像，以將差分信息輸出至正交變換部104。例如，在經(jīng)受幀內(nèi)編碼的圖像的情況下，運(yùn)算部103從由畫面排序緩沖器102讀取的圖像中減去從幀內(nèi)預(yù)測部114提供的預(yù)測圖像。此外，在經(jīng)受幀間編碼的圖像的情況下，例如，運(yùn)算部103從由畫面排序緩沖器102讀取的圖像中減去從運(yùn)動估計(jì)和補(bǔ)償部115提供的預(yù)測圖像。正交變換部104將諸如離散余弦變換和Karhunen Loeve變換的正交變換應(yīng)用到從運(yùn)算部103提供的差分信息。正交變換的方法是可選的。正交變換部104將通過正交變換獲得的變換系數(shù)提供至量化部105。量化部105量化從正交變換部104提供的變換系數(shù)。量化部105將量化的變換系數(shù)提供至無損編碼部106。無損編碼部106以可選的編碼方案對在量化部105中量化的變換系數(shù)進(jìn)行編碼，以生成編碼數(shù)據(jù)(比特流)。由于在碼率控制部117的控制下量化系數(shù)數(shù)據(jù)，因此編碼數(shù)據(jù)中的編碼量成為碼率控制部117設(shè)置的目標(biāo)值(或者接近目標(biāo)值)。無損編碼部106還從幀內(nèi)預(yù)測部114獲得包括示出用于幀內(nèi)預(yù)測的模式的信息等的幀內(nèi)預(yù)測信息，并且從運(yùn)動估計(jì)和補(bǔ)償部115獲得包括示出用于幀間預(yù)測的模式的信息、運(yùn)動向量信息等的幀間預(yù)測信息。此外，無損編碼部106獲得在環(huán)路濾波器111中使用的濾波系數(shù)等。無損編碼部106以可選的編碼方案對這些各種類型信息進(jìn)行編碼以包括(復(fù)用)在編碼數(shù)據(jù)(比特流)中。無損編碼部106將所生成的編碼數(shù)據(jù)提供至累積緩沖器107以用于累積。無損編碼部106中的編碼可包括例如可變長度編碼和算術(shù)編碼。可變長度編碼可例如包括H.264/AVC方案中限定的CAVLC (基于上下文的自適應(yīng)可變長度編碼)。算術(shù)編碼可例如包括CABAC (基于上下文的自適應(yīng)二進(jìn)制算術(shù)編碼)。累積緩沖器107暫時保存從無損編碼部106提供的編碼數(shù)據(jù)。累積緩沖器107在預(yù)定定時將在其中保存的編碼數(shù)據(jù)作為比特流輸出至例如在后段未示出的記錄設(shè)備(記錄介質(zhì))、傳輸線路等。即，將各種類型編碼信息提供至對通過圖像編碼器100編碼圖像數(shù)據(jù)而獲得的編碼數(shù)據(jù)進(jìn)行解碼的設(shè)備(在下文中，可稱為解碼側(cè)設(shè)備)(例如，稍后描述的圖11中的圖像解碼器200)。量化部105中量化的變換系數(shù)還提供至逆量化部108。逆量化部108以與通過量化部105進(jìn)行的量化相對應(yīng)的方法，逆量化所量化的變換系數(shù)。逆量化部108將所獲得的變換系數(shù)提供至逆正交變換部109。逆正交變換部109以與通過正交變 換部104進(jìn)行的正交變換相對應(yīng)的方法，對從逆量化部108提供的變換系數(shù)進(jìn)行逆正交變換。逆正交變換的輸出(本地解碼的差分信息)提供至運(yùn)算部110。運(yùn)算部110將從幀內(nèi)預(yù)測部114或者運(yùn)動估計(jì)和補(bǔ)償部115經(jīng)由預(yù)測圖像選擇部116提供的預(yù)測圖像加至從逆正交變換部109提供的逆正交變換結(jié)果(換句話說，本地解碼的差分信息)，以獲得本地重構(gòu)圖像(在下文中，稱為重構(gòu)圖像)。重構(gòu)圖像提供至環(huán)路濾波器111或者幀存儲器112。環(huán)路濾波器111包括去塊效應(yīng)濾波器、自適應(yīng)環(huán)路濾波器等，并且適當(dāng)?shù)貙V波處理應(yīng)用至從運(yùn)算部110提供的重構(gòu)圖像。例如，環(huán)路濾波器111將去塊效應(yīng)濾波處理應(yīng)用至重構(gòu)圖像，由此消除重構(gòu)圖像中的塊失真。此外，例如，環(huán)路濾波器111還使用Wiener濾波器將環(huán)路濾波處理應(yīng)用至去塊效應(yīng)濾波處理結(jié)果(經(jīng)受消除塊失真的重構(gòu)圖像)，由此改進(jìn)圖像質(zhì)量。環(huán)路濾波器111也可將其它可選的濾波處理進(jìn)一步應(yīng)用至重構(gòu)圖像。環(huán)路濾波器111還可以如所期望將諸如用于濾波處理的濾波系數(shù)的信息提供至無損編碼部106以用于編碼。環(huán)路濾波器111將濾波處理結(jié)果(在下文中，稱為解碼圖像)提供至幀存儲器112。幀存儲器112分別存儲從運(yùn)算部110提供的重構(gòu)圖像和從環(huán)路濾波器111提供的解碼圖像。幀存儲器112在預(yù)定定時或者基于從諸如幀內(nèi)預(yù)測部114的外部的請求，經(jīng)由選擇部113將存儲在其中的重構(gòu)圖像提供至幀內(nèi)預(yù)測部114。幀存儲器112還在預(yù)定定時或者基于從諸如運(yùn)動估計(jì)和補(bǔ)償部115的外部的請求，經(jīng)由選擇部113將存儲在其中的解碼圖像提供至運(yùn)動估計(jì)和補(bǔ)償部115。選擇部113示出從幀存儲器112輸出的圖像的提供目的地。例如，在幀內(nèi)預(yù)測的情況下，選擇部113從幀存儲器112讀取未經(jīng)受濾波處理的圖像(重構(gòu)圖像)，以將其作為周圍圖像提供至幀內(nèi)預(yù)測部114。此外，例如，在幀間預(yù)測的情況下，選擇部113從幀存儲器112讀取經(jīng)受濾波處理的圖像(解碼圖像)，以將其作為參考圖像提供至運(yùn)動估計(jì)和補(bǔ)償部115。若從幀存儲器112獲得位于處理目標(biāo)區(qū)域周邊的周圍區(qū)域中的圖像(周圍圖像)，則幀內(nèi)預(yù)測部114使用周圍圖像的像素值并且使基本的預(yù)測單位(PU)作為處理單位，執(zhí)行幀內(nèi)預(yù)測(巾貞內(nèi)預(yù)測)以生成預(yù)測圖像。幀內(nèi)預(yù)測部114以預(yù)先準(zhǔn)備的多個模式(幀內(nèi)預(yù)測模式)執(zhí)行幀內(nèi)預(yù)測。S卩，幀內(nèi)預(yù)測部114以所有的候選幀內(nèi)預(yù)測模式生成預(yù)測圖像，使用從畫面排序緩沖器102提供的輸入圖像來評估每個預(yù)測圖像的成本函數(shù)值，并且選擇最優(yōu)模式。若選擇最優(yōu)幀內(nèi)預(yù)測模式，則幀內(nèi)預(yù)測部114將以最優(yōu)模式生成的預(yù)測圖像提供至預(yù)測圖像選擇部116。幀內(nèi)預(yù)測部114還將包括與幀內(nèi)預(yù)測相關(guān)的信息的幀內(nèi)預(yù)測信息(諸如最優(yōu)幀內(nèi)預(yù)測模式)適當(dāng)?shù)靥峁┲翢o損編碼部106以用于編碼。 運(yùn)動估計(jì)和補(bǔ)償部115使用從畫面排序緩沖器102提供的輸入圖像和從幀存儲器112提供的參考圖像、以及使基本的(幀間PU)作為處理單位，執(zhí)行運(yùn)動估計(jì)(幀間預(yù)測)，并且根據(jù)所檢測的運(yùn)動向量執(zhí)行運(yùn)動補(bǔ)償處理以生成預(yù)測圖像(幀間預(yù)測圖像信息)。運(yùn)動估計(jì)和補(bǔ)償部115以預(yù)先準(zhǔn)備的多個模式(幀間預(yù)測模式)執(zhí)行這樣的幀間預(yù)測。S卩，運(yùn)動估計(jì)和補(bǔ)償部115以所有的候選幀間預(yù)測模式生成預(yù)測圖像，評估每個預(yù)測圖像的成本函數(shù)值，并且選擇最優(yōu)模式。若選擇最優(yōu)幀間預(yù)測模式，則運(yùn)動估計(jì)和補(bǔ)償部115將以最優(yōu)模式生成的預(yù)測圖像提供至預(yù)測圖像選擇部116。運(yùn)動估計(jì)和補(bǔ)償部115還將包括與幀間預(yù)測相關(guān)的信息的幀間預(yù)測信息(諸如最優(yōu)幀間預(yù)測模式)提供至無損編碼部106以用于編碼。預(yù)測圖像選擇部116選擇要提供至運(yùn)算部103和運(yùn)算部110的預(yù)測圖像的提供源。例如，在幀內(nèi)編碼的情況下，預(yù)測圖像選擇部116選擇幀內(nèi)預(yù)測部114作為預(yù)測圖像的提供源，并且將從幀內(nèi)預(yù)測部114提供的預(yù)測圖像提供至運(yùn)算部103和運(yùn)算部110。此外，例如，在幀間編碼的情況下，預(yù)測圖像選擇部116選擇運(yùn)動估計(jì)和補(bǔ)償部115作為預(yù)測圖像的提供源，并且將從運(yùn)動估計(jì)和補(bǔ)償部115提供的預(yù)測圖像提供至運(yùn)算部103和運(yùn)算部110。碼率控制部117基于累積緩沖器107中累積的編碼數(shù)據(jù)的編碼量來控制量化部105的量化動作的碼率，以不生成上溢或下溢。此外，圖像編碼器100具有場判定部121和基于亮度的色差幀內(nèi)預(yù)測部122。在輸入至圖像編碼器100的圖像數(shù)據(jù)的格式是具有亮度信號和色差信號的不同垂直分辨率的交錯格式的情況，場判定部121從畫面排序緩沖器102獲得輸入圖像。場判定部121對所獲得的輸入圖像中的、作為處理對象的當(dāng)前場的類型進(jìn)行判定。場判定部121將示出判定結(jié)果的信息提供至基于亮度的色差幀內(nèi)預(yù)測部122。基于亮度的色差幀內(nèi)預(yù)測部122對于經(jīng)受幀內(nèi)預(yù)測部114執(zhí)行的幀內(nèi)預(yù)測的處理的當(dāng)前區(qū)域，執(zhí)行色差信號的幀內(nèi)預(yù)測。在該情況下，基于亮度的色差幀內(nèi)預(yù)測部122利用亮度信號和色差信號之間的相關(guān)性，執(zhí)行在其中使用亮度信號來生成色差信號的預(yù)測圖像、LM模式的幀內(nèi)預(yù)測(基于亮度的色差幀內(nèi)預(yù)測)。基于亮度的色差幀內(nèi)預(yù)測部122在基于亮度的色差幀內(nèi)預(yù)測中根據(jù)從場判定部121提供的場判定的結(jié)果和亮度信號與色差信號的垂直分辨率比，對亮度信號進(jìn)行相移，以生成色差信號的預(yù)測圖像?；诹炼鹊纳顜瑑?nèi)預(yù)測部122將所生成的預(yù)測圖像作為幀內(nèi)預(yù)測結(jié)果返回至幀內(nèi)預(yù)測部114。幀內(nèi)預(yù)測部114選擇包括這個模式的最優(yōu)幀內(nèi)預(yù)測模式。[編碼單元]在AVC中，限定了具有作為編碼的處理單位(編碼單位)的宏塊和子宏塊的層級結(jié)構(gòu)。然而，對于作為下一代編碼對象的、諸如UHD (超高清晰度；4000X2000像素)的大圖像幀，16像素X 16像素的宏塊尺寸不是最優(yōu)的。根據(jù)其，在成為post AVC編碼的HEVC (高效視頻編碼)中，取代宏塊限定編碼單位(CU)作為編碼單位。編碼單位(⑶)也被稱作編碼樹塊(CTB)，并且是完成與AVC中宏塊相同的作用的圖片單位的圖像的多層結(jié)構(gòu)中的子區(qū)域。即，CU是用于編碼處理的單位(編碼單位)。宏塊的尺寸被固定為16X16像素，CU的尺寸未被固定，并且在各自序列的圖像壓縮信息中被指定。具體地，具有最大尺寸的⑶被稱作最大編碼單位(IXU)，并且具有最小尺寸的⑶被稱為最小編碼單位(SCU)。換句話說，LCU是最大編碼單位,而SCU是最小編碼單位。例如，在圖像壓縮信息中包含的 序列參數(shù)集中指定這些區(qū)域的尺寸，其中它們分別被限定為正方形、并且尺寸表示為2的冪。即，某階層的(正方形的)⑶通過2X2被四分割的每個區(qū)域成為層級中下一級的(正方形的)⑶。圖2示出HEVC中限定的編碼單位的示例。在圖2的示例中，IXU的尺寸是128(2N (N=64))，并且最大層級深度成為5 (深度=4)。在分割標(biāo)志的值是“I”的情況下，具有2NX2N的尺寸的⑶被分割成層級中下一級具有NXN尺寸的⑶。此外，⑶被分割成作為幀內(nèi)或幀間預(yù)測的處理單位的區(qū)域(圖片單位的圖像的子區(qū)域)的預(yù)測單位(PU)，并且還被分割成作為正交變換的處理單位的區(qū)域(圖片單位的圖像的子區(qū)域)的變換單位(TU)。在幀間預(yù)測的PU (幀間預(yù)測單位)的情況下，對于具有2NX2N的尺寸的CU，可以設(shè)置2NX2N、2NXN、NX2N以及NXN的四類尺寸。即，對于一個⑶，可以限定具有與⑶相同尺寸的一個PU、通過縱向或橫向?qū)U分割成兩個而獲得的兩個PU、或者分別通過縱向和橫向?qū)U劃分為兩個而獲得的四個TO。圖像編碼器100使這樣的圖片單位的圖像的子區(qū)域作為處理單位來執(zhí)行編碼相關(guān)的每個處理。以下給出圖像編碼器100使HEVC中限定的CU作為編碼單位的情況的描述。BP, IXU成為最大編碼單位，而S⑶成為最小編碼單位。應(yīng)注意，通過圖像編碼器100進(jìn)行的編碼的每個處理的處理單位不局限于此，并且是可選的。例如，在AVC中限定的宏塊和子宏塊也可以是處理單位。在以下的描述中，“(子)區(qū)域”包括上述所有各種類型區(qū)域(例如，宏塊、子宏塊、IXU、⑶、S⑶、PU、TU等)(也可以是它們中任何一個)。當(dāng)然，也可包括除以上之外的單位，并且根據(jù)描述的內(nèi)容適當(dāng)?shù)叵贿m合的單位。[基于亮度的色差幀內(nèi)預(yù)測]亮度信號和色差信號彼此相關(guān)聯(lián)，并且利用這個關(guān)系，提議使用亮度信號來執(zhí)行色差信號的幀內(nèi)預(yù)測的基于亮度的色差幀內(nèi)預(yù)測。例如，以下使用通過如圖3中示出的示例那樣垂直地1/2相移亮度信號的解碼圖像ReCL[x，y]而獲得的RecL’ [x，y]，如公式(I)來計(jì)算色差信號的幀內(nèi)預(yù)測圖像Predc [X，y]。Predc[x, y] = a.Rec1/ [x, y] + β...(I)這里，如以下公式(2)，通過線性內(nèi)插來執(zhí)行根據(jù)RecJxj]的RecJ [x, y]的計(jì)算。Rec1/ [X，y] = (RecL[2x, 2y]+RecL[2x, 2y+l]) > > I...(2)如以下公式(3)和(4)，使用對于每個塊的亮度信號和色差信號的相鄰像素值，計(jì)算公式(I)中的系數(shù)a和β的值。
權(quán)利要求
1.一種圖像處理器，其包括: 相移部，在對具有亮度信號和色差信號的不同垂直分辨率的交錯格式的圖像進(jìn)行場編碼時，根據(jù)作為處理對象的當(dāng)前場的類型以及所述亮度信號與所述色差信號的垂直分辨率t匕，偏移所述亮度信號的相位； 預(yù)測圖像生成部，其使用具有所述相移部偏移的相位的所述亮度信號，生成所述色差信號的幀內(nèi)預(yù)測圖像；以及 編碼部，其使用所述預(yù)測圖像生成部生成的所述幀內(nèi)預(yù)測圖像，對所述圖像進(jìn)行編碼。
2.根 據(jù)權(quán)利要求1所述的圖像處理器，其中 所述相移部分別偏移亮度解碼像素的相位和亮度周圍像素的相位，其中，所述亮度解碼像素是作為處理對象的當(dāng)前區(qū)域中的像素的所述亮度信號，所述亮度周圍像素是位于所述當(dāng)前區(qū)域周邊的周圍像素的所述亮度信號。
3.根據(jù)權(quán)利要求2所述的圖像處理器，還包括: 相關(guān)系數(shù)生成部，其使用色差周圍像素和偏移周圍像素來生成相關(guān)系數(shù)，其中，所述色差周圍像素是所述周圍像素的所述色差信號，所述偏移周圍像素是具有所述相移部偏移的相位的所述亮度周圍像素；其中 所述預(yù)測圖像生成部使用所述相關(guān)系數(shù)生成部生成的所述相關(guān)系數(shù)，根據(jù)作為具有所述相移部偏移的相位的所述亮度解碼像素的偏移解碼像素，生成所述色差信號的幀內(nèi)預(yù)測圖像。
4.根據(jù)權(quán)利要求1所述的圖像處理器，其中 所述相移部根據(jù)所述當(dāng)前場的類型以及所述亮度信號與所述色差信號的垂直分辨率比來確定所述亮度信號的相位的偏移量和方向，并且將所述亮度信號的相位偏移所確定的偏移量和方向。
5.根據(jù)權(quán)利要求4所述的圖像處理器，其中 所述相移部在所述亮度信號與所述色差信號的垂直分辨率比是2:1且所述當(dāng)前場是頂場的情況下，將所述亮度信號的相位偏移1/4相位，并且在所述亮度信號與所述色差信號的垂直分辨率比是2:1且所述當(dāng)前場是底場的情況下，將所述亮度信號的相位偏移3/4相位。
6.根據(jù)權(quán)利要求1所述的圖像處理器，其中 所述相移部通過線性內(nèi)插實(shí)現(xiàn)所述亮度信號的相移。
7.根據(jù)權(quán)利要求1所述的圖像處理器，其中 所述相移部通過有限沖擊響應(yīng)FIR濾波器實(shí)現(xiàn)所述亮度信號的相移。
8.根據(jù)權(quán)利要求7所述的圖像處理器，其中 所述相移部使用用于運(yùn)動補(bǔ)償?shù)?/4像素精度的濾波器作為所述FIR濾波器。
9.根據(jù)權(quán)利要求1所述的圖像處理器，還包括: 場判定部，其對所述當(dāng)前場的類型進(jìn)行判定；其中 所述相移部基于所述場判定部的判定結(jié)果，偏移所述亮度信號的相位。
10.一種圖像處理器的圖像處理方法，其包括: 在相移部中，在對具有亮度信號和色差信號的不同垂直分辨率的交錯格式的圖像進(jìn)行場編碼時，根據(jù)作為處理對象的當(dāng)前場的類型以及所述亮度信號與所述色差信號的垂直分辨率比，偏移所述亮度信號的相位； 在預(yù)測圖像生成部中，使用具有偏移的相位的所述亮度信號，生成所述色差信號的幀內(nèi)預(yù)測圖像；以及 在編碼部中，使用所生成的所述幀內(nèi)預(yù)測圖像來對所述圖像進(jìn)行編碼。
11.一種圖像處理器，其包括: 解碼部，其對如下編碼數(shù)據(jù)進(jìn)行解碼，在所述編碼數(shù)據(jù)中，具有亮度信號和色差信號的不同垂直分辨率的交錯格式的圖像被場編碼； 相移部，其根據(jù)通過所述解碼部解碼所述編碼數(shù)據(jù)而獲得的、所述圖像與所述圖像的預(yù)測圖像之間的差分圖像的、作為處理對象的當(dāng)前場的類型以及所述亮度信號與所述色差信號的垂直分辨率比，偏移所述亮度信號的相位； 預(yù)測圖像生成部，其使用具有所述相移部偏移的相位的所述亮度信號，生成所述色差信號的幀內(nèi)預(yù)測圖像；以及 運(yùn)算部，其將所述預(yù)測圖像生成部生成的所述幀內(nèi)預(yù)測圖像加到所述差分圖像并且復(fù)原所述圖像。
12.根據(jù)權(quán)利要求11所述的圖像處理器，其中 所述相移部分別偏移亮度解碼像素的相位和亮度周圍像素的相位，其中，所述亮度解碼像素是作為處理對象的當(dāng)前區(qū)域中的像素的所述亮度信號，所述亮度周圍像素是位于所述當(dāng)前區(qū)域周邊的周圍像素的所述亮度信號。
13.根據(jù)權(quán)利 要求12所述的圖像處理器，還包括: 相關(guān)系數(shù)生成部，其使用色差周圍像素和偏移周圍像素來生成相關(guān)系數(shù)，其中，所述色差周圍像素是所述周圍像素的所述色差信號，所述偏移周圍像素是具有所述相移部偏移的相位的所述亮度周圍像素；其中 所述預(yù)測圖像生成部使用所述相關(guān)系數(shù)生成部生成的所述相關(guān)系數(shù)，根據(jù)作為具有所述相移部偏移的相位的所述亮度解碼像素的偏移解碼像素，生成所述色差信號的幀內(nèi)預(yù)測圖像。
14.根據(jù)權(quán)利要求11所述的圖像處理器，其中 所述相移部根據(jù)所述當(dāng)前場的類型以及所述亮度信號與所述色差信號的垂直分辨率比來確定所述亮度信號的相位的偏移量和方向，并且將所述亮度信號的相位偏移所確定的偏移量和方向。
15.根據(jù)權(quán)利要求14所述的圖像處理器，其中 所述相移部在所述亮度信號與所述色差信號的垂直分辨率比是2:1且所述當(dāng)前場是頂場的情況下，將所述亮度信號的相位偏移1/4相位，并且在所述亮度信號與所述色差信號的垂直分辨率比是2:1且所述當(dāng)前場是底場的情況下，將所述亮度信號的相位偏移3/4相位。
16.根據(jù)權(quán)利要求11所述的圖像處理器，其中 所述相移部通過線性內(nèi)插實(shí)現(xiàn)所述亮度信號的相移。
17.根據(jù)權(quán)利要求11所述的圖像處理器，其中 所述相移部通過有限沖擊響應(yīng)FIR濾波器實(shí)現(xiàn)所述亮度信號的相移。
18.根據(jù)權(quán)利要求17所述的圖像處理器，其中所述相移部使用用于運(yùn)動補(bǔ)償?shù)?/4像素精度的濾波器作為所述FIR濾波器。
19.根據(jù)權(quán)利要求11所述的圖像處理器，還包括: 場判定部，其對所述當(dāng)前場的類型進(jìn)行判定；其中 所述相移部基于所述場判定部的判定結(jié)果，偏移所述亮度信號的相位。
20.一種圖像處理器的圖像處理方法，其包括: 在解碼部中，對如下編碼數(shù)據(jù)進(jìn)行解碼，在所述編碼數(shù)據(jù)中，具有亮度信號和色差信號的不同垂直分辨率的交錯格式的圖像被場編碼； 在相移部中，根據(jù)通過解碼所述編碼數(shù)據(jù)而獲得的、所述圖像與所述圖像的預(yù)測圖像之間的差分圖像的、作為處理對象的當(dāng)前場的類型以及所述亮度信號與所述色差信號的垂直分辨率比，偏移所述亮度信號的 相位； 在預(yù)測圖像生成部中，使用具有偏移的相位的所述亮度信號，生成所述色差信號的幀內(nèi)預(yù)測圖像；以及 在運(yùn)算部中，將所生成的所述幀內(nèi)預(yù)測圖像加到所述差分圖像并且復(fù)原所述圖像。
全文摘要
本發(fā)明涉及一種圖像處理器和圖像處理方法，該圖像處理器包括相移部，在對具有亮度信號和色差信號的不同垂直分辨率的交錯格式的圖像進(jìn)行場編碼時，根據(jù)作為處理對象的當(dāng)前場的類型以及亮度信號與色差信號的垂直分辨率比，偏移亮度信號的相位；預(yù)測圖像生成部，其使用具有相移部偏移的相位的亮度信號，生成色差信號的幀內(nèi)預(yù)測圖像；以及編碼部，其使用預(yù)測圖像生成部生成的幀內(nèi)預(yù)測圖像，對該圖像進(jìn)行編碼。
文檔編號H04N7/50GK103220512SQ20131001123
公開日2013年7月24日 申請日期2013年1月11日 優(yōu)先權(quán)日2012年1月19日
發(fā)明者佐藤數(shù)史 申請人:索尼公司