【技術(shù)領(lǐng)域】

本發(fā)明關(guān)于圖像/視頻數(shù)據(jù)的處理，尤其關(guān)于在與殘余量信號(hào)相關(guān)的不同信道之間處理圖像/視頻數(shù)據(jù)的方法及裝置。

背景技術(shù)：

圖像壓縮與視頻壓縮已被廣泛用于降低與各個(gè)圖像及視頻數(shù)據(jù)相關(guān)的所需存儲(chǔ)空間或帶寬?；緢D像(underlyingimage)或視頻數(shù)據(jù)通常包含多個(gè)信道(channel)。舉例來(lái)說(shuō)，在數(shù)碼相機(jī)應(yīng)用中，通常使用紅(r)、綠(g)和藍(lán)(b)色彩陣列的圖像傳感器(imagesensor)來(lái)采集原始圖像(rawimage)。當(dāng)rgb色彩為采集或顯示應(yīng)用提供方便的格式(format)來(lái)表示彩色圖像或視頻時(shí)，不得不平等地對(duì)待三個(gè)顏色信道來(lái)存儲(chǔ)或傳輸，而這可能并不是有效的。在圖像及視頻編碼領(lǐng)域，廣泛使用了各種亮度/色度(luminance/chrominance)色彩格式，其中每一色彩格式對(duì)應(yīng)于一個(gè)亮度分量及兩個(gè)色度分量。舉例來(lái)說(shuō)，yuv或ycrcb色彩格式在各種圖像及視頻壓縮標(biāo)準(zhǔn)中已被使用。由于人類視覺(jué)對(duì)色度信號(hào)較不敏感，因此能以較低的空間分辨率表示色度信號(hào)(即u/cb及v/cr)，在視覺(jué)品質(zhì)上沒(méi)有劣化或只有較小劣化。也有亮度/色度色彩格式的其他變形。舉例來(lái)說(shuō)，在no.7155055的美國(guó)專利中揭示的ycocg色彩格式及在no.6044172的美國(guó)專利中揭示的可逆yuv色彩格式使用簡(jiǎn)化的色彩變換矩陣(colortransformmatrix)，這樣一來(lái)在rgb及ycocg/整數(shù)yuv格式之間只使用整數(shù)運(yùn)算(integeroperation)來(lái)轉(zhuǎn)換信號(hào)。在貝爾模板(bayerpattern)中的rgb與ycocg色彩格式之間也有一種色彩格式轉(zhuǎn)換，如公開(kāi)號(hào)no.us2006/0083432的美國(guó)專利申請(qǐng)中所揭示。在典型的圖像/視頻壓縮系統(tǒng)中，壓縮程序分別應(yīng)用于各個(gè)亮度及色度信道。

在基本色彩格式(primarycolorformat)及亮度/色度格式之間的色彩轉(zhuǎn)換涉及到基于像素的運(yùn)算，其中該轉(zhuǎn)換用一組線性方程式(即轉(zhuǎn)換矩陣)來(lái)表示。當(dāng)亮度/色度格式移除基本色彩格式中初始圖像或視頻的不同信道間的若干冗余量時(shí)，在亮度/色度格式中不同信道間仍然有大量的相關(guān)性。對(duì)于亮度/色度格式中的圖像或視頻，有需要利用不同信道間的冗余量。此外，當(dāng)利用不同信道間的冗余量時(shí)，有需要降低對(duì)現(xiàn)有圖像或視頻壓縮系統(tǒng)的影響。

圖1為圖像壓縮系統(tǒng)如數(shù)碼相機(jī)的范例。圖像傳感器110用來(lái)采集原始圖像數(shù)據(jù)120。圖像壓縮器130接收原始圖像數(shù)據(jù)120并應(yīng)用圖像壓縮來(lái)產(chǎn)生壓縮圖像數(shù)據(jù)140。通常，圖像壓縮應(yīng)用于亮度/色度色彩格式(如yuv)中的圖像數(shù)據(jù)。因此，在圖像壓縮器130中執(zhí)行色彩轉(zhuǎn)換，將原始圖像首先轉(zhuǎn)換成亮度/色度格式，接著將圖像壓縮應(yīng)用于各個(gè)信道。圖2為用于傳輸或接口應(yīng)用(例如mipi(移動(dòng)行業(yè)處理器接口)，dsi(顯示器串行接口)及hdmi(高清晰多媒體接口)，wi-fi顯示或藍(lán)牙)的圖像壓縮的范例。方塊圖200a對(duì)應(yīng)于發(fā)射器端，其中從發(fā)射器210接收原始圖像數(shù)據(jù)220。在機(jī)頂盒與hdtv(高清晰度電視)組之間的hdmi接口范例中，發(fā)射器對(duì)應(yīng)于機(jī)頂盒以及接收器對(duì)應(yīng)于hdtv組。圖像壓縮器230將原始圖像數(shù)據(jù)壓縮成壓縮圖像數(shù)據(jù)240。接著該壓縮圖像數(shù)據(jù)在媒質(zhì)例如物理電纜或無(wú)線鏈路上傳輸。方塊圖220b對(duì)應(yīng)于接收器端，其中在媒質(zhì)上接收壓縮圖像數(shù)據(jù)250。接著該壓縮圖像數(shù)據(jù)由圖像解壓縮器260解壓縮以恢復(fù)原始圖像數(shù)據(jù)270。接著將該恢復(fù)的原始圖像數(shù)據(jù)提供至接收器280以顯示出來(lái)。

圖3為圖像壓縮系統(tǒng)的示范性方塊圖。系統(tǒng)300a對(duì)應(yīng)于基于空間預(yù)測(cè)的壓縮系統(tǒng)。具有3個(gè)信道的初始圖像310被量化處理。初始圖像可對(duì)應(yīng)于rgb格式中的色彩像素。使用3x3轉(zhuǎn)換矩陣將初始圖像轉(zhuǎn)換為亮度/色度色彩格式，例如yuv。在矩陣轉(zhuǎn)換之后，輸入量化320將結(jié)果量化至固定的數(shù)據(jù)深度，例如8比特或10比特。空間預(yù)測(cè)330a接著被應(yīng)用于各個(gè)信道以產(chǎn)生剩余量數(shù)據(jù)(residuedata)，該剩余量數(shù)據(jù)接著由熵編碼350a壓縮以產(chǎn)生壓縮數(shù)據(jù)。在圖像及視頻編碼領(lǐng)域中空間預(yù)測(cè)眾所周知。舉例來(lái)說(shuō)，圖像可被分成多個(gè)塊，并且基于已被處理的相鄰塊可以預(yù)測(cè)每一塊。系統(tǒng)300b對(duì)應(yīng)于基于頻率變換(frequencytransform)的壓縮系統(tǒng)，其中頻率變換340b應(yīng)用于量化后圖像數(shù)據(jù)。舉例來(lái)說(shuō)，離散余弦變換(dct)可被應(yīng)用至各個(gè)信道。變換系數(shù)通常被量化(用于變換系數(shù)的量化器在系統(tǒng)330b中未明確顯示)并接著由熵編碼350b來(lái)編碼以產(chǎn)生壓縮圖像數(shù)據(jù)。用于頻率變換后數(shù)據(jù)的量化器通常用于比特率控制目的。系統(tǒng)300c為基于空間預(yù)測(cè)及頻率變換的壓縮系統(tǒng)，其中頻率變換340c應(yīng)用于來(lái)自空間預(yù)測(cè)330c的殘余量信號(hào)。變換系數(shù)被量化(用于變換系數(shù)的量化器在系統(tǒng)330c中未明確顯示)并接著由熵編碼350c來(lái)編碼以產(chǎn)生壓縮圖像數(shù)據(jù)。在圖3中，由空間預(yù)測(cè)330a、頻率變換340b，或者空間預(yù)測(cè)330c與頻率變換340c兩者來(lái)產(chǎn)生殘余量信號(hào)。圖3所示的系統(tǒng)是為了說(shuō)明在圖像壓縮系統(tǒng)中產(chǎn)生殘余量信號(hào)的范例。還有很多其他方式來(lái)產(chǎn)生用于圖像壓縮的殘余量信號(hào)。舉例來(lái)說(shuō)，圖像壓縮系統(tǒng)可使用小波或金字塔技術(shù)來(lái)形成殘余量信號(hào)。本發(fā)明并非限于圖3所示的圖像壓縮系統(tǒng)。

圖4為視頻壓縮系統(tǒng)的示范性方塊圖，其中該系統(tǒng)包含對(duì)應(yīng)于三個(gè)輸入信道的三個(gè)源數(shù)據(jù)信道(410a-410c)。由方塊420的各個(gè)幀內(nèi)/幀間預(yù)測(cè)來(lái)預(yù)測(cè)源數(shù)據(jù)信道。使用減法器412a-412c，殘余量信號(hào)(414a-414c)對(duì)應(yīng)于源數(shù)據(jù)信道與各個(gè)預(yù)測(cè)之間的差異。在本領(lǐng)域中幀內(nèi)/幀間預(yù)測(cè)眾所周知。舉例來(lái)說(shuō)，在mpeg-2、h.264/avc及新興的hevc(高性能視頻編碼)編碼標(biāo)準(zhǔn)中，使用了幀內(nèi)/幀間形式。對(duì)于每一圖像區(qū)域例如宏塊、最大編碼單元(lcu)、切片(slice)或圖片，通常是自適應(yīng)地選擇幀內(nèi)預(yù)測(cè)及幀間預(yù)測(cè)。幀間預(yù)測(cè)可包含運(yùn)動(dòng)估計(jì)以利用視頻序列中圖像間的時(shí)間冗余度。當(dāng)殘余量產(chǎn)生過(guò)程已降低每一輸入信道內(nèi)的冗余量時(shí)，殘余量信號(hào)(414a-414c)可能不是適合于熵編碼的形式。通常，殘余量信號(hào)經(jīng)歷進(jìn)一步的處理以將信號(hào)轉(zhuǎn)換為適合于熵編碼的符號(hào)。舉例來(lái)說(shuō)，由圖4所示的二維變換及量化(t/q450a-450c)進(jìn)一步處理殘余量信號(hào)。這種用于編碼器端的進(jìn)一步處理在本發(fā)明中被稱為編碼過(guò)程。相應(yīng)地，二維變換、量化、或者二維變換與量化的結(jié)合是編碼過(guò)程的范例。用于圖像編碼的頻率變換例如dct，可用作視頻壓縮的二維變換。其他二維變換，例如整數(shù)變換，也可用來(lái)為視頻應(yīng)用實(shí)現(xiàn)高計(jì)算效率。接著使用熵編碼器470壓縮量化后的變換系數(shù)以產(chǎn)生壓縮視頻輸出。熵編碼器通常將數(shù)據(jù)符號(hào)壓縮成壓縮比特流。舉例來(lái)說(shuō)，數(shù)據(jù)符號(hào)對(duì)應(yīng)于量化后的變換系數(shù)。在本領(lǐng)域中眾所周知該數(shù)據(jù)符號(hào)也可包含其他編碼信息。

編碼器端也需要重建編碼后的視頻以形成預(yù)測(cè)。相應(yīng)地，逆編碼程序不得不被應(yīng)用于數(shù)據(jù)符號(hào)以恢復(fù)殘余量信號(hào)。舉例來(lái)說(shuō)，來(lái)自t/q450a-450c的量化后的變換系數(shù)由反量化及逆二維變換(iq/it460a-460c)處理以產(chǎn)生恢復(fù)后的殘余量信號(hào)(444a-444c)。使用加法器442a-442c將iq/it處理后的信號(hào)加入來(lái)自幀內(nèi)/幀間預(yù)測(cè)420的先前的預(yù)測(cè)信號(hào)，以形成重建后的信號(hào)。在重建后的信號(hào)被儲(chǔ)存進(jìn)幀緩沖器430a-430c之前，重建后的信號(hào)由回路濾波器440a-440c處理以降低編碼失真，供幀內(nèi)/幀間預(yù)測(cè)420以后使用。圖4為編碼器端基于殘余量信號(hào)重建圖像或視頻數(shù)據(jù)的重建回路的范例，其中重建回路包含加法器(442a-442c)、回路濾波器(440a-440c)、幀緩沖器(430a-430c)以及使用幀內(nèi)/幀間預(yù)測(cè)(方塊420部分)的重建。然而，一個(gè)編碼系統(tǒng)可使用不同的系統(tǒng)分區(qū)(systempartition)。舉例來(lái)說(shuō)，在編碼器端的重建回路中也可包含反量化以基于殘余量信號(hào)來(lái)重建圖像或視頻數(shù)據(jù)。在圖4中，使用減法器412a-412c從源數(shù)據(jù)信道及幀內(nèi)/幀間預(yù)測(cè)產(chǎn)生殘余量信號(hào)，在t/q450a-450c及iq/it460a-460c處理之后再生該殘余量信號(hào)。有許多其他方式來(lái)產(chǎn)生用于視頻壓縮的殘余量信號(hào)。本發(fā)明并非限于圖4所示的視頻壓縮系統(tǒng)。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明提供處理圖像/視頻數(shù)據(jù)的方法及裝置。

本發(fā)明實(shí)施例提供一種處理圖像數(shù)據(jù)或視頻數(shù)據(jù)的方法，包含：接收包含壓縮數(shù)據(jù)的比特流，該壓縮數(shù)據(jù)對(duì)應(yīng)于該圖像數(shù)據(jù)或該視頻數(shù)據(jù)，其中該圖像數(shù)據(jù)或該視頻數(shù)據(jù)對(duì)應(yīng)于多個(gè)輸入信道；對(duì)該比特流應(yīng)用熵解碼，恢復(fù)與殘余量變換后數(shù)據(jù)相關(guān)的數(shù)據(jù)符號(hào)，其中該殘余量變換后數(shù)據(jù)對(duì)應(yīng)于多個(gè)輸出信道；對(duì)與該數(shù)據(jù)符號(hào)相關(guān)的第一數(shù)據(jù)應(yīng)用逆殘余量變換，獲得與殘余量數(shù)據(jù)相關(guān)的逆殘余量變換輸出，該殘余量數(shù)據(jù)與多個(gè)輸入信道相關(guān)，其中依據(jù)應(yīng)用于多個(gè)輸入信道間該殘余量數(shù)據(jù)的一組整數(shù)運(yùn)算，該殘余量變換后數(shù)據(jù)與該殘余量數(shù)據(jù)相關(guān)；以及對(duì)與該逆殘余量變換輸出相關(guān)的第二數(shù)據(jù)應(yīng)用重建過(guò)程，重建該圖像數(shù)據(jù)或該視頻數(shù)據(jù)。

本發(fā)明又一實(shí)施例提供一種處理圖像數(shù)據(jù)或視頻數(shù)據(jù)的方法，包含：接收該圖像數(shù)據(jù)或該視頻數(shù)據(jù)，其中該圖像數(shù)據(jù)或該視頻數(shù)據(jù)對(duì)應(yīng)于多個(gè)輸入信道；對(duì)每一輸入信道各自應(yīng)用殘余量產(chǎn)生過(guò)程，產(chǎn)生與每一輸入信道相關(guān)的殘余量數(shù)據(jù)；依據(jù)一組整數(shù)運(yùn)算，對(duì)與該殘余量數(shù)據(jù)相關(guān)的第一數(shù)據(jù)應(yīng)用殘余量變換，其中該組整數(shù)運(yùn)算被應(yīng)用至多個(gè)輸入信道間的該殘余量數(shù)據(jù)，產(chǎn)生具有多個(gè)輸出信道的殘余量變換后數(shù)據(jù)；以及對(duì)與該殘余量變換后數(shù)據(jù)相關(guān)的數(shù)據(jù)符號(hào)應(yīng)用熵編碼，產(chǎn)生包含壓縮數(shù)據(jù)的比特流，該壓縮數(shù)據(jù)對(duì)應(yīng)于該圖像數(shù)據(jù)或該視頻數(shù)據(jù)。

本發(fā)明另一實(shí)施例提供一種處理圖像數(shù)據(jù)或視頻數(shù)據(jù)的裝置，包含：接收裝置，用于接收包含壓縮數(shù)據(jù)的比特流，該壓縮數(shù)據(jù)對(duì)應(yīng)于圖像數(shù)據(jù)或視頻數(shù)據(jù)，其中該圖像數(shù)據(jù)或該視頻數(shù)據(jù)對(duì)應(yīng)于多個(gè)輸入信道；熵解碼裝置，用于對(duì)該比特流應(yīng)用熵解碼，恢復(fù)與殘余量變換后數(shù)據(jù)相關(guān)的數(shù)據(jù)符號(hào)，其中該殘余量變換后數(shù)據(jù)對(duì)應(yīng)于多個(gè)輸出信道；逆殘余量變換裝置，用于對(duì)與該數(shù)據(jù)符號(hào)相關(guān)的第一數(shù)據(jù)應(yīng)用逆殘余量變換，獲得與殘余量數(shù)據(jù)相關(guān)的逆殘余量變換輸出，該殘余量數(shù)據(jù)與多個(gè)輸入信道相關(guān)，其中依據(jù)應(yīng)用于多個(gè)輸入信道間該殘余量數(shù)據(jù)的一組整數(shù)運(yùn)算，該殘余量變換后數(shù)據(jù)與該殘余量數(shù)據(jù)相關(guān)；以及重建裝置，用于對(duì)與該逆殘余量變換輸出相關(guān)的第二數(shù)據(jù)應(yīng)用重建過(guò)程，重建該圖像數(shù)據(jù)或該視頻數(shù)據(jù)。

本發(fā)明再一實(shí)施例提供一種處理圖像數(shù)據(jù)或視頻數(shù)據(jù)的裝置，包含：接收裝置，用于接收?qǐng)D像數(shù)據(jù)或視頻數(shù)據(jù)，其中該圖像數(shù)據(jù)或該視頻數(shù)據(jù)對(duì)應(yīng)于多個(gè)輸入信道；殘余量產(chǎn)生裝置，用于對(duì)每一輸入信道各自應(yīng)用殘余量產(chǎn)生過(guò)程，產(chǎn)生與每一輸入信道相關(guān)的殘余量數(shù)據(jù)；殘余量變換裝置，用于依據(jù)一組整數(shù)運(yùn)算，對(duì)與該殘余量數(shù)據(jù)相關(guān)的第一數(shù)據(jù)應(yīng)用殘余量變換，其中該組整數(shù)運(yùn)算被應(yīng)用至多個(gè)輸入信道間的該殘余量數(shù)據(jù)，產(chǎn)生具有多個(gè)輸出信道的殘余量變換后數(shù)據(jù)；以及熵編碼裝置，用于對(duì)與該殘余量變換后數(shù)據(jù)相關(guān)的數(shù)據(jù)符號(hào)應(yīng)用熵編碼，產(chǎn)生包含壓縮數(shù)據(jù)的比特流，該壓縮數(shù)據(jù)對(duì)應(yīng)于該圖像數(shù)據(jù)或該視頻數(shù)據(jù)。

上述處理圖像/視頻數(shù)據(jù)的方法及裝置可利用殘余量信號(hào)不同信道間的冗余量。

【附圖說(shuō)明】

圖1為傳統(tǒng)圖像編碼系統(tǒng)的示范性方塊圖。

圖2為用于發(fā)射器及接收器之間接口應(yīng)用的傳統(tǒng)圖像壓縮系統(tǒng)的示范性方塊圖。

圖3為傳統(tǒng)圖像編碼系統(tǒng)的處理流程的范例，其中使用空間預(yù)測(cè)、頻率變換、或者空間預(yù)測(cè)與頻率變換兩者來(lái)產(chǎn)生殘余量數(shù)據(jù)。

圖4為具有三個(gè)信道的傳統(tǒng)視頻編碼系統(tǒng)的示范性方塊圖，其中使用幀內(nèi)/幀間預(yù)測(cè)來(lái)產(chǎn)生殘余量數(shù)據(jù)。

圖5為依據(jù)本發(fā)明實(shí)施例的對(duì)應(yīng)于圖像編碼系統(tǒng)的處理流程的范例，其中對(duì)殘余量數(shù)據(jù)應(yīng)用殘余量變換。

圖6為依據(jù)本發(fā)明實(shí)施例的對(duì)應(yīng)于視頻編碼系統(tǒng)的處理流程的范例，其中對(duì)殘余量數(shù)據(jù)應(yīng)用殘余量變換。

圖7為依據(jù)本發(fā)明實(shí)施例的對(duì)應(yīng)于視頻編碼系統(tǒng)的處理流程的另一范例，其中對(duì)二維變換及量化后殘余量數(shù)據(jù)應(yīng)用殘余量變換。

圖8為簡(jiǎn)化的圖7視頻編碼系統(tǒng)，其中在編碼器端去除了逆殘余量變換。

圖9為依據(jù)本發(fā)明實(shí)施例的殘余量產(chǎn)生過(guò)程及殘余量變換過(guò)程的范例。

圖10為殘余量變換后數(shù)據(jù)的熵編碼過(guò)程及對(duì)應(yīng)于來(lái)自熵編碼的多個(gè)信道的交錯(cuò)輸出。

圖11為依據(jù)本發(fā)明實(shí)施例的對(duì)應(yīng)于圖像解碼系統(tǒng)的處理流程的范例，其中應(yīng)用逆殘余量變換以恢復(fù)殘余量數(shù)據(jù)。

圖12為依據(jù)本發(fā)明實(shí)施例的對(duì)應(yīng)于視頻解碼系統(tǒng)的處理流程的范例，其中應(yīng)用逆殘余量變換以恢復(fù)殘余量變換后數(shù)據(jù)，該殘余量變換后數(shù)據(jù)來(lái)自逆二維變換及逆量化后方塊。

圖13為依據(jù)本發(fā)明實(shí)施例的對(duì)應(yīng)于視頻解碼系統(tǒng)的處理流程的范例，其中應(yīng)用逆殘余量變換以恢復(fù)來(lái)自熵解碼器的殘余量變換后數(shù)據(jù)。

圖14為依據(jù)本發(fā)明實(shí)施例的圖像或視頻解碼器的示范性工作流程圖。

圖15為依據(jù)本發(fā)明實(shí)施例的圖像或視頻編碼器的示范性工作流程圖。

【具體實(shí)施方式】

如上所述，傳統(tǒng)色彩轉(zhuǎn)換過(guò)程將來(lái)自基本色彩空間(primarycolorspace)的初始圖像或視頻數(shù)據(jù)轉(zhuǎn)換成亮度/色度空間。當(dāng)亮度/色度空間中的圖像或視頻數(shù)據(jù)提供(render)有效的色彩代表時(shí)，在亮度/色度格式中不同信道間仍然有高度的相關(guān)性。相應(yīng)地，本發(fā)明使用殘余量變換(residuetransform)，利用了殘余量信號(hào)中不同信道間的冗余量。然而，本發(fā)明可應(yīng)用于具有多個(gè)輸入信道的任意圖像或視頻。舉例來(lái)說(shuō)，本發(fā)明也可用于與rgb信道相關(guān)的殘余量數(shù)據(jù)。

圖5為用于圖像壓縮系統(tǒng)的本發(fā)明實(shí)施例。系統(tǒng)500a對(duì)應(yīng)于基于空間預(yù)測(cè)的壓縮系統(tǒng)。具有三個(gè)信道的初始圖像510由輸入量化520及空間預(yù)測(cè)530a處理，以產(chǎn)生殘余量信號(hào)。該殘余量信號(hào)接著由殘余量變換550a處理以產(chǎn)生殘余量變換后信號(hào)，該殘余量變換后信號(hào)由熵編碼560a壓縮以產(chǎn)生壓縮數(shù)據(jù)。圖5所示的系統(tǒng)500a使用殘余量變換進(jìn)一步降低了不同信道間的冗余量并實(shí)現(xiàn)了更高的壓縮效率。系統(tǒng)500b對(duì)應(yīng)于基于頻率變換的壓縮系統(tǒng)。具有三個(gè)信道的初始圖像510由輸入量化520及頻率變換540b處理以產(chǎn)生殘余量信號(hào)。該殘余量信號(hào)接著由殘余量變換550b處理以產(chǎn)生殘余量變換后信號(hào)，該殘余量變換后信號(hào)由熵編碼560b壓縮以產(chǎn)生壓縮數(shù)據(jù)。系統(tǒng)500c對(duì)應(yīng)于基于空間預(yù)測(cè)及頻率變換的壓縮系統(tǒng)。具有三個(gè)信道的初始圖像510由輸入量化520、空間預(yù)測(cè)530c及頻率變換540c處理以產(chǎn)生殘余量信號(hào)。該殘余量信號(hào)接著由殘余量變換550c處理以產(chǎn)生殘余量變換后信號(hào)，該殘余量變換后信號(hào)由熵編碼560c壓縮以產(chǎn)生壓縮數(shù)據(jù)。在熵編碼對(duì)殘余量變換后信號(hào)編碼之前，從輸入量化520分離的量化過(guò)程可被作為比特率控制的一種方式。該量化過(guò)程可嵌入殘余量變換中，作為殘余量變換的部分功能。當(dāng)量化步長(zhǎng)很大時(shí)，量化過(guò)程可能引入量化誤差，其會(huì)表現(xiàn)為重建后圖像中的編碼噪聲。此外，上述殘余量變換對(duì)應(yīng)于無(wú)損處理。

圖6為用于視頻壓縮系統(tǒng)的本發(fā)明實(shí)施例，其中殘余量變換被應(yīng)用于圖4中的視頻編碼系統(tǒng)，該殘余量變換對(duì)應(yīng)于無(wú)損處理。。殘余量變換610應(yīng)用于來(lái)自減法器412a-412c的殘余量信號(hào)(414a-414c)。該變換后的殘余量信號(hào)接著由t/q650a-650c處理以產(chǎn)生數(shù)據(jù)符號(hào)，且使用熵編碼器630壓縮該數(shù)據(jù)符號(hào)以產(chǎn)生壓縮比特流。如前所述，也必須在編碼器端產(chǎn)生重建后的視頻用于幀內(nèi)/幀間預(yù)測(cè)。相應(yīng)地，逆編碼過(guò)程，即iq/it660a-660c應(yīng)用于數(shù)據(jù)符號(hào)以恢復(fù)變換后的殘余量信號(hào)。接著該變換后的殘余量信號(hào)由逆殘余量變換620處理以恢復(fù)殘余量信號(hào)。接著使用加法器442a-442c將恢復(fù)的殘余量信號(hào)(444a-444c)加入來(lái)自幀內(nèi)/幀間預(yù)測(cè)420的先前的預(yù)測(cè)信號(hào)，以形成重建后的信號(hào)。殘余量變換的使用將能夠降低不同信道間的冗余量。因此，依據(jù)本發(fā)明實(shí)施例的圖6中的系統(tǒng)實(shí)現(xiàn)了較好的壓縮效率。

圖7為用于視頻壓縮系統(tǒng)的本發(fā)明實(shí)施例，其中殘余量變換被應(yīng)用于圖4的視頻編碼系統(tǒng)，該殘余量變換對(duì)應(yīng)于無(wú)損處理。除了殘余量變換710被應(yīng)用于由t/q450a-450c處理的殘余量信號(hào)外，圖7中的系統(tǒng)結(jié)構(gòu)類似于圖6中的系統(tǒng)結(jié)構(gòu)。接著使用熵編碼器730壓縮殘余量變換后信號(hào)，以產(chǎn)生壓縮視頻數(shù)據(jù)輸出。對(duì)于重建回路，逆殘余量變換720被用來(lái)恢復(fù)t/q處理過(guò)的信號(hào)。接著iq/it處理逆殘余量變換后的信號(hào)以恢復(fù)殘余量信號(hào)。圖7的系統(tǒng)可通過(guò)消除逆殘余量變換的需求來(lái)簡(jiǎn)化，如圖8所示。取代使用逆殘余量變換來(lái)恢復(fù)殘余量變換后的信號(hào)，該殘余量變換后的信號(hào)對(duì)應(yīng)于t/q處理過(guò)的信號(hào)，iq/it過(guò)程可直接接收來(lái)自t/q輸出的信號(hào)，如圖4所示。相應(yīng)地，在圖8的系統(tǒng)中無(wú)需逆殘余量變換。

圖5至圖8所示的范例使用三個(gè)信道。然而，本發(fā)明可被應(yīng)用于具有兩個(gè)或多個(gè)信道的任意圖像或視頻系統(tǒng)。此外，信道不必對(duì)應(yīng)于亮度及色度分量。本發(fā)明可應(yīng)用于其他色彩格式。舉例來(lái)說(shuō)，這些信道可對(duì)應(yīng)于cmyk(cyan，magenta，yellow，key(black))。另外，該多個(gè)信道不必僅與彩色圖像或視頻信號(hào)有關(guān)。例如，該多個(gè)信道可對(duì)應(yīng)于多光譜(multi-spectral)衛(wèi)星圖像，其中每一信道對(duì)應(yīng)于選定頻譜帶中的衛(wèi)星圖像。

依據(jù)本發(fā)明的殘余量變換以像素為基礎(chǔ)利用了不同信道間的冗余量。換句話說(shuō)，殘余量變換對(duì)應(yīng)于跨信道(cross-channel)處理。另一方面，壓縮過(guò)程被應(yīng)用于每一單獨(dú)的信道以利用每一信道內(nèi)的空間及時(shí)間冗余度。由于殘余量變換運(yùn)行在殘余量信號(hào)上，該殘余量信號(hào)與至少兩個(gè)信道相關(guān)聯(lián)，所以會(huì)需要儲(chǔ)存至少一個(gè)信道的數(shù)據(jù)。基礎(chǔ)圖像或視頻數(shù)據(jù)的處理順序可被設(shè)置為匹配殘余量變換過(guò)程的處理順序。舉例來(lái)說(shuō)，在殘余量變換階段之前可順序處理這些信道。然而，在殘余量變換階段，在信道間應(yīng)用并行處理。圖9為與殘余量產(chǎn)生及殘余量變換有關(guān)的處理特性。方塊910為殘余量產(chǎn)生過(guò)程應(yīng)用于各個(gè)信道以產(chǎn)生各自的殘余量信號(hào)的范例，該殘余量產(chǎn)生過(guò)程對(duì)應(yīng)于無(wú)損或有損處理。殘余量產(chǎn)生過(guò)程可被應(yīng)用于每一信道的一組像素(例如910a-910c，對(duì)應(yīng)于ch0-ch2)中。該組像素可對(duì)應(yīng)于用于圖5中空間預(yù)測(cè)、頻率變換或空間預(yù)測(cè)與頻率變換兩者的像素塊。該組像素也可對(duì)應(yīng)于用于圖6至圖8所示的幀內(nèi)或幀間預(yù)測(cè)的像素塊。方塊920為三個(gè)信道間殘余量變換的范例，其中該殘余量變換被應(yīng)用于來(lái)自三個(gè)信道的三個(gè)樣本922。方塊930為用于三個(gè)信道的殘余量變換后數(shù)據(jù)的范例。

產(chǎn)生壓縮比特流的處理順序可被設(shè)置為匹配殘余量變換的處理順序。舉例來(lái)說(shuō)，對(duì)應(yīng)于殘余量變換后數(shù)據(jù)的熵編碼輸出的比特流可被交錯(cuò)(interleave)以形成單一比特流。舉例來(lái)說(shuō)，與一個(gè)輸入信道相關(guān)的壓縮數(shù)據(jù)的第一部分及第二部分被與另一個(gè)輸入信道相關(guān)的壓縮數(shù)據(jù)的至少第三部分分離。這將降低在殘余量變換后數(shù)據(jù)的壓縮之前用于緩沖殘余量變換后數(shù)據(jù)的緩沖器尺寸。這也可降低解壓縮過(guò)程中在逆殘余量變換之前的數(shù)據(jù)所需的緩沖器尺寸。交錯(cuò)的比特流更適合于解壓縮，是因?yàn)槟鏆堄嗔孔儞Q功能同時(shí)需要不同信道的數(shù)據(jù)。圖10為使用殘余量變換的壓縮系統(tǒng)的各種處理階段示意圖。在產(chǎn)生殘余量變換后數(shù)據(jù)1010后，熵編碼被應(yīng)用于各個(gè)信道，如方塊1020所示。對(duì)應(yīng)于每一信道的壓縮數(shù)據(jù)被多路復(fù)用為單一數(shù)據(jù)串，如方塊1030所示。

殘余量變換過(guò)程的范例如下所示。(rc0(x,y),rc1(x,y),rc2(x,y))表示具有三個(gè)信道的系統(tǒng)位置(x,y)處的殘余量信號(hào)。在每一(x,y)位置處將殘余量變換應(yīng)用至與三個(gè)信道相關(guān)的殘余量信號(hào)上。為方便起見(jiàn)，從上述表示中去掉(x,y)，用(rc0,rc1,rc2)表示位置符號(hào)。可用一組整數(shù)運(yùn)算描述殘余量變換，該整數(shù)運(yùn)算被應(yīng)用于輸入信道間的殘余量數(shù)據(jù)以產(chǎn)生具有多輸出信道的殘余量變換后數(shù)據(jù)。在一實(shí)施例中，殘余量變換輸出(tc0,tc1,tc2)定義如下：

tc1＝rc1-rc2；(1)

t＝(rc1+rc2)>>1,若abs(tc1)>rc0；(2)

t＝(rc1+rc2+1)>>1,若abs(tc1)<＝rc0；(3)

tc2＝t-rc0；以及(4)

tc0＝(t+rc0)>>1.(5)

在上述等式中，運(yùn)算符“>>1”對(duì)應(yīng)于以1右移。等式(2)中的運(yùn)算符“(rc1+rc2)>>1”對(duì)應(yīng)于使用截?cái)?truncation)的rc1和rc2的平均值。等式(3)中的運(yùn)算符“(rc1+rc2+1)>>1”對(duì)應(yīng)于使用湊整(rounding)的rc1和rc2的平均值。類似地，等式(5)中的運(yùn)算符“(t+rc0)>>1”對(duì)應(yīng)于使用截?cái)嗟膖和rc0的平均值。等式(5)可被修改為“(t+rc0+1)>>1”，這樣一來(lái)tc0變成使用湊整的t和rc0的平均值。等式(2)和(3)可被簡(jiǎn)化，這樣一來(lái)t總是對(duì)應(yīng)于使用湊整的rc1和rc2的平均值或者使用截?cái)嗟膔c1和rc2的平均值。由于只涉及到簡(jiǎn)單的運(yùn)算如相加、相減、左移以及右移，因此如等式(1)至(5)所示的本發(fā)明實(shí)施例的計(jì)算效率高。

在只有兩個(gè)信道的情形中，可修改殘余量變換，這樣一來(lái)第一變換輸出對(duì)應(yīng)于兩個(gè)輸入信道的差異，以及第二變換輸出對(duì)應(yīng)于兩個(gè)輸入信道的平均值。上述示范性殘余量變換僅用于說(shuō)明目的。本發(fā)明不限于等式(1)至(5)所示的特定運(yùn)算。本領(lǐng)域技術(shù)人員可應(yīng)用包含相加、相減、左移或右移的其他整數(shù)運(yùn)算來(lái)實(shí)現(xiàn)逆殘余量變換。逆殘余量變換指的是逆變換過(guò)程可被應(yīng)用于變換后的輸出以完整恢復(fù)初始輸入數(shù)據(jù)的一組運(yùn)算。

當(dāng)圖5至圖8所述系統(tǒng)說(shuō)明本發(fā)明實(shí)施例的圖像/視頻編碼器時(shí)，可相應(yīng)地得到依據(jù)本發(fā)明實(shí)施例的圖像/視頻解碼器系統(tǒng)。圖11為對(duì)應(yīng)于圖5中圖像編碼器的示范性圖像解碼器。解碼器1100a對(duì)應(yīng)于編碼器500a。壓縮數(shù)據(jù)由熵解碼1110a解碼并由逆殘余量變換1120a處理。恢復(fù)的殘余量數(shù)據(jù)接著由空間重建1140a及逆輸入量化1150處理以產(chǎn)生重建后圖像1160。解碼器1100b對(duì)應(yīng)于編碼器500b。壓縮數(shù)據(jù)由熵解碼1110b解碼并由逆殘余量變換1120b處理?；謴?fù)的殘余量數(shù)據(jù)接著由逆頻率變換1130b及逆輸入量化1150處理以產(chǎn)生重建后圖像1160。解碼器1100c對(duì)應(yīng)于編碼器500c。壓縮數(shù)據(jù)由熵解碼1110c解碼并由逆殘余量變換1120c處理。恢復(fù)的殘余量數(shù)據(jù)接著由逆頻率變換1130c、空間重建1140c及逆輸入量化1150處理以產(chǎn)生重建后圖像1160。此外，上述逆殘余量變換對(duì)應(yīng)于無(wú)損處理，上述重建過(guò)程對(duì)應(yīng)于無(wú)損或有損處理。

圖12為對(duì)應(yīng)于圖6視頻編碼器的視頻解碼器的范例。用于視頻解碼器的大部分方塊已經(jīng)被用在視頻編碼器上來(lái)重建參考圖片以用于幀內(nèi)/幀間預(yù)測(cè)。在圖12中，熵解碼器1210被用來(lái)解碼壓縮比特流。在視頻解碼器端，使用幀內(nèi)/幀間重建1220來(lái)替代幀內(nèi)/幀間預(yù)測(cè)。幀內(nèi)/幀間重建過(guò)程對(duì)應(yīng)于相應(yīng)幀內(nèi)/幀間預(yù)測(cè)的逆過(guò)程。舉例來(lái)說(shuō)，如果在視頻編碼器端使用運(yùn)動(dòng)估計(jì)/補(bǔ)償來(lái)做幀間預(yù)測(cè)，則在視頻解碼器端僅需要運(yùn)動(dòng)補(bǔ)償。剩余處理方塊與圖6中所示的編碼器端的方塊相同。重建后的視頻輸出可從回路濾波器440a至440c的輸出(對(duì)應(yīng)于ch0至ch2)獲得(tap)。圖13為對(duì)應(yīng)于圖7及圖8中視頻編碼器的視頻解碼器范例。在圖13中，熵解碼器1310用來(lái)解碼壓縮比特流。類似于圖12的解碼器系統(tǒng)，幀內(nèi)/幀間重建1220被用來(lái)形成重建后的視頻。剩余方塊已被用在如圖7及圖8所示的編碼器端。

圖14為本發(fā)明實(shí)施例的圖像解碼器或視頻解碼器的示范性流程圖。用接收裝置接收包含壓縮數(shù)據(jù)的比特流，該壓縮數(shù)據(jù)對(duì)應(yīng)于圖像數(shù)據(jù)或視頻數(shù)據(jù)，如步驟1410所示，其中圖像數(shù)據(jù)或視頻數(shù)據(jù)對(duì)應(yīng)于多個(gè)輸入信道。比特流可儲(chǔ)存在媒質(zhì)中，如快閃存儲(chǔ)器，光盤(pán)，包含ram、dram、nvram等的計(jì)算機(jī)存儲(chǔ)器。比特流也可由來(lái)自網(wǎng)絡(luò)或傳輸媒質(zhì)的處理器接收。接著熵解碼裝置對(duì)與比特流相關(guān)的數(shù)據(jù)符號(hào)應(yīng)用熵解碼以恢復(fù)變換后殘余量數(shù)據(jù)，如步驟1420所示，其中變換后殘余量對(duì)應(yīng)于多個(gè)輸出信道。接著逆殘余量變換裝置將逆殘余量變換應(yīng)用于變換后殘余量數(shù)據(jù)以恢復(fù)與多個(gè)輸入信道相關(guān)的殘余量數(shù)據(jù)，如步驟1430所示，其中依據(jù)應(yīng)用于多個(gè)輸入信道間的殘余量數(shù)據(jù)的一組整數(shù)運(yùn)算，殘余量變換后數(shù)據(jù)與殘余量數(shù)據(jù)相關(guān)。重建裝置接著將重建過(guò)程應(yīng)用于與每一輸入信道各自相關(guān)的殘余量數(shù)據(jù)以恢復(fù)與每一輸入信道相關(guān)的圖像數(shù)據(jù)或視頻數(shù)據(jù)，如步驟1440所示。由于由例如視頻編碼系統(tǒng)的幀內(nèi)/幀間預(yù)測(cè)的殘余量產(chǎn)生過(guò)程產(chǎn)生殘余量數(shù)據(jù)，因此重建過(guò)程對(duì)應(yīng)于相應(yīng)幀內(nèi)/幀間預(yù)測(cè)的逆運(yùn)算。

圖15為本發(fā)明實(shí)施例的圖像編碼器或視頻編碼器的示范性流程圖。用接收裝置接收?qǐng)D像數(shù)據(jù)或視頻數(shù)據(jù)，如步驟1510所示，其中圖像數(shù)據(jù)或視頻數(shù)據(jù)對(duì)應(yīng)于多個(gè)輸入信道。圖像數(shù)據(jù)或視頻數(shù)據(jù)可儲(chǔ)存在用于編碼器的存儲(chǔ)器中，且該存儲(chǔ)器可對(duì)應(yīng)于ram、dram、nvram等。圖像數(shù)據(jù)或視頻數(shù)據(jù)也可通過(guò)處理器或接口來(lái)接收，以及該數(shù)據(jù)可由相機(jī)、傳感器或相機(jī)圖像處理器提供。如步驟1520所示，殘余量產(chǎn)生處理單獨(dú)被應(yīng)用于每一輸入信道以產(chǎn)生與每一輸入信道相關(guān)的殘余量數(shù)據(jù)，該步驟由殘余量產(chǎn)生裝置執(zhí)行。如步驟1530所示，殘余量變換裝置依據(jù)一組整數(shù)運(yùn)算，對(duì)殘余量數(shù)據(jù)應(yīng)用殘余量變換，其中該組整數(shù)運(yùn)算被應(yīng)用于多個(gè)輸入信道間的殘余量數(shù)據(jù)以產(chǎn)生具有多個(gè)輸出信道的殘余量變換后數(shù)據(jù)。熵編碼裝置對(duì)與變換后殘余量數(shù)據(jù)相關(guān)的數(shù)據(jù)符號(hào)應(yīng)用熵編碼以產(chǎn)生包含壓縮數(shù)據(jù)的比特流，該壓縮數(shù)據(jù)對(duì)應(yīng)于圖像數(shù)據(jù)或視頻數(shù)據(jù)，如步驟1540所示。

圖14及圖15所示的示范性流程圖用于說(shuō)明目的。在不脫離本發(fā)明精神前提下，本領(lǐng)域技術(shù)人員可以重新安排、結(jié)合這些步驟或分離出步驟來(lái)實(shí)現(xiàn)本發(fā)明。

以上描述可使本領(lǐng)域技術(shù)人員依據(jù)特定應(yīng)用及要求實(shí)現(xiàn)本發(fā)明。所述實(shí)施例的各種修改對(duì)于本領(lǐng)域技術(shù)人員都是顯而易見(jiàn)的，并且此處定義的一般原理可應(yīng)用于其他實(shí)施例中。因此，本發(fā)明并非限定于本說(shuō)明書(shū)揭露的特定實(shí)施例，而是符合此處揭露的原理及新穎特征的最大范圍。在上述詳細(xì)說(shuō)明中，列舉各種具體細(xì)節(jié)以提供本發(fā)明的全面理解。然而，本領(lǐng)域技術(shù)人員容易理解本發(fā)明可被實(shí)現(xiàn)。

上述本發(fā)明實(shí)施例可通過(guò)各種硬件碼、軟件碼、或者二者的結(jié)合來(lái)實(shí)現(xiàn)。舉例來(lái)說(shuō)，本發(fā)明一實(shí)施例可以是整合到視頻壓縮芯片上的電路或者是整合到視頻壓縮軟件中的程式碼，以執(zhí)行上述處理。本發(fā)明一實(shí)施例也可為在數(shù)字信號(hào)處理器(digitalsignalprocessor,dsp)上執(zhí)行的程式編碼，以執(zhí)行上述處理。本發(fā)明也可包含藉由計(jì)算機(jī)處理器、數(shù)字信號(hào)處理器、微處理器或現(xiàn)場(chǎng)可編程門(mén)陣列(fieldprogrammablegatearray,fpga)執(zhí)行的若干功能。依據(jù)本發(fā)明，通過(guò)執(zhí)行定義本發(fā)明的特定方法的機(jī)器可讀軟件碼或固件(firmware)碼，該些處理器可被設(shè)置以執(zhí)行特定的任務(wù)。軟件碼或固件碼可以不同的程式語(yǔ)言及不同的格式或類型來(lái)開(kāi)發(fā)。軟件碼也可對(duì)不同的目標(biāo)平臺(tái)進(jìn)行編譯。然而，依據(jù)本發(fā)明用來(lái)執(zhí)行任務(wù)的軟件碼不同的碼格式、類型及語(yǔ)言以及其他設(shè)置碼的方式都不會(huì)脫離本發(fā)明的精神及范圍。

本發(fā)明可以其他特定形式體現(xiàn)而不脫離本發(fā)明的精神和基本特征。上述實(shí)施例僅作為說(shuō)明而非用來(lái)限制本發(fā)明，本發(fā)明的保護(hù)范圍當(dāng)視權(quán)利要求所界定者為準(zhǔn)。凡依本發(fā)明權(quán)利要求所做的均等變化與修飾，皆應(yīng)屬本發(fā)明的涵蓋范圍。