交叉引用本申請要求下述申請的優(yōu)先權(quán)：2011年1月13日遞交的，發(fā)明名稱為“圖像四分樹自適應(yīng)偏移”的美國臨時申請案No.61/432,482；2011年1月26日遞交的，發(fā)明名稱為“改良偏移方法”的美國臨時申請案No.61/436,296；2011年3月22日遞交的，發(fā)明名稱為“用于視頻編碼的樣本自適應(yīng)偏移的方法和裝置”的美國臨時申請案No.61/466,083；及2011年1月9日遞交的，發(fā)明名稱為“用于視頻編碼的自適應(yīng)偏移的方法和裝置”的美國申請案No.12/987,151；于2011年6月12日遞交的，發(fā)明名稱為“用于視頻編碼的樣本自適應(yīng)偏移的方法和裝置”美國專利申請案No.13/158,427。本申請將上述美國臨時申請案及專利申請案作為參考。
技術(shù)領(lǐng)域：
本發(fā)明有關(guān)于視頻編碼(videocoding)，且尤其是有關(guān)于與樣本自適應(yīng)偏移補償?shù)姆椒把b置有關(guān)的編碼技術(shù)。
背景技術(shù)：
：在一視頻編碼系統(tǒng)中，視頻數(shù)據(jù)被進行多種處理如：預(yù)測、轉(zhuǎn)換、量化、解塊還有自適應(yīng)濾波。沿著視頻編碼系統(tǒng)的處理軌跡，因為在視頻數(shù)據(jù)上應(yīng)用上述操作，已處理的視頻數(shù)據(jù)的某些特征可能從原始視頻數(shù)據(jù)被改變。如：已處理的視頻的平均值可能發(fā)生偏移。強度偏移可能導(dǎo)致視覺損害或者障礙，尤其是強度偏移從幀到幀的變化時，更明顯。因此，像素強度偏移需被小心補償或者恢復(fù)以減輕偽影(artifacts)。在此領(lǐng)域，一些強度補償方案已經(jīng)被使用。該強度補償方案一般依據(jù)選擇的上下文，將已處理視頻數(shù)據(jù)中的每一像素分類至多個類別中的一個。舉例來說，該上下文可為該已處理視頻數(shù)據(jù)的像素強度。作為替代的，該上下文可能為當前像素及其周邊像素的組合。依據(jù)該選擇的上下文推導(dǎo)出一特性衡量，依據(jù)該被衡量的特性決定一類別。為該每一類別，該原始像素與已處理像素之間的強度偏移被決定。本文中該強度偏移也被稱為“偏移值(offsetvalue)”。因此，該偏移值被應(yīng)用至屬于該類別的該已處理像素以補償該強度偏移?；诿恳幌袼氐念悇e，對于已處理視頻數(shù)據(jù)的強度偏移補償或者恢復(fù)的處理在本文中被稱為“樣本自適應(yīng)偏移”(sampleadaptiveoffset，SAO)。傳統(tǒng)的SAO方案經(jīng)?；诿恳粠蛘呙恳黄?slice)決定該像素的類別。然而，圖像內(nèi)容一般為動態(tài)的且每一幀的特征可能發(fā)生改變或者一幀內(nèi)不同分區(qū)的特征也可能發(fā)生改變。因此，需要開發(fā)一種樣本自適應(yīng)偏移方案考慮一幀內(nèi)的動態(tài)特征，使用一分區(qū)劃分方案以自適應(yīng)地劃分已處理的視頻數(shù)據(jù)至不同大小的分區(qū)。進一步，傳統(tǒng)的SAO方案總是用以固定的上下文來決定已處理視頻數(shù)據(jù)的像素的類別。如：該SAO可能只使用一固定的16帶的帶偏移(bandoffset，BO)以進行樣本自適應(yīng)偏移。另一范例，該SAO僅使用一3x3窗口作為上下文來決定已處理視頻數(shù)據(jù)的像素的類別。需要一種樣本自適應(yīng)方案可以自適應(yīng)從一組SAO類型中選擇一SAO類型來合適地使用SAO處理已處理的視頻數(shù)據(jù)的特征，實現(xiàn)更好的質(zhì)量。因此，本發(fā)明揭示一種樣本自適應(yīng)方案能夠利用已處理視頻數(shù)據(jù)中的動態(tài)特征。技術(shù)實現(xiàn)要素：有鑒于此，本發(fā)明提出一種用于視頻編碼的樣本自適應(yīng)偏移的方法。依據(jù)本發(fā)明第一實施方式，提供一種由包含樣本自適應(yīng)偏移SAO的視頻編碼系統(tǒng)產(chǎn)生的視頻比特流的解碼方法。該方法包括，接收視頻比特流；從該視頻比特流中獲得已處理視頻數(shù)據(jù)；在用于強度偏移值的一第二語法元素之前，從該視頻比特流的一位置處自該視頻比特流解析與分區(qū)劃分信息相關(guān)的一第一語法元素；根據(jù)該分區(qū)劃分信息，劃分該已處理視頻數(shù)據(jù)至多個分區(qū)，其中每一分區(qū)小于一圖像；從該視頻比特流中獲得每一分區(qū)的一基于分區(qū)的SAO類型，其中，該基于分區(qū)的SAO類型允許從一個分區(qū)至另一個分區(qū)改變；從該基于分區(qū)的SAO類型相關(guān)的一組類別中，為該每一分區(qū)的每一像素決定一類別；為該基于分區(qū)的SAO類型相關(guān)的該類別，從視頻比特流中獲得強度偏移值；及基于已獲得的該基于分區(qū)的SAO類型中的該類別的該強度偏移值，對該已處理視頻數(shù)據(jù)的該分區(qū)中的該每一像素應(yīng)用樣本自適應(yīng)偏移補償。依據(jù)本發(fā)明第二實施方式，提供一種已處理視頻數(shù)據(jù)的樣本自適應(yīng)偏移SAO補償方法。該方法包括，接收已處理視頻數(shù)據(jù)；根據(jù)分區(qū)劃分信息，劃分該已處理視頻數(shù)據(jù)至多個分區(qū)，其中每一分區(qū)小于一圖像；從一組SAO類型中，替每一個分區(qū)選擇一基于分區(qū)的SAO類型，其中，該基于分區(qū)的SAO類型允許從一個分區(qū)至另一個分區(qū)改變；從與基于分區(qū)的SAO類型相關(guān)的一組類別中，為該每一分區(qū)的每一像素決定一類別；根據(jù)在該已處理視頻數(shù)據(jù)的每一分區(qū)中屬于該類別的像素和在對應(yīng)的原始視頻數(shù)據(jù)的各個分區(qū)中屬于該類別的各個像素，決定與該基于分區(qū)的SAO類型相關(guān)的該類別的強度偏移；以及基于該基于分區(qū)的SAO類型的該類別的該強度偏移值，應(yīng)用樣本自適應(yīng)偏移補償至該已處理視頻數(shù)據(jù)的分區(qū)內(nèi)的每一像素；以及在用于強度偏移值的一第二語法元素之前，在視頻比特流的一位置處，發(fā)送與該分區(qū)劃分信息相關(guān)的一第一語法元素。本發(fā)明提出用于視頻編碼的樣本自適應(yīng)偏移的方法，可實現(xiàn)更好的質(zhì)量。附圖說明圖1揭露一視頻編碼器包含一重構(gòu)回路的系統(tǒng)框圖，該重構(gòu)回路包含一解塊濾波器和一自適應(yīng)回路濾波器。圖2揭露一視頻解碼器包含一解塊濾波器及一自適應(yīng)濾波器的系統(tǒng)框圖。圖3揭露基于像素類別的自適應(yīng)偏移的范例，其中依據(jù)像素C及其相鄰像素n1-n4決定該類別。圖4揭露一視頻編碼器的系統(tǒng)框圖，其中該視頻編碼器中一樣本自適應(yīng)偏移在解塊濾波器后被應(yīng)用至視頻數(shù)據(jù)。圖5揭露一視頻編碼器的系統(tǒng)框圖，其中，該視頻數(shù)據(jù)在重構(gòu)之后被應(yīng)用樣本自適應(yīng)偏移。圖6揭露基于帶偏移的兩種SAO類型的范例，其中該第一類別包含中心帶(centralbands)，第二類別包含邊緣帶(sidebands)。圖7A-圖7D揭露為了像素類別決定的當前像素及其相鄰像素的四種線性結(jié)構(gòu)。圖8揭露一視頻編碼器的系統(tǒng)框圖，其中在逆變換后樣本自適應(yīng)偏移被應(yīng)用。圖9揭露一實施例的視頻編碼器的系統(tǒng)框圖，其中該樣本自適應(yīng)偏移被應(yīng)用至該預(yù)測信號。圖10揭露一實施例的視頻編碼器的系統(tǒng)框圖，其中該樣本自適應(yīng)偏移被應(yīng)用至該解量化信號(de-quantizedsignal)。圖11揭露一循環(huán)分區(qū)劃分的實施例，其中以SAO類型被選擇用于每一分區(qū)。圖12揭露一劃分一分區(qū)至四個子分區(qū)的循環(huán)分區(qū)劃分的實施例，該四個子分區(qū)在水平方向及垂直方向基本具有相同數(shù)目的LCU。圖13A揭露當該45度、90度或者135度的EO圖形被使用，為一LCU的第一行及最后一行的像素跳過SAO補償?shù)囊粚嵤├D13B揭露對齊塊邊界的分區(qū)劃分的一實施例，其中該被選擇的塊為LCU。圖14揭露支持本發(fā)明的序列層的語法設(shè)計。圖15揭露支持本發(fā)明的片頭的語法設(shè)計。圖16揭露SAO參數(shù)sao_param()的語法設(shè)計。圖17揭露SAO分割參數(shù)sao_split_param()的語法設(shè)計。圖18揭露SAO補償參數(shù)sao_offset_param()的語法設(shè)計。具體實施方式在一視頻編碼系統(tǒng)中，視頻數(shù)據(jù)被進行多種處理如：預(yù)測、轉(zhuǎn)換、量化、解塊還有自適應(yīng)濾波。沿著視頻編碼系統(tǒng)的處理軌跡，因為在視頻數(shù)據(jù)上應(yīng)用上述操作，已處理的視頻數(shù)據(jù)的某些特征可能從原始視頻數(shù)據(jù)被改變。如：已處理的視頻的平均值可能發(fā)生偏移。強度偏移可能導(dǎo)致視覺損害或者偽影。尤其是強度偏移從幀到幀的變化更明顯。因此，像素強度偏移需被小心補償或者恢復(fù)以減輕該偽影。有多種理由可以導(dǎo)致該已處理視頻數(shù)據(jù)的某些特性被轉(zhuǎn)換。該已處理視頻數(shù)據(jù)的特性的改變可能與其被應(yīng)用的操作有著本質(zhì)的聯(lián)系。如，當應(yīng)用一低通濾波器至該視頻數(shù)據(jù)，相應(yīng)于銳邊的像素值將減少傾斜度。該邊緣的一邊的像素值將增加，而另一邊的像素值將減少。在該范例中，若樣本自適應(yīng)偏移能考慮該邊緣特性，就能夠?qū)崿F(xiàn)提高視頻質(zhì)量。傳統(tǒng)的強度偏移方案一般依據(jù)已選擇的上下文，分類該已處理視頻數(shù)據(jù)的每一像素至多個類別中的一個。舉例來說，該上下文可為該已處理視頻數(shù)據(jù)的像素強度。作為替代的，該上下文可能為當前像素及其周邊像素的組合。依據(jù)該選擇的上下文推導(dǎo)出一特性衡量，依據(jù)該被衡量的特性決定一類別。對于每一類別，該原始像素與該已處理像素之間的強度偏移被決定。本文中該強度偏移也被稱為“偏移值”。因此，該偏移值被應(yīng)用至屬于該類別的該已處理像素以補償該強度偏移?；谠擃悇e的每一像素，對于已處理視頻數(shù)據(jù)的強度偏移補償或者恢復(fù)的處理在本文中被稱為“樣本自適應(yīng)偏移”(sampleadaptiveoffset，SAO)。傳統(tǒng)的SAO方案經(jīng)?；诿恳粠蛘呙恳黄?slice)決定該像素的類別。然而，圖像內(nèi)容一般為動態(tài)的且每一幀的特征可能發(fā)生改變或者一幀內(nèi)不同分區(qū)的特征也可能發(fā)生改變。因此，需要開發(fā)一種樣本自適應(yīng)偏移方案考慮一幀內(nèi)的動態(tài)特征，使用一分區(qū)劃分方案以自適應(yīng)地劃分已處理的視頻數(shù)據(jù)至不同大小的分區(qū)。進一步，傳統(tǒng)的SAO方案總是用一固定的上下文來決定已處理視頻數(shù)據(jù)的像素的一類別。如：該SAO可能只使用一固定的16帶的帶偏移(bandoffset，BO)以進行樣本自適應(yīng)偏移。另一范例，該SAO僅使用一3x3窗口作為上下文來決定已處理視頻數(shù)據(jù)的像素的類別。需要一種樣本自適應(yīng)方案可以自適應(yīng)從一組SAO類型中選擇一SAO類型來合適地使用SAO處理已處理的視頻數(shù)據(jù)的特征，實現(xiàn)更好的質(zhì)量。因此，本發(fā)明揭示一種樣本自適應(yīng)方案能夠利用已處理視頻數(shù)據(jù)中的動態(tài)特征。如圖1所示的編碼器的范例表示了一使用幀內(nèi)/幀間預(yù)測的系統(tǒng)。幀內(nèi)預(yù)測單元110基于同一圖像的視頻數(shù)據(jù)，負責提供預(yù)測數(shù)據(jù)。對于幀間預(yù)測，ME/MC單元112，即運動預(yù)測(motionestimation，ME)及運動補償(motioncompensation，MC)被用于基于其它圖像的視頻數(shù)據(jù)提供預(yù)測數(shù)據(jù)。開關(guān)114用于選擇幀內(nèi)或者幀間預(yù)測數(shù)據(jù)且將該被選擇的預(yù)測數(shù)據(jù)提供至加法器116以產(chǎn)生預(yù)測誤差(predictionerrors)，也叫殘差(residues)。該預(yù)測誤差接著依次被T118(轉(zhuǎn)換)及Q120(量化)處理。被轉(zhuǎn)換及量化的殘差被熵編碼單元122編碼相應(yīng)于該壓縮的視頻數(shù)據(jù)形成一比特流。與該轉(zhuǎn)換參數(shù)相關(guān)的比特流與附加信息(sideinformation)被打包。該附加信息可以為：運動模式和其它與圖像區(qū)域相關(guān)的信息。該附加信息也被進行熵編碼以減少所需帶寬。如圖1所示，與附加信息相關(guān)的數(shù)據(jù)被提供至熵編碼單元122。當使用幀間預(yù)測模式，一參考圖像或者多個參考圖像在編碼器端須被重構(gòu)。因此，IQ(逆量化)124及IT(逆轉(zhuǎn)換)126處理該被轉(zhuǎn)換及量化的殘差以恢復(fù)該殘差。然后，在REC(reconstruction，重構(gòu))128，該殘差被加回至該預(yù)測數(shù)據(jù)以重構(gòu)視頻數(shù)據(jù)。該重構(gòu)視頻數(shù)據(jù)可存儲在參考圖像緩存器134，且被用于預(yù)測其它幀。在重構(gòu)數(shù)據(jù)被存儲至該參考圖像緩存器134之前，DF(解塊濾波器)130及ALF(自適應(yīng)濾波器)132被應(yīng)用至該重構(gòu)視頻數(shù)據(jù)以提高視頻質(zhì)量。該自適應(yīng)濾波信息在該比特流中被傳輸，因此解碼器可以適當?shù)幕謴?fù)所需信息以應(yīng)用自適應(yīng)濾波器。因此，從ALF132輸出的自適應(yīng)濾波信息并入該比特流被提供至熵編碼器122。如圖1所示，輸入之視頻數(shù)據(jù)在編碼系統(tǒng)中經(jīng)歷了一系列處理。該REC128的重構(gòu)視頻數(shù)據(jù)因為上述一系列處理可能發(fā)生強度偏移(intensityshift)。該重構(gòu)視頻數(shù)據(jù)進一步被解塊單元130及自適應(yīng)濾波器132進行處理，這也可能引起強度偏移。因此，需要引入一樣本自適應(yīng)偏移以恢復(fù)或者補償該強度偏移。圖2揭示一包含解塊濾波器及自適應(yīng)回路濾波器的視頻解碼器實施例的系統(tǒng)框圖。因為編碼器也包含一解碼器以重構(gòu)該視頻數(shù)據(jù)，因此除了熵解碼器222，一些解碼器元件已經(jīng)被使用在編碼器中。進一步，僅有運動補償單元212在解碼器端被需要。開關(guān)214選擇幀內(nèi)或者幀間預(yù)測模式，且將選擇的預(yù)測數(shù)據(jù)提供至重構(gòu)單元REC128以與恢復(fù)的殘差合并。除了對已壓縮視頻數(shù)據(jù)執(zhí)行熵解碼，熵解碼單元222還熵解碼附加信息且提供該附加信息至各自的塊。舉例來說，幀內(nèi)模式信息被提供至幀內(nèi)預(yù)測單元110，幀間模式信息被提供至運動補償單元MC212，自適應(yīng)濾波信息被提供至ALF132且殘差被提供至IQ124。該殘差由該IQ124處理，IT126及隨后的重構(gòu)處理，重構(gòu)該視頻數(shù)據(jù)。再一次，如圖2所示，從REC128輸出的重構(gòu)視頻數(shù)據(jù)歷經(jīng)包括IQ124及IT126的一系列處理且發(fā)生強度偏移。該重構(gòu)視頻數(shù)據(jù)進一步被解塊濾波器130及自適應(yīng)濾波器132處理，這些也將進一步引起強度偏移。因此，需要一種樣本自適應(yīng)偏移來補償該強度偏移。為了克服偏移問題，于Document:JCTVC-A124,JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,1stMeeting:Dresden,DE,15-23April,2010，McCann等人在公開題為：“三星對視頻壓縮技術(shù)征集建議的回應(yīng)”中揭露了內(nèi)容自適應(yīng)極端校正及帶校正。使用基于相鄰像素的內(nèi)容信息可以開發(fā)局部邊緣特性(localedgecharacteristics)且提高系統(tǒng)表現(xiàn)即獲得更好的視覺質(zhì)量或者減少比特率。如圖3所示，McCann等人揭示了相鄰像素結(jié)構(gòu)，其中C為當前像素值，n1至n4為四個相鄰像素分別在當前像素的上、下、左及右。如表1所示，依據(jù)McCann等人的方法將像素分類至七個類別中：表1.類別(Category)條件(Condition)備注(Note)0C<4neighbors局部最小1C<3neighbors&&C＝4thneighbor物體邊緣2C<3neighbors&&C>4thneighbor物體邊緣3C>3neighbors&&C<4thneighbor物體邊緣4C>3neighbors&&C＝4thneighbor物體邊緣5C>4neighbors局部最大6以上均不是其它對于類別0，該像素C為一局部最小值，也叫一山谷。對于類別5，該像素C為一局部最大值，也叫一山峰。對于類別1、2、3及4，該像素C在一物體邊緣(objectedge)。對于每一類別中的像素，已處理視頻數(shù)據(jù)的方差值和原始視頻數(shù)據(jù)的方差值的不同被計算且被傳輸至解碼器。該已處理的視頻數(shù)據(jù)可以是從REC128出來的重構(gòu)視頻數(shù)據(jù)、從DF130出來的解塊數(shù)據(jù)或者從ALF132中出來的自適應(yīng)回路濾波數(shù)據(jù)。分類該邊緣特性至類別(“categories”)，也叫級別(“classes”)。當雖然圖1及圖2所示實施例中的顯示了視頻編碼的樣本自適應(yīng)偏移可應(yīng)用的示范性系統(tǒng)，其它系統(tǒng)也可以使用本發(fā)明以克服強度偏移問題。舉例來說，在照相機圖像處理系統(tǒng)，視頻數(shù)據(jù)被進行去馬賽克、白平衡、和或者邊緣增強等處理也可能出現(xiàn)強度偏移。如上所述，相關(guān)的
背景技術(shù)：
依據(jù)底層像素(underlyingpixel)的邊緣特性在DF130和ALF132之間應(yīng)用一第一強度偏移以恢復(fù)已處理數(shù)據(jù)。此基于底層像素邊緣特性的自適應(yīng)偏移也被稱為極端校正(ExtremeCorrection，EXC)。相關(guān)的
背景技術(shù)：
依據(jù)上述極端校正被應(yīng)用在重構(gòu)視頻數(shù)據(jù)上。決定視頻圖像對應(yīng)C類的重構(gòu)視頻數(shù)據(jù)的平均強度值Vr(c)與原始視頻數(shù)據(jù)的平均強度值Vo(c)。對應(yīng)C類的偏移值Vd(c)可以由下述公式?jīng)Q定：Vd(c)＝Vo(c)–Vr(c)上述計算得到的該偏移值Vd(c)被加至屬于C類的重構(gòu)視頻數(shù)據(jù)上，如：Vr’(c)＝Vr(c)+Vd(c)，其中，Vr’(c)為偏移校正視頻數(shù)據(jù)。為了使解碼器為各類應(yīng)用合適的偏移，該所有類的偏移值Vd(c)均被輸出至該解碼器，需要合適的比特流語法設(shè)計來合并該偏移值Vd(c)。該SAO類型相關(guān)的類別的強度偏移值包含一與已處理視頻數(shù)據(jù)的像素比特深度相關(guān)的精度。由于偏移值的精確度與視頻數(shù)據(jù)的像素比特深度相關(guān)，因此我們?yōu)榱讼拗戚敵鲋帘忍亓鞯钠浦?，所以偏移值的精確度可利用視頻數(shù)據(jù)的像素深度作換算，例如:若視頻數(shù)據(jù)的像素深度小于或等于10，我們將輸出至比特流的偏移值的精確度設(shè)計成與視頻數(shù)據(jù)的像素深度相同，然而若視頻數(shù)據(jù)的像素深度大于10，我們將輸出至比特流的偏移值的精確度設(shè)為10，并將偏移值作適當?shù)牧炕?。基于EXC的自適應(yīng)偏移410被應(yīng)用在DF130和ALF132之間的視頻數(shù)據(jù)上。如圖4所示，揭露了另一種根據(jù)底層像素屬于的帶的自適應(yīng)偏移校正。該方法也被稱為帶校正(bandcorrection，BDC)。在相關(guān)的
背景技術(shù)：
中，基于帶的分類的主要動機是使得相對應(yīng)的重構(gòu)視頻數(shù)據(jù)和原始視頻數(shù)據(jù)的底層數(shù)據(jù)的兩種不同的概率密度函數(shù)(ProbabilityDensityFunctions，PDF)均衡。在相關(guān)的
背景技術(shù)：
中，另公開了一種基于帶的分類法，通過使用像素的p個最高有效位，等同于將強度劃分至間隔相等的2p個類別。在一實施例中，選擇p＝4將強度劃分至16個等間隔的帶，也稱為“類別(classes)”。對于每一帶或者類別，計算平均差，并傳送給解碼器，且為每個帶單獨糾正該偏移量。決定視頻圖像的對應(yīng)帶C或者C類的該重構(gòu)平均強度值Vr(c)及對應(yīng)帶C或者C類的原始平均強度值Vo(c)。為了方便起見，使用與EXC同樣的數(shù)學(xué)標記Vr(c)及Vo(c)。如基于邊緣特性的自適應(yīng)偏移校正，依據(jù)公式Vd(c)＝Vo(c)–Vr(c)，決定C類的相關(guān)的偏移值Vd(c)。上述計算得到的偏移值Vd(c)被加至屬于C類的重構(gòu)視頻數(shù)據(jù)，即：Vr’(c)＝Vr(c)+Vd(c)，其中Vr’(c)為偏移校正視頻數(shù)據(jù)。相關(guān)的
背景技術(shù)：
中應(yīng)用帶校正至ALF132與參考圖像緩存器134(未顯示)之間的已處理視頻數(shù)據(jù)。相關(guān)的
背景技術(shù)：
中提供自適應(yīng)偏移在DF130和ALF132之間，或者在ALF132與參考圖像緩存器134之間，如圖5所示，該AO510也可以被應(yīng)用在REC128和DF130之間。對于帶類別，除了16個統(tǒng)一的帶，也可以使用32個統(tǒng)一的帶以增加非零的可能性。在“CE8Subset3:PictureQuadtreeAdaptiveOffset”,Document:JCTVC-D122,JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,4thMeeting:Daegu,KR,20-28January,2011,andin“CE13:SampleAdaptiveOffsetwithLCU-IndependentDecoding”,Document:JCTVC-E049,JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG11,5thMeeting:Geneva,CH,16-23March,2011及于2011年1月9日申請的美國專利申請，申請?zhí)枮镹o.12/987,151，題為：視頻編碼的自適應(yīng)偏移裝置及方法均有描述。為了減少附加信息(從32偏移至16)，如圖6所示，該32統(tǒng)一的帶被劃分成兩個組。在中央16個帶為第一組，兩邊16個帶為第二組。因此，一組偏移被送至中央16個帶(第一組)，另一組偏移被送至外圍16帶(第二組)。雖然相關(guān)的
背景技術(shù)：
中自適應(yīng)處理與底層像素的邊緣特性相關(guān)，且該像素特性是基于整個圖像，但是于2011年1月9日申請的美國專利申請No.12/987,151，題為：視頻編碼的自適應(yīng)偏移裝置及方法，公開了一種基于替代的邊緣自適應(yīng)偏移。其使用兩相鄰像素的簡單線性像素結(jié)構(gòu)。使用簡單的像素結(jié)構(gòu)可以減少所需計算量。因此，圖7A-7D揭示了四個簡單像素結(jié)構(gòu)，也稱為像素圖形，分別為垂直線(90度)、水平線(0度)、135度及45度。每個像素結(jié)構(gòu)排列成一短線，且沿著該短線響應(yīng)強度過渡。如：相較于其它方向，在該垂直線上，一水平邊緣將引起一更明顯的強度過渡。相似的，相較于其它方向的線上，該垂直邊緣在該水平線上將引起更明顯的強度過渡。選擇像素結(jié)構(gòu)可以基于分區(qū)，且每一分區(qū)均需要一標記。如表2所示，基于像素結(jié)構(gòu)，該底層像素可以被分成6類分別對應(yīng)邊緣、山峰、山谷及以上都不是。表2.雖然上述提到的SAO方案使用BO上下文或者EO上下文來分類像素，但是依據(jù)本發(fā)明的一實施例使用多種SAO類型。舉例來說，該多種SAO類型包括BO上下文及EO上下文。每一SAO包含一個相關(guān)數(shù)量的類別。如：在上面的例子中，16類(如：16帶)與第一組BO和第二組BO相關(guān)。每四個EO配置或者上下文與6種類別相關(guān)。上面例子中提到的類別的數(shù)量僅具有說明目的，并不對本發(fā)明作出限制。依據(jù)本發(fā)明SAO類型的總數(shù)可以被預(yù)定、由使用者來確定或者自適應(yīng)改變。進一步，每一SAO類型的分類總數(shù)也可以被預(yù)定或者由使用者確定或者有畫面大小決定、或者自適應(yīng)改變。當使用多個SAO類型，需要使用一語法元素sao_type_idx來識別所選擇的SAO類型。表3揭示包含BO上下文及EO上下文的多個SAO類型的一范例。表3.雖然樣本自適應(yīng)偏移總是被應(yīng)用至重構(gòu)之后的視頻信號以恢復(fù)視頻信號，但是樣本自適應(yīng)偏移也可以被應(yīng)用在重構(gòu)之前。舉例來說，如圖8所示，樣本自適應(yīng)偏移單元810可以在重構(gòu)單元(REC)128之前應(yīng)用至逆轉(zhuǎn)換殘差信號。IT單元126輸出的已恢復(fù)殘差信號已被轉(zhuǎn)換單元118、量化單元120、解量化單元124及逆轉(zhuǎn)換單元126處理。因此，該殘差信號可能已經(jīng)發(fā)生強度偏移，且自適應(yīng)偏移對恢復(fù)該強度偏移有用。與自適應(yīng)偏移有關(guān)的附加信息被熵編碼且合并至該比特流。在另一實施例中，如圖9所示，在預(yù)測信號從原始視頻信號減去之前，樣本自適應(yīng)偏移被應(yīng)用至幀內(nèi)/幀間預(yù)測。依據(jù)幀內(nèi)或者幀間預(yù)測得到的預(yù)測信號受到各種操作可能產(chǎn)生強度偏移。因此，樣本自適應(yīng)偏移對恢復(fù)該強度偏移有效。再在另一實施例中，如圖10所示，該樣本自適應(yīng)偏移器1010可能被應(yīng)用至解量化124及逆轉(zhuǎn)化126之間的視頻信號。在相關(guān)技術(shù)的方法里，該AO總是基于整個幀或者一組圖像。對于一些視頻數(shù)據(jù)，對應(yīng)更小的圖像的分區(qū)可具有自適應(yīng)處理的更多優(yōu)點，因為更小圖像區(qū)域有關(guān)的類別可能更接近該分區(qū)底層視頻數(shù)據(jù)的特性。因此，本發(fā)明使用多層的分區(qū)劃分。每一分區(qū)可以使用四分樹法遞歸的劃分成四個子分區(qū)。與分區(qū)劃分有關(guān)的信息可以使用一語法設(shè)計來傳達。該分區(qū)的邊界可以與編碼單元(CU)或者最大編碼單元(LCU)對齊。每一分區(qū)可以選擇一種樣本自適應(yīng)偏移(SAO)類型，如上表中所示的兩種類別的帶偏移(BO)、四種類別的邊緣偏移(EO)或者無處理(OFF)。圖11揭示一種圖像劃分的范例，且每一圖像被使用BO、EO或者OFF類型進行SAO處理，圖11中的每一小塊表示一LCU。SAO的分區(qū)劃分可以基于塊。四分樹劃分的深度數(shù)取決于塊大小。如果分區(qū)的寬度及高度均小于一塊的大小，則當前分區(qū)的分割處理結(jié)束。最大四分樹深度可以為用戶設(shè)定深度、預(yù)定深度或者圖像大小。該塊的大小可以小于、等于或者大于LCU大小。圖12揭露與LCU對齊的分區(qū)劃分的范例。該分區(qū)使用LCU大小衡量。WidthInLCU為LCU的數(shù)量表示當前分區(qū)的寬度，且HeightInLCU為LCU的數(shù)量表示當前分區(qū)的高度。在水平方向劃分WidthInLCU至具有寬度分別為Floor(WidthInLCU/2)及WidthInLCU-Floor(WidthInLCU/2)的兩子分區(qū)。其中函數(shù)Floor(x)為一向下取整函數(shù)。類似地，在垂直方向劃分HeightInLCU至具有寬度分別為Floor(HeightInLCU/2)及HeightInLCU-Floor(HeightInLCU/2)的兩子分區(qū)。一些類型的AO分類法依賴于相鄰像素，如基于EO的SAO，其中該類別可能取決于圍繞當前像素的3x3窗口。因此，決定LCU邊緣上的像素的SAO類別可能依賴于相鄰LCU的像素。這種依賴關(guān)系將會阻止平行處理多個LCU，也可能需要更大的緩存來容納所有的相鄰LCU。需要開發(fā)一種方法以消除對相鄰LCU的依賴。本發(fā)明的一實施例提供一塊獨立的SAO處理，對于接近塊的邊緣而需要依賴其它塊的像素，對其跳過SAO處理以提供與塊無關(guān)的SAO處理。依賴于SAO的設(shè)計，依賴于相鄰的塊來作出SAO決定的邊界上的像素可能包含立即毗鄰該邊界的像素或者距離該邊界有一像素或者更遠的像素。舉例來說，如圖13A所示，如果圖7A中90度的EO被使用，該塊第一行及最后一行的像素(此例中一LCU包含64x64個像素)將依賴其上面或者其下面的相鄰塊來作出SAO決定。因此，SAO處理將跳過該塊的第一行1302及最后一行1304，則該SAO為獨立塊(block-independent)處理。如果使用45度EO或者135度EO，該第一行1302及該最后一行1304作SAO決定也取決于相鄰塊。因此，若使用45度EO或者135度EO，該SAO處理將跳過該塊的該第一行1302及該最后一行1304以使得該SAO將為塊獨立。類似地，當使用0度、45度或者135度EO，該塊的第一列及最后一列將跳過SAO處理。圖13A揭示當使用45度、90度或者135度EO圖像使用時，為一LCU第一行及最后一行的像素跳過SAO補償范例。類似地，當使用0度、45度或者135度EO圖像使用時，為一LCU第一列及最后一列的像素跳過SAO補償。這樣，每一LCU的SAO解碼無需其它LCU的像素，LCU獨立解碼或者LCU平行解碼可以實現(xiàn)。除了為特殊的EO圖像跳過LCU邊界像素的SAO補償，填補技術(shù)也可以被使用，以取代其它LCU的像素來實現(xiàn)LCU獨立解碼。填補技術(shù)的范例可以為重復(fù)填補或者鏡像(mirror-based)填補。填補技術(shù)可以先進行水平填補或者先進行垂直填補?！皦K獨立解碼”(“block-independentdecoding”)的方案的另一益處為：當SAO解碼逐塊完成時，解碼器的與圖像寬度成比例的線緩存器可以被消除。其中該塊的大小小于、等于或者大于該LCU的大小。另一修正的該塊獨立解碼方案為使用可變的塊來取代固定的塊。舉例來說，在葉CU(leafCU)邊界跳過SAO補償或者填補可以被應(yīng)用以實現(xiàn)葉CU獨立解碼。另一延伸的塊獨立解碼為SAO解碼逐塊完成且解碼每一塊無需未來塊(futureblocks)的數(shù)據(jù)。舉例來說，當塊處理順序為柵格掃描，右面和下面的塊的像素未被使用。跳過或者填補技術(shù)將使用在最后行或者最后列。類似地，該塊可以為LCU、葉CU、條寬等于圖像寬度且包含多個連續(xù)塊的長條、其它任意固定尺寸或者非固定尺寸。圖13B與塊邊界對齊的分區(qū)劃分，其中該塊為LCU。如圖13B所示，該圖像被分割成無重疊的塊。該SAO分區(qū)劃分使用四分樹法劃分該視頻數(shù)據(jù)至分區(qū)，其中該劃分與塊邊界對齊(如：此例中使用LCU邊界)。一些分區(qū)的類別決定可能基于相鄰塊(LCU)的像素。舉例來說，該分區(qū)1310可能依賴其右邊的塊如LCU1320的像素、頂部的LCU1330及其右上方的LCU1340來作出SAO決定。該分區(qū)1310被塊1350封閉，其中該分區(qū)1310頂部及右邊邊界對應(yīng)屬于塊1350頂部及右邊的邊界。該分區(qū)1310左邊及底部的邊界在該封閉的塊1350內(nèi)。該分區(qū)1310左邊及底部邊界(除了左邊邊界的第一頂端像素及底部邊界的最右像素)的SAO決定不依賴于相鄰塊的像素。視頻比特流包括序列層、圖像層、片層和LCU層。該SAO分區(qū)劃分信息須傳輸至解碼端以使得該分區(qū)結(jié)構(gòu)及AO參數(shù)被恢復(fù)。在實現(xiàn)上SAO信息可以在，SAO類型允許從視頻比特流的不同層獲得，包括序列層、圖像層、片層和LCU層。在我們的設(shè)計中SAO的開啟或關(guān)閉的訊息在序列、片層和LCU層都存在，而序列層會影響片層和LCU層，而片層會影響LCU層。而在LCU層則可以包含是否相鄰塊分享SAO類型或偏移值。圖14-18揭示一語法設(shè)計以支持SAO分區(qū)劃分。圖14揭示一序列層的語法設(shè)計的范例，其中序列參數(shù)組如：SPS頭(SPSheader)包含一語法元素sample_adaptive_offset_enabled_flag。其中，該語法元素sample_adaptive_offset_enabled_flag指示在該序列中SAO是否已啟用。SAO啟用標記也被并入圖像層或者片層。圖15揭示了一種新的語法元素包含在片頭內(nèi)。如果該SAO啟用標記，如：sample_adaptive_offset_enabled_flag，具有值1，則SAO參數(shù)組：sao_param()被包含在片頭內(nèi)。圖16顯示一SAO參數(shù)組sao_param()的范例。其中sample_adaptive_offset_flag表示SAO是否應(yīng)用在當前片。如果該標記的值為1，則該參數(shù)組也包含參數(shù)sao_split_param(0,0,0)和sao_offset_param(0,0,0)以傳輸分別與四分樹劃分及補償相關(guān)的信息。圖17揭示sao_split_param(xs,ys,sao_curr_depth)的語法范例。該sao_split_param(xs,ys,sao_curr_depth)顯示遞歸SAO分割結(jié)構(gòu)。檢查條件sao_curr_depth<SaoMaxDepth來看當前SAO深度是否達到最大SAO深度SaoMaxDepth。如果該條件滿足，sao_split_flag[sao_curr_depth][ys][xs]顯示進一步分割被執(zhí)行。否則分割結(jié)束。圖18揭露了sao_offset_param(xs,ys,sao_curr_depth)語法范例。如果SAO分割標記只是該分區(qū)被分割，在下一深度包含四個SAO偏移參數(shù)組。如果該SAO分區(qū)沒有進一步被分割，則包含一語法元素sao_type_idx[sao_curr_depth][ys][xs]以指示當前片在深度sao_curr_depth-th時的(ys*2+xs)-th分區(qū)將應(yīng)用的偏移類型。該sao_type_idx的值在表3被定義。當sao_type_idx的值為0，沒有SAO被應(yīng)用。當sao_type_idx的值為1至4，邊緣偏移的SAO被應(yīng)用。當sao_type_idx的值為5-6，帶偏移的SAO被應(yīng)用。對于每一sao_type_idx對應(yīng)一SAO偏移值，如：sao_offset[sao_curr_depth][ys][xs][i]被并入。依據(jù)圖14-圖18揭示的語法結(jié)構(gòu)，一包含本發(fā)明具體化的SAO的解碼器被啟用以得到SAO劃分且對應(yīng)的SAO偏移值執(zhí)行樣本補償恢復(fù)。舉例來說，通過SPS的sample_adaptive_offset_enabled_flag，檢查該SAO是否啟用。如果該SAO被啟用，該解碼器可能在該片頭中提取參數(shù)sao_param()。該sao_param()中的sample_adaptive_offset_flag表示該SAO是否被應(yīng)用在當前片。如果該SAO被應(yīng)用在當前片，該解碼器進一步提取sao_param()里的sao_split_param(0,0,0)和sao_offset_param(0,0,0)。從sao_split_param(0,0,0)中，該解碼器可以得到SAO分區(qū)劃分信息。進一步，從sao_offset_param(0,0,0)可以得到對應(yīng)分區(qū)的SAO偏移值。因此，所需的SAO信息均可以依據(jù)上面描述的語法結(jié)構(gòu)獲得。SAO分區(qū)劃分信息，可從視頻比特流的不同層獲得，包括序列層、圖像、片層或LCU層獲得。SAO類型與偏移值可以從視頻比特流的不同層獲得，包括序列層、圖像層、片層和LCU層獲得。圖14-18顯示的語法設(shè)計的范例僅為描述目的，在不脫離本發(fā)明的精神和范圍內(nèi)，本領(lǐng)域的一般技術(shù)人員當可對該語法作各種的變更以執(zhí)行樣本自適應(yīng)偏移。依據(jù)本發(fā)明的實施例的上述樣本自適應(yīng)偏移可以被應(yīng)用在多種硬件、軟件碼或上述的結(jié)合中。舉例來說，本發(fā)明的一實施例可為電路集成到視頻壓縮芯片，或者程序碼集成到視頻壓縮系統(tǒng)，以進行相應(yīng)處理。本發(fā)明的一實施例也可為程序碼在數(shù)字信號處理器(DigitalSignalProcessor,DSP)上執(zhí)行以進行相應(yīng)處理。本發(fā)明還可包含一系列功能，并由電腦處理器、數(shù)字信號處理器、微處理器、現(xiàn)場可編程門陣列(FieldProgrammableGateArray,FPGA)執(zhí)行。通過執(zhí)行定義本發(fā)明實施例的機器可讀軟件碼或固件碼，上述處理器可根據(jù)本發(fā)明執(zhí)行特定任務(wù)。軟件碼或固件碼可在不同程序語言和不同格式或方式中進行。軟件碼可編譯成不同的目標平臺。不過，不同的編碼格式、方式和軟件碼語言，以及與本發(fā)明有關(guān)的使碼執(zhí)行任務(wù)的其它方法均符合本發(fā)明的精神，落入本發(fā)明的保護范圍。雖然本發(fā)明已就較佳實施例揭露如上，然其并非用以限制本發(fā)明。本發(fā)明所屬
技術(shù)領(lǐng)域：
中一般技術(shù)人員，在不脫離本發(fā)明的精神和范圍內(nèi)，當可作各種的變更和潤飾。因此，本發(fā)明的保護范圍當視之前的權(quán)利要求書所界定為準。當前第1頁1 2 3