Hevc中無損編碼中的改進幀內(nèi)預測的制作方法
【專利摘要】一種方法包括使用預測單元(PU)中對應左側(cè)、上方以及左上方相鄰的鄰近像素計算所述PU中多個邊界像素的預測值，以及使用基于樣本的角預測(SAP)計算所述PU中第二多個像素的預測值，其中所述第二多個像素除了包括所述多個邊界像素還包括所述PU中所有其他像素。
【專利說明】HEVC中無損編碼中的改進幀內(nèi)預測
[0001]相關(guān)申請案交叉申請
[0002]本發(fā)明要求2012年4月20日由高文(Wen Gao)等人遞交的發(fā)明名稱為“用于幀內(nèi)預測殘差的二值化方案和HEVC中無損編碼中的改進巾貞內(nèi)預測(Binarizat1n Scheme forIntra Predict1n Residuals and Improved Intra Predict1n in Lossless Coding inHEVC) ”的第61/636409號美國臨時專利申請案的在先申請優(yōu)先權(quán)，該在先申請的內(nèi)容以引用的方式并入本文本中，如全文再現(xiàn)一般
[0003]關(guān)于聯(lián)邦贊助的研究或開發(fā)的聲明
[0004]不適用。
[0005]縮微平片附件的引用
[0006]不適用。

【背景技術(shù)】
[0007]即使在影片相對較短的情況下也需要對大量的視頻數(shù)據(jù)進行描述，當數(shù)據(jù)要在帶寬容量受限的通信網(wǎng)絡中流過或以其他方式傳送時，這樣可能會造成困難。因此，視頻數(shù)據(jù)通常要先壓縮然后在現(xiàn)代電信網(wǎng)絡中傳送。當視頻存儲在存儲設備中時，視頻大小也可能成為一個問題，因為內(nèi)存資源很有限。視頻壓縮設備通常在源處使用軟件和/或硬件，以在傳送或存儲之前對視頻數(shù)據(jù)進行編碼，從而減少用來表示數(shù)字視頻圖像所需的數(shù)據(jù)量。接著，壓縮的數(shù)據(jù)在目的地處由視頻解壓設備接收，該視頻解壓設備用于對視頻數(shù)據(jù)進行解碼。在有限的網(wǎng)絡資源以及對更高視頻質(zhì)量的需求不斷增加的情況下，需要改進壓縮和解壓技術(shù)，所述改進的技術(shù)幾乎無需以比特率的增加為代價就可以改進圖像質(zhì)量。
[0008]例如，視頻壓縮可使用幀內(nèi)預測，在幀內(nèi)預測中可從相同時頻幀或切片中的參考像素中預測像素。當在有損模式下使用幀內(nèi)預測時，變換和量化操作可逐塊發(fā)生，這樣可限制給定塊的幀內(nèi)預測使用相鄰塊中的參考樣本用于預測給定塊中的像素。然而，國際電信聯(lián)盟電信標準化部門(ITU-T)中的視頻編碼聯(lián)合協(xié)作小組(JCT-VC)負責下一代視頻編碼標準(稱為高性能視頻編碼(HEVC))，并基于塊中的相鄰像素考慮預測用于在幀內(nèi)預測模式下進行無損編碼。這些預測技術(shù)可稱為逐像素、逐樣本或基于像素的幀內(nèi)預測。然而，由于用于預測沿著某些邊界的邊界像素的相鄰像素不可用，對于沿著正被預測的塊的某些邊界的像素，使用逐像素幀內(nèi)預測存在問題。


【發(fā)明內(nèi)容】

[0009]在一項實施例中，本發(fā)明包括一種方法，包括使用預測單元(PU)中對應左側(cè)、上方以及左上方相鄰的鄰近像素計算所述PU中多個邊界像素的預測值，以及使用基于樣本的角預測(SAP)計算所述中第二多個像素的預測值，其中所述第二多個像素除了包括所述多個邊界像素還包括所述PU中所有其他像素。
[0010]在一項實施例中，本發(fā)明包括一種裝置，包括處理器，用于使用中對應左側(cè)、上方以及左上方相鄰的鄰近像素計算所述PU中多個邊界像素的預測值，以及使用SAP計算所述PU中第二多個像素的預測值，其中所述第二多個像素除了包括所述多個邊界像素還包括所述I3U中所有其他像素。
[0011]在又一項實施例中，本發(fā)明包括一種方法，包括熵解碼一部分比特流以生成殘差塊；通過使用對應左側(cè)、上方和左上方相鄰的鄰近重建的像素值重建多個邊界像素來重建對應于所述殘差塊的預測塊；使用SAP重建第二多個像素，其中所述第二多個像素除了包括所述多個邊界像素還包括所述預測塊中的所有其他像素，以及所述第二多個像素和所述多個邊界像素形成所述預測塊；以及將所述預測塊添加到所述殘差塊中以在視頻幀中生成原始塊的估計。
[0012]在又一項實施例中，本發(fā)明包括一種裝置，包括處理器，用于熵解碼一部分比特流以生成殘余塊；通過使用對應左側(cè)、上方和左上方相鄰的鄰近重建的像素值重建多個邊界像素來重建對應于所述殘差塊的預測塊；使用基于樣本的角預測(SAP)重建第二多個像素，其中所述第二多個像素除了包括所述多個邊界像素還包括所述預測塊中的所有其他像素，以及所述第二多個像素和所述多個邊界像素形成所述預測塊；以及將所述預測塊添加到所述殘差塊中以在視頻幀中生成原始塊的估計。
[0013]結(jié)合附圖和權(quán)利要求書，可從以下的詳細描述中更清楚地理解這些和其它特征。

【專利附圖】

【附圖說明】
[0014]為了更完整地理解本發(fā)明，現(xiàn)在參考以下結(jié)合附圖和詳細描述進行的簡要描述，其中相同參考標號表不相同部分。
[0015]圖1是視頻編碼器的實施例的功能圖。
[0016]圖2A示出了用于垂直SAP的水平掃描處理順序，以及圖2B示出了用于水平SAP的垂直掃描處理順序。
[0017]圖3A示出了具有正角的垂直SAP，以及圖3B示出了具有正角的水平SAP。
[0018]圖4示出了 4X4的PU的實施例。
[0019]圖5示出了 PU的樣本矩陣的實施例。
[0020]圖6示出了基于像素的預測方案中的樣本之間的關(guān)系。
[0021]圖7A示出了使用正角(表示為a)的垂直SAP，以及圖7B示出了使用正角的水平SAP。
[0022]圖8是用于在無損模式下對進行編碼的方法的實施例的流程圖。
[0023]圖9是無損解碼模式下解碼方法的實施例的流程圖。
[0024]圖10是網(wǎng)絡節(jié)點的實施例的示意圖。

【具體實施方式】
[0025]最初應理解，盡管下文提供一個或多個實施例的說明性實施方案，但可使用任意數(shù)目的當前已知或現(xiàn)有的技術(shù)來實施所公開的系統(tǒng)和/或方法。本發(fā)明決不應限于下文所說明的所述說明性實施方案、圖式和技術(shù)，包含本文所說明并描述的示范性設計和實施方案，而是可以在所附權(quán)利要求書的范圍以及其均等物的完整范圍內(nèi)修改。
[0026]顏色空間可由三個分量表示，包括一個亮度(luma或者Y)分量和兩個表示為Cb和Cr (或者有時為U和V)的色度(ch1ma)分量。亮度或者色度整數(shù)值通常使用比特以二進制形式存儲和處理。在YUV或者YcbCr色彩空間中，每個亮度(Y)塊對應于兩個色度塊:Cb塊和Cr塊。Cb塊和Cr塊同樣互相對應。色度塊及其對應的亮度塊可以位于視頻幀、切片或者區(qū)域的同一相對位置。所討論的方法還可應用于任意其他色彩空間(例如，RGB、YCoCg等)中的視頻。
[0027]在視頻編碼中，各種采樣率均可用于對YCbCr分量進行編碼。根據(jù)采樣率，Cb塊、其對應的Cr塊、和/或其對應的Y塊的尺寸可以相同或者不同。例如，采樣率為4:2:0時，每個NXN色度(Cb或者Cr)塊可對應于一個2NX 2N亮度塊。在這種情況下，色度塊的寬度或者高度為對應亮度塊的一半。由于人眼對色度分量的敏感度不及亮度分量，色度分量被下采樣或者降采樣。又例如，采樣率為4:4:4時，每個NXN色度(Cb或者Cr)塊可對應于一個NXN亮度塊。在這種情況下，可以保留更高的視頻保真度，但可能需要對更多的數(shù)據(jù)進行編碼。也可以使用其他采樣率，例如4:2:2和4:2:1等。
[0028]在HEVC中，已經(jīng)引入了新的塊概念。例如，編碼單元(CU)可以指將視頻幀分為相等大小或不同大小的正方形塊的子分區(qū)。在HEVC中，CU可以取代先前標準的宏塊結(jié)構(gòu)。根據(jù)幀間預測或幀內(nèi)預測的模式，一個CU可以包括一個或多個預測單元(PU)，每個預測單元可用作預測的基本單元。例如，就幀內(nèi)預測而言，一個64X64的CU可以被對稱地分為四個32 X 32的PU。又例如，就幀間預測而言，一個64X 64的⑶可以被非對稱地分為一個16 X 64的I3U以及一個48X64的PU。
[0029]HEVC仍然處于委員會草案階段，并且已為具有4:2:0格式的視頻序列定義了主流畫質(zhì)。在HEVC主流畫質(zhì)中，可通過簡單地繞過變換、量化和環(huán)內(nèi)濾波器(即，去塊濾波器、樣本自適應偏移(SAO)和自適應環(huán)路濾波器(ALF))實現(xiàn)無損編碼模式。該設計旨在提供無損編碼，而不會對HEVC主流畫質(zhì)編碼器和解碼器的實施造成負擔。以下將詳細介紹與HEVC中的有損編碼相對的無損編碼。
[0030]圖1是視頻編碼器100的實施例的功能圖。編碼器100可在HEVC中使用?？蓪斎雺K的視頻幀或圖像輸送到編碼器100中。為了對輸入塊進行編碼，可基于一個或多個先前已經(jīng)編碼的參考塊生成預測塊。輸入塊可為亮度或色度CU或PU。預測塊可以是輸入塊的估計版本。如圖所示，可通過從輸入塊中減去預測塊(反之亦然)生成殘差塊。殘差塊可表示輸入塊和預測塊之間的差值，換句話說，表示預測殘差或誤差。由于表示預測殘差所需的數(shù)據(jù)量通常小于表示輸入塊所需的數(shù)據(jù)量，因此可對殘差塊進行編碼以實現(xiàn)更高的壓縮比。
[0031]根據(jù)是否使用有損或無損編碼，編碼器100中至少存在兩種可能路徑。首先探討的是有損模式。如圖1所示，在有損模式下，可將包含殘差像素的殘差塊輸送到變換模塊102中。因此，空間域中的殘差像素可以通過應用變換矩陣轉(zhuǎn)換成頻域中的變換系數(shù)。該轉(zhuǎn)換可以通過二維變換，例如與離散余弦變換(DCT)十分類似或相同的變換來實現(xiàn)。此外，在變換模塊102之后的量化模塊104中，高索引變換系數(shù)的數(shù)量可以減少為零，從而可以在隨后的熵編碼步驟中被跳過。在進行量化之后，熵編碼器150可對量化的變換系數(shù)進行熵編碼。熵編碼器150可以采用任何熵編碼方案，例如，上下文自適應二進制算術(shù)編碼(CABAC)編碼方案，指數(shù)哥倫布編碼方案，或者固定長度編碼方案，或其任意組合。在進行熵編碼之后，經(jīng)編碼的塊可以作為比特流的一部分由編碼器100傳輸。比特流可通過任意可用的網(wǎng)絡協(xié)議進行包化、封裝及傳輸。
[0032]在編碼器100中，殘差塊可在經(jīng)過一系列操作(例如，所示的變換、量化、去量化以及逆變換)之后轉(zhuǎn)換成殘差塊II。由于一些或所有操作可能無法完全可逆，在轉(zhuǎn)換過程期間可能引起信息損失。因此，殘差塊II可能只是對應的殘差塊的近似，并且通常為了較高壓縮效率而包括較少的非零殘差像素。進一步地，殘差塊II可以與對應的預測塊合并以例如通過將兩個塊相加形成重建塊。除非另有說明，對應的塊可指示位于圖像的同一相對位置的塊。在這種方式下，由于重建塊可以是輸入塊的有損版本，編碼器100可實施有損編碼模式。
[0033]重建塊可用作參考塊來生成預測塊。根據(jù)重建塊的位置，預測可分為幀之間的預測和幀之內(nèi)的預測(分別簡稱為幀間預測和幀內(nèi)預測)。在使用中，連續(xù)的視頻幀或切片可以很大程度上相互關(guān)聯(lián)，使得幀中的塊與先前編碼的幀中的對應塊不會有很大差異。幀間預測可利用一系列幀或圖像中的時間冗余，例如，連續(xù)幀的對應塊之間的相似度來減少壓縮數(shù)據(jù)。幀間預測可由運動估計(ME)模塊140實施，ME模塊之后為運動補償(MC)模塊142。在幀間預測中，可實施運動補償算法以基于位于當前幀之前的一個或多個參考幀中的對應塊根據(jù)編碼順序計算當前幀中的當前塊的運動矢量。
[0034]為了提高重建視頻幀(例如通過減少塊偽影)的質(zhì)量，在預測之前可以執(zhí)行環(huán)內(nèi)濾波步驟。例如，在幀間預測中，去塊濾波器120可以應用到位于重建塊邊緣的像素上以去除或減少塊偽影。在實施去塊濾波器120之后，環(huán)內(nèi)濾波步驟有時可進一步包括樣本自適應偏移(SAO)模塊122，其還可用于修改重建像素的值?？稍赟AO模塊122之后應用自適應環(huán)路濾波器(ALF) 124，并且所得到的處理塊可在幀緩沖器126中存儲以便在幀間預測補償中使用。
[0035]類似地，在視頻幀內(nèi)，像素可與同一幀內(nèi)的其他像素相關(guān)，使得一個塊內(nèi)的像素值或一些塊內(nèi)的像素值可僅僅略有不同和/或呈現(xiàn)出重復的紋理(texture)。為了利用同一幀中的鄰近塊之間的空間相關(guān)性，幀內(nèi)預測可由幀內(nèi)預測估計(IPE)模塊130實施，以根據(jù)一個或多個先前編碼的鄰近塊(包括重建塊)插入預測塊，IPE模塊130之后為幀內(nèi)預測(IP)模塊132。編碼器和解碼器可以獨立地插入預測塊，從而使得幀和/或圖像的絕大部分能夠根據(jù)相對少量的參考塊的通信進行重建，所述參考塊是例如，位于幀的左上角(并從此處延伸)的塊。選擇模塊134可在幀間和幀內(nèi)預測之間選擇輸入塊的最佳預測模式。通常，所述領域的普通技術(shù)人員理解到，使用率失真優(yōu)化(RDO)可確定最佳預測模式，RDO挑選出產(chǎn)生例如預測塊和原始塊之間的最小決定誤差和的預測模式。
[0036]接著探討的是無損編碼。如圖1所示，在無損編碼模式下，繞過變換102、量化104、逆量化106以及逆變換108模塊以及環(huán)內(nèi)濾波器(去塊120、SA0122以及ALF濾波器124)。變換102和量化104模塊可使用基于塊的處理，這意味著對于使用幀內(nèi)預測的有損編碼模式，塊中的像素預測僅基于鄰近塊中的參考像素。塊中的參考像素不可用于塊中的像素值預測。相比而言，對于使用幀內(nèi)預測的無損編碼模式，塊中的像素預測可基于塊中的其他像素，因為繞過了變換和量化模塊。為此，可使用基于樣本的角預測(SAP)用于無損編碼。
[0037]在SAP中，PU中的所有樣本可共享同一預測角，如B.Bross等人在“高性能視頻編碼(HEVC)文本規(guī)范草案6” JCT-VC文檔，JCTVC-H1003,圣何塞，加利福利亞，2012年2月(下文稱為“HEVC草案6 ”)中所定義，該文檔以引用的方式并入本文本中，如全文再現(xiàn)一般。另外，預測角的傳輸可能與HEVC草案6中的相同。差別可能在于在本文所公開的方法中為PU逐樣本進行角預測以實現(xiàn)更好的幀內(nèi)預測精確度。也就是說，可通過使用同一預測角逐樣本進行SAP樣本來生成當前I3U的預測塊。
[0038]在SAP方法中，可以預定義的順序處理PU中的樣本，這樣當I3U中的當前樣本根據(jù)其直接相鄰樣本預測時，鄰居樣本可用。圖2A示出了用于垂直SAP的水平掃描處理順序，以及圖2B示出了用于水平SAP的垂直掃描處理順序。如圖2A和2B所示，可將水平掃描和垂直掃描處理順序分別應用到垂直和水平的角預測。當前PU的上方和左側(cè)界限周圍的參考樣本的處理與HEVC草案6中定義的相同，而當前I3U的右側(cè)和下方I3U界限周圍的參考樣本簡單地從當前PU的最近邊界樣本處開始填充(參見圖2A和2B中的填充樣本)。
[0039]圖3A示出了具有正角的垂直SAP，以及圖3B示出了具有正角的水平SAP。應注意，分別如圖3A和3B所示，在具有正角的垂直或水平SAP期間，可能需要當前PU的右側(cè)和下方PU邊界周圍的填充樣本。在圖3A和3B中，X表示待預測的像素，a和b表示(實際或預測的)鄰近樣本值。
[0040]以具有正角的垂直SAP和4X4的PU為例。圖4示出了 4X4的PU的實施例，其中樣本(像素值)表示為 s(i，j)，i = 0，1，2，3且 j = 0，1，2，3。Pad(i)，其中 i = 0，1，2表示利用最近樣本使用常規(guī)技術(shù)獲取的填充參考樣本，意味著填充參考樣本可表示為:
[0041]Pad(i) = S(i，3),其中 i = O, I, 2.
[0042]就具有正預測角的垂直SAP而言，S(i，3)，其中i = 1，2，3的預測值(表示為P(i，3))由下式給出，該預測值獨立于預測角的值:
[0043]P (i, 3) = S (1-1, 3)，其中 i = 1，2，3.(I)
[0044]因此，實際上，樣本的垂直預測角P (i，3)，其中i = 1，2，3可能總為O度，而其他樣本可使用不同的預測角。換句話說，預測值P(i，3)，其中i = l，2，3的預測角為O。結(jié)果與水平SAP的相同。基于這些觀察，可能需要使用邊界樣本對應的鄰近樣本或像素預測各個邊界樣本，像素不僅包括垂直SAP中緊靠上方的像素還包括水平SAP中緊靠左側(cè)的像素。
[0045]本文公開的是在基于像素的預測中用于I3U中的邊界樣本的改進預測的方法和裝置。邊界樣本是相鄰樣本的副本并呈現(xiàn)了冗余信息，使用鄰近樣本而不使用填充樣本預測邊界樣本?？蓪吔鐦颖镜母倪M預測與I3U中的其他像素的SAP結(jié)合以提供無損編碼模式下的有效的基于像素的預測方案。
[0046]基于上述觀察，可能需要使用邊界樣本對應的鄰近像素預測各個邊界樣本，像素不僅包括垂直SAP中緊靠上方的像素還包括水平SAP中緊靠左側(cè)的像素，例如，對于4X4的PU的垂直SAP，邊界樣本為S (i，3)，其中i = 1，2，3 ;對于4X4的PU的水平SAP，邊界樣本為S(3，i)，其中i = 1，2，3。圖5示出了大小為NXN的PU的樣本矩陣的實施例?？紤]垂直SAP為例。為了預測粗線框中的邊界樣本，即S(i，N-l)，i = 1，...，Ν-1，可使用以下自適應預測因子。假設X表示一個邊界樣本，即X = S(i，N-l)，l〈i〈(N-l)。假設PU)表示樣本X的預測值。X的左側(cè)、上方、左上方相鄰的鄰近樣本分別表示為A、B和C。圖6示出了樣本A、B、C和X之間的關(guān)系。如下預測樣本X:

WC>mm(A,B)
[0047]P(X) = * mm(A, B) if C < mm(A, B)(2)
A + B-C else
[0048]為了示出使用等式(2)用于垂直SAP的水平掃描順序，假設需要預測樣本S(I1N-1) (BP, X = S(1,N-1))0已使用圖2A的水平掃描順序預測鄰近樣本S(l，N-2)、S(O1N-1)和 S(0，N-2)，從而產(chǎn)生 P(S(l，N-2))、P(S(0，N-1))和 P(S(0，N_2))。使用等式(2)的符號和圖 6，在確定 P (X = S (1，N-1)) ψ A = P(S(1,N-2)),B = P(S(0,N-1))和C =P (S (O, N-2))。
[0049]為了示出使用等式(2)用于水平SAP的垂直掃描順序，假設需要預測樣本S (N-1, I)(即，X = S (N-1, I))。對于SAP預測S (N-1, I)下方不存在可用的鄰近樣本，所以使用了等式(2)。已使用圖2B的垂直掃描順序預測鄰近樣本S(N-l，0)、S(N-2，0)和3 0-2，1)，從而產(chǎn)生？(5 0-1，0))、？(5 0-2，0)和 P (S (N-2，I))。使用等式(2)的符號和圖6，在使用等式(2)確定 P(X = S(N-1，I))中 A = P(S(N-1，0))、B = P(S(N-2，I))和C =P(S(N-2，0)。一般而言，當使用水平SAP時，在等式(2)中使用自適應預測因子的邊界樣本可能是S(N-l，i)，i = I,-,N-10為了預測上述邊界樣本中的一個樣本，可使用如等式(2)中所述的同一預測因子。
[0050]等式⑵是一種基于某些邊界樣本S(i，N_l)或S(N_1，i)(其中i = I, ".，Ν_1)的鄰近樣本值預測樣本值的可能方式。其他可能方式包括計算中值或值Α、B和C的平均值。
[0051]如果樣本不屬于邊界樣本S(i，N-l)(垂直SAP)或S (N-1, i)(水平SAP)中的任一者，其中i = 1，2，...，N-1，那么可使用任意常規(guī)SAP技術(shù)。圖7A示出了使用正角(表示為α)的垂直SAP，以及圖7Β示出了使用正角(也表示為α)的水平SAP。在圖7A和7B中，X表示待預測的像素值，A和B表示鄰近像素的實際或預測像素值。在這兩種情況下，X可為A和B的加權(quán)(或線性)組合。例如，X可表示為:
[0052]X=(l- s)*A+s*B, (3)
[0053]其中s是范圍為[0，1]的加權(quán)因子。當α很小時，加權(quán)因子應當給予A更大的權(quán)重,隨著α增大,給予B的權(quán)重應當增加。加權(quán)因子s可例如等于tan(a)，其中0〈α〈45度。HEVC中指定的幀內(nèi)預測方法是計算這些加權(quán)因子的可能方式之一。
[0054]圖8是用于在無損模式下對進行編碼的方法700的實施例的流程圖。該方法從方框710開始。在方框710中，確定PU的處理順序。處理順序可為水平處理順序，例如如圖2Α所示，或垂直處理順序，例如如圖2Β所示。接著，在方框720中，計算中的邊界樣本的預測值。對于水平處理順序(即，垂直SAP用于其他樣本)，待預測的邊界樣本可表示為S(i，N-l)，其中i = 1，2，...，N-1 ;對于垂直處理順序(即，水平SAP用于其他樣本)，可表示為S(N-1，i)，其中i = 1，2，...，N-1。也就是說，待預測的特定邊界樣本取決于掃描或處理順序。PU可如圖5所示布置?？苫诶缛鐖D6所示的對應左側(cè)、上方和左上方的鄰近樣本并使用等式(2)計算邊界樣本的預測值。接著，在方框730中，使用SAP計算PU中的剩余樣本(即，PU中除上述邊界樣本之外的所有樣本)的預測值?？墒褂萌我獬Ｒ?guī)SAP技術(shù)，該技術(shù)將樣本預測為兩個鄰近樣本的線性組合，其中該組合取決于預測角。等式(3)示出了 SAP技術(shù)的一個示例。可以任意順序或并行執(zhí)行方框720和730。在方框740中，在確定了 PU中的所有樣本的預測值以提供預測PU或預測塊之后，可如圖1所示計算殘差塊，該殘差塊可為輸入塊和計算的預測塊之間的差值。最后，在方框750中，可使用熵編碼對殘差塊進行編碼，例如如圖1所示。回想到變換102和量化104模塊在無損模式下被繞過，所以殘差塊可直接提供給熵編碼器150。熵編碼后的值可插入比特流中。PU可包括亮度或色度樣本。方法700可應用到亮度樣本、色度樣本或亮度樣本和色度樣本。
[0055]圖9是無損解碼模式下解碼方法760的實施例的流程圖。鑒于本文所述的視頻編碼方案的詳情，本領域的普通技術(shù)人員可以制定解碼來逆轉(zhuǎn)或“撤銷”本文所述的編碼。然而，方法760用于說明性和便利目的。方法760從方框765開始，在方框765中，使用熵解碼對一部分比特流進行解碼以生成殘差塊。在方框770中，基于一個或多個先前解碼的鄰近塊中的殘差塊之外的多個參考像素重建預測塊?？墒褂脤髠?cè)、上方以及左上方鄰近重建的樣本重建基于處理順序識別的邊界樣本?？墒褂肧AP (水平處理順序為垂直SAP，垂直處理順序為水平SAP)重建預測塊中的剩余樣本。在方框775中，預測塊可添加到殘差塊中以在視頻幀中獲取原始塊(例如，輸入PU)的估計。原始塊可為亮度或色度樣本。
[0056]上述方案可以在網(wǎng)絡部件上實施，例如計算機或網(wǎng)絡部件，其具有足夠的處理能力、存儲資源以及網(wǎng)絡吞吐能力來處理其上的必要工作量。圖10是網(wǎng)絡部件或節(jié)點800的實施例的示意圖，所述網(wǎng)絡部件或節(jié)點800適用于實施本文所公開的視頻編解碼器或方法的一項或多項實施例，例如，編碼器100、用于編碼PU的方法700，以及用于解碼的方法760。網(wǎng)絡節(jié)點800包括處理器802，其與包括輔助存儲器804、只讀存儲器(ROM) 806、隨機存取存儲器(RAM) 808、輸入/輸出(I/O)設備810，以及發(fā)射器/接收器(或收發(fā)器)812的存儲設備進行通信。I/O設備810和/或發(fā)射器/接收器812是可選的，并且如果不包含I/O設備810和/或發(fā)射器/接收器812，則網(wǎng)絡節(jié)點800稱為計算設備，在這種情況下，編碼的比特流或解碼的視頻流可存儲在存儲器中。處理器802可以實施為一個或多個中央處理單元(CPU)芯片、核(例如，多核處理器)、現(xiàn)場可編程門陣列(FPGA)、專用集成電路(ASIC)，和/或數(shù)字信號處理器(DSP)。處理器802可以使用硬件或軟硬件的組合來實施。
[0057]輔助存儲器804通常由一個或多個磁盤驅(qū)動器或磁帶驅(qū)動器組成，用于數(shù)據(jù)的非易失性存儲，且如果RAM808的大小不足以保存所有工作數(shù)據(jù)，那么所述輔助存儲器還用作溢流數(shù)據(jù)存儲設備。輔助存儲器804可以用于存儲程序，當選擇執(zhí)行這些程序時，所述程序?qū)⒓虞d到RAM808中。R0M806用于存儲在程序執(zhí)行期間讀取的指令以及可能讀取的數(shù)據(jù)。R0M806為非易失性存儲設備，其存儲容量相對于輔助存儲器804的較大存儲容量而言通常較小。RAM808用于存儲易失性數(shù)據(jù)，并且可能用于存儲指令。R0M806和RAM808兩者的存取速度通常比輔助存儲器804的存取速度快。
[0058]發(fā)射器/接收器812可用作網(wǎng)絡節(jié)點800的輸出和/或輸入設備。例如，如果發(fā)射器/接收器812用作發(fā)射器，則其可將數(shù)據(jù)傳出網(wǎng)絡節(jié)點800。如果發(fā)射器/接收器812用作接收器，其可將數(shù)據(jù)傳入網(wǎng)絡節(jié)點800。發(fā)射器/接收器812可采用以下形式:調(diào)制解調(diào)器，調(diào)制解調(diào)器組，以太網(wǎng)卡，通用串行總線(USB)接口卡，串行接口，令牌環(huán)卡，光纖分布式數(shù)據(jù)接口(FDDI)卡，無線局域網(wǎng)(WLAN)卡，無線收發(fā)器卡例如碼分多址(CDMA)，全球移動通信系統(tǒng)(GSM)，長期演進(LTE)，全球微波接入互操作性(WiMAX)，和/或其他空中接口協(xié)議無線收發(fā)器卡，以及其他公知的網(wǎng)絡設備。發(fā)射器/接收器812可提供一種途徑給處理器802以與互連網(wǎng)或一個或多個內(nèi)網(wǎng)進行通信。如果網(wǎng)絡節(jié)點800用作視頻編碼器，則處理器802可編碼比特流。處理器802還可包化和封裝(即，格式化)比特流進行傳輸并提供格式化的比特流給發(fā)射器/接收器812。發(fā)射器/接收器812隨后將傳輸該格式化的比特流。
[0059]I/O設備810可包括視頻監(jiān)控器，液晶顯示器(IXD)，觸屏顯示器，或用于顯示視頻的其他類型的視頻顯示器，和/或可包括捕獲視頻的視頻錄像設備。I/o設備810可包括一個或多個鍵盤、鼠標、軌跡球或其他公知的輸入設備。如果網(wǎng)絡節(jié)點800用作視頻編碼器，則待編碼的視頻流可以由I/O設備810提供或通過其他方式提供。類似地，如果網(wǎng)絡節(jié)點800用作視頻解碼器，則待解碼的視頻流可通過發(fā)射器/接收器812接收或通過其他方式提供。
[0060]應理解，通過將可執(zhí)行指令編程和/或加載至網(wǎng)絡節(jié)點800，處理器802、輔助存儲器804、RAM808和R0M806中的至少之一被改變，從而將網(wǎng)絡節(jié)點800的一部分轉(zhuǎn)換成特定機器或裝置(如，本發(fā)明宣揚的擁有功能的視頻編解碼器)。可執(zhí)行指令可存儲在輔助存儲器804、R0M806和/或RAM808上，并加載至處理器802中進行執(zhí)行。加載可執(zhí)行軟件至計算機所實現(xiàn)的功能可以通過公知設計規(guī)則轉(zhuǎn)換成硬件實施，這在電力工程和軟件工程領域是很基礎的。決定使用軟件還是硬件來實施一個概念通常取決于對設計穩(wěn)定性及待生產(chǎn)的單元數(shù)量的考慮，而不是從軟件領域轉(zhuǎn)換至硬件領域中所涉及的任何問題。一般來說，經(jīng)常變動的設計更適于在軟件中實施，因為重新編寫硬件實施比重新編寫軟件設計更為昂貴。通常，穩(wěn)定及大規(guī)模生產(chǎn)的設計更適于在如專用集成電路(ASIC)這樣的硬件中實施，因為運行硬件實施的大規(guī)模生產(chǎn)比軟件實施更為便宜。設計通?？梢砸攒浖问竭M行開發(fā)和測試，之后通過公知設計規(guī)則轉(zhuǎn)變成專用集成電路中等同的硬件實施，該集成電路硬線軟件指令。由新ASIC控制的機器是一特定的機器或裝置，同樣地，編程和/或加載有可執(zhí)行指令的電腦可視為特定的機器或裝置。
[0061]本發(fā)明公開至少一項實施例，且所屬領域的普通技術(shù)人員對所述實施例和/或所述實施例的特征作出的變化、組合和/或修改均在本發(fā)明公開的范圍內(nèi)。因組合、合并和/或省略所述實施例的特征而得到的替代性實施例也在本發(fā)明的范圍內(nèi)。在明確陳述數(shù)值范圍或限制的情況下，應將此類表達范圍或限制理解為包含屬于明確陳述的范圍或限制內(nèi)的類似量值的迭代范圍或限制(例如，從約為I到約為10包含2、3、4等；大于0.10包含0.11、
0.12,0.13等)。例如，每當公開具有下限R1和上限Ru的數(shù)值范圍時，具體是公開落入所述范圍內(nèi)的任何數(shù)字。具體而言，特別公開所述范圍內(nèi)的以下數(shù)字:R = RJh(Ru-R1)，其中
k 是從 1%到 100% 以 1%增量遞增的變量，SP，k 是 1%、2%、3%、4%、5%......50%、51%、
52%......95%、96%、97%、98%、99%或100%。此外，還特此公開了，上文定義的兩個R值所定義的任何數(shù)值范圍。除非另有說明，否則術(shù)語“約”是指其后數(shù)字的±10%。相對于權(quán)利要求的某一要素，術(shù)語“可選擇”使用表示該要素可以是需要的，或者也可以是不需要的，二者均在所述權(quán)利要求的范圍內(nèi)。例如包括、包含和具有等較廣義的術(shù)語，應被理解為用于支持較狹義的術(shù)語，例如“由……組成”、“基本上由……組成”、以及“大體上由……組成”等。因此，保護范圍不受上文所述的限制，而是由所附權(quán)利要求書定義，所述范圍包含所附權(quán)利要求書的標的物的所有等效物。每項和每條權(quán)利要求作為進一步公開的內(nèi)容并入說明書中，且權(quán)利要求書是本發(fā)明的實施例。所述揭示內(nèi)容中的參考的論述并不是承認其為現(xiàn)有技術(shù)，尤其是具有在本申請案的在先申請 優(yōu)先權(quán)日:期之后的
【公開日】期的任何參考。本發(fā)明中所引用的所有專利、專利申請案和公開案的揭示內(nèi)容特此以引用的方式并入本文本中，其提供補充本發(fā)明的示例性、程序性或其它細節(jié)。
[0062]雖然本發(fā)明多個具體實施例，但應當理解，所公開的系統(tǒng)和方法也可通過其他多種具體形式體現(xiàn)，而不會脫離本發(fā)明的精神或范圍。本發(fā)明的實例應被視為說明性而非限制性的，且本發(fā)明并不限于本文本所給出的細節(jié)。例如，各種元件或部件可以在另一系統(tǒng)中組合或合并，或者某些特征可以省略或不實施。
[0063]此外，在不脫離本發(fā)明的范圍的情況下，各種實施例中描述和說明為離散或單獨的技術(shù)、系統(tǒng)、子系統(tǒng)和方法可以與其它系統(tǒng)、模塊、技術(shù)或方法進行組合或合并。展示或論述為彼此耦合或直接耦合或通信的其它項也可以采用電方式、機械方式或其它方式通過某一接口、設備或中間部件間接地耦合或通信。其他變更、替換、更替示例對本領域技術(shù)人員而言是顯而易見的，均不脫離此處公開的精神和范圍。
【權(quán)利要求】
1.一種方法，其特征在于，包括: 使用預測單元(PU)中對應左側(cè)、上方以及左上方相鄰的鄰近像素計算所述中多個邊界像素的預測值；以及 使用基于樣本的角預測(SAP)計算所述中第二多個像素的預測值，其中所述第二多個像素除了包括所述多個邊界像素還包括所述PU中所有其他像素。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，計算所述多個邊界像素的預測值包括: 基于對應左側(cè)、上方和左上方相鄰的鄰近像素值計算所述多個邊界像素中每個像素的所述預測值。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，計算所述第二多個像素的預測值包括: 根據(jù)預測角計算所述第二多個像素中每個像素的所述預測值為對應相鄰像素值的線性組合。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，基于所述對應左側(cè)、上方和左上方鄰近相鄰像素值計算所述預測值包括計算所述預測值為:
其中P(X)表示像素X的所述預測值，A表示所述對應左側(cè)像素值，B表示所述對應上方像素值，以及C表示所述對應左上方像素值。
5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述多個邊界像素的所述預測值和所述第二多個像素的所述預測值形成所述PU的預測塊，其中所述方法進一步包括: 從原始塊中減去所述預測塊以生成殘差塊；以及 通過熵編碼所述殘差塊對所述殘差塊進行無損編碼以生成一部分比特流。
6.根據(jù)權(quán)利要求3所述的方法，其特征在于，進一步包括: 選擇掃描處理順序為水平掃描處理順序或垂直掃描處理順序； 選擇所述預測角， 其中所述對應相鄰像素值包括對應的兩個像素值；所述線性組合包括取決于所述預測角的所述兩個像素值的權(quán)重。
7.根據(jù)權(quán)利要求5所述的方法，其特征在于，進一步包括: 格式化所述部分比特流進行傳輸；以及 傳輸所述格式化的部分比特流。
8.根據(jù)權(quán)利要求6所述的方法，其特征在于，進一步包括基于所述掃描處理順序選擇所述多個邊界像素。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，如果所述處理順序為所述水平掃描處理順序，所述多個邊界像素位于所述PU的右側(cè)邊界；如果所述掃描處理順序為所述垂直掃描處理順序，所述多個邊界像素位于所述PU的下方邊界。
10.一種裝置，其特征在于，包括:處理器，用于: 使用預測單元(PU)中對應左側(cè)、上方以及左上方相鄰的鄰近像素計算所述中多個邊界像素的預測值；以及 使用基于樣本的角預測(SAP)計算所述中第二多個像素的預測值，其中所述第二多個像素除了包括所述多個邊界像素還包括所述PU中所有其他像素。
11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，計算所述多個邊界像素的預測值包括: 基于對應左側(cè)、上方和左上方相鄰的鄰近像素值計算所述多個邊界像素中每個像素的所述預測值。
12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，計算所述第二多個像素的預測值包括: 根據(jù)預測角計算所述第二多個像素中每個像素的所述預測值為對應相鄰像素值的線性組合。
13.根據(jù)權(quán)利要求12所述的裝置，其特征在于，基于所述對應左側(cè)、上方和左上方鄰近的相鄰像素值計算所述預測值包括計算所述預測值為:
其中P(X)表示像素X的所述預測值，A表示所述對應左側(cè)像素值，B表示所述對應上方像素值，以及C表示所述對應左上方像素值。
14.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述多個邊界像素的所述預測值和所述第二多個像素的所述預測值形成所述PU的預測塊，其中所述處理器進一步包括: 從原始塊中減去所述預測塊以生成殘差塊；以及熵編碼所述殘差塊以生成一部分比特流。
15.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述處理器進一步用于: 選擇掃描處理順序為水平掃描處理順序或垂直掃描處理順序； 選擇所述預測角， 其中所述對應相鄰像素值包括對應的兩個像素值；所述線性組合包括取決于所述預測角的所述兩個像素值的權(quán)重。
16.根據(jù)權(quán)利要求14所述的裝置，其特征在于，所述處理器進一步包括格式化所述部分比特流進行傳輸；以及所述裝置進一步包括發(fā)射器，用于傳輸所述格式化的部分比特流。
17.—種方法,其特征在于,包括: 熵解碼一部分比特流以生成殘差塊； 通過以下方式重建對應于所述殘差塊的預測塊: 使用對應左側(cè)、上方和左上方鄰近的相鄰重建像素值重建多個邊界像素；以及使用基于樣本的角預測(SAP)重建第二多個像素，其中所述第二多個像素除了包括所述多個邊界像素還包括所述預測塊中的所有其他像素；以及所述第二多個像素和所述多個邊界像素形成所述預測塊；以及 將所述預測塊添加到所述殘差塊以生成視頻幀中原始塊的估計。
18.根據(jù)權(quán)利要求17所述的方法，其中重建所述多個邊界像素包括:基于所述對應左偵U、上方和左上方相鄰的鄰近重建的像素值計算所述多個邊界像素中每個像素的所述預測值。
19.根據(jù)權(quán)利要求18所述的方法，其特征在于，重建所述第二多個像素包括:根據(jù)預測角計算所述第二多個像素中每個像素位置的預測值為對應相鄰重建像素值對的線性組合。
20.根據(jù)權(quán)利要求17所述的方法，其特征在于，進一步包括:確定所述掃描處理順序；以及 根據(jù)所述掃描處理順序確定所述多個邊界像素。
21.一種裝置，其特征在于，包括:處理器，用于: 熵解碼一部分比特流以生成殘差塊； 通過以下方式重建對應于所述殘差塊的預測塊: 使用對應左側(cè)、上方和左上方鄰近的相鄰重建像素值重建多個邊界像素；以及使用基于樣本的角預測(SAP)重建第二多個像素，其中所述第二多個像素除了包括所述多個邊界像素還包括所述預測塊中的所有其他像素；以及所述第二多個像素和所述多個邊界像素形成所述預測塊；以及 將所述預測塊添加到所述殘差塊以生成視頻幀中原始塊的估計。
【文檔編號】H04N19/182GK104205843SQ201380016655
【公開日】2014年12月10日 申請日期:2013年4月19日 優(yōu)先權(quán)日:2012年4月20日
【發(fā)明者】高文, 姜明強, 于浩平 申請人:華為技術(shù)有限公司