用于非正方形預(yù)測單元的依賴于模式的幀內(nèi)平滑濾波器的表映射方法
【專利摘要】一種設(shè)備，其包括處理器，所述處理器用于確定是否基于用于正方形預(yù)測單元（PU）的查找表（LUT）對矩形PU使用幀內(nèi)平滑濾波器，其中所述矩形PU的寬度不等于所述矩形PU的高度。
【專利說明】用于非正方形預(yù)測單元的依賴于模式的幀內(nèi)平滑濾波器的表映射方法
相關(guān)申請案的交叉參考
[0001]本發(fā)明要求2012年5月18日由李貴春(Guichun Li)等人遞交的發(fā)明名稱為“用于非正方形預(yù)測單元的依賴于模式的幀內(nèi)平滑濾波器的表映射方法(Mode DependentIntra Smoothing Filter Table Mapping Methods for Non-Square Prediction Units)，，的第13/475，587號美國非臨時專利申請案的在先申請優(yōu)先權(quán)，該在先申請要求2011年6月15日由李貴春(Guichun Li)等人遞交的發(fā)明名稱為“用于非正方形預(yù)測單元的依賴于模式的巾貞內(nèi)平滑濾波器的表映射方法(Mode Dependent Intra Smoothing Filter TableMapping Methods for Non-Square Prediction Units)”的第61/497，173號美國臨時專利申請案的在先申請優(yōu)先權(quán)，這兩個在先申請的內(nèi)容均以引入的方式并入本文本中，如全文再現(xiàn)一般。
關(guān)于由聯(lián)邦政府贊助的研究或開發(fā)的聲明
[0002]不適用。
參考縮微膠片附錄
[0003]不適用。
【技術(shù)領(lǐng)域】
無
【背景技術(shù)】
[0004]即使在影片相對較短的情況下也需要大量的視頻數(shù)據(jù)來進(jìn)行描述，而當(dāng)數(shù)據(jù)要在帶寬容量有限的通信網(wǎng)絡(luò)中流過或以其他方式傳送時，這樣可能會造成困難。因此，視頻數(shù)據(jù)通常要先壓縮然后再在現(xiàn)代電信網(wǎng)絡(luò)中傳送。視頻壓縮裝置通常在源處使用軟件和/或硬件，以在傳輸之前對視頻數(shù)據(jù)進(jìn)行編碼，從而減少用來表示數(shù)字視頻圖像所需的數(shù)據(jù)量。接著，壓縮數(shù)據(jù)在目的地處由視頻解壓裝置接收，該視頻解壓裝置用于對視頻數(shù)據(jù)進(jìn)行解碼。在網(wǎng)絡(luò)資源有限而對更高質(zhì)量的視頻需求不斷增加的情況下，需要改進(jìn)的壓縮和解壓技術(shù)來提高圖像質(zhì)量，而不會大量增加比特率。

【發(fā)明內(nèi)容】

[0005]在一項(xiàng)實(shí)施例中，本發(fā)明包含一種設(shè)備，其包括處理器，所述處理器用于確定是否基于用于正方形預(yù)測單元(PU)的查找表(LUT)對矩形使用幀內(nèi)平滑濾波器，其中該矩形PU的寬度不等于該矩形PU的高度。
[0006]在另一項(xiàng)實(shí)施例中，本發(fā)明包含一種由處理器實(shí)施的方法，其包括確定是否基于用于正方形PU的LUT對矩形PU使用幀內(nèi)平滑濾波器，其中該矩形的寬度不等于該矩形PU的高度。[0007]在又一項(xiàng)實(shí)施例中，本發(fā)明包含一種設(shè)備，其包括處理器，所述處理器用于根據(jù)短距離幀內(nèi)預(yù)測(SDIP)方案將正方形編碼單元(⑶)分成包含矩形的多個塊，其中該矩形PU的寬度不等于該矩形PU的高度，并且所述處理器用于確定是否基于LUT對矩形PU使用幀內(nèi)平滑濾波器，所述LUT用于正方形PU的依賴于模式的幀內(nèi)平滑(MDIS)。
[0008]從結(jié)合附圖和所附權(quán)利要求書進(jìn)行的以下詳細(xì)描述將更清楚地理解這些和其他特征。
【專利附圖】

【附圖說明】
[0009]為了更完整地理解本發(fā)明，現(xiàn)在參考以下結(jié)合附圖和詳細(xì)描述進(jìn)行的簡要描述，其中相同參考標(biāo)號表不相同部分。
[0010]圖1為多個幀內(nèi)預(yù)測模式的示意圖。
[0011]圖2為劃分成多個矩形和正方形預(yù)測單元的示例性編碼單元的圖解。
[0012]圖3為寬度映射方法的一項(xiàng)實(shí)施例的流程圖。
[0013]圖4為高度映射方法的一項(xiàng)實(shí)施例的流程圖。
[0014]圖5為塊尺寸映射方法的一項(xiàng)實(shí)施例的流程圖。
[0015]圖6為網(wǎng)絡(luò)單元的一項(xiàng)實(shí)施例的示意圖。
[0016]圖7為通用計算機(jī)系統(tǒng)的一項(xiàng)實(shí)施例的示意圖。
【具體實(shí)施方式】
[0017]最初應(yīng)理解，盡管下 文提供一項(xiàng)或多項(xiàng)實(shí)施例的說明性實(shí)施方案，但可以使用任何數(shù)目的技術(shù)，不管是當(dāng)前已知還是現(xiàn)有的，來實(shí)施所揭示的系統(tǒng)和/或方法。本發(fā)明決不應(yīng)限于下文所說明的所述說明性實(shí)施方案、圖式和技術(shù)，包含本文本所說明并描述的示范性設(shè)計和實(shí)施方案，而是可以在所附權(quán)利要求書的范圍及其等效物的完整范圍內(nèi)修改。
[0018]通常，視頻媒體涉及相對較快地連續(xù)顯示一系列靜態(tài)圖像或幀，從而讓觀察者感覺到運(yùn)動。每個幀可以包括多個圖像元素或像素，每個圖像元素或像素可以表示幀中的單個參考點(diǎn)。在數(shù)字處理期間，每個像素可以被分配一個整數(shù)值(例如，O、1、…或255)，所述整數(shù)值表示對應(yīng)參考點(diǎn)處的圖像質(zhì)量或特性，例如，亮度或色度。通常，單個幀內(nèi)的像素組(宏塊)可以大體上與同一幀內(nèi)的其他宏塊相關(guān)，這樣，一些宏塊中的像素值可能僅略有不同以及/或者顯示出重復(fù)的結(jié)構(gòu)?，F(xiàn)代視頻壓縮方法使用各種技術(shù)來利用這些空間相關(guān)性(spatial correlation),這些技術(shù)可以統(tǒng)稱為幀內(nèi)部預(yù)測(或簡稱為幀內(nèi)預(yù)測)。幀內(nèi)預(yù)測可以減少同一幀中相鄰和/或鄰近的宏塊(本文本中也稱為塊)之間的空間冗余，從而在沒有大幅度降低圖像質(zhì)量的情況下對視頻數(shù)據(jù)進(jìn)行壓縮。各種傳統(tǒng)視頻/圖像編碼標(biāo)準(zhǔn)描述了不同形式的幀內(nèi)預(yù)測，所述標(biāo)準(zhǔn)例如，國際電信聯(lián)盟(ITU)電信標(biāo)準(zhǔn)化部門(ITU-T)H.264 (下文稱為H.264)，該標(biāo)準(zhǔn)以引入的方式并入本文本中，如全文再現(xiàn)一般。
[0019]實(shí)際上，幀內(nèi)預(yù)測可以由視頻編碼器/解碼器(編解碼器)實(shí)施，以根據(jù)一個或多個先前已編碼/已解碼的鄰近塊插入預(yù)測塊，從而形成近似的當(dāng)前塊。因此，編碼器和解碼器可以獨(dú)立地插入預(yù)測塊，從而使得絕大部分的幀和/或圖像能夠根據(jù)相對少量的參考塊的通信進(jìn)行重構(gòu)，所述參考塊例如，位于幀的左上角(并從此處延伸)的塊。然而，單獨(dú)的幀內(nèi)預(yù)測可能并不會為現(xiàn)代視頻再現(xiàn)質(zhì)量足夠好的圖像，因此，殘余消息等糾錯消息可以在編碼器與解碼器之間傳送，以糾正預(yù)測塊與當(dāng)前塊之間的差異。例如，編碼器可以從當(dāng)前塊中減去預(yù)測塊，從而得到殘余塊，接著所述殘余塊可以進(jìn)行變換、量化以及掃描，然后被編碼成編碼數(shù)據(jù)流。接收編碼數(shù)據(jù)流之后，解碼器可以將重構(gòu)的殘余塊添加到單獨(dú)產(chǎn)生的預(yù)測塊上，從而重新創(chuàng)建當(dāng)前塊。雖然重新創(chuàng)建的當(dāng)前塊可能沒有原始當(dāng)前塊完美，例如，由于幀內(nèi)編碼壓縮的損耗性質(zhì)等原因，但是它們的差異可能是人眼幾乎無法察覺到的。因此，可以得到大量的位節(jié)約(bit saving)，且不會顯著降低重構(gòu)圖像的質(zhì)量。
[0020]殘余塊可以包括預(yù)測塊與當(dāng)前塊之間的少許差異，因此，例如，在預(yù)測塊與當(dāng)前塊相同和/或近乎相同的區(qū)域中，殘余塊的許多離散值，例如，像素數(shù)據(jù)，可以包括零和/或接近零的系數(shù)。此外，殘余塊的變換、量化和/或掃描可以從數(shù)據(jù)流中移除許多零和/或接近零的系數(shù)，從而引起對視頻數(shù)據(jù)的進(jìn)一步壓縮。因此，對原始圖像進(jìn)行更精確的預(yù)測便可以得到編碼效率。為了利用這些編碼效率，傳統(tǒng)視頻/圖像編碼標(biāo)準(zhǔn)可以提高預(yù)測精確性，方式為在幀內(nèi)預(yù)測期間使用多個預(yù)測模式，例如，每個預(yù)測模式可以產(chǎn)生唯一的結(jié)構(gòu)。例如，提出的高性能視頻編碼(HEVC)視頻壓縮標(biāo)準(zhǔn)(也稱為H.265)可以在統(tǒng)一幀內(nèi)預(yù)測(ΠΡ)方案中使用各種預(yù)測模式。
[0021]圖1圖示了用在HEVC UIP方案中的多個幀內(nèi)預(yù)測模式100的示意圖。對于亮度塊，幀內(nèi)預(yù)測模式100可以包含多達(dá)34個幀內(nèi)預(yù)測模式，其可以包括33個定向模式以及一個非定向模式，例如，直流(DC)預(yù)測模式。在使用中，編碼器可以選擇能夠生成每個當(dāng)前塊的最精確預(yù)測的預(yù)測模式。例如，在幀內(nèi)預(yù)測模式100中可以計算每個模式的絕對誤差和(SAE )，并且可以選擇具有最少SAE的一個模式。通常情況下，幀內(nèi)預(yù)測模式數(shù)目越多，可以得到的幀內(nèi)預(yù)測更精確。例如，最近的研究表明，相比于使用較少預(yù)測模式的協(xié)定，例如，僅使用9個幀內(nèi)預(yù)測模式的H.264，使用34個幀內(nèi)預(yù)測模式，例如，幀內(nèi)預(yù)測模式100，的協(xié)定可以更精確地預(yù)測復(fù)雜的結(jié)構(gòu)。盡管圖1示出34個幀內(nèi)預(yù)測模式，但是應(yīng)注意，根據(jù)塊尺寸和/或幀內(nèi)預(yù)測方案，也可以使用任何其他合適數(shù)目的預(yù)測模式。
[0022]盡管幀內(nèi)預(yù)測具有編碼優(yōu)勢，但是它可能有潛在的缺點(diǎn)。例如，由于每個預(yù)測塊或重構(gòu)塊可以用其選擇的系數(shù)獨(dú)立地進(jìn)行變換、量化，然后進(jìn)行存儲/傳輸，所以可以不考慮相鄰塊之間的相關(guān)性。因此，當(dāng)重構(gòu)出已編碼的視頻幀時，屬于不同塊的邊界區(qū)域可以用不同方式進(jìn)行處理，從而產(chǎn)生可見的不連續(xù)性，這可以稱為塊效應(yīng)。這些效應(yīng)的嚴(yán)重程度取決于不同水平的壓縮。通常，量化程度越強(qiáng)，潛在效應(yīng)就越嚴(yán)重。當(dāng)此種現(xiàn)象比較顯著時，它可以明顯降低視頻質(zhì)量。
[0023]為了減少塊效應(yīng)并且提高重構(gòu)出的視頻幀的質(zhì)量，幀內(nèi)平滑方案有時可以適用于位于塊邊緣上的像素。幀內(nèi)平滑可以使用分塊濾波器來消除或減少塊效應(yīng)。在編碼器中的逆變換之后(例如，在重構(gòu)和存儲宏塊以待將來預(yù)測之前)以及/或者在解碼器中的逆變換之后(例如，在重構(gòu)和顯示宏塊之前)，可以運(yùn)用分塊濾波器。在幀內(nèi)平滑的作用下，塊邊界可以變平滑，從而改善解碼的視頻幀的表觀(尤其是在較高壓縮率下)。幀內(nèi)平滑可以適用于宏塊中塊的垂直和/或水平邊緣。在許多情況下，幀內(nèi)平滑可以適用于亮度數(shù)據(jù)和色度數(shù)據(jù)。
[0024]目前，存在多種幀內(nèi)平滑方案。例如，在一種方案中，編解碼器可以基于每個當(dāng)前塊的幀內(nèi)預(yù)測模式確定是否運(yùn)用分塊濾波器以及運(yùn)用何種分塊濾波器。這種方案可以稱為依賴于模式的幀內(nèi)平滑(MDIS)。同時，存在多種MDIS方法。例如，一種MDIS方法可以明確地發(fā)出是否對預(yù)測樣本進(jìn)行濾波的信號。對于所有潛在的幀內(nèi)預(yù)測模式，編碼器通過測試率失真(RD)成本來作出平滑決策。在替代性MDIS方法中，濾波或未濾波的預(yù)測樣本的RD成本可以僅測試用于最佳幀內(nèi)預(yù)測模式，從而產(chǎn)生相對較快的MDIS過程。
[0025]壓縮標(biāo)準(zhǔn)中傳統(tǒng)的基于塊的幀內(nèi)編碼可以僅將正方形塊用作預(yù)測單元(PU)，所述壓縮標(biāo)準(zhǔn)例如，高級視頻編碼(AVC)、關(guān)鍵技術(shù)區(qū)(KTA)以及HEVC測試模型(HM)等。預(yù)測單元可以指用于預(yù)測的基本單元。正方形PU包括水平側(cè)(寬度)，其與垂直側(cè)(高度)具有數(shù)目相同的像素?；谡叫蜳U的MDIS方案可以根據(jù)查找表(LUT)確定濾波器的開/關(guān)(0N/OFF)狀態(tài)和/或其類型。表1示出示例性LUT，其可以用在根據(jù)“WD3:高性能視頻編碼的工作草案 3 (WD3:Working Draft3of High-Efficiency Video Coding)，，的 HM3.0 中，該草案在2011年3月16-33日在日內(nèi)瓦(Geneva)由托馬斯?韋根(Thomas Wiegand)、韓振基(Woo-Jin Han)、本杰明.布洛斯(Benjamin Bross)、簡瑞納.歐姆(Jens-Rainer Ohm)、嘉瑞.J.蘇利文(Gary J.Sullivan)在 ITU-T SG16WP3 和 IS0/IEC JTC1/SC29/WG11 的視頻編碼聯(lián)合協(xié)作小組(JCT-VC)的第5次會議中的文檔JCTVC-E603中提出，該草案以引入的方式并入本文本中。表1可以包括多個濾波器決策條目，并且每個條目可以用正方形PU尺寸和幀內(nèi)預(yù)測模式檢索。行對應(yīng)于幀內(nèi)預(yù)測中正方形PU的所有可能尺寸，其中每行表示唯一的正方形I3U尺寸(例如，2x2、4x4等)。列對應(yīng)于可以在ΠΡ方案中使用的34個預(yù)測模式，其中每列表示根據(jù)圖1編號(從O到33)的幀內(nèi)預(yù)測模式。表1中的條目對應(yīng)于濾波器決策，并且表示決策的編號分配。對于本文本中的每個濾波器決策，編號I指示幀內(nèi)平滑濾波器被打開，而編號O指示幀內(nèi)平滑濾波器被關(guān)閉。例如，對于具有定向預(yù)測模式3的4x4正方形PU，可以執(zhí)行幀內(nèi)平滑；對于具有定向預(yù)測模式5的64x64正方形PU，可能并不執(zhí)行中貞內(nèi)平滑。
【權(quán)利要求】
1.一種設(shè)備，其包括:一個處理器，所述處理器用于:確定是否基于用于正方形預(yù)測單元(PU)的查找表(LUT)對矩形PU使用幀內(nèi)平滑濾波器，其中所述矩形PU的寬度不等于所述矩形PU的高度。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述處理器進(jìn)一步用于確定所述矩形PU的幀內(nèi)預(yù)測模式，其中用于正方形PU的所述LUT用幀內(nèi)預(yù)測模式和所述正方形的寬度檢索，并且其中所述LUT的條目經(jīng)選擇用于對應(yīng)于某種正方形的所述矩形PU，所述正方形PU與所述矩形PU具有相同的幀內(nèi)預(yù)測模式和寬度。
3.根據(jù)權(quán)利要求2所述的設(shè)備，其中當(dāng)滿足以下條件中的至少一個條件時，不使用幀內(nèi)平滑濾波器:所述矩形PU的所述寬度等于一所述矩形PU的所述高度等于一所述矩形PU的所述寬度小于五；以及所述矩形PU的所述高度小于五。
4.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述處理器進(jìn)一步用于確定所述矩形PU的幀內(nèi)預(yù)測模式，其中用于正方 形PU的所述LUT用幀內(nèi)預(yù)測模式和所述正方形的高度檢索，并且其中所述LUT的條目經(jīng)選擇用于對應(yīng)于某種正方形的所述矩形PU，所述正方形PU與所述矩形PU具有相同的幀內(nèi)預(yù)測模式和高度。
5.根據(jù)權(quán)利要求4所述的設(shè)備，其中當(dāng)滿足以下條件中的至少一個條件時，不使用幀內(nèi)平滑濾波器:所述矩形PU的所述高度等于一所述矩形PU的所述寬度等于一所述矩形PU的所述高度小于五；以及所述矩形PU的所述寬度小于五。
6.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述處理器進(jìn)一步用于確定所述矩形PU的幀內(nèi)預(yù)測模式，其中用于正方形PU的所述LUT用幀內(nèi)預(yù)測模式和所述正方形的維度檢索，其中所述LUT的條目經(jīng)選擇用于對應(yīng)于正方形的所述矩形PU，其中對應(yīng)的矩形與所述正方形I3U具有相同的幀內(nèi)預(yù)測模式，并且其中所述對應(yīng)的矩形PU的所述寬度與高度之間的較大值等于所述正方形PU的寬度。
7.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述處理器進(jìn)一步用于確定所述矩形PU的幀內(nèi)預(yù)測模式，其中用于正方形PU的所述LUT用幀內(nèi)預(yù)測模式和所述正方形的塊尺寸檢索，并且其中所述LUT的條目經(jīng)選擇用于對應(yīng)于某種正方形的所述矩形PU，所述正方形PU與所述矩形PU具有相同的幀內(nèi)預(yù)測模式和塊尺寸。
8.根據(jù)權(quán)利要求7所述的設(shè)備，其中當(dāng)滿足以下條件中的至少一個條件時，不使用幀內(nèi)平滑濾波器:所述矩形PU的所述寬度或高度等于一；以及所述矩形PU的所述寬度或高度小于五。
9.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述處理器進(jìn)一步用于基于用于正方形PU的所述LUT確定所述矩形的所述幀內(nèi)平滑濾波器類型。
10.一種由處理器實(shí)施的方法，其包括:確定是否基于用于正方形預(yù)測單元(PU)的查找表(LUT)對矩形PU使用幀內(nèi)平滑濾波器，其中所述矩形PU的寬度不等于所述矩形PU的高度。
11.根據(jù)權(quán)利要求10所述的方法，進(jìn)一步包括確定所述矩形PU的幀內(nèi)預(yù)測模式，其中用于正方形PU的所述LUT用幀內(nèi)預(yù)測模式和所述正方形PU的寬度檢索，并且其中所述LUT的條目經(jīng)選擇用于對應(yīng)于某種正方形PU的所述矩形PU，所述正方形與所述矩形具有相同的幀內(nèi)預(yù)測模式和寬度。
12.根據(jù)權(quán)利要求10所述的方法，進(jìn)一步包括確定所述矩形的幀內(nèi)預(yù)測模式，其中用于正方形I3U的所述LUT用幀內(nèi)預(yù)測模式和所述正方形PU的高度檢索，并且其中所述LUT的條目經(jīng)選擇用于對應(yīng)于某種正方形PU的所述矩形PU，所述正方形與所述矩形具有相同的幀內(nèi)預(yù)測模式和高度。
13.根據(jù)權(quán)利要求10所述的方法，進(jìn)一步包括確定所述矩形的幀內(nèi)預(yù)測模式，其中用于正方形PU的所述LUT用幀內(nèi)預(yù)測模式和所述正方形PU的塊尺寸檢索，并且其中所述LUT的條目經(jīng)選擇用于對應(yīng)于某種正方形的所述矩形PU，所述正方形PU與所述矩形具有相同的幀內(nèi)預(yù)測模式和塊尺寸。
14.一種設(shè)備,其包括:一個處理器，所述處理器用于`:根據(jù)短距離幀內(nèi)預(yù)測(SDIP)方案，將正方形編碼單元(CU)分成包含矩形預(yù)測單元(PU)的多個塊，其中所述矩形PU的寬度不等于所述矩形的高度；以及確定是否基于查找表(LUT)對所述矩形PU使用幀內(nèi)平滑濾波器，所述LUT用于正方形PU的依賴于模式的幀內(nèi)平滑(MDIS)。
15.根據(jù)權(quán)利要求14所述的設(shè)備，其中用于正方形PU的所述LUT用幀內(nèi)預(yù)測模式和所述正方形PU的維度檢索，并且其中所述處理器進(jìn)一步用于根據(jù)所述SDIP方案選擇所述矩形PU的幀內(nèi)預(yù)測模式。
16.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述LUT的條目經(jīng)選擇用于對應(yīng)于某種正方形PU的所述矩形PU，所述正方形PU與所述矩形具有相同的幀內(nèi)預(yù)測模式和寬度。
17.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述LUT的條目經(jīng)選擇用于對應(yīng)于某種正方形PU的所述矩形PU，所述正方形PU與所述矩形具有相同的幀內(nèi)預(yù)測模式和高度。
18.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述LUT的條目經(jīng)選擇用于對應(yīng)于某種正方形PU的所述矩形PU，所述正方形PU與所述矩形具有相同的幀內(nèi)預(yù)測模式和塊尺寸。
【文檔編號】H04N19/86GK103609124SQ201280029584
【公開日】2014年2月26日 申請日期:2012年6月14日 優(yōu)先權(quán)日:2011年6月15日
【發(fā)明者】李貴春, 劉凌志, 賴昌材, 林楠, 鄭建鏵, 張臣雄 申請人:華為技術(shù)有限公司