視頻數(shù)據(jù)編碼和解碼的制作方法
【專利說明】
[0001]相關申請的交叉引用
[0002] 本申請分別要求于2013年10月1日、2013年10月8日、2013年10月21日以及2013年 11月25日提交給英國知識產(chǎn)權局的GBl317406.5、GB1317803.3、GB1318593.9以及 GB1320772.5的較早申請日的權益，通過引用將其全部內容結合于此。
技術領域
[0003] 本公開涉及數(shù)據(jù)編碼和解碼。
【背景技術】
[0004] 本發(fā)明中提供的"背景"描述用于整體呈現(xiàn)本公開的背景的目的。在此背景段落以 及在申請時可能不被認定為現(xiàn)有技術的說明觀點中所述范圍內的目前所指名發(fā)明人的工 作，并未被明確地或暗示地認可作為相對本公開的現(xiàn)有技術。
[0005] 存在一些視頻數(shù)據(jù)壓縮和解壓縮系統(tǒng)，其涉及將視頻數(shù)據(jù)變換成頻域表示、量化 頻域系數(shù)并且然后向量化系數(shù)應用某種形式的熵編碼。
[0006] 在編碼器側變換成空間頻率域對應于在解碼器側的逆變換。示例性變換包括所謂 的離散余弦變換(DCT)和所謂的離散正弦變換(DST)。在一些實例中，通過將輸入樣本的陣 列矩陣乘以變換系數(shù)的矩陣進行變換以生成頻率變換數(shù)據(jù)。頻率變換數(shù)據(jù)被轉換回采樣數(shù) 據(jù)，通過使頻率變換數(shù)據(jù)的陣列矩陣乘以逆變換系數(shù)的矩陣從該采樣數(shù)據(jù)中能夠得出輸出 視頻數(shù)據(jù)。
[0007] 諸如所謂的高效率視頻編碼(HEVC)標準的一些標準和暫行標準限定了實際上未 使用空間頻率變換的編碼和解碼模式。有時這些稱為"變換跳過"或者"變換-量化跳過" ("變換-量化"是"變換和量化"的縮寫)模式。

【發(fā)明內容】

[0008] 本公開的一方面由權利要求1限定。
[0009] 在所附權利要求中限定了進一步的各個方面及特征。
[0010] 應當理解，前述一般性描述和以下【具體實施方式】是示例性的而不是對本公開的限 制。
【附圖說明】
[0011] 當結合附圖考慮時，通過參考以下實施方式的詳細描述將很容易獲得并且同樣更 好地理解本公開的更完整的認識及其許多所伴隨的優(yōu)點，其中：
[0012] 圖1示意性地示出了使用視頻數(shù)據(jù)壓縮和解壓縮的音頻/視頻(A/V)數(shù)據(jù)發(fā)送和接 收系統(tǒng)；
[0013] 圖2示意性地示出了利用視頻數(shù)據(jù)解壓縮的視頻顯示系統(tǒng)；
[0014] 圖3示意性地示出了利用視頻數(shù)據(jù)壓縮和解壓縮的音頻/視頻存儲系統(tǒng)；
[0015]圖4a示意性地示出使用視頻數(shù)據(jù)壓縮的攝影機；
[0016]圖4b示意性地更詳細地示出了示例性攝影機；
[0017] 圖4c示意性地示出另一示例性攝像機；
[0018] 圖4d和圖4e示意性地示出數(shù)據(jù)載體；
[0019] 圖5提供視頻數(shù)據(jù)壓縮和解壓縮裝置的示意圖；
[0020] 圖6示意性地示出了預測圖像的生成；
[0021]圖7示意性地示出了最大編碼單元(IXU);
[0022]圖8示意性地示出了四個編碼單元(⑶)的集合；
[0023]圖9和圖10不意性地不出了被子劃分成更小編碼單兀的圖8的編碼單兀；
[0024] 圖11示意性地示出了預測單元(PU)的陣列；
[0025] 圖12示意性地示出了變換單元(TU)的陣列；
[0026]圖13示意性地示出了樣本的陣列；
[0027]圖14示意性地示出頻率分離的系數(shù)的陣列；
[0028I圖15示意性地示出了圖14的陣列內的趨勢；
[0029]圖16示意性地示出了反向掃描；
[0030] 圖17a至圖17c示意性地示出了取整技術(rounding technique);
[0031 ] 圖18示意性地示出了RDOQ裝置；
[0032]圖19a和圖19b示意性地示出了圖18的裝置的操作；
[0033]圖20示意性地示出了編碼器的部分；
[0034] 圖21和圖22示意性地示出了RDPCM操作；
[0035] 圖23a和圖23b示意性地示出了RDPCM數(shù)據(jù)陣列中的趨勢；
[0036]圖24a和圖24b示意性地示出了水平編碼的RDPCM數(shù)據(jù)的掃描順序的變化； [0037]圖25a和圖25b示意性地示出了水平編碼的RDPCM數(shù)據(jù)的掃描順序的變化； [0038]圖26a和圖26b示意性地示出了內部圖像編碼的RDPCM數(shù)據(jù)的掃描順序的變化； [0039]圖27是示出了處理方法的示意性流程圖；
[0040]圖28示意性地示出了解碼器的一部分；
[0041]圖29至圖31是指示編碼器和/或解碼器的操作的方面的示意性流程圖；
[0042]圖32示意性地示出了對于圖像內編碼塊操作的編碼器和/或解碼器的一部分； [0043]圖33示意性地示出了對于圖像間編碼塊操作的編碼器和/或解碼器的一部分； [0044]圖34示意性地示出了對于圖像內編碼塊操作的編碼器和/或解碼器的一部分； [0045]圖35示意性地示出了對于圖像間編碼塊操作的編碼器和/或解碼器的一部分； [0046]圖36示意性地示出dc值的塊；
[0047] 圖37a示意性地示出了在水平DPCM處理之后圖36的塊；
[0048]圖37b示意性地示出了在旋轉操作之后圖37a的塊；
[0049] 圖38a示意性地示出了在垂直DPCM處理之后圖36的塊；
[0050]圖38b示意性地示出了在旋轉操作之后圖38a的塊；
[0051]圖39示意性地示出編碼器的操作的部分；
[0052]圖40示意性地示出解碼器的操作的一部分；以及 [0053] 圖41a和圖41b示意性地示出處理順序的變化。
【具體實施方式】
[0054] 現(xiàn)在參考附圖，圖1至圖4e被提供以給出利用壓縮和/或解壓縮裝置的裝置或系統(tǒng) 的示意圖，以供配合實施方式而描述于下。
[0055] 下面將要描述的所有數(shù)據(jù)壓縮和/或解壓縮裝置可以以硬件、運行在諸如通用計 算機、如專用集成電路(ASIC)或者現(xiàn)場可編程門陣列(FPGA)或者其組合的可編程硬件的通 用數(shù)據(jù)處理裝置上的軟件實施。在由軟件和/或固件實施實施方式的情況下，應當理解，這 樣的軟件和/或固件以及通過其存儲或以另外的方式提供的這樣的軟件和/或固件的非瞬 時性機器可讀數(shù)據(jù)存儲介質被視為實施方式。
[0056] 圖1示意性地示出了利用視頻數(shù)據(jù)壓縮和解壓縮的音頻/視頻數(shù)據(jù)發(fā)送和接收系 統(tǒng)。
[0057] 輸入音頻/視頻信號10被提供給視頻數(shù)據(jù)壓縮裝置20,視頻數(shù)據(jù)壓縮裝置壓縮音 頻/視頻信號10的至少視頻分量以用于沿著諸如電纜、光纖、無線鏈路等傳輸路徑30的傳 輸。壓縮信號被解壓縮裝置40處理以提供輸出音頻/視頻信號50。對于返回路徑，壓縮裝置 60壓縮音頻/視頻信號以沿著傳輸路徑30傳輸?shù)浇鈮嚎s裝置70。
[0058]壓縮裝置20和解壓縮裝置70由此能夠形成傳輸鏈路的一個節(jié)點。解壓縮裝置40和 解壓縮裝置60能夠形成傳輸鏈路的另一節(jié)點。當然，在傳輸鏈路為單向的情況下，僅一個節(jié) 點需要壓縮裝置并且另一節(jié)點僅需要解壓縮裝置。
[0059] 圖2示意性地示出了使用視頻數(shù)據(jù)解壓縮的視頻顯示系統(tǒng)。具體地，壓縮的音頻/ 視頻信號100被解壓縮裝置110處理以提供能夠在顯示器120上顯示的解壓縮信號。解壓縮 裝置110可以實施為顯示器120的組成部分，例如，與顯示設備設置在同一殼體內。另一方 面，解壓縮裝置110可被設置為(例如)所謂的機頂盒(STB)，注意：用詞"機頂"并非暗示機盒 需設置相對于顯示器120的任何特定方位或位置;其僅為用以指示可連接至顯示以當作外 圍設備的設備的本技術中所使用的術語。
[0060] 圖3示意性地示出了使用視頻數(shù)據(jù)壓縮和解壓縮的音頻/視頻存儲系統(tǒng)。輸入音 頻/視頻信號130被提供給壓縮裝置140,壓縮裝置140生成用于被諸如磁盤設備、光盤設備、 磁帶設備、例如半導體存儲器的固態(tài)存儲設備或者其他存儲設備等存儲設備150存儲的壓 縮信號。在重放時，從存儲設備150讀取壓縮數(shù)據(jù)并且將其傳送到用于解壓縮的解壓縮裝置 160以提供輸出音頻/視頻信號170。
[0061] 應當理解，壓縮或者編碼信號以及存儲介質或者存儲該信號的數(shù)據(jù)載體被視為實 施方式。參考如下所述的圖4d和圖4e。
[0062]圖4a示意性地示出使用視頻數(shù)據(jù)解壓縮的攝影機。圖4a中，諸如電荷耦合設備 (CCD)圖像傳感器及相關的控制和讀出電子設備等的圖像捕獲設備180生成傳送給壓縮裝 置190的視頻信號。麥克風(或者多個麥克風)200生成被傳送給壓縮裝置190的音頻信號。壓 縮裝置190生成將被存儲和/或傳輸(通常示出為示意性階段220)的壓縮的音頻/視頻信號 210〇
[0063]下面描述的技術主要涉及視頻數(shù)據(jù)壓縮。應當理解，許多現(xiàn)有技術可結合將要描 述的視頻數(shù)據(jù)壓縮技術用于音頻數(shù)據(jù)壓縮以生成壓縮音頻/視頻信號。因此，將不提供對音 頻數(shù)據(jù)壓縮的單獨討論。還應理解，與視頻數(shù)據(jù)相關聯(lián)的數(shù)據(jù)速率，尤其是廣播質量視頻數(shù) 據(jù)，通常比與（無論是壓縮或者未壓縮)音頻數(shù)據(jù)相關聯(lián)的數(shù)據(jù)速率高很多。因此，應當理 解，未壓縮的音頻數(shù)據(jù)可伴隨壓縮的視頻數(shù)據(jù)以形成壓縮的音頻/視頻信號。應當進一步理 解，盡管本實例（圖1至圖4e中示出）涉及音頻/視頻數(shù)據(jù)，然而，下面將要描述的技術中可以 發(fā)現(xiàn)在只處理(即，壓縮、解壓縮、存儲、顯示和/或傳輸)視頻數(shù)據(jù)的系統(tǒng)中使用。即，實施方 式能夠應用于視頻數(shù)據(jù)壓縮，而不必具有任何相關的音頻數(shù)據(jù)處理。
[0064]圖4b示意性地更詳細地示出了示例性攝影機裝置183。將不會進一步描述編號與 圖4a相同的那些特征。圖4b是圖4a的照相機的實例(在圖4a提供存儲能力的單元220的情況 下），其中壓縮數(shù)據(jù)首先被緩沖器221緩沖并且然后存儲在諸如磁盤、光盤、閃存、所謂的固 態(tài)光盤驅動器(SSD)等的存儲介質222中。應注意，圖4b的布置可以實現(xiàn)為單個(物理)單元 182〇
[0065]圖4c示意性地示出了另一示例性攝影機，其中，代替圖4b的存儲器布置，設置網(wǎng)絡 接口 223以便允許壓縮數(shù)據(jù)被傳輸?shù)搅硪粏卧?未示出）。網(wǎng)絡接口 223也可以允許輸入數(shù)據(jù) (諸如，控制數(shù)據(jù)）由攝像機接收。應注意，圖4b的布置可以實現(xiàn)為單個(物理)單元183。 [0066]圖4d和圖4e示意性地示出數(shù)據(jù)載體，例如，用作存儲介質222并且攜帶根據(jù)在本應 用中描述的壓縮技術壓縮的壓縮數(shù)據(jù)。圖4d示出了被實現(xiàn)為諸如閃存的固態(tài)存儲器的可移 除非易失性存儲介質225的示意性實例。圖4e示出實現(xiàn)為諸如光盤的磁盤介質的可移除非 易失性存儲介質226的不意性實例。
[0067] 圖5提供視頻數(shù)據(jù)壓縮和解壓縮裝置的示意圖。
[0068] 輸入視頻信號300的連續(xù)圖像被提供給加法器310和圖像預測器320。下面將參考 圖6更為詳細地描述圖像預測器320。事實上，加法器310執(zhí)行減法(負加法)操作，即，在"+" 輸入端接收輸入視頻信號300并且在輸入端接收圖像預測器320的輸出，這樣使得從輸 入圖像中減去預測圖像。結果是生成表示實際圖像與預測圖像(projected image)之間差 異的所謂殘差圖像信號330。
[0069] 生成殘差圖像信號的原因之一如下。將要描述的數(shù)據(jù)編碼技術，即將要應用于殘 差圖像信號的技術在待編碼的圖像中存在較少"能量"時趨向于更有效地工作。此處，術語 "有效地"指少量的編碼數(shù)據(jù)的生成;對于特定的圖像質量水平，期望(并且視為"有效地"） 實際上生成盡可能少的數(shù)據(jù)。提及的殘差圖像中的"能量"指包含在殘差圖像中的信息量。 如果預測圖像與實際圖像一致，兩者之間差異（即，殘差圖像)將包含零信息（零能量)并且 非常容易編碼成少量的編碼數(shù)據(jù)。通常，如果預測過程工作的相當好，則預期的是殘差圖像 數(shù)據(jù)將包含比輸入圖像少的信息(更少能量)并且因此更容易編碼成少量的編碼數(shù)據(jù)。
[0070] 殘差圖像數(shù)據(jù)330被提供給生成殘差圖像數(shù)據(jù)的離散余弦變換(DCT)表示的變換 單元340 ACT技術本身是公知的并且此處將不作詳細描述。然而，下面將更為詳細描述在本 裝置中使用的技術的方面，具體地，涉及應用DCT操作的不同數(shù)據(jù)塊的選擇。下面將參考圖7 至圖12進行討論。
[0071] 應注意，在一些實施方式中，使用離散正弦變換(DST)代替DCT。在其他實施方式 中，沒有可能使用的變換。這可有選擇地進行，使得例如在"變換跳過"命令或模式的控制下 實際上繞過變換階段。
[0072] 變換單元340的輸出（亦即，針對圖像數(shù)據(jù)的各變換區(qū)塊的一組變換系數(shù))被供應 至量化器350。各種量化技術在從簡單乘以量化比例因子至在量化參數(shù)控制下的復雜查找 表的應用范圍的視頻數(shù)據(jù)壓縮的領域中是公知的?？偟哪繕耸请p重的。首先，量化過程減少 了變換數(shù)據(jù)的可能值的數(shù)目。其次，量化過程能夠增加變換數(shù)據(jù)的值為零的可能性。這兩者 可以使熵編碼過程在生成少量壓縮視頻數(shù)據(jù)中更高效地工作。
[0073] 根據(jù)下面進一步討論的技術，控制器345控制變換單元340以及量化器350(以及它 們相應的逆單元)的操作。應注意，控制器345還可以控制圖5的裝置的操作的其他方面。 [0074]通過掃描單元360應用數(shù)據(jù)掃描處理。掃描處理的目的是對量化變換數(shù)據(jù)重新排 序，從而使盡可能多的非0量化變換系數(shù)聚集在一起，當然，由此使盡可能多的0值系數(shù)聚集 在一起。這些特征能夠允許所謂的游程長度編碼或類似的技術被被有效地應用。因此，掃描 處理涉及從量化變換數(shù)據(jù)選擇系數(shù)，具體地，根據(jù)"掃描順序"從對應于經(jīng)變換和量化的圖 像數(shù)據(jù)的塊的系數(shù)塊中選擇系數(shù)，使得(a)-次選擇所有系數(shù)作為掃描的一部分；以及(b) 掃描趨向于提供期望的重新排序。能夠給出有用結果的一個示例掃描順序是所謂的之字形 掃描順序。然后，掃描系數(shù)被傳送給熵編碼器(EE)370。再次，可使用各種類型的熵編碼。兩 個實例是所謂的CABAC(上下文自適應二進制算數(shù)編碼)系統(tǒng)的變形和所謂的CAVLCX上下文 自適應可變長度編碼)系統(tǒng)的變形?？傮w而言，CABAC被視為提供更佳的效率，在一些研究中 已經(jīng)示出，與CAVLC相比較，對于可比較的圖像質量提供的編碼輸出數(shù)據(jù)的量減少10%-20%。然而，CAVLC被視為代表(在其實施方面）比CABAC更低的復雜度。應注意，掃描處理和 熵編碼處理示出為單獨的處理，但事實上，可以進行組合或者一起處理。即，讀入到熵編碼 器的數(shù)據(jù)可以以掃描順序來進行。相應的考慮應用于相應逆過程。
[0075] 熵編碼器370的輸出與例如限定其中預測器320產(chǎn)生預測圖像的方式的額外數(shù)據(jù) 一起提供壓縮的輸出視頻信號380。
[0076] 然而，因為預測器320自身的操作取決于壓縮的輸出數(shù)據(jù)的解壓縮版本，所以還提 供返回路徑。
[0077] 該特征的原因如下。在解壓縮過程的合適階段，生成殘差數(shù)據(jù)的解壓縮版本。此解 壓縮的殘差數(shù)據(jù)被添加到預測圖像中以生成輸出圖像(因為原始殘差數(shù)據(jù)為輸入圖像與預 測圖像之間的差）。為了使作為壓縮側與解壓縮側之間的該過程具有可比較性，在壓縮過程 期間和在解壓縮過程期間由預測器320生成的預測圖像應相同。當然，在解壓縮時，該裝置 并不訪問原始輸入圖像，而僅訪問解壓縮圖像。因此，在壓縮時，預測器320基于對壓縮圖像 的解壓縮版本(至少，對圖像間編碼)的預測。
[0078] 由熵編碼器370執(zhí)行的熵編碼處理被視為"無損"，即，熵編碼過程可以逆轉以精確 達到與最早提供給熵編碼器370的數(shù)據(jù)相同。因此，在熵編碼階段之前可以實施返回路徑。 事實上，由掃描單元360執(zhí)行的掃描處理也被視為無損，而在本實施方式中，返回路徑390為 從量化器350的輸出至互補逆量化器420的輸入。
[0079]總體而言，熵解碼器410、反向掃描單元400、逆量化器420和逆變換單元430提供熵 編碼器370、掃描單元360、量化器350和變換單元340的相應逆功能?，F(xiàn)在，將繼續(xù)討論壓縮 過程;解壓縮輸入壓縮視頻信號的過程對應于壓縮過程的返回路徑。
[0080] 在壓縮過程中，通過執(zhí)行掃描單元360的逆操作的返回路徑390將掃描系數(shù)從量化 器350傳送至逆量化器420。由單元420和430執(zhí)行逆量化和逆變換過程以生成壓縮-解壓縮 殘差圖像信號440。
[0081] 在加法器450中，圖像信號440與預測器320的輸出相加以生成重構的輸出圖像 460。這形成了至圖像預測器320的一個輸入。
[0082]現(xiàn)轉向應用于接收的壓縮視頻信號470的過程，在由加法器450將其加到圖像預測 器320的輸出之前，信號被提供給熵編碼器410并且從此處到反向掃描單元400、逆量化器 420以及逆變換單元430的鏈。簡言之，加法器450的輸出460形成輸出解壓縮視頻信號480。 實際上，在輸出信號之前可進一步應用濾波。
[0083]圖6示意