諸如音頻和視頻以及靜止圖像之類的數(shù)字媒體數(shù)據(jù)通常被編碼成比特流，其被傳送或存儲在數(shù)據(jù)文件中，其中已編碼比特流符合已建立的標(biāo)準(zhǔn)。這樣的標(biāo)準(zhǔn)的示例是稱為ISO/IEC 23008-2 MPE-H Part 2、也被稱為ITU-T H.265或HEVC或H.265的格式。在本文中，依照該標(biāo)準(zhǔn)被編碼的比特流被稱為HEVC兼容比特流。

當(dāng)從HEVC兼容比特流解碼圖像時對中間圖像數(shù)據(jù)執(zhí)行兩個操作：采樣自適應(yīng)偏移和解塊。更特別地，這些操作依照被存儲在已編碼比特流中的、用于該塊的參數(shù)來處理中間圖像數(shù)據(jù)的每個塊。

技術(shù)實現(xiàn)要素：

本發(fā)明內(nèi)容被提供用來以簡化形式介紹下面在具體實施方式中進(jìn)一步描述的概念的選擇。本發(fā)明內(nèi)容不意圖標(biāo)識要求保護(hù)的主題的關(guān)鍵特征或必要特征，其也不意圖用于限制要求保護(hù)的主題的范圍。

在具有作為中央處理單元的協(xié)處理器的圖形處理單元的系統(tǒng)中，圖形處理單元被編程成執(zhí)行各種操作來解碼圖像。對于采樣自適應(yīng)偏移和解塊操作，中央處理單元處理比特流，并且針對每個圖像將用于這些操作的參數(shù)載入圖形處理單元中。對于每個圖像，圖形處理單元然后依照所接收的參數(shù)并行地處理中間圖像數(shù)據(jù)的塊。

為了使用作為協(xié)處理器的圖形處理單元解碼已編碼視頻，將應(yīng)用于中間圖形數(shù)據(jù)的塊的參數(shù)從中央處理單元傳輸?shù)綀D形處理單元。當(dāng)正執(zhí)行的操作適用于中間圖像數(shù)據(jù)的小部分塊時，那么中央處理單元可以將僅用于該操作所適用的那些塊的參數(shù)傳輸給圖形處理單元。特別地，中央處理單元可以將用于中間圖像數(shù)據(jù)的有限數(shù)目的塊的一組參數(shù)與每組參數(shù)所適用的塊的指示一起傳輸。這種傳輸減少了CPU與GPU之間傳輸?shù)臄?shù)據(jù)量并且減少了GPU執(zhí)行的計算量，從而提高解碼速度并且降低功耗。否則，中央處理單元可以傳輸將應(yīng)用于中間圖像數(shù)據(jù)的所有塊的該組參數(shù)。在后一情況下，可以從接收的各組參數(shù)的排序推斷任何特定組的參數(shù)所適用的塊。

當(dāng)從HEVC兼容比特流解碼圖像時對中間圖像數(shù)據(jù)執(zhí)行兩個操作：采樣自適應(yīng)偏移和解塊。這樣的操作可以稀疏地應(yīng)用于中間圖像數(shù)據(jù)的塊并且可受益于這一技術(shù)。

在一個實現(xiàn)方式中，是否稀疏地應(yīng)用操作可以由中央處理單元在解碼期間確定。然而，可以在任何時間分析已編碼比特流中的已編碼圖像以便確定是否向已編碼圖像稀疏地應(yīng)用操作?？梢栽诮獯a之前為圖像確定該組參數(shù)和它們所適用的塊的指示，并將其存儲以供稍后解碼?？梢栽诰幋a比特流時確定該組參數(shù)和它們所適用的塊的指示并將其存儲在已編碼比特流中或與已編碼比特流相關(guān)聯(lián)地存儲。因而，該組參數(shù)可以作為現(xiàn)有知識可用于隨后使用已編碼比特流的任何解碼器。已編碼比特流可以包括數(shù)據(jù)，其指示用于操作的參數(shù)如何被存儲，例如存儲數(shù)據(jù)是否表示參數(shù)和塊或者存儲數(shù)據(jù)是否表示用于所有塊的參數(shù)。

如果已編碼比特流包括指示用于操作的一組參數(shù)和它們所適用的中間圖像數(shù)據(jù)的塊兩者的數(shù)據(jù)或者與該數(shù)據(jù)相關(guān)聯(lián)，那么任何解碼器都可以使用所存儲的信息，即使對中間圖像數(shù)據(jù)的操作并不由圖形協(xié)處理器執(zhí)行。

在下面的描述中，對形成本文一部分且其中通過圖示的方式示出該技術(shù)的特定示例實現(xiàn)方式的附圖進(jìn)行參考。應(yīng)理解的是，可以在不偏離本公開的范圍的情況下利用其它實施例并且做出結(jié)構(gòu)改變。

附圖說明

圖1是用于回放媒體的示例操作環(huán)境的框圖。

圖2是圖示出編碼器和解碼器與已編碼比特流之間的關(guān)系的框圖。

圖3是描述稀疏性檢查器的示例實現(xiàn)方式的流程圖。

圖4是示例實現(xiàn)方式中的圖形協(xié)處理器的操作的圖示。

圖5是示例實現(xiàn)方式中的圖形協(xié)處理器的操作的流程圖。

圖6是可以用其實現(xiàn)這樣的系統(tǒng)的組件的示例計算設(shè)備的框圖。

具體實施方式

下面的部分提供用于處理已編碼媒體數(shù)據(jù)的示例操作環(huán)境。

參照圖1，示例媒體處理系統(tǒng)包括計算設(shè)備100，其包括中央處理單元102、圖形處理單元103、操作系統(tǒng)104和媒體處理器106。在該示例中，媒體處理器可以是在設(shè)備的操作系統(tǒng)上運行的應(yīng)用，并且操作系統(tǒng)管理對計算設(shè)備的資源（諸如中央處理單元102、圖形處理單元103和計算設(shè)備的其他組件）的訪問。下面聯(lián)系圖6描述計算設(shè)備的各種資源的更多細(xì)節(jié)。

媒體處理器106可以實現(xiàn)例如解碼器，其讀取已編碼成比特流的媒體數(shù)據(jù)108，該比特流與解碼器被實現(xiàn)來處理的標(biāo)準(zhǔn)數(shù)據(jù)格式相兼容。例如，媒體處理器可以是HEVC兼容解碼器。

已編碼比特流一般表示已編碼數(shù)字媒體數(shù)據(jù)，諸如音頻、視頻、靜止圖像、文本和輔助信息。如果存在多個媒體流，諸如音頻和視頻，則已編碼數(shù)據(jù)的各流可以多路復(fù)用成單個比特流。已編碼比特流一般要么被傳送（在該情況下其可以被稱為流化數(shù)據(jù)）要么被存儲在數(shù)據(jù)文件中。已編碼比特流以及它們被存儲在其中的文件一般符合已建立的標(biāo)準(zhǔn)。

許多這樣的標(biāo)準(zhǔn)規(guī)定了數(shù)據(jù)結(jié)構(gòu)（典型地稱為分組不過其可以被稱作其他名稱），所述數(shù)據(jù)結(jié)構(gòu)包括元數(shù)據(jù)（提供關(guān)于分組的數(shù)據(jù)）和/或已編碼媒體數(shù)據(jù)（有時稱為本質(zhì)數(shù)據(jù)）和/或與已編碼媒體數(shù)據(jù)相關(guān)聯(lián)的輔助信息（諸如用于用來從分組或一組分組解碼圖像的操作的參數(shù)）。標(biāo)準(zhǔn)的規(guī)范定義了哪些結(jié)構(gòu)是要求的、哪些結(jié)構(gòu)是可選的以及各種結(jié)構(gòu)、字段和字段值是什么意思。

由媒體處理器106實現(xiàn)的解碼器可以是從已編碼比特流讀取和解碼媒體數(shù)據(jù)以產(chǎn)生輸出110的任何應(yīng)用的部分。媒體處理器106可以由其他應(yīng)用（未示出）用來提供媒體以供該應(yīng)用回放。

在另一實現(xiàn)方式中，媒體處理器106可以實現(xiàn)媒體文件處理器，其是接收已編碼媒體數(shù)據(jù)的應(yīng)用。在其讀取已編碼比特流的能力方面可以以與媒體文件解碼器類似的方式實現(xiàn)媒體文件處理器。這樣的媒體文件處理器可以作為管理媒體數(shù)據(jù)的應(yīng)用（諸如媒體文件共享應(yīng)用）的一部分分析所存儲或傳送的比特流。媒體文件處理器可以處理媒體數(shù)據(jù)以使得媒體數(shù)據(jù)在另一系統(tǒng)內(nèi)可用，在所述另一系統(tǒng)中媒體數(shù)據(jù)然后可以用于各種目的，諸如共享存儲、存檔、編輯、回放、分發(fā)等等。

一般而言，為了解碼或處理包括已編碼視頻數(shù)據(jù)的媒體數(shù)據(jù)108，媒體處理器106讀取比特流并依照也可以存儲在比特流中的參數(shù)向已編碼數(shù)據(jù)應(yīng)用各種操作。對于要輸出的視頻數(shù)據(jù)的每個圖像，可以存在由解碼過程的不同階段產(chǎn)生的一個或多個中間圖像。該中間數(shù)據(jù)一般被劃分為塊，并且每個塊依照已編碼比特流中針對該塊定義的參數(shù)進(jìn)行處理。

在一些實現(xiàn)方式中，可以實現(xiàn)媒體解碼器以便利用通過圖形協(xié)處理器可用的并行化和/或快速矩陣、矢量和其他處理。例如，圖形處理器可以為了提高性能而并行地處理圖像數(shù)據(jù)的塊。應(yīng)用可以將應(yīng)用編程接口（API）用于圖形庫，其中媒體解碼器被實現(xiàn)為圖形庫內(nèi)的著色器。API管理訪問計算設(shè)備的中央處理器、圖形協(xié)處理器和存儲器資源。商業(yè)可用的API層的示例是來自Khronos集團(tuán)的OpenGL接口和來自Microsoft公司的Direct3D接口。應(yīng)用也可以在不使用這樣的API的情況下利用圖形協(xié)處理器。

為了使用具有中央處理器單元102和作為協(xié)處理器的圖形處理單元（GPU）103的計算設(shè)備100解碼已編碼視頻，一般將應(yīng)用于中間圖像數(shù)據(jù)的塊的參數(shù)從中央處理單元傳輸?shù)綀D形處理單元。（在本文中，術(shù)語圖形處理單元、圖形協(xié)處理器和GPU意圖是同義的）。

當(dāng)正執(zhí)行的操作適用于中間圖像數(shù)據(jù)的少量塊時，那么中央處理單元可以將僅用于該操作所適用的那些塊的參數(shù)傳輸?shù)綀D形處理單元。特別地，中央處理單元可以將用于中間圖像數(shù)據(jù)的有限數(shù)目的塊的一組參數(shù)與每組參數(shù)所適用的塊的指示一起傳輸。這種傳輸減少了CPU與GPU之間傳輸?shù)臄?shù)據(jù)量并且減少了GPU執(zhí)行的計算量，從而提高解碼速度并且降低功耗。

否則，中央處理單元可以傳輸將應(yīng)用于中間圖像數(shù)據(jù)的所有塊的該組參數(shù)。在后一情況下，可以從接收的各組參數(shù)的排序推斷任何特定組的參數(shù)所適用的塊。

解碼器可以根據(jù)操作被如何稀疏地應(yīng)用于中間圖像數(shù)據(jù)的塊而應(yīng)用用于處理中間圖像數(shù)據(jù)的任一技術(shù)。例如，如果操作僅被應(yīng)用于幾個塊，那么中央處理單元可以將用于有限數(shù)目的塊的一組參數(shù)與每組參數(shù)所適用的塊的指示一起傳輸。如果操作被應(yīng)用于許多塊，那么中央處理單元可以傳輸要應(yīng)用于中間圖像數(shù)據(jù)的所有塊的該組參數(shù)。

作為特定示例應(yīng)用，當(dāng)解碼來自HEVC兼容比特流的圖像時，存在對中間圖像數(shù)據(jù)執(zhí)行的至少兩個操作：采樣自適應(yīng)偏移和解塊。這樣的操作可以稀疏地應(yīng)用于中間圖像數(shù)據(jù)的塊并且可以受益于這一技術(shù)?？梢韵∈璧貞?yīng)用于其他視頻壓縮操作中的中間數(shù)據(jù)的塊的其他操作也可以受益于這一技術(shù)。

為了確定是否向中間圖像的塊稀疏地應(yīng)用操作，可以處理已編碼比特流。該確定可以由媒體處理器在解碼已編碼比特流中的圖像期間或就在該解碼之前進(jìn)行。雖然更一般地，可以在任何時間分析已編碼比特流中的已編碼圖像以便確定是否對已編碼圖像稀疏地應(yīng)用操作?？梢栽诮獯a之前確定該組參數(shù)和它們所適用的塊的指示并且將其存儲以供稍后解碼。

在一個實現(xiàn)方式中，可以在創(chuàng)建已編碼比特流時進(jìn)行這樣的確定。可以在編碼比特流時確定該組參數(shù)和它們所適用的塊的指示，并且可以將其存儲在已編碼比特流中或者與已編碼比特流相關(guān)聯(lián)地存儲。因而，該組參數(shù)可以作為現(xiàn)有知識可用于隨后使用已編碼比特流的任何解碼器。已編碼比特流可以包括數(shù)據(jù)，其指示用于操作的參數(shù)如何被存儲，例如存儲數(shù)據(jù)是否表示參數(shù)和塊，或者存儲數(shù)據(jù)是否表示用于所有塊的參數(shù)。

該實現(xiàn)方式避免在解碼時分析用于每個圖像的參數(shù)來決定如何將這些參數(shù)打包并傳輸?shù)紾PU。進(jìn)一步，在該實現(xiàn)方式中，可以在編碼時而不是在每個解碼操作時分析一次參數(shù)。隨后，如果已編碼比特流包括指示用于操作的一組參數(shù)和它們所適用的中間圖像數(shù)據(jù)的塊兩者的數(shù)據(jù)或者與該數(shù)據(jù)相關(guān)聯(lián)，那么任何解碼器都可以使用所存儲的信息，即使對中間圖像數(shù)據(jù)的操作并不由圖形協(xié)處理器執(zhí)行。

這些各種實現(xiàn)方式由圖2的數(shù)據(jù)流圖表示。在圖2中，稀疏性檢查器200處理來自編碼器206的已編碼數(shù)據(jù)202以便確定是否向圖像的中間圖像數(shù)據(jù)的塊稀疏地應(yīng)用操作。如果稀疏地應(yīng)用操作，那么構(gòu)建數(shù)據(jù)結(jié)構(gòu)204，其提供每組參數(shù)和每組參數(shù)所適用的塊的指示。數(shù)據(jù)結(jié)構(gòu)204和已編碼數(shù)據(jù)202被提供給解碼器208，其中圖形協(xié)處理器被提供該數(shù)據(jù)結(jié)構(gòu)204。

在圖2中，應(yīng)注意的是，稀疏性檢查器200可以駐留在編碼器210、解碼器220或預(yù)處理器230內(nèi)，諸如將已編碼媒體數(shù)據(jù)導(dǎo)入存儲的媒體應(yīng)用。因而，可以在編碼時、在解碼時或者作為其間任何時間的預(yù)處理步驟使用稀疏性檢查器。如果稀疏性檢查器是編碼器或預(yù)處理器的一部分，那么數(shù)據(jù)結(jié)構(gòu)204可以是已編碼數(shù)據(jù)202的一部分。

現(xiàn)在參照圖3，現(xiàn)在將描述描述稀疏性檢查器的示例操作的流程圖。在該示例中，假定已經(jīng)形成包括一系列數(shù)據(jù)分組的已編碼比特流，并且每個分組被順序地讀取。該過程通過從比特流讀取300要處理的下一分組而開始。為了簡單性和圖示的目的，假定一個分組對應(yīng)于一個輸出圖像。然而，在實踐中，處理器可以使用來自較早分組的信息或者在處理需要一些將來分組的情況下可以推遲當(dāng)前分組的處理。在給定的分組中，用于應(yīng)用于輸出圖像的中間圖像數(shù)據(jù)的塊的操作的參數(shù)被標(biāo)識302。這些參數(shù)一般在設(shè)定的序列中，使得從參數(shù)的排序推斷出它們所適用的塊。非零參數(shù)的數(shù)目被標(biāo)識304。

在306處確定參數(shù)是否稀疏。例如，可以確定具有用于操作的非零參數(shù)的塊的數(shù)目并且將其與閾值相比較?？梢允褂靡欢ò俜直鹊木哂蟹橇銋?shù)的塊，因為這樣的值跨不同圖像尺寸進(jìn)行歸一化。閾值取決于實現(xiàn)方式，包括但不限于稀疏性的度量（例如，塊的數(shù)目或塊的百分比）和這樣的條件，即：在該條件下向圖形協(xié)處理器提供完整列表的參數(shù)或者該列表的參數(shù)和關(guān)聯(lián)的塊標(biāo)識數(shù)據(jù)更為高效。

如果參數(shù)是稀疏的，那么參數(shù)列表被重新打包308成數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)結(jié)構(gòu)將每組參數(shù)與該組參數(shù)所對應(yīng)的塊相關(guān)聯(lián)。否則，該列表的參數(shù)的保持不變，如310處指示的。如312處指示的，然后可以處理將用于該輸出圖像的參數(shù)。用于圖像的參數(shù)的處理可以包括例如存儲它們以供稍后使用或者將它們提供給圖形協(xié)處理器。如果如314處確定，分組保持，那么可以以類似的方式處理下一分組，否則完成比特流的處理。

現(xiàn)在參照圖3，現(xiàn)在將描述媒體解碼器的示例實現(xiàn)方式的數(shù)據(jù)流圖。媒體解碼器包括分組處理器300，其在輸入端處接收已編碼比特流301并且提取和輸出分組元數(shù)據(jù)302和本質(zhì)（實際視頻、圖像或音頻）數(shù)據(jù)304，這兩者都被置于緩沖器306中?？梢詾榉纸M元數(shù)據(jù)數(shù)據(jù)和本質(zhì)數(shù)據(jù)提供單獨的緩沖器。約束處理器308分析分組元數(shù)據(jù)302以確定是否滿足約束。約束處理器可以用信號發(fā)送指示當(dāng)這樣的條件發(fā)生時不滿足約束的事件310。來自緩沖器306的數(shù)據(jù)由解碼器312處理，所述解碼器312產(chǎn)生輸出數(shù)據(jù)314，諸如已編碼音頻、圖像或視頻數(shù)據(jù)。

圖4和5描述使用關(guān)于被稀疏地應(yīng)用的操作的信息來提高到圖形協(xié)處理器的數(shù)據(jù)傳輸效率和提高圖形協(xié)處理器在產(chǎn)生輸出圖像時的性能的示例實現(xiàn)方式。高效的數(shù)據(jù)傳輸和減少的圖形協(xié)處理器進(jìn)行的操作降低了功耗并且增大了處理速度。

在圖4中，中央處理單元（CPU 402）在存儲器中生成一組參數(shù)的表示，其在圖4中指示為參數(shù)數(shù)據(jù)400。每個參數(shù)404與存儲在圖形協(xié)處理器（GPU 408）中的中間圖像的塊406相關(guān)聯(lián)。例如，塊“x1，y1”與一組參數(shù)“P1”相關(guān)聯(lián)。如果存在n個塊（對于該n個塊而言，用于該操作的參數(shù)非零），那么在參數(shù)數(shù)據(jù)400中存在n個項。塊“x1，y1”對應(yīng)于將由圖形協(xié)處理器在存儲器中生成的中間圖像數(shù)據(jù)的塊，其在410處指示為當(dāng)前解碼階段N的輸出。由前一解碼階段(N-1)產(chǎn)生的中間圖像數(shù)據(jù)412被存儲在圖形協(xié)處理器的存儲器中。中央處理單元包括調(diào)度器414，其指令GPU 408使用參數(shù)數(shù)據(jù)400執(zhí)行拷貝操作。在圖形協(xié)處理器接收到指令之后，圖形協(xié)處理器將存儲在其緩沖器中的中間圖像數(shù)據(jù)412拷貝到輸出緩沖器414以便使用參數(shù)400執(zhí)行當(dāng)前操作。在這樣做時，圖形協(xié)處理器通過向塊“I(x1,y1)”應(yīng)用參數(shù)“P1”而處理有該列表的參數(shù)400所標(biāo)識的拷貝塊。由于GPU 408的構(gòu)造，一般地可以并行地處理這樣的塊?？梢圆唤?jīng)處理而簡單地將沒有對應(yīng)參數(shù)的其他塊拷貝到輸出緩沖器。在一些實現(xiàn)方式中，可以通過使GPU在當(dāng)前緩沖器中的適當(dāng)位置處理要修改的塊、留下沒有參數(shù)數(shù)據(jù)400中的參數(shù)的任何未經(jīng)修改的塊、以及將經(jīng)修改的緩沖器設(shè)定成用于第N解碼階段的輸出緩沖器而避免實際拷貝操作。

在圖5中，該操作可以被描述如下。中央處理單元接收500該列表的參數(shù)和那些參數(shù)所適用的塊。中央處理單元將當(dāng)前在圖形協(xié)處理器中的中間圖像數(shù)據(jù)的拷貝調(diào)度502到處理緩沖器中。中央處理單元向圖形處理單元提供504該列表的參數(shù)和塊。圖形處理單元利用處理緩沖器中的對應(yīng)參數(shù)處理506被標(biāo)識的塊。這樣的處理可以由圖形處理單元并行地執(zhí)行。結(jié)果得到的經(jīng)處理的中間圖像數(shù)據(jù)然后可以提供508給下一處理階段。

前述示例意圖舉例說明而非限制用于標(biāo)識已編碼比特流中被稀疏地應(yīng)用的塊操作的技術(shù)。通過標(biāo)識這樣的被稀疏地應(yīng)用的操作，可以實現(xiàn)中央處理單元與圖形協(xié)處理器之間提高的數(shù)據(jù)傳輸性能以及提高的圖形協(xié)處理器的性能。

現(xiàn)在已經(jīng)描述了示例實現(xiàn)方式，圖6圖示了其中可以實現(xiàn)這樣的技術(shù)的計算設(shè)備（無論是實現(xiàn)編碼器、解碼器還是預(yù)處理器）的示例。這只是計算機(jī)的一個示例而并不意圖暗示關(guān)于這樣的計算機(jī)的使用范圍或功能性的任何限制。

計算機(jī)可以是各種通用或?qū)Ｓ糜嬎阌布渲弥械娜我粋€?？梢允褂玫挠嬎銠C(jī)類型的一些示例包括但不限于個人計算機(jī)、游戲控制臺、機(jī)頂盒、手持式或膝上型設(shè)備（例如，媒體播放器、筆記本計算機(jī)、平板計算機(jī)、蜂窩電話、個人數(shù)字助理、語音記錄器）、服務(wù)器計算機(jī)、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、可編程消費者電子裝置、聯(lián)網(wǎng)個人計算機(jī)、微型計算機(jī)、大型計算機(jī)以及包括以上類型計算機(jī)或設(shè)備中任一個的分布式計算環(huán)境等等。

參照圖6，示例計算機(jī)600包括至少一個處理單元602和存儲器604。計算機(jī)可以具有多個處理單元602。處理單元602可以包括彼此獨立操作的一個或多個處理核（未示出）。在計算機(jī)中也可以存在諸如圖形處理單元620之類的附加協(xié)處理單元。存儲器640可以是易失性（諸如動態(tài)隨機(jī)存取存儲器（DRAM）或其他隨機(jī)存取存儲器設(shè)備）、非易失性（諸如只讀存儲器、閃存等等）或這兩者的某種組合。該存儲器配置在圖6中通過虛線606圖示出。計算機(jī)600可以包括附加存儲裝置（可移除和/或不可移除），所述附加存儲裝置包括但不限于磁性記錄或光學(xué)記錄盤或磁帶。這樣的附加存儲裝置在圖6中通過可移除存儲裝置608和不可移除存儲裝置610圖示出。圖6中的各種組件一般通過諸如一個或多個總線630之類的互連機(jī)制進(jìn)行互連。

計算機(jī)存儲介質(zhì)是其中數(shù)據(jù)可以由計算機(jī)存儲在可尋址物理存儲位置或者從物理可尋址存儲位置取回的任何介質(zhì)。計算機(jī)存儲介質(zhì)包括易失性和非易失性存儲器以及可移除和不可移除存儲介質(zhì)。存儲器604和606、可移除存儲裝置608和不可移除存儲裝置610均是計算機(jī)存儲介質(zhì)的示例。計算機(jī)存儲介質(zhì)的一些示例是RAM、ROM、EEPROM、閃存或其他存儲器技術(shù)、CD-ROM、數(shù)字多用盤（DVD）或其他光學(xué)或磁光記錄存儲設(shè)備、盒式磁帶、磁帶、磁盤存儲裝置或其他磁存儲設(shè)備。計算機(jī)存儲介質(zhì)可以包括可以由操作系統(tǒng)或文件系統(tǒng)管理以便對于計算機(jī)而言表現(xiàn)為一卷或多卷存儲裝置的多個存儲設(shè)備的組合，諸如存儲陣列。計算機(jī)存儲介質(zhì)和通信介質(zhì)是互斥類別的介質(zhì)。

計算機(jī)600也可以包括（多個）通信連接612，其允許計算機(jī)通過通信介質(zhì)與其他設(shè)備通信。通信介質(zhì)典型地經(jīng)由傳播已調(diào)制數(shù)據(jù)信號（諸如載波或通過物質(zhì)的其他輸運機(jī)制）而通過有線或無線物質(zhì)傳送計算機(jī)程序指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)。術(shù)語“已調(diào)制數(shù)據(jù)信號”意指這樣的信號，其使其特性中的一個或多個以將信息編碼在該信號中這樣的方式被設(shè)定或改變，從而改變信號的接收設(shè)備的配置或狀態(tài)。通過示例的方式而非限制，通信介質(zhì)包括諸如有線網(wǎng)絡(luò)或直接連線連接之類的有線介質(zhì)和諸如聲學(xué)、射頻、紅外和其他無線介質(zhì)之類的無線介質(zhì)。通信連接612是設(shè)備，諸如有線網(wǎng)絡(luò)接口、無線網(wǎng)絡(luò)接口、射頻收發(fā)機(jī)（例如，Wi-Fi、蜂窩、長期演進(jìn)（LTE）或藍(lán)牙等）、收發(fā)機(jī)、導(dǎo)航收發(fā)機(jī)（例如，全球定位系統(tǒng)（GPS）或全球?qū)Ш叫l(wèi)星系統(tǒng)（GLONASS）等）、與通信介質(zhì)接合以通過通信介質(zhì)傳送數(shù)據(jù)或者從通信介質(zhì)接收數(shù)據(jù)，并且可以執(zhí)行關(guān)于該數(shù)據(jù)的各種功能的收發(fā)機(jī)。

計算機(jī)600可以具有各種（多個）輸入設(shè)備614，諸如鍵盤、鼠標(biāo)、筆、相機(jī)、觸摸輸入設(shè)備、傳感器（例如，加速度計或陀螺儀）等等。也可以包括（多個）輸出設(shè)備616，諸如顯示器、揚聲器、打印機(jī)等等。所有這些設(shè)備在本領(lǐng)域中是公知的，并且無需在此詳細(xì)討論。輸入和輸出設(shè)備可以是包含圖6中的計算機(jī)的各種組件的外殼的一部分，或者可以與該外殼相分離且通過各種連接接口（諸如串行總線、無線通信連接等等）連接到計算機(jī)。各種輸入和輸出設(shè)備可以實現(xiàn)自然用戶接口（NUI），其是使得用戶能夠以“自然的”方式與設(shè)備交互而不受由諸如鼠標(biāo)、鍵盤、遙控器等等之類的輸入設(shè)備所強加的人為約束的任何接口技術(shù)。

NUI方法的示例包括依賴于話音識別、觸摸和觸筆識別、懸停、手勢識別（在屏幕上和鄰近屏幕二者）、空中手勢、頭眼追蹤、語音和話音、視覺、觸摸、手勢和機(jī)器智能的那些方法，并且可以包括使用觸敏顯示器、語音和話音識別、意圖和目標(biāo)理解、使用深度相機(jī)（諸如立體相機(jī)系統(tǒng)、紅外相機(jī)系統(tǒng)和其他相機(jī)系統(tǒng)以及這些的組合）的運動手勢檢測、使用加速度計或陀螺儀的運動手勢檢測、面部識別、三維顯示器、頭、眼和凝視追蹤、沉浸式增強現(xiàn)實和虛擬現(xiàn)實系統(tǒng)（它們都提供更為自然的接口），以及用于使用電場感測電極感測腦活動的技術(shù)（諸如腦電圖技術(shù)和相關(guān)方法）。

各種存儲裝置610、通信連接612、輸出設(shè)備616和輸入設(shè)備614可以與計算機(jī)的其他部分集成在外殼內(nèi)，或者可以通過計算機(jī)上的輸入/輸出接口設(shè)備進(jìn)行連接，在該情況下參考數(shù)字610、612、614和616可以指示用于連接到設(shè)備的接口或者設(shè)備本身，視情況而定。

計算機(jī)一般包括操作系統(tǒng)，其是管理應(yīng)用對計算機(jī)的各種資源的訪問的、運行在計算機(jī)上的計算機(jī)程序。可以存在多個應(yīng)用。各種資源包括存儲器、存儲裝置、輸入設(shè)備和輸出設(shè)備，諸如如圖6中所示的顯示設(shè)備和輸入設(shè)備。文件系統(tǒng)一般被實現(xiàn)為計算機(jī)的操作系統(tǒng)的一部分，但是可以不同于操作系統(tǒng)。文件系統(tǒng)可以被實施在其中操作由通過通信網(wǎng)絡(luò)鏈接的多個計算機(jī)執(zhí)行的分布式計算環(huán)境中。在分布式計算環(huán)境中，計算機(jī)程序可以位于本地計算機(jī)存儲介質(zhì)和遠(yuǎn)程計算機(jī)存儲介質(zhì)二者中，并且可以由不同計算機(jī)的處理單元執(zhí)行。

操作系統(tǒng)、文件系統(tǒng)和應(yīng)用可以使用一個或多個計算機(jī)的一個或多個處理單元來實現(xiàn)，其中一個或多個計算機(jī)程序由該一個或多個處理單元處理。計算機(jī)程序包括計算機(jī)可執(zhí)行指令和/或計算機(jī)解釋的指令，諸如程序模塊，所述指令由計算機(jī)中的一個或多個處理單元處理。一般地，這樣的指令定義例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)等等，其當(dāng)由處理單元處理時指令處理單元對數(shù)據(jù)執(zhí)行操作或者配置處理器或計算機(jī)以實現(xiàn)各種組件或數(shù)據(jù)結(jié)構(gòu)。

因此，在一個方面中，計算機(jī)包括用于生成數(shù)據(jù)結(jié)構(gòu)的構(gòu)件，對于用于操作的每組參數(shù)，所述數(shù)據(jù)結(jié)構(gòu)包括數(shù)據(jù)，該數(shù)據(jù)指示將由該操作使用該組參數(shù)進(jìn)行處理的中間圖像數(shù)據(jù)的塊。數(shù)據(jù)結(jié)構(gòu)可以包括參數(shù)和僅用于具有用于該操作的非零參數(shù)的那些塊的參數(shù)的塊的指示。

在另一方面中，計算機(jī)包括用于向圖像協(xié)處理器傳輸數(shù)據(jù)結(jié)構(gòu)的構(gòu)件，對于用于操作的每組參數(shù)，所述數(shù)據(jù)結(jié)構(gòu)包括數(shù)據(jù)，該數(shù)據(jù)指示將由該操作使用該組參數(shù)進(jìn)行處理的中間圖像數(shù)據(jù)的塊。數(shù)據(jù)結(jié)構(gòu)可以包括參數(shù)和僅用于具有用于該操作的非零參數(shù)的那些塊的參數(shù)的塊的指示。

在另一方面中，計算機(jī)包括用于編碼視頻數(shù)據(jù)以包括數(shù)據(jù)結(jié)構(gòu)的構(gòu)件，對于用于操作的每組參數(shù)，所述數(shù)據(jù)結(jié)構(gòu)包括數(shù)據(jù)，該數(shù)據(jù)指示將由該操作使用該組參數(shù)進(jìn)行處理的中間圖像數(shù)據(jù)的塊。數(shù)據(jù)結(jié)構(gòu)可以包括參數(shù)和僅用于具有用于該操作的非零參數(shù)的那些塊的參數(shù)的塊的指示。

在另一方面中，計算機(jī)接收已編碼數(shù)據(jù)的比特流，所述已編碼數(shù)據(jù)包括用于將對中間圖像數(shù)據(jù)的塊執(zhí)行的操作的參數(shù)。所述參數(shù)被分析以便確定是否向中間圖像數(shù)據(jù)稀疏地應(yīng)用操作。響應(yīng)于確定向中間圖像數(shù)據(jù)稀疏地應(yīng)用參數(shù)，參數(shù)的表示被生成以便對于將應(yīng)用于塊的每組參數(shù)，包括將向其應(yīng)用該組參數(shù)的塊的指示。

在前述方面中的任一個中，如果已編碼比特流包括指示用于操作的一組參數(shù)和它們所適用的中間圖像數(shù)據(jù)的塊的數(shù)據(jù)或者與該數(shù)據(jù)相關(guān)聯(lián)，那么解碼可以使用所存儲的信息。

在前述方面中的任一個中，比特流可以使用所生成的參數(shù)的表示進(jìn)行解碼。

在前述方面中的任一個中，所生成的參數(shù)的表示可以被與比特流相關(guān)聯(lián)地存儲。所生成的參數(shù)的表示可以被存儲為存儲已編碼比特流的文件中的元數(shù)據(jù)。所生成的參數(shù)的表示可以被存儲為與存儲已編碼比特流的文件相關(guān)聯(lián)的元數(shù)據(jù)。所生成的參數(shù)的表示可以被存儲為存儲器中已編碼比特流中的元數(shù)據(jù)。所生成的參數(shù)的表示可以被存儲為與已編碼比特流相關(guān)聯(lián)的存儲器中的元數(shù)據(jù)。

在前述方面中的任一個中，所生成的參數(shù)的表示可以提供給圖形處理單元。

在前述方面中的任一個中，圖形處理單元可以被指令以向中間圖像數(shù)據(jù)應(yīng)用所生成的參數(shù)的表示。

在前述方面中的任一個中，分析所述參數(shù)以便確定是否向中間圖像數(shù)據(jù)稀疏地應(yīng)用操作可以包括若干測試中的一個。例如，可以確定具有用于操作的非零參數(shù)的塊的數(shù)目。作為另一示例，可以確定具有用于操作的非零參數(shù)的塊的百分比。

在前述方面中的任一個中，分析參數(shù)可以針對比特流中的每個圖像來執(zhí)行。

前述方面中的任一個可以體現(xiàn)在一個或多個計算機(jī)中，作為這樣的計算機(jī)的任一單獨組件、作為由一個或多個計算機(jī)或這樣的計算機(jī)的任一單獨組件執(zhí)行的進(jìn)程、或者作為包括其中存儲計算機(jī)程序指令的計算機(jī)存儲裝置的制品，并且所述計算機(jī)程序指令當(dāng)由一個或多個計算機(jī)處理時配置所述一個或多個計算機(jī)。

可以以任何期望的組合使用本文中描述的前述可替換實施例中的任一個或全部一般形成附加混合實施例。應(yīng)當(dāng)理解的是，所附權(quán)利要求中限定的主題不一定限于上面描述的特定實現(xiàn)方式。上面描述的特定實現(xiàn)方式僅作為示例而被公開。