所示的系統(tǒng)示出移動(dòng)電話網(wǎng)絡(luò)11和因特網(wǎng)28的表示。到因特網(wǎng)28的連接可以包括但不限于長距離無線連接、短距離無線連接和各種有線連接，這些有線連接包括但不限于電話線、電纜線、電源線和類似的通信路徑。
[0123]系統(tǒng)10中所示的實(shí)例通信設(shè)備可以包括但不限于電子設(shè)備或裝置50、個(gè)人數(shù)字助理(PDA)和移動(dòng)電話的組合14、PDA 16、集成消息傳送設(shè)備(MD) 18、臺(tái)式計(jì)算機(jī)20、筆記本計(jì)算機(jī)22。裝置50當(dāng)由正在移動(dòng)的個(gè)體攜帶時(shí)，可以是靜止或移動(dòng)的。裝置50還可以以運(yùn)輸模式定位，運(yùn)輸模式包括但不限于汽車、卡車、出租車、公共汽車、火車、輪船、飛機(jī)、自行車、摩托車或者任何類似的合適運(yùn)輸模式。
[0124]各實(shí)施例還可以以以下各項(xiàng)實(shí)現(xiàn):機(jī)頂盒，S卩，數(shù)字電視接收器，其可以具有/可以沒有顯示器或無線能力；平板或(膝上型)個(gè)人計(jì)算機(jī)(PC)，其具有硬件或軟件或編碼器/解碼器實(shí)現(xiàn)的組合；各種操作系統(tǒng)；以及提供基于硬件/軟件的編碼的芯片組、處理器、DSP和/或嵌入式系統(tǒng)。
[0125]某些或其它裝置可以通過到基站24的無線連接25，發(fā)送和接收呼叫和消息并且與服務(wù)提供商通信?；?4可以被連接到網(wǎng)絡(luò)服務(wù)器26，網(wǎng)絡(luò)服務(wù)器26允許在移動(dòng)電話網(wǎng)絡(luò)11和因特網(wǎng)28之間通信。系統(tǒng)可以包括其它通信設(shè)備和各種類型的通信設(shè)備。
[0126]通信設(shè)備可以使用各種傳輸技術(shù)通信，這些傳輸技術(shù)包括但不限于碼分多址(CDMA)、全球移動(dòng)通信系統(tǒng)(GSM)、通用移動(dòng)電信系統(tǒng)(UMTS)、時(shí)分多址(TDMA)、頻分多址(FDMA)、傳輸控制協(xié)議-網(wǎng)際協(xié)議(TCP-1P)、短消息傳送服務(wù)(SMS)、多媒體消息傳送服務(wù)(MMS)、電子郵件、即時(shí)消息傳送服務(wù)(MS)、藍(lán)牙、IEEE 802.11以及任何類似的無線通信技術(shù)。參與實(shí)現(xiàn)本發(fā)明的不同實(shí)施例的通信設(shè)備可以使用各種介質(zhì)通信，這些介質(zhì)包括但不限于無線電、紅外線、激光、電纜連接以及任何合適的連接。
[0127]視頻編解碼器包括編碼器和解碼器，編碼器將輸入視頻變換為適合于存儲(chǔ)和/或傳輸?shù)膲嚎s表示，解碼器可以將壓縮視頻表示解壓縮回到可查看形式。通常，編碼器丟棄原始視頻序列中的某些信息，以便以更緊湊的形式(例如在更低位速率下)表示視頻。
[0128]典型的混合視頻編解碼器(例如ITU-T H.263和H.264)以兩個(gè)階段對(duì)視頻信息編碼。首先，例如通過運(yùn)動(dòng)補(bǔ)償手段(在先前編碼的一個(gè)視頻幀中發(fā)現(xiàn)和指示一個(gè)區(qū)域，該區(qū)域密切對(duì)應(yīng)于正在被編碼的塊)或者通過空間手段(以指定的方式使用要被編碼的塊周圍的像素值)，預(yù)測(cè)某個(gè)圖像區(qū)域(或“塊”)中的像素值。其次，對(duì)預(yù)測(cè)誤差編碼，即對(duì)預(yù)測(cè)像素塊和原始像素塊之間的差編碼。這通常通過以下操作完成:使用指定的變換(例如離散余弦變換(DCT)或其變體)變換像素值的差，量化系數(shù)并且對(duì)量化后的系數(shù)進(jìn)行熵編碼。通過改變量化過程的保真度，編碼器可以控制像素表示的準(zhǔn)確性(圖像質(zhì)量)和產(chǎn)生的編碼視頻表示的大小(文件大小或傳輸位速率)之間的平衡。
[0129]視頻編碼通常是一個(gè)兩階段過程:首先，基于先前的編碼數(shù)據(jù)，生成視頻信號(hào)預(yù)測(cè)。其次，對(duì)預(yù)測(cè)信號(hào)與源信號(hào)之間的殘余信號(hào)編碼。幀間預(yù)測(cè)(inter predict1n，也可以被稱為時(shí)間預(yù)測(cè)、運(yùn)動(dòng)補(bǔ)償或運(yùn)動(dòng)補(bǔ)償預(yù)測(cè))減少時(shí)間冗余性。在幀間預(yù)測(cè)中，預(yù)測(cè)源是先前解碼的圖像。幀內(nèi)預(yù)測(cè)(intra predict1n)利用以下事實(shí):同一圖像中的相鄰像素可能相關(guān)?？梢栽诳臻g或變換域中執(zhí)行幀內(nèi)預(yù)測(cè)，即，可以預(yù)測(cè)樣本值或變換系數(shù)。通常在不應(yīng)用幀間預(yù)測(cè)的幀內(nèi)編碼中利用幀內(nèi)預(yù)測(cè)。
[0130]編碼過程的一個(gè)結(jié)果是一組編碼參數(shù)，例如運(yùn)動(dòng)向量和量化變換系數(shù)?？梢愿行У貙?duì)許多參數(shù)進(jìn)行熵編碼，前提是首先從空間或時(shí)間相鄰的參數(shù)預(yù)測(cè)這些參數(shù)。例如，可以從空間相鄰的運(yùn)動(dòng)向量預(yù)測(cè)運(yùn)動(dòng)向量，并且可以僅對(duì)與運(yùn)動(dòng)向量預(yù)測(cè)器的差編碼。編碼參數(shù)預(yù)測(cè)和幀內(nèi)預(yù)測(cè)可以被統(tǒng)稱為圖像內(nèi)預(yù)測(cè)。
[0131]至于圖4，示出適合于執(zhí)行本發(fā)明的實(shí)施例的視頻編碼器的框圖。圖4將編碼器示出為包括像素預(yù)測(cè)器302、預(yù)測(cè)誤差編碼器303和預(yù)測(cè)誤差解碼器304。圖4還將像素預(yù)測(cè)器302的一個(gè)實(shí)施例示出為包括幀間預(yù)測(cè)器306、幀內(nèi)預(yù)測(cè)器308、模式選擇器310、濾波器316以及參考幀存儲(chǔ)器318。像素預(yù)測(cè)器302接收?qǐng)D像300，圖像300要在幀間預(yù)測(cè)器306 (其確定圖像和運(yùn)動(dòng)補(bǔ)償參考幀318之間的差)和幀內(nèi)預(yù)測(cè)器308 (其僅基于當(dāng)前幀或圖像的已經(jīng)處理的部分，確定圖像塊預(yù)測(cè))兩者處編碼。將幀間預(yù)測(cè)器和幀內(nèi)預(yù)測(cè)器兩者的輸出傳遞到模式選擇器310。幀內(nèi)預(yù)測(cè)器308可以具有多于一種的幀內(nèi)預(yù)測(cè)模式。因此，每種模式可以執(zhí)行幀內(nèi)預(yù)測(cè)并且將預(yù)測(cè)信號(hào)提供給模式選擇器310。模式選擇器310還接收?qǐng)D像300的副本。
[0132]取決于選擇哪種編碼模式對(duì)當(dāng)前塊編碼，將幀間預(yù)測(cè)器306的輸出或者可選幀內(nèi)預(yù)測(cè)器模式之一的輸出或者模式選擇器中的表面編碼器的輸出傳遞到模式選擇器310的輸出。將模式選擇器的輸出傳遞到第一求和設(shè)備321。第一求和設(shè)備可以從圖像300減去像素預(yù)測(cè)器302的輸出，以便產(chǎn)生第一預(yù)測(cè)誤差信號(hào)320，將第一預(yù)測(cè)誤差信號(hào)320輸入到預(yù)測(cè)誤差編碼器303。
[0133]像素預(yù)測(cè)器302進(jìn)一步從初級(jí)重構(gòu)器339接收?qǐng)D像塊312的預(yù)測(cè)表示和預(yù)測(cè)誤差解碼器304的輸出338的組合?？梢詫⒊跫?jí)重構(gòu)圖像314傳遞到幀內(nèi)預(yù)測(cè)器308和濾波器316。接收初級(jí)表示的濾波器316可以對(duì)初級(jí)表示濾波并且輸出最終重構(gòu)圖像340，可以將最終重構(gòu)圖像340保存在參考幀存儲(chǔ)器318中。參考幀存儲(chǔ)器318可以被連接到幀間預(yù)測(cè)器306以便用作參考圖像，在幀間預(yù)測(cè)操作中，對(duì)照該參考圖像來比較未來圖像300。
[0134]像素預(yù)測(cè)器302的操作可以被配置為執(zhí)行所屬技術(shù)領(lǐng)域中公知的任何已知像素預(yù)測(cè)算法。
[0135]預(yù)測(cè)誤差編碼器303包括變換單元342和量化器344。變換單元342將第一預(yù)測(cè)誤差信號(hào)320變換為變換域。變換例如是DCT變換。量化器344量化變換域信號(hào)(例如DCT系數(shù))，以便形成量化系數(shù)。
[0136]預(yù)測(cè)誤差解碼器304從預(yù)測(cè)誤差編碼器303接收輸出并且執(zhí)行預(yù)測(cè)誤差編碼器303的相反過程，以便產(chǎn)生解碼后的預(yù)測(cè)誤差信號(hào)338，解碼后的預(yù)測(cè)誤差信號(hào)338當(dāng)在第二求和設(shè)備339處與圖像塊312的預(yù)測(cè)表示相組合時(shí)，產(chǎn)生初級(jí)重構(gòu)圖像314。預(yù)測(cè)誤差解碼器可以被視為包括反量化器361和逆變換單元363，反量化器361對(duì)量化系數(shù)值(例如DCT系數(shù))反量化以便重構(gòu)變換信號(hào)，逆變換單元363執(zhí)行到重構(gòu)變換信號(hào)的逆變換，其中逆變換單元363的輸出包含重構(gòu)塊(多個(gè))。預(yù)測(cè)誤差解碼器還可以包括宏塊濾波器，該宏塊濾波器可以根據(jù)其它解碼信息和濾波器參數(shù)，對(duì)重構(gòu)宏塊濾波。
[0137]熵編碼器330接收預(yù)測(cè)誤差編碼器303的輸出，并且可以針對(duì)信號(hào)執(zhí)行合適的熵編碼/變長編碼，以便提供誤差檢測(cè)和糾正能力。
[0138]H.264/AVC標(biāo)準(zhǔn)由國際電信聯(lián)盟的電信標(biāo)準(zhǔn)化部門(ITU-T)的視頻編碼專家組(VCEG)和國際標(biāo)準(zhǔn)化組織(ISO) /國際電工委員會(huì)(IEC)的移動(dòng)圖像專家組(MPEG)組成的聯(lián)合視頻組(JVT)開發(fā)。H.264/AVC標(biāo)準(zhǔn)由兩個(gè)父標(biāo)準(zhǔn)化組織發(fā)布，并且被稱為ITU-T建議H.264和IS0/IEC國際標(biāo)準(zhǔn)14496-10，也被稱為MPEG-4部分10高級(jí)視頻編碼(AVC)。具有多個(gè)版本的H.264/AVC標(biāo)準(zhǔn)，每個(gè)版本將新擴(kuò)展或特性集成到規(guī)范中。這些擴(kuò)展包括可伸縮視頻編碼(SVC)和多視圖視頻編碼(MVC)。VCEG和MPEG的聯(lián)合協(xié)作組一視頻編碼(JCT-VC)目前正在進(jìn)行高效視頻編碼(HEVC)的標(biāo)準(zhǔn)化項(xiàng)目。
[0139]在本部分中，將某些鍵定義、位流和編碼結(jié)構(gòu)以及H.264/AVC和HEVC的概念作為其中可以實(shí)現(xiàn)各實(shí)施例的視頻編碼器、解碼器、編碼方法、解碼方法以及位流結(jié)構(gòu)的一個(gè)實(shí)例進(jìn)行描述。某些鍵定義、位流和編碼結(jié)構(gòu)以及H.264/AVC的概念與草案HEVC標(biāo)準(zhǔn)相同一因此，下面共同描述它們。本發(fā)明的各個(gè)方面并不限于H.264/AVC或HEVC，而是針對(duì)可以在其上部分或全部實(shí)現(xiàn)本發(fā)明的一個(gè)可能的基礎(chǔ)給出描述。
[0140]類似于許多先前視頻編碼標(biāo)準(zhǔn)，在H.264/AVC和HEVC中指定位流語法和語義以及無錯(cuò)誤位流的解碼過程。未指定編碼過程，但編碼器必須生成一致的位流?？梢允褂眉僭O(shè)參考解碼器(HRD)檢驗(yàn)位流和解碼器一致性。所述標(biāo)準(zhǔn)包含編碼工具，這些編碼工具有助于處理傳輸誤差和損耗，但在編碼中使用工具是可選的，并且未針對(duì)錯(cuò)誤位流指定解碼過程。
[0141]在現(xiàn)有標(biāo)準(zhǔn)的描述中以及在實(shí)例實(shí)施例的描述中，可以將語法元素定義為在位流中表示的數(shù)據(jù)元素?？梢砸灾付ǖ捻樞?，將語法結(jié)構(gòu)定義為共同存在于位流中的零個(gè)或更多語法元素。
[0142]可以將簡(jiǎn)檔定義為由解碼/編碼標(biāo)準(zhǔn)或規(guī)范指定的整個(gè)位流語法的子集。在由給定簡(jiǎn)檔的語法施加的界限中，仍然可能需要編碼器和解碼器的性能具有非常大的變化，具體取決于位流中的語法元素采取的值，例如解碼圖像的指定大小。在許多應(yīng)用中，實(shí)現(xiàn)以下解碼器可能既不實(shí)際又不經(jīng)濟(jì):該解碼器能夠處理特定簡(jiǎn)檔中的語法的所有假設(shè)使用。為了應(yīng)對(duì)該問題，可以使用級(jí)別?？梢詫⒓?jí)別定義為指定的一組約束，將這些約束施加給位流中的語法元素的值和解碼/編碼標(biāo)準(zhǔn)或規(guī)范中指定的變量。這些約束可以是有關(guān)值的簡(jiǎn)單限制。備選地或此外，它們可以采取有關(guān)值的算術(shù)組合的約束的形式(例如，圖像寬度乘以圖像高度乘以每秒解碼的圖像數(shù)量)。還可以使用用于指定級(jí)別約束的其它手段。級(jí)別中指定的某些約束例如可以涉及就編碼單元(例如宏塊)、每個(gè)時(shí)間段(例如一秒)而言的最大圖像大小、最大位速率和最大數(shù)據(jù)速率。可以針對(duì)所有簡(jiǎn)檔定義相同的一組級(jí)別。可以例如優(yōu)選地增加實(shí)現(xiàn)不同簡(jiǎn)檔的終端的互操作性，使得每個(gè)級(jí)別的定義的大多數(shù)或所有方面可以跨不同簡(jiǎn)檔通用。
[0143]分別用于到H.264/AVC或HEVC編碼器的輸入和H.264/AVC或HEVC解碼器的輸出的基本單位是圖像。在H.264/AVC和HEVC中，圖像可以是幀或字段。幀包括亮度樣本和對(duì)應(yīng)色度樣本的矩陣。字段是幀的一組交替樣本行，并且當(dāng)源信號(hào)交錯(cuò)時(shí)，字段可以被用作編碼器輸入。當(dāng)與亮度圖像相比較時(shí)，可以對(duì)色度圖像二次采樣。例如，在4:2:0采樣模式中，沿著兩個(gè)坐標(biāo)軸，色度圖像的空間分辨率是亮度圖像的空間分辨率的一半。
[0144]在H.264/AVC中，宏塊是16X16亮度樣本塊和對(duì)應(yīng)色度樣本塊。例如，在4:2:0采樣模式中，宏塊的每個(gè)色度分量包含一個(gè)8X8色度樣本塊。在H.264/AVC中，將圖像分為一個(gè)或多個(gè)分片(slice)組，并且分片組包含一個(gè)或多個(gè)分片。在H.264/AVC中，分片包括整數(shù)個(gè)宏塊，這些宏塊在特定分片組內(nèi)的光柵掃描中連續(xù)排序。
[0145]在某些視頻編解碼器(例如高效視頻編碼(HEVC)編解碼器)中，將視頻圖像分成涵蓋圖像區(qū)域的編碼單元(CU)。CU包括一個(gè)或多個(gè)預(yù)測(cè)單元(PU)和一個(gè)或多個(gè)變換單元(TU)，PU針對(duì)CU中的樣本定義預(yù)測(cè)過程，TU針對(duì)所述CU中的樣本定義預(yù)測(cè)誤差編碼過程。通常，CU包括方形樣本塊，該樣本塊具有可從預(yù)定義的一組可能CU大小中選擇的大小。具有最大允許大小的CU通常被稱為LCU(最大編碼單元)，并且將視頻圖像分成非重疊LCU?？梢岳缤ㄟ^遞歸地劃分LCU和得到的CU，將LCU進(jìn)一步分為更小CU的組合。每個(gè)得到的⑶通常具有至少一個(gè)PU和與之關(guān)聯(lián)的至少一個(gè)TU。可以將每個(gè)I3U和TU進(jìn)一步分為更小的PU和TU，以便分別增加預(yù)測(cè)和預(yù)測(cè)誤差編碼過程的粒度。每個(gè)具有與其關(guān)聯(lián)的預(yù)測(cè)信息，該預(yù)測(cè)信息定義要針對(duì)該P(yáng)U中的像素應(yīng)用什么類型的預(yù)測(cè)(例如用于幀間預(yù)測(cè)PU的運(yùn)動(dòng)向量信息和用于幀內(nèi)預(yù)測(cè)PU的幀內(nèi)預(yù)測(cè)方向性信息)。
[0146]預(yù)測(cè)模式的方向性，即要在特定預(yù)測(cè)模式中應(yīng)用的預(yù)測(cè)方向，可以是垂直、水平、對(duì)角。例如，在當(dāng)前HEVC草案編解碼器中，統(tǒng)一幀內(nèi)預(yù)測(cè)根據(jù)I3U的大小提供多達(dá)34種方向預(yù)測(cè)模式，并且每種幀內(nèi)預(yù)測(cè)模式具有分配給它的預(yù)測(cè)方向。
[0147]同樣，每個(gè)TU與以下信息關(guān)聯(lián):該信息描述用于所述TU中的樣本的預(yù)測(cè)誤差解碼過程(例如包括DCT系數(shù)信息)。通常在CU級(jí)別用信號(hào)通知是否針對(duì)每個(gè)CU應(yīng)用預(yù)測(cè)誤差編碼。如果沒有與CU關(guān)聯(lián)的預(yù)測(cè)誤差殘余，則可以認(rèn)為所述CU沒有TU。通常在位流中用信號(hào)通知將圖像分成CU以及將CU分成PU和TU，從而允許解碼器重現(xiàn)這些單元的預(yù)定結(jié)構(gòu)。
[0148]在草案HEVC標(biāo)準(zhǔn)中，可以將圖像劃分為圖塊(tile)，這些圖塊是矩形并且包含整數(shù)個(gè)LCU。在草案HEVC標(biāo)準(zhǔn)中，分為圖塊將形成矩形網(wǎng)格，其中圖塊的高度和寬度不同于彼此，最多相差一個(gè)LCU。在草案HEVC中，分片包括整數(shù)個(gè)CU。如果圖塊未使用，則在圖塊或圖像中，以LCU的光柵掃描順序掃描CU。在LCU中，CU具有特定的掃描順序。圖5示出包括分成方形編碼單元(實(shí)線)的兩個(gè)圖塊的圖像的一個(gè)實(shí)例，這些方形編碼單元被進(jìn)一步分成矩形預(yù)測(cè)單元(虛線)。
[0149]解碼器通過應(yīng)用類似于編碼器的預(yù)測(cè)手段重構(gòu)輸出視頻，以便形成像素塊的預(yù)測(cè)表示(使用編碼器產(chǎn)生的并且以壓縮表示存儲(chǔ)的運(yùn)動(dòng)或空間信息)和預(yù)測(cè)誤差解碼(預(yù)測(cè)誤差編碼的逆操作，其恢復(fù)空間像素域中的量化預(yù)測(cè)誤差信號(hào))。在應(yīng)用預(yù)測(cè)和預(yù)測(cè)誤差解碼手段之后，解碼器計(jì)算預(yù)測(cè)和預(yù)測(cè)誤差信號(hào)(像素值)的總和，以便形成輸出視頻幀。解碼器(和編碼器)還可以應(yīng)用其它濾波手段以便改進(jìn)輸出視頻的質(zhì)量，然后傳遞輸出視頻以便顯示和/或存儲(chǔ)輸出視頻作為視頻序列中即將到來的幀的預(yù)測(cè)參考。
[0150]在典型的視頻編解碼器中，使用與每個(gè)運(yùn)動(dòng)補(bǔ)償圖像塊關(guān)聯(lián)的運(yùn)動(dòng)向量指示運(yùn)動(dòng)信息。這些運(yùn)動(dòng)向量的每一個(gè)表示要編碼(在編碼器側(cè))或解碼(在解碼器側(cè))的圖像中的圖像塊和先前一個(gè)編碼或解碼圖像中的預(yù)測(cè)源塊的位移。為了有效地表示運(yùn)動(dòng)向量，通常相對(duì)于塊特定的預(yù)測(cè)運(yùn)動(dòng)向量對(duì)這些運(yùn)動(dòng)向量差分地編碼。在典型的視頻編解碼器中，以預(yù)定義方式(例如計(jì)算相鄰塊的編碼或解碼運(yùn)動(dòng)向量的中值)產(chǎn)生預(yù)測(cè)運(yùn)動(dòng)向量。產(chǎn)生運(yùn)動(dòng)向量預(yù)測(cè)的另一種方式是從時(shí)間參考圖像中的相鄰塊和/或位于一起的塊生成候選預(yù)測(cè)列表，并且用信號(hào)通知選擇的候選者作為運(yùn)動(dòng)向量預(yù)測(cè)器。除了預(yù)測(cè)運(yùn)動(dòng)向量值之外，可以預(yù)測(cè)先前編碼/解碼的圖像的參考索引。通常從時(shí)間參考圖像中的相鄰塊和/或位于一起的塊預(yù)測(cè)參考索引。此外，典型的高效視頻編解碼器采用其它運(yùn)動(dòng)信息編碼/解碼機(jī)制(通常被稱為合并/合并模式)，其中在沒有任何修改/糾正的情況下預(yù)測(cè)和使用所有運(yùn)動(dòng)字段信息，該信息包括每個(gè)可用參考圖像列表的運(yùn)動(dòng)向量和對(duì)應(yīng)的參考圖像索引。同樣，使用時(shí)間參考圖像中的相鄰塊和/或位于一起的塊的運(yùn)動(dòng)字段信息執(zhí)行預(yù)測(cè)運(yùn)動(dòng)字段信息，并且在填充有可用相鄰/位于一起的塊的運(yùn)動(dòng)字段信息的一系列運(yùn)動(dòng)字段候選列表中，用信號(hào)通知已使用的運(yùn)動(dòng)字段信息。
[0151]在典型的視頻編解碼器中，首先使用變換核(如DCT)變換運(yùn)動(dòng)補(bǔ)償之后的預(yù)測(cè)殘余，然后對(duì)其編碼。這是因?yàn)橥ǔＴ跉堄嘀腥匀淮嬖谀撤N關(guān)聯(lián)，并且在許多情況下變換可以有助于減少這種關(guān)聯(lián)并提供更有效的編碼。
[0152]典型的視頻編碼器利用拉格朗日成本函數(shù)發(fā)現(xiàn)最佳編碼模式(例如所需的宏塊模式)和關(guān)聯(lián)的運(yùn)動(dòng)向量。這種成本函數(shù)使用加權(quán)因子λ將由于有損編碼方法產(chǎn)生的(確切或估計(jì))圖像失真以及表示圖像區(qū)域中的像素值所需的(確切或估計(jì))信息量聯(lián)系在一起:
[0153]C = D+AR，(I)
[0154]其中C是要最小化的拉格朗日成本，D是在考慮模式和運(yùn)動(dòng)向量的情況下的圖像失真(例如均方誤差)，并且R是表示所需數(shù)據(jù)需要的位數(shù)，所需數(shù)據(jù)用于在解碼器中重構(gòu)圖像塊(包括用于表示候選運(yùn)動(dòng)向量的數(shù)據(jù)量)。
[0155]視頻編碼標(biāo)準(zhǔn)和規(guī)范可以允許編碼器將編碼圖像分為編碼分片等。通?？绶制吔缃脠D像內(nèi)預(yù)測(cè)。因此，分片可以被視為一種用于將編碼圖像分為可單獨(dú)解碼的片的方式。在H.264/AVC和HEVC中，可以跨分片邊界禁用圖像內(nèi)預(yù)測(cè)。因此，分片可以被視為一種用于將編碼圖像分為可單獨(dú)解碼的片的方式，并且分片因此通常被視為用于傳輸?shù)幕締挝?。在許多情況下，編碼器可以在位流中指示跨分片邊界關(guān)閉哪些類型的圖像內(nèi)預(yù)測(cè)，并且解碼器操作例如當(dāng)斷定哪些預(yù)測(cè)源可用時(shí)考慮該信息。例如，如果相鄰宏塊或CU位于不同分片中，則來自相鄰宏塊或CU的樣本可以被視為不可用于幀內(nèi)預(yù)測(cè)。
[0156]編碼分片可以被分為三類:光柵掃描順序分片、矩形分片和靈活分片。
[0157]光柵掃描順序分片是包括采用光柵掃描順序的連續(xù)宏塊等的編碼段。例如，MPEG-4部分2的視頻分組以及H.263中以非空GOB標(biāo)頭開始的宏塊組(GOB)是光柵掃描順序分片的實(shí)例。
[0158]矩形分片是包括宏塊等的矩形區(qū)域的編碼段。矩形分片可以高于一個(gè)宏塊或類似行，并且窄于整個(gè)圖像寬度。H.263包括可選矩形分片子模式，并且H.261G0B也可以被視為矩形分片。
[0159]靈活分片可以包含任何預(yù)定義宏塊(或類似)位置。H.264/AVC編解碼器允許將宏塊分組為多于一個(gè)分片組。分片組可以包含任何宏塊位置，包括非相鄰宏塊位置。H.264/AVC的某些簡(jiǎn)檔中的分片包括特定分片組中采用光柵掃描順序的至少一個(gè)宏塊。
[0160]用于H.264/AVC或HEVC編碼器的輸出和H.264/AVC或HEVC解碼器的輸入的基本單位分別是網(wǎng)絡(luò)抽象層(NAL)單元。對(duì)于在面向分組的網(wǎng)絡(luò)上的傳輸或者到結(jié)構(gòu)化文件的存儲(chǔ)，NAL單元可以被封裝成分組或類似結(jié)構(gòu)。針對(duì)不提供成幀結(jié)構(gòu)的傳輸或存儲(chǔ)環(huán)境，已經(jīng)在H.264/AVC和HEVC中指定字節(jié)流格式。字節(jié)流格式通過在每個(gè)NAL單元的前面附加起始代碼，將NAL單元彼此分離。為了避免錯(cuò)誤檢測(cè)NAL單元邊界，編碼器運(yùn)行面向字節(jié)的起始代碼仿真防止算法，如果另外出現(xiàn)起始代碼，則該算法向NAL單元有效負(fù)載中添加仿真防止字節(jié)。為了在面向分組與面向流的系統(tǒng)之間實(shí)現(xiàn)直接網(wǎng)關(guān)操作，可以始終執(zhí)行起始代碼仿真防止，而無論是否使用字節(jié)流格式。NAL單元可以被定義為以下語法結(jié)構(gòu):其包含要遵循的數(shù)據(jù)類型的指示和字節(jié)，這些字節(jié)包含采用RBSP形式的數(shù)據(jù)，必要時(shí)在RBSP中加入仿真防止字節(jié)。原始字節(jié)序列有效負(fù)載(RBSP)可以被定義為以下語法結(jié)構(gòu):其包含封裝在NAL單元中的整數(shù)個(gè)字節(jié)。RBSP或者為空或者具有以下形式:包含語法元素的數(shù)據(jù)位串，后跟RBSP停止位，以及后跟零個(gè)或更多等于O的后續(xù)位。
[0161]NAL單元包括標(biāo)頭和有效負(fù)載。在H.264/AVC和HEVC中，NAL單元標(biāo)頭指示NAL單元的類型以及包含在NAL單元中的編碼分片是參考圖像還是非參考圖像的一部分。
[0162]H.264/AVC NAL單元標(biāo)頭包括2位nal_ref_idc語法元素，該語法元素當(dāng)?shù)扔贠時(shí)，指示包含在NAL單元中的編碼分片是非參考圖像的一部分，并且當(dāng)大于O時(shí)，指示包含在NAL單元中的編碼分片是參考圖像的一部分。草案HEVC標(biāo)準(zhǔn)包括I位nal_ref_idc語法元素(也被稱為nal_ref_flag)，該語法元素當(dāng)?shù)扔贠時(shí)，指示包含在NAL單元中的編碼分片是非參考圖像的一部分，并且當(dāng)?shù)扔贗時(shí)，指示包含在NAL單元中的編碼分片是參考圖像的一部分。SVC和MVC NAL單元的標(biāo)頭可以附加地包含與可伸縮性和多視圖層次結(jié)構(gòu)相關(guān)的各種指不。
[0163]在草案HEVC標(biāo)準(zhǔn)中，針對(duì)所有指定的NAL單元類型使用兩字節(jié)NAL單元標(biāo)頭。NAL單元標(biāo)頭的第一字節(jié)包含一個(gè)保留位、一位指示nal_ref_flag和六位NAL單元類型指示，一位指示nal_ref_flag主要