之間的輔助處理器、基于半導(dǎo)體的微處理器(微芯片或芯片組的形式)或者通常為用于執(zhí)行軟件指令的任何裝置。
[0034]存儲(chǔ)器102包括計(jì)算機(jī)可讀介質(zhì)，該計(jì)算機(jī)可讀介質(zhì)可包括易失性存儲(chǔ)器元件(例如，隨機(jī)存取存儲(chǔ)器(RAM，例如DRAM、SRAM、SDRAM等))和非易失性存儲(chǔ)器元件(例如，ROM、硬盤驅(qū)動(dòng)器、磁帶、⑶ROM等)中的任一個(gè)或組合。此外，存儲(chǔ)器102可包含電子、磁、光學(xué)和/或其它類型的存儲(chǔ)介質(zhì)。計(jì)算機(jī)可讀介質(zhì)可以是可存儲(chǔ)、通信、傳播或傳輸由指令執(zhí)行系統(tǒng)、設(shè)備或裝置使用或與指令執(zhí)行系統(tǒng)、設(shè)備或裝置結(jié)合使用的程序的任何裝置。請(qǐng)注意，存儲(chǔ)器102可具有分布式體系結(jié)構(gòu)，其中各種組件彼此遠(yuǎn)離地設(shè)置，但是可被處理器101訪問(wèn)。
[0035]存儲(chǔ)器102中的軟件103可包括一個(gè)或更多個(gè)單獨(dú)的程序，各個(gè)程序包含用于實(shí)現(xiàn)計(jì)算機(jī)100的邏輯功能的可執(zhí)行指令的有序列表，如下面所描述。在圖1的示例中，存儲(chǔ)器102中的軟件103限定根據(jù)本發(fā)明的計(jì)算機(jī)100的視頻編碼或視頻解碼功能。另外，盡管未要求，但是存儲(chǔ)器102可包含操作系統(tǒng)(0/S)104。操作系統(tǒng)104基本上控制計(jì)算機(jī)程序的執(zhí)行并提供調(diào)度、輸入-輸出控制、文件和數(shù)據(jù)管理、存儲(chǔ)器管理和通信管理以及相關(guān)服務(wù)。
[0036]計(jì)算機(jī)100的存儲(chǔ)裝置105可以是許多不同類型的存儲(chǔ)裝置中的一種，包括固定存儲(chǔ)裝置或便攜式存儲(chǔ)裝置。作為示例，存儲(chǔ)裝置105可以是磁帶、盤、閃存、易失性存儲(chǔ)器或不同的存儲(chǔ)裝置。另外，存儲(chǔ)裝置105可以是安全數(shù)字存儲(chǔ)卡或任何其它可移除存儲(chǔ)裝置 105。
[0037]I/O裝置106可包括輸入裝置，例如(但不限于)觸摸屏、鍵盤、鼠標(biāo)、掃描儀、麥克風(fēng)或其它輸入裝置。另外，I/o裝置106還可包括輸出裝置，例如(但不限于)顯示器或其它輸出裝置。I/O裝置106還可包括經(jīng)由輸入和輸出這二者通信的裝置，例如(但不限于)調(diào)制器/解調(diào)器(例如，調(diào)制解調(diào)器；用于訪問(wèn)另一裝置、系統(tǒng)或網(wǎng)絡(luò))、射頻(RF)、無(wú)線或其它收發(fā)器、電話接口、橋、路由器或者起到輸入和輸出這二者的功能的其它裝置。
[0038]如本領(lǐng)域普通技術(shù)人員熟知的，通過(guò)去除視頻序列中的冗余信息來(lái)實(shí)現(xiàn)視頻壓縮。存在許多不同的視頻編碼標(biāo)準(zhǔn)，其示例包括MPEG-1、MPEG-2、MPEG-4、H.261、H.263和
H.264/AVCo應(yīng)該注意，本發(fā)明并非旨在限于應(yīng)用任何特定視頻編碼標(biāo)準(zhǔn)。然而，以H.264/AVC標(biāo)準(zhǔn)(以引用方式并入本文)為例提供本發(fā)明下面的描述。H.264/AVC是最新的視頻編碼標(biāo)準(zhǔn)，并且實(shí)現(xiàn)顯著優(yōu)于諸如MPEG-1、MPEG-2、H.261和H.263的先前編碼標(biāo)準(zhǔn)的性能。
[0039]在H.264/AVC中，可將視頻的各個(gè)幀或圖片分成多個(gè)切片。然后將切片分成16X16像素塊(稱為宏塊)，然后可將宏塊進(jìn)一步分成8X 16、16X8、8X8、4X8、8X4、直至4X4像素塊。H.264/AVC支持五種類型的切片。在I切片中，所有宏塊使用幀內(nèi)預(yù)測(cè)來(lái)進(jìn)行編碼。在P切片中，可使用幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)對(duì)宏塊進(jìn)行編碼。P切片允許每宏塊使用僅一個(gè)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(MCP)信號(hào)。在B切片中，可使用幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)對(duì)宏塊進(jìn)行編碼。每預(yù)測(cè)可使用兩個(gè)MCP信號(hào)。SP切片使得P切片能夠有效地在不同的視頻流之間切換。SI切片是SP切片的精確匹配以用于隨機(jī)訪問(wèn)或錯(cuò)誤恢復(fù)，同時(shí)僅使用幀內(nèi)預(yù)測(cè)。
[0040]圖2示出可應(yīng)用本發(fā)明的視頻編碼器的總體視圖。圖中所示的方框表示執(zhí)行存儲(chǔ)器102中的軟件103的處理器101所實(shí)現(xiàn)的功能模塊。將視頻幀200的圖片提供給視頻編碼器201。視頻編碼器以宏塊200A為單位處理圖片200。各個(gè)宏塊包含圖片200的多個(gè)像素。對(duì)各個(gè)宏塊執(zhí)行向變換系數(shù)的變換，然后執(zhí)行向變換系數(shù)級(jí)別的量化。此外，使用幀內(nèi)預(yù)測(cè)或幀間預(yù)測(cè)，以不直接對(duì)像素?cái)?shù)據(jù)，而是對(duì)像素值與其預(yù)測(cè)之間的差執(zhí)行編碼步驟，從而實(shí)現(xiàn)更容易壓縮的較小值。
[0041]對(duì)于各個(gè)切片，編碼器201生成多個(gè)句法元素，這些句法元素形成相應(yīng)切片的宏塊的編碼版本。句法元素中與變換系數(shù)的編碼有關(guān)的所有殘差數(shù)據(jù)元素(例如，變換系數(shù)級(jí)別或指示跳過(guò)的變換系數(shù)級(jí)別的有效圖(significance map))稱為殘差數(shù)據(jù)句法元素。除了這些殘差數(shù)據(jù)句法元素之外，由編碼器201生成的句法元素包含控制信息句法元素，所述控制信息句法元素包含分別關(guān)于各個(gè)宏塊如何編碼以及必須要如何解碼的控制信息。換言之，句法元素可分成兩類。第一類是控制信息句法元素，其包含(例如)與宏塊類型、子宏塊類型以及空間和時(shí)間類型的預(yù)測(cè)模式的信息、以及基于切片和基于宏塊的控制信息有關(guān)的元素。在第二類中，諸如有效圖的所有殘差數(shù)據(jù)元素組合并成為殘差數(shù)據(jù)句法元素，所述有效圖指示量化的變換系數(shù)塊內(nèi)的所有有效系數(shù)的位置以及有效系數(shù)的值(以與量化步長(zhǎng)對(duì)應(yīng)的級(jí)別為單位來(lái)指示)。
[0042]編碼器201包括熵編碼器，該熵編碼器對(duì)句法元素進(jìn)行編碼并生成各個(gè)切片的算術(shù)碼字。在生成切片的算術(shù)碼字時(shí)，熵編碼器利用了視頻信號(hào)比特流中的句法元素的數(shù)據(jù)值之間的統(tǒng)計(jì)相關(guān)。編碼器201將圖片200的切片的編碼的視頻信號(hào)輸出給圖3所示的視頻解碼器301。
[0043]圖3示出可應(yīng)用本發(fā)明的視頻解碼器的總體視圖。同樣，圖中所示的方框表示執(zhí)行存儲(chǔ)器102中的軟件103的處理器101所實(shí)現(xiàn)的功能模塊。視頻解碼器301接收編碼的視頻信號(hào)，并首先將信號(hào)熵解碼為句法元素。解碼器301使用句法元素以便逐宏塊地，然后一個(gè)切片接一個(gè)切片地重構(gòu)圖片300中的像素的圖片樣本300A。
[0044]圖4示出視頻編碼器201 (在圖4中通常用標(biāo)號(hào)400指代)的功能模塊。這些功能模塊由執(zhí)行存儲(chǔ)器102中的軟件103的處理器101實(shí)現(xiàn)。輸入視頻圖片是由樣本點(diǎn)限定的自然(未壓縮)視頻圖像的幀或場(chǎng)，所述樣本點(diǎn)表示原始顏色的分量，例如色度(“chroma”)和亮度(“l(fā)uma”)。其它分量也是可以的，例如色調(diào)、飽和度和值。輸入視頻圖片被分成宏塊，各個(gè)宏塊表示由圖片顏色的亮度分量的16X16像素組成的正方形圖片區(qū)域。輸入視頻圖片還被分割成宏塊，各個(gè)宏塊表示圖片顏色的兩個(gè)色度分量中的每一個(gè)的8X8像素。在一般編碼器操作中，可利用幀間預(yù)測(cè)或幀內(nèi)預(yù)測(cè)在時(shí)間或空間上預(yù)測(cè)輸入的宏塊。然而，為了討論方便，假設(shè)宏塊400全部為P切片類型宏塊或者全部為B切片類型宏塊，或者為這二者的混合，并僅經(jīng)受幀間預(yù)測(cè)。
[0045]圖4所示的視頻編碼器400僅發(fā)送當(dāng)前圖片與當(dāng)前圖片的預(yù)測(cè)之間的殘差或差值。減法器410通過(guò)接收待編碼的當(dāng)前圖片塊作為輸入信號(hào)IS，并從其減去由預(yù)測(cè)信號(hào)PS指示的預(yù)測(cè)圖片塊，來(lái)獲得這些殘差。如圖4所示，視頻編碼器400包括變換/量化單元420以輸出量化的變換系數(shù)QC。變換/量化單元420將殘差從空域變換到頻域，并將變換的殘差量化。視頻編碼器400還包括熵編碼單元490以用于對(duì)量化的變換系數(shù)QC執(zhí)行熵編碼(可變長(zhǎng)度編碼)并輸出比特流BS。
[0046]視頻編碼器400還包括逆量化/變換單元430和加法器435。逆量化/變換單元430將量化的變換系數(shù)QC變換回殘差信號(hào)RS，加法器435將所述殘差信號(hào)RS與預(yù)測(cè)信號(hào)PS相加以輸出解碼的圖片。解塊濾波器437從解碼的圖片去除塊效應(yīng)，并將干凈的解碼圖片存儲(chǔ)在基準(zhǔn)存儲(chǔ)器440中。
[0047]視頻編碼器400還包括運(yùn)動(dòng)補(bǔ)償/預(yù)測(cè)單元460和運(yùn)動(dòng)估計(jì)單元470。運(yùn)動(dòng)補(bǔ)償/預(yù)測(cè)單元460從基準(zhǔn)存儲(chǔ)器440讀取基準(zhǔn)圖片并應(yīng)用插值，以生成四分之一像素位置處的分?jǐn)?shù)樣本。運(yùn)動(dòng)估計(jì)單元470還從基準(zhǔn)存儲(chǔ)器440讀取基準(zhǔn)圖片，并通過(guò)將當(dāng)前圖片與基準(zhǔn)圖片進(jìn)行比較來(lái)估計(jì)當(dāng)前圖片的運(yùn)動(dòng)矢量MV。運(yùn)動(dòng)矢量MV被輸出給運(yùn)動(dòng)補(bǔ)償/預(yù)測(cè)單元460和熵編碼單元490。塊可被分成具有4\4、4\8、8\4、8\8、8\16、16\8或16父16像素的分區(qū)。運(yùn)動(dòng)估計(jì)單元470對(duì)塊中的相應(yīng)分區(qū)執(zhí)行運(yùn)動(dòng)估計(jì)，并輸出相應(yīng)分區(qū)的運(yùn)動(dòng)矢量MV。運(yùn)動(dòng)補(bǔ)償/預(yù)測(cè)單元460使基準(zhǔn)圖片中的相應(yīng)分區(qū)在運(yùn)動(dòng)矢量所指示的方向上移位運(yùn)動(dòng)矢量所指示的量，以導(dǎo)出預(yù)測(cè)圖片，所述預(yù)測(cè)圖片作為預(yù)測(cè)信號(hào)IS被提供給減法器410和加法器435。
[0048]圖5是示出由視頻編碼器400執(zhí)行的高級(jí)別的編碼處理的流程圖。在步驟502，運(yùn)動(dòng)補(bǔ)償/預(yù)測(cè)單元460生成預(yù)測(cè)塊。在步驟504，減法器410從當(dāng)前圖片中減去預(yù)測(cè)圖片，以獲得殘差。在步驟506，變換/量化單元420對(duì)殘差進(jìn)行編碼。
[0049]圖6是示出根據(jù)本發(fā)明的實(shí)施方式的由運(yùn)動(dòng)補(bǔ)償/預(yù)測(cè)單元460執(zhí)行以生成預(yù)測(cè)信號(hào)的運(yùn)動(dòng)補(bǔ)償處理的流程圖。在步驟602中，運(yùn)動(dòng)補(bǔ)償/預(yù)測(cè)單元460從基準(zhǔn)存儲(chǔ)器440讀出基準(zhǔn)樣本。基準(zhǔn)存儲(chǔ)器440存儲(chǔ)多個(gè)基準(zhǔn)圖片。如H.264/AVC的章節(jié)8.4.2及其子章節(jié)中所討論的，可利用當(dāng)前圖片內(nèi)的要預(yù)測(cè)的區(qū)域的位置、該區(qū)域的運(yùn)動(dòng)矢量MV以及基準(zhǔn)幀索