国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      運(yùn)動(dòng)圖像編碼裝置以及運(yùn)動(dòng)圖像解碼裝置的制作方法

      文檔序號(hào):7849075閱讀:165來(lái)源:國(guó)知局
      專利名稱:運(yùn)動(dòng)圖像編碼裝置以及運(yùn)動(dòng)圖像解碼裝置的制作方法
      技術(shù)領(lǐng)域
      本發(fā)明涉及將運(yùn)動(dòng)圖像分割為規(guī)定區(qū)域并按照區(qū)域單位進(jìn)行編碼的運(yùn)動(dòng)圖像編碼裝置、和按照規(guī)定區(qū)域單位對(duì)編碼了的運(yùn)動(dòng)圖像進(jìn)行解碼的運(yùn)動(dòng)圖像解碼裝置。
      背景技術(shù)
      以往,在MPEG以及ITU -TH. 26x等國(guó)際標(biāo)準(zhǔn)影像編碼方式中采用了如下方法對(duì)于影像信號(hào)的各幀,以匯總亮度信號(hào)16X 16像素和對(duì)應(yīng)的色差信號(hào)8X8像素量而得到的塊數(shù)據(jù)(稱為宏塊)為單位,根據(jù)運(yùn)動(dòng)補(bǔ)償技術(shù)以及正交變換/變換系數(shù)量化技術(shù)進(jìn)行壓縮。運(yùn)動(dòng)補(bǔ)償技術(shù)是指,利用在視頻幀之間存在的高的相關(guān)而針對(duì)每個(gè)宏塊削減時(shí)間方向的信號(hào)的冗余度(redundancy)的技術(shù),是如下技術(shù)預(yù)先將過(guò)去已編碼的幀作為參照?qǐng)D像而儲(chǔ)存到存儲(chǔ)器內(nèi),從參照?qǐng)D像中的規(guī)定的搜索范圍內(nèi),搜索與成為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的對(duì)象的當(dāng)前宏塊的差分電力最小的塊區(qū)域,將當(dāng)前宏塊的空間位置與參照?qǐng)D像中的搜索結(jié)果塊的空間位置的偏移作為運(yùn)動(dòng)矢量進(jìn)行編碼。另外,在正交變換/變換系數(shù)量化技術(shù)中,通過(guò)對(duì)從當(dāng)前宏塊減去根據(jù)上述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的結(jié)果所得到的預(yù)測(cè)信號(hào)而得到的差分信號(hào)進(jìn)行正交變換以及量化,實(shí)現(xiàn)了信息量的壓縮。在MPEG — 4 Visual中,成為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的單位的塊大小的最小值是8X8像素,在正交變換中也使用了 8X8像素大小的DCT (離散余弦變換)。相對(duì)于此,在MPEG — 4AVC(Moving Picture Experts Group — 4 Advanced Video Coding,運(yùn)動(dòng)圖像專家組一4 高級(jí)視頻編碼)(ITU — T H. 264)中,為了在目標(biāo)的邊界等空間方向的像素間相關(guān)小的區(qū)域中也高效地進(jìn)行編碼,而準(zhǔn)備了比8X8像素小的塊大小下的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè),另外在正交變換中能夠?qū)?X8像素和4X4像素的整數(shù)精度的DCT適應(yīng)性地切換為宏塊單位來(lái)進(jìn)行壓縮編碼。在這樣的以往的國(guó)際標(biāo)準(zhǔn)影像編碼方式中,由于宏塊大小被固定,特別是在圖像的分辨率變高的情況下,在固定的宏塊大小下,宏塊所覆蓋的區(qū)域易于成為局部。于是,發(fā)生如下情形在周邊宏塊中成為相同的編碼模式,或者分配相同的運(yùn)動(dòng)矢量。在這樣的情形中,盡管預(yù)測(cè)效率未提高,但被編碼的編碼模式信息以及運(yùn)動(dòng)矢量信息等開銷會(huì)增加,所以作為編碼器整體,編碼效率降低。針對(duì)這樣的問(wèn)題,有根據(jù)圖像的分辨率或者內(nèi)容來(lái)切換宏塊大小的裝置(例如,參照專利文獻(xiàn)I)。在專利文獻(xiàn)I的運(yùn)動(dòng)圖像編碼裝置中,能夠切換可根據(jù)宏塊大小而選擇的正交變換塊大小或者正交變換塊大小的組來(lái)進(jìn)行壓縮編碼。專利文獻(xiàn)I :國(guó)際公開W02007/034918號(hào)

      發(fā)明內(nèi)容
      但是,在以往的國(guó)際標(biāo)準(zhǔn)影像編碼方式以及專利文獻(xiàn)I的發(fā)明中,無(wú)法在宏塊內(nèi)切換多個(gè)正交變換塊大小來(lái)進(jìn)行變換,所以特別是在宏塊內(nèi)存在運(yùn)動(dòng)或者圖樣不同的目標(biāo)的情況下,具有編碼效率降低這樣的課題。
      本發(fā)明是為了解決上述那樣的課題而完成的,其目的在于得到一種運(yùn)動(dòng)圖像編碼裝置以及運(yùn)動(dòng)圖像解碼裝置,能夠針對(duì)成為宏塊內(nèi)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的單位的每個(gè)區(qū)域,適應(yīng)性地切換正交變換塊大小來(lái)進(jìn)行壓縮編碼。
      本發(fā)明的運(yùn)動(dòng)圖像編碼裝置具備從根據(jù)塊圖像的塊大小而預(yù)先決定的變換塊大小的組中將規(guī)定的變換塊大小指示給變換/量化部的編碼控制部,變換/量化部將預(yù)測(cè)差分信號(hào)分割為從編碼控制部指示的變換塊大小的塊而進(jìn)行變換以及量化處理,生成壓縮數(shù)據(jù)。
      在本發(fā)明的運(yùn)動(dòng)圖像解碼裝置中,逆量化/逆變換部根據(jù)所解碼出的編碼模式和壓縮參數(shù)中包含的變換塊大小信息來(lái)決定變換塊大小,按照該變換塊大小的塊單位對(duì)壓縮數(shù)據(jù)進(jìn)行逆變換以及逆量化處理。
      根據(jù)本發(fā)明,從根據(jù)塊圖像的塊大小而預(yù)先決定的變換塊大小的組中選擇規(guī)定的變換塊大小,將預(yù)測(cè)差分信號(hào)分割為該變換塊大小的塊來(lái)進(jìn)行變換以及量化處理而生成壓縮數(shù)據(jù),所以能夠得到可針對(duì)成為宏塊內(nèi)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的單位的每個(gè)區(qū)域適應(yīng)性地切換變換塊大小而進(jìn)行壓縮編碼的運(yùn)動(dòng)圖像編碼裝置以及運(yùn)動(dòng)圖像解碼裝置。



      圖。


      的框圖。

      圖I是示出本發(fā)明的實(shí)施方式I的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)的框圖。圖2A是示出進(jìn)行時(shí)間方向的預(yù)測(cè)編碼的圖片的編碼模式的一個(gè)例子的圖。圖2B是示出進(jìn)行時(shí)間方向的預(yù)測(cè)編碼的圖片的編碼模式的另一例子的圖。圖3是示出實(shí)施方式I的運(yùn)動(dòng)圖像編碼裝置的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部的內(nèi)部結(jié)構(gòu)的框圖4是說(shuō)明與編碼模式對(duì)應(yīng)的運(yùn)動(dòng)矢量的預(yù)測(cè)值的決定方法的圖。圖5是示出與編碼模式對(duì)應(yīng)的變換塊大小的適應(yīng)化的一個(gè)例子的圖。圖6是示出與編碼模式對(duì)應(yīng)的變換塊大小的適應(yīng)化的另一例子的圖。圖7是示出實(shí)施方式I的運(yùn)動(dòng)圖像編碼裝置的變換/量化部的內(nèi)部結(jié)構(gòu)的框圖。 圖8是示出本發(fā)明的實(shí)施方式I的運(yùn)動(dòng)圖像解碼裝置的結(jié)構(gòu)的框圖。圖9是示出本發(fā)明的實(shí)施方式2的運(yùn)動(dòng)圖像編碼裝置的可變長(zhǎng)編碼部的內(nèi)部結(jié)構(gòu)圖10是示出2值化表格的一個(gè)例子的圖,示出更新前的狀態(tài)。圖11是不出概率表格的一個(gè)例子的圖。圖12是示出狀態(tài)變化表格的一個(gè)例子的圖。圖13是說(shuō)明上下文識(shí)別信息的生成過(guò)程的圖,圖13的(a)是通過(guò)二叉樹表現(xiàn)來(lái)示出2值化表格的圖,圖13的(b)是示出編碼對(duì)象宏塊與周邊塊的位置關(guān)系的圖。
      圖14是示出2值化表格的一個(gè)例子的圖,示出更新后的狀態(tài)。
      圖15是示出本發(fā)明的實(shí)施方式2的運(yùn)動(dòng)圖像解碼裝置的可變長(zhǎng)解碼部的內(nèi)部結(jié)構(gòu)的框圖。
      圖16是示出本發(fā)明的實(shí)施方式3的運(yùn)動(dòng)圖像編碼裝置的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部所具備5CN 102934438 A書明說(shuō)3/26 頁(yè)的插值圖像生成部的內(nèi)部結(jié)構(gòu)的框圖。
      (符號(hào)說(shuō)明)
      I :輸入影像信號(hào);2 :塊分割部;3 :編碼控制部;4 :宏塊大??;5 :宏/子塊圖像;6 切換部;7 :編碼模式;7a :最佳編碼模式;8 :內(nèi)部預(yù)測(cè)部;9 :運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部;10 :預(yù)測(cè)參數(shù);10a :最佳預(yù)測(cè)參數(shù);11 :預(yù)測(cè)圖像;12 :減法部;13 :預(yù)測(cè)差分信號(hào);13a :最佳預(yù)測(cè)差分信號(hào);14 :運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器;15 :參照?qǐng)D像;17 :預(yù)測(cè)圖像;18 :預(yù)測(cè)參數(shù);18a :最佳預(yù)測(cè)參數(shù);19 :變換/量化部;20 :壓縮參數(shù);20a :最佳壓縮參數(shù);21 :壓縮數(shù)據(jù);22 :逆量化 /逆變換部;23 :可變長(zhǎng)編碼部;24 :局部解碼預(yù)測(cè)差分信號(hào);25 :加法部;26 :局部解碼圖像信號(hào);27 :環(huán)路濾波器部;28 :內(nèi)部預(yù)測(cè)用存儲(chǔ)器;29 :局部解碼圖像;30 :比特流;40 :運(yùn)動(dòng)補(bǔ)償區(qū)域分割部;41 :運(yùn)動(dòng)補(bǔ)償區(qū)域塊圖像;42 :運(yùn)動(dòng)檢測(cè)部;43 :插值圖像生成部;44 運(yùn)動(dòng)矢量;45 :預(yù)測(cè)圖像;50 :變換塊大小分割部;51 :變換對(duì)象塊;52 :變換部;53 :變換系數(shù);54 :量化部;60 :比特流;61 :可變長(zhǎng)解碼部;62 :最佳編碼模式;63 :最佳預(yù)測(cè)參數(shù);64 壓縮數(shù)據(jù);65 :最佳壓縮參數(shù);66 :逆量化/逆變換部;67 :預(yù)測(cè)差分信號(hào)解碼值;68 :切換部;69 :內(nèi)部預(yù)測(cè)部;70 :運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部;71 :預(yù)測(cè)圖像;72 :預(yù)測(cè)圖像;73 :加法部;74、 74a :解碼圖像;75 :運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器 ;76 :參照?qǐng)D像;77 :內(nèi)部預(yù)測(cè)用存儲(chǔ)器;78 :環(huán)路濾波器部;79 :再生圖像;90 :初始化部;91 :上下文信息初始化標(biāo)志;92 2值化部;93 頻度信息生成部;94 :頻度信息;95 2值化表格更新部;96 :上下文信息存儲(chǔ)器;97 :概率表格存儲(chǔ)器;98 :狀態(tài)變化表格存儲(chǔ)器;99 :上下文生成部;100 :類別信號(hào);101 :周邊塊信息;102 :上下文識(shí)別信息;103 2值信號(hào);104 :算術(shù)編碼處理運(yùn)算部;105 2值化表格存儲(chǔ)器;106 :上下文信息;107 :概率表格編號(hào);108 =MPS發(fā)生概率;109 :碼元值;110 :概率表格編號(hào);111 :編碼比特列;112 :2值化表格更新識(shí)別信息;113 :2值化表格更新標(biāo)志;120 :初始化部;121 :上下文初始化信息;122 :上下文生成部;123 :類別信號(hào);124 :周邊塊信息; 126 :上下文識(shí)別信息;127 :算術(shù)解碼處理運(yùn)算部;128 :上下文信息存儲(chǔ)器;129 :上下文信息;130 :概率表格編號(hào);131 :概率表格存儲(chǔ)器;132 =MPS發(fā)生概率;133 :編碼比特列;134 碼元值;135 :狀態(tài)變化表格存儲(chǔ)器;136 :概率表格編號(hào);137 2值信號(hào);138 :逆2值化部; 139 :2值化表格;140 :解碼值;141 :2值化表格更新部;142 :2值化表格更新標(biāo)志;143 :2值化表格存儲(chǔ)器;144 2值化表格更新識(shí)別信息;200 :圖像縮小處理部;201a、201b :高頻特征抽出部;202 :相關(guān)計(jì)算部;203 :高頻分量推測(cè)部;204 :高頻分量圖案存儲(chǔ)器;205 :圖像放大處理部;206 :加法部;207 :虛擬像素精度的參照?qǐng)D像。
      具體實(shí)施方式
      以下,參照附圖,詳細(xì)說(shuō)明本發(fā)明的實(shí)施方式。
      實(shí)施方式I.
      在本實(shí)施方式I中,說(shuō)明將影像的各幀圖像作為輸入而在鄰近幀之間進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)并對(duì)所得到的預(yù)測(cè)差分信號(hào)實(shí)施了基于正交變換/量化的壓縮處理之后進(jìn)行可變長(zhǎng)編碼來(lái)生成比特流的運(yùn)動(dòng)圖像編碼裝置、以及對(duì)該比特流進(jìn)行解碼的運(yùn)動(dòng)圖像解碼裝置。
      圖I是示出本發(fā)明的實(shí)施方式I的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)的框圖。圖I所示的運(yùn)動(dòng)圖像編碼裝置包括塊分割部2,輸出把將輸入影像信號(hào)I的各幀圖像分割為宏塊大小64的多個(gè)塊得到的宏塊圖像根據(jù)編碼模式7而分割為I個(gè)以上的子塊得到的宏/子塊圖像 5 ;內(nèi)部預(yù)測(cè)部8,如果輸入了宏/子塊圖像5,則使用內(nèi)部預(yù)測(cè)用存儲(chǔ)器28的圖像信號(hào)對(duì)該宏/子塊圖像5進(jìn)行幀內(nèi)預(yù)測(cè)而生成預(yù)測(cè)圖像11 ;運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9,如果輸入了宏/子塊圖像5,則使用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14的參照?qǐng)D像15對(duì)該宏/子塊圖像5進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)而生成預(yù)測(cè)圖像17 ;切換部6,根據(jù)編碼模式7,將宏/子塊圖像5輸入到內(nèi)部預(yù)測(cè)部8或者運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9中的某一方;減法部12,從塊分割部2所輸出的宏/子塊圖像 5,減去內(nèi)部預(yù)測(cè)部8或者運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9中的某一方所輸出的預(yù)測(cè)圖像11、17,而生成預(yù)測(cè)差分信號(hào)13 ;變換/量化部19,對(duì)預(yù)測(cè)差分信號(hào)13進(jìn)行變換以及量化處理而生成壓縮數(shù)據(jù)21 ;可變長(zhǎng)編碼部23,對(duì)壓縮數(shù)據(jù)21進(jìn)行熵編碼而復(fù)用到比特流30 ;逆量化/逆變換部22,對(duì)壓縮數(shù)據(jù)21進(jìn)行逆量化以及逆變換處理而生成局部解碼預(yù)測(cè)差分信號(hào)24 ;加法部 25,針對(duì)逆量化/逆變換部22相加內(nèi)部預(yù)測(cè)部8或者運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9中的某一方所輸出的預(yù)測(cè)圖像11、17而生成局部解碼圖像信號(hào)26 ;內(nèi)部預(yù)測(cè)用存儲(chǔ)器28,保存局部解碼圖像信號(hào)26 ;環(huán)路濾波器部27,對(duì)局部解碼圖像信號(hào)26進(jìn)行濾波處理而生成局部解碼圖像29 ; 以及運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14,保存局部解碼圖像29。
      編碼控制部3輸出各部的處理所需的信息(宏塊大小4、編碼模式7、最佳編碼模式 7a、預(yù)測(cè)參數(shù)10、最佳預(yù)測(cè)參數(shù)10a、18a、壓縮參數(shù)20、最佳壓縮參數(shù)20a)。以下,詳細(xì)說(shuō)明宏塊大小4以及編碼模式7。在后面詳細(xì)敘述其他信息。
      編碼控制部3向塊分割部2指定輸入影像信號(hào)I的各幀圖像的宏塊大小4,并且針對(duì)編碼對(duì)象的每個(gè)宏塊,指 示可根據(jù)圖片類型選擇的所有編碼模式7。
      另外,編碼控制部3雖然能夠從編碼模式的組中選擇規(guī)定的編碼模式,但該編碼模式的組是任意的,例如能夠從以下所示的圖2A或者圖2B的組中選擇規(guī)定的編碼模式。
      圖2A是表示進(jìn)行時(shí)間方向的預(yù)測(cè)編碼的P (Predictive,預(yù)測(cè))圖片的編碼模式的例子的圖。在圖2A中,mb_m0de(T2是通過(guò)幀間預(yù)測(cè)對(duì)宏塊(MXL像素塊)進(jìn)行編碼的模式(inter)。mb_mode0是對(duì)宏塊全體分配I個(gè)運(yùn)動(dòng)矢量的模式,mb_model、2分別是水平或者垂直地將宏塊進(jìn)行等分,并對(duì)所分割的各子塊分別分配不同的運(yùn)動(dòng)矢量的模式。
      mb_mode3是將宏塊進(jìn)行4分割,并對(duì)所分割的各子塊分配不同的編碼模式(sub_ mb_mode)的模式。
      sub_mb_mode(T4是在宏塊的編碼模式中選擇了 mb_mode3時(shí),針對(duì)將該宏塊進(jìn)行4 分割而得到的各子塊UX I像素塊)分別分配的編碼模式,sub_mb_modeO是通過(guò)幀內(nèi)預(yù)測(cè)對(duì)子塊進(jìn)行編碼的模式(intra)。除此以外是通過(guò)幀間預(yù)測(cè)進(jìn)行編碼的模式(inter),sub_ mb_model是對(duì)子塊全體分配I個(gè)運(yùn)動(dòng)矢量的模式,sub_mb_mode2、3分別是水平或者垂直地將子塊進(jìn)行等分,并針對(duì)所分割的各子塊分別分配不同的運(yùn)動(dòng)矢量的模式,sub_mb_m0de4 是將子塊進(jìn)行4分割,并對(duì)所分割的各子塊分配不同的運(yùn)動(dòng)矢量的模式。
      另外,圖2B是示出進(jìn)行時(shí)間方向的預(yù)測(cè)編碼的P圖片的編碼模式的另一例子的圖。在圖2B中,mb_mode0 6是通過(guò)巾貞間預(yù)測(cè)對(duì)宏塊(MX L像素塊)進(jìn)行編碼的模式(inter)。 mb_mode0是對(duì)宏塊全體分配I個(gè)運(yùn)動(dòng)矢量的模式,mb_model 6分別是在水平、垂直或者對(duì)角方向上分割宏塊,并針對(duì)所分割的各子塊分別分配不同的運(yùn)動(dòng)矢量的模式。
      mb_mode7是將宏塊進(jìn)行4分割,并對(duì)所分割的各子塊分配不同的編碼模式(sub_ mb_mode)的模式。
      sub_mb_mode(T8是在宏塊的編碼模式中選擇了 mb_mode7時(shí),針對(duì)將該宏塊進(jìn)行 4分割得到的各子塊UX I像素塊)分別分配的編碼模式,subjnbjnodeO是通過(guò)幀內(nèi)預(yù)測(cè)對(duì)子塊進(jìn)行編碼的模式(intra)。除此以外是通過(guò)幀間預(yù)測(cè)進(jìn)行編碼的模式(inter),sub_ mb_model是對(duì)子塊全體分配I個(gè)運(yùn)動(dòng)矢量的模式,sub_mb_mode2 7分別是在水平、垂直或者對(duì)角方向上分割子塊,并對(duì)所分割的各子塊分別分配不同的運(yùn)動(dòng)矢量的模式,sub_mb_ modeS是將子塊進(jìn)行4分割,并對(duì)所分割的各子塊分配不同的運(yùn)動(dòng)矢量的模式。
      塊分割部2將輸入到運(yùn)動(dòng)圖像編碼裝置的輸入影像信號(hào)I的各幀圖像,分割為從編碼控制部3指定的宏塊大小4的宏塊圖像。而且,塊分割部2在從編碼控制部3指定的編碼模式7包括針對(duì)將宏塊進(jìn)行分割得到的子塊分配不同的編碼模式的模式(圖2A的sub_ mb_model 4或者圖2B的sub_mb_model 8)的情況下,將宏塊圖像分割為編碼模式7表示的子塊圖像。因此,從塊分割部2輸出的塊圖像根據(jù)編碼模式7而成為宏塊圖像或者子塊圖像中的某一方。以下,將該塊圖像稱為宏/子塊圖像5。
      另外,在輸入影像信號(hào)I的各幀的水平或者垂直大小不是宏塊大小4的各個(gè)水平大小或者垂直大小的整數(shù)倍時(shí),針對(duì)輸入影像信號(hào)I的各幀,生成直至幀大小成為宏塊大小的整數(shù)倍為止在水平方向或者垂直方向上使像素?cái)U(kuò)展的幀(擴(kuò)展幀)。作為擴(kuò)展區(qū)域 的像素的生成方法,例如有在垂直方向上使像素?cái)U(kuò)展的情況下反復(fù)填補(bǔ)原來(lái)的幀的下端的像素、或者用具有固定的像素值(灰、黑、白等)的像素來(lái)填補(bǔ)等的方法。在水平方向上使像素?cái)U(kuò)展的情況下,也同樣地有反復(fù)填補(bǔ)原來(lái)的幀的右端的像素、或者用具有固定的像素值 (灰、黑、白等)的像素來(lái)填補(bǔ)等的方法。代替輸入影像信號(hào)I的各幀圖像而將針對(duì)輸入影像信號(hào)I的各幀而生成的幀大小是宏塊大小的整數(shù)倍的擴(kuò)展幀輸入到塊分割部2。
      另外,為了按照由I幀以上的圖片構(gòu)成的序列單位或者圖片單位復(fù)用到比特流, 而向可變長(zhǎng)編碼部23輸出宏塊大小4以及輸入影像信號(hào)I的各幀的幀大小(水平大小以及垂直大小)。
      另外,也可以不將宏塊大小的值直接復(fù)用到比特流,而是用分布圖(profile)等來(lái)進(jìn)行規(guī)定。在該情況下,用于按照序列單位來(lái)識(shí)別分布圖的識(shí)別信息被復(fù)用到比特流中。
      切換部6是根據(jù)編碼模式7對(duì)宏/子塊圖像5的輸入目的地進(jìn)行切換的開關(guān)。該切換部6在編碼模式7是通過(guò)幀內(nèi)預(yù)測(cè)進(jìn)行編碼的模式(以下,稱為幀內(nèi)預(yù)測(cè)模式)的情況下,將宏/子塊圖像5輸入到內(nèi)部預(yù)測(cè)部8,在編碼模式7是通過(guò)幀間預(yù)測(cè)進(jìn)行編碼的模式 (以下,稱為幀間預(yù)測(cè)模式)的情況下,將宏/子塊圖像5輸入到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9。
      內(nèi)部預(yù)測(cè)部8對(duì)于所輸入的宏/子塊圖像5,以通過(guò)宏塊大小4指定的編碼對(duì)象的宏塊或者通過(guò)編碼模式7指定的子塊為單位,進(jìn)行幀內(nèi)預(yù)測(cè)。另外,內(nèi)部預(yù)測(cè)部8對(duì)于從編碼控制部3指示的預(yù)測(cè)參數(shù)10中包含的所有內(nèi)部預(yù)測(cè)模式,使用內(nèi)部預(yù)測(cè)用存儲(chǔ)器28內(nèi)保存的幀內(nèi)的圖像信號(hào),分別生成預(yù)測(cè)圖像U。
      此處,詳細(xì)說(shuō)明預(yù)測(cè)參數(shù)10。在編碼模式7是幀內(nèi)預(yù)測(cè)模式的情況下,編碼控制部 3將內(nèi)部預(yù)測(cè)模式指定為與該編碼模式7對(duì)應(yīng)的預(yù)測(cè)參數(shù)10。在該內(nèi)部預(yù)測(cè)模式中,例如有如下模式等使宏塊或者子塊內(nèi)成為4X4像素塊單位而使用內(nèi)部預(yù)測(cè)用存儲(chǔ)器28內(nèi)的圖像信號(hào)的單位塊周圍的像素來(lái)生成預(yù)測(cè)圖像的模式;使宏塊或者子塊內(nèi)成為8X8像素塊單位而使用內(nèi)部預(yù)測(cè)用存儲(chǔ)器28內(nèi)的圖像信號(hào)的單位塊周邊的像素來(lái)生成預(yù)測(cè)圖像的模式;使宏塊或者子塊內(nèi)成為16X16像素塊單位而使用內(nèi)部預(yù)測(cè)用存儲(chǔ)器28內(nèi)的圖像信號(hào)的單位塊周邊的像素來(lái)生成預(yù)測(cè)圖像的模式;根據(jù)使宏塊或者子塊內(nèi)縮小而得到的圖像生成預(yù)測(cè)圖像的模式。
      運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9從運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14中保存的I幀以上的參照?qǐng)D像數(shù)據(jù)中,指定在預(yù)測(cè)圖像生成中使用的參照?qǐng)D像15,使用該參照?qǐng)D像15和宏/子塊圖像5,進(jìn)行與從編碼控制部3指示的編碼模式7對(duì)應(yīng)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè),生成預(yù)測(cè)參數(shù)18和預(yù)測(cè)圖像 17。
      此處,詳細(xì)說(shuō)明預(yù)測(cè)參數(shù)18。在編碼模式7是幀間預(yù)測(cè)模式的情況下,運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9求出運(yùn)動(dòng)矢量、各運(yùn)動(dòng)矢量所指的參照?qǐng)D像的識(shí)別編號(hào)(參照?qǐng)D像索引)等而作為與該編碼模式7對(duì)應(yīng)的預(yù)測(cè)參數(shù)18。在后面詳細(xì)敘述預(yù)測(cè)參數(shù)18的生成方法。
      減法部12從宏/子塊圖像5減去預(yù)測(cè)圖像11或者預(yù)測(cè)圖像17中的某一方,而得到預(yù)測(cè)差分信號(hào)13。另外,根據(jù)預(yù)測(cè)參數(shù)10所指定的所有內(nèi)部預(yù)測(cè)模式,針對(duì)內(nèi)部預(yù)測(cè)部 8所生成的所有預(yù)測(cè)圖像11,分別生成預(yù)測(cè)差分信號(hào)13。
      由編碼控制部3評(píng)價(jià)根據(jù)預(yù)測(cè)參數(shù)10所指定的所有內(nèi)部預(yù)測(cè)模式分別生成的預(yù)測(cè)差分信號(hào)13,決定包括最佳的內(nèi)部預(yù)測(cè)模式的最佳預(yù)測(cè)參數(shù)10a。作為評(píng)價(jià)方法,例如使用對(duì)預(yù)測(cè)差分信號(hào)13進(jìn)行變換、量化而得到的壓縮數(shù)據(jù)21,計(jì)算后述的編碼開銷J2,選擇使編碼開銷J2成為最小的內(nèi)部預(yù)測(cè)模式。
      編碼控制部3評(píng)價(jià)在內(nèi)部預(yù)測(cè)部8或者運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9中針對(duì)編碼模式7中包含的所有模式分別生成的預(yù)測(cè)差分信號(hào)13,根據(jù)評(píng)價(jià)結(jié)果,從編碼模式7中決定可得到最佳的編碼效率的最佳編碼模式7a。另外,編碼控制部3從預(yù)測(cè)參數(shù)10、18以及壓縮參數(shù)20 中決定與最佳編碼模式7a對(duì)應(yīng)的最佳預(yù)測(cè)參數(shù)10a、18a以及最佳壓縮參數(shù)20a。關(guān)于各個(gè)決定過(guò)程在后面敘述。
      另外,如上所述,在幀內(nèi)預(yù)測(cè)模式的情況下,在預(yù)測(cè)參數(shù)10以及最佳預(yù)測(cè)參數(shù)IOa 中包括內(nèi)部預(yù)測(cè)模式。另一方面,在幀間預(yù)測(cè)模式的情況下,在預(yù)測(cè)參數(shù)18以及最佳預(yù)測(cè)參數(shù)18a中包括運(yùn)動(dòng)矢量、各運(yùn)動(dòng)矢量所指的參照?qǐng)D像的識(shí)別編號(hào)(參照?qǐng)D像索引)等。
      另外,在壓縮參數(shù)20以及最佳壓縮參數(shù)20a中,包括變換塊大小、量化步長(zhǎng) (quantization step size)等。
      該決定過(guò)程的結(jié)果,編碼控制部3將針對(duì)編碼對(duì)象的宏塊或者子塊的最佳編碼模式7a、最佳預(yù)測(cè)參數(shù)10a、18a、最佳壓縮參數(shù)20a輸出到可變長(zhǎng)編碼部23。另外,編碼控制部3將壓縮參數(shù)20中的最佳壓縮參數(shù)20a輸出到變換/量化部19以及逆量化/逆變換部 22。
      變換/量化部19在與編碼模式7中包含的所有模式對(duì)應(yīng)地生成的多個(gè)預(yù)測(cè)差分信號(hào)13中,選擇與根據(jù)編碼控制部3所決定的最佳編碼模式7a及最佳預(yù)測(cè)參數(shù)10a、18a 而生成的預(yù)測(cè)圖像11、17對(duì)應(yīng)的預(yù)測(cè)差分信號(hào)13 (以下,稱為最佳預(yù)測(cè)差分信號(hào)13a),并針對(duì)該最佳預(yù)測(cè)差分信號(hào)13a,根據(jù)由編碼控制部3所決定的最佳壓縮參數(shù)20a的變換塊大小,實(shí)施DCT等變換處理,從而計(jì)算變換系數(shù),并且根據(jù)從編碼控制部3指示的最佳壓縮參數(shù)20a的量化步長(zhǎng)對(duì)該變換系數(shù)進(jìn)行量化,將作為量化后的變換系數(shù)的壓縮數(shù)據(jù)21輸出到逆量化/逆變換部22以及可變長(zhǎng)編碼部23。
      逆量化/逆變換部22使用最佳壓縮參數(shù)20a,對(duì)從變換/量化部19輸入的壓縮數(shù)據(jù)21進(jìn)行逆量化,并實(shí)施逆DCT等逆變換處理,從而生成預(yù)測(cè)差分信號(hào)13a的局部解碼預(yù)測(cè)差分信號(hào)24,并輸出到加法部25。
      加法部25將局部解碼預(yù)測(cè)差分信號(hào)24、與預(yù)測(cè)圖像11或者預(yù)測(cè)圖像17進(jìn)行相加而生成局部解碼圖像信號(hào)26,將該局部解碼圖像信號(hào)26輸出到環(huán)路濾波器部27,并且保存到內(nèi)部預(yù)測(cè)用存儲(chǔ)器28中。該局部解碼圖像信號(hào)26成為幀內(nèi)預(yù)測(cè)用的圖像信號(hào)。
      環(huán)路濾波器部27對(duì)從加法部25輸入的局部解碼圖像信號(hào)26進(jìn)行規(guī)定的濾波處理,并將濾波處理后的局部解碼圖像29保存到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14中。該局部解碼圖像29成為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)用的參照?qǐng)D像15。關(guān)于環(huán)路濾波器部27的濾波處理,既可以按照所輸入的局部解碼圖像信號(hào)26的宏塊單位來(lái)進(jìn)行,也可以在輸入了與I個(gè)畫面量的宏塊相當(dāng)?shù)木植拷獯a圖像信號(hào)26之后匯總與I個(gè)畫面相應(yīng)的量來(lái)進(jìn)行。
      可變長(zhǎng)編碼部23對(duì)從變換/量化部19輸出的壓縮數(shù)據(jù)21、從編碼控制部3輸出的最佳編碼模式7a、最佳預(yù)測(cè)參數(shù)10a、18a、以及最佳壓縮參數(shù)20a進(jìn)行熵編碼,生成表示這些編碼結(jié)果的比特流30。另外,按照與最佳編碼模式7a指示的編碼模式對(duì)應(yīng)的單位,對(duì)最佳預(yù)測(cè)參數(shù)10a、18a和最佳壓縮參數(shù)20a進(jìn)行編碼。
      如上所述,在本實(shí)施方式I的運(yùn)動(dòng)圖像編碼裝置中,運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9以及變換/ 量化部19與編碼控制部3協(xié)作地分別進(jìn)行動(dòng)作,從而決定得到最佳的編碼效率的編碼模式、預(yù)測(cè)參數(shù)、壓縮參數(shù)(即,最佳編碼模式7a、最佳預(yù)測(cè)參數(shù)10a、18a、最佳壓縮參數(shù)20a)。
      此處,關(guān)于由編碼控制部3進(jìn)行的得到最佳的編碼效率的編碼模式、預(yù)測(cè)參數(shù)、壓縮參數(shù)的決定過(guò)程,按照I.預(yù)測(cè)參數(shù)、2.壓縮參數(shù)、3.編碼模式的順序進(jìn)行說(shuō)明。
      I.預(yù)測(cè)參數(shù)的決定過(guò)程
      此處,說(shuō)明在編碼模式7是幀間預(yù)測(cè)模式時(shí)對(duì)包括與該幀間預(yù)測(cè)相關(guān)的運(yùn)動(dòng)矢量、各運(yùn)動(dòng)矢量所指的參照?qǐng)D像的識(shí)別編號(hào)(參照?qǐng)D像索引)等的預(yù)測(cè)參數(shù)18進(jìn)行決定的過(guò)程。
      在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9中,與編碼控制部3協(xié)作地針對(duì)從編碼控制部3向運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9指示的所有編碼模式7 (例如圖2A或者圖2B所示的編碼模式的組)分別決定預(yù)測(cè)參數(shù)18。以下,說(shuō)明其詳細(xì)的過(guò)程。
      圖3是示出運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9的內(nèi)部結(jié)構(gòu)的框圖。圖3所示的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9 包括運(yùn)動(dòng)補(bǔ)償區(qū)域分割部40、運(yùn)動(dòng)檢測(cè)部42、以及插值圖像生成部43。另外,作為輸入數(shù)據(jù),有從編碼控制部3輸入的編碼模式7、從切換部6輸入的宏/子塊圖像5、以及從運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14輸入的參照?qǐng)D像15。
      運(yùn)動(dòng)補(bǔ)償區(qū)域分割部40根據(jù)從編碼控制部3指示的編碼模式7,將從切換部6輸入的宏/子塊圖像5分割為成為運(yùn)動(dòng)補(bǔ)償?shù)膯挝坏膲K,并將該運(yùn)動(dòng)補(bǔ)償區(qū)域塊圖像41輸出到運(yùn)動(dòng)檢測(cè)部42。
      插值圖像生成部43從保存在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14中的I幀以上的參照?qǐng)D像數(shù)據(jù)中,指定預(yù)測(cè)圖像生成中使用的參照?qǐng)D像15,運(yùn)動(dòng)檢測(cè)部42在所指定的參照?qǐng)D像15上的規(guī)定的運(yùn)動(dòng)搜索范圍內(nèi)檢測(cè)運(yùn)動(dòng)矢量44。另外,與MPEG - 4AVC規(guī)格等同樣地,利用虛擬采樣精度的運(yùn)動(dòng)矢量來(lái)進(jìn)行運(yùn)動(dòng)矢量的檢測(cè)。在該檢測(cè)方法中,針對(duì)參照?qǐng)D像具有的像素信息(稱為整數(shù)像素),在整數(shù)像素之間通過(guò)內(nèi)插運(yùn)算來(lái)作出虛擬的采樣(像素),并將其用作預(yù)測(cè)圖像,在MPEG — 4AVC規(guī)格中,能夠生成并利用1/8像素精度的虛擬采樣。另外, 在MPEG - 4AVC規(guī)格中,通過(guò)由在垂直方向或者水平方向上使用了 6個(gè)整數(shù)像素的6抽頭的濾波器進(jìn)行的內(nèi)插運(yùn)算,生成1/2像素精度的虛擬采樣。通過(guò)使用了相鄰的1/2像素或者整數(shù)像素的平均值濾波器的內(nèi)插運(yùn)算,生成1/4像素精度的虛擬采樣。
      在本實(shí)施方式I中的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9中,插值圖像生成部43也生成與從運(yùn)動(dòng)檢測(cè)部42指示的運(yùn)動(dòng)矢量44的精度對(duì)應(yīng)的虛擬像素的預(yù)測(cè)圖像45。以下,示出虛擬像素精度的運(yùn)動(dòng)矢量檢測(cè)過(guò)程的一個(gè)例子。
      運(yùn)動(dòng)矢量檢測(cè)過(guò)程I
      插值圖像生成部43生成與運(yùn)動(dòng)補(bǔ)償區(qū)域塊圖像41的規(guī)定的運(yùn)動(dòng)搜索范圍內(nèi)存在的整數(shù)像素精度的運(yùn)動(dòng)矢量44對(duì)應(yīng)的預(yù)測(cè)圖像45。以整數(shù)像素精度生成的預(yù)測(cè)圖像45 (預(yù)測(cè)圖像17)被輸出到減法部12,通過(guò)減法部12從運(yùn)動(dòng)補(bǔ)償區(qū)域塊圖像41 (宏/子塊圖像5)相減而成為預(yù)測(cè)差分信號(hào)13。編碼控制部3對(duì)預(yù)測(cè)差分信號(hào)13和整數(shù)像素精度的運(yùn)動(dòng)矢量44 (預(yù)測(cè)參數(shù)18)進(jìn)行預(yù)測(cè)效率的評(píng)價(jià)。在預(yù)測(cè)效率的評(píng)價(jià)中,例如通過(guò)下式(I) 計(jì)算預(yù)測(cè)開銷J1,決定在規(guī)定的運(yùn)動(dòng)搜索范圍內(nèi)使預(yù)測(cè)開銷J1成為最小的整數(shù)像素精度的運(yùn)動(dòng)矢量44。
      J1=D1+ λ R1 (I)
      此處,設(shè)使用D1A1作為評(píng)價(jià)值。D1是預(yù)測(cè)差分信號(hào)的宏塊內(nèi)或者子塊內(nèi)的絕對(duì)值和(SADXR1是運(yùn)動(dòng)矢量以及該運(yùn)動(dòng)矢量所指的參照?qǐng)D像的識(shí)別編號(hào)的推測(cè)代碼量,λ是正數(shù)。
      另外,在求評(píng)價(jià)值R1時(shí),關(guān)于運(yùn)動(dòng)矢量的代碼量,使用附近的運(yùn)動(dòng)矢量的值來(lái)預(yù)測(cè)圖2Α或者圖2Β的各模式下的運(yùn)動(dòng)矢量的值,根據(jù)概率分布對(duì)預(yù)測(cè)差分值進(jìn)行熵編碼而求出,或者進(jìn)行與其相當(dāng)?shù)拇a量推測(cè)來(lái)求出。
      圖4是說(shuō)明圖2Β所示的各編碼模式7的運(yùn)動(dòng)矢量的預(yù)測(cè)值(以下,稱為預(yù)測(cè)矢量) 的決定方法的圖。在圖4中,在mb_mode0、sub_mb_model等的矩形塊中,使用位于其左邊 (位置A)、上(位置B)、右上(位置C)的分別已編碼的運(yùn)動(dòng)矢量MVa、MVb、MVc,根據(jù)下式(2) 來(lái)計(jì)算該矩形塊的預(yù)測(cè)矢量PMV。median ()對(duì)應(yīng)于中值濾波處理,是輸出運(yùn)動(dòng)矢量MVa、 MVb、MVc的中值的函數(shù)。
      PMV=median (MVa、MVb、MVc) (2)
      另一方面,在具有對(duì)角形狀的對(duì)角塊mb_model、sub_mb_mode2、mb_mode2、sub_mb_ mode3、mb_mode3、sub_mb_mode4> mb_mode4> sub_mb_mode5 的情況下,為了 能夠應(yīng)用與矩形塊同樣的處理,而根據(jù)對(duì)角形狀來(lái)變更取中值的位置A、B、C的位置。由此,無(wú)需變更計(jì)算預(yù)測(cè)矢量PMV的方法自身,而能夠根據(jù)各運(yùn)動(dòng)矢量分配區(qū)域的形狀來(lái)進(jìn)行計(jì)算,能夠?qū)⒃u(píng)價(jià)值札的開銷抑制得較小。
      運(yùn)動(dòng)矢量檢測(cè)過(guò)程II
      插值圖像生成部43針對(duì)在上述“運(yùn)動(dòng)矢量檢測(cè)過(guò)程I”中決定的整數(shù)像素精度的運(yùn)動(dòng)矢量的周圍存在的I個(gè)以上的1/2像素精度的運(yùn)動(dòng)矢量44,生成預(yù)測(cè)圖像45。以下,與上述“運(yùn)動(dòng)矢量檢測(cè)過(guò)程I”同樣地,通過(guò)減法部12從運(yùn)動(dòng)補(bǔ)償區(qū)域塊圖像41 (宏/子塊圖像5)減去以1/2像素精度生成的預(yù)測(cè)圖像45 (預(yù)測(cè)圖像17),而得到預(yù)測(cè)差分信號(hào)13。接下來(lái),編碼控制部3針對(duì)該預(yù)測(cè)差分信號(hào)13和1/2像素精度的運(yùn)動(dòng)矢量44 (預(yù)測(cè)參數(shù)18) 進(jìn)行預(yù)測(cè)效率的評(píng)價(jià),從在整數(shù)像素精度的運(yùn)動(dòng)矢量的周圍存在的I個(gè)以上的1/2像素精度的運(yùn)動(dòng)矢量中,決定使預(yù)測(cè)開銷J1成為最小的1/2像素精度的運(yùn)動(dòng)矢量44。
      運(yùn)動(dòng)矢量檢測(cè)過(guò) 程III
      編碼控制部3和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9針對(duì)1/4像素精度的運(yùn)動(dòng)矢量也同樣地,從在上述“運(yùn)動(dòng)矢量檢測(cè)過(guò)程II”中決定的1/2像素精度的運(yùn)動(dòng)矢量的周圍存在的I個(gè)以上的 1/4像素精度的運(yùn)動(dòng)矢量中,決定使預(yù)測(cè)開銷J1成為最小的1/4像素精度的運(yùn)動(dòng)矢量44。
      運(yùn)動(dòng)矢量檢測(cè)過(guò)程IV
      以下同樣地,編碼控制部3和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9直至成為規(guī)定的精度為止進(jìn)行虛擬像素精度的運(yùn)動(dòng)矢量的檢測(cè)。
      另外,在本實(shí)施方式中,直至成為規(guī)定的精度為止進(jìn)行虛擬像素精度的運(yùn)動(dòng)矢量的檢測(cè),但也可以例如預(yù)先決定針對(duì)預(yù)測(cè)開銷的閾值,在預(yù)測(cè)開銷J1小于規(guī)定的閾值的情況下,在成為規(guī)定的精度之前,中止虛擬像素精度的運(yùn)動(dòng)矢量的檢測(cè)。
      另外,關(guān)于運(yùn)動(dòng)矢量,也可以參照由參照幀大小規(guī)定的幀以外的像素。在該情況下,需要生成幀外的像素。作為幀外的像素的生成方法之一,有用畫面端的像素來(lái)填補(bǔ)等的方法。
      另外,在輸入影像信號(hào)I的各幀的幀大小并非是宏塊大小的整數(shù)倍時(shí)代替輸入影像信號(hào)I的各幀而輸入了擴(kuò)展幀的情況下,擴(kuò)展為宏塊大小的整數(shù)倍的大小(擴(kuò)展幀的大小)成為參照幀的幀大小。另一方面,在不參照擴(kuò)展區(qū)域的局部解碼部分而僅將針對(duì)原來(lái)幀的局部解碼部分作為幀內(nèi)的像素而進(jìn)行參照的情況下,參照幀的幀大小成為原來(lái)的輸入影像信號(hào)的幀大小。
      這樣,運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9針對(duì)在宏/子塊圖像5內(nèi)以成為編碼模式7表示的運(yùn)動(dòng)補(bǔ)償?shù)膯挝坏膲K單位進(jìn)行分割而得到的運(yùn)動(dòng)補(bǔ)償區(qū)域塊圖像41,輸出分別決定的規(guī)定精度的虛擬像素精度的運(yùn)動(dòng)矢量和該運(yùn)動(dòng)矢量所指的參照?qǐng)D像的識(shí)別編號(hào)而作為預(yù)測(cè)參數(shù)18。 另外,運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9將利用該預(yù)測(cè)參數(shù)18生成的預(yù)測(cè)圖像45 (預(yù)測(cè)圖像17)輸出到減法部12,通過(guò)減法部12從宏/子塊圖像5相減而得到預(yù)測(cè)差分信號(hào)13。從減法部12輸出的預(yù)測(cè)差分信號(hào)13被輸出到變換/量化部19。
      2.壓縮參數(shù)的決定過(guò)程
      此處,說(shuō)明決定對(duì)根據(jù)在上述“I.預(yù)測(cè)參數(shù)的決定過(guò)程”中針對(duì)每個(gè)編碼模式7決定的預(yù)測(cè)參數(shù)18而生成的預(yù)測(cè)差分信號(hào)13進(jìn)行變換、量化處理時(shí)使用的壓縮參數(shù)20 (變換塊大小)的過(guò)程。
      圖5是示出與圖2B所示的編碼模式7對(duì)應(yīng)的變換塊大小的適應(yīng)化的一個(gè)例子的圖。在圖5中,例如,作為MXL像素塊使用了 32X32像素塊。在編碼模式7指定的模式是 mb_mode(T6時(shí),關(guān)于變換塊大小,能夠適應(yīng)性地選擇16 X 16或者8 X 8像素中的某一方。在編碼模式7是mb_m0de7時(shí),關(guān)于變換塊大小,能夠針對(duì)將宏塊進(jìn)行4分割而得到的16 X 16 像素子塊的每一個(gè),從8X8或者4X4像素中適應(yīng)性地進(jìn)行選擇。
      另外,關(guān)于能夠針對(duì)各個(gè)編碼模式的每一個(gè)進(jìn)行選擇的變換塊大小的組,能夠從通過(guò)編碼模式而均等分割的子塊大小以下的任意的矩形塊大小中進(jìn)行定義。
      圖6是示出與圖2B所示的編碼模式7對(duì)應(yīng)的變換塊大小的適應(yīng)化的另一例子的圖。在圖6的例子中,在編碼模式7指定的模式是上述mb_mode0、5、6時(shí),作為可選擇的變換塊大小,除了 16X16、8X8像素以外,還能夠選擇與作為運(yùn)動(dòng)補(bǔ)償?shù)膯挝坏淖訅K的形狀對(duì)應(yīng)的變換塊大小。在mb_mode0的情況下,能夠從16 X 16、8 X 8、32 X 32像素中適應(yīng)性地進(jìn)行選擇。在mb_mode5的情況下,能夠從16 X 16、8 X 8、16 X 32像素中適應(yīng)性地進(jìn)行選擇。 在mb_mode6的情況下,能夠從16X 16、8X8、32X 16像素中適應(yīng)性地進(jìn)行選擇。另外,雖然省略了圖示,但也可以進(jìn)行如下那樣的適應(yīng)化在mb_m0de7的情況下,能夠從16X16、 8X8U6X32像素中適應(yīng)性地進(jìn)行選擇,在mbjnodell的情況下,針對(duì)不是矩形的區(qū)域從 16X16,8X8像素中進(jìn)行選擇,針對(duì)矩形的區(qū)域從8X8、4X4像素中進(jìn)行選擇。
      編碼控制部3將與圖5以及圖6中例示的編碼模式7對(duì)應(yīng)的變換塊大小的組作為壓縮參數(shù)20。
      另外,在圖5以及圖6的例子中,根據(jù)宏塊的編碼模式7,預(yù)先決定可選擇的變換塊大小的組,使得能夠按照宏塊單位或者子塊單位適應(yīng)性地進(jìn)行選擇,但也可以同樣地根據(jù)將宏塊進(jìn)行分割而得到的子塊的編碼模式7 (圖2B的sub_mb_moder8等),預(yù)先決定可選擇的變換塊大小的組,使得能夠按照子塊單位或者將子塊進(jìn)一步進(jìn)行分割而得到的塊單位適應(yīng)性地進(jìn)行選擇。
      同樣地,編碼控制部3在使用圖2A所示的編碼模式7的情況下,也可以預(yù)先決定與該編碼模式7對(duì)應(yīng)的變換塊大小的組,使得能夠適應(yīng)性地進(jìn)行選擇。
      變換/量化部19與編碼控制部3進(jìn)行協(xié)作,按照由宏塊大小4指定的宏塊單位、 或者按照將該宏塊單位根據(jù)編碼模式7進(jìn)一步進(jìn)行分割而得到的子塊單位,從變換塊大小中決定最佳的變換塊大小。以下,說(shuō)明其詳細(xì)的過(guò)程。
      圖7是示出變換/量化部19的內(nèi)部結(jié)構(gòu)的框圖。圖7所示的變換/量化部19包括變換塊大小分割部50、變換部52、以及量化部54。另外,作為輸入數(shù)據(jù),有從編碼控制部 3輸入的壓縮參數(shù)20 (變換塊大小以及量化步長(zhǎng)等)、和從編碼控制部3輸入的預(yù)測(cè)差分信號(hào)13。
      變換塊大小分割部50將作為決定變換塊大小的對(duì)象的每個(gè)宏塊或者每個(gè)子塊的預(yù)測(cè)差分信號(hào)13,變換為與壓縮參數(shù)20的變換塊大小對(duì)應(yīng)的塊,并作為變換對(duì)象塊51而輸出到變換部52。
      另外,在通過(guò)壓縮參數(shù)20針對(duì)I個(gè)宏塊或者子塊選擇指定了多個(gè)變換塊大小的情況下,將各變換塊大小的變換對(duì)象塊51依次輸出到變換部52。
      變換部52針對(duì)所輸入的變換對(duì)象塊51,依照DCT、用整數(shù)對(duì)DCT的變換系數(shù)進(jìn)行了近似的整數(shù)變換、阿達(dá)瑪變換(Hadamard transform)等變換方式,實(shí)施變換處理,并將生成的變換系數(shù)53輸出到量化部54。
      量化部54依照從編碼控制部3指示的壓縮參數(shù)20的量化步長(zhǎng),對(duì)輸入的變換系數(shù)53進(jìn)行量化,將作為量化后的變換系數(shù)的壓縮數(shù)據(jù)21輸出到逆量化/逆變換部22以及編碼控制部3。
      另外,變換部52以及量化部54在通過(guò)壓縮參數(shù)20針對(duì)I個(gè)宏塊或者子塊選擇指定了多個(gè)變換塊大小的情況下,對(duì)這些所有的變換塊大小進(jìn)行上述變換、量化處理,輸出各個(gè)壓縮數(shù)據(jù)21。
      從量化部54輸出的壓縮數(shù)據(jù)21被輸入到編碼控制部3,用于針對(duì)壓縮參數(shù)20的變換塊大小的編碼效率的評(píng)價(jià)。編碼控制部3關(guān)于編碼模式7中包含的各個(gè)編碼模式,使用針對(duì)可選擇的所有變換塊大小的每一個(gè)而得到的壓縮數(shù)據(jù)21,例如根據(jù)下式(3)計(jì)算編碼開銷J2,選擇使編碼開銷J2成為最小的變換塊大小。
      J2=D2+ λ R2 (3)
      此處,設(shè)使用D2、R2作為評(píng)價(jià)值。作為D2,使用局部解碼圖像信號(hào)26與宏/子塊圖像5之間的平方失真和等,其中,該局部解碼圖像信號(hào)26是通過(guò)如下方式得到的,即,將針對(duì)變換塊大小得到的壓縮數(shù)據(jù)21輸入到逆量化/逆變換部22,并對(duì)針對(duì)壓縮數(shù)據(jù)21進(jìn)行逆變換、逆量化處理而得到的局部解碼預(yù)測(cè)差分信號(hào)24相加預(yù)測(cè)圖像17,從而得到局部解碼圖像信號(hào)26。作為R2,使用通過(guò)可變長(zhǎng)編碼部23對(duì)針對(duì)變換塊大小得到的壓縮數(shù)據(jù)21、 和針對(duì)與壓縮數(shù)據(jù)21相關(guān)的編碼模式7以及預(yù)測(cè)參數(shù)10、18實(shí)際上進(jìn)行編碼而得到的代碼量(或者推測(cè)代碼量)。
      編碼控制部3在通過(guò)后述“3.編碼模式的決定過(guò)程”決定了最佳編碼模式7a之后,選擇與所決定的最佳編碼模式7a對(duì)應(yīng)的變換塊大小并使其包含于最佳壓縮參數(shù)20a, 輸出到可變長(zhǎng)編碼部23??勺冮L(zhǎng)編碼部23在對(duì)該最佳壓縮參數(shù)20a進(jìn)行了熵編碼之后復(fù)用到比特流30。
      此處,根據(jù)宏塊或者子塊的最佳編碼模式7a從預(yù)先定義的變換塊大小組(圖5以及圖6中例示)中選擇變換塊大小,所以也可以針對(duì)每個(gè)變換塊大小組,對(duì)該組中包含的變換塊大小分配ID等識(shí)別信息,將該識(shí)別信息作為變換塊大小的信息進(jìn)行熵編碼并復(fù)用到比特流30。在該情況下,在解碼裝置側(cè)也設(shè)定變換塊大小組的識(shí)別信息。但是,在變換塊大小組中包含的變換塊大小是I個(gè)的情況下,在解碼裝置側(cè)能夠從組中自動(dòng)地決定變換塊大小,所以無(wú)需在編碼裝置側(cè)將變換塊大小的識(shí)別信息復(fù)用到比特流30。
      3.編碼模式的決定過(guò)程
      如果通過(guò)上述“I.預(yù)測(cè)參數(shù)的決定過(guò)程”以及“2.壓縮參數(shù)的決定過(guò)程”,針對(duì)編碼控制部3所指示的所有編碼模式7分別決定了預(yù)測(cè)參數(shù)10、18以及壓縮參數(shù)20,則編碼控制部3利用對(duì)使用各個(gè)編碼模式7和此時(shí)的預(yù)測(cè)參數(shù)10、18以及壓縮參數(shù)20得到的預(yù)測(cè)差分信號(hào)13進(jìn)一步進(jìn)行變換、量化而得到的壓縮數(shù)據(jù)21,根據(jù)上式(3)求出編碼開銷J2 變小的編碼模式7,并將該編碼模式7選擇為該宏塊的最佳編碼模式7a。
      另外,也可以從對(duì)圖2A或者圖2B所示的編碼模式作為宏塊或者子塊的模式而加上跳躍模式而得到的所有編碼模式中,決定最佳編碼模式7a。跳躍模式是指,將在編碼裝置側(cè)使用相鄰的宏塊或者子塊的運(yùn)動(dòng)矢量進(jìn)行了運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)圖像作為局部解碼圖像信號(hào)的模式,無(wú)需計(jì)算編碼模式以外的預(yù)測(cè)參數(shù)、壓縮參數(shù)而復(fù)用到比特流,所以能夠抑制代碼量而進(jìn)行編碼。在解碼裝置側(cè),輸出通過(guò)與編碼裝置側(cè)同樣的過(guò)程使用相鄰的宏塊或者子塊的運(yùn)動(dòng)矢量進(jìn)行了運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)圖像而作為解碼圖像信號(hào)。
      另外,在輸入影像信號(hào)I的各幀的幀大小不是宏塊大小的整數(shù)倍時(shí)代替輸入影像信號(hào)I的各幀而輸入了擴(kuò)展幀的情況下,也可以對(duì)包括擴(kuò)展區(qū)域的宏塊或者子塊進(jìn)行控制使得僅選擇跳躍模式,從而以抑制擴(kuò)展區(qū)域中耗費(fèi)的代碼量的方式?jīng)Q定編碼模式。
      編碼控制部3將通過(guò)以上的“I.預(yù)測(cè)參數(shù)的決定過(guò)程”、“2.壓縮參數(shù)的決定過(guò)程”、“3.編碼模式的決定過(guò)程”決定的得到最佳的編碼效率的最佳編碼模式7a輸出到可變長(zhǎng)編碼部23,并且將與該最佳編碼模式7a對(duì)應(yīng)的預(yù)測(cè)參數(shù)10、18選擇為最佳預(yù)測(cè)參數(shù) 10a、18a,同樣地將與最佳編碼模式7a對(duì)應(yīng)的壓縮參數(shù)20選擇為最佳壓縮參數(shù)20a,并輸出到可變長(zhǎng)編碼部23??勺冮L(zhǎng)編碼部23對(duì)最佳編碼模式7a、最佳預(yù)測(cè)參數(shù)10a、18a以及最佳壓縮參數(shù)20a進(jìn)行熵編碼,并復(fù)用到比特流30。
      另外,從基于所決定的最佳編碼模式7a、最佳預(yù)測(cè)參數(shù)10a、18a以及最佳壓縮參數(shù)20a的預(yù)測(cè)圖像11、17得到的最佳預(yù)測(cè)差分信號(hào)13a如上所述通過(guò)變換/量化部19被變換、量化而成為壓縮數(shù)據(jù)21,該壓縮數(shù)據(jù)21通過(guò)可變長(zhǎng)編碼部23而被熵編碼,并被復(fù)用到比特流30。另外,該壓縮數(shù)據(jù)21經(jīng)由逆量化/逆變換部22、加法部25而成為局部解碼圖像信號(hào)26,輸入到環(huán)路濾波器部27。
      接下來(lái),說(shuō)明本實(shí)施方式I的運(yùn)動(dòng)圖像解碼裝置。
      圖8是示出本發(fā)明的實(shí)施方式I的運(yùn)動(dòng)圖像解碼裝置的結(jié)構(gòu)的框圖。圖8所示的運(yùn)動(dòng)圖像解碼裝置包括可變長(zhǎng)解碼部61,從比特流60,按照宏塊單位對(duì)最佳編碼模式62 進(jìn)行熵解碼,并且按照根據(jù)該解碼的最佳編碼模式62分割的宏塊或者子塊單位,對(duì)最佳預(yù)測(cè)參數(shù)63、壓縮數(shù)據(jù)64、最佳壓縮參數(shù)65進(jìn)行熵解碼;內(nèi)部預(yù)測(cè)部69,如果輸入了最佳預(yù)測(cè)參數(shù)63,則使用該最佳預(yù)測(cè)參數(shù)63中包含的內(nèi)部預(yù)測(cè)模式和內(nèi)部預(yù)測(cè)用存儲(chǔ)器77中保存的解碼圖像74a,生成預(yù)測(cè)圖像71 ;運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70,如果輸入了最佳預(yù)測(cè)參數(shù)63,則使用該最佳預(yù)測(cè)參數(shù)63中包含的運(yùn)動(dòng)矢量、和通過(guò)該最佳預(yù)測(cè)參數(shù)63中包含的參照?qǐng)D像索引而確定的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器75內(nèi)的參照?qǐng)D像76,進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)而生成預(yù)測(cè)圖像72 ;切換部68,根據(jù)解碼出的最佳編 碼模式62,將可變長(zhǎng)解碼部61解碼出的最佳預(yù)測(cè)參數(shù)63輸入到內(nèi)部預(yù)測(cè)部69或者運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70中的某一方;逆量化/逆變換部66, 使用最佳壓縮參數(shù)65,對(duì)壓縮數(shù)據(jù)64進(jìn)行逆量化以及逆變換處理,生成預(yù)測(cè)差分信號(hào)解碼值67 ;加法部73,對(duì)預(yù)測(cè)差分信號(hào)解碼值67相加內(nèi)部預(yù)測(cè)部69或者運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70中的某一方輸出的預(yù)測(cè)圖像71、72而生成解碼圖像74 ;內(nèi)部預(yù)測(cè)用存儲(chǔ)器77,保存解碼圖像 74 ;環(huán)路濾波器部78,對(duì)解碼圖像74進(jìn)行濾波處理而生成再生圖像79 ;以及運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器75,保存再生圖像79。
      在可變長(zhǎng)解碼部61中,如果本實(shí)施方式I的運(yùn)動(dòng)圖像解碼裝置接收到比特流60, 則對(duì)該比特流60進(jìn)行熵解碼處理,按照由I幀以上的圖片構(gòu)成的序列單位或者圖片單位, 對(duì)宏塊大小以及幀大小進(jìn)行解碼。另外,在宏塊大小沒(méi)有直接復(fù)用到比特流而是通過(guò)分布圖等規(guī)定了的情況下,根據(jù)按照序列單位從比特流解碼的分布圖的識(shí)別信息,決定宏塊大小。根據(jù)各幀的解碼宏塊大小以及解碼幀大小,決定各幀中包含的宏塊數(shù),對(duì)幀中包含的各宏塊的最佳編碼模式62、最佳預(yù)測(cè)參數(shù)63、壓縮數(shù)據(jù)64 (S卩,量化變換系數(shù)數(shù)據(jù))、最佳壓縮參數(shù)65 (變換塊大小信息、量化步長(zhǎng))等進(jìn)行解碼。
      另外,在解碼裝置側(cè)解碼出的最佳編碼模式62、最佳預(yù)測(cè)參數(shù)63、壓縮數(shù)據(jù)64、最佳壓縮參數(shù)65對(duì)應(yīng)于在編碼裝置側(cè)編碼了的最佳編碼模式7a、最佳預(yù)測(cè)參數(shù)10a、18a、壓縮數(shù)據(jù)21、最佳壓縮參數(shù)20a。
      此處,最佳壓縮參數(shù)65的變換塊大小信息是確定從在編碼裝置側(cè)根據(jù)編碼模式7 按照宏塊或者子塊單位預(yù)先定義的變換塊大小組中選擇出的變換塊大小的識(shí)別信息,在解碼裝置側(cè)根據(jù)最佳編碼模式62和最佳壓縮參數(shù)65的變換塊大小信息,來(lái)確定宏塊或者子塊的變換塊大小。
      逆量化/逆變換部66使用從可變長(zhǎng)解碼部61輸入的壓縮數(shù)據(jù)64以及最佳壓縮參數(shù)65,按照根據(jù)變換塊大小信息確定的塊單位進(jìn)行逆量化、逆變換處理,計(jì)算預(yù)測(cè)差分信號(hào)解碼值67。
      另外,可變長(zhǎng)解碼部61在進(jìn)行運(yùn)動(dòng)矢量的解碼時(shí),參照已經(jīng)解碼的周邊塊的運(yùn)動(dòng)矢量,通過(guò)圖4所示的處理來(lái)決定預(yù)測(cè)矢量,并相加從比特流60解碼出的預(yù)測(cè)差分值,從而得到運(yùn)動(dòng)矢量的解碼值??勺冮L(zhǎng)解碼部61使該運(yùn)動(dòng)矢量的解碼值包含在最佳預(yù)測(cè)參數(shù)63 中而輸出到切換部68。
      切換部68是根據(jù)最佳編碼模式62來(lái)切換最佳預(yù)測(cè)參數(shù)63的輸入目的地的開關(guān)。 該切換部68在從可變長(zhǎng)解碼部61輸入的最佳編碼模式62表示幀內(nèi)預(yù)測(cè)模式的情況下,同樣地將從可變長(zhǎng)解碼部61輸入的最佳預(yù)測(cè)參數(shù)63 (內(nèi)部預(yù)測(cè)模式)輸出到內(nèi)部預(yù)測(cè)部69, 在最佳編碼模式62表示幀間預(yù)測(cè)模式的情況下,將最佳預(yù)測(cè)參數(shù)63 (運(yùn)動(dòng)矢量、各運(yùn)動(dòng)矢量所指的參照?qǐng)D像的識(shí)別編號(hào)(參照?qǐng)D像索引)等)輸出到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70。
      內(nèi)部預(yù)測(cè)部69參照內(nèi)部預(yù)測(cè)用存儲(chǔ)器77中保存的幀內(nèi)的解碼圖像(幀內(nèi)的已解碼圖像信號(hào))74a,生成與由最佳預(yù)測(cè)參數(shù)63指示的內(nèi)部預(yù)測(cè)模式對(duì)應(yīng)的預(yù)測(cè)圖像71并輸出。
      另外,內(nèi)部預(yù)測(cè)部69的預(yù)測(cè)圖像71的生成方法與編碼裝置側(cè)的內(nèi)部預(yù)測(cè)部8的動(dòng)作相同,但相對(duì)于內(nèi)部預(yù)測(cè)部8生成與由編碼模式7指示的所有內(nèi)部預(yù)測(cè)模式對(duì)應(yīng)的預(yù)測(cè)圖像11,不同點(diǎn)在于該內(nèi)部預(yù)測(cè)部69僅生成與由最佳編碼模式62指示的內(nèi)部預(yù)測(cè)模式對(duì)應(yīng)的預(yù)測(cè)圖像71。
      運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70基于由所輸入的最佳預(yù)測(cè)參數(shù)63指示的運(yùn)動(dòng)矢量、參照?qǐng)D像索引等,從保存在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器75中的I幀以上的參照?qǐng)D像76生成預(yù)測(cè)圖像72 并輸出。
      另外,運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70的預(yù)測(cè)圖像72的生成方法是在編碼裝置側(cè)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9的動(dòng)作中去除了從多個(gè)參照?qǐng)D像檢索運(yùn)動(dòng)矢量的處理(相當(dāng)于圖3所示的運(yùn)動(dòng)檢測(cè)部42以及插值圖像生成部43的動(dòng)作)的方法,僅進(jìn)行依照從可變長(zhǎng)解碼部61提供的最佳預(yù)測(cè)參數(shù)63來(lái)生成預(yù)測(cè)圖像72的處理。運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70與編碼裝置同樣地,在參照由參照幀大小規(guī)定運(yùn)動(dòng)矢量的幀以外的像素的情況下,通過(guò)用畫面端的像素來(lái)填補(bǔ)幀外的像素等的方法,生成預(yù)測(cè)圖像72。另外,關(guān)于參照幀大小,有通過(guò)將解碼幀大小擴(kuò)展至成為解碼宏塊大小的整數(shù)倍為止的大小來(lái)規(guī)定的情況、和通過(guò)解碼幀大小來(lái)規(guī)定的情況,通過(guò)與編碼裝置同樣的過(guò)程來(lái)決定參照幀大小。
      加法部73將預(yù)測(cè)圖像71或者預(yù)測(cè)圖像72中的某一方、與從逆量化/逆變換部66 輸出的預(yù)測(cè)差分信號(hào)解碼值67進(jìn)行相加而生成解碼圖像74。
      關(guān)于該解碼圖像74,為了用作以后的用于生成宏塊的內(nèi)部預(yù)測(cè)圖像的參照?qǐng)D像 (解碼圖像74a),而保存到內(nèi)部預(yù)測(cè)用存儲(chǔ)器77中,并且輸入到環(huán)路濾波器部78。
      環(huán)路濾波器部78進(jìn)行與編碼裝置側(cè)的環(huán)路濾波器部27相同的動(dòng)作,生成再生圖像79,并從該運(yùn)動(dòng)圖像解碼裝置輸出。另外,關(guān)于該再生圖像79,為了用作以后的用于生成預(yù)測(cè)圖像的參照?qǐng)D像76,而保存到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器75中。另外,對(duì)幀內(nèi)的所有宏塊進(jìn)行解碼之后得到的再生圖像的大小是宏塊大小的整數(shù)倍的大小。在再生圖像的大小大于與輸入到編碼裝置的影像信號(hào)的各幀的幀大小對(duì)應(yīng)的解碼幀大小的情況下,在再生圖像中,在水平方向或者垂直方向上包含擴(kuò)展區(qū)域。在該情況下,從解碼裝置輸出從再生圖像去除擴(kuò)展區(qū)域部分的解碼圖像而得到的解碼圖像。
      另外,在通過(guò)解碼幀大小來(lái)規(guī)定參照幀大小的情況下,在以后的預(yù)測(cè)圖像生成中不參照運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器75中保存的再生圖像的擴(kuò)展區(qū)域部分的解碼圖像。因此,也可以將從再生圖像去除擴(kuò)展區(qū)域部分的解碼圖像而得到的解碼圖像保存到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器75中。
      通過(guò)以上,根據(jù)實(shí)施方式I的運(yùn)動(dòng)圖像編碼裝置,針對(duì)根據(jù)宏塊的編碼模式7分割的宏/子塊圖像5,根據(jù)宏塊或者子塊的大小來(lái)預(yù)先決定包括多個(gè)變換塊大小的變換塊的組,編碼控制部3從變換塊大小的組中,使編碼效率成為最佳的I個(gè)變換塊大小包含于最佳壓縮參數(shù)20a中而向變換/量化部19進(jìn)行指示,變換/量化部19將最佳預(yù)測(cè)差分信號(hào)13a 分割為最佳壓縮參數(shù)20a中包含的變換塊大小的塊而進(jìn)行變換以及量化處理,生成壓縮數(shù)據(jù)21,所以相比于變換塊大小的組不依賴于宏塊或者子塊的大小而固定的以往的方法,能夠利用同等的代碼量來(lái)提高編碼影像的質(zhì)量。
      另外,可變長(zhǎng)編碼部23將從變換塊大小的組中根據(jù)編碼模式7而適應(yīng)性地選擇出的變換塊大小復(fù)用到比特流30中,所以與此對(duì)應(yīng)地,使實(shí)施方式I的運(yùn)動(dòng)圖像解碼裝置構(gòu)成為如下可變長(zhǎng)解碼部61按照宏塊或者子塊單位從比特流60解碼出最佳壓縮參數(shù)65, 逆量化/逆變換部66根據(jù)該最佳壓縮參數(shù)65中包含的變換塊大小信息來(lái)決定變換塊大小,按照該變換塊大小的塊單位對(duì)壓縮數(shù)據(jù)64進(jìn)行逆變換以及逆量化處理。因此,運(yùn)動(dòng)圖像解碼裝置能夠從與運(yùn)動(dòng)圖像編碼裝置同樣地定義的變換塊大小的組中選擇在編碼裝置側(cè)使用的變換塊大小而對(duì)壓縮數(shù)據(jù)進(jìn)行解碼,所以能夠?qū)τ蓪?shí)施方式I的運(yùn)動(dòng)圖像編碼裝置編碼了的比特流正確地進(jìn)行解碼。
      實(shí)施方式2.
      在本實(shí)施方式2中,說(shuō)明與上述實(shí)施方式I有關(guān)的運(yùn)動(dòng)圖像編碼裝置的可變長(zhǎng)編碼部23的變形例、和同樣地與上述實(shí)施方式I有關(guān)的運(yùn)動(dòng)圖像解碼裝置的可變長(zhǎng)解碼部61 的變形例。
      首先,說(shuō)明本實(shí)施方式2的運(yùn)動(dòng)圖像編碼裝置的可變長(zhǎng)編碼部23。
      圖9是示出本發(fā)明的實(shí)施方式2的運(yùn)動(dòng)圖像編碼裝置的可變長(zhǎng)編碼部23的內(nèi)部結(jié)構(gòu)的框圖。另外,在圖9中,對(duì)與圖I相同或者相當(dāng)?shù)牟糠指郊油环?hào)而省略說(shuō)明。另外,本實(shí)施方式2的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)與上述實(shí)施方式I相同,除了可變長(zhǎng)編碼部23 的各結(jié)構(gòu)要素的動(dòng)作也與上述實(shí)施方式I相同,所以援用圖f圖8。另外,為便于說(shuō)明,在本實(shí)施方式2中,設(shè)為以使用圖2A所示的編碼模式的組為前提的裝置結(jié)構(gòu)以及處理方法, 但當(dāng)然還能夠應(yīng)用于以使用圖2B所示的編碼模式的組為前提的裝置結(jié)構(gòu)以及處理方法。
      圖9所示的可變長(zhǎng)編碼部23包括2值化表格存儲(chǔ)器105,保存對(duì)表示編碼模式7 (或者最佳預(yù)測(cè)參數(shù)10a、18a、最佳壓縮參數(shù)20a)的多值信號(hào)的索引值與2值信號(hào)的對(duì)應(yīng)關(guān)系進(jìn)行了指定的2值化表格;2值化部92,使用該2值化表格,將編碼控制部3所選擇的多值信號(hào)的最佳編碼模式7a (或者最佳預(yù)測(cè)參數(shù)10a、18a、最佳壓縮參數(shù)20a)的多值信號(hào)的索引值變換為2值信號(hào)103 ;算術(shù)編碼處理運(yùn)算部104,參照上下文生成部99生成的上下文識(shí)別信息102、上下文信息存儲(chǔ)器96、概率表格存儲(chǔ)器97以及狀態(tài)變化表格存儲(chǔ)器98,對(duì)由 2值化部92所變換的2值信號(hào)103進(jìn)行算術(shù)編碼而輸出編碼比特列111,并將該編碼比特列111復(fù)用到比特流30 ;頻度信息生成部93,對(duì)最佳編碼模式7a (或者最佳預(yù)測(cè)參數(shù)10a、 18a、最佳壓縮參數(shù)20a)的發(fā)生頻度進(jìn)行計(jì)數(shù)而生成頻度信息94 ;以及2值化表格更新部 95,根據(jù)頻度信息94,來(lái)更新2值化表格存儲(chǔ)器105的2值化表格的多值信號(hào)與2值信號(hào)的對(duì)應(yīng)關(guān)系。17
      以下,作為被熵編碼的參數(shù),以從編碼控制部3輸出的宏塊的最佳編碼模式7a為例子,說(shuō)明可變長(zhǎng)編碼部23的可變長(zhǎng)編碼過(guò)程。同樣地,關(guān)于作為編碼對(duì)象的參數(shù)的最佳預(yù)測(cè)參數(shù)10a、18a、最佳壓縮參數(shù)20a,通過(guò)與最佳編碼模式7a同樣的過(guò)程進(jìn)行可變長(zhǎng)編碼即可,所以省略說(shuō)明。
      另外,本實(shí)施方式2的編碼控制部3輸出上下文信息初始化標(biāo)志91、類別信號(hào) 100、周邊塊信息101、2值化表格更新標(biāo)志113。在后面詳細(xì)敘述各信息。
      初始化部90根據(jù)從編碼控制部3指示的上下文信息初始化標(biāo)志91,進(jìn)行上下文信息存儲(chǔ)器96中保存的上下文信息106的初始化而設(shè)為初始狀態(tài)。在后面詳細(xì)敘述由初始化部90執(zhí)行的初始化處理。
      2值化部92參照2值化表格存儲(chǔ)器105中保存的2值化表格,將從編碼控制部3 輸入的表示最佳編碼模式7A的種類的多值信號(hào)的索引值變換為2值信號(hào)103,并輸出到算術(shù)編碼處理運(yùn)算部104。
      圖10是示出2值化表格存儲(chǔ)器105保持的2值化表格的一個(gè)例子的圖。圖10所示的“編碼模式”是對(duì)圖2A所示的編碼模式(mb_m0de(T3)追加了跳躍模式(mb_skip :在解碼裝置側(cè)將在編碼裝置側(cè)使用相鄰的宏塊的運(yùn)動(dòng)矢量進(jìn)行了運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)圖像用于解碼圖像的模式)的5種編碼模式7,保存了與各編碼模式對(duì)應(yīng)的“索引”值。另外,這些編碼模式的索引值分別以廣3比特被2值化,并作為“2值信號(hào)”而被保存。此處,將2值信號(hào)的各比特稱為“bin”編號(hào)。
      另外,雖然在后面詳細(xì)敘述,但在圖10的例子中,對(duì)發(fā)生頻度高的編碼模式分配了小的索引值,另外,2值信號(hào)也被較短地設(shè)定為I比特。
      編碼控制部3所輸出的最佳編碼模式7a被輸入到2值化部92,并且還被輸入到頻度信息生成部93。
      頻度信息生成部93對(duì)該最佳編碼模式7a中包含的編碼模式的索引值的發(fā)生頻度 (編碼控制部所選擇的編碼模式的選擇頻度)進(jìn)行計(jì)數(shù)而制作頻度信息94,并輸出到后述的 2值化表格更新部95。
      概率表格存儲(chǔ)器97是保持如下表格的存儲(chǔ)器,其中,該表格將2值信號(hào)103中包含的各bin的碼元值“O”或者“I”中的發(fā)生概率高的某一個(gè)碼元(MPS =Most Probable Symbol,大概率符號(hào))與其發(fā)生概率的組合保存了多組。
      圖11是示出概率表格存儲(chǔ)器97所保持的概率表格的一個(gè)例子的圖。在圖11中, 針對(duì)O. 5^1. O之間的離散的概率值(“發(fā)生概率”),分別分配了 “概率表格編號(hào)”。
      狀態(tài)變化表格存儲(chǔ)器98是保持如下表格的存儲(chǔ)器,其中,該表格將概率表格存儲(chǔ)器97中保存的“概率表格編號(hào)”、與該概率表格編號(hào)表示的“O”或者“I”中的MPS的從編碼前的概率狀態(tài)向編碼后的概率狀態(tài)的狀態(tài)變化的組合保存了多組。
      圖12是示出狀態(tài)變化表格存儲(chǔ)器98保持的狀態(tài)變化表格的一個(gè)例子的圖。圖12 的“概率表格編號(hào)”、“ LPS編碼后的概率變化”、“MPS編碼后的概率變化”分別對(duì)應(yīng)于圖11 所不的概率表格編號(hào)。
      例如,在圖12中用框包圍的“概率表格編號(hào)I”的概率狀態(tài)(在圖11中MPS的發(fā)生概率O. 527)時(shí),表示通過(guò)對(duì)“O”或者“I”中的發(fā)生概率低的某一個(gè)碼元(LPS =Least Probable Symbol,小概率符號(hào))進(jìn)行編碼,概率狀態(tài)從“LPS編碼后的概率變化”向概率表格編號(hào)O (在圖11中MPS的發(fā)生概率O. 500)變化。S卩,通過(guò)發(fā)生LPS,MPS的發(fā)生概率變小。
      相反地,如果對(duì)MPS進(jìn)行編碼,則表示概率狀態(tài)從“MPS編碼后的概率變化”向概率表格編號(hào)2 (在圖11中MPS的發(fā)生概率O. 550)變化。S卩,通過(guò)發(fā)生MPS,MPS的發(fā)生概率變得大。
      上下文生成部99參照從編碼控制部3輸入的表示編碼對(duì)象的參數(shù)(最佳編碼模式 7a、最佳預(yù)測(cè)參數(shù)10a、18a、最佳壓縮參數(shù)20a)的類別的類別信號(hào)100和周邊塊信息101, 針對(duì)對(duì)編碼對(duì)象的參數(shù)進(jìn)行2值化而得到的2值信號(hào)103的每個(gè)bin,生成上下文識(shí)別信息102。在該說(shuō)明中,類別信號(hào)100是編碼對(duì)象宏塊的最佳編碼模式7a。另外,周邊塊信息 101是與編碼對(duì)象宏塊相鄰的宏塊的最佳編碼模式7a。
      以下,說(shuō)明由上下文生成部99執(zhí)行的上下文識(shí)別信息的生成過(guò)程。
      圖13的(a)是通過(guò)二叉樹表現(xiàn)來(lái)示出圖10所示的2值化表格的圖。此處,將圖 13的(b)所示的粗框的編碼對(duì)象宏塊、和與該編碼對(duì)象宏塊相鄰的周邊塊A、B用作例子而進(jìn)行說(shuō)明。
      在圖13的(a)中,將黑圓稱為節(jié)點(diǎn),將連接節(jié)點(diǎn)之間的線稱為路徑。對(duì)二叉樹的終端節(jié)點(diǎn),分配了 2值化對(duì)象的多值信號(hào)的索引。另外,從紙面上的上方朝向下方,二叉樹的深度對(duì)應(yīng)于bin編號(hào),結(jié)合對(duì)從根節(jié)點(diǎn)至終端節(jié)點(diǎn)為止的各路徑分配的碼元(O或者I)而得到的比特列成為與對(duì)各終端節(jié)點(diǎn)分配的多值信號(hào)的索引對(duì)應(yīng)的2值信號(hào)103。針對(duì)二叉樹的各父節(jié)點(diǎn)(并非終端的節(jié)點(diǎn)),根據(jù)周邊塊A、B的信息而準(zhǔn)備了 I個(gè)以上的上下文識(shí)別信息。
      例如,在圖13的(a)中,在針對(duì)根節(jié)點(diǎn)準(zhǔn)備了 CO、Cl、C2這3個(gè)上下文識(shí)別信息的情況下,上下文生成部99參照相鄰的周邊塊A、B的周邊塊信息101,從下式(4)選擇CO、 Cl、C2這3個(gè)上下文識(shí)別信息中的某一個(gè)。上下文生成部99輸出所選擇的上下文識(shí)別信息而作為上下文識(shí)別信息102。
      (宏塊X的編碼模式不是O )1 J [I (宏塊X的編碼模式是O)
      (4)'CO :I'(A) +T(B) = O
      |θ1:Γ(Α)- - '(Β) = 102:Γ(Λ)+Γ(Β) = 2
      上式(4)是基于在將周邊塊Α、Β設(shè)為宏塊X的情況下如果周邊塊Α、Β的編碼模式是“O”(mb_skip)則編碼對(duì)象宏塊的編碼模式也成為“O”(mb_skip)的概率高這樣的假設(shè)而準(zhǔn)備的式。因此,從上式(4)選擇的上下文識(shí)別信息102也基于同樣的假設(shè)。
      另外,對(duì)根節(jié)點(diǎn)以外的父節(jié)點(diǎn),分別分配了 I個(gè)上下文識(shí)別信息(C3、C4、C5)。
      在通過(guò)上下文識(shí)別信息102識(shí)別的上下文信息中保持有MPS的值(O或者I)和對(duì)其發(fā)生概率進(jìn)行近似的概率表格編號(hào),當(dāng)前處于初始狀態(tài)。上下文信息存儲(chǔ)器96保存著該上下文信息。
      算術(shù)編碼處理運(yùn)算部104針對(duì)每個(gè)bin,對(duì)從2值化部92輸入的f 3比特的2值信號(hào)103進(jìn)行算術(shù)編碼而生成編碼比特列111,并復(fù)用到比特流30中。以下,說(shuō)明基于上下文信息的算術(shù)編碼過(guò)程。
      算術(shù)編碼處理運(yùn)算部104首先參照上下文信息存儲(chǔ)器96,得到基于與2值信號(hào) 103的binO對(duì)應(yīng)的上下文識(shí)別信息102的上下文信息106。接下來(lái),算術(shù)編碼處理運(yùn)算部104參照概率表格存儲(chǔ)器97,確定與上下文信息106中保持的概率表格編號(hào)107對(duì)應(yīng)的 binO的MPS發(fā)生概率108。
      接下來(lái),算術(shù)編碼處理運(yùn)算部104根據(jù)上下文信息106中保持的MPS的值(O或者 I)、和所確定的MPS發(fā)生概率108,對(duì)binO的碼元值109 (O或者I)進(jìn)行算術(shù)編碼。接下來(lái),算術(shù)編碼處理運(yùn)算部104參照狀態(tài)變化表格存儲(chǔ)器98,根據(jù)上下文信息106中保持的概率表格編號(hào)107、和之前算術(shù)編碼了的binO的碼元值109,得到binO的碼元編碼后的概率表格編號(hào)110。
      接下來(lái),算術(shù)編碼處理運(yùn)算部104將上下文信息存儲(chǔ)器96中保存的binO的上下文信息106的概率表格編號(hào)(即,概率表格編號(hào)107)的值更新為狀態(tài)變化后的概率表格編號(hào)(即,之前從狀態(tài)變化表格存儲(chǔ)器98取得的、binO的碼元編碼后的概率表格編號(hào)110)。
      算術(shù)編碼處理運(yùn)算部104針對(duì)binl、2也與binO同樣地,進(jìn)行基于通過(guò)各個(gè)上下文識(shí)別信息102識(shí)別的上下文信息106的算術(shù)編碼,在各bin的碼元編碼之后更新上下文信息106。
      算術(shù)編碼處理運(yùn)算部104輸出對(duì)所有bin的碼元進(jìn)行算術(shù)編碼而得到的編碼比特列111,并由可變長(zhǎng)編碼部23復(fù)用到比特流30中。
      如上所述,每當(dāng)對(duì)碼元進(jìn)行算術(shù)編碼時(shí),更新通過(guò)上下文識(shí)別信息102識(shí)別的上下文信息106。即,這意味著各節(jié)點(diǎn)的概率狀態(tài)針對(duì)每個(gè)碼元編碼會(huì)變化。然后,通過(guò)上述初始化部90,進(jìn)行上下文信息106的初始化、即概率狀態(tài)的復(fù)位。
      初始化部90根據(jù)編碼控制部3利用上下文信息初始化標(biāo)志91進(jìn)行的指示來(lái)進(jìn)行初始化,但該初始化是在切片(slice)的開頭等中進(jìn)行的。也可以針對(duì)各上下文信息106的初始狀態(tài)(MPS的值和對(duì)其發(fā)生概率進(jìn)行近似的概率表格編號(hào)的初始值),預(yù)先準(zhǔn)備多個(gè)組, 關(guān)于選擇哪一個(gè)初始狀態(tài),由編碼控制部3包含到上下文信息初始化標(biāo)志91中而向初始化部90進(jìn)行指示。
      2值化表格更新部95根據(jù)從編碼控制部3指示的2值化表格更新標(biāo)志113,參照由頻度信息生成部93生成的表示編碼對(duì)象參數(shù)(此處,最佳編碼模式7a)的索引值的發(fā)生頻度的頻度信息94,更新2值化表格存儲(chǔ)器105。以下,說(shuō)明通過(guò)2值化表格更新部95更新2值化表格的過(guò)程。
      在該例子中,根據(jù)作為編碼對(duì)象參數(shù)的最佳編碼模式7a所指定的編碼模式的發(fā)生頻度,以能夠利用短的代碼字對(duì)發(fā)生頻度最高的編碼模式進(jìn)行2值化的方式,更新2值化表格的編碼模式與索引的對(duì)應(yīng)關(guān)系,實(shí)現(xiàn)代碼量的降低。
      圖14是示出更新后的2值化表格的一個(gè)例子的圖,是假設(shè)更新前的2值化表格的狀態(tài)是圖10所示的狀態(tài)時(shí)的更新后狀態(tài)。2值化表格更新部95依照頻度信息94,在例如 mb_mode3的發(fā)生頻度最高的情況下,以對(duì)該mb_mode3分配短的代碼字的2值信號(hào)的方式, 分配最小的索引值。
      另外,2值化表格更新部95在更新了 2值化表格的情況下,需要生成用于使解碼裝置側(cè)能夠識(shí)別更新了的2值化表格的2值化表格更新識(shí)別信息112,并復(fù)用到比特流30。例如,在針對(duì)每個(gè)編碼對(duì)象參數(shù)有多個(gè)2值化表格的情況下,也可以預(yù)先對(duì)編碼裝置側(cè)以及解碼裝置側(cè)分別賦予能夠識(shí)別各編碼對(duì)象參數(shù)的ID,2值化表格更新部95輸出更新后的 2值化表格的ID而作為2值化表格更新識(shí)別信息112,并復(fù)用到比特流30。
      編碼控制部3在切片的開頭中參照編碼對(duì)象參數(shù)的頻度信息94,在判定為編碼對(duì)象參數(shù)的發(fā)生頻度分布的變化大到規(guī)定的容許范圍以上的情況下,輸出2值化表格更新標(biāo)志113,從而進(jìn)行更新定時(shí)的控制??勺冮L(zhǎng)編碼部23將2值化表格更新標(biāo)志113復(fù)用到比特流30的切片頭即可。另外,可變長(zhǎng)編碼部23在2值化表格更新標(biāo)志113表示“2值化表格有更新”的情況下,將表示對(duì)編碼模式、壓縮參數(shù)、預(yù)測(cè)參數(shù)的2值化表格中的哪個(gè)2值化表格進(jìn)行了更新的2值化表格更新識(shí)別信息112復(fù)用到比特流30。
      另外,編碼控制部3既可以在切片的開頭以外的定時(shí)指示2值化表格的更新,也可以例如在任意的宏塊的開頭輸出2值化表格更新標(biāo)志113來(lái)指示更新。在該情況下,需要由2值化表格更新部95輸出對(duì)進(jìn)行了 2值化表格的更新的宏塊位置進(jìn)行確定的信息,并由可變長(zhǎng)編碼部23將該信息也復(fù)用到比特流30中。
      另外,編碼控制部3在向2值化表格更新部95輸出2值化表格更新標(biāo)志113而更新了 2值化表格的情況下,需要向初始化部90輸出上下文信息初始化標(biāo)志91,進(jìn)行上下文信息存儲(chǔ)器96的初始化。
      接下來(lái),說(shuō)明本實(shí)施方式2的運(yùn)動(dòng)圖像解碼裝置的可變長(zhǎng)解碼部61。
      圖15是示出本發(fā)明的實(shí)施方式2的運(yùn)動(dòng)圖像解碼裝置的可變長(zhǎng)解碼部61的內(nèi)部結(jié)構(gòu)的框圖。另外,本實(shí)施方式2的運(yùn)動(dòng)圖像解碼裝置的結(jié)構(gòu)與上述實(shí)施方式I相同,除了可變長(zhǎng)解碼部61以外的各結(jié)構(gòu)要素的動(dòng)作也與上述實(shí)施方式I相同,所以援用圖f圖8。
      圖15所示的可變長(zhǎng)解碼部61包括算術(shù)解碼處理運(yùn)算部127,參照上下文生成部 122生成的上下文識(shí)別信息126、上下文信息存儲(chǔ)器128、概率表格存儲(chǔ)器131、以及狀態(tài)變化表格存儲(chǔ)器135,對(duì)復(fù)用到比特流60中的表示最佳編碼模式62 (或者最佳預(yù)測(cè)參數(shù)63、 最佳壓縮參數(shù)65)的編碼比特列133進(jìn)行算術(shù)解碼而生成2值信號(hào)137 ;2值化表格存儲(chǔ)器 143,保存對(duì)用2值信號(hào)表示的最佳編碼模式62 (或者最佳預(yù)測(cè)參數(shù)63、最佳壓縮參數(shù)65) 與多值信號(hào)的對(duì)應(yīng)關(guān)系進(jìn)行了指定的2值化表格139 ;以及逆2值化部138,使用2值化表格139,將算術(shù)解碼處理運(yùn)算部127生成的2值信號(hào)137變換為多值信號(hào)的解碼值140。
      以下,作為熵解碼的參數(shù),以比特流60中包含的宏塊的最佳編碼模式62為例子, 說(shuō)明可變長(zhǎng)解碼部61的可變長(zhǎng)解碼過(guò)程。同樣地,關(guān)于作為解碼對(duì)象的參數(shù)的最佳預(yù)測(cè)參數(shù)63、最佳壓縮參數(shù)65,通過(guò)與最佳編碼模式62同樣的過(guò)程進(jìn)行可變長(zhǎng)解碼即可,所以省略說(shuō)明。
      另外,在本實(shí)施方式2的比特流60中,包含有在編碼裝置側(cè)復(fù)用的上下文初始化信息121、編碼比特列133、2值化表格更新標(biāo)志142、2值化表格更新識(shí)別信息144。在后面詳細(xì)敘述各信息。
      初始化部120在切片的開頭等中進(jìn)行上下文信息存儲(chǔ)器128中保存的上下文信息的初始化?;蛘?,也可以關(guān)于上下文信息的初始狀態(tài)(MPS的值和對(duì)其發(fā)生概率進(jìn)行近似的概率表格編號(hào)的初始值),在初始化部120中預(yù)先準(zhǔn)備多個(gè)組,從組中選擇與上下文初始化信息121的解碼值對(duì)應(yīng)的初始狀態(tài)。
      上下文生成部122參照表示解碼對(duì)象的參數(shù)(最佳編碼模式62、最佳預(yù)測(cè)參數(shù)63、最佳壓縮參數(shù)65)的類別的類別信號(hào)123和周邊塊信息124,生成上下文識(shí)別信息126。
      類別信號(hào)123是表示解碼對(duì)象的參數(shù)的類別的信號(hào),依照可變長(zhǎng)解碼部61內(nèi)保持的語(yǔ)法,來(lái)判定解碼對(duì)象的參數(shù)是哪個(gè)。因此,需要在編碼裝置側(cè)和解碼裝置側(cè)保持相同的語(yǔ)法,此處,設(shè)為編碼裝置側(cè)的編碼控制部3保持了該語(yǔ)法。在編碼裝置側(cè),依照編碼控制部3保持的語(yǔ)法,將接下來(lái)應(yīng)編碼的參數(shù)的類別和其參數(shù)的值(索引值)、即類別信號(hào)100依次輸出到可變長(zhǎng)編碼部23。
      另外,周邊塊信息124是對(duì)宏塊或者子塊進(jìn)行解碼而得到的編碼模式等信息,為了用作以后的宏塊或者子塊的解碼用的周邊塊信息124,而保存到可變長(zhǎng)解碼部61內(nèi)的存儲(chǔ)器(未圖示),根據(jù)需要而輸出到上下文生成部122。
      另外,由上下文生成部122執(zhí)行的上下文識(shí)別信息126的生成過(guò)程與編碼裝置側(cè)的上下文生成部99的動(dòng)作相同。在解碼裝置側(cè)的上下文生成部122中,也針對(duì)由逆2值化部138參照的2值化表格139的每個(gè)bin,生成上下文識(shí)別信息126。
      在各bin的上下文信息中,作為用于對(duì)該bin進(jìn)行算術(shù)解碼的概率信息,而保持有 MPS的值(O或者I)和對(duì)該MPS的發(fā)生概率進(jìn)行確定的概率表格編號(hào)。
      另外,概率表格存儲(chǔ)器131以及狀態(tài)變化表格存儲(chǔ)器135保存著與編碼裝置側(cè)的概率表格存儲(chǔ)器97以及狀態(tài)變化表格存儲(chǔ)器98相同的概率表格(圖11)以及狀態(tài)變化表格(圖12)。
      算術(shù)解碼處理運(yùn)算部127針對(duì)每個(gè)bin,對(duì)復(fù)用到比特流60中的編碼比特列133 進(jìn)行算術(shù)解碼而生成2值信號(hào)137,并輸出到逆2值化部138。
      算術(shù)解碼處理運(yùn)算部127首先參照上下文信息存儲(chǔ)器128,得到基于與編碼比特列133的各bin對(duì)應(yīng)的上下文識(shí)別信息126的上下文信息129。接下來(lái),算術(shù)解碼處理運(yùn)算部127參照概率表格存儲(chǔ)器131,確定與上下文信息129中保持的概率表格編號(hào)130對(duì)應(yīng)的各bin的MPS發(fā)生概率132。
      接下來(lái),算術(shù)解碼處理運(yùn)算部127根據(jù)上下文信息129中保持的MPS的值(O或者 I)、和所確定的MPS發(fā)生概率132,對(duì)向算術(shù)解碼處理運(yùn)算部127輸入的編碼比特列133進(jìn)行算術(shù)解碼,得到各bin的碼元值134 (O或者I)。在對(duì)各bin的碼元值進(jìn)行了解碼之后, 算術(shù)解碼處理運(yùn)算部127參照狀態(tài)變化表格存儲(chǔ)器135,通過(guò)與編碼裝置側(cè)的算術(shù)編碼處理運(yùn)算部104同樣的過(guò)程,根據(jù)解碼出的各bin的碼元值134和上下文信息129中保持的概率表格編號(hào)130,得到各bin的碼元解碼后(狀態(tài)變化后)的概率表格編號(hào)136。
      接下來(lái),算術(shù)解碼處理運(yùn)算部127將上下文信息存儲(chǔ)器128中保存的各bin的上下文信息129的概率表格編號(hào)(即,概率表格編號(hào)130)的值更新為狀態(tài)變化后的概率表格編號(hào)(即,之前從狀態(tài)變化表格存儲(chǔ)器135取得的、各bin的碼元解碼后的概率表格編號(hào) 136)。
      算術(shù)解碼處理運(yùn)算部127將對(duì)上述算術(shù)解碼的結(jié)果得到的各bin的碼元進(jìn)行結(jié)合而得到的2值信號(hào)137輸出到逆2值化部138。
      逆2值化部138從保存在2值化表格存儲(chǔ)器143中的針對(duì)解碼對(duì)象參數(shù)的每個(gè)類別準(zhǔn)備的2值化表格中,選擇與編碼時(shí)相同的2值化表格139并參照,根據(jù)從算術(shù)解碼處理運(yùn)算部127輸入的2值信號(hào)137,輸出解碼對(duì)象參數(shù)的解碼值140。
      另外,在解碼對(duì)象參數(shù)的類別是宏塊的編碼模式(最佳編碼模式62)時(shí),2值化表格139與圖10所示的編碼裝置側(cè)的2值化表格相同。
      2值化表格更新部141根據(jù)從比特流60解碼出的2值化表格更新標(biāo)志142以及2 值化表格更新識(shí)別信息144,更新2值化表格存儲(chǔ)器143中保存的2值化表格。
      2值化表格更新標(biāo)志142是與編碼裝置側(cè)的2值化表格更新標(biāo)志113對(duì)應(yīng)的信息, 是包含于比特流60的頭信息等中并表示2值化表格有無(wú)更新的信息。在2值化表格更新標(biāo)志142的解碼值表示“2值化表格有更新”的情況下,從比特流60中進(jìn)一步解碼2值化表格更新識(shí)別信息144。
      2值化表格更新識(shí)別信息144是與編碼裝置側(cè)的2值化表格更新識(shí)別信息112對(duì)應(yīng)的信息,是用于對(duì)在編碼裝置側(cè)更新的參數(shù)的2值化表格進(jìn)行識(shí)別的信息。例如,如上所述,在針對(duì)每個(gè)編碼對(duì)象參數(shù)預(yù)先有多個(gè)2值化表格的情況下,對(duì)編碼裝置側(cè)以及解碼裝置側(cè)分別預(yù)先賦予能夠識(shí)別各編碼對(duì)象參數(shù)的ID以及2值化表格的ID,2值化表格更新部 141更新從比特流60解碼出的2值化表格更新識(shí)別信息144中的與ID值對(duì)應(yīng)的2值化表格。在該例子中,在2值化表格存儲(chǔ)器143中,預(yù)先準(zhǔn)備圖10和圖14這2種2值化表格和其ID,在假設(shè)為更新前的2值化表格的狀態(tài)是圖10所示的狀態(tài)的情況下,如 果2值化表格更新部141依照2值化表格更新標(biāo)志142以及2值化表格更新識(shí)別信息144實(shí)施更新處理, 則選擇與2值化表格更新識(shí)別信息144中包含的ID對(duì)應(yīng)的2值化表格,所以更新后的2值化表格的狀態(tài)成為圖14所示的狀態(tài),與編碼裝置側(cè)的更新后的2值化表格相同。
      通過(guò)以上,根據(jù)實(shí)施方式2的運(yùn)動(dòng)圖像編碼裝置,編碼控制部3選擇并輸出編碼效率成為最佳的最佳編碼模式7a、最佳預(yù)測(cè)參數(shù)10a、18a、最佳壓縮參數(shù)20a這樣的編碼對(duì)象參數(shù),可變長(zhǎng)編碼部23的2值化部92使用2值化表格存儲(chǔ)器105的2值化表格,將用多值信號(hào)表示的編碼對(duì)象參數(shù)變換為2值信號(hào)103,算術(shù)編碼處理運(yùn)算部104對(duì)2值信號(hào)103進(jìn)行算術(shù)編碼而輸出編碼比特列111,頻度信息生成部93生成編碼對(duì)象參數(shù)的頻度信息94,2 值化表格更新部95根據(jù)頻度信息94來(lái)更新2值化表格的多值信號(hào)與2值信號(hào)的對(duì)應(yīng)關(guān)系, 所以相比于2值化表格始終固定的以往的方法,能夠以同等的編碼影像的質(zhì)量來(lái)削減代碼量。
      另外,2值化表格更新部95將表示2值化表格有無(wú)更新的2值化表格更新識(shí)別信息112以及用于對(duì)更新后的2值化表格進(jìn)行識(shí)別的2值化表格更新識(shí)別信息112復(fù)用到比特流30中,所以與此對(duì)應(yīng)地,在實(shí)施方式2的運(yùn)動(dòng)圖像解碼裝置中,可變長(zhǎng)解碼部61的算術(shù)解碼處理運(yùn)算部127對(duì)復(fù)用到比特流60中的編碼比特列133進(jìn)行算術(shù)解碼而生成2值信號(hào)137,逆2值化部138使用2值化表格存儲(chǔ)器143的2值化表格139,將2值信號(hào)137 變換為多值信號(hào)而取得解碼值140,2值化表格更新部141根據(jù)從復(fù)用到比特流60中的頭信息解碼出的2值化表格更新標(biāo)志142以及2值化表格更新識(shí)別信息144,更新2值化表格存儲(chǔ)器143中的規(guī)定的2值化表格。因此,運(yùn)動(dòng)圖像解碼裝置能夠通過(guò)與運(yùn)動(dòng)圖像編碼裝置同樣的過(guò)程進(jìn)行2值化表格的更新,而對(duì)編碼對(duì)象參數(shù)進(jìn)行逆2值化,所以能夠?qū)τ蓪?shí)施方式2的運(yùn)動(dòng)圖像編碼裝置編碼了的比特流正確地進(jìn)行解碼。
      實(shí)施方式3.
      在本實(shí)施方式3中,說(shuō)明上述實(shí)施方式1、2的運(yùn)動(dòng)圖像編碼裝置以及運(yùn)動(dòng)圖像解碼裝置中的利用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)進(jìn)行的預(yù)測(cè)圖像的生成處理的變形例。
      首先,說(shuō)明本實(shí)施方式3的運(yùn)動(dòng)圖像編碼裝置的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9。另外,本實(shí)施方式3的運(yùn)動(dòng)圖像編碼裝置的結(jié)構(gòu)與上述實(shí)施方式I或者實(shí)施方式2相同,除了運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9以外的各結(jié)構(gòu)要素的動(dòng)作也相同,所以援用圖f圖15。
      在本實(shí)施方式3的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9中,與虛擬采樣精度的預(yù)測(cè)圖像生成處理相關(guān)的結(jié)構(gòu)以及動(dòng)作和上述實(shí)施方式1、2不同,除此以外是相同的結(jié)構(gòu)以及動(dòng)作。S卩,在上述實(shí)施方式1、2中,如圖3所示,運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9的插值圖像生成部43生成半像素或者1/4 像素等虛擬像素精度的參照?qǐng)D像數(shù)據(jù),在根據(jù)該虛擬像素精度的參照?qǐng)D像數(shù)據(jù)而生成預(yù)測(cè)圖像45時(shí),如MPEG - 4 AVC規(guī)格那樣通過(guò)由在垂直方向或者水平方向上使用了 6個(gè)整數(shù)像素的6抽頭濾波器進(jìn)行的內(nèi)插運(yùn)算等,來(lái)制作虛擬像素從而生成預(yù)測(cè)圖像,與此相對(duì),在本實(shí)施方式3的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9中,通過(guò)超分辯率處理將運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14中保存的整數(shù)像素精度的參照?qǐng)D像15進(jìn)行放大,從而生成虛擬像素精度的參照?qǐng)D像207,根據(jù)該虛擬像素精度的參照?qǐng)D像207來(lái)生成預(yù)測(cè)圖像。
      接下來(lái),援用圖3來(lái)說(shuō)明本實(shí)施方式3的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9。
      與上述實(shí)施方式1、2同樣地,本實(shí)施方式3的插值圖像生成部43也從運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14指定I幀以上的參照?qǐng)D像15,運(yùn)動(dòng)檢測(cè)部42在指定的參照?qǐng)D像15上的規(guī)定的運(yùn)動(dòng)搜索范圍內(nèi)檢測(cè)運(yùn)動(dòng)矢量44。與MPEG - 4AVC規(guī)格等同樣地,利用虛擬像素精度的運(yùn)動(dòng)矢量來(lái)進(jìn)行運(yùn)動(dòng)矢量的檢測(cè)。在該檢測(cè)方法中,針對(duì)參照?qǐng)D像具有的像素信息(稱為整數(shù)像素),在整數(shù)像素之間通過(guò)內(nèi)插運(yùn)算來(lái)制作虛擬的采樣(像素),并將其用作參照?qǐng)D像。
      為了生成虛擬像素精度的參照?qǐng)D像,需要將整數(shù)像素精度的參照?qǐng)D像進(jìn)行放大(高清晰化)而生成由虛擬像素構(gòu)成的采樣平面(sample plane)。因此,在本實(shí)施方式3的插值圖像生成部43中,在需要虛擬像素精度的運(yùn)動(dòng)搜索用參照?qǐng)D像的情況下, 利用〈〈W. T. Freeman, E. C. Pasztor and O. T. C armichael, “Learning Low — Level Vision,,,International Journal of Computer Vision, vol. 40,no. 1,2000〉〉中公開的超分辯率技術(shù),來(lái)生成虛擬像素精度的參照?qǐng)D像。在以下的說(shuō)明中,說(shuō)明如下結(jié)構(gòu)在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9中根據(jù)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14中保存的參照?qǐng)D像數(shù)據(jù),超分辯率地生成虛擬像素精度的參照?qǐng)D像207,運(yùn)動(dòng)檢測(cè)部42使用該參照?qǐng)D像207來(lái)進(jìn)行運(yùn)動(dòng)矢量搜索處理。
      圖16是示出本發(fā)明的實(shí)施方式3的運(yùn)動(dòng)圖像編碼裝置的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9的插值圖像生成部43的內(nèi)部結(jié)構(gòu)的框圖。圖16所示的插值圖像生成部43包括圖像放大處理部205,對(duì)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14中的參照?qǐng)D像15進(jìn)行放大處理;圖像縮小處理部200, 對(duì)參照?qǐng)D像15進(jìn)行縮小處理;高頻特征抽出部201a,從圖像縮小處理部200抽出高頻區(qū)域分量的特征量;高頻特征抽出部201b,從參照?qǐng)D像15抽出高頻區(qū)域分量的特征量;相關(guān)計(jì)算部202,計(jì)算特征量之間的相關(guān)值;高頻分量推測(cè)部203,根據(jù)相關(guān)值和高頻分量圖案存儲(chǔ)器204的事先學(xué)習(xí)數(shù)據(jù),推測(cè)高頻分量;以及加法部206,使用所推測(cè)的高頻分量來(lái)校正放大圖像的高頻分量,生成虛擬像素精度的參照?qǐng)D像207。
      在圖16中,如果從運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14中保存的參照?qǐng)D像數(shù)據(jù)中,將運(yùn)動(dòng)搜索處理中使用的范圍的參照?qǐng)D像15輸入到插值圖像生成部43,則該參照?qǐng)D像15分別被輸入到圖像縮小處理部200、高頻特征抽出部201b以及圖像放大處理部205。
      圖像縮小處理部200根據(jù)參照?qǐng)D像15生成縱橫1/N (N是2、4等2的冪乘值)大小的縮小圖像,并輸出到高頻特征抽出部201a。通過(guò)一般的圖像縮小濾波器來(lái)實(shí)現(xiàn)該縮小處理。
      高頻特征抽出部201a從由圖像縮小處理部200生成的縮小圖像,抽出與邊緣分量等高頻分量相關(guān)的第I特征量。作為第I特征量,能夠利用例如表示局部塊內(nèi)的DCT或者 Wavelet變換系數(shù)分布的參數(shù)等。
      高頻特征抽出部201b進(jìn)行與高頻特征抽出部201a同樣的高頻特征抽出,從參照?qǐng)D像15抽出頻率分量區(qū)域與第I特征量不同的第2特征量。第2特征量被輸出到相關(guān)計(jì)算部202,并且還被輸出到高頻分量推測(cè)部203。
      如果從高頻特征抽出部201a輸入了第I特征量,并從高頻特征抽出部201b輸入了第2特征量,則相關(guān)計(jì)算部202計(jì)算參照?qǐng)D像15與其縮小圖像之間的局部塊單位中的基于特征量的高頻分量區(qū)域的相關(guān)值。作為該相關(guān)值,例如有第I特征量與第2特征量之間的距離。
      高頻分量推測(cè)部203根據(jù)從高頻特征抽出部201b輸入的第2特征量和從相關(guān)計(jì)算部202輸入的相關(guān)值,從高頻分量圖案存儲(chǔ)器204確定高頻分量的事先學(xué)習(xí)圖案,推測(cè)并生成虛擬像素精度的參照?qǐng)D像207應(yīng)具備的高頻分量。所生成的高頻分量被輸出到加法部 206。
      圖像放大處理部205針對(duì)所輸入的參照?qǐng)D像15,與基于MPEG — 4AVC規(guī)格的半像素精度采樣的生成處理同樣地,實(shí)施利用在垂直方向或者水平方向上使用了 6個(gè)整數(shù)像素的6抽頭的濾波器進(jìn)行的內(nèi)插運(yùn)算、或者雙線性濾波器等的放大濾波處理,生成將參照?qǐng)D像15放大為縱橫N倍大小的放大圖像。
      加法部206對(duì)從圖像放大處理部205輸入的放大圖像相加從高頻分量推測(cè)部203 輸入的高頻分量,即對(duì)放大圖像的高頻分量進(jìn)行校正,生成放大為縱橫N倍大小的放大參照?qǐng)D像。插值圖像生成部43將該放大參照?qǐng)D像數(shù)據(jù)用作使1/N成為I的虛擬像素精度的參照?qǐng)D像207。
      另外,插值圖像生成部43也可以在設(shè)為N=2而生成了半像素(1/2像素)精度的參照?qǐng)D像207之后,通過(guò)使用了相鄰的1/2像素或者整數(shù)像素的平均值濾波器的內(nèi)插運(yùn)算,生成1/4像素精度的虛擬采樣(像素)。
      另外,插值圖像生成部43也可以構(gòu)成為除了圖16所示的結(jié)構(gòu)以外,還切換對(duì)圖像放大處理部205輸出的放大圖像是否相加高頻分量推測(cè)部203輸出的高頻分量,來(lái)控制虛擬像素精度的參照?qǐng)D像207的生成結(jié)果。在該結(jié)構(gòu)的情況下,具有如下效果在由于圖像圖案異常等某種理由而由高頻分量推測(cè)部203推測(cè)的推測(cè)精度變差時(shí),抑制對(duì)該編碼效率的惡劣影響。
      另外,當(dāng)選擇性地決定在加法部206中是否相加高頻分量推測(cè)部203輸出的高頻分量的情況下,生成相加的情況和不相加的情況這兩個(gè)情形的預(yù)測(cè)圖像45來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè),并對(duì)其結(jié)果進(jìn)行編碼來(lái)決定效率更優(yōu)良的一方。然后,將表示是否相加了的加法處理的信息作為控制信息而復(fù)用到比特流30中。
      或者,插值圖像生成部43也可以根據(jù)復(fù)用到比特流30的其他參數(shù)來(lái)唯一地決定而控制加法部206的加法處理。作為根據(jù)其他參數(shù)來(lái)決定的例子,考慮例如使用圖2A或者圖2B所示的編碼模式7的類別。在選擇了表示宏塊內(nèi)的運(yùn)動(dòng)補(bǔ)償區(qū)域塊分割細(xì)的編碼模式的情況下,是運(yùn)動(dòng)劇烈的圖樣的概率高。因此,插值圖像生成部43視為超分辯率的效果低,進(jìn)行控制使得在加法部206中不相加高頻分量推測(cè)部203輸出的高頻分量。另一方面,25在選擇了表示宏塊內(nèi)的運(yùn)動(dòng)補(bǔ)償區(qū)域塊的大小大的編碼模式或者塊大小大的內(nèi)部預(yù)測(cè)模式的情況下,是比較靜止的圖像區(qū)域的概率高。因此,插值圖像生成部43視為超分辯率的效果高,進(jìn)行控制使得在加法部206中相加高頻分量推測(cè)部203輸出的高頻分量。
      作為其他參數(shù),除了利用編碼模式7以外,也可以利用運(yùn)動(dòng)矢量的大小、考慮了周邊區(qū)域的運(yùn)動(dòng)矢量場(chǎng)的偏差這樣的參數(shù)。運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9的插值圖像生成部43與解碼裝置側(cè)共享地判斷參數(shù)的種類,由此也可以不用直接對(duì)比特流30復(fù)用加法處理的控制信息, 而能夠提聞壓縮效率。
      另外,也可以構(gòu)成為在向運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14進(jìn)行保存之前,通過(guò)上述超分辯率處理而使運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14中保存的參照?qǐng)D像15成為虛擬像素精度的參照?qǐng)D像207之后進(jìn)行保存。在該結(jié)構(gòu)的情況下,雖然作為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14而所需的存儲(chǔ)器大小增加,但無(wú)需在運(yùn)動(dòng)矢量搜索以及預(yù)測(cè)圖像生成的過(guò)程中順序地進(jìn)行超分辯率處理,能夠降低運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)處理本身的處理負(fù)荷,并且能夠并行進(jìn)行幀編碼處理和虛擬像素精度的參照?qǐng)D像207的生成處理,能夠使處理高速化。
      以下,援用圖3,示出使用了虛擬像素精度的參照?qǐng)D像207的虛擬像素精度的運(yùn)動(dòng)矢量檢測(cè)過(guò)程的一個(gè)例子。
      運(yùn)動(dòng)矢量檢測(cè)過(guò)程I’
      插值圖像生成部43生成與運(yùn)動(dòng)補(bǔ)償區(qū)域塊圖像41的規(guī)定的運(yùn)動(dòng)搜索范圍內(nèi)存在的整數(shù)像素精度的運(yùn)動(dòng)矢量44對(duì)應(yīng)的預(yù)測(cè)圖像45。以整數(shù)像素精度生成的預(yù)測(cè)圖像45 (預(yù)測(cè)圖像17)被輸出到減法部12,通過(guò)減法部12從運(yùn)動(dòng)補(bǔ)償區(qū)域塊圖像41 (宏/子塊圖像5)相減而成為預(yù)測(cè)差分信號(hào)13。編碼控制部3針對(duì)預(yù)測(cè)差分信號(hào)13和整數(shù)像素精度的運(yùn)動(dòng)矢量44 (預(yù)測(cè)參數(shù)18)進(jìn)行預(yù)測(cè)效率的評(píng)價(jià)。該預(yù)測(cè)效率的評(píng)價(jià)通過(guò)在上述實(shí)施方式 I中說(shuō)明的上式(I)進(jìn)行即可,所以省略說(shuō)明。
      運(yùn)動(dòng)矢量檢測(cè)過(guò)程II’
      插值圖像生成部43針對(duì)在上述“運(yùn)動(dòng)矢量檢測(cè)過(guò)程I”中決定的整數(shù)像素精度的運(yùn)動(dòng)矢量的周圍存在的1/2像素精度的運(yùn)動(dòng)矢量44,使用在圖16所示的插值圖像生成部 43內(nèi)部生成的虛擬像素精度的參照?qǐng)D像207,生成預(yù)測(cè)圖像45。以下,與上述“運(yùn)動(dòng)矢量檢測(cè)過(guò)程I”同樣地,通過(guò)減法部12從運(yùn)動(dòng)補(bǔ)償區(qū)域塊圖像41 (宏/子塊圖像5)減去以1/2 像素精度生成的預(yù)測(cè)圖像45(預(yù)測(cè)圖像17),而得到預(yù)測(cè)差分信號(hào)13。接下來(lái),編碼控制部 3針對(duì)該預(yù)測(cè)差分信號(hào)13和1/2像素精度的運(yùn)動(dòng)矢量44 (預(yù)測(cè)參數(shù)18)進(jìn)行預(yù)測(cè)效率的評(píng)價(jià),從整數(shù)像素精度的運(yùn)動(dòng)矢量的周圍存在的I個(gè)以上的1/2像素精度的運(yùn)動(dòng)矢量中,決定使預(yù)測(cè)開銷J1成為最小的1/2像素精度的運(yùn)動(dòng)矢量44。
      運(yùn)動(dòng)矢量檢測(cè)過(guò)程III’
      編碼控制部3和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9針對(duì)1/4像素精度的運(yùn)動(dòng)矢量也同樣地,從在上述“運(yùn)動(dòng)矢量檢測(cè)過(guò)程II”中決定的1/2像素精度的運(yùn)動(dòng)矢量的周圍存在的I個(gè)以上的 1/4像素精度的運(yùn)動(dòng)矢量中,決定使預(yù)測(cè)開銷J1成為最小的1/4像素精度的運(yùn)動(dòng)矢量44。
      運(yùn)動(dòng)矢量檢測(cè)過(guò)程IV’
      以下同樣地,編碼控制部3和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9直至成為規(guī)定的精度為止進(jìn)行虛擬像素精度的運(yùn)動(dòng)矢量的檢測(cè)。
      這樣,運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9針對(duì)將宏/子塊圖像5內(nèi)分割為成為編碼模式7表示的運(yùn)動(dòng)補(bǔ)償?shù)膯挝坏膲K單位而得到的運(yùn)動(dòng)補(bǔ)償區(qū)域塊圖像41,輸出分別決定的規(guī)定精度的虛擬像素精度的運(yùn)動(dòng)矢量和該運(yùn)動(dòng)矢量所指的參照?qǐng)D像的識(shí)別編號(hào)而作為預(yù)測(cè)參數(shù)18。另外,運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9將通過(guò)該預(yù)測(cè)參數(shù)18而生成的預(yù)測(cè)圖像45 (預(yù)測(cè)圖像17)輸出到減法部12,并通過(guò)減法部12從宏/子塊圖像5相減而得到預(yù)測(cè)差分信號(hào)13。從減法部12輸出的預(yù)測(cè)差分信號(hào)13被輸出到變換/量化部19。這以后與在上述實(shí)施方式I中說(shuō)明的處理相同,所以省略說(shuō)明。
      接下來(lái),說(shuō)明本實(shí)施方式3的運(yùn)動(dòng)圖像解碼裝置。
      在本實(shí)施方式3的運(yùn)動(dòng)圖像解碼裝置的結(jié)構(gòu)中,除了上述實(shí)施方式1、2的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70中的與虛擬像素精度的預(yù)測(cè)圖像生成處理相關(guān)的結(jié)構(gòu)以及動(dòng)作不同以外,與上述實(shí)施方式1、2的運(yùn)動(dòng)圖像解碼裝置相同,所以援用圖f圖16。
      在上述實(shí)施方式1、2中,在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70中根據(jù)半像素或者1/4像素等虛擬像素精度的參照?qǐng)D像生成預(yù)測(cè)圖像時(shí),如MPEG - 4AVC規(guī)格那樣,通過(guò)由在垂直方向或者水平方向上使用了 6個(gè)整數(shù)像素的6抽頭的濾波器進(jìn)行的內(nèi)插運(yùn)算等,來(lái)制作虛擬像素而生成預(yù)測(cè)圖像,與此相對(duì),在本實(shí)施方式3的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70中,通過(guò)超分辯率處理對(duì)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器75中保存的整數(shù)像素精度的參照?qǐng)D像76進(jìn)行放大,從而生成虛擬像素精度的參照?qǐng)D像。
      本實(shí)施方式3的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70與上述實(shí)施方式1、2同樣地,根據(jù)所輸入的最佳預(yù)測(cè)參數(shù)63中包含的運(yùn)動(dòng)矢量、各運(yùn)動(dòng)矢量所指的參照?qǐng)D像的識(shí)別編號(hào)(參照?qǐng)D像索引) 等,從保存在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器75中的參照?qǐng)D像76生成并輸出預(yù)測(cè)圖像72。
      加法部73將從運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70輸入的預(yù)測(cè)圖像72與從逆量化/逆變換部66 輸入的預(yù)測(cè)差分信號(hào)解碼值67相加,而生成解碼圖像74。
      另外,在由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70執(zhí)行的預(yù)測(cè)圖像72的生成方法中,除去了編碼裝置側(cè)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9的動(dòng)作中的從多個(gè)參照?qǐng)D像搜索運(yùn)動(dòng)矢量的處理(相當(dāng)于圖3所示的運(yùn)動(dòng)檢測(cè)部42以及插值圖像生成部43的動(dòng)作),而僅進(jìn)行依照從可變長(zhǎng)解碼部61提供的最佳預(yù)測(cè)參數(shù)63生成預(yù)測(cè)圖像72的處理。
      此處,在以虛擬像素精度生成預(yù)測(cè)圖像72的情況下,針對(duì)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器 75上的用參照?qǐng)D像的識(shí)別編號(hào)(參照?qǐng)D像索引)指定的參照?qǐng)D像76,運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70進(jìn)行與圖16所示的處理同樣的處理來(lái)生成虛擬像素精度的參照?qǐng)D像,并使用解碼出的運(yùn)動(dòng)矢量來(lái)生成預(yù)測(cè)圖像72。此時(shí),在編碼裝置側(cè),在選擇性地決定了是否將圖16所示的高頻分量推測(cè)部203輸出的高頻分量相加到放大圖像的情況下,在解碼裝置側(cè),從比特流60抽出表示有無(wú)加法處理的控制信息或者根據(jù)其他參數(shù)唯一地決定,從而控制運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部 70內(nèi)部中的加法處理。在根據(jù)其他參數(shù)決定的情況下,能夠與上述編碼裝置側(cè)同樣地利用編碼模式7、運(yùn)動(dòng)矢量的大小、考慮了周邊區(qū)域的運(yùn)動(dòng)矢量場(chǎng)的偏差等,通過(guò)由運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70與編碼裝置側(cè)共享地判斷參數(shù)的種類,由此可以不用在編碼裝置側(cè)直接對(duì)比特流 30復(fù)用加法處理的控制信息,能夠提高壓縮效率。
      另外,也可以僅在從編碼裝置側(cè)輸出的最佳預(yù)測(cè)參數(shù)18a(即解碼裝置側(cè)的最佳預(yù)測(cè)參數(shù)63)中包含的運(yùn)動(dòng)矢量指示虛擬像素精度的情況下,實(shí)施在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70中生成虛擬像素精度的參照?qǐng)D像的處理。在該結(jié)構(gòu)的情況下,運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9根據(jù)運(yùn)動(dòng)矢量, 切換是使用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14的參照?qǐng)D像15還是通過(guò)插值圖像生成部43生成虛擬像素精度的參照?qǐng)D像207來(lái)使用,根據(jù)參照?qǐng)D像15或者虛擬像素精度的參照?qǐng)D像207生成預(yù)測(cè)圖像17。
      或者,也可以構(gòu)成為針對(duì)保存到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器75之前的參照?qǐng)D像實(shí)施圖16所示的處理,而將放大處理以及校正了高頻分量后的虛擬像素精度的參照?qǐng)D像保存到運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器75。在該結(jié)構(gòu)的情況下,雖然作為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器75應(yīng)準(zhǔn)備的存儲(chǔ)器大小會(huì)增加,但在運(yùn)動(dòng)矢量指示相同的虛擬采樣位置的像素的次數(shù)多的情況下,無(wú)需重復(fù)實(shí)施圖16所示的處理,所以能夠削減運(yùn)算量。另外,如果在解碼裝置側(cè)預(yù)先已知運(yùn)動(dòng)矢量所指的變位的范圍,則運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70也可以僅限于該范圍而進(jìn)行圖16所示的處理。關(guān)于運(yùn)動(dòng)矢量所指的變位的范圍,例如在比特流60中復(fù)用表示運(yùn)動(dòng)矢量所指的變位的范圍的值域來(lái)傳送、或者在運(yùn)用時(shí)在編碼裝置側(cè)和解碼裝置側(cè)相互協(xié)商而設(shè)定,從而在解碼裝置側(cè)為已知即可。
      通過(guò)以上,根據(jù)實(shí)施方式3的運(yùn)動(dòng)圖像編碼裝置,運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9具有對(duì)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14中的參照?qǐng)D像15進(jìn)行放大處理并且校正其高頻分量而生成虛擬像素精度的參照?qǐng)D像207的插值圖像生成部43,根據(jù)運(yùn)動(dòng)矢量來(lái)切換是使用參照?qǐng)D像15還是生成虛擬像素精度的參照?qǐng)D像207來(lái)使用,從而生成預(yù)測(cè)圖像17,所以即使在對(duì)包含大量細(xì)的邊緣等高頻分量的輸入影像信號(hào)I進(jìn)行高壓縮那樣的情況下,也能夠根據(jù)包含大量高頻分量的參照?qǐng)D像而生成通過(guò)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)所生成的預(yù)測(cè)圖像17,能夠高效地進(jìn)行壓縮編碼。
      另外,實(shí)施方式3的運(yùn)動(dòng)圖像解碼裝置也構(gòu)成為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部70具有通過(guò)與運(yùn)動(dòng)圖像編碼裝置同樣的過(guò)程來(lái)生成虛擬像素精度的參照?qǐng)D像的插值圖像生成部,根據(jù)復(fù)用到比特流60中的運(yùn)動(dòng)矢量來(lái)切換是使用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器75的參照?qǐng)D像76還是生成虛擬像素精度的參照?qǐng)D像來(lái)使用,從而生成預(yù)測(cè)圖像72,所以能夠?qū)τ蓪?shí)施方式3的運(yùn)動(dòng)圖像編碼裝置編碼了的比特流正確地進(jìn)行解碼。
      另外,在上述實(shí)施方式3中的插值圖像生成部43中,通過(guò)基于上述W. T. Freeman et al. (2000)公開的技術(shù)的超分辯率處理,生成了虛擬像素精度的參照?qǐng)D像207,但超分辯率處理自身不限于該技術(shù),而也可以應(yīng)用其他任意的超分辯率技術(shù)來(lái)生成虛擬像素精度的參照?qǐng)D像207。
      另外,在由計(jì)算機(jī)構(gòu)成上述實(shí)施方式廣3的運(yùn)動(dòng)圖像編碼裝置的情況下,也可以將記述了塊分割部2、編碼控制部3、切換部6、內(nèi)部預(yù)測(cè)部8、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部9、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器14、變換/量化部19、逆量化/逆變換部22、可變長(zhǎng)編碼部23、環(huán)路濾波器部 27、內(nèi)部預(yù)測(cè)用存儲(chǔ)器28的處理內(nèi)容的運(yùn)動(dòng)圖像編碼程序保存到計(jì)算機(jī)的存儲(chǔ)器,并使計(jì)算機(jī)的CPU執(zhí)行存儲(chǔ)器中保存的運(yùn)動(dòng)圖像編碼程序。
      同樣地,在由計(jì)算機(jī)構(gòu)成實(shí)施方式廣3的運(yùn)動(dòng)圖像解碼裝置的情況下,也可以將記述了可變長(zhǎng)解碼部61、逆量化/逆變換部66、切換部68、內(nèi)部預(yù)測(cè)部69、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部 70、運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀存儲(chǔ)器75、內(nèi)部預(yù)測(cè)用存儲(chǔ)器77、環(huán)路濾波器部78的處理內(nèi)容的運(yùn)動(dòng)圖像解碼程序保存到計(jì)算機(jī)的存儲(chǔ)器,并使計(jì)算機(jī)的CPU執(zhí)行存儲(chǔ)器中保存的運(yùn)動(dòng)圖像解碼程序。
      產(chǎn)業(yè)上的可利用件
      本發(fā)明的運(yùn)動(dòng)圖像編碼裝置以及運(yùn)動(dòng)圖像解碼裝置能夠針對(duì)宏塊內(nèi)的成為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的單位的每個(gè)區(qū)域,適應(yīng)性地切換變換塊大小來(lái)進(jìn)行壓縮編碼,所以適用于將運(yùn)28動(dòng)圖像分割為規(guī)定區(qū)域并按照區(qū)域單位進(jìn)行編碼的運(yùn)動(dòng)圖像編碼裝置、和按照規(guī)定區(qū)域單位對(duì)編碼了的運(yùn)動(dòng)圖像進(jìn)行解碼的運(yùn)動(dòng)圖像解碼裝置。
      權(quán)利要求
      1.一種運(yùn)動(dòng)圖像編碼裝置,其特征在于,具備 塊分割部,輸出把將輸入圖像分割為規(guī)定大小的多個(gè)塊得到的宏塊圖像根據(jù)編碼模式分割為I個(gè)以上的塊而得到的塊圖像; 內(nèi)部預(yù)測(cè)部,如果輸入了所述塊圖像,則針對(duì)該塊圖像,使用幀內(nèi)的圖像信號(hào)來(lái)進(jìn)行幀內(nèi)預(yù)測(cè)而生成預(yù)測(cè)圖像; 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部,如果輸入了所述塊圖像,則針對(duì)該塊圖像,使用I幀以上的參照?qǐng)D像來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)而生成預(yù)測(cè)圖像; 切換部,根據(jù)所述塊分割部所輸出的塊圖像的編碼模式,將該塊圖像輸入到所述內(nèi)部預(yù)測(cè)部或者所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部; 減法部,從由所述塊分割部所輸出的塊圖像,減去由所述內(nèi)部預(yù)測(cè)部或者所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部所輸出的預(yù)測(cè)圖像,而生成預(yù)測(cè)差分信號(hào); 變換/量化部,對(duì)所述預(yù)測(cè)差分信號(hào)進(jìn)行變換以及量化處理而生成壓縮數(shù)據(jù); 可變長(zhǎng)編碼部,對(duì)所述壓縮數(shù)據(jù)進(jìn)行熵編碼而復(fù)用到比特流中;以及編碼控制部,從根據(jù)所述塊圖像的塊大小而預(yù)先決定的變換塊大小的組中,將規(guī)定的變換塊大小指示給所述變換/量化部,其中, 所述變換/量化部將所述預(yù)測(cè)差分信號(hào)分割為從所述編碼控制部指示的變換塊大小的塊來(lái)進(jìn)行變換以及量化處理,生成壓縮數(shù)據(jù)。
      2.根據(jù)權(quán)利要求I所述的運(yùn)動(dòng)圖像編碼裝置,其特征在于, 所述編碼控制部向所述變換/量化部指示變換塊大小的組中包含的I個(gè)以上的各個(gè)變換塊大小,取得各自的壓縮數(shù)據(jù)來(lái)評(píng)價(jià)編碼效率,并根據(jù)該評(píng)價(jià)結(jié)果,從所述變換塊大小的組中選擇I個(gè)變換塊大小, 所述變換/量化部將預(yù)測(cè)差分信號(hào)分割為所述編碼控制部指示的所述變換塊大小的組中包含的I個(gè)以上的各個(gè)變換塊大小以及從該組中選擇的所述I個(gè)變換塊大小,進(jìn)行變換以及量化處理來(lái)生成各自的壓縮數(shù)據(jù), 所述可變長(zhǎng)編碼部按照塊圖像的塊單位,對(duì)確定從所述組中選擇的所述I個(gè)變換塊大小的信息以及其壓縮數(shù)據(jù)進(jìn)行熵編碼而復(fù)用到比特流中。
      3.—種運(yùn)動(dòng)圖像解碼裝置,其特征在于,具備 可變長(zhǎng)解碼部,將按照把圖像分割為規(guī)定大小的多個(gè)塊得到的宏塊單位進(jìn)行壓縮編碼而得到的比特流作為輸入,從該比特流,按照所述宏塊單位對(duì)編碼模式進(jìn)行熵解碼,并且按照根據(jù)該解碼出的編碼模式進(jìn)行了分割的塊單位,對(duì)預(yù)測(cè)參數(shù)、壓縮參數(shù)以及壓縮數(shù)據(jù)進(jìn)行熵解碼; 內(nèi)部預(yù)測(cè)部,如果輸入了所述預(yù)測(cè)參數(shù),則使用該預(yù)測(cè)參數(shù)中包含的內(nèi)部預(yù)測(cè)模式和幀內(nèi)的已解碼圖像信號(hào)來(lái)生成預(yù)測(cè)圖像; 運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部,如果輸入了所述預(yù)測(cè)參數(shù),則使用該預(yù)測(cè)參數(shù)中包含的運(yùn)動(dòng)矢量、和通過(guò)該預(yù)測(cè)參數(shù)中包含的參照?qǐng)D像索引而確定的參照?qǐng)D像,來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)而生成預(yù)測(cè)圖像; 切換部,根據(jù)所述解碼出的編碼模式,將所述可變長(zhǎng)解碼部解碼出的預(yù)測(cè)參數(shù)輸入到所述內(nèi)部預(yù)測(cè)部或者所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部; 逆量化/逆變換部,使用所述壓縮參數(shù),對(duì)所述壓縮數(shù)據(jù)進(jìn)行逆量化以及逆變換處理,生成解碼預(yù)測(cè)差分信號(hào);以及 加法部,對(duì)所述解碼預(yù)測(cè)差分信號(hào)相加所述內(nèi)部預(yù)測(cè)部或者所述運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)部輸出的預(yù)測(cè)圖像而輸出解碼圖像信號(hào),其中, 所述逆量化/逆變換部根據(jù)所述解碼出的編碼模式和所述壓縮參數(shù)中包含的變換塊大小信息來(lái)決定變換塊大小,按照該變換塊大小的塊單位對(duì)所述壓縮數(shù)據(jù)進(jìn)行逆變換以及逆量化處理。
      全文摘要
      編碼控制部(3)從根據(jù)編碼模式(7)決定的變換塊大小的組中,使編碼效率成為最佳的1個(gè)變換塊大小包含于最佳壓縮參數(shù)(20a)而向變換/量化部(19)進(jìn)行指示,變換/量化部(19)將最佳預(yù)測(cè)差分信號(hào)(13a)分割為最佳壓縮參數(shù)(20a)中包含的變換塊大小的塊來(lái)進(jìn)行變換以及量化處理,生成壓縮數(shù)據(jù)(21)。
      文檔編號(hào)H04N7/30GK102934438SQ20118001832
      公開日2013年2月13日 申請(qǐng)日期2011年3月31日 優(yōu)先權(quán)日2010年4月9日
      發(fā)明者守屋芳美, 關(guān)口俊一, 杉本和夫, 淺井光太郎, 村上篤道 申請(qǐng)人:三菱電機(jī)株式會(huì)社
      網(wǎng)友詢問(wèn)留言 已有0條留言
      • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
      1