器參照上述參數遞歸地劃分IXU以重現四叉樹結構。同時，編碼器基于根據預期要產生的編碼速率的成本的比較來確定是否將LCU或CU劃分成較小的CU。在實際實踐中，如在HM參考軟件中實現的那樣，可以以自下而上的方式進行這個過程，其中從最小尺寸開始按順序進行成本計算和劃分確定。
[0092]圖2是描述由編碼器確定的塊劃分的說明圖。在圖2的示例中，IXU尺寸為64X 64像素，并且S⑶尺寸為8X8像素。附圖的左邊緣處示出的四個塊B30、B31、B32和B33是尺寸等于SCU尺寸的候選CU。塊B20是尺寸為SCU尺寸的兩倍的候選CU。編碼器首先計算用于四個塊B30、B31、B32和B33以及塊B20的各自的成本，并且比較塊B30、塊B31、塊B32和塊B33的總成本與塊B20的成本(過程P1)。隨后，在前者的成本較低的情況下，編碼器確定將塊B20劃分為B30、塊B31、塊B32和塊B33。相反地，在后者的成本較低的情況下，編碼器確定不劃分塊B20。此外，當針對四個塊B20、B21、B22和B23的劃分確定完成時，編碼器計算塊BlO的成本，并且比較塊B20、塊B21、塊B22和塊B23的總成本與塊BlO的成本(過程P2)。隨后，在前者的成本較低的情況下，編碼器確定將塊BlO劃分為塊B20、塊B21、塊B22和塊B23。相反地，在后者的成本較低的情況下，編碼器確定不劃分塊B10。此外，當針對四個塊B10、BlU B12和B13劃分確定完成時，編碼器計算塊BOO的成本，并且比較塊B10、塊B11、塊B12和塊B13的總成本與塊BOO的成本(過程P3)。隨后，在前者的成本較低的情況下，編碼器確定將塊BOO劃分為塊B10、塊B11、塊B12和塊B13。相反地，在后者的成本較低的情況下，編碼器確定不劃分塊B00。在候選⑶尺寸達到IXU尺寸的情況下，對于較大的尺寸不進行成本計算和成本比較。分裂標志(split_cu_flag)將這種劃分確定表示為值O (不劃分)或I (劃分)。
[0093]圖3A和圖3B是描述用于劃分確定的處理序列的示例的說明圖。圖3A示出了在本說明書中使用的塊的標簽。僅一個64X64像素CU存在于LCU內，并且將該CU標記為“64X64(0) ”。四個32X32像素⑶存在于IXU內，并且將這些⑶按順序從左上、右上、左下、右下標記為從“32 X 32 (O)”到“32 X 32(3)”。十六個16 X 16像素⑶存在于IXU內，并且將這些⑶按圖中所示的順序標記為從“16X 16(0) ”到“16X 16(15) ”。六十四個8X8像素⑶存在于IXU內，并且將這些⑶按圖中所示的順序標記為從“8 X 8 (O) ”到“8 X 8 (63) ”。圖3B圖解地示出了針對這些CU的成本計算過程和劃分確定(成本比較)過程的順序的示例。成本計算過程表示為“成本{X}”，并且劃分確定過程表示為“比較{X}”，其中X是要處理的塊的標簽。應注意，在實際實踐中，也可以并行進行若干處理。如圖3B中所示，在最大的情況下，成本計算過程執(zhí)行64+16+4+1 = 85次，并且劃分確定過程執(zhí)行16+4+1 = 21次。
[0094]然而，如果試圖執(zhí)行圖3B中所示的綜合成本計算和成本比較，那么處理負荷變得非常大，并且編碼器的資源效率降低。例如，對于由電池驅動的移動設備，過大的負荷可能會縮短電池壽命。在設備缺乏足夠的處理器性能或存儲器容量的情況下，過大的負荷甚至可能妨礙過程的正常進度。此外，即使在設備具有足夠的處理器性能和存儲器容量的情況下，如果有大量的處理，那么編碼處理需要時間。因此，在接下來的章節(jié)中所描述的實施方式中，設置除了正常操作模式以外的新的操作模式，以使得能夠適當地控制處理負荷。采用新的操作模式，通過限制劃分深度進行處理，可以有效利用編碼資源，并且減少處理負荷。應注意，在本說明書中，為了方便起見，正常操作模式被指定為“正常模式”，并且其中有效利用資源的操作模式被指定為“資源節(jié)約模式”。
[0095]<2.第一實施方式〉
[0096]<2-1.整體配置>
[0097]圖4是示出根據第一實施方式的圖像編碼裝置10的示意性配置的框圖。參照圖4，圖像編碼裝置10配備有重排序緩沖器11、相減部13、正交變換部14、量化部15、無損編碼部16、累積緩沖器17、速率控制部18、逆量化部21、逆正交變換部22、相加部23、環(huán)路濾波器24、幀存儲器25、選擇部26和選擇部27、幀內預測部30、幀間預測部35以及塊劃分部
40 ο
[0098]重排序緩沖器11對包括在圖像數據的序列中的圖像進行重排序。在根據編碼處理根據圖片組(GOP)結構對圖像進行重排序之后，重排序緩沖器11將經重排序的圖像數據輸出至相減部13、幀內預測部30、幀間預測部35以及塊劃分部40。
[0099]給相減部13提供從重排序緩沖器11輸入的圖像數據以及從后述的幀內預測部30或幀間預測部35輸入的預測圖像數據。相減部13計算預測誤差數據，并且將所計算的預測誤差數據輸出至正交變換部14，預測誤差數據是從重排序緩沖器11輸入的圖像數據與預測圖像數據之間的差。
[0100]正交變換部14對從相減部13輸入的預測誤差數據進行正交變換。例如，正交變換部14所執(zhí)行的正交變換可以是離散余弦變換(DCT)或卡洛(Karhunen-Loeve)變換。針對通過劃分⑶而形成的每個變換單元(TU)執(zhí)行正交變換。自適應地從4X4像素、8X8像素、16 X 16像素以及32 X 32像素選擇TU尺寸。正交變換部14將通過正交變換處理獲得的變換系數數據輸出至量化部15。
[0101]給量化部15提供從正交變換部14輸入的變換系數數據和來自將在下面描述的速率控制部18的速率控制信號。量化部15用根據速率控制信號確定的量化步長對變換系數數據進行量化。量化部15將量化后的變換系數數據(下文中稱為量化數據)輸出至無損編碼部16和逆量化部21。
[0102]無損編碼部16通過對從量化部15輸入的量化數據進行無損編碼過程來生成編碼流。此外，無損編碼部16對解碼器所參考的各種參數進行編碼，并且將已編碼參數插入到編碼流的頭區(qū)域中。由無損編碼部16編碼的參數可以包括指定四叉樹結構的上述參數以及將在下面描述的有關幀間預測的信息和有關幀內預測的信息。然后，無損編碼部16將所生成的編碼流輸出至累積緩沖器17。
[0103]累積緩沖器17使用存儲介質如半導體存儲器暫時緩沖從無損編碼部16輸入的編碼流。然后，累積緩沖器17根據傳輸通道的帶寬以一定速率將緩沖的編碼流輸出至未示出的傳輸部(例如，通信接口或與外圍設備連接的連接接口)。
[0104]速率控制部18監(jiān)視累積緩沖器17中的空閑空間。然后，速率控制部18根據累積緩沖器17中的空閑空間生成速率控制信號，并且將所生成的速率控制信號輸出至量化部15。例如，當累積緩沖器17中沒有太多空閑空間時，速率控制部18生成用于降低量化數據的比特率的速率控制信號。此外，例如，當累積緩沖器17中的空閑空間足夠大時，速率控制部18生成用于增大量化數據的比特率的速率控制信號。
[0105]逆量化部21、逆正交變換部22以及相加部23形成局部解碼器。逆量化部21采用與量化部15所使用的量化步長相同的量化步長對量化數據進行逆量化，并且重構變換系數數據。然后，逆量化部21將重構的變換系數數據輸出至逆正交變換部22。
[0106]逆正交變換單元22通過對從逆量化部21輸入的變換系數數據進行逆正交變換來重構預測誤差數據。類似于正交變換，針對每個TU執(zhí)行逆正交變換。然后，逆正交變換部22將重構的預測誤差數據輸出至相加部23。
[0107]相加部23通過將從逆正交變換部22輸入的重構的預測誤差數據和從幀內預測部30或幀間預測部35輸入的預測圖像數據相加來生成解碼圖像數據(重構圖像)。然后，相加部23將所生成的解碼圖像數據輸出至環(huán)路濾波器24和幀存儲器25。
[0108]環(huán)路濾波器24包括用于改進圖像質量的濾波器組，如去塊濾波器(DF)、樣本自適應偏移(SAO)濾波器以及自適應環(huán)路濾波器(ALF)。環(huán)路濾波器24對從相加部23輸入的解碼圖像數據進行濾波并且將經濾波的解碼圖像數據輸出至幀存儲器25。
[0109]幀存儲器25使用存儲介質存儲從相加部23輸入的濾波前的解碼圖像數據以及從環(huán)路濾波器24輸入的經濾波的解碼圖像數據。
[0110]選擇部26從幀存儲器25中檢索要用于幀內預測的濾波前的解碼圖像數據并且將檢索到的解碼圖像數據作為參考圖像數據提供給幀內預測部30。此外，選擇部26從幀存儲器25中檢索要用于幀間預測的經濾波的解碼圖像數據并且將檢索到的解碼圖像數據作為參考圖像數據提供給幀間預測部35。
[0111]在幀內預測模式下，選擇部27將預測圖像數據作為從幀內預測部30輸出的幀內預測的結果輸出至相減部13，并且還將有關幀內預測的信息輸出至無損編碼部16。此外，在幀間預測模式下，選擇部27將預測圖像數據作為從幀間預測部35輸出的幀間預測的結果輸出至相減部13，并且還將有關幀間預測的信息輸出至無損編碼部16。選擇部27根據成本大小在幀間預測模式和幀內預測模式間切換。
[0112]幀內預測部30基于原始圖像數據和解碼圖像數據對通過劃分CU而形成的每個預測單元(PU)執(zhí)行幀內預測處理。例如，幀內預測部30針對預測模式集合中的每個候選模式使用指定的成本函數來評估預測結果。接下來，幀內預測部30選擇產生最小成本的預測模式作為最佳預測模式，或者換言之，選擇產生最大壓縮比的預測模式作為最佳預測模式。此外，幀內預測部30根據最佳預測模式生成預測圖像數據。然后，幀內預測部30將包括表示所選擇的最佳預測模式的預測模式信息的與幀內預測有關的信息、以及成本和預測圖像數據輸出至選擇部27。
[0113]幀間預測部35基于原始圖像數據和解碼圖像數據對通過劃分CU而形成的每個HJ執(zhí)行幀間預測處理。例如，幀間預測部35針對預測模式集合中的每個候選模式使用指定的成本函數來評估預測結果。接下來，幀間預測部35選擇產生最小成本的預測模式作為最佳預測模式，或者換言之，選擇產生最大壓縮比的預測模式作為最佳預測模式。此外，幀間預測部35根據最佳預測模式生成預測圖像數據。然后，幀間預測部35將包括表示所選擇的最佳預測模式的預測模式信息和運動信息的與幀內預測有關的信息以及成本和預測圖像數據輸出至選擇部27。
[0114]針對在圖像中配置的每個LCU，塊劃分部40配置⑶的四叉樹結構。更具體地，塊劃分部40將LCU以柵格布置在圖像上。此外，塊劃分部40將每個LCU劃分成多個候選CU。隨后，如圖2所示，塊劃分部40針對給定尺寸的四個候選CU的以及兩倍尺寸的候選CU的計算成本。然后塊劃分部40比較四個候選CU的總的成本與兩倍尺寸的候選CU的成本，并且確定是否劃分兩倍尺寸的候選CU。當累積從SCU尺寸上至LCU尺寸的成本時，塊劃分部40執(zhí)行這種成本計算和劃分確定，并且在各LCU中配置優(yōu)化編碼效率的CU的四叉樹結構。此外，在本實施方式中，塊劃分部40根據與資源效率相關的操作模式控制上述過程中的塊劃分深度。在操作模式的選擇中提供至少兩種類型。第一操作模式是正常模式，而第二操作模式是資源節(jié)約模式。相對于正常模式，在資源節(jié)約模式下，用于成本計算和劃分確定處理的CU尺寸的范圍限制在較窄的范圍內。應注意，也可以設置具有不同CU尺寸限制水平的多個資源節(jié)約模式。
[0115]〈2-2.塊劃分部的詳細配置〉
[0116]在本章節(jié)中，將描述塊劃分部40的詳細配置的幾個示例。
[0117](I)第一示例配置
[0118]圖5A是示出塊劃分部40的詳細配置的第一示例的框圖。參考圖5A，塊劃分部40配備有模式控制部41和塊設置部47。例如，模式控制部41和塊設置部47可以是由處理器如中央處理單元(CPU)或數字信號處理器(DSP)執(zhí)行的程序模塊。
[0119]模式控制部41確定與資源效率相關的操作模式，并且根據所確定的模式通過塊設置部47控制塊劃分深度。模式控制部41可以選擇任何數量的操作模式候選。例如，操作模式候選包括上面討論的正常模式和資源節(jié)約模式。在選擇正常模式的情況下，在不限制塊劃分深度的情況下，模式控制部41使用CU的各種可用尺寸，使得能夠以高質量解碼圖像。另一方面，相對于正常模式，資源節(jié)約模式指示資源效率優(yōu)先。在選擇資源節(jié)約模式的情況下，模式控制部41由塊設置部47限制塊劃分深度。
[0120]作為示例，資源效率可以是指電池使用效率。在這種情況下，在資源節(jié)約模式下，減少電池消耗優(yōu)先于圖像質量。例如，模式控制部41可以監(jiān)視給圖像編碼裝置10供電的電池的電量，并且在電池電量低于閾值的情況將操作模式自動設置為資源節(jié)約模式?？梢栽陔姵仉娏坎坏陀陂撝档那闆r下將操作模式設置為正常模式?；蛘?，例如，在圖像編碼裝置10未連接到外部電源的情況下(即，通過電池驅動)，模式控制部41可以將操作模式自動地設置為資源節(jié)約模式。在圖像編碼裝置10連接到外部電源的情況下，可以將操作模式設置為正常模式。此外，模式控制部41也可以結合這兩個標準。例如，在圖像編碼裝置10未連接到外部電源且電池電量低于閾值的情況下，將操作模式設置為資源節(jié)約模式。
[0121]作為另一示例，資源效率可以是指處理資源如處理器、存儲器或邏輯電路的使用效率。在這種情況下，在資源節(jié)約模式下，優(yōu)先考慮有效地利用處理資源。此外，例如，所產生的過量的處理資源可以用于實現較高的幀速率。否則，可以通過提前執(zhí)行稍后討論的過程來加速編碼過程。
[0122]模式控制部41也可以設置由用戶輸入指定的操作模式?？梢越浻捎脩艚涌谌缭O置在設備中的觸摸面板、按鈕、開關、調節(jié)控制盤或者語音輸入接口來獲取用戶輸入。圖6A和圖6B分別示出了使用戶能夠指定操作模式的用戶接口的示例。在圖6A的第一示例中，操作模式指定窗口 Wl是可以顯示在觸摸面板上的窗口。操作模式指定窗口 Wl包括滑塊SD1。用戶能夠通過向左向右拖動滑塊SDl來指定三種操作模式之一。例如，在滑塊SDl位于左邊緣的情況下，資源效率模式被選擇，并且可以優(yōu)先考慮減少電池消耗。在滑塊SDl位于右邊緣的情況下，正常模式被選擇，并且可以圖像質量優(yōu)先。在滑塊SDl位于中間的情況下，中間操作模式被選擇。在圖6B的第二示例中，操作模式指定窗口 W2是可以顯示在屏幕上的窗口。操作模式指定窗口 W2包括復選框CBl。用戶能夠通過指定復選框CBl中列出的候選之一來指定兩種操作模式之一。例如，在指定頂部候選的情況下，為一種類型的資源效率模式的快速模式被選擇，并且塊劃分深度被限制以加速編碼處理。在指定底部候選的情況下，正常模式被選擇，并且圖像質量可以優(yōu)先于處理速率。應注意，替代如圖6A和圖6B中所示的那樣使用戶指定操作模式，也可以設置使用戶能夠指定劃分深度限制值的用戶接
□ O
[0123]作為另一示例，在拍攝圖像的裝置的快速運動的情況下，模式控制部41也可以將操作模式自動地設置為資源節(jié)約模式。例如，模式控制部41可以基于來自結合攝像機設置的傳感器(例如，如加速度傳感器或陀螺儀傳感器)的輸出監(jiān)視表示攝像機運動的指標(如加速度、速度或角速度)。通常，在快速攝像機運動的情況下，由于預測編碼的較低精度，所以難以保持高的圖像質量。此外，當視角快速變化時，用戶的視覺特性傾向于不過度感知圖像質量劣化。因此，在快速攝像機運動的條件下自動設置資源節(jié)約模式并且有效利用資源優(yōu)先于保持圖像質量是有價值的。
[0124]針對一個或更多個IXU中的每個IXU，塊設置部47配置具有通過遞歸地劃分該LCU而形成的四叉樹結構的一個或更多個CU。如前面所討論的，可用CU尺寸的范圍由SCU尺寸和LCU尺寸限定。塊設置部47通過輸入輸入信息如原始圖像數據以及來自幀內預測或幀間預測的預測結果將每個候選CU的成本計算為成本函數。隨后，塊設置部47通過比較該候選CU的成本與對應于該候選CU的四個較小CU的成本來確定是否劃分候選CU。塊設置部47按順序從SCU尺寸上至IXU尺寸重復執(zhí)行這種成本計算和劃分確定，并且在每個IXU中配置因此得出的⑶的四叉樹結構。
[0125]塊設置部47生成用于指定在每個LCU中配置的四叉樹結構的參數。除了指定SCU尺寸和LCU尺寸的參數以外，由塊設置部47生成的參數包括指定塊劃分深度的分裂標志集。遞歸地指定分裂標志。換言之，如果給定的塊被劃分成四個CU，則分裂標志指定生成了劃分，并且然后還生成指示是否劃分四個⑶中的每個⑶的分裂標志。由塊設置部47生成的這些參數被無損編碼部16編碼。
[0126]如前面討論的，由模式控制部41根據與資源效率相關的操作模式來控制塊設置部47中的塊劃分深度。作為示例，在資源節(jié)約模式下，模式控制部41可以限制塊設置部47中的塊劃分深度，以使得CU不具有多個可用尺寸之中的較小尺寸。在這種情況下，禁止在深層中的塊劃分。在禁止在深層中的塊劃分的第一技術中，針對尺寸等于SCU尺寸的CU，模式控制部41使塊設置部47跳過成本計算和成本比較。針對尺寸為兩倍SCU尺寸的CU的分裂標志都指示O (不劃分)。根據第一技術，可以改變劃分深度同時保持SCU尺寸設置，或者換言之，不更新SPS。針對尺寸大于SCU尺寸的CU，可以另外跳過成本計算和成本比較。在禁止深層中的塊劃分的第二技術中，模式控制部41調整SCU尺寸的值，使該值增大到大于正常模式的值。根據第二技術，可以減少用于指定四叉樹結構的分裂標志的數量。此外，因為SPS被重新定義