專利名稱：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本公開涉及圖像處理設(shè)備和圖像處理方法。
背景技術(shù)：
H.264/AVC作為一個用于圖像編碼方案的標(biāo)準(zhǔn)規(guī)格，例如為了防止由于當(dāng)對圖像編碼時的塊失真而使圖像質(zhì)量劣化，向以每個含有4X4像素的塊的單位的塊邊界適用去塊濾波器(deblocking filter)。去塊濾波器要求大量的處理，并可以占到例如圖像解碼中整個處理量的50%。致力于作為下一代圖像編碼系統(tǒng)的高效率的視頻編碼(HEVC)的標(biāo)準(zhǔn)，根據(jù)JCTVC-Al 19 (參見非專利文獻I)，提出了將去塊濾波器適用于每個含有8X8像素以上的塊的單位。JCTVC-A119中提出的技術(shù)增加了作為適用去塊濾波器的最小單位的塊尺寸，以在一個宏塊內(nèi)相同的方向的塊邊界并行執(zhí)行濾波處理。引用列表非專利文獻非專利文獻1:K.Ugur (Nokia)，K.R.Andersson (LM Ericsson), A.Fuldseth(Tandberg Telecom)，〃JCTVC_A119:Video coding technology proposal byTandberg, Nokia, and Ericsson", Documents of the first meeting of the JointCollaborative Team on Video Coding(JCT-VC)，Dresden, Germany, 2010年4月 15-23 日。

發(fā)明內(nèi)容

技術(shù)問題然而，JCTVC-Al 19中提出的技術(shù)沒有解決在垂直塊邊界上的處理與在水平塊邊界上的處理之間的依賴性。依然難以使在一個宏塊(或者一個編碼單位)內(nèi)在不同方向的塊邊界上的并行處理能夠進行，以及使宏塊之間的并行處理能夠進行。從而，上述技術(shù)無法成功解決當(dāng)適用了去塊濾波器時由于大處理量導(dǎo)致的延遲的問題和數(shù)據(jù)率的降低。根據(jù)本公開的技術(shù)旨在提供一種當(dāng)適用了去塊濾波器時能夠提供并行處理的圖像處理設(shè)備和圖像處理方法。解決問題的方案根據(jù)本公開的實施例，提供一種圖像處理設(shè)備，包含:解碼部，構(gòu)成為從編碼流解碼圖像；確定部，構(gòu)成為執(zhí)行確定處理，確定是否對在由解碼部解碼的圖像內(nèi)跨塊邊界而鄰接的鄰接塊適用去塊濾波器；濾波部，構(gòu)成為對確定部已經(jīng)確定為適用去塊濾波器的鄰接塊適用去塊濾波器；以及控制部，構(gòu)成為使確定部使用重構(gòu)圖像的鄰接塊的像素作為參考像素，執(zhí)行對于垂直塊邊界和水平塊邊界的確定處理。圖像處理設(shè)備可以典型地實現(xiàn)為用于對圖像解碼的圖像解碼設(shè)備。此外，根據(jù)本公開的實施例，提供一種圖像處理方法，包含:從編碼流解碼圖像；執(zhí)行確定處理，確定是否對在解碼的圖像內(nèi)跨塊邊界而鄰接的鄰接塊適用去塊濾波器；對在確定處理中已被確定為適用去塊濾波器的鄰接塊適用去塊濾波器；以及以如下方式控制確定處理:使用重構(gòu)圖像的鄰接塊的像素作為參考像素，執(zhí)行對于垂直塊邊界和水平塊邊界的確定處理。此外，根據(jù)本公開的實施例，提供一種圖像處理設(shè)備，包含:確定部，構(gòu)成為執(zhí)行確定處理，確定在待編碼的圖像被編碼時是否對被局部解碼的圖像內(nèi)跨塊邊界而鄰接的鄰接塊適用去塊濾波器；濾波部，構(gòu)成為對確定部已經(jīng)確定為適用去塊濾波器的鄰接塊適用去塊濾波器；控制部，構(gòu)成為使確定部使用重構(gòu)圖像的鄰接塊的像素作為參考像素，執(zhí)行對于垂直塊邊界和水平塊邊界的確定處理；以及編碼部，構(gòu)成為使用由濾波部濾波的圖像，將待編碼的圖像編碼。圖像處理設(shè)備可以典型地實現(xiàn)為用于對圖像編碼的圖像編碼設(shè)備。根據(jù)本公開的實施例，提供一種圖像處理方法，包含:執(zhí)行確定處理，確定在待編碼的圖像被編碼時是否對被局部解碼的圖像內(nèi)跨塊邊界而鄰接的鄰接塊適用去塊濾波器；對在確定處理中已被確定為適用去塊濾波器的鄰接塊適用去塊濾波器；以如下方式控制確定處理:使用重構(gòu)圖像的鄰接塊的像素作為參考像素，執(zhí)行對于垂直塊邊界和水平塊邊界的確定處理；以及使用由去塊濾波器濾波的圖像，將待編碼的圖像編碼。

發(fā)明的有利效果如上所述，根據(jù)本公開的圖像處理設(shè)備和圖像處理方法，當(dāng)適用了去塊濾波器時進一步改善了并行處理。


圖1是示出根據(jù)實施例的圖像編碼設(shè)備的配置的示例的框圖。圖2是示出根據(jù)實施例的圖像解碼設(shè)備的配置的示例的框圖。圖3是示出在邊界周圍的鄰接像素的示例的說明圖。圖4是示出根據(jù)現(xiàn)有技術(shù)的在濾波需要確定處理中的參考像素的說明圖。圖5是示出由濾波處理更新的像素的說明圖。圖6是示出用于說明實施例的邊緣的標(biāo)識的說明圖。圖7是示出根據(jù)現(xiàn)有技術(shù)的并行處理的說明圖。圖8是示出根據(jù)現(xiàn)有技術(shù)的處理之間的依賴性的第一說明圖。圖9是示出根據(jù)現(xiàn)有技術(shù)的處理之間的依賴性的第二說明圖。圖10是示出根據(jù)現(xiàn)有技術(shù)的處理的順序的說明圖。圖11是示出根據(jù)第一工作例的在濾波需要確定處理中的參考像素的第一說明圖。圖12是示出根據(jù)第一工作例的在濾波需要確定處理中的參考像素的第二說明圖。圖13是示出處理順序的第一示例的說明圖。圖14是示出處理順序的第二示例的說明圖。圖15是示出根據(jù)第一工作例的去塊濾波器的詳細配置的框圖。圖16是示出確定部的詳細配置的框圖。圖17是示出片邊界周圍的鄰接塊的說明圖。
圖18是示出對于每個片的處理的順序的第一示例的說明圖。圖19是示出對于每個片的處理的順序的第二示例的說明圖。圖20是示出根據(jù)實施例的去塊濾波器的處理流程的第一示例的流程圖。圖21是示出根據(jù)實施例的去塊濾波器的處理流程的第二示例的流程圖。圖22是示出根據(jù)實施例的濾波需要確定處理的流程的流程圖。圖23是示出根據(jù)第二工作例的去塊濾波器的詳細配置的框圖。圖24是示出由第二工作例提供的確定技術(shù)的第一和第二示例的說明圖。圖25是示出由第二工作例提供的確定技術(shù)的第三和第四示例的說明圖。圖26是示出由第二工作例提供的確定技術(shù)的第五和第六示例的說明圖。圖27是示出對于每個IXU的處理順序的說明圖。圖28是示出對于每個IXU的處理流程的流程圖。圖29是示出第三工作例的概要的說明圖。圖30是示出根據(jù)第三工作例的去塊濾波器的詳細配置的框圖。圖31是 示出對于加權(quán)平均的加權(quán)的確定的說明圖。圖32是示出對于加權(quán)平均的加權(quán)的示例的說明圖。圖33是示出根據(jù)第三工作例的來自計算部的輸出像素值的說明圖。圖34是示出用于比較的處理順序的第一示例的說明圖。圖35是示出由第三工作例提供的處理順序的第一示例的說明圖。圖36是示出用于比較的處理順序的第二示例的說明圖。圖37是示出由第三工作例提供的處理順序的第二示例的說明圖。圖38是示出根據(jù)第三工作例的去塊濾波器的處理流程的第一示例的流程圖。圖39是示出圖38所示的像素值計算處理的流程的流程圖。圖40是示出多視圖編解碼器(multiview codec)的說明圖。圖41是示出適用于多視圖編解碼器的根據(jù)實施例的圖像編碼處理的說明圖。圖42是示出適用于多視圖編解碼器的根據(jù)實施例的圖像解碼處理的說明圖。圖43是示出可擴展編解碼器(scalable codec)的說明圖。圖44是示出適用于可擴展編解碼器的根據(jù)實施例的圖像編碼處理的說明圖。圖45是示出適用于可擴展編解碼器的根據(jù)實施例的圖像解碼處理的說明圖。圖46是示出電視裝置的概要配置的框圖。圖47是示出移動電話的概要配置的框圖。圖48是示出記錄/再現(xiàn)設(shè)備的概要配置的框圖。圖49是示出圖像捕獲設(shè)備的概要配置的框圖。附圖標(biāo)記列表10,60圖像處理設(shè)備112-1至112-n，212-l至212-n第一確定部(垂直邊界確定部)114-1至114-n，214-l至214-n第二確定部(水平邊界確定部)132-1至132-n，332-1至332_n第一濾波部(水平濾波部)142-1至142-n，342-1至342_n第二濾波部(垂直濾波部)150并行化控制部
208線存儲器(存儲器)360計算部實施例的說明以下，將參考附圖來詳細說明本發(fā)明的優(yōu)選實施例。需要注意的是，在該說明書和附圖中，具有實質(zhì)相同的功能和結(jié)構(gòu)的要素被標(biāo)注了相同的標(biāo)號，省略重復(fù)的解釋。實施例的說明將以下面的順序說明。1.裝置概要11.圖像編碼設(shè)備12.圖像解碼設(shè)備2.現(xiàn)有技術(shù)21.去塊濾波器的基本配置22.根據(jù)現(xiàn)有 技術(shù)的處理之間的依賴性3.第一工作例31.去塊濾波器配置示例32.處理流程4.第二工作例41.去塊濾波器配置示例42.處理流程43.對于每個IXU的處理示例5.第三工作例51.概要52.去塊濾波器配置示例53.處理順序示例54.處理流程6.對各種編解碼器的應(yīng)用61.多視圖編解碼器62.可擴展編解碼器7.示例應(yīng)用8.總結(jié)1.裝置概要參考圖1和2，下面說明本說明書公開的技術(shù)可適用的裝置的概要。本說明書公開的技術(shù)能夠適用于例如圖像編碼設(shè)備和圖像解碼設(shè)備。[11.圖像編碼設(shè)備]圖1是示出根據(jù)實施例的圖像編碼設(shè)備的配置的示例的框圖。參考圖1，圖像編碼設(shè)備10包含:A/D (模擬至數(shù)字)轉(zhuǎn)換部11、重排緩沖器12、減法部13、正交變換部14、量化部15、無損編碼部16、累加緩沖器17、碼率控制部18、逆量化部21、逆正交變換部22、加法部23、去塊濾波器24a、幀存儲器25、選擇器26、幀內(nèi)預(yù)測部30、運動估計部40和模式選擇部50。A/D轉(zhuǎn)換部11將以模擬格式輸入的圖像信號轉(zhuǎn)換為數(shù)字格式的圖像數(shù)據(jù)，并將一系列數(shù)字圖像數(shù)據(jù)輸出至重排緩沖器12。重排緩沖器12將包含在從A/D轉(zhuǎn)換部11輸入的一系列圖像數(shù)據(jù)的圖像重排。在根據(jù)編碼處理的GOP (圖畫的群組)構(gòu)造將圖像重排后，重排緩沖器12將已被重排的圖像數(shù)據(jù)輸出到減法部13、幀內(nèi)預(yù)測部30和運動估計部40。從重排緩沖器12輸入的圖像數(shù)據(jù)、和之后說明的由模式選擇部50選擇的預(yù)測的圖像數(shù)據(jù)被提供至減法部13。減法部13計算預(yù)測的誤差數(shù)據(jù)，并將計算的預(yù)測的誤差數(shù)據(jù)輸出至正交變換部14，該誤差數(shù)據(jù)是從重排緩沖器12輸入的圖像數(shù)據(jù)與從模式選擇部50輸入的預(yù)測的圖像數(shù)據(jù)之間的差分。正交變換部14對從減法部13輸入的預(yù)測的誤差數(shù)據(jù)執(zhí)行正交變換。由正交變換部14執(zhí)行的正交變換例如可以是離散余弦變換(DCT)或者卡洛南-洛伊變換(Karhunen-Loeve transform)。正交變換部14將由正交變換處理獲取的變換系數(shù)數(shù)據(jù)輸出到量化部15。從正交變換部14輸入的變換系數(shù)數(shù)據(jù)、和之后說明的來自碼率控制部18的碼率控制信號被提供至量化部15。量化部15將變換系數(shù)數(shù)據(jù)量化，并將已被量化的變換系數(shù)數(shù)據(jù)(下文被稱為量化的數(shù)據(jù))輸出到無損編碼部16和逆量化部21。另外，量化部15基于來自碼率控制部18的碼率控制信號來切換量化參數(shù)(量化尺度)，從而改變要輸入至無損編碼部16的量化數(shù)據(jù)的比特率。從量化部15輸入的量化的數(shù)據(jù)、和之后說明的由幀內(nèi)預(yù)測部30或者運動估計部40產(chǎn)生并且由模式選擇部50選擇的有關(guān)幀內(nèi)預(yù)測或者幀間預(yù)測的信息被提供至無損編碼部16。有關(guān)幀內(nèi)預(yù)測的信息可以包含例如表明對于每個塊的最佳幀內(nèi)預(yù)測模式的預(yù)測模式信息。另外，有關(guān)幀間預(yù)測的信息可以包含例如對于每個塊的用于運動矢量的預(yù)測的預(yù)測模式信息、差分運動矢量信息、參考圖像信息等。無損編碼部16通過對量化數(shù)據(jù)執(zhí)行無損編碼處理，產(chǎn)生編碼流。由無損編碼部16進行的無損編碼例如可以是可變長度編碼或者算術(shù)編碼。此外，無損編碼部16將上述的有關(guān)幀內(nèi)預(yù)測的信息或者有關(guān)幀間預(yù)測的信息復(fù)用至編碼流的頭部(例如塊頭部、片頭部等)。然后，無損編碼部16將產(chǎn)生的編碼流輸出至累加緩沖器17。累加緩沖器17使用諸如半導(dǎo)體存儲器等存儲介質(zhì)，臨時存儲從無損編碼部16輸入的編碼流。然后，累加緩沖器17將積累的編碼流以相應(yīng)于傳輸線(或者來自圖像編碼設(shè)備10的輸出線)的頻帶的碼率輸出。碼率控制部18監(jiān)控累加緩沖器17的可用空間。然后，碼率控制部18根據(jù)累加緩沖器17的可用空間產(chǎn)生碼率控制信號，并將產(chǎn)生的碼率控制信號輸出至量化部15。例如，當(dāng)累加緩沖器17沒有太多可用空間時，碼率控制部18產(chǎn)生使量化數(shù)據(jù)的比特率降低的碼率控制信號。另外，例如，當(dāng)累加緩沖器17的可用空間充分大時，碼率控制部18產(chǎn)生使量化數(shù)據(jù)的比特率增加的碼率控制信號。逆量化部21對從量化部15輸入的量化數(shù)據(jù)執(zhí)行逆量化處理。然后，逆量化部21將由逆量化處理獲取的變換系數(shù)數(shù)據(jù)輸出到逆正交變換部22。逆正交變換部22對從逆量化部21輸 入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換處理，從而恢復(fù)預(yù)測的誤差數(shù)據(jù)。然后，逆正交變換部22將恢復(fù)的預(yù)測的誤差數(shù)據(jù)輸出至加法部23。
加法部23將從逆正交變換部22輸入的恢復(fù)的預(yù)測的誤差數(shù)據(jù)、與從模式選擇部50輸入的預(yù)測的圖像數(shù)據(jù)相加，從而產(chǎn)生解碼的圖像數(shù)據(jù)。然后，加法部23將產(chǎn)生的解碼的圖像數(shù)據(jù)輸出至去塊濾波器24a和幀存儲器25。去塊濾波器24a執(zhí)行減少在圖像編碼中發(fā)生的塊失真的濾波處理。例如，去塊濾波器24a確定對于從加法部23提供的解碼的圖像數(shù)據(jù)的每個塊邊界進行濾波的必要性，并對確定為要求濾波的邊界適用去塊濾波。去塊濾波器24a還被提供有用于確定濾波必要性的信息(例如模式信息、變換系數(shù)信息和運動矢量信息)以及來自加法部23解碼的圖像數(shù)據(jù)。在濾波之后，從解碼的圖像數(shù)據(jù)消除了塊失真，并且去塊濾波器24a將解碼的圖像數(shù)據(jù)輸出至幀存儲器25。之后將詳細說明去塊濾波器24a的處理。幀存儲器25使用存儲介質(zhì)，存儲從加法部23輸入的解碼的圖像數(shù)據(jù)、以及從去塊濾波器24a輸入的濾波后的解碼的圖像數(shù)據(jù)。選擇器26從幀存儲器25讀出用于幀內(nèi)預(yù)測的濾波前的解碼的圖像數(shù)據(jù)，并將已被讀出的解碼的圖像數(shù)據(jù)提供給幀內(nèi)預(yù)測部30作為參考圖像數(shù)據(jù)。另外，選擇器26從幀存儲器25讀出用于幀間預(yù)測的濾波后的解碼的圖像數(shù)據(jù)，并將已被讀出的解碼的圖像數(shù)據(jù)提供給運動估計部40作為參考圖像數(shù)據(jù)。幀內(nèi)預(yù)測部30基于從重排緩沖器12輸入的要編碼的圖像數(shù)據(jù)、和經(jīng)由選擇器26提供的解碼的圖像數(shù)據(jù)，執(zhí)行每個幀內(nèi)預(yù)測模式的幀內(nèi)預(yù)測處理。例如，幀內(nèi)預(yù)測部30使用預(yù)定的成本函數(shù)，評價每個幀內(nèi)預(yù)測模式的預(yù)測結(jié)果。然后，幀內(nèi)預(yù)測部30選擇成本函數(shù)值最小的幀內(nèi)預(yù)測模式，即壓縮率最高的幀內(nèi)預(yù)測模式作為最佳幀內(nèi)預(yù)測模式。此外，幀內(nèi)預(yù)測部30向模式選擇部50輸出表明最佳幀內(nèi)預(yù)測模式的預(yù)測模式信息、預(yù)測的圖像數(shù)據(jù)、和諸如成本函數(shù)值等有關(guān)幀內(nèi)預(yù)測的信息。運動估計部40基于從重排緩沖器12提供的用于編碼的圖像數(shù)據(jù)、和經(jīng)由選擇器26提供的解碼的圖像數(shù)據(jù)，執(zhí)行幀間預(yù)測處理(幀之間的預(yù)測處理)。例如，運動估計部40使用預(yù)定的成本函數(shù)，評價每 個預(yù)測模式的預(yù)測結(jié)果。然后，運動估計部40選擇最佳預(yù)測模式，即使成本函數(shù)值最小化或者使壓縮率最大化的預(yù)測模式。運動估計部40根據(jù)最佳預(yù)測模式，產(chǎn)生預(yù)測的圖像數(shù)據(jù)。運動估計部40將諸如表明最佳幀內(nèi)預(yù)測模式的預(yù)測模式信息、預(yù)測的圖像數(shù)據(jù)、和成本函數(shù)值等有關(guān)幀間預(yù)測的信息輸出至模式選擇部50。模式選擇部50將從幀內(nèi)預(yù)測部30輸入的幀內(nèi)預(yù)測相關(guān)的成本函數(shù)值、與從運動估計部40輸入的幀間預(yù)測相關(guān)的成本函數(shù)值進行比較。然后，模式選擇部50從幀內(nèi)預(yù)測和幀間預(yù)測中選擇具有較小成本函數(shù)值的預(yù)測方法。在選擇了幀內(nèi)預(yù)測的情況下，模式選擇部50將有關(guān)幀內(nèi)預(yù)測的信息輸出至無損編碼部16，并且，將預(yù)測的圖像數(shù)據(jù)輸出至減法部13和加法部23。在選擇了幀間預(yù)測的情況下，模式選擇部50將有關(guān)上述幀間預(yù)測的信息輸出至無損編碼部16，另外，將預(yù)測的圖像數(shù)據(jù)輸出至減法部13和加法部23。[12.圖像解碼設(shè)備]圖2是示出根據(jù)實施例的圖像解碼設(shè)備60的配置的示例的框圖。參考圖2，圖像解碼設(shè)備60包含累加緩沖器61、無損解碼部62、逆量化部63、逆正交變換部64、加法部65、去塊濾波器24b、重排緩沖器67、D/A (數(shù)字至模擬)轉(zhuǎn)換部68、幀存儲器69、選擇器70和71、幀內(nèi)預(yù)測部80和運動補償部90。累加緩沖器61使用存儲介質(zhì)臨時存儲經(jīng)由傳輸線輸入的編碼流。
無損解碼部62根據(jù)在編碼的時間使用的編碼方法，將從累加緩沖器61輸入的編碼流解碼。另外，無損解碼部62將復(fù)用至編碼流程的頭部區(qū)域的信息解碼。復(fù)用至編碼流程的頭部區(qū)域的信息可以包含例如塊頭部中的有關(guān)幀內(nèi)預(yù)測的信息、和有關(guān)幀間預(yù)測的信息。無損解碼部62將有關(guān)幀內(nèi)預(yù)測的信息輸出至幀內(nèi)預(yù)測部80。另外，無損解碼部62將有關(guān)幀間預(yù)測的信息輸出至運動補償部90。逆量化部63將已由無損解碼部62解碼的量化數(shù)據(jù)逆量化。逆正交變換部64通過根據(jù)在編碼時使用的正交變換方法，對從逆量化部63輸入的變換系數(shù)數(shù)據(jù)執(zhí)行逆正交變換，產(chǎn)生預(yù)測的誤差數(shù)據(jù)。然后，逆正交變換部64將產(chǎn)生的預(yù)測的誤差數(shù)據(jù)輸出至加法部65。加法部65將從逆正交變換部64輸入的預(yù)測的誤差數(shù)據(jù)、與從選擇器71輸入的預(yù)測的圖像數(shù)據(jù)相加，從而產(chǎn)生解碼的圖像數(shù)據(jù)。然后，加法部65將產(chǎn)生的解碼的圖像數(shù)據(jù)輸出至去塊濾波器24b和幀存儲器69。 去塊濾波器24b執(zhí)行減少在解碼的圖像上出現(xiàn)的塊失真的濾波處理。去塊濾波器24b確定例如在對于從加法部65輸入的解碼的圖像數(shù)據(jù)的每個塊邊界進行濾波的必要性，并對確定為要求濾波的邊界適用去塊濾波器。去塊濾波器24b還被提供有用于確定濾波必要性的信息以及來自加法部65解碼的圖像數(shù)據(jù)。在濾波之后，從解碼的圖像數(shù)據(jù)消除了塊失真，并且去塊濾波器24b將解碼的圖像數(shù)據(jù)輸出至重排緩沖器67和幀存儲器69。之后將詳細說明去塊濾波器24b的處理。重排緩沖器67通過將從去塊濾波器24b輸入的圖像重排，產(chǎn)生時間序列一系列圖像數(shù)據(jù)。然后，重排緩沖器67將產(chǎn)生的圖像數(shù)據(jù)輸出至D/A轉(zhuǎn)換部68。D/A轉(zhuǎn)換部68將從重排緩沖器67輸入的數(shù)字格式的圖像數(shù)據(jù)轉(zhuǎn)換為模擬格式的圖像信號。然后，D/A轉(zhuǎn)換部68通過將模擬圖像信號輸出至例如與圖像解碼設(shè)備60連接的顯示器(未示出)，使圖像被顯示。

幀存儲器69使用存儲介質(zhì)來存儲從加法部65輸入的濾波前的解碼的圖像數(shù)據(jù)、以及從去塊濾波器24b輸入的濾波后的解碼的圖像數(shù)據(jù)。選擇器70根據(jù)由無損解碼部62獲取的模式信息，對于圖像中的每個塊，在幀內(nèi)預(yù)測部80與運動補償部90之間切換來自幀存儲器69的圖像數(shù)據(jù)的輸出目的地。例如，在指定了幀內(nèi)預(yù)測模式的情況下，選擇器70將從幀存儲器69提供的濾波前的解碼的圖像數(shù)據(jù)輸出至幀內(nèi)預(yù)測部80作為參考圖像數(shù)據(jù)。另外，在指定了幀間預(yù)測模式的情況下，選擇器70將從幀存儲器69提供的濾波后的解碼的圖像數(shù)據(jù)輸出至運動補償部90作為參考圖像數(shù)據(jù)。選擇器71根據(jù)由無損解碼部62獲取的模式信息，對于圖像中的每個塊，在幀內(nèi)預(yù)測部80與運動補償部90之間切換要提供給加法部65的預(yù)測的圖像數(shù)據(jù)的輸出源。例如，在指定了幀內(nèi)預(yù)測模式的情況下，選擇器71向加法部65提供從幀內(nèi)預(yù)測部80輸出的預(yù)測的圖像數(shù)據(jù)。在指定了幀間預(yù)測模式的情況下，選擇器71向加法部65提供從運動補償部90輸出的預(yù)測的圖像數(shù)據(jù)。幀內(nèi)預(yù)測部80基于從無損解碼部62輸入的有關(guān)幀內(nèi)預(yù)測的信息、和來自幀存儲器69的參考圖像數(shù)據(jù)，執(zhí)行像素值的畫面內(nèi)預(yù)測(in-screen prediction)，并產(chǎn)生預(yù)測的圖像數(shù)據(jù)。然后，幀內(nèi)預(yù)測部80將產(chǎn)生的預(yù)測的圖像數(shù)據(jù)輸出至選擇器71。
運動補償部90基于從無損解碼部62輸入的有關(guān)幀間預(yù)測的信息、和來自幀存儲器69的參考圖像數(shù)據(jù)，執(zhí)行運動補償處理，并產(chǎn)生預(yù)測的圖像數(shù)據(jù)。然后，運動補償部90將產(chǎn)生的預(yù)測的圖像數(shù)據(jù)輸出至選擇器71?！?.現(xiàn)有技術(shù)〉[2-1.去塊濾波的基本配置]一般而言，使用在諸如H.264/AVC或者HEVC等現(xiàn)有圖像編碼系統(tǒng)中的去塊濾波器的處理包含兩個類型的處理，即濾波需要確定處理和濾波處理。下面說明例如HEVC中的這兩個處理。(I)濾波需要確定處理濾波需要確定處理確定是否需要將去塊濾波器適用于輸入圖像內(nèi)的塊的每個邊界。塊邊界包含彼此水平相鄰的塊之間的垂直邊界、和彼此垂直相鄰的塊之間的水平邊界。JCTVC-Al 19使用8X8像素的塊尺寸作為最小處理單位。例如，16X16像素的宏塊包含4個8X8像素的塊。對于每個塊，處理被適用于一個(左)垂直邊界和一個(頂部)水平邊界，即4個邊界加4個邊界共計等于8個邊界。說明書假定作為技術(shù)術(shù)語的宏塊包含在HEVC的環(huán)境下的編碼單位(CU)。圖3是示出邊界周圍彼此相鄰的2個塊(鄰接塊)Ba和Bb中的像素的示例的說明圖。下面作為示例說明垂直邊界，說明顯然也適用于水平邊界。圖3中的示例使用符號pij來代表塊Ba中的像素。在該符號中，i表示列索引，j表示行索引。列索引i從最靠近垂
直邊界的列依次編號為0、1、2和3 (從右到左)。行索引j從上到下編號為0、1、2......7。
塊Ba的左半部從圖中省略。符號 qkj被用于代表塊Bb中的像素。在該符號中，k表不列索引，j表示行索引。列索引k從最靠近垂直邊界的列依次編號為0、1、2和3 (從左到右)。塊Bb的右半部從圖中省略?？梢允褂孟旅娴臈l件確定對圖3示出的塊Ba與Bb之間的垂直邊界適用去塊濾波器的必要性。亮度(Luma)分量的確定條件......如果條件A和B兩者為真，則適用去塊濾波器。條件A:(Al)塊Ba或者Bb進入幀內(nèi)預(yù)測模式；(A2)塊Ba或者Bb具有非零正交變換系數(shù)；或者(A3) I MVAx-MVBx I 彡 4 或者 | MVAy-MVByI 彡 4條件B:I p22_2p12+p021 + I q22_2q12+q021 + | p25_2p15+p051 + | q25_2q15+q051〈 β條件A3假定根據(jù)Qpel (1/4像素)精度，對于塊Ba的運動矢量為(MVAx，MVAy),對于塊Bb的運動矢量為(MVBx，MVBy)。條件B使用β作為邊緣確定閾值。β的初始值是根據(jù)量化參數(shù)給定的。用于β的值是使用片頭部內(nèi)的參數(shù)可由用戶指定的。色度(Chroma)分量的確定條件......如果條件Al為真，則適用去塊濾波器。條件Al:塊Ba或者Bb進入幀內(nèi)預(yù)測模式。如圖4中的虛線框L3和L6所示，一般的垂直邊界的濾波需要確定處理(尤其是在亮度分量的確定條件B下)參考在每個塊中第三和第六行(假定最上面一行是第一)的像素。類似地，水平邊界的濾波需要確定處理參考每個塊中第三和第六列的像素(圖4中未示出)。上述確定條件被用于確定需要向邊界適用去塊濾波器，對該邊界執(zhí)行下述的濾波處理的。(2)濾波處理如果確定了需要向邊界適用去塊濾波器，那么對垂直邊界的右和左的像素、以及對水平邊界的上和下的像素執(zhí)行濾波處理。對于亮度分量，根據(jù)像素值在強濾波器和弱濾波器之間切換濾波器強度。對亮度分量濾波選擇強度...對于每個行或者列選擇濾波器強度。如果滿足了下面的條件Cl至C3的全部，則選擇強濾波器。如果其中任何一個條件不滿足，則選擇弱濾波器。(Cl) d< ( β 2)(C2) ( I Psj-Poj I + I Qoj-Q3j I ) < ( β >>3)
(C3) |p0J-q0Jl< ((5tc+l) 1)其中，j表示用于垂直邊界的行索引、或者用于水平邊界的列索引。d=|p22-2p12+p(l21 +1 q22_2q12+q021 +1 p25_2p15+p051 +1 q25_2q15+q05弱濾波器Δ =Clip (-tc, tc, (13 (q0J-p0J) +4 Cqlj-Plj) ~5 (q2j-p2j)+16) >>5))Poj=Cl ip0_255 (Poj+Δ )q0J=Clip0_255 (qoj-Δ)Plj=CliP0^255 Cplj+Δ/2)Qlj=Clip0^255 Cqlj-A/2)強濾波器Poj-Cl iPo-255
((P2 +2p!J+2p0J+2q0J+q1J+4) 3)q0J=Clip0_255 ( ( p1J+2p0J+2q0J+2q1 j+q2J+4 ) 3 )Plj=CliP
0-255
((P2 +P j+p0j+q0j+2) 2)Qlj=Clip
0-255
((P0 +q j+qlj+q2j+2) 2)P2j=Clip?！?55 (( 2ρ3」.+3ρ2」.+Ρυ.+ρ0」.+α0」.+4) 3)q2j.—Cl IPo-255
((P0 +q J+q1J+3q2J+2q3J+4) 3)其中，Clip (a,b,c)表示將值c修整(clip)至a < c < b范圍內(nèi)的處理，ClipQ_255(C)表示將值C修整至O < C ( 255的范圍內(nèi)的處理。對色度分量濾波Δ =Clip (-tc, tc, ((((q0j-p0j) 2) +P1「q!」+4) 3))Poj=Cl ip0_255 (Poj+Δ )q0J=Cl iPo-255 (q0J-A>如圖5的虛線框C6至CS以及Cl至C3所示，在一般的垂直邊界的濾波處理(尤其是對于亮度分量的強濾波器)更新在每個塊中第一至第三以及第六至第八列的像素值。類似地，在水平邊界的濾波處理更新在每個塊中的第一至第三、以及第六至第八行的像素值。[22.根據(jù)現(xiàn)有技術(shù)的處理之間的依賴性]為了說明的目的，如圖6所示，每個具有16X16像素的尺寸的宏塊MBx (ΜΒ0，MBl......)包含表示為Vx, O的左上垂直邊界,表示為Vx, I的上中垂直邊界,表示為Vx, 2的左下垂直邊界，表示為Vx，3的下中垂直邊界，表示為Hx，O的左上水平邊界，表示為Hx，I的右上水平邊界，表示為Hx，2的左中水平邊界，以及表示為Hx，3的右中水平邊界。關(guān)于邊界Z，例如，濾波需要確定處理表示為Jz，濾波處理表示為Fz。上述現(xiàn)有技術(shù)在對一個宏塊內(nèi)的相同的方向的邊界的處理之間不產(chǎn)生依賴性。因此，該技術(shù)能夠例如在對一個宏塊內(nèi)的垂直邊界和水平邊界執(zhí)行并行濾波。作為一個示例，圖7明確了在宏塊MBO內(nèi)4個濾波處理Fmtl, Fvo；1, Fv0j2和Fvcu之間沒有依賴性(沒有像素被冗余地更新)，濾波處理能夠并行執(zhí)行。然而，上述現(xiàn)有技術(shù)在對垂直邊界的濾波處理、與對水平邊界的濾波需要確定處理之間留下了依賴性?，F(xiàn)有技術(shù)還在對水平邊界的濾波處理、與對垂直邊界的濾波需要確定處理之間留下了依賴性。例如如果垂直邊界先于水平邊界被處理，那么對給定的宏塊內(nèi)的水平邊界的濾波需要確定處理需要在垂直邊界的濾波處理終止后執(zhí)行。作為一個示例，圖8示出了在宏塊MBO內(nèi)，濾波需要確定處理Jhc^ci依賴于濾波處理Fvc^和Fvcu的結(jié)果，濾波需要確定處理Jhcu依賴于濾波處理Fvcu的結(jié)果。類似地，對給定的宏塊內(nèi)的垂直邊界的濾波需要確定處理需要在對于相鄰的宏塊的水平邊界的濾波處理終止后執(zhí)行。作為一個示例，圖9示出了對于宏塊MBl的濾波需要確定處理JV1，Q依賴于對于宏塊MBO的濾波處理Fhcu和Fhcu的結(jié)果，對于宏塊MBl的的濾波需要確定處理JV1，2依賴于對于宏塊MBO的濾波處理Fhcu的結(jié)果?，F(xiàn)有技術(shù)包括處理之間的依賴性，因此即使使用JCTVC-A119中提出的技術(shù)，也僅能夠非常有限地提供去塊濾波的并行處理。圖10是示出根據(jù)現(xiàn)有技術(shù)的去塊濾波器的處理的順序的說明圖。示例假定了去塊濾波器被提供了具有32X32像素的尺寸的圖像。輸入圖像包含4個宏塊MBO至MB3，每個具有16X16像素的尺寸。在圖10中，每 虛線框代表要并行執(zhí)行的處理。例如,第一步驟對宏塊MBO中的4個垂直邊界并行執(zhí)行濾波需要確定處理Jmtl, Jvoj1, Jvoj2和3。第二步驟對宏塊MBO中的4個垂直邊界并行執(zhí)行濾波處理Fvtltl, Fvo；1, Fv0j2和FV(U。在第二步驟終止后，第三步驟對宏塊MBO中的4個水平邊界并行執(zhí)行濾波需要確定處理Jhc^JhC11JhC12和JH(U。第四步驟對宏塊MBO中的4個水平邊界并行執(zhí)行濾波處理Fhc^ Fhoi, Fh02和FH(U。在第四步驟終止后，相繼執(zhí)行對于宏塊MBl的處理(第五至第八步驟)。在宏塊MBl處理終止后，相繼執(zhí)行對于宏塊MB2的處理(第九至第十二步驟)。在宏塊MB2處理終止后，相繼執(zhí)行對于宏塊MB3的處理(第十三至第十六步驟)。有限程度內(nèi)的這樣的并行處理無法令人滿意地解決當(dāng)適用了去塊濾波器時，由于處理量大而導(dǎo)致延遲或者數(shù)據(jù)碼率劣化的問題。當(dāng)適用了定義時，下述的三個工作例進一步改善了并行處理?！?.第一工作例〉[3-1.去塊濾波器配置示例]下面說明根據(jù)第一工作例的，用于圖1所示的圖像編碼設(shè)備10的去塊濾波器24a、和用于圖2所示的圖像解碼設(shè)備60的去塊濾波器24b的示例配置。去塊濾波器24a和去塊濾波器24b的配置可以彼此相同。在下面的說明中，當(dāng)不需要在它們之間區(qū)分時，去塊濾波器24a和去塊濾波器24b還被通稱為去塊濾波器24。
( I)新的處理之間的依賴性根據(jù)工作例，使用去塊濾波器24的處理也包含兩個類型的處理，即濾波需要確定處理和濾波處理。然而，去塊濾波器24使用不同于現(xiàn)有技術(shù)的參考像素的值來確定是否對垂直邊界和水平邊界適用去塊濾波。更具體而言，對于對垂直邊界的確定，去塊濾波器24使用參考像素，即，包含于在垂直邊界周圍的相鄰的塊的像素中，并且屬于對于水平邊界不適用去塊濾波的行的像素。對于對水平邊界的確定，去塊濾波器24使用另一參考像素，即，包含于在水平邊界周圍的相鄰的塊的像素中，并且屬于對垂直邊界不適用去塊濾波的行的像素。另外在下面的說明中，去塊濾波器24例如基于8X8像素的塊尺寸作為處理單位來執(zhí)行處理。圖11是示出對垂直邊界由去塊濾波器24執(zhí)行濾波需要確定處理中的參考像素的說明圖。參考圖11，宏塊MBO具有16X16像素的尺寸。去塊濾波器24使用屬于每個塊的第四和第五行(L4和L5)中的至少一個的參考像素，確定是否向宏塊MBO的4個垂直邊界適用濾波器。對水平邊界的去塊濾波不適用于這兩行(參見圖9)。該配置消除了對水平邊界的濾波處理、與對垂直邊界的濾波需要確定處理之間的依賴性。圖12是示出對水平邊界由去塊濾波器24執(zhí)行濾波需要確定處理中的參考像素的說明圖。圖12也示出宏塊ΜΒ0。去塊濾波器24使用屬于每個塊的第四和第五列(C4和C5)中的至少一個的參考像素，確定是否對宏塊MBO的4個水平邊界適用濾波。對垂直邊界的去塊濾波不適用于這 兩列(參見圖7或者8)。該配置消除了對垂直邊界的濾波處理、與對水平邊界的濾波需要確定處理之間的依賴性。消除處理之間的依賴性于是能夠使對一個宏塊內(nèi)的垂直邊界和水平邊界的濾波需要確定處理并行化。宏塊之間的處理可以并行化。濾波需要確定處理能夠?qū)斎雸D像內(nèi)所有宏塊的垂直邊界和水平邊界并行執(zhí)行。圖13是示出在去塊濾波器24可用的處理順序的第一示例的說明圖。示例還假定了去塊濾波被提供了具有32X32像素的尺寸的圖像。輸入圖像包含4個宏塊MBO至MB3，每個具有16X16像素的尺寸。在圖13中，每個虛線框代表要并行執(zhí)行的處理。圖10中的示例對于一系列的處理要求16個處理步驟，圖13中的示例將相同的數(shù)量的處理聚合為3個處理步驟。第一步驟對所有宏塊MBO至MB3的所有垂直邊界和所有水平邊界并行執(zhí)行濾波需要確定處理Jvtl。至3和JHo，o至JH3，3。第二步驟對所有宏塊的MBO至MB3的16個垂直邊界并行執(zhí)行濾波處理Fmtl至FV3，3。第三步驟對所有宏塊MBO至MB3的16個水平邊界并行執(zhí)行濾波處理Fhciq和FH3，3。第二步驟和第三步驟可以以相反的順序執(zhí)行。圖13中的示例基于宏塊之間的并行處理，使并行度(并行執(zhí)行的處理的數(shù)量)最大化。然而，根據(jù)圖14中的示例，去塊濾波器24能夠執(zhí)行對每個宏塊的處理。圖14中的示例將圖10和13所示的相同數(shù)量的處理聚合為12個處理步驟。第一步驟對宏塊MBO中的4個垂直邊界和4個水平邊界并行執(zhí)行濾波需要確定處理Jmtl至Jvtl 3和Jmo至Jm3。第二步驟對宏塊MBO中的4個垂直邊界并行執(zhí)行濾波處理Fmtl至FV(U。第三步驟對宏塊MBl中的4個垂直邊界和4個水平邊界并行執(zhí)行濾波需要確定處理JV1，Q至Jvi,3和JH1，O至JH1，3。第四步驟對宏塊MBl中的4個垂直邊界并行執(zhí)行濾波處理FV1，O至FV1，3。第五步驟對宏塊MBO中的4個水平邊界并行執(zhí)行濾波處理Fhc^ci至？ ，3。第六步驟對宏塊MB2中的4個垂直邊界和4個水平邊界并行執(zhí)行濾波需要確定處理Jv2itl至JV2，3和J112itl至JH2,3°第七步驟對宏塊MB2中的4個垂直邊界并行執(zhí)行濾波處理Fv2itl至FV2，3。第八步驟對宏塊MBl中的4個水平邊界并行執(zhí)行濾波處理Fm，ο至Fm，3。第九步驟對宏塊MB3中的4個垂直邊界和4個水平邊界并行執(zhí)行濾波需要確定處理Jv3itl至JV3，3和至JH3，3。第十步驟對宏塊MB3中的4個垂直邊界并行執(zhí)行濾波處理巧3，。至巧3，3。第十一步驟對宏塊MB2中的4個水平邊界并行執(zhí)行濾波處理Fh2 ci至Fh2 3。第十二步驟對宏塊MB3中的4個水平邊界并行執(zhí)行濾波處理Fi^ci至？^』。在這種情況下，雖然并行度低于圖13的示例，但去塊濾波器24能夠使用比現(xiàn) 有技術(shù)更少的處理步驟對整個輸入圖像執(zhí)行處理。(2)去塊濾波器的基本配置圖15是示出用于執(zhí)行上述并行處理的、根據(jù)第一工作例的去塊濾波器24的詳細配置的框圖。參考圖15，去塊濾波器24包含確定塊110、水平濾波塊130、垂直濾波塊140、以及并4丁化控制部150。(2-1)確定塊確定塊110包含垂直邊界確定部112-1至112_n以及水平邊界確定部114_1至114-n。垂直邊界確定部112和水平邊界確定部114被提供有輸入至去塊濾波器24的圖像和被用于確定濾波的必要性的確定信息。垂直邊界確定部112使用屬于如圖11所示不適用用于水平邊界的去塊濾波的行的參考像素的像素值，確定是否對垂直邊界適用去塊濾波器。在該示例中，參考像素的像素值被輸入至去塊濾波器24。垂直邊界確定部112向水平濾波塊130輸出表明有關(guān)每個垂直邊界的確定結(jié)果的信息(例如值"Γ表明需要適用去塊濾波器的確定結(jié)果的二進制信息)。水平邊界確定部114使用屬于如圖12所示不適用用于垂直邊界的去塊濾波的列的參考像素的像素值，確定是否對水平邊界適用去塊濾波器。在該示例中，參考像素的像素值也被輸入至去塊濾波器24。由每個水平邊界確定部114執(zhí)行的確定處理與由每個垂直邊界確定部112執(zhí)行的確定處理并行執(zhí)行。水平邊界確定部114向垂直濾波塊140輸出表明有關(guān)每個水平邊界的確定結(jié)果的信息。圖16是示出每個垂直邊界確定部112和水平邊界確定部114的詳細配置的框圖。參考圖16，每個確定部包含抽頭構(gòu)成部121、計算部122、閾值比較部123、失真評價部124和濾波確定部125。抽頭構(gòu)成部121從在輸入圖像中關(guān)注邊界周圍的兩個鄰接塊的像素值獲取參考像素值，并構(gòu)成用于確定對于上述亮度分量的確定條件B的抽頭(參考像素值的集合)。例如，可以關(guān)注在每個具有8X8像素的尺寸的塊的垂直邊界。在這種情況下，抽頭構(gòu)成部121根據(jù)屬于在左右的兩個塊的第四和/或第五行的像素值構(gòu)成抽頭。如果關(guān)注水平邊界，那么抽頭構(gòu)成部121根據(jù)屬于在上下的兩個塊的第四和/或第五列的像素值構(gòu)成抽頭。計算部122將由抽頭構(gòu)成部121構(gòu)成的抽頭賦予確定條件B中的確定表達式的左手側(cè)，并計算要與邊緣確定閾值β比較的邊緣值。閾值比較部123將由計算部122計算的值與邊緣確定閾值β比較，并將比較結(jié)果輸出至濾波確定部125。失真評價部124使用作為確定信息提供的模式信息(MB模式)、變換系數(shù)信息、以及運動矢量信息，評價上述亮度分量的確定條件Α。失真評價部124將評價結(jié)果輸出至濾波確定部125。失真評價部124基于模式信息，僅評價色度分量的確定條件Al。
濾波確定部125基于從閾值比較部123提供的確定條件B的比較結(jié)果、和從失真評價部124提供的確定條件A的評價結(jié)果，確定是否向關(guān)注邊界適用去塊濾波器。濾波確定部125輸出表明確定結(jié)果的信息。(2-2)水平濾波塊返回圖15，進一步說明去塊濾波器24的配置。水平濾波塊130包含水平濾波部132-1至132-n。水平濾波部132被提供有輸入圖像、和來自確定塊110的關(guān)于每個垂直邊界的確定結(jié)果。如果來自垂直邊界確定部112的確定結(jié)果表明需要適用濾波器，水平濾波部132向?qū)?yīng)的垂直邊界周圍左右的像素適用對于垂直邊界的去塊濾波。對于被濾波的像素，水平濾波部132向垂直濾波塊140輸出濾波后的像素值，對于其它像素，水平濾波部132向垂直濾波塊140輸出輸入圖像的像素值。(2-3)垂直濾波塊垂直濾波塊140包含垂直濾波部142-1至142_n。垂直濾波部142被提供有輸入圖像和來自確定塊110的關(guān)于每個水平邊界的確定結(jié)果。如果來自水平邊界確定部114的確定結(jié)果表明需要適用濾波器，則垂直濾波部142向?qū)?yīng)的水平邊界周圍的上下像素適用對于水平邊界的去塊濾波。對于被濾波的像素，垂直濾波部142輸出濾波后的像素值，對于其它像素，垂直濾波部142輸出從水平濾波塊130提供的像素值。來自每個垂直濾波部142的輸出可以被包含在來自去塊濾波器24的輸出圖像中。(2-4)并行化控制部并行化控制部150控制確定塊110中的濾波需要確定處理的并行度、以及水平濾波塊130和垂直濾波塊140中的濾波處理的并行度。例如，并行化控制部150可以基于輸入圖像尺寸控制對于每個塊的處理的并行度。更具體而言，如果輸入圖像尺寸相對大，則并行化控制部150增加對于每個塊的處理的并行度。這能夠自適應(yīng)地防止由于根據(jù)圖像尺寸增加的處理量造成的延遲或者數(shù)據(jù)碼率劣化。例如，并行化控制部150可以基于序列參數(shù)集、圖畫參數(shù)集、或者含在片頭部的參數(shù)，控制對于每個塊的處理的并行度。這能使得根據(jù)開發(fā)裝置的用戶的要求來靈活配置并行度。例如可以根據(jù)諸如處理器核的數(shù)量或者軟件線程的數(shù)量等安裝環(huán)境的限制來配置并行度。工作例能夠使宏塊之間的處理并行化。這表明任意的在圖像內(nèi)的塊的處理順序?qū)ψ罱K輸出結(jié)果沒有影響。從而，并行化控制部150可以以塊為基礎(chǔ)，控制確定塊110中的濾波需要確定處理的順序、水平濾波塊130和垂直濾波塊140中的濾波處理的順序。更具體而言，并行化控制部150可以根據(jù)宏塊之間的濾波處理的依賴性，控制濾波處理的順序。根據(jù)現(xiàn)有技術(shù)，例如，片邊界周圍的鄰接宏塊之間的處理的依賴性可能使圖像內(nèi)的每個片的并行處理延遲。然而，根據(jù)工作例的并行化控制部150能夠先于其它宏塊對片邊界周圍的鄰接宏塊執(zhí)行濾波處理。例如，圖17示出片邊界周圍的8個宏塊MBlO至MB13、和MB20至MB23。宏塊MBlO至MB13屬于片SL1。宏塊MB20至MB23屬于片SL2。關(guān)于這些宏塊，對于在片SL2中的宏塊MB20的水平邊界的濾波處理依賴于對于在片S Ll中的宏塊MB12的垂直邊界的濾波處理。類似地，對于在片SL2中的宏塊MB21的水平邊界的濾波處理依賴于對于在片SLl中的宏塊MB13的垂直邊界的濾波處理。在這些條件下根據(jù)圖18的示例，并行化控制部150在對于片SLl的濾波處理中，優(yōu)先于其它邊界的處理，對宏塊MB12和MB13的垂直邊界執(zhí)行濾波處理。結(jié)果防止了在對于片SL2的濾波處理中，對宏塊MB20和MB21的水平邊界的濾波處理發(fā)生大延遲。圖19的示例最初對于包含在片SLl中的所有宏塊，對垂直邊界并行執(zhí)行濾波處理。另外在這種情況下，在片SL2中的宏塊MB20和MB21的水平邊界的濾波處理中不會發(fā)生延遲。[3-2.處理流程]參考圖20至22，對去塊濾波器24的處理流程進行說明。(I)第一情形圖20是示出根據(jù)第一情形的去塊濾波器24的處理流程示例的流程圖。第一情形對應(yīng)于如圖13所示的大的并行度的示例。參考圖20，垂直邊界確定部112-1至112_n并行確定對于所有包含在輸入圖像內(nèi)的宏塊的垂直邊界，是否需要濾波(步驟S102)。水平邊界確定部114-1至114-n并行確定對于所有包含在輸入圖像內(nèi)的宏塊的水平邊界，是否需要濾波(步驟S104)。步驟S102和S104也是并行執(zhí)行的。水平濾波部132-1至132-n向在步驟S102中確定為要求適用去塊濾波器的所有垂直邊界，并行適用去塊濾波器(步驟S110)。垂直平濾波部142-1至142-n向在步驟S104中確定為要求適用去塊濾波器的所有水平邊界，并行適用去塊濾波器(步驟S120)。(2)第二情形圖21是示 出根據(jù)第二情形的去塊濾波器24的處理流程示例的流程圖。第二情形對應(yīng)于如圖14所示的小的并行度的示例。參考圖21，垂直邊界確定部112-1至112_n并行確定對于所有包含在輸入圖像內(nèi)的關(guān)注宏塊的垂直邊界，是否需要濾波(步驟S202)。水平邊界確定部114-1至114-n并行確定對于所有包含在關(guān)注宏塊的水平邊界，是否需要濾波(步驟S204)。步驟S202和S204也是并行執(zhí)行的。水平濾波部132-1至132-n向在步驟S202中確定為要求適用去塊濾波器的關(guān)注宏塊中的垂直邊界，并行適用去塊濾波器(步驟S210 )。步驟S220的處理針對在上次循環(huán)中的關(guān)注宏塊?？梢詫τ谧钕汝P(guān)注的宏塊跳過步驟S220的處理。垂直平濾波部142-1至142-n向上次循環(huán)中在步驟S204確定為要求適用去塊濾波器的水平邊界，并行適用去塊濾波器(步驟S220)。如果在輸入圖像中還有關(guān)注的宏塊為未處理，則對于新關(guān)注的宏塊重復(fù)步驟S202至S220的處理(步驟S230)。如果沒有未處理的關(guān)注的宏塊，那么垂直濾波部142-1至142-n向最后的循環(huán)的關(guān)注宏塊中確定為要求適用去塊濾波器的水平邊界，并行適用去塊濾波器(步驟S240)。然后處理終止。雖然已說明了以圖像和宏塊的單位來并行化處理的兩個典型情形，但兩個情形只是用于說明的示例。去塊濾波器24的處理可以以諸如給定數(shù)的宏塊(兩個或者四個宏塊)、或者一群水平或垂直放置的塊等各種單位并行化。(3)濾波需要確定處理
圖22是示出對應(yīng)于圖21的步驟S102和S104、圖22的步驟S202和S204的濾波需要確定處理的流程的流程圖。參考圖22，失真評價部124基于模式信息、變換系數(shù)信息和運動矢量信息，評價每個邊界的失真(步驟S130)。如果評價結(jié)果為存在失真(確定條件A為真)，則處理前進至步驟S134。如果評價結(jié)果為不存在失真，則處理前進至步驟S140 (步驟S132)。在步驟S134，計算部122基于由抽頭構(gòu)成部121構(gòu)成的參考像素，計算邊緣值(步驟S134)。閾值比較部123將計算的值與邊緣確定閾值β比較(步驟S136)。如果邊緣值小于閾值β (確定條件B為真)，則處理前進至步驟S138。如果邊緣值不小于閾值β，則處理前進至步驟S140。在步驟S138，濾波確定部125確定向待確定的邊界適用去塊濾波器(步驟S138)。在步驟S140，濾波確定部125確定不向待確定的邊界適用去塊濾波器(步驟S140)。<4.第二工作例>第一工作例使用未由對其它塊的濾波處理更新的像素的像素值，對給定的塊執(zhí)行濾波需要確定處理。與此相反，下述的第二工作例提供存儲輸入至去塊濾波器的像素值的存儲器，從而使得能消除濾波需要確定處理的限制，并能夠使用更多樣的確定條件。[4-1.去塊濾波器配置示例](I)各部的說明圖23是示出根據(jù)第二工作例的去塊濾波器24的詳細配置的框圖。參考圖23，去塊濾波器24包含線存儲器208、確 定塊210、水平濾波塊130、垂直濾波塊140、以及并行化控制部150。線存儲器208存儲用于提供至去塊濾波器24的輸入圖像的像素值。水平濾波塊130和垂直濾波塊140中的濾波處理不更新存儲在線存儲器208中的像素值。由下述的在確定塊210中的各部執(zhí)行的濾波需要確定處理參考存儲在線存儲器208中的像素值。裝置包含用于不同于去塊濾波器24的處理的目的的另一存儲器。該存儲器可以作為線存儲器208而再利用(共享)。確定塊210包含垂直邊界確定部212-1至212_η、以及水平邊界確定部214_1至214-n。垂直邊界確定部212和水平邊界確定部214被提供有存儲在線存儲器208中的用于輸入至去塊濾波器24的圖像的像素值、和被用于確定需要濾波的確定信息。垂直邊界確定部212使用輸入至去塊濾波器24的像素值來確定是否對每個垂直邊界適用去塊濾波器。垂直邊界確定部212向水平濾波塊130輸出表明有關(guān)每個垂直邊界的信息的確定結(jié)果。水平邊界確定部214還使用輸入至去塊濾波器24的像素值來確定是否向每個水平邊界適用去塊濾波器。水平邊界確定部214與由垂直邊界確定部212執(zhí)行的確定處理并行地執(zhí)行確定處理。水平邊界確定部214向垂直濾波塊140輸出表明有關(guān)每個水平邊界的確定結(jié)果的信息。(2)多樣的確定條件類似于如圖4所示的現(xiàn)有技術(shù)，根據(jù)工作例的垂直邊界確定部212可以參考在塊的第三和第六行的像素，來確定對每個塊的垂直邊界濾波的必要性。然而，在這種情況下要參考的像素值存儲在線存儲器208，并屬于輸入至去塊濾波器24的圖像。類似地，水平邊界確定部214可以參考在塊的第三和第六列的像素，來確定每個塊的水平邊界濾波的必要性。在這種情況下，能夠不用改變對于安裝在現(xiàn)有裝置的濾波需要確定處理的確定條件而容易地提供根據(jù)工作例的配置。垂直邊界確定部212可以在確定中參考塊中三行以上的像素。類似地，水平邊界確定部214可以在確定中參考塊中三列以上的像素。垂直邊界確定部212和水平邊界確定部214可以使用不同于現(xiàn)有技術(shù)的確定條件表達式。參考圖24至26，下面說明根據(jù)工作例的確定技術(shù)的6個示例。(2-1)第一示例圖24是示出確定技術(shù)的第一和第二示例的說明圖。在第一和第二示例中，垂直邊界的濾波需要確定處理(尤其是使用對于亮度分量的確定條件B的確定)參考每個塊中的從第一至第八的所有的行LI至L8的像素。水平邊界的濾波需要確定處理也參考每個塊中的從第一至第八的所有列的像素。第一示例可以如下定義對于亮度分量的確定條件。亮度(Luma)分量的確定條件......如果條件A和B兩者為真，則適用去塊濾波器。條件A:(Al)塊Ba或者Bb進入幀內(nèi)預(yù)測模式；(A2)塊Ba或者Bb具有非零正交變換系數(shù)；或者(A3) I MVAx-MVBx I 彡 4 或者 | MVAy-MVByI 彡 4條件B:iDg— I P2o—2p10+p001 +1 Q2o—2q10+q001 +1 p27_2p17+p071 +1 Q27—2q17+q07ID1= I p2「2pn+p011 + | q2「2qn+q011 + | p26_2p16+p061 + | q26_2q16+q06iD2-1 p22_2p12+p021 +1 q22_2q12+q021 +1 p25_2p15+p051 +1 q25_2q15+q05iD3= I p23-2p13+p031 +1 q23-2q13+q031 +1 p24_2p14+p041 +1 q24_2q14+q04iDave= (iDo+iDi+iD^iDa) 2在該條件下，iDave〈3對于色度分量的確定條件可以與上述現(xiàn)有技術(shù)相同。可以計算加權(quán)平均來計算對于4個確定參數(shù)IDtl至iD3的平均iD.。(2-2)第二示例第二示例可以如下定義對于亮度分量的確定條件B。條件B:iDg— I P2o—2p10+p001 +1 Q2o—2q10+q001 +1 p27_2p17+p071 +1 Q27—2q17+q07ID1= I ρ21_2ρη+ρ011 + | q2「2qn+q011 + | p26_2p16+p061 + | q26_2q16+q06iD2-1 p22_2p12+p021 +1 q22_2q12+q021 +1 p25_2p15+p051 +1 q25_2q15+q05iD3= I p23-2p13+p031 +1 q23-2q13+q031 +1 p24_2p14+p041 +1 q24_2q14+q04在該條件下， iD0〈i3，且ID1U，且 iD2〈i3，且 iD3〈i3計算4個確定參數(shù)IDtl至103的方程式與第一示例相同。可用條件是不是4個確定參數(shù)IDtl至iD3的全部，而是其中的至少3個、2個、或者I個小于邊緣確定閾值β。(2-3)第三示例
圖25是示出確定技術(shù)的第三和第四示例的說明圖。在第三和第四示例中，垂直邊界的濾波需要確定處理(尤其是使用對于亮度分量的確定條件B的確定)參考每個塊中的4行LI，L3，L6和L8的像素。對于水平邊界的濾波需要確定處理也參考每個塊中的4列像素。第三示例可以如下定義對于亮度分量的確定條件。亮度(Luma)分量的確定條件……如果條件A和B兩者為真，則適用去塊濾波器。條件A:(Al)塊Ba或者Bb進入幀內(nèi)預(yù)測模式；(A2)塊Ba或者Bb具有非零正交變換系數(shù)；或者(A3) I MVAx-MVBx I ≥ 4 或者 | MVAy-MVByI ≥ 4條件B:iDg— I P2o—2p10+p001 +1 Q2o—2q10+q001 +1 p27_2p17+p071 +1 Q27—2q17+q07iD2-1 p22_2p12+p021 +1 q22_2q12+q021 +1 p25_2p15+p051 +1 q25_2q15+q05IDave= (iD0+iD2) l在該條件下，iDave〈3對于色度分量的確定條件可以與上述現(xiàn)有技術(shù)相同?？梢杂嬎慵訖?quán)平均來計算對于2個確定參數(shù)IDtl和iD2的平均iD.。(2-4)第四示例第四示例可以如下定義對于亮度分量的確定條件B。條件B:iDg— I P2o—2p10+p001 +1 Q2o—2q10+q001 +1 p27_2p17+p071 +1 Q27—2q17+q07
iD2= I p22_2p12+p021 +1 q22_2q12+q021 +1 p25_2p15+p051 +1 q25_2q15+q05在該條件下，iD0< β，且iD2〈 β計算2個確定參數(shù)IDtl和iD2的方程式與第三示例相同?？捎脳l件是并非2個確定參數(shù)IDtl和iD2的全部，而是其中的一個小于邊緣確定閾值β。盡管已說明了在確定中參考塊中的第一、第三、第六和第八行(或者列)LI，L3，L6和L8的示例，也可以參考行或者列的其它組合。(2-5)第五示例圖26是示出確定技術(shù)的第五和第六示例的說明圖。在第五和第六示例中，對于垂直邊界的濾波需要確定處理參考每個塊中的4行L1，L3，L5和L7的像素。對于水平邊界的濾波需要確定處理也參考每個塊中的4列像素。第五示例可以如下定義對于亮度分量的確定條件。亮度(Luma)分量的確定條件......如果條件A和B兩者為真，則適用去塊濾波器。條件A:(Al)塊Ba或者Bb進入幀內(nèi)預(yù)測模式；(A2)塊Ba或者Bb具有非零正交變換系數(shù)；或者(A3) I MVAx-MVBx I 彡 4 或者 | MVAy-MVByI 彡 4條件B:
iD0= I p20_2p10+p001 +1 q20_2q10+q001 +1 p26_2p16+p061 +1 q26_2q16+q06iD2= I p22_2p12+p021 +1 q22_2q12+q021 +1 p24_2p14+p041 +1 q24_2q14+q04iDave= (iD0+iD2) 1在該條件下，iDave〈3對于色度分量的確定條件可以與上述現(xiàn)有技術(shù)相同?？梢杂嬎慵訖?quán)平均來計算對于2個確定參數(shù)IDtl和iD2的平均iD.。(2-6)第六示例第六示例可以定義對于亮度分量的確定條件B如下。條件B:iD0= I p20_2p10+p001 +1 q20_2q10+q001 +1 p26_2p16+p061 +1 q26_2q16+q06iD2= I p22_2p12+p021 +1 q22_2q12+q021 +1 p24_2p14+p041 +1 q24_2q14+q04在該條件下，iD0< β，且iD2〈 β計算2個確定參數(shù)IDtl和iD2的方程式與第五示例相同。可用條件是并非2個確定參數(shù)IDtl和iD2中的全部而是其中的一個小于邊緣確定閾值β。一般而言，增加用于確定而參考的行和列的數(shù)量會改善確定精度。因此，參考8行和列的第一和第二示例能夠最小化對本來不作為適用去塊濾波器的對象的塊進行濾波的可能性、以及本來不作為適 用去塊濾波器對象的的塊進行濾波的可能性。結(jié)果改善了待編碼和解碼的圖像的質(zhì)量。另一方面，減少了用于確定的參考的行和列的數(shù)量，能夠降低處理成本。由于在圖像質(zhì)量和處理成本之間要進行權(quán)衡，可以取決于裝置的使用或者安裝的限制，可以自適應(yīng)地選擇用于確定而參考的行和列的數(shù)量是有利的?？梢宰赃m應(yīng)地選擇要參考的行和列的組合是有利的。如第一、第三、和第五示例說明的，可以將確定參數(shù)的平均值iDave與邊緣確定閾值β比較，來在沒有對每行或者列的參數(shù)變化的過度影響下以塊基礎(chǔ)適當(dāng)?shù)貓?zhí)行確定。[4-2.處理流程]根據(jù)第二工作例以及第一工作例，去塊濾波器24能夠以不同的并行度運行。在使用大并行度的第一情形中，垂直邊界確定部212-1至212-n并行確定對于包含在輸入圖像內(nèi)的宏塊的所有垂直邊界，是否需要濾波。水平邊界確定部214-1至214-n并行確定對于包含在輸入圖像內(nèi)的宏塊的所有水平邊界，是否需要濾波。對于垂直邊界和水平邊界的確定處理也被并行執(zhí)行。水平濾波部132-1至132-n和垂直濾波部142-1至142_n向確定為要求要適用去塊濾波器的垂直邊界和水平邊界適用去塊濾波器(參見圖20)。在使用小并行度的第二情形中，垂直邊界確定部212-1至212-n并行確定對于包含在輸入圖像內(nèi)的一個關(guān)注宏塊的所有垂直邊界，是否需要濾波。水平邊界確定部214-1至214-n并行確定對于包含在關(guān)注宏塊的所有水平邊界，是否需要濾波。對于垂直邊界和水平邊界的確定處理也被并行執(zhí)行。隨后水平濾波部132-1至132-n向確定為要求適用去塊濾波器的垂直邊界，并行適用去塊濾波器。垂直濾波部142-1至142-n向確定為要求適用去塊濾波器的水平邊界，并行適用去塊濾波器。該處理對輸入圖像內(nèi)的所有宏塊重復(fù)執(zhí)行(參見圖21)。這兩個情形只是用于說明的示例。另外在第二工作例中，去塊濾波器24的處理可以以諸如給定數(shù)量的宏塊(二個或者四個宏塊)或者例如一群水平或者垂直的放置塊等各種單位并行化。另外在第二工作例以及第一工作例中，并行化控制部150可以控制去塊濾波器24中的處理的并行度和順序。[4-3.對于每個IXU的處理示例
如已經(jīng)提到的，根據(jù)在本說明書中說明的各種工作例的技術(shù)可以被提供作為基于HEVC編碼單位(CU)的處理。根據(jù)HEVC，具有最大的尺寸的編碼單位被稱為最的編碼單位(IXU)，例如可以選擇為64X64像素。最小可選擇的⑶尺寸是8X8像素。通常，依據(jù)從在圖畫(或者片)的左上的LCU的光柵掃描順序，對應(yīng)于每個LCU，圖像被編碼并解碼。下面說明對應(yīng)于去塊濾波器24中的LCU的處理示例。圖27是示出根據(jù)上述第二工作例的對于每個IXU的處理順序的說明圖。示例假定IXU尺寸為16X16像素，且⑶尺寸為8X8像素。參考圖27，第一階段示出在附圖的左上，并表明IXU的濾波已經(jīng)完成至第(η-l)個LCU。陰影的像素是作為垂直邊界的濾波的對象。填充像素是作為水平邊界的濾波的對象。在圖27的右上的用于第二階段的處理、和在其左下的用于第三階段的處理以第η個IXU為對象的。在第二階段前，輸入至去塊濾波器24的像素值被用于對屬于第η個IXU的所有垂直邊界和水平邊界并行執(zhí)行濾波需要確定處理。在第二階段中，輸入至去塊濾波器24的像素值被用于對屬于第η個IXU并確定為要求適用去塊濾波器的垂直邊界并行執(zhí)行濾波處理。在第二階段被處理的像素值隨后被用于對屬于第η個LCU并確定為要求適用去塊濾波器的水平邊界并行執(zhí)行濾波處理。在圖27的右下的第四階段的處理是以第(η+1)個IXU為對象的。在第四階段中，在對屬于第(η+1)個IXU的所有垂直邊界和水平邊界并行執(zhí)行濾波需要確定處理后，對確定為要求適用去塊濾波器的垂直邊界并行執(zhí)行濾波處理。盡管示例中假定IXU尺寸為16 X 16像素，也可以設(shè)定為32 X 32或者64 X 64像素。因為增加要選擇的LCU的尺寸也增加了屬于一個LCU的垂直邊界和水平邊界的數(shù)量，所以根據(jù)并行化而縮短處理時間的效果被進一步改善。圖28是示出對于每個IXU的去塊濾波器24的處理流程的流程圖。參考圖28，垂直邊界確定部212-1至212_η并行確定對于包含在輸入圖像內(nèi)的關(guān)注IXU的所有垂直邊界，是否需要濾波(步驟S252)。水平邊界確定部214-1至214_η并行確定對于包含在關(guān)注IXU的所有水平邊界，是否需要濾波(步驟S254)。步驟S252和S254也是并行執(zhí)行的。水平濾波部132-1至132-n向在步驟S252中確定為要求適用去塊濾波器的關(guān)注IXU中的垂直邊界，并行適用去塊濾波器(步驟S260)。垂直濾波部142-1至142-n向在步驟S254中確定為要求適用去塊濾波器的關(guān)注IXU中的水平邊界，并行適用去塊濾波器(步驟S270)。如果在輸入圖像中還有關(guān)注的IXU為未處理(步驟S280)，則對于新關(guān)注的IXU重復(fù)步驟S252至S270的處理。如果沒有IXU未處理，那么處理終止。<5.第三工作例>[5-1.概要]根據(jù)第二工作例，對垂直邊界和水平邊界的濾波需要確定處理參考輸入至去塊濾波器的像素值，因而消除了濾波需要確定處理之間的依賴性，并使確定處理的并行化成為可能。下述的第三工作例將第二工作例的概念也適用到濾波處理。對于垂直邊界和水平邊界的濾波處理還對輸入至去塊濾波器的像素值濾波。圖29是示出該工作例的概要的說明圖。在圖29的左下示出代表在被去塊濾波處理之前的輸入像素(也被稱為重構(gòu)像素)的形狀。工作例使得能夠不僅從對于垂直邊界和水平邊界的濾波需要確定處理參考輸入至去塊濾波的像素值，而且從對于垂直邊界的濾波處理和對于水平邊界的濾波處理參考輸入至去塊濾波的像素值。因此，兩個濾波處理之間的依賴性被消除。兩個濾波處理被并行執(zhí)行。對于垂直邊界的濾波處理和對于水平邊界的濾波處理可以更新重復(fù)像素的值。圖29的被填充像素示出可能是重復(fù)像素的位置。根據(jù)工作例的去塊濾波器對于由兩個并行運行的濾波器重復(fù)更新的像素，根據(jù)兩個濾波器輸出計算一個輸出像素值。[5-2.去塊濾波配置示例]圖30是示出根據(jù)第三工作例的去塊濾波器24的詳細配置的框圖。參考圖30，去塊濾波器24包含線存儲器208、確定塊210、水平濾波塊330、垂直濾波塊340、并行化控制部150、計算部360。確定塊210包含垂直邊界確定部212-1至212_n、以及水平邊界確定部214-1至214-n。垂直邊界確定部212和水平邊界確定部214可以根據(jù)第二工作例中說明的各種確定條件，確定對邊界濾波的必要性。水平濾波塊330包含水平濾波部332-1至332_n。水平濾波部332被提供有來自線存儲器208的輸入圖像值和來自確定塊210的關(guān)于每個垂直邊界的確定結(jié)果。如果來自垂直邊界確定部212的確定結(jié)果表明需要適用濾波器，則水平濾波部332向?qū)?yīng)的垂直邊界周圍的左右像素適用對于垂直邊界的去塊濾波器。對于被濾波的像素，水平濾波部332向計算部360輸出濾波后的像素值，而對于其它像素，水平濾波部332向計算部360輸出輸入像素值。

垂直濾波塊340包含垂直濾波部342-1至342_n。垂直濾波部342被提供有來自線存儲器208的輸入像素值和來自確定塊210的關(guān)于每個水平邊界的確定結(jié)果。如果來自水平邊界確定部214的確定結(jié)果表明需要適用濾波器，則垂直濾波部342向?qū)?yīng)的水平邊界周圍的上下像素適用對于水平邊界的去塊濾波器。垂直濾波部342-1至342-n的濾波處理并行于水平濾波部332-1至332_n的濾波處理執(zhí)行。對于被濾波的像素，垂直濾波部342向計算部360輸出濾波后的像素值，而對于其它像素，垂直濾波部342向計算部360輸出輸入像素值。計算部360被并行提供有來自水平濾波塊330的輸出像素值和來自垂直濾波塊340的輸出像素值。此外，計算部360被提供有來自垂直邊界確定部212和水平邊界確定部214的確定結(jié)果。根據(jù)確定結(jié)果，計算部360基于來自水平濾波塊330和垂直濾波塊340的濾波器輸出，對由水平濾波塊330和垂直濾波塊340濾波的像素計算輸出像素值。根據(jù)工作例，例如計算部360對于被重復(fù)濾波的像素，計算兩個濾波器輸出的平均。計算部360可以計算兩個濾波器輸出的簡單平均。作為替代，計算部360可以計算兩個濾波器輸出的加權(quán)平均。例如，計算部360可以根據(jù)從每個像素到垂直邊界和到水平邊界的距離，確定用于像素的加權(quán)平均的權(quán)重。圖31是示出對于由計算部360計算的加權(quán)平均的權(quán)重的確定的說明圖。圖31示出關(guān)注的像素Pz為黑色，對應(yīng)于圖29所示的一個重復(fù)位置。對應(yīng)于關(guān)注的像素Pz與最接近的垂直邊界Vz之間的距離Dv有三個像素。對應(yīng)于關(guān)注的像素Pz與并最接近的水平邊界Hz之間的距離Dh有兩個像素。距離Dh*于距離Dv。在這種情況下，計算部360可以設(shè)定為來自適用于水平邊界Hz的去塊濾波器的輸出的加權(quán)大于來自適用于垂直邊界Vz的去塊濾波器的輸出的加權(quán)。圖31的示例假定垂直邊界Vz的濾波器輸出Vrat相對于水平邊界Hz的濾波器輸出Htjut的比率為2:3。如圖31所示，計算兩個濾波器輸出的加權(quán)平均能夠給每個關(guān)注的像素提供類似于適用具有沿著水平方向的濾波抽頭和沿著垂直方向的濾波抽頭的一個二維濾波器的情況的輸出像素值。對垂直邊界和水平邊界使濾波處理并行化還可以適當(dāng)減小在垂直邊界和水平邊界出現(xiàn)的塊失真。作為另一工作例，去塊濾波器24可以包含同時計算水平濾波、垂直濾波、和加權(quán)平均的一個二維濾波器。然而在這種情況下，安裝非常復(fù)雜，因為濾波系數(shù)需要對應(yīng)于像素進行各種改變。另一方面，第三工作例并行執(zhí)行兩個一維濾波器，隨后計算加權(quán)平均。這能夠容易地提供實質(zhì)相當(dāng)于二維濾波器的處理，并保證現(xiàn)有去塊濾波的功能。圖32是示出用于基于圖31的示例計算的加權(quán)平均的權(quán)重的示例的說明圖。圖32示出垂直邊界和水平邊界之間的一個交點周圍的36個像素(6X6)。像素對應(yīng)于上述重復(fù)的位置。對于位于距垂直邊界和水平邊界起等距的像素，濾波器輸出Vwt的權(quán)重相對于濾波器輸出Hwt的權(quán)重的比率是1:1 (2:2或者3:3)。對于更接近垂直邊界的像素，濾波器輸出Iut的權(quán)重大于濾波器輸出Htjut的權(quán)重。例如，像素P1的權(quán)重的比率是Vtjut:H0Ut=3:1。對于更接近水平邊界的像素，濾波器輸出Vrat的權(quán)重小于濾波器輸出Hrat的權(quán)重。例如，像素P2的權(quán)重的比率是Vtjut =Hout=1:3。通過根據(jù)每個像素和邊界之間的距離來改變用于加權(quán)平均的權(quán)重，可以更有效地抑制塊失真并可以改善圖像質(zhì)量。上述權(quán)重只是示例。例如，計算部360可以根據(jù)對應(yīng)于每個像素的垂直邊界和水平邊界的邊緣強度，代替每個像素和邊界之間的距離或者在每個像素和邊界之間的距離之夕卜，確定用于像素的 加權(quán)平均的權(quán)重。邊緣強度可以由諸如由如圖16所示的計算部122計算的邊緣值等參數(shù)代表。在這種情況下，具有較強邊緣的邊界的濾波輸出的權(quán)重可以設(shè)定為大于具有較弱邊緣的邊界的濾波輸出的權(quán)重。根據(jù)邊緣強度來改變加權(quán)的加權(quán)平均，可以自適應(yīng)地改善在顯著造成塊失真的邊界的去塊濾波器的效果。計算部360對于由水平濾波塊330和垂直濾波塊340之一濾波的像素，選擇來自實際上濾波的塊的輸出。計算部360對于沒有由水平濾波塊330或者垂直濾波塊340濾波的像素，將要輸出的輸入像素值直接輸出至去塊濾波器24。圖33的表格根據(jù)是否要求濾波的確定的結(jié)果，將來自計算部360的輸出像素值列于表上。[5-3.處理順序示例]下面說明根據(jù)工作例的可用于去塊濾波器24的處理順序的兩個示例。示例還假定了去塊濾波器被提供有32X32像素的尺寸的圖像。輸入圖像包含四個宏塊MBO至MB3，每個具有16X16像素的尺寸。(I)第一示例為了比較，圖34示出對垂直邊界的濾波處理和對水平邊界的濾波處理之間保持了依賴性的處理順序。圖34的處理順序?qū)嵸|(zhì)相當(dāng)于根據(jù)第一工作例的圖13的處理順序。在圖34中，第一步驟對所有4個宏塊MBO至MB3的所有垂直邊界和所有水平邊界并行執(zhí)行濾波需要確定處理JTO，o至JV3，3和JHo，o至JH3，3。第二步驟對4個宏塊的MBO至MB3的16個垂直邊界執(zhí)行濾波處理Fmtl至FV3，3。第三步驟對4個宏塊的MBO至MB3的16個水平邊界執(zhí)行濾波處理Fmtl至FH3，3。第四步驟(圖13中省略)將對水平邊界的濾波處理后的像素值存儲在用于來自去塊濾波器24的輸出的存儲器。圖35示出由工作例提供的處理順序的第一示例。在圖35中，第一步驟對4個宏塊MBO至MB3的所有垂直邊界和所有水平邊界并行執(zhí)行濾波需要確定處理Jmtl至JV3，3和Jho,O至JH3，3。第二步驟對4個宏塊的所有垂直邊界和水平邊界MBO至MB3并行執(zhí)行濾波處理Fmtl至FV3，3和Fmtl至FH3，3。實際上，第二步驟僅對確定為要求濾波的邊界進行濾波。第三步驟將像素值存儲在用于來自去塊濾波器24的輸出的存儲器。對于由水平濾波塊330和垂直濾波塊340濾波的像素，可以計算兩個濾波器輸出的加權(quán)平均作為輸出像素值。(2)第二示例第一示例使并行度最大化，而根據(jù)第二示例的去塊濾波器24還能夠?qū)τ诿總€宏塊執(zhí)行處理。為了比較，圖3 6示出對垂直邊界的濾波處理和對水平邊界的濾波處理之間保持了依賴性時，對于每個宏塊的處理順序。圖36的處理順序?qū)嵸|(zhì)相當(dāng)于根據(jù)第一工作例的圖14的處理順序。圖36明確示出了將像素值存儲在用于輸出的存儲器、并為了簡潔起見從圖14中省略的4個處理步驟(第6、第10、第14和第16)。包含4個處理步驟的16個處理步驟構(gòu)成為圖36中的處理。圖37示出由工作例提供的處理順序的第二示例。在圖37中，第一步驟對宏塊MBO的4個垂直邊界和4個水平邊界并行執(zhí)行濾波需要確定處理Jmtl至Jvcu和Jmtl至Jm，3。第二步驟對宏塊的4個垂直邊界和4個水平邊界MBO并行執(zhí)行濾波處理Fvtltl至Fvcu和Fhciq至FH(U。第三步驟將宏塊MBO像素值存儲在用于來自去塊濾波器24的輸出的存儲器。對于由兩個濾波器重復(fù)濾波的像素，可以計算兩個濾波器輸出的加權(quán)平均作為輸出像素值。第4至第6步驟類似地處理宏塊MBl。第7至第9步驟類似地處理宏塊MB2。第10至第12步驟類似地處理宏塊MB3。圖37中的處理包含12個處理步驟，少于圖36的處理。第三工作例消除對于垂直邊界的濾波處理和對于水平邊界的濾波處理之間的依賴性。去塊濾波器24的處理能夠使用比用于第一、和第二工作例更少的處理步驟來執(zhí)行。允許濾波處理僅參考輸入至去塊濾波器的像素的一個優(yōu)點是，濾波器抽頭的任何配置都不會在對于垂直邊界的濾波處理和對于水平邊界的濾波處理之間產(chǎn)生依賴性。通過使用比現(xiàn)有技術(shù)更多的像素來配置濾波器抽頭，第三工作例可以改善圖像質(zhì)量。例如，如參考圖7說明的對于每個邊界的每側(cè)，現(xiàn)有技術(shù)使用三個像素的濾波器抽頭。即使對每個邊界使用了 5個像素以上的濾波器抽頭，工作例在處理之間也不會產(chǎn)生依賴性。即便進一步減少作為去塊濾波器的處理單位的塊尺寸，在處理之間也不會產(chǎn)生依賴性。另外在第三工作例以及第一和第二工作例中，并行化控制部150可以控制去塊濾波器24中的處理的并行度和順序。[5-4.處理流程]圖38是示出根據(jù)第三工作例的對于去塊濾波器的處理流程的示例的流程圖。圖39是示出圖38所示的像素值計算處理的流程的流程圖。參考圖38，垂直邊界確定部212-1至212_n并行確定對于輸入圖像或者宏塊內(nèi)的所有垂直邊界，是否需要濾波(步驟S302)。水平邊界確定部214-1至214-n并行確定對于輸入圖像的或者宏塊內(nèi)的所有水平邊界，是否需要濾波(步驟S304)。步驟S302和S304也是并行執(zhí)行的。水平濾波部332-1至332_n向在步驟S302中確定為要求適用去塊濾波器的所有垂直邊界，并行適用去塊濾波器(步驟S306)。垂直濾波部342-1至342-n向在步驟S304中確定為要求適用去塊濾波器的所有水平邊界，并行適用去塊濾波器(步驟S308)。步驟S306和S308也是并行執(zhí)行的。然后計算部360執(zhí)行如圖39所示的像素值計算處理(步驟S310)。參考圖39，從步驟S314至步驟S326的處理對于每個要處理的像素循環(huán)(步驟S312)。在步驟S314，計算部360確定垂直邊界和水平邊界的兩個濾波器是否已將關(guān)注的像素進行了濾波(步驟S314)。如果兩個濾波器已將關(guān)注的像素進行了濾波，那么處理前進至步驟S322。如果兩個濾波器尚未將關(guān)注的像素進行了波，那么處理前進至步驟S316。在步驟S316，計算部360確定垂直邊界和水平邊界的兩個濾波器中之一是否已將關(guān)注的像素進行了濾波(步驟S316)。如果兩個濾波器中之一已將關(guān)注的像素進行了濾波，那么處理前進至步驟S320。如果兩個濾波器都沒有將關(guān)注的像素進行濾波，那么處理前進至步驟S318。在步驟S318，計算部360獲取對去塊濾波器24的輸入像素值(步驟S318)。在步驟S320，計算部360獲取來自實際上對關(guān)注像素濾波的濾波器的濾波器輸出(步驟S320)。在步驟S322 ，計算部360根據(jù)從關(guān)注像素到垂直邊界和水平邊界的距離、或者對應(yīng)于關(guān)注像素的垂直邊界和水平邊界的邊緣強度，確定計算關(guān)于關(guān)注像素的用于來自兩個濾波器的濾波器輸出的加權(quán)平均的權(quán)重值(步驟S322)。計算部360使用確定的權(quán)重，計算來自兩個濾波器的濾波器輸出的加權(quán)平均(步驟S324)。計算部360將關(guān)注像素的像素值存儲在存儲器中，其中像素值是在步驟S318或者S320中獲取的，或者在步驟S324中計算的(步驟S326)。當(dāng)對所有待處理的像素執(zhí)行處理時，圖38和39所不的一系列處理終止。〈6.應(yīng)用于各種編解碼器〉根據(jù)本公開的技術(shù)能夠適用于與圖像編碼和解碼相關(guān)的各種編解碼器。下面說明將根據(jù)本公開的技術(shù)適用于多視圖編解碼器和可擴展編解碼器的示例。[6-1.多視圖編解碼器]多視圖編解碼器是對多視角的視頻進行編碼和解碼的圖像編碼系統(tǒng)。圖40是示出多視圖編解碼器的說明圖。圖40示出在三個觀察點捕獲的三個視圖的幀的序列。每個視圖被提供有視圖1D (view_id)0這些視圖之一被指定為基本視圖。基本視圖以外的視圖被稱為非基本視圖。圖40的不例表不視圖1D為“O”的基本視圖和視圖1D為“I”或者“2”的兩個非基本視圖。通過基于有關(guān)基本視圖的幀的編碼信息來將非基本視圖的幀進行編碼，將多視像數(shù)據(jù)編碼可以將作為整體的編碼流的數(shù)據(jù)尺寸壓縮。在根據(jù)上述的多視圖編解碼器的編碼處理和解碼處理中，去塊濾波器可以適用于每個視圖。當(dāng)去塊濾波器被適用于每個視圖時，在垂直塊邊界和水平塊邊界的對每個視圖的濾波需要確定處理可以基于根據(jù)本公開的技術(shù)而并行化。對于每個視圖的濾波需要確定處理和濾波處理可以并行化?？梢詫γ總€視圖提供控制濾波需要確定處理或者濾波處理的參數(shù)(諸如在之前段落0094中說明的一個)。提供給基本視圖的參數(shù)可以重新用于非基本視圖。濾波需要確定處理或者濾波處理可以在多個視圖上并行化。視圖可以共享控制濾波需要確定處理或者濾波處理的參數(shù)(諸如在之前段落0094中說明的一個)。追加指定表明視圖是否共享參數(shù)的標(biāo)志可以是有利的。圖41是示出適用于上述多視圖編解碼器的圖像編碼處理的說明圖。圖41示出多視圖編碼設(shè)備710的配置作為一個示例。多視圖編碼設(shè)備710包含第一編碼部720、第二編碼部730和復(fù)用部740。第一編碼部720將基本視像編碼，并產(chǎn)生基本視圖的編碼流。第二編碼部730將非基本視像編碼，并產(chǎn)生非基本視圖的編碼流。復(fù)用部740將從第一編碼部720產(chǎn)生的基本視圖的編碼流、和從第二編碼部730產(chǎn)生的非基本視圖的一個或多個編碼流復(fù)用，以產(chǎn)生多視圖的復(fù)用的流。圖41所示的第一編碼部720和第二編碼部730配置得類似于根據(jù)上述實施例的圖像編碼設(shè)備10。向視圖適用去塊濾波器能使對于垂直塊邊界和水平塊邊界的濾波需要確定處理并行化、或者濾波需要確定處理和濾波處理并行化。控制這些處理的參數(shù)可以插入至每個視圖的編碼流的頭部區(qū)，或者至復(fù)用流中的公共頭部區(qū)。圖42是示出適用于上述多視圖編解碼器的圖像解碼處理的說明圖。圖42示出多視圖解碼設(shè)備760的配置作為一個示例。多視圖解碼設(shè)備760包含解復(fù)用部770、第一解碼部780和第二解碼部790。解復(fù)用部770將多視圖的復(fù)用流解復(fù)用為基本視圖的編碼流、和一個或多個非基本視圖的編碼流。第一解碼部780根據(jù)基本視圖的編碼流將基本視像解碼。第二解碼部730根據(jù)非基本視圖的編碼流將非基本視像解碼。

圖42所示的第一解碼部780和第二解碼部790配置得類似于根據(jù)上述實施例的圖像解碼設(shè)備60。向視圖適用去塊濾波器能使對于垂直塊邊界和水平塊邊界的濾波需要確定處理并行化、或者濾波需要確定處理和濾波處理并行化?？刂七@些處理的參數(shù)可以從每個視圖的編碼流程的頭部區(qū)、或者從復(fù)用流中的公共頭部區(qū)獲取。[6-2.可擴展編解碼器]可擴展編解碼器是提供分層編碼的圖像編碼系統(tǒng)。圖43是示出可擴展編解碼器的說明圖。圖43示出對于不同的空間分辨率、時間分辨率、或者圖像質(zhì)量的三層的幀序列。每個層被提供有層ID(layer_id)。這些層包含具有最低分辨率(或者圖像質(zhì)量)的基本層?；緦右酝獾膶颖环Q為增強層。圖43的示例表示層ID為“O”的基本層和層ID為“I”或者“2”的兩個增強層。通過基于有關(guān)基本層的幀的編碼信息來將增強層的幀編碼，將多層圖像數(shù)據(jù)編碼可以將作為整體的編碼流的數(shù)據(jù)尺寸壓縮。在根據(jù)上述的可擴展編解碼器的編碼處理和解碼處理中，去塊濾波可以適用于每個層。當(dāng)去塊濾波被適用于每個層時，對垂直塊邊界和水平塊邊界的每個層的濾波需要確定處理可以基于根據(jù)本公開的技術(shù)而并行化。對于每個層的濾波需要確定處理和濾波處理可以并行化?？梢詫γ總€層提供控制濾波需要確定處理或者濾波處理的參數(shù)(諸如在之前段落0094中說明的一個)。提供給基本層的參數(shù)可以重新用于增強層。濾波需要確定處理或者濾波處理可以在多個層上并行化。多個層可以共享控制濾波需要確定處理或者濾波處理的參數(shù)(諸如在之前段落0094中說明的一個)。追加指定表明層是否共享參數(shù)的標(biāo)志可以是有利的。圖44是示出適用于上述可擴展編解碼器的圖像編碼處理的說明圖。圖44示出可擴展編碼設(shè)備810的配置作為一個示例?？蓴U展編碼設(shè)備810包含第一編碼部820、第二編碼部830和復(fù)用部840。第一編碼部820將基本層圖像編碼，并產(chǎn)生基本層的編碼流。第二編碼部830將增強層圖像編碼，并產(chǎn)生增強層的編碼流。復(fù)用部840將從第一編碼部820產(chǎn)生的基本層的編碼流、和從第二編碼部830產(chǎn)生的增強層的一個或多個編碼流復(fù)用，以產(chǎn)生多層的復(fù)用流。圖44所示的第一編碼部820和第二編碼部830配置得類似于根據(jù)上述實施例的圖像編碼設(shè)備10。向各層適用去塊濾波器能使對于垂直塊邊界和水平塊邊界的濾波需要確定處理并行化、或者濾波需要確定處理和濾波處理并行化?？刂七@些處理的參數(shù)可以插入至每個層的編碼流的頭部區(qū)、或者至復(fù)用流中的公共頭部區(qū)。圖45是示出適用于上述可擴展編解碼器的圖像解碼處理的說明圖。圖45示出可擴展解碼設(shè)備860的配置作為一個示例?？蓴U展解碼設(shè)備860包含解復(fù)用部870、第一解碼部880和第二解碼部890。解復(fù)用部870將多層的復(fù)用流解復(fù)用為基本層的編碼流、和一個或多個增強層的編碼流。第一解碼部880根據(jù)基本層的編碼流將基本層圖像解碼。第二解碼部830根據(jù)增強層的編碼流將增強層圖像解碼。圖45所示的第一解碼部880和第二解碼部890配置得類似于根據(jù)上述實施例的圖像解碼設(shè)備60。向各層適用去塊濾波器能使對于垂直塊邊界和水平塊邊界的濾波需要確定處理并行化、或者濾波需要確定處理和濾波處理并行化。控制這些處理的參數(shù)可以從每個層的編碼流的頭部區(qū)、或者從復(fù)用流中的公共頭部區(qū)獲取。<7.示例應(yīng)用>根據(jù)上述實施例的圖像編碼設(shè)備10和圖像解碼設(shè)備60可以適用于各種電子電器，諸如衛(wèi)星廣播、有線電視等有線廣播、互聯(lián)網(wǎng)上的發(fā)布、經(jīng)由蜂窩通信至終端的發(fā)布等的發(fā)射機和接收機，在諸如光盤、磁盤或者閃存存儲器等介質(zhì)上記錄圖像的記錄設(shè)備，從這樣的存儲介質(zhì)再現(xiàn)圖像的再現(xiàn)設(shè)備等。下面說明4個示例應(yīng)用。
[71.第一示例應(yīng)用]圖46是示出采用上述的實施例的電視的概要配置的示例的框圖。電視900包含天線901、調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號處理部905、顯示部906、音頻信號處理部907、揚聲器908、外部接口 909、控制部910、用戶接口 911和總線912。調(diào)諧器902從經(jīng)由天線901接收的廣播信號提取期望的頻道的信號，并將提取的信號解調(diào)。然后，調(diào)諧器902將由解調(diào)獲得的編碼比特流輸出至解復(fù)用器903。調(diào)諧器902用作電視900的傳輸裝置，用于接收圖像被編碼的編碼流。解復(fù)用器903從編碼的比特流分離出要觀 看的節(jié)目的視頻流和音頻流，并將已被分離的每個流輸出至解碼器904。另外，解復(fù)用器903從編碼的比特流提取諸如EPG (電子節(jié)目指南)等輔助數(shù)據(jù)，并將提取的數(shù)據(jù)提供給控制部910。此外，在編碼的比特流被加擾的情況下，解復(fù)用器903可以執(zhí)行解擾。解碼器904將從解復(fù)用器903輸入的視頻流和音頻流解碼。然后，解碼器904將由解碼處理產(chǎn)生的視頻數(shù)據(jù)輸出至視頻信號處理部905。另外，解碼器904將由解碼處理產(chǎn)生的音頻數(shù)據(jù)輸出至音頻信號處理部907。視頻信號處理部905將從解碼器904輸入的視頻數(shù)據(jù)再現(xiàn)，并使顯示部906顯示視頻。視頻信號處理部905還可以使顯示部906顯示經(jīng)由網(wǎng)絡(luò)提供的應(yīng)用屏幕。此外，視頻信號處理部905可以執(zhí)行例如根據(jù)設(shè)定對視頻數(shù)據(jù)去除噪聲等附加的處理。此外，視頻信號處理部905可以產(chǎn)生例如菜單、按鈕、光標(biāo)等⑶I (圖形用戶界面)的圖像，并將產(chǎn)生的圖像疊加在輸出圖像。顯示部906由視頻信號處理部905提供的驅(qū)動信號驅(qū)動，并在顯示設(shè)備的視頻屏幕(例如液晶顯示器、等離子體顯示器、OLED等)上顯示視頻或者圖像。音頻信號處理部907對從解碼器904輸入的音頻數(shù)據(jù)執(zhí)行如D/A轉(zhuǎn)換和放大等再現(xiàn)處理,并從揚聲器908輸出音頻。另外,音頻信號處理部907可以對音頻數(shù)據(jù)執(zhí)行諸如去除噪聲等附加處理。外部接口 909是用于連接電視900和外部電器或者網(wǎng)絡(luò)的接口。例如，經(jīng)由外部接口 909接收的視頻流或者音頻流可以由解碼器904解碼。即，外部接口 909也用作電視900的傳輸裝置，用于接收圖像被編碼的編碼流。控制部910包含諸如CPU (中央處理單位)等處理器和諸如RAM (隨機存取存儲器)、R0M (只讀存儲器)等存儲器。存儲器存儲要由CPU執(zhí)行的程序、程序數(shù)據(jù)、EPG數(shù)據(jù)、經(jīng)由網(wǎng)絡(luò)獲取的數(shù)據(jù)等。例如在電視900啟動時，存儲在存儲器的程序被CPU讀出并執(zhí)行。(PU根據(jù)從用戶接口 911輸入的操作信號，例如通過執(zhí)行程序來控制電視900的運行。用戶接口 911被連接至控制部910。用戶接口 911例如包含由用戶用于操作電視900的按鈕和開關(guān)、以及用于遙控信號的接收部。用戶接口 911經(jīng)由這些構(gòu)成要素檢測用戶的操作，產(chǎn)生操作信號，并將產(chǎn)生的操作信號輸出至控制部910。總線912將調(diào)諧器902、解復(fù)用器903、解碼器904、視頻信號處理部905、音頻信號處理部907、外部接口 909和控制部910互相連接。在以該方式配置的電視900中，解碼器904具有根據(jù)上述實施例的圖像解碼設(shè)備60的功能。從而，在電視900中的圖像解碼的情況下，也可以增強去塊濾波器處理的并行度，并保證高速處理。[7-2.第二示例應(yīng)用]圖47是示出采用上述的實施例的移動電話的概要配置的示例的框圖。移動電話920包含天線921、通信部922、音頻編解碼器923、揚聲器924、麥克風(fēng)925、相機部926、圖像處理部927、解復(fù)用部928、記錄/再現(xiàn)部929、顯示部930、控制部931、操作部932和總線933。天線921被連接至通信部922。揚聲器924和麥克風(fēng)925被連接至音頻編解碼器923。操作部932被 連接至控制部931?？偩€933將通信部922、音頻編解碼器923、相機部926、圖像處理部927、解復(fù)用部928、記錄/再現(xiàn)部929、顯示部930和控制部931互相連接。移動電話920以包含音頻通信模式、數(shù)據(jù)通信模式、圖像捕獲模式和視頻電話模式等各種運行模式執(zhí)行諸如音頻信號的發(fā)送/接收、電子郵件或者圖像數(shù)據(jù)的發(fā)送/接收、圖像捕獲、數(shù)據(jù)的記錄等操作。在音頻通信模式中，由麥克風(fēng)925產(chǎn)生的模擬音頻信號被提供至音頻編解碼器923。音頻編解碼器923將模擬音頻信號轉(zhuǎn)換為音頻數(shù)據(jù)，并將轉(zhuǎn)換的音頻數(shù)據(jù)進行A/D轉(zhuǎn)換并壓縮。然后，音頻編解碼器923將壓縮的音頻數(shù)據(jù)輸出至通信部922。通信部922將音頻數(shù)據(jù)編碼并調(diào)制，并產(chǎn)生發(fā)送信號。然后，通信部922將產(chǎn)生的發(fā)送信號經(jīng)由天線921發(fā)送至基站(未示出)。另外，通信部922將經(jīng)由天線921接收的無線信號放大，并轉(zhuǎn)換無線信號的頻率，并獲取接收的信號。然后，通信部922將接收的信號解調(diào)和解碼，并產(chǎn)生音頻數(shù)據(jù)，并將產(chǎn)生的音頻數(shù)據(jù)輸出至音頻編解碼器923。音頻編解碼器923將音頻數(shù)據(jù)擴展并進行D/A轉(zhuǎn)換，并產(chǎn)生模擬音頻信號。然后，音頻編解碼器923將產(chǎn)生的音頻信號提供給揚聲器924，并使音頻輸出。另外，在數(shù)據(jù)通信模式中，控制部931例如根據(jù)用戶經(jīng)由操作部932的操作，產(chǎn)生構(gòu)成電子郵件的文本數(shù)據(jù)。此外，控制部931使文本顯示在顯示部930。此外，控制部931根據(jù)用戶經(jīng)由操作部932的發(fā)送指令，產(chǎn)生電子郵件數(shù)據(jù)，并將產(chǎn)生的電子郵件數(shù)據(jù)輸出至通信部922。然后，通信部922將電子郵件數(shù)據(jù)編碼并調(diào)制，并產(chǎn)生發(fā)送信號。然后，通信部922將產(chǎn)生的發(fā)送信號經(jīng)由天線921發(fā)送至基站(未示出)。另外，通信部922將經(jīng)由天線921接收的無線信號放大，并轉(zhuǎn)換無線信號的頻率，并獲取接收的信號。然后，通信部922將接收的信號解調(diào)并解碼，恢復(fù)電子郵件數(shù)據(jù)，并將恢復(fù)的電子郵件數(shù)據(jù)輸出至控制部931?？刂撇?31使顯示部930顯示電子郵件的內(nèi)容，另外使電子郵件數(shù)據(jù)存儲在記錄/再現(xiàn)部929的存儲介質(zhì)中。記錄/再現(xiàn)部929包含任意可讀并可寫的存儲介質(zhì)。例如，存儲介質(zhì)可以是諸如RAM、閃存存儲器等內(nèi)置的存儲介質(zhì)，或者諸如硬盤、磁盤、光磁盤、光盤、USB存儲器、存儲卡等外部裝載的存儲介質(zhì)。此外，在圖像捕獲模式中，相機部926例如捕獲被攝物的圖像，產(chǎn)生圖像數(shù)據(jù)，并將產(chǎn)生的圖像數(shù)據(jù)輸出至圖像處理部927。圖像處理部927將從相機部926輸入的圖像數(shù)據(jù)編碼，并使編碼流存儲在記 錄/再現(xiàn)部929的存儲介質(zhì)中。此外，在視頻電話模式中，解復(fù)用部928例如將由圖像處理部927編碼的視頻流、和從音頻編解碼器923輸入的音頻流復(fù)用，并將復(fù)用流輸出至通信部922。通信部922將流編碼并調(diào)制，并產(chǎn)生發(fā)送信號。然后，通信部922將產(chǎn)生的發(fā)送信號經(jīng)由天線921發(fā)送至基站(未示出)。另外，通信部922將經(jīng)由天線921接收的無線信號放大，并轉(zhuǎn)換無線信號的頻率，并獲取接收的信號。這些發(fā)送信號和接收的信號可以包含編碼的比特流。然后，通信部922將接收的信號解調(diào)并解碼，將流恢復(fù)，并將恢復(fù)的流輸出至解復(fù)用部928。解復(fù)用部928從輸入流分離出視頻流和音頻流，并將視頻流輸出至圖像處理部927，將音頻流輸出至音頻編解碼器923。圖像處理部927將視頻流解碼，并產(chǎn)生視頻數(shù)據(jù)。視頻數(shù)據(jù)被提供至顯示部930，并且由顯示部930顯示一系列的圖像。音頻編解碼器923對音頻流進行擴展和D/A轉(zhuǎn)換，并產(chǎn)生模擬音頻信號。然后，音頻編解碼器923將產(chǎn)生的音頻信號提供給揚聲器924，并使音頻輸出。在以該方式配置的移動電話920中，圖像處理部927具有根據(jù)上述實施例的圖像編碼設(shè)備10和圖像解碼設(shè)備60的功能。從而，在移動電話920中的圖像解碼和編碼的情況下，也能夠增強去塊濾波器處理的并行度，并保證高速處理。
[7-3.第三示例應(yīng)用]圖48是示出采用上述的實施例的記錄/再現(xiàn)設(shè)備的概要配置的示例的框圖。記錄/再現(xiàn)設(shè)備940例如對接收的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)編碼并記錄在記錄介質(zhì)。記錄/再現(xiàn)設(shè)備940例如還可以對從另一設(shè)備獲取的音頻數(shù)據(jù)和視頻數(shù)據(jù)編碼并記錄在記錄介質(zhì)。此外，記錄/再現(xiàn)設(shè)備940例如根據(jù)用戶的指令，使用監(jiān)控器或者揚聲器，再現(xiàn)記錄在記錄介質(zhì)的數(shù)據(jù)。此時，記錄/再現(xiàn)設(shè)備940將音頻數(shù)據(jù)和視頻數(shù)據(jù)解碼。記錄/再現(xiàn)設(shè)備940包含調(diào)諧器941、外部接口 942、編碼器943、HDD(硬盤驅(qū)動器)944、盤驅(qū)動器945、選擇器946、解碼器947、0SD (On-Screen Display,屏幕上顯示)948、控制部949和用戶接口 950。調(diào)諧器941從經(jīng)由天線(未示出)接收的廣播信號提取期望的頻道的信號，并將提取的信號解調(diào)。然后，調(diào)諧器941將由解調(diào)獲得的編碼的比特流輸出至選擇器946。S卩，調(diào)諧器941用作記錄/再現(xiàn)設(shè)備940的傳輸裝置。外部接口 942是用于連接記錄/再現(xiàn)設(shè)備940和外部電器或者網(wǎng)絡(luò)的接口。例如，外部接口 942可以是IEEE1394接口、網(wǎng)絡(luò)接口、USB接口、閃存存儲器接口等。例如，由外部接口 942接收的視頻數(shù)據(jù)和音頻數(shù)據(jù)被輸入至編碼器943。即，外部接口 942用作記錄/再現(xiàn)設(shè)備940的傳輸裝置。在從外部接口 942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)未被編碼的情況下，編碼器943將視頻數(shù)據(jù)和音頻數(shù)據(jù)編碼。然后，編碼器943將編碼的比特流輸出至選擇器946。HDD944在內(nèi)部硬盤記錄作為壓縮的視頻或者音頻的內(nèi)容數(shù)據(jù)的編碼的比特流、各種程序、以及其它項數(shù)據(jù)。另外，HDD944在再現(xiàn)視頻或者音頻時，從硬盤讀出這些項數(shù)據(jù)。

盤驅(qū)動器945在裝載的記錄介質(zhì)記錄或者讀出數(shù)據(jù)。裝載在盤驅(qū)動器945的記錄介質(zhì)可以是例如 DVD 盤(DVD-Video，DVD-RAM、DVD-R、DVD-RW、DVD+、DVD+RW 等)、藍光(注冊商標(biāo))盤等。選擇器946在記錄視頻或者音頻時選擇從調(diào)諧器941或者編碼器943輸入的編碼的比特流，并將選擇的編碼的比特流輸出至HDD944或者盤驅(qū)動器945。另外，選擇器946在再現(xiàn)視頻或者音頻時，將從HDD944或者盤驅(qū)動器945輸入的編碼的比特流輸出至解碼器947。解碼器947將編碼的比特流解碼，并產(chǎn)生視頻數(shù)據(jù)和音頻數(shù)據(jù)。然后，解碼器947將產(chǎn)生的視頻數(shù)據(jù)輸出至0SD948。另外，解碼器904將產(chǎn)生的音頻數(shù)據(jù)輸出至外部揚聲器。0SD948再現(xiàn)從解碼器947輸入的視頻數(shù)據(jù)，并顯示視頻。另外，0SD948可以例如在顯示的視頻上疊加諸如菜單、按鈕、光標(biāo)等⑶I的圖像。控制部949包含諸如CPU等處理器和諸如RAM或者ROM等存儲器。存儲器存儲由(PU執(zhí)行的程序、程序數(shù)據(jù)等。例如在記錄/再現(xiàn)設(shè)備940啟動時，存儲在存儲器的程序被CPU讀出并執(zhí)行。CPU根據(jù)從用戶接口 950輸入的操作信號，例如通過執(zhí)行程序來控制記錄/再現(xiàn)設(shè)備940的運行。用戶接口 950被連接至控制部949。用戶接口 950例如包含用戶用于操作記錄/再現(xiàn)設(shè)備940的按鈕和開關(guān)、以及對于遙控信號的接收部。用戶接口 950經(jīng)由這些構(gòu)成要素檢測用戶的操作，產(chǎn)生操作信號，并將產(chǎn)生的操作信號輸出至控制部949。在以該方式配置的記錄/再現(xiàn)設(shè)備940中，編碼器943具有根據(jù)上述實施例的圖像編碼設(shè)備10的功能。另外，解碼器947具有根據(jù)上述實施例的圖像解碼設(shè)備60的功能。從而，在記錄/再現(xiàn)設(shè)備940中的圖像解碼和編碼的情況下，也能夠增強去塊濾波器處理的并行度，并保證高速處理。[7-4.第四示例應(yīng)用]圖49是示出采用上述的實施例的圖像捕獲設(shè)備的概要配置的示例的框圖。圖像捕獲設(shè)備960捕獲被攝物的圖像，產(chǎn)生圖像，對圖像數(shù)據(jù)編碼，并將圖像數(shù)據(jù)記錄在記錄介質(zhì)。圖像捕獲設(shè)備960包含光學(xué)塊961、圖像捕獲部962、信號處理部963、圖像處理部964、顯示部965、外部接口 966、存儲器967、介質(zhì)驅(qū)動器968、0SD969、控制部970、用戶接口971和總線972。光學(xué)塊961被連接至圖像捕獲部962。圖像捕獲部962被連接至信號處理部963。顯示部965被連接至圖像處理部964。用戶接口 971被連接至控制部970。總線972將圖像處理部964、外部接口 966、存儲器967、介質(zhì)驅(qū)動器968、0SD969和控制部970互相連接。光學(xué)塊961包含聚焦透鏡、孔徑光闌機構(gòu)等。光學(xué)塊961在圖像捕獲部962的圖像捕獲面形成被攝物的光學(xué)像。圖像捕獲部962包含諸如CCD、CM0S等圖像傳感器，并由光電轉(zhuǎn)換將形成在圖像捕獲面的光學(xué)像轉(zhuǎn)換為電信號的圖像信號。然后，圖像捕獲部962將圖像信號輸出至信號處理部963。信號處理部963對從圖像捕獲部962輸入的圖像信號執(zhí)行諸如拐點校正、伽馬校正、顏色校正等各種相機信號處理。信號處理部963將相機信號處理后的圖像數(shù)據(jù)輸出至圖像處理部964。圖像處理部964將從信號處理部963輸入的圖像數(shù)據(jù)編碼，并產(chǎn)生編碼的數(shù)據(jù)。然后，圖像處理部964將產(chǎn)生的編碼的數(shù)據(jù)至外部接口 966或者介質(zhì)驅(qū)動器968。另外，圖像處理部964將從外部接口 9 66或者介質(zhì)驅(qū)動器968輸入的編碼的數(shù)據(jù)解碼，并產(chǎn)生圖像數(shù)據(jù)。然后，圖像處理部964將產(chǎn)生的圖像數(shù)據(jù)輸出至顯示部965。另外，圖像處理部964可以將從信號處理部963輸入的圖像數(shù)據(jù)輸出至顯示部965，并使圖像顯示。此外，圖像處理部964可以在輸出至顯示部965的圖像疊加從0SD969獲取的用于顯示的數(shù)據(jù)。0SD969產(chǎn)生諸如菜單、按鈕、光標(biāo)等⑶I的圖像，并將產(chǎn)生的圖像輸出至圖像處理部 964。外部接口 966例如配置為USB輸入/輸出終端。外部接口 966例如在打印圖像時連接圖像捕獲設(shè)備960和打印機。另外，根據(jù)需要驅(qū)動器被連接至外部接口 966。例如諸如磁盤、光盤等可移動介質(zhì)被裝載在驅(qū)動器上，從可移動的介質(zhì)讀出的程序可以安裝在圖像捕獲設(shè)備960中。此外，外部接口 966可以配置為連接至諸如LAN、互聯(lián)網(wǎng)等網(wǎng)絡(luò)的網(wǎng)絡(luò)接口。S卩，外部接口 966用作圖像捕獲設(shè)備960的發(fā)送裝置。裝載在介質(zhì)驅(qū)動器968的記錄介質(zhì)例如可以是任意可讀和可寫的可移動的介質(zhì)，諸如磁盤、光磁盤、光盤或半導(dǎo)體存儲器等。另外，記錄介質(zhì)例如可以固定地裝載在例如配置為諸如內(nèi)置硬盤驅(qū)動器或者SSD (固態(tài)驅(qū)動器)等非便攜的存儲部的介質(zhì)驅(qū)動器968上?？刂撇?70包含諸如CPU等處理器和諸如RAM或者ROM等存儲器。存儲器存儲由(PU執(zhí)行的程序、程序數(shù)據(jù)等。例如在圖像捕獲設(shè)備960啟動時，存儲在存儲器的程序被CPU讀出并執(zhí)行。CPU根據(jù)從用戶接口 971輸入的操作信號，例如通過執(zhí)行程序來控制圖像捕獲設(shè)備960的運行。用戶接口 971被連接至控制部970。用戶接口 971例如包含用戶用于操作圖像捕獲設(shè)備960的按鈕、開關(guān)等。用戶接口 971經(jīng)由這些構(gòu)成要素檢測用戶的操作，產(chǎn)生操作信號，并將產(chǎn)生的操作信號輸出至控制部970。在以該方式配置的圖像捕獲設(shè)備960中，圖像處理部964具有根據(jù)上述實施例的圖像編碼設(shè)備10和圖像解碼設(shè)備60的功能。從而，在圖像捕獲設(shè)備960中的圖像解碼和編碼的情況下，能夠增強去塊濾波器處理的并行度，并保證高速處理。<8.總結(jié) >參考圖1至49，已說明了根據(jù)實施例的、用于圖像編碼設(shè)備10和圖像解碼設(shè)備60的去塊濾波器的3個工作例。3個工作例使用輸入至去塊濾波器的像素值來確定是否需要適用對于垂直邊界和水平邊界的去塊濾波器。確定處理能夠不依賴于于濾波處理結(jié)果而并行執(zhí)行。宏塊之間的處理的依賴性被消除，能使宏塊的處理并行化。作為結(jié)果，可以避免由于去塊濾波的處理量大而造成的延遲或者數(shù)據(jù)碼率劣化，并保證高速處理?？梢愿鶕?jù)諸如圖像尺寸或者安裝環(huán) 境等各種條件而靈活配置去塊濾波器處理的并行度和順序。根據(jù)第一工作例，確定是否向垂直邊界適用去塊濾波器使用屬于不適用對于水平邊界的定義的行的像素的像素值。確定是否向水平邊界適用去塊濾波器使用屬于不適用對于垂直邊界的定義的行的像素的像素值。對塊的濾波處理不更新用于對另一個塊的濾波需要確定處理的像素值。即使對給定的塊的濾波需要確定處理在對另一個塊的濾波處理之后，輸入至去塊濾波器的像素值也不需要存儲在額外的存儲器中。這能夠節(jié)省需要用于裝置安裝的硬件成本。根據(jù)第二工作例，不由濾波處理更新的存儲器存儲輸入至去塊濾波器的像素值。濾波需要確定處理參考輸入像素值。在這種情況下，濾波需要確定處理參考其位置不受限制的像素。這使得能夠?qū)χT如濾波必要性的更精確的確定或者以降低的處理成本確定等各種目的適當(dāng)?shù)厥褂渺`活的確定條件。根據(jù)第三工作例，對于垂直邊界和水平邊界的濾波器處理，對輸入至去塊濾波器的像素濾波。該配置能夠使對于垂直邊界和水平邊界的濾波處理彼此并行化。這能夠進一步加速去塊濾波器的處理。對于由兩個并行執(zhí)行的濾波處理更新的像素，基于兩個濾波器輸出來計算輸出像素值。并行化兩個濾波處理還能夠適當(dāng)?shù)臏p小在垂直邊界和水平邊界出現(xiàn)的塊失真。輸出像素值可以被計算為兩個濾波器輸出的加權(quán)平均。這能夠允許去塊濾波更有效消除塊失真，并進一步改善圖像質(zhì)量。本說明書主要說明的示例是對于垂直邊界的濾波處理先于對于水平邊界的濾波處理。此外，在對于水平邊界的濾波處理先于對于垂直邊界的濾波處理的情況同樣能夠獲得根據(jù)本公開的技術(shù)的上述效果。去塊濾波器處理單位或者宏塊可以不同于在說明書中說明的尺寸?？捎眉夹g(shù)可以省略濾波需要確定處理，并且使對垂直邊界和水平邊界的去塊濾波的應(yīng)用并行化。從編碼側(cè)向解碼側(cè)發(fā)送用于去塊濾波處理并行化的信息的技術(shù)不限于將信息復(fù)用至編碼流頭部的技術(shù)。例如，信息可能無法復(fù)用至編碼比特流，但是可以發(fā)送或者記錄為與編碼的比特流關(guān)聯(lián)的分立的數(shù)據(jù)。術(shù)語“關(guān)聯(lián)”表明保證將含在比特流的圖像(或者諸如片或者塊等圖像的部分)與對應(yīng)于圖像的信息鏈接的可能性。即，信息可以在不同于用于圖像(或者比特流)的發(fā)送路徑上發(fā)送。信息可以記錄在不同于用于圖像(或者比特流)的記錄介質(zhì)(或者相同的記錄介質(zhì)的不同記錄區(qū))。信息和圖像(或者比特流)可以基于諸如多個幀、一個幀、或者幀的一部分等任意單位互相關(guān)聯(lián)。雖然上述已參考

了本發(fā)明的優(yōu)選的實施例，但本發(fā)明當(dāng)然不限于上述示例。本領(lǐng)域的技術(shù)人員在所附的權(quán)利要求的范圍內(nèi)可以發(fā)現(xiàn)各種變更和改良，應(yīng)該理解的是其自然屬于本發(fā)明的技術(shù)范圍。說明書將對于垂直邊界的濾波處理表示為“水平濾波”，將對于水平邊界的濾波處理表示為“垂直濾波”。一般而言，對于垂直邊界的濾波處理使用水平配置的濾波器抽頭。對于水平邊界的濾 波處理使用垂直配置的濾波器抽頭。因此，對于濾波處理使用上述命名。
權(quán)利要求
1.一種圖像處理設(shè)備，包括: 解碼部，構(gòu)成為從編碼流解碼圖像； 確定部，構(gòu)成為執(zhí)行確定處理，確定是否對在由解碼部解碼的圖像內(nèi)跨塊邊界而鄰接的鄰接塊適用去塊濾波器； 濾波部，構(gòu)成為對確定部已經(jīng)確定為適用去塊濾波器的鄰接塊適用去塊濾波器；以及控制部，構(gòu)成為使確定部使用重構(gòu)圖像的鄰接塊的像素作為參考像素，執(zhí)行對于垂直塊邊界和水平塊邊界的確定處理。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備， 其中，控制部使確定部使用在由濾波部對水平塊邊界執(zhí)行的濾波中沒有被更新的位置的像素，作為對于垂直塊邊界的確定處理的參考像素，并使確定部使用在由濾波部對垂直塊邊界執(zhí)行的濾波中沒有被更新的位置的像素，作為對于水平塊邊界的確定處理的參考像素。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備， 其中，控制部使確定部并行執(zhí)行對于垂直塊邊界和水平塊邊界的的確定處理。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備， 其中，控制部使確定部使用垂直塊邊界中心附近的、包含在與垂直塊邊界正交的水平線的像素，作為對于垂直塊邊界的確定處 理的參考像素，并使確定部使用水平塊邊界中心附近的、包含在與水平塊邊界正交的垂直線的像素，作為對于水平塊邊界的確定處理的參考像素。
5.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備， 其中，控制部使確定部使用垂直塊邊界中心附近的、與垂直塊邊界正交的兩條線作為水平線，使確定部使用水平塊邊界中心附近的、與水平塊邊界正交的兩條線作為垂直線。
6.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備， 其中，控制部基于包含在序列參數(shù)集、圖畫參數(shù)集、以及片頭部中的一個中的參數(shù)，控制由確定部執(zhí)行的確定處理的并行度和由濾波部執(zhí)行的濾波的并行度之一。
7.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備， 其中，控制部基于圖像的尺寸，控制由確定部執(zhí)行的確定處理的并行度和由濾波部執(zhí)行的濾波的并行度之一。
8.—種圖像處理方法，包括: 從編碼流解碼圖像； 執(zhí)行確定處理，確定是否對在解碼的圖像內(nèi)跨塊邊界而鄰接的鄰接塊適用去塊濾波器； 對在確定處理中已被確定為適用去塊濾波器的鄰接塊適用去塊濾波器；以及以如下方式控制確定處理:使用重構(gòu)圖像的鄰接塊的像素作為參考像素，執(zhí)行對于垂直塊邊界和水平塊邊界的確定處理。
9.一種圖像處理設(shè)備，包括: 確定部，構(gòu)成為執(zhí)行確定處理，確定在待編碼的圖像被編碼時是否對被局部解碼的圖像內(nèi)跨塊邊界而鄰接的鄰接塊適用去塊濾波器； 濾波部，構(gòu)成為對確定部已經(jīng)確定為適用去塊濾波器的鄰接塊適用去塊濾波器；控制部，構(gòu)成為使確定部使用重構(gòu)圖像的鄰接塊的像素作為參考像素，執(zhí)行對于垂直塊邊界和水平塊邊界的確定處理；以及 編碼部，構(gòu)成為使用由濾波部濾波的圖像，將待編碼的圖像編碼。
10.根據(jù)權(quán)利要求9所述的圖像處理設(shè)備， 其中，控制部使確定部使用在由濾波部對水平塊邊界執(zhí)行的濾波中沒有被更新的位置的像素，作為對于垂直塊邊界的確定處理的參考像素，并使確定部使用在由濾波部對垂直塊邊界執(zhí)行的濾波中沒有被更新的位置的像素，作為對于水平塊邊界的確定處理的參考像素。
11.根據(jù)權(quán)利要求10所述的圖像處理設(shè)備， 其中，控制部使確定部并行執(zhí)行對于垂直塊邊界和水平塊邊界的的確定處理。
12.—種圖像處理方法，包括: 執(zhí)行確定處理，確定在待編碼的圖像被編碼時是否對被局部解碼的圖像內(nèi)跨塊邊界而鄰接的鄰接塊適用去塊濾波器； 對在確定處理中已被確定為適用去塊濾波器的鄰接塊適用去塊濾波器； 以如下方式控制確定處理:使用重構(gòu)圖像的鄰接塊的像素作為參考像素，執(zhí)行對于垂直塊邊界和水平塊邊界的確定處理；以及 使用由去塊濾 波器濾波的圖像，將待編碼的圖像編碼。
全文摘要
本發(fā)明提供一種圖像處理設(shè)備，包含解碼部，構(gòu)成為對來自編碼流的圖像進行解碼；確定部，構(gòu)成為執(zhí)行確定處理，確定是否向要由解碼部解碼的圖像內(nèi)跨塊邊界鄰接的鄰接塊適用去塊濾波器；濾波部，構(gòu)成為向確定部已經(jīng)確定要適用去塊濾波器的鄰接塊適用去塊濾波器；以及控制部，構(gòu)成為允許確定部使用重構(gòu)的圖像的鄰接塊的像素作為參考像素，執(zhí)行用于垂直塊邊界和水平塊邊界的確定處理。
文檔編號H04N7/26GK103229506SQ20118005781
公開日2013年7月31日 申請日期2011年12月2日 優(yōu)先權(quán)日2010年12月7日
發(fā)明者池田優(yōu), 田中潤一, 森上義崇 申請人:索尼公司