本申請(qǐng)是申請(qǐng)日為2012年3月1日、申請(qǐng)?zhí)枮椤?01280011747.6”、發(fā)明名稱為“圖像處理設(shè)備和方法”的發(fā)明專利申請(qǐng)的分案申請(qǐng)。

本發(fā)明涉及一種圖像處理設(shè)備和方法，更具體地，涉及一種能夠抑制操作時(shí)間增加的圖像處理設(shè)備和方法。

背景技術(shù)：

近年來(lái)，將圖像信息作為數(shù)字信息進(jìn)行處理的設(shè)備擴(kuò)展到從廣播站分發(fā)信息并在家里接收信息，在這種情況下，該設(shè)備遵循使用針對(duì)圖像信息的冗余、通過正交變換例如離散余弦變換或運(yùn)動(dòng)補(bǔ)償來(lái)進(jìn)行壓縮的mpeg(動(dòng)態(tài)畫面專家組)的標(biāo)準(zhǔn)，來(lái)傳輸和累積高效信息。

具體地，mpeg2(iso(國(guó)際標(biāo)準(zhǔn)化組織)/iec(國(guó)際電工委員會(huì))13818-2)被定義為通用編碼方法，且根據(jù)覆蓋隔行掃描圖像和逐行掃描圖像兩者的標(biāo)準(zhǔn)以及標(biāo)準(zhǔn)分辨率圖像和高清圖像的標(biāo)準(zhǔn)，當(dāng)前將mpeg2用于大范圍的專業(yè)用途和消費(fèi)者用途的應(yīng)用中。根據(jù)mpeg2壓縮標(biāo)準(zhǔn)，例如，通過將比特率4mbps至8mbps分配給具有標(biāo)準(zhǔn)分辨率720×480像素的隔行掃描圖像，并將比特率18mbps至22mbps分配給具有1920×1088像素的高分辨率隔行掃描圖像，可以實(shí)現(xiàn)高壓縮比和出色的圖像質(zhì)量。

雖然mpeg2以主要匹配廣播的高圖像質(zhì)量編碼為目標(biāo)，但mpeg2不支持比mpeg1的比特率低的比特率也就是較高壓縮比的編碼標(biāo)準(zhǔn)。隨著移動(dòng)終端的普及，對(duì)這種編碼標(biāo)準(zhǔn)的需求預(yù)計(jì)在不久的將來(lái)將增大，因此對(duì)mpeg4編碼標(biāo)準(zhǔn)進(jìn)行了標(biāo)準(zhǔn)化以滿足該需求。在1998年12月，圖像編碼標(biāo)準(zhǔn)被批準(zhǔn)為iso/iec14496-2作為國(guó)際標(biāo)準(zhǔn)。

此外，在開發(fā)用于圖像編碼的被稱為h.26l的標(biāo)準(zhǔn)(itu-t(國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化組織)q6/16vceg(視頻編碼專家組))以最初用于視頻會(huì)議中。與傳統(tǒng)的編碼技術(shù)例如mpeg2和mpeg4相比，h.26l在編碼和解碼中需要更大的計(jì)算量，但已知的是能夠?qū)崿F(xiàn)較高的編碼效率。此外，作為mpeg4領(lǐng)域的一部分，當(dāng)前正在開發(fā)基于h.26l的用于實(shí)現(xiàn)更高編碼效率但也采用不被h.26l支持的功能的標(biāo)準(zhǔn)作為增強(qiáng)壓縮視頻編碼的聯(lián)合模型。

在2003年3月，該標(biāo)準(zhǔn)已經(jīng)以h.264和mpeg第10部分的名稱被設(shè)置為國(guó)際標(biāo)準(zhǔn)(在下文中，稱為avc(高級(jí)視頻編碼))。

然而，令人擔(dān)憂的是，提供16×16像素宏塊大小的這個(gè)標(biāo)準(zhǔn)對(duì)于圖像幀例如作為目標(biāo)下一代編碼標(biāo)準(zhǔn)的uhd(超高清；4000×2000像素)不是最佳的。

現(xiàn)在，為了實(shí)現(xiàn)比avc的編碼效率高的編碼效率，由jctvc(聯(lián)合協(xié)作組-視頻編碼)開發(fā)了被稱為hevc(高效視頻編碼)的圖像編碼技術(shù)作為標(biāo)準(zhǔn)，jctvc是itut-t和iso/iec的聯(lián)合標(biāo)準(zhǔn)化組織(例如，參見非專利文獻(xiàn)1)。

根據(jù)該hevc編碼標(biāo)準(zhǔn)，將編碼單元(cu)定義為與根據(jù)avc的宏塊相同的操作單元。在該cu中，不像根據(jù)avc的宏塊那樣將大小固定為16×16像素，而是在每個(gè)序列中的壓縮圖像信息中指定該大小。

同時(shí)，為了改進(jìn)在avc中使用中值預(yù)測(cè)的運(yùn)動(dòng)矢量的編碼，提出了自適應(yīng)地使用除了在avc中定義并由中值預(yù)測(cè)計(jì)算的“空間預(yù)測(cè)器”外的“時(shí)間預(yù)測(cè)器”和“空間-時(shí)間預(yù)測(cè)器”中的一個(gè)作為預(yù)測(cè)運(yùn)動(dòng)矢量信息(例如，參見非專利文獻(xiàn)2)。

在圖像信息編碼設(shè)備中，通過使用關(guān)于各個(gè)塊的預(yù)測(cè)的運(yùn)動(dòng)矢量信息來(lái)計(jì)算各個(gè)塊的代價(jià)函數(shù)，并選擇最佳的預(yù)測(cè)運(yùn)動(dòng)矢量信息。通過壓縮的圖像信息，針對(duì)每個(gè)塊來(lái)傳輸表明已經(jīng)使用了哪個(gè)預(yù)測(cè)運(yùn)動(dòng)矢量信息的信息的標(biāo)記。

此外，作為運(yùn)動(dòng)信息編碼標(biāo)準(zhǔn)之一，提出了被稱為運(yùn)動(dòng)分區(qū)合并的方法(在下文中，也稱為“合并模式”)(例如，參見非專利文獻(xiàn)3)。在該方法中，當(dāng)相關(guān)塊的運(yùn)動(dòng)信息與周圍塊的運(yùn)動(dòng)信息相同時(shí)，僅傳輸標(biāo)記信息，在解碼時(shí)，使用周圍塊的運(yùn)動(dòng)信息來(lái)重構(gòu)相關(guān)塊的運(yùn)動(dòng)信息。

另外，為圖像編碼標(biāo)準(zhǔn)例如上述avc和hevc預(yù)備了將圖像劃分成多個(gè)片并處理每個(gè)片的方法以例如進(jìn)行并行處理。此外，除了這些片外還提出了熵片。

熵片是用于熵編碼操作和熵解碼操作的處理單元。就是說，當(dāng)進(jìn)行熵編碼操作和熵解碼操作時(shí)，盡管畫面被劃分成多個(gè)熵片并且每個(gè)熵片地進(jìn)行處理，但當(dāng)預(yù)測(cè)操作時(shí)，不應(yīng)用此片劃分來(lái)處理每個(gè)畫面。

引用列表

非專利文獻(xiàn)

非專利文獻(xiàn)1：“testmode1underconsideration”,jctvc-b205,jointcollaborativeteamonvideocoding(jct-vc)ofitu-tsg16wp3andiso/iecjtc1/sc29/wg112ndmeeting:geneva,ch,21-28july,2010

非專利文獻(xiàn)2：joeljung,guillaumelaroche,“competition-basedschemeformotionvectorselectionandcoding”,vceg-ac06,itu-telecommunicationsstandardizationsectorstudygroup16question6videocodingexpertsgroup(vceg)29thmeeting:klagenfurt,austria,17-18july,2006

非專利文獻(xiàn)3：martinwinken,sebastianbosse,benjaminbross,philipphelle,tobiashinz,heinerkirchhoffer,haricharanlakshman,detlevmarpe,simonoudin,matthiaspreiss,heikoschwarz,mischasiekmann,karstensuehring,andthomaswiegand,“descriptionofvideocodingtechnologyproposedbyfraunhoferhhi”,jctvc-a116,april,2010

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明解決的問題

然而，如上所述，在合并模式的情況下，需要參考周圍塊的運(yùn)動(dòng)信息來(lái)處理操作目標(biāo)相關(guān)塊的運(yùn)動(dòng)信息。因此，當(dāng)畫面被劃分成多個(gè)片(還包括熵片)并每片地處理時(shí)，可能需要依據(jù)相關(guān)塊的位置參考另一片的塊。

在這種情況下，在沒有完成周圍塊的處理之前不能處理相關(guān)塊，不能并行地處理每個(gè)片，且令人擔(dān)憂的是吞吐量顯著下降。

根據(jù)這種情況，本公開內(nèi)容的目的是，通過將圖像劃分成多個(gè)片且并行地處理每個(gè)片，即使當(dāng)應(yīng)用合并模式時(shí)也能抑制操作時(shí)間的增加。

問題的解決方案

本公開內(nèi)容的一個(gè)方面是圖像處理設(shè)備，該圖像處理設(shè)備包括：編碼控制單元，當(dāng)對(duì)用于將畫面劃分成多個(gè)畫面的每個(gè)片獨(dú)立地進(jìn)行編碼時(shí)，該編碼控制單元基于屬于相關(guān)區(qū)域所屬的相關(guān)片的周圍區(qū)域的信息，控制是否對(duì)運(yùn)動(dòng)信息采用將操作目標(biāo)的相關(guān)區(qū)域與位于相關(guān)區(qū)域周圍的周圍區(qū)域進(jìn)行合并的合并模式；以及編碼單元，該編碼單元在編碼控制單元的控制下以合并模式或不同于合并模式的模式對(duì)相關(guān)區(qū)域進(jìn)行編碼。

編碼控制單元可以進(jìn)行控制以使得當(dāng)屬于相關(guān)片的周圍區(qū)域中的至少一個(gè)周圍區(qū)域包括運(yùn)動(dòng)信息時(shí)采用合并模式。

編碼控制單元可以包括：計(jì)算單元，該計(jì)算單元對(duì)屬于相關(guān)片的周圍區(qū)域的運(yùn)動(dòng)信息的數(shù)量進(jìn)行計(jì)算；確定單元，該確定單元確定由計(jì)算單元計(jì)算的周圍區(qū)域的運(yùn)動(dòng)信息的數(shù)量是否大于0；以及控制單元，當(dāng)確定單元確定周圍區(qū)域的運(yùn)動(dòng)信息的數(shù)量大于0時(shí)，該控制單元進(jìn)行控制以使得采用合并模式。

計(jì)算單元可以包括：位置確定單元，該位置確定單元確定每個(gè)周圍區(qū)域是否屬于相關(guān)片；類型確定單元，該類型確定單元確定被位置確定單元確定為屬于相關(guān)片的周圍區(qū)域的預(yù)測(cè)類型；以及更新單元，當(dāng)類型確定單元確定周圍區(qū)域的預(yù)測(cè)類型并且確定周圍區(qū)域包括運(yùn)動(dòng)信息時(shí)，該更新單元更新用于對(duì)周圍區(qū)域的運(yùn)動(dòng)信息的數(shù)量進(jìn)行計(jì)數(shù)的參數(shù)的值。

圖像處理設(shè)備還可以包括預(yù)測(cè)操作單元，該預(yù)測(cè)操作單元對(duì)每個(gè)片獨(dú)立地進(jìn)行生成預(yù)測(cè)圖像的預(yù)測(cè)操作。

片可以是僅將由編碼單元針對(duì)畫面進(jìn)行的編碼操作劃分成多個(gè)處理的熵片。

本公開內(nèi)容的一個(gè)方面是圖像處理設(shè)備的圖像處理方法，該圖像處理方法包括：在編碼控制單元處，當(dāng)對(duì)用于將畫面劃分成多個(gè)畫面的每個(gè)片獨(dú)立地進(jìn)行編碼時(shí)，基于屬于相關(guān)區(qū)域所屬相關(guān)片的周圍區(qū)域的信息，控制是否對(duì)運(yùn)動(dòng)信息控制將操作目標(biāo)的相關(guān)區(qū)域與位于相關(guān)區(qū)域周圍的周圍區(qū)域進(jìn)行合并的合并模式；以及在編碼單元處，在該控制下以合并模式或不同于合并模式的模式對(duì)相關(guān)區(qū)域進(jìn)行編碼。

本公開內(nèi)容的另一方面是圖像處理設(shè)備，該圖像處理設(shè)備包括：解碼控制單元，當(dāng)對(duì)用于將畫面劃分成多個(gè)畫面的每個(gè)片獨(dú)立地進(jìn)行解碼時(shí)，該解碼控制單元基于屬于相關(guān)區(qū)域所屬的相關(guān)片的周圍區(qū)域的信息，控制是否對(duì)運(yùn)動(dòng)信息控制將操作目標(biāo)的相關(guān)區(qū)域與位于相關(guān)區(qū)域周圍的周圍區(qū)域進(jìn)行合并的合并模式；以及解碼單元，該解碼單元在解碼控制單元的控制下以合并模式或不同于合并模式的模式對(duì)相關(guān)區(qū)域進(jìn)行解碼。

解碼控制單元可以進(jìn)行控制以使得當(dāng)屬于相關(guān)片的周圍區(qū)域中的至少一個(gè)周圍區(qū)域包括運(yùn)動(dòng)信息時(shí)采用合并模式。

解碼控制單元可以包括：計(jì)算單元，該計(jì)算單元對(duì)屬于相關(guān)片的周圍區(qū)域的運(yùn)動(dòng)信息的數(shù)量進(jìn)行計(jì)算；確定單元，該確定單元確定由計(jì)算單元計(jì)算的周圍區(qū)域的運(yùn)動(dòng)信息的數(shù)量是否大于0；以及控制單元，當(dāng)確定單元確定周圍區(qū)域的運(yùn)動(dòng)信息的數(shù)量大于0時(shí)，該控制單元進(jìn)行控制以使得采用合并模式。

計(jì)算單元可以包括：位置確定單元，該位置確定單元確定每個(gè)周圍區(qū)域是否屬于相關(guān)片；類型確定單元，該類型確定單元確定被位置確定單元確定為屬于相關(guān)片的周圍區(qū)域的預(yù)測(cè)類型；以及更新單元，當(dāng)類型確定單元確定周圍區(qū)域的預(yù)測(cè)類型并且確定周圍區(qū)域包括運(yùn)動(dòng)信息時(shí)，該更新單元更新用于對(duì)周圍區(qū)域的運(yùn)動(dòng)信息的數(shù)量進(jìn)行計(jì)數(shù)的參數(shù)的值。

圖像處理設(shè)備還可以包括預(yù)測(cè)操作單元，該預(yù)測(cè)操作單元對(duì)每個(gè)片獨(dú)立地進(jìn)行生成預(yù)測(cè)圖像的預(yù)測(cè)操作。

片可以是僅將由解碼單元針對(duì)畫面進(jìn)行的解碼操作劃分成多個(gè)處理的熵片。

本公開內(nèi)容的另一方面是圖像處理設(shè)備的圖像處理方法，該圖像處理方法包括：在解碼控制單元處，當(dāng)對(duì)用于將畫面劃分成多個(gè)畫面的每個(gè)片獨(dú)立地進(jìn)行解碼時(shí)，基于屬于相關(guān)區(qū)域所屬相關(guān)片的周圍區(qū)域的信息，控制是否對(duì)運(yùn)動(dòng)信息控制將操作目標(biāo)的相關(guān)區(qū)域與位于相關(guān)區(qū)域周圍的周圍區(qū)域進(jìn)行合并的合并模式；以及，在解碼單元處，在該控制下以合并模式或不同于合并模式的模式對(duì)相關(guān)區(qū)域進(jìn)行解碼。

根據(jù)本公開內(nèi)容的一個(gè)方面，當(dāng)對(duì)用于將畫面劃分成多個(gè)畫面的每個(gè)片獨(dú)立地進(jìn)行編碼時(shí)，基于屬于相關(guān)區(qū)域所屬的相關(guān)片的周圍區(qū)域的信息，控制是否對(duì)運(yùn)動(dòng)信息控制將操作目標(biāo)的相關(guān)區(qū)域與位于相關(guān)區(qū)域周圍的周圍區(qū)域進(jìn)行合并的合并模式，以及，在該控制下以合并模式或不同于合并模式的模式對(duì)相關(guān)區(qū)域進(jìn)行編碼。

根據(jù)本公開內(nèi)容的另一方面，當(dāng)對(duì)用于將畫面劃分成多個(gè)畫面的每個(gè)片獨(dú)立地進(jìn)行解碼時(shí)，基于屬于相關(guān)區(qū)域所屬的相關(guān)片的周圍區(qū)域的信息，控制是否對(duì)運(yùn)動(dòng)信息采用將操作目標(biāo)的相關(guān)區(qū)域與位于相關(guān)區(qū)域周圍的周圍區(qū)域進(jìn)行合并的合并模式，以及，在該控制下以合并模式或不同于合并模式的模式對(duì)相關(guān)區(qū)域進(jìn)行解碼。

根據(jù)一個(gè)實(shí)施例，一種圖像處理設(shè)備包括：解碼控制單元，當(dāng)對(duì)用于將畫面劃分成多個(gè)畫面的每個(gè)片進(jìn)行解碼時(shí)，解碼控制單元基于與目標(biāo)預(yù)測(cè)單元鄰近的鄰近預(yù)測(cè)單元是否屬于目標(biāo)預(yù)測(cè)單元所屬的片來(lái)控制鄰近預(yù)測(cè)單元的合并候選；以及解碼單元，其使用解碼控制單元所控制的合并候選對(duì)目標(biāo)預(yù)測(cè)單元進(jìn)行解碼。

根據(jù)另一個(gè)實(shí)施例，一種圖像處理設(shè)備的圖像處理方法包括：當(dāng)對(duì)用于將畫面劃分成多個(gè)畫面的每個(gè)片進(jìn)行解碼時(shí)，基于與目標(biāo)預(yù)測(cè)單元鄰近的鄰近預(yù)測(cè)單元是否屬于目標(biāo)預(yù)測(cè)單元所屬的片來(lái)控制鄰近預(yù)測(cè)單元的合并候選；以及使用所控制的合并候選對(duì)目標(biāo)預(yù)測(cè)單元進(jìn)行解碼。

發(fā)明的效果

根據(jù)本公開內(nèi)容，可以處理圖像。特別地，可以抑制操作時(shí)間的增加。

附圖說明

圖1是示出圖像編碼設(shè)備的典型示例結(jié)構(gòu)的框圖；

圖2是用于說明多個(gè)片的視圖；

圖3是用于說明編碼單元的視圖；

圖4是用于說明片和編碼單元之間關(guān)系的視圖；

圖5是示出片和編碼單元之間關(guān)系的視圖；

圖6是用于說明合并模式的視圖；

圖7是示出合并模式的相關(guān)區(qū)域和多個(gè)片的周圍區(qū)域的位置的示例的視圖；

圖8是示出合并模式的相關(guān)區(qū)域和多個(gè)片的周圍區(qū)域的位置的另一示例的視圖；

圖9是示出合并模式的相關(guān)區(qū)域和多個(gè)片的周圍區(qū)域的位置的又一示例的視圖；

圖10是示出合并模式的相關(guān)區(qū)域和多個(gè)片的周圍區(qū)域的位置的再一示例的視圖；

圖11是示出編碼單元的語(yǔ)法的示例的視圖；

圖12是示出預(yù)測(cè)單元的語(yǔ)法的示例的視圖；

圖13是示出無(wú)損編碼單元和編碼控制單元的典型示例結(jié)構(gòu)的框圖；

圖14是示出nmc設(shè)置單元的典型示例結(jié)構(gòu)的框圖；

圖15是用于說明編碼操作流程的示例的流程圖；

圖16是用于說明無(wú)損編碼操作流程的示例的流程圖；

圖17是用于說明cu編碼操作流程的示例的流程圖；

圖18是用于說明接在圖17后的cu編碼操作流程的示例的流程圖；

圖19是用于說明nummergecandidates設(shè)置操作流程的示例的流程圖；

圖20是示出圖像解碼設(shè)備的典型示例結(jié)構(gòu)的框圖；

圖21是示出無(wú)損解碼單元和解碼單元的典型示例結(jié)構(gòu)的框圖；

圖22是示出nmc設(shè)置單元的典型示例結(jié)構(gòu)的框圖；

圖23是用于說明解碼操作流程的流程圖；

圖24是用于說明無(wú)損解碼操作流程的流程圖；

圖25是用于說明cu解碼操作流程的流程圖；

圖26是用于說明接在圖25后的cu解碼操作流程的流程圖；

圖27是示出個(gè)人計(jì)算機(jī)的典型示例結(jié)構(gòu)的框圖；

圖28是示出電視設(shè)備的示意性配置的示例的框圖；

圖29是示出移動(dòng)電話設(shè)備的示意性配置的示例的框圖；

圖30是示出記錄/再現(xiàn)設(shè)備的示意性配置的示例的框圖；以及

圖31是示出成像設(shè)備的示意性配置的示例的框圖。

具體實(shí)施方式

下面是對(duì)實(shí)施本發(fā)明的方式的描述(在下文中，稱為實(shí)施方式)。以下面的順序進(jìn)行說明。

1.第一實(shí)施方式(圖像編碼設(shè)備)

2.第二實(shí)施方式(圖像解碼設(shè)備)

3.第三實(shí)施方式(個(gè)人計(jì)算機(jī))

4.第四實(shí)施方式(電視接收機(jī))

5.第五實(shí)施方式(移動(dòng)電話設(shè)備)

6.第六實(shí)施方式(記錄/再現(xiàn)設(shè)備)

7.第七實(shí)施方式(成像設(shè)備)

<1.第一實(shí)施方式>

[圖像編碼設(shè)備]

圖1是示出圖像編碼設(shè)備的典型示例結(jié)構(gòu)的框圖。

圖1示出的圖像編碼設(shè)備100使用類似于h.264和mpeg(動(dòng)態(tài)畫面專家組)4第10部分(avc(高級(jí)視頻編碼))編碼標(biāo)準(zhǔn)的預(yù)測(cè)操作對(duì)圖像數(shù)據(jù)進(jìn)行編碼。

如圖1所示，圖像編碼設(shè)備100包括：a/d轉(zhuǎn)換器101、畫面重排緩沖器102、算術(shù)運(yùn)算單元103、正交變換單元104、量化單元105、無(wú)損編碼106和累積緩沖器107。圖像編碼設(shè)備100還包括：逆量化單元108、逆正交變換單元109、算術(shù)運(yùn)算單元110、環(huán)路濾波器111、幀存儲(chǔ)器112、選擇單元113、幀內(nèi)預(yù)測(cè)單元114、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115、預(yù)測(cè)圖像選擇單元116和速率控制單元117。

圖像編碼設(shè)備100還包括編碼控制單元121。

a/d轉(zhuǎn)換器101對(duì)輸入的圖像數(shù)據(jù)進(jìn)行a/d轉(zhuǎn)換，并將轉(zhuǎn)換的圖像數(shù)據(jù)(數(shù)字?jǐn)?shù)據(jù))提供并存儲(chǔ)到畫面重排緩沖器102中。畫面重排緩沖器102對(duì)以顯示順序存儲(chǔ)的圖像的幀進(jìn)行重排，以使得圖像的幀能夠按照gop(畫面組)結(jié)構(gòu)以編碼順序排列，并將重排的基于幀的圖像提供給算術(shù)運(yùn)算單元103。此外，畫面重排緩沖器102也將重排的基于幀的圖像提供給幀內(nèi)預(yù)測(cè)單元114和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115。

算術(shù)運(yùn)算單元103通過預(yù)測(cè)圖像選擇單元116把從畫面重排緩沖器102讀取的圖像減去從幀內(nèi)預(yù)測(cè)單元114或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供的預(yù)測(cè)的圖像，并將差信息輸出到正交變換單元104。

在圖像待進(jìn)行幀間編碼的情況下，算術(shù)運(yùn)算單元103把從畫面重排緩沖器102讀取的圖像減去從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供的預(yù)測(cè)的圖像。

正交變換單元104對(duì)從算術(shù)運(yùn)算單元103提供的差信息進(jìn)行正交變換例如離散余弦變換或卡忽南拉維(karhunenloeve)變換。另外，該正交變換方法是任意的。正交變換單元104將變換系數(shù)提供給量化單元105。

量化單元105對(duì)從正交變換單元104提供的變換系數(shù)進(jìn)行量化。量化單元105基于與從速率控制單元117提供的比特率的目標(biāo)值有關(guān)的信息來(lái)設(shè)置量化參數(shù)，并進(jìn)行量化。另外，該量化方法是任意的。量化單元105將量化的變換系數(shù)提供給無(wú)損編碼單元106。

無(wú)損編碼單元106根據(jù)任意編碼標(biāo)準(zhǔn)對(duì)由量化單元105量化的變換系數(shù)進(jìn)行編碼。系數(shù)數(shù)據(jù)在速率控制單元117的控制下被量化，且該比特率變成由速率控制單元117設(shè)置的目標(biāo)值(或接近目標(biāo)值)。

此外，無(wú)損編碼單元106從幀內(nèi)預(yù)測(cè)單元114獲得指示幀內(nèi)預(yù)測(cè)模式的信息，且從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115獲得指示幀間預(yù)測(cè)模式和運(yùn)動(dòng)矢量信息的信息。此外，無(wú)損編碼單元106獲得例如由環(huán)路濾波器111使用的濾波器系數(shù)。

無(wú)損編碼單元106根據(jù)任意編碼標(biāo)準(zhǔn)對(duì)各條信息進(jìn)行編碼(多路復(fù)用)作為編碼數(shù)據(jù)的報(bào)頭信息的一部分。無(wú)損編碼單元106將由編碼而獲得的編碼數(shù)據(jù)提供且存儲(chǔ)到累積緩沖器107中。

無(wú)損編碼單元106的編碼標(biāo)準(zhǔn)例如是可變長(zhǎng)度編碼或算術(shù)編碼。例如，可變編碼是由例如h.264/avc標(biāo)準(zhǔn)定義的cavlc(上下文自適應(yīng)可變長(zhǎng)度編碼)。算術(shù)編碼例如是cabac(上下文自適應(yīng)二進(jìn)制算術(shù)編碼)。

累積緩沖器107臨時(shí)地存儲(chǔ)從無(wú)損編碼單元106提供的編碼數(shù)據(jù)。累積緩沖器107在預(yù)定時(shí)間將存儲(chǔ)的編碼數(shù)據(jù)提供給例如沒有示出的后續(xù)的記錄設(shè)備(記錄介質(zhì))或通道。

此外，由量化單元105量化的量化系數(shù)也被提供給逆量化單元108。逆量化單元108根據(jù)支持量化單元105的量化方法對(duì)量化的變換系數(shù)進(jìn)行逆量化。該逆量化方法可以是任何方法，只要該方法支持量化單元105的量化處理即可。逆量化單元108將獲得的變換系數(shù)提供給逆正交變換單元109。

逆正交變換單元109根據(jù)支持正交變換單元104的正交變換操作的方法對(duì)從逆量化單元108提供的變換系數(shù)進(jìn)行逆正交變換。該逆正交變換方法可以是任何方法，只要該方法支持正交變換單元104的正交變換操作即可。經(jīng)過逆正交變換的輸出(恢復(fù)的差信息)被提供給算術(shù)運(yùn)算單元110。

算術(shù)運(yùn)算單元110將通過預(yù)測(cè)圖像選擇單元116從幀內(nèi)預(yù)測(cè)單元114或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供的預(yù)測(cè)的圖像增加到從逆正交變換單元109提供的逆正交變換結(jié)果即恢復(fù)的差信息，并獲得局部解碼圖像(解碼圖像)。該解碼圖像被提供給環(huán)路濾波器111或幀存儲(chǔ)器112。

環(huán)路濾波器111包括例如去塊效應(yīng)濾波器或自適應(yīng)環(huán)路濾波器，且充分地對(duì)從算術(shù)運(yùn)算單元110提供的解碼圖像進(jìn)行濾波操作。例如，環(huán)路濾波器111對(duì)解碼圖像進(jìn)行去塊效應(yīng)濾波操作以去除塊失真。此外，例如，環(huán)路濾波器111使用維納(wiener)濾波器對(duì)該去塊效應(yīng)濾波操作結(jié)果(塊失真已經(jīng)去除的解碼圖像)進(jìn)行環(huán)路濾波操作以改進(jìn)圖像質(zhì)量。

另外，環(huán)路濾波器111可以對(duì)解碼圖像進(jìn)行任意濾波操作。此外，必要時(shí)，環(huán)路濾波器111可以將信息例如用于濾波操作的濾波器系數(shù)提供給無(wú)損編碼單元106，并對(duì)該信息進(jìn)行編碼。

環(huán)路濾波器111將濾波操作結(jié)果(經(jīng)過濾波操作的解碼圖像)提供給幀存儲(chǔ)器112。另外，如上所述，可以將從算術(shù)運(yùn)算單元110輸出的解碼圖像不經(jīng)過環(huán)路濾波器111而提供給幀存儲(chǔ)器112。就是說，可以省略環(huán)路濾波器111的濾波操作。

幀存儲(chǔ)器112存儲(chǔ)提供的解碼圖像，并在預(yù)定時(shí)間將存儲(chǔ)的解碼圖像提供給選擇單元113作為基準(zhǔn)圖像。

選擇單元113選擇從幀存儲(chǔ)器112提供的基準(zhǔn)圖像的提供目的地。在例如幀間預(yù)測(cè)的情況下，選擇單元113將從幀存儲(chǔ)器112提供的基準(zhǔn)圖像提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115。

幀內(nèi)預(yù)測(cè)單元114使用作為通過選擇單元113從幀存儲(chǔ)器112提供的基準(zhǔn)圖像的操作目標(biāo)圖像中的像素值，主要在預(yù)測(cè)單元(pu)的處理單元中進(jìn)行生成預(yù)測(cè)圖像的幀內(nèi)預(yù)測(cè)(畫面內(nèi)預(yù)測(cè))。幀內(nèi)預(yù)測(cè)單元114以預(yù)先準(zhǔn)備的多種模式(幀內(nèi)預(yù)測(cè)模式)進(jìn)行該幀內(nèi)預(yù)測(cè)。

幀內(nèi)預(yù)測(cè)單元114以所有候選的幀內(nèi)預(yù)測(cè)模式生成預(yù)測(cè)圖像，使用從畫面重排緩沖器102提供的輸入圖像來(lái)估計(jì)每個(gè)預(yù)測(cè)圖像的代價(jià)函數(shù)值，并選擇最佳模式。當(dāng)選擇最佳幀內(nèi)預(yù)測(cè)模式時(shí)，幀內(nèi)預(yù)測(cè)單元114將以該最佳模式生成的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇單元116。

此外，如上所述，幀內(nèi)預(yù)測(cè)單元114充分地對(duì)例如指示所采用的幀內(nèi)預(yù)測(cè)模式的幀內(nèi)預(yù)測(cè)模式信息進(jìn)行編碼，并將該幀內(nèi)預(yù)測(cè)模式信息提供給無(wú)損編碼單元106。

運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115使用從畫面重排緩沖器102提供的輸入圖像和通過選擇單元113從幀存儲(chǔ)器112提供的基準(zhǔn)圖像，主要在pu的處理單元中進(jìn)行運(yùn)動(dòng)預(yù)測(cè)(幀間預(yù)測(cè))，根據(jù)檢測(cè)的運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償操作，并生成預(yù)測(cè)圖像(幀間預(yù)測(cè)圖像信息)。運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115以預(yù)先準(zhǔn)備的多種模式(幀間預(yù)測(cè)模式)進(jìn)行該幀間預(yù)測(cè)。

運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115以所有候選的幀間預(yù)測(cè)模式生成預(yù)測(cè)圖像，估計(jì)每個(gè)預(yù)測(cè)圖像的代價(jià)函數(shù)值，并選擇最佳模式。當(dāng)選擇最佳幀間預(yù)測(cè)模式時(shí)，運(yùn)動(dòng)/補(bǔ)償單元115將以該最佳模式生成的預(yù)測(cè)圖像提供給預(yù)測(cè)圖像選擇單元116。

此外，當(dāng)對(duì)指示所采用的幀間預(yù)測(cè)模式的信息或編碼數(shù)據(jù)進(jìn)行解碼時(shí)，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供例如為了以該幀間預(yù)測(cè)模式進(jìn)行處理而需要的信息，并將該信息提供給無(wú)損編碼單元106。

預(yù)測(cè)圖像選擇單元116選擇待提供到算術(shù)運(yùn)算單元103和算術(shù)運(yùn)算單元110的預(yù)測(cè)圖像的提供源。例如在幀間編碼的情況下，預(yù)測(cè)圖像選擇單元116選擇運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115作為預(yù)測(cè)圖像的提供源，并將從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供的預(yù)測(cè)圖像提供給算術(shù)運(yùn)算單元103和算術(shù)運(yùn)算單元110。

基于存儲(chǔ)在累積緩沖器107中的編碼數(shù)據(jù)的比特率，速率控制單元117控制量化單元105的量化操作速率以使得不引起上溢或下溢。

編碼控制單元121控制無(wú)損編碼單元106的編碼操作。在這種情況下，編碼控制單元121確定是否以合并模式進(jìn)行編碼。當(dāng)進(jìn)行該確定時(shí)，編碼控制單元121設(shè)置用于該確定的參數(shù)nummergecandidates。nummergecandidates是與位于操作目標(biāo)相關(guān)區(qū)域周圍的周圍區(qū)域的運(yùn)動(dòng)矢量和有可能在合并模式中參考的運(yùn)動(dòng)矢量有關(guān)的參數(shù)。當(dāng)設(shè)置該參數(shù)時(shí)，編碼控制單元121檢查在被劃分成多個(gè)片的操作目標(biāo)的圖像(相關(guān)圖像)中，周圍區(qū)域是否被包括在與相關(guān)區(qū)域相同的片(相關(guān)片)中。

就是說，編碼控制單元121通過考慮有可能在合并模式中參考的周圍區(qū)域是否可用，來(lái)確定是否進(jìn)入合并模式，以控制無(wú)損編碼單元106的編碼操作，并基于該確定結(jié)果控制合并模式。此外，編碼控制單元121控制用于為不同于合并模式的模式例如跳過模式、幀內(nèi)預(yù)測(cè)模式、幀間預(yù)測(cè)模式和直接模式的編碼操作。

無(wú)損編碼單元106以由編碼控制單元121選擇的模式進(jìn)行無(wú)損編碼操作。

[多個(gè)片]

根據(jù)圖像編碼標(biāo)準(zhǔn)例如mpeg2或avc，將一個(gè)圖像劃分成多個(gè)片，且可以并行(多個(gè)片)處理每個(gè)片。

在mpeg2的情況下，如圖2中的示例a示出的，片的最大尺寸是一個(gè)宏塊線，且形成b圖像的片都需要是b片。

與mpeg2相比，在avc的情況下，如圖2中的示例b示出的，片可以大于一個(gè)宏塊線，片邊界可以不是宏塊線的右端(畫面中的右端)或者單個(gè)圖像可以使用不同類型的片進(jìn)行配置。

在avc的情況下，去塊效應(yīng)濾波操作可以跨片邊界執(zhí)行。同時(shí)，使用鄰近信息的操作例如幀內(nèi)預(yù)測(cè)、cabac、cavlc和運(yùn)動(dòng)矢量預(yù)測(cè)不能跨片邊界執(zhí)行。

換言之，可以對(duì)每個(gè)片獨(dú)立地進(jìn)行編碼操作以使得可以將一個(gè)圖像劃分成多個(gè)片并且并行地對(duì)每個(gè)片進(jìn)行編碼。就是說，這種片劃分實(shí)現(xiàn)了減少編碼操作時(shí)間(編碼操作的較高速度)。

[編碼單元]

同時(shí)，根據(jù)avc編碼標(biāo)準(zhǔn)，宏塊或通過將該宏塊劃分成多個(gè)塊而獲得的子宏塊是預(yù)測(cè)操作和編碼操作的處理單元。然而，提供16×16像素宏塊大小的該標(biāo)準(zhǔn)對(duì)于大圖像幀例如作為目標(biāo)下一代編碼標(biāo)準(zhǔn)的uhd(超高清；4000×2000像素)不是最佳的。

現(xiàn)在，為了實(shí)現(xiàn)比avc的編碼效率高的編碼效率，由jctvc(聯(lián)合協(xié)作組-視頻編碼)開發(fā)了被稱為hevc(高效視頻編碼)的編碼技術(shù)作為標(biāo)準(zhǔn)，jctvc是itut-t(國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化組織)和iso(國(guó)際標(biāo)準(zhǔn)化組織)/iec(國(guó)際電工委員會(huì))的聯(lián)合標(biāo)準(zhǔn)化組織。

在avc中定義了宏塊和子宏塊的層次結(jié)構(gòu)，而在hevc中定義了編碼單元(cu)，如圖3所示。

cu也被稱為“編碼樹塊(ctb)”，且是基于畫面的圖像部分區(qū)域，該基于畫面的圖像部分區(qū)域與avc中的宏塊的區(qū)域起相同的作用。雖然宏塊固定為16×16像素的尺寸，但是cu的尺寸不固定且在每個(gè)序列中的壓縮圖像信息中確定。

例如，在被包括在作為輸出的編碼數(shù)據(jù)中的序列參數(shù)集(sps)中，定義了cu的最大尺寸(lcu(最大編碼單元))和最小尺寸(scu(最小編碼單元))。

此外，在每個(gè)lcu中，在不小于scu尺寸的范圍內(nèi)設(shè)置split-flag＝1，以使得能夠?qū)⒚總€(gè)lcu劃分成更小尺寸的cu。在圖3的示例中，lcu的尺寸是128，且最大層次深度是5。當(dāng)split_flag的值是“1”時(shí)，具有2n×2n尺寸的cu在下面一層中被劃分成具有n×n尺寸的cu。

此外，cu被劃分成作為幀內(nèi)或幀間預(yù)測(cè)的處理單元的區(qū)域(基于畫面的圖像部分區(qū)域)的預(yù)測(cè)單元(pu)，并且該cu被劃分成作為正交變換的處理單元的區(qū)域(基于畫面的圖像部分區(qū)域)的變換單元(tu)?，F(xiàn)在，在hevc中，除了4×4和8×8的正交變換外可以使用16×16和32×32的正交變換。

與上述hevc類似，在定義了cu且在cu單元中進(jìn)行各種操作的編碼標(biāo)準(zhǔn)情況下，avc中的宏塊對(duì)應(yīng)于lcu。然而，cu采用了如圖3所示的層次結(jié)構(gòu)，因此，在最上層的lcu的尺寸通常被設(shè)置為大于avc的宏塊的尺寸，就是說，設(shè)置為128×128像素。

本公開內(nèi)容也適用于使用這些cu、pu和tu而不是宏塊的編碼標(biāo)準(zhǔn)。就是說，用于進(jìn)行預(yù)測(cè)操作的處理單元可以是任意的區(qū)域。就是說，預(yù)測(cè)操作的操作目標(biāo)區(qū)域(也稱為“相關(guān)區(qū)域”或“關(guān)注區(qū)域”)和位于該相關(guān)區(qū)域周圍的周圍區(qū)域不僅包括這些宏塊和子宏塊，也包括例如cu、pu和tu。

上述lcu(cu、pu和tu)是通過將片區(qū)域劃分成多個(gè)片而獲得的，且屬于下層的片。就是說，在如參考圖2所述的多個(gè)片的情況下，lcu被包括在如圖4示出的多個(gè)片的一個(gè)片中。

如圖5所示，根據(jù)相對(duì)于每個(gè)片報(bào)頭的相對(duì)位置來(lái)確定lcu的報(bào)頭地址。為lcu中的每個(gè)區(qū)域(cu、pu和tu)確定識(shí)別信息和尺寸。就是說，可以從這些信息確定每個(gè)區(qū)域的位置(例如，報(bào)頭地址)。因此，可以從這些信息容易地確定相關(guān)區(qū)域和周圍區(qū)域的位置和相關(guān)片的范圍。換言之，可以容易地確定周圍區(qū)域是否屬于相關(guān)片(周圍區(qū)域是可用的還是不可用的)。

另外，也可以在pu單元中設(shè)置片邊界。就是說，可以有位于跨多個(gè)片的lcu。此外，在這種情況下，對(duì)應(yīng)于每個(gè)運(yùn)動(dòng)矢量例如pu的區(qū)域(預(yù)測(cè)操作單元中的區(qū)域)被包括在多個(gè)片之一中。

[運(yùn)動(dòng)分區(qū)的合并]

作為運(yùn)動(dòng)信息編碼標(biāo)準(zhǔn)之一，如圖6所示，提出了被稱為運(yùn)動(dòng)分區(qū)合并的方法(合并模式)。在該方法中，對(duì)兩個(gè)標(biāo)記merge_flag和merge_left_flag作為與合并模式有關(guān)的合并信息進(jìn)行傳輸。

merge_flag＝1表示相關(guān)區(qū)域x的運(yùn)動(dòng)信息與周圍區(qū)域t或周圍區(qū)域l的運(yùn)動(dòng)信息相同，該周圍區(qū)域t與相關(guān)區(qū)域x相鄰且在相關(guān)區(qū)域x的上側(cè)，該周圍區(qū)域l在相關(guān)區(qū)域x的左側(cè)。在這種情況下，merge_left_flag被包括在合并信息中且被傳輸。merge_flag＝0表示相關(guān)區(qū)域x的運(yùn)動(dòng)信息不同于周圍區(qū)域t和周圍區(qū)域l兩者的運(yùn)動(dòng)信息。在這種情況下，對(duì)相關(guān)區(qū)域x的運(yùn)動(dòng)信息進(jìn)行傳輸。

當(dāng)相關(guān)區(qū)域x的運(yùn)動(dòng)信息與周圍區(qū)域l的運(yùn)動(dòng)信息相同時(shí)，保存merge_flag＝1和merge_left_flag＝1。當(dāng)相關(guān)區(qū)域x的運(yùn)動(dòng)信息與周圍區(qū)域t的運(yùn)動(dòng)信息相同時(shí)，保存merge_flag＝1和merge_left_flag＝0。

[多個(gè)片的合并模式]

如上所述，在合并模式中參考周圍區(qū)域的運(yùn)動(dòng)信息。然而，在上述的多個(gè)片的情況下，有可能在合并模式中參考的周圍區(qū)域l和周圍區(qū)域t可能位于與相關(guān)區(qū)域x不同的片中。

圖7至圖10示出了合并模式中多個(gè)片和相關(guān)區(qū)域之間的位置關(guān)系的示例。

圖7示出了相關(guān)區(qū)域(cu_x)、鄰接于相關(guān)區(qū)域(cu_x)且在相關(guān)區(qū)域(cu_x)上側(cè)的周圍區(qū)域(pu_t)以及鄰接于相關(guān)區(qū)域(cu_x)且在相關(guān)區(qū)域(cu_x)左側(cè)的周圍區(qū)域(pu_l)都位于一個(gè)片(片1)(屬于相關(guān)片)中。

在這種情況下，可以參考周圍區(qū)域(pu_t)和周圍區(qū)域(pu_l)兩者(意指可用)。

圖8示出了，相關(guān)區(qū)域(cu_x)和周圍區(qū)域(pu_l)位于片1(屬于相關(guān)片)中時(shí)，周圍區(qū)域(pu_t)位于片0(不屬于相關(guān)片)中。

在這種情況下，雖然可以參考周圍區(qū)域(pu_l)時(shí)(意指可用)，而不能參考周圍區(qū)域(pu_t)(意指不可用)。

圖9示出了，相關(guān)區(qū)域(cu_x)位于片1(屬于相關(guān)片)中時(shí)，周圍區(qū)域(pu_t)和周圍區(qū)域(pu_l)位于片0(不屬于相關(guān)片)中。

在這種情況下，不可以參考周圍區(qū)域(pu_t)和周圍區(qū)域(pu_l)兩者(意指不可用)。

圖10示出了，相關(guān)區(qū)域(cu_x)和周圍區(qū)域(pu_t)位于片1(屬于相關(guān)片)中時(shí)，周圍區(qū)域(pu_l)位于片0(不屬于相關(guān)片)中。

在這種情況下，雖然可以參考周圍區(qū)域(pu_t)時(shí)(意指可用)，而不能參考周圍區(qū)域(pu_l)(意指不可用)。

另外，片邊界除了包括片間邊界外還包括畫面端。重要的是周圍區(qū)域是否可用，就是說，周圍區(qū)域是否包括在相關(guān)片中。因此，周圍區(qū)域不可用的狀態(tài)包括：周圍區(qū)域?qū)儆诹硪黄椭車鷧^(qū)域不存在(位于畫面外)。

在圖6中，當(dāng)如上所述周圍區(qū)域l和周圍區(qū)域t不可用時(shí)，直到周圍區(qū)域l和周圍區(qū)域t的操作完成時(shí)才能進(jìn)行相關(guān)區(qū)域x的操作。因此，盡管在參考多個(gè)片和周圍區(qū)域的情況下對(duì)每個(gè)片并行地進(jìn)行操作，但令人擔(dān)憂的是因此并行操作變得困難且操作時(shí)間增加。

[語(yǔ)法]

此外，不但當(dāng)在合并模式中實(shí)際參考周圍區(qū)域的運(yùn)動(dòng)信息時(shí)，而且當(dāng)確定是否采用合并模式時(shí)，也需要周圍區(qū)域的運(yùn)動(dòng)信息。

圖11示出了cu語(yǔ)法的示例。圖12示出了pu語(yǔ)法的示例。圖11和圖12中每行左端的編號(hào)是為便于描述而分配的行號(hào)。

例如，如在圖11中的第7行和圖12中的第12行指示的，使用nummergecandidates的參數(shù)值來(lái)確定是否采用合并模式。該參數(shù)指示在合并模式中有可能與相關(guān)區(qū)域合并的周圍區(qū)域(待與相關(guān)區(qū)域合并的候選區(qū)域)的運(yùn)動(dòng)矢量的計(jì)數(shù)值(總和)。

圖1中的編碼控制單元121將該nummergecandidates大于0視為采用合并模式的條件之一。nummergecandidates是0指示在待與相關(guān)區(qū)域合并的候選區(qū)域中一個(gè)包括運(yùn)動(dòng)信息的區(qū)域也不存在。在這種情況下，不能進(jìn)行合并，因此，編碼控制單元121進(jìn)行控制以采用不同于合并模式的模式。

換言之，當(dāng)nummergecandidates大于0時(shí)，在待與相關(guān)區(qū)域合并的候選區(qū)域中至少存在一個(gè)包括運(yùn)動(dòng)信息的區(qū)域，因此，編碼控制單元121確定與合并模式相關(guān)的其他條件。

為了準(zhǔn)確地計(jì)算該nummergecandidates，必須檢查所有作為待與相關(guān)區(qū)域合并的候選區(qū)域的周圍區(qū)域的運(yùn)動(dòng)信息。就是說，當(dāng)確定是否采用合并模式時(shí)，該nummergecandidates是必需的，且必須參考周圍區(qū)域的運(yùn)動(dòng)信息來(lái)計(jì)算該值。因此，如上所述，當(dāng)存在不可用的周圍區(qū)域時(shí)，令人擔(dān)憂的是確定是否采用合并模式時(shí)并行操作變得困難并且發(fā)生延遲。

[編碼控制單元的nummergecandidates計(jì)算]

因此，編碼控制單元121僅確定在包括運(yùn)動(dòng)矢量的相關(guān)片中是否存在周圍區(qū)域，并計(jì)算nummergecandidates。就是說，僅當(dāng)相關(guān)片中存在周圍區(qū)域且包括運(yùn)動(dòng)矢量時(shí)，編碼控制單元121對(duì)這些周圍區(qū)域進(jìn)行計(jì)數(shù)(nummergecandidates增大)。

通過這樣做，首先，不需要參考不屬于相關(guān)片的周圍區(qū)域的運(yùn)動(dòng)矢量以確定是否采用合并模式。此外，從待與相關(guān)區(qū)域合并的候選區(qū)域除去了不屬于相關(guān)片的周圍區(qū)域。換言之，待與相關(guān)區(qū)域合并的候選區(qū)域僅是屬于相關(guān)區(qū)域的周圍區(qū)域。因此，即使當(dāng)采用合并模式時(shí)，僅將屬于相關(guān)片的周圍區(qū)域與相關(guān)區(qū)域合并，使得無(wú)需參考不屬于相關(guān)片的周圍區(qū)域的運(yùn)動(dòng)矢量。

因此，編碼控制單元121和無(wú)損編碼單元106僅需要參考相關(guān)片中的運(yùn)動(dòng)信息，而不需要等到完成其他片的操作。因此，圖像編碼設(shè)備100可以實(shí)現(xiàn)并行地對(duì)每個(gè)片操作，并抑制了因發(fā)生了對(duì)于與合并模式相關(guān)的操作所不必要的延遲時(shí)間而引起的操作時(shí)間的增加。

另外，編碼控制單元121僅需要如上所述計(jì)算nummergecandidates，而不需要改變語(yǔ)法。因此，容易開發(fā)，且不需要擔(dān)憂比特率增加或通用性降低。

另外，上述片僅需要是通過將畫面劃分而獲得的處理單元，且可以并行處理。因此，該片除了包括正常片外還包括例如熵片。自然地，片的形狀、數(shù)量和位置是任意的。就是說，畫面的劃分位置和劃分?jǐn)?shù)量是任意的。

此外，盡管片1是相關(guān)片，但即使當(dāng)任何一個(gè)片是相關(guān)片時(shí)也同樣適用。例如，在圖4的示例中，當(dāng)片0和片2中的區(qū)域是相關(guān)區(qū)域時(shí)也同樣適用。

另外，如上所述，即使當(dāng)畫面的左端或上端不存在周圍區(qū)域時(shí)，也與在另一片中存在周圍區(qū)域的情況類似，編碼控制單元121跳過參考該周圍區(qū)域的運(yùn)動(dòng)矢量，且不增加nummergecandidates。

[無(wú)損編碼單元和編碼控制單元]

圖13是示出無(wú)損編碼單元106和編碼控制單元121的典型示例結(jié)構(gòu)的框圖。

如圖13所示，無(wú)損編碼單元106包括：nal(網(wǎng)絡(luò)抽象層)編碼單元131和cu數(shù)據(jù)編碼單元132。

nal編碼單元131對(duì)nal數(shù)據(jù)例如序列參數(shù)集(sps)、畫面參數(shù)集(pps)和片報(bào)頭進(jìn)行編碼。cu數(shù)據(jù)編碼單元132對(duì)cu層或下面的層的數(shù)據(jù)(vcl(視頻編碼層))進(jìn)行編碼。

cu數(shù)據(jù)編碼單元132包括：跳過標(biāo)記編碼單元141、跳過模式編碼單元142、合并標(biāo)記編碼單元143和合并模式編碼單元144。此外，cu數(shù)據(jù)編碼單元132包括：predmode編碼單元145、幀內(nèi)編碼單元146、幀間編碼單元147和直接模式編碼單元148。

跳過標(biāo)記編碼單元141在編碼控制單元121的控制下生成指示是否采用跳過模式的跳過標(biāo)記，并對(duì)該跳過標(biāo)記進(jìn)行編碼。跳過模式編碼單元142在編碼控制單元121的控制下以跳過模式進(jìn)行編碼操作。

合并標(biāo)記編碼單元143在編碼控制單元121的控制下生成指示是否采用合并模式的合并標(biāo)記(mergeflag)，并對(duì)該合并標(biāo)記進(jìn)行編碼。合并模式編碼單元144在編碼控制單元121的控制下以合并模式進(jìn)行編碼操作。

predmode編碼單元145在編碼控制單元121的控制下對(duì)predmode進(jìn)行編碼，該predmode是指示預(yù)測(cè)模式的參數(shù)。幀內(nèi)編碼單元146在編碼控制單元121的控制下進(jìn)行與對(duì)使用幀內(nèi)預(yù)測(cè)生成的差分圖像的編碼相關(guān)的操作。幀間編碼單元147在編碼控制單元121的控制下進(jìn)行與對(duì)使用幀間預(yù)測(cè)生成的差分圖像的編碼相關(guān)的操作。直接模式編碼單元148在編碼控制單元121的控制下進(jìn)行與對(duì)使用直接模式生成的差分圖像的編碼相關(guān)的操作。

此外，如圖13所示，編碼控制單元121包括：片確定單元161、跳過標(biāo)記確定單元162、nmc(nummergecandidates)設(shè)置單元163、nmc確定單元164、合并標(biāo)記確定單元165和predmode確定單元166。

片確定單元161確定相關(guān)片的類型，并將該確定結(jié)果提供給跳過標(biāo)記編碼單元141、以及predmode編碼單元145或跳過標(biāo)記確定單元162。跳過標(biāo)記確定單元162確定由跳過標(biāo)記編碼單元141生成(或沒有生成)的跳過標(biāo)記的值(或存在)，并將確定結(jié)果提供給跳過模式編碼單元142或nmc確定單元164。

nmc設(shè)置單元163計(jì)算(設(shè)置)參數(shù)nummergecandidates的值，并將該值提供給nmc確定單元164。nmc確定單元164確定nummergecandidates的值，并將該確定結(jié)果提供給合并標(biāo)記編碼單元143或合并標(biāo)記確定單元165。

合并標(biāo)記確定單元165確定由合并標(biāo)記編碼單元143生成(或沒有生成)的合并標(biāo)記的值(或存在)，并將該確定結(jié)果提供給合并模式編碼單元144或片確定單元161。

predmode確定單元166確定由predmode編碼單元145生成(或沒有生成)的predmode的值(或存在)，并將該確定結(jié)果提供給幀內(nèi)編碼單元146、幀間編碼單元147或直接模式編碼單元148。

[nmc設(shè)置單元]

圖14是示出nmc設(shè)置單元163的典型示例結(jié)構(gòu)的框圖。

如圖14所示，nmc設(shè)置單元163包括：nmc重置單元181、位置確定單元182、類型確定單元183、nmc更新單元184和nmc保存單元185。

nmc重置單元181將在nmc保存單元185中保存的參數(shù)nummergecandidates的值重置為0。

當(dāng)從nmc重置單元181接收重置通知、從nmc更新單元184接收nummergecandidates的值的更新通知或從類型確定單元183獲得確定結(jié)果時(shí)，位置確定單元182從nal編碼單元131獲得與相關(guān)區(qū)域x的片和位置有關(guān)的信息，計(jì)算相關(guān)區(qū)域x的位置，根據(jù)該相關(guān)區(qū)域x的位置計(jì)算周圍區(qū)域t和周圍區(qū)域l的位置，并確定相關(guān)片中是否存在這些區(qū)域。位置確定單元182將確定結(jié)果提供給類型確定單元183。

當(dāng)從位置確定單元182獲得確定結(jié)果時(shí)，類型確定單元183確定存在于來(lái)自cu數(shù)據(jù)編碼單元132的相關(guān)片中的周圍區(qū)域l和周圍區(qū)域t的預(yù)測(cè)類型。就是說，類型確定單元183確定周圍區(qū)域l或周圍區(qū)域t是否包括運(yùn)動(dòng)信息。類型確定單元183將該確定結(jié)果提供給位置確定單元182或nmc更新單元184。

當(dāng)從類型確定單元183獲得確定結(jié)果時(shí)，nmc更新單元184增加(加1)在nmc保存單元185中保存的參數(shù)nummergecandidates的值。就是說，當(dāng)位于相關(guān)片中的周圍區(qū)域包括運(yùn)動(dòng)信息時(shí)，nmc更新單元184將增加(加1)在nmc保存單元185中保存的參數(shù)nummergecandidates的值。

nmc保存單元185在預(yù)定時(shí)間或響應(yīng)于來(lái)自nmc確定單元164的請(qǐng)求，將保存的參數(shù)nummergecandidates的值提供給nmc確定單元164。

[編碼操作流程]

接下來(lái)，將描述由上述圖像編碼設(shè)備100執(zhí)行的每個(gè)操作的流程。首先，將參考圖15中的流程圖描述編碼操作流程。

在步驟s101中，a/d轉(zhuǎn)換器101對(duì)輸入的圖像進(jìn)行a/d轉(zhuǎn)換。在步驟s102中，畫面重排緩沖器102存儲(chǔ)經(jīng)過a/d轉(zhuǎn)換的圖像，以編碼順序而不是顯示順序?qū)Ω鱾€(gè)畫面進(jìn)行重排。

在步驟s103中，幀內(nèi)預(yù)測(cè)單元114以幀內(nèi)預(yù)測(cè)模式進(jìn)行幀內(nèi)預(yù)測(cè)操作。在步驟s104中，運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115以幀間預(yù)測(cè)模式進(jìn)行運(yùn)動(dòng)預(yù)測(cè)或運(yùn)動(dòng)補(bǔ)償?shù)膸g運(yùn)動(dòng)預(yù)測(cè)操作。

在步驟s105中，預(yù)測(cè)圖像選擇單元116基于從幀內(nèi)預(yù)測(cè)單元114和運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115輸出的相應(yīng)代價(jià)函數(shù)值確定最佳模式。就是說，預(yù)測(cè)圖像選擇單元116從由幀內(nèi)預(yù)測(cè)單元114生成的預(yù)測(cè)圖像和由運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115生成的預(yù)測(cè)圖像中選擇一個(gè)。

在步驟s106中，算術(shù)運(yùn)算單元103計(jì)算由步驟s102中的操作重排的圖像和由步驟s105中的操作選擇的預(yù)測(cè)圖像之間的差。與原始圖像數(shù)據(jù)相比，差數(shù)據(jù)的量降低了。因此，與照原樣對(duì)圖像進(jìn)行編碼而獲得的數(shù)據(jù)相比，可以壓縮數(shù)據(jù)的量。

在步驟s107中，正交變換單元104對(duì)由步驟s106中的操作生成的差信息進(jìn)行正交變換。具體地，進(jìn)行正交變換例如離散余弦變換或卡忽南-拉維變換，并輸出變換系數(shù)。

在步驟s108中，量化單元105對(duì)由步驟s107中的操作而獲得的正交變換系數(shù)進(jìn)行量化。

對(duì)由步驟s108中的操作量化的差信息如下地進(jìn)行局部解碼。就是說，在步驟s109中，逆量化單元108根據(jù)與量化單元105的特性匹配的特性對(duì)由步驟s108中的操作生成的正交變換系數(shù)(也稱為“量化系數(shù)”)進(jìn)行逆量化。在步驟s110中，逆正交變換單元109根據(jù)與正交變換單元104的特性匹配的特性對(duì)由步驟s107中的操作獲得的正交變換系數(shù)進(jìn)行逆正交變換。

在步驟s111中，算術(shù)運(yùn)算單元110將預(yù)測(cè)圖像加到局部解碼的差信息，并生成局部解碼圖像(與到算術(shù)運(yùn)算單元103的輸入相對(duì)應(yīng)的圖像)。在步驟s112中，環(huán)路濾波器111對(duì)由步驟s111中的操作獲得的局部解碼圖像充分地進(jìn)行包括去塊效應(yīng)濾波操作和自適應(yīng)環(huán)路濾波操作的環(huán)路濾波操作。

在步驟s113中，幀存儲(chǔ)器112對(duì)經(jīng)過了由步驟s112的操作進(jìn)行的環(huán)路濾波操作的解碼圖像進(jìn)行存儲(chǔ)。另外，幀存儲(chǔ)器112還從算術(shù)運(yùn)算單元110接收所提供的沒有經(jīng)過由環(huán)路濾波器111進(jìn)行的濾波操作的圖像，并存儲(chǔ)該圖像。

在步驟s114中，無(wú)損編碼單元106對(duì)由步驟s108中的操作量化的變換系數(shù)進(jìn)行編碼。就是說，對(duì)差分圖像進(jìn)行無(wú)損編碼例如可變長(zhǎng)度編碼或算術(shù)編碼。

另外，無(wú)損編碼單元106對(duì)步驟s108中計(jì)算的量化參數(shù)進(jìn)行編碼，并將該量化參數(shù)添加到編碼數(shù)據(jù)。此外，無(wú)損編碼單元106對(duì)與由步驟s105中的操作選擇的預(yù)測(cè)圖像的預(yù)測(cè)模式有關(guān)的信息進(jìn)行編碼，并將該信息添加到通過對(duì)差分圖像進(jìn)行編碼而獲得的編碼數(shù)據(jù)。就是說，無(wú)損編碼單元106也對(duì)從幀內(nèi)預(yù)測(cè)單元114提供的最佳幀內(nèi)預(yù)測(cè)模式信息或與從運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115提供的最佳幀間預(yù)測(cè)模式匹配的信息進(jìn)行編碼，并將該信息添加到編碼數(shù)據(jù)。

在步驟s115中，累積緩沖器107對(duì)由步驟s114中的操作而獲得的編碼數(shù)據(jù)進(jìn)行存儲(chǔ)。充分地讀取在累積緩沖器107中存儲(chǔ)的編碼數(shù)據(jù)，并通過通道或記錄介質(zhì)將該編碼數(shù)據(jù)傳輸給解碼方。

在步驟s116中，基于由步驟s115中的操作而在累積緩沖器107中存儲(chǔ)的編碼數(shù)據(jù)的比特率(生成的比特率)，速率控制單元117控制量化單元105的量化操作速率以使得不引起上溢或下溢。

當(dāng)步驟s116中的操作完成時(shí)，完成了編碼操作。

另外，在步驟s114中，無(wú)損編碼單元106在編碼控制單元121的控制下進(jìn)行編碼操作。

[無(wú)損編碼操作流程]

接下來(lái)，將參考圖16中的流程圖描述在圖15的步驟s114中執(zhí)行的無(wú)損編碼操作流程的示例。如圖16所示，對(duì)圖像每層進(jìn)行無(wú)損編碼操作。

就是說，nal編碼單元131在步驟s121中生成sps并對(duì)該sps進(jìn)行編碼，在步驟s122中生成pps并對(duì)該pps進(jìn)行編碼，且在步驟s123中生成片報(bào)頭并對(duì)該片報(bào)頭進(jìn)行編碼。在步驟s124中，cu數(shù)據(jù)編碼單元132對(duì)操作目標(biāo)的相關(guān)cu進(jìn)行編碼。

cu數(shù)據(jù)編碼單元132針對(duì)操作目標(biāo)的相關(guān)片中的所有cu重復(fù)步驟s124中的操作。在步驟s125中，當(dāng)確定相關(guān)片中不存在還沒有經(jīng)過操作的cu時(shí)，cu數(shù)據(jù)編碼單元132將操作移至步驟s126。

nal編碼單元131針對(duì)操作目標(biāo)的相關(guān)畫面中的所有片重復(fù)步驟s123至步驟s125中的操作。在步驟s126中，當(dāng)確定相關(guān)畫面中不存在還沒有經(jīng)過操作的片時(shí)，nal編碼單元131將操作移至步驟s127。

nal編碼單元131針對(duì)操作目標(biāo)的相關(guān)序列中的所有畫面重復(fù)步驟s122至步驟s126中的操作。在步驟s127中，當(dāng)確定相關(guān)序列中不存在還沒有經(jīng)過操作的畫面時(shí)，nal編碼單元131完成了無(wú)損編碼操作，操作返回到圖15。

[cu編碼操作流程]

接下來(lái)，將參考圖17和圖18中的流程圖描述在圖16的步驟s124中執(zhí)行的cu編碼操作流程的示例。

當(dāng)cu編碼操作開始時(shí)，在步驟s131中，片確定單元161基于由nal編碼單元131生成的nal數(shù)據(jù)確定相關(guān)片的類型，并確定相關(guān)片是否是i片。僅當(dāng)相關(guān)片不是i片(是p片或b片)時(shí)，跳過標(biāo)記編碼單元141在步驟s132中生成跳過標(biāo)記并對(duì)該跳過標(biāo)記進(jìn)行編碼。

在步驟s133中，當(dāng)跳過標(biāo)記確定單元162確定跳過標(biāo)記的值是1時(shí)，從跳過標(biāo)記確定單元162獲得確定結(jié)果的跳過模式編碼單元142在步驟s134中以跳過模式對(duì)cu數(shù)據(jù)進(jìn)行編碼。當(dāng)編碼完成時(shí)，cu編碼操作完成了，操作返回到圖16。

此外，在圖17的步驟s133中，當(dāng)跳過標(biāo)記確定單元162確定跳過標(biāo)記的值是0或跳過標(biāo)記不存在時(shí)，跳過標(biāo)記確定單元162將操作移至步驟s135。在這種情況下，不以跳過模式進(jìn)行編碼。

在步驟s135中，nmc設(shè)置單元163對(duì)nummergecandidates進(jìn)行設(shè)置。

在步驟s136中，僅當(dāng)nmc確定單元164確定在步驟s135中設(shè)置的nummergecandidates的值大于0時(shí)，合并標(biāo)記編碼單元143在步驟s137中生成合并標(biāo)記，并對(duì)該合并標(biāo)記進(jìn)行編碼。

在步驟s138中，當(dāng)合并標(biāo)記確定單元165確定合并標(biāo)記的值是1時(shí)，從合并標(biāo)記確定單元165獲得該確定結(jié)果的合并模式編碼單元144在步驟s139中以合并模式對(duì)cu數(shù)據(jù)進(jìn)行編碼。當(dāng)編碼完成時(shí)，完成了cu編碼操作，操作返回到圖16。

此外，在圖17的步驟s138中，當(dāng)合并標(biāo)記確定單元165確定合并標(biāo)記的值是0或合并標(biāo)記不存在時(shí)，將操作移至圖18中的流程圖，并進(jìn)行與采用的預(yù)測(cè)模式匹配的編碼。

就是說，僅當(dāng)片確定單元161在圖18的步驟s141中確定操作目標(biāo)的相關(guān)片不是i片時(shí)，predmode編碼單元145在步驟s142中生成pred_mode并對(duì)該pred_mode進(jìn)行編碼，該pred_mode是指示相關(guān)片的預(yù)測(cè)模式類型的參數(shù)。

在步驟s143中，當(dāng)predmode確定單元166參考predmode并確定相關(guān)區(qū)域的預(yù)測(cè)模式是幀內(nèi)預(yù)測(cè)模式時(shí)，幀內(nèi)編碼單元146在步驟s144中對(duì)幀內(nèi)預(yù)測(cè)模式的cu數(shù)據(jù)進(jìn)行編碼。就是說，例如，對(duì)差分圖像信息(量化的正交變換系數(shù))和與幀內(nèi)預(yù)測(cè)模式有關(guān)的信息進(jìn)行編碼。當(dāng)編碼完成時(shí)，完成了cu編碼操作，操作返回到圖16。

此外，當(dāng)predmode確定單元166確定相關(guān)區(qū)域的預(yù)測(cè)模式不是幀內(nèi)預(yù)測(cè)模式而是幀間預(yù)測(cè)模式時(shí)(步驟s143和步驟s145)，幀間編碼單元147在步驟s146中對(duì)幀間預(yù)測(cè)模式的cu數(shù)據(jù)進(jìn)行編碼。就是說，例如，對(duì)差分圖像信息(量化的正交變換系數(shù))和與幀間預(yù)測(cè)模式有關(guān)的信息進(jìn)行編碼。當(dāng)編碼完成時(shí)，完成了cu編碼操作，操作返回到圖16。

此外，當(dāng)predmode確定單元166確定相關(guān)區(qū)域的預(yù)測(cè)模式既不是幀內(nèi)預(yù)測(cè)模式也不是幀間預(yù)測(cè)模式時(shí)(步驟s143和步驟s145)，直接模式編碼單元148在步驟s147中對(duì)直接預(yù)測(cè)模式的cu數(shù)據(jù)進(jìn)行編碼。當(dāng)編碼完成時(shí)，完成了cu編碼操作，操作返回到圖16。

[nummergecandidates設(shè)置操作流程]

接下來(lái)，將參考圖19中的流程圖描述nummergecandidates設(shè)置操作流程的示例。

當(dāng)nummergecandidates設(shè)置操作開始時(shí)，在步驟s151中，nmc重置單元181將nmc保存單元185中保存的參數(shù)nummergecandidates重置為初始值“0”。

僅當(dāng)位置確定單元182在步驟s152中確定相關(guān)片中存在周圍區(qū)域pu_l且類型確定單元183在步驟s153中確定周圍區(qū)域pu_l的預(yù)測(cè)模式不是幀內(nèi)預(yù)測(cè)模式時(shí)，nmc更新單元184在步驟s154中增加(加1)在nmc保存單元185中保存的參數(shù)nummergecandidates的值。

與此相反，當(dāng)位置確定單元182在步驟s152中確定相關(guān)片中不存在周圍區(qū)域pu_l或類型確定單元183在步驟s153中確定周圍區(qū)域pu_l的預(yù)測(cè)模式是幀內(nèi)預(yù)測(cè)時(shí)，不增加(加1)參數(shù)nummergecandidates的值。

對(duì)周圍區(qū)域pu_t進(jìn)行相同的操作(步驟s155至步驟s157)。

在步驟s158中，nmc保存單元185將保存的nummergecandidates的值提供給nmc確定單元164。當(dāng)輸出nummergecandidates的值時(shí)，完成了nummergecandidates設(shè)置操作，操作返回到圖17。

通過進(jìn)行如上所述的各種操作，圖像編碼設(shè)備100可以實(shí)現(xiàn)并行地對(duì)每個(gè)片操作，并抑制了因發(fā)生對(duì)于與合并模式有關(guān)的操作所不必要的延遲時(shí)間而引起的操作時(shí)間的增加。

<2.第二實(shí)施方式>

[圖像解碼設(shè)備]

圖20是示出圖像解碼設(shè)備的典型示例結(jié)構(gòu)的框圖。圖20示出的圖像解碼設(shè)備200根據(jù)支持圖像編碼設(shè)備的編碼方法的解碼方法對(duì)由圖像編碼設(shè)備100生成的編碼數(shù)據(jù)進(jìn)行解碼。另外，與圖像編碼設(shè)備100類似，圖像解碼設(shè)備200對(duì)每個(gè)任意區(qū)域(例如，預(yù)測(cè)單元(pu))進(jìn)行預(yù)測(cè)操作。

如圖20所示，圖像解碼設(shè)備200包括：累積緩沖器201、無(wú)損解碼單元202、逆量化單元203、逆正交變換單元204、算術(shù)運(yùn)算單元205、環(huán)路濾波器206、畫面重排緩沖器207和d/a轉(zhuǎn)換器208。圖像解碼設(shè)備200還包括：幀存儲(chǔ)器209、選擇單元210、幀內(nèi)預(yù)測(cè)單元211、運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212和選擇單元213。

此外，圖像解碼設(shè)備200包括解碼控制單元221。

累積緩沖器201對(duì)傳輸?shù)木幋a數(shù)據(jù)進(jìn)行存儲(chǔ)，并在預(yù)定時(shí)間將該編碼數(shù)據(jù)提供給無(wú)損解碼單元202。無(wú)損解碼單元202根據(jù)支持無(wú)損編碼單元106的編碼標(biāo)準(zhǔn)的標(biāo)準(zhǔn)對(duì)從累積緩沖器201提供的且由圖1中的無(wú)損編碼單元106編碼的信息進(jìn)行解碼。無(wú)損解碼單元202將通過對(duì)作為解碼結(jié)果的差分圖像進(jìn)行量化而獲得的系數(shù)數(shù)據(jù)提供給逆量化單元203。

此外，無(wú)損解碼單元202確定是將幀內(nèi)預(yù)測(cè)模式還是將幀間預(yù)測(cè)模式選擇為最佳預(yù)測(cè)模式，并將與該最佳預(yù)測(cè)模式有關(guān)的信息提供給被確定為待選擇的幀內(nèi)預(yù)測(cè)單元211或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212的模式。就是說，例如，當(dāng)在圖像編碼設(shè)備100中將幀間預(yù)測(cè)模式選擇為最佳預(yù)測(cè)模式時(shí)，與該最佳預(yù)測(cè)有關(guān)的信息被提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212。

逆量化單元203根據(jù)支持圖1中的量化單元105的量化標(biāo)準(zhǔn)的標(biāo)準(zhǔn)對(duì)通過由無(wú)損解碼單元202解碼而獲得的量化系數(shù)數(shù)據(jù)進(jìn)行逆量化，并將獲得的系數(shù)數(shù)據(jù)提供給逆正交變換單元204。

逆正交變換單元204根據(jù)支持圖1中的正交變換單元104的正交變換標(biāo)準(zhǔn)的標(biāo)準(zhǔn)對(duì)從逆量化單元203提供的系數(shù)數(shù)據(jù)進(jìn)行逆正交變換。根據(jù)該逆正交變換操作，逆正交變換單元204獲得與在圖像編碼設(shè)備100中還沒有經(jīng)過正交變換的殘留數(shù)據(jù)相對(duì)應(yīng)的解碼的殘留數(shù)據(jù)。

逆正交變換得到的解碼的殘留數(shù)據(jù)被提供給算術(shù)運(yùn)算單元205。此外，算術(shù)運(yùn)算單元205通過選擇單元213從幀內(nèi)預(yù)測(cè)單元211或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212接收提供的的預(yù)測(cè)圖像。

算術(shù)運(yùn)算單元205將該解碼的殘留數(shù)據(jù)加上預(yù)測(cè)圖像，并獲得與還沒有由圖像編碼設(shè)備100的算術(shù)運(yùn)算單元103從其減去預(yù)測(cè)圖像的圖像數(shù)據(jù)相對(duì)應(yīng)的解碼圖像數(shù)據(jù)。算術(shù)運(yùn)算單元205將該解碼圖像數(shù)據(jù)提供給環(huán)路濾波器206。

環(huán)路濾波器206對(duì)提供的解碼圖像充分地進(jìn)行包括去塊效應(yīng)濾波操作或自適應(yīng)環(huán)路濾波操作的環(huán)路濾波操作，并將該解碼圖像提供給畫面重排緩沖器207。

環(huán)路濾波器206包括例如去塊效應(yīng)濾波器或自適應(yīng)濾波器，且對(duì)從算術(shù)運(yùn)算單元205提供的解碼圖像充分地進(jìn)行濾波操作。例如，環(huán)路濾波器206對(duì)解碼圖像進(jìn)行去塊效應(yīng)濾波操作以去除塊失真。此外，例如，環(huán)路濾波器206使用維納濾波器對(duì)該去塊效應(yīng)濾波操作結(jié)果(已經(jīng)去除塊失真的解碼圖像)進(jìn)行環(huán)路濾波操作以改進(jìn)圖像質(zhì)量。

另外，環(huán)路濾波器206對(duì)解碼圖像可以進(jìn)行任意的濾波操作。此外，環(huán)路濾波器206可以使用從圖1中的圖像編碼設(shè)備100提供的濾波系數(shù)進(jìn)行濾波操作。

環(huán)路濾波器206將濾波操作結(jié)果(經(jīng)過濾波操作的解碼圖像)提供給畫面重排緩沖器207和幀存儲(chǔ)器209。另外，可以將從算術(shù)運(yùn)算單元205輸出的解碼圖像不經(jīng)過環(huán)路濾波器206而提供給畫面重排緩沖器207和幀存儲(chǔ)器209。就是說，可以跳過環(huán)路濾波器206的濾波操作。

畫面重排緩沖器207進(jìn)行圖像重排。具體地，將以由圖1的畫面重排緩沖器102進(jìn)行的以編碼的順序重排的幀順序以原始的顯示順序進(jìn)行重排。d/a轉(zhuǎn)換器208對(duì)從畫面重排緩沖器207提供的圖像進(jìn)行d/a轉(zhuǎn)換，并將圖像輸出到?jīng)]有示出的顯示器以顯示圖像。

幀存儲(chǔ)器209對(duì)提供的解碼圖像進(jìn)行存儲(chǔ)，并在預(yù)定時(shí)間或響應(yīng)于來(lái)自外部例如幀內(nèi)預(yù)測(cè)單元211或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212的響應(yīng)，將存儲(chǔ)的解碼圖像作為基準(zhǔn)圖像提供給選擇單元210。

選擇單元210選擇從幀存儲(chǔ)器209提供的基準(zhǔn)圖像的提供目的地。當(dāng)對(duì)經(jīng)過幀內(nèi)編碼的圖像進(jìn)行解碼時(shí)，選擇單元210將從幀存儲(chǔ)器209提供的基準(zhǔn)圖像提供給幀內(nèi)預(yù)測(cè)單元211。此外，當(dāng)對(duì)經(jīng)過幀間編碼的圖像進(jìn)行解碼時(shí)，選擇單元210將從幀存儲(chǔ)器209提供的基準(zhǔn)圖像提供給運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212。

幀內(nèi)預(yù)測(cè)單元211從無(wú)損解碼單元202充分地接收提供的例如通過對(duì)報(bào)頭信息進(jìn)行解碼而獲得的且指示幀內(nèi)預(yù)測(cè)模式的信息。幀內(nèi)預(yù)測(cè)單元211以在圖1的幀內(nèi)預(yù)測(cè)單元114中使用的幀內(nèi)預(yù)測(cè)模式、使用從幀存儲(chǔ)器209獲得的基準(zhǔn)圖像進(jìn)行幀內(nèi)預(yù)測(cè)，并生成預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)單元211將生成的預(yù)測(cè)圖像提供給選擇單元213。

運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212從無(wú)損解碼單元202獲得通過對(duì)報(bào)頭信息(最佳預(yù)測(cè)模式信息的代碼編號(hào)、差信息和預(yù)測(cè)運(yùn)動(dòng)矢量信息)進(jìn)行解碼而獲得的信息。

運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212以在圖1的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元115中使用的幀間預(yù)測(cè)模式、使用從幀存儲(chǔ)器209獲得的基準(zhǔn)圖像進(jìn)行幀間預(yù)測(cè)，并生成預(yù)測(cè)圖像。

解碼控制單元221控制無(wú)損解碼單元202的解碼操作。無(wú)損解碼單元202根據(jù)支持圖1中的無(wú)損編碼單元106的方法主要進(jìn)行解碼操作，因此，解碼控制單元221的控制方法基本與圖1中的編碼控制單元121的控制方法相同。通過協(xié)調(diào)編碼側(cè)和解碼側(cè)的控制方法，解碼控制單元221可以選擇支持由編碼控制單元121選擇的編碼方法的解碼方法，并進(jìn)行控制以使得能夠準(zhǔn)確地進(jìn)行解碼操作。

就是說，解碼控制單元221確定是否以合并模式進(jìn)行解碼。當(dāng)進(jìn)行該確定時(shí)，解碼控制單元221設(shè)置參數(shù)nummergecandidates。當(dāng)設(shè)置該參數(shù)時(shí)，解碼控制單元221檢查周圍區(qū)域是否像多個(gè)片的相關(guān)畫面的相關(guān)區(qū)域那樣被包括在相關(guān)片中。

就是說，解碼控制單元221通過考慮有可能以合并模式被參考的周圍區(qū)域是否可用，來(lái)確定是否進(jìn)入合并模式，以控制無(wú)損解碼單元202的解碼操作，并基于該確定結(jié)果控制合并模式。此外，解碼控制單元221以不同于合并模式的模式例如跳過模式、幀內(nèi)預(yù)測(cè)模式、幀間預(yù)測(cè)模式和直接模式控制解碼操作。

無(wú)損解碼單元202以由解碼控制單元221選擇的模式進(jìn)行無(wú)損解碼操作。

通過這樣做，解碼控制單元221和無(wú)損解碼單元202僅需要參考相關(guān)片中的運(yùn)動(dòng)信息，且因此不需要等到完成其他片的操作。因此，圖像解碼設(shè)備200可以實(shí)現(xiàn)并行地對(duì)每個(gè)片操作，并抑制了因發(fā)生了對(duì)于與合并模式相關(guān)的操作所不必要的延遲時(shí)間而引起的操作時(shí)間的增加。

[無(wú)損解碼單元和解碼控制單元]

圖21是示出無(wú)損解碼單元202和解碼控制單元221的典型示例結(jié)構(gòu)的框圖。

如圖21所示，無(wú)損解碼單元202包括：nal解碼單元231和cu數(shù)據(jù)解碼單元232。

nal解碼單元231對(duì)nal數(shù)據(jù)例如序列參數(shù)集、畫面參數(shù)集和片報(bào)頭進(jìn)行解碼。cu數(shù)據(jù)解碼單元232對(duì)cu層或更少的層的編碼數(shù)據(jù)進(jìn)行解碼。

cu數(shù)據(jù)解碼單元232包括：跳過標(biāo)記解碼單元241、跳過模式解碼單元242、合并標(biāo)記解碼單元243和合并模式解碼單元244。cu數(shù)據(jù)解碼單元232還包括：predmode解碼單元245、幀內(nèi)解碼單元246、幀間解碼單元247和直接模式解碼單元248。

跳過標(biāo)記解碼單元241在解碼控制單元221的控制下對(duì)跳過標(biāo)記進(jìn)行解碼。跳過模式解碼單元242在解碼控制單元221的控制下以跳過模式進(jìn)行解碼操作。

合并標(biāo)記解碼單元243在解碼控制單元221的控制下對(duì)合并標(biāo)記(mergeflag)進(jìn)行解碼。合并模式解碼單元244在解碼控制單元221的控制下以合并模式進(jìn)行解碼操作。

predmode解碼單元245在解碼控制單元221的控制下對(duì)predmode進(jìn)行解碼。幀內(nèi)解碼單元246在解碼控制單元221的控制下進(jìn)行對(duì)與使用幀內(nèi)預(yù)測(cè)生成的差分圖像的編碼數(shù)據(jù)的解碼有關(guān)的操作。幀間解碼單元247在解碼控制單元221的控制下進(jìn)行對(duì)與使用幀間預(yù)測(cè)生成的差分圖像的編碼數(shù)據(jù)的解碼有關(guān)的操作。直接模式解碼單元248在解碼控制單元221的控制下進(jìn)行對(duì)與使用直接模式生成的差分圖像的編碼數(shù)據(jù)的解碼有關(guān)的操作。

此外，解碼控制單元221進(jìn)行與編碼控制單元121基本相同的控制。就是說，如圖21所示，解碼控制單元221包括：片確定單元261、跳過標(biāo)記確定單元262、nmc設(shè)置單元263、nmc確定單元264、合并標(biāo)記確定單元265和predmode確定單元266。

片確定單元261至predmode確定單元266進(jìn)行與編碼控制單元121的片確定單元261至predmode確定單元166基本相同的操作。

[nmc設(shè)置單元]

圖22是示出nmc設(shè)置單元263的典型示例結(jié)構(gòu)的框圖。

nmc設(shè)置單元263進(jìn)行與nmc設(shè)置單元163基本相同的操作。就是說，如圖22所示，nmc設(shè)置單元263包括：nmc重置單元281、位置確定單元282、類型確定單元283、nmc更新單元284和nmc保存單元285。

nmc重置單元281至nmc保存單元285進(jìn)行與nmc重置單元181至nmc185基本相同的操作。

[解碼操作流程]

接下來(lái)，將描述由上述的圖像解碼設(shè)備200執(zhí)行的每個(gè)操作的流程。首先，參考圖23中的流程圖描述解碼操作流程。

當(dāng)解碼操作開始時(shí)，累積緩沖器201在步驟s201中對(duì)傳輸?shù)拇a流進(jìn)行存儲(chǔ)。在步驟s202中，無(wú)損解碼單元202對(duì)從累積緩沖器201提供的碼流進(jìn)行解碼。就是說，圖1中的無(wú)損編碼單元106對(duì)編碼的i畫面、p畫面和b畫面進(jìn)行解碼。此外，也對(duì)包括在碼流中的除差分圖像信息之外的各種信息例如差分運(yùn)動(dòng)信息、預(yù)測(cè)運(yùn)動(dòng)矢量的代碼編號(hào)和合并信息進(jìn)行解碼。

在步驟s203中，逆量化單元203對(duì)由步驟s202中的操作獲得的量化的正交變換系數(shù)進(jìn)行逆量化。在步驟s204中，逆正交變換單元204對(duì)在步驟s203中經(jīng)過了逆量化的變換正交系數(shù)進(jìn)行逆正交變換。

在步驟s205中，幀內(nèi)預(yù)測(cè)單元211或運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償單元212使用提供的信息進(jìn)行預(yù)測(cè)操作。在步驟s206中，選擇單元213選擇在步驟s205中生成的預(yù)測(cè)圖像。在步驟s207中，算術(shù)運(yùn)算單元205將在步驟s206中選擇的預(yù)測(cè)圖像添加到在步驟s204中由逆正交變換獲得的差分圖像信息。以此方式，獲得了解碼圖像。

在步驟s208中，環(huán)路濾波器206對(duì)步驟s207中獲得的解碼圖像充分地進(jìn)行包括去塊效應(yīng)濾波操作和自適應(yīng)環(huán)路濾波操作的環(huán)路濾波操作。

在步驟s209中，畫面重排緩沖器207對(duì)在步驟s208中經(jīng)過了濾波操作的圖像進(jìn)行重排。就是說，由圖像編碼設(shè)備100的畫面重排緩沖器102為了編碼而重排的幀的順序被以原始的顯示順序進(jìn)行重排。

在步驟s210中，d/a轉(zhuǎn)換器208對(duì)在步驟s209中通過對(duì)幀的順序進(jìn)行重排而獲得的圖像進(jìn)行d/a轉(zhuǎn)換。將該圖像輸出到顯示器(未示出)并顯示該圖像。

在步驟s211中，幀存儲(chǔ)器209對(duì)在步驟s208中經(jīng)過了濾波操作的圖像進(jìn)行存儲(chǔ)。在步驟s205中將該圖像用作基準(zhǔn)圖像以生成預(yù)測(cè)圖像。

當(dāng)步驟s211中的操作完成時(shí)，完成了解碼操作。

[無(wú)損解碼操作流程]

接下來(lái)，將參考圖24中的流程圖描述在圖23的步驟s202中執(zhí)行的無(wú)損解碼操作流程的示例。

與無(wú)損編碼操作類似，對(duì)圖像的每層進(jìn)行該無(wú)損解碼操作。

就是說，nal解碼231在步驟s221中對(duì)sps的編碼數(shù)據(jù)進(jìn)行解碼，在步驟s222中對(duì)pps的編碼數(shù)據(jù)進(jìn)行解碼，并且在步驟s223中對(duì)片報(bào)頭的編碼數(shù)據(jù)進(jìn)行解碼。在步驟s224中，cu數(shù)據(jù)解碼單元232對(duì)操作目標(biāo)的相關(guān)cu進(jìn)行解碼。

cu數(shù)據(jù)解碼單元232在步驟s224中針對(duì)操作目標(biāo)的相關(guān)片中的所有cu重復(fù)該操作。在步驟s225中，當(dāng)確定相關(guān)片中不存在還沒有經(jīng)過操作的cu時(shí)，cu數(shù)據(jù)解碼單元232將操作移至步驟s226。

nal解碼單元231在步驟s223中針對(duì)操作目標(biāo)的相關(guān)畫面中的所有片重復(fù)該操作。在步驟s226中，當(dāng)確定相關(guān)畫面中不存在還沒有經(jīng)過操作的片時(shí)，nal解碼單元231將操作移至步驟s227。

nal解碼單元231在步驟s222到步驟s226中針對(duì)操作目標(biāo)的相關(guān)序列中的所有畫面重復(fù)操作。在步驟s227中，當(dāng)確定相關(guān)序列中不存在還沒有經(jīng)過操作的畫面時(shí)，nal解碼單元231完成了無(wú)損解碼操作，并將操作返回到圖23。

[cu解碼操作]

接下來(lái)，將參考圖25和圖26中的流程圖描述在圖24的步驟s224中執(zhí)行的cu解碼操作流程的示例。

當(dāng)cu解碼操作開始時(shí)，在步驟s231中，片確定單元261基于由nal解碼單元231解碼的nal數(shù)據(jù)確定相關(guān)片的類型，并確定相關(guān)片是否是i片。

當(dāng)相關(guān)片不是i片(相關(guān)片是p片或b片)時(shí)，跳過標(biāo)記解碼單元241對(duì)步驟s232中的跳過標(biāo)記進(jìn)行解碼。當(dāng)確定相關(guān)片是i片時(shí)，不對(duì)跳過標(biāo)記進(jìn)行編碼，因此，該操作被跳過。

當(dāng)跳過標(biāo)記確定單元262在步驟s233中確定跳過標(biāo)記存在且跳過標(biāo)記的值是1時(shí)，跳過模式解碼單元242在步驟s234中以跳過模式對(duì)cu數(shù)據(jù)進(jìn)行解碼。當(dāng)對(duì)cu數(shù)據(jù)進(jìn)行解碼時(shí)，跳過模式解碼單元242完成了cu解碼操作，并將操作返回到圖24。

當(dāng)跳過標(biāo)記確定單元262在步驟s233中確定跳過標(biāo)記不存在或跳過標(biāo)記的值是0時(shí)，nmc設(shè)置單元263在步驟s235中對(duì)nummergecandidates進(jìn)行設(shè)置。進(jìn)行如參考圖19中的流程圖描述的nummergecandidates設(shè)置操作，因此，將不詳細(xì)描述該nummergecandidates設(shè)置操作。

當(dāng)對(duì)nummergecandidates進(jìn)行了設(shè)置且nmc確定單元264在步驟s236中確定nummergecandidates的值大于0時(shí)，合并標(biāo)記解碼單元243在步驟s237中對(duì)合并標(biāo)記進(jìn)行解碼。當(dāng)確定nummergecandidates的值是0時(shí)，不對(duì)合并標(biāo)記進(jìn)行編碼，因此，該操作被跳過。

在步驟s238中，當(dāng)合并標(biāo)記確定單元265確定合并標(biāo)記存在且合并標(biāo)記的值是1時(shí)，合并標(biāo)記解碼單元244在步驟s239中以合并模式對(duì)cu數(shù)據(jù)進(jìn)行解碼。當(dāng)對(duì)cu數(shù)據(jù)進(jìn)行解碼時(shí)，合并模式解碼單元244完成了cu解碼操作，并將操作返回到圖24。

在步驟s238中，當(dāng)合并標(biāo)記確定單元265確定合并標(biāo)記不存在或合并標(biāo)記的值是0時(shí)，將操作移至圖26。

在這種情況下，根據(jù)與預(yù)測(cè)模式匹配的方法對(duì)cu數(shù)據(jù)進(jìn)行解碼。就是說，當(dāng)片確定單元261在圖26的步驟s241中確定相關(guān)片不是i片時(shí)，predmode解碼單元245在步驟s242中對(duì)pred_mode進(jìn)行解碼。當(dāng)確定相關(guān)片是i片時(shí)，不對(duì)pred_mode進(jìn)行編碼，因此，該操作被跳過。

當(dāng)predmode確定單元266在步驟s243中確定相關(guān)區(qū)域的預(yù)測(cè)模式是幀內(nèi)預(yù)測(cè)模式時(shí)，幀內(nèi)解碼單元246在步驟s244中以幀內(nèi)預(yù)測(cè)模式進(jìn)行解碼(根據(jù)適當(dāng)?shù)姆椒▽?duì)以幀內(nèi)預(yù)測(cè)模式編碼的cu數(shù)據(jù)進(jìn)行解碼)。當(dāng)對(duì)cu數(shù)據(jù)進(jìn)行解碼時(shí)，幀內(nèi)解碼單元246完成了cu解碼操作，并將操作返回到圖24。

此外，當(dāng)predmode確定單元266在步驟s243中確定相關(guān)區(qū)域的預(yù)測(cè)模式不是幀內(nèi)預(yù)測(cè)模式且在步驟s245中確定預(yù)測(cè)模式是幀間預(yù)測(cè)模式時(shí)，幀間解碼單元247在步驟s246中以幀間預(yù)測(cè)模式進(jìn)行解碼(根據(jù)適當(dāng)?shù)姆椒▽?duì)以幀間預(yù)測(cè)模式編碼的cu數(shù)據(jù)進(jìn)行解碼)。當(dāng)對(duì)cu數(shù)據(jù)進(jìn)行解碼時(shí)，幀間解碼單元247完成了cu解碼操作，并將操作返回到圖24。

此外，當(dāng)predmode確定單元266在步驟s243中確定相關(guān)區(qū)域的預(yù)測(cè)模式不是幀內(nèi)預(yù)測(cè)模式且在步驟s245中確定預(yù)測(cè)模式不是幀間預(yù)測(cè)模式時(shí)，直接模式解碼單元248在步驟s247中以直接預(yù)測(cè)模式進(jìn)行解碼(根據(jù)適當(dāng)?shù)姆椒▽?duì)以直接預(yù)測(cè)模式編碼的cu數(shù)據(jù)進(jìn)行解碼)。當(dāng)對(duì)cu數(shù)據(jù)進(jìn)行解碼時(shí)，直接模式解碼單元248完成了cu解碼操作，并將操作返回到圖24。

如上所述，通過進(jìn)行各種操作，解碼控制單元221和無(wú)損解碼單元202僅需要參考相關(guān)片中的運(yùn)動(dòng)信息，因此，不需要等到完成其他片的操作。因此，圖像解碼設(shè)備200可以實(shí)現(xiàn)并行地對(duì)每個(gè)片操作，并抑制了因發(fā)生了對(duì)于與合并模式相關(guān)的操作所不必要的延遲時(shí)間而引起的操作時(shí)間的增加。

另外，可以將本技術(shù)應(yīng)用于當(dāng)經(jīng)由網(wǎng)絡(luò)介質(zhì)例如衛(wèi)星廣播、有線電視、因特網(wǎng)或便攜式電話設(shè)備接收通過正交變換例如離散余弦變換和如以mpeg或h.26x壓縮進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)膱D像信息(比特流)時(shí)所使用的圖像編碼設(shè)備和圖像解碼設(shè)備。此外，還可以將本技術(shù)應(yīng)用于當(dāng)在存儲(chǔ)介質(zhì)例如光盤、磁盤或閃存上處理壓縮的圖像信息時(shí)所使用的圖像編碼設(shè)備和圖像解碼設(shè)備。此外，本技術(shù)還適用于包括在這些圖像編碼設(shè)備和圖像解碼設(shè)備中的運(yùn)動(dòng)預(yù)測(cè)/補(bǔ)償設(shè)備。

<3.第三實(shí)施方式>

[個(gè)人計(jì)算機(jī)]

可以由硬件進(jìn)行上述系列操作，也可以由軟件進(jìn)行上述系列操作。當(dāng)由軟件進(jìn)行系列操作時(shí)，將形成軟件的程序安裝在計(jì)算機(jī)中。這里，計(jì)算機(jī)可以是由專用硬件組成的計(jì)算機(jī)，或可以是當(dāng)安裝各種程序時(shí)能夠執(zhí)行各種功能的通用個(gè)人計(jì)算機(jī)。

在圖27中，個(gè)人計(jì)算機(jī)500的cpu(中央處理單元)根據(jù)存儲(chǔ)在rom(只讀存儲(chǔ)器)502中的程序或從存儲(chǔ)單元513加載到ram(隨機(jī)訪問存儲(chǔ)器)503的程序執(zhí)行各種處理。需要時(shí)，也可以將cpu501為進(jìn)行各種處理所需的數(shù)據(jù)存儲(chǔ)在ram503中。

cpu501、rom502和ram503經(jīng)由總線504彼此連接。輸入/輸出接口510也與總線504連接。

輸入/輸出接口510與由鍵盤、鼠標(biāo)等形成的輸入單元511、由顯示器例如crt(陰極射線管)或lcd(液晶顯示器)和揚(yáng)聲器形成的輸出單元512、由硬盤等形成的存儲(chǔ)單元513和由調(diào)制解調(diào)器形成的通信單元514連接。通信單元514經(jīng)由包括因特網(wǎng)的網(wǎng)絡(luò)進(jìn)行通信。

必要的情況下，驅(qū)動(dòng)器515還與輸入/輸出接口510連接，將可移除介質(zhì)521例如磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器適當(dāng)?shù)匕惭b到驅(qū)動(dòng)器上，需要時(shí)，將從可移除介質(zhì)521讀取的計(jì)算機(jī)程序安裝在存儲(chǔ)單元513中。

在由軟件進(jìn)行上述系列操作的情況下，從網(wǎng)絡(luò)或記錄介質(zhì)安裝形成軟件的程序。

例如，如圖27所示，該記錄介質(zhì)不僅由用于將程序從在其上記錄程序的下述設(shè)備獨(dú)立地遞送給用戶的可移除介質(zhì)521例如磁盤(包括軟盤)、光盤(包括cd-rom(壓縮光盤只讀存儲(chǔ)器))或dvd(數(shù)字化視頻光盤)、磁光盤(包括md(小型光盤))或半導(dǎo)體存儲(chǔ)器形成，而且由其中記錄有程序的rom502或包括在存儲(chǔ)單元513中的硬盤形成。

由計(jì)算機(jī)執(zhí)行的程序可以是根據(jù)本說明書中描述的順序以時(shí)間順序執(zhí)行處理的程序或并行地執(zhí)行處理或任何必要時(shí)例如響應(yīng)于調(diào)用的程序。

此外，在本說明書中，待記錄在記錄介質(zhì)中的程序中所寫的步驟包括在不必按照時(shí)間順序的情況下待并行進(jìn)行的操作或者彼此獨(dú)立進(jìn)行的操作，也包括根據(jù)本文描述的順序以時(shí)間順序進(jìn)行的操作。

在本說明書中，系統(tǒng)指的是由多個(gè)設(shè)備形成的整體設(shè)備。

此外，在上述的示例中，任何被描述成一個(gè)設(shè)備(或操作單元)結(jié)構(gòu)都可以被分成多個(gè)設(shè)備(或操作單元)。反之，任何被描述成多個(gè)設(shè)備(或操作單元)結(jié)構(gòu)都可以被組合以形成一個(gè)設(shè)備(或操作單元)。此外，當(dāng)然可以將不同于上述結(jié)構(gòu)的結(jié)構(gòu)添加到任何設(shè)備的結(jié)構(gòu)(或任何操作單元)。此外，只要整體系統(tǒng)的結(jié)構(gòu)和功能保持相同，可以將設(shè)備(或操作單元)的結(jié)構(gòu)的一部分合并到另一設(shè)備(或另一操作單元)中。就是說，本技術(shù)的實(shí)施方式不限于上述的實(shí)施方式，且在不偏離于本技術(shù)的范圍的情況下可以對(duì)上述的實(shí)施方式做出各種修改。

可以將根據(jù)上述實(shí)施方式的圖像編碼設(shè)備和圖像解碼設(shè)備應(yīng)用到各種電子設(shè)備，例如用于衛(wèi)星廣播、有線廣播例如有線電視、通過因特網(wǎng)的分發(fā)和借助于蜂窩通信對(duì)終端進(jìn)行的分發(fā)的發(fā)送器或接收器；在介質(zhì)例如光盤、磁盤和閃存中記錄圖像的記錄設(shè)備；和從這些存儲(chǔ)介質(zhì)再現(xiàn)圖像的再現(xiàn)設(shè)備。將描述四個(gè)應(yīng)用示例。

<4.第四實(shí)施方式>

[第一應(yīng)用示例：電視接收機(jī)]

圖28示出應(yīng)用了上述實(shí)施方式的電視設(shè)備的示意性配置的示例。電視設(shè)備900包括：天線901、調(diào)諧器902、多路信號(hào)分離器903、解碼器904、視頻信號(hào)處理單元905、顯示單元906、音頻信號(hào)處理單元907、揚(yáng)聲器908、外部接口909、控制單元910、用戶接口911和總線912。

調(diào)諧器902從通過天線901接收的廣播信號(hào)提取期望的信道信號(hào)，并對(duì)提取的信號(hào)進(jìn)行解調(diào)。此外，調(diào)諧器902將由解調(diào)獲得的編碼比特流輸出到多路信號(hào)分離器903。就是說，調(diào)諧器902起到接收通過對(duì)圖像進(jìn)行編碼而獲得的編碼流電視設(shè)備900的發(fā)送器的作用。

多路信號(hào)分離器903將待觀看的節(jié)目的視頻流和音頻流從編碼比特流中分離出來(lái)，并將每個(gè)分離的流輸出到解碼器904。此外，多路信號(hào)分離器903從編碼比特流提取輔助數(shù)據(jù)例如epg(電子節(jié)目指南)，并將提取的數(shù)據(jù)提供給控制單元910。另外，當(dāng)編碼比特流被加擾時(shí)，多路信號(hào)分離器903可以進(jìn)行解擾。

解碼器904對(duì)從多路信號(hào)分離器903輸入的視頻流和音頻流進(jìn)行解碼。此外，解碼器904將由解碼操作生成的視頻數(shù)據(jù)輸出到視頻信號(hào)處理單元905。此外，解碼器904將由解碼操作生成的音頻數(shù)據(jù)輸出到音頻信號(hào)處理單元907。

視頻信號(hào)處理單元905再現(xiàn)從解碼器904輸入的視頻數(shù)據(jù)，并在顯示單元906上顯示視頻圖像。此外，視頻信號(hào)處理單元905可以在顯示單元906上顯示通過網(wǎng)絡(luò)提供的應(yīng)用畫面。此外，視頻信號(hào)處理單元905可以根據(jù)設(shè)置對(duì)視頻數(shù)據(jù)進(jìn)行附加的操作例如去除噪聲。另外，視頻信號(hào)處理單元905可以生成gui(圖形用戶接口)圖像例如菜單、按鈕和光標(biāo)，并將生成的圖像疊加在輸出圖像上。

顯示單元906由從視頻信號(hào)處理單元905提供的驅(qū)動(dòng)信號(hào)驅(qū)動(dòng)，并將視頻圖像或圖像顯示在顯示設(shè)備(例如，液晶顯示器、等離子顯示器或oeld(有機(jī)電致發(fā)光顯示器)(有機(jī)el顯示器))的顯示屏幕上。

音頻信號(hào)處理單元907對(duì)從解碼器904輸入的音頻數(shù)據(jù)進(jìn)行再現(xiàn)操作例如d/a轉(zhuǎn)換和放大，并從揚(yáng)聲器908輸出音頻。此外，音頻信號(hào)處理單元907可以對(duì)音頻數(shù)據(jù)進(jìn)行附加的操作例如去除噪聲。

外部接口909是連接電視設(shè)備900和外部設(shè)備或網(wǎng)絡(luò)的接口。例如，可以由解碼器904解碼通過外部接口909接收的視頻流或音頻流。就是說，外部接口909也起到接收編碼圖像的編碼流的電視設(shè)備900中的發(fā)送器的作用。

控制單元910具有處理器例如cpu和存儲(chǔ)器例如ram和rom。存儲(chǔ)器存儲(chǔ)待由cpu執(zhí)行的程序、程序數(shù)據(jù)、epg數(shù)據(jù)和通過網(wǎng)絡(luò)獲得的數(shù)據(jù)。存儲(chǔ)在存儲(chǔ)器中的程序由cpu在電視設(shè)備900啟動(dòng)時(shí)讀取并執(zhí)行。通過執(zhí)行程序，cpu根據(jù)例如從用戶接口911輸入的操作信號(hào)控制電視設(shè)備900的操作。

用戶接口911與控制單元910連接。用戶接口911包括：例如用戶用來(lái)操作電視設(shè)備900的按鈕和開關(guān)、以及接收遙控信號(hào)的接收單元。用戶接口911通過這些部件檢測(cè)用戶的操作，生成操作信號(hào)，并將生成的操作信號(hào)輸出到控制單元910。

總線912與調(diào)諧器902、多路信號(hào)分離器903、解碼器904、視頻信號(hào)處理單元905、音頻信號(hào)處理單元907、外部接口909和控制單元910相互連接。

在具有該結(jié)構(gòu)的電視設(shè)備900中，解碼器904具有根據(jù)上述實(shí)施方式的圖像解碼設(shè)備的功能。因此，當(dāng)對(duì)電視設(shè)備900中圖像的解碼時(shí)，可以實(shí)現(xiàn)并行地對(duì)每個(gè)片操作，并抑制了因發(fā)生了對(duì)于與合并模式相關(guān)的操作所不必要的延遲時(shí)間而引起的操作時(shí)間的增加。

<5.第五實(shí)施方式>

[第二應(yīng)用示例：移動(dòng)電話設(shè)備]

圖29示出了應(yīng)用上述實(shí)施方式的移動(dòng)電話設(shè)備的示意性結(jié)構(gòu)的示例。移動(dòng)電話設(shè)備920包括：天線921、通信單元922、音頻編解碼器923、揚(yáng)聲器924、麥克風(fēng)925、攝像單元926、圖像處理單元927、多路復(fù)用/分離單元928、記錄/再現(xiàn)單元929、顯示單元930、控制單元931、操作單元932和總線933。

天線921與通信單元922連接。揚(yáng)聲器924和麥克風(fēng)925連接至音頻編解碼器923。操作單元932與控制單元931連接。總線933與通信單元922、音頻編解碼器923、攝像單元926、圖像處理單元927、多路復(fù)用/分離單元928、記錄/再現(xiàn)單元929、顯示單元930和控制單元931相互連接。

移動(dòng)電話設(shè)備920以各種模式例如語(yǔ)音通信模式、數(shù)據(jù)通信模式、圖像拍攝模式和視頻電話模式進(jìn)行操作，例如音頻信號(hào)的發(fā)送和接收、電子郵件和圖像數(shù)據(jù)的發(fā)送和接收、圖像拍攝和數(shù)據(jù)記錄。

在語(yǔ)音通信模式中，麥克風(fēng)925生成的模擬語(yǔ)音信號(hào)被提供給音頻編解碼器923。音頻編解碼器923將模擬語(yǔ)音信號(hào)轉(zhuǎn)換成音頻數(shù)據(jù)，并對(duì)轉(zhuǎn)換的音頻數(shù)據(jù)進(jìn)行a/d轉(zhuǎn)換和壓縮。此外，音頻編解碼器923將壓縮的音頻數(shù)據(jù)輸出到通信單元922。通信單元922對(duì)音頻數(shù)據(jù)進(jìn)行編碼和調(diào)制，并生成發(fā)送信號(hào)。此外，通信單元922通過天線921將生成的發(fā)送信號(hào)發(fā)送到基站(未示出)。此外，通信單元922對(duì)通過天線921接收的無(wú)線電信號(hào)進(jìn)行放大和頻率轉(zhuǎn)換，并獲得接收的信號(hào)。并且，通信單元922對(duì)接收的信號(hào)進(jìn)行解調(diào)和解碼，生成音頻數(shù)據(jù)，并將生成的音頻數(shù)據(jù)輸出到音頻編解碼器923。音頻編解碼器923對(duì)音頻數(shù)據(jù)進(jìn)行解壓縮和d/a轉(zhuǎn)換，并生成模擬音頻信號(hào)。此外，音頻編解碼器923將生成的音頻信號(hào)提供給揚(yáng)聲器924，并輸出音頻。

此外，例如在數(shù)據(jù)通信模式中，控制單元931通過操作單元930根據(jù)用戶的操作生成配置電子郵件的文本數(shù)據(jù)。并且，控制單元931在顯示單元930上顯示文本。此外，控制單元931通過操作單元932根據(jù)來(lái)自用戶的發(fā)送指令生成電子郵件數(shù)據(jù)，并將生成的電子郵件數(shù)據(jù)輸出到通信單元922。通信單元922對(duì)電子郵件數(shù)據(jù)進(jìn)行編碼和調(diào)制，并生成發(fā)送信號(hào)。此外，通信單元922通過天線921將生成的發(fā)送信號(hào)發(fā)送到基站(未示出)。此外，通信單元922對(duì)通過天線921接收的無(wú)線電信號(hào)進(jìn)行放大和頻率轉(zhuǎn)換，并獲得接收的信號(hào)。并且，通信單元922對(duì)接收的信號(hào)進(jìn)行解調(diào)和解碼，恢復(fù)電子郵件數(shù)據(jù)，并將恢復(fù)的電子郵件數(shù)據(jù)輸出到控制單元931?？刂茊卧?31在顯示單元930上顯示電子郵件的內(nèi)容，并將電子郵件數(shù)據(jù)存儲(chǔ)在記錄/再現(xiàn)單元929的存儲(chǔ)介質(zhì)中。

記錄/再現(xiàn)單元929包括任意可讀/可寫的存儲(chǔ)介質(zhì)。例如，存儲(chǔ)介質(zhì)可以是內(nèi)置的存儲(chǔ)介質(zhì)例如ram或閃存，且可以是外部附接的存儲(chǔ)介質(zhì)例如硬盤、磁盤、磁光盤、光盤、usb(未分配的空間位圖)存儲(chǔ)器或存儲(chǔ)卡。

此外，例如在圖像拍攝模式中，攝像單元926拍攝對(duì)象的圖像，生成圖像數(shù)據(jù)，并將生成的圖像數(shù)據(jù)輸出到圖像處理單元927。圖像處理單元927對(duì)從攝像單元926輸入的圖像數(shù)據(jù)進(jìn)行編碼，并將編碼的流存儲(chǔ)在記錄/再現(xiàn)單元929的存儲(chǔ)介質(zhì)中。

此外，例如在視頻電話模式中，多路復(fù)用/分離單元928對(duì)由圖像處理單元927編碼的視頻流和從音頻編解碼器923輸入的音頻流進(jìn)行多路復(fù)用，并將多路復(fù)用的流輸出到通信單元922。通信單元922對(duì)流進(jìn)行編碼和調(diào)制，并生成發(fā)送信號(hào)。此外，通信單元922通過天線921將生成的發(fā)送信號(hào)發(fā)送到基站(未示出)。此外，通信單元922對(duì)通過天線921接收的無(wú)線電信號(hào)進(jìn)行放大和頻率轉(zhuǎn)換，并獲得接收的信號(hào)。這些發(fā)送信號(hào)和接收的信號(hào)可以包括編碼比特流。此外，通信單元922對(duì)接收的信號(hào)進(jìn)行解調(diào)和解碼，對(duì)流進(jìn)行恢復(fù)，并將恢復(fù)的流輸出到多路復(fù)用/分離單元928。多路復(fù)用/分離單元928從輸入的流中分離視頻流和音頻流，將視頻流輸出到圖像處理單元927，將音頻流輸出到音頻編解碼器923。圖像處理單元927對(duì)視頻流進(jìn)行解碼，并生成視頻數(shù)據(jù)。視頻數(shù)據(jù)被提供給顯示單元930，顯示單元930顯示一系列圖像。音頻編解碼器923對(duì)音頻流進(jìn)行解壓縮和d/a轉(zhuǎn)換，并生成模擬音頻信號(hào)。此外，音頻編解碼器923將生成的音頻信號(hào)提供給揚(yáng)聲器924，并輸出音頻。

在具有該結(jié)構(gòu)的移動(dòng)電話設(shè)備920中，圖像處理單元927具有根據(jù)上述實(shí)施方式的圖像編碼設(shè)備和圖像解碼設(shè)備的功能。因此，當(dāng)在移動(dòng)電話設(shè)備920中對(duì)圖像進(jìn)行編碼和解碼時(shí)，可以實(shí)現(xiàn)并行地對(duì)每個(gè)片操作，并抑制了因發(fā)生了對(duì)于與合并模式相關(guān)的操作所不必要的延遲時(shí)間而引起的操作時(shí)間的增加。

<6.第六實(shí)施方式>

[第三應(yīng)用示例：記錄/再現(xiàn)設(shè)備]

圖30示出了應(yīng)用上述實(shí)施方式的記錄/再現(xiàn)設(shè)備的示意性結(jié)構(gòu)的示例。記錄/再現(xiàn)設(shè)備940對(duì)例如接收的廣播節(jié)目的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行編碼，并將數(shù)據(jù)記錄在記錄介質(zhì)中。此外，記錄/再現(xiàn)設(shè)備940例如對(duì)從另一設(shè)備獲得的音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行編碼，并將數(shù)據(jù)記錄在記錄介質(zhì)中。此外，記錄/再現(xiàn)設(shè)備940根據(jù)例如用戶的指令對(duì)記錄在監(jiān)控器和揚(yáng)聲器上的記錄介質(zhì)中的數(shù)據(jù)進(jìn)行再現(xiàn)。在這種情況下，記錄/再現(xiàn)設(shè)備940對(duì)音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行解碼。

記錄/再現(xiàn)設(shè)備940包括：調(diào)諧器941、外部接口942、編碼器943、hdd(硬盤驅(qū)動(dòng)器)單元944、盤驅(qū)動(dòng)器945、選擇器946、解碼器947、osd(屏幕上顯示)單元948、控制單元949和用戶接口950。

調(diào)諧器941從在天線(未示出)處接收的廣播信號(hào)中提取期望的信道信號(hào)，并對(duì)提取的信號(hào)進(jìn)行解調(diào)。此外，調(diào)諧器941將通過解調(diào)而獲得的編碼比特流輸出到選擇器946。就是說，調(diào)諧器941起到記錄/再現(xiàn)設(shè)備940中的發(fā)送器的作用。

外部接口942是連接記錄/再現(xiàn)設(shè)備940和外部設(shè)備或網(wǎng)絡(luò)的接口。外部接口942由ieee1394接口、網(wǎng)絡(luò)接口單元、usb接口、閃存接口等組成。例如，通過外部接口942接收的視頻數(shù)據(jù)和音頻數(shù)據(jù)被輸入到編碼器943。就是說，外部接口942起到記錄/再現(xiàn)設(shè)備940中的發(fā)送器的作用。

當(dāng)對(duì)從外部接口942輸入的視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行編碼時(shí)，編碼器943對(duì)視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行編碼。此外，編碼器943將編碼比特流輸出到選擇器946。

hdd944對(duì)通過對(duì)內(nèi)容數(shù)據(jù)例如硬盤內(nèi)的視頻圖像和音頻、各種程序和其他數(shù)據(jù)進(jìn)行壓縮而獲得的編碼比特流進(jìn)行記錄。此外，hdd944在再現(xiàn)視頻圖像和音頻時(shí)從硬盤讀取這些數(shù)據(jù)項(xiàng)。

盤驅(qū)動(dòng)器945將數(shù)據(jù)記錄到附接的記錄介質(zhì)，并從附接的記錄介質(zhì)讀取數(shù)據(jù)。附接到盤驅(qū)動(dòng)器945的記錄介質(zhì)是例如dvd盤(例如dvd視頻、dvd-ram、dvd-r、dvd-rw、dvd+r和dvd+rw)或藍(lán)光(注冊(cè)商標(biāo))光盤。

在對(duì)視頻和音頻進(jìn)行記錄時(shí)，選擇器946選擇從調(diào)諧器941或編碼器943輸入的編碼比特流，并將選擇的編碼比特流輸出到hdd944或盤驅(qū)動(dòng)器945。此外，選擇器946在對(duì)視頻和音頻進(jìn)行再現(xiàn)時(shí)將從hdd944或盤驅(qū)動(dòng)器945輸入的編碼比特流輸出到解碼器947。

解碼器947對(duì)編碼比特流進(jìn)行解碼，并生成視頻數(shù)據(jù)和音頻數(shù)據(jù)。解碼器947還將生成的視頻數(shù)據(jù)輸出到osd948。此外，解碼器904將生成的音頻數(shù)據(jù)輸出到外部揚(yáng)聲器。

osd948對(duì)從解碼器947輸入的視頻數(shù)據(jù)進(jìn)行再現(xiàn)，并顯示視頻圖像。此外，osd948可以將gui圖像例如菜單、按鈕或光標(biāo)疊加到待顯示的視頻圖像上。

控制單元949包括：處理器，例如cpu；以及存儲(chǔ)器，例如ram和rom。存儲(chǔ)器存儲(chǔ)待由cpu執(zhí)行的程序和程序數(shù)據(jù)。存儲(chǔ)在存儲(chǔ)器中的程序由cpu在例如記錄/再現(xiàn)設(shè)備940啟動(dòng)時(shí)讀取并執(zhí)行。通過執(zhí)行程序，cpu根據(jù)例如從用戶接口950輸入的操作信號(hào)控制記錄/再現(xiàn)設(shè)備940的操作。

用戶接口950與控制單元949連接。用戶接口950包括例如用戶用來(lái)操作記錄/再現(xiàn)設(shè)備940的按鈕和開關(guān)、以及接收遙控信號(hào)的接收單元。用戶接口950通過這些部件檢測(cè)用戶的操作，生成操作信號(hào)，并將生成的操作信號(hào)輸出到控制單元949。

在具有該結(jié)構(gòu)的記錄/再現(xiàn)設(shè)備940中，編碼器943具有根據(jù)上述實(shí)施方式的圖像編碼設(shè)備的功能。此外，解碼器947具有根據(jù)上述實(shí)施方式圖像解碼設(shè)備的功能。因此，在對(duì)記錄/再現(xiàn)設(shè)備940中圖像編碼和解碼時(shí)，可以實(shí)現(xiàn)并行地對(duì)每個(gè)片操作，并抑制了因發(fā)生了對(duì)于與合并模式相關(guān)的操作所不必要的延遲時(shí)間而引起的操作時(shí)間的增加。

<7.第七實(shí)施方式>

[第四應(yīng)用示例：成像設(shè)備]

圖31示出了應(yīng)用上述實(shí)施方式的成像設(shè)備的示意性結(jié)構(gòu)的示例。成像設(shè)備960捕獲對(duì)象的圖像，生成圖像，對(duì)圖像數(shù)據(jù)進(jìn)行編碼，并將圖像數(shù)據(jù)記錄在記錄介質(zhì)中。

成像設(shè)備960包括：光學(xué)塊961、成像單元962、信號(hào)處理單元963、圖像處理單元964、顯示單元965、外部接口966、存儲(chǔ)器967、介質(zhì)驅(qū)動(dòng)器968、osd969、控制單元970、用戶接口971和總線972。

光學(xué)塊961與成像單元962連接。成像單元962與信號(hào)處理單元963連接。顯示單元965與圖像處理單元964連接。用戶接口971與控制單元970連接?？偩€972與圖像處理單元964、外部接口966、存儲(chǔ)器967、介質(zhì)驅(qū)動(dòng)器968、osd969和控制單元970相互連接。

光學(xué)塊961包括聚焦鏡頭、光圈等。光學(xué)塊961在成像單元962的成像表面上形成對(duì)象的光學(xué)圖像。成像單元962包括圖像傳感器例如ccd(電荷耦合器件)或cmos(互補(bǔ)金屬氧化物半導(dǎo)體)，并通過光電轉(zhuǎn)換將在成像表面上形成的光學(xué)圖像轉(zhuǎn)換成作為電信號(hào)的圖像信號(hào)。此外，成像單元962將圖像信號(hào)輸出到信號(hào)處理單元963。

信號(hào)處理單元963對(duì)從成像單元962輸入的圖像信號(hào)進(jìn)行各種攝像信號(hào)操作，例如拐點(diǎn)校正、伽瑪校正和色彩校正。信號(hào)處理單元963將經(jīng)過了攝像信號(hào)操作的圖像數(shù)據(jù)輸出到圖像處理單元964。

圖像處理單元964對(duì)從信號(hào)處理單元963輸入的圖像數(shù)據(jù)進(jìn)行編碼，并生成編碼數(shù)據(jù)。此外，圖像處理單元964將生成的編碼數(shù)據(jù)輸出到外部接口966或介質(zhì)驅(qū)動(dòng)器968。此外，圖像處理單元964對(duì)從外部接口966或介質(zhì)驅(qū)動(dòng)器968輸入的編碼數(shù)據(jù)進(jìn)行解碼，并生成圖像數(shù)據(jù)。并且，圖像處理單元964將生成的圖像數(shù)據(jù)輸出到顯示單元965。此外，圖像處理單元964可以將從信號(hào)處理單元963輸入的圖像數(shù)據(jù)輸出到顯示單元965，并顯示圖像。此外，圖像處理單元964可以將從osd969獲得的顯示數(shù)據(jù)疊加到待輸出到顯示單元965的圖像上。

osd969生成gui圖像例如菜單、按鈕或光標(biāo)，并將生成的圖像輸出到圖像處理單元964。

外部接口966由例如usb輸入/輸出端子組成。外部接口966在例如打印圖像時(shí)與成像設(shè)備960和打印機(jī)連接。此外，必要時(shí)外部接口966與驅(qū)動(dòng)器連接。驅(qū)動(dòng)器與可移除介質(zhì)例如磁盤或光盤附接，且可以將從可移除介質(zhì)讀取的程序安裝在成像設(shè)備960中。此外，外部接口966包括與網(wǎng)絡(luò)例如lan或因特網(wǎng)連接的網(wǎng)絡(luò)接口。就是說，外部接口966起到成像設(shè)備960中的發(fā)送器的作用。

附接到介質(zhì)驅(qū)動(dòng)器968的記錄介質(zhì)可以是可讀/可寫的可移除的介質(zhì)，例如磁盤、磁光盤、光盤或半導(dǎo)體存儲(chǔ)器。此外，記錄介質(zhì)被附接到介質(zhì)驅(qū)動(dòng)器968并固定，可以形成非便攜式存儲(chǔ)單元例如內(nèi)置硬盤驅(qū)動(dòng)器或ssd(固態(tài)驅(qū)動(dòng)器)。

控制單元970包括：處理器，例如cpu；以及存儲(chǔ)器，例如ram和rom。存儲(chǔ)器存儲(chǔ)待由cpu執(zhí)行的程序和程序數(shù)據(jù)。存儲(chǔ)在存儲(chǔ)器中的程序由cpu在例如成像設(shè)備960啟動(dòng)時(shí)讀取并執(zhí)行。通過執(zhí)行程序，cpu根據(jù)例如從用戶接口971輸入的操作信號(hào)控制成像設(shè)備960的操作。

用戶接口971與控制單元970連接。用戶接口971包括例如用戶用來(lái)操作成像設(shè)備960的按鈕和開關(guān)。用戶接口971通過這些部件檢測(cè)用戶的操作，生成操作信號(hào)，并將生成的操作信號(hào)輸出到控制單元970。

在具有該結(jié)構(gòu)的成像設(shè)備960中，圖像處理單元964具有根據(jù)上述實(shí)施方式的圖像編碼設(shè)備和圖像解碼設(shè)備的功能。因此，當(dāng)對(duì)成像設(shè)備960中圖像進(jìn)行編碼和解碼時(shí)，可以實(shí)現(xiàn)并行地對(duì)每個(gè)片操作，并抑制了因發(fā)生了對(duì)于與合并模式相關(guān)的操作所不必要的延遲時(shí)間而引起的操作時(shí)間的增加。

另外，在本說明書中已經(jīng)描述了如下示例：各種預(yù)測(cè)模式信息和合并信息在編碼的流的報(bào)頭上被多路復(fù)用，且被從編碼方發(fā)送到解碼方。然而，發(fā)送這些信息的方法不限于該示例。例如，可以在不與編碼比特流進(jìn)行多路復(fù)用的情況下將這些信息作為與編碼比特流相關(guān)聯(lián)的不同的數(shù)據(jù)進(jìn)行發(fā)送或記錄。同時(shí)，術(shù)語(yǔ)“關(guān)聯(lián)”意指在解碼時(shí)將包括在比特流中的圖像(或圖像的一部分，例如片或塊)或與該圖像相關(guān)聯(lián)的信息聯(lián)接起來(lái)。就是說，信息可以在與圖像(或比特流)的信道不同的信道上傳輸。此外，信息可以被記錄在與圖像(或比特流)的記錄介質(zhì)不同的記錄介質(zhì)(或單個(gè)記錄介質(zhì)的另一記錄區(qū)域)中。此外，信息和圖像(或比特流)可以以任意單位例如多個(gè)幀、一個(gè)幀或幀中的一部分而彼此關(guān)聯(lián)。

盡管參考附圖詳細(xì)地描述了本公開內(nèi)容的適合的實(shí)施方式，但是本公開內(nèi)容不限于這些示例。明顯地，屬于本公開內(nèi)容的技術(shù)領(lǐng)域中的普通技術(shù)人員在權(quán)利要求中描述的技術(shù)構(gòu)思的范圍內(nèi)可以得出各種修改示例和改正示例，這些示例自然屬于本公開內(nèi)容的技術(shù)范圍。

另外，本技術(shù)還可以采用以下結(jié)構(gòu)。

(1)一種圖像處理設(shè)備，包括：編碼控制單元，當(dāng)對(duì)用于將畫面劃分成多個(gè)畫面的每個(gè)片獨(dú)立地進(jìn)行編碼時(shí)，所述編碼控制單元基于屬于相關(guān)區(qū)域所屬的相關(guān)片的周圍區(qū)域的信息，控制是否對(duì)運(yùn)動(dòng)信息采用將操作目標(biāo)的所述相關(guān)區(qū)域與位于所述相關(guān)區(qū)域周圍的周圍區(qū)域進(jìn)行合并的合并模式；以及

編碼單元，所述編碼單元在所述編碼控制單元的控制下以所述合并模式或不同于所述合并模式的模式對(duì)所述相關(guān)區(qū)域進(jìn)行編碼。

(2)在(1)中描述的所述圖像處理設(shè)備中，所述編碼控制單元進(jìn)行控制以使得當(dāng)屬于所述相關(guān)片的所述周圍區(qū)域中的至少一個(gè)周圍區(qū)域包括運(yùn)動(dòng)信息時(shí)采用所述合并模式。

(3)在(1)或(2)中描述的所述圖像處理設(shè)備中，所述編碼控制單元包括：

計(jì)算單元，所述計(jì)算單元對(duì)屬于所述相關(guān)片的所述周圍區(qū)域的運(yùn)動(dòng)信息的數(shù)量進(jìn)行計(jì)算；

確定單元，所述確定單元確定由所述計(jì)算單元計(jì)算的所述周圍區(qū)域的運(yùn)動(dòng)信息的數(shù)量是否大于0；以及

控制單元，當(dāng)所述確定單元確定所述周圍區(qū)域的運(yùn)動(dòng)信息的數(shù)量大于0時(shí)，所述控制單元進(jìn)行控制以使得采用所述合并模式。

(4)在(3)中描述的所述圖像處理設(shè)備中，所述計(jì)算單元包括：

位置確定單元，所述位置確定單元確定每個(gè)周圍區(qū)域是否屬于所述相關(guān)片；

類型確定單元，所述類型確定單元確定被所述位置確定單元確定為屬于所述相關(guān)片的周圍區(qū)域的預(yù)測(cè)類型；以及

更新單元，當(dāng)所述類型確定單元確定所述周圍區(qū)域的所述預(yù)測(cè)類型并且確定所述周圍區(qū)域包括所述運(yùn)動(dòng)信息時(shí)，所述更新單元更新用于對(duì)所述周圍區(qū)域的運(yùn)動(dòng)信息的數(shù)量進(jìn)行計(jì)數(shù)的參數(shù)的值。

(5)在(1)至(4)中任一項(xiàng)中描述的所述圖像處理設(shè)備，還包括預(yù)測(cè)操作單元，所述預(yù)測(cè)操作單元對(duì)所述每個(gè)片獨(dú)立地進(jìn)行生成預(yù)測(cè)圖像的預(yù)測(cè)操作。

(6)在(1)至(4)中任一項(xiàng)中描述的所述圖像處理設(shè)備中，所述片是僅將由所述編碼單元針對(duì)所述畫面進(jìn)行的所述編碼操作劃分成多個(gè)處理的熵片。

(7)一種圖像處理設(shè)備的圖像處理方法，包括：

在編碼控制單元處，當(dāng)對(duì)用于將畫面劃分成多個(gè)畫面的每個(gè)片獨(dú)立地進(jìn)行編碼時(shí)，基于屬于相關(guān)區(qū)域所屬的相關(guān)片的周圍區(qū)域的信息，控制是否對(duì)運(yùn)動(dòng)信息采用將操作目標(biāo)的所述相關(guān)區(qū)域與位于所述相關(guān)區(qū)域周圍的周圍區(qū)域進(jìn)行合并的合并模式；以及

在編碼單元處，在所述控制下以所述合并模式或不同于所述合并模式的模式對(duì)所述相關(guān)區(qū)域進(jìn)行編碼。

(8)一種圖像處理設(shè)備，包括：解碼控制單元，當(dāng)對(duì)用于將畫面劃分成多個(gè)畫面的每個(gè)片獨(dú)立地進(jìn)行解碼時(shí)，所述解碼控制單元基于屬于相關(guān)區(qū)域所屬的相關(guān)片的周圍區(qū)域的信息，控制是否對(duì)運(yùn)動(dòng)信息采用將操作目標(biāo)的所述相關(guān)區(qū)域與位于所述相關(guān)區(qū)域周圍的周圍區(qū)域進(jìn)行合并的合并模式；以及

解碼單元，所述解碼單元在所述解碼控制單元的控制下以所述合并模式或不同于所述合并模式的模式對(duì)所述相關(guān)區(qū)域進(jìn)行解碼。

(9)在(8)中描述的所述圖像處理設(shè)備中，所述解碼控制單元進(jìn)行控制以使得當(dāng)屬于所述相關(guān)片的所述周圍區(qū)域中的至少一個(gè)周圍區(qū)域包括運(yùn)動(dòng)信息時(shí)采用所述合并模式。

(10)在(8)或(9)中描述的所述圖像處理設(shè)備中，所述解碼控制單元包括：

計(jì)算單元，所述計(jì)算單元對(duì)屬于所述相關(guān)片的所述周圍區(qū)域的運(yùn)動(dòng)信息的數(shù)量進(jìn)行計(jì)算；

確定單元，所述確定單元確定由所述計(jì)算單元計(jì)算的所述周圍區(qū)域的運(yùn)動(dòng)信息的數(shù)量是否大于0；以及

控制單元，當(dāng)所述確定單元確定所述周圍區(qū)域的運(yùn)動(dòng)信息的數(shù)量大于0時(shí)，所述控制單元進(jìn)行控制以使得采用所述合并模式。

(11)在(10)中描述的所述圖像處理設(shè)備中，所述計(jì)算單元包括：

位置確定單元，所述位置確定單元確定每個(gè)周圍區(qū)域是否屬于所述相關(guān)片；

類型確定單元，所述類型確定單元確定被所述位置確定單元確定為屬于所述相關(guān)片的周圍區(qū)域的預(yù)測(cè)類型；以及

更新單元，當(dāng)所述類型確定單元確定所述周圍區(qū)域的所述預(yù)測(cè)類型并且確定所述周圍區(qū)域包括所述運(yùn)動(dòng)信息時(shí)，所述更新單元更新用于對(duì)所述周圍區(qū)域的運(yùn)動(dòng)信息的數(shù)量進(jìn)行計(jì)數(shù)的參數(shù)的值。

(12)在(8)至(11)中任一項(xiàng)中描述的所述圖像處理設(shè)備，還包括預(yù)測(cè)操作單元，所述預(yù)測(cè)操作單元對(duì)所述每個(gè)片獨(dú)立地進(jìn)行生成預(yù)測(cè)圖像的預(yù)測(cè)操作。

(13)在(8)至(11)中任一項(xiàng)中描述的所述圖像處理設(shè)備中，所述片是僅將由所述解碼單元針對(duì)所述畫面進(jìn)行的所述解碼操作劃分成多個(gè)處理的熵片。

(14)一種圖像處理設(shè)備的圖像處理方法，包括：

在解碼控制單元處，當(dāng)對(duì)用于將畫面劃分成多個(gè)畫面的每個(gè)片獨(dú)立地進(jìn)行解碼時(shí)，基于屬于相關(guān)區(qū)域所屬的相關(guān)片的周圍區(qū)域的信息，控制是否對(duì)運(yùn)動(dòng)信息采用將操作目標(biāo)的所述相關(guān)區(qū)域與位于所述相關(guān)區(qū)域周圍的周圍區(qū)域進(jìn)行合并的合并模式；以及

在解碼單元處，在所述控制下以所述合并模式或不同于所述合并模式的模式對(duì)所述相關(guān)區(qū)域進(jìn)行解碼。

附圖標(biāo)記列表

100圖像編碼設(shè)備、106無(wú)損編碼單元、121編碼控制單元、143合并標(biāo)記編碼單元、144合并模式編碼單元、163nmc設(shè)置單元、164nmc確定單元、165合并標(biāo)記確定單元、181nmc重置單元、182位置確定單元、183類型確定單元、184nmc更新單元、185nmc保存單元、200圖像解碼設(shè)備、202無(wú)損解碼單元、221解碼控制單元、243合并標(biāo)記解碼單元、244合并模式解碼單元、263nmc設(shè)置單元、264nmc確定單元、265合并標(biāo)記確定單元、281nmc重置單元、282位置確定單元、283類型確定單元、284nmc更新單元、以及285nmc保存單元。