專利名稱：圖像編碼方法和圖像編碼裝置以及圖像編碼比特流的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對多個顏色分量組成的輸入圖像信號進(jìn)行壓縮處理的圖像編碼方法 和裝置以及輸入對多個顏色分量組成的圖像信號進(jìn)行了壓縮的比特流并進(jìn)行解碼處理的 圖像解碼方法和裝置、以及圖像編碼比特流及記錄介質(zhì)。
背景技術(shù)：
以往，在MPEG或ITU-TH. 26x等國際標(biāo)準(zhǔn)視頻圖像編碼方式中，主要以被稱之為 “4:2:0”格式的輸入信號格式的使用作為前提。4:2:0格式是指將RGB等彩色圖像信號變 換成亮度分量(Y)和兩個色差分量(CB、CR)，并使色差分量的采樣數(shù)相對于亮度分量的采 樣數(shù)在水平方向/垂直方向上均削減了一半的格式。由于在人們的視覺特性上、色差分量 與亮度分量相比識別性較差，所以在以往的國際標(biāo)準(zhǔn)視頻圖像編碼方式中，以通過在進(jìn)行 編碼之前減少色差分量的采樣數(shù)來削減編碼對象的信息量作為前提。另一方面，伴隨著近年來的視頻顯示器的高析像度化/高灰度等級化，還探討 研究關(guān)于不用對色差分量進(jìn)行下降采樣而是以與亮度分量的同一采樣來進(jìn)行編碼的 方式。亮度分量與色差分量相同的采樣數(shù)的格式被稱之為“4:4:4”。而且，作為輸入 4:4:4格式的編碼方式正在制定“high 444 profile”(例如，參照非專利文獻(xiàn)1 (ISO/ IEC14496-10 | ITU-TH. 264 規(guī)格(Advanced Video Coding :AVC))。在以往的4:2:0格式中以色差分量的下降采樣作為前提，僅僅限定于Y、CB、CR之 類的顏色空間，相對于此在4:4:4格式中在顏色分量間沒有采樣比的區(qū)別，所以可以除Y、 CB、CR外直接使用R，G，B，或者定義除此以外的顏色空間進(jìn)行利用。若采用IS0/IEC14496-10 | ITU-TH. 264(2005_)規(guī)格(以下、稱之為 AVC)中定義的 high 444 profile，則與以往的編碼方式同樣需要進(jìn)行以宏塊為單位的編碼處理/解碼處 理。S卩，在一個宏塊之中包含有3個顏色分量的數(shù)據(jù)，因此就以宏塊單位按順序?qū)Ω?自顏色分量的數(shù)據(jù)進(jìn)行處理，所以不利于使編碼/解碼處理并行化之類的目的。另一方面，在AVC中定義有4:0:0格式。其原本是僅僅以亮度分量的圖像、即單色 圖像的編碼處理作為對象。還能夠采用利用該4:0:0格式對4:4:4格式的3個顏色分量分 別以4:0:0格式進(jìn)行編碼處理，由此生成3個獨立的編碼數(shù)據(jù)之類的方法。在此情況下，由 于對各自顏色分量獨立地進(jìn)行處理，所以并行處理成為可能。但是，由于對各自顏色分量獨立地進(jìn)行處理，所以以現(xiàn)在的標(biāo)準(zhǔn)規(guī)格實現(xiàn)在各自 顏色分量間使時間信息一致、或者使編碼模式一致這樣的處理是不可能的。因此，就會發(fā)生 隨機(jī)存取再生(快進(jìn)或后退等)和圖片單位的編輯處理等無法容易地實現(xiàn)之類的問題。
進(jìn)一步對這一問題進(jìn)行說明。AVC中所定義的各種數(shù)據(jù)以存取單元定界符(AUD)、 序列參數(shù)組(SPS)、圖片參數(shù)組(PPS)、圖片數(shù)據(jù)的順序得以配置。此外，對于與本發(fā)明沒有 關(guān)系的數(shù)據(jù)在這里省略說明。另外，在AVC中一個存取單元(AU)被定義為由一個圖片(相當(dāng)于1幀或者1半 幀(field))所構(gòu)成。存取單元的邊界能夠利用存取單元定界符(AUD)來表示。例如，如果 是AVC的Baseline profile，則在各圖片的邊界配置存取單元定界符，所以通過檢測存取 單元定界符就能夠獨立且簡單地取出一個存取單元，并可以對一個圖片部分的數(shù)據(jù)進(jìn)行解碼。另一方面，在采用現(xiàn)在的AVC方式以4:0:0格對3個顏色分量進(jìn)行了編碼的情況 下，就按各自顏色分量逐個定義存取單元，一個圖片就是由3個存取單元所構(gòu)成。因此，僅 通過檢測存取單元定界符就無法取出一個圖片部分的數(shù)據(jù)，隨機(jī)存取再生和圖片單位的編 輯處理等就變得無法容易地實現(xiàn)。另外，由于按各自顏色分量逐個獨立地進(jìn)行編碼處理，所 以使時間信息一致，或者使編碼模式一致就變得困難。

發(fā)明內(nèi)容
因而，本發(fā)明的目的是提供一種圖像編碼方法及圖像解碼方法、圖像編碼裝置及 圖像解碼裝置、以及圖像編碼比特流及記錄介質(zhì)，通過擴(kuò)展AVC，即便在對4:4:4格式的3個 顏色分量使用4:0:0格式分別進(jìn)行了編碼處理的情況下也可以將一幅圖片部分的數(shù)據(jù)包 含在一個存取單元中，同時還可以在各自顏色分量間使時間信息一致、或者使編碼模式一 致。與本發(fā)明有關(guān)的圖像編碼方法的特征是在對多個顏色分量組成的輸入圖像信號 進(jìn)行壓縮處理的圖像編碼方式中，將通過對各自顏色分量的輸入圖像信號獨立地進(jìn)行編碼 處理而得到的編碼數(shù)據(jù)、和表示上述編碼數(shù)據(jù)是針對哪個顏色分量的參數(shù)多路復(fù)用于比特 流。另外，與本發(fā)明有關(guān)的圖像解碼方法的特征是在將多個顏色分量組成的圖像信號 經(jīng)過壓縮的比特流作為輸入來進(jìn)行解碼處理的圖像解碼方式中，使用表示是針對哪個顏色 分量的編碼數(shù)據(jù)的參數(shù)來進(jìn)行各自顏色分量的編碼數(shù)據(jù)的解碼處理。另外，與本發(fā)明有關(guān)的圖像編碼裝置的特征是在對多個顏色分量組成的輸入圖像 信號進(jìn)行壓縮處理的圖像編碼裝置中，具備將通過對各自顏色分量的輸入圖像信號獨立地 進(jìn)行編碼處理而得到的編碼數(shù)據(jù)、和表示上述編碼數(shù)據(jù)是針對哪個顏色分量的數(shù)據(jù)的參數(shù) 多路復(fù)用于比特流的多路復(fù)用部件。另外，與本發(fā)明有關(guān)的圖像解碼裝置的特征是在將多個顏色分量組成的圖像信號 經(jīng)過壓縮的比特流作為輸入來進(jìn)行解碼處理的圖像解碼裝置中，具備檢測表示是針對哪個 顏色分量的編碼數(shù)據(jù)的參數(shù)的檢測部件。另外，與本發(fā)明有關(guān)的圖像編碼比特流作為對多個顏色分量組成的輸入圖像信號 進(jìn)行壓縮編碼的結(jié)果而生成的比特流，其特征是按片單位構(gòu)成各顏色分量的圖像信號的壓 縮數(shù)據(jù)，在該片的首標(biāo)區(qū)域中多路復(fù)用了表示該片數(shù)據(jù)是否包含某個顏色分量的壓縮數(shù)據(jù) 的參數(shù)。進(jìn)而，與本發(fā)明有關(guān)的記錄介質(zhì)記錄了圖像編碼比特流，該圖像編碼比特流作為對多個顏色分量組成的輸入圖像信號進(jìn)行壓縮編碼的結(jié)果而生成的比特流，按片單位構(gòu)成 各顏色分量的圖像信號的壓縮數(shù)據(jù)，并在該片的首標(biāo)區(qū)域中多路復(fù)用了表示該片數(shù)據(jù)是否 包含某個顏色分量的壓縮數(shù)據(jù)的參數(shù)。根據(jù)本發(fā)明，就可以使用AUD容易地執(zhí)行隨機(jī)存取再生或圖片單位的編輯處理， 即便在對3個顏色分量使用4 0 0格式分別進(jìn)行了編碼處理的情況下也可以將一幅圖片部 分的數(shù)據(jù)包含在一個存取單元中，同時還可以在各自顏色分量間使時間信息一致、或者使 編碼模式一致。


圖1是從本發(fā)明的圖像編碼裝置生成的編碼比特流的語法之中、抽選出與本發(fā)明 有關(guān)的部分的圖。圖2是作為確保與現(xiàn)有規(guī)格的互換性的其他方法，有關(guān)參數(shù)coloured之定義的 說明圖。圖3是在AUD與AUD之間使構(gòu)成一幅圖片的全部顏色分量的數(shù)據(jù)包含于一個存取 單元(AU)的說明圖。圖4是將顏色分量的數(shù)據(jù)在一個存取單元之中用Delimiter按各顏色分量區(qū)分并 匯總在一起排列的說明圖。圖5是將4:0:0格式和4:4:4格式的編碼模式以任意的單位切換的說明圖。圖6是本發(fā)明實施方式7中的共通編碼處理的說明圖。圖7是本發(fā)明實施方式7中的獨立編碼處理的說明圖。圖8是表示本發(fā)明實施方式7的編碼裝置/解碼裝置中的、圖片間的時間方向的 活動預(yù)測參照關(guān)系的圖。圖9是表示本發(fā)明實施方式7在編碼裝置所生成、解碼裝置設(shè)為輸入/解碼處理 的對象的比特流之構(gòu)造的一例的圖。圖10是表示本發(fā)明實施方式7中的共通編碼處理、獨立編碼處理各自情況下的片 數(shù)據(jù)的比特流構(gòu)成的圖。圖11是表示本發(fā)明實施方式7所涉及的編碼裝置之概略構(gòu)成的框圖。圖12是利用圖11所示的多路復(fù)用部105經(jīng)過多路復(fù)用而輸出的比特流106的說 明圖。圖13是表示圖11所示的第1圖片編碼部102之內(nèi)部構(gòu)成的框圖。圖14是表示圖11所示的第2圖片編碼部104之內(nèi)部構(gòu)成的框圖。圖15是表示本發(fā)明的實施方式7所涉及的解碼裝置之概略構(gòu)成的框圖。圖16是表示圖15所示的第1圖片解碼部302之內(nèi)部構(gòu)成的框圖。圖17是表示圖15所示的第2圖片解碼部304之內(nèi)部構(gòu)成的框圖。圖18是表示圖11所示的編碼裝置之變形例的框圖。圖19是表示圖11所示的編碼裝置之其他變形例的框圖。圖20是表示與圖18所示的編碼裝置對應(yīng)的解碼裝置的框圖。圖21是表示與圖19所示的編碼裝置對應(yīng)的解碼裝置的框圖。圖22是表示以往的YUV4 2 0格式的比特流所包含的宏塊首標(biāo)信息的編碼數(shù)據(jù)之構(gòu)成的圖。圖23是表示確保對于以往的YUV4:2:0格式的比特流的互換性的第1圖片解碼部 302的預(yù)測部311之內(nèi)部構(gòu)成的圖。圖24是表示比特流的構(gòu)造的其他例子的圖。圖25是表示比特流的構(gòu)造的進(jìn)一步其他例子的圖。
具體實施例方式實施方式1.圖1是從本發(fā)明的圖像編碼裝置生成的編碼比特流的語法之中、抽選出與本發(fā) 明有關(guān)的部分的圖。在圖1中，(a)是NAL(網(wǎng)絡(luò)抽象層)單元的首標(biāo)信息的語法、(b)是 SPS (序列參數(shù)組)的語法、(c)是PPS (圖片參數(shù)組)的語法、(d)是片首標(biāo)的語法。陰影 部分以外是現(xiàn)有的AVC規(guī)格中所規(guī)定的語法，陰影部分是雖然在現(xiàn)有的AVC規(guī)格中有規(guī)定 但由本發(fā)明重新追加功能的語法或者在現(xiàn)有的AVC規(guī)格中沒有規(guī)定而由本發(fā)明新追加的 語法。以下，就AVC中所定義的參數(shù)簡單地記述。在圖1 (a)中，NAL單元的nal_re_idC是表示NAL單元的數(shù)據(jù)是否為預(yù)測參照所 使用的圖像數(shù)據(jù)的參數(shù)。另外，nal_imit_type是表示NAL單元的數(shù)據(jù)為片數(shù)據(jù)、SPS、PPS、 存取單元定界符(AUD)中的哪一個的參數(shù)。在圖1(b)中，SPS的profile_idc表示編碼序列的profile，在AVC中定義有base line、main、high、high 444 等。另外，seq_paremeter_set_id 是表示 SPS 的 ID，在一個編碼 序列之中定義多個SPS并用ID分別管理。進(jìn)而，chroma_format_idc僅在high 444profile 時被使用，是表示編碼序列是4:0:0、4:2:0、4:2:2、4:4:4中的某種格式的參數(shù)。在圖1 (c)中，PPS的pic_paremter_set_id表示PPS的ID，在一個編碼序列之中 定義多個PPS并用ID分別管理。PPS中的seq_paremeter_set_id是表示該P(yáng)PS屬于哪個 SPS的參數(shù)。在圖1(d)中，片首標(biāo)的firSt_mb_in_SliCe是表示片數(shù)據(jù)的開頭宏塊數(shù)據(jù)處于畫 面內(nèi)的哪個位置的參數(shù)。另外，slice_type是表示片數(shù)據(jù)為幀內(nèi)編碼、單向預(yù)測編碼、雙預(yù) 測編碼中的某一種的參數(shù)。進(jìn)而，pic_parameter_set_id是表示片數(shù)據(jù)屬于哪個PPS的參數(shù)。其次就動作進(jìn)行說明。在對3個顏色分量的圖像信號采用4:0:0格式將各自顏色分量獨立地進(jìn)行編碼處 理的情況下，在圖1 (b)所示的SPS中包含的參數(shù)之一的profilejdc上重新設(shè)置表示是采 用4:0:0格式將3個顏色分量的數(shù)據(jù)獨立地進(jìn)行編碼的處理的數(shù)據(jù)，同時在圖1(d)所示的 片首標(biāo)上重新設(shè)置coloured的參數(shù)，以表示片數(shù)據(jù)中包含的編碼數(shù)據(jù)是3個顏色分量中 的某個。在以現(xiàn)有的4:0:0格式(單色圖像)、4:2:0格式、4:2:2格式、4:4:4格式進(jìn)行編碼 處理的情況下，不使用圖1(d)所示的參數(shù)colourjd，僅在采用由該發(fā)明重新定義的4:0:0 格式將3個顏色分量的數(shù)據(jù)獨立地進(jìn)行編碼的模式時，才使用參數(shù)coloured，由此就能夠 不對現(xiàn)有的規(guī)格帶來影響。
通過在采用由該發(fā)明重新定義的4:0:0格式將3個顏色分量的數(shù)據(jù)獨立地進(jìn)行編 碼的模式時，使用參數(shù)coloured，就如圖3那樣，使3個顏色分量的數(shù)據(jù)包含于一個存取單 元(AU)，并在AUD與AUD間放入構(gòu)成一幅圖片的全部顏色分量的數(shù)據(jù)。另外，作為確保與現(xiàn)有規(guī)格的互換性的其他方法，還可以將參數(shù)coloured采用 如圖2那樣的定義。通過這樣定義coloured，就可以在coloured = 0的情況下表示是如 現(xiàn)有規(guī)格那樣以在一個宏塊之中包含3個顏色分量的數(shù)據(jù)的形式經(jīng)過編碼的片數(shù)據(jù)。在其 他值的情況下表示是以采用本實施方式1中所述的4:0:0格式將3個顏色分量的數(shù)據(jù)獨立 地進(jìn)行編碼的處理經(jīng)過編碼的片數(shù)據(jù)。由此，就能夠構(gòu)成包含現(xiàn)有方式與本實施方式1中所述的方式雙方的比特流，在 保證與現(xiàn)有方式的互換性這一點上有用。另外，在片數(shù)變多、參數(shù)coloured自身的代碼 量的附加給編碼效率帶來影響之類的情況下，還可以構(gòu)成為基于現(xiàn)有方式與本實施方式1 中所述的方式中的哪個更易于被選擇之類的判斷基準(zhǔn)來進(jìn)行適當(dāng)?shù)目勺冮L度編碼，以降低 colour_id自身的代碼量。這樣一來，在對多個顏色分量組成的輸入圖像信號進(jìn)行壓縮處理的圖像編碼方 式中，通過將對各自顏色分量的輸入圖像信號獨立地進(jìn)行編碼處理而得到的編碼數(shù)據(jù)、和 表示上述編碼數(shù)據(jù)是針對哪個顏色分量的數(shù)據(jù)的參數(shù)多路復(fù)用于比特流，就可以使用AUD 容易地執(zhí)行隨機(jī)存取再生和圖片單位的編輯處理等。在輸入多個顏色分量組成的圖像信號經(jīng)過壓縮的比特流并進(jìn)行解碼處理的圖像 解碼方式中，能夠使用表示是針對哪個顏色分量的編碼數(shù)據(jù)的參數(shù)容易地進(jìn)行各自顏色分 量的編碼數(shù)據(jù)的解碼處理。另外，由于3個顏色分量的數(shù)據(jù)被包含在一個存取單元中，所以3個顏色分量的數(shù) 據(jù)就同時作為IDR(Instantaneous Devoding Refresh)圖片而得以編碼。IDR圖片是在AVC中所定義的、如果來自IDR圖片就可以即刻進(jìn)行正常的解碼處理 的圖片，是假定作為隨機(jī)存取再生的開頭來利用而設(shè)置的。另外，在僅僅想取出3個顏色分量之中的一個顏色分量的情況下，通過僅抽取具 有特定值的coloured的片數(shù)據(jù)就能夠容易地實現(xiàn)。此外，雖然在圖1中將coloured參數(shù)設(shè)置在片首標(biāo)的開頭，但無需一定配置在開 頭，只有包含在片首標(biāo)之中就可以獲得同樣的效果。實施方式2.與實施方式1同樣，在一個存取單元之中放入3個顏色分量的編碼數(shù)據(jù)，但圖3所 示的實施方式1是將各自顏色分量的數(shù)據(jù)(R，B, G)按順序進(jìn)行了排列，相對于此還能夠如 圖4所示那樣，采取將僅R、僅B、僅G顏色分量匯集起來進(jìn)行排列的方法。進(jìn)而，還可以采 取通過放入在現(xiàn)在的AVC中未被定義的“Delimiter”，而僅僅將規(guī)定的顏色分量的數(shù)據(jù)簡 單地取出這樣的構(gòu)成。通過這樣進(jìn)行處理，就能夠容易地實現(xiàn)例如按各自顏色分量分配不同處理器并行 地進(jìn)行處理。此外，該發(fā)明所示的“Delimiter”還可以通過擴(kuò)展AVC的SEI (Supplemental Enhancement Information)消息有效負(fù)載，而不會對現(xiàn)有的規(guī)格帶來影響地實現(xiàn)。當(dāng)然、通 過除此以外的其他的方法來定義“Delimiter”也可以取得同樣的效果。實施方式3.
通過取代片首標(biāo)的colourjd而在NAL單元的一部分中放入表示顏色分量的參數(shù) 也能夠獲得與實施方式1相同的效果。由于在AVC中片首標(biāo)以及后續(xù)于片首標(biāo)的片數(shù)據(jù)被 定義為NAL單元的有效負(fù)載，所以擴(kuò)展NAL單元的nal_imit_type參數(shù)以在該參數(shù)之中表 示NAL單元的有效負(fù)載所包含的視頻圖像數(shù)據(jù)是哪個顏色分量。進(jìn)而，通過使3個顏色分量 的數(shù)據(jù)包含于一個存取單元(AU)中，而在AUD與AUD之間放入構(gòu)成一幅圖片的全部數(shù)據(jù)。通過這樣進(jìn)行處理，與實施方式1同樣，就能夠容易地執(zhí)行隨機(jī)存取再生或圖片 單位的編輯處理，同時在僅想取出3個顏色分量之中的一個分量的情況下，只用NAL單元的 首標(biāo)數(shù)據(jù)進(jìn)行抽取而不用解析到片首標(biāo)。實施方式4.在實施方式1 3時，進(jìn)一步對3個顏色分量的數(shù)據(jù)經(jīng)過編碼的片首標(biāo)的first_ mb_in_slice參數(shù)設(shè)置制約條件以使其始終為同一值。firSt_mb_in_Slice參數(shù)表示片數(shù) 據(jù)的開頭數(shù)據(jù)的位置處于畫面內(nèi)的哪里。在以往的AVC的編碼方式中，片的構(gòu)造可以采取任意的形式，所以可以在各顏色 分量中使片的構(gòu)造不同，但通過設(shè)置這一制約，就可以將三個具有同一 firSt_mb_in_Slice 的值的片數(shù)據(jù)匯集起來，由此解碼/顯示具有正確的顏色狀態(tài)的圖像的一部分。在不設(shè)置制約的情況下若因firSt_mb_in_SliCe的值在各自顏色分量中不同故 無法使用一畫面的全部片數(shù)據(jù)來解碼畫面全體則無法合成3個顏色分量而獲得正確的解 碼圖像，但通過這樣進(jìn)行處理，在想顯示畫面的特定部分、例如僅中央部分之類的情況下， 就可以不用一畫面全部而僅使用一部分片數(shù)據(jù)來進(jìn)行解碼/顯示處理。另外，在使用各個 處理器對各個顏色分量的數(shù)據(jù)進(jìn)行并行處理的情況下，由于各片數(shù)據(jù)從同一位置起開始， 所以并行處理的管理就變得容易。實施方式5.相對于實施方式4，進(jìn)一步對各顏色分量的片首標(biāo)的sliCe_type參數(shù)設(shè)置制約條 件以使其始終為同一值。Slicejype參數(shù)表示后續(xù)于片首標(biāo)的片數(shù)據(jù)是幀內(nèi)編碼、單向預(yù) 測編碼、雙預(yù)測編碼中的哪一個等。如果是幀內(nèi)編碼則不使用幀間預(yù)測處理，所以可以即刻 進(jìn)行解碼/顯示處理。因而，就處于畫面上同一位置的片數(shù)據(jù)而言通過將編碼的類型對全部顏色分量設(shè) 為共通來進(jìn)行同一編碼處理，就可以在解碼裝置中，在隨機(jī)存取再生時通過僅對幀內(nèi)編碼 的片進(jìn)行解碼處理而高速地進(jìn)行解碼/顯示處理。實施方式6.通過采用如前述的實施方式1 5那樣的構(gòu)成，就能夠以任意的單位來切換使用 新定義的4:0:0格式將3個顏色分量的數(shù)據(jù)獨立地進(jìn)行編碼的模式、和4:4:4格式的編碼 模式。例如，如圖5那樣通過對于SPS的seq_parameter_set_id = 1設(shè)定新定義的4 0 0 格式的參數(shù)，而對于seq_parameter_set_id = 2則設(shè)定4:4:4格式的參數(shù)，以使與各自的 seq_parameter_set_id對應(yīng)的SPS持有不同的seq_parameter_set_id來進(jìn)行設(shè)定，就可以 以圖片單位來切換兩者。通過這樣進(jìn)行處理，就可以選擇編碼效率更好的一方來進(jìn)行編碼處理，或者根據(jù) 應(yīng)用選擇合適的一方來進(jìn)行編碼處理。
8
此外，雖然在本實施方式5中，設(shè)以圖片單位來切換兩者進(jìn)行了說明，但在AVC的 規(guī)格上，還可以通過相同處理來進(jìn)行片單位下的切換。另外，雖然在該發(fā)明中使用作為活動圖像編碼方式的國際標(biāo)準(zhǔn)的AVC進(jìn)行了說 明，當(dāng)然使用其他的編碼方式也可以獲得同樣的效果。實施方式7.在本實施方式7中，根據(jù)具體的附圖來說明一邊以1幀(或1半幀)的單位來區(qū) 分是將3個顏色分量信號用共通的宏塊首標(biāo)來編碼還是用個別的宏塊首標(biāo)來編碼一邊進(jìn) 行編碼/解碼的裝置構(gòu)成/動作。以下，只要沒有特別解釋，在記載為“1幀”的情況下就視 為1幀或1半幀的數(shù)據(jù)單位。本實施方式7中的宏塊首標(biāo)包括宏塊類型/子宏塊類型/內(nèi)部預(yù)測模式等編碼/ 預(yù)測模式信息、參照圖像識別編號/活動矢量等活動預(yù)測信息、針對變換系數(shù)的量化參數(shù)、 變換塊大小指示標(biāo)志、8X8塊單位下的有效變換系數(shù)有無判定標(biāo)志等、變換系數(shù)數(shù)據(jù)以外 的宏塊附加信息。以后，將用共通的宏塊首標(biāo)來編碼1幀的3個顏色分量信號的處理記為“共通編碼 處理”，將用個別的獨立宏塊首標(biāo)來編碼1幀的3個顏色分量信號的處理記為“獨立編碼處 理”。同樣，將從1幀的3個顏色分量信號用共通的宏塊首標(biāo)經(jīng)過編碼的比特流來解碼幀圖 像數(shù)據(jù)的處理記為“共通解碼處理”，將從1幀的3個顏色分量信號用個別的獨立宏塊首標(biāo) 經(jīng)過編碼的比特流來解碼幀圖像數(shù)據(jù)的處理記為“獨立解碼處理”。在本實施方式7中的共通編碼處理中，如圖6所示那樣，將1幀部分的輸入視頻圖 像信號分割成把CO分量、Cl分量、C2分量這3個顏色分量匯集起來形式的作為共通編碼 處理之對象的宏塊。另一方面，在獨立編碼處理中，如圖7所示那樣，將1幀部分的輸入視 頻圖像信號分離成CO分量、Cl分量、C2分量這3個顏色分量，并將它們分割成由單一顏色 分量組成的宏塊、也就是作為每個CO分量、Cl分量、C2分量的獨立編碼處理之對象的各宏 塊。即，作為共通編碼處理之對象的宏塊包含CO、Cl、C2這3個顏色分量的采樣，但作 為獨立編碼處理之對象的宏塊僅包含CO或Cl或C2分量之中某一個分量的采樣。在圖8中，表示本實施方式7的編碼裝置/解碼裝置中的、圖片間的時間方向的活 動預(yù)測參照關(guān)系。在該例子中，將粗豎直線所示的數(shù)據(jù)單位設(shè)為圖片，用包圍虛線來表示圖 片與存取單元的關(guān)系。共通編碼/解碼處理的情況下，一幅圖片是表示3個顏色分量混在 一起的1幀部分的視頻圖像信號的數(shù)據(jù)，在獨立編碼/解碼處理的情況下，一幅圖片為某 一個顏色分量的1幀部分的視頻圖像信號。存取單元是對視頻圖像信號賦予以與音頻/聲音信息等的同步等為目的的時間 標(biāo)記的最小數(shù)據(jù)單位，在共通編碼/解碼處理的情況下，在一個存取單元中包含一幅圖片 部分的數(shù)據(jù)。另一方面，獨立編碼/解碼處理的情況下，在一個存取單元中包含3個圖片。這 是因為在獨立編碼/解碼處理的情況下，所有3個顏色分量的同一顯示時刻的圖片齊備后 才可得到1幀部分的再生視頻圖像信號的緣故。此外，在各圖片的上部賦予的編號表示圖 片的時間方向的編碼/解碼處理順序(作為活動圖像數(shù)據(jù)的壓縮編碼方式之標(biāo)準(zhǔn)的AVC Advanced Video Coding 的 frame—num)。
在圖8中，圖片間的箭頭表示活動預(yù)測的參照方向。即，在獨立編碼/解碼處理的 情況下，同一存取單元所包含的圖片之間的活動預(yù)測參照、以及不同顏色分量間的活動預(yù) 測參照不進(jìn)行，將Co、Cl、C2的各顏色分量的圖片限定于同一顏色分量的信號一邊進(jìn)行預(yù) 測參照一邊進(jìn)行編碼/解碼。通過采用這種構(gòu)成，在本實施方式7中的獨立編碼/解碼處理的情況下，就能夠使 各顏色分量的編碼/解碼完全不依賴于其他顏色分量的編碼/解碼處理地執(zhí)行，并行處理 就變得容易。此外，在AVC中自身進(jìn)行內(nèi)部編碼，同時設(shè)定活動補(bǔ)償預(yù)測所用的參照圖像存儲 器的內(nèi)容的IDR(instantaneous decoder refresh)圖片被定義。由于IDR圖片可以對其 他什么樣的圖片都不依賴地進(jìn)行解碼所以作為隨機(jī)存取點而得以利用。共通編碼處理的情況下的存取單元是一個存取單元=一幅圖片，但在獨立編碼處 理的情況下的存取單元中一個存取單元由多個圖片所構(gòu)成，在某顏色分量圖片是IDR圖片 的情況下其他剩余的顏色分量圖片也作為IDR圖片，并定義IDR存取單元，以確保隨機(jī)存取 功能。以下，在本實施方式7中將表示是進(jìn)行基于共通編碼處理的編碼、還是進(jìn)行基于 獨立編碼處理的編碼的識別信息(中間預(yù)測模式共通化識別標(biāo)志或宏塊首標(biāo)共通化識別 標(biāo)志相當(dāng)?shù)男畔?稱為共通編碼/獨立編碼識別信號。在圖9中表示本實施方式7的編碼裝置所生成、本實施方式7的解碼裝置作為輸 入/解碼處理對象的比特流的構(gòu)造之一例。該圖表示從序列到幀層級的比特流構(gòu)成，首先， 在序列層級的高位首標(biāo)(在AVC的情況下為SPS (sequence parameter set)等)上多路復(fù) 用共通編碼/獨立編碼識別信號。各個幀以存取單元為單位得以編碼。AUD是表示在AVC中用于識別存取單元的縫 隙的獨特的NAL單元即Access Unit DelimiterNAL單元。在共通編碼/獨立編碼識別信 號表示“基于共通編碼處理的圖片編碼”的情況下，在存取單元中包含一幅圖片部分的編碼 數(shù)據(jù)。此時的圖片是表示如前述那樣3個顏色分量混在一起的1幀部分的視頻圖像信號 的數(shù)據(jù)。此時，第i個存取單元的編碼數(shù)據(jù)作為片數(shù)據(jù)Slice(i，j)的集合而構(gòu)成。j是一 幅圖片內(nèi)的片數(shù)據(jù)的索引。另一方面，在共通編碼/獨立編碼識別信號表示“基于獨立編碼處理的圖片編碼” 的情況下，一幅圖片是某一個顏色分量的1幀部分的視頻圖像信號。此時，第P個存取單元 的編碼數(shù)據(jù)作為存取單元內(nèi)的第q個圖片的片數(shù)據(jù)Slice(p，q, r)的集合而構(gòu)成。r是一 幅圖片內(nèi)的片數(shù)據(jù)的索引。在如RGB那樣顏色分量由3分量所構(gòu)成的視頻圖像信號的情況 下，q是0，1，2中的某一個。另外，在除3原色組成的視頻圖像信號以外例如還將用于字母混合的透過率信息 這樣的附加數(shù)據(jù)設(shè)為同一存取單元進(jìn)行編碼/解碼的情況、或?qū)?分量以上的顏色分量 (例如，彩色印刷中所使用的YMCK等)構(gòu)成的視頻圖像信號進(jìn)行編碼/解碼等情況下，能夠 設(shè)q > 3來進(jìn)行處理。本實施方式7中的編碼裝置/解碼裝置，如果選擇獨立編碼處理則完全獨立地對 構(gòu)成視頻圖像信號的各顏色分量進(jìn)行編碼，所以在原理上能夠自由地變更顏色分量的片數(shù)而不用變更編碼/解碼處理。具有即便在將來，用于視頻圖像信號的顏色表現(xiàn)的信號形式 被變更的情況下也可以用本實施方式7中的獨立編碼處理來進(jìn)行對應(yīng)的效果。為了實現(xiàn)這種構(gòu)成，在本實施方式7中，共通編碼/獨立編碼識別信號用“包含在 1存取單元內(nèi)，各自不相互進(jìn)行活動預(yù)測參照而獨立地進(jìn)行編碼的圖片的個數(shù)”之類的形式 來表現(xiàn)。共通編碼/獨立編碼識別信號3以后稱為num_pictures_in_au。也就是說，num_ pictures_in_au = 1表示“共通編碼處理”,num_pictures_in_au = 3表示本實施方式7中 的“獨立編碼處理”。在顏色分量為4以上的情況下，設(shè)定成nUm_piCtUres_in_aU > 3的值即可。通過進(jìn)行這種信號傳輸，如果解碼裝置對num_piCtureS_in_au進(jìn)行解碼、參照則 不僅能夠進(jìn)行基于共通編碼處理的編碼數(shù)據(jù)和基于獨立編碼處理的編碼數(shù)據(jù)的區(qū)別，還能 夠同時得知在一個存取單元內(nèi)存在多少片單一顏色分量圖片，將來的視頻圖像信號的顏色 表現(xiàn)擴(kuò)展的對應(yīng)也可以進(jìn)行，同時還可以在比特流中無縫地處理共通編碼處理和獨立編碼處理。在圖10中表示共通編碼處理、獨立編碼處理各自情況下的片數(shù)據(jù)的比特流構(gòu)成。 在通過獨立編碼處理而編碼的比特流中，為了達(dá)到后述的效果，在片數(shù)據(jù)開頭的首標(biāo)區(qū)域 賦予顏色分量識別標(biāo)志(C0l0r_Channel_idC)以便可以識別解碼裝置接收到的片數(shù)據(jù)是 屬于存取單元內(nèi)的哪個顏色分量的圖片的片。color_channel_idc將其值相同的片成組化。也就是說，在color_channel_ idc的值不同的片間，使其什么樣的編碼/解碼的依賴性(例如，活動預(yù)測參照、 CABAC(Context-Adaptive Binary ArithmeticCoding)的上下文建模 / 發(fā)生概率學(xué)習(xí)等) 都不具有。此外，由于c0l0r_channel_idc與圖1(d)所示的實施方式1的color_id相同， 所以是相同語義的信息。通過這樣進(jìn)行規(guī)定，獨立編碼處理的情況下的存取單元內(nèi)的各個圖片的獨立性就 得以確保。另外，關(guān)于各片首標(biāo)上多路復(fù)用的frame_nUm(片所屬的圖片的編碼/解碼處理 順序)，在1存取單元內(nèi)的全部顏色分量圖片中設(shè)為同一值。圖11中表示與本實施方式7有關(guān)的編碼裝置的概略構(gòu)成。在同圖中，共通編碼處 理在第1圖片編碼部102中得以執(zhí)行，獨立編碼處理在第2圖片編碼部104 (準(zhǔn)備3個顏色 分量分)中得以執(zhí)行。輸入視頻圖像信號1通過開關(guān)(SW) 100被供給第1圖片編碼部102 或顏色分量分離部103以及每個顏色分量的第2圖片編碼部104的某一個。開關(guān)100由共 通編碼/獨立編碼識別信號101而驅(qū)動，將輸入視頻圖像信號1向所指定的總線供給。下面，就共通編碼/獨立編碼識別信號(num_pictures_in_au) 101在輸入視頻圖 像信號為4:4:4格式的情況下被多路復(fù)用于序列參數(shù)組，而作為以序列為單位來選擇共通 編碼處理和獨立編碼處理的信號的情況進(jìn)行說明。由于在使用了共通編碼處理的情況下，需要在解碼裝置側(cè)執(zhí)行共通解碼處理，在 使用了獨立編碼處理的情況下，需要在解碼裝置側(cè)執(zhí)行獨立解碼處理，所以共通編碼/獨 立編碼識別信號101需要作為對其指定的信息而多路復(fù)用于比特流。因此，共通編碼/獨 立編碼識別信號101輸入到多路復(fù)用部105。該共通編碼/獨立編碼識別信號101的多路 復(fù)用單位是序列內(nèi)的若干圖片群組成的G0P(GroUp Of Pictures)的單位等、只要是比圖片更高位層次則怎樣的單位均可。在第1圖片編碼部102中，為了執(zhí)行共通編碼處理，將輸入視頻圖像信號1分割成 如圖6所示那樣匯集了 3個顏色分量的采樣的形式的宏塊，并以其為單位推進(jìn)編碼處理。第 1圖片編碼部102中的編碼處理后述。在獨立編碼處理被選擇的情況下，輸入視頻圖像信號1在顏色分量分離部103中 被分離成C0、C1、C2的1幀部分的數(shù)據(jù)，并分別供給對應(yīng)的第2圖片編碼部104。在第2圖 片編碼部104中，將按顏色分量所分離的1幀部分的信號分割成圖7所示的形式的宏塊，并 以其為單位推進(jìn)編碼處理。第2圖片編碼部中的編碼處理進(jìn)行后述。在第1圖片編碼部102上被輸入3個顏色分量組成的一幅圖片部分的視頻圖像信 號，編碼數(shù)據(jù)作為比特流133而輸出。在第2圖片編碼部104上被輸入單一顏色分量組成 的一幅圖片部分的視頻圖像信號，編碼數(shù)據(jù)作為比特流233a c而輸出。這些比特流基于共通編碼/獨立編碼識別信號101的狀態(tài)在多路復(fù)用部105中被 多路復(fù)用成比特流106的形式并輸出。即，多路復(fù)用部105將通過獨立地編碼各自顏色分 量的輸入圖像信號而得到的編碼數(shù)據(jù)、和表示編碼數(shù)據(jù)是針對哪個顏色分量的數(shù)據(jù)的參數(shù) 多路復(fù)用于比特流。在比特流106的多路復(fù)用之際，在經(jīng)過獨立編碼處理時的存取單元中可以將片數(shù) 據(jù)的比特流中的多路復(fù)用順序、傳送順序在存取單元內(nèi)的圖片(各顏色分量)間進(jìn)行交錯。g卩，圖12表示存取單元內(nèi)的片交錯不可進(jìn)行的情況(a)和片交錯可以進(jìn)行的情況 (b)。片在交錯不可進(jìn)行的情況下(a)，在CO分量的編碼完成以前C1分量的圖片數(shù)據(jù)不能 多路復(fù)用于比特流，在C0，C1分量的編碼完成以前C2分量的圖片數(shù)據(jù)不能多路復(fù)用于比特 流，但在片交錯可以進(jìn)行的情況下(b)，只要CO分量的1片部分被多路復(fù)用于比特流，C1分 量就可以立刻多路復(fù)用，只要⑶，C1分量的1片部分被多路復(fù)用于比特流，C2分量就可以 立即多路復(fù)用。在此情況下，在解碼裝置側(cè)需要識別接收到的片數(shù)據(jù)是屬于存取單元內(nèi)的哪個顏 色分量的片。因此，在片數(shù)據(jù)開頭的首標(biāo)區(qū)域如圖10那樣利用將要多路復(fù)用的顏色分量識 別標(biāo)志。此外，這里所記載的圖12的片交錯的概念與圖3所公開的概念等價。通過設(shè)為這種構(gòu)成，在編碼裝置如圖11的編碼裝置那樣對3個顏色分量的圖片分 別3組使用獨立的第2圖片編碼部6，并通過并行處理來進(jìn)行編碼的情況下，只要自身的圖 片的片數(shù)據(jù)能夠準(zhǔn)備好就可以立刻送出編碼數(shù)據(jù)，而不用等待其他顏色分量圖片的編碼數(shù) 據(jù)的完成。在AVC中能夠?qū)⒁粋€圖片分割成多個片數(shù)據(jù)來進(jìn)行編碼，對于片數(shù)據(jù)長度或片內(nèi) 所包含的宏塊的個數(shù)，能夠依照編碼條件靈活地使其變化。在圖像空間上相鄰的片之間，確保片解碼處理的獨立性，所以內(nèi)部預(yù)測或算術(shù)編 碼等附近上下文無法利用，因此使片數(shù)據(jù)長度盡量長的話編碼效率較高。另一方面，當(dāng)在傳送或記錄的過程中錯誤混入比特流的情況下，片數(shù)據(jù)長度越短 從錯誤的恢復(fù)就越早，越易于抑制品質(zhì)劣化。若不多路復(fù)用顏色分量識別標(biāo)志而是使片的 長度或構(gòu)成、顏色分量的順序等固定下來，則在編碼裝置中比特流的生成條件將被固定化， 就無法靈活地對應(yīng)多種多樣的編碼要求條件。另外，如果能夠如圖12那樣構(gòu)成比特流，則能夠在編碼裝置中減少傳送所需要的
12發(fā)送緩沖器大小、即能夠減小編碼裝置側(cè)的處理延遲。圖11中表示其情形。若在跨越圖片的片數(shù)據(jù)的多路復(fù)用不被許可的情況下，編碼 裝置就需要在某特定顏色分量的圖片的編碼結(jié)束之前的期間、使其他圖片的編碼數(shù)據(jù)緩沖 起來。這就意味著發(fā)生圖片層級下的延遲。另一方面，如同圖最下部所示那樣，如果可以在片層級上進(jìn)行交錯，某特定顏色分 量的圖片編碼部就能夠以片數(shù)據(jù)為單位將編碼數(shù)據(jù)輸出到多路復(fù)用部，并能夠抑制延遲。此外，既可以在一個顏色分量圖片內(nèi)，使其中所包含的片數(shù)據(jù)以宏塊的光柵掃描 (raster scan)順序進(jìn)行傳送，還可以構(gòu)成為在一個圖片內(nèi)也進(jìn)行交錯傳送。以下，對第1圖片編碼部102以及第2圖片編碼部104的動作詳細(xì)地進(jìn)行說明。第1圖片編碼部102的動作概要圖13中表示第1圖片編碼部102的內(nèi)部構(gòu)成。在該圖中設(shè)輸入視頻圖像信號1 以4:4:4格式、且以圖6形式的3個顏色分量匯集起來的宏塊為單位被輸入。首先，在預(yù)測部110中，從存儲器111所保存的活動補(bǔ)償預(yù)測參照圖像數(shù)據(jù)之中選 擇參照圖像，并以該宏塊為單位進(jìn)行活動補(bǔ)償預(yù)測處理。在存儲器111中保存著涉及多個 時刻的、3個顏色分量所構(gòu)成的多幅參照圖像數(shù)據(jù)，在預(yù)測部110從它們之中以宏塊為單位 選擇最佳的參照圖像來進(jìn)行活動預(yù)測。存儲器111內(nèi)的參照圖像數(shù)據(jù)的配置既可以對每個顏色分量以面順序分開保存， 也可以將各顏色分量的采樣以點順序進(jìn)行保存。進(jìn)行活動補(bǔ)償預(yù)測的塊大小準(zhǔn)備了 7種， 首先，對宏塊單位能夠選擇16X16、16X8、8X16、8X8中的某種大小。進(jìn)而，在8X8被選 擇的情況下，能夠?qū)Ω?X8塊逐個選擇8X8、8X4、4X8、4X4中的某種大小。在預(yù)測部110中對于16X 16、16X8、8X 16、8X8的全部或者一部分塊大小/8X8、 8X4,4X8,4X4的子塊大小、和規(guī)定搜索范圍的活動矢量以及可以利用的1幅以上的參照 圖像按宏塊逐個執(zhí)行活動補(bǔ)償預(yù)測處理，并通過活動矢量和預(yù)測中所用的參照圖像識別信 息112和減法器113，獲得作為活動補(bǔ)償預(yù)測單位的每個塊的預(yù)測差分信號114。預(yù)測差分信號114在編碼模式判定部115中對其預(yù)測效率進(jìn)行評價，并從預(yù)測部 110所執(zhí)行的預(yù)測處理之中輸出獲得對于預(yù)測對象的宏塊最佳的預(yù)測效率的宏塊類型/子 宏塊類型116和活動矢量/參照圖像識別信息112。宏塊類型、子宏塊類型、參照圖像索引、活動矢量等宏塊首標(biāo)信息全部作為對3個 顏色分量共通的首標(biāo)信息而決定，被使用于編碼并多路復(fù)用于比特流。在預(yù)測效率的最佳性的評價時，既可以以抑制運算量的目的而僅僅評價針對某規(guī) 定顏色分量(例如RGB之中的G分量、YUV之中的Y分量等)的預(yù)測誤差量，也可以雖然運 算量大但為了獲得最佳的預(yù)測性能而綜合評價關(guān)于所有顏色分量的預(yù)測誤差量。另外，在 最終宏塊類型/子宏塊類型116的選定時，有時還添加通過編碼控制部117的判斷而確定 的針對各類型的權(quán)重系數(shù)118。同樣，在預(yù)測部110還執(zhí)行內(nèi)部預(yù)測。在內(nèi)部預(yù)測執(zhí)行時信號112上輸出內(nèi)部預(yù) 測模式信息。以后，在不特別對內(nèi)部預(yù)測、活動補(bǔ)償預(yù)測進(jìn)行區(qū)別的情況下，輸出信號112 將內(nèi)部預(yù)測模式信息、活動矢量情報、參照圖像識別編號匯集起來稱為預(yù)測附加信息。對 于內(nèi)部預(yù)測也是既可以評價僅規(guī)定顏色分量的預(yù)測誤差量，還可以綜合評價關(guān)于全部顏色 分量的預(yù)測誤差量。最后，將宏塊類型設(shè)成內(nèi)部預(yù)測還是設(shè)成中間預(yù)測，在編碼模式判定部115中根據(jù)預(yù)測效率或者編碼效率來評價并選定。將所選定的宏塊類型/子宏塊類型116、和通過基于預(yù)測附加信息112的內(nèi)部預(yù)測 /活動補(bǔ)償預(yù)測而得到的預(yù)測差分信號114輸出到變換部119。變換部119對所輸入的預(yù) 測差分信號114進(jìn)行變換并作為變換系數(shù)輸出到量化部120。此時，還可以從4X4或8X8 中的某一個選擇作為進(jìn)行變換的單位的塊的大小。在可以選擇變換塊大小的情況下，將編 碼時所選擇的塊大小反映在變換塊大小指定標(biāo)志134的值上，并將同一標(biāo)志多路復(fù)用于比 特流。量化部120基于由編碼控制部117確定的量化參數(shù)121對所輸入的變換系數(shù)進(jìn)行 量化，并作為已量化變換系數(shù)122輸出到可變長度編碼部123。已量化變換系數(shù)122包含3 個顏色分量部分的信息，并在可變長度編碼部123中通過霍夫曼編碼或算術(shù)編碼等手段而 進(jìn)行熵編碼。另外，已量化變換系數(shù)122經(jīng)逆量化部124、逆變換部125被復(fù)原成局部解碼預(yù)測 差分信號126，并通過將所選定的宏塊類型/子宏塊類型116與基于預(yù)測附加信息112所生 成的預(yù)測圖像127在加法器128進(jìn)行相加而生成局部解碼圖像129。局部解碼圖像129在 用解塊濾波器130實施了塊失真除去處理后，為了在以后的活動補(bǔ)償預(yù)測處理中使用而被 保存到存儲器111。在可變長度編碼部123上還輸入表示是否對該宏塊實施解塊濾波(de-blocking filter)的解塊濾波器控制標(biāo)志131?？勺冮L度編碼部123上所輸入的已量化變換系數(shù)122、宏塊類型/子宏塊類型 116、預(yù)測附加信息112、量化參數(shù)121按照預(yù)定的規(guī)則(語法)作為比特流被排列/整形， 并作為以圖6形式的宏塊1個或多個匯集起來的片數(shù)據(jù)為單位經(jīng)過NAL單元化的編碼數(shù)據(jù) 被輸出到發(fā)送緩沖器132。在發(fā)送緩沖器17中與編碼裝置所連接的傳送線路的頻帶和記錄介質(zhì)的讀出速度 相吻合使比特流平滑化并作為視頻流133進(jìn)行輸出。另外，依照發(fā)送緩沖器133中的比特流 儲存狀況向編碼控制部117實施反饋，以控制以后的視頻圖像幀的編碼中的發(fā)生代碼量。此外，第1圖片編碼部102的輸出是將3分量匯集在一起的單位的片，與將存取單 元匯集在一起的單位下的代碼量等價，所以發(fā)送緩沖器132還可以原封不動配置在多路復(fù) 用部105內(nèi)。在本實施方式7中的第1圖片編碼部102中，根據(jù)共通編碼/獨立編碼識別信號 101可以識別序列中的所有片數(shù)據(jù)是CO，Cl，C2混合片(即，3個顏色分量的信息混在一起 的片)，所以在片首標(biāo)上顏色分量識別標(biāo)志不多路復(fù)用。第2圖片編碼部104的動作概要圖14中表示第2圖片編碼部104的內(nèi)部構(gòu)成。沿用557769JP03的圖1的說明來 創(chuàng)建圖H的說明草稿，具有圖號為圖1那樣的地方。在該圖中，設(shè)輸入視頻圖像信號la以 圖7形式的單一顏色分量的采樣組成的宏塊為單位被輸入。首先，在預(yù)測部210中，從存儲器211所保存的活動補(bǔ)償預(yù)測參照圖像數(shù)據(jù)之中選 擇參照圖像，并以該宏塊為單位進(jìn)行活動補(bǔ)償預(yù)測處理。在存儲器211中將涉及多個時刻 的、單一顏色分量單一顏色分量設(shè)為編碼處理對象是要點。圖H與圖I的外部不同的是存 儲器16的面數(shù)。能夠保存所構(gòu)成的多幅參照圖像數(shù)據(jù)，在預(yù)測部210中從它們之中以宏塊為單位選擇最佳的參照圖像來進(jìn)行活動預(yù)測。還可以使存儲器211以將3個顏色分量部分匯集在一起的單位與存儲器111共 享。在進(jìn)行活動補(bǔ)償預(yù)測的塊大小上準(zhǔn)備了 7種，首先，對宏塊單位能夠選擇16X16、 16 X 8、8 X 16、8 X 8中的某種大小。進(jìn)而，在選擇了 8 X 8的情況下，能夠?qū)Ω?X8塊逐個選 #8X8,8X4,4X8,4X4中的某種大小。在預(yù)測部210中對于16X16、16X8、8X16、8X8的全部或者一部分塊大小 /8X8、8X4、4X8、4X4的子塊大小、和規(guī)定搜索范圍的活動矢量以及可以利用的1幅以上 的參照圖像按宏塊逐個執(zhí)行活動補(bǔ)償預(yù)測處理，并通過活動矢量和預(yù)測中所用的參照圖像 索引212和減法器213，獲得作為活動補(bǔ)償預(yù)測單位的每個塊的預(yù)測差分信號214。預(yù)測差分信號214在編碼模式判定部215中對其預(yù)測效率進(jìn)行評價，并從預(yù)測部 210所執(zhí)行的預(yù)測處理之中輸出獲得對于預(yù)測對象的宏塊最佳的預(yù)測效率的宏塊類型/子 宏塊類型216和活動矢量/參照圖像索引212。宏塊類型(macro-block types)、子宏塊類型 (sub-macro-block types)、參照圖像索弓| (reference image indexes)、活動矢量(motion vectors)等宏塊首標(biāo)信息全部作為對于輸入視頻圖像信號Ia的單一顏色分量信號的首標(biāo) 信息而決定，被使用于編碼并多路復(fù)用于比特流。在預(yù)測效率的最佳性的評價時，僅評價對于作為編碼處理對象的單一顏色分量的 預(yù)測誤差量。另外，在最終宏塊類型/子宏塊類型216的選定時，有時還添加通過編碼控制 部217的判斷而確定的針對各類型的權(quán)重系數(shù)218。同樣，在預(yù)測部210還執(zhí)行內(nèi)部預(yù)測。將預(yù)測部110設(shè)為執(zhí)行內(nèi)部、中間預(yù)測雙方 的塊。在內(nèi)部預(yù)測執(zhí)行時信號112上輸出內(nèi)部預(yù)測模式信息。以后，在不特別對內(nèi)部預(yù)測、 活動補(bǔ)償預(yù)測進(jìn)行區(qū)別的情況下，信號112稱為預(yù)測附加信息。對于內(nèi)部預(yù)測也是僅評價 對于作為編碼處理對象的單一顏色分量的預(yù)測誤差量。最后，將宏塊類型設(shè)成內(nèi)部預(yù)測還 是設(shè)成中間預(yù)測，根據(jù)預(yù)測效率或者編碼效率來評價并選定。將所選定的宏塊類型/子宏塊類型216、和根據(jù)預(yù)測附加信息212而得到的預(yù)測差 分信號214輸出到變換部219。變換部219對所輸入的預(yù)測差分信號214進(jìn)行變換并作為 變換系數(shù)輸出到量化部220。此時，還可以從4X4或8X8中的某一個選擇作為進(jìn)行變換的 單位的塊的大小。在可以選擇的情況下，將編碼時所選擇的塊大小反映在變換塊大小指定 標(biāo)志234的值上，并將同一標(biāo)志多路復(fù)用于比特流。量化部220基于由編碼控制部217確定的量化參數(shù)221對所輸入的變換系數(shù)進(jìn)行 量化，并作為已量化變換系數(shù)222輸出到可變長度編碼部223。已量化變換系數(shù)222包含單 一顏色分量部分的信息，并在可變長度編碼部223中通過霍夫曼編碼或算術(shù)編碼等手段而 進(jìn)行熵編碼。另外，已量化變換系數(shù)222經(jīng)逆量化部224、逆變換部225被復(fù)原成局部解碼預(yù)測 差分信號226，并通過將所選定的宏塊類型/子宏塊類型216與基于預(yù)測附加信息212所生 成的預(yù)測圖像227在加法器228進(jìn)行相加而生成局部解碼圖像229。局部解碼圖像229在用解塊濾波器230實施了塊失真除去處理后，為了在以后的 活動補(bǔ)償預(yù)測處理中使用而被保存到存儲器211。在可變長度編碼部223上還輸入表示是 否對該宏塊實施解塊濾波的解塊濾波器控制標(biāo)志231?？勺冮L度編碼部223上所輸入的已量化變換系數(shù)222、宏塊類型/子宏塊類型216、預(yù)測附加信息212、量化參數(shù)221按照預(yù)定的規(guī)則(語法(syntax))作為比特流被排 列/整形，并作為以圖7形式的宏塊1個或多個匯集起來的片數(shù)據(jù)為單位經(jīng)過NAL單元化 的編碼數(shù)據(jù)被輸出到發(fā)送緩沖器232。在發(fā)送緩沖器232中與編碼裝置所連接的傳送線路的頻帶和記錄介質(zhì)的讀出速 度相吻合使比特流平滑化并作為視頻流233進(jìn)行輸出。另外，依照發(fā)送緩沖器232中的比 特流儲存狀況向編碼控制部217實施反饋，以控制以后的視頻圖像幀的編碼中的發(fā)生代碼量。此外，還可以構(gòu)成為在第2圖片編碼部104的輸出是僅單一顏色分量的數(shù)據(jù)組成 的片，而需要以將存取單元匯集起來的單位進(jìn)行代碼量控制的情況下，在多路復(fù)用部105 內(nèi)設(shè)置將全部顏色分量的片進(jìn)行多路復(fù)用的單位的共通發(fā)送緩沖器，并基于該緩沖器的占 有量對各顏色分量的編碼控制部217實施反饋。另外，此時既可以僅使用全部顏色分量的發(fā)生信息量來進(jìn)行編碼控制，還可以增 添各顏色分量的發(fā)送緩沖器232的狀態(tài)來進(jìn)行編碼控制。在僅使用全部顏色分量的發(fā)生 信息量來進(jìn)行編碼控制的情況下，還能夠采用將與發(fā)送緩沖器232相當(dāng)?shù)墓δ苡枚嗦窂?fù)用 部105內(nèi)的共通發(fā)送緩沖器來實現(xiàn)，并省略發(fā)送緩沖器232的構(gòu)成。在本實施方式7中的第2圖片編碼部104中，可以根據(jù)共通編碼/獨立編碼識別 信號101來識別序列中的所有片數(shù)據(jù)是單一顏色分量片(即，CO片或者C1片或者C2片)， 所以在片首標(biāo)中始終多路復(fù)用顏色分量識別標(biāo)志，并在解碼裝置側(cè)識別哪個片符合存取單 元內(nèi)的哪個圖片數(shù)據(jù)。因此，各第2圖片編碼部104能夠?qū)碜愿髯缘陌l(fā)送緩沖器232的輸出在積攢了 1片部分的數(shù)據(jù)的時刻送出，而不用積攢一幅圖片部分。此外，第1圖片編碼部102與第2圖片編碼部104僅僅是將宏塊首標(biāo)信息作為3 分量共通的信息來處理還是作為單一顏色分量的信息來處理上不同，以及片數(shù)據(jù)的比特流 構(gòu)成不同。圖13或圖14中的預(yù)測部和變換部/逆變換部、量化部/逆量化部、解塊濾波器 等基本的處理塊大多僅僅在是與3個顏色分量的信息匯集進(jìn)行處理還是只處理單一顏色 分量的信息上不同，在第1圖片編碼部102和第2圖片編碼部104上還能夠用共通的功能 塊來實現(xiàn)。從而，不僅能夠作為如圖11那樣的完全獨立的編碼處理部，還能夠?qū)D13或圖14 的基本構(gòu)成要素適宜組合起來實現(xiàn)多種多樣的編碼裝置的實裝。另外，只要按面順序持有 第1圖片編碼部102中的存儲器111的配置，就能夠在第1圖片編碼部102與第2圖片編 碼部104中使參照圖像保存存儲器的構(gòu)成共通地實現(xiàn)。另外，雖然沒有圖示，在本實施方式中的編碼裝置中，設(shè)想對按照圖9、圖10的排 列的視頻流106進(jìn)行緩沖的假想流緩沖器(編碼圖片緩沖器)、和對解碼圖像313a、313b進(jìn) 行緩沖的假想幀存儲器(解碼圖片緩沖器)的存在，并生成視頻流106以使得沒有編碼圖 片緩沖器的上溢/下溢、解碼圖片緩沖器的破綻。該控制主要在編碼控制部117、217進(jìn)行。這樣一來，在解碼裝置中，在按照編碼圖片緩沖器與解碼圖片緩沖器的動作(假 想緩沖器模型)對視頻流106進(jìn)行解碼的情況下，保證在解碼裝置中不發(fā)生破綻。下面規(guī) 定假想緩沖器模型。編碼圖片緩沖器的動作以存取單元單位來進(jìn)行。如上述那樣，在進(jìn)行共通解碼處理的情況下在1個存取單元中包含一幅圖片部分的編碼數(shù)據(jù)，而進(jìn)行獨立解碼處理的情況 下在1個存取單元包含顏色分量數(shù)部分的圖片(如果是3分量則是3圖片部分)的編碼數(shù) 據(jù)。對于編碼圖片緩沖器所規(guī)定的動作，是存取單元的最初比特和最后比特被輸入編 碼圖片緩沖器的時刻和存取單元的比特從編碼圖片緩沖器被讀出的時刻。此外，從編碼圖 片緩沖器的讀出規(guī)定為瞬時進(jìn)行，并設(shè)存取單元的所有比特在同一時刻從編碼圖片緩沖器 讀出。當(dāng)存取單元的比特從編碼圖片緩沖器讀出，就被輸入到高位首標(biāo)解析部，如上述 那樣，在第ι圖片解碼部或者第2圖片解碼部進(jìn)行解碼處理，并作為按存取單元單位經(jīng)過整 頓的彩色視頻圖像幀而得以輸出。此外，從編碼圖片緩沖器讀出比特，并作為存取單元單位 的彩色視頻圖像幀輸出之前的處理在假想緩沖器模型的規(guī)定上設(shè)為瞬時進(jìn)行。按存取單元單位所構(gòu)成的彩色視頻圖像幀被輸入到解碼圖片緩沖器，并計算出從 解碼圖片緩沖器的輸出時刻。從解碼圖片緩沖器的輸出時刻是將規(guī)定的延遲時間加在從編 碼圖片緩沖器的讀出時刻上的值。這一延遲時間可以多路復(fù)用于比特流以對解碼裝置進(jìn)行控制。在延遲時間為0的 情況、即從解碼圖片緩沖器的輸出時刻等于從編碼圖片緩沖器的讀出時刻的情況下，在彩 色視頻圖像幀被輸入到解碼圖片緩沖器的同時從解碼圖片緩沖器被輸出。在除此以外的情況、即從解碼圖片緩沖器的輸出時刻遲于從編碼圖片緩沖器的讀 出時刻的情況下，直到成為從解碼圖片緩沖器的輸出時刻之前彩色視頻圖像幀被保存在解 碼圖片緩沖器中。如上述那樣，按存取單元單位來規(guī)定從解碼圖片緩沖器的動作。圖15表示本實施方式7的解碼裝置的概略構(gòu)成。在該圖中共通解碼處理在第1圖 片解碼部302中得以執(zhí)行，獨立解碼處理在顏色分量判定部303與第2圖片解碼部304(準(zhǔn) 備3個顏色分量部分)中得以執(zhí)行。比特流106在高位首標(biāo)解析部300中被分割成NAL單元單位，序列參數(shù)組和圖片 參數(shù)組等高位首標(biāo)信息直接進(jìn)行解碼并保存到解碼裝置內(nèi)的第1圖片解碼部302、顏色分 量判定部303、第2圖片解碼部304可以參照的規(guī)定存儲區(qū)。按序列單位被多路復(fù)用的共 通編碼/獨立編碼識別信號(num_pictures_in_au)作為高位首標(biāo)信息的一部分進(jìn)行解碼
/保持。經(jīng)過解碼的num_pictures_in_au被供給開關(guān)(SW) 301，開關(guān)301如果num_ pictures_in_au = 1就將每個圖片的片NAL單元供給第1圖片解碼部302，如果num_ pictures_in_au = 3就供給顏色分量判定部303。S卩，如果num_piCtureS_in_au = 1就由第1圖片解碼部302進(jìn)行共通解碼處理， 如果num_piCtures_in_au = 3就由3個第2圖片解碼部304進(jìn)行獨立解碼處理。第1及 第2圖片解碼部的詳細(xì)動作后面敘述。顏色分量判定部303構(gòu)成對表示是針對哪個顏色分量的編碼數(shù)據(jù)的參數(shù)進(jìn)行檢 測的檢測手段，根據(jù)圖10中所示的顏色分量識別標(biāo)志的值來識別片NAL單元相當(dāng)于現(xiàn)在的 存取單元內(nèi)的哪個顏色分量圖片，并向適當(dāng)?shù)牡?圖片解碼部304分配供給。根據(jù)這種解碼裝置的構(gòu)成就具有即便接收如圖12那樣在存取單元內(nèi)片交錯得以 編碼的比特流，也能夠容易地判別哪個片屬于哪個顏色分量圖片并正確地進(jìn)行解碼的效
第1圖片解碼部302的動作概要圖16中表示第1圖片解碼部302的內(nèi)部構(gòu)成。第1圖片解碼部302以C0、C1、C2 混和片的單位接收從圖11的編碼裝置輸出的按照圖9，圖10的排列的比特流106，并以圖6 所示的3個顏色分量的采樣組成的宏塊為單位來進(jìn)行解碼處理，將輸出視頻圖像幀復(fù)原?？勺冮L度解碼部310將比特流106作為輸入，按照規(guī)定的規(guī)則(語法)對比特流 106進(jìn)行解讀，抽取出在3分量部分的已量化變換系數(shù)122、以及3分量中共通使用的宏塊 首標(biāo)信息(宏塊類型/子宏塊類型116、預(yù)測附加信息112、變換塊大小指定標(biāo)志134、量化 參數(shù)121)。已量化變換系數(shù)122與量化參數(shù)121 —起被輸入到與第1圖片編碼部102進(jìn)行 同樣處理的逆量化部124，進(jìn)行逆量化處理。接著，該輸出被輸入到與第1圖片編碼部102進(jìn)行同樣處理的逆變換部125，向局 部解碼預(yù)測差分信號126復(fù)原(如果變換塊大小指定標(biāo)志134存在于比特流106中，則在 逆量化、逆變換處理過程中對其進(jìn)行參照)。另一方面，預(yù)測部311在第1圖片編碼部102中的預(yù)測部110之中、僅僅包含參照 預(yù)測附加信息112而生成預(yù)測圖像127的處理，對預(yù)測部311輸入宏塊類型/子宏塊類型 116、預(yù)測附加信息112，得到3分量部分的預(yù)測圖像127。在宏塊類型表示內(nèi)部預(yù)測的情況下，按照內(nèi)部預(yù)測模式信息從預(yù)測附加信息112 得到3分量部分的預(yù)測圖像127，在宏塊類型表示中間預(yù)測的情況下，按照活動矢量、參照 圖像索引從預(yù)測附加信息112得到3分量部分的預(yù)測圖像127。局部解碼預(yù)測差分信號126與預(yù)測圖像127通過加法器128進(jìn)行加法運算，得到 3分量部分的暫定解碼圖像129。暫定解碼圖像129被用于以后宏塊的活動補(bǔ)償預(yù)測，所以 在與第1圖片編碼部102進(jìn)行同樣處理的解塊濾波器130中對3分量部分的暫定解碼圖像 采樣實施了塊失真除去處理以后，作為解碼圖像313得以輸出，同時被保存到存儲器312。此時，基于由可變長度解碼部310經(jīng)過解讀的解塊濾波器控制標(biāo)志131的指示使 解塊濾波器處理作用于暫定解碼圖像129。在存儲器312中保存涉及多個時刻的、用3個顏 色分量構(gòu)成的多幅參照圖像數(shù)據(jù)。在預(yù)測部311中，從它們之中選擇以宏塊單位從比特流抽取出的參照圖像索引 所示的參照圖像并生成預(yù)測圖像生成。存儲器312內(nèi)的參照圖像數(shù)據(jù)的配置既可以對每個 顏色分量按面順序分開進(jìn)行保存，也可以將各顏色分量的采樣按點順序進(jìn)行保存。解碼圖 像313包含3個顏色分量，原封不動成為構(gòu)成共通解碼處理中的存取單元313a的彩色視頻 圖像幀。第2圖片解碼部304的動作概要圖17中表示第2圖片解碼部304的內(nèi)部構(gòu)成。第2圖片解碼部304以顏色分量 判定部303中分成的CO或、C1或、C2片NAL單元450的單位接收從圖11的編碼裝置輸出 的按照圖9，圖10的排列的比特流106，并以圖7所示的單一顏色分量的采樣組成的宏塊為 單位來進(jìn)行解碼處理，將輸出視頻圖像幀復(fù)原?？勺冮L度解碼部410將比特流450作為輸入，按照規(guī)定的規(guī)則(語法)對比特流 405進(jìn)行解讀，抽取出單一顏色分量的已量化變換系數(shù)222、以及適用于單一顏色分量的宏 塊首標(biāo)信息(宏塊類型/子宏塊類型216、預(yù)測附加信息212、變換塊大小指定標(biāo)志234、量化參數(shù)221)。已量化變換系數(shù)222與量化參數(shù)221 —起被輸入到與第2圖片編碼部104進(jìn)行同 樣處理的逆量化部224，進(jìn)行逆量化處理。接著，該輸出被輸入到與第2圖片編碼部104進(jìn) 行同樣處理的逆變換部225，向局部解碼預(yù)測差分信號226復(fù)原(如果變換塊大小指定標(biāo)志 234存在于比特流450中，則在逆量化、逆變換處理過程中對其進(jìn)行參照)。另一方面，預(yù)測部311在第2圖片編碼部104中的預(yù)測部210之中、僅僅包含參照 預(yù)測附加信息212而生成預(yù)測圖像227的處理，對預(yù)測部411輸入宏塊類型/子宏塊類型 216、預(yù)測附加信息212，得到單一顏色分量的預(yù)測圖像227。在宏塊類型表示內(nèi)部預(yù)測的情況下，按照內(nèi)部預(yù)測模式信息從預(yù)測附加信息212 得到單一顏色分量的預(yù)測圖像227，在宏塊類型表示中間預(yù)測的情況下，按照活動矢量、參 照圖像索引從預(yù)測附加信息212得到單一顏色分量的預(yù)測圖像227。局部解碼預(yù)測差分信號226與預(yù)測圖像227通過加法器228進(jìn)行加法運算，得到 單一顏色分量宏塊的暫定解碼圖像229。暫定解碼圖像229被用于以后宏塊的活動補(bǔ)償預(yù) 測，所以在與第2圖片編碼部104進(jìn)行同樣處理的解塊濾波器230中對單一顏色分量的暫 定解碼圖像采樣實施了塊失真除去處理以后，作為解碼圖像451得以輸出，同時被保存到 存儲器412。此時，基于由可變長度解碼部410經(jīng)過解讀的解塊濾波器控制標(biāo)志231的指示使 解塊濾波器處理作用于暫定解碼圖像229。解碼圖像410僅包含單一顏色分量的采樣，通過 將圖15中其他經(jīng)過并行處理的第2圖片解碼部304各自的輸出按存取單元313b的單位進(jìn) 行整頓，作為彩色視頻圖像幀而得以構(gòu)成。如根據(jù)以上說明就可明白那樣，第1圖片解碼部302和第2圖片解碼部304僅僅 是將宏塊首標(biāo)信息作為3分量共通的信息來處理還是作為單一顏色分量的信息來處理上 不同，以及片數(shù)據(jù)的比特流構(gòu)成不同，圖13或圖14中的活動補(bǔ)償預(yù)測處理和逆變換、逆量 化等基本的解碼處理塊的大多能夠在第1圖片解碼部302和第2圖片解碼部304上用共通 的功能塊來實現(xiàn)。從而，不僅作為如圖15那樣完全獨立的編碼處理部，還能夠?qū)D16或圖17的基 本構(gòu)成要素適宜組合起來而實現(xiàn)多種多樣的解碼裝置的實裝。雖然在當(dāng)前時刻具體的裝置 構(gòu)成沒有記述徹底…，另外，只要按面順序具有第1圖片解碼部302中的存儲器312的配 置，就能夠使存儲器312、存儲器412的構(gòu)成在第1圖片解碼部302與第2圖片解碼部304 中共通采用。此外，圖15的解碼裝置當(dāng)然還可以接收從作為圖11的編碼裝置的其他形態(tài)，將共 通編碼/獨立編碼識別信號3始終固定化成“獨立編碼處理”，根本不使用第1圖片編碼部 102地對全幀進(jìn)行獨立編碼這樣構(gòu)成的編碼裝置所輸出的比特流并進(jìn)行解碼。另外，作為圖15的解碼裝置的其他形態(tài)，還可以在以共通編碼/獨立編碼識別信 號3始終被固定化成“獨立編碼處理”為前提的利用形態(tài)下，作為省略了開關(guān)301和第1圖 片解碼部302的僅僅進(jìn)行獨立解碼處理的解碼裝置而構(gòu)成。進(jìn)而，如果使第1圖片解碼部302具備將以往的YUV(用亮度信號(Y)、亮度信號 與藍(lán)色分量之差(U)、亮度信號與紅色分量之差(V)這3個信息來表現(xiàn)顏色的形式的信 號)4:2:0格式作為對象并匯集3分量而經(jīng)過編碼的AVC high profile基準(zhǔn)的比特流的解碼功能，并采用在高位首標(biāo)解析部300中，參照從比特流106解碼的profile標(biāo)識符來判定 是以哪種格式經(jīng)過編碼的比特流，并將判定結(jié)果作為共通編碼/獨立編碼識別信號3的信 號線的一部分信息傳給開關(guān)301和第1圖片解碼部302的構(gòu)成，則還能夠構(gòu)成確保針對以 往的YUV4:2:0格式的比特流的互換性的解碼裝置。此外，在本實施方式7中的第1圖片編碼部102中，由于3個顏色分量的信息混和 存在于片數(shù)據(jù)，且對3個顏色分量實施完全相同的內(nèi)部/中間預(yù)測處理，所以有時候在預(yù)測 誤差信號空間殘留著顏色分量間的信號相關(guān)性。作為將其除去的努力，例如，還可以構(gòu)成為對預(yù)測誤差信號實施顏色空間變換處 理。在圖18，圖19中表示具有這種構(gòu)成的第1圖片編碼部102的例子。此外，在圖18，圖 19中，顏色空間變換部及逆顏色空間變換部以外與圖13共通。圖18是以進(jìn)行變換處理之前的像素層級來實施顏色空間變換處理的例子，將顏 色空間變換部150a配置在變換部之前，并將逆顏色空間變換部151a配置在逆變換部之后。圖19是一邊適宜選擇處理對象的頻率分量一邊對經(jīng)過變換處理后所得到的系數(shù) 數(shù)據(jù)實施顏色空間變換處理的HHI提出的例子，將顏色空間變換部150b配置在變換部之 后，并將逆顏色空間變換部151b配置在逆變換部之前。通過限定實施顏色空間變換的頻率 分量，就具有能夠抑制特定顏色分量中所包含的高頻噪聲分量傳播給不太包含噪聲的其它 顏色分量的效果。在可以適應(yīng)性選擇作為顏色空間變換處理的對象的頻率分量的情況下，將在解碼 側(cè)用于判斷編碼時的選擇的信號傳輸信息152aa、152b多路復(fù)用于比特流。顏色空間變換處理即可以依照編碼對象的圖像信號的性質(zhì)按宏塊單位切換使用 多個變換方式，也可以構(gòu)成為以宏塊為單位來判定有無變換。還能夠構(gòu)成為以序列層級 等指定好可選擇的變換方式的類別，并以圖片、片、宏塊等為單位來指定從它們之中選擇哪 個。另外，還可構(gòu)成為可以選擇是在正交變換之前進(jìn)行實施還是在之后進(jìn)行實施。在進(jìn)行這些適應(yīng)性編碼處理情況下，能夠構(gòu)成為對于可選擇的所有選擇項，用編 碼模式判定部115或者215進(jìn)行編碼效率的評價以選擇編碼效率最高的選項。在實施這些 適應(yīng)性編碼處理的情況下，將在解碼側(cè)用于判斷編碼時的選擇的信號傳輸信息152a、152b 多路復(fù)用于比特流。這種信號傳輸還可以在與片、圖片、GOP、序列等宏塊不同的層級進(jìn)行指 定。在圖20，圖21中表示與圖18，圖19編碼裝置對應(yīng)的解碼裝置。此外，在圖20，圖 21中，逆顏色空間變換部以外與圖16共通。圖20是對由圖18的編碼裝置在變換處理前進(jìn) 行顏色空間變換而經(jīng)過編碼的比特流進(jìn)行解碼的解碼裝置。可變長度解碼部從比特流中解碼出選擇是否在逆顏色空間變換部151a中進(jìn)行變 換的有無變換的信息、和選擇在逆顏色空間變換部中可以執(zhí)行的變換方式的信息152aa，并 向逆顏色空間變換部151a供給。圖20的解碼裝置，在逆顏色空間變換部151a中基于這些 信息實施針對逆變換后的預(yù)測誤差信號的顏色空間變換處理。另外，圖21是對由圖19的編碼裝置通過在變換處理后選擇處理對象的頻率分量 進(jìn)行顏色空間變換而經(jīng)過編碼的比特流進(jìn)行解碼的解碼裝置?？勺冮L度解碼部從比特流中 解碼出選擇是否在逆顏色空間變換部151b中進(jìn)行變換的有無變換的信息、選擇在逆顏色 空間變換部中所執(zhí)行的變換方式的信息、和包含確定實施顏色空間變換的頻率分量的信息等的識別信息152b并供給逆顏色空間變換部151b。圖21的解碼裝置，在逆顏色空間變換 部151b中基于這些信息對逆量化后的變換系數(shù)數(shù)據(jù)實施顏色空間變換處理。圖20、圖21的解碼裝置與圖15的解碼裝置相同，如果使第1圖片解碼部302具備 將以往的YUV4:2:0格式作為對象并匯集3分量而經(jīng)過編碼的AVC high profile基準(zhǔn)的比 特流的解碼功能，并采用在高位首標(biāo)解析部300中，參照從比特流106解碼的profile標(biāo)識 符來判定是以哪種格式經(jīng)過編碼的比特流，并將判定結(jié)果作為共通編碼/獨立編碼識別信 號101的信號線的一部分信息傳給開關(guān)10和第1圖片解碼部302的構(gòu)成，則還能夠構(gòu)成確 保針對以往的YUV4:2:0格式的比特流的互換性的解碼裝置。圖22中表示以往的YUV4 2 0格式的比特流所包含的宏塊首標(biāo)信息的編碼數(shù)據(jù)的 構(gòu)成。在宏塊類型為內(nèi)部預(yù)測時包含內(nèi)部色差預(yù)測模式500的編碼數(shù)據(jù)。在宏塊類型為中 間預(yù)測時使用宏塊首標(biāo)信息所包含的參照圖像識別編號、活動矢量信息以與亮度分量不同 的方法生成色差分量的活動矢量。就確保針對以往的YUV4:2:0格式的比特流的互換性的解碼裝置的動作進(jìn)行說 明。如上述那樣，設(shè)第1圖片解碼部302具備以往的YUV4:2:0格式的比特流的解碼功能。 第1圖片解碼部的內(nèi)部構(gòu)成與圖16同樣。對具備以往的YUV4:2:0格式的比特流的解碼功能的第1圖片解碼部302的可變 長度解碼部310的動作進(jìn)行說明。當(dāng)視頻流106被輸入可變長度解碼部310時，對色差格 式指示標(biāo)志進(jìn)行解碼。色差格式指示標(biāo)志是被包含在視頻流106的序列參數(shù)首標(biāo)中，表示 輸入視頻圖像格式為4:4:4、4:2:2、4:2:0、4:0:0中的哪種格式的標(biāo)志。視頻流106的宏塊首標(biāo)信息的解碼處理根據(jù)色差格式指示標(biāo)志之值來進(jìn)行切換。 在宏塊類型表示內(nèi)部預(yù)測的情況下，色差格式指示標(biāo)志表示4 2 0或4 2 2的情況下從比 特流對內(nèi)部色差預(yù)測模式進(jìn)行解碼。在色差格式指示標(biāo)志表示4:4:4的情況下跳過內(nèi)部色 差預(yù)測模式的解碼。在色差格式指示標(biāo)志表示4:0:0的情況下，由于是輸入視頻圖像信號 僅由亮度信號所構(gòu)成的格式(4:0:0格式)，所以跳過內(nèi)部色差預(yù)測模式的解碼。內(nèi)部色差預(yù)測模式以外的宏塊首標(biāo)信息的解碼處理，與不具備以往的YUV4:2:0 格式的比特流的解碼功能的第1圖片解碼部302的可變長度解碼部310相同。通過以上處理，當(dāng)視頻流106被輸入可變長度解碼部310時，就抽取出色差格式指 示標(biāo)志(未圖示)、3分量部分的已量化變換系數(shù)、宏塊首標(biāo)信息(宏塊類型/子宏塊類型、 預(yù)測附加信息、變換塊大小指定標(biāo)志、量化參數(shù))。在預(yù)測部311上輸入色差指示格式指示 標(biāo)志(未圖示)與預(yù)測附加信息，并得到3分量部分的預(yù)測圖像127。圖23中表示確保針對以往的YUV4:2:0格式的比特流的互換性的第1圖片解碼部 302的預(yù)測部311的內(nèi)部構(gòu)成，并對其動作進(jìn)行說明。切換部501判別宏塊類型，在宏塊類型表示內(nèi)部預(yù)測的情況下，在切換部502中判 別色差格式指示標(biāo)志之值。在色差格式指示標(biāo)志之值表示4:2:0或4:2:2中的某一個的情 況下，按照內(nèi)部預(yù)測模式信息與內(nèi)部色差預(yù)測模式信息從預(yù)測附加信息得到3分量部分的 預(yù)測圖像127。3分量之中、亮度信號的預(yù)測圖像，按照內(nèi)部預(yù)測模式信息通過亮度信號內(nèi) 部預(yù)測部而得以生成。色差信號2分量的預(yù)測圖像，按照內(nèi)部色差預(yù)測模式信息通過進(jìn)行與亮度分量不 同處理的色差信號內(nèi)部預(yù)測部而得以生成。在色差格式指示標(biāo)志之值表示4:4:4的情況
21下，3分量所有的預(yù)測圖像按照內(nèi)部預(yù)測模式信息通過亮度信號內(nèi)部預(yù)測部而得以生成。在 色差格式指示標(biāo)志之值表示4:0:0的情況下，由于4 0 0格式僅由亮度信號(1分量)所構(gòu) 成，所以僅亮度信號的預(yù)測圖像按照內(nèi)部預(yù)測模式信息通過亮度信號內(nèi)部預(yù)測部而得以生 成。當(dāng)在切換部501中宏塊類型表示中間預(yù)測的情況下，通過切換部503對色差格式 指示標(biāo)志之值進(jìn)行判別。在色差格式指示標(biāo)志之值表示4:2:0或4:2:2中的某一個的情 況下，對于亮度信號，通過亮度信號中間預(yù)測部從預(yù)測附加信息按照活動矢量、參照圖像索 弓丨，并按照AVC規(guī)格按照所確定的亮度信號的預(yù)測圖像生成方法得以預(yù)測圖像。關(guān)于色差信號2分量的預(yù)測圖像，通過色差信號中間預(yù)測部，基于色差格式對從 預(yù)測附加信息得到的活動矢量進(jìn)行比例變換而生成色差活動矢量，并從根據(jù)預(yù)測附加信息 得到的參照圖像索引指示的參照圖像，基于上述色差活動矢量按照AVC規(guī)格所確定的方法 而生成預(yù)測圖像。在色差格式指示標(biāo)志之值表示4 0 0的情況下，由于4 0 0格式僅由亮 度信號(1分量)所構(gòu)成，所以僅亮度信號的預(yù)測圖像按照活動矢量、參照圖像索引通過亮 度信號中間預(yù)測部而得以生成。如以上那樣，由于設(shè)置生成以往的YUV4:2:0格式的色差信號的預(yù)測圖像的部件， 并依照從比特流經(jīng)過解碼的色差格式指示標(biāo)志之值切換3分量的預(yù)測圖像的生成所用的 部件，所以能夠構(gòu)成確保針對以往的YUV4:2:0格式的比特流的互換性的解碼裝置。此外，如果對供給圖20，圖21的解碼裝置的比特流106，以序列參數(shù)組等單位賦予 表示是否是如圖15的解碼裝置那樣不支持顏色空間變換處理的解碼裝置也可以解碼的比 特流的信息，則圖20，圖21、圖15的任意解碼裝置都可以進(jìn)行依照各自的解碼性能的比特 流的解碼，具有易于確保比特流的互換性的效果。實施方式8.在本實施方式8中，就在圖11或圖15等實施方式7的編碼裝置/解碼裝置中，僅 作為其輸入輸出對象的比特流之構(gòu)成不同的其它實施方式進(jìn)行敘述。本實施方式8中的編 碼裝置以圖24所示的比特流構(gòu)成來進(jìn)行編碼數(shù)據(jù)的多路復(fù)用。在圖9構(gòu)成的比特流中，AUD NAL單元包含primary_piC_type之類的信息作為其 要素。這如表所示那樣表示在AUD NAL單元開始的存取單元內(nèi)的圖片數(shù)據(jù)被編碼之際的圖 片編碼類型的信息。[表 1]Meaning of primary_pic_type (自夫lll^lli) 例如，在primary—pic—type = 0的情況下，表示圖片內(nèi)全部進(jìn)行內(nèi)部編碼。在 primary—pic _ype = 1的情況下，表示經(jīng)過內(nèi)部編碼的片、和可以僅使用一個參照圖片列 表來進(jìn)行活動補(bǔ)償預(yù)測的片能夠在圖片內(nèi)混和。由于primary—pic—type是規(guī)定一個圖片 能夠使用怎樣的編碼模式來進(jìn)行編碼的信息，所以通過在編碼裝置側(cè)對這一信息進(jìn)行操 作，就能夠進(jìn)行與輸入視頻圖像信號的性質(zhì)和隨機(jī)存取功能等種種條件相適應(yīng)的編碼。
在實施方式7中，primary_pic_type每個存取單元只有一個，所以在進(jìn)行獨立編 碼處理的時的存取單元中設(shè)primary_piC_type在3個顏色分量圖片上共通。在本實施 方式8中，在進(jìn)行各顏色分量圖片的獨立編碼情況下，在圖9的AUD NAL單元內(nèi)依照num_ pictures_in_au之值通過追加插入剩余2個顏色分量圖片部分的primary_pic_type，還 是如圖24的比特流構(gòu)成那樣，從表示顏色分量圖片之開始的NAL單元(Color Channel Delimiter)開始各顏色分量圖片的編碼數(shù)據(jù)這樣來構(gòu)成，并在此(XD NAL單元中中包含對 應(yīng)的圖片的primary_piC_type信息這樣來構(gòu)成。此外，實施方式8的(XD NAL單元的概念 與圖4所公開的概念等價。在這一構(gòu)成中，由于各顏色分量圖片的編碼數(shù)據(jù)是一幅圖片部分匯集起來進(jìn)行多 路復(fù)用，所以實施方式7中所述的顏色分量識別標(biāo)志(c0l0r_channel_idc)包含在(XD NAL 單元中而不是片首標(biāo)。由此，就能夠?qū)⑿枰槍Ω髌亩嗦窂?fù)用的顏色分量識別標(biāo)志的信 息總括在圖片單位的數(shù)據(jù)中，具有能夠削減附加信息的效果。另外，檢測作為字節(jié)串而構(gòu)成的CCD NAL單元對每個顏色分量圖片驗證一次 color_channel_idc即可，能夠快速地找到顏色分量圖片的開頭而不用進(jìn)行可變長度解碼 處理，所以在解碼裝置側(cè)，因?qū)⒔獯a對象的NAL單元對每個顏色分量分離，故即便不逐一驗 證片首標(biāo)中的colorjharmelidc也可，能夠順利地進(jìn)行向第2圖片解碼部的數(shù)據(jù)供給。另一方面，在這種構(gòu)成中，如實施方式7的圖12所述那樣的、降低編碼裝置的緩沖 器大小、處理延遲的效果減弱，所以還可以構(gòu)成為在更高位的層級(序列或G0P)中對顏色 分量識別標(biāo)志按片單位進(jìn)行多路復(fù)用、還是按顏色分量圖片單位進(jìn)行多路復(fù)用進(jìn)行信號傳 輸。通過采用這種比特流構(gòu)成，編碼裝置就可以依照其利用形態(tài)進(jìn)行靈活的實裝。實施方式9.進(jìn)而，作為其他實施方式，還可以通過圖25所示的比特流構(gòu)成來進(jìn)行編碼數(shù)據(jù)的 多路復(fù)用。在該圖中，圖24中包含于CCD NAL單元的color_channel_idc，primary_pic_ type包含在各AUD中。在本實施方式9中的比特流構(gòu)成下，即便在獨立編碼處理的情況下 也是在一個存取單元中包含一個(顏色分量)圖片這樣來構(gòu)成。即，在圖25中定義為1圖 片(1顏色分量)=1存取單元。即便在這種構(gòu)成中，能夠?qū)㈩伾至孔R別標(biāo)志的信息總括在圖片單位的數(shù)據(jù)中而 帶來的附加信息的削減效果，另外，檢測作為字節(jié)串而構(gòu)成的AUD NAL單元對每個圖片驗證 一次c0l0r_channel_idc即可、并能夠快速地找到顏色分量圖片的開頭而不用進(jìn)行可變長 度解碼處理，所以在解碼裝置側(cè)，因?qū)⒔獯a對象的NAL單元對每個顏色分量分離，故能夠順 利地進(jìn)行向第2圖片解碼部的數(shù)據(jù)供給而不用逐一驗證片首標(biāo)中的colorjharmelidc。另一方面，由于1幀或1半幀的圖像由3個存取單元所構(gòu)成，所以需要指定3個存 取單元是同一時刻的圖像數(shù)據(jù)。因此，還能夠在圖25的比特流構(gòu)成下，進(jìn)而在AUD之中賦 予各圖片的序列編號(時間方向的編碼/解碼順序等)這樣來構(gòu)成。根據(jù)這種構(gòu)成，在解碼裝置側(cè)就可以驗證各圖片的解碼/顯示順序或顏色分量 屬性、IDR的是非等而根本不用對片數(shù)據(jù)進(jìn)行解碼，可以高效率地進(jìn)行比特流層級的編輯和 特殊再生。另外，在圖9、圖24或圖25的比特流構(gòu)成中，還可以構(gòu)成為在AUD或(XD的區(qū)域保 存指定一個顏色分量圖片所包含的片NAL單元的個數(shù)的信息。
此外，對于上述所有的實施方式，變換處理、逆變換處理即可以是如DCT那樣保證 正交性的變換，也可以是如AVC那樣的嚴(yán)格而言不是諸如DCT的正交變換而是與量化/逆 量化處理組合起來近似正交性的變換。另外，還可以是不進(jìn)行變換地將預(yù)測誤差信號作為 像素層級的信息來進(jìn)行編碼這樣的構(gòu)成。
權(quán)利要求
一種圖像編碼裝置，對4:4:4格式的彩色圖像進(jìn)行壓縮編碼，生成比特流，所述圖像編碼裝置的特征在于將表示對4:4:4格式的各顏色分量的信號是否以4:0:0格式獨立地進(jìn)行編碼的識別信息多路復(fù)用于比特流，并且在該識別信息表示對各顏色分量的信號以4:0:0格式獨立地進(jìn)行編碼的情況下，把4:4:4格式的各顏色分量獨立地作為4:0:0格式的圖片進(jìn)行編碼。
2.一種圖像編碼方法，對4:4:4格式的彩色圖像進(jìn)行壓縮編碼，生成比特流，所述圖像 編碼方法的特征在于將表示對4:4:4格式的各顏色分量的信號是否以4 0 0格式獨立地進(jìn)行編碼的識別信 息多路復(fù)用于比特流，并且在該識別信息表示對各顏色分量的信號以4:0:0格式獨立地進(jìn)行編碼的情況下， 把4 4 4格式的各顏色分量獨立地作為4 0 0格式的圖片進(jìn)行編碼。
3.一種對由多個顏色分量組成的輸入圖像信號進(jìn)行壓縮處理的圖像編碼方法，其特征 在于將通過對上述多個顏色分量組成的輸入圖像信號中的各顏色分量的輸入圖像信號獨 立地進(jìn)行編碼處理而得到的編碼數(shù)據(jù)、和表示上述編碼數(shù)據(jù)是針對哪個顏色分量的數(shù)據(jù)的 參數(shù)多路復(fù)用于比特流。
4.一種對由多個顏色分量組成的輸入圖像信號進(jìn)行壓縮處理的圖像編碼裝置，其特征 在于具備將通過對上述多個顏色分量組成的輸入圖像信號中的各自顏色分量的輸入圖像 信號獨立地進(jìn)行編碼處理而得到的編碼數(shù)據(jù)、和表示上述編碼數(shù)據(jù)是針對哪個顏色分量的 數(shù)據(jù)的參數(shù)多路復(fù)用于比特流的多路復(fù)用部件。
5.一種圖像編碼比特流，是對由多個顏色分量組成的輸入圖像信號進(jìn)行壓縮編碼的結(jié) 果所生成的比特流，其特征在于按片單位構(gòu)成上述多個顏色分量組成的輸入圖像信號中的各顏色分量的輸入圖像信 號的壓縮數(shù)據(jù)，在該片的標(biāo)題區(qū)域中多路復(fù)用了表示該片數(shù)據(jù)是否包含某個顏色分量的壓 縮數(shù)據(jù)的參數(shù)。
全文摘要
在對3個顏色分量使用4:0:0格式進(jìn)行了編碼處理的情況下，可以將一幅圖片部分的數(shù)據(jù)包含在一個存取單元中，同時還可以在各自顏色分量間使時間信息一致、使編碼模式一致。在對多個顏色分量組成的輸入圖像信號進(jìn)行壓縮處理的圖像編碼方式中，將通過對各自顏色分量的輸入圖像信號獨立地進(jìn)行編碼處理而得到的編碼數(shù)據(jù)、和表示上述編碼數(shù)據(jù)是針對哪個顏色分量的參數(shù)多路復(fù)用于比特流。另外，在將多個顏色分量組成的圖像信號經(jīng)過壓縮的比特流作為輸入來進(jìn)行解碼處理的圖像解碼方式中，使用表示是針對哪個顏色分量的編碼數(shù)據(jù)的參數(shù)來進(jìn)行各自顏色分量的編碼數(shù)據(jù)的解碼處理。
文檔編號H04N7/26GK101931801SQ20091022590
公開日2010年12月29日 申請日期2006年6月19日 優(yōu)先權(quán)日2005年9月20日
發(fā)明者關(guān)口俊一, 出原優(yōu)一, 守屋芳美, 山田悅久, 杉本和夫, 村上篤道, 淺井光太郎 申請人:三菱電機(jī)株式會社