專利名稱：參考圖像選擇方法以及裝置的制作方法
技術領域：
本發(fā)明涉及能使用于所有的多媒體編碼中，尤其使用于與隔行掃描視頻源(interlace video source)的運動預測場編碼用的多個參考圖對應的視 頻編碼中。
背景技術：
未被壓縮的視頻源能以逐行掃描或者隔行掃描的掃描格式中的任一 個格式來進行捕獲。逐行掃描的掃描格式中在相同的時刻捕獲所有的取樣 線(sample line)。另一方面，在隔行掃描的掃描格式中在不同的時刻交 替地捕獲取樣線。圖l是表示場圖對(field picture pair)的說明圖。如圖 l所示，在較早的時刻t所捕獲的取樣線構成前場圖(top field picture)。 在較晚的時刻t+l所捕獲的取樣線構成后場圖(bottom field picture)。將 前場圖和與該前場圖對應的后場圖稱為場圖對。未被壓縮的場圖能采用幀 編碼或者場編碼(field coding)來進行編碼。在幀編碼中，將前場圖和后 場圖2個作為1枚圖進行編碼。在場編碼中將前場圖作為與后場圖不同的 圖來進行編碼。須指出的是，以下將場圖簡稱為場。一般而言，ISO/IEC14496—2Part 10 International Standard等視頻編碼 算法的大部分主要采用2種編碼類型。幀內編碼(intra picture coding)中在l個圖內不使用其他圖而進行。因而，只包含幀內編碼后的取樣像素的 圖被稱為幀內圖(intra picture)或者被簡稱為I圖。另一方面，幀間編碼 (interpicture coding)中，通過參考來自其他圖的取樣像素，來使用視頻 圖間的時間相關。單預測幀間圖(single-predictive inter picture)(以下稱 為P圖)是根據其他1枚圖來預測的，而雙預測幀間圖(bi-predictiveinter picture)(以下成為B圖)是根據2枚其他圖來預測的。通過視頻編碼器，根據用途的需求，靈活地利用3種圖類型(幀內、單預測、雙預測)。編碼以及解碼處理的順序(以下稱為編碼順序)，通 常不與用于源圖的捕獲順序和顯示的自解碼器輸出的順序(以下稱為顯示 順序)相同。排列編碼順序，以使幀間圖的編碼以及解碼處理，在該編碼以及解碼處理中所參考的其他編碼完畢的圖(以下稱為參考圖(reference picture))之后進行的方式，。非特許文獻1: ISO/正C14496—2Part 10 International Standard然而，在H.264 (MPEG—4AVC)中為了改善幀間編碼的編碼效率， 在編碼處理中能使用更多的參考圖。也就是，在MPEG—2中作為參考圖 可使用的圖是I圖以及P圖，與此對應，在H.264中除了I圖以及P圖之 外還可以將B圖也用作參考圖。另外，編碼器在對圖內的不同的塊進行編 碼時，也可以使用不同的參考圖。"塊"這樣的語言表示作為像素的集合 的矩形，具有4x4、 8x4以及8x16等塊尺寸。編碼器通過從很多可使用的 參考圖中按每個塊選擇最佳的參考圖，能提高編碼效率。然而，調查可使用的所有參考圖，并且按每個塊選擇最佳的參考圖， 從編碼效率的觀點出發(fā)是理想的，但是從處理量的觀點出發(fā)不理想的。尤 其在隔行掃描的掃描格式中，第2個以后的B圖、也就是可參考編碼完畢 的B圖(尤其后場)的B圖，具有多個可參考的圖，所以選擇最佳的參考 圖的處理量大，為此的參考存儲器的管理也復雜。圖2A表示圖的編碼順序的一個例子。圖2B表示該相同的圖的顯示 順序。場對200以及206是I圖或者P圖之一。場對212以及218是B圖。 在這些場中，在后場222的編碼中可參考的場的數量比之前編碼的場202、 204、 '"216、 220更多。在后場222的各塊的編碼中，能將場202、 204、 214、 216或者220中的1個用于第1方向的參考，并且能將場208或者 210中的1個用于第2方向的參考。視頻編碼器在后場222的編碼處理中， 選擇l枚參考場(單預測編碼的情況下)、或者2枚參考場(雙預測編碼 的情況下)作為各塊的預測參考。后場222的編碼中的參考圖的選擇，必須維持良好的視頻畫質的同時 使編碼效率成為最適。作為該選擇的方法之一有如上所述那樣調查可使用 的所有參考圖的方法?？上У氖窃摲椒ㄖ兄貜蛣幼骰虼鎯ζ髟L問很多，非 常復雜。因而，從處理量的觀點以及參考存儲器的管理的觀點出發(fā)，應用該方法是不太理想的。為了減少處理量，有通過編碼器，僅僅調查所有的可利用的參考圖中 的1個適當的子集的方法。將屬于該子集的圖以下稱為參考圖候補(reference picture candidate)。例如，如圖2B所示，將從可用作編碼對 象的后場222的參考圖的所有的圖中除去前場220后的子集作為參考圖候 補。通過這樣，能降低用于選擇最佳的參考圖的處理量。然而，反過來如 果除去的圖是最佳的參考圖，則無法充分地提高編碼效率。僅僅調查子集 的方法從減少處理量的觀點出發(fā)是理想的，但是從編碼效率的觀點出發(fā)是 不太理想的。發(fā)明內容本發(fā)明目的在于提供一種減少確定參考圖的處理量，而且，達到與沒 有參考圖候補的限制的情況相同程度的編碼效率的參考圖選擇方法、以及 裝置。為了上述課題，本發(fā)明的參考圖選擇方法，在隔行掃描視頻的編碼中 選擇用于編碼對象的后場的參考圖，采用在編碼順序上所述編碼對象的后 場之前的特定場，預測所述編碼對象的后場的運動的大小，根據所預測的 運動的大小，設定適合對所述編碼對象的后場進行編碼的參考圖候補，從 所設定的參考圖候補中選擇所述編碼對象的后場的參考圖。根據該構成，第一，不需要調査可參考的所有的圖，只要僅僅調查參 考圖候補即可，所以，能減少用于確定參考圖的處理量。第二，根據所預 測的運動的大小，設定適合對編碼對象的后場進行編碼的參考圖候補，所 以，能達到與沒有參考圖候補的限制的情況相同程度的編碼效率。這里，也可以在所述參考圖候補的設定中，根據所述運動的大小的預 測結果，使時間上鄰近場(temporally nearest field)以及空間上鄰近場 (spatially nearest field)中的一方包含在所述參考圖候補中，所述時間上 鄰近場也可以是與所述編碼對象場相同的場對內的前場，所述空間上鄰近 場也可以是在編碼順序上所述編碼對象場的往前第一個雙預測編碼場對 內的后場。根據該構成，能根據運動的大小，將時間上鄰近場以及空間上鄰近場自適應地設定為參考圖候補。這里，所述特定場也可以是在編碼順序上所述編碼對象的后場之前的 場對內的后場，第1參考圖也可以是與所述特定場相同的場對內的前場， 第2參考圖也可以是在編碼順序上所述特定場的往前第一個場對內的后 場，在所述運動的大小的預測中，也可以在所述特定場的編碼中，對采用 了所述第1參考圖的塊的個數即第1計數數目和采用了所述第2參考圖的塊的個數即第2計數數目進行計數，也可以計算所述第1計數數目與所述 第2計數數目之比或者之差分，作為所述編碼對象的后場的運動的大小。根據該構成，通過根據從特定場(這里，在編碼順序上所述編碼對象 的后場之前的場對內的后場)的編碼的過程中可容易取得的信息(表示參考圖的信息)來計數第1以及第2計數數目，從而能以簡單的處理預測編 碼對象的后場的運動的大小。將運動的大小作為第1計數數目與第2計數 數目之比(或者差分)、也就是參考了第1參考圖的次數與參考了第2參 考圖的次數之比(或者差分)，能適當地預測。也就是，該比或者差分越 大，則預測為運動越大。這里，也可以在所述參考圖候補的設定中，將所述第l計數數目與所 述第2計數數目之比或者之差分與閾值進行比較，根據所述比較結果，使 時間上鄰近場以及空間上鄰近場中的一方包含在所述參考圖候補中。根據該構成，通過采用了閾值的比較處理這樣的簡單的處理，能適當 地設定參考圖候補。這里，所述特定場也可以是在編碼順序上從所述編碼對象的后場所屬 的場對起往前第N個場對內的后場，所述N也可以從1至3中選出。根據該構成，通過采用在編碼順序上從編碼對象的后場所屬的場對起 往前第N個場對內的后場，從而能簡單地預測編碼對象的后場的運動。這里，所述特定場是在編碼順序上所述編碼對象的后場之前的前場， 在所述運動的大小的預測中，也可以在所述特定場的編碼中，對幀內編碼 后的塊的個數即第1計數數目和在幀內以外編碼后的塊的個數即第2計數 數目進行計數，計算所述第1計數數目與所述第2計數數目之比或者之差 分，作為所述編碼對象的后場的運動的大小。根據該構成，通過根據從特定場(這里，在編碼順序上所述編碼對象的后場之前的前場)的編碼的過程中可容易取得的信息(表示是否是幀內 編碼的信息)來計數第1以及第2計數數目，從而能以簡單的處理預測編 碼對象的后場的運動的大小。將運動的大小作為第1計數數目與第2計數 數目之比(或者差分)、也就是幀內編碼后的塊的個數與不是幀內編碼后 的塊的個數之比(或者差分)，能適當地預測。這里，也可以在所述參考圖候補的設定中，將所述第l計數數目與所 述第2計數數目之比或者之差分與閾值進行比較，根據所述比較結果，使 時間上鄰近場以及空間上鄰近場中的一方包含在所述參考圖候補中。根據該構成，根據該構成，通過采用了閾值的比較處理這樣的簡單的 處理，能適當地設定參考圖候補。這里，所述特定場也可以是在編碼順序上從所述編碼對象的后場所屬的場對起往前第N個場對內的后場，所述N也可以從0至3中選出。根據該構成，通過采用在編碼順序上從編碼對象的后場所述的場對起 往前第N個前的場對內的前場，能簡單地預測編碼對象的后場的運動。這里，所述特定場也可以是第1場、第2場之一，所述第1場也可以 是在編碼順序上所述編碼對象的后場之前的場對內的后場，所述第2場也 可以是該場對內的前場，也可以在所述運動的大小的預測中，計算第l以 及第2相關性，作為所述運動的大小，第1相關性是所述編碼對象的后場 與所述第1場之間的相關性，第2相關性是所述編碼對象的后場與所述第 2場之間的相關性，也可以在所述參考圖候補的設定中，根據第l相關性 與第2相關性之比或者之差分，設定為所述參考圖候補。根據該構成，通過計算第1相關性和第2相關性，能預測編碼對象的 后場的運動的大小。這里，也可以在所述參考圖候補的設定中，根據第1相關性與第2相 關性之比或者之差分，使時間上鄰近場以及空間上鄰近場中的一方包含在 所述參考圖候補中。根據該構成，通過2個相關性的比較這樣的簡單的處理，能適當地設 定參考圖候補。這里，所述特定場也可以是第l場、第2場之一，所述第l場也可以 是在編碼順序上所述編碼對象的后場之前的場對內的前場，所述第2場也可以是該場對內的后場，也可以在所述運動的大小的預測中，生成所述第 l場、所述第2場和所述編碼對象的后場各自的縮小圖像，采用縮小圖像， 檢測出編碼對象的后場相對于所述第l場的運動，采用縮小圖像，檢測出 編碼對象的后場相對于所述第2場的運動。根據該構成，通過采用第l、第2場以及所述編碼對象的后場各自的 縮小圖像進行檢測，從而能預測編碼對象的后場的運動的大小。這里，也可以在所述參考圖候補的設定中，基于所檢測出的2個運動，使時間上鄰近場以及空間上鄰近場中的一方包含在所述參考圖候補中。 根據該構成，通過從縮小圖像中所得到的運動的比較這樣的簡單的處理，能適當地設定參考圖候補。這里，所述編碼對象的后場也可以屬于可參考雙預測幀間編碼后的圖的場對，也可以在所述參考圖候補的設定中，根據所預測的運動，選擇由從可參考的所有的圖中選出的參考圖候補構成的第1子集以及第2子集中的一方，所述第1子集包含時間上鄰近場而不包含空間上鄰近場，所述第2子集包含空間上鄰近場而不包含時間上鄰近場，所述時間上鄰近場是與 所述編碼對象場相同的場對內的前場，所述空間上鄰近場是在編碼順序上 所述編碼對象場的往前第一個雙預測編碼場對的后場。根據該構成，根據所預測的運動，能從第1子集和第2子集中將更適 合的子集自適應地設定為參考圖候補。這里，所述參考圖選擇方法，進一步，當在參考圖候補中包含時間上 鄰近場時，向該時間上鄰近場賦予以最小的位數表示的參考索引，當在參 考圖候補中包含空間上鄰近場時，向該空間上鄰近場賦予以最小的位數表 示的參考索引。根據該構成，在參考圖候補中可能最常用的時間上鄰近場或者空間上 鄰近場，被分配最小位數的參考索引，所以能提高編碼效率。另外，本發(fā)明的圖像編碼方法、程序、半導體裝置、圖像編碼裝置、 流數據與上述同樣地構成，能產生同樣的作用效果。發(fā)明效果根據本發(fā)明，能減少用于確定隔行掃描視頻的編碼中參考圖的處理 量，而且，能達到與沒有參考圖候補的限制的情況相同程度的編碼效率。


圖1是表示場圖對的說明圖。圖2A表示圖的編碼順序的一個例子。 圖2B表示圖2A的圖的顯示順序。圖3A是表示由參考圖候補構成的第1子集的一個例子的圖。 圖3B是表示由參考圖候補構成的第2子集的一個例子的圖。 圖3C是表示在第2子集中從參考圖候補中排除的圖的一個例子的圖。 圖4是表示實施方式1中的圖像編碼裝置的主要部分的構成的方框圖。 圖5是表示與參考圖選擇方法以及圖像編碼裝置相關的圖(編碼順序) 的例子的圖。圖6是表示圖像編碼裝置中的編碼以及參考圖設定處理的流程圖。圖7是詳細地表示圖6中的分析處理的流程圖。圖8是詳細地表示圖6中的參考圖候補設定處理的流程圖。圖9是表示在實施方式2中圖像編碼裝置中的編碼以及參考圖設定處理的流程圖。圖IO是詳細地表示圖9中的分析處理的流程圖。圖11是表示在實施方式3中圖像編碼裝置中的編碼以及參考圖設定處理的流程圖。圖12'是詳細地表示圖11中的參考圖候補設定處理的流程圖。 圖13是表示實施方式4中的編碼以及參考圖設定處理的流程圖。 圖14A是表示被賦予了空間上鄰近場的參考索引(index) refjdx的 例子的圖。圖14B是表示被賦予了時間上鄰近場的參考索引refjdx的例子的圖。 圖15是表示圖13中的參考索引設定處理的細節(jié)的流程圖。 圖16是表示實施方式4中的編碼以及參考圖設定處理的其他例子的 流程圖。圖17是表示實施方式4中的編碼以及參考圖設定處理的另外其他例 子的流程圖。圖18表示實施方式5中的參考圖選擇方法以及圖像編碼方法中所采用的編碼順序的圖的一個例子。圖19是表示在實施方式5中圖像編碼裝置中的編碼以及參考圖設定 處理的流程圖。圖20是表示在實施方式6中圖像編碼裝置中的編碼以及參考圖設定處理的流程圖。圖21表示在實施方式7中參考圖選擇方法以及圖像編碼方法中所采 用的編碼順序的圖的 一個例子。圖22是表示在實施方式7中圖像編碼裝置中的編碼以及參考圖設定 處理的流程圖。圖23是表示在實施方式8中圖像編碼裝置中的編碼以及參考圖設定 處理的流程圖。圖24表示在實施方式9中參考圖選擇方法以及圖像編碼方法中所采 用的編碼順序的圖的一個例子。圖25是表示在實施方式9中圖像編碼裝置中的編碼以及參考圖設定 處理的流程圖。圖26是表示在實施方式10中圖像編碼裝置中的編碼以及參考圖設定 處理的流程圖。符號的說明
101輸入圖存儲器 102減法器103正交變換兼量化部104可變長度編碼部107正交反變換兼反量化部108參考圖生成部109參考圖存儲器110幀間預測部111控制部304、 298、 292第1參考圖 308、 302、 296第2參考圖 310空間上鄰近場314時間上鄰近場316編碼對象后場具體實施方式
(實施方式1)在本發(fā)明的參考圖選擇方法中，采用在編碼順序上編碼對象的后場之 前的特定場，來預測編碼對象的后場的運動的大小，根據所預測的運動的 大小，設定適合對編碼對象的后場進行編碼的參考圖候補，從所設定的參 考圖候補中選擇出編碼對象的后場的參考圖。在選擇參考圖的處理中，不 需要調查可參考的所有的圖，只要僅僅調査參考圖候補即可。由此，能減 少用于確定參考圖的處理量。另外，根據所預測的運動的大小，來設定適 合對編碼對象的后場進行編碼的參考圖候補，所以能達到與沒有參考圖候 補的限制的情況相同程度的編碼效率。上述特定場根據實施方式而被定義不同的圖。在實施方式1中，特定場是指在編碼順序上編碼對象的后場之前的場對內的后場。例如，在圖5 的后場316是編碼對象場的情況下，后場310是特定場。將與所述特定場 相同的場對內的前場稱為第2參考圖。將在編碼順序上特定場的往前第一 個場對內的后場稱為第1參考圖。例如，在圖5的后場310是特定場的情 況下，前場308是第2參考圖，而后場304是第1參考圖。另外，上述編碼對象的后場的運動的大小的預測是間接地進行。也就 是，在上述預測中，在特定場的編碼中對采用了第l參考圖的塊的個數即 第l計數數目、和采用了所述第2參考圖的塊的個數即第2計數數目進行 計數，并且作為編碼對象的后場的運動的大小，計算出所述第l計數數目 與所述第2計數數目之比或者之差分。該比或者差分越小，則意味著運動 越大。須指出的是，圖5中的第1、第2參考圖的稱呼與權利要求中的第1、 第2參考圖反過來。在該情況下，應注意第l計數數目與第2計數數目之 比或者之差分的含義反過來的這一點。也就是，由于使第l、第2參考圖 的稱呼反過來，因此比或者差分越大，運動越小還是越大變得不同。即使 使第l、第2參考圖的稱呼反過來，在能預測運動的這一點上能產生相同的效果。圖3A、圖3B是表示由參考圖候補構成的第1、第2子集的一個例子 的圖。在圖3A中實線的箭頭線表示由編碼對象的后場316的編碼中所采 用的參考圖候補構成的第1子集。圖3B中實線的箭頭線表示由編碼對象 的后場316的編碼中所采用的參考圖候補構成的第2子集。在上述參考圖 候補的設定中根據所預測的運動的大小，設定了第1子集或者第2子集。前場314是在時間上與編碼對象的后場316最接近的場(稱為時間上 鄰近場)。當所預測的運動大時，優(yōu)選將時間上鄰近場作為參考圖的候補。 后場310是在空間上與編碼對象的后場316最接近的場(稱為空間上鄰近 場)。當所預測的運動小時，優(yōu)選將空間上鄰近場作為參考圖的候補。在圖3A、圖3B的例子中，第1子集包含空間上鄰近場而不包含時間 上鄰近場。第2子集包含時間上鄰近場而不包含空間上鄰近場。須指出的 是，圖3A、圖3B中虛線的箭頭線表示由前場314的編碼中所采用的參考 圖候補構成的子集。如圖3A、圖3B所示，前場3M的編碼用的子集也可 以與后場的第1、第2子集協調地選擇。圖3C是表示從第2子集中參考圖候補中排除的圖的一個例子的圖。 圖中的標注NG的實線的箭頭線意味著優(yōu)選從第2子集中排除場308、310。 由此，在編碼對象的后場的編碼中，場對306已不需要作為參考圖，所以 能從參考圖存儲器中刪除該場對306。另外，圖中的標注NG的虛線的箭 頭線也可以從前場314的編碼用的子集中排除場308、 310。通過這樣，在 前場314的編碼中也能從參考圖存儲器中刪除削除場對306。須指出的是，第1、第2子集中的參考圖候補的數量也可以2個以上。 另外，也可以使空間上鄰近場包含在雙方的子集中、而且使時間上鄰近場 包含在一方的子集中。以下，對實施方式1中的實現參考圖選擇方法的圖像編碼裝置進行說明。圖4是表示實施方式1中的圖像編碼裝置的主要部分的構成的方框 圖。如圖4所示，圖像編碼裝置具有輸入圖存儲器101、減法器102、正 交變換兼量化部103、可變長度編碼部104、正交反變換兼反量化部107、 參考圖生成部108、參考圖存儲器109、幀間預測部IIO和控制部111。輸入圖存儲器101被輸入隔行掃描視頻信號，暫時保存至少1個場對。減法器102求得來自輸入圖存儲器101的編碼對象塊與來自幀間預測 部110的預測圖像之間的差分，并且將該差分作為預測殘差輸出到正交變 換兼量化部103。正交變換兼量化部103通過對來自減法器102的預測殘差進行正交變 換，求得由頻率系數構成的系數塊，并進一步量化系數塊?？勺冮L度編碼部104通過對量化后的系數塊進行可變長度編碼，輸出 視頻流。正交反變換兼反量化部107通過對量化后的系數塊進行反量化以及正 交反變換，求得預測殘差。參考圖生成部108通過將來自正交反變換兼反量化部107和幀間預測 部110的預測圖像相加，重構編碼對象圖。參考圖存儲器109將重構后的編碼對象圖作為參考圖暫時存儲。幀間預測部IIO對編碼對象圖按每塊通過采用了參考圖109中的參考 圖的單預測或者雙預測來生成預測圖像。此時，幀間預測部110從采用上 述參考圖選擇方法由控制部111設定的參考圖候補中，按每塊選擇1個或 者2個參考圖。控制部111對圖像編碼裝置整體進行控制，尤其設定基于參考圖選擇 方法的參考圖的候補。圖5是表示與參考圖選擇方法以及圖像編碼裝置相關的圖(編碼順序) 的例子的圖。場對300、 306、 312以及318是單預測或者雙預測圖。例如， 場對300、 306、 312以及318的編碼類型是P、 B、 B、 B。假設場對300 以及306是編碼完畢、且作為參考圖己經存放在參考圖存儲器109的場對。 假設場對312是當前編碼對象。在場對300以及306之間、或者場對306 以及312之間也可以存在1以上的非參考場對。為了間接預測編碼對象場的運動的大小，對來自在編碼順序上往前第 一個參考場對306的后場310的預測信息進行分析。該分析結果表示編碼 對象場的運動的大小，并且用于確定在空間上鄰近場與時間上鄰近場中哪 一個更適合對對象場對312的后場316進行編碼。在往前第一個參考場對306的后場310的編碼中，假設以下的第1、第2參考圖可用作參考圖候補編碼順序上往前第一個參考場對306之前的參考場對300的后場304 (第l參考圖)；以及，往前第一個參考場對 306的前場308 (以下稱為第2參考圖)。上述的空間上一時間上確定， 為了作為用于對象場對312的后場316的編碼的參考圖候補，包含或者除 去對象場對312的前場314而使用。須指出的是，也可以為了在編碼順序上對象場對312后面的場對(場 對318等)的編碼，因而在以后使用上述確定。圖6是表示圖像編碼裝置中的編碼以及參考圖設定處理的流程圖。在 圖6中表示圖5所示的場308、 310、 314、 316的編碼處理、以及間接預 測編碼對象場的運動來設定參考圖候補的處理。首先，模塊400對在編碼順序上往前第一個場對306的前場308進行 編碼。接下來，模塊402采用第1以及第2參考圖作為參考圖候補，對在 編碼順序上往前第一個場對306的后場310進行編碼。后場310的預測信 息從編碼模塊402被遞交到分析模塊404。該預測信息也可以在各宏塊編 碼后、各片(slice)編碼后、或者全場編碼后被遞交。在模塊404中進行對在空間上鄰近場和時間上鄰近場中哪一個更適合 的空間上一時間上確定。基于模塊404的空間上一時間上確定，模塊406 包含或者除去對象場對312的前場314 (也即時間上鄰近場)作為用于編 碼對象場對312的后場316的參考圖候補。而且，模塊406采用所設定的 參考圖候補，在模塊408中對對象場對312的前場314進行編碼，另一方 面，模塊410對對象場對312的后場316進行編碼。在該編碼中，從參考 圖候補中按每塊選擇最佳的參考圖。圖7是詳細地表示圖6中的模塊404的分析處理流程圖。首先，模塊500將第1參考計數器以及第2參考計數器的值設為零。 接下來，模塊504判斷所輸入的片/圖的各宏塊的編碼類型。當編碼類型不 是幀間編碼的情況下，模塊518所示，繼續(xù)進行圖中的下一個宏塊的循環(huán) 處理。當編碼類型是幀間編碼的情況下(單預測或者雙預測的情況下)， 判斷宏塊內的每塊中所采用的參考圖。如4x4或者8x8的固定尺寸作為塊 的尺寸所選擇。在模塊508中判斷是否根據第1參考場預測塊。如果是，則模塊510使第l參考計數器加一，繼續(xù)進行宏塊內的下一個塊的循環(huán)處理。另一方 面，如果塊不是根據第l參考圖預測的，則模塊512判斷是否根據第2參考圖預測該塊。如果是，模塊514使第2參考計數器加一，繼續(xù)進行宏塊 內的下一個塊的循環(huán)處理。模塊518所示，本判斷處理針對所輸入的片/ 圖的多個宏塊內的所有的塊重復進行。如果判斷所有的宏塊，則模塊520將第1參考計數器的值相對第2參 考計數器的值的比率與閾值(稱為第1閾值)進行比較。該比率意味著編 碼對象后場的運動的大小的預測結果。也即，比率越小，預測為編碼對象 后場的運動越大，比率越大，預測為編碼對象后場的運動越小。當比率小 于第1閾值的情況下，確定為時間上鄰近場比空間上鄰近場更適合作為參 考圖候補。另一方面，當比率在第l閾值以上的情況下，確定為空間上鄰 近場比時間上鄰近場更適合作為參考圖候補。在本確定后，結束分析處理。須指出的是，模塊520中代替上述比率，也可以采用第l參考計數器 的值與第2參考計數器的值之間的差分。在該情況下，差分越小，預測為 編碼對象后場的運動越大，差分越大，預測為編碼對象后場的運動越小。 當差分小于第2閾值(與上述比率用的第1閾值不同)的情況下，確定為 時間上鄰近場比空間上鄰近場更適合作為參考圖候補。另一方面，當差分 在第2閾值以上的情況下，確定為空間上鄰近場比時間上鄰近場更適合作 為參考圖候補。另外，在上述模塊520中，代替第1參考計數器的值相對第2參考計 數器的值的比率，也可以采用第2參考計數器的值相對第1參考計數器的 值的比率。在該情況下，只要在(第2參考計數器的值/第1參考計數器的 值)的比率大于規(guī)定的閾值的情況下，確定為時間上鄰近場更適合，在小 于規(guī)定的閾值的情況下，確定為空間上鄰近場更適合即可。圖8是詳細地表示圖6中的模塊406的參考圖候補設定處理的流程圖。 首先，模塊600將在編碼順序上往前第一個場對306的后場310 (也 即空間上鄰近場)，設定為用于編碼對象場對312的后場316的默認的參 考圖候補。在對象場對312的往前第一個場對不是參考場對時(如表示為 圖5例的場對306)，將在編碼順序上對象場對312的往前第一個最近的 參考場對的后場視為空間上鄰近場，模塊600設定為默認的參考圖候補。接下來，在模塊602中判斷空間上一時間上確定。當時間上鄰近場不 是更適合的情況下，結束參考用圖選擇方法。否則(時間上鄰近場更適合
的情況下)，對象場對312的前場314 (也即時間上鄰近場)在模塊604 中被設定為參考圖候補。
而且，模塊606從圖像處理裝置的規(guī)格、處理能力或者設定上的觀點 出發(fā)，判斷空間上鄰近場以及時間上鄰近場雙方能否同時作為參考圖候 補。如果是，則結束參考圖選擇方法。否則，模塊608將在編碼順序上往 前第一個場對306的后場310 (也即空間上鄰近場)從參考圖候補的子集 中除去，結束參考圖候補設定方法。
如上所述，根據本實施方式中的參考圖選擇方法，通過根據從特定場 (這里，在編碼順序上所述編碼對象的后場之前的場對內的后場)的編碼 的過程中可容易取得的預測信息(表示參考圖的信息)來計數第1以及第 2計數數目，從而能以簡單的處理預測編碼對象的后場的運動的大小。
作為第1計數數目與第2計數數目之比(或者差分)、也就是參考了 第1參考圖的次數與參考了第2參考圖的次數之比(或者差分)，能適當 地預測運動的大小。也就是，該比或者差分越小，則意味著運動越大。另 外，通過采用了閾值的比較處理這樣的簡單的處理，能適當地設定參考圖 候補。
由此，能減少參考圖選擇的處理量，而且能實現與沒有參考圖候補的 限制的情況相同程度的編碼效率。
須指出的是，在圖6的模塊406中也可以設定圖3A、圖3B所示的第 l子集或者第2子集。
另外，也可以使圖5中的第1參考圖與第2參考圖反過來。也就是， 也可以將前場308作為第1參考圖、將后場3042作為第2參考圖。此時， 只要使圖7所示的模塊520的Y與N反過來即可。該情況下，如果模塊 520的比率(第1參考計數器的值/第2參考計數器的值)越大，則被預測 為編碼對象后場的運動大，如果比率越小，則被預測為編碼對象后場的運 動小。
(實施方式2)
在本實施方式中，與實施方式l進行比較，不同點在于，特定場是不同的圖、以及預測信息是不同的信息。省略對相同點的說明，以下以不同 點為中心進行說明。
本實施方式中的特定場是指編碼對象的后場的往前第一個場對中所 屬的前場。另外，在實施方式1中預測信息是表示在特定場的各塊的編碼
中參考圖是第1/第2參考圖中的哪一個的信息，而在實施方式2中預測信
息是采用了用于表示在特定場的各塊的編碼中是否進行了幀內編碼的信
息o
實施方式2的圖像編碼裝置的概略構成與圖4相同。另外，與實施方 式1同樣，圖5中表示自適應參考圖選擇方法以及圖像編碼裝置中所采用 的編碼順序的圖的一個例子。為了間接預測對象場對312的后場316的運 動的大小，對在編碼順序上前面的參考場對306的前場308 (也就是特定 場)的編碼過程中所得到的預測信息進行分析。該預測信息表示在特定場 的各塊的編碼中是否進行了幀內編碼。分析結果用于間接表示編碼對象后 場的運動的大小，并且利用于空間上一時間上(spatial—temporal)確定。 該空間上一時間上確定，用于判定是否包含對象場對312的前場314 (也 就是時間上鄰近場)，作為用于下一次編碼對象場對312的后場316的參 考圖候補。須指出的是，同一確定也可以以后用于在編碼順序上對象場對 312之后的場對(例如，場對318)的編碼中。
圖9是表示實施方式2中的圖像編碼裝置中的編碼以及參考圖設定處 理的流程圖。圖9表示圖5所示的場308、 310、 314、 316的編碼處理、 和間接預測編碼對象場的運動來設定參考圖候補的處理。模塊400、 402、 406、 408、以及410，與實施方式l的圖6所示的相同。
首先，模塊400對在編碼順序上前面的場對306的前場308進行編碼。 前場308的預測信息從編碼模塊400轉發(fā)到分析模塊700。該預測信息表 示在特定場的各塊的編碼中是否進行了幀內編碼，也可以按每個宏塊、按 每片、或者在場整體的編碼后轉發(fā)。模塊700進行關于空間上鄰近場和時 間上鄰近場的哪一個更適合的空間上一時間上確定?；谀K700的空間 上一時間上確定，模塊406確定是否包含對象場對312的前場314 (也就 是，時間上鄰近場)，作為用于編碼對象場對312的后場316的參考圖候 補，依照確定，設定參考圖候補(或者如圖3A、 3B的子集)。在模塊402中對在編碼順序上前面的場對306的后場310進行編碼， 在模塊408中對對象場對312的前場314進行編碼。最后，模塊410采用 由模塊406所設定的參考圖候補，對對象場對312的后場316進行編碼。圖10是詳細地表示圖9中的模塊700的分析處理的流程圖。首先，模塊800將第1計數器以及第2計數器的值設定為零。接下來， 在模塊806中確認輸入片/圖中的宏塊的各塊的編碼類型。選擇4X4或8x8 這樣的固定尺寸作為塊尺寸。當編碼類型是幀內編碼的情況下，模塊808 使第l計數器加一，如模塊812所示，繼續(xù)進行宏塊中的下一個塊的塊循 環(huán)處理。當編碼類型不是幀內編碼的情況下，模塊810是第1計數器加一， 如模塊812所示，繼續(xù)進行宏塊中的下一個塊的塊循環(huán)處理。在針對宏塊 的所有的塊進行確認處理之后，如模塊814所示，繼續(xù)進行片/圖中的下一 個宏塊的循環(huán)處理。在針對所有的宏塊進行確認處理之后，模塊816對第 1計數器與第2計數器的比率、與閾值(成為第3閾值)進行比較。該比 率意味著編碼對象后場的運動的大小的預測結果。也即，比率越大，預測 為編碼對象后場的運動越大，比率越小，預測為編碼對象后場的運動越小。 第3閾值是與實施方式1中的模塊520的第1閾值不同的值。當比率大于 第3閾值的情況下，判定為時間上鄰近場比空間上鄰近場更適合。另一方 面，當比率在第3閾值以下的情況下，判定為空間上鄰近場比時間上鄰近 場更適合。在判定結果出來之后，結束分析處理。須指出的是，模塊816中，取代上述比率，也可以采用第l計數器的 值與第2計數器的值之間的差分。該差分意味著編碼對象后場的運動的大 小的預測結果。也就是，差分越大，預測為編碼對象后場的運動越大，差 分越小，預測為編碼對象后場的運動越小。當差分大于第4閾值(上述比 率用的第3閾值不同)的情況下，確定為時間上鄰近場比空間上鄰近場更 適合作為參考圖候補。另一方面，當差分在第4閾值以下的情況下，確定 為空間上鄰近場比時間上鄰近場更適合作為參考圖候補。如上所述，根據本實施方式中的參考圖選擇方法，利用在特定場(這 里，編碼對象的后場的往前第一個場對內的前場)的編碼的過程中可容易 利用的預測信息(表示是否是幀內編碼的信息)，間接預測編碼對象的后 場的運動的大小。由此，以簡單的處理能適當地設定參考圖候補。(實施方式3)在本實施方式中，與實施方式2相比，不同點在于，特定場是不同的 圖。對相同點省略說明，以下以不同點為中心進行說明。本實施方式中的特定場是指屬于與編碼對象的后場相同的場對的前場。實施方式3的圖像編碼裝置的概略構成與圖4相同。另外，與實施方 式1、 2同樣，圖5表示自適應參考圖選擇方法以及圖像編碼裝置中所采 用的編碼順序的圖的一個例子。為了間接預測編碼對象的后場316的運動的大小，對對象參考場對 312的前場314 (也就是特定場)的編碼過程中所得到的預測信息進行分 析。預測信息表示在特定場的各塊的編碼中是否進行了幀內編碼。分析結 果用于間接表示編碼對象的后場316的運動的大小，并且利用于空間上鄰 近場和時間上鄰近場中的哪一個更適合作為參考圖候補的判定(空間上一 時間上確定)中。須指出的是，同一確定也可以用于以后在編碼順序上對象場對312之 后的場對(例如，場對318)的編碼中。圖11是表示實施方式3中的圖像編碼裝置中的編碼以及參考圖設定 處理的流程圖。在同11中表示圖5所示的場314、 316的編碼處理、以及 間接預測編碼對象場的運動來設定參考圖候補的處理。模塊408以及410 與實施方式l以及2的圖6以及9所示的相同。模塊700與實施方式2的 圖9、圖IO相同。首先，在模塊408中對對象場對312的前場314進行編碼。前場314 的預測信息從編碼模塊408轉發(fā)到分析模塊700。該預測信息也可以按每 個宏塊、按每片、或者在場整體的編碼后轉發(fā)。模塊700進行關于空間上鄰近場和時間上鄰近場中的哪一個更適合的 空間上一時間上確定。基于模塊700的空間上一時間上確定，模塊900包 含或不包含對象場對312的前場314 (也就是，時間鄰近場)，作為用于 編碼對象場對312的后場316的前場314。接下來，模塊410采用由模塊 900所設定的參考圖候補，對對象場對312的后場316進行編碼。圖12是詳細地表示圖11的模塊900的參考圖候補設定處理的流程圖。首先，模塊600將在編碼順序上前面的場對306的后場310 (也就是， 空間上鄰近場)設定為用于對象場對312的后場316的編碼的參考圖候補。 當對象場對312的往前第一個場對不是參考場對(圖5的例子中表示為場 對306)的情況下，將在編碼順序上對象場對312的往前第一個最近的參 考場對的后場視為空間上鄰近場，在模塊600中設定為參考圖候補。接下來，模塊602中確認空間上一時間上確定。當時間上鄰近場不適 合的情況下，結束參考圖選擇處理。否則(時間上鄰近場適合的情況下)， 模塊604將對象場對312的前場314 (也就是，時間上鄰近場)設定為參 考圖候補。然后，結束參考圖候補設定處理。模塊600、 602以及604，與 實施方式1的圖8中所記載的內容相同。圖12與圖8不同，由于不執(zhí)行 模塊606以及608，所以不從參考圖候補中除去空間上鄰近圖。因此，最 終的參考圖候補在包含還是除去時間上鄰近圖上不同。須指出的是，在圖11的模塊900中，取代圖12的處理，也可以進行 與圖8相同的處理。根據如上所述本實施方式中的參考圖選擇方法，利用在特定場(這里， 與編碼對象的后場相同的場對內的前場)的編碼的過程中可容易利用的預 測信息(表示是否是幀內編碼的信息)，間接預測編碼對象的后場的運動 的大小。由此，以簡單的處理能適當地設定參考圖候補。 (實施方式4)在本實施方式中，說明對實施方式1至3的各個參考圖選擇方法還追 加了賦予參考索引的處理的構成。這里，參考索引是指被分配到可參考的 圖的全部或者參考圖候補的全部中的碼，為了指定流中作為參考圖實際采 用的圖而使用。另外，參考索引能按每個編碼對象的圖，被分配到可參考 的圖的全部或者參考圖候補的全部中。在賦予參考索引的處理中，當在參考圖候補中包含時間上鄰近場時， 向該時間上鄰近場賦予以最小的位數表示的參考索引，當參考圖候補中包 含空間上鄰近場時，向該空間上鄰近場賦予以最小的位數表示的參考索 引。也就是，在參考圖候補中作為參考圖最常用的時間上鄰近場或者空間 上鄰近場中分配最小位數的參考索引。流包含用于指向各塊的參考圖的參 考索引，所以能縮短流的位數并進一步提高編碼效率。圖13是表示實施方式4中的編碼以及參考圖設定處理的流程圖，針對實施方式1的圖6追加了參考索引賦予處理的流程圖。圖13與圖6相 比，不同點在于，追加了模塊1100。對相同點省略說明，以不同點為中心 進行說明。在設定參考圖候補后，模塊1100分別向編碼對象后場的參考 圖候補的每一個賦予參考索引。此時，在參考圖候補中時間上鄰近場或者 空間上鄰近場中賦予以最小的位數表示的參考索引。圖14A、圖14B是表示所賦予的參考索引ref一idx的例子的圖。在圖 14A中，編碼對象的后場316的參考圖候補中空間上鄰近場310被分配了 ref—idx=0。在該例中ref—idx=0是以最小的位數表示的參考索引?？臻g上 鄰近場310以外的參考圖候補被分配其他值refjdx-l、 2、等。與此對應， 在圖14B中，編碼對象的后場316的參考圖候補中時間上鄰近場314被分 酉己了 ref—idx=0。圖15是表示圖13的模塊1100中的參考索引設定處理的細節(jié)的流程圖。首先，模塊1400中確認空間上一時間上確定。當時間上鄰近圖適合 的情況下，模塊1402變更或者重新配置多個參考圖候補的參考索引，以 使最小位數的參考索引指向時間上鄰近圖(也就是，對象場對312的前場 314)(例如圖14B)。當時間上鄰近圖不適合的情況下，模塊1404變更 或重新配置如在編碼順序上前面的參考場對306的后場310這樣的多個參 考圖候補的索引，以使最小位數的參考索引參考空間上鄰近圖(例如圖 14A)。圖16是表示實施方式4中的編碼以及參考圖設定處理的其他例子的 流程圖，是在實施方式2的圖9中追加了參考索引賦予處理的流程圖。圖 16與圖9相比，不同點在于，追加了模塊IIOO。模塊1100如同上述。圖17是表示實施方式4中的編碼以及參考圖設定處理的另外其他例 子的流程圖，是在實施方式3的圖11中追加了參考索引賦予處理的流程 圖。圖17與圖11相比，不同點在于，追加了模塊IIOO。模塊1100如同 上述。如上所述，根據本實施方式中的參考圖選擇方法，在作為參考圖候補 中參考圖能最常用的時間上鄰近場或者空間上鄰近場被分配最小位數的參考索引。流包含用于指向各塊的參考圖的參考索引，所以能縮短流的位 數并且能進一步提高編碼效率。 (實施方式5)在本實施方式中，與實施方式l相比，不同點在于，特定場是不同的 圖。對相同點省略說明，以下以不同點為中心進行說明。本實施方式中的特定場是指編碼對象的后場的往前第二個(2個前) 場對中所屬的后場。本實施方式的圖像編碼裝置的概略構成與圖4相同。圖18表示實施方式5中的參考圖選擇方法以及圖像編碼方法中所采 用的編碼順序的圖的一個例子。場對294、 300、 306、 312是例如按順序I 或者P圖、P圖、B圖、B圖。相對于編碼對象的后場316，特定場成為 后場304。與特定場相同的場對內的前場302被稱為第2參考圖。在編碼 順序上特定場304的往前第一個場對294內的后場298被稱為第1參考圖。圖19是表示圖像編碼裝置中的編碼以及參考圖設定處理的流程圖。 圖19表示圖18所示的場302、 304、 308、 310、 314、 316的編碼處理、 和間接預測編碼對象場的運動來設定參考圖候補的處理。圖19與圖6所 示的實施方式l的參考圖設定處理相比，不同點在于，記載了模塊396、 398，而模塊404從模塊398取得預測信息。圖19的模塊400 410進行 與圖6相同的處理。以下，對相同點省略而以不同點為中心進行說明。在模塊396中進行往前第二個(2個前)場對300內的前場302的編 碼。在模塊398中進行往前第二個(2個前)場對300內的后場304的編 碼。后場304的預測信息從編碼模塊398轉發(fā)到分析模塊404。該預測信 息是表示按每塊的實際編碼中所采用的參考圖的信息，也可以按每個宏 塊、按每片、或者在場整體的編碼后轉發(fā)。模塊404分析從模塊398所得到的預測信息。對模塊404、 406的細 節(jié)而言，與已說明的圖7、 8相同。如上所述，根據本實施方式中的參考圖選擇方法，與實施方式1同樣， 通過根據從特定場(這里，在編碼順序上所述編碼對象的后場之前的場對 內的后場304)的編碼的過程中可容易取得的預測信息(表示參考圖的信 息)來計數第l以及第2計數數目，從而能以簡單的處理預測編碼對象的后場316的運動的大小。將運動的大小作為第1計數數目與第2計數數目之比(或者差分)、 也就是、參考了第1參考圖的次數與參考了第2參考圖次數之比(或者差 分)，能適當地預測。該比或者差分越小，則意味著運動越大。另外，通 過采用了閾值的比較處理這樣的簡單的處理，能適當地設定參考圖候補。由此，能減少參考圖選擇的處理量，而且能實現與沒有參考圖候補的 限制的情況相同程度的編碼效率。 (實施方式6)在本實施方式中，與實施方式2相比，不同點在于，特定場是不同的 圖。對相同點省略說明，以下以不同點為中心進行說明。本實施方式中的特定場是指屬于編碼對象的后場的往前第二個(2個 前)場對的前場。本實施方式的圖像編碼裝置的概略構成與圖4相同。本實施方式中也 采用圖18所示的編碼順序的圖的一個例子進行說明。圖20是表示實施方式6中的圖像編碼裝置中的編碼以及參考圖設定 處理的流程圖。圖20表示圖18所示的場302、 304、 308、 310、 314、 316 的編碼處理、和間接預測編碼對象場的運動來設定參考圖候補的處理。圖 20與圖9所示的實施方式2的參考圖設定處理相比，不同點在于，記載了 模塊396、 398，而模塊700從模塊396取得預測信息。圖20的模塊400 410、 700進行與圖9相同的處理。以下，對相同點省略而以不同點為中心 進行說明。模塊396進行往前第二個(2個前)的場對300內的前場302的編碼。 前場302的預測信息從編碼模塊398轉發(fā)到分析模塊700。該預測信息是 表示是否按每塊進行了幀內編碼的信息，也可以按每個宏塊、按每片、或 者在場整體的編碼后轉發(fā)。模塊398進行往前第二個(2個前)的場對300 內的后場302的編碼。模塊700分析從模塊396所得到的預測信息。對模塊700、 406的細 節(jié)而言，與已說明的圖IO、 8相同。如上所述，根據本實施方式中的參考圖選擇方法，與實施方式2同樣， 通過根據從特定場(這里，在編碼順序上所述編碼對象的后場之前的場對內的前場302)的編碼的過程中可容易取得的預測信息(表示是否是幀內 編碼塊的信息)來計數第1以及第2計數數目，從而能以簡單的處理預測 編碼對象的后場316的運動的大小。將運動的大小作為第1計數數目與第2計數數目之比(或者差分)、 也就是參考了第1參考圖的次數與參考了第2參考圖的次數之比(或者差 分)，能適當地預測。該比或者差分越小，則意味著運動越大。另外，通 過采用了閾值的比較處理這樣的簡單的處理，能適當地設定參考圖候補。由此，能減少參考圖選擇的處理量，而且能實現與沒有參考圖候補的 限制的情況相同程度的編碼效率。 (實施方式7)在本實施方式中，與實施方式5相比，不同點在于，特定場是不同的 圖。對相同點省略說明，以下以不同點為中心進行說明。本實施方式中的特定場是指屬于編碼對象的后場的往前第三個(3個 前)場對的后場。圖21表示實施方式7中的參考圖選擇方法以及圖像編碼方法中所采 用的編碼順序的圖的一個例子。場對288、 294、 300、 306、 312，例如依 次是I或者P圖、P圖、P圖、B圖、B圖。相對于編碼對象的后場316, 特定場成為后場298。與特定場298相同的場對294內的前場296被稱為 第2參考圖。在編碼順序上特定場298的往前第一個場對288內的后場292 被稱為第l參考圖。圖22是表示實施方式7中的圖像編碼裝置中的編碼以及參考圖設定 處理的流程圖。圖22表示圖21所示的場290、 292、 302、 304、 308、 310、 314、 316的編碼處理、和間接預測編碼對象場的運動來設定參考圖候補的 處理。圖22與圖19所示的實施方式5的參考圖設定處理相比，不同點在 于，記載了模塊392、 394，而模塊404從模塊394取得預測信息。圖22 的模塊396 410進行與圖19相同的處理。以下，對相同點省略而以不同 點為中心進行說明。后場298的預測信息從編碼模塊394轉發(fā)到分析模塊404。該預測信 息是表示按每塊的實際編碼中所采用的參考圖的信息，也可以按每個宏 塊、按每片、或者在場整體的編碼后轉發(fā)。模塊404分析從模塊394所得到的預測信息。對模塊404、 406的細 節(jié)而言，與已說明的圖7、 8相同。如上所述，根據本實施方式中的參考圖選擇方法，能采用不同的特定 場可得到與上述各實施方式同樣的效果。 (實施方式8)在本實施方式中，與實施方式6相比，不同點在于，特定場是不同的 圖。對相同點省略說明，以下以不同點為中心進行說明。本實施方式中的特定場是指屬于編碼對象的后場的往前第三個(3個 前)場對的前場。在本實施方式中也采用圖21所示的圖例進行說明。圖23是表示實施方式8中的圖像編碼裝置中的編碼以及參考圖設定 處理的流程圖。圖23與圖20所示的實施方式2的參考圖設定處理相比、 不同點在于，記載了模塊392、 394，而模塊700從模塊392取得預測信息。 除此之外，與實施方式6同樣。如上所述，根據本實施方式中的參考圖選擇方法，采用不同的特定場 可得到與上述各實施方式同樣的效果。 (實施方式9)在上述各實施方式中采用特定場的預測信息來間接簡易地預測或者 推定編碼對象后場的運動的大小。與此對應，在本實施方式中，對通過調 查編碼對象后場與時間上鄰近場以及空間上鄰近場中的哪一個的相關性 更高，來預測編碼對象后場的運動的大小的參考圖選擇方法進行說明。圖24表示實施方式9中的參考圖選擇方法以及圖像編碼方法中所采 用的編碼順序的圖的一個例子。場對306、 312，例如依次是B圖。編碼 對象后場316與時間上鄰近場314之間的相關性能根據它們的差分簡易地 計算。同樣，編碼對象后場316與空間上鄰近場310之間的相關性能根據 它們的差分簡易地計算。圖25是表示實施方式9中的圖像編碼裝置中的編碼以及參考圖設定 處理流程圖。圖25表示圖24所示的場308、 310、 314、 316的編碼處理、 以及間接預測編碼對象場的運動來設定參考圖候補的處理(模塊720 724、 406)。模塊400、 402、 406、 408、以及410與實施方式1的圖6 所示的相同。模塊720計算往前第一個后場(空間上鄰近場)310與編碼對象后場 316之間的相關性(以下稱為空間上相關性)。這里，計算在2個場間所 對應的像素之間的差分，并且計算它們的總和作為相關性。在進行該計算 的時候，從輸入圖存儲器101讀出編碼對象后場316的各像素值，而從參 考圖存儲器109或者輸入圖存儲器101讀出空間上鄰近場310的各像素值。 空間上相關性表示上述差分的總和越小變得越高的相關性。模塊722計算出前場(時間上鄰近場)314與編碼對象后場316之間 的相關性(以下稱為時間上相關性)。該計算與模塊720同樣?？臻g上相 關性表示差分的總和越小變得越高的相關性。模塊724根據2個相關性，進行空間上一時間上確定。也即，當空間 上相關性比時間上相關性高的情況下，確定為空間上鄰近場比時間上鄰近 場更適合作為參考圖候補。相反，當時間上相關性比空間上相關性高的情 況下，確定為時間上鄰近場比空間上鄰近場更適合作為參考圖候補。模塊406如圖中已說明的那樣，根據模塊724的確定，設定空間上鄰 近場或者空間上鄰近場作為參考圖候補。如上所述，通過求得空間上相關性和時間上相關性，能預測本實施方 式的參考圖選擇方法中的編碼對象后場的運動的大小。而且，還能通過求 得差分的總和這樣的簡易的計算來實現。 (實施方式10)在實施方式9通過計算出2個相關性，來預測了編碼對象后場的運動 的大小。與此對應，在本實施方式中，對通過調查編碼對象后場與時間上 鄰近場以及空間上鄰近場中的哪一個的相關性更高，來預測編碼對象后場 的運動的大小的參考圖選擇方法進行說明對通過調查編碼對象后場的縮小圖像的運動在時間上鄰近場的縮小 圖像以及空間上鄰近場的縮小圖像中對哪一個大，來預測編碼對象后場的 運動的大小的參考圖選擇方法進行說明。圖26是表示實施方式10中的圖像編碼裝置中的編碼以及參考圖設定 處理的流程圖。圖26表示圖24所示的場308、 310、 314、 316的編碼處 理、以及間接預測編碼對象場的運動來設定參考圖候補處理(模塊730 734、 406)。模塊400、 402、 406、 408、以及410與實施方式1的圖6所示的相同。模塊730生成往前第一個后場(空間上鄰近場)310的縮小圖像，并且生成編碼對象后場316的縮小圖像，根據2個縮小圖像預測編碼對象后 場316的運動的大小(以下稱為第l運動的大小)?？s小圖像，例如也可 以是縱橫各1/2、 1/3、 1/4'"等。在運動的大小的預測中，可以按縮小圖 像中的每塊檢測出運動矢量，或者、可以采樣一些代表塊來檢測出運動矢 量。根據這樣檢測出的多個塊的運動矢量的總和、或者運動矢量的絕對值 的總和，來預測"運動的大小"。模塊732生成往前第一個前場(時間上鄰近場)314的縮小圖像，根 據該縮小圖像和編碼對象后場316的縮小圖像，預測編碼對象后場316的 運動的大小(以下稱為第2運動的大小)。運動的預測可以與上述相同。模塊734根據第1以及第2運動的大小，進行空間上一時間上確定。 也即，當第1運動的大小比第2運動的大小大的情況下，確定為空間上鄰 近場比時間上鄰近場更適合作為參考圖候補。相反，當第2運動的大小比 第1運動的大小大的情況下，確定為時間上鄰近場比空間上鄰近場更適合 作為參考圖候補。模塊406如圖8中已說明，根據模塊734的確定，設定空間上鄰近場 或者空間上鄰近場作為參考圖候補。如上所述，在本實施方式中的參考圖選擇方法中，通過采用縮小圖像， 能適當地預測編碼對象后場的運動的大小。而且，還能通過縮小圖像的運 動矢量的検出這樣的簡易的計算來實現。須指出的是，上述各實施方式所示的塊圖的各功能塊以及流程圖的各 模塊典型的是作為集成電路裝置即LSI來實現。該LSI也可以單芯片化， 也可以多芯片化(例如存儲器以外的功能塊也可以當芯片化)。這里，作 為LSI，但是還有時根據集成度的不同而稱為IC、系統(tǒng)LSI、 super LSI、 ultra LSI 。集成電路化的方法不限于LSI，還可以通過專用電路或者通用處理器 實現。在LSI制造后，也可以利用可編程的FPGA(Field Programmable Gate Array)、可重構LSI內部的電路單元的連接和設定的可重新配置處理器。當然，只要伴隨半導體技術的進步或者派生的另一技術而出現能取代LSI的集成電路化的技術，也可以采用該技術來進行功能塊的集成化。能 實現生物技術上的適應。另外，在各功能塊中僅僅將用于存放數據的單元不進行單芯片化，而也可以作為記錄介質、DRAM等另外的構成。須指出的是，上述各實施方式所示的流程圖中主要的部分還可以通過 處理器以及程序來實現。這樣，能將上述實施方式中所示的圖像編碼方法或者圖像解碼方法使 用于上述的任一個機器和系統(tǒng)中，通過這樣，能得到上述實施方式中說明 的效果。另外，本發(fā)明不限于上述實施方式，在不脫離本發(fā)明的范圍內，能進 行各種變形或者修正。須指出的是，在實施方式5至10的各參考圖設定處理中，還可以追 加向參考圖候補中時間上鄰近場或者空間上鄰近場賦予以最小的位數表 示的參考索引的參考索引設定處理(圖15)。在上述各實施方式的參考圖選擇方法中，設定了編碼對象的后場的參 考圖候補，但是除此以外，還可以進行編碼對象前場的參考圖候補的設定。 例如，也可以根據編碼對象前場的運動的大小，設定以圖3A的虛線箭頭 所示的參考圖候補的子集和以圖3B的虛線箭頭所示的參考圖候補的子集 任一個。在上述實施方式1、 4、 5、 7中，圖7所示的模塊404對采用了第1 參考圖的塊的個數即第1計數數目和采用了所述第2參考圖的塊的個數即 第2計數數目進行計數(模塊508 514)，取而代之，也可以對幀內編碼 后的塊的個數即第2計數數目和在幀內以外編碼后的塊的個數即第1計數 數目進行計數。在上述實施方式2、 3、 4、 6中、圖10所示的模塊700中對幀內編碼 后的塊的個數即第1計數數目和在幀內以外編碼后的塊的個數即第2計數 數目進行計數(模塊816 810)，取而代之，也可以對采用了第l參考圖 的塊的個數即第1計數數目和采用了所述第2參考圖的塊的個數即第2計 數數目進行計數。在該情況下，只要將第1參考圖設為位于特定場之前的 后場，將第2參考圖設為位于與第l參考圖相同的場對內的前場即可。另外，也可以使圖18、圖21中的第1參考圖與第2參考圖反過來。 也就是，將前場302、 296作為第1參考圖，將后場298、 292作為第2參 考圖。此時，只要使圖7所示的模塊520的Y與N反過來即可。該情況 下的模塊520的比率(第1參考計數器的值/第2參考計數器的值的)越大， 則預測為編碼對象后場的運動大，比率越小，則預測為編碼對象后場的運 動小。工業(yè)實用性本發(fā)明能適合于對圖像進行編碼或者解碼的編碼裝置、解碼裝置，并 且適合于進行運動圖像分發(fā)的web服務器，接收該運動圖像的網絡終端、 能記錄再生運動圖像的數碼相機、附帶相機的移動電話機、DVD錄像/播 放機、PDA、個人計算機等中。
權利要求
1、一種參考圖選擇方法，在隔行掃描視頻的編碼中選擇用于編碼對象的后場的參考圖，采用在編碼順序上所述編碼對象的后場之前的特定場，預測所述編碼對象的后場的運動的大小，根據所預測的運動的大小，設定適合對所述編碼對象的后場進行編碼的參考圖候補，從所設定的參考圖候補中選擇所述編碼對象的后場的參考圖。
2、 根據權利要求1所述的參考圖選擇方法，其特征在于，在所述參考圖候補的設定中，根據所述運動的大小的預測結果，使時 間上鄰近場以及空間上鄰近場中的一方包含在所述參考圖候補中， 所述時間上鄰近場是與所述編碼對象場相同的場對內的前場， 所述空間上鄰近場是在編碼順序上所述編碼對象場的往前第一個雙 預測編碼場對內的后場。
3、 根據權利要求2所述的參考圖選擇方法，其特征在于， 所述特定場是在編碼順序上所述編碼對象的后場之前的場對內的后場，第1參考圖是與所述特定場相同的場對內的前場，第2參考圖是在編碼順序上所述特定場的往前第一個場對內的后場，在所述運動的大小的預測中，在所述特定場的編碼中，對采用了所述第1參考圖的塊的個數即第1 計數數目和采用了所述第2參考圖的塊的個數即第2計數數目進行計數，計算所述第1計數數目與所述第2計數數目之比或者之差分，作為所 述編碼對象的后場的運動的大小。
4、 根據權利要求3所述的參考圖選擇方法，其特征在于， 在所述參考圖候補的設定中，將所述第1計數數目與所述第2計數數目之比或者之差分與閾值進行 比較，根據所述比較結果，使時間上鄰近場以及空間上鄰近場中的一方包含 在所述參考圖候補中。
5、 根據權利要求4所述的參考圖選擇方法，其特征在于，所述特定場是在編碼順序上從所述編碼對象的后場所屬的場對起往 前第N個場對內的后場，所述N從1至3中選出。
6、 根據權利要求2所述的參考圖選擇方法，其特征在于， 所述特定場是在編碼順序上所述編碼對象的后場之前的前場， 在所述運動的大小的預測中，在所述特定場的編碼中，對幀內編碼后的塊的個數即第1計數數目和 在幀內以外編碼后的塊的個數即第2計數數目進行計數，計算所述第1計數數目與所述第2計數數目之比或者之差分，作為所 述編碼對象的后場的運動的大小。
7、 根據權利要求6所述的參考圖選擇方法，其特征在于，在所述參考圖候補的設定中，將所述第1計數數目與所述第2計數數目之比或者之差分與閾值進行 比較，根據所述比較結果，使時間上鄰近場以及空間上鄰近場中的一方包含 在所述參考圖候補中。
8、 根據權利要求7所述的參考圖選擇方法，其特征在于， 所述特定場是在編碼順序上從所述編碼對象的后場所屬的場對起往前第N個場對內的后場，所述N從0至3中選出。
9、 根據權利要求2所述的參考圖選擇方法，其特征在于， 所述特定場是第1場、第2場之一，所述第1場是在編碼順序上所述編碼對象的后場之前的場對內的后場，所述第2場是該場對內的前場，在所述運動的大小的預測中，計算第1以及第2相關性，作為所述運動的大小，第1相關性是所述編碼對象的后場與所述第1場之間的相關性，第2 相關性是所述編碼對象的后場與所述第2場之間的相關性， 在所述參考圖候補的設定中，根據第1相關性與第2相關性之比或者之差分，設定為所述參考圖候
10、 根據權利要求9所述的參考圖選擇方法，其特征在于，在所述參考圖候補的設定中，根據第1相關性與第2相關性之比或者之差分，使時間上鄰近場以及 空間上鄰近場中的一方包含在所述參考圖候補中。
11、 根據權利要求2所述的參考圖選擇方法，其特征在于， 所述特定場是第1場、第2場之一，所述第1場是在編碼順序上所述編碼對象的后場之前的場對內的前場，所述第2場是該場對內的后場， 在所述運動的大小的預測中，生成所述第1場、所述第2場和所述編碼對象的后場各自的縮小圖像， 采用縮小圖像，檢測出編碼對象的后場相對于所述第1場的運動， 采用縮小圖像，檢測出編碼對象的后場相對于所述第2場的運動。
12、 根據權利要求ll所述的參考圖選擇方法，其特征在于， 在所述參考圖候補的設定中，基于所檢測出的2個運動，使時間上鄰近場以及空間上鄰近場中的一 方包含在所述參考圖候補中。
13、 根據權利要求1所述的參考圖選擇方法，其特征在于， 所述編碼對象的后場屬于可參考雙預測幀間編碼后的圖的場對， 在所述參考圖候補的設定中，根據所預測的運動，選擇由從可參考的所有的圖中選出的參考圖候補 構成的第1子集以及第2子集中的一方，所述第1子集包含時間上鄰近場而不包含空間上鄰近場， 所述第2子集包含空間上鄰近場而不包含時間上鄰近場， 所述時間上鄰近場是與所述編碼對象場相同的場對內的前場，所述空間上鄰近場是在編碼順序上所述編碼對象場的往前第一個雙 預測編碼場對的后場。
14、 根據權利要求1所述的參考圖選擇方法，其特征在于， 所述參考圖選擇方法，進一步，當在參考圖候補中包含時間上鄰近場時，向該時間上鄰近場賦予以最 小的位數表示的參考索引，當在參考圖候補中包含空間上鄰近場時，向該空間上鄰近場賦予以最 小的位數表示的參考索引。
15、 一種圖像編碼方法，包括權利要求l所述的參考圖選擇方法。
16、 一種程序，使計算機執(zhí)行權利要求1所述的參考圖選擇方法。
17、 一種圖像編碼裝置，對隔行掃描視頻進行編碼，所述圖像編碼裝置具有-預測機構，其采用在編碼順序上編碼對象的后場之前的特定場，預測所述編碼對象的后場的運動的大?。辉O定機構，其根據所預測的運動的大小，設定適合對所述編碼對象的 后場進行編碼的參考圖候補；選擇機構，其從所設定的參考圖候補中選擇所述編碼對象的后場的參 考圖；和編碼機構，其采用所選擇的參考圖，對編碼對象的后場進行編碼。
18、 一種半導體裝置，對隔行掃描視頻進行編碼， 所述半導體裝置具有預測機構，其采用在編碼順序上編碼對象的后場之前的特定場，預測 所述編碼對象的后場的運動的大??；設定機構，其根據所預測的運動的大小，設定適合對所述編碼對象的 后場進行編碼的參考圖候補；選擇機構，其從所設定的參考圖候補中選擇所述編碼對象的后場的參 考圖；禾口編碼機構，其采用所選擇的參考圖，對編碼對象的后場進行編碼。
19、 一種流數據，該流數據是表示編碼后的隔行掃描視頻的計算機可 讀取的流數據，所述流數據包含表示場對內的前場的碼和表示后場的碼；和表示被分配到所述后場可參考的多個圖的多個參考索引的索引信息， 在可參考雙預測幀間編碼后的圖的后場用的多個參考索引中，將最小的位數的參考索引必須分配給時間上鄰近場以及空間上鄰近場中的一方， 所述時間上鄰近場是與所述編碼對象場相同的場對內的前場， 所述空間上鄰近場是在編碼順序上所述編碼對象場的往前第一個雙預測編碼場對的后場。
全文摘要
本發(fā)明的參考圖選擇方法，在隔行掃描視頻的編碼中選擇用于編碼對象的后場的參考圖；采用在編碼順序上所述編碼對象的后場之前的特定場，預測所述編碼對象的后場的運動的大??；根據所預測的運動的大小，設定適合對所述編碼對象的后場進行編碼的參考圖候補，從所設定的參考圖候補中選擇所述編碼對象的后場的參考圖。
文檔編號H04N7/32GK101283600SQ20068003704
公開日2008年10月8日 申請日期2006年10月2日 優(yōu)先權日2005年10月5日
發(fā)明者林宗順, 柴原陽司, 維克托·瓦哈達尼阿, 角野真也 申請人:松下電器產業(yè)株式會社