專利名稱:圖像解碼裝置的制作方法
技術領域：
本發(fā)明涉及將壓縮圖像解碼即展開的圖像解碼裝置，特別涉及適合基于MPEG4AVC標準(Moving Picture Experts Group phase 4Advanced Video Coding，ISO14496-10)的壓縮圖像的解碼的圖像解碼技術。
背景技術：
以往在傳送運動圖像時或記錄到記錄介質中時，已知有實施遵循MPEG(Moving Picture Experts Group)標準、例如MPEG2視頻標準(ISO/IEC18818-2)及MPEG4視覺標準(ISO/IEC14496-2)的壓縮的技術，此外，還已知有將按照這些標準壓縮的圖像解碼的圖像解碼裝置。
這樣的圖像解碼裝置通過下述的步驟，對有關取入到大容量的DRAM(Dynamic Random Access Memory)等存儲器中的壓縮圖像的、進行了可變長編碼的流進行解碼，所述的步驟是將該流從存儲器讀出來進行可變長解碼，對每個宏塊(MBMarcroblock)提取運動矢量及塊數(shù)據(jù)等，對每個塊，參照根據(jù)運動矢量而確定的參照圖像，對塊數(shù)據(jù)進行相當于運動檢測的反處理的補償處理(以下將該處理稱作“運動補償處理”)，將作為運動補償處理的結果而得到的解碼圖像記錄在存儲器中。這里，被解碼而保存在存儲器中的解碼圖像組在后續(xù)的壓縮圖像的解碼時作為參照圖像組使用。
另外，以往的圖像解碼裝置為了高速進行壓縮圖像的解碼，進行使以宏塊單位進行解碼所需的各處理的各結構要素并列動作的流水線控制。
圖13是例示以往的圖像解碼裝置的流水線控制的執(zhí)行次序的圖。在該圖中，可變長解碼(VLDVariable-Length Decoder)處理單元、運動補償處理單元與DMA(Direct Memory Access，即直接存儲器存取)控制器能夠并列動作，DMA控制器在流水線控制中的作為同步周期的各周期時間內時分割來執(zhí)行下述處理將1宏塊量的可變長編碼后的流從存儲器向可變長解碼處理單元進行DMA傳送的流傳送處理；將對應于1宏塊的參照圖像從存儲器向運動補償處理單元進行DMA傳送的參照圖像傳送處理；和將通過運動補償處理單元得到的對應于1宏塊的解碼圖像向存儲器進行DMA傳送的解碼圖像傳送處理。這里，將各個周期時間也稱作時隙(TS)。
根據(jù)圖13所例示的流水線控制，設n為任意的整數(shù)，在TS＝n即第n個時隙中，由DMA控制器執(zhí)行與MB#n即第n個宏塊對應的流傳送處理；在TS＝n+1即第n+1個時隙中，由可變長解碼處理單元執(zhí)行與該宏塊對應的可變長解碼處理；在第n+2個時隙中由DMA控制器執(zhí)行與該宏塊對應的參照圖像傳送處理；在第n+3個時隙中由運動補償處理單元執(zhí)行與該宏塊對應的運動補償處理；在第n+4個時隙中由DMA控制器執(zhí)行與該宏塊對應的解碼圖像傳送處理。
這樣，以往的圖像解碼裝置設定了執(zhí)行參照圖像傳送處理、可變長解碼處理、運動補償處理等的各結構要素進行1個宏塊單位的處理所需的時間的最大值、即可滿足對圖像解碼裝置要求的1宏塊單位的解碼性能的周期時間，實施流水線控制，以使各結構要素與每個時間周期同步執(zhí)行處理。即，以往為了以1宏塊單位的處理時間為基準而最優(yōu)地進行流水線控制，用來將與各宏塊對應的參照圖像向運動補償處理單元供給的存儲器訪問即參照圖像傳送處理，分別在1個周期時間進行。另外，在MPEG2視頻標準及MPEG4視覺標準中，由于設定了對應于1個宏塊的運動矢量的數(shù)量的上限，所以通過估算與該運動矢量的數(shù)量對應的數(shù)量的參照圖像的量等，決定了有關圖像解碼裝置中的存儲器總線帶寬的必要條件。
近年來制定的MPEG4AVC標準(參照非特許文獻1)對于對象圖像具有可測量性，是以從QCIF(Quarter Common IntermediateFormat)那樣的較小的圖像到HD(High Definition)圖像那樣的較大的圖像為對象，根據(jù)圖像的大小來劃分為多個等級的內容的標準。與1個宏塊對應的運動矢量的最大值在MPEG2視頻標準中為4條，與此相對，在MPEG4AVC標準中增加為32條。由此，在運動圖像的壓縮時，能夠更有效地進行動畫的時間軸方向的冗長性的削減。但是，在與HD圖像那樣的較大的圖像對應的等級中，雖然與1個宏塊對應的運動矢量的數(shù)量增大了，但從將用來進行動畫再現(xiàn)的解碼處理的運算量禁止在一定范圍內的觀點等出發(fā)，對于其1個宏塊與其前或后的宏塊之間的運動矢量的數(shù)量合計規(guī)定了上限。
非特許文獻1ISO/IEC 14496-10 Information technology-Codingof audiovisual objects-Part 10Advanced Video Coding。
如果要使上述以往的圖像解碼裝置進行依據(jù)MPEG4AVC標準的對應于較大圖像的等級的規(guī)定而壓縮的圖像的解碼，則為了應對能夠在1個周期時間內將以往的2倍以上量的參照圖像從存儲器傳送給運動補償處理單元，需要將存儲器總線帶寬增大很多。因此，圖像保存用的大容量存儲器需要以例如更高的頻率動作，其結果，圖像解碼裝置的制造成本大幅上升。

發(fā)明內容所以，本申請是鑒于上述問題而做出的，目的是提供一種能夠將依據(jù)MPEG4AVC標準的對應于較大圖像的等級的規(guī)定而壓縮的圖像進行解碼的圖像解碼裝置、具備用來禁止需要的存儲器帶寬的結構的圖像解碼裝置。
為了解決上述課題，有關本發(fā)明的圖像解碼裝置，對每個塊進行壓縮圖像的解碼，對于根據(jù)參照圖像壓縮的塊進行包括對應于運動補償?shù)难a償處理的解碼，其特征在于，具備存儲器，保存有參照圖像組；補償單元，具有用來保存參照圖像的輸入緩沖器，參照保存在輸入緩沖器中的參照圖像，依次進行對1個塊的補償處理；參照圖像傳送單元，在各周期時間內，只要有對應于1個塊的參照圖像，就依次從上述存儲器讀出所有參照圖像，并寫入到上述輸入緩沖器中；判斷單元，在各周期時間中，判斷上述參照圖像傳送單元從上述存儲器讀出的參照圖像的總量是否比規(guī)定基準量多；禁止單元，在通過上述判斷單元判斷為多的周期時間內，禁止用來進行參照圖像的讀出的訪問以外的向上述存儲器的訪問。
這里，周期時間是周期性的規(guī)定時間量的期間，例如是流水線控制中的單位時間。
根據(jù)上述的結構，有關本發(fā)明的圖像解碼裝置在從存儲器讀出參照圖像量較多的周期時間內，由于禁止了參照圖像的讀出以外的存儲器訪問，所以能夠禁止周期時間內的最大數(shù)據(jù)傳送量，由此能夠禁止存儲器總線帶寬。
另外，在為了成本削減而限制存儲器的個數(shù)、例如使用單一的存儲器進行相當于運動檢測的逆處理的補償處理等而將運動圖像進行解碼的情況下，對于該存儲器，除了用來讀出參照圖像的存儲器訪問以外，還發(fā)生用來進行之后能夠作為參照圖像使用的解碼圖像的寫入的存儲器訪問、以及用來讀出壓縮圖像的編碼流的存儲器訪問等，根據(jù)有關本發(fā)明的圖像解碼裝置，將參照圖像的讀出以外的這些存儲器訪問的至少一部分在某個周期時間中暫時禁止。
此外，在圖像解碼裝置中，在例如根據(jù)能夠以宏塊單位等的塊單位獨立進行處理的狀況而適當?shù)剡M行流水線控制的情況下，在周期時間中需要與存儲器之間進行最大數(shù)據(jù)傳送量的傳送的是對參照圖像的傳送，此外，鑒于MPEG4AVC標準的對應于較大的圖像的等級的規(guī)定中設定了兩個宏塊量的運動矢量數(shù)的上限，對于由有關本發(fā)明的圖像解碼裝置在某個周期時間A內暫時禁止的存儲器訪問，只要在關于參照圖像的數(shù)據(jù)傳送量變少的下個周期時間B中實施就可以。因而，有關本發(fā)明的圖像解碼裝置不會因禁止了某個周期時間的存儲器訪問而發(fā)生特別的問題。
這里，也可以是，上述圖像解碼裝置還具備取得單元，該取得單元依次取得與根據(jù)參照圖像壓縮的1個塊對應的運動矢量；上述補償單元參照上述參照圖像，根據(jù)由上述取得單元取得的運動矢量，進行對塊的補償處理；上述參照圖像傳送單元傳送的、對應于1個塊的所有的參照圖像分別是根據(jù)由上述取得單元取得的對應于該塊的各運動矢量來確定的；關于在各周期時間中從上述存儲器讀出的對應于塊的參照圖像的總量是否比規(guī)定基準量多，上述判斷單元根據(jù)由上述取得單元取得的對應于該塊的運動矢量的數(shù)量是否比規(guī)定的閾值多來進行判斷。
由此，通過得到運動矢量的數(shù)量而與規(guī)定的閾值比較的簡單的結構，能夠間接地判斷參照圖像的總量是否比規(guī)定基準量多。
此外，也可以是，上述圖像解碼裝置還具備輸出緩沖器，用來保存關于由補償單元進行了補償處理后的塊的解碼圖像；解碼圖像傳送單元，依次從上述輸出緩沖器讀出關于1個塊的解碼圖像，寫入到上述存儲器中；上述禁止單元在由上述判斷單元判斷為多的周期時間內，禁止上述解碼圖像傳送單元對上述存儲器的訪問。
由此，通過將用來將一定以1宏塊單位迅速寫入到存儲器中的必要性較低的解碼圖像寫入到存儲器中的存儲器訪問作為禁止控制對象，能夠不需要特別變更分擔壓縮圖像的解碼的VLD處理單元及運動補償處理單元等的各單元間的處理時間的關系等，比較容易禁止存儲器總線帶寬。
此外，也可以是，上述輸出緩沖器的容量是能夠保存兩個塊量的解碼圖像的容量；上述解碼圖像傳送單元在由上述禁止單元禁止的周期時間的下個周期時間內，連續(xù)將關于兩個塊量的解碼圖像從上述輸出緩沖器讀出而寫入到上述存儲器中，在除此之外的周期時間內，將關于1個塊量的解碼圖像從上述輸出緩沖器讀出而寫入到上述存儲器中。
由此，由于在某個周期時間中被禁止的解碼圖像向存儲器的寫入是在參照圖像的傳送量相對較少的下個周期時間中進行，所以可在幾乎不增大幀單位的圖像的解碼時間的情況下進行壓縮圖像的解碼。
此外，也可以是，上述存儲器除了參照圖像以外，還保存有編碼流，該編碼流是將對每個塊包含有塊頭信息和塊數(shù)據(jù)而成的數(shù)據(jù)進行可變長編碼而成的，上述塊頭信息包括表示是否是根據(jù)參照圖像壓縮的塊的信息和運動矢量；上述圖像解碼裝置還具備可變長解碼單元，如果被輸入了編碼流，則進行可變長解碼；流傳送單元，從上述存儲器中依次讀出編碼流，輸入到上述可變長編碼單元中；幀內處理單元，對依次傳遞來的塊的塊數(shù)據(jù)實施不參照參照圖像的解碼處理；上述取得單元根據(jù)由上述可變長解碼單元進行了可變長解碼的結果進行上述運動矢量的取得，再將根據(jù)參照圖像壓縮的塊的、由可變長解碼單元進行了可變長解碼的結果的塊數(shù)據(jù)傳遞給上述補償單元，將沒有根據(jù)參照圖像壓縮的塊的、由可變長解碼單元進行了可變長解碼的結果的塊數(shù)據(jù)傳遞給上述幀內處理單元；在上述輸出緩沖器中，除了關于由上述補償單元進行了補償處理后的塊的解碼圖像以外，還保存有有關由上述幀內處理單元實施了解碼處理后的塊的解碼圖像。
此外，也可以是，上述存儲器除了參照圖像以外，還保存有編碼流，該編碼流是將對每個塊包含有塊頭信息和塊數(shù)據(jù)而成的數(shù)據(jù)進行可變長編碼而成的，上述塊頭信息包括表示是否是根據(jù)參照圖像壓縮的塊的信息和運動矢量；上述圖像解碼裝置還具備可變長解碼單元，如果被輸入了編碼流數(shù)據(jù)，則進行可變長解碼；流傳送單元，從上述存儲器中依次讀出編碼流，輸入到上述可變長編碼單元中；幀內處理單元，對依次傳遞來的塊的塊數(shù)據(jù)實施不參照參照圖像的解碼處理；上述取得單元根據(jù)由上述可變長解碼單元進行了可變長解碼的結果進行上述運動矢量的取得，再將根據(jù)參照圖像壓縮的塊的、由可變長解碼單元進行了可變長解碼的結果的塊數(shù)據(jù)傳遞給上述補償單元，將沒有根據(jù)參照圖像壓縮的塊的、由可變長解碼單元進行了可變長解碼的結果的塊數(shù)據(jù)傳遞給上述幀內處理單元；上述禁止單元在由上述判斷單元判斷為多的周期時間內，禁止上述流傳送單元對上述存儲器的訪問。
由此，由于每單位時間的與存儲器之間的數(shù)據(jù)傳送量一般較參照圖像低的關于編碼流的存儲器訪問成為禁止控制的對象，所以即使將在某個周期時間中被禁止的部分在下個周期時間中傳送，也不會成為必須增大存儲器總線帶寬的原因，作為禁止的結果，能夠實現(xiàn)存儲器總線帶寬的禁止。
此外，有關本發(fā)明的圖像解碼裝置，對每個塊進行壓縮圖像的解碼，對于根據(jù)參照圖像壓縮的塊進行包括對應于運動補償?shù)难a償處理的解碼，其特征在于，具備存儲器，保存有參照圖像組；補償單元，具有用來保存參照圖像的、足夠保存兩個塊量的參照圖像的容量的輸入緩沖器，參照保存在輸入緩沖器中的參照圖像，依次進行對1個塊的補償處理；參照圖像傳送單元，在連續(xù)的兩個周期時間內，只要有分別對應于兩個塊的參照圖像，就依次從上述存儲器讀出所有的參照圖像，并寫入到上述輸入緩沖器中。
由此，即使不將存儲器總線帶寬決定為能夠在1個周期時間內傳送對應于1個宏塊量的參照圖像的最大數(shù)據(jù)傳送量也可以，所以能夠相應地緩和關于存儲器總線帶寬的必要條件。
這里，也可以是，上述圖像解碼裝置還具備處理單元，該處理單元處理上述補償單元進行了補償處理后的解碼圖像；上述處理單元及上述補償單元中的1個單元與上述參照圖像傳送單元并列地在每個周期時間中進行對應于1個塊的處理，并且通過上述參照圖像傳送單元，將對應于在某個周期時間內開始傳送的塊的處理，在該周期時間的兩個后的周期時間內開始執(zhí)行。
由此，能夠在適當?shù)臅r刻處理依賴于與各宏塊對應的參照圖像的處理。
此外，有關本發(fā)明的圖像解碼方法，對于與參照圖像組一同保存到存儲器中的壓縮圖像，對每個塊進行解碼，對于根據(jù)參照圖像壓縮的塊進行包括對應于運動補償?shù)难a償處理的解碼，其特征在于，包括參照圖像傳送步驟，在各周期時間內，只要有對應于1個塊的參照圖像，就依次從上述存儲器讀出所有的參照圖像，并寫入到規(guī)定的緩沖器中；判斷步驟，在各周期時間中，判斷由上述參照圖像傳送步驟從上述存儲器讀出的參照圖像的總量是否比規(guī)定基準量多；禁止步驟，在通過上述判斷步驟判斷為多的周期時間內，禁止用來讀出參照圖像的訪問以外的、對上述存儲器的訪問；補償步驟，參照保存在上述規(guī)定的緩沖器中的參照圖像，依次進行對1個塊的補償處理。
由此，在從存儲器讀出參照圖像的量較多的周期時間內禁止了其他的存儲器訪問，所以能夠禁止有關壓縮圖像的解碼的流水線控制中的周期時間內的最大數(shù)據(jù)傳送量，由此能夠禁止存儲器總線帶寬。
此外，有關本發(fā)明的圖像解碼方法，對于與參照圖像組一同保存到存儲器中的壓縮圖像，對每個塊進行解碼，對于根據(jù)參照圖像壓縮的塊進行包括對應于運動補償?shù)难a償處理的解碼，其特征在于，并列執(zhí)行圖像傳送步驟，在連續(xù)的兩個周期時間內，只要有分別對應于兩個塊的參照圖像，就依次從上述存儲器讀出所有參照圖像，并寫入到規(guī)定的緩沖器中；補償步驟，參照保存在上述規(guī)定的緩沖器中的參照圖像，依次進行對1個塊的補償處理。
由此，在通過基本上在1個周期時間內執(zhí)行流水線階段對應于1宏塊量的處理那樣的流水線控制來實現(xiàn)壓縮圖像的解碼的情況下，對于從存儲器傳送參照圖像解除了在1周期時間內結束的制約，所以即使不將存儲器總線帶寬決定為在1個周期時間內能夠傳送對應于1宏塊量的參照圖像的最大數(shù)據(jù)傳送量也可以，能夠相應地緩和關于存儲器總線帶寬的必要條件。
此外，有關本發(fā)明的半導體集成電路，對每個塊進行壓縮圖像的解碼，對于根據(jù)參照圖像壓縮的塊進行包括對應于運動補償?shù)难a償處理的解碼，其特征在于，具備存儲器，保存有參照圖像組；補償電路部，具有用來保存參照圖像的輸入緩沖器，參照保存在輸入緩沖器中的參照圖像，依次進行對1個塊的補償處理；參照圖像傳送電路部，在各周期時間內，只要有對應于1個塊的參照圖像，就依次從上述存儲器讀出所有參照圖像，并寫入到上述輸入緩沖器中；判斷電路部，在各周期時間中，判斷上述參照圖像傳送電路部從上述存儲器讀出的參照圖像的總量是否比規(guī)定基準量多；禁止電路部，在由上述判斷電路部判斷為多的周期時間內，禁止用來進行參照圖像的讀出的訪問以外的、對上述存儲器的訪問。
在該半導體集成電路中，在從存儲器讀出參照圖像的量較多的周期時間內，禁止參照圖像的讀出以外的存儲器訪問，所以能夠禁止周期時間內的最大數(shù)據(jù)傳送量，由此能夠禁止存儲器總線帶寬。
此外，有關本發(fā)明的半導體集成電路，對每個塊進行壓縮圖像的解碼，對于根據(jù)參照圖像壓縮的塊進行包括對應于運動補償?shù)难a償處理的解碼，其特征在于，具備存儲器，保存有參照圖像組；補償電路部，具有用來保存參照圖像的、足夠保存兩個塊量的參照圖像的容量的輸入緩沖器，參照保存在輸入緩沖器中的參照圖像，依次進行對1個塊的補償處理；參照圖像傳送電路部，在連續(xù)的兩個周期時間內，只要有分別對應于兩個塊的參照圖像，就依次從上述存儲器讀出所有的參照圖像，并寫入到上述輸入緩沖器中。
在該半導體集成電路中，即使不將存儲器總線帶寬決定為在1個周期時間內能夠傳送對應于1宏塊量的參照圖像的最大數(shù)據(jù)傳送量也可以，所以能夠相應地緩和關于存儲器總線帶寬的必要條件。
圖1是有關本發(fā)明的實施方式1的圖像解碼裝置100的結構圖。
圖2是表示壓縮圖像的流數(shù)據(jù)的構造的圖。
圖3是表示宏塊與參照圖像的關系的圖。
圖4是表示控制部110對宏塊進行的解碼控制內容的流程圖。
圖5是表示控制部110進行的流水線控制的執(zhí)行次序的圖。
圖6是表示圖像解碼裝置100中的DMA傳送的控制的圖。
圖7是有關本發(fā)明的實施方式2的圖像解碼裝置500的結構圖。
圖8是表示控制部510對宏塊進行的解碼控制內容的流程圖。
圖9是表示控制部510進行的流水線控制的執(zhí)行次序的圖。
圖10是表示控制部510進行的DMA傳送指示發(fā)出處理的流程圖。
圖11是表示圖像解碼裝置500中的DMA傳送的控制的圖。
圖12是表示將除了存儲器120以外作為半導體集成電路101實現(xiàn)的圖像解碼裝置100的概況的圖。
圖13是例示以往的圖像解碼裝置中的流水線控制的執(zhí)行次序的圖。
標記說明100、500圖像解碼裝置110、510控制部111流傳送控制部
112取得部113、513參照圖像傳送控制部114、514解碼圖像傳送控制部115未輸出信息保存部116禁止判斷部117閾值存儲部120存儲器130DMA控制器140VLD處理單元140處理單元150逆頻率變換處理單元160、560運動補償處理單元161、561輸入緩沖器170幀內處理單元180解塊過濾處理單元190、590輸出緩沖器551緩沖器5具體實施方式
<實施方式1>
以下，對本發(fā)明的實施方式1的圖像解碼裝置100進行說明。
<結構>
圖1是本發(fā)明的實施方式1的圖像解碼裝置100的結構圖。
如該圖所示，圖像解碼裝置100具備控制部110、存儲器120、DMA控制器130、可變長解碼(VLD)處理單元140、逆頻率變換處理單元150、運動補償處理單元160、幀內處理單元170、解塊過濾處理單元180及輸出緩沖器190。
這里，存儲器120是用來保存將壓縮的圖像等進行可變長編碼而成的編碼流、并保存參照圖像的DRAM。另外，這里，圖像用作表示還包括一種圖像數(shù)據(jù)的概念的用語，該圖像數(shù)據(jù)表現(xiàn)所顯示的圖像內容。
DMA控制器130具有從控制部110接受伴隨著存儲器地址指定等的指示的隊列，擔負按照接受到的指示進行存儲器120與VLD處理單元140、運動補償處理單元160或輸出緩沖器190之間的數(shù)據(jù)傳送的功能。
VLD處理單元140具有如下的功能如果被輸入了將壓縮圖像的流數(shù)據(jù)進行可變長編碼而成的編碼流，則將編碼流進行可變長解碼，從壓縮圖像的流數(shù)據(jù)中提取宏塊類型與運動矢量，傳遞給控制部，并且提取宏塊的實體即表現(xiàn)頻率變換后的所謂的差值的塊數(shù)據(jù)，傳遞給逆頻率變換處理單元150。另外，如圖2中表示數(shù)據(jù)構造那樣，壓縮圖像的流數(shù)據(jù)構成為，接著表示I圖像、P圖像、B圖像的圖像類型等的條頭210而對每個宏塊連接宏塊頭220及塊數(shù)據(jù)230。該宏塊頭220包括表示是根據(jù)參照圖像以幀間模式壓縮的幀間宏塊、還是不基于參照圖像而以幀內模式壓縮的幀內宏塊的區(qū)別的宏塊類型、和運動矢量。
逆頻率變換處理單元150具有輸出對從VLD處理單元140傳遞來的塊數(shù)據(jù)進行逆頻率變換而得到的差值的功能。
運動補償處理單元160具有輸入緩沖器161，具有如下的功能通過根據(jù)存儲在輸入緩沖器161中的參照圖像計算1/4像素(Quarter-PEL)精度的圖像，并將計算出的圖像與關于逆頻率變換處理單元150輸出的宏塊的差值相加，執(zhí)行再構成圖像的補償處理即相當于所謂的運動補償?shù)哪嫣幚淼奶幚?這里稱作“運動補償處理”)。
幀內處理單元170具有實施幀內處理的功能，即通過將逆頻率變換處理單元150輸出的關于該宏塊的差值與該宏塊的周邊圖像相加來再構成圖像的功能。
解塊過濾處理單元180具有對運動補償處理單元160或幀內處理單元170輸出的再構成圖像實施解塊過濾處理的功能，即通過施加用來禁止塊噪音的解塊過濾來得到解碼圖像、并向輸出緩沖器190送出的功能。
輸出緩沖器190是具有足夠將解碼圖像保存兩個宏塊量的容量的緩沖器存儲器。
此外，控制部110在硬件方面包括處理器、ROM(Read OnlyMemory)、定時器等而構成，通過處理器執(zhí)行保存在ROM中的程序，實現(xiàn)使圖像解碼裝置100的各結構要素在規(guī)定的每個周期時間并列地進行有關宏塊單位的解碼的各處理的流水線控制，具體而言，控制DMA控制器130、VLD處理單元140、逆頻率變換處理單元150、運動補償處理單元160、幀內處理單元170及解塊過濾處理單元180，作為功能方面的結構要素，具有流傳送控制部111、取得部112、參照圖像傳送控制部113、解碼圖像傳送控制部114及禁止判斷部116。
這里，流傳送控制部111具有如下的功能進行對DMA控制器130的指示，以使編碼流從存儲器120向VLD處理單元140傳送。
取得部112具有如下的功能從VLD處理單元140取得運動矢量及宏塊類型并傳遞給參照圖像傳送控制部113，計運動矢量的數(shù)量，并將該運動矢量的數(shù)量傳遞給禁止判斷部116。
參照圖像傳送控制部113具有如下的功能在宏塊類型為幀內宏塊的情況下，根據(jù)各運動矢量確定參照圖像的位置，指定各參照圖像的地址，進行向DMA控制器130的指示，以使其在各周期時間，將對應于1個宏塊的所有的參照圖像從存儲器120向運動補償處理單元160的輸入緩沖器161傳送。
解碼圖像傳送控制部114包括保存表示在1個周期時間內是否從輸出緩沖器190被送出到存儲器120的信息的未輸出信息保存部115，具有如下的功能進行向DMA控制器130的指示，以使其將輸出緩沖器190內的解碼圖像向存儲器120傳送。
禁止判斷部116包括預先存儲有有關運動矢量數(shù)的閾值的閾值存儲部117，具有如下的功能將從取得部112傳遞來的運動矢量的數(shù)量與該閾值比較，來判斷運動矢量的數(shù)量是否超過了閾值，根據(jù)判斷結果來禁止解碼圖像傳送控制部114進行向存儲器120的傳送指示。另外，禁止判斷部116中的運動矢量的數(shù)量是否超過閾值的判斷成為間接地判斷對應于該運動矢量的參照圖像的數(shù)據(jù)傳送量是否比規(guī)定量多；在某個周期時間中的參照圖像的數(shù)據(jù)傳送量比規(guī)定量多的情況下，禁止判斷部116禁止指示在該周期時間中向存儲器120寫入解碼圖像。
圖3是表示宏塊與參照圖像的關系的圖。
劃分壓縮圖像300而成的多個宏塊由亮度信號和色差信號構成，在該圖中表示了亮度信號，亮度信號是1個宏塊16像素×16像素的信號。在1個宏塊311與參照圖像320中的一部分參照圖像321類似的情況下，運動矢量301表示宏塊311與參照圖像321的空間位置之差，其中，參照圖像320是處于與壓縮圖像300不同時間的圖像幀。另外，參照圖像320相當于參照圖像321等的部分參照圖像的集合。
另外，在閾值存儲部117中存儲有閾值S，該閾值S是滿足下面的式1中的最小整數(shù)。
f(S)≥f(V-S)+C這里，函數(shù)f(x)是表示運動矢量的數(shù)量為x時的參照圖像的總比特量的函數(shù)，V是橫跨連續(xù)的兩個宏塊的運動矢量的上限數(shù)，C是1宏塊量的解碼圖像的總比特量。
因而，通過基于閾值S的判斷，進行DMA傳送圖像的參照圖像的量是否比f(V-S)+C以上的規(guī)定量多的判斷。
<動作>
以下，就控制部110的控制的流程，說明具備上述結構的圖像解碼裝置100以宏塊單位進行的圖像解碼的動作。
控制部110決定構成壓縮圖像的各宏塊中的依次作為解碼對象的宏塊，通過流水線控制在各周期時間內分別使圖像解碼裝置100的各結構要素依次處理6個宏塊的任一個，而這里首先說明對1個宏塊實施怎樣的處理。
圖4是表示控制部110對宏塊進行的解碼控制內容的流程圖。
首先，控制部110的流傳送控制部111對DMA控制器130發(fā)出傳送指示，以使其將編碼流從存儲器120向VLD處理單元140傳送(步驟S11)。通過隊列接受到該編碼流的傳送指示的DMA控制器130進行1個宏塊量的編碼流的傳送。
控制部110啟動VLD處理單元140(步驟S12)，VLD處理單元140從編碼流中提取運動矢量和宏塊類型而傳遞給取得部112，并且提取塊數(shù)據(jù)而傳遞給逆頻率變換處理單元150。
控制部110啟動逆頻率變換處理單元150(步驟S13)，逆頻率變換處理單元150對塊數(shù)據(jù)實施逆頻率變換并輸出。
控制部110判斷有關宏塊的宏塊類型是幀間宏塊還是幀內宏塊(步驟S14)，如果是幀間宏塊，則控制部110的取得部112將運動矢量傳遞給參照圖像傳送控制部113，參照圖像傳送控制部113通過根據(jù)宏塊的位置和各運動矢量計算各參照圖像的位置來計算各參照圖像在存儲器120內的地址(步驟S15)，指定該地址并對DMA控制器130發(fā)出指示以使其將參照圖像從存儲器120傳送給輸入緩沖器161(步驟S16)，啟動運動補償處理單元160(步驟S17)，啟動解塊過濾處理單元180(步驟S18)。通過隊列接受到該步驟S16的參照圖像的傳送指示的DMA控制器130將對應于1個宏塊的所有的參照圖像傳送給輸入緩沖器161。
此外，作為步驟S17的結果，運動補償處理單元160根據(jù)輸入緩沖器161內的參照圖像和逆頻率變換后的塊數(shù)據(jù)，再構成圖像，向解塊過濾處理單元180送出，此外，作為步驟S18的結果，解塊過濾處理單元180禁止再構成的圖像的塊噪音，儲存到輸出緩沖器190中。
另一方面，在步驟S14中，在判斷出有關宏塊的宏塊類型是幀內宏塊的情況下，控制部110跳過步驟S15～S17而啟動幀內處理單元170(步驟S19)，啟動解塊過濾處理單元180(步驟S18)。作為該步驟S19的結果，幀內處理單元170根據(jù)逆頻率變換后的塊數(shù)據(jù)，再構成圖像，向解塊過濾處理單元180送出。
此外，控制部110的禁止判斷部116將由取得部112取得的運動矢量數(shù)與存儲在閾值存儲部117中的閾值S進行比較，在運動矢量數(shù)超過閾值S的情況下(步驟S20)，不對解碼圖像傳送控制部114發(fā)出有關將解碼圖像送出到存儲器120中的DMA傳送的指示，而是將未輸出信息保存部115內的未輸出信息設定為表示沒有進行該解碼圖像向存儲器送出的信息(步驟S21)。相對于此，在步驟S20中，在運動矢量數(shù)沒有超過閾值S的情況下，解碼圖像傳送控制部114參照未輸出信息，判斷前面的宏塊量的解碼圖像是否沒有向存儲器送出(步驟S22)，在沒有進行該送出的情況下，解碼圖像傳送控制部114對DMA控制器130發(fā)出指示，以使其將某個宏塊的解碼圖像與其前面的宏塊量的解碼圖像合在一起，將兩個宏塊量的解碼圖像從輸出緩沖器190傳送給存儲器120(步驟S23)，然后將未輸出信息清空，即未輸出信息更新為表示不存在未送出的解碼圖像的信息(步驟S24)，在不進行前面的宏塊量的解碼圖像的送出的情況下，解碼圖像傳送控制部114對DMA控制器130發(fā)出指示，以使其將某個宏塊的解碼圖像從輸出緩沖器190傳送給存儲器120(步驟S25)，并將未輸出信息清空(步驟S24)。
根據(jù)該步驟S23或S25，通過解塊過濾處理單元180禁止塊噪音，將保存在輸出緩沖器190中的解碼圖像向存儲器120進行DMA傳送。
以上，基本上就圖4按照順序說明了對1個宏塊的處理，但控制部110實際上進行流水線控制，圖4的流程圖中的各步驟所示的動作是在流水線控制的周期性時間即各周期時間中最初執(zhí)行的。另外，雖然作為處理對象的宏塊不相同，但是步驟S11、步驟S12、步驟S13、步驟S15～S16、步驟S17或步驟S19、步驟S18、步驟S20～S25的各個步驟只要是在各周期時間的最初執(zhí)行，則以怎樣的順序執(zhí)行都可以。
此外，控制部110進行的各單元的啟動具有傳達各周期的開始的意義，各單元在各周期時間內基本上進行對應于1個宏塊的處理。
圖5是表示控制部110進行的流水線控制的執(zhí)行次序的圖。
在該圖中，時隙TS＝n(n為任意的整數(shù))意味著第n個周期時間。此外，MB#n表示第n個宏塊是處理對象。
如圖5所示，在控制部110的流水線控制之下，并列進行如下處理按照流傳送控制部111的指示由DMA控制器130實施的流傳送處理；由VLD處理單元140實施的可變長解碼處理；由逆頻率變換處理單元150實施的逆頻率變換處理；按照參照圖像傳送控制部113的指示，由DMA控制器130實施的參照圖像傳送處理；由運動補償處理單元160實施的運動補償處理或由幀內處理單元170實施的幀內處理；由解塊過濾處理單元180實施的解塊過濾處理；按照解碼圖像傳送控制部114的指示，由DMA控制器130實施的解碼圖像傳送處理。
因而，在某1個周期時間內，通過各單元等，將6個宏塊并行地作為處理對象。周期時間的長度設定為使其滿足解碼所要求的速度，各單元需要發(fā)揮并列動作的各單元中的1個宏塊單位的處理所需的時間最長的單元的其處理時間為1周期時間以內的處理性能。
另外，在圖5中例示了解碼圖像傳送處理，但在該例中，表示了假設在TS＝n+2所示的周期時間內有關作為參照圖像傳送處理的對象的第n個宏塊的運動矢量數(shù)超過了閾值S、此外在TS＝4所示的周期時間內有關作為參照圖像傳送處理的對象的第n+2個宏塊的運動矢量數(shù)超過了閾值S的情況的例子。
因此，在TS＝n+2所示的周期時間內，在參照圖像傳送處理中傳送的數(shù)據(jù)量比規(guī)定量多，所以通過上述的步驟S20～S25所示的控制，禁止了以第n-3個宏塊為對象的解碼圖像傳送處理，因此，在TS＝n+3所示的周期時間內，實施以第n-3個宏塊和第n-2個宏塊兩者為對象的解碼圖像傳送處理，此外，在TS＝n+4所示的周期時間內，在參照圖像傳送處理中傳送的數(shù)據(jù)量比規(guī)定量多，所以禁止了以第n-1個宏塊為對象的解碼圖像傳送處理，因此，在TS＝n+5所示的周期時間內，實施以第n-1個宏塊和第n個宏塊兩者為對象的解碼圖像傳送處理。
圖6是表示圖像解碼裝置100中的DMA傳送的控制的圖。
DMA控制器130在各周期時間內時分割來執(zhí)行如下的處理將1宏塊量的可變長編碼后的流從存儲器120向VLD處理單元140進行DMA傳送的流傳送處理；將對應于1個宏塊的參照圖像從存儲器120向運動補償處理單元160的輸入緩沖器161進行DMA傳送的參照圖像傳送處理；和將保存在輸出緩沖器190中的對應于1個宏塊的解碼圖像向存儲器120進行DMA傳送的解碼圖像傳送處理。
在該圖中，用符號A表示作為流傳送處理的對象的對應于1個宏塊量的編碼流的傳送時間，用符號B表示作為參照圖像傳送處理的對象的對應于1個宏塊量的各種量的參照圖像的傳送時間的例子，用符號C表示作為解碼圖像傳送處理的對象的對應于1個宏塊量的解碼圖像的傳送時間。另外，圖6的例子與圖5的例子對應。
該例子表示，在TS＝n+2所示的周期時間內進行DMA傳送的參照圖像的總量超過了規(guī)定量，在圖4的步驟S20的判斷模塊中判斷為是，在該周期時間內不進行解碼圖像的DMA傳送，而在接下來的TS＝n+3所示的周期時間進行兩個宏塊量的解碼圖像的DMA傳送。另外，根據(jù)MPEG4AVC標準的對應于較大的圖像的等級的規(guī)定，將連續(xù)的兩個宏塊量的運動矢量的總數(shù)的上限固定地設定為16等，所以在TS＝n+2中被進行DMA傳送的參照圖像的量較多的情況下，相對地在TS＝n+3中被進行DMA傳送的參照圖像的量較少或為0。另外，相對于與1個宏塊所對應的參照圖像的最大量，與1個宏塊對應的解碼圖像的量足夠小。
因而，步驟S20～S25所示那樣的禁止判斷部116及解碼圖像傳送控制部114的動作的結果，在TS＝n+2所示的周期時間內禁止了解碼圖像的傳送，能夠縮減該周期時間內的存儲器訪問帶來的最大數(shù)據(jù)傳送量，所以，在圖像解碼裝置100中，能夠使關于存儲器帶寬的必要條件變得比較緩和。
<實施方式2>
以下，對有關本發(fā)明的實施方式2的圖像解碼裝置500進行說明。
上述的有關實施方式1的圖像解碼裝置100具有在各周期時間內進行對應于1個宏塊的所有的參照圖像的DMA傳送的結構。相對于此，有關實施方式2的圖像解碼裝置500具有如下的結構還允許在1個周期時間內不能結束對應于1個宏塊的所有的參照圖像的DMA傳送的情況，控制成使分別對應于連續(xù)的兩個宏塊的所有的參照圖像的DMA傳送在兩個周期時間內結束。
<結構>
圖7是本發(fā)明的實施方式2的圖像解碼裝置500的結構圖。
如該圖所示，圖像解碼裝置500具備控制部510、存儲器120、DMA控制器130、可變長解碼(VLD)處理單元140、逆頻率變換處理單元150、緩沖器551、運動補償處理單元560、幀內處理單元170、解塊過濾處理單元180及輸出緩沖器590。另外，對于圖7所示的圖像解碼裝置500的各結構要素中的與實施方式1所示的圖像解碼裝置100相同的結構要素，賦予與圖1相同的標記，對于它們省略詳細說明。
運動補償處理單元560具備具有足夠保存對應于連續(xù)的兩個宏塊的所有參照圖像的容量的輸入緩沖器561，具有如下的功能執(zhí)行根據(jù)存儲在輸入緩沖器161中的參照圖像計算1/4像素精度的圖像，并通過將計算出的圖像與關于逆頻率變換處理單元150輸出的宏塊的差值相加，來執(zhí)行再構成圖像的運動補償處理。
輸出緩沖器590是具有足夠將解碼圖像保存1個宏塊量的容量的緩沖器存儲器。
此外，控制部510在硬件方面包括處理器、ROM(Read OnlyMemory)、定時器等而構成，通過處理器執(zhí)行保存在ROM中的程序，實現(xiàn)使圖像解碼裝置500的各結構要素在規(guī)定的每個周期時間中并列地進行有關宏塊單位的解碼的各處理的流水線控制。具體而言，控制DMA控制器130、VLD處理單元140、逆頻率變換處理單元150、運動補償處理單元560、幀內處理單元170及解塊過濾處理單元180，作為功能方面的結構要素，具有流傳送控制部111、取得部112、參照圖像傳送控制部513及解碼圖像傳送控制部514。
這里，參照圖像傳送控制部513具有如下的功能在取得部112取得的宏塊類型為幀內宏塊的情況下，根據(jù)各運動矢量確定參照圖像的位置，指定各參照圖像的地址，向DMA控制器130指示，以使其將各參照圖像從存儲器120向運動補償處理單元560的輸入緩沖器561傳送。另外，該指示是每當周期時間的開始時刻進行的，但是開始對應于保存在DMA控制器130的隊列中的指示的DMA傳送的時刻并不限于該周期時間的開始時刻。但是，在從進行了參照圖像的DMA傳送的指示開始兩個周期時間以內必須結束與其對應的DMA傳送的執(zhí)行。
解碼圖像傳送控制部514具有如下的功能進行向DMA控制器130的指示，以使其在1個周期時間內將輸出緩沖器590內的1個宏塊量的解碼圖像向存儲器120傳送。
此外，緩沖器551是用來暫時儲存逆頻率變換處理單元150所輸出的數(shù)據(jù)的緩存器，是為了對逆頻率變換處理單元150在某個周期時間中處理后的宏塊，在其下下個周期時間，由運動補償處理單元560或幀內處理單元170進行處理而設置的。
<動作>
以下，就控制部510的進行的控制的流程，對具備上述結構的圖像解碼裝置500以宏塊單位進行的圖像解碼動作進行說明。
控制部510決定構成壓縮圖像的各宏塊中的依次作為解碼對象的宏塊，通過流水線控制，在各周期時間內分別使圖像解碼裝置500的各結構要素依次處理6個或7個宏塊中的某一個，而這里首先說明對1個宏塊實施怎樣的處理。
圖8是表示控制部510對宏塊進行的解碼控制內容的流程圖。
首先，控制部510的流傳送控制部111對DMA控制器130發(fā)出傳送指示，以使其將編碼流從存儲器120向VLD處理單元140傳送(步驟S51)。通過隊列接受到該編碼流的傳送指示的DMA控制器130進行1個宏塊量的編碼流的傳送。
控制部510啟動VLD處理單元140(步驟S52)，VLD處理單元140從編碼流中提取運動矢量和宏塊類型而傳遞給取得部112，并且提取塊數(shù)據(jù)而傳遞給逆頻率變換處理單元150。
控制部510啟動逆頻率變換處理單元150(步驟S53)，逆頻率變換處理單元150對塊數(shù)據(jù)實施逆頻率變換并輸出。
控制部510判斷有關宏塊的宏塊類型是幀間宏塊還是幀內宏塊(步驟S54)，如果是幀間宏塊，則控制部510的取得部112將運動矢量傳遞給參照圖像傳送控制部513，參照圖像傳送控制部513通過根據(jù)宏塊的位置和各運動矢量計算各參照圖像的位置，來計算各參照圖像在存儲器120內的地址(步驟S55)，指定該地址并對DMA控制器130發(fā)出指示以使其將參照圖像從存儲器120傳送給輸入緩沖器561(步驟S56)，啟動運動補償處理單元560(步驟S57)，啟動解塊過濾處理單元180(步驟S58)。通過隊列接受到該步驟S56的參照圖像的傳送指示的DMA控制器130，將對應于1個宏塊的所有的參照圖像傳送給輸入緩沖器561。
此外，作為步驟S57的結果，運動補償處理單元560根據(jù)輸入緩沖器161內的參照圖像和逆頻率變換后的塊數(shù)據(jù)，再構成圖像，向解塊過濾處理單元180送出，此外，作為步驟S58的結果，解塊過濾處理單元180禁止再構成的圖像的塊噪音，儲存到輸出緩沖器590中。
另一方面，在步驟S54中，在判斷出有關宏塊的宏塊類型是幀內宏塊的情況下，控制部510跳過步驟S55～S57而啟動幀內處理單元170(步驟S59)，啟動解塊過濾處理單元180(步驟S58)。作為該步驟S59的結果，幀內處理單元170根據(jù)逆頻率變換后的塊數(shù)據(jù)，再構成圖像，向解塊過濾處理單元180送出。
控制部510的解碼圖像傳送控制部514對DMA控制器130發(fā)出指示，以使其將有關在進行了步驟S58后作為其結果保存在輸入緩沖器590中的宏塊的解碼圖像傳送給存儲器120(步驟S60)。
以上，基本上就圖8按照順序說明了對1個宏塊的處理，但控制部510實際上進行流水線控制，圖8的流程圖中的各步驟所示的動作是在流水線控制的周期性時間即各周期時間中最初執(zhí)行的。即，雖然作為處理對象的宏塊不相同，但是步驟S51、步驟S52、步驟S53、步驟S55～S56、步驟S57或步驟S59、步驟S58、步驟S60的各個步驟分別在各周期時間的最初執(zhí)行。另外，在此時，對于步驟S51、步驟S55～S56、和步驟S60如后述那樣設定了執(zhí)行順序，但對于其他步驟以怎樣的順序執(zhí)行都可以。
此外，控制部510進行的各單元的啟動具有傳達各周期的開始的意義，各單元在各周期時間內基本上進行對應于1個宏塊的處理。但是，DMA控制器130進行的對與1個宏塊對應的所有參照圖像的DMA傳送在1個周期時間內沒有結束也可以，只要在兩個周期時間內結束對分別與連續(xù)的兩個宏塊對應的所有的參照圖像的DMA傳送就可以。
圖9是表示控制部510進行的流水線控制的執(zhí)行次序的圖。
在該圖中，時隙TS＝n(n為任意的整數(shù))意味著第n個周期時間。此外，MB#n表示第n個宏塊是處理對象。
如圖9所示，在控制部510的流水線控制之下，并列進行如下處理按照流傳送控制部111的指示由DMA控制器130實施的流傳送處理、由VLD處理單元140實施的可變長解碼處理、由逆頻率變換處理單元150實施的逆頻率變換處理、按照參照圖像傳送控制部513的指示由DMA控制器130實施的參照圖像傳送處理、由運動補償處理單元560實施的運動補償處理或由幀內處理單元170實施的幀內處理、由解塊過濾處理單元180實施的解塊過濾處理、按照解碼圖像傳送控制部514的指示由DMA控制器130實施的解碼圖像傳送處理。
因而，在某1個周期時間內，通過各單元等將6個或7個宏塊并行地作為處理對象。周期時間的長度設定為使其滿足解碼所要求的速度，各單元需要發(fā)揮如下的處理性能使并列動作的各單元中的1個宏塊單位的處理所需的時間最長的單元的處理時間在1周期時間以內。
另外，在圖9中，對于參照圖像傳送處理，僅表示了能夠進行與各宏塊對應的參照圖像的DMA傳送的期間有兩個周期時間的情況，根據(jù)MPEG4AVC標準的對應于較大的圖像的等級的規(guī)定，由于固定地設定了連續(xù)的兩個宏塊量的運動矢量的總數(shù)的上限，所以在進行對這樣的較大的圖像的解碼時，實際上若例如將對應于第n個宏塊的參照圖像的傳送和對應于第n+1個宏塊的參照圖像的傳送合在一起來看，則在兩個時間周期內結束。
圖10是表示控制部510進行的DMA傳送指示發(fā)出處理的流程圖。
在各周期時間的最初，設定了控制部510的流傳送控制部111、參照圖像傳送控制部513及解碼圖像傳送控制部514進行DMA傳送指示的順序，如該圖所示，首先通過流傳送控制部111進行對應于第n個宏塊的編碼流的DMA傳送的指示的發(fā)出(步驟S71)，通過解碼圖像傳送控制部514進行對應于第n-6個宏塊的解碼圖像的DMA傳送指示的發(fā)出(步驟S72)，最后進行對應于第n-2個宏塊的所有參照圖像的DMA傳送指示的發(fā)出。
圖11是表示圖像解碼裝置500中的DMA傳送的控制的圖。
DMA控制器130在各周期時間內時分割來執(zhí)行如下的處理將1宏塊量的可變長編碼后的流從存儲器120向VLD處理單元140進行DMA傳送的流傳送處理；將對應于1個宏塊的參照圖像從存儲器120向運動補償處理單元560的輸入緩沖器561進行DMA傳送的參照圖像傳送處理；和將保存在輸出緩沖器590中的對應于1個宏塊的解碼圖像向存儲器120進行DMA傳送的解碼圖像傳送處理。
在該圖中，用符號A表示作為流傳送處理的對象的對應于1個宏塊量的編碼流的傳送時間，用符號B表示作為參照圖像傳送處理的對象的對應于1個宏塊量的各種量的參照圖像的傳送時間的例子，用符號C表示作為解碼圖像傳送處理的對象的對應于1個宏塊量的解碼圖像的傳送時間。
該例子是在TS＝n+2所示的周期時間內，由于與進行DMA傳送1個宏塊對應的參照圖像的總量較多，所以在該時間周期內DMA傳送沒有完成，而進入到TS＝n+3所示的周期時間內后才完成該DMA傳送的例子。在包括TS＝n+3所示的周期時間的全部的周期時間的最初，以按照圖10的順序進行DMA傳送指示。即，DMA控制器130在DMA傳送結束后才從隊列按照被指示的順序取出DMA傳送指示，來進行接下來的DMA傳送。
另外，根據(jù)MPEG4AVC標準的對應于較大的圖像的等級的規(guī)定，即使是較大的圖像，也將連續(xù)的兩個宏塊量的運動矢量的總數(shù)的上限固定地設定為16等，所以在TS＝n+2中DMA傳送的參照圖像的量較多的情況下，相對地在TS＝n+3中被DMA傳送的參照圖像的量較少或成為0。
因而，即使在1個周期時間內沒有結束對應于1個宏塊的所有的參照圖像的DMA傳送，只要在兩個周期時間內結束就可以，所以能夠縮減各周期時間內的存儲器訪問帶來的最大數(shù)據(jù)傳送量，在該圖像解碼裝置500中，能夠使關于存儲器帶寬的必要條件變得比較緩和。
<補充>
以上，根據(jù)實施方式1、2對有關本發(fā)明的圖像解碼裝置進行了說明，但也可以如以下這樣變形，本發(fā)明當然并不限于上述實施方式所示的圖像解碼裝置。
(1)在實施方式1、2中，運動補償處理單元包括輸入緩沖器，但也可以將緩沖器存儲器設置在運動補償處理單元的外部。此外，構成圖像解碼裝置的各單元也可以分別包括輸入緩沖器及輸出緩沖器。另外，各單元也可以并不一定是獨立的個體，也可以是多個成形為一體的。
(2)在實施方式1、2中，在通過參照圖像傳送處理完成了對應于某個宏塊的所有的參照圖像從存儲器向輸入緩沖器的DMA傳送后的周期時間中，運動補償處理單元進行對該宏塊的運動補償處理，但是運動補償處理單元也可以在將參照圖像保存在輸入緩沖器中后、在DMA傳送結束前開始對該宏塊的運動補償處理，在此情況下，也可以在例如該DMA傳送結束后的周期時間中接受運動補償處理的結果，解塊過濾處理單元進行解塊過濾處理。即，就實施方式2來看，也可以將實施方式2所示的圖像解碼裝置變形為如下在取得參照圖像后，動補償處理單元馬上開始運動補償處理的情況下，在開始與處于某個周期時間內的宏塊對應的參照圖像的DMA傳送時，在該周期時間的兩個以后的周期時間內開始執(zhí)行對應于該宏塊的解塊過濾處理。
(3)在實施方式1中，在1個周期時間內將超過規(guī)定量的參照圖像從存儲器進行DMA傳送時，禁止了該周期時間內的解碼圖像向存儲器進行DMA傳送，但是，只要在超過規(guī)定量的參照圖像進行DMA傳送的周期時間內，禁止該參照圖像的除了DMA傳送以外的任何存儲器訪問就可以，例如也可以禁止編碼流從存儲器進行DMA傳送。另外，參照圖像的傳送量如果以只要在某個周期時間中比規(guī)定量多則在下個周期時間中變少為前提，則可以控制成使能夠利用例如該禁止的存儲器周期的下個存儲器周期執(zhí)行所禁止的存儲器訪問。在將編碼流的DMA傳送作為禁止控制的對象的情況下，也可以例如將編碼流與實施方式1中圖5所示的情況相比總是先讀出對應于1個宏塊的量、并在VLD處理單元中設置可存儲1個宏塊多余量的輸入緩沖器。
(4)實施方式1所示的閾值S為滿足式1的最小的整數(shù)，但也可以并不一定是最小的整數(shù)。但是，如果是最小的整數(shù)，則能夠最大限度地禁止存儲器總線帶寬。此外，在實施方式1中，表示了根據(jù)比較閾值S與運動矢量的數(shù)量的結果來決定是否暫時禁止解碼圖像的DMA傳送的結構，但也可以將圖像解碼裝置做成根據(jù)作為DMA傳送對象的參照圖像的數(shù)據(jù)量與規(guī)定量的比較結果來決定是否暫時禁止解碼圖像的DMA傳送的結構。
(5)在實施方式1、2中，表示了以宏塊單位進行解碼的圖像解碼裝置，但是也可以以更細分化的單位對宏塊進行解碼，本發(fā)明可以適用于將圖像分割為較小的任意尺寸的塊單位來進行解碼的情況。
也可以不以宏塊單位、而是以該塊單位進行如實施方式2所示那樣的流水線控制(參照圖9)，將該塊單位基本上在1個周期時間中處理。塊單位是例如作為宏塊的1/16的4×4像素的尺寸、或作為1/2的8×16像素的尺寸等。另外，在以塊單位進行流水線控制的情況下，對于參照圖像傳送處理的流水線階段，解除在1個時間周期中執(zhí)行對1個塊的傳送的限制。
(7)實施方式1、2所示的圖像解碼裝置100、500也可以分別作為半導體集成電路而構成在1個半導體芯片上，此外，在將該半導體集成電路封裝為1個的情況下，存儲器120也可以存儲于該封裝的外部。另外，圖12是表示將除了存儲器120以外作為半導體集成電路101實現(xiàn)的圖像解碼裝置100的概況的圖。
工業(yè)實用性有關本發(fā)明的圖像解碼裝置可以用在將按照MPEG4AVC標準壓縮的運動圖像再現(xiàn)的DVD播放器、數(shù)字電視機等的圖像再現(xiàn)裝置中。
權利要求
1.一種圖像解碼裝置，對每個塊進行壓縮圖像的解碼，對于根據(jù)參照圖像壓縮的塊進行包括對應于運動補償?shù)难a償處理的解碼，其特征在于，具備存儲器，保存有參照圖像組；補償單元，具有用來保存參照圖像的輸入緩沖器，參照保存在輸入緩沖器中的參照圖像，依次進行對1個塊的補償處理；參照圖像傳送單元，在各周期時間內，只要有對應于1個塊的參照圖像，就依次從上述存儲器讀出所有參照圖像，并寫入到上述輸入緩沖器中；判斷單元，在各周期時間中，判斷上述參照圖像傳送單元從上述存儲器讀出的參照圖像的總量是否比規(guī)定基準量多；禁止單元，在通過上述判斷單元判斷為多的周期時間內，禁止用來進行參照圖像的讀出的訪問以外的向上述存儲器的訪問。
2.如權利要求
1所述的圖像解碼裝置，其特征在于，上述圖像解碼裝置還具備取得單元，該取得單元依次取得與根據(jù)參照圖像壓縮的1個塊對應的運動矢量；上述補償單元參照上述參照圖像，根據(jù)由上述取得單元取得的運動矢量，進行對塊的補償處理；上述參照圖像傳送單元傳送的、對應于1個塊的所有的參照圖像分別是根據(jù)由上述取得單元取得的對應于該塊的各運動矢量來確定的；關于在各周期時間中從上述存儲器讀出的對應于塊的參照圖像的總量是否比規(guī)定基準量多，上述判斷單元根據(jù)由上述取得單元取得的對應于該塊的運動矢量的數(shù)量是否比規(guī)定的閾值多來進行判斷。
3.如權利要求
2所述的圖像解碼裝置，其特征在于，上述圖像解碼裝置還具備輸出緩沖器，用來保存關于由補償單元進行了補償處理后的塊的解碼圖像；解碼圖像傳送單元，依次從上述輸出緩沖器讀出關于1個塊的解碼圖像，寫入到上述存儲器中；上述禁止單元在由上述判斷單元判斷為多的周期時間內，禁止上述解碼圖像傳送單元對上述存儲器的訪問。
4.如權利要求
3所述的圖像解碼裝置，其特征在于，上述輸出緩沖器的容量是能夠保存兩個塊量的解碼圖像的容量；上述解碼圖像傳送單元在由上述禁止單元禁止的周期時間的下個周期時間內，連續(xù)將關于兩個塊量的解碼圖像從上述輸出緩沖器讀出而寫入到上述存儲器中，在除此之外的周期時間內，將關于1個塊量的解碼圖像從上述輸出緩沖器讀出而寫入到上述存儲器中。
5.如權利要求
4所述的圖像解碼裝置，其特征在于，上述存儲器除了參照圖像以外，還保存有編碼流，該編碼流是將對每個塊包含有塊頭信息和塊數(shù)據(jù)而成的數(shù)據(jù)進行可變長編碼而成的，上述塊頭信息包括表示是否是根據(jù)參照圖像壓縮的塊的信息和運動矢量；上述圖像解碼裝置還具備可變長解碼單元，如果被輸入了編碼流，則進行可變長解碼；流傳送單元，從上述存儲器中依次讀出編碼流，輸入到上述可變長編碼單元中；幀內處理單元，對依次傳遞來的塊的塊數(shù)據(jù)實施不參照參照圖像的解碼處理；上述取得單元根據(jù)由上述可變長解碼單元進行了可變長解碼的結果進行上述運動矢量的取得，再將根據(jù)參照圖像壓縮的塊的、由可變長解碼單元進行了可變長解碼的結果的塊數(shù)據(jù)傳遞給上述補償單元，將沒有根據(jù)參照圖像壓縮的塊的、由可變長解碼單元進行了可變長解碼的結果的塊數(shù)據(jù)傳遞給上述幀內處理單元；在上述輸出緩沖器中，除了關于由上述補償單元進行了補償處理后的塊的解碼圖像以外，還保存有有關由上述幀內處理單元實施了解碼處理后的塊的解碼圖像。
6.如權利要求
5所述的圖像解碼裝置，其特征在于，上述塊是宏塊。
7.如權利要求
2所述的圖像解碼裝置，其特征在于，上述存儲器除了參照圖像以外，還保存有編碼流，該編碼流是將對每個塊包含有塊頭信息和塊數(shù)據(jù)而成的數(shù)據(jù)進行可變長編碼而成的，上述塊頭信息包括表示是否是根據(jù)參照圖像壓縮的塊的信息和運動矢量；上述圖像解碼裝置還具備可變長解碼單元，如果被輸入了編碼流數(shù)據(jù)，則進行可變長解碼；流傳送單元，從上述存儲器中依次讀出編碼流，輸入到上述可變長編碼單元中；幀內處理單元，對依次傳遞來的塊的塊數(shù)據(jù)實施不參照參照圖像的解碼處理；上述取得單元根據(jù)由上述可變長解碼單元進行了可變長解碼的結果進行上述運動矢量的取得，再將根據(jù)參照圖像壓縮的塊的、由可變長解碼單元進行了可變長解碼的結果的塊數(shù)據(jù)傳遞給上述補償單元，將沒有根據(jù)參照圖像壓縮的塊的、由可變長解碼單元進行了可變長解碼的結果的塊數(shù)據(jù)傳遞給上述幀內處理單元；上述禁止單元在由上述判斷單元判斷為多的周期時間內，禁止上述流傳送單元對上述存儲器的訪問。
8.一種圖像解碼裝置，對每個塊進行壓縮圖像的解碼，對于根據(jù)參照圖像壓縮的塊進行包括對應于運動補償?shù)难a償處理的解碼，其特征在于，具備存儲器，保存有參照圖像組；補償單元，具有用來保存參照圖像的、足夠保存兩個塊量的參照圖像的容量的輸入緩沖器，參照保存在輸入緩沖器中的參照圖像，依次進行對1個塊的補償處理；參照圖像傳送單元，在連續(xù)的兩個周期時間內，只要有分別對應于兩個塊的參照圖像，就依次從上述存儲器讀出所有的參照圖像，并寫入到上述輸入緩沖器中。
9.如權利要求
8所述的圖像解碼裝置，其特征在于，上述圖像解碼裝置還具備處理單元，該處理單元處理上述補償單元進行了補償處理后的解碼圖像；上述處理單元及上述補償單元中的1個單元與上述參照圖像傳送單元并列地在每個周期時間中進行對應于1個塊的處理，并且通過上述參照圖像傳送單元，將對應于在某個周期時間內開始傳送的塊的處理，在該周期時間的兩個后的周期時間內開始執(zhí)行。
10.如權利要求
9所述的圖像解碼裝置，其特征在于，上述塊是宏塊。
11.一種圖像解碼方法，對于與參照圖像組一同保存到存儲器中的壓縮圖像，對每個塊進行解碼，對于根據(jù)參照圖像壓縮的塊進行包括對應于運動補償?shù)难a償處理的解碼，其特征在于，包括參照圖像傳送步驟，在各周期時間內，只要有對應于1個塊的參照圖像，就依次從上述存儲器讀出所有的參照圖像，并寫入到規(guī)定的緩沖器中；判斷步驟，在各周期時間中，判斷由上述參照圖像傳送步驟從上述存儲器讀出的參照圖像的總量是否比規(guī)定基準量多；禁止步驟，在通過上述判斷步驟判斷為多的周期時間內，禁止用來讀出參照圖像的訪問以外的、對上述存儲器的訪問；補償步驟，參照保存在上述規(guī)定的緩沖器中的參照圖像，依次進行對1個塊的補償處理。
12.一種圖像解碼方法，對于與參照圖像組一同保存到存儲器中的壓縮圖像，對每個塊進行解碼，對于根據(jù)參照圖像壓縮的塊進行包括對應于運動補償?shù)难a償處理的解碼，其特征在于，并列執(zhí)行圖像傳送步驟，在連續(xù)的兩個周期時間內，只要有分別對應于兩個塊的參照圖像，就依次從上述存儲器讀出所有參照圖像，并寫入到規(guī)定的緩沖器中；補償步驟，參照保存在上述規(guī)定的緩沖器中的參照圖像，依次進行對1個塊的補償處理。
13.一種半導體集成電路，對每個塊進行壓縮圖像的解碼，對于根據(jù)參照圖像壓縮的塊進行包括對應于運動補償?shù)难a償處理的解碼，其特征在于，具備存儲器，保存有參照圖像組；補償電路部，具有用來保存參照圖像的輸入緩沖器，參照保存在輸入緩沖器中的參照圖像，依次進行對1個塊的補償處理；參照圖像傳送電路部，在各周期時間內，只要有對應于1個塊的參照圖像，就依次從上述存儲器讀出所有參照圖像，并寫入到上述輸入緩沖器中；判斷電路部，在各周期時間中，判斷上述參照圖像傳送電路部從上述存儲器讀出的參照圖像的總量是否比規(guī)定基準量多；禁止電路部，在由上述判斷電路部判斷為多的周期時間內，禁止用來進行參照圖像的讀出的訪問以外的、對上述存儲器的訪問。
14.一種半導體集成電路，對每個塊進行壓縮圖像的解碼，對于根據(jù)參照圖像壓縮的塊進行包括對應于運動補償?shù)难a償處理的解碼，其特征在于，具備存儲器，保存有參照圖像組；補償電路部，具有用來保存參照圖像的、足夠保存兩個塊量的參照圖像的容量的輸入緩沖器，參照保存在輸入緩沖器中的參照圖像，依次進行對1個塊的補償處理；參照圖像傳送電路部，在連續(xù)的兩個周期時間內，只要有分別對應于兩個塊的參照圖像，就依次從上述存儲器讀出所有的參照圖像，并寫入到上述輸入緩沖器中。
專利摘要
本發(fā)明的圖像解碼裝置，對每個塊進行壓縮圖像的解碼，對于根據(jù)參照圖像壓縮的塊進行包括對應于運動補償?shù)难a償處理的解碼，具備存儲器，保存有參照圖像組；補償單元，具有用來保存參照圖像的輸入緩沖器，參照保存在輸入緩沖器中的參照圖像，依次進行對1個塊的補償處理；參照圖像傳送單元，在各周期時間內，只要有對應于1個塊的參照圖像，就依次從上述存儲器讀出所有參照圖像，并寫入到上述輸入緩沖器中；判斷單元，在各周期時間中，判斷上述參照圖像傳送單元從上述存儲器讀出的參照圖像的總量是否比規(guī)定基準量多；禁止單元，在通過上述判斷單元判斷為多的周期時間內，禁止用來進行參照圖像的讀出的訪問以外的向上述存儲器的訪問。
文檔編號H04N7/32GK1993992SQ200580026262
公開日2007年7月4日 申請日期2005年7月4日
發(fā)明者田中健 申請人:松下電器產業(yè)株式會社導出引文BiBTeX, EndNote, RefMan