專利名稱：信息處理裝置以及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理裝置以及方法，特別涉及能夠降低在將可逆編碼的代碼流變 換成非可逆編碼的代碼流時所需的存儲器容量的信息處理裝置以及方法。
背景技術(shù)：
以往，在電影制作、醫(yī)療以及靜止圖像撮影等各種領(lǐng)域中，利用數(shù)字圖像數(shù)據(jù)。對 于這樣的數(shù)字圖像數(shù)據(jù)，一般將非壓縮的圖像數(shù)據(jù)作為掩碼圖像，根據(jù)需要對其進(jìn)行壓縮， 經(jīng)由網(wǎng)絡(luò)分發(fā)壓縮結(jié)果的文件、或者寫入到記錄介質(zhì)的情況較多。例如，在數(shù)字電影的用途中，通過DCI (Digital Cinema Initiatives，數(shù)字影 院系統(tǒng)規(guī)范)規(guī)格，決定用于電影分發(fā)的壓縮格式。據(jù)此，作為非可逆壓縮編碼方式的 ISOdnternational Organization for Standardization，國際標(biāo)準(zhǔn)化組 只)規(guī)格的 JPEG2000 (Joint Photographic Experts Group 2000，聯(lián)合照相專家組 2000) Part-1 被用 作壓縮 解壓技術(shù)，比特率相對4096X2160像素的XYZ12比特(24Hz)的運動圖像序列，峰 值速率是250Mbps。即，非壓縮的掩碼圖像被壓縮后分發(fā)或上映。另外，數(shù)據(jù)尺寸大的掩碼圖像自身不利于掩碼圖像的保存，所以通過可逆壓縮以 不損失數(shù)據(jù)地降低數(shù)據(jù)量的狀態(tài)保存掩碼圖像的情況也多。例如，在DCI規(guī)格中決定的圖像的分辨率是4096 X 2160像素，達(dá)到HDTV (High Definition Television，高清晰度電視)的四倍。因此，非壓縮的圖像數(shù)據(jù)的數(shù)據(jù)量大，所 以實際上將掩碼圖像保存為以可逆方式壓縮編碼的可逆壓縮文件的情況較多。在該情況下，將該可逆壓縮文件變換為通過非可逆壓縮方式壓縮的DCI規(guī)格的 JPEG2000文件而利用。但是，在JPEG2000規(guī)格中，由于在可逆壓縮編碼方式與非可逆編碼 方式中小波變換濾波器不同，所以在該變換時，需要還原到基帶圖像一次。進(jìn)行這樣的處理的以往的變碼器(transcoder)對可逆壓縮文件的代碼流全部進(jìn) 行解碼，而還原到與原來的基帶的掩碼圖像相同的數(shù)據(jù)尺寸的基帶圖像。另外，提出了僅使用高分辨率圖像的比特流的DCT塊的低頻分量的系數(shù)來進(jìn)行逆 離散余弦變換，解碼為標(biāo)準(zhǔn)分辨率圖像的欠解碼器(downdecoder)(例如，參照專利文獻(xiàn)1 以及專利文獻(xiàn)2)。專利文獻(xiàn)1 日本專利4016166號專利文獻(xiàn)2 日本專利4026238號但是，在通過上述那樣的以往的變碼器進(jìn)行的變換處理中，對代碼流全部進(jìn)行解 碼，所以在如上所述掩碼圖像的數(shù)據(jù)量大的情況下，解碼處理的負(fù)荷有可能增大。另外，還考慮使用專利文獻(xiàn)1、專利文獻(xiàn)2記載的欠解碼器來進(jìn)行解碼的方法，但 僅能夠?qū)Φ皖l分量的系數(shù)進(jìn)行解碼，而分辨率必定降低，所以有可能無法應(yīng)用于不變更分 辨率而變換數(shù)據(jù)的上述電影制作中。

發(fā)明內(nèi)容
本發(fā)明是為了解決這樣的問題而完成的，其能夠?qū)⒖赡婢幋a的代碼流變換為非可 逆編碼的代碼流，并降低在該變換時所需的存儲器容量。本發(fā)明的一種信息處理裝置，其特征在于，具備
合成濾波器單元，針對對經(jīng)可逆編碼的圖像的代碼流進(jìn)行解碼而得到的被頻帶分 割的每個子帶的系數(shù)數(shù)據(jù)，按照每規(guī)定數(shù)的行、或者每規(guī)定的塊實施合成濾波，從而按照行 單位得到基帶的圖像數(shù)據(jù)；存儲單元，存儲通過上述合成濾波器單元得到的上述基帶的圖像數(shù)據(jù)；分析濾波器單元，讀出通過上述存儲單元存儲的上述基帶的圖像數(shù)據(jù)，對上述圖 像數(shù)據(jù)實施分析濾波，從而將上述圖像數(shù)據(jù)頻帶分割至規(guī)定的分割等級；以及控制單元，一旦通過上述存儲單元存儲的上述基帶的圖像數(shù)據(jù)達(dá)到能夠執(zhí)行上述 分析濾波的數(shù)據(jù)量，則立即使上述分析濾波器單元執(zhí)行上述分析濾波。本發(fā)明的一種信息處理方法，其特征在于，包括如下步驟合成濾波器單元針對對經(jīng)可逆編碼的圖像的代碼流進(jìn)行解碼而得到的被頻帶分 割的每個子帶的系數(shù)數(shù)據(jù)，按照每規(guī)定數(shù)的行、或每規(guī)定的塊實施合成濾波，從而按照行單 位得到基帶的圖像數(shù)據(jù)；存儲單元存儲通過上述合成濾波器單元得到的上述基帶的圖像數(shù)據(jù)；分析濾波器單元讀出通過上述存儲單元存儲的上述基帶的圖像數(shù)據(jù)，對上述圖像 數(shù)據(jù)實施分析濾波，從而將上述圖像數(shù)據(jù)頻帶分割至規(guī)定的分割等級；以及一旦通過上述存儲單元存儲的上述基帶的圖像數(shù)據(jù)達(dá)到能夠執(zhí)行上述分析濾波 的數(shù)據(jù)量，則立即使上述分析濾波器單元執(zhí)行上述分析濾波。本發(fā)明的一側(cè)面提供一種信息處理裝置，具備解碼單元，對經(jīng)可逆編碼的圖像的 代碼流進(jìn)行解碼；合成濾波器單元，針對通過上述解碼單元對上述代碼流進(jìn)行解碼而得到 的被頻帶分割的每個子帶的系數(shù)數(shù)據(jù)，按照每規(guī)定數(shù)的行(line(行或線))或每規(guī)定的塊 實施合成濾波，從而按照行單位得到基帶的圖像數(shù)據(jù)；保持單元，保持通過由上述合成濾波 器單元進(jìn)行的上述合成濾波得到的上述基帶的上述圖像數(shù)據(jù)；分析濾波器單元，讀出上述 保持單元中保持的上述基帶的上述圖像數(shù)據(jù)，并實施分析濾波，從而將上述圖像數(shù)據(jù)頻帶 分割至規(guī)定的分割等級；編碼單元，對通過由上述分析濾波器單元進(jìn)行的上述分析濾波得 到的被頻帶分割的每個子帶的系數(shù)數(shù)據(jù)進(jìn)行編碼；以及控制單元，一旦保持在上述保持單 元中的上述基帶的上述圖像數(shù)據(jù)達(dá)到能夠執(zhí)行上述分析濾波的采樣數(shù)，則立即使上述分析 濾波器單元執(zhí)行上述分析濾波。上述合成濾波的處理單位即上述規(guī)定數(shù)的行是為了生成至少1行以上的上述分 析濾波的結(jié)果得到的上述被頻帶分割的上述系數(shù)數(shù)據(jù)的最低頻的子帶而所需的行數(shù)的上 述圖像數(shù)據(jù)。上述合成濾波器單元針對上述每個子帶的上述系數(shù)數(shù)據(jù)，首先在先水平方向上進(jìn) 行上述合成濾波，接下來在垂直方向上進(jìn)行上述合成濾波，上述分析濾波器單元針對上述 每個子帶的上述系數(shù)數(shù)據(jù)，首先在水平方向上進(jìn)行上述分析濾波，接下來在垂直方向上進(jìn) 行上述分析濾波。上述合成濾波器單元針對上述每個子帶的上述系數(shù)數(shù)據(jù)，首先在垂直方向上進(jìn)行上述合成濾波，接下來在水平方向上進(jìn)行上述合成濾波，上述分析濾波器單元針對上述每 個子帶的上述系數(shù)數(shù)據(jù)，首先在垂直方向上進(jìn)行上述分析濾波，接下來在水平方向上進(jìn)行 上述分析濾波。上述解碼單元能夠通過JPEG2000解碼方式對上述代碼流進(jìn)行解碼，上述編碼單 元能夠通過JPEG2000編碼方式對上述系數(shù)數(shù)據(jù)進(jìn)行編碼。還能夠具備定義通過上述合成濾波器單元進(jìn)行的上述合成濾波的處理單位的定 義單元。上述定義單元針對上述合成濾波的處理單位，能夠根據(jù)通過 上述編碼單元進(jìn)行的 編碼的壓縮率、和上述保持單元的容量中的至少某一個，定義上述合成濾波的處理單位。
還能夠具備:±夬定義單元，定義通過上述編碼單元進(jìn)行的編碼的處理單位的塊的尺寸； 以及分區(qū)定義單元，定義由通過上述塊定義單元定義了尺寸的多個上述塊構(gòu)成的分區(qū)的尺寸。針對被設(shè)為上述合成濾波的處理單位的行組從由上述分區(qū)定義單元定義的上述 分區(qū)露出的區(qū)域，一旦能夠獲得后續(xù)的上述行組的數(shù)據(jù)，則立即進(jìn)行補充。本發(fā)明的一方面提供一種信息處理方法，信息處理裝置的解碼單元對經(jīng)可逆編碼 的圖像的代碼流進(jìn)行解碼，上述信息處理裝置的合成濾波器單元針對對上述代碼流進(jìn)行解 碼而得到的被頻帶分割的每個子帶的系數(shù)數(shù)據(jù)，按照每規(guī)定數(shù)的行或者每規(guī)定的塊實施合 成濾波，從而按照行單位得到基帶的圖像數(shù)據(jù)，上述信息處理裝置的保持單元保持通過上 述合成濾波得到的上述基帶的上述圖像數(shù)據(jù)，上述信息處理裝置的分析濾波器單元讀出所 保持的上述基帶的上述圖像數(shù)據(jù)，實施分析濾波，從而將上述圖像數(shù)據(jù)頻帶分割至規(guī)定的 分割等級，上述信息處理裝置的編碼單元對通過上述分析濾波得到的被頻帶分割的每個子 帶的系數(shù)數(shù)據(jù)進(jìn)行編碼，上述信息處理裝置的控制單元一旦所保持的上述基帶的上述圖像 數(shù)據(jù)達(dá)到能夠執(zhí)行上述分析濾波的采樣數(shù)，則立即執(zhí)行上述分析濾波。在本發(fā)明的一方面中，對經(jīng)可逆編碼的圖像的代碼流進(jìn)行解碼，針對對代碼流進(jìn) 行解碼而得到的被頻帶分割的每個子帶的系數(shù)數(shù)據(jù)，按照每規(guī)定數(shù)的行或每規(guī)定的塊實施 合成濾波，從而按照行單位得到基帶的圖像數(shù)據(jù)，保持通過合成濾波得到的基帶的圖像數(shù) 據(jù)，讀出所保持的基帶的圖像數(shù)據(jù)，實施分析濾波，從而將圖像數(shù)據(jù)頻帶分割至規(guī)定的分割 等級，對通過分析濾波得到的被頻帶分割的每個子帶的系數(shù)數(shù)據(jù)進(jìn)行編碼，一旦所保持的 基帶的圖像數(shù)據(jù)達(dá)到能夠執(zhí)行分析濾波的采樣數(shù)，則立即執(zhí)行分析濾波。根據(jù)本發(fā)明，能夠更容易并且適合地生成經(jīng)非可逆編碼的代碼流。特別地，能夠降 低將經(jīng)可逆編碼的代碼流變換為經(jīng)非可逆編碼的代碼流時所需的存儲器容量。


圖1是示出應(yīng)用了本發(fā)明的編碼裝置的主要結(jié)構(gòu)例的框圖。圖2是示出可逆基于行編碼部(reversible line-based encodingunit)的結(jié)構(gòu) 例的框圖。圖3是說明子帶的例子的圖。圖4是說明基于行小波變換的樣子的圖。圖5是示出9X7分析濾波器的例子的圖。圖6是說明提升(lifting)演算例的圖。
圖7是說明提升演算例的圖。圖8是示出可逆基于行解碼部的結(jié)構(gòu)例的框圖。圖9是說明基于行小波逆變換的樣子的圖。圖10是示出9X7合成濾波器的例子的圖。圖11是說明提升演算例的圖。圖12是說明提升演算例的圖。 圖13是示出非可逆基于行編碼部的結(jié)構(gòu)例的框圖。圖14是說明小波變換以及小波逆變換的處理的樣子的圖。圖15是說明可逆編碼處理的流程的例子的流程圖。圖16是說明變碼控制處理的流程的例子的流程圖。圖17是說明解碼處理的流程的例子的流程圖。圖18是說明小波逆變換處理的流程的例的流程圖。圖19是說明小波變換處理的流程的例子的流程圖。圖20是說明非可逆編碼處理的流程的例子的流程圖。圖21是示出可逆基于行編碼部的其他結(jié)構(gòu)例的框圖。圖22是說明代碼塊的圖。圖23是說明代碼塊與分區(qū)(precincts)的圖。圖24是說明行塊的補充的樣子的圖。圖25是示出可逆基于行解碼部的其他結(jié)構(gòu)例的框圖。圖26是示出非可逆基于行編碼部的其他結(jié)構(gòu)例的框圖。圖27是說明可逆編碼處理的流程的例子的流程圖。圖28是說明解碼處理的流程的例子的流程圖。圖29是說明小波逆變換處理的流程的例子的流程圖。圖30是說明小波變換處理的流程的例子的流程圖。圖31是說明非可逆編碼處理的流程的例子的流程圖。圖32是說明行塊尺寸定義處理的流程的例子的流程圖。圖33是示出應(yīng)用了本發(fā)明的個人計算機的結(jié)構(gòu)例的框圖。標(biāo)號說明100編碼裝置101可逆基于行編碼部102非可逆變碼部111控制部121可逆基于行解碼部122緩沖器123非可逆基于行編碼部201解碼控制部202小波逆變換控制部301小波變換控制部302非可逆編碼控制部
421行塊定義部422代碼塊定義部423分區(qū)定義部481行塊定義部482代碼塊定義部
483分區(qū)定義部
具體實施例方式以下，對具體實施方式
(以下稱為實施方式)進(jìn)行說明。另外，按照以下的順序進(jìn) 行說明。1.第1實施方式(基于行的變碼控制處理)2.第2實施方式(編碼方式為JPEG2000的情況下的變碼控制處理)<1.第1實施方式>[編碼裝置的結(jié)構(gòu)]首先，對將可逆編碼了的代碼流變換為非可逆編碼了的代碼流的圖像數(shù)據(jù)的變換 處理進(jìn)行說明。圖1是示出應(yīng)用了使用這樣的變換處理的本發(fā)明的編碼裝置的結(jié)構(gòu)例的圖。圖1 所示的編碼裝置100是如下的裝置通過可逆編碼方式按照規(guī)定的壓縮率對所輸入的基帶 的圖像數(shù)據(jù)進(jìn)行編碼，之后，將編碼后的代碼流以期望的壓縮率進(jìn)行變換，作為通過非可逆 方式編碼了的代碼流而輸出。編碼裝置100如圖1所示，具有可逆基于行編碼部101以及非可逆變碼部102。可逆基于行編碼部101為了減輕裝置內(nèi)的處理的負(fù)荷，通過規(guī)定的可逆編碼方式 按照規(guī)定的壓縮率對所輸入的基帶的圖像數(shù)據(jù)(掩碼圖像)進(jìn)行編碼，變換為減小了數(shù)據(jù) 尺寸的代碼流的可逆壓縮文件。其中，可逆基于行編碼部101在編碼時對圖像數(shù)據(jù)進(jìn)行針 對每規(guī)定的行數(shù)執(zhí)行小波變換的基于行小波變換。對于可逆基于行編碼部101在后面進(jìn)行 詳細(xì)說明。例如，在編碼裝置100中，在信息處理部103-1中，實施對該可逆壓縮文件附加元 信息等的規(guī)定的處理。另外，例如，編碼裝置100經(jīng)由規(guī)定的總線、網(wǎng)絡(luò)等傳送路103-2傳 送該可逆壓縮文件。進(jìn)而，例如，編碼裝置100將該可逆壓縮文件臨時保存在硬盤、半導(dǎo)體 存儲器等存儲部103-3中，在規(guī)定的定時讀出并輸出。在編碼裝置100中，在非可逆變碼部102中，將該代碼流變換為通過規(guī)定的非可逆 編碼方式編碼了的代碼流。非可逆變碼部102具有控制部111、可逆基于行解碼部121、緩 沖器122、以及非可逆基于行編碼部123。可逆基于行解碼部121被控制部111控制，對在信息處理部103-1中處理的可逆 壓縮文件、經(jīng)由傳送路103-2供給的可逆壓縮文件、或者從存儲部103-3讀出的可逆壓縮文 件的代碼流的一部分或全部進(jìn)行解碼，生成基帶的圖像數(shù)據(jù)。可逆基于行解碼部121被控制部111控制，將所生成的基帶的圖像數(shù)據(jù)供給給緩 沖器122而保持。非可逆基于行編碼部123被控制部111控制，從緩沖器122取得該基帶的圖像數(shù)據(jù)，通過規(guī)定的非可逆編碼方式按照期望的壓縮率進(jìn)行編碼，輸出所生成的代碼流。此時，控制部111求出為了達(dá)成非可逆基于行編碼部123生成的代碼流的目標(biāo)符 號量而所需的基帶的圖像數(shù)據(jù)量，計算該基帶的圖像數(shù)據(jù)相對掩碼圖像(原圖像)的圖像 數(shù)據(jù)的壓縮率，將其作為目標(biāo)壓縮率供給給可逆基于行解碼部121。即，控制部111以相對 掩碼圖像(原圖像)的圖像數(shù)據(jù)的壓縮率來表示為了達(dá)成目標(biāo)符號量而所需的基帶的圖像 數(shù)據(jù)的符號量，將其供給給可逆基于行解碼部121?？赡婊谛薪獯a部121將該壓縮率設(shè)為目標(biāo)壓縮率，對可逆壓縮文件的代碼流的 一部分或全部進(jìn)行解碼而生成基帶的圖像數(shù)據(jù)。如后所述，在可逆基于行解碼部121中，生 成的基帶的圖像數(shù)據(jù)的符號量越小、即相對掩碼圖像(原圖像)的圖像數(shù)據(jù)的壓縮率越高， 解碼的代碼流的部分越少，所以能夠降低解碼處理的處理量。但是，如果可逆基于行解碼部 121生成的基帶的符號量過少，則非可逆基于行編碼部123有可能無法達(dá)成目標(biāo)符號量。因此，在控制部111中使可逆基于行解碼部121，以使可逆基于行解碼部121生成 的基帶的圖像數(shù)據(jù)相對掩碼圖像(原圖像)的圖像數(shù)據(jù)的壓縮率與非可逆基于行編碼部 123的目標(biāo)壓縮率一致、或者比其小的方式，選擇要解碼的部分，并僅對該選擇的部分進(jìn)行 解碼處理。換言之，控制部111控制可逆基于行解碼部121，在非可逆基于行編碼部123能夠 達(dá)成目標(biāo)符號量的范圍中，對可逆壓縮文件的代碼流部分性地進(jìn)行解碼，以使進(jìn)一步降低 解碼處理的處理量。以下，將這樣的對代碼流的一部分進(jìn)行解碼的處理稱為部分解碼處理。通過如上 所述進(jìn)行部分解碼處理，即使掩碼圖像(原圖像)的數(shù)據(jù)尺寸大，可逆基于行解碼部121也 可以容易并且適合地對可逆壓縮文件進(jìn)行解碼。另外，可逆基于行編碼部101、可逆基于行解碼部121、以及非可逆基于行編碼部 123分別針對圖像數(shù)據(jù)進(jìn)行基于行的小波變換、或者對代碼流進(jìn)行基于行的小波逆變換。 艮口，在這些處理部中，針對將1圖片按照每多個行分割而得到的每個行塊進(jìn)行小波變換或 小波逆變換。因此，編碼裝置100與在針對每個圖片進(jìn)行小波變換的情況相比，能夠降低一 次保持的小波系數(shù)的量，能夠進(jìn)一步降低作為緩沖器122等而所需的存儲器容量。進(jìn)而，在非可逆變碼部102中，控制部111 一旦在緩沖器122中積蓄了非可逆基于 行編碼部123能夠編碼的量的從可逆基于行解碼部121輸出的圖像數(shù)據(jù)，則立即控制非可 逆基于行編碼部123，對該圖像數(shù)據(jù)進(jìn)行編碼。通過這樣控制，編碼裝置100能夠進(jìn)一步降 低作為緩沖器122而所需的存儲器容量。對于可逆基于行解碼部121以及非可逆基于行編碼部123在后面詳細(xì)說明。[可逆編碼部的結(jié)構(gòu)]接下來，對圖1的編碼裝置100的結(jié)構(gòu)進(jìn)行詳細(xì)說明。圖2是示出圖1的可逆基于 行編碼部101的詳細(xì)結(jié)構(gòu)例的框圖。如圖2所示，可逆基于行編碼部101具有控制部131、 基于行分析濾波器141、緩沖器142以及可逆編碼部143?？刂撇?31具有對基于行分析濾波器部141的動作進(jìn)行控制的小波變換控制部 151、以及對可逆編碼部143的動作進(jìn)行控制的可逆編碼控制部152。基于行分析濾波器部141被小波變換控制部15 1控制，對所輸入的圖像數(shù)據(jù)，針對 規(guī)定的行數(shù)的行塊中的每一個，進(jìn)行對低頻分量遞歸性地反復(fù)將系數(shù)分割為低頻分量與高頻分量的分析濾波處理的、基于行的小波變換。圖3是示出通過分割等級數(shù)3的小波變換處理生成的子帶的結(jié)構(gòu)例的圖。在該情 況下，對基帶的圖像數(shù)據(jù)，在水平方向以及垂直方向上進(jìn)行分析濾波，生成子帶ILL(未圖 示)、1HL、1LH、以及1HH。接下來，對子帶ILL再次在水平方向以及垂直方向上進(jìn)行分析濾 波，生成2LL (未圖示)、2HL、2LH、以及2HH。進(jìn)而，對所生成的子帶2LL，再次在水平方向以 及垂直方向上進(jìn)行分析濾波，生成3LL、3HL、3LH、以及3HH?；谛蟹治鰹V波器部141針對將1圖片按照每規(guī)定的行數(shù)分割而得到的行塊中的 每一個行塊進(jìn)行這樣的小波變換。圖4是說明這樣的基于行的小波變換的圖。如圖4A所示的斜線部分所示，由圖片內(nèi)的連續(xù)的一部分的行形成行塊。此時，如 圖4B所示，在小波變換處理中，每當(dāng)反復(fù)分析濾波時，行數(shù)降低。在圖4的例子的情況下，在圖4A所示的基帶的圖像數(shù)據(jù)中，如果將由8行構(gòu)成的 行塊如圖4B所示分割至分割等級3，則在分割等級1的子帶(1HH、1HL、1LH)中，行數(shù)成為4， 在分割等級2的子帶(2HH、2HL、2LH)中，行數(shù)成為2，在分割等級3的子帶(3HH、3HL、3LH、 3LL)中，行數(shù)成為1。因此，行塊至少成為在小波變換后最低頻的子帶的行數(shù)成為1以上而所需的行數(shù) 以上?；谛蟹治鰹V波器部141具有在水平方向上進(jìn)行分析濾波的水平分析濾波器部 161、與在垂直方向上進(jìn)行分析濾波的垂直分析濾波器部162?；谛蟹治鰹V波器部141首先通過水平分析濾波器部161，進(jìn)行水平方向的分析 濾波，通過垂直分析濾波器部162對其處理結(jié)果進(jìn)行垂直方向的分析濾波。直到達(dá)到規(guī)定 的分割等級為止，對其處理結(jié)果的LL分量，按照同樣的順序反復(fù)水平方向以及垂直方向的 分析濾波。接下來，對上述分析濾波中的演算方法進(jìn)行具體說明。在分析濾波中的演算方法 中最一般的演算方法是被稱為卷積演算的方法。該卷積演算是數(shù)字濾波器的最基本的實現(xiàn) 手段，是對濾波器的抽頭系數(shù)卷積乘上實際的輸入數(shù)據(jù)而得到的。但是，在該卷積演算中， 如果抽頭長較長，則相應(yīng)地計算負(fù)荷也有時增加。作為與其對應(yīng)的方法，已知論文《W. Swelden，“The liftingscheme :A custom-design construction of Biorthogonal wavelets",Applied and Computational Harmonic Analysis, vol3, no. 2，pp. 186-200，1996》中介紹的小波變換的提升技術(shù)。圖5示出在JPEG2000規(guī)格中也采用的9X7分析濾波器的提升結(jié)構(gòu)。說明對該 9X 7分析濾波器應(yīng)用了提升技術(shù)時的分析濾波。在圖5的例子中，第1行(row)(最上面的行(row))表示輸入圖像的采樣組(像 素列)，第2、3行分別表示在步驟A1以及步驟A2的處理中生成的分量(系數(shù))。另外，第4 級表示在步驟A3的處理中生成的高頻分量輸出，第5級表示在步驟A4的處理中生成的低 頻分量輸出。第一行部不限于輸入圖像的采樣組，而也可以是在前面的分析濾波中得到的 系數(shù)。此處，設(shè)為第一行部是輸入圖像的采樣組，將四邊形標(biāo)記(■)設(shè)為偶數(shù)序號的采樣 或行，將圈標(biāo)記(眷)設(shè)為奇數(shù)序號的采樣或行。在對9X7分析濾波器應(yīng)用了提升技術(shù)的分析濾波中，在步驟A3的處理中得到高 頻分量，在步驟A 4的處理中得到低頻分量。另外，用下式(1)至式(4)表示步驟A1至步
10驟A4的處理。步驟A1 屯1 = V+a (Si°+Si+1°) (1)步驟A2 = (d^+di1) (2)步驟A3 屯2 = d^+Y (s^+Sh1) (3)步驟A4 :Si2 = 6 (diX) (4)(a = -1. 586134342,旦=-0. 0529801185, y = 0. 8829110755, 8 = 0. 4435068520)這樣，在應(yīng)用了提升技術(shù)的分析濾波中，進(jìn)行步驟A1以及A2的處理，在步驟A3 中，生成了高頻分量的系數(shù)之后，在步驟A4中，生成低頻分量的系數(shù)。此時使用的濾波器組 合(filter bank)如式(1)至式(4)所示，能夠僅通過加法與移位演算來實現(xiàn)。因此，能夠 大幅降低計算量。因此，如以下說明，在水平分析濾波以及垂直分析濾波中，應(yīng)用該提升技 術(shù)。首先，對水平分析濾波的處理進(jìn)行具體說明。圖6示出通過圖5的提升結(jié)構(gòu)執(zhí)行 水平分析濾波的情況的例子。在圖6的例子中，示出對輸入的水平方向的系數(shù)，在圖5中經(jīng)由上述4個步驟(步 驟A1至A4)的處理，生成高頻分量的系數(shù)(以下，還稱為高頻系數(shù))與低頻分量的系數(shù)(以 下，還稱為低頻系數(shù))的例子，提升的步驟的方向為在圖中從上向下。另外，在水平方向的 系數(shù)上示出的數(shù)字表示列(縱列)序號。進(jìn)而，上數(shù)第1行的圈以及四邊形分別表示所輸入的高頻系數(shù)以及低頻系數(shù)，第2 行以后的圈以及四邊形分別表示在提升演算的過程中生成的高頻系數(shù)以及低頻系數(shù)，在其 中，附加了陰影線的圈以及四邊形也分別表示提升演算的結(jié)果即高頻系數(shù)以及低頻系數(shù)。以下，從上依次對動作進(jìn)行說明。在圖6的上段中，示出在水平方向上輸入列序號 4至6這3列的系數(shù)，通過水平方向的提升結(jié)構(gòu)進(jìn)行演算(以下，稱為水平提升演算)的情 況的例子。為了在該水平提升演算的步驟A3中求出第1個高頻系數(shù)，在步驟A4中求出第1 個低頻系數(shù)，需要輸入列序號0至4這4列的系數(shù)。之后，為了求出第2個高頻系數(shù)與低頻系數(shù)，需要用粗實線表示的三個系數(shù)、與用 帶圈數(shù)字表示的列序號5以及6這2列的系數(shù)，進(jìn)而為了計算表示步驟A2的P1的系數(shù)，還 需要用帶圈數(shù)字表示的列序號4的系數(shù)。用粗實線表示的三個系數(shù)是在用于求出第1個高頻系數(shù)以及低頻系數(shù)的水平提 升演算(以下，還稱為第1個水平提升演算)的過程中生成的系數(shù)中的一部分。S卩，為了求出第2個高頻系數(shù)與低頻系數(shù)，結(jié)果需要輸入用帶圈數(shù)字表示的列序 號4至6這3列的系數(shù)，進(jìn)而需要將在第1個水平提升演算的過程中生成的用粗實線表示 的三個系數(shù)作為途中演算用的系數(shù)而鎖存。實際上，由于最多是三個系數(shù)，所以能夠通過使 用觸發(fā)器等小容量的存儲區(qū)域來應(yīng)對。因此，通過使用在第1個水平提升演算中鎖存的用粗實線表示的三個系數(shù)、與輸 入的列序號4至6這3列的系數(shù)來進(jìn)行水平提升演算，在其演算過程以及結(jié)束時，生成包括 第2個高頻系數(shù)與低頻系數(shù)的4個系數(shù)(用粗虛線表示)。在這些當(dāng)中，用單點劃線表示的 三個系數(shù)是為了求出第3個高頻系數(shù)與低頻系數(shù)而所需的系數(shù)，所以作為途中演算用的系
11數(shù)，而鎖存到內(nèi)置的觸發(fā)器中。在圖6的下段示出在輸入了列序號6的系數(shù)之后在水平方向上追加輸入了 2列的 系數(shù)的情況、即在水平方向上輸入列序號6至8這3列的系數(shù)而進(jìn)行了水平提升演算的情 況的例子。與第2個情況同樣地，為了求出第3個高頻系數(shù)與低頻系數(shù)，需要用粗實線表示的 三個系數(shù)、與用帶圈數(shù)字表示的列序號7以及8這2列的系數(shù)，進(jìn)而為了計算表示步驟A2 的P2示出的系數(shù)，還需要用帶圈數(shù)字表示的列序號6的系數(shù)。另外，下段的用粗實線表示的三個系數(shù)如上段的用單點劃線表示那樣，在第2個 水平提升演算中鎖存到觸發(fā)器。因此，通過使用在第2個水平提升演算中鎖存的用粗實線表示的三個系數(shù)、與輸 入的列序號6至8這3列的系數(shù)來進(jìn)行水平提升演算，生成包括第3個高頻系數(shù)與低頻系 數(shù)的4個系數(shù)(用粗虛線表示)。在這些當(dāng)中，用單點劃線表示的三個系數(shù)是為了求出第4 個高頻系數(shù)與低頻系數(shù)而所需的系數(shù)，所以鎖存到所內(nèi)置的觸發(fā)器中。如上所述，依次輸入3列的系數(shù)，并且保持途中演算用的三個系數(shù)，并且直至畫面 的最右端的列為止執(zhí)行水平提升演算，從而水平方向的分析濾波完成。另外，以上說明了通過提升結(jié)構(gòu)進(jìn)行的1行的水平分析濾波的例子，通過上述動 作，在從上向下方向依次輸入系數(shù)的行，并且通過提升結(jié)構(gòu)進(jìn)行水平分析濾波。然后，一旦垂直方向的系數(shù)集中了規(guī)定數(shù)、即集中了規(guī)定行數(shù)，則例如右側(cè)的提升 的步驟的方向所示，從左向右通過垂直方向的提升結(jié)構(gòu)進(jìn)行演算(即，垂直提升演算)。接下來，對垂直分析濾波進(jìn)行具體說明。圖7示出通過圖5的提升結(jié)構(gòu)執(zhí)行垂直 方向的分析濾波的情況的例子。另外，該圖著眼于在水平方向上展開并排列的一個系數(shù)，在實際的二維的小波變 換中，對于垂直方向的分析濾波的計算，僅需要與在小波變換的過程中生成的頻率分量 (子帶)的水平方向的系數(shù)的個數(shù)對應(yīng)的次數(shù)。在圖7的例子中，示出了對垂直方向的系數(shù)，經(jīng)由在圖5中示出的4個步驟(步驟 A1至A4)的處理，生成了高頻系數(shù)與低頻系數(shù)的例子，提升的步驟的方向為在圖中從左向 右。另外，垂直方向的系數(shù)的左側(cè)中所示的數(shù)字表示行序號。進(jìn)而，左數(shù)第1列的圈以及四邊形分別表示所輸入的高頻系數(shù)以及低頻系數(shù)，第2 列以后的圈以及四邊形分別表示在提升演算的過程中生成的高頻系數(shù)以及低頻系數(shù)，在其 中，附加了陰影的圈以及四邊形也分別表示提升演算的結(jié)果即高頻系數(shù)以及低頻系數(shù)。以下，從左依次對動作進(jìn)行說明。在圖7的左側(cè)，示出在垂直方向上輸入行序號4 至6這3行的系數(shù)，而進(jìn)行了垂直提升演算的情況的例子。為了在該垂直提升演算的步驟A3中求出第1個高頻系數(shù)，在步驟A4中求出第1 個低頻系數(shù)，需要行序號0至4這4行的系數(shù)。之后，為了求出第2個高頻系數(shù)與低頻系數(shù)，需要用粗實線表示的三個系數(shù)、與用 帶圈數(shù)字表示的行序號5以及6這2行的系數(shù)，進(jìn)而，為了計算表示步驟A2的P1的系數(shù)， 還需要用帶圈數(shù)字表示的行序號4的系數(shù)。用粗實線表示的三個系數(shù)是在用于求出第1個高頻系數(shù)以及低頻系數(shù)的垂直提 升演算(以下，稱為第1個垂直提升演算)的過程中生成的系數(shù)中的一部分。
S卩，為了求出第2個高頻系數(shù)與低頻系數(shù)，結(jié)果需要輸入用帶圈數(shù)字表示的行序 號4至6這3行的系數(shù)。進(jìn)而，需要在第1個垂直提升演算的過程中生成的用粗實線表示 的三個系數(shù)。將該三個系數(shù)存儲為途中演算用的系數(shù)。因此，通過使用在第1個垂直提升演算中存儲的用粗實線表示的三個系數(shù)、與從 對應(yīng)的等級的緩沖器中讀出并輸入的行序號4至6這3行的系數(shù)來進(jìn)行垂直提升演算，得 到包括第2個高頻系數(shù)與低頻系數(shù)的4個系數(shù)(用粗虛線表示)。在這些當(dāng)中，用單點劃線 表示的三個系數(shù)是為了求出第3個高頻系數(shù)與低頻系數(shù)而所需的系數(shù)，所以將其存儲。在圖7右側(cè)示出在讀出了行序號6的系數(shù)之后追加讀出2行的系數(shù)的情況、即在 垂直方向上輸入行序號6至8這3行的系數(shù)而進(jìn)行垂直提升演算的情況的例子。與第2個情況同樣地，為了求出第3個高頻系數(shù)與低頻系數(shù)，需要用粗實線表示的 三個系數(shù)、與用帶圈數(shù)字表示的行序號7以及8這2行的系數(shù)，進(jìn)而為了計算表示步驟A2 的P2的系數(shù)，還需要用帶圈數(shù)字表示的行序號6的系數(shù)。另外，右側(cè)的用粗實線表示的三個系數(shù)如左側(cè)的用單點劃線表示那樣，在第2個 垂直提升演算中存儲。因此，通過使用在第2個垂直提升演算中存儲的用粗實線表示的三 個系數(shù)、與從對應(yīng)的等級的緩沖器中讀出并輸入的行序號6至8這3行的系數(shù)，來進(jìn)行垂直 提升演算，得到包括第3個高頻系數(shù)與低頻系數(shù)的4個系數(shù)(用粗虛線表示)。在這些中， 用單點劃線表示的三個系數(shù)是為了求出第4個高頻系數(shù)與低頻系數(shù)而所需的系數(shù)，所以將 其存儲。如上所述，依次輸入3行的系數(shù)，并且保持途中演算用的三個系數(shù)，并且直至畫面 的最下位的行為止執(zhí)行垂直提升演算，從而垂直方向的分析濾波完成。返回到圖2，如上所述生成的小波系數(shù)被臨時保持在緩沖器142中?？赡婢幋a部143被可逆編碼控制部152控制，一旦在緩沖器142中積蓄了規(guī)定量 的系數(shù)數(shù)據(jù)，立即將其讀出并通過可逆編碼方式進(jìn)行熵編碼，生成代碼流?？赡婢幋a部143 具有 EBCOT (Embedded Coding withOptimized Truncation，優(yōu)化 截斷嵌入式編碼)部171、頭生成部172以及分組生成部173。EBC0T部171對所輸入的系數(shù)數(shù)據(jù)進(jìn)行用JPEG2000規(guī)格決定的被稱為EBC0T的 熵編碼。EBC0T是針對每規(guī)定的尺寸的塊測定該塊內(nèi)的系數(shù)的統(tǒng)計量并進(jìn)行編碼的方法。 EBC0T部171具有比特建模部181以及算術(shù)編碼部182。比特建模部181依照在編碼方式的規(guī)格中決定的步驟，對系數(shù)數(shù)據(jù)進(jìn)行比特 建模，向算術(shù)編碼部182送出上下文(context)。算術(shù)編碼部182對系數(shù)的比特平面 (bit-plane)進(jìn)行算術(shù)編碼。代碼塊的縱橫尺寸是從4至256的2的冪乘，通常使用的尺寸有32X32、64X64、 以及128X32等。用n比特的帶符號的二進(jìn)制數(shù)來表示系數(shù)值，從bitO至bit (n-2)表示 從LSB至MSB各自的比特。剩余的1比特表示符號。從MSB側(cè)的比特平面依次例如通過重
足各@ (Significant Propagation Pass) JM&Mit^i (Magnitude Refinement Pass)、以及清除路徑(Cleanup Pass)這3種編碼路徑，進(jìn)行符號塊的編碼。算術(shù)編碼部207將所生成的代碼流供給給頭生成部172以及分組生成部173。分組生成部173對所供給的編碼代碼流進(jìn)行分組化。頭生成部172生成該分組的 頭信息，將該頭信息供給給分組生成部173。分組生成部173使用該頭信息進(jìn)行分組化。所
13生成的分組被輸出到可逆基于行編碼部101的外部。[可逆解碼部的結(jié)構(gòu)]接下來，對圖1的可逆基于行解碼部121進(jìn)行說明。圖8是示出控制部111以及 可逆基于行解碼部121的結(jié)構(gòu)例的框圖。如圖8所示，可逆基于行解碼部121具有解碼部211、緩沖器212以及基于行合成 濾波器部213。另外，控制部111具有對解碼部211的動作進(jìn)行控制的解碼控制部201、以及對基 于行合成濾波器部213的動作進(jìn)行控制的小波逆變換控制部202。解碼部211被解碼控制部201控制，對從非可逆變碼部102的外部輸入的代碼流， 通過與可逆基于行編碼部101中的編碼方法對應(yīng)的解碼方法進(jìn)行解碼。解碼部211具有分組解讀部231以及EBC0T部232。分組解讀部231被解碼控制 部201控制，解讀分組，將代碼流供給給EBC0T部232。EBC0T部232對輸入的代碼流，進(jìn)行 在規(guī)格中決定的被稱為EBC0T的熵解碼。EBC0T部232具有算術(shù)解碼部241以及比特建模部242。算術(shù)解碼部241通過與 算術(shù)編碼部182對應(yīng)的方法對代碼流進(jìn)行解碼，將上下文供給給比特建模部242。比特建模 部242通過與比特建模部181對應(yīng)的方法，生成小波系數(shù)。比特建模部242將生成的系數(shù)數(shù)據(jù)供給給緩沖器212而保持?；谛泻铣蔀V波器部213被小波逆變換控制部202控制，一旦在緩沖器212中積 蓄了規(guī)定量的系數(shù)數(shù)據(jù)，立即將其讀出，針對規(guī)定的行數(shù)的行塊中的每一個行塊，進(jìn)行從低 頻分量遞歸性地反復(fù)合成低頻分量與高頻分量的系數(shù)的合成濾波器處理的、基于行的小波 逆變換?；谛泻铣蔀V波器部213針對按照各子帶的每規(guī)定的行數(shù)分割而得到的每個行 塊，進(jìn)行這樣的小波逆變換。圖9是說明這樣的基于行的小波逆變換的圖。如圖9A所示的斜線部分所示，由各子帶的連續(xù)的一部分的行形成行塊。此時，如 圖9A所示，在小波逆變換處理中，每當(dāng)反復(fù)了合成濾波時，行數(shù)降低。在圖9的例子的情況下，如果在圖9A所示的最低頻的子帶中，對由8行構(gòu)成的行 塊進(jìn)行合成濾波，圖9B所示直到基帶為止進(jìn)行合成，則在該基帶中行數(shù)成為1。因此，在最低頻的子帶中，行塊至少成為在小波逆變換后基帶的行數(shù)成為1以上 而所需的行數(shù)以上?；谛泻铣蔀V波器部213具有在垂直方向上進(jìn)行合成濾波的垂直合成濾波器部 251、與在水平方向上進(jìn)行合成濾波的水平合成濾波器部252?；谛泻铣蔀V波器部213首先通過垂直合成濾波器部251，針對最低頻的分割等 級的4分量(LL、LH、HL、HH)，進(jìn)行垂直方向的合成濾波，通過水平合成濾波器部252對其處 理結(jié)果進(jìn)行水平方向的合成濾波。直到達(dá)到規(guī)定的分割等級為止，針對其處理結(jié)果的最低 頻的分割等級的4分量，按照同樣的順序反復(fù)垂直方向以及水平方向的合成濾波。能夠與應(yīng)用了上述提升技術(shù)時的分析濾波對應(yīng)地，高效地執(zhí)行濾波，所以在小波 逆變換的合成濾波中，也優(yōu)選同樣地使用提升技術(shù)。圖10示出在JPEG2000規(guī)格中也采用的9X7合成濾波器的提升結(jié)構(gòu)。說明對該 9X 7合成濾波器應(yīng)用了提升技術(shù)時的合成濾波。
在圖10的例子中，第一行(最上面的一行)是通過小波變換生成的系數(shù)，圈標(biāo)記 ( )表示高頻分量的系數(shù)，四邊形標(biāo)記(■)表示低頻分量的系數(shù)。第2、3行分別表示在 步驟B1以及步驟B2的處理中生成的分量(系數(shù))。另外，第4行表示在步驟B3的處理中 生成的偶數(shù)分量輸出，第5行表示在步驟B 4的處理中生成的奇數(shù)分量輸出。在對9X7合成濾波器應(yīng)用了提升技術(shù)的合成濾波中，在步驟B3的處理中得到偶 數(shù)分量，在步驟B4的處理中得到奇數(shù)分量。另外，用下式(5)至式(8)來表示步驟B1至步 驟B4的處理。步驟B1 = Si2_5 (d^+cO(5)步驟B2 (!/ = d/- y (s^+s^1)(6)步驟B3 :Si° = s/-3 (cW+d/)(7)步驟B4 ^0 = d^-a (Si°+Si+10)(8)(a = -1. 586134342,旦=-0. 0529801185, y = 0. 8829110755, 8 = 0. 4435068520)這樣，在應(yīng)用了提升技術(shù)的合成濾波中，進(jìn)行步驟B1以及B2的處理，在步驟B3 中，生成了偶數(shù)分量的系數(shù)之后，在步驟B4中，生成奇數(shù)分量的系數(shù)。此時使用的濾波器組 合如式(5)至式⑶所示，能夠僅通過除法與移位演算來實現(xiàn)。因此，能夠大幅降低計算量。因此，如接下來的說明，在垂直合成濾波以及水平合成濾波中，應(yīng)用該提升技術(shù)。 另外，僅使用的式不同，在垂直合成濾波中，進(jìn)行與參照圖7而敘述的垂直分析濾波基本上 同樣的動作，在水平合成濾波中，進(jìn)行與參照圖6而敘述的水平分析濾波基本上同樣的動 作。首先，對垂直合成濾波的處理進(jìn)行具體說明。圖11示出通過圖10的提升結(jié)構(gòu)執(zhí) 行針對垂直方向的系數(shù)組的垂直合成濾波的情況的例子。在圖11的例子中，示出對垂直方向的系數(shù)，經(jīng)由在圖10中上述的4個步驟(步驟 B1至B4)的處理，生成了偶數(shù)序號的系數(shù)(以下，還稱為偶數(shù)系數(shù))與奇數(shù)序號的系數(shù)(以 下，還稱為奇數(shù)系數(shù))的例子，提升的步驟的方向為在圖中從左向右。另外，垂直方向的系數(shù)的左側(cè)所示的數(shù)字表示行序號，左數(shù)第1列的附加了陰影 的圈以及四邊形分別表示高頻輸入以及低頻輸入。進(jìn)而，第2列以后的圈以及四邊形分別 表示在提升演算的過程中生成的高頻系數(shù)以及低頻系數(shù)，在其中，黑圈以及黑四邊形也分 別表示提升演算的結(jié)果即奇數(shù)系數(shù)以及偶數(shù)系數(shù)。以下，從左依次對動作進(jìn)行說明。在圖11的左側(cè)，示出在垂直方向上輸入行序號 4至6這3行的系數(shù)，通過垂直方向的提升結(jié)構(gòu)進(jìn)行演算(即，垂直提升演算)的情況的例 子。另外，在當(dāng)前的情況下，第一行的偶數(shù)系數(shù)與奇數(shù)系數(shù)沒有成組，所以省略其說明。為了在該垂直提升演算的步驟B3中求出第1個偶數(shù)系數(shù)，在步驟B4中求出第1 個奇數(shù)系數(shù)，需要行序號0至5這6行的系數(shù)。之后，為了求出第2個偶數(shù)系數(shù)與奇數(shù)系數(shù)，需要用粗實線表示的三個系數(shù)、與用 帶圈數(shù)字表示的行序號6以及7這2行的系數(shù)，進(jìn)而，為了計算出表示步驟B2的Q1的系數(shù)， 還需要用帶圈數(shù)字表示的行序號5的系數(shù)。用粗實線表示的三個系數(shù)是在用于求出第1個偶數(shù)系數(shù)以及奇數(shù)系數(shù)的垂直提 升演算(以下，稱為第1個垂直提升演算)的過程中生成的系數(shù)中的一部分。
因此，為了求出第2個偶數(shù)系數(shù)與奇數(shù)系數(shù)，結(jié)果，需要輸入用帶圈數(shù)字表示的行 序號5至7這3行的系數(shù)，進(jìn)而需要預(yù)先存儲在用于求出第1個偶數(shù)系數(shù)與奇數(shù)系數(shù)的垂 直提升演算的過程中生成的用粗實線表示的三個系數(shù)。另外，此時，針對每個等級讀出垂直 方向的3行的系數(shù)。因此，通過使用在第1個垂直提升演算中存儲在緩沖器中的用粗實線表示的三個 系數(shù)、與輸入的行序號5至7這3行的系數(shù)來進(jìn)行垂直提升演算，得到包括第2個偶數(shù)系數(shù) 與奇數(shù)系數(shù)的4個系數(shù)(用粗虛線表示)。其中，用單點劃線表示的三個系數(shù)是為了求出第 3個偶數(shù)系數(shù)與奇數(shù)系數(shù)而所需的系數(shù)，所以將其存儲。在圖11右側(cè)示出在讀出了行序號7的系數(shù)之后追加讀出2行的系數(shù)的情況、即在 垂直方向上輸入行序號7至9這3行的系數(shù)來進(jìn)行垂直提升演算的情況的例子。與第2個情況同樣地，為了求出第3個偶數(shù)系數(shù)與奇數(shù)系數(shù)，需要用粗實線表示的 三個系數(shù)、與用帶圈數(shù)字表示的行序號8以及9這2行的系數(shù)，進(jìn)而為了計算出表示步驟B2 的Q2的系數(shù)，還需要用帶圈數(shù)字表示的行序號7的系數(shù)。另外，右側(cè)的用粗實線表示的三個系數(shù)如用左側(cè)的用單點劃線表示的那樣，在第2 個垂直提升演算中存儲在系數(shù)緩沖器中。因此，通過使用在第2個垂直提升演算中存儲的用粗實線表示的三個系數(shù)、與輸 入的行序號7至9這3行的系數(shù)來進(jìn)行垂直提升演算，得到包括第3個偶數(shù)系數(shù)與奇數(shù)系 數(shù)的4個系數(shù)(用粗虛線表示)。其中，用單點劃線表示的三個系數(shù)是為了求出第3個偶數(shù) 系數(shù)與奇數(shù)系數(shù)而所需的系數(shù)，所以將其存儲。如上所述，依次輸入3行的系數(shù)，并且保持途中演算用的三個系數(shù)，并且直至畫面 的最下位的行為止執(zhí)行垂直提升演算，從而垂直方向的合成濾波完成。接下來，對水平合成濾波進(jìn)行具體說明。圖12示出在水平方向上排列垂直方向的 合成濾波的結(jié)果，通過圖10的提升結(jié)構(gòu)執(zhí)行水平合成濾波的情況的例子。在圖12的例子中，示出對水平方向的系數(shù)，經(jīng)由在圖10中上述的4個步驟(步驟 B1至B4)的處理，生成了奇數(shù)系數(shù)與偶數(shù)系數(shù)的例子，提升的步驟的方向為在圖中從上向 下。另外，水平方向的系數(shù)上所示的數(shù)字表示列(縱列)序號，上數(shù)第1行的附加了陰 影的圈以及四邊形分別表示高頻輸入以及低頻輸入，第2行以后的圈以及四邊形分別表示 在提升演算的過程中生成的高頻系數(shù)以及低頻系數(shù)，在其中，黑圈以及黑四邊形也分別表 示提升演算的結(jié)果即奇數(shù)系數(shù)以及偶數(shù)系數(shù)。以下，從上依次對動作進(jìn)行說明。在圖12的上段，示出在水平方向上輸入列序號5 至7這3列的系數(shù)并通過水平方向的提升結(jié)構(gòu)進(jìn)行演算(以下，稱為水平提升演算)的情 況的例子。另外，在當(dāng)前的情況下，最左側(cè)的偶數(shù)系數(shù)與奇數(shù)系數(shù)沒有成組，所以省略其說 明。為了在該水平提升演算的步驟B3中求出第1個偶數(shù)系數(shù)，在步驟B4中求出第1 個奇數(shù)系數(shù)，需要列序號0至5這6列的系數(shù)。之后，為了求出第2個奇數(shù)系數(shù)與偶數(shù)系數(shù)，需要用粗實線表示的三個系數(shù)、與用 帶圈數(shù)字表示的列序號6以及7這2列的系數(shù)，進(jìn)而為了計算出表示步驟B2的Q1的系數(shù)， 還需要用帶圈數(shù)字表示的列序號5的系數(shù)。
用粗實線表示的三個系數(shù)是在用于求出第1個奇數(shù)系數(shù)以及偶數(shù)系數(shù)的水平提 升演算(以下，還稱為第1個水平提升演算)的過程中生成的系數(shù)中的一部分。S卩，為了求出第2個奇數(shù)系數(shù)與偶數(shù)系數(shù)，結(jié)果，需要輸入用帶圈數(shù)字表示的列序 號5至7這3列的系數(shù)，進(jìn)而需要鎖存在第1個水平提升演算的過程中生成的用粗實線表 示的三個系數(shù)。實際上，由于最多是三個系數(shù)，所以能夠通過使用觸發(fā)器那樣的小容量的存 儲區(qū)域來應(yīng)對。因此，通過使用在第1個水平提升演算中鎖存的用粗實線表示的三個系數(shù)、與輸 入的列序號5至7這3列的系數(shù)來進(jìn)行水平提升演算，在演算過程以及結(jié)束時，得到包括第 2個奇數(shù)系數(shù)與偶數(shù)系數(shù)的4個系數(shù)(用粗虛線表示)。其中，用單點劃線表示的三個系數(shù) 是為了求出第3個奇數(shù)系數(shù)與偶數(shù)系數(shù)而所需的系數(shù)，所以將其鎖存到內(nèi)置的觸發(fā)器中。在圖12的下段示出在輸入了列序號7的系數(shù)之后在水平方向上追加輸入了 2列 的系數(shù)的情況、即在水平方向上輸入列序號7至9這3列的系數(shù)而進(jìn)行水平提升演算的情 況的例子。與第2個情況同樣地，為了求出第3個奇數(shù)系數(shù)與偶數(shù)系數(shù)，需要用粗實線表示的 三個系數(shù)、與用帶圈數(shù)字表示的列序號8以及9這2列的系數(shù)，進(jìn)而為了計算出表示步驟B2 的Q2的系數(shù)，還需要用帶圈數(shù)字表示的列序號7的系數(shù)。另外，下段的用粗實線表示的三個系數(shù)如上段的用單點劃線表示那樣，在第2個 水平提升演算中被鎖存。因此，通過使用在第2個水平提升演算中鎖存的用粗實線表示的三個系數(shù)、與新 輸入的列序號7至9這3列的系數(shù)來進(jìn)行水平提升演算，得到包括第3個奇數(shù)系數(shù)與偶數(shù) 系數(shù)的4個系數(shù)(用粗虛線表示)。其中，用單點劃線表示的三個系數(shù)是為了求出第4個奇 數(shù)系數(shù)與偶數(shù)系數(shù)而所需的系數(shù)，所以將其鎖存到內(nèi)置的觸發(fā)器中。如上所述，依次輸入3列的系數(shù)，并且保持途中演算用的三個系數(shù)，并且直到畫面 的最右端的列為止執(zhí)行水平提升演算，從而水平方向的合成濾波完成。如上所述，在垂直合成濾波以及水平合成濾波中，也使用9X7小波變換濾波器的 提升結(jié)構(gòu)，從而在對應(yīng)的分割等級的緩沖器中，需要存儲3行的系數(shù)的各行的系數(shù)用的緩 沖器，進(jìn)而，為了求出圖11的Q1以及Q2的系數(shù)，所以在垂直提升演算時，已經(jīng)使用的行的 系數(shù)也需要用于接下來的垂直提升演算中。因此，在對應(yīng)的等級的緩沖器的內(nèi)部中，成為將存儲在一個行的緩沖器中的系數(shù) 依次傳送給鄰接的行的緩沖器的結(jié)構(gòu)。如上所述進(jìn)行合成濾波而得到的基帶的圖像數(shù)據(jù)被積蓄在緩沖器122中。另外，該基于行合成濾波器部213被小波逆變換控制部202控制，對可逆編碼前的 圖像數(shù)據(jù)，為了得到按照期望的壓縮率壓縮的基帶的圖像數(shù)據(jù)，直到規(guī)定的分割等級為止 進(jìn)行合成濾波。即，基于行合成濾波器部213未必合成至分割等級0。但是，不論基于行合 成濾波器部213直到何種分割等級進(jìn)行合成濾波的情況，得到的合成濾波結(jié)果都被處理為 基帶的圖像數(shù)據(jù)。[非可逆編碼部的結(jié)構(gòu)]接下來，對非可逆基于行編碼部123進(jìn)行說明。圖13是示出控制部與非可逆基于 行編碼部的結(jié)構(gòu)例的框圖。如圖13所示，非可逆基于行編碼部123具有基本上與可逆基于
17行編碼部101同樣的結(jié)構(gòu)。S卩，非可逆基于行編碼部123具有與圖2的基于行分析濾波器部141同樣的基于 行分析濾波器部311、與圖2的緩沖器142同樣的緩沖器312、以及與可逆編碼部143同樣 的非可逆編碼部313。另外，控制部111具有對基于行分析濾波器部311的動作進(jìn)行控制的小波變換控 制部301、以及對非可逆編碼部313的動作進(jìn)行控制的非可逆編碼部302。基于行分析濾波器部311被小波變換控制部301控制，對從緩沖器122讀出的圖 像數(shù)據(jù)，針對每個行塊進(jìn)行小波變換?；谛蟹治鰹V波器部311具有與圖2的水平分析濾 波器部161同樣的水平分析濾波器部321、以及與圖2的垂直分析濾波器部162同樣的垂直 分析濾波器部322。水平分析濾波器部321被小波變換控制部301控制，對從緩沖器122讀出的圖像 數(shù)據(jù)，在水平方向上進(jìn)行基于行的分析濾波，垂直分析濾波器部322被小波變換控制部301 控制，在垂直方向上進(jìn)行基于行的分析濾波，將得到的處理結(jié)果供給給緩沖器312而保持。非可逆編碼部302除了可逆編碼部143的結(jié)構(gòu)以外，還具有量化部331。即，EBC0T 部332對應(yīng)于EBC0T部171，頭生成部333對應(yīng)于圖2的頭生成部172，分組生成部334對 應(yīng)于分組生成部173。EBC0T部332具有與EBC0T部171的比特建模部181同樣的比特建模部341、以及 與EBC0T部171的算術(shù)編碼部182同樣的算術(shù)編碼部342。量化部331被非可逆編碼控制部302控制，對從緩沖器312取得的小波系數(shù)進(jìn)行 量化。該量化的方法可以是任意的，但一般是用量化步驟尺寸進(jìn)行除法的標(biāo)量量化。量化 部331將通過量化得到的量化系數(shù)供給給EBC0T部332。另外，在其后級中，代替小波系數(shù) 而供給量化系數(shù)，但也與小波系數(shù)的情況基本同樣地處理該量化系數(shù)。因此，以下，只要不 必要則省略關(guān)于該點的說明，簡稱為系數(shù)或系數(shù)數(shù)據(jù)。比特建模部341按照在規(guī)格中決定的步驟，對系數(shù)數(shù)據(jù)進(jìn)行比特建模，向算術(shù)編 碼部342送出上下文。算術(shù)編碼部342對系數(shù)的比特平面進(jìn)行算術(shù)編碼。圖14是說明小波變換以及小波逆變換的處理的樣子的圖?？刂撇?11進(jìn)行控制，以并行地進(jìn)行通過可逆基于行解碼部121實現(xiàn)的基于行小 波逆變換處理、與通過非可逆基于行編碼部123實現(xiàn)的基于行小波變換處理。如圖14左所示，控制部111使基于行合成濾波器部213，每當(dāng)在規(guī)定的P行緩沖 器212中保持了最低頻分量的行時，進(jìn)行基于行小波逆變換，生成1行的基帶的圖像數(shù)據(jù)， 將其保持在緩沖器122中?？刂撇?11控制基于行合成濾波器部213，反復(fù)這樣的基于行小 波逆變換處理。反復(fù)這樣的處理，一旦在緩沖器122中積蓄了規(guī)定的L行的基帶的圖像數(shù)據(jù)，則控 制部111立即如圖14右所示，使基于行分析濾波器部311取得該L行的基帶的圖像數(shù)據(jù)，進(jìn) 行基于行小波變換，生成每個子帶的系數(shù)數(shù)據(jù)?？刂撇?11控制基于行分析濾波器部311， 反復(fù)這樣的基于行小波變換處理。通過這樣控制，能夠?qū)⒃诰彌_器122中同時積蓄的數(shù)據(jù)量設(shè)為所需最小限，所以 控制部111能夠降低作為緩沖器122而所需的存儲器量。[處理的流程]
接下來，對各處理的流程進(jìn)行說明。最初，參照圖15的流程圖，對通過可逆基于行 編碼部101執(zhí)行的可逆編碼處理的流程的例子進(jìn)行說明。在開始了可逆編碼處理后，基于行分析濾波器部141被小波變換控制部151控制， 對對象行塊進(jìn)行小波變換。在步驟S102中，EBC0T部171被可逆編碼控制部152控制，對 通過步驟S101的處理生成的小波系數(shù)，進(jìn)行熵編碼，生成代碼流。在步驟S103中，頭生成 部172以及分組生成部173被可逆編碼控制部152控制，生成頭，進(jìn)而生成代碼流的分組。 在步驟S104中，控制部131判定是否處理了所有行塊。在判定為存在未處理的行塊，而沒有處理所有行塊的情況下，返回到步驟S101，反 復(fù)其后的處理。另外，在步驟S104中，在判定為處理了所有行塊的情況下，可逆編碼處理結(jié)
束o如上所述生成的分組被供給給非可逆變碼部102。接下來，參照圖16的流程圖，對通過非可逆變碼部102的控制部111執(zhí)行的變碼 控制處理的流程的例子進(jìn)行說明。在開始了變碼控制處理后，在步驟S121中，解碼控制部201控制解碼部211，直到 處理所有處理對象代碼流為止，對代碼流進(jìn)行解碼。解碼而得到的小波系數(shù)被依次供給給 緩沖器212而保持。在步驟S122中，小波逆變換控制部202控制基于行合成濾波器部213，直到?jīng)]有緩 沖器212中保持的處理對象系數(shù)數(shù)據(jù)為止，對處理對象系數(shù)數(shù)據(jù)進(jìn)行小波逆變換。小波逆 變換而得到的基帶的圖像數(shù)據(jù)被依次保持在緩沖器122中。在步驟S123中，控制部111判定在緩沖器122中是否積蓄了 1行塊的圖像數(shù)據(jù)， 直到判定為積蓄到為止繼續(xù)等待。在判定為緩沖器122中積蓄了 1行塊的圖像數(shù)據(jù)的情況下，處理進(jìn)入到步驟S124。 在步驟S124中，小波變換控制部301控制基于行分析濾波器部311，讀出積蓄在緩沖器122 中的行塊，而進(jìn)行小波變換。編碼而得到的小波系數(shù)被依次供給給緩沖器312而保持。在步驟S125中，非可逆編碼控制部302控制非可逆編碼部123，讀出積蓄在緩沖 器312中的小波系數(shù)，進(jìn)行非可逆編碼。通過步驟S 125的處理得到的代碼流被分組化后 輸出到編碼裝置100的外部。在步驟S126中，控制部111判定在緩沖器122中是否存在未處理的圖像數(shù)據(jù)。在 判定為存在的情況下，返回到步驟S123，反復(fù)其后的處理。另外，在步驟S126中，判定為在 緩沖器122中不存在未處理的圖像數(shù)據(jù)的情況下，變碼控制處理結(jié)束。接下來，參照圖17的流程圖，對通過圖16的步驟S121的控制執(zhí)行的解碼處理的 流程的例子進(jìn)行說明。在開始了解碼處理后，分組解讀部231在步驟S141中，取得規(guī)定量的代碼流。在 步驟S142中，EBC0T部232對得到的代碼流進(jìn)行熵解碼。在步驟S143中，緩沖器121保持 通過步驟S142的處理得到的系數(shù)。如果步驟S143的處理結(jié)束，則解碼處理結(jié)束。接下來，參照圖18的流程圖，對通過圖16的步驟S122的控制執(zhí)行的小波逆變換 處理的流程的例子進(jìn)行說明。在開始了小波逆變換處理后，基于行合成濾波器部213在步驟S161中，判定在緩 沖器212是否積蓄了規(guī)定量的系數(shù)，直到判定為積蓄到為止繼續(xù)等待。當(dāng)判定為在緩沖器212中積蓄了規(guī)定量的系數(shù)的情況下，處理進(jìn)入到步驟S162。在步驟S162中，基于行合成濾波器部213取得保持在緩沖器212中的系數(shù)。在步 驟S163中，基于行合成濾波器部213對所取得的系數(shù)，進(jìn)行合成濾波器處理。在步驟S164 中，基于行合成濾波器部213將通過步驟S163的處理得到的圖像數(shù)據(jù)供給給緩沖器122而 保持。如果步驟S164的處理結(jié)束，則小波逆變換處理結(jié)束。接下來，參照圖19的流程圖，對通過圖15的步驟S124的控制執(zhí)行的小波變換處 理的流程的例子進(jìn)行說明。在開始了小波變換處理后，基于行分析濾波器部311在步驟S181中，取得積蓄在 緩沖器122中的處理對象行塊。在步驟S182中，基于行分析濾波器部311針對所取得的行 塊進(jìn)行分析濾波處理。在步驟S183中，基于行分析濾波器部311將通過步驟S182的處理 生成的系數(shù)數(shù)據(jù)供給給緩沖器312而保持。如果步驟S183的處理結(jié)束，則小波變換處理結(jié)
束o接下來，參照圖20的流程圖，對通過圖15的步驟S125的控制執(zhí)行的非可逆編碼 處理的流程的例子進(jìn)行說明。在開始了非可逆編碼處理后，非可逆編碼部313在步驟S201中，判定在緩沖器312 中是否積蓄了規(guī)定量的系數(shù)，直到判定為積蓄到為止繼續(xù)等待。當(dāng)判定為在緩沖器312中 積蓄了規(guī)定量的系數(shù)的情況下，處理進(jìn)入到步驟S202。在步驟S202中，非可逆編碼部313從緩沖器312取得系數(shù)數(shù)據(jù)。在步驟S203中， 量化部331對所取得的系數(shù)數(shù)據(jù)進(jìn)行量化。在步驟S204中，EBC0T部332對量化后的系數(shù) 進(jìn)行熵編碼，生成按照非可逆方式編碼的代碼流。在步驟S205中，頭生成部333以及分組生 成部334生成通過步驟S204的處理得到的代碼流的頭，進(jìn)而使用該頭而生成分組并輸出。 如果步驟S205的處理結(jié)束，則非可逆編碼處理結(jié)束。如上所述，通過控制部111的參照圖15的流程圖說明的變碼控制處理的控制，并 行(相互獨立)地執(zhí)行參照圖18說明的小波逆變換處理、與參照圖19說明的小波變換處理。此時，控制部111 一旦在緩沖器122中積蓄了所需最小限的量的通過小波逆變換 處理生成的圖像數(shù)據(jù)，則立即執(zhí)行小波變換處理，所以編碼裝置100能夠降低緩沖器122中 所需的存儲器量。另外，可逆基于行編碼部101、可逆基于行解碼部121、以及非可逆基于行編碼部 123的各部進(jìn)行的編碼處理或解碼處理的編碼方式(解碼方式)是任意的。例如，也可以是 JPEG2000 方式。<2.第2實施方式>[可逆編碼部的結(jié)構(gòu)]對編碼方式為JPEG2000方式的情況的可逆基于行編碼部進(jìn)行說明。圖21是示出 可逆基于行編碼部的其他結(jié)構(gòu)例的框圖。在該情況下，可逆基于行編碼部101也基本上具有與參照圖2說明的情況基本上 同樣的結(jié)構(gòu)，但代替控制部131而具有控制部401，并且代替基于行分析濾波器部141而具 有小波變換部411，進(jìn)而代替可逆編碼部143而具備可逆編碼部413。小波變換部411具有DC等級切換(level shift)部431與基于行分析濾波器部141。DC等級切換部431為了高效地進(jìn)行后級的基于行分析濾波，進(jìn)行對小波變換部 411輸入的圖像數(shù)據(jù)的DC分量的等級切換。例如，RGB信號具有正的值(無符號的整數(shù))。 因此，DC等級切換部431利用該性質(zhì)，進(jìn)行將原信號的動態(tài)范圍設(shè)為一半的等級切換，從而 實現(xiàn)壓縮效率的提高。因此，在將如YCbCr信號的Cb、Cr (色差信號)那樣具有符號(有正 負(fù)兩方)的整數(shù)值的信號設(shè)為原信號的情況下，不進(jìn)行該等級切換。基于行分析濾波器部141對DC等級切換后的圖像數(shù)據(jù)進(jìn)行小波變換處理?？赡婢幋a部413被可逆編碼控制部152控制，通過JPEG2000的可逆編碼方式對小 波系數(shù)進(jìn)行編碼?？赡婢幋a部413除了 EBC0T部171至分組生成部173以外，還具有代碼 塊化部441以及比特平面展開部442。代碼塊化部441將代碼流分割為作為熵編碼的處理單位的規(guī)定尺寸的代碼塊。圖 22是示出各子帶中的代碼塊的位置關(guān)系的圖。在分割后的所有子帶中生成例如64X64像 素程度的尺寸的代碼塊。在圖22的例子中，如果將分割等級最小的3HH的子帶的尺寸設(shè)為 例如640X320像素，則存在合計50個64X64像素的代碼塊。后級的各處理部針對每個該 代碼塊進(jìn)行處理。代碼塊化部441將各代碼塊供給給比特平面展開部442。比特平面展開部205將 系數(shù)數(shù)據(jù)在比特的每個位的比特平面中展開。針對每個比特、即每個位置分割(切割)由 規(guī)定數(shù)的小波系數(shù)構(gòu)成的系數(shù)組，而得到比特平面。即，比特平面是該系數(shù)組的相互相同的 位的比特(系數(shù)比特)的集合。EBC0T171對比特平面展開后的系數(shù)數(shù)據(jù)進(jìn)行熵編碼?？刂撇?01除了具有小波變換控制部151以及可逆編碼控制部152以外，還具有 行塊定義部421、代碼塊定義部422、以及分區(qū)定義部423。代碼塊定義部422定義在JPEG2000中規(guī)定的代碼塊的尺寸。分區(qū)定義部423定 義在JPEG2000中規(guī)定的分區(qū)的尺寸。在JPEG2000的情況下，代碼塊定義部422在小波變換后的子帶內(nèi)，如圖22所示定 義矩形的代碼塊(例如64X64)。用下式定義代碼塊的橫尺寸(CB_h)、縱尺寸(CB_v)。xcb' = min(xcb，PPx-1) 對于 r > 0(9)xcb' = min(xcb, PPx) 對于 r = 0 (10)ycb' = min (ycb，PPy_l).對于 r > 0 (11)ycb' = min (ycb, PPy).對于 r = 0 (12)(r 表示分辨率等級數(shù)。r = 0是最低頻)CB_h (代碼塊的橫尺寸)2xeb' (13)CB_v (代碼塊的縱尺寸)=2yeb‘ (14)PR_h(分區(qū)的橫尺寸)=2PPx(15)PR_v(分區(qū)的縱尺寸)=2PPy(16)如上所述，需要在JPEG2000中必需在分區(qū)內(nèi)部定義代碼塊。圖23是圖示出它們 的關(guān)系的圖，其在JPEG2000Partl的規(guī)格書中圖示出。圖中粗線的矩形表示子帶的邊界，灰 色的矩形區(qū)域表示分區(qū)(Precinct)，最小單位的矩形塊表示代碼塊(Codeblock)。在JPEG2000中在編碼的時刻，需要確定代碼塊尺寸與分區(qū)尺寸。例如，能夠在基
21于行小波變換的過程中如圖24所示定義代碼塊與分區(qū)的關(guān)系。但是如上所述，上述兩個尺 寸都存在應(yīng)取得2的冪乘的值的制約條件。因此，需要生成了圖24的最低頻3LL的1行的系數(shù)時的、1HL、1HH、1LH的分區(qū)尺寸 不是2的冪乘的值時的應(yīng)對。其中，一旦得到了后續(xù)的行塊的行組，則立即對分區(qū)從行塊的 行組露出的部分進(jìn)行補充。另外，上述方案對于其他所有子帶也相同。以上，沒有特別言及水平方向的分析濾波與垂直方向的分析濾波的順序。在 JPEG2000規(guī)格中定義成最初進(jìn)行垂直方向的分析濾波，之后進(jìn)行水平方向的分析濾波。但是，在也可以是JPEG2000的規(guī)格以外的情況下，由于在濾波的順序中沒有制 約，所以例如在一旦輸入1行的基帶圖像則立即進(jìn)行濾波時，一旦輸入了 M列數(shù)的基帶圖 像，立即進(jìn)行水平方向的分析濾波即可。一旦在縱方向上積存了 N行分的系數(shù)，立即在接下 來進(jìn)行垂直方向的分析濾波，而生成4個子帶。在該情況下，不會延遲L行，所以能夠低延 遲地執(zhí)行濾波。接下來，對圖1的可逆基于行編碼部101通過JPEG2000方式進(jìn)行編碼的情況的壓 縮率的決定方法進(jìn)行說明。由于如上所述，在JPEG2000中按照代碼塊單位進(jìn)行EBC0T編碼， 所以如果該代碼塊的尺寸小，則存在壓縮率降低這樣的問題。因此在JPEG2000中通常使用 32X32或64X64這樣的尺寸。但是，如果如圖24的3LL、3HL、3LH、3HH那樣由“1行XM列(水平尺寸)”形成了 一個分區(qū)，則代碼塊的尺寸比其小，所以壓縮率非常惡化。因此，能夠說在省存儲器與壓縮 率之間存在折衷關(guān)系。另一方面，如果將該行數(shù)N代替1而取較大的值，則構(gòu)成行塊的其他子帶的行數(shù)變 大，所以分區(qū)的尺寸、代碼塊的尺寸也可以被設(shè)定得較大。因此，在編碼時的壓縮率高的情 況下，增大上述N的值即可。相反地在編碼時的壓縮率低的情況下，減小上述N的值即可。行塊定義部421為了能夠取更大的分區(qū)尺寸、代碼塊尺寸，且提高編碼的壓縮率， 考慮處理中所需的存儲器容量，并且將行塊的尺寸(行數(shù))設(shè)定得盡量大。[可逆解碼部的結(jié)構(gòu)]接下來，對該情況的可逆基于行解碼部的結(jié)構(gòu)進(jìn)行說明。圖25是示出可逆基于行 解碼部的其他結(jié)構(gòu)例的框圖。如圖25所示，該情況的可逆基于行解碼部121的解碼部211除了圖8的情況的結(jié) 構(gòu)以外，還具有比特平面合成部471以及代碼塊合成部472。比特平面合成部471合成在比特平面中展開的小波系數(shù)。比特平面合成部471將 合成了比特平面的小波系數(shù)供給給代碼塊合成部472。代碼塊合成部472使用所供給的比特平面來生成代碼塊單位的系數(shù)數(shù)據(jù)，進(jìn)而將 它們合成，而生成每個子帶的系數(shù)數(shù)據(jù)。代碼塊合成部472將其供給到緩沖器212而保持。另外，在通過解碼部211執(zhí)行了 JPEG2000的EBC0T解碼之后，通過基于行合成濾 波器部213進(jìn)行基于行小波逆變換時所需的存儲器尺寸依賴于上述EBC0T部中的行塊的最 低頻的行數(shù)N。S卩，如果N大，則構(gòu)成行塊的其他子帶的行數(shù)變大，所以所需的存儲器尺寸也變 大。相反如果N小，則所需的存儲器尺寸也變小。因此，根據(jù)系統(tǒng)、硬件中的容許存儲器容 量，來決定N的值即可。
[非可逆編碼部的結(jié)構(gòu)]接下來，對該情況的非可逆基于行編碼部的結(jié)構(gòu)進(jìn)行說明。圖26是示出非可逆基 于行編碼部的其他結(jié)構(gòu)例的框圖。如圖26所示，該情況的非可逆基于行編碼部123代替圖13的基于行分析濾波器 部311，而具有小波變換部490。小波變換部490具有DC等級切換部491以及基于行分析 濾波器部311。DC等級切換部491與DC等級切換部431基本上相同，切換從緩沖器122取得的圖 像數(shù)據(jù)的DC等級，供給給基于行分析濾波器部311?；谛蟹治鰹V波器部311對DC等級切 換后的圖像數(shù)據(jù)進(jìn)行小波變換，使緩沖器312保持每個子帶的小波系數(shù)。另外，非可逆編碼部313除了圖13的結(jié)構(gòu)以外，還具有代碼塊化部492以及比特 平面展開部493。代碼塊化部492將從量化部331供給的量化后的系數(shù)數(shù)據(jù)分割為由代碼 塊定義部482定義的尺寸的代碼塊。比特平面展開部493將該分割為代碼塊的系數(shù)數(shù)據(jù)在 比特平面中展開。EBC0T部332對在比特平面中展開的系數(shù)數(shù)據(jù)進(jìn)行編碼。控制部111除了圖13的情況的小波變換控制部301以及非可逆編碼控制部302 以外，還具有行塊定義部481、代碼塊定義部482、以及分區(qū)定義部483。代碼塊定義部482定義在JPEG2000中規(guī)定的代碼塊的尺寸。分區(qū)定義部483定 義在JPEG2000中規(guī)定的分區(qū)的尺寸。在該非可逆基于行編碼部123的情況下，也需要生成了最低頻3LL的1行的系數(shù) 時的、1HL、1HH、1LH的分區(qū)尺寸不是2的冪乘的值時的應(yīng)對。其中，一旦得到了后續(xù)的行塊 的行組，立即對分區(qū)從行塊的行組露出的部分進(jìn)行補充。另外，上述方案對于其他所有子帶 也相同。以上，沒有特別言及水平方向的分析濾波與垂直方向的分析濾波的順序。在 JPEG2000規(guī)格中定義為最初進(jìn)行垂直方向的分析濾波，之后進(jìn)行水平方向的分析濾波。但是，在也可以是JPEG2000的規(guī)格以外的情況下，由于在濾波的順序中沒有制 約，所以例如在一旦輸入1行的基帶圖像則立即進(jìn)行濾波時，一旦輸入了 M列數(shù)的基帶圖像 則立即進(jìn)行水平方向的分析濾波即可。一旦在縱方向上積存了 N行的系數(shù)，在接下來立即 進(jìn)行垂直方向的分析濾波，而生成4個子帶。在該情況下，由于不會延遲L行，所以能夠低 延遲地執(zhí)行濾波。另外，行塊定義部481為了能夠取更大的分區(qū)尺寸、代碼塊尺寸，且提高編碼的壓 縮率，考慮處理中所需的存儲器容量，并且將行塊的尺寸(行數(shù))設(shè)定得盡量大。[處理的流程]接下來，如上所述，對編碼方式為JPEG2000方式的情況的各種處理的流程的例子 進(jìn)行說明。最初，參照圖27的流程圖，對通過可逆基于行編碼部101實現(xiàn)的可逆編碼處理 的流程的例子進(jìn)行說明。在開始了可逆編碼處理后，行塊定義部421在步驟S301中，定義行塊尺寸。在步 驟S302中，代碼塊定義部422定義代碼塊尺寸。進(jìn)而，分區(qū)定義部423在步驟S303中，定 義分區(qū)尺寸。在步驟S304中，小波變換部411取得對象行塊。在步驟S305中，DC等級切換部 431切換所取得的行塊的DC等級。在步驟S306中，基于行分析濾波器部141進(jìn)行對象行塊的分析濾波。在步驟S307中，基于行分析濾波器部141將作為該分析濾波的結(jié)果的系數(shù)數(shù) 據(jù)供給給緩沖器142而保持。在步驟S308中，可逆編碼部413判定在緩沖器142中是否積蓄了 1分區(qū)以上的系 數(shù)數(shù)據(jù)。在判定為尚未積蓄的情況下，返回到步驟S304而反復(fù)此后的處理。另外，在步驟S308中，判定為在緩沖器142中積蓄了 1分區(qū)以上的系數(shù)數(shù)據(jù)的情 況下，處理進(jìn)入到步驟S309。在步驟S309中，代碼塊化部441進(jìn)行系數(shù)數(shù)據(jù)的代碼塊化。在步驟S310中，比特 平面展開部442將每個代碼塊的系數(shù)數(shù)據(jù)在比特平面中展開。EBC0T部171在步驟S311 中，對在比特平面中展開的系數(shù)數(shù)據(jù)進(jìn)行熵編碼。在步驟S412中，分組生成部173生成通過熵編碼生成的代碼流的分組?？刂撇?01在步驟S313中，判定是否處理了所有行塊。在判定為存在未處理的行 塊的情況下，返回到步驟S304，反復(fù)此后的處理。另外，在步驟S313中，判定為處理了所有行塊的情況下，可逆編碼處理結(jié)束。另外，在該情況下，變碼控制處理的流程也基本上與參照圖16說明的情況相同， 所以省略其說明。參照圖28的流程圖，對該情況的通過圖16的步驟S121的處理控制而執(zhí)行的解碼 處理的流程的例子進(jìn)行說明。在開始了解碼處理后，在步驟S331中，分組解讀部231取得1代碼塊的代碼流。在 步驟S332中，EBC0T部232對所取得的代碼流進(jìn)行熵解碼。在步驟S333中，比特平面合成 部471針對解碼結(jié)果，合成比特平面。在步驟S334中，代碼塊合成部472對合成了比特平 面的系數(shù)數(shù)據(jù)的代碼塊進(jìn)行合成。在步驟S335中，代碼塊合成部472將合成了代碼塊的系 數(shù)數(shù)據(jù)供給給緩沖器212而保持。在步驟S336中，控制部111判定是否處理了分區(qū)內(nèi)的所有代碼塊。在判定為存在 未處理的代碼塊的情況下，返回到步驟S331而反復(fù)此后的處理。另外，在步驟S336中，判定為處理了分區(qū)內(nèi)的所有代碼塊的情況下，結(jié)束解碼處理。接下來，參照圖29的流程圖，對通過圖16的步驟S122的控制執(zhí)行的小波逆變換 處理的流程的例子進(jìn)行說明。在開始了小波逆變換處理后，基于行合成濾波器部213在步驟S351中，判定在緩 沖器212中是否積蓄了 1分區(qū)量的系數(shù)，直到判定為積蓄到為止繼續(xù)等待。當(dāng)判定為在緩沖器212中積蓄了 1分區(qū)量的系數(shù)的情況下，進(jìn)入到步驟S352。在 步驟S352中，基于行合成濾波器部213從緩沖器212取得系數(shù)數(shù)據(jù)。在步驟S353中，基于行合成濾波器部213對取得的系數(shù)數(shù)據(jù)，進(jìn)行合成濾波器處 理，生成基帶的圖像數(shù)據(jù)。在步驟S354中，DC等級逆切換部473對基帶的圖像數(shù)據(jù)的DC等 級進(jìn)行逆切換。在步驟S355中，DC等級逆切換部473將處理后的圖像數(shù)據(jù)供給給緩沖器122而 保持。如果步驟S355的處理結(jié)束，則小波逆變換處理結(jié)束。接下來，參照圖30的流程圖，對通過圖16的步驟S124的控制而執(zhí)行的小波變換 處理的流程的例子進(jìn)行說明。
24
在開始了小波變換處理后，在步驟S371中，行塊定義部481定義行塊尺寸。在步 驟S372中，代碼塊定義部482定義代碼塊尺寸。在步驟S373中，分區(qū)定義部483定義分區(qū) 尺寸。在步驟S374中，DC等級切換部491從緩沖器122取得對象行塊。在步驟S375中， DC等級切換部491針對取得的行塊切換DC等級。在步驟S376中，基于行分析濾波器部311進(jìn)行對象行塊的分析濾波。在步驟S377 中，基于行分析濾波器部311將分析濾波處理結(jié)果供給給緩沖器312而保持。如果步驟S377的處理結(jié)束，則小波變換處理結(jié)束。接下來，參照圖31的流程圖，對通過圖16的步驟S125的控制而執(zhí)行的非可逆編 碼處理的流程的例子進(jìn)行說明。在開始了非可逆編碼處理后，在步驟S391中，判定在緩沖器312中是否積蓄了 1 分區(qū)以上的系數(shù)。在判定為積蓄到的情況下，進(jìn)入到步驟S392。在步驟S392中，量化部331從緩沖器312取得系數(shù)。在步驟S393中，量化部331 對取得的系數(shù)進(jìn)行量化。在步驟S394中，代碼塊化部492對量化后的系數(shù)數(shù)據(jù)進(jìn)行代碼塊 化。在步驟S395中，比特平面展開部493將每個代碼塊的系數(shù)數(shù)據(jù)在比特平面中展開。在步驟S396中，EBC0T部332對在比特平面中展開的系數(shù)數(shù)據(jù)進(jìn)行熵編碼，生成 代碼流。在步驟S397中，頭生成部333以及分組生成部334對代碼流進(jìn)行分組化。非可逆編碼控制部302在步驟S398中，判定是否處理了所有代碼塊。在判定為存 在未處理的代碼塊的情況下，返回到步驟S392，反復(fù)此后的處理。另外，在步驟S398中，判 定為處理了所有代碼塊的情況下，非可逆編碼處理結(jié)束。另外，在步驟S391中，判定為在緩 沖器312中沒有積蓄1分區(qū)以上的系數(shù)的情況下，非可逆編碼處理結(jié)束。如上所述，在編碼方式是JPEG2000的情況下，也通過控制部111的參照圖15的流 程圖說明的變碼控制處理的控制，并行(相互獨立)地執(zhí)行參照圖29說明的小波逆變換處 理、與參照圖30說明的小波變換處理。此時控制部111 一旦在緩沖器122中僅積蓄了所需最小限的量的通過小波逆變換 處理生成的圖像數(shù)據(jù)，則立即執(zhí)行小波變換處理，所以編碼裝置100能夠降低緩沖器122中 所需的存儲器量。接下來，例如，參照圖32的流程圖，對在圖27的步驟S301、或者圖30的步驟S371 等中執(zhí)行的行塊尺寸定義處理的流程的例子進(jìn)行說明。另外，此處對可逆基于行編碼部101 進(jìn)行的情況進(jìn)行說明。在非可逆基于行編碼部123進(jìn)行的情況下也相同，所以省略其說明。在開始了行塊尺寸定義處理后，行塊定義部421在步驟S411中，取得緩沖器122 的容量(緩沖器尺寸)。在步驟S412中，行塊定義部421取得可逆編碼部413進(jìn)行的熵編 碼的壓縮率。在步驟S413中，行塊定義部421根據(jù)緩沖器尺寸和壓縮率中的至少某一個， 定義行塊尺寸。如果步驟S413的處理結(jié)束，則行塊尺寸定義處理結(jié)束。這樣，通過根據(jù)存儲器尺寸、壓縮率定義行塊尺寸，能夠?qū)⑿袎K的尺寸設(shè)為適合的 尺寸，能夠抑制不需要的負(fù)荷的增大、壓縮率的降低。如上所述，在將已經(jīng)編碼的結(jié)果的JPEG2000壓縮代碼流變碼為JPEG2000的代碼 流時，例如在最初的壓縮代碼流是無丟失(可逆壓縮)且后續(xù)的編碼是丟失(非可逆壓縮)
25的情況下，由于濾波器不同，所以需要恢復(fù)(restore)到基帶圖像一次。此時，如果對1圖 片量的所有的像素進(jìn)行解碼后再次進(jìn)行編碼，則需要大的存儲器量。因此，在本發(fā)明中，能 夠一邊進(jìn)行基于行的解碼，同時并行地進(jìn)行基于行的編碼，所以具有能夠總是通過小的存 儲器尺寸來執(zhí)行解碼與編碼這兩方的效果。另外，由于解碼器與編碼器同時動作，所以還具有能夠在短時間內(nèi)結(jié)束兩者的動 作的高速動作的效果。在本發(fā)明中，其目的在于，削減存儲器消耗量，并且對某編碼代碼流進(jìn)行解碼而恢 復(fù)到基帶1次后，再次編碼而變換為編碼代碼流。作為具體的應(yīng)用例，其目的在于，省存儲 器地將JPEG2000的可逆壓縮文件變換為JPEG2000的非可逆壓縮文件。本發(fā)明的變碼裝置以及方法具備輸入圖像信號的編碼代碼流，按照被頻帶分割 的子帶中的行塊的行或塊單位進(jìn)行熵解碼的單元；通過對上述熵解碼結(jié)果實施水平方向的 合成濾波與垂直方向的合成濾波而按照行單位輸出基帶圖像的單元；對上述基帶圖像，直 至規(guī)定的分解等級數(shù)，執(zhí)行水平方向的分析濾波與垂直方向的分析濾波的單元；以及一旦 上述濾波的結(jié)果生成的系數(shù)達(dá)到了在各子帶內(nèi)能夠執(zhí)行熵編碼的采樣數(shù)，則立即進(jìn)行熵編 碼的單元。[個人計算機的結(jié)構(gòu)]上述一系列的處理既可以通過硬件來執(zhí)行，也可以通過軟件來執(zhí)行。在通過軟件 來執(zhí)行一系列的處理的情況下，從程序記錄媒體，向嵌入到專用的硬件中的計算機、或通過 安裝各種程序而能夠執(zhí)行各種功能的通用的個人計算機等，安裝構(gòu)成該軟件的程序。圖33是示出通過程序執(zhí)行上述一系列的處理的計算機500的硬件的結(jié)構(gòu)例的框 圖。CPU (Central Processing Unit,) 50U ROM (Read Only Memory, K 讀存儲器)502、以及RAM(RandomAccess Memory,隨機訪問存儲器)503通過總線504相互連接。在總線504上，還連接了入輸出接口 510。在輸入輸出接口 510上，連接了由鍵盤、 鼠標(biāo)以及麥克風(fēng)等構(gòu)成的輸入部511、由顯示器、揚聲器等構(gòu)成的輸出部512、由硬盤、非易 失性的存儲器等構(gòu)成的存儲部513、由網(wǎng)絡(luò)接口等構(gòu)成的通信部514、以及對光盤、半導(dǎo)體 存儲器等可移動介質(zhì)521進(jìn)行驅(qū)動的驅(qū)動器515。在如上所述構(gòu)成的計算機500中，CPTO01例如將存儲在存儲部513中的程序經(jīng)由 輸入輸出接口 510以及總線504加載到RAM 503中而執(zhí)行，從而進(jìn)行上述一系列的處理。CPU 501執(zhí)行的程序例如記錄在可移動介質(zhì)521中、或者經(jīng)由局域網(wǎng)、因特網(wǎng)、及 數(shù)字廣播這樣的有線或無線的傳送介質(zhì)提供，而安裝到存儲部513。另外，計算機執(zhí)行的程序既可以是按照在本說明書中說明的順序時系列地進(jìn)行處 理的程序，也可以是并行或在進(jìn)行了調(diào)出時等所需的定時進(jìn)行處理的程序。另外，在本說明書中，對于記述在記錄媒體中記錄的程序的步驟，當(dāng)然包括按照所 記載的順序時系列地進(jìn)行的處理，但除了時系列的處理，還包括并行或獨立地執(zhí)行的處理。另外，在本說明書中，系統(tǒng)是指表示由多個設(shè)備(裝置)構(gòu)成的裝置整體。另外，在以上方案中，也可以將說明為一個裝置(或處理部)的結(jié)構(gòu)分割，而構(gòu)成 為多個裝置(或處理部)。相反地，也可以將以上說明為多個裝置(或處理部)的結(jié)構(gòu)集中而構(gòu)成為一個裝置(或處理部)。另外，當(dāng)然也可以對各裝置(或各處理部)的結(jié)構(gòu)附加上 述以外的結(jié)構(gòu)。進(jìn)而，如果作為系統(tǒng)整體的結(jié)構(gòu)、動作實質(zhì)上相同，則也可以將某裝置(或 處理部)的結(jié)構(gòu)的一部分包含在其他裝置(或其他處理部)的結(jié)構(gòu)中。即，本發(fā)明的實施 方式不限于上述實施方式，能夠在不脫離本發(fā)明的要旨的范圍中實現(xiàn)各種變更。
權(quán)利要求
一種信息處理裝置，其特征在于，具備合成濾波器單元，針對對經(jīng)可逆編碼的圖像的代碼流進(jìn)行解碼而得到的被頻帶分割的每個子帶的系數(shù)數(shù)據(jù)，按照每規(guī)定數(shù)的行、或者每規(guī)定的塊實施合成濾波，從而按照行單位得到基帶的圖像數(shù)據(jù)；存儲單元，存儲通過上述合成濾波器單元得到的上述基帶的圖像數(shù)據(jù)；分析濾波器單元，讀出通過上述存儲單元存儲的上述基帶的圖像數(shù)據(jù)，對上述圖像數(shù)據(jù)實施分析濾波，從而將上述圖像數(shù)據(jù)頻帶分割至規(guī)定的分割等級；以及控制單元，一旦通過上述存儲單元存儲的上述基帶的圖像數(shù)據(jù)達(dá)到能夠執(zhí)行上述分析濾波的數(shù)據(jù)量，則立即使上述分析濾波器單元執(zhí)行上述分析濾波。
2.根據(jù)權(quán)利要求1所述的信息處理裝置，其特征在于，還具備 解碼單元，對經(jīng)可逆編碼的圖像的代碼流進(jìn)行解碼；以及編碼單元，對通過上述分析濾波得到的被頻帶分割的每個子帶的系數(shù)數(shù)據(jù)進(jìn)行編碼。
3.根據(jù)權(quán)利要求1所述的信息處理裝置，其特征在于，上述合成濾波的處理單位即上 述行的規(guī)定數(shù)是為了至少生成1行以上的通過上述合成濾波器單元得到的上述基帶的圖 像數(shù)據(jù)而所需的行數(shù)。
4.根據(jù)權(quán)利要求1所述的信息處理裝置，其特征在于，能夠執(zhí)行上述分析濾波的數(shù)據(jù) 量是為了至少生成1行以上的通過上述分析濾波器得到的上述被頻帶分割的上述系數(shù)數(shù) 據(jù)的最低頻的子帶而所需的行數(shù)。
5.根據(jù)權(quán)利要求1所述的信息處理裝置，其特征在于，上述合成濾波器單元針對上述每個子帶的上述系數(shù)數(shù)據(jù)，首先在水平方向進(jìn)行上述合 成濾波，接下來在垂直方向上進(jìn)行上述合成濾波，上述分析濾波器單元針對上述每個子帶的上述系數(shù)數(shù)據(jù)，首先在水平方向上進(jìn)行上述 分析濾波，接下來在垂直方向上進(jìn)行上述分析濾波。
6.根據(jù)權(quán)利要求1所述的信息處理裝置，其特征在于，上述合成濾波器單元針對上述每個子帶的上述系數(shù)數(shù)據(jù)，首先在垂直方向上進(jìn)行上述 合成濾波，接下來在水平方向上進(jìn)行上述合成濾波，上述分析濾波器單元針對上述每個子帶的上述系數(shù)數(shù)據(jù)，首先在垂直方向上進(jìn)行上述 分析濾波，接下來在水平方向上進(jìn)行上述分析濾波。
7.根據(jù)權(quán)利要求2所述的信息處理裝置，其特征在于，上述解碼單元通過JPEG2000解碼方式對上述代碼流進(jìn)行解碼， 上述編碼單元通過JPEG2000編碼方式對上述系數(shù)數(shù)據(jù)進(jìn)行編碼。
8.根據(jù)權(quán)利要求1所述的信息處理裝置，其特征在于，還具備定義單元，該定義單元定義通過上述合成濾波器單元進(jìn)行的上述合成濾波的處理單位。
9.根據(jù)權(quán)利要求8所述的信息處理裝置，其特征在于，上述定義單元針對上述合成濾波的處理單位，根據(jù)通過上述編碼單元進(jìn)行的編碼的壓 縮率、和上述存儲單元的容量中的至少某一個，定義上述合成濾波的處理單位。
10.根據(jù)權(quán)利要求1所述的信息處理裝置，其特征在于，還具備塊定義單元，定義通過上述編碼單元進(jìn)行的編碼的處理單位的塊的尺寸；以及分區(qū)定義單元，定義由通過上述塊定義單元定義了尺寸的多個上述塊構(gòu)成的分區(qū)的尺寸。
11.根據(jù)權(quán)利要求1所述的信息處理裝置，其特征在于，針對被設(shè)為上述合成濾波的處理單位的行組從通過上述分區(qū)定義單元定義的上述分 區(qū)露出的區(qū)域，一旦能夠獲得后續(xù)的上述行組的數(shù)據(jù)，則立即進(jìn)行補充。
12.一種信息處理方法，其特征在于，包括如下步驟合成濾波器單元針對對經(jīng)可逆編碼的圖像的代碼流進(jìn)行解碼而得到的被頻帶分割的 每個子帶的系數(shù)數(shù)據(jù)，按照每規(guī)定數(shù)的行、或每規(guī)定的塊實施合成濾波，從而按照行單位得 到基帶的圖像數(shù)據(jù)；存儲單元存儲通過上述合成濾波器單元得到的上述基帶的圖像數(shù)據(jù)； 分析濾波器單元讀出通過上述存儲單元存儲的上述基帶的圖像數(shù)據(jù)，對上述圖像數(shù)據(jù) 實施分析濾波，從而將上述圖像數(shù)據(jù)頻帶分割至規(guī)定的分割等級；以及一旦通過上述存儲單元存儲的上述基帶的圖像數(shù)據(jù)達(dá)到能夠執(zhí)行上述分析濾波的數(shù) 據(jù)量，則立即使上述分析濾波器單元執(zhí)行上述分析濾波。
全文摘要
本發(fā)明提供一種能夠降低在將可逆編碼的代碼流變換為非可逆編碼的代碼流時所需的存儲器容量的信息處理裝置和信息處理方法。控制部(111)使基于行合成濾波器部(213)針對每個最低頻分量P行進(jìn)行基于行小波逆變換，生成1行的基帶的圖像數(shù)據(jù)，將其保持在緩沖器(122)中。通過反復(fù)這樣的基于行小波逆變換處理，在緩沖器(122)中積蓄了規(guī)定的L行的基帶的圖像數(shù)據(jù)之后，控制部(111)使基于行分析濾波器部(311)，對該L行的基帶的圖像數(shù)據(jù)，進(jìn)行基于行小波變換。本發(fā)明例如能夠應(yīng)用于編碼裝置。
文檔編號H04N7/30GK101860750SQ20101015776
公開日2010年10月13日 申請日期2010年3月31日 優(yōu)先權(quán)日2009年4月7日
發(fā)明者安藤勝俊, 福原隆浩, 荒木淳哉 申請人:索尼公司