專利名稱：圖像編碼方法及裝置、以及圖像譯碼方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像編碼方法、圖像編碼裝置及攝像裝置，尤其涉及可以以在每個區(qū)域不同的圖像質(zhì)量進行編碼的圖像編碼裝置、圖像顯示方法及攝像裝置以及能調(diào)整圖像質(zhì)量并譯碼的圖像譯碼方法及裝置。
背景技術(shù)：
在ISO/ITU-T中，作為靜止圖像的壓縮編碼的標(biāo)準(zhǔn)技術(shù)的JPEG(JointPhotographic Expert Group)的后繼，正在進行采用了離散子波變換(DWT)的JPEG2000的標(biāo)準(zhǔn)化。在JPEG2000中，可以以高性能編碼從低位率編碼到無損耗壓縮為止的寬范圍的圖像質(zhì)量，實現(xiàn)逐漸提高圖像質(zhì)量的可擴縮(scalability)功能也是容易的。另外，在JPEG2000中，可以準(zhǔn)備多種現(xiàn)有的JPEG標(biāo)準(zhǔn)中沒有的功能。
作為JPEG2000的功能之一，正在規(guī)格化將圖像的關(guān)注區(qū)域(Regionof Interest；ROI)比其他區(qū)域還優(yōu)先進行編碼，并傳送的ROI編碼。通過ROI編碼，在編碼率存在上限的情況下，除了可以使關(guān)注區(qū)域的再生圖像質(zhì)量優(yōu)先高品質(zhì)以外，還可以在順序譯碼編碼流之際，提早以高品質(zhì)再生關(guān)注區(qū)域。
專利文獻1公開了自動識別圖像數(shù)據(jù)內(nèi)的多個ROI區(qū)域的技術(shù)。
如上述專利文獻1的段落0079中所記載的，在動態(tài)(活動)圖像攝影模式的情況下，相對所拍攝到的圖像自動設(shè)定ROI區(qū)域。然而，上述專利文獻1在圖像內(nèi)識別了多個運動體的情況下，有在ROI區(qū)域內(nèi)設(shè)定直到按照攝影意圖的運動體為止的可能性。雖然有可以從多個ROI區(qū)域中選擇喜歡的ROI區(qū)域的記載，但在動態(tài)圖像的情況下，按每幀來選擇是煩雜的，不能在動態(tài)圖像攝影中進行選擇。另外，按每幀進行ROI區(qū)域的識別處理，運算量增多，信號處理的負(fù)擔(dān)增大。
另外，在ISO/ITU-T中，作為靜止圖像的壓縮編碼的標(biāo)準(zhǔn)技術(shù)的JPEG(Joint Photographic Expert Group)的后繼，正在進行采用了離散子波變換(DWT)的JPEG2000的標(biāo)準(zhǔn)化。在JPEG2000中，可以以高性能編碼從低位位率編碼到無損耗壓縮為止的寬范圍的圖像質(zhì)量，實現(xiàn)逐漸提高圖像質(zhì)量的可縮放性(scalability)功能也是容易的。另外，在JPEG2000中，可以準(zhǔn)備多種現(xiàn)有的JPEG標(biāo)準(zhǔn)中沒有的功能。
專利文獻2公開了一種在譯碼這種進行過壓縮的編碼圖像之際、為了改善圖像質(zhì)量而進行除去噪音或強調(diào)邊緣等的圖像處理的技術(shù)。具體是，將LL次能帶以外的次能帶所包含的變換系數(shù)設(shè)為0，形成參照圖像。求取該次能帶內(nèi)的變換系數(shù)相對的參照圖像上的區(qū)域，以求取該區(qū)域內(nèi)的像素值的平均值。若該平均值等小于規(guī)定的閾值，則對該變換系數(shù)進行閾值處理。
上述專利文獻2，由于對LL次能帶以外的次能帶內(nèi)的變換系數(shù)進行上述處理，故運算量大量增加。另外，難以在圖像內(nèi)制作圖像質(zhì)量的差別，到使某個目標(biāo)突出的程度。
專利文獻1特開2004-72655號公報專利文獻2特開2002-135593號公報發(fā)明內(nèi)容本發(fā)明是鑒于上述問題而進行的，本發(fā)明之一的目的在于提供一種可以一邊將用戶關(guān)注的目標(biāo)圖像質(zhì)量維持在用戶所希望的水平，一邊減少動態(tài)圖像的代碼量的圖像編碼方法、圖像編碼裝置及攝像裝置。
本發(fā)明之二的另一目的在于提供一種可以容易地使所關(guān)注的目標(biāo)突出的圖像譯碼方法、圖像譯碼裝置及攝像裝置。
為了解決上述課題，本發(fā)明之一(實施方式1)的某一形態(tài)的圖像編碼方法，在圖像內(nèi)設(shè)定關(guān)注區(qū)域，使關(guān)注區(qū)域追蹤圖像內(nèi)所關(guān)注的目標(biāo)的活動(motion)，在關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量進行編碼。初始的關(guān)注區(qū)域的設(shè)定可以通過用戶操作來進行。
根據(jù)該形態(tài)，可以一邊將關(guān)注區(qū)域的圖像質(zhì)量維持在用戶所期望的水平、一邊降低未關(guān)注的區(qū)域的圖像質(zhì)量，也可以降低代碼量。另外，還可以有意識地降低關(guān)注區(qū)域的圖像質(zhì)量。
具有在圖像內(nèi)設(shè)定關(guān)注區(qū)域的關(guān)注區(qū)域設(shè)定部；檢測圖像內(nèi)的關(guān)注目標(biāo)之活動的活動檢測部；和在關(guān)注區(qū)域與除此以外的區(qū)域，以不同的圖像質(zhì)量進行編碼的編碼部；關(guān)注區(qū)域設(shè)定部使關(guān)注區(qū)域追蹤目標(biāo)的活動?！澳繕?biāo)的活動”也可以用活動矢量來檢測。
根據(jù)該形態(tài)，可以一邊將關(guān)注區(qū)域的圖像質(zhì)量維持在用戶所期望的水平、一邊降低未關(guān)注的區(qū)域的圖像質(zhì)量，也可以降低代碼量。還可以有意識地降低關(guān)注區(qū)域的圖像質(zhì)量。進而，即使在每幀不進行關(guān)注區(qū)域的識別或用戶操作的設(shè)定，也可以自動追蹤目標(biāo)。
還可以具有圖像質(zhì)量設(shè)定部，其根據(jù)所分配的代碼量來設(shè)定關(guān)注區(qū)域以外區(qū)域的圖像質(zhì)量。所謂的“所分配的代碼量”可以是分配給每一幀的代碼量，也可以是分配給整個動態(tài)圖像的代碼量。“圖像質(zhì)量設(shè)定部”可以在編碼處理中動態(tài)調(diào)整圖像質(zhì)量。即使在所分配的代碼量的條件下，也可以通過調(diào)整非關(guān)注區(qū)域的代碼量而將關(guān)注區(qū)域的圖像質(zhì)量維持為用戶所期望的水平。
還具有對視點變動的動態(tài)圖像內(nèi)的背景進行分離的目標(biāo)提取部，關(guān)注區(qū)域設(shè)定部可以根據(jù)背景的活動，而使關(guān)注區(qū)域追蹤目標(biāo)的活動。由此，通過將背景的活動相抵，從而可以得到與視點固定的情況同等的精度。
本發(fā)明之一的另一個形態(tài)是攝像裝置。該裝置具有取得圖像的攝像部，在圖像內(nèi)設(shè)定關(guān)注區(qū)域，使關(guān)注區(qū)域追蹤圖像內(nèi)的所關(guān)注的目標(biāo)的活動，在關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量進行編碼。
根據(jù)該形態(tài)，可以一邊將關(guān)注區(qū)域的圖像質(zhì)量維持在用戶所期望的水平、一邊降低未關(guān)注的區(qū)域的圖像質(zhì)量，也可以降低代碼量。還可以有意識地降低關(guān)注區(qū)域的圖像質(zhì)量。
本發(fā)明之一的其他形態(tài)也是攝像裝置。該裝置具有取得圖像的攝像部；在圖像內(nèi)設(shè)定關(guān)注區(qū)域的關(guān)注區(qū)域設(shè)定部；檢測圖像內(nèi)的關(guān)注目標(biāo)之活動的活動檢測部；和在關(guān)注區(qū)域與除此以外的區(qū)域，以不同的圖像質(zhì)量進行編碼的編碼部；關(guān)注區(qū)域設(shè)定部使關(guān)注區(qū)域追蹤目標(biāo)的活動。初始的關(guān)注區(qū)域的設(shè)定可以通過用戶操作來進行。
根據(jù)本形態(tài)，可以一邊將關(guān)注區(qū)域的圖像質(zhì)量維持在用戶所期望的水平、一邊降低未關(guān)注的區(qū)域的圖像質(zhì)量，也可以降低代碼量。還可以有意識地降低關(guān)注區(qū)域的圖像質(zhì)量。進而，可以得到即使在每幀不進行關(guān)注區(qū)域的識別或用戶操作的設(shè)定，也可以自動追蹤目標(biāo)的攝像裝置。
還可以具有圖像質(zhì)量設(shè)定部，其根據(jù)所分配的代碼量來設(shè)定關(guān)注區(qū)域以外區(qū)域的圖像質(zhì)量。所謂的“所分配的代碼量”可以是分配給每一幀的代碼量，也可以是分配給整個動態(tài)圖像的代碼量。“圖像質(zhì)量設(shè)定部”可以在編碼處理中動態(tài)調(diào)整圖像質(zhì)量。即使在所分配的代碼量的條件下，也可以通過調(diào)整非關(guān)注區(qū)域的代碼量而將關(guān)注區(qū)域的圖像質(zhì)量維持為用戶所期望的水平。
還具有對視點變動的動態(tài)圖像內(nèi)的背景進行分離的目標(biāo)提取部，關(guān)注區(qū)域設(shè)定部可以根據(jù)背景的活動，而使關(guān)注區(qū)域追蹤目標(biāo)的活動。由此，通過將背景的活動相抵，從而可以得到與視點固定的情況同等的精度。
而且，在方法、裝置、系統(tǒng)、計算機程序、記錄介質(zhì)等之間對以上構(gòu)成要素的任意組合、本發(fā)明的表現(xiàn)進行過變換的形態(tài)，作為本發(fā)明的形態(tài)也是有效的。
另外，本發(fā)明之二(實施方式2)的圖像譯碼方法，在圖像內(nèi)設(shè)定關(guān)注區(qū)域，使關(guān)注區(qū)域追蹤圖像內(nèi)的關(guān)注目標(biāo)的活動，在關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量譯碼動態(tài)圖像。根據(jù)該形態(tài)，可以容易地使關(guān)注的目標(biāo)突出。
本發(fā)明之二的其他形態(tài)是圖像譯碼裝置。該裝置具有在圖像內(nèi)設(shè)定關(guān)注區(qū)域的關(guān)注區(qū)域設(shè)定部；檢測圖像內(nèi)的所關(guān)注目標(biāo)之活動的活動檢測部；和在關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量譯碼動態(tài)圖像的譯碼部。關(guān)注區(qū)域設(shè)定部使關(guān)注區(qū)域追蹤目標(biāo)的活動?！瓣P(guān)注區(qū)域”的初始設(shè)定可以通過用戶操作來進行。根據(jù)該形態(tài)，可以容易地使所關(guān)注的目標(biāo)突出。另外，可以降低譯碼時的運算量。
還可以具有圖像質(zhì)量設(shè)定部，其參照本裝置的狀態(tài)，設(shè)定關(guān)注區(qū)域及該關(guān)注區(qū)域以外區(qū)域的至少一方的圖像質(zhì)量?！氨狙b置的狀態(tài)”中可以包括裝置的電池剩余容量或者再生速度。根據(jù)該形態(tài)，可以適應(yīng)于裝置的狀態(tài)來譯碼圖像。
本發(fā)明之二的另一形態(tài)是攝像裝置。該裝置具有取得圖像的攝像部。在圖像內(nèi)設(shè)定關(guān)注區(qū)域，使關(guān)注區(qū)域追蹤圖像內(nèi)的關(guān)注目標(biāo)的活動，在關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量顯示動態(tài)圖像。根據(jù)該形態(tài)，可以容易地使拍攝到的圖像內(nèi)的關(guān)注目標(biāo)突出。
本發(fā)明之二的又一形態(tài)還是攝像裝置。該裝置具有取得圖像的攝像部；在圖像內(nèi)設(shè)定關(guān)注區(qū)域的關(guān)注區(qū)域設(shè)定部；檢測圖像內(nèi)的關(guān)注目標(biāo)之活動的活動檢測部；在關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量編碼動態(tài)圖像的編碼部；和對編碼部所編碼的圖像數(shù)據(jù)進行譯碼的譯碼部。關(guān)注區(qū)域設(shè)定部使關(guān)注區(qū)域追蹤目標(biāo)的活動。
根據(jù)該形態(tài)，可以容易地使拍攝到的圖像內(nèi)的關(guān)注目標(biāo)突出。另外，可以降低編碼圖像的代碼量。
還可以具有圖像質(zhì)量設(shè)定部，其參照本裝置的狀態(tài)，設(shè)定關(guān)注區(qū)域及該關(guān)注區(qū)域以外區(qū)域的至少一方的圖像質(zhì)量?！氨狙b置的狀態(tài)”中可以包括裝置的電池剩余容量或者再生速度。根據(jù)該形態(tài)，可以適應(yīng)于裝置的狀態(tài)來譯碼圖像。
而且，在方法、裝置、系統(tǒng)、計算機程序、記錄介質(zhì)等之間對以上構(gòu)成要素的任意組合、實施方式2的表現(xiàn)進行過變換的形態(tài)，作為本發(fā)明的形態(tài)也是有效的。


圖1是表示實施方式1的實施例1所涉及的圖像編碼裝置的構(gòu)成的圖。
圖2(a)表示子波變換系數(shù)，(b)表示ROI系數(shù)只按比例放大5位的狀態(tài)，(c)表示從高位位平面按順序掃描按比例放大過的子波變換系數(shù)的量化值的狀態(tài)。
圖3(a)表示在原圖像上選擇了關(guān)注區(qū)域的狀態(tài)，(b)表示通過將原圖像僅子波變換1次而得到的第1層的變換圖像，(c)表示通過對(b)的變換圖像的次能帶LL1進一步進行子波變換(wavelet transform)而得到的第2層的變換圖像。
圖4(a)表示子波變換系數(shù)，(b)表示將非ROI變換系數(shù)的LSB側(cè)的S位置換為零的狀態(tài)，(c)表示從高位位平面按順序掃描包含與ROI變換系數(shù)進行過零置換的非ROI變換系數(shù)的子波變換系數(shù)的狀態(tài)。
圖5(a)表示僅由非ROI變換系數(shù)構(gòu)成的5位平面的子波變換系數(shù)，(b)表示將LSB側(cè)的低位2位平面置換為零的子波變換系數(shù)，(c)表示從上面開始對零置換后的子波變換系數(shù)的高位3位平面進行熵編碼的狀態(tài)。
圖6是表示實施方式1的實施例2所涉及的圖像編碼裝置的構(gòu)成的圖。
圖7是表示實施方式1的實施例3所涉及的圖像編碼裝置的構(gòu)成的圖。
圖8(a)表示前一幀，(b)表示當(dāng)前幀，(c)表示差分圖像。
圖9是表示實施方式1的實施例4所涉及的攝像裝置的構(gòu)成的圖。
圖10(a)表示在圖像內(nèi)指定用戶所關(guān)注的目標(biāo)的狀態(tài)，(b)表示在圖像內(nèi)設(shè)定ROI區(qū)域的狀態(tài)，(c)表示從ROI區(qū)域中除去目標(biāo)的狀態(tài)，(d)表示ROI區(qū)域追蹤目標(biāo)之活動的狀態(tài)。
圖11(a)表示用戶在圖像內(nèi)設(shè)定ROI區(qū)域的狀態(tài)，(b)表示在ROI區(qū)域內(nèi)指定用戶所關(guān)注的目標(biāo)的狀態(tài)，(c)表示ROI區(qū)域追蹤目標(biāo)之活動的狀態(tài)。
圖12(a)設(shè)定ROI區(qū)域追蹤的范圍的狀態(tài)，(b)表示設(shè)定ROI區(qū)域的狀態(tài)，(c)表示目標(biāo)移動而出現(xiàn)在大框以外的狀態(tài)。
圖13是表示實施方式2的實施例1所涉及的圖像譯碼裝置的構(gòu)成的圖。
圖14(a)表示在原圖像上選擇了關(guān)注區(qū)域的狀態(tài)，(b)表示通過將原圖像僅子波變換1次而得到的第1層的變換圖像，(c)表示通過對(b)的變換圖像的次能帶LL1進一步進行子波變換而得到的第2層的變換圖像。
圖15(a)表示譯碼圖像的子波變換系數(shù)，(b)表示ROI變換系數(shù)及非ROI變換系數(shù)，(c)表示將非ROI變換系數(shù)的低位2位置換為零的狀態(tài)。
圖16是表示實施方式2的實施例2所涉及的圖像譯碼裝置的構(gòu)成的圖。
圖17是表示實施方式2的實施例3所涉及的攝像裝置的構(gòu)成的圖。
圖18是表示實施方式2的實施例3所涉及的編碼塊的構(gòu)成的圖。
圖19(a)表示子波變換系數(shù)，(b)表示ROI系數(shù)只按比例放大了5位的狀態(tài)，(c)表示從高位位平面按順序掃描按比例放大過的子波變換系數(shù)的量化值的狀態(tài)圖20(a)表示子波變換系數(shù)，(b)表示將非ROI變換系數(shù)的LSB側(cè)的S位置換為零的狀態(tài)，(c)表示從高位位平面按順序掃描包含與ROI變換系數(shù)進行過零置換的非ROI變換系數(shù)的子波變換系數(shù)的狀態(tài)。
圖21(a)表示在圖像內(nèi)指定用戶所關(guān)注的目標(biāo)的狀態(tài)，(b)表示在圖像內(nèi)設(shè)定ROI區(qū)域的狀態(tài)，(c)表示從ROI區(qū)域中除去目標(biāo)的狀態(tài)，(d)表示ROI區(qū)域追蹤目標(biāo)之活動的狀態(tài)。
圖22(a)表示用戶在圖像內(nèi)設(shè)定ROI區(qū)域的狀態(tài)，(b)表示在ROI區(qū)域內(nèi)指定用戶所關(guān)注的目標(biāo)的狀態(tài)，(c)表示ROI區(qū)域追蹤目標(biāo)之活動的狀態(tài)。
圖23(a)設(shè)定ROI區(qū)域追蹤的范圍的狀態(tài)，(b)表示設(shè)定ROI區(qū)域的狀態(tài)，(c)表示目標(biāo)移動而出現(xiàn)在大框以外的狀態(tài)。
具體實施例方式
首先對實施方式1進行說明。
(實施方式1的實施例1)圖1是實施方式1的實施例1所涉及的圖像編碼裝置100的構(gòu)成圖。圖像編碼裝置100的構(gòu)成，在硬件方面可以由任意計算機的CPU、存儲器、其他LSI來實現(xiàn)，在軟件方面可以通過存儲器所裝載的具有編碼功能的程序等來實現(xiàn)，但在此描述的是通過這些的協(xié)同來實現(xiàn)的功能塊。因此，這些功能塊可以僅由硬件、僅由軟件、或者由這些的組合以各種形式來實現(xiàn)，這是本領(lǐng)域的技術(shù)人員可以理解的。
圖像編碼裝置100將所輸入的原圖像作為一例，利用JPEG2000方式進行壓縮編碼。輸入到圖像編碼裝置200的原圖像是動態(tài)圖像的幀。圖像編碼裝置100可以以JPEG方式對動態(tài)圖像的各幀連續(xù)進行編碼，生成動態(tài)圖像的編碼流。
子波變換部10將所輸入的原圖像進行次能帶分割，計算各次能帶圖像的子波變換系數(shù)，生成被分層的子波變換系數(shù)。具體是，子波變換系數(shù)10在原圖像的x、y各方向采用低通濾波器及高通濾波器，分割為4個頻率次能帶并進行子波變換。這些次能帶是在x、y兩方向具有低頻成分的LL次能帶；在x、y的其中任一個方向具有低頻成分，且在另一方向具有高頻成分的HL及LH次能帶；和在x、y兩方向具有高頻成分的HH次能帶。各次能帶的縱橫像素數(shù)是處理前圖像的各自1/2，以1次濾波可以得到分辨率、即圖像尺寸為1/4的次能帶圖像。
子波變換部10對這樣得到的次能帶中的LL次能帶再度進行濾波處理，將其進一步分割為LL、HL、LH、HH的4個次能帶后進行子波變換。子波變換部10將該濾波進行規(guī)定次數(shù)，將原圖像分層為次能帶圖像，輸出各次能帶的子波變換系數(shù)。量化部12以規(guī)定的量化寬度對從子波變換部10輸出的子波變換系數(shù)進行量化。
活動檢測部18檢測所指定的目標(biāo)的位置，并輸出到ROI設(shè)定部20。目標(biāo)的指定可以由用戶來進行，也可以由活動檢測部18從用戶指定的ROI區(qū)域中自動識別。另外，也可以從圖像的整體中自動識別。該目標(biāo)的指定可以是多個。
在動態(tài)圖像的情況下，目標(biāo)的位置可以用活動矢量來表示。以下，說明活動矢量檢測方法的具體例。第一，活動檢測部18具備SRAM或SDRAM等存儲器，在目標(biāo)的指定時將該幀內(nèi)被指定過的圖像作為參考圖像保存在該存儲器中。參考圖像只要保存包含指定位置的規(guī)定大小的塊即可?；顒訖z測部18通過比較參考圖像與當(dāng)前幀的圖像來檢測活動矢量。在活動矢量的計算中，可以采用子波變換系數(shù)的高頻成分，特定目標(biāo)的輪廓成分后進行。另外，也可以采用量化后的子波變換系數(shù)的MSB(MostSignificant Bit)位平面或者MSB側(cè)的多個位平面。
第二，活動檢測部18比較當(dāng)前幀和前面的、例如前一幀，以檢測目標(biāo)的活動矢量。第三，不比較幀圖像，而是比較子波變換后的子波變換系數(shù)，以檢測活動矢量。子波變換系數(shù)可以采用LL次能帶、HL次能帶、LH次能帶及HH次能帶的任一種。另外，與當(dāng)前幀的比較對象可以是指定時注冊過的參考圖像，也可以是前面的、例如從前一幀注冊過的參考圖像。
第四，活動檢測部18采用多個子波變換系數(shù)來檢測目標(biāo)的活動矢量。例如，可以按LL次能帶、LH次能帶及HH次能帶檢測活動矢量，取這3個活動矢量的平均，或從其中選擇距前面幀的活動矢量最近的矢量。由此，可以提高目標(biāo)的活動檢測精度。
用戶可以預(yù)先在活動檢測部18中指定在圖像內(nèi)檢測這種活動矢量的范圍。例如，在方便商店等店鋪的監(jiān)視照相機中采用本圖像編碼裝置的情況下，能進行以下處理關(guān)注從寄存器進入一定范圍的人物等目標(biāo)，但不關(guān)注從此出來的目標(biāo)的活動。
ROI設(shè)定部20從活動檢測部18取得目標(biāo)的活動矢量等位置信息，與此相對應(yīng)，使ROI區(qū)域移動。根據(jù)活動檢測部18的檢測方法，計算從初始設(shè)定的ROI區(qū)域的位置開始的移動量、或者從前一幀開始的移動量，以決定當(dāng)前幀的ROI區(qū)域的位置。
用戶將ROI區(qū)域的位置、大小及圖像質(zhì)量等作為初始值設(shè)定在ROI設(shè)定部20中。而且，在用戶指定了目標(biāo)的情況下，或者活動檢測部18進行了自動識別的情況下，ROI設(shè)定部20可以在ROI區(qū)域中自動設(shè)定包含該目標(biāo)的規(guī)定范圍。
ROI區(qū)域的形狀可以是矩形、圓形、其他復(fù)雜形狀。ROI區(qū)域自身的形狀雖然在原則上是固定的，但可以在圖像的中心部分與外周部分使區(qū)域的形狀變化，也可以通過用戶操作而動態(tài)變化。另外，ROI區(qū)域可以設(shè)定多個。
ROI設(shè)定部20將ROI設(shè)定信息輸出到量化部12及編碼數(shù)據(jù)生成部16，進行ROI編碼。在ROI編碼中有最大值移位法，其將對應(yīng)于圖像的關(guān)注區(qū)域的子波變換系數(shù)(以下稱為ROI變換系數(shù))的位平面僅按比例放大對應(yīng)于非關(guān)注區(qū)域的子波變換系數(shù)(以下稱為非ROI變換系數(shù))的位平面的最大位數(shù)。根據(jù)該方法，ROI變換系數(shù)的全部位平面都比任一非ROI變換系數(shù)的位平面先被編碼。
首先，說明利用最大值移位法進行ROI編碼的例子。圖2(a)表示量化后的子波變換系數(shù)50，包括從最高位位(Most Significant Bit；MSB)到最低位位(Least Significant Bit；LSB)的5位的各位平面。
ROI設(shè)定部20以ROI區(qū)域的位置信息為基礎(chǔ)，設(shè)定原圖像上的關(guān)注區(qū)域，生成用于特定對應(yīng)于該關(guān)注區(qū)域的子波變換系數(shù)、即ROI變換系數(shù)的ROI掩碼。ROI變換系數(shù)在圖2(a)的子波變換系數(shù)50中用斜線表示。
量化部12使用上述ROI掩碼，將量化后的ROI變換系數(shù)僅按比例放大S位。即，將ROI變換系數(shù)的值僅左移位S位。在此，按比例放大量S是比對應(yīng)于非關(guān)注區(qū)域的子波變換系數(shù)、即非ROI變換系數(shù)的量化值的最大值的位數(shù)還大的自然數(shù)。圖2(b)表示將ROI變換系數(shù)僅按比例放大了5位的狀態(tài)的子波變換系數(shù)52。在按比例放大后的子波變換系數(shù)52中，零值充當(dāng)通過按比例放大而新生成的位數(shù)。
熵編碼部14如圖2(c)的箭頭所示，一邊從高位位平面開始按順序掃描按比例放大后的子波變換系數(shù)52的量化值，一邊進行熵編碼。
編碼數(shù)據(jù)生成部16從ROI設(shè)定部20得到位置或按比例放大量等ROI設(shè)定信息，以及從熵編碼部14得到量化寬度等頭生成用的信息，生成頭。另外，將熵編碼過的數(shù)據(jù)進行流化，并將編碼圖像輸出到記錄介質(zhì)或網(wǎng)絡(luò)。在此，在記錄介質(zhì)中可以采用SDRAM或閃速硬盤驅(qū)動器等。
如以上所說明的，若利用最大值移位法進行ROI編碼，則為了削減代碼量，即使僅在中途進行編碼，也由于可以優(yōu)先編碼ROI區(qū)域的位平面，故可以使ROI區(qū)域的圖像質(zhì)量成為比非ROI區(qū)域的圖像質(zhì)量高的圖像質(zhì)量。
接著，對削減位平面進行ROI編碼的例子進行說明。ROI設(shè)定部20以ROI區(qū)域的位置信息為基礎(chǔ)，設(shè)定原圖像上的關(guān)注區(qū)域，生成特定對應(yīng)于該關(guān)注區(qū)域的子波變換系數(shù)即ROI變換系數(shù)用的ROI掩碼。在以矩形選擇關(guān)注區(qū)域的情況下，ROI區(qū)域的位置信息由矩形區(qū)域的左上角的像素坐標(biāo)值與矩形區(qū)域的縱橫像素數(shù)給出。
圖3(a)～(c)是說明由ROI設(shè)定部20生成的ROI掩碼的圖。如圖3(a)所示，設(shè)由ROI設(shè)定部20在原圖像80上選擇了關(guān)注區(qū)域90。ROI設(shè)定部20在各次能帶中特定為復(fù)原原圖像80上所選擇的關(guān)注區(qū)域90所需的子波變換系數(shù)。
圖3(b)表示通過將原圖像80僅子波變換1次而得到的第1層變換圖像82。第1層變換圖像82由第1水平的4個次能帶LL1、HL1、LH1、HH1構(gòu)成。ROI設(shè)定部20在第1水平的各次能帶LL1、HL1、LH1、HH1中特定為復(fù)原原圖像80上的關(guān)注區(qū)域90所需的第1層變換圖像82上的子波變換系數(shù)、即ROI變換系數(shù)91～94。
圖3(c)表示通過將圖3(b)的變換圖像82的最低頻率成分的次能帶LL1進一步進行子波變換而得到的第2層的變換圖像84。第2層的變換圖像84如該圖所示，除了第1水平的3個次能帶HL1、LH1、HH1以外，還包括第2水平的4個次能帶LL2、HL2、LH2、HH2。ROI設(shè)定部20，在第2水平的各次能帶LL2、HL2、LH2、HH2中特定為復(fù)原第1層變換圖像82中的ROI變換系數(shù)91所需的第2層變換圖像84上的子波變換系數(shù)、即ROI變換系數(shù)95～98。
同樣，通過將對應(yīng)于關(guān)注區(qū)域90的ROI變換系數(shù)在各層中僅循環(huán)地特定子波變換的次數(shù)，從而在最終層的變換圖像中，可以全部特定為復(fù)原關(guān)注區(qū)域90所需的ROI變換系數(shù)。ROI設(shè)定部20生成在最終層的變換圖像上特定該最終特定的ROI變換系數(shù)的位置用的ROI掩碼。例如，在僅進行了2次子波變換的情況下，生成可以特定圖3(c)中以斜線示出的7個ROI變換系數(shù)92～98的ROI掩碼。
量化部12在量化后在圖像質(zhì)量設(shè)定中根據(jù)優(yōu)先度，在對應(yīng)于非關(guān)注區(qū)域的上述子波變換系數(shù)的位列中調(diào)整置換為零值的低位位數(shù)。參照由ROI設(shè)定部20生成的ROI掩碼，在未被ROI掩碼屏蔽的非ROI變換系數(shù)的位列中從最低位位開始數(shù)，僅將S位置換為零。在此，零置換位數(shù)S是以非關(guān)注區(qū)域中的量化值的最大位數(shù)為上限的任意自然數(shù)。通過使該零置換位數(shù)S變化，從而可以連續(xù)調(diào)整相對于關(guān)注區(qū)域的非關(guān)注區(qū)域的再生圖像質(zhì)量的劣化程度。
圖4(a)～(c)是說明由量化部12對原圖像的子波變換系數(shù)60的低位位進行零置換的狀態(tài)的圖。圖4(a)表示量化后的子波變換系數(shù)60，包含5位平面，用斜線表示ROI變換系數(shù)。
如圖4(b)所示，量化部12將未由ROI掩碼屏蔽的非ROI變換系數(shù)的LSB側(cè)的S位置換為零。在本例中S＝2，如標(biāo)記64所示，可以得到非ROI變換系數(shù)的LSB側(cè)的2位被置換為零的子波變換系數(shù)62。
如圖4(c)的箭頭所示，熵編碼部14一邊從高位位平面按順序?qū)Π琑OI變換系數(shù)和零置換過的非ROI變換系數(shù)的子波變換系數(shù)62進行掃面，一邊進行熵編碼。
圖5(a)～(c)是說明原圖像熵不存在關(guān)注區(qū)域的情況下對子波變換系數(shù)的低位位進行零置換的狀態(tài)的圖。圖5(a)表示因為在原圖像中沒有設(shè)定關(guān)注區(qū)域，所以僅由非ROI變換系數(shù)構(gòu)成的5位平面的子波變換系數(shù)70。在零置換位數(shù)S為2的情況下，如圖5(b)所示，量化部12生成將5位平面內(nèi)、LSB側(cè)的低位2位平面置換為零的子波變換系數(shù)72。
如圖5(c)所示，熵編碼部14從上面開始按順序?qū)α阒脫Q后的子波變換系數(shù)72的高位3位平面進行熵編碼。該情況下，零置換后的低位的2位平面沒有進行編碼。而且，取代零置換低位2位平面，也可以僅舍棄低位2位平面。
編碼數(shù)據(jù)生成部16以量化寬度等編碼參數(shù)為基礎(chǔ)來生成頭。另外，將熵編碼完的數(shù)據(jù)流化，作為編碼圖像輸出到記錄介質(zhì)或網(wǎng)絡(luò)。
一般，在根據(jù)存儲容量或傳送率的限制等在最終的編碼圖像的數(shù)據(jù)大小中設(shè)定有上限的情況下，熵編碼部14在從高位位平面開始按順序編碼量化后的子波變換系數(shù)之際，為了遵守數(shù)據(jù)大小的上限而以中間的位平面來中止編碼?；蛘?，編碼數(shù)據(jù)生成部16在從高位位平面開始按順序輸出流化后的編碼輸出之際，為了遵守傳送率的限制而以中間的位平面來中止流輸出。
這樣，即使在編碼圖像的數(shù)據(jù)大小中存在制約的情況下，也由于在低位的位平面中，對非關(guān)注區(qū)域所對應(yīng)的子波變換系數(shù)進行零置換，僅將關(guān)注區(qū)域所對應(yīng)的子波變換系數(shù)作為有意義的信息而設(shè)為編碼的對象，故低位的位平面的壓縮效率提高，即使編碼到最低位位平面為止，也不會大量增加數(shù)據(jù)大小。
如以上所說明的，削減位平面的編碼方法，由于不進行ROI變換系數(shù)的按比例放大處理，故可以有效地進行編碼的運算。另外，由于不會增加應(yīng)編碼的位平面數(shù)，故無需多余設(shè)置存儲區(qū)域，可以削減硬件成本。
此外，由于不需要進行譯碼時的按比例縮小處理，故無需在編碼數(shù)據(jù)的頭中附加ROI位置信息，無需在編碼數(shù)據(jù)中附加按比例放大量。進而，因為以該方法進行了ROI編碼的圖像在格式上與通常的編碼圖像沒有區(qū)別，故可以以和通常的編碼圖像的譯碼處理完全相同的處理來進行譯碼，可以保持譯碼處理的互換性。
(實施方式1的實施例2)圖6是實施方式1的實施例2所涉及的圖像編碼裝置200的構(gòu)成圖。該圖像編碼裝置200是在實施方式1的實施例1所涉及的圖像編碼裝置100中附加了圖像質(zhì)量設(shè)定部22的構(gòu)成。對于與實施方式1的實施例1相同的構(gòu)成付與相同的標(biāo)記，說明與實施方式1的實施例1不同的構(gòu)成和活動。
ROI區(qū)域及非ROI區(qū)域的圖像質(zhì)量的初始值，用戶可以設(shè)定在ROI設(shè)定部20中。另外，圖像質(zhì)量設(shè)定部22也可以以將非ROI區(qū)域的圖像質(zhì)量分配給每一幀的代碼量為基礎(chǔ)，進行計算、類推而自動確定。即，若ROI區(qū)域的代碼量增多，則減少非ROI區(qū)域的代碼量；若ROI區(qū)域的代碼量減少，則增加非ROI區(qū)域的代碼量。而且，在ROI區(qū)域加馬賽克等、使ROI區(qū)域為低圖像質(zhì)量的情況下與此相反。若調(diào)換ROI區(qū)域與非ROI區(qū)域來閱讀則能夠?qū)崿F(xiàn)上述的ROI編碼的說明。
另外，圖像質(zhì)量設(shè)定部22在動態(tài)圖像攝影中，可以從到此為止拍攝到的代碼量或記錄有編碼流的記錄介質(zhì)的殘量進行計算、類推，以自適應(yīng)地調(diào)整非ROI區(qū)域的編碼量。例如，若記錄介質(zhì)的殘量減少，則減少非ROI區(qū)域的代碼量。
根據(jù)以上說明的本實施例，通過由圖像質(zhì)量設(shè)定部22調(diào)整非ROI區(qū)域的代碼量，從而可以將用戶關(guān)注的目標(biāo)的圖像質(zhì)量維持在用戶所期望的水平，一邊將動態(tài)圖像整體的代碼量抑制在規(guī)定的容量。
(實施方式1的實施例3)圖7是實施方式1的實施例3所涉及的圖像編碼裝置300的構(gòu)成圖。該圖像編碼裝置300是在實施方式1的實施例所涉及的圖像編碼裝置100中附加了幀緩沖器24及目標(biāo)提取部26的構(gòu)成。對于與實施方式1的實施例1相同的構(gòu)成付與相同的標(biāo)記，說明與實施方式1的實施例1不同的構(gòu)成和活動。另外，即使對相同構(gòu)成的不同的活動也進行說明。
幀緩沖器24是SDRAM等大容量存儲器，至少存儲當(dāng)前幀與前面的、例如前一幀。目標(biāo)提取部26分離圖像內(nèi)的目標(biāo)與背景。目標(biāo)提取部26比較前面幀的圖像與當(dāng)前幀的圖像。此時，如采用MPEG(Moving PictureExperts Group)那樣，將圖像分解為多個塊，按每塊求得活動矢量，將這些的平均值或最頻值作為背景的活動矢量。這是利用了成為目標(biāo)的運動體不規(guī)則移動，背景在視點移動的情況下向一個方向移動的狀況。
目標(biāo)提取部26偏離所求得的背景的活動矢量所對應(yīng)的部分，生成前面幀圖像與當(dāng)前幀圖像的差分圖像。由于該差分圖像的背景一致或基本一致，故目標(biāo)提取部26可以精度優(yōu)良地去除背景。目標(biāo)提取部26具備參考存儲器。從該背景被除去的圖像檢測所指定的目標(biāo)，作為參考圖像保存在參考存儲器中。參考圖像可以固定使用最初的指定時的圖像，也可以每次更新。在指定多個目標(biāo)的情況下，在參考存儲器中保存對應(yīng)的多個參考圖像。另外，也可以具備多個參考存儲器。
活動檢測部18比較保存在參考存儲器中的參考圖像和下一幀的差分圖像，檢測目標(biāo)的絕對活動矢量。該差分圖像可以是背景被取出的圖像，也可以是殘留有背景的圖像。將該活動矢量與背景的活動矢量輸出到量化部12。量化部12在量化后根據(jù)該活動矢量和背景的活動矢量，計算ROI區(qū)域的活動，與此對應(yīng)，使ROI區(qū)域移動。
在以上的說明中，雖然目標(biāo)提取部26比較前面幀的圖像與當(dāng)前幀的圖像來檢測出背景的活動矢量，但也可以比較前面幀的子波變換系數(shù)與當(dāng)前幀的子波變換系數(shù)。此時，若采用LL次能帶則可以減小圖像尺寸。若采用HL次能帶、LH次能帶或HH次能帶，則在此基礎(chǔ)上，還可以減少用于僅提取輪廓的運算量。
圖8是表示在圖像內(nèi)分離目標(biāo)與背景的狀態(tài)的圖。圖8(a)表示前面的幀。人物A與人物B、2個目標(biāo)存在于圖像內(nèi)。圖8(b)表示當(dāng)前幀。由于花向右移動，故可知背景向右移動，即視點向左移動。人物A稍向左上移動，人物B向左大量移動。該兩幀間的人物A及人物B的活動是相對的活動。圖8(c)表示差分圖像。該差分圖像是為了將背景的移動相抵而使前面的幀向右移動并合成的?？梢詸z測人物A及人物B的絕對活動。另外，也可以除去背景。
根據(jù)以上說明的本實施例，即使在數(shù)碼攝像機的攝影等、動態(tài)圖像攝影中視點變動的情況下，通過與背景的活動相抵來檢測絕對的目標(biāo)的活動，從而可以降低背景的變動所導(dǎo)致的目標(biāo)的誤識別，可以使ROI區(qū)域精度優(yōu)良地進行追蹤。
(實施方式1的實施例4)圖9是實施方式1的實施例4所涉及的攝像裝置400的構(gòu)成圖。作為攝像裝置400的例子，列舉數(shù)碼相機、數(shù)碼攝像機、監(jiān)視照相機等。
攝像部410例如具備CCD(Charge Coupled Device)等，取入來自被拍攝物的光并轉(zhuǎn)換為電信號，輸出到編碼塊420。編碼塊420對從攝像部410輸入的原圖像進行編碼，并將編碼后的圖像轉(zhuǎn)送到輸出部440。
編碼塊420具有實施方式1的實施例1～3中任一個圖像編碼裝置的構(gòu)成，生成在關(guān)注區(qū)域與非關(guān)注區(qū)域圖像質(zhì)量不同的編碼圖像。操作部430具備液晶顯示器或有機EL顯示器，在那里顯示攝像部410拍攝到的圖像。用戶可以在該圖像內(nèi)指定關(guān)注區(qū)域或所關(guān)注的目標(biāo)。例如，可以用十字鍵等移動圖像內(nèi)的光標(biāo)或框，或者采用觸摸面板方式的顯示器，用記錄筆等來指定。操作部430除此以外還可以裝載快門按鈕或各種操作按鈕。
輸出部440是能裝卸的記錄介質(zhì)或LAN等網(wǎng)絡(luò)。由編碼塊420編碼過的圖像或者記錄在該記錄介質(zhì)中，或者送往網(wǎng)絡(luò)。
圖10是表示實施方式1的實施例4所涉及的攝像裝置400拍攝到的圖像內(nèi)的關(guān)注區(qū)域的追蹤處理的第1例的圖。圖10(a)表示在圖像內(nèi)指定用戶所關(guān)注的目標(biāo)的狀態(tài)。以十字的光標(biāo)來指定用戶所關(guān)注的人物A。圖10(b)表示在圖像內(nèi)設(shè)定有ROI區(qū)域的狀態(tài)。被框圍起來的區(qū)域是ROI區(qū)域。ROI區(qū)域可以通過用戶操作而被初始設(shè)定，也可以在包含所指定的目標(biāo)的規(guī)定區(qū)域自動進行初始設(shè)定。圖10(c)表示人物A移動而跑出ROI區(qū)域的狀態(tài)。圖10(d)表示ROI區(qū)域也追蹤人物A的活動的狀態(tài)。檢測人物A的活動矢量，與此相對應(yīng)，使ROI區(qū)域也移動。
圖11是表示實施方式1的實施例4所涉及的攝像裝置400拍攝到的圖像內(nèi)的關(guān)注區(qū)域追蹤處理的第2例的圖。圖11(a)與第1例的順序不同，表示在圖像內(nèi)用戶設(shè)定ROI區(qū)域的狀態(tài)。將人物A及人物B內(nèi)的人物A設(shè)定為用戶所關(guān)注的目標(biāo)。而且，也可以設(shè)定多個ROI區(qū)域。圖11(b)表示在ROI區(qū)域內(nèi)指定用戶所關(guān)注的目標(biāo)的狀態(tài)。用戶可以指定，也可以自動識別。圖11(c)表示人物A移動、ROI區(qū)域追蹤該活動的狀態(tài)。因為人物B的移動沒有指定為用戶所關(guān)注的目標(biāo)，故對ROI區(qū)域的移動沒有影響。
圖12是表示實施方式1的實施例4所涉及的攝像裝置400拍攝到的圖像內(nèi)的關(guān)注區(qū)域追蹤處理的第3例的圖。圖12(a)表示設(shè)定ROI區(qū)域追蹤的范圍的狀態(tài)。圖中的大框表示該范圍。圖12(b)表示設(shè)定ROI區(qū)域的狀態(tài)。該ROI區(qū)域僅在設(shè)定過的大框中移動。圖12(c)表示人物A移動而跑到大框外的狀態(tài)。因為ROI區(qū)域在大框的范圍內(nèi)進行人物A的追蹤，故在中途成為追蹤結(jié)束。而且，若用戶所關(guān)注的目標(biāo)跑出大框，則可以成為結(jié)束攝影本身的處理。例如，是在監(jiān)視照相機的情況下，需要特別記錄侵入到一定范圍區(qū)域的人物，只要在該范圍內(nèi)維持人物等目標(biāo)的圖像質(zhì)量即可。第3例可以適用于這種情況，可以比第1例及第2例進一步削減代碼量。
而且，攝像裝置400當(dāng)然可以一邊進行使ROI區(qū)域追蹤所指定的目標(biāo)的處理，一邊拍攝動態(tài)圖像并記錄到輸出部440中。另外，在此期間用戶可以從操作部430進行操作，進行ROI區(qū)域的設(shè)定解除、再設(shè)定。若ROI區(qū)域被解除，則以相同的低位率編碼圖像內(nèi)的所有區(qū)域。并且，通過用戶的該操作，動態(tài)圖像攝影可以暫時停止、重新開始。進而，在使ROI區(qū)域追蹤所指定的目標(biāo)的處理中，用戶可以通過壓下操作部430的快門按鈕等而拍攝靜止圖像。該靜止圖像在ROI區(qū)域為高圖像質(zhì)量，在非ROI區(qū)域為低圖像質(zhì)量。
根據(jù)以上所說明的本實施例，通過減少非ROI區(qū)域的代碼量，從而可以提供一邊將用戶關(guān)注的目標(biāo)的圖像質(zhì)量維持在用戶所期望的水平，一邊可以降低動態(tài)圖像整體的代碼量的攝像裝置。
以上，以實施例為基礎(chǔ)說明了實施方式1。這些實施例是示例，這些構(gòu)成要素或各處理過程的組合可以有各種變形例，另外這些變形例也在本發(fā)明的范圍內(nèi)，這是本領(lǐng)域的技術(shù)人員可以理解的。以下示出這種變形例。
在上述的實施例中，以JPEG2000方式連續(xù)進行編碼，生成動態(tài)圖像的編碼流，但不限于JPEG2000方式，只要是可以生成動態(tài)圖像的編碼流的方式即可。
削減位平面、進行ROI編碼的方法僅對非ROI變換系數(shù)的低位位進行零置換，ROI變換系數(shù)的按比例放大全都不進行，但也可以組合ROI變換系數(shù)的按比例放大與非ROI變換系數(shù)的低位位的零置換來實施。
在上述的實施例中，在用戶在ROI設(shè)定部20中設(shè)定多個ROI區(qū)域的情況下，可以按每個ROI區(qū)域設(shè)定不同的圖像質(zhì)量。通過調(diào)整非ROI變換系數(shù)的低位位的零置換數(shù)，從而可以實現(xiàn)各種水平的圖像質(zhì)量。
無論哪一個實施例，作為圖像編碼用的空間濾波都說明了子波變換，但也可以采用其他的空間頻率變換。例如，即使在JPEG標(biāo)準(zhǔn)中采用的離散余弦變換的情況下，通過以同樣的方法對非關(guān)注區(qū)域的變換系數(shù)的低位位進行零置換，從而犧牲非關(guān)注區(qū)域的圖像質(zhì)量，提高圖像整體的壓縮效率，同時可以相對提高關(guān)注區(qū)域的圖像質(zhì)量。
實施方式2的實施例如下所述。
(實施方式2的實施例1)圖13是實施方式2的實施例1所涉及的圖像譯碼裝置1100的構(gòu)成圖。圖像譯碼裝置1100的構(gòu)成，在硬件方面可以由任意計算機的CPU、存儲器、其他LSI來實現(xiàn)；在軟件方面可以通過存儲器所裝載的具有編碼功能的程序等來實現(xiàn)，但在此描述的是通過這些的協(xié)同來實現(xiàn)的功能塊。因此，這些功能塊可以僅由硬件、僅由軟件、或者由這些的組合以各種形式來實現(xiàn)，這是本領(lǐng)域的技術(shù)人員可以理解的。
在實施方式2的實施例1中，圖像譯碼裝置1100將利用JPEG2000方式而被壓縮編碼過的編碼圖像作為一例進行譯碼。輸入到圖像譯碼裝置1100的編碼圖像是未進行ROI編碼的通常的編碼圖像，ROI編碼使圖像的關(guān)注區(qū)域(Region of Interest；ROI)比其他還優(yōu)先進行編碼。圖像譯碼裝置1100在譯碼時指定關(guān)注區(qū)域(以下稱為ROI區(qū)域)，對ROI區(qū)域優(yōu)先進行譯碼。
輸入到圖像譯碼裝置1100的編碼圖像也可以是動態(tài)圖像的編碼幀。通過對作為編碼流輸入的動態(tài)圖像的各編碼幀連續(xù)進行譯碼，從而可以再生動態(tài)圖像。
編碼數(shù)據(jù)提取部1010從所輸入的編碼圖像中提取編碼數(shù)據(jù)。熵譯碼部1012按每個位平面對編碼數(shù)據(jù)進行譯碼，將作為譯碼結(jié)果而得到的量化后的子波變換系數(shù)存儲在未圖示的存儲器中。
活動檢測部1018檢測所指定的目標(biāo)的位置，并輸出到ROI設(shè)定部1020。目標(biāo)的指定可以由用戶來進行，也可以由活動檢測部1018從用戶指定的ROI區(qū)域中自動識別。另外，也可以從整個圖像中自動識別。該目標(biāo)的指定可以為多個。
在動態(tài)圖像的情況下，目標(biāo)的位置用活動矢量來表示。以下，說明活動矢量檢測方法的具體例。第一，活動檢測部1018具備SRAM或SDAM等存儲器，將目標(biāo)指定時在該幀內(nèi)被指定的目標(biāo)的圖像作為參考圖像，保存在該存儲器中。作為參考圖像，可以保存包含指定位置的規(guī)定大小的塊?；顒訖z測部1018通過比較該參考圖像與當(dāng)前幀的圖像，從而檢測活動矢量。在活動矢量的計算中，可以采用子波變換系數(shù)的高頻成分，特定目標(biāo)的輪廓成分而進行。另外，也可以采用量化后的子波變換系數(shù)的MSB(MostSignificant Bit)位平面或者從MSB側(cè)開始的多個位平面。
第二，活動檢測部1018比較當(dāng)前幀和前面的、例如前一幀，以檢測目標(biāo)的活動矢量。第三，不比較幀圖像，而是比較子波變換后的子波變化系數(shù)，以檢測活動矢量。子波變換系數(shù)可以采用LL次能帶、HL次能帶、LH次能帶及HH次能帶的任一種。此外，與當(dāng)前幀的比較對象可以是指定時注冊過的參考圖像，也可以是從前面的、例如前一幀注冊過的參考圖像。
第四，活動檢測部1018采用多個子波變換系數(shù)，以檢測目標(biāo)的活動矢量。例如，可以按HL次能帶、LH次能帶及HH次能帶的每一個來檢測活動矢量，取這3個活動矢量的平均值，或者從其中選擇距前面幀的活動矢量最近的矢量。由此，可以提高目標(biāo)的活動檢測精度。
另外，用戶可以預(yù)先在活動檢測部1018中指定在圖像內(nèi)檢測這種活動矢量的范圍。例如，對以方便商店等店鋪的監(jiān)視照相機拍攝到的圖像進行譯碼的情況下，能夠進行以下處理關(guān)注從徑向(radius)進入到一定范圍的人物等目標(biāo)，不關(guān)注從那里出來的目標(biāo)的活動。
ROI設(shè)定部1020，從活動檢測部1018取得目標(biāo)的活動矢量等位置信息，并與此相對應(yīng)，使ROI區(qū)域移動。根據(jù)活動檢測部1018的檢測方法，計算距初始設(shè)定的ROI區(qū)域的位置的移動量或者距前一幀的移動量，以決定當(dāng)前幀的ROI的位置。
用戶將ROI區(qū)域的位置、大小及圖像質(zhì)量等作為初始值設(shè)定在ROI設(shè)定部1020中。在ROI區(qū)域選擇為矩形的情況下，ROI區(qū)域的位置信息可以由矩形區(qū)域左上角的像素的坐標(biāo)值與矩形區(qū)域的縱橫像素數(shù)來給出。而且，也可以在用戶指定了目標(biāo)的情況下，或者活動檢測部1018進行了自動識別的情況下，ROI設(shè)定部1020將包含該目標(biāo)的規(guī)定范圍自動設(shè)定為ROI區(qū)域。
ROI區(qū)域的形狀可以是矩形、圓形、其他復(fù)雜形狀。ROI區(qū)域自身的形狀雖然在原則上是固定的，但可以在圖像的中心部分與外周部分使區(qū)域的形狀變化，也可以通過用戶操作而動態(tài)變化。另外，ROI區(qū)域可以設(shè)定多個。
ROI設(shè)定部1020以ROI設(shè)定信息為基礎(chǔ)，生成特定ROI區(qū)域所對應(yīng)的子波變換系數(shù)、即ROI變換系數(shù)用的ROI掩碼。逆量化部1014根據(jù)非關(guān)注區(qū)域(以下稱為非ROI區(qū)域)相對于ROI區(qū)域的相對優(yōu)先度，調(diào)整非ROI區(qū)域所對應(yīng)的上述子波變換系數(shù)的位列中置換為零值的低位位數(shù)。接著，參照上述ROI掩碼，進行將從由熵譯碼部1012譯碼過的子波變換系數(shù)內(nèi)、非ROI變換系數(shù)的LSB(Least Significant Bit)側(cè)開始的規(guī)定位數(shù)份置換為零的處理。
在此，置換為零的位數(shù)是將非ROI區(qū)域中的量化值的最大位數(shù)作為上限的任意自然數(shù)。通過使該位數(shù)變化，從而可以連續(xù)調(diào)整非ROI區(qū)域相對ROI區(qū)域的再生圖像質(zhì)量的劣化程度。而且，逆量化部1014對包含ROI變換系數(shù)與低位位被零置換過的非ROI變換系數(shù)的子波變換系數(shù)進行逆量化。子波逆變換部1016對逆量化后的子波變換系數(shù)進行逆變換，并輸出所得到的譯碼圖像。
圖14(a)～(c)是說明由ROI設(shè)定部1020生成的ROI掩碼的圖。如圖14(a)所示，設(shè)為由ROI設(shè)定部1020在原圖像1080上選擇了ROI區(qū)域1090。ROI設(shè)定部1020在各次能帶中特定為復(fù)原原圖像1080上已選擇的ROI區(qū)域1090所需的子波變換系數(shù)。
圖14(b)表示通過將圖像1080僅子波變換1次而得到的第1層的變換圖像1082。第1層的變換圖像1082由第1水平的4個次能帶LL1001、HL1001、LH1001、HH1001構(gòu)成。ROI設(shè)定部1020在第1水平的各次能帶LL1001、HL1001、LH1001、HH1001中特定為復(fù)原原圖像1080的ROI區(qū)域1090所需的第1層變換圖像1082上的子波變換系數(shù)、即ROI變換系數(shù)1091～94。
圖14(c)表示通過將圖14(b)的變換圖像1082的最低頻率成分的次能帶LL1001進一步子波變換而得到的第2層的變換圖像1084。如圖所示，第2層的變換圖像1084除了第1水平的3個次能帶HL1001、LH1001、HH1001以外，還包括第2水平的4個次能帶LL1002、HL1002、LH1002、HH1002。ROI設(shè)定部1020在第2水平的各次能帶LL1002、HL1002、LH1002、HH1002中特定為復(fù)原第1層變換圖像1082的次能帶LL1001中的ROI變換系數(shù)1091所需的第2層變換圖像1084上的子波變換系數(shù)即ROI變換系數(shù)1095～1098。
同樣，通過在各層中對ROI區(qū)域1090所對應(yīng)的ROI變換系數(shù)僅循環(huán)特定子波變換的次數(shù)，從而在最終層的變換圖像中，可以特定全部復(fù)原ROI區(qū)域1090所需的ROI變換系數(shù)。ROI設(shè)定部1020生成在最終層的變換圖像上特定該最終特定的ROI變換系數(shù)的位置用的ROI掩碼。例如，在僅進行2次子波變換的情況下，生成可以特定圖14(c)中用斜線表示的7個ROI變換系數(shù)1092～1098的位置的ROI掩碼。
圖15(a)～(c)表示編碼圖像譯碼后的子波變換系數(shù)的低位位被零置換的狀態(tài)。圖15(a)是熵譯碼后的圖像的子波變換系數(shù)1074，包含5位平面。在圖15(b)中，用斜線表示由ROI設(shè)定部1020指定的ROI區(qū)域所對應(yīng)的ROI變換系數(shù)。如圖15(c)所示，逆量化部1014生成將非ROI變換系數(shù)的低位2位置換為零后的子波變換系數(shù)1076。
而且，ROI設(shè)定部1020取代選擇ROI區(qū)域，也可以選擇非ROI區(qū)域。例如，在欲將暈色放入拍攝有人物的臉或車的車號牌等個人信息的區(qū)域中的情況下，將該區(qū)域選擇為非ROI區(qū)域。該情況下，使特定非ROI變換系數(shù)的掩碼反轉(zhuǎn)，可以生成特定ROI變換系數(shù)的掩碼?；蛘?，可以向逆量化部1014提供特定非ROI變換系數(shù)的掩碼。
在向圖像譯碼裝置1100連續(xù)輸入動態(tài)圖像的編碼幀的情況下，圖像譯碼裝置1100也可以如下所述地活動。圖像譯碼裝置1100在通常時為了減少處理負(fù)荷，進行適當(dāng)舍棄子波變換系數(shù)的低位位平面后再生的簡易再生。由此，即使在圖像譯碼裝置1100的處理性能存在制約的情況下，由于舍棄低位位平面，因此例如也能夠以30幀/秒進行簡易再生。
在簡易再生中，在選擇了圖像上的ROI區(qū)域的情況下，圖像譯碼裝置1100針對非ROI區(qū)域的低位位已被零置換的狀態(tài)的子波變換系數(shù)，一直譯碼到最低位的位平面后再生圖像。此時，由于處理負(fù)荷升高，故雖然有時成為以15幀/秒等慢速拍攝的狀態(tài)或慢速再生的狀態(tài)，但可以以高圖像質(zhì)量再生ROI區(qū)域。
這樣，在選擇了ROI區(qū)域時，非ROI區(qū)域以與簡易再生同等程度的品質(zhì)直接再生，只有ROI區(qū)域以更高的品質(zhì)再生。如監(jiān)視影像那樣，在平常時不需要高的品質(zhì)，僅在異常時想以高的品質(zhì)再生關(guān)注場所的情況下是有用的。另外，在用移動終端再生動態(tài)圖像的情況下，從電池壽命的觀點來看，也可以利用在節(jié)電模式中以低品質(zhì)再生動態(tài)圖像，根據(jù)需要以高圖像質(zhì)量僅再生ROI區(qū)域的使用方法。
根據(jù)本實施例的圖像譯碼裝置1100，對于未被ROI編碼的通常的編碼圖像，通過將非ROI區(qū)域所對應(yīng)的子波變換系數(shù)的低位位進行零置換，從而可以相對地使ROI區(qū)域的圖像質(zhì)量比非ROI區(qū)域還高后進行譯碼，可以容易地突出用戶關(guān)注的目標(biāo)。另外，由于僅優(yōu)先譯碼ROI區(qū)域，故可以比通常的譯碼處理減少處理量。因此，可以高速化處理，還可以削減消耗電力。
(實施方式2的實施例2)圖16是實施方式2的實施例2所涉及的圖像譯碼裝置1200的構(gòu)成圖。該圖像譯碼裝置1200是在實施方式2的實施例1所涉及的圖像譯碼裝置1100中附加了圖像質(zhì)量設(shè)定部1022的構(gòu)成。對于與實施方式2的實施例1相同的構(gòu)成付與相同的符號，并說明與實施方式2的實施例1不同的構(gòu)成和活動。
用戶可以從圖像質(zhì)量設(shè)定部1022將ROI區(qū)域及非ROI區(qū)域的圖像質(zhì)量的初始值設(shè)定在ROI設(shè)定部1020中。另外，即使在動態(tài)圖像再生中，也可以將ROI區(qū)域及非ROI區(qū)域的至少一方的圖像質(zhì)量變更為所希望的水平。逆量化部1014根據(jù)該變更，調(diào)整ROI區(qū)域及非ROI區(qū)域的至少一方所對應(yīng)的子波變換系數(shù)的位列中置換為零值的低位位數(shù)。由此，在ROI區(qū)域與非ROI區(qū)域之間可以制作用戶所期望的水平的圖像質(zhì)量差。
此外，圖像質(zhì)量設(shè)定部1022根據(jù)再生速度，可以使ROI區(qū)域及非ROI區(qū)域的至少一方的圖像質(zhì)量降低。即，在用戶選擇了2倍速再生的情況下，有時編碼圖像的完全譯碼處理不會起作用。這種情況下，例如使非ROI區(qū)域的圖像質(zhì)量降低，可以減輕處理量。由此，不管再生速度，也可以不進行慢速拍攝地再生動態(tài)圖像。
進而，在圖像譯碼裝置1200裝載在移動電話機、PDA(Person DigitalAssistant)、便攜式DVD(Digital Video Disk)播放機及能取下的汽車導(dǎo)航裝置等便攜式設(shè)備的情況下，圖像質(zhì)量設(shè)定部1022根據(jù)該設(shè)備的電池剩余容量，可以使ROI區(qū)域及非ROI區(qū)域的至少一方的圖像質(zhì)量降低。即，在電池剩余容量變少的情況下，例如使非ROI區(qū)域的圖像質(zhì)量降低，可以減少消耗電力。由此，可以延長電池剩余容量變少后的圖像可能再生時間。
(實施方式2的實施例3)圖17是實施方式2的實施例3所涉及的攝像裝置1300的構(gòu)成圖。作為攝像裝置1300的例子，列舉數(shù)碼相機、數(shù)碼攝像機、監(jiān)視照相機等。
攝像部1310例如具備CCD(Charge Coupled Device)等，取入來自被拍攝物的光并轉(zhuǎn)換為電信號，輸出到編碼塊1320。編碼塊1320對從攝像部1310輸入的原圖像進行編碼，并將編碼后的圖像存儲在存儲部1330中。輸入到編碼塊1320的原圖像可以是動態(tài)圖像幀，也可以將動態(tài)圖像幀連續(xù)編碼后存儲在存儲部1330中。
譯碼塊1340從存儲部1330中讀出編碼圖像，譯碼后提供給顯示部1350。從存儲部1330讀出的編碼圖像可以是動態(tài)圖像的編碼幀。譯碼塊1340具有實施方式2的實施例1或2的圖像譯碼裝置1100、1200的構(gòu)成，對存儲在存儲部1330中的編碼圖像進行譯碼。從操作部1360接受設(shè)定在畫面上的ROI區(qū)域的信息，優(yōu)先譯碼ROI區(qū)域，生成ROI區(qū)域與非ROI區(qū)域的圖像質(zhì)量不同的譯碼圖像。
顯示部1350具備液晶顯示器或有機EL顯示器等，在那里顯示由譯碼塊1340譯碼過的圖像。操作部1360通過用戶操作可以在顯示部1350的圖像內(nèi)指定ROI區(qū)域或關(guān)注目標(biāo)。例如，用戶以十字鍵等移動圖像內(nèi)的光標(biāo)或框，或者采用觸摸面板方式的顯示器，用記錄筆等來指定。操作部1360除此以外還可以裝載快門按鈕或各種操作按鈕。
根據(jù)該形態(tài)，可以提供一種可容易地突出用戶關(guān)注的目標(biāo)的攝像裝置。另外，由于僅優(yōu)先譯碼ROI區(qū)域，故可以比通常的譯碼處理減少處理量。因此，可以高速化處理，還可以削減消耗電力。特別是數(shù)碼相機、數(shù)碼攝像機等通過削減消耗電力，可以延長能攝影的時間。
接著，說明實施方式2的實施例3的變形例。該例是以編碼塊1320優(yōu)先編碼ROI區(qū)域，生成ROI區(qū)域與非ROI區(qū)域的圖像質(zhì)量不同的編碼圖像，以譯碼塊1340譯碼該編碼圖像的例子。
圖18是實施方式2的實施例3的變更例所涉及的編碼塊1320的構(gòu)成圖。編碼塊1320將所輸入的原圖像作為一例，利用JPEG2000方式進行壓縮編碼。
子波變換部1030將從攝像部1310輸入的原圖像進行次能帶分割，計算各次能帶圖像的子波變換系數(shù)，生成分層后的子波變換系數(shù)。具體是，子波變換部1030在原圖像的x、y各方向采用低通濾波器及高通濾波器，分割為4個頻率次能帶后進行子波變換。這些次能帶是在x、y兩方向具有低頻成分的LL次能帶；在x、y的其中任一個方向具有低頻成分，且在另一方向具有高頻成分的HL及LH次能帶；和在x、y兩方向具有高頻成分的HH次能帶。各次能帶的縱橫像素數(shù)是處理前圖像的各自1/2，以1次濾波可以得到分辨率、即圖像尺寸為1/4的次能帶圖像。
子波變換部1030，對這樣得到的次能帶中的LL次能帶再度進行濾波處理，將其進一步分割為LL、HL、LH、HH的4個次能帶后進行子波變換。子波變換部1030將該濾波進行規(guī)定次數(shù)，將原圖像分層為次能帶圖像，輸出各次能帶的子波變換系數(shù)。量化部1032以規(guī)定的量化寬度對從子波變換部1030輸出的子波變換系數(shù)進行量化。
活動檢測部1038及ROI設(shè)定部1040的構(gòu)成與活動，和實施方式2的實施例1、2的圖像譯碼裝置1100、1200的基本相同。以下，敘述不同點。ROI設(shè)定部1040向量化部1032及編碼數(shù)據(jù)生成部1036輸出ROI設(shè)定信息后進行ROI編碼。在ROI編碼中，有將圖像的ROI區(qū)域所對應(yīng)的ROI變換系數(shù)的位平面僅按比例放大非ROI變換系數(shù)的位平面的最大位數(shù)的最大值移位法。根據(jù)該方法，ROI變換系數(shù)的全部位平面比任何非ROI變換系數(shù)的位平面都優(yōu)先被編碼。
首先，說明利用最大值移位法進行ROI編碼的例子。圖19(a)表示量化后的子波變換系數(shù)1050，從MSB到LSB包括5位的各位平面。
ROI設(shè)定部1040以ROI區(qū)域的位置信息為基礎(chǔ)，設(shè)定原圖像上的ROI區(qū)域，生成用于特定ROI變換系數(shù)的ROI掩碼。ROI變換系數(shù)在圖19(a)的子波變換系數(shù)1050中以斜線示出。
量化部1032使用上述ROI掩碼，將量化后的ROI變換系數(shù)僅按比例放大S位。即，將ROI變換系數(shù)的值僅向左移位S位。在此，按比例放大量S是比非ROI變換系數(shù)的量化值的最大值的位數(shù)還大的自然數(shù)。圖19(b)表示將ROI變換系數(shù)僅按比例放大了5位的狀態(tài)的子波變換系數(shù)1052。在按比例放大后的子波變換系數(shù)1052中，由按比例放大而新生成的位充當(dāng)零值。
如圖19(c)的箭頭所示，熵編碼部1034一邊從高位位平面按順序掃描按比例放大后的子波變換系數(shù)1052的量化值，一邊進行熵編碼。
編碼數(shù)據(jù)生成部1036從ROI設(shè)定部1040得到位置或按比例放大量等ROI設(shè)定信息，以及從熵編碼部1034得到量化寬度等頭生成用的信息，以生成頭。另外，對已熵編碼的數(shù)據(jù)進行流化，并將編碼圖像輸出到存儲部1330。然后，存儲部1330的編碼圖像能夠輸出到記錄介質(zhì)或網(wǎng)絡(luò)。在此，記錄介質(zhì)中可以采用SDRAM或閃速硬盤驅(qū)動器等。
如以上所說明的，若利用最大值移位法進行ROI編碼，則即使為了削減代碼量而只編碼到中途，也可以優(yōu)先編碼ROI區(qū)域的位平面，所以可以使ROI區(qū)域的圖像質(zhì)量比非ROI區(qū)域的圖像質(zhì)量高。
接下來，說明削減位平面、進行ROI編碼的例子。ROI設(shè)定部1040利用圖14中說明的方法生成ROI掩碼。量化部1032在量化后根據(jù)圖像質(zhì)量設(shè)定的優(yōu)先度，調(diào)整非ROI區(qū)域所對應(yīng)的上述子波變換系數(shù)的位列中置換為零值的低位位數(shù)。參照由ROI設(shè)定部1040生成的ROI掩碼，在未由ROI掩碼屏蔽的非ROI變換系數(shù)的位列中，自最低位位開始數(shù)僅將S位置換為零。在此，零置換位數(shù)S是將非ROI區(qū)域中的量化值的最大位數(shù)作為上限的任意自然數(shù)。通過使該零置換位數(shù)S變化，從而可以連續(xù)調(diào)整非ROI區(qū)域相對于ROI區(qū)域的再生圖像質(zhì)量的劣化程度。
圖20(a)～(c)是說明由量化部1032零置換原圖像的子波變換系數(shù)1060的低位位的狀態(tài)的圖。圖20(a)表示量化后的子波變換系數(shù)1060，包括5位平面，以斜線表示ROI變換系數(shù)。
如圖20(b)所示，量化部1032將未由ROI掩碼屏蔽的非ROI變換系數(shù)的LSB側(cè)的S位置換為零。在該例中，S＝2，如標(biāo)記1064所示，得到非ROI變換系數(shù)的LSB側(cè)的2位已被置換為零的子波變換系數(shù)1062。而且，代替零置換低位2位平面，也可以僅舍棄低位2位平面。
如圖20(c)的箭頭所示，熵編碼部1034一邊從高位位平面按順序掃描包含ROI變換系數(shù)與零置換后的非ROI變換系數(shù)的子波變換系數(shù)1062，一邊進行熵編碼。
編碼數(shù)據(jù)生成部1036以量化寬度等編碼參數(shù)為基礎(chǔ)生成頭。另外，對熵編碼過的數(shù)據(jù)進行流化，并輸出到存儲部1330。
一般，在由于存儲容量或傳送率的限制而在最終的編碼圖像的數(shù)據(jù)大小上設(shè)定有上限的情況下，熵編碼部1034從高位位平面按順序?qū)α炕蟮淖硬ㄗ儞Q系數(shù)進行編碼之際，為了遵守數(shù)據(jù)大小的上限，有時在中間的位平面中止編碼?；蛘撸幋a數(shù)據(jù)生成部1036在輸出從高位位平面按順序流化完的編碼數(shù)據(jù)之際，為了遵守傳送率的限制而有時在中間的位平面中止流輸出。
這樣，即使在編碼圖像的數(shù)據(jù)大小上存在制約，也由于在低位的位平面中，非ROI區(qū)域所對應(yīng)的子波變換系數(shù)被零置換，僅將ROI區(qū)域所對應(yīng)的子波變換系數(shù)作為有意義的信息而設(shè)為編碼對象，故低位的位平面的壓縮效率高，即使編碼到最低位位平面為止，也不會增大數(shù)據(jù)大小。
如以上所說明的，削減位平面的編碼方法，由于不進行ROI變換系數(shù)的按比例放大處理，故可以有效進行編碼的運算。另外，由于不會增加應(yīng)編碼的位平面數(shù)，故無需多余設(shè)置存儲區(qū)域，可以削減硬件成本。
此外，由于不需要譯碼時的按比例縮小處理，故無需在編碼圖像的頭中附加ROI位置信息，無需在編碼圖像中附加按比例放大量。進而，由于以該方法進行了ROI編碼的圖像與通常的編碼圖像在格式上沒有區(qū)別，故可以以和通常的編碼圖像的譯碼處理完全相同的處理進行譯碼，可以保證譯碼處理的互換性。
如以上所說明的，根據(jù)實施方式2的實施例3的變形例，譯碼塊1340優(yōu)先譯碼ROI區(qū)域，在生成ROI區(qū)域與非ROI區(qū)域的圖像質(zhì)量不同的譯碼圖像的情況下的效果的基礎(chǔ)上，可以降低編碼圖像的代碼量。
圖21是表示以下所說明過的ROI區(qū)域的追蹤處理的第1例的圖。圖21(a)表示在圖像內(nèi)指定用戶關(guān)注的目標(biāo)的狀態(tài)。以十字的光標(biāo)指定用戶關(guān)注的人物A。圖21(b)表示在圖像內(nèi)設(shè)定有ROI區(qū)域的狀態(tài)。由框圍起來的區(qū)域為ROI區(qū)域。ROI區(qū)域可以通過用戶操作初始設(shè)定，也可以自動初始設(shè)定為包含所指定的目標(biāo)的規(guī)定區(qū)域。圖21(c)表示人物A移動而從ROI區(qū)域離開的狀態(tài)。圖21(d)表示ROI區(qū)域也追蹤人物A的活動的狀態(tài)。檢測人物A的活動矢量，與此相對應(yīng)，使ROI區(qū)域也移動。
圖22是表示ROI區(qū)域的追蹤處理的第2例的圖。圖22(a)與第1例的順序不同，表示用戶在圖像內(nèi)設(shè)定ROI區(qū)域的狀態(tài)。將人物A及人物B中的人物A設(shè)定為用戶關(guān)注的目標(biāo)。而且，ROI區(qū)域可以設(shè)定多個。圖22(b)表示在ROI區(qū)域中指定用戶關(guān)注的目標(biāo)的狀態(tài)。可以用戶指定，也可以自動識別。圖22(c)表示人物A移動而ROI區(qū)域追蹤該活動的狀態(tài)。因為人物B的活動未指定為用戶關(guān)注的目標(biāo)，所以對ROI區(qū)域的移動沒有影響。
圖23是表示ROI區(qū)域的追蹤處理的第3例的圖。圖23(a)表示設(shè)定ROI區(qū)域追蹤的范圍的狀態(tài)。途中的大框表示該范圍。圖23(b)表示設(shè)定ROI區(qū)域的狀態(tài)。該ROI區(qū)域只在設(shè)定過的大框中移動。圖23(c)表示人物A移動而跑到大框外的狀態(tài)。由于ROI區(qū)域在大框的范圍內(nèi)進行人物A的追蹤，故在途中成為追蹤結(jié)束。而且，若用戶關(guān)注的目標(biāo)跑出大框，則可以成為結(jié)束攝影等的處理。例如，在監(jiān)視照相機的情況下，需要特別記錄侵入到一定范圍區(qū)域的人物，只要在該范圍內(nèi)維持人物等目標(biāo)的圖像質(zhì)量即可。第3例可以適用于這種情況，可以比第1例及第2例進一步削減處理量。
而且，實施方式2的實施例3所涉及的攝像裝置1300當(dāng)然可以一邊使ROI區(qū)域追蹤所指定的目標(biāo)，一邊拍攝動態(tài)圖像并記錄在記錄介質(zhì)等中。另外，在此期間用戶從操作部1360開始操作，可以進行ROI區(qū)域的設(shè)定解除、再設(shè)定。若解除ROI區(qū)域，則圖像內(nèi)的全部區(qū)域以相同的位速率被編碼。而且，可以通過用戶的該操作暫時停止、重新開始動態(tài)圖像攝影。進而，在使ROI區(qū)域追蹤所指定的目標(biāo)的處理中，用戶通過將操作部1360的快門按鈕壓下等，從而可以拍攝靜止圖像。該靜止圖像中，ROI區(qū)域為高圖像質(zhì)量，非ROI區(qū)域為低圖像質(zhì)量。
以上，以實施例為基礎(chǔ)說明了實施方式2。實施例是示例，這些構(gòu)成要素或各處理過程的組合可以有各種變形例，另外這些變形例也在本發(fā)明的范圍內(nèi)，這是本領(lǐng)域的技術(shù)人員可以理解的。以下示出這種變形例。
在上述的實施例中，對以JPEG2000方式連續(xù)編碼過的動態(tài)圖像的編碼流進行譯碼，但不限于JPEG2000方式，只要是可以對動態(tài)圖像的編碼流進行譯碼的方式即可。
在上述的實施例中，用戶在ROI設(shè)定部1020、1040中設(shè)定多個ROI區(qū)域的情況下，也可以按每個ROI區(qū)域設(shè)定不同的圖像質(zhì)量。通過調(diào)整非ROI變換系數(shù)的低位位的零置換數(shù)，從而可以實現(xiàn)各種水平的圖像質(zhì)量。
在上述的實施例中，通過對編碼圖像譯碼后的子波變換系數(shù)的低位位進行零置換，從而可以使ROI區(qū)域與非ROI區(qū)域為不同圖像質(zhì)量。這一點，在按每個路徑獨立編碼的情況下，可以采用在中間中止可變長度的譯碼的方法。在JPEG2000方式中，作為位平面內(nèi)的各系數(shù)位，使用S路徑(significance propagation pass)、R路徑(magnitude refinement pass)、C路徑(cleanup pass)的3種處理路徑。在S路徑中，進行周圍存在有意義的系數(shù)的沒有意義的系數(shù)的譯碼，在R路徑中進行有意義系數(shù)的譯碼，在C路徑中進行剩余的系數(shù)的譯碼。S路徑、R路徑、C路徑的各處理路徑按照該順序?qū)D像的圖像質(zhì)量的貢獻度增大。各處理路徑按照該順序執(zhí)行，各系數(shù)的對比度是考慮附近系數(shù)的信息后決定的。根據(jù)該方法，由于無需進行零置換，故可以進一步減少處理量。
在上述的實施例中，作為圖像編碼用的空間濾波，說明了子波變換，但也可以采用其他空間頻率變換。例如，即使在JPEG標(biāo)準(zhǔn)中采用的離散余弦變換的情況下，通過以同樣的方法對非關(guān)注區(qū)域的變換系數(shù)的低位位進行零置換，從而犧牲非關(guān)注區(qū)域的圖像質(zhì)量，提高圖像整體的壓縮效率，同時可以相對提高關(guān)注區(qū)域的圖像質(zhì)量。
權(quán)利要求
1.一種圖像編碼方法，其特征在于，在圖像內(nèi)設(shè)定關(guān)注區(qū)域，使所述關(guān)注區(qū)域追蹤所述圖像內(nèi)所關(guān)注的目標(biāo)的活動，在所述關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量進行編碼。
2.一種圖像編碼裝置，其特征在于，具有在圖像內(nèi)設(shè)定關(guān)注區(qū)域的關(guān)注區(qū)域設(shè)定部；檢測所述圖像內(nèi)的關(guān)注目標(biāo)之活動的活動檢測部；和在所述關(guān)注區(qū)域與除此以外的區(qū)域，以不同的圖像質(zhì)量進行編碼的編碼部；所述關(guān)注區(qū)域設(shè)定部使所述關(guān)注區(qū)域追蹤所述目標(biāo)的活動。
3.根據(jù)權(quán)利要求2所述的圖像編碼裝置，其特征在于，進一步具有圖像質(zhì)量設(shè)定部，其根據(jù)所分配的代碼量來設(shè)定所述關(guān)注區(qū)域以外區(qū)域的圖像質(zhì)量。
4.根據(jù)權(quán)利要求2或3所述的圖像編碼裝置，其特征在于，進一步具有對視點變動的動態(tài)圖像內(nèi)的背景進行分離的目標(biāo)提取部；所述關(guān)注區(qū)域設(shè)定部根據(jù)所述背景的活動，而使所述關(guān)注區(qū)域追蹤所述目標(biāo)的活動。
5.一種攝像裝置，其特征在于，具有取得圖像的攝像部；在圖像內(nèi)設(shè)定關(guān)注區(qū)域，使所述關(guān)注區(qū)域追蹤所述圖像內(nèi)的所關(guān)注的目標(biāo)的活動，在所述關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量進行編碼。
6.一種攝像裝置，其特征在于，具有取得圖像的攝像部；在所述圖像內(nèi)設(shè)定關(guān)注區(qū)域的關(guān)注區(qū)域設(shè)定部；檢測所述圖像內(nèi)的關(guān)注目標(biāo)之活動的活動檢測部；和在所述關(guān)注區(qū)域與除此以外的區(qū)域，以不同的圖像質(zhì)量進行編碼的編碼部；所述關(guān)注區(qū)域設(shè)定部使所述關(guān)注區(qū)域追蹤所述目標(biāo)的活動。
7.根據(jù)權(quán)利要求5或6所述的攝像裝置，其特征在于，進一步具有圖像質(zhì)量設(shè)定部，其根據(jù)所分配的代碼量來設(shè)定所述關(guān)注區(qū)域以外區(qū)域的圖像質(zhì)量。
8.根據(jù)權(quán)利要求5或6所述的攝像裝置，其特征在于，進一步具有對視點變動的動態(tài)圖像內(nèi)的背景進行分離的目標(biāo)提取部；所述關(guān)注區(qū)域設(shè)定部可以根據(jù)所述背景的活動，而使所述關(guān)注區(qū)域追蹤所述目標(biāo)的活動。
9.一種圖像譯碼方法，其特征在于，在圖像內(nèi)設(shè)定關(guān)注區(qū)域，使所述關(guān)注區(qū)域追蹤所述圖像內(nèi)所關(guān)注的目標(biāo)的活動，在所述關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量對動態(tài)圖像進行譯碼。
10.一種圖像譯碼裝置，其特征在于，具有在圖像內(nèi)設(shè)定關(guān)注區(qū)域的關(guān)注區(qū)域設(shè)定部；檢測所述圖像內(nèi)的所關(guān)注目標(biāo)之活動的活動檢測部；和在所述關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量譯碼動態(tài)圖像的譯碼部；所述關(guān)注區(qū)域設(shè)定部使所述關(guān)注區(qū)域追蹤所述目標(biāo)的活動。
11.根據(jù)權(quán)利要求10所述的圖像譯碼裝置，其特征在于，進一步具有圖像質(zhì)量設(shè)定部，其參照本裝置的狀態(tài)，設(shè)定所述關(guān)注區(qū)域及該關(guān)注區(qū)域以外區(qū)域的至少一方的圖像質(zhì)量。
12.一種攝像裝置，其特征在于，具有取得圖像的攝像部；在所述圖像內(nèi)設(shè)定關(guān)注區(qū)域，使所述關(guān)注區(qū)域追蹤所述圖像內(nèi)的關(guān)注目標(biāo)的活動，在所述關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量顯示動態(tài)圖像。
13.一種攝像裝置，其特征在于，具有取得圖像的攝像部；在所述圖像內(nèi)設(shè)定關(guān)注區(qū)域的關(guān)注區(qū)域設(shè)定部；檢測所述圖像內(nèi)的關(guān)注目標(biāo)之活動的活動檢測部；在所述關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量編碼動態(tài)圖像的編碼部；和對所述編碼部所編碼的圖像數(shù)據(jù)進行譯碼的譯碼部；所述關(guān)注區(qū)域設(shè)定部使所述關(guān)注區(qū)域追蹤所述目標(biāo)的活動。
14.根據(jù)權(quán)利要求12或13所述的攝像裝置，其特征在于，進一步具有圖像質(zhì)量設(shè)定部，其參照本裝置的狀態(tài)，設(shè)定所述關(guān)注區(qū)域及該關(guān)注區(qū)域以外區(qū)域的至少一方的圖像質(zhì)量。
全文摘要
在圖像內(nèi)設(shè)定關(guān)注區(qū)域，使所述關(guān)注區(qū)域追蹤所述圖像內(nèi)所關(guān)注的目標(biāo)的活動，在所述關(guān)注區(qū)域與除此以外的區(qū)域以不同的圖像質(zhì)量進行編碼。子波變換部在原圖像的x、y各方向采用低通濾波器及高通濾波器，分割為4個頻率次能帶并進行子波變換。量化部以規(guī)定的量化寬度對從子波變換部輸出的子波變換系數(shù)進行量化?；顒訖z測部檢測目標(biāo)的活動。ROI設(shè)定部根據(jù)該目標(biāo)的活動，使ROI區(qū)域移動。在為視點變動的動態(tài)圖像的情況下，也可以分離背景與目標(biāo)，根據(jù)目標(biāo)的活動及背景的活動，使ROI區(qū)域移動。
文檔編號H04N1/41GK1717058SQ20051008149
公開日2006年1月4日 申請日期2005年6月29日 優(yōu)先權(quán)日2004年6月29日
發(fā)明者渡邊剛, 岡田茂之 申請人:三洋電機株式會社