專(zhuān)利名稱：圖像處理裝置、圖像處理方法和圖像拍攝裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及例如適用于對(duì)從各種布置體系的圖像拍攝元件獲得的RAW數(shù)據(jù)(原始 數(shù)據(jù))進(jìn)行高效壓縮編碼的圖像處理裝置、圖像處理方法和圖像拍攝裝置。
背景技術(shù)：
使用拜耳布置(Bayer arrangement)的圖像拍攝元件的圖像拍攝裝置在過(guò)去一般 是已知的。這種圖像拍攝元件經(jīng)由濾色器(color filter)捕捉對(duì)象的圖像光，并且輸出根 據(jù)圖像光的強(qiáng)度的圖像信號(hào)。然后，后續(xù)處理部件使圖像信號(hào)經(jīng)歷預(yù)定的處理，從而圖像拍 攝裝置可以在取景器或外部顯示裝置上顯示圖像。日本專(zhuān)利早期公開(kāi)Νο.2002_247376(以下稱之為專(zhuān)利文獻(xiàn)1)描述了通過(guò) JPEG (聯(lián)合圖片專(zhuān)家組)等等直接對(duì)從拜耳布置的圖像拍攝元件獲得的RAW數(shù)據(jù)(顏色插 值(color interpolation)之前的圖像數(shù)據(jù))的壓縮。日本專(zhuān)利早期公開(kāi)No. 2003-125209 (以下稱之為專(zhuān)利文獻(xiàn)2)描述了用于對(duì)G1、 G2、R和B的每個(gè)分量分別執(zhí)行圖像壓縮的技術(shù)以及使用小波壓縮的具體示例，作為用于對(duì) 從拜耳布置的圖像拍攝元件獲得的RAW數(shù)據(jù)進(jìn)行壓縮的方法。

發(fā)明內(nèi)容
過(guò)去，綠色像素的像素位置在水平方向和垂直方向上是交替(alternately)相互 偏離(shift)的。從而，綠色像素被分割成Gl和G2兩個(gè)分量以使得像素位置不相互偏 離，然后被壓縮。此壓縮是在原本其間具有作為一個(gè)圖像的強(qiáng)相關(guān)性的像素通過(guò)亞采樣 (sub-sample)被分離成單獨(dú)的圖片之后執(zhí)行的。從而，經(jīng)分離的圖像之間的相關(guān)性無(wú)法被 使用，并且壓縮效率降低。尤其是小波變換能夠通過(guò)對(duì)整個(gè)圖片的子帶分割(subband division)來(lái)實(shí)現(xiàn)很 高的壓縮效率。然而，現(xiàn)有的體系將整個(gè)圖片分割成單獨(dú)的圖片，從而沒(méi)有運(yùn)用小波變換的 本來(lái)很高的壓縮效率。此外，通過(guò)利用小波變換重復(fù)子帶分割，可從一個(gè)壓縮碼(compression code)獲 得不同分辨率的圖像。例如，當(dāng)利用專(zhuān)利文獻(xiàn)2中描述的技術(shù)在取景器等等上顯示分辨率 為某一圖像的一定分辨率的一半的圖像時(shí)，只使用分割出的兩個(gè)綠色圖像之中的一個(gè)。在 此情況下，執(zhí)行簡(jiǎn)單的“像素離散縮減(pixel discrete reduction) ”，并且取景器上顯示 的圖像例如受到混疊噪聲(aliasing noise)的影響。從而，無(wú)法充分地享受到使用小波變 換的優(yōu)點(diǎn)。此外，現(xiàn)有的技術(shù)涉及一種對(duì)從拜耳布置的圖像拍攝元件獲得的RAW數(shù)據(jù)進(jìn)行壓 縮的方法，但不涉及用于對(duì)從雙倍密度拜耳布置的圖像拍攝元件或者具有在傾斜方向上布 置的像素的三板(three-panel)圖像拍攝元件系統(tǒng)獲得的RAW數(shù)據(jù)進(jìn)行壓縮的技術(shù)。從而，對(duì)于圖像拍攝元件的不同像素布置需要使用不同的壓縮體系，而不能共享 硬件。
此外，專(zhuān)利文獻(xiàn)1公開(kāi)了一種用于在不進(jìn)行到RGB(紅綠藍(lán))全像素(RGB full Pixel)的顏色分離的情況下執(zhí)行壓縮和記錄的技術(shù)。此技術(shù)直接壓縮圖像數(shù)據(jù)，而不會(huì)由 于顏色分離而增大數(shù)據(jù)率，從而具有能夠控制數(shù)據(jù)率的優(yōu)點(diǎn)。然而，關(guān)于如何壓縮圖像數(shù) 據(jù)的細(xì)節(jié)是不清楚的。如果圖像數(shù)據(jù)在拜耳布置中照字面那樣直接作為一個(gè)圖像被壓縮， 則每個(gè)RGB像素的電平在許多自然圖像中是不同的。于是，因?yàn)橄噜徬袼乇徊煌孛枥L成 RGB，所以出現(xiàn)很大的高頻分量，并且壓縮效率不會(huì)提高。換言之，將預(yù)期到很高的壓縮噪 聲。 希望對(duì)從如下一種像素布置的圖像拍攝元件獲得的RAW數(shù)據(jù)執(zhí)行高效的壓縮編 碼在所述像素布置中，三種原色之中的至少一種顏色的像素位置在水平方向或垂直方向 上是交替相互偏離的。本發(fā)明對(duì)從其中三種原色之中的至少一種顏色的像素位置在水平方向或垂直方 向上交替相互偏離的像素布置的圖像拍攝元件輸出的圖像數(shù)據(jù)中包括的其像素位置交替 相互偏離的那種顏色的圖像數(shù)據(jù)執(zhí)行子帶分割。此子帶分割是以相鄰的上下兩行的像素或 者相鄰的左右兩列的像素為單位來(lái)執(zhí)行的。根據(jù)本發(fā)明的實(shí)施例，即使當(dāng)像素位置在水平或垂直方向上交替相互偏離時(shí)，也 以相鄰的上下兩行的像素或者相鄰的左右兩列的像素為單位執(zhí)行子帶分割。從而，通過(guò)在 像素位置保持相互偏離的情況下執(zhí)行壓縮編碼，可以執(zhí)行高效的壓縮編碼。根據(jù)本發(fā)明的實(shí)施例，可以對(duì)從如下一種像素布置的圖像拍攝元件獲得的圖像數(shù) 據(jù)(RAW數(shù)據(jù))執(zhí)行高效的壓縮編碼在所述像素布置中，三種原色之中的至少一種顏色的 像素位置在水平方向或垂直方向上是交替相互偏離的。


圖1是示出根據(jù)本發(fā)明實(shí)施例的圖像拍攝裝置的示圖；圖2是示出圖像拍攝元件的像素布置的示例的示圖；圖3是壓縮編碼時(shí)壓縮和解壓縮處理部件的框圖；圖4是示出小波變換的分割級(jí)別的示圖；圖5A和5B是示出小波變換的分割級(jí)別的示圖；圖6是壓縮解碼時(shí)壓縮和解壓縮處理部件的框圖；圖7A、7B和7C是現(xiàn)有技術(shù)的示圖；圖8A、8B、8C和8D是現(xiàn)有技術(shù)被應(yīng)用到雙倍密度拜耳布置的示圖；圖9是小波變換時(shí)壓縮和解壓縮I/F(接口)部件的處理的示圖；圖10是逆變換時(shí)壓縮和解壓縮I/F部件的處理的示圖；圖11A、1 IBUlC和IlD是針對(duì)雙倍密度拜耳布置的壓縮和解壓縮I/F部件的小波 變換處理的示圖；圖12A、12B、12C和12D是針對(duì)雙倍密度拜耳布置的壓縮和解壓縮I/F部件的小波 變換處理的另一示例的示圖；圖13A、13B、13C和13D是示出小波變換后的子帶圖像的像素重心位置的示圖；圖 14A、14B、14C 禾Π 14D 是針對(duì)傾斜布置三板體系(oblique arrangement three-panel system)的壓縮和解壓縮I/F部件的小波變換處理的示圖15A、15B、15C和15D是針對(duì)拜耳布置的壓縮和解壓縮I/F部件的小波變換處理 的示圖；圖16是示出針對(duì)各種像素布置的壓縮和解壓縮I/F部件的輸出的示圖；圖17是針對(duì)RGB全像素體系的壓縮和解壓縮I/F部件的小波變換時(shí)的具體處理 的示圖；圖18是針對(duì)RGB全像素體系的壓縮和解壓縮I/F部件的逆變換時(shí)的具體處理的 示圖； 圖19是針對(duì)雙倍密度拜耳布置的壓縮和解壓縮I/F部件的小波變換時(shí)的具體處 理的示圖；圖20是針對(duì)雙倍密度拜耳布置的壓縮和解壓縮I/F部件的逆變換時(shí)的具體處理 的示圖；圖21是針對(duì)傾斜布置三板體系的壓縮和解壓縮I/F部件的小波變換時(shí)的具體處 理的示圖；圖22是針對(duì)傾斜布置三板體系的壓縮和解壓縮I/F部件的逆變換時(shí)的具體處理 的示圖；圖23是針對(duì)拜耳布置的壓縮和解壓縮I/F部件的小波變換時(shí)的具體處理的示 圖；圖24是針對(duì)拜耳布置的壓縮和解壓縮I/F部件的逆變換時(shí)的具體處理的示圖；圖25A、25B、25C和25D是示出壓縮和解壓縮I/F部件針對(duì)雙倍密度拜耳布置執(zhí)行 哈爾變換(Haar transform)的示例的示圖；圖26A、26B、26C和26D是示出壓縮和解壓縮I/F部件針對(duì)傾斜布置三板體系執(zhí)行 哈爾變換的示例的示圖；并且圖27A、27B、27C和27D是示出壓縮和解壓縮I/F部件針對(duì)拜耳布置執(zhí)行哈爾變換 的示例的示圖。
具體實(shí)施例方式下面將描述實(shí)現(xiàn)本發(fā)明的最佳模式(以下該最佳模式將被稱為實(shí)施例)。另外，將 按以下順序進(jìn)行描述。1.第一實(shí)施例(壓縮編碼或解碼的控制使用小波變換的示例)2.第二實(shí)施例(壓縮編碼或解碼的控制使用哈爾變換的示例)3.修改的示例<1.第一實(shí)施例>[利用小波變換對(duì)圖像進(jìn)行壓縮編碼或解碼的示例]下面將參考圖1至24來(lái)描述本發(fā)明的第一實(shí)施例。在以下實(shí)施例中，將對(duì)應(yīng)用到圖像拍攝裝置10的示例進(jìn)行描述，圖像拍攝裝置10 對(duì)從沒(méi)有RGB全像素的、拜耳布置的圖像拍攝元件、沒(méi)有RGB全像素的、雙倍密度拜耳布置 的圖像拍攝元件、或者沒(méi)有RGB全像素的、使用具有在傾斜方向上布置的像素的三個(gè)圖像 拍攝元件的圖像拍攝系統(tǒng)獲得的任何RAW數(shù)據(jù)中的三個(gè)R/G/B分量中的每一個(gè)進(jìn)行高效的 壓縮編碼。包括RGB像素的要素的三個(gè)分量信號(hào)在下文中將被簡(jiǎn)稱為“三個(gè)R/G/B分量”。
即使當(dāng)因?yàn)槿狈φ鎸?shí)像素而造成像素位置在水平方向或垂直方向上交替相互偏 離時(shí)，根據(jù)本示例的圖像拍攝裝置10也可以通過(guò)在像素位置保持相互偏離的情況下執(zhí)行 壓縮編碼，從而實(shí)現(xiàn)壓縮編碼而不降低壓縮效率。在此情況下，其中像素位置在水平方向或垂直方向上交替相互偏離的離散縮減圖 像通過(guò)與小波變換相結(jié)合而被取平均。從而，具有一半分辨率的縮減子帶圖像成為了具有 RGB全像素的圖像。即，執(zhí)行通過(guò)小波變換進(jìn)行的簡(jiǎn)單的所謂顏色分離(去拜耳化(De-Bayer))處理， 并且可以在圖中未示出的監(jiān)視器上進(jìn)行顯示，該監(jiān)視器設(shè)置在圖像拍攝裝置10中。這是因 為當(dāng)使用小波變換時(shí)，可從相同的圖像數(shù)據(jù)獲得不同分辨率的圖像。即使從需要諸如拜耳 顏色分離之類(lèi)的顏色分離的圖像拍攝元件獲得的RAW數(shù)據(jù)也經(jīng)歷了小波變換，從而可以很 容易被顯示在監(jiān)視器等等上。當(dāng)從RGB全像素的圖像拍攝元件獲得的圖像被進(jìn)行小波變換時(shí)，RGB中的每一個(gè) 被子帶分割成四個(gè)圖像，并且該圖像被分解成RGB的總共12個(gè)子帶圖像。當(dāng)使用根據(jù)本示 例的壓縮編碼方法時(shí)，可將RAW數(shù)據(jù)視為小波變換后的子帶圖像的數(shù)目上的差異。例如， 從拜耳布置獲得的RAW數(shù)據(jù)可被視為四個(gè)子帶圖像，從雙倍密度拜耳布置獲得的RAW數(shù)據(jù) 可被視為八個(gè)子帶圖像，從具有在傾斜方向上布置的像素的三板圖像拍攝元件系統(tǒng)獲得的 RAW數(shù)據(jù)可被視為六個(gè)子帶圖像。從而，小波變換后的壓縮編碼處理可以作為共用的處理而 實(shí)現(xiàn)。此外，諸如4K圖像之類(lèi)的高分辨率圖像具有大量數(shù)據(jù)要處理，因此在執(zhí)行實(shí)時(shí)處 理時(shí)將需要某些并行處理。然而，通過(guò)使用根據(jù)本示例的壓縮編碼方法，如上所述可將諸如 4K圖像之類(lèi)的高分辨率圖像視為子帶圖像的數(shù)目上的差異。從而，可以相互并行地操作必 要數(shù)目的處理塊，來(lái)作為圖像被進(jìn)行子帶分割后的處理，并且操作速度可以按與并行度相 對(duì)應(yīng)的量降低。此外，如后所述，不僅是使用小波變換，對(duì)于簡(jiǎn)單的硬件使用哈爾變換也可 獲得相同的效果。另外，4K表示高分辨率的規(guī)格的示例，例如4096樣本X2160行。2K表 示比4K低的分辨率的規(guī)格的示例，例如2048樣本X 1080行。圖1示出了處理4K圖像和2K圖像的圖像拍攝裝置10的示例。圖像拍攝裝置10是能夠根據(jù)本發(fā)明實(shí)施例進(jìn)行圖像壓縮/解碼的圖像拍攝裝置 的示例。鏡頭塊101控制光圈和變焦，并且在圖像拍攝元件部件102上形成光學(xué)圖像。圖像拍攝元件部件I02把從鏡頭塊101輸入的光學(xué)圖像轉(zhuǎn)換成數(shù)字視頻信號(hào)，并 且輸出記錄RAW數(shù)據(jù)(D102)。在本示例中，可以針對(duì)作為圖像拍攝元件的具有如圖2所示 的像素布置的任何圖像拍攝元件進(jìn)行設(shè)置?！碦GB全像素體系>·利用光學(xué)棱鏡將光分離成RGB的RGB三板體系·如下結(jié)構(gòu)的單板體系在傳感器深度方向上具有光波長(zhǎng)敏感性·像液晶電視中那樣一個(gè)像素被不同地描繪成三個(gè)RGB條帶的單板體系<雙倍密度拜耳布置>通常的拜耳布置的像素密度被加倍，并且被45°傾斜部署。從而，對(duì)于G獲得全像 素，而R像素和B像素是按在傾斜方向上間隔開(kāi)的像素布置來(lái)布置的(圖2中的粗框指示通常的拜耳布置中的像素)。<傾斜布置三板體系>·作為一個(gè)圖像拍攝元件，具有45°傾斜布置的像素并且假定在水平方向或垂直 方向上相鄰的兩個(gè)像素或四個(gè)像素之間執(zhí)行像素插值以插值出圖2中的粗框(通常拜耳布 置中的像素)中的虛線圓圈所指示的像素的像素布置。·結(jié)合光學(xué)棱鏡，利用三個(gè)圖像拍攝元件執(zhí)行圖像拍攝的系統(tǒng)?！せ蛘呔哂猩鲜鱿袼夭贾貌⑶揖哂性趥鞲衅鞯纳疃确较蛏嫌泄獠ㄩL(zhǎng)敏感性這樣一 種結(jié)構(gòu)的單板體系。<拜耳布置>·所謂的通常拜耳布置相機(jī)信號(hào)處理部件103對(duì)拜耳布置等的圖像拍攝元件部件102輸出的記錄RAW數(shù) 據(jù)(D102)和從記錄介質(zhì)部件108讀取的、經(jīng)歷了下述解壓縮處理的再現(xiàn)RAW數(shù)據(jù)(D105)執(zhí) 行預(yù)定的處理。具體而言，相機(jī)信號(hào)處理部件103創(chuàng)建RGB全4K圖像(所謂的顏色分離) 以使得該RGB全4K圖像可被確認(rèn)為一個(gè)圖像，針對(duì)白平衡、亮度等等進(jìn)行相機(jī)圖像調(diào)整，并 且將記錄和再現(xiàn)4K圖像(D103)輸出到監(jiān)視器輸出部件104。監(jiān)視器輸出部件104將4K圖像的視頻信號(hào)輸出到外部4K監(jiān)視器等等。壓縮和解壓縮I/F部件105通過(guò)小波變換把來(lái)自拜耳布置等的圖像拍攝元件的記 錄RAW數(shù)據(jù)(D102)分解成2K頻帶(2K band)的子帶圖像。壓縮和解壓縮I/F部件105充 當(dāng)子帶分割部件，用于使從其中三種原色之中的至少一種顏色的像素位置在水平方向或垂 直方向上交替相互偏離的像素布置的圖像拍攝元件輸出的圖像數(shù)據(jù)中包括的、其像素位置 交替相互偏離的那種顏色的圖像數(shù)據(jù)經(jīng)歷以相鄰的上下兩行的像素或者相鄰的左右兩列 的像素為單位的子帶分割。壓縮和解壓縮I/F部件105以相鄰的上下兩行為單位掃描其像素位置交替相互偏 離的那種顏色的圖像數(shù)據(jù)的像素，并且在水平方向上執(zhí)行小波變換?；蛘撸瑝嚎s和解壓縮I/ F部件105以相鄰的左右兩列為單位掃描其像素位置交替相互偏離的那種顏色的圖像數(shù)據(jù) 的像素，并且在垂直方向上執(zhí)行小波變換。在本示例中，壓縮和解壓縮I/F部件105輸出以下子帶圖像。在水平方向和垂直方向上都為低頻分量的2K頻帶的子帶圖像被輸出作為 D105-LL。在水平方向上為高頻分量并且在垂直方向上為低頻分量的2K頻帶的子帶圖像被 輸出作為D105-HL。在水平方向上為低頻分量并且在垂直方向上為高頻分量的2K頻帶的子帶圖像被 輸出作為D105-LH。在水平方向和垂直方向上都為高頻分量的2K頻帶的子帶圖像被輸出作為 D105-HH。取決于圖像拍攝元件部件102的像素布置，存在這樣的情況，即不是對(duì)于RGB中的 每一個(gè)都將2K頻帶的子帶圖像HL/LH/HH全部輸出，而是不輸出一些子帶圖像。將單獨(dú)描 述其細(xì)節(jié)。 此外，從記錄介質(zhì)部件108中讀取的經(jīng)歷了解壓縮處理的2K頻帶的子帶圖像(D105-LL/HL/LH/HH)經(jīng)歷逆小波變換，然后被輸出作為再現(xiàn)RAW數(shù)據(jù)(D105)。對(duì)此也將單 獨(dú)詳細(xì)描述。壓縮和解壓縮處理部件106利用壓縮編碼體系對(duì)2K頻帶的子帶圖像(D105-LL/ HL/LH/HH)中的每一個(gè)進(jìn)行圖像壓縮，并且輸出經(jīng)壓縮的子帶圖像作為相應(yīng)的碼流 (D106-LL/HL/LH/HH)。因?yàn)閴嚎s和解壓縮I/F部件105使用小波變換，所以最好壓縮和解 壓縮處理部件106采用使用同樣的小波變換的JPEG2000等等。然而，壓縮和解壓縮處理部 件106也可使用其他的現(xiàn)有圖像壓縮體系。此外，壓縮和解壓縮處理部件106對(duì)記錄在記錄介質(zhì)部件108中的每條子帶圖像 壓縮數(shù)據(jù)進(jìn)行解壓縮，并且輸出經(jīng)解壓縮的數(shù)據(jù)作為2K頻帶的再現(xiàn)子帶圖像(D105-LL/ HL/LH/HH)。此時(shí)，壓縮和解壓縮處理部件106充當(dāng)壓縮編碼部件，用于在壓縮和解壓縮I/ F部件105所分割的每個(gè)頻帶中和三種原色的每一種中并行地對(duì)從壓縮和解壓縮I/F部件 105輸出的圖像數(shù)據(jù)進(jìn)行壓縮編碼。記錄介質(zhì)接口部件107對(duì)記錄介質(zhì)進(jìn)行快速訪問(wèn)，并且作為接口來(lái)讀取和寫(xiě)入經(jīng) 壓縮的圖像數(shù)據(jù)。記錄介質(zhì)部件108是用于記錄和再現(xiàn)經(jīng)壓縮的圖像數(shù)據(jù)的記錄介質(zhì)。諸如閃存之 類(lèi)的非易失性存儲(chǔ)器被應(yīng)用到記錄介質(zhì)部件108。取景器信號(hào)處理部件109是用于將輸入圖像作為顯示信號(hào)輸出以便在顯示系統(tǒng) 上顯示的顯示信號(hào)輸出部件的示例。2K頻帶的子帶圖像之中的子帶圖像D105-LL是在水平 方向和垂直方向上都為低頻的子帶圖像，因此可以作為2K大小的RGB全圖像而被監(jiān)視。這 樣，可以像相機(jī)信號(hào)處理部件103中那樣在2K中進(jìn)行針對(duì)白平衡、亮度等等的相機(jī)圖像調(diào) 整。另外，取景器信號(hào)處理部件109生成用于拍攝的設(shè)定信息，執(zhí)行用于幫助聚焦的峰化處 理等等，并且將記錄和再現(xiàn)2K圖像(D109)輸出到取景器部件110。取景器部件110顯示來(lái)自取景器信號(hào)處理部件109的記錄和再現(xiàn)2K圖像(D109)。系統(tǒng)控制部件111具有控制軟件程序，并且根據(jù)該程序來(lái)控制整個(gè)圖像拍攝裝置 10。此外，響應(yīng)于來(lái)自操作部件112的輸入，系統(tǒng)控制部件111將每個(gè)塊連接到總線，交換 數(shù)據(jù)，并且控制用于拍攝的設(shè)定和狀態(tài)。操作部件112接收對(duì)圖像拍攝裝置10的操作，并且將該操作以電信號(hào)的形式發(fā)送 到系統(tǒng)控制部件111。如前所述，壓縮和解壓縮I/F部件105使用小波變換。從而，首先將描述利用同樣 的小波變換執(zhí)行壓縮和解壓縮的壓縮和解壓縮處理部件106。圖3是壓縮編碼時(shí)壓縮和解壓縮處理部件106的詳細(xì)框圖。小波變換部件32使2K頻帶的子帶圖像D105-LL經(jīng)歷小波變換，然后輸出小波變 換系數(shù)D32-LL。小波變換部件32 —般是用包括低通濾波器和高通濾波器的濾波器組實(shí)現(xiàn)的。另 夕卜，數(shù)字濾波器一般具有多個(gè)抽頭的長(zhǎng)度的沖擊響應(yīng)(濾波器系數(shù))，從而需要預(yù)先緩沖足 夠用于執(zhí)行濾波的輸入圖像或系數(shù)。另外，在分多級(jí)執(zhí)行小波變換的情況下，需要預(yù)先緩沖 前一級(jí)中生成的小波變換系數(shù)，這些系數(shù)是執(zhí)行濾波所必需的。
下面將描述通過(guò)小波變換生成的子帶圖像。圖4示出了子帶圖像的示例。一般地，在此小波變換中，如圖4所示，低頻分量被反復(fù)地變 換和分割。這是因?yàn)閳D像的能量大多集中在低頻分量中。從以下事實(shí)也可明確這 一點(diǎn)隨著分割級(jí)別從圖5A所示的分割級(jí)別=1前進(jìn)到圖5B所示的分割級(jí)別=3，形成了 子帶圖像。圖4中的小波變換的分割級(jí)別是3，并且作為小波變換的結(jié)果形成了總共10個(gè)子 帶圖像。在此情況下，圖4中的L和H分別表示低頻和高頻，并且L或H前面的數(shù)字指示分 割級(jí)別。具體而言，例如，ILH表示處于分割級(jí)別=1的子帶圖像，該子帶圖像在水平方向上 具有低頻并且在垂直方向上具有高頻。將返回對(duì)圖3的描述。小波變換系數(shù)D32-LL接下來(lái)被量化部件33所量化。然后 經(jīng)量化的系數(shù)D33-LL被輸出。對(duì)于此情況中的量化部件，使用標(biāo)量量化即可，在JPEG2000 中也用的是標(biāo)量量化。如以下的(式1)中所示，把通過(guò)將小波變換系數(shù)W除以量化步長(zhǎng)Δ 而獲得的值設(shè)定為量化系數(shù)q的值即可。q = ff/A ...(式 1)量化步長(zhǎng)△ 37-LL是從下文中將描述的碼量測(cè)量部件37提供的。量化系數(shù)D33-LL接下來(lái)被輸出到熵編碼部件35。熵編碼部件35利用任意信息源 壓縮部件對(duì)量化系數(shù)D33-LL進(jìn)行壓縮。只要采用常用的霍夫曼編碼(MPEG和JPEG中采用 的體系，該體系參考霍夫曼編碼表來(lái)生成代碼，該霍夫曼編碼表是預(yù)先根據(jù)數(shù)據(jù)中出現(xiàn)的 符號(hào)(symbol)的發(fā)生頻率來(lái)創(chuàng)建的)或算術(shù)編碼(H. 264和JPEG2000中采用的體系)作 為熵編碼部件即可。另外，此時(shí)，雖然這里未詳細(xì)描述，但是與JPEG2000中一樣，量化系數(shù) 可與作為以比特平面為單位的熵編碼的EBCOT (具有最優(yōu)截?cái)嗟那度胧綁K編碼)相結(jié)合。熵編碼部件35編碼的結(jié)果被輸出作為經(jīng)編碼的碼流D35-LL以成為壓縮和解壓縮 處理部件106的輸出D106-LL，并且還被輸入到碼量測(cè)量部件37。碼量測(cè)量部件37在累積一個(gè)幀內(nèi)的經(jīng)編碼碼流D35-LL的碼量的同時(shí)，將一個(gè)幀 內(nèi)的經(jīng)編碼碼流D35-LL的碼量與從控制部件36提供來(lái)的目標(biāo)碼量D36-LL相比較。當(dāng)一 個(gè)幀內(nèi)的經(jīng)編碼碼流D35-LL的碼量的累積可能超過(guò)目標(biāo)碼量時(shí)，碼量測(cè)量部件37把用于 量化部件33的量化步長(zhǎng)D37-LL改變成大一級(jí)的大小。相反，當(dāng)一個(gè)幀內(nèi)的經(jīng)編碼碼流D35-LL的碼量的累積可能小于目標(biāo)碼量時(shí)，碼量 測(cè)量部件37將用于量化部件33的量化步長(zhǎng)D37-LL改變成小一級(jí)的大小。以上是對(duì)壓縮編碼時(shí)壓縮和解壓縮處理部件106的操作的描述。然而，不僅2K頻 帶的子帶圖像LL分量，而且HL分量、LH分量和HH分量都被輸入到壓縮和解壓縮處理部件 106。小波變換部件32也可被用于HL/LH/HH分量，就像其用于LL分量那樣，以提升分 割級(jí)別。然而，在圖3的示例中，在壓縮和解壓縮I/F部件105中已經(jīng)執(zhí)行了第一級(jí)別的小 波變換。從而，根據(jù)利用圖4所示的圖像的能量大多集中于低頻分量中這一屬性的常見(jiàn)小 波變換，采用僅對(duì)低頻分量的子帶圖像D105-LL進(jìn)行反復(fù)的變換和分割的模式。另外，存在這樣的情況，其中例如硬件可以以一個(gè)電路的形式實(shí)現(xiàn)從小波變換到 熵編碼的處理。在此情況下，對(duì)于利用相互并行的四個(gè)現(xiàn)有電路形成壓縮和解壓縮處理部 件106沒(méi)有施加限制，無(wú)需花費(fèi)精力來(lái)開(kāi)發(fā)不執(zhí)行小波變換的新電路。在圖3的示例中，對(duì)于除LL分量以外的2K頻帶的子帶圖像D105-HL、D105-LH和 D105-HH，只執(zhí)行量化和熵編碼，并且不提升小波分割級(jí)別。
然后，除LL分量以外的2K頻帶的子帶圖像D105-HL、D105-LH和D105-HH分別作 為經(jīng)編碼的碼流D35-HL、D35-LH和D35-HH而被輸出。然后，經(jīng)編碼的碼流D35-HL、D35_LH 禾口 D35-HH成為壓縮和解壓縮處理部件106的輸出D106-HL、D106_LH和D106-HH。此外，碼 量測(cè)量部件37在累積一個(gè)幀內(nèi)的各經(jīng)編碼碼流的碼量的同時(shí)，將一個(gè)幀內(nèi)的各經(jīng)編碼碼 流的碼量與從控制部件36提供來(lái)的目標(biāo)碼量D36-HL、D36-LH和D36-HH相比較。與LL分 量一樣，當(dāng)一個(gè)幀內(nèi)的各經(jīng)編碼碼流的碼量可能超過(guò)目標(biāo)碼量時(shí)，碼量測(cè)量部件37把用于 量化部件33的量化步長(zhǎng)改變成大一級(jí)的大小。相反，當(dāng)一個(gè)幀的各個(gè)經(jīng)編碼碼流的碼量的 累積可能小于目標(biāo)碼量時(shí)，碼量測(cè)量部件37將用于量化部件33的量化步長(zhǎng)改變成小一級(jí) 的大小。各2K頻帶的子帶圖像的碼量被如上所述地控制。在以上描述中，控制部件36預(yù)先在各相應(yīng)的碼量測(cè)量部件37中為各2K頻帶的子 帶圖像設(shè)定目標(biāo)碼量。然而，例如，關(guān)于碼量累積狀況的信息可從每個(gè)碼量測(cè)量部件37發(fā) 送到控制部件36，并且每個(gè)子帶的目標(biāo)碼量可根據(jù)每個(gè)碼量測(cè)量部件37的碼量累積狀況 而適應(yīng)性調(diào)節(jié)和改變。因?yàn)樽匀粓D像可包括大量的低頻分量或相反地包括大量的高頻分 量，所以最優(yōu)碼量控制可根據(jù)圖像的屬性而執(zhí)行。以上是對(duì)壓縮編碼時(shí)的操作的描述。接下來(lái)，圖6是在壓縮解碼時(shí)壓縮和解壓縮處理部件106的詳細(xì)框圖，并且壓縮解 碼時(shí)的操作將被描述。被提供以經(jīng)編碼碼流D106-LL、D106-HL、D106-LH和D106-HH的熵解碼部件38根 據(jù)參考圖3描述的與熵編碼相對(duì)應(yīng)的部分執(zhí)行解碼。作為熵解碼的結(jié)果，生成了量化系數(shù) D38-LL、D38-HL、D38-LH 和 D38-HH。量化系數(shù)D38-LL、D38-HL、D38-LH和D38-HH在解量化部件39中被從量化系數(shù) D38-LL、D38-HL、D38-LH 和 D38-HH 轉(zhuǎn)換成小波變換系數(shù) D39-LL、D39-HL、D39_LH 和 D39-HH。 此情況中的解量化部件執(zhí)行作為(式1)的逆的操作，并且可由以下的(式2)來(lái)表達(dá)W=qXA...(式 2)(W是小波變換系數(shù)，q是量化系數(shù)，并且Δ是量化步長(zhǎng)Δ)。小波變換系數(shù)D39-LL在逆小波變換部件40中被恢復(fù)成LL分量的2Κ頻帶的子帶 圖像D105-LL。然后子帶圖像D105-LL被輸出。要明確的是，當(dāng)除LL分量以外的2Κ頻帶的子帶圖像D105-HL、D105-LH和D105-HH 在編碼時(shí)也經(jīng)歷小波重分割時(shí)，只要為每個(gè)子帶提供逆小波變換部件40以用于將小波變 換系數(shù)D39-HL、D39-LH和D39-HH恢復(fù)成各2K頻帶的子帶圖像即可。以上是對(duì)壓縮解碼時(shí)的操作的描述。下面將參考圖7A至7C來(lái)總結(jié)現(xiàn)有的專(zhuān)利文獻(xiàn)2中描述的技術(shù)的問(wèn)題。圖7A示出了使用通常拜耳布置的4K拜耳RAW圖像的示例。 雖然存在4K像素，但這4K像素如圖7A所示在通常拜耳布置中被不同地描繪成 RGB,并且只有與RGB濾色器相對(duì)應(yīng)的光波長(zhǎng)分量在各像素中被從光轉(zhuǎn)換成電信號(hào)。在通常 拜耳布置中，G被布置成棋盤(pán)格(格子旗)圖案。圖7B示出了通過(guò)分離4K拜耳RAW圖像的像素而獲得的R像素、Gl像素、G2像素 和B像素這四種顏色分量的示例。
在專(zhuān)利文獻(xiàn)2中描述的技術(shù)中，上述的4K拜爾RAW圖像被視為R像素、Gl像素、 G2像素和B像素這四種顏色分量。

圖7C示出了對(duì)于不同像素收集圖7B所示的四種顏色分量的示例。在專(zhuān)利文獻(xiàn)2中描述的技術(shù)中，圖7B所示的顏色分量中包括的像素被收集，以形 成2K R圖像、2K Gl圖像、2K G2圖像以及2K B圖像，并且2K R圖像、2K Gl圖像、2K G2圖 像和2K B圖像各自經(jīng)歷使用小波變換的壓縮編碼，然后被記錄。Gl像素和G2像素原本在傾斜方向上是相鄰的，并且已知Gl像素和G2像素之間具 有很高的相關(guān)性。然而，專(zhuān)利文獻(xiàn)2中描述的技術(shù)花費(fèi)精力來(lái)對(duì)Gl圖像和G2圖像進(jìn)行壓 縮編碼，就好像Gl圖像和G2圖像是兩個(gè)獨(dú)立圖像(或兩種顏色分量)那樣，從而降低了壓 縮效率。雖然尤其是小波變換因?yàn)檎麄€(gè)畫(huà)面被轉(zhuǎn)換成了子帶而實(shí)現(xiàn)了高壓縮效率，但是很 難說(shuō)現(xiàn)有技術(shù)與小波變換的組合可以享受到小波變換中固有的高壓縮效率。此外，如圖7B所示，由于Gl圖像和G2圖像的亞采樣而導(dǎo)致的“離散縮減”被執(zhí) 行。從而，很明顯，當(dāng)只有Gl圖像或G2圖像被顯示在2K監(jiān)視器上時(shí)，根據(jù)采樣定理而發(fā)生 混疊。從而，Gl圖像和G2圖像都可用于通過(guò)信號(hào)處理而生成2K平均圖像，并隨后將2K平 均圖像顯示在監(jiān)視器上，但是必須兩次訪問(wèn)2K的數(shù)據(jù)。然而，小波變換是子帶分割，從而本 質(zhì)上就能夠在只有2K低頻分量被訪問(wèn)時(shí)使能監(jiān)視器上的顯示。從這個(gè)方面來(lái)看，也很難說(shuō) 專(zhuān)利文獻(xiàn)2中描述的技術(shù)完全享受了小波變換的優(yōu)點(diǎn)。圖8A至8D示出了現(xiàn)有技術(shù)被應(yīng)用到雙倍密度拜耳布置的示例。在圖8A中，通常拜耳布置的像素密度被加倍，并且像素被45°傾斜布置。在此布置中，G圖像是4K全像素的，R圖像和B圖像是傾斜間隔開(kāi)的，但在水平方 向和垂直方向上提供了 4K分辨率。該布置的像素密度是通常拜耳布置的兩倍，從而該布置 在以下描述中將被稱為“雙倍密度拜耳布置”?，F(xiàn)在將考慮根據(jù)專(zhuān)利文獻(xiàn)2中描述的技術(shù)對(duì)使用此雙倍密度拜耳布置的4K RAff 圖像進(jìn)行壓縮的情況。在此情況下，與拜耳布置不同，對(duì)于G提供所有4K像素，而R圖像和 B圖像是棋盤(pán)格圖案的形式，如圖8B所示。從而，如圖8C所示，4K RAff圖像被視為Rl像素、 R2像素、G像素(4K分辨率)、Bl像素和B2像素這五種顏色分量。然后，如圖8D所示收集 像素，以形成2K Rl圖像、2K R2圖像、4K G圖像、2K Bl圖像和2K B2圖像。每個(gè)圖像經(jīng)歷 使用小波變換的壓縮編碼，然后被記錄。雖然在拜耳布置中只有G圖像經(jīng)歷了分離成兩個(gè)畫(huà)面的亞采樣分離并隨后被壓 縮，但在雙倍密度拜耳布置中R圖像和B圖像都經(jīng)歷了到兩個(gè)畫(huà)面的亞采樣分離。另外，在 拜耳布置中，高像素密度的G圖像被分離成兩個(gè)畫(huà)面，從而即使當(dāng)G圖像的壓縮效率被降低 時(shí)也原本具有高像素密度，并且可以與低像素密度的R圖像和G圖像的壓縮圖像質(zhì)量獲得 平衡。另一方面，在雙倍密度拜耳布置中，低像素密度的R圖像和B圖像都進(jìn)一步經(jīng)歷到 兩個(gè)畫(huà)面的亞采樣分離，從而具有低像素密度并且壓縮效率也降低，并且與G圖像的壓縮 圖像質(zhì)量的平衡進(jìn)一步受到了妨害。此外，如聯(lián)系拜耳布置的G圖像所述，當(dāng)經(jīng)亞采樣的R圖像和經(jīng)亞采樣的B圖像被 直接顯示在2K監(jiān)視器上時(shí)，恐怕會(huì)發(fā)生混疊。另一方面，可以預(yù)期根據(jù)本示例的圖像拍攝裝置10將利用小波變換的固有特征、聯(lián)系尤其是雙倍密度拜耳布置中的R圖像和B圖像的RAW數(shù)據(jù)壓縮，而提供一種巨大的改 善。另外，從通常拜耳布置到RGB全像素的像素布置都可通過(guò)同一種方法來(lái)處理。接下來(lái)將參考圖9來(lái)描述壓縮和解壓縮I/F部件105的小波變換時(shí)的處理的示 例。 壓縮和解壓縮I/F部件105在使用小波變換時(shí)可使其效果最大化。從而，雖然壓 縮和解壓縮I/F部件105具有與壓縮和解壓縮處理部件106中的小波變換部件32相同的 基本配置，但是將參考圖9來(lái)重新描述壓縮和解壓縮I/F部件105的處理。記錄RAW數(shù)據(jù)D102作為壓縮和解壓縮I/F部件105的輸入圖像被輸入。在此情 況下，假定圖2所示的4K RGB全像素被輸入，4096X 2160大小的三個(gè)R/G/B分量經(jīng)歷完全 相同的處理。首先，輸入圖像經(jīng)歷水平方向上的小波變換。該小波變換包括低通濾波器(LPF) 和高通濾波器(HPF)，它們各自執(zhí)行2 1下采樣(圖9中由向下箭頭和數(shù)字2指示)。結(jié) 果，獲得了水平方向上減半的2048X2160大小的低頻子帶圖像(L)和高頻子帶圖像(H)。接下來(lái)，2048X2160低頻子帶圖像(L)經(jīng)歷垂直方向上的小波變換。該小波變換 經(jīng)由低通濾波器(LPF)和高通濾波器(HPF)中的每一個(gè)執(zhí)行2 1下采樣。作為此處理的 結(jié)果，獲得了垂直方向上減半的2048X1080大小的低頻子帶圖像(L，L)D105-LL和高頻子 帶圖像(L, H)D105-LHo此外，2048X2160高頻子帶圖像(H)經(jīng)歷垂直方向上的小波變換。該小波變換經(jīng) 由低通濾波器(LPF)和高通濾波器(HPF)中的每一個(gè)執(zhí)行2 1下采樣。作為此處理的結(jié) 果，獲得了垂直方向上減半的2048X1080大小的低頻子帶圖像(H，L)D105-HL和高頻子帶 圖像(H，H)D105-HH。如上所述，壓縮和解壓縮I/F部件105使4096 X 2160大小的三個(gè)R/G/B分量經(jīng)歷 小波變換，并且獲得以下三個(gè)分量·在水平方向和垂直方向上都經(jīng)過(guò)了低通濾波器的2048X1080大小的子帶圖像 (L, L)D105-LL 是三個(gè) R/G/B 分量·在水平方向上經(jīng)過(guò)了低通濾波器并且在垂直方向上經(jīng)過(guò)了高通濾波器的 2048X1080大小的子帶圖像(L，H)D105_LH是三個(gè)R/G/B分量·在水平方向上經(jīng)過(guò)了高通濾波器并且在垂直方向上經(jīng)過(guò)了低通濾波器的 2048 X 1080大小的子帶圖像(H，L)D105_HL是三個(gè)R/G/B分量·在水平方向和垂直方向上都經(jīng)過(guò)了高通濾波器的2048X1080大小的子帶圖像 (H, H)D105-HH 是三個(gè) R/G/B 分量從而，2048X1080大小的四種子帶圖像被轉(zhuǎn)換成三個(gè)R/G/B分量的總共12個(gè) 2048 X 1080大小的子帶圖像。接下來(lái)將參考圖10描述逆小波變換時(shí)壓縮和解壓縮I/F部件105的處理。從記錄介質(zhì)部件108讀取的、經(jīng)歷了解壓縮處理的2048X1080大小的子帶圖像 (D105-LL/HL/LH/HH)各自針對(duì)三個(gè)R/G/B分量而被輸入，作為壓縮和解壓縮I/F部件105 的輸入圖像。在水平方向和垂直方向上都經(jīng)過(guò)了低通濾波器的2048X1080大小的子帶圖像 (L，L)D105-LL和在水平方向上經(jīng)過(guò)了低通濾波器并且在垂直方向上經(jīng)過(guò)了高通濾波器的2048X1080大小的子帶圖像(L，H)D105-LH經(jīng)歷垂直方向上的逆小波變換。該逆小波變換 使子帶圖像D105-LL經(jīng)歷1 2上采樣(圖10中由向上箭頭和數(shù)字2指示)，然后使子帶 圖像D105-LL經(jīng)過(guò)低通濾波器(LPF)，并且使子帶圖像D105-LH經(jīng)歷1 2上采樣，然后使 子帶圖像D105-LH經(jīng)過(guò)高通濾波器(HPF)。然后，兩個(gè)子帶圖像被合成，從而獲得垂直方向 上加倍的2048X2160大小的低頻子帶圖像(L)。此外，在水平方向上經(jīng)過(guò)了高通濾波器并且在垂直方向上經(jīng)過(guò)了低通濾波器的 2048X1080大小的子帶圖像(H，L)D105-HL和在水平方向和垂直方向上都經(jīng)過(guò)了高通濾波 器的2048X1080大小的子帶圖像(H，H)D105-HH經(jīng)歷垂直方向上的逆小波變換。該逆小 波變換使子帶圖像D105-HL經(jīng)歷1 2上采樣，然后使子帶圖像D105-HL經(jīng)過(guò)低通濾波器 (LPF)，并且使子帶圖像D105-HH經(jīng)歷1 2上采樣，然后使子帶圖像D105-HH經(jīng)過(guò)高通濾 波器(HPF)。然后，兩個(gè)子帶圖像被合成，從而獲得垂直方向上加倍的2048X2160大小的高 頻子帶圖像(H)。
接下來(lái)，由垂直方向上的逆小波變換產(chǎn)生的2048X2160大小的低頻子帶圖像(L) 和2048X2160大小的高頻子帶圖像(H)經(jīng)歷水平方向上的逆小波變換。該逆小波變換使低 頻子帶圖像(L)經(jīng)歷1 2上采樣，然后使低頻子帶圖像(L)經(jīng)過(guò)低通濾波器(LPF)，并且 使高頻子帶圖像(H)經(jīng)歷1 2上采樣，然后使高頻子帶圖像(H)經(jīng)過(guò)高通濾波器(HPF)。 然后，兩個(gè)子帶圖像被合成，從而獲得水平方向也加倍的4096X2160大小的再現(xiàn)RAW數(shù)據(jù) D105。如上所述，逆小波變換時(shí)壓縮和解壓縮I/F部件105的處理是利用從記錄介質(zhì)部 件108讀取的、經(jīng)歷了解壓縮處理的2048X1080大小的子帶圖像(D105-LL/HL/LH/HH)來(lái) 執(zhí)行的。在此處理中，利用針對(duì)三個(gè)R/G/B分量的子帶圖像，在垂直方向和水平方向上執(zhí)行 逆小波變換，從而將子帶圖像解碼成4096 X 2160大小的三個(gè)R/G/B分量。現(xiàn)在將參考圖IlA至IlD來(lái)描述本示例中的壓縮和解壓縮I/F部件105如何針對(duì) 圖2所示的雙倍密度拜耳布置執(zhí)行處理。圖IlA示出了如上所述通過(guò)使通常拜耳布置的像素密度加倍并且以45°傾斜地 布置通常拜耳布置而形成的雙倍密度拜耳布置。在雙倍密度拜耳布置中，G圖像是4K全像 素，R圖像和G圖像是傾斜間隔開(kāi)的，但在水平方向和垂直方向上提供4K分辨率。此時(shí)，圖像拍攝元件部件I02具有雙倍密度拜耳布置，這是通過(guò)使拜耳布置的像 素密度加倍并且以45°傾斜地布置拜耳布置而獲得的像素布置。壓縮和解壓縮I/F部件105通過(guò)以相鄰的上下兩行為單位掃描像素并且執(zhí)行水平 方向上的小波變換，或者通過(guò)以相鄰的左右兩列為單位掃描像素并且執(zhí)行垂直方向上的小 波變換，來(lái)把從雙倍密度拜耳布置的圖像拍攝元件部件102輸出的RGB圖像數(shù)據(jù)的R和B 圖像數(shù)據(jù)分解成R和B子帶圖像。壓縮和解壓縮I/F部件105通過(guò)以一行的像素為單位執(zhí) 行水平方向上的小波變換并且以一列的像素為單位執(zhí)行垂直方向上的小波變換，來(lái)把G圖 像數(shù)據(jù)分解成G子帶圖像。具體而言，首先描述G，要明確的是，只要進(jìn)行與參考圖9描述的處理完全相同的 處理即可，因?yàn)镚圖像具有4K全像素。具體而言，壓縮和解壓縮I/F部件105如圖IlB所示使4096 X 2160大小的G圖像 經(jīng)歷水平方向上的小波變換。然后，如圖lie所示獲得水平方向上減半的2048X2160大小的低頻子帶G圖像(L)和高頻子帶G圖像(H)。以JPEG2000中定義的5 X 3可逆小波濾波 器(對(duì)于低通側(cè)的濾波器有五個(gè)抽頭，對(duì)于高通側(cè)的濾波器有三個(gè)抽頭)為例，圖中虛 線所 圍繞的區(qū)域表示五抽頭濾波器(低通側(cè)的濾波器)所覆蓋的像素范圍，其中圖中左端的像 素(帶有星形的像素)是該像素范圍的中心。這是對(duì)水平方向上的每?jī)蓚€(gè)像素執(zhí)行的，從 而實(shí)現(xiàn)了 2 1下采樣。關(guān)于細(xì)節(jié)，應(yīng)參考JPEG2000標(biāo)準(zhǔn)等等。接下來(lái)，水平方向上減半的2048X2160大小的低頻子帶G圖像(L)和高頻子帶G 圖像(H)如圖IlC所示經(jīng)歷垂直方向上的小波變換。然后，獲得以下子帶圖像，如圖IlD所
7J\ ο在水平方向和垂直方向上都經(jīng)過(guò)了低通濾波器的2048X1080大小的子帶G圖像 (LL)。在水平方向上經(jīng)過(guò)了低通濾波器并且在垂直方向上經(jīng)過(guò)了高通濾波器的 2048X1080大小的子帶G圖像(LH)。在水平方向上經(jīng)過(guò)了高通濾波器并且在垂直方向上經(jīng)過(guò)了低通濾波器的 2048X1080大小的子帶G圖像(HL)。在水平方向和垂直方向上都經(jīng)過(guò)了高通濾波器的2048X1080大小的子帶G圖像 (HH) ο從而，形成4K雙倍密度拜耳RAW圖像的G圖像被轉(zhuǎn)換成四種2048 X 1080大小的 子帶G圖像。現(xiàn)在將考慮R圖像和B圖像。R圖像和B圖像是棋盤(pán)格圖案的形式。因此，當(dāng)使用 參考圖8A至8D描述的方法時(shí)，像素密度較低，并且壓縮效率也降低，如上所述。從而，與G 圖像的壓縮圖像質(zhì)量的平衡進(jìn)一步受到妨害。本示例中壓縮和解壓縮I/F部件105從而使R圖像和B圖像經(jīng)歷以相鄰的上下兩 行為單位的小波變換。具體而言，如圖IlB所示，壓縮和解壓縮I/F部件105以相鄰的上下兩行為單位， 以W的形式掃描R圖像的像素，并且就好像這些像素形成一行的像素?cái)?shù)據(jù)那樣執(zhí)行小波變換。此外，壓縮和解壓縮I/F部件105以相鄰的上下兩行為單位，以M的形式掃描B圖 像的像素，并且就好像這些像素形成一行的像素?cái)?shù)據(jù)那樣執(zhí)行小波變換。當(dāng)相鄰的上下兩行被設(shè)定為一個(gè)單位時(shí)，可以認(rèn)為一行具有4096個(gè)真實(shí)像素。從 而，R圖像和B圖像可被視為4096 X 1080圖像。此4096X 1080R圖像經(jīng)歷水平方向上的小波變換，以被轉(zhuǎn)換成經(jīng)過(guò)了低通濾波器的2048X 1080大小的子帶R圖像；以及經(jīng)過(guò)了高通濾波器的2048X 1080大小的子帶R圖像。4096X1080B圖像類(lèi)似地經(jīng)歷水平方向上的小波變換，以被轉(zhuǎn)換成經(jīng)過(guò)了低通濾波器的2048X 1080大小的子帶B圖像；以及經(jīng)過(guò)了高通濾波器的2048X 1080大小的子帶B圖像。在已執(zhí)行了水平方向上的小波變換的時(shí)間點(diǎn)，已經(jīng)獲得了 2048X1080大小的子 帶圖像，并且該大小與G的子帶圖像的大小相一致。從而，不在垂直方向上執(zhí)行小波變換。這意味著，對(duì)于所有RGB都獲得了統(tǒng)一的2048X1080大小的子帶圖像，獲得了2048X 1080RGB全圖像，并且執(zhí)行了簡(jiǎn)單的所謂顏色分離。從而，從壓縮和解壓縮I/F部件105輸出的子帶圖像在4K全像素體系和4K雙倍 密度拜耳布置中具有相同的大小，因此從壓縮和解壓縮處理部件106起以后的處理可以是 共用的處 理。將單獨(dú)詳細(xì)描述這一點(diǎn)。在圖IlD中，以下描述用于與下文中描述的其他體系相區(qū)分，并且用于描述僅經(jīng) 歷了水平方向上的小波變換的R圖像和B圖像。·經(jīng)過(guò)了低通濾波器的2048X 1080大小的子帶R圖像是子帶R圖像(LL)·經(jīng)過(guò)了高通濾波器的2048X 1080大小的子帶R圖像是子帶R圖像(HL)·經(jīng)過(guò)了低通濾波器的2048X 1080大小的子帶B圖像是子帶B圖像(LL)·經(jīng)過(guò)了高通濾波器的2048X 1080大小的子帶B圖像是子帶B圖像(HL)雖然已經(jīng)在假定壓縮和解壓縮I/F部件105以W的形式掃描R像素并且以M的形 式掃描B像素的情況下進(jìn)行了描述，但是要明確的是，當(dāng)R像素和B像素的起始像素位置變 得不同時(shí)，W形式和M形式被顛倒。已經(jīng)參考圖IlA至IlD描述了通過(guò)對(duì)雙倍密度拜耳布置的R圖像和B圖像以相鄰 的上下兩行為單位執(zhí)行小波變換來(lái)解決這些問(wèn)題的方法。作為另一種方法，將參考圖12A 至12D來(lái)描述通過(guò)對(duì)雙倍密度拜耳布置的R圖像和B圖像以相鄰的左右兩個(gè)像素為單位執(zhí) 行小波變換來(lái)解決這些問(wèn)題的方法。首先，對(duì)于G圖像，因?yàn)镚圖像具有4K全像素，所以執(zhí)行與參考圖IlA至IlD描述 的處理完全相同的處理，這里將省略。雖然從圖12A至12D明顯可見(jiàn)，但仍將按順序描述對(duì)雙倍密度拜耳布置的R圖像 和B圖像的處理。此時(shí)，壓縮和解壓縮I/F部件105以相鄰的左右兩列為單位掃描從雙倍密度拜耳 布置的圖像拍攝元件部件102輸出的RGB圖像數(shù)據(jù)的R和G圖像數(shù)據(jù)的像素，并且執(zhí)行垂 直方向上的小波變換。然后，對(duì)于G圖像數(shù)據(jù)，壓縮和解壓縮I/F部件105以一行的像素為 單位執(zhí)行水平方向上的小波變換并且以一列的像素為單位執(zhí)行垂直方向上的小波變換。具體而言，如圖12B所示，R像素和B像素直接被發(fā)送到垂直方向上的小波變換， 而不經(jīng)歷水平方向上的小波變換。此時(shí)，如圖12C所示，壓縮和解壓縮I/F部件105以相鄰 的左右兩個(gè)像素為單位以朝左的W的形式掃描R像素，并且就好像這些像素形成布置成一 列的像素?cái)?shù)據(jù)那樣執(zhí)行小波變換。此外，壓縮和解壓縮I/F部件105以相鄰的左右兩個(gè)像素為單位以朝右的W的形 式掃描B像素，并且就好像這些像素形成布置成一列的像素?cái)?shù)據(jù)那樣執(zhí)行小波變換。當(dāng)左右兩個(gè)像素被設(shè)定為一個(gè)單位時(shí)，可以認(rèn)為R圖像和B圖像在垂直方向上具 有2160個(gè)真實(shí)像素。從而，R圖像和B圖像可被視為2048X2160圖像。此2048X2160R圖像經(jīng)歷垂直方向上的小波變換。此時(shí)，壓縮和解壓縮I/F部件 105將該2048X2160R圖像轉(zhuǎn)換成經(jīng)過(guò)了低通濾波器的2048X 1080大小的子帶R圖像；以及經(jīng)過(guò)了高通濾波器的2048X 1080大小的子帶R圖像。2048X2160B圖像類(lèi)似地經(jīng)歷垂直方向上的小波變換。此時(shí)，壓縮和解壓縮I/F部 件105將該2048X2160B圖像轉(zhuǎn)換成
經(jīng)過(guò)了低通濾波器的2048X 1080大小的子帶B圖像；以及經(jīng)過(guò)了高通濾波器的2048X 1080大小的子帶B圖像。在已執(zhí)行了垂直方向上的小波變換的時(shí)間點(diǎn)，獲得了 2048X1080大小的子帶圖 像，并且該大小與G的子帶圖像的大小相一致。從而，從壓縮和解壓縮I/F部件105輸出的子帶圖像在4K全像素體系和4K雙倍 密度拜耳布置中具有相同的大小，因此從壓縮和解壓縮處理部件106起以后的處理可以是 共用的處理。將單獨(dú)詳細(xì)描述這一點(diǎn)。

在圖12D中，子帶圖像被如下描述，以便區(qū)分于下文中將要描述的其他體系，并且 用于描述僅經(jīng)歷了垂直方向上的小波變換的R圖像和B圖像?！そ?jīng)過(guò)了低通濾波器的2048X 1080大小的子帶R圖像是子帶R圖像(LL)·經(jīng)過(guò)了高通濾波器的2048X 1080大小的子帶R圖像是子帶R圖像(LH)·經(jīng)過(guò)了低通濾波器的2048X 1080大小的子帶B圖像是子帶B圖像(LL)·經(jīng)過(guò)了高通濾波器的2048X 1080大小的子帶B圖像是子帶B圖像(LH)雖然以上已經(jīng)在假定壓縮和解壓縮I/F部件105以朝左的W的形式掃描R像素并 且以朝右的W的形式掃描B像素的情況下參考圖12A至12D進(jìn)行了描述，但是要明確的是， 當(dāng)R像素和B像素的起始像素位置變得不同時(shí)，朝左的W的形式和朝右的W的形式被顛倒。以上已經(jīng)參考圖IlA至IlD和圖12A至12D描述了如何針對(duì)雙倍密度拜耳布置執(zhí) 行小波變換處理。接下來(lái)將參考圖13A至13D來(lái)描述在小波變換之后經(jīng)過(guò)了低通濾波器的 2048 X 1080大小的子帶圖像的像素重心位置。以下描述將利用作為JPEG20005X3可逆小波濾波器系數(shù)的(-1/8，2/8，6/8， 2/8，-1/8)作為示例來(lái)進(jìn)行。圖13A示出了 5X3可逆小波濾波器被應(yīng)用到G圖像的示例。首先，水平方向上的 五個(gè)像素被乘以濾波器系數(shù)(-1/8，2/8，6/8，2/8，-1/8)。第三個(gè)像素被乘以6/8，并且以第 三個(gè)像素為中心的左側(cè)兩個(gè)像素和右側(cè)兩個(gè)像素被乘以對(duì)稱的系數(shù)。從而，水平方向上的
像素的重心與第三個(gè)像素的位置一致。接下來(lái)，垂直方向上的五個(gè)像素被乘以濾波器系數(shù)(-1/8，2/8，6/8，2/8，-1/8)。第 三個(gè)像素被乘以6/8，并且以第三個(gè)像素為中心的上方兩個(gè)像素和下方兩個(gè)像素被乘以對(duì) 稱的系數(shù)。從而，垂直方向上的像素的重心也與第三個(gè)像素的位置一致。S卩，通過(guò)使G圖像經(jīng)過(guò)低通小波濾波器而獲得的2048X 1080大小的子帶圖像的像 素重心位置在水平方向和垂直方向上都是被乘以了濾波器系數(shù)6/8的像素(圖13A中的圓 圈標(biāo)記〇)的位置。圖13B示出了 5X3可逆小波濾波器被應(yīng)用到R圖像的示例。如參考圖IlA至IlD 所述，壓縮和解壓縮I/F部件105以相鄰的上下兩行為單位以W的形式掃描R圖像的像素， 并且使這些像素經(jīng)歷小波變換，就好像這些像素是一行的像素?cái)?shù)據(jù)那樣。五個(gè)像素被乘以濾波器系數(shù)(-1/8，2/8，6/8，2/8，-1/8)。第三個(gè)像素被乘以6/8， 并且以第三個(gè)像素為中心的左側(cè)兩個(gè)像素和右側(cè)兩個(gè)像素被乘以對(duì)稱的系數(shù)。從而，水平 方向上的像素的重心與第三個(gè)像素的位置一致。R圖像不經(jīng)歷垂直方向上的小波變換。關(guān)注上述水平方向上的小波系數(shù)，濾波器系數(shù)(-1/8，6/8，-1/8)被應(yīng)用到上方一行的三個(gè)像素。從而表明上方一行的三個(gè)像素的系數(shù) 的權(quán)重是-1/8+6/8-1/8 = 1/2接下來(lái)，濾波器系數(shù)(2/8，2/8)被應(yīng)用到下方一行的兩個(gè)像素，從而表明下方一 行的兩個(gè)像素的系數(shù)的權(quán)重是2/8+2/8 = 1/2以上表明，R圖像的垂直方向上的像素的重心正好是以相鄰的上下兩行為單位以 W的形式掃描像素的那兩行之間的中間位置。S卩，通過(guò)使R圖像經(jīng)過(guò)低通小波濾波器而獲得的2048X 1080大小的子帶圖像的像 素重心位置在水平方向上是被乘以了濾波器系數(shù)6/8的像素的位置，而在垂直方向上是被 設(shè)定為作為一個(gè)單位的相鄰的上下兩行的那兩行之間的位置(圖13B中的圓圈標(biāo)記〇)。圖13C示出了 5X3可逆小波濾波器被應(yīng)用到B圖像的示例。如參考圖IlA至IlD 所述，壓縮和解壓縮I/F部件105以相鄰的上下兩行為單位以M的形式掃描B圖像的像素， 并且使這些像素經(jīng)歷小波變換，就好像這些像素是一行的像素?cái)?shù)據(jù)那樣。五個(gè)像素被乘以濾波器系數(shù)(-1/8，2/8，6/8，2/8，-1/8)。第三個(gè)像素被乘以6/8， 并且以第三個(gè)像素為中心的左側(cè)兩個(gè)像素和右側(cè)兩個(gè)像素被乘以對(duì)稱的系數(shù)。從而，水平 方向上的像素的重心與第三個(gè)像素的位置一致。B圖像不經(jīng)歷垂直方向上的小波變換。關(guān)注上述水平方向上的小波系數(shù)，濾波器系 數(shù)(-1/8，6/8，-1/8)被應(yīng)用到下方一行的三個(gè)像素。從而表明下方一行的三個(gè)像素的系數(shù) 的權(quán)重是-1/8+6/8-1/8 = 1/2接下來(lái)，濾波器系數(shù)(2/8，2/8)被應(yīng)用到上方一行的兩個(gè)像素，從而表明上方一 行的兩個(gè)像素的系數(shù)的權(quán)重是2/8+2/8 = 1/2以上表明，B圖像的垂直方向上的像素的重心正好是以相鄰的上下兩行為單位以 M的形式掃描像素的那兩行之間的中間位置。S卩，通過(guò)使B圖像經(jīng)過(guò)低通小波濾波器而獲得的2048X 1080大小的子帶圖像的像 素重心位置在水平方向上是被乘以了濾波器系數(shù)6/8的像素的位置，而在垂直方向上是被 設(shè)定為作為一個(gè)單位的相鄰的上下兩行的那兩行之間的位置(圖13C中的圓圈標(biāo)記〇)?？偨Y(jié)以上內(nèi)容，經(jīng)過(guò)了低通小波濾波器的2048X1080大小的子帶圖像的像素重 心位置如圖13D所示。此時(shí)，表明了 R圖像和B圖像具有相同的位置，而G圖像在垂直方向 上具有相同的位置，而僅略微偏離了 1/2像素。諸如JPEG2000之類(lèi)的使用小波濾波器的子帶分割的特征之一是可從一個(gè)壓縮流 獲得l/2n分辨率的圖像大小。這表明，在雙倍密度拜耳布置中，當(dāng)僅顯示在水平方向和垂 直方向中的每一個(gè)上具有一半圖像大小的低頻子帶圖像時(shí)，RGB的像素重心位置也是基本 相同的。即，表明了可以顯示基本沒(méi)有顏色偏離的低頻子帶圖像，而無(wú)需使像素重心位置相
互一致。 當(dāng)然，當(dāng)G圖像在水平方向上被校正1/2像素時(shí)，RGB的像素重心位置相互完全一 致。另外，在此情況下，因?yàn)橹挥蠫圖像在水平方向上被校正1/2像素，所以可以獲得只要較小的硬件規(guī)模 即可的效果。此外，當(dāng)R圖像和B圖像如圖12A至12D所示僅在垂直方向上經(jīng)歷小波變換時(shí)，表 明了當(dāng)應(yīng)用與圖13A至13D類(lèi)似的考慮時(shí)(雖然沒(méi)有詳細(xì)示出)，R圖像和B圖像具有相同 的位置，而G圖像在水平方向上具有相同位置，而在垂直方向上僅略微偏離1/2像素。以上是針對(duì)雙倍密度拜耳布置的處理的細(xì)節(jié)。接下來(lái)將參考圖14A至14D描述針對(duì)圖2中的傾斜布置三板體系的壓縮編碼處理 的示例。圖14A示出了作為一個(gè)圖像拍攝元件102具有45°傾斜布置的像素并且假定在相 鄰的兩個(gè)水平或垂直像素或者四個(gè)水平或垂直像素之間執(zhí)行像素插值以插值出圖中的虛 線圓圈標(biāo)記所指示的像素的像素布置。此時(shí)，圖像拍攝元件部件102是傾斜布置三板體系，這是具有45°傾斜布置的像 素并且假定在水平方向或垂直方向上相鄰的像素之間執(zhí)行了插值的像素布置。以下將描述將本發(fā)明應(yīng)用到利用具有上述像素布置的三個(gè)圖像拍攝元件部件102 并結(jié)合光學(xué)棱鏡來(lái)執(zhí)行圖像拍攝的系統(tǒng)或者具有該像素布置并且具有在傳感器深度方向 上有光波長(zhǎng)敏感性的這樣一種結(jié)構(gòu)的單板型圖像拍攝系統(tǒng)的方法。首先，因?yàn)榧俣▓D14A中虛線圓圈標(biāo)記所指示的像素是從周?chē)袼夭逯刀鴣?lái)的， 所以可以認(rèn)為圖14A中虛線圓圈標(biāo)記所指示的像素不是作為真實(shí)像素存在的。S卩，如圖14B 所示，陰影所指示的像素被認(rèn)為是不存在的，并且此圖案因此可被認(rèn)為與以上參考圖IlA 至IlD描述的雙倍密度拜耳布置中的R或B像素的圖案相同。差異在于，R圖像、B圖像和G圖像都具有相同的圖案。因此，只要使R圖像、B圖像和G圖像經(jīng)歷以相鄰的上下兩行為單位的小波變換即可。此時(shí)，壓縮和解壓縮I/F部件105以相鄰的上下兩行為單位掃描來(lái)自傾斜布置三 板體系的圖像拍攝元件部件102的所有RGB圖像數(shù)據(jù)的像素，并且執(zhí)行水平方向上的小波 變換，或者以相鄰的左右兩列為單位掃描來(lái)自傾斜布置三板體系的圖像拍攝元件部件102 的所有RGB圖像數(shù)據(jù)的像素，并且執(zhí)行垂直方向上的小波變換。具體而言，如圖14B所示，壓縮和解壓縮I/F部件105以相鄰的上下兩行為單位以 W的形式掃描像素，并且就好像這些像素是一行的像素?cái)?shù)據(jù)那樣執(zhí)行小波變換。取決于像素 的起始位置，可以以相鄰的上下兩行為單位以M的形式掃描像素，并且就好像這些像素是 一行的像素?cái)?shù)據(jù)那樣執(zhí)行小波變換。當(dāng)相鄰的上下兩行被設(shè)定為一個(gè)單位時(shí)，可以認(rèn)為一行具有4096個(gè)真實(shí)像素。從 而，RGB圖像可被視為4096 X 1080圖像。這些4096 X 1080圖像經(jīng)歷水平方向上的小波變換，從而RGB圖像被各自轉(zhuǎn)換成經(jīng)過(guò)了低通濾波器的2048X 1080大小的子帶圖像；以及經(jīng)過(guò)了高通濾波器的2048X 1080大小的子帶圖像。在執(zhí)行了水平方向上的小波變換的時(shí)間點(diǎn)，已經(jīng)獲得了 2048X1080大小的子帶 圖像。從而，不在垂直方向上執(zhí)行小波變換。這意味著，對(duì)于所有RGB都獲得了統(tǒng)一的2048X1080大小的子帶圖像，獲得了 2048X1080的RGB全圖像，并且執(zhí)行了簡(jiǎn)單的所謂顏色分離。
從而，從壓縮和解壓縮I/F部件105輸出的子帶圖像在4K全像素體系和4K傾斜 布置三板體系中具有相同的大小，因此從壓縮和解壓縮處理部件106起以后的處理可以是 共 用的處理。將單獨(dú)詳細(xì)描述這一點(diǎn)。在圖14D中，2048X1080大小的子帶圖像被描述如下，以區(qū)分于下文中將描述的 其他體系，并且用于描述僅經(jīng)歷了水平方向上的小波變換的圖像?！そ?jīng)過(guò)了低通濾波器的2048X 1080大小的子帶R圖像是子帶R圖像(LL)·經(jīng)過(guò)了高通濾波器的2048X 1080大小的子帶R圖像是子帶R圖像(HL)·經(jīng)過(guò)了低通濾波器的2048X 1080大小的子帶G圖像是子帶G圖像(LL)·經(jīng)過(guò)了高通濾波器的2048X 1080大小的子帶G圖像是子帶G圖像(HL)·經(jīng)過(guò)了低通濾波器的2048X 1080大小的子帶B圖像是子帶B圖像(LL)·經(jīng)過(guò)了高通濾波器的2048X 1080大小的子帶B圖像是子帶B圖像(HL)雖然已經(jīng)參考圖14A至14D描述了其中傾斜布置三板體系的圖像經(jīng)歷以相鄰的上 下兩行為單位的小波變換的處理，但是作為另一種方法，也可以以相鄰的左右兩個(gè)像素為 單位執(zhí)行小波變換。然而，該處理與參考圖12A至12D描述的雙倍密度拜耳布置的R圖像 和B圖像的處理完全相同，并且在這里將被省略。已經(jīng)參考圖13A至13D描述了在雙倍密度拜耳布置中在小波變換后經(jīng)過(guò)了低通濾 波器的2048X1080大小的子帶圖像的像素重心位置。然而，在傾斜布置三板體系中，像素位置被調(diào)節(jié)，以便在光學(xué)上相互一致。從而，很 明顯，對(duì)于RGB，小波變換后經(jīng)過(guò)了低通濾波器的2048X1080大小的子帶圖像的像素重心 位置是相同的，因此對(duì)其的描述將被省略。以上是針對(duì)傾斜布置三板體系的處理的細(xì)節(jié)。接下來(lái)將參考圖15A至15D描述針對(duì)圖2所示的通常拜耳布置的處理的示例。圖15A示出了所謂的通常拜耳布置。此時(shí)，圖像拍攝元件部件102具有拜耳布置。在圖15B中，拜耳布置被分離成RGB中的每一個(gè)，并且不存在真實(shí)像素的位置由陰 影指示。R圖像和B圖像是處于分離狀態(tài)的、已經(jīng)被離散縮減的2048X1080大小的圖像。從圖15B中可以明確，可認(rèn)為G圖像與參考圖IlA至IlD描述的雙倍密度拜耳布 置的R像素或B像素相同。因此，只要使G圖像經(jīng)歷以相鄰的上下兩行為單位的小波變換即可。此時(shí)，壓縮和解壓縮I/F部件105不向來(lái)自拜耳布置的圖像拍攝元件部件102的 RGB圖像數(shù)據(jù)的R和B圖像數(shù)據(jù)應(yīng)用小波變換。然后，壓縮和解壓縮I/F部件105以相鄰的 上下兩行為單位掃描G圖像數(shù)據(jù)的像素并且執(zhí)行水平方向上的小波變換，或者以相鄰的左 右兩列為單位掃描G圖像數(shù)據(jù)的像素并且執(zhí)行垂直方向上的小波變換。具體而言，如圖15B所示，壓縮和解壓縮I/F部件105以相鄰的上下兩行為單位以 M的形式掃描像素，并且就好像這些像素是一行的像素?cái)?shù)據(jù)那樣執(zhí)行小波變換。取決于像素的起始位置，也可以以相鄰的上下兩行為單位以W的形式掃描像素， 并且就好像這些像素是一行的像素?cái)?shù)據(jù)那樣執(zhí)行小波變換。當(dāng)相鄰的上下兩行被設(shè)定為一個(gè)單位時(shí)，可以認(rèn)為一行具有4096個(gè)真實(shí)像素。從 而，G圖像可被視為4096 X 1080的圖像。
4096X1080的G圖像經(jīng)歷水平方向上的小波變換，以被轉(zhuǎn)換成經(jīng)過(guò)了低通濾波器的2048X 1080大小的子帶G圖像；以及經(jīng)過(guò)了高通濾波器的2048X 1080大小的子帶G圖像。在執(zhí)行了水平方向上的小波變換的時(shí)間點(diǎn)，已經(jīng)獲得了 2048X1080大小的子帶 圖像。從而，不在垂直方向上執(zhí)行小波變換。這意味著，雖然R圖像和B圖像被離散縮減，但對(duì)于所有RGB都獲得了統(tǒng)一的 2048X1080大小的子帶圖像，獲得了 2048X1080的RGB全圖像，并且執(zhí)行了簡(jiǎn)單的所謂顏 色分離。從而，從壓縮和解壓縮I/F部件105輸出的子帶圖像在4K全像素體系和4K通常 拜耳布置中具有相同大小，因此從壓縮和解壓縮處理部件106起以后的處理可以是共用的 處理。將單獨(dú)詳細(xì)描述這一點(diǎn)。在圖15D中，如下進(jìn)行描述，以使得R圖像和B圖像對(duì)于其他體系的處理是共用的 (雖然R圖像和B圖像被離散縮減)，并且對(duì)于G圖像，則用于與下文中將描述的其他體系 相區(qū)分，并且用于描述僅經(jīng)歷了水平方向上的小波變換的圖像?！?2048X1080大小的R圖像是子帶R圖像(LL)·經(jīng)過(guò)了低通濾波器的2048X 1080大小的子帶G圖像是子帶G圖像(LL)·經(jīng)過(guò)了高通濾波器的2048X 1080大小的子帶G圖像是子帶G圖像(HL)· 2048X1080大小的B圖像是子帶B圖像(LL)雖然已經(jīng)參考圖15A至15D描述了通常拜耳布置的G圖像經(jīng)歷以相鄰的上下兩行 為單位的小波變換的方法，但是作為另一種方法，也可以以相鄰的左右兩個(gè)像素為單位執(zhí) 行小波變換。然而，該方法與作為參考圖12A至12D描述的雙倍密度拜耳布置的R圖像和 B圖像的處理而描述的處理完全相同，并且在這里將被省略。已經(jīng)參考圖13A至13D描述了雙倍密度拜耳布置中在小波變換后經(jīng)過(guò)了低通濾波 器的2048X1080大小的子帶圖像的像素重心位置。然而，在通常拜耳布置中，R圖像和B圖 像與其他發(fā)明中一樣經(jīng)歷簡(jiǎn)單的離散縮減處理。從而，像素位置直接保持拜耳布置的像素 位置，因此對(duì)其的描述將被省略。以上是針對(duì)通常拜耳布置的處理的細(xì)節(jié)。已經(jīng)進(jìn)行了描述以表明壓縮和解壓縮I/F部件105從而與圖2所示的各種像素布 置的任何圖像拍攝元件相兼容。接下來(lái)將進(jìn)行描述以表明，因?yàn)閷?duì)于圖2所示的各種像素布置的任何圖像拍攝元 件部件102，從壓縮和解壓縮I/F部件105輸出的子帶圖像都具有2048 X 1080大小，所以從 壓縮和解壓縮處理部件106起以后的處理可以是共用的處理。圖16示出了對(duì)與到此為止描述的各種像素布置的圖像拍攝元件部件102相對(duì)應(yīng) 的從壓縮和解壓縮I/F部件105輸出的子帶圖像的總結(jié)。具體而言，這些子帶圖像可被總結(jié)為2048X1080大小的子帶的數(shù)目的差異，如 下。(在圖16中，未輸出的子帶圖像由虛線表示)。*RGB全像素體系· G =2048X1080 大小的四個(gè)子帶分量(LL/HL/LH/HH)· B =2048X1080 大小的四個(gè)子帶分量(LL/HL/LH/HH)
· R =2048X1080 大小的四個(gè)子帶分量(LL/HL/LH/HH)— 2048X1080大小的十二個(gè)子帶分量*雙倍密度拜耳布置· G =2048X1080 大小的四個(gè)子帶分量(LL/HL/LH/HH)· B =2048X1080大小的兩個(gè)子帶分量(LL/HL)· R =2048X1080大小的兩個(gè)子帶分量(LL/HL)— 2048X1080大小的八個(gè)子帶分量*傾斜布置三板體系· G =2048X1080大小的兩個(gè)子帶分量(LL/HL)· B =2048X1080大小的兩個(gè)子帶分量(LL/HL)· R =2048X1080大小的兩個(gè)子帶分量(LL/HL)— 2048X1080大小的六個(gè)子帶分量*拜耳布置· G =2048X1080大小的兩個(gè)子帶分量(LL/HL)· B =2048X1080大小的一個(gè)子帶分量(LL)· R =2048X1080大小的一個(gè)子帶分量(LL)— 2048X1080大小的四個(gè)子帶分量此外，在任何像素布置中，對(duì)于RGB圖像中的每一個(gè)都存在子帶(LL)(圖16中粗 框所包圍的子帶)。從而，如上所述，進(jìn)行了簡(jiǎn)單的顏色分離，并且可將這些子帶確認(rèn)為一個(gè) 圖像。接下來(lái)將描述針對(duì)各種像素布置的圖像拍攝元件，壓縮和解壓縮I/F部件105的 具體處理方法。圖17和圖18是幫助說(shuō)明與RGB全像素體系相對(duì)應(yīng)的處理方法的示圖(圖17對(duì) 應(yīng)于小波變換時(shí)的處理，圖18對(duì)應(yīng)于逆變換時(shí)的處理)。圖17和圖18與圖9和圖10相同，因此這里將省略重復(fù)描述。如圖17所示，壓縮 和解壓縮I/F部件105對(duì)RGB全像素體系的記錄RAW數(shù)據(jù)的R圖像、G圖像和B圖像全都 執(zhí)行相同的處理。此時(shí)，壓縮和解壓縮I/F部件105對(duì)R圖像、G圖像和B圖像在水平方向 和垂直方向上都執(zhí)行小波變換，并且輸出2048X1080大小的子帶的12個(gè)分量。此外，如圖 18所示，壓縮和解壓縮I/F部件105執(zhí)行該小波變換的逆變換，將該12個(gè)分量恢復(fù)成RGB 全像素體系的再現(xiàn)RAW數(shù)據(jù)。圖19和圖20是幫助說(shuō)明與雙倍密度拜耳布置的圖像拍攝元件相對(duì)應(yīng)的處理方法 的示圖(圖19對(duì)應(yīng)于小波變換時(shí)的處理，圖20對(duì)應(yīng)于逆變換時(shí)的處理)。如圖19所示，壓縮和解壓縮I/F部件105對(duì)于雙倍密度拜耳布置的記錄RAW數(shù)據(jù) 中的G圖像，在水平方向和垂直方向上都執(zhí)行小波變換。然而，對(duì)于R圖像和B圖像，壓縮 和解壓縮I/F部件105在如圖IlB所示的掃描后僅執(zhí)行水平方向上的小波變換，繞過(guò)垂直 方向小波變換電路，直接輸出結(jié)果。在圖19中，被繞過(guò)的部分由陰影指示。被繞過(guò)的部分 在以下的圖20至24中也是類(lèi)似地表示的。壓縮和解壓縮I/F部件105輸出2048X1080 大小的子帶的八個(gè)分量。如圖20所示，同樣，在逆變換中，對(duì)于R圖像和B圖像，壓縮和解 壓縮I/F部件105繞過(guò)垂直方向小波合成電路，并且僅執(zhí)行水平方向上的小波合成。壓縮和解壓縮I/F部件105可以通過(guò)在水平方向和垂直方向上都執(zhí)行小波合成來(lái)將G圖像恢復(fù) 成雙倍密度拜耳布置的再現(xiàn)RAW數(shù)據(jù)。圖21和圖22是幫助說(shuō)明與傾斜布置三板體系相對(duì)應(yīng)的處理方法的示圖(圖21 對(duì)應(yīng)于小波變換時(shí)的處理，圖22對(duì)應(yīng)于逆變換時(shí)的處理)。如圖21所示，壓縮和解壓縮I/F部件105對(duì)于傾斜布置三板體系的記錄RAW數(shù)據(jù) 中的R圖像、G圖像和B圖像全都執(zhí)行相同的處理。此時(shí)，壓縮和解壓縮I/F部件105執(zhí)行 如圖14B所示的掃描，對(duì)于R圖像、G圖像和B圖像僅執(zhí)行水平方向上的小波變換，繞過(guò)垂 直方向小波變換電路，直接輸出結(jié)果。壓縮和解壓縮I/F部件105輸出2048 X 1080大小的 子帶的六個(gè)分量。此外，如圖22所示，同樣，在逆變換中，壓縮和解壓縮I/F部件105對(duì)于 R圖像、G圖像和B圖像全都執(zhí)行相同的處理。壓縮和解壓縮I/F部件105繞過(guò)垂直方向小 波合成電路，并且僅執(zhí)行水平方向上的小波合成。壓縮和解壓縮I/F部件105將六個(gè)分量 恢復(fù)成傾斜布置三板體系的再現(xiàn)RAW數(shù)據(jù)。圖23和圖24是幫助說(shuō)明與通常拜耳布置的圖像拍攝元件相對(duì)應(yīng)的處理方法的示 圖(圖23對(duì)應(yīng)于小波變換時(shí)的處理，圖24對(duì)應(yīng)于逆變換時(shí)的處理)。如圖23所示，對(duì)于通常拜耳布置的記錄RAW數(shù)據(jù)中的G圖像，壓縮和解壓縮I/F部 件105執(zhí)行如圖15B所示的掃描，并且僅在水平方向上執(zhí)行小波變換。然而，對(duì)于R圖像和 B圖像，壓縮和解壓縮I/F部件105也不執(zhí)行水平方向上的小波變換，而是執(zhí)行繞過(guò)處理。 壓縮和解壓縮I/F部件105對(duì)于R圖像、G圖像和B圖像中的每一個(gè)都繞過(guò)垂直方向小波 變換電路，直接輸出結(jié)果。從而，壓縮和解壓縮I/F部件105輸出2048X 1080大小的子帶 的四個(gè)分量。此外，如圖24所示，同樣，在逆變換中，壓縮和解壓縮I/F部件105對(duì)于R圖像、G 圖像和B圖像中的每一個(gè)繞過(guò)垂直方向小波合成電路，并且僅對(duì)于G圖像執(zhí)行水平方向上 的小波合成。對(duì)于R圖像和B圖像，壓縮和解壓縮I/F部件105也不執(zhí)行水平方向上的小 波合成，而是執(zhí)行繞過(guò)處理。從而，圖像可被恢復(fù)成通常拜耳布置的再現(xiàn)RAW數(shù)據(jù)。當(dāng)壓縮和解壓縮I/F部件105根據(jù)輸入的記錄RAW數(shù)據(jù)的種類(lèi)這樣繞過(guò)小波電路 時(shí)，可以針對(duì)各種像素布置的圖像拍攝元件進(jìn)行設(shè)置。從而，只要通過(guò)控制壓縮和解壓縮I/ F部件105的處理，就可以使從壓縮和解壓縮處理部件106起以后的處理成為共用的處理， 只是在輸入子帶圖像的分量的數(shù)目上有差異。此外，從壓縮和解壓縮處理部件106起以后的處理可以作為并行的處理被執(zhí)行。 具體而言，在壓縮和解壓縮處理部件106中，圖3中用于子帶圖像D105-LL的電路、圖3中用 于子帶圖像D105-HL的電路、圖3中用于子帶圖像D105-LH的電路以及圖3中用于子帶圖 像D105-HH的電路中的每一者對(duì)于用于RGB的三個(gè)并行系統(tǒng)分別設(shè)置(總共十二個(gè)系統(tǒng))。 從而，可以在4K RGB全圖像的情況下使用所有這些系統(tǒng)，而在其他情況下只使用這些系統(tǒng) 的一部分。從而，操作速度可以降低，降低量與并行度相對(duì)應(yīng)。即，可以采用適合于實(shí)時(shí)處 理的配置。過(guò)去，處理諸如4K圖像之類(lèi)的高分辨率圖像的系統(tǒng)不可避免地要進(jìn)行大量的信 號(hào)處理。此外，從圖像拍攝元件的諸如S/N(信噪比)、靈敏度之類(lèi)的特性的角度來(lái)看，該系 統(tǒng)是難以實(shí)現(xiàn)的，除非預(yù)先通過(guò)使用所謂的拜耳布置等等來(lái)減少像素?cái)?shù)目并隨后記錄RAW 數(shù)據(jù)。然而，因?yàn)椴⒎荝GB的所有像素都存在，所以當(dāng)直接使用RAW數(shù)據(jù)執(zhí)行壓縮記錄時(shí)，壓縮效率沒(méi)有提高，如背景技術(shù)部分中所述。另一方面，通過(guò)使用根據(jù)上述第一實(shí)施例的壓縮和解壓縮I/F部件105以及壓縮 和解壓縮處理部件106，可以轉(zhuǎn)換整個(gè)畫(huà)面(這是小波變換的特征)，并且利用小波變換中 固有的高壓縮效率。尤其對(duì)于雙倍密度拜耳布置中的R圖像和B圖像的RAW數(shù)據(jù)的壓縮， 可以預(yù)期利用小波變換的固有特征的壓縮效率的巨大改善。此外，可以從一個(gè)壓縮碼獲得作為子帶分割的結(jié)果的不同分辨率的圖片，并且可 以使用這些圖片。這是因?yàn)榧词故呛?jiǎn)單的顏色分離處理也是通過(guò)小波變換執(zhí)行的。從而，可以構(gòu)造一種具有很高程度的硬件效率的系統(tǒng)，該系統(tǒng)是低分辨率簡(jiǎn)單顯 示系統(tǒng)，但不需要專(zhuān)門(mén)的顏色分離電路或下轉(zhuǎn)換電路(down-converting circuit)。另外，壓縮和解壓縮I/F部件105以及壓縮和解壓縮處理部件106的處理可適應(yīng) 于現(xiàn)有RGB全像素體系、雙倍密度拜耳布置、傾斜布置三板體系和通常拜耳布置的任何圖 案。從而，產(chǎn)生了這樣一種效果，即能夠執(zhí)行共用的硬件處理，只是“子帶圖像分量的數(shù)目有 差異”。這表明也提供了這樣一種優(yōu)點(diǎn)，即在處理高分辨率圖像的系統(tǒng)中，能夠執(zhí)行并行硬 件處理并且實(shí)現(xiàn)實(shí)時(shí)處理。<2.第二實(shí)施例>[使用哈爾變換對(duì)圖像進(jìn)行壓縮編碼或解碼的示例]接下來(lái)將參考圖25A至27D來(lái)描述應(yīng)用到根據(jù)本發(fā)明第二實(shí)施例的圖像拍攝裝置 10的示例。如上所述，壓縮和解壓縮I/F部件105與小波變換相結(jié)合提供了最有效壓縮的方 法。然而，不僅小波變換，降低硬件負(fù)擔(dān)的哈爾變換也可實(shí)現(xiàn)該方法。此時(shí)，壓縮和解壓縮 I/F部件105以相鄰的上下兩行為單位使像素位置交替相互偏離的那種顏色的圖像數(shù)據(jù)中 的傾斜方向上的每?jī)蓚€(gè)相鄰像素經(jīng)歷哈爾變換。圖25A至25D示出了壓縮和解壓縮I/F部件105針對(duì)雙倍密度拜耳布置執(zhí)行哈爾 變換的示例。圖25A示出了雙倍密度拜耳布置。首先描述G圖像，G圖像具有4K全像素，因此取代參考圖IlA至IlD描述的處理 中那樣的水平方向和垂直方向上的小波變換執(zhí)行哈爾變換即可。此時(shí)，壓縮和解壓縮I/F部件105使從雙倍密度拜耳布置的圖像拍攝元件部件102 輸出的RGB圖像數(shù)據(jù)的R和B圖像數(shù)據(jù)中每?jī)蓚€(gè)在傾斜方向上相鄰像素經(jīng)歷以相鄰的上下 兩行為單位的哈爾變換，并且使G圖像數(shù)據(jù)經(jīng)歷以一行的像素為單位的水平方向上的哈爾 變換和以一列的像素為單位的垂直方向上的哈爾變換。哈爾變換被認(rèn)為是兩抽頭子帶濾波器，并且相當(dāng)于獲得兩個(gè)像素之間的和與差。 和對(duì)應(yīng)于LPF，差對(duì)應(yīng)于HPF。具體而言，如圖25B所示，4096 X 2160大小的G圖像的每?jī)蓚€(gè)像素經(jīng)歷水平方向上 的哈爾變換。從而，如圖25C所示，獲得了水平方向上減半的2048X2160大小的低頻子帶 G圖像(L)(和)和高頻子帶G圖像(H)(差)。接下來(lái)，水平方向上減半的2048X2160大小的低頻子帶G圖像(L)(和)和高頻 子帶G圖像(H)(差)各自經(jīng)歷垂直方向上的哈爾變換，如圖25C所示。結(jié)果，如圖25D所 示，2048X2160大小的低頻子帶G圖像(L)(和)和高頻子帶G圖像(H)(差)被轉(zhuǎn)換成了四種2048X1080大小的子帶G圖像。 在水平方向和垂直方向上都經(jīng)過(guò)了低通濾波器(和)的2048X1080大小的子帶 G圖像(LL)·在水平方向上經(jīng)過(guò)了低通濾波器(和)并且在垂直方向上經(jīng)過(guò)了高通濾波器 (差)的2048 X 1080大小的子帶G圖像(LH)·在水平方向上經(jīng)過(guò)了高通濾波器(差)并且在垂直方向上經(jīng)過(guò)了低通濾波器 (和)的2048X IO8O大小的子帶G圖像(HL) 在水平方向和垂直方向上都經(jīng)過(guò)了高通濾波器(差)的2048X1080大小的子帶 G圖像(HH)2048X2160大小的低頻子帶G圖像(L)(和)和高頻子帶G圖像(H)(差)被轉(zhuǎn)換 成上述四種2048X 1080大小的子帶G圖像。R圖像和B圖像具有棋盤(pán)格圖案。從而，以相鄰的上下兩行為單位，取代小波變換， R圖像和B圖像經(jīng)歷哈爾變換。具體而言，如圖25B所示，R像素之中的以相鄰的上下兩行為單位的每?jī)蓚€(gè)傾斜像 素經(jīng)歷哈爾變換。作為以上處理的結(jié)果，R圖像被轉(zhuǎn)換成經(jīng)過(guò)了低通濾波器(和)的2048X 1080大小的子帶R圖像；以及經(jīng)過(guò)了高通濾波器(差)的2048X 1080大小的子帶R圖像。B像素之中的以相鄰的上下兩行為單位的每?jī)蓚€(gè)傾斜像素(與R的傾斜方向相 反)類(lèi)似地經(jīng)歷哈爾變換，以被轉(zhuǎn)換成經(jīng)過(guò)了低通濾波器(和)的2048X 1080大小的子帶B圖像；以及經(jīng)過(guò)了高通濾波器(差)的2048X1080大小的子帶B圖像。作為以上處理的結(jié)果，已經(jīng)獲得了 2048X 1080大小的子帶圖像，并且該大小與G
的子帶圖像的大小一致。這意味著，對(duì)于所有RGB都獲得了統(tǒng)一的2048X1080大小的子帶圖像，獲得了 2048X1080大小的RGB全圖像，并且執(zhí)行了簡(jiǎn)單的所謂顏色分離。從而，從壓縮和解壓縮I/F部件105輸出的子帶圖像在4K全像素體系和4K雙倍 密度拜耳布置中具有相同的大小，因此從壓縮和解壓縮處理部件106起以后的處理可以是 共用的處理。這與小波變換的情況相同。在圖25C和圖25D中，為了描述經(jīng)歷了傾斜方向上的哈爾變換的R圖像和B圖像， 如下描述子帶圖像。·經(jīng)過(guò)了低通濾波器(和)的2048X 1080大小的子帶R圖像是子帶R圖像(LL)·經(jīng)過(guò)了高通濾波器(差)的2048X 1080大小的子帶R圖像是子帶R圖像(HH)·經(jīng)過(guò)了低通濾波器(和)的2048X 1080大小的子帶B圖像是子帶B圖像(LL)·經(jīng)過(guò)了高通濾波器(差)的2048X 1080大小的子帶B圖像是子帶B圖像(HH)圖25B所示的R像素和B像素的傾斜方向是示例，要明確的是，當(dāng)R像素和B像素 的起始像素位置變得不同時(shí)，傾斜方向顛倒。接下來(lái)將參考圖26A至26D描述針對(duì)圖2所示的傾斜布置三板體系執(zhí)行哈爾變換 的情況。
圖26A示出了傾斜布置三板體系的布置。在圖26B中，如參考圖14A至14D所述，由陰影指示的像素被認(rèn)為是不存在的，并 且因此該圖案可被認(rèn)為與以上參考圖25A至25D所述的雙倍密度拜耳布置中的R或B像素 的圖案相同。差異在于R圖像、B圖像和G圖像都具有相同的圖案。因此，只要以相鄰的上下兩行為單位取代小波變換使R圖像、B圖像和G圖像經(jīng)歷 哈爾變換即可。此時(shí)，壓縮和解壓縮I/F部件105以相鄰的上下兩行為單位使來(lái)自傾斜布置三板 體系的圖像拍攝元件部件102的所有RGB圖像數(shù)據(jù)中的傾斜方向上的每?jī)蓚€(gè)相鄰像素經(jīng)歷 哈爾變換。具體而言，如參考圖26B所述，以相鄰的上下兩行為單位的每?jī)蓚€(gè)傾斜像素經(jīng)歷 哈爾變換。作為以上處理的結(jié)果，RGB圖像被各自轉(zhuǎn)換成經(jīng)過(guò)了低通濾波器(和)的2048X 1080大小的子帶圖像；以及經(jīng)過(guò)了高通濾波器(差)的2048X1080大小的子帶圖像。以上還表明，已經(jīng)獲得了 2048X1080大小的子帶圖像。這意味著，對(duì)于所有RGB都獲得了統(tǒng)一的2048X1080大小的子帶圖像，獲得了 2048X1080大小的RGB全圖像，并且執(zhí)行了簡(jiǎn)單的所謂的顏色分離。從而，從壓縮和解壓縮I/F部件105輸出的子帶圖像在4K全像素體系和4K傾斜 布置三板體系中具有相同的大小，因此從壓縮和解壓縮處理部件106起以后的處理可以是 共用的處理。這與小波變換的情況相同。在圖26C和圖26D中，為了描述執(zhí)行了的傾斜方向上的哈爾變換，如下描述子帶圖像?！そ?jīng)過(guò)了低通濾波器(和)的2048X 1080大小的子帶R圖像是子帶R圖像(LL)·經(jīng)過(guò)了高通濾波器(差)的2048X 1080大小的子帶R圖像是子帶R圖像(HH)·經(jīng)過(guò)了低通濾波器(和)的2048X 1080大小的子帶G圖像是子帶G圖像(LL)·經(jīng)過(guò)了高通濾波器(差)的2048X 1080大小的子帶G圖像是子帶G圖像(HH)·經(jīng)過(guò)了低通濾波器(和)的2048X 1080大小的子帶B圖像是子帶B圖像(LL)·經(jīng)過(guò)了高通濾波器(差)的2048X 1080大小的子帶B圖像是子帶B圖像(HH)圖26B所示的像素的傾斜方向是示例，要明確的是當(dāng)R像素和B像素的起始像素 位置變得不同時(shí)，傾斜方向顛倒。接下來(lái)將參考圖27A至27D來(lái)描述針對(duì)圖2所示的通常拜耳布置執(zhí)行哈爾變換的 情況。圖27A示出了所謂的通常拜耳布置。在圖27B中，在分離成RGB中的每一個(gè)之后不存在的真實(shí)像素的位置由陰影指示。 R圖像和B圖像是處于分離狀態(tài)的已經(jīng)被離散縮減的2048X 1080大小的圖像。從圖27B中可以明確，可認(rèn)為G圖像與參考圖25A至25D描述的雙倍密度拜耳布 置的R像素或B像素相同。因此，以相鄰的上下兩行為單位，取代小波變換，G圖像經(jīng)歷哈爾變換。
此時(shí)，壓縮和解壓縮I/F部件105不向來(lái)自拜耳布置的圖像拍攝元件部件102的 RGB圖像數(shù)據(jù)的R和B圖像數(shù)據(jù)應(yīng)用哈爾變換，而是以相鄰的上下兩行為單位使G的圖像數(shù) 據(jù)中的傾斜方向上的每?jī)蓚€(gè)相鄰像素經(jīng)歷哈爾變換。具體而言，如圖27B所示，以相鄰的上下兩行為單位的每?jī)蓚€(gè)傾斜像素經(jīng)歷了哈 爾變換。作為以上處理的結(jié)果，G圖像被轉(zhuǎn)換成經(jīng)過(guò)了低通濾波器(和)的2048X 1080大小的子帶G圖像；以及經(jīng)過(guò)了高通濾波器(差)的2048X1080大小的子帶G圖像。以上還表明，已經(jīng)獲得了 2048X1080大小的子帶圖像。這意味著，雖然R圖像和B圖像被離散縮減，但對(duì)于所有RGB圖像都獲得了統(tǒng)一的 2048X1080大小的子帶圖像。因此，獲得了 2048 X 1080RGB全圖像，并且執(zhí)行了簡(jiǎn)單的所謂 顏色分離。從而，從壓縮和解壓縮I/F部件105輸出的子帶圖像在4K全像素體系和4K通常 拜耳布置中具有相同的大小，因此從壓縮和解壓縮處理部件106起以后的處理可以是共用 的處理。這與小波變換的情況相同。在圖27C和圖27D中，為了描述G圖像經(jīng)歷了傾斜方向上的哈爾變換，如下描述子 帶圖像。· 2048X1080大小的R圖像是子帶R圖像(LL)·經(jīng)過(guò)了低通濾波器(和)的2048X 1080大小的子帶G圖像是子帶G圖像(LL)·經(jīng)過(guò)了高通濾波器(差)的2048X 1080大小的子帶G圖像是子帶G圖像(HH)· 2048X1080大小的B圖像是子帶B圖像(LL)圖27B所示的G像素的傾斜方向是示例，要明確的是當(dāng)G的起始像素位置變得不 同時(shí)，傾斜方向顛倒。根據(jù)上述的第二實(shí)施例，壓縮和解壓縮I/F部件105不僅可通過(guò)小波變換來(lái)實(shí)現(xiàn)， 而且也可通過(guò)用于更簡(jiǎn)單的硬件的哈爾變換來(lái)實(shí)現(xiàn)。從而，與第一實(shí)施例中一樣，后續(xù)的處 理可以作為并行的處理被執(zhí)行。此外，因?yàn)榭梢院?jiǎn)單地進(jìn)行顏色分離，所以可以降低制造該 裝置的成本。應(yīng)注意，雖然已參考JPEG2000的5 X 3可逆小波變換系數(shù)描述了小波變換，但是要 明確的是，也可以利用9X7不可逆變換系數(shù)和其他變換系數(shù)來(lái)實(shí)現(xiàn)小波變換，而并不限于 5X3可逆小波變換或哈爾變換。<3.修改的示例>應(yīng)注意，以上所述的壓縮和解壓縮I/F部件105的處理以及壓縮和解壓縮處理部 件106的處理不僅可通過(guò)硬件而且也可通過(guò)軟件來(lái)執(zhí)行。當(dāng)通過(guò)軟件來(lái)執(zhí)行該系列處理 時(shí)，可通過(guò)包含在專(zhuān)用硬件中的計(jì)算機(jī)或安裝有用于執(zhí)行各種功能的程序的計(jì)算機(jī)來(lái)執(zhí)行 構(gòu)成該軟件的程序。例如，只要將構(gòu)成所需軟件的程序安裝在通用個(gè)人計(jì)算機(jī)等等上并執(zhí) 行該程序即可。此外，記錄有用于實(shí)現(xiàn)上述實(shí)施例的功能的軟件的程序代碼的記錄介質(zhì)可被提供 到系統(tǒng)或裝置。此外，無(wú)需多言，當(dāng)該系統(tǒng)或裝置的計(jì)算機(jī)(或諸如CPU之類(lèi)的控制裝置) 讀取并執(zhí)行存儲(chǔ)在該記錄介質(zhì)上的程序代碼時(shí)，這些功能得以實(shí)現(xiàn)。
在此情況中可用作提供程序代碼的記錄介質(zhì)的例如是軟盤(pán)、硬盤(pán)、光盤(pán)、磁光盤(pán)、 CD-ROM、CD-R、磁帶、非易失性存儲(chǔ)卡、ROM，等等。上述實(shí)施例的功能是通過(guò)執(zhí)行被計(jì)算機(jī)讀取的程序代碼來(lái)實(shí)現(xiàn)的。此外，在計(jì)算 機(jī)等等上操作的OS基于程序代碼的指示而執(zhí)行實(shí)際處理的一部分或全部。也包括通過(guò)該 處理實(shí)現(xiàn)上述實(shí)施例的功能的情況。此外，雖然在上述實(shí)施例中本發(fā)明被應(yīng)用到圖像拍攝裝置，但本發(fā)明也可應(yīng)用于 從除圖像拍攝裝置以外的裝置中的雙倍密度拜耳布置、傾斜布置三板體系和拜耳布置的圖 像拍攝元件獲得的RAW數(shù)據(jù)的壓縮編碼。此外，本發(fā)明可類(lèi)似地應(yīng)用于從如下像素布置的圖像拍攝元件獲得的RAW數(shù)據(jù)的 壓縮編碼該像素布置不是雙倍密度拜耳布置、傾斜布置三板體系或拜耳布置，并且在該 像素布置中，三種原色中的至少一種的像素位置在水平方向或垂直方向上是交替相互偏離 的。此外，本發(fā)明并不限于上述實(shí)施例，而是當(dāng)然可以采用各種其他應(yīng)用示例和各種 其他修改示例，而不脫離權(quán)利要求中描述的本發(fā)明的精神。本申請(qǐng)包含與2009年12月18日向日本專(zhuān)利局提交的日本優(yōu)先權(quán)專(zhuān)利申請(qǐng)JP 2009-288074中公開(kāi)的主題相關(guān)的主題，這里通過(guò)引用將該申請(qǐng)的全部?jī)?nèi)容并入。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)要求和其他因素，可以進(jìn)行各種修改、組 合、子組合和變更，只要它們處于所附權(quán)利要求或其等同物的范圍之內(nèi)即可。
權(quán)利要求
1.一種圖像處理裝置，包括子帶分割部件，被配置為對(duì)從其中三種原色之中的至少一種顏色的像素位置在水平方 向和垂直方向之一上交替相互偏離的像素布置的圖像拍攝元件輸出的圖像數(shù)據(jù)中包括的 像素位置交替相互偏離的顏色的圖像數(shù)據(jù)以相鄰的上下兩行的像素或相鄰的左右兩列的 像素為單位執(zhí)行子帶分割。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述子帶分割部件以相鄰的上下兩行為單位對(duì)所述像素位置交替相互偏離的顏 色的圖像數(shù)據(jù)的像素進(jìn)行掃描并且執(zhí)行水平方向上的小波變換，或者以相鄰的左右兩列為 單位對(duì)所述像素位置交替相互偏離的顏色的圖像數(shù)據(jù)的像素進(jìn)行掃描并且執(zhí)行垂直方向 上的小波變換。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中所述圖像拍攝元件是具有拜耳布置兩倍的像素密度并且具有45°傾斜布置的像 素布置的雙倍密度拜耳布置的圖像拍攝元件，并且所述子帶分割部件以相鄰的上下兩行為單位對(duì)從所述雙倍密度拜耳布置的圖像拍攝 元件輸出的RGB圖像數(shù)據(jù)的R和B圖像數(shù)據(jù)的像素進(jìn)行掃描并且執(zhí)行水平方向上的小波變 換，或者以相鄰的左右兩列為單位對(duì)所述R和B圖像數(shù)據(jù)的像素進(jìn)行掃描并且執(zhí)行垂直方 向上的小波變換，并且使G圖像數(shù)據(jù)經(jīng)歷以一行的像素為單位的水平方向上的小波變換以 及以一列的像素為單位的垂直方向上的小波變換。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述圖像拍攝元件是具有45°傾斜布置的像素并且假定在水平方向和垂直方向 之一上相鄰的像素之間執(zhí)行了插值的傾斜布置三板體系的圖像拍攝元件，并且所述子帶分割部件以相鄰的上下兩行為單位對(duì)來(lái)自所述傾斜布置三板體系的圖像拍 攝元件的所有RGB圖像數(shù)據(jù)的像素進(jìn)行掃描并執(zhí)行水平方向上的小波變換，或者以相鄰的 左右兩列為單位對(duì)所有RGB圖像數(shù)據(jù)的像素進(jìn)行掃描并執(zhí)行垂直方向上的小波變換。
5.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述圖像拍攝元件是拜耳布置的圖像拍攝元件，并且所述子帶分割部件對(duì)于來(lái)自所述拜耳布置的圖像拍攝元件的RGB圖像數(shù)據(jù)的R和B圖 像數(shù)據(jù)不執(zhí)行小波變換，但是以相鄰的上下兩行為單位對(duì)G圖像數(shù)據(jù)的像素進(jìn)行掃描并且 執(zhí)行水平方向上的小波變換，或者以相鄰的左右兩列為單位對(duì)G圖像數(shù)據(jù)的像素進(jìn)行掃描 并且執(zhí)行垂直方向上的小波變換。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述子帶分割部件以相鄰的上下兩行為單位，使所述像素位置交替相互偏離的 顏色的圖像數(shù)據(jù)的傾斜方向上的每?jī)蓚€(gè)相鄰像素經(jīng)歷哈爾變換。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，所述圖像拍攝元件是具有拜耳布置兩倍的像素密度并且具有45°傾斜布置的像 素布置的雙倍密度拜耳布置的圖像拍攝元件，并且所述子帶分割部件使從所述雙倍密度拜耳布置的圖像拍攝元件輸出的RGB圖像數(shù)據(jù) 的R和B圖像數(shù)據(jù)的傾斜方向上的每?jī)蓚€(gè)相鄰像素經(jīng)歷以相鄰的上下兩行為單位的哈爾變 換，并且使G圖像數(shù)據(jù)經(jīng)歷以一行的像素為單位的水平方向上的哈爾變換和以一列的像素為單位的垂直方向上的哈爾變換。
8.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，所述圖像拍攝元件是具有45°傾斜布置的像素并且假定在水平方向和垂直方向 之一上相鄰的像素之間執(zhí)行了插值的傾斜布置三板體系的圖像拍攝元件，并且所述子帶分割部件以相鄰的上下兩行為單位使來(lái)自所述傾斜布置三板體系的圖像拍 攝元件的所有RGB圖像數(shù)據(jù)的傾斜方向上的每?jī)蓚€(gè)相鄰像素經(jīng)歷哈爾變換。
9.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中，所述圖像拍攝元件是拜耳布置的圖像拍攝元件，并且所述子帶分割部件對(duì)于來(lái)自所述拜耳布置的圖像拍攝元件的RGB圖像數(shù)據(jù)的R和B圖 像數(shù)據(jù)不執(zhí)行哈爾變換，但是以相鄰的上下兩行為單位使G圖像數(shù)據(jù)的傾斜方向上的每?jī)?個(gè)相鄰像素經(jīng)歷哈爾變換。
10.一種圖像處理方法，包括以下步驟通過(guò)形成圖像處理裝置的子帶分割部件對(duì)從其中三種原色之中的至少一種顏色的像 素位置在水平方向和垂直方向之一上交替相互偏離的像素布置的圖像拍攝元件輸出的圖 像數(shù)據(jù)中包括的像素位置交替相互偏離的顏色的圖像數(shù)據(jù)以相鄰的上下兩行的像素或相 鄰的左右兩列的像素為單位執(zhí)行子帶分割。
11.一種圖像處理裝置，包括子帶分割部件，被配置為對(duì)從其中三種原色之中的至少一種顏色的像素位置在水平方 向和垂直方向之一上交替相互偏離的像素布置的圖像拍攝元件輸出的圖像數(shù)據(jù)中包括的 像素位置交替相互偏離的顏色的圖像數(shù)據(jù)以相鄰的上下兩行的像素或相鄰的左右兩列的 像素為單位執(zhí)行子帶分割；以及壓縮編碼部件，被配置為針對(duì)被所述子帶分割部件分割出的每個(gè)頻帶和所述三種原色 中的每一種并行地執(zhí)行對(duì)從所述子帶分割部件輸出的圖像數(shù)據(jù)進(jìn)行壓縮編碼的處理。
12.—種圖像處理方法，包括以下步驟通過(guò)形成圖像處理裝置的子帶分割部件對(duì)從其中三種原色之中的至少一種顏色的像 素位置在水平方向和垂直方向之一上交替相互偏離的像素布置的圖像拍攝元件輸出的圖 像數(shù)據(jù)中包括的像素位置交替相互偏離的顏色的圖像數(shù)據(jù)以相鄰的上下兩行的像素或相 鄰的左右兩列的像素為單位執(zhí)行子帶分割；以及針對(duì)每個(gè)分割出的頻帶和所述三種原色中的每一種并行地執(zhí)行對(duì)由所述子帶分割部 件的子帶分割產(chǎn)生的圖像數(shù)據(jù)進(jìn)行壓縮編碼的處理。
13.一種圖像拍攝裝置，包括一種像素布置的圖像拍攝元件，在該像素布置中，三種原色之中的至少一種顏色的像 素位置在水平方向和垂直方向之一上交替相互偏離；子帶分割部件，被配置為對(duì)從所述圖像拍攝元件輸出的圖像數(shù)據(jù)中包括的像素位置交 替相互偏離的顏色的圖像數(shù)據(jù)以相鄰的上下兩行的像素或相鄰的左右兩列的像素為單位 執(zhí)行子帶分割；壓縮編碼部件，被配置為針對(duì)被所述子帶分割部件分割出的每個(gè)頻帶和所述三種原色 中的每一種并行地執(zhí)行對(duì)從所述子帶分割部件輸出的圖像數(shù)據(jù)進(jìn)行壓縮編碼的處理；以及記錄部件，被配置為記錄經(jīng)所述壓縮編碼部件壓縮編碼的圖像數(shù)據(jù)。
14.一種圖像處理裝置，包括子帶分割裝置，用于對(duì)從其中三種原色之中的至少一種顏色的像素位置在水平方向和 垂直方向之一上交替相互偏離的像素布置的圖像拍攝元件輸出的圖像數(shù)據(jù)中包括的像素 位置交替相互偏離的顏色的圖像數(shù)據(jù)以相鄰的上下兩行的像素或相鄰的左右兩列的像素 為單位執(zhí)行子帶分割。
15.一種圖像處理裝置，包括子帶分割裝置，用于對(duì)從其中三種原色之中的至少一種顏色的像素位置在水平方向和 垂直方向之一上交替相互偏離的像素布置的圖像拍攝元件輸出的圖像數(shù)據(jù)中包括的像素 位置交替相互偏離的顏色的圖像數(shù)據(jù)以相鄰的上下兩行的像素或相鄰的左右兩列的像素 為單位執(zhí)行子帶分割；以及壓縮編碼裝置，用于針對(duì)被所述子帶分割裝置分割出的每個(gè)頻帶和所述三種原色中的 每一種并行地執(zhí)行對(duì)從所述子帶分割裝置輸出的圖像數(shù)據(jù)進(jìn)行壓縮編碼的處理。
全文摘要
本發(fā)明提供了圖像處理裝置、圖像處理方法和圖像拍攝裝置。這里公開(kāi)了一種圖像處理裝置，其包括子帶分割部件，該子帶分割部件被配置為對(duì)從其中三種原色之中的至少一種顏色的像素位置在水平方向和垂直方向之一上交替相互偏離的像素布置的圖像拍攝元件輸出的圖像數(shù)據(jù)中包括的像素位置交替相互偏離的顏色的圖像數(shù)據(jù)以相鄰的上下兩行的像素或相鄰的左右兩列的像素為單位執(zhí)行子帶分割。
文檔編號(hào)H04N7/26GK102104783SQ20101059969
公開(kāi)日2011年6月22日 申請(qǐng)日期2010年12月13日 優(yōu)先權(quán)日2009年12月18日
發(fā)明者杉山晃 申請(qǐng)人:索尼公司