動(dòng)態(tài)圖像壓縮裝置、動(dòng)態(tài)圖像解碼裝置、圖像壓縮裝置、圖像解碼裝置、拍攝裝置以及程序的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及動(dòng)態(tài)圖像壓縮裝置、動(dòng)態(tài)圖像解碼裝置、圖像壓縮裝置、圖像解碼裝置、拍攝裝置以及程序。
【背景技術(shù)】
[0002]關(guān)于動(dòng)態(tài)圖像的攝影，提出了具有RAW動(dòng)態(tài)圖像的攝影模式的攝影裝置，所述RAW動(dòng)態(tài)圖像的攝影模式對(duì)從拍攝元件輸出的圖像在相機(jī)內(nèi)不進(jìn)行顯像處理就進(jìn)行記錄。在該RAW動(dòng)態(tài)圖像的記錄中，還提出有從拜耳陣列(Bayer array)分離各種顏色成分并對(duì)每一種顏色成分進(jìn)行壓縮編碼。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]專利文獻(xiàn)
[0005]專利文獻(xiàn)1:日本特開2011-41144號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0006]發(fā)明所要解決的問題
[0007]然而，拜耳陣列的兩個(gè)相同顏色成分具有較高的相關(guān)性。因此，如果利用該相關(guān)性，則能夠進(jìn)一步提高RAW動(dòng)態(tài)圖像的壓縮編碼的效率。
[0008]用于解決問題的手段
[0009]作為本發(fā)明的一個(gè)例子的動(dòng)態(tài)圖像壓縮裝置包括獲取部、圖像變換部、以及壓縮處理部。獲取部獲取將多個(gè)幀與拍攝順序相關(guān)聯(lián)的RAW動(dòng)態(tài)圖像，所述多個(gè)幀中不同的3個(gè)顏色成分的像素按照2行2列的顏色排列周期性配置。圖像變換部將關(guān)注的幀中、與奇數(shù)行的第一顏色成分對(duì)應(yīng)的第一像素組和與偶數(shù)行的第一顏色成分對(duì)應(yīng)的第二像素組分別分離，并將包括第一像素組的第一圖像和包括第二像素組的第二圖像交替地排列在時(shí)間軸方向上。壓縮處理部對(duì)第一圖像和第二圖像進(jìn)行圖像間預(yù)測(cè)編碼壓縮。
[0010]作為本發(fā)明的其他例子的圖像壓縮裝置包括獲取部、分離部、以及壓縮處理部。獲取部獲取二維狀地配置有多個(gè)顏色成分的像素的RAW圖像。分離部將RAW圖像內(nèi)的第一顏色成分分離為第一圖像和第二圖像。壓縮處理部基于第一圖像和第二圖像的圖像間的差量對(duì)第一圖像進(jìn)行壓縮處理。
[0011]作為本發(fā)明的其他例子的動(dòng)態(tài)圖像解碼裝置包括獲取壓縮RAW動(dòng)態(tài)圖像數(shù)據(jù)的獲取部、解碼處理部、以及圖像變換部。壓縮RAW動(dòng)態(tài)圖像數(shù)據(jù)是關(guān)于不同的3個(gè)顏色成分的像素按照2行2列的顏色排列周期性配置的多個(gè)幀，將與各幀的奇數(shù)行的第一顏色成分對(duì)應(yīng)的第一像素組和與偶數(shù)行的所述第一顏色成分對(duì)應(yīng)的第二像素組分別分離，并且將包括所述第一像素組的第一圖像和包括所述第二像素組的第二圖像交替地排列在時(shí)間軸方向上并進(jìn)行圖像間預(yù)測(cè)編碼壓縮而得到的。解碼處理部對(duì)壓縮RAW動(dòng)態(tài)圖像數(shù)據(jù)進(jìn)行解碼。圖像變換部按照顏色排列來重新排列被解碼的RAW動(dòng)態(tài)圖像數(shù)據(jù)的第一圖像和第二圖像。
[0012]作為本發(fā)明的其他例子的圖像解碼裝置包括獲取壓縮RAW動(dòng)態(tài)圖像數(shù)據(jù)的獲取部、對(duì)壓縮RAW動(dòng)態(tài)圖像數(shù)據(jù)進(jìn)行解碼的解碼處理部、以及圖像變換部。壓縮RAW動(dòng)態(tài)圖像數(shù)據(jù)是將二維狀地配置有多個(gè)顏色成分的像素的RAW圖像內(nèi)的第一顏色成分分離為第一圖像和第二圖像，并基于第一圖像和第二圖像的圖像間的差量對(duì)第一圖像進(jìn)行壓縮處理而得到的。圖像變換部按照預(yù)定的顏色排列來重新排列被解碼的RAW動(dòng)態(tài)圖像數(shù)據(jù)的第一圖像和第二圖像。
【附圖說明】
[0013]圖1是表不第一實(shí)施方式的電子相機(jī)的構(gòu)成例子的圖。
[0014]圖2的(a)-(d)是表示拜耳陣列中的各顏色像素的排列例子的圖。
[0015]圖3是表不壓縮處理部的構(gòu)成例子的圖。
[0016]圖4是表不解碼處理部的構(gòu)成例子的圖。
[0017]圖5是表示RAW動(dòng)態(tài)圖像記錄模式下的電子相機(jī)的動(dòng)作的流程圖。
[0018]圖6是表示作為編碼對(duì)象的RAW圖像的例子的圖。
[0019]圖7的(a)-(d)是表示通過第一動(dòng)作例子中的RAW圖像的顏色成分的重新排列而生成的圖像的圖。
[0020]圖8是表示RAW圖像全部是I幀的情況的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的例子的圖。
[0021]圖9是表示RAW圖像是I幀、P幀的情況的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的例子的圖。
[0022]圖10是表示RAW圖像是I幀、P幀、B幀的情況的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的例子的圖。
[0023]圖11是表示RAW圖像是I幀、P幀、B幀的情況的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的例子的圖。
[0024]圖12是表示基于像素插補(bǔ)處理的像素值的預(yù)測(cè)例子的圖。
[0025]圖13是表示基于像素插補(bǔ)處理的像素值的預(yù)測(cè)例子的圖。
[0026]圖14是表示基于像素插補(bǔ)處理的像素值的預(yù)測(cè)例子的圖。
[0027]圖15是表示基于像素偏移處理的像素值的預(yù)測(cè)例子的圖。
[0028]圖16是表示基于像素偏移處理的像素值的預(yù)測(cè)例子的圖。
[0029]圖17是表示基于像素偏移處理的像素值的預(yù)測(cè)例子的圖。
[0030]圖18是表示基于像素偏移處理的像素值的預(yù)測(cè)例子的圖。
[0031]圖19是表示基于像素偏移處理的像素值的預(yù)測(cè)例子的圖。
[0032]圖20是表示基于像素偏移處理的像素值的預(yù)測(cè)例子的圖。
[0033]圖21是表示基于像素偏移處理的像素值的預(yù)測(cè)例子的圖。
[0034]圖22是表示基于像素偏移處理的像素值的預(yù)測(cè)例子的圖。
[0035]圖23是表示基于像素偏移處理的像素值的預(yù)測(cè)例子的圖。
[0036]圖24是表示基于像素偏移處理的像素值的預(yù)測(cè)例子的圖。
[0037]圖25是表示基于像素偏移處理的像素值的預(yù)測(cè)例子的圖。
[0038]圖26的(a)、(b)是表示通過第二動(dòng)作例子中的RAW圖像的顏色成分的重新排列而生成的圖像的圖。
[0039]圖27的(a)、(b)是表示通過第二動(dòng)作例子的變形例I中的RAW圖像的顏色成分的重新排列而生成的圖像的圖。
[0040]圖28的(a)、(b)是表示通過第二動(dòng)作例子的變形例2中的RAW圖像的顏色成分的重新排列而生成的圖像的圖。
[0041]圖29的(a)、(b)是表示通過第三動(dòng)作例子中的RAW圖像的顏色成分的重新排列而生成的圖像的圖。
[0042]圖30的(a)、(b)是表示通過第三動(dòng)作例子的變形例中的RAW圖像的顏色成分的重新排列而生成的圖像的圖。
[0043]圖31是表示通過RAW動(dòng)態(tài)圖像記錄模式壓縮了的RAW動(dòng)態(tài)圖像的解碼動(dòng)作的例子的流程圖。
[0044]圖32是表示第二實(shí)施方式中的動(dòng)態(tài)圖像解碼裝置的構(gòu)成例子的圖。
【具體實(shí)施方式】
[0045]〈第一實(shí)施方式的說明〉
[0046]圖1是表示作為拍攝裝置、動(dòng)態(tài)圖像壓縮裝置、動(dòng)態(tài)圖像解碼裝置的一個(gè)例子的第一實(shí)施方式的電子相機(jī)的構(gòu)成例子的圖。
[0047]第一實(shí)施方式的電子相機(jī)100具有動(dòng)態(tài)圖像攝影功能，并且作為動(dòng)態(tài)圖像攝影模式之一而具有RAW動(dòng)態(tài)圖像記錄模式。RAW動(dòng)態(tài)圖像記錄模式下的電子相機(jī)100對(duì)數(shù)字顯像處理前的RAW形式的動(dòng)態(tài)圖像(RAW動(dòng)態(tài)圖像)進(jìn)行壓縮編碼并記錄。另外，數(shù)字顯像處理是指將未加工的RAW圖像變換為與照片相當(dāng)?shù)膱D像的圖像處理。作為一個(gè)例子，數(shù)字顯像處理包括顏色插補(bǔ)處理、灰度變換處理、白平衡調(diào)整處理、顏色變換處理。
[0048]電子相機(jī)100具有拍攝光學(xué)系統(tǒng)101、拍攝元件102、信號(hào)處理部103、圖像處理引擎104、第一存儲(chǔ)器105、第二存儲(chǔ)器106、記錄I/F107、顯示器108、以及操作部109。這里，信號(hào)處理部103、第一存儲(chǔ)器105、第二存儲(chǔ)器106、記錄I/F107、顯示器108、以及操作部109分別與圖像處理引擎104連接。另外，操作部109是接收用戶的操作(例如動(dòng)態(tài)圖像攝影的指示、模式切換的指示等)的開關(guān)。
[0049]拍攝光學(xué)系統(tǒng)101由例如包括變焦透鏡、聚焦透鏡的多個(gè)透鏡構(gòu)成。另外，為簡(jiǎn)單起見，在圖1中通過一個(gè)透鏡圖示了拍攝光學(xué)系統(tǒng)101。
[0050]拍攝元件102是對(duì)基于通過了拍攝光學(xué)系統(tǒng)101的光束而形成的被攝體的成像進(jìn)行拍攝(攝影)的設(shè)備。拍攝元件102的輸出與圖像處理引擎104連接。上述拍攝元件102既可以是依次掃描方式的固態(tài)成像元件(例如CCD)，也可以是XY尋址方式的固態(tài)成像元件(例如CMOS) ο
[0051]這里，在拍攝元件102的受光面上呈矩陣狀排列有多個(gè)受光元件(像素)。并且，分別使不同顏色成分的光透過的多種彩色濾光片按照預(yù)定的顏色排列而配置在拍攝元件102的像素中。因此，拍攝元件102的各個(gè)像素通過彩色濾光片的顏色分解而輸出與各顏色成分對(duì)應(yīng)的電信號(hào)。例如，在第一實(shí)施方式中，紅色(R)、綠色(G)、藍(lán)色(B)的彩色濾光片按照2行2列的拜耳陣列周期性地配置在受光面上。作為一個(gè)例子，在拍攝元件102的像素排列的奇數(shù)行交替地排列有G、B的像素，在像素排列的偶數(shù)行交替地排列有R、G的像素。并且，在像素排列的整體中，綠色像素配置成方格圖案。由此，拍攝元件102能夠在拍攝時(shí)獲取彩色的圖像。在本說明書的說明中，有時(shí)將奇數(shù)行的綠色像素表示為G1，將偶數(shù)行的綠色像素表示為G2。另外，拜耳陣列中的各顏色像素的排列圖案不限于上述例子，也可以是奇數(shù)行配置紅色像素、偶數(shù)行配置藍(lán)色像素。另外，圖2的(a)-(d)表示拜耳陣列中的各顏色像素的排列例子。
[0052]信號(hào)處理部103對(duì)從拍攝元件102輸入的圖像信號(hào)依次進(jìn)行模擬信號(hào)處理(相關(guān)雙采樣、黑電平校正等)、A/D轉(zhuǎn)換處理、數(shù)字信號(hào)處理(缺陷像素校正等)。從信號(hào)處理部103輸出的圖像(RAW圖像)的數(shù)據(jù)輸入到圖像處理引擎104。
[0053]圖像處理引擎104是綜合控制電子相機(jī)100的動(dòng)作的處理器。例如，圖像處理引擎104使用從拍攝元件102輸入的圖像信號(hào)來執(zhí)行自動(dòng)對(duì)焦(AF)、自動(dòng)曝光(AE)的控制。
[0054]另外，圖像處理引擎104具有顯像處理部111、圖像變換部112、壓縮處理部113、以及解碼處理部114。顯像處理部111對(duì)RAW圖像執(zhí)行上述數(shù)字顯像處理。
[0055]圖像變換部112在RAW動(dòng)態(tài)圖像記錄模式中基于像素的顏色成分將RAW動(dòng)態(tài)圖像的各幀分別分離為多個(gè)圖像。例如，圖像變換部112按照顏色來分離RAW動(dòng)態(tài)圖像的I幀的像素并將其重新排列。并且，圖像變換部112例如分離為包括與奇數(shù)行的綠色成分(Gl)對(duì)應(yīng)的第一像素組的第一圖像、以及包括與偶數(shù)行的綠色成分(G2)對(duì)應(yīng)的第二像素組的第二圖像。另外，后面將詳細(xì)地說明第一圖像和第二圖像的例子。
[0056]另外，圖像變換部112在RAW動(dòng)態(tài)圖像記錄模式中將上述第一圖像和第二圖像交替地排列在時(shí)間軸方向上并輸出。另外，圖像變換部112在對(duì)通過RAW動(dòng)態(tài)圖像記錄模式壓縮了的動(dòng)態(tài)圖像數(shù)據(jù)進(jìn)行解碼時(shí)，重新排列第一圖像和第二圖像而解碼為原來的RAW圖像。
[0057]壓縮處理部113將動(dòng)態(tài)圖像的各幀分割為預(yù)定尺寸的塊(block)單位，并使用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)來對(duì)動(dòng)態(tài)圖像的數(shù)據(jù)進(jìn)行壓縮編碼。另外，RAW動(dòng)態(tài)圖像記錄模式下的壓縮處理部113對(duì)由圖像變換部112排列在時(shí)間軸方向上的第一圖像和第二圖像進(jìn)行圖像間預(yù)測(cè)編碼壓縮。另外，后面將詳細(xì)地說明壓縮處理部113的構(gòu)成例子。
[0058]解碼處理部114對(duì)由壓縮處理部113進(jìn)行了壓縮編碼的動(dòng)態(tài)圖像的數(shù)據(jù)進(jìn)行編碼。另外，后面將詳細(xì)地說明編碼處理部114的構(gòu)成例子。
[0059]另外，圖像處理引擎104所包括的顯像處理部111、圖像變換部112、壓縮處理部113、以及解碼處理部114的功能塊能夠通過任意的處理器、存儲(chǔ)器、以及其他的LSI來硬件化地實(shí)現(xiàn)，也可通過加載于存儲(chǔ)器的程序等來軟件化地實(shí)現(xiàn)。
[0060]第一存儲(chǔ)器105在圖像處理的前步驟或后步驟來暫時(shí)地存儲(chǔ)圖像的數(shù)據(jù)。例如，第一存儲(chǔ)器105是作為易失性存儲(chǔ)介質(zhì)的SDRAM (Synchronous Dynamic Random AccessMemory)。另外，第二存儲(chǔ)器106存