圖像處理設(shè)備和圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像處理設(shè)備和圖像處理方法。特別地，本發(fā)明涉及用于處理運動圖像或靜止圖像的RAW圖像的技術(shù)。
【背景技術(shù)】
[0002]傳統(tǒng)上，攝像設(shè)備對圖像傳感器所拍攝到的原始圖像信息(RAW圖像)進行去拜爾(de-Bayer)處理(去馬賽克處理)，將該圖像轉(zhuǎn)換成包括亮度和色差的信號，并且針對各信號進行包括噪聲去除、光學(xué)失真校正和圖像優(yōu)化的所謂的顯像處理。通常，在這種顯像處理之后，對亮度信號和色差信號進行壓縮和編碼并最終記錄在存儲介質(zhì)中。
[0003]其它的傳統(tǒng)攝像設(shè)備能夠記錄RAW圖像。在記錄RAW圖像的情況下，需要記錄大量數(shù)據(jù)。然而，由于可以使原始圖像的校正或劣化為最低限度并且可以在拍攝到RAW圖像之后編輯這些RAW圖像(這些在記錄RAW圖像的情況下是有利的)，因此高級用戶優(yōu)選使用這種攝像設(shè)備。
[0004]日本特開2011-244423論述了能夠記錄RAW圖像的攝像設(shè)備。根據(jù)日本特開2011-244423，連同RAW圖像一起記錄顯像參數(shù)，并且在進行再現(xiàn)的情況下，使用這些顯像參數(shù)來對RAW圖像進行顯像和再現(xiàn)。
[0005]近年來，攝像設(shè)備已配備有更高級的圖像傳感器，并且每個圖像的像素數(shù)已大幅增加。另外，呈現(xiàn)每秒可以連續(xù)拍攝到的圖像的數(shù)量不斷增加的趨勢。因而，包括針對RAW圖像的去拜爾處理以及諸如噪聲去除和光學(xué)失真校正等的顯像處理的處理量協(xié)同地增加。結(jié)果，與攝像操作同時進行實時顯像處理需要更多的電路和更大的電力消耗。顯像處理需要更大的電路面積或者對電力消耗施加了限制。因此，在一些情況下，無法實現(xiàn)高的攝像性會K。
[0006]另一方面，如上述日本特開2011-244423所論述的，如果在無需進行顯像的情況下記錄RAW圖像，則可以減少攝像操作期間的顯像所需的處理量。然而，由于在無需進行顯像的情況下記錄RAW圖像，因此難以迅速地再現(xiàn)并顯示圖像。另外，由于RAW圖像特有的數(shù)據(jù)的特殊性，因此可能無法利用其它裝置對這些RAW圖像進行再現(xiàn)(顯像)。S卩，利用傳統(tǒng)的RAW圖像記錄方法，用戶友好性可能劣化。
[0007]因而，存在為了使得傳統(tǒng)設(shè)備能夠?qū)崿F(xiàn)高的攝像性能并迅速地顯示再現(xiàn)圖像而要解決的問題。也就是說，需要將高成本的電路安裝在這些設(shè)備上并利用高功率驅(qū)動這些設(shè)備，或者需要迅速地且簡單地記錄并再現(xiàn)RAW圖像。
[0008]引f列表
[0009]專利文獻
[0010]專利文獻1:日本特開2011-244423

【發(fā)明內(nèi)容】

[0011]本發(fā)明涉及如下技術(shù)，其中該技術(shù)用于通過使用用于記錄RAW圖像的結(jié)構(gòu)來實現(xiàn)RAW圖像的再現(xiàn)圖像的快速顯示。另外，本發(fā)明涉及如下技術(shù)，其中該技術(shù)用于通過使用顯像后的記錄圖像和所記錄的RAW圖像來實現(xiàn)快速顯示以及所需部分的高質(zhì)量圖像顯示。
[0012]根據(jù)本發(fā)明的一個方面，一種圖像處理設(shè)備，包括:攝像單元，用于拍攝被攝體圖像，并且生成表示RAW圖像的信息；第一顯像單元，用于獲取表示所述RAW圖像的信息，并且對所述RAW圖像進行顯像；存儲單元，用于將RAW文件以及所述第一顯像單元進行了顯像的圖像的圖像文件存儲在存儲器中，其中所述RAW文件用以將表示所述RAW圖像的信息直接存儲為RAW圖像；第二顯像單元，用于在預(yù)定間隔中或在空閑狀態(tài)下讀取所述存儲器中所存儲的所述RAW文件，并且對所述RAW圖像進行顯像，以獲得相比所述第一顯像單元所獲得的圖像具有更高圖像質(zhì)量的圖像；以及再現(xiàn)單元，用于在給出了用以開始特定圖像的再現(xiàn)的指示且所述第二顯像單元沒有完成所述RAW圖像的顯像的情況下，再現(xiàn)從所述圖像文件所獲得的所述第一顯像單元進行了顯像的圖像，以及在所述第二顯像單元完成了所述RAW圖像的顯像的情況下，再現(xiàn)所述第二顯像單元進行了顯像的圖像。
[0013]通過以下參考附圖對典型實施例的說明，本發(fā)明的其它特征將變得明顯。
【附圖說明】
[0014]圖1是示出根據(jù)本發(fā)明典型實施例的攝像設(shè)備的結(jié)構(gòu)的框圖。
[0015]圖2是根據(jù)本典型實施例的狀態(tài)轉(zhuǎn)變圖。
[0016]圖3是示出根據(jù)本典型實施例的靜止圖像拍攝模式的處理的流程圖。
[0017]圖4A示出根據(jù)本典型實施例的靜止圖像文件和RAW文件的結(jié)構(gòu)。
[0018]圖4B示出根據(jù)本典型實施例的靜止圖像文件和RAW文件的結(jié)構(gòu)。
[0019]圖5是示出根據(jù)本典型實施例的空閑狀態(tài)的處理的流程圖。
[0020]圖6是示出根據(jù)本典型實施例的靜止圖像再現(xiàn)模式的處理的流程圖。
[0021]圖7A示出根據(jù)本典型實施例的靜止圖像再現(xiàn)模式的顯示處理。
[0022]圖7B示出根據(jù)本典型實施例的靜止圖像再現(xiàn)模式的顯示處理。
[0023]圖7C示出根據(jù)本典型實施例的靜止圖像再現(xiàn)模式的顯示處理。
[0024]圖8是示出根據(jù)本典型實施例的運動圖像拍攝模式的處理的流程圖。
[0025]圖9A示出根據(jù)本典型實施例的運動圖像文件和RAW運動圖像文件的結(jié)構(gòu)。
[0026]圖9B示出根據(jù)本典型實施例的運動圖像文件和RAW運動圖像文件的結(jié)構(gòu)。
[0027]圖10是示出根據(jù)本典型實施例的運動圖像再現(xiàn)模式的處理的流程圖。
[0028]圖11示出像素陣列。
【具體實施方式】
[0029]以下將參考附圖來詳細說明本發(fā)明的各種典型實施例、特征和方面。
[0030]圖1是示出根據(jù)本發(fā)明典型實施例的攝像設(shè)備100的結(jié)構(gòu)的框圖。圖1所示的攝像設(shè)備100不僅可以將通過對被攝體攝像所獲得的圖像信息記錄在存儲介質(zhì)中，而且還可以再現(xiàn)從存儲介質(zhì)所讀取的圖像信息。另外，攝像設(shè)備100例如可以對這種圖像信息進行顯像和顯示并且與外部裝置或服務(wù)器(云)交換圖像信息。因而，可以將根據(jù)本發(fā)明典型實施例的攝像設(shè)備100表現(xiàn)為圖像處理設(shè)備、記錄設(shè)備、再現(xiàn)設(shè)備、記錄再現(xiàn)設(shè)備或通信設(shè)備。
[0031]在圖1中，控制單元161包括中央處理單元(CPU)和存儲該CPU要執(zhí)行的控制程序的存儲器?？刂茊卧?61控制攝像設(shè)備100的整體處理。操作單元162包括包含用戶向攝像設(shè)備100給出指示所用的鍵、按鈕和觸摸面板的輸入裝置?？刂茊卧?61檢測來自操作單元162的操作信號，并且控制攝像設(shè)備100，以使得攝像設(shè)備100進行適合該操作信號的操作。顯示單元123包括用于顯示攝像設(shè)備100所拍攝或所再現(xiàn)的圖像、菜單畫面和各種信息的液晶顯示器(IXD)。
[0032]如果用戶經(jīng)由操作單元162給出用于開始攝像操作的指示，則經(jīng)由攝像光學(xué)單元101輸入對象被攝體的光學(xué)圖像并且在圖像傳感器單元102上形成該光學(xué)圖像。在攝像的情況下，照相機控制單元104基于評價值計算單元105所獲取到的與光圈、焦點和照相機抖動等有關(guān)的評價值的計算結(jié)果并且基于識別單元131所提取的與面部識別結(jié)果等有關(guān)的被攝體信息，來控制攝像光學(xué)單元101和圖像傳感器單元102的操作。
[0033]圖像傳感器單元102將透過紅色、綠色和藍色(RGB)鑲嵌顏色濾波器的光轉(zhuǎn)換成電氣信號，其中針對各像素配置一個濾波器。圖11示出圖像傳感器單元102中所配置的顏色濾波器。圖11示出攝像設(shè)備100所處理的圖像的像素陣列。如圖11所示，紅色(R)、綠色(G)和藍色(B)濾波器呈鑲嵌圖案配置，其中針對各像素配置一個濾波器。每組2行X 2列的4個像素(一個紅色像素、一個藍色像素和兩個綠色像素)規(guī)則地并排排列。通常將這種像素配置稱為拜爾陣列。
[0034]傳感器信號處理單元103對圖像傳感器單元102所獲得的轉(zhuǎn)換得到的電氣信號進行像素恢復(fù)處理。傳感器信號處理單元103通過使用相鄰像素的值來對圖像傳感器單元102所獲得的缺失像素或低可靠性像素的值進行恢復(fù)處理。這樣，傳感器信號處理單元103對恢復(fù)對象像素進行插值并且減去預(yù)定的偏移值。在本典型實施例中，將從傳感器信號處理單元103輸出的圖像信息稱為表示原始(未顯像)圖像的RAW圖像信息(以下稱為RAW圖像)。
[0035]顯像單元110對這種RAW圖像進行顯像。顯像單元110包括多個不同的顯像處理單元。顯像單元110包括作為第一顯像單元的簡單顯像單元111和作為第二顯像單元的高質(zhì)量圖像顯像單元112。另外，顯像單元110包括選擇來自該單元111或112的輸出的開關(guān)單元121。簡單顯像單元111和高質(zhì)量圖像顯像單元112這兩者對RAW圖像進行去拜爾處理(去馬賽克處理)、即顏色插值處理。這些顯像單元111和112將RAW圖像轉(zhuǎn)換成亮度信號和色差(或原色)信號，去除各信號中所包含的噪聲，校正光學(xué)失真，并且使圖像最優(yōu)化。即，這些顯像單元111和112進行所謂的顯像處理。
[0036]特別地，高質(zhì)量圖像顯像單元112相比簡單顯像單元111更加精確地進行各處理。通過更加精確地進行各處理，高質(zhì)量圖像顯像單元112產(chǎn)生圖像質(zhì)量相比簡單顯像單元111所產(chǎn)生的圖像質(zhì)量更高的顯像圖像。然而，高質(zhì)量圖像顯像單元112的處理負荷大于簡單顯像單元111的處理負荷。因而，本典型實施例中的高質(zhì)量圖像顯像單元112沒有被配置成與攝像操作同時進行實時顯像。高質(zhì)量圖像顯像單元112被配置為在攝像操作之后的空閑時間段內(nèi)存在足夠時間的情況下，能夠進行分散處理。代替在攝像操作期間進行高質(zhì)量圖像顯像，通過允許高質(zhì)量圖像顯像單元112在攝像操作之后存在足夠時間的情況下進行高質(zhì)量圖像顯像，可以使電路規(guī)?；螂娏ο牡脑黾?峰值)減小為低水平。作為對比，簡單顯像單元111被配置為需要相比高質(zhì)量圖像顯像所需的處理量更低的顯像處理量，由此在攝像操作期間簡單顯像單元111可以相比高質(zhì)量圖像顯像單元112更快地進行顯像處理。然而，簡單顯像單元111所產(chǎn)生的顯像圖像的質(zhì)量低于高質(zhì)量圖像顯像單元112所產(chǎn)生的顯像圖像的質(zhì)量。由于簡單顯像單元111的處理負荷較低，因此主要在攝像設(shè)備100與攝像操作同時進行實時顯像的情況下使用簡單顯像單元111。利用控制單元161根據(jù)用戶經(jīng)由操作單元162所輸入的操作或者根據(jù)當前操作模式來切換開關(guān)單元121。另外，信號被輸出至的僅一個單元即簡單顯像單元111或高質(zhì)量圖像顯像單元112可以與開關(guān)單元121的切換連動地進行顯像操作。
[0037]在本典型實施例中，顯像單元110單獨包括簡單顯像單元111和高質(zhì)量圖像顯像單元112。然而，可選地，可以配置單個顯像單元以通過切換操作模式來選擇性地進行簡單顯像處理和高質(zhì)量圖像顯像處理。
[0038]顯示處理單元122對顯像單元110進行了顯像的圖像信息進行預(yù)定顯示處理。接著，顯示單元123顯示該圖像。另外，可以將顯像后的圖像信息經(jīng)由視頻輸出端子124輸出至外部顯示裝置。視頻輸出端子124的示例包括諸如高清晰度多媒體接口(HDMI)或串行數(shù)字接口(SDI)等的通用接口。
[0039]還將顯像單元110進行了顯像的圖像信息供給至評價值計算單元105。評價值計算單元105根據(jù)該圖像信息來計算諸如表示聚焦狀態(tài)和曝光狀態(tài)的評價值等的評價值。
[0040]還將顯像單元110進行了顯像的圖像信息供給至識別單元131。識別單元131具有檢測并識別該圖像信息中的諸如面部或人等的被攝體信息的功能。例如，如果識別單元131檢測到該圖像信息所表示的畫面上的面部，則識別單元131輸出表示該面部的位置的信息。另外，例如，識別單元131基于與諸如面部等的特征有關(guān)的信息來進行特定人的認證。
[0041]將顯像單元110進行了顯像的圖像信息供給至靜止圖像壓縮單元141或運動圖像壓縮單元142。靜止圖像壓縮單元141和運動圖像壓縮單元142分別用于將該圖像信息壓縮作為靜止圖像和運動圖像。靜止圖像壓縮單元141和運動圖像壓縮單元142對對象圖像信息進行高效率編碼(壓縮編碼)，生成具有壓縮信息量的圖像信息，并且將該圖像信息轉(zhuǎn)換成圖像文件(靜止圖像文件或運動圖像文件)。可以使用JPEG等來進行靜止圖像的壓縮，而可以使用MPEG-2、H.264或H.265等來進行運動圖像的壓縮。
[0042]RAff壓縮單元113通過使用諸如小波