圖像處理裝置及圖像處理方法以及數(shù)碼相的制造方法
【專利摘要】在圖像處理裝置中具有：縮小調(diào)整大小處理部(102)，其將從單板彩色攝像元件得到的原圖像縮小成對應(yīng)于顯示監(jiān)視器的顯示尺寸的圖像；以及顏色再排列數(shù)據(jù)生成處理部(103)，其根據(jù)該縮小的圖像，生成能夠?qū)?yīng)于顯示監(jiān)視器的彩色像素排列的一種以上的顏色排列圖像，在圖像處理裝置中生成由原圖像的顏色信息所構(gòu)成的一種以上的顯示用縮小圖像。由此，在由從攝像元件輸出的大尺寸原圖像生成處理出顯示用小尺寸圖像并進(jìn)行顯示時，能以最小幀延遲來進(jìn)行高速的顯示。
【專利說明】圖像處理裝置及圖像處理方法以及數(shù)碼相機(jī)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理裝置及圖像處理方法以及數(shù)碼相機(jī)，其適于在顯示將從單板彩色攝像元件得到的原圖像縮小的圖像時，實現(xiàn)高速而省電的動作。
【背景技術(shù)】
[0002]近幾年，在安裝有大畫幅尺寸的攝像元件的單反數(shù)碼相機(jī)中，不安裝光學(xué)取景器及動鏡的無反光鏡可換鏡頭相機(jī)(Mirrorless Interchangeable Lens Camera)備受矚目。無反光鏡的可換鏡頭相機(jī)的特征在于，能夠一邊從液晶監(jiān)視器確認(rèn)攝影被攝體一邊決定構(gòu)圖來進(jìn)行靜止圖像撮影、動態(tài)圖像撮影。這在普及型數(shù)碼相機(jī)機(jī)、手機(jī)的相機(jī)也已經(jīng)成為標(biāo)準(zhǔn)的攝影方式。
[0003]如上所述，一般的數(shù)碼相機(jī)安裝有專用的液晶監(jiān)視器，在這樣的數(shù)碼相機(jī)中，一邊從液晶監(jiān)視器確認(rèn)攝影被攝體一邊決定構(gòu)圖，同時進(jìn)行臉部識別、動作識別等而自動地調(diào)整特定區(qū)域的曝光、對焦，從而進(jìn)行靜止圖像攝影、動態(tài)圖像攝影。
[0004]在山這樣的數(shù)碼相機(jī)所代表的攝像裝置中，為了拍攝彩色圖像而在攝像元件上設(shè)有分色濾色器。例如，在拜爾(Bayer)方式的分色濾色器中，對應(yīng)于攝像元件的像素，R(紅)、G(綠)、B(藍(lán))原色過濾器被配置成方格圖案。即，在拜爾排列中，沿像素排列的傳感器讀出方向及垂直方向這兩個方向，相同顏色成分的濾色器每隔一個像素排列。通過這樣的分色濾色器拍攝的、作為攝像元件的輸出的圖像數(shù)據(jù)，為了通過圖像處理而再現(xiàn)被攝體的顏色，在輸入前段處理中，需要被處理成保持拜爾排列。
[0005]在由從攝像元件輸出的大尺寸原圖像生成處理出顯示用小尺寸圖像并進(jìn)行顯示時，是以原圖像為基礎(chǔ)一邊進(jìn)行動態(tài)范圍調(diào)整或取白平衡，一邊對各像素進(jìn)行取得R / G /B信息的同步化處理后，經(jīng)過轉(zhuǎn)換為一般使用的Y / Cr / Cb的數(shù)據(jù)類型的彩色圖像處理，之后實施縮小調(diào)整大小處理以符合液晶監(jiān)視器的顯示尺寸，并實施符合監(jiān)視器特性的顯示處理，從而顯示于專用監(jiān)視器。
[0006]圖10表不一般數(shù)碼相機(jī)的內(nèi)部信號處理模塊的概念圖。
[0007]在該圖中，通過光學(xué)透鏡11的被攝體光學(xué)圖像在攝像元件面成像，并且從攝像元件往外輸出。單板式攝像元件的原圖像(I面)、即拜爾排列的RAW圖像數(shù)據(jù)101在前處理部105實施DC電平調(diào)整、增益調(diào)整等，并且在通過存儲控制部107先寫入到存儲部108后，在下一個處理中通過存儲控制部107被從存儲部108讀出，并且輸入到圖像信號處理部109。在圖像信號處理部109中，進(jìn)行將拜爾排列的RAW圖像轉(zhuǎn)換成Y / Cr / Cb數(shù)據(jù)類型的圖像信號處理。
[0008]在圖像信號處理部109中，在轉(zhuǎn)換成Y / Cr / Cb數(shù)據(jù)類型的圖像的同時，為了縮小成顯示用圖像尺寸，實施縮小調(diào)整大小處理，生成希望的顯示尺寸圖像。生成的顯示尺寸的Y / Cr / Cb數(shù)據(jù)類型圖像通過存儲控制部107再一次被寫入到存儲部108。
[0009]同時，在圖像信號處理部109中，在轉(zhuǎn)換成Y / Cr / Cb數(shù)據(jù)類型的圖像后，為了縮小成臉部檢測用圖像尺寸，對亮度信號Y實施縮小調(diào)整大小處理，生成希望的臉部檢測用亮度圖像數(shù)據(jù)。臉部檢測處理部106通過存儲控制部107將通過存儲控制部107被寫入到存儲部108的、臉部檢測用尺寸的亮度信號Y的數(shù)據(jù)類型圖像再次從存儲部108適當(dāng)?shù)刈x出，并提取出圖像內(nèi)的臉部位置、大小等臉部信息，該提取結(jié)果信息通過存儲控制部107被寫入到存儲部108。CPU114通過存儲控制部107將寫入到存儲部108的臉部檢測信息讀出，從臉部檢測信息轉(zhuǎn)換成顯示臉部位置的顯示信息，并且生成顯示數(shù)據(jù)且寫入到存儲部108。同時，CPUl 14以臉部識別信息為基礎(chǔ)，自動調(diào)整特定區(qū)域的曝光、對焦。
[0010]被寫入到所述存儲部108的、呈顯示尺寸的Y / Cr / Cb數(shù)據(jù)類型圖像，通過存儲控制部107再次被從存儲部108讀出，并且被輸入到顯示處理部117。此時，表示所述臉部位置的顯示信息也同時被從存儲部108讀出而被輸入到顯示處理部117。
[0011]被輸入到顯示處理部117的Y / Cr / Cb數(shù)據(jù)類型圖像和顯示臉部位置的顯示信息在顯示處理部117被轉(zhuǎn)換成適合監(jiān)視器118的監(jiān)視器特性的數(shù)據(jù)規(guī)格，并且被輸出到監(jiān)視器118進(jìn)行顯示。
[0012]此外，在標(biāo)準(zhǔn)化尺寸下進(jìn)行動態(tài)圖像記錄時，與上述相同地，在圖像信號處理部109將原圖像101轉(zhuǎn)換為Y / Cr / Cb數(shù)據(jù)類型的圖像后，在圖像信號處理暨縮小調(diào)整大小處理部109實施縮小調(diào)整大小處理，生成希望的動態(tài)圖像記錄尺寸。
[0013]生成的動態(tài)圖像記錄尺寸的Y / Cr / Cb數(shù)據(jù)類型圖像通過存儲控制部107再次被寫入到存儲部108。被寫入到存儲部108的動態(tài)圖像記錄尺寸的Y / Cr / Cb數(shù)據(jù)類型圖像通過存儲控制部107再次被從存儲部108讀出，并且被輸入到壓縮解壓部110。被輸入到壓縮解壓部110的Y / Cr / Cb數(shù)據(jù)類型圖像使用MJPEG或MPEG、H264等動態(tài)圖像編解碼器方式進(jìn)行數(shù)據(jù)壓縮，并且通過存儲控制部107再次被寫入存儲部108。壓縮的動態(tài)圖像數(shù)據(jù)通過存儲控制部107再次被從存儲部108讀出，并且通過記錄介質(zhì)接口 111寫入到記錄介質(zhì)112。
[0014]圖11表示詳圖，該詳圖表示所描述的一般數(shù)碼相機(jī)的內(nèi)部信號處理的流程。
[0015]在該圖中，以任意二維尺寸的拜爾排列RAW圖像數(shù)據(jù)101被輸入的時段作為第一幀時段。被輸入的RAW圖像數(shù)據(jù)101在該第一幀時段內(nèi)被實施在前處理部105的處理。在之后的第二幀時段中，被實施圖像信號處理部109的處理，在第三幀時段中，被實施在顯示處理部117的處理，并且顯示于監(jiān)視器118。然后，在該第三幀時段以后，實施在臉部檢測部106的檢測處理，并且實施在壓縮解壓部110的處理，從而壓縮數(shù)據(jù)通過記錄介質(zhì)接口 111記錄到記錄介質(zhì)112。
[0016]在此，著眼于所述第一?第三幀時段中的處理方法的順序時，被輸入的RAW圖像101相對的會延遲最少兩幀時段而顯示于監(jiān)視器118。
[0017]以往，作為在前處理中對來自RGB數(shù)據(jù)的RAW圖像進(jìn)行縮小調(diào)整大小的技術(shù)，例如在專利文獻(xiàn)I?3公開有這樣的方法。即，當(dāng)對作為原圖像的RGB的RAW數(shù)據(jù)調(diào)整大小時，在最初的處理中色分離成獨立的R、G、B數(shù)據(jù)，或者，通過同色像素的混合來間隔提取的方法。在這些專利文獻(xiàn)I?3中，當(dāng)進(jìn)行數(shù)碼相機(jī)的攝影而一邊從液晶監(jiān)視器確認(rèn)攝影被攝體一邊決定構(gòu)圖時，會進(jìn)行如下的信號處理。即，將以所述方法縮小后的一種RGB拜爾排列的RAW數(shù)據(jù)先取入到存儲部，之后，實施轉(zhuǎn)換成Y / Cr / Cb數(shù)據(jù)類型的彩色顯像圖像處理，并且實施符合液晶監(jiān)視器的規(guī)格及特性的顯示處理，在顯示于專用監(jiān)視器的同時，將Y / Cr / Cb數(shù)據(jù)壓縮并進(jìn)行記錄。[0018]專利文獻(xiàn)1:日本公開特許公報特開2003-346143號公報
[0019]專利文獻(xiàn)2:日本公開特許公報特開2001-245141號公報
[0020]專利文獻(xiàn)3:日本公開特許公報特開2002-84547號公報

【發(fā)明內(nèi)容】

[0021]-發(fā)明要解決的技術(shù)問題-
[0022]但是，所述圖9及圖10所示的以往的信號處理存在有問題。即，起因于進(jìn)行將任意一種RAW圖像轉(zhuǎn)換成Y / Cr/Cb數(shù)據(jù)類型的信號處理后，進(jìn)行多個尺寸的縮小圖像處理這一點而有以下的兩個問題存在。
[0023](I)在一邊確認(rèn)攝影被攝體一邊決定構(gòu)圖的監(jiān)視器模式及動態(tài)圖像記錄模式中，因為是將大尺寸RAW圖像數(shù)據(jù)在大尺寸狀態(tài)下直接進(jìn)行圖像信號處理而轉(zhuǎn)換成WCr/Cb數(shù)據(jù)，之后才實施縮小圖像處理，所以伴隨著該Y / Cr/Cb數(shù)據(jù)類型轉(zhuǎn)換的冗長處理會導(dǎo)致監(jiān)視器模式的顯示產(chǎn)生幀延遲，無法即時地顯示被攝體的動作，從而有進(jìn)行靜止圖像攝影時錯過按下快門的時機(jī)的情況發(fā)生。
[0024](2)縮小調(diào)整大小處理是減少記錄圖像數(shù)的處理，盡可能在圖像處理的前段實施的話，則能夠減少在后段處理中對存儲器進(jìn)行存取的次數(shù)，但是如果像以往那樣在轉(zhuǎn)換成Y / Cr / Cb數(shù)據(jù)類型之后實施縮小調(diào)整大小的情況下，則此時被間隔提取而舍去的數(shù)據(jù)，其向Y / Cr / Cb數(shù)據(jù)類型的轉(zhuǎn)換處理就成為冗長處理。并且，由于該向Y / Cr / Cb數(shù)據(jù)類型的轉(zhuǎn)換處理是經(jīng)由存儲緩沖器進(jìn)行處理，所以與對圖像尺寸的處理量成比例地伴隨著I / O緩沖器的耗電，從省電觀點來看效率并不好。
[0025]同樣的，在攝像元件的高像素化和對應(yīng)于動態(tài)圖像記錄的高速讀出處理技術(shù)有所進(jìn)展的狀況下，專利文獻(xiàn)I?3所公開的技術(shù)中，雖然是在處理的前階段使RAW圖像縮小，但是當(dāng)數(shù)碼相機(jī)的攝影時，在一邊從液晶監(jiān)視器上確認(rèn)攝影被攝體一邊決定構(gòu)圖，又同時一邊進(jìn)行臉部識別等各種識別動作，一邊實施即時的自動對焦(AF)、自動曝光(AE)等的監(jiān)視器模式狀態(tài)下，會經(jīng)由存儲緩沖器進(jìn)行向Y / Cr / Cb數(shù)據(jù)類型的轉(zhuǎn)換處理，該轉(zhuǎn)換處理成為在監(jiān)視器顯示及圖像識別等時產(chǎn)生幀延遲的主要原因。
[0026]本發(fā)明有鑒于上述問題而完成，其目的在于使得圖像處理裝置能夠在原圖像被輸入的幀時段內(nèi)，由從攝像元件輸出的大尺寸RAW原圖像生成處理出顯示用小尺寸RAW圖像，并且顯示于監(jiān)視器。
[0027]-用以解決技術(shù)問題的技術(shù)方案-
[0028]為達(dá)成上述目的，在本發(fā)明中，不實施從原圖像轉(zhuǎn)換為Y / Cr / Cb數(shù)據(jù)類型的彩色顯像圖像處理，而是從RAW原圖像生成處理出監(jiān)視器顯示圖像用的小尺寸RAW圖像，通過這樣來提供圖像處理裝置及圖像處理方法，其能夠高速地實現(xiàn)不會在監(jiān)視器產(chǎn)生幀延遲的顯示動作。
[0029]具體而言，第一方面的發(fā)明的圖像處理裝置，其能夠從山顏色排列具有周期性的多種顏色的像素構(gòu)成的原圖像的數(shù)字圖像信號生成縮小圖像并進(jìn)行顯示，該圖像處理裝置的特征在于具有:縮小調(diào)整大小處理部，其將從單板彩色攝像元件得到的原圖像縮小成對應(yīng)于顯示監(jiān)視器的顯示尺寸的圖像；以及，顏色再排列數(shù)據(jù)生成處理部，其根據(jù)通過所述縮小調(diào)整大小處理部縮小的縮小圖像，生成山所述原圖像的顏色信息所構(gòu)成的一種以上的顯示用縮小圖像。
[0030]第一方面的發(fā)明的圖像處理裝置，其能夠從山顏色排列具有周期性的多種顏色的像素構(gòu)成的原圖像的數(shù)字圖像信號生成縮小圖像并進(jìn)行顯示，該圖像處理裝置的特征在于具有:縮小調(diào)整大小處理部，其將從單板彩色攝像元件得到的原圖像縮小成對應(yīng)于顯示監(jiān)視器的顯示尺寸的圖像；顏色再排列數(shù)據(jù)生成處理部，其根據(jù)通過所述縮小調(diào)整大小處理部縮小的縮小圖像，生成由所述原圖像的顏色信息所構(gòu)成的一種以上的顯示用縮小圖像；以及，顏色再排列顯示數(shù)據(jù)生成處理部，其根據(jù)通過所述顏色再排列數(shù)據(jù)生成處理部生成的顯示用縮小圖像，生成能夠?qū)?yīng)于所述顯示監(jiān)視器的彩色像素排列的一種以上的顏色排列顯示數(shù)據(jù)。
[0031]第三方面的發(fā)明的特征在于，在第一或第二方面的發(fā)明所述的圖像處理裝置中，還具有:將所述顯示用縮小圖像從所述顏色再排列數(shù)據(jù)生成處理部直接輸入到顯示處理部的數(shù)據(jù)路徑，該顯示處理部進(jìn)行對應(yīng)于所述顯示監(jiān)視器的顯示特性的顯示處理；以及，將所述顯示用縮小圖像從所述顏色再排列數(shù)據(jù)生成處理部通過存儲部輸入到所述顯示處理部的數(shù)據(jù)路徑，根據(jù)攝影時的動作模式控制所述存儲部的存儲控制部，選擇性地進(jìn)行將所述顯示用縮小圖像從所述顏色再排列數(shù)據(jù)生成處理部直接輸入到所述顯示處理部、或是將所述顯示用縮小圖像從所述顏色再排列數(shù)據(jù)生成處理部通過所述存儲部輸入到所述顯示處理部的圖像輸入數(shù)據(jù)路徑控制。
[0032]第四方面的發(fā)明的特征在于，在第一到第三方面中任一方面的發(fā)明所述的圖像處理裝置中，所述縮小調(diào)整大小處理部的縮小調(diào)整大小處理、以及所述顏色再排列數(shù)據(jù)生成處理部的顏色再排列數(shù)據(jù)生成處理，能夠在對原圖像進(jìn)行的水平方向處理中實施，并且能夠在對原圖像進(jìn)行的垂直方向處理中實施。
[0033]第五方面的發(fā)明的特征在于，在第一到第四方面中任一方面的發(fā)明所述的圖像處理裝置中，所述縮小調(diào)整大小處理部以及所述顏色再排列數(shù)據(jù)生成處理部:通過傳感器讀出方向的行單位的第一縮小調(diào)整大小處理對所述原圖像僅沿一個方向進(jìn)行縮小調(diào)整大小處理，并且，根據(jù)該僅沿一個方向被縮小調(diào)整大小處理后的一個多色排列數(shù)據(jù)，進(jìn)行沿與所述第一縮小調(diào)整大小處理正交的垂直方向的第二縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理，生成被二維縮小調(diào)整大小處理后的兩種多色排列數(shù)據(jù)，并且，對所述兩種多色排列數(shù)據(jù)分別進(jìn)行作為再次的行單位處理的顏色再排列數(shù)據(jù)生成處理，生成多種多色排列數(shù)據(jù)。
[0034]第六方面的發(fā)明的特征在于，在第五方面的發(fā)明所述的圖像處理裝置中，所述縮小調(diào)整大小處理部及所述顏色再排列數(shù)據(jù)生成處理部:將通過所述第一縮小調(diào)整大小處理對所述原圖像僅沿水平方向進(jìn)行縮小調(diào)整大小處理后的一種多色排列數(shù)據(jù)寫入到存儲裝置，并且，當(dāng)從所述存儲裝置讀出所述一種多色排列數(shù)據(jù)時，沿著與寫入時的行方向正交的方向以行單位讀出，并進(jìn)行再次的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理，生成被二維縮小調(diào)整大小處理后的兩種顏色排列數(shù)據(jù)，并且，對所述兩種多色排列數(shù)據(jù)分別進(jìn)行作為再次的行單位處理的顏色再排列數(shù)據(jù)生成處理，生成多種多色排列數(shù)據(jù)。
[0035]第七方面的發(fā)明的特征在于，在第六方面的發(fā)明所述的圖像處理裝置中，所述縮小調(diào)整大小處理部及所述顏色再排列數(shù)據(jù)生成處理部一邊將通過所述第一縮小調(diào)整大小處理對所述原圖像僅沿一個方向進(jìn)行縮小調(diào)整大小處理后的一種多色排列數(shù)據(jù)按每一行寫入到由多行構(gòu)成的行存儲器中，一邊同時讀出多行數(shù)據(jù)，并從該讀出的多行數(shù)據(jù)上的傳感器讀出方向成為同一位置的垂直方向的關(guān)注多個數(shù)據(jù)提取出亮度數(shù)據(jù)和載色數(shù)據(jù)，進(jìn)行再次的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理，所述垂直方向的縮小調(diào)整大小處理通過進(jìn)行減少相對于輸入行數(shù)的輸出行的處理，生成被二維縮小調(diào)整大小處理后的兩種多色排列數(shù)據(jù)，所述縮小調(diào)整大小處理部及所述顏色再排列數(shù)據(jù)生成處理部對述兩種多色排列數(shù)據(jù)分別進(jìn)行作為再次的行單位處理的顏色再排列數(shù)據(jù)生成處理，生成多種顏色排列數(shù)據(jù)。
[0036]第八方面的發(fā)明的特征在于，在第一到第四方面中任一方面的發(fā)明所述的圖像處理裝置中，所述縮小調(diào)整大小處理部及所述顏色再排列數(shù)據(jù)生成處理部:通過傳感器讀出方向的行單位處理對所述原圖像僅沿一個方向進(jìn)行縮小調(diào)整大小處理并且進(jìn)行顏色再排列數(shù)據(jù)生成處理，并且，根據(jù)所述僅沿一個方向被縮小調(diào)整大小處理后的兩種顏色排列數(shù)據(jù)，沿與所述傳感器讀出方向的行單位處理的處理方向正交的方向進(jìn)行再次的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理，生成被二維縮小調(diào)整大小處理后的多種顏色排列數(shù)據(jù)。
[0037]第九方面的發(fā)明的特征在于，在第八方面的發(fā)明所述的圖像處理裝置中，所述縮小調(diào)整大小處理部及所述顏色再排列數(shù)據(jù)生成處理部:將通過所述傳感器讀出方向的行單位處理對所述原圖像進(jìn)行了僅沿水平方向的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理后的兩種多色排列數(shù)據(jù)寫入到存儲裝置，并且，當(dāng)從所述存儲裝置讀出所述兩種多色排列數(shù)據(jù)時，沿著與寫入時的行方向正交的方向以行單位讀出，并進(jìn)行再次的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理，生成被二維縮小調(diào)整大小處理后的多種顏色排列數(shù)據(jù)。
[0038]第十方面的發(fā)明的特征在于，在第九方面的發(fā)明所述的圖像處理裝置中，所述縮小調(diào)整大小處理部及所述顏色再排列數(shù)據(jù)生成處理部一邊將通過傳感器讀出方向的行單位處理對所述原圖像僅進(jìn)行了沿水平方向的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理后的兩種顏色排列數(shù)據(jù)按每一行寫入到由多行構(gòu)成的行存儲器中，一邊同時讀出多行數(shù)據(jù)，并對該讀出的多行數(shù)據(jù)上的傳感器讀出方向成為同一位置的垂直方向的關(guān)注多個數(shù)據(jù)進(jìn)行再次的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理，所述垂直方向的縮小調(diào)整大小處理通過進(jìn)行減少相對于輸入行數(shù)的輸出行的處理，生成被二維縮小調(diào)整大小處理后的多種顏色排列數(shù)據(jù)。
[0039]第十一方面的發(fā)明的特征在于，在第五到第十方面中任一方面的發(fā)明所述的圖像處理裝置中，所述縮小調(diào)整大小處理部及所述顏色再排列數(shù)據(jù)生成處理部含有用于進(jìn)行水平方向縮小調(diào)整大小處理及顏色再排列數(shù)據(jù)生成處理的下述處理部，即:濾波處理部，其通過傳感器讀出方向的行單位的行單位處理對所述原圖像提取出亮度數(shù)據(jù)和載色數(shù)據(jù)；載色反轉(zhuǎn)復(fù)調(diào)處理部，其將所述載色數(shù)據(jù)轉(zhuǎn)換成色差數(shù)據(jù)；縮小調(diào)整大小處理部，其對所述亮度數(shù)據(jù)和色差數(shù)據(jù)獨立地進(jìn)行縮小調(diào)整大??；載色調(diào)制處理部，其將通過所述縮小調(diào)整大小處理部進(jìn)行了縮小調(diào)整大小后的色差數(shù)據(jù)按每個像素生成為符號相異的第一載色數(shù)據(jù)、和符號與該第一載色數(shù)據(jù)不同的第二載色數(shù)據(jù)；以及顏色再排列數(shù)據(jù)生成處理部，其將所述縮小調(diào)整大小后的亮度數(shù)據(jù)和所述第一載色數(shù)據(jù)重新合成，生成具有原圖像的顏色排列數(shù)據(jù)的圖像，并且將所述縮小調(diào)整大小后的亮度數(shù)據(jù)和所述第二載色數(shù)據(jù)重新合成，生成具有與原圖像相異的顏色排列數(shù)據(jù)的圖像。[0040]第十二方面的發(fā)明的特征在于，在第五到第十方面中任一方面的發(fā)明所述的圖像處理裝置中，所述縮小調(diào)整大小處理部及所述顏色再排列數(shù)據(jù)生成處理部含有用于進(jìn)行垂直方向縮小調(diào)整大小處理及顏色再排列數(shù)據(jù)生成處理的下述處理部，即:濾波處理部，其一邊將通過傳感器讀出方向的行單位處理對所述原圖像僅沿水平方向進(jìn)行了縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理后的顏色排列數(shù)據(jù)按每一行寫入到由多行構(gòu)成的行存儲器中，一邊同時讀出多行數(shù)據(jù)，并從該讀出的多行數(shù)據(jù)上的傳感器讀出方向成為同一位置的垂直方向的關(guān)注多個數(shù)據(jù)沿垂直方向以行單位提取出亮度數(shù)據(jù)和載色數(shù)據(jù)；垂直方向載色反轉(zhuǎn)解調(diào)處理部，其將所述提取出的垂直方向的載色數(shù)據(jù)轉(zhuǎn)換成垂直方向的色差數(shù)據(jù)；垂直方向縮小調(diào)整大小處理部，其對所述垂直方向的亮度數(shù)據(jù)和色差數(shù)據(jù)獨立地進(jìn)行減少相對于輸入行數(shù)的輸出行的處理，并進(jìn)行縮小調(diào)整大?。淮怪狈较蛏顢?shù)據(jù)反轉(zhuǎn)調(diào)制處理部，其從所述垂直方向的縮小調(diào)整大小后的、在垂直方向連續(xù)的色差數(shù)據(jù)按每一行生成符號相異的第一載色數(shù)據(jù)、和符號與該第一載色數(shù)據(jù)相異的第二載色數(shù)據(jù)；以及，顏色再排列數(shù)據(jù)生成處理部，其將所述縮小調(diào)整大小后的亮度數(shù)據(jù)和所述第一載色數(shù)據(jù)重新合成，生成具有原圖像的顏色排列數(shù)據(jù)的圖像，并且將所述縮小調(diào)整大小后的亮度數(shù)據(jù)和所述第二載色數(shù)據(jù)重新合成，生成具有與原圖像相異的顏色排列數(shù)據(jù)的圖像。
[0041]第十三方面的發(fā)明的特征在于，在第一到第十二方面中任一方面的發(fā)明所述的圖像處理裝置中，所述原圖像是利用下述單板彩色攝像元件取得的圖像，該單板彩色攝像元件具有顏色通過原色過濾器被周期性地排列的多種顏色的像素。
[0042]-發(fā)明的效果-
[0043]如以上說明那樣，根據(jù)本發(fā)明，在邊確認(rèn)攝影被攝體邊決定構(gòu)圖的監(jiān)視器模式的狀態(tài)下，山從攝像元件輸出的大尺寸原圖像直接生成處理出顯示用小尺寸圖像并顯示于監(jiān)視器時，山于不實施從原圖像轉(zhuǎn)換成Y / Cr / Cb數(shù)據(jù)類型的彩色顯像圖像處理，而是縮小調(diào)整大小處理成顯示用小尺寸RAW圖像并顯示于監(jiān)視器，所以伴隨著對存儲器進(jìn)行存取的后段處理量減少，并且能夠使在監(jiān)視器的幀延遲成為最小幀延遲，從而能夠?qū)崿F(xiàn)用于識別高速被攝體的監(jiān)視器模式動作。
【專利附圖】

【附圖說明】
[0044]圖1是安裝有本發(fā)明實施方式所涉及的圖像處理裝置的攝像裝置的整體結(jié)構(gòu)圖。
[0045]圖2是表示該實施方式所涉及的圖像處理裝置的概略結(jié)構(gòu)的圖。
[0046]圖3是表示在該圖像處理裝置中，不產(chǎn)生幀延遲地從前處理部向顯示處理部直接傳送數(shù)據(jù)的結(jié)構(gòu)的圖。
[0047]圖4是表示在該圖像處理裝置中，從前處理部通過存儲部向顯示處理部以一幀延遲的方式傳送數(shù)據(jù)的結(jié)構(gòu)的圖。
[0048]圖5是表示在該圖像處理裝置前處理部的內(nèi)部結(jié)構(gòu)的圖。
[0049]圖6是表示該圖像處理裝置前處理部的其它內(nèi)部結(jié)構(gòu)的圖。
[0050]圖7是表示該前處理部具備的水平方向的縮小調(diào)整大小處理部及顏色再排列數(shù)據(jù)生成處理部的內(nèi)部結(jié)構(gòu)的圖。
[0051]圖8 (a)是表示行存儲器的寫入讀出動作的圖；該圖(b)是表示該圖(a)的下一個行周期定時下的同一行存儲器的寫入讀出動作的圖。[0052]圖9是表示該前處理部具備的垂直方向的縮小調(diào)整大小處理部以及顏色再排列數(shù)據(jù)生成處理部的內(nèi)部結(jié)構(gòu)的圖。
[0053]圖10是表示以往的一般數(shù)碼相機(jī)的內(nèi)部信號處理裝置的模塊結(jié)構(gòu)的圖。
[0054]圖11是表示該以往數(shù)碼相機(jī)的內(nèi)部信號處理的流程的圖。
【具體實施方式】
[0055]以下，參照圖對本發(fā)明所涉及的圖像處理裝置及圖像處理方法的優(yōu)選實施方式進(jìn)行說明。
[0056]圖1中示出安裝有本發(fā)明實施方式所涉及的圖像處理裝置的攝像裝置的結(jié)構(gòu)圖。
[0057]在該圖中，該攝像裝置10與上述【背景技術(shù)】中說明的圖10的結(jié)構(gòu)相同，是將通過攝像部12所拍攝的被攝體光學(xué)圖像轉(zhuǎn)換成數(shù)字圖像數(shù)據(jù)并記錄于記錄介質(zhì)112的單板式數(shù)碼相機(jī)。
[0058]圖1中基本結(jié)構(gòu)部的動作與在圖10中說明的內(nèi)容相同。圖10與圖1的結(jié)構(gòu)中，有兩個與本發(fā)明相關(guān)的較大差異點。即，
[0059](I)在前處理部105內(nèi)部實施的圖像處理功能；以及，
[0060](2)從前處理部105向顯示處理部117直接傳送數(shù)據(jù)的功能。
[0061]首先，進(jìn)行圖1的結(jié)構(gòu)圖的各基本結(jié)構(gòu)部的說明。
[0062]攝像部12具有以CXD (電荷耦合元件)型或CMOS (互補(bǔ)型金屬氧化物半導(dǎo)體)型等為代表的攝像元件(未圖示)，在攝像元件的受光面二維排列有多個光電二極管(感光像素)，對通過未圖示的光學(xué)透鏡后的被攝體信息進(jìn)行光電轉(zhuǎn)換。攝像元件具有在與各像素對應(yīng)的位置存在紅(R)、綠(G)、藍(lán)⑶中的任一種顏色那樣的規(guī)定的顏色排列的濾色器，對向作為受光元件的光電二極管入射的光進(jìn)行色選擇。在本實施方式中以拜爾排列進(jìn)行說明。
[0063]從所述攝像部12輸出的圖像數(shù)據(jù)稱為RAW圖像，其是通過A / D轉(zhuǎn)換(模數(shù)轉(zhuǎn)換)處理被轉(zhuǎn)換成數(shù)字信號的數(shù)據(jù)。受光元件在行方向及列方向上分別以一定間距排列成方矩陣，這些受光元件的數(shù)據(jù)構(gòu)成拜爾排列的RAW圖像數(shù)據(jù)101。需要說明的是，在實際的攝像元件的成像面中，拜爾排列的RAW圖像數(shù)據(jù)101所示的像素排列的構(gòu)造沿傳感器讀出方向及垂直方向周期性反復(fù)。當(dāng)然，在本發(fā)明的實施上，濾色器排列構(gòu)造不限定于拜爾排列，還能夠采G條紋(G-stripe)等各種排列構(gòu)造。而且，在本實施方式中使用了原色過濾器，但在實施本發(fā)明時并不限定于原色過濾器，也可以采用由黃(Y)、洋紅(M)、青(C)、綠(G)構(gòu)成的補(bǔ)色濾色器、或采用由原色與補(bǔ)色的任意組合或白(W)構(gòu)成的濾色器。
[0064]所述A / D轉(zhuǎn)換后的RAW圖像數(shù)據(jù)101按照攝像裝置10的動作模式，經(jīng)過必要的信號處理、或省略信號處理而記錄到記錄介質(zhì)112。
[0065]在攝影模式中，被攝體圖像顯示于監(jiān)視器118。在本實施方式的攝像裝置10作為攝影模式能夠以JPEG形式記錄靜止圖像，并且能夠以MPEG形式等記錄壓縮動態(tài)圖像。并且，能夠原樣地記錄A / D轉(zhuǎn)換之后的RAW圖像數(shù)據(jù)101。
[0066]對在邊確認(rèn)攝影被攝體邊決定構(gòu)圖的監(jiān)視器模式的狀態(tài)下，以JPEG形式記錄靜止圖像的情況進(jìn)行說明。
[0067]首先，A / D轉(zhuǎn)換后的拜爾排列RAW圖像數(shù)據(jù)101在前處理部105被縮小調(diào)整大小成監(jiān)視器尺寸，并且被轉(zhuǎn)換成監(jiān)視器118的彩色像素排列后，作為顯示數(shù)據(jù)RGB(2)直接從數(shù)據(jù)路徑DPth(I)即時地輸出到顯示處理部117。符合監(jiān)視器特性的畫質(zhì)調(diào)整在前處理部105或顯示處理部117進(jìn)行。在不產(chǎn)生幀延遲的該監(jiān)視器模式的狀態(tài)下，各種識別動作同時地進(jìn)行。
[0068]在所述前處理部105，將拜爾排列RAW圖像數(shù)據(jù)101縮小調(diào)整大小成顯示尺寸時，用于臉部檢測用的、只含有亮度成分的數(shù)據(jù)Y同時被生成，并通過存儲控制部107寫入到存儲部108。
[0069]臉部檢測處理部106通過存儲控制部107適當(dāng)?shù)貜拇鎯Σ?08讀出檢測用尺寸的Y數(shù)據(jù)。在對比顯示尺寸還要小尺寸的Y數(shù)據(jù)進(jìn)行臉部檢測處理時，是利用圖像信號處理部109實施縮小調(diào)整大小處理并再次將檢測用尺寸Y數(shù)據(jù)寫入到存儲部108之后，適當(dāng)?shù)刈x出該Y數(shù)據(jù)。臉部檢測處理部106從該讀出的Y數(shù)據(jù)檢測出圖像內(nèi)的臉部的位置、大小等臉部信息，并通過存儲控制部107將該檢測結(jié)果信息寫入到存儲部108。
[0070]CPUl 14通過存儲控制部107將寫入到存儲部108的臉部檢測信息讀出，根據(jù)該檢測結(jié)果將顯示臉部位置的信息轉(zhuǎn)換成顯示尺寸，并作為顯示數(shù)據(jù)寫入到存儲部108。并且，臉部檢測信息與從進(jìn)行所述AE(自動曝光)控制及自動焦點調(diào)節(jié)(自動對焦=AF)控制所必要的運算的自動運算部(未圖示)所得到的信息一并在CPU114進(jìn)行處理，CPU114根據(jù)對人物被攝體的任意位置的焦點評價值運算結(jié)果控制透鏡驅(qū)動用馬達(dá)(未圖示)，使光學(xué)透鏡11移動到對焦位置，并且控制光圈、電子快門，進(jìn)行曝光控制。顯示所述臉部位置信息的顯示數(shù)據(jù)通過存儲控制部107被從存儲部108讀出，并且被輸入到顯示處理部117。被輸入到顯示處理部117的、顯示臉部位置信息的顯示數(shù)據(jù)，在顯示處理部117被轉(zhuǎn)換成符合監(jiān)視器118的顯示特性的輸入數(shù)據(jù)規(guī)格，并與所述顯示數(shù)據(jù)RGB(2)重疊顯示于監(jiān)視器118。
[0071]接著，說明從所述監(jiān)視器模式的狀態(tài)轉(zhuǎn)移到以JPEG形式記錄靜止圖像的動作的情況。
[0072]當(dāng)轉(zhuǎn)移到靜止圖像記錄模式時，具有攝像元件的所有像素數(shù)的RAW原圖像101從攝像部12輸出。RAW原圖像101在前處理部105被實施前處理，并通過存儲控制部107被寫入到存儲部108。然后，RAW原圖像101通過存儲控制部107被送到圖像信號處理部109。
[0073]在圖像信號處理部109實施同時化處理(對與濾色器排列相伴的顏色信號的空間錯位進(jìn)行插值，計算各點的顏色的處理)、白平衡(WB)調(diào)整、伽瑪校正、亮度及色差信號生成、輪廓強(qiáng)調(diào)、基于電子變焦功能的變倍(放大/縮小)處理、像素數(shù)的轉(zhuǎn)換(調(diào)整大小)處理等各種處理，按照來自CPU114的指令來處理圖像信號。作為這些各種處理中的一部分的白平衡(WB)調(diào)整、伽瑪校正等也有在前處理部105實施的情況。前處理部105及圖像信號處理部109通過存儲控制部107邊利用能夠暫時存儲處理途中的圖像的存儲部108邊進(jìn)行圖像信號的處理。
[0074]在所述前處理部105與圖像信號處理部109中經(jīng)過了規(guī)定的信號處理后的圖像數(shù)據(jù)被送到壓縮解壓部110，按照J(rèn)PEG形式的壓縮格式被壓縮。
[0075]壓縮后的圖像數(shù)據(jù)經(jīng)由記錄介質(zhì)I / F(接口)部111被記錄到記錄介質(zhì)112中。記錄介質(zhì)112不限定于以存儲卡為代表的半導(dǎo)體存儲器，還可以使用磁盤、光盤、光磁盤等各種介質(zhì)。而且，不限定于可移動介質(zhì)，也可以是攝像裝置10中內(nèi)置的記錄介質(zhì)(內(nèi)部存儲器)。
[0076]所述CPU114是按照規(guī)定的程序統(tǒng)一控制本攝像裝置10的控制部，根據(jù)來自操作面板113的指示信號控制攝像裝置10內(nèi)的各電路的動作。ROMl 15中保存有CPUl 14所執(zhí)行的程序及控制所必要的各種數(shù)據(jù)等，RAMl 16被利用作為CPU114的工作用區(qū)域。
[0077]所述操作面板113是用于由用戶對攝像裝置10輸入各種指示的機(jī)構(gòu)，例如包含有:用于選擇攝像裝置10的動作模式的模式選擇開關(guān)、輸入菜單項目的選擇操作(光標(biāo)移動操作)或再生圖像的幀正向前進(jìn)/幀反向前進(jìn)等指示的方向鍵、指示選擇項目的確定(登記)或動作的執(zhí)行的執(zhí)行鍵、用于消去選擇項目等所希望的對象或取消指示的取消鍵、電源開關(guān)、變焦開關(guān)、釋放開關(guān)等各種操作機(jī)構(gòu)。另外，各種開關(guān)也可以山觸摸面板上的區(qū)域開關(guān)來實現(xiàn)。
[0078]所述CPU114根據(jù)從操作面板113輸入的指示信號，按照各種攝影條件(曝光條件、閃光燈有無發(fā)光、攝影模式等)，控制攝像部12，并且進(jìn)行自動曝光(AE)控制、自動焦點調(diào)節(jié)(AF)控制、自動白平衡(AWB)控制、透鏡驅(qū)動控制、圖像處理控制、記錄介質(zhì)112的讀
寫控制等。
[0079]例如、由不產(chǎn)生幀延遲的監(jiān)視器模式往靜止圖像取入轉(zhuǎn)移時，CPUl 14在檢測到釋放開關(guān)的半按壓時，進(jìn)行自動對焦調(diào)節(jié)控制(AF)控制，當(dāng)檢測到釋放開關(guān)的全按壓時，開始用于取入記錄用圖像的曝光及讀出控制。而且，CPU114根據(jù)需要，向未圖示的閃光燈控制電路發(fā)送指令，控制氙管等閃光發(fā)光管(發(fā)光部)的發(fā)光。
[0080]前處理部105具有在后詳細(xì)進(jìn)行說明的、作為本發(fā)明特征的圖像處理功能，并且含有進(jìn)行AE控制及AF控制所必要的運算的自動運算部(未圖示)，在靜止圖像攝影的情況下，根據(jù)響應(yīng)于釋放開關(guān)的半按壓而取入的圖像信號，進(jìn)行焦點評價值運算、AE運算等，并將該運算結(jié)果傳遞給CPU114。若檢測到釋放開關(guān)的全按壓，則CPU114根據(jù)焦點評價值運算的結(jié)果，控制未圖示的透鏡驅(qū)動用馬達(dá)，使光學(xué)透鏡11移動到對焦位置，并且控制光圈、電子快門，進(jìn)行曝光控制。如此取入的RAW圖像數(shù)據(jù)101按照記錄模式實施規(guī)定的圖像處理而被記錄到記錄介質(zhì)112中。
[0081]在動態(tài)圖像攝影的情況下，所述一連串的圖像處理是在進(jìn)行動態(tài)圖像的記錄之間連續(xù)地被處理。需要說明的是，壓縮形式可以是利用JPEG方式的MPEG、或者可以采用其它方式。對應(yīng)于所使用的壓縮形式，使用幀連續(xù)地動作的壓縮處理。
[0082](在前處理部的圖像處理的內(nèi)容)
[0083]接著，對在如上述那樣構(gòu)成的圖1中的攝像裝置10中，在作為本發(fā)明特征的前處理部105的內(nèi)部實施的圖像處理功能進(jìn)行說明。
[0084]圖2是表示本發(fā)明圖像處理的概略的圖，其生成由原圖像即RAW圖像數(shù)據(jù)的顏色信息所構(gòu)成的一種以上的顯示用縮小圖像，并且生成顏色再排列RAW數(shù)據(jù)。
[0085]在圖2中，從單板彩色攝像元件得到的RAW圖像數(shù)據(jù)101在作為前處理部105的內(nèi)部處理功能的RAW數(shù)據(jù)縮小調(diào)整大小處理部102被縮小調(diào)整大小成監(jiān)視器顯示尺寸的RAff圖像數(shù)據(jù)，并且，在顏色再排列數(shù)據(jù)生成處理部103中被生成為四個種類的拜爾排列數(shù)據(jù)104a、104b、104c、104d并被輸出，該四個種類的拜爾排列數(shù)據(jù)104a、104b、104c、104d是包含基準(zhǔn)像素位置的兩個像素X兩個像素范圍的顏色排列信息相異的數(shù)據(jù)。
[0086]觀察所述四個種類的拜爾排列數(shù)據(jù)，可以得知在任意像素位置都存在有R、G、B中所有的顏色，利用顏色再排列顯示數(shù)據(jù)生成處理部201、203、205對原圖像的R、G、B顏色進(jìn)行選擇處理，能夠生成例如以下⑴?⑶的顏色再排列顯示數(shù)據(jù)，從而生成顏色排列符合監(jiān)視器118的輸入規(guī)格的顯示數(shù)據(jù)。
[0087](I)由獨立的R平面數(shù)據(jù)(plane data)、G平面數(shù)據(jù)、B平面數(shù)據(jù)這三個面所構(gòu)成的顏色再排列顯示數(shù)據(jù)202
[0088](2)由G平面數(shù)據(jù)、B與R的方格配置數(shù)據(jù)這兩個面所構(gòu)成的顏色再排列顯示數(shù)據(jù)204
[0089](3)由G平面數(shù)據(jù)、B與R的縱條紋配置數(shù)據(jù)這兩個所構(gòu)成的顏色再排列顯示數(shù)據(jù)206
[0090]只要利用所述顏色再排列顯示數(shù)據(jù)生成處理部201、203、205，除了所述(I)?(3)所示的顏色排列顯示數(shù)據(jù)以外，還能夠生成任意顏色排列構(gòu)造的顯示數(shù)據(jù)。需要說明的是，雖然顏色再排列數(shù)據(jù)生成處理部103生成了四個種類的顏色再排列數(shù)據(jù)104a?104d，但是當(dāng)其中一個顏色再排列數(shù)據(jù)(例如104a)已經(jīng)是符合監(jiān)視器118輸入規(guī)格的顏色排列的顯示數(shù)據(jù)時，可以只生成該種類的顏色再排列顯示數(shù)據(jù)并直接輸出到監(jiān)視器118。
[0091]而且，為了具體實現(xiàn)以最小幀延遲將原圖像顯示于監(jiān)視器這個本發(fā)明特征，采用以下的結(jié)構(gòu)，即:能夠?qū)⑸傻念伾倥帕酗@示數(shù)據(jù)通過圖1所示的數(shù)據(jù)路徑DPth (I)直接地輸入到顯示處理部117，并且能夠通過數(shù)據(jù)路徑DPth (2)暫時存儲到存儲部108后再次讀出，并輸入到顯示處理部117。
[0092]圖3表示出不產(chǎn)生幀延遲地從前處理部105向顯示處理部117直接傳送數(shù)據(jù)的結(jié)構(gòu)。
[0093]在圖3所示的結(jié)構(gòu)中，以從攝像元件輸出的RAW原圖像101被輸入到前處理部105的時段作為第一幀時段，通過在該同一第一幀時段內(nèi)進(jìn)行的流水線處理，將山G平面數(shù)據(jù)、藍(lán)(B)與紅(R)的縱條紋配置數(shù)據(jù)這兩個面所構(gòu)成的顯示數(shù)據(jù)206，通過圖1所示的數(shù)據(jù)路徑DPth(I)直接輸入到顯示處理部117并顯示于監(jiān)視器118。在該情況下，能不使幀延遲產(chǎn)生地將被攝體原圖像顯示在監(jiān)視器。
[0094]圖4表示出從前處理部105通過存儲部118向顯示處理部117以一幀延遲的方式傳送數(shù)據(jù)的結(jié)構(gòu)。
[0095]在圖4所示的結(jié)構(gòu)中，以從攝像元件輸出的RAW原圖像101被輸入到前處理部105的時段作為第一幀時段，存儲控制部107將通過在該同一第一幀時段內(nèi)進(jìn)行的流水線處理所生成的、由綠(G)平面數(shù)據(jù)、藍(lán)(B)與紅(R)的縱條紋配置數(shù)據(jù)這兩個面所構(gòu)成的顯示數(shù)據(jù)206通過數(shù)據(jù)路徑DPth (2)寫入到存儲部108。接著，在之后的第二幀時段中，將該顯示數(shù)據(jù)206輸入到顯示處理部117并顯示于監(jiān)視器118。在該情況下，能夠以一幀時段的幀延遲將被攝體原圖像顯示于監(jiān)視器118。
[0096]需要說明的是，關(guān)于顯示數(shù)據(jù)，雖然以由G平面數(shù)據(jù)、藍(lán)⑶與紅(R)的縱條紋配置數(shù)據(jù)這兩個面所構(gòu)成的顯示數(shù)據(jù)206進(jìn)行了說明，但是如在圖2所說明那樣，具有任意顏色排列構(gòu)造與多面構(gòu)造的顯示數(shù)據(jù)也能夠以同樣的幀延遲顯示在監(jiān)視器118。
[0097](縮小調(diào)整大小處理部及顏色再排列數(shù)據(jù)生成處理部的第一具體例)
[0098]圖5是表示作為前處理部105的內(nèi)部信號處理的RAW數(shù)據(jù)縮小調(diào)整大小部102與顏色再排列數(shù)據(jù)生成處理部103的具體結(jié)構(gòu)的圖。
[0099]在圖5所示的結(jié)構(gòu)中，當(dāng)生成縮小成顯示用尺寸的、包含有基準(zhǔn)像素位置的兩個像素X兩個像素范圍的顏色排列信息相異的四個種類的拜爾排列數(shù)據(jù)104a?104d時，在本實施方式的圖像處理裝置具有:第一水平縮小調(diào)整大小處理部501，其沿輸入行方向?qū)膯伟宀噬珨z像元件得到的RAW圖像數(shù)據(jù)101縮小成任意尺寸的圖像；存儲部(存儲裝置)503，其暫時存儲沿水平方向調(diào)整大小后的圖像數(shù)據(jù)；垂直縮小調(diào)整大小處理暨顏色再排列數(shù)據(jù)生成處理部504，其對從存儲部503讀出的多個縮小行數(shù)據(jù)沿與輸入行方向正交的垂直方向進(jìn)行縮小調(diào)整大小，從而生成兩種拜爾排列數(shù)據(jù)505、506 ;以及，顏色再排列數(shù)據(jù)生成處理部507、508，其分別對沿水平方向及垂直方向進(jìn)行縮小調(diào)整大小處理后的兩種拜爾排列數(shù)據(jù)再次沿輸入行方向生成兩種拜爾排列數(shù)據(jù)。
[0100]利用圖5對生成縮小成顯示用尺寸的、兩個像素X兩個像素范圍的顏色排列信息相異的四個種類的拜爾排列數(shù)據(jù)104a?104d的情況進(jìn)行說明。
[0101]在沿輸入行方向縮小成任意尺寸的圖像的第一水平縮小調(diào)整大小處理部501中實施往顯示尺寸的縮小調(diào)整大小時，以沿水平方向成為顯示尺寸的水平尺寸的縮小比例Kl生成僅沿水平方向縮小的圖像數(shù)據(jù)502。
[0102]所述水平縮小調(diào)整大小后的圖像數(shù)據(jù)502以行數(shù)據(jù)單位暫時寫入到存儲部503。同時，從存儲部503讀出多行量的數(shù)據(jù)，進(jìn)行作為下一道步驟的垂直方向縮小調(diào)整大小處理。利用垂直縮小調(diào)整大小處理部暨顏色再排列數(shù)據(jù)生成處理部504，以沿垂直方向成為顯示尺寸的垂直尺寸的、與水平相同的縮小比例Kl縮小，通過沿垂直方向?qū)⑴紨?shù)行與奇數(shù)行的顏色相互對調(diào)，得到顏色排列相異的兩種顯示用尺寸拜爾排列數(shù)據(jù)505、506。
[0103]接著，通過在分別對所述兩種拜爾排列數(shù)據(jù)505、508再次沿輸入行方向生成兩種拜爾排列數(shù)據(jù)的顏色再排列數(shù)據(jù)生成處理部507、508中，分別沿水平方向?qū)⑴紨?shù)像素與奇數(shù)像素的顏色相互對調(diào)，從而更進(jìn)一步生成兩種拜爾排列數(shù)據(jù)。通過這樣，能夠生成縮小成顯示用尺寸的兩個像素X兩個像素范圍的、顏色排列信息相異的四個種類的拜爾排列數(shù)據(jù) 104。
[0104](縮小調(diào)整大小處理部及顏色再排列數(shù)據(jù)生成處理部的第二具體例)
[0105]圖6表示作為前處理部105的內(nèi)部信號處理的RAW數(shù)據(jù)縮小調(diào)整大小部102及顏色再排列數(shù)據(jù)生成處理部103的結(jié)構(gòu)的第二具體例。
[0106]在圖6所示的結(jié)構(gòu)中，當(dāng)生成縮小成顯示用尺寸的、包含有基準(zhǔn)像素位置的、兩個像素X兩個像素范圍的、顏色排列信息相異的四個種類的拜爾排列數(shù)據(jù)104時，本實施方式的圖像處理裝置具有:水平縮小調(diào)整大小暨顏色再排列數(shù)據(jù)生成處理部601，其沿輸入行方向?qū)膯伟宀噬珨z像元件得到的RAW圖像數(shù)據(jù)101縮小且生成兩種拜爾排列數(shù)據(jù)602、603 ;存儲部604、605，其暫時存儲水平調(diào)整大小后的該兩種拜爾排列數(shù)據(jù)；垂直縮小調(diào)整大小處理及顏色再排列數(shù)據(jù)生成處理部606、607，其對從存儲部604、605分別讀出的多個縮小行數(shù)據(jù)沿與輸入行方向正交的垂直方向進(jìn)行縮小調(diào)整大小，從而更進(jìn)一步生成兩種拜爾排列數(shù)據(jù)，總計生成四個種類的拜爾排列數(shù)據(jù)104a、104b、104c、104d。
[0107]以下，作為圖6的結(jié)構(gòu)的動作，對生成縮小成顯示用尺寸的兩個像素X兩個像素范圍的、顏色排列信息相異的四個種類的拜爾排列數(shù)據(jù)104的情況進(jìn)行說明。
[0108]在沿輸入行方向縮小成任意尺寸的圖像且生成兩種拜爾排列數(shù)據(jù)602、603的水平縮小調(diào)整大小處理暨顏色再排列數(shù)據(jù)生成處理部601中實施往顯示尺寸的縮小調(diào)整大小時，首先，以沿水平方向成為顯示尺寸的水平尺寸的縮小比例Kl生成僅沿水平方向縮小的拜爾排列數(shù)據(jù)。并且通過沿水平方向?qū)⑴紨?shù)像素與奇數(shù)像素的顏色相互對調(diào)，生成兩種拜爾排列數(shù)據(jù)602、603。
[0109]所述水平縮小調(diào)整大小后的兩種拜爾排列數(shù)據(jù)602、603以行數(shù)據(jù)單位分別獨立地暫時寫入到存儲部604、605。同時，從所述存儲部604、605分別讀出多行量的數(shù)據(jù)，進(jìn)行作為下一道步驟的垂直方向縮小調(diào)整大小處理。利用兩個垂直縮小調(diào)整大小暨顏色再排列數(shù)據(jù)生成處理部606、607，以沿垂直方向成為顯示尺寸的垂直尺寸的、與水平相同的縮小比例Kl縮小。并且通過分別沿垂直方向?qū)⑴紨?shù)行與奇數(shù)行的顏色相互對調(diào)，生成顏色排列相異的兩種顯示用尺寸拜爾排列數(shù)據(jù)，總計得到四個種類的顯示用尺寸拜爾排列數(shù)據(jù)104a、104b、104c、104d。
[0110]通過以上的處理，生成縮小成顯示用尺寸的、兩個像素X兩個像素范圍的顏色排列信息相異的四個種類的拜爾排列數(shù)據(jù)104。
[0111](縮小調(diào)整大小處理及顏色再排列數(shù)據(jù)生成處理的概略)
[0112]圖7是表示如下的內(nèi)部處理結(jié)構(gòu)，即在RAW數(shù)據(jù)縮小調(diào)整大小處理部102與顏色再排列數(shù)據(jù)生成處理部103中，當(dāng)生成顏色排列信息相異的四個種類的拜爾排列數(shù)據(jù)104時，沿輸入行方向縮小成任意尺寸的圖像，并且還通過沿水平方向?qū)⑴紨?shù)像素與奇數(shù)像素的顏色相互對調(diào)，生成兩種拜爾排列數(shù)據(jù)710、711這樣的內(nèi)部處理結(jié)構(gòu)的一個例子。在本內(nèi)部處理結(jié)構(gòu)中，實現(xiàn)圖5所示的RAW數(shù)據(jù)水平方向縮小調(diào)整大小處理部501、水平方向顏色再排列數(shù)據(jù)生成處理部507、508，以及實現(xiàn)圖6的RAW數(shù)據(jù)水平方向縮小調(diào)整大小暨水平方向顏色再排列數(shù)據(jù)生成處理部601。
[0113]圖8是表示利用以行數(shù)據(jù)單位暫時保持水平調(diào)整大小后的圖像數(shù)據(jù)的存儲部503、604、607，將行數(shù)據(jù)寫入到多個行存儲器的方法，以及顯示從多個行存儲器801同時讀出多個水平方向行數(shù)據(jù)的一個例子的圖。
[0114]圖9是如下的內(nèi)部處理結(jié)構(gòu)，即利用多個水平方向縮小行數(shù)據(jù)，沿與輸入行方向正交的垂直方向進(jìn)行縮小調(diào)整大小，并且還通過沿垂直方向?qū)⑴紨?shù)行和奇數(shù)行的顏色相互對調(diào)，生成兩種拜爾排列數(shù)據(jù)923、925這樣的內(nèi)部處理結(jié)構(gòu)的一個例子。在本內(nèi)部處理結(jié)構(gòu)中，實現(xiàn)圖5及圖6所示的RAW數(shù)據(jù)垂直方向縮小調(diào)整大小暨顏色再排列數(shù)據(jù)生成處理部 504、606、607。
[0115]在圖7選擇性地實施沿傳感器讀出方向的水平縮小調(diào)整大小處理和顏色再排列處理，將該處理的輸出寫入圖8所示的行存儲器，同時，從行存儲器讀出沿傳感器讀出方向的水平縮小調(diào)整大小處理圖像中連續(xù)的多行量的數(shù)據(jù)，進(jìn)行如圖9所示那樣的處理，即對多行上的、沿傳感器讀出方向的同一位置的數(shù)據(jù)以縱向的同時處理進(jìn)行多個垂直方向縮小調(diào)整大小處理與顏色再排列處理。
[0116]此時，垂直方向縮小調(diào)整大小處理是與所述沿傳感器讀出方向的水平縮小調(diào)整大小處理不同的處理，垂直方向縮小調(diào)整大小處理是根據(jù)是否以行單位來利用多個行單位的動作輸出這樣的判斷處理，而作為行的間歇輸出，得到沿垂直方向比率不同的縮小調(diào)整大小圖像。
[0117]并且，在如圖5所示的第一具體例中，對于任意圖像，僅再次選擇性地實施如圖7所示的內(nèi)部處理中的、沿傳感器讀出方向的顏色再排列處理，生成縮小成顯示用尺寸的兩個像素X兩個像素范圍的、顏色排列信息相異的四個種類的拜爾排列數(shù)據(jù)104。
[0118]本實施方式的圖像處理功能的重點在于圖像處理的流程與處理程序的組合及順序。在圖5所示的第一具體例中，是以圖7的處理一圖8的處理一圖9的處理一圖7的處理的順序組合，生成縮小成顯示用尺寸的、兩個像素X兩個像素范圍的顏色排列信息相異的四個種類的拜爾排列數(shù)據(jù)104。另一方面、在圖6所示的第二具體例中，是以圖7的處理—圖8的處理一圖9的并列處理的順序組合，生成縮小成顯示用尺寸的、兩個像素X兩個像素范圍的顏色排列信息相異的四個種類的拜爾排列數(shù)據(jù)104。
[0119]需要說明的是，圖7、圖8及圖9所示的處理是在對RAW數(shù)據(jù)進(jìn)行縮小調(diào)整大小處理并且進(jìn)行多個顏色再排列處理時，用于生成不產(chǎn)生返回噪聲、圖像質(zhì)量高而分辨率好的縮小RAW數(shù)據(jù)的一種方式，本發(fā)明并不將作為高圖像質(zhì)量縮小處理的基本的內(nèi)部算法限定在該方式。但是，在刪減冗長處理這樣的本發(fā)明目的下，本內(nèi)部處理算法是一種能夠?qū)崿F(xiàn)處理程序少并且圖像質(zhì)量高的縮小處理的方法，在實現(xiàn)本發(fā)明圖像處理上是合適的縮小處理暨顏色再排列處理算法。
[0120](水平方向的縮小調(diào)整大小處理及顏色再排列數(shù)據(jù)生成處理的具體例)
[0121]接著，利用圖7，對在圖5及圖6所示的水平方向縮小調(diào)整大小處理及水平方向顏色再排列數(shù)據(jù)生成處理部501、507、508、601的處理中應(yīng)用的、沿傳感器讀出方向的水平縮小調(diào)整大小處理及顏色再排列處理的細(xì)節(jié)進(jìn)行說明。
[0122]沿傳感器讀出方向的水平縮小調(diào)整大小處理部501是一維的流水線處理，如圖7所示，是由以下處理部構(gòu)成，即:載色除去濾波處理部(濾波處理部)702，其通過對行單位的RAW行圖像701進(jìn)行的濾波處理，從RAW圖像101提取出亮度數(shù)據(jù)；載色提取濾波處理部(濾波處理部)704，其提取載色數(shù)據(jù)；載色反轉(zhuǎn)解調(diào)處理部705，其對調(diào)制后的載色數(shù)據(jù)進(jìn)行顏色反轉(zhuǎn)解調(diào)，輸出連續(xù)的色差數(shù)據(jù)；亮度信號傳感器讀出方向縮小調(diào)整大小處理部706及色差信號傳感器讀出方向縮小調(diào)整大小處理部707，其對得到的亮度數(shù)據(jù)和色差數(shù)據(jù)分別獨立地進(jìn)行縮小調(diào)整大?。簧顢?shù)據(jù)反轉(zhuǎn)調(diào)制處理部(載色調(diào)制處理部)708，其將調(diào)整大小后的色差數(shù)據(jù)再轉(zhuǎn)換成載色數(shù)據(jù)，進(jìn)行增益電平調(diào)整；第一顏色排列再現(xiàn)處理部(顏色再排列數(shù)據(jù)生成處理部)709，其將調(diào)整大小后電平被調(diào)整了的亮度數(shù)據(jù)與調(diào)制后的載色數(shù)據(jù)重新合成，形成最終的第一顏色排列數(shù)據(jù)710 ;符號反轉(zhuǎn)處理部711，其將調(diào)制后的載色數(shù)據(jù)的符號反轉(zhuǎn)；以及，第二顏色排列再現(xiàn)處理部(顏色再排列數(shù)據(jù)生成處理部)712，其將調(diào)整大小后電平被調(diào)整了的亮度數(shù)據(jù)與調(diào)制后符號被反轉(zhuǎn)了的載色數(shù)據(jù)重新合成，生成最終的第二顏色排列數(shù)據(jù)713。
[0123]與顏色再排列相關(guān)的處理是:將所述調(diào)整大小后的色差數(shù)據(jù)再轉(zhuǎn)換成載色數(shù)據(jù)，進(jìn)行增益電平調(diào)整的色差數(shù)據(jù)反轉(zhuǎn)調(diào)制處理部708 ;第一顏色排列再現(xiàn)處理部709 ;符號反轉(zhuǎn)處理部711 ;以及第二顏色排列再現(xiàn)處理部712。這些處理包含在圖7中以虛線圍住的顏色再排列數(shù)據(jù)生成處理部20中。
[0124]接著，利用圖7所示的傳感器讀出方向的水平縮小調(diào)整大小處理功能，對處理拜爾排列的圖像的情況進(jìn)行說明。
[0125]作為原圖像的RAW圖像101是反映了拜爾排列的像素配置的鑲嵌狀圖像，通常從攝像部12以行單位被讀出。該原圖像的行單位的RAW行圖像數(shù)據(jù)701為紅(R)與綠(G)的信息按每個像素反復(fù)的RG行、和藍(lán)(B)與綠(G)的信息按每個像素反復(fù)的BG行這兩種。在圖7中，僅示出關(guān)于BG行的信號信息。
[0126]這兩種行數(shù)據(jù)經(jīng)過將以兩個像素周期變化的奈奎斯特頻率附近的載色除去的載色除去濾波處理部702，對于RG行而言，輸出成為紅(R)與綠(G)的平均值的行亮度數(shù)據(jù){a (R+G)}，對于BG行而言，輸出成為藍(lán)⑶與綠(G)的平均值的行亮度數(shù)據(jù){> (B+G)}。
[0127]而且，所述兩種行數(shù)據(jù)經(jīng)過將以兩個像素周期變化的奈奎斯特頻率附近的載色提取出的載色提取濾波處理部704，對于RG行而言，輸出以奈奎斯特頻率被調(diào)制后的RG行載色數(shù)據(jù)，對于BG行而言，輸出以奈奎斯特頻率被調(diào)制后的BG行載色數(shù)據(jù)。所述以奈奎斯特頻率被調(diào)制后的RG行載色數(shù)據(jù)及BG行載色數(shù)據(jù)，通過按每一個像素使符號反轉(zhuǎn)的載色反轉(zhuǎn)解調(diào)處理部705，作為連續(xù)的RG行色差數(shù)據(jù)及BG行色差數(shù)據(jù)被輸出。
[0128]當(dāng)針對提取出的亮度數(shù)據(jù)和色差數(shù)據(jù)分別以同一縮小比率實施傳感器讀出方向的縮小調(diào)整大小時，為了抑制縮小后的返回噪聲，對亮度數(shù)據(jù)用及色差數(shù)據(jù)用分別實施在圖7中未圖示的、特性相異的亮度用帶限濾波處理、和色差用帶限濾波處理，但作為有效率的處理，是以通過載色除去濾波處理部702和載色提取濾波處理部704，將頻率特性的限制同時應(yīng)用處理的方法為好，作為安裝方法，該方法是有效率的。此時，作為色差用帶限，在設(shè)想最終記錄格式為JPEG或TIFF、MPEG的情況下，設(shè)定為亮度用帶限的二分之一以下。被帶限的亮度數(shù)據(jù)通過亮度信號傳感器讀出方向縮小調(diào)整大小處理部706，與縮小比率對應(yīng)地進(jìn)行線性插值間隔提取處理。另一方面，被帶限的色差數(shù)據(jù)通過色差信號傳感器讀出方向的水平縮小調(diào)整大小處理部507，與縮小比率對應(yīng)地進(jìn)行線性插值間隔提取處理。
[0129]對于按照每一行沿傳感器讀出方向被水平縮小調(diào)整大小后的兩種連續(xù)的色差數(shù)據(jù){β (R-G), β (B-G)}，作為用于按照以兩個像素周期變化的奈奎斯特頻率進(jìn)行調(diào)制的等效處理，實施按每一個像素使符號反轉(zhuǎn)的、在色差數(shù)據(jù)反轉(zhuǎn)調(diào)制處理部708進(jìn)行的處理。其結(jié)果是，成為在各個行數(shù)據(jù)上符號按照每個像素相異的第一 {β (R-G),-β (R-G)}、{β (B-G)、-13 (B-G)}這兩種縮小RG行載色數(shù)據(jù)和縮小BG行載色數(shù)據(jù)。同時，將所述載色數(shù)據(jù)的符號反轉(zhuǎn)的符號反轉(zhuǎn)處理部711，使第一 {β (R-G)、- β (R-G)}、{β (B-G)、- β (B-G)}這兩種縮小RG行載色數(shù)據(jù)和縮小`BG行載色數(shù)據(jù)成為在各個行數(shù)據(jù)上符號按照每個像素相異的第二 {- β (R-G)、β (R-G) }、{- β (B-G)、β (B-G)}這兩種縮小RG行載色數(shù)據(jù)和縮小BG行載色數(shù)據(jù)。
[0130]被調(diào)整大小后的縮小行亮度數(shù)據(jù)，在與被調(diào)整大小后的載色數(shù)據(jù)的相加處理、SP顏色排列再現(xiàn)處理部709中，按照每行，所述第一及第二縮小RG行載色數(shù)據(jù)和所述第一及第二縮小BG行載色數(shù)據(jù)被重新合成，作為紅(R)與綠(G)的信息按每個像素反復(fù)的、被縮小調(diào)整大小后的RG行及GR行、以及作為藍(lán)(B)與綠(G)的信息按每個像素反復(fù)的、被縮小調(diào)整大小后的BG行710及GB行713輸出。
[0131]利用數(shù)學(xué)式表示RG行的重新合成。首先，若在亮度數(shù)據(jù){> (R+G)}、載色數(shù)據(jù){β (R-G)、-β (R-G)}中設(shè) α =0.5、β =05，則變?yōu)榱炼葦?shù)據(jù){0.5 (R+G)}、載色數(shù)據(jù){0.5 (R-G)、-0.5 (R-G) }。若對每個像素加上亮度數(shù)據(jù)和載色數(shù)據(jù)，則重復(fù)
0.5 {(R+G) + (R-G)} ,0.5 {(R+G) - (R-G)},…。即，將 RG 行數(shù)據(jù)再生為 R、G、R、G、…。若載色數(shù)據(jù)的符號反轉(zhuǎn)，則GR行數(shù)據(jù)再生為G、R、G、R、…。
[0132]在BG行中也同樣，若在亮度數(shù)據(jù){a (B+G)}、載色數(shù)據(jù){β (B_G)、_i3 (B-G)}中設(shè)α =0.5、β =0.5，則變?yōu)榱炼葦?shù)據(jù){0.5 (B+G)}、載色數(shù)據(jù){0.5 (B-G)、-0.5 (B-G)}。若對每個像素加上亮度數(shù)據(jù)和載色數(shù)據(jù)，則重復(fù)0.5 {(B+G) + (B-G)}、0.5 {(B+G) - (B-G)}、...。即、BG行數(shù)據(jù)再生為B、G、B、G、…。若載色數(shù)據(jù)的符號反轉(zhuǎn)，則GB行數(shù)據(jù)再生為G、B、G、B、…。[0133]在圖7中所示的傳感器讀出方向的水平縮小調(diào)整大小處理功能夠在實施圖5中所示的處理部501、507、508或圖6中所示的處理部601時使用。
[0134]在圖5的水平方向縮小調(diào)整大小處理部501中，是將顏色排列相異的兩種縮小行數(shù)據(jù)中的一個往下一個處理輸出。而且，在顏色再排列數(shù)據(jù)生成處理部507、508中，不實施水平方向的縮小處理，而是將顏色排列相異的兩種縮小行數(shù)據(jù)輸出。并且，在圖6的水平方向縮小調(diào)整大小暨顏色再排列數(shù)據(jù)生成處理部601中，是將被水平方向的縮小處理后的、顏色排列相異的兩種縮小行數(shù)據(jù)輸出。
[0135]接著,利用圖8，對于將在所述水平縮小調(diào)整大小處理部501、水平縮小調(diào)整大小處理暨顏色再排列數(shù)據(jù)生成處理部601進(jìn)行處理的縮小RAW圖像數(shù)據(jù)暫時地寫入到作為存儲部503、604、605的一例的多個行存儲器，并且同時從這些多個行存儲器讀出多個水平方向縮小行RAW數(shù)據(jù)的情況的細(xì)節(jié)進(jìn)行說明。
[0136]圖8(a)表示多個行存儲器的寫入讀出動作。該圖(b)表示該圖(a)的下一個行周期定時下的同一行存儲器的寫入讀出動作。在圖8(a)及圖8(b)中，801是由八行構(gòu)成的行存儲器。802表示針對所述行存儲器801的數(shù)據(jù)寫入循環(huán)，作為對八行的寫入控制，一邊按每一行依次以環(huán)狀巡回，一邊不斷寫入。803表示針對行存儲器801的數(shù)據(jù)讀出循環(huán)，一邊匯總選擇八行中的七行量的存儲器數(shù)據(jù)，一邊與寫入控制同樣地按順序以環(huán)狀巡回并不斷讀出。
[0137]在圖8(a)及(b)的例子中，為了使所使用的多個行存儲器801的容量為最小限度，使相對環(huán)狀的巡回寫入的、七行同時巡回讀出的開頭行的位置成為比寫入行慢一行的位置。而且，通過劃分寫入行和讀出行，還能夠使寫入與讀出不同步地動作。
[0138]這樣，通過從圖8(a)及(b)所示的行存儲器801中匯總讀出水平方向的RAW縮小調(diào)整大小圖像502、602、603中連續(xù)的多行量的RAW調(diào)整大小數(shù)據(jù)，對多行上的傳感器讀出方向的同一位置的數(shù)據(jù)804，在圖5所示的第一具體例中，在垂直方向縮小調(diào)整大小暨顏色再排列數(shù)據(jù)處理部504沿縱向進(jìn)行處理，得到RAW調(diào)整大小圖像505、606。在圖6所示的第二具體例中，在垂直方向縮小調(diào)整大小暨顏色再排列數(shù)據(jù)處理部606、607沿縱向進(jìn)行處理，得到顏色排列相異的四個種類的RAW調(diào)整大小圖像104。
[0139]此時，在垂直方向縮小調(diào)整大小暨顏色再排列數(shù)據(jù)處理部504、606、608進(jìn)行的處理，成為與在傳感器讀出方向的水平縮小調(diào)整大小處理部501進(jìn)行的處理相異的處理。在垂直方向縮小調(diào)整大小暨顏色再排列數(shù)據(jù)處理部504、606、608進(jìn)行的處理是根據(jù)是否基于下述判斷處理進(jìn)行輸出，來通過減少行數(shù)，實施垂直方向的縮小調(diào)整大小處理，所述判定處理用于判定:對于以多行作為輸入的任意圖像處理輸出數(shù)據(jù)，是否以行單位作為有效數(shù)據(jù)來利用。
[0140](垂直方向的縮小調(diào)整大小處理及顏色再排列數(shù)據(jù)處理的具體例)
[0141]圖9是表示如下的結(jié)構(gòu)，即通過所述垂直方向縮小調(diào)整大小暨顏色再排列數(shù)據(jù)處理504、606、608,生成顏色排列信息相異的兩種拜爾排列數(shù)據(jù)時,通過相對于輸入行方向沿垂直方向縮小成任意尺寸的圖像，并且還沿垂直方向?qū)⑴紨?shù)行上和奇數(shù)行上的顏色相互對調(diào)，生成兩種拜爾排列數(shù)據(jù)710、711這樣的內(nèi)部處理結(jié)構(gòu)的一個例子。
[0142]圖9的垂直方向縮小調(diào)整大小暨顏色再排列數(shù)據(jù)處理504、606、608與圖7所示的傳感器讀出方向的水平縮小調(diào)整大小處理同樣，作為亮度信號處理和色差信號處理這樣的兩系統(tǒng)處理而實施。
[0143]進(jìn)行詳細(xì)說明時，在圖9中示例出下述的情況:作為輸入數(shù)據(jù)將相對于七行量的RAW圖像在垂直方向成為同一水平位置的七個像素作為一個處理單位來實施處理。
[0144]圖9所示的垂直方向縮小調(diào)整大小暨顏色再排列數(shù)據(jù)處理是山以下處理部構(gòu)成，即:載色除去濾波處理部(濾波處理部)903，其從所述七行量的RAW圖像沿垂直方向提取出亮度數(shù)據(jù)；載色提取濾波處理部(濾波處理部)912，其提取垂直方向的載色數(shù)據(jù)；載色反轉(zhuǎn)解調(diào)處理部(垂直方向載色反轉(zhuǎn)解調(diào)處理部)916，其對在垂直方向被調(diào)制后的載色數(shù)據(jù)進(jìn)行色反轉(zhuǎn)解調(diào)，輸出在垂直方向連續(xù)的色差數(shù)據(jù)；亮度信號垂直方向縮小調(diào)整大小處理部(垂直方向縮小調(diào)整大小處理部)910及色差信號垂直方向縮小調(diào)整大小處理部(垂直方向縮小調(diào)整大小處理部)918，其對在得到的垂直方向行亮度數(shù)據(jù)909和色差數(shù)據(jù)獨立地進(jìn)行垂直方向縮小調(diào)整大小；色差數(shù)據(jù)反轉(zhuǎn)調(diào)制處理部(垂直方向色差數(shù)據(jù)反轉(zhuǎn)調(diào)制處理部)920，其將調(diào)整大小后的色差數(shù)據(jù)再次轉(zhuǎn)換成載色數(shù)據(jù)，進(jìn)行增益電平調(diào)整；第一顏色排列再現(xiàn)處理部922，將調(diào)整大小后電平被調(diào)整了的亮度數(shù)據(jù)和調(diào)制后的載色數(shù)據(jù)重新合成，生成最終的第一顏色排列數(shù)據(jù)923;符號反轉(zhuǎn)處理部926，其將被調(diào)制后的載色數(shù)據(jù)的符號反轉(zhuǎn)；第二顏色排列再現(xiàn)處理部924，其將調(diào)整大小后電平被調(diào)整了的亮度數(shù)據(jù)與調(diào)制后符號被反轉(zhuǎn)了的載色數(shù)據(jù)重新合成，生成最終的第二顏色排列數(shù)據(jù)925。
[0145]與顏色再排列相關(guān)的處理是:將所述調(diào)整大小后的色差數(shù)據(jù)再轉(zhuǎn)換成載色數(shù)據(jù)，進(jìn)行增益電平調(diào)整的色差數(shù)據(jù)反轉(zhuǎn)調(diào)制處理部920 ;第一顏色排列再現(xiàn)處理部922 ;符號反轉(zhuǎn)處理部926 ;以及第二顏色排列再現(xiàn)處理部924，這些處理包含在圖9中以虛線圍住的顏色再排列數(shù)據(jù)生成處理部30中。
[0146]詳細(xì)說明利用所述圖9所示的垂直方向縮小調(diào)整大小暨顏色再排列數(shù)據(jù)處理功能，對拜爾排列的圖像進(jìn)行縮小調(diào)整大小處理暨顏色再排列數(shù)據(jù)處理的情況。
[0147]如圖9的垂直方向的處理單位901所示，水平調(diào)整大小處理后的RAW圖像保持著反映了拜爾排列的像素配置的鑲嵌狀排列，如圖8所示，被以行單位巡回寫入到行存儲器801中，并匯總多行被巡回讀出。在圖8所示的本實施方式中，利用由八行構(gòu)成的行存儲器801，將七行量的數(shù)據(jù)匯總并輸出。
[0148]對于水平調(diào)整大小處理后的七行單位的輸入數(shù)據(jù)，在第一垂直方向的處理單位成為:對于行上的傳感器讀出方向的同一位置的垂直方向關(guān)注數(shù)據(jù)，藍(lán)(B)與綠(G)的信息沿垂直方向按每個像素反復(fù)的BG垂直處理單位901、和綠(G)與紅(R)的信息沿垂直方向按每個像素反復(fù)的GR垂直處理單位902這兩種。
[0149]成為這兩種垂直方向的處理單位的數(shù)據(jù)，具有在垂直方向以兩個像素周期變化的奈奎斯特頻率附近的載色信息，在所述除去載色的載色除去濾波處理部903中，利用七行數(shù)據(jù)中的五行量的亮度數(shù)據(jù)Yl?Y3被實施三系統(tǒng)處理，生成沿垂直方向偏離一行量位置的三個種類的連續(xù)的亮度數(shù)據(jù)。本實施方式中，在載色除去濾波處理部903中沿垂直方向分別利用五像素的亮度數(shù)據(jù)Yl?Y3，輸出三個種類的行亮度數(shù)據(jù)909。各個亮度數(shù)據(jù)Yl?Y3是作為下述的亮度數(shù)據(jù)而在水平方向交替地輸出，即，關(guān)于垂直方向的BG垂直處理單位901是作為成為藍(lán)(B)與綠(G)的平均值的亮度數(shù)據(jù)，而關(guān)于接下來的垂直方向的GR垂直處理單位902是作為成為綠(G)與紅(R)的平均值的亮度數(shù)據(jù)。
[0150]而且，所述兩種垂直方向的處理單位901、902，利用在垂直方向以兩個像素周期變化的奈奎斯特頻率附近的載色提取出的載色提取濾波處理部912的七行數(shù)據(jù)中的五行量的數(shù)據(jù)被實施三系統(tǒng)處理，生成沿垂直方向偏離一行量位置的三個種類的連續(xù)的載色數(shù)據(jù)Cl?C3 (913?915)。關(guān)于BG垂直處理單位901的BG垂直方向，輸出被以奈奎斯特頻率調(diào)制后的BG載色成分?jǐn)?shù)據(jù)，關(guān)于GR垂直處理單位902的GR垂直方向，輸出被以奈奎斯特頻率調(diào)制后的GR載色成分?jǐn)?shù)據(jù)。
[0151]沿垂直方向被以奈奎斯特頻率調(diào)制后的各為三個的BG載色成分?jǐn)?shù)據(jù)及GR載色成分?jǐn)?shù)據(jù)，通過沿垂直方向按每一個像素(每一行動作)反轉(zhuǎn)符號的載色反轉(zhuǎn)解調(diào)處理部916，作為沿垂直方向連續(xù)的R-G數(shù)據(jù)、B-G數(shù)據(jù)輸出。在此，以垂直方向的像素數(shù)據(jù)位置與亮度數(shù)據(jù)Yl?Y3成為相同位置的方式輸出色差數(shù)據(jù)Cl?C3。
[0152]在對由沿垂直方向提取出的所述三行數(shù)據(jù)構(gòu)成的亮度數(shù)據(jù)Yl?Y3和色差數(shù)據(jù)Cl?C3分別實施同一比率的垂直方向的縮小調(diào)整大小時，為了抑制縮小后的返回噪聲，優(yōu)選按亮度數(shù)據(jù)用及色差數(shù)據(jù)用分別實施在圖9中未圖示的、特性相異的亮度用帶限濾波處理、和色差用帶限濾波處理。雖然也能夠?qū)α炼葦?shù)據(jù)Yl?Y3與色差數(shù)據(jù)Cl?C3這三行實施同一帶限濾波處理，但是作為有效率的處理來說，通過載色除去濾波處理部903和載色提取濾波處理部912，將頻率特性的限制同時應(yīng)用處理這樣的方法，作為安裝方法是有效率的。此時，作為色差數(shù)據(jù)的帶限，設(shè)想最終記錄格式為JPEG或TIFF、MPEG的情況下，優(yōu)選設(shè)定為亮度用數(shù)據(jù)的帶限的二分之一以下。
[0153]亮度信號垂直方向縮小調(diào)整大小處理部910，利用在所述垂直方向被帶限的亮度數(shù)據(jù)Yl?Y3這三個行亮度數(shù)據(jù)909進(jìn)行在垂直方向的線形插值，以行單位并對應(yīng)縮小比率實施行間隔提取輸出。另一方面，色差信號垂直方向縮小調(diào)整大小處理部918，利用三個色差分行數(shù)據(jù)在垂直方向進(jìn)行與所述亮度數(shù)據(jù)相同的線形插值，以行單位并對應(yīng)垂直縮小比率實施行間隔提取輸出。
[0154]通過所述垂直方向的行間隔提取而被縮小調(diào)整大小的色差數(shù)據(jù)，作為用于按照以兩個像素周期變化的奈奎斯特頻率進(jìn)行調(diào)制的等效處理，被實施按每個有效行輸出使符號反轉(zhuǎn)的、在色差數(shù)據(jù)反轉(zhuǎn)調(diào)制處理部920進(jìn)行的處理，在垂直方向生成第一垂直載色數(shù)據(jù)921。將該第一垂直載色數(shù)據(jù)921在符號反轉(zhuǎn)處理部926進(jìn)行符號反轉(zhuǎn)，生成第二垂直載色數(shù)據(jù)927。
[0155]通過所述垂直方向的行間隔提取而在垂直方向被縮小調(diào)整大小的行亮度數(shù)據(jù)911、及所述第一垂直載色數(shù)據(jù)921，在第一顏色排列再現(xiàn)處理部922被實施相加處理，作為垂直方向BG數(shù)據(jù)923、及未圖不的垂直方向GR數(shù)據(jù)在水平方向交替地輸出。該垂直方向BG數(shù)據(jù)923是藍(lán)(B)與綠(G)的信息在垂直方向按每個像素反復(fù)的、水平垂直都被調(diào)整大小的數(shù)據(jù)，該垂直方向GR數(shù)據(jù)是綠(G)與紅(R)的信息在垂直方向按每個像素反復(fù)的、水平垂直都被調(diào)整大小的數(shù)據(jù)。
[0156]通過所述垂直方向的行間隔提取而被垂直縮小調(diào)整大小的行亮度數(shù)據(jù)911、及所述第二垂直載色數(shù)據(jù)927，在第二顏色排列再現(xiàn)處理部924被進(jìn)行相加處理，作為垂直方向GB數(shù)據(jù)925、及未圖示的垂直方向RG數(shù)據(jù)在水平方向交替地輸出。該垂直方向GB數(shù)據(jù)925是綠(G)與藍(lán)(B)的信息在垂直方向按每個像素反復(fù)的、水平垂直都被調(diào)整大小的數(shù)據(jù)，該垂直方向RG數(shù)據(jù)是紅(R)與綠(G)的信息在垂直方向按每個像素反復(fù)的、水平垂直都被調(diào)整大小的數(shù)據(jù)。[0157]與在垂直方向的兩種顏色再排列相關(guān)的處理，是通過所述第一顏色排列再現(xiàn)處理部922、及第二顏色排列再現(xiàn)處理部924實施，作為圖5所示的四個種類的拜爾排列數(shù)據(jù)505、506、圖6所示的兩種拜爾排列數(shù)據(jù)104a、104b、104c、104d輸出。
[0158]如以上所述，在圖5所示的第一實施方式中，能夠以圖7的處理一圖8的處理一圖9的處理一圖7的處理的順序組合，生成縮小成顯示用尺寸的兩個像素X兩個像素范圍的、顏色排列信息相異的四個種類的拜爾排列數(shù)據(jù)104。
[0159]此外，在圖6所示的第二實施方式中，能夠以圖7的處理一圖8的處理一圖9的并列處理的順序組合，縮小成顯示用尺寸的兩個像素X兩個像素范圍的、顏色排列信息相異的四個種類的拜爾排列數(shù)據(jù)104。
[0160]接著，利用在圖2所示的顏色再排列顯示數(shù)據(jù)生成處理部201、203、205對原圖像的紅(R)、綠(G)、藍(lán)(B)的顏色進(jìn)行選擇處理，能夠生成顏色排列符合監(jiān)視器的輸入規(guī)格的顯示數(shù)據(jù)。
[0161]需要說明的是，實施本發(fā)明的機(jī)構(gòu)不限于專用的圖像處理裝置(圖像再生裝置或圖像加工裝置)，也可以是個人電腦。并且，圖像處理并不限于其處理的一部分或全部由硬件(信號處理電路)實現(xiàn)，也可以通過軟件實現(xiàn)。
[0162]另外，使用于圖像處理的圖像處理程序可以構(gòu)成為單獨的應(yīng)用程序軟件，也可以作為圖像加工軟件、文件管理用軟件等應(yīng)用程序的一部分而組入。此外，該圖像處理程序不限定于在個人電腦等計算機(jī)系統(tǒng)中應(yīng)用的情況，也可以作為組裝在數(shù)碼相機(jī)、攜帶式電話機(jī)等信息設(shè)備的中央處理裝置(CPU)的動作程序來應(yīng)用。
[0163]-工業(yè)可用性-
[0164]如以上說明那樣，本發(fā)明涉及的圖像處理裝置及圖像處理方法特別是在將從單板彩色攝像元件得到的原圖像縮小處理并顯示時，作為合適的圖像數(shù)據(jù)尺寸轉(zhuǎn)換顯示處理裝置、電子靜態(tài)圖片相機(jī)、圖像數(shù)據(jù)尺寸轉(zhuǎn)換顯示處理程序等是有用的。
[0165]-符號說明-
[0166]10攝像裝置
[0167]11光學(xué)透鏡
[0168]12撮像部
[0169]101拜爾排列的RAW圖像數(shù)據(jù)
[0170]104四個種類的拜爾排列數(shù)據(jù)
[0171]105前處理部
[0172]107存儲控制部
[0173]108存儲部
[0174]109圖像信號處理部
[0175]110壓縮解壓處理部
[0176]111記錄介質(zhì)I /F部
[0177]112記錄介質(zhì)
[0178]113操作面板
[0179]114 CPU
[0180]115 ROM[0181]116 RAM
[0182]117顯示處理部
[0183]118監(jiān)視器
[0184]DPth (I)、DPth (2)數(shù)據(jù)路徑
[0185]102縮小調(diào)整大小處理部
[0186]103顏色再排列數(shù)據(jù)生成處理部
[0187]104a?104d四個種類的拜爾排列數(shù)據(jù)
[0188]201,203,205顏色再排列顯示數(shù)據(jù)生成處理部
[0189]202、204、206顏色再排列顯示數(shù)據(jù)
[0190]50 IRAff數(shù)據(jù)水平方向縮小調(diào)整大小處理部
[0191]502僅沿水平方向縮小的圖像數(shù)據(jù)
[0192]503,604,605存儲部(存儲裝置)
[0193]504,606,607 RAW數(shù)據(jù)垂直方向調(diào)整大小處理暨顏色再排列處理部
[0194]505,506兩種顯示用尺寸拜爾排列數(shù)據(jù)
[0195]507,508水平方向顏色再排列數(shù)據(jù)生成處理部
[0196]601 RAW數(shù)據(jù)水平方向縮小調(diào)整大小暨顏色再排列數(shù)據(jù)生成處理部
[0197]602,603僅沿水平方向縮小的兩種圖像數(shù)據(jù)
[0198]701 RAW行圖像數(shù)據(jù)
[0199]702載色除去濾波處理部(濾波處理部)
[0200]703行亮度數(shù)據(jù)
[0201]704載色提取濾波處理部(濾波處理部)
[0202]705色差數(shù)據(jù)復(fù)調(diào)處理部
[0203]706亮度信號傳感器讀出方向縮小調(diào)整大小處理部
[0204]707色差信號傳感器讀出方向縮小調(diào)整大小處理部
[0205]708載色調(diào)制處理部(載色調(diào)制處理部)
[0206]709第一顏色排列再現(xiàn)處理部(顏色再排列數(shù)據(jù)生成處理部)
[0207]710第一縮小顏色排列數(shù)據(jù)
[0208]711符號反轉(zhuǎn)處理部
[0209]712第二顏色排列再現(xiàn)處理部(顏色再排列數(shù)據(jù)生成處理部)
[0210]713第二縮小顏色排列數(shù)據(jù)
[0211]801行存儲器
[0212]802針對行存儲器的數(shù)據(jù)寫入循環(huán)
[0213]803針對行存儲器的數(shù)據(jù)讀出循環(huán)
[0214]804多行上的傳感器讀出方向的同一位置的數(shù)據(jù)
[0215]901第一垂直方向的處理單位
[0216]902第二垂直方向的處理單位
[0217]903載色除去濾波處理部(濾波處理部)
[0218]904,905,906 行亮度數(shù)據(jù)
[0219]909三個種類的行亮度數(shù)據(jù)[0220]910亮度信號垂直方向縮小調(diào)整大小處理部(垂直方向縮小調(diào)整大小處理部)
[0221]911垂直方向縮小行亮度數(shù)據(jù)
[0222]912載色提取濾波處理部(濾波處理部)
[0223]913、914、915 載色數(shù)據(jù)
[0224]916載色反轉(zhuǎn)解調(diào)處理部(垂直方向載色反轉(zhuǎn)解調(diào)處理部)
[0225]918色差信號垂直方向縮小調(diào)整大小處理部(垂直方向縮小調(diào)整大小處理部)
[0226]919垂直方向縮小色差數(shù)據(jù)
[0227]920色差數(shù)據(jù)反轉(zhuǎn)調(diào)制處理部(垂直方向色差數(shù)據(jù)反轉(zhuǎn)調(diào)制處理部)
[0228]30顏色再排列數(shù)據(jù)生成處理部
[0229]921第一垂直載色數(shù)據(jù)
[0230]922第一垂直顏色排列再現(xiàn)處理部
[0231]923第一縮小顏色排列數(shù)據(jù)
[0232]924第二垂直顏色排列再現(xiàn)處理部
[0233]925第二縮小顏色排列數(shù)據(jù)
[0234]926符號反轉(zhuǎn)處理部
[0235]927第二垂直載色數(shù)據(jù)
【權(quán)利要求】
1.一種圖像處理裝置，其能夠從由顏色排列具有周期性的多種顏色的像素構(gòu)成的原圖像的數(shù)字圖像信號生成縮小圖像并進(jìn)行顯示，該圖像處理裝置的特征在于: 具有: 縮小調(diào)整大小處理部，其將從單板彩色攝像元件得到的原圖像縮小成對應(yīng)于顯示監(jiān)視器的顯示尺寸的圖像；以及 顏色再排列數(shù)據(jù)生成處理部，其根據(jù)通過所述縮小調(diào)整大小處理部縮小的縮小圖像，生成由所述原圖像的顏色信息所構(gòu)成的一種以上的顯示用縮小圖像。
2.一種圖像處理裝置，其能夠從由顏色排列具有周期性的多種顏色的像素構(gòu)成的原圖像的數(shù)字圖像信號生成縮小圖像并進(jìn)行顯示，該圖像處理裝置的特征在于: 具有: 縮小調(diào)整大小處理部，其將從單板彩色攝像元件得到的原圖像縮小成對應(yīng)于顯示監(jiān)視器的顯示尺寸的圖像； 顏色再排列數(shù)據(jù)生成處理部，其根據(jù)通過所述縮小調(diào)整大小處理部縮小的縮小圖像，生成由所述原圖像的顏色信息所構(gòu)成的一種以上的顯示用縮小圖像；以及 顏色再排列顯示數(shù)據(jù)生成處理部，其根據(jù)通過所述顏色再排列數(shù)據(jù)生成處理部生成的顯示用縮小圖像，生成能夠?qū)?yīng)于所述顯示監(jiān)視器的彩色像素排列的一種以上的顏色排列顯示數(shù)據(jù)。
3.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其特征在于: 還具有:` 將所述顯示用縮小圖像從所述顏色再排列數(shù)據(jù)生成處理部直接輸入到顯示處理部的數(shù)據(jù)路徑，該顯示處理部進(jìn)行對應(yīng)于所述顯示監(jiān)視器的顯示特性的顯示處理；以及 將所述顯示用縮小圖像從所述顏色再排列數(shù)據(jù)生成處理部通過存儲部輸入到所述顯示處理部的數(shù)據(jù)路徑， 根據(jù)攝影時的動作模式控制所述存儲部的存儲控制部，選擇性地進(jìn)行將所述顯示用縮小圖像從所述顏色再排列數(shù)據(jù)生成處理部直接輸入到所述顯示處理部、或是將所述顯示用縮小圖像從所述顏色再排列數(shù)據(jù)生成處理部通過所述存儲部輸入到所述顯示處理部的圖像輸入數(shù)據(jù)路徑控制。
4.根據(jù)權(quán)利要求1到3項中任一項權(quán)利要求所述的圖像處理裝置，其特征在于: 所述縮小調(diào)整大小處理部的縮小調(diào)整大小處理、以及所述顏色再排列數(shù)據(jù)生成處理部的顏色再排列數(shù)據(jù)生成處理，能夠在對原圖像進(jìn)行的水平方向處理中實施，并且能夠在對原圖像進(jìn)行的垂直方向處理中實施。
5.根據(jù)權(quán)利要求1到4項中任一項權(quán)利要求所述的圖像處理裝置，其特征在于: 所述縮小調(diào)整大小處理部以及所述顏色再排列數(shù)據(jù)生成處理部: 通過傳感器讀出方向的行單位的第一縮小調(diào)整大小處理對所述原圖像僅沿一個方向進(jìn)行縮小調(diào)整大小處理， 并且，根據(jù)該僅沿一個方向被縮小調(diào)整大小處理后的一個多色排列數(shù)據(jù)，進(jìn)行沿與所述第一縮小調(diào)整大小處理正交的垂直方向的第二縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理，生成被二維縮小調(diào)整大小處理后的兩種多色排列數(shù)據(jù)， 并且，對所述兩種多色排列數(shù)據(jù)分別進(jìn)行作為再次的行單位處理的顏色再排列數(shù)據(jù)生成處理，生成多種多色排列數(shù)據(jù)。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其特征在于: 所述縮小調(diào)整大小處理部及所述顏色再排列數(shù)據(jù)生成處理部: 將通過所述第一縮小調(diào)整大小處理對所述原圖像僅沿水平方向進(jìn)行縮小調(diào)整大小處理后的一種多色排列數(shù)據(jù)寫入到存儲裝置， 并且，當(dāng)從所述存儲裝置讀出所述一種多色排列數(shù)據(jù)時，沿著與寫入時的行方向正交的方向以行單位讀出，并進(jìn)行再次的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理，生成被二維縮小調(diào)整大小處理后的兩種顏色排列數(shù)據(jù)， 并且，對所述兩種多色排列數(shù)據(jù)分別進(jìn)行作為再次的行單位處理的顏色再排列數(shù)據(jù)生成處理，生成多種多色排列數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于: 所述縮小調(diào)整大小處理部及所述顏色再排列數(shù)據(jù)生成處理部一邊將通過所述第一縮小調(diào)整大小處理對所述原圖像僅沿一個方向進(jìn)行縮小調(diào)整大小處理后的一種多色排列數(shù)據(jù)按每一行寫入到由多行構(gòu)成的行存儲器中，一邊同時讀出多行數(shù)據(jù)，并從該讀出的多行數(shù)據(jù)上的傳感器讀出方向成為同一位置的垂直方向的關(guān)注多個數(shù)據(jù)提取出亮度數(shù)據(jù)和載色數(shù)據(jù)，進(jìn)行再次的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理， 所述垂直方向的縮小調(diào)整大小處理通過進(jìn)行減少相對于輸入行數(shù)的輸出行的處理，生成被二維縮小調(diào)整大小處理后的兩種多色排列數(shù)據(jù)， 所述縮小調(diào)整大小處理部及所述顏色再排列數(shù)據(jù)生成處理部對述兩種多色排列數(shù)據(jù)分別進(jìn)行作為再次的行單位處理的顏色再排列數(shù)據(jù)生成處理，生成多種顏色排列數(shù)據(jù)。
8.根據(jù)權(quán)利要求1到4項中任一項權(quán)利要求所述的圖像處理裝置，其特征在于: 所述縮小調(diào)整大小處理部及所`述顏色再排列數(shù)據(jù)生成處理部: 通過傳感器讀出方向的行單位處理對所述原圖像僅沿一個方向進(jìn)行縮小調(diào)整大小處理并且進(jìn)行顏色再排列數(shù)據(jù)生成處理， 并且，根據(jù)所述僅沿一個方向被縮小調(diào)整大小處理后的兩種顏色排列數(shù)據(jù)，沿與所述傳感器讀出方向的行單位處理的處理方向正交的方向進(jìn)行再次的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理，生成被二維縮小調(diào)整大小處理后的多種顏色排列數(shù)據(jù)。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其特征在于: 所述縮小調(diào)整大小處理部及所述顏色再排列數(shù)據(jù)生成處理部: 將通過所述傳感器讀出方向的行單位處理對所述原圖像進(jìn)行了僅沿水平方向的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理后的兩種多色排列數(shù)據(jù)寫入到存儲裝置， 并且，當(dāng)從所述存儲裝置讀出所述兩種多色排列數(shù)據(jù)時，沿著與寫入時的行方向正交的方向以行單位讀出，并進(jìn)行再次的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理，生成被二維縮小調(diào)整大小處理后的多種顏色排列數(shù)據(jù)。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置，其特征在于: 所述縮小調(diào)整大小處理部及所述顏色再排列數(shù)據(jù)生成處理部一邊將通過傳感器讀出方向的行單位處理對所述原圖像僅進(jìn)行了沿水平方向的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理后的兩種顏色排列數(shù)據(jù)按每一行寫入到由多行構(gòu)成的行存儲器中，一邊同時讀出多行數(shù)據(jù)，并對該讀出的多行數(shù)據(jù)上的傳感器讀出方向成為同一位置的垂直方向的關(guān)注多個數(shù)據(jù)進(jìn)行再次的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理， 所述垂直方向的縮小調(diào)整大小處理通過進(jìn)行減少相對于輸入行數(shù)的輸出行的處理，生成被二維縮小調(diào)整大小處理后的多種顏色排列數(shù)據(jù)。
11.根據(jù)權(quán)利要求5到10項中任一項權(quán)利要求所述的圖像處理裝置，其特征在于: 所述縮小調(diào)整大小處理部及所述顏色再排列數(shù)據(jù)生成處理部含有用于進(jìn)行水平方向縮小調(diào)整大小處理及顏色再排列數(shù)據(jù)生成處理的下述處理部，即: 濾波處理部，其通過傳感器讀出方向的行單位的行單位處理對所述原圖像提取出亮度數(shù)據(jù)和載色數(shù)據(jù)； 載色反轉(zhuǎn)復(fù)調(diào)處理部，其將所述載色數(shù)據(jù)轉(zhuǎn)換成色差數(shù)據(jù)； 縮小調(diào)整大小處理部，其對所述亮度數(shù)據(jù)和色差數(shù)據(jù)獨立地進(jìn)行縮小調(diào)整大小； 載色調(diào)制處理部，其將通過所述縮小調(diào)整大小處理部進(jìn)行了縮小調(diào)整大小后的色差數(shù)據(jù)按每個像素生成為符號相異的第一載色數(shù)據(jù)、和符號與該第一載色數(shù)據(jù)不同的第二載色數(shù)據(jù)；以及 顏色再排列數(shù)據(jù)生成處理部，其將所述縮小調(diào)整大小后的亮度數(shù)據(jù)和所述第一載色數(shù)據(jù)重新合成，生成具有原圖像的顏色排列數(shù)據(jù)的圖像，并且將所述縮小調(diào)整大小后的亮度數(shù)據(jù)和所述第二載色數(shù)據(jù)重新合成，生成具有與原圖像相異的顏色排列數(shù)據(jù)的圖像。
12.根據(jù)權(quán)利要求5到10項中任一項權(quán)利要求所述的圖像處理裝置，其特征在于: 所述縮小調(diào)整大小處理部及所述顏色再排列數(shù)據(jù)生成處理部含有用于進(jìn)行垂直方向縮小調(diào)整大小處理及顏色再排列數(shù)據(jù)生成處理的下述處理部，即: 濾波處理部，其一邊將通過傳感器讀出方向的行單位處理對所述原圖像僅沿水平方向進(jìn)行了縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理后的顏色排列數(shù)據(jù)按每一行寫入到由多行構(gòu)成的行存儲器中，一邊同時讀出多行數(shù)據(jù)，并從該讀出的多行數(shù)據(jù)上的傳感器讀出方向成為同一位置的垂直方向的關(guān)注多個數(shù)據(jù)沿垂直方向以行單位提取出亮度數(shù)據(jù)和載色數(shù)據(jù)； 垂直方向載色反轉(zhuǎn)解調(diào)處理部，其將所述提取出的垂直方向的載色數(shù)據(jù)轉(zhuǎn)換成垂直方向的色差數(shù)據(jù)； 垂直方向縮小調(diào)整大小處理部，其對所述垂直方向的亮度數(shù)據(jù)和色差數(shù)據(jù)獨立地進(jìn)行減少相對于輸入行數(shù)的輸出行的處理，并進(jìn)行縮小調(diào)整大??； 垂直方向色差數(shù)據(jù)反轉(zhuǎn)調(diào)制處理部，其從所述垂直方向的縮小調(diào)整大小后的、在垂直方向連續(xù)的色差數(shù)據(jù)按每一行生成符號相異的第一載色數(shù)據(jù)、和符號與該第一載色數(shù)據(jù)相異的第二載色數(shù)據(jù)；以及 顏色再排列數(shù)據(jù)生成處理部，其將所述縮小調(diào)整大小后的亮度數(shù)據(jù)和所述第一載色數(shù)據(jù)重新合成，生成具有原圖像的顏色排列數(shù)據(jù)的圖像，并且將所述縮小調(diào)整大小后的亮度數(shù)據(jù)和所述第二載色數(shù)據(jù)重新合成，生成具有與原圖像相異的顏色排列數(shù)據(jù)的圖像。
13.根據(jù)權(quán)利要求1到12項中任一項權(quán)利要求所述的圖像處理裝置，其特征在于: 所述原圖像是利用下述單板彩色攝像元件取得的圖像，該單板彩色攝像元件具有顏色通過原色過濾器被周期性地排列的多種顏色的像素。
14.一種圖像處理方法，其能夠從由顏色排列具有周期性的多種顏色的像素構(gòu)成的原圖像的數(shù)字圖像信號生成縮小圖像并進(jìn)行顯示，該圖像處理方法的特征在于:具有: 縮小調(diào)整大小處理步驟，其將從單板彩色攝像元件得到的原圖像縮小成對應(yīng)于顯示監(jiān)視器的顯示尺寸的圖像；以及 顏色再排列數(shù)據(jù)生成處理步驟，其根據(jù)通過所述縮小調(diào)整大小處理步驟縮小的縮小圖像，生成由所述原圖像的顏色信息所構(gòu)成的一種以上的顯示用縮小圖像。
15.一種圖像處理方法，其能夠從由顏色排列具有周期性的多種顏色的像素構(gòu)成的原圖像的數(shù)字圖像信號生成縮小圖像并進(jìn)行顯示，該圖像處理方法的特征在于: 具有: 縮小調(diào)整大小處理步驟，其將從單板彩色攝像元件得到的原圖像縮小成對應(yīng)于顯示監(jiān)視器的顯示尺寸的圖像； 顏色再排列數(shù)據(jù)生成處理步驟，其根據(jù)通過所述縮小調(diào)整大小處理步驟縮小的縮小圖像，生成由所述原圖像的顏色信息所構(gòu)成的一種以上的顯示用縮小圖像；以及 顏色再排列顯示數(shù)據(jù)生成處理步驟，其根據(jù)通過所述顏色再排列數(shù)據(jù)生成處理步驟生成的顯示用縮小圖像，生成能夠?qū)?yīng)于所述顯示監(jiān)視器的彩色像素排列的一種以上的顏色排列顯示數(shù)據(jù)。
16.根據(jù)權(quán)利要求14或15所述的圖像處理方法，其特征在于: 根據(jù)攝影時的動作模式，對下述進(jìn)行選擇性地切換，即: 將所述顯示用縮小圖像從所述顏色再排列數(shù)據(jù)生成處理步驟直接輸入到顯示處理部，該顯示處理部進(jìn)行對應(yīng)于所述顯示監(jiān)視器的顯示特性的顯示處理；或` 將所述顯示用縮小圖像從所述顏色再排列數(shù)據(jù)生成處理步驟通過存儲部輸入到所述顯示處理部。
17.根據(jù)權(quán)利要求14到16項中任一項權(quán)利要求所述的圖像處理方法，其特征在于: 所述縮小調(diào)整大小處理步驟的縮小調(diào)整大小處理、以及所述顏色再排列數(shù)據(jù)生成處理步驟的顏色再排列數(shù)據(jù)生成處理，能夠在對原圖像進(jìn)行的水平方向處理中實施，并且能夠在對原圖像進(jìn)行的垂直方向處理中實施。
18.根據(jù)權(quán)利要求14到17項中任一項權(quán)利要求所述的圖像處理方法，其特征在于: 所述縮小調(diào)整大小處理步驟以及所述顏色再排列數(shù)據(jù)生成處理步驟: 通過傳感器讀出方向的行單位的第一縮小調(diào)整大小處理對所述原圖像僅沿一個方向進(jìn)行縮小調(diào)整大小處理， 并且，根據(jù)該僅沿一個方向被縮小調(diào)整大小處理后的一個多色排列數(shù)據(jù)，進(jìn)行沿與所述第一縮小調(diào)整大小處理正交的垂直方向的第二縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理，生成被二維縮小調(diào)整大小處理后的兩種多色排列數(shù)據(jù)， 并且，對所述兩種多色排列數(shù)據(jù)分別進(jìn)行作為再次的行單位處理的顏色再排列數(shù)據(jù)生成處理，生成多種多色排列數(shù)據(jù)。
19.根據(jù)權(quán)利要求18所述的圖像處理方法，其特征在于: 所述縮小調(diào)整大小處理步驟及所述顏色再排列數(shù)據(jù)生成處理步驟: 將通過所述第一縮小調(diào)整大小處理對所述原圖像僅沿水平方向進(jìn)行縮小調(diào)整大小處理后的一種多色排列數(shù)據(jù)寫入到存儲裝置， 并且，當(dāng)從所述存儲裝置讀出所述一種多色排列數(shù)據(jù)時，沿著與寫入時的行方向正交的方向以行單位讀出，并進(jìn)行再次的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理，生成被二維縮小調(diào)整大小處理后的兩種顏色排列數(shù)據(jù)， 并且，對所述兩種多色排列數(shù)據(jù)分別進(jìn)行作為再次的行單位處理的顏色再排列數(shù)據(jù)生成處理，生成多種多色排列數(shù)據(jù)。
20.根據(jù)權(quán)利要求19所述的圖像處理方法，其特征在于: 所述縮小調(diào)整大小處理步驟及所述顏色再排列數(shù)據(jù)生成處理步驟一邊將通過所述第一縮小調(diào)整大小處理對所述原圖像僅沿一個方向進(jìn)行縮小調(diào)整大小處理后的一種多色排列數(shù)據(jù)按每一行寫入到由多行構(gòu)成的行存儲器中，一邊同時讀出多行數(shù)據(jù)，并從該讀出的多行數(shù)據(jù)上的傳感器讀出方向成為同一位置的垂直方向的關(guān)注多個數(shù)據(jù)提取出亮度數(shù)據(jù)和載色數(shù)據(jù)，進(jìn)行再次的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理， 所述垂直方向的縮小調(diào)整大小處理通過進(jìn)行減少相對于輸入行數(shù)的輸出行的處理，生成被二維縮小調(diào)整大小處理后的兩種多色排列數(shù)據(jù)， 所述縮小調(diào)整大小處理步驟及所述顏色再排列數(shù)據(jù)生成處理步驟對述兩種多色排列數(shù)據(jù)分別進(jìn)行作為再次的行單位處理的顏色再排列數(shù)據(jù)生成處理，生成多種顏色排列數(shù)據(jù)。
21.根據(jù)權(quán)利要求14到17項中任一項權(quán)利要求所述的圖像處理方法，其特征在于: 所述縮小調(diào)整大小處理步驟及所述顏色再排列數(shù)據(jù)生成處理步驟: 通過傳感器讀出方向的行單位處理對所述原圖像僅沿一個方向進(jìn)行縮小調(diào)整大小處理并且進(jìn)行顏色再排列數(shù)據(jù)生成處理， 并且，根據(jù)所述僅沿一個方向被縮小調(diào)整大小處理后的兩種顏色排列數(shù)據(jù)，沿與所述傳感器讀出方向的行單位處理的處理方向正交的方向進(jìn)行再次的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理，生成被二維縮小調(diào)整大小處理后的多種顏色排列數(shù)據(jù)。`
22.根據(jù)權(quán)利要求21所述的圖像處理方法，其特征在于: 所述縮小調(diào)整大小處理步驟及所述顏色再排列數(shù)據(jù)生成處理步驟: 將通過所述傳感器讀出方向的行單位處理對所述原圖像進(jìn)行了僅沿水平方向的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理后的兩種多色排列數(shù)據(jù)寫入到存儲裝置， 并且，當(dāng)從所述存儲裝置讀出所述兩種多色排列數(shù)據(jù)時，沿著與寫入時的行方向正交的方向以行單位讀出，并進(jìn)行再次的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理，生成被二維縮小調(diào)整大小處理后的多種顏色排列數(shù)據(jù)。
23.根據(jù)權(quán)利要求22所述的圖像處理方法，其特征在于: 所述縮小調(diào)整大小處理步驟及所述顏色再排列數(shù)據(jù)生成處理步驟一邊將通過傳感器讀出方向的行單位處理對所述原圖像僅進(jìn)行了沿水平方向的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理后的兩種顏色排列數(shù)據(jù)按每一行寫入到由多行構(gòu)成的行存儲器中，一邊同時讀出多行數(shù)據(jù)，并對該讀出的多行數(shù)據(jù)上的傳感器讀出方向成為同一位置的垂直方向的關(guān)注多個數(shù)據(jù)進(jìn)行再次的縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理， 所述垂直方向的縮小調(diào)整大小處理通過進(jìn)行減少相對于輸入行數(shù)的輸出行的處理，生成被二維縮小調(diào)整大小處理后的多種顏色排列數(shù)據(jù)。
24.根據(jù)權(quán)利要求18到23項中任一項權(quán)利要求所述的圖像處理方法，其特征在于: 所述縮小調(diào)整大小處理步驟及所述顏色再排列數(shù)據(jù)生成處理步驟含有用于進(jìn)行水平方向縮小調(diào)整大小處理及顏色再排列數(shù)據(jù)生成處理的下述處理步驟，即: 濾波處理步驟，其通過傳感器讀出方向的行單位的行單位處理對所述原圖像提取出亮度數(shù)據(jù)和載色數(shù)據(jù)； 載色反轉(zhuǎn)復(fù)調(diào)處理步驟，其將所述載色數(shù)據(jù)轉(zhuǎn)換成色差數(shù)據(jù)； 縮小調(diào)整大小處理步驟，其對所述亮度數(shù)據(jù)和色差數(shù)據(jù)獨立地進(jìn)行縮小調(diào)整大小；載色調(diào)制處理步驟，其將通過所述縮小調(diào)整大小處理步驟進(jìn)行了縮小調(diào)整大小后的色差數(shù)據(jù)按每個像素生成為符號相異的第一載色數(shù)據(jù)、和符號與該第一載色數(shù)據(jù)不同的第二載色數(shù)據(jù)；以及 顏色再排列數(shù)據(jù)生成處理步驟，其將所述縮小調(diào)整大小后的亮度數(shù)據(jù)和所述第一載色數(shù)據(jù)重新合成，生成具有原圖像的顏色排列數(shù)據(jù)的圖像，并且將所述縮小調(diào)整大小后的亮度數(shù)據(jù)和所述第二載色數(shù)據(jù)重新合成，生成具有與原圖像相異的顏色排列數(shù)據(jù)的圖像。
25.根據(jù)權(quán)利要求18到23項中任一項權(quán)利要求所述的圖像處理方法，其特征在于: 所述縮小調(diào)整大小處理步驟及所述顏色再排列數(shù)據(jù)生成處理步驟含有用于進(jìn)行垂直方向縮小調(diào)整大小處理及顏色再排列數(shù)據(jù)生成處理的下述處理步驟，即: 濾波處理步驟，其一邊將通過傳感器讀出方向的行單位處理對所述原圖像僅沿水平方向進(jìn)行了縮小調(diào)整大小處理和顏色再排列數(shù)據(jù)生成處理后的顏色排列數(shù)據(jù)按每一行寫入到由多行構(gòu)成的行存儲器中，一邊同時讀出多行數(shù)據(jù)，并從該讀出的多行數(shù)據(jù)上的傳感器讀出方向成為同一位置的垂直方向的關(guān)注多個數(shù)據(jù)沿垂直方向以行單位提取出亮度數(shù)據(jù)和載色數(shù)據(jù)； 垂直方向載色反轉(zhuǎn)解調(diào)處理步驟，其將所述提取出的垂 直方向的載色數(shù)據(jù)轉(zhuǎn)換成垂直方向的色差數(shù)據(jù)； 垂直方向縮小調(diào)整大小處理步驟，其對所述垂直方向的亮度數(shù)據(jù)和色差數(shù)據(jù)獨立地進(jìn)行減少相對于輸入行數(shù)的輸出行的處理，并進(jìn)行縮小調(diào)整大??； 垂直方向色差數(shù)據(jù)反轉(zhuǎn)調(diào)制處理步驟，其從所述垂直方向的縮小調(diào)整大小后的、在垂直方向連續(xù)的色差數(shù)據(jù)按每一行生成符號相異的第一載色數(shù)據(jù)、和符號與該第一載色數(shù)據(jù)相異的第二載色數(shù)據(jù)；以及 顏色再排列數(shù)據(jù)生成處理步驟，其將所述縮小調(diào)整大小后的亮度數(shù)據(jù)和所述第一載色數(shù)據(jù)重新合成，生成具有原圖像的顏色排列數(shù)據(jù)的圖像，并且將所述縮小調(diào)整大小后的亮度數(shù)據(jù)和所述第二載色數(shù)據(jù)重新合成，生成具有與原圖像相異的顏色排列數(shù)據(jù)的圖像。
26.根據(jù)權(quán)利要求14到25項中任一項權(quán)利要求所述的圖像處理方法，其特征在于: 所述原圖像是利用下述單板彩色攝像元件取得的圖像，該單板彩色攝像元件具有顏色通過原色過濾器被周期性地排列的多種顏色的像素。
27.一種數(shù)碼相機(jī)，其特征在于安裝有如權(quán)利要求1到13中任一項權(quán)利要求所述的圖像處理裝置。
【文檔編號】H04N9/07GK103563359SQ201280026584
【公開日】2014年2月5日 申請日期:2012年5月28日 優(yōu)先權(quán)日:2011年6月8日
【發(fā)明者】秦野敏信 申請人:松下電器產(chǎn)業(yè)株式會社