圖像處理裝置、攝像裝置、圖像處理方法以及圖像處理程序的制作方法
【專利摘要】一種圖像處理裝置，具有：增益計算部(31)和增益相乘部(32)，它們針對由多個顏色信號的像素構成的輸入圖像，以不使飽和度和色相發(fā)生變化的方式，按照與每個像素的信號值對應的強度進行信號強調；以及伽馬校正部(33)，其根據伽馬強調度比基本伽馬轉換曲線弱的弱伽馬轉換曲線，按照每個像素對進行了信號強調的多個顏色信號進行灰度轉換，上述基本伽馬轉換曲線是在不進行信號強調的情況下，以使得輸出時的中間灰度區(qū)域成為適當的信號值的方式進行轉換的伽馬轉換曲線。
【專利說明】
圖像處理裝置、攝像裝置、圖像處理方法以及圖像處理程序
技術領域
[0001]本發(fā)明涉及能夠對由多個顏色信號的像素構成的圖像進行灰度轉換的圖像處理裝置、攝像裝置、圖像處理方法以及圖像處理程序?！颈尘凹夹g】
[0002]以往提出有對拍攝所得的圖像進行灰度轉換以便在顯示裝置中顯示適當灰度的圖像或者利用打印裝置打印適當灰度的圖像的技術。
[0003]但是，在所輸入的圖像由多個顏色信號構成的情況下，當按照各個顏色信號的每一個進行灰度轉換時，飽和度和色相會發(fā)生變化。即，這是因為由于伽馬轉換為非線形的轉換，所以例如當對所輸入的3原色的信號RGB進行伽馬轉換y()時，轉換前的顏色信號比R: G:B和轉換后的顏色信號比y (R): y (G): y (B)通常不一致，在伽馬轉換y 〇中飽和度和色相成為無法被保存的量。
[0004]因此，提出了雖然進行亮度成分的灰度轉換，但是對飽和度和色相則抑制變化的技術。
[0005]例如，日本特許公報第2748678號記載的技術根據多個顏色信號R、G、B，首先制作亮度信號Y，并根據亮度信號Y與對亮度信號Y進行了伽馬轉換后的信號Y’的比Y’/Y來計算校正系數K。而且，通過將計算出的校正系數K分別與多個顏色信號R、G、B相乘，計算灰度轉換后的顏色信號R’、G’、B’。由于這樣乘以共同的校正系數K后的灰度轉換后的顏色信號R’、 6’、8’的顏色信號比1?’:6’:8’與灰度轉換前的顏色信號比1?:6:8相同，所以，飽和度和色相不會因灰度轉換而發(fā)生變化。
[0006]此外，日本專利公報第5248928號記載的技術將圖像分割為多個區(qū)域，計算各個區(qū)域的平均亮度值，平均亮度值越大，將動態(tài)范圍擴大率設定得越大。而且，動態(tài)范圍擴大率越大，使用對高亮度區(qū)域越進行壓縮并對中亮度區(qū)域越進行級別放大的灰度曲線。并且，動態(tài)范圍擴大率越大且高亮度區(qū)域的數量越多，越增大增益校正量、光圈值校正量、快門速度校正量和曝光值校正量中的至少一個。在該公報所記載的技術中，這樣對動態(tài)范圍進行擴大。
[0007]伽馬轉換曲線(例如，上述日本特許公報第5248928號所記載的伽馬轉換曲線)是以下形狀:通常越是低亮度區(qū)域，斜率越大，隨著向高亮度區(qū)域行進，斜率逐漸變小。當使用這樣的伽馬轉換曲線進行灰度轉換時，尤其是在伽馬轉換曲線的斜率變小的高亮度側，容易產生飽和度下降。
[0008]首先，在無彩色的R = G = B的情況下，轉換前的顏色信號比R:G:B和轉換后的顏色信號比Y (R): Y (G): y (B)均為1:1:1而相等。
[0009]與此相對，在顏色信號R、G、B中的至少一個顏色信號的信號值與其他顏色信號的信號值不同的有彩色的情況下，當利用上述伽馬轉換曲線進行灰度轉換時，信號值最高的顏色信號的放大率接近1而成為比較小的值，但是信號值低的顏色信號的放大率遠遠大于 1，所以顏色信號比在轉換前后不相等。因此，雖然飽和度和色相發(fā)生變化，但是尤其是關于飽和度，由于顏色信號比接近1:1:1，所以可知接近無彩色。
[0010]與此相對，在上述日本特許公報第2748678號記載的技術中，雖然由于維持轉換前后的顏色信號比而能夠避免高亮度灰度區(qū)域的飽和度下降，但是由于對于低亮度灰度區(qū)域和中間灰度區(qū)域也無需維持灰度轉換前的色彩平衡，所以產生以下折衷:在低亮度灰度區(qū)域和中間灰度區(qū)域中在RGB各個顏色的每一個的灰度轉換中無法獲得如原來期待的適合于監(jiān)視器顯示的顏色再現。
[0011]本發(fā)明就是鑒于上述情況而完成的，其目的在于提供一種無需盡可能使低亮度灰度區(qū)域和中間灰度區(qū)域的顏色再現下降，就能夠抑制高亮度灰度區(qū)域的飽和度下降的圖像處理裝置、攝像裝置、圖像處理方法和圖像處理程序。
【發(fā)明內容】

[0012]用于解決問題的手段
[0013]本發(fā)明的一個方式的圖像處理裝置具有:信號強調部，其針對由多個顏色信號的像素構成的輸入圖像，以不使飽和度和色相發(fā)生變化的方式，按照與每個像素的信號值對應的強度進行信號強調；以及伽馬校正部，其根據伽馬強調度比基本伽馬轉換曲線弱的弱伽馬轉換曲線，按照每個像素對由上述信號強調部進行了信號強調的多個顏色信號進行灰度轉換，上述基本伽馬轉換曲線是在不進行上述信號強調部的信號強調的情況下，以使得輸出時的中間灰度區(qū)域成為適當的信號值的方式進行轉換的伽馬轉換曲線。
[0014]本發(fā)明的一個方式的攝像裝置具有:攝像光學系統，其對被攝體像進行成像;攝像部，其拍攝由上述攝像光學系統成像的被攝體像并生成圖像信號；以及上述圖像處理裝置， 其將由上述攝像部生成的圖像信號作為上述輸入圖像。
[0015]本發(fā)明的一個方式的圖像處理方法具有:信號強調步驟，針對由多個顏色信號的像素構成的輸入圖像，以不使飽和度和色相發(fā)生變化的方式，按照與每個像素的信號值對應的強度進行信號強調；以及灰度轉換步驟，根據伽馬強調度比基本伽馬轉換曲線弱的弱伽馬轉換曲線，按照每個像素對通過上述信號強調步驟進行了信號強調的多個顏色信號進行灰度轉換，上述基本伽馬轉換曲線是在不進行上述信號強調步驟的信號強調的情況下， 以使得輸出時的中間灰度區(qū)域成為適當的信號值的方式進行轉換的伽馬轉換曲線。
[0016]本發(fā)明的一個方式的圖像處理程序用于使計算機執(zhí)行以下步驟:信號強調步驟， 以不使飽和度和色相發(fā)生變化的方式，以與每個像素的信號值對應的強度對由多個顏色信號的像素構成的輸入圖像進行信號強調；以及灰度轉換步驟，在不進行上述信號強調步驟的信號強調的情況下，根據伽馬強調度比基本伽馬轉換曲線弱的弱伽馬轉換曲線，按照每個像素對通過上述信號強調步驟進行了信號強調的多個顏色信號進行灰度轉換，其中，在基本伽馬轉換曲線中，以使得輸出時的中間灰度區(qū)域成為適當的信號值的方式進行轉換?！靖綀D說明】[〇〇17]圖1是示出本發(fā)明實施方式1的圖像處理裝置的結構的框圖。
[0018]圖2是示出上述實施方式1的圖像處理部的結構的框圖。
[0019]圖3是示出上述實施方式1的灰度轉換部的結構的框圖。
[0020]圖4是示出上述實施方式1的基本伽馬轉換曲線Y 0(x)和弱伽馬轉換曲線Y l(x)的例子的線圖。
[0021]圖5是示出上述實施方式1中的、使用基本伽馬轉換曲線Y〇(x)對有彩色的信號進行灰度轉換時的各個顏色信號的增益的例子的圖。
[0022]圖6是示出上述實施方式1中的函數f(x)的函數形狀的線圖。
[0023]圖7是示出在上述實施方式1中按照每個顏色信號使用函數f(x)計算出的增益的例子的線圖。[〇〇24]圖8是示出上述實施方式1中的作為函數f(x)的近似的函數Knee(x)的形狀的線圖。[〇〇25]圖9是示出在上述實施方式1中使用函數Knee(x)的情況下的、增益g相對于輸入信號值x的變化的線圖。[〇〇26]圖10是示出上述實施方式1的圖像處理裝置的圖像處理的流程圖。[〇〇27]圖11是示出上述實施方式1的圖像處理裝置的灰度轉換處理的流程圖。
[0028]圖12是示出本發(fā)明實施方式2的攝像裝置的結構的框圖。【具體實施方式】
[0029]以下，參照【附圖說明】本發(fā)明的實施方式。
[0030][實施方式1]
[0031]圖1至圖11是示出本發(fā)明的實施方式1的圖，圖1是示出圖像處理裝置的結構的框圖。[〇〇32] 該圖像處理裝置例如具有:存儲器接口(存儲器I/F) 12、總線13、JPEG處理部14、 SDRAM15、圖像處理部16、操作部17、閃存18和微型計算機19。
[0033]存儲器I/F12進行來自記錄介質11的圖像數據的讀出，還根據需要進行向記錄介質11的圖像數據的寫入。
[0034]其中，在記錄介質11中記錄有在攝像裝置等中拍攝出的由多個顏色信號(在本實施方式中，假設RGB信號來進行以下的說明，但是不限于此)構成的彩色的圖像數據，作為例如RAW圖像數據或者作為按照JPEG壓縮方式進行了壓縮的JPEG圖像數據。該記錄介質11例如由存儲卡或盤狀記錄介質等構成，能夠在存儲器I/F12上拆裝。所以，記錄介質11無需是圖像處理裝置固有的結構。
[0035]總線13是用于將在圖像處理裝置內的某個部位產生的各種數據或控制信號傳輸到圖像處理裝置內的其他部位的傳輸通道。本實施方式中的總線13與存儲器I/F12、JPEG處理部14、SDRAM15、圖像處理部16和微型計算機19連接。[〇〇36] JPEG處理部14按照JPEG壓縮方式對經由存儲器I/F12從記錄介質11讀出的JPEG圖像數據進行壓縮，將壓縮后的圖像數據存儲到SDRAM15。此外，JPEG處理部14還進行由圖像處理部16進行了處理的圖像數據的壓縮。在該情況下，JPEG處理部14從SDRAM15讀出圖像處理后的圖像數據，按照JPEG壓縮方式進行壓縮。根據微型計算機19的控制，經由例如存儲器 I/F12將壓縮后的圖像數據記錄到記錄介質11中。
[0037]如上所述，SDRAM15是臨時存儲圖像數據等各種數據的存儲部。在從記錄介質11讀出的圖像數據是非壓縮的RAW圖像數據的情況下，不經過JPEG處理部14的解壓縮處理，從存儲器I/F12經由總線13存儲到該SDRAM15中。
[0038]圖像處理部16對從SDRAM15讀出的圖像數據進行各種圖像處理，將處理后的圖像數據再次存儲到SDRAM15。之后將參照圖2,對該圖像處理部16的結構進行說明。[〇〇39]操作部17用于進行針對該圖像處理裝置的各種的操作輸入，在該圖像處理裝置由例如個人計算機等構成的情況下，由鍵盤、鼠標、觸摸面板等各種輸入設備構成。能夠經由該操作部17,進行圖像處理的開始和結束的指示或者包含后述的灰度轉換的圖像處理涉及的各種設定等。
[0040]閃存18是非易失性存儲由微型計算機19執(zhí)行的處理程序和該圖像處理裝置涉及的各種信息的記錄介質。其中，作為由閃存18進行存儲的信息的一例，可舉出在灰度轉換處理中使用的伽馬轉換曲線等圖像處理裝置的動作所需的各種參數。由該閃存18進行存儲的信息通過微型計算機19讀取。另外，雖然這里以閃存18為例進行了列舉，但是也可以使用硬盤和其他記錄介質。
[0041]微型計算機19例如構成為CPU，是統一控制該圖像處理裝置的控制部。在由用戶從操作部17進行操作輸入后，微型計算機19按照存儲在閃存18中的處理程序，從閃存18讀入處理所需的參數，執(zhí)行與操作內容相應的各種序列。
[0042]接著，圖2是示出圖像處理部16的結構的框圖。[〇〇43]圖像處理部16構成為包含:0B減法部21、白平衡校正部22、同時化處理部23、顏色矩陣運算部24和灰度轉換部25。
[0044]在圖像數據為例如包含有效像素區(qū)域的圖像數據和光學黑體(0B)區(qū)域的圖像數據的RAW圖像數據的情況下，0B減法部21通過從有效像素區(qū)域的圖像數據中減去0B區(qū)域的圖像數據，來降低暗時噪聲。此外，在已經對處理對象的圖像數據完成0B減法處理的情況下，跳過該處理。[〇〇45]白平衡校正部22進行以下處理:通過對圖像數據的R成分、G成分和B成分分別進行增益調整，來調整白平衡。該白平衡調整不僅能夠通過自動處理進行，還能夠經由操作部17 由用戶手動進行。[〇〇46]同時化處理部23進行以下同時化處理(也稱作去馬賽克處理):例如，通過根據周邊像素來求出在關注像素中不存在的顏色成分并進行插值，從而從1個像素中僅存在RGB成分內的1個顏色成分的拜爾排列的圖像數據轉換為所有像素全部具有RGB的3個顏色成分的圖像數據。[〇〇47]顏色矩陣運算部24對同時化處理后的圖像數據進行顏色矩陣運算。
[0048]灰度轉換部25進行灰度轉換，使得整個圖像的灰度性變得恰當，尤其是使得中間灰度區(qū)域的信號值變?yōu)檫m當的輸出值范圍的信號值。
[0049]接著，圖3是示出灰度轉換部25的結構的框圖。
[0050]該灰度轉換部25具有:增益計算部31、增益相乘部32和伽馬校正部33。
[0051]首先，增益計算部31和增益相乘部32構成信號強調部，該信號強調部針對由多個顏色信號的像素構成的輸入圖像，以不使飽和度和色相發(fā)生變化的方式，按照與每個像素的信號值對應的強度進行信號強調。[〇〇52] S卩，增益計算部31根據按照每個像素而輸入的顏色信號Rin、Gin、Bin的信號值，計算增益g。[〇〇53]此外，增益相乘部32將按照每個像素而輸入的顏色信號Rin、Gin、Bin的每一個與由增益計算部31對該像素計算出的增益g相乘，輸出增益相乘后的顏色信號Rg、Gg、Bg。 [〇〇54]伽馬校正部33根據表示灰度轉換特性的伽馬轉換曲線，對所輸入的顏色信號Rg、 Gg、Bg進行灰度轉換，輸出顏色信號Rout、Gout、Bout。
[0055]之后將參照圖4?圖7,對該灰度轉換部25的作用更詳細地進行說明。
[0056]首先，圖4是示出基本伽馬轉換曲線Y〇(x)和弱伽馬轉換曲線Yl(x)的例子的線圖。[〇〇57]灰度轉換通常不變更信號的動態(tài)范圍，而是將某個信號值的輸入信號轉換為其他信號值的輸出信號。其中，雖然在灰度轉換中，可以使輸入信號的動態(tài)范圍和輸出信號的動態(tài)范圍發(fā)生變化，但是這時同時進行灰度轉換和動態(tài)范圍擴大(或者動態(tài)范圍縮小)變得太過了，所以作為純粹的灰度轉換，只需考慮不變更動態(tài)范圍的情況就足夠了(如果想要使動態(tài)范圍發(fā)生變化，只要作為與灰度轉換不同的處理進行即可)。
[0058]因此，在圖4中，設x軸表示的輸入信號的動態(tài)范圍和y軸表示的輸出信號的動態(tài)范圍為同一個閉區(qū)間[〇，Cmax]。其中，動態(tài)范圍的下限值為0,上限值為Cmax(0〈Cmax)。作為具體示例，在信號值為取0?1023的10位信號的情況下，動態(tài)范圍的上限值Cmax為1023。[〇〇59]而且，圖4所示的基本伽馬轉換曲線Y〇(x)是用于將輸入到灰度轉換部25的顏色信號Rin、Gin、Bin灰度轉換為適當的灰度的(如上所述，尤其是如中間灰度區(qū)域的信號值成為適當的輸出值范圍的信號值那樣的)顏色信號R〇ut、G〇Ut、B〇ut的曲線。其中，變數x表示輸入信號值。
[0060]假設該基本伽馬轉換曲線y0(x)以閉區(qū)間[0，Cmax]為定義域，與通常的伽馬轉換曲線大致同樣滿足如下的數式1、2所示的各個性質和如開區(qū)間(0，Cmax)中的數式3、4所示的各個性質(其中，更準確來說，在半開區(qū)間[〇，Cmax)中滿足數式3)。
[0061][式1]
[0062]y 〇(〇)=〇
[0063][式2]
[0064]y O(Cmax) =Cmax
[0065][式 3]
[0066]y〇,(x)>0
[0067][式 4]
[0068]y〇”(x)〈0
[0069]其中，符號“’”表示一階微分，符號表示二階微分。[〇〇7〇]數式1、2表示基本伽馬轉換曲線y0(x)的邊界條件，更詳細而言，表示未通過灰度轉換來變更信號的動態(tài)范圍(例如，不存在如將〇?1023的動態(tài)范圍限制為100?900的動態(tài)范圍的情況)的邊界條件。此外，數式3表示在信號值的大小關系中未產生反轉(在曲線上不存在負的斜率的部分，輸入信號的信號值的大小關系在輸出信號中也被維持)的情況。并且，數式4表示基本伽馬轉換曲線Y〇(x)為向上凸的曲線形狀，且是對中間灰度區(qū)域的信號值進行提高的轉換特性的形狀的情況。[0071 ]基本伽馬轉換曲線y 0(x)由于通過原點(0,0)和點(Cmax，Cmax)并向上凸，所以在開區(qū)間(0，Cmax)中，位于比表示無轉換的直線y = x靠上的位置，并且由于斜率為正，所以位于比y = Cmax靠下的位置(S卩，x〈 y 0(x)〈Cmax)。這樣，可知基本伽馬轉換曲線y 0(x)在除數式1、2所示的邊界條件以外的中間值處也滿足針對輸出信號的動態(tài)范圍的必要條件，并以閉區(qū)間[〇，Cmax ]為值域。
[0072]圖5是示出使用基本伽馬轉換曲線Y〇(x)對有彩色的信號進行灰度轉換時的各個顏色信號的增益的例子的圖。其中，有彩色的信號是多個顏色信號(這里為RGB信號)內的至少一個顏色信號取與其他顏色信號不同的信號值的信號。[〇〇73]在該圖5中示出顏色信號的信號值為Rin>Gin>Bin的例子(S卩，紅顏色成分最強的信號的例子)。
[0074]基本伽馬轉換曲線y0(x)的增益g0(x)如下述數式5所示，用輸出信號值y0(x)與輸入信號值x的比表示。
[0075][式 5]
[0076]g0(x)= y 0(x)/x
[0077]而且，由于基本伽馬轉換曲線y0(x)是滿足數式1?4的條件的向上凸的曲線，所以增益g〇(x)成為如圖5所示的單調減小的函數，由于如數式2所示動態(tài)范圍的上限值Cmax 的輸入值和輸出值一致，所以是在動態(tài)范圍的上限值Cmax處增益為1的函數(另外，雖然在動態(tài)范圍的下限中，輸入值和輸出值也一致且為0,但是由于增益是作為極限值被求出的Y 〇’(〇)，所以成為大于1的值)。[〇〇78]在如圖5所示的增益g0(x)的情況下，由于利用最高的增益g0b = g0(Bin)對信號值最小的顏色信號Bin進行放大，利用最低的增益g0r = g0(Rin)對信號值最大的顏色信號Rin 進行放大，且顏色信號之間的比接近1，所以可知飽和度下降(另外，利用中間的增益g〇g = gO(Gin)對中間的顏色信號Gin進行放大。此外，通常，色相也發(fā)生若干變化。)。[〇〇79]因此，在本實施方式中，如下構成灰度轉換部25。[〇〇8〇]首先，將伽馬強調度比上述這樣的基本伽馬轉換曲線y〇(x)弱的弱伽馬轉換曲線 Yl(x)設定為至少滿足數式6、7所示的各個性質和開區(qū)間(0，Cmax)中的數式8?10所示的各個性質的曲線(與上述的數式3同樣，更準確來說，將弱伽馬轉換曲線y l(x)設定為在半開區(qū)間[0，Cmax)中滿足數式8)。
[0081][式 6]
[0082]y 1(〇)=〇
[0083][式 7]
[0084]y 1 (Cmax) =Cmax
[0085][式8]
[0086]y r(x)>0
[0087][式 g]
[0088]y r(x)<0
[0089][式 10]
[0090]y 0(x)> y l(x)>x
[0091]其中，數式6?9表示弱伽馬轉換曲線yl(x)滿足與數式1?4所示的基本伽馬轉換曲線Y〇(x)的性質同樣的各個性質的情況。
[0092]此外，數式10表示弱伽馬轉換曲線yl(x)的伽馬強調度比基本伽馬轉換曲線Y〇 (x)弱。這里是指以下情況:伽馬強調度弱的曲線是利用表示無轉換的直線y = x來進行接近的曲線。
[0093]而且，如下述數式11所示，將基本伽馬轉換曲線y0(x)分解為如圖4所示的弱伽馬轉換曲線Y l(x)與如圖6所示的函數f(x)的合成函數。
[0094][式 11]
[0095]y0(x) = yl(f(x)) = yl ? f(x)
[0096]其中，符號“ ?”表示合成函數。此外，圖6是表示函數f(x)的函數形狀的線圖。
[0097]在該情況下，根據如圖4所示的基本伽馬轉換曲線y0(x)和弱伽馬轉換曲線yl (x)，如下述數式12所示，計算出函數f(x)。
[0098][式 I2]
[0099]f(x)= y r(-l) ? r〇(x)[〇i〇〇]其中，符號“~(-1r表示逆函數。
[0101]這樣，按照如果在通過函數f(x)對輸入信號值x進行轉換以后，還通過弱伽馬轉換曲線Y 1(X)進行轉換，則獲得與通過基本伽馬轉換曲線Y 〇(x)對輸入信號值X進行了轉換時相同的結果的方式，對函數f(x)確定了函數形狀。
[0102]該函數f(X)滿足以下各個性質。
[0103]首先，在x = 0時，數式11的左邊從數式1變?yōu)?。另一方面，如數式8所示，弱伽馬轉換曲線Y l(x)為單調增加函數，所以在閉區(qū)間[0，Cmax]中變?yōu)閥 l(x) = 0僅是數式6所示的 x = 0時。因此，函數f(x)滿足以下數式13的性質。
[0104][式 13]
[0105]f(〇)=〇
[0106]同樣，在x = Cmax時，數式11的左邊從數式2變?yōu)镃max。另一方面，弱伽馬轉換曲線 Y 1 (x)根據其單調增加性，在閉區(qū)間[0，Cmax]變?yōu)閥 1 (x) = Cmax僅是數式7所示的x = Cmax 時。因此，函數f(x)滿足以下數式14的性質。
[0107][式 14]
[0108]f (Cmax) =Cmax
[0109]此外，由于根據數式10, y0(x)>y l(x)，如數式8所示，y l(x)為單調增加函數，所以Y 0(x) = y l(y)的y必須大于X，參照數式11可知函數f (x)在開區(qū)間(0，Cmax)滿足下述數式15的性質的情況。
[0110][式 15]
[0111]f(x)>x
[0112]并且，對函數f(x)的導出函數f’(x)為在開區(qū)間(0，Cmax)滿足下述數式16所示的性質的單調增加函數的情況進行說明。
[0113][式 16]
[0114]f，(x)>0
[0115]這里，如果假設在開區(qū)間(0，Cmax)內存在f’(x)S〇的區(qū)間、即函數f(x)的斜率為0 或者負的區(qū)間，則由于如數式8所示，Yl’(x)為狹義的單調增加函數，所以在使用正的微小量A x時，存在滿足下述數式17的X。
[0116][式 17]
[0117]y l(f(x+Ax))^ y l(f(x))
[0118]由于該數式17的左邊為y 0(x+ A x)，右邊為y 〇(x)，所以在基本伽馬轉換曲線y 〇 (x)中存在廣義的單調減小區(qū)間，這與數式3所示的定義矛盾。因此，可知函數f(x)的導出函數f’(x)滿足數式16。
[0119]并且，以使得將如下述數式18所示的函數f(x)除以x后的函數g(x)(另外，該函數g (x)是施加通過函數f(x)對輸入信號值x進行了轉換時的增益的函數)
[0120][式 18]
[0121]g(x)=f(x)/x
[0122]在開區(qū)間(0，Cmax)單調減小的方式設定了弱伽馬轉換曲線Yl(x)。
[0123]例如，由符號“”’表示取冪，在0〈?0〈？1〈1時，基本伽馬轉換曲線丫0(4為^(?0)時的弱伽馬轉換曲線y i(x)的一例如下述數式19所示。
[0124][式 19]
[0125]y l(x)=x'(pl)
[0126]這時，函數g(x)如下述數式20所示，導出函數g’(x)如下述數式21所示。
[0127][式 20]
[0128]g(x)=f(x)/x = x'{ (pO/pl )-1}
[0129][式 21]
[0130]g，(x) = {f(x)/x}’
[0131]={(p0/pl)-l}x'{(p0/pl)-2}
[0132]在該數式21中，由于{(p0/pl)-l}〈0,所以可知函數g(x)=f(x)/x單調減小。
[0133]這樣，由于在弱伽馬轉換曲線y l(x)中限定的數式6?10的條件比較寬松，所以在滿足這些條件的范圍內，還能夠選擇如函數g(x)=f(x)/x為單調減小函數那樣的弱伽馬轉換曲線Yl(x)。
[0134]增益計算部31使用這樣的函數f(x)，如下計算增益g。即增益計算部31首先計算被以像素為單位輸入的顏色信號Rin、Gin、Bin內的最大的信號值Cin。接著，增益計算部31通過將計算出的最大的信號值Cin代入到數式18的下述數式22來計算增益g，將計算出的增益 g輸出到增益相乘部32。
[0135][式 22]
[0136]g = f (Cin)/Cin
[0137]參照數式15可知，通過該數式22計算出的增益g在開區(qū)間(0，Cmax)取大于1的值。
[0138]增益相乘部32如下述數式23所示將所輸入的顏色信號Rin、Gin、Bin的每一個與從增益相乘部32輸入的相同增益g相乘，計算增益相乘后的顏色信號Rg、Gg、Bg。
[0139][式 23]
[0140]Rg = gXRin
[0141]Gg = g XGin
[0142]Bg = gXBin[〇143] 這里如果假設使用函數f (x)，按照每個顏色信號Rin、Gin、Bin計算增益gr、gg、gb， 則如圖7所示，分別成為不同的值，使飽和度和色相發(fā)生變化。其中，圖7是示出按照每個顏色信號使用函數f(x)計算出的增益的例子的線圖。
[0144]與此相對，由于在如數式23所示的由增益相乘部32進行的增益相乘處理中，處理前的顏色信號比Rin:Gin:Bin和處理后的顏色信號比Rg:Gg:Bg相等，所以飽和度和色相不會發(fā)生變化。
[0145]之后，利用伽馬校正部33,如下述數式24所示，根據圖4所示的弱伽馬轉換曲線Y1 (x)進行灰度轉換。
[0146][式 24]
[0147]Rout=y 1 (Rg)
[0148]Gout=y 1 (Gg)
[0149]Bout=y l(Bg)
[0150]這里，如數式11所示，通過函數f(x)對輸入信號值x進行轉換，并且通過弱伽馬轉換曲線y 10對轉換結果進行了轉換后的結果yl(f(x))與僅通過基本伽馬轉換曲線y0() 對輸入信號值x進行了轉換后的結果Y 〇(x)相等。與此相對，在如數式23所示將根據最大的信號值Cin如數式22所示地計算出的增益g與各個顏色信號Rin、Gin、Bin相乘的情況下，非最大的信號值的顏色信號Xin(Xin為Rin、Gin、Bin中的任意一個，并滿足Xin〈Cin)變?yōu)槿缦隆?br>[0151]首先，由于施加基于函數f(x)的增益的函數g(x)如上所述為單調減小函數，所以下述數式25所示的關系成立。
[0152][式 25]
[0153]g = f (Cin)/Cin<f (Xin)/Xin
[0154]因此，如下述數式26所示，
[0155][式 26]
[0156]f (Xin) = {f (Xin)/Xin} XXin
[0157]>{f(Cin)/Cin} XXin = gXXin
[0158]，將增益g與輸入值Xin相乘時的值小于通過函數f(x)對輸入值Xin進行了轉換時的值。[〇159]由于弱伽馬轉換曲線yl如數式8所示為單調增加函數，所以在f(Xin)>gXXin的情況下，下述數式27成立。
[0160][式 27]
[0161]y 〇(Xin)= y l(f(Xin))> y l(gXXin)
[0162]因此，可知非最大的信號值的顏色信號Xin的增益在進行數式23和數式24的處理時小于僅進行基本伽馬轉換曲線的處理時，抑制了給飽和度(和色相)帶來的變化。
[0163]另外，使用如圖8所示的函數Knee(x)代替使用如圖6所示的函數f(x)，作為增益計算部31的增益g計算的變形例。其中，圖8是示出作為函數f(x)的近似的函數Knee(x)的形狀的線圖。
[0164]該函數KneeU)是使函數f(x)與折線形狀近似的函數，雖然這里列舉了折曲點 (xk，yk)位于函數f(x)上的例子，但是可以使用如與函數f(x)例如最小平方近似那樣的形狀的折線(該情況中的折曲點通常為從函數f(x)上偏離的位置)，還可以使用通過其他適當的方法與函數f(x)近似的折線。此外，這里使用僅存在1個折曲點的折線，但是可以使用存在多個折曲點的折線。
[0165]圖9示出使用函數Knee(x)的情況下的、增益g相對于輸入信號值x的變化的線圖。
[0166]當使用函數Knee(x)時，增益g如圖所示發(fā)生線性變化，所以增益計算部31能夠對于任意的輸入信號值x，通過簡單的運算來計算增益g。因此，如圖8和圖9所示的變形例在要求處理的高速性的圖像處理裝置或者處理能力較低的具有微型計算機19的圖像處理裝置 (例如，在如之后參照圖12所說明的應用于攝像裝置的圖像處理裝置的處理能力有時低于由個人計算機等構成的圖像處理裝置)中，存在實用性高的優(yōu)點。
[0167]接著，圖10是示出圖像處理裝置中的圖像處理的流程圖。
[0168]在根據微型計算機19的控制開始該處理后，0B減法部21進行從有效像素區(qū)域的圖像數據中減去0B區(qū)域的圖像數據的0B減法處理(步驟S1)。
[0169]接著，白平衡校正部22進行調整各個顏色成分的增益的白平衡校正，使得白色部分能夠看起來為白色(步驟S2)。[〇17〇] 并且，同時化處理部23進行以下同時化處理:對在關注像素中不存在的顏色成分進行插值(步驟S3)。
[0171]而且，顏色矩陣運算部24對同時化處理后的圖像數據進行顏色矩陣運算(步驟 S4)〇
[0172]之后，灰度轉換部25進行如參照圖11進行說明的灰度轉換處理(步驟S5)，從該處理返回未圖示的主處理。[〇173]接著，圖11是示出圖像處理裝置中的灰度轉換處理的流程圖。該灰度轉換處理是根據微型計算機19的控制主要由灰度轉換部25來進行的。
[0174]在進入該處理后，灰度轉換部25進行每個像素的顏色信號Rin、Gin、Bin的讀入、即依次將構成圖像數據的各個像素設定為關注像素，進行所設定的關注像素的顏色信號Rin、 6;[11、13;[11的讀入(步驟311)。[〇175]增益計算部31計算所讀入的顏色信號Rin、Gin、Bin內的最大的信號值Cin(步驟 S12)〇[〇176]并且，增益計算部31如上述的數式22所示，根據最大的信號值Cin來計算增益g，將計算出的增益g輸出到增益相乘部32(步驟S13)。
[0177]如上述數式23所示，增益相乘部32將所輸入的顏色信號Rin、Gin、Bin的每一個與從增益相乘部32輸入的相同的增益g相乘，計算增益相乘后的顏色信號Rg、Gg、Bg(步驟 S14)。這時，如上所述，處理后的顏色信號Rg、Gg、Bg的飽和度和色相與處理前相比未發(fā)生變化。[〇178]而且，如上述的數式24所示，伽馬校正部33根據如圖4所示的伽馬強調度比基本伽馬轉換曲線y〇(x)弱的弱伽馬轉換曲線y i(x)來進行灰度轉換(步驟S15)。這時，如上所述，與使用基本伽馬轉換曲線Y 〇(x)的情況相比，能夠抑制飽和度和色相的變化。
[0179]之后，判定是否結束關于構成圖像數據的全部像素的處理(步驟S16)，在未結束的情況下返回到步驟S11，對下一個像素進行上述這樣的處理。
[0180]此外，在步驟S16中判定為對全部像素的處理已結束的情況下，從該處理返回到圖 10所示的處理。
[0181]根據這樣的實施方式1，由于設置成以不使飽和度和色相發(fā)生變化的方式對輸入圖像進行了信號強調以后，根據伽馬強調度比基本伽馬轉換曲線Y〇(x)弱的弱伽馬轉換曲線Y l(x)對多個顏色信號進行灰度轉換，所以無需盡可能使低亮度灰度區(qū)域和中間灰度區(qū)域的顏色再現下降，就能夠抑制高亮度灰度區(qū)域的飽和度下降。
[0182]這時，由于信號強調部以與每個像素的信號值對應的強度，更詳細而言按照每個像素計算對于多個顏色信號內的取最大的信號值的顏色信號的增益，通過將計算出的增益應用于該像素的全部顏色信號，進行信號強調，所以能夠防止信號強調后的顏色信號超出顏色的再現區(qū)域的情況。
[0183]并且，由于信號強調部根據滿足數式13、14、16，如汽1)八單調減小那樣的性質的函數f(x)，利用如數式22所示計算出的增益g進行信號強調，所以不會縮小各個顏色信號的動態(tài)范圍。
[0184]而且，由于使用如數式12所示計算出的函數f(x)，所以能夠使來自灰度轉換部25 的輸出信號為與通過基本伽馬轉換曲線Y〇(x)進行了灰度轉換的情況大致同樣的、適當的顏色再現的低亮度灰度區(qū)域和中間灰度區(qū)域的信號。
[0185][實施方式2]
[0186]圖12是示出本發(fā)明的實施方式2的圖，且是示出攝像裝置的結構的框圖。在該實施方式2中，對與上述實施方式1相同的部分標注相同標號等并適當省略說明，主要僅對不同點進行說明。
[0187]本實施方式將上述的實施方式1的圖像處理裝置應用于例如數字照相機等攝像裝置。
[0188]S卩，本實施方式的攝像裝置除了圖1所示的圖像處理裝置的結構以為，還具有:鏡頭41、鏡頭驅動部42、鏡頭驅動彳:￡制部43、攝像兀件44、攝像電路45、A/D轉換部46、IXD驅動器47和LCD48。
[0189]鏡頭41是用于使被攝體像在攝像元件44上成像的攝像光學系統，具有對焦鏡頭和光圈等。[〇19〇]鏡頭驅動部42驅動鏡頭41的對焦鏡頭來進行對焦調整，驅動鏡頭41的光圈使數值孔徑發(fā)生變化。
[0191]鏡頭驅動控制部43根據來自微型計算機19的指令，控制鏡頭驅動部42使其進行鏡頭41的驅動。
[0192]攝像元件44是具有2維狀排列的多個像素，拍攝由鏡頭41成像的被攝體像并生成模擬的圖像信號的攝像部。本實施方式的攝像元件44構成為例如將原色拜爾排列的濾色片配置于二維狀排列的多個像素的前表面的單板式的攝像元件。另外，攝像元件44當然不限于單板式的攝像元件，也可以為例如在基板厚度方向上對顏色成分進行分離的層疊式的攝像元件。
[0193]攝像電路45進行以下等處理:根據所設定的ISO感光度，對從攝像元件44讀出的模擬圖像進行放大。
[0194]A/D轉換部46將由攝像電路45進行了處理的模擬圖像A/D轉換為數字圖像。
[0195]這樣，應用于攝像裝置的圖像處理裝置將由作為攝像部的攝像元件44生成的圖像信號作為輸入圖像。
[0196]此外，IXD驅動器47根據微型計算機19的控制，對IXD48進行驅動以顯示圖像等。
[0197]LCD48是顯示由該攝像裝置拍攝的圖像、攝像裝置涉及的操作菜單和各種信息等的監(jiān)視器。
[0198]在這樣的結構中，微型計算機19作為曝光條件設定部發(fā)揮作用，根據從攝像元件 44輸出的圖像信號，計算適當曝光條件，該適當曝光條件包含攝像元件44進行攝像時的曝光時間、鏡頭41的光圈值和與從攝像元件44輸出的圖像信號的放大率對應的ISO感光度。而且，微型計算機19在ISO感光度小于規(guī)定值的情況下設定計算出的適當曝光條件，在為規(guī)定值以上的情況下設定比計算出的適當曝光條件更抑制曝光過度的曝光條件(所謂的曝光不足的曝光條件)。這是因為，在例如夜景等在整個畫面中較暗的部分較多的被攝體的情況下，暗部和照明照到的亮部之間的亮度差較大，亮部容易成為曝光過度。
[0199]因此，在ISO感光度為規(guī)定值以上的情況下，即在被攝體的亮度越需要敏化越暗的情況下，灰度轉換部25以提升曝光不足的圖像的中間灰度區(qū)域的方式進行灰度轉換。由此， 能夠以防止高亮度區(qū)域的曝光過度的方式表現灰度，并且能夠以更適當的明亮度來觀察中間灰度區(qū)域和低亮度區(qū)域。
[0200]另外，雖然在上述中確定了是否根據ISO感光度來抑制曝光過度，但是取而代之， 可以對是否根據亮度直方圖來抑制曝光過度進行確定。在該情況下，微型計算機19作為曝光條件設定部發(fā)揮作用，首先，根據從攝像元件44輸出的圖像信號，計算適當曝光條件，該適當曝光條件包含攝像元件44進行攝像時的曝光時間和鏡頭41的光圈值。而且，微型計算機19計算被攝體的亮度直方圖，根據計算出的亮度直方圖，在判定為被攝體的曝光過度部分的比率小于規(guī)定值的情況下設定計算出的適當曝光條件，在判定為規(guī)定值以上的情況下設定比計算出的適當曝光條件更抑制曝光過度的曝光條件。[〇2〇1]此外，在圖像是在抑制曝光過度的曝光條件下拍攝出的圖像的情況下，微型計算機19將拍攝所得的圖像數據和表示在抑制曝光過度的曝光條件下拍攝出的情況的識別信息記錄到記錄介質11，作為例如圖像文件。由此，從記錄介質11讀入圖像文件的外部的圖像處理裝置能夠對在抑制曝光過度的曝光條件下拍攝出的圖像進行適當的灰度轉換。
[0202]根據這樣的實施方式2,在具有攝像光學系統和攝像部的攝像裝置中，也能夠實現與上述實施方式1大致同樣的效果。
[0203]此外，在攝像時，根據例如ISO感光度或者亮度直方圖，設定減輕曝光過度的曝光條件，所以能夠抑制高亮度灰度區(qū)域的飽和度下降的情況。[〇2〇4]并且，通過與圖像數據一起記錄表示在抑制曝光過度的曝光條件下拍攝的情況的識別信息，也能夠在外部的圖像處理裝置中適當進行灰度轉換處理。
[0205]另外，上述的各部可以構成為電路。而且，任意電路只要能夠發(fā)揮相同的功能，則可以作為單一的電路進行安裝，當然也可以安裝為組合了多個電路的任意電路。并且，任意電路不限于構成為用于發(fā)揮目標功能的專用電路，當然可以為通過使通用電路執(zhí)行處理程序來發(fā)揮目標功能的結構。[〇2〇6]此外，上述主要對圖像處理裝置和具有圖像處理裝置的功能的攝像裝置進行了說明，但是可以是與圖像處理裝置進行同樣處理的圖像處理方法，還可以是用于使計算機與圖像處理裝置執(zhí)行同樣處理的圖像處理程序、能夠通過記錄該圖像處理程序的計算機來讀取的非暫時性記錄介質等。
[0207]并且，本發(fā)明不僅限于上述實施方式，在實施階段可以在不脫離其主旨的范圍內對結構要素進行變形使其具體化。此外，能夠通過上述實施方式公開的多個結構要素的適當組合形成各種發(fā)明的方式。例如，可以從實施方式所示的全部結構要素中刪除幾個結構要素。并且，可以適當組合不同實施方式的結構要素。這樣，當然能夠在不脫離發(fā)明主旨的范圍內進行各種變形和應用。
[0208]本申請以2015年1月6日在日本申請的日本特愿2015-001054號為優(yōu)先權主張的基礎進行申請，上述所公開的內容在本申請說明書、權利要求書、附圖中被引用。
【主權項】
1.一種圖像處理裝置，其特征在于，具有:信號強調部，其針對由多個顏色信號的像素構成的輸入圖像，以不使飽和度和色相發(fā) 生變化的方式，按照與每個像素的信號值對應的強度進行信號強調；以及伽馬校正部，其根據伽馬強調度比基本伽馬轉換曲線弱的弱伽馬轉換曲線，按照每個 像素對由上述信號強調部進行了信號強調的多個顏色信號進行灰度轉換，上述基本伽馬轉 換曲線是在不進行上述信號強調部的信號強調的情況下，以使得輸出時的中間灰度區(qū)域成 為適當的信號值的方式進行轉換的伽馬轉換曲線。2.根據權利要求1所述的圖像處理裝置，其特征在于，上述信號強調部按照每個像素計算對于多個顏色信號內的取最大信號值的顏色信號 的增益，并將該增益應用于該像素的全部顏色信號，來進行信號強調。3.根據權利要求2所述的圖像處理裝置，其特征在于，上述信號強調部通過針對構成上述輸入圖像的全部像素分別進行如下的處理，來進行 信號強調:該處理是將利用函數f(x)、按照g = f(Cin)/Cin而計算出的增益g應用于某個像 素的全部顏色信號，其中上述函數f(x)是如下的函數:在設顏色信號的動態(tài)范圍的下限值為0、上限值為Cmax、該某個像素的多個顏色信號內 的取最大值的顏色信號的信號值為Cin時，滿足以下條件: f(0)=0 f (Cmax) = Cmax f’(x)>0，且f(x)/x單調減小。4.根據權利要求3所述的圖像處理裝置，其特征在于，在將上述基本伽馬轉換曲線表示為T〇(x)、上述弱伽馬轉換曲線表示為yl(x)、該弱 伽馬轉換曲線yi(X)的逆函數表示為yr(-1)(x)時，上述函數f(X)被計算為 f(x)= y r(-l) ? y 0(x)〇5.—種攝像裝置，其特征在于，具有:攝像光學系統，其對被攝體像進行成像；攝像部，其對由上述攝像光學系統成像的被攝體像進行攝像而生成圖像信號；以及 權利要求1所述的圖像處理裝置，其將由上述攝像部生成的圖像信號作為上述輸入圖像。6.根據權利要求5所述的攝像裝置，其特征在于，該攝像裝置還具有:曝光條件設定部，其根據從上述攝像部輸出的圖像信號，計算包含上述攝像部進行攝 像時的曝光時間、上述攝像光學系統的光圈值、與從上述攝像部輸出的圖像信號的放大率 對應的ISO感光度的適當曝光條件，在上述ISO感光度小于規(guī)定值的情況下設定上述適當曝 光條件，在上述ISO感光度為規(guī)定值以上的情況下設定比上述適當曝光條件更抑制死白的 曝光條件。7.根據權利要求5所述的攝像裝置，其特征在于，該攝像裝置還具有:曝光條件設定部，其根據從上述攝像部輸出的圖像信號，計算包含上述攝像部進行攝 像時的曝光時間和上述攝像光學系統的光圈值的適當曝光條件，并且計算被攝體的亮度直 方圖，根據計算出的亮度直方圖，在判定為被攝體的死白部分的比率小于規(guī)定值的情況下，設定上述適當曝光條件，在判定為被攝體的死白部分的比率在規(guī)定值以上的情況下設定比 上述適當曝光條件更抑制死白的曝光條件。8.—種圖像處理方法，其特征在于，具有:信號強調步驟，針對由多個顏色信號的像素構成的輸入圖像，以不使飽和度和色相發(fā) 生變化的方式，按照與每個像素的信號值對應的強度進行信號強調；以及灰度轉換步驟，根據伽馬強調度比基本伽馬轉換曲線弱的弱伽馬轉換曲線，按照每個 像素對通過上述信號強調步驟進行了信號強調的多個顏色信號進行灰度轉換，上述基本伽 馬轉換曲線是在不進行上述信號強調步驟的信號強調的情況下，以使得輸出時的中間灰度 區(qū)域成為適當的信號值的方式進行轉換的伽馬轉換曲線。9.一種圖像處理程序，其中，該圖像處理程序用于使計算機執(zhí)行:信號強調步驟，針對由多個顏色信號的像素構成的輸入圖像，以不使飽和度和色相發(fā) 生變化的方式，按照與每個像素的信號值對應的強度進行信號強調；以及灰度轉換步驟，根據伽馬強調度比基本伽馬轉換曲線弱的弱伽馬轉換曲線，按照每個 像素對通過上述信號強調步驟進行了信號強調的多個顏色信號進行灰度轉換，上述基本伽 馬轉換曲線是在不進行上述信號強調步驟的信號強調的情況下，以使得輸出時的中間灰度 區(qū)域成為適當的信號值的方式進行轉換的伽馬轉換曲線。
【文檔編號】H04N9/69GK105993170SQ201580002821
【公開日】2016年10月5日
【申請日】2015年3月25日
【發(fā)明人】高濟真哉
【申請人】奧林巴斯株式會社