攝像裝置、攝像系統(tǒng)以及攝像方法
【專利摘要】本發(fā)明提供攝像裝置、攝像系統(tǒng)以及攝像方法。在視野不良的環(huán)境下，特別在降下影響到白平衡的黃沙等的環(huán)境下，也能提供視覺辨識性良好的圖像。攝像裝置具備：直方圖部，其從拍攝而得到的影像信號中提取亮度信息來生成直方圖；白平衡檢波部，其檢測所述影像信號的白平衡的偏移；以及白平衡處理部，其校正所述影像信號的白平衡，本裝置基于由所述直方圖部生成的直方圖以及由所述白平衡檢波部檢測出的偏移來切換所述攝像部的攝像條件，并進(jìn)行所述白平衡處理部的控制。在白平衡的偏移大的情況下，例如按照色相來決定是否進(jìn)行白平衡校正。
【專利說明】攝像裝置、攝像系統(tǒng)以及攝像方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及攝像裝置、攝像系統(tǒng)以及攝像方法。
【背景技術(shù)】
[0002]作為本【技術(shù)領(lǐng)域】的【背景技術(shù)】有專利文獻(xiàn)I。在專利文獻(xiàn)I記載了具有如下要素而構(gòu)成:圖像校正部，其對輸入圖像施予給定的圖像校正處理來生成輸出圖像；運(yùn)算部，其按所述輸入圖像的每I場取得亮度直方圖，算出其平均亮度值、標(biāo)準(zhǔn)偏移值、以及中間值的任意2值乃至全部3值；以及校正控制部，其基于由所述運(yùn)算部算出的所述亮度直方圖的平均亮度值、標(biāo)準(zhǔn)偏移值、以及中間值的任意2值乃至全部3值來判定是否需要針對所述輸入圖像的圖像校正處理和校正量，進(jìn)行所述圖像校正部的控制。
[0003]專利文獻(xiàn)
[0004]專利文獻(xiàn)I JP特開2010—147969號公報
[0005]作為攝像裝置的主要用途，有監(jiān)視攝像機(jī)或車載攝像機(jī)。都有在低照度或霧等視覺辨識性差的狀沉下也希望鮮明地拍攝作為目標(biāo)的被攝體這樣的強(qiáng)烈要求。針對這樣的課題，有不僅使用可見光區(qū)域的光，還靈活運(yùn)用近紅外區(qū)域的光的方法。
[0006]在所述專利文獻(xiàn)I中，作為使視野條件變差的原因，不考慮黃沙等在使視野變差的同時白平衡改變的狀沉，就不能進(jìn)行合適的校正。進(jìn)而，雖然通過合適的攝像條件的控制能期待取得視覺辨識性高的圖像，但在黃沙和霧中也有效果相反的情況。

【發(fā)明內(nèi)容】

[0007]為此，本發(fā)明目的在于，提供在條件差的攝像環(huán)境下也能輸出視覺辨識性高的圖像的攝像裝置、攝像系統(tǒng)以及攝像方法。
[0008]為了解決上述目的，采用如下構(gòu)成。
[0009]S卩，本發(fā)明提供一種攝像裝置，輸出拍攝被攝體而得到的與該被攝體相關(guān)的信號，具有:攝像部，其拍攝所述被攝體并生成與所拍攝的該被攝體相關(guān)的電信號；信號處理部，其對由該攝像部生成的電信號進(jìn)行處理來生成包含亮度信息和顏色信息在內(nèi)的影像信號；直方圖部，其基于由該信號處理部生成的影像信號所包含的亮度信息來生成直方圖；白平衡檢波部，其基于由所述信號處理部生成的影像信號所包含的顏色信息來檢測所述影像信號的白平衡的偏移；白平衡處理部，其被提供由所述信號處理部生成的影像信號，基于由所述白平衡檢波部檢測出的白平衡的偏移來對所述影像信號進(jìn)行白平衡校正；圖像輸出部，其輸出由該白平衡處理部進(jìn)行白平衡校正后的影像信號；以及控制部，其控制所述攝像裝置的構(gòu)成要素的動作，該控制部基于由所述直方圖部生成的直方圖和由所述白平衡檢波部檢測出的白平衡的偏移來控制所述攝像部和所述白平衡處理部。
[0010]本發(fā)明提供一種攝像系統(tǒng)，具有對拍攝被攝體而得到的與該被攝體相關(guān)的信號進(jìn)行輸出的攝像裝置，并顯示與所述信號相關(guān)的圖像，具有:攝像裝置、顯示控制部、圖像合成部和顯示部，其中，所述攝像裝置具有:攝像部，其拍攝所述被攝體并生成與所拍攝的該被攝體相關(guān)的電信號；信號處理部，其對由該攝像部生成的電信號進(jìn)行處理來生成包含亮度信息和顏色信息在內(nèi)的影像信號；直方圖部，其基于由該信號處理部生成的影像信號所包含的亮度信息來生成直方圖；白平衡檢波部，其基于由所述信號處理部生成的影像信號所包含的顏色信息來檢測所述影像信號的白平衡的偏移；白平衡處理部，其被提供由所述信號處理部生成的影像信號，基于由所述白平衡檢波部檢測出的白平衡的偏移來對所述影像信號進(jìn)行白平衡校正；圖像輸出部，其輸出由該白平衡處理部進(jìn)行白平衡校正后的影像信號；以及控制部，其控制所述攝像裝置的構(gòu)成要素的動作，基于由所述直方圖部生成的直方圖和由所述白平衡檢波部檢測出的白平衡的偏移來控制所述攝像部和所述白平衡處理部，所述顯示控制部生成與由該攝像裝置的控制部控制所述攝像部和所述白平衡處理部的信息相關(guān)的圖像信號，所述圖像合成部生成對由該顯示控制部生成的圖像信號和由所述攝像裝置的圖像輸出部輸出的影像信號進(jìn)行合成后的合成圖像，所述顯示部顯示由該圖像合成部合成后的合成圖像。
[0011]本發(fā)明提供一種攝像方法，是對拍攝被攝體而得到的與該被攝體相關(guān)的信號校正白平衡并輸出的攝像裝置中的攝像方法，其中，基于拍攝而得到的影像信號所包含的亮度信息的直方圖來判定所述影像信號的亮度是否高于給定值，基于所述直方圖來判定所述影像信號的亮度的對比度是否高于給定值，基于攝像而得到的影像信號所包含的顏色信息中的白平衡的偏移來判定所述影像信號的顏色信息是否處于給定的白平衡解除區(qū)域的內(nèi)部，在所述影像信號的亮度高于給定值、且所述影像信號的亮度的對比度低于給定值的情況下，在所述影像信號的顏色信息處于給定的白平衡解除區(qū)域的外部、且所述影像信號的白平衡的偏移的量大于給定值時，使所述白平衡的校正停止，在所述影像信號的顏色信息處于給定的白平衡解除區(qū)域的內(nèi)部時，不管所述影像信號的白平衡的偏移的量如何，都進(jìn)行所述白平衡的校正。
[0012]發(fā)明效果
[0013]根據(jù)本發(fā)明，有能提供在條件差的環(huán)境下也能輸出視覺辨識性高的圖像的攝像裝置、攝像系統(tǒng)以及攝像方法這樣的效果。
【專利附圖】

【附圖說明】
[0014]圖1是表示I個實施例中的攝像裝置的整體構(gòu)成的框圖。
[0015]圖2是表示攝像部的構(gòu)成的一例的框圖。
[0016]圖3是表示圖像傳感器部的像素配置的一例的圖。
[0017]圖4是表示像素的光譜特性的圖。
[0018]圖5是表不攝像部的輸出信號的一例的圖。
[0019]圖6是表不信號處理部的輸出信號的一例的圖。
[0020]圖7是表示白平衡處理部的構(gòu)成的一例的框圖。
[0021]圖8是表示由直方圖部檢測出的亮度分布的一例的圖。
[0022]圖9是表示直方圖部和白平衡檢波部的解析結(jié)果與控制條件的關(guān)系的一例的圖。
[0023]圖10是表示攝像裝置的處理流程的一例的流程圖。
[0024]圖11是表示I個實施例中的攝像裝置的整體構(gòu)成的框圖。
[0025]圖12是表示I個實施例中的攝像裝置的整體構(gòu)成的框圖。[0026]圖13是表示攝像部的構(gòu)成的一例的框圖。
[0027]圖14是表示圖像傳感器部的像素配置的一例的圖。
[0028]圖15是表示IR像素的光譜特性的圖。
[0029]圖16是表示直方圖部和白平衡檢波部的解析結(jié)果與控制條件的關(guān)系的一例的圖。
[0030]圖17是表示攝像裝置的處理流程的一例的流程圖。
[0031]圖18是表示I個實施例中的攝像裝置的整體構(gòu)成的框圖。
[0032]圖19是表示由直方圖部檢測出的亮度分布的一例的圖。
[0033]圖20是表示I個實施例中的攝像系統(tǒng)的整體構(gòu)成的框圖。
[0034]圖21是表示顯示部的顯示畫面的一例的圖。
[0035]圖22是表示顯示部的顯示畫面的一例的圖。
[0036]符號說明
[0037]100、600、700、800:攝像裝置
[0038]101,601:攝像部
[0039]102:信號處理部
[0040]103:直方圖部
[0041]104:白平衡檢波部
[0042]105:白平衡處理部
[0043]106:控制部
[0044]107:亮度信號生成部
[0045]108:色差信號生成部
[0046]109:圖像輸出部
[0047]201:1R 濾光器
[0048]202:光學(xué)部
[0049]203:圖像傳感器部
[0050]204:放大部
[0051]205:AD 變換部
[0052]602,702:光源
[0053]900:攝像系統(tǒng)
[0054]901:圖像合成部
[0055]902:顯示部
[0056]903:顯示控制部
【具體實施方式】
[0057]下面，使用附圖來說明本發(fā)明的實施方式。
[0058][實施例1]
[0059]圖1是表示實施例1中的攝像裝置的整體構(gòu)成的框圖。100是攝像裝置，101是攝像部，102是信號處理部，103是直方圖部，104是白平衡(WB)檢波部，105是白平衡(WB)處理部，106是控制部，107是亮度信號生成部，108是色差信號生成部，109是圖像輸出部。[0060]攝像部101由使紅外光(IR)截止的IR濾光器、包含變焦透鏡以及聚焦透鏡的透鏡群、光圈、快門、CCD或CMOS等攝像元件等構(gòu)成的圖像傳感器、以及AD轉(zhuǎn)換器等構(gòu)成，將圖像傳感器接受的光學(xué)像進(jìn)行光電變換，作為信號輸出。信號處理部102從由攝像部101輸出的信號進(jìn)行分離處理和去馬賽克處理等，例如生成并輸出亮度信號和紅、藍(lán)、綠的顏色信號等。白平衡處理部105對由信號處理部102輸出的顏色信號進(jìn)行基于按每個顏色信號設(shè)定的校正量來放大顏色信號的白平衡的校正處理，輸出放大后的各顏色信號。亮度信號生成部107對由白平衡處理部105輸出的顏色信號進(jìn)行例如使用了從顏色信號變換至亮度信號的變換式的合成處理，輸出亮度信號。色差信號生成部108對由白平衡處理部105輸出的信號進(jìn)行例如使用了從顏色信號變換至色差信號的變換式的合成處理，輸出色差信號。圖像輸出部109將亮度信號生成部107輸出的亮度信號和色差信號生成部108輸出的色差信號輸出到攝像裝置100的外部，或者生成將它們合成后的影像信號并輸出到攝像裝置100的外部。
[0061]直方圖部103根據(jù)由信號處理部102輸出的亮度信號來生成例如包含于亮度信號中的亮度數(shù)據(jù)的直方圖，輸出亮度數(shù)據(jù)的分布的平均值和方差等亮度信息。白平衡檢波部104對由信號處理部102輸出的顏色信號進(jìn)行解析處理，輸出與白平衡的偏移相關(guān)的信息和色差信息等?？刂撇?06根據(jù)由直方圖部103輸出的亮度信息掌握明亮度和對比度的狀沉，判斷攝像環(huán)境是視野良好還是視野不良，切換攝像部101的攝像條件。另外，控制部106根據(jù)由白平衡檢波部104輸出的與白平衡的偏移相關(guān)的信息和色差信息來判斷攝像環(huán)境，決定、設(shè)定與攝像環(huán)境相應(yīng)的白平衡處理部105的校正量。
[0062]所謂決定攝像部101的攝像條件的控制，例如是攝像部101的IR濾光器的裝卸的控制。在控制部106中，通過在判斷為昏暗的夜間的情況下卸下IR濾光器，變得能利用IR的光量，雖然顏色重現(xiàn)性降低，但能提高亮度以及對比度，能提升視覺辨識性。另外，在白平衡校正中，通常在白平衡的偏移大的情況下判定為是不適合白平衡的校正的被攝體，從而不進(jìn)行白平衡校正。但是，在使用于監(jiān)視等的攝像裝置中，與攝像環(huán)境無關(guān)地謀求正確重現(xiàn)被攝體的顏色，在改變被攝體的顏色這樣的特定的攝像環(huán)境下，例如在降下黃沙的攝像環(huán)境下，即使白平衡的偏移大也希望進(jìn)行白平衡的校正。在降下黃沙的攝像環(huán)境下，黃沙引起的光的漫反射使被攝體的對比度降低，因加上黃沙的黃色而使得白平衡較大地向黃色方向偏移。在控制部104中，根據(jù)對比度和白平衡的偏移方向判定為黃沙，在白平衡處理部105中設(shè)定根據(jù)白平衡的偏移求得的校正量，進(jìn)行白平衡校正。
[0063]如以上說明那樣，在本發(fā)明的攝像裝置100中，根據(jù)直方圖部103和白平衡檢波部104的輸出來在控制部中判斷攝像環(huán)境，通過控制攝像部101的攝像條件的切換和白平衡處理部105，能提供生成視覺辨識性更高的圖像的攝像裝置。
[0064]下面，使用附圖來說明攝像部101所具有的各構(gòu)成要素的一例。
[0065]圖2是表示攝像部101的構(gòu)成的一例的框圖。對與圖1相同的構(gòu)成要素賦予相同的編號。攝像部101例如由使入射光的紅外線(IR)分量截止的IR濾光器201、光學(xué)部202、圖像傳感器部203、對信號電平進(jìn)行放大的放大部204、將模擬信號變換為數(shù)字信號AD變換部205構(gòu)成。IR濾光器201能由控制部106進(jìn)行插入有、插入無的切換，在IR濾光器201的插入有的情況下，從入射光中截止了紅外光后的光穿過光學(xué)部202而入射到圖像傳感器部203。另外，在IR濾光器201的插入無的情況下，包含紅外光在內(nèi)的入射光穿過光學(xué)部202而入射到圖像傳感器部203。
[0066]在圖像傳感器部203進(jìn)行光電變換，輸出與圖像傳感器部203所接受到的光的光量對應(yīng)的信號。在圖像傳感器部203中，還通過在同一圖像傳感器上配置對分別與紅、藍(lán)、綠對應(yīng)的波長具有靈敏度的像素，來取得顏色的信息。
[0067]圖3是表示圖2的圖像傳感器部203的像素配置的一例的圖。對與圖2相同的構(gòu)成要素賦予相同的編號。221對圖像傳感器部203的一部分221進(jìn)行了放大，反復(fù)配置主要對紅色的光的波長具有靈敏度的R像素222、主要對綠色的光的波長具有靈敏度的G像素223、主要對藍(lán)色的光的波長具有靈敏度的B像素224。另外，在圖像傳感器部302中，由于G像素223給圖像整體的分辨率帶來的影響大，因此設(shè)為將G像素223配置為R像素222以及B像素223的2倍的像素配置例，但根據(jù)攝像裝置的用途而像素配置或構(gòu)成不同，并不限定于圖3。另外，也可以是取代R像素222、G像素223、B像素224而配置補(bǔ)色像素的圖像傳感器部。
[0068]圖4是表示針對圖2所示的R像素222、G像素223以及B像素224的光的波長的靈敏度特性、即光譜特性的圖。在圖4中，301是B像素224的光譜特性，302是G像素223的光譜特性，303是R像素222的光譜特性。另外，R表示紅色的可見光的波長段、G表示綠色的可見光的波長段、B表示藍(lán)色的可見光的波長段、IR表示紅外光的波長段。光譜特性301表示對R和IR具有靈敏度，光譜特性302表示對G和IR具有靈敏度，光譜特性303表示對B和IR具有靈敏度。在通常攝像環(huán)境下，不需要使顏色重現(xiàn)性變差的IR的靈敏度，通過插入圖2的IR濾光器201來使IR分量截止，僅取得可見光的光量。在夜間等低照度的攝像環(huán)境下，光量低而成為視覺辨識性差的圖像。為此，在卸下圖2的IR濾光器201的情況下，變得能使入射到圖像傳感器203的光量增加且還能利用IR部分的靈敏度，從而能提高攝像部101的靈敏度。
[0069]以下說明圖像傳感器203為圖3的像素配置時的攝像部101的輸出信號例和信號處理部102的處理例。
[0070]圖5是表不攝像部101的輸出信號的一例的圖。250是輸出信號,251和253表不紅色的亮度數(shù)據(jù)，252、254和256表示綠色的亮度數(shù)據(jù)，255表示藍(lán)色的亮度數(shù)據(jù)。圖5表示圖3那樣例如在奇數(shù)行交替配置R像素222和G像素223、在偶數(shù)行交替配置G像素223和B像素224的情況下的輸出信號。另外，偶數(shù)行以及奇數(shù)行、以及像素的重復(fù)順序能通過圖像傳感器部203的像素、輸出定時來互換，并不限定于本例。
[0071]以攝像部101的輸出信號為輸入的圖1的信號處理部102進(jìn)行適合攝像裝置100所要求的輸出圖像信號的分辨率、頻率等的信號生成處理。
[0072]圖6是表不圖1的信號處理部102的輸出信號的一例的圖。對與圖5相同的信號賦予相同的編號。270表不R信號，280表不G信號，290表不B信號，251和253表不紅色的亮度數(shù)據(jù)，271?276表示紅色的內(nèi)插數(shù)據(jù)，252、254、255、257表示綠色的亮度數(shù)據(jù)，281?284表示綠色的內(nèi)插數(shù)據(jù)，256、258表示藍(lán)色的亮度數(shù)據(jù)，291?296表示藍(lán)色的內(nèi)插數(shù)據(jù)。在信號處理部102中，例如從圖5的信號250分離紅色的亮度數(shù)據(jù)251、253等、綠色的亮度數(shù)據(jù)252、254等、藍(lán)色的亮度數(shù)據(jù)256等，生成R信號270、G信號280以及B信號290。此時，在需要輸出圖像信號的分辨率為各個亮度數(shù)據(jù)的個數(shù)以上的情況下，進(jìn)行根據(jù)相鄰的像素的亮度數(shù)據(jù)來生成內(nèi)插用的亮度數(shù)據(jù)的去馬賽克處理。[0073]另外，在信號處理部102中，作為不需要使分辨率較高的直方圖部103用的亮度信號，也可以將紅色的亮度數(shù)據(jù)和綠色的亮度數(shù)據(jù)的平均值作為亮度信號而輸出。例如，將圖5的輸出信號250的奇數(shù)行的紅色的亮度數(shù)據(jù)251和綠色的亮度數(shù)據(jù)252的平均值作為亮度信號輸出。如此，通過使分辨率較低，能減輕在直方圖部103的處理負(fù)擔(dān)。
[0074]圖7是表示白平衡處理部105的構(gòu)成的一例的圖。對與圖1相同的構(gòu)成要素賦予相同的編號。504、505、506是信號輸入端子，分別被輸入信號處理部102的輸出信號即R信號、G信號、B信號。501、502以及503是放大部，通過控制部106來設(shè)定各自的放大率。白平衡處理部105例如通過各自改變圖6所示的R信號270、G信號280、B信號290的放大率來進(jìn)行白平衡的調(diào)整處理。
[0075]另外，白平衡的調(diào)整也可以固定I個信號電平并調(diào)整其它2個信號電平。例如，在固定G信號的情況下，由于不需要放大G信號，因此也可以沒有放大部502，能使電路構(gòu)成簡單。
[0076]直方圖部103檢測從信號處理部102輸出的影像信號的亮度水平(level)的分布，輸出例如用于判定圖像整體的亮度的信息、以及用于判定對比度的信息。用于判定亮度的信息例如是平均亮度或中間值等，用于判定對比度的信息例如是最大值、最小值、或方差
坐寸ο
[0077]圖8是表示由直方圖部103檢測出的亮度分布的一例的圖。(I)表示視野良好的環(huán)境下攝像的情況下的直方圖的一例，(2)表示昏暗的環(huán)境下攝像的情況下的直方圖的一例，(3)表示明亮但視野不良的環(huán)境下攝像的情況下的直方圖的一例。在(I)中，由于平均亮度高，亮度水平分布寬廣，因此方差變大。在(2)中，平均亮度低，亮度水平的方差小。在
(3)中，平均亮度高，亮度水平的方差小。在控制部106中，例如在平均亮度低于預(yù)先設(shè)定的亮度的閾值的情況下，判斷為夜間等的視野不良。另外，在將對比度的相對指標(biāo)設(shè)為方差時，在方差比預(yù)先設(shè)定的方差的幅度大的情況下，判斷為視野良好，在低的情況下，判斷為霧或黃沙等使對比度降低的原因引起的視野不良，進(jìn)行各部的控制。
[0078]白平衡檢波部104檢測從信號處理部102輸出的影像信號的白平衡的偏移量和偏移方向。白平衡的偏移例如能用根據(jù)表現(xiàn)白色時的R信號的亮度數(shù)據(jù)、G信號的亮度數(shù)據(jù)、B信號的亮度數(shù)據(jù)求得的色差來表征。色差在R信號的亮度數(shù)據(jù)、G信號的亮度數(shù)據(jù)和B信號的亮度數(shù)據(jù)一致的情況下位于原點，白平衡的偏移成為O。在控制部106中，在R信號的亮度數(shù)據(jù)、G信號的亮度數(shù)據(jù)和B信號的亮度數(shù)據(jù)不同、白平衡偏移了的情況下，例如根據(jù)R信號和B信號的亮度數(shù)據(jù)相對于G信號的亮度數(shù)據(jù)的比例來求取R信號和B信號的放大系數(shù)，并設(shè)定至圖7的白平衡處理部105的放大部501、502、503。
[0079]在此，控制部106除了色差位于預(yù)先設(shè)定的門限解除區(qū)域內(nèi)的情況以外，在白平衡檢波部104檢測出的白平衡的偏移量超過某門限值的情況下，并不進(jìn)行白平衡的校正。門限解除區(qū)域例如在將降下黃沙時除外的情況下，成為符合黃沙的顏色的范圍的區(qū)域。在控制部106判定為黃沙的情況下，不管白平衡的偏移量如何，都進(jìn)行校正白平衡的控制。
[0080]圖9是表示攝像裝置100的直方圖部103和白平衡檢波部104的解析結(jié)果與控制條件的關(guān)系的一例的圖。
[0081]在視野良好且亮度和對比度都高、或下霧等雖然亮度高但對比度低而白平衡處于門限解除區(qū)域外時，與通常的可見光拍攝的攝像裝置同樣地插入IR濾光器，進(jìn)行白平衡的偏移量存在門限的情況下的白平衡處理。
[0082]在下黃沙等亮度高且對比低而白平衡處于門限解除區(qū)域內(nèi)時，不管白平衡的偏移量如何都進(jìn)行白平衡處理。
[0083]在亮度低的情況下，不插入IR濾光器，也不進(jìn)行白平衡處理。
[0084]下面說明以上說明的攝像裝置100的處理流程。
[0085]圖10是表示攝像裝置的處理流程的一例的流程圖。在開始處理時，在步驟S1000，控制部106進(jìn)行初始設(shè)定，例如插入IR濾光器201。在步驟S1001，攝像部101進(jìn)行拍攝被攝體并將攝像出的圖像作為信號進(jìn)行輸出的攝像處理。在步驟S1002，信號處理部102進(jìn)行亮度信號等的信號生成處理。在步驟S1003中，直方圖部103解析亮度信號等，控制部106取得亮度以及對比度信息。
[0086]在步驟S1004，控制部106進(jìn)行比較在步驟S1003取得的亮度信息與給定的亮度信息的亮度判定處理。在步驟S1003取得的亮度信息低于給定的亮度信息的情況下，前進(jìn)到步驟S1005，在步驟S1005判斷為控制部106插入了 IR濾光器201的情況下，在步驟S1006拆下IR濾光器201，返回至步驟1001。在步驟S1005判斷為未插入IR濾光器201的情況下，前進(jìn)到步驟S1012。
[0087]在步驟S1004，在亮度信息高于給定的亮度的情況下，前進(jìn)到步驟S1007。在步驟S1007,白平衡檢波部104進(jìn)行檢測白平衡偏移量和色差信息的白平衡偏移解析處理。在步驟S1008，根據(jù)在步驟S1003取得的對比度信息而對比度高于基準(zhǔn)值的情況下，前進(jìn)到步驟S1010，在低于基準(zhǔn)值的情況下前進(jìn)到步驟S1009。
[0088]在步驟S1009，根據(jù)在步驟S1007取得的白平衡偏移解析結(jié)果而由控制部106判斷為白平衡處于門限解除區(qū)域的情況下，前進(jìn)到步驟S1011，在處于門限解除區(qū)域外的情況下前進(jìn)到步驟S1010。
[0089]在步驟S1010，控制部106判斷在步驟S1007取得的白平衡的偏移量是否未超過白平衡校正的上限，在未超過的情況下前進(jìn)到步驟S1011，在超過的情況下前進(jìn)到步驟S1012。
[0090]在步驟SlOlI，白平衡處理部105基于在步驟S1007取得的白平衡校正量進(jìn)行校正處理。在步驟S1012，亮度信號生成部107進(jìn)行亮度信號生成處理，色差信號生成部108進(jìn)行色差信號生成處理，在步驟S1013，圖像輸出部109進(jìn)行圖像輸出處理，輸出圖像信號。
[0091]在以上說明的本實施例的攝像裝置中，判斷攝像環(huán)境，通過攝像條件的切換、或進(jìn)行白平衡控制，即使在黃沙等視野差的狀沉下，也能輸出視覺辨識性更高的圖像。
[0092]例如，所謂在步驟S1005的判定成為“否”而來到步驟S1012的情況，是在亮度和對比度都低的狀態(tài)、即昏暗狀態(tài)下拍攝被攝體的情況，攝像部101不插入IR濾光器201地進(jìn)行拍攝來改善視覺辨識性。
[0093]所謂在步驟S1009的判定成為“是”而來到步驟SlOll的情況，是在亮度高對比度低、并且處于白平衡的門限解除區(qū)域內(nèi)的狀態(tài)下拍攝被攝體的情況，具體的地例如是由于黃沙而視野差的情況，在步驟S1011，白平衡處理部105對黃沙引起的圖像的泛黃進(jìn)行白平衡校正來改善視覺辨識性。
[0094]所謂在步驟S1009的判定成為“否”而來到步驟S1010的情況，是在亮度高對比度低、且處于白平衡的門限解除區(qū)域外的狀態(tài)下拍攝被攝體的情況。包含通過步驟S1004和S1008的判定而判斷為亮度高對比度也高的情況，控制部106基于在步驟S1010的判定結(jié)果決定是否進(jìn)行在步驟SlOll的白平衡校正處理。由此，即使在下霧的狀態(tài)下，白平衡處理部105也進(jìn)行白平衡校正。但是，由于在拍攝例如遍布攝像的畫面的整體顯著偏向特定的顏色的被攝體的情況下，白平衡處理部105不進(jìn)行白平衡校正，因此能避免該校正帶來的弊端。即，在哪種情況下都能改善攝像的圖像的視覺辨識性。
[0095]另外，本實施例中，作為視野差的原因并不特定為黃沙，只要能通過顏色來特定原因，則即使是黃沙以外、或是黃色以外的顏色，也能通過適宜確定所述白平衡的門限解除區(qū)域而同樣得到視覺辨識性良好的圖像。
[0096][實施例2]
[0097]圖11是表示實施例2中的攝像裝置700的整體構(gòu)成的框圖。對與圖1相同的構(gòu)成要素賦予相同的編號，省略說明。700是攝像裝置，701是攝像部，702是光源。對于光源702，根據(jù)攝像條件或用途使用可見光的光源、或IR的光源、或兩者的光源。
[0098]在基于監(jiān)視目的而使用攝像裝置700的情況下，在夜間等低照度時，向被攝體照射人眼不能識別的IR光源的情況較多。在將702設(shè)為IR光源的情況下，IR光源的接通、斷開控制與圖2的IR濾光器201的控制聯(lián)動地進(jìn)行。如圖4說明那樣，由于圖像傳感器203的R像素、G像素以及B像素具有針對IR光的靈敏度，因此，通過照射IR光，能增加被攝體的光量，雖然是接近于黑白的圖像，但能提升輸出圖像的視覺辨識性。
[0099]在圖10的處理流程中，在處理開始時，光源702斷開?？刂撇?06在步驟S1006卸下IR濾光器201，接通光源702。另外，IR濾光器201和光源702的控制的哪一者在前都沒關(guān)系。
[0100]在將攝像裝置700的光源與用于人看的輔助光兼用的情況下，例如在車的車頭燈等中，光源成為可見光光源。這種情況下，控制部106在圖10的步驟S1006不卸下IR濾光器201而接通光源702。在此，可見光源帶有顏色的情況較多。為此，與黃沙同樣地，通過在白平衡的門限解除區(qū)域設(shè)定可見光源的顏色，即使由于可見光源而白平衡較大地偏移，也能進(jìn)行校正，能輸出被攝體的顏色重現(xiàn)性良好的圖像。
[0101]在光源702中兼用可見光源和IR光源的情況下，與僅IR光源的情況相同，光源702的接通、斷開控制與IR濾光器201的控制聯(lián)動地進(jìn)行。可見光源作為人眼的輔助光而使用。IR光源作為攝像裝置700的輔助光而使用。通過照射IR光，能增加被攝體的光量，雖然是接近于黑白的圖像，但能提升輸出圖像的視覺辨識性。
[0102]如以上說明說明那樣，在本實施例的攝像裝置，能利用光源來提升輸出圖像的視覺辨識性。
[0103][實施例3]
[0104]圖12是表示實施例3中的攝像裝置600的整體構(gòu)成的框圖。對與圖1相同的構(gòu)成要素賦予相同的編號，省略說明。600是攝像裝置，601是攝像部，602是光源，603是信號處理部，604是IR合成處理部。光源602根據(jù)攝像條件、用途而使用可見光的光源、或IR的光源、或兩者的光源。在監(jiān)視目的的攝像裝置中，在夜間等低照度時，對被攝體照射人眼不能識別的IR光源的情況較多。在作為光源602而使用IR光源的情況下，可以將攝像部601的圖像傳感器部設(shè)為圖3說明的像素配置，但也能通過設(shè)為配置有IR像素的圖像傳感器部來更有效地利用IR光源。另外，能不需要IR濾光器201的控制來使攝像裝置的構(gòu)造簡易化。下面，說明配置有IR像素的攝像部601。
[0105]圖13是表示攝像部601的一例的框圖。對與圖12以及圖2相同的構(gòu)成要素賦予相同的編號，省略說明。611是圖像傳感器部，不配置IR濾光器，全波長的光經(jīng)由光學(xué)部202入射到圖像傳感器部611。
[0106]圖14是表示圖像傳感器部603的像素配置的一例的圖。對與圖3相同的構(gòu)成要素賦予相同的編號，省略說明。605是對圖像傳感器部611的一部分進(jìn)行了放大的部分。611是僅對IR區(qū)域具有靈敏度的IR像素。在圖像傳感器部611中，逐行地交替配置R像素222和G像素223、IR像素611和B像素224。另外，每行的顏色的組合并不限定于圖14，也可以互換。
[0107]圖15是表示針對圖14所示的IR像素611的光的波長的靈敏度特性、即光譜特性的圖。在光譜特性304中，對可見光區(qū)域幾乎沒有靈敏度，幾乎僅對IR區(qū)域有靈敏度。因此，通過由信號處理部603進(jìn)行從R像素222、G像素223、B像素224的亮度水平中減去IR像素611的亮度水平的處理，能僅取出可見光的亮度水平。由此，前面圖2中的IR濾光器201在本實施例的圖13中不再需要。另外，由于通常R像素222、G像素223以及B像素224的IR的靈敏度不同，因此在IR的亮度數(shù)據(jù)上乘以與各靈敏度相配合的系數(shù)后再扣除。
[0108]攝像部601的輸出信號遵循圖像傳感器部611的像素排列而輸出，例如在奇數(shù)行交替輸出R像素222的亮度數(shù)據(jù)和G像素223的亮度數(shù)據(jù)，在偶數(shù)行交替輸出IR像素611的亮度數(shù)據(jù)和B像素224的亮度數(shù)據(jù)。
[0109]信號處理部603從攝像部601的輸出信號依次取出R像素222的亮度數(shù)據(jù)、G像素223的亮度數(shù)據(jù)、B像素224的亮度數(shù)據(jù)、IR像素611的亮度數(shù)據(jù)。另外，信號處理部603使用IR像素611的亮度數(shù)據(jù)來生成IR像素611的亮度數(shù)據(jù)。進(jìn)而，信號處理部603在從R像素222的亮度數(shù)據(jù)、G像素223的亮度數(shù)據(jù)以及B像素224的亮度數(shù)據(jù)中去除IR分量后，根據(jù)需要來進(jìn)行去馬賽克處理，生成R信號、G信號以及B信號并輸出到IR合成處理部604。另外，為了將IR像素的亮度水平反映到輸出圖像中，與其它的信號同樣，根據(jù)需要進(jìn)行去馬賽克處理，將IR信號輸出到IR合成處理部604。IR合成處理部604按照來自控制部106的指示進(jìn)行從信號處理部603提供的信號的處理，例如僅將R信號/ G信號/以及B信號，或僅將IR信號，或?qū)Ω鱎信號/ G信號/ B信號合成了 IR信號后的信號輸出給亮度信號生成部107和色差信號生成部108。另外，直方圖部103用的亮度信號既可以根據(jù)R信號、G信號以及B信號生成，也可以根據(jù)每I行的R像素222的亮度數(shù)據(jù)與G像素223的亮度數(shù)據(jù)的平均值生成。
[0110]圖16是表示攝像裝置600的直方圖部103和白平衡檢波部104的解析結(jié)果與控制條件的關(guān)系的一例的圖。
[0111]在攝像圖像的亮度和對比度都高的情況下，斷開IR光源，在白平衡的偏移量為門限值以下的情況下進(jìn)行白平衡處理。
[0112]在亮度高但對比度低、白平衡處于門限解除區(qū)域外時，判斷為因霧等而IR光源有效的視野不良，接通IR光源，進(jìn)而在白平衡的偏移量為門限值以下的情況下進(jìn)行白平衡處理。通過接通IR光源，能期待提高亮度的對比度。
[0113]在亮度高對比度低、白平衡處于門限解除區(qū)域內(nèi)時，例如將使視野差的原因判斷為是黃沙，由于黃沙反射光源的光而無法預(yù)期提升基于IR光源的視覺辨識性，因此斷開IR光源。關(guān)于白平衡，不管白平衡的偏移量如何都進(jìn)行白平衡處理。
[0114]在攝像圖像的亮度低的情況下接通IR光源。由于IR信號的亮度以及對比度高于可見光的信號，因此改變?yōu)榭梢姽獾男盘杹磔敵鯥R信號?；蛘撸嬖谕ㄟ^與可見光的信號進(jìn)行合成而能重現(xiàn)顏色的可能性。
[0115]圖17是表示攝像裝置600的處理流程的一例的流程圖。對與圖9相同的步驟賦予相同的步驟編號，省略說明。
[0116]在步驟S1004，控制部106進(jìn)行了亮度判定處理時，在步驟S1003取得的攝像圖像的亮度低于給定的亮度的情況下，前進(jìn)到步驟S2001，控制部106使光源602所具有的IR光源接通。在步驟S2002，攝像部601進(jìn)行對照射了 IR光源的被攝體進(jìn)行攝像的攝像處理，在步驟S2003的信號生成處理中，信號處理部603生成IR信號。進(jìn)而，在下一步驟S2004的亮度判定處理中，在與先前的步驟S1004中的判定同樣地判定為亮度低的情況下，不進(jìn)行步驟S1010和SlOll的白平衡校正處理而前進(jìn)到步驟S1012。在此，IR合成處理部604遵循來自控制部106的指示，取代輸入R信號、G信號以及B信號，而全部輸入IR信號，來作為對亮度信號生成部107以及色差信號生成部108的輸入信號。由此，攝像裝置600能輸出IR信號的圖像。
[0117]在步驟S1004，控制部106進(jìn)行了亮度判定處理時，在步驟S1003取得的攝像圖像的亮度高于給定的亮度的情況下，前進(jìn)到步驟S1007。進(jìn)而，在步驟S1008中由控制部106判斷為對比度低、在步驟S1009中由控制部106判斷為白平衡處于門限解除區(qū)域外的情況下，步驟S2001，控制部106使光源602所具有的IR光源接通。在步驟S2002，攝像部601進(jìn)行對被IR光源照射的被攝體進(jìn)行與步驟S1001相同的攝像處理，在步驟S2003，信號處理部603進(jìn)行與步驟S1002相同的信號生成處理。即，信號處理部603生成R信號、G信號、B信號，還根據(jù)需要生成IR信號，提供給IR合成處理部604。這種情況下，由于在步驟S2001接通IR光源、或在步驟S2003合成信號，因此存在與先前的步驟S1004的判定時相比亮度發(fā)生變化的可能性，因此在步驟S2004重新進(jìn)行亮度判定處理。
[0118]若在步驟S2004的判定的結(jié)果為亮度高于給定值，則前進(jìn)到步驟S1010，對應(yīng)于該結(jié)果在步驟SlOll進(jìn)行白平衡校正處理。若在步驟S2004的判定的結(jié)果為亮度低于給定值，則不進(jìn)行步驟S1010和SlOll的白平衡校正處理而前進(jìn)到步驟S1012。
[0119]在圖像傳感器部611中，雖然與圖3的圖像傳感器部203的像素配置比較分辨率變低，但有能同時取得可見光圖像和IR圖像的兩者的好處。
[0120]在以上說明的本實施例的攝像裝置中，能有效地使用IR光源。由此，即使在由于黃沙等而視野差的狀沉下，也能得到施予了白平衡校正的顏色重現(xiàn)性良好的圖像輸出。
[0121][實施例4]
[0122]圖18是表示實施例4中的攝像裝置800的整體構(gòu)成的框圖。對與圖1相同的構(gòu)成要素賦予相同的編號，并省略說明。800是攝像裝置，801是檢測亮度、對比度、白平衡的直方圖部。下面說明直方圖部801。
[0123]直方圖部801被輸入包含亮度的顏色信號、例如圖6的R信號、G信號、B信號，生成各自的直方圖。
[0124]圖19是表示直方圖部檢測出的亮度分布的一例的圖。(I)是R信號的亮度分布451，⑵是G信號的亮度分布452，(3)是B信號的亮度分布453。圖19是例如降下黃沙的環(huán)境下的一例，R信號和G信號的亮度高，B的亮度低。在此，亮度的評價例如以各顏色的亮度分布的平均值作為R信號的亮度、G信號的亮度以及B信號的亮度，使用從各顏色的亮度利用變換式求得的亮度作為整體的亮度，來進(jìn)行評價。另外，白平衡的偏移對所述求得的R信號的亮度、G信號的亮度以及B信號的亮度進(jìn)行比較來算出。在對比度的判定中，既可以代表性地使用G信號的方差，也可以使用G信號的方差與R信號的方差的平均值、或使用各顏色的亮度分布的方差值的平均值。
[0125]在以上說明的直方圖部801中，能一次進(jìn)行亮度、對比度、白平衡的檢測。進(jìn)而，在僅亮度信號的對比度評價中，在白平衡偏移而在各顏色信號的亮度中有較大的差的情況下，在視野不良時存在誤判定對比度的可能性，與此相對，在本直方圖部801中，通過分開評價各顏色的信號能可靠地評價對比度。
[0126][實施例5]
[0127]圖20是表示實施例5中的攝像系統(tǒng)900的整體構(gòu)成的框圖。對與圖1相同的構(gòu)成要素賦予相同的編號，省略說明。900是攝像系統(tǒng)，901是圖像合成部，902是顯示部，903是顯示控制部。
[0128]攝像裝置100對圖像合成部901輸出圖像信號，對顯示控制部903輸出攝像環(huán)境和攝像條件等攝像狀態(tài)。顯示控制部903基于所述攝像狀態(tài)生成進(jìn)行顯示的消息畫面，輸出給圖像合成部901。圖像合成部901生成對攝像裝置700的圖像信號和顯示控制部903的消息畫面進(jìn)行合成后的合成信號，輸出到顯示部902。顯示部902顯示所輸入的合成信號。另外，顯示部902例如是液晶顯示器、LED顯示器等的平面顯示器、投影儀等，只要是能顯示圖像的構(gòu)成，則可以是任意構(gòu)成。
[0129]圖21是表示顯示部901的顯示畫面的一例的圖。911是顯示部的顯示畫面,912是消息顯示部。在圖21中，在消息顯示部912顯示攝像狀態(tài)，例如是夜間的攝像環(huán)境、顯示了 IR濾光器斷開而IR光源成為接通的情況。通過在顯示部901顯示攝像狀態(tài)消息，能使看到顯示畫面的人掌握攝像裝置的狀態(tài)。
[0130]圖22是表示顯示部901的顯示畫面的一例的圖。921是顯示部的顯示畫面,922是消息顯示部。在圖22中，在消息顯示部922顯示攝像環(huán)境和與攝像環(huán)境對應(yīng)的警告消息。使看到顯示畫面的人掌握攝像裝置的狀態(tài)，并且，在車載用途等的使用中，能通過督促安全或顯示建議來確保安全。
[0131]另外，盡管使用圖1的攝像裝置100來作為攝像裝置進(jìn)行了說明，但使用本發(fā)明的其它的實施例中的攝像裝置，例如圖12的攝像裝置600、圖18的攝像裝置800等也沒關(guān)系。
【權(quán)利要求】
1.一種攝像裝置，輸出拍攝被攝體而得到的與該被攝體相關(guān)的信號，其特征在于，具有: 攝像部，其拍攝所述被攝體并生成與所拍攝的該被攝體相關(guān)的電信號； 信號處理部，其對由該攝像部生成的電信號進(jìn)行處理來生成包含亮度信息和顏色信息在內(nèi)的影像號； 直方圖部，其基于由該信號處理部生成的影像信號所包含的亮度信息來生成直方圖；白平衡檢波部，其基于由所述信號處理部生成的影像信號所包含的顏色信息來檢測所述影像號的白平衡的偏移； 白平衡處理部，其被提供由所述信號處理部生成的影像信號，基于由所述白平衡檢波部檢測出的白平衡的偏移來對所述影像信號進(jìn)行白平衡校正； 圖像輸出部，其輸出由該白平衡處理部進(jìn)行白平衡校正后的影像信號；和 控制部，其控制所述攝像裝置的構(gòu)成要素的動作， 該控制部基于由所述直方圖部生成的直方圖和由所述白平衡檢波部檢測出的白平衡的偏移來控制所述攝像部 和所述白平衡處理部。
2.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于， 所述控制部進(jìn)行如下處理: 基于由所述直方圖部生成的直方圖來判定由所述信號處理部生成的影像信號的亮度是否高于給定值， 基于所述直方圖來判定由所述信號處理部生成的影像信號的亮度的對比度是否高于給定值， 基于由所述白平衡檢波部檢測出的白平衡的偏移來判定由所述信號處理部生成的影像信號的顏色信息是否處于給定的白平衡解除區(qū)域的內(nèi)部， 在所述影像信號的亮度高于給定值、且所述影像信號的亮度的對比度低于給定值的情況下， 在所述影像信號的顏色信息處于給定的白平衡解除區(qū)域的外部、且所述白平衡檢波部檢測出的所述影像信號的白平衡的偏移的量大于給定值時，使所述白平衡校正停止， 而在所述影像信號的顏色信息處于給定的白平衡解除區(qū)域的內(nèi)部時，不管所述影像信號的白平衡的偏移的量如何，都控制所述白平衡處理部以進(jìn)行所述白平衡校正。
3.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于， 該攝像裝置包含紅外線濾光器， 所述控制部對是否將所述紅外線濾光器安裝在所述攝像部進(jìn)行控制。
4.根據(jù)權(quán)利要求3所述的攝像裝置，其特征在于， 所述攝像部具備照射所述被攝體的光源， 所述控制部對是否點亮所述光源進(jìn)行控制。
5.根據(jù)權(quán)利要求4所述的攝像裝置，其特征在于， 所述光源對所述被攝體照射紅外光， 所述控制部進(jìn)行控制，以使在點亮所述光源時從所述攝像部卸下所述紅外線濾光器。
6.根據(jù)權(quán)利要求5所述的攝像裝置，其特征在于， 所述光源包含可見光地將紅外光照射至所述被攝體。
7.一種攝像系統(tǒng)，具有對拍攝被攝體而得到的與該被攝體相關(guān)的信號進(jìn)行輸出的攝像裝置，并顯示與所述信號相關(guān)的圖像，其特征在于，具有:攝像裝置、顯示控制部、圖像合成部和顯示部， 其中，所述攝像裝置具有: 攝像部，其拍攝所述被攝體并生成與所拍攝的該被攝體相關(guān)的電信號； 信號處理部，其對由該攝像部生成的電信號進(jìn)行處理來生成包含亮度信息和顏色信息在內(nèi)的影像號； 直方圖部，其基于由該信號處理部生成的影像信號所包含的亮度信息來生成直方圖；白平衡檢波部，其基于由所述信號處理部生成的影像信號所包含的顏色信息來檢測所述影像號的白平衡的偏移； 白平衡處理部，其被提供由所述信號處理部生成的影像信號，基于由所述白平衡檢波部檢測出的白平衡的偏移來對所述影像信號進(jìn)行白平衡校正； 圖像輸出部，其輸出由該白平衡處理部進(jìn)行白平衡校正后的影像信號；和控制部，其控制所述攝像裝置的構(gòu)成要素的動作，基于由所述直方圖部生成的直方圖和由所述白平衡檢波部檢測出的白平衡的偏移來控制所述攝像部和所述白平衡處理部，所述顯示控制部生成與由該攝像裝置的控制部控制所述攝像部和所述白平衡處理部的信息相關(guān)的圖像信號， 所述圖像合成部生成對由該顯示控制部生成的圖像信號和由所述攝像裝置的圖像輸出部輸出的影像信號進(jìn)行合成后的合成圖像， 所述顯示部顯示由該圖像合成部合成后的合成圖像。
8.根據(jù)權(quán)利要求7所述的攝像系統(tǒng)，其特征在于， 所述攝像裝置的控制部進(jìn)行如下處理: 基于由所述直方圖部生成的直方圖來判定由所述信號處理部生成的影像信號的亮度是否高于給定值， 基于由所述直方圖部生成的直方圖來判定由所述信號處理部生成的影像信號的亮度的對比度是否高于給定值， 基于由所述白平衡檢波部檢測出的白平衡的偏移來判定由所述信號處理部生成的影像信號的顏色信息是否處于給定的白平衡解除區(qū)域的內(nèi)部， 在所述影像信號的亮度高于給定值、且所述影像信號的亮度的對比度低于給定值的情況下， 在所述影像信號的顏色信息處于給定的白平衡解除區(qū)域的外部、且由所述白平衡檢波部檢測出的所述影像信號的白平衡的偏移的量大于給定值時，使所述白平衡校正停止， 而在所述影像信號的顏色信息處于給定的白平衡解除區(qū)域的內(nèi)部時，不管所述影像信號的白平衡的偏移的量如何，都控制所述白平衡處理部以進(jìn)行所述白平衡校正。
9.一種攝像方法，是對拍攝被攝體而得到的與該被攝體相關(guān)的信號校正白平衡并輸出的攝像裝置中的攝像方法，其特征在于， 基于拍攝而得到的影像信號所包含的亮度信息的直方圖來判定所述影像信號的亮度是否高于給定值， 基于所述直方圖來判定所述影像信號的亮度的對比度是否高于給定值，基于攝像而得到的影像信號所包含的顏色信息中的白平衡的偏移來判定所述影像信號的顏色信息是否處于給定的白平衡解除區(qū)域的內(nèi)部， 在所述影像信號的亮度高于給定值、且所述影像信號的亮度的對比度低于給定值的情況下， 在所述影像信號的顏色信息處于給定的白平衡解除區(qū)域的外部、且所述影像信號的白平衡的偏移的量大于給定值時，使所述白平衡的校正停止， 在所述影像信號的顏色信息處于給定的白平衡解除區(qū)域的內(nèi)部時，不管所述影像信號的白平衡的 偏移的量如何，都進(jìn)行所述白平衡的校正。
【文檔編號】H04N5/232GK103916590SQ201310751082
【公開日】2014年7月9日 申請日期:2013年12月31日 優(yōu)先權(quán)日:2013年1月8日
【發(fā)明者】中出真弓, 廣岡慎一郎 申請人:株式會社日立制作所