專利名稱：圖像處理設(shè)備、成像方法以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備，成像方法，成像程序，圖像處理方法和圖像處理程序。更具體地說(shuō)，本發(fā)明涉及能夠?qū)Ρ粩z對(duì)象的運(yùn)動(dòng)進(jìn)行精確的白平衡調(diào)整處理的圖像處理設(shè)備，成像方法，成像程序，圖像處理方法和圖像處理程序。
背景技術(shù)：
眾所周知，數(shù)字照相機(jī)已變得普及。市場(chǎng)中對(duì)數(shù)字照相機(jī)的成像能力的要求已變得很高。在市場(chǎng)中，需要能夠拍攝清晰并且完美的圖像的數(shù)字照相機(jī)。數(shù)字照相機(jī)中拍攝清晰并且完美圖像的途徑被大體成分兩種途徑。一種途徑是成像設(shè)備的技術(shù)革新。另一種途徑是處理拍攝的圖像數(shù)據(jù)的技術(shù)。通常，當(dāng)利用數(shù)字照相機(jī)在較暗的地方，用閃光燈拍攝被攝對(duì)象時(shí)，已知常常發(fā)生其中在用閃光燈照亮的地方(對(duì)應(yīng)于被攝對(duì)象)和未被閃光燈照明的地方(對(duì)應(yīng)于被攝對(duì)象周圍的空間)之間，色彩平衡受到破壞的現(xiàn)象。這種問(wèn)題是由于閃光燈的白平衡不同于照明周圍環(huán)境的光源的白平衡而造成的。在按照現(xiàn)有技術(shù)的利用鹵化銀膠卷的照相機(jī)中，對(duì)這種白平衡問(wèn)題沒(méi)有任何根本性的解決方案。不過(guò)，在數(shù)字照相機(jī)中，通過(guò)適當(dāng)處理從成像設(shè)備獲得的圖像數(shù)據(jù)，能夠自由地局部調(diào)整白平衡。從而，通過(guò)開(kāi)發(fā)適當(dāng)處理獲得的圖像數(shù)據(jù)的技術(shù)，能夠在鹵化銀照相機(jī)不能克服的惡劣成像條件下，獲得自然、清晰并且完美的圖像。JP-A-2005-210485公開(kāi)一種通過(guò)利用不采用閃光燈拍攝的不發(fā)光 (non-luminous)圖像，和采用閃光燈拍攝的發(fā)光(luminous)圖像，對(duì)其中在用閃光燈照亮的地方和未被閃光燈照明的地方之間色彩平衡受到破壞的現(xiàn)象進(jìn)行適當(dāng)?shù)挠?jì)算處理，在用閃光燈照亮的地方和未被閃光燈照明的地方之間，自動(dòng)進(jìn)行適當(dāng)?shù)陌灼胶庹{(diào)整的技術(shù)。

發(fā)明內(nèi)容
在JP-A-2005-210485中公開(kāi)的技術(shù)中，就實(shí)際的數(shù)字照相機(jī)來(lái)說(shuō)，在按下快門按鈕時(shí)的圖像數(shù)據(jù)被用作發(fā)光圖像，剛好在按下快門按鈕之前的監(jiān)測(cè)圖像數(shù)據(jù)被用作不發(fā)光圖像。為了使不發(fā)光圖像和發(fā)光圖像之間的差異盡可能地小，保存在幀緩沖器中并且正常更新的監(jiān)測(cè)圖像數(shù)據(jù)之中的、剛好在成像之前的最新圖像數(shù)據(jù)被用作不發(fā)光圖像。但是，在JP-A-2005-210485中公開(kāi)的技術(shù)中，取決于被攝對(duì)象或成像環(huán)境，可能不能進(jìn)行適當(dāng)?shù)陌灼胶馓幚恚炊赡芫植恳痤伾痪鶆?色移)。在一種情況下，被攝對(duì)象在移動(dòng)。這種情況下，由于被攝對(duì)象在發(fā)光圖像和不發(fā)光圖像之間移動(dòng)，因此在被攝對(duì)象移動(dòng)的地方中，會(huì)引起色移。圖16A、16B和16C是示意地圖解說(shuō)明由被攝對(duì)象的移動(dòng)而發(fā)生的色移現(xiàn)象的示圖。當(dāng)使用在JP-A-2005-210485中公開(kāi)的技術(shù)時(shí)，并且當(dāng)被攝對(duì)象在不發(fā)光圖像和發(fā)光圖像之間移動(dòng)時(shí)，對(duì)應(yīng)地方中的白平衡被破壞，結(jié)果出現(xiàn)色移。在另一種情況下，被攝對(duì)象的背景被部分照亮。這種情況下，由于在不發(fā)光圖像中出現(xiàn)局部的白平衡不均勻，因此，在被攝對(duì)象的背景部分明亮的地方中會(huì)引起色移。從而，理想的是提供一種僅僅通過(guò)增加少量的計(jì)算處理，就能夠在所有成像條件下，對(duì)所有被攝對(duì)象進(jìn)行適當(dāng)?shù)陌灼胶庹{(diào)整處理，并且能夠從幾乎所有的被攝對(duì)象獲得極好的靜止圖像數(shù)據(jù)的圖像處理設(shè)備，成像方法，成像程序，圖像處理方法和圖像處理程序。按照本發(fā)明的一個(gè)實(shí)施例的圖像處理設(shè)備包括數(shù)據(jù)處理器，所述數(shù)據(jù)處理器接收預(yù)定的成像指令，處理以從成像設(shè)備輸出的信號(hào)為基礎(chǔ)的數(shù)據(jù)，輸出拍攝的圖像數(shù)據(jù)；監(jiān)測(cè)處理器，所述監(jiān)測(cè)處理器處理以從成像設(shè)備輸出的信號(hào)為基礎(chǔ)的數(shù)據(jù)，以便監(jiān)測(cè)，并且輸出監(jiān)測(cè)圖像數(shù)據(jù)；白平衡產(chǎn)生單元，所述白平衡產(chǎn)生單元根據(jù)拍攝圖像數(shù)據(jù)，計(jì)算在所有拍攝圖像數(shù)據(jù)內(nèi)一致的白平衡值；白平衡圖創(chuàng)建單元，所述白平衡圖創(chuàng)建單元根據(jù)拍攝圖像數(shù)據(jù)和監(jiān)測(cè)圖像數(shù)據(jù)，計(jì)算對(duì)拍攝圖像數(shù)據(jù)的每個(gè)像素來(lái)說(shuō)變化的白平衡圖；混合系數(shù)計(jì)算器，所述混合系數(shù)計(jì)算器根據(jù)拍攝圖像數(shù)據(jù)和監(jiān)測(cè)圖像數(shù)據(jù)，計(jì)算用于混合白平衡圖和白平衡值的系數(shù)；加法器，所述加法器利用混合系數(shù)，相加白平衡值和白平衡圖，并輸出校正的白平衡圖；和乘法器，所述乘法器把拍攝圖像數(shù)據(jù)乘以校正的白平衡圖。按照這種結(jié)構(gòu)，設(shè)置混合系數(shù)計(jì)算器，在通過(guò)混合用于在整個(gè)拍攝圖像數(shù)據(jù)內(nèi)設(shè)定一致白平衡的白平衡值，和用于根據(jù)拍攝圖像數(shù)據(jù)的像素的亮度設(shè)定最佳白平衡的白平衡圖，創(chuàng)建校正的白平衡圖的時(shí)候，所述混合系數(shù)計(jì)算器根據(jù)被攝對(duì)象的運(yùn)動(dòng)和被攝對(duì)象的背景的亮度，改變混合比例。從而，通過(guò)改變混合系數(shù)，能夠防止色移，并且能夠根據(jù)被攝對(duì)象的運(yùn)動(dòng)，和被攝對(duì)象的背景的亮度，進(jìn)行適當(dāng)?shù)陌灼胶庑Ｕ幚怼０凑毡景l(fā)明的實(shí)施例，能夠提供一種僅僅通過(guò)增加少量的計(jì)算處理，就能夠在所有成像條件下，對(duì)所有被攝對(duì)象進(jìn)行適當(dāng)?shù)陌灼胶庹{(diào)整處理，并且能夠從幾乎所有的被攝對(duì)象，獲得極好的靜止圖像數(shù)據(jù)的圖像處理設(shè)備，成像方法，成像程序，圖像處理方法和圖像處理程序。


圖IA是圖解說(shuō)明數(shù)字照相機(jī)的正面外觀的示圖，圖IB是圖解說(shuō)明數(shù)字照相機(jī)的背面外觀的示圖。圖2是圖解說(shuō)明數(shù)字照相機(jī)的結(jié)構(gòu)的硬件方框圖。圖3是圖解說(shuō)明數(shù)字照相機(jī)的結(jié)構(gòu)的功能方框圖。圖4是圖解說(shuō)明白平衡處理器的結(jié)構(gòu)的功能方框圖。圖5是圖解說(shuō)明白平衡圖創(chuàng)建單元的結(jié)構(gòu)的功能方框圖。圖6是圖解說(shuō)明混合系數(shù)計(jì)算單元的結(jié)構(gòu)的功能方框圖。圖7A是示意地圖解說(shuō)明保存在運(yùn)動(dòng)檢測(cè)幀緩沖器中的監(jiān)測(cè)圖像數(shù)據(jù)和面部框之間的關(guān)系的示圖，圖7B是示意地圖解說(shuō)明保存在監(jiān)測(cè)圖像幀緩沖器中的監(jiān)測(cè)圖像數(shù)據(jù)和面部框之間的關(guān)系的示圖，圖7C是示意地圖解說(shuō)明拍攝的圖像數(shù)據(jù)、面部框和高亮度框之間的關(guān)系的示圖。圖8是圖解說(shuō)明高亮度檢驗(yàn)器的結(jié)構(gòu)的功能方框圖。圖9A和9B是圖解說(shuō)明校正值轉(zhuǎn)換器的輸入和輸出關(guān)系的曲線圖。圖10是圖解說(shuō)明由混合系數(shù)計(jì)算器進(jìn)行的計(jì)算混合系數(shù)“k”和“1-k”的處理流程的流程圖。
圖11A-11F是示意地圖解說(shuō)明被攝對(duì)象、被攝對(duì)象識(shí)別框和高亮度框之間的關(guān)系的示圖。圖12是圖解說(shuō)明數(shù)字照相機(jī)的結(jié)構(gòu)的功能方框圖。圖13是圖解說(shuō)明圖像處理設(shè)備的結(jié)構(gòu)的功能方框圖。圖14是其中混合系數(shù)計(jì)算器的一部分被改變的功能方框圖。圖15是圖解說(shuō)明校正值轉(zhuǎn)換器的輸入和輸出關(guān)系的曲線圖。圖16A-16C是示意地圖解說(shuō)明由于被攝對(duì)象在移動(dòng)而引起的色移現(xiàn)象的示圖。
具體實(shí)施方式
[外觀]圖IA是圖解說(shuō)明數(shù)字照相機(jī)的正面外觀的示圖，圖IB是圖解說(shuō)明數(shù)字照相機(jī)的背面外觀的示圖。在數(shù)字照相機(jī)101中，包括這里未示出的變焦機(jī)構(gòu)和調(diào)焦機(jī)構(gòu)的鏡筒103被布置在殼體102的正面，鏡頭104可被裝配在鏡筒103內(nèi)。閃光燈105被布置在鏡筒103的一側(cè)?？扉T按鈕106被布置在殼體102的頂面上。也被用作取景器的液晶顯示監(jiān)視器107被布置在殼體102的背面。多個(gè)操作按鈕 108被布置在液晶顯示監(jiān)視器107的右側(cè)。用于容納充當(dāng)非易失性存儲(chǔ)器的閃速存儲(chǔ)器的蓋子被布置在未示出的殼體102 的底面。按照本實(shí)施例的數(shù)字照相機(jī)101是所謂的數(shù)字靜態(tài)照相機(jī)，它拍攝被攝對(duì)象的圖像，生成靜止圖像數(shù)據(jù)，并把生成的靜止圖像數(shù)據(jù)記錄在非易失性存儲(chǔ)器中。數(shù)字照相機(jī) 101還具有未在本實(shí)施例中描述的運(yùn)動(dòng)圖像拍攝功能。[硬件]圖2是圖解說(shuō)明數(shù)字照相機(jī)101的結(jié)構(gòu)的硬件框圖。數(shù)字照相機(jī)101包括典型的微計(jì)算機(jī)。為數(shù)字照相機(jī)101的整體控制所必需的CPU 202，ROM 203和RAM204連接到總線 201，DSP 205也連接到總線201。DSP 205對(duì)為實(shí)現(xiàn)在本實(shí)施例中說(shuō)明的白平衡調(diào)整處理所必需的數(shù)字圖像數(shù)據(jù)的大量數(shù)據(jù)，進(jìn)行大量的計(jì)算處理。成像設(shè)備206把從被攝對(duì)象發(fā)出，并由鏡頭104成像的光轉(zhuǎn)換成電信號(hào)。從成像設(shè)備206輸出的模擬信號(hào)由A/D轉(zhuǎn)換器207轉(zhuǎn)換成R、G和B的數(shù)字信號(hào)。由電動(dòng)機(jī)驅(qū)動(dòng)器208驅(qū)動(dòng)的電動(dòng)機(jī)209通過(guò)鏡筒驅(qū)動(dòng)鏡頭104，并進(jìn)行聚焦和變焦控制。閃光燈105由閃光燈驅(qū)動(dòng)器210驅(qū)動(dòng)，從而發(fā)光。拍攝的數(shù)字圖像數(shù)據(jù)作為文件被記錄在非易失性存儲(chǔ)器211中。設(shè)置USB接口 212，以便相對(duì)于諸如PC之類的外部設(shè)備，傳送和接收保存在非易失性存儲(chǔ)器211中的文件。顯示單元213是液晶顯示監(jiān)視器107。操作單元214包括快門按鈕106和操作按鈕108。
[軟件結(jié)構(gòu)] 圖3是圖解說(shuō)明數(shù)字照相機(jī)101的結(jié)構(gòu)的功能方框圖。從被攝對(duì)象發(fā)出的光由鏡頭104成像在成像設(shè)備206上，并被轉(zhuǎn)換成電信號(hào)。轉(zhuǎn)換后的信號(hào)由A/D轉(zhuǎn)換器207轉(zhuǎn)換成R、G和B的數(shù)字信號(hào)。在與作為操作單元214的一部分的快門按鈕106的操作對(duì)應(yīng)的控制器307的控制下，數(shù)據(jù)處理器303從A/D轉(zhuǎn)換器207接收數(shù)據(jù)，進(jìn)行諸如數(shù)據(jù)的分類、缺陷校正和尺寸改變之類的各種處理，并把結(jié)果輸出給也被稱為圖像生成單元的白平衡處理器301。鏡頭104、成像設(shè)備206、A/D轉(zhuǎn)換器207和數(shù)據(jù)處理器303也可被稱為在對(duì)被攝對(duì)象成像時(shí)，形成數(shù)字圖像數(shù)據(jù)(下面稱為“拍攝圖像數(shù)據(jù)”)，并把拍攝圖像數(shù)據(jù)輸出給白平衡處理器301的成像處理器。另一方面，從A/D轉(zhuǎn)換器207輸出的數(shù)據(jù)被輸出給監(jiān)測(cè)處理器302。監(jiān)測(cè)處理器 302進(jìn)行適合于把數(shù)據(jù)顯示在顯示單元213上的尺寸改變處理，形成監(jiān)測(cè)圖像數(shù)據(jù)，并把監(jiān)測(cè)圖像數(shù)據(jù)輸出給白平衡處理器301和控制器307。白平衡處理器301接收從數(shù)據(jù)處理器303輸出的拍攝圖像數(shù)據(jù)，和從監(jiān)測(cè)處理器 302輸出的監(jiān)測(cè)圖像數(shù)據(jù)，并對(duì)拍攝圖像數(shù)據(jù)進(jìn)行白平衡調(diào)整處理。已經(jīng)過(guò)白平衡處理器301的白平衡調(diào)整處理的拍攝圖像數(shù)據(jù)被編碼器304轉(zhuǎn)換成諸如JPEG之類的預(yù)定圖像數(shù)據(jù)格式，隨后作為圖像文件被保存在諸如閃速存儲(chǔ)器之類的非易失性存儲(chǔ)器211中?？刂破?07響應(yīng)操作單元214的操作等，控制成像設(shè)備206，A/D轉(zhuǎn)換器207，數(shù)據(jù)處理器303，白平衡處理器301，編碼器304和非易失性存儲(chǔ)器211。特別地，當(dāng)檢測(cè)到操作按鈕214中的快門按鈕106的操作時(shí)，向成像設(shè)備206、A/D轉(zhuǎn)換器207和數(shù)據(jù)處理器303 輸出觸發(fā)信號(hào)，從而產(chǎn)生拍攝圖像數(shù)據(jù)。控制器307從監(jiān)測(cè)處理器302接收監(jiān)測(cè)圖像數(shù)據(jù)，把在成像設(shè)備206上形成的圖像顯示在顯示單元213上，并根據(jù)操作按鈕214的操作，顯示各種設(shè)定畫面。[白平衡處理器]圖4是圖解說(shuō)明白平衡處理器301的結(jié)構(gòu)的功能方框圖。從數(shù)據(jù)處理器303輸出的拍攝圖像數(shù)據(jù)被臨時(shí)保存在拍攝圖像幀緩沖器401中。從監(jiān)測(cè)處理器302輸出的監(jiān)測(cè)圖像數(shù)據(jù)被臨時(shí)保存在監(jiān)測(cè)圖像幀緩沖器402中。從監(jiān)測(cè)圖像幀緩沖器402輸出的監(jiān)測(cè)圖像數(shù)據(jù)經(jīng)延遲元件403被保存在運(yùn)動(dòng)檢測(cè)幀緩沖器404中。即，保存在監(jiān)測(cè)圖像幀緩沖器402中的監(jiān)測(cè)圖像數(shù)據(jù)，和保存在運(yùn)動(dòng)檢測(cè)幀緩沖器404中的監(jiān)測(cè)圖像數(shù)據(jù)具有對(duì)應(yīng)于一幀的時(shí)間差。持續(xù)用最新的監(jiān)測(cè)圖像數(shù)據(jù)更新監(jiān)測(cè)圖像幀緩沖器402。不過(guò)，在把拍攝圖像數(shù)據(jù)保存在拍攝圖像幀緩沖器401中的時(shí)候，在控制器307的控制下，監(jiān)測(cè)圖像幀緩沖器402的更新被暫時(shí)停止，監(jiān)測(cè)圖像幀緩沖器402的更新被停止，直到白平衡處理器301中的全部處理都結(jié)束為止。類似地，持續(xù)用相對(duì)于監(jiān)測(cè)圖像幀緩沖器402被延遲一幀的監(jiān)測(cè)圖像數(shù)據(jù)更新運(yùn)動(dòng)檢測(cè)幀緩沖器404。不過(guò)，在把拍攝圖像數(shù)據(jù)保存在拍攝圖像幀緩沖器401中的時(shí)候，在控制器307的控制下，運(yùn)動(dòng)檢測(cè)幀緩沖器404的更新被暫時(shí)停止，運(yùn)動(dòng)檢測(cè)幀緩沖器404的更新被停止，直到白平衡處理器301中的全部處理都結(jié)束為止。
保存在拍攝圖像幀緩沖器401中的拍攝圖像數(shù)據(jù)被提供給白平衡產(chǎn)生單元405a、 白平衡圖創(chuàng)建單元406、和混合系數(shù)計(jì)算器407。白平衡產(chǎn)生單元405a讀取拍攝圖像數(shù)據(jù)，并進(jìn)行已知的計(jì)算白平衡值的處理。具體地說(shuō)，計(jì)算拍攝圖像數(shù)據(jù)的平均亮度值，利用平均亮度值作為閾值，把拍攝圖像數(shù)據(jù)分成用閃光燈照亮的像素區(qū)，和未被閃光燈照明的像素區(qū)。參照關(guān)于明亮的像素區(qū)預(yù)先保存在 ROM 203中的閃光燈的色溫信息，和從控制器307獲得的成像條件信息，計(jì)算在所有的拍攝圖像數(shù)據(jù)內(nèi)均勻的白平衡值。白平衡值是將被一律乘以像素的紅色(R)，綠色(G)和藍(lán)色 (B)數(shù)據(jù)的三個(gè)乘法運(yùn)算值。白平衡值被臨時(shí)保存于在RAM 204中形成的白平衡值存儲(chǔ)器408中。除了保存在拍攝圖像幀緩沖器401中的拍攝圖像數(shù)據(jù)之外，保存在監(jiān)測(cè)圖像幀緩沖器402中的監(jiān)測(cè)圖像數(shù)據(jù)也被輸入白平衡圖創(chuàng)建單元406中。白平衡圖創(chuàng)建單元406讀取拍攝圖像數(shù)據(jù)和監(jiān)測(cè)圖像數(shù)據(jù)，并進(jìn)行白平衡圖計(jì)算處理。白平衡圖是用于對(duì)拍攝圖像數(shù)據(jù)之中，被閃光燈照亮的像素區(qū)和未被閃光燈照明的像素區(qū)進(jìn)行適當(dāng)?shù)陌灼胶庹{(diào)整的數(shù)據(jù)。即，對(duì)應(yīng)于明亮的像素區(qū)的值和對(duì)應(yīng)于黑暗的像素區(qū)的值彼此不同。從而，白平衡圖是將被增加到每個(gè)像素的紅色(R)，綠色(G)和藍(lán)色(B) 數(shù)據(jù)中，或者從每個(gè)像素的紅色(R)，綠色(G)和藍(lán)色(B)數(shù)據(jù)中減去的一組數(shù)值，并且其元素的數(shù)目與拍攝圖像數(shù)據(jù)的元素的數(shù)目相同。白平衡圖被臨時(shí)保存于在RAM 204中形成的白平衡圖存儲(chǔ)器409中。白平衡圖創(chuàng)建單元406的細(xì)節(jié)將在后面參考圖5說(shuō)明。除了保存在拍攝圖像幀緩沖器401中的拍攝圖像數(shù)據(jù)之外，保存在監(jiān)測(cè)圖像幀緩沖器402中的監(jiān)測(cè)圖像數(shù)據(jù)，和保存在運(yùn)動(dòng)檢測(cè)幀緩沖器404中的監(jiān)測(cè)圖像數(shù)據(jù)也被輸入混合系數(shù)計(jì)算器407中?；旌舷禂?shù)計(jì)算器407讀取拍攝圖像數(shù)據(jù)，和對(duì)應(yīng)于兩幀的監(jiān)測(cè)圖像數(shù)據(jù)，并進(jìn)行計(jì)算混合系數(shù)“k”和混合系數(shù)“ Ι-k”的處理?；旌舷禂?shù)“k”被保存于在RAM 204中形成的混合系數(shù)“k”存儲(chǔ)器410中。乘法器 411把保存在混合系數(shù)“k”存儲(chǔ)器410中的混合系數(shù)“k”乘以保存在白平衡圖存儲(chǔ)器409 中的白平衡圖。另一方面，混合系數(shù)“Ι-k”被保存于在RAM 204中形成的混合系數(shù)“ l_k”存儲(chǔ)器 412中。乘法器413把保存在混合系數(shù)“Ι-k”存儲(chǔ)器412中的混合系數(shù)“l(fā)_k”乘以保存在白平衡值存儲(chǔ)器408中的白平衡值。 加法器414相加從乘法器411輸出的校正后的白平衡圖，和從乘法器413輸出的校正后的白平衡圖。具體地說(shuō)，校正的白平衡值的紅色數(shù)據(jù)被加到構(gòu)成校正的白平衡圖的每個(gè)像素的紅色數(shù)據(jù)，校正的白平衡值的綠色數(shù)據(jù)被加到構(gòu)成校正的白平衡圖的每個(gè)像素的綠色數(shù)據(jù)，校正的白平衡值的藍(lán)色數(shù)據(jù)被加到構(gòu)成校正的白平衡圖的每個(gè)像素的藍(lán)色數(shù)據(jù)。這樣，加法器414輸出校正的白平衡圖。校正的白平衡圖被臨時(shí)保存在白平衡圖存儲(chǔ)器415中。乘法器416把保存在校正白平衡圖存儲(chǔ)器415中的校正的白平衡圖乘以拍攝圖像數(shù)據(jù)。這樣，調(diào)整拍攝圖像數(shù)據(jù)的白平衡。[白平衡圖創(chuàng)建單元]
圖5是圖解說(shuō)明白平衡圖創(chuàng)建單元406的結(jié)構(gòu)的功能方框圖。 保存在監(jiān)測(cè)圖像幀緩沖器402中的監(jiān)測(cè)圖像數(shù)據(jù)被輸入白平衡產(chǎn)生單元405b中。 白平衡產(chǎn)生單元405b執(zhí)行和圖4中所示的白平衡產(chǎn)生單元405a中的處理相同的處理。白平衡產(chǎn)生單元405b輸出不發(fā)光白平衡值。不發(fā)光白平衡值被臨時(shí)保存在不發(fā)光白平衡值存儲(chǔ)器501中。另一方面，除法器502把保存在拍攝圖像幀緩沖器401中的拍攝圖像數(shù)據(jù)除以保存在監(jiān)測(cè)圖像幀緩沖器402中的監(jiān)測(cè)圖像數(shù)據(jù)。在進(jìn)行除法運(yùn)算時(shí)，當(dāng)拍攝圖像數(shù)據(jù)中的像素的數(shù)目不同于監(jiān)測(cè)圖像數(shù)據(jù)中的像素的數(shù)目時(shí)，適當(dāng)?shù)貙?duì)監(jiān)測(cè)圖像數(shù)據(jù)進(jìn)行擴(kuò)大或縮小處理，以使像素的數(shù)目(要計(jì)算的元素的數(shù)目)彼此匹配。除法器502輸出作為除法結(jié)果的閃光平衡圖。閃光平衡圖被臨時(shí)保存在閃光平衡圖存儲(chǔ)器503中。除法器504把數(shù)值“l(fā)”505a除以保存在閃光平衡圖存儲(chǔ)器503中的閃光平衡圖的相應(yīng)元素。即，除法器504的輸出數(shù)據(jù)是閃光平衡圖的倒數(shù)。乘法器506把除法器504的輸出數(shù)據(jù)乘以保存在不發(fā)光白平衡值存儲(chǔ)器501中的不發(fā)光白平衡值，并輸出白平衡圖。該白平衡圖被保存在白平衡圖存儲(chǔ)器409中。[混合系數(shù)計(jì)算器]圖6是圖解說(shuō)明混合系數(shù)計(jì)算器407的結(jié)構(gòu)的功能方框圖。保存在監(jiān)測(cè)圖像幀緩沖器402中的監(jiān)測(cè)圖像數(shù)據(jù)被提供給面部識(shí)別器601a，面部識(shí)別器601a也可被稱為識(shí)別被攝對(duì)象的被攝對(duì)象識(shí)別器。面部識(shí)別器601a識(shí)別作為包括在監(jiān)測(cè)圖像數(shù)據(jù)中的被攝對(duì)象的人臉的位置和大小，并輸出覆蓋面部的矩形的坐標(biāo)數(shù)據(jù)。 下面，“覆蓋面部的矩形”被稱為面部框。從面部識(shí)別器601a輸出的坐標(biāo)數(shù)據(jù)被稱為面部框坐標(biāo)數(shù)據(jù)。保存在運(yùn)動(dòng)檢測(cè)幀緩沖器404中的、在監(jiān)測(cè)圖像幀緩沖器402的監(jiān)測(cè)圖像數(shù)據(jù)之前一幀的監(jiān)測(cè)圖像數(shù)據(jù)被提供給面部識(shí)別器601b。面部識(shí)別器601b識(shí)別作為包括在監(jiān)測(cè)圖像數(shù)據(jù)中的被攝對(duì)象的人臉的位置和大小，并輸出面部框坐標(biāo)數(shù)據(jù)。從面部識(shí)別器601a輸出的面部框坐標(biāo)數(shù)據(jù)和從面部識(shí)別器601b輸出的面部框坐標(biāo)數(shù)據(jù)被輸入運(yùn)動(dòng)檢測(cè)器602。運(yùn)動(dòng)檢測(cè)器602計(jì)算面部框坐標(biāo)數(shù)據(jù)的中心點(diǎn)坐標(biāo)，計(jì)算中心點(diǎn)之間的距離，把計(jì)算的距離輸出給校正值轉(zhuǎn)換器603a。下面，從運(yùn)動(dòng)檢測(cè)器602輸出的中心點(diǎn)之間的距離被稱為面部框移動(dòng)。另一方面，從面部識(shí)別器601b輸出給運(yùn)動(dòng)檢測(cè)器602的監(jiān)測(cè)圖像數(shù)據(jù)的面部框坐標(biāo)數(shù)據(jù)被輸出給高亮度框計(jì)算器604和高亮度檢驗(yàn)器605。高亮度框計(jì)算器604輸出與面部框相似，并以恒定的面積比覆蓋由面部框坐標(biāo)數(shù)據(jù)形成的面部框的矩形的坐標(biāo)數(shù)據(jù)。例如，所述面積比是1. 25。下面，相對(duì)于面部框具有恒定的面積比并且與面部框相似的矩形被稱為高亮度框。從高亮度框計(jì)算器604輸出的坐標(biāo)數(shù)據(jù)被稱為高亮度框坐標(biāo)數(shù)據(jù)。也可被稱為亮度值條件檢測(cè)器的高亮度檢驗(yàn)器605讀取從面部識(shí)別器601b輸出的關(guān)于監(jiān)測(cè)圖像數(shù)據(jù)的面部框坐標(biāo)數(shù)據(jù)，從高亮度框計(jì)算器604輸出的高亮度框坐標(biāo)數(shù)據(jù)，和保存在拍攝圖像幀緩沖器401中的拍攝圖像數(shù)據(jù)。隨后，在拍攝圖像數(shù)據(jù)之中，計(jì)算被高亮度框圍繞但是未被面部框圍繞的區(qū)域中的像素的平均亮度與被面部框圍繞的區(qū)域中的像素的平均亮度的比值。下面，從高亮度檢驗(yàn)器605輸出的、被高亮度框圍繞但是未被面部框圍繞的區(qū)域中的像素的平均亮度與被面部框圍繞的區(qū)域中的像素的平均亮度的比值被稱為平均亮度比。

[面部框和高亮度框]下面參考附圖，說(shuō)明面部框，面部框坐標(biāo)數(shù)據(jù)，高亮度框，和高亮度框坐標(biāo)數(shù)據(jù)。圖7A是示意地圖解說(shuō)明保存在運(yùn)動(dòng)檢測(cè)幀緩沖器404中的監(jiān)測(cè)圖像數(shù)據(jù)和面部框之間的關(guān)系的示圖，圖7B是示意地圖解說(shuō)明保存在監(jiān)測(cè)圖像幀緩沖器402中的監(jiān)測(cè)圖像數(shù)據(jù)和面部框之間的關(guān)系的示圖，圖7C是示意地圖解說(shuō)明拍攝圖像數(shù)據(jù)，面部框和高亮度框之間的關(guān)系的示圖。圖7A表示在屏幕上展開(kāi)保存在運(yùn)動(dòng)檢測(cè)幀緩沖器404中的監(jiān)測(cè)圖像數(shù)據(jù)的狀態(tài)。面部識(shí)別器601b識(shí)別包括在監(jiān)測(cè)圖像數(shù)據(jù)中的人臉，并計(jì)算覆蓋所述面部的矩形面部框701。面部框701可用左上角坐標(biāo)數(shù)據(jù)和右下角坐標(biāo)數(shù)據(jù)表示。這些數(shù)據(jù)是面部框坐標(biāo)數(shù)據(jù)。面部框坐標(biāo)數(shù)據(jù)包括面部框坐標(biāo)701a和701b。類似于圖7A，圖7B表示在屏幕上展開(kāi)保存在監(jiān)測(cè)圖像幀緩沖器402中的監(jiān)測(cè)圖像數(shù)據(jù)的狀態(tài)。面部識(shí)別器601b識(shí)別包括在拍攝圖像數(shù)據(jù)中的人臉，計(jì)算覆蓋所述面部的矩形面部框703，并輸出面部框703的左上角坐標(biāo)數(shù)據(jù)和右下角坐標(biāo)數(shù)據(jù)，即，面部框坐標(biāo)數(shù)據(jù)。比較圖7A和7B，作為被攝對(duì)象的人臉在移動(dòng)。從而，面部框的中心點(diǎn)從面部框701 的中心點(diǎn)702移動(dòng)到面部框703的中心點(diǎn)704。運(yùn)動(dòng)檢測(cè)器602計(jì)算這些中心點(diǎn)之間的距罔。下面，被面部框703圍繞的區(qū)域被稱為面部框區(qū)域705。類似于圖7A和7B，圖7C表示在屏幕上展開(kāi)拍攝圖像數(shù)據(jù)的狀態(tài)。高亮度框計(jì)算器604把面部框703的面積乘以預(yù)定常數(shù)(本實(shí)施例中，1. 25)，并計(jì)算具有與面部框703相同的中心和長(zhǎng)寬比(即，與面部框703相似)的矩形。所述矩形是高亮度框706。下面，被高亮度框706圍繞，但是不被面部框703圍繞的區(qū)域被稱為“高亮度檢驗(yàn)區(qū)域707”。高亮度檢驗(yàn)區(qū)域707是用于檢測(cè)由于從作為被攝對(duì)象的人臉的背面照射光，與用閃光燈照明的被攝對(duì)象的區(qū)域混淆的可能性的區(qū)域。即，高亮度檢驗(yàn)區(qū)域是須經(jīng)亮度檢驗(yàn)， 以便檢測(cè)是否從面部的背面照射光的區(qū)域。[高亮度檢驗(yàn)器]圖8是圖解說(shuō)明高亮度檢驗(yàn)器605的結(jié)構(gòu)的功能方框圖。面部框平均亮度計(jì)算器801根據(jù)面部框坐標(biāo)數(shù)據(jù)，用拍攝圖像數(shù)據(jù)計(jì)算在面部框區(qū)域705中的像素的平均亮度(面部框區(qū)域平均亮度)。高亮度框平均亮度計(jì)算器802根據(jù)面部框坐標(biāo)數(shù)據(jù)和高亮度框坐標(biāo)數(shù)據(jù)，用拍攝圖像數(shù)據(jù)計(jì)算在高亮度檢驗(yàn)區(qū)域707中的像素的平均亮度(高亮度檢驗(yàn)區(qū)域平均亮度)。除法器803輸出通過(guò)把高亮度檢驗(yàn)區(qū)域平均亮度除以面部框區(qū)域平均亮度而獲得的值，即，平均亮度比。下面將參考圖6，繼續(xù)說(shuō)明混合系數(shù)計(jì)算器407。
從運(yùn)動(dòng)檢測(cè)器602輸出的面部框移動(dòng)被輸入校正值轉(zhuǎn)換器603a中。校正值轉(zhuǎn)換器603a參照上限運(yùn)動(dòng)值606a和下限運(yùn)動(dòng)值606b，把面部框移動(dòng)轉(zhuǎn)換成在0 1的范圍中的數(shù)值。從高亮度檢驗(yàn)器605輸出的 平均亮度比被輸入校正值轉(zhuǎn)換器603b中。校正值轉(zhuǎn)換器603b參照上限亮度比607a和下限亮度比607b，把平均亮度比轉(zhuǎn)換成在0 1的范圍中的數(shù)值。[校正植轉(zhuǎn)換器]圖9A和9B是圖解說(shuō)明校正值轉(zhuǎn)換器603a和校正值轉(zhuǎn)換器603b的輸入和輸出關(guān)系的曲線圖。圖9A是接收面部框移動(dòng)作為輸入，并輸出校正值χ的校正值轉(zhuǎn)換器603a的曲線圖。校正值轉(zhuǎn)換器603a可用下面的函數(shù)表述。x = 0(s>su)χ = 1 (s ^ si)χ = (-s+su)/(su-sl) (1 < s < si)S卩，當(dāng)面部框移動(dòng)s等于或大于上限運(yùn)動(dòng)值su時(shí)，校正值χ為0，當(dāng)面部框移動(dòng)s 等于或小于下限運(yùn)動(dòng)值si時(shí)，校正值χ為1，當(dāng)面部框移動(dòng)s大于下限運(yùn)動(dòng)值sl，并且小于上限運(yùn)動(dòng)值su時(shí)，校正值χ是斜率為-1/(su-sl)并且y截距為su/(su-sl)的線性函數(shù)。圖9B是接收平均亮度比作為輸入，并輸出校正值y的校正值轉(zhuǎn)換器603b的曲線圖。校正值轉(zhuǎn)換器603b可用下面的函數(shù)表述。y = 0 (f ^ fu)y = l(f ^ fl)y = (-f+fu)/(fu-fl) (1 < f < fl)S卩，當(dāng)平均亮度比f(wàn)等于或大于上限亮度比f(wàn)u時(shí)，校正值y為0，當(dāng)平均亮度比f(wàn) 等于或小于下限亮度比Π時(shí)，校正值y為1，當(dāng)平均亮度比f(wàn)大于下限亮度比f(wàn)l，并且小于上限亮度比f(wàn)u時(shí)，校正值y是斜率為-l/(fu-fl)并且y截距為fu/(fu-fl)的線性函數(shù)。乘法器608使以面部框移動(dòng)為基礎(chǔ)并由校正值轉(zhuǎn)換器603a四舍五入到在0 1范圍中的數(shù)值的校正值X，和以平均亮度比為基礎(chǔ)并由校正值轉(zhuǎn)換器603b四舍五入到在0 1范圍中的數(shù)值的校正值y相乘。乘法器608的輸出作為混合系數(shù)k被輸出到混合系數(shù)“k” 存儲(chǔ)器410。減法器609從數(shù)值“1” 505b中減去乘法器608的輸出，并把結(jié)果作為混合系數(shù)l_k輸出給混合系數(shù)“l(fā)_k”存儲(chǔ)器412。校正值轉(zhuǎn)換器603a，上限運(yùn)動(dòng)值606a，下限運(yùn)動(dòng)值606b，校正值轉(zhuǎn)換器603b，上限亮度比607a，下限亮度比607b，和乘法器608也可被稱為混合系數(shù)導(dǎo)出部分，所述混合系數(shù)導(dǎo)出部分根據(jù)面部框移動(dòng)和平均亮度比，導(dǎo)出混合系數(shù)k。[操作]圖10是圖解說(shuō)明由混合系數(shù)計(jì)算器407進(jìn)行的計(jì)算混合系數(shù)“k”和“1-k”的處理的流程的流程圖。當(dāng)開(kāi)始處理的流程時(shí)(S1001)，面部識(shí)別器601a首先根據(jù)保存在監(jiān)測(cè)圖像幀緩沖器402中的監(jiān)測(cè)圖像數(shù)據(jù)，進(jìn)行面部識(shí)別處理，并輸出面部框坐標(biāo)數(shù)據(jù)(S1002)。在步驟S1002中輸出的面部框坐標(biāo)數(shù)據(jù)被提供給計(jì)算面部框移動(dòng)，并獲得校正值 X的處理(步驟S1003，S1004和S1005)，和計(jì)算平均亮度比，并獲得校正值y的處理(步驟 S1006, S1007, S1008, S1009和S1010)。下面，假定混合系數(shù)計(jì)算器407是多線程或多進(jìn)程程序，計(jì)算面部框移動(dòng)并獲得校正值χ的處理，和計(jì)算平均亮度比并獲得校正值y的處理是并行地同時(shí)進(jìn)行的。面部識(shí)別器601b根據(jù)保存在運(yùn)動(dòng)檢測(cè)幀緩沖器404中的監(jiān)測(cè)圖像數(shù)據(jù)，進(jìn)行面部識(shí)別處理，并輸出面部框坐標(biāo)數(shù)據(jù)(S1003)。運(yùn)動(dòng)檢測(cè)器602根據(jù)在步驟S1002中輸出的面部框坐標(biāo)數(shù)據(jù)，和在步驟S1003 中輸出的面部框坐標(biāo)數(shù)據(jù)，計(jì)算各個(gè)中心點(diǎn)，并計(jì)算中心點(diǎn)之間的距離，即，面部框移動(dòng) (S1004)。校正值轉(zhuǎn)換器603a把運(yùn)動(dòng)檢測(cè)器602計(jì)算的面部框移動(dòng)轉(zhuǎn)換成校正值χ (S1005)。另一方面，高亮度框計(jì)算器604根據(jù)從面部識(shí)別器601a輸出的面部框坐標(biāo)數(shù)據(jù)， 計(jì)算高亮度框坐標(biāo)數(shù)據(jù)(S1006)。高亮度檢驗(yàn)器605的面部框平均亮度計(jì)算器801讀取從面部識(shí)別器601a輸出的面部框坐標(biāo)數(shù)據(jù)，和拍攝圖像幀緩沖器中的拍攝圖像數(shù)據(jù)，并計(jì)算面部框區(qū)域705中的像素的平均亮度(面部框區(qū)域平均亮度)(S1007)。高亮度檢驗(yàn)器605的高亮度框平均亮度計(jì)算器802讀取從面部識(shí)別器601a輸出的面部框坐標(biāo)數(shù)據(jù)，從高亮度框計(jì)算器604輸出的高亮度框坐標(biāo)數(shù)據(jù)，和拍攝圖像幀緩沖器中的拍攝圖像數(shù)據(jù)，并計(jì)算高亮度檢驗(yàn)區(qū)域707中的像素的平均亮度(高亮度檢驗(yàn)區(qū)域平均亮度)(S1007)。除法器803輸出通過(guò)把高亮度檢驗(yàn)區(qū)平均亮度除以面部框區(qū)域平均亮度而獲得的值，即，平均亮度比(S1009)。校正值轉(zhuǎn)換器603b把高亮度檢驗(yàn)器605計(jì)算的平均亮度比轉(zhuǎn)換成校正值 y(S1010)。乘法器608使在步驟S1005中，校正值轉(zhuǎn)換器603a計(jì)算的校正值χ和在步驟SlO 10 中，校正值轉(zhuǎn)換器603a計(jì)算的校正值y相乘，從而輸出混合系數(shù)“k” (SlOll)0減法器609 從數(shù)值“l(fā)”505b中減去混合系數(shù)“k”，從而輸出混合系數(shù)“1-k”(S1012)，然后結(jié)束處理流程(S1013)。如上所述，執(zhí)行圖10中所示的處理流程的混合系數(shù)計(jì)算器407產(chǎn)生其中反映被攝對(duì)象的運(yùn)動(dòng)和被攝對(duì)象的背景的亮度的混合系數(shù)“k”?；旌舷禂?shù)“k”隨被攝對(duì)象的狀態(tài)而變化。從而，當(dāng)被攝對(duì)象移動(dòng)時(shí)，或者當(dāng)被攝對(duì)象的背景明亮?xí)r，或者當(dāng)這兩個(gè)條件都被滿足時(shí)，校正的白平衡圖變得接近于難以引起色移的白平衡值。在本實(shí)施例中，可以考慮下述 應(yīng)用。(1)可根據(jù)被攝對(duì)象的種類，改變面部識(shí)別器601a和601b。圖11A、11B、11C、IlDUlE和IlF是示意地圖解說(shuō)明被攝對(duì)象，被攝對(duì)象識(shí)別框和高亮度框之間的關(guān)系的示圖。根據(jù)其多種設(shè)定值被預(yù)先保存在ROM 203中的成像模式，識(shí)別被攝對(duì)象，并定義適當(dāng)?shù)貙?duì)應(yīng)于被攝對(duì)象的被攝對(duì)象識(shí)別框。
面部識(shí)別器601a和601b根據(jù)成像模式，適當(dāng)?shù)馗淖冏R(shí)別被攝對(duì)象的算法，并設(shè)定被攝對(duì)象識(shí)別框。這種情況下，面部識(shí)別器601a和601b充當(dāng)識(shí)別指定被攝對(duì)象的被攝對(duì)象識(shí)別器。(2)上述實(shí)施例中的校正值轉(zhuǎn)換器603a和603b對(duì)輸入值進(jìn)行線性函數(shù)變換處理。為了實(shí)現(xiàn)最佳的變換處理，可利用學(xué)習(xí)算法設(shè)定上限運(yùn)動(dòng)值606a，下限運(yùn)動(dòng)值 606b，上限亮度比607a，下限亮度比607b，和變換函數(shù)的曲線。為預(yù)先通過(guò)在各種照明條件下對(duì)樣本被攝對(duì)象成像而獲得的圖像數(shù)據(jù)，指定最佳校正系數(shù)“k”。準(zhǔn)備按照這種方式獲得的多組成像條件和校正系數(shù)“k”，并利用學(xué)習(xí)算法，構(gòu)造校正值轉(zhuǎn)換器603a和603b。(3)上述實(shí)施例中的校正值轉(zhuǎn)換器603a和603b對(duì)輸入值進(jìn)行線性函數(shù)變換處理。為了實(shí)現(xiàn)較簡(jiǎn)單的變換處理，可利用表進(jìn)行離散變換處理。(4)包括面部框的被攝對(duì)象識(shí)別框不必是矩形。當(dāng)面部是被攝對(duì)象時(shí)，理想的形狀是橢圓形。能夠準(zhǔn)確地識(shí)別被攝對(duì)象的形狀并且其中在被攝對(duì)象和識(shí)別框之間浪費(fèi)的空間盡可能小的識(shí)別框可被稱為優(yōu)良識(shí)別框。當(dāng)使用這種非矩形識(shí)別框時(shí)，最好計(jì)算重心，而不是識(shí)別框的中心點(diǎn)。(5)高亮度框可不必具有與被攝對(duì)象識(shí)別框相似的形狀。高亮度框可以是被配置成與被攝對(duì)象識(shí)別框相隔恒定距離地圍繞被攝對(duì)象識(shí)別框的框。(6)作為一種更簡(jiǎn)單的方法，圖8中所示的高亮度檢驗(yàn)器605的處理細(xì)節(jié)可以采用比較高亮度檢驗(yàn)區(qū)域中的像素的亮度與預(yù)定閾值，并輸出比所述閾值明亮的像素與高亮度檢驗(yàn)區(qū)域的面積比的方法。(7)由按照上述實(shí)施例的數(shù)字照相機(jī)101具體體現(xiàn)的技術(shù)是白平衡處理的改進(jìn)。 參見(jiàn)圖3-10，所述技術(shù)是除成像處理器的處理以外的在成像之后的圖像處理的改進(jìn)。參見(jiàn)圖2，這是微計(jì)算機(jī)的控制程序和DSP的計(jì)算程序的改進(jìn)，即是軟件改進(jìn)。于是，可以構(gòu)成利用容量趨向于增大的閃速存儲(chǔ)器的特性的系統(tǒng)，其中數(shù)字照相機(jī)不進(jìn)行白平衡處理的圖像處理部分，而是只進(jìn)行成像，而圖像處理部分被設(shè)置到諸如PC 之類的外部信息處理設(shè)備。圖12是圖解說(shuō)明這種數(shù)字照相機(jī)的結(jié)構(gòu)的功能方框圖。在這個(gè)例子中，代替圖3 中所示的數(shù)字照相機(jī)101中的白平衡處理器301，設(shè)置幀緩沖器1202。圖12中所示的數(shù)字照相機(jī)1201只進(jìn)行按下快門按鈕106時(shí)的拍攝圖像數(shù)據(jù)的生成，剛好在按下快門按鈕106之前的監(jiān)測(cè)圖像數(shù)據(jù)的生成，和在按下快門按鈕106之前一幀的監(jiān)測(cè)圖像數(shù)據(jù)的生成，編碼器1204利用可逆壓縮算法進(jìn)行編碼處理，以便避免圖像的惡化。即，按照諸如采用可逆壓縮算法的JPEG EX，PNG和TIFF之類的格式，而不是采用已知的不可逆壓縮算法的JPEG，在非易失性存儲(chǔ)器211中記錄以下三個(gè)圖像數(shù)據(jù)文件以及成像信息文件1208，即，通過(guò)對(duì)按下快門按鈕106時(shí)的拍攝圖像數(shù)據(jù)可逆編碼而獲得的拍攝圖像數(shù)據(jù)文件1207，通過(guò)對(duì)剛好在按下快門按鈕106之前的監(jiān)測(cè)圖像數(shù)據(jù)可逆編碼而獲得的監(jiān)測(cè)圖像數(shù)據(jù)文件1205，和對(duì)在按下快門按鈕106之前一幀的監(jiān)測(cè)圖像數(shù)據(jù)可逆編碼而獲得的運(yùn)動(dòng)檢測(cè)圖像數(shù)據(jù)文件1206。

必須獨(dú)立地至少把焦距信息保存為成像信息。于是，在記錄在非易失性存儲(chǔ)器211 中的成像信息文件1208中說(shuō)明成像信息。圖13是圖解說(shuō)明圖像處理設(shè)備的結(jié)構(gòu)的功能方框圖。通過(guò)把與白平衡處理相關(guān)的程序讀入PC中，并執(zhí)行讀取的程序，PC實(shí)現(xiàn)圖像處理設(shè)備1301的功能。通過(guò)經(jīng)未示出的接口，把從數(shù)字照相機(jī)1201取出的諸如閃速存儲(chǔ)器之類的非易失性存儲(chǔ)器211連接到PC，或者通過(guò)經(jīng)USB接口 212，把數(shù)字照相機(jī)1201連接到PC，使非易失性存儲(chǔ)器211連接到PC中的解碼器1302。解碼器1302讀取保存在非易失性存儲(chǔ)器211中的三個(gè)圖像數(shù)據(jù)文件，即拍攝圖像數(shù)據(jù)文件1207，監(jiān)測(cè)圖像數(shù)據(jù)文件1205和運(yùn)動(dòng)檢測(cè)圖像數(shù)據(jù)文件1206，把讀取的圖像數(shù)據(jù)文件轉(zhuǎn)換成原始圖像數(shù)據(jù)，并經(jīng)選擇開(kāi)關(guān)1303，把原始圖像數(shù)據(jù)提供給白平衡處理器301。 由于成像信息文件1208也被保存在非易失性存儲(chǔ)器211中，因此，控制器1003讀取成像信息文件1208，并把成像信息文件用作控制白平衡控 制器301的參考信息。在白平衡處理器301的處理之后的操作與圖3中所示的數(shù)字照相機(jī)101的操作相同。當(dāng)這樣構(gòu)成數(shù)字照相機(jī)1201和圖像處理設(shè)備1301時(shí)，僅僅通過(guò)更新在以前的計(jì)算能力不足的數(shù)字照相機(jī)上安裝生成拍攝圖像數(shù)據(jù)文件1207、監(jiān)測(cè)圖像數(shù)據(jù)文件1205和運(yùn)動(dòng)檢測(cè)圖像數(shù)據(jù)文件1206這三個(gè)圖像數(shù)據(jù)文件的處理、和生成成像信息文件1208的處理的固件，以前的數(shù)字照相機(jī)的用戶就能夠方便地充分享受在本實(shí)施例中說(shuō)明的白平衡處理的功能。圖13中所示的圖像處理設(shè)備1301是利用拍攝圖像數(shù)據(jù)文件1207，監(jiān)測(cè)圖像數(shù)據(jù)文件1205和運(yùn)動(dòng)檢測(cè)圖像數(shù)據(jù)文件1206這三個(gè)圖像數(shù)據(jù)文件，以及成像信息文件1208，進(jìn)行后處理的設(shè)備。從而，能夠通過(guò)改變待設(shè)定的成像場(chǎng)景，改變面部識(shí)別器601a和601b的行為，并且能夠重復(fù)進(jìn)行白平衡處理。一般來(lái)說(shuō)，PC通常具有比數(shù)字照相機(jī)1201高的計(jì)算能力。因此，當(dāng)后處理部分被設(shè)計(jì)成與數(shù)字照相機(jī)1201分離，并被設(shè)置于PC時(shí)，數(shù)字照相機(jī)1201只需要具有大容量非易失性存儲(chǔ)器211和采用可逆壓縮算法的編碼器1204。S卩，由于數(shù)字照相機(jī)1201不必具有高的計(jì)算能力，因此能夠進(jìn)一步有助于數(shù)字照相機(jī)1201的尺寸減小和功耗降低。(8)例如，考慮很小的人物出現(xiàn)在廣大的風(fēng)景中的例子。在這種情況下，即使當(dāng)能夠應(yīng)用面部框和高亮度框時(shí)，出現(xiàn)在該圖像中的色移也會(huì)被觀看者視為可以忽略的現(xiàn)象 (不會(huì)引起注意)。即，面部(主要的被攝對(duì)象)的面積較小，并且白平衡的計(jì)算失敗時(shí)，給觀看者留下的印象也較小，從而忽略面部移動(dòng)或高亮度的影響不會(huì)造成任何問(wèn)題。于是，通過(guò)計(jì)算面部框的面積與圖像的總面積的比值，當(dāng)面積比較大(面部面積較大時(shí))，無(wú)任何變化地使用混合系數(shù)k，當(dāng)面部面積較小時(shí)，使混合系數(shù)k的值接近于1，并采用利用根據(jù)不發(fā)光圖像和發(fā)光圖像計(jì)算的以像素為單位的白平衡的校正表達(dá)式，能夠取決于面部面積，實(shí)現(xiàn)光學(xué)校正計(jì)算。圖14是圖解說(shuō)明其一部分被改變的混合系數(shù)計(jì)算器407的功能方框圖。面積比計(jì)算器1401接收從面部識(shí)別器601a輸出的面部框坐標(biāo)數(shù)據(jù)，和從控制器 307獲得的分辨率信息，作為輸入，并輸出面部框的面積與圖像數(shù)據(jù)的總面積的比值。從面積比計(jì)算器1401輸出的面積比被輸入到校正值轉(zhuǎn)換器603c中。校正值轉(zhuǎn)換器603c參照上限面積比1402a和下限面積比1402b，把面積比轉(zhuǎn)換成在0 1的范圍中的數(shù)值。作為圖6中所示的乘法器608的輸出的混合系數(shù)k被輸入乘法器1403中。
乘法器1403接收從校正值轉(zhuǎn)換器603c輸出的校正值α作為輸入，并向混合系數(shù) “k”存儲(chǔ)器410輸出混合系數(shù)k'，而不是混合系數(shù)k。減法器609從數(shù)值“1”505b中減去乘法器1403的輸出，并把結(jié)果作為混合系數(shù)Ι-k'，而不是混合系數(shù)l_k輸出給混合系數(shù) “1-k”存儲(chǔ)器412。圖15是圖解說(shuō)明校正值轉(zhuǎn)換器603c的輸入和輸出關(guān)系的曲線圖。校正值轉(zhuǎn)換器603c可用下面的函數(shù)表述。α = 0 (R ^ Ru)
α = 1 (R ^ Rl)α = (-R+Ru)/(Ru-Rl) (1 < R < Rl)S卩，當(dāng)面積比R等于或大于上限面積比Ru時(shí)，校正值α為0，當(dāng)面積比R等于或小于下限面積比Rl時(shí)，校正值α為1，當(dāng)面積比R大于下限面積比R1，并且小于上限面積比 Ru時(shí)，校正值α是斜率為-1/(Ru-Rl)，并且y截距為Ru/(Ru-Rl)的線性函數(shù)。這樣，乘法器1403把以面積比為基礎(chǔ)并且由校正值轉(zhuǎn)換器603c四舍五入到在 0 1的范圍中的數(shù)值的校正值α乘以混合系數(shù)k。在本實(shí)施例中，公開(kāi)了數(shù)字照相機(jī)和圖像處理設(shè)備。按照該實(shí)施例，布置混合系數(shù)計(jì)算器，在通過(guò)混合用于在整個(gè)拍攝圖像數(shù)據(jù)內(nèi)設(shè)定一致白平衡的白平衡值，和用于根據(jù)拍攝圖像數(shù)據(jù)的像素的亮度設(shè)定最佳白平衡的白平衡圖，創(chuàng)建校正的白平衡圖的時(shí)候，所述混合系數(shù)計(jì)算器根據(jù)被攝對(duì)象的運(yùn)動(dòng)和被攝對(duì)象的背景的亮度，改變混合比例。從而，通過(guò)改變混合系數(shù)，能夠防止色移，并且能夠根據(jù)被攝對(duì)象的運(yùn)動(dòng)和被攝對(duì)象的背景的亮度，進(jìn)行適當(dāng)?shù)陌灼胶庑Ｕ幚怼１M管說(shuō)明了本發(fā)明的實(shí)施例，不過(guò)本發(fā)明并不局限于所述實(shí)施例，相反可包括其它修改和應(yīng)用，而不脫離在所附權(quán)利要求中限定的本發(fā)明的范圍。本申請(qǐng)包含與在2010年7月6日向日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP 2010-154262中公開(kāi)的主題相關(guān)的主題，該專利申請(qǐng)的整個(gè)內(nèi)容在此引為參考。
權(quán)利要求
1.一種圖像處理設(shè)備，包括圖像生成單元，所述圖像生成單元根據(jù)第一圖像數(shù)據(jù)和曝光條件不同于第一圖像數(shù)據(jù)的第二圖像數(shù)據(jù)，生成第三圖像數(shù)據(jù)；被攝對(duì)象識(shí)別器，所述被攝對(duì)象識(shí)別器根據(jù)第一圖像數(shù)據(jù)，識(shí)別預(yù)定被攝對(duì)象；以及亮度值條件檢測(cè)器，所述亮度值條件檢測(cè)器檢測(cè)第一圖像數(shù)據(jù)中在所述被攝對(duì)象識(shí)別器識(shí)別的所述預(yù)定被攝對(duì)象周圍的區(qū)域的亮度值條件，其中所述圖像生成單元根據(jù)所述亮度值條件檢測(cè)器中的檢測(cè)結(jié)果，生成第三圖像數(shù)據(jù)。
2.按照權(quán)利要求1所述的圖像處理設(shè)備，還包括混合系數(shù)計(jì)算器，所述混合系數(shù)計(jì)算器根據(jù)亮度值大于被攝對(duì)象周圍的區(qū)域中的預(yù)定值的區(qū)域的比率，計(jì)算混合系數(shù)，并且所述圖像生成單元基于第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)，計(jì)算對(duì)圖像數(shù)據(jù)的每個(gè)區(qū)域來(lái)說(shuō)變化的白平衡圖，并基于所述白平衡圖和第一圖像數(shù)據(jù)或第二圖像數(shù)據(jù)，根據(jù)所述混合系數(shù)生成第三圖像數(shù)據(jù)。
3.按照權(quán)利要求2所述的圖像處理設(shè)備，還包括 運(yùn)動(dòng)檢測(cè)器，所述運(yùn)動(dòng)檢測(cè)器檢測(cè)被攝對(duì)象的移動(dòng)；和高亮度檢驗(yàn)器，所述高亮度檢驗(yàn)器計(jì)算被攝對(duì)象的亮度和被攝對(duì)象周圍的亮度的比值，并輸出平均亮度比，其中所述混合系數(shù)計(jì)算器根據(jù)所述移動(dòng)和所述平均亮度比，計(jì)算所述混合系數(shù)。
4.按照權(quán)利要求3所述的圖像處理設(shè)備，其中所述被攝對(duì)象識(shí)別器輸出圍繞所識(shí)別的被攝對(duì)象的被攝對(duì)象識(shí)別框的信息，以及所述運(yùn)動(dòng)檢測(cè)器根據(jù)所述被攝對(duì)象識(shí)別框的信息，檢測(cè)剛好在對(duì)被攝對(duì)象成像之前的移動(dòng)。
5.按照權(quán)利要求4所述的圖像處理設(shè)備，還包括高亮度框計(jì)算器，所述高亮度框計(jì)算器根據(jù)所述被攝對(duì)象識(shí)別框的信息，輸出圍繞所述被攝對(duì)象識(shí)別框的高亮度框的信息，其中所述高亮度檢驗(yàn)器根據(jù)所述被攝對(duì)象識(shí)別框的信息和所述高亮度框的信息，計(jì)算面部框區(qū)域平均亮度和高亮度檢驗(yàn)區(qū)域平均亮度，所述面部框區(qū)域平均亮度是所拍攝的圖像數(shù)據(jù)之中的、屬于被所述被攝對(duì)象識(shí)別框圍繞的面部框區(qū)域的像素的平均亮度，所述高亮度檢驗(yàn)區(qū)域平均亮度是所拍攝的圖像數(shù)據(jù)之中的、屬于被所述被攝對(duì)象識(shí)別框和所述高亮度框圍繞的高亮度檢驗(yàn)區(qū)域的像素的平均亮度，并輸出通過(guò)把所述高亮度檢驗(yàn)區(qū)域平均亮度除以所述面部框區(qū)域平均亮度而獲得的平均亮度比。
6.一種圖像處理方法，包括根據(jù)第一圖像數(shù)據(jù)，識(shí)別預(yù)定的被攝對(duì)象；檢測(cè)第一圖像數(shù)據(jù)中在所識(shí)別的預(yù)定被攝對(duì)象周圍的區(qū)域的亮度值條件；以及根據(jù)第一圖像數(shù)據(jù)和曝光條件不同于第一圖像數(shù)據(jù)的第二圖像數(shù)據(jù)，生成第三圖像數(shù)據(jù)。
7.一種允許圖像處理設(shè)備執(zhí)行處理的信息處理程序，所述處理包括 根據(jù)第一圖像數(shù)據(jù)，識(shí)別預(yù)定的被攝對(duì)象；檢測(cè)第一圖像數(shù)據(jù)中，在識(shí)別的預(yù)定被攝對(duì)象周圍的區(qū)域的亮度值條件；和根據(jù)第一圖像數(shù)據(jù)和曝光條件不同于第一圖像數(shù)據(jù)的第二圖像數(shù)據(jù)，生成第三圖像數(shù) 據(jù)。
全文摘要
一種圖像處理設(shè)備，包括圖像生成單元，所述圖像生成單元根據(jù)第一圖像數(shù)據(jù)，和曝光條件不同于第一圖像數(shù)據(jù)的第二圖像數(shù)據(jù)，生成第三圖像數(shù)據(jù)；被攝對(duì)象識(shí)別器，所述被攝對(duì)象識(shí)別器根據(jù)第一圖像數(shù)據(jù)，識(shí)別預(yù)定的被攝對(duì)象；和亮度值條件檢測(cè)器，所述亮度值條件檢測(cè)器檢測(cè)第一圖像數(shù)據(jù)中，在被攝對(duì)象識(shí)別器識(shí)別的預(yù)定被攝對(duì)象周圍的區(qū)域的亮度值條件，其中圖像生成單元根據(jù)亮度值條件檢測(cè)器中的檢測(cè)結(jié)果，生成第三圖像數(shù)據(jù)。
文檔編號(hào)H04N9/04GK102316327SQ20111017662
公開(kāi)日2012年1月11日 申請(qǐng)日期2011年6月28日 優(yōu)先權(quán)日2010年7月6日
發(fā)明者中林清隆, 鈴木淳也 申請(qǐng)人:索尼公司