專利名稱：圖像編輯裝置和控制圖像編輯裝置的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像編輯裝置、控制圖像編輯裝置的方法及存儲(chǔ)圖像編輯程序的記錄介質(zhì)，它們?cè)趯?duì)象臉部的圖像上合成反光(catch-light)。
背景技術(shù)：
在人物攝影中，已知一種通過(guò)在對(duì)象(比如模特)的眼睛中插入反 光而使臉部變得突出(standout)的技術(shù)。可以通過(guò)插入這種反光來(lái)強(qiáng)調(diào) 或加強(qiáng)對(duì)象臉上的表情。 一般而言，人臉有多種表情，比如高興、生氣 和憂慮。對(duì)于每一種臉部表情都存在最優(yōu)的反光。作用于對(duì)象上的光線在對(duì)象眼睛角膜的球表面上反射，并且反射光 由攝像元件來(lái)曝光，從而產(chǎn)生了反光。日本專利申請(qǐng)公報(bào)第2001-91979 號(hào)公開了一種利用作為光源而內(nèi)置在相機(jī)中的閃光燈單元來(lái)產(chǎn)生這種反 光的技術(shù)。在日本專利申請(qǐng)公報(bào)第2001-91979號(hào)中，用于照明對(duì)象的光 源為點(diǎn)光源，且光的顏色為白色。因此，在對(duì)象的瞳孔上產(chǎn)生了白色圓 形反光。日本專利申請(qǐng)公報(bào)第2006-72743號(hào)公開了一種通過(guò)圖像處理而 人為地產(chǎn)生反光的技術(shù)。如上所述，人臉有多種表情，并且對(duì)于每個(gè)表情都存在最優(yōu)的反光。 日本專利申請(qǐng)公開第2001-91979號(hào)中公開的技術(shù)僅可以將反光表達(dá)成 白點(diǎn)。此外，相機(jī)鏡頭與閃光燈單元的發(fā)光部件之間的位置關(guān)系通常是 相同的，在應(yīng)用反光時(shí)無(wú)位置靈活性可言。為了利用光源來(lái)插入有效的 反光，必須設(shè)定光源的種類、從光源到對(duì)象的距離以及光到眼睛的入射 角。然而，這些設(shè)定僅可以由有經(jīng)驗(yàn)的攝影師或高級(jí)業(yè)余愛(ài)好者進(jìn)行設(shè) 定。此外，日本專利申請(qǐng)公開第2006-72743號(hào)中公開的這種通過(guò)圖像處 理來(lái)產(chǎn)生反光的技術(shù)在圖像處理時(shí)困難且繁瑣，并且要求高級(jí)的技巧。發(fā)明內(nèi)容本發(fā)明的目的是提供一種圖像編輯裝置、控制圖像編輯裝置的方法 及存儲(chǔ)圖像編輯程序的記錄介質(zhì)，它們根據(jù)人臉來(lái)實(shí)現(xiàn)有效的反光表情， 并且使得即使在拍照和編輯圖像方面經(jīng)驗(yàn)很少的用戶也能夠容易地獲得 帶有反光表情的人物攝影作品。本發(fā)明的第一方面提供了 一種圖像編輯裝置，該圖像編輯裝置包括: 圖像輸入單元，其包括對(duì)對(duì)象進(jìn)行拍照以獲得對(duì)象的圖像的攝像電路； 臉部檢測(cè)電路，其從圖像輸入單元所獲得的圖像中檢測(cè)對(duì)象的臉部圖像; 臉部表情檢測(cè)電路，其基于臉部檢測(cè)電路所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì) 象臉部的方向和表情中的至少任何一個(gè)；瞳孔檢測(cè)電路，其基于臉部檢 測(cè)電路所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象的瞳孔圖像；以及反光合成 (composition)電路，其根據(jù)臉部表情檢測(cè)電路所檢測(cè)到的臉部的方向 和表情中的任何一個(gè)，在瞳孔檢測(cè)電路所檢測(cè)到的瞳孔圖像上合成不同 的反光。本發(fā)明的第二方面提供了一種控制裝置的方法，該裝置用于編輯通 過(guò)對(duì)對(duì)象進(jìn)行拍照而獲得的圖像，該方法包括以下步驟從所獲得的圖 像中檢測(cè)對(duì)象的臉部圖像；基于所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象的臉部 的方向和表情中的至少任何一個(gè)；基于所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象 的瞳孔圖像；以及根據(jù)所檢測(cè)到的臉部的方向和表情中的任何一個(gè)，在 所檢測(cè)到的瞳孔圖像上合成不同的反光。本發(fā)明的第三方面提供了一種控制裝置的方法，該裝置用于編輯通 過(guò)對(duì)對(duì)象進(jìn)行拍照而獲得的圖像，該方法包括以下步驟從所獲得的圖 像中檢測(cè)對(duì)象的臉部圖像；基于所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象的臉部 的方向和表情中的至少任何一個(gè)；基于所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象 的眼睛的方向；基于所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象的瞳孔圖像；以及 根據(jù)所檢測(cè)到的臉部的方向和表情以及眼睛的方向中的任何一個(gè)在所檢 測(cè)到的瞳孔圖像上合成反光。本發(fā)明的第四方面提供了一種計(jì)算機(jī)可讀記錄介質(zhì)，其上記錄有用于編輯通過(guò)對(duì)對(duì)象進(jìn)行拍照而獲得的圖像的程序，該程序使計(jì)算機(jī)能夠 執(zhí)行以下功能從所獲得的圖像中檢測(cè)對(duì)象的臉部圖像的功能；基于所 檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象的瞳孔圖像的功能；以及根據(jù)所檢測(cè)到的
臉部的方向和表情中的任何一個(gè)在所檢測(cè)到的瞳孔圖像上合成不同的反 光的功能。
本發(fā)明的第五方面提供了一種圖像編輯裝置，其包括圖像輸入單 元，其包括對(duì)對(duì)象進(jìn)行拍照以獲得對(duì)象的圖像的攝像電路；檢測(cè)電路， 其從圖像輸入單元所獲得的圖像中檢測(cè)對(duì)象的臉部圖像，基于所檢測(cè)到 的臉部圖像來(lái)檢測(cè)對(duì)象臉部的方向和表情中的至少任何一個(gè)，并基于所 檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象的瞳孔圖像；以及反光合成電路，其根據(jù) 所檢測(cè)到的臉部的方向和表情中的任何一個(gè)在所檢測(cè)到的瞳孔圖像上合 成不同的反光。
本發(fā)明的優(yōu)點(diǎn)將在下面的描述中進(jìn)行闡述，并且將部分地通過(guò)這種 描述而變得明顯，或者可以通過(guò)實(shí)施發(fā)明而獲得?？梢岳么撕筇貏e指 出的手段及組合來(lái)實(shí)現(xiàn)并獲得本發(fā)明的優(yōu)點(diǎn)。


結(jié)合在說(shuō)明書中并構(gòu)成了說(shuō)明書一部分的附圖示出了本發(fā)明的實(shí)施
方式，并且與以上給出的概述及以下給出的實(shí)施方式的詳細(xì)說(shuō)明一起用 于解釋本發(fā)明的原理。
圖1為示出了作為根據(jù)發(fā)明第一實(shí)施方式的圖像編輯裝置的例子的 數(shù)字相機(jī)的構(gòu)成框圖2A、 2B和2C示出了光源的位置與從瞳孔反射的光的方向之間的 關(guān)系；
圖3A、3B和3C示出了從瞳孔反射的光與瞳孔內(nèi)的反光之間的關(guān)系； 圖4為示出了根據(jù)發(fā)明第一實(shí)施方式的數(shù)字相機(jī)的操作的流程圖； 圖5示出了當(dāng)通過(guò)啟動(dòng)輔助發(fā)光電路來(lái)拍照時(shí)對(duì)象眼睛的圖像數(shù)據(jù) 分布；
圖6為示出了計(jì)算值R的處理流程的流程圖；圖7A示出了具有高R值的表情的例子； 圖7B示出了具有低R值的表情的例子； 圖8為示出了修正值R的流程的流程圖； 圖9A示出了當(dāng)臉部方向朝前時(shí)的表情的例子； 圖9B示出了當(dāng)臉部方向朝下時(shí)的表情的例子； 圖9C示出了當(dāng)臉部方向朝上時(shí)的表情的例子； 圖IOA、 IOB、 IOC、 IOD、 10E以及10F示出了瞳孔圖像上的多種 反光表情的例子；而
圖11為示出了根據(jù)發(fā)明第二實(shí)施方式的數(shù)字相機(jī)的操作的流程圖。
具體實(shí)施例方式
下面將結(jié)合附圖來(lái)說(shuō)明本發(fā)明的實(shí)施方式。 [實(shí)施方式1]
圖1為示出了作為根據(jù)發(fā)明第一實(shí)施方式的圖像編輯裝置的例子的 數(shù)字相機(jī)100的構(gòu)成框圖。圖1所示的數(shù)字相機(jī)100具有微處理器單元
(MPU) 101、操作單元102、相機(jī)鏡頭103、自動(dòng)聚焦(AF)電路104、 光圈機(jī)構(gòu)105、光圈控制電路106、攝像元件107、模擬前端(AFE)電 路108、圖像處理電路109、顯示控制電路110、顯示面板111、焦距判 定電路112、臉部檢測(cè)電路113、臉部表情檢測(cè)電路114、壓縮/解壓縮電 路115、記錄控制電路116、記錄介質(zhì)117、輔助發(fā)光電路118、反射樣式
(pattern)檢測(cè)電路119及通信電路120。數(shù)字相機(jī)100通過(guò)網(wǎng)絡(luò)300可 通信地連接到服務(wù)器400。
MPU 101根據(jù)用戶對(duì)操作單元102的操作來(lái)依次控制構(gòu)成數(shù)字相機(jī) 100的每個(gè)框。操作單元102包括用數(shù)字相機(jī)100進(jìn)行拍照的釋放開關(guān); 以及使數(shù)字相機(jī)100操作模式在拍照模式和播放模式之間改變的模式改 變開關(guān)。
MPU 101具有用于記錄用戶所拍照片時(shí)間/日期的計(jì)時(shí)器。計(jì)時(shí)器可 以將拍照時(shí)間/日期與通過(guò)拍照所獲得的圖像數(shù)據(jù)關(guān)聯(lián)起來(lái)。
相機(jī)鏡頭103在攝像元件107內(nèi)形成對(duì)象200的圖像。相機(jī)鏡頭103包括用于自動(dòng)聚焦的聚焦鏡頭。在自動(dòng)聚焦模式下，MPU 101監(jiān)控聚焦 鏡頭的位置，并通過(guò)控制AF電路104來(lái)改變聚焦鏡頭的位置，從而調(diào)節(jié) 相機(jī)鏡頭103的焦距。光圈機(jī)構(gòu)105設(shè)置在相機(jī)鏡頭103內(nèi)或者附近， 并且充當(dāng)快門和光圈。光圈機(jī)構(gòu)105在拍照開始時(shí)打開到預(yù)定孔徑，而 在拍照結(jié)束時(shí)關(guān)閉。具有攝像單元功能的攝像元件107具有由大量像素的陣列構(gòu)成的光 接收平面。攝像元件107將通過(guò)相機(jī)鏡頭103接收到的對(duì)象200的圖像 轉(zhuǎn)換為電信號(hào)。在該實(shí)施方式中，攝像元件107可以使用CCD系統(tǒng)或 CMOS系統(tǒng)。AFE電路108包括CDS電路、增益調(diào)節(jié)電路以及AD轉(zhuǎn)換電路。 AFE電路108對(duì)攝像元件107所獲得的模擬電信號(hào)進(jìn)行模擬處理，比如 相關(guān)雙采樣和增益調(diào)節(jié)。AFE電路108將通過(guò)模擬處理而獲得的圖像信 號(hào)轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)，并將其輸入圖像處理電路109。 AFE電路108具備 一起從構(gòu)成攝像元件107的像素讀取信號(hào)的功能。比如，通過(guò)AFE電路 108—起讀取4個(gè)像素(2x2像素)的信號(hào)或9個(gè)像素(3x3像素)的信 號(hào)并對(duì)這些電信號(hào)進(jìn)行相加，可以改善信噪比。通過(guò)這種處理，可以增 強(qiáng)攝像元件107的表觀靈敏度(apparent sensitivity)。此外，AFE電路108具有從攝像元件107選擇輸出信號(hào)的功能。因 此，可以從攝像元件107的所有有效像素中有限的像素范圍內(nèi)僅提取出 一個(gè)信號(hào)。 一般來(lái)講，攝像元件107可通過(guò)疏化(thin out)而高速地讀 取信號(hào)。通過(guò)利用該功能在顯示面板111上顯示用于確認(rèn)通過(guò)連續(xù)地操 作攝像元件107而獲得的框架(frame)的通像(through image),在圖像 處理電路109中對(duì)圖像進(jìn)行處理之后，用戶可以利用顯示在顯示面板111 上的通像來(lái)框住(frame)圖像。圖像處理電路109執(zhí)行多種類型的圖像處理對(duì)從AFE電路108輸 入的圖像數(shù)據(jù)的顏色、等級(jí)和銳度進(jìn)行修正；將圖像數(shù)據(jù)電平放大到預(yù) 定電平；以及將圖像數(shù)據(jù)調(diào)節(jié)到正確的濃度和灰度級(jí)。為了顯示多種圖像(如上述要框住的圖像)，圖像處理電路109具有 將從AFE電路108輸入的圖像數(shù)據(jù)的尺寸進(jìn)行調(diào)整(減小)，使之可顯示在顯示面板lll上的功能。
此外，在該實(shí)施方式中，當(dāng)檢測(cè)到對(duì)象200眼睛內(nèi)的反光時(shí)，圖像
處理電路109將反光消除掉。圖像處理電路109具有反光合成電路的功 能，用于合成與對(duì)象200的臉部表情相對(duì)應(yīng)的反光，取代消除掉的反光 而被使用。
顯示控制電路110將在圖像處理電路109中獲得的圖像數(shù)據(jù)或記錄 在記錄介質(zhì)117中的圖像數(shù)據(jù)轉(zhuǎn)換成視頻信號(hào)，并基于轉(zhuǎn)化成的視頻信 號(hào)在顯示面板111上顯示圖像。顯示面板111是液晶面板或有機(jī)EL顯示 面板?？梢栽陲@示面板111上顯示發(fā)送(上傳)到服務(wù)器400的圖像的 列表。用戶或攝影師可以通過(guò)操作操作單元102而從上傳到服務(wù)器400 的圖像的列表中選擇要用作由服務(wù)器400來(lái)管理的博客服務(wù)的圖像。允 許選擇在博客上顯示圖像的布局。
焦距判定電路112檢測(cè)圖像處理電路109所獲得的圖像的對(duì)比度。 由焦距判定電路112檢測(cè)到的對(duì)比度被用于自動(dòng)聚焦。在自動(dòng)聚焦模式 下，焦距判定電路112依次檢測(cè)圖像的對(duì)比度，而AF電路104則改變相 機(jī)鏡頭103的聚焦鏡頭的位置。因?yàn)橄鄼C(jī)鏡頭103的焦距可調(diào)，所以當(dāng) 所檢測(cè)到的對(duì)比度最大時(shí)，聚焦鏡頭停止。
臉部檢測(cè)電路113根據(jù)特征點(diǎn)(比如當(dāng)對(duì)象為人時(shí)，眼睛、鼻子和 嘴)的分布來(lái)檢測(cè)圖像處理電路109所獲得圖像的一部分，特別是與對(duì) 象臉部相對(duì)應(yīng)的部分。臉部表情檢測(cè)電路114基于臉部檢測(cè)電路113所 檢測(cè)到的臉部圖像來(lái)計(jì)算值R (稍后詳述)。值R是用于獲得對(duì)象臉部表 情的值。
壓縮/解壓縮電路115在拍照時(shí)對(duì)圖像處理電路109所處理的圖像 進(jìn)行壓縮。壓縮/解壓縮電路115具有靜態(tài)圖像壓縮單元，其具有已 知的靜態(tài)圖像壓縮功能，比如JPEG;以及動(dòng)態(tài)圖像壓縮單元，其具有已 知的動(dòng)態(tài)圖像壓縮功能，比如MPEG或H.264。壓縮/解壓縮電路115 還具有對(duì)經(jīng)壓縮的靜態(tài)或動(dòng)態(tài)圖像數(shù)據(jù)進(jìn)行解壓縮的功能。記錄控制電 路116將壓縮/解壓縮電路115壓縮后的圖像數(shù)據(jù)以及伴隨數(shù)據(jù) (accompanying data) —起記錄在記錄介質(zhì)117中。輔助發(fā)光電路118根據(jù)拍照條件向?qū)ο?00發(fā)光。這樣就防止了在 拍照時(shí)出現(xiàn)不足或不均的亮度。具有瞳孔檢測(cè)電路功能的反射樣式檢測(cè) 電路119利用輔助發(fā)光電路118的發(fā)光來(lái)檢測(cè)從對(duì)象200的眼睛反射的 光的樣式。通信電路120對(duì)通過(guò)網(wǎng)絡(luò)300將記錄在記錄介質(zhì)117中的圖像數(shù)據(jù) 或通過(guò)拍照而獲得的圖像數(shù)據(jù)發(fā)送到服務(wù)器400時(shí)的通信進(jìn)行控制。通 信電路120還對(duì)從服務(wù)器400接收各種數(shù)據(jù)時(shí)的通信進(jìn)行控制。通信電 路120例如是無(wú)線LAN接口電路。發(fā)送到服務(wù)器400的圖像可以作為顯 示在服務(wù)器400所管理的博客中的圖像而立刻展現(xiàn)給用戶500。下面，將對(duì)第一實(shí)施方式的數(shù)字相機(jī)100的操作進(jìn)行說(shuō)明。首先， 將結(jié)合圖2A-2C及圖3A-3C來(lái)解釋反光。圖2A-2C示出了光源的位置與 從瞳孔反射的光的方向之間的關(guān)系。圖3A-3C示出了從瞳孔反射的光與 從瞳孔反射的反光之間的關(guān)系。圖2A示出了光源600從較高位置來(lái)對(duì)對(duì)象200進(jìn)行照明的例子。假 定來(lái)自光源600的入射光以角度01施加到對(duì)象200的瞳孔200a的上部。 在這種情況下，反射光也以相對(duì)于瞳孔200a為ei的角度施加到相機(jī)鏡 頭103上。因此，如圖3A所示，在瞳孔200a的上部出現(xiàn)了反光200b。 圖2B示出了來(lái)自光源600的光經(jīng)反射器反射，并且對(duì)象200從較低位置 被照明的例子。假定來(lái)自光源600的入射光以角度62施加到對(duì)象200的 瞳孔200a的下部。在這種情況下，反射光也以相對(duì)于瞳孔2OOa為02的 角度施加到相機(jī)鏡頭103。因此，在瞳孔200a的下部出現(xiàn)了反光200b。 如果沒(méi)有光源，當(dāng)然就不會(huì)產(chǎn)生反光。如上所述，根據(jù)拍照時(shí)光源的狀態(tài)來(lái)產(chǎn)生多種反光。通過(guò)改變這些 反光，可以產(chǎn)生氛圍，比如拍照時(shí)對(duì)象的臉部表情和情緒。這正是攝影 師大量使用反光的原因，因?yàn)榉垂鉃樗鼈兊恼掌x予了表情。然而，并 不總是可以得到適合產(chǎn)生反光的光源。在這種情況下，已經(jīng)公開了一種 利用通常內(nèi)置在相機(jī)中的閃光燈單元(輔助發(fā)光電路118)來(lái)產(chǎn)生反光的 技術(shù)。然而，如圖2A或圖2B所示，在使用輔助發(fā)光電路118的情況下， 這種技術(shù)無(wú)法改變光源的位置。因此，在使用輔助發(fā)光電路118時(shí)，來(lái)自輔助發(fā)光電路118的入射光總是以角度03進(jìn)入對(duì)象200的瞳孔200a， 并且如圖2C所示，反射光總是以角度03進(jìn)入相機(jī)鏡頭103。輔助發(fā)光 電路118作為光源相對(duì)較小，并且在瞳孔200a的中央狹窄范圍內(nèi)出現(xiàn)白 色反光200b (或者，由于所謂的紅眼現(xiàn)象而使瞳孔呈現(xiàn)紅色)。結(jié)果， 表情變得呆滯。在該實(shí)施方式中，通過(guò)簡(jiǎn)單操作即可獲得適于對(duì)象臉部表情的反光， 從而可以在拍照時(shí)作出多種表情。圖4為示出根據(jù)發(fā)明第一實(shí)施方式的數(shù)字相機(jī)100的操作的流程圖。在圖4中，MPU 101判斷數(shù)字相機(jī)100的操作模式是否為拍攝模式 (步驟S1)。在步驟1的判斷中，如果操作模式為拍攝模式，則MPUIOI 執(zhí)行多種控制，以在顯示面板lll上顯示要框住的通像(步驟S2)。艮口， MPU 101通過(guò)連續(xù)地操作攝像元件107而依次獲得通像數(shù)據(jù)，并且在圖 像處理電路109中處理所獲得的通像數(shù)據(jù)。然后，MPU IOI基于該通像 數(shù)據(jù)在顯示面板lll上顯示通像。在顯示了通像之后，MPU 101判斷攝 影師是否通過(guò)對(duì)操作單元102進(jìn)行操作而指示了拍照(步驟S3)。如果步 驟3的判斷中沒(méi)有指示拍照，則再次進(jìn)行步驟l。相反，如果步驟3中指 示了拍照，則MPU101進(jìn)行拍照(步驟S4)。即，MPU101調(diào)節(jié)相機(jī)鏡 頭103的焦距，將光圈機(jī)構(gòu)105調(diào)節(jié)到預(yù)定孔徑，與攝像元件107 —起 進(jìn)行拍照，并且獲得圖像數(shù)據(jù)。然后，MPU 101判斷反射樣式檢測(cè)電路119是否在對(duì)象200的瞳孔 中檢測(cè)到了輔助光的反射光，或者是否從通過(guò)攝像元件107獲得的圖像 數(shù)據(jù)中檢測(cè)到了反光(步驟S5)。接下來(lái)將對(duì)步驟5中的判斷方法舉例加以說(shuō)明。圖5示出了在利用 輔助發(fā)光電路118進(jìn)行拍照時(shí)對(duì)象200眼睛內(nèi)的圖像數(shù)據(jù)的分布。如圖 3C所示，輔助光線從輔助發(fā)光電路118發(fā)出時(shí)，輔助光線的反射光(反 光)看起來(lái)靠近瞳孔的中心。因此，靠近對(duì)象200瞳孔的圖像數(shù)據(jù)的樣 式在水平方向上為大(眼白)-小(瞳孔)-大(反射光)-小(瞳孔)-大 (眼白)，而在垂直方向上為小(瞳孔)-大(反射光)-小(瞳孔)。通過(guò) 如上所述判斷靠近對(duì)象200瞳孔的圖像數(shù)據(jù)的樣式，可以判斷出瞳孔中是否存在來(lái)自輔助發(fā)光電路118的反射光。由于瞳孔可能向右或向左偏 移，因此優(yōu)選地在拍照之前顯示了通像的情況下檢測(cè)瞳孔的位置?？梢?如下來(lái)檢測(cè)瞳孔位置臉部檢測(cè)電路113檢測(cè)拍照之前通過(guò)攝像元件107而獲得的通像數(shù)據(jù)中的臉部部分；臉部表情檢測(cè)電路114根據(jù)臉部部分 中的陰影分布來(lái)檢測(cè)臉部部分的眼睛部分；并且將眼睛部分的圖像數(shù)據(jù) 中表現(xiàn)為低亮度的部分檢測(cè)為瞳孔。如果在步驟S5的判斷中檢測(cè)到了反射光，則MPU 101通過(guò)使圖像 處理電路109用周圍圖像數(shù)據(jù)(瞳孔)代替圖像數(shù)據(jù)來(lái)填充與檢測(cè)到的 反射光部分相對(duì)應(yīng)的圖像數(shù)據(jù)(步驟S6)。然后，MPU 101利用臉部表 情檢測(cè)電路114來(lái)計(jì)算值R，以在圖像中檢測(cè)對(duì)象200的臉部表情(步驟 S7)。接下來(lái)對(duì)值R進(jìn)行說(shuō)明。圖6為示出了計(jì)算值R時(shí)的處理流程的流 程圖。在圖6中，首先，臉部表情檢測(cè)電路114根據(jù)臉部檢測(cè)電路113 檢測(cè)到的臉部圖像中的陰影分布來(lái)檢測(cè)眼睛和嘴(步驟S101)。具體來(lái)講， 臉部檢測(cè)電路113在對(duì)比度增強(qiáng)了的圖像中檢測(cè)基本上為圓形的臉部部 分。然后，臉部表情檢測(cè)電路114根據(jù)臉部中的陰影分布來(lái)檢測(cè)眼睛和 嘴。如果在顯示通像時(shí)檢測(cè)到了臉部，則可以省略步驟SIOI。在步驟SIOI中檢測(cè)到眼睛和嘴之后，臉部表情檢測(cè)電路114計(jì)算連 接兩個(gè)眼睛的瞳孔的直線A上方的眼白的面積EA (參見(jiàn)圖7A)(步驟 S102)。然后，臉部表情檢測(cè)電路114計(jì)算連接兩個(gè)眼睛的瞳孔的直線A 下方的眼白的面積EB (參見(jiàn)圖7A)(步驟S103)。在計(jì)算出EA和EB 之后，臉部表情檢測(cè)電路114計(jì)算值RE，值RE是通過(guò)用EA和EB之間 的差值除以EA和EB的和而獲得的(步驟S104)。在此，當(dāng)對(duì)象200希 望對(duì)其他人顯示笑臉時(shí)，如圖7A所示，EB變?yōu)榻咏?，結(jié)果RE變大。 相反，當(dāng)對(duì)象的臉部不是笑臉而是例如苦臉時(shí)，如圖7B所示，EA變?yōu)?接近于O，結(jié)果RE變小。因此，可以從RE的大小判斷出臉部表情。獲得RE之后，臉部表情檢測(cè)電路114計(jì)算連接兩個(gè)嘴角的直線B 上方的嘴唇面積LA (參見(jiàn)圖7B)(步驟S105)。然后，臉部表情檢測(cè)電 路114計(jì)算連接兩個(gè)嘴角的直線B下方的嘴唇面積LB (參見(jiàn)圖7B)(步驟S106)。計(jì)算出LA和LB之后，臉部表情檢測(cè)電路114計(jì)算值RL， 值RL是通過(guò)用LA和LB之間的差值除以LA和LB的和而獲得的(步 驟S107)。在此，當(dāng)對(duì)象2為笑臉時(shí)，如圖7A所示，LA變?yōu)榻咏贠， 結(jié)果RL變大。相反，當(dāng)對(duì)象為苦臉時(shí)，如圖7B所示，LB變?yōu)榻咏?， 結(jié)果RL變小。因此，可以從RL的大小判斷出臉部表情。
計(jì)算出RE和RL之后，臉部表情檢測(cè)電路114計(jì)算RE和RL的和 R (步驟S108)。值R越大，臉部越接近于笑臉。此外，如果嘴角有如圖 7A中的箭頭C所示的陰影或可以看到牙齒，則臉部可能為笑臉。因此， 臉部表情檢測(cè)電路114判斷是否可以在嘴中看到牙齒(白色部分)以及 嘴角是否有陰影(步驟S109)。如果在步驟S109的判斷中從嘴中看到了 牙齒并且嘴角有陰影，則臉部表情檢測(cè)電路114向R增加預(yù)定值(在此 為1)(步驟SllO)。
相反，如果在步驟S109的判斷中從嘴中看到了牙齒而嘴角沒(méi)有陰 影，或者在步驟S110之后，臉部表情檢測(cè)電路114判斷眉毛之間是否出 現(xiàn)了如圖7B中的箭頭D所指示的皺紋(步驟Slll)。如果在步驟lll的 判斷中檢測(cè)到了眉毛之間的皺紋，則臉部表情檢測(cè)電路114從R中減掉 預(yù)定值(在此為1)(步驟S112)。也就是說(shuō)，眉毛之間有皺紋的臉部不 是笑臉，并且執(zhí)行步驟Slll中的判斷。
在圖6的處理中，如果對(duì)象200的臉部朝向前方，則容易判斷臉部 表情。然而，如果對(duì)象200的臉部朝向下方或上方，就難以判斷臉部表 情。因此，MPU101按照以下方式對(duì)值R進(jìn)行修正(步驟S113)。
圖8為示出值R修正流程的流程圖。在圖8中，首先，臉部表情檢 測(cè)電路114檢測(cè)由臉部檢測(cè)電路113檢測(cè)到的臉部圖像的中心位置E的 坐標(biāo)(參見(jiàn)圖9A)(步驟S201)。然后，臉部表情檢測(cè)電路114檢測(cè)由臉 部檢測(cè)電路113檢測(cè)到的臉部圖像中眼睛的中央位置F的坐標(biāo)(參見(jiàn)圖 9A)(步驟S202)。
當(dāng)臉部朝前時(shí)，如圖9A所示，眼睛的中央位置F位于臉部的中心 位置E的上方。相反，當(dāng)臉部朝下時(shí)，如圖9B所示，眼睛的中央位置F 位于臉部的中心位置E的下方。如果對(duì)象在這種狀態(tài)下觀看相機(jī)鏡頭103，則對(duì)象的臉部具有上翻的眼睛。這種臉部看起來(lái)很不開心。當(dāng)臉部 朝上時(shí)，相對(duì)于圖9A中的情況而言，眼睛的中央位置F位于臉部的中心 位置E的更上方，如圖9C所示。如果對(duì)象在這種狀態(tài)下觀看相機(jī)鏡頭 103，則對(duì)象的臉部似乎在向下看。這種臉部看起來(lái)也很不開心。
因此，在圖8的處理中，對(duì)臉部中心位置E與眼睛中央位置F之間 的差A(yù)Y進(jìn)行計(jì)算，并且基于AY的值來(lái)判斷對(duì)象200的臉部是朝前、朝 下還是朝上。
也就是說(shuō)，在檢測(cè)出臉部中心位置E和眼睛中央位置F的坐標(biāo)之后， 臉部表情檢測(cè)電路114計(jì)算臉部中心位置E與眼睛中央位置F之間的差 AY(步驟S203)。然后，臉部表情檢測(cè)電路114判斷差A(yù)Y是否小于預(yù) 定值-AYl (步驟S204)。如果在步驟S204中判斷出差A(yù)Y小于預(yù)定值 -AYl，則判斷為臉部朝下，如圖9B所示，并且臉部表情檢測(cè)電路114 從值R中減掉一預(yù)定值(在此為1)(步驟S205)，然后退出圖8的處理。
相反，如果在步驟204中判斷出差A(yù)Y大于-AY1，則臉部表情檢測(cè) 電路114判斷差A(yù)Y是否大于預(yù)定值A(chǔ)Y2 (步驟S206)。如果在步驟206 中判斷出差A(yù)Y大于AY2，則判斷為臉部朝上，如圖9C所示，并且臉部 表情檢測(cè)電路114從值R中減掉一預(yù)定值(在此為l)(步驟S207)，然 后退出圖8的處理。
如果在步驟S206中判斷出差A(yù)Y小于AY2，則判斷為臉部朝前，如 圖9A所示，臉部表情檢測(cè)電路114不對(duì)值R進(jìn)行修正。在這種情況下， 臉部表情檢測(cè)電路立刻退出圖8的處理。
現(xiàn)在返回圖5繼續(xù)進(jìn)行說(shuō)明。在步驟S7中計(jì)算出值R之后，臉部表 情檢測(cè)電路進(jìn)行反光處理，即，將適于對(duì)象200臉部表情的反光與通過(guò) 攝像元件107所獲得的圖像數(shù)據(jù)進(jìn)行合成。圖10A到10F示出了合成在 瞳孔圖像上的多種反光圖像的例子。
圖IOA、 10B和10C示出了對(duì)象200的完全睜開狀態(tài)的眼睛(值R 較高)。在這種情況下，可以有效地使用瞳孔的上部，并且優(yōu)選地在瞳孔 的上部中合成反光圖像。當(dāng)值R較高時(shí)，臉部表現(xiàn)為開心或驚喜。因此， 如圖10A和10B所示，推薦使用心形或星形作為反光圖像。與普通反光的情況相同，顏色可以為白色，但優(yōu)選地對(duì)于每種反光圖像而不同，比 如心形為粉紅色，而星形為黃色。圖10D、10E禾n 10F示出了對(duì)象200的凝視狀態(tài)的眼睛(值R較低)。 在這種情況下，可以有效地使用瞳孔的下部，并且優(yōu)選地在瞳孔的下部 中合成反光圖像。當(dāng)值R較低時(shí)，如前所述，臉部看起來(lái)焦慮或凝重。 因此，如圖10F所示，推薦使用火焰形作為反光圖像。與普通反光的情 況相同，顏色可以為白色，但優(yōu)選地例如將紅色用于火焰。在圖5的步驟8處理中及處理之后，基于上述概念來(lái)合成反光。首 先，MPU 101判斷在步驟S7中獲得的值R是否高于第一預(yù)定值(步驟 S8)。如果在步驟S8中判斷出值R高于第一預(yù)定值，則MPU101利用圖 像處理單元109在通過(guò)攝像元件107所獲得的圖像數(shù)據(jù)中的瞳孔的上半 部分中合成粉紅色心形反光圖像，如圖IOA所示(步驟S9)。如果在步 驟S8中判斷出值R小于第一預(yù)定值，則MPU 101判斷在步驟S7中獲得 的值R1是否小于比第一預(yù)定值小的第二預(yù)定值(步驟SIO)。如果在步 驟10中判斷出值R小于第二預(yù)定值，則MPU 101利用圖像處理單元109 在通過(guò)攝像元件107所獲得的圖像數(shù)據(jù)中的瞳孔的下半部分中合成紅色 火焰形反光圖像，如圖10F所示(步驟Sll)。如果在步驟S10中判斷出 值R大于第二預(yù)定值，則MPU 101利用圖像處理單元109在通過(guò)攝像元 件107所獲得的圖像數(shù)據(jù)中的瞳孔的上半部分中合成黃色星形反光圖像， 如圖IOC所示(步驟S12)。在步驟S9、 S11或S12中合成了反光圖像之后，MPU101將合成有 反光圖像的圖像數(shù)據(jù)記錄在記錄介質(zhì)117中(步驟S13)，然后完成圖4 的處理。如果在步驟S1的判斷中未檢測(cè)到拍照模式，則MPU 101將模式判 斷為播放模式，并等待由攝影師進(jìn)行的圖像選擇。圖像被選擇后，MPU 101從存儲(chǔ)介質(zhì)117中讀取與所選圖像相對(duì)應(yīng)的數(shù)據(jù)圖像，并將這種圖像 再現(xiàn)于顯示面板lll上(步驟S14)。然后，MPU 101判斷攝影師是否進(jìn) 行了發(fā)送所選圖像數(shù)據(jù)的操作(步驟S15)。果在步驟S15中攝影師進(jìn)行了發(fā)送所選圖像數(shù)據(jù)的操作，則MPU 101等 待攝影師輸入圖像數(shù)據(jù)的目的地(步驟S16)。輸入了圖像數(shù)據(jù)的目的地 后，MPU 101利用通信電路120將此時(shí)正在播放的圖像發(fā)送給步驟S16 中指定的目的地(步驟S17)，并且完成圖4的處理。
如上所述，根據(jù)第一實(shí)施方式，當(dāng)拍照時(shí)對(duì)象200的瞳孔內(nèi)有反光 時(shí)，消除該反光部分，并且在瞳孔中的根據(jù)拍照時(shí)對(duì)象的面部表情而確 定的位置上合成根據(jù)面部表情而確定了形狀和顏色的反光圖像。因此， 攝影師僅通過(guò)使輔助發(fā)光電路118發(fā)光而進(jìn)行簡(jiǎn)單拍照即可獲得帶有有 效反光的人物攝影作品像，而不必進(jìn)行特殊的設(shè)置來(lái)獲得反光效果。
下面將對(duì)發(fā)明的第二實(shí)施方式進(jìn)行說(shuō)明。第二實(shí)施方式用于在拍照 之前顯示了通像的情況下確認(rèn)合成有反光的圖像。數(shù)字相機(jī)100的構(gòu)成 與圖1所說(shuō)明的相同，因此將省略其說(shuō)明。
圖11為示出本發(fā)明第二實(shí)施方式的數(shù)字相機(jī)100的操作的流程圖。
在圖11中，MPU 101判斷數(shù)字相機(jī)100的操作模式是否為拍照模式 (步驟S21)。如果在步驟21的判斷中操作模式被判斷為拍攝模式，則 MPU IOI執(zhí)行多種控制，以在顯示面板111上顯示要框住的通像(步驟 S22)。然后，MPU101利用在圖4中的步驟S5的處理中所說(shuō)明的技術(shù)來(lái) 檢測(cè)瞳孔的位置和大小(步驟S23)。
MPU 101通過(guò)用于在通像中檢測(cè)對(duì)象200的臉部表情的臉部表情檢 測(cè)電路114來(lái)計(jì)算值R。計(jì)算出值R之后，MPU IOI判斷計(jì)算出的值R 是否高于第一預(yù)定值(步驟S25)。如果在步驟S25中判斷出值R高于第 一預(yù)定值，則MPU 101利用圖像處理單元109在通過(guò)攝像元件107所獲 得的圖像數(shù)據(jù)中的瞳孔的上半部分中合成粉色心形反光圖像或黃色星形 反光圖像(步驟S26)。是合成心形反光還是星形反光應(yīng)當(dāng)預(yù)先設(shè)置。如 果在步驟S25中判斷出值R小于第一預(yù)定值，則MPU 101判斷計(jì)算出的 值R是否小于比第一預(yù)定值小的第二預(yù)定值(步驟S27)。如果在步驟S27 中判斷出值R小于第二預(yù)定值，則MPU 101利用圖像處理單元109在通 過(guò)攝像元件107所獲得的圖像數(shù)據(jù)中的瞳孔的下半部分中合成紅色火焰形反光圖像或黃色火花形反光圖像(步驟S28)。反光圖像是火焰形還是 火花形應(yīng)當(dāng)預(yù)先設(shè)定。在步驟S26或S28中合成了反光圖像之后，MPU 101利用圖像處理 電路109、根據(jù)反光圖像的顏色來(lái)調(diào)整合成的反光圖像的大小(步驟S29)。 這樣就防止了反光圖像和眼白的同化作用。因此，如果要合成的反光圖 像為白色或淺色，則對(duì)合成出的反光圖像的大小進(jìn)行壓縮，使之不會(huì)從 瞳孔中突出來(lái)。如果要合成的反光圖像為深色，則不對(duì)反光圖像的大小 進(jìn)行調(diào)整?？梢愿鶕?jù)要合成的反光圖像的形狀來(lái)調(diào)整反光圖像的大小。 比如，如果合成了心形或星形反光圖像，則可以對(duì)圖像進(jìn)行壓縮使之待 在瞳孔內(nèi)。如果合成了火焰形或火花形反光圖像，則不必調(diào)整圖像大小。在步驟S29之后，MPU 101判斷攝影師是否通過(guò)對(duì)操作單元102進(jìn) 行操作而指示了拍照(步驟S30)。如果在步驟S30的判斷中沒(méi)有指示拍 照，則處理返回到步驟S21。相反，如果步驟S30的判斷中指示了拍照， 則MPU IOI執(zhí)行拍照操作(步驟S31)。然后，MPU IOI將通過(guò)拍照獲 得的圖像數(shù)據(jù)記錄在記錄介質(zhì)117上(步驟S32)，并且完成圖11的處理。如果在步驟S21中操作模式被判斷為非拍照模式，則MPU 101判斷 模式為播放模式，并且等待攝影師進(jìn)行的圖像選擇。圖像被選擇后，MPU 101從存儲(chǔ)介質(zhì)117中讀取與所選圖像相對(duì)應(yīng)的數(shù)據(jù)圖像，并將這種圖像 再現(xiàn)于顯示面板lll上(步驟S33)。然后，MPU 101判斷攝影師是否進(jìn) 行了發(fā)送所選圖像數(shù)據(jù)的操作(步驟S34)。如果在步驟S34中攝影師沒(méi) 有進(jìn)行發(fā)送所選圖像數(shù)據(jù)的操作，則MPUIOI完成圖11的處理。相反， 如果在步驟S34中攝影師進(jìn)行了發(fā)送圖像數(shù)據(jù)的操作，則MPU 101等待 攝影師輸入圖像數(shù)據(jù)的目的地(步驟S35)。輸入了圖像數(shù)據(jù)目的地后， MPU 101利用通信電路120將此時(shí)正在播放的圖像發(fā)送給在步驟S35中 指定的目的地(步驟S36)，并且完成圖11的處理。如上所述，根據(jù)第二實(shí)施方式，可以在拍照之前顯示了通像的情況 下，在利用目視檢查來(lái)確認(rèn)合成有反光圖像的圖像的同時(shí)進(jìn)行拍照。還 可以合成這樣一種反光圖像，其通過(guò)根據(jù)要合成的反光圖像的顏色和形 狀來(lái)調(diào)整反光圖像的大小而更好地增強(qiáng)了臉部表情。在此處描述的實(shí)施方式中，為了描述簡(jiǎn)單，基于值R來(lái)判斷對(duì)象200 的臉部表情，值R是通過(guò)將作為與眼睛有關(guān)的值R的RE和作為與嘴有 關(guān)的值R的RL相加而獲得的。然而，也可以通過(guò)單獨(dú)地評(píng)估RE和RL 或者單獨(dú)地判斷眼睛和嘴的表情來(lái)判斷對(duì)象200的臉部表情。
此外，在此處描述的實(shí)施方式中，以星形和火焰形作為要合成在瞳 孔內(nèi)的反光圖像的形狀的例子。然而，反光圖像的形狀并不局限于此。 比如，可以合成形狀與圖3A所示反射光相同(白色圓形)的反光圖像。 在添加不同形狀的反光圖像時(shí)，必須預(yù)先設(shè)置與這些反光圖像相對(duì)應(yīng)的 值R的范圍。
還可以在合成反光之后顯示合成結(jié)果，并且使攝影師能夠通過(guò)對(duì)操 作單元102進(jìn)行操作而編輯所合成的反光圖像。還可以在播放模式下編 輯這些反光圖像。
沒(méi)有必要使用數(shù)字相機(jī)100根據(jù)對(duì)象200的臉部表情來(lái)合成反光圖 像。比如，可以根據(jù)安裝在個(gè)人計(jì)算機(jī)(PC)內(nèi)的軟件來(lái)合成反光圖像。
本領(lǐng)域的技術(shù)人員將容易地想到其它優(yōu)點(diǎn)和修改。因此，在較寬的 方面上講，本發(fā)明并不局限于文中所示及所述的特定細(xì)節(jié)和代表性實(shí)施 方式。因此，在不脫離由所附權(quán)利要求及其等同概念所限定的總體發(fā)明 概念的本意或范圍的情況下，可以做出許多修改。
權(quán)利要求
1、 一種圖像編輯裝置，該圖像編輯裝置的特征在于包括 圖像輸入單元，其包括對(duì)對(duì)象進(jìn)行拍照以獲得對(duì)象的圖像的攝像電路；臉部檢測(cè)電路，其從該圖像輸入單元所獲得的圖像中檢測(cè)對(duì)象的臉 部圖像；臉部表情檢測(cè)電路，其基于該臉部檢測(cè)電路所檢測(cè)到的臉部圖像來(lái) 檢測(cè)對(duì)象臉部的方向和表情中的至少任何一個(gè)；瞳孔檢測(cè)電路，其基于該臉部檢測(cè)電路所檢測(cè)到的臉部圖像來(lái)檢測(cè) 對(duì)象的瞳孔圖像；以及反光合成電路，其根據(jù)該臉部表情檢測(cè)電路所檢測(cè)到的臉部的方向 和表情中的任何一個(gè)，在該瞳孔檢測(cè)電路所檢測(cè)到的瞳孔圖像上合成不 同的反光。
2、 根據(jù)權(quán)利要求l所述的圖像編輯裝置，該圖像編輯裝置的特征在 于，這些反光的形狀、大小、顏色以及合成位置中的至少任何一個(gè)根據(jù) 臉部的方向和表情中的任何一個(gè)而不同。
3、 根據(jù)權(quán)利要求2所述的圖像編輯裝置，該圖像編輯裝置的特征在 于，該瞳孔檢測(cè)電路檢測(cè)瞳孔圖像中的反光，并且該反光合成電路從瞳 孔圖像中消除掉瞳孔圖像中的反光。
4、 根據(jù)權(quán)利要求3所述的圖像編輯裝置，該圖像編輯裝置的特征在 于，該反光合成電路在將反光的大小減小到適合放在瞳孔中之后合成這 些反光。
5、 根據(jù)權(quán)利要求4所述的圖像編輯裝置，該圖像編輯裝置的特征在 于，該反光合成電路在臉部具有睜得很開的眼睛的情況下在瞳孔圖像的 上部中合成這些反光，而在臉部具有凝視的眼睛的情況下在瞳孔圖像的 下部中合成這些反光。
6、 根據(jù)權(quán)利要求l所述的圖像編輯裝置，該圖像編輯裝置的特征在 于還包括眼睛檢測(cè)電路，該眼睛檢測(cè)電路基于該臉部檢測(cè)電路所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象的眼睛的方向，其中該反光合成電路根據(jù)該臉部表情檢測(cè)電路所檢測(cè)到的臉部的方 向、表情以及該眼睛檢測(cè)電路所檢測(cè)到的眼睛的方向中的至少任何一個(gè) 來(lái)合成不同的反光。
7、 根據(jù)權(quán)利要求6所述的圖像編輯裝置，該圖像編輯裝置的特征在于，這些反光的形狀、大小、顏色以及合成位置中的至少任何一個(gè)根據(jù) 臉部的方向、表情以及眼睛的方向中的任何一個(gè)而不同。
8、 根據(jù)權(quán)利要求7所述的圖像編輯裝置，該圖像編輯裝置的特征在 于，該瞳孔檢測(cè)電路檢測(cè)瞳孔圖像中的反光，并且該反光合成電路從瞳 孔圖像中消除掉瞳孔圖像中的反光。
9、 根據(jù)權(quán)利要求8所述的圖像編輯裝置，該圖像編輯裝置的特征在 于，該反光合成電路在將反光的大小減小到適合放在瞳孔中之后合成這 些反光。
10、 根據(jù)權(quán)利要求9所述的圖像編輯裝置，該圖像編輯裝置的特征 在于，該反光合成電路在臉部具有睜得很開的眼睛的情況下在瞳孔圖像 的上部中合成這些反光 ，而在臉部具有凝視的眼睛的情況下在瞳孔圖像 的下部中合成這些反光。
11、 一種裝置的控制方法，該裝置用于編輯通過(guò)對(duì)對(duì)象進(jìn)行拍照而 獲得的圖像，該控制方法的特征在于包括以下步驟從所獲得的圖像中檢測(cè)對(duì)象的臉部圖像；基于所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象的臉部的方向和表情中的至少 任何一個(gè)；基于所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象的瞳孔圖像；以及 根據(jù)所檢測(cè)到的臉部的方向和表情中的任何一個(gè)，在所檢測(cè)到的瞳 孔圖像上合成不同的反光。
12、 根據(jù)權(quán)利要求ll所述的控制方法，其特征在于，這些反光的形 狀、大小、顏色以及合成位置中的至少任何一個(gè)根據(jù)臉部的方向和表情 中的任何一個(gè)而不同。
13、 根據(jù)權(quán)利要求12所述的控制方法，其特征在于，檢測(cè)瞳孔圖像的步驟包括在瞳孔圖像中檢測(cè)反光，并且合成反光的步驟包括從瞳孔圖像中消除掉瞳孔圖像中的這些反光。
14、 根據(jù)權(quán)利要求13所述的控制方法，其特征在于，合成反光的步驟包括在將反光的大小減小到適合放在瞳孔中之后合成這些反光。
15、 根據(jù)權(quán)利要求14所述的控制方法，其特征在于，合成反光的步 驟在臉部具有睜得很開的眼睛的情況下在瞳孔圖像的上部中合成這些反 光，而在臉部具有凝視的眼睛的情況下在瞳孔圖像的下部中合成這些反 光。
16、 一種裝置的控制方法，該裝置用于編輯通過(guò)對(duì)對(duì)象進(jìn)行拍照而獲得的圖像，該控制方法的特征在于包括以下步驟從所獲得的圖像中檢測(cè)對(duì)象的臉部圖像；基于所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象的臉部的方向和表情中的至少 任何一個(gè)；基于所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象的眼睛的方向； 基于所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象的瞳孔圖像；以及 根據(jù)所檢測(cè)到的臉部的方向和表情以及眼睛的方向中的任何一個(gè)在 所檢測(cè)到的瞳孔圖像上合成反光。
17、 根據(jù)權(quán)利要求16所述的控制方法，其特征在于，這些反光的形 狀、大小、顏色以及合成位置中的至少任何一個(gè)根據(jù)臉部的方向和表情 以及眼睛的方向中的任何一個(gè)而不同。
18、 一種計(jì)算機(jī)可讀記錄介質(zhì)，其上記錄有用于編輯通過(guò)對(duì)對(duì)象進(jìn) 行拍照而獲得的圖像的程序，該程序使計(jì)算機(jī)能夠執(zhí)行以下功能從所獲得的圖像中檢測(cè)對(duì)象的臉部圖像的功能； 基于所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象的瞳孔圖像的功能；以及 根據(jù)所檢測(cè)到的臉部的方向和表情中的任何一個(gè)在所檢測(cè)到的瞳孔 圖像上合成不同的反光的功能。
19、 根據(jù)權(quán)利要求18所述的記錄介質(zhì)，其特征在于，這些反光的形 狀、大小、顏色以及合成位置中的至少任何一個(gè)根據(jù)臉部的方向和表情 中的任何一個(gè)而不同。
20、 根據(jù)權(quán)利要求18所述的記錄介質(zhì)，其特征在.于，該程序使計(jì)算機(jī)能夠執(zhí)行以下功能基于所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象眼睛的方向的功能；以及 根據(jù)所檢測(cè)到的臉部的方向、表情以及眼睛的方向中的至少任何一 個(gè)來(lái)合成不同的反光的功能。
21、 根據(jù)權(quán)利要求18所述的記錄介質(zhì)，其特征在于，這些反光的形 狀、大小、顏色以及合成位置中的至少任何一個(gè)根據(jù)臉部的方向和表情 以及眼睛的方向中的任何一個(gè)而不同。
22、 一種圖像編輯裝置，該圖像編輯裝置的特征在于包括 圖像輸入單元，其包括對(duì)對(duì)象進(jìn)行拍照以獲得對(duì)象的圖像的攝像電路；檢測(cè)電路，其從圖像輸入單元所獲得的圖像中檢測(cè)對(duì)象的臉部圖像， 基于所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象臉部的方向和表情中的至少任何一 個(gè)，并基于所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象的瞳孔圖像；以及反光合成單元，其根據(jù)所檢測(cè)到的臉部的方向和表情中的任何一個(gè) 在所檢測(cè)到的瞳孔圖像上合成不同的反光。
23、 根據(jù)權(quán)利要求22所述的圖像編輯裝置，其特征在于，這些反光 的形狀、大小、顏色以及合成位置中的至少任何一個(gè)根據(jù)臉部的方向和 表情中的任何一個(gè)而不同。
24、 根據(jù)權(quán)利要求22所述的圖像編輯裝置，該圖像編輯裝置的特征 在于還包括眼睛檢測(cè)單元，該眼睛檢測(cè)單元基于該檢測(cè)單元所檢測(cè)到的 臉部圖像來(lái)檢測(cè)對(duì)象眼睛的方向，其中該反光合成單元根據(jù)該檢測(cè)電路所檢測(cè)到的臉部的方向、表情以及 該眼睛檢測(cè)單元所檢測(cè)到的眼睛的方向中的至少任何一個(gè)來(lái)合成不同的 反光。
25、 根據(jù)權(quán)利要求24所述的圖像編輯裝置，其特征在于，這些反光 的形狀、大小、顏色以及合成位置中的至少任何一個(gè)根據(jù)臉部的方向和 表情以及眼睛的方向中的任何一個(gè)而不同。
全文摘要
本發(fā)明提供了圖像編輯裝置和控制圖像編輯裝置的方法。該圖像編輯裝置包括圖像輸入單元，該圖像輸入單元包括對(duì)對(duì)象進(jìn)行拍照以獲得對(duì)象的圖像的攝像電路(107)。臉部檢測(cè)電路(113)從該圖像輸入單元所獲得的圖像中檢測(cè)對(duì)象的臉部圖像。臉部表情檢測(cè)電路(114)基于該臉部檢測(cè)電路所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象的臉部的方向和表情中的至少任何一個(gè)。瞳孔檢測(cè)電路基于該臉部檢測(cè)電路所檢測(cè)到的臉部圖像來(lái)檢測(cè)對(duì)象的瞳孔圖像。反光合成電路(101)根據(jù)該臉部表情檢測(cè)電路所檢測(cè)到的臉部的方向和表情中的任何一個(gè)在該瞳孔檢測(cè)電路所檢測(cè)到的瞳孔圖像上合成不同的反光。
文檔編號(hào)G06T7/60GK101311962SQ20081010903
公開日2008年11月26日 申請(qǐng)日期2008年5月23日 優(yōu)先權(quán)日2007年5月24日
發(fā)明者丸山淳, 冨澤將臣, 宮崎敏, 野中修, 鈴木猛士 申請(qǐng)人:奧林巴斯映像株式會(huì)社