專利名稱：用于眼睛注視測(cè)量的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本公開大體上涉及數(shù)字圖像處理，并且更具體地涉及數(shù)字照片中的錯(cuò)誤修正。
背景技術(shù)：
本小節(jié)中描述的方法是可以實(shí)現(xiàn)的方法，但是未必都是先前設(shè)想或?qū)崿F(xiàn)過的方 法。因此，除非另有指明，否則不應(yīng)當(dāng)認(rèn)為本小節(jié)所描述的任何方法僅僅因?yàn)槠浒?本小節(jié)中而被認(rèn)定為現(xiàn)有技術(shù)。大部分便攜式照相機(jī)上的閃光燈可能導(dǎo)致所捕獲的圖像中不期望的缺陷。一個(gè) 最常見的缺陷就是“紅眼”現(xiàn)象，其中閃光在對(duì)象的眼睛里反射，并且在照片中表現(xiàn)為 通常出現(xiàn)在對(duì)象眼睛的黑色瞳孔之處的紅點(diǎn)。眼睛不自然的發(fā)紅歸因于來自視網(wǎng)膜后的 血管膜的反射，其中視網(wǎng)膜上有豐富的血管。很好理解，這種不期望的缺陷部分是由于 照相機(jī)的閃光燈與照相機(jī)的鏡頭之間的小角度導(dǎo)致的。由于集成有閃光燈功能的照相機(jī) 的小型化，在當(dāng)今大部分的較小型便攜式照相機(jī)中，此現(xiàn)象可能非常顯著。紅眼缺陷可以通過使虹膜減小瞳孔的開口來最小化，諸如通過“預(yù)閃”，其包 括在進(jìn)行閃光拍照之前閃光燈短暫的閃光或照明以使得瞳孔閉合。遺憾的是，預(yù)閃發(fā)生 在閃光拍照之前0.2-0.6秒，這是人類對(duì)象反應(yīng)時(shí)間內(nèi)很容易辨別的時(shí)段。因而，對(duì)象可 能認(rèn)為預(yù)閃是實(shí)際拍照，從而在實(shí)際拍照時(shí)刻處于較不期望的位置，或者對(duì)象可能通過 該預(yù)閃而被告知拍照，這樣通常放松了可能要在照片中捕捉到的對(duì)象的任何自發(fā)動(dòng)作。 因此，使用預(yù)閃盡管在減少紅眼現(xiàn)象上有一定幫助，但是其可能通過其他方式對(duì)圖像造 成負(fù)面影響。隨著數(shù)字照相機(jī)和計(jì)算機(jī)上的數(shù)字圖像軟件的出現(xiàn)，用于通過利用基于微處理 器的設(shè)備(無論是在照相機(jī)外部還是內(nèi)置于照相機(jī)中)對(duì)捕捉的圖像進(jìn)行處理以消除閃光 燈引起的眼睛缺陷的技術(shù)已經(jīng)變得很常見了?；谖⑻幚砥鞯脑O(shè)備所執(zhí)行的大部分算法 都非?；尽＠?，普通缺陷移除算法包括在數(shù)字圖像中查找色譜內(nèi)、構(gòu)成識(shí)別缺陷候 選的形狀范圍內(nèi)的形狀的像素。已有用于縮小色譜和縮小算法使用來識(shí)別潛在的缺陷候 選的形狀范圍的技術(shù)，不過這些已有技術(shù)非常受限，并且在多數(shù)情況下，它們很有可能 在使得避免錯(cuò)誤肯定時(shí)使得遺漏正確肯定，因?yàn)檫@種技術(shù)不考慮人眼中的生理變化或捕 捉圖像時(shí)的條件。因此，現(xiàn)有技術(shù)中需要改進(jìn)閃光燈引起的眼睛缺陷檢測(cè)和修正算法。


關(guān)于彩餼附圖的申明本專利或申請(qǐng)文件包含至少一幅彩色附圖?；谡?qǐng)求以及支付必要的費(fèi)用，本 專利或?qū)＠暾?qǐng)公開的帶有彩色附圖的副本將由專利局提供。在附圖中，通過示例而不是限制方式圖示了本發(fā)明。圖Ia-圖Id示出了可能出現(xiàn)在捕捉的數(shù)字圖像中的常見閃光燈引起的眼睛缺陷 的示例。
圖2示出了圖示實(shí)施本發(fā)明的諸方面的方法的流程圖。圖3a和圖3b圖示了針對(duì)便攜式數(shù)字圖像捕獲設(shè)備的兩種可能的配置。圖4a_圖4b示出了半紅眼缺陷的變體。圖5示出了閃光燈在鏡頭右方、在鏡頭左方、在鏡頭下方、在鏡頭上方、在鏡 頭右上方、在鏡頭左上方、在鏡頭左下方或在鏡頭右下方時(shí)出現(xiàn)的各種半紅眼現(xiàn)象。圖6a_圖6b示出了針對(duì)閃光燈到鏡頭距離為2cm和5cm的紅眼缺陷的常見色譜。圖7示出了瞳孔大小作為環(huán)境照明的函數(shù)的曲線圖。圖8a-圖8c示出了具有各種眼睛注視角度的眼睛。圖9示出了眼睛對(duì)的眼睛注視角度。圖10是便攜式圖像捕獲設(shè)備的框圖。
具體實(shí)施例方式在下文描述中，出于解釋目的，闡述了多個(gè)特定細(xì)節(jié)以便提供對(duì)本發(fā)明的全面 理解。然而很明顯，本發(fā)明可以無需這些特定細(xì)節(jié)而實(shí)現(xiàn)。在其他實(shí)例中，公知的結(jié)構(gòu) 和設(shè)備以框圖形式示出以避免不必要地模糊本發(fā)明。概述圖Ia-圖Id示出了可能出現(xiàn)在捕捉的數(shù)字圖像中的常見閃光燈引起的眼睛缺陷 的示例。圖Ia示出了眼睛顯示出紅眼現(xiàn)象的數(shù)字圖像。圖Ib示出了眼睛顯示出金眼現(xiàn) 象的數(shù)字圖像。圖Ic示出了眼睛顯示出半紅眼現(xiàn)象的數(shù)字圖像。圖Id示出了一只眼睛 顯示出紅眼現(xiàn)象，而另一只眼睛顯示出金眼現(xiàn)象的數(shù)字圖像。本發(fā)明的諸方面涉及改進(jìn) 用于從捕捉的數(shù)字圖像中消除這些缺陷的算法。2004 年 2 月 4 日提交的、標(biāo)題為 “ IMAGE MODIFICATIONBASED ON RED-EYE FILTER ANALYSIS，，的美國(guó)專利No.7,352,394討論了用于從數(shù)字圖像中消除如
圖Ia-圖Id所示缺陷的技術(shù)。本發(fā)明的技術(shù)包括在捕捉或捕獲圖像時(shí)存儲(chǔ)圖像捕獲數(shù)據(jù)，以及使用圖像捕獲 數(shù)據(jù)來確定如何修正諸如圖Ia-圖Id中示出的潛在缺陷。圖像捕獲數(shù)據(jù)的示例可以包括 閃光燈相對(duì)于鏡頭的位置、從閃光燈到鏡頭的距離、鏡頭的焦距、從圖像捕獲設(shè)備上的 點(diǎn)到被拍攝的對(duì)象的距離、環(huán)境光量以及閃光燈強(qiáng)度。圖像捕獲數(shù)據(jù)可以用于確定捕捉 后如何處理圖像的動(dòng)作過程。例如，對(duì)應(yīng)于特定捕獲條件(諸如大量環(huán)境光)的圖像捕 獲數(shù)據(jù)可以確定多種缺陷修正算法中哪個(gè)算法子集要應(yīng)用于特定圖像，或者可以確定將 由特定缺陷修正算法使用的參數(shù)。本發(fā)明進(jìn)一步的技術(shù)可以包括使用圖像捕獲數(shù)據(jù)來確定動(dòng)態(tài)人體測(cè)量數(shù)據(jù)，用 以確定多種缺陷修正算法中哪個(gè)算法子集要應(yīng)用于特定圖像，或者用以確定將由特定缺 陷修正算法使用的參數(shù)。本發(fā)明進(jìn)一步的技術(shù)還可以包括使用圖像捕獲數(shù)據(jù)結(jié)合動(dòng)態(tài)人 體測(cè)量數(shù)據(jù)來確定多種缺陷修正算法中哪個(gè)算法子集要應(yīng)用于特定圖像，或者確定將由 特定缺陷修正算法使用的參數(shù)。圖2示出了圖示實(shí)施本發(fā)明的諸方面的方法的流程圖。該方法包括利用便攜式 數(shù)字圖像捕獲設(shè)備(諸如照相機(jī)或智能手機(jī))捕捉數(shù)字圖像(塊210)。該方法進(jìn)一步包括存儲(chǔ)與捕捉的數(shù)字圖像相關(guān)聯(lián)的圖像捕獲數(shù)據(jù)(塊220)，以及確定與該捕捉的圖像相 關(guān)聯(lián)的動(dòng)態(tài)人體測(cè)量數(shù)據(jù)(塊230)。動(dòng)態(tài)人體測(cè)量數(shù)據(jù)可以從圖像捕獲數(shù)據(jù)推導(dǎo)出， 基于捕獲的數(shù)字圖像的內(nèi)容來確定，或者以本領(lǐng)域公知的任何其他方式來確定?；趫D 像捕獲數(shù)據(jù)和動(dòng)態(tài)人體測(cè)量數(shù)據(jù)，可以確定是否以及如何對(duì)數(shù)字圖像執(zhí)行修正動(dòng)作(塊 240)。本發(fā)明的一個(gè)潛在實(shí)施方式可以包括一個(gè)或多個(gè)處理器可讀介質(zhì)，其具有嵌入 其中的代碼，用于對(duì)處理器編程以執(zhí)行方法，該方法包括步驟在某一時(shí)刻捕獲數(shù)字圖 像，存儲(chǔ)描述該時(shí)刻的條件的圖像捕獲數(shù)據(jù)，確定數(shù)字圖像中的眼睛注視角度，以及至 少部分基于圖像捕獲數(shù)據(jù)和眼睛注視角度來確定修正動(dòng)作的過程。本發(fā)明的另一潛在實(shí)施方式可以包括一個(gè)或多個(gè)處理器可讀介質(zhì)，其具有嵌入 其中的代碼，用于對(duì)處理器編程以執(zhí)行方法，該方法包括步驟檢測(cè)指示捕獲圖像的時(shí) 刻的環(huán)境光的值，將該值與該圖像相關(guān)聯(lián)地存儲(chǔ)，以及至少部分基于該值來確定動(dòng)作過 程。本發(fā)明的又一潛在實(shí)施方式可以包括一個(gè)或多個(gè)處理器可讀介質(zhì)，其具有嵌入 其中的代碼，用于對(duì)處理器編程以執(zhí)行方法，該方法包括步驟存儲(chǔ)指示光源相對(duì)于鏡 頭的位置的值，使用該值來識(shí)別半紅眼缺陷的預(yù)期方位，以及至少部分基于該預(yù)期方位 來識(shí)別圖像中的缺陷候選。本發(fā)明的再一潛在實(shí)施方式可以包括一個(gè)或多個(gè)處理器可讀介質(zhì)，其具有嵌入 其中的代碼，用于對(duì)處理器編程以執(zhí)行方法，該方法包括步驟在某一時(shí)刻捕獲數(shù)字圖 像；存儲(chǔ)圖像捕獲數(shù)據(jù)，其中該圖像捕獲數(shù)據(jù)包括以下中的至少一個(gè)光源相對(duì)于鏡 頭的位置，從光源到鏡頭的距離，鏡頭的焦距，從數(shù)字圖像捕獲設(shè)備上的點(diǎn)到對(duì)象的距 離，環(huán)境光量或閃光燈強(qiáng)度；確定動(dòng)態(tài)人體測(cè)量數(shù)據(jù)，其中該動(dòng)態(tài)人體測(cè)量數(shù)據(jù)包括有 關(guān)在所述時(shí)刻捕捉的、所述圖像中呈現(xiàn)的一個(gè)或多個(gè)人的、一個(gè)或多個(gè)動(dòng)態(tài)改變的人體 測(cè)量結(jié)果；以及，至少部分基于圖像捕獲數(shù)據(jù)和動(dòng)態(tài)人體測(cè)量數(shù)據(jù)來確定修正動(dòng)作的過 程。本發(fā)明的其他潛在實(shí)施方式包括便攜式數(shù)字圖像捕獲設(shè)備，其包括鏡頭、數(shù)字 成像捕捉裝置、用于在圖像捕捉期間提供照明的光源，以及用于執(zhí)行存儲(chǔ)在處理器可讀 介質(zhì)上的操作的邏輯，該介質(zhì)具有嵌入其中的代碼，用于對(duì)處理器進(jìn)行編程以執(zhí)行方 法。圖像捕獲數(shù)據(jù)本發(fā)明的技術(shù)包括諸如在便攜式數(shù)字捕獲設(shè)備上的存儲(chǔ)器中存儲(chǔ)與捕捉的數(shù)字 圖像相關(guān)聯(lián)的各種類型的圖像捕獲數(shù)據(jù)。圖像捕獲數(shù)據(jù)例如可以存儲(chǔ)為與圖像文件相關(guān) 聯(lián)的元數(shù)據(jù)。圖像捕獲數(shù)據(jù)的示例包括但不限于閃光燈相對(duì)于鏡頭的位置、閃光燈離鏡 頭的距離、鏡頭的焦距、到正在拍攝的對(duì)象的距離、環(huán)境光量以及閃光燈強(qiáng)度?？梢源鎯?chǔ)的一類圖像捕獲數(shù)據(jù)是閃光燈相對(duì)于捕捉數(shù)字圖像的鏡頭的位置。圖 3a和圖3b圖示了針對(duì)便攜式數(shù)字圖像捕獲設(shè)備300a-300b的兩種可能的配置。在圖3a的 便攜式數(shù)字圖像捕獲設(shè)備300a中，閃光燈301a位于鏡頭302a—側(cè)，而在圖3b的便攜式 數(shù)字圖像捕獲設(shè)備300b中，閃光燈301b直接位于鏡頭302b上方。當(dāng)圖中的便攜式數(shù)字 捕獲設(shè)備300a-300b被旋轉(zhuǎn)90度時(shí)(例如在拍攝側(cè)面像圖片時(shí))，圖3a中的閃光燈301a4/8頁(yè)
將在鏡頭302下方，而圖3b中的閃光燈301b將在鏡頭302b的一側(cè)。如稍后將更詳細(xì)討 論的，已知鏡頭與閃光燈的相對(duì)位置可以幫助識(shí)別特定類型的眼睛缺陷現(xiàn)象。例如，位 于鏡頭一側(cè)的閃光燈更有可能產(chǎn)生類似于圖4a的半紅眼現(xiàn)象，而位于鏡頭上方的閃光燈 更有可能產(chǎn)生類似于圖4b示出的半紅眼現(xiàn)象?？梢源鎯?chǔ)的另一類圖像捕獲數(shù)據(jù)是鏡頭與閃光燈之間的距離。例如，在圖3a 中，鏡頭302a與閃光燈30Ia之間的距離由虛線303a示出，而在圖3b中，鏡頭302b與 閃光燈301b之間的距離由虛線303b示出。取決于執(zhí)行各種缺陷修正算法的特定設(shè)備的 配置，閃光燈與鏡頭之間的距離可以是恒定的，在這種情況下，該距離可以由設(shè)備設(shè)計(jì) 方進(jìn)行存儲(chǔ)而無需在每次圖像捕獲時(shí)動(dòng)態(tài)計(jì)算。在具有可移動(dòng)鏡頭或閃光燈或用于外部 鏡頭或閃光燈的連接機(jī)構(gòu)的其他便攜式數(shù)字捕獲設(shè)備中，該距離可以在每次圖像捕獲時(shí) 動(dòng)態(tài)計(jì)算。可以存儲(chǔ)的另一類圖像捕獲數(shù)據(jù)是由便攜式數(shù)字圖像捕獲設(shè)備在拍攝照片時(shí)刻 測(cè)量的環(huán)境照明。測(cè)量可以由光傳感器執(zhí)行，諸如電荷耦合器件(CCD)傳感器或互補(bǔ)金 屬氧化物半導(dǎo)體(CMOS)傳感器，其可以將光信息轉(zhuǎn)換為電子編碼，諸如指示光值或曝 光值的值?？梢源鎯?chǔ)的另一類圖像捕獲數(shù)據(jù)是鏡頭的焦距。大部分?jǐn)?shù)字圖像捕獲設(shè)備具有 可變焦距的鏡頭。本發(fā)明的技術(shù)包括存儲(chǔ)指示要在后捕捉圖像分析中使用的焦距的值。 可以存儲(chǔ)的又一類圖像捕獲數(shù)據(jù)是便攜式數(shù)字捕獲設(shè)備上的點(diǎn)(諸如鏡頭)與正被拍攝的 對(duì)象之間的距離。大部分?jǐn)?shù)字圖像捕獲設(shè)備包括用于與自動(dòng)對(duì)焦機(jī)構(gòu)一起使用的距離分 析器。本發(fā)明的技術(shù)包括存儲(chǔ)指示要在后捕捉圖像分析中使用的、設(shè)備上的點(diǎn)與對(duì)象之 間的距離的值。使用圖像捕獲數(shù)據(jù)來確定尋找哪種缺陷現(xiàn)象本發(fā)明的技術(shù)包括使用圖像捕獲數(shù)據(jù)以輔助確定要尋找什么缺陷現(xiàn)象。指示閃 光燈相對(duì)于鏡頭的位置的捕獲數(shù)據(jù)例如可以用于確定某些缺陷的方位。例如，如果閃光 燈位于鏡頭上方，則半紅眼的淡黃色部分將是眼睛的略下部分，反之亦然。如果閃光燈 位于鏡頭左方，則半紅眼的淡黃色部分將是眼睛的右方部分，反之亦然。圖5示出了閃 光燈在鏡頭右方(501)、在鏡頭左方(502)、在鏡頭下方(503)、在鏡頭上方(504)、在鏡 頭右上方(505)、在鏡頭左上方(506)、在鏡頭左下方(507)或在鏡頭右下方(508)時(shí)出 現(xiàn)的各種半紅眼現(xiàn)象。此信息可以用于確定期望的半紅眼的紅-黃梯度，其可以用于降低對(duì)錯(cuò)誤肯定 的檢測(cè)。存在通過檢測(cè)形成特定形狀并因此指示半紅眼的黃/紅顏色像素分組來檢測(cè)半 紅眼的算法。指示半紅眼的分組的紅_黃梯度可以與用于識(shí)別錯(cuò)誤肯定的預(yù)期紅_黃梯 度進(jìn)行比較。例如，如果檢測(cè)的分組具有從左到右或從上到下的紅-黃梯度，但是預(yù)期 的紅-黃梯度是從右到左，則可以將此具有非從右到左梯度的分組識(shí)別為非半紅眼，并 且由此不改變。確實(shí)具有從右到左的紅-黃梯度的檢測(cè)到的分組可以經(jīng)歷圖像修改以修 正缺陷。本發(fā)明的技術(shù)進(jìn)一步包括使用圖像捕獲數(shù)據(jù)來確定潛在缺陷的色譜。例如，鏡 頭和閃光燈之間的距離影響紅眼缺陷的色譜。圖6a示出了針對(duì)閃光燈到鏡頭距離為2cm 的紅眼缺陷的常見色譜，圖6b示出了針對(duì)閃光燈到鏡頭距離為5cm的所捕捉圖像中的合成缺陷。通過已知對(duì)特定缺陷預(yù)期的色譜，可以改進(jìn)算法。例如，在配置用于在形狀范 圍內(nèi)尋找色譜的紅眼消除算法中，可以基于圖像捕獲數(shù)據(jù)來縮小尋找的色譜，由此減少 錯(cuò)誤肯定的數(shù)量。 使用圖像捕獲數(shù)據(jù)來確定動(dòng)態(tài)人體測(cè)量數(shù)據(jù)人體測(cè)量學(xué)通常定義為研究人體測(cè)量以在人類學(xué)分類和比較中使用。靜態(tài)人體 測(cè)量數(shù)據(jù)，諸如眼睛寬度與眼睛間距的比例或眼睛大小與頭部大小的比例，可以基于對(duì) 在圖像中其他檢測(cè)到的人物對(duì)象的分析來提供有關(guān)對(duì)象是否是眼睛的良好指示。然而， 大部分人體測(cè)量數(shù)據(jù)是動(dòng)態(tài)的，并且會(huì)根據(jù)捕捉圖像的條件而改變。例如，瞳孔大小不 是恒定的，其隨著光而改變，而眼睛注視會(huì)基于對(duì)象如何旋轉(zhuǎn)其眼睛而改變。本發(fā)明的技術(shù)包括使用圖像捕獲數(shù)據(jù)來估計(jì)或確定動(dòng)態(tài)人體測(cè)量數(shù)據(jù)，諸如瞳 孔大小。瞳孔大小可以基于描述捕捉圖像時(shí)刻的環(huán)境光條件的圖像捕獲數(shù)據(jù)而合理地估 計(jì)。已知瞳孔大小隨著對(duì)象的視場(chǎng)中的光量而變化。圖7示出了這種變化示例的曲線 圖。指示環(huán)境光的檢測(cè)值與估計(jì)的瞳孔大小之間的關(guān)系數(shù)據(jù)可以存儲(chǔ)在數(shù)字圖像捕獲設(shè) 備上，使得如果環(huán)境光量是已知的，則可以確定估計(jì)的對(duì)象上的瞳孔大小。所估計(jì)的對(duì)象上的瞳孔大小繼而可以以各種方式實(shí)現(xiàn)在缺陷修正算法中。例 如，閃光燈引起的眼睛缺陷歸因于來源于閃光燈、從視網(wǎng)膜反射并到達(dá)鏡頭的光。因 此，如果閃光燈、視網(wǎng)膜和鏡頭之間的角度足夠小，則光不可能到達(dá)鏡頭，也就不會(huì)出 現(xiàn)眼睛缺陷。這通常發(fā)生在對(duì)象非常接近照相機(jī)或?qū)ο蟮耐追浅＊M窄時(shí)。閃光燈引起 的缺陷很少出現(xiàn)在大白天下，這部分地是因?yàn)橐暰W(wǎng)膜高度收縮。本發(fā)明的技術(shù)包括使用 此事實(shí)來檢測(cè)和修正閃光燈引起的眼睛缺陷。盡管臨界角度隨著某些物理特性(諸如眼 睛顏色)而稍微變化，但是可以估計(jì)健康成人的正常上限。例如，白種人的上限可能是 大約3度。對(duì)于給定的對(duì)象上的瞳孔大小和閃光燈到鏡頭的距離，存在可能出現(xiàn)眼睛中 的缺陷的照相機(jī)與對(duì)象之間的最小距離(也稱為臨界距離)。使用基本幾何計(jì)算法，可以 使用以下公式來計(jì)算臨界距離。臨界距離=(閃光燈鏡頭距離-對(duì)象上瞳孔大小)/[2atan(臨界角度/2)]如上所述，閃光燈鏡頭距離是閃光燈與鏡頭之間的距離，其可以由設(shè)備設(shè)計(jì)方 進(jìn)行存儲(chǔ)或者在圖像捕捉時(shí)刻動(dòng)態(tài)計(jì)算。使用估計(jì)的臨界角度和估計(jì)的對(duì)象上瞳孔大 小，可以計(jì)算臨界距離。至少部分地基于臨界距離以及鏡頭與對(duì)象之間的距離，可以確 定動(dòng)作過程。例如，如果存儲(chǔ)在圖像捕獲數(shù)據(jù)中的鏡頭與對(duì)象之間的距離值小于針對(duì)所 確定的臨界距離的閾值，則不需要對(duì)捕捉的圖像應(yīng)用缺陷修正算法。不執(zhí)行不必需的缺 陷修正算法節(jié)省了用戶時(shí)間，減少了拍攝之間的時(shí)間，并且降低了功耗。不執(zhí)行不必需 的缺陷修正算法進(jìn)一步消除了算法識(shí)別錯(cuò)誤肯定并對(duì)不應(yīng)當(dāng)改變的圖像部分進(jìn)行改變的 任何機(jī)會(huì)。與對(duì)象上的瞳孔大小有關(guān)的動(dòng)態(tài)人體測(cè)量數(shù)據(jù)也可以與其他圖像捕獲數(shù)據(jù)(諸 如鏡頭焦距)一起使用，以確定對(duì)圖像內(nèi)瞳孔大小的估計(jì)。估計(jì)的圖像內(nèi)瞳孔大小繼而 可以用在設(shè)置最大缺陷大小的算法中。大部分算法利用預(yù)期的最大缺陷大小來輔助確定 候選缺陷是實(shí)際的缺陷還是錯(cuò)誤肯定。假設(shè)候選缺陷實(shí)際上不表示人類眼睛或眼睛的一 部分(諸如瞳孔)，如果候選缺陷的大小大于預(yù)期的最大缺陷大小，則將不會(huì)改變指示 閃光燈引入的缺陷的候選缺陷。大部分設(shè)備利用絕對(duì)最大值，因此覆蓋了所有可能的情況，并且不會(huì)遺漏缺陷。如在本發(fā)明的一個(gè)實(shí)施方式中所描述，通過人體測(cè)量數(shù)據(jù)和 圖像捕獲數(shù)據(jù)確定的估計(jì)的圖像內(nèi)瞳孔大小允許基于捕捉圖像時(shí)的條件來減小絕對(duì)最大 值，由此顯著地減少由特定缺陷修正算法檢測(cè)的錯(cuò)誤肯定的數(shù)目，而不會(huì)減少由此缺陷 修正算法檢測(cè)的正確肯定的數(shù)目。結(jié)合眼睛注視測(cè)量來使用圖像捕獲數(shù)據(jù)本發(fā)明的技術(shù)進(jìn)一步包括使用圖像捕獲數(shù)據(jù)并結(jié)合其他確定的動(dòng)態(tài)人體測(cè)量數(shù) 據(jù)，諸如眼睛注視測(cè)量，以確定特定類型的缺陷會(huì)存在的可能性。例如可以通過在檢測(cè) 的臉部區(qū)域上添加主動(dòng)外觀模型(AAM)來測(cè)量眼睛注視。根據(jù)AAM，可以測(cè)量眼睛轉(zhuǎn) 動(dòng)和臉部轉(zhuǎn)動(dòng)以確定整體眼睛注視。該眼睛注視信息可以提供有利的信息，尤其是有關(guān) 對(duì)圖像應(yīng)用紅眼過濾器，或在兩個(gè)成對(duì)紅眼候選之間調(diào)和差異。眼睛的不同區(qū)域可以導(dǎo)致不同類型的缺陷。例如，包含大量血管的視網(wǎng)膜很可 能導(dǎo)致紅眼缺陷，而不包含血管的其他區(qū)域很可能導(dǎo)致白眼或黃眼缺陷。通過確定眼睛 的注視角度，可以確定在圖像捕捉期間、眼睛中會(huì)將光反射回鏡頭的區(qū)域。具備此信 息，可以確定應(yīng)當(dāng)還是不應(yīng)當(dāng)應(yīng)用紅眼過濾器，是否應(yīng)當(dāng)應(yīng)用除紅眼過濾器之外的過濾
m 坐坐
^fr，O圖8a示出了眼睛注視直接對(duì)著鏡頭并且閃光以微小角度進(jìn)入眼睛的常見情形， 閃光刺激視網(wǎng)膜的血管，由此創(chuàng)造可能導(dǎo)致紅眼缺陷的條件。圖8b示出了直接對(duì)準(zhǔn)閃光 的眼睛軸線，其中對(duì)象的眼睛注視稍微偏左(從圖像捕獲設(shè)備的角度)，但是閃光直接落 在視網(wǎng)膜后面，閃光仍然刺激潛在導(dǎo)致紅眼缺陷的視網(wǎng)膜血管。在圖8c中，注視角度向 左方進(jìn)一步擴(kuò)展幾度，并且閃光現(xiàn)在直接入射在與視網(wǎng)膜區(qū)域相對(duì)的眼睛盲點(diǎn)區(qū)域。盲點(diǎn)常常與軸偏移幾度，并且導(dǎo)致與視網(wǎng)膜不同類型的缺陷。在圖9中給出了 對(duì)測(cè)量的眼睛注視角度、盲點(diǎn)偏移以及對(duì)象與照相機(jī)的距離之間的關(guān)系的更精確計(jì)算。盲點(diǎn)偏移為A2，其對(duì)于特定人員可以是常數(shù)，可以基于平均值對(duì)其進(jìn)行估計(jì)。 眼睛注視角度是Al，到對(duì)象的距離是D。閃光燈與照相機(jī)鏡頭之間的間距是S(未示 出)。S和D的值可以從存儲(chǔ)的圖像捕獲數(shù)據(jù)中獲得。
Stan(4 -A2) = -由此
f S)A1 -A2 =tan_1 —
J或者眼睛注視角度Al與S、D和A2相關(guān)，其為A1 = tan"1 — + A2
J下面給出了用于tan—YS/D)項(xiàng)的示例值的表，其中tan—HS/D)項(xiàng)表示鏡頭到閃光 燈距離的角度貢獻(xiàn)(度)對(duì)眼睛注視角度。
DS = 0.025mS = 0.05S = 0.075S = 0.1權(quán)利要求
1.一種便攜式數(shù)字圖像捕獲設(shè)備，包括 鏡頭；數(shù)字成像捕捉裝置；用于在圖像捕捉期間提供照明的光源；用于執(zhí)行以下操作的邏輯在一時(shí)刻捕獲數(shù)字圖像；存儲(chǔ)描述所述時(shí)刻的條件的圖像捕獲數(shù)據(jù)；確定所述數(shù)字圖像中的眼睛注視角度；至少部分基于所述圖像捕獲數(shù)據(jù)和眼睛注視角度來確定動(dòng)作過程。
2.如權(quán)利要求1的便攜式數(shù)字圖像捕獲設(shè)備，其中所述邏輯包括執(zhí)行軟件指令的一個(gè) 或多個(gè)處理器。
3.如權(quán)利要求1的便攜式數(shù)字圖像捕獲設(shè)備，進(jìn)一步包括用于確定所述眼睛注視角度 是否大于一個(gè)值的邏輯，其中所述動(dòng)作過程包括響應(yīng)于確定所述眼睛注視角度大于所述 值而執(zhí)行以下操作中的至少一個(gè)分析所述圖像以識(shí)別黃眼缺陷候選；或 分析所述圖像以識(shí)別金眼缺陷候選。
4.如權(quán)利要求3的便攜式數(shù)字圖像捕獲設(shè)備，其中 所述圖像捕獲數(shù)據(jù)包括從所述便攜式圖像捕獲設(shè)備到對(duì)象的距離，以及 所述光源與鏡頭之間的間隔；以及 所述值至少部分基于所述距離和所述間隔而確定。
5.如權(quán)利要求1的便攜式數(shù)字圖像捕獲設(shè)備，進(jìn)一步包括用于確定所述眼睛注視角度 是否小于一個(gè)值的邏輯，其中所述動(dòng)作過程包括響應(yīng)于確定所述眼睛注視角度小于所述 值而分析所述圖像以識(shí)別紅眼缺陷候選。
6.如權(quán)利要求1的便攜式數(shù)字圖像捕獲設(shè)備，進(jìn)一步包括用于確定所述眼睛注視角度 是否大于一個(gè)值的邏輯，其中所述動(dòng)作過程包括響應(yīng)于確定所述眼睛注視角度大于所述 值而分析所述圖像以識(shí)別除紅眼缺陷候選之外的閃光燈_眼睛缺陷候選。
7.如權(quán)利要求1的便攜式數(shù)字圖像捕獲設(shè)備，進(jìn)一步包括用于以下操作的邏輯 識(shí)別所述圖像中的眼睛對(duì)，所述眼睛對(duì)包括第一只眼睛和第二只眼睛；確定所述第一只眼睛的眼睛注視角度指示有可能存在第一類缺陷； 確定所述第二只眼睛的眼睛注視角度指示有可能存在第二類缺陷； 分析所述圖像以確定所述圖像是否包含所述第一類缺陷；以及 分析所述圖像以確定所述圖像是否包含所述第二類缺陷。
8.如權(quán)利要求1的便攜式數(shù)字圖像捕獲設(shè)備，其中 存儲(chǔ)描述所述時(shí)刻的條件的圖像捕獲數(shù)據(jù)包括 檢測(cè)指示所述時(shí)刻的環(huán)境光的值；以及存儲(chǔ)所述值；所述便攜式數(shù)字圖像捕獲設(shè)備包括用于以下操作的邏輯 將所述值與所述圖像相關(guān)聯(lián)；至少部分基于所述值來確定動(dòng)作過程。
9.如權(quán)利要求8的便攜式數(shù)字圖像捕獲設(shè)備，進(jìn)一步包括用于確定所述值是否大于閾 值的邏輯，其中所述動(dòng)作過程包括如果所述值大于所述閾值則不改變所述數(shù)字圖像。
10.如權(quán)利要求8的便攜式數(shù)字圖像捕獲設(shè)備，進(jìn)一步包括用于確定所述值是否小于 閾值的邏輯，其中所述動(dòng)作過程包括如果所述值小于所述閾值則分析所述圖像以識(shí)別閃 光燈_眼睛缺陷候選。
11.如權(quán)利要求8的便攜式數(shù)字圖像捕獲設(shè)備，進(jìn)一步包括用于以下操作的邏輯 確定指示圖像捕捉裝置與對(duì)象之間的距離的第二值；存儲(chǔ)所述第二值；使用所述值來確定對(duì)象上的瞳孔大??； 使用所述對(duì)象上的瞳孔大小和所述第二值來確定臨界距離； 至少部分基于所述臨界距離來確定是否對(duì)所述圖像執(zhí)行修正動(dòng)作。
12.如權(quán)利要求8的便攜式數(shù)字圖像捕獲設(shè)備，進(jìn)一步包括用于以下操作的邏輯 確定指示圖像捕捉裝置與對(duì)象之間的距離的第二值；確定指示鏡頭焦距的第三值； 存儲(chǔ)所述第二值和所述第三值；使用所述值、所述第二值和所述第三值來確定圖像中的瞳孔大小；以及 至少部分基于所述圖像中的瞳孔大小來識(shí)別所述圖像中的缺陷。
13.如權(quán)利要求1的便攜式數(shù)字圖像捕獲設(shè)備，進(jìn)一步包括用于以下操作的邏輯 存儲(chǔ)指示所述光源相對(duì)于所述鏡頭的位置的值；使用所述值來識(shí)別半紅眼缺陷的預(yù)期方位；以及 至少部分基于所述預(yù)期方位來識(shí)別所述圖像中的缺陷候選。
14.一個(gè)或多個(gè)處理器可讀介質(zhì)，其具有嵌入其中的代碼，用于對(duì)處理器編程以執(zhí)行 任一前述權(quán)利要求所述的操作。
15.—個(gè)或多個(gè)處理器可讀介質(zhì)，其具有嵌入其中的代碼，用于對(duì)處理器編程以執(zhí)行 方法，所述方法包括檢測(cè)指示捕獲圖像的時(shí)刻的環(huán)境光的值； 將所述值與所述圖像相關(guān)聯(lián)地存儲(chǔ)； 至少部分基于所述值來確定動(dòng)作過程。
16.如權(quán)利要求15的一個(gè)或多個(gè)介質(zhì)，進(jìn)一步包括嵌入其中的代碼，用于對(duì)處理器編 程以執(zhí)行方法，包括確定所述值是否大于閾值，其中所述動(dòng)作過程包括如果所述值大于所述閾值則不改 變所述數(shù)字圖像。
17.如權(quán)利要求15的一個(gè)或多個(gè)介質(zhì)，進(jìn)一步包括嵌入其中的代碼，用于對(duì)處理器編 程以執(zhí)行方法，包括確定所述值是否小于閾值，其中所述動(dòng)作過程包括如果所述值小于所述閾值則分析 所述圖像以識(shí)別閃光燈_眼睛缺陷候選。
18.如權(quán)利要求15的一個(gè)或多個(gè)介質(zhì)，進(jìn)一步包括嵌入其中的代碼，用于對(duì)處理器編 程以執(zhí)行方法，包括至少部分基于所述值來確定對(duì)象上的瞳孔大?。?至少部分基于所述對(duì)象上的瞳孔大小來確定是否執(zhí)行修正動(dòng)作。
19.如權(quán)利要求15的一個(gè)或多個(gè)介質(zhì)，進(jìn)一步包括嵌入其中的代碼，用于對(duì)處理器編 程以執(zhí)行方法，包括至少部分基于所述值來確定對(duì)象上的瞳孔大?。?確定指示圖像捕捉裝置與對(duì)象之間的距離的第二值； 存儲(chǔ)所述第二值；至少部分基于所述對(duì)象上的瞳孔大小和所述第二值來確定臨界距離； 至少部分基于所述臨界距離來確定是否對(duì)所述圖像執(zhí)行修正動(dòng)作。
20.如權(quán)利要求15的一個(gè)或多個(gè)介質(zhì)，進(jìn)一步包括嵌入其中的代碼，用于對(duì)處理器編 程以執(zhí)行方法，包括確定指示圖像捕捉裝置與對(duì)象之間的距離的第二值； 確定指示鏡頭焦距的第三值； 存儲(chǔ)所述第二值和所述第三值；至少部分基于所述值、所述第二值和所述第三值來確定圖像中的瞳孔大小； 至少部分基于所述圖像中的瞳孔大小來識(shí)別所述圖像中的缺陷。
21.如權(quán)利要求20的一個(gè)或多個(gè)介質(zhì)，其中識(shí)別缺陷的步驟包括在所述圖像中僅搜索 具有與所述圖像中的瞳孔大小相同或更小的缺陷。
22.—個(gè)或多個(gè)處理器可讀介質(zhì)，其具有嵌入其中的代碼，用于對(duì)處理器編程以執(zhí)行 檢測(cè)圖像中的潛在缺陷的方法，所述方法包括存儲(chǔ)指示光源相對(duì)于鏡頭的位置的值；使用所述值來識(shí)別半紅眼缺陷的預(yù)期方位；至少部分基于所述預(yù)期方位來識(shí)別所述圖像中的缺陷候選。
23.—個(gè)或多個(gè)處理器可讀介質(zhì)，其具有嵌入其中的代碼，用于對(duì)處理器編程以執(zhí)行 檢測(cè)圖像中的潛在缺陷的方法，所述方法包括在一時(shí)刻捕獲數(shù)字圖像；存儲(chǔ)圖像捕獲數(shù)據(jù)，其中所述圖像捕獲數(shù)據(jù)包括以下中的至少一個(gè)光源相對(duì)于鏡 頭的位置、從光源到鏡頭的距離、鏡頭的焦距、從數(shù)字圖像捕獲設(shè)備上的點(diǎn)到對(duì)象的距 離、環(huán)境光量或閃光燈強(qiáng)度；確定動(dòng)態(tài)人體測(cè)量數(shù)據(jù)，其中所述動(dòng)態(tài)人體測(cè)量數(shù)據(jù)包括在所述時(shí)刻捕捉的、所述 圖像中呈現(xiàn)的一個(gè)或多個(gè)人的、一個(gè)或多個(gè)動(dòng)態(tài)改變的人體測(cè)量結(jié)果；至少部分基于所述圖像捕獲數(shù)據(jù)和所述動(dòng)態(tài)人體測(cè)量數(shù)據(jù)來確定修正動(dòng)作的過程。
24.如權(quán)利要求23的一個(gè)或多個(gè)介質(zhì)，其中所述人體測(cè)量數(shù)據(jù)包括從所述數(shù)字圖像的 內(nèi)容確定的眼睛注視角度。
25.如權(quán)利要求23的一個(gè)或多個(gè)介質(zhì)，其中所述人體測(cè)量數(shù)據(jù)包括瞳孔大小，其中所 述瞳孔大小是從所述圖像捕獲數(shù)據(jù)推導(dǎo)出的，并且其中所述圖像捕獲數(shù)據(jù)包括指示環(huán)境 光的值。
26.—種便攜式數(shù)字圖像捕獲設(shè)備，包括 鏡頭；數(shù)字成像捕捉裝置；用于在圖像捕捉期間提供照明的光源；用于執(zhí)行以下操作的邏輯檢測(cè)指示在捕獲圖像的時(shí)刻的環(huán)境光的值；將所述值與所述圖像相關(guān)聯(lián)地存儲(chǔ)；至少部分基于所述值來確定動(dòng)作過程。
27.—種便攜式數(shù)字圖像捕獲設(shè)備，包括 鏡頭；數(shù)字成像捕捉裝置；用于在圖像捕捉期間提供照明的光源；用于執(zhí)行以下操作的邏輯存儲(chǔ)指示光源相對(duì)于鏡頭的位置的值；使用所述值來識(shí)別半紅眼缺陷的預(yù)期方位；至少部分基于所述預(yù)期方位來識(shí)別所述圖像中的缺陷候選。
28.—種便攜式數(shù)字圖像捕獲設(shè)備，包括 鏡頭；數(shù)字成像捕捉裝置； 用于在圖像捕捉期間提供照明的光源； 用于執(zhí)行以下操作的邏輯 在一時(shí)刻捕獲數(shù)字圖像；存儲(chǔ)圖像捕獲數(shù)據(jù)，其中所述圖像捕獲數(shù)據(jù)包括以下中的至少一個(gè)光源相對(duì)于鏡 頭的位置、從光源到鏡頭的距離、鏡頭的焦距、從數(shù)字圖像捕獲設(shè)備上的點(diǎn)到對(duì)象的距 離、環(huán)境光量或閃光燈強(qiáng)度；確定動(dòng)態(tài)人體測(cè)量數(shù)據(jù)，其中所述動(dòng)態(tài)人體測(cè)量數(shù)據(jù)包括在所述時(shí)刻捕捉的、所述 圖像中呈現(xiàn)的一個(gè)或多個(gè)人的、一個(gè)或多個(gè)動(dòng)態(tài)改變的人體測(cè)量結(jié)果；至少部分基于所述圖像捕獲數(shù)據(jù)和所述動(dòng)態(tài)人體測(cè)量數(shù)據(jù)來確定修正動(dòng)作的過程。
全文摘要
一種用于檢測(cè)圖像中的潛在缺陷的方法和設(shè)備，包括在某一時(shí)刻捕獲數(shù)字圖像；存儲(chǔ)圖像捕獲數(shù)據(jù)，其中該圖像捕獲數(shù)據(jù)包括以下中的至少一個(gè)光源相對(duì)于鏡頭的位置，從光源到鏡頭的距離，鏡頭的焦距，從數(shù)字圖像捕獲設(shè)備上的點(diǎn)到對(duì)象的距離，環(huán)境光量或閃光燈強(qiáng)度；確定動(dòng)態(tài)人體測(cè)量數(shù)據(jù)，其中該動(dòng)態(tài)人體測(cè)量數(shù)據(jù)包括在所述時(shí)刻捕捉的、所述圖像中呈現(xiàn)的一個(gè)或多個(gè)人的、一個(gè)或多個(gè)動(dòng)態(tài)改變的人體測(cè)量結(jié)果；以及至少部分基于圖像捕獲數(shù)據(jù)和動(dòng)態(tài)人體測(cè)量數(shù)據(jù)來確定修正動(dòng)作的過程?？梢蕴峁┯糜诖_定眼睛注視角度的方法步驟和設(shè)備裝置。
文檔編號(hào)H04N1/62GK102017599SQ200980103029
公開日2011年4月13日 申請(qǐng)日期2009年1月30日 優(yōu)先權(quán)日2008年1月30日
發(fā)明者C·斯坦, F·納努, P·科爾科蘭 申請(qǐng)人:泰塞拉技術(shù)愛爾蘭有限公司