眼凝視成像的制作方法
【專利說明】眼凝視成像發(fā)明領(lǐng)域
[0001]本發(fā)明涉及用于照明、成像和檢測眼睛，例如眼瞼的相對位置、眼睛的位置和凝視方向的裝置。
[0002]發(fā)明背景
[0003]對于在例如交通工具中的駕駛員分析和個人計算機的用戶控制的技術(shù)領(lǐng)域中的若干應(yīng)用，需要獲取關(guān)于用戶眼睛凝視方向、眼睛和眼瞼的移動與用戶位置的信息。在成像和分析用戶眼睛的可能方法中，存在基于檢測角膜上的反射的一群方法。在成像系統(tǒng)和瞳孔中反射的光源之間相互關(guān)系的知識實現(xiàn)了對眼凝視方向的計算。僅使用一個相機有時難以正確確定眼凝視。這可通過使用兩個或更多個光源、可移動光源或多于一個以上的相機來解決。與單個相機裝置相比，使用兩個相機可計算對象眼睛的更準確的位置和方向。
[0004]當(dāng)光源接近成像系統(tǒng)的光軸時，在眼中將存在顯得比周圍更明亮的內(nèi)反射，這稱為亮眼效應(yīng)。如果光源從光軸充分移除，則光源將照明眼睛和周圍區(qū)域而不引起內(nèi)反射，這稱為暗眼效應(yīng)。亮眼狀況下的瞳孔可以與其周圍對比更容易檢測，但可存在在暗眼效應(yīng)狀況下在瞳孔上檢測來自光源的反射的優(yōu)點。
[0005]為獲取滿意的暗瞳圖像，光源(閃光燈)應(yīng)與相機分離，距用戶視角10度的量級。在其中使用兩個相機的情況(立體成像)下，兩個相機也應(yīng)分離約7-10度。例如，在其中人坐在距眼跟蹤器約60厘米處的使用情況下，完全成像裝置將具有在約30cm的寬度上布置的兩個相機和兩個光源。此裝置變得相對龐大且難以在空間受約束的環(huán)境(諸如汽車)中實施。
[0006]當(dāng)前的眼凝視跟蹤系統(tǒng)經(jīng)常適于研究和發(fā)展或原型使用。因此希望發(fā)展可以更適合于大規(guī)模市場(例如在汽車應(yīng)用或個人計算機中)使用的裝置。同樣重要的是維持高功能檢測速率和準確性使得不損失用戶接受度。
[0007]發(fā)明概述
[0008]本發(fā)明的一個目標是解決現(xiàn)有技術(shù)的缺陷，并提供一種盡可能緊湊的眼凝視跟蹤裝置。本發(fā)明的另一目標是維持充分的眼凝視跟蹤準確性和魯棒性。
[0009]根據(jù)本發(fā)明的第一方面，利用根據(jù)權(quán)利要求1所述的裝置和根據(jù)權(quán)利要求9所述的方法實現(xiàn)了這些和其他目標。
[0010]本發(fā)明基于以下認識:可通過在時間上分離的第一幀和第二幀獲取滿意的眼凝視圖像，只要時間上的分離相比對象的正常運動速率更短。通過在時間上分離相機的激活，第一光源和第二光源可交替使用，允許在相機和用來照明對象的光源之間的充足距離。
[0011]此外，使每個相機與布置在另一個相機處的光源一起被激活是有利的，因為這允許暗眼效應(yīng)狀況而不將裝置從相機的位置擴展。因此，裝置保持盡可能緊湊。
[0012]為將由在組合的眼凝視圖像的每個幀之間的對象移動引起的對眼凝視跟蹤的有害效應(yīng)的風(fēng)險最小化，該幀優(yōu)選地在不獲得亮眼效應(yīng)狀況的最小間隔拍攝。
[0013]表述“光源”這里理解為任何可控光源。例如，其可使用任何種類的發(fā)光二極管、有機發(fā)光二極管、閃光燈、燈泡等。每個光源可以有利地發(fā)射在不可由人眼檢測到的波長的光，使得該裝置不打擾對象，在此情況下每個相機優(yōu)選地也適于僅捕捉該波長的光或包括該波長的有限波長范圍。此外，應(yīng)理解在本發(fā)明的情境中，每個光源可包括經(jīng)布置以單個激活信號同時被激活的多個光源。
[0014]根據(jù)本發(fā)明，沒有相對于光軸布置在第一位置和第二位置之外的另外的光源。裝置在垂直于中心光軸的方向上的延伸，由此通過第一位置和第二位置來確定。
[0015]根據(jù)本發(fā)明的裝置可有利地用來檢測用戶凝視的方向。因此，裝置正在記錄的“對象”通常是頭部的至少一部分，有利地是臉部和眼睛中的至少一個。對象可稱為“用戶”，即使其可以是第二人在對該對象利用裝置，或即使該裝置自動捕捉組合的眼凝視圖像以向外部系統(tǒng)提供，或提供表示對象的眼凝視的信號。
[0016]裝置可以有利地基于所考慮的應(yīng)用而進行設(shè)計，使得位置被布置在彼此間的距離足夠提供具有暗眼效應(yīng)狀況的對象的圖像幀處，同時維持裝置緊湊和盡可能高的跟蹤準確性。另外，可選擇距離以最小化周圍臉部特征遮蔽對象的一個或兩個眼睛的視野的風(fēng)險。
[0017]表述“位置”在這里廣泛用來表示布置在此位置的相機和光源過于靠近以至于不能提供滿意的暗眼圖像。在相同位置的相機和光源之間的距離因此比在位置之間的距離小得多，通常小至少一個數(shù)量級。
[0018]根據(jù)本發(fā)明的一個實施例，在第一位置和第二位置之間的分離使得分別在對象和每個相機之間的兩條線之間形成的角度在4-9度的范圍內(nèi)。在對象和裝置之間的距離普遍在40-120cm的范圍內(nèi)。在通常的應(yīng)用中，在對象(例如用戶臉部)距裝置大約臂長的情況下，當(dāng)相機用來獲取幀時，在該相機和用來照明該對象的光源之間的分離在4-9cm的范圍內(nèi)。
[0019]在第一時間點和第二時間點之間的時間優(yōu)選地盡可能短，并且理想地不長于一個相機獲取幀所需的時間。作為例子，該所需時間可以是100-500 μ so
[0020]在一個不例性實施例中，第一相機具有第一光軸并且第二相機具有第二光軸，且第一光軸和第二光軸在由中心光軸與在第一位置和第二位置之間的直線張成的平面內(nèi)延伸。第一光軸和第二光軸可以是不平行的，并通常稍微會聚。
[0021]光源也可優(yōu)選地被定向以會聚到光軸上。
[0022]根據(jù)一個實施例，控制單元經(jīng)被布置成，通過使用第一相機和第二相機周期性順序地捕捉幀來獲取多個組合的眼凝視圖像。該裝置將因此獲取對象的視頻流。
[0023]相機將通常具有可測量的激活延遲，即在激活脈沖和實際發(fā)動幀獲取的時刻之間的延遲?？刂茊卧獌?yōu)選地適于在計及此延遲的方式下調(diào)節(jié)對相機的激活，由此將第一時間點和第二時間點之間的時間距離最小化。
[0024]進一步地，光源可具有在光源激活和對象照明之間的可測量的照明延遲，以及在光源去激活和對象去除照明之間的可測量熄滅延遲?？刂茊卧獌?yōu)選地適于在計及這些延遲的方式下調(diào)節(jié)相機的激活，由此將第一時間點和第二時間點之間的時間距離最小化。
[0025]用根據(jù)權(quán)利要求1所述的裝置和根據(jù)權(quán)利要求9所述的方法組合第一幀和第二幀的原理可外推到包括進一步的相機和/或光源的裝置。因此使用第三相機和從第三相機分離使得其不導(dǎo)致亮眼效應(yīng)狀況的光源拍攝第三幀。第三幀在第三時間點捕捉，第三時間點優(yōu)選地不比第二時間點更晚第一時間點和第二時間點之間的時間。
[0026]控制單元被有利地適配成，使得每個組合的眼凝視圖像可以以預(yù)定的圖像速率提供。非激活暫停由控制單元引入，使得在每個組合的眼凝視圖像的第一幀之間的時間對應(yīng)于預(yù)定圖像速率。
[0027]預(yù)定圖像速率通常在25-lOOOHz的范圍內(nèi)。
[0028]在本發(fā)明的情境下，“非激活暫停”是指控制單元不發(fā)送任何激活信號至任何相機或光源。
[0029]附圖簡述
[0030]將參考示出本發(fā)明的當(dāng)前優(yōu)選實施例的附圖對本發(fā)明進行更詳細的描述。
[0031]圖1是根據(jù)一個示例實施例的裝置和對象的透視圖。
[0032]圖2是根據(jù)一個示例實施例的裝置的剖面圖。
[0033]圖3是示出根據(jù)一個示例實施例的裝置的控制的流程圖。
[0034]圖4a是示出根據(jù)一個示例實施例的裝置的控制的時序圖。
[0035]圖4b是示出根據(jù)另一個示例實施例的裝置的控制的時序圖。
[0036]優(yōu)選實施方式的詳細描述
[0037]圖1示出根據(jù)本發(fā)明的實施例的用于獲取對象7的組合的眼凝視圖像的裝置1。該裝置尤其適于在暗眼效應(yīng)狀況下檢測和分析眼凝視。根據(jù)本發(fā)明的裝置可以在許多類型的應(yīng)用中實施，諸如集成在車輛儀表板中或集成在個人計算機的屏幕。然而，在所示的情況下，在無應(yīng)用情境的情況下示出裝置1指向?qū)ο?。裝置1包括控制單元2、第一相機3、第二相機4、第一光源6和第二光源5。第一相機3和第二相機4優(yōu)選地是電子圖像傳感器相機，快照型或輸送連續(xù)圖像流中的任一種。圖像可以是數(shù)字格式的，例如位圖格式，或模擬格式的，可然后例如使用抓幀器電路(未示出)將模擬格式轉(zhuǎn)變成數(shù)字格式。在所示的例子中，第一光源6和第二光源5中的每個包括四個發(fā)光二極管(LED)。由LED發(fā)射的電磁波可具有不同類型，包括IR輻射。在一些情況下，優(yōu)選該波在可見光范圍之外的相對窄的波長范圍內(nèi)，而且每個相機具有對應(yīng)于該范圍的帶通濾波器(未示出)。因為許多光源(計算機屏幕、熒光燈等)實際上僅發(fā)出可見光范圍內(nèi)的波，所以源自周圍光的影響由此進一步減輕。如果從源自波發(fā)射器的波段中的總輻射能至少是相同波段中總太陽輻射的顯著一部分，則源自其他光源(例如太陽)的影響可減輕。在具有對象照明的傳統(tǒng)布置中，使用非常大的光源以便實現(xiàn)在對象上均勻分布的高亮度有效輻射。然而，在根據(jù)本發(fā)明的裝置中，每個光源優(yōu)選地具有盡可能小的孔徑，因為這從照明度與另一光源區(qū)分。在其中LED用于以IR輻射照明對象的傳統(tǒng)布置中，通常多于20個LED可布置在矩形圖案中。在一個實施例中，每個光源中較少的LED可以是足夠的。LED的數(shù)目的范圍可以從一個到19個。為實現(xiàn)滿意的結(jié)果，重要的是由源自有效光源的照明引起的反射可通過圖像捕捉裝置區(qū)分。除上面討論的優(yōu)選地小的光源之外，組合的眼凝視圖像的質(zhì)量取決于相機捕捉高亮度“點”輻射源的能力。
[0038]返回圖1，所示的例子中的裝置1是具有在水平方向上主要延伸的矩形盒。裝置1布置在距對象7