凝視跟蹤系統(tǒng)的快速喚醒的制作方法
【專利摘要】一種凝視跟蹤系統(tǒng)(10)，響應于激活信號(A)離開低功率模式；通過約束傳感器(12)的圖像區(qū)域在短時間內(nèi)捕獲眼睛畫面的初始突發(fā)串，目的在于實現(xiàn)增加的幀速率。以正常幀速率捕獲后續(xù)眼睛畫面?；谘劬Ξ嬅娴某跏纪话l(fā)串并不基于附加像非記憶地計算第一凝視點值(G)，而可以通過考慮在前凝視點值或來自在前眼睛畫面的信息遞歸地計算后續(xù)值?？梢酝ㄟ^使用相同或不同傳感器(14)捕獲的初步概覽畫面來指導對圖像面積的約束。該系統(tǒng)可以從凝視點值中導出要提供給具有視覺顯示器(23)的計算機設備(20)的控制信號(C)。
【專利說明】凝視跟蹤系統(tǒng)的快速喚醒
【技術領域】
[0001]本文公開的本發(fā)明總體上涉及用于向計算機系統(tǒng)提供輸入數(shù)據(jù)的眼睛跟蹤(眼睛位置的確定、凝視點或凝視角度)。具體地，本發(fā)明提供了一種實現(xiàn)從凝視跟蹤系統(tǒng)的睡眠模式快速喚醒的方法，凝視跟蹤系統(tǒng)適用于確定觀看便攜式或固定個人計算機設備、電視機、車輛中的頭戴式顯示器、具有成像和計算能力的通信設備(例如，移動電話)中的近眼顯示器或顯示器的視覺顯示形成部件的觀看者的凝視點。
【背景技術】
[0002]人機接口(HMI)的眼睛跟蹤系統(tǒng)形成部件受到功耗的嚴格約束，尤其在個人計算機和電池供電設備中。許多可用的眼睛跟蹤系統(tǒng)編程為在沒有來自用戶的輸入的時間段之后進入睡眠模式。從能量經(jīng)濟的觀點，該時間段應當盡可能短，使得眼睛跟蹤系統(tǒng)在大部分時間內(nèi)應當在睡眠模式中。應當在這一點和系統(tǒng)的高響應性期望存在平衡，高響應性期望提倡在進入睡眠模式之前過去相對較長的時間段。然而如果努力降低系統(tǒng)的喚醒時間，這種折衷可能變得不那么難以實現(xiàn)。

【發(fā)明內(nèi)容】

[0003]鑒于上述考慮，本發(fā)明人做出了本發(fā)明，減少或者至少消除了已知與現(xiàn)有技術相關聯(lián)的問題。這樣，本發(fā)明的目的是提供一種眼睛跟蹤設備，該眼睛跟蹤設備在操作的所有時刻(包括任一省電或‘睡眠’模式)具有有競爭力的電力管理特性并具有針對用戶交互的較短等待時間。另一目的在于提供一種凝視跟蹤系統(tǒng)，可以集成在個人計算機系統(tǒng)(例如，臺式或膝上型計算機、平板計算機、筆記本電腦、上網(wǎng)本、超級本、一體機臺式機、電視、智能電話、個人數(shù)字助理、數(shù)字攝像機、頭戴式顯示器、近眼顯示器)而無需負擔計算機系統(tǒng)的電力性能。
[0004]這些目的中的至少一個由具有獨立權利要求中提出的特征的方法、計算機程序產(chǎn)品和凝視跟蹤系統(tǒng)來實現(xiàn)。從屬權利要求限定了本發(fā)明的實施例。
[0005]凝視跟蹤系統(tǒng)與具有光敏面的至少一個傳感器通信，光敏面布置為從與計算機設備相關聯(lián)的視覺顯示器的觀看者的頭部接收光(被反射的光)。至少一個傳感器可以是凝視跟蹤系統(tǒng)的適當部件，或者可以在系統(tǒng)外部，例如，可以作為外部組件提供。凝視跟蹤系統(tǒng)適合于根據(jù)視覺顯示器上檢測到的觀看者的凝視點，通過向計算機設備提供控制信號來控制計算機設備。
[0006]如本文所使用的，計算機設備可以包括與觀看者交互的設備，例如在執(zhí)行應用程序的個人計算機，觀看者可以經(jīng)由個人計算機中集成的或作為外圍設備提供的人機接口來控制應用程序。此外，觀看者可以經(jīng)由個人計算機中集成的或者作為外圍設備提供的人機接口與軟件、系統(tǒng)軟件或中間件交互。此外，計算機設備可以指代在凝視跟蹤系統(tǒng)與執(zhí)行這種應用程序的個人計算機之間布置的軟件或硬件接口。這樣，控制信號可以包含對觀看者的凝視點加以表示的數(shù)據(jù)，其中，下游計算機設備可以進一步處理，以確定采取什么動作。備選地，控制信號包含至少部分地從凝視點導出的、可能是適合于應用程序解譯的格式的特定計算機可讀命令。
[0007]根據(jù)示例實施例，凝視跟蹤系統(tǒng)響應于從計算機設備中一個或更多個輸入裝置接收到凝視跟蹤激活信號，離開凝視跟蹤系統(tǒng)的低功率模式(例如，睡眠模式)。凝視跟蹤系統(tǒng)捕獲觀看者頭部的一部分的概覽畫面，或者在多個觀看者的情況下，捕獲觀看者之一的頭部的至少一部分，并且導出與觀看者的眼睛區(qū)域的位置(例如，一只或兩只眼睛的眼眶、估計的位置)有關的信息。凝視跟蹤系統(tǒng)捕獲觀看者的頭部或者觀看者頭部的至少一部分的多個畫面。這樣做，凝視跟蹤系統(tǒng)從至少一個傳感器的受約束區(qū)域以第一幀速率(在實施例中，是比正常操作期間的幀速率大的幀速率)讀出數(shù)據(jù)。可以在這些區(qū)域的共同至多占據(jù)至少一個傳感器的光敏面面積的第一預定部分的意義下來約束這些區(qū)域。在本發(fā)明的實施例中，第一預定部分至多是至少一個傳感器的光敏面面積的10%?？梢愿鶕?jù)從概覽畫面導出的眼睛區(qū)域位置來定位受約束區(qū)域。接著，凝視跟蹤系統(tǒng)基于從所述多個畫面中提取的信息以及可選地基于來自概覽畫面的信息確定視覺顯示器上觀看者的凝視點的第一值；凝視跟蹤系統(tǒng)中的該操作與其他成像無關，但是可以考慮配置設定、用戶相關和設備相關校準數(shù)據(jù)和類似的系統(tǒng)常量?；谌绱舜_定的第一凝視點值，凝視跟蹤系統(tǒng)向所述計算機設備提供第一控制信號。在提供所述第一控制信號之后，凝視跟蹤系統(tǒng)繼續(xù)移動，以通過以第二幀速率(在本發(fā)明的實施例中，是正常操作期間的幀速率)操作所述至少一個傳感器來捕獲觀看者頭部的至少一部分的其他畫面。對于所述其他畫面之一，該系統(tǒng)基于來自所述其他畫面和來自至少一個在前畫面二者的信息來確定另一凝視點值。所述在前畫面可以是所述多個畫面中的畫面或者可以是所述其他畫面中的較早畫面之一。
[0008]可以將權利要求中標識為幀速率的量確定為每單位時間捕獲的、完整圖像幀的數(shù)目(不管是全傳感器還是傳感器或傳感器的受約束區(qū)域的較小部分的完整圖像幀的數(shù)目)。本發(fā)明人在圖像傳感器被劃分成像素的情況下實現(xiàn)了典型地通過每單位時間讀出的像素數(shù)目的明確或隱藏上限來確定幀速率。因此，如果僅針對受約束區(qū)域讀出數(shù)據(jù)，則上述可以以更高幀速率執(zhí)行，這縮短了喚醒過程所需的總時間。
[0009]關于制定為受約束區(qū)域的共同百分比的條件，注意以下內(nèi)容。觀察該條件的優(yōu)點在于，在光敏面的限制部分處集中可用成像資源(數(shù)據(jù)傳輸速率、處理能力)。如果通過并置(可能地部分交疊)受約束區(qū)域來覆蓋較大區(qū)域，使得受約束區(qū)域共同達到實質(zhì)上較大百分比，則成像資源不會集中在光敏面的受限區(qū)域。取而代之，在成像較大場景上花費可用資源，這會導致凝視跟蹤系統(tǒng)的較長喚醒時間或者精度劣化。此外，主要關于以下系統(tǒng)來表示數(shù)量10% (=受約束區(qū)域的共同面積/全光敏面的面積):在正常條件(例如距離)下全光敏面提供與最優(yōu)定位時觀看者整個頭部相對應的圖像尺寸。優(yōu)選地，光敏面沿水平方向也是寬度的至少兩倍。對于本領域技術人員顯而易見的是，受約束區(qū)域占據(jù)的實際百分比可以響應于(對于受約束區(qū)域的給定集合)光敏面面積的改變和/或(對于光敏面的給定區(qū)域)響應于受約束區(qū)域的集合的改變而變化。受約束區(qū)域甚至可以更小，例如，小于全光敏面面積的5%或3%。這可以縮短喚醒過程，但是也需要使用具有較小容限的設備。
[0010]在一個示例實施例中，以無狀態(tài)或無記憶方式確定第一凝視點值，而同時以有狀態(tài)或有記憶方式確定另一凝視點值。具體地，可以非遞歸地計算第一凝視點值，而同時基于觀看者頭部的在前畫面或者基于在前凝視點值遞歸地計算另一凝視點值。已知，遞歸、迭代和類似方法通過依賴于在前結(jié)果或在前輸入數(shù)據(jù)來提高精度。在本示例實施例中，顯然不能通過提供較豐富的輸入數(shù)據(jù)集合(即通過以增大的幀速率來實現(xiàn)傳感器操作)來補償?shù)谝荒朁c確定。
[0011]在一個示例實施例中，所述多個畫面包括三個連續(xù)畫面。可選地，用于確定凝視點的遞歸或迭代計算算法可以考慮相等數(shù)目的畫面，例如，一個當前畫面和兩個在前畫面。要包括的畫面數(shù)目依賴于在特定應用中確定凝視點的預期困難(可以與典型的信噪比有關)以及所需的凝視點精度。這樣，本示例實施例的變型可以包括基于觀看者的至少一個眼睛的較少或較多畫面數(shù)目的凝視點確定。
[0012]在一個示例實施例中，通過聯(lián)合濾波所述多個畫面中的畫面或者從所述畫面中導出的量來確定第一凝視點，并且通過聯(lián)合濾波所述另一畫面和至少一個在前畫面或者從所述畫面中導出的量來確定所述另一凝視點。濾波可以涉及使用有限脈沖響應濾波器或無限脈沖響應濾波器，具體是遞歸濾波器。根據(jù)以上討論，濾波可以使用在前畫面作為(部分)輸入，或者可以使用從在前畫面導出的量(例如凝視點)。聯(lián)合濾波意味著為了確定一個凝視點值由子操作組成的操作。聯(lián)合濾波并非主要指代包括對并行執(zhí)行的實例進行多次濾波并且獲得分離的最終結(jié)果的布置。這樣，設計為提供另一凝視點值并且具有當前畫面和在前畫面作為輸入的聯(lián)合濾波操作典型地考慮這兩個畫面來計算單個另一凝視點值。
[0013]在先前示例實施例的另一方案中，凝視跟蹤系統(tǒng)適合于從一個或更多個畫面導出凝視點猜測。具體地，可以從單個畫面中導出凝視點猜測；備選地，從若干畫面(例如，所述多個畫面中的所有畫面)中導出凝視點猜測?？梢允褂帽绢I域中實質(zhì)上已知的數(shù)量方法來導出凝視點猜測?；谏鲜?，凝視跟蹤系統(tǒng)通過對若干凝視點猜測進行濾波(例如，通過平均)來確定凝視點值。因此，即使已知提供每個凝視點猜測的數(shù)量方法對輸入數(shù)據(jù)(畫面)的誤差敏感，凝視跟蹤系統(tǒng)由于后續(xù)濾波在整體上也沒有數(shù)量方法敏感。在先前示例實施例的另一方案中，凝視跟蹤系統(tǒng)可以配置為僅當凝視點猜測保持在有限范圍中時才發(fā)起濾波。有效地，這是關于最大凝視漂移的條件，由此屬于掃視而不是固定或平滑追蹤的的連續(xù)眼睛畫面不會經(jīng)歷平均。如果凝視跟蹤系統(tǒng)以這樣的方式確定在眼睛的當前位置僅存在眼睛的一個畫面(即，在掃視之后)，則凝視跟蹤系統(tǒng)可以選擇捕獲眼睛的其他畫面，直到存在凝視點猜測足以關閉的足夠數(shù)目的眼睛畫面為止。備選地，凝視跟蹤系統(tǒng)可以例外輸出凝視點猜測作為凝視點。備選地，對于凝視跟蹤系統(tǒng)響應于在凝視跟蹤激活信號時刻與觀看者的凝視點有關的信息的請求的示例實施例，凝視跟蹤激活信號之后的掃視(掃視的最終部分)上的多個凝視點猜測可以用于確定掃視來自何處并且因此確定在凝視跟蹤激活信號時刻觀看者的凝視位于何處。
[0014]在一個示例實施例中，約束至少一個傳感器的區(qū)域的配置由觀看者頭部的概覽畫面來指導。如上所述，概覽畫面可以用于找到眼睛區(qū)域位置的目的。本質(zhì)并不在于哪個特定設備或組件向凝視跟蹤系統(tǒng)提供概覽畫面，而是在于若干選項是可用的。
[0015]優(yōu)選地，通過從至少一個傳感器中的全光敏面(或者超過全光敏面的50% )讀出數(shù)據(jù)來捕獲概覽畫面。例如，凝視跟蹤系統(tǒng)可以配置為基于概覽畫面將傳感器約束到觀看者的眼睛區(qū)域、一只眼睛周圍的區(qū)域或每只眼睛周圍的一個區(qū)域。為了進一步縮短喚醒過程的總持續(xù)時間，傳感器可以在其捕獲到概覽畫面時以降低的(空間)分辨率(優(yōu)選地在降低的分辨率模式中)操作。由于每個像素然后收集較寬的光束，因此會在較少時間內(nèi)聚集高于系統(tǒng)特定檢測能力閾值的激發(fā)能量?？梢酝ㄟ^重新分級(binning)來實現(xiàn)空間分辨率的降低。這需要讀出一組相鄰像素中的所有像素(或者一組相鄰像素中的每隔一個像素)作為一個虛擬像素，以便累積激發(fā)能量；相鄰像素可以分組為2X2像素組、4X4像素值、根據(jù)矩形圖案的組等中。備選地或附加地，可以通過跳過特定像素來改變分辨率。例如，能夠僅從像素子集中讀出數(shù)據(jù)，例如通過僅每隔N個像素進行讀取，從而可以在較短時間內(nèi)收集到較低分辨率的圖像。
[0016]仍關注于縮短喚醒過程，可以利用有源照明來捕獲概覽畫面。這可以通過激活至少一個朝向觀看者的頭部發(fā)射光的光源來實現(xiàn)。激活的光源優(yōu)選地具有廣角類型，提供期望增加眼睛的不同部分與環(huán)境區(qū)域之間的圖像對比度的一般照明。
[0017]通過應用分辨率降低和/或有源照明，捕獲概覽畫面所需的曝光時間可以降低到環(huán)境照明條件和全分辨率下正常曝光時間的一半。在一些實現(xiàn)方式中，曝光時間可以縮減到正常值的四分之一或者甚至更小。
[0018]作為備選實現(xiàn)方式，以深度畫面的形式捕獲概覽畫面。深度畫面可以由深度傳感器提供，深度傳感器應理解為用于提供場景的深度數(shù)據(jù)的二維陣列的設備。深度傳感器可以集成在凝視跟蹤系統(tǒng)中，或者可以例如通過計算機設備的中間物與系統(tǒng)相關聯(lián)，該中間物與該系統(tǒng)通信連接。具體地，用于消費者產(chǎn)品的深度傳感器可以包括與對于該波長范圍具有靈敏度的單色CMOS傳感器組合的紅外或近紅外激光投影儀。備選地，在可見光范圍內(nèi)發(fā)射光的照明器與對應光傳感器相結(jié)合。深度傳感器可以是測量從發(fā)射光脈沖到接收光脈沖反射的時間的渡越時間(time-of-flight)儀器。備選地，深度傳感器可以用構(gòu)造的光(例如，點圖案、條紋)照亮場景并且應用三角測量方法。備選地，深度傳感器包括兩個或更多個攝像機，并且例如基于觀看者頭部的一部分的兩個或更多個畫面立體地導出深度圖，觀看者頭部的一部分的兩個或更多個畫面是在短時間窗內(nèi)或者同時捕獲的。深度傳感器可以包括上述至少一個傳感器；例如，至少一個傳感器可以與適合的光源組合，或者可以是立體對中的一個或兩個攝像機(假定提供至少兩個攝像機)。使用深度傳感器的具體優(yōu)點在于，可以從相同深度畫面中導出附加信息，例如與眼睛的空間位置有關的信息。事實上，由于空間眼睛位置典型地比眼睛方位變化慢，因此典型地捕獲用于該目的的深度畫面的頻率比捕獲眼睛畫面的頻率慢，以便節(jié)省資源。對眼睛空間位置的估計能力可用于根據(jù)PCCR方法的凝視跟蹤和類似技術中。
[0019]在目的在于進一步縮短總喚醒時間的一個示例實施例中，凝視跟蹤激活信號觸發(fā)凝視跟蹤系統(tǒng)中的中斷。在凝視跟蹤系統(tǒng)和計算機設備利用對特定分組類型給出優(yōu)先級的協(xié)議通過總線接口通信的實現(xiàn)方式中，凝視跟蹤激活信號可以備選地(但具有同樣效果)作為優(yōu)先類型的分組傳輸。具體地，如果使用USB(通用串行總線)接口，則凝視跟蹤激活信號可以是請求類型消息，根據(jù)USB要在縮短的持續(xù)時間段內(nèi)處理請求類型消息。
[0020]在一個示例實施例中，在沒有受到嚴格約束的圖像區(qū)域上(或者甚至沒有約束的圖像區(qū)域)捕獲所述其他畫面(即，從整個光敏面或至少整個光敏面的實質(zhì)部分讀取數(shù)據(jù))。有利地，上述針對快速頭部移動使得凝視點確定更魯棒，快速頭部移動會導致在前眼睛位置的突然移位。這樣的魯棒性在傳感器以正常幀速率而不是增大的幀速率操作時尤其有用。在本示例實施例的另一發(fā)展中，根據(jù)檢測到的頭部移動自適應地擴大和/或重新定位從中讀出數(shù)據(jù)的區(qū)域。具體地，可以通過用與頭部表面處估計的瞬間移動速度(包括旋轉(zhuǎn)和平移運動)相關的大量像素進行外圍填充來擴大區(qū)域。具體地，可以通過沿著從估計的瞬間頭部速度矢量導出的方向的平移來重新定位區(qū)域(重新定位到光敏面的新位置)。具體地，可以(至少部分地基于第一凝視點值的確定)通過純粹重新定位來更新從中讀出數(shù)據(jù)以捕獲所述多個畫面的區(qū)域，其中，該區(qū)域保持固定的第一格式(表示第一面積)，而根據(jù)估計的運動方向和/或運動速度在光敏面上重復平移。當捕獲畫面以確定另一凝視點值時，所使用的與第一格式不同的固定第二格式至少表示大于第一面積的第二面積。第二面積可以至少是第一面積的1.25倍，例如，第一面積的1.5倍，例如第一面積的1.75倍，例如，第一面積的2倍，例如第一面積的3倍。備選地，第一和第二格式的不同之處在于它們包括不同數(shù)目的像素。具體地，第二格式可以包括第一格式的像素數(shù)目的至少1.25倍(例如，1.5倍、1.75倍、2倍、3倍)的像素數(shù)目。
[0021]在一個示例實施例中，第一幀速率(即，增大的幀速率)(以每單位時間幀數(shù)目為單位)與第二幀速率(即正常幀速率)之間的比率至少為2，例如至少為5，例如至少為10，例如至少為20,例如至少為50。正常巾貞速率可以近似為40Hz±10Hz,而增大的巾貞速率可以是 300Hz±IOOHz。
[0022]在一個示例實施例中，發(fā)出凝視跟蹤激活信號的輸入裝置是非凝視類型。此外，優(yōu)選地，該輸入裝置包括身體姿勢傳感器、聲學換能器、觸摸檢測器、指針設備或接近傳感器。身體姿勢傳感器例如可以是具有姿勢識別功能的用于遠程深度感測的光學系統(tǒng)。聲學換能器可以與語言識別處理器相結(jié)合來形成基于語音的輸入裝置。觸摸檢測器可以是光學、電容式或機電的，并且可以集成在視覺顯示器、觸摸板或鍵盤中。指針設備可以鼠標、操縱桿、繪制板等。接近傳感器具有在其建立與閾值距離相比身體部位更接近傳感器時產(chǎn)生正接近指示的功能。接近傳感器可以是光學類型或非光學類型，包括電容式。
[0023]在一個示例實施例中，仍關注于縮短喚醒時間，使用滾動快門類型的傳感器來捕獲所述多個圖像。滾動快門傳感器的特性與全局快門傳感器的不同之處在于，在單個時間點處而不是根據(jù)預定掃描圖案通過在傳感器上掃描來對所有像素成像。預定的掃描圖案可以沿著水平或垂直線按照某種順序。與滾動快門傳感器不同，全局快門傳感器可以嘗試通過記錄公共時間窗中整個幀來近似快照拍攝。滾動快門傳感器典型地提供更快的數(shù)據(jù)讀出，理想地(省略數(shù)據(jù)格式中的任意空白行和空白列)這可以僅由讀出區(qū)域的尺寸與數(shù)據(jù)傳輸速率的比率來限制。這允許凝視跟蹤系統(tǒng)較早地開始所述多個圖像的凝視點處理。具體地，凝視跟蹤系統(tǒng)可以在已經(jīng)讀出區(qū)域中的所有像素之前開始處理。重要地，滾動快門傳感器典型地提供比可比較的全局快門傳感器更精細的像素間距(例如，1.1ym比3μπι)。因為公知的每圖像中像素令人不愉悅的非同步性(這看起來使后續(xù)凝視點導出更困難)，因此在凝視跟蹤設備中使用滾動快門傳感器并不是顯而易見的。然而在本發(fā)明人已經(jīng)實現(xiàn)的本示例實施例中，對圖像區(qū)域的約束去除了這種對于較大程度的不便性。
[0024]在一個示例實施例中，喚醒過程以準備就緒模式結(jié)束，在準備就緒模式中凝視跟蹤系統(tǒng)保持預定時間段。凝視跟蹤系統(tǒng)在準備就緒模式中準備處理附加激活信號。附加激活信號不一定是凝視跟蹤激活信號，也可以是HMI中的信號，通過HMI觀看者與計算機設備交互。如果在預定時間段期間沒有創(chuàng)建附加激活信號，則凝視跟蹤系統(tǒng)回到低功率模式，例如，睡眠模式。類似地，如果確實已經(jīng)接收到一個或更多個附加激活信號，而在上一次時間之后預定時間段已經(jīng)過去，則系統(tǒng)具有類似行為?？梢愿鶕?jù)計算機設備的期望響應度(如果凝視跟蹤系統(tǒng)引入明顯的等待時間則計算機設備的響應度會被降低)和可用電力來選擇預定時間段的持續(xù)時間。在一個實現(xiàn)方式中，預定時間段可以持續(xù)接近30秒。在其準備就緒模式中，凝視跟蹤系統(tǒng)可以以相對較低頻率(或者幀速率)操作至少一個傳感器。例如，較低頻率可以小于較高頻率的1/2，優(yōu)選地小于1/4，例如小于1/10。這會降低至少一個傳感器(以及關聯(lián)的處理電路)對凝視跟蹤系統(tǒng)的總功耗的貢獻。另外，較低頻率可以提供足夠的精度(包括運動精度)，這是因為在前值可以指導凝視點的更新。在其準備就緒模式中，此外，凝視跟蹤系統(tǒng)可以從全傳感器或表示比全傳感器的面積小的面積區(qū)域中讀出數(shù)據(jù)。
[0025]在一個示例實施例中，提供了一種凝視跟蹤系統(tǒng)，該凝視跟蹤系統(tǒng)包括:處理器，配置為根據(jù)上述實現(xiàn)方式之一執(zhí)行喚醒過程。凝視跟蹤系統(tǒng)與至少一個傳感器相關聯(lián)，優(yōu)選地與至少一個傳感器通信連接。具體地，至少一個傳感器可以以正常幀速率選擇性地操作，其中，可以從光敏面上的區(qū)域中選擇的相對較大區(qū)域(可能包括全表面，但是備選地可以存在實現(xiàn)方式特定的區(qū)域面積上限)讀出數(shù)據(jù)，或者以增大的幀速率讀出數(shù)據(jù)，其中，從受限區(qū)域讀出數(shù)據(jù)。受限區(qū)域可以定位在光敏面上的不同位置，而具有較小面積，以實現(xiàn)幀速率增大的訴求。
[0026]在不背離本發(fā)明范圍的前提下，凝視跟蹤系統(tǒng)中的至少一個傳感器可以包括兩個或更多個子傳感器，其中，正常速率模式可以包括操作第一子傳感器，并且增大的速率模式包括操作第二子傳感器。優(yōu)選地，第一子傳感器包括比第二子傳感器更大的光敏面。
[0027]在一個示例實施例中，提供了一種用于控制上述類型的凝視跟蹤系統(tǒng)的計算機程序廣品。
[0028]應注意，本發(fā)明涉及特征(甚至彼此不同的權利要求中引述的特征)的全部組合?！緦＠綀D】

【附圖說明】
[0029]現(xiàn)在參照附圖描述本發(fā)明的示例實施例，在附圖中:
[0030]圖1是與具備視覺顯示器的計算機設備合作布置的凝視跟蹤系統(tǒng)的示意圖；
[0031]圖2示出了圖像傳感器的光敏面內(nèi)受約束區(qū)域的定位，目的在于有效率地捕獲觀看者眼睛區(qū)域的畫面；
[0032]圖3示出了深度傳感器的實現(xiàn)方式；以及
[0033]圖4是凝視跟蹤系統(tǒng)中的方法的流程圖。
[0034]所有附圖是示意性地，并且一般地僅示出闡明本發(fā)明所必需的部件，而其他部件可以省略或者僅是暗示。除非另外指示，不同附圖中類似的附圖標記指代結(jié)構(gòu)或功能上對應的元件。
【具體實施方式】
[0035]如圖1所示，根據(jù)示例實施例的凝視跟蹤系統(tǒng)10包括處理器11。處理器與光源13和兩個成像設備12、14通信連接，這兩個成像設備12、14可以在系統(tǒng)外部(并且位于相同或不同的物理設備中)，或者可以是凝視跟蹤系統(tǒng)10的內(nèi)部組件?？梢栽O想凝視跟蹤系統(tǒng)實現(xiàn)為個人計算機系統(tǒng)中的內(nèi)部軟件或硬件組件(例如，參見上文)，內(nèi)部軟件或硬件組件一方面用作針對成像設備12、14和光源13的接口，另一方面用作針對個人計算機系中的處理器的接口。凝視跟蹤系統(tǒng)10可以實現(xiàn)為在個人計算機系統(tǒng)的操作系統(tǒng)下執(zhí)行的中間件。凝視跟蹤系統(tǒng)10還可以是分布式的，使得一些任務(例如，畫面處理)可以在操作系統(tǒng)下執(zhí)行的軟件中執(zhí)行，一些任務(例如，與光源13和成像設備12、14通信)在與個人計算機系統(tǒng)相關聯(lián)的外圍單元(未示出)中布置的處理器11中執(zhí)行。處理器11可以至少根據(jù)以下選項或者以下選項的任一組合來實現(xiàn):
[0036]a) 一個或更多個成像設備(傳感器)具備具有處理能力的邏輯電路，該邏輯電路單獨或聯(lián)合在包括所附權利要求的本公開中被稱作“處理器”單元。
[0037]b)提供傳統(tǒng)單獨或集成微處理器作為凝視跟蹤系統(tǒng)中與成像設備通信的部件(與關聯(lián)的計算機系統(tǒng)分離)。微處理器可以由低級或高級語言(例如，匯編程序或C)編程，并且用作“處理器”。
[0038]c)提供與至少一個圖像傳感器通信連接的外部專用集成電路(ASIC)。將邏輯硬編碼為ASIC中的晶體管。因此，ASIC具有有限的處理能力但仍完成屬于“處理器”的任務。
[0039]d) “處理器”是計算機系統(tǒng)中CPU的硬編碼集成部件，或者以硬編碼配套芯片的形式提供給CPU。計算機系統(tǒng)可由凝視跟蹤系統(tǒng)控制。
[0040]e) “處理器”是在計算機系統(tǒng)中的CPU中執(zhí)行的軟件程序。計算機系統(tǒng)可由凝視跟蹤系統(tǒng)控制。
[0041]f)微控制器用作“處理器”。微處理器可以是單獨類型并且備選地可以集成在可由凝視跟蹤系統(tǒng)控制的計算機系統(tǒng)中。
[0042]凝視跟蹤系統(tǒng)10可以經(jīng)由有線或無線、內(nèi)部或外部連接項計算機設備20中的接口 21發(fā)送信號并從接口 21接收信號，包括接收激活信號A和發(fā)送控制信號C。如果凝視跟蹤系統(tǒng)至少部分地集成在計算機系統(tǒng)20中，則這些信號是內(nèi)部的并且可以通過內(nèi)部通信接口發(fā)送，內(nèi)部通信接口在物理上可區(qū)分(例如，總線、連接器、USB、TCP/IP、PCI)或者完全是虛擬的(例如，異常、事件、在存儲器中執(zhí)行的處理之間交換的其他軟件消息、根據(jù)預定的API語法交換的數(shù)據(jù)等)。計算機設備20還包括視覺顯示器23和指針設備22 (出于示例目的繪制為鼠標)。計算機設備20的用戶可以不時地將他或她的視覺注意對準視覺顯示器23，例如，在附圖中示出的示例凝視點G處，并且以下被稱作觀看者99。
[0043]應當指出，單獨針對圖1中示出的凝視跟蹤系統(tǒng)10、以及計算機設備20和復合系統(tǒng)尋求保護，其中，凝視跟蹤系統(tǒng)10和計算機設備20構(gòu)成兩個互連部分。注意，本發(fā)明可以以進行凝視跟蹤相關任務的處理、通信和成像硬件或軟件的不同組合來實現(xiàn)，而與它們部署在特定物理單元中無關；還針對任何以這種功能為動機的組合來尋求保護。根據(jù)不同示例實施例的凝視跟蹤系統(tǒng)10和計算機設備20的功能和結(jié)構(gòu)特性已經(jīng)在本公開的先前部分中得到了討論，并且以下進一步進行說明。
[0044]在圖1中示出的部署中，凝視跟蹤系統(tǒng)10配置為基于檢測到的凝視點G通過向計算機設備20提供控制信號C來控制計算機設備20。以上已經(jīng)討論了不同示例實施例中控制信號C的屬性。相反，計算機設備20可以通過提供激活信號A來控制凝視跟蹤系統(tǒng)10的電力狀態(tài)。如果凝視跟蹤系統(tǒng)10可在低功率模式(例如，睡眠模式)和正常模式中操作，其可以通過離開低功率模式并進入正常模式來響應激活信號A。作為另一種可能性，如果凝視跟蹤系統(tǒng)10在具有預定時間段的定時器(未示出)期滿之后進入低功率模式，則凝視跟蹤系統(tǒng)10可以通過重新開始定時器來響應正常模式中接收到的激活信號A。[0045]為了能量經(jīng)濟，計算機系統(tǒng)20可以配置為當其判定需要凝視跟蹤輸入時發(fā)出激活信號A。在一些實現(xiàn)方式中，僅檢測到觀看者的存在就足以。如上所述，激活信號A可以由語音命令、身體姿勢等交替觸發(fā)。在另一實現(xiàn)方式中，檢測到使用指針設備22或者檢測到接近指針設備22可以觸發(fā)激活信號A。具體地，如果指針設備22是用手控制的，例如，鼠標、操縱桿等，則檢測到的移動觸發(fā)激活信號A。這樣，顯示器上出現(xiàn)的指針可以跳至觀看者99的實際凝視點G，觀看者99可以在指針位置的最終手動調(diào)整之后隨后通過鼠標點擊等選擇圖形控制(例如，與要由計算機設備2-執(zhí)行的預定動作相關聯(lián))。類似地，如果指針設備22具有手指控制類型，例如，要由一個或更多個手指致動的觸摸板，手指的定位可以觸發(fā)激活信號A。響應于此，凝視跟蹤系統(tǒng)10返回對當前凝視點加以指示的控制信號C，指針立即移動到該當前凝視點(備選地，示出了一些其他視覺反饋來指示在觀看者凝視點(由于被選擇)處檢測到的圖形對象)，并且觀看者99可以在釋放手指之前通過在觸摸板上移動他或她的手指來調(diào)節(jié)指針的位置，以在GUI中選擇與要由計算機設備20執(zhí)行的預定動作相關聯(lián)的圖形元素。已經(jīng)結(jié)合手控制和手指控制的指針設備描述的兩個處理是復合系統(tǒng)中人機交互的方法，針對該復合系統(tǒng)單獨尋求保護。
[0046]成像設備12、14可以具有不同類型或相同類型。在除了圖1中示出的實施例以外的其他實施例中，凝視跟蹤系統(tǒng)10可以包括單個成像設備12 ;如上所述，如果單個成像設備12在兩種不同分辨率模式中可操作，則可以快速獲取全尺寸或接近全尺寸的概覽畫面。成像設備12、14中的至少一個負責對觀看者99的眼睛區(qū)域進行成像，以便提供用于確定凝視點G的輸入數(shù)據(jù)。如果凝視跟蹤系統(tǒng)10捕獲觀看者99的頭部或頭部的一部分的概覽畫面，則可以從外部成像設備(未示出)接收到概覽畫面，或者成像設備12、14中的至少一個配置為提供該概覽畫面。概覽畫面當然可以基于來自兩個成像設備12、14的信息。如上所述，成像設備12、14對可見光敏感，對近紅外或紅外光敏感。成像設備12、14和光源13的其他可能配置包括以下:
[0047]a)成像設備12、14是兩個高分辨率CMOS型傳感器，其輸出由三角測量來處理，以獲得深度圖。備選地，處理可以簡化為，對兩個輸出進行處理以獲得到眼睛的距離，或者將部分深度圖主要約束到眼睛區(qū)域。光源13可以在眼睛成像期間(例如，提供一般照明或角膜反射)使用。光源13備選地可以用于縮短概覽畫面的曝光時間，如上所述。
[0048]b)第一成像設備12是較高分辨率CMOS型傳感器，并且第二成像設備14是較低分辨率CMOS型傳感器。第一成像設備12提供眼睛像。通過在由來自光源13構(gòu)造或編碼的光照射觀看者99的頭部的同時操作第二成像設備14，來創(chuàng)建深度圖。作為示例，圖3示出了通過研究周期性點圖案根據(jù)入射角如何在多個表面上變換(例如，通過重新縮放和剪切)，該圖案如何用于測量場景中多個點處的深度。
[0049]c)第一成像設備12是較高分辨率CMOS型傳感器，第二成像設備14是渡越時間傳感器。在這種類型的傳感器中，光源13優(yōu)選地被模塊化并與渡越時間傳感器同步。
[0050]負責提供眼睛像的一個或更多個成像設備可以具有有限的數(shù)據(jù)輸出速率(如以每單位時間的像素為單位)，繼而限制給定圖像尺寸下的幀速率。如在本公開的其他部分中討論的，具有遞歸型方法的凝視跟蹤算法(例如，作為輸入數(shù)據(jù)的一個或更多個在前眼睛畫面連同當前眼睛畫面一起貢獻于當前凝視點值)缺乏足夠的輸入數(shù)據(jù)(例如，代替在前眼睛畫面的像)來完成期望精度下的初始凝視點計算。為了修正這一點，根據(jù)本發(fā)明的示例實施例，以增大的幀速率捕獲眼睛畫面的突發(fā)串，這能夠通過約束圖像面積來實現(xiàn)。具體地，這可以包括僅從受約束區(qū)域(或者可能地，在連續(xù)畫面之間略微不同的多個受約束區(qū)域)讀出數(shù)據(jù)，受約束區(qū)域占據(jù)成像設備中光敏面的面積的至多10%。對于圖像面積約束技術的一般討論，參照W02004/45399，雖然與本發(fā)明的降低喚醒時間的問題不相關。
[0051]為了說明這一點，圖2示出了與關聯(lián)于處理器11的兩個不同成像設備12、14的全傳感器表面30有關的受約束區(qū)域31的定位。在附圖中，受約束區(qū)域31定形為并行于全傳感器表面30定向的矩形。這種定向的優(yōu)點在于受約束區(qū)域31與傳感器表面30中最少數(shù)目的行和列相交，這減少了空白行和空白列的數(shù)量，使得有效載荷占據(jù)從每個成像設備12輸出的數(shù)據(jù)的更大百分比。可以由概覽畫面并且通過在概覽畫面中搜索視覺特征(眼眉、瞳孔、鼻子等)或者通過搜索典型地在眼睛區(qū)域中或接近眼睛區(qū)域找到的深度圖案(鼻子輪廓、眼眶等)來指導每個受約束區(qū)域31的尺寸和位置。在對包圍眼鏡區(qū)域或眼鏡區(qū)域中基準點的位置的邊界框加以限定的概覽畫面中，可以以坐標形式輸出概覽畫面中的搜索結(jié)果。然后，將這些坐標轉(zhuǎn)換為相關成像設備12的光敏面中的等同坐標。在圖2所示的情況下，由于不同定向，從相同概覽畫面的轉(zhuǎn)換可以具有不同的特性。
[0052]現(xiàn)在參照圖4，示出了根據(jù)示例實施例的凝視跟蹤系統(tǒng)中用于控制計算機設備的方法。該方法包括:響應于來自計算機設備的輸入裝置的凝視跟蹤激活信號，離開401凝視跟蹤系統(tǒng)的低功率模式；捕獲403觀看者的頭部的至少一部分的概覽畫面，并且在概覽畫面中定位觀看者的眼睛區(qū)域；以及使用至少一個傳感器以第一幀速率捕獲405觀看者頭部的至少一部分的多個畫面，從至少一個傳感器在受約束區(qū)域中讀出數(shù)據(jù)，受約束區(qū)域根據(jù)眼睛區(qū)域位置定位并且共同占據(jù)光敏面的面積的至多10%。該方法還包括:僅基于來自多個畫面的信息并且可選地基于來自概覽畫面的附加信息，確定407視覺顯示器上觀看者的第一凝視點值；基于第一凝視點值向計算機設備提供409第一控制信號；并且使用至少一個傳感器以低于第一幀速率的第二幀速率捕獲411觀看者頭部的至少一部分的其他畫面。該方法還包括以下步驟:針對另一畫面，基于來自該另一畫面的信息以及附加地基于來自至少一個在前畫面的信息確定413視覺顯示器上觀看者的另一凝視點值；并且基于另一凝視點向計算機設備提供415另一控制信號。
[0053]結(jié)合本文提出的流程圖描述的方法可以在計算機可讀介質(zhì)中實現(xiàn)，計算機可讀介質(zhì)包括用于使可編程處理器執(zhí)行所描述的方法的指令。“計算機可讀介質(zhì)”包括但不限于任何易失性或非易失性介質(zhì)，例如，RAM、ROM、CD-ROM、NVRAM、EEPROM、閃速存儲器等。指令可以實現(xiàn)為一個或更多個軟件模塊，可以由其自身或與其他軟件相結(jié)合執(zhí)行。
[0054]現(xiàn)在簡要概括具有遞歸或有記憶特性的凝視點確定算法的幾個示例，以確定第一凝視點值Gl (或者初始凝視點確定的數(shù)目)和后續(xù)凝視點值G2、G3、G4等。在這些示例中，算法任意使用在喚醒突發(fā)串期間以增大的幀速率捕獲的三個眼睛畫面B1、B2和B3以及該突發(fā)之后以正常幀速率捕獲的其他眼睛畫面N1、N2、N3。NI (N2)可以指代當要確定(第三)凝視點值G2(G3)時可用的最新眼睛畫面。在一些示例中，不同算法可以用于一方面計算第一凝視點值Gl并且另一方面計算后續(xù)凝視點值G2、G3、G4。
[0055]在表I中關于其針對不同凝視點的輸入數(shù)據(jù)來描述使用三個眼睛畫面來確定一個凝視點的第一示例算法。
【權利要求】
1.一種凝視跟蹤系統(tǒng)中用于控制與視覺顯示器相關聯(lián)的計算機設備的方法，所述凝視跟蹤系統(tǒng)包括具有光敏面的至少一個傳感器，布置為接收來自視覺顯示器的觀看者頭部的光，其中: 在所述凝視跟蹤系統(tǒng)處響應于來自所述計算機設備的輸入裝置的凝視跟蹤激活信號，離開所述凝視跟蹤系統(tǒng)的低功率模式； 捕獲觀看者頭部的至 少一部分的概覽畫面，并且在概覽畫面中定位觀看者的眼睛區(qū)域； 使用所述至少一個傳感器以第一幀速率捕獲觀看者頭部的至少一部分的多個畫面，其中從所述至少一個傳感器在受約束區(qū)域中讀出數(shù)據(jù)，所述受約束區(qū)域根據(jù)眼睛區(qū)域位置來定位，并且受約束區(qū)域共同占據(jù)光敏面的面積的至多10% ； 僅基于來自所述多個畫面的信息并且可選地基于來自概覽畫面的附加信息，確定視覺顯示器上所述觀看者的第一凝視點值； 基于所述第一凝視點值向計算機設備提供第一控制信號； 使用所述至少一個傳感器以比所述第一幀速率低的第二幀速率捕獲觀看者頭部的至少一部分的其他畫面； 針對其他畫面，基于來自所述其他畫面的信息并且附加地基于至少一個在前畫面的信息，確定所述觀看者的另一凝視點值；并且 基于所述另一凝視點值向計算機設備提供另一控制信號。
2.根據(jù)權利要求1所述的方法，其中，所述捕獲其他畫面包括:從光敏面的約束少或者沒有約束的區(qū)域中讀出數(shù)據(jù)。
3.根據(jù)權利要求2所述的方法，其中，通過從光敏面中具有第一面積的區(qū)域讀出數(shù)據(jù)來捕獲所述多個畫面，并且通過從具有第二面積的區(qū)域讀出數(shù)據(jù)來捕獲所述其他畫面，第一面積比第二面積小。
4.根據(jù)前述權利要求中任一項所述的方法，其中，第一幀速率與第二幀速率之間的比率至少為2，優(yōu)選地至少為5，并且最優(yōu)選地至少為10。
5.根據(jù)前述權利要求中任一項所述的方法，其中: 通過對所述多個畫面中的畫面或從所述畫面中導出的量進行聯(lián)合濾波并且可選地基于來自概覽畫面的附加信息，確定所述第一凝視點；并且 通過對所述其他畫面和至少一個在前畫面或者從所述畫面導出的量進行聯(lián)合濾波，確定所述另一凝視點。
6.根據(jù)權利要求5所述的方法，其中: 確定所述另一凝視點的步驟包括同時對從一個或更多個畫面導出的凝視點猜測進行濾波；并且 在確定所述另一凝視點的步驟中的濾波是以凝視點猜測的最大漂移為條件的。
7.根據(jù)前述權利要求中任一項所述的方法，其中，通過從表示至少一個傳感器的光敏面面積的至少50%的區(qū)域讀出數(shù)據(jù)，來捕獲概覽畫面，其中，至少一個傳感器優(yōu)選地在降低分辨率模式中操作。
8.根據(jù)權利要求1至6中任一項所述的方法，其中，概覽畫面由與所述至少一個傳感器不同的成像設備來捕獲，優(yōu)選地通過以下之一來捕獲:從深度感測系統(tǒng)接收數(shù)據(jù)； 從RGB型攝像機接收數(shù)據(jù)； 從近紅外攝像機接收數(shù)據(jù)。
9.根據(jù)前述權利要求中任一項所述的方法，其中，凝視跟蹤激活信號直接觸發(fā)凝視跟蹤系統(tǒng)中的中斷，或者凝視跟蹤激活信號是USB請求。
10.根據(jù)前述權利要求中任一項所述的方法，其中，凝視跟蹤激活信號是從非凝視型的輸入裝置接收的，優(yōu)選地，身體姿勢檢測器、聲學換能器、觸摸檢測器、指針設備或身體接近檢測器型的輸入裝置。
11.一種計算程序產(chǎn)品，由用于控制與視覺顯示器相關聯(lián)的計算機設備的凝視跟蹤系統(tǒng)來執(zhí)行，所述產(chǎn)品包括具有指令的計算機可讀介質(zhì)，所述指令使凝視跟蹤系統(tǒng)執(zhí)行前述權利要求中任一項所述的方法。
12.一種用于控制與視覺顯示器相關聯(lián)的計算機設備(20)的凝視跟蹤系統(tǒng)(10)，所述系統(tǒng)包括處理器(11)，所述處理器(11)與以下按照通信方式連接: 至少一個傳感器(12)，具有布置為接收來自視覺顯示器的觀看者頭部的光的光敏面，所述至少一個傳感器選擇性地可操作于以第二幀速率從光敏面進行讀出，或者以比所述第二幀速率高的第一幀速率從受約束區(qū)域進行讀出；以及 概覽成像設備(14)，配置為捕獲觀看者頭部的至少一部分的概覽畫面， 其特征在于，處理·器配置為在凝視跟蹤系統(tǒng)的低功率模式中，通過執(zhí)行以下操作來響應于接收到來自所述計算機設備的輸入裝置(22)的凝視跟蹤激活信號(A): 使凝視跟蹤系統(tǒng)離開低功率模式； 使用所述概覽成像設備捕獲觀看者頭部的至少一部分的概覽畫面，并且在概覽圖像中定位觀看者的眼睛區(qū)域； 使用所述至少一個傳感器捕獲觀看者頭部的至少一部分的多個畫面，從所述至少一個傳感器以第一幀速率在受約束區(qū)域中讀出數(shù)據(jù)，其中在所述受約束區(qū)域中要找到觀看者眼睛的圖像，并且受約束區(qū)域共同占據(jù)光敏面面積的至多10% ； 僅基于來自所述多個畫面的信息并且可選地基于來自概覽畫面的附加信息，確定視覺顯示器上所述觀看者的第一凝視點值； 基于所述第一凝視點值向計算機設備提供第一控制信號； 使用所述至少一個傳感器捕獲觀看者頭部的至少一部分的其他畫面，從所述至少一個傳感器以第二幀速率讀出數(shù)據(jù)； 針對每個其他畫面，基于所述其他畫面并且附加地基于至少一個在前畫面，確定所述觀看者的另一凝視點值；并且 基于所述另一凝視點值向計算機設備提供另一控制信號。
13.根據(jù)權利要求12所述的凝視跟蹤系統(tǒng)，還包括:濾波器，配置為基于觀看者頭部的多個畫面或者從所述多個畫面導出的量并且可選地基于來自概覽畫面的附加信息，提供凝視點值。
14.根據(jù)權利要求12或13所述的凝視跟蹤系統(tǒng)，其中，概覽成像設備與所述至少一個傳感器兼容，并且優(yōu)選地通過在降低分辨率模式中操作所述至少一個傳感器來捕獲概覽畫面。
15. 根據(jù)權利要求12至15中任一項所述的凝視跟蹤系統(tǒng)，還包括:中斷管腳，配置為從計算機設備的輸入裝置接收凝視跟蹤激活信號。
【文檔編號】G06F3/01GK103576857SQ201310336684
【公開日】2014年2月12日 申請日期:2013年8月5日 優(yōu)先權日:2012年8月9日
【發(fā)明者】馬丁·斯克戈, 安德斯·奧爾森, 約翰·邁克爾·埃爾韋舍, 亞倫·友 申請人:托比技術股份公司