用于對(duì)象跟蹤的相機(jī)和光源同步的制作方法
【專利說明】
【背景技術(shù)】
[0001]在各種應(yīng)用中都已經(jīng)實(shí)現(xiàn)了遠(yuǎn)程眼睛和視線跟蹤系統(tǒng)，以跟蹤用戶的眼睛運(yùn)動(dòng)和/或用戶正在看的方向。此類應(yīng)用的范圍從嚴(yán)肅的(例如機(jī)場(chǎng)保安系統(tǒng))擴(kuò)展到好玩的(例如視頻游戲化身渲染)。典型的眼睛跟蹤系統(tǒng)可使用各種技術(shù)來跟蹤用戶的眼睛運(yùn)動(dòng)。例如，在一些實(shí)現(xiàn)中，使用紅外傳感器來檢測(cè)來自人的視網(wǎng)膜/角膜的反射。
[0002]數(shù)字相機(jī)已經(jīng)變成了無所不在的消費(fèi)裝置，經(jīng)常合并在其它數(shù)字電子裝置(諸如智能電話、平板計(jì)算機(jī))以及其它計(jì)算裝置中。典型的數(shù)字相機(jī)包含圖像傳感器(諸如電荷耦合裝置(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器)，其可由單獨(dú)的像素傳感器陣列形成。取決于數(shù)字相機(jī)的類型，關(guān)聯(lián)的圖像傳感器可操作在全局快門模式或卷簾快門模式。在全局快門相機(jī)中，單獨(dú)的像素傳感器的整個(gè)陣列在相同時(shí)間窗期間曝光并捕獲。相反，在卷簾快門相機(jī)中，像素傳感器陣列的各部分在不同時(shí)間捕獲。然而，因?yàn)樵诰砗熆扉T相機(jī)中不在同一時(shí)間點(diǎn)捕獲整個(gè)圖像，所以捕獲的圖像可由于各種現(xiàn)象而失真。例如，快速運(yùn)動(dòng)或照明改變可導(dǎo)致在生成的圖像中出現(xiàn)偽影。此外，傳感器讀出時(shí)間可比理想曝光時(shí)間長(zhǎng)很多。然而，卷簾快門相機(jī)相對(duì)于全局快門相機(jī)時(shí)常受益于改進(jìn)的圖像質(zhì)量和降低的成本。
[0003]在操作時(shí)，卷簾快門相機(jī)通過陸續(xù)讀出關(guān)聯(lián)圖像傳感器的像素傳感器(“傳感器線”)的行或列來捕獲圖像(例如作為視頻幀)。每個(gè)傳感器線以順序卷簾基礎(chǔ)讀出。類似地，傳感器線在讀出先前以卷簾順序基礎(chǔ)重置。確切地說，在那個(gè)傳感器線的讀出時(shí)間先前的預(yù)定時(shí)間量，每個(gè)傳感器線被重置(即，任何存儲(chǔ)的信息都被丟棄)，使得在重置之后的相同時(shí)間量?jī)?nèi)使每個(gè)傳感器線曝光。給定圖像傳感器的傳感器線的總體數(shù)量定義關(guān)聯(lián)相機(jī)的分辨率(即，傳感器線的數(shù)量越大導(dǎo)致圖像分辨率越高)。
【附圖說明】
[0004]本文描述的概念在附圖中作為示例而非作為限制圖示。為了圖示的簡(jiǎn)潔和清晰起見，在附圖中圖示的元件不一定按比例繪制。視情況而定，附圖標(biāo)記在各圖之間已經(jīng)被重復(fù)了以指示對(duì)應(yīng)或類似元件。
[0005]圖1是具有相機(jī)和光源同步的成像裝置的至少一個(gè)實(shí)施例的簡(jiǎn)化框圖；
圖2是圖1的成像裝置的環(huán)境的至少一個(gè)實(shí)施例的簡(jiǎn)化框圖；
圖3是用于執(zhí)行圖1的成像裝置上的相機(jī)和光源同步的方法的至少一個(gè)實(shí)施例的簡(jiǎn)化流程圖；
圖4是用于重置在圖1的成像裝置上具有相機(jī)和光源同步的傳感器線的方法的至少一個(gè)實(shí)施例的簡(jiǎn)化流程圖；
圖5是用于讀取在圖1的成像裝置上具有相機(jī)和光源同步的傳感器線的方法的至少一個(gè)實(shí)施例的簡(jiǎn)化流程圖；以及圖6是圖1的成像裝置上的相機(jī)和光源同步的至少一個(gè)實(shí)施例的簡(jiǎn)化時(shí)間圖。
【具體實(shí)施方式】
[0006]雖然本公開的概念易受到各種修改和備選形式，但其特定實(shí)施例已經(jīng)在附圖中作為示例示出，并且將在本文中詳細(xì)描述。然而，應(yīng)該理解，沒有意圖將本公開的概念局限于所公開的具體形式，而是相反，本發(fā)明覆蓋與本公開和所附權(quán)利要求書一致的所有修改、等同物和備選。
[0007]在說明書中提到“一個(gè)實(shí)施例”、“實(shí)施例”、“圖示實(shí)施例”等指示所描述的實(shí)施例可包含具體特征、結(jié)構(gòu)或特性，但每一個(gè)實(shí)施例可以一定或者可以不一定包含該具體特征、結(jié)構(gòu)或特性。而且，此類短語(yǔ)不一定是指同一實(shí)施例。另外，當(dāng)結(jié)合實(shí)施例描述具體特征、結(jié)構(gòu)或特性時(shí)，認(rèn)為結(jié)合不管是否明確描述的其它實(shí)施例實(shí)現(xiàn)此類特征、結(jié)構(gòu)或特性在本領(lǐng)域技術(shù)人員的知識(shí)范圍內(nèi)。此外，應(yīng)該認(rèn)識(shí)到，包含在以“至少一個(gè)A、B和C”形式的列表中的項(xiàng)目可意味著(A); (B); (C); (A和B); (B和C)或(A，B和C)。類似地，包含在以“A、B或C中的至少一個(gè)”形式的列表中的項(xiàng)目可意味著(A) ； (B) ； (C) ； (A和B) ； (B和C)或(A, B和C)
所公開的實(shí)施例在一些情況下可用硬件、固件、軟件或它們的任何組合來實(shí)現(xiàn)。所公開的實(shí)施例也可實(shí)現(xiàn)為由易失性或非易失性機(jī)器可讀(例如計(jì)算機(jī)可讀)介質(zhì)攜帶或存儲(chǔ)在其上的指令，其可由一個(gè)或多個(gè)處理器讀取和執(zhí)行。機(jī)器可讀存儲(chǔ)介質(zhì)可實(shí)施為用于存儲(chǔ)或傳送由機(jī)器(例如易失性或非易失性存儲(chǔ)器、媒體盤或其它媒體裝置)可讀形式的信息的任何存儲(chǔ)裝置、機(jī)制或其它物理結(jié)構(gòu)。
[0008]在附圖中，一些結(jié)構(gòu)或方法特征可按特定布置和/或排序示出。然而，應(yīng)該認(rèn)識(shí)到，可能不需要此類特定布置和/或排序。而是，在一些實(shí)施例中，此類特征可按與在說明性附圖中示出的不同的方式和/或次序布置。此外，在具體附圖中包含結(jié)構(gòu)或方法特征不打算暗示此類特征在所有實(shí)施例中都需要，并且在一些實(shí)施例中，可能不包含或者可與其它特征組合。
[0009]現(xiàn)在參考圖1，在說明性實(shí)施例中，成像裝置100包含相機(jī)120和與之關(guān)聯(lián)的一個(gè)或多個(gè)光源(例如曝光燈)122。如下面更詳細(xì)論述的，相機(jī)120包含多個(gè)傳感器線130，并配置成操作在卷簾快門模式。在使用時(shí)，成像裝置100配置成使相機(jī)120的傳感器線130的讀取/重置和關(guān)聯(lián)光源122的激活同步。如下面詳細(xì)論述的，此類同步可降低與激活光源關(guān)聯(lián)的成像裝置100的能耗，并且由此改進(jìn)成像裝置100的能效，因?yàn)閮H在捕獲期望對(duì)象(例如用戶的眼睛)所需的時(shí)期內(nèi)激活光源。在一些實(shí)施例中，同步也可降低運(yùn)動(dòng)模糊和其它圖像偽影的發(fā)生率，和/或以最小或降低的成本來改進(jìn)圖像質(zhì)量。
[0010]成像裝置100可被實(shí)施為能夠進(jìn)行相機(jī)和光源同步并執(zhí)行本文描述的功能的任何類型計(jì)算裝置。例如，成像裝置100可實(shí)施為獨(dú)立式數(shù)字相機(jī)、蜂窩電話、智能電話、平板計(jì)算機(jī)、膝上型計(jì)算機(jī)、個(gè)人數(shù)字助理、移動(dòng)因特網(wǎng)裝置、臺(tái)式計(jì)算機(jī)和/或任何其它計(jì)算/通信裝置。如圖1所示，說明性成像裝置100包含處理器110、輸入/輸出("I/O")子系統(tǒng)112、存儲(chǔ)器114、數(shù)據(jù)存儲(chǔ)裝置116、通信電路118、相機(jī)120、一個(gè)或多個(gè)光源122和一個(gè)或多個(gè)外圍裝置124。當(dāng)然，在其它實(shí)施例中，成像裝置100可包含其它或附加組件，諸如通常在典型計(jì)算裝置(例如各種輸入/輸出裝置)中發(fā)現(xiàn)的組件。此外，在一些實(shí)施例中，一個(gè)或多個(gè)說明性組件可結(jié)合在另一組件中，或另外來自另一組件的一部分。例如，在一些實(shí)施例中，存儲(chǔ)器114或其部分可合并在處理器110中。
[0011]處理器110可被實(shí)施為能夠執(zhí)行本文描述的功能的任何類型處理器。例如，處理器可實(shí)施為單核或多核處理器、數(shù)字信號(hào)處理器、微控制器或其它處理器或處理/控制電路。類似地，存儲(chǔ)器114可實(shí)施為能夠執(zhí)行本文描述的功能的任何類型易失性或非易失性存儲(chǔ)器或數(shù)據(jù)存儲(chǔ)裝置。在操作中，存儲(chǔ)器114可存儲(chǔ)在操作成像裝置100(諸如操作系統(tǒng)、應(yīng)用、程序、庫(kù)和驅(qū)動(dòng))期間使用的各種數(shù)據(jù)和軟件。存儲(chǔ)器114以通信方式經(jīng)由I/O子系統(tǒng)112耦合到處理器110，I/O子系統(tǒng)104可實(shí)施為電路和/或組件以便于與成像裝置100的處理器110、存儲(chǔ)器114和/或其它組件的輸入/輸出操作。例如，I/O子系統(tǒng)112可實(shí)施為或以別的方式包含存儲(chǔ)器控制器集線器、輸入/輸出控制集線器、固件裝置、通信鏈路(即，點(diǎn)對(duì)點(diǎn)鏈路、總線鏈路、導(dǎo)線、電纜、光導(dǎo)、印刷電路板跡線等)和/或其它組件和子系統(tǒng)以便于輸入/輸出操作。在一些實(shí)施例中，I/O子系統(tǒng)112可形成片上系統(tǒng)(SoC)的一部分，并與成像裝置100的處理器110、存儲(chǔ)器114和其它組件一起結(jié)合在單個(gè)集成電路芯片上。
[0012]數(shù)據(jù)存儲(chǔ)裝置116可實(shí)施為配置用于數(shù)據(jù)的短期存儲(chǔ)或長(zhǎng)期存儲(chǔ)的任何類型裝置，諸如例如存儲(chǔ)器裝置和電路、存儲(chǔ)卡、硬盤驅(qū)動(dòng)器、固態(tài)驅(qū)動(dòng)器或其它數(shù)據(jù)存儲(chǔ)裝置。通信電路118可實(shí)施為能夠?qū)崿F(xiàn)通過網(wǎng)絡(luò)(未示出)在成像裝置100與其它移動(dòng)裝置之間通信的任何通信電路、裝置或它們的組合。為了這么做，通信電路118可使用任何適合的通信技術(shù)(例如無線或有線通信)以及關(guān)聯(lián)的協(xié)議(例如以太網(wǎng)、Bluetooth ?、W1-Fi ?、WiMAX等)來實(shí)現(xiàn)此類通信，例如取決于網(wǎng)絡(luò)類型，其可實(shí)施為能夠?qū)崿F(xiàn)成像裝置100與遠(yuǎn)程裝置之間通信的任何類型通信網(wǎng)絡(luò)。
[0013]相機(jī)120可實(shí)施為適合于捕獲圖像的任何外圍或集成裝置，諸如照相機(jī)、攝像機(jī)、網(wǎng)絡(luò)攝像頭或能夠捕獲視頻和/或圖像的其它裝置。如下面更詳細(xì)論述的，相機(jī)120捕獲要跟蹤的對(duì)象(例如人的臉或眼睛)的圖像。盡管說明性成像裝置100包含單個(gè)相機(jī)120，但應(yīng)該認(rèn)識(shí)到，在其它實(shí)施例中成像裝置100可包含多個(gè)相機(jī)120，它們例如可用于從不同角度捕獲對(duì)象的圖像。如上面所論述的，相機(jī)120說明性地實(shí)施為配置成操作在卷簾快門模式的數(shù)字相機(jī)。在卷簾快門模式，相機(jī)120的視野的每個(gè)傳感器線130可被預(yù)先設(shè)置，并且隨后在讀取傳感器線先前的預(yù)定時(shí)間量?jī)?nèi)曝光(例如見圖6)。除了傳感器線130，相機(jī)1230也可包含一個(gè)或多個(gè)成像傳感器(諸如紅外傳感器)以捕獲圖像。如下面所論述的，分析捕獲的圖像以便進(jìn)行相機(jī)120視野內(nèi)的主體(subject)的眼睛檢測(cè)和/或視線跟蹤。
[0014]光源122可實(shí)施為能夠照明由成像裝置100跟蹤的對(duì)象的任何類型光源。例如，在一個(gè)實(shí)施例中，光源122實(shí)施為配置成將紅外光投射到跟蹤對(duì)象上的紅外光源(例如與紅外傳感器一起使用)。光源122可配置成照明整個(gè)場(chǎng)景(S卩，相機(jī)120視野內(nèi)的區(qū)域)，或者在其它實(shí)施例中，僅照明被跟蹤的對(duì)象(例如用戶的眼睛)或場(chǎng)景的某個(gè)部分。當(dāng)然，應(yīng)該認(rèn)識(shí)至IJ，在某些實(shí)施例中，光源122可專用于對(duì)照明成像。通過照明被跟蹤的對(duì)象，相機(jī)120可捕獲比沒有照明的可能部分更高