背景技術(shù)：

在消費(fèi)和工作環(huán)境中使用的電子設(shè)備越來(lái)越多地結(jié)合了面向用戶(hù)的攝像機(jī)。此類(lèi)設(shè)備包括個(gè)人計(jì)算機(jī)和膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、智能手機(jī)、機(jī)頂盒、銷(xiāo)售點(diǎn)系統(tǒng)和物理訪(fǎng)問(wèn)控制系統(tǒng)。一般來(lái)說(shuō)，這些攝像機(jī)旨在與視覺(jué)通信服務(wù)(例如skype視頻個(gè)人對(duì)人呼叫)一起使用，或者使用戶(hù)能夠拍攝自身的照片和視頻以捕獲某一時(shí)刻并可能進(jìn)行分享。對(duì)于這些用途，用戶(hù)非常希望能夠在捕獲和/或發(fā)送自己的圖像時(shí)看到自己的圖像。這樣做的原因可以包括能夠確保一個(gè)人的面部表情在分享時(shí)具有足夠的吸引力，或者確保圖像中顯示的細(xì)節(jié)足夠良好以實(shí)現(xiàn)預(yù)期目的。在這些情況下，用戶(hù)通常會(huì)仔細(xì)地將攝像機(jī)置于能夠呈現(xiàn)其臉部的良好形象并且愉悅自己眼睛的距離和角度。

對(duì)于前置攝像機(jī)而言，還存在另一類(lèi)用途，可以將這種用途描述為人臉檢驗(yàn)和人臉識(shí)別。人臉檢驗(yàn)是使用圖像對(duì)用戶(hù)執(zhí)行驗(yàn)證。此類(lèi)驗(yàn)證可能是必須的以便訪(fǎng)問(wèn)在線(xiàn)服務(wù)、訪(fǎng)問(wèn)在線(xiàn)數(shù)據(jù)，或能夠執(zhí)行交易或進(jìn)行支付?？赡苄枰祟?lèi)驗(yàn)證來(lái)獲得對(duì)諸如鑰匙之類(lèi)的物體的物理接觸、打開(kāi)保險(xiǎn)箱或儲(chǔ)物柜、或被允許通過(guò)門(mén)禁。另一個(gè)例子是使用圖像來(lái)借助人臉識(shí)別標(biāo)識(shí)用戶(hù)，或者確認(rèn)用戶(hù)圖像與剛被提供或訪(fǎng)問(wèn)的身份文件的相似性。在注冊(cè)金融服務(wù)或訪(fǎng)問(wèn)交通或醫(yī)療服務(wù)期間，此類(lèi)驗(yàn)證可能作為必要的“了解您的客戶(hù)”程序的一部分而發(fā)生。

已知的方法存在以下問(wèn)題：即，交易的速度和性質(zhì)有時(shí)不允許對(duì)用戶(hù)姿勢(shì)進(jìn)行細(xì)致的美學(xué)優(yōu)化。

技術(shù)實(shí)現(xiàn)要素：

因此，本發(fā)明旨在提供向用戶(hù)提供快速視覺(jué)反饋，以針對(duì)設(shè)備的前置攝像機(jī)的此類(lèi)用途實(shí)現(xiàn)適當(dāng)?shù)娜四樁ㄎ坏南到y(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品。

根據(jù)本發(fā)明，提供了一種根據(jù)權(quán)利要求1所述的捕獲圖像的方法。優(yōu)選實(shí)施例在從屬權(quán)利要求中公開(kāi)。

本文所描述的系統(tǒng)、方法和計(jì)算機(jī)程序產(chǎn)品向啟用攝像機(jī)的設(shè)備的用戶(hù)提供近實(shí)時(shí)反饋，以在用戶(hù)處于相對(duì)于設(shè)備的攝像機(jī)和/或顯示器的期望位置和方位時(shí)引導(dǎo)用戶(hù)捕獲自身圖像。期望的位置和方位優(yōu)化當(dāng)圖像并非主要用于用戶(hù)使用，而是滿(mǎn)足在移動(dòng)設(shè)備和/或在與該設(shè)備進(jìn)行數(shù)據(jù)通信的本地或遠(yuǎn)程系統(tǒng)上運(yùn)行的應(yīng)用的用途時(shí)捕獲的自身圖像的各方面?？梢詫?duì)反饋進(jìn)行抽象以避免因?qū)徝揽紤]而使用戶(hù)產(chǎn)生偏見(jiàn)。

在這些用途中，由攝像機(jī)捕獲的用戶(hù)的圖像或視頻通常不被用戶(hù)看到，也不被他所認(rèn)識(shí)的任何人看到，而是由計(jì)算機(jī)進(jìn)行分析，以確定用戶(hù)的身份、真實(shí)性、誠(chéng)實(shí)度、健康狀況或情感。這里重點(diǎn)考慮人臉靠近攝像機(jī)、或者處于相對(duì)于攝像機(jī)的特定角度或處于相對(duì)于攝像機(jī)的一個(gè)或多個(gè)特定位置。當(dāng)前的方法向用戶(hù)提供了太多的視覺(jué)反饋信息，無(wú)關(guān)的細(xì)節(jié)破壞了對(duì)準(zhǔn)過(guò)程。在本發(fā)明的方法中，去除冗余細(xì)節(jié)，保留用戶(hù)快速完成對(duì)準(zhǔn)操作所必需的細(xì)節(jié)。本發(fā)明的解決方案有利地提高了用戶(hù)體驗(yàn)的質(zhì)量和便利性。已知的方法要求用戶(hù)將其臉部置于屏幕的非常規(guī)部分，這增加了用戶(hù)的復(fù)雜性，導(dǎo)致成功率降低和/或過(guò)程變緩慢。這些已知的方法存在攝像機(jī)向用戶(hù)呈現(xiàn)其面部圖像的問(wèn)題，當(dāng)用戶(hù)從不使人滿(mǎn)意的距離和角度看到自己的形象時(shí)，會(huì)產(chǎn)生焦慮和分心，從而導(dǎo)致采用安全性較差的替代方法。

通常，在一方面，一種捕獲用戶(hù)的圖像的方法包括：使用攝像機(jī)捕獲所述用戶(hù)的定位圖像；基本實(shí)時(shí)地處理所述定位圖像以生成所述用戶(hù)的抽象定位圖像；在面向所述用戶(hù)的顯示器上顯示所述用戶(hù)的所述抽象定位圖像，其中所述抽象定位圖像提供用于引導(dǎo)所述用戶(hù)移動(dòng)到相對(duì)于所述攝像機(jī)的期望位置的視覺(jué)反饋，并且所述抽象定位圖像不提供用于使所述用戶(hù)評(píng)估所述定位圖像的視覺(jué)質(zhì)量的足夠視覺(jué)信息；以及當(dāng)所述用戶(hù)處于相對(duì)于所述攝像機(jī)的所述期望位置時(shí)，捕獲所述用戶(hù)的應(yīng)用圖像；以及將所述用戶(hù)的被捕獲的應(yīng)用圖像提供給應(yīng)用，而不向所述用戶(hù)顯示所述被捕獲的應(yīng)用圖像。

各個(gè)示例性實(shí)施例包括以下特征中的一者或多者。所述抽象定位圖像提供用于引導(dǎo)所述用戶(hù)移動(dòng)到相對(duì)于所述顯示器的期望位置的視覺(jué)反饋，并且其中當(dāng)所述用戶(hù)處于相對(duì)于所述顯示器的所述期望位置時(shí)，捕獲所述用戶(hù)的所述應(yīng)用圖像。當(dāng)所述用戶(hù)處于相對(duì)于所述攝像機(jī)的所述期望位置時(shí)，所述顯示器能夠照亮所述用戶(hù)的最接近所述顯示器并被包括在所述攝像機(jī)的視場(chǎng)內(nèi)的部位。當(dāng)所述用戶(hù)處于相對(duì)于所述攝像機(jī)的所述期望位置時(shí)，所述顯示器的質(zhì)心的法線(xiàn)在距所述用戶(hù)的鼻尖小于約兩英寸(五厘米)的點(diǎn)處與所述用戶(hù)的頭部相交。當(dāng)所述用戶(hù)處于相對(duì)于所述攝像機(jī)的所述期望位置時(shí)，所述用戶(hù)位于距所述顯示器的最近舒適距離處。當(dāng)所述用戶(hù)處于相對(duì)于所述攝像機(jī)的所述期望位置時(shí)，所述攝像機(jī)向上朝向所述用戶(hù)傾斜。顯示所述抽象圖像包括：當(dāng)所述用戶(hù)在被捕獲的定位圖像內(nèi)偏離中心時(shí)，使所述用戶(hù)的圖像移位以在所述顯示器內(nèi)居中。所述被捕獲的圖像和所述應(yīng)用圖像中的每一者包括靜止圖像和/或視頻圖像。所述顯示器用于在捕獲所述用戶(hù)的所述應(yīng)用圖像期間照亮所述用戶(hù)。所述攝像機(jī)和所述顯示器被連接到具有網(wǎng)絡(luò)連接的基于本地計(jì)算機(jī)的系統(tǒng)，并且在所述基于本地計(jì)算機(jī)的系統(tǒng)處，經(jīng)由所述網(wǎng)絡(luò)連接接收用于控制所述顯示器的數(shù)據(jù)，以及在捕獲所述應(yīng)用圖像期間，使用所述基于本地計(jì)算機(jī)的系統(tǒng)，利用經(jīng)由所述網(wǎng)絡(luò)連接在所述基于計(jì)算機(jī)的系統(tǒng)處接收的所述數(shù)據(jù)來(lái)控制所述顯示器。所接收的數(shù)據(jù)使所述顯示器充當(dāng)所述用戶(hù)的受控照明源。所述抽象定位圖像包括以下一者或多者：在所述用戶(hù)的被捕獲的定位圖像中以小空間尺度表示顯著亮度變化的線(xiàn)；所述用戶(hù)的模糊圖像；以及圓形特征，所述圓形特征具有基于被捕獲的定位圖像的顏色的顏色。當(dāng)捕獲所述應(yīng)用圖像時(shí)，向所述用戶(hù)發(fā)出警告。評(píng)估所述定位圖像的視覺(jué)質(zhì)量包括評(píng)估所述定位圖像的美學(xué)質(zhì)量。在捕獲所述用戶(hù)的應(yīng)用圖像之后，在面向所述用戶(hù)的所述顯示器上顯示所述用戶(hù)的第二抽象定位圖像，其中所述第二抽象定位圖像提供用于引導(dǎo)用戶(hù)移動(dòng)到相對(duì)于所述攝像機(jī)的第二期望位置的視覺(jué)反饋；當(dāng)用戶(hù)處于相對(duì)于所述攝像機(jī)的所述第二期望位置時(shí)，捕獲所述用戶(hù)的第二應(yīng)用圖像；以及將所述用戶(hù)的第二被捕獲的應(yīng)用圖像提供給所述應(yīng)用，而不向所述用戶(hù)顯示所述被捕獲的應(yīng)用圖像。連接所述第一提及的期望位置和所述第二期望位置的線(xiàn)基本上平行于所述顯示器的平面。所述第一提及的期望位置和所述第二期望位置之間的位移使得所述應(yīng)用能夠使用所述第一提及的被捕獲的應(yīng)用圖像和所述第二被捕獲的應(yīng)用圖像來(lái)提取有關(guān)所述用戶(hù)的三維信息。

通常，在另一方面，一種移動(dòng)設(shè)備包括：cpu；以及存儲(chǔ)器，其存儲(chǔ)由所述cpu執(zhí)行的指令，其中所述指令在所述cpu上的執(zhí)行實(shí)現(xiàn)一種捕獲所述移動(dòng)設(shè)備的用戶(hù)的圖像的方法，所述方法包括：使用攝像機(jī)捕獲所述用戶(hù)的定位圖像；基本實(shí)時(shí)地處理所述定位圖像以生成所述用戶(hù)的抽象定位圖像；在面向所述用戶(hù)的顯示器上顯示所述用戶(hù)的所述抽象定位圖像，其中所述抽象定位圖像提供用于引導(dǎo)所述用戶(hù)移動(dòng)到相對(duì)于所述攝像機(jī)的期望位置的視覺(jué)反饋，并且所述抽象定位圖像不提供用于使所述用戶(hù)評(píng)估所述定位圖像的視覺(jué)質(zhì)量的足夠視覺(jué)信息；以及當(dāng)所述用戶(hù)處于相對(duì)于所述攝像機(jī)的所述期望位置時(shí)，捕獲所述用戶(hù)的應(yīng)用圖像；以及將所述用戶(hù)的被捕獲的應(yīng)用圖像提供給應(yīng)用，而不向所述用戶(hù)顯示所述被捕獲的應(yīng)用圖像。

通常，在進(jìn)一步的方面，一種捕獲用戶(hù)的圖像的方法包括：使用攝像機(jī)捕獲所述用戶(hù)的定位圖像；基本實(shí)時(shí)地處理所述定位圖像以生成所述用戶(hù)的抽象圖像；在面向所述用戶(hù)的顯示器上顯示所述用戶(hù)的所述抽象圖像，其中所述抽象圖像提供用于引導(dǎo)所述用戶(hù)移動(dòng)到相對(duì)于所述顯示器的期望位置的視覺(jué)反饋，并且所述抽象圖像不提供用于使所述用戶(hù)評(píng)估被捕獲的定位圖像的視覺(jué)質(zhì)量的足夠視覺(jué)信息；以及當(dāng)所述用戶(hù)處于相對(duì)于所述顯示器的所述期望位置時(shí)，捕獲所述用戶(hù)的應(yīng)用圖像；以及將所述用戶(hù)的被捕獲的應(yīng)用圖像提供給應(yīng)用，而不向所述用戶(hù)顯示所述被捕獲的應(yīng)用圖像。

各個(gè)實(shí)施例包括以下特征中的一者或多者。所述抽象圖像部分地基于所述攝像機(jī)相對(duì)于所述顯示器的位置。從分析所述被捕獲的定位圖像來(lái)推斷所述攝像機(jī)相對(duì)于所述顯示器的位置，以便確定所述用戶(hù)的姿勢(shì)和注視中的至少一者。當(dāng)引導(dǎo)所述用戶(hù)觀(guān)看所述顯示器上顯示的視覺(jué)元素時(shí)，從分析所述被捕獲的定位圖像來(lái)推斷所述攝像機(jī)相對(duì)于所述顯示器的位置。本發(fā)明的一個(gè)用途是驗(yàn)證或檢驗(yàn)人臉，特別是活人的人臉。這具有廣泛的應(yīng)用，其中一個(gè)應(yīng)用領(lǐng)域是訪(fǎng)問(wèn)控制領(lǐng)域。本發(fā)明的另一用途是用于診斷目的，以確定患者的身體和/或精神健康。再一用途是僅推斷情緒，以便確定被認(rèn)證的人是否處于某種形式的脅迫(形式為可能引起壓力和恐懼的身體或情感威脅)之下?；蛘撸瑸榱耸袌?chǎng)調(diào)查或服務(wù)設(shè)計(jì)改進(jìn)的目的，可以使用人對(duì)刺激(例如應(yīng)用體驗(yàn)，一段媒體內(nèi)容或一些營(yíng)銷(xiāo)內(nèi)容)的反應(yīng)。

附圖說(shuō)明

將參考附圖更詳細(xì)地描述本發(fā)明的示例性實(shí)施例，其中：

圖1是用于在向用戶(hù)提供抽象視覺(jué)反饋的同時(shí)捕獲用戶(hù)圖像的基于移動(dòng)設(shè)備的系統(tǒng)的高級(jí)框圖；

圖2是用于在向用戶(hù)提供抽象視覺(jué)反饋的同時(shí)捕獲用戶(hù)圖像的具有單獨(dú)攝像機(jī)和顯示器的基于計(jì)算機(jī)的系統(tǒng)的高級(jí)框圖；

圖3是正在向用戶(hù)提供抽象視覺(jué)反饋的啟用攝像機(jī)的設(shè)備的顯示器的屏幕截圖的圖示；

圖4a是示出用戶(hù)相對(duì)于具有垂直偏移和橫向居中的攝像機(jī)的移動(dòng)設(shè)備的顯示器的最佳定位的視覺(jué)反饋的側(cè)視圖；

圖4b是圖4a的移動(dòng)設(shè)備的前視圖，其示出了用戶(hù)相對(duì)于圖4a的移動(dòng)設(shè)備的顯示器的最佳定位的視覺(jué)反饋；

圖5a是示出用戶(hù)相對(duì)于具有垂直和橫向偏移攝像機(jī)的移動(dòng)設(shè)備的顯示器的最佳定位的視覺(jué)反饋的側(cè)視圖；

圖5b是圖5a的移動(dòng)設(shè)備的前視圖，其示出了用戶(hù)相對(duì)于圖5a的移動(dòng)設(shè)備的顯示器的最佳定位的視覺(jué)反饋；

圖5c是圖5a所示的用戶(hù)的前視圖，其示出了圖5a的移動(dòng)設(shè)備的最佳定位。

具體實(shí)施方式

越來(lái)越多的應(yīng)用需要捕獲人的頭部或臉部，但是根本不向用戶(hù)顯示圖像，特定情況除外。這些應(yīng)用分析用戶(hù)臉部的圖像，以便推斷對(duì)于向用戶(hù)傳遞價(jià)值的服務(wù)提供商或服務(wù)或軟件有用的用戶(hù)信息。一類(lèi)這樣的應(yīng)用通過(guò)將圖像與先前存儲(chǔ)的圖像進(jìn)行比較，檢查面部圖像以便推斷有關(guān)用戶(hù)身份的信息。另一類(lèi)這樣的應(yīng)用推斷有關(guān)用戶(hù)圖像的真實(shí)性的信息，以確定是真人而非該人的物理或數(shù)字復(fù)制品在攝像機(jī)前面。另一類(lèi)這樣的應(yīng)用通過(guò)分析其頭部圖像中包含的特征、面部肌肉運(yùn)動(dòng)、心跳或其它信息的細(xì)節(jié)來(lái)推斷有關(guān)用戶(hù)的情緒狀況或健康狀況的信息。圖像可以由移動(dòng)設(shè)備用戶(hù)攜帶的移動(dòng)設(shè)備中內(nèi)嵌的前置攝像機(jī)捕獲。圖1示出了這樣的系統(tǒng)：其中設(shè)備102具有面向用戶(hù)108的嵌入式顯示器104和攝像機(jī)106。所述設(shè)備可以經(jīng)由網(wǎng)絡(luò)110與遠(yuǎn)程服務(wù)器112進(jìn)行數(shù)據(jù)通信。備選地，如圖2所示，可以通過(guò)安裝在基于計(jì)算機(jī)的系統(tǒng)206(例如膝上型計(jì)算機(jī)，個(gè)人計(jì)算機(jī)或工作站)的外部顯示監(jiān)視器204上方或以其他方式與其相鄰的攝像機(jī)202捕獲圖像，其中用戶(hù)208位于攝像機(jī)的視場(chǎng)內(nèi)并且靠近顯示器。所述計(jì)算機(jī)系統(tǒng)可以經(jīng)由網(wǎng)絡(luò)210連接到遠(yuǎn)程服務(wù)器212。在這樣的應(yīng)用中，顯示用戶(hù)頭部或臉部的忠實(shí)再現(xiàn)的圖像可能會(huì)適得其反，或不必要地消耗計(jì)算資源。然而，雖然用戶(hù)的圖像不會(huì)被顯示，但是應(yīng)用仍可能需要捕獲滿(mǎn)足特定約束的用戶(hù)臉部圖像。例如，在某些應(yīng)用中，重要的是捕獲近處用戶(hù)的圖像，以確保他們的臉部被屏幕良好地照亮。為了實(shí)現(xiàn)這一點(diǎn)，用戶(hù)應(yīng)該比通常以令人滿(mǎn)意、無(wú)失真的角度捕獲圖像時(shí)更靠近屏幕，并且因此也更靠近內(nèi)嵌式攝像機(jī)。作為一個(gè)實(shí)例，以水平面以下30度的角度從30厘米的距離處捕獲的圖像產(chǎn)生用戶(hù)極力避免的令人不悅、甚至丑陋的圖像。類(lèi)似地，如果應(yīng)用需要捕獲用戶(hù)鼻孔的良好圖像，則攝像機(jī)視點(diǎn)應(yīng)位于比通常用于令人滿(mǎn)意的面部圖像的角度低得多的角度。

通常，對(duì)于本文討論的應(yīng)用，前置攝像機(jī)和用戶(hù)的頭部或臉部之間的最佳相對(duì)位置應(yīng)由圖像旨在被用于的應(yīng)用而非美學(xué)考慮來(lái)確定。此類(lèi)考慮包括被捕獲圖像的分辨率、包括在被捕獲視場(chǎng)內(nèi)的面部特征或背景元素、以及用戶(hù)臉部的環(huán)境照明。應(yīng)用可以進(jìn)一步?jīng)Q定用戶(hù)頭部相對(duì)于用戶(hù)面部的受控照明源的最佳位置。在這里描述的各個(gè)實(shí)施例中，受控照明源是顯示器屏幕，例如膝上型計(jì)算機(jī)或桌面計(jì)算機(jī)的監(jiān)視器、或諸如智能電話(huà)、平板手機(jī)或平板計(jì)算機(jī)之類(lèi)的移動(dòng)設(shè)備的內(nèi)置顯示器。對(duì)于通過(guò)從顯示器發(fā)出的光照亮用戶(hù)臉部的應(yīng)用，用戶(hù)頭部的最佳定位可主要由相對(duì)于顯示器的位置來(lái)確定。其他受控照明源可以包括外部光源，例如與從前置攝像機(jī)接收?qǐng)D像的設(shè)備或膝上型計(jì)算機(jī)、桌面計(jì)算機(jī)或遠(yuǎn)程系統(tǒng)進(jìn)行數(shù)據(jù)通信的led。

可以捕獲用戶(hù)的圖像，但是當(dāng)被捕獲的圖像用于分析用戶(hù)的外表或環(huán)境或其外貌的某些部位以推斷有關(guān)用戶(hù)的信息的一系列應(yīng)用時(shí)，不向用戶(hù)顯示圖像，也不向用戶(hù)知道的任何人顯示圖像。此類(lèi)信息可以包括他們的身份、他們與先前捕獲的圖像的相似性、他們作為真實(shí)人類(lèi)的本質(zhì)而非根據(jù)對(duì)他們的頭部或臉部圖像中包含的面部特征、面部肌肉活動(dòng)、心跳或其它信息進(jìn)行圖像分析而推斷出的他們的健康狀態(tài)或情緒的照片、視頻、打印頭部或合成圖像。

在此類(lèi)應(yīng)用中，盡管用戶(hù)可能看不到所捕獲的圖像，但是可能需要向用戶(hù)提供足夠的視覺(jué)反饋以使用戶(hù)能夠以最適合應(yīng)用的方式定位他或她的頭部或臉部或頭部或臉部上的某些部位，但是這可能不對(duì)應(yīng)于設(shè)備的攝像機(jī)前面的正常定位，也不產(chǎn)生美觀(guān)的結(jié)果。

盡管用于此類(lèi)應(yīng)用的最佳位置可以共享對(duì)向用戶(hù)顯示的圖像的部分或全部要求(例如要求用戶(hù)的臉部至少主要落在攝像機(jī)的視場(chǎng)范圍內(nèi))，但它們?cè)谄渌矫婵赡懿煌＠?，?dāng)針對(duì)用戶(hù)使用而捕獲的圖像不會(huì)因?yàn)榍械纛^部或臉部的一小部分而受損時(shí)，該部分的存在對(duì)于由應(yīng)用執(zhí)行的分析而言可能是至關(guān)重要的。實(shí)際上，在某些情況下，如果沒(méi)有所缺失的部分，應(yīng)用可能無(wú)法實(shí)現(xiàn)其目的或給出錯(cuò)誤的結(jié)果。在另一實(shí)例中，用戶(hù)背后強(qiáng)光的存在可能會(huì)使用戶(hù)的臉部變暗或?qū)е聰z像機(jī)使臉部曝光不足，這對(duì)某些應(yīng)用可能是有問(wèn)題的。在每種情況下，都需要適當(dāng)?shù)囊曈X(jué)反饋來(lái)引導(dǎo)用戶(hù)移到避免對(duì)應(yīng)用需求不利的情況的位置。

最適合使用面向用戶(hù)的顯示器作為照明源的應(yīng)用的位置包括將用戶(hù)的頭部置于顯示器的前面，以使得顯示器的平面能夠照亮臉上最接近顯示器并被包括在其視場(chǎng)中的部位，例如鼻子、嘴巴、眼睛或耳朵。這可以通過(guò)將與用戶(hù)臉部相對(duì)的顯示器居中來(lái)實(shí)現(xiàn)，結(jié)果是位于顯示器上方的攝像機(jī)被大致定位成其法線(xiàn)指向用戶(hù)的發(fā)際線(xiàn)。在各個(gè)實(shí)施例中，顯示器的平面被定向?yàn)榛旧掀叫杏谟脩?hù)臉部的平面，即在約10-20度內(nèi)。在某些情況下，希望將顯示器定位成以舒適的方式接近用戶(hù)的臉部，以便最大化能夠通過(guò)顯示器投射到臉上的照明。

另外，希望提供視覺(jué)反饋以使用戶(hù)知道該設(shè)備正在捕獲其頭部、臉部或頭部和臉部的某一部位的圖像。否則，用戶(hù)可能對(duì)所發(fā)生的事情感到困惑，甚至在了解到他們的圖像在未知情的情況下被捕獲時(shí)會(huì)生氣。即使用戶(hù)被書(shū)面通知他們的圖像被捕獲，也可能發(fā)生這種反應(yīng)，因?yàn)橛脩?hù)通常無(wú)法完全理解書(shū)面公開(kāi)。視覺(jué)反饋以隱含地理解的方式提供此類(lèi)公開(kāi)。難題是向用戶(hù)提供足夠的視覺(jué)反饋以解決上述目的，但不顯示對(duì)捕獲的圖像的足夠忠實(shí)的表示，該足夠忠實(shí)的表示使得任何負(fù)面的審美質(zhì)量具有令用戶(hù)分心或沮喪的風(fēng)險(xiǎn)。

捕獲用戶(hù)面部圖像以進(jìn)行面部檢驗(yàn)或人臉識(shí)別的系統(tǒng)的實(shí)現(xiàn)通常以使圖像高度可識(shí)別的保真度在捕獲時(shí)向用戶(hù)顯示用戶(hù)圖像。邊界控制中使用的一些系統(tǒng)顯示黑白圖像，其圖像分辨率和色調(diào)渲染足以作為幾十年前的個(gè)人照片。在個(gè)人計(jì)算機(jī)或移動(dòng)智能手機(jī)上使用的一些人臉識(shí)別系統(tǒng)以屏幕的一部分中的色彩向用戶(hù)顯示圖像。以對(duì)于圖像大小而言可能的最大分辨率，通過(guò)全彩色和正常對(duì)比度來(lái)顯示圖像。這樣的系統(tǒng)通常不能克服上述難題，即，所顯示圖像的性質(zhì)有可能擾亂和/或分散用戶(hù)的注意力，使其無(wú)法專(zhuān)注于手頭的任務(wù)。

這里描述的視覺(jué)反饋方法和系統(tǒng)被設(shè)計(jì)為向用戶(hù)提供他們需要的引導(dǎo)，以便針對(duì)捕獲用戶(hù)圖像而非主要用于用戶(hù)自己使用的應(yīng)用進(jìn)行正確定位。對(duì)此類(lèi)反饋的要求可以包括：顯示的圖像尺寸足夠大以輕松、詳細(xì)地提供頭部或臉部位置的可視性；足夠的圖像細(xì)節(jié)以實(shí)現(xiàn)視覺(jué)反饋；以及足夠的抽象、失真、變形、印象或符號(hào)象征，以使用戶(hù)難以或不可能評(píng)估其美學(xué)質(zhì)量或主體的吸引力。符號(hào)象征包括使用表示期望的設(shè)備方位或設(shè)備方位的期望變化的感知元素(不包括用戶(hù)臉部或頭部的表示)通過(guò)信號(hào)向用戶(hù)通知設(shè)備的期望方位或設(shè)備方位的期望變化的方法。此類(lèi)感知元素可以包括設(shè)備屏幕上的視覺(jué)圖形元素，例如閃爍的箭頭、人字紋或動(dòng)畫(huà)，或?qū)υO(shè)備上可用的其它可視指示器(例如led指示器或閃爍器、使用設(shè)備揚(yáng)聲器或振鈴器的可聽(tīng)信號(hào)、或使用設(shè)備的振動(dòng)或點(diǎn)擊發(fā)生器的觸覺(jué)反饋)的使用。

生成視覺(jué)反饋可以包括從被捕獲的用戶(hù)圖像生成抽象圖像的圖像處理方法。一種方法涉及處理由攝像機(jī)看到的用戶(hù)圖像以提取邊緣，并且在黑暗或黑色背景上實(shí)時(shí)顯示橫向反轉(zhuǎn)(鏡像)邊緣作為白色或淺色線(xiàn)條，或者做相反的操作，這有些類(lèi)似于黑白的線(xiàn)條繪制的卡通。這在圖3中示出，其中具有內(nèi)置的前置攝像機(jī)304和顯示觸摸屏306的移動(dòng)設(shè)備302顯示用戶(hù)頭部的實(shí)時(shí)或近實(shí)時(shí)的繪制圖像308。

邊緣提取涉及在所捕獲的用戶(hù)圖像中識(shí)別小空間尺度上的顯著亮度變化的位置，其中假設(shè)這些位置中的亮度輪廓對(duì)應(yīng)于面部特征的邊緣或用戶(hù)頭部的輪廓。當(dāng)邊緣在白色背景上顯示為黑色時(shí)，最終顯示的抽象圖像類(lèi)似于打印的卡通?？梢酝ㄟ^(guò)用兩個(gè)不同空間距離帶寬的空間濾波器對(duì)圖像進(jìn)行濾波并用結(jié)果中的一個(gè)減去另一個(gè)來(lái)提取邊緣。用于執(zhí)行此操作的高度完善的方法被包括在公知的開(kāi)源圖像處理程序(被稱(chēng)為opencv以及cannyedgedetector)中。影響最終圖像質(zhì)量的圖像處理算法參數(shù)根據(jù)上述要求來(lái)選擇，即產(chǎn)生足夠詳細(xì)的圖像以向用戶(hù)提供必要的指導(dǎo)，但詳細(xì)度未達(dá)到使所產(chǎn)生的圖像具有令人不悅細(xì)節(jié)，或包含太多的快速變化以致令人困擾的程度。

生成用于提供視覺(jué)反饋的抽象圖像的各種方法包括以下方面中的一個(gè)或多個(gè)：對(duì)所捕獲的圖像應(yīng)用模糊，例如通過(guò)使用大塊像素化；將圖像轉(zhuǎn)變?yōu)榫哂蓄?lèi)似底層圖像的顏色的圓形或氣泡；夸大對(duì)比度；使用水彩畫(huà)變換；以及使用圖像調(diào)整軟件(如或)中可用的圖像處理功能。在每種情況下，所顯示的抽象圖像被橫向反轉(zhuǎn)以形成用戶(hù)的鏡像。

所采用的圖像處理算法的參數(shù)可以在捕獲期間根據(jù)主要的光條件進(jìn)行調(diào)整，以?xún)?yōu)化呈現(xiàn)給用戶(hù)的圖像的特性。這涉及對(duì)攝像機(jī)捕獲的圖像的實(shí)時(shí)處理以提取諸如曝光度、對(duì)比度和焦點(diǎn)等關(guān)鍵圖像特征，并且使用這種處理的結(jié)果來(lái)調(diào)整應(yīng)用于圖像處理的參數(shù)。

經(jīng)處理的用戶(hù)圖像被示為運(yùn)動(dòng)圖像，該運(yùn)動(dòng)圖像近似于具有大于每秒5幀的幀速率的視頻，從而使得用戶(hù)快速看到移動(dòng)其頭部或攝像機(jī)的效果，并且反饋過(guò)程收斂于期望的結(jié)果。如果運(yùn)動(dòng)和圖像反饋之間的延遲太長(zhǎng)，例如大于四分之一秒，效果可能不令人滿(mǎn)意，并可能導(dǎo)致不穩(wěn)定的運(yùn)動(dòng)集，并且不會(huì)收斂于預(yù)期的結(jié)果。為此，可能需要在用戶(hù)設(shè)備而不是遠(yuǎn)程系統(tǒng)上處理圖像，以便獲得可接受的延遲。如果用戶(hù)具有足夠高的帶寬網(wǎng)絡(luò)連接，則可以遠(yuǎn)程執(zhí)行圖像處理任務(wù)，并以可接受的延遲通過(guò)網(wǎng)絡(luò)發(fā)送回經(jīng)處理的運(yùn)動(dòng)圖像。

一旦用戶(hù)處于相對(duì)于攝像機(jī)的期望位置，則會(huì)向用戶(hù)發(fā)出警告并且捕獲圖像?？梢允褂靡曈X(jué)或音頻提示來(lái)提供警告。在收斂處理期間，系統(tǒng)可以顯示用戶(hù)放置其頭部的框架。一個(gè)視覺(jué)提示包括在用戶(hù)找到正確位置時(shí)改變框架的顏色或厚度。例如，當(dāng)用戶(hù)不在正確的位置時(shí)，框架可以是顯示為三像素厚的藍(lán)色線(xiàn)的橢圓形，例如圖3中的橢圓形310，并且可以在找到正確位置時(shí)變成另一種顏色(例如綠色)。然后，用戶(hù)例如通過(guò)按下按鈕312來(lái)使攝像機(jī)304捕獲圖像。

盡管所捕獲的用戶(hù)圖像不是主要用于用戶(hù)使用，但是可能存在其中向用戶(hù)實(shí)際顯示圖像的特殊情況。例如，當(dāng)與諸如第9,075,975號(hào)美國(guó)專(zhuān)利中描述的在線(xiàn)認(rèn)證系統(tǒng)一起使用時(shí)，可能有必要在可疑地欺詐的情況下向用戶(hù)顯示所捕獲的圖像，以便在有爭(zhēng)議時(shí)證實(shí)他實(shí)際是有效地進(jìn)行驗(yàn)證的用戶(hù)，或者表明他實(shí)際上是另一人。

除了將用戶(hù)引導(dǎo)到相對(duì)于攝像機(jī)的優(yōu)選位置(在該位置中，用戶(hù)的臉部將定位成確保所有關(guān)鍵特征被包括在圖像中)之外，系統(tǒng)還可以將用戶(hù)引導(dǎo)到相對(duì)于顯示器的優(yōu)選位置。相對(duì)于顯示器的最佳定位通常不同于相對(duì)于攝像機(jī)的最佳定位，因?yàn)閿z像機(jī)幾乎總是偏離顯示器的中心。在移動(dòng)設(shè)備中，內(nèi)嵌式攝像機(jī)位于顯示器的上方和/或其側(cè)面。當(dāng)攝像機(jī)和顯示器是單獨(dú)的單元(如圖2所示的具有單獨(dú)的攝像機(jī)和顯示器的系統(tǒng))時(shí)，攝像機(jī)從顯示器的偏離可能特別大。用戶(hù)越靠近顯示器，給定的顯示器質(zhì)心到攝像機(jī)位移的角度偏移越大。

為了幫助將用戶(hù)引導(dǎo)到相對(duì)于顯示器(與攝像機(jī)不同)的最佳位置，可以向用戶(hù)顯示反饋圖像，在該反饋圖像中，用戶(hù)的頭部或臉部所在的屏幕部分不同于在攝像機(jī)捕獲的整個(gè)圖像以正常方式呈現(xiàn)在設(shè)備屏幕上(即，攝像機(jī)的視場(chǎng)直接映射到顯示區(qū)域上)的情況下用戶(hù)的頭部或臉部所在的部分。這可以通過(guò)在顯示被捕獲的圖像之前對(duì)其進(jìn)行預(yù)處理來(lái)實(shí)現(xiàn)，具體方法是裁剪圖像并對(duì)屏幕上的裁剪部分執(zhí)行線(xiàn)性平移，從而引導(dǎo)用戶(hù)定位攝像機(jī)，以使得顯示器處于相對(duì)于他們的頭部或面部的最佳位置。線(xiàn)性平移可以是垂直的、水平的或呈一定角度，將在下文對(duì)此進(jìn)行描述。因此，面部圖像可被顯示為在用于顯示抽象圖像的屏幕部分內(nèi)居中，盡管該圖像可能在遠(yuǎn)離攝像機(jī)視場(chǎng)中心的位置處被捕獲。

對(duì)于尋求最大化顯示器照亮用戶(hù)面部以對(duì)用戶(hù)進(jìn)行驗(yàn)證的能力的應(yīng)用，當(dāng)盡可能多的顯示屏幕部分垂直于與用戶(hù)臉部而非頸部或耳朵上的特征相交的線(xiàn)條時(shí)，產(chǎn)生最佳位置。當(dāng)獲得這樣的最佳位置時(shí)，臉部的中心(即，鼻子和嘴部之間的某處)與顯示器的質(zhì)心正好相對(duì)。對(duì)于智能電話(huà)之類(lèi)的手持設(shè)備(其中以攝像機(jī)在顯示器上方的縱向姿態(tài)握持設(shè)備)，該最佳位置將用戶(hù)的臉部置于在攝像機(jī)視場(chǎng)中心的下方。當(dāng)觀(guān)看攝像機(jī)輸出(無(wú)論是抽象形式還是視頻)的用戶(hù)無(wú)法再相對(duì)于顯示器最佳地定位時(shí)，該用戶(hù)會(huì)自然地重新定位設(shè)備以使其臉部在攝像機(jī)視場(chǎng)中心。為了引導(dǎo)用戶(hù)將設(shè)備定位在期望的位置，在顯示器上向用戶(hù)顯示的捕獲圖像在顯示之前被處理以向上移位，只有當(dāng)用戶(hù)已經(jīng)到達(dá)期望位置時(shí)，經(jīng)處理的圖像中的用戶(hù)臉部才在顯示器上居中。對(duì)于攝像機(jī)在大約4x2¹/4英寸(10x5.6厘米)的顯示屏的上方居中的移動(dòng)設(shè)備，這種視覺(jué)反饋將導(dǎo)致通過(guò)攝像機(jī)鏡頭中心的法線(xiàn)軸大致在用戶(hù)的發(fā)際線(xiàn)處與用戶(hù)的臉部相交。圖4a和4b示出了這樣的配置，當(dāng)攝像機(jī)406的法線(xiàn)與用戶(hù)410的發(fā)際線(xiàn)408相交時(shí)，具有顯示器404的移動(dòng)設(shè)備402的中心大致正對(duì)用戶(hù)面部。對(duì)于具有在顯示器上方橫向居中的攝像機(jī)鏡頭的設(shè)備，如圖4a和4b所示，軸線(xiàn)沿著面部的中間部分(即，用戶(hù)頭部的中矢狀面(mid-sagittalplane)上)與發(fā)際線(xiàn)相交，但是在平行于用戶(hù)頭部的橫向軸線(xiàn)的垂直方向上偏離頭部的中心。對(duì)于攝像機(jī)鏡頭位于顯示器上方并相對(duì)于顯示器的平分法向平面橫向偏移的設(shè)備，最佳位置對(duì)應(yīng)于在平行于矢狀軸橫向移位的點(diǎn)處與用戶(hù)頭部相交的攝像機(jī)透鏡軸，其中橫向位移量等于攝像機(jī)透鏡從顯示器的平分法向平面的橫向位移量。這種情況在圖5a、5b和5c中示出，具有橫向移位的攝像機(jī)504的設(shè)備502被最佳地放置，以便當(dāng)攝像機(jī)法線(xiàn)在用戶(hù)發(fā)際線(xiàn)附近的點(diǎn)508(點(diǎn)508按照大致對(duì)應(yīng)于攝像機(jī)504與顯示器506的中平面514的偏移512的量相對(duì)于用戶(hù)頭部的中矢狀面510橫向偏移)處與用戶(hù)的臉部相交時(shí)，使得頭部相對(duì)于設(shè)備顯示器506居中。

通常，為了使用戶(hù)將法線(xiàn)置于顯示屏質(zhì)心以便其與用戶(hù)臉部的中心相交，抽象圖像在被顯示之前沿著將顯示屏質(zhì)心連接到攝像機(jī)鏡頭中心的矢量平移。如圖4a和4b以及5a-c所示，當(dāng)顯示屏的平面和用戶(hù)臉部的平面彼此大致平行時(shí)，該平移達(dá)到期望的結(jié)果。當(dāng)顯示屏的平面與用戶(hù)的臉部不平行，但是以最多大約30度的角向其傾斜時(shí)，可以使用相同的平移使用戶(hù)獲得最佳位置。在這兩種情況下，當(dāng)盡可能多的與顯示器垂直的線(xiàn)與面部特征相交，而不是與頸部或耳朵相交時(shí)，產(chǎn)生最佳位置。

當(dāng)捕獲用戶(hù)圖像時(shí)，具有前置攝像機(jī)的設(shè)備可以以橫向位置定向。以這種姿態(tài)，當(dāng)用戶(hù)的臉部相對(duì)于顯示器居中時(shí)，攝像機(jī)橫向移位，即沿矢狀軸線(xiàn)移位。對(duì)于具有大約4×2.25英寸(10cm×5.7厘米)的顯示器的設(shè)備，在顯示器的前面將用戶(hù)的臉部置中對(duì)應(yīng)于通過(guò)攝像機(jī)透鏡中心引導(dǎo)法向軸線(xiàn)穿過(guò)用戶(hù)的耳朵。對(duì)于具有較大顯示器的設(shè)備，例如具有在約5×2³/4英寸(12.5×6.9厘米)至約9×6英寸(22.5×15厘米)的范圍的顯示器的智能手機(jī)、平板手機(jī)或平板計(jì)算機(jī)，位移將相應(yīng)地更大，具體由攝像機(jī)鏡頭與顯示器質(zhì)心之間的距離決定。如圖2所示，當(dāng)攝像機(jī)和顯示器是單獨(dú)的單元時(shí)，也可以提供類(lèi)似的視覺(jué)反饋。在這些情況的每一者中，視覺(jué)反饋引導(dǎo)用戶(hù)將設(shè)備置于相對(duì)于顯示器的最佳位置。對(duì)于使用抽象用戶(hù)圖像的視覺(jué)反饋，當(dāng)獲得最佳位置時(shí)，抽象圖像呈現(xiàn)為位于被用于顯示抽象圖像的屏幕部分中央，盡管用戶(hù)不在攝像機(jī)視場(chǎng)的中心，這分別如圖4b和5b中的抽象用戶(hù)圖像412和514的位置所示。

為了確定如何調(diào)整反饋圖像以?xún)?yōu)化用戶(hù)相對(duì)于顯示器的位置，向系統(tǒng)提供指定顯示器和攝像機(jī)的相對(duì)(或絕對(duì))位置的信息。如果沒(méi)有提供這樣的信息，則可以通過(guò)顯示測(cè)試圖像和請(qǐng)求用戶(hù)來(lái)識(shí)別顯示器上的某些特征，或者通過(guò)從用戶(hù)的姿勢(shì)或注視推斷這些特征來(lái)確定相對(duì)間距。用戶(hù)的姿勢(shì)或注視可以是自發(fā)的，也可以通過(guò)要求用戶(hù)觀(guān)看顯示器上的特定位置(例如，觀(guān)看所顯示的靜態(tài)或移動(dòng)的可視元素)來(lái)被引導(dǎo)?？梢钥刂瓶梢曉匾砸鹱藙?shì)和/或注視方向的變化，這些變化明顯地受將顯示器質(zhì)心和攝像機(jī)主軸相連接的矢量的大小和方向的影響。這種技術(shù)可以部署在具有內(nèi)置的前置攝像機(jī)和顯示器的移動(dòng)設(shè)備以及具有外部連接的攝像機(jī)和監(jiān)視器的基于計(jì)算機(jī)的系統(tǒng)中。

擴(kuò)大或減小反饋圖像的尺寸也可以用于幫助用戶(hù)將他們的頭部或臉部置于離顯示器的最佳距離處。這可以通過(guò)改變攝像機(jī)的有效焦距，或簡(jiǎn)單地通過(guò)放大或縮小顯示給用戶(hù)的圖像的處理來(lái)實(shí)現(xiàn)。最佳的設(shè)備到頭部距離部分地取決于顯示器的尺寸，對(duì)于移動(dòng)設(shè)備中特有的小型顯示器，通常希望較小的距離，而在使用連接到膝上型計(jì)算機(jī)或工作站的較大監(jiān)視器的情況下，需要較大的距離。也可能希望控制縮放以幫助最大化被捕獲的用戶(hù)圖像的分辨率，同時(shí)保持舒適的用戶(hù)觀(guān)看體驗(yàn)。

某些應(yīng)用可能尋求從用戶(hù)設(shè)備的前置攝像機(jī)捕獲的用戶(hù)圖像中獲得三維信息。換句話(huà)說(shuō)，除了投射到二維圖像的x、y平面上的信息之外，還尋求z軸信息。此深度信息可以通過(guò)分析x和y方向移動(dòng)的視差效應(yīng)，并且通過(guò)改變由設(shè)備的攝像機(jī)和用戶(hù)頭部在x、y以及z方向上的相對(duì)位置的變化導(dǎo)致的臉部圖像中的遮擋、特征的相對(duì)間距、失真和透視度來(lái)獲得。在大致平行于設(shè)備顯示器的平面的平面中，在約1/4英寸(0.6厘米)和4英寸(10厘米)之間的任何位置的設(shè)備運(yùn)動(dòng)產(chǎn)生視角的變化，從該視角可以通過(guò)視差確定所需的深度信息。

足以獲得這種三維信息的運(yùn)動(dòng)可伴隨用戶(hù)使用上述反饋方法相對(duì)于攝像機(jī)和顯示器執(zhí)行自我對(duì)準(zhǔn)的自然嘗試。然而，如果用戶(hù)不能自然地產(chǎn)生足夠的視差，或者獲得更準(zhǔn)確或不同的深度信息，則可以使用視覺(jué)反饋來(lái)引導(dǎo)用戶(hù)改變其相對(duì)于設(shè)備的位置。引導(dǎo)可能是隱含的，例如方式為改變所顯示的抽象捕獲圖像相對(duì)于攝像機(jī)的視場(chǎng)的位移，以使得用戶(hù)將抽象圖像置于中心的嘗試導(dǎo)致用戶(hù)執(zhí)行所需的移動(dòng)。引導(dǎo)也可以是顯式的，例如通過(guò)顯示或說(shuō)出的指令，或通過(guò)靜態(tài)或動(dòng)態(tài)的符號(hào)提示，例如要求用戶(hù)沿指定的方向移動(dòng)設(shè)備或其頭部的箭頭、人字紋或動(dòng)畫(huà)。

當(dāng)用戶(hù)執(zhí)行這些移動(dòng)時(shí)，可以使用來(lái)自設(shè)備的內(nèi)置加速度計(jì)的數(shù)據(jù)跟蹤設(shè)備的絕對(duì)位置。加速度計(jì)提供實(shí)時(shí)位置信息，其提供用于從視差推導(dǎo)圖像中的深度信息的視角變化的基線(xiàn)。通過(guò)將在視角變化期間捕獲的圖像與來(lái)自加速度計(jì)的同時(shí)期實(shí)時(shí)位置數(shù)據(jù)相結(jié)合，與通過(guò)自行分析被捕獲的圖像而獲得的三維信息相比，能夠獲得更可靠和準(zhǔn)確的三維信息。

也可以使用設(shè)備顯示器上的抽象視覺(jué)反饋來(lái)引起設(shè)備和/或用戶(hù)頭部的某些移動(dòng)，以確定由內(nèi)置設(shè)備攝像機(jī)捕獲的圖像與由設(shè)備的機(jī)載加速度計(jì)和陀螺儀提供的姿態(tài)和位置數(shù)據(jù)之間的一致性水平。這種一致性可以通過(guò)致力于驗(yàn)證設(shè)備用戶(hù)的活躍性和/或身份的應(yīng)用來(lái)發(fā)現(xiàn)。例如，可以引起設(shè)備的左右和上下移動(dòng)，其位置變化由機(jī)載加速度計(jì)跟蹤。然后可以將被捕獲的用戶(hù)圖像中產(chǎn)生的變化與預(yù)期由三維的人頭部的變化視角產(chǎn)生的視差進(jìn)行比較。

在另一實(shí)例中，可以使用抽象圖像或視覺(jué)提示來(lái)使用戶(hù)改變?cè)O(shè)備的姿態(tài)，例如方式為圍繞大致垂直于用戶(hù)臉部前方的軸線(xiàn)(即，圍繞冠狀軸)樞轉(zhuǎn)設(shè)備。為了引起這種運(yùn)動(dòng)，在向用戶(hù)顯示之前，可以對(duì)前置攝像機(jī)圖像進(jìn)行抽象并且圍繞冠狀軸旋轉(zhuǎn)該圖像。然后用戶(hù)可以通過(guò)旋轉(zhuǎn)設(shè)備本能地嘗試保持其圖像直立，或者可以顯式地要求用戶(hù)保持其圖像直立，同時(shí)在顯示之前將變化的旋轉(zhuǎn)角度應(yīng)用于圖像。被捕獲的圖像中的最終變化可以被與內(nèi)置陀螺儀捕獲的同期姿態(tài)數(shù)據(jù)進(jìn)行比較，并且確定預(yù)期圖像和被捕獲的圖像之間的一致性水平。

視覺(jué)反饋還可以引起用戶(hù)朝向或遠(yuǎn)離移動(dòng)設(shè)備或系統(tǒng)(其中攝像機(jī)和顯示器作為單獨(dú)的單元與該移動(dòng)設(shè)備或系統(tǒng)連接)的顯示器和/或攝像機(jī)(即，z方向)移動(dòng)。合適的視覺(jué)反饋包括預(yù)處理用戶(hù)的抽象圖像以放大或縮小頭部的尺寸，并且要求用戶(hù)重新定位自身，以使得所顯示的圖像具有一定的尺寸。因此，如果預(yù)處理縮小圖像，則用戶(hù)通過(guò)靠近攝像機(jī)移動(dòng)自然地補(bǔ)償，反之亦然。為了便于進(jìn)行這樣的調(diào)整，抽象圖像可以在方框或橢圓形輪廓中顯示，并且要求用戶(hù)移動(dòng)得更近或更遠(yuǎn)，直到他們的外形正好填滿(mǎn)輪廓。備選地，不改變所顯示的抽象圖像的尺寸，而是可以改變橢圓或方框輪廓的大小，并且要求用戶(hù)調(diào)整他們與攝像機(jī)的距離，直至他們的外形正好填滿(mǎn)輪廓。這兩種方法可以按照不同的比例使用以引起所需的z方向移動(dòng)。

由這種朝向或遠(yuǎn)離攝像機(jī)的移動(dòng)導(dǎo)致的視角變化造成捕獲圖像的變化，用戶(hù)頭部越靠近攝像機(jī)，就變得越突出。通過(guò)分析整體圖像尺度變化與面部特征的內(nèi)部布置和相對(duì)位置的變化之間的關(guān)系，可將被捕獲的圖像中的這種變化與三維物體預(yù)期的變化進(jìn)行比較。此外，從機(jī)載加速度計(jì)捕獲的實(shí)時(shí)數(shù)據(jù)可以提供設(shè)備的絕對(duì)z方向位移，并提供進(jìn)一步的數(shù)據(jù)，利用該數(shù)據(jù)評(píng)估圖像與三維的人頭部的一致性。

還可能需要引起朝向和遠(yuǎn)離攝像機(jī)和顯示器的移動(dòng)，以確保前置攝像機(jī)捕獲合適的視場(chǎng)。需要用戶(hù)圖像的應(yīng)用可能要求該用戶(hù)足夠遠(yuǎn)，以使得整個(gè)面部出現(xiàn)在視場(chǎng)內(nèi)。然而，該應(yīng)用還可能需要面部圖像具有盡可能多的分辨率，這樣最好使用戶(hù)的臉部盡可能靠近攝像機(jī)，使頭部填滿(mǎn)視場(chǎng)。此類(lèi)應(yīng)用相對(duì)于攝像機(jī)和顯示器對(duì)用戶(hù)的臉部進(jìn)行最佳定位對(duì)應(yīng)于使用戶(hù)面部的中心沿著法線(xiàn)矢量盡可能靠近顯示器的質(zhì)心，所述法線(xiàn)矢量通過(guò)受約束的顯示器質(zhì)心，該約束要求包括嘴、鼻子和耳朵的面部主要特征都落入攝像機(jī)的視場(chǎng)內(nèi)。當(dāng)不能滿(mǎn)足該約束時(shí)，按照使關(guān)鍵特征在攝像機(jī)視場(chǎng)內(nèi)所必需的最小量將最佳位置(以及給予用戶(hù)的相應(yīng)視覺(jué)反饋)朝著攝像機(jī)軸線(xiàn)移動(dòng)。

用于相對(duì)于前置攝像機(jī)和/或顯示器定位用戶(hù)的視覺(jué)反饋也可以包括類(lèi)似游戲的元素。通過(guò)玩游戲，用戶(hù)以這樣的方式移動(dòng)所述設(shè)備：根據(jù)需要由攝像機(jī)捕獲的圖像的應(yīng)用所期望的一個(gè)或多個(gè)位置來(lái)定位該設(shè)備。一類(lèi)這樣的視覺(jué)反饋涉及要求用戶(hù)將可視元素定位在屏幕上的特定目標(biāo)位置。這樣的目標(biāo)位置可以是顯示器上的靜態(tài)點(diǎn)或由顯示圖像中的陰影、輪廓或特征限定的區(qū)域。由用戶(hù)定位的可視元素可以是幾何形狀、圖標(biāo)、簡(jiǎn)單的動(dòng)畫(huà)人物或虛擬對(duì)象，例如通過(guò)搖動(dòng)顯示器以模仿球在重力作用下在上面滾動(dòng)的傾斜表面，從而在屏幕上來(lái)回滾動(dòng)的虛擬球。目標(biāo)位置可以是靜態(tài)或動(dòng)態(tài)的。靜態(tài)目標(biāo)包括屏幕中心處的點(diǎn)或突出顯示的區(qū)域，或由顯示器上顯示的靜態(tài)圖形或圖像限定的區(qū)域。動(dòng)態(tài)目標(biāo)可以以連續(xù)、平滑的方式在顯示器上來(lái)回移動(dòng)，或者可以在屏幕上從一點(diǎn)跳到另一點(diǎn)。這些目標(biāo)可以被顯示為移動(dòng)的圖形元素、動(dòng)畫(huà)圖案或移動(dòng)的圖像，其中包括動(dòng)畫(huà)或視頻。在每種情況下，要求用戶(hù)以可控的方式將可視元素置于所顯示的目標(biāo)位置，并且在執(zhí)行此操作時(shí)，以在設(shè)備上運(yùn)行的應(yīng)用所需的方式移動(dòng)其設(shè)備的位置和/或姿態(tài)。

所描述的用于相對(duì)于攝像機(jī)和顯示器定位用戶(hù)的實(shí)時(shí)用戶(hù)反饋的實(shí)施例可以使用通用計(jì)算機(jī)系統(tǒng)實(shí)現(xiàn)為計(jì)算機(jī)程序。這樣的計(jì)算機(jī)系統(tǒng)通常包括連接到向用戶(hù)顯示信息的輸出設(shè)備和從用戶(hù)接收輸入的輸入設(shè)備兩者的主單元。主單元通常包括經(jīng)由互連機(jī)制連接到存儲(chǔ)系統(tǒng)的處理器。輸入設(shè)備和輸出設(shè)備也通過(guò)互連機(jī)制連接到處理器和存儲(chǔ)系統(tǒng)。

一個(gè)或多個(gè)輸出設(shè)備可以連接到計(jì)算機(jī)系統(tǒng)。示例輸出設(shè)備包括但不限于液晶顯示器(lcd)、等離子體顯示器、諸如eink之類(lèi)的反射顯示器、陰極射線(xiàn)管、視頻投影系統(tǒng)，以及其它視頻輸出設(shè)備、打印機(jī)、用于在低或高帶寬網(wǎng)絡(luò)上通信的設(shè)備，其中包括網(wǎng)絡(luò)接口設(shè)備、電纜調(diào)制解調(diào)器和存儲(chǔ)設(shè)備(如磁盤(pán)或磁帶)。一個(gè)或多個(gè)輸入設(shè)備可以連接到計(jì)算機(jī)系統(tǒng)。示例輸入設(shè)備包括但不限于鍵盤(pán)、小鍵盤(pán)、軌跡球、鼠標(biāo)、筆和平板計(jì)算機(jī)、觸摸屏、攝像機(jī)、通信設(shè)備和數(shù)據(jù)輸入設(shè)備。本發(fā)明不限于與計(jì)算機(jī)系統(tǒng)或本文所描述的那些設(shè)備組合使用的特定輸入或輸出設(shè)備。

所描述的用于相對(duì)于攝像機(jī)和顯示器定位用戶(hù)的實(shí)時(shí)用戶(hù)反饋的實(shí)施例可以使用諸如啟用攝像機(jī)的智能電話(huà)、平板計(jì)算機(jī)或平板手機(jī)之類(lèi)的移動(dòng)設(shè)備實(shí)現(xiàn)為計(jì)算機(jī)程序。移動(dòng)設(shè)備可以以獨(dú)立模式操作，或者可以通過(guò)固定或無(wú)線(xiàn)連接而連接到其它計(jì)算機(jī)，其中包括可執(zhí)行本文所述的一些計(jì)算步驟的一個(gè)或多個(gè)遠(yuǎn)程服務(wù)器。

存儲(chǔ)系統(tǒng)通常包括計(jì)算機(jī)可讀介質(zhì)。介質(zhì)可以是易失性的或非易失性的，可寫(xiě)的或不可寫(xiě)的，和/或可重寫(xiě)的或不可重寫(xiě)的。存儲(chǔ)系統(tǒng)通常以二進(jìn)制形式存儲(chǔ)數(shù)據(jù)。這樣的數(shù)據(jù)可以定義要由微處理器執(zhí)行的應(yīng)用程序，或存儲(chǔ)在盤(pán)上以供應(yīng)用程序處理的信息。本發(fā)明不限于特定的存儲(chǔ)系統(tǒng)。數(shù)據(jù)庫(kù)信息、面部圖像和語(yǔ)音信息以及其它在線(xiàn)用戶(hù)識(shí)別信息可以被存儲(chǔ)在/輸入自磁的、光的或固態(tài)驅(qū)動(dòng)器，這些驅(qū)動(dòng)器可以包括本地盤(pán)或網(wǎng)絡(luò)連接盤(pán)的陣列。

諸如本文描述的系統(tǒng)可以以軟件、硬件或固件或三者的組合來(lái)實(shí)現(xiàn)。采取單獨(dú)或組合形式的各個(gè)系統(tǒng)元件可以被實(shí)現(xiàn)為一個(gè)或多個(gè)計(jì)算機(jī)程序產(chǎn)品，其中計(jì)算機(jī)程序指令存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上以供計(jì)算機(jī)執(zhí)行，或者經(jīng)由連接的局域網(wǎng)或廣域網(wǎng)傳輸?shù)接?jì)算機(jī)系統(tǒng)。計(jì)算機(jī)程序指令也可以經(jīng)由諸如載波信號(hào)之類(lèi)的通信介質(zhì)發(fā)送?？梢杂蓤?zhí)行這樣的計(jì)算機(jī)程序指令的計(jì)算機(jī)執(zhí)行處理的各個(gè)步驟。計(jì)算機(jī)系統(tǒng)可以是多處理器計(jì)算機(jī)系統(tǒng)，或者可以包括在計(jì)算機(jī)網(wǎng)絡(luò)上連接的多個(gè)計(jì)算機(jī)。本文描述的組件可以是計(jì)算機(jī)程序的單獨(dú)模塊，或者可以是在單獨(dú)的計(jì)算機(jī)上操作的單獨(dú)的計(jì)算機(jī)程序。由這些組件產(chǎn)生的數(shù)據(jù)可以存儲(chǔ)在存儲(chǔ)系統(tǒng)中或在計(jì)算機(jī)系統(tǒng)之間傳輸。