專利名稱：通過追蹤用戶視線和姿態(tài)提供反饋的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于與計算機系統(tǒng)產(chǎn)生的用戶界面的用戶交互，提供反饋，其中所述計算機系統(tǒng)基于多個用戶輸入，例如，追蹤的用戶視線和用戶姿態(tài)。
背景技術(shù)：
·
便攜式或者家庭的視頻游戲機、便攜式或臺式個人計算機、機頂盒、音頻或視頻消費性設(shè)備、個人數(shù)字助理、移動電話、媒體服務(wù)器、和個人音頻和/或視頻播放器和錄制設(shè)備，以及其他類型的能力正在提高。這些設(shè)備具有巨大的信息處理能力、高品質(zhì)音頻和視頻輸入和輸出、大存儲量，以及也可以有線和/無線上網(wǎng)能力。這些計算設(shè)備通常需要獨立的控制裝置，例如鼠標或游戲控制器，從而與計算設(shè)備的用戶界面交互。用戶通常使用顯示在用戶界面上的指針或其他選擇工具，通過推動控制設(shè)備的按鈕來選擇對象。用戶也使用控制設(shè)備來修改和控制這些選擇的對象，例如通過按下控制設(shè)備上的其他按鈕或者移動所述控制設(shè)備。通常需要培訓來教用戶這個設(shè)備的移動如何映射到遠程用戶界面對象。即使培訓后，用戶有時候還是會發(fā)現(xiàn)這些移動很笨拙。目前，微軟公司(MICROSOFT)銷售的KINECT設(shè)備允許用戶控制電腦游戲機，并與之交互，而不需要使用游戲控制器。用戶利用姿態(tài)和口頭指令，通過KINECT設(shè)備與用戶界面交互。具體地，KINECT設(shè)備包括攝像頭、深度傳感器、和麥克風，來追蹤用戶的姿態(tài)和口頭指令。利用攝像頭和深度傳感器來產(chǎn)生用戶的三維模型。然而，KINECT設(shè)備只是識別有限的姿態(tài)類型，用戶可以控制指針指向，但KINECT設(shè)備不允許用戶點擊指針，需要用戶懸停幾秒鐘來進行選擇。

發(fā)明內(nèi)容
以下發(fā)明內(nèi)容在于提供本發(fā)明特征各方面的基本了解。該發(fā)明內(nèi)容不是本發(fā)明的廣泛概述，同樣地，也不在于確定本發(fā)明的關(guān)鍵元件，或者描述本發(fā)明的范圍。本發(fā)明內(nèi)容的目的只是在于以簡要的形式提出本發(fā)明的一些概念，以作為以下詳細描述的前奏。根據(jù)本發(fā)明的一方面，本發(fā)明公開了一種計算機系統(tǒng)，該計算機系統(tǒng)包括處理器，該處理器接收視線數(shù)據(jù)和姿態(tài)數(shù)據(jù)，確定對應(yīng)于所述視線數(shù)據(jù)的用戶界面位置，使所述姿態(tài)數(shù)據(jù)與所述用戶界面的修改相關(guān)聯(lián)；存儲器，該存儲器與所述處理器連接，以存儲所述視線數(shù)據(jù)和姿態(tài)數(shù)據(jù)。所述姿態(tài)數(shù)據(jù)可以為手部姿態(tài)數(shù)據(jù)。視線數(shù)據(jù)可以包括與所述用戶界面交互的用戶眼睛的多個圖像。所述視線數(shù)據(jù)可以包括光的反射。所述光可以為紅外線照射。所述姿態(tài)數(shù)據(jù)可以包括與所述用戶界面交互的用戶身體的多個圖像。所述姿態(tài)數(shù)據(jù)也可以包括深度信息。根據(jù)本發(fā)明的另一方面，本發(fā)明公開了一種系統(tǒng)，該系統(tǒng)包括顯示器，該顯示器顯示包括對象的用戶界面；視線傳感器，該視線傳感器捕捉眼睛視線數(shù)據(jù)；姿態(tài)傳感器，該姿態(tài)傳感器捕捉用戶姿態(tài)數(shù)據(jù)；計算設(shè)備，該計算設(shè)備與所述視線傳感器、所述姿態(tài)傳感器、和所述顯示器連接，其中 所述計算設(shè)備為所述顯示器提供所述用戶界面，并基于所述視線數(shù)據(jù)確定用戶是否看著所述對象，將所述姿態(tài)數(shù)據(jù)與對應(yīng)于所述對象的命令關(guān)聯(lián)，以及基于命令修改包含所述對象的所述用戶界面的顯示。 所述命令可以為所述對象的移動。所述視線數(shù)據(jù)可以包括眼睛視線數(shù)據(jù)眼睛視線位置和至少一個以下數(shù)據(jù)眼睛位置、所述視線傳感器與所述眼睛的距離、瞳孔大小、和時間戳。所述視線傳感器可以包括攝像頭和光源。所述姿態(tài)傳感器可以包括攝像頭和深度傳感器。所述姿態(tài)傳感器可以包括至少一個陀螺儀和至少一個加速計。根據(jù)本發(fā)明的另一方面，一種方法包括在顯示器上顯示用戶界面；接收與所述用戶界面交互的用戶的視線數(shù)據(jù)；基于所述視線數(shù)據(jù)，確定所述用戶的視線是否對著所述用戶界面中顯示的對象；接收對應(yīng)于所述用戶的姿態(tài)的姿態(tài)數(shù)據(jù)；將所述用戶與所述對象的預(yù)期交互與所述姿態(tài)數(shù)據(jù)關(guān)聯(lián)；基于關(guān)聯(lián)的交互，修改所述用戶界面中的所述對象的顯
/Jn o所述視線數(shù)據(jù)可以包括眼睛視線數(shù)據(jù)眼睛視線位置和至少一個以下數(shù)據(jù)眼睛位置、所述視線傳感器與所述眼睛的距離、瞳孔大小、和時間戳。在確定所述用戶的視線是否對著所述對象之前，所述姿態(tài)數(shù)據(jù)可以與所述用戶的預(yù)期交互關(guān)聯(lián)。所述對象的顯示的修改可以包括移動所述用戶界面中所述對象的相對位置。所述姿態(tài)數(shù)據(jù)可以包括相應(yīng)于手部姿態(tài)的信息。根據(jù)本發(fā)明的另一方面，本發(fā)明公開了一種計算機可讀存儲介質(zhì)，具有存儲在其上的計算機可執(zhí)行指令，執(zhí)行時，使計算機系統(tǒng)執(zhí)行上述方法。


附圖，作為該說明書的一部分，舉例說明了本發(fā)明的實施例，說明書作為解釋和舉例說明本發(fā)明的原理。附圖在于以圖表的形式舉例說明實施例的主要特征。附圖不旨在描述實施例的每個特征，也不在于說明每個特征的尺寸，并且不是按比例繪制。圖I為根據(jù)本發(fā)明一個實施例，基于視線和手部姿態(tài)追蹤提供用戶反饋的示意 圖2為根據(jù)本發(fā)明一個實施例，基于視線和手部姿態(tài)追蹤提供用戶反饋的系統(tǒng)的框
圖3為根據(jù)本發(fā)明一個實施例，基于視線和手部姿態(tài)追蹤提供用戶反饋的方法的流程
圖4為根據(jù)本發(fā)明一個實施例，基于初始用戶輸入和二次用戶輸入，提供用戶反饋的系統(tǒng)的框 圖5為根據(jù)本發(fā)明一個實施例，基于初始用戶輸入和二次用戶輸入，提供用戶反饋的方法的流程 圖6為根據(jù)本發(fā)明的一個實施例，一個示例的計算設(shè)備的框 圖7為根據(jù)本發(fā)明一個實施例，可以用于處理指令的另外硬件的框圖。
具體實施例方式本發(fā)明的實施例涉及用戶界面技術(shù)，該用戶界面技術(shù)基于用戶視線和二次用戶輸入例如手部姿態(tài)，為用戶提供反饋。在一個實施例中，基于攝像頭的追蹤系統(tǒng)追蹤用戶的視線方向，探測用戶界面中顯示的對象是否正在被看到。追蹤系統(tǒng)也識別手部姿態(tài)或其他身體姿態(tài)，來控制對象的動作或運動，利用例如獨立的攝像頭和/或傳感器?？梢允褂檬痉兜淖藨B(tài)輸入，來模仿可以拉、推、定位或其他移動或控制選擇的對象的精神或神奇力量。用戶的交互模仿用戶的感覺，即用戶的思想控制用戶界面中的對象，類似用戶在電影中見過的心靈控制能力(例如星球大戰(zhàn)中的能力)。在以下描述中，提出了許多細節(jié)。但是，對于本領(lǐng)域技術(shù)人員來說，很明顯本發(fā)明的實施例可以在沒有這些特定細節(jié)的情況下實施。在一些情況下，以框圖形式表示已知結(jié)構(gòu)和設(shè)備，而不是詳細顯示，是為了避免使本發(fā)明實施例難易理解。詳細描述的一些部分表現(xiàn)為，在計算機內(nèi)存內(nèi)數(shù)據(jù)位上操作的符號表征和算法。 這些算法描述和表征為在數(shù)據(jù)處理領(lǐng)域中技術(shù)人員使用的方式，以有效地將他們的工作傳遞給本技術(shù)領(lǐng)域的其他人。在此公開的算法通常為自相一致次序的步驟，導致預(yù)期的結(jié)果。這些步驟為那些需要物理量的物理操作。通常，雖然不一定，但是這些量的形式為電或磁的信號，可以存儲、轉(zhuǎn)移、結(jié)合、比較和其他操作。已經(jīng)證明主要是出于通用的原因，把這些信號稱作位、數(shù)值、元素、符號、字符、術(shù)語、數(shù)字等等是便利的。但是，應(yīng)當記住，所有這些和類似的術(shù)語與適當?shù)奈锢砹坑嘘P(guān)，且只是應(yīng)用于這些物理量的方便標記。以下描述中除非特別聲明，術(shù)語“處理”、“計算”、“轉(zhuǎn)換”、“確定”、“關(guān)聯(lián)”或諸如此類，涉及計算機系統(tǒng)或類似電子計算設(shè)備的動作和處理，其中計算機系統(tǒng)或類似電子計算設(shè)備在計算機系統(tǒng)的寄存器和存儲器內(nèi)，將表示物理(例如電子的)量的數(shù)據(jù)處理和轉(zhuǎn)換為在計算機存儲器或寄存器或其他這種信息存儲設(shè)備中的類似表示物理量的其他數(shù)據(jù)。本發(fā)明的實施例也涉及一種用于執(zhí)行這些操作的裝置或系統(tǒng)。該裝置或系統(tǒng)可以特定設(shè)置為所需目的，或者可以一般用途的計算機，該計算機由存儲在其上的計算機程序選擇地激活或重新配置。在一個實施例中，執(zhí)行這些操作的裝置或系統(tǒng)為游戲機(例如，SONY PLAYSTATION,NINTENDO WII,MICROSOFT XBOX等)。計算機程序可以被存儲在計算機可讀的存儲介質(zhì)中，這將在圖6中進一步詳細描述。圖I根據(jù)本發(fā)明的一個實施例，示意性展示了用戶界面技術(shù)，該技術(shù)基于視線追蹤和姿態(tài)輸入提供反饋。在圖I中，用戶104示意性展示了用戶的眼睛108和手112。用戶104看著顯示用戶界面120 (例如，視頻游戲、網(wǎng)絡(luò)瀏覽窗口、文字處理程序窗口等)的顯示器116。所述顯示器116包括計算設(shè)備或與計算設(shè)備連接，例如視頻游戲機或計算機。在另一個實施方式中，所述顯示器116可以有線或無線連接到互聯(lián)網(wǎng)上的計算設(shè)備例如服務(wù)器或其他計算機系統(tǒng)。所述計算設(shè)備提供用戶界面120給顯示器116。在圖I中，攝像頭124設(shè)置在顯示器16上，攝像頭124的鏡頭對著用戶104的方向。在一個實施方式中，攝像頭124利用紅外線照射來追蹤用戶的視線128 (S卩，用戶眼睛108相對于顯示器116的方向)。計算設(shè)備分析來自帶紅外照射的至少一個攝像頭的輸入，以確定用戶觀察的顯示器132的區(qū)域，然后確定用戶正在看著的具體對象140。作為選擇，攝像頭124可以包括確定用戶視線128的處理器?？梢圆捎猛瑯拥臄z像頭124或獨立的攝像頭(圖I中未圖示)來追蹤手部姿態(tài)(即，用戶的手112沿著箭頭136方向的移動)。在使用獨立攝像頭的實施方式中，可以僅采用攝像頭，或者攝像頭與近紅外線傳感器結(jié)合，或者攝像頭與深度傳感器結(jié)合，來追蹤用戶的手部姿態(tài)。作為選擇，控制器或者慣性傳感器也可以用來追蹤用戶的手部姿態(tài)。例如，手部姿態(tài)可以慣性傳感器的抖動(或者其他包含加速計的傳感器或控制器)。計算設(shè)備然后將來自姿態(tài)攝像頭(或者其他姿態(tài)追蹤設(shè)備)的輸入關(guān)聯(lián)到對象144的運動或者關(guān)于用戶界面120中顯示的對象144的命令(S卩，對象140沿著箭頭144方向的運動)。作為選擇，姿態(tài)傳感器可以包括確定用戶姿態(tài)的處理器。在使用中，眼睛視線被用來選擇用戶界面上顯示的對象140，手部姿態(tài)或身體運動136被用來控制或移動對象144。這些步驟可以為任何順序(即，控制或移動144的確定可以在選擇對象之前，反之亦然)。 存在很多不同的用于用戶界面技術(shù)的應(yīng)用程序，該用戶界面技術(shù)基于眼睛視線追蹤和手部姿態(tài)追蹤提供用戶反饋。例如，基于用戶看著的用戶界面上的字符，手部姿態(tài)可以啟動該字符的拼寫。另一個不例性手部姿態(tài)可以為射擊游戲中的扣扳機(例如，射擊動作)。視線和手部姿態(tài)也可以用于選擇虛擬按鈕，通過模擬按下按鈕的動作，例如，用戶視線專注于按鈕時，指著一個手指和向前移動手指。在另一個實施例中，視線和用戶姿態(tài)可以用于縮小或放大用戶界面的特定部分(例如放大地圖中的一個特定部分)。在另一個實施例中，指著的手的向前輕彈可以啟動與視線追蹤器探測到的被用戶看著的對象的交互。在另一個實施例中，可以使用招手手部姿態(tài)，使用戶看著的對象在用戶界面中移向用戶。類似地，揮手手部姿態(tài)可以使對象退去。視線追蹤是有利的，因為對于用戶來說，它感覺像自然的或者甚至無意識的方式來表明與用戶界面中顯示的對象進行交互的意圖。手部姿態(tài)是有利的，因為手部運動的力量可以被用于影響屏幕上動作的力量，用戶手部姿態(tài)是自然的方式與選擇的對象進行交互，以溝通所需的方案或直接控制運動。雖然參考圖I對本發(fā)明的描述為追蹤手部姿態(tài)，但是其他用戶姿態(tài)也可以采用，例如腳部姿態(tài)(即，用戶腳部的運動)，或臉部表情(即，用戶頭部的移動或用戶臉部的特定特征的移動)，用來與用戶界面進行交互。例如，腳部姿態(tài)，如擺動用戶的腳部，可以用來在視頻足球比賽游戲中模仿踢球。具體地，用戶可以通過在欺騙守門員踢球之前，通過改變他們的視線，模仿射門(類似于真實足球比賽中射門)，球被踢向用戶視線的方向，并(希望)進球。圖2展示了根據(jù)本發(fā)明一個實施例，基于視線和姿態(tài)追蹤提供用戶反饋的系統(tǒng)200。系統(tǒng)200包括計算設(shè)備204，該計算設(shè)備204與顯示器208連接。系統(tǒng)200也包括視線傳感器212和與計算設(shè)備204連接的姿態(tài)傳感器216。計算設(shè)備204處理從視線傳感器212和姿態(tài)傳感器216接收的數(shù)據(jù)。視線傳感器212追蹤用戶的眼睛。視線傳感器212可以包括光源，例如近紅外線二極管，以照射眼睛，具體為視網(wǎng)膜，導致可見的反射，以及包括攝像頭，該攝像頭捕捉顯示反射的眼睛圖片。隨后，通過計算裝置204分析圖片，以識別光的反射，并計算視線方向。作為選擇，視線傳感器212本身可以分析數(shù)據(jù)，以計算視線方向。
在一個實施例中，視線傳感器212為攝像頭和光源，并設(shè)置在顯示器附近，例如TOBII X60和X120眼睛追蹤器(T0BII X60和X120 eye trackers)。在另外的實施例中，視線傳感器212 —體化于顯示器208中(S卩，攝像頭和光源被包含在顯示器外殼中)，例如TOBII T60, T120 或 T60 XL 眼睛追蹤器(TOBII T60, T120 或 T60 XL eye trackers)。在另一個實施例中，視線傳感器212為用戶戴著的眼鏡，該眼鏡包括攝像頭和光源，例如TOBII GLASSES眼睛追蹤器(TOBII GLASSES eye tracker )。這些只是舉例，其他的用于追蹤視線的傳感器和設(shè)備都可以使用。另外，可以使用多個攝像頭和光源來確定用戶的視線。姿態(tài)傳感器216可以為光學傳感器，追蹤與顯示器208中顯示的對象交互的用戶 的運動。姿態(tài)傳感器216也設(shè)置在顯示器208附近(例如，在顯示器的頂部，在顯示器的下面，等等)。在一個實施例中，采用相同的傳感器來記錄視線追蹤和姿態(tài)追蹤的圖片。姿態(tài)傳感器216可以用于監(jiān)控用戶的身體，例如用戶的手、腳、臂、腿、臉、等等。姿態(tài)傳感器216在二維或三維空間中測量對象(S卩，用戶)相對于傳感器的位置。傳感器216獲得的位置數(shù)據(jù)(例如，圖片)可以為在參考系中，該參考系由圖片平面和垂直于該圖片平面的向量定義。參考系為坐標系，其中可以測量對象位置、方位和/或其他特性。姿態(tài)傳感器216可以為標準的或三維視頻攝像頭。姿態(tài)傳感器216可以直接或間接捕捉深度信息(例如，傳感器和用戶之間的距離)。當為標準視頻攝像頭時，可能需要預(yù)先配置的信息，以確定深度信息。作為選擇，可以采用獨立的傳感器，來確定深度信息?？梢圆捎枚鄠€攝像頭和/或深度來確定用戶的姿態(tài)。在一個特定的實施方式中，姿態(tài)傳感器216為KINECT設(shè)備或類似于KINECT設(shè)備。在一個可選擇的實施例中，可以采用姿態(tài)傳感器216來監(jiān)控用戶持有的或者以其他方式連接到用戶的控制器或慣性傳感器。慣性傳感器可以包括一個或多個陀螺儀和一個或多個加速計，以探測在方位上的改變(例如俯仰、滾動和扭曲)以及用于計算姿態(tài)的加速。傳感器212、216可以通過有線和/或無線與計算設(shè)備204連接。示例性有線連接包括通過IEEE 1394 (火線接口，firewire)電纜、以太網(wǎng)電纜、通用串行總線(USB)電纜等等的連接。示例性無線連接包括無線保真(WIFI)連接、藍牙連接、ZIGBEE連接等等。傳感器212、216連續(xù)和實時地提供數(shù)據(jù)給計算設(shè)備204。傳感器212、216可以提供另外的信息，例如時間戳數(shù)據(jù)等等可以用于數(shù)據(jù)分析的信息。視線傳感器212的示例性數(shù)據(jù)包括眼睛視線位置、眼睛位置、傳感器212到眼睛之間的距離、瞳孔大小、用于每個數(shù)據(jù)點的時間戳等等。作為選擇，視線傳感器212只是提供所捕捉的圖片數(shù)據(jù)(例如，包括近紅外線反射的視頻圖像)。姿態(tài)傳感器216的示例性輸出包括相關(guān)的連接位置、身體位置、傳感器216到用戶的距離、用于每個數(shù)據(jù)點的時間戳等等。作為選擇，視線傳感器216只提供捕捉的圖片數(shù)據(jù)和/或捕捉的深度傳感器數(shù)據(jù)。計算設(shè)備204可以為游戲系統(tǒng)(例如，游戲機)、個人計算機、游戲終端(GameKiosk)、包含計算機處理器的電視、或者其他計算系統(tǒng)。計算設(shè)備204可以執(zhí)行相應(yīng)于游戲的程序或其他可以導致計算設(shè)備204顯示用戶界面的程序，該用戶界面包括在顯示器208上的至少一個對象。計算設(shè)備204也執(zhí)行利用從傳感器212、216接收的數(shù)據(jù)確定用戶對用戶界面的響應(yīng)的程序，并基于接收的數(shù)據(jù)響應(yīng)用戶輸入(例如，通過改變在顯示器208上顯示的用戶界面)。計算設(shè)備204可以包括存儲器，該存儲器存儲從傳感器212、216接收的數(shù)據(jù)。在一個實施例中，計算設(shè)備204包括對象探測邏輯220和姿態(tài)關(guān)聯(lián)邏輯224。在一個實施例中，對象探測邏輯220進行光線投射分析，以確定在屏幕上視線的位置。具體地，可以進行三維光線交叉分析。其他算法也可以采用，來計算用戶看著的對象。在一個實施例中，利用停留時間(即，用戶注視著特定對象的時間量)來選擇對象。換句話說，在選擇對象之前，用戶必須盯著用戶界面中顯示的對象一段預(yù)定的時間。例如，在選擇對象之前，用戶必須看著對象三秒鐘。停留時間可以為在約100毫秒至約30秒之間的任何時間或者時間范圍。在一個實施例中，姿態(tài)關(guān)聯(lián)邏輯224識別用戶的姿態(tài)或計算用戶姿態(tài)(例如，通過比較不同時間點捕捉圖像中在用戶位置，或者探測用戶位置的改變)。在一些實施例中，用·戶姿態(tài)數(shù)據(jù)將被提供給姿態(tài)關(guān)聯(lián)邏輯224。姿態(tài)關(guān)聯(lián)邏輯224隨后將用戶姿態(tài)關(guān)聯(lián)到用戶界面中的改變(即，用戶界面中顯示的對象的移動)。用戶的身體可以映射到骨骼模型?？梢岳锰囟ㄟB接的軸向旋轉(zhuǎn)的量和方向來確定用戶界面中顯示的字符(即，選擇的對象)模型的軸向旋轉(zhuǎn)的相應(yīng)量和方向。例如，基于視線數(shù)據(jù)，姿態(tài)數(shù)據(jù)可以被柵格化，并投影在對象上或用戶界面上。在一個實施例中，基于姿態(tài)數(shù)據(jù)，計算對象的每個像素的力的矢量。換句話說，像素級數(shù)據(jù)(例如，像素的運動)可以被捕獲，并隨后像素級數(shù)據(jù)可以用于移動顯示器中的對象。在一個實施例中，存儲在計算裝置204的存儲器中的查表可以用于將姿態(tài)關(guān)聯(lián)到命令(例如，舉起和放下手將在視頻游戲中的對象向上和向下移動，舉起和放下手在互聯(lián)網(wǎng)瀏覽程序中向上滾動和向下滾動網(wǎng)頁)。在一個實施例中，在追蹤從傳感器212、216接收的用戶輸入之前，校準計算裝置204。例如，用戶眼睛和身體的特性可能需要測量，以執(zhí)行數(shù)據(jù)處理算法。在特定例子中，用戶的眼睛特性可以被測量，以生成生理眼模型(例如，包括瞳孔大小和位置、角膜大小、等等)，以及可以測量用戶身體的特性，來產(chǎn)生生理身體模型(例如，連接位置、用戶尺寸等
-Tf- ) o圖3展示了根據(jù)本發(fā)明一個實施例，基于視線和姿態(tài)追蹤提供用戶反饋的方法300。以下描述的該方法300只是示例性的，并可以包括更少或更多的步驟，至少有一些步驟的順序可以不同于以下的描述。在一個實施例中，計算設(shè)備204執(zhí)行該方法300。該方法300的開始是，在用戶界面中顯示對象(框304)。該方法300接著是，追蹤與用戶界面交互的用戶的視線(框308)，確定用戶是否看著用戶界面中的對象(框312)。該方法300接著是，追蹤用戶的姿態(tài)(框316)，以及將用戶姿態(tài)與用戶界面中對象的運動關(guān)聯(lián)(框320)。該方法300接著是，基于上述關(guān)聯(lián)修改用戶界面中的對象的顯示(框324)。在可選的實施例中，可以在追蹤用戶視線之前追蹤用戶的姿態(tài)。在另一個可選實施例中，用戶的姿態(tài)和視線可以在分析(例如，確定選擇的對象和將姿態(tài)關(guān)聯(lián)到對象控制)之前追蹤。圖4為根據(jù)本發(fā)明一個實施例，基于初始用戶輸入和二次用戶輸入提供反饋的系統(tǒng)400。如圖4所示，系統(tǒng)400包括計算設(shè)備404，該計算設(shè)備404連接到顯示器408，并提供顯示在顯示器408上的用戶界面。系統(tǒng)400也包括與計算設(shè)備404連接的初始傳感器412和二次傳感器416。如上所述，初始傳感器412和二次傳感器416可以通過有線和/或無線連接到計算設(shè)備404。計算設(shè)備404可以包括探測邏輯420，該探測邏輯確定用戶選擇的用戶界面中的對象，關(guān)聯(lián)邏輯424將將用戶的意圖動作或命令關(guān)聯(lián)到用戶界面。在一個實施例中，初始輸入為視線，初始傳感器412為如上所述的視線追蹤傳感器，參見圖2。在一個實施例中，二次輸入為姿態(tài)，二次傳感器416為所述姿態(tài)傳感器，如圖2所示。在另一個實施例中,二次輸入為聲音命令。在該實施例中，二次傳感器416為麥克風。例如，用戶可以盯著他們想說的字符(即，初始輸入)，并隨后通過向該字符說話與該字符進行交互。在一般情況下，如果正在模仿交流，二次輸入為聲音數(shù)據(jù)；并且，如果進行動作模 仿，二次輸入為姿態(tài)數(shù)據(jù)。在另一個實施例中，二次輸入可以為腦電波和/或用戶情緒。在該實施例中，二次傳感器416可以為測量和產(chǎn)生腦電波圖形的傳感器(或多個傳感器)，例如腦電圖(EEG)。例如，利用頭戴式裝置(Emotiv EPOC headset),在用戶頭上設(shè)置若干對電極或其他傳感器。收集的腦電波和/或面部表情數(shù)據(jù)可以被關(guān)聯(lián)到對象動作，例如舉起和放下對象、移動對象、旋轉(zhuǎn)對象等等，以及關(guān)聯(lián)到情緒例如激動、緊張、無聊、專心、冥想和沮喪，以及關(guān)聯(lián)到字符動作例如眨眼、笑、斗雞眼、表現(xiàn)出震驚、微笑、生氣、傻笑、扮鬼臉等等。例如，用戶可以盯著客戶想移動的對象，用戶可以利用其腦電波來移動該對象。在另一個實施例中，用戶可以盯著字符，并利用頭戴式傳感器系統(tǒng)，控制用戶的面部表情、情緒和/或動作。視線追蹤可以與姿態(tài)數(shù)據(jù)、聲音輸入、腦電波輸入和情緒輸入的各種結(jié)合一起使用。例如，視線追蹤可以與每個姿態(tài)輸入、聲音輸入、腦電波輸入和情緒輸入結(jié)合一起使用。在另一個實施例中，視線追蹤可以與聲音輸入、腦電波輸入和情緒輸入一起使用。在另一個實施例中，視線追蹤可以與聲音輸入和腦電波輸入一起使用。計算設(shè)備404類似于根據(jù)圖2的描述的計算設(shè)備204。但是，在各個實施例中，二次輸入不是姿態(tài)數(shù)據(jù)的情況下(例如，二次輸入是聲音指令)，關(guān)聯(lián)邏輯424將二次輸入與顯示器408顯示的用戶界面相關(guān)的命令或運動關(guān)聯(lián)。例如，可以分析接收的聲音數(shù)據(jù)，來確定用戶的命令(例如，“向下滾動”，“向上滾動”，“放大”，“縮小”，“施加咒語”，等等)，并隨后基于命令修改用戶界面(例如，通過向下滾動、向上滾動、放大、縮小、施加咒語等等)。圖5展示了根據(jù)本發(fā)明一個實施例，基于追蹤初始用戶輸入和二次用戶輸入提供用戶反饋的方法。以下描述的方法500僅僅是示例性，并可以包括更少或更多的步驟，一些步驟的順序可以與以下描述的不同。在一個實施例中，方法300可以由計算設(shè)備404執(zhí)行。方法500開始于，在用戶界面顯示對象(框504)。方法500接著是，接收反映對象選擇的初始輸入(框508)和接收反映對象交互的二次輸入(框512)。方法500接著是，分析初始輸入和二次輸入，將上述選擇和交互關(guān)聯(lián)到用戶界面(框516)。方法500接著是，基于上述關(guān)聯(lián)修改用戶界面中的對象(框520)。圖6展示了示例性計算機系統(tǒng)600的圖解，其中可以執(zhí)行一組指令，使機器執(zhí)行至少一個或多個在此描述的方法。在可選擇的實施例中，機器作為獨立設(shè)備或可以被連接(例如，通過聯(lián)網(wǎng))到其他機器。在聯(lián)網(wǎng)情況下，機器可以在服務(wù)器-客戶端網(wǎng)絡(luò)環(huán)境中，作為服務(wù)器或客戶端機器，或作為對等(或分布式)網(wǎng)絡(luò)環(huán)境中的同位機。機器可以為個人計算機(PC)、平板電腦(Tablet PC)、機頂盒(STB)、個人數(shù)字助手(PDA)、移動電話、網(wǎng)絡(luò)設(shè)備、網(wǎng)絡(luò)路由器、開關(guān)或網(wǎng)橋、視頻控制臺或其他可以執(zhí)行一組指令(相繼的或其他)的任何機器。此外，只有單個機器在圖中舉例說明，術(shù)語“機器”也應(yīng)當包括單獨或結(jié)合地執(zhí)行一組(或多組)指令以執(zhí)行任何一個或多個在此討論的方法的機器集合。在特定實施例中，計算機系統(tǒng)600 為 SONY PLAYSTATION 娛樂設(shè)備。示例性計算機系統(tǒng)600包括處理器602 (例如中央處理器(CPU)、圖形處理單元(GPU)或者兩者)、主存儲器604 (例如，只讀存儲器(ROM)、閃存、動態(tài)隨機存儲器(DRAM)例如同步動態(tài)隨機存儲器(SDRAM)或存儲器總線式動態(tài)隨機存儲器(RDRAM)，等等)和靜態(tài)存儲器606 (例如，閃存、靜態(tài)隨機存儲器(SRAM)等等)，這些彼此通過總線608連接。在一個特定實施例中，處理器602為單元處理器(Cell Processor)，且存儲器可以包括RAMBUS動態(tài)隨機存儲器(XDRAM)單元。計算機系統(tǒng)600可以還包括視頻顯示單元610 (例如，液晶顯示器(IXD)或陰極射 線管(CRT))。作為選擇，計算機系統(tǒng)600可以連接到獨立的視頻顯示單元610。計算機系統(tǒng)600也可以包括字母數(shù)字輸入設(shè)備612 (例如，鍵盤)、指針控制設(shè)備614 (例如鼠標或游戲控制器和/或視線和姿態(tài)傳感器，等等)，磁盤驅(qū)動單元616，信號發(fā)生設(shè)備620 (例如，揚聲器、視線和姿態(tài)傳感器等等)和網(wǎng)絡(luò)接口設(shè)備622。在一個特定的實施例中，計算機系統(tǒng)616包括BLU-RAY DISK BD-ROM光盤讀寫器，用于從通過總線608訪問的可拆卸插入式硬盤驅(qū)動器(HDD)和磁盤讀取?？偩€也可以連接一個或多個通用的串行總線(USB) 2.0端口、千兆的以太網(wǎng)端口、IEEE 802. llb/g無線網(wǎng)絡(luò)(WiFi)端口、和/或藍牙無線連接端口。磁盤驅(qū)動單元616包括計算機可讀介質(zhì)624，具體包含任何一個或多個在此描述的方法或功能的一組或多組指令(例如，軟件626)存儲在該計算機可讀介質(zhì)624上。在執(zhí)行過程中，通過也構(gòu)成計算機可讀介質(zhì)的處理器602、主存儲器604和計算機系統(tǒng)600，軟件626也可以完全或至少部分地存在主存儲器604中和/或處理器602中。軟件626還可以通過網(wǎng)絡(luò)接口設(shè)備622通過網(wǎng)絡(luò)628發(fā)送或接收。圖中顯示的計算機可讀介質(zhì)624為示例性實施例，是單個介質(zhì)，術(shù)語“計算機可讀介質(zhì)”應(yīng)當包括單個介質(zhì)或多個介質(zhì)(例如，集中式或分布式數(shù)據(jù)庫，和/或相關(guān)的緩存和服務(wù)器)，存儲一組或多組指令。術(shù)語“計算機可讀介質(zhì)”也應(yīng)當包括任何能夠存儲、編碼或攜帶一組指令的有形介質(zhì)，該指令為供機器執(zhí)行，并使機器進行任何一個或多個本發(fā)明的方法。術(shù)語“計算機可讀存儲介質(zhì)”應(yīng)當因此包括但不限于固態(tài)的存儲器、光學和磁介質(zhì)。應(yīng)當注意，以上示例和描述的計算設(shè)備具有各種模塊，這些模塊執(zhí)行特定功能，并彼此交互。應(yīng)當知道，這些模塊僅僅是基于他們的功能，為了描述而分離，并且表示計算機硬件和/或存儲在計算機可讀介質(zhì)上用于在適當計算硬件上執(zhí)行的可執(zhí)行的軟件代碼。不同模塊和單元的各種功能可以以任何形式結(jié)合或分離為硬件和/或存儲在計算機可讀介質(zhì)上的上述軟件，并且可以單獨或者結(jié)合使用。圖7為根據(jù)本發(fā)明一個實施例，可以用于處理指令的另外的硬件。圖7根據(jù)本發(fā)明一個實施例，展示了單元處理器(Cell Processor) 700的元件,這可以相應(yīng)于圖6的處理器602。圖7的單元處理器700的架構(gòu)包括四個基本組成外部輸入輸出結(jié)構(gòu)，該外部輸入輸出結(jié)構(gòu)包括存儲器控制器760和雙總線接口控制器770A，B ;主處理器，該主處理器稱為控制處理單兀(PPE, Power Processing Element) 750 ;八個協(xié)處理器,稱為協(xié)同處理器(Synergistic Processing Element, SPE)710A-H ;連接到上述元件的循環(huán)數(shù)據(jù)總線，稱為單兀間互聯(lián)總線(Element Interconnect Bus) 780。與 Playstation 2 設(shè)備的 EmotionEngine的6. 2 GFLOPs相比，單元處理器的總的浮點性能為218 GFLOPS0控制處理單元750是基于雙向同時多線程Power 1470，兼容PowerPC內(nèi)核(PI3U)755，運行在內(nèi)部時鐘為3. 2 GHz。它包括512 kB 二級(L2)緩存和32 kB 一級(LI)緩存。PPE750可以每個時鐘周期八個單獨位置操作，在3. 2 GHz轉(zhuǎn)化為25. 6 GFLOPs。PPE750的主要作用是作為協(xié)同處理器710A-H的控制器，它處理大多數(shù)的計算工作量。在操作中，PPE750維持工作隊列，安排協(xié)同處理器710A-H的工作，并監(jiān)控其進程。因此，協(xié)同處理器710A-H運行內(nèi)核，其作用是取得工作、執(zhí)行和與PPE750同步。每個協(xié)同處理兀件(SPE,Synergistic Processing Element) 710A-H 包括相應(yīng)的協(xié)同處理單元(SPU, Synergistic Processing Unit) 720A-H,和相應(yīng)的內(nèi)存流控制器 (MFC, Memory Flow Controller) 740A-H，該內(nèi)存流控制器包括相應(yīng)的動態(tài)存儲器存取控制器(DMAC, Dynamic Memory Access Controller) 742A-H,相應(yīng)的存儲器管理單兀(MMU,Memory Management Unit) 744A-H 和總線接口(未圖示)。每個 SPU 720A-H 為 RISC 處理器，主頻為3.2 GHz，并包含256 kB本地RAM 730A-H，原則上可擴展到4 GB。每個SPE提供理論的單精度性能25. 6 GFLOPS0 SPU可以在單個時鐘周期中，4個單精度浮點成員、4個32位成員、8個16位整數(shù)或16個8位整數(shù)上運行。在相同的時鐘周期中，它可以執(zhí)行存儲操作。SPU 720A-H沒有直接訪問系統(tǒng)內(nèi)存XDRAM 1426 ; SPU 720A-H形成的64位地址被傳遞到MFC 740A-H，該MFC 740A-H指示DMAC 742A-H通過單元間互聯(lián)總線780和內(nèi)存控制器760訪問內(nèi)存。單兀間互聯(lián)總線(EIB, Element Interconnect Bus) 780為單兀處理器700內(nèi)部的邏輯循環(huán)通信總線，連接上述處理器單元，即PPE 750、內(nèi)存控制器760、雙總線接口 770A，B和8個SPE 710A-H，總共12個參與者。參與者可以以每個時鐘周期8個字節(jié)的速度同時讀取和寫入總線。如前所述，每個SPE 710A-H包括用于安排更長的讀取或?qū)懭胄蛄械腄MAC742A-H。EIB包括四個通道，順時針方向和逆時針方向每個兩個。因此，對于12個參與者，任兩個參與者之間的最長的步進式數(shù)據(jù)流，為適當方向中的六個步驟。如果通過參與者之間仲裁全部利用，12個插槽的理論峰值瞬時EIB帶寬因此為每個時鐘96B。這相當于理論峰值帶寬307. 2 GB/s (千兆字節(jié)每秒)時鐘速率為3. 2GHz。內(nèi)存控制器760包括由Rambus Incorporated公司研發(fā)的XDRAM接口 762。內(nèi)存控制器與Rambus XDRAM連接，理論峰值帶寬25. 6 GB/s。雙總線接口 770A，B包括Rambus FlexIO 系統(tǒng)接口 772A，B。接口設(shè)置為12通道，每個通道有8位寬，5個通道接入，7個通道接出。這通過控制器770A提供單元處理器和I/0橋之間的理論峰值帶寬62.4 GB/s (36.4 GB/s接出，26 GB/s接入)，以及通過控制器770B提供現(xiàn)實模擬圖。應(yīng)當理解，在此描述的方法和技術(shù)不是固有地涉及到任何特定的設(shè)備，且可以由任何適當?shù)脑Y(jié)合來實施。此外，各種類型的一般用途設(shè)備可以與在此教導的一起使用。同時，也可以證明構(gòu)造專用設(shè)備來執(zhí)行在此描述的方法是有利的。本發(fā)明已經(jīng)描述了特定實施例，這些實施例是舉例說明，而不是限制性的。本領(lǐng)域技術(shù)人員知道，硬件、軟件和固件的不同結(jié)合，可以用來實施本發(fā)明。計算機設(shè)備可以為個人計算機、手機、服務(wù)器、個人數(shù)據(jù)處理機或其他設(shè)備或設(shè)備的結(jié)合，這些設(shè)備可以響應(yīng)記錄在介質(zhì)上的計算機可讀指令，執(zhí)行公開的功能。詞語“計算機系統(tǒng)”，如在此使用的，因此涉及任何這種設(shè)備或這種設(shè)備的結(jié)合。 此外，在考慮本說明書和本發(fā)明實踐的情況下，本發(fā)明的任何實施對于本領(lǐng)域技術(shù)人員是顯而易見的。上述實施例的各個方面和/或元件可以單獨使用或者結(jié)合使用。說明書和實施例僅是示例性的，本發(fā)明真實的范圍和精神如權(quán)利要求所體現(xiàn)。
權(quán)利要求
1.一種計算機系統(tǒng)，包括 處理器，該處理器接收視線數(shù)據(jù)和姿態(tài)數(shù)據(jù)，確定對應(yīng)于所述視線數(shù)據(jù)的用戶界面位置，使所述姿態(tài)數(shù)據(jù)與所述用戶界面的修改相關(guān)聯(lián)；存儲器，該存儲器與所述處理器連接，以存儲所述視線數(shù)據(jù)和姿態(tài)數(shù)據(jù)。
2.根據(jù)權(quán)利要求I所述的計算機系統(tǒng)，其特征在于所述姿態(tài)數(shù)據(jù)包括手部姿態(tài)數(shù)據(jù)。
3.根據(jù)權(quán)利要求I所述的計算機系統(tǒng)，其特征在于所述視線數(shù)據(jù)包括與所述用戶界面交互的用戶眼睛的多個圖像。
4.根據(jù)權(quán)利要求3所述的計算機系統(tǒng)，其特征在于所述視線數(shù)據(jù)包括光的反射。
5.根據(jù)權(quán)利要求4所述的計算機系統(tǒng)，其特征在于所述光包括紅外線照射。
6.根據(jù)權(quán)利要求I所述的計算機系統(tǒng)，其特征在于所述姿態(tài)數(shù)據(jù)包括與所述用戶界面交互的用戶身體的多個圖像。
7.根據(jù)權(quán)利要求6所述的計算機系統(tǒng)，其特征在于所述姿態(tài)數(shù)據(jù)還包括深度信息。
8.一種系統(tǒng)，該系統(tǒng)包括顯示器，該顯示器顯示包括對象的用戶界面；視線傳感器，該視線傳感器捕捉眼睛視線數(shù)據(jù)；姿態(tài)傳感器，該姿態(tài)傳感器捕捉用戶姿態(tài)數(shù)據(jù)；計算設(shè)備，該計算設(shè)備與所述視線傳感器、所述姿態(tài)傳感器、和所述顯示器連接，其中所述計算設(shè)備為所述顯示器提供所述用戶界面，并基于所述視線數(shù)據(jù)確定用戶是否看著所述對象，將所述姿態(tài)數(shù)據(jù)與對應(yīng)于所述對象的命令關(guān)聯(lián)，以及基于所述命令修改包含所述對象的所述用戶界面的顯示。
9.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于所述命令包括所述對象的移動。
10.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于所述視線數(shù)據(jù)包括眼睛視線數(shù)據(jù)眼睛視線位置和至少一個以下數(shù)據(jù)眼睛位置、所述視線傳感器與所述眼睛的距離、瞳孔大小、和時間戳。
11.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于所述視線傳感器包括攝像頭和光源。
12.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于所述姿態(tài)傳感器包括攝像頭和深度傳感器。
13.根據(jù)權(quán)利要求8所述的系統(tǒng)，其特征在于所述姿態(tài)傳感器包括至少一個陀螺儀和至少一個加速計。
14.一種方法，包括在顯示器上顯示用戶界面；接收與所述用戶界面交互的用戶的視線數(shù)據(jù)；基于所述視線數(shù)據(jù)，確定所述用戶的視線是否對著所述用戶界面中顯示的對象；接收對應(yīng)于所述用戶的姿態(tài)的姿態(tài)數(shù)據(jù)；將所述用戶與所述對象的預(yù)期交互與所述姿態(tài)數(shù)據(jù)關(guān)聯(lián)；基于關(guān)聯(lián)的交互，修改所述用戶界面中的所述對象的顯示。
15.根據(jù)權(quán)利要求14所述的方法，其特征在于所述視線數(shù)據(jù)包括眼睛視線數(shù)據(jù)眼睛視線位置和至少一個以下數(shù)據(jù)眼睛位置、所述視線傳感器與所述眼睛的距離、瞳孔大小、和時間戳。
16.根據(jù)權(quán)利要求14所述的方法，其特征在于在確定所述用戶的視線是否對著所述對象之前，所述姿態(tài)數(shù)據(jù)與所述用戶的預(yù)期交互關(guān)聯(lián)。
17.根據(jù)權(quán)利要求14所述的方法，其特征在于所述對象的顯示的修改包括移動所述用戶界面中所述對象的相對位置。
18.根據(jù)權(quán)利要求14所述的方法，其特征在于所述姿態(tài)數(shù)據(jù)包括相應(yīng)于手部姿態(tài)的信息。
19.一種計算機可讀存儲介質(zhì)，具有存儲在其上的計算機可執(zhí)行指令，執(zhí)行時，使計算機系統(tǒng)執(zhí)行一種方法，該方法包括在顯示器上顯示用戶界面；接收與所述用戶界面交互的用戶的視線數(shù)據(jù)；基于所述視線數(shù)據(jù)，確定所述用戶的視線是否對著所述用戶界面中顯示的對象；接收對應(yīng)于所述用戶的姿態(tài)的姿態(tài)數(shù)據(jù)；將所述用戶與所述對象的預(yù)期交互與所述姿態(tài)數(shù)據(jù)關(guān)聯(lián)；基于關(guān)聯(lián)的交互，修改所述用戶界面中的所述對象的顯示。
20.根據(jù)權(quán)利要求19所述的計算機可讀存儲介質(zhì)，其特征在于在確定所述用戶的視線是否對著所述對象之前，所述姿態(tài)數(shù)據(jù)與所述用戶的預(yù)期交互關(guān)聯(lián)。
21.根據(jù)權(quán)利要求19所述的計算機可讀存儲介質(zhì)，其特征在于所述對象的顯示的修改包括移動所述用戶界面中所述對象的相對位置。
22.—種計算機系統(tǒng)，包括處理器，該處理器接收視線數(shù)據(jù)，接收腦電波數(shù)據(jù)和情緒數(shù)據(jù)的至少其中一個，確定對應(yīng)于所述視線數(shù)據(jù)的用戶界面位置，使所述腦電波數(shù)據(jù)和情緒數(shù)據(jù)的至少其中一個與所述用戶界面的修改相關(guān)聯(lián)；存儲器，該存儲器與所述處理器連接，以存儲所述視線數(shù)據(jù)，以及存儲腦電波數(shù)據(jù)和情緒數(shù)據(jù)的至少其中一個。
23.根據(jù)權(quán)利要求22所述的計算機系統(tǒng)，其特征在于所述視線數(shù)據(jù)包括與所述用戶界面交互的用戶眼睛的多個圖像。
24.根據(jù)權(quán)利要求22所述的計算機系統(tǒng)，其特征在于所述處理器還接收聲音數(shù)據(jù)，以及設(shè)置為將所述腦電波數(shù)據(jù)、情緒數(shù)據(jù)和聲音數(shù)據(jù)的至少其中一個與所述用戶界面的修改相關(guān)聯(lián)；存儲器，該存儲器設(shè)置為存儲聲音數(shù)據(jù)。
25.—種系統(tǒng)，包括顯示器，該顯示器顯示包括對象的用戶界面；視線傳感器，該視線傳感器捕捉眼睛視線數(shù)據(jù)；頭戴式裝置，包括多個傳感器，該多個傳感器捕捉腦電波數(shù)據(jù)和情緒數(shù)據(jù)的至少其中一個；以及計算設(shè)備，該計算設(shè)備與所述視線傳感器、所述頭戴式裝置、和所述顯示器連接，其中所述計算設(shè)備為所述顯示器提供所述用戶界面，并基于所述視線數(shù)據(jù)確定用戶是否看著所述對象，且將所述電波數(shù)據(jù)和情緒數(shù)據(jù)的至少其中一個與對應(yīng)于所述對象的命令關(guān)聯(lián)，以及基于所述命令修改包含所述對象的所述用戶界面的顯示。
26.根據(jù)權(quán)利要求25所述的系統(tǒng)，其特征在于所述命令包括所述對象的移動。
27.根據(jù)權(quán)利要求25所述的系統(tǒng)，其特征在于所述視線數(shù)據(jù)包括眼睛視線數(shù)據(jù)眼睛視線位置和至少一個以下數(shù)據(jù)眼睛位置、所述視線傳感器與所述眼睛的距離、瞳孔大小、和時間戳。
28.根據(jù)權(quán)利要求25所述的系統(tǒng)，其特征在于所述視線傳感器包括攝像頭和光源。
29.一種方法，包括在顯示器上顯示用戶界面；接收與所述用戶界面交互的用戶的視線數(shù)據(jù)；基于所述視線數(shù)據(jù)，確定所述用戶的視線是否對著所述用戶界面中顯示的對象；接收腦電波數(shù)據(jù)和情緒數(shù)據(jù)的至少其中一個；將所述腦電波數(shù)據(jù)和情緒數(shù)據(jù)的至少其中一個和所述用戶與所述對象的預(yù)期交互相關(guān)聯(lián)；基于關(guān)聯(lián)的交互，修改所述用戶界面中的所述對象的顯示。
30.根據(jù)權(quán)利要求29所述的方法，其特征在于所述視線數(shù)據(jù)包括眼睛視線數(shù)據(jù)眼睛視線位置和至少一個以下數(shù)據(jù)眼睛位置、所述視線傳感器與所述眼睛的距離、瞳孔大小、和時間戳。
31.根據(jù)權(quán)利要求29所述的方法，其特征在于所述對象的顯示的修改包括移動所述用戶界面中所述對象的相對位置。
32.根據(jù)權(quán)利要求29所述的方法，其特征在于所述對象是字符，其中修改所述對象的顯示包括改變字符的面部表情。
33.一種計算機可讀存儲介質(zhì)，具有存儲在其上的計算機可執(zhí)行指令，執(zhí)行時，使計算機系統(tǒng)執(zhí)行一種方法，該方法包括在顯示器上顯示用戶界面；接收與所述用戶界面交互的用戶的視線數(shù)據(jù)；基于所述視線數(shù)據(jù)，確定所述用戶的視線是否對著所述用戶界面中顯示的對象；接收腦電波數(shù)據(jù)和情緒數(shù)據(jù)的至少其中一個；將所述用戶與所述對象的預(yù)期交互與所述腦電波數(shù)據(jù)和情緒數(shù)據(jù)的至少其中一個相關(guān)聯(lián)；基于關(guān)聯(lián)的交互，修改所述用戶界面中的所述對象的顯示。
34.根據(jù)權(quán)利要求33所述的計算機可讀存儲介質(zhì)，其特征在于所述對象的顯示的修改包括移動所述用戶界面中所述對象的相對位置。
35.根據(jù)權(quán)利要求33所述的計算機可讀存儲介質(zhì)，其特征在于所述對象是字符，其中修改所述對象的顯示包括改變字符的面部表情。
全文摘要
本發(fā)明公開了一種用戶界面技術(shù)，該用戶界面技術(shù)基于用戶視線和二次用戶輸入例如手部姿態(tài)，提供用戶反饋。基于攝像頭的追蹤系統(tǒng)可以追蹤用戶的視線，來探測正在看著的用戶界面中顯示的對象。追蹤系統(tǒng)也識別手部或其他身體姿態(tài)，以控制對象的動作或運動，例如利用獨立的攝像頭或傳感器。用戶界面隨后基于追蹤的視線和姿態(tài)數(shù)據(jù)更新，以提供反饋。
文檔編號G06F3/01GK102749990SQ20121010108
公開日2012年10月24日 申請日期2012年4月9日 優(yōu)先權(quán)日2011年4月8日
發(fā)明者埃里克·J·拉森 申請人:索尼電腦娛樂公司