專利名稱:面部追蹤電子閱讀器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及包括任何電子顯示器的電子閱讀器。
背景技術(shù)：
本發(fā)明一般地涉及可以包括任何電子顯示器的電子閱讀器，該電子顯示器顯示由用戶閱讀的文本。在一個實施例中，它可以涉及在電子顯示器上逐頁地顯示圖書的文本的所謂的電子圖書。
電子圖書或電子書已經(jīng)變得愈加普及。一般地，它們顯示文本的一部分，然后用戶必須手動地操縱用戶控制機構(gòu)以調(diào)出另外的頁或做出其他控制選擇。通常，用戶觸摸顯示器屏幕上的圖標以便換頁或發(fā)起其他控制選擇。因此，需要觸摸屏并且用戶被迫與該觸摸屏進行交互以便控制閱讀所顯示的文本的過程。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個方面，提供一種裝置，包括:顯示器，其用于顯示要由用戶閱讀的文本；與所述顯示器相關(guān)聯(lián)的攝像機；以及控制器，其用于檢測用戶面部動作和解釋面部動作以控制文本的所述顯示。
根據(jù)本發(fā)明的另一個方面，提供一種方法，包括:顯示要由用戶閱讀的文本；當所述用戶閱讀所述文本時記錄所述用戶的圖像；檢測與所述文本相關(guān)聯(lián)的用戶面部動作；以及將面部動作與用戶輸入相聯(lián)系。
根據(jù)本發(fā)明的另一個方面，提供一種方法，包括:顯示要由用戶閱讀的文本；當所述用戶閱讀所述文本時記錄所述用戶的圖像；當閱讀所述文本時檢測用戶面部動作；以及將面部動作與所述文本的特定部分相關(guān)聯(lián)。


圖1是本發(fā)明的一個實施例的正視圖；
圖2是根據(jù)一個實施例的、圖1中所示的實施例的示意性描述；
圖3是本發(fā)明的一個實施例的流程圖；以及
圖4是本發(fā)明的一個實施例的更詳細的流程圖。
具體實施方式
參考圖1，電子顯示器10可以顯示要由用戶閱讀的文本。在一個實施例中，顯示器10可以是電子圖書閱讀器或電子書閱讀器。它還可以是顯示要由用戶閱讀的文本的任何計算機顯示器。例如，它可以是計算機顯示器、平板計算機顯示器、蜂窩電話顯示器、移動互聯(lián)網(wǎng)設(shè)備顯示器、或者甚至是電視顯示器。顯示器屏幕14可以由框12包圍。在一些實施例中，所述框可以支承攝像機16和麥克風18。
可以將攝像機16瞄準用戶的面部。攝像機16可以與面部追蹤軟件(例如，眼睛或面部表情或頭部運動追蹤)相關(guān)聯(lián)，該面部追蹤軟件對檢測到的面部動作進行響應(yīng)。這些動作可以包括例如眼睛運動、注視目標檢測、眨眼、閉眼或睜眼、嘴唇運動、頭部運動、面部表情、以及凝視中的任意動作。
在一些實施例中，麥克風18可以接收來自用戶的聲音或語音輸入命令。例如，在一個實施例中，麥克風18可以與語音檢測/識別軟件模塊相關(guān)聯(lián)。
參考圖2，根據(jù)一個實施例，控制器20可以包括存儲設(shè)備22，在一個實施例中，可以在該存儲設(shè)備22中存儲軟件26。數(shù)據(jù)庫24也可以存儲文件，所述文件包括要在顯示器14上進行顯示的文本信息。麥克風18可以耦合到控制器20，攝像機16也可以耦合到控制器20?？刂破?0可以使用攝像機16實現(xiàn)眼睛追蹤功能。它還可以使用麥克風18實現(xiàn)語音檢測和/或識別。
參考圖3，在軟件實施例中，指令序列可以被存儲在諸如存儲設(shè)備22的計算機可讀介質(zhì)中。作為典型的例子，存儲設(shè)備22可以是光存儲器、磁存儲器、或半導體存儲器。在一些實施例中，存儲設(shè)備22可以構(gòu)成存儲由處理器或控制器執(zhí)行的指令的計算機可讀介質(zhì)，在一個實施例中，所述處理器或控制器可以是控制器20。
最初，如框28所示，識別了面部活動?？梢詮臄z像機16向控制器20提供的視頻流中識別所述活動。在一些實施例中，面部追蹤軟件可以檢測用戶瞳孔的運動、用戶眼瞼的運動、面部表情、或者甚至是頭部運動?？梢允褂脠D像識別技術(shù)來識別眼睛、瞳孔、眼瞼、面部、面部表情、或頭部動作以及將這些各種動作區(qū)分為不同的用戶輸入。面部追蹤軟件通常是可獲得的。
接著，如框30所示，將面部活動放到其上下文中。例如，該上下文可以是用戶已經(jīng)注視一個目標給定的時間量。另一個上下文可以是用戶在提供另一個眼睛追蹤軟件識別的指示后眨眼。因此，系統(tǒng)可以使用上下文通過眼睛追蹤器檢測到的動作來解釋用戶意圖。然后，在框32中，分析眼睛活動和其上下文以將它們與期望的用戶輸入相關(guān)聯(lián)。換言之，該上下文和眼睛活動與用戶大概想發(fā)出的命令或控制相關(guān)聯(lián)。然后，在框34中，基于所檢測的活動和其關(guān)聯(lián)的上下文可以實現(xiàn)閱讀器控制或服務(wù)。
在一些實施例中，可以提供面部追蹤器檢測的兩種不同類型的輸入。第一種輸入可以是閱讀控制輸入。閱讀控制的例子可以是翻頁、滾動頁、顯示菜單、或啟用或禁用語音輸入。在每一種情況中，用戶提供攝像機檢測的命令或輸入來控制閱讀文本的過程。
在一些實施例中，第二種類型的用戶輸入可以指示對用戶服務(wù)的請求。例如，用戶服務(wù)可以是請求已經(jīng)在文本中識別的單詞(word)的發(fā)音。另一個閱讀器服務(wù)可以是提供特定單詞的定義。再一個閱讀器服務(wù)可以是指示或識別用戶閱讀特定段落、單詞、短語、或者甚至圖書存在困難?？梢詫⒃撔畔魉徒o班長以指示用戶不能輕易地處理該文本。這可以觸發(fā)提供例如更簡單的文本、更復雜的文本、更大的文本篇幅、聲音提示、或老師或班長介入。此外，可以自動地記錄文本中的、傳送了閱讀困難信號的位置，以用于其他人(諸如老師)訪問。
參考圖4，作為一個簡單的例子，如框40中所檢測的，用戶可以使他或她的注視固定在特定單詞上。這可以從來自攝像機的視頻流中通過識別給定的閾值時間段內(nèi)沒有眼睛運動來確定。響應(yīng)于對文本中特定目標的注視，可以識別目標文本。這可以通過將眼睛注視的坐標和關(guān)聯(lián)的文本的坐標進行匹配來完成。因此，如框42和44中所示，可以提供目標單詞的詞典定義。
其后，如果在46檢測到用戶眨眼，那么如框48中所示，可以從顯示器上移除文本定義。這種情況下，上下文分析確定可以將在對特定單詞注視之后的眨眼和該特定單詞的定義的顯示解釋為用于移除所顯示的文本的用戶輸入。
然后，在框50中，在該例子中恢復常規(guī)閱讀模式。在該實施例中，如框52中所檢測的，如果用戶保持他或她的眼睛閉合給定的時間段(例如一秒)，那么可以翻頁(框54)。翻頁命令的其他指示可以是眼睛掃過該頁或者甚至是使眼睛注視結(jié)合文本顯示的翻頁圖標。
為了避免錯誤輸入，可以提供反饋機制。例如，當用戶注視特定單詞時，可以高亮顯示該單詞以確定系統(tǒng)檢測到正確的單詞。高亮的顏色可以指示系統(tǒng)認為用戶輸入是什么。例如，如果用戶凝視單詞“貝殼”一段延長的時間，那么可以將該單詞高亮為黃色，指示系統(tǒng)理解用戶想要系統(tǒng)提供單詞“貝殼”的定義。然而，在另外的實施例中，當基于上下文，系統(tǒng)認為用戶想要接收該單詞的發(fā)音指導時，系統(tǒng)可以將單詞高亮為紅色。發(fā)音指導可以在文本中提供該單詞如何發(fā)音的指示或者甚至可以包括通過語音生成系統(tǒng)的音頻發(fā)音。響應(yīng)于單詞的高亮顯示或其他反饋，用戶可以通過另外的眼睛動作指示系統(tǒng)對期望的輸入的理解是否正確。用戶可以張開他的嘴巴來指示例如發(fā)音的命令。
在另外的實施例中，可以對頁添加書簽以便使得用戶能夠回到用戶離開時相同的位置。例如，響應(yīng)于獨特的眼睛動作，可以在文本頁上放置標記以便為用戶提供用戶離開時的位置的可視指示，以用于隨后閱讀的恢復?？梢元毩⒌鼗蜃鳛橹甘颈粯擞浀奈谋镜奈募囊徊糠钟涗浐痛鎯灒杂糜谖磥砗?或遠程訪問。
貫穿本說明書提及的“一個實施例”或“實施例”意味著結(jié)合該實施例描述的特定特征、結(jié)構(gòu)或特性包含在本發(fā)明的至少一個實現(xiàn)中。因此，短語“一個實施例”或“在實施例中”的出現(xiàn)未必都指同一實施例。此外，除了特定實施例所說明的形式，所述特定特征、結(jié)構(gòu)或特性可以實現(xiàn)為其他合適的形式，并且所有這些形式可以包含在本申請的權(quán)利要求
中。
盡管已經(jīng)針對有限數(shù)量的實施例描述了本發(fā)明，但是本領(lǐng)域中的技術(shù)人員將意識到來自其的大量修改和變型。所附權(quán)利要求
旨在覆蓋落在本發(fā)明的真實精神和范圍內(nèi)的所有這種修改和變型。
權(quán)利要求
1.一種裝置，包括: 顯示器，其用于顯示要由用戶閱讀的文本； 與所述顯示器相關(guān)聯(lián)的攝像機；以及 控制器，其用于檢測用戶面部動作和解釋面部動作以控制文本的所述顯示。
2.根據(jù)權(quán)利要求
1所述的裝置，其中，所述控制器用于檢測眼睛活動以控制文本顯示。
3.根據(jù)權(quán)利要求
1所述的裝置，其中，所述控制器用于將眼睛活動和上下文相關(guān)聯(lián)以確定期望的用戶命令。
4.根據(jù)權(quán)利要求
1所述的裝置，所述控制器用于將面部動作識別為提供所述文本中的單詞的含義的請求。
5.根據(jù)權(quán)利要求
1所述的裝置，所述控制器用于將面部動作識別為請求單詞的發(fā)音的顯示的控制信號。
6.根據(jù)權(quán)利要求
1所述的裝置，所述控制器用于識別面部動作以指示閱讀所述文本存在困難。
7.根據(jù)權(quán)利要求
1所述的裝置，所述控制器用于識別面部動作以指示在文本的頁上標記位置的請求。
8.一種方法，包括: 顯示要由用戶閱讀的文本； 當所述用戶閱讀所述文 本時記錄所述用戶的圖像； 檢測與所述文本相關(guān)聯(lián)的用戶面部動作；以及 將面部動作與用戶輸入相聯(lián)系。
9.根據(jù)權(quán)利要求
8所述的方法，包括將眼睛活動和上下文相關(guān)聯(lián)以確定期望的用戶命令。
10.根據(jù)權(quán)利要求
8所述的方法，包括將面部動作識別為提供所述文本中的單詞的含義的請求。
11.根據(jù)權(quán)利要求
8所述的方法，包括將面部動作識別為請求單詞的發(fā)音的顯示的控制信號；
12.根據(jù)權(quán)利要求
8所述的方法，包括將面部動作識別為指示閱讀所述文本存在困難。
13.根據(jù)權(quán)利要求
8所述的方法，包括將面部動作識別為指示在文本的頁上標記位置的請求。
14.一種方法，包括: 顯示要由用戶閱讀的文本； 當所述用戶閱讀所述文本時記錄所述用戶的圖像； 當閱讀所述文本時檢測用戶面部動作；以及 將面部動作與所述文本的特定部分相關(guān)聯(lián)。
15.根據(jù)權(quán)利要求
14所述的方法，還包括:檢測眼睛活動和識別注視目標以便將所述面部動作與文本相關(guān)聯(lián)。
16.根據(jù)權(quán)利要求
14所述的方法，還包括:將眼睛活動和上下文相關(guān)聯(lián)以確定期望的用戶命令。
17.根據(jù)權(quán)利要求
14所述的方法，還包括:將面部動作識別為提供所述文本中的單詞的含義的請求。
18.根據(jù)權(quán)利要求
14所述的方法，還包括:將面部動作識別為請求單詞的發(fā)音的控制信號。
19.根據(jù)權(quán)利要求
14所述的方法，還包括:將面部動作識別為指示閱讀所述文本的一部分存在困難、識別所述文本部分、以及記錄所述文本部分的位置。
20.根據(jù)權(quán)利要求
17所述的方法，還包括:將面部動作識別為指示在文本的頁上標記位置的請求、記錄所述位 置、以及使得所記錄的位置可用于隨后訪問。
專利摘要
一種面部追蹤電子閱讀器及其使用方法。面部動作(例如眼睛動作)可以用來檢測用戶輸入以控制文本的顯示。例如，結(jié)合電子圖書閱讀器，可以將面部動作，并且特別是眼睛動作，解釋為指示例如何時翻頁、何時提供單詞的發(fā)音、何時提供單詞的定義、以及何時在文本中做標記。
文檔編號G09B5/02GKCN102163377 B發(fā)布類型授權(quán) 專利申請?zhí)朇N 201110043238
公開日2013年7月17日 申請日期2011年2月23日
發(fā)明者P·J·科里維奧, G·J·安德森 申請人:英特爾公司導出引文BiBTeX, EndNote, RefMan