專利名稱：非觸摸式交互系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及導(dǎo)航(navigate)小屏幕顯示器的系統(tǒng)及其方法。更具體地，本發(fā)明涉及具有用于追蹤用戶手指指向虛擬鍵盤的軌跡的非接觸式傳感器的該系統(tǒng)及方法。
背景技術(shù)：
可以在例如手機、個人數(shù)字助理(PDA)、移動電腦和成像器的產(chǎn)品上見到各種類型的小屏幕顯示器。越來越多地，用戶必須導(dǎo)航小屏幕顯示器去利用手機進(jìn)行網(wǎng)頁瀏覽或使用PDA瀏覽照片。 小型觸摸屏用于支持與運行在諸如PDA和移動電話的便攜裝置上的程序的交互是常見的。小型觸摸屏也在尋找到家用產(chǎn)品的路徑，例如Honeywell公司的TH8321U1006型恒溫器，Honeywell公司的6271V型安全面板，以及各種個人健康監(jiān)視裝置。它們已經(jīng)在包裹遞送、零售倉儲和精煉廠野外操作中應(yīng)用多年。 已知的，導(dǎo)航系統(tǒng)使用縮放和全景控制或通過魚眼觀視器。然而，在一些情況下使用這些控制是不方便和低效率的。例如，很難結(jié)合觸摸屏去使用魚眼導(dǎo)航。同樣很難利用鼠標(biāo)或觸摸屏去縮放和全景圖形。在小型屏上使用觸針的導(dǎo)航可能對用戶更加困難。
因此對于另外一種自然的并且更容易使用的控制導(dǎo)航圖形大小比例的裝置的需求是持續(xù)地。因此存在對于自然且容易使用的控制導(dǎo)航大尺度和小尺度圖形的替換方法的持續(xù)需求。 同樣可期待的是，能夠在導(dǎo)航諸如地圖或建筑樓層平面圖的大尺度圖形中使用這種方法。

發(fā)明內(nèi)容
—種顯示系統(tǒng)，其包括圖像可以在其表面呈現(xiàn)的多維顯示裝置；位于該表面附近的多個非接觸式傳感器；以及耦合到該傳感器和該顯示裝置的控制電路，該電路響應(yīng)來自傳感器的信號，確定向該表面的區(qū)域移動的指示部件的軌跡。


附圖1為根據(jù)本發(fā)明的非觸摸式交互系統(tǒng)的圖示；
附圖2為附圖1中的系統(tǒng)的部分軟件元件的框 附圖3為圖示交互方法的流程圖； 附圖4A、4B示出了附圖1中系統(tǒng)的兩種不同的應(yīng)用； 附圖5為非觸摸模式輸入屏幕，包括建筑名字，街道號碼和地址，城市，郵政編碼，第一警報，樓層號，檢測器； 附圖6為中間非觸摸模式屏幕，包括建筑名字，街道號碼和地址，城市，郵政編碼，第一警報，樓層號，檢測器； 附圖7為具有退出按鈕的非觸摸模式區(qū)域顯示屏，包括建筑名字，街道號碼和地址，城市，郵政編碼，第一警報，樓層號，檢測器； 附圖8A、8B、8C示出了附圖1中系統(tǒng)的非接觸式傳感器的各個方面； 附圖9A、9B、9C示出了虛擬鍵盤非觸摸式導(dǎo)航的一種形式，在圖9A中，當(dāng)手指足夠
靠近觸摸屏?xí)r，將根據(jù)手指的位置選擇和放大可視鍵盤的一個框；以及 附圖10A、10B、10C示出了虛擬鍵盤非觸摸式導(dǎo)航的另一種形式，在圖10A中，將根
據(jù)手指的位置連續(xù)放大虛擬鍵盤。
具體實施例方式
盡管本發(fā)明的實施例可以采取許多不同形式，在附圖中示出其具體實施例并且結(jié)合下列理解在本文中詳細(xì)描述該具體實施例將本發(fā)明的公開作為本發(fā)明原理的例證，以及某些最佳實施方式，并且并不意為將本發(fā)明限制于所示的具體實施例。 本發(fā)明的實施例包括非觸摸或非接觸界面，其在三維中感測用戶的手指或手的位置。在公開的實施例中，可以在顯示裝置的邊緣布置多個電容性傳感器?？梢宰粉欀赶蝻@示在裝置上的虛擬鍵盤上的點的手指或手的軌跡。這使得相關(guān)系統(tǒng)在手指實際觸摸到屏幕前，能預(yù)測用戶試圖選擇的顯示裝置屏幕上的點。 根據(jù)本發(fā)明可以使用Z軸手指位置數(shù)據(jù)以在例如地圖顯示器上控制縮放比或縮范圍。可選擇地，可通過利用這種非觸摸指示方法來控制地圖顯示器上的魚眼。魚眼的多個參數(shù)，例如縮放比、縮放范圍、縮放形狀(矩形、圓角矩形、橢圓形等等)以及魚眼周圍失真邊緣的比例可以在處理中修改。 當(dāng)用戶移動他/她的手指，顯示器中的圖形內(nèi)容相應(yīng)地更新。手指的移動同樣可以控制地圖顯示器上的縮放/跨越操作或魚眼效果。這些處理對于用戶是高效率和直觀的。 相同的方法也可以用于控制小屏幕顯示器上的虛擬鍵盤并且與小屏幕顯示器上的虛擬鍵盤相交互。它克服了與小虛擬鍵盤相關(guān)的長期性問題即按鍵總是比人指尖小得多。 精確的交互需要僅僅鍵盤的目標(biāo)區(qū)域的放大(例如一些按鍵的小的子集)。非觸摸界面使用與手的位置相關(guān)的z軸數(shù)據(jù)來推斷鍵盤上需要的目標(biāo)區(qū)域并且自動縮放或放大虛擬鍵盤上需要的區(qū)域。 在一些應(yīng)用中，來自非觸摸裝置的輸入信號可能會擾亂不需要為非觸摸的交互。在本發(fā)明的一個方面中，多個不同的方法可以用于直觀地和迅速地停止/啟動非觸摸交互。在一個實施例中，用戶的右手可以用于指示和控制縮放控制或魚眼控制，左手可以用于操作啟動或停止非觸摸導(dǎo)航的按鈕。在這種處理中，左手還可以用于在快速移動(fly)中迅速改變魚眼或縮放參數(shù)，同時右手做指示和拖拉動作來提供非常有效的雙手交互。
附圖1示出了一個非觸摸或非接觸式交互系統(tǒng)100。該系統(tǒng)100包括通過數(shù)據(jù)總線152與觸摸屏輸入緩沖器153、非觸摸輸入緩沖器154、顯示器緩沖器155、緩沖器156以及存儲單元或寄存器157相連接的可編程處理單元151。觸摸屏158通過觸摸屏緩沖器153與處理器耦合。非觸摸感測裝置159，例如多個基于電容性的非接觸式傳感器，通過非觸摸輸入緩沖器154與處理器相耦合。 圖形顯示器160通過顯示器緩沖器155耦合到處理器。顯示裝置160包括在其上呈現(xiàn)各種圖像的顯示屏。該非觸摸傳感器159位于將在隨后更加詳細(xì)地討論的顯示裝置 160的顯示屏的外圍的周圍。 輸入/輸出裝置161通過輸入/輸出緩沖器156耦合至處理器。輸入/輸出裝置 可以包括任何允許系統(tǒng)與外部信息交互的裝置的組合。 存儲單元157包括對處理器151實現(xiàn)非觸摸交互系統(tǒng)所必須的信息和/或程序或 可執(zhí)行軟件。例如，顯示器控制軟件157a可以以計算機可讀形式存儲于單元157中。其他 的系統(tǒng)控制軟件同樣可以存儲于單元157中。 附圖2示出了通過處理器151來執(zhí)行的系統(tǒng)100的各種軟件模塊200。模塊200 以磁性計算機或光學(xué)計算機可讀形式存儲于單元157中。軟件200包括命令執(zhí)行模塊202、 命令識別器模塊204、數(shù)據(jù)接收器206、圖形系統(tǒng)顯示模塊208和域(domain)模型210，其提 供關(guān)于顯示的區(qū)域的信息。各種模塊的運行將相對于附圖3的過程250來討論。
如附圖3的流程圖中所示，在252，將來自例如傳感器158或159的傳感器的數(shù)據(jù) 從緩沖器153、154載入到諸如206a、206b的各個接收器中。在254，將該數(shù)據(jù)載入到輸入緩 沖器204b中。 在256，手勢分析器204a分析數(shù)據(jù)。在258，手勢分析器204a傳送系統(tǒng)命令到命 令執(zhí)行202。在260，該命令執(zhí)行改變模型210的域?qū)ο蟮臓顟B(tài)。 在262，命令執(zhí)行202通知圖形系統(tǒng)模塊208去改變顯示器160上的可視圖像的狀 態(tài)。在264，圖形系統(tǒng)模塊208更新顯示單元160上的圖像。在266，命令執(zhí)行模塊202隨 后更新系統(tǒng)狀態(tài)。 附圖4A示出了本發(fā)明的一個實施例，非接觸、導(dǎo)航區(qū)域顯示器，例如可以用于估 計建筑的報警條件。在第二實施例中，附圖4B示出了根據(jù)本發(fā)明的小型顯示器非接觸導(dǎo) 航。 附圖5示出了在初始顯示狀態(tài)中的附圖4a的實施例類型或應(yīng)用的顯示。在步驟 1中，如所示，用戶可以點擊按鈕去進(jìn)入非觸摸導(dǎo)航狀態(tài)。附圖6為在顯示單元160上呈現(xiàn) 給用戶的確認(rèn)屏幕。用戶可以進(jìn)入如在步驟3所示的非觸摸導(dǎo)航狀態(tài)。附圖7示出了在非 觸摸導(dǎo)航狀態(tài)時在顯示單元160上的屏幕呈現(xiàn)。提供按鈕來退出非觸摸狀態(tài)。
附圖8A、8B、8C示出了關(guān)于顯示單元160的屏幕160a的周邊布置的非接觸 式傳感器159的特征的各個部分。如本文所示，傳感器159限定了外部截面圓錐型 (frusto-conical)感測區(qū)域160b和內(nèi)部區(qū)域160c。 當(dāng)用戶的手指或指示裝置位于外部區(qū)域160b時，區(qū)域顯示器或地圖可以被導(dǎo)航 或滾動以及縮放。當(dāng)用戶的手指靠近屏幕時，在區(qū)域160b和160c中，例如，呈現(xiàn)的圖像從 一個級別向更詳細(xì)的級別來縮放。當(dāng)用戶的手指進(jìn)入內(nèi)部區(qū)域160c時，在一個實施例中， 用戶可以僅在地圖或顯示器上放大和縮小。區(qū)域160c能夠幫助終端用戶將地圖或顯示器 平滑且沒有抖動或跳動地放大/縮小。 附圖9A、9B、9C示出了利用系統(tǒng)100的導(dǎo)航虛擬鍵盤的一個解決方案的步驟?？?以通過用戶去激活按鍵去選擇和擴大區(qū)域。然后，可以通過用戶去激活不同的按鍵去選擇 和擴大第二區(qū)域，等等，直到完成需要的進(jìn)入。 附圖10A、10B、10C示出了另一個利用系統(tǒng)100的導(dǎo)航虛擬鍵盤的解決方案的步 驟。在附圖10A、10B、10C的實施例中，可以擴大或放大用戶手指移動到的鍵盤的任何部分以使得用戶去無縫地激活連續(xù)按鍵組。應(yīng)當(dāng)理解本發(fā)明的實施例可以被包括在例如無線電 話、移動電腦、或成像裝置、一切可能具有相對小鍵盤的電子裝置中。 綜上所述，應(yīng)當(dāng)注意到在不脫離本發(fā)明的實質(zhì)和范圍的情況下多種變化和改變是 有效的。應(yīng)當(dāng)理解沒有意圖或應(yīng)當(dāng)推斷出關(guān)于本文所述的特定設(shè)備的限制。當(dāng)然，其意圖 由所附的權(quán)利要求去覆蓋落入該權(quán)利要求的范圍之內(nèi)的所有這類改變。
權(quán)利要求
一種顯示系統(tǒng)，其包括圖像可以在其表面呈現(xiàn)的多維顯示裝置；位于該表面附近的多個非接觸式傳感器；以及耦合到該傳感器和該顯示裝置的控制電路，該電路響應(yīng)來自傳感器的信號，確定向該表面的區(qū)域移動的指示部件的軌跡。
2. 如權(quán)利要求1所述的系統(tǒng)，其包括耦合到控制電路的顯示控制電路，該顯示控制電 路響應(yīng)所確定的軌跡來動態(tài)地調(diào)整呈現(xiàn)在該表面上的圖像的放大參數(shù)。
3. 如權(quán)利要求1所述的系統(tǒng)，其中該傳感器包括電容型傳感器。
4. 如權(quán)利要求1所述的系統(tǒng)，其中將該傳感器被配置為限定截面圓錐型區(qū)域，在該區(qū) 域內(nèi)指示部件可以被感測。
5. 如權(quán)利要求1所述的系統(tǒng)，其包括手動操作元件，該手動操作元件耦合到在與該表 面上的圖像交互的非接觸模式和接觸模式之間切換的控制電路。
6. 如權(quán)利要求1所述的系統(tǒng)，其中該控制電路響應(yīng)于所選擇的與該表面上的圖像交互 的非接觸模式或接觸型模式之一。
7. 如權(quán)利要求1所述的系統(tǒng)，其包括與顯示裝置的顯示屏相關(guān)聯(lián)的多個接觸型傳感器。
8. 如權(quán)利要求1所述的系統(tǒng)，其包括存儲在耦合到該控制電路的計算機可讀介質(zhì)上的 顯示管理軟件。
9. 如權(quán)利要求8所述的系統(tǒng)，其中該顯示管理軟件在通過該控制電路執(zhí)行時，響應(yīng)于 該指示部件的確定軌跡在顯示單元的表面上呈現(xiàn)動態(tài)改變圖像。
全文摘要
本發(fā)明涉及非接觸式交互系統(tǒng)及方法。一種非接觸式顯示系統(tǒng)，使得用戶能通過將手指或指示器移向圖像的所選擇部分來與顯示的圖像交互?？梢皂憫?yīng)檢測到的移動動態(tài)地放大或轉(zhuǎn)化圖像?？梢詫⒉僮鞣椒ㄔ诮佑|型和非接觸操作之間手動轉(zhuǎn)換以提高靈活性。
文檔編號G06F3/048GK101699387SQ20091016396
公開日2010年4月28日 申請日期2009年6月30日 優(yōu)先權(quán)日2008年7月1日
發(fā)明者T·A·普羅赫爾, Y·吳, 張銳 申請人:霍尼韋爾國際公司