使用輸入的文本訪問和處理上下文信息的系統(tǒng)和方法
【專利摘要】上下文鍵盤允許用戶帶入通常不會出現(xiàn)在鍵盤上的信息，仿佛信息已重新輸入。它還允許用戶獲取在鍵盤上輸入的、或者僅在屏幕上可用的、或者隱含在屏幕上的信息中的信息，并對其執(zhí)行操作，如撥打電話號碼、輸入聯(lián)系人或日歷信息到設備的本地數(shù)據(jù)庫，或利用這些信息作為在線查詢中的搜索項目。本發(fā)明的新穎性的中心是移動功能性至鍵盤層，以使其在設備上是普遍地可被存取。
【專利說明】使用輸入的文本訪問和處理上下文信息的系統(tǒng)和方法
【背景技術】
[0001]傳統(tǒng)的觸摸屏設備通常要求用戶在不同應用程序之間使用屏幕上的菜單或通過從一個或多個圖標頁面中選擇代表應用程序或文件的圖標進行動作。任何給定應用程序中的鍵盤可能只提供訪問，例如在典型的物理鍵盤上發(fā)現(xiàn)的，字母、數(shù)字、符號。希望訪問或操縱數(shù)據(jù)或執(zhí)行在設備上可用的功能的用戶需要通過一系列的屏幕菜單和選擇進行動作，這可能是費時又難以操縱的。

【發(fā)明內(nèi)容】

[0002]本發(fā)明提供了用于當用戶意圖輸入字時進行識別的系統(tǒng)和方法，某些字和用戶動作在它們被作為普通文本輸出至活躍的應用程序之前被作為命令進行處理。本發(fā)明在突出顯示的文本塊上實施一些動作而不是簡單的以被識別的文本字符串覆蓋它。當沒有突出顯示或以其他方式明確指出的目標時，本發(fā)明進一步識別動作的隱含目的，該動作要求一對象，動作基于該對象被執(zhí)行。通過增強鍵盤的功能，正常情況下可被從鍵盤輸出的文本在其被發(fā)送到活躍的應用程序之前被截取以執(zhí)行一些其他動作。生成的文本可能不被發(fā)送到應用程序，這取決于該系統(tǒng)的決定，以及可能的進一步的用戶輸入以區(qū)分用戶的意圖。在下文中，術語“上下文鍵盤”是指本發(fā)明的可以識別例如處理命令的特定輸入的字和檢測在那些命令被執(zhí)行所基于的應用程序環(huán)境中的對象的鍵盤。上下文相關的鍵盤是允許用戶訪問在設備上的其他數(shù)據(jù)，或可通過有線或無線連接到因特網(wǎng)從設備訪問的其他數(shù)據(jù)，也允許通過鍵盤或作為隱式或顯式種子的可用的其他方式使信息被輸入，并用它做包括使用在設備上之外的地方的應用程序或使用它通過互聯(lián)網(wǎng)獲取信息或執(zhí)行動作的信息交換。由于鍵盤層是無處不在的，這個功能被提供給用戶而不論正在設備上被使用的是什么應用程序。如果用戶希望使用它來指定要執(zhí)行的動作而不是發(fā)送到應用程序，沒有理由在鍵盤上輸入的文本甚至需要被發(fā)送到應用程序。
[0003]可以以種子完成`的事例包括:
[0004].使用它來進行網(wǎng)上搜索，無論是通用目的搜索引擎如Ck)ogie?或其他一些在線服務例如查找在Yelp上的消費者評論、Amazon?采購信息、或關于Facebook?、MySpace?或其他一些社交網(wǎng)站上個人的信息。
[0005].創(chuàng)建鏈接到網(wǎng)上搜索，包括在消息、帖子或備忘錄中。
[0006].處理種子作為文本以被在例如電子郵件或短信的消息中發(fā)送或發(fā)布到如Twitter 或 Facebook 的網(wǎng)站。
[0007].撥打電話至與種子相關的電話號碼。
[0008].付款至與使用錢包軟件的種子相關的個人或企業(yè)。
[0009]?獲取與種子有關的位置的地圖。
[0010].把它放在手機上的其他地方，如在聯(lián)系人或日歷數(shù)據(jù)庫中。
[0011].使用它從手機上的其他地方(如在聯(lián)系人或日歷數(shù)據(jù)庫中)獲取信息以包括在目前上下文中。[0012]訪問可通過允許在鍵盤上和鍵盤周圍的“手勢”的識別完成。上下文鍵盤可能會預先定義一些的這些手勢，以及用戶可稍后定義一些。
[0013]在本發(fā)明的一個方面中，在鍵盤上輸入字觸發(fā)一個動作。這些引起動作發(fā)生的特定字可由用戶或系統(tǒng)定義。
【專利附圖】

【附圖說明】
[0014]本發(fā)明的優(yōu)選的和替代的實施例將參考以下附圖在下面詳細描述:
[0015]圖1是根據(jù)本發(fā)明的實施例形成的示例性系統(tǒng)的框圖；以及
[0016]圖2-28是圖1系統(tǒng)如何由用戶操作的示例性屏幕截圖。
[0017]優(yōu)選實施例的【具體實施方式】
[0018]以下是在本申請中使用的定義。
[0019]上下文鍵盤:觸摸屏鍵盤和處理設備，可以識別作為處理命令的特定的輸入字以及檢測那些命令被執(zhí)行所基于的應用程序環(huán)境中的對象。
[0020]手勢:用于在鍵盤上輸入數(shù)據(jù)；與應用程序進行交互，例如選擇菜單項或復選框；或指示其他用戶意圖的觸摸屏上的手指(或觸筆)的運動。手勢根本不需要包括觸摸屏幕——具有加速度計和陀螺儀的設備可以讓手勢設備本身的一些運動而不是在屏幕上的觸摸完成。同樣，對于屏幕上的觸摸而言，觸摸不需要文字:例如動作感應遙控的指針可以在虛擬觸摸屏上用手勢表示。在另一些情況下，相機可能被用來檢測照相機視野內(nèi)的進行的手勢運動。上下文鍵盤上執(zhí)行的手勢通常生成的文本單元。這個文本可能被確認為宏命令(co_and-marco)或文本宏(text-macro,如下述定義的)，并進行相應的處理。否則，生成的文本被發(fā)送到當前的應用程序作為從鍵盤的傳統(tǒng)輸出文本。
[0021]種子:當用戶選擇屏幕上的一些文本和在選定文本上任執(zhí)行某些操作時(或當操作被用戶部分的一些動作觸發(fā)時)，則使用該文本部分或完全確定什么樣的操作被執(zhí)行，選定的文本被稱為“種子”。例如，選定的文字可以是名字，該名字被用作當?shù)氐穆?lián)系人數(shù)據(jù)庫中或在線服務，如Facebook㊣上的查找信息的種子。包括在設備屏幕上明顯突出顯示的文本的種子是顯式的。也有隱式的種子，如來源于機載GPS的設備的位置、相關設備上的東西的信息，如用戶正在讀取的消息的作者，或與日歷項目相關的位置。在特定的設備或應用程序的數(shù)據(jù)環(huán)境中可以存在連續(xù)的“隱式”和“顯式”項目。例如，在目前開放的郵件文本中提及的地址甚或餐館的名稱將在很大程度上是隱式的，但較小程度上如果文本插入光標當前位于地址或餐館的名稱的文本中，或如果電子郵件的主題行為“相約在餐館名稱”，以及如果文本已被用戶突出顯示則將是顯式的。
[0022]設置:上下文鍵盤包括被稱為“設置”的功能，其中用戶可以指定關于上下文鍵盤在各種情況下應該如何表現(xiàn)的各種選項。例如，將被張貼到上下文鍵盤/將被從上下文鍵盤張貼的社交網(wǎng)絡上的帳戶信息可在設置中被指定，其可以是不同用戶的喜好，包括但不限于首選搜索引擎優(yōu)先列表之類的東西。
[0023]命令宏:該系統(tǒng)包括文本字符串的數(shù)據(jù)庫，當使用上下文鍵盤輸入時，被識別為特殊命令。系統(tǒng)識別輸入的單詞或短語作為存在于數(shù)據(jù)庫中的命令的宏，并從數(shù)據(jù)庫中檢索指定將進行什么動作的相應信息并執(zhí)行必要的程序。根據(jù)命令的性質(zhì)，系統(tǒng)首先確定在程序環(huán)境中最顯式的當前種子。在一些實施例中，一個以上的可能的種子被識別為所指示程序的可能目標，以及這樣的可能種子的列表被呈現(xiàn)以便用戶可以選擇所需的種子。在一些實施例中，該列表按最多到最少顯式進行存儲。根據(jù)該命令的性質(zhì)，可能有一種以上的方式在目標種子上執(zhí)行程序，以及該系統(tǒng)可以顯示執(zhí)行程序的可選方式的列表。在一個實施例中，命令宏被定義以使它們明確地區(qū)別于通常被作為意圖被輸出至當前應用程序(鍵盤的標準運作)的普通文本生成的文本。在另一個實施例中，宏命令與用戶語言中的普通文字相同。在這種情況下，當該字被在上下文鍵盤上輸入時所需的意圖是明確表示(例如，通過從菜單中選擇預定的動作)，或系統(tǒng)嘗試自動判斷用戶的意圖通過檢測在作為命令被輸入的字以及顯式或隱式的種子的存在之間是否存在足夠強的相互關系，該顯式或隱式的種子是這樣的命令的適當目標。下面的例子將闡明這些區(qū)別。
[0024]文本宏:命令宏，可被用作常用字和短語的縮寫以使得較短的文本字符串可以替換較長的文本字符串。在本發(fā)明中，這個功能被概括以使得生成的文本是在程序環(huán)境中的顯式或隱式種子的功能。
[0025]圖1示出示例性的基于計算機的設備/系統(tǒng)40 (即上下文鍵盤)，配置為執(zhí)行本發(fā)明的功能。該設備40包括與用戶接口設備46(即，鍵盤)進行信號通信的處理器44、顯示設備48、數(shù)據(jù)庫50以及通信設備52。處理器44解釋用戶接口設備46所提供的以及可能具有來自通信設備52或數(shù)據(jù)庫50的信息的信號以通過顯示設備48或某些其他的輸出設備提供輸出。
[0026]在一個實施例中，設備40使用文本輸入方法，該方法處理用戶動作以識別用戶打算以字級別或更高級別輸入的文本。這樣的設備的例子是具有虛擬鍵盤的觸摸屏設備，整個字可以用虛擬鍵盤通過 跟蹤虛擬鍵盤上的連續(xù)路徑被輸入(例如，由Kushler等人在美國專利第7，098，896,7, 453，439或7，382，358所公開的輸入方法，其內(nèi)容以引用方式被合并于此)?！坝|摸屏”不僅是指實在地被觸摸的屏幕(如在手持設備或平板電腦上)，也是指被虛擬觸摸的屏幕，如以某種指針設備或手勢識別器控制本地或遠程的屏幕。為簡單起見，討論的大多數(shù)例子是基于在這樣的系統(tǒng)上，但是本發(fā)明適用于任何文本輸入方法。
[0027]在一個實施例中，本發(fā)明包括鍵盤，該鍵盤允許包括上下文信息的信息被作為輸入，并允許文本用于其他目的，正如可能是在設備上，包括產(chǎn)生輸出或執(zhí)行動作。
[0028]許多由設備40實施的特殊功能使用種子。種子可以是隱式或顯式。顯式種子是屏幕上的所有可見文本，或突出顯示一些特定文本。隱式種子包括在當前上下文中可用的任何其他類型的信息，如電子郵件的作者、通話記錄的電話號碼、GPS位置，等等。某些動作根本不使用種子。
[0029]在一個實施例中，當用戶想要使用額外的功能時用戶告訴上下文鍵盤。有很多的方法做到這一點，其將在下面的使用例子中被顯示。用戶可以:
[0030]?做一個告訴鍵盤做什么的手勢
[0031].做一個會啟動菜單的手勢，用戶使用菜單以選擇做什么(不同的手勢可以啟動不同的菜單)
[0032].做一個跟隨有使用鍵盤來選擇做什么的手勢
[0033].使用鍵盤輸入在其之前沒有特殊手勢的“字宏”。
[0034]在所有這些情況下，用戶的意圖有時是不明確的，例如，在意圖使字作為內(nèi)容出現(xiàn)以及意圖使它被用作字宏之間。有很多方法來處理這種不明確。該設備將使用其中的一些，以及可能其他的:
[0035]?提示用戶在不同選項之間作出明確選擇
[0036].基于用戶過去的歷史選擇做出猜測
[0037].決定是否基于設置中的所指示的用戶喜好作出猜測或選擇提示
[0038].使用上下文來幫助猜測(例如，指示具有號碼的“呼叫”至左邊可能會猜到的意思是“采取行動-撥打這個電話號碼”，而指示具有“我愿意”的“呼叫”至左邊可能被打算作為內(nèi)容。
[0039]至于歧義意圖內(nèi)容及意圖動作，其他情況具有含糊之處，該含糊可以以相同方式以提示或猜測被解決。當用戶指示呼叫特定聯(lián)系人而未明確所要撥打的號碼時，例子包括像呼叫的電話號碼類的東西。其他的例子可能包括搜索引擎或發(fā)送文本模式之間的選擇。
[0040]以下是一些使用的例子，其顯示各種類型的種子的使用，以及與上下文鍵盤交互的各種方式。
[0041]網(wǎng)上杳找信息
[0042]在一個實施例中，上下文鍵盤用于獲取信息。它的一個用途是從通過有線或無線連接到互聯(lián)網(wǎng)的設備(例如，耦合到網(wǎng)絡的通信設備52)被訪問的其他地方來獲取信息。例如，用戶從他們要么閱讀要么在設備上輸入的東西中選擇一段文本，并立即地，通過手勢或其他一些方法，告訴系統(tǒng)40使用選定的文本作為在多個搜索引擎之一上的查詢字符串。用戶可以提前定義可能的搜索引或提供默認值。用戶還可以立即添加新的在線服務至他們的名單。
[0043]下面的圖2-6顯`示用信息做網(wǎng)絡搜索的例子，該信息包含在顯式種子中。首先，如圖2中所示，用戶閱讀上下文鍵盤上的電子郵件消息。在圖3中，用戶突出顯示信息中的文本(在這種情況下字“bulgoki”)并執(zhí)行手勢。在這個例子中，手勢是至右側(cè)的箭頭。
[0044]如圖4中所示，菜單100顯示響應于箭頭手勢。菜單100提供不同的搜索引擎可供選擇。菜單100中的搜索引擎是由用戶預定義或是上下文鍵盤默認的。一旦用戶選擇菜單100中的項目之一(即，搜索引擎)，然后，如圖5中所示，基于使用具有作為種子的被突出顯示的文本的所選擇的搜索引擎的查詢，適當?shù)慕Y果頁面被顯示。
[0045]應注意的是，它有可能全部地避免菜單并執(zhí)行手勢，該手勢不僅指定，作為在這種情況下，用戶想要使用突出顯示的文本作為搜索查詢，也指定用戶希望該查詢被發(fā)送的地點。Google?搜索手勢可包括在鍵盤上用戶拼寫“google”，該鍵盤在初始手勢被作出之后或者甚至當被查找的文本無需任何介入手勢被突出顯示時出現(xiàn)在屏幕上。如圖6中所示，用戶使用Swype?輸入字宏以告訴系統(tǒng)40突出顯示使用Google?的術語。
[0046]Google? (通用的搜索引擎)、Yelp? (消費者評論網(wǎng)站)、IMDB? (互聯(lián)網(wǎng)電影數(shù)據(jù)庫)被作為選項顯示，但許多其他網(wǎng)站也可能為各種用途發(fā)送查詢。例如，可以發(fā)送查詢至Amazon? (大型購物網(wǎng)站)、比較購物搜索引擎、YouTube? (視頻分享網(wǎng)站)、烹飪/食譜網(wǎng)站、家裝網(wǎng)站或地圖網(wǎng)站，等等。
[0047]如果用戶從圖4的菜單中選擇“新增”，用戶將采取一個接口，在該接口用戶可以添加新的搜索引擎至菜單。這可能是與由系統(tǒng)40提供的“設置”接口中所呈現(xiàn)的相同的接□。
[0048]雖然在“設置”中，用戶定義可以被在鍵盤輸入的文本字符串以在那個網(wǎng)站觸發(fā)選定文本(或隱式種子)的查找。例如，用戶可定義由其本身輸入的“yt”而不是作為較長字的一部分，觸發(fā)動作以使用顯式或隱式的種子作為在YouTube.?上的查詢，或如果沒有作為種子使用的東西則去到YouTube?主頁。術語“yt”可能永遠不會以其他方式在其自身上出現(xiàn)，但會很容易想到可能存在沖突的情況。例如，用戶可能會定義“rt”作為宏以在rottentomatoes.com(電影評論統(tǒng)合網(wǎng)站)上查找突出顯示的文本，但偶爾輸入一個地址，地址包括“作為其自身上的字的“rt”，作為“路線”的縮寫。當沒有任何用來明確這一點的前綴的特殊按鍵或手勢時，該設備為用戶提供選擇以指定他們打算的使用。
[0049]在一個實施例中，系統(tǒng)40在通過每次的提示進行要求、或試圖猜測、并在其建議錯誤時提供用戶機會去改正它之間進行變化。在另一個實施例中，系統(tǒng)40的“設置”中有一個選項以指定是否在猜測更多或更經(jīng)常地要求確認的一面上犯錯。
[0050]鏈接到網(wǎng)上信息
[0051]在一個實施例中，網(wǎng)上信息的鏈接被建立。至于尋找該信息，創(chuàng)作文本的用戶，該文本例如電子郵件，包括至本身消息中的相關的在線消息的鏈接(例如，告訴朋友在特定的餐館相見的用戶鏈接餐館的名字到消費者評論網(wǎng)站(如Yelp?)上的評論頁)。這是通過以類似觀察結果的方式完成的，但是以種子被突出顯示之后的有點不同的手勢完成，或通過不同的字宏完成。
[0052]如圖7中所示，用戶輸入消息之后或當用戶輸入消息時，用戶突出顯示餐館的名字然后執(zhí)行一個手勢，如箭頭朝上。然后，系統(tǒng)40顯示搜索引擎的選項菜單。用戶可以從菜單中選擇所需的或通過使用鍵盤進行指示。然后，上下文鍵盤包括到消息中相應的搜索結果的鏈接。圖8示出了帶有附加鏈接的信息。
[0053]在一個實施例中，用戶選擇(在上下文鍵盤的“設置”中)是否默認如圖8中所示附加鏈接或以一些其他的方法處理，如通過使用HTML以使得種子到合適URL的超鏈接，或者在單獨的消息中一起發(fā)送鏈接，如果消息的介質(zhì)具有字符的限制，如SMS。這也將可能使用服務產(chǎn)生縮短的URL。`
[0054]用戶還可以通過使用字宏包括鏈接。如圖9所示，鍵盤上的用戶滑動輸入“l(fā)inkyelp”指示包含突出顯示的文本結果的Yelp, com鏈接。
[0055]下面是使用隱式種子獲取網(wǎng)上信息的例子。當閱讀圖2中所示的相同的電子郵件消息時，用戶執(zhí)行不同的手勢，從而告訴系統(tǒng)40為消息的發(fā)送者查找FacebookiI^A配置文件。然后，該配置文件被顯示給用戶。在上面的例子中，用戶作出具體是指“給我Facebook?配置文件”的手勢或輸入字宏(這個手勢可包括在出現(xiàn)在屏幕上的鍵盤上打字)，或者可做出不同的手勢，其顯示可以以隱式種子作出的事件的菜單，“Facefeook?”是其中的一個選項，連同其他社交網(wǎng)站像Twitter或MySpaced；。
[0056]在一個實施例中，基于設備的聯(lián)系人數(shù)據(jù)庫中的信息，用戶撥打電話至郵件發(fā)件人。或可以結合兩種類型的事件，例如，基于設備聯(lián)系人數(shù)據(jù)庫中的信息，來自在線地圖服務，如Google Maps?成MapQuest':?的地圖可以顯示用戶的地址。類似錢包軟件的配套服務可以得到支持從而使用戶可以作出手勢以付錢給由隱式種子代表的事物。
[0057]如果隱式種子是不明確的(例如，如果用戶正在搜索他發(fā)送至兩個人的消息)，也就是說，該消息上的電話的手勢可顯示可能的使用的隱式種子的菜單(在這種情況下，消息的兩個接收者)。[0058]在一個實施例中，隱式種子被用作部分的字宏。例如，用戶輸入電子郵件消息可能能夠輸入字“gloc”作為消息的一部分以包括基于GPS數(shù)據(jù)到目前地址的Google Map?的連接(這也可以基于被突出顯示的顯式種子完成)。然后，該鏈接被投進消息而不是輸入字 “gloc，，。
[0059]將信息放入設備數(shù)據(jù)庫
[0060]用戶往往希望將信息放入設備數(shù)據(jù)庫。當用戶想要把信息從設備上的一個地方放到在設備上的其它某個地方時，他們在觸摸屏上執(zhí)行手勢，或者使用其它方法，如按下一個產(chǎn)生菜單的按鈕或輸入字宏。用戶在執(zhí)行動作之前突出顯示文本以為了讓上下文鍵盤知道這是用于動作的文本。
[0061 ] 例如，用戶選擇信息，該信息包括看起來像電話號碼的東西、看起來像電子郵件地址的東西、看起來像名稱的東西(或這些項目的子集)，并告訴系統(tǒng)40，通過手勢或其他方式(如通過輸入字宏)，將其添加到聯(lián)系人數(shù)據(jù)庫。
[0062]圖10所示，用戶手勢(大的“C”)指示在屏幕上的信息應該被添加到設備的聯(lián)系人數(shù)據(jù)庫。
[0063]圖11所示，用戶滑動輸入(例如，Swype? )字宏“聯(lián)系人”而不是執(zhí)行手勢以指示屏幕上的信息應該被添加到該設備的聯(lián)系人數(shù)據(jù)庫。
[0064]默認值是由用戶在設置界面復位，例如如果不是另有規(guī)定，標記電話號碼為“手機”。正如日歷一樣，處理器44呈現(xiàn)“添加聯(lián)系人”屏幕(或任何調(diào)用的屏幕)進行確認，如圖12中所示。
[0065]同樣地，用戶選擇事件的文本描述，包括時間、日期和一些文本，告訴上下文鍵盤(可通過手勢或一些其他方法，例如字宏)他想要使用該文本在設備的日歷數(shù)據(jù)庫中創(chuàng)建一條目，并且上下文鍵盤基于選定的種子會用預填充的域?qū)⒂脩魩е痢疤砑尤諝v條目”屏幕(或任何被稱為屏幕的東西)。歧義可以被在屏幕上解決，并可以試探性地開始根據(jù)用戶預設置或默認設置解決。這樣的默認規(guī)則的例子可為無需“a.m.”或“p.m.”指定為8:00和11:59之間的“a.m.”以及12:00至7:59之間的“p.m.”來解釋時間。
[0066]在一個實施例中，如果用戶希望包括來自他們所鍵入的東西(如電子郵件消息)中的設備數(shù)據(jù)庫上的信息，他們可以簡單地鍵入該信息的種子，并提供一個手勢或他們希望從數(shù)據(jù)庫中帶入適當?shù)男畔⒌钠渌羔樂椒ǎ缱趾?。它可能指定設備的一部分從，在種子在例如聯(lián)系人和日歷條目之間是不明確的情況下，帶入信息。
[0067]和其它地方一樣，然后如有必要用戶被提示消除歧義(例如，如果他們選擇了文本“John”而他們的聯(lián)系人數(shù)據(jù)庫包含一個以上的“John”)，并且來自數(shù)據(jù)庫中適當信息可以被包括。這些信息如何被包括(是否在線、添加、在單獨的消息中或者通過一些其他方法)，哪些信息確定地被包括(如，在適當?shù)臄?shù)據(jù)庫條目中的全部或只有一些的字段)，都可以通過設置中的用戶編輯默認指定。
[0068]檢索其他設備信肩、
[0069]被包含的信息不需要是用戶先前輸入的或者甚至在屏幕上可見的東西。以這種方式可被包括的設備可能訪問的另一種類型信息的例子是來自系統(tǒng)40的GPS單元的位置數(shù)據(jù)?？杀话ㄔ诰哂羞m當?shù)谋粯擞浀奈恢玫穆懵兜慕?jīng)度和緯度信息至鏈接到在線地圖(如Google Maps?或MapQuest? )的數(shù)據(jù)具有幾種形式。[0070]圖13-20說明該過程的例子。
[0071]智能手機用戶正在給朋友寫郵件并在文本輸入字段中滑動輸入“在星巴克見面”，參見圖13。用戶希望在地圖上看到附近的Starbucks?,,如圖14所示，用戶在他們輸入的郵件內(nèi)容的文本中突出顯示“星巴克”。接著，如圖15所示，用戶按下“Swype”鍵并拖動他們的手指至“M”以表示想看到地圖?；谶@一動作，智能手機推出地圖查看應用程序，其基于手機上的當前GPS位置找到附近的Starbucks?，請參閱圖16和圖17。在用戶在地圖應用程序中找到并選擇附近的Starbucks?之后，系統(tǒng)40返回到消息應用程序?；诜祷?，選定的Starbucks?的名稱、地址或超級鏈接，系統(tǒng)40返回所選的地圖地址(如“在第一街和聯(lián)盟街上的星巴克”)至文本條目區(qū)域，請參閱圖18。在一些實施例中，相應的超鏈接/URL被返回。
[0072]在另一個實施例中，被輸入的地址包括可點擊的鏈接120至地圖應用程序，如圖19中所示。
[0073]以下為額外的使用情況:
[0074].用戶輸入或閱讀觸摸板配備的計算設備上的應用程序中的文本，如Swype配備的智能手機。
[0075].用戶選擇文本的一部分，以及如有必要發(fā)出請求將鍵盤帶至前臺。
[0076]?用戶接觸“操作”按鈕(如“Swype的品牌”按鈕)，并拖動一個鍵(或鍵序列)。
[0077].基于輸入的動作鍵和所選定的文本,系統(tǒng)執(zhí)行動作。
[0078]動作也可以根據(jù)目前活躍的應用程序被定制。該動作也可以基于存儲的用戶喜好被定制。
[0079]同樣的方法適用于信息系統(tǒng)40訪問的任何其他的信息。例如，如果手持設備開始包括溫度計或高度表，那么用戶可能帶入關于溫度或海拔高度的信息。同樣，許多設備已經(jīng)包括攝像頭，用戶可以使用此方法以包括圖像，比如作為一封電子郵件的附件。
_0] 在設備上執(zhí)行動作
[0081]到目前為止，大多數(shù)的例子與緊湊的種子相關聯(lián)，在許多情況下是單個的字，但沒有任何理由種子不能比它要長。在準確決定用它做什么之前，具有上下文鍵盤的用戶設備滑軌輸入消息。如果結果發(fā)現(xiàn)它是短的或通用的，用戶可能會決定把它作為Twitter?帖子發(fā)送，或如果結果發(fā)現(xiàn)它是長的和對某人是特別的，則用戶可能決定將其作為電子郵件發(fā)送(或如果它對某人是特別的，但短且緊急，則作為短消息發(fā)送)。用戶可能不知道到底用它做什么直到它被完成之后。使用40系統(tǒng)，用戶可以選擇該消息并做手勢告訴設備發(fā)送消息至何處(例如，至Twitter?,或作為電子郵件發(fā)送)。
[0082]如圖20所示，首先，用戶在空白的記事頁上鍵入消息。對于這個例子，用戶使用在屏幕上的所有文本作為消息的內(nèi)容，所以沒有什么需要被突出顯示。如果只有部分的文本被作為消息，在用戶將突出顯示適當?shù)牟糠?。用戶?zhí)行個手勢，其在圖21顯示為屏幕上向下的Z字形，其告訴系統(tǒng)40用戶要發(fā)送的內(nèi)容作為消息。
[0083]之后，用戶提出消息(圖22)的可能的目的地菜單，并可以選擇這些選項之一或可以使用鍵盤指示消息的目的地。
[0084]當用戶使用在線搜索引擎查找信息的情況下，用戶預定義的可能的方式來發(fā)送消息?？赡苄园ㄟx擇從多個電子郵件帳戶(例如，工作和個人帳戶)中的一個中發(fā)送電子郵件，發(fā)送Twitter?更新、Facebook?狀態(tài)更新、短信等。當選擇被作出時，帳戶信息，如用戶名和密碼可以被設置，并可以稍后在“設置”中被編輯。
[0085]在一個實施例中，用戶使用備忘錄應用程序?qū)懕銞l并決定發(fā)送輸入文本的部分至Facebook?墻更新。用戶首先選擇他們希望發(fā)送的文字到Facebook?墻。當閱讀信息、瀏覽網(wǎng)頁、閱讀電子書等等的時候，選中的文本也可能被檢索。然后，如圖23和24中所示，用戶按壓Swype?鍵并拖動至“F”鍵(或可選地，“FB”鍵序列)?；谶@一動作，他們的突出顯示的F acebook?墻以被突出顯示的文本所更新并且訪問F acebook?的預定義的應用程序使用該用戶的登錄信息被本地存儲，請參見圖25。
[0086]圖26-28說明圖23-25中所示的類似的過程，除了使用Twitter?帳戶。
[0087]請注意，這些發(fā)送消息選項的一些可能需要提供一些更具體的信息，有些可能不需要，以及一些可以以兩種方式工作。例如，發(fā)送電子郵件需要指定一個或多個收件人，發(fā)表Facebook?狀態(tài)更新不需要指定收件人，但制作Facebook?墻帖子則需要。
[0088]如果用戶選擇一個需要收件人的選項，文本框提示可以允許收件人被指定。也有可能存在約定，處理器44為聯(lián)系人姓名查找特定的位置，如該消息的第一行，以及如果它找到一個(或多個)則提供作為收件人使用。
[0089]用戶還可以用字宏而不是手勢，通過在鍵盤上輸入預定義的字以及如有必要可能響應于提示以消除歧義(例如，“短信”可能是字宏，這意味著宏“發(fā)送消息作為短信”，但也可能被用作信息中的文本，例如如果用戶描述為他們收到的消息的某個人)。
[0090]雖然本發(fā)明的優(yōu)選實施例如上所述已被說明并描述，許多修改可以無需脫離本發(fā)明的精神和范圍被作出。因此，本發(fā)明的范圍并不限于所披露的優(yōu)選實施例。相反，本發(fā)明應當參考隨后的權利要求被完全地確定。
【權利要求】
1.獨占權利被要求于其中的本發(fā)明實施例被定義如下:一種方法，包括: 在設備的觸摸屏設備上， 基于用戶接觸產(chǎn)生信號；以及 發(fā)送所述被產(chǎn)生的信號到處理器，其中所述用戶接觸包括位于顯示的鍵盤上的手勢或滑動輸入條目；以及 在所述設備的處理器上， 基于隱式或顯式種子中的至少一個，執(zhí)行功能以響應于所述產(chǎn)生的信號；以及 輸出所述被執(zhí)行的功能的結果至所述觸摸屏設備。
2.如權利要求1所述的方法，其中所述顯式種子包括至少一個由所述用戶選擇的被顯示在所述觸摸屏設備上的字。
3.如權力要求1所述的方法，其中所述被執(zhí)行的功能包括: 打開搜索引擎； 用所述種子填充所述搜索引擎；以及 命令所述搜索引擎以執(zhí)行。
4.如權利要求3所述的方法，其中所述打開包括: 顯示先前定義的搜索引擎菜單；以及 從所述菜單中接收所述先前定義的搜索引擎中的一個的手動選擇。
5.如權利要求3所述的方法，其中所述滑動輸入條目與先前定義的配置為打開特定搜索引擎的字宏相關聯(lián)。
6.如權利要求1所述的方法，其中所述隱式種子包括顯示在所述觸摸屏設備上的內(nèi)容。
7.如權利要求1所述的方法，其中所述被執(zhí)行的功能包括將所述種子存儲至設備的聯(lián)系人內(nèi)存。
8.如權利要求1所述的方法，其中所述被執(zhí)行的功能包括: 基于所述用戶接觸發(fā)布所述種子到社交媒體網(wǎng)站。
9.如權利要求8所述的方法，其中所述發(fā)布包括: 顯示先前定義的社交媒體網(wǎng)站的菜單； 從菜單中接收所述先前定義的社交媒體網(wǎng)站中的一個的手動選擇；以及 自動發(fā)布所述種子至所述選擇的社交媒體網(wǎng)站。
10.如權利要求1所述的方法，其中所述被執(zhí)行的功能包括: 基于所述用戶接觸自動打開地圖應用程序； 接收由所述地圖應用程序呈現(xiàn)的地址的用戶選擇；以及 自動插入所述用戶選擇的地址至以前的活動窗口。
11.如權利要求10所述的方法，其中所述被執(zhí)行的功能還包括在所述以前的活動窗口中自動插入超鏈接圖標。
12.—種設備,包括: 觸摸屏設備，配置為， 基于用戶接觸產(chǎn)生信號；以及發(fā)送所述被產(chǎn)生的信號到處理器，其中所述用戶接觸包括位于顯示的鍵盤上的手勢或滑動輸入條目；以及處理器，配置為， 基于隱式或顯式種子中的至少一個，執(zhí)行功能以響應于所述產(chǎn)生的信號；以及 輸出所述被執(zhí)行的功能的結果至所述觸摸屏設備。
13.如權利要求12所述的設備，其中所述顯式種子包括至少一個由所述用戶選擇的被顯示在所述觸摸屏設備上的字。
14.如權力要求12所述的設備，其中所述處理器被配置為: 打開搜索引擎； 用所述種子填充所述搜索引擎；以及 命令所述搜索引擎以執(zhí)行。
15.如權利要求14所述的設備，其中所述處理器通過以下步驟打開: 顯示先前定義的搜索引擎菜單；以及 從所述菜單中接收所述先前定義的搜索引擎中的一個的手動選擇。
16.如權利要求14所述的設備，其中所述滑動輸入條目與先前定義的配置為打開特定搜索引擎的字宏相關聯(lián)。
17.如權利要求12所述的設備，其中所述隱式種子包括顯示在所述觸摸屏設備上的內(nèi)容。
18.如權利要求12所述的設備，進一步包括聯(lián)系人內(nèi)存，其中所述被執(zhí)行的功能包括存儲所述種子至所述聯(lián)系人內(nèi)存。
19.如權利要求12所述的設備，其中所述處理器被配置為基于所述用戶接觸發(fā)布所述種子到社交媒體網(wǎng)站。
20.如權利要求19所述的設備，其中所述處理器通過以下步驟發(fā)布: 顯示先前定義的社交媒體網(wǎng)站的菜單； 從菜單中接收所述先前定義的社交媒體網(wǎng)站中的一個的手動選擇；以及 自動發(fā)布所述種子至所述選擇的社交媒體網(wǎng)站。
21.如權利要求12所述的設備，其中所述處理器被配置為: 基于所述用戶接觸自動打開地圖應用程序； 接收由所述地圖應用程序呈現(xiàn)的地址的用戶選擇；以及 自動插入所述用戶選擇的地址至以前的活動窗口。
22.如權利要求21所述的設備，其中所述處理器被進一步配置為在所述以前的活動窗口中自動插入超鏈 接圖標。
【文檔編號】G06F17/30GK103827779SQ201180065379
【公開日】2014年5月28日 申請日期:2011年11月18日 優(yōu)先權日:2010年11月20日
【發(fā)明者】克利福德·A·庫什勒, 簡·曼寧, 邁克·麥克謝里, 亞倫·希迪 申請人:紐昂斯通信有限公司