本申請要求提交于2014年5月30日的名稱為“MULTI-COMMANDSINGLEUTTERANCEINPUTMETHOD”的美國臨時專利申請No.62/005,556以及提交于2015年3月8日的標題為“MULTI-COMMANDSINGLEUTTERANCEINPUTMETHOD”的美國臨時專利申請No.62/129,851的優(yōu)先權。這些專利申請的內容據(jù)此全文以引用方式并入。
技術領域：
：本發(fā)明總體涉及用于虛擬助理的語音處理，更具體地講，涉及處理單一話語，所述單一話語具有用于虛擬助理的多個可執(zhí)行命令。
背景技術：
：：智能自動化助理(或虛擬助理)提供用戶與電子設備之間的直觀接口。這些助理可允許用戶使用自然語言以語音形式和/或文本形式與設備或系統(tǒng)交互。例如，用戶可通過將語音用戶輸入以自然語言形式提供至與電子設備相關聯(lián)的虛擬助理來訪問電子設備的服務。虛擬助理可對語音用戶輸入執(zhí)行自然語言處理，以推斷用戶意圖并且將用戶意圖操作化成任務。隨后可通過執(zhí)行電子設備的一項或多項功能來執(zhí)行任務，并且相關的輸出可以自然語言形式返回給用戶。然而，在電子用戶設備繼續(xù)提供增強功能的同時，一些用戶可能會被通知、播報、消息、提醒等淹沒。此外，對于用戶而言，單獨處理每個通知、播報、消息或提醒可能低效且耗時。例如，使用語音與虛擬助理交互，用戶通常一次只提出單個項目、功能或活動。此外，在轉換到另一任務之前，用戶可能需要等待虛擬輔助任務完成。除了限制效率之外，這種延遲也可分散用戶的注意力，從而可使用戶忘記他們可能想到過的其他項目。因此，在一些實例中，對于用戶而言，使用語音與虛擬助理交互來處理多個任務(一次一個)可能耗時、低效并且令人沮喪。技術實現(xiàn)要素：本文公開了用于處理多部分語音命令的系統(tǒng)和過程。在一個示例中，可從用戶接收語音輸入，所述語音輸入包括具有一個或多個可執(zhí)行命令的單一話語?；谡Z音輸入使用語音轉錄過程可生成文本串?？蓪⑽谋敬馕龀啥鄠€候選子串?？舍槍蜻x子串中的每一者確定用于指示它們是否可能對應于可執(zhí)行命令的概率。響應于概率超出閾值，可針對候選子串中的每一者確定用戶意圖。隨后可執(zhí)行與用戶意圖相關聯(lián)的過程。確認也可提供至與各種用戶意圖相關聯(lián)的用戶。在一些示例中，可通過識別域關鍵字來解析文本串。在其他示例中，可通過識別祈使動詞來解析文本串?？赏ㄟ^確定子串的語義連貫來確定子串對應于可執(zhí)行命令的概率。也可通過將子串與用戶請求模板進行比較來確定概率。也可通過將子串提交到服務并接收該服務可轉換來自子串的可執(zhí)行命令的可能性來確定概率。此外，在一些示例中，可基于先前子串中的字詞來確定子串的用戶意圖。也可基于顯示的信息來確定用戶意圖。顯示的信息可包括列表，并且可基于與列表中的項目相關聯(lián)的順序描述符來確定用戶意圖。顯示的信息可包括通知和電子郵件。也可基于顯示的信息，通過確定潛在用戶請求來確定用戶意圖。此外，在一些示例中，確認可包括可聽確認或觸覺反饋。提供確認也可包括提供與用戶意圖相關聯(lián)的任務，包括顯示所述任務。提供確認也可包括提供完成指示符，包括顯示完成指示符，如復選標記。提供確認也可包括提供狀態(tài)指示符，包括顯示狀態(tài)指示符，如沙漏或狀態(tài)條。在其他示例中，提供確認可包括使用不同形式的強調來顯示不同的候選子串，諸如粗體文本、斜體文本、帶下劃線的文本、圈出的文本、勾出的文本、彩色文本和/或群集的文本。附圖說明為了更好地理解本發(fā)明的各種所描述的實施方案，應該結合以下附圖參考下面的具體實施方式，在附圖中，類似的附圖標號在所有附圖中指示對應的部分。圖1是示出根據(jù)各種示例的用于實現(xiàn)數(shù)字助理的系統(tǒng)和環(huán)境的框圖。圖2A是示出根據(jù)一些實施方案的實現(xiàn)數(shù)字助理的客戶端側部分的便攜式多功能設備的框圖。圖2B是示出根據(jù)各種示例的用于事件處理的示例性部件的框圖。圖3示出根據(jù)各種示例的實現(xiàn)數(shù)字助理的客戶端側部分的便攜式多功能設備。圖4是根據(jù)各種示例的具有顯示器和觸敏表面的示例性多功能設備的框圖。圖5A示出了根據(jù)各種示例的便攜式多功能設備上的應用程序菜單的示例性用戶界面。圖5B示出了根據(jù)各種示例的具有與顯示器分開的觸敏表面的多功能設備的示例性用戶界面。圖6A示出根據(jù)各種示例的個人電子設備。圖6B是示出根據(jù)各種示例的個人電子設備的框圖。圖7A是示出根據(jù)各種示例的數(shù)字助理系統(tǒng)或其服務器部分的框圖。圖7B示出根據(jù)各種示例的圖7A所示數(shù)字助理的功能。圖7C示出根據(jù)各種示例的知識本體的一部分。圖8示出用于處理單一用戶話語中的多個可執(zhí)行命令的示例性過程。圖9示出示例性解析的多部分語音命令。圖10示出具有用于解譯多部分語音命令的上下文的示例性顯示器。圖11示出具有各種類型的多個通知的示例性顯示器，所述多個通知可用作用于解譯多部分語音命令的上下文。圖12示出具有郵件應用程序的示例性顯示器，所述郵件應用程序可用作用于解譯多部分語音命令的上下文。圖13示出用于傳送多部分語音命令的狀態(tài)的示例性用戶界面。圖14A和圖14B示出用于傳送多部分語音命令的識別的示例性用戶界面。圖15示出根據(jù)各種示例的被配置為處理多部分語音命令的電子設備的功能框圖。具體實施方式在以下對示例的描述中將引用附圖，在附圖中以例示的方式示出了可被實施的特定示例。應當理解，在不脫離各個示例的范圍的情況下，可使用其他示例并且可作出結構性變更。下面，圖2A至圖2B、圖3、圖4、圖5A至5B和圖6A至圖6B提供了用于執(zhí)行處理多部分語音命令的技術的示例性設備的描述。圖10至圖14B示出了示例性用戶界面。附圖中的用戶界面還被用于示出下文描述的過程，包括圖8中的過程800。盡管以下描述使用術語“第一”、“第二”等來描述各種元件，但這些元件不應受術語的限制。這些術語只是用于將一個元件與另一元件區(qū)分開。例如，第一輸入可被命名為第二輸入并且類似地第二輸入可被命名為第一輸入，而不脫離各種所述示例的范圍。第一輸入和第二輸入可都是輸出，并且在一些情況下可為獨立且不同的輸入。在本文中對各種所述示例的描述中所使用的術語只是為了描述特定示例的目的，而并非旨在進行限制。如在對各種所述示例的描述和所附權利要求書中所使用的那樣，單數(shù)形式“一個(“a”,“an”)和“該”旨在也包括復數(shù)形式，除非上下文另外明確地指示。還將理解的是，本文中所使用的術語“和/或”是指并且涵蓋相關聯(lián)的所列出的項目中的一個或多個項目的任何和全部可能的組合。還將理解的是，術語“包括”(“includes”,“including”,“comprises”和/或“comprising”)當在本說明書中使用時是指定存在所陳述的特征、整數(shù)、步驟、操作、元件和/或部件，但是并不排除存在或添加一個或多個其他特征、整數(shù)、步驟、操作、元件、部件和/或其分組。根據(jù)上下文，術語“如果”可被解釋為意指“當...時”(“when”或“upon”)或“響應于確定”或“響應于檢測到”。類似地，根據(jù)上下文，短語“如果確定...”或“如果檢測到[所陳述的條件或事件]”可被解釋為意指“在確定...時”或“響應于確定...”或“在檢測到[所陳述的條件或事件]時”或“響應于檢測到[所陳述的條件或事件]”。1.系統(tǒng)和環(huán)境圖1示出根據(jù)各種示例的系統(tǒng)100的框圖。在一些示例中，系統(tǒng)100可實現(xiàn)數(shù)字助理。術語“數(shù)字助理”、“虛擬助理”、“智能自動化助理”或“自動數(shù)字助理”可指解譯語音形式和/或文本形式的自然語言輸入以推斷用戶意圖，并基于推斷出的用戶意圖來執(zhí)行動作的任何信息處理系統(tǒng)。例如，為了對推斷出的用戶意圖采取行動，系統(tǒng)可執(zhí)行以下內容中的一者或多者：通過設計用以實現(xiàn)所推斷出的用戶意圖的步驟和參數(shù)來識別任務流，將來自推斷出的用戶意圖的具體要求輸入到任務流中；通過調用程序、方法、服務、API等來執(zhí)行任務流；以及生成對用戶的聽覺(例如，語音)和/或視覺形式的輸出響應。具體地講，數(shù)字助理可能夠接受至少部分地為自然語言命令、請求、聲明、講述和/或詢問的形式的用戶請求。通常，用戶請求可尋求數(shù)字助理作出信息性回答或者尋求數(shù)字助理執(zhí)行任務。針對用戶請求的令人滿意的響應可以是提供所請求的信息性回答、執(zhí)行所請求的任務或這兩者的組合。例如，用戶可向數(shù)字助理提問，諸如“我現(xiàn)在在哪里？”基于用戶的當前位置，數(shù)字助理可能回答“你在中央公園西門附近?！庇脩暨€可請求執(zhí)行任務，例如“請邀請我的朋友下周來參加我女朋友的生日聚會?！弊鳛轫憫瑪?shù)字助理可通過講出“好的，馬上”來確認請求，然后代表用戶將合適的日歷邀請發(fā)送到用戶電子通訊錄中列出的用戶朋友中的每個朋友。在執(zhí)行所請求的任務期間，數(shù)字助理有時可在很長時間段內在涉及多次信息交換的持續(xù)對話中與用戶進行交互。存在與數(shù)字助理進行交互以請求信息或執(zhí)行各種任務的許多其他方法。除提供言語響應并采取經編程的動作之外，數(shù)字助理還可提供其他視頻或音頻形式的響應，例如作為文本、警報、音樂、視頻、動畫等。如圖1中所示，在一些示例中，數(shù)字助理可根據(jù)客戶端-服務器模型來實現(xiàn)。數(shù)字助理可包括在用戶設備104上執(zhí)行的客戶端側部分102(后文稱作“DA客戶端102”)，以及在服務器系統(tǒng)108上執(zhí)行的服務器側部分106(后文稱作“DA服務器106”)。DA客戶端102可通過一個或多個網絡110與DA服務器106通信。DA客戶端102可提供客戶端側功能，諸如面向用戶的輸入和輸出處理，并且與DA服務器106通信。DA服務器106可為任意數(shù)量的DA客戶端102提供服務器側功能，所述任意數(shù)量的DA客戶端各自位于相應的用戶設備104上。在一些示例中，DA服務器106可包括面向客戶端的I/O接口112、一個或多個處理模塊114、數(shù)據(jù)與模型116，以及到外部服務的I/O接口118。面向客戶端的I/O接口112可有利于DA服務器106的面向客戶端的輸入和輸出處理。一個或多個處理模塊114可利用數(shù)據(jù)與模型116來處理語音輸入，并基于自然語言輸入確定用戶意圖。此外，一個或多個處理模塊114基于推斷出的用戶意圖來進行任務執(zhí)行。在一些示例中，DA服務器106可通過一個或多個網絡110與外部服務120通信以完成任務或采集信息。到外部服務的I/O接口118可促進此類通信。用戶設備104可以是任何合適的電子設備。例如，用戶設備104可以是便攜式多功能設備(例如，下文參考圖2A描述的設備200)、多功能設備(例如，下文參考圖4描述的設備400)或者個人電子設備(例如，下文參考圖6A-B描述的設備600)。例如，便攜式多功能設備可以是移動電話，所述移動電話也包含其他功能，諸如PDA和/或音樂播放器功能。便攜式多功能設備的特定示例可包括來自AppleInc.(Cupertino,California)的iPod和設備。便攜式多功能設備的其他示例可包括但不限于膝上型電腦或平板電腦。此外，在一些示例中，用戶設備104可以是非便攜式多功能設備。具體而言，用戶設備104可以是臺式計算機、游戲機、電視機或電視機機頂盒。在一些示例中，用戶設備104可包括觸敏表面(例如，觸摸屏顯示器和/或觸摸板)。此外，用戶設備104可任選地包括一個或多個其他物理用戶接口設備，諸如物理鍵盤、鼠標和/或操縱桿。電子設備諸如多功能設備的各種示例在下文更詳細地描述。一個或多個通信網絡110的示例可包括局域網(LAN)和廣域網(WAN)，例如互聯(lián)網。一個或多個通信網絡110可使用任何已知的網絡協(xié)議來實現(xiàn)，包括各種有線或無線協(xié)議，例如以太網、通用串行總線(USB)、火線(FIREWIRE)、全球移動通信系統(tǒng)(GSM)、增強型數(shù)據(jù)GSM環(huán)境(EDGE)、碼分多址(CDMA)、時分多址(TDMA)、藍牙、Wi-Fi、互聯(lián)網協(xié)議語音(VoIP)、Wi-MAX或任何其他合適的通信協(xié)議。服務器系統(tǒng)108可在計算機的一個或多個獨立式數(shù)據(jù)處理設備或分布式網絡上實現(xiàn)。在一些示例中，服務器系統(tǒng)108還可采用第三方服務提供方(例如，第三方云服務提供方)的各種虛擬設備和/或服務來提供服務器系統(tǒng)108的潛在計算資源和/或基礎結構資源。在一些示例中，用戶設備104可經由第二用戶設備122與DA服務器106通信。第二用戶設備122可與用戶設備104類似或相同。例如，第二用戶設備122可類似于下文參考圖2A、圖4和圖6A-B描述的設備200、設備400或設備600。用戶設備104可被配置為經由直接通信連接諸如藍牙、NFC、BTLE等或者經由有線或無線網絡諸如局域Wi-Fi網絡而通信耦接到第二用戶設備122。在一些示例中，第二用戶設備122可被配置為充當用戶設備104與DA服務器106之間的代理。例如，用戶設備104的DA客戶端102可被配置為經由第二用戶設備122將信息(例如，在用戶設備104處接收的用戶請求)傳輸?shù)紻A服務器106。DA服務器106可處理所述信息，并經由第二用戶設備122將相關數(shù)據(jù)(例如，響應于用戶請求的數(shù)據(jù)內容)返回到用戶設備104。在一些示例中，用戶設備104可被配置為將針對數(shù)據(jù)的縮略請求發(fā)送到第二用戶設備122，以減少從用戶設備104傳輸?shù)男畔⒘?。第二用戶設備122可被配置為確定添加到縮略請求的補充信息，以生成完整的請求來傳輸?shù)紻A服務器106。該系統(tǒng)架構可有利地通過使用具有較強通信能力和/或電池電力的第二用戶設備122(例如，移動電話、膝上型計算機、平板電腦等)作為到DA服務器106的代理來允許具有有限通信能力和/或有限電池電力的用戶設備104(例如，手表或類似的緊湊型電子設備)訪問DA服務器106提供的服務。雖然圖1中僅示出兩個用戶設備104和122，應當理解，系統(tǒng)100可包括在此代理配置中被配置為與DA服務器系統(tǒng)106通信的任意數(shù)量和類型的用戶設備。盡管圖1中所示的數(shù)字助理可包括客戶端側部分(例如，DA客戶端102)和服務器側部分(例如，DA服務器106)兩者，但在一些示例中，數(shù)字助理的功能可以實現(xiàn)為安裝在用戶設備上的獨立式應用程序。此外，數(shù)字助理的客戶端部分與服務器部分之間的功能劃分在不同的具體實施中可變化。例如，在一些示例中，DA客戶端可以是僅提供面向用戶的輸入和輸出處理功能，且將數(shù)字助理的所有其他功能委派給后端服務器的瘦客戶端。2.電子設備現(xiàn)在將注意力轉到用于實現(xiàn)數(shù)字助理的客戶端側部分的電子設備的實施方案。圖2A是示出根據(jù)一些實施方案的具有觸敏顯示器系統(tǒng)212的便攜式多功能設備200的框圖。觸敏顯示器212有時為了方便被叫做“觸摸屏”，并且有時可被稱為或被叫做“觸敏顯示器系統(tǒng)”。設備200包括存儲器202(其任選地包括一個或多個計算機可讀存儲介質)、存儲器控制器222、一個或多個處理單元(CPU)220、外圍設備接口218、RF電路208、音頻電路210、揚聲器211、麥克風213、輸入/輸出(I/O)子系統(tǒng)206、其他輸入控制設備216和外部端口224。設備200任選地包括一個或多個光學傳感器264。設備200任選地包括用于檢測設備200(例如，觸敏表面，諸如設備200的觸敏顯示器系統(tǒng)212)上的接觸的強度的一個或多個接觸強度傳感器265。設備200任選地包括用于在設備200上生成觸覺輸出的一個或多個觸覺輸出發(fā)生器267(例如，在觸敏表面諸如設備200的觸敏顯示器系統(tǒng)212或設備400的觸摸板455上生成觸覺輸出)。這些部件任選地通過一個或多個通信總線或信號線203進行通信。如在本說明書和權利要求書中所使用的，術語觸敏表面上的接觸的“強度”是指觸敏表面上的接觸(例如，手指接觸)的力或壓力(每單位面積的力)，或是指觸敏表面上的接觸的力或壓力的替代物(代用物)。接觸的強度具有值范圍，該值范圍包括至少四個不同的值并且更典型地包括上百個不同的值(例如，至少256個)。接觸的強度任選地使用各種方法和各種傳感器或傳感器的組合來確定(或測量)。例如，在觸敏表面下方或相鄰于觸敏表面的一個或多個力傳感器任選地用于測量觸敏表面上的不同點處的力。在一些具體實施中，來自多個力傳感器的力測量被合并(例如，加權平均數(shù))以確定估計的接觸力。類似地，觸筆的壓敏頂端任選地用于確定觸筆在觸敏表面上的壓力。另選地，在觸敏表面上檢測到的接觸面積的尺寸和/或其變化、接觸附近觸敏表面的電容和/或其變化以及/或者接觸附近觸敏表面的電阻和/或其變化任選地被用作觸敏表面上的接觸的力或壓力的替代物。在一些具體實施中，接觸力或壓力的替代物測量直接用于確定是否已超過強度閾值(例如，強度閾值是以與替代物測量對應的單位來描述的)。在一些具體實施中，接觸力或壓力的替代物測量被轉換成估計的力或壓力，并且估計的力或壓力用于確定是否已超過強度閾值(例如，強度閾值是以壓力的單位進行測量的壓力閾值)。使用接觸的強度作為用戶輸入的屬性，從而允許用戶訪問用戶在實地面積有限的尺寸更小的設備上本來不可訪問的附加設備功能，該尺寸更小的設備用于(例如，在觸敏顯示器上)顯示示能表示和/或接收用戶輸入(例如，經由觸敏顯示器、觸敏表面或物理控件/機械控件諸如旋鈕或按鈕)。如本說明書和權利要求書中所使用的，術語“觸覺輸出”是指將由用戶利用用戶的觸感檢測到的設備相對于設備的先前位置的物理位移、設備的部件(例如，觸敏表面)相對于設備的另一個部件(例如，外殼)的物理位移、或部件相對于設備的質心的位移。例如，在設備或設備的部件與用戶對觸摸敏感的表面(例如，手指、手掌或用戶手部的其他部分)接觸的情況下，通過物理位移生成的觸覺輸出將由用戶解釋為觸感，該觸感對應于設備或設備的部件的物理特征的所感知的變化。例如，觸敏表面(例如，觸敏顯示器或觸控板)的移動任選地由用戶解釋為對物理致動按鈕的“按下點擊”或“松開點擊”。在一些情況下，用戶將感覺到觸感，諸如“按下點擊”或“松開點擊”，即使在通過用戶的移動而物理地被按壓(例如，被移位)的與觸敏表面相關聯(lián)的物理致動按鈕沒有移動時。作為另一個示例，即使在觸敏表面的光滑度無變化時，觸敏表面的移動也會任選地由用戶解釋為或感覺為觸敏表面的“粗糙度”。雖然由用戶對觸摸的此類解釋將受到用戶的個體化感官知覺限制，但是有許多觸摸的感官知覺是大多數(shù)用戶共有的。因此，當觸覺輸出被描述為對應于用戶的特定感官知覺(例如，“按下點擊”、“松開點擊”、“粗糙度”)時，除非另外陳述，否則所生成的觸覺輸出對應于設備或其部件的物理位移，該物理位移將會生成典型(或普通)用戶的感官知覺。應當理解，設備200僅是便攜式多功能設備的一個示例，并且設備200任選地具有比所示出的更多或更少的部件，任選地組合兩個或更多個部件，或者任選地具有這些部件的不同配置或布置。圖2A中所示的各種部件以硬件、軟件或硬件與軟件兩者的組合來實現(xiàn)，包括一個或多個信號處理電路和/或專用集成電路。存儲器202可包括一個或多個計算機可讀存儲介質。該計算機可讀存儲介質可以是有形的和非暫態(tài)的。存儲器202可包括高速隨機存取存儲器，并且還可包括非易失性存儲器，諸如一個或多個磁盤存儲設備、閃存存儲器設備或其他非易失性固態(tài)存儲器設備。存儲器控制器222可控制設備200的其他部件訪問存儲器202。在一些示例中，存儲器202的非暫態(tài)計算機可讀存儲介質可用來存儲指令(例如，用于執(zhí)行下文描述的過程800的多個方面)，以供指令執(zhí)行系統(tǒng)、裝置或設備諸如基于計算機的系統(tǒng)、包含處理器的系統(tǒng)或可從指令執(zhí)行系統(tǒng)、裝置或設備獲取指令并執(zhí)行指令的其他系統(tǒng)使用或與其結合。在其他示例中，指令(例如，用于執(zhí)行下文描述的過程800的多個方面)可被存儲在服務器系統(tǒng)108的非暫態(tài)計算機可讀存儲介質(未示出)上，或者可在存儲器202的非暫態(tài)計算機可讀存儲介質與服務器系統(tǒng)108的非暫態(tài)計算機可讀存儲介質之間劃分。在本文的上下文中，“非暫態(tài)計算機可讀存儲介質”可以是可包含或存儲程序以供指令執(zhí)行系統(tǒng)、裝置和設備使用或與其結合的任何介質。外圍設備接口218可被用于將設備的輸入外圍設備和輸出外圍設備耦接到CPU220和存儲器202。所述一個或多個處理器220運行或執(zhí)行存儲在存儲器202中的各種軟件程序和/或指令集以執(zhí)行設備200的各種功能并處理數(shù)據(jù)。在一些實施方案中，外圍設備接口218、CPU220和存儲器控制器222可在單個芯片諸如芯片204上實現(xiàn)。在一些其他實施方案中，它們可在單獨的芯片上實現(xiàn)。RF(射頻)電路208接收和發(fā)送也被叫做電磁信號的RF信號。RF電路208將電信號轉換為電磁信號/將電磁信號轉換為電信號，并且經由電磁信號來與通信網絡以及其他通信設備進行通信。RF電路208任選地包括用于執(zhí)行這些功能的熟知的電路，包括但不限于天線系統(tǒng)、RF收發(fā)器、一個或多個放大器、調諧器、一個或多個振蕩器、數(shù)字信號處理器、編解碼芯片組、用戶身份模塊(SIM)卡、存儲器等。RF電路208任選地通過無線通信來與網絡以及其他設備進行通信，該網絡為諸如互聯(lián)網(也被稱為萬維網(WWW))、內聯(lián)網和/或無線網絡(諸如蜂窩電話網絡、無線局域網(LAN)和/或城域網(MAN))。RF電路208任選地包括用于檢測近場通信(NFC)場的熟知的電路，諸如通過近程通信無線電部件來進行檢測。無線通信任選地使用多種通信標準、協(xié)議和技術中的任一種，包括但不限于全球移動通信系統(tǒng)(GSM)、增強型數(shù)據(jù)GSM環(huán)境(EDGE)、高速下行鏈路分組接入(HSDPA)、高速上行鏈路分組接入(HSUPA)、演進、純數(shù)據(jù)(EV-DO)、HSPA、HSPA+、雙單元HSPA(DC-HSPDA)、長期演進(LTE)、近場通信(NFC)、寬帶碼分多址(W-CDMA)、碼分多址(CDMA)、時分多址(TDMA)、藍牙、藍牙低功耗(BTLE)、無線保真(Wi-Fi)(例如，IEEE802.11a、IEEE802.11b、IEEE802.11g、IEEE802.11n和/或IEEE802.11ac)、互聯(lián)網協(xié)議語音(VoIP)、Wi-MAX、電子郵件協(xié)議(例如，互聯(lián)網消息訪問協(xié)議(IMAP)和/或郵局協(xié)議(POP))、即時消息(例如，可擴展消息處理和存在協(xié)議(XMPP)、用于即時消息和存在利用擴展的會話發(fā)起協(xié)議(SIMPLE)、即時消息和存在服務(IMPS))以及/或者短消息服務(SMS)，或者任何其他適當?shù)耐ㄐ艆f(xié)議，包括到本文檔提交日期為止還未開發(fā)出的通信協(xié)議。音頻電路210、揚聲器211和麥克風213提供用戶和設備200之間的音頻接口。音頻電路210從外圍設備接口218接收音頻數(shù)據(jù)，將音頻數(shù)據(jù)轉換為電信號，并將電信號傳輸?shù)綋P聲器211。揚聲器211將電信號轉換為人類可聽的聲波。音頻電路210還接收由麥克風213根據(jù)聲波轉換的電信號。音頻電路210將電信號轉換為音頻數(shù)據(jù)，并將音頻數(shù)據(jù)傳輸?shù)酵鈬O備接口218以用于處理。音頻數(shù)據(jù)可由外圍設備接口218從存儲器202和/或RF電路208進行檢索和/或被傳輸至所述存儲器和/或所述RF電路。在一些實施方案中，音頻電路210還包括耳麥插孔(例如，圖3中的312)。耳麥插孔提供音頻電路210和可移除的音頻輸入/輸出外圍設備之間的接口，該可移除的音頻輸入/輸出外圍設備諸如僅輸出的耳機或者具有輸出(例如，單耳耳機或雙耳耳機)和輸入(例如，麥克風)兩者的頭戴式耳機。I/O子系統(tǒng)206將設備200上的輸入/輸出外圍設備諸如觸摸屏212和其他輸入控制設備216耦接到外圍設備接口218。I/O子系統(tǒng)206任選地包括顯示控制器256、光學傳感器控制器258、強度傳感器控制器259、觸覺反饋控制器261和用于其他輸入或控制設備的一個或多個輸入控制器260。所述一個或多個輸入控制器260從其他輸入控制設備216接收電信號/將電信號發(fā)送到所述其他輸入控制設備。其他輸入控制設備216任選地包括物理按鈕(例如，下壓按鈕、搖臂按鈕等)、撥號盤、滑動開關、操縱桿、點擊式轉盤等。在一些另選實施方案中，一個或多個輸入控制器260任選地耦接至以下各項中的任一者(或不耦接至以下各項中的任一者)：鍵盤、紅外線端口、USB端口以及指針設備諸如鼠標。一個或多個按鈕(例如，圖3中的308)任選地包括用于揚聲器211和/或麥克風213的音量控制的增大/減小按鈕。一個或多個按鈕任選地包括下壓按鈕(例如，圖3中的306)?？焖侔聪孪聣喊粹o可解除對觸摸屏212的鎖定或者開始使用觸摸屏上的手勢來對設備進行解鎖的過程，如在于2005年12月23日提交的標題為“UnlockingaDevicebyPerformingGesturesonanUnlockImage”的美國專利申請11/322,549以及美國專利申請No.7,657,849中所述的。上述美國專利申請據(jù)此全文以引用方式并入。更長地按下下按按鈕(例如306)可使設備200開機或關機。用戶能夠對一個或多個按鈕的功能進行自定義。觸摸屏212用于實現(xiàn)虛擬按鈕或軟按鈕以及一個或多個軟鍵盤。觸敏顯示器212提供設備和用戶之間的輸入接口和輸出接口。顯示控制器256從觸摸屏212接收電信號和/或將電信號發(fā)送至該觸摸屏。觸摸屏212向用戶顯示視覺輸出。該視覺輸出可包括圖形、文本、圖標、視頻及它們的任意組合(統(tǒng)稱為“圖形”)。在一些實施方案中，一些視覺輸出或全部的視覺輸出可對應于用戶界面對象。觸摸屏212具有基于觸覺和/或觸感接觸來接受來自用戶的輸入的觸敏表面、傳感器或傳感器組。觸摸屏212和顯示控制器256(與存儲器202中的任何相關聯(lián)的模塊和/或指令集一起)檢測觸摸屏212上的接觸(和該接觸的任何移動或中斷)，并且將所檢測到的接觸轉換為與被顯示在觸摸屏212上的用戶界面對象(例如，一個或多個軟鍵、圖標、網頁或圖像)的交互。在一個示例性實施方案中，觸摸屏212和用戶之間的接觸點對應于用戶的手指。觸摸屏212可使用LCD(液晶顯示器)技術、LPD(發(fā)光聚合物顯示器)技術或LED(發(fā)光二極管)技術，但是在其他實施方案中可使用其他顯示技術。觸摸屏212和顯示控制器256可使用現(xiàn)在已知的或以后將開發(fā)出的多種觸摸感測技術中的任何觸摸感測技術以及其他接近傳感器陣列或用于確定與觸摸屏212的一個或多個接觸點的其他元件來檢測接觸及其任何移動或中斷，該多種觸摸感測技術包括但不限于電容性技術、電阻性技術、紅外技術和表面聲波技術。在一個示例性實施方案中，使用投射式互電容感測技術，諸如從AppleInc.(Cupertino,California)的和iPodTouch發(fā)現(xiàn)的技術。觸摸屏212的一些實施方案中的觸敏顯示器可類似于以下美國專利中所述的多點觸敏觸摸板：6,323,846(Westerman等人)、6,570,557(Westerman等人)和/或6,677,932(Westerman)；和/或美國專利公開2002/0015024A1，這些專利申請中的每個專利申請據(jù)此全文以引用方式并入本文。然而，觸摸屏212顯示來自設備200的視覺輸出，而觸敏觸摸板不提供視覺輸出。觸摸屏212的一些實施方案中的觸敏顯示器可如在以下專利申請中那樣進行描述：(1)于2006年5月2日提交的標題為“MultipointTouchSurfaceController”美國專利申請No.11/381,313；(2)于2004年5月6日提交的標題為“MultipointTouchscreen”美國專利申請No.10/840,862；(3)于2004年7月30日提交的標題為“GesturesForTouchSensitiveInputDevices”美國專利申請No.10/903,964；(4)于2005年1月31日提交的標題為“GesturesForTouchSensitiveInputDevices”美國專利申請No.11/048,264；(5)于2005年1月18日提交的標題為“Mode-BasedGraphicalUserInterfacesForTouchSensitiveInputDevices”美國專利申請No.11/038,590；(6)于2005年9月16日提交的標題為“VirtualInputDevicePlacementOnATouchScreenUserInterface”美國專利申請No.11/228,758；(7)于2005年9月16日提交的標題為“OperationOfAComputerWithATouchScreenInterface”美國專利申請No.11/228,700；(8)于2005年9月16日提交的標題為“ActivatingVirtualKeysOfATouch-ScreenVirtualKeyboard”美國專利申請No.11/228,737；和(9)于2006年3月3日提交的標題為“Multi-FunctionalHand-HeldDevice”美國專利申請No.11/367,749。所有這些專利申請全文以引用方式并入本文。觸摸屏212可具有超過100dpi的視頻分辨率。在一些實施方案中，觸摸屏具有約160dpi的視頻分辨率。用戶可使用任何合適的物體或附加物諸如觸筆、手指等來與觸摸屏212接觸。在一些實施方案中，用戶界面被設計用于主要與基于手指的接觸和手勢工作，由于手指在觸摸屏上的接觸區(qū)域較大，因此這可能不如基于觸筆的輸入精確。在一些實施方案中，設備將基于手指的粗略輸入翻譯為精確的指針/光標位置或命令，以用于執(zhí)行用戶所期望的動作。在一些實施方案中，除了觸摸屏之外，設備200可包括用于激活或去激活特定功能的觸摸板(未示出)。在一些實施方案中，觸摸板是設備的觸敏區(qū)域，該觸敏區(qū)域與觸摸屏不同，其不顯示視覺輸出。觸摸板可以是與觸摸屏212分開的觸敏表面，或者是由觸摸屏形成的觸敏表面的延伸部分。設備200還包括用于為各種部件供電的電力系統(tǒng)262。電力系統(tǒng)262可包括功率管理系統(tǒng)、一個或多個電源(例如，電池、交流電(AC))、再充電系統(tǒng)、電力故障檢測電路、功率轉換器或逆變器、電源狀態(tài)指示器(例如，發(fā)光二極管(LED))和與便攜式設備中的電力的生成、管理和分配相關聯(lián)的任何其他部件。設備200還可包括一個或多個光學傳感器264。圖2A示出耦接到I/O子系統(tǒng)206中的光學傳感器控制器258的光學傳感器。光學傳感器264可包括電荷耦合器件(CCD)或互補金屬氧化物半導體(CMOS)光電晶體管。光學傳感器264從環(huán)境接收通過一個或多個透鏡而投射的光，并且將光轉換為表示圖像的數(shù)據(jù)。結合成像模塊243(也稱為相機模塊)，光學傳感器264可捕獲靜態(tài)圖像或視頻。在一些實施方案中，光學傳感器位于設備200的與設備的前部上的觸摸屏顯示器212相背對的后部上，使得觸摸屏顯示器可被用作用于靜態(tài)圖像和/或視頻圖像采集的取景器。在一些實施方案中，光學傳感器位于設備的前部，使得在用戶在觸摸屏顯示器上觀看其他視頻會議參與者的同時可獲得該用戶的圖像，以用于視頻會議。在一些實施方案中，光學傳感器264的位置可由用戶改變(例如通過旋轉設備外殼中的透鏡和傳感器)，使得單個光學傳感器264可與觸摸屏顯示器一起使用，以用于視頻會議和靜態(tài)圖像和/或視頻圖像采集兩者。設備200任選地還包括一個或多個接觸強度傳感器265。圖2A示出耦接到I/O子系統(tǒng)206中的強度傳感器控制器259的接觸強度傳感器。接觸強度傳感器265任選地包括一個或多個壓阻應變儀、電容式力傳感器、電力傳感器、壓電力傳感器、光學力傳感器、電容式觸敏表面或其他強度傳感器(例如，用于測量觸敏表面上的接觸的力(或壓力)的傳感器)。接觸強度傳感器265從環(huán)境接收接觸強度信息(例如，壓力信息或壓力信息的代用物)。在一些實施方案中，至少一個接觸強度傳感器與觸敏表面(例如，觸敏顯示器系統(tǒng)212)并置排列或鄰近。在一些實施方案中，至少一個接觸強度傳感器位于設備200的與位于設備200的前部上的觸摸屏顯示器212相背對的后部上。設備200還可包括一個或多個接近傳感器266。圖2A示出耦接到外圍設備接口218的接近傳感器266。作為另外一種選擇，接近傳感器266可耦接到I/O子系統(tǒng)206中的輸入控制器260。接近傳感器266可如以下美國專利申請中所述的那樣執(zhí)行：11/241,839，標題為“ProximityDetectorInHandheldDevice”；11/240,788，標題為“ProximityDetectorInHandheldDevice”；11/620,702，標題為“UsingAmbientLightSensorToAugmentProximitySensorOutput”；11/586,862，標題為“AutomatedResponseToAndSensingOfUserActivityInPortableDevices”；和11/638,251，標題為“MethodsAndSystemsForAutomaticConfigurationOfPeripherals”，這些美國專利申請據(jù)此全文以引用方式并入本文。在一些實施方案中，當多功能設備被置于用戶的耳朵附近時(例如，當用戶正在進行電話呼叫時)，接近傳感器關閉并且禁用觸摸屏212。設備200任選地還包括一個或多個觸覺輸出發(fā)生器267。圖2A示出耦接到I/O子系統(tǒng)206中的觸覺反饋控制器261的觸覺輸出發(fā)生器。觸覺輸出發(fā)生器267任選地包括：一個或多個電聲設備，諸如揚聲器或其他音頻部件；和/或用于將能量轉換成線性運動的機電設備，諸如電機、螺線管、電活性聚合器、壓電致動器、靜電致動器或其他觸覺輸出生成部件(例如，用于將電信號轉換成設備上的觸覺輸出的部件)。接觸強度傳感器265從觸覺反饋模塊233接收觸覺反饋生成指令，并且在設備200上生成能夠由設備200的用戶感覺到的觸覺輸出。在一些實施方案中，至少一個觸覺輸出發(fā)生器與觸敏表面(例如，觸敏顯示器系統(tǒng)212)并置排列或鄰近，并且任選地通過豎直地(例如，向設備200的表面內/外)或側向地(例如，在與設備200的表面相同的平面中向后和向前)移動觸敏表面來生成觸覺輸出。在一些實施方案中，至少一個觸覺輸出發(fā)生器傳感器位于設備200的與位于設備200的前部上的觸摸屏顯示器212相背對的后部上。設備200還可包括一個或多個加速度計268。圖2A示出耦接到外圍設備接口218的加速度計268。作為另外一種選擇，加速度計268可被耦接至I/O子系統(tǒng)206中的輸入控制器260。加速度計268可如以下美國專利公開中所述的那樣執(zhí)行：20050190059，標題為“Acceleration-basedTheftDetectionSystemforPortableElectronicDevices”和20060017692，標題為“MethodsAndApparatusesForOperatingAPortableDeviceBasedOnAnAccelerometer”，這兩個美國專利公開均全文以引用方式并入本文。在一些實施方案中，基于對從該一個或多個加速度計所接收的數(shù)據(jù)的分析來在觸摸屏顯示器上以縱向視圖或橫向視圖顯示信息。設備200任選地除了一個或多個加速度計268之外還包括磁力儀(未示出)和GPS(或GLONASS或其他全球導航系統(tǒng))接收器(未示出)，以用于獲取關于設備200的位置和取向(例如，縱向或橫向)的信息。在一些實施方案中，被存儲在存儲器202中的軟件部件包括操作系統(tǒng)226、通信模塊(或指令集)228、接觸/運動模塊(或指令集)230、圖形模塊(或指令集)232、文本輸入模塊(或指令集)234、全球定位系統(tǒng)(GPS)模塊(或指令集)235、數(shù)字助理客戶端模塊229以及應用程序(或指令集)236。此外，存儲器202可存儲數(shù)據(jù)和模型，諸如用戶數(shù)據(jù)與模型231。此外，在一些實施方案中，存儲器202(圖2A)或470(圖4)存儲設備/全局內部狀態(tài)257，如圖2A和圖4中所示。設備/全局內部狀態(tài)257包括以下各項中的一者或多者：活動應用程序狀態(tài)，該活動應用程序狀態(tài)用于指示哪些應用程序(如果有的話)當前是活動的；顯示狀態(tài)，該顯示狀態(tài)用于指示什么應用程序、視圖或其他信息占據(jù)觸摸屏顯示器212的各個區(qū)域；傳感器狀態(tài)，該傳感器狀態(tài)包括從設備的各個傳感器和輸入控制設備216獲得的信息；和關于設備位置和/或姿態(tài)的位置信息。操作系統(tǒng)226(例如，Darwin、RTXC、LINUX、UNIX、OSX、iOS、WINDOWS、或嵌入式操作系統(tǒng)諸如VxWorks)包括用于控制和管理一般系統(tǒng)任務(例如，存儲器管理、存儲設備控制、功率管理等)的各種軟件部件和/或驅動程序，并且促進各種硬件部件和軟件部件之間的通信。通信模塊228促進通過一個或多個外部端口224來與其他設備進行通信，并且還包括用于處理由RF電路208和/或外部端口224所接收的數(shù)據(jù)的各種軟件部件。外部端口224(例如，通用串行總線(USB)、火線等)適于直接耦接到其他設備或者間接地通過網絡(例如，互聯(lián)網、無線LAN等)耦接。在一些實施方案中，外部端口是與(AppleInc.的商標)設備上所使用的30針連接器相同的或類似的和/或與其兼容的多針(例如，30針)連接器。接觸/運動模塊230任選地檢測與觸摸屏212(結合顯示控制器256)和其他觸敏設備(例如，觸摸板或物理點擊式轉盤)的接觸。接觸/運動模塊230包括各種軟件部件以用于執(zhí)行與接觸檢測相關的各種操作，諸如確定是否已發(fā)生接觸(例如，檢測手指按下事件)、確定接觸的強度(例如，接觸的力或壓力，或者接觸的力或壓力的替代物)、確定是否存在接觸的移動并跟蹤在觸敏表面上的移動(例如，檢測一個或多個手指拖動事件)，以及確定接觸是否已停止(例如，檢測手指抬起事件或者接觸斷開)。接觸/運動模塊230從觸敏表面接收接觸數(shù)據(jù)。確定接觸點的移動任選地包括確定接觸點的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改變)，所述接觸點的移動由一系列接觸數(shù)據(jù)來表示。這些操作任選地被應用于單點接觸(例如，單指接觸)或者多點同時接觸(例如，“多點觸摸”/多個手指接觸)。在一些實施方案中，接觸/運動模塊230和顯示控制器256檢測觸摸板上的接觸。在一些實施方案中，接觸/運動模塊230使用一組一個或多個強度閾值來確定操作是否已由用戶執(zhí)行(例如，確定用戶是否已“點擊”圖標)。在一些實施方案中，根據(jù)軟件參數(shù)來確定強度閾值的至少一個子集(例如，強度閾值不是由特定物理致動器的激活閾值來確定的，并且可在不改變設備200的物理硬件的情況下被調節(jié))。例如，在不改變觸控板或觸摸屏顯示器硬件的情況下，觸控板或觸摸屏的鼠標“點擊”閾值可被設定成預定義的閾值的大范圍中的任一個閾值。另外，在一些具體實施中，向設備的用戶提供用于調節(jié)一組強度閾值中的一個或多個強度閾值(例如，通過調節(jié)各個強度閾值和/或通過利用對“強度”參數(shù)的系統(tǒng)級點擊來一次調節(jié)多個強度閾值)的軟件設置。接觸/運動模塊230任選地檢測用戶的手勢輸入。觸敏表面上的不同手勢具有不同接觸圖案(例如，所檢測到的接觸的不同運動、計時和/或強度)。因此，任選地通過檢測具體接觸圖案來檢測手勢。例如，檢測手指輕擊手勢包括檢測手指按下事件，然后在與手指按下事件相同的位置(或基本上相同的位置)處(例如，在圖標的位置處)檢測手指抬起(抬離)事件。作為另一個示例，在觸敏表面上檢測手指輕掃手勢包括檢測手指按下事件，然后檢測一個或多個手指拖動事件，并且隨后檢測手指抬起(抬離)事件。圖形模塊232包括用于在觸摸屏212或其他顯示器上呈現(xiàn)和顯示圖形的各種已知的軟件部件，包括用于改變所顯示的圖形的視覺沖擊(例如，亮度、透明度、飽和度、對比度或其他視覺特征)的部件。如本文所用，術語“圖形”包括可被顯示給用戶的任何對象，非限制性地包括文本、網頁、圖標(諸如包括軟鍵的用戶界面對象)、數(shù)字圖像、視頻、動畫等。在一些實施方案中，圖形模塊232存儲待使用的用于表示圖形的數(shù)據(jù)。每個圖形任選地被分配有對應的代碼。圖形模塊232從應用程序等接收用于指定待顯示的圖形的一個或多個代碼，在必要的情況下還一起接收坐標數(shù)據(jù)和其他圖形屬性數(shù)據(jù)，然后生成屏幕圖像數(shù)據(jù)，以輸出至顯示控制器256。觸覺反饋模塊233包括用于生成指令的各種軟件部件，該指令由一個或多個觸覺輸出發(fā)生器267使用，以便響應于用戶與設備200的交互而在設備200上的一個或多個位置處生成觸覺輸出?？勺鳛閳D形模塊232的部件的文本輸入模塊234提供用于在各種應用程序(例如，聯(lián)系人237、電子郵件240、即時消息241、瀏覽器247和需要文本輸入的任何其他應用程序)中輸入文本的軟鍵盤。GPS模塊235確定設備的位置并提供了在各種應用程序中使用的這種信息(例如，提供至用于基于位置的撥號的電話238；提供至相機243作為圖片/視頻元數(shù)據(jù)；以及提供至提供基于位置的服務諸如天氣桌面小程序、當?shù)攸S頁桌面小程序和地圖/導航桌面小程序的應用程序)。數(shù)字助理客戶端模塊229可包括各種客戶端側數(shù)字助理指令，以提供數(shù)字助理的客戶端側功能。例如，數(shù)字助理客戶端模塊229可能夠通過便攜式多功能設備200的各種用戶界面(例如，麥克風213、加速度計268、觸敏顯示器系統(tǒng)212、光學傳感器229、其他輸入控制設備216等)接受聲音輸入(例如，語音輸入)、文本輸入、觸摸輸入和/或手勢輸入。數(shù)字助理客戶端模塊229也能夠通過便攜式多功能設備200的各種輸出界面(例如，揚聲器211、觸敏顯示器系統(tǒng)212、觸覺輸出發(fā)生器267等)提供音頻形式輸出(例如，語音輸出)、視覺形式輸出和/或觸覺形式輸出。例如，可將輸出提供為語音、聲音、警報、文本消息、菜單、圖形、視頻、動畫、振動、和/或以上兩者或更多者的組合。在操作期間，數(shù)字助理客戶端模塊229可利用RF電路208與DA服務器106通信。用戶數(shù)據(jù)與模型231可包括與用戶相關聯(lián)的各種數(shù)據(jù)(例如，用戶特定詞匯數(shù)據(jù)、用戶偏好數(shù)據(jù)、用戶指定名稱發(fā)音、來自用戶電子通訊錄的數(shù)據(jù)、待辦事項、購物清單等)，以提供數(shù)字助理的客戶端側功能。此外，用戶數(shù)據(jù)與模型231可包括各種模型(例如，語音識別模型、統(tǒng)計語言模型、自然語言處理模型、知識本體、任務流模型、服務模型等)，以用于處理用戶輸入并確定用戶意圖。在一些示例中，數(shù)字助理客戶端模塊229可利用便攜式多功能設備200的各種傳感器、子系統(tǒng)和外圍設備來從便攜式多功能設備200的周圍環(huán)境采集附加信息，以建立與用戶、當前用戶交互和/或當前用戶輸入相關聯(lián)的上下文。在一些示例中，數(shù)字助理客戶端模塊229可將上下文信息或其子集與用戶輸入一起提供至DA服務器106以幫助推斷用戶的意圖。在一些示例中，數(shù)字助理還可使用上下文信息來確定如何準備輸出并將其傳送至用戶。上下文信息可被稱為上下文數(shù)據(jù)。在一些實施例中，伴隨用戶輸入的上下文信息可包括傳感器信息，例如照明、環(huán)境噪聲、環(huán)境溫度、周圍環(huán)境的圖像或視頻等。在一些實施例中，上下文信息還可包括設備的物理狀態(tài)，例如設備取向、設備位置、設備溫度、功率電平、速度、加速度、運動模式、蜂窩信號強度等。在一些示例中，還可將與DA服務器106的軟件狀態(tài)相關的信息，例如便攜式多功能設備200的運行過程、已安裝程序、過去和當前的網絡活動、后臺服務、錯誤日志、資源使用等，作為與用戶輸入相關聯(lián)的上下文信息提供至DA服務器106。在一些示例中，數(shù)字助理客戶端模塊229可響應于來自DA服務器106的請求而選擇性地提供存儲在便攜式多功能設備200上的信息(例如，用戶數(shù)據(jù)231)。在一些示例中，數(shù)字助理客戶端模塊229還可在DA服務器106請求時引出來自用戶經由自然語言對話或其他用戶界面的附加輸入。數(shù)字助理客戶端模塊229可將所述附加輸入傳送至DA服務器106，以幫助DA服務器106進行意圖推斷和/或滿足在用戶請求中表達的用戶意圖。數(shù)字助理的更詳細描述在下文參考圖7A-C描述。應認識到，數(shù)字助理客戶端模塊229可包括下文所述的數(shù)字助理模塊726的任何數(shù)量的子模塊。應用程序236可包括以下模塊(或指令集)，或者其子集或超集：·聯(lián)系人模塊237(有時稱為地址簿或聯(lián)系人列表)；·電話模塊238；·視頻會議模塊239；·電子郵件客戶端模塊240；·即時消息(IM)模塊241；·健身支持模塊242；·用于靜態(tài)圖像和/或視頻圖像的相機模塊243；·圖像管理模塊244；·視頻播放器模塊；·音樂播放器模塊；·瀏覽器模塊247；·日歷模塊248；·桌面小程序模塊249，其可包括以下各項中的一者或多者：天氣桌面小程序249-1、股市桌面小程序249-2、計算器桌面小程序249-3、鬧鐘桌面小程序249-4、詞典桌面小程序249-5、和由用戶獲取的其他桌面小程序以及用戶創(chuàng)建的桌面小程序249-6；·用于形成用戶創(chuàng)建的桌面小程序249-6的桌面小程序創(chuàng)建器模塊250；·搜索模塊251；·視頻和音樂播放器模塊252，其合并視頻播放器模塊和音樂播放器模塊；·記事本模塊253；·地圖模塊254；和/或·在線視頻模塊255?？杀淮鎯υ诖鎯ζ?02中的其他應用程序236的示例包括其他文字處理應用程序、其他圖像編輯應用程序、繪圖應用程序、呈現(xiàn)應用程序、支持JAVA的應用程序、加密、數(shù)字權益管理、語音識別和語音復制。結合觸摸屏212、顯示控制器256、接觸/運動模塊230、圖形模塊232、和文本輸入模塊234，聯(lián)系人模塊237可用于管理地址簿或聯(lián)系人列表(例如，被存儲在存儲器202或存儲器470中的聯(lián)系人模塊237的應用程序內部狀態(tài)292中)，包括：將一個或多個姓名添加到地址簿；從地址簿刪除一個或多個姓名；使一個或多個電話號碼、一個或多個電子郵件地址、一個或多個物理地址或其他信息與姓名相關聯(lián)；使圖像與姓名相關聯(lián)；對姓名歸類和分類；提供電話號碼或電子郵件地址以發(fā)起和/或促進通過電話238、視頻會議模塊239、電子郵件240、或IM241進行通信；等。結合RF電路208、音頻電路210、揚聲器211、麥克風213、觸摸屏212、顯示控制器256、接觸/運動模塊230、圖形模塊232、和文本輸入模塊234，電話模塊238可用于輸入與電話號碼對應的字符序列、訪問聯(lián)系人模塊237中的一個或多個電話號碼、修改已輸入的電話號碼、撥打相應的電話號碼、進行會話以及當會話完成時斷開或掛斷。如上所述，無線通信可使用多個通信標準、協(xié)議和技術中的任一者。結合RF電路208、音頻電路210、揚聲器211、麥克風213、觸摸屏212、顯示控制器256、光學傳感器264、光學傳感器控制器258、接觸/運動模塊230、圖形模塊232、文本輸入模塊234、聯(lián)系人模塊237和電話模塊238，視頻會議模塊239包括根據(jù)用戶指令來發(fā)起、進行和終止用戶與一個或多個其他參與方之間的視頻會議的可執(zhí)行指令。結合RF電路208、觸摸屏212、顯示控制器256、接觸/運動模塊230、圖形模塊232和文本輸入模塊234，電子郵件客戶端模塊240包括響應于用戶指令來創(chuàng)建、發(fā)送、接收和管理電子郵件的可執(zhí)行指令。結合圖像管理模塊244，電子郵件客戶端模塊240使得非常容易創(chuàng)建和發(fā)送具有由相機模塊243拍攝的靜態(tài)圖像或視頻圖像的電子郵件。結合RF電路208、觸摸屏212、顯示控制器256、接觸/運動模塊230、圖形模塊232和文本輸入模塊234，即時消息模塊241包括用于進行以下操作的可執(zhí)行指令：輸入與即時消息對應的字符序列、修改先前輸入的字符、傳輸相應即時消息(例如，使用短消息服務(SMS)或多媒體消息服務(MMS)協(xié)議以用于基于電話的即時消息或者使用XMPP、SIMPLE、或IMPS以用于基于互聯(lián)網的即時消息)、接收即時消息以及查看所接收的即時消息。在一些實施方案中，所傳輸?shù)暮?或所接收的即時消息可包括圖形、照片、音頻文件、視頻文件和/或在MMS和/或增強型消息服務(EMS)中支持的其他附件。如本文所用，“即時消息”是指基于電話的消息(例如，使用SMS或MMS傳輸?shù)南?和基于互聯(lián)網的消息(例如，使用XMPP、SIMPLE、或IMPS傳輸?shù)南?兩者。結合RF電路208、觸摸屏212、顯示控制器256、接觸/運動模塊230、圖形模塊232、文本輸入模塊234、GPS模塊235、地圖模塊254和音樂播放器模塊，健身支持模塊242包括用于進行以下操作的可執(zhí)行指令：創(chuàng)建健身(例如具有時間、距離和/或卡路里燃燒目標)；與健身傳感器(移動設備)進行通信；接收健身傳感器數(shù)據(jù)；校準用于監(jiān)測健身的傳感器；選擇健身音樂并進行播放；以及顯示、存儲和傳輸健身數(shù)據(jù)。結合觸摸屏212、顯示控制器256、一個或多個光學傳感器264、光學傳感器控制器258、接觸/運動模塊230、圖形模塊232和圖像管理模塊244，相機模塊243包括用于進行以下操作的可執(zhí)行指令：捕獲靜態(tài)圖像或視頻(包括視頻流)并且將它們存儲到存儲器202中、修改靜態(tài)圖像或視頻的特征、或從存儲器202刪除靜態(tài)圖像或視頻。結合觸摸屏212、顯示控制器256、接觸/運動模塊230、圖形模塊232、文本輸入模塊234、和相機模塊243，圖像管理模塊244包括用于排列、修改(例如，編輯)、或以其他方式操控、加標簽、刪除、呈現(xiàn)(例如，在數(shù)字幻燈片或相冊中)、以及存儲靜態(tài)圖像和/或視頻圖像的可執(zhí)行指令。結合RF電路208、觸摸屏212、顯示控制器256、接觸/運動模塊230、圖形模塊232和文本輸入模塊234，瀏覽器模塊247包括用于根據(jù)用戶指令來瀏覽互聯(lián)網(包括搜索、鏈接至、接收、和顯示網頁或其部分，以及鏈接至網頁的附件和其他文件)的可執(zhí)行指令。結合RF電路系統(tǒng)208、觸摸屏212、顯示控制器256、接觸/運動模塊230、圖形模塊232、文本輸入模塊234、電子郵件客戶端模塊240和瀏覽器模塊247，日歷模塊248包括用于根據(jù)用戶指令來創(chuàng)建、顯示、修改和存儲日歷以及與日歷相關聯(lián)的數(shù)據(jù)(例如，日歷條目、待辦事項等)的可執(zhí)行指令。結合RF電路系統(tǒng)208、觸摸屏212、顯示控制器256、接觸/運動模塊230、圖形模塊232、文本輸入模塊234、和瀏覽器模塊247，桌面小程序模塊249是可由用戶下載并使用的微型應用程序(例如，天氣桌面小程序249-1、股市桌面小程序249-2、計算器桌面小程序249-3、鬧鐘桌面小程序249-4、和字典桌面小程序249-5)或由用戶創(chuàng)建的微型應用程序(例如，用戶創(chuàng)建的桌面小程序249-6)。在一些實施方案中，桌面小程序包括HTML(超文本標記語言)文件、CSS(層疊樣式表)文件和JavaScript文件。在一些實施方案中，桌面小程序包括XML(可擴展標記語言)文件和JavaScript文件(例如，Yahoo！桌面小程序)。結合RF電路208、觸摸屏212、顯示控制器256、接觸/運動模塊230、圖形模塊232、文本輸入模塊234、和瀏覽器模塊247，桌面小程序創(chuàng)建器模塊250可被用戶用于創(chuàng)建桌面小程序(例如，將網頁的用戶指定部分轉到桌面小程序中)。結合觸摸屏212、顯示控制器256、接觸/運動模塊230、圖形模塊232和文本輸入模塊234，搜索模塊251包括用于根據(jù)用戶指令來搜索存儲器202中的匹配一個或多個搜索條件(例如，一個或多個用戶指定的搜索詞)的文本、音樂、聲音、圖像、視頻和/或其他文件的可執(zhí)行指令。結合觸摸屏212、顯示控制器256、接觸/運動模塊230、圖形模塊232、音頻電路系統(tǒng)210、揚聲器211、RF電路系統(tǒng)208和瀏覽器模塊247，視頻和音樂播放器模塊252包括允許用戶下載和回放以一種或多種文件格式(諸如MP3或AAC文件)存儲的所記錄的音樂和其他聲音文件的可執(zhí)行指令，以及用于顯示、呈現(xiàn)或以其他方式回放視頻(例如，在觸摸屏212上或在經由外部端口224連接的外部顯示器上)的可執(zhí)行指令。在一些實施方案中，設備200任選地包括MP3播放器，諸如iPod(AppleInc.的商標)的功能。結合觸摸屏212、顯示控制器256、接觸/運動模塊230、圖形模塊232和文本輸入模塊234，記事本模塊253包括根據(jù)用戶指令來創(chuàng)建和管理記事本、待辦事項等的可執(zhí)行指令。結合RF電路208、觸摸屏212、顯示控制器256、接觸/運動模塊230、圖形模塊232、文本輸入模塊234、GPS模塊235和瀏覽器模塊247，地圖模塊254可用于根據(jù)用戶指令接收、顯示、修改和存儲地圖以及與地圖相關聯(lián)的數(shù)據(jù)(例如，駕駛方向、與特定位置處或附近的商店及其他興趣點有關的數(shù)據(jù)，以及其他基于位置的數(shù)據(jù))。結合觸摸屏212、顯示控制器256、接觸/運動模塊230、圖形模塊232、音頻電路210、揚聲器211、RF電路208、文本輸入模塊234、電子郵件客戶端模塊240和瀏覽器模塊247，在線視頻模塊255包括指令，該指令允許用戶訪問、瀏覽、接收(例如，通過流式傳輸和/或下載)、回放(例如在觸摸屏上或在經由外部端口224所連接的外部顯示器上)、發(fā)送具有至特定在線視頻的鏈接的電子郵件，以及以其他方式管理一種或多種文件格式諸如H.264的在線視頻。在一些實施方案中，即時消息模塊241而不是電子郵件客戶端模塊240用于發(fā)送至特定在線視頻的鏈接。在線視頻應用程序的附加描述可在于2007年6月20日提交的標題為“PortableMultifunctionDevice,Method,andGraphicalUserInterfaceforPlayingOnlineVideos”的美國臨時專利申請No.60/936,562、和于2007年12月31日提交的標題為“PortableMultifunctionDevice,Method,andGraphicalUserInterfaceforPlayingOnlineVideos”的美國專利申請No.11/968,067中找到，這兩個專利申請的內容據(jù)此全文以引用方式并入本文。上述每個模塊和應用程序對應于用于執(zhí)行上述一種或多種功能以及在本專利申請中所述的方法(例如，本文所述的計算機實現(xiàn)的方法和其他信息處理方法)的可執(zhí)行指令集。這些模塊(例如，指令集)不必被實現(xiàn)為獨立的軟件程序、過程或模塊，并因此在各種實施方案中可組合或以其他方式重新布置這些模塊的各種子集。例如，視頻播放器模塊可與音樂播放器模塊組合成單個模塊(例如，圖2A中的視頻和音樂播放器模塊252)。在一些實施方案中，存儲器202可存儲上述模塊和數(shù)據(jù)結構的子集。此外，存儲器202可存儲上文沒有描述的附加模塊和數(shù)據(jù)結構。在一些實施方案中，設備200是唯一地通過觸摸屏和/或觸摸板來執(zhí)行設備上的預定義的一組功能的操作的設備。通過使用觸摸屏和/或觸摸板作為用于設備200的操作的主要輸入控制設備，可減少設備200上的物理輸入控制設備(諸如下壓按鈕、撥號盤等)的數(shù)量。預定義的一組唯一地通過觸摸屏和/或觸摸板執(zhí)行的功能任選地包括在用戶界面之間的導航。在一些實施方案中，觸摸板在被用戶觸摸時將設備200從被顯示在設備200上的任何用戶界面導航到主菜單、home菜單或根菜單。在此類實施方案中，使用觸摸板來實現(xiàn)“菜單按鈕”。在一些其他實施方案中，菜單按鈕是物理下壓按鈕或者其他物理輸入控制設備，而不是觸摸板。圖2B是示出根據(jù)一些實施方案的用于事件處理的示例性部件的框圖。在一些實施方案中，存儲器202(圖2A)或存儲器470(圖4)包括事件分類器270(例如，在操作系統(tǒng)226中)以及相應的應用程序236-1(例如，前述應用程序237-251、255、480-490中的任一個應用程序)。事件分類器270接收事件信息并確定要將事件信息遞送到的應用程序236-1和應用程序236-1的應用程序視圖291。事件分類器270包括事件監(jiān)視器271和事件分配器模塊274。在一些實施方案中，應用程序236-1包括應用程序內部狀態(tài)292，該應用程序內部狀態(tài)指示當應用程序是活動的或正在執(zhí)行時被顯示在觸敏顯示器212上的一個或多個當前應用程序視圖。在一些實施方案中，設備/全局內部狀態(tài)257被事件分類器270用于確定哪個(哪些)應用程序當前是活動的，并且應用程序內部狀態(tài)292被事件分類器270用于確定要將事件信息遞送到的應用程序視圖291。在一些實施方案中，應用程序內部狀態(tài)292包括附加信息，諸如以下各項中的一者或多者：當應用程序236-1恢復執(zhí)行時將被使用的恢復信息、指示正被應用程序236-1顯示的信息或準備好用于被該應用程序顯示的信息的用戶界面狀態(tài)信息、用于使得用戶能夠返回到應用程序236-1的前一狀態(tài)或視圖的狀態(tài)隊列以及用戶采取的先前動作的重復/撤銷隊列。事件監(jiān)視器271從外圍設備接口218接收事件信息。事件信息包括關于子事件(例如，作為多點觸摸手勢的一部分的觸敏顯示器212上的用戶觸摸)的信息。外圍設備接口218傳輸其從I/O子系統(tǒng)206或傳感器(諸如接近傳感器266、一個或多個加速度計268和/或麥克風213(通過音頻電路210))所接收的信息。外圍設備接口218從I/O子系統(tǒng)206所接收的信息包括來自觸敏顯示器212或觸敏表面的信息。在一些實施方案中，事件監(jiān)視器271以預先確定的間隔將請求發(fā)送至外圍設備接口218。作為響應，外圍設備接口218傳輸事件信息。在其他實施方案中，外圍設備接口218僅當存在顯著事件(例如，接收到高于預先確定的噪聲閾值的輸入和/或接收到超過預先確定的持續(xù)時間的輸入)時才傳輸事件信息。在一些實施方案中，事件分類器270還包括命中視圖確定模塊272和/或活動事件識別器確定模塊273。當觸敏顯示器212顯示多于一個視圖時，命中視圖確定模塊272提供用于確定子事件已在一個或多個視圖內的什么地方發(fā)生的軟件過程。視圖由用戶能在顯示器上看到的控件和其他元件構成。與應用程序相關聯(lián)的用戶界面的另一方面是一組視圖，本文中有時也稱為應用程序視圖或用戶界面窗口，在其中顯示信息并且發(fā)生基于觸摸的手勢。在其中檢測到觸摸的(相應應用程序的)應用程序視圖可對應于應用程序的程序化或視圖分級結構內的程序化水平。例如，在其中檢測到觸摸的最低水平視圖任選地被叫做命中視圖，并且被識別為正確輸入的那組事件至少部分地基于開始基于觸摸的手勢的初始觸摸的命中視圖來確定。命中視圖確定模塊272接收與基于觸摸的手勢的子事件相關的信息。當應用程序具有在分級結構中組織的多個視圖時，命中視圖確定模塊272將命中視圖識別為應對子事件進行處理的分級結構中的最低視圖。在大多數(shù)情況下，命中視圖是發(fā)起子事件(例如，形成事件或潛在事件的子事件序列中的第一子事件)在其中發(fā)生的最低水平視圖。一旦命中視圖被命中視圖確定模塊272識別，命中視圖通常接收與其被識別為命中視圖所針對的同一觸摸或輸入源相關的所有子事件?；顒邮录R別器確定模塊273確定視圖分級結構內的哪個或哪些視圖應接收特定子事件序列。在一些實施方案中，活動事件識別器確定模塊273確定僅命中視圖應接收特定子事件序列。在其他實施方案中，活動事件識別器確定模塊273確定包括子事件的物理位置的所有視圖是活躍參與的視圖，并且因此確定所有活躍參與的視圖應接收特定子事件序列。在其他實施方案中，即使觸摸子事件完全被局限到與一個特定視圖相關聯(lián)的區(qū)域，但是分級結構中的更高的視圖將仍然保持為活躍參與的視圖。事件分配器模塊274將事件信息分配到事件識別器(例如，事件識別器280)。在包括活動事件識別器確定模塊273的實施方案中，事件分配器模塊274將事件信息遞送到由活動事件識別器確定模塊273確定的事件識別器。在一些實施方案中，事件分配器模塊274在事件隊列中存儲事件信息，該事件信息由相應事件接收器282進行檢索。在一些實施方案中，操作系統(tǒng)226包括事件分類器270。作為另外一種選擇，應用程序236-1包括事件分類器270。在另一個實施方案中，事件分類器270是獨立的模塊，或者是被存儲在存儲器202中的另一模塊(諸如接觸/運動模塊230)的一部分。在一些實施方案中，應用程序236-1包括多個事件處理程序290和一個或多個應用程序視圖291，其中每個應用程序視圖包括用于處理發(fā)生在應用程序的用戶界面的相應視圖內的觸摸事件的指令。應用程序236-1的每個應用程序視圖291包括一個或多個事件識別器280。通常，相應應用程序視圖291包括多個事件識別器280。在其他實施方案中，事件識別器280中的一個或多個是獨立模塊的一部分，該獨立模塊諸如是用戶界面工具包(未示出)或應用程序236-1從中繼承方法和其他屬性的更高水平的對象。在一些實施方案中，相應事件處理程序290包括以下各項中的一者或多者：數(shù)據(jù)更新器276、對象更新器277、GUI更新器278和/或從事件分類器270所接收的事件數(shù)據(jù)279。事件處理程序290可利用或調用數(shù)據(jù)更新器276、對象更新器277或GUI更新器278，以更新應用程序內部狀態(tài)292。作為另外一種選擇，應用程序視圖291中的一個或多個應用程序視圖包括一個或多個相應事件處理程序290。另外，在一些實施方案中，數(shù)據(jù)更新器276、對象更新器277和GUI更新器278中的一者或多者被包括在相應應用程序視圖291中。相應的事件識別器280從事件分類器270接收事件信息(例如，事件數(shù)據(jù)279)，并且從事件信息識別事件。事件識別器280包括事件接收器282和事件比較器284。在一些實施方案中，事件識別器280還至少包括以下各項的子集：元數(shù)據(jù)283和事件遞送指令288(其可包括子事件遞送指令)。事件接收器282從事件分類器270接收事件信息。事件信息包括關于子事件的信息，例如觸摸或觸摸移動。根據(jù)子事件，事件信息還包括附加信息，諸如子事件的位置。當子事件涉及觸摸的運動時，事件信息還可包括子事件的速率和方向。在一些實施方案中，事件包括設備從一個取向旋轉到另一個取向(例如，從縱向取向旋轉到橫向取向，或反之亦然)，并且事件信息包括關于設備的當前取向(也被稱為設備姿態(tài))的對應信息。事件比較器284將事件信息與預定義的事件或子事件定義進行比較，并且基于比較結果，確定事件或子事件，或者確定或更新事件或子事件的狀態(tài)。在一些實施方案中，事件比較器284包括事件定義286。事件定義286包含事件的定義(例如，預定義的子事件序列)，例如事件1(287-1)、事件2(287-2)以及其他事件。在一些實施方案中，事件(287)中的子事件包括例如觸摸開始、觸摸結束、觸摸移動、觸摸取消和多點觸摸。在一個示例中，事件1(287-1)的定義是在被顯示對象上的雙擊。例如，雙擊包括在被顯示對象上的預先確定時長的第一次觸摸(觸摸開始)、預先確定時長的第一次抬起(觸摸結束)、在被顯示對象上的預先確定時長的第二次觸摸(觸摸開始)以及預先確定時長的第二次抬起(觸摸結束)。在另一個示例中，事件2(287-2)的定義是在被顯示對象上的拖動。例如，拖動包括在被顯示對象上的預先確定時長的觸摸(或接觸)、觸摸在觸敏顯示器212上的移動、以及觸摸的抬起(觸摸結束)。在一些實施方案中，事件還包括用于一個或多個相關聯(lián)的事件處理程序290的信息。在一些實施方案中，事件定義287包括用于相應用戶界面對象的事件的定義。在一些實施方案中，事件比較器284執(zhí)行命中測試以確定哪個用戶界面對象與子事件相關聯(lián)。例如，在觸敏顯示器212上顯示三個用戶界面對象的應用程序視圖中，當在觸敏顯示器212上檢測到觸摸時，事件比較器284執(zhí)行命中測試以確定這三個用戶界面對象中的哪一個用戶界面對象與該觸摸(子事件)相關聯(lián)。如果每個所顯示的對象與相應的事件處理程序290相關聯(lián)，則事件比較器使用該命中測試的結果來確定哪個事件處理程序290應當被激活。例如，事件比較器284選擇與子事件和觸發(fā)該命中測試的對象相關聯(lián)的事件處理程序。在一些實施方案中，相應事件(287)的定義還包括延遲動作，該延遲動作延遲事件信息的遞送，直到已確定子事件序列是否確實對應于或不對應于事件識別器的事件類型。當相應事件識別器280確定子事件序列不與事件定義286中的任何事件匹配時，該相應事件識別器280進入事件不可能、事件失敗或事件結束狀態(tài)，在此之后忽略基于觸摸的手勢的后續(xù)子事件。在這種情況下，對于命中視圖保持活動的其他事件識別器(如果有的話)繼續(xù)跟蹤和處理持續(xù)的基于觸摸的手勢的子事件。在一些實施方案中，相應事件識別器280包括具有用于指示事件遞送系統(tǒng)應該如何執(zhí)行對活躍參與的事件識別器的子事件遞送的可配置屬性、標記和/或列表的元數(shù)據(jù)283。在一些實施方案中，元數(shù)據(jù)283包括用于指示事件識別器彼此如何交互或可如何交互的可配置屬性、標志和/或列表。在一些實施方案中，元數(shù)據(jù)283包括用于指示子事件是否被遞送到視圖或程序化分級結構中的不同層級的可配置屬性、標記和/或列表。在一些實施方案中，當事件的一個或多個特定子事件被識別時，相應事件識別器280激活與事件相關聯(lián)的事件處理程序290。在一些實施方案中，相應事件識別器280將與該事件相關聯(lián)的事件信息遞送到事件處理程序290。激活事件處理程序290不同于將子事件發(fā)送(和延期發(fā)送)到相應的命中視圖。在一些實施方案中，事件識別器280拋出與所識別的事件相關聯(lián)的標記，并且與該標記相關聯(lián)的事件處理程序290獲取該標記并執(zhí)行預定義的過程。在一些實施方案中，事件遞送指令288包括遞送關于子事件的事件信息而不激活事件處理程序的子事件遞送指令。相反，子事件遞送指令將事件信息遞送到與子事件序列相關聯(lián)的事件處理程序或者遞送到活躍參與的視圖。與子事件序列或與活躍參與的視圖相關聯(lián)的事件處理程序接收事件信息并執(zhí)行預先確定的過程。在一些實施方案中，數(shù)據(jù)更新器276創(chuàng)建并更新在應用程序236-1中使用的數(shù)據(jù)。例如，數(shù)據(jù)更新器276對聯(lián)系人模塊237中所使用的電話號碼進行更新，或者對視頻播放器模塊中所使用的視頻文件進行存儲。在一些實施方案中，對象更新器277創(chuàng)建和更新在應用程序236-1中使用的對象。例如，對象更新器277創(chuàng)建新的用戶界面對象或更新用戶界面對象的位置。GUI更新器278更新GUI。例如，GUI更新器278準備顯示信息并將其發(fā)送至圖形模塊232以用于顯示在觸敏顯示器上。在一些實施方案中，一個或多個事件處理程序290包括數(shù)據(jù)更新器276、對象更新器277和GUI更新器278或者具有對該數(shù)據(jù)更新器、該對象更新器和該GUI更新器的訪問權限。在一些實施方案中，數(shù)據(jù)更新器276、對象更新器277和GUI更新器278被包括在相應應用程序236-1或應用程序視圖291的單個模塊中。在其他實施方案中，它們被包括在兩個或更多個軟件模塊中。應當理解，關于觸敏顯示器上的用戶觸摸的事件處理的上述討論還適用于利用輸入設備來操作多功能設備200的其他形式的用戶輸入，并不是所有用戶輸入都是在觸摸屏上發(fā)起的。例如，任選地與單次或多次鍵盤按壓或保持結合的鼠標移動和鼠標按鈕按壓；觸摸板上的接觸移動，諸如輕擊、拖動、滾動等；觸筆輸入；設備的移動；口頭指令；所檢測到的眼睛移動；生物特征輸入；和/或作為與子事件對應的輸入的用于定義要識別的事件其任意的組合。圖3示出了根據(jù)一些實施方案的具有觸摸屏212的便攜式多功能設備200。觸摸屏任選地在用戶界面(UI)300內顯示一個或多個圖形。在本實施方案中以及在下文中描述的其他實施方案中，用戶能夠通過例如利用一個或多個手指302(在附圖中沒有按比例繪制)或者一個或多個觸筆303(在附圖中沒有按比例繪制)在圖形上作出手勢來選擇這些圖形中的一個或多個圖形。在一些實施方案中，當用戶中斷與一個或多個圖形的接觸時，將發(fā)生對一個或多個圖形的選擇。在一些實施方案中，手勢任選地包括一次或多次輕擊、一次或多次輕掃(從左向右、從右向左、向上和/或向下)和/或已與設備200發(fā)生接觸的手指的滾動(從右向左、從左向右、向上和/或向下)。在一些具體實施中或在一些情況下，不經意地與圖形接觸不會選擇圖形。例如，當與選擇對應的手勢是輕擊時，在應用程序圖標上方掃動的輕掃手勢任選地不會選擇相應應用程序。設備200還可包括一個或多個物理按鈕，諸如“home”按鈕或菜單按鈕304。如前所述，菜單按鈕304可被用于導航到可在設備200上執(zhí)行的應用程序集中的任何應用程序236。作為另外一種選擇，在一些實施方案中，菜單按鈕被實現(xiàn)為被顯示在觸摸屏212上的GUI中的軟鍵。在一個實施方案中，設備200包括觸摸屏212、菜單按鈕304、用于使設備開機/關機和用于鎖定設備的下壓按鈕306、一個或多個音量調節(jié)按鈕308、用戶身份模塊(SIM)卡槽310、耳麥插孔312和對接/充電外部端口224。下壓按鈕306被任選地用于：通過按下按鈕并使按鈕在下壓狀態(tài)保持預先確定的時間間隔來使設備通電/斷電；通過按下按鈕并在經過預先確定的時間間隔之前釋放按鈕來鎖定設備；和/或對設備進行解鎖或發(fā)起解鎖過程。在另選的實施方案中，設備200還通過麥克風213來接受用于激活或去激活某些功能的言語輸入。設備200還任選地包括用于檢測觸摸屏212上的接觸的強度的一個或多個接觸強度傳感器265，和/或用于為設備200的用戶生成觸覺輸出的一個或多個觸覺輸出發(fā)生器267。圖4是根據(jù)一些實施方案的具有顯示器和觸敏表面的示例性多功能設備的框圖。設備400不必是便攜式的。在一些實施方案中，設備400是膝上型計算機、臺式計算機、平板電腦、多媒體播放器設備、導航設備、教育設備(諸如兒童學習玩具)、游戲系統(tǒng)或控制設備(例如，家用控制器或工業(yè)用控制器)。設備400通常包括一個或多個處理單元(CPU)410、一個或多個網絡或其他通信接口460、存儲器470和用于使這些部件互連的一個或多個通信總線420。通信總線420任選地包括使系統(tǒng)部件互連并且控制系統(tǒng)部件之間的通信的電路系統(tǒng)(有時叫做芯片組)。設備400包括具有顯示器440的輸入/輸出(I/O)接口430，該顯示器通常是觸摸屏顯示器。I/O接口430還任選地包括鍵盤和/或鼠標(或其他指向設備)450和觸摸板455、用于在設備400上生成觸覺輸出的觸覺輸出發(fā)生器457(例如，類似于以上參考圖2A所述的一個或多個觸覺輸出發(fā)生器267)、傳感器459(例如，光學傳感器、加速度傳感器、接近傳感器、觸敏傳感器和/或類似于以上參考圖2A所述的一個或多個接觸強度傳感器265的接觸強度傳感器)。存儲器470包括高速隨機存取存儲器諸如DRAM、SRAM、DDRRAM或其他隨機存取固態(tài)存儲器設備，并且任選地包括非易失性存儲器諸如一個或多個磁盤存儲設備、光盤存儲設備、閃存存儲器設備或其他非易失性固態(tài)存儲設備。存儲器470任選地包括遠離一個或多個CPU410定位的一個或多個存儲設備。在一些實施方案中，存儲器470存儲與便攜式多功能設備200(圖2A)的存儲器202中所存儲的程序、模塊和數(shù)據(jù)結構類似的程序、模塊以及數(shù)據(jù)結構，或者它們的子集。此外，存儲器470任選地存儲在便攜式多功能設備200的存儲器202中不存在的附加程序、模塊和數(shù)據(jù)結構。例如，設備400的存儲器470任選地存儲繪圖模塊480、呈現(xiàn)模塊482、文字處理模塊484、網站創(chuàng)建模塊486、盤編輯模塊488和/或電子表格模塊490，而便攜式多功能設備200(圖2A)的存儲器202任選地不存儲這些模塊。圖4中的上述元件中的每個元件可被存儲在一個或多個前面提到的存儲器設備中。上述模塊中的每個模塊對應于用于執(zhí)行上述功能的指令集。上述模塊或程序(例如，指令集)不必被實現(xiàn)為單獨的軟件程序、過程或模塊，并且因此這些模塊的各種子集可在各種實施方案中被組合或以其他方式重新布置。在一些實施方案中，存儲器470可存儲上述模塊和數(shù)據(jù)結構的子集。此外，存儲器470可存儲上文沒有描述的附加模塊和數(shù)據(jù)結構?，F(xiàn)在將注意力轉到可在例如便攜式多功能設備200上實現(xiàn)的用戶界面的實施方案。圖5A示出了根據(jù)一些實施方案的便攜式多功能設備200上的應用程序菜單的示例性用戶界面。類似的用戶界面可在設備400上實現(xiàn)。在一些實施方案中，用戶界面500包括以下元素或者其子集或超集：·一個或多個無線通信(諸如蜂窩信號和Wi-Fi信號)的一個或多個信號強度指示符502；·時間504；·藍牙指示符505；·電池狀態(tài)指示符506；·具有常用應用程序的圖標的托盤508，該圖標諸如：o電話模塊238的被標記為“電話”的圖標516，該圖標任選地包括未接來電或語音留言的數(shù)量的指示符514；o電子郵件客戶端模塊240的被標記為“郵件”的圖標518，該圖標任選地包括未讀電子郵件的數(shù)量的指示符510；o瀏覽器模塊247的被標記為“瀏覽器”的圖標520；和o視頻和音樂播放器模塊252(也稱為iPod(AppleInc.的商標)模塊252)的被標記為“iPod”的圖標522；以及·其他應用程序的圖標，諸如：oIM模塊241的被標記為“消息”的圖標524；o日歷模塊248的被標記為“日歷”的圖標526；o圖像管理模塊244的被標記為“照片”的圖標528；o相機模塊243的被標記為“相機”的圖標530；o在線視頻模塊255的被標記為“在線視頻”的圖標532；o股市桌面小程序249-2的被標記為“股市”的圖標534；o地圖模塊254的被標記為“地圖”的圖標536；o天氣桌面小程序249-1的被標記為“天氣”的圖標538；o鬧鐘桌面小程序249-4的被標記為“時鐘”的圖標540；o健身支持模塊242的被標記為“健身支持”的圖標542；o記事本模塊253的被標記為“記事本”的圖標544；和o用于設置應用程序或模塊的被標記為“設置”的圖標546，該圖標提供對設備200及其各種應用程序236的設置的訪問。應當指示的是，圖5A中示出的圖標標簽僅是示例性的。例如，視頻和音樂播放器模塊252的圖標522可任選地被標記為“音樂”或“音樂播放器”。其他標簽任選地用于各種應用程序圖標。在一些實施方案中，相應應用程序圖標的標簽包括與該相應應用程序圖標對應的應用程序的名稱。在一些實施方案中，特定應用程序圖標的標簽不同于與該特定應用程序圖標對應的應用程序的名稱。圖5B示出了具有與顯示器550(例如，觸摸屏顯示器212)分開的觸敏表面551(例如，圖4的平板電腦或觸摸板455)的設備(例如，圖4的設備400)上的示例性用戶界面。設備400還任選地包括用于檢測觸敏表面551上的接觸的強度的一個或多個接觸強度傳感器(例如，傳感器457中的一個或多個傳感器)，和/或用于為設備400的用戶生成觸覺輸出的一個或多個觸覺輸出發(fā)生器459。盡管將參考觸摸屏顯示器212(其中組合了觸敏表面和顯示器)上的輸入給出隨后的示例中的一些示例，但是在一些實施方案中，設備檢測與顯示器分開的觸敏表面上的輸入，如圖5B中所示。在一些實施方案中，觸敏表面(例如，圖5B中的551)具有與顯示器(例如，550)上的主軸(例如，圖5B中的553)對應的主軸(例如，圖5B中的552)。根據(jù)這些實施方案，設備檢測在與顯示器上的相應位置對應的位置(例如，在圖5B中，560對應于568并且562對應于570)處與觸敏表面551的接觸(例如，圖5B中的560和562)。這樣，在觸敏表面(例如，圖5B中的551)與多功能設備的顯示器(圖5B中的550)分開時，由設備在觸敏表面上檢測到的用戶輸入(例如，接觸560和562以及它們的移動)被該設備用于操控顯示器上的用戶界面。應當理解，類似的方法任選地用于本文所述的其它用戶界面。另外，雖然主要是參考手指輸入(例如，手指接觸、單指輕擊手勢、手指輕掃手勢)來給出下面的示例，但是應當理解的是，在一些實施方案中，這些手指輸入中的一個或多個手指輸入由來自另一輸入設備的輸入(例如，基于鼠標的輸入或觸筆輸入)替代。例如，輕掃手勢任選地由鼠標點擊(例如，而不是接觸)，之后是光標沿著輕掃的路徑的移動(例如，而不是接觸的移動)來替代。又如，輕擊手勢任選地由在光標位于輕擊手勢的位置上方時的鼠標點擊(例如，而不是對接觸的檢測，之后是終止檢測接觸)來替代。類似地，當同時檢測到多個用戶輸入時，應當理解的是，多個計算機鼠標任選地被同時使用，或一個鼠標和多個手指接觸任選地被同時使用。圖6A示出了示例性個人電子設備600。設備600包括主體602。在一些實施方案中，設備600可包括針對設備200和400(例如，圖2A至圖4B)所述的特征中的一些或全部特征。在一些實施方案中，設備600具有在下文中稱為觸摸屏604的觸敏顯示屏604。作為觸摸屏604的替代或補充，設備600具有顯示器和觸敏表面。與設備200和400的情況一樣，在一些實施方案中，觸摸屏604(或觸敏表面)可具有用于檢測所施加的接觸(例如，觸摸)的強度的一個或多個強度傳感器。觸摸屏604(或觸敏表面)的一個或多個強度傳感器可提供表示觸摸的強度的輸出數(shù)據(jù)。設備600的用戶界面可基于觸摸強度來對觸摸作出響應，這意味著不同強度的觸摸可調用設備600上的不同的用戶界面操作。例如，可在如下相關專利申請中找到用于檢測和處理觸摸強度的技術：于2013年5月8日提交的標題為“Device,Method,andGraphicalUserInterfaceforDisplayingUserInterfaceObjectsCorrespondingtoanApplication”的國際專利申請No.PCT/US2013/040061，以及于2013年11月11日提交的標題為“Device,Method,andGraphicalUserInterfaceforTransitioningBetweenTouchInputtoDisplayOutputRelationships”的國際專利申請No.PCT/US2013/069483，這兩個專利申請中的每個專利申請據(jù)此全文以引用方式并入本文。在一些實施方案中，設備600具有一個或多個輸入機構606和608。輸入機構606和608(如果包括的話)可以是物理形式的。物理輸入機構的示例包括下壓按鈕和可旋轉機構。在一些實施方案中，設備600具有一個或多個附接機構。此類附接機構(如果包括的話)可允許將設備600與例如帽子、眼鏡、耳環(huán)、項鏈、襯衣、夾克、手鐲、表帶、手鏈、褲子、皮帶、鞋子、錢包、背包等附接。這些附接機構可允許用戶穿戴設備600。圖6B示出了示例性個人電子設備600。在一些實施方案中，設備600可包括參考圖2A、圖2B和圖4所述的部件中的一些或全部部件。設備600具有總線612，該總線將I/O部分614與一個或多個計算機處理器616和存儲器618操作性地耦接。I/O部分614可連接到顯示器604，該顯示器可具有觸敏部件622，并且任選地還具有觸摸強度敏感部件624。此外，I/O部分614可與通信單元630連接，以用于使用Wi-Fi、藍牙、近場通信(NFC)、蜂窩和/或其他無線通信技術來接收應用程序和操作系統(tǒng)數(shù)據(jù)。設備600可包括輸入機構606和/或608。例如，輸入機構606可以是可旋轉輸入設備或者可按壓輸入設備以及可旋轉輸入設備。在一些示例中，輸入機構608可以是按鈕。在一些示例中，輸入機構608可以是麥克風。個人電子設備600可包括各種傳感器，諸如GPS傳感器632、加速度計634、定向傳感器640(例如，羅盤)、陀螺儀636、運動傳感器638和/或其組合，所有這些設備均可操作性連接到I/O部分614。個人電子設備600的存儲器618可以是用于存儲計算機可執(zhí)行指令的非暫態(tài)計算機可讀存儲介質，該計算機可執(zhí)行指令在由一個或多個計算機處理器616執(zhí)行時例如可使得計算機處理器執(zhí)行下文描述的技術，包括過程800(圖8)。該計算機可執(zhí)行指令也可在任何非暫態(tài)計算機可讀存儲介質內進行存儲和/或傳送，以供指令執(zhí)行系統(tǒng)、裝置或設備諸如基于計算機的系統(tǒng)、包含處理器的系統(tǒng)或可從指令執(zhí)行系統(tǒng)、裝置或設備獲取指令并執(zhí)行指令的其他系統(tǒng)使用或與其結合。對于本文的目的而言，“非暫態(tài)計算機可讀存儲介質”可以是可有形地包含或存儲計算機可執(zhí)行指令以供指令執(zhí)行系統(tǒng)、裝置和設備使用或與其結合的任何介質。非暫態(tài)計算機可讀存儲介質可包括但不限于磁存儲裝置、光學存儲裝置和/或半導體存儲裝置。這種存儲器的實例包括磁盤、基于光盤的CD、DVD或Blu-ray技術，以及持久性固態(tài)存儲器諸如閃存和固態(tài)驅動器。個人電子設備600不限于圖6B的部件和配置，而是可包括多種配置中的其他部件或附加部件。如本文所用，術語“示能表示”是指可在設備200、設備400和/或設備600(圖2、圖4和圖6)的顯示屏上顯示的用戶交互式圖形用戶界面對象。例如，圖像(例如，圖標)、按鈕和文本(例如，超級鏈接)可各自構成示能表示。如本文所用，術語“焦點選擇器”是指用于指示用戶正與之進行交互的用戶界面的當前部分的輸入元件。在包括光標或其他位置標記的一些具體實施中，光標充當“焦點選擇器”，使得當光標在特定用戶界面元素(例如，按鈕、窗口、滑塊或其他用戶界面元素)上方時在觸敏表面(例如，圖4中的觸摸板455或圖5B中的觸敏表面551)上檢測到輸入(例如，按壓輸入)的情況下，該特定用戶界面元素根據(jù)所檢測到的輸入而被調節(jié)。在包括能夠實現(xiàn)與觸摸屏顯示器上的用戶界面元素的直接交互的觸摸屏顯示器(例如，圖2A中的觸敏顯示器系統(tǒng)212或圖5A中的觸摸屏212)的一些具體實施中，觸摸屏上的所檢測到的接觸充當“焦點選擇器”，使得當在觸摸屏顯示器上在特定用戶界面元素(例如，按鈕、窗口、滑塊或其他用戶界面元素)的位置處檢測到輸入(例如，由接觸進行的按壓輸入)時，該特定用戶界面元素根據(jù)所檢測到的輸入而被調節(jié)。在一些具體實施中，焦點從用戶界面的一個區(qū)域移動到用戶界面的另一個區(qū)域，而無需光標的對應移動或觸摸屏顯示器上的接觸的移動(例如，通過使用制表鍵或箭頭鍵將焦點從一個按鈕移動到另一個按鈕)；在這些具體實施中，焦點選擇器根據(jù)用戶界面的不同區(qū)域之間的焦點移動而移動。不考慮焦點選擇器所采取的具體形式，焦點選擇器通常是由用戶控制的以便遞送與用戶界面的用戶預期的交互(例如，通過向設備指示用戶界面的用戶期望與其進行交互的元素)的用戶界面元素(或觸摸屏顯示器上的接觸)。例如，在觸敏表面(例如，觸摸板或觸摸屏)上檢測到按壓輸入時，焦點選擇器(例如，光標、接觸或選擇框)在相應按鈕上方的位置將指示用戶期望激活相應按鈕(而不是設備顯示器上示出的其他用戶界面元素)。如說明書和權利要求中所使用的，接觸的“特征強度”這一術語是指基于接觸的一個或多個強度的接觸的特征。在一些實施方案中，特征強度基于多個強度樣本。特征強度任選地基于相對于預定義事件(例如，在檢測到接觸之后，在檢測到接觸抬起之前，在檢測到接觸開始移動之前或之后，在檢測到接觸結束之前，在檢測到接觸的強度增大之前或之后和/或在檢測到接觸的強度減小之前或之后)而言在預先確定的時間段(例如，0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒、10秒)期間采集的預定義數(shù)量的強度樣本或一組強度樣本。接觸的特征強度任選地基于以下各項中的一者或多者：接觸強度的最大值、接觸強度的均值、接觸強度的平均值、接觸強度的前10％處的值、接觸強度的半最大值、接觸強度的90％最大值等。在一些實施方案中，在確定特征強度時使用接觸的持續(xù)時間(例如，在特征強度是接觸的強度在時間上的平均值時)。在一些實施方案中，將特征強度與一組一個或多個強度閾值進行比較，以確定用戶是否已執(zhí)行操作。例如，該組一個或多個強度閾值可包括第一強度閾值和第二強度閾值。在本示例中，特征強度未超過第一閾值的接觸導致第一操作，特征強度超過第一強度閾值但未超過第二強度閾值的接觸導致第二操作，并且特征強度超過第二閾值的接觸導致第三操作。在一些實施方案中，使用特征強度與一個或多個閾值之間的比較來確定是否要執(zhí)行一個或多個操作(例如，是執(zhí)行相應操作還是放棄執(zhí)行相應操作)，而不是用于確定執(zhí)行第一操作還是第二操作。在一些實施方案中，識別手勢的一部分以用于確定特征強度。例如，觸敏表面可接收連續(xù)的輕掃接觸，該連續(xù)的輕掃接觸從起始位置過渡并到達結束位置，在該結束位置處，接觸的強度增加。在該示例中，接觸在結束位置處的特征強度可僅基于連續(xù)輕掃接觸的一部分，而不是整個輕掃接觸(例如，僅結束位置處的輕掃接觸的一部分)。在一些實施方案中，可在確定接觸的特征強度之前向輕掃手勢的強度應用平滑化算法。例如，該平滑化算法任選地包括以下各項中的一者或多者：不加權滑動平均平滑化算法、三角平滑化算法、中值濾波器平滑化算法和/或指數(shù)平滑化算法。在一些情況下，這些平滑化算法消除了輕掃接觸的強度中的窄的尖峰或凹陷，以實現(xiàn)確定特征強度的目的?？上鄬τ谝粋€或多個強度閾值諸如接觸檢測強度閾值、輕按壓強度閾值、深按壓強度閾值和/或一個或多個其他強度閾值來表征觸敏表面上的接觸的強度。在一些實施方案中，輕按壓強度閾值對應于這樣的強度：在該強度下設備將執(zhí)行通常與點擊物理鼠標或觸控板的按鈕相關聯(lián)的操作。在一些實施方案中，深按壓強度閾值對應于這樣的強度：在該強度下設備將執(zhí)行與通常與點擊物理鼠標或觸控板的按鈕相關聯(lián)的操作不同的操作。在一些實施方案中，當檢測到特征強度低于輕按壓強度閾值(例如，并且高于標稱接觸檢測強度閾值，比該閾值低的接觸不再被檢測到)的接觸時，設備將根據(jù)接觸在觸敏表面上的移動來移動焦點選擇器，而無需執(zhí)行與輕按壓強度閾值或深按壓強度閾值相關聯(lián)的操作。一般來講，除非另有陳述，否則這些強度閾值在不同組的用戶界面附圖之間是一致的。接觸特征強度從低于輕按壓強度閾值的強度增大到介于輕按壓強度閾值與深按壓強度閾值之間的強度有時被稱為“輕按壓”輸入。接觸特征強度從低于深按壓強度閾值的強度增大到高于深按壓強度閾值的強度有時被稱為“深按壓”輸入。接觸特征強度從低于接觸檢測強度閾值的強度增大到介于接觸檢測強度閾值與輕按壓強度閾值之間的強度有時被稱為檢測到觸摸表面上的接觸。接觸特征強度從高于接觸檢測強度閾值的強度減小到低于接觸檢測強度閾值的強度有時被稱為檢測到接觸從觸摸表面抬起。在一些實施方案中，接觸檢測強度閾值為零。在一些實施方案中，接觸檢測強度閾值大于零。在本文中所述的一些實施方案中，響應于檢測到包括相應按壓輸入的手勢或響應于檢測到利用相應接觸(或多個接觸)執(zhí)行的相應按壓輸入來執(zhí)行一個或多個操作，其中至少部分地基于檢測到該接觸(或多個接觸)的強度增大到高于按壓輸入強度閾值而檢測到相應按壓輸入。在一些實施方案中，響應于檢測到相應接觸的強度增大到高于按壓輸入強度閾值(例如，相應按壓輸入的“向下沖程”)來執(zhí)行相應操作。在一些實施方案中，按壓輸入包括相應接觸的強度增大到高于按壓輸入強度閾值以及該接觸的強度隨后減小到低于按壓輸入強度閾值，并且響應于檢測到相應接觸的強度隨后減小到低于按壓輸入閾值(例如，相應按壓輸入的“向上沖程”)來執(zhí)行相應操作。在一些實施方案中，設備采用強度滯后以避免有時稱為“抖動”的意外輸入，其中設備限定或選擇與按壓輸入強度閾值具有預定義關系的滯后強度閾值(例如，滯后強度閾值比按壓輸入強度閾值低X個強度單位，或滯后強度閾值是按壓輸入強度閾值的75％、90％或某個合理比例)。因此，在一些實施方案中，按壓輸入包括相應接觸的強度增大到高于按壓輸入強度閾值以及該接觸的強度隨后減小到低于對應于按壓輸入強度閾值的滯后強度閾值，并且響應于檢測到相應接觸的強度隨后減小到低于滯后強度閾值(例如，相應按壓輸入的“向上沖程”)來執(zhí)行相應操作。類似地，在一些實施方案中，僅在設備檢測到接觸的強度從等于或低于滯后強度閾值的強度增大到等于或高于按壓輸入強度閾值的強度并且任選地接觸的強度隨后減小到等于或低于滯后強度的強度時才檢測到按壓輸入，并且響應于檢測到按壓輸入(例如，根據(jù)環(huán)境，接觸的強度增大或接觸的強度減小)來執(zhí)行相應操作。為了容易解釋，任選地，響應于檢測到以下各種情況中的任一種情況而觸發(fā)對響應于與按壓輸入強度閾值相關聯(lián)的按壓輸入或響應于包括按壓輸入的手勢而執(zhí)行的操作的描述：接觸的強度增大到高于按壓輸入強度閾值、接觸的強度從低于滯后強度閾值的強度增大到高于按壓輸入強度閾值的強度、接觸的強度減小到低于按壓輸入強度閾值、和/或接觸的強度減小到低于與按壓輸入強度閾值對應的滯后強度閾值。另外，在將操作描述為響應于檢測到接觸的強度減小到低于按壓輸入強度閾值而執(zhí)行的示例中，任選地響應于檢測到接觸的強度減小到低于對應于并且小于按壓輸入強度閾值的滯后強度閾值來執(zhí)行操作。3.數(shù)字助理系統(tǒng)圖7A示出根據(jù)各種示例的數(shù)字助理系統(tǒng)700的框圖。在一些示例中，數(shù)字助理系統(tǒng)700可在獨立式計算機系統(tǒng)上實現(xiàn)。在一些示例中，數(shù)字助理系統(tǒng)700可跨多個計算機分布。在一些示例中，數(shù)字助理的模塊和功能中的一些可被劃分成服務器部分和客戶端部分，其中客戶端部分位于一個或多個用戶設備(例如，設備104、設備122、設備200、設備400或設備600)上并通過一個或多個網絡與服務器部分(例如，服務器系統(tǒng)108)通信，例如，如圖1中所示。在一些示例中，數(shù)字助理系統(tǒng)700可以是圖1中所示的服務器系統(tǒng)108(和/或DA服務器106)的具體實施。應當指出，數(shù)字助理系統(tǒng)700僅為數(shù)字助理系統(tǒng)的一個示例，且該數(shù)字助理系統(tǒng)700可具有比所示更多或更少的部件、可組合兩個或更多個部件，或者可具有部件的不同配置或布局。圖7A中所示的各種部件可在硬件、用于由一個或多個處理器執(zhí)行的軟件指令、固件(包括一個或多個信號處理集成電路和/或專用集成電路)或者它們的組合中實現(xiàn)。數(shù)字助理系統(tǒng)700可包括存儲器702、一個或多個處理器704、輸入/輸出(I/O)接口706以及網絡通信接口708。這些部件可通過一條或多條通信總線或者信號線710彼此通信。在一些示例中，存儲器702可包括非暫態(tài)計算機可讀介質，諸如高速隨機存取存儲器和/或非易失性計算機可讀存儲介質(例如，一個或多個磁盤存儲設備、閃存存儲器設備或其他非易失性固態(tài)存儲器設備)。在一些示例中，I/O接口706可將數(shù)字助理系統(tǒng)700的輸入/輸出設備716諸如顯示器、鍵盤、觸摸屏和麥克風耦接至用戶界面模塊722。I/O接口706與用戶界面模塊722結合，可接收用戶輸入(例如，聲音輸入、鍵盤輸入、觸摸輸入等)并相應地對這些輸入進行處理。在一些示例中，例如，當數(shù)字助理在獨立式用戶設備上實現(xiàn)時，數(shù)字助理系統(tǒng)700可包括相對于圖2A、圖4、圖6A-B中各自的設備200、設備400或設備600所描述的部件和I/O通信接口中的任一者。在一些示例中，數(shù)字助理系統(tǒng)700可代表數(shù)字助理具體實施的服務器部分，并且可通過位于用戶設備(例如，設備104、設備200、設備400或設備600)上的客戶端側部分與用戶進行交互。在一些示例中，網絡通信接口708可包括一個或多個有線通信端口712，以及/或者無線傳輸和接收電路714。一個或多個有線通信端口可經由一個或多個有線接口例如以太網、通用串行總線(USB)、火線等接收和發(fā)送通信信號。無線電路714可從通信網絡及其他通信設備接收RF信號和/或光學信號以及將RF信號和/或光學信號發(fā)送至通信網絡及其他通信設備。無線通信可使用多種通信標準、協(xié)議和技術中的任一種，諸如GSM、EDGE、CDMA、TDMA、藍牙、Wi-Fi、VoIP、Wi-MAX或任何其他合適的通信協(xié)議。網絡通信接口708可使數(shù)字助理系統(tǒng)700通過網絡，諸如互聯(lián)網、內聯(lián)網以及/或者無線網絡諸如蜂窩電話網絡、無線局域網(LAN)和/或城域網(MAN)，與其他設備之間的通信成為可能。在一些示例中，存儲器702或存儲器702的計算機可讀存儲介質可存儲程序、模塊、指令和數(shù)據(jù)結構，包括以下內容中的全部或其子集：操作系統(tǒng)718、通信模塊720、用戶界面模塊722、一個或多個應用程序724和數(shù)字助理模塊726。具體而言，存儲器702或存儲器702的計算機可讀存儲介質可存儲用于執(zhí)行下文描述的過程800的指令。一個或多個處理器704可執(zhí)行這些程序、模塊和指令，并從數(shù)據(jù)結構讀取數(shù)據(jù)或將數(shù)據(jù)寫到數(shù)據(jù)結構。操作系統(tǒng)718(例如，Darwin、RTXC、LINUX、UNIX、iOS、OSX、WINDOWS或者嵌入式操作系統(tǒng)諸如VxWorks)可包括用于控制和管理一般系統(tǒng)任務(例如，存儲器管理、存儲設備控制、功率管理等)的各種軟件組件和/或驅動器，并且有利于各種硬件、固件與軟件部件之間的通信。通信模塊720可促進數(shù)字助理系統(tǒng)700與其他設備之間通過網絡通信接口708進行的通信。例如，通信模塊720可與電子設備的RF電路208通信，諸如，分別在圖2A、圖4、圖6A-B中示出的設備200、設備400和設備600。通信模塊720還可包括各種部件用于處理由無線電路714和/或有線通信端口712所接收的數(shù)據(jù)的各種部件。用戶界面模塊722可經由I/O接口706從用戶(例如，來自鍵盤、觸摸屏、指向設備、控制器和/或麥克風)接收命令和/或輸入，并在顯示器上生成用戶界面對象。用戶界面模塊722還可準備輸出(例如，語音、聲音、動畫、文本、圖標、振動、觸覺反饋、光照等)并將其經由I/O接口706(例如，通過顯示器、音頻通道、揚聲器和觸摸板等)傳送至用戶。應用程序724可包括被配置為由一個或多個處理器704執(zhí)行的程序和/或模塊。例如，如果數(shù)字助理系統(tǒng)在獨立式用戶設備上實現(xiàn)，則應用程序724可包括用戶應用程序，諸如游戲、日歷應用程序、導航應用程序或郵件應用程序。如果數(shù)字助理系統(tǒng)700在服務器上實現(xiàn)，則應用程序724可包括例如資源管理應用程序、診斷應用程序或調度應用程序。存儲器702還可存儲數(shù)字助理模塊726(或數(shù)字助理的服務器部分)。在一些示例中，數(shù)字助理模塊726可包括以下子模塊或者其子集或超集：輸入/輸出處理模塊728、語音轉文本(STT)處理模塊730、自然語言處理模塊732、對話流處理模塊734、任務流處理模塊736、服務處理模塊738和語音合成模塊740。這些模塊中的每一者均可具有對以下數(shù)字助理模塊726的系統(tǒng)或數(shù)據(jù)與模型中的一者或多者或者其子集或超集的訪問權限：知識本體760、詞匯索引744、用戶數(shù)據(jù)748、任務流模型754、服務模型756和ASR系統(tǒng)。在一些示例中，使用在數(shù)字助理模塊726中實現(xiàn)的處理模塊、數(shù)據(jù)和模型，數(shù)字助理可執(zhí)行以下內容中的至少一些：將語音輸入轉換成文本；識別從用戶接收的自然語言輸入中表達的用戶的意圖；主動引出并獲得充分推斷用戶意圖所需的信息(例如，通過消除字詞、游戲、意向等的歧義)；確定用于實現(xiàn)推斷出的意圖的任務流；以及執(zhí)行任務流以實現(xiàn)推斷出的意圖。在一些示例中，如圖7B中所示，I/O處理模塊728可通過圖7A中的I/O設備716與用戶交互或通過圖7A中的網絡通信接口708與用戶設備(例如，設備104、設備200、設備400或設備600)交互，以獲得用戶輸入(例如，語音輸入)并提供對用戶輸入的響應(例如，作為語音輸出)。I/O處理模塊728隨同接收到用戶輸入一起或在接收到用戶輸入之后不久可任選地獲得與來自用戶設備的用戶輸入相關聯(lián)的上下文信息。上下文信息可包括用戶特定的數(shù)據(jù)、詞匯和/或與用戶輸入相關的偏好。在一些示例中，上下文信息還包括在接收到用戶請求時用戶設備的軟件和硬件狀態(tài)，和/或與在接收到用戶請求時用戶周圍環(huán)境相關的信息。在一些示例中，I/O處理模塊728還可向用戶發(fā)送與用戶請求有關的跟進問題，并從用戶接收回答。在用戶請求被I/O處理模塊728接收且用戶請求可包括語音輸入時，I/O處理模塊728可將語音輸入轉發(fā)至STT處理模塊730(或語音識別器)以進行語音文本轉換。STT處理模塊730可包括一個或多個ASR系統(tǒng)。一個或多個ASR系統(tǒng)可處理通過I/O處理模塊728接收到的語音輸入，以產生識別結果。每個ASR系統(tǒng)可包括前端語音預處理器。前端語音預處理器可從語音輸入中提取代表性特征。例如，前端語音預處理器可對語音輸入執(zhí)行傅里葉變換，以提取表征語音輸入的光譜特征作為代表性多維向量的序列。此外，每個ASR系統(tǒng)可包括一個或多個語音識別模型(例如，聲音模型和/或語言模型)，并且可實現(xiàn)一個或多個語音識別引擎。語音識別模型的示例可包括隱馬爾可夫模型、高斯混合模型、深層神經網絡模型、n元語言模型以及其他統(tǒng)計模型。語音識別引擎的示例可包括基于動態(tài)時間規(guī)整的引擎和基于加權有限狀態(tài)變換器(WFST)的引擎。一個或多個語音識別模型和一個或多個語音識別引擎可用來處理前端語音預處理器的所提取的代表性特征，以產生中間識別結果(例如，音素、音素串和子字)，并且最終產生文本識別結果(例如，字詞、字詞串或符號的序列)。在一些示例中，語音輸入可至少部分地由第三方服務處理或在用戶的設備(例如，設備104、設備200、設備400或設備600)上處理，以產生識別結果。一旦STT處理模塊730產生包含文本串(例如，字詞，或字詞的序列，或符號的序列)的識別結果，識別結果即可被傳送至自然語言處理模塊732以供意圖推斷。有關語音轉文本處理的更多細節(jié)在提交于2011年9月20日的名為“ConsolidatingSpeechRecognitionResults”的美國實用新型專利申請序列號13/236,942中有所描述，其全部公開內容以引用方式并入本文。在一些示例中，STT處理模塊730可包括和/或經由語音字母轉換模塊731訪問可識別字詞的詞匯。每個詞匯字詞可與以語音識別語音字母表示的字詞的一個或多個候選發(fā)音相關聯(lián)。具體而言，可識別字詞的詞匯可包括與多個候選發(fā)音相關聯(lián)的字詞。例如，詞匯可包括與和的候選發(fā)音相關聯(lián)的字詞“番茄”。此外，詞匯字詞可與基于先前來自用戶的語音輸入的自定義候選發(fā)音相關聯(lián)。此類自定義候選發(fā)音可存儲在STT處理模塊730中，并且可經由設備上的用戶配置文件而與特定用戶相關聯(lián)。在一些示例中，字詞的候選發(fā)音可基于字詞的拼寫以及一個或多個語言學和/或語音學規(guī)則進行確定。在一些示例中，候選發(fā)音可手動生成，例如，基于已知的標準發(fā)音而手動生成。在一些示例中，候選發(fā)音可基于候選發(fā)音的普通性來排名。例如，候選發(fā)音可比排名更高，因為(例如，在所有用戶中，對于特定地理區(qū)域的用戶而言，或者對于任何其他合適的用戶子集而言)前者是更常用的發(fā)音。在一些示例中，候選發(fā)音可基于候選發(fā)音是不是與用戶相關聯(lián)的自定義候選發(fā)音來排名。例如，自定義候選發(fā)音可比標準候選發(fā)音排名更高。這可用于識別具有偏離標準發(fā)音的獨特發(fā)音的專有名詞。在一些示例中，候選發(fā)音可與一個或多個語音特征相關聯(lián)，諸如地理起源、國家或種族。例如，候選發(fā)音可與美國相關聯(lián)，而候選發(fā)音可與英國相關聯(lián)。此外，候選發(fā)音的排名可基于存儲在設備上的用戶配置文件中的用戶的一個或多個特征(例如，地理起源、國家、種族等)。例如，可從用戶配置文件確定用戶與美國相關聯(lián)。基于用戶與美國相關聯(lián)，候選發(fā)音(與美國相關聯(lián))可比候選發(fā)音(與英國相關聯(lián))排名更高。在一些示例中，排名的候選發(fā)音中的一個可被選作預測發(fā)音(例如，最可能的發(fā)音)。接收到語音輸入時，STT處理模塊730可被用來(例如，使用聲音模型)確定對應于語音輸入的音素，然后嘗試(例如，使用語言模型)確定匹配音素的字詞。例如，如果STT處理模塊730可首先識別對應于語音輸入的一部分的音素序列則它隨后可基于詞匯索引744確定該序列對應于字詞“番茄”。在一些示例中，STT處理模塊730可使用模糊匹配技術來確定話語中的字詞。因此，例如，STT處理模塊730可確定音素序列對應于字詞“番茄”，即使該特定音素序列不是該字詞的候選音素序列。數(shù)字助理的自然語言處理模塊732(“自然語言處理器”)可取得由STT處理模塊730生成的字詞或符號的序列(“符號序列”)，并嘗試將該符號序列與由數(shù)字助理所識別的一個或多個“可執(zhí)行意圖”相關聯(lián)?！翱蓤?zhí)行意圖”可表示可由數(shù)字助理執(zhí)行并且可具有在任務流模型754中實現(xiàn)的相關聯(lián)的任務流的任務。相關聯(lián)的任務流可以是數(shù)字助理為了執(zhí)行任務而采取的一系列經編程的動作和步驟。數(shù)字助理的能力范圍可取決于已在任務流模型754中實現(xiàn)并存儲的任務流的數(shù)量和種類，或換言之，取決于數(shù)字助理所識別的“可執(zhí)行意圖”的數(shù)量和種類。然而，數(shù)字助理的有效性還可取決于助理從以自然語言表達的用戶請求中推斷出正確的“一個或多個可執(zhí)行意圖”的能力。在一些示例中，除從STT處理模塊730獲得的字詞或符號的序列之外，自然語言處理器732還可(例如，從I/O處理模塊728)接收與用戶請求相關聯(lián)的上下文信息。自然語言處理模塊732可任選地使用上下文信息來明確、補充和/或進一步定義在從STT處理模塊730接收的符號序列中包含的信息。上下文信息可包括例如：用戶偏好，用戶設備的硬件和/或軟件狀態(tài)，在用戶請求之前、期間或之后不久收集的傳感器信息，數(shù)字助理與用戶之間的先前交互(例如，對話)等。如本文中所述，上下文信息可以是動態(tài)的，并且可隨對話的時間、位置、內容以及其他因素而變化。在一些示例中，自然語言處理可以是基于例如知識本體760進行的。知識本體760可以是包含許多節(jié)點的分級結構，每個節(jié)點表示“可執(zhí)行意圖”或者與“可執(zhí)行意圖”或其他“屬性”中的一者或多者相關的“屬性”。如上所述，“可執(zhí)行意圖”可表示數(shù)字助理能夠執(zhí)行的任務，即，該任務為“可執(zhí)行的”或可被進行的。“屬性”可表示與可執(zhí)行意圖或另一屬性的子方面相關聯(lián)的參數(shù)。知識本體760中的可執(zhí)行意圖節(jié)點與屬性節(jié)點之間的連接可定義由屬性節(jié)點表示的參數(shù)如何與由可執(zhí)行意圖節(jié)點表示的任務相關。在一些示例中，知識本體760可由可執(zhí)行意圖節(jié)點和屬性節(jié)點組成。在知識本體760內，每個可執(zhí)行意圖節(jié)點可直接連接至或通過一個或多個中間屬性節(jié)點連接至一個或多個屬性節(jié)點。類似地，每個屬性節(jié)點可直接連接至或通過一個或多個中間屬性節(jié)點連接至一個或多個可執(zhí)行意圖節(jié)點。例如，如圖7C所示，知識本體760可包括“餐廳預訂”節(jié)點(即，可執(zhí)行意圖節(jié)點)。屬性節(jié)點“餐廳”、“日期/時間”(針對預訂)和“同行人數(shù)”均可直接連接至可執(zhí)行意圖節(jié)點(即，“餐廳預訂”節(jié)點)。此外，屬性節(jié)點“菜系”、“價格區(qū)間”、“電話號碼”和“位置”可以是屬性節(jié)點“餐廳”的子節(jié)點，并且均可通過中間屬性節(jié)點“餐廳”連接至“餐廳預訂”節(jié)點(即，可執(zhí)行意圖節(jié)點)。又如，如圖7C所示，知識本體760還可包括“設定提醒”節(jié)點(即，另一可執(zhí)行意圖節(jié)點)。屬性節(jié)點“日期/時間”(針對設定提醒)和“主題”(針對提醒)均可連接至“設定提醒”節(jié)點。由于屬性“日期/時間”可與進行餐廳預訂的任務和設定提醒的任務二者相關，因此屬性節(jié)點“日期/時間”可連接至知識本體760中的“餐廳預訂”節(jié)點和“設定提醒”節(jié)點二者?？蓤?zhí)行意圖節(jié)點連同其連接的概念節(jié)點一起，可被描述為“域”。在本討論中，每個域可與相應的可執(zhí)行意圖相關聯(lián)，并涉及與特定可執(zhí)行意圖相關聯(lián)的一組節(jié)點(以及其間的關系)。例如，圖7C中示出的知識本體760可包括在知識本體760內的餐廳預訂域762的示例以及提醒域764的示例。餐廳預訂域包括可執(zhí)行意圖節(jié)點“餐廳預訂”、屬性節(jié)點“餐廳”、“日期/時間”和“同行人數(shù)”以及子屬性節(jié)點“菜系”、“價格區(qū)間”、“電話號碼”和“位置”。提醒域764可包括可執(zhí)行意圖節(jié)點“設置提醒”和屬性節(jié)點“主題”和“日期/時間”。在一些示例中，知識本體760可由多個域組成。每個域可與一個或多個其他域共享一個或多個屬性節(jié)點。例如，除了餐廳預訂域762和提醒域764之外，“日期/時間”屬性節(jié)點還可與許多不同域(例如，行程安排域、旅行預訂域、電影票域等)相關聯(lián)。盡管圖7C示出知識本體760內的兩個示例性域，但其他域可包括例如“找一部電影”、“發(fā)起電話呼叫”、“查找方向”、“安排會議”、“發(fā)送消息”以及“提供問題的回答”、“閱讀列表”、“提供導航指令”、“提供針對任務的指令”等?！鞍l(fā)送消息”域可與“發(fā)送消息”可執(zhí)行意圖節(jié)點相關聯(lián)，并且還可包括屬性節(jié)點諸如“一個或多個接收方”、“消息類型”和“消息正文”。屬性節(jié)點“接收方”可進一步例如由子屬性節(jié)點諸如“接收方姓名”和“消息地址”來定義。在一些示例中，知識本體760可包括數(shù)字助理能夠理解并對其起作用的所有域(以及因此可執(zhí)行的意圖)。在一些示例中，知識本體760可諸如通過添加或移除整個域或節(jié)點或者通過修改知識本體760內節(jié)點之間的關系來修改。在一些示例中，可將與多個相關可執(zhí)行意圖相關聯(lián)的節(jié)點群集在知識本體760中的“超級域”下。例如，“旅行”超級域可包括與旅行有關的屬性節(jié)點和可執(zhí)行意圖節(jié)點的群集。與旅行有關的可執(zhí)行意圖節(jié)點可包括“機票預訂”、“酒店預訂”、“汽車租賃”、“路線規(guī)劃”、“尋找興趣點”等。同一超級域(例如，“旅行”超級域)下的可執(zhí)行意圖節(jié)點可具有多個共用的屬性節(jié)點。例如，針對“機票預訂”、“酒店預訂”、“汽車租賃”、“路線規(guī)劃”和“尋找興趣點”的可執(zhí)行意圖節(jié)點可共享以下屬性節(jié)點中的一個或多個屬性節(jié)點：“起始位置”、“目的地”、“出發(fā)日期/時間”、“到達日期/時間”和“同行人數(shù)”。在一些示例中，知識本體760中的每個節(jié)點可與跟由節(jié)點表示的屬性或可執(zhí)行意圖有關的一組字詞和/或短語相關聯(lián)。與每個節(jié)點相關聯(lián)的相應組的字詞和/或短語可以是所謂的與節(jié)點相關聯(lián)的“詞匯”。與每個節(jié)點相關聯(lián)的相應組的字詞和/或短語可被存儲在與由節(jié)點所代表的屬性或可執(zhí)行意圖相關聯(lián)的詞匯索引744中。例如，返回圖7B，與“餐廳”屬性的節(jié)點相關聯(lián)的詞匯可包括字詞，諸如“美食”、“酒水”、“菜系”、“饑餓”、“吃”、“披薩”、“快餐”、“膳食”等。又如，與“發(fā)起電話呼叫”可執(zhí)行意圖的節(jié)點相關聯(lián)的詞匯可包括字詞和短語，諸如“呼叫”、“打電話”、“撥打”、“與……通電話”、“呼叫該號碼”、“打電話給”等。詞匯索引744可任選地包括不同語言的字詞和短語。自然語言處理模塊732可從STT處理模塊730接收符號序列(例如，文本串)，并確定符號序列中的字詞牽涉哪些節(jié)點。在一些示例中，如果發(fā)現(xiàn)符號序列中的字詞或短語與知識本體760中的一個或多個節(jié)點相關聯(lián)(經由詞匯索引744)，則所述字詞或短語可“觸發(fā)”或“激活”這些節(jié)點?；谝鸭せ罟?jié)點的數(shù)量和/或相對重要性，自然語言處理模塊732可選擇可執(zhí)行意圖中的一個可執(zhí)行意圖作為用戶意圖使數(shù)字助理執(zhí)行的任務。在一些示例中，可選擇具有最多“已觸發(fā)”節(jié)點的域。在一些示例中，可(例如，基于其各個已觸發(fā)節(jié)點的相對重要性)選擇具有最高置信度的域。在一些示例中，可基于已觸發(fā)節(jié)點的數(shù)量和重要性的組合來選擇域。在一些示例中，在選擇節(jié)點的過程中還考慮附加因素，諸如數(shù)字助理先前是否已正確解譯來自用戶的類似請求。用戶數(shù)據(jù)748可包括用戶特定的信息，諸如用戶特定的詞匯、用戶偏好、用戶地址、用戶的默認語言和第二語言、用戶的聯(lián)系人列表，以及每位用戶的其他短期或長期信息。在一些示例中，自然語言處理模塊732可使用用戶特定的信息來補充用戶輸入中所包含的信息以進一步限定用戶意圖。例如，針對用戶請求“邀請我的朋友參加我的生日聚會”，自然語言處理模塊732可能夠訪問用戶數(shù)據(jù)748以確定“朋友”是哪些人以及“生日聚會”將于何時何地舉行，而不需要用戶在其請求中明確地提供此類信息?；诜柎阉髦R本體的其他細節(jié)在提交于2008年12月22日的名為“MethodandApparatusforSearchingUsingAnActiveOntology”的美國實用新型專利申請序列號12/341,743中有所描述，其全部公開內容以引用方式并入本文。在一些示例中，一旦自然語言處理模塊732基于用戶請求識別出可執(zhí)行意圖(或域)，自然語言處理模塊732便可生成結構化查詢以表示所識別的可執(zhí)行意圖。在一些示例中，結構化查詢可包括域內針對可執(zhí)行意圖的一個或多個節(jié)點的參數(shù)，并且所述參數(shù)中的至少一些填充有在用戶請求中指定的特定信息和要求。例如，用戶可說“幫我在壽司店預訂晚上7點的座位?！痹谶@種情況下，自然語言處理模塊732可能夠基于用戶輸入將可執(zhí)行意圖正確地識別為“餐廳預訂”。根據(jù)知識主體，“餐廳預訂”域的結構化查詢可包括參數(shù)諸如{菜系}、{時間}、{日期}、{同行人數(shù)}等。在一些示例中，基于語音輸入和使用STT處理模塊730從語音輸入得出的文本，自然語言處理模塊732可針對餐廳預訂域生成部分結構化查詢，其中部分結構化查詢包括參數(shù){菜系＝“壽司類”}以及{時間＝“晚上7點”}。然而，在該示例中，用戶話語包含不足以完成與域相關聯(lián)的結構化查詢的信息。因此，基于當前可用信息，在結構化查詢中可能未指定其他必要參數(shù)，諸如{同行人數(shù)}和{日期}。在一些示例中，自然語言處理模塊732可用所接收的上下文信息來填充結構化查詢的一些參數(shù)。例如，在一些示例中，如果用戶請求“附近的”壽司店，則自然語言處理模塊732可用來自用戶設備的GPS坐標來填充結構化查詢中的{位置}參數(shù)。在一些示例中，自然語言處理模塊732可將結構化查詢(包括任何已完成的參數(shù))傳送至任務流處理模塊736(“任務流處理器”)。任務流處理模塊736可被配置為從自然語言處理模塊732接收結構化查詢，完成結構化查詢(必要時)，以及執(zhí)行“完成”用戶最終請求所需的動作。在一些示例中，完成這些任務所必需的各種過程可在任務流模型754中提供。在一些示例中，任務流模型754可包括用于獲取來自用戶的附加信息的過程，以及用于執(zhí)行與可執(zhí)行意圖相關聯(lián)的動作的任務流。如上所述，為了完成結構化查詢，任務流處理模塊736可能需要發(fā)起與用戶的附加對話，以便獲得附加信息并/或弄清可能有歧義的話語。當有必要進行此類交互時，任務流處理模塊736可調用對話流處理模塊734來參與與用戶的對話。在一些示例中，對話流處理模塊734可確定如何(和/或何時)向用戶請求附加信息，并且接收和處理用戶響應。通過I/O處理模塊728可將問題提供至用戶并可從用戶接收回答。在一些示例中，對話流處理模塊734可經由音頻和/或視頻輸出向用戶呈現(xiàn)對話輸出，并接收經由口頭或物理(例如，點擊)響應的來自用戶的輸入。繼續(xù)上述示例，在任務流處理模塊736調用對話流處理模塊734來確定針對與域“餐廳預訂”相關聯(lián)的結構化查詢的“同行人數(shù)”和“日期”信息時，對話流處理模塊734可生成諸如“一行幾位？”和“預訂哪天？”之類的問題傳遞給用戶。一旦接收到來自用戶的回答，對話流處理模塊734則可用缺失信息填充結構化查詢，或將信息傳遞給任務流處理模塊736以完成結構化查詢中的缺失信息。一旦任務流處理模塊736已針對可執(zhí)行意圖完成結構化查詢，任務流處理模塊736便可著手執(zhí)行與可執(zhí)行意圖相關聯(lián)的最終任務。因此，任務流處理模塊736可根據(jù)結構化查詢中包含的特定參數(shù)來執(zhí)行任務流模型中的步驟和指令。例如，針對可執(zhí)行意圖“餐廳預訂”的任務流模型可包括用于聯(lián)系餐廳并實際地請求在特定時間針對特定同行人數(shù)的預訂的步驟和指令。例如，通過使用結構化查詢諸如：{餐廳預訂，餐廳＝ABC咖啡館，日期＝2012/3/12，時間＝下午7點，同行人數(shù)＝5人}，任務流處理模塊736可執(zhí)行以下步驟：(1)登錄到ABC咖啡館的服務器或餐廳預訂系統(tǒng)諸如(2)在網站上的表格中輸入日期、時間和同行人數(shù)信息，(3)提交表格，以及(4)在用戶日歷中針對該預訂制作日歷條目。在一些示例中，任務流處理模塊736可在服務處理模塊738(“服務處理模塊”)的輔助下完成用戶輸入中所請求的任務或者提供用戶輸入中所請求的信息性回答。例如，服務處理模塊738可代表任務流處理模塊736發(fā)起電話呼叫、設置日歷條目、調用地圖搜索、調用用戶設備上安裝的其他用戶應用程序或與所述其他應用程序交互，以及調用第三方服務(例如，餐廳預訂門戶網站、社交網站、銀行門戶網站等)或與第三方服務交互。在一些示例中，可通過服務模型756中的相應服務模型指定每項服務所需的協(xié)議和應用編程接口(API)。服務處理模塊738可針對服務訪問適當?shù)姆漳Ｐ?，并依?jù)服務模型根據(jù)該服務所需的協(xié)議和API生成針對該服務的請求。例如，如果餐廳已啟用在線預訂服務，則餐廳可提交服務模型，該服務模型指定用于進行預訂的必要參數(shù)以及將必要參數(shù)的值傳送至在線預訂服務的API。在被任務流處理模塊736請求時，服務處理模塊738可使用存儲在服務模型中的web地址來建立與在線預訂服務的網絡連接，并將預訂的必要參數(shù)(例如，時間、日期、同行人數(shù))以根據(jù)在線預訂服務的API的格式發(fā)送至在線預訂接口。在一些示例中，自然語言處理模塊732、對話流處理模塊734以及任務流處理模塊736可共同且反復地被使用，以推斷并限定用戶的意圖、獲得信息以進一步明確并提煉用戶意圖并最終生成響應(即，輸出至用戶，或完成任務)以滿足用戶的意圖。所生成的響應可以是對至少部分滿足用戶意圖的語音輸入的對話響應。此外，在一些示例中，所生成的響應可作為語音輸出被輸出。在這些示例中，所生成的響應可被發(fā)送至語音合成模塊740(例如，語音合成器)，其中該響應可被處理，以將對話響應合成為語音形式。在其他示例中，所生成的響應可以是與滿足語音輸入中的用戶請求相關的數(shù)據(jù)內容。語音合成模塊740可被配置為合成語音輸出以呈現(xiàn)給用戶。語音合成模塊740基于數(shù)字助理提供的文本來合成語音輸出。例如，所生成的對話響應可為文本串的形式。語音合成模塊740可將文本串轉換成可聽語音輸出。語音合成模塊740可使用任何適當?shù)恼Z音合成技術，以便從文本生成語音輸出，所述技術包括但不限于：拼接合成、單位選擇合成、雙音子合成、域特定合成、格式合成、發(fā)音合成、基于隱馬爾可夫模型(HMM)的合成，以及正弦波合成。在一些示例中，語音合成模塊740可被配置為基于對應于字詞的音素串來合成各個字詞。例如，音素串可與所生成的對話響應中的字詞相關聯(lián)。音素串可存儲在與字詞相關聯(lián)的元數(shù)據(jù)中。語音合成模型740可被配置為直接處理元數(shù)據(jù)中的音素串，以合成語音形式的字詞。在一些示例中，替代于使用語音合成模塊740(或作為補充)，語音合成可在遠程設備(例如，服務器系統(tǒng)108)上執(zhí)行，并且合成的語音可發(fā)送到用戶設備以輸出給用戶。例如，這可發(fā)生在一些具體實施中，其中在服務器系統(tǒng)處生成數(shù)字助理的輸出。而且由于服務器系統(tǒng)通常比用戶設備具有更強的處理能力或更多的資源，其有可能獲得比客戶端側合成將實現(xiàn)的質量更高的語音輸出。有關數(shù)字助理的更多細節(jié)可見于提交于2011年1月10日的名稱為“IntelligentAutomatedAssistant”的美國實用新型專利申請No.12/987,982以及提交于2011年9月30日的名稱為“GeneratingandProcessingTaskItemsThatRepresentTaskstoPerform”的美國實用新型專利申請No.13/251,088中，其全部公開內容以引用方式并入本文。圖8示出根據(jù)各種示例的用于處理單一用戶話語中的多個可執(zhí)行命令的示例性過程800。過程800可例如在上文參考圖1論述的服務器系統(tǒng)108的處理模塊114上執(zhí)行。在其他示例中，過程800可在上文參考圖7論述的數(shù)字助理系統(tǒng)700的處理器704上執(zhí)行。在其他示例中，服務器系統(tǒng)108的處理模塊114和數(shù)字助理系統(tǒng)700的處理器704可一起用來執(zhí)行過程800中的一些或全部。在框802處，可(例如，從圖2的麥克風213)從用戶接收語音輸入。在一些示例中，語音輸入可針對虛擬助理，并且可包括一個可執(zhí)行命令(例如，“今天天氣怎么樣？”)或多個可執(zhí)行命令(例如，“導航到Jessica家并給她發(fā)消息說我在路上。”)。本文中所使用的可執(zhí)行命令可包括虛擬助理可執(zhí)行、響應或以其他方式處理的任何任務、過程、查詢、動作、請求等。例如，可執(zhí)行命令可包括關于股票價格的查詢、發(fā)送消息的請求、提供導航服務的命令、發(fā)起電話呼叫的命令等。在一些示例中，用戶可以通過用按鈕、觸摸屏界面等發(fā)信號來控制多部分命令的捕獲。例如，為了使用戶的設備繼續(xù)監(jiān)聽附加命令，用戶可以在說話的同時下壓并保持按鈕(例如，用戶設備104的按鈕)，并且可以在完成用戶想要說出的盡可能多的命令之后釋放按鈕。在其他示例中，用戶設備可以在語音持續(xù)的同時繼續(xù)監(jiān)聽，或者可以包括持續(xù)(例如，一直或在一段延長的持續(xù)時間內)監(jiān)控音頻的始終監(jiān)聽功能。單一話語內的多部分命令可包括具有任意數(shù)量論據(jù)的任意數(shù)量的命令。例如，用戶可以請求與同一主題相關聯(lián)的多個動作(例如，將圖片用電子郵件發(fā)給朋友、將圖片保存在存儲器中，以及將圖片設置為設備顯示器上的壁紙)。在另一示例中，用戶可以請求與不同主題相關聯(lián)的多個動作(例如，將圖片用電子郵件發(fā)給朋友、將“我馬上就到”的消息發(fā)給親屬、取消日歷通知，以及提醒用戶一小時內的特定任務)。一些語音輸入還可將命令與口述混合，如在單一話語中口述要發(fā)送的消息同時請求其他動作的示例中。采用單一話語的語音輸入因而可以包括與任意數(shù)量論據(jù)相關聯(lián)的任意數(shù)量的命令。在框804處，可基于語音輸入使用語音轉錄過程來生成文本串?？梢允褂枚喾N語音轉錄方法中的任一種。此外，在一些示例中，可以按順序或同時生成并處理多個可能的轉錄，以識別最佳的可能匹配(例如，最可能的匹配)。在框806處，可將文本串(或多個候選文本串)解析成至少第一候選子串和第二候選子串。在一個示例中，針對多部分命令，可將任何語音輸入解析成任意數(shù)量的候選子串以供測試。在其他示例中，解析成多個候選子串可以基于語音輸入的長度、用戶指示(例如，在說出多個命令的同時保持按鈕按下)、多個祈使動詞的識別等來完成。圖9示出示例性解析的多部分語音命令。用戶語音920可包括單一話語“導航到Jessica家并給她發(fā)消息說我在路上”的轉錄。在一個示例中，可將用戶語音920解析成兩個子串：第一候選子串922和第二候選子串924。此類解析可以多種方式來完成。例如，可以在文本串中識別域關鍵字，并且可以基于它們的位置對串進行解析。在圖9的示例中，字詞“導航”可以對應于用于提供地圖、逐個拐彎導航指令或者對用戶的其他導航輔助的虛擬助理域。字詞“發(fā)送”可對應于消息傳送域或多個虛擬助理域(例如，電子郵件、即時消息、文本消息、即時消息應用程序等)。字詞“消息”可同樣對應于多個虛擬助理域。在一些情況下，彼此一定數(shù)量的字詞內的“發(fā)送”和“消息”的組合可以指示可能匹配的虛擬助理域?；谒R別的域關鍵字的位置，用戶語音920可以分成以關鍵字“導航”開始并且在連接詞“并”之前結束的第一候選子串922，和以關鍵字“發(fā)送”開始并且以串的結束為結束的第二候選子串924。在其他示例中，連接詞“并”可以被包括在任一候選子串或兩個候選子串內。各種其他的域關鍵字可以采用類似的方式使用，以對串進行解析。例如，天氣域可與例如“天氣”、“溫度”、“多冷”、“多熱”、“下雨”等關鍵字或關鍵短語相關聯(lián)。相似地，電話域可與“呼叫”、“撥打”等關鍵字相關聯(lián)。日歷域可與例如“會議”、“安排會議”、“與會人”、“新的約會”、“時間表”等關鍵字或關鍵短語相關聯(lián)。提醒域可與例如“提示”、“提醒”、“設定提醒”、“提醒我”等關鍵字或關鍵短語相關聯(lián)。應當理解，各種其他域可以具有可用來解析文本串的多種相關聯(lián)的關鍵字或關鍵短語。替代域關鍵字或與之結合，可以在文本串中識別祈使動詞，并且可以基于它們的位置對串進行解析。在圖9的示例中，字詞“導航”是串中的第一祈使動詞。字詞“發(fā)送”是串中的下一個祈使動詞。在一些情況下，字詞"message"可以被解釋為另一祈使動詞。然而，在該示例中，根據(jù)如下多種因素可將"message"一詞恰當?shù)刈R別為名詞“消息”：之前有不定冠詞"a"，跟在“發(fā)送”后面的幾個詞之后，后接"that"從句，等。因此，可在用戶語音920中識別兩個祈使動詞。祈使動詞的位置隨后可用來將串解析成以祈使動詞“導航”開始的第一候選子串922和以祈使動詞“發(fā)送”開始的第二候選子串924。其他祈使動詞示例包括例如“安排”、“設定”、“呼叫”、“發(fā)電子郵件”、“發(fā)短信”、“郵遞”、“播放”、“啟動”、“提醒”、“注意”、“打開”、“搜索”等字詞。此外，在一些示例中，用戶話語可以分解成語音的多個部分，以幫助恰當?shù)刈R別祈使動詞(例如，與可能是名詞的同音異義詞相比)。替代域關鍵字和/或祈使動詞或者與之結合，可以多種方式解析單一用戶話語，并且可以測試多個解析，以確定最佳解析。在其他示例中，可以基于預先確定的子串長度(例如，一些字符、一些字詞等)來解析串。在其他示例中，可以所有可能的方式(例如，從每個單獨字詞作為子串到單個串中的所有字詞一起)或近乎所有可能的方式(例如，從最小的每一對或三個一組的字詞作為子串到單個串中的所有字詞一起)對串進行解析?？紤]到對串進行解析的多種方式，可以分析解析結果以基于多種因素取消各種解析方法。例如，如果解析得到沒有動詞的候選子串，則該解析可被取消。在一些示例中，可對各種解析結果中的一些或全部進行分析，如下文參考過程800的框808所述，以識別具有準確反映用戶意圖的最高可能性的解析。因此，來自用戶語音的單一話語的文本串可以多種方式解析成至少第一候選子串和第二候選子串。再次參考圖8的過程800，在框808處，可確定第一候選子串對應于第一可執(zhí)行命令的第一概率和第二候選子串對應于第二可執(zhí)行命令的第二概率。在一些示例中，可分析每個候選子串以確定它對應于有效的可執(zhí)行命令的概率。如上所述，在一些示例中，可以完成上述概率分析，以證實特定解析的準確性和/或將不同解析得到不同候選子串的可能性進行比較。在一些示例中，概率可用于選擇最可能準確地反映用戶意圖的解析及其相關子串(例如，準確地將單一話語分成不同的可執(zhí)行命令)。用于各種候選子串的概率可以多種方式確定，并且多種方法可以組合以達到綜合概率(例如，使用線性內插法或其他組合機制)。在一個示例中，可分析(來自一個解析或者來自多個不同的潛在解析)的每個候選子串的語義連貫。在一些示例中，針對每個候選子串，可以僅基于子串內的字詞(例如，不考慮上下文或者先前或隨后的字詞)來確定語義連貫。語義連貫可包括二進制“是/否”結果或者概率。語義連貫可反映子串是否可以獨立作為具有目標語言(例如，英語)含義的連貫命令(或請求)。例如，如上所述，不具有動詞的子串可被識別為缺少語義連貫或者具有較低的語義連貫概率(例如，“去Jessica家”、“進度報告會議”等)。在另一示例中，缺少主題、論據(jù)、實體等的子串可被識別為缺少語義連貫或者具有較低的語義連貫概率(例如，“導航到”、“告訴約翰”等)。在又一示例中，具有缺少名詞的不完整介詞短語或介詞的子串可被識別為缺少語義連貫或者具有較低的語義連貫概率(例如，“設定提醒在xx買牛奶”、“為xx安排會議”等)。此外，在一些示例中，可以根據(jù)語音的用于驗證語法規(guī)則遵循的部分來分析候選子串，并且可以相應地確定語義連貫。應當理解，可以多種其他方式確定子串的語義連貫，并且不同的規(guī)則和測試可適用于不同的語言、方言、區(qū)域等。替代語義連貫或與之結合，可以基于虛擬助理的用戶請求模板來分析每個候選子串。例如，虛擬助理可以通過將語音請求匹配到模板來部分地處理用戶請求。模板可以具有虛擬助理可用于處理用戶請求的相關過程、任務、算法等。此外，模板可以具有指定變量，其中可以預期實體、論據(jù)等(例如，模板“呼叫[聯(lián)系人]”中的聯(lián)系人姓名)。每個候選子串因此可與虛擬助理的各種模板中的一些或全部進行比較。在一個示例中，基于子串與用戶請求模板的相似程度，可確定匹配的相似性得分或概率。在一些示例中，可以在比較中忽略對應于預期實體、論據(jù)等的字詞。在另一示例中，基于是否可從比較中找到一個或多個匹配(或近乎匹配)的模板，可產生二進制“是/否”結果。參考作為示例的圖9的第一候選子串922，子串“導航到Jessica家”可以與虛擬助理的一些或全部模板進行比較。在一個示例中，給定關鍵字“導航”，則只可以使用與導航相關聯(lián)的模板。在其他示例中，可使用其他或所有模板。在虛擬助理中，與提供地圖、引導或導航相關聯(lián)的模板可包括“導航到[位置]”、“路線規(guī)劃到[位置]”、“給我展示[位置]的地圖”等。在將候選子串922與此類導航相關模板比較時，可以識別至少一個匹配模板：“導航到[位置]”，其中出于比較的目的，位置變量可允許忽略字詞“Jessica家”。在該示例中，可以識別至少一個匹配模板，因此可以產生“是”結果或者高相似性得分或概率。在另一示例中，子串可以類似于模板而不是實際上匹配模板(例如，具有外來字詞，包括非預期連接詞等)。在此類示例中，可以產生較低相似性得分或概率，或者根據(jù)特定應用程序，可以產生“是”或“否”結果。在其他示例中，可找到不匹配或類似模板，并且可產生“否”結果或者零相似性得分或概率。因此，候選子串可以與虛擬助理的用戶請求模板相比較，以識別匹配、匹配的可能性、相似性得分等。應當理解，針對特定應用程序，基于與虛擬助理請求模板的比較，可以根據(jù)需要產生多種概率、得分等中的任一種。替代語義連貫和/或模板匹配或與之結合，可以通過用虛擬助理的各種服務測試每個候選子串來對其進行分析。例如，可將每個候選子串提交到虛擬助理的一個或多個服務(例如，消息服務、導航服務、電話服務等)?？梢圆樵兎找源_定它們是否可以由該候選子串轉換為可執(zhí)行命令。在一個示例中，服務可以完全否定請求或者拒絕子串(例如，轉換子串的零可能性)。在另一示例中，服務可被配置為產生能夠用更多信息(例如，上下文、用戶數(shù)據(jù)等)轉換子串的可能性。在又一示例中，服務可被配置為產生該服務是(例如，基于域關鍵字、可用功能等)處理用戶請求的適當服務的可能性。參考圖9的第二候選子串924作為示例，在一些示例中，消息服務可產生能夠將子串轉換成可執(zhí)行命令的較高可能性。例如，在子串“給她發(fā)送消息說我在路上”中，字詞“發(fā)送”和“消息”可對應于消息傳送域關鍵字或模板，并且可以引導消息服務產生它能夠將子串轉換成可執(zhí)行命令的較高可能性。此外，消息服務可以識別出，假定可能無法單獨從該子串中得知“她”，則要轉換成完整命令可能需要附加上下文，但消息服務可以產生能夠在給定附加上下文信息的情況下轉換子串的適中可能性。另外，消息服務可將子串與消息模板進行比較，從而確認子串可能意圖用于消息服務，而不是另一服務。消息服務因而可以產生能夠將候選子串924轉換成可執(zhí)行命令的較高可能性。相比之下，基于缺少關鍵字、匹配模板、突出實體等，導航服務、電話服務或搜索服務可產生能夠轉換候選子串924的較低可能性或零可能性。候選子串因而可以被提交到服務，以確定服務中的一個服務可將該子串轉換成可執(zhí)行命令的可能性。應當理解，針對特定應用程序，基于提交到各種虛擬助理服務，可以根據(jù)需要產生多種概率、可能性、二進制結果等中的任一種。在一些示例中，語義連貫、模板匹配和/或服務測試的組合可以用來確定候選子串對應于可執(zhí)行命令的概率。例如，兩個或更多個測試的結果可以使用已知方法(例如，線性內插法等)進行組合。此外，替代上文論述的這些或作為補充，可以使用多種其他的測試或方法確定候選子串對應于可執(zhí)行命令的概率。例如，知識本體可用于嘗試將候選子串轉換成可執(zhí)行命令，并且可基于知識本體遍歷的成功或失敗產生概率。還可使用各種其他方法來測試候選子串并且證實解析的準確性。再次參考圖8的過程800，在框810處，確定在框808處確定的概率是否超過閾值。例如，可確定最小閾值，低于該最小閾值的特定解析可被視作不可能或無法接受。在一些示例中，可將每個候選子串對應于可執(zhí)行命令的概率與閾值水平進行比較，并且解析的任何候選子串沒有滿足該水平則可被視作該解析的失敗，導向框810的“否”分支。在其他示例中，解析的每個候選子串的概率可以多種方式組合(例如，歸一法、線性內插法等)，然后與閾值比較?；谔摂M助理閾值等，可以根據(jù)經驗確定閾值水平。然而，在其他示例中，可以從過程800中省略框808(和框810)。例如，在一些情況下，解析可被確定為足夠準確，使得附加的概率測試或驗證可為不必要的。常見用戶請求、多部分命令的常見組合、語義上有意義的解析的較高概率等可用于確定，解析可足夠可信以便在沒有附加驗證或準確性測試的情況下繼續(xù)進行。此外，在一些示例中，用來解析多部分命令的方法可足夠準確，以便保證省略驗證或準確性測試。參照框808描述的測試因而可以是可選的。如果來自框808的概率未能滿足或超過框810處的閾值(例如，“否”分支)，則在一些示例中，過程800可以返回到框806，以嘗試對文本串的不同解析。例如，假定該解析第一次未能通過，則可以嘗試新的解析，或者可在框806處進行調整，以嘗試在第二次或隨后識別更準確的解析。然而在其他示例中，可以同時測試大多數(shù)或所有可能的解析，在這種情況下，框810處的失敗可以導致虛擬助理查詢更多信息、要求命令的重復、返回失敗消息等。類似地，如果重復的解析未能產生準確的結果，則虛擬助理可以查詢更多信息、要求命令的重復、返回失敗消息等。在一些示例中，如果解析的一組候選子串中的一個或多個子串超過閾值，則那些候選子串可以如下文所述進一步處理，而同時虛擬助理通過對話、錯誤消息等來解決剩余(失敗)的一個或多個子串。通過這種方式，不論是否可以在沒有附加信息的情況下準確轉換其他部分，都可以處理多部分語音命令的一些部分。如果來自框808的概率滿足或超過框810處的閾值(例如，“是”分支)，則過程800可以繼續(xù)到框812。在框812處，可確定與第一候選子串相關聯(lián)的第一意圖和與第二候選子串相關聯(lián)的第二意圖。在一個示例中，虛擬助理可通過將用戶的語音與具有虛擬助理可進行或執(zhí)行的任務、過程等的特定域進行匹配，從語音輸入中確定用戶的意圖。確定用戶的意圖還可包括使用上下文(例如，用戶數(shù)據(jù)、顯示的信息、先前的請求等)來轉換模糊詞、代詞等。因此，在框812處，在根據(jù)用戶的多部分命令準備執(zhí)行的過程中，可針對每個候選子串確定意圖。在一些示例中，來自過程800的先前框的信息可用于在框812處確定用戶意圖。例如，來自上文論述的先前框中的域關鍵字、請求模板、服務匹配等可用于識別特定候選子串的用戶意圖。參考圖9的示例，可以針對第一候選子串922和第二候選子串924來確定意圖。在一個示例中，可基于命令字詞“導航”將第一候選子串922匹配到導航域。在該域內也可識別匹配模板“導航到[位置]”。然后可使用用戶數(shù)據(jù)轉換位置“Jessica家”，例如，從用戶的聯(lián)系人信息中識別出名為Jessica的聯(lián)系人的家庭地址?；谧衷~“發(fā)送”和“消息”和/或對應的模板，可將第二候選子串924匹配到消息傳送域。例如，可以識別模板“向[接收方]發(fā)送消息[消息內容]”?；趤碜缘谝缓蜻x子串922的先前請求的上下文，可解決接收方。具體而言，基于多部分命令中的先前命令，可以識別出預期接收方“Jessica”(和用戶聯(lián)系人中她的聯(lián)系信息)用來替換“她”。消息變量中的文本可以從子串(例如，“我在路上?！?直接轉錄。在另一示例中，來自多部分命令中的先前命令的上下文可類似地用來轉換模糊字詞。在多部分命令“給史蒂夫發(fā)消息說我會晚點到，并且提醒我在二十分鐘后打電話給他”中，在沒有先前命令的上下文的情況下，代詞“他”可為模糊的。具體而言，在一個示例中，針對給史蒂夫發(fā)消息說“我會晚點到”，可以識別第一可執(zhí)行命令。然而，第二可執(zhí)行命令可利用先前命令的上下文，對用戶想要在二十分鐘后被提醒打電話給哪個人進行準確意圖解釋。因而可以基于話語中的先前命令的上下文來解譯第二命令的意圖，以準確地確定用戶想要在二十分鐘后被提醒打電話給史蒂夫?？深愃频厥褂枚喾N其他上下文信息來確定針對特定候選子串的用戶意圖。例如，圖10示出具有顯示器1030的示例性用戶設備104，所述顯示器具有用于解譯多部分語音命令的上下文。應當理解，圖10示出根據(jù)本文中的各種示例的用戶設備104的一個示例，但很多其他示例也是可能的(包括不具有顯示器的設備、具有不同比例的設備等)。同樣地，應當理解，盡管顯示器1030被示為與用戶設備104合并(例如，作為觸摸屏)，但在其他示例中，顯示器1030可以與用戶設備104分開(例如，如在電視機、計算機監(jiān)視器、獨立用戶設備等中)。在一個示例中，當查看圖10中示出的內容時，用戶可以說出多部分命令，諸如“保存那張圖片、把它發(fā)送給我的爸爸，以及將它設置為我的主屏幕壁紙”。這種多部分命令可以被解析成三個候選子串：“保存那張圖片”、“把它發(fā)送給我的爸爸”，以及“將它設置為我的主屏幕壁紙”。針對第一子串，在沒有附加的上下文信息的情況下，主題“那張圖片”可為模糊的。此處，顯示在顯示器1030上的內容(包括鏈接1034和圖片1032)可用于消除第一子串的歧義(或轉換第一子串)。具體而言，給定顯示器1030上的圖片1032出現(xiàn)的上下文，主題“那張圖片”可以被轉換成圖片1032。第一子串的用戶意圖因而可以被確定為保存圖片1032(例如，保存到用戶設備上的存儲器)。其他內容元素可以類似地被用作上下文，包括顯示的文本、電子郵件、通知、提醒、相冊、歌曲、列表、日歷條目等。由于“把它發(fā)送給我的爸爸”和“將它設置為我的主屏幕壁紙”中的代詞“它”，第二子串和第三子串類似地可為模糊的。為了解決這種模糊性問題，可以使用來自所轉換的第一子串的上下文。具體而言，將主題“那張圖片”轉換為顯示器1030上的圖片1032可用于識別第二子串和第三子串的預期主題。第二子串的用戶意圖因而可以被確定為將圖片1032發(fā)送給用戶的父親(例如，如在聯(lián)系人列表等中所識別的)，并且第三子串的用戶意圖可以被確定為將圖片1032設置為用戶設備的主屏幕壁紙。所顯示的內容因而可用作用于從用戶語音解譯用戶意圖的上下文，并且基于同一話語內(或來自先前話語)的先前發(fā)出的命令，可以消除命令的歧義。圖11示出具有顯示器1030的示例性用戶設備104，所述顯示器具有可用作解譯多部分語音命令的上下文的各種類型的多個通知。具體而言，顯示器1030顯示通知1040，包括電子郵件1142、消息1144(例如，即時消息、文本消息等)、提醒1146以及會議請求1148。如本文所述的多部分語音命令可以是用戶同時管理多個通知的有效方式。例如，用戶可說出“用我不在辦公室的答復來答復那些電子郵件、提醒我在二十分鐘后打電話給我媽媽、告訴Joe當然、將那些提醒暫停一小時，并且接受那個會議請求”。在一個示例中，當用戶在思考接下來的動作時，可以有停頓地說出這么長的多部分命令，并且虛擬助理可以在不打斷用戶的情況下(例如，基于按鈕被按下、用戶偏好或設置等)繼續(xù)等待進一步的命令。此外，在解譯一個命令的用戶意圖之后，虛擬助理可以即刻開始采取行動，而不用等到轉換多部分命令中的隨后命令。例如，虛擬助理可開始將不在辦公室的電子郵件發(fā)送給JaneDoe和JenniferSmith，而同時用戶繼續(xù)與消息1144、提醒1146和會議請求1148相關的命令。在其他示例中，虛擬助理可以等待用戶完成所有的命令，再開始執(zhí)行與它們相關聯(lián)的過程。與圖11中示出的內容相關聯(lián)的多部分命令可以使用所顯示通知的類型、與那些通知相關聯(lián)的名字、有關那些通知的細節(jié)等(根據(jù)需要)消除歧義。例如，針對子串“用我不在辦公室的答復來答復那些電子郵件”，主題“那些電子郵件”可能是模糊的，但所顯示的內容可用于確定“那些電子郵件”對應于顯示器1030上顯示的電子郵件1142。具體而言，電子郵件通知或內容類型可用于準確地將“那些電子郵件”與所顯示的電子郵件相關通知相關聯(lián)。類似地，子串“告訴Joe當然”可為模糊的(例如，哪個Joe)，但所顯示的內容可用于確定“Joe”對應于消息1144中的一個消息的發(fā)送方。具體而言，可以對照顯示器1030上顯示的名字(以及對照用戶聯(lián)系人等)來檢查名字“Joe”，以準確識別用戶指的是哪個Joe。子串“將那些提醒暫停一小時”類似地可為模糊的，但所顯示的內容可用于確定“那些提醒”對應于顯示器1030上顯示的提醒1146。具體而言，提醒通知類型可用于準確地將“那些提醒”與提醒1146相關聯(lián)。最后，子串“接受那個會議請求”類似地可為模糊的，但所顯示的內容可用于確定“那個會議請求”對應于顯示器1030上顯示的會議請求1148。具體而言，會議請求通知類型可用于準確地將“那個會議請求”與會議請求1148相關聯(lián)。在其他示例中，用戶可以其他方式引用通知1040，并且所顯示的內容可類似地用于消除用戶的請求的歧義。例如，用戶可以按照類型(例如，郵件、提醒等)、名字(例如，Jane、Jennifer、媽媽等)、主題(例如，晚餐邀請、進度報告、牛奶、進度報告會議等)、位置參考或順序描述符(例如，前兩個、第一封電子郵件、第二個提醒、最后三個等)等來引用通知。圖12示出具有顯示器1030的示例性用戶設備104，所述顯示器具有可被用作解譯多部分語音命令的上下文的郵件應用程序1250中示出的多個電子郵件1142。如本文所述的多部分語音命令可以是用戶管理項目列表的有效方式，包括圖12中示出的電子郵件1142的列表。應當理解，郵件應用程序1250被作為電子郵件可以如何顯示在列表中的示例提供，但很多其他配置也是可能的(例如，包括預覽窗格等)，并且任何類型的列表可用作解譯多部分語音命令的上下文。在一個示例中，用戶可以通過發(fā)出命令中的順序描述符來參考所列出的電子郵件1142。例如，用戶可說出“將我不在辦公室的答復發(fā)送給前三封，將最后一封的發(fā)送方添加到屏蔽的聯(lián)系人列表，并且將最后一封移動到垃圾郵件”。列表內的電子郵件1142的順序位置隨后可用于消除用戶的多部分命令的歧義。第一子串中的描述符“前三封”可為模糊的，但所顯示的內容可用于確定“前三封”對應于顯示器1030上顯示的前三封電子郵件1142(例如，來自Jane、Jennifer和Alan的電子郵件)。具體而言，前三封電子郵件的順序位置可用于準確地將“前三封”與列表中的第一封、第二封和第三封電子郵件1142相關聯(lián)，以確定用戶的意圖。類似地，第二子串和第三子串中的描述符“最后一封”可為模糊的，但所顯示的內容可用于確定“最后一封”對應于顯示器1030上顯示的最后電子郵件1142(例如，來自InvestorTipCo.的電子郵件)。具體而言，列表中第四且最終的電子郵件的順序位置可用于準確地將“最后一封”與列表中的第四封電子郵件1142相關聯(lián)，以確定用戶的意圖。在其他示例中，用戶可以采用可類似地消除歧義的其他方式參考所列出的項目(例如，第二封郵件、第三個提醒、第二到最后、倒數(shù)第二、最終、中間一個、最后兩個條目、前三個項目、最末四個等)。在其他示例中，用戶可以參考發(fā)出命令中的內容的整個列表。例如，用戶可說出“將所有那些標記為已讀，并且將它們全部移動到垃圾桶”。顯示器1030上電子郵件1142的列表的出現(xiàn)可以用來消除用戶的多部分命令的歧義。描述符“所有那些”和“它們全部”可為模糊的，但所顯示的內容可用于確定“所有那些”和“它們全部”對應于圖12中示出的四封電子郵件1142的完整列表。在其他示例中，可以使用各種其他模糊參考項目并且基于列表內容來類似地消除歧義。除了使用所顯示的內容來消除多部分命令中項目的歧義之外，可將各種其他方法用于確定候選子串的用戶意圖。在一個示例中，潛在(或可能的)用戶請求可以基于所顯示的信息來確定，并且用戶意圖可以基于潛在用戶請求來確定。再次參考圖12作為示例，用戶在查看郵件應用程序1250中的電子郵件1142時可能發(fā)出與電子郵件管理相關的某一組命令。例如，與電子郵件管理相關的潛在用戶請求可包括答復、刪除、移動、歸檔、轉發(fā)、標記為已讀、標記為未讀、標記為垃圾郵件、存檔、屏蔽的發(fā)送方等。在確定子串的用戶意圖時，這些潛在用戶請求可被給予附加權重或優(yōu)先級，或者可用作比較(例如，比較模板)，以準確地解譯用戶命令。具體而言，基于出現(xiàn)在顯示器1030上的電子郵件1142，與電子郵件管理相關聯(lián)的潛在用戶請求可用于基于用戶將發(fā)出與所顯示內容相關聯(lián)的命令的至少一些可能性來解譯用戶命令。在其他示例中，可以基于多種其他內容來確定潛在用戶請求，以提供準確的意圖解譯。例如，再次參見圖11，潛在用戶請求可被識別以用于處理通知1140，并且這些潛在用戶請求可用于確定用戶意圖。相關聯(lián)的命令可包括撤銷項目、暫停提醒、答復消息、接受會議請求、提出會議新時間等。在另一示例中，再次參見圖10，潛在用戶請求可被識別以用于與所顯示的內容(包括鏈接1034和圖片1032)交互，并且這些潛在用戶請求可用于確定用戶意圖。相關聯(lián)的命令可包括保存圖片、分享圖片、分享鏈接、打印頁面、選擇所顯示的項目等。因此可基于所顯示的內容來識別潛在用戶請求，并且所識別的潛在用戶請求可用于確定多部分命令中的子串的用戶意圖。再次參考圖8的過程800，在框814處，可執(zhí)行與第一意圖相關聯(lián)的第一過程和與第二意圖相關聯(lián)的第二過程。通過針對每個候選子串(或一些候選子串)確定的用戶意圖，可執(zhí)行與用戶意圖相關聯(lián)的過程。例如，可以編寫并發(fā)送消息、可以刪除電子郵件、可以撤銷通知等。在一些示例中，多個任務或過程可以與單獨的用戶意圖相關聯(lián)，并且各種任務或過程可以在框814處執(zhí)行。在其他示例中，虛擬助理可以使用戶參與對話，以獲取完成任務流所需的附加信息。如上所述，在一些示例中，如果只有多部分命令的子串的子集可以被解譯成用戶意圖，則可執(zhí)行與那些用戶意圖相關聯(lián)的過程，并且虛擬助理可以多種方式處理剩余的子串(例如，請求更多信息、返回錯誤等)。再次參考圖8的過程800，在框816處，可將與第一意圖和第二意圖相關聯(lián)的確認提供至用戶。例如，可將確認提供至用戶以表明一個或多個命令的接受、執(zhí)行各種命令的狀態(tài)、各種命令的解譯、與特定命令相關聯(lián)的錯誤、一些命令需要的信息等。在一個示例中，這樣的確認可包括可聽確認(例如，音調、說出詞語等)。例如，虛擬助理可以向用戶重復所解譯的命令的列表作為確認(或者允許用戶有機會校正、插入、取消等)。在另一示例中，可以播放確認音調以指示用戶命令的有效解譯。同樣可以使用各種其他聽覺形式的反饋。在另一示例中，多部分命令的確認可包括觸覺反饋。例如，用戶設備可以振動以確認用戶命令的有效解譯或者指示信息的錯誤或缺失。觸覺反饋也可以指示某些信息的模式執(zhí)行，諸如，振動設定數(shù)量的脈沖，以指示所識別的命令的數(shù)量。在又一示例中，多部分命令的確認可包括通過例如說出任務和/或將它們顯示在顯示器上來將任務提供至用戶。具體而言，用戶意圖(例如，過程800的框812、814和816的第一意圖和第二意圖)可以與特定的虛擬助理任務相關聯(lián)，并且虛擬助理可以通過例如說出和/或顯示這些任務來解釋這些任務并將它們提供至用戶。圖13示出具有顯示器1030的示例性用戶設備104，所述顯示器顯示與多部分命令相關聯(lián)的所解釋的任務1360。應當理解，替代顯示任務1360或除了顯示該任務之外，還可以說出該任務。如圖所示，三個任務被顯示為對多部分命令的用戶的確認。例如，可參考圖12說出這樣的命令，并且可包括多部分命令，諸如“將最后一封電子郵件放入垃圾郵件，并且將其發(fā)送方添加到屏蔽的列表，而且答復前三封就說我在巴厘島度假”?？赡芤炎R別出可與圖13中示出的解釋任務相關聯(lián)的三個子串。具體而言，第一解釋任務可包括“將‘極好的新機遇’電子郵件放入垃圾郵件文件夾”，第二解釋任務可包括“將‘InvestorTipCo.’添加到屏蔽的發(fā)送方列表”，以及第三解釋任務可包括“發(fā)送電子郵件給Jane、Jennifer和Alan：‘我在巴厘島度假’”。多部分用戶命令的確認因而可包括針對每個解譯的命令，通過將其說出和/或顯示而將解釋任務提供至用戶。在一些示例中，在有或沒有用戶語音的轉錄的情況下，解釋任務可以顯示在虛擬助理的對話界面內(例如，以會話格式)。在其他示例中，解釋任務可以顯示在彈出窗口、通知區(qū)域等中。在其他示例中，所顯示的任務1360(或用戶語音的轉錄)可以供選擇以用于編輯、取消、排列優(yōu)先級等。例如，用戶可以選擇任務1360中的一個任務，并且動作菜單可被提供用于編輯任務參數(shù)、取消任務、排列任務的優(yōu)先級、延遲任務等。在另一示例中，默認動作可以與選擇所顯示的任務相關聯(lián)，諸如，編輯任務、暫停任務、取消任務等。此外，在一些示例中，可通過例如播放相關聯(lián)的指示符音調、說出相關聯(lián)的狀態(tài)指示符或者顯示相關聯(lián)的指示符，將完成指示符和/或狀態(tài)指示符提供至用戶。圖13示出與任務1360相關聯(lián)的示例性指示符。在一個示例中，在過程或任務完成之后，可將完成指示符提供至用戶，諸如由第一任務1360顯示復選標記1362以指示完成。在另一示例中，可以播放音調或可以說出字詞，以指示完成(例如，“第一任務完成”等)。在另一示例中，在過程或任務仍在執(zhí)行(完成之前)的同時，可將處理狀態(tài)指示符提供至用戶。可以通過發(fā)出音調或說出狀態(tài)來提供狀態(tài)(例如，“正在處理第二任務”等)。也可以通過顯示處理狀態(tài)指示符，諸如沙漏1364和/或狀態(tài)條1366(或者在任務完成后即可勾上復選標記1362的空框)來提供狀態(tài)。在一個示例中，沙漏1364可指示任務仍在執(zhí)行。然而，在其他示例中，沙漏1364可指示需要更多信息、仍在解譯請求、正在執(zhí)行搜索等。狀態(tài)條1366也可用于指示任務執(zhí)行狀態(tài)，并且可以反映特定任務的完成百分比。在其他示例中，處理狀態(tài)指示符可包括動畫、圖表、字體變化(例如，文本顏色、大小等)，等。也可將各種其他確認提供至用戶，以傳達有關多部分命令的信息(例如，照亮指示燈、以動畫方式顯示電子郵件被丟棄、以動畫方式顯示消息被編寫和發(fā)送等)。此外，可以提供確認的任意組合，諸如，顯示任務的列表、大聲說出任務，以及顯示狀態(tài)和完成指示符。此外，在一些示例中，可以在用戶仍在說出命令的同時提供確認。例如，在例如檢測到完整可執(zhí)行命令之后，可將確認音調、觸覺反饋、語音等提供至用戶。具體而言，在命令正被說出時，虛擬助理可以簡單地說出“好的”、播放音調、振動用戶設備、顯示用戶語音等。這可將命令得到理解的確認提供至用戶，從而允許用戶在很有信心地認為虛擬助理一直在處理命令的情況下繼續(xù)發(fā)出命令。在其他示例中，虛擬助理可將它識別單一用戶語音流中的多個命令的視覺確認提供至用戶。圖14A和圖14B示出用于在用戶設備104的顯示器1030上傳達多部分語音命令的識別的示例性虛擬助理界面1470。在一個示例中，在用戶語音流內認出的不同命令可以與其他命令不同的方式強調，以指示虛擬助理已正確地認識到正在發(fā)出多部分命令。在一個示例中，可以在用戶完成說話之后添加此類強調。然而，在其他示例中，用戶的語音可以在用戶說話時被轉錄，并且當轉錄的文本在用戶設備的顯示器上流式傳輸時，可以動態(tài)強調候選子串。用戶說話時的這種動態(tài)反饋可以向用戶確認，虛擬助理了解到正在發(fā)出多部分命令，從而可允許用戶根據(jù)需要而有信心地繼續(xù)發(fā)出命令。圖14A示出虛擬助理界面1470中以不同方式強調不同候選子串的一個示例。如圖所示，界面1470可包括會話式對話界面，其中助理問候1472促使用戶發(fā)出請求。轉錄的用戶語音1474示出在用戶語音被轉錄時用戶語音中以不同方式強調候選子串的一個示例。具體而言，第一候選子串用粗體、斜體且加下劃線的文本示出。第二候選子串用粗體且加下劃線的文本示出。第三候選子串用斜體且加下劃線的文本示出。通過這種方式，可以強調不同的候選子串或命令，以便傳達虛擬助理認識到正在發(fā)出多部分命令，并且虛擬助理正確認識到各自不同的命令。在圖14A的示例中，由于用戶仍可發(fā)出命令，因此轉錄的用戶語音1474被示為未完成。具體而言，第三命令以“答復前三封就說”開始，但尚未說出相關聯(lián)消息的文本。在一些示例中，可以顯示自動完成建議1476，并且用戶可以選擇自動完成建議中的一個，以完成當前正在發(fā)出的命令。例如，用戶可以輕擊自動完成建議“我不在辦公室”，以完成第三命令并且提供答復的消息文本。在其他示例中，自動完成建議1476可以提供與話語中的先前命令相關的示例性命令、與顯示器上顯示的對象相關的命令、用戶頻繁發(fā)出的命令等。此外，在一些示例中，自動完成建議1476可定位在正在發(fā)出的當前命令附近、與當前命令成直線，或者在相對于當前命令的另一位置處。例如，自動完成建議1476可定位在對象或部分命令附近，并且通過線或其他圖形關聯(lián)(例如，點)連接到所述對象或部分命令。圖14B示出虛擬助理界面1470中以不同方式強調不同候選子串的另一示例。具體而言，轉錄的用戶語音1478示出使用標簽云狀群集強調不同候選子串。在一個示例中，各種命令可以通過群集在一起的每個命令的字詞而在空間上分開。在一些示例中，可被編輯的字詞、關鍵字、命令詞、主語詞或在其他方面重要的字詞可以用粗體文本、更大字體大小等進行強調。在其他示例中，基于重要性，可以不同方式強調字詞。例如，主要命令詞(例如，發(fā)送)可以用最大最粗的字體顯示，主語詞(例如，接收方姓名)可以用中等字體顯示，并且其他字詞可以用小字體顯示。字詞可以各種方式群集在一起，包括次序顛倒并且以不同的取向。在一些示例中，基于與命令相關聯(lián)的解譯信心(例如，基于用戶的語音，虛擬助理對于解譯正確的信心程度)，可以不同方式設定不同命令的大小。命令群集可以在用戶說出命令時或者在用戶完成說出多部分命令之后分開并且顯示。各種其他群集類型的顯示器也可以用來強調多部分命令區(qū)別。多部分命令中的不同命令或候選子串也可以多種其他方式進行強調。例如，單獨命令可以被圈出、勾出或通過畫出圖形標記以其他方式分開(例如，圍繞命令畫出形狀、在命令之間畫出分割線或圖形、將不同的命令置于不同的對話框中等)。在另一示例中，不同命令可以帶有不同顏色(例如，用于第一命令的紅色文本、用于第二命令的綠色文本、用于第三命令的藍色文本等)。在又一示例中，上述方法的任意組合可用于以不同方式強調不同的候選子串、命令、任務等(例如，使用與另一群集命令在空間上分開的群集命令內的不同顏色的字詞)。因此，使用上述多種視覺顯示方法中的任一種，虛擬助理可以顯示，在單一流中認出多個命令。此外，在其他示例中，這些視覺顯示方法可以與本文論述的其他形式的反饋(例如，聽覺、觸覺等)組合。圖8的過程800因而可用于處理多部分命令。如上所述，并且如本領域普通技術人員將理解的，可以進行各種修改，包括移除過程800的框、更改操作的順序、擴大各種操作的量等。此外，在本文所述的各種示例的任一個中，可以針對特定用戶將各個方面?zhèn)€性化。如上文所述，包括聯(lián)系人、偏好、位置等的用戶數(shù)據(jù)可以用來解譯語音命令。根據(jù)用戶偏好、聯(lián)系人、文本、使用歷史、配置文件數(shù)據(jù)、人口統(tǒng)計等，本文所述的各種過程也可以各種其他方式修改。此外，基于用戶交互(例如，頻繁說出的命令、頻繁選擇的應用程序等)，此類偏好和設置可以隨時間更新?？傻米愿鞣N來源的用戶數(shù)據(jù)的收集和使用可用于改善將邀請內容或用戶可能感興趣的任何其他內容傳送到用戶。本公開預期，在一些實例中，這些所采集的數(shù)據(jù)可包括唯一地識別或可用于聯(lián)系或定位特定人員的個人信息數(shù)據(jù)。此類個人信息數(shù)據(jù)可包括人口數(shù)據(jù)、基于位置的數(shù)據(jù)、電話號碼、電子郵件地址、家庭地址或任何其他識別信息。本公開認識到在本發(fā)明技術中使用此類個人信息數(shù)據(jù)可用于使用戶受益。例如，該個人信息數(shù)據(jù)可用于遞送用戶較感興趣的目標內容。因此，使用此類個人信息數(shù)據(jù)使得能夠對所遞送的內容進行有計劃的控制。此外，本公開還預期個人信息數(shù)據(jù)有益于用戶的其他用途。本公開還預期負責此類個人信息數(shù)據(jù)的收集、分析、公開、傳輸、存儲或其他用途的實體將遵守已確立的隱私政策和/或隱私實踐。具體地，此類實體應當實行并堅持使用被公認為滿足或超出對維護個人信息數(shù)據(jù)的隱私性和安全性的行業(yè)或政府要求的隱私政策和實踐。例如，來自用戶的個人信息應當被收集用于實體的合法且合理的用途，并且不在這些合法使用之外共享或出售。另外，此類收集應當僅在用戶知情同意之后進行。另外，此類實體應采取任何所需的步驟，以保障和保護對此類個人信息數(shù)據(jù)的訪問，并且確保能夠訪問個人信息數(shù)據(jù)的其他人遵守他們的隱私政策和程序。另外，這種實體可使其本身經受第三方評估以證明其遵守廣泛接受的隱私政策和實踐。不管前述情況如何，本公開還預期用戶選擇性地阻止使用或訪問個人信息數(shù)據(jù)的示例。即本公開預期可提供硬件元件和/或軟件元件，以防止或阻止對此類個人信息數(shù)據(jù)的訪問。例如，就廣告遞送服務而言，本發(fā)明的技術可被配置為在注冊服務期間允許用戶選擇“加入”或“退出”參與對個人信息數(shù)據(jù)的收集。又如，用戶可選擇不為目標內容遞送服務提供位置信息。再如，用戶可選擇不提供精確的位置信息，但準許傳輸位置區(qū)域信息。因此，雖然本公開廣泛地覆蓋了使用個人信息數(shù)據(jù)來實現(xiàn)一個或多個各種所公開的示例，但本公開還預期各種示例也可在無需訪問此類個人信息數(shù)據(jù)的情況下被實現(xiàn)。即，本發(fā)明技術的各種示例不會由于缺少此類個人信息數(shù)據(jù)的全部或一部分而無法正常進行。例如，可通過基于非個人信息數(shù)據(jù)或絕對最低限度的個人信息，諸如與用戶相關聯(lián)的設備所請求的內容、對內容傳送服務可用的其他非個人信息或公開可用信息來推斷偏好，從而選擇內容并傳送給用戶。根據(jù)一些示例，圖15示出根據(jù)各種所述示例的原理進行配置的一種電子設備1500的功能框圖。設備的功能塊可以任選地由執(zhí)行各種所述示例的原理的硬件、軟件或硬件和軟件的組合來實現(xiàn)。本領域的技術人員應當理解，圖15中所述的功能塊可以被組合或被分離為子塊，以便實現(xiàn)各種所述示例的原理。因此，本文的描述任選地支持本文所述的功能塊的任何可能的組合或分離或進一步限定。如圖15所示，電子設備1500可包括被配置為接收信息的輸入單元1502(例如，用于捕獲用戶語音的麥克風、用于通過網絡來接收用戶語音的設備等)。電子設備1500還可包括被配置為輸出信息的輸出單元1504(例如，用于播放聲音的揚聲器、用于顯示信息的顯示器、用于通過網絡來傳輸信息的設備等)。電子設備1500還可包括耦接至輸入單元1502和輸出單元1504的處理單元1506。在一些示例中，處理單元1506可包括語音輸入接收單元1508、文本串生成單元1510、文本串解析單元1512、概率確定單元1514、意圖確定單元1516、過程執(zhí)行單元1518，以及確認提供單元1520。處理單元1506可以被配置為(例如，使用語音輸入接收單元1508通過輸入單元1502)從用戶接收語音輸入，其中語音輸入包括具有一個或多個可執(zhí)行命令的單一話語。處理單元1506還可以被配置為基于語音輸入使用語音轉錄過程來生成文本串(例如，使用文本串生成單元1510)。處理單元1506還可以被配置為將文本串(例如，使用文本串解析單元1512)解析成至少第一候選子串和第二候選子串。處理單元1506還可以被配置為(例如，使用概率確定單元1514)確定第一候選子串對應于第一可執(zhí)行命令的第一概率和第二候選子串對應于第二可執(zhí)行命令的第二概率。處理單元1506還可以被配置為響應于第一概率和第二概率超過閾值，(例如，使用意圖確定單元1516)確定與第一候選子串相關聯(lián)的第一意圖和與第二候選子串相關聯(lián)的第二意圖。處理單元1506還可以被配置為(例如，使用過程執(zhí)行單元1518執(zhí)行)與第一意圖相關聯(lián)的第一過程和與第二意圖相關聯(lián)的第二過程。處理單元1506還可以被配置為將與第一意圖和第二意圖相關聯(lián)的確認(例如，使用確認提供單元1520通過輸出單元1504進行)提供至用戶。在一些示例中，(例如，使用文本串解析單元1512)將文本串解析成至少第一候選子串和第二候選子串包括，識別文本串中的與第一域對應的第一關鍵字以確定第一候選子串，以及識別文本串中的與第二域對應的第二關鍵字以確定第二候選子串。在其他示例中，(例如，使用文本串解析單元1512)將文本串解析成至少第一候選子串和第二候選子串包括，識別文本串中的第一祈使動詞以確定第一候選子串，以及識別文本串中的第二祈使動詞以確定第二候選子串。在一些示例中，(例如，使用概率確定單元1514)確定第一候選子串對應于第一可執(zhí)行命令的第一概率和第二候選子串對應于第二可執(zhí)行命令的第二概率包括，確定第一候選子串的第一語義連貫和第二候選子串的第二語義連貫，以及基于第一語義連貫和第二語義連貫來確定第一概率和第二概率。在其他示例中，(例如，使用概率確定單元1514)確定第一候選子串對應于第一可執(zhí)行命令的第一概率和第二候選子串對應于第二可執(zhí)行命令的第二概率包括，將第一候選子串和第二候選子串與一個或多個用戶請求模板比較，并且基于該比較來確定第一概率和第二概率。在其他示例中，(例如，使用概率確定單元1514)確定第一候選子串對應于第一可執(zhí)行命令的第一概率和第二候選子串對應于第二可執(zhí)行命令的第二概率包括，將第一候選子串和第二候選子串提交到至少第一服務和第二服務、接收第一服務可解決第一可執(zhí)行命令的第一可能性和第二服務可解決第二可執(zhí)行命令的第二可能性，以及基于第一可能性和第二可能性來確定第一概率和第二概率。在一些示例中，(例如，使用意圖確定單元1516)確定與第一候選子串相關聯(lián)的第一意圖和與第二候選子串相關聯(lián)的第二意圖包括，基于第一候選子串中的至少一個字詞來確定第二意圖。在其他示例中，(例如，使用意圖確定單元1516)確定與第一候選子串相關聯(lián)的第一意圖和與第二候選子串相關聯(lián)的第二意圖包括，基于被顯示在與電子設備相關聯(lián)的顯示器上的信息來確定第一意圖或第二意圖。在一些示例中，信息包括列表，并且(例如，使用意圖確定單元1516)確定與第一候選子串相關聯(lián)的第一意圖和與第二候選子串相關聯(lián)的第二意圖包括，基于第一候選子串或第二候選子串中的順序描述符來確定第一意圖或第二意圖，其中順序描述符與列表中的一個或多個項目相關聯(lián)。在其他示例中，信息包括一個或多個通知。在其他示例中，信息包括一個或多個電子郵件。在一些示例中，(例如，使用意圖確定單元1516)確定與第一候選子串相關聯(lián)的第一意圖和與第二候選子串相關聯(lián)的第二意圖包括，基于被顯示在顯示器上的信息來確定一個或多個潛在用戶請求，以及基于一個或多個潛在用戶請求來確定第一意圖或第二意圖。在一些示例中，確認(例如，來自確認提供單元1520)包括可聽確認。在其他示例中，確認包括觸覺反饋。在一些示例中，將與第一意圖和第二意圖相關聯(lián)的確認(例如，使用確認提供單元1520通過輸出單元1504)提供至用戶包括，提供與第一意圖相關聯(lián)的第一任務和與第二意圖相關聯(lián)的第二任務。在一個示例中，提供與第一意圖相關聯(lián)的第一任務和與第二意圖相關聯(lián)的第二任務包括，顯示第一任務和第二任務。在一些示例中，處理單元1506還可以被配置為響應于完成第一過程，(例如，使用確認提供單元1520)提供與第一任務相關聯(lián)的第一指示符，以及響應于完成第二過程，提供與第二任務相關聯(lián)的第二指示符。在一個示例中，提供與第一任務相關聯(lián)的第一指示符包括顯示第一指示符，并且提供與第二任務相關聯(lián)的第二指示符包括顯示第二指示符。在其他示例中，處理單元1506還可以被配置為在完成第一過程之前(例如，使用確認提供單元1520)提供與第一任務相關聯(lián)的第一處理狀態(tài)指示符，以及在完成第二過程之前提供與第二任務相關聯(lián)的第二處理狀態(tài)指示符。在一個示例中，提供與第一任務相關聯(lián)的第一處理狀態(tài)指示符包括顯示第一處理狀態(tài)指示符，并且提供與第二任務相關聯(lián)的第二處理狀態(tài)指示符包括顯示第二處理狀態(tài)指示符。在一些示例中，第一指示符和第二指示符包括復選標記。在其他示例中，第一處理狀態(tài)指示符和第二處理狀態(tài)指示符包括以下各項中的一者或多者：沙漏、動畫或狀態(tài)條。在其他示例中，將與第一意圖和第二意圖相關聯(lián)的確認(例如，使用確認提供單元1520通過輸出單元1504)提供至用戶包括，使用第一強調來顯示第一候選子串，以及使用與第一強調不同的第二強調來顯示第二候選子串。在一些示例中，第一強調和第二強調包括以下各項中的一者或多者：粗體文本、斜體文本、帶下劃線的文本、圈出的文本、勾出的文本、彩色文本和群集的文本。以上參考圖8所述的操作任選地由圖1A至圖1B或圖15中所描繪的部件來實現(xiàn)。例如，接收操作802、生成操作804、解析操作806、確定操作808-812、執(zhí)行操作814和提供操作816任選地由事件分類器170、事件識別器180和事件處理程序190來實現(xiàn)。事件分類器170中的事件監(jiān)視器171檢測在觸敏顯示器112上的接觸，并且事件分配器模塊174將事件信息傳送到應用程序136-1。應用程序136-1的相應事件識別器180將事件信息與相應事件定義186進行比較，并且確定觸敏表面上第一位置處的第一接觸是否(或該設備的旋轉是否)對應于預定義的事件或子事件，諸如對用戶界面上的對象的選擇、或該設備從一個取向到另一個取向的旋轉。當檢測到相應的預定義的事件或子事件時，事件識別器180激活與對該事件或子事件的檢測相關聯(lián)的事件處理程序190。事件處理程序190任選地使用或調用數(shù)據(jù)更新器176或對象更新器177來更新應用程序內部狀態(tài)192。在一些實施方案中，事件處理程序190訪問相應GUI更新器178來更新應用程序所顯示的內容。類似地，本領域的普通技術人員會清楚地知道如何可基于在圖1A至圖1B中所描繪的部件來實現(xiàn)其他過程。出于解釋的目的，前面的描述是通過參考具體實施方案來描述的。然而，上面的示例性的討論并非旨在是窮盡的或將本發(fā)明限制為所公開的精確形式。根據(jù)以上教導內容，很多修改形式和變型形式都是可能的。選擇并描述這些實施方案是為了最好地解釋這些技術的原理及其實際應用。本領域的其他技術人員由此能夠最好地利用這些技術以及具有適合于所預期的特定用途的各種修改的各種實施方案。雖然參照附圖對本公開以及示例進行了全面的描述，但應當注意，各種變化和修改對于本領域內的技術人員而言將變得顯而易見。應當理解，此類變化和修改被認為被包括在由權利要求書所限定的本公開和示例的范圍內。當前第1頁1 2 3 當前第1頁1 2 3