專利名稱：通過無(wú)線網(wǎng)絡(luò)的多模式網(wǎng)絡(luò)交互的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通過在無(wú)線通信設(shè)備和互聯(lián)網(wǎng)應(yīng)用程序之間的無(wú)線網(wǎng)絡(luò)的網(wǎng)絡(luò)交互。特別地，本發(fā)明涉及通過無(wú)線網(wǎng)絡(luò)的多模式網(wǎng)絡(luò)交互，所述多模式網(wǎng)絡(luò)交互使用戶以多種方式與互聯(lián)網(wǎng)應(yīng)用程序進(jìn)行交互。
背景技術(shù)：
用于個(gè)人通信需要的無(wú)線通信設(shè)備日益普遍。這些設(shè)備包括例如，移動(dòng)電話、數(shù)字傳呼機(jī)、″掌上型″電腦、個(gè)人信息管理器(PIMS)，和其它小的主要是手持的通信和計(jì)算設(shè)備。無(wú)線通信設(shè)備在其特征上已經(jīng)相當(dāng)成熟，并且現(xiàn)在不但支持基本的點(diǎn)對(duì)點(diǎn)通信功能如電話呼叫，而且支持更加高級(jí)的通信功能，例如電子郵件、傳真接收和發(fā)送、互聯(lián)網(wǎng)的訪問和全球網(wǎng)的瀏覽等等。
通常，傳統(tǒng)的無(wú)線通信設(shè)備具有管理手機(jī)的各種功能和與基站的無(wú)線電通信連接的軟件。管理所有電話功能的軟件一般被稱為電話堆棧(telephonestack)。管理輸出和輸入，例如按下鍵盤和屏幕顯示的軟件，稱為用戶界面或人機(jī)界面或“MMI”。
美國(guó)專利NO.6,317,781公開了一種基于人機(jī)界面的標(biāo)記語(yǔ)言。所述人機(jī)界面為無(wú)線通信設(shè)備的各種無(wú)線電通信功能提供了用戶界面，所述無(wú)線電通信功能包括電話撥號(hào)、電話呼叫應(yīng)答、創(chuàng)建消息、發(fā)送消息、接收消息和創(chuàng)建配置設(shè)置，所述無(wú)線電通信功能由眾所周知的標(biāo)記語(yǔ)言例如HTML來(lái)定義，并通過所述無(wú)線通信設(shè)備所執(zhí)行的瀏覽器程序而訪問。所述特征使對(duì)互聯(lián)網(wǎng)和全球網(wǎng)的內(nèi)容，例如網(wǎng)頁(yè)的直接訪問與所述設(shè)備的無(wú)線電通信功能直接結(jié)合，并且允許網(wǎng)頁(yè)內(nèi)容與其它數(shù)據(jù)類型無(wú)縫結(jié)合，因?yàn)橥ㄟ^所述用戶界面向用戶給出的所有數(shù)據(jù)都通過基于標(biāo)記語(yǔ)言的網(wǎng)頁(yè)給出。這種基于人機(jī)界面的標(biāo)記語(yǔ)言使用戶能夠直接與互聯(lián)網(wǎng)應(yīng)用程序交互。
然而，與傳統(tǒng)的臺(tái)式或筆記本電腦不同，無(wú)線通信設(shè)備具有非常有限的輸入能力。臺(tái)式或筆記本電腦具有基于點(diǎn)擊設(shè)備的指針，例如電腦鼠標(biāo)、跟蹤球、操縱桿等等，以及整個(gè)鍵盤。這樣能夠通過點(diǎn)擊和拖動(dòng)滾動(dòng)條、點(diǎn)擊超文本鏈接以及在例如HTML表單的不同表單區(qū)域之間鍵盤切換來(lái)實(shí)現(xiàn)網(wǎng)頁(yè)內(nèi)容導(dǎo)航。相反，無(wú)線通信設(shè)備具有非常有限的輸入能力，一般為上下鍵，以及一至三個(gè)軟鍵盤。因此，即使具有基于人機(jī)界面的標(biāo)記語(yǔ)言，無(wú)線通信設(shè)備的用戶也不能使用傳統(tǒng)的技術(shù)與互聯(lián)網(wǎng)應(yīng)用程序交互。盡管現(xiàn)有技術(shù)中存在一些形式的語(yǔ)音識(shí)別，但現(xiàn)有技術(shù)系統(tǒng)沒有實(shí)現(xiàn)多模式網(wǎng)絡(luò)交互，所述多模式網(wǎng)絡(luò)交互將使用戶以多種方式通過無(wú)線網(wǎng)絡(luò)完成網(wǎng)絡(luò)交互。
結(jié)合附圖將更充分地理解本發(fā)明的特征，在附圖中圖1表示應(yīng)用了本發(fā)明實(shí)施例的網(wǎng)絡(luò)環(huán)境。
圖2表示根據(jù)本發(fā)明一個(gè)實(shí)施例的用于通過無(wú)線網(wǎng)絡(luò)的網(wǎng)絡(luò)交互的系統(tǒng)100。
圖3和圖4表示對(duì)一組超鏈接或表單的聚焦。
圖5-6表示所述MML事件機(jī)制。
圖7表示系統(tǒng)消息和MML事件的基本流程圖。
圖8表示在本發(fā)明一個(gè)實(shí)施例的系統(tǒng)中所使用的MML元素塊(ElementBlock)的細(xì)節(jié)。
具體實(shí)施例方式
在以下的詳細(xì)說明中，為實(shí)現(xiàn)本發(fā)明的清楚理解而闡述了大量細(xì)節(jié)。然而，需要本領(lǐng)域普通技術(shù)人員理解的是，本發(fā)明并不限于這些詳細(xì)的細(xì)節(jié)。
本發(fā)明的多個(gè)實(shí)施例通過提供一種通過無(wú)線網(wǎng)絡(luò)的多模式網(wǎng)絡(luò)(web)交互的系統(tǒng)和方法克服了傳統(tǒng)的用于無(wú)線通信的人機(jī)界面的局限性。本發(fā)明的多模式網(wǎng)絡(luò)交互將使用戶以多種方式與互聯(lián)網(wǎng)應(yīng)用程序交互，例如包括輸入鍵盤、小鍵盤、鼠標(biāo)、指示筆、語(yǔ)音；輸出純文本、圖形、動(dòng)態(tài)視頻、音頻、合成語(yǔ)音。
這些模式的每一個(gè)都能獨(dú)立或合并使用。在以下更詳細(xì)描述的實(shí)施例中，本發(fā)明使用多模式標(biāo)記語(yǔ)言(MML)。
在一個(gè)實(shí)施例中，本發(fā)明提供一種用于通過無(wú)線網(wǎng)絡(luò)的網(wǎng)絡(luò)交互方法。在所述實(shí)施例中，客戶端系統(tǒng)接收用戶輸入，解釋所述用戶輸入以確定幾個(gè)網(wǎng)絡(luò)交互模式中的至少一個(gè)，產(chǎn)生相應(yīng)的客戶端請(qǐng)求并發(fā)送所述客戶端請(qǐng)求。所述服務(wù)器接收并解釋所述客戶端請(qǐng)求以執(zhí)行特定的檢索工作，并將結(jié)果發(fā)送到所述客戶端系統(tǒng)。
在一個(gè)實(shí)施例中，通過使用多模式標(biāo)記語(yǔ)言(MML)實(shí)現(xiàn)本發(fā)明，所述多模式標(biāo)記語(yǔ)言(MML)包括DSR(分布語(yǔ)音識(shí)別)機(jī)制、聚焦機(jī)制、同步機(jī)制和控制機(jī)制，其中所述聚焦機(jī)制用于確定聚焦于哪一個(gè)活動(dòng)顯示以及所聚焦的顯示元素的標(biāo)識(shí)符。所述同步機(jī)制用于獲得語(yǔ)音元素和顯示元素之間的同步關(guān)系以建立用于處理用戶的語(yǔ)音輸入的相應(yīng)語(yǔ)音元素的語(yǔ)法。所述控制機(jī)制控制客戶端機(jī)和服務(wù)器之間的交互。根據(jù)這種設(shè)備，所述多模式網(wǎng)絡(luò)交互流程如下例所示用戶使用超鏈接指向或點(diǎn)擊，提交表單(form)(傳統(tǒng)的網(wǎng)絡(luò)交互)或按下“談話按鈕”并輸入語(yǔ)音(語(yǔ)音交互)。
客戶端接收并解釋所述用戶輸入。在傳統(tǒng)的網(wǎng)絡(luò)交互的情況中，所述客戶端向所述服務(wù)器發(fā)送新頁(yè)面的請(qǐng)求，或提交表單。在語(yǔ)音交互的情況中，所述客戶端確定聚焦于哪一個(gè)活動(dòng)顯示元素以及所聚焦的顯示元素的標(biāo)識(shí)符、捕獲語(yǔ)音、提取語(yǔ)音特征，并將所述語(yǔ)音特征、所聚焦的顯示元素的標(biāo)識(shí)符和例如當(dāng)前頁(yè)URL的其它信息發(fā)送到所述服務(wù)器?？蛻舳说却鄳?yīng)的服務(wù)器應(yīng)答。
服務(wù)器接收和解釋來(lái)自所述客戶端的請(qǐng)求。在傳統(tǒng)的網(wǎng)絡(luò)交互的情況下，所述服務(wù)器從高速緩存或網(wǎng)頁(yè)服務(wù)器中檢索新的網(wǎng)頁(yè)并將所述網(wǎng)頁(yè)發(fā)送至客戶端。在語(yǔ)音交互的情況下，所述服務(wù)器接收所聚焦的顯示元素的標(biāo)識(shí)符，以建立基于顯示元素和語(yǔ)音元素的同步性的正確語(yǔ)法。隨后執(zhí)行語(yǔ)音識(shí)別。根據(jù)語(yǔ)音識(shí)別的結(jié)果，所述服務(wù)器將執(zhí)行特定的工作并向客戶端發(fā)送事件或新的網(wǎng)頁(yè)。然后，所述服務(wù)器等待來(lái)自所述客戶端的新請(qǐng)求。
客戶端下載所述新的網(wǎng)頁(yè)或處理事件。
這里所描述的本發(fā)明的多個(gè)實(shí)施例提供了使用分布語(yǔ)音識(shí)別(DSR)技術(shù)來(lái)實(shí)現(xiàn)多模式網(wǎng)絡(luò)交互的方法。所述方法使幾種交互模式中的每一個(gè)都能單獨(dú)地或合并使用。
作為本發(fā)明的另一好處，由于具有所述聚焦機(jī)制和同步機(jī)制，本發(fā)明將使所述語(yǔ)音識(shí)別技術(shù)可行地使用于所述網(wǎng)頁(yè)的檢索信息上，改善語(yǔ)音識(shí)別的精確性，減少語(yǔ)音識(shí)別所需的計(jì)算資源，并實(shí)現(xiàn)實(shí)時(shí)的語(yǔ)音識(shí)別。
作為本發(fā)明的另一好處，由于基于多模式標(biāo)記語(yǔ)言的實(shí)現(xiàn)，本發(fā)明的方法可以在各成員之間共享，所述多模式標(biāo)記語(yǔ)言是通過增加語(yǔ)音特征的XML的擴(kuò)展。所述方法可用于幫助互聯(lián)網(wǎng)服務(wù)提供商(ISP)容易地建立用于多模式網(wǎng)絡(luò)交互的服務(wù)器平臺(tái)。所述方法可用于幫助互聯(lián)網(wǎng)內(nèi)容服務(wù)提供商(ICP)來(lái)容易地創(chuàng)建具有多模式網(wǎng)絡(luò)交互特征的應(yīng)用程序。特別地，多模式標(biāo)記語(yǔ)言(MML)能夠以至少兩個(gè)方案用在所述網(wǎng)絡(luò)上建立語(yǔ)音應(yīng)用程序
多模式應(yīng)用程序可以通過將MML增加到用于語(yǔ)音模型的可視XML頁(yè)面上來(lái)設(shè)計(jì)；通過使用用于DTMF輸入的MML特征，可以編寫在不需要可視顯示的情況下如電話的純語(yǔ)音應(yīng)用程序。
這允許內(nèi)容開發(fā)者重新使用用于處理用戶輸入的代碼。所述應(yīng)用程序邏輯在各方案中保持相同基礎(chǔ)的應(yīng)用程序不需要知道信息是通過語(yǔ)音還是其他輸入方法獲得的。
現(xiàn)在參照?qǐng)D1，表示可以應(yīng)用本發(fā)明實(shí)施例的網(wǎng)絡(luò)環(huán)境的示意圖。如圖1所示，客戶端10可以通過互聯(lián)網(wǎng)5從網(wǎng)絡(luò)服務(wù)器12中訪問文檔，特別是通過全球網(wǎng)(“網(wǎng)絡(luò)”)。如所熟知的，所述全球網(wǎng)是對(duì)位于全世界無(wú)數(shù)通過互聯(lián)網(wǎng)邏輯聯(lián)系著的計(jì)算機(jī)上的有格式的超文本頁(yè)面的集合。客戶端10可以是個(gè)人電腦或各種移動(dòng)計(jì)算設(shè)備14，例如個(gè)人數(shù)字助理或無(wú)線電話。個(gè)人數(shù)字助理或PDA是通常所知的手持計(jì)算機(jī)，其可用于存儲(chǔ)各種個(gè)人信息，包括但不僅限于聯(lián)系信息、日歷信息等等。
這種信息可以從其它計(jì)算機(jī)系統(tǒng)下載，或可以由PDA的指示筆和壓敏屏幕輸入。PDA的例子是3Com公司的PalmTM計(jì)算機(jī)和微軟CETM計(jì)算機(jī)，其各自都可以從多種廠家得到。操作例如無(wú)繩電話、雙模無(wú)繩電話和PDA的移動(dòng)計(jì)算設(shè)備或者操作便攜式膝上型計(jì)算機(jī)的用戶發(fā)出訪問因特網(wǎng)的控制命令。所述控制命令可以包括數(shù)字的編碼數(shù)據(jù)、DTMF或語(yǔ)音命令。這些控制命令通常被發(fā)送至網(wǎng)關(guān)18。所述網(wǎng)關(guān)18處理來(lái)自所述移動(dòng)計(jì)算設(shè)備14的控制命令(包括執(zhí)行語(yǔ)音識(shí)別)并向所述網(wǎng)絡(luò)服務(wù)器12發(fā)送請(qǐng)求響應(yīng)于所述請(qǐng)求，所述網(wǎng)絡(luò)服務(wù)器12向所述網(wǎng)關(guān)18發(fā)送文檔。然后，所述網(wǎng)關(guān)18合并來(lái)自所述文檔的顯示內(nèi)容并向所述客戶端14發(fā)送所述顯示內(nèi)容。
根據(jù)用于通過無(wú)線網(wǎng)絡(luò)的網(wǎng)絡(luò)交互的本發(fā)明實(shí)施例，所述客戶端14解釋所述用戶輸入以確定網(wǎng)絡(luò)交互模式，基于所述交互模式確定結(jié)果產(chǎn)生和發(fā)送所述客戶端14請(qǐng)求；以及多模式標(biāo)記語(yǔ)言(MML)服務(wù)器(網(wǎng)關(guān))18解釋所述客戶端14請(qǐng)求以執(zhí)行特定的檢索工作。所述網(wǎng)絡(luò)交互模式可以是傳統(tǒng)的輸入/輸出(例如鍵盤、小鍵盤、鼠標(biāo)以及指示筆/純文本、圖形和動(dòng)態(tài)視頻)或語(yǔ)音輸入/音頻(合成語(yǔ)音)輸出。這些實(shí)施例使用戶以多種方式瀏覽所述全球網(wǎng)。特別地，用戶可以單獨(dú)地或同時(shí)地通過傳統(tǒng)的輸入/輸出和語(yǔ)音輸入/輸出與互聯(lián)網(wǎng)應(yīng)用程序交互。
在以下部分，我們將根據(jù)本發(fā)明的一個(gè)實(shí)施例描述通過無(wú)線網(wǎng)絡(luò)的用于網(wǎng)絡(luò)交互的系統(tǒng)。我們所給的參考設(shè)計(jì)是MML的一個(gè)實(shí)現(xiàn)，所述MML通過增加語(yǔ)音特征以增強(qiáng)XHTML模塊，擴(kuò)展了XHTML Basic。XHTML Basic的目的是提供可以在成員之間共享的XHTML文檔類型。因此，XHTML基本語(yǔ)言文檔可以在最大量的網(wǎng)絡(luò)客戶端中使用，例如移動(dòng)電話、PDA和智能電話。這就是基于XHTML Basic實(shí)現(xiàn)MML的理由。
在一個(gè)實(shí)施例中的XHTML Basic模塊結(jié)構(gòu)模塊；文本模塊；超文本模塊；列表模塊；基本表單模塊(Basic FormsModule)；基本表格模塊(Basic Tables Module)；圖像模塊；目標(biāo)模塊；元信息模塊(Metainformation Module)；鏈接模塊和基本模塊(Link Module andBase Module)。
其它XHTML模塊可以提供更多特征腳本模塊支持客戶端腳本。
風(fēng)格模塊(Style Module)支持內(nèi)聯(lián)樣式表單。
參照?qǐng)D2，表示根據(jù)本發(fā)明一個(gè)實(shí)施例的用于通過無(wú)線網(wǎng)絡(luò)的網(wǎng)絡(luò)交互的系統(tǒng)100的示意圖。在圖2中，僅表示與本發(fā)明相關(guān)的部分，以免模糊本發(fā)明。如圖2所示，所述客戶端110包括網(wǎng)絡(luò)交互模式解釋器111、語(yǔ)音輸入/輸出處理器112、聚焦機(jī)制113、傳統(tǒng)輸入/輸出處理器114、數(shù)據(jù)往返檢查115和控制機(jī)制116。所述MML服務(wù)器120包括網(wǎng)絡(luò)交互模式解釋器121、語(yǔ)音識(shí)別處理器122、同步機(jī)制123、動(dòng)態(tài)語(yǔ)法編輯器124、HTTP處理器125、數(shù)據(jù)往返檢查126和控制機(jī)制127。
在所述系統(tǒng)100中，在客戶端110中，網(wǎng)絡(luò)交互模式解釋器111接收和解釋用戶輸入以確定網(wǎng)絡(luò)交互模式。所述網(wǎng)絡(luò)交互模式解釋器111還協(xié)助所述客戶端110的內(nèi)容解釋。在傳統(tǒng)的網(wǎng)絡(luò)交互情況下，傳統(tǒng)的輸入/輸出處理器114處理用戶輸入，然后數(shù)據(jù)往返檢查115向所述服務(wù)器120發(fā)出新網(wǎng)頁(yè)或提交表單的請(qǐng)求。在語(yǔ)音交互情況下，語(yǔ)音輸入/輸出處理器112捕獲并提取語(yǔ)音特征，聚焦機(jī)制113確定聚焦于哪個(gè)活動(dòng)顯示元素上以及所聚焦的顯示元素的標(biāo)識(shí)符。然后數(shù)據(jù)往返檢查115將所提取的語(yǔ)音特征、所聚焦的顯示元素的標(biāo)識(shí)符和例如當(dāng)前頁(yè)的URL的其它信息發(fā)送至所述MML服務(wù)器。在MML服務(wù)器120中網(wǎng)絡(luò)交互模式解釋器121接收和解釋來(lái)自所述客戶端110的請(qǐng)求以確定所述網(wǎng)絡(luò)交互模式。所述網(wǎng)絡(luò)交互模式解釋器121還幫助所述服務(wù)器120中的內(nèi)容解釋。在傳統(tǒng)的網(wǎng)絡(luò)交互情況下，HTTP處理器125從高速緩存或網(wǎng)絡(luò)服務(wù)器130中檢索新的網(wǎng)頁(yè)或表單。在語(yǔ)音交互情況下，同步機(jī)制123基于所接收的標(biāo)識(shí)符獲得在語(yǔ)音元素和顯示元素之間的同步關(guān)系，動(dòng)態(tài)語(yǔ)法編輯器124基于在語(yǔ)音元素和顯示元素之間的同步關(guān)系編寫正確的語(yǔ)法。語(yǔ)音識(shí)別處理器122基于由動(dòng)態(tài)語(yǔ)法編輯器124編寫的正確語(yǔ)法完成語(yǔ)音識(shí)別。按照所述識(shí)別結(jié)果，HTTP處理器125從高速緩存或網(wǎng)頁(yè)服務(wù)器130中檢索新的網(wǎng)頁(yè)或表單。然后，數(shù)據(jù)往返檢查126基于檢索結(jié)果向所述客戶端110發(fā)送應(yīng)答。所述控制機(jī)制116和127用于控制所述客戶端和服務(wù)器之間的交互。
以下是根據(jù)實(shí)施例對(duì)使用了具有聚焦機(jī)制、同步機(jī)制和控制機(jī)制的MML的本發(fā)明一個(gè)實(shí)施例的詳細(xì)說明。
聚焦機(jī)制在多模式網(wǎng)絡(luò)交互中，除傳統(tǒng)的輸入法之外，語(yǔ)音輸入可以成為一種新的輸入源。當(dāng)使用語(yǔ)音交互時(shí)，在客戶端檢測(cè)語(yǔ)音并提取語(yǔ)音特征，并且語(yǔ)音識(shí)別在所述服務(wù)器中完成。我們通常注意到，用戶一般使用以下類型的常規(guī)顯示元素執(zhí)行輸入超鏈接用戶可以選擇穩(wěn)定的超鏈接。
表單用戶可以觀看和/或修改包含例如股票價(jià)格、貨幣兌換、航班等信息的電子表單。
考慮到當(dāng)前語(yǔ)音識(shí)別技術(shù)的局限性，在本發(fā)明的多模式網(wǎng)絡(luò)交互中，提供聚焦機(jī)制來(lái)把用戶注意力集中到用戶執(zhí)行語(yǔ)音輸入的活動(dòng)的顯示元素上。顯示元素是通過高亮度顯示或者另外特別著色的顯示元素來(lái)聚焦的，用戶的語(yǔ)音輸入將應(yīng)用于所述顯示元素上。當(dāng)將所聚焦的顯示元素的標(biāo)識(shí)符(ID)發(fā)送到所述服務(wù)器時(shí)，所述服務(wù)器可以基于顯示元素和語(yǔ)音元素之間相應(yīng)的關(guān)系執(zhí)行語(yǔ)音識(shí)別。因此，代替?zhèn)鹘y(tǒng)的具有很大詞匯的錄入，一個(gè)實(shí)施例的所需詞匯數(shù)據(jù)庫(kù)基于超鏈接、電子表單和其它用戶將在其上執(zhí)行語(yǔ)音輸入的顯示元素。同時(shí)，在服務(wù)器端，可以基于所述顯示元素和語(yǔ)音元素的同步性而動(dòng)態(tài)地建立正確的語(yǔ)法。因此，將提高語(yǔ)音識(shí)別的精確性，減少語(yǔ)音識(shí)別的計(jì)算負(fù)荷，以及真正實(shí)現(xiàn)實(shí)時(shí)的語(yǔ)音識(shí)別。
圖3和圖4的MMI可以幫助理解對(duì)實(shí)施例中的活動(dòng)顯示元素的聚焦處理。圖3表示在一組超鏈接上的聚焦，以及圖4表示在表單上的聚焦。
在傳統(tǒng)的XHTML規(guī)范中，不允許在表單之外增加按鈕。由于我們的方法不改變所述XHTML規(guī)范，在實(shí)施例中可以采用“可編程硬件按鈕”來(lái)聚焦一組超鏈接。采用具有“對(duì)我說(Talk To Me)”標(biāo)題的軟件按鈕來(lái)聚焦所述電子表單顯示元素。對(duì)本領(lǐng)域普通技術(shù)人員來(lái)說顯而易見的是，其它輸入方式同樣可以用于特殊顯示元素的聚焦。
當(dāng)在顯示屏上顯示“界面卡(card)”或文檔的網(wǎng)頁(yè)時(shí)，沒有開始聚焦顯示元素。使用所述“可編程硬件按鈕”或“對(duì)我說按鈕”，用戶可以通過語(yǔ)音方法來(lái)執(zhí)行網(wǎng)絡(luò)交互。如果用戶點(diǎn)擊所述“可編程硬件按鈕”或“對(duì)我說按鈕”，按鈕所屬的顯示元素被聚焦。然后，可能的情況如下用戶談話一旦用戶引起在特定顯示元素上的聚焦，來(lái)自用戶的語(yǔ)音被接收和存儲(chǔ)或者與同所聚焦的顯示元素相聯(lián)系的可得的輸入選擇相比較。如果所存儲(chǔ)的語(yǔ)音與特定的輸入選擇足夠接近，則產(chǎn)生“匹配”事件并顯示新的界面卡或網(wǎng)頁(yè)。
所述新的界面卡或網(wǎng)頁(yè)符合所匹配的輸入選擇。如果所存儲(chǔ)的語(yǔ)音不能與特定的輸入選擇匹配，則產(chǎn)生“不匹配”事件，顯示音頻或文字提示，顯示元素仍被聚焦。
用戶也可以使用傳統(tǒng)的方式引起對(duì)特定顯示元素的聚焦，例如指向輸入?yún)^(qū)，例如在表單中的框符。在這種情況下，當(dāng)前聚焦的顯示元素變?yōu)椴痪劢梗驗(yàn)檫x擇了不同的顯示元素。
用戶還可以指向超文本鏈接，該超文本鏈接一起顯示新的界面卡或網(wǎng)頁(yè)。如果用戶指向另一個(gè)“對(duì)我說按鈕”，先前的顯示元素變?yōu)椴痪劢梗弦淮吸c(diǎn)擊所屬的顯示元素變成聚焦。
如果用戶在長(zhǎng)于預(yù)定配置長(zhǎng)度的時(shí)間中不進(jìn)行任何操作，所聚焦的顯示元素可以變?yōu)椴痪劢埂?br>
同步機(jī)制當(dāng)用戶希望通過語(yǔ)音方法在顯示元素上輸入時(shí)，相應(yīng)的語(yǔ)音元素的語(yǔ)法將加載到所述服務(wù)器以處理用戶的語(yǔ)音輸入。因此，用于所述語(yǔ)音元素和顯示元素的同步或構(gòu)造設(shè)置是必需的。以下是實(shí)現(xiàn)所述結(jié)果的兩個(gè)實(shí)施例。
一種基本的語(yǔ)音元素具有包括用于在網(wǎng)頁(yè)上同一時(shí)間語(yǔ)音交互的所有入口文字的語(yǔ)法。
一個(gè)基本的語(yǔ)音元素必須有且僅有如下一個(gè)相應(yīng)的如下顯示元素一組超鏈接一個(gè)表單一個(gè)可識(shí)別的單個(gè)或成組的顯示元素。
因此，需要執(zhí)行綁定功能將語(yǔ)音元素綁定到相應(yīng)的顯示元素上。在一個(gè)實(shí)施例中，“綁定”屬性由<mmllink>、<mmlsform>和<mmlinput>定義。所述綁定屬性包含一個(gè)顯示元素和相應(yīng)的語(yǔ)音元素對(duì)的信息。
下面給出了用于超鏈接類型顯示元素的所述綁定的源代碼示例。
<mmlcard>
<a id＝″stock″>stock</a>
<a id＝″flight″>flight</a>
<aid＝″weather″>weather</a>
<mmlspeech>
<mmlrecog>
<mmlgroup>
<mml grammar src＝″grammar.gram″/>
<mmllink value＝″#stock-gram″bind＝″stock″/>
<mmllink value＝″#flight-gram″bind＝″flight″/>
<mmllink value＝″#weather-gram″bind＝″weather″/>
</mmlgroup>
</mmlrecog>
</mmlspeech>
</mmlcard>
下面給出了用于在電子表單中綁定的源代碼示例，例如飛行航班信息表單。
<mmlcard title＝″flight inquery″>
<script language＝″javascript″>
function talk1(){var sr＝new DSR.FrontEnd；sr.start(″form-flight″)；}</script>
<p>flightquery</p><form id＝″form-flight″action＝″flightquery.asp″method＝″post″>
<p>date<input type＝″text″id＝″date1″name＝″date01″/>
company(optional)<input type＝″text″id＝″company1″name＝″company01″/>
</p>
<p>startfrom<input type＝″text″id＝″start-from″name＝″start″/>
arrivingat<input type＝″text″id＝″arriving-at″name＝″e(cuò)nd″/>
</p>
<p><input type＝″submit″value＝″submit″/><input type＝″Reset″value＝″Reset″/>
<input type＝″button″value＝″Talk To Me″onclick＝″talk1()″/>
</p>
</form>
<mmlspeech>
<mmlrecog>
<mmlsform id＝″sform-flight″bind＝″form-flight″>
<mmlgrammar src＝″flight-query.gram″/>
<mmlinput id＝″sdate″value＝″#date″bind＝″date1″/>
<mmlinput id＝″scompany″value＝″#company″bind＝″company1″/>
<mmlinput id＝″sstart″value＝″#start″bind＝″start-from″/>
<mmlinput id＝″send″value＝″#end″bind＝″arriving-at″/>
<mmlonevent type＝″match″>
<mmldo target＝″flight-prompt″type＝″activation″/>
</mmlonevent>
</mmlsform>
<mmlonevent type＝″nomatch″>
<mmldo target＝″prompt1″type＝″activation″/>
</mmlonevent>
</mmlrecog>
</mmlspeech>
</mmlcard>
客戶端-服務(wù)器控制機(jī)制當(dāng)執(zhí)行多模式交互時(shí)，為了向用戶代理和服務(wù)器指示已經(jīng)發(fā)生一些動(dòng)作，需要較好地定義在客戶端或服務(wù)器端產(chǎn)生的系統(tǒng)消息或者在客戶端或服務(wù)器端產(chǎn)生的其它事件。
在本發(fā)明的實(shí)施例中，設(shè)計(jì)客戶端-服務(wù)器控制機(jī)制以提供用于系統(tǒng)消息和MML事件的定義的機(jī)制，所述系統(tǒng)消息和MML事件是控制所述客戶端和服務(wù)器之間的交互所需要的。
表1包括系統(tǒng)消息和MML事件的典型設(shè)置。
表1控制信息表系統(tǒng)消息所述系統(tǒng)消息用于客戶端和服務(wù)器交換系統(tǒng)信息。一些類型的系統(tǒng)消息由所述客戶端觸發(fā)并發(fā)送給所述服務(wù)器。其它的由所述服務(wù)器觸發(fā)并發(fā)送給所述客戶端。
在一個(gè)實(shí)施例中，在客戶端觸發(fā)的系統(tǒng)消息包括如下<1>對(duì)話消息當(dāng)所述客戶端初始化到服務(wù)器的連接時(shí)發(fā)送所述對(duì)話消息。在發(fā)送所述對(duì)話消息之后，應(yīng)接收來(lái)自所述服務(wù)器的就緒消息或錯(cuò)誤消息。以下是所述對(duì)話消息的例子<message type＝″session″>
<ip></ip><！—請(qǐng)求客戶端的IP地址-->
<type></type><！—客戶端的設(shè)備類型-->
<voice></voice> <！—用戶的語(yǔ)音特征-->
<！—如男人、女人、老年男子、老年婦女、孩子-->
<language></language><！—用戶所用語(yǔ)言-->
<accuracy></accuracy><！—客戶端請(qǐng)求的缺省識(shí)別精確度-->
</message>
<2>傳輸消息在客戶端與所述服務(wù)器建立對(duì)話之后發(fā)送所述傳輸消息(客戶端)。在發(fā)送所述傳輸消息(客戶端)之后，應(yīng)從服務(wù)器接收傳輸消息(服務(wù)器)或錯(cuò)誤消息期。以下是傳輸消息的例子<message type＝″transmission″>
<session></session><！--本次對(duì)話的標(biāo)識(shí)符-->
<crc></crc> <！--客戶端要求的crc信息-->
<QoS></QoS> <！—客戶端要求的QoS信息-->
<bandwith></bandwith> <！—客戶端要求的帶寬-->
</message>
<3>聚焦消息聚焦和未聚焦消息是特定的客戶端系統(tǒng)消息。
當(dāng)用戶點(diǎn)擊、或按下、或觸發(fā)所述“談話按鈕”(這里“談話按鈕”意味著“硬件可編程按鈕”和“對(duì)我說按鈕”)時(shí)聚焦發(fā)生。當(dāng)聚焦發(fā)生時(shí)，所述客戶端將執(zhí)行以下任務(wù)
a.打開話筒和執(zhí)行前端檢測(cè)b.當(dāng)捕獲到實(shí)際語(yǔ)音的起點(diǎn)時(shí)，執(zhí)行前端語(yǔ)音處理。相應(yīng)的聚焦顯示元素的標(biāo)識(shí)符和其它基本信息(例如當(dāng)前頁(yè)的URL)與所述第一語(yǔ)音特性數(shù)據(jù)包一起發(fā)送到服務(wù)器。
c.當(dāng)所述第一語(yǔ)音特性數(shù)據(jù)包到達(dá)所述服務(wù)器時(shí)，相應(yīng)的語(yǔ)法將加載到識(shí)別器中并執(zhí)行語(yǔ)音識(shí)別。
以下是發(fā)送到所述服務(wù)器的聚焦消息的例子<message type＝″OnFocus″>
<session><session><！—本次對(duì)話的標(biāo)識(shí)符-->
<id></id> <！—聚焦顯示元素的標(biāo)識(shí)符-->
<url><url><！—當(dāng)前客戶端加載的文檔的URL-->
</message>
建議聚焦消息隨語(yǔ)音特性一起發(fā)送而不是單獨(dú)發(fā)送。其理由是為了在這些情況中優(yōu)化和減少不必要的通信和服務(wù)器負(fù)荷“當(dāng)用戶在開始一次對(duì)話之前在同一界面卡或同一頁(yè)面上切換和點(diǎn)擊兩個(gè)不同的“談話按鈕”時(shí)，所述客戶端將向服務(wù)器發(fā)送不必要的聚焦消息并且將使服務(wù)器不必要地創(chuàng)建語(yǔ)法?！钡擒浖?yīng)商可以選擇實(shí)現(xiàn)單獨(dú)發(fā)送聚焦消息。
<4>未聚焦消息當(dāng)未聚焦發(fā)生時(shí)，所述客戶端將執(zhí)行關(guān)閉話筒的任務(wù)。在以下情況中，未聚焦發(fā)生a.用戶點(diǎn)擊、按下或另外觸發(fā)所聚焦的顯示元素的“談話按鈕”。
b.用戶在例如表單框符等的輸入?yún)^(qū)內(nèi)使用點(diǎn)到點(diǎn)的傳統(tǒng)方式。
在以下情況中，未聚焦不發(fā)生，a.當(dāng)在界面卡或頁(yè)面中存在聚焦的顯示元素時(shí)，用戶點(diǎn)擊、按下或另外觸發(fā)所述未聚焦的顯示元素的“談話按鈕”。
<5>退出消息當(dāng)所述客戶端退出對(duì)話時(shí)發(fā)送所述退出消息。以下舉例<message type＝″e(cuò)xit″>
<session><session><！—本次對(duì)話的標(biāo)識(shí)符-->
</message>
服務(wù)器觸發(fā)的系統(tǒng)消息<1>就緒消息當(dāng)客戶端首先發(fā)送對(duì)話消息且服務(wù)器準(zhǔn)備好工作時(shí)，由所述服務(wù)器發(fā)送所述就緒消息。以下舉例<message type＝″ready″>
<session></session><！--由服務(wù)器隨后創(chuàng)建的對(duì)話的標(biāo)識(shí)符-->
<！--已經(jīng)接收對(duì)話消息-->
<ip></ip> <！--響應(yīng)服務(wù)器的IP地址-->
<voice>
<support>T</support> <！--T或者F，服務(wù)器支持或者不支持在對(duì)話消息中客戶端請(qǐng)求的語(yǔ)音特征-->
<server></server> <！--服務(wù)器正在使用的語(yǔ)音特征-->
</voice>
<language>
<support>T</support> <！--T或者F，服務(wù)器支持或者不支持客戶端在對(duì)話消息中所請(qǐng)求的語(yǔ)言-->
<server></server> <！--服務(wù)器正在使用的語(yǔ)言--></language><accuracy>
<support>T</support> <！--T或者F，服務(wù)器支持或者不支持客戶端在對(duì)話消息中請(qǐng)求的缺省識(shí)別精確度--><server></server><！--服務(wù)器正在使用的缺省識(shí)別精確度-->
</accuracy>
</message>
<2>傳輸消息當(dāng)客戶端首先發(fā)送傳輸消息或網(wǎng)絡(luò)狀態(tài)變化時(shí)，服務(wù)器發(fā)送所述傳輸消息。所述消息用于通知客戶端其應(yīng)使用的傳輸參數(shù)。以下舉例<message type＝″transmission″>
<session></session><！--本次對(duì)話的標(biāo)識(shí)符-->
<crc> </crc> <！--crc信息-->
<QoS></QoS> <！--QoS信息-->
<bandwidth> </bandwidth> <！--客戶端應(yīng)使用的帶寬-->
</message>
<3>錯(cuò)誤消息所述錯(cuò)誤信息由所述服務(wù)器發(fā)送。如果服務(wù)器在處理客戶端請(qǐng)求時(shí)產(chǎn)生一些錯(cuò)誤，所述服務(wù)器將向所述客戶端發(fā)送錯(cuò)誤信息。以下舉例<message type＝″e(cuò)rror″>
<session></session> <！—本次對(duì)話的標(biāo)識(shí)符-->
<errorcode>500</errorcode> <！—錯(cuò)誤的編碼數(shù)量-->
<erroinifo></errorinfo> <！—錯(cuò)誤的文本信息-->
</message>
MML事件所述MML事件的目的是為處理不同的處理事件提供靈活的界面結(jié)構(gòu)。MML事件可以根據(jù)事件源分類為客戶端產(chǎn)生的事件和服務(wù)器產(chǎn)生的事件。并且所述事件可能需要在所述客戶端和服務(wù)器之間通信。
在所述MML定義中，事件處理指令的元素是<mmlonevent>。有四種類型的事件由服務(wù)器端觸發(fā)的事件<1>匹配事件當(dāng)語(yǔ)音處理結(jié)果匹配時(shí)，如果頁(yè)面開發(fā)者將所述處理指令添加到所述MML頁(yè)面的“不匹配”事件的處理程序中，<mmlcard>
<form id＝″form01″action＝″other.mml″method＝″post″>
<input id＝″text1″type＝″text″name＝″add″value＝“上?！?>
</form>
...
<mmlspeech>
<mmlprompt id＝″promptServer″type＝″tts″>
The place you want to go<mmlgetvalue from＝″stext1″at＝″server″/>
</mmlprompt>
<mmlrecog>
<mmlsform id＝″sform01″bind＝″form01″>
<mmlgrammar src＝″Add.gram″/>
<mmlinput id＝″stext1″value＝″#add″bind＝″text1″/>
<mmlonevent type＝″match″>
<mmldo target＝″promptServer”type＝″activation″/>
</mmlonevent>
</mmlsform>
</mmlrecog>
</mmlspeech>
</mmlcard>
所述事件發(fā)送至所述客戶端如下例<event type＝″match″>
<do target＝″promptServer″>
<input id＝″stext1″value＝″place″/><！-’根據(jù)識(shí)別結(jié)果-->
</event>
如果頁(yè)面開發(fā)者沒有處理所述“匹配”，則不向客戶端發(fā)送事件。
<2>不匹配事件當(dāng)語(yǔ)音處理結(jié)果不匹配時(shí)，如果所述頁(yè)面開發(fā)者將所述處理指令添加到所述MML頁(yè)面的“不匹配”事件的處理程序中，<mmlonevent type＝″nomatch″>
<mmldo target＝″prompt1″type＝″activate″/>
</mmlonevent>
所述事件發(fā)送至所述客戶端如下例
<event type＝″nomatch″>
<do target＝″prompt1″/><！--由頁(yè)面開發(fā)者指定-->
</event>
如果頁(yè)面開發(fā)者沒有處理所述“匹配”，則事件發(fā)送至所述客戶端，如下<event type＝″nomatch″/>
由客戶觸發(fā)的事件<1>加載事件當(dāng)某個(gè)顯示元素加載時(shí)所述“加載”事件發(fā)生。所述事件類型僅在向所述“客戶端”發(fā)送所述觸發(fā)器屬性時(shí)有效。頁(yè)面開發(fā)者可以將所述處理指令添加到所述MML頁(yè)面的“加載”事件的處理程序中<mmlonevent type＝″onload″>
<mmldo target＝″prompt1″type＝″activate″/>
</mmlonevent>
“加載”事件不需要發(fā)送至所述服務(wù)器。
<2>卸載事件當(dāng)某個(gè)顯示元素卸載時(shí)所述“卸載”事件發(fā)生。所述事件類型僅在向所述“客戶端”發(fā)送觸發(fā)器屬性時(shí)有效。頁(yè)面開發(fā)者可以將所述處理指令添加到所述MML頁(yè)面的“加載”事件的處理程序中。
<mmlonevent type＝″unload″>
<mmldo target＝″prompt1″type＝″activate″/>
</mmlonevent>
“加載”事件不需要發(fā)送給所述服務(wù)器。
MML事件一致性所述一個(gè)實(shí)施例的MML事件機(jī)制是傳統(tǒng)的XML事件機(jī)制的擴(kuò)展。如圖5所示，在所述傳統(tǒng)的事件處理中有兩個(gè)階段“捕獲”和“起泡”(見XML事件一致性)。
為簡(jiǎn)化所述事件機(jī)制、提高效率和更簡(jiǎn)易地實(shí)施，我們提出了一個(gè)實(shí)施例的MML簡(jiǎn)易事件機(jī)制。如圖6所示，在所述簡(jiǎn)易事件機(jī)制中，既不需要“捕獲”也不需要“起泡”階段。在所述實(shí)施例的MML事件機(jī)制中，觀察器節(jié)點(diǎn)必須是所述事件處理程序<mmlonevent>的父節(jié)點(diǎn)。由一個(gè)節(jié)點(diǎn)觸發(fā)的事件是只能由子<mmlonevent>事件處理節(jié)點(diǎn)處理的。其它<mmlonevent>節(jié)點(diǎn)將不中止所述事件。并且，忽略所述<mmlonevent>的階段屬性。
圖5和6表示兩個(gè)事件機(jī)制。虛線父節(jié)點(diǎn)(圖5中的節(jié)點(diǎn)510和圖6中的節(jié)點(diǎn)610)將中止所述事件。虛線節(jié)點(diǎn)的子節(jié)點(diǎn)<mmlonevent>(圖5中的節(jié)點(diǎn)520和圖6中的節(jié)點(diǎn)620)將有機(jī)會(huì)去處理所述確定事件。
在所述實(shí)施例中的MML事件具有與主語(yǔ)言(XHTML)統(tǒng)一的事件界面，但是獨(dú)立于所述主語(yǔ)言的傳統(tǒng)事件。頁(yè)面開發(fā)者通過加入如觀察器節(jié)點(diǎn)或目標(biāo)節(jié)點(diǎn)的子節(jié)點(diǎn)的<mmlonevent>標(biāo)記在所述MML網(wǎng)頁(yè)中寫入事件。
圖7表示在本發(fā)明一個(gè)實(shí)施例中使用的系統(tǒng)消息和MML事件的處理過程的基本流程圖。所述過程可以劃分為以下部分，所述每個(gè)部分都執(zhí)行所列步驟，如圖7所示。
1)連接步驟1對(duì)話消息從客戶端發(fā)送到服務(wù)器步驟2就緒消息從服務(wù)器發(fā)送到客戶端步驟3傳輸消息(傳輸參數(shù))從客戶端發(fā)送到服務(wù)器步驟4傳輸消息(傳輸參數(shù))從服務(wù)器發(fā)送到客戶端當(dāng)在上述四個(gè)步驟中發(fā)生不匹配時(shí)，將從所述服務(wù)器向所述客戶端發(fā)送錯(cuò)誤信息。
2)語(yǔ)音交互步驟1特征流與聚焦消息從所述客戶端發(fā)送到所述服務(wù)器步驟2將發(fā)生幾個(gè)情況結(jié)果匹配如果所述實(shí)施包括在所述MML網(wǎng)頁(yè)中任意的事件處理，所述事件將發(fā)送給客戶端。
如果鏈接到新文件，所述新文檔將發(fā)送給客戶端。
如果鏈接到相同文檔中的新界面卡或頁(yè)面，所述事件與所述界面卡或頁(yè)標(biāo)識(shí)符將發(fā)送給客戶端。
結(jié)果不匹配如果所述實(shí)施包括在所述MML網(wǎng)頁(yè)中的任意事件處理，所述不匹配事件與事件處理信息將發(fā)送給客戶端。
如果所述實(shí)施不包括在所述MML網(wǎng)頁(yè)中的任意事件處理，所述不匹配事件與空的信息將發(fā)送給客戶端。
3)傳統(tǒng)的交互URL請(qǐng)求新文檔將發(fā)送給客戶端4)退出對(duì)話如果客戶端退出，所述退出消息將發(fā)送給服務(wù)器如上所述，本發(fā)明的多種實(shí)施例提供了由MML實(shí)現(xiàn)的聚焦機(jī)制、同步機(jī)制和控制機(jī)制。MML通過添加語(yǔ)音特性處理擴(kuò)展了所述XHTML基本語(yǔ)言。圖8表示在本發(fā)明一個(gè)實(shí)施例中使用的MML元素塊的細(xì)節(jié)。當(dāng)由所述多模式服務(wù)器接收到內(nèi)容文檔時(shí)，一部分MML元素塊將發(fā)送給客戶端。在圖8的虛線810內(nèi)表示發(fā)送給所述客戶端的所述MML元素塊的設(shè)置。所述整個(gè)文檔將保持在所述多模式服務(wù)器中。
以下是對(duì)于每個(gè)MML元素的詳細(xì)說明。
仍然參照?qǐng)D8，以下更詳細(xì)地描述了在一個(gè)實(shí)施例中的每個(gè)MML元素。作為舉例，MML元素使用以“mml”前綴為標(biāo)識(shí)的命名空間。
所述<card>元素
其功能為將整個(gè)文檔劃分為一些界面卡或頁(yè)面(段)。所述客戶端裝置將每次顯示一個(gè)界面卡。這是對(duì)小型的顯示設(shè)備和無(wú)線傳輸?shù)淖顑?yōu)化。多個(gè)界面卡元素可能出現(xiàn)在一個(gè)文檔中。每個(gè)界面卡元素代表獨(dú)立的顯示或與所述用戶的交互。
所述<mmlcard>是且僅是一個(gè)與所述內(nèi)容顯示和文檔結(jié)構(gòu)有關(guān)系的MML的元素。
所述任意的id屬性規(guī)定了元素在整個(gè)文檔范圍內(nèi)的唯一標(biāo)識(shí)符。
所述任意的title屬性規(guī)定了當(dāng)加載和顯示所關(guān)聯(lián)界面卡時(shí)將顯示在所述用戶代理的標(biāo)題欄上的字符串。
所述任意的style屬性規(guī)定了所述XHTML內(nèi)聯(lián)樣式。所述樣式的作用范圍是整個(gè)界面卡。但是這可能由一些XHTML子元素覆蓋，所述XHTML子元素可以定義它們自己的內(nèi)聯(lián)(inline)樣式。
所述<speech>元素
所述<mmlspeech>元素是整個(gè)語(yǔ)音相關(guān)元素的容器。所述<mmlspeech>的子元素可以是<mmlrecog>和/或<mmlprompt>。
所述任意的id屬性規(guī)定了元素在整個(gè)文檔范圍內(nèi)的唯一標(biāo)識(shí)符。
所述<recog>元素
所述<mmlrecog>元素是語(yǔ)音識(shí)別元素的容器。
所述任意的id屬性規(guī)定了元素在整個(gè)文檔范圍內(nèi)的唯一標(biāo)識(shí)符。
所述<group>元素
所述任意的id屬性規(guī)定了元素在整個(gè)文檔范圍內(nèi)的唯一標(biāo)識(shí)符。
所述任意的mode屬性規(guī)定了所述語(yǔ)音識(shí)別模式。支持兩個(gè)模式1.“speech”(缺省值)“speech”模式是缺省的語(yǔ)音識(shí)別模式。
2.“dtmf”“dtmf”模式用于接收電話的dtml信號(hào)。(這個(gè)模式將支持傳統(tǒng)的電話)。
所述任意的accuracy屬性規(guī)定了所述網(wǎng)頁(yè)開發(fā)者所能接收的語(yǔ)音識(shí)別的最低精確度。支持以下風(fēng)格1.“accept”(缺省值)語(yǔ)音識(shí)別器設(shè)置所述識(shí)別輸出數(shù)值是否可以接受。
2.“xx”(例如“60”)如果從識(shí)別器接收的輸出數(shù)值等于或大于“xx”％，所述識(shí)別結(jié)果將認(rèn)為是“匹配”并將觸發(fā)所述“匹配”事件。否則，所述結(jié)果將認(rèn)為是“不匹配”。將觸發(fā)所述“不匹配”事件。
所述<link>元素
所述任意的id屬性規(guī)定了元素在整個(gè)文檔范圍內(nèi)的唯一標(biāo)識(shí)符。
所要求的value屬性規(guī)定了所述<mmllink>元素對(duì)應(yīng)于所述語(yǔ)法的哪一部分。
所要求的bind屬性規(guī)定了將與哪個(gè)XHTML超鏈接(例如<a>)綁定。
所述<sform>元素
所述<mmlsform>元素起語(yǔ)音輸入形式的作用。所述元素應(yīng)當(dāng)與XHTML<form>元素綁定。
所述任意的id屬性規(guī)定了元素在整個(gè)文檔范圍內(nèi)的唯一標(biāo)識(shí)符。
所述任意的mode屬性規(guī)定了所述語(yǔ)音識(shí)別模式。支持兩個(gè)模式1.“speech”(缺省值)“speech”模式是缺省的語(yǔ)音識(shí)別模式。
2.“dtmf”“dtmf”模式用于接收電話dtml信號(hào)。(這個(gè)模式支持傳統(tǒng)的電話)。
所述任意的accuracy屬性規(guī)定了頁(yè)面開發(fā)者所能接受的語(yǔ)音識(shí)別的最低精確度。支持以下風(fēng)格3.“accept”(缺省值)
語(yǔ)音識(shí)別器設(shè)置所述識(shí)別輸出數(shù)值是否可以接受。
4.“xx”(例如“60”)如果從識(shí)別器接收的輸出數(shù)值等于或大于“xx”％，所述識(shí)別結(jié)果將被認(rèn)為是“匹配”并將觸發(fā)“匹配”事件。否則，所述結(jié)果將被認(rèn)為是“不匹配”。將觸發(fā)“不匹配”事件。
所述<input>元素
所述<mmlinput>元素起語(yǔ)音輸入數(shù)據(jù)占位符的作用。所述<mmlinput>元素應(yīng)當(dāng)與XHTML<input>綁定。
所述任意的id屬性規(guī)定了元素在整個(gè)文檔范圍內(nèi)的唯一標(biāo)識(shí)符。
所述任意的value屬性規(guī)定了語(yǔ)音識(shí)別結(jié)果的哪個(gè)部分應(yīng)當(dāng)分配給綁定的XHTML<input>標(biāo)記。如果沒有設(shè)置這個(gè)屬性，整個(gè)語(yǔ)音識(shí)別結(jié)果將分配給綁定的XHTML<iniput>標(biāo)記。
所要求的bind屬性規(guī)定了將與<form>中的哪個(gè)XHTML<input>綁定。
所述<grammar>元素
所述<mmlgrammar>規(guī)定了用于語(yǔ)音識(shí)別的語(yǔ)法。
所述任意的id屬性規(guī)定了元素在整個(gè)文檔范圍內(nèi)的唯一標(biāo)識(shí)符。
所述任意的src屬性規(guī)定了所述語(yǔ)法文檔的URL。
如果沒有設(shè)置這個(gè)屬性，所述語(yǔ)法內(nèi)容應(yīng)當(dāng)在<mmlgrammar>內(nèi)容中。
所述<prompt>元素
所述<mmlprompt>規(guī)定了提示消息。
所述任意的id屬性規(guī)定了元素在整個(gè)文檔范圍內(nèi)的唯一標(biāo)識(shí)符。
所述任意的type屬性規(guī)定了所述提示類型?，F(xiàn)在在一個(gè)實(shí)施例中支持三種類型1.“tts”(缺省值)“tts”規(guī)定了所述語(yǔ)音輸出是合成的語(yǔ)音。
2.“recorded”“recorded”規(guī)定了所述語(yǔ)音輸出是預(yù)先錄制的音頻。
3.“text”“text”規(guī)定了用戶代理將在消息框符中輸出內(nèi)容。
如果這個(gè)屬性設(shè)置為“text”，那么客戶端的用戶代理將忽略所述“l(fā)oop”和“interval”屬性。
如果客戶端的用戶代理沒有TTS引擎，則所述客戶端的用戶代理可以覆蓋從“tts”到“text”的這種“type”屬性。
所述任意的src屬性規(guī)定了所述提示輸出文檔的URL。
如果沒有設(shè)置這個(gè)屬性，所述提示內(nèi)容應(yīng)當(dāng)在<mmlprompt>的內(nèi)容中。
所述任意的loop屬性規(guī)定了所述語(yǔ)音輸出將進(jìn)行多少次。在一個(gè)實(shí)施例中支持兩種模式1.“once”(缺省值)“once”表示沒有循環(huán)。
2.“l(fā)oop”“l(fā)oop”表示所述語(yǔ)音輸出將被循環(huán)地播放，直到有效的范圍改變。
所述任意的interval屬性規(guī)定了在語(yǔ)音輸出的兩個(gè)循環(huán)之間的間隔時(shí)間。僅當(dāng)所述loop屬性設(shè)置為“l(fā)oop”時(shí)需要設(shè)置它。
格式“xxx”(例如“5000”)用戶代理將在語(yǔ)音輸出的兩個(gè)循環(huán)之間等待“xxx”毫秒。
所述<onevent>元素
所述<mmlonevent>元素用于中止某些事件。
所述用戶代理(客戶端和服務(wù)器二者)必須忽略任何規(guī)定了不響應(yīng)于用于即時(shí)封裝(enclosing)的元素的合法事件的類型的<mmlonevent>元素。例如所述服務(wù)器必須忽略在<mmlsform>元素中的<mmlonevent type＝“onload”>。
所述type屬性指示事件的名稱。
所述任意的id屬性規(guī)定了元素在整個(gè)文檔范圍內(nèi)的唯一標(biāo)識(shí)符。
所需要的type屬性規(guī)定了將要處理的事件類型。
在一個(gè)實(shí)施例中支持以下事件類型1.“匹配”當(dāng)接受所述語(yǔ)音識(shí)別的結(jié)果時(shí)“匹配”事件發(fā)生。
僅當(dāng)觸發(fā)器屬性設(shè)置為“服務(wù)器”時(shí)，這個(gè)事件類型才有效。
2.“不匹配”當(dāng)不能接受語(yǔ)音識(shí)別的結(jié)果時(shí)“不匹配”事件發(fā)生。僅當(dāng)觸發(fā)器屬性設(shè)置為“服務(wù)器”時(shí)，這個(gè)事件類型才有效。
3.“加載”當(dāng)加載特定顯示元素時(shí)“加載”事件發(fā)生。僅當(dāng)觸發(fā)器屬性設(shè)置為“客戶端”時(shí)，這個(gè)事件類型才有效。
4.“卸載”當(dāng)卸載特定顯示元素時(shí)“卸載”事件發(fā)生。僅當(dāng)觸發(fā)器屬性設(shè)置為“客戶端”時(shí)，這個(gè)事件類型才有效。
“匹配”和“不匹配”事件類型僅用于語(yǔ)音相關(guān)的元素。
“加載”和“卸載”事件類型僅用于顯示元素。
所需要的trigger屬性規(guī)定了在客戶端或服務(wù)器端所期望發(fā)生的事件。
1.“客戶端”(缺省值)所述事件應(yīng)發(fā)生在客戶端。
2.“服務(wù)器”所述事件期望發(fā)生在服務(wù)器端。
所述任意的phase屬性規(guī)定了由所期望的事件激發(fā)所述<mmlonevent>的時(shí)間。如果用戶代理(包括客戶端和服務(wù)器)支持MML簡(jiǎn)易內(nèi)容事件一致性，將忽略這個(gè)屬性。
1.“缺省”(缺省值)<mmlonevent>將在起泡階段對(duì)目標(biāo)元素中止事件。
2.“捕獲”<mmlonevent>將在捕獲階段中止事件。
所述任意的propagate屬性規(guī)定了所述中止事件是否應(yīng)當(dāng)繼續(xù)執(zhí)行(XML事件一致性)。如果所述用戶代理(包括客戶端和服務(wù)器)支持MML簡(jiǎn)易內(nèi)容事件一致性，將忽略這個(gè)屬性。
在一個(gè)實(shí)施例中支持下列模式1.“繼續(xù)”(缺省值)所述中止事件將繼續(xù)執(zhí)行。
2.“停止”所述中止事件將停止執(zhí)行。
所述任意的defaultaction屬性規(guī)定在所述事件<mmlonevent>之后是否應(yīng)當(dāng)執(zhí)行對(duì)所述事件(如果有的話)的缺省作用。
例如在所述<mmlsform>上的“匹配”事件的缺省作用將提交表單。<mmlsform>上的“不匹配”事件的缺省作用將重新設(shè)置為相應(yīng)的<form>并給出“不匹配”消息。
在實(shí)施例中支持以下模式1.“執(zhí)行”(缺省值)執(zhí)行缺省動(dòng)作(除非被其它方式取消，比如腳本或另一個(gè)<mmlonevent>)。
2.“取消”取消缺省動(dòng)作。
所述<do>元素
所述<mmldo>元素總是<mmlonevent>元素的子元素。當(dāng)所述<mmlonevent>元素中止所期望的事件時(shí)，將啟用由所包含的<mmldo>元素規(guī)定的行為。
所述任意的id屬性規(guī)定了元素在整個(gè)文檔范圍內(nèi)的唯一標(biāo)識(shí)符。
所述任意的target屬性規(guī)定了將要啟用的目標(biāo)元素的標(biāo)識(shí)符。
所述任意的bref屬性規(guī)定了與行為相關(guān)聯(lián)的URL或腳本。如果設(shè)置所述target屬性，將忽略這個(gè)屬性。
所述任意的action屬性規(guī)定了目標(biāo)或URL上將要啟用的動(dòng)作類型。
1.“啟動(dòng)”(缺省值)將啟動(dòng)目標(biāo)元素或URL。最后的行為取決于目標(biāo)元素類型。例如如果目標(biāo)是超鏈接(HYPERLINK)，用戶代理將遍歷(traverse)它。如果目標(biāo)是表單，將提交它。
2.“重新設(shè)置”所述目標(biāo)元素將被設(shè)置為初始狀態(tài)。
所述<getvalue>元素
所述<mmlgetvalue>元素是<mmlprompt>的子元素。其用于從<form>或<sform>數(shù)據(jù)占位符中獲得內(nèi)容。
所述任意的id屬性規(guī)定了元素在整個(gè)文檔范圍內(nèi)的唯一標(biāo)識(shí)符。
所述需要的from屬性規(guī)定了所述數(shù)據(jù)占位符的標(biāo)識(shí)符。
所述<mmlgetvalue>獲得客戶端元素的值。
在這種情況下，所述from屬性應(yīng)當(dāng)設(shè)置成<form>的數(shù)據(jù)占位符。
所述at屬性規(guī)定將所需要分配的值分配至客戶端還是服務(wù)器1.“客戶端”(缺省值)所述<mmlgetvalue>得到客戶端元素值。
在這種情況下，from屬性應(yīng)該被設(shè)置為<fom>的數(shù)據(jù)占位符。
2.“服務(wù)器”所述<mmlgetvalue>得到服務(wù)器端數(shù)據(jù)值。
在這種情況下，from屬性應(yīng)該被設(shè)置為<sform>的數(shù)據(jù)占位符。
例如a.<mmlgetvalue at＝″client″>
<mmlcard>
<mmlonevent type＝″onload″>
<mmldo target＝″promptclient″type＝″activation″>
</mmlonevent>
<form id＝″fom01″action＝″other.mml″method＝″post″>
<input id＝″text1″type＝″text″name＝″ADD″value＝″ShangHai″/>
</form>
...
<mmlspeech>
<mmlprompt id＝″promptclient″type＝″tts″>
the place you want to go，for example<mmlgetvaluefrom＝″text1″at＝″client″/>
</mmlprompt>
...
</mmlspeech>
</mmlcard>
處理流程如下●所述客戶端用戶代理加載這種界面卡。
●將觸發(fā)所述“加載”事件以及然后將啟動(dòng)<mmlprompt>。
●然后將處理<mmlgetvalue>。文本框“text1”的值將由<mmlgetvalue>檢索。在這里所述文本框的初始值是“ShangHai”。
●最后，客戶端將與用戶交談“你想去的地方，例如上?！薄?br>
b.<mmlgetvalue at＝″server″><mmlcard>
<form id＝″form01″action＝″other.mml″method＝″post″>
<input id＝″text1″type＝″text″name＝″add″value＝″ShangHai″/>
</form>
<mmlspeech>
<mmlprompt id＝″promptServer″type＝″tts″>
The place you want to go<mmlgetvalue from＝″stext1″at＝″server″/>
</mmlprompt>
<mmlrecog>
<mmlsform id＝″sform01″bind＝″form01″>
<mmlgrammar src＝″Add.gram″/>
<mmlinput id＝″stext1″value＝″#add″bind＝″text1″/>
<mmlonevent type＝″match″>
<mmldo target＝″promptServer″type＝″activation″/>
</mmlonevent>
</mmlsform>
</mmlrecog>
</mmlspeech>
</mmlcard>
處理流程如下●用戶輸入語(yǔ)音并執(zhí)行語(yǔ)音識(shí)別。
●如果可以接受所述語(yǔ)音識(shí)別的語(yǔ)音輸出值，則觸發(fā)“匹配”事件。
●在提交表單之前，服務(wù)器將首先處理“匹配”事件處理程序(<mmlonevent>)。然后，事件消息將發(fā)送到客戶端，如下<event type＝″match″>
<do target＝″promptServer″>
<input id＝″stext1″value＝″地點(diǎn)″/>
<！-’根據(jù)識(shí)別結(jié)果-->
</event>
●然后，當(dāng)客戶端處理<mmlprompt>和<mmlgetvalueat＝″server″>時(shí)，從服務(wù)器接收的值將分配給<mmlgetvalue>元素。
●最后，客戶端將與用戶交談。所述交談內(nèi)容與語(yǔ)音識(shí)別的結(jié)果有關(guān)。
根據(jù)本發(fā)明的一個(gè)實(shí)施例，下文描述了通過無(wú)線網(wǎng)絡(luò)上的多模式網(wǎng)絡(luò)交互的系統(tǒng)中客戶端機(jī)和服務(wù)器交互的流程。
與傳統(tǒng)的網(wǎng)絡(luò)交互和電話交互不同，本發(fā)明的系統(tǒng)支持多模式網(wǎng)絡(luò)交互。因?yàn)橹饕Z(yǔ)音識(shí)別處理工作將由服務(wù)器控制，因此多模式網(wǎng)頁(yè)將在客戶端和服務(wù)器兩者上解釋。以下是使用本發(fā)明實(shí)施例的客戶端和服務(wù)器交互的簡(jiǎn)單流程。
<User>選擇超鏈接，提交表單(傳統(tǒng)的網(wǎng)絡(luò)交互)或按下“談話按鈕”和輸入發(fā)言(語(yǔ)音交互)。
<Client>在傳統(tǒng)的網(wǎng)絡(luò)交互的情況下，所述客戶端向服務(wù)器發(fā)出新頁(yè)面或提交表單的請(qǐng)求。在語(yǔ)音交互的情況下，所述客戶端確定將聚焦于哪個(gè)活動(dòng)的顯示元素和所聚焦的顯示元素的標(biāo)識(shí)符、捕獲語(yǔ)音、提取語(yǔ)音特性，以及向服務(wù)器發(fā)送所聚焦的顯示元素的標(biāo)識(shí)符、所提取的語(yǔ)音特性和例如當(dāng)前頁(yè)URL的其它信息。然后，所述客戶端等待應(yīng)答。
<Client>在傳統(tǒng)的網(wǎng)絡(luò)交互的情況下，服務(wù)器從高速緩存或網(wǎng)頁(yè)服務(wù)器檢索新的頁(yè)面并將其發(fā)送給客戶端。在語(yǔ)音識(shí)別的情況下，所述服務(wù)器接收所聚焦的顯示元素的標(biāo)識(shí)符并創(chuàng)建正確的語(yǔ)法。然后，將執(zhí)行語(yǔ)音識(shí)別。根據(jù)所述語(yǔ)音識(shí)別的結(jié)果，所述服務(wù)器將執(zhí)行特定工作并向客戶端發(fā)送事件或新的頁(yè)面。然后，所述服務(wù)器等待來(lái)自客戶端的新請(qǐng)求。
<Client>客戶端將加載新的頁(yè)面或處理事件。
由此，公開了由MML實(shí)現(xiàn)的具有聚焦機(jī)制、同步機(jī)制和控制機(jī)制的創(chuàng)造性的多模式網(wǎng)絡(luò)交互方法。以下闡述的權(quán)利要求保護(hù)的范圍不限于與在此所提供的本發(fā)明的各種實(shí)施例的詳細(xì)說明有關(guān)的描述的細(xì)節(jié)。
權(quán)利要求
1.一種方法，包括接收在客戶端設(shè)備的用戶輸入；解釋所述用戶輸入以確定對(duì)多個(gè)網(wǎng)絡(luò)交互模式的至少其中一個(gè)的選擇；部分地基于所述用戶輸入和所述網(wǎng)絡(luò)交互模式產(chǎn)生相應(yīng)的客戶端請(qǐng)求；以及通過網(wǎng)絡(luò)向服務(wù)器發(fā)送所述客戶端請(qǐng)求。
2.如權(quán)利要求1所要求的方法，還包括確定聚焦的顯示元素，所述客戶端請(qǐng)求部分地基于所確定的聚焦的顯示元素。
3.如權(quán)利要求2所要求的方法，還包括發(fā)送所確定的聚焦的顯示元素的標(biāo)識(shí)符到所述服務(wù)器。
4.如權(quán)利要求2所要求的方法，其中所聚焦的顯示元素是超鏈接。
5.如權(quán)利要求2所要求的方法，其中所聚焦的顯示元素是表單中的區(qū)域。
6.如權(quán)利要求1所要求的方法，還包括從所述用戶輸入中提取語(yǔ)音特征，所述客戶端請(qǐng)求部分地基于所提取的語(yǔ)音特性。
7.如權(quán)利要求6所要求的方法，還包括向所述服務(wù)器發(fā)送所提取的語(yǔ)音特性。
8.如權(quán)利要求1所要求的方法，還包括發(fā)送對(duì)話消息到所述服務(wù)器以初始化與所述服務(wù)器的連接。
9.如權(quán)利要求8所要求的方法，其中所述對(duì)話消息包括所述客戶端設(shè)備的IP地址，所述客戶端設(shè)備的設(shè)備類型，所述用戶的話音特征，所述用戶使用的語(yǔ)言，以及所述客戶端設(shè)備請(qǐng)求的缺省的識(shí)別精確度。
10.如權(quán)利要求1所要求的方法，還包括發(fā)送傳輸消息到所述服務(wù)器以與所述服務(wù)器交換傳輸參數(shù)。。
11.如權(quán)利要求1所要求的方法，還包括當(dāng)觸發(fā)談話按鈕時(shí)，發(fā)送聚焦消息到所述服務(wù)器以通知聚焦的顯示元素的標(biāo)識(shí)符和當(dāng)前頁(yè)的URL。
12.如權(quán)利要求11所要求的方法，還包括發(fā)送所提取的語(yǔ)音特性到所述服務(wù)器。
13.如權(quán)利要求1所要求的方法，還包括當(dāng)未聚焦消息發(fā)生時(shí)發(fā)生未聚焦消息的情況和任務(wù)。
14.如權(quán)利要求1所要求的方法，還包括發(fā)送退出消息到所述服務(wù)器以終止與所述服務(wù)器的對(duì)話。
15.如權(quán)利要求1所要求的方法，其中使用多模式標(biāo)記語(yǔ)言。
16.一種方法，包括在服務(wù)器通過網(wǎng)絡(luò)從客戶端設(shè)備接收客戶端請(qǐng)求；解釋所述客戶端請(qǐng)求以確定對(duì)多個(gè)網(wǎng)絡(luò)交互模式中的至少其中一個(gè)的選擇，至少一個(gè)網(wǎng)絡(luò)交互模式是語(yǔ)音交互模式；以及如果選擇所述語(yǔ)音交互模式，接收聚焦的顯示元素的標(biāo)識(shí)符，基于所聚焦的顯示元素，建立語(yǔ)音識(shí)別的正確語(yǔ)法，執(zhí)行語(yǔ)音識(shí)別，和根據(jù)所述語(yǔ)音識(shí)別的結(jié)果執(zhí)行特定任務(wù)。
17.如權(quán)利要求16所要求的方法，其中所聚焦的顯示元素是超鏈接。
18.如權(quán)利要求16所要求的方法，其中所聚焦的顯示元素是表單中的區(qū)域。
19.如權(quán)利要求16所要求的方法，還包括通過所述網(wǎng)絡(luò)發(fā)送匹配事件到所述客戶端設(shè)備。
20.如權(quán)利要求16所要求的方法，還包括通過所述網(wǎng)絡(luò)發(fā)送不匹配事件到所述客戶端設(shè)備。
21.如權(quán)利要求16所要求的方法，還包括從所述客戶端設(shè)備接收用于與所述客戶端設(shè)備交換傳輸參數(shù)的傳輸消息。
22.一種客戶端設(shè)備，包括用戶輸入接收器；解釋器，從由所述用戶輸入接收器接收的用戶輸入來(lái)確定對(duì)多個(gè)網(wǎng)絡(luò)交互模式的至少其中一個(gè)的選擇，至少一個(gè)網(wǎng)絡(luò)交互模式是語(yǔ)音交互模式；客戶端請(qǐng)求發(fā)生器，部分地基于所述用戶輸入和所述網(wǎng)絡(luò)交互模式產(chǎn)生客戶端請(qǐng)求，以及通過網(wǎng)絡(luò)發(fā)送所述客戶端請(qǐng)求到服務(wù)器。
23.如權(quán)利要求22所要求的客戶端設(shè)備，其中所述客戶端請(qǐng)求發(fā)生器還確定聚焦的顯示元素，所述客戶端請(qǐng)求部分地基于所確定的聚焦的顯示元素。
24.如權(quán)利要求22所要求的客戶端設(shè)備，其中所述客戶端請(qǐng)求發(fā)生器還發(fā)送所確定的聚焦的顯示元素的標(biāo)識(shí)符到所述服務(wù)器。
25.如權(quán)利要求23所要求的客戶端設(shè)備，還包括網(wǎng)絡(luò)交互模式解釋器。
26.一種服務(wù)器設(shè)備，包括客戶端請(qǐng)求接收器，通過網(wǎng)絡(luò)從客戶端設(shè)備接收客戶端請(qǐng)求；解釋器，從由所述客戶端請(qǐng)求接收器接收的客戶端請(qǐng)求來(lái)確定對(duì)多個(gè)網(wǎng)絡(luò)交互模式的至少其中一個(gè)的選擇，至少一個(gè)網(wǎng)絡(luò)交互模式是語(yǔ)音交互模式；語(yǔ)音處理器，如果選擇所述語(yǔ)音交互模式，就處理在所述客戶端請(qǐng)求中接收的語(yǔ)音，所述語(yǔ)音處理器使用聚焦的顯示元素的標(biāo)識(shí)符，并基于所聚焦的顯示元素來(lái)建立正確的語(yǔ)音識(shí)別語(yǔ)法，所述語(yǔ)音處理器執(zhí)行語(yǔ)音識(shí)別，并按照所述語(yǔ)音識(shí)別的結(jié)果執(zhí)行特定任務(wù)。
27.如權(quán)利要求26所要求的服務(wù)器設(shè)備，其中所聚焦的顯示元素是超鏈接。
28.如權(quán)利要求26所要求的服務(wù)器設(shè)備，其中所聚焦的顯示元素是表單中的區(qū)域。
29.如權(quán)利要求26所要求的服務(wù)器設(shè)備，還包括網(wǎng)絡(luò)交互模式解釋器。
30.一種多模式網(wǎng)絡(luò)交互系統(tǒng)，包括客戶端設(shè)備，具有用戶輸入接收器，客戶端解釋器，用于從由所述用戶輸入接收器接收的用戶輸入確定對(duì)多個(gè)網(wǎng)絡(luò)交互模式的至少其中一個(gè)的選擇，至少一個(gè)網(wǎng)絡(luò)交互模式是語(yǔ)音交互模式，以及客戶端請(qǐng)求發(fā)生器，用于部分地基于所述用戶輸入和所述網(wǎng)絡(luò)交互模式產(chǎn)生相應(yīng)的客戶端請(qǐng)求，并通過網(wǎng)絡(luò)發(fā)送所述客戶端請(qǐng)求到服務(wù)器；和服務(wù)器，具有通過所述網(wǎng)絡(luò)從所述客戶端設(shè)備接收所述客戶端請(qǐng)求的客戶端請(qǐng)求接收器，用于從由所述客戶端請(qǐng)求接收器接收的客戶端以請(qǐng)求確定對(duì)多個(gè)網(wǎng)絡(luò)交互模式的至少其中一個(gè)的選擇的服務(wù)器端解釋器，其中至少一個(gè)所述網(wǎng)絡(luò)交互模式是語(yǔ)音交互模式，以及語(yǔ)音處理器用于如果選擇所述語(yǔ)音交互模式就處理在所述客戶端請(qǐng)求中接收的語(yǔ)音，所述語(yǔ)音處理器使用聚焦的顯示元素的標(biāo)識(shí)符，并基于所聚焦的顯示元素建立用于語(yǔ)音識(shí)別的正確語(yǔ)法，所述語(yǔ)音處理器執(zhí)行語(yǔ)音識(shí)別，并按照所述語(yǔ)音識(shí)別的結(jié)果執(zhí)行特定任務(wù)。
31.如權(quán)利要求30所要求的系統(tǒng)，其中所述客戶端請(qǐng)求發(fā)生器還確定聚焦的顯示元素，所述客戶端請(qǐng)求部分地基于所確定的聚焦的顯示元素。
32.如權(quán)利要求31所要求的系統(tǒng)，其中所述客戶端請(qǐng)求發(fā)生器還發(fā)送所確定的聚焦的顯示元素的標(biāo)識(shí)符到所述服務(wù)器。
33.如權(quán)利要求30所要求的系統(tǒng)，其中所聚焦的顯示元素是超鏈接。
34.如權(quán)利要求30所要求的系統(tǒng)，其中所聚焦的顯示元素是表單中的區(qū)域。
35.一種機(jī)器可讀媒質(zhì)，具有運(yùn)行時(shí)的可使機(jī)器執(zhí)行所述方法的指令，所述媒質(zhì)包括接收在客戶端設(shè)備端的用戶輸入；解釋所述用戶輸入以確定對(duì)多個(gè)網(wǎng)絡(luò)交互模式的至少其中一個(gè)的選擇，至少一個(gè)網(wǎng)絡(luò)交互模式是語(yǔ)音交互模式；部分地基于所述用戶輸入和所述網(wǎng)絡(luò)交互產(chǎn)生相應(yīng)的客戶端請(qǐng)求；以及通過網(wǎng)絡(luò)發(fā)送所述客戶端請(qǐng)求到服務(wù)器。
36.權(quán)利要求35所要求的機(jī)器可讀媒質(zhì)，還包括用于確定聚焦的顯示元素的指令，所述客戶端請(qǐng)求部分地基于所確定的聚焦的顯示元素。
37.如權(quán)利要求36所要求的機(jī)器可讀媒質(zhì)，還包括用于發(fā)送所確定的聚焦的顯示元素的標(biāo)識(shí)符到所述服務(wù)器的指令。
38.如權(quán)利要求35所要求的機(jī)器可讀媒質(zhì)，其中所聚焦的顯示元素是超鏈接。
39.如權(quán)利要求35所要求的機(jī)器可讀媒質(zhì)，其中所聚焦的顯示元素是表單中的區(qū)域。
40.一種方法，包括為通過多模式交互在網(wǎng)絡(luò)上快速建立應(yīng)用程序定義一組標(biāo)記語(yǔ)言。
41.如權(quán)利要求40所要求的方法，還包括對(duì)所述多模式標(biāo)記語(yǔ)言的事件處理的一致性定義。
42.如權(quán)利要求40所要求的方法，還包括對(duì)于同步，定義了兩個(gè)元素塊；一個(gè)發(fā)送給客戶端而另一個(gè)保存在服務(wù)器中。
全文摘要
公開了一種系統(tǒng)、設(shè)備和方法，用于接收在客戶端設(shè)備的用戶輸入，解釋所述用戶輸入以識(shí)別對(duì)多個(gè)網(wǎng)絡(luò)交互模式的至少其中一個(gè)的選擇，部分地基于所述用戶輸入和所述網(wǎng)絡(luò)交互模式產(chǎn)生相應(yīng)的客戶端請(qǐng)求；并通過網(wǎng)絡(luò)向服務(wù)器發(fā)送所述客戶端請(qǐng)求。
文檔編號(hào)H04L12/56GK1701568SQ02829885
公開日2005年11月23日 申請(qǐng)日期2002年11月13日 優(yōu)先權(quán)日2002年11月13日
發(fā)明者何量 申請(qǐng)人:英特爾公司, 英特爾(中國(guó))有限公司