專利名稱：提供多模態(tài)對(duì)話的方法和服務(wù)器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種方法，該方法通過(guò)適于交換和呈現(xiàn)以標(biāo)準(zhǔn)或擴(kuò)展超文本標(biāo)記語(yǔ)言編寫的文檔的客戶機(jī)，提供在多模態(tài)應(yīng)用和與該多模態(tài)應(yīng)用通信的用戶之間的多模態(tài)對(duì)話。本發(fā)明還涉及在多模態(tài)應(yīng)用和用戶之間支持多模態(tài)對(duì)話的代理服務(wù)器。
背景技術(shù)：
近年，提供給計(jì)算機(jī)許多不同類型的輸入設(shè)備，例如鍵盤、鼠標(biāo)、觸摸屏、圖像掃描儀、視頻相機(jī)、筆和麥克風(fēng)，以使能夠以多種形式輸入各種信息條目。同樣提供了許多不同類型的輸出設(shè)備，例如不同形式的顯示器單元和揚(yáng)聲器，來(lái)以多種形式輸出各種信息條目，例如不同的圖形形式或口語(yǔ)。另外，給增強(qiáng)的通信終端配備以不同類型的、能夠以各種形式輸入和輸出信息條目的輸入和輸出設(shè)備。
例如，日本專利101 07877 A描述了一種多模態(tài)電話裝置，其同時(shí)使用了顯示器和同步語(yǔ)音來(lái)與用戶通信。
另外，多模態(tài)瀏覽器通過(guò)額外的模塊擴(kuò)展了最初的瀏覽器功能性，所述模塊例如是多模態(tài)插件，例如SALT或X+V(SLAT＝...)。但是所述多模態(tài)瀏覽器需要大量的計(jì)算和存儲(chǔ)器資源，并且不能在具有有限資源的小型設(shè)備上運(yùn)行，所述小型設(shè)備例如是移動(dòng)設(shè)備或PDA(PDA＝個(gè)人數(shù)字助理)。

發(fā)明內(nèi)容
本發(fā)明的目的是建議一種改進(jìn)的多模態(tài)系統(tǒng)，該多模態(tài)系統(tǒng)能夠在多模態(tài)應(yīng)用和用戶之間進(jìn)行多模態(tài)對(duì)話。
本發(fā)明的目的通過(guò)這樣的方法被達(dá)到其提供了在多模態(tài)應(yīng)用和通過(guò)客戶機(jī)與該多模態(tài)應(yīng)用通信的用戶之間的多模態(tài)對(duì)話，所述客戶機(jī)適于交換和呈現(xiàn)以標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言編寫的文檔，其中，所述方法包括下列步驟通過(guò)代理服務(wù)器在多模態(tài)應(yīng)用和用戶之間建立多模態(tài)對(duì)話，所述代理服務(wù)器通過(guò)交換以標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言編寫的信息而與所述客戶機(jī)進(jìn)行交互；所述代理服務(wù)器檢索至少一個(gè)在多模態(tài)對(duì)話中所請(qǐng)求的附加模態(tài)資源；以及所述代理服務(wù)器基于與所述客戶機(jī)的標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言交互并且基于所述檢索的附加資源，來(lái)編輯與所述用戶的多模態(tài)交互。本發(fā)明的目的還通過(guò)代理服務(wù)器被實(shí)現(xiàn)，所述代理服務(wù)器支持在多模態(tài)應(yīng)用和通過(guò)各自的客戶機(jī)與該多模態(tài)應(yīng)用通信的用戶之間的多模態(tài)對(duì)話，所述客戶機(jī)適于交換和呈現(xiàn)以標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言編寫的文檔，其中，所述代理服務(wù)器包括對(duì)話管理器和編輯器(composer)。所述對(duì)話管理器通過(guò)所述代理服務(wù)器在所述多模態(tài)應(yīng)用和用戶之間建立多模態(tài)對(duì)話，通過(guò)交換以標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言編寫的信息與所述客戶機(jī)進(jìn)行交互，并且檢索至少一個(gè)在所述多模態(tài)對(duì)話中所請(qǐng)求的附加模態(tài)資源。所述編輯器基于與所述客戶機(jī)的標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言交互并且基于所述檢索的附加資源，編輯與所述用戶的多模態(tài)交互。
多模態(tài)代理基于標(biāo)準(zhǔn)瀏覽器技術(shù)建立了多模態(tài)交互，所述技術(shù)例如是基于瀏覽器的多層web應(yīng)用。代理組件執(zhí)行客戶機(jī)側(cè)的多模態(tài)對(duì)話控制和同步，這不必再由所述客戶機(jī)的組件來(lái)執(zhí)行。所述結(jié)構(gòu)合并了具有降低的計(jì)算能力的高速性能和客戶機(jī)側(cè)的存儲(chǔ)需求。這支持輕型客戶機(jī)的使用。而且，由于為客戶機(jī)配備標(biāo)準(zhǔn)瀏覽器元件以在多模態(tài)對(duì)話的情況下使用該客戶機(jī)就足夠，因而提升了多模態(tài)應(yīng)用和特征的靈活性和應(yīng)用性。
而且，所述輕型客戶機(jī)結(jié)構(gòu)改進(jìn)了桌面的/以位置為中心的應(yīng)用來(lái)集中處理、管理和支持環(huán)境。因此，本發(fā)明提升了多模態(tài)系統(tǒng)的可縮放性和可維護(hù)性。所述結(jié)構(gòu)因商業(yè)需要改變而提供了縮放能力，以及提供了增加的用戶、交易量和歷史記錄-并且沒(méi)有降低性能。此外，其保證了與舊應(yīng)用系統(tǒng)(legacy application)的共存。
通過(guò)附加權(quán)利要求所指出的本發(fā)明的實(shí)施例而達(dá)到了其它優(yōu)點(diǎn)。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例，多模態(tài)系統(tǒng)包括具有沒(méi)有例如特定插件的附件的標(biāo)準(zhǔn)因特網(wǎng)瀏覽器的客戶機(jī)、負(fù)責(zé)多模態(tài)會(huì)話和對(duì)話管理的多模態(tài)代理服務(wù)器以及包括幾個(gè)資源模塊的多模態(tài)服務(wù)器，所述資源模塊例如是語(yǔ)音識(shí)別、文本到語(yǔ)音和手寫識(shí)別模塊。所述代理服務(wù)器向所述多模態(tài)服務(wù)器發(fā)送消息或從該多模態(tài)服務(wù)器接收消息。此外，其傳送HTTP請(qǐng)求(HTTP＝超文本傳輸協(xié)議)至適當(dāng)?shù)膽?yīng)用和web服務(wù)器。所述代理服務(wù)器也產(chǎn)生JAVA腳本以將多模態(tài)事件處理嵌入到HTML/XHTML頁(yè)面中(HTML＝超文本標(biāo)記語(yǔ)言；XHTML＝擴(kuò)展的超文本標(biāo)記語(yǔ)言)。所述多模態(tài)服務(wù)器是到所述客戶機(jī)的輸入/輸出設(shè)備的RTP連接(RTP＝實(shí)時(shí)協(xié)議)的特征，所述客戶機(jī)的輸入/輸出設(shè)備例如是客戶機(jī)的麥克風(fēng)和揚(yáng)聲器。利用JAVA腳本來(lái)編輯多模態(tài)對(duì)話。多模態(tài)交互能夠應(yīng)用于HTML元素，例如文本添加域、列表、按鈕、鏈接等。
優(yōu)選地，所述客戶機(jī)是移動(dòng)設(shè)備，例如根據(jù)GSM或UMTS標(biāo)準(zhǔn)(GSM＝全球移動(dòng)通信系統(tǒng)；UMTS＝通用移動(dòng)電信系統(tǒng))的移動(dòng)電話。本發(fā)明使所述移動(dòng)設(shè)備能夠被配備以標(biāo)準(zhǔn)因特網(wǎng)瀏覽器以支持多模態(tài)交互。這具有顯著的優(yōu)點(diǎn)用戶可以在任何時(shí)候選擇優(yōu)選的交互模態(tài)，并且不用受限于特定信道的呈現(xiàn)流(presentation flow)。因此，交互成為用戶的一項(xiàng)個(gè)人的和優(yōu)化的體驗(yàn)。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例，所述代理服務(wù)器將所述一個(gè)或多個(gè)所請(qǐng)求的資源編輯為以標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言所呈現(xiàn)的文檔，并且將所述文檔傳送到所述客戶機(jī)。通過(guò)所述機(jī)制傳送至所述客戶機(jī)的資源支持部分多模態(tài)交互，標(biāo)準(zhǔn)的web瀏覽器功能性不支持所述多模態(tài)交互。以簡(jiǎn)單和有效的方式使附加模態(tài)資源變得可用。
優(yōu)選地，所述代理服務(wù)器創(chuàng)建提供模態(tài)資源的腳本并且將所述腳本編輯為文檔。例如，所述腳本初始化了特定語(yǔ)音通知的輸出。但是，所述代理服務(wù)器也可以創(chuàng)建用于將多模態(tài)事件處理嵌入到文檔的腳本，并且將所述腳本編輯為文檔。優(yōu)選地，所述代理服務(wù)器還創(chuàng)建為所述腳本提供代理側(cè)接口的相應(yīng)的資源處理器。根據(jù)標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言，在位于客戶機(jī)的腳本和位于所述代理服務(wù)器的資源處理器之間交換消息。所述消息被用來(lái)控制嵌入在所述腳本中的資源并且用于所述代理側(cè)接口，為所述資源提供該代理側(cè)接口以請(qǐng)求和接收附加信息。
根據(jù)本發(fā)明的其它實(shí)施例，所述代理服務(wù)器根據(jù)在所述多模態(tài)對(duì)話中所請(qǐng)求的模態(tài)來(lái)檢索資源模塊。優(yōu)選地，多模態(tài)服務(wù)器提供一組資源模塊，特別是語(yǔ)音識(shí)別模塊、文本至語(yǔ)音模塊和手寫模塊。
所述代理服務(wù)器初始化在客戶機(jī)和所檢索的資源模塊之間的會(huì)話。此外，其基于初始化的會(huì)話來(lái)編輯多模態(tài)接口。優(yōu)選地，所檢索的資源模塊通過(guò)一個(gè)或多個(gè)RTP連接(RTP＝實(shí)時(shí)協(xié)議)與所述客戶機(jī)的輸入/輸出資源通信。所述代理服務(wù)器創(chuàng)建用于所檢索的資源模塊的資源處理器，所述資源處理器通過(guò)TCP/IP(TCP＝傳輸控制協(xié)議；IP＝互聯(lián)網(wǎng)協(xié)議)連接與所述資源模塊通信。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例，所述代理服務(wù)器創(chuàng)建用于所述檢索的資源模塊的資源處理器。所述資源處理器為位于客戶機(jī)的腳本提供代理側(cè)接口，并使所述腳本與所述檢索的資源模塊交換信息。對(duì)位于所述客戶機(jī)的腳本來(lái)說(shuō)，有可能控制資源模塊或接收由所述用戶輸入的和由所述資源模塊處理的信息。所述資源處理器向位于所述客戶機(jī)的腳本提供一種多模態(tài)應(yīng)用接口，這能夠?qū)⒍嗄B(tài)事件處理嵌入到以HTML/XHTML編寫的文檔中。


通過(guò)閱讀下面結(jié)合附圖的、目前優(yōu)選的典型實(shí)施例的詳細(xì)描述，本發(fā)明的所述及其它特征和優(yōu)勢(shì)將變得更加明顯，其中圖1是示出根據(jù)本發(fā)明的具有代理服務(wù)器的多模態(tài)系統(tǒng)的框圖；圖2是根據(jù)本發(fā)明的具有代理服務(wù)器的多模態(tài)系統(tǒng)的功能視圖。
具體實(shí)施例方式
圖1示出了通信網(wǎng)絡(luò)11和12、客戶機(jī)4、應(yīng)用服務(wù)器5、代理服務(wù)器2和多模態(tài)服務(wù)器3。
所述客戶機(jī)4是“輕型”客戶機(jī)，也就是具有簡(jiǎn)化的處理和存儲(chǔ)資源的客戶機(jī)。優(yōu)選地，所述客戶機(jī)4是便攜設(shè)備，例如PDA(＝個(gè)人數(shù)字助理)或智能電話，例如具有多模態(tài)輸入和輸出能力的UMTS(UMTS＝通用移動(dòng)電信系統(tǒng))電話。但所述客戶機(jī)還可能是數(shù)據(jù)使能電話、便攜式計(jì)算機(jī)或“常規(guī)的”個(gè)人計(jì)算機(jī)，所述數(shù)據(jù)使能電話例如是具有GPRS能力的GSM蜂窩電話(GSM＝全球移動(dòng)通信系統(tǒng)；GPRS＝通用分組無(wú)線業(yè)務(wù))。
所述客戶機(jī)4提供兩個(gè)或多個(gè)不同模態(tài)的集合以與所述用戶6交互。
所述模態(tài)描述了信息從客戶機(jī)4到用戶6或從用戶6到客戶機(jī)4被呈現(xiàn)的方式。例如可以通過(guò)下列方式以語(yǔ)音消息、屏幕上的書寫信息來(lái)提交信息屏幕上的圖標(biāo)或圖形顯示、按壓鍵盤上的特定鍵、輸入手寫命令、筆、鼠標(biāo)板(mouse pad)、語(yǔ)音命令、輸入命令字或觸摸板上的圖標(biāo)。
作為例子，圖1示出了所述客戶機(jī)4和用戶6之間四種不同的交互81到84，其中每一個(gè)指定不同的模態(tài)。
通信網(wǎng)絡(luò)11將所述客戶機(jī)4連接到代理服務(wù)器2和多模態(tài)服務(wù)器3上。而且，所述通信網(wǎng)絡(luò)12將所述代理服務(wù)器2連接到所述應(yīng)用服務(wù)器5。
優(yōu)選地基于TCP/IP協(xié)議棧(TCP＝傳輸控制協(xié)議；IP＝互聯(lián)網(wǎng)協(xié)議)，所述通信網(wǎng)絡(luò)11和12使上述組件之間的數(shù)據(jù)交換成為可能。
例如，所述代理服務(wù)器2、多模態(tài)服務(wù)器3和應(yīng)用服務(wù)器5通過(guò)與移動(dòng)通信網(wǎng)絡(luò)相連的IP網(wǎng)絡(luò)而被連接，所述移動(dòng)通信網(wǎng)絡(luò)擔(dān)當(dāng)所述客戶機(jī)4的接入網(wǎng)絡(luò)以接入所述IP網(wǎng)絡(luò)。在這種情況下，所述通信網(wǎng)絡(luò)11由例如GSM或UMTS網(wǎng)絡(luò)的移動(dòng)網(wǎng)絡(luò)和固定數(shù)據(jù)網(wǎng)絡(luò)(即上述IP網(wǎng)絡(luò))組成。所述IP網(wǎng)絡(luò)可以由許多物理通信網(wǎng)絡(luò)構(gòu)成，例如ATM、MPLS或以太網(wǎng)(MPLS＝多協(xié)議標(biāo)記交換；ATM＝異步傳輸模式)，通過(guò)通常的3層IP協(xié)議連接所述物理通信網(wǎng)絡(luò)。而且，所述客戶機(jī)4和代理服務(wù)器2/多模態(tài)服務(wù)器3可以通過(guò)異步連接來(lái)交換數(shù)據(jù)(例如，通過(guò)GPRS服務(wù)或經(jīng)由移動(dòng)網(wǎng)絡(luò)的同步連接)。
但是，所述客戶機(jī)4也可能是固定終端，或通過(guò)WLAN接口與所述代理服務(wù)器2和多模態(tài)服務(wù)器3連接的終端。在這兩種情況下，所述通信網(wǎng)絡(luò)11和通信網(wǎng)絡(luò)12由上述IP網(wǎng)絡(luò)構(gòu)成。
所述應(yīng)用服務(wù)器5操作一個(gè)或多個(gè)多模態(tài)應(yīng)用，例如具有多模態(tài)能力的應(yīng)用。例如，所述應(yīng)用以多模態(tài)標(biāo)記語(yǔ)言編寫，例如通過(guò)HTLM+、SALT或X+V。如果所述應(yīng)用被用戶接觸，則其向各自的客戶機(jī)用戶提供多模態(tài)用戶接口。
所述客戶機(jī)4具有一個(gè)或幾個(gè)執(zhí)行軟件程序的處理器和各種輸入/輸出設(shè)備，例如輸入/輸出設(shè)備42、43、44和45。由所述客戶機(jī)4的處理器對(duì)所述軟件程序的執(zhí)行提供了標(biāo)準(zhǔn)WEB瀏覽器41的功能性，所述標(biāo)準(zhǔn)WEB瀏覽器適合交換和呈現(xiàn)以HTML或XHTML編寫的文檔(HTML＝超文本標(biāo)記語(yǔ)言；XHTML＝擴(kuò)展的超文本標(biāo)記語(yǔ)言)。所述輸入/輸出設(shè)備42是顯示器、鍵盤和鼠標(biāo)板，所述輸入/輸出設(shè)備43是揚(yáng)聲器，所述輸入/輸出設(shè)備44是麥克風(fēng)，并且所述輸入/輸出設(shè)備45是可以手寫輸入的筆。
所述代理服務(wù)器2是位于IP網(wǎng)絡(luò)中的IP服務(wù)器。但是也可以在網(wǎng)絡(luò)接入服務(wù)器中實(shí)現(xiàn)所述代理服務(wù)器2的功能性，所述網(wǎng)絡(luò)接入服務(wù)器控制客戶機(jī)4到上述IP網(wǎng)絡(luò)的接入。
所述代理服務(wù)器2由一個(gè)或幾個(gè)互聯(lián)的計(jì)算機(jī)、軟件平臺(tái)和許多基于所述平臺(tái)執(zhí)行的應(yīng)用程序而構(gòu)成。所述代理服務(wù)器2的功能性是通過(guò)執(zhí)行基于系統(tǒng)平臺(tái)的所述軟件程序來(lái)提供的。從功能的觀點(diǎn)來(lái)說(shuō)，所述代理服務(wù)器2提供一個(gè)或多個(gè)多模態(tài)代理，每個(gè)多模態(tài)代理具有數(shù)據(jù)庫(kù)21、對(duì)話管理器22、編輯器23和一個(gè)或多個(gè)資源處理器24。
所述多模態(tài)服務(wù)器3是互聯(lián)網(wǎng)服務(wù)器，其提供一個(gè)或多個(gè)支持在所述用戶6和客戶機(jī)4之間的多模態(tài)交互的資源模塊。例如，所述多模態(tài)服務(wù)器3包括資源模塊31、32和33。所述資源模塊31是語(yǔ)音識(shí)別模塊、所述資源模塊32是文本到語(yǔ)音轉(zhuǎn)換模塊并且所述資源模塊33是手寫識(shí)別模塊。許多位于不同代理服務(wù)器的多模態(tài)代理可以共享所述多模態(tài)服務(wù)器3的資源模塊31到33。但是所述資源模塊31到33也可以被嵌入到所述代理服務(wù)器2中，并且被一個(gè)或多個(gè)由所述代理服務(wù)器2提供的多模態(tài)代理單獨(dú)使用。
所述對(duì)話管理器22執(zhí)行多模態(tài)對(duì)話管理。當(dāng)從請(qǐng)求接入多模態(tài)應(yīng)用的客戶機(jī)4接收到HTTP(HTTP＝超文本傳輸協(xié)議)消息時(shí)，該對(duì)話管理器建立在所述多模態(tài)應(yīng)用和客戶機(jī)4的用戶6之間的多模態(tài)對(duì)話。所述對(duì)話管理器以適當(dāng)?shù)男问綄⑺鯤TTP請(qǐng)求傳送給適當(dāng)?shù)亩嗄B(tài)應(yīng)用服務(wù)器，例如傳送給多模態(tài)應(yīng)用服務(wù)器5。當(dāng)從所述應(yīng)用服務(wù)器5接收到響應(yīng)時(shí)，所述對(duì)話管理器通過(guò)交換以標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言編寫的信息與所述客戶機(jī)4進(jìn)行交互，并且檢索至少一個(gè)在多模態(tài)對(duì)話中所請(qǐng)求的附加模態(tài)資源。
例如，所述對(duì)話管理器22創(chuàng)建一個(gè)或多個(gè)腳本的集合，所述腳本通過(guò)所述數(shù)據(jù)庫(kù)21，提供模態(tài)資源或嵌入多模態(tài)事件處理。所述對(duì)話管理器將腳本編輯為HTML或XHTML文檔，該文檔被發(fā)送給所述客戶機(jī)4以供所述瀏覽器41執(zhí)行。另外，所述對(duì)話管理器可以創(chuàng)建一個(gè)或多個(gè)為所述腳本提供代理側(cè)接口的資源處理器。
另外，基于來(lái)自所述應(yīng)用服務(wù)器5的一個(gè)或多個(gè)響應(yīng)，所述對(duì)話管理器22檢索一個(gè)或多個(gè)所述多模態(tài)服務(wù)器3的資源模塊，并且初始化在所述客戶機(jī)4的元件和所述檢索的資源模塊之間的會(huì)話。
例如，所述對(duì)話管理器22用一組腳本71、72和73來(lái)創(chuàng)建HTML文檔7，并且將該文檔作為HTTP響應(yīng)92來(lái)傳送給所述客戶機(jī)4。所述腳本71執(zhí)行特定語(yǔ)音通知的輸出，并且將資源“特定語(yǔ)音通知”作為附加模態(tài)資源添加到所述瀏覽器41的能力集(capability set)。所述腳本73將多模態(tài)事件處理嵌入到所述HTML文檔7中。例如，所述腳本將所述多模態(tài)事件處理與文檔7的HTML元素連接起來(lái)，所述元素例如是添加文本(text-added)域、列表、按鈕、鏈接等。優(yōu)選地，所述腳本73通過(guò)通信連接93，與相應(yīng)的位于所述代理服務(wù)器2的資源處理器交換HTML消息或XHTML消息，所述代理服務(wù)器2為所述腳本73提供代理側(cè)應(yīng)用接口。
另外，所述對(duì)話管理器22根據(jù)在所述多模態(tài)對(duì)話中請(qǐng)求的特定模態(tài)，檢索所述多模態(tài)服務(wù)器3的資源模塊，即儲(chǔ)備資源模塊并將其綁定在對(duì)話管理器22中。
所述編輯器23基于與所述客戶機(jī)6的標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言交互并且基于所述檢索的附加資源，來(lái)編輯與所述用戶6的多模態(tài)交互。例如，所述編輯器23編輯交互81到84之外的多模態(tài)對(duì)話情況下的多模態(tài)交互，其中，所述交互81是標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記交互，所述交互82是所述腳本71所創(chuàng)建的語(yǔ)音通知，所述交互83是在所述編輯器23和腳本73控制下所述資源模塊31所處理的語(yǔ)音輸入，并且所述交互84是在所述編輯器23和腳本73控制下所述資源模塊33所處理的手寫輸入。
所述編輯器23根據(jù)從接收自所述應(yīng)用服務(wù)器5的信息和接收自所述用戶6的事件，來(lái)編輯與所述用戶6的多模態(tài)對(duì)話，其中，所述腳本73可以預(yù)處理所述事件。
例如，所述多模態(tài)應(yīng)用通過(guò)語(yǔ)音通知來(lái)請(qǐng)求信息輸出，或所述用戶6選擇信息輸出應(yīng)該通過(guò)語(yǔ)音通知來(lái)執(zhí)行。所述系統(tǒng)如下實(shí)現(xiàn)了所述語(yǔ)音通知通過(guò)創(chuàng)建所述腳本71并且由所述瀏覽器41執(zhí)行該腳本71，或通過(guò)檢索所述資源模塊32、建立RTP連接并初始化在所述資源模塊32和所述客戶機(jī)4的組件43之間的會(huì)話，并且由所述資源處理器24觸發(fā)所述資源模塊32以創(chuàng)建所述語(yǔ)音通知并將其傳送至組件43。
例如，所述腳本73檢測(cè)到指示來(lái)自所述用戶的關(guān)于執(zhí)行語(yǔ)音輸入的請(qǐng)求的事件。所述腳本73聯(lián)系檢索所述資源模塊31的代理服務(wù)器2、初始化所述元件之間的會(huì)話并接收和處理所述資源模塊31的處理結(jié)果。
圖2示出了圖1的多模態(tài)系統(tǒng)的一些詳細(xì)的實(shí)施例。圖2示出了客戶機(jī)4、代理服務(wù)器2、應(yīng)用服務(wù)器5和資源模塊31到33。所述客戶機(jī)4包括WEB瀏覽器41和元件43到45。
所述腳本71到73編寫為JAVA腳本。所述瀏覽器41包括JAVA腳本73使用的激活的X-object 46，以調(diào)用相應(yīng)的JAVA類(JAVA-class)提供的代理服務(wù)器2的servlet(小服務(wù)程序)。所述servlet處理信息并創(chuàng)建相應(yīng)的響應(yīng)信息，所述響應(yīng)信息由所述激活的X-object 46處理，并且可以由所述腳本使用而不用重新加載所述HTTML文檔41。
在所述情況下，所述文檔41形成的web側(cè)擔(dān)當(dāng)客戶機(jī)的角色，并且具有所述servlet的代理服務(wù)器2擔(dān)當(dāng)了服務(wù)器的角色。所述客戶機(jī)和服務(wù)器之間所交換的消息格式遵循XML標(biāo)準(zhǔn)。
所述JAVA腳本73具有通過(guò)XML消息“XML request(XML請(qǐng)求)”來(lái)詢問(wèn)servlet“control servlet(控制servlet)”的方法的函數(shù)(請(qǐng)求)。所述JAVA腳本函數(shù)(請(qǐng)求)將其串類型的輸入?yún)?shù)“request XML-string(請(qǐng)求XML串)”傳遞給所述servlet“control servlet”。同時(shí)所述函數(shù)安裝針對(duì)所述激活的X-object 46的事件“on ready state change(準(zhǔn)備狀態(tài)改變)”的event-handler(事件處理器)。如果所述JAVA腳本函數(shù)74成功接收來(lái)自所述servlet的響應(yīng)，則所述event-handler詢問(wèn)函數(shù)“handle XML response(處理XML響應(yīng))”并移交所述響應(yīng)的DOM文檔。
名為“Handle XML response(處理XML響應(yīng))”的JAVA腳本函數(shù)75希望DOM文檔作為輸入，通過(guò)所述輸入搜索以發(fā)現(xiàn)名為“mathResponse”的節(jié)點(diǎn)并且將所述值插入到文檔7的文本域中。
優(yōu)選地，所述瀏覽器41提供可以由JAVA腳本71到73使用的XMLHTTP對(duì)象。所述JAVA腳本運(yùn)行在客戶機(jī)瀏覽器41上，并通過(guò)使用所述對(duì)象發(fā)送XML消息給servlet。例如，在微軟因特網(wǎng)瀏覽器5.0或其后面的版本中支持所述XMLHTTP對(duì)象。其它瀏覽器(例如Mozilla和Netscape 6)提供類似的接口。
通過(guò)來(lái)自服務(wù)器的HTTP可以異步發(fā)送信息(消息)給客戶機(jī)而不用重新加載頁(yè)面。所述客戶機(jī)向決定其響應(yīng)時(shí)間的服務(wù)器進(jìn)行無(wú)阻塞請(qǐng)求。這效仿了服務(wù)器推送(server-push)。
XMLHTTP對(duì)象的消息摘要

在所述客戶機(jī)側(cè)，周期地調(diào)用名為“request()”的Java腳本函數(shù)。如果沒(méi)有請(qǐng)求是激活的，所述函數(shù)通過(guò)調(diào)用所述XMLHTTP對(duì)象的POST命令并發(fā)送消息串給servlet，來(lái)打開(kāi)新的HTTP請(qǐng)求。
在服務(wù)器上運(yùn)行的servlet接收所發(fā)送的串，該servlet可以從輸入流讀取所述所發(fā)送的串并且該串與應(yīng)用進(jìn)行交互。在處理了所述輸入流之后，基于所述應(yīng)用的狀態(tài)，servlet確定(formulate)其響應(yīng)。
可以在所述XMLHTTP對(duì)象的POST命令中設(shè)置參數(shù)“async”為TRUE，以異步運(yùn)行所述請(qǐng)求，這意味著在不阻塞HTML瀏覽器的情況下，發(fā)送和接收之間可能存在幾秒或幾分鐘。因此所述servlet可以等待其響應(yīng)，直到所述應(yīng)用觸發(fā)推動(dòng)事件。發(fā)送所述新的信息給所述客戶機(jī)。
當(dāng)所述客戶機(jī)已經(jīng)接收了所述響應(yīng)時(shí)，通過(guò)值4的“readyState”觸發(fā)XMLHTTP對(duì)象的“onreadystatechange”事件。安裝在所述事件上的event-handler因而可以處理所述響應(yīng)。
由于所述機(jī)制，不再需要HTTP文檔的重新加載，并且所述腳本71到73之間的信息交換和相應(yīng)的資源處理器對(duì)于用戶是不可見(jiàn)的。
所述資源處理器24提供MMAPI-HTTP(MMAPI＝多模態(tài)應(yīng)用程序接口)接口。所述接口包括一個(gè)或多個(gè)servlet的集合，例如與所述腳本71到73連接的servlet25和26，并且通過(guò)XML請(qǐng)求和XML響應(yīng)來(lái)支持與所述腳本71到73的交互。另外，所述接口包括連接與所述資源模塊31到33的通信的MMAPI bean的集合。例如，圖2示出了MMAPI bean 27，其具有socket(套接字)274、請(qǐng)求緩存271、響應(yīng)緩存272和觀察器線程(observer thread)273。
所述socket 274通過(guò)TCP/IP通信連接，支持MMAPI bean 27和例如資源模塊33的相應(yīng)資源模塊之間的通信。所述socket 274分析所述請(qǐng)求緩存271并通過(guò)所述通信連接傳送合適的請(qǐng)求。服務(wù)器線程掃描通過(guò)所述TCP/IP連接所接收的信息，并如果所述服務(wù)器線程檢測(cè)到合適的響應(yīng)，則填充所述響應(yīng)緩存。
所述servlet 25和26通過(guò)各自的填充請(qǐng)求和獲得響應(yīng)的函數(shù)，傳遞請(qǐng)求給請(qǐng)求緩存，并接收來(lái)自該響應(yīng)緩存的響應(yīng)。由此，所述系統(tǒng)執(zhí)行所述servlet和MMAPI bean之間的同步數(shù)據(jù)傳輸。
所述資源31到33提供通過(guò)TCP/IP連接以及RTP連接與所述客戶機(jī)4通信的功能性。例如，所述資源模塊33包括支持TCP/IP接口的通信單元34，和支持RTP接口的通信單元35。所述資源模塊31到33的每一個(gè)可以同時(shí)支持多個(gè)客戶機(jī)。
例如，所述MMAPI bean 27發(fā)送會(huì)話初始請(qǐng)求給所述資源模塊33，這例示了通過(guò)所述客戶機(jī)4的專用組件的相應(yīng)會(huì)話，并響應(yīng)所述會(huì)話的結(jié)果。
權(quán)利要求
1.一種提供了在多模態(tài)應(yīng)用和通過(guò)客戶機(jī)與該多模態(tài)應(yīng)用通信的用戶之間的多模態(tài)對(duì)話的方法，所述客戶機(jī)適于交換和呈現(xiàn)以標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言編寫的文檔，所述方法包括下列步驟通過(guò)代理服務(wù)器建立所述多模態(tài)應(yīng)用和所述用戶之間的多模態(tài)對(duì)話，所述代理服務(wù)器通過(guò)交換以標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言編寫的信息而與所述客戶機(jī)進(jìn)行交互；所述代理服務(wù)器檢索至少一個(gè)在所述多模態(tài)對(duì)話中所請(qǐng)求的附加模態(tài)資源，以及；所述代理服務(wù)器基于與所述客戶機(jī)的標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言交互并且基于所述檢索的附加資源，來(lái)編輯與所述用戶的多模態(tài)交互。
2.根據(jù)權(quán)利要求1的方法，其中，所述方法還包括下列步驟將一個(gè)或多個(gè)所請(qǐng)求的資源的集合編輯為文檔，該文檔是以標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言來(lái)呈現(xiàn)的；并傳送所述文檔到所述客戶機(jī)。
3.根據(jù)權(quán)利要求2的方法，其中，所述代理服務(wù)器創(chuàng)建提供模態(tài)資源的腳本，并將該腳本編輯為文檔。
4.根據(jù)權(quán)利要求2的方法，其中，所述代理服務(wù)器創(chuàng)建用于將多模態(tài)事件處理嵌入到所述文檔的腳本，并將該腳本編輯為文檔。
5.根據(jù)權(quán)利要求4的方法，其中，所述方法還包括下列步驟創(chuàng)建為所述腳本提供代理側(cè)的接口的資源處理器；并且根據(jù)標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言，在位于所述客戶機(jī)的腳本和位于所述代理服務(wù)器的資源處理器之間交換消息。
6.根據(jù)權(quán)利要求1的方法，其中，所述代理服務(wù)器根據(jù)在所述多模態(tài)對(duì)話中所請(qǐng)求的模態(tài)，來(lái)檢索特別是語(yǔ)音識(shí)別，文本至語(yǔ)音或手寫識(shí)別模塊的資源模塊，初始化所述客戶機(jī)和所述檢索的資源模塊之間的會(huì)話，并且基于所述初始化會(huì)話編輯多模態(tài)交互。
7.根據(jù)權(quán)利要求6的方法，其中，所述方法還包括下列步驟為所述檢索的資源模塊創(chuàng)建資源處理器，該資源處理器為位于所述客戶機(jī)的腳本提供代理側(cè)接口，所述資源處理器使所述腳本能與所述檢索的資源模塊交換信息，特別是檢索的語(yǔ)音識(shí)別、文本至語(yǔ)音或手寫識(shí)別模塊。
8.根據(jù)權(quán)利要求6的方法，其中，所述方法還包括這樣的步驟為所述檢索的資源模塊創(chuàng)建資源處理器，該資源處理器通過(guò)TCP/IP連接與所述資源模塊通信。
9.根據(jù)權(quán)利要求6的方法，其中，所述方法還包括這樣的步驟在所述客戶機(jī)的元件和所述檢索的資源模塊之間建立RTP連接。
10.一種代理服務(wù)器，其用于支持在多模態(tài)應(yīng)用和通過(guò)各自客戶機(jī)與該多模態(tài)應(yīng)用通信的用戶之間的多模態(tài)對(duì)話，所述客戶機(jī)適于交換和呈現(xiàn)以標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言編寫的文檔，其中，所述代理服務(wù)器包括對(duì)話管理器和編輯器，所述對(duì)話管理器適于通過(guò)代理服務(wù)器建立多模態(tài)應(yīng)用和用戶之間的多模態(tài)對(duì)話，通過(guò)交換以標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言編寫的信息與所述客戶機(jī)進(jìn)行交互，以及檢索至少一個(gè)在所述多模態(tài)對(duì)話中所請(qǐng)求的附加模態(tài)資源，所述編輯器基于與所述客戶機(jī)的標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言交互并且基于所述檢索的附加資源，來(lái)編輯與所述用戶的多模態(tài)交互。
全文摘要
本發(fā)明涉及一種方法，該方法提供在多模態(tài)應(yīng)用(5)和通過(guò)客戶機(jī)(4)與該多模態(tài)應(yīng)用(5)通信的用戶(6)之間的多模態(tài)對(duì)話，所述客戶機(jī)適于交換和呈現(xiàn)以標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言編寫的文檔(7)。本發(fā)明還涉及用于執(zhí)行所述方法的代理服務(wù)器(2)。通過(guò)所述代理服務(wù)器(2)建立所述多模態(tài)應(yīng)用(5)和所述用戶(6)之間的多模態(tài)對(duì)話，所述代理服務(wù)器(2)通過(guò)交換以標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言編寫的信息而與所述客戶機(jī)(4)進(jìn)行交互。所述代理服務(wù)器(2)檢索至少一個(gè)所述多模態(tài)對(duì)話中所請(qǐng)求的附加模態(tài)資源。所述代理服務(wù)器(2)基于與所述客戶機(jī)(6)的標(biāo)準(zhǔn)或擴(kuò)展的超文本標(biāo)記語(yǔ)言交互，并基于所述檢索的附加資源(71、72、73、31、32、33)，來(lái)編輯與所述用戶(6)的多模態(tài)交互。
文檔編號(hào)H04L29/06GK1700692SQ20051006808
公開(kāi)日2005年11月23日 申請(qǐng)日期2005年5月16日 優(yōu)先權(quán)日2004年5月18日
發(fā)明者J·謝內(nèi)爾, H·勒斯勒爾, D·紐鮑爾 申請(qǐng)人:阿爾卡特公司