專利名稱:用于同步多模態(tài)內(nèi)容呈現(xiàn)器中的視、聽演示的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及多模態(tài)視-聽內(nèi)容呈現(xiàn)器(renderer)，更特別地，涉及以同步方式同時可視和可聽地呈現(xiàn)內(nèi)容的多模態(tài)內(nèi)容呈現(xiàn)器。
背景技術(shù)：
在目前的技術(shù)中，內(nèi)容呈現(xiàn)器(例如Web瀏覽器)并不能直接同步地進(jìn)行相關(guān)資料的可聽和可視演示，而且，在多數(shù)情況下，它們是互相排斥的。在標(biāo)準(zhǔn)瀏覽器(如Netscape或Internet Explorer)以超文本標(biāo)記語言(HTML)編碼的內(nèi)容的演示主要是可視的。整個演示進(jìn)展的速率和方法是在用戶的控制之下。用戶可以從頭到尾閱讀全部內(nèi)容，如果呈現(xiàn)內(nèi)容是可滾動的話，依需要(即，當(dāng)可視內(nèi)容超出演示窗口的邊界時)進(jìn)行滾動。用戶也可以對內(nèi)容進(jìn)行采樣或掃描，并且例如僅讀取開始和結(jié)尾的內(nèi)容?；旧?，適合閱讀書籍、報紙或其他印刷資料的所有策略對于標(biāo)準(zhǔn)瀏覽器的用戶都是適用的。
可聽內(nèi)容的演示則表現(xiàn)為更為線性化。一般口語交談的內(nèi)容的進(jìn)展是從開始、經(jīng)過中間、再到結(jié)尾；用戶對這種進(jìn)展過程沒有直接的控制。雖然這一問題可以在記錄媒體上通過加入索引和快速檢索在一定程度上加以克服，但是這很難達(dá)到印刷材料所具有的可隨機(jī)訪問這樣的方便程度。通常，語音控制的瀏覽器涉及瀏覽器語音控制的輸入或在可聽輸出期間可聽地分辨HTML鏈接的各種方法。現(xiàn)有技術(shù)中已知的各種瀏覽器并未涉及可聽成分與可視成分之間的總體同步問題。
在有些情況下人們可能對同時接收某主題的同步化的可聽和可視演示感興趣。例如，在一部汽車內(nèi)，司機(jī)和/或乘客可能會與某一設(shè)備進(jìn)行交互。在駕駛中，顯然司機(jī)不能閱讀屏幕或監(jiān)視器上顯示的可視信息。但是，司機(jī)可以選擇他或她想要瀏覽器可聽地給出哪些信息。可是，在可聽部分被大聲地讀出時，乘客則可能想要跟著閱讀屏幕。
同樣，考慮一下一個文盲或半文盲成年人的情形。他或她可以跟著瀏覽器正在閱讀的文本，利用它學(xué)習(xí)如何讀或認(rèn)識新字。這種瀏覽器也可以通過提供成年人內(nèi)容來協(xié)助成年人學(xué)習(xí)閱讀，而不是提供旨在兒童學(xué)習(xí)閱讀的內(nèi)容。最后，一個要與瀏覽器交互的視力上有缺陷的人，盡管他或她也許不能閱讀瀏覽器，但他/她卻能“看見”和找到加重的文本。
同時在可聽和可視模式之間進(jìn)行內(nèi)容展示方面存在幾種挑戰(zhàn)性的問題。主要的一個問題是同步兩種演示。例如，一長段的內(nèi)容可能可視地呈現(xiàn)在多頁上。
還有一個復(fù)雜之處在于可視演示和可聽演示可能不是一一映射的。有些應(yīng)用可能需要僅可視地呈現(xiàn)某些內(nèi)容，而不必讀出。某些應(yīng)用則需要讀出內(nèi)容，而不需要可視呈現(xiàn)。在有些情況下介于二者之間。例如，一種應(yīng)用可能需要讀出一個人的全名，而以可視方式顯示他的昵稱。
授與Dvorak的、題標(biāo)為“Audio Interface for Document Based onInformat ion Resource Navigation and Method Therefor(用于基于信息資源導(dǎo)航文件的音頻接口及其方法)”的美國第5,884,266號專利，實現(xiàn)了利用可聽的獨特聲音，或者利用例如不同的發(fā)音等語音特征，向用戶提供標(biāo)記鏈接的概念，使得用戶能夠從非鏈接標(biāo)記中區(qū)分出來這些鏈接。
授與Brown等人的、標(biāo)題為“System and Method for VoiceControlled Video Screen Display(用于語音控制的視頻屏幕顯示系統(tǒng)和方法)”的美國第5,890,123號專利，與在呈現(xiàn)內(nèi)容時用于控制瀏覽器的語音指令有關(guān)。該專利主要著眼于在顯示內(nèi)容時對內(nèi)容進(jìn)行摘要處理，并利用其增加可能的語音交互。
授與Raman的、標(biāo)題為“Multimodal Information PresentationSystem(多模態(tài)信息演示系統(tǒng))”的美國第5,748,186號專利，與信息獲取、以一種公共中間表示建模、并為該數(shù)據(jù)提供多路或多視圖顯示的技術(shù)有關(guān)。但是，Raman的專利并沒有公開如何完成同步。

發(fā)明內(nèi)容
因此，本發(fā)明的一個目的在于提供一種多模態(tài)呈現(xiàn)器，該多模態(tài)呈現(xiàn)器以同步的方式，同時可視和可聽地呈現(xiàn)內(nèi)容。
本發(fā)明的另一目的在于提供一種多模態(tài)呈現(xiàn)器，該多模態(tài)呈現(xiàn)器可以將利用一種基于標(biāo)記標(biāo)志集的可擴(kuò)展標(biāo)記語言(XML)編碼的內(nèi)容可聽地讀給用戶。
本發(fā)明提供一種以同步的方式，同時可視和可聽地呈現(xiàn)內(nèi)容的系統(tǒng)和方法。本發(fā)明以可視方式和可聽方式向用戶呈現(xiàn)文檔。理想的內(nèi)容呈現(xiàn)器應(yīng)能做到，當(dāng)用戶正在聆聽到一部分內(nèi)容時，該部分內(nèi)容被可視地呈現(xiàn)在屏幕上，而且，正在可聽地呈現(xiàn)的特定的可視內(nèi)容(例如單詞或詞組)被可視地加重。此外，本發(fā)明還涉及多模態(tài)輸入(觸覺式輸入或語音輸入)。通過使呈現(xiàn)器處理內(nèi)嵌式瀏覽器標(biāo)記語言(EBML)代碼，使得應(yīng)用或服務(wù)器對于某人成為以可聽方式而不是以可視方式來訪問的，使得可將其可聽地讀給用戶。EBML語句也可以如此組合，使得可聽地讀給用戶的內(nèi)容與可視文本相關(guān)聯(lián)但不相同。本發(fā)明通過標(biāo)記語言變化而不是應(yīng)用程序代碼變化，解決變化內(nèi)容的可聽與可視演示的同步問題。
EBML標(biāo)記語言是超文本標(biāo)記語言(HTML)的子集，是一種眾所周知的、主要用在與因特網(wǎng)的萬維網(wǎng)(WWW)部分相關(guān)方面的標(biāo)記集合。EBML還集成了不同的標(biāo)記集中的幾種標(biāo)記，例如Java語音標(biāo)記語言(Java SpeechMarkup Language)(JSML)。JSML包含控制可聽呈現(xiàn)的標(biāo)記。本發(fā)明的標(biāo)記語言提供了用于同步和協(xié)調(diào)一個網(wǎng)頁的可視和可聽成分的標(biāo)志。例如，出現(xiàn)在<SILENT>和</SILENT>標(biāo)記之間的文本，將出現(xiàn)在屏幕上，但不是可聽地呈現(xiàn)的。出現(xiàn)在<INVISIBLE>和</INVISIBLE>標(biāo)記之間的文本，將被“說”出來而不可見。改編于JSML的<SAYAS>標(biāo)記，使得不同于可視呈現(xiàn)內(nèi)容的文本(或者記錄的音頻部分例如WAV文件、微軟視窗(Microsoft Windows)操作系統(tǒng)中使用的本機(jī)數(shù)字音頻格式)被“說”出來(或播放出來)。
用于同步多模態(tài)瀏覽器中的可聽和可視演示方法包括以下步驟通過計算機(jī)網(wǎng)絡(luò)接收文檔，對文檔中的文本進(jìn)行語法分析，提供與該文本相關(guān)的可聽成份，同時地傳輸并輸出該文本和可聽成份。
本發(fā)明的一個較佳實施例提供了一種方法和系統(tǒng)，當(dāng)用戶聽到內(nèi)容的某部分時，該部分在屏幕上是可視的，并且這些被可聽地呈現(xiàn)的特定的可視內(nèi)容(例如，單詞或詞組)、被以某種方式可視地加重。這意味著隨著可聽演示過程自動滾動，逐詞加重。
附圖簡述從以下結(jié)合附圖對本發(fā)明最佳實施例的詳細(xì)描述中，可以更好地理解本發(fā)明上述及其他目的、方面和優(yōu)點。

圖1是表示本發(fā)明方法的邏輯流程圖；圖2是帶有可觸摸成份的呈現(xiàn)頁面的一個例子；圖3是可以實現(xiàn)本發(fā)明的一個系統(tǒng)的框圖；圖4A是一個模型樹的實例示意圖；圖4B是總體代表一個模型樹和可聽及可視視圖之間關(guān)系的示意圖；圖5表示在視圖建立過程中產(chǎn)生的語法分析樹的一個實例；圖6示出一個視圖/模型相互關(guān)系的實例；以及圖7示出在拋棄不必要節(jié)點后，經(jīng)調(diào)整的視圖/模型相互關(guān)系的一個實例。
本發(fā)明的優(yōu)選實施方式現(xiàn)在參照附圖，更具體地，參照圖1，其中示出了表示本發(fā)明方法的邏輯流程圖。在功能框100，經(jīng)過一個計算機(jī)網(wǎng)絡(luò)輸入或接收一個文檔。在功能框102，對該文檔進(jìn)行語法分析，將文本與EBML標(biāo)記分離開來。在功能框104，將經(jīng)語法分析的文檔傳送到EBML呈現(xiàn)器。然后在判斷框106進(jìn)行測試，判斷是否存在更多的需呈現(xiàn)的文檔。如果為“否”，過程在步驟108終止；如果判斷為“是”，在判斷框112作出測試判斷是否文字上讀出子文檔中的文本。如果為“否”，在功能框114顯示可視成分，并讀出不與該可視成分文字上相對應(yīng)的可聽部分；如果在判斷框112作出的判斷為該文本應(yīng)當(dāng)按文字讀出，則在功能框116顯示可視成分，并且讀出與該可視成分文字上相對應(yīng)的可聽成分。當(dāng)功能框114和116的操作都完成之后，處理過程回到判斷框106，直到?jīng)]有更多的呈現(xiàn)操作為止。
圖2是帶有可觸摸成分的呈現(xiàn)頁面的一個例子。用戶可以在該頁面上的文本被大聲地讀出的同時可視地閱讀該文本。在將每個詞可聽地讀給用戶時，將屏幕上被讀出的詞加重，這使得其能夠更快和更容易地識別和觸摸剛剛讀出的(或者幾乎是剛剛讀出的)內(nèi)容。另外，顯示的按鈕202和204，分別使得讀者容易地前進(jìn)到下一屏或返回到前一屏。通過正確地生成它的EBML，該應(yīng)用程序能夠按順序閱讀所有文章，但是如果，例如，按動屏幕上的按鈕202，則跳過當(dāng)前文章。一個機(jī)動車駕駛員，例如，因而能夠集中視線在路上，耳聽文章的題目/標(biāo)題，并且如果對該文章不感興趣的話，可以迅速地在觸摸屏上找到前進(jìn)按鈕202。在一個優(yōu)選實施例中，瀏覽器例如通過說出“按前進(jìn)按鈕跳過本文至下一屏”，可聽地提示用戶前進(jìn)到下一屏。另外，可以將該按鈕做得相對于屏幕的其他部分是突出的，比如通過閃爍和/或采用某種彩色使其能夠被立即分辨出來。這種使用戶能夠容易地按動按鈕202跳過當(dāng)前文章或按動按鈕204返回到前一篇文章的方便性，相當(dāng)于使用戶能夠容易地調(diào)諧收音機(jī)或選擇其他無線電頻道。
圖3是可以實現(xiàn)本發(fā)明的一個系統(tǒng)的方框圖。EBML瀏覽器300從網(wǎng)絡(luò)100接收嵌入了EBML的內(nèi)容。瀏覽器300將該內(nèi)容傳送到EBML語法分析器302，后者對收到的內(nèi)容的EBML語言進(jìn)行語法分析。語法分析器302然后將要呈現(xiàn)的內(nèi)容送到可聽-可視同步器304，后者同步原始EBML的每一可聽-可視部分的輸出。顯示模塊306和文本-語音(TTS)模塊308都接收來自可聽-可視同步器304的輸出。TTS模塊308準(zhǔn)備將要被讀的EBML頁面的可聽部分，而顯示模塊306顯示該可視部分，使得其與來自TTS模塊308的可聽部分同步。
在本發(fā)明的一個最佳實施例中，在進(jìn)行EBML語法分析和完成能夠執(zhí)行同步呈現(xiàn)可視和可聽內(nèi)容的過程中，有三個階段a)建立模型；b)構(gòu)建模型的視圖；以及，c)呈現(xiàn)。
現(xiàn)在轉(zhuǎn)到本發(fā)明的模型構(gòu)建階段。在該階段同步可聽和可視成分；當(dāng)語法分析器302對標(biāo)記語言進(jìn)行語法分析時，建立起包含用于標(biāo)記語言中每一標(biāo)記的模型單元的模型樹。在該模型樹中，用于嵌套標(biāo)記的各單元出現(xiàn)在它們父代單元之下。例如<EBML> (1)<BODY> (2)<SAYAS SUB＝“該文本被“說”出.”> (3)<P>該文本是可視的.</P> (4)</SAYAS> (5)</BODY> (6)</EBML> (7)以上代碼將得到如圖4A所示的模型樹。特別地，P單元456(用于段落的)出現(xiàn)在SAYAS單元454之下。SAYAS單元454依次出現(xiàn)在BODY單元452之下。最后，BODY單元452是EBML單元450的一個子單元。文本本身(例如“該文本是可視的”)則被包含在該樹底部的一個特定文本單元458中。
現(xiàn)在轉(zhuǎn)到本發(fā)明構(gòu)建視圖的步驟上來。如圖4B所示，一旦根據(jù)提供的源代碼建立模型樹424，就對其進(jìn)行遍歷以生成該模型的分離的可聽視圖402和可視視圖416。可聽視圖402包括一個可聽單元(404、406、408、410、412和414)隊列，它們是用于表示例如由文本-語音發(fā)聲引擎或由某種媒體播放器“說”出的項目，或者表示一些可以控制可聽流的項目(例如可聽隊列中的分支、暫停，等等)的對象。可視視圖416包括可由一些視窗系統(tǒng)440使用的內(nèi)容的表示，用于可視地呈現(xiàn)這些成分(418、420、422)。
隨著對模型樹424中各單元(426、434、428、430、432、440、442、438、436)進(jìn)行遍歷，得到指令建立其可視視圖416和可聽視圖402。標(biāo)記在模型樹424中出現(xiàn)的位置不同，在一給定標(biāo)記內(nèi)的文本的可視或可聽呈現(xiàn)也不同。一般地，各單元在模型樹424中從它們的父代單元中獲得其可視和可聽屬性。模型樹424的遍歷保證了父代單元先于它們的子單元得到處理，也保證了例如任何嵌套于一個<SILENT>標(biāo)記內(nèi)的單元(不論其嵌套有多深)，得到一個無聲屬性。遍歷是本領(lǐng)域技術(shù)人員已廣泛知曉的技術(shù)，在此沒有必要作過多的解釋。
然后當(dāng)前的單元修改屬性，以反映其自己的行為，從而使樹中位于它以下的節(jié)點變得有效。例如，Silent單元將可聽屬性設(shè)置為“否”。樹中在<SILENT>節(jié)點以下的各節(jié)點(亦即，它們被包括在<SILENT>EBML結(jié)構(gòu)以內(nèi))，都采取與由它們的祖先建立起來的屬性一致的可聽屬性。一個單元也可以改變視圖。例如，在一個最佳實施例中，由于將要被說出的不是包含的文本內(nèi)容而是其他別的，所以一個Sayas單元，象Silent單元一樣，將把可聽屬性設(shè)置為“否”。但是相應(yīng)地，它將在可聽視圖402上加入一個或多個對象，以便說出包含在標(biāo)記屬性內(nèi)的替代內(nèi)容(SUB＝“說出這個文本”)最后，處理包含的標(biāo)記和文本(即，子單元)。在樹424中的一個節(jié)點，對于位于其以下的任何節(jié)點來說，都被認(rèn)為是父代的。所以，例如，模型樹424的節(jié)點434和436是節(jié)點426的子節(jié)點，節(jié)點426是節(jié)點434和436的父代節(jié)點。除了負(fù)責(zé)生成可聽輸出單元(圖4B中404、406、408、410、412和414)的節(jié)點之外，它們也生成可視演示(圖4B中418、420和422)。
對于包含的標(biāo)記單元(例如434和436)，它們簡單地被要求建立它們自己的視圖(即，繼續(xù)進(jìn)行樹的遍歷)。對于包含的文本單元，根據(jù)累積的所有屬性來處理該文本。于是，例如，如果屬性指示出是可聽但不是可視內(nèi)容時，修改可聽視圖402，但不將任何內(nèi)容加到可視視圖416中。在最佳實施例中，大多數(shù)關(guān)于如何處理文本的信息被累積到文本屬性中，使得大多數(shù)單元不需要處理它們自含文本。相反，它們向上檢索模型樹424，尋找一個帶有處理該文本的方法的單元。只有那些后來被引入用以保持可視和可聽演示的同步的單元帶有處理該文本的方法(例如單元432)。這些單元，例如SayAs單元，提供說出的內(nèi)容和可視內(nèi)容之間的鏈接。它們將自身登記到可聽隊列402上的對象中，于是當(dāng)單詞或可聽剪切被說出或播出時，它們接收通知，并且它們保持對于相應(yīng)的可視視圖成分的引用。所以，正是這些單元，才帶有與讀出和加重相關(guān)的獨特行為，有必要帶有它們自身處理文本的方法。例如，一個SayAs單元必須管理這樣的事實，即，必須加重顯示一個文本塊而同時要在通過一個TTS合成器或者一個預(yù)記錄的音頻剪輯，呈現(xiàn)完全不同的可聽內(nèi)容。那些沒有這種特殊行為管理和不出現(xiàn)在樹中的其他具有特殊行為的單元之下的大多數(shù)單元，利用由一個根EBML單元提供的默認(rèn)文本處理而結(jié)束，其集中正常逐詞加重顯示。
由于僅僅使用模型樹424的選擇單元，以保持可聽和可視視圖之間的鏈接，它們需要保持在構(gòu)建視圖的階段之外、呈現(xiàn)內(nèi)容的階段之中。構(gòu)建視圖的這種方法的一個優(yōu)點是，樹中所有其他單元(典型地包括絕大多數(shù)單元)在呈現(xiàn)階段不再被需要而可以被刪除。那些消耗性單元(434、436、438、440、442)在圖4B中用虛線示出。其好處是可以大大節(jié)約存儲器。一個典型的標(biāo)記頁面可以導(dǎo)致建立大量標(biāo)記和文本節(jié)點。在可聽和可視視圖已經(jīng)建立起來之后，這些節(jié)點中少量的節(jié)點，在視圖演示期間保持用來處理語音事件(并保持各視圖之間的同步)。
在內(nèi)容的呈現(xiàn)期間，呈現(xiàn)器迭代通過可聽視圖402。可聽視圖402現(xiàn)在由一系列指定和控制可聽進(jìn)展的對象組成，包括包含被說出的文本的對象；標(biāo)出進(jìn)/出單元的對象；向可聽展示發(fā)出可中斷暫停請求的對象；以及請求可聽示視圖402再定位的對象(包括循環(huán)回和重復(fù)可聽隊列部分的能力)。
當(dāng)這些事件進(jìn)行時，通知在模型樹424中的適當(dāng)保持的單元(426、428、430、432)。模型樹424依次通知對應(yīng)的可視成分(428、420、422)作出適當(dāng)?shù)募又仫@示行為，要求它們成為可見的(即，要求它們告訴它們包含的視窗根據(jù)需要自動滾動)。
為了進(jìn)一步理解建立/呈現(xiàn)一個文檔所需步驟，可考慮以下簡單EBML文檔<EBML>
<SAYAS SUB＝“Here comes alist！”>
<FONT SIZE＝“10”FACE＝“Sans”>
My list</FONT>
</SAYAS>
<UL>
<LI>Apples</LI>
<LI>Peaches</LI>
<LI>Pumpkin Pie</L1>
</UL>
</EBML>
語法分析器302創(chuàng)建如圖5所示的模型樹。圖中用黑體橢圓形示出節(jié)點<EBML>502和<SAYAS>504，因為這些節(jié)點被指定處理那些用于在它們的子節(jié)點樹中的文本(在這一分類中有其他標(biāo)記，但在此實例中恰巧為有兩個標(biāo)記)。正是這兩個節(jié)點，實際將文本添加給可聽/可視視圖。非文本的節(jié)點(506、508、510、512和514)用包含標(biāo)記名稱的橢圓形示出。在可聽和可視視圖的構(gòu)建期間，瀏覽器使用此模型樹524。應(yīng)注意終端節(jié)點(516、518、520、522)用多邊形示出。這些節(jié)點包含來自文檔的實際文本。此樹以下的節(jié)點只是將建立請求上傳至該樹中，而不管該請求將由哪個節(jié)點來處理。
在完成文檔的語法分析之后，瀏覽器遍歷模型樹524，并開始各種所需視圖的構(gòu)建。由于在各節(jié)點中都可到達(dá)建立例程，所以它可以有幾個作用。首先，當(dāng)前文本屬性對象可被改變，其將影響由樹中在它以下的那些節(jié)點給出文本的演示。例如，如果到達(dá)一個<FONT>標(biāo)記，該<FONT>標(biāo)記節(jié)點改變文本屬性對象，以表明對于任何所含的文本，后續(xù)的可視視圖建立請求應(yīng)當(dāng)采用一種特定的字體。這些在下節(jié)點承兌這一屬性，因為在開始工作之前，每一節(jié)點都獲得它的父代屬性對象的副本。其次，建立例程能夠要求模型樹524回到其父代，并要求一特定文本段得到處理。對于文本節(jié)點而言，這是默認(rèn)行為。最后，建立例程可以直接影響視圖。例如，<P>標(biāo)記節(jié)點能夠?qū)⒁粋€新行對象放到當(dāng)前的可視視圖上，從而使得文本的可視流被中斷。類似地，<BREAK>標(biāo)記可以將一個可聽分隔對象加到可聽隊列中，從而在可聽輸出中引起暫停。
由于節(jié)點要求父代樹尋找要被處理的文本，實現(xiàn)這一功能的這些節(jié)點(在此例中的<EBML>和<SAYAS>)負(fù)責(zé)建立可聽/可視視圖，并協(xié)調(diào)任何在演示期間所需的同步。
圖6示出在建立已經(jīng)完成之后，視圖和用于實例EBML的模型之間的關(guān)系。由于可聽隊列402的建立，相對于負(fù)責(zé)可聽/可視視圖同步的節(jié)點保持參考。例如，可聽視圖402項目602指向SAYAS標(biāo)記504，可聽隊列項目604、606和608指向EBML標(biāo)記502。這允許由語音引擎304發(fā)出的事件被切換到正確的節(jié)點上。然后，該模型保持對可視演示中的適當(dāng)成分的參考。這允許這些模型節(jié)點在文本正在被可聽到地顯示的時候，執(zhí)行任何所需的同步行為。在此例中，<SAYAS>節(jié)點504負(fù)責(zé)同步項目602和526的不同可聽和可視演示。當(dāng)可聽和可視演示相同時，<EBML>節(jié)點502提供默認(rèn)行為，分別如圖中單元604、606、608和單元528、530及532所示。
一旦已經(jīng)建立起來視圖，就指令模型去掉保持在樹中的參考。例如，Java編程語言允許在Java虛擬機(jī)中的“垃圾箱”(garbage collection)收集那些在演示期間不需要提供同步的節(jié)點?？梢允褂闷渌摹袄洹毕到y(tǒng)可來自動地回收節(jié)點。那些需要同步的節(jié)點則由可聽視圖402所錨定，因而避免被收集掉。
圖7示出參考得以漸消的樹。其中可被收集到垃圾箱中的節(jié)點用虛線示出(506、508、510、512、514、516、518、520及522)。
權(quán)利要求
1.一種由計算機(jī)實現(xiàn)的用于在多模態(tài)呈現(xiàn)器中同步可聽和可視演示的方法，包括步驟接收包括含有用于可聽成分標(biāo)記和用于可視成分標(biāo)記的瀏覽器標(biāo)記語言代碼的文檔；對所接收的文檔中的文本進(jìn)行語法分析，以建立包含一些用于所述代碼中的每一標(biāo)記的模型單元的模型樹；遍歷該模型樹以建立可視和可聽視圖；根據(jù)指向一個用于可聽成分的標(biāo)記的可聽視圖項目，生成與文本相關(guān)的可聽成分；以及在再現(xiàn)所生成的可聽成分時，根據(jù)指向一個用于可視成分的標(biāo)記的可視視圖項目顯示文本。
2.如權(quán)利要求
1所述的由計算機(jī)實現(xiàn)的用于在多模態(tài)呈現(xiàn)器中同步可聽和可視演示的方法，進(jìn)一步包括步驟以可視方式將顯示文本中對應(yīng)于所再現(xiàn)的生成的可聽成分的部分加重顯示。
3.如權(quán)利要求
2所述的由計算機(jī)實現(xiàn)的方法，進(jìn)一步包括步驟自動滾動顯示的文本，以保持顯示本文與再現(xiàn)的生成的可聽成分之間的對應(yīng)關(guān)系。
4.如前述任何一個權(quán)利要求
所述的由計算機(jī)實現(xiàn)的方法，其中可聽成分在文字上與文本相對應(yīng)。
5.如權(quán)利要求
1-3的任何一個所述的由計算機(jī)實現(xiàn)的方法，其中可聽成分與文本相關(guān)聯(lián)，但不與文本在文字上相對應(yīng)。
6.如權(quán)利要求
1-3的任何一個所述的由計算機(jī)實現(xiàn)的方法，其中可聽成分是一個預(yù)記錄的剪輯。
7.如權(quán)利要求
1-3的任何一個所述的由計算機(jī)實現(xiàn)的方法，其中所述文檔是從網(wǎng)絡(luò)上接收的。
8.如權(quán)利要求
7所述的由計算機(jī)實現(xiàn)的方法，其中多模態(tài)呈現(xiàn)器是一個網(wǎng)絡(luò)瀏覽器。
9.如權(quán)利要求
1-3的任何一個所述的由計算機(jī)實現(xiàn)的方法，進(jìn)一步包括步驟顯示按鈕，當(dāng)用戶按動按鈕時，使得顯示的文本跳過當(dāng)前文章或返回到前一文章。
10.如權(quán)利要求
9所述的由計算機(jī)實現(xiàn)的方法，進(jìn)一步包括步驟加重顯示按鈕以利于用戶選擇。
11.一種用于在多模態(tài)呈現(xiàn)器中同步可聽和可視演示的計算機(jī)系統(tǒng)，包括輸入裝置，用于接收包括含有用于可聽成分標(biāo)記和用于可視成分標(biāo)記的瀏覽器標(biāo)記語言代碼的文檔；語法分析器，用于對所接收文檔中的文本進(jìn)行語法分析，以便建立包含一些用于所述代碼中的每一標(biāo)記的模型單元的模型樹；用于遍歷模型樹以建立可視和可聽視圖的裝置；用于根據(jù)指向一個用于可聽成分的標(biāo)記的可聽視圖項目，生成與文本相關(guān)的可聽成分的裝置；以及顯示器，用于在再現(xiàn)所生成的可聽成分時，根據(jù)指向一個用于可視成分的標(biāo)記的可視視圖項目顯示文本。
12.如權(quán)利要求
11所述的計算機(jī)系統(tǒng)，其中所述顯示器包括用于將顯示文本中對應(yīng)于再現(xiàn)的生成的可聽成分的部分加重顯示的裝置。
13.如權(quán)利要求
11所述的計算機(jī)系統(tǒng)，包括用于自動滾動顯示的文本，以便與可聽成分重合，從而在視圖中保持與再現(xiàn)的生成的可聽成分相對應(yīng)的本文的裝置。
14.如權(quán)利要求
11至13的任何一個的計算機(jī)系統(tǒng)，其中可聽成分在文字上與顯示的文本相對應(yīng)。
15.如權(quán)利要求
11至13的任何一個的計算機(jī)系統(tǒng)，其中可聽成分與顯示的文本相關(guān)聯(lián)，但不與顯示的文本在文字上相對應(yīng)。
16.如權(quán)利要求
11至13的任何一個的計算機(jī)系統(tǒng)，其中可聽成分是一個預(yù)記錄的剪輯。
17.如權(quán)利要求
11至13的任何一個的計算機(jī)系統(tǒng)，包括用于從網(wǎng)絡(luò)上接收文檔的裝置。
18.如權(quán)利要求
17所述的計算機(jī)系統(tǒng)，其中多模態(tài)呈現(xiàn)器是一個瀏覽器。
19.如權(quán)利要求
11至13的任何一個的計算機(jī)系統(tǒng)，其中所述顯示器在操作上設(shè)置為顯示一些按鈕，當(dāng)用戶按動按鈕時，其使得顯示的文本跳過當(dāng)前文章或返回到前一文章。
20.如權(quán)利要求
19所述的計算機(jī)系統(tǒng)，其中顯示的按鈕被加重顯示以利于用戶選擇。
專利摘要
本發(fā)明提供了一種用于多模態(tài)瀏覽器/呈現(xiàn)器的系統(tǒng)和方法，其以同步的方式呈現(xiàn)可視和可聽內(nèi)容，不需改變服務(wù)器應(yīng)用程序。該系統(tǒng)和方法包括通過計算機(jī)網(wǎng)絡(luò)接收文檔，對文檔中的文本進(jìn)行語法分析，提供與文本相關(guān)聯(lián)的可聽成分，同步地將文本和可聽成分傳送到輸出端。呈現(xiàn)器所需的行為是當(dāng)內(nèi)容的某些部分對用戶是可聽時，該部分在屏幕上是可見的，而且將可聽地呈現(xiàn)的特定可視內(nèi)容可視地加重顯示。本發(fā)明還作用于來自可視成分或可聽成分的輸入，還通過使瀏覽器處理EBML語言，允許用戶經(jīng)可聽裝置而非可視裝置對任何應(yīng)用程序或服務(wù)器進(jìn)行訪問，使得能將其可聽地讀給用戶。能夠結(jié)合已有的EBML語句，使得可聽地讀給用戶的內(nèi)容與EBML文本相關(guān)聯(lián)但不相同。本發(fā)明還通過標(biāo)記語言變化而非應(yīng)用代碼變化，解決同步現(xiàn)有內(nèi)容的可聽和可視演示的問題。
文檔編號G10L13/04GKCN1184613SQ01816336
公開日2005年1月12日 申請日期2001年9月19日
發(fā)明者L·布羅西爾斯, S·福伊斯特爾, J·亨尼西, M·豪蘭, S·普里特克 申請人:國際商業(yè)機(jī)器公司導(dǎo)出引文BiBTeX, EndNote, RefMan