專利名稱：用于制作具有一系列可視字符與相配合的語音的一個音像制品的方法與系統(tǒng)及其這種音 ...的制作方法
本申請是1994年9月22日提交的序列號為08/310,458、標題是＂具有配合語音的一系列可視字符的音像制品＂的未決美國申請的部分繼續(xù)申請；該申請是1994年2月24日提交的序列號為08/209,168的、現(xiàn)在被放棄的美國申請的部分繼續(xù)申請，而后者又是1993年9月23日提交的序列號為08/126,341的、現(xiàn)在被放棄的美國申請的部分繼續(xù)申請。
背景技術：
早先的視聽播放就已經(jīng)包含配置說明字幕(美國專利3,199,115及5,097,349或氣泡形圖注(美國專利1,240,774及2,524,276)，為的是幫助對播放的口述內(nèi)容作語言的文字解釋。
雖然先前的說明字幕時常是與一種不同語言中的單詞的說出同時出現(xiàn)，但是這種出現(xiàn)是偶然、少見的，并且沒有一個實現(xiàn)把一系列發(fā)聲與一系列文字做特定關聯(lián)的控制模式。而且，說明字幕單詞的定位遠離圖象表演動作。
已有技術的、每一個顯示一個單詞的閃現(xiàn)卡片試圖通過反復強調(diào)及不自然的練習來教閱讀。雖然最終具有一些效果，但是這種卡片的使用需較長的學習周期，并且需要母親或教員之類的文字家教的面授。
而且這種卡片不提供本發(fā)明通過在敘述性的視聽媒質(zhì)內(nèi)提供涉及的對象而具有的關聯(lián)能力，而這種視聽媒質(zhì)在讀寫能力指教功能外，還對于學生有吸引力。
美國專利5,241,671揭示了在一個計算機屏幕以某些字加下劃線而某些字不加下劃線的方式顯示任何文章的文本。當用戶從該文本選擇一個單詞時，其解說在一個窗口上出現(xiàn)，并且出現(xiàn)該詞匯的發(fā)音。另外還可以顯示一個聲音的圖符。
封閉字幕制品提供獨立的區(qū)域或相鄰的框，其中顯示分組的單詞。封閉字幕系統(tǒng)在屏幕的底部或其它遠距說話人或演員的位置上顯示成組的單詞。封閉字幕中的單詞以不同的背景出現(xiàn)在視頻畫面場景的兩側(cè)、下面或上面，該背景通常是白色的。為了幫助聾啞人而具有音象的手勢語言符號也顯示在單獨的鄰近方框中。這些方框顯示技術可能對觀眾構(gòu)成一種妨礙。
已經(jīng)播放的教學用視聽節(jié)目包括有一位面對攝象機鏡頭進行講解的教師，進行講解的同時在講解者的前面顯示出對應的書面文字。視聽者厭倦這種形式，尤其是年輕的視聽者會因此而失去對所討論的主題內(nèi)容的興趣。
發(fā)明概要簡單地說，本發(fā)明包括一種視聽制品及其制作方法，其中利用通常所見制品的正常設置，即伴隨言語或其它口語發(fā)音的圖象幀或段的一般常見序列，另外疊加上與視聽者順序聽到的發(fā)音序列相關或相應的文字序列。我們稱其為“改進的”(euthetic)(恰當定位的)字幕。上下文中，如果語音詞匯和書面詞匯是同一個單詞，則二者是相對應的。一種語言的語音詞匯與另一種語言中具有相同含義的書面詞匯是該上下文中的相關的詞匯。
根據(jù)本發(fā)明的某些實施例，其特點是每一文字書寫出現(xiàn)在說話人的頭部附近、上面或相關的地方，這樣視/聽者可以同時觀察到書面詞匯、語音詞匯以及相伴的面部、唇部和頭部運動表情，通過靠近和正對嘴部的方式而產(chǎn)主一種其單詞是從嘴中發(fā)出的印象。根據(jù)另外一些實施例，每一書面文字都出現(xiàn)在使用手語的人的手的附近、上面或相關的地方，根據(jù)本發(fā)明的另外一些實施例，盲文被“顯示”在與說話人的語音詞匯相關的某一單獨裝置上。
本發(fā)明與不需指導的通常為娛樂、信息或其它非文化教育意圖的目的而制作的視聽制品一起使用。它可以作為新產(chǎn)品的組件或者先前制作的視聽制品的改進與這些資料一起使用。本發(fā)明還可以用于新制作的文化教育意圖的為應用本發(fā)明而設計的資料。這種新制作的文化教育意圖的實施本發(fā)明的資料對學生來說要比現(xiàn)有的用于文化教育目的的視聽資料少一些厭煩和脅迫感。
本發(fā)明的特征是視聽制品可以線性播放，也可以通過編程以及使用多媒體計算機平臺集成制作成一種可以由視/聽者提供附加指令而進行交互式操作的制品。
本發(fā)明方法的另一特征是在社會工作中所具有的一定的實用性，因其中有大量的工作需要使用某一語言中的基本詞匯如本文中所述在視聽制品上編配文字，并向某一群體反復廣播或展示該制品，教會其中的一部分人在閱讀時能夠認識這些詞匯。
最后，本發(fā)明包含對于接近文字聲源或視在聲源的文字組的選擇使用，其文字可以是或可以不是被有選擇地加亮，或以別的方式使文字之間有差異，以便提供聽到的具有相同含意的一個或多個單詞的關聯(lián)性，或使得看到的和聽到的一個或多個單詞被關聯(lián)。
附圖簡介

圖1是先有技術；圖2是某一講演者的正面視圖序列，其中書面文字出現(xiàn)在講演者嘴邊的不同平面上；圖3是某一講演者的正面視圖序列，其中書面文字出現(xiàn)在講演者嘴邊的同一平面上；圖4是一流程圖，其中示意本發(fā)明中所使用的步驟和設備部件；圖5是另一流程圖，其中表示本發(fā)明的一個交互式制品的制作過程，該制品中包括同時的聲象的發(fā)音/文字；圖6是一流程圖，其中示意使用在本發(fā)明中的另一些步驟和設備部件；圖7是一流程圖，其中示意擴展視聽制品中的音頻部分以助于協(xié)調(diào)聲音和文字的方法；圖8是一嘴部附近有一單詞的講演者的前正面視圖；圖9是圖8的一個部分示意性平面視圖，其中畫出了對話平面；圖10是一電視機屏幕的透視圖，上面有處在不改進的置的一個講演者；圖11是另一講演者的另一透視圖；圖12a-b是依據(jù)本發(fā)明實施改進的字幕的一種方法的流程圖；圖13a-b是依據(jù)本發(fā)明實施改進的字幕的另一系統(tǒng)和方法的流程圖；圖14是依據(jù)本發(fā)明實施改進的字幕的另一系統(tǒng)和方法的一個流程圖；圖15a-b是根據(jù)本發(fā)明的一個方面的波形延展圖；圖16是依據(jù)本發(fā)明實施改進的字幕的另一系統(tǒng)和方法的一個流程圖17是圖16中所述系統(tǒng)和方法關于計算機工作站的更詳細一些的流程圖；圖18a-b是關于圖17中所述計算機工作站的更詳細一些的流程圖；圖19a-b是應用改進的字幕的表示；圖20a-b是依據(jù)本發(fā)明應用改進的字幕所得到的四象限方位的表示；圖21a-b是描述依據(jù)本發(fā)明改進的字幕直觀應用的流程圖；圖22是依據(jù)本發(fā)明的一個多媒體平臺的示意圖；圖23是依據(jù)本發(fā)明的一種交互能力的流程圖；圖24是圖23中所描述的交互式單詞發(fā)音的流程圖；圖25是依據(jù)本發(fā)明的一個阻視區(qū)(blockout zone)的示意性表示；圖26是本發(fā)明的一個使用手勢語言的實施例的示意性表示。
圖27是具有接近嘴部的單詞＂WOW＂的一個人的透視畫；圖28是類似于圖27的具有兩個接近嘴部的單詞的圖示；圖29是類似于圖27的具有三個單詞的一個圖示；圖30是一個類似于圖27的具有一個單詞顯示得比其它兩個高的三單詞的圖示；圖31是一個類似于圖27的顯示具有一個較高單詞相對于其它兩個所顯示單詞不同定位的三單詞的圖示；圖32是在具有單詞的四個(4)不同對話平面中的一個人頭的透視畫；圖33是類似于圖32的圖，其中一組單詞出現(xiàn)在每一對話平面中，所選擇的文字被加重；圖34是類似于圖32的圖，其中該單詞出現(xiàn)在平行于平板型屏幕平面的幾個平面中，所選擇的文字被加重；圖35是類似于圖33的圖，其中該單詞出現(xiàn)在平行于平板型屏幕平面的一個平面中，所選擇的文字被加重；圖36是類似于圖32的圖示，沒有單詞加重，其中通過最初的出現(xiàn)使單詞有差異；圖37是類似于圖36的圖示，單詞出現(xiàn)在平坦的平面中；
圖38是類似于圖33的沒有單詞被加重的一個圖示；和圖39是類似于圖35的沒有單詞被加重的一個圖示。
較佳實施例的描述圖1表示已有技術的一個屏幕1，其上有一個典型的視聽畫面2(陰影區(qū))，畫面2中有一已有技術的封閉字幕框3，里面寫有＂in thehouse＂幾個單詞；畫面中還有已有技術的一個手語框4以及位于畫面下部的其中寫有“at eleven”幾個單詞的延長單詞運行區(qū)5。其中區(qū)域5中單詞沿箭頭A的方向移動。包括與畫面2相關的對話在內(nèi)的聲音多半從聲源區(qū)6中發(fā)出。
依據(jù)本發(fā)明的單詞或其它符號通常安置在聲源區(qū)6中視聽的畫面部分；不過，單詞也可以疊加在畫面2的其它部分上，其中視聽者的注意力由其對該視聽的興趣來引導，如哪里有動作、該動作的位置與聲源是否一致等。
在一優(yōu)選實施例中，本發(fā)明把單詞放置在視聽中的講演者的參考畫面(即不與觀看屏幕的平面平行的平面)中。因為觀察者的參考畫面是所視的屏幕的平面；單詞從該平面中移動到演員所處的環(huán)境的過程就更容易和直觀地觀察到，對觀察者來說，看起來就象是三維觀測對象一樣。
參照圖2-3，視聽制品中的講演者S具有頭部H和嘴M，書面文字“l(fā)ook”在其被說出的同時出現(xiàn)在平面P1里。平面P1近似地和連接說話人兩只耳朵的直線(圖中未畫出)垂直。每個單詞最好出現(xiàn)在其被說出或被發(fā)聲的那一短暫的時間段里；但是，該單詞還可以剛好出現(xiàn)在其被說出的之前或之后[只要它的出現(xiàn)與前面或隨后說出的單詞或聲音不發(fā)生干擾即可]。判斷標準是當每個單詞被說出時，有一相關的相應書面單詞或文字提供給視聽者。本發(fā)明在為演播提供一有意義的語音單詞(或其它聲音)序列的同時，還提供一相應的書面單詞、數(shù)字或其它文字的序列，以此在視聽者的頭腦中一次一個地完成語音詞匯或聲音與文字的關聯(lián)。
演播中把許多書寫單詞或文字一次一個地與相應的詞匯語音對應，其目的在于為視聽者提供一個在自然的情景中相應的聲音和情景關聯(lián)的機會，以便能夠記住這種聲音和情景之間的關聯(lián)，這樣，在將來再次演播該聲音或情景中的任一個時，視聽者都應能記起對應的另外一個。當把這種目的用于文化、外語學習和教育時，本發(fā)明還有另外一個優(yōu)點，即增加理解過程的清晰性，其中視聽者可以從視覺、聽覺的一方面或兩方面的刺激來接收和理解該單詞，這依賴于該視聽者的能力、注意力或相對于顯示該視聽制品的單元的位置。第二個優(yōu)點是外語聲道的翻譯，通過在嘴邊或附近的位置插入書面譯文來加強理解。第三個優(yōu)點是可以通過同時顯示兩串字符，提供雙語言的書面演播，其中一串用說話者的語言，另一串用另外一種不同的語言，二者都與相應的發(fā)音同時出現(xiàn)。當語音序列播放的速度太快以至于無法在視覺上為其編配相應的文字時，視/聽介質(zhì)中受其影響的那部分可以對聲音進行數(shù)字化擴展，而在視覺上通過數(shù)字或模擬手段進行擴展，以獲得可理解的關聯(lián)。
二字詞、三字詞或四字詞(二個、三個或者甚至是四個單詞的序列)可以同時顯示，其目的是在單個單詞顯示的速度過快時，使聾子或者非說話人能夠理解視聽制品聲道上的語言。在兩種況情中的意圖都是在提供字幕時應使用觀察者已經(jīng)理解的語言。在這種情況下，應當使用盡可能少的單詞，但是對有關關注的詞組必需保證有足夠的閱讀理解時間的窗口。對于其目的是局限于對敘述性或娛樂性節(jié)目的理解而不是與聲音的關聯(lián)的封閉字幕或外文電影字幕來說，上述方法是它們的一種替方案。
根據(jù)本發(fā)明的另外一個實施例，一個或多個單詞定位在與使用手語的人的手的位置相關的地方，以便在這些單詞和某個手語元素之間能有一關聯(lián)。通過這種方法，可以為視聽者提供一個在自然的情景中關聯(lián)相應的單詞的機會，其目的是要記住該單詞和相應手語語言元素之間存在的關聯(lián)。
根據(jù)本發(fā)明的另外一個實施例，視聽制品中的單詞設置的方式可以使得只對于使用特殊閱讀設備的觀察者來說才是可見的。這有些類似于三維立體電影，只有當觀眾戴上一種特殊類型的眼鏡時才能看見三維立體顯示。實際上使用一種特殊類型的眼鏡正是實現(xiàn)該實施例的一種較佳方法。
本發(fā)明中的單詞作為制品的必備部分疊加在制品的畫面情景上一起顯示。畫面場景包括人物、家具、天空、背景市景等部分。單詞可以疊加在一個或多個畫面部分上，這樣可以防止對畫面元素的某一部分的觀察或防止對畫面元素的某一部分的單獨觀察，其中的書面文字是透明或半透明的，或者由線框字母組成。
在說多個單詞的同時，由于是一次向視聽者顯示多個書面單詞，所以使得這種顯示難于實現(xiàn)，不是不可能，就是很難將聲音與其相應的書面單詞正確地關聯(lián)。因此，重要的是，在利用每一聲音與其相應的書面單詞時，采用的方式應盡可能使得視聽者能夠更容易地關聯(lián)這兩個元素。為避免分神和混淆，除了單詞的附加象形圖、手語表示和外語譯文外，每個語音詞匯只應與其唯一的一個書面相關文字相伴。只要這些顯示不在說出前面或后面的單詞期間產(chǎn)生，該單詞或這些單詞可以在其被說出之前、期間或之后顯示。
只要每個單詞和符號都要與其相應的發(fā)音關聯(lián)，就可以在發(fā)音期間出現(xiàn)多個單詞或符號。例如，在說“thank，you”時，單詞“thankyou”和“merci”可以同時出現(xiàn)。
在視聽播放期間，通常存在其間單詞發(fā)聲說話的時間期，和在這種發(fā)聲說話的時間期之間沒有發(fā)聲的時間段。在本發(fā)明的一次一詞過程中，書面文字只在下述時間段里出現(xiàn)(1)說出前面單詞后的沒有說話聲的時間段；(2)說當前單詞時；(3)接在說出當前單詞后，說出下一單詞前的沒有話聲的時間段。
通過在畫面場景中顯示基于字母的單詞，在不識字的學生的頭腦中建立起這些需要記住的文字的標志圖符，這需要調(diào)動大腦記憶整個視覺圖象的那部分機制，正如膠卷接收光線生成相片一樣。同步伴隨語音或圖象對象的字母文字的具有創(chuàng)造性的分段顯示能夠在學生的頭腦中建立起書面單詞(雖然“正常”書寫，但作為標志圖符來理解)與同時顯示的一個或多個對象之間的可恢復的關聯(lián)。經(jīng)過多次重復后，在顯示該基于字母的單詞的隨后顯示(標志圖符)時，將會在學生的頭腦中回憶起相應的對象，即發(fā)音單詞，這顯然定義了一個閱讀過程，而對其能力的訓練則是本發(fā)明的目的之一。
配對語音和書面單詞的同一過程還可以反過來訓練認識某一給定語言的學生學會說該語言。在這種情況下，對象就是書面單詞或標志圖符，而學習目標就是發(fā)音單詞。
尤其是對于嬰兒來說，學習強度的關鍵在于要在一種“自然”的環(huán)境中提供知識的關聯(lián)，該環(huán)境與小孩學說話的環(huán)境相似。在正常的環(huán)境中的小孩學說話一般不包括正式的演講課程，與本發(fā)明音視提供的環(huán)境是同一類型的環(huán)境。在本發(fā)明較佳的直觀實施例中，向視聽者提供某一故事的環(huán)境或者其它演示環(huán)境，其主要目的并不在于傳授文化。當一個人在學說話時，容易受到直觀的圖象和動作的影響，學習者所在環(huán)境中的直觀的圖象和動作由代理人(例如父母)分別演示或暗示，并且充當將與并行出現(xiàn)的語音相關聯(lián)的對象。本發(fā)明的環(huán)境中直觀的圖象和動作在學習者(例如兒童)的環(huán)境中由代理人(如父母)分別演示或暗示，并且充當將與并行出現(xiàn)的發(fā)音相關聯(lián)的對象。由于是在學習者的環(huán)境中的代理人，所以這種環(huán)境中包括有意義的語音序列的編排，而不是制造隨機發(fā)音的規(guī)則。這種自然的語言學習環(huán)境出現(xiàn)在通常的電影中，其中描繪了自然的交流情景，在電影播放期間通過自然的重現(xiàn)向觀眾重復展現(xiàn)同一個單詞。自然環(huán)境和電影仿真都提供了動作和對象之間的關聯(lián)以及與其相應的解說語音，本發(fā)明在自然環(huán)境的視聽仿真中將這種關聯(lián)機會擴展到了書面單詞上。
本方法在訓練閱讀時，向?qū)W生演示的是整個單詞而不是單詞的一個個音節(jié)或字母。觀察和記憶一個完整的單詞類似于觀察和記憶一個符號，如一張貓的畫面或一個漢語方塊字等，其中的單詞據(jù)信是由人的大腦以相同的方式進行處理。作為一個整體來觀察每個單詞(或情景閱讀)提供了基于在大腦中開發(fā)關聯(lián)的一種訓練方法，這種關聯(lián)是被直觀地記住或銘記并通過關聯(lián)而非人腦的分析(基于字母、音節(jié)或語音的閱讀所要求的)來回憶的。
相應于同一語音詞匯顯示有兩種書寫形式，即一個為文字形式，另一個為圖示形式，這兩種形式可以融合為一體或由其中之一變成另外一個，以示二者是相關的或甚至是同一個。例如，當一個人在電視中說出單詞“cat”時，書面單詞“cat＂可以演變成一張貓的畫片。
由本發(fā)明所建立的關聯(lián)不管是在已有視聽的上下文還是將要創(chuàng)建的視聽的上下文中，都以一種常規(guī)的、自然的畫面情景出現(xiàn)。例如，這種關聯(lián)可以出現(xiàn)在電影場景中，其中一個偵察員正在與一個嫌疑犯進行交談；也可以出現(xiàn)在電視中，其中一個演員正在演唱；還可以出現(xiàn)在電視新聞廣播中，其中一個氣象預報員正一邊解說一邊在地圖上指指點點。在所有上述這些事例中，其目的都可不必包括文化目的。
本發(fā)明還可以用于訓練唇語閱讀，其中當發(fā)音和文字顯示出現(xiàn)時還可同時觀察到作為制品的視頻部分的一部分的嘴唇的運動。
將單詞放在位于所顯示畫面的區(qū)域中的上下文的發(fā)源(contextual source)之地或其附近的一個好處是，在觀察者聽到某個單詞時能夠更容易地看到該單詞，而與此同時還能保持對制品中所發(fā)生的動作的注意力。雖然人眼可以看到位于觀察屏幕的外圍邊緣處甚至是畫面區(qū)域之外的單詞，但在閱讀這些單詞時，同時保持對視聽制品中的動作元素的注意還是比較困難的。而這一點正是本發(fā)明比封閉字幕要優(yōu)越的原因之一。再者，封閉字幕一次要同時顯示多個單詞，這妨礙了單個單詞對單個聲音的關聯(lián)。另外，本發(fā)明按與說話人的空間關系顯示單詞，這減輕了脅迫感并減小了書面單詞所占用的屏幕區(qū)域。
當兩個人進行交談時，不管他們是否是面對面，二人之間的單一平面可以作為用來顯示書面文字的平面。當其中的一個人不在攝象機鏡頭里時，該技術同樣適用，其中觀眾能意識到鏡頭外的那個講話人的相關位置。
每個書面單詞的字母的顏色、形狀和其它特性在設計時應注意到不要引人注目。例如，如果單詞所在的背景畫面部分的顏色是深藍色的，單詞的字母的顏色則應是淺藍色的或具有其它亮度的藍顏色。再者，書面單詞還可以以透明或半透明的形式顯示，這樣可以部分繼續(xù)看到背景被遮擋的那部分畫面。另外，一個單詞還可以以顏色、字體或以其它形式編碼到其源中。
再次考慮圖2-3，當說話人(S)的頭(H)轉(zhuǎn)動時，平面P1，近似地和通過說話人兩只耳朵的直線垂直，移動到三個(3)新的位置P2-P4。在說單詞“AT”時透視地出現(xiàn)在平面P2中；在說單詞“SPOT”時透視地出現(xiàn)在平面P3中；最后在說單詞“GO”時出現(xiàn)在平面P4中，每個單詞在說出時位于說話者頭部或其附近甚至上面，而且最好位于說話人的嘴部(M)或其附近，請注意，當說話人(S)的頭部(H)轉(zhuǎn)動時，同時也發(fā)生了傾斜來抬高下巴(參見平面P4)。書寫方向最好反映頭部從一邊到另一邊以及上和下的方向。
在圖3中，所有說出的單詞都出現(xiàn)在平面PP上，而平面PP則與播放視聽作品的屏幕在同一平面上或與其平行。
圖4中描述了制作視聽制品的裝置，其中包括一個操作臺；一個用來產(chǎn)生所需文字(如單詞“l(fā)ook”)的視頻文本發(fā)生器；用于提供上面尚無文字的制品的視頻制品輸入裝置；一臺數(shù)字光學操縱器，用于提供結(jié)合文本和視聽制品的裝置，從而在適當?shù)钠矫娣较蛏咸峁┍景l(fā)明的發(fā)音/文字關聯(lián)。這種操縱制作出一種具有創(chuàng)造性的視聽制品，其中在制品中從頭到尾都有這種關聯(lián)，并且在觀看和聽的時候可以不必中斷由本發(fā)明的直觀實施例所制作的演播。
在說出單詞的時候，成組的字母貼在、印在、疊加在或者以其它方式位于畫面中最容易觀察到的部分。當說話人的頭部可見時，單詞通常應當位于嘴部或其附近，以暗示單詞是從該嘴巴中發(fā)出的。該序列持續(xù)于整個制品(如果需要，制品中的一段)中所有或相當數(shù)量的語音。字母可以是任意大小、字體或顏色。在一較佳實施例中，大小、字體、顏色或其它圖形屬性在選擇時要能反映背景顏色以及每一語音的情緒和意向內(nèi)容。對于背景來說，每一書面單詞缺省地都應是透明的、半透明的、線框狀的或者取某一亮度的背景顏色，并要足以與背景顏色區(qū)分開來，以便在保持可見性的情況下避免在單詞消失之后留下視網(wǎng)膜暈影(retinal halo)或鬼影圖象。對于情緒、意向或含義，舉例來說，惱怒的詞匯應當具有紅顏色和尖銳邊界的字樣，而催眠曲的歌詞則應具有軟色調(diào)和柔軟、卷曲的字樣。情緒上中性的單詞應當使用缺省的顏色來顯示。圖形屬性的目的就在于通過音量、語氣、音調(diào)或其它聲音屬性的變化為視聽者提供一種與語音的細微差別平行的動態(tài)圖形，從而達到增強將來可以由大腦回憶起的關聯(lián)的目的。
自然的交流情景流行于視聽制品中。這些情景包括上面所提到的一個偵察員質(zhì)問一個嫌疑犯的情景。在包括自然的交流情景的場景中安放單詞提供了一種用于建立聲音和所期望的文字之間的關聯(lián)的工具，而同時視聽者仍能保持對制品中自然的交流情景的注意力。
在圖5中，本發(fā)明的線性實施例可通過編制一種計算機程序用于創(chuàng)建一個交互式的實施例，該程序允許視/聽者停止視聽播放，于正在播放視聽的屏幕上彈出一個菜單，通過選擇提供單詞的定義、語法和句子的上下文用法或其它信息。交互式的制品由視/聽者的操作來播放，該視/聽者使用一種可編程的教學裝置，該裝置用于使用上述程序顯示上述制品，停止上述制品而查看所選的文字并獲得有關該文字的附加信息。
在圖6中，視聽制品由計算機圖形設計者在其工作站上創(chuàng)建，工作站的屏幕上向設計者顯示的是制品的視頻信號(模擬或數(shù)字形式)。在對幀(每秒30幅的畫面序列)進行處理時，設計者創(chuàng)建一計算機圖形或文本(即一個單詞)并將其疊加到一幀或多幀的視頻信號上，幀數(shù)的多少依賴于說出相應單詞所需要的時間長短。說一個單詞所需要的時間長短，在日常英語(或其它語言)會話中，對于很多單詞說出一個單詞的時間都不相同，從六十分之一秒到二分之一秒不等，借助于動畫技術和使用畫盒軟件可以將其它字符加到該單詞中字母的字體以及在選定的平面上該單詞的方向上。
圖7示意延長聲像制品中說出某個單詞的時間的方法，其目的是為了給相關的書面文字提供更長的顯示時間。這種對一個單詞能夠聽到的時間延長或延展過程首先在硬盤上將單詞的聲音數(shù)字化為一個波形，然后再對該波形重新進行配置。這種技術不會改變音調(diào)和語氣。
圖8中的頭部(H’)面向觀察者的右側(cè)，如圖中虛的源線(SL)所示。直線(SL)位于說話人的參考對話平面(P5)(未畫出)上。垂直的觀察者參考平面(A)對于觀察者來說所看到的只是一條直線。該平面保持固定不變。直線(SL)象一根烤肉的叉子串起單詞“WOW”。
單詞(WOW)的始點與說話人的頭部(H’)之間的距離最好在(d2)之內(nèi)，而距離(d2)則是說話人具有鼻子(N)(見圖8)的臉部(F)的寬度(d1)的兩倍(如圖8所示)。將單詞(WOW)置于范圍2d1之內(nèi)為說話人的頭部處于比較近的位置的場景提供了一個比較好的結(jié)果。當頭部處于遠景中距離很遠時，單詞可以比頭大，但仍然需要靠近頭部(H)或移至觀察者感興趣的對象處，在這種情況下，距離(d2)可以是距離(d1)的3或4倍。
圖9是圖8的一個示意平面視圖，其中給出了對話平面(P5)、平面A(180°觀察者參考平面)和平面B(90°平面)。具有源線(SL)的對話平面(P5)中包括出現(xiàn)于該方向的單詞“WOW”。出現(xiàn)在其它對話平面(P6)和(P7)(離觀察者平面(A)，即180°的觀察者參考平面25°)上的單詞也能閱讀，但是因為放在靠近觀察者參考平面(A)(觀察者的主視平面)的對話平面上的單詞讀起來比較困難，所以本發(fā)明的實際應用中很少使用這種放置方法(在該“阻視區(qū)”內(nèi))。
圖10給出了電視機21的屏幕20，其上帶有控制按鈕22和23。說話人的頭/臉的位置跟圖2中一樣是以多視圖的形式顯示的。屏幕20左邊的視圖顯示了頭(H)、臉(F)和上面帶有源線(SL1)的對話平面(P1)。臉平面(FP1)與對話平面(P1)垂直，源線(SL1)與臉平面(FP1)垂直。當說話人站著或坐著時，臉平面通常位于與水平面垂直的平面上。源線(SL1)直線地等分單詞“l(fā)ook”。其它源線(SL2)、(SL3)和(SL4)分別位于它們各自的對話平面(P2)、(P3)和(P4)中，每條線都直線地等分其各自的單詞。
最后，圖11給出的一個有頭(H3)、臉(F3)和嘴(M)的說話人(S2)。臉平面(FP2)與對話平面(圖中未畫出)垂直。位于對話平面(圖中未畫出)上的源線(SL3)等分單詞“fast”。因為當說話人(S2)向后靠或?qū)⑵浔巢哭D(zhuǎn)向觀察者時頭部(H3)可能會沿任何方向移動，源線(SL3)上的單詞在該方向上由頭部(H3)說出時，在各種情況下都應放在對話平面上，除非對話平面的方向不利于觀看者對單詞的閱讀時。例如，假設說話人(S2)處于站立位置并且背對觀察者，單詞“fast”如果此時放在對話平面上的話，則將處于觀察者無法閱讀的一個角度。為避免這種情況，在保證可識別的情況下，單詞“fast”應盡可能地放在離對話平面較近的平面上。這種情況下，單詞“fast”將位于如此選定的平面中的某一透視方向上，給人一種該單詞正遠離頭部(H3)的印象。
如果時間允許，單詞“fast”可以先在使嘴部(M)的某一部分模糊的位置上出現(xiàn)，然后迅速地沿對話平面的直線(SL5)移動。也可以是，例如，如果單詞將在屏幕上總共停留0.024秒，則該單詞可在嘴部(M)出現(xiàn)0.008秒，然后沿直線(SL3)移動0.008秒，最后在消失以前再在該直線上停留0.008秒。
將單詞放在源線(SL)和透視平面上的目的在于造成單詞是從嘴部中說出來的感覺，從而使得單詞能以視聽場景的三維空間中的物體的形式出現(xiàn)。作為一個物體，該書面單詞同樣要受到其它物體所受到的物理定律的約束。
因此，在使用本發(fā)明的視聽制品中，如果有人走到說話人的前面，則說話人的聲音有可能被遮住，將暫時看不到書面單詞的一部分或全部。本發(fā)明這方面的目的是為了讓單詞看起來象是真的物體，這是一種年輕人普遍接受的概念，對于那些要求單詞對用戶友好而不是抽象的人來說，尤其如此。
單詞的位置看起來應具有透視感，其中的字母大小應遞增或遞減(參見圖8，其中左邊的字母“W”比字母“O”要小，而字母“O”又比它右邊的字母“W”要小)。具有透視感的單詞看起來要有一定的方向，包括在該方向上的移動的狀態(tài)。具有透視感靠近說話人嘴部的單詞要看起來象是從該嘴中說出的。在不影響作為交流的一部分的說話人的面部表情的情況下，單詞要盡可能地位于靠近嘴部的地方。
在一制品當中并不是所有的語音詞匯都需要顯示與其相應的書面單詞，因為制品中所選定的某一使用階段中在文字方面可能提供特殊的難度或由于其它原因不需要文字。
本發(fā)明的最佳用法是將單詞、其它字母數(shù)字符號或其它文字按照一有意義的順序放在磁帶、膠片、計算機磁盤、光盤或其它介質(zhì)上，按以上所述方法提供了它們與相應的磁帶、膠片、光盤或計算機磁盤的語音部分的關聯(lián)。這種順序可能持續(xù)貫穿膠片或磁帶的首尾。本發(fā)明的視聽制品最好具有一定的娛樂性，或者存在具有上下文關系的有意義的主題和內(nèi)容。視/聽者在其進行娛樂或其它內(nèi)容時，不需要作出特別的努力即可完成學習過程。
本發(fā)明在制品的畫面區(qū)中建立語音詞匯的視覺感，好象每個單詞都可見，并且具有維度、顏色、字體、運動和其它屬性。單詞的維度就是單詞在顯示屏幕平面或與之有一定角度的平面上的方向。在該方向上的單詞如畫面中的其它元素一樣是三維的。
文字可以包括字母、單詞、圖象或其它符號。
根據(jù)本發(fā)明的另外一個實施例，文字是以盲文符號來顯示的，并且最好在一臺單獨的設備上可以由人們(例如有視覺障礙的人)在聽聲頻節(jié)目時使用。類似于其它實施例，可以在盲文和語音表示之間建立其一一對應關系。這樣便可以為用戶提供一個在自然的情景中關聯(lián)相應的文字的機會，其目的是要記住該文字與相應語音之間存在著關聯(lián)。
實例在此舉一個娛樂性視頻游戲的例子。玩此游戲的人在其中可以利用一定數(shù)量的圖示(文字圖表)對象。各圖表可以用光標拖動。每個對象都可以用鼠標單擊，該對象隨即漸變(“變形”)成其相應的書面單詞(標志圖符)，同時出現(xiàn)一畫外音或一正說話的頭象說出該單詞。
本游戲的目的是要創(chuàng)建一排圖示對象，并由它們形成一個有意義的序列。一旦玩游戲的人安排好了這排對象，只要雙擊鼠標即可激發(fā)各對象從左到右、一次一個地變形成其相應的書面單詞(標志圖符)，同時伴有相應的語音對象。然后該有意義的序列由說話人從左到右大聲地重復，其間每個單詞突然由一對象“伴音”。
在玩該游戲過程中，如果由拖動所創(chuàng)建的對象沒能形成一個有意義的序列，雙擊鼠標時將沒有輸出，并且不能得分。
顏色和字體圖形的差別可以隨對話的有意義的表述的自然進展而變化。這樣，本發(fā)明的整體“有機外觀”將創(chuàng)建出一種新型的標準化的“情感圖形詞匯表”。例如，下述顏色和圖形可以用于以下情感情感顏色圖形高興白色或粉紅色閃爍/閃耀悲傷藍色或黑色 哥特體惱怒紅色黑體性 紫色波浪形字體和顏色的差別也可以用來關聯(lián)物理現(xiàn)實，如在自然界中的發(fā)現(xiàn)。
物理性質(zhì)顏色圖形冷 灰色/冰藍色 冰條熱 橙黃色/紅色 火苗濕 乳白色 水滴這種關聯(lián)基于一般感覺或/和已有的關于人的情感和學習記憶的顏色、紋理等的圖形效果之間的關聯(lián)的研究。另外，現(xiàn)有的計算機圖形軟件的某些功能，包括視覺現(xiàn)象，如“閃光”和“輻射”等，可以進行分層以增強其它關聯(lián)的效果。
根據(jù)本發(fā)明，敘述性上下文中的改進的字幕可以通過多種途徑來實現(xiàn)。圖12a-b示意了手工應用改進的字幕的步驟。
圖13a-b描述了一個電視導播系統(tǒng)以及應用改進的字幕的方法。
圖14描述了一個在不影響音調(diào)或語氣、不造成明顯失真的情況下放慢語音速度的系統(tǒng)和方法。圖15a-b分別是單詞“future”的正常和擴展波形，擴展時使用的是圖14中所描述的系統(tǒng)和方法。圖15b中波形的音調(diào)與圖15a中的相同，因為在擴展時波形的振幅保持不變。
當使用小數(shù)放大器而不是全整數(shù)放大器對波形進行擴展時，使用本發(fā)明的另外一個實施例比較好。例如，當需要將波形的長度延長一半(增加50％)而不是一倍(增加100％)時，已知的方法只是隨機地選擇波形的某些部分進行擴展，而根據(jù)本發(fā)明的特點，對于波形各部分的隨機選擇僅局限于元音部分。這可以由該領域中普通技術人員公知的裝置來完成。
圖16描述一個應用改進的字幕的數(shù)字系統(tǒng)和方法，其中使用已有的字符動畫軟件來放置單詞。
圖17-21涉及本發(fā)明的另外一個實施例，是一個關于直觀改進的字幕的系統(tǒng)和方法。圖17是圖16中所描述的系統(tǒng)和方法，其中根據(jù)本發(fā)明的這一實施例應用了改進的字幕軟件。圖18是一流程圖，是對圖16和17中所描述的系統(tǒng)和方法中所使用的計算機工作站的進一步的詳細描述。
圖19a-d展示根據(jù)本發(fā)明應用改進的字幕的細節(jié)。圖20a-b描述某一改進的字幕單詞所處的虛擬的三維空間的四個象限。圖21是一軟件模塊的流程圖，該軟件模塊用來在虛擬三維空間的任一象限中為改進的字幕單詞選擇一個較好的方向。這種軟件最好在計算機工作站系統(tǒng)上運行。這里可以使用本領域普通技術人員已知的各種輸入設備，而比較好的一種是由用戶使用鼠標來指定象限和畫出一條源線，然后使用鍵盤進行輸入。運行上述軟件模塊的計算機系統(tǒng)應自動地將單詞放置在源線上，其中源線最好能穿過小寫字母主體的中心處(排印工人所熟知的“x高度”)，如字母“e”中的水平橫線。系統(tǒng)和軟件安放好單詞之后，相應的源線即被刪除。
圖22是一示意圖描述一根據(jù)本發(fā)明制作交互式改進的字幕制品的多媒體平臺，該多媒體平臺包括一交互式的多媒體計算機工作站。圖23是一實現(xiàn)交互能力的軟件的流程圖。
圖24是圖23中所描述的交互式單詞發(fā)音的流程圖。根據(jù)本發(fā)明的這一特征，當用戶在某一特定的單詞上停下改進的字幕視聽制品的播放時，可以就此上一堂發(fā)音課。用戶面前最好能有一跟某計算機相連的麥克風，該計算機上裝有音波分析軟件，能將用戶對該單詞發(fā)音的波形與存儲在計算機文件里的正確發(fā)音的標準波形進行比較。然后計算機向用戶提供反饋，或者對正確的發(fā)音進行肯定(如“很好”或“棒極了”)，或者提示用戶把單詞再說一遍。
圖23中所描述的其它選項最好作成用戶可以選擇的交互式應用程序的菜單。例如，用戶可以選擇一書寫應用程序，該程序允許用戶對所顯示的單詞進行摹仿，摹仿的手段可以是通過鍵盤鍵入該單詞，也可以使用電子書寫板書寫并將輸出傳給手寫體識別軟件。該交互式系統(tǒng)最好能提供一反饋通知用戶其所鍵入/書寫的單詞是否正確。
圖25示意如何在圖9中所描述的前向“阻視區(qū)”中放置單詞。作為一種方式，單詞可以選擇放在該區(qū)域中(圖25中通過直線AA的平面上)，使得單詞看起來象是從講演者的嘴中發(fā)出的。
一個或多個單詞也可以出現(xiàn)在與使用手語的人的手的位置相關的地方，以便在這些單詞和某個手語元素之間能有一關聯(lián)。圖26中描述了本發(fā)明的這一實施例的一個例子，其中電視屏幕上有一講演者和一嵌入的矩形區(qū)域，該區(qū)域中有一人手正作同步的手語翻譯，當講演者說出單詞“Future”時，手語翻譯人將對該單詞作出相應的比劃，同時在嵌入的矩形區(qū)域中將顯示出與該手語元素相關聯(lián)的單詞“Future”。
轉(zhuǎn)到圖27-31，其中示出一系列從說話人的嘴部(M)來的單詞。在圖27中，單詞＂WOW＂是沿著話音線(SL)在嘴部(M)的近處。話音線(SL)在一個方向上從嘴部(M)伸出，使得單詞看上去象剛剛從該嘴部發(fā)出的物體。在圖28中，第二個單詞＂HE’S＂已經(jīng)出現(xiàn)在已經(jīng)移動從而提供用于單詞＂HE’S＂的空間的單詞＂WOW＂的后面。通過加重單詞＂WOW＂而使得單詞＂WOW＂已經(jīng)不同于單詞＂HE’S＂，在圖29中第三個單詞＂FAST＂已經(jīng)出現(xiàn)并且通過粗體字母的加重而有差異。在圖30中，單詞＂WOW＂現(xiàn)在被加重，向上移動，但仍在頭的附近。相對于其它顯示的單詞，圖31示出單詞＂WOW＂遠距離定位，并且在頭的右上方。圖27-31的所有的單詞都在頭的近處并且圖27-30的單詞是在嘴的近處。
本發(fā)明的進一步的實施例在圖32中示出，其中按照播放的順序每次相繼出現(xiàn)一個新詞。隨著單詞積聚靠近嘴部與在其它單詞上面的某些單詞聚集，所有的單詞都被顯示在對話平面P1-P4中的說話人的嘴部鄰近，這些平面隨著說話人的頭的移動而具有不同方向。單詞的聚集定位這些單詞以便占據(jù)某些區(qū)域，其具有的高和寬的尺度不同于一串單詞的一個區(qū)域的尺度，該一串單詞的區(qū)域尺度將占據(jù)寬度實際上大于高度的延長矩形區(qū)域。包括使用兩條或多條線或單詞行的集束的目的是把所有的詞匯靠近該說出單詞的源點或視在源點定位。
回到圖32，顯示在平面P1中的單詞首先出現(xiàn)，跟隨的是在平面P2-P4中的顯示。在平面P2中，單詞＂LOOK AT＂就在說話者嘴唇上面成一排。在隨后的平面P2中，在說話者轉(zhuǎn)動她的頭之后，單詞＂LOOK AT＂類似地出現(xiàn)成一排，以＂LOOK＂靠近嘴唇而＂AT＂遠離嘴唇。單詞＂SPOT＂以靠下的一排粗體字母出現(xiàn)在平面P3中。平面P2-P4是對話平面，其中每一單詞放置并有別于其它單詞，并且在該有差別詞匯由視聽者聆聽期間，圖形目標由粗印刷體字表示一個時間期間。
通過使用把一個單詞與其它單詞相差別并且同時由視聽者聽到所差別的單詞，而在該視聽者關注的該差別單詞和聽到的單詞之間建立關聯(lián)。差別可以通過能使得視聽者把單詞與其它單詞或顯示目標區(qū)區(qū)別開的任何方式實現(xiàn)。在本實施例中，所有的顯示的單詞都是在說話者嘴部近處和頭的附近。用于形成單詞差別的技術實例是使得單詞或單詞的任何部分放大到一個特定的尺寸，或具有特定的描影、顏色、形狀或發(fā)光，或使得該單詞顯得在移動或真正地移動，或以別的方式創(chuàng)建一種視覺效果，這效果引起對出現(xiàn)在其它詞匯中的某些詞匯的注意從而形成這種單詞與其它單詞的差異。
在圖33的另一個實施例中，針對所選擇的時間期間，單詞的整個組或整個集束被示出在每一對話平面P1-P4中，并且在這種時間期間的一個部分期間，每一被以粗體字母加重而有差別的單詞被說出。該差別和說出或發(fā)聲同時出現(xiàn)。在本實施例中，所有的顯示的單詞都是在說話者嘴部近處。圖34和35示出類似于圖32和33的實施例，只是單詞出現(xiàn)在平行于該觀看屏幕的平面(PP)中。
在圖36的實施例中，引入單詞差別技術。說單詞的同時，該單詞首先引入或出現(xiàn)在屏幕上。當單詞＂LOOK＂首先出現(xiàn)在屏幕上時，視聽者因此聽到單詞＂LOOK＂以便創(chuàng)建期望的關聯(lián)。在單詞＂LOOK＂仍然在屏幕上的同時，單詞＂AT＂出現(xiàn)并且聽到單詞＂AT＂。在第三序列中，視聽者看到＂LOOK AT＂接近說話者的嘴，并且隨著視聽者聽到單詞＂SPOT＂，單詞＂SPOT＂首先被看到。圖37示出圖36的技術，只是單詞出現(xiàn)在平坦的平面中。
圖27-37的實施例的一個或者多個單詞最好出現(xiàn)在說話者的嘴近處以及出現(xiàn)在接近頭的畫面部分。而且對于該視聽者，該單詞最好以關于術語、成語、或詞組的次序出現(xiàn)。在視聽者看該接近頭部的詞匯期間，單詞以一種有序的方式被發(fā)聲和被聽到。
本發(fā)明的最后實施例使用在屏幕上的單詞的組顯示技術(見圖38-39)。本實施例具有兩個特定的目的。一個目的是提供給視聽者對于該視聽者來說是不了解的一種正在說的語言的大意。第二目的是提供由于視聽者聽覺或其它損傷或由于聽不見這種聲音而造成其不理解所說單詞的大意。所集束的單詞可以放置于對話平面或平行于第一屏幕平面的平面中。該實施例中沒有單詞需要加重。
權(quán)利要求
1.一種教學音像制品，包括具有自然的交流情形的圖象景物以播放給視聽者，該音像制品包括(a)至少一個圖象景物，包括在一個屏幕上顯示的并且其伴音能夠被聽到的多個畫面；(b)由至少一個發(fā)音者發(fā)出的一系列單詞發(fā)音，每一發(fā)聲者的頭部在這種景物播放的連續(xù)畫面中出現(xiàn)；(c)一系列可視單詞符號，一個或者多個單詞符號在靠近該發(fā)聲者頭部的一個畫面部分中顯示一個時間期間，以一個或者多個這種單詞符號在有差異的該鄰近畫面部分中顯示一個有差異的時間期間，其中每一有差異的單詞符號(i)對應于每一這種單詞發(fā)音并且與每一這種單詞發(fā)音關聯(lián)，(ii)能夠教導視聽者被發(fā)音的單詞的直觀外形；(iii)在該靠近畫面部分中顯現(xiàn)這種差異，以使視聽者具有能夠做出這種關聯(lián)的機會，并且(iv)在該有差異單詞的發(fā)音被聽到的同時在圖象景物的這種畫面中顯現(xiàn)該差異，以使得同時把每一這種發(fā)音和每一這種相應的有差異的單詞符號相關聯(lián)，并且關聯(lián)由該視聽者所視聽的時間長度，從而該視聽者把每個這種發(fā)音與每個這種有差異符號的單詞關聯(lián)，以便記住說出的單詞的直觀形狀和該單詞符號的發(fā)聲。
2.權(quán)利要求1的音像制品，其中隨著所選擇的單詞被發(fā)聲之時，該一個或者多個單詞符號顯現(xiàn)是從該嘴部按順序地引出的，所選擇的引出單詞之間有差異。
3.權(quán)利要求1的音像制品，其中每一單詞符號在首先出現(xiàn)在嘴部之后就使之有差異。
4.權(quán)利要求1的音像制品，其中的差異是由對單詞進行加重實現(xiàn)的，其單詞在差異時間期間結(jié)束時被解除加重，并且一個其次顯示的單詞被加重一個第二加重時間期間。
5.權(quán)利要求1的音像制品，其中單詞符號從發(fā)聲者的嘴引出并且同時從該嘴部移走而保持接近頭部，并且隨后移到遠距該頭部的畫面的一個部分。
6.權(quán)利要求1的音像制品，其中該發(fā)聲者具有耳朵，并且其中該單詞符號出現(xiàn)在實際上垂直于穿過該發(fā)聲者的耳朵的一條直線的一個對話平面中。
7.權(quán)利要求1的音像制品，其中該播放包含非教程景物，以這種單詞符號疊加在這種景物上。
8.權(quán)利要求1的音像制品，其中一個或多個單詞出現(xiàn)在一個對話平面中，并且這種對話平面相距平板型屏幕平面至少六十(60)度。
9.權(quán)利要求1的音像制品，其中至少一個單詞符號是一個標記。
10.權(quán)利要求1的音像制品，其中至少一個單詞符號是一個圖符。
11.權(quán)利要求1的音像制品，其中該圖象景物以一線性方式播放而沒有中斷。
12.權(quán)利要求1的音像制品，其中通過使用可由視聽者操作的計算機，該圖象景物以一個中斷的非線性方式播放。
13.權(quán)利要求1的音像制品，其中該音像制品的一部分被擴展到可看到一個或者多個單詞符號的時間長度。
14.權(quán)利要求8的音像制品，其中一對話平面通過一個發(fā)聲者的頭部定位，其中至少一個單詞符號出現(xiàn)在這種對話平面或接近這種對話平面。
15.權(quán)利要求1的音像制品，其中一個發(fā)聲者的頭部包含面孔和嘴唇，而其中與單詞發(fā)音相關的面部的、嘴唇的和頭部的運動被包含在這種畫面中。
16.權(quán)利要求1的音像制品，其中針對一個選擇的時間出現(xiàn)有差異的單詞符號，并且在該時間期間，該單詞符號隨著畫面變化由在該圖象景物中的一個目標遮掩。
17.權(quán)利要求1的音像制品，其中該單詞符號被整形和呈一定角度，以便顯現(xiàn)為三維的單詞符號。
18.權(quán)利要求1的音像制品，其中發(fā)音系列是具有含意的句子形式中的一系列單詞。
19.用于對觀眾播放的一個音像制品，包括a)多個場面；b)至少一個圖象景物，包括具有在一個屏幕上顯示的并且它們的伴音能夠被聽到的多個畫面；c)由至少一個發(fā)聲者發(fā)音的一個或者多個單詞，每一發(fā)聲者的頭部出現(xiàn)在景物播放的這種連續(xù)的畫面中，其單詞發(fā)音由該視聽者在一個發(fā)音時間期間聽到；d)在一個或多個單詞符號期間的發(fā)音時間期間，一個或者多個單詞符號顯現(xiàn)在發(fā)聲者頭部的近處；i)與所說的一個或者多個單詞發(fā)音對應并且與所說的一個或者多個單詞發(fā)音關聯(lián)；ii)相對于發(fā)聲者的嘴部定位；iii)傳達該單詞發(fā)音的含意；從而，觀眾可以把說出的一個單詞或多個單詞與看到的一個單詞或多個單詞相關聯(lián)，并且從而該看到的一個或多個單詞把該含意提供給該說出的一個或多個單詞的觀眾。
20.權(quán)利要求19的音像制品，其中說出的一個或多個單詞是具有含意的單詞組，并且其中該一個或多個單詞被顯示具有相同的含意。
21.權(quán)利要求19的音像制品，其中該發(fā)聲者具有耳朵，并且其中該單詞符號出現(xiàn)在實際上垂直于穿過該發(fā)聲者的耳朵的一條直線的一個對話平面中。
22.權(quán)利要求19的音像制品，其中該播放包含非教程景物，以這種單詞符號疊加在這種景物上。
23.權(quán)利要求19的音像制品，其中有一個對話平面，并且這種對話平面相對平板型屏幕平面至少六十(60)度。
24.權(quán)利要求19的音像制品，其中至少一個單詞符號是一個標記。
25.權(quán)利要求19的音像制品，其中至少一個單詞符號是一個圖符。
26.權(quán)利要求19的音像制品，其中該圖象景物以一線性方式播放而沒有中斷。
27.權(quán)利要求19的音像制品，其中通過使用可由視聽者操作的計算機，該圖象景物以一個中斷的非線性方式播放。
28.權(quán)利要求19的音像制品，其中該音像制品的一部分被擴展到可看到的一個或者多個單詞符號的時間長度。
29.權(quán)利要求19的音像制品，其中一對話平面通過一個發(fā)聲者的頭部定位，其中至少一個單詞符號出現(xiàn)在這種對話平面中或接近這種對話平面。
30.權(quán)利要求19的音像制品，其中一個發(fā)聲者的頭部包含面孔和嘴唇，而其中與單詞發(fā)音相關的面部的、嘴唇的和頭部的運動被包含在這種畫面中。
31.權(quán)利要求19的音像制品，其中該單詞符號顯示一個所選擇的時間，并且在該期間中一個或者多個該單詞符號隨著畫面變化由在該圖象景物中的一個目標遮掩。
32.權(quán)利要求18的音像制品，其中該單詞符號被整形和呈一定角度，以便顯現(xiàn)為三維的單詞符號。
33.使得包括若干成員的一組人員懂得在一地區(qū)中說的語言的一組書面單詞的一種方法，包括步驟(a)使得產(chǎn)生多個音像制品，每一制品包括多個圖象片段，還包括伴隨每一圖象片段的一系列發(fā)音；(b)使得在這種片段上出現(xiàn)一個或者多個對應于這種發(fā)音的書面單詞，其出現(xiàn)的方式是通過使之有所差異或利用相應發(fā)音的別的方式把每一發(fā)音和每一書面單詞相關聯(lián)；(c)在所說的制品中至少提供一個片段用于在書面單詞組中的每一單詞；和(d)在一定程度上把這種制品播發(fā)并以別的方式引入到該地區(qū)一個時間期間，從而使得該人員組懂得這種語言的書面單詞。
34.一種教學學生的方法，包括步驟(a)產(chǎn)生包括自然交流情形的一個或者多個音像制品，每一制品包括在多個同時地具有對應文字的發(fā)音情形過程中的播放，每個視聽制品包括一個學生的注意力被自然吸引的區(qū)域，該區(qū)域包括(i)一個第一部分，發(fā)音看上去從其發(fā)出或?qū)W生的視線由發(fā)音的含意引導被吸引到該部分，和(ii)一個第二部分，顯示同時具有每一發(fā)音的一個或者多個書面單詞，使得在學生的記憶中出現(xiàn)在發(fā)音與一個有差異的相應書面單詞之間的關聯(lián)；(b)使學生可利用這種制品；和(c)允許學生選擇進行觀看和收聽的時間安排，直到多個發(fā)音的每一個都已經(jīng)被聽到，連同它們相應的文字的觀看足夠的次數(shù)，以便在對應于某些文字的某些發(fā)音的學習中幫助學生。
35.權(quán)利要求34的方法，其中的第一和第二部分重疊。
36.用于播放給視聽者的包括具有自然的交流情形的圖象景物的一種教學音像制品，包括下列部分(a)由一個人或其它發(fā)聲者在場景的播放中產(chǎn)生的一系列發(fā)音；(b)與這種系列發(fā)音相關的一系列文字，通過初始外形或加重所特定化的文字，簡要地位于圖象景物中，這種文字對應聽到的發(fā)音，以使每一發(fā)音和文字在視聽者的頭腦中相關聯(lián)。
37.權(quán)利要求36的方法，具有在一個對話平面中放置一個或者多個單詞符號的另外步驟。
38.權(quán)利要求36的方法，其中發(fā)音系列是具有含意的句子形式中的一系列單詞。
39.權(quán)利要求36的方法，具有進一步的步驟使該發(fā)聲者具有耳朵，并且使該單詞符號看上去在實際上垂直于穿過該發(fā)聲者的耳朵的一條直線的一個對話平面中。
40.權(quán)利要求36的方法，具有附加的步驟以一個或者多個單詞符號疊加在非教學景物上而在該圖象景物中展現(xiàn)非教學景物。
41.權(quán)利要求36的方法，其中該視聽制品在一個平板型屏幕平面上觀看并且具有把這種對話平面相對于這種平板型屏幕平面至少六十(60)度定位的步驟。
42.權(quán)利要求36的方法，其中至少一個單詞符號是一個標記。
43.權(quán)利要求36的方法，其中至少一個單詞符號是一個圖符。
44.權(quán)利要求36的方法，具有以一線性方式播放該圖象景物而沒有中斷的步驟。
45.權(quán)利要求36的方法，具有通過使用可由視聽者操作的計算機以中斷的非線性方式播放該圖象景物的步驟。
46.權(quán)利要求36的方法，具有擴展該音像制品的一部分，以便延長被看到的第一區(qū)域單詞符號時間長度的步驟。
47.權(quán)利要求36的方法，其中一對話平面通過一個發(fā)聲者的頭部定位，其中至少一個單詞符號出現(xiàn)在這種對話平面中或接近這種對話平面。
48.權(quán)利要求36的方法，其中一個發(fā)聲者的頭部包含面孔和嘴唇，而其中與單詞發(fā)音相關的面部的、嘴唇的和頭部的運動被包含在這種畫面中。
49.權(quán)利要求36的方法，其中一個或多個單詞符號出現(xiàn)持續(xù)一個所選擇的時間長度，在該期間該一個或多個單詞符號隨著畫面變化由在該圖象景物中的一個目標遮掩。
50.權(quán)利要求36的方法，其中該單詞符號被整形和呈一定角度，以便顯現(xiàn)為三維的單詞符號。
51.權(quán)利要求36的方法，其中發(fā)音系列是具有含意的句子形式中的一系列單詞。
52.在圖象、畫面或一個視聽播放的片斷上定位一系列文字的方法，其圖象、畫面或其它片段在上面具有人或沒生命的發(fā)聲者產(chǎn)生發(fā)音，該方法包括步驟(a)選擇包括一種視頻文本裝置的設備的一個操作器控制單元；(b)使得這種視頻文本裝置顯示多個單詞，每一單詞有各種尺寸、形狀和用于重現(xiàn)的方向；(c)通過單元的操作器定位用于觀看的一系列圖象的每一個；(d)操作該視頻文本裝置，以便選擇該顯示的單詞；(e)把所選擇的單詞輸送到一個所選擇的圖象、畫面或片段上用于在那上面永久定位；并且(f)使得所選擇的單詞被加重，以使顯現(xiàn)在一個片段上的單詞與該單詞的發(fā)音在位置和時間上都關聯(lián)。
53.權(quán)利要求52的方法，其中單詞接近發(fā)聲者的頭部放置。
54.一種基于計算機的數(shù)據(jù)處理系統(tǒng)，用于包括伴隨每個圖象片段的發(fā)音的多個圖象片段的改進的字幕，該數(shù)據(jù)處理系統(tǒng)包括(a)用于處理數(shù)據(jù)的計算機處理器裝置；(b)用于存儲數(shù)據(jù)的存儲裝置；(c)用于在表示包括伴隨每一圖象片斷的發(fā)音的多個圖象片段的數(shù)據(jù)、表示書面的一個或多個單詞的數(shù)據(jù)上進行疊加的裝置，對應于這種發(fā)音加重該一個或多個單詞，其方式是使得每一發(fā)音和每一書面單詞被關聯(lián)。
55.權(quán)利要求54的系統(tǒng)，其中用于疊加的裝置中包括(a)用于輸入第一模擬視頻信號的裝置；(b)用于把該模擬視頻信號轉(zhuǎn)換到視頻數(shù)字數(shù)據(jù)的裝置；(c)用于每次把該視頻數(shù)字數(shù)據(jù)顯示為一個畫面的裝置；(d)用于從用戶輸入單詞數(shù)據(jù)和象限數(shù)據(jù)的裝置；(e)用于根據(jù)象限數(shù)據(jù)和其它預定的準則把單詞數(shù)據(jù)結(jié)合在該視頻數(shù)字數(shù)據(jù)中的裝置；(f)用于把視頻數(shù)字數(shù)據(jù)轉(zhuǎn)換到一個第二模擬視頻信號的裝置；(g)用于輸出該第二模擬視頻信號的裝置。
56.權(quán)利要求54的系統(tǒng)，其中用于從用戶輸入單詞數(shù)據(jù)和象限數(shù)據(jù)的裝置包括(a)用于允許該用戶選擇一個象限的裝置；(b)用于允許該用戶繪出一條源線的裝置；(c)用于計算針對該源線的一個角度的裝置；(d)用于允許該用戶輸入單詞數(shù)據(jù)的裝置；和(e)用于自動地沿著該源線進行定位的裝置。
57.一個基于計算機的用于允許用戶交互操作一個改進的字幕的音像制品的系統(tǒng)，包括(a)用于顯示該音像制品的裝置；(b)用于停止該音像制品的顯示的裝置；(c)用于允許該用戶指定一個單詞的裝置；(d)用于處理關于由該用戶指定的單詞的進一步數(shù)據(jù)的裝置。
58.權(quán)利要求57的系統(tǒng)，其中允許該用戶指定一個單詞的裝置允許該用戶指定當音像制品的顯示被停止時顯示的一個單詞。
59.權(quán)利要求57的系統(tǒng)其中用于處理關于該單詞的進一步數(shù)據(jù)的裝置包括(a)用于存儲表示針對多個單詞的正確的發(fā)音的標準數(shù)據(jù)的裝置；(b)用于從該用戶輸入表示該用戶的單詞發(fā)音的話音數(shù)據(jù)的裝置；(c)用于把該話音數(shù)據(jù)與針對該單詞的標準數(shù)據(jù)相比較的裝置；和(d)響應用于比較該話音數(shù)據(jù)的裝置，用于向該用戶指示該用戶的單詞發(fā)音是否是正確的裝置。
60.一種由視聽者在收聽其所不理解的音像制品期間在該音像制品中提供聽到的一個或者多個單詞的含意的方法，包括步驟1)在這種音像制品中展現(xiàn)多個場面，在每個場面中存在具有一個頭部和嘴部的發(fā)聲者；2)在收聽期間的全部或部分中使得一個或者多個單詞符號出現(xiàn)在所說的發(fā)聲者的嘴部的近處，收聽期間的一個或多個單詞表達該聽到的一個或者多個詞匯的含意。
61.權(quán)利要求60的方法，具有在一個對話平面中放置一個或者多個單詞符號的附加步驟。
62.權(quán)利要求60的方法，其中發(fā)音系列是具有含意的句子形式中的一系列單詞。
63.權(quán)利要求60的方法，具有進一步的步驟使該發(fā)聲者具有耳朵，并且該單詞符號看上去在實際上垂直于穿過該發(fā)聲者的耳朵的一條直線的一個對話平面中。
64.權(quán)利要求60的方法，具有附加的步驟以一個或者多個單詞符號疊加在非教學景物上而在該圖象景物中展現(xiàn)非教學景物。
65.權(quán)利要求60的方法，其中該視聽制品在一個平板型屏幕平面上觀看并且具有把這種對話平面相對于這種平板型屏幕平面至少六十(60)度定位的步驟。
66.權(quán)利要求60的方法，其中至少一個單詞符號是一個標記。
67.權(quán)利要求60的方法，其中至少一個單詞符號是一個圖符。
68.權(quán)利要求60的方法，具有以一線性方式展現(xiàn)該圖象景物而沒有中斷的步驟。
69.權(quán)利要求60的方法，具有通過使用可由視聽者操作的計算機以中斷的非線性方式展現(xiàn)該圖象景物的步驟。
70.權(quán)利要求60的方法，具有擴展該音像制品的一部分，以便延長被看到第一區(qū)域的單詞符號時間長度的步驟。
71.權(quán)利要求60的方法，其中一對話平面通過一個發(fā)聲者的頭部定位，其中至少一個單詞符號出現(xiàn)在這種對話平面中或接近這種對話平面。
72.權(quán)利要求60的方法，其中一個發(fā)聲者的頭部包含面孔和嘴唇，而其中與單詞發(fā)音相關的面部的、嘴唇的和頭部的運動被包含在這種畫面中。
73.權(quán)利要求60的方法，其中顯現(xiàn)差異的一個或多個單詞符號出現(xiàn)一個所選擇的時間長度，在該期間，該單詞符號隨著畫面變化由在該圖象景物中的一個目標遮掩。
74.權(quán)利要求60的方法，其中該單詞符號被整形和呈一定角度，以便顯現(xiàn)為三維的單詞符號。
75.權(quán)利要求60的方法，其中發(fā)音系列是具有含意的句子形式中的一系列單詞。
全文摘要
本發(fā)明有關音像制品及其生產(chǎn)的方法,該音像制品具有放置在制品圖象上的文字,以使隨著每一單詞或其它發(fā)音被聽到,一個與所聽內(nèi)容關聯(lián)的文字通過加重該文字或其它方式與所看見的內(nèi)容相配合,使得發(fā)音或者文字的未來播放將喚起視聽者頭腦中的文字或者發(fā)音。每一單詞將以可讀的透視的形式適當?shù)爻霈F(xiàn)在發(fā)聲者(S)的嘴部(M)的旁邊。制品能夠線性地顯示或在視聽者的計算機控制之下連同附加教育的材料一同顯示。可以使用加亮的詞組的選擇,或不使用加亮的詞組。
文檔編號G10L15/00GK1264484SQ98806601
公開日2000年8月23日 申請日期1998年4月25日 優(yōu)先權(quán)日1997年4月25日
發(fā)明者W·E·柯克塞 申請人:里德斯皮克公司