專利名稱：用于傳送與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)來為音頻內(nèi)容生成相應(yīng)視覺顯示的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及提供一個(gè)音頻信號(hào)，其帶有一個(gè)相關(guān)聯(lián)的視頻信號(hào)。更特別地，涉及音頻描述數(shù)據(jù)的使用，其作為音頻流的一部分與一個(gè)音頻信號(hào)被傳輸，來選擇一個(gè)合適的視頻信號(hào)在重放過程中伴隨所述音頻信號(hào)。
背景技術(shù)：
在數(shù)字音樂媒介和廣播應(yīng)用中，如MP3播放器和數(shù)字音頻廣播，一般都是單獨(dú)音頻的體驗(yàn)。當(dāng)聽音樂時(shí)，人們通常傾向于只是傾聽，而不看什么東西。所述音頻節(jié)目一般不提供給收聽者任何有趣的視覺顯示。
在一些標(biāo)準(zhǔn)中，輔助數(shù)據(jù)可以被攜帶在一個(gè)音頻基本碼流內(nèi)用于在音頻媒介內(nèi)的廣播或存儲(chǔ)。輔助數(shù)據(jù)最普通的使用是與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)，其是與所述音頻信號(hào)密切關(guān)聯(lián)的數(shù)據(jù)。與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)的例子是與節(jié)目相關(guān)的文本，演講或音樂的指示，到一個(gè)接收機(jī)的專門的命令用于同步所述音頻節(jié)目，以及動(dòng)態(tài)范圍控制信息。所述與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)可以包括一般信息，如歌曲名稱，歌手以及音樂公司名稱。它給出相關(guān)信息，但是除此之外無用。
在當(dāng)前數(shù)字電視發(fā)展中，攜帶文本和互動(dòng)服務(wù)的與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)可以為所述電視節(jié)目開發(fā)。這些解決方案包括實(shí)施要點(diǎn)，包含協(xié)議、通用應(yīng)用程序接口語言，接口以及推薦技術(shù)標(biāo)準(zhǔn)。所述與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)被與所述視頻和音頻內(nèi)容一起傳輸，多路復(fù)用在所述數(shù)字節(jié)目或傳輸流中。在這樣的實(shí)施中，相應(yīng)的與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)必須為每一個(gè)電視節(jié)目開發(fā)，并且還必須對(duì)所述多路復(fù)用過程進(jìn)行持續(xù)的監(jiān)控。另外，這個(gè)方法占用傳輸帶寬。
為與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)開發(fā)內(nèi)容要求巨大的人力資源。因此，傳送這樣的應(yīng)用需要的成本很高，尤其當(dāng)需要為不同的電視節(jié)目開發(fā)不同的內(nèi)容。還期望，這樣的與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)內(nèi)容可以被不同的視頻、音頻和電視節(jié)目重新使用。
進(jìn)行了其他的嘗試，這些嘗試涉及有時(shí)在音頻重放中顯示一些內(nèi)容，特別是為卡拉OK。
日本專利No.JP10-124071公開了一種硬盤驅(qū)動(dòng)，具有一個(gè)樂曲數(shù)據(jù)存儲(chǔ)部分，其在卡拉OK樂曲上存儲(chǔ)樂曲數(shù)據(jù)，以及一個(gè)樂曲信息數(shù)據(jù)庫，其存儲(chǔ)關(guān)于包括這些樂曲的專輯的信息。在所述樂曲數(shù)據(jù)中，提供一個(gè)標(biāo)記，顯示該樂曲是否包含在專輯中。一個(gè)控制器確定一首歌曲是否是能夠得到所述專輯信息的歌曲。在一首歌的間歇時(shí)間內(nèi)，對(duì)該歌曲可得到所述信息，關(guān)于所述專輯名稱和樂曲的數(shù)據(jù)被顯示為一個(gè)靜態(tài)的圖畫。
日本專利No.JP10-268880公開了一個(gè)系統(tǒng)來減少存儲(chǔ)各自的圖像數(shù)據(jù)所需的所述存儲(chǔ)容量，通過根據(jù)特定的參考數(shù)據(jù)一起顯示靜態(tài)圖畫數(shù)據(jù)和動(dòng)態(tài)圖畫數(shù)據(jù)。在卡拉OK樂曲演奏數(shù)據(jù)的首部中的類型數(shù)據(jù)被用來指向一個(gè)靜態(tài)圖像數(shù)據(jù)表來選擇在所述導(dǎo)言、間歇和終曲中被顯示的靜態(tài)圖像數(shù)據(jù)。所述類型數(shù)據(jù)還被用來指向一個(gè)動(dòng)態(tài)圖像數(shù)據(jù)表，在對(duì)應(yīng)于文本數(shù)據(jù)的時(shí)段內(nèi)選擇和顯示動(dòng)態(tài)圖像數(shù)據(jù)。
根據(jù)專利JP2001-350482A，卡拉OK數(shù)據(jù)可以包括時(shí)間間歇信息，其指示非演唱間歇的時(shí)間。對(duì)于一個(gè)表演，這個(gè)信息與表演時(shí)間信息比較，該表演時(shí)間信息關(guān)聯(lián)于一個(gè)定點(diǎn)節(jié)目。所述定點(diǎn)節(jié)目的表演時(shí)間最接近于所述非演唱間歇時(shí)間，其在所述非演唱間歇被顯示。
日本專利No.JP7-271，387公開了一種記錄媒介，其一起記錄音頻和視頻信息以便于避免一種情況，即，當(dāng)卡拉OK演唱設(shè)備播放前奏和間奏時(shí)，一個(gè)歌手只聆聽所述樂曲并等待下一步。一個(gè)記錄媒介包括音頻信息，用來伴奏一首歌的樂曲，以及圖畫信息，用于顯示所述歌曲的文本的圖畫。它還包括文本圖畫信息，用于一個(gè)文本圖畫而不是所述歌曲的文本。
根據(jù)日本專利NO.JP2001-350,482，卡拉OK數(shù)據(jù)可以包括時(shí)間間歇信息，指示非演唱間歇的時(shí)間。在重放時(shí)，這個(gè)信息與關(guān)聯(lián)于一個(gè)定點(diǎn)節(jié)目的表演時(shí)間信息比較。所述定點(diǎn)節(jié)目的表演時(shí)間最接近于所述非演唱間歇時(shí)間，其被在所述非演唱間歇中播放。

發(fā)明內(nèi)容
本發(fā)明目的在于提供生成令人興奮和有趣的視覺顯示的可能性?？赡芟Ｍ上鄳?yīng)于所述音頻節(jié)目的變化的視覺內(nèi)容，例如相應(yīng)于樂曲的美麗的景色，以及對(duì)于不同主題音樂，歌曲和抒情詩的相應(yīng)的視覺內(nèi)容。
根據(jù)本發(fā)明的一個(gè)方面，提供一種方法，該方法提供帶有相關(guān)聯(lián)視頻信號(hào)的一個(gè)音頻信號(hào)，包括以下步驟解碼一個(gè)被編碼的音頻流來提供一個(gè)音頻信號(hào)和音頻描述數(shù)據(jù)；以及提供一個(gè)相關(guān)聯(lián)的第一視頻信號(hào)，其至少一部分內(nèi)容根據(jù)所述音頻描述數(shù)據(jù)被選擇。
優(yōu)選地，所述提供步驟包括使用所述音頻描述數(shù)據(jù)來選擇合適于所述音頻信號(hào)內(nèi)容的視覺描述數(shù)據(jù)；以及從所述被選擇的視覺描述數(shù)據(jù)創(chuàng)建視頻內(nèi)容；以及提供包括所述被創(chuàng)建的視頻內(nèi)容的所述第一視頻信號(hào)。
該方法可能進(jìn)一步包括從一個(gè)傳輸流中提取所述視覺描述數(shù)據(jù)的步驟，例如一個(gè)MPEG流包括音頻，視頻和所述視覺描述數(shù)據(jù)。
根據(jù)本發(fā)明的第二個(gè)方面，提供一種方法，來傳送與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)來為音頻內(nèi)容生成相應(yīng)的視覺顯示，所述方法包括以下步驟編碼一個(gè)音頻信號(hào)和相關(guān)聯(lián)的音頻描述數(shù)據(jù)到一個(gè)被編碼的音頻流中；編碼視覺描述數(shù)據(jù)；以及合成所述被編碼的音頻流和所述視覺描述數(shù)據(jù)。
所述第一和第二方面可以被合并。
根據(jù)本發(fā)明的第三個(gè)方面，提供一種裝置來提供帶有一個(gè)相關(guān)聯(lián)視頻信號(hào)的一個(gè)音頻信號(hào)，包括音頻解碼裝置，用來解碼一個(gè)被編碼的音頻流來提供一個(gè)音頻信號(hào)和音頻描述數(shù)據(jù)；以及第一視頻信號(hào)裝置，用來提供一個(gè)相關(guān)聯(lián)的第一視頻信號(hào)，其至少一部分內(nèi)容根據(jù)所述音頻描述數(shù)據(jù)選擇。
根據(jù)本發(fā)明的第四個(gè)方面，提供一個(gè)系統(tǒng)來提供帶有一個(gè)相關(guān)聯(lián)視頻信號(hào)的一個(gè)音頻信號(hào)，包括音頻編碼裝置，用來編碼一個(gè)音頻信號(hào)和音頻描述數(shù)據(jù)到一個(gè)被編碼的音頻流中；描述數(shù)據(jù)編碼裝置，用來編碼視覺描述數(shù)據(jù)；以及合成裝置，用來合成所述被編碼的音頻流和所述視覺描述數(shù)據(jù)。
所述第三和第四方面可以合并。
根據(jù)本發(fā)明的第五個(gè)方面，提供一個(gè)系統(tǒng)來傳送與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)來為音頻內(nèi)容生成相應(yīng)的視覺顯示，所述系統(tǒng)包括音頻編碼裝置，用來編碼一個(gè)音頻信號(hào)和與其相關(guān)聯(lián)的音頻描述數(shù)據(jù)到一個(gè)被編碼的音頻流中；視頻編碼裝置，用來編碼視覺描述數(shù)據(jù)到一個(gè)被編碼的視頻流中；以及合成裝置，用來合成所述被編碼的音頻和視頻流。
在如上所述的任何一個(gè)方面中，所述視覺描述數(shù)據(jù)能夠包括一個(gè)或多個(gè)以下的組視頻剪接部分，靜態(tài)圖像，圖形和文本描述?？蛇x地或另外，所述視覺描述數(shù)據(jù)可以被分類，與以下至少一種使用至少一種風(fēng)格的音頻內(nèi)容，至少一種主題的音頻內(nèi)容，以及至少一種類型的活動(dòng)，對(duì)于該活動(dòng)所述數(shù)據(jù)是合適的。
所述音頻描述數(shù)據(jù)可以包括相關(guān)于以下至少一組的數(shù)據(jù)歌手識(shí)別，組合識(shí)別，音樂公司識(shí)別，服務(wù)提供商識(shí)別和卡拉OK文本?？蛇x地或另外，所述音頻描述數(shù)據(jù)可以包括相關(guān)于所述音頻信號(hào)的風(fēng)格的數(shù)據(jù)?？蛇x地或另外，所述音頻描述數(shù)據(jù)可以包括相關(guān)于所述音頻信號(hào)的主題的數(shù)據(jù)。另一種可能性，所述音頻描述數(shù)據(jù)可以包括相關(guān)于所述活動(dòng)類型的數(shù)據(jù)，對(duì)于該活動(dòng)，所述音頻信號(hào)是合適的。
所述音頻描述數(shù)據(jù)可以在所述被編碼的音頻流的幀內(nèi)，所述幀也包括所述音頻信號(hào)。所述被編碼的音頻流可以是一個(gè)MPEG音頻流。當(dāng)兩種都發(fā)生時(shí)，所述音頻描述數(shù)據(jù)可以是在所述MPEG音頻流內(nèi)部的輔助數(shù)據(jù)。
在本發(fā)明的另一個(gè)方面，上述的任何裝置或系統(tǒng)根據(jù)上述的任何一種方法都是可操作的。
這樣，本發(fā)明提供帶有相關(guān)聯(lián)的視頻信號(hào)的一個(gè)音頻信號(hào)。特別地，它提供一個(gè)音頻描述數(shù)據(jù)，作為音頻流的一部分與所述音頻信號(hào)一起傳輸，來選擇一個(gè)合適的視頻信號(hào)來伴隨所述音頻信號(hào)。
本發(fā)明提供一種有效的裝置，來添加相關(guān)于所述音頻節(jié)目的進(jìn)一步的信息。它為所述內(nèi)容提供商生成一個(gè)選項(xiàng)來插入或修改描述所述音頻內(nèi)容的相應(yīng)信息，用于在發(fā)布或廣播之前生成相關(guān)的視覺內(nèi)容。所述與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)，其可能被攜帶在所述音頻基本碼流的所述輔助數(shù)據(jù)部分中，提供所述優(yōu)選的分類或類型的一般描述，被所述解碼器使用來生成相關(guān)的視覺顯示以及互動(dòng)應(yīng)用。
可能希望插入與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)來為收聽者生成相關(guān)的，令人激動(dòng)和有趣的視覺顯示，例如，為與運(yùn)動(dòng)相關(guān)的歌曲或音樂生成體育畫面或靜態(tài)圖畫。為了生成這樣的視覺顯示，提供在所述音頻基本碼流中編碼和插入所述與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)的方法，以及解碼，譯碼和生成所述視覺顯示的技術(shù)。本發(fā)明提供一種有效的裝置，來添加相關(guān)于所述音頻節(jié)目的進(jìn)一步信息。攜帶在所述音頻基本碼流的所述輔助數(shù)據(jù)部分中的所述與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)應(yīng)該提供所述優(yōu)選的分類或類型的一般描述，被所述解碼器使用來生成相關(guān)的視覺顯示以及互動(dòng)應(yīng)用。
在一個(gè)方面，一個(gè)MPEG音頻流被與一個(gè)MPEG視頻流一起傳輸。所述音頻流包括一個(gè)音頻信號(hào)，以及作為輔助數(shù)據(jù)的與其相關(guān)聯(lián)的音頻描述數(shù)據(jù)。所述視頻流包括一個(gè)視頻信號(hào)，以及作為專用數(shù)據(jù)的視頻描述數(shù)據(jù)(如，視頻剪接部分，靜態(tài)圖，圖形，文本等)，所述視頻描述數(shù)據(jù)不必和與其一起傳輸?shù)乃鲆曨l數(shù)據(jù)有任何關(guān)聯(lián)。對(duì)于接收，所述音頻和視頻流被解碼。所述視頻描述數(shù)據(jù)被存儲(chǔ)在一個(gè)存儲(chǔ)器中，所述音頻信號(hào)被播放。所述音頻描述數(shù)據(jù)被用來，為來自于所述存儲(chǔ)器或其他存儲(chǔ)，或來自于當(dāng)前輸入的視頻描述數(shù)據(jù)的所述特定的音頻信號(hào)選擇合適的視頻描述數(shù)據(jù)。當(dāng)所述音頻信號(hào)被播放時(shí)，這就隨即被顯示。


本發(fā)明將根據(jù)附圖通過非限制性的實(shí)例來進(jìn)一步描述圖1是編碼音頻和視頻描述數(shù)據(jù)的一個(gè)框圖；圖2是本發(fā)明的一個(gè)實(shí)施例的接收機(jī)的框圖；以及圖3是一個(gè)示意圖，顯示了表達(dá)本發(fā)明的一個(gè)接收機(jī)的情況。
具體實(shí)施例方式
在本發(fā)明中，描述一個(gè)音頻內(nèi)容的與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)被用于作為一個(gè)基礎(chǔ)來為一個(gè)聽眾生成一個(gè)視覺顯示，例如關(guān)于特殊場(chǎng)合的，用于歌曲或抒情詩的歡慶活動(dòng)的簡(jiǎn)短的視頻剪接部分，場(chǎng)景，圖像，廣告，圖形，文本和互動(dòng)內(nèi)容，其中所述視覺顯示關(guān)聯(lián)于所述音頻內(nèi)容。編碼和插入所述與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)到音頻基本碼流內(nèi)的方法被用來生成如此的視覺顯示。
所述與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)被用來生成與所述音頻內(nèi)容相關(guān)聯(lián)的視覺顯示。它可以被清楚地分成兩類數(shù)據(jù)(i)音頻描述數(shù)據(jù)，用來描述所述音頻內(nèi)容以及(ii)視覺描述數(shù)據(jù)，用來生成所述視覺顯示。所述視覺描述數(shù)據(jù)不需要為特定的音頻節(jié)目或音頻描述數(shù)據(jù)來開發(fā)。
(i)音頻描述數(shù)據(jù)音頻描述數(shù)據(jù)給出所述音頻內(nèi)容的一般描述，例如所述樂曲主題，所述歌曲抒情詩的相關(guān)關(guān)鍵字，名稱，歌手或公司名稱，以及所述樂曲的風(fēng)格。所述音頻描述數(shù)據(jù)可以被插入到每一個(gè)音頻幀內(nèi)或遍布所述樂曲或歌曲的不同的音頻幀內(nèi)，這樣可以在所述音頻節(jié)目的不同部分插入不同的描述。
(ii)視覺描述數(shù)據(jù)所述視覺描述數(shù)據(jù)可以包括簡(jiǎn)短的視頻剪接部分，靜態(tài)圖像，圖形，文本描述，以及能進(jìn)行互動(dòng)應(yīng)用的數(shù)據(jù)。所述視覺描述數(shù)據(jù)可以被獨(dú)立于所述音頻描述數(shù)據(jù)進(jìn)行編碼，并作為專用數(shù)據(jù)被傳送到所述接收機(jī)，存在于所述傳輸或節(jié)目流的專用表中。所述視覺描述數(shù)據(jù)不需為特定的音頻節(jié)目或音頻描述數(shù)據(jù)開發(fā)。它可以為特定的音頻“風(fēng)格”、“主題”、“活動(dòng)”開發(fā)，并且還可包含相應(yīng)的廣告和互動(dòng)信息。
圖1是根據(jù)本發(fā)明的一個(gè)實(shí)施例的對(duì)于音頻和視覺描述數(shù)據(jù)的一個(gè)編碼處理的框圖。
一個(gè)音頻源12提供一個(gè)音頻信號(hào)14到一個(gè)音頻編碼器16，該編碼器編碼該信號(hào)到合適的音頻基本碼流18中，用于在一個(gè)存儲(chǔ)媒介20中存儲(chǔ)，例如一組硬盤。
一個(gè)音頻描述數(shù)據(jù)編碼器22是用于開發(fā)音頻描述數(shù)據(jù)的一個(gè)內(nèi)容生成工具，例如所述音頻內(nèi)容的一般的描述。它是用戶可操作的或可以自動(dòng)工作的，例如，通過分析所述音頻基本碼流中的所述樂曲和/或文本內(nèi)容(例如，樂曲的速度可以被分析來提供相關(guān)的信息)。所述音頻描述數(shù)據(jù)編碼器22從所述存儲(chǔ)媒介20中檢索音頻基本碼流并插入所述音頻描述數(shù)據(jù)，它在所述音頻基本碼流的每一幀中生成到所述輔助數(shù)據(jù)部分中。在編輯或插入之后，包含所述音頻描述數(shù)據(jù)24的所述音頻基本碼流被存儲(chǔ)回所述存儲(chǔ)媒介20中，用于發(fā)布或廣播。所述音頻描述數(shù)據(jù)編碼器22還生成識(shí)別和時(shí)鐘參考數(shù)據(jù)26，其與所述音頻基本碼流相關(guān)聯(lián)，包括所述音頻描述數(shù)據(jù)24，并且存儲(chǔ)這些在所述音頻基本碼流中。
一個(gè)視頻/圖像源28提供一個(gè)視頻/圖像信號(hào)30到一個(gè)視頻/圖像編碼器32，其編碼它成為一個(gè)合適的數(shù)據(jù)格式34，用于存儲(chǔ)在一個(gè)存儲(chǔ)媒介36中。其他的數(shù)據(jù)媒介38也可以貢獻(xiàn)合適的視覺數(shù)據(jù)40，例如文本和圖形數(shù)據(jù)。來自于所述存儲(chǔ)媒介36的視頻剪接，圖像，圖形和文本數(shù)據(jù)42的檔案被提供到一個(gè)視覺描述數(shù)據(jù)編碼器44，并被用來生成所述視覺內(nèi)容。這通過平臺(tái)相依性的方式來完成。對(duì)于視頻剪接，它們可以被存儲(chǔ)為MPEG-1/MPEG-2或任何支持的視頻格式中的一種。對(duì)于圖形，它們可以被提供并存儲(chǔ)作為MPEG-4或MPEG-7描述語言或Java或諸如此類。對(duì)于文本，它可以以統(tǒng)一的字符編碼標(biāo)準(zhǔn)被提供并存儲(chǔ)。對(duì)于這些中的任何一個(gè)，所述定義甚至可以是專有的。
所述視覺描述數(shù)據(jù)編碼器44是用于開發(fā)視覺描述數(shù)據(jù)46的一個(gè)內(nèi)容生成工具。所述視覺描述數(shù)據(jù)46被存儲(chǔ)在一個(gè)存儲(chǔ)媒介48中，用于發(fā)布或廣播。所述視覺描述數(shù)據(jù)46可以獨(dú)立于所述音頻內(nèi)容被開發(fā)。然而，對(duì)于所述視覺描述數(shù)據(jù)46要連同相關(guān)聯(lián)的音頻描述數(shù)據(jù)一起被執(zhí)行的應(yīng)用，來自于音頻描述數(shù)據(jù)編碼器22的所述識(shí)別代碼和時(shí)鐘參考26被用來同步所述視覺描述數(shù)據(jù)的解碼。對(duì)此，它們被包含在專用的限制描述中，其嵌入在攜帶所述視覺描述數(shù)據(jù)的所述專用部分中。
在廣播中，不管是通過有線，光纖或無線傳輸，還是作為電視或互聯(lián)網(wǎng)，來自于音頻存儲(chǔ)媒介20的音頻基本碼流(包括所述音頻描述數(shù)據(jù))與來自于視頻存儲(chǔ)媒介36的作為專用數(shù)據(jù)的所述視覺描述數(shù)據(jù)以及視頻基本碼流(例如，包括一個(gè)視頻)多路復(fù)用來形成一個(gè)傳輸流。繼而，這是聲道，被編碼和調(diào)制來傳輸。
圖2是根據(jù)本發(fā)明的用于數(shù)字電視接收的另一個(gè)實(shí)施例建造的一個(gè)接收機(jī)的框圖。一個(gè)射頻(RF)輸入信號(hào)50被接收并傳遞到一個(gè)前級(jí)52，其被控制在所述合適的電視信道中調(diào)諧。所述前級(jí)52解調(diào)并聲道解碼所述RF輸入信號(hào)50來生成一個(gè)傳輸流54。
一個(gè)傳輸解碼器56，通過識(shí)別一個(gè)唯一的13位節(jié)目標(biāo)識(shí)符(PID)從所述傳輸流54中提取一個(gè)專用部分表，該P(yáng)ID包含所述視覺描述數(shù)據(jù)。所述視覺描述數(shù)據(jù)被引導(dǎo)通過所述解碼器的數(shù)據(jù)總線58被存儲(chǔ)到一個(gè)循環(huán)緩沖區(qū)60內(nèi)。同時(shí)，所述傳輸解碼器56也從所述傳輸流54，分別過濾所述音頻基本碼流62和視頻基本碼流64到一個(gè)MPEG音頻解碼器66和一個(gè)MPEG視頻解碼器。
所述PID(節(jié)目標(biāo)識(shí)符)對(duì)于每一個(gè)流是唯一的，并被用來提取所述音頻流，所述視頻流和包括所述視覺描述數(shù)據(jù)的所述專用部分?jǐn)?shù)據(jù)。
所述MPEG音頻解碼器64解碼所述音頻基本碼流62來生成所述被解碼的數(shù)字音頻信號(hào)70。所述被解碼的數(shù)字音頻信號(hào)70被送到一個(gè)音頻編碼器72中來生成一個(gè)模擬音頻輸出信號(hào)74。包括所述音頻基本碼流中的所述音頻描述數(shù)據(jù)的所述輔助數(shù)據(jù)被過濾并通過所述音頻解碼器的數(shù)據(jù)總線78存儲(chǔ)在一個(gè)循環(huán)緩沖區(qū)76中。
所述MPEG視頻解碼器68解碼所述視頻基本碼流64來生成所述被解碼的數(shù)字視頻信號(hào)80。所述被解碼的數(shù)字視頻信號(hào)80被送到一個(gè)圖形處理器和視頻編碼器82來生成所述視頻輸出信號(hào)84。
所述接收機(jī)主機(jī)微處理器86控制所述前級(jí)52通過一個(gè)I2C總線88來在所述合適的電視聲道調(diào)諧。它還通過所述傳輸解碼器的數(shù)據(jù)總線58，90，從所述循環(huán)緩沖區(qū)60中檢索所述視覺描述數(shù)據(jù)。所述視覺描述數(shù)據(jù)通過所述主機(jī)數(shù)據(jù)總線94被存儲(chǔ)在一個(gè)存儲(chǔ)系統(tǒng)92中。所述視覺描述數(shù)據(jù)還可以通過外部數(shù)據(jù)總線96和接口98從外部設(shè)備中下載，如個(gè)人電腦或其他存儲(chǔ)媒介。
所述微處理器86還通過所述音頻解碼器的數(shù)據(jù)總線78，100，從所述循環(huán)緩沖區(qū)76中讀取所述被過濾的音頻描述數(shù)據(jù)。從所述音頻描述數(shù)據(jù)，它使用認(rèn)知和搜索工具來從所述系統(tǒng)存儲(chǔ)器92中選擇所述最合適視覺描述數(shù)據(jù)。選擇所述最合適的一般步驟可以如下所述i.從所述音頻基本碼流中檢索音頻描述數(shù)據(jù)。這通過所述“audio_description_identification”值識(shí)別(下文中描述)；ii.檢索所述“description_data_type”值(下文中描述)來確定跟在后面的數(shù)據(jù)的類型；iii.如果所述“description_data_type”的值在1和15之間，檢索所述“user_data_code”(統(tǒng)一字符編碼標(biāo)準(zhǔn)文本)(下文中描述)，其描述信息的各自的類型。這個(gè)信息被用來作為搜索標(biāo)準(zhǔn)；iv.如果“description_data_type”的值是16，17和18中的任何一個(gè)，檢索所述“description_data_code”(下文中描述)來確定所述搜索標(biāo)準(zhǔn)。所述“description_data_code”對(duì)于“description_data_type”的值16，17和18，分別遵循表5，6和7(下文中出現(xiàn))中描述的定義；v.根據(jù)所述搜索標(biāo)準(zhǔn)，為最佳的匹配搜索存儲(chǔ)器92的所述視覺描述數(shù)據(jù)庫。所述數(shù)據(jù)庫包含所述視覺描述數(shù)據(jù)文件，存儲(chǔ)在目錄下，其文件名稱允許一個(gè)有效的搜索法則的運(yùn)用。
所述MPEG視頻解碼器68的工作也通過所述解碼器的數(shù)據(jù)總線102，被所述微處理器86控制。
所示圖形處理器以及視頻編碼器模塊82具有一個(gè)圖形生成工具，來覆蓋文本和圖形，并且在所述被解碼的視頻上執(zhí)行合成和alpha縮放。所述圖形處理器的操作由所述微處理器86控制，通過所述處理器的數(shù)據(jù)總線104。從所述系統(tǒng)存儲(chǔ)器92中選擇出來的最合適的視覺描述數(shù)據(jù)在所述微處理器86的控制下被處理，來生成所述視覺顯示，使用所述圖形處理器的特征和性能。然后，它就作為所述唯一視頻輸出信號(hào)輸出或被添加在所述視頻信號(hào)上，由所述視頻基本碼流產(chǎn)生。
這樣，在應(yīng)用中，所述接收機(jī)提取包括所述視覺描述數(shù)據(jù)的所述專用數(shù)據(jù)并存儲(chǔ)在它的存儲(chǔ)系統(tǒng)中。當(dāng)播放一個(gè)音頻節(jié)目時(shí)(甚至于在晚些時(shí)候)，所述接收機(jī)提取所述音頻描述數(shù)據(jù)并用其為相應(yīng)的視覺描述數(shù)據(jù)搜索它的存儲(chǔ)系統(tǒng)。所述最合適的視覺描述數(shù)據(jù)被選擇來生成所述視覺顯示，然后就在所述音頻節(jié)目中出現(xiàn)。
MPEG是本發(fā)明中優(yōu)選的傳送流。它能夠攜帶很多視頻和音頻流。所述解碼器能夠解碼，并同時(shí)提供兩個(gè)音頻-視覺流。
應(yīng)用的具體類型不同，取決于所述廣播或網(wǎng)絡(luò)服務(wù)和所述接收機(jī)的硬件性能。在電視應(yīng)用中，如一個(gè)音樂視頻，其已經(jīng)包括一個(gè)視頻信號(hào)，所述與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)也可以被用于生成相應(yīng)的視頻剪接部分，圖像，圖形和文本顯示，以及在屏顯示(尤其是互動(dòng)節(jié)目)，作為一個(gè)第一視頻信號(hào)，并且添加或覆蓋它到所述音樂視頻上(所述第二視頻信號(hào))。然而，還有一些應(yīng)用，其中生成的視覺描述數(shù)據(jù)的顯示是顯示的唯一信號(hào)。
另外，當(dāng)一個(gè)用戶播放包含音頻描述數(shù)據(jù)的一個(gè)音頻節(jié)目時(shí)，一個(gè)圖標(biāo)出現(xiàn)在顯示器上，指示有效的與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)出現(xiàn)了。如果所述用戶按“開始視頻”按鈕，所述接收機(jī)搜索最合適視覺描述數(shù)據(jù)并生成相對(duì)應(yīng)的視覺顯示。通過使用預(yù)先指定的遠(yuǎn)程控制按鈕，所述用戶可以操縱互動(dòng)節(jié)目，其攜帶在所述視覺描述數(shù)據(jù)中。當(dāng)檢測(cè)到輸入的音頻描述數(shù)據(jù)時(shí)，一個(gè)自動(dòng)的選項(xiàng)也被提供來打開所述最合適的視覺顯示。
所述接收機(jī)自由地決定哪一個(gè)視覺描述數(shù)據(jù)應(yīng)該被選擇，并且每一個(gè)視覺描述數(shù)據(jù)應(yīng)該被顯示多長。一般地，當(dāng)接收到音頻描述數(shù)據(jù)時(shí)，搜索標(biāo)準(zhǔn)從所述音頻描述數(shù)據(jù)中得到。基于所述搜索標(biāo)準(zhǔn)，所述視覺描述數(shù)據(jù)庫被搜索，并且根據(jù)播放次序，建立了一列表的文件位置。如果所述視覺描述播放特征被激活，這個(gè)數(shù)據(jù)就以這個(gè)順序播放。如果得到另一個(gè)搜索標(biāo)準(zhǔn)，所述剩余的視覺描述數(shù)據(jù)被播放，接著是以上的過程來建立匹配所述新標(biāo)準(zhǔn)的一新列數(shù)據(jù)。用戶選項(xiàng)被包括入內(nèi)，來改進(jìn)所述認(rèn)知算法和搜索處理。在實(shí)施中，所述視覺描述數(shù)據(jù)可以是陳述式的(如，HTML)或程序式的(如，JAVA)，取決于從所述接收機(jī)得到的一組應(yīng)用程序接口函數(shù)。
圖3是在一個(gè)接收機(jī)發(fā)生的情況的示意圖。
一個(gè)數(shù)字電視(DTV)源MPEG-2流102包括視覺描述數(shù)據(jù)104，一個(gè)被編碼的視頻流106，以及一個(gè)被編碼的音頻流108提供每一個(gè)流，分別到達(dá)。一個(gè)MPEG-2傳輸流在DTV中是優(yōu)選的，因?yàn)樗哂恤敯粜哉`差傳輸。所述視覺描述數(shù)據(jù)被攜帶在一個(gè)MPEG-2專用部分。所述編碼的視頻流被攜帶在MPEG-2包化基本數(shù)據(jù)流(PES)。所述被編碼的音頻流也攜帶音頻描述數(shù)據(jù)110，當(dāng)所述被編碼的音頻流被解碼的時(shí)候，其被分離開。
其他源112，如檔案庫存儲(chǔ)器，也提供第二視覺描述數(shù)據(jù)114和一個(gè)第二編碼視頻流116。
所述的兩組視覺描述數(shù)據(jù)和所述的兩個(gè)被編碼的視頻流被提供到一個(gè)搜索工具118，作為可搜索材料，而所述音頻描述數(shù)據(jù)也被輸入到所述搜索工具作為搜索信息。被選擇的視覺描述數(shù)據(jù)被一個(gè)解碼器解釋來創(chuàng)建一個(gè)視頻信號(hào)120(通常圖形或簡(jiǎn)短的視頻剪接)。相比于所述視頻流，它使用更少的數(shù)據(jù)來創(chuàng)建這個(gè)視頻信號(hào)。被選擇的一個(gè)被編碼的視頻信號(hào)被解碼來生成一個(gè)第二視頻信號(hào)122。
同時(shí)，所述被編碼的音頻流的解碼，以及提供音頻描述數(shù)據(jù)110也提供音頻信號(hào)124。
一個(gè)播放器(renderer)126接收所述兩個(gè)視頻信號(hào)，并且因?yàn)樗唤ㄔ斐刹煌膶?包括圖形和在屏顯示)，能夠提供一個(gè)合成的視頻信號(hào)128，其中多個(gè)視頻信號(hào)重疊。所述播放器還具有來自于所述音頻描述數(shù)據(jù)的一個(gè)輸入。所述合成的視頻信號(hào)可以北一個(gè)用戶選擇130改變。
所述音頻信號(hào)還被單獨(dú)地提供來生成聲音132。
現(xiàn)在要描述所述音頻描述數(shù)據(jù)的格式的一個(gè)例子。
所述音頻描述數(shù)據(jù)被置于一個(gè)音頻基本碼流中的每一幀內(nèi)的一個(gè)輔助數(shù)據(jù)部分中。表1顯示出如ISO/IEC11172-3(MPEG-音頻)所定義的所述語法。
表1音頻幀的語法

所述輔助數(shù)據(jù)位于每一個(gè)音頻幀的尾部。輔助位的數(shù)目等于在一個(gè)音頻幀可用的位的數(shù)目減去頭部(32位)，誤差檢測(cè)(16位)以及音頻使用的位的數(shù)目。音頻數(shù)據(jù)位的數(shù)目以及輔助數(shù)據(jù)位的數(shù)目都是變量。表2顯示了用于攜帶所述與程序相關(guān)聯(lián)的數(shù)據(jù)的所述輔助數(shù)據(jù)的語法。根據(jù)所述音頻內(nèi)容本身，所述輔助數(shù)據(jù)是用戶可定義的，基于下文中要顯示的定義。
表2輔助數(shù)據(jù)的語法

在發(fā)布或廣播之前，通過所述所述內(nèi)容發(fā)生器或提供器，所述音頻描述數(shù)據(jù)被生成并作為輔助數(shù)據(jù)插入。
表3顯示了在每一個(gè)音頻幀內(nèi)的所述音頻描述數(shù)據(jù)的語法，位于所述輔助數(shù)據(jù)部分。
表3音頻描述數(shù)據(jù)的語法

所述語義的定義為audio_description_identification-用于攜帶音頻描述信息的用戶可定義輔助數(shù)據(jù)的一個(gè)13位唯一的識(shí)別。它應(yīng)該被用于檢驗(yàn)關(guān)聯(lián)于所述音頻內(nèi)容的音頻描述數(shù)據(jù)的存在。
distribution_flag_bit-這個(gè)1位的字段指示在所述音頻幀內(nèi)部的所跟隨的音頻描述數(shù)據(jù)是否可以被編輯或消除?！?”代表不允許任何修改?！?”代表所述音頻描述數(shù)據(jù)的編輯或消除對(duì)于再發(fā)布或廣播是可能的。
description_data_type-這個(gè)5位的字段定義跟隨著的數(shù)據(jù)的類型。所述數(shù)據(jù)類型定義如表4所示。
description_data_code-這個(gè)5位的字段包括對(duì)于大于15的description_data_type的所述預(yù)先定義的描述代碼。對(duì)于0-15之間的description_data_type未下定義。
audiovisual_pad_identification-一個(gè)16位與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)標(biāo)識(shí)，對(duì)于當(dāng)包括所述音頻描述數(shù)據(jù)的所述音頻內(nèi)容和可選的相關(guān)聯(lián)的視覺描述數(shù)據(jù)一起輸入時(shí)的應(yīng)用。所述接收機(jī)可以在所述接收機(jī)的存儲(chǔ)器系統(tǒng)中匹配具有相同的標(biāo)識(shí)的視覺描述數(shù)據(jù)。
audiovisual_clock_reference-這個(gè)16位的字段為所述接收機(jī)提供一個(gè)時(shí)鐘參考來同步所述視覺描述數(shù)據(jù)的解碼。每一個(gè)計(jì)數(shù)為20ms。
user_data_code-在每一音頻幀內(nèi)的用戶數(shù)據(jù)來描述文本字符以及卡拉OK文本和時(shí)間信息。
表4顯示了所述description_data_type的定義，其為description_data_code定義所述數(shù)據(jù)類型。
表4description_data_type的定義


0的值表示在description_data_code之后的所述代碼應(yīng)該包含audiovisual_pad_identification和audiovisual_clock_reference數(shù)據(jù)。其中前者為所出現(xiàn)的音頻內(nèi)容和具有相同識(shí)別數(shù)目的可選的關(guān)聯(lián)的視覺描述信息一起輸入的應(yīng)用提供一個(gè)16位的唯一識(shí)別。當(dāng)所述接收機(jī)檢測(cè)到這種情況時(shí)，它可以在其存儲(chǔ)系統(tǒng)中匹配具有相同識(shí)別的視覺描述數(shù)據(jù)。如果沒發(fā)現(xiàn)匹配的視覺描述數(shù)據(jù)，所述接收機(jī)可以為所述匹配的視覺描述信息過濾輸入的流。所述audiovisual_clock_reference為所述接收機(jī)提供一個(gè)16位時(shí)鐘參考來同步所述視覺描述數(shù)據(jù)的解碼。每一個(gè)計(jì)數(shù)是20ms。隨著16位時(shí)鐘參考和每個(gè)計(jì)數(shù)20ms的象素，不溢出的最大總時(shí)間為1310.72s，并且足夠于每一個(gè)音頻音樂或歌曲的持續(xù)時(shí)間。
表5，6和7分別列出了“風(fēng)格”，“主題”和“活動(dòng)”數(shù)據(jù)類型的預(yù)先定義的所述description_data_code的描述。所述description_data_type和description_data_code應(yīng)該被用作在所述接收機(jī)內(nèi)實(shí)施認(rèn)知和搜索處理的基礎(chǔ)，來推導(dǎo)出所述最合適的視覺描述數(shù)據(jù)以生成所述視覺顯示。視覺描述數(shù)據(jù)的選擇可以不同，即便對(duì)于相同的音頻基本碼流，因?yàn)樗Q于所述接收機(jī)的認(rèn)知和搜索工具的實(shí)現(xiàn)。用戶選項(xiàng)可以被添加來指定視覺描述數(shù)據(jù)的優(yōu)選的類別。
表5對(duì)于description_data_type等于“風(fēng)格”的description_data_code的定義

表6對(duì)于description_data_type等于“主題”的description_data_code的定義


表7對(duì)于description_data_type等于“活動(dòng)”的description_data_code的定義

所述音頻描述數(shù)據(jù)可以為卡拉OK應(yīng)用來描述音頻內(nèi)容的文本和所述時(shí)間信息。表8顯示了位于所述音頻幀的所述輔助數(shù)據(jù)部分中的所述karaoke_text_timing_information的所述語法。表8屬于表3中的“user_data_code”。當(dāng)表4中的“description_data_type”＝13時(shí)，存在此情況。
表8karaoke_text_timing_description()的語法

表9提供了音頻聲道信息。
表9audio_channel_format的定義

所述語義定義如下karaoke_clock_reference-這個(gè)16位字段為所述接收機(jī)提供一個(gè)時(shí)鐘參考來同步所述卡拉OK文本和時(shí)間代碼的解碼。它被用來在所述解碼器中設(shè)定當(dāng)前的解碼時(shí)鐘參考。每一個(gè)計(jì)數(shù)是20ms。
iso_639_language_code-這個(gè)24位字段包括3個(gè)字節(jié)的ISO 639語言代碼。每一個(gè)字符根據(jù)ISO 8859-1被編碼成為8位。
start_display_time-這個(gè)16位字段指定顯示所述兩行文本的時(shí)間。它被參考于karaoke_clock_reference來使用。每一個(gè)計(jì)數(shù)是20ms。
audio_channel_format-這個(gè)2位的字段指示用在所述接收機(jī)中的所述音頻聲道格式，來設(shè)定所述左輸出和右輸出。參見表9的定義。
upper_text_length-這個(gè)6位的字段指定在上部顯示行中的文本字符的數(shù)目。
upper_text_code-這個(gè)代碼定義在所述上部顯示行中的所述文本字符(從0到64)。
lower_text_length-這個(gè)6位的字段指定在下部顯示行中的文本字符的數(shù)目。
lower_text_code-這個(gè)代碼定義在所述下部顯示行中的所述文本字符(從0到64)。
upper_time_code-這個(gè)16位的字段指定在所述上部顯示行中的各個(gè)文本字符的滾動(dòng)信息。它參考于karaoke_clock_reference來使用。每一個(gè)計(jì)數(shù)是20ms。
lower_time_code-這個(gè)16位的字段指定在所述下部顯示行中的各個(gè)文本字符的滾動(dòng)信息。它參考于karaoke_clock_reference來使用。每一個(gè)計(jì)數(shù)是20ms。
所述karaoke_clock_reference在每一首卡拉OK歌曲的開始，從計(jì)數(shù)0開始。對(duì)于具有音頻的卡拉OK文本的同步，所述音頻描述數(shù)據(jù)編碼器負(fù)責(zé)為每一首卡拉OK歌曲更新所述karaoke_clock_reference和設(shè)置start_display_time，upper_time_code以及l(fā)ower_time_code。
在所述接收機(jī)，用于文本顯示和滾動(dòng)的時(shí)間在所述start_display_time，upper_time_code以及l(fā)ower_time_code字段中定義。所述接收機(jī)的卡拉OK文本解碼器計(jì)時(shí)器應(yīng)該被更新到karaoke_clock_reference。當(dāng)所述解碼器計(jì)數(shù)匹配start_display_time時(shí)，所述的兩行文本應(yīng)該被非高亮地顯示。所述滾動(dòng)信息被嵌入到所述upper_time_code以及l(fā)ower_time_code字段。它們被用來高亮所述文本字符顯示來起到所述滾動(dòng)效應(yīng)。例如，所述解碼器將使用upper_time_code[n]和upper_time_code[n+1]之間的差異來為所述上部行中的第n位置文本字符確定所述滾動(dòng)速度。滾動(dòng)中的一個(gè)停頓通過插入一個(gè)空格文本字符來完成。在所述較低行中滾動(dòng)的末尾，所述解碼器清除所述文字顯示，并且所述解碼器處理根據(jù)下一個(gè)start_display_time重復(fù)。
伴隨16位時(shí)間代碼以及每個(gè)計(jì)數(shù)20ms的象素，所述不溢出的最大總時(shí)間是1310.72秒或21分50.72秒。所述說明不限定所述解碼器模塊的顯示類型。它取決于所述解碼器實(shí)施來使用所述start_display_time以及所述時(shí)間代碼信息用于顯示和高亮所述卡拉OK文本。這使得具有不同性能的不同硬件以及在屏顯示(OSD)特征來執(zhí)行卡拉OK文本解碼。
這個(gè)視覺描述數(shù)據(jù)可以以不同的格式，如前所述。這傾向于平臺(tái)相依性。例如，在多媒體家庭平臺(tái)(MHP)接收機(jī)中，JAVA和HTML被支持。
在只有音頻的應(yīng)用中，可能希望插入與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)來為收聽者生成一個(gè)相應(yīng)的、令人激動(dòng)和有趣的視覺顯示。為了生成這樣一個(gè)視覺顯示，引入編碼和插入與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)到所述音頻基本碼流中的方法，以及解碼的技術(shù)，譯碼和生成所述視覺顯示的技術(shù)。
開發(fā)與所述音頻或電視節(jié)目相關(guān)的視覺內(nèi)容需要很多的資源。使觀看者去訪問這些附加的數(shù)據(jù)服務(wù)信息對(duì)于成功的商業(yè)實(shí)施是重要的。在大多數(shù)情況下，所述觀察者在看完一個(gè)節(jié)目之后，會(huì)發(fā)現(xiàn)這個(gè)電視節(jié)目沒意思，不愿意看更多遍。然而，對(duì)于音頻應(yīng)用，收聽者更可能一次又一次地重復(fù)同一首樂曲和歌曲。這樣，生成相關(guān)于所述音頻內(nèi)容的視覺顯示的方法包括生成不同的顯示來吸引觀看者的注意力，即使當(dāng)播放相同的音頻內(nèi)容時(shí)。為了減少用于生成所述視覺顯示內(nèi)容的費(fèi)用，現(xiàn)有的發(fā)明允許在不同的音頻和電視應(yīng)用中，共享和重用與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)。
在電視應(yīng)用中，例如音樂電視，攜帶在所述音頻基本碼流中的所述與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)可以被使用來在視頻上生成相應(yīng)的圖形和文本顯示。這樣，一個(gè)實(shí)施例提供一個(gè)方法，其能夠使附加的視覺內(nèi)容添加或重疊到所述視頻上。
所述實(shí)施主要是軟件。編輯音頻描述數(shù)據(jù)的應(yīng)用可以被使用來協(xié)助所述內(nèi)容生成器或提供器來插入相應(yīng)的數(shù)據(jù)到所述音頻基本碼流中。軟件開發(fā)工具可以被用來生成所述視覺描述數(shù)據(jù)，用來插入到所述傳輸或節(jié)目流中，作為專用數(shù)據(jù)。在所述接收機(jī)，當(dāng)包括所述音頻描述數(shù)據(jù)的所述音頻節(jié)目被播放時(shí)，所述接收機(jī)為相應(yīng)的視覺描述數(shù)據(jù)提取所述音頻描述數(shù)據(jù)并搜索其存儲(chǔ)系統(tǒng)，所述視覺描述數(shù)據(jù)被先前提取或下載。所述用戶還生成各自的視覺描述數(shù)據(jù)。所述最合適的視覺描述數(shù)據(jù)被選擇來生成所述視覺顯示。
隨著技術(shù)的進(jìn)步，尤其是在數(shù)字電視領(lǐng)域中，有很多機(jī)會(huì)在一個(gè)背景視頻上開發(fā)視覺和互動(dòng)節(jié)目。這個(gè)發(fā)明提供一種有效的裝置，來添加與所述音頻節(jié)目相關(guān)聯(lián)的進(jìn)一步的信息。它在發(fā)布或廣播前，為所述內(nèi)容生成器生成一個(gè)選項(xiàng)來插入或修改相應(yīng)的描述性信息或用于生成相應(yīng)的視覺內(nèi)容的鏈接。所述攜帶在所述音頻基本碼流的所述輔助數(shù)據(jù)部分的與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)提供用于所述解碼器的優(yōu)選的分類或種類的一般的描述，來生成相關(guān)的視覺顯示和互動(dòng)應(yīng)用。適應(yīng)于數(shù)字音頻和電視廣播的一個(gè)商業(yè)化可行方案，以及其他的多媒體平臺(tái)有益于內(nèi)容提供商，廣播公司或消費(fèi)者。這樣，本發(fā)明能夠用于多媒體應(yīng)用中，如數(shù)字電視，數(shù)字音頻廣播，以及在因特網(wǎng)域中，為音頻內(nèi)容發(fā)布與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)。
對(duì)于定位所述被構(gòu)建的視覺描述數(shù)據(jù)而言，其能夠被如愿地放置，例如，如在同一個(gè)申請(qǐng)人2002年10月4日提交的名為“卡拉OK應(yīng)用中的視覺內(nèi)容”的同時(shí)待決的專利申請(qǐng)所述，其整個(gè)內(nèi)容在這里全部被包括作為參考。
雖然只描述了編碼器和接收機(jī)和所述音頻描述數(shù)據(jù)的一個(gè)實(shí)施例，可以容易地使用符合本發(fā)明范圍的其他實(shí)施例和格式，如權(quán)力要求等所述，均屬于本
權(quán)利要求
1.一個(gè)方法，提供帶有相關(guān)聯(lián)視頻信號(hào)的一個(gè)音頻信號(hào)，包括以下步驟解碼一個(gè)被編碼的音頻流來提供一個(gè)音頻信號(hào)和音頻描述數(shù)據(jù)；以及提供一個(gè)相關(guān)聯(lián)的第一視頻信號(hào)，其至少一部分內(nèi)容根據(jù)所述音頻描述數(shù)據(jù)被選擇。
2.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括較早的步驟，編碼所述音頻信號(hào)和所述音頻描述信號(hào)到所述被編碼的音頻流中。
3.根據(jù)權(quán)利要求1或2中的任何一個(gè)所述的方法，進(jìn)一步包括解碼來自于一個(gè)被編碼的視頻流的一個(gè)第二視頻信號(hào)的步驟。
4.根據(jù)權(quán)利要求1-3中的任何一個(gè)所述的方法，其中所述提供步驟包括使用所述音頻描述數(shù)據(jù)來選擇合適于所述音頻信號(hào)內(nèi)容的視覺描述數(shù)據(jù)；從所述被選擇的視覺描述數(shù)據(jù)創(chuàng)建視頻內(nèi)容；以及提供包括所述被創(chuàng)建的視頻內(nèi)容的所述第一視頻信號(hào)。
5.根據(jù)權(quán)利要求4所述的方法，進(jìn)一步包括從一個(gè)傳輸流中提取所述視覺描述數(shù)據(jù)的步驟。
6.根據(jù)權(quán)利要求5所述的方法，其中所述視覺描述數(shù)據(jù)從所述傳輸流內(nèi)的專用數(shù)據(jù)中提取。
7.根據(jù)權(quán)利要求5或6中的任何一個(gè)所述的方法，當(dāng)至少從屬于權(quán)利要求3時(shí)，其中所述傳輸流進(jìn)一步包括所述被編碼的視頻和音頻流。
8.根據(jù)權(quán)利要求7所述的方法，其中在所述被編碼的音頻流中的所述音頻描述數(shù)據(jù)包括識(shí)別數(shù)據(jù)和時(shí)鐘參考數(shù)據(jù)，與在所述同一個(gè)傳輸流內(nèi)的所述視覺描述數(shù)據(jù)一起使用。
9.根據(jù)權(quán)利要求8所述的方法，其中對(duì)應(yīng)于所述識(shí)別數(shù)據(jù)和時(shí)鐘參考數(shù)據(jù)的描述符被存儲(chǔ)在所述視覺描述數(shù)據(jù)的專用部分內(nèi)。
10.根據(jù)權(quán)利要求7-9中的任何一個(gè)所述的方法，其中所述音頻流，所述視頻流和所述視頻描述數(shù)據(jù)被多路復(fù)用到所述傳輸流中，其在一個(gè)電視信號(hào)中傳輸。
11.根據(jù)權(quán)利要求7-10中的任何一個(gè)所述的方法，其中使用所述音頻描述數(shù)據(jù)來選擇合適的視覺描述數(shù)據(jù)的步驟包括從所述同一個(gè)傳輸流中選擇視覺描述數(shù)據(jù)。
12.根據(jù)權(quán)利要求4-11中的任何一個(gè)所述的方法，進(jìn)一步包括存儲(chǔ)所述被提取的視覺描述數(shù)據(jù)的步驟。
13.根據(jù)權(quán)利要求12所述的方法，當(dāng)不從屬于權(quán)利要求11時(shí)，其中使用所述音頻描述數(shù)據(jù)來選擇合適視覺描述數(shù)據(jù)的步驟包括選擇被存儲(chǔ)的視覺描述數(shù)據(jù)。
14.根據(jù)權(quán)利要求4-13中的任何一個(gè)所述的方法，進(jìn)一步包括編碼所述視覺描述數(shù)據(jù)的步驟，其在提取所述視覺描述數(shù)據(jù)的步驟之前。
15.傳輸與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)來為音頻內(nèi)容生成相關(guān)聯(lián)的視覺顯示的方法，所述方法包括以下步驟編碼一個(gè)音頻信號(hào)和相關(guān)聯(lián)的音頻描述數(shù)據(jù)到一個(gè)被編碼的音頻流中；編碼視覺描述數(shù)據(jù)；以及合成所述被編碼的音頻流和所述視覺描述數(shù)據(jù)。
16.根據(jù)權(quán)利要求15所述的方法，其中所述視覺描述數(shù)據(jù)能夠被合成到一個(gè)第一視頻信號(hào)中。
17.根據(jù)權(quán)利要求15或16中的任何一個(gè)所述的方法，進(jìn)一步包括編碼一個(gè)第二視頻信號(hào)到一個(gè)被編碼的視頻流中。
18.根據(jù)權(quán)利要求17所述的方法，進(jìn)一步包括合成帶有所述視覺描述數(shù)據(jù)的所述被編碼的視頻流和所述被編碼的音頻流到一個(gè)傳輸流中。
19.根據(jù)權(quán)利要求18所述的方法，進(jìn)一步包括在一個(gè)電視信號(hào)中傳輸所述傳輸流。
20.根據(jù)權(quán)利要求18或19中的任何一個(gè)所述的方法，其中所述視覺描述數(shù)據(jù)不相關(guān)于在所述同一個(gè)傳輸流內(nèi)的所述被編碼的視頻信號(hào)。
21.根據(jù)權(quán)利要求18，19或20中的任何一個(gè)所述的方法，其中所述視覺描述數(shù)據(jù)不相關(guān)于在所述同一個(gè)傳輸流內(nèi)的所述被編碼的音頻信號(hào)。
22.根據(jù)權(quán)利要求4-14以及18-21中的任何一個(gè)所述的方法，其中所述的傳輸流是一個(gè)MPEG流。
23.根據(jù)權(quán)利要求15-22中的任何一個(gè)所述的方法，與權(quán)利要求1-14中的任何一個(gè)所述的方法相結(jié)合。
24.根據(jù)權(quán)利要求3-23中的任何一個(gè)所述的方法，其中所述視覺描述數(shù)據(jù)包括一個(gè)或多個(gè)包括以下內(nèi)容的組視頻剪接部分，靜態(tài)圖像，圖形和文本描述。
25.根據(jù)權(quán)利要求3-24中的任何一個(gè)所述的方法，其中所述視覺描述數(shù)據(jù)被分類與以下任何一種一起使用音頻內(nèi)容的至少一種風(fēng)格，音頻內(nèi)容的至少一種主題，以及活動(dòng)的至少一種類型，對(duì)于該活動(dòng)類型其是合適的。
26.根據(jù)前述權(quán)利要求中的任何一個(gè)所述的方法，其中所述音頻描述數(shù)據(jù)包括相關(guān)于以下至少一組的數(shù)據(jù)歌手識(shí)別，組合識(shí)別，音樂公司識(shí)別，服務(wù)提供商識(shí)別和卡拉OK文本。
27.根據(jù)前述權(quán)利要求中的任何一個(gè)所述的方法，其中所述音頻描述數(shù)據(jù)包括關(guān)于所述音頻信號(hào)的風(fēng)格的數(shù)據(jù)。
28.根據(jù)前述權(quán)利要求中的任何一個(gè)所述的方法，其中所述音頻描述數(shù)據(jù)包括關(guān)于所述音頻信號(hào)的主題的數(shù)據(jù)。
29.根據(jù)前述權(quán)利要求中的任何一個(gè)所述的方法，其中所述音頻描述數(shù)據(jù)包括關(guān)于所述活動(dòng)類型的數(shù)據(jù)，對(duì)于該活動(dòng)，所述音頻信號(hào)是合適的。
30.根據(jù)前述權(quán)利要求中的任何一個(gè)所述的方法，其中所述音頻描述數(shù)據(jù)被編碼于所述被編碼的音頻流的幀內(nèi)，這些幀也包含所述音頻信號(hào)。
31.根據(jù)權(quán)利要求30所述的方法，其中所述音頻描述數(shù)據(jù)作為輔助數(shù)據(jù)被編碼到所述音頻流的音頻幀內(nèi)。
32.一個(gè)裝置，用于提供帶有一個(gè)相關(guān)聯(lián)的視頻信號(hào)的一個(gè)音頻信號(hào)，包括音頻解碼裝置，用來解碼一個(gè)被編碼的音頻流來提供一個(gè)音頻信號(hào)和音頻描述數(shù)據(jù)；以及第一視頻信號(hào)裝置，用來提供一個(gè)相關(guān)聯(lián)的第一視頻信號(hào)，其至少一部分內(nèi)容根據(jù)所述音頻描述數(shù)據(jù)選擇。
33.根據(jù)權(quán)利要求32所述的裝置，進(jìn)一步包括視頻解碼裝置，用于解碼來自于一個(gè)被編碼的視頻流的一個(gè)第二視頻信號(hào)。
34.根據(jù)權(quán)利要求32或33中的任何一個(gè)所述的裝置，其中所述第一信號(hào)裝置包括選擇裝置，用于使用所述音頻描述數(shù)據(jù)來選擇合適于所述音頻信號(hào)內(nèi)容的視覺描述數(shù)據(jù)；創(chuàng)建裝置，用于從所述被選擇的視覺描述數(shù)據(jù)來創(chuàng)建視頻內(nèi)容；以及裝置，用于提供包括所述被創(chuàng)建的視頻內(nèi)容的所述第一視頻信號(hào)。
35.根據(jù)權(quán)利要求34所述的方法，進(jìn)一步包括提取裝置，用于從一個(gè)傳輸流中提取所述視覺描述數(shù)據(jù)。
36.根據(jù)權(quán)利要求35所述的裝置，其中所述提取裝置可被操作來從所述傳輸流內(nèi)的專用數(shù)據(jù)中提取所述視覺描述數(shù)據(jù)。
37.根據(jù)權(quán)利要求35或36中的任何一個(gè)所述的裝置，當(dāng)至少從屬于權(quán)利要求32時(shí)，當(dāng)所述傳輸流進(jìn)一步包括所述被編碼的視頻和音頻流時(shí)，可操作。
38.根據(jù)權(quán)利要求37所述的裝置，當(dāng)在所述被編碼的音頻流內(nèi)的所述音頻描述數(shù)據(jù)包括識(shí)別數(shù)據(jù)和時(shí)鐘參考數(shù)據(jù)，與所述同一個(gè)傳輸流中的所述視覺描述數(shù)據(jù)使用時(shí)，可操作。
39.根據(jù)權(quán)利要求38所述的裝置，當(dāng)對(duì)應(yīng)于所述識(shí)別數(shù)據(jù)和時(shí)鐘參考數(shù)據(jù)的描述符被存儲(chǔ)在所述視覺描述數(shù)據(jù)的專用部分時(shí)，可操作。
40.根據(jù)權(quán)利要求37-39中的任何一個(gè)所述的裝置，當(dāng)所述音頻流，所述視頻流和所述視覺描述數(shù)據(jù)多路復(fù)用到在一個(gè)電視信號(hào)中傳輸?shù)乃鰝鬏斄鲿r(shí)，可操作。
41.根據(jù)權(quán)利要求37-40中的任何一個(gè)所述的裝置，其中所述選擇裝置可操作來從所述同一個(gè)傳輸流中選擇合適的作為所述視覺描述數(shù)據(jù)。
42.根據(jù)權(quán)利要求35-41中的任何一個(gè)所述的裝置，進(jìn)一步包括存儲(chǔ)裝置，用于存儲(chǔ)所述被提取的視覺描述數(shù)據(jù)。
43.根據(jù)權(quán)利要求42所述的裝置，其中所述選擇裝置可操作來從所述存儲(chǔ)裝置中選擇合適的視覺描述數(shù)據(jù)。
44.一個(gè)系統(tǒng)，用于傳送與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)來為音頻內(nèi)容生成相應(yīng)的視覺顯示，包括音頻編碼裝置，用來編碼一個(gè)音頻信號(hào)和與其相關(guān)聯(lián)的音頻描述數(shù)據(jù)到一個(gè)被編碼的音頻流中；描述數(shù)據(jù)編碼裝置，用來編碼視覺描述數(shù)據(jù)；以及合成裝置，用來合成所述被編碼的音頻流和所述視覺描述數(shù)據(jù)。
45.根據(jù)權(quán)利要求44所述的系統(tǒng)，進(jìn)一步包括視頻編碼裝置，用來編碼一個(gè)第二視頻信號(hào)到一個(gè)被編碼的視頻流中。
46.根據(jù)權(quán)利要求45所述的系統(tǒng)，其中所述合并裝置可操作來合并所述視覺描述數(shù)據(jù)，所述被編碼的音頻流和所述被編碼的視頻流到一個(gè)傳輸流中。
47.根據(jù)權(quán)利要求46所述的系統(tǒng)，其中所述合并裝置可操作來合并所述視覺描述數(shù)據(jù)和與它不相關(guān)的被編碼的視頻信號(hào)，在所述同一個(gè)傳輸流中。
48.根據(jù)權(quán)利要求46或47中的任何一個(gè)所述的系統(tǒng)，其中所述合并裝置可操作來合并所述視覺描述數(shù)據(jù)和與它不相關(guān)的被編碼的音頻信號(hào)，在所述同一個(gè)傳輸流中。
49.根據(jù)權(quán)利要求46-48中的任何一個(gè)所述的系統(tǒng)或根據(jù)權(quán)利要求35-43中的任何一個(gè)所述的裝置，其中所述傳輸流是一個(gè)MPEG流。
50.根據(jù)權(quán)利要求44-50中的任何一個(gè)所述的系統(tǒng)與根據(jù)權(quán)利要求31-43中的任何一個(gè)所述的裝置相結(jié)合。
51.根據(jù)權(quán)利要求44-50中的任何一個(gè)所述的系統(tǒng)或根據(jù)權(quán)利要求31-43以及權(quán)利要求50中的任何一個(gè)所述的裝置，其中所述視覺描述數(shù)據(jù)包括以下一個(gè)或多個(gè)組視頻剪接部分，靜態(tài)圖像，圖形和文本描述。
52.根據(jù)權(quán)利要求44-51中的任何一個(gè)所述的系統(tǒng)或根據(jù)權(quán)利要求31-43以及權(quán)利要求50-51中的任何一個(gè)所述的裝置，其中所述視覺描述數(shù)據(jù)被分類與以下至少一個(gè)使用音頻內(nèi)容的至少一種風(fēng)格，音頻內(nèi)容的至少一種主題，以及活動(dòng)的至少一種類型，對(duì)于該活動(dòng)其是合適的。
53.根據(jù)權(quán)利要求44-52中的任何一個(gè)所述的系統(tǒng)或根據(jù)權(quán)利要求31-43以及權(quán)利要求50-52中的任何一個(gè)所述的裝置，其中所述音頻描述數(shù)據(jù)包括相關(guān)于以下至少一組的數(shù)據(jù)歌手識(shí)別，組合識(shí)別，音樂公司識(shí)別，服務(wù)提供商識(shí)別和卡拉OK文本。
54.根據(jù)權(quán)利要求44-53中的任何一個(gè)所述的系統(tǒng)或根據(jù)權(quán)利要求31-43以及權(quán)利要求50-53中的任何一個(gè)所述的裝置，其中所述音頻描述數(shù)據(jù)包括相關(guān)于所述音頻信號(hào)的風(fēng)格的數(shù)據(jù)。
55.根據(jù)權(quán)利要求44-54中的任何一個(gè)所述的系統(tǒng)或根據(jù)權(quán)利要求31-43以及權(quán)利要求50-54中的任何一個(gè)所述的裝置，其中所述音頻描述數(shù)據(jù)包括相關(guān)于所述音頻信號(hào)的主題的數(shù)據(jù)。
56.根據(jù)權(quán)利要求44-55中的任何一個(gè)所述的系統(tǒng)或根據(jù)權(quán)利要求31-43以及權(quán)利要求50-55中的任何一個(gè)所述的裝置，其中所述音頻描述數(shù)據(jù)包括相關(guān)于所述活動(dòng)類型的數(shù)據(jù)，對(duì)于該活動(dòng)，所述音頻信號(hào)是合適的。
57.根據(jù)權(quán)利要求44-56中的任何一個(gè)所述的系統(tǒng)或根據(jù)權(quán)利要求31-43以及權(quán)利要求50-56中的任何一個(gè)所述的裝置，其中所述音頻編碼裝置可操作來編碼所述被編碼的音頻流的幀中的所述音頻描述數(shù)據(jù)，這些幀內(nèi)也包括所述音頻信號(hào)。
58.根據(jù)權(quán)利要求57所述的系統(tǒng)或裝置，其中所述音頻編碼裝置可操作來編碼所述音頻描述數(shù)據(jù)作為所述音頻流的音頻幀內(nèi)的輔助數(shù)據(jù)。
59.一種方法，來傳送與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)來為音頻內(nèi)容生成相應(yīng)的視覺顯示，所述方法包括在一個(gè)或多個(gè)音頻基本碼流中，編碼與所述音頻內(nèi)容相關(guān)聯(lián)的音頻描述數(shù)據(jù)；以及編碼視覺描述數(shù)據(jù)，該數(shù)據(jù)為音頻內(nèi)容創(chuàng)造以生成一個(gè)視覺顯示；其中所述視覺描述數(shù)據(jù)相關(guān)于以下至少一組一個(gè)種屬音頻風(fēng)格，一個(gè)種屬音頻主題，特殊活動(dòng)以及特殊目標(biāo)。
60.根據(jù)權(quán)利要求59所述的方法，進(jìn)一步包括以下的前述步驟為所述音頻基本碼流的所述幀指定優(yōu)選的視覺顯示；以及使用與所述優(yōu)選的視覺顯示相關(guān)聯(lián)的信息創(chuàng)建所述音頻描述數(shù)據(jù)。
61.根據(jù)權(quán)利要求58所述的方法，其中所述指定步驟包括識(shí)別以下至少一種所述音頻內(nèi)容的風(fēng)格；所述音頻幀的主題；與所述音頻幀關(guān)聯(lián)的一個(gè)活動(dòng)；以及所述音頻幀的任何歌詞的關(guān)鍵詞；以及進(jìn)一步包括在所述識(shí)別步驟后，指定一個(gè)最優(yōu)選的視覺顯示。
62.根據(jù)權(quán)利要求60或61中的任何一個(gè)所述的方法，其中所述指定步驟包括為每一個(gè)所述幀指定所述優(yōu)選的視覺顯示。
63.根據(jù)權(quán)利要求59-62中的任何一個(gè)所述的方法，進(jìn)一步包括插入所述音頻描述數(shù)據(jù)到所述音頻基本碼流的所述音頻幀的輔助數(shù)據(jù)部分。
64.根據(jù)權(quán)利要求59-63中的任何一個(gè)所述的方法，其中所述創(chuàng)建步驟包括指定一個(gè)唯一的識(shí)別代碼；為指明發(fā)布權(quán)利，指定一個(gè)發(fā)布標(biāo)志；指定所述數(shù)據(jù)類型；插入描述所述音頻內(nèi)容的文本描述；插入描述所述優(yōu)選視覺描述的數(shù)據(jù)代碼；以及插入用戶數(shù)據(jù)代碼來生成所述視覺顯示。
65.根據(jù)權(quán)利要求59-64中的任何一個(gè)所述的方法，進(jìn)一步包括編碼背景視頻到一個(gè)視頻基本碼流中；以及編碼所述音頻內(nèi)容到所述一個(gè)或多個(gè)音頻基本碼流中；以及其中所述音頻描述數(shù)據(jù)描述所述音頻內(nèi)容。
66.根據(jù)權(quán)利要求59-65中的任何一個(gè)所述的方法，其中編碼視覺描述數(shù)據(jù)的步驟包括編碼所述視覺描述數(shù)據(jù)到專用數(shù)據(jù)中，其被一個(gè)傳輸流攜帶。
67.根據(jù)權(quán)利要求65-66中的任何一個(gè)所述的方法，進(jìn)一步包括多路復(fù)用所述視頻基本碼流，所述一個(gè)或多個(gè)音頻基本碼流以及所述專用數(shù)據(jù)到用于廣播的一個(gè)傳輸流中。
68.根據(jù)權(quán)利要求59-67中的任何一個(gè)所述的方法，進(jìn)一步包括傳送所述音頻描述數(shù)據(jù)和所述視頻描述數(shù)據(jù)到一個(gè)接收機(jī)，用于解碼和生成所述視覺顯示。
69.根據(jù)權(quán)利要求59-68中的任何一個(gè)所述的方法，進(jìn)一步包括從外部媒介下載所述視覺描述數(shù)據(jù)或在一個(gè)用戶終端創(chuàng)建視覺描述數(shù)據(jù)來提供所述視覺描述數(shù)據(jù)的步驟。
70.一個(gè)方法，傳送卡拉OK文本和時(shí)間信息來為一首音頻歌曲生成一個(gè)卡拉OK視覺顯示，所述方法包括編碼所述音頻歌曲到一個(gè)音頻基本碼流中；插入時(shí)鐘參考用于同步所述卡拉OK文本和時(shí)間信息的解碼和所述音頻基本碼流中的所述音頻歌曲；插入所述音頻歌曲的聲道信息到所述音頻基本碼流中；在所述音頻基本碼流中插入所述音頻歌曲的所述卡拉OK文本信息；以及插入所述卡拉OK時(shí)間信息，來生成所述音頻基本碼流中的卡拉OK文本的滾動(dòng)。
71.根據(jù)權(quán)利要求1-31以及權(quán)利要求59-70中的任何一個(gè)所述的方法，被用于數(shù)字電視廣播和或接收中。
72.一個(gè)裝置，用于為音頻內(nèi)容生成相關(guān)聯(lián)的視覺顯示，包括存儲(chǔ)裝置，用于存儲(chǔ)生成所述視覺顯示的視覺描述數(shù)據(jù)；播放裝置，用于播放攜帶在一個(gè)音頻基本碼流中的所述音頻內(nèi)容；提取裝置，用于為來自于所述音頻基本碼流中的所述音頻內(nèi)容提取音頻描述數(shù)據(jù)；選擇裝置，用于使用來自于所述音頻描述數(shù)據(jù)的信息，從所述存儲(chǔ)裝置中選擇優(yōu)選的視覺描述數(shù)據(jù)；以及執(zhí)行裝置，用于執(zhí)行所述視覺描述數(shù)據(jù)來生成所述視覺顯示。
73.根據(jù)權(quán)利要求72所述的裝置，其中所述執(zhí)行裝置可操作來執(zhí)行攜帶在所述視覺描述數(shù)據(jù)中的互動(dòng)節(jié)目。
74.根據(jù)權(quán)利要求72或73中的任何一個(gè)所述的裝置，進(jìn)一步包括接收裝置，用于接收包括一個(gè)或多個(gè)所述音頻基本碼流的一個(gè)多路復(fù)用傳輸流以及作為專用數(shù)據(jù)攜帶的所述視覺描述數(shù)據(jù)。
75.一個(gè)系統(tǒng)，用于連接音頻和視覺內(nèi)容，包括下載裝置，用于為所述音頻內(nèi)容下載音頻基本碼流以及下載視覺描述數(shù)據(jù)；創(chuàng)建和編輯裝置，用于創(chuàng)建和編輯與所述音頻基本碼流攜帶的所述音頻內(nèi)容相關(guān)的音頻描述數(shù)據(jù)，以及創(chuàng)建和編輯視覺描述數(shù)據(jù)來生成所述視覺內(nèi)容；選擇裝置，用于選擇最適合于所述音頻描述數(shù)據(jù)的所述視覺描述數(shù)據(jù)來生成一個(gè)視覺顯示；用戶可操作裝置，用于修改所述選擇裝置的行動(dòng)；以及處理裝置，用于執(zhí)行所述視覺描述數(shù)據(jù)來生成所述顯示。
76.根據(jù)權(quán)利要求75所述的系統(tǒng)，其中所述選擇裝置包括認(rèn)知和搜索工具。
77.根據(jù)權(quán)利要求75或76中的任何一個(gè)所述的系統(tǒng)，是一個(gè)家庭娛樂系統(tǒng)。
78.一個(gè)方法，提供帶有與其相關(guān)聯(lián)的視頻信號(hào)的一個(gè)音頻信號(hào)，基本上如前所述并結(jié)合附圖所示。
79.一個(gè)方法，傳送與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)為音頻內(nèi)容生成相關(guān)的視覺顯示，基本上如前所述并結(jié)合附圖所示。
80.一個(gè)裝置，提供帶有與其相關(guān)聯(lián)的視頻信號(hào)的一個(gè)音頻信號(hào)，基本上如前所述并結(jié)合附圖所示地被創(chuàng)建和安排用于操作。
81.一個(gè)系統(tǒng)，提供帶有與其相關(guān)聯(lián)的視頻信號(hào)的一個(gè)音頻信號(hào)，基本上如前所述并結(jié)合附圖所示地被創(chuàng)建和安排用于操作。
82.一個(gè)系統(tǒng)，傳送與節(jié)目相關(guān)聯(lián)的數(shù)據(jù)為音頻內(nèi)容生成相關(guān)的視覺顯示，基本上如前所述并結(jié)合附圖所示地被創(chuàng)建和安排用于操作。
83.根據(jù)權(quán)利要求32-43，51-58，72-74以及權(quán)利要求80中的任何一個(gè)所述的裝置或根據(jù)權(quán)利要求44-58，75-77，81以及82中的任何一個(gè)所述的系統(tǒng)，根據(jù)權(quán)利要求1-31，59-71以及權(quán)利要求78，79中的任何一個(gè)所述的方法可操作。
全文摘要
一個(gè)MPEG音頻流與一個(gè)MPEG視頻流一起被傳輸。所述音頻流包括一個(gè)音頻信號(hào)和與其相關(guān)聯(lián)的音頻描述數(shù)據(jù)作為輔助數(shù)據(jù)。所述視頻流包括一個(gè)視頻信號(hào)和視頻描述數(shù)據(jù)(如，視頻剪接部分，靜態(tài)圖像，圖形，文本等)作為專用數(shù)據(jù)，所述視頻描述數(shù)據(jù)不必與和它一起傳輸?shù)乃鲆曨l數(shù)據(jù)有關(guān)系。在接收時(shí)，所述音頻和視頻流被解碼。所述視頻描述數(shù)據(jù)被存儲(chǔ)在一個(gè)存儲(chǔ)器中。所述音頻信號(hào)被播放。所述音頻描述數(shù)據(jù)被用來從所述存儲(chǔ)器或其他存儲(chǔ)，或從當(dāng)前輸入的視頻描述數(shù)據(jù)中為所述特定的音頻信號(hào)選擇合適的視頻描述數(shù)據(jù)。當(dāng)所述音頻信號(hào)播放時(shí)，它就被顯示。
文檔編號(hào)G06F17/00GK1695137SQ03825062
公開日2005年11月9日 申請(qǐng)日期2003年9月25日 優(yōu)先權(quán)日2002年10月11日
發(fā)明者譚易通, 申盛眉 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社