專利名稱：演示內(nèi)容重放速率的實(shí)時(shí)控制技術(shù)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種在演示過程(presentation)中重放速率(playback rate)的實(shí)時(shí)控制方法。
背景技術(shù)：
多媒體的演示一般以其錄制速率呈現(xiàn)以便視頻的移動(dòng)和音頻的發(fā)音能夠自然。然而，多項(xiàng)研究表明人們可以在更高的重放速率(例如比正常高三倍或更高倍數(shù)的速率)感知并理解音頻信息，而以高于正常說話速率來接收音頻信息將為演示內(nèi)容的用戶節(jié)省許多時(shí)間。
不希望簡單的加速音頻信號的重放速率(例如提高從數(shù)字音頻信號播放采樣的速率)，是因?yàn)橹胤潘俾实脑黾訒?huì)改變音頻的間距(pitch)，這將使得難于聽到和理解信息。因此，開發(fā)了時(shí)間定比(time-scaled)音頻技術(shù)，該技術(shù)可增加音頻的信息傳輸速率，而不會(huì)增加音頻信號的間距。在2000年7月26日提交的申請?zhí)枮?9/626,046、發(fā)明名稱為“Continuously Variable ScaleModification of Digital Audio Signals”的美國專利申請中說明了一種用于數(shù)字音頻信號的連續(xù)變化信號處理方案，將該申請包含在此作為參考。
用戶所希望得到的便利是例如根據(jù)信息的復(fù)雜程度、用戶想聽的專注程度或音頻的質(zhì)量而改變信息速率的能力。一種用于改變數(shù)字音頻重放的音頻信息速率的技術(shù)相應(yīng)地改變發(fā)送者發(fā)送的數(shù)字?jǐn)?shù)據(jù)率，并且可在接收機(jī)上應(yīng)用用于處理或轉(zhuǎn)換所需數(shù)據(jù)以保持音頻間距的處理器或轉(zhuǎn)換器。
在諸如電話網(wǎng)、LAN或互聯(lián)網(wǎng)等網(wǎng)路上傳輸信息的系統(tǒng)中，難于執(zhí)行上述技術(shù)。特別是，網(wǎng)絡(luò)可能缺乏音頻信息速率所需的、改變從源到用戶傳輸數(shù)據(jù)速率的功能。傳輸未處理的音頻數(shù)據(jù)以在接收機(jī)上進(jìn)行時(shí)間定比處理(time scaling)使得效率很低，且由于以間距(pitch)復(fù)原方式進(jìn)行時(shí)間定比過程會(huì)丟掉許多已傳送的數(shù)據(jù)，將對可用帶寬造成不必要的負(fù)擔(dān)。此外，這種技術(shù)需要接收機(jī)具備可維護(hù)正在播放的音頻間距的處理器或轉(zhuǎn)換器。硬件轉(zhuǎn)換器會(huì)增加接收機(jī)系統(tǒng)的成本。另外，軟件轉(zhuǎn)換器需要大部分的接收機(jī)可用處理功率或電池電源，特別是在處理功率和/或電池電源受到限制的便攜式電腦、個(gè)人數(shù)字助理(personal digital assistant，PDA)和手機(jī)等裝置中。
包括視頻的網(wǎng)絡(luò)演示的另一普遍問題是網(wǎng)絡(luò)無法以所需的速率來維護(hù)音頻-視頻演示內(nèi)容。一般來說，缺少足夠的網(wǎng)絡(luò)帶寬使音頻-視頻在演示內(nèi)容時(shí)產(chǎn)生間歇中斷或暫停。這些演示內(nèi)容的中斷使演示內(nèi)容難以繼續(xù)進(jìn)行。另一種選擇是，組織在網(wǎng)絡(luò)演示內(nèi)容中的圖像作為用戶可以以用戶速率進(jìn)行瀏覽的一系列鏈接的網(wǎng)頁或幻燈片。然而，在諸如指南、考試或甚至是商業(yè)廣告等網(wǎng)絡(luò)演示內(nèi)容中，演示內(nèi)容的可聽和可視部分的時(shí)序、順序和同步對于演示內(nèi)容的成功與否相當(dāng)重要，并且演示內(nèi)容的作者或演示內(nèi)容的源有可能要求對演示內(nèi)容的順序或同步進(jìn)行控制。
需要尋找能夠以有序且不中斷的方式呈現(xiàn)演示內(nèi)容、并且給用戶選擇和改變信息速率的自由而不超出網(wǎng)絡(luò)傳輸信息的能力和不要求用戶具有特殊的硬件或大量的處理功率的過程和系統(tǒng)。

發(fā)明內(nèi)容
根據(jù)發(fā)明的一個(gè)方面，將通過諸如電話網(wǎng)、LAN或互聯(lián)網(wǎng)傳輸數(shù)字演示內(nèi)容的源對具有多通道的數(shù)據(jù)結(jié)構(gòu)的演示內(nèi)容(presentation)進(jìn)行預(yù)編碼。每一通道包括演示內(nèi)容的不同的編碼部分，所述部分根據(jù)演示的時(shí)間定比(time scaling)和/或數(shù)據(jù)壓縮變化。
在一特定實(shí)施例中，根據(jù)通道的時(shí)間定比(time scaling)和數(shù)據(jù)壓縮，演示內(nèi)容的音頻部分在幾個(gè)通道中進(jìn)行不同編碼。每一編碼按照音頻幀的幀索引值將演示內(nèi)容分成具有已知時(shí)序相關(guān)性(know timing relation)的音頻幀。因此，當(dāng)用戶改變重放速率，數(shù)據(jù)流從當(dāng)前信道切換到對應(yīng)新時(shí)間定比(time scale)的通道，并根據(jù)當(dāng)前幀索引從該新通道存取幀。
在一實(shí)施例中，當(dāng)以正常速率進(jìn)行播放時(shí)，每個(gè)幀對應(yīng)于演示內(nèi)容中的固定時(shí)間。因此，每個(gè)通道有相同數(shù)量的幀，且在每個(gè)幀中的信息都對應(yīng)一個(gè)時(shí)間間隔，該間隔是由幀的幀索引所標(biāo)識的。源發(fā)送對應(yīng)于演示內(nèi)容重放的當(dāng)前時(shí)間索引的幀，且該幀在對應(yīng)于用戶選擇的重放速率的通道中。
根據(jù)本發(fā)明的另一方面，文件結(jié)構(gòu)的兩個(gè)或更多通道對應(yīng)于相同的重放速率，但應(yīng)用于該通道中數(shù)據(jù)的相應(yīng)壓縮過程并不相同。源或接收機(jī)能自動(dòng)選擇對應(yīng)于用戶選擇的重放速率的通道，且不會(huì)超過傳輸數(shù)據(jù)到接收機(jī)的網(wǎng)絡(luò)的可用傳輸帶寬。
根據(jù)本發(fā)明的另一方面，演示內(nèi)容包括書簽和相關(guān)的圖形數(shù)據(jù)，例如，圖像數(shù)據(jù)，該圖像數(shù)據(jù)是從與音頻數(shù)據(jù)相關(guān)的通道分別編碼的。每一書簽具有幀索引或時(shí)間的相關(guān)范圍。顯示應(yīng)用程式允許用戶跳到與任意書簽(bookmark)相關(guān)的范圍的開始位置，且源一般在下一音頻幀開始時(shí)通過網(wǎng)絡(luò)傳輸書簽數(shù)據(jù)(例如圖形數(shù)據(jù))給用戶，以便其在合適的時(shí)間使用(例如顯示)。
本發(fā)明的另一實(shí)施例是著作工具(authoring tool)或方法，它們允許作者構(gòu)成具有諸如與音頻內(nèi)容同步顯示的文字、幻燈片或網(wǎng)頁等圖形的演示內(nèi)容，其中，無論音頻的重放速率如何，都保持該同步。著作工具可以用于商業(yè)或個(gè)人信息傳輸并創(chuàng)建演示內(nèi)容，該演示內(nèi)容可以上傳到任何網(wǎng)絡(luò)服務(wù)器和從任何網(wǎng)絡(luò)服務(wù)器上使用，其中所述網(wǎng)絡(luò)服務(wù)器執(zhí)行諸如HTTP協(xié)議等傳統(tǒng)網(wǎng)絡(luò)文件協(xié)議。
根據(jù)本發(fā)明使用演示內(nèi)容，作者或演示內(nèi)容源可以控制圖像的順序并可使圖像與音頻同步。此外，演示內(nèi)容為傳統(tǒng)的流式視頻提供了低帶寬選擇。特別是，不支持視頻的傳輸?shù)牡蛶捪到y(tǒng)一般可以支持演示內(nèi)容的音頻部分，并在需要時(shí)顯示圖像以提供描述演示內(nèi)容的關(guān)鍵點(diǎn)的可視提示。


圖1是用于說明根據(jù)本發(fā)明的一個(gè)實(shí)施例產(chǎn)生多通道媒體文件(multi-channel media file)的過程的流程圖。
圖2A、2B、2C、2D和2E說明根據(jù)本發(fā)明實(shí)施例的多通道媒體文件、多通道媒體文件的文件頭、音頻通道、音頻幀以及數(shù)據(jù)通道的結(jié)構(gòu)。
圖3說明根據(jù)本發(fā)明實(shí)施例的用于產(chǎn)生演示內(nèi)容的著作工具的用戶界面。
圖4說明根據(jù)本發(fā)明實(shí)施例的用于存取和播放演示內(nèi)容的應(yīng)用程序的用戶界面。
圖5是根據(jù)本發(fā)明實(shí)施例的重放運(yùn)行的流程圖。
圖6是說明根據(jù)本發(fā)明實(shí)施例的演示播放器的運(yùn)行的方框圖。
圖7是根據(jù)本發(fā)明實(shí)施例的獨(dú)立式演示播放器的方框圖。
在不同圖中使用相同的附圖標(biāo)記來指示相似或相同的部分。
具體實(shí)施例方式根據(jù)本發(fā)明的一個(gè)方面，媒體編碼、網(wǎng)絡(luò)傳輸以及重放過程和結(jié)構(gòu)使用了多通道體系結(jié)構(gòu)(multi-channel architecture)，該體系結(jié)構(gòu)采用相應(yīng)于不同重放速率或演示內(nèi)容(representation)的部分(portion)的時(shí)間定比(time scale)的不同通道。演示內(nèi)容的編碼過程使用對相同部分，例如演示內(nèi)容的音頻部分的多重編碼(multiple encoding)。因此，不同通道針對不同的重放速率或時(shí)間定比有不同的編碼，即使不同的通道代表演示內(nèi)容的相同部分。
演示內(nèi)容的接收機(jī)或用戶能夠選擇重放速率或時(shí)間定比，從而選擇使用對應(yīng)該時(shí)間定比的通道。由于所選的通道包括為所選的時(shí)間定比所做的信息預(yù)編碼，接收機(jī)不要求有復(fù)雜的解碼器或強(qiáng)大的處理器來得到所需的時(shí)間定比。此外，由于在發(fā)送之前音頻數(shù)據(jù)的預(yù)編碼或時(shí)間定比將會(huì)消除冗余的音頻數(shù)據(jù)，所需的網(wǎng)絡(luò)帶寬并不會(huì)隨著系統(tǒng)中接收機(jī)所進(jìn)行的時(shí)間定比(timescaling)增大。因此，無論時(shí)間定比如何，帶寬要求可以保持不變。
每個(gè)通道含有一系列根據(jù)演示內(nèi)容的順序被編入索引的幀，當(dāng)用戶從一個(gè)通道變到另一個(gè)通道上，來自新通道的幀可被識別且當(dāng)要求持續(xù)不斷地播放演示內(nèi)容時(shí)，將發(fā)送該幀。在一個(gè)典型的實(shí)施例中，當(dāng)以正常速度播放時(shí)，不同音頻通道中的相應(yīng)音頻幀對應(yīng)于演示內(nèi)容中的相同時(shí)間量且具有幀索引，所述索引將該幀標(biāo)識為對應(yīng)于演示內(nèi)容中的特定時(shí)間間隔。用戶可改變重放速率，進(jìn)而造成來自對應(yīng)于新重放速率的通道的幀的選擇和發(fā)送，并且當(dāng)需要進(jìn)行演示內(nèi)容重放速率的實(shí)時(shí)轉(zhuǎn)換時(shí)，用戶可接收到幀。
另外，該結(jié)構(gòu)可為諸如文字、圖像、HTML描述符以及鏈接或其它識別符等圖形數(shù)據(jù)的數(shù)據(jù)通道提供網(wǎng)絡(luò)上的可用信息。該源可根據(jù)演示內(nèi)容的時(shí)間索引或用戶的請求發(fā)送圖形數(shù)據(jù)(graphic data)以跳到演示內(nèi)容的特定書簽(bookmark)處。文件頭可向用戶提供描述書簽的信息。
該結(jié)構(gòu)可進(jìn)一步向不同的音頻通道提供相同的重放速度，但根據(jù)網(wǎng)絡(luò)發(fā)送數(shù)據(jù)的條件，提供不同的壓縮方案進(jìn)行使用。
圖1展示了根據(jù)本發(fā)明實(shí)施例的、用于產(chǎn)生多通道媒體文件190的過程100。100從原始音頻數(shù)據(jù)110開始，該音頻數(shù)據(jù)可以是任意格式。在典型的實(shí)施例中，原始音頻數(shù)據(jù)110是以“.wav”文件形式呈現(xiàn)，該文件是代表音頻信號波形的一系列數(shù)字采樣。
對原始音頻數(shù)據(jù)110進(jìn)行的音頻時(shí)間定比(time-scaling)過程120將產(chǎn)生多組的時(shí)間定比(time-scaled)數(shù)字音頻數(shù)據(jù)TSF1、TSF2及TSF3。時(shí)間定比數(shù)據(jù)組TSF1、TSF2及TSF3均進(jìn)行時(shí)間定比處理，以便當(dāng)重放時(shí)，可保存原始音頻的間距，但每一數(shù)據(jù)組TSF1、TSF2或TSF3有不同的時(shí)間定比。因此，重放各組數(shù)據(jù)將會(huì)花費(fèi)不同的時(shí)間量。
在一個(gè)實(shí)施例中，音頻數(shù)據(jù)組TSF1對應(yīng)于以在原始音頻數(shù)據(jù)110的錄制速率進(jìn)行重放的數(shù)據(jù)，且音頻數(shù)據(jù)組TSF1可與原始音頻數(shù)據(jù)110相同。音頻數(shù)據(jù)組TSF2與TSF3可對應(yīng)于以錄制速率二倍與三倍的速度重放的數(shù)據(jù)。典型地，因?yàn)橐纛l數(shù)據(jù)組TSF2與TSF3在固定采樣速率上含有較少重放音頻采樣，音頻組TSF2以及TSF3將小于音頻數(shù)據(jù)組TSF1。雖然圖1展示了三組時(shí)間定比數(shù)據(jù)(time-scaled data)，音頻時(shí)間定比編碼120可以產(chǎn)生任意數(shù)量的音頻數(shù)據(jù)組，所述音頻數(shù)據(jù)組具有相應(yīng)的重放速率。例如，可產(chǎn)生對應(yīng)于錄制速率介于1與4之間的半整數(shù)倍數(shù)的七組時(shí)間定比音頻數(shù)據(jù)(time-scaled audio data)。一般來說，演示內(nèi)容的作者可選擇用戶可用的時(shí)間定比(time scale)。
音頻時(shí)間定比過程(audio time-scaling process)120可以是諸如基于SOLA的時(shí)間定比過程(time scaling process)的任意期望的時(shí)間定比技術(shù)(time-scaling technique)，且音頻時(shí)間定比過程120根據(jù)時(shí)間定比因數(shù)，包括針對各個(gè)時(shí)間定比音頻數(shù)據(jù)組(time-scaled audio data set)TSF1、TSF2或TSF3的不同時(shí)間定比技術(shù)。典型地，音頻時(shí)間定比過程120將使用時(shí)間定比因數(shù)(time scale factor)作為輸入?yún)?shù)，且針對所產(chǎn)生的各個(gè)數(shù)據(jù)組改變時(shí)間定比因數(shù)。本發(fā)明的示例實(shí)施例采用如在美國專利申請第09/626,046號中所公開的連續(xù)變化編碼過程，所述申請將包含在此作為參考，但也可使用任何其它類型的時(shí)間定比過程。
在進(jìn)行音頻時(shí)間定比過程120之后，劃分過程140將把各時(shí)間定比音頻數(shù)據(jù)組TSF1、TSF2以及TSF3劃分為音頻幀。在本發(fā)明的示例實(shí)施例中，各音頻幀將對應(yīng)于原始音頻數(shù)據(jù)110的相同時(shí)間間隔(例如0.5秒)。因此，各數(shù)據(jù)組TSF1、TSF2及TSF3具有相同數(shù)量的音頻幀。在時(shí)間定比音頻數(shù)據(jù)組中具有最大時(shí)間定比因數(shù)的音頻幀需要最短的重放時(shí)間，且將小于進(jìn)行較少時(shí)間定比的音頻數(shù)據(jù)組的幀。
也可以使用其它的替代劃分過程。在一個(gè)替代實(shí)施例中，在重放期間，劃分過程140將把各時(shí)間定比音頻數(shù)據(jù)組TSF1、TSF2及TSF3劃分為具有相同持續(xù)期間的音頻幀。在此實(shí)施例中，不同通道中的音頻幀具有大致相同的尺寸，但是不同通道可包括不同的幀數(shù)量。因此，當(dāng)改變重放速率時(shí)，要在不同幀中識別出相應(yīng)的音頻信息，在此實(shí)施例中將比示例實(shí)施例更復(fù)雜。
在劃分過程140之后，音頻數(shù)據(jù)壓縮過程150將分別壓縮各幀，而音頻數(shù)據(jù)壓縮過程150所產(chǎn)生的壓縮音頻幀將被采集成壓縮音頻文件TSF1-C1、TSF2-C1、TSF3-C1、TSF1-C2、TSF2-C2、及TSF3-C2，其統(tǒng)稱為壓縮音頻文件160。壓縮音頻文件TSF1-C1、TSF2-C1及TSF3-C1均對應(yīng)于第一壓縮方法，且可分別對應(yīng)于時(shí)間定比音頻數(shù)據(jù)組TSF1、TSF2及TSF3。壓縮音頻文件TSF1-C2、TSF2-C2及TSF3-C2均對應(yīng)于第二壓縮方法，且可分別對應(yīng)于時(shí)間定比音頻數(shù)據(jù)組TSF1、TSF2及TSF3。
根據(jù)圖1所示的本發(fā)明的一個(gè)方面，音頻數(shù)據(jù)壓縮過程150將對各時(shí)間定比音頻數(shù)據(jù)幀使用兩種不同的數(shù)據(jù)壓縮方法或因數(shù)。在替代實(shí)施例中，音頻數(shù)據(jù)壓縮過程150可對各時(shí)間定比音頻數(shù)據(jù)幀使用任何數(shù)量的數(shù)據(jù)壓縮方法。多種合適的音頻數(shù)據(jù)壓縮方法可用且為本技術(shù)領(lǐng)域的公知技術(shù)。合適的音頻壓縮方法的實(shí)例包括離散余弦變換(discreet cosine transform、DCT)方法，以及在MPEG標(biāo)準(zhǔn)與規(guī)范中定義的壓縮過程，例如美國加州Santa Clara市的DSP Group所出品的Truespeech程序。作為另一替代方案，可研發(fā)一種可將音頻時(shí)間定比過程120、劃分幀過程140、以及壓縮過程150集成為單個(gè)交織過程的過程，該交織過程是為對較小的音頻幀進(jìn)行有效壓縮而設(shè)計(jì)的。
各壓縮音頻文件TSF1-C1、TSF1-C2、TSF2-C1、TSF2-C2、TSF3-C1和TSF3-C2相應(yīng)于多通道媒體文件190中的不同音頻通道。多通道媒體文件190還包含與書簽180相關(guān)的數(shù)據(jù)。
在產(chǎn)生多通道媒體文件190時(shí)所進(jìn)行的作者輸入(Author input)170選擇包含在多通道媒體文件190中的書簽。一般來說，各書簽包括相關(guān)時(shí)間或幀索引范圍、識別數(shù)據(jù)和演示內(nèi)容數(shù)據(jù)。演示內(nèi)容數(shù)據(jù)類型的實(shí)例包括但不限于可代表文字182、圖像184、嵌入式HTML文件186的數(shù)據(jù)，以及對網(wǎng)頁的鏈接188，或網(wǎng)絡(luò)上可得到的其它信息，以在相應(yīng)于時(shí)間相關(guān)范圍或幀索引的時(shí)間間隔中以演示內(nèi)容部分進(jìn)行顯示。識別數(shù)據(jù)識別或區(qū)分不同書簽作為演示內(nèi)容中用戶可跳躍的位置。
在本發(fā)明的某此實(shí)施例中，產(chǎn)生多通道媒體文件190時(shí)并不需要作者輸入170。例如，多通道文件190可從表示一個(gè)或多個(gè)語音郵件消息的原始音頻數(shù)據(jù)110中產(chǎn)生?？僧a(chǎn)生書簽以在多個(gè)消息中進(jìn)行瀏覽，但一般來說，這樣的消息并不需要相關(guān)的圖像、HTML頁或網(wǎng)頁。語音郵件系統(tǒng)可對用戶的語音郵件自動(dòng)產(chǎn)生多通道文件，以允許用戶控制消息的重放速度。在電話網(wǎng)中使用多通道文件將可避免在改變重放速率的過程中接收機(jī)(例如移動(dòng)電話)消耗處理或電池電源。
圖2A、圖2B、圖2C、圖2D和圖2E表示多通道媒體文件190的合適格式，且將在以下進(jìn)行說明。所說明的格式僅為示例，且在數(shù)據(jù)結(jié)構(gòu)的大小、順序及內(nèi)容上有多種不同的變化。
廣義來講，如圖2A所示，多通道媒體文件190包括文件頭210、N個(gè)音頻通道220-1至220-N，以及M個(gè)數(shù)據(jù)通道230-1至230-M。文件頭210表示該文件且可包含通道220-1至220-N和230-1至230-M中音頻幀圖表與數(shù)據(jù)幀。音頻通道220-1至220-N將包含不同時(shí)間定比與壓縮方法的音頻數(shù)據(jù)，而數(shù)據(jù)通道230-1至230-M包含用于顯示的書簽信息和嵌入式數(shù)據(jù)。
圖2B表示文件頭210的實(shí)施例。在該實(shí)施例中，文件頭210包括表示多通道文件190和文件整體屬性的文件信息212。特別是，文件頭210可包括通用文件ID、文件標(biāo)簽、文件尺寸、文件狀態(tài)字段，和指示數(shù)據(jù)通道220-1至220-N及230-1至230-M的數(shù)量、偏移量和音頻尺寸的通道信息。
文件頭210中的通用ID指示并依賴于多通道文件190的內(nèi)容。通用ID可以從多通道媒體文件190的內(nèi)容產(chǎn)生。用于產(chǎn)生64字節(jié)的通用ID的方法對多通道文件190的64字節(jié)片段進(jìn)行一系列的XOR運(yùn)算。在一個(gè)會(huì)話中，演示的用戶啟動(dòng)演示、暫停該會(huì)話，且在稍后希望恢復(fù)使用該演示時(shí)，通用文件ID是有用的。如以下所述，多通道媒體文件190可存儲(chǔ)在一個(gè)或多個(gè)遠(yuǎn)程服務(wù)器上，且服務(wù)器的操作者可能移動(dòng)或改變該演示內(nèi)容的名稱。當(dāng)用戶嘗試啟動(dòng)該原始或另一服務(wù)器上的第二會(huì)話時(shí)，來自服務(wù)器中的文件通用ID頭將與用戶系統(tǒng)中的高速緩存的通用ID進(jìn)行比較，以便即使是在會(huì)話之間已經(jīng)移動(dòng)或重新命名演示時(shí)也能確定該演示是先前啟動(dòng)的?？蛇x的，通用ID可以用于定位服務(wù)器上的正確的演示內(nèi)容。當(dāng)恢復(fù)第二會(huì)話時(shí)，可以使用音頻幀以及在第一會(huì)話期間用戶系統(tǒng)高速緩沖的其它信息。
文件頭210同時(shí)包括多通道文件190中的所有幀的列表或圖表。在所示實(shí)例中，文件頭210包括各幀的通道索引213、幀索引214、幀類型215、偏移量216、幀尺寸217及狀態(tài)字段218。通道索引213及幀索引214標(biāo)識通道和幀的顯示時(shí)間。幀類型指示幀的類型，例如數(shù)據(jù)或音頻、壓縮方法和音頻幀的時(shí)間定比。偏移量216指示從多通道媒體文件190開始到相關(guān)幀開始的偏移量，且?guī)笮?17指示在該偏移量上幀的尺寸。
如以下所述，用戶系統(tǒng)一般從服務(wù)器將文件頭210載入用戶系統(tǒng)中。當(dāng)向服務(wù)器請求特定幀時(shí)，用戶系統(tǒng)可使用偏移量216和幀尺寸217，且使用狀態(tài)字段218來追蹤在用戶系統(tǒng)中緩沖或高速緩沖哪個(gè)幀。
圖2C表示音頻通道220的格式。音頻通道220包括通道頭222和K個(gè)壓縮音頻幀224-1至224-K。通道頭222包含有關(guān)通道整體的信息，包括例如通道標(biāo)簽、通道偏移量、通道尺寸、和狀態(tài)字段。通道標(biāo)簽可標(biāo)識通道的時(shí)間定比和壓縮方法。通道偏移量與尺寸指示從多通道文件190開始到通道開始的偏移量，以及在該偏移量上開始的通道尺寸。
在示例實(shí)施例中，所有的音頻通道220-1至220-N具有K個(gè)音頻幀224-1至224-K，但幀的尺寸一般根據(jù)與幀相關(guān)的時(shí)間定比、應(yīng)用于幀的壓縮方法、以及壓縮方法在特定幀的數(shù)據(jù)上的如何操作而進(jìn)行變化。圖2D表示音頻幀224的典型格式。音頻幀224包括幀頭226以及幀數(shù)據(jù)228。幀頭226含有說明諸如幀索引、幀偏移量、幀尺寸和幀狀態(tài)等幀屬性的信息。幀數(shù)據(jù)228實(shí)際上為以時(shí)間定比處理的數(shù)據(jù)，并且為從原始音頻產(chǎn)生的壓縮數(shù)據(jù)。
數(shù)據(jù)通道230-1至230-M為與書簽相關(guān)的數(shù)據(jù)。在示例實(shí)施例中，各數(shù)據(jù)通道230-1至230-M相應(yīng)于特定書簽?；蛘?，單個(gè)數(shù)據(jù)通道可含有與書簽相關(guān)的所有數(shù)據(jù)以使M等于1。多通道媒體文件190的另一替代實(shí)施例具有針對每種書簽的數(shù)據(jù)通道，例如四個(gè)數(shù)據(jù)通道分別與文字、圖像、HTML網(wǎng)頁描述符和鏈接相關(guān)聯(lián)。
圖2E表示用于多通道媒體文件190中的數(shù)據(jù)通道230的合適格式。數(shù)據(jù)通道230包括數(shù)據(jù)通道頭232和相關(guān)數(shù)據(jù)234。數(shù)據(jù)通道頭232一般包括諸如偏移量、大小與標(biāo)簽信息等通道信息。數(shù)據(jù)通道頭232可附加地標(biāo)識時(shí)間范圍，或開始幀索引以及停止幀索引，該幀索引可指定相應(yīng)于該書簽的一段時(shí)間或一組音頻幀。
圖3表示在如上所述的用于產(chǎn)生多通道媒體文件190的著作工具的用戶界面300。當(dāng)產(chǎn)生演示內(nèi)容時(shí)，著作工具將允許用于書簽產(chǎn)生的輸入170，和原始音頻數(shù)據(jù)110的可視信息附件。一般來說，由于可視信息提供用于了解演示內(nèi)容音頻部分的關(guān)鍵點(diǎn)，當(dāng)以快于正常速度的速率來播放音頻時(shí)，增加適當(dāng)?shù)目梢曅畔⒖梢源蟠蟮胤奖銓ρ菔緝?nèi)容的了解。此外，圖形對音頻的連接將允許以有序方式來演示圖形。
用戶界面300包括音頻視窗310、可視顯示視窗320、滑動(dòng)條330、標(biāo)志列表340、標(biāo)志數(shù)據(jù)視窗350、標(biāo)志類型列表360以及控制器370。
音頻視窗310顯示在時(shí)間范圍內(nèi)代表所有或部分的原始音頻數(shù)據(jù)110的波形。當(dāng)作者檢查演示內(nèi)容時(shí)，音頻視窗310將指示相對于原始音頻110的時(shí)間索引。該作者將使用鼠標(biāo)或其它裝置來選擇相對于原始音頻數(shù)據(jù)110開始的任何時(shí)間或時(shí)間范圍。可視顯示視窗320顯示圖像或與原始音頻110中當(dāng)前所選的時(shí)間索引相關(guān)的其它可視信息?；瑒?dòng)條330和標(biāo)志列表340各自包含小圖片(thumbnail)幻燈片和書簽名稱。作者可通過選擇標(biāo)志列表340中的相應(yīng)書簽或滑動(dòng)條330中的相應(yīng)幻燈片來選擇特定書簽以修改或只是在演示中跳到與書簽相關(guān)的時(shí)間索引。
為了加入書簽，作者將使用音頻視窗310、滑動(dòng)條330或標(biāo)志列表340來選擇書簽的開始時(shí)間，且使用標(biāo)志類型列表360來選擇書簽的類型，并使用控制器370以在所選的時(shí)間開始進(jìn)行加入所選類型的書簽的過程。加入書簽的細(xì)節(jié)一般依賴于與該書簽相關(guān)的信息類型。為了說明的目的，將在下面說明加入與書簽相關(guān)的嵌入式圖像，但是可與書簽相關(guān)的信息類型并不限于嵌入式圖像。
加入嵌入式圖像需要作者選擇代表圖像的數(shù)據(jù)或文件。該圖像數(shù)據(jù)具有任意格式，但最好是適合在低帶寬通信鏈路中進(jìn)行傳輸?shù)母袷健Ｔ谝粋€(gè)實(shí)施例中，嵌入式圖像是幻燈片，例如利用Microsoft Power Point軟件所做的幻燈片。該著作工具在多通道媒體文件190的數(shù)據(jù)通道中嵌入或存儲(chǔ)圖像數(shù)據(jù)。
作者為書簽取一個(gè)名稱，該名稱是出現(xiàn)在標(biāo)示列表340中的名稱，并且設(shè)定或改變相關(guān)于該書簽和圖像數(shù)據(jù)的音頻幀索引值(即開始與結(jié)束時(shí)刻)的范圍。當(dāng)顯示出該演示內(nèi)容時(shí)，可視顯示視窗320顯示在任意音頻幀的重放期間與書簽相關(guān)的圖像，而該音頻幀具有與書簽相關(guān)的范圍中的幀索引。
著作工具根據(jù)與該書簽相關(guān)的圖像把小圖片(thumbnail)圖像加入到滑動(dòng)條330中。當(dāng)作者產(chǎn)生該多通道文件時(shí)，可在根據(jù)多通道媒體文件190特定格式的位置例如在文件頭210或在數(shù)據(jù)通道頭232中存儲(chǔ)書簽名稱、音頻索引范圍以及小圖片數(shù)據(jù)作為多通道媒體文件190中的標(biāo)識數(shù)據(jù)，如下所述，當(dāng)用戶跳到演示內(nèi)容中的書簽位置時(shí)，對演示內(nèi)容的用戶系統(tǒng)初始化可包括存取并顯示標(biāo)志列表和滑動(dòng)條以進(jìn)行使用。
以與相關(guān)于嵌入式數(shù)據(jù)的書簽類似的方式，加入與諸如文字、HTML網(wǎng)頁、或與網(wǎng)絡(luò)數(shù)據(jù)(例如網(wǎng)頁)的鏈接等其它類型圖形數(shù)據(jù)相關(guān)的書簽。對于各種不同類型的圖形數(shù)據(jù)來說，標(biāo)志數(shù)據(jù)視窗350可用不同于可視顯示視窗320中數(shù)據(jù)外觀的形式來顯示圖形數(shù)據(jù)。例如，標(biāo)志數(shù)據(jù)視窗350可含有文字、HTML程序碼、或鏈接，而可視顯示視窗320可顯示文字、HTML網(wǎng)頁或網(wǎng)頁的相應(yīng)外觀。
例如，如圖1所示在完成加入書簽和相關(guān)數(shù)據(jù)之后，作者使用控制器370來暫停多通道文件190的產(chǎn)生。作者可選擇一個(gè)或多個(gè)時(shí)間定比，其中所述時(shí)間定比對于多通道文件中的音頻是可用的。
圖4表示根據(jù)本發(fā)明的實(shí)施例用于觀看演示內(nèi)容的系統(tǒng)中的用戶界面400。用戶界面400包括顯示視窗420、滑動(dòng)條430、標(biāo)志列表440、源視窗450、和控制條470。源視窗450提供演示內(nèi)容列表以供用戶進(jìn)行選擇并且指示當(dāng)前所選的演示內(nèi)容。
控制條470允許對演示內(nèi)容進(jìn)行一般控制。例如，用戶可開始或停止演示內(nèi)容、加速或放慢該演示內(nèi)容、切換到正常速度、快速前進(jìn)或快速倒轉(zhuǎn)(fastbackward)(即向前跳或向后跳一段固定時(shí)間)，或激活所有或部分演示內(nèi)容的自動(dòng)重復(fù)播放。
滑動(dòng)條430與標(biāo)志列表440標(biāo)識書簽，且允許用戶跳到演示內(nèi)容的書簽中。
顯示視窗420是用于諸如文字、圖像、html網(wǎng)頁或同步于音頻的網(wǎng)頁等可視內(nèi)容。利用正確選擇的可視內(nèi)容，演示內(nèi)容的用戶可更容易地了解音頻內(nèi)容，甚至是在以高速播放音頻的時(shí)候。
圖5是實(shí)施具有圖4的用戶界面的演示播放器的示例過程500的流程圖。過程500可以以計(jì)算機(jī)系統(tǒng)中的軟件或硬件方式來執(zhí)行。在步驟510中，過程500通過圖4的用戶界面獲得事件，該事件可以為無事件或用戶的選擇。
判決步驟520確定用戶是否已經(jīng)開始進(jìn)行新演示內(nèi)容，新演示內(nèi)容是其頭信息未被高速緩沖的演示內(nèi)容。如果用戶已經(jīng)開始進(jìn)行新演示內(nèi)容，過程500將在步驟522中連接演示內(nèi)容的源，且請求文件頭信息。該源一般為例如通過網(wǎng)絡(luò)(例如互聯(lián)網(wǎng))連接至用戶計(jì)算機(jī)的服務(wù)器的裝置。
當(dāng)源返回所請求的頭信息時(shí)，如控制請求并緩沖演示內(nèi)容幀等操作所要求的那樣，在步驟524中，載入頭標(biāo)信息。特別是，步驟526復(fù)位可能已包含另一演示內(nèi)容的幀和數(shù)據(jù)的重放緩沖器。
在步驟526復(fù)位重放緩沖器之后，步驟550維護(hù)重放緩沖器。一般來說，如果用戶并未改變幀索引或重放速率，則在步驟550，通過識別出依序進(jìn)行播放的一系列音頻幀來維護(hù)重放緩沖器，進(jìn)而確定是否可在幀高速緩沖器中得到該音頻幀系列中的任意音頻幀，且發(fā)送請求到系列音頻幀中的音頻幀的源，而不是至幀高速緩沖器中。
在本發(fā)明的互聯(lián)網(wǎng)實(shí)施例中，當(dāng)向服務(wù)器請求特定幀或數(shù)據(jù)時(shí)，過程500使用公知的http協(xié)定。因此，服務(wù)器并不需要一種專門服務(wù)器應(yīng)用程序來提供該演示。然而，另一替代實(shí)施例可通過應(yīng)用一種服務(wù)器應(yīng)用程序以與用戶進(jìn)行通訊并將數(shù)據(jù)提供給用戶以提供較佳的效能。
當(dāng)用戶從源接收到音頻幀時(shí)，如果系列中的幀需要進(jìn)行播放的話，過程500將緩沖或高速緩沖音頻幀，但僅將重放緩沖器中的音頻幀進(jìn)行排序。如果需要播放的音頻幀將在重放緩沖器進(jìn)行排序的話，步驟560將利用從重放緩沖器中的幀進(jìn)行解壓縮得到的數(shù)據(jù)流來維護(hù)音頻輸出。當(dāng)音頻流從一個(gè)幀索引切換到下一幀索引時(shí)，如果所請求的音頻幀不可用的話，則過程500暫停演示。
步驟570維護(hù)視頻顯示。應(yīng)用過程500將針對該演示內(nèi)容對頭中指示的位置請求圖形數(shù)據(jù)。特別是，如果該圖形數(shù)據(jù)代表文字、圖像、或嵌在多通道文件中的html網(wǎng)頁的話，過程500將向該源請求圖形數(shù)據(jù)并且根據(jù)其類型解釋圖形數(shù)據(jù)。如果圖形數(shù)據(jù)是網(wǎng)絡(luò)數(shù)據(jù)的話，例如多通道文件中由鏈接所識別出的網(wǎng)頁，過程500將接入鏈接以檢索網(wǎng)絡(luò)數(shù)據(jù)來進(jìn)行顯示。如果當(dāng)需要時(shí)，因?yàn)榫W(wǎng)絡(luò)狀況或其它問題而導(dǎo)致圖形數(shù)據(jù)不可用的話，過程500繼續(xù)維護(hù)演示內(nèi)容的音頻部分。這可避免當(dāng)網(wǎng)絡(luò)流量高時(shí)發(fā)生完全中斷的問題。
在步驟580中，過程500確定網(wǎng)絡(luò)的流量或可用帶寬。可從在該源提供的任何所請求的信息或幀緩沖器狀態(tài)的速度來確定網(wǎng)絡(luò)流量或帶寬。如果網(wǎng)絡(luò)流量過高而無法在所需速率提供數(shù)據(jù)來進(jìn)行順利的演示內(nèi)容重放的話，過程500在步驟584中決定改變演示內(nèi)容的通道索引，以選擇需要較少帶寬的通道(即使用較多數(shù)據(jù)壓縮)，但仍可提供用戶所選的音頻重放速度。如果網(wǎng)絡(luò)流量低，步驟584可改變演示內(nèi)容的通道索引以選擇使用較少的數(shù)據(jù)壓縮的通道，且可以在所選擇的音頻重放速度上提供較佳的聲音品質(zhì)。
如果判決步驟530確定該事件是用戶改變演示內(nèi)容的時(shí)間定比，應(yīng)用過程500將從步驟530分支到步驟532，這可將通道索引改變?yōu)閷?yīng)于所選時(shí)間定比的數(shù)值。先前確定的網(wǎng)絡(luò)流量將可用于針對所選的時(shí)間定比和可用網(wǎng)絡(luò)帶寬來選擇提供最佳期音頻品質(zhì)的通道。
在步驟532改變通道索引之后，步驟526將隨后復(fù)位重放緩沖器，且解除重放緩沖器中除了當(dāng)前音頻幀之外的所有音頻幀的隊(duì)列。在復(fù)位重放緩沖器之后，過程500將如上述步驟550、560與570那樣維護(hù)重放緩沖器、音頻輸出及視頻顯示。
在步驟560中維護(hù)音頻流的過程中，當(dāng)前音頻幀繼續(xù)提供數(shù)據(jù)以進(jìn)行音頻輸出，直到該數(shù)據(jù)用盡為止。因此，音頻輸出以先前的速率繼續(xù)進(jìn)行，直到來自當(dāng)前音頻幀的數(shù)據(jù)用盡為止。在該時(shí)刻，對應(yīng)于下一幀索引但來自對應(yīng)于新通道索引的音頻幀應(yīng)該是可用的。演示內(nèi)容的重放將因此切換到小于單一幀持續(xù)時(shí)間的新重放速率，例如在示例實(shí)施例中將小于0.5秒。此外，新通道中下一個(gè)幀索引的幀內(nèi)容對應(yīng)于緊隨在對應(yīng)于先前重放速率的幀的音頻數(shù)據(jù)。因此，用戶可察覺到重放速率的流暢與實(shí)時(shí)轉(zhuǎn)換。
如果在需要時(shí)對應(yīng)于下一幀索引的幀不可用，過程500暫停重放，直到用戶從該源接收到所需數(shù)據(jù)為止，且步驟550對重放緩沖器中的數(shù)據(jù)幀進(jìn)行排序。本發(fā)明的替代實(shí)施例保留并且使用該音頻幀系列，所述幀在重放緩沖器中針對先前的重放速率進(jìn)行排序，而不是如步驟526中進(jìn)行的解除幀的隊(duì)列。因而當(dāng)應(yīng)用過程500無法及時(shí)地接收所需幀時(shí)，可播放先前音頻幀以避免暫停演示。以先前速率持續(xù)演示將不需要地提供非應(yīng)答型的過程外觀，并且是圖5實(shí)施例避免發(fā)生的事。
如果并不開始進(jìn)行新演示或改變速度，用戶選擇書簽或幻燈片，或選擇快速前進(jìn)或快速后退的話，判決步驟540暫停應(yīng)用過程540以分支到改變當(dāng)前幀索引的過程542。當(dāng)前幀索引的新數(shù)值根據(jù)用戶采取的行動(dòng)而定。如果用戶選擇快速前進(jìn)或快速后退，則當(dāng)前幀索引將增加或減少一固定量。如果使用者選擇書簽或幻燈片，則當(dāng)前幀索引變?yōu)榕c所選書簽或幻燈片相關(guān)的開始索引值。在示例實(shí)施例中，開始索引值位于步驟524從多個(gè)通道文件的頭部載入的數(shù)據(jù)中。
在改變當(dāng)前幀索引之后，過程544將移動(dòng)重放緩沖器的隊(duì)列以反映當(dāng)前幀索引的新數(shù)值。如果幀索引的變化不大，則已經(jīng)在重放緩沖器中排序某些以新幀索引值串聯(lián)音頻幀了。否則，移動(dòng)過程544將與重放緩沖器的復(fù)位過程526相同。
圖6是說明根據(jù)本發(fā)明另一實(shí)施例的演示播放器600的多線程結(jié)構(gòu)的流程圖。演示播放器600包括音頻播放線程620、音頻載入與高速緩沖線程630、圖形數(shù)據(jù)載入線程640以及顯示線程650，其均受到過程管理器610的控制。一般在諸如與互聯(lián)網(wǎng)或LAN連接的個(gè)人電腦或PDA(個(gè)人數(shù)字助理)、與電話網(wǎng)連接的蜂窩電話等具有網(wǎng)絡(luò)連接的計(jì)算系統(tǒng)中運(yùn)行演示播放器600。
當(dāng)啟動(dòng)音頻播放線程620時(shí)，音頻播放線程620使用來自重放緩沖器625的數(shù)據(jù)以產(chǎn)生聲音信號作為演示內(nèi)容的音頻部分。在一實(shí)施例中，音頻重放緩沖器625含有壓縮形式的音頻幀，且音頻播放線程620對音頻幀進(jìn)行解壓縮。或者，音頻重放緩沖器625含有未經(jīng)壓縮的音頻數(shù)據(jù)。
音頻載入與高速緩存線程通過網(wǎng)絡(luò)接口660與演示內(nèi)容源進(jìn)行通信，并填滿音頻重放緩沖器625。此外，音頻載入與高速緩沖線程630將音頻幀預(yù)先載入至電腦計(jì)算系統(tǒng)的揮發(fā)性存儲(chǔ)器(active memory)中，并且控制向硬盤或其它存儲(chǔ)裝置高速緩沖音頻幀。線程630使用幀狀態(tài)表632來追蹤組成該演示內(nèi)容的音頻幀的狀態(tài)，并且可以用上述方式從多通道文件的頭部構(gòu)建幀狀態(tài)表632。例如，當(dāng)各音頻幀的狀態(tài)已改變以指示是否音頻幀被載入到揮發(fā)性存儲(chǔ)器中、是否已部分地被載入到磁盤上和高速緩沖，或者是否根本未被載入時(shí)，線程630改變幀狀態(tài)表632。
在本發(fā)明的示例實(shí)施例中，音頻載入與高速緩沖線程630預(yù)先載入對應(yīng)于當(dāng)前所選的時(shí)間定比的一系列音頻幀。特別地，線程630在演示內(nèi)容的開始預(yù)先載入一系列音頻幀，和以演示書簽的開始幀索引開始的其它系列幀。因此，如果用戶跳到對應(yīng)于書簽的演示內(nèi)容中的一位置時(shí)，演示播放器600可快速移動(dòng)到書簽位置，而不會(huì)通過網(wǎng)絡(luò)接口660使載入音頻幀發(fā)生延遲。
當(dāng)用戶改變演示的時(shí)間定比時(shí)，將復(fù)位音頻重放緩沖器625，且音頻載入與高速緩沖線程630開始從新通道載入對應(yīng)于新時(shí)間定比的幀。在示例實(shí)施例中，過程管理器610并不會(huì)啟動(dòng)音頻播放線程620，直到音頻重放緩沖器625含有用戶所選的數(shù)據(jù)量為止，例如2.5秒的音頻數(shù)據(jù)。如果音頻幀的網(wǎng)絡(luò)傳輸不規(guī)則，延遲啟動(dòng)可避免重復(fù)停止音頻播放線程620。一般來說，當(dāng)音頻重放緩沖器625為空或幾乎為空時(shí)，音頻載入與高速緩沖線程630選擇具有高壓縮速率的音頻通道，且當(dāng)音頻重放緩沖器625含有充足的數(shù)據(jù)量時(shí)，切換至能提供較佳音頻質(zhì)量的通道。
圖形數(shù)據(jù)載入線程640與顯示線程650分別載入圖形數(shù)據(jù)以及顯示圖形圖像。圖形數(shù)據(jù)載入線程640可將圖形數(shù)據(jù)載入到數(shù)據(jù)緩沖器642中，且可為顯示線程650準(zhǔn)備顯示數(shù)據(jù)644。特別是，當(dāng)圖形數(shù)據(jù)是對諸如網(wǎng)頁等的網(wǎng)絡(luò)數(shù)據(jù)的鏈接時(shí)，圖形數(shù)據(jù)載入線程640通過網(wǎng)絡(luò)接口660從演示源接收該鏈接，且隨后存取與該鏈接相關(guān)的數(shù)據(jù)以得到顯示數(shù)據(jù)644。或者，圖形數(shù)據(jù)載入線程640直接地使用來自演示源的嵌入式圖像數(shù)據(jù)作為顯示數(shù)據(jù)644。
根據(jù)本發(fā)明的一方面，播放演示將在音頻附近進(jìn)行調(diào)音過程。因此，過程管理器610給予音頻載入與高速緩沖線程630最高的優(yōu)先順序。然而，在某些實(shí)施例中，音頻載入與高速緩沖線程630可選擇具有高壓縮的音頻通道以為圖形數(shù)據(jù)釋放更多帶寬。特別是，在音頻到達(dá)書簽開始幀索引之前的一段時(shí)間前，當(dāng)音頻播放線程620到達(dá)開始幀索引時(shí)，線程630可轉(zhuǎn)換到更高的壓縮音頻通道，以提供帶寬給線程640來載入新圖形數(shù)據(jù)而進(jìn)行顯示。
上述的演示播放器與著作工具可提供演示內(nèi)容，所述演示內(nèi)容允許用戶對重放速率或?qū)r(shí)間定比進(jìn)行實(shí)時(shí)改變而不必具備特殊的硬件、大量的可用處理功率、或高帶寬網(wǎng)絡(luò)連接。由于其中改變重放速率的功能相當(dāng)方便，這樣的演示內(nèi)容對大部分企業(yè)、商業(yè)環(huán)境和教育環(huán)境來說是相當(dāng)有用的。然而，當(dāng)不需要考慮改變重放速率時(shí)，這樣的系統(tǒng)也是相當(dāng)有用的。特別地，如上所述，著作工具的某些實(shí)施例產(chǎn)生適于存取任何執(zhí)行諸如HTTP協(xié)議等認(rèn)可協(xié)議的服務(wù)器的演示內(nèi)容。因此，即使是一位漫不經(jīng)心的作者也可以錄制音頻消息，且使用著作工具來將圖像與音頻消息同步，進(jìn)而為家庭或朋友產(chǎn)生個(gè)人演示內(nèi)容。演示內(nèi)容的接收者可以播放演示內(nèi)容而不需要使用特殊硬件或高帶寬網(wǎng)絡(luò)連接。
本發(fā)明的各方面可同時(shí)應(yīng)用于獨(dú)立式系統(tǒng)(standalone system)中，在所述獨(dú)立式系統(tǒng)中，不考慮網(wǎng)絡(luò)連接，但是處理功率或電池單元可能會(huì)受到限制。圖7表示為用戶提供的對演示內(nèi)容的時(shí)間定比或重放速率的實(shí)時(shí)控制的獨(dú)立式系統(tǒng)700。獨(dú)立式系統(tǒng)700可以是便攜式裝置，例如PDA或便攜式電腦，或特別設(shè)計(jì)的演示播放器。系統(tǒng)700包括數(shù)據(jù)存儲(chǔ)器710、選擇邏輯720、音頻解碼器730和視頻解碼器740。
數(shù)據(jù)存儲(chǔ)器710可以是能夠存儲(chǔ)代表上述演示內(nèi)容的多通道文件715的任何媒質(zhì)。例如，在PDA中，數(shù)據(jù)存儲(chǔ)器710可以是閃存盤或其它類似裝置。或者，數(shù)據(jù)存儲(chǔ)器710可以包括磁盤播放器和CD-ROM或其它類似媒質(zhì)。在獨(dú)立式系統(tǒng)700中，數(shù)據(jù)存儲(chǔ)器710提供音頻數(shù)據(jù)和任意圖形數(shù)據(jù)，因此并不需要網(wǎng)絡(luò)連接。
音頻解碼器730將從數(shù)據(jù)存儲(chǔ)器710接收音頻數(shù)據(jù)流，且將音頻數(shù)據(jù)流轉(zhuǎn)換成可通過放大器或揚(yáng)聲器系統(tǒng)735進(jìn)行播放的音頻信號。為了使所需的處理功率最小化，多通道文件715包含未經(jīng)壓縮的數(shù)字音頻數(shù)據(jù)，且音頻解碼器730是一種傳統(tǒng)的數(shù)字/模擬轉(zhuǎn)換器。或者，如果系統(tǒng)700是為包含壓縮音頻數(shù)據(jù)的多通道文件715設(shè)計(jì)的，則音頻解碼器730可對數(shù)據(jù)進(jìn)行解壓縮。類似地，如顯示器745所需，數(shù)據(jù)存儲(chǔ)器710可從多通道文件715向轉(zhuǎn)換圖像數(shù)據(jù)的可選視頻解碼器740提供任意圖形數(shù)據(jù)。
選擇邏輯720選擇由數(shù)據(jù)存儲(chǔ)器710向音頻解碼器730和視頻解碼器740提供的數(shù)據(jù)流。選擇邏輯720包括按鈕、切換開關(guān)或用于控制系統(tǒng)700的其它用戶界面裝置。當(dāng)用戶改變重放速率時(shí)，選擇邏輯720引導(dǎo)數(shù)據(jù)存儲(chǔ)器710切換到多通道文件715中對應(yīng)于新重放速率的通道。當(dāng)用戶選擇書簽時(shí)，選擇邏輯720將引導(dǎo)數(shù)據(jù)存儲(chǔ)器710跳到對應(yīng)于該書簽的幀索引，并從新時(shí)間索引恢復(fù)音頻和視頻數(shù)據(jù)流。因?yàn)闀r(shí)間定比或書簽的選擇僅需要改變數(shù)據(jù)存儲(chǔ)器710在從多通道文件715讀取音頻和圖形數(shù)據(jù)流時(shí)使用的參數(shù)(例如通道或幀索引)，選擇邏輯720需要很少或不需要處理功率。
因?yàn)槎嗤ǖ牢募?15的音頻通道已包括時(shí)間定比音頻數(shù)據(jù)，所以獨(dú)立式系統(tǒng)700不會(huì)消耗為任何時(shí)間定比的處理功率。因此，獨(dú)立式系統(tǒng)700幾乎不會(huì)消耗電池或處理功率，且仍可提供具有時(shí)間定比的實(shí)時(shí)用戶改變的時(shí)間定比演示內(nèi)容。在特別設(shè)計(jì)的演示播放器中，由于系統(tǒng)700不需要重要的處理硬件，獨(dú)立式系統(tǒng)700可降低裝置的成本。
雖然已經(jīng)參照特定實(shí)施例來說明本發(fā)明，上述說明僅是本發(fā)明應(yīng)用的示例，不應(yīng)被視為對本發(fā)明的限制。上述實(shí)施例的不同應(yīng)用與組合均屬于所附權(quán)利要求所限定的發(fā)明范圍。
工業(yè)應(yīng)用性本發(fā)明可以被用于媒體編碼、傳輸和重放的處理和結(jié)構(gòu)，在所述處理和結(jié)構(gòu)中，采用具有相應(yīng)于將在網(wǎng)絡(luò)上傳輸?shù)难菔緝?nèi)容的不同重放速率的不同音頻通道的多通道結(jié)構(gòu)。
權(quán)利要求
1.一種含有代表演示內(nèi)容的數(shù)據(jù)結(jié)構(gòu)的裝置，所述數(shù)據(jù)結(jié)構(gòu)包括第一音頻通道，表示在由第一時(shí)間定比因數(shù)進(jìn)行時(shí)間定比處理之后的所述演示內(nèi)容的音頻部分；和第二音頻通道，表示由第二時(shí)間定比因數(shù)進(jìn)行時(shí)間定比處理之后的所述音頻部分，其中，所述第二時(shí)間定比因數(shù)與所述第一時(shí)間定比因數(shù)不同。
2.如權(quán)利要求1所述的裝置，其中所述第一音頻通道包含多個(gè)幀；所述第二音頻通道包含多個(gè)幀，所述多個(gè)幀以一對一方式對應(yīng)于所述第一音頻通道中的多個(gè)幀；和所述第一音頻通道和第二音頻通道中的相應(yīng)幀表示所述演示內(nèi)容的相同時(shí)間間隔。
3.如權(quán)利要求2所述的裝置，其中所述第一音頻通道中的各個(gè)幀是利用第一壓縮方法分別進(jìn)行壓縮的。
4.如權(quán)利要求3所述的裝置，其中所述數(shù)據(jù)結(jié)構(gòu)還包含第三音頻通道，所述第三音頻通道代表在由所述第一時(shí)間定比因數(shù)進(jìn)行時(shí)間定比處理之后的所述音頻演示內(nèi)容，其中所述第三音頻通道中的各個(gè)幀是利用第二壓縮方法分別進(jìn)行壓縮的。
5.如權(quán)利要求1所述的裝置，其中所述數(shù)據(jù)結(jié)構(gòu)還包含標(biāo)識與所述音頻演示內(nèi)容相關(guān)的圖形的數(shù)據(jù)通道。
6.如權(quán)利要求1所述的裝置，其中所述第一音頻通道包含多個(gè)幀，而每一幀具有標(biāo)識該幀所代表音頻部分的時(shí)間間隔的索引值；所述第二音頻通道包含多個(gè)幀，而所述第二通道中的各個(gè)幀具有標(biāo)識該幀所代表音頻部分的時(shí)間間隔的索引值。
7.如權(quán)利要求6所述的裝置，其中將分別對所述第一和第二數(shù)據(jù)通道中各個(gè)幀進(jìn)行壓縮。
8.如權(quán)利要求6所述的裝置，其中所述數(shù)據(jù)結(jié)構(gòu)還包含對應(yīng)于多個(gè)書簽的數(shù)據(jù)通道，其中每一書簽具有索引值且標(biāo)識圖形，所述索引值指示相對于所述第一或第二音頻通道的幀播放的圖形的顯示時(shí)間。
9.如權(quán)利要求1所述的裝置，其中所述裝置包括與網(wǎng)絡(luò)連接的服務(wù)器。
10.如權(quán)利要求1所述的裝置，其中所述裝置包括數(shù)據(jù)存儲(chǔ)器，用于存儲(chǔ)所述數(shù)據(jù)結(jié)構(gòu)；解碼器，連接以從所述數(shù)據(jù)存儲(chǔ)器接收數(shù)據(jù)流，所述解碼器轉(zhuǎn)換所述數(shù)據(jù)流以進(jìn)行可感知的演示內(nèi)容；和選擇邏輯，與所述數(shù)據(jù)存儲(chǔ)器連接并且能夠?yàn)閬碜园龅谝灰纛l通道和所述第二音頻通道的一組通道中的數(shù)據(jù)流選擇源通道。
11.如權(quán)利要求10所述的裝置，其中所述裝置是依賴于電池電源運(yùn)行的獨(dú)立式裝置。
12.一種含有代表音頻演示內(nèi)容的數(shù)據(jù)結(jié)構(gòu)的裝置，所述數(shù)據(jù)結(jié)構(gòu)包含代表時(shí)間定比處理之后的音頻演示內(nèi)容的多個(gè)音頻通道，其中每一音頻通道具有相應(yīng)的時(shí)間定比因數(shù)且包括多個(gè)音頻幀；和每一音頻幀具有從相同通道中的其它音頻幀唯一區(qū)分出所述音頻幀并將所述音頻幀識別為相應(yīng)于其它音頻通道中的特定音頻幀的幀索引。
13.如權(quán)利要求12所述的裝置，其中處于不同通道且具有相同幀索引的音頻幀標(biāo)識音頻演示內(nèi)容的相同部分。
14.一種用于對音頻數(shù)據(jù)編碼的方法，包含對音頻數(shù)據(jù)進(jìn)行多個(gè)時(shí)間定比過程以產(chǎn)生多個(gè)時(shí)間定比音頻數(shù)據(jù)組，而每一時(shí)間定比音頻數(shù)據(jù)組具有不同的時(shí)間定比因數(shù)；和產(chǎn)生數(shù)據(jù)結(jié)構(gòu)，其含有個(gè)別對應(yīng)于該多個(gè)時(shí)間定比過程的多個(gè)音頻通道，其中每一音頻通道的內(nèi)容來自對所述音頻數(shù)據(jù)進(jìn)行對應(yīng)時(shí)間定比過程之后而產(chǎn)生的時(shí)間定比音頻數(shù)據(jù)組。
15.如權(quán)利要求14所述的方法，其中產(chǎn)生所述數(shù)據(jù)結(jié)構(gòu)包含步驟將每一時(shí)間定比音頻數(shù)據(jù)組劃分成多個(gè)幀；分別壓縮每一幀以產(chǎn)生壓縮幀；和將所述壓縮幀集中至所述多個(gè)音頻通道中，而每一音頻通道具有所述不同時(shí)間定比因數(shù)中的一個(gè)相應(yīng)的時(shí)間定比因數(shù)。
16.如權(quán)利要求15所述的方法，其中所述劃分步驟產(chǎn)生的所有幀對應(yīng)于所述音頻數(shù)據(jù)中的相同時(shí)間量。
17.如權(quán)利要求15所述的方法，其中分別壓縮每一幀的步驟包含應(yīng)用多個(gè)不同壓縮過程以從每一幀產(chǎn)生多個(gè)壓縮幀。
18.如權(quán)利要求17所述的方法，其中集中所述壓縮幀的步驟產(chǎn)生音頻通道，以便在每一音頻通道中，所述音頻通道中的所有壓縮幀具有相同的時(shí)間定比和壓縮過程。
19.一種播放演示內(nèi)容的方法，包含通過網(wǎng)絡(luò)從源將第一幀載入到播放器中，所述第一幀代表在由第一時(shí)間定比因數(shù)進(jìn)行時(shí)間定比處理之后的演示內(nèi)容的第一音頻部分，其中所述第一音頻幀具有第一通道索引值，所述第一通道索引值將所述第一音頻幀標(biāo)識為正在由所述第一時(shí)間定比因數(shù)進(jìn)行定比；根據(jù)來自所述第一音頻幀的數(shù)據(jù)播放所述演示內(nèi)容的第一部分；接收請求以將播放從所述第一時(shí)間定比因數(shù)改變?yōu)榈诙r(shí)間定比因數(shù)；向所述源請求具有第二通道索引值的第二音頻幀，所述第二通道索引值將所述第二音頻幀標(biāo)識為正在由所述第二時(shí)間定比因數(shù)進(jìn)行定比；和在所述第一幀之后播放所述第二幀以提供所述演示內(nèi)容的時(shí)間定比過程中的實(shí)時(shí)變化。
20.如權(quán)利要求19所述的方法，其中所述第一幀具有第一幀索引值，該第一索引值標(biāo)識所述第一音頻幀所代表的演示內(nèi)容的第一部分，且所述第二幀具有第二索引值，該第二索引值標(biāo)識所述第一音頻幀所代表的演示內(nèi)容的第二部分。
21.如權(quán)利要求20所述的方法，其中所述第二索引值緊接著所述第一時(shí)間索引值。
22.如權(quán)利要求19所述的方法，其中幀的通道索引值還指示所述幀的相應(yīng)的壓縮過程，且其中所述方法還包含確定所述網(wǎng)絡(luò)上的可用帶寬；和從標(biāo)識所述第二時(shí)間定比因數(shù)的多個(gè)通道索引值中選擇所述第二通道索引值，其中所述第二通道索引指示在可用帶寬提供最高音頻質(zhì)量的壓縮過程。
23.如權(quán)利要求19所述的方法，其中幀的通道索引值還指示所述幀的相應(yīng)壓縮過程，且其中所述方法還包含確定所述網(wǎng)絡(luò)上的可用帶寬；從標(biāo)識第二時(shí)間定比因數(shù)的多個(gè)通道索引值中選擇第三通道索引值，其中所述第三通道索引指示在可用帶寬提供最高音頻質(zhì)量的壓縮；向所述源請求具有第三通道索引值的第三音頻幀，所述第三通道索引值將所述第三音頻幀標(biāo)識為正在由所述第二時(shí)間定比因數(shù)進(jìn)行定比；和在所述第二幀之后播放所述第三幀以提供所述演示內(nèi)容的時(shí)間定比過程中的實(shí)時(shí)變化。
24.一種用于在接收機(jī)上播放音頻演示內(nèi)容的方法，所述接收機(jī)通過網(wǎng)絡(luò)連接到具有表示所述音頻演示內(nèi)容的多通道數(shù)據(jù)結(jié)構(gòu)的源，所述方法包含確定所述網(wǎng)絡(luò)上的可用帶寬；從多個(gè)通道中選擇所述多通道數(shù)據(jù)結(jié)構(gòu)的第一通道，所述多個(gè)通道表示由期望的時(shí)間定比因數(shù)進(jìn)行時(shí)間定比之后的音頻演示內(nèi)容，其中所述第一通道包含利用在可用帶寬提供最高音頻質(zhì)量的壓縮過程所壓縮的數(shù)據(jù)；從所述第一通道接收第一幀；和播放所述第一幀。
25.如權(quán)利要求24所述的方法，其另包含在接收到所述第一幀之后，確定所述網(wǎng)絡(luò)上的可用帶寬；從所述多個(gè)通道中選擇所述多個(gè)通道數(shù)據(jù)結(jié)構(gòu)的第二通道，所述多個(gè)通道表示由所期望的時(shí)間定比因數(shù)進(jìn)行時(shí)間定比之后的音頻演示內(nèi)容，其中所述第二通道包含在接收所述第一幀之后，利用在可用帶寬提供最高音頻質(zhì)量的第二壓縮過程所壓縮的數(shù)據(jù)；從所述第二通道接收第二幀；以及在播放所述第一幀之后播放所述第二幀。
26.一種用于控制網(wǎng)頁顯示的方法，包含為表示演示內(nèi)容音頻部分的音頻數(shù)據(jù)的相應(yīng)值分配一系列網(wǎng)頁；播放從所述音頻數(shù)據(jù)產(chǎn)生的音頻；和顯示每一網(wǎng)頁以響應(yīng)所述播放，所述達(dá)到所述音頻數(shù)據(jù)中分配給所述網(wǎng)頁的索引值。
27.如權(quán)利要求26所述的方法，其中分配所述系列網(wǎng)頁的步驟包括將所述音頻數(shù)據(jù)劃分為一系列的幀；為每一幀分配不同的索引值；和為幀的所述索引值分配每一網(wǎng)頁，其中當(dāng)播放所述幀時(shí)顯示所述網(wǎng)頁。
28.如權(quán)利要求26所述的方法，其中分派所述系列網(wǎng)頁的步驟包括產(chǎn)生數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)結(jié)構(gòu)包括包含音頻幀的音頻通道，所述幀一起構(gòu)成所述音頻數(shù)據(jù)；和數(shù)據(jù)通道，為每一網(wǎng)頁包含對所述網(wǎng)頁的鏈接，和標(biāo)識對應(yīng)于所述網(wǎng)頁的音頻幀的幀索引值。
29.如權(quán)利要求26所述的方法，其中分配所述系列網(wǎng)頁到相應(yīng)索引值的步驟包括將每一網(wǎng)頁分配給開始索引值和停止索引值，其中將在幀播放過程中進(jìn)行顯示的網(wǎng)頁具有在所述開始索引值和所述停止索引值之間的索引值。
30.一種用于編寫演示內(nèi)容以在計(jì)算機(jī)系統(tǒng)上進(jìn)行重放的方法，包含為所述演示內(nèi)容的音頻數(shù)據(jù)分配時(shí)間索引值；為每一圖像分配所述時(shí)間索引值的范圍，所述圖像由所述演示內(nèi)容的圖形數(shù)據(jù)表示；和構(gòu)成包含所述音頻數(shù)據(jù)和所述圖形數(shù)據(jù)的文件，其中所述文件具有指示在播放音頻數(shù)據(jù)的過程中所發(fā)生的每一圖像的顯示，所述音頻數(shù)據(jù)已被分配在分配給所述圖像的范圍中的時(shí)間索引值。
31.如權(quán)利要求30所述的方法，其中所述圖形數(shù)據(jù)包括指示網(wǎng)絡(luò)上可用數(shù)據(jù)的連接，而顯示與所述鏈接相關(guān)的圖像的步驟包括檢索所述鏈接標(biāo)識的數(shù)據(jù)。
32.如權(quán)利要求31所述的方法，其中所述鏈接標(biāo)識網(wǎng)頁，而顯示與所述鏈接相關(guān)的圖像的步驟還包含顯示所述網(wǎng)頁。
33.如權(quán)利要求30所述的方法，其中所述圖形數(shù)據(jù)包括嵌入在所述文件中的圖像數(shù)據(jù)，而顯示所述圖像的步驟包括顯示所述圖像數(shù)據(jù)代表的圖像。
34.如權(quán)利要求30所述的方法，其中為所述音頻部分分配時(shí)間索引值的步驟包括將所述音頻數(shù)據(jù)劃分為多個(gè)幀，其中每一幀根據(jù)所述幀的播放順序具有時(shí)間索引值；和構(gòu)成包括將所述幀集中至音頻通道中的文件。
35.如權(quán)利要求34所述的方法，還包括集中數(shù)據(jù)通道中的圖形數(shù)據(jù)。
36.如權(quán)利要求30所述的方法，其中為圖像分配所述時(shí)間索引值的范圍的步驟包括標(biāo)識所述音頻數(shù)據(jù)的時(shí)距；選擇所述時(shí)距中的點(diǎn)；和選擇將分配到所選點(diǎn)的圖像中的一圖像。
全文摘要
媒體編碼、傳輸與重放過程和結(jié)構(gòu)采用多通道結(jié)構(gòu)，該結(jié)構(gòu)具有相應(yīng)于將在網(wǎng)絡(luò)上傳輸?shù)难菔緝?nèi)容的不同重放速率的不同音頻通道。不同音頻通道中的音頻幀均對應(yīng)于原始演示內(nèi)容中的相同時(shí)間量，且具有識別不同音頻通道中對應(yīng)于演示內(nèi)容的相同時(shí)間間隔的幀索引。用戶可對重放速率進(jìn)行實(shí)時(shí)變換，進(jìn)而可選擇對應(yīng)于新重放速率的通道，以及用于提出并在進(jìn)行演示內(nèi)容的重放速率平滑轉(zhuǎn)換的幀。該結(jié)構(gòu)還提供用于根據(jù)音頻索引顯示的圖形數(shù)據(jù)的通道，以及具有相同重放速率但不同壓縮方案的不同音頻通道，以根據(jù)網(wǎng)絡(luò)上的可用帶寬進(jìn)行使用。
文檔編號G10L19/00GK1507731SQ0280937
公開日2004年6月23日 申請日期2002年5月2日 優(yōu)先權(quán)日2001年5月4日
發(fā)明者肯尼思·H·P·張, 肯尼思 H P 張 申請人:Ssi株式會(huì)社