專利名稱：同步數(shù)字聲頻與數(shù)字視頻的制作方法
交叉參照相關(guān)申請通過參照將與本申請同時提交的標(biāo)題分別為“在計算機顯示器上顯示二次采樣的視頻圖象”、“自適應(yīng)視頻壓縮”、“自適應(yīng)視頻解壓縮”及“計算機的視頻外圍設(shè)備”的專利申請結(jié)合在此。
本發(fā)明的背景本發(fā)明涉及視頻與聲頻數(shù)據(jù)的數(shù)字處理，更具體地涉及保持視頻與聲頻通道之間同步的聲頻/視頻輸入/輸出端口裝置。
隨著高分辨率彩色計算機顯示器及處理能力的成本的降低，正在崛起的一種計算機視頻后制作的應(yīng)用-在編輯過程中利用作為監(jiān)視器的計算機顯示器顯示與編輯視頻圖象。在計算機視頻編輯系統(tǒng)中，讀取一個視頻/聲頻源，通常是視頻磁帶錄象機，并將數(shù)據(jù)以數(shù)字形式存儲在計算機的磁盤上。視頻/聲頻數(shù)據(jù)可以回放、編輯及寫回到一個視頻裝置。
用于視頻/聲頻數(shù)據(jù)的數(shù)字處理的先有方法允許節(jié)目的聲頻部分從視頻部分中漂移，導(dǎo)致同步損失。
本發(fā)明的概述本發(fā)明提供同步兩個或兩個以上數(shù)據(jù)流的裝置，一個流表示視頻信息而其它的流則表示聲頻信息。該裝置保證視頻與聲頻數(shù)據(jù)一致，無論在從外部源輸入信息還是在輸出分離的或混合的聲頻/視頻數(shù)據(jù)流時。本技術(shù)在視頻編輯中特別有用，其中建立與保持一個講話人的視頻信號與表示講話材料的聲頻信號之間的同步是關(guān)鍵性的。
一般地說，在一個方面中，本發(fā)明的特征在于從一條或多條輸入聲頻聲道獲取數(shù)字聲頻樣本并將數(shù)字聲頻樣本合成進一條或多條輸出聲頻聲道的聲頻/視頻輸入/輸出(I/O)端口裝置。該裝置包括一個視頻I/O端口、一個頻率合成器及一個聲頻I/O端口。視頻I/O端口生成一個視頻速率時鐘，并配置成將輸入模擬視頻信號數(shù)字化成數(shù)字視頻信號，并從數(shù)字視頻信號中合成輸出模擬視頻信號。頻率合成器配置成根據(jù)視頻速率時鐘導(dǎo)出一個聲頻采樣時鐘。聲頻I/O端口配置成按照采樣時鐘將輸入聲頻信號采樣成數(shù)字聲頻樣本，并按照采樣時鐘將數(shù)字聲頻樣本合成為輸出聲頻信號。
在第二個方面中，本發(fā)明的特征在于用于獲得一條或多條數(shù)字聲頻樣本的聲道的聲頻/視頻輸入端口裝置。該裝置包括一個視頻輸入端口、一個頻率合成器及一個聲頻輸入端口。視頻輸入端口配置成將輸入視頻信號數(shù)字化成數(shù)字視頻信號并生成一個視頻速率時鐘。頻率合成器配置成根據(jù)視頻速率時鐘導(dǎo)出一個聲頻采樣時鐘。聲頻輸入端口配置成按照采樣時鐘將輸入聲頻信號采樣為數(shù)字聲頻樣本。
第三個方面，本發(fā)明的特征在于將數(shù)字聲頻樣本合成為輸出聲頻/視頻的聲頻/視頻輸出端口裝置。該裝置包括一個視頻輸出端口、一個頻率合成器及一個聲頻輸出端口。視頻輸出端口配置成從數(shù)字視頻信號合成輸出視頻信號并生成一個視頻速率時鐘。頻率合成器配置成根據(jù)視頻速率時鐘導(dǎo)出一個聲頻采樣時鐘。聲頻輸出端口配置成按照采樣時鐘從數(shù)字聲頻樣本合成輸出聲頻信號。
本發(fā)明的較佳實施例可包含下述特征。聲頻/視頻I/O端口裝置可以是安裝在通用主計算機的外圍設(shè)備槽中的一塊視頻外設(shè)板的一個視頻前端?？捎孟冗M先出緩沖器(FIFO)將計算機的異步操作耦合到視頻與聲頻輸入與輸出端口的同步操作上。外設(shè)板可具有一個CODEC用于在計算機的存儲設(shè)備上存儲與檢索視頻數(shù)據(jù)時壓縮與解壓縮它們。視頻輸入端口還可包含一個配置成檢測輸入視頻信號的同步信號的檢測器、用于生成視頻速率時鐘并定時視頻輸出端口的一個頻率發(fā)生器、以及一個配置成提供為輸入視頻信號的各幀根據(jù)檢測到的同步信號生成一個輸入同步脈沖的脈沖發(fā)生器、及一個配置成向聲頻輸出端口提供同步脈沖的脈沖發(fā)生器。視頻I/O端口可獨立于輸入與輸出視頻信號而生成視頻速率時鐘。頻率合成器可包含一個m/n鎖相環(huán)路來以視頻速率時鐘的一個比例生成聲頻采樣時鐘。頻率合成器的電子實現(xiàn)可允許聲頻采樣時鐘對視頻速率時鐘之比按照視頻速率時鐘的定時快速地變化。頻率合成器還可包含一個過度采樣時鐘合成器，它所生成的過度采樣時鐘的頻率至少為聲頻采樣時鐘頻率的兩倍，以及一個分頻器，對過度采樣時鐘進行分頻以生成聲頻采樣時鐘。聲頻/視頻I/O端口裝置還可進一步包括一個為達到數(shù)字聲頻樣本的數(shù)目對相關(guān)視頻幀的數(shù)目的一個精確比值而編程為將可變數(shù)目的數(shù)字聲頻樣本與數(shù)字視頻信號的各對應(yīng)幀有選擇地相關(guān)聯(lián)的數(shù)字信號處理器(DSP)。聲頻/視頻I/O端口裝置包括一個模數(shù)轉(zhuǎn)換器與/或數(shù)模轉(zhuǎn)換器，這些轉(zhuǎn)換器是由聲頻采樣時鐘定時的。DSP控制FIFO之間的流。
與本發(fā)明相結(jié)合的數(shù)字視頻處理器的優(yōu)點如下。在錄制聲頻與視頻道并在以后播放時，聲頻與視頻將準(zhǔn)確地同步-聲頻不會超前于視頻，反之亦然。視頻的聲頻道可以與視頻道分開存儲；這方便了對聲頻和視頻道的編輯。本技術(shù)是獨立于進入的視頻與聲頻信號制式的；即本技術(shù)能在不同的視頻制式(諸如NTSC與PAL)及不同的聲頻采樣與/或播放速率下工作。
從下面的一個較佳實施例的描述及權(quán)利要求書中，本發(fā)明的其它優(yōu)點與特征將是顯然的。
較佳實施例的描述下面描述較佳實施例。


圖1為用在按照本發(fā)明操作的視頻編輯系統(tǒng)中的部分的示意性透視圖。
圖2為用在圖1的系統(tǒng)中的一臺主計算機及一塊視頻外設(shè)板的方框圖。
圖3為在主計算機的一種替代組織的方框圖。
圖4為詳細(xì)示出視頻編輯系統(tǒng)的聲道的部件及提供聲頻對視頻同步的部件的方框圖。
圖5為圖4中的部件m/n鎖相環(huán)路的方框圖。
圖6為展示存儲一段視頻剪輯部分的視頻與聲頻道的文件的圖。
參見圖1與2，視頻編輯系統(tǒng)11包含插入主計算機12的外設(shè)板10。其它部件包括帶式錄象機(VTR)16、監(jiān)視器18、鍵盤20、鼠標(biāo)器22及大容量存儲盤24。提供視頻編輯功能的軟件分成兩部分，在計算機的中央處理單元(CPU)28上執(zhí)行的一部分26，它通常提供一個用戶接口與管理，和在外設(shè)板上執(zhí)行的一部分14，它通?？刂圃撏庠O(shè)板、外設(shè)板內(nèi)部的數(shù)據(jù)傳送及主計算機與外設(shè)之間的數(shù)據(jù)傳送。
在視頻編輯系統(tǒng)11中，視頻信號是通過視頻輸入端口30讀入的，而聲頻則是通過聲頻輸入端口32讀入的。在它們讀入時，視頻信號被數(shù)字化并壓縮，而聲頻信號則被數(shù)字化。視頻與聲頻信號是存儲在盤24上的?？梢越鈮嚎s受到壓縮的視頻/聲頻數(shù)據(jù)，并在顯示器18及揚聲器(未示出)上播放。視頻編輯軟件26允許用戶將壓縮的視頻與聲頻信號的各部分剪輯進一個視頻/聲頻節(jié)目中。用戶在編輯節(jié)目時能播放它并以小的增量(小到單個的幀)或以剪輯的組合將其重新編排。一旦用戶對得出的節(jié)目感到滿意，便能通過視頻輸出端口34與聲頻輸出端口36將它以全幀速率輸出到一個視頻記錄設(shè)備，諸如VTR 16或一個廣播設(shè)備。
參見圖2，外設(shè)板具有視頻與聲頻端口30-36，(連接VTR16或其它視頻設(shè)備)、總線控制電路42(與主機12接口)、各種信號處理鏈路及管理微處理器48。鏈路中包括通過壓縮/解壓縮編碼器/解碼器(CODEC)60向或自主計算機盤24傳送數(shù)字化視頻信號的一條雙向路徑，及在主計算機顯示器18上顯示數(shù)字化視頻數(shù)字的一條單向色彩空間轉(zhuǎn)換(CSC)與二次采樣鏈路。視頻輸入/輸出(I/O)電路35將視頻數(shù)據(jù)從諸如NTSC或PAL等VTR的模擬制式轉(zhuǎn)換到諸如YUV 4∶2∶2制式等數(shù)字制式，并將數(shù)字視頻信號放在視頻總線38上。(在視頻解壓縮期間，視頻總線38也能由CODEC60寫入。)一個微處理器48控制外設(shè)板的部件。
在輸入視頻時，CODEC60從視頻總線38上取YUV制式的視頻信號、將其壓縮成壓縮形式并將壓縮的視頻信號存儲在壓縮FIFO92中?？偩€控制電路42從壓縮FIFO92中取壓縮的視頻數(shù)據(jù)并將它們存儲進主機的RAM50中的緩沖器中。主機CPU28定期將緩沖器傾瀉到盤24中。同時，一條聲道通過一個聲頻輸入端口32及控制器62將數(shù)據(jù)從VTR16(或其它聲頻信號源)傳送到外設(shè)的數(shù)據(jù)總線46上。
在播放期間，顛倒這一過程主機CPU28將壓縮的視頻數(shù)據(jù)從盤24讀入RAM50中的緩沖器中。總線控制電路42將數(shù)據(jù)從緩沖器拷貝到解壓縮FIFO94中。CODEC60抽空解壓縮FIFO94，解壓縮數(shù)據(jù)并將它們輸出到視頻數(shù)據(jù)總線38上。從那里，便可通過二次采樣鏈路將解壓縮的視頻數(shù)據(jù)顯示到主機的顯示器18上，與/或通過視頻輸出端口34輸出。同時，聲道通過聲頻控制器62及聲頻輸出端口36將數(shù)據(jù)從外設(shè)數(shù)據(jù)總線40傳送到VTR。
在圖3中所示的主計算機的一種替代組織中，主計算機CPU28、顯示存儲器(也稱作“幀緩沖器”)44、主存儲器50與/或盤控制52等部件可通過一條主計算機12專用的總線54傳送數(shù)據(jù)，在該專用總線54與系統(tǒng)總線46之間有總線控制接口56。在這一情況中，外設(shè)總線控制電路42傳輸去往/來自系統(tǒng)總線46的數(shù)據(jù)，并且主機總線接口56進一步引導(dǎo)去往/來自該計算機的專用總線54上的設(shè)備的數(shù)據(jù)。
在任何視頻信號中，存在著一個垂直消隱周期以便從屏幕的底部到屏幕的頂部復(fù)位回掃。在垂直消隱周期中，電子束是停止的因此它不改寫前面的場。在垂直消隱周期中，出現(xiàn)一個稱作“垂直同步”脈沖的同步脈沖，在隔行掃描格式中(每幀具有兩個隔行掃描場)，每幀具有兩個垂直消隱周期，從而具有兩個垂直同步脈沖，位于各場的后部。這兩個垂直同步脈沖可用它們對于一幀的兩個場的實際圖象數(shù)據(jù)的定時關(guān)系來區(qū)域。
本發(fā)明的裝置實現(xiàn)錄制與/或播放一條或多條聲道的一種定時方式，尤其是將該聲頻信號與一個視頻道同步時。本裝置利用嵌入視頻中的視頻速率時鐘脈沖來驅(qū)動一個頻率轉(zhuǎn)換器，后者又生成一個諸如在44.1KHz上的聲頻采樣時鐘。該聲頻采樣時鐘用于驅(qū)動一個聲頻端口。
視頻I/O端口電路35從輸入視頻數(shù)據(jù)中抽取兩個時鐘象素速率行鎖定時鐘140，對于NTSC為12.27MHz或?qū)τ赑AL為14.75MHz，以及一個每幀一次的同步脈沖142，對于NTSC為29.97Hz或者對于PAL為25Hz。對于輸出，視頻I/O端口電路35合成視頻時鐘來驅(qū)動輸出。即使無輸入或輸出實際視頻信號時，視頻I/O端口電路35也配置成可合成視頻速率時鐘，包括象素速率時鐘140與同步脈沖，從而使視頻時鐘能輸入到用在輸入與輸出聲頻中的頻率合成部件中，如下面詳細(xì)討論的。在操作的后一模式中，本發(fā)明能用于獨立于任何視頻操作輸入或輸出聲頻，諸如輸入一條新的聲道來取代與原先錄制的視頻數(shù)據(jù)一起的聲道。視頻I/O端口電路35可輸入或輸出復(fù)合或S視頻信號。
象素速率時鐘140饋送到可編程的m/n鎖相環(huán)路144中，如下面結(jié)合圖5進一步描述的。鎖相環(huán)路144在諸如256倍的聲頻采樣率上生成一個過度采樣聲頻時鐘146。然后用遞減分頻器148將過度采樣時鐘向下分頻到諸如44.1KHz的聲頻采樣時鐘150。從而m/n鎖相環(huán)路144與遞減分頻器148一起構(gòu)成一個頻率同步器，它根據(jù)視頻速率時鐘導(dǎo)出聲頻采樣時鐘，即行鎖定象素速率時鐘140。然后用聲頻采樣時鐘150來定時在模數(shù)轉(zhuǎn)換器(ADC)152上聲頻輸入的采樣或在數(shù)模轉(zhuǎn)換器(DAC)154上的聲頻輸出的合成。從視頻時鐘導(dǎo)出聲頻采樣時鐘150保證了聲頻數(shù)據(jù)是在逐個樣本的基礎(chǔ)上直接與視頻數(shù)據(jù)同步的。
由于各視頻幀中不一定有整數(shù)個聲頻樣本，聲頻數(shù)據(jù)還應(yīng)在逐個幀的基礎(chǔ)上與視頻數(shù)據(jù)同步。為了處理這一點，從視頻I/O端口電路35向數(shù)字信號處理器(DSP)160提供視頻時鐘的同步脈沖142作為幀中斷。DSP160中的中斷服務(wù)例程調(diào)整樣本到視頻幀速率上，如下面要描述的。DSP160最好能是Texas儀器公司的TMS320C31。除了同步輸入時的聲頻樣本與視頻幀，DSP160還控制來自/去往ADC FIFO176及DAC FIFO186的數(shù)據(jù)流，如下面要討論的，并進行多聲道的實時混合以建立兩條輸出聲道。
由于視頻時鐘140的速率隨視頻是NTSC或PAL制式而不同，象素速率行鎖定時鐘140與導(dǎo)出的過度采樣時鐘146之間的比是可以調(diào)節(jié)成產(chǎn)生一個固定的聲頻采樣率150的。這是用m/n鎖相環(huán)路144做到的，它示出在圖5中并通過允許用計數(shù)器310與312編程m與n的值而提供這一能力。從而，象素速度時鐘140對過度采樣時鐘146之比可以調(diào)整到任何有理數(shù)上。對于NTSC與44.1KHz聲頻采樣時鐘，m/n的值為2423/2634，對于PAL它們?yōu)?287/2988。用NTSCm/n值2413/2410及PAL值2800/3361可獲得48KHz的采樣時鐘。在美國專利5,168,247中公開了一種除n頻率合成器(divide-by-n frequencysynthesizer)。
參見圖5，m/n鎖相環(huán)路144包含Motorola MC145145 PLL/合成器300、運算放大器302及電壓控制的振蕩器(VCO)304及部件301、303。PLL/合成器300包含兩個計數(shù)器310、312與相位比較器314，及一個四位總線接口。計數(shù)器312以參照頻率即從視頻電路35輸入的象素速率行鎖定時鐘140從m遞減計數(shù)，計數(shù)器310以輸出聲頻采樣時鐘146速率從n遞減計數(shù)。m與n的值可編程輸入。PLL/合成器300的輸出為相位信號，它們被鎖送至運算放大器302。運算放大器302生成一個調(diào)整信號306將VCO304的輸出調(diào)整到所要求的頻率，以生成過度采樣時鐘146。
可以調(diào)整(編程)m與n的值以接納任何視頻速率并仍生成所要求的采樣時鐘(諸如44.1KHz)。PLL144快速地調(diào)整到視頻時鐘中的改變上。這是重要的，因為視頻帶不總是產(chǎn)生固定速率的視頻定時的然而不論任何特定幀的定時(計時)，該電路總是保持每幀適當(dāng)?shù)臉颖緮?shù)。
再參見圖4，以下的討論提出各聲道的結(jié)構(gòu)與操作；通常該系統(tǒng)將錄制與再生立體聲，因為復(fù)制該電路用于一個第二聲道。
各聲頻輸入端口32包括放大器172、APC152、串行到并行轉(zhuǎn)換器174及ADC FIFO176。各聲頻輸出端口36包括DACFIFO186、并行到串行轉(zhuǎn)換器184、DAC154及放大器182。FIFO176與186為32位寬(用于兩個聲道，各16位寬)、256K深、采用20兆樣本/秒部件。ADC152與DAC154為16位寬，但數(shù)字?jǐn)?shù)據(jù)是串行通信的。串行到并行轉(zhuǎn)換器174及并行到串行轉(zhuǎn)換器184將串行位流轉(zhuǎn)換成16位并行流及反過來變換。
參見圖6，在視頻輸入端口30與聲頻輸入端口32上讀取的一個節(jié)目的三個道被存儲在主機的盤24上的四個文件中。第一個文件200存儲壓縮的視頻圖象本身；各幀是用一個時間標(biāo)記識別的。第二與第三文件202、204分別保存左與右聲道的采樣聲頻信號。各聲道的聲頻樣本是存儲在單聲道Sound Designer II(聲音設(shè)計器II)格式文件中的，其中各聲頻樣本是作為16位存儲的。這些樣本簡單地由在文件中的出現(xiàn)排序并由一個整數(shù)樣本號識別。第四種文件206包含剪輯描述符，各剪輯描述符指向用在編輯最終節(jié)目中的視頻與聲頻的文件部分。各剪輯描述符指向包含實際視頻與聲頻信息的視頻文件與一個或多個聲頻文件的組合中。當(dāng)用戶編輯節(jié)目時，實際的壓縮視頻圖象或聲頻樣本數(shù)據(jù)不必在盤文件之間復(fù)制；編輯是通過操縱剪輯描述符文件中的指針完成的。然后在播放期間(或錄制到諸如VTR等視頻設(shè)備上)，按次序讀取剪輯描述符文件。對于各次剪輯，從盤上讀出指示的視頻幀與聲頻樣本并提交給視頻與聲頻輸出端口，加以同步(如下面討論的)。
操作再參見圖4，視頻I/O電路35在象素速率上生成行鎖定時鐘140并在幀速率上生成同步脈沖142。行鎖定象素速率時鐘140可以是根據(jù)讀入視頻I/O端口電路35的視頻信號或者是由獨立于任何視頻信號的視頻I/O端口電路35合成的，因此聲頻可在沒有視頻時錄制或播放。取決于視頻是NTSC或PAL制式，象素速率，因而行鎖定象素速率時鐘140的頻率亦都改變。m與n的值選定為精確地標(biāo)定行鎖定象素速率時鐘140以生成過度采樣的聲頻時鐘146，諸如256倍聲頻采樣速率44.1KHz。分頻器148，諸如一個256遞減計數(shù)電路，生成諸如44.1KHz的聲頻采樣頻率150。聲頻采樣頻率既可用于錄制聲頻輸入也可用于再生聲頻輸出。
無論有無視頻輸入，聲頻輸入過程如下。輸入ADC152通過聲頻輸入端口32接收來自一個外部聲頻設(shè)備的模擬聲頻輸入，并在聲頻采樣頻率確定的速率上采樣聲頻信號。樣本是以位串行格式從ADC152提供的；由串行到并行轉(zhuǎn)換器174將其轉(zhuǎn)換到16位并行格式，然后重新格式化成32位字并在ADC FIFO176中排隊。由于數(shù)據(jù)是在ADC FIFO176中排隊的，DSP160能在空閑時清空ADC FIFO176而無需經(jīng)常監(jiān)視一條輸入線來拾取輸入串行流的各位。
周期性地分別在PAL或NTSC幀邊界上每25分之一或29.97分之一秒一次，視頻I/O電路35輸出幀同步信號142。幀同步142連接到DSP160的一條中斷線上。DSP160可通過在緊隨幀邊界之前與/或之后調(diào)整采樣而將聲頻樣本與視頻幀對準(zhǔn)而服務(wù)于該中斷。對于PAL視頻，其每秒25幀恰好是每秒44100個樣本的聲頻采樣率的一個約數(shù)而無須調(diào)整，每幀具有1764個聲頻樣本與之關(guān)聯(lián)。對于NTSC視頻，每秒具有29.97幀的幀速率，它不是聲頻采樣率的一個整約數(shù)，系統(tǒng)分配聲頻樣本給幀來保持聲頻與視頻之間的緊密同步。DSP160在1471與1472之間交替分配給每幀的樣本數(shù)。以這方法，聲頻與視頻信息在200秒中1.71個樣本或33分鐘中17.1個樣本的范圍內(nèi)緊密跟蹤。
為了提供對正在輸入到系統(tǒng)的聲頻信號的檢驗，輸入聲頻數(shù)據(jù)流經(jīng)由將串行到并行轉(zhuǎn)換器174的輸出端連接在并行到串行轉(zhuǎn)換器184的輸入端上的線路反饋到聲頻輸出電路36上，以便在由視頻/聲頻系統(tǒng)錄制時，用戶能監(jiān)視聲頻數(shù)據(jù)。
來自DSP160的采樣聲頻信號放在DSP數(shù)據(jù)總線188上。在控制電路42取聲頻數(shù)據(jù)并將它們存儲進主計算機的RAM50中的盤緩沖器中之前，它們使從那里存儲在聲頻輸入FIFO中。然后主機CPU28將盤緩沖器傾瀉進盤24中。
通常，與聲頻的數(shù)字化及存儲同時，CODEC60數(shù)字化及壓縮視頻并將其存儲在盤24上。通過外設(shè)與主機的數(shù)據(jù)鏈路(視頻及兩條聲頻)將視這三個流為獨立的過程。在錄制期間無須額外的處理來生成注明特定的幀與特定的聲頻樣本之間的關(guān)系的互相關(guān)聯(lián)標(biāo)記。除了指向各個流中的第一個數(shù)據(jù)之外，不需要盤數(shù)據(jù)結(jié)構(gòu)來記錄這種關(guān)聯(lián)，直到在視頻編輯期間打亂或重新排列這些關(guān)聯(lián)為止。
無論有無視頻輸出，聲頻輸出進行如下。這三個流可再一次獨立地處理，它們之間無須明顯的同步握手。因為聲頻輸出采樣時鐘是由視頻時鐘驅(qū)動的，只要將正確的幀或樣本數(shù)提交給視頻與聲頻輸出端口34、36就足夠了。同步的時鐘將保證輸出是在精確的同步速率上提交給模擬視頻設(shè)備的。
在播放期間，無論是錄制中發(fā)生過什么定時變化，視頻I/O電路34生成一個非常精確的輸出時鐘來建立視頻播放的適當(dāng)定時。(錄制的聲頻可以沒有任何相關(guān)的視頻而播放；即使在沒有任何實際視頻數(shù)據(jù)時，視頻I/O電路35也能合成視頻時鐘140、142。)主機CPU28、外設(shè)的微處理器48及總線控制電路42合作在保證FIFO保持不空的速率上將視頻與聲頻數(shù)據(jù)從主機盤24移動到解壓縮FIFO94及聲頻輸出FIFO98。DSP160又從聲頻輸出FIFO98中將聲頻數(shù)據(jù)抽到DAC FIFO186中。
隨著視頻/聲頻輸出開始，將采樣時鐘150從聲頻輸出DAC154上斷開直到第一個視頻幀被CODEC60解碼并準(zhǔn)備好在視頻輸出端口34上輸出為止。因此，在等待視頻輸出端口34啟動時，聲頻數(shù)據(jù)在DAC FIFO186中排隊等侯來自視頻輸出電路35的用于聲頻采樣時鐘150啟動的一個同步信號。隨著將第一視頻幀提交給視頻輸出端口34，便解封聲頻采樣時鐘150并且DSP160使并行到串行轉(zhuǎn)換器184能夠?qū)AC FIFO186抽空到DAC154中。
一旦開始了聲頻輸出，不再需要三條數(shù)據(jù)鏈路之間的進一步同步，只需要時鐘同步。由于聲頻采樣時鐘150是從視頻時鐘140、142導(dǎo)出的，便將在聲頻輸出端口32上輸出的聲頻樣本的輸出速率強制與視頻輸出端口34上的視頻幀輸出速率保持同步。由于DAC154在采樣時鐘150確定的速率上轉(zhuǎn)換采樣的聲頻信號并且在錄制中聲頻是與視頻同步的，在播放期間由從象素速率行鎖定時鐘導(dǎo)出的采樣時鐘150及數(shù)據(jù)本身保持輸出視頻34與聲頻36之間的同步。
在播放中，DSP160與CODEC60從解壓縮FIFO94請求相關(guān)視頻數(shù)據(jù)大致上同時從聲頻輸出FIFO98請求數(shù)據(jù)。隨著各視頻幀通過CODEC60被解壓縮并通過視頻輸出端口34被播出，視頻I/O電路35生成一個幀中斷，通知聲頻電路取出下一聲頻樣本塊并將它們加載進聲頻輸出流中。DSP160利用同步142來為備相應(yīng)視頻幀同步聲頻DAC154。
由于在錄制時聲頻是與任何進入的視頻同步的，每秒視頻對于兩條立體聲聲道中的每一條存在著目標(biāo)數(shù)目的聲頻樣本(諸如44,100)。聲頻采樣率對視頻速率的跟蹤保證在任何數(shù)目的視頻幀中，正好有 個錄制或播放的樣本。
本發(fā)明的其它實施例均在權(quán)利要求書的范圍內(nèi)。
同步數(shù)字聲頻與數(shù)字視頻的這一方法可以直接應(yīng)用于其它形式的數(shù)字視頻/聲頻，諸如高清晰度電視。視頻成幀信號(垂直、水平與象素)總是可以以某種形式提供的，因而能夠用作導(dǎo)出成比例的時鐘的源，以便將較早或同時錄制的聲頻信息同步到該視頻信息上。
多種制式的視頻信號要求對單一或有限制式聲頻信號進行翻譯以便在出現(xiàn)不同的視頻成幀速率時保持聲頻錄制與再生標(biāo)準(zhǔn)。本發(fā)明允許與方便了多種視頻制式與獨立或同時錄制的聲頻的使用，并在播放時用于同步聲頻到多種制式的視頻。即使在聲頻是以數(shù)字制式原始提供給這一系統(tǒng)的，在播放時本發(fā)明仍能保持聲頻與獨立錄制的視頻之間的同步。
權(quán)利要求
1.一種聲頻/視頻輸入/輸出(I/O)裝置，用于從一條或多條輸入聲道中得到數(shù)字聲頻樣本并且另一方面將數(shù)字聲頻樣本合成進一條或多條輸出聲道，該裝置包括一個視頻I/O端口電路，生成一個視頻速率時鐘，所述視頻I/O端口電路包括一個配置成將輸入模擬視頻信號轉(zhuǎn)換成數(shù)字視頻信號的視頻輸入端口，及一個配置成從數(shù)字視頻信號中合成輸出模擬視頻信號的視頻輸出端口；以及一個聲頻I/O端口電路包括一個配置成根據(jù)所述視頻速率時鐘導(dǎo)出一個聲頻采樣時鐘的頻率合成器，一個配置成按照所述采樣時鐘采樣與轉(zhuǎn)換輸入模擬聲頻信號成數(shù)字聲頻樣本的聲頻輸入端口，以及一個配置成按照所述采樣時鐘將數(shù)字聲頻樣本合成進輸出模擬聲頻中的聲頻輸出端口。
2.權(quán)利要求1的聲頻/視頻I/O裝置，還包括帶有一個存儲設(shè)備及一個外圍設(shè)備槽的一臺通用計算機；以及外圍設(shè)備接口電路，裝在所述外圍設(shè)備槽中并配置成將所述數(shù)字視頻與數(shù)字聲頻樣本從所述聲頻輸入與視頻輸入端口傳送到所述存儲設(shè)備，以及將數(shù)據(jù)從所述存儲設(shè)備傳送到所述聲頻輸出與視頻輸出端口。
3.權(quán)利要求2的聲頻/視頻I/O裝置，其中所述外圍設(shè)備接口電路還包括FIFO，用于將所述計算機的異步操作耦合到所述視頻與聲頻輸入與輸出端口的同步操作。
4.權(quán)利要求2的聲頻/視頻I/O裝置，其中所述外圍設(shè)備接口電路還包括一個CODEC，用于將所述數(shù)字視頻信號壓縮成壓縮的視頻數(shù)據(jù)供存儲在所述存儲設(shè)備上，以及用于在所述視頻數(shù)據(jù)從所述存儲設(shè)備傳送到所述視頻輸出端口時解壓縮它們。
5.權(quán)利要求1的聲頻/視頻I/O裝置，其中該視頻輸入端口電路還包括一個檢測器，配置成在所述輸入模擬視頻信號中檢測一個同步信號；一個頻率發(fā)生器，用于生成所述視頻速率時鐘及定時所述視頻輸出端口；一個脈沖發(fā)生器，配置成提供一個輸入同步脈沖給所述聲頻I/O端口電路，所述輸入同步脈沖是為所述輸入模擬視頻信號的各幀生成的并且是根據(jù)所述檢測到的同步信號的；以及一個脈沖發(fā)生器，配置成提供一個同步脈沖給所述聲頻I/O端口電路。
6.權(quán)利要求1的聲頻/視頻I/O裝置，其中所述視頻I/O端口電路還包括一個頻率發(fā)生器，頻率發(fā)生器配置成生成獨立于輸入與輸出視頻信號兩者的所述視頻速率時鐘。
7.權(quán)利要求1的聲頻/視頻I/O裝置，其中所述頻率合成器包括一個m/n鎖相環(huán)路用于生成所述聲頻采樣時鐘，作為所述視頻速率時鐘的一個可調(diào)整的比值。
8.權(quán)利要求7的聲頻/視頻I/O裝置，其中所述m/n鎖相環(huán)路包含一個m計數(shù)器、一個n計數(shù)器、一個相位檢測器及一個振蕩器。
9.權(quán)利要求1的聲頻/視頻I/O裝置，其中所述頻率合成器還包括一個過度采樣時鐘合成器，生成一個頻率至少為所述聲頻采樣時鐘的頻率兩倍的過度采樣時鐘；以及一個分頻器，分頻所述過度采樣時鐘以生成所述聲頻采樣時鐘。
10.權(quán)利要求1的聲頻/視頻I/O裝置，還包括一個數(shù)字信號處理器，編程為有選擇地將可變數(shù)目的數(shù)字聲頻樣本與所述數(shù)字視頻的各對應(yīng)幀相關(guān)聯(lián)以得到在有限時間上的所述數(shù)字聲頻樣本的數(shù)目對所述有限時間上的所述數(shù)字視頻的相關(guān)幀數(shù)的一個精確的比值；以及在將所述數(shù)字聲頻樣本及所述數(shù)字視頻信號提交給所述視頻與聲頻輸出端口時，有選擇地將可變數(shù)目的所述數(shù)字聲頻樣本與所述數(shù)字視頻信號的各對應(yīng)幀相關(guān)聯(lián)。
11.權(quán)利要求8的聲頻/視頻I/O裝置，還包括一個數(shù)字信號處理器，編程為有選擇地將可變數(shù)目的數(shù)字聲頻樣本與所述數(shù)字視頻信號的各對應(yīng)幀相關(guān)聯(lián)，以得到在有限時間上的所述數(shù)字聲頻樣本的數(shù)目對所述有限時間上的所述數(shù)字視頻信號的相關(guān)幀數(shù)的一個精確的比值；以及當(dāng)將所述數(shù)字聲頻樣本與所述數(shù)字視頻信號提交給所述視頻與聲頻輸出端口時，有選擇地將可變數(shù)目的所述數(shù)字聲頻樣本與所述數(shù)字視頻信號的各對應(yīng)幀相關(guān)聯(lián)。
12.權(quán)利要求1的聲頻/視頻I/O裝置，其中所述聲頻輸入端口還包括一個模數(shù)轉(zhuǎn)換器，用于將所述輸入模擬聲頻信號轉(zhuǎn)換成所述數(shù)字聲頻樣本，所述模數(shù)轉(zhuǎn)換器是由所述聲頻采樣時鐘定時的；以及一個數(shù)模轉(zhuǎn)換器，用于將所述數(shù)字聲頻樣本轉(zhuǎn)換成所述輸出模擬聲頻信號，所述數(shù)模轉(zhuǎn)換器是由所述聲頻采樣時鐘定時的。
13.權(quán)利要求1的聲頻/視頻I/O裝置，還包括一臺主計算機，帶有一個存儲設(shè)備用于存儲所述數(shù)字聲頻樣本及所述數(shù)字視頻信號；第一與第二FIFO，用于在所述聲頻輸入端口與所述存儲設(shè)備之間存儲所述數(shù)字聲頻樣本；第三與第四FIFO，用于在所述存儲設(shè)備與所述聲頻輸出端口之間存儲所述數(shù)字聲頻樣本；以及一個數(shù)字信號處理器，用于控制所述第一與第二FIFO及所述第三與第四FIFO之間所述數(shù)字聲頻樣本的流動。
14.一種聲頻/視頻輸入裝置，用于采集一條或多條聲道的數(shù)字聲頻樣本，該裝置包括一個視頻輸入端口，配置成將輸入模擬視頻信號轉(zhuǎn)換成數(shù)字視頻信號及生成一個視頻速率時鐘；一個頻率合成器，配置成根據(jù)所述視頻速率時鐘導(dǎo)出一個聲頻采樣時鐘；以及一個聲頻輸入端口，配置成按照所述采樣時鐘采樣與轉(zhuǎn)換輸入模擬聲頻成數(shù)字聲頻樣本。
15.權(quán)利要求14的聲頻/視頻輸入裝置，還包括一臺通用計算機，帶有一個存儲設(shè)備及一個外圍設(shè)備槽；以及外圍設(shè)備接口電路，裝在所述外圍設(shè)備槽中并配置成將所述數(shù)字視頻信號與數(shù)字聲頻樣本從所述聲頻輸入與視頻輸入端口傳送到所述存儲設(shè)備。
16.權(quán)利要求15的聲頻/視頻輸入裝置，其中所述外圍設(shè)備接口電路還包括一個FIFO，用于將所述計算機的異步操作耦合到所述視頻與聲頻輸入端口的同步操作上。
17.權(quán)利要求15的聲頻/視頻輸入裝置，其中所述外圍設(shè)備接口電路還包括一個CODEC，用于將所述數(shù)字視頻信號壓縮成壓縮的視頻數(shù)據(jù)，供存儲在所述存儲設(shè)備上。
18.權(quán)利要求14的聲頻/視頻輸入裝置，其中該視頻輸入端口還包括一個檢測器，配置成檢測所述輸入模擬視頻信號的一個同步信號；以及一個脈沖發(fā)生器，配置成提供一個輸入同步脈沖給所述聲頻輸入端口，所述輸入同步脈沖是為所述輸入模擬視頻信號的各幀生成的并且是根據(jù)所述檢測到的同步信號的。
19.權(quán)利要求14的聲頻/視頻輸入裝置，其中所述視頻輸入端口還包括一個頻率發(fā)生器，配置成生成獨立于輸入模擬視頻信號的所述視頻速率時鐘。
20.權(quán)利要求14的聲頻/視頻輸入裝置，其中所述頻率合成器包括一個m/n鎖相環(huán)路以生成所述聲頻采樣時鐘作為所述視頻速率時鐘的一個可調(diào)整的比值。
21.權(quán)利要求20的聲頻/視頻輸入裝置，其中所述m/n鎖相環(huán)路包含一個m計數(shù)器、一個n計數(shù)器、一個相位檢測器及一個振蕩器。
22.權(quán)利要求14的聲頻/視頻輸入裝置，其中所述頻率合成器還包括一個過度采樣時鐘合成器，它生成一個頻率至少為所述聲頻采樣時鐘的頻率兩倍的過度采樣時鐘；以及一個分頻器，分頻所述過度采樣時鐘以生成所述聲頻采樣時鐘。
23.權(quán)利要求14的聲頻/視頻輸入裝置，還包括一個數(shù)字信號處理器，編程為有選擇地將可變數(shù)目的數(shù)字聲頻樣本與所述數(shù)字視頻信號的各對應(yīng)幀相關(guān)聯(lián)，以獲得在有限時間上所述數(shù)字聲頻樣本的數(shù)目對所述有限時間上所述數(shù)字視頻信號的相關(guān)幀的數(shù)目的一個精確比值。
24.權(quán)利要求21的聲頻/視頻輸入裝置，還包括一個數(shù)字信號處理器，編程為有選擇地將可變數(shù)目的數(shù)字聲頻樣本與所述數(shù)字視頻信號的各對應(yīng)幀相關(guān)聯(lián)，以達到在有限時間上所述數(shù)字聲頻樣本的數(shù)目對所述有限時間上所述數(shù)字視頻信號的相關(guān)幀的數(shù)目的一個精確比值。
25.權(quán)利要求14的聲頻/視頻輸入裝置，其中所述聲頻輸入端口還包括一個模數(shù)轉(zhuǎn)換器，用于將所述輸入模擬聲頻信號轉(zhuǎn)換成所述數(shù)字聲頻樣本，所述模數(shù)轉(zhuǎn)換器是由所述聲頻采樣時鐘定時的。
26.權(quán)利要求14的聲頻/視頻輸入裝置，還包括一臺主計算機，帶有一個存儲設(shè)備用于存儲所述數(shù)字聲頻樣本及所述數(shù)字視頻信號；第一與第二FIFO，用于在所述聲頻輸入端口與所述存儲設(shè)備之間存儲所述數(shù)字聲頻樣本；以及一個數(shù)字信號處理器，用于控制所述第一與第二FIFO之間的所述數(shù)字聲頻樣本流。
27.一種聲頻/視頻輸出裝置，用于將一條或多條數(shù)字聲頻樣本聲道合成進輸出聲頻信號中，該裝置包括一個視頻輸出端口，配置成從數(shù)字視頻信號中合成輸出模擬視頻信號及生成一個視頻速率時鐘；一個頻率合成器，配置成根據(jù)所述視頻速率時鐘導(dǎo)出一個聲頻采樣時鐘；以及一個聲頻輸出端口，配置成按照所述采樣時鐘從數(shù)字聲頻樣本中合成輸出模擬聲頻信號。
28.權(quán)利要求27的聲頻/視頻輸出裝置，還包括一臺通用計算機，帶有一個存儲設(shè)備及一個外圍設(shè)備槽；以及外圍設(shè)備接口電路，裝在所述外圍設(shè)備槽中并配置成將數(shù)據(jù)從所述存儲設(shè)備傳送到所述聲頻輸出與視頻輸出端口。
29.權(quán)利要求28的聲頻/視頻輸出裝置，其中所述外圍設(shè)備接口電路還包括一個FIFO，用于將所述計算機的異步操作耦合到所述視頻與聲頻輸出端口的同步操作上。
30.權(quán)利要求28的聲頻/視頻輸出裝置，其中所述視頻外圍設(shè)備還包括一個CODEC，用于在所述視頻數(shù)據(jù)從所述存儲設(shè)備傳送到所述視頻輸出端口時，解壓縮它們。
31.權(quán)利要求27的聲頻/視頻輸出裝置，其中所述視頻輸出端口還包括一個頻率發(fā)生器，用于生成所述視頻速率時鐘及定時所述視頻輸出端口；以及一個脈沖發(fā)生器，配置成提供一個同步脈沖給所述聲頻輸出端口。
32.權(quán)利要求27的聲頻/視頻輸出裝置，其中所述視頻輸出端口還包括一個頻率發(fā)生器，配置成生成獨立于輸出視頻信號的所述視頻速率時鐘。
33.權(quán)利要求27的聲頻/視頻輸出端口裝置，其中所述頻率合成器包括一個m/n鎖相環(huán)路以生成所述聲頻采樣時鐘作為所述視頻速率時鐘的一個可調(diào)整的比值。
34.權(quán)利要求33的聲頻/視頻輸出裝置，其中所述m/n鎖相環(huán)路包含一個m計數(shù)器、一個n計數(shù)器、一個相位檢測器及一個振蕩器。
35.權(quán)利要求27的聲頻/視頻輸出裝置，其中所述頻率合成器還包括一個過度采樣時鐘合成器，它生成一個頻率至少為所述聲頻采樣時鐘的頻率兩倍的過度采樣時鐘；以及一個分頻器，分頻所述過度采樣時鐘以生成所述聲頻采樣時鐘。
36.權(quán)利要求27的聲頻/視頻輸出裝置，還包括一個數(shù)字信號處理器，編程為將所述數(shù)字聲頻樣本與所述數(shù)字視頻信號提交給所述視頻與聲頻輸出端口時，有選擇地將可變數(shù)目的所述數(shù)字聲頻樣本關(guān)聯(lián)到所述數(shù)字視頻信號的各對應(yīng)幀上。
37.權(quán)利要求27的聲頻/視頻輸出裝置，其中所述聲頻輸出端口還包括一個數(shù)模轉(zhuǎn)換器，用于將所述數(shù)字聲頻樣本轉(zhuǎn)換到所述輸出模擬聲頻信號，所述數(shù)模轉(zhuǎn)換器是由所述聲頻采樣時鐘定時的。
38.權(quán)利要求27的聲頻/視頻輸出裝置，還包括一臺主計算機，帶有一個存儲設(shè)備用于存儲所述數(shù)字聲頻樣本與所述數(shù)字視頻信號；第一與第二FIFO，用于在所述存儲設(shè)備與所述聲頻輸出端口之間存儲所述數(shù)字聲頻樣本；以及一個數(shù)字信號處理器，用于控制所述第一與第二FIFO之間的所述數(shù)字聲頻樣本流。
39.一種用于采集視頻信號及一條或多條聲道，并以數(shù)字形式將它們存儲在一臺計算機的存儲設(shè)備上的方法，該方法包括下述步驟在一個視頻輸入端口上接收所述視頻信號；檢測所述視頻信號中的一個或多個同步信號；從所述同步信號中頻率合成一個聲頻采樣時鐘；在一個聲頻輸入端口上接收所述聲頻信號，所述聲頻輸入端口是由所述聲頻采樣時鐘定時的；以及將所述接收的視頻與接收的聲頻信號存儲在該存儲設(shè)備上。
全文摘要
一種聲頻/視頻輸入/輸出(I/O)端口裝置，用于從一條或多條輸入聲道上采集數(shù)字聲頻樣本及合成數(shù)字聲頻樣本到一條或多條輸出聲道上。該裝置包括一個視頻I/O端口(35)，它生成一個視頻速率時鐘并數(shù)字化輸入視頻到數(shù)據(jù)視頻；一個頻率合成器(144與148)，它根據(jù)視頻速率時鐘生成聲頻采樣時鐘；及一個聲頻I/O端口(62)，它將采樣的輸入聲頻轉(zhuǎn)換成數(shù)字聲頻樣本并按照采樣時鐘將樣本合成進輸出聲頻中。
文檔編號G11B27/024GK1125014SQ94192293
公開日1996年6月19日 申請日期1994年3月9日 優(yōu)先權(quán)日1993年4月16日
發(fā)明者D·J·霍爾姆斯, J·W·莫爾納, M·H·塔爾 申請人:數(shù)據(jù)翻譯公司