專利名稱：借助簽名曲線的av延遲測量和校正的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻測試和測量儀器，并且特別涉及音頻/視頻(AV)延遲的測量和校正。
背景技術(shù)：
經(jīng)衛(wèi)星和其它陸基傳輸路徑來傳輸或以流方式傳送(streaming)模擬、數(shù)字或壓縮數(shù)據(jù)形式的節(jié)目音頻和視頻可能會導(dǎo)致音頻信號相對于視頻信號有定時或延遲扭曲，從而形成眾所周知的“唇音同步(lip-sync)”問題。導(dǎo)致的原因有各種各樣，但是通常是在將音頻相對于具有不同的處理或傳輸延遲的視頻分開來處理時發(fā)生。例如，視頻可能經(jīng)衛(wèi)星路徑發(fā)送，而音頻可能經(jīng)較低延遲的陸基路徑傳送，這產(chǎn)生了在某些共同的終點位置處使音頻和視頻再同步的需要。而且壓縮的多聲道音頻連同視頻的各自的編碼和解碼(CODEC) 延遲產(chǎn)生了使音頻相對于視頻再同步的需要。在許多情況下，在某些始發(fā)位置，與節(jié)目視頻信號相關(guān)聯(lián)的多聲道節(jié)目音頻已經(jīng)具有了正確的定時關(guān)系，并且需要通過使音頻或視頻在終點位置延遲來重新生成該關(guān)系， 以為不同的傳播或CODEC延遲作校正。這可以通過在“停止使用”時，為始發(fā)位置處的節(jié)目音頻插入音頻音調(diào)脈沖猝發(fā)(audio tone burst)或等效信號完成，該音頻音調(diào)脈沖猝發(fā)與視頻閃存、轉(zhuǎn)輪、電子影音對號板(electronic clap-board)或等效工具同步，使得AV延遲可以在終點位置測量和校正。但是這種方法有兩個主要的缺點。首先它需要為測試而使正常的節(jié)目音頻和視頻停止使用。其次，由于CODEC變化和路由變化，AV處理延遲可能隨時間而變化，這使得停止使用方式下測得的校正值不再有效。題為“視頻信號中的數(shù)據(jù)的透明嵌入”的美國專利No. 6M6439( “‘439專利”)描述了一種不同的方法，其中為了向用于測量和校正的解碼器發(fā)送音頻包絡(luò)“簽名曲線”，向視頻信號加入不可見的水印或其它一些元數(shù)據(jù)路徑。在這種方式下，音頻和視頻可以連續(xù)地調(diào)整為同步狀態(tài)。該方法用于可從俄勒網(wǎng)州比弗頓的特克特朗尼克公司商購的AVDC100 音頻-視頻延遲校正器(現(xiàn)在已停止生產(chǎn))。但是對視頻信號作水印處理有時候是不能接受的并且水印可能在視頻效果和調(diào)節(jié)(scaling)之后無法被檢測到。可替換地，為了按照與‘439專利相同的方式測量和校正AV延遲，可以將視頻簽名曲線作為元數(shù)據(jù)嵌入音頻聲道或借助某些形式的音頻水印嵌入音頻聲道。但是音頻信號水印修改可能是無法接受的并且元數(shù)據(jù)路徑在傳輸鏈(distribution chain)范圍內(nèi)常常得不到保護。所需要的是一種測量和校正AV延遲的方法，其克服了這里前面所述的方法的不足之處。

發(fā)明內(nèi)容
因此，本發(fā)明的實施例提供了以非侵入、“使用中(in service) ”的方式作AV延遲檢測和校正的系統(tǒng)和方法。這些系統(tǒng)和方法不修改音頻信號或視頻信號，也不依賴于經(jīng)由傳輸路徑隨音頻信號或視頻信號傳送的任何元數(shù)據(jù)。代替的是，位于沿傳輸路徑的各種位置處的代理者(agents)生成音頻信號和視頻信號的非常小的簽名曲線并經(jīng)除了傳輸路徑以外的單獨的數(shù)據(jù)路徑將這些曲線傳輸給管理者(manager)。管理者根據(jù)這些簽名曲線計算由傳輸路徑導(dǎo)致的被測的AV延遲，并且隨后可選地，通過調(diào)整傳輸路徑內(nèi)的串聯(lián) (in-line)延遲來校正被測的AV延遲。一種方法，包含下列步驟在沿著傳輸路徑的位置處接收音頻/視頻(AV)節(jié)目，該AV節(jié)目具有音頻信號和視頻信號；以及根據(jù)所述音頻信號生成音頻簽名曲線并且根據(jù)所述視頻信號生成視頻簽名曲線。在上述方法中，進一步包含經(jīng)所述傳輸路徑以外的單獨的數(shù)據(jù)路徑傳輸所述音頻簽名曲線和視頻簽名曲線的步驟。在上述方法中，根據(jù)所述視頻信號的相鄰幀的協(xié)方差生成所述視頻簽名曲線。在上述方法中，根據(jù)所述視頻信號的相鄰幀差值的協(xié)方差生成所述視頻簽名曲線。在上述方法中，通過下列步驟生成所述音頻簽名曲線濾波所述音頻信號的左聲道以生成濾波后的左聲道；檢測所述濾波后的左聲道的包絡(luò)；濾波所述音頻信號的右聲道以生成濾波后的右聲道；檢測所述濾波后的右聲道的包絡(luò)；將所述濾波后的左聲道的包絡(luò)與所述濾波后的右聲道的包絡(luò)相加以生成總和；濾波所述總和以生成濾波后的總和；以及以幀速或場速采樣所述濾波后的總和以生成所述音頻簽名曲線。一種方法，包含以下步驟接收音頻簽名曲線和視頻簽名曲線；以及根據(jù)所述音頻簽名曲線和視頻簽名曲線計算音頻/視頻(AV)節(jié)目的被測的AV延遲。在上述方法中，進一步包括通過調(diào)整所述傳輸路徑內(nèi)的串聯(lián)延遲來校正所述被測的AV延遲的步驟。在上述方法中，計算被測的AV延遲的步驟包含下列步驟使兩條音頻簽名曲線對準以生成音頻對準偏移量；使兩條視頻簽名曲線對準以生成視頻對準偏移量；以及根據(jù)所述音頻對準偏移量和視頻對準偏移量計算所述被測的AV延遲。一種方法，包括下列步驟生成多個音頻簽名曲線和視頻簽名曲線對，每對與位于沿著傳輸路徑的位置處的音頻/視頻(AV)節(jié)目對應(yīng)；以及經(jīng)由除了所述傳輸路徑以外的單獨的數(shù)據(jù)路徑收集所述簽名曲線對。在上述方法中，進一步包含根據(jù)所述簽名曲線對來計算AV節(jié)目的被測的AV延遲的步驟。當結(jié)合所附權(quán)利要求和附圖閱讀時，本發(fā)明的目標、優(yōu)點和其它的新特征通過以下詳細的描述變得顯而易見。


圖1描述了按照本發(fā)明的測量和校正AV延遲的系統(tǒng)和方法的第一實施例。圖2描述了按照本發(fā)明的測量和校正AV延遲的系統(tǒng)和方法的第二實施例。圖3A描述了利用美國專利No. 6751360中所述的方法產(chǎn)生的視頻簽名曲線。圖;3B描述了利用按照本發(fā)明實施例的幀差值方法產(chǎn)生的視頻簽名曲線。圖4描述了圖3A的視頻簽名曲線與接收的自身副本的互相關(guān)關(guān)系以及圖:3B的視頻簽名曲線與接收的自身副本的互相關(guān)關(guān)系。圖5描述了生成音頻簽名曲線的系統(tǒng)和方法。圖6描述了音頻信號和利用圖5的系統(tǒng)和方法從該音頻信號生成的音頻簽名曲線。圖7描述了計算被測的AV延遲的方法。
具體實施例方式圖1示出了按照本發(fā)明的測量和校正AV延遲的系統(tǒng)和方法的第一實施例。AV節(jié)目由音頻信號和視頻信號組成。稱為“代理者”的第一裝置105位于始發(fā)位置，它在輸入端接收AV節(jié)目，在各種實施例中，AV節(jié)目可包含音頻/視頻壓縮編碼器輸入等。代理者105 隨后利用處理器(未畫出)處理音頻信號以生成音頻簽名曲線(ASCo)并處理視頻信號以生成視頻簽名曲線(VSCo)。AV節(jié)目隨后從始發(fā)位置經(jīng)傳輸路徑100向終點位置傳輸。位于終點位置的第二裝置110(也稱為“代理者”)接收AV節(jié)目并且根據(jù)接收的音頻信號生成音頻簽名曲線(ASCr)并根據(jù)接收的視頻信號生成視頻簽名曲線(VSCr)?？蛇x地，第二代理者110具有內(nèi)置的、可調(diào)整的、串聯(lián)的節(jié)目音頻和/或視頻延遲(未畫出)。稱為“管理者”的第三裝置120完成下列操作(1)經(jīng)由單獨的數(shù)據(jù)路徑115收集來自代理者 105 禾口 110 的 ASCo、VSCo、ASCr 和 VSCr ； (2)根據(jù) ASCo、VSCo、ASCr 和 VSCr 計算由傳輸路徑100導(dǎo)致的AV節(jié)目的被測的AV延遲；以及(3)可選地，通過經(jīng)由單獨的數(shù)據(jù)路徑115調(diào)整代理者110的串聯(lián)延遲來校正被測的AV延遲。單獨的數(shù)據(jù)路徑115是除了傳輸路徑100以外的任何數(shù)據(jù)路徑。例如，在各種實施例中，單獨的數(shù)據(jù)路徑115可以是諸如因特網(wǎng)、私網(wǎng)或?qū)Ｓ脭?shù)據(jù)路徑之類的分布式網(wǎng)絡(luò)。代理者105和110以及管理者120具有適于經(jīng)單獨的數(shù)據(jù)路徑115通信的通信終端(即輸入端和輸出端)。例如在單獨的數(shù)據(jù)路徑115是因特網(wǎng)的實施例中，代理者105和110以及管理者120可能各自具有因特網(wǎng)協(xié)議(IP)終端。在一些實施例中，管理者120以運行于遠程個人計算機上的軟件應(yīng)用程序的方式實現(xiàn)。簽名曲線(SC)是非常簡單的、簡潔的數(shù)據(jù)集合，遠遠小于其所基于的實際的音頻或視頻數(shù)據(jù)集合。因此可以非?？焖俚厣伞鬏敽吞幚鞸C，為實時AV延遲測量和校正創(chuàng)造了條件。用于本發(fā)明目的的SC的關(guān)鍵特征是SC是簡潔的，然而包含了足夠的音頻或視頻時域特征，有助于按所需的定時分辨率作時域?qū)?temporal alignment)。以下詳細描述具有關(guān)鍵特征的SCs的生成和處理。在一些實施例中，代理者105和110被并入視頻測試和測量裝置，例如可從俄勒岡州比弗頓的特克特朗尼克公司商購的WFM8000系列波形監(jiān)視器。在其它實施例中，代理者 105和110是用于監(jiān)視節(jié)目音頻和視頻的專用的、獨立的裝置。在一些實施例中，特別是在單獨的數(shù)據(jù)路徑115是諸如因特網(wǎng)之類的分布式網(wǎng)絡(luò) (distributed network)時，管理者120以及代理者105和110可以經(jīng)諸如簡單網(wǎng)絡(luò)管理協(xié)議(SNMP)之類的協(xié)議進行通信。在那些實施例中，管理者120可以“SNMP管理者”的方式實現(xiàn)，并且代理者105和110可以“SNMP代理者”的方式實現(xiàn)。將會理解的是，也可以采用其它的通信協(xié)議。圖2示出了按照本發(fā)明的測量和校正AV延遲的系統(tǒng)和方法的第二實施例。如同在圖1中的那樣，AV節(jié)目由音頻信號和視頻信號組成。位于始發(fā)位置的第一裝置205根據(jù)音頻信號生成音頻簽名曲線(ASCo)并根據(jù)視頻信號生成視頻簽名曲線(VSCo)。音頻信號和視頻信號從始發(fā)位置經(jīng)由傳輸路徑200向終點位置傳輸。位于終點位置的第二設(shè)備210 根據(jù)接收的音頻信號生成音頻簽名曲線(ASCr)并根據(jù)接收的視頻信號生成視頻簽名曲線 (VSCr)。可選地，第二裝置210具有內(nèi)置的、可調(diào)整的、串聯(lián)的節(jié)目音頻和/或視頻延遲(未畫出)。但是與圖1中的不同，沒有第三裝置充當管理者。代替的是，裝置205或201之一兼具代理者和管理者的作用。在第一裝置205兼具管理者和代理者的作用的實施例中，第一裝置205完成下列操作(1)收集來自第二裝置210的ASCr和VSCr ；⑵根據(jù)ASCo、VSCo, ASCr和VSCr計算由傳輸路徑200導(dǎo)致的AV節(jié)目的被測的AV延遲；以及(3)可選地，通過調(diào)整第二裝置210 的串聯(lián)延遲來校正被測的AV延遲。在第二裝置210兼具管理者和代理者的作用的實施例中，第二裝置210完成下列操作(1)收集來自第一裝置205的ASCo和VSCo ；⑵根據(jù)ASCo、 VSCo、ASCr和VSCr計算由傳輸路徑200導(dǎo)致的AV節(jié)目的被測的AV延遲；以及(3)可選地， 通過調(diào)整第二裝置210的串聯(lián)延遲來校正被測的AV延遲。在一些實施例中，第一裝置205 和第二裝置210可以改變角色，根據(jù)需要起著管理者或代理者的作用。視頻簽名曲線(VSC)的生成在一些實施例中，利用題為“快速視頻時域?qū)使烙嫛钡拿绹鴮＠?No. 6751360( “‘360專利”)中所述的方法生成VSCs。以下提供該方法的概要。首先計算一組視頻幀范圍內(nèi)的每個圖像或視頻幀的平均值。mf = mean (Tf)這里T為圖像或視頻幀，并且f為遍及一組幀的幀記號。接著計算相鄰幀的協(xié)方差& :=[ΣΣ[(Τ^ 一叫— mf_i
_ i J_接著，可選地計算歸一化的差值(最大值-最小值)以確定VSC內(nèi)是否存在足夠的AC能量或時域變化用于確定相對于音頻的對準。
權(quán)利要求
1.一種裝置，包含輸入端，用于在沿著傳輸路徑的位置處接收音頻/視頻(AV)節(jié)目，該AV節(jié)目具有音頻信號和視頻信號；以及處理器，用于處理所述音頻信號以生成音頻簽名曲線，并且用于處理所述視頻信號以生成視頻簽名曲線。
2.如權(quán)利要求1所述的裝置，進一步包含輸出端，用于經(jīng)所述傳輸路徑以外的單獨的數(shù)據(jù)路徑傳輸所述音頻簽名曲線和視頻簽名曲線。
3.如權(quán)利要求1所述的裝置，其中所述處理器包含用于根據(jù)所述視頻信號的相鄰幀的協(xié)方差生成所述視頻簽名曲線的裝置。
4.如權(quán)利要求1所述的裝置，其中所述處理器包含用于根據(jù)所述視頻信號的相鄰幀差值的協(xié)方差生成所述視頻簽名曲線的裝置。
5.如權(quán)利要求1所述的裝置，其中所述處理器包含第一帶通濾波器，用于濾波所述音頻信號的左聲道以生成濾波后的左聲道； 第一包絡(luò)檢測器，用于檢測所述濾波后的左聲道的包絡(luò)； 第二帶通濾波器，用于濾波所述音頻信號的右聲道以生成濾波后的右聲道； 第二包絡(luò)檢測器，用于檢測所述濾波后的右聲道的包絡(luò)；加法器，用于將所述濾波后的左聲道的包絡(luò)與所述濾波后的右聲道的包絡(luò)相加以生成總和；低通濾波器，用于濾波所述總和以生成濾波后的總和；以及采樣器，用于以幀速或場速采樣所述濾波后的總和以生成所述音頻簽名曲線。
6.一種裝置，包含輸入端，用于接收音頻簽名曲線和視頻簽名曲線；以及處理器，用于根據(jù)所述音頻簽名曲線和視頻簽名曲線計算音頻/視頻(AV)節(jié)目的被測的AV延遲。
7.如權(quán)利要求6所述的裝置，進一步包括用于通過調(diào)整所述傳輸路徑內(nèi)的串聯(lián)延遲來校正所述被測的AV延遲的裝置。
8.如權(quán)利要求6所述的裝置，其中所述處理器通過下列方式計算所述被測的AV延遲 使兩條音頻簽名曲線對準以生成音頻對準偏移量；使兩條視頻簽名曲線對準以生成視頻對準偏移量；以及根據(jù)所述音頻對準偏移量和視頻對準偏移量計算所述被測的AV延遲。
9.一種系統(tǒng)，包括一個或多個如權(quán)利要求1所述的裝置；以及如權(quán)利要求6所述的裝置。
10.如權(quán)利要求9所述的系統(tǒng)，其中所述單獨的數(shù)據(jù)路徑包含分布式網(wǎng)絡(luò)。
全文摘要
本發(fā)明的實施例提供了以非侵入、“使用中”的方式作AV延遲檢測和校正的系統(tǒng)和方法。這些系統(tǒng)和方法不修改音頻信號或視頻信號，也不依賴于經(jīng)由傳輸路徑隨音頻信號或視頻信號傳送的任何元數(shù)據(jù)。代替的是，位于沿傳輸路徑分布的各種位置處的代理者生成音頻信號和視頻信號的非常小的簽名曲線并經(jīng)除了傳輸路徑以外的單獨的數(shù)據(jù)路徑將這些曲線傳輸給管理者。管理者根據(jù)這些簽名曲線計算由傳輸路徑導(dǎo)致的被測的AV延遲，并且隨后可選地，通過調(diào)整傳輸路徑內(nèi)的串聯(lián)延遲來校正被測的AV延遲。
文檔編號H04N17/00GK102244805SQ20101053674
公開日2011年11月16日 申請日期2010年10月25日 優(yōu)先權(quán)日2009年10月25日
發(fā)明者D·G·貝克 申請人:特克特朗尼克公司