專利名稱：表征兩個媒體段的重疊的方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及識別廣播內(nèi)的內(nèi)容，并且，更具體地，涉及識別與數(shù)據(jù)流內(nèi)內(nèi)容的段或摘錄(excerpt)有關(guān)的信息。
背景技術(shù)：
現(xiàn)今的數(shù)字媒體已打開了信息市場的大門，其中，盡管實(shí)現(xiàn)了數(shù)字內(nèi)容分發(fā)的更大程度的靈活性、并可能以降低的成本，但數(shù)字信息的商業(yè)化帶來了潛在的版權(quán)問題。由于包括無線電臺、因特網(wǎng)電臺、文件下載和交換功能的音頻分發(fā)信道的高度增加的量，并且，還由于諸如MP3編碼和各種流音頻格式的新的音頻技術(shù)和壓縮算法，這樣的問題可能變得越來越重要。此外，通過非常易于得到的用來“分離(rip)”或數(shù)字化來自致密盤的音樂的工具，內(nèi)容復(fù)制和分發(fā)的便利性已使得內(nèi)容所有者、藝術(shù)家、商標(biāo)所有者(label)、出版商和發(fā)行商越來越難以維持對他們的版權(quán)財(cái)產(chǎn)的控制并難以得到補(bǔ)償。例如，對于內(nèi)容所有者來說，重要的是獲知播放他們的數(shù)字內(nèi)容(例如，音樂)的地點(diǎn)，并且由此，是否存在應(yīng)給予他們的版稅。
因而，在音頻內(nèi)容識別領(lǐng)域中，除了音頻內(nèi)容的身份(identity)之外，還期望精確地獲知一個音頻記錄嵌入正被廣播的另一音頻記錄內(nèi)的摘錄是多長。例如，當(dāng)在電臺、電視和電影中播放許可的記錄時，執(zhí)行權(quán)利組織(PRO)代表他們的成員、作者和音樂出版商，來收取執(zhí)行權(quán)利版稅，并且，典型地，版稅的量基于所播放的記錄的實(shí)際長度。隨后，PRO可將這些版稅分發(fā)給其成員，同時扣除PRO的管理成本。
音樂行業(yè)正在探索用來管理和貨幣化(monetize)音樂的分發(fā)的方法?，F(xiàn)今的一些解決方案依賴于用于組織內(nèi)容的文件名，但是，因?yàn)椴淮嬖谖募麡?biāo)準(zhǔn)、且可以非常容易地編輯文件名，所以，此途徑不十分奏效。另一個解決方案可為通過檢查音頻的屬性—即，其是否被存儲、是否可被下載、是流形式的還是廣播的—來識別音頻內(nèi)容以及識別音頻廣播的其它方面的能力。

發(fā)明內(nèi)容
在這里公開的實(shí)施例內(nèi)，提供了識別第一記錄和第二記錄之間的公共內(nèi)容的方法。該方法包括確定來自第一記錄的第一組內(nèi)容特征、以及來自第二記錄的第二組內(nèi)容特征。第一和第二組內(nèi)容特征中的每個特征出現(xiàn)在相應(yīng)記錄中的對應(yīng)的時間偏移處。該方法還包括識別第一組內(nèi)容特征和第二組內(nèi)容特征之間的匹配特征對；以及在所有匹配特征對內(nèi)，識別與給定的匹配對中的特征相對應(yīng)的最早的時間偏移。
在另一個方面內(nèi)，典型實(shí)施例包括接收包括第二記錄的至少部分的第一記錄；以及確定在第一記錄內(nèi)包含的第二記錄的部分的長度。該方法還包括確定第二記錄的哪部分被包括在第一記錄內(nèi)。
在另一個方面內(nèi)，典型實(shí)施例包括確定來自第一記錄的第一組內(nèi)容特征；以及確定來自第二記錄的第二組內(nèi)容特征。第一和第二組內(nèi)容特征中的每個特征出現(xiàn)在它們相應(yīng)記錄中的對應(yīng)的時間偏移處。該方法還包括識別處于第一組內(nèi)容特征中的來自第二組內(nèi)容特征的特征；以及根據(jù)識別出的特征來識別時間對集合。所述時間對包括與來自第一記錄的特征相關(guān)聯(lián)的第一記錄中的時間偏移、以及與來自第一記錄的特征所匹配的來自第二記錄的特征相關(guān)聯(lián)的第二記錄中的時間偏移。該方法還包括識別具有線性關(guān)系的所述時間對集合內(nèi)的時間對。
對于本領(lǐng)域的技術(shù)人員來說，通過適當(dāng)?shù)貐⒄崭綀D而閱讀以下詳細(xì)描述，這些和其它特征、優(yōu)點(diǎn)以及替代將變得清楚。


圖1圖解了用于識別音頻流內(nèi)的內(nèi)容的系統(tǒng)的一個實(shí)例。
圖2A圖解了具有在時間上的公共重疊區(qū)域的兩個示例音頻記錄。
圖2B圖解了用于圖2A的音頻記錄的示例示意特征分析，其中，橫軸表示時間，而符號表示記錄內(nèi)界標(biāo)(landmark)時間偏移處的特征。
圖2C圖解了與兩個音頻記錄內(nèi)的匹配特征符號相關(guān)聯(lián)的匹配時間對的示例支持列表。
圖3圖解了具有正確和不正確的匹配的圖2C的時間對支持列表的示例散布圖。
圖4圖解了每個音頻記錄中的對應(yīng)的重疊區(qū)域的最早和最晚時間的示例選擇。
圖5圖解了按照用于一個音頻記錄的支持列表的最早和最晚時間的示例的原始和補(bǔ)償?shù)墓烙?jì)。
圖6為繪出根據(jù)一個實(shí)施例的方法的功能塊的流程圖。
具體實(shí)施例方式
在下面描述的示范實(shí)施例內(nèi)，提供了用于識別數(shù)據(jù)流內(nèi)的內(nèi)容的方法。該方法可應(yīng)用于任何類型的數(shù)據(jù)內(nèi)容識別。在下面的實(shí)例中，數(shù)據(jù)為音頻數(shù)據(jù)流。例如，音頻數(shù)據(jù)流可為實(shí)時數(shù)據(jù)流或音頻記錄。
具體地，下面公開的方法描述了用于識別某個數(shù)據(jù)內(nèi)容(如另一個音頻樣本)內(nèi)的音頻文件的技術(shù)。在這樣的實(shí)例中，很有可能存在文件和樣本的公共內(nèi)容的一定量的重疊(即，將在樣本上播放文件)，并且，文件可能作為原始文件的摘錄而在音頻樣本內(nèi)開始和結(jié)束。由此，為了版稅收取問題(例如，其可取決于被使用的音頻文件的長度)，期望在合理的精度下確定文件在音頻樣本內(nèi)的開始和結(jié)束的時間。例如，具體地，如果10秒電視廣告包含3分鐘長的歌曲的5秒的部分，那么，期望檢測到該廣告包含該歌曲的摘錄或片斷，并且，還期望確定所使用的歌曲的長度和部分，以便確定所用部分的版稅權(quán)。
現(xiàn)在參照附圖，圖1圖解了用于識別在其它數(shù)據(jù)內(nèi)容內(nèi)的內(nèi)容(例如，識別無線廣播內(nèi)的歌曲)的系統(tǒng)的一個實(shí)例。該系統(tǒng)包括無線電臺，如無線電臺102，例如，其可為無線電或電視內(nèi)容提供商，其向接收器104廣播音頻流和其它信息。樣本分析器106將監(jiān)視所接收的音頻流，并且，識別屬于所述流的信息，如音軌身份。樣本分析器106包括音頻搜索引擎108，并可訪問包含音頻樣本和廣播信息的數(shù)據(jù)庫110，例如，以便識別所接收的音頻流內(nèi)的音軌。一旦已識別出音頻流內(nèi)的音軌，便可將音軌身份報(bào)告給庫112，所述庫112可為例如消費(fèi)者跟蹤機(jī)構(gòu)、或其它統(tǒng)計(jì)中心。
數(shù)據(jù)庫110可包括很多記錄，并且，每個記錄具有唯一的標(biāo)識，例如sound_ID。數(shù)據(jù)庫自身不一定需要存儲用于每個記錄的音頻文件，這是由于可使用sound_ID來從其它位置檢索音頻文件。聲音數(shù)據(jù)庫索引會非常大，其包含用于成百萬或甚至幾十億個文件的索引。優(yōu)選地，新記錄遞增地添加數(shù)據(jù)庫索引。
盡管圖1圖解了具有給定的配置的系統(tǒng)，但可以其它方式設(shè)置該系統(tǒng)內(nèi)的組件。例如，音頻搜索引擎108可與樣本分析器106分離。由此，應(yīng)理解，這里描述的配置在本質(zhì)上僅為示例，而且，還可使用很多替代配置。
圖1中的系統(tǒng)(并且，具體地，樣本分析器106)可識別音頻流內(nèi)的內(nèi)容。圖2A圖解了在時間上具有公共重疊區(qū)域的兩個音頻記錄，可由樣本分析器106分析所述音頻記錄中的每個，以識別該內(nèi)容。音頻記錄1可為任何類型的記錄，如音頻廣播或電視廣告。音頻記錄2為諸如歌曲或其它記錄的音頻文件，該音頻文件可被包括在音頻記錄1內(nèi)，或?yàn)槿缬伤鲇涗浀闹丿B部分所示出的在音頻記錄1中包括的音頻記錄2的至少一部分。例如，在音頻記錄1內(nèi)被標(biāo)記為重疊的區(qū)域表示在音頻記錄1內(nèi)包括的音頻記錄2的部分，而在音頻記錄2內(nèi)被標(biāo)記為重疊的區(qū)域表示在音頻記錄1內(nèi)的音頻記錄2的部分。重疊表示正在音頻記錄1的部分上播放音頻記錄2。
通過使用在此公開的方法，可識別并報(bào)告第一和第二媒體段之間的重疊區(qū)域(或嵌入?yún)^(qū)域)的范圍。另外，即使嵌入的片斷是不完美的副本，仍可識別出嵌入的片斷。這樣的不完美可源自處理失真，例如，由于混入噪聲、音效、旁白、以及/或者其它干擾聲。例如，第一音頻記錄可為來自音樂庫的演奏，而嵌入在第一記錄內(nèi)的第二音頻記錄可來自電影聲軌或廣告，其中，第一音頻記錄用作與音效一起混入的旁白之后的背景音樂。
為了識別音頻記錄1(AR1)內(nèi)的音頻記錄2(AR2)的長度和部分，首先，識別音頻記錄1。使用AR1來檢索AR2、或者至少AR2內(nèi)的匹配特征及其對應(yīng)時間的列表。圖2B概念性地圖解了已被識別的音頻記錄的特征。在圖2B內(nèi)，例如，用字母和其它ASCII字符來表示所述特征。在本領(lǐng)域中，使用音軌的數(shù)據(jù)庫來識別音頻樣本、以及音頻樣本的特征的各種音頻樣本識別技術(shù)是公知的。下面的專利和公開描述了用于音頻識別技術(shù)的可能的實(shí)例，并且，通過引用而將其分別合并于此，如同在此描述中被完全闡述那樣。
·Kenyon et al，U.S.Patent No.4,843,562，題為″BroadcastInformation Classification System and Method″·Kenyon，U.S.Patent No.5,210,820，題為″SignalRecognition System and Method″·Haitsma等人，國際公布號WO 02/065782 A1，題為″Generating and Matching Hashes of Multimedia Content″·Wang and Smith，國際公布號WO 02/11123 A2，題為″System and Methods for Recognizing Sound and MusicSignals in High Noise and Distortion″·Wang and Culbert，國際公布號WO 03/091990 A1，題為″Robust and Invariant Audio Pattern Matching″具體地，除了與識別出的音軌相關(guān)聯(lián)的元數(shù)據(jù)之外，Wang和Smith的系統(tǒng)和方法還可返回從識別出的音軌的開始起的音頻樣本的相對時間偏移(RTO)。另外，Wang和Culbert的方法可返回時間伸縮比，即，例如，與原始的音軌相比，音頻樣本被加速或減速了多少。然而，現(xiàn)有技術(shù)不能報(bào)告兩個音頻記錄之間的重疊區(qū)域的特性，如重疊的范圍。一旦已識別出媒體段，則期望報(bào)告所采樣的媒體段和對應(yīng)的識別出的媒體段之間的重疊的范圍。
簡而言之，通過接收信號、并在多個采樣點(diǎn)對其進(jìn)行采樣以產(chǎn)生多個信號值，而開始識別音頻記錄1和2的特征。可使用任何已知的公式來計(jì)算信號的統(tǒng)計(jì)矩(statistical moment)，例如，在美國專利第5,210,820號中提到的那樣。隨后，將計(jì)算出的統(tǒng)計(jì)矩與多個存儲的信號標(biāo)識相比較，并且，所接收的信號被識別為與存儲的信號標(biāo)識中的一個相似?？墒褂糜?jì)算出的統(tǒng)計(jì)矩來創(chuàng)建被量化的特征矢量，并且，使用被量化的特征矢量的加權(quán)和來訪問存儲信號標(biāo)識的存儲器。
在另一個實(shí)例中，通常，可通過識別或計(jì)算音頻樣本的特性或指紋(fingerprint)、并將指紋與先前識別出的指紋相比較，來識別音頻內(nèi)容。計(jì)算指紋的樣本內(nèi)的具體位置取決于樣本中的可再現(xiàn)點(diǎn)。這樣的可再現(xiàn)計(jì)算的位置被稱為“界標(biāo)”?？赏ㄟ^樣本自身來確定界標(biāo)在樣本內(nèi)的位置，即，該位置取決于樣本質(zhì)量，并可被再現(xiàn)。也就是說，每次重復(fù)該過程時，對于相同的信號，計(jì)算相同的界標(biāo)。界標(biāo)標(biāo)記(landmarking)方案可在聲音記錄內(nèi)每秒標(biāo)記大約5-10個界標(biāo)；當(dāng)然，界標(biāo)標(biāo)記密度取決于聲音記錄內(nèi)的活動量。
被稱為Power Norm(功率正規(guī)化)的一種界標(biāo)標(biāo)記技術(shù)，計(jì)算記錄中的很多時間點(diǎn)上的瞬時功率，并選擇局部最大值。這樣做的一種方式為通過直接對波形進(jìn)行整流和濾波來計(jì)算包絡(luò)(envelope)。另一種方式為計(jì)算信號的希爾伯特變換(正交)，并使用希爾伯特變換和原始信號的幅度平方和。還可使用用于計(jì)算界標(biāo)的其它方法。
一旦已計(jì)算出界標(biāo)，則在記錄中的每個界標(biāo)時間點(diǎn)或附近計(jì)算指紋。通過所使用的指紋方法來定義特征與界標(biāo)的接近度。在某些情況下，如果特征清晰地對應(yīng)于該界標(biāo)、且不對應(yīng)于先前或后續(xù)的界標(biāo)，則將該特征視為接近該界標(biāo)。在其它情況下，特征對應(yīng)于多個相鄰界標(biāo)。
通常，指紋是對處于或接近時間點(diǎn)的記錄中的特征集進(jìn)行概括的值或值的集合。在一個實(shí)施例中，每個指紋是單個數(shù)值，其為多個特征的散列函數(shù)。指紋的其它實(shí)例包括譜片(spectral slice)指紋、多片指紋、LPC系數(shù)、對數(shù)倒頻譜系數(shù)、以及譜圖峰值的頻率分量。
可通過對信號進(jìn)行的任何類型的數(shù)字信號處理或頻率分析來計(jì)算指紋。在一個實(shí)例中，為生成譜片指紋，在每個界標(biāo)時間點(diǎn)的鄰域中執(zhí)行頻率分析，以提取最高的一些譜峰值。隨后，指紋值可為最強(qiáng)的譜峰值的單個頻率值。
為了利用很多聲音的時間演變，可通過將時間偏移集合加到界標(biāo)時間點(diǎn)，來確定時間片集合。在每個得到的時間片，計(jì)算譜片指紋。隨后，組合所得到的指紋信息集合，以形成一個多音或多片指紋。每個多片指紋比單個譜片指紋更具唯一性，這是因?yàn)椋涓檿r間演變，從而使數(shù)據(jù)庫索引搜索中的錯誤匹配較少。
為了得到有關(guān)計(jì)算音頻樣本的特性或指紋的更多信息，讀者可參照授予Wang和Smith的、標(biāo)題為“System and Methods for RecognizingSound and Music Signals in High Noise and Distortion”的美國專利公開US 2002/0083060，通過引用而將其全部公開合并于此，如同在此描述中被完全闡述那樣。
由此，音頻搜索引擎108將接收音頻記錄1，并計(jì)算樣本的指紋。音頻搜索引擎108可通過聯(lián)系附加的識別引擎來計(jì)算所述指紋。為識別音頻記錄1，音頻搜索引擎108隨后可訪問數(shù)據(jù)庫110，以通過生成等價(jià)指紋之間的對應(yīng)而將音頻樣本的指紋與已知的音軌的指紋匹配，并且，具有最大數(shù)目的線性相關(guān)對應(yīng)的、或者其特征指紋的相對位置最緊密地與音頻樣本的相同指紋的相對位置匹配的數(shù)據(jù)庫110中的文件被視為匹配媒體文件。也就是說，識別界標(biāo)對之間的線性對應(yīng)，并根據(jù)線性相關(guān)的對的數(shù)目來對集合計(jì)分(score)。當(dāng)在可允許的容限內(nèi)、可通過基本上相同的線性等式來描述對應(yīng)的樣本位置和文件位置的統(tǒng)計(jì)有效數(shù)目時，出現(xiàn)線性對應(yīng)。具有最高的統(tǒng)計(jì)有效分?jǐn)?shù)(即，具有最大數(shù)目的線性相關(guān)對應(yīng)的)的集合的文件是獲勝的文件(winning file)。
使用以上方法，可確定音頻記錄1的身份。為確定音頻記錄的相對時間偏移，可將音頻樣本的指紋與它們匹配的原始文件的指紋相比較。每個指紋出現(xiàn)在給定時間，于是，在匹配指紋以識別音頻樣本之后，(音頻樣本中的匹配指紋中的)第一指紋和存儲的原始文件的第一指紋之間的時間差將為音頻樣本的時間偏移，例如，進(jìn)入歌曲中的時間量。由此，可確定取得樣本的相對時間偏移(例如，進(jìn)入歌曲中的67秒)。
具體地，為確定音頻樣本的相對時間偏移，可找到給定散布列表的界標(biāo)點(diǎn)的散布圖內(nèi)的具有接近1的斜率的對角線。散布圖可包括橫軸上的已知的聲音文件界標(biāo)、以及豎軸上的未知聲音樣本界標(biāo)(例如，來自音頻樣本)。在散布圖中識別斜率約等于1的對角線，其表示與未知樣本一起給出此斜率的歌曲匹配該樣本。橫軸上的截距指示樣本開始處進(jìn)入音頻文件的偏移。由此，使用Wang和Smith所公開的“Systemand Methods for Recognizing Sound and Music Signals in High Noiseand Distortion(用于識別高噪聲和失真的聲音和音樂信號的系統(tǒng)和方法)”，例如，如上面所討論的，產(chǎn)生了來自數(shù)據(jù)庫的所識別的內(nèi)容文件的開始與正在分析的音頻樣本的開始之間的精確的相對時間偏移，例如，用戶可記錄進(jìn)入歌曲中的67秒的該歌曲的10秒樣本。由此，相對時間偏移表示為識別音頻樣本的結(jié)果(例如，橫軸上的截距指示相對時間偏移)。用于計(jì)算相對時間偏移的其它方法也是可能的。
由此，除了與識別出的音軌相關(guān)聯(lián)的元數(shù)據(jù)之外，Wang和Smith的技術(shù)還返回從識別出的音軌的開始起的音頻樣本的相對時間偏移。結(jié)果，可使用識別過程內(nèi)的另一驗(yàn)證步驟，其中，可對齊譜圖峰值。因?yàn)閃ang和Smith的技術(shù)生成相對時間偏移，所以，例如，有可能在時間軸中大約10ms內(nèi)對齊譜圖峰值記錄。隨后，可確定匹配時間和頻率峰值的數(shù)目，并且，其為可用于比較的分?jǐn)?shù)。
為了得到有關(guān)確定相對時間偏移的更多信息，讀者可參照授予Wang和Smith的、標(biāo)題為“System and Methods for Recognizing Soundand Music Signals in High Noise and Distortion”的美國專利公開US2002/0083060，通過引用而將其全部公開合并于此，如同在此描述中被完全闡述那樣。
可使用任何以上技術(shù)來識別音頻記錄。由此，在進(jìn)行了音頻記錄1的成功內(nèi)容識別(如通過上述任何方法所執(zhí)行的那樣)之后，可選地，可獲知相對時間偏移(例如，識別出的音軌的開始和樣本的開始之間的時間)，并且，可選地，可獲知時間伸縮比(例如，實(shí)際回放速度對原始主速度)、以及置信級別(例如，對該系統(tǒng)已正確識別了音頻樣本的確信程度)。在很多情況下，時間伸縮比(TSR)可被忽略，或可被假定為1.0，這是由于TSR通常接近于1。為了更高的精度，可考慮TSR和置信級別信息。如果不知道相對時間偏移，則可如下所述來確定。
如圖3所示，在上面描述的示范實(shí)施例內(nèi)，提供了用于識別數(shù)據(jù)流內(nèi)的內(nèi)容的方法(使用上述技術(shù))。首先，確定或獲知音頻記錄1的文件身份(如圖2a所示)、以及音頻記錄2內(nèi)的偏移。例如，可使用上述任何方法來確定所述身份。相對偏移Tr是當(dāng)對齊了重疊區(qū)域中的匹配部分時，從音頻記錄1的開始到音頻記錄1內(nèi)的音頻記錄2的開始的時間偏移。
在接收到此信息之后，如塊130所示，比較數(shù)據(jù)流和識別出的文件的完整的表示(representation)。(由于音頻記錄2的身份是已知的，所以，為了比較的目的，可從數(shù)據(jù)庫中檢索音頻記錄2的表示)。為比較所述兩個音頻記錄，可使用來自識別出的文件和數(shù)據(jù)流的特征，以搜索基本上匹配的特征。由于相對時間偏移是已知的，所以，將來自音頻記錄1的特征與來自音頻記錄2內(nèi)的對應(yīng)的時間幀的特征相比較。在優(yōu)選實(shí)施例中，可使用來自具有作為特征的重疊幀的短時傅立葉變換的局部時間頻率能量峰值，以在每個文件內(nèi)生成一組坐標(biāo)。隨后，在對應(yīng)的時間幀處比較這些坐標(biāo)。為此，可將音頻記錄2與音頻記錄1對齊，以使其與在音頻記錄1中出現(xiàn)的音頻記錄2的部分相符。在所述兩個樣本中存在匹配特征的點(diǎn)處，所述坐標(biāo)(例如，時間/頻率譜峰值)排齊。如果相對時間偏移Tr是已知的，則音頻記錄1和音頻記錄2之間的對齊可以是直接的。在該情況下，可通過使用一個記錄的時間/頻率峰值作為其它記錄的模板，而找到匹配的峰值對。如果在一個文件中的譜峰值處于來自其它記錄的峰值的頻率容限內(nèi)、且對應(yīng)的時間偏移相對于彼此處于相對時間偏移Tr的時間容限內(nèi)，那么，對所述兩個峰值計(jì)數(shù)，作為對齊的匹配特征。
可除了時間和頻率之外的其它特征，例如，在Wang和Smith或Wang和Culbert中說明的、所使用的特征(例如譜時間片或鏈接的譜峰值)。
可替換地，在不能得到相對時間偏移的情況下，如塊132所示，可在標(biāo)注了匹配特征的點(diǎn)處標(biāo)注識別出的記錄和數(shù)據(jù)流的對應(yīng)時間偏移。在這些時間偏移內(nèi)，識別出對齊的匹配，從而產(chǎn)生包含具有相似特征的重疊音頻的特定密度的對應(yīng)的時間偏移點(diǎn)的支持列表。較高的匹配點(diǎn)的密度可導(dǎo)致有關(guān)識別出的匹配點(diǎn)是正確的、更大的確信度。
接下來，如塊134所示，可通過確定(重疊區(qū)域的)對應(yīng)的時間偏移內(nèi)的第一個和最后一個時間點(diǎn)，來確定識別出的記錄和數(shù)據(jù)流之間的重疊的時間范圍。除了具有匹配特征和足夠密集的支持區(qū)域之外，識別出的文件和數(shù)據(jù)流之間的特征應(yīng)出現(xiàn)在相似的相對時間偏移處。也就是說，匹配的對應(yīng)時間偏移的集合應(yīng)具有線性關(guān)系。由此，如塊136和圖4所示，可在概念上繪出對應(yīng)的時間偏移，以識別線性關(guān)系?；貧w線的預(yù)定容限之外的時間對可被視為源自假的不正確的特征匹配。
具體地，根據(jù)圖3中描繪的方法，為確定在音頻記錄1內(nèi)音頻記錄2的部分的開始和結(jié)束出現(xiàn)的時間，比較所述兩個記錄。使用來自第一音頻記錄的每個特征，以在第二音頻記錄中搜索基本上匹配的特征。(可使用上述界標(biāo)標(biāo)記或指紋技術(shù)中的任一個來生成音頻記錄的特征)。本領(lǐng)域的技術(shù)人員可將大量已知的比較技術(shù)應(yīng)用于相似性的測試。在一個實(shí)施例中，例如，如果兩個特征的值(矢量或標(biāo)量)在預(yù)定容限內(nèi)，則將兩個特征視為基本相似。
可替換地，為比較兩個音軌或音頻文件，可生成比較度量(metric)。例如，對于來自兩個音頻記錄的每個匹配的特征對，可通過將時間偏移置入對應(yīng)的“支持列表”中，來標(biāo)注用于來自每個文件的特征的對應(yīng)的時間偏移(即，對于音頻記錄1和2，可能存在分別包含對應(yīng)的時間偏移t1，k和t2，k的支持列表1和2，其中，t1，k和t2，k分別為從第一和第二記錄的開始起的第k個匹配特征的時間偏移)。
此外，可將支持列表表示為包含匹配時間對(t1，k，t2，k)的單個支持列表。這在圖2C中被圖解。在圖2B的實(shí)例中，在兩個文件之間存在三個“X”的公共特征、以及重疊區(qū)域內(nèi)的其余特征的一個公共特征。由此，如圖所示，“X”公共特征中的兩個是假匹配，并且，僅有一個為匹配特征。重疊區(qū)域中的所有其它特征被視為匹配特征。支持列表指示在音頻記錄1中出現(xiàn)對應(yīng)的特征的時間t1，k、以及在音頻記錄2中出現(xiàn)對應(yīng)的匹配特征或假匹配特征的時間t2，k。
此外，可將有關(guān)匹配特征對的另外的細(xì)節(jié)附加到支持列表中的時間中。這樣，支持列表可包含對應(yīng)時間偏移點(diǎn)的特定密度，其中，存在具有相似特征的重疊音頻。這些時間點(diǎn)表征兩個音頻文件之間的重疊。例如，可通過確定時間對集合內(nèi)(或支持列表內(nèi))的第一和最后一個時間點(diǎn)，來確定重疊的時間范圍。具體地，一種方式為從用于第一或第二記錄的支持列表中查看最早的偏移時間點(diǎn)Tearliest以及最晚的偏移時間點(diǎn)Tlatest，并將其相減，以得到時間間隔的長度，如下所示Tj，length＝Tj，latest-Tj，earliest其中，j為與第一或第二記錄相對應(yīng)的1或2，而Tj，length為重疊的范圍。并且，不同于對時間偏移的顯式列表進(jìn)行實(shí)際編譯、然后確定最大和最小時間，當(dāng)找到匹配特征及其對應(yīng)時間偏移時，標(biāo)注匹配特征的最大和最小時間偏移可能就足夠了。在任一情況下，Tj，latest＝maxk{tj，k}，且Tj，earliest＝mink{tj，k}，其中，tj，k為在文件之間對應(yīng)的時間偏移、或在支持列表中時間對內(nèi)的時間點(diǎn)。
還存在可根據(jù)支持列表來確定的其它特性。例如，時間偏移點(diǎn)的密度可指示重疊的標(biāo)識的質(zhì)量。如果點(diǎn)的密度非常低，則對重疊程度的估計(jì)可具有較低的置信度。例如，這可能表示在一個音頻記錄中存在噪聲、或兩個記錄之間的假特征匹配。
圖4圖解了具有正確和不正確的匹配的圖2C的支持列表時間對的示例散布圖。為了減小集合的特征之間偶然的不正確匹配的情況下的假匹配的影響，可計(jì)算或確定沿時間軸的各個位置處的時間點(diǎn)的密度。如果存在進(jìn)入記錄的特定時間偏移周圍的低密度的匹配點(diǎn)，則可質(zhì)疑匹配的魯棒性。例如，如圖4的繪圖中所示，兩個不正確的匹配與其余的所繪出的點(diǎn)不在同一總區(qū)域內(nèi)。
用來計(jì)算密度的另一種方式為考慮具有支持核(例如，具有矩形或三角形)的時間偏移值的集合的卷積。卷積在數(shù)字信號處理領(lǐng)域中是公知的，例如，如在Discrete-Time Signal Processing(2nd Edition)by AlanV.Oppenheim，Ronald W.Schafer，John R.Buck，PublisherPrenticeHall；2nd edition(February15，1999)ISBN0137549202中那樣，通過引用而將其全部合并于此。如果卷積核是矩形的，則用來計(jì)算任何給定點(diǎn)上的密度的一種方式為觀察在期望點(diǎn)周圍的預(yù)定時間間隔Td的區(qū)間內(nèi)存在的時間點(diǎn)的數(shù)目。為確定時間點(diǎn)t是否在充分密集的區(qū)域或鄰域內(nèi)，可在支持列表中搜索在時間點(diǎn)t周圍的間隔[t-Td，t+Td]中的點(diǎn)的數(shù)目。具有在預(yù)定閾值以下的密度(或點(diǎn)數(shù))的時間點(diǎn)可視為不足以被其鄰域所支持以成為有效，并且，隨后，可從支持列表中丟棄所述時間點(diǎn)。可替換地還可使用用于計(jì)算密度的其它已知的技術(shù)。
圖5圖解了用于每個音頻記錄中的對應(yīng)重疊區(qū)域的最早和最晚時間的示例選擇。因?yàn)殚_始和結(jié)束點(diǎn)的測定僅為基于匹配特征的位置的估計(jì)，所以，在一個實(shí)施例中，通過外推(extrapolate)到由支持列表中的最早和最晚時間來約束的區(qū)域的密度補(bǔ)償因子，可使對開始和結(jié)束時間的估計(jì)更精確。例如，在描述有效重疊區(qū)域時假定特征密度的平均值為每單位時間間隔d個時間點(diǎn)，那么，特征點(diǎn)之間的平均時間間隔為1/d。為考慮邊緣效應(yīng)(例如，接近或位于音頻記錄1內(nèi)使用的音頻記錄2的部分的開始或結(jié)束處的內(nèi)容)，可在每個時間點(diǎn)周圍將支持間隔估計(jì)為[-1/2d，+1/2d]。具體地，將支持間隔中的支持的區(qū)域向上或向下擴(kuò)展1/2d；換句話說，擴(kuò)展到具有長度[Tlatest-Tearliest+1/d]的[Tearliest-1/2d，Tlatest+1/2d]。由此，可將音頻記錄2的長度視為[Tearliest-1/2d，Tlatest+1/2d]。此密度補(bǔ)償值能比支持列表中的最早和最晚時間的簡單的差更為準(zhǔn)確。為了方便起見，可將密度估計(jì)為固定值。
圖6圖解了按照用于一個音頻記錄的支持列表的最早和最晚時間的示例性的原始和補(bǔ)償?shù)墓烙?jì)。如圖中所示出的那樣，通過使用如圖5中所識別的Tearliest和Tlatest，可識別出音頻記錄1內(nèi)的重疊區(qū)域的邊緣點(diǎn)。
除了具有匹配特征和充分密集的支持區(qū)域之外，對兩個音頻記錄之間的重疊區(qū)域進(jìn)行表征的支持列表中的特征應(yīng)出現(xiàn)在相似的相對時間偏移處。也就是說，屬于一起(或匹配)的時間對的集合(例如，(t1，k，t2，k)等)應(yīng)具有線性關(guān)系。如果該關(guān)系的斜率為m，那么存在相對偏移Tr，使得(t1，k＝Tr+mt2，k)對于所有k來說均應(yīng)為常量。相對時間偏移Tr可已知為給定的參數(shù)，或者可以是未知的以如下來確定。計(jì)算回歸參數(shù)Tr和m的方式在本領(lǐng)域中是公知的，例如，如在″Numerical Recipes in CThe Art of Scientific Computing，″by William H.Press，Brian P.Flannery，Saul A.Teukolsky，William T.Vetterling；CambridgeUniversity Press；2nd edition(January 1，1993)中那樣，其全部內(nèi)容通過引用合并于此?？商鎿Q地使用其它已知的時間回歸技術(shù)?；貧w線的斜率m補(bǔ)償兩個記錄之間的相對回放速度的差。
在圖4和5中圖解了回歸線。對于正確的特征匹配來說，所繪出的點(diǎn)具有線性關(guān)系，其中可確定斜率m。如圖4所示，可將回歸線的預(yù)定容限之外的時間對視為源自假的不正確的特征匹配。
下面，根據(jù)(t1，k＝Tr+mt2，k)，通過所繪出的點(diǎn)來表示回歸線Tr＝t1，k-mt2，k并且由此，估計(jì)假時間對的另一方式為通過以下等式來計(jì)算ΔTk＝t1，k-mt2，k-Tr其結(jié)果應(yīng)等于或接近0。如果|ΔT|＞δ，其中δ為預(yù)定容限，那么從支持列表刪除時間對(t1，k，t2，k)。在很多情況下，可假定斜率為m＝1，從而導(dǎo)出
ΔTk＝t1，k-t2，k-Tr這樣，如果時間對(t1，k，t2，k)不具有與其它時間對的線性關(guān)系，則將排除該假時間對(t1，k，t2，k)。
其它用于確定回歸參數(shù)的方法也是可用的。例如，Wang和Culbert(Wang and Culbert，國際公布號WO 03/091990 A1，題為″Robust andInvariant Audio Pattern Matching″)公開了用于基于來自部分不變特征匹配的直方圖頻率(histogramming frequency)或時間比來確定回歸參數(shù)的方法。例如，可通過檢測(t1，k-t2，k)的值的直方圖中的寬峰來確定偏移Tr，針對寬峰中的界標(biāo)/特征的頻率坐標(biāo)來計(jì)算比f2，k/f1，k，然后將所述比置入直方圖，以找到頻率比中的峰。頻率比中的峰值產(chǎn)生回歸量的斜率值m。然后，例如，可通過找到直方圖峰，根據(jù)(t1，k-mt2，k)值來估計(jì)偏移Tr。
可達(dá)到相同的最終結(jié)果的項(xiàng)和中間物的代數(shù)變換和組合均落在權(quán)利要求的范圍內(nèi)。例如，如果僅期望時間間隔的長度，那么可更直接地計(jì)算時間差，而不是單獨(dú)計(jì)算最早和最晚時間。由此，通過使用上述方法，可確定數(shù)據(jù)流內(nèi)所包含的數(shù)據(jù)文件的長度。
很多實(shí)施例被描述為獨(dú)立地、或以與其它實(shí)施例組合的方式來執(zhí)行，然而，上述實(shí)施例中的任一個可一起、或以任意組合的方式來使用，以增強(qiáng)對數(shù)據(jù)流中的樣本進(jìn)行識別的確信度。另外，很多實(shí)施例可通過使用具有廣播流接收裝置(如，無線電接收器)、以及(1)用于與用來執(zhí)行識別步驟的中央識別服務(wù)器通信的數(shù)據(jù)發(fā)送裝置或(2)用于執(zhí)行消費(fèi)者裝置自身中所構(gòu)建的識別步驟的裝置(例如，音頻識別裝置數(shù)據(jù)庫可加載到消費(fèi)者裝置上)來執(zhí)行。此外，消費(fèi)者裝置可包括用于更新數(shù)據(jù)庫以適應(yīng)于對新音軌的識別的裝置，如到服務(wù)器的以太網(wǎng)或無線數(shù)據(jù)連接；以及用來請求數(shù)據(jù)庫更新的裝置。消費(fèi)者裝置還可包括本地存儲裝置用于存儲所識別的段和被標(biāo)記的音軌文件，并且該消費(fèi)者裝置還可具有播放列表選擇和音軌回放裝置，例如，如在自動唱片點(diǎn)唱機(jī)(jukebox)中那樣。
上述方法可以與通用或?qū)Ｓ锰幚砥骷耙粋€或多個關(guān)聯(lián)的存儲結(jié)構(gòu)結(jié)合使用的軟件來實(shí)現(xiàn)。然而，可替換地，可使用利用附加硬件和/或固件的其它實(shí)現(xiàn)。例如，本發(fā)明的機(jī)制能夠以各種形式的指令的計(jì)算機(jī)可讀介質(zhì)的形式來分布，并且，無論用來實(shí)際執(zhí)行該分布的信號承載媒介的特定類型如何，本發(fā)明均同等地適用。這樣的計(jì)算機(jī)可訪問裝置的實(shí)例包括計(jì)算機(jī)存儲器(RAM或ROM)、軟盤和CD-ROM、以及諸如數(shù)字和模擬通信鏈路的傳輸型媒介。
盡管已結(jié)合本申請的實(shí)施例來描述了一些實(shí)例，但本領(lǐng)域的技術(shù)人員將理解，可作出變化，而不會背離本申請的范圍和精神。例如，盡管在實(shí)例中描述的廣播數(shù)據(jù)流經(jīng)常是音頻流，但本發(fā)明不限于此，而是還可被應(yīng)用于各種廣播內(nèi)容，包括視頻、電視或其它多媒體內(nèi)容。此外，可以硬件、軟件或組合(例如，通過易失性或非易失性存儲器來運(yùn)行軟件應(yīng)用的通用或?qū)Ｓ锰幚砥?的方式來實(shí)現(xiàn)這里描述的設(shè)備和方法。所附權(quán)利要求定義了本申請的真實(shí)范圍和精神，可根據(jù)上述內(nèi)容來解釋權(quán)利要求。
權(quán)利要求
1.一種對第一數(shù)據(jù)流和第二數(shù)據(jù)流之間的公共內(nèi)容進(jìn)行識別的方法，包括確定來自第一數(shù)據(jù)流的第一組內(nèi)容特征，所述第一組內(nèi)容特征中的每個特征出現(xiàn)在所述第一數(shù)據(jù)流中的對應(yīng)時間偏移處；確定來自第二數(shù)據(jù)流的第二組內(nèi)容特征，所述第二組內(nèi)容特征中的每個特征出現(xiàn)在所述第二數(shù)據(jù)流中的對應(yīng)時間偏移處；識別所述第一組內(nèi)容特征和所述第二組內(nèi)容特征之間的匹配特征對；以及在所有所述匹配特征對內(nèi)，識別與給定匹配對中的特征相對應(yīng)的最早時間偏移。
2.如權(quán)利要求1所述的方法，其中，所述第一數(shù)據(jù)流和所述第二數(shù)據(jù)流包括音頻流。
3.如權(quán)利要求1所述的方法，還包括在所有所述匹配特征對內(nèi)，識別與給定匹配對中的特征相對應(yīng)的最晚時間偏移。
4.如權(quán)利要求3所述的方法，還包括確定存在于所述第一數(shù)據(jù)流內(nèi)的、來自所述第二數(shù)據(jù)流的內(nèi)容的長度。
5.如權(quán)利要求4所述的方法，其中，確定存在于所述第一數(shù)據(jù)流內(nèi)的、來自所述第二數(shù)據(jù)流的內(nèi)容的長度包括確定所述最早時間偏移和所述最晚時間偏移之間的差。
6.如權(quán)利要求1所述的方法，還包括生成包括匹配時間偏移對的列表的支持列表，其中，所述匹配時間偏移對每個與找到匹配特征對之處的所述第一數(shù)據(jù)流和所述第二數(shù)據(jù)流內(nèi)的時間偏移相對應(yīng)。
7.如權(quán)利要求6所述的方法，還包括得到所述第一數(shù)據(jù)流內(nèi)的所述第二數(shù)據(jù)流的相對時間偏移；并且其中，識別所述第一組內(nèi)容特征和所述第二組內(nèi)容特征之間的匹配特征對包括識別在預(yù)定容限內(nèi)的對應(yīng)特征、以及在相對時間偏移的預(yù)定容限內(nèi)的對應(yīng)時間偏移。
8.如權(quán)利要求6所述的方法，其中，所述支持列表表征所述第一數(shù)據(jù)流和所述第二數(shù)據(jù)流之間的重疊區(qū)域。
9.如權(quán)利要求6所述的方法，還包括根據(jù)所述支持列表來確定重疊區(qū)域中的各時間偏移處的時間點(diǎn)密度，由此，所述時間點(diǎn)密度表征所識別的匹配特征的置信度。
10.如權(quán)利要求9所述的方法，其中，根據(jù)所述支持列表來確定重疊區(qū)域中的各時間偏移處的時間點(diǎn)密度包括確定期望點(diǎn)t周圍的預(yù)定時間間隔Td的區(qū)間內(nèi)所存在的時間點(diǎn)的數(shù)目；以及在所述支持列表中搜索間隔[t-Td，t+Td]中的點(diǎn)數(shù)。
11.如權(quán)利要求10所述的方法，還包括從所述支持列表中丟棄處于不足夠密集的鄰域中的時間偏移。
12.如權(quán)利要求11所述的方法，其中，如果在從匹配時間偏移對內(nèi)的第一時間偏移點(diǎn)起的預(yù)定時間間隔內(nèi)存在至少預(yù)定數(shù)目的相鄰點(diǎn)，則該時間偏移點(diǎn)處于足夠密集的鄰域中。
13.如權(quán)利要求11所述的方法，其中，如果在從匹配時間偏移對內(nèi)的第一時間偏移點(diǎn)起的預(yù)定時間間隔內(nèi)不存在至少預(yù)定數(shù)目的相鄰點(diǎn)，則該時間偏移點(diǎn)處于不足夠密集的鄰域中，其中，所述預(yù)定時間間隔為[t-Td，t+Td]。
14.如權(quán)利要求6所述的方法，還包括根據(jù)所述支持列表來確定最早時間；以及根據(jù)支持列表來確定最晚時間，由此，所述支持列表中的最早時間和最晚時間表征所述第一數(shù)據(jù)流和所述第二數(shù)據(jù)流之間的重疊區(qū)域的長度。
15.如權(quán)利要求14所述的方法，還包括針對密度邊緣效應(yīng)來調(diào)節(jié)所述最早時間和所述最晚時間。
16.如權(quán)利要求15所述的方法，針對密度邊緣效應(yīng)來調(diào)節(jié)所述最早時間和所述最晚時間包括識別所述支持列表內(nèi)的最低時間偏移和最高時間偏移；從所述最低時間偏移中減去預(yù)定的密度補(bǔ)償因子；以及將所述預(yù)定的密度補(bǔ)償因子加到所述最高時間偏移。
17.如權(quán)利要求14所述的方法，還包括通過從所述最晚時間中減去所述最早時間，來確定重疊時間間隔。
18.如權(quán)利要求14所述的方法，其中，在描述所述第一數(shù)據(jù)流和所述第二數(shù)據(jù)流之間的有效重疊區(qū)域時，特征密度是指每單位時間間隔內(nèi)d個時間點(diǎn)，并且其中，特征點(diǎn)之間的平均時間間隔是1/d，該方法還包括將來自所述支持列表的最早時間和來自所述支持列表的最晚時間周圍的間隔估計(jì)為[Tearliest-1/2d，Tlatest+1/2d]；以及將所述第一數(shù)據(jù)流和所述第二數(shù)據(jù)流之間的重疊區(qū)域的長度計(jì)算為(Tearliest-1/2d)和(Tlatest+1/2d)之間的差。
19.如權(quán)利要求1所述的方法，還包括對于每個匹配特征對，根據(jù)所述第一數(shù)據(jù)流和所述第二數(shù)據(jù)流中的各對應(yīng)時間偏移來形成關(guān)聯(lián)的時間對；根據(jù)所述時間對來確定時間對回歸線；以及丟棄基本上偏離所述時間對回歸線的所識別的匹配特征對。
20.如權(quán)利要求19所述的方法，其中，根據(jù)所述時間對來確定時間對回歸線包括對于每個時間對，通過從所述時間對的第二時間偏移中減去所述時間對的第一時間偏移來形成時間對相對偏移；形成所述時間對相對偏移的直方圖；以及識別所述直方圖中的峰值，由此，所述峰值確定所述時間對回歸線的最佳相對偏移。
21.如權(quán)利要求1所述的方法，其中，確定來自所述第一數(shù)據(jù)流的第一組內(nèi)容特征和來自所述第二數(shù)據(jù)流的第二組內(nèi)容特征包括識別所述第一數(shù)據(jù)流和所述第二數(shù)據(jù)流的本地頻率分解內(nèi)的峰值。
22.如權(quán)利要求21所述的方法，還包括根據(jù)本地頻率分解來計(jì)算矢量；以及確定由所述矢量所表征的特征。
23.如權(quán)利要求1所述的方法，其中，內(nèi)容特征為數(shù)據(jù)流的頻譜峰值。
24.一種計(jì)算機(jī)可讀介質(zhì)，其中存儲有用于使中央處理單元執(zhí)行權(quán)利要求1的方法的指令。
25.一種識別數(shù)據(jù)流內(nèi)的內(nèi)容的方法，包括接收包括第二數(shù)據(jù)流的至少部分的第一數(shù)據(jù)流；確定在所述第一數(shù)據(jù)流內(nèi)包含的所述第二數(shù)據(jù)流的部分的長度；以及確定所述第二數(shù)據(jù)流的哪部分是被包括在所述第一數(shù)據(jù)流內(nèi)的部分。
26.如權(quán)利要求25所述的方法，還包括確定來自所述第一數(shù)據(jù)流的第一組內(nèi)容特征，所述第一組內(nèi)容特征中的每個特征出現(xiàn)在所述第一數(shù)據(jù)流中的對應(yīng)時間偏移處；確定來自所述第二數(shù)據(jù)流的第二組內(nèi)容特征，所述第二組內(nèi)容特征中的每個特征出現(xiàn)在所述第二數(shù)據(jù)流中的對應(yīng)時間偏移處；識別處于所述第一組內(nèi)容特征中的來自所述第二組內(nèi)容特征的特征；以及根據(jù)處于所述第一組內(nèi)容特征中的來自所述第二組內(nèi)容特征的特征的對應(yīng)時間偏移，確定所述第一數(shù)據(jù)流內(nèi)的所述第二數(shù)據(jù)流的部分的長度。
27.一種識別數(shù)據(jù)流內(nèi)的內(nèi)容的方法，包括確定來自第一數(shù)據(jù)流的第一組內(nèi)容特征，所述第一組內(nèi)容特征中的每個特征出現(xiàn)在所述第一數(shù)據(jù)流中的對應(yīng)時間偏移處；確定來自第二數(shù)據(jù)流的第二組內(nèi)容特征，所述第二組內(nèi)容特征中的每個特征出現(xiàn)在所述第二數(shù)據(jù)流中的對應(yīng)時間偏移處；識別處于所述第一組內(nèi)容特征中的來自所述第二組內(nèi)容特征的特征；根據(jù)所識別的特征，識別時間對集合，其中，時間對包括與來自所述第一數(shù)據(jù)流的特征相關(guān)聯(lián)的所述第一數(shù)據(jù)流中的時間偏移、以及與來自所述第一數(shù)據(jù)流的特征所匹配的來自所述第二數(shù)據(jù)流的特征相關(guān)聯(lián)的所述第二數(shù)據(jù)流中的時間偏移；以及識別具有線性關(guān)系的所述時間對集合內(nèi)的時間對。
28.如權(quán)利要求27所述的方法，還包括確定所述第一數(shù)據(jù)流內(nèi)的所述第二數(shù)據(jù)流的部分的長度。
29.如權(quán)利要求28所述的方法，其中，確定所述第一數(shù)據(jù)流內(nèi)的所述第二數(shù)據(jù)流的部分的長度包括在具有線性關(guān)系的所述時間對集合內(nèi)，識別最早的對應(yīng)時間偏移和最晚的對應(yīng)時間偏移；以及計(jì)算所述最早的對應(yīng)時間偏移和所述最晚的對應(yīng)時間偏移之間的差。
全文摘要
提供了表征兩個媒體段的重疊的方法。在存在文件和數(shù)據(jù)樣本的一定量的重疊的實(shí)例中，該文件可為原始文件的摘錄，并在所述數(shù)據(jù)樣本內(nèi)開始和結(jié)束。通過將識別的文件特征與識別的數(shù)據(jù)樣本特征相匹配，可確定所述數(shù)據(jù)樣本內(nèi)的所述文件的部分的開始和結(jié)束時間。使用這些時間，還可確定所述文件在所述數(shù)據(jù)樣本內(nèi)的長度。
文檔編號G01R29/00GK1973209SQ200580020582
公開日2007年5月30日 申請日期2005年6月24日 優(yōu)先權(quán)日2004年6月24日
發(fā)明者A·禮俊·王 申請人:蘭德馬克數(shù)字服務(wù)有限責(zé)任公司