一種新型視聽節(jié)目廣告投播方法
【專利摘要】本發(fā)明公開了一種新型視聽節(jié)目廣告投放方法，涉及視頻標(biāo)注技術(shù)領(lǐng)域；解決了現(xiàn)有技術(shù)計算量大，計算速度慢的技術(shù)問題；該技術(shù)方案包括：步驟一，監(jiān)聽分析音頻播出設(shè)備的輸出；步驟二，實時計算語音哈希值；步驟三，將語音哈希值與廣告標(biāo)注庫里的視聽節(jié)目的語音哈希值進(jìn)行對比，查找對應(yīng)的廣告內(nèi)容，顯示在屏幕上。
【專利說明】
一種新型視聽節(jié)目廣告投播方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及視頻標(biāo)注技術(shù)領(lǐng)域，特別涉及一種新型視聽節(jié)目廣告投播方法。
【背景技術(shù)】
[0002] 通常采用感知哈希技術(shù)來匹配內(nèi)容相似的多媒體內(nèi)容。感知哈希可以將具有相同 感知內(nèi)容的多媒體數(shù)字唯一的映射為一段數(shù)字摘要，可以對內(nèi)容保持操作的魯棒性和對內(nèi) 容篡改的區(qū)分性，并滿足單向性、抗碰撞性等要求。感知哈希技術(shù)在基于內(nèi)容的多媒體識別 和檢索中得到了廣泛的應(yīng)用。
[0003] -個視聽節(jié)目內(nèi)容，使用不同的設(shè)備，在不同的網(wǎng)站、電視臺播放時，它的碼率、音 頻編碼算法、音頻采樣格式、音頻采樣率、聲音強(qiáng)度會出現(xiàn)變化。文件可能會被剪切，畫面上 可能會加上水印、廣告等等。這對哈希技術(shù)和檢索匹配技術(shù)的計算速度提出了更高的要求， 只有非常快速的哈希技術(shù)，才能應(yīng)用于電腦、智能手機(jī)、智能電視等不同的播放設(shè)備。
[0004] 已有的音頻哈希技術(shù)基于線性預(yù)測、MFCC等復(fù)雜特征進(jìn)行的計算，為防止篡改而 設(shè)計，復(fù)雜、計算量非常大，不利于在播放器端進(jìn)行快速處理。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明要解決的是現(xiàn)有技術(shù)計算量大，計算速度慢的技術(shù)問題。
[0006] 為了解決上述問題，本發(fā)明提供了一種新型視聽節(jié)目廣告投播方法，包括：
[0007] 步驟一，監(jiān)聽分析音頻播出設(shè)備的輸出；
[0008] 步驟二，實時計算語音哈希值；
[0009] 步驟三，將語音哈希值與廣告標(biāo)注庫里的視聽節(jié)目的語音哈希值進(jìn)行對比，查找 對應(yīng)的廣告內(nèi)容，顯示在屏幕上。
[0010]通過以上技術(shù)方案可知，本發(fā)明提供一種新型視聽節(jié)目廣告投播方法，本發(fā)明技 術(shù)計算量非常低，音頻數(shù)據(jù)解碼后得到數(shù)據(jù)樣本，直接比較相鄰數(shù)據(jù)樣本的符號即可，沒有 復(fù)雜的運算，并且得到的哈希摘要內(nèi)容豐富，匹配準(zhǔn)確。用戶使用播放設(shè)備時，無論使用不 同的播放器，只要聲音輸出是開著的，就能加載播放內(nèi)容關(guān)聯(lián)的廣告。本發(fā)明通過分析設(shè)備 發(fā)出的聲音，而不是分析視頻流數(shù)據(jù)，來進(jìn)行內(nèi)容匹配。這樣就使整個應(yīng)用不依賴于電視 臺、視頻網(wǎng)站這些播放渠道，不需要它們的授權(quán)。不依賴于這些渠道，播放的廣告卻又和這 些渠道內(nèi)容存在關(guān)聯(lián)關(guān)系，是一種"新型"廣告平臺。
【附圖說明】
[0011] 圖1 一種新型視聽節(jié)目廣告投播方法流程圖；
[0012] 圖2-種新型視聽節(jié)目廣告投播方法示意圖；
[0013] 圖3-種新型視聽節(jié)目廣告投播方法示意圖；
[0014] 圖4解碼后的音頻數(shù)據(jù)按照樣本先后順序繪制成的過零率示意圖；
[0015] 圖5最佳匹配偏移附近的連續(xù)時間偏移與計算的平均距離示意圖；
[0016] 圖6-種新型視聽節(jié)目廣告投播方法流程圖。
【具體實施方式】
[0017] 下面將結(jié)合附圖及實施例對本發(fā)明的技術(shù)方案進(jìn)行更詳細(xì)的說明。
[0018] 需要說明的是，如果不沖突，本發(fā)明實施例以及實施例中的各個特征可以相互結(jié) 合，均在本發(fā)明的保護(hù)范圍之內(nèi)。
[0019] 實施例一，如圖1所示，一種新型視聽節(jié)目廣告投播方法，包括：
[0020] 步驟一，監(jiān)聽分析音頻播出設(shè)備的輸出；
[0021] 步驟二，實時計算語音哈希值；
[0022] 步驟三，將語音哈希值與廣告標(biāo)注庫里的視聽節(jié)目的語音哈希值進(jìn)行對比，查找 對應(yīng)的廣告內(nèi)容，顯示在屏幕上。
[0023] 本發(fā)明技術(shù)計算量非常低，沒有復(fù)雜的運算，根據(jù)視頻文件的哈希特征與對視頻 文件的標(biāo)注內(nèi)容信息的對應(yīng)關(guān)系準(zhǔn)確匹配標(biāo)注信息，便于播放。用戶使用播放設(shè)備時，無論 使用不同的播放器，只要聲音輸出是開著的，就能加載播放內(nèi)容關(guān)聯(lián)的廣告。
[0024] 本發(fā)明通過分析設(shè)備發(fā)出的聲音，而不是分析視頻流數(shù)據(jù)，來進(jìn)行內(nèi)容匹配。這樣 就使整個應(yīng)用不依賴于電視臺、視頻網(wǎng)站這些播放渠道，不需要它們的授權(quán)。不依賴于這些 渠道，播放的廣告卻又和這些渠道內(nèi)容存在關(guān)聯(lián)關(guān)系，是一種"新型"廣告平臺。
[0025] 實施例二，如圖6所示，在實施例一的基礎(chǔ)上，更優(yōu)的，所述步驟一，監(jiān)聽分析音頻 播出設(shè)備的輸出；具體包括記錄下音頻播出設(shè)備連續(xù)一段時間的聲音采樣，歸一化為一個 同一頻率的聲音樣本。歸一化為一個同一頻率的聲音樣本便于分析聲音樣本。
[0026]更優(yōu)的，歸一化為一個同一頻率的聲音樣本，最優(yōu)的為8000HZ的聲音樣本。在一個 較低的采樣頻率下計算過零率和進(jìn)行匹配，這些細(xì)微的變化對匹配而言，影響并不大。 [0027]更優(yōu)的，所述步驟二，實時計算語音哈希值;具體包括計算過去t時間的聲音樣本 的單向過零點語音哈希值。在語音數(shù)據(jù)的波形圖中，橫軸是〇軸，穿過橫軸便是過零。只要臨 接兩個樣本的符號不同，既統(tǒng)計為一次過零。單位時間內(nèi)的過零次數(shù)，即為過零率。過零率 是非常易于計算的特征。過零率還具有抗編輯的特征。實時計算語音哈希值，可以便捷、快 速的分析當(dāng)前播放的視聽節(jié)目。
[0028]更優(yōu)的，t為10秒到30分鐘之間。t時間太長沒有工作量大，也沒有必要。太短不利 于數(shù)據(jù)分析。
[0029]更優(yōu)的，最優(yōu)的t為30秒到2分鐘。這個時間比較短，工作量也不大，也可以計算出 語音哈希值，有利于加快效率。
[0030] 更優(yōu)的，所述步驟三，通過將語音哈希值先查詢匹配的視聽節(jié)目，再查詢對應(yīng)視聽 節(jié)目的廣告標(biāo)注數(shù)據(jù)，最后返回匹配的廣告標(biāo)注內(nèi)容及標(biāo)注對應(yīng)視聽節(jié)目時間段的過零點 語音哈希值，所述廣告標(biāo)注內(nèi)容及標(biāo)注對應(yīng)視聽節(jié)目時間段的過零點語音哈希值需要向前 預(yù)取部分。舉例說明，假設(shè)一條廣告標(biāo)注在某視聽節(jié)目的第40秒至第42秒出現(xiàn)，所返回的標(biāo) 注對應(yīng)的過零點語音哈希值不僅僅包括該視聽節(jié)目第40秒至第42秒的過零點語音哈希值， 還應(yīng)包括之前一段時間的過零點語音哈希值。假設(shè)這個前置時間為30秒，則該標(biāo)注對應(yīng)的 語音哈希值應(yīng)為第10秒至第42秒的過零點語音哈希值。向前預(yù)取部分有利于準(zhǔn)確計算及匹 配標(biāo)注對應(yīng)視聽節(jié)目時間段的過零點語音哈希值。
[0031] 更優(yōu)的，區(qū)分查詢得到的廣告及其對應(yīng)的語音哈希值;將已經(jīng)播放的標(biāo)注對應(yīng)視 聽節(jié)目語音片段哈希值和區(qū)分出的廣告及其對應(yīng)的語音哈希值進(jìn)行比對，查看有沒有廣告 需要進(jìn)行播放，如果有，則在畫面上指定位置播放廣告。
[0032] 區(qū)分查詢得到的廣告及其對應(yīng)的語音哈希值包括將查詢得到的廣告及其對應(yīng)的 語音哈希值放入本地廣告緩存或其它的方式與廣告標(biāo)注庫里的其它信息區(qū)分開的方式。這 樣便于廣告能夠及時得到播放。
[0033] 更優(yōu)的，定時查找廣告庫，和/或定時查找區(qū)分出的查詢得到的廣告是否需要播 放。將已經(jīng)播放的語音片段和視頻廣告緩沖區(qū)中預(yù)取的部分進(jìn)行比對，查看有沒有廣告需 要進(jìn)行播放，如果有，則在畫面上指定位置播放廣告;這樣便于廣告能夠及時得到播放。 [0034]以上流程中，查找廣告庫這一過程可以定時進(jìn)行，查找頻率可以在100毫秒一 30分 鐘之間，推薦為30秒一2分鐘1次。查詢本地廣告緩存這一過程查找頻率比較高，推薦為100 暈秒一 10秒1次。
[0035] 播放廣告的位置可以在視頻設(shè)備的四周或角落等不影響用戶觀看視頻的地方。
[0036] 更優(yōu)的，實現(xiàn)步驟一、二、三之前，播放設(shè)備安裝一個獨立的應(yīng)用，所述獨立的應(yīng)用 是一個獨立的程序或者APP應(yīng)用，通過這個獨立的應(yīng)用實現(xiàn)步驟一、二、三。本發(fā)明可作為智 能電視、智能手機(jī)、電腦等視音頻播放設(shè)備的新型廣告平臺，實現(xiàn)內(nèi)容相關(guān)的精準(zhǔn)廣告投 放。本發(fā)明不要求播放器內(nèi)部內(nèi)置廣告機(jī)制，只要求播放設(shè)備安裝一個獨立的應(yīng)用即可，特 別適用于智能手機(jī)、智能電視等能夠預(yù)安裝應(yīng)用的場景。這樣，用戶使用播放設(shè)備時，無論 使用不同的播放器，只要聲音輸出是開著的，就能加載播放內(nèi)容關(guān)聯(lián)的廣告。
[0037] 對試聽節(jié)目進(jìn)行廣告標(biāo)注及播放的方法為如圖3、圖4所示：
[0038] 第一步:對視聽節(jié)目內(nèi)容進(jìn)行廣告標(biāo)注。廣告標(biāo)注例如，指定在視頻節(jié)目播放到第 20秒-22秒時，在視頻畫面顯示一條圖文廣告，用戶點開廣告，能夠顯示更詳細(xì)的內(nèi)容，或者 跳轉(zhuǎn)到購買畫面。
[0039] 第二步:將視聽節(jié)目內(nèi)容的音頻哈希特征值、標(biāo)注錨定點數(shù)據(jù)(起、止時間點）寫入 廣告標(biāo)注庫。廣告標(biāo)注庫里存儲了大量視聽節(jié)目內(nèi)容音頻哈希特征值及其標(biāo)注內(nèi)容。視聽 節(jié)目內(nèi)容的音頻哈希特征值的計算方法在后面詳細(xì)描述。
[0040] 第三步：在播放設(shè)備上安裝獨立應(yīng)用，即廣告服務(wù)程序，監(jiān)聽設(shè)備的音頻播放輸 出，檢測過去一段時間的語音哈希值，根據(jù)相似度從廣告標(biāo)注庫里檢索匹配的廣告內(nèi)容和 錨定點數(shù)據(jù)，在播放視頻到對應(yīng)內(nèi)容時，能夠在界面上顯示對應(yīng)的廣告圖文信息。
[0041] 本發(fā)明采用以語音過零率特征為基礎(chǔ)的視聽節(jié)目哈希機(jī)制和設(shè)備端動態(tài)內(nèi)容關(guān) 聯(lián)廣告查詢與加載機(jī)制。
[0042] 基于語音過零率特征的視頻文件哈希機(jī)制
[0043] 視聽節(jié)目里的音頻數(shù)據(jù)，解碼后的每個通道數(shù)據(jù)為一段連續(xù)的數(shù)字，表示每秒對 聲音采樣后的樣本值。比如說，44100HZ有符號16bit的音頻每秒進(jìn)行44100次采樣，每次采 樣的數(shù)字為16位有符號整數(shù)。將解碼后的音頻數(shù)據(jù)按照樣本先后順序繪圖，可得到圖4。
[0044] 在數(shù)據(jù)的波形圖中，橫軸是0軸，穿過橫軸便是過零。只要臨接兩個樣本的符號不 同，既統(tǒng)計為一次過零。單位時間內(nèi)的過零次數(shù)，即為過零率。過零率是非常易于計算的特 征。
[0045] 過零率還是抗編輯的特征。常見的視頻編輯中，對聲音的編輯主要有剪切、改變音 量大小、改變采樣率、改變編碼格式等方式。對聲音進(jìn)行剪切，并不會導(dǎo)致過零率發(fā)生變化； 改變音量大小，導(dǎo)致采樣樣本的幅度發(fā)生變化，也不會導(dǎo)致過零率的變化;改變采樣率和改 變編碼格式會導(dǎo)致過零率產(chǎn)生細(xì)微的變化，我們的實驗結(jié)果表明，將語音樣本降采樣，在一 個較低的采樣頻率下計算過零率和進(jìn)行匹配，這些細(xì)微的變化對匹配而言，影響并不大。
[0046]特征的具體計算方式如下：
[0047] 第一步，對聲音進(jìn)行降采樣，統(tǒng)一為一個較低頻率(典型為8000HZ或4000HZ)的音 頻數(shù)據(jù)。
[0048] 第二步，對音頻數(shù)據(jù)按照固定的時間間隔T進(jìn)行分割，計算每個T時間間隔的單向 過零數(shù)。比如，只計算上一個樣本為負(fù)，下一個樣本為正，這樣的過零數(shù)。真實過零率必然為 單向過零率的兩倍，因此，采用單向過零數(shù)代表過零數(shù)，可以減少計算量。單向過零數(shù)序列 便是這個視頻在T時間分辨率下的音頻特征，存入數(shù)據(jù)庫。每個視頻文件，可以存儲一個時 間分辨率下的音頻特征，也可以存儲多個時間分辨率下的音頻特征。T越大，特征串的長度 越低，匹配速度越快，匹配精度會產(chǎn)生對應(yīng)下降。
[0049] 第三步，進(jìn)行匹配。假設(shè)有兩個視頻文件A和B，視頻文件B是視頻文件A的衍生文 件。在相同的T下計算，A文件得到的特征字符串為A1A2A3…An，B文件得到的特征字符串為 BlB2B3***Bm〇 ?m^n〇
[0050] 對B特征字符串依次偏移T的整數(shù)倍，計算對應(yīng)字符串位置的單向過零數(shù)的平均距 離：
[0051]
[0052 ]求D j的最小值，如果最小值小于指定的閾值，則認(rèn)為兩個視頻文件匹配上了。記最 小值對應(yīng)的j值為jf，則jfT為視頻文件B對于視頻文件A的時間偏移量。
[0053]我們選擇了一段25分鐘09秒的視頻，記為視頻A，使用視頻編輯軟件，將視頻里從5 分31秒到7分18秒部分剪切下來，保存為視頻B。兩個視頻的采樣率均為44100HZ。提取音頻， 降采樣頻率為8000HZ，以0.025秒為步長，計算特征字符串，兩個字符串間的匹配，得到的最 小特征距離為3.16,最佳匹配位置為331.225秒，與剪切起點331秒的誤差為0.225秒，可見 匹配的比較準(zhǔn)確。
[0054]將最佳匹配偏移附近的連續(xù)時間偏移與計算的平均距離作圖，見圖5:
[0055]可以看見，在兩個視頻所比較的音頻內(nèi)容接近重疊的地方，單向過零點特征計算 的平均距離由大于12迅速降低至4以下。
[0056]使用另外兩個與A不相干的視頻C和D，計算B與它們的最小匹配距離，結(jié)果為16.53 和13.82。以4為閾值，可以得出，B不是C和D的衍生視頻，B是A的衍生視頻，時間偏移為 331.225秒的結(jié)論。
[0057]使用視頻編輯軟件，將B視頻里的音頻數(shù)據(jù)采用24000HZ的采樣率編碼，得到視頻 E;保持采樣率不變，將編碼格式由AAC變?yōu)锳MR，得到視頻F。計算視頻E、F與A的最小匹配距 離，得到的結(jié)果分別為2.60和3.24,對應(yīng)的偏移時間為331.125和331.225。由此可見，哈希 特征對編碼格式和采樣率的改變具有非常強(qiáng)的魯棒性。
[0058]本發(fā)明提出了一種全新的試聽節(jié)目廣告機(jī)制，它通過監(jiān)聽設(shè)備播放的聲音，向服 務(wù)器端發(fā)送音頻哈希值，快速匹配相關(guān)的內(nèi)容，加載內(nèi)容相關(guān)的廣告。這是一種全新的機(jī) 制，未發(fā)現(xiàn)現(xiàn)有技術(shù)的實現(xiàn)。
[0059] 本發(fā)明可作為智能電視、智能手機(jī)、電腦等視音頻播放設(shè)備的新型廣告平臺，實現(xiàn) 內(nèi)容相關(guān)的精準(zhǔn)廣告投放。本發(fā)明不要求播放器內(nèi)部內(nèi)置廣告機(jī)制，只要求播放設(shè)備安裝 一個獨立的應(yīng)用即可，特別適用于智能手機(jī)、智能電視等能夠預(yù)安裝應(yīng)用的場景。這樣，用 戶使用播放設(shè)備時，無論使用不同的播放器，只要聲音輸出是開著的，就能加載播放內(nèi)容關(guān) 聯(lián)的廣告。
[0060] 就音頻哈希而言，一個視頻在不同網(wǎng)站上，在電視臺上播放，它在內(nèi)容上的變化屬 于視頻編輯行為。本方法是專為視頻編輯行為設(shè)計的感知哈希與匹配方法，而非針對故意 篡改內(nèi)容設(shè)計的感知哈希與匹配方法，這種方法更加有針對性，在保障匹配度的情況下，不 需要進(jìn)行復(fù)雜的計算，匹配速度非?？?，能夠迅速的在大量視頻標(biāo)注庫里找出與播放的視 頻內(nèi)容關(guān)聯(lián)的視頻，并且匹配到正確的時間點。
[0061] 當(dāng)然，本發(fā)明還可有其他多種實施例，在不背離本發(fā)明精神及其實質(zhì)的情況下，熟 悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變 形都應(yīng)屬于本發(fā)明的權(quán)利要求的保護(hù)范圍。
【主權(quán)項】
1. 一種新型視聽節(jié)目廣告投放方法，其特征在于，包括： 步驟一，監(jiān)聽分析音頻播出設(shè)備的輸出； 步驟二，實時計算語音哈希值； 步驟三，將語音哈希值與廣告標(biāo)注庫里的視聽節(jié)目的語音哈希值進(jìn)行對比，查找對應(yīng) 的廣告內(nèi)容，顯示在屏幕上。2. 根據(jù)權(quán)利要求1所述的投放方法，其特征在于，所述步驟一，監(jiān)聽分析音頻播出設(shè)備 的輸出；具體包括記錄下音頻播出設(shè)備連續(xù)一段時間的聲音采樣，歸一化為一個同一頻率 的聲音樣本。3. 根據(jù)權(quán)利要求2所述的投放方法，其特征在于，歸一化為一個同一頻率的聲音樣本， 最優(yōu)的為8000HZ的聲音樣本。4. 根據(jù)權(quán)利要求1所述的投放方法，其特征在于，所述步驟二，實時計算語音哈希值;具 體包括計算過去t時間的聲音樣本的單向過零點語音哈希值。5. 根據(jù)權(quán)利要求4所述的投放方法，其特征在于，t為10秒到30分鐘之間。6. 根據(jù)權(quán)利要求5所述的投放方法，其特征在于，最優(yōu)的t為30秒到2分鐘。7. 根據(jù)權(quán)利要求1所述的投放方法，其特征在于，所述步驟三，通過將語音哈希值先查 詢匹配的視聽節(jié)目，再查詢對應(yīng)視聽節(jié)目的廣告標(biāo)注數(shù)據(jù)，最后返回匹配的廣告標(biāo)注內(nèi)容 及標(biāo)注對應(yīng)視聽節(jié)目時間段的過零點語音哈希值，所述廣告標(biāo)注內(nèi)容及標(biāo)注對應(yīng)視聽節(jié)目 時間段的過零點語音哈希值需要向前預(yù)取部分。8. 根據(jù)權(quán)利要求7所述的投放方法，其特征在于，區(qū)分查詢得到的廣告及其對應(yīng)的語音 哈希值;將已經(jīng)播放的標(biāo)注對應(yīng)視聽節(jié)目語音片段哈希值和區(qū)分出的廣告及其對應(yīng)的語音 哈希值進(jìn)行比對，查看有沒有廣告需要進(jìn)行播放，如果有，則在畫面上指定位置播放廣告。9. 根據(jù)權(quán)利要求7所述的投放方法，其特征在于，定時查找廣告庫，和/或定時查找區(qū)分 出的查詢得到的廣告是否需要播放。10. 根據(jù)權(quán)利要求1所述的投放方法，其特征在于，實現(xiàn)步驟一、二、三之前，播放設(shè)備安 裝一個獨立的應(yīng)用，所述獨立的應(yīng)用是一個獨立的程序或者APP應(yīng)用，通過這個獨立的應(yīng)用 實現(xiàn)步驟一、二、三。
【文檔編號】H04N21/458GK105933761SQ201610474076
【公開日】2016年9月7日
【申請日】2016年6月24日
【發(fā)明人】程國艮, 王語
【申請人】中譯語通科技（北京）有限公司