從媒體提取標(biāo)識(shí)信息的方法和裝置的制造方法
【專利說(shuō)明】
[0001] 本申請(qǐng)是原案申請(qǐng)?zhí)枮?00980152518.4的發(fā)明專利申請(qǐng)（國(guó)際【申請(qǐng)?zhí)枴縋CT/ US2009/061750,申請(qǐng)日：2009年10月22日，發(fā)明名稱：執(zhí)行音頻水印嵌入以及水印檢測(cè)和 提取的方法和裝置）的分案申請(qǐng)。
[0002] 相關(guān)申請(qǐng)
[0003] 本申請(qǐng)要求2009年5月1日提交的題目為"METHODSANDAPPARATUSTOPERFORM AUDIOWATERMARKINGANDWATERMARKDETECTIONANDEXTRACTION" 的美國(guó)臨時(shí)申請(qǐng)序 號(hào)No. 61/174, 708 和 2008 年 10 月 24 日提交的題目為"STACKINGMETHODFORADVANCED WATERMARKDETECTION"的美國(guó)臨時(shí)申請(qǐng)序號(hào)No. 61/108, 380的優(yōu)選權(quán)，通過(guò)引用將這兩個(gè) 臨時(shí)申請(qǐng)的公開(kāi)的全部?jī)?nèi)容并入本文。
技術(shù)領(lǐng)域
[0004] 本發(fā)明總體上涉及媒體監(jiān)測(cè)，更具體地說(shuō)，涉及執(zhí)行音頻水印嵌入以及水印檢測(cè) 和提取的方法和裝置。
【背景技術(shù)】
[0005] 識(shí)別媒體信息，更具體地說(shuō)，識(shí)別音頻流（例如，音頻信息）對(duì)于評(píng)估電視、無(wú)線電 廣播或任何其它媒體的受眾接觸率（audienceexposure)是有用的。例如，在電視觀眾統(tǒng) 計(jì)（metering)應(yīng)用中，可以將代碼插入到媒體的音頻或視頻中，其中，隨后在呈現(xiàn)（例如， 在所監(jiān)測(cè)的住宅處播放）該媒體時(shí)在監(jiān)測(cè)點(diǎn)檢測(cè)該代碼。嵌入到原始信號(hào)中的代碼/水印 的信息的有效載荷可以包括唯一的源標(biāo)識(shí)、廣播時(shí)間信息、業(yè)務(wù)（transactional)信息或 附加的內(nèi)容元數(shù)據(jù)。
[0006] 監(jiān)測(cè)點(diǎn)通常包括諸如監(jiān)測(cè)受眾成員的媒體消費(fèi)或媒體的受眾成員接觸率的住宅 的地點(diǎn)。例如，在監(jiān)測(cè)點(diǎn)，來(lái)自音頻和/或視頻的代碼被捕獲并可以與和所選擇的頻道、無(wú) 線電臺(tái)、媒體源等相關(guān)聯(lián)的媒體的音頻流或視頻流相關(guān)聯(lián)。所收集的代碼接著可以被發(fā)送 到中央數(shù)據(jù)收集設(shè)施以進(jìn)行分析。但是，與媒體接觸率或消費(fèi)相關(guān)的數(shù)據(jù)的收集不必限于 在家中的接觸率或消費(fèi)。

【發(fā)明內(nèi)容】

[0007] -種從媒體提取標(biāo)識(shí)信息的方法，該方法包括以下步驟：計(jì)算媒體的第一樣本序 列與所述媒體的第二樣本序列的幅度平均值以產(chǎn)生平均樣本序列，所述媒體包括嵌入標(biāo)識(shí) 符；通過(guò)分析所述平均樣本序列的頻譜來(lái)確定所述嵌入標(biāo)識(shí)符；存儲(chǔ)所述嵌入標(biāo)識(shí)符。
[0008] -種從媒體提取標(biāo)識(shí)信息的裝置，所述裝置包括：疊加器，其用于計(jì)算媒體的第一 樣本序列與所述媒體的第二樣本序列的幅度平均值以產(chǎn)生平均樣本序列，所述媒體包括嵌 入標(biāo)識(shí)符；以及解碼器，其用于通過(guò)分析所述平均樣本序列的頻譜來(lái)確定所述嵌入標(biāo)識(shí)符。
[0009] -種計(jì)算機(jī)可讀存儲(chǔ)盤(pán)或存儲(chǔ)裝置，其包括在被執(zhí)行時(shí)使得機(jī)器執(zhí)行以下步驟的 指令：計(jì)算媒體的第一樣本序列與所述媒體的第二樣本序列的幅度平均值以產(chǎn)生平均樣本 序列，所述媒體包括嵌入標(biāo)識(shí)符；通過(guò)分析所述平均樣本序列的頻譜來(lái)確定所述嵌入標(biāo)識(shí) 符。
【附圖說(shuō)明】
[0010] 圖1是采用添加到復(fù)合電視信號(hào)的音頻部分的節(jié)目識(shí)別碼的廣播受眾測(cè)量系統(tǒng) 的示意圖。
[0011] 圖2是圖1的示例編碼器的框圖。
[0012] 圖3是例示可以由圖2的示例解碼器執(zhí)行的示例編碼處理的流程圖。
[0013] 圖4是例示可以被執(zhí)行以產(chǎn)生與圖2的代碼頻率選擇器相結(jié)合使用的頻率索引表 的示例處理的流程圖。
[0014] 圖5是例示關(guān)鍵（critical)頻帶索引以及它們?nèi)绾闻c短和長(zhǎng)的塊樣本索引相對(duì) 應(yīng)的圖表。
[0015] 圖6例示選擇將表示具體信息符號(hào)的頻率分量的一個(gè)示例。
[0016]圖7至圖9是例示可以由圖4的處理產(chǎn)生的并與圖2的代碼頻率選擇器相結(jié)合使 用的不同的示例代碼頻率配置的圖表。
[0017] 圖10例不首頻編碼索引之間的頻率關(guān)系。
[0018] 圖11是圖1的示例解碼器的框圖。
[0019] 圖12是例示可以由圖11的示例編碼器執(zhí)行的示例解碼處理的流程圖。
[0020] 圖13是可以被執(zhí)行以在圖11的解碼器中疊加（stack)音頻的示例處理的流程 圖。
[0021] 圖14是可以被執(zhí)行以在圖11的解碼器中確定編碼在音頻信號(hào)中的符號(hào)的示例處 理的流程圖。
[0022] 圖15是可以被執(zhí)行以處理緩沖器從而識(shí)別圖11的解碼器中的消息的示例處理的 流程圖。
[0023] 圖16例示可以存儲(chǔ)消息符號(hào)的示例循環(huán)緩沖器組。
[0024] 圖17例示可以存儲(chǔ)消息符號(hào)的示例預(yù)先存在代碼標(biāo)記循環(huán)緩沖器組。
[0025] 圖18是可以被執(zhí)行以在圖11的解碼器中驗(yàn)證所識(shí)別的消息的示例處理的流程 圖。
[0026] 圖19例示可以在圖11的解碼器中存儲(chǔ)所識(shí)別的消息的示例過(guò)濾器堆棧（stack)。
[0027] 圖20是示例處理器平臺(tái)的示意圖，該示例處理器平臺(tái)可以用于和/或編碼為執(zhí)行 本文所述的任何或全部處理或者實(shí)現(xiàn)本文所述的任何或全部示例系統(tǒng)、示例裝置和/或示 例方法。
【具體實(shí)施方式】
[0028] 下面的描述參照音頻編碼和解碼，該音頻編碼和解碼通常還分別被稱為音頻水印 嵌入（audiowatermarking)和水印檢測(cè)。應(yīng)當(dāng)注意，在該背景中，音頻可以是具有落入正 常人能聽(tīng)到的頻譜內(nèi)的頻率的任意類型的信號(hào)。例如，音頻可以是語(yǔ)音、音樂(lè)、音頻和/或 視頻節(jié)目或作品（例如，電視節(jié)目、電影、互聯(lián)網(wǎng)視頻、無(wú)線電節(jié)目、商業(yè)短片等）的音頻部 分、媒體節(jié)目、噪聲或任何其它聲音。
[0029] -般地說(shuō)，如下文詳細(xì)描述的，對(duì)音頻進(jìn)行的編碼將一個(gè)或更多個(gè)代碼或信息 (例如，水印）插入到音頻中且理想地使該代碼對(duì)于音頻的聽(tīng)者不可聽(tīng)到。但是，在特定情 形中，該代碼會(huì)被特定聽(tīng)者聽(tīng)見(jiàn)。嵌入在音頻中的代碼可以是任意適當(dāng)?shù)拈L(zhǎng)度，并且可以選 擇任意適當(dāng)?shù)募夹g(shù)將代碼分配到信息中。
[0030] 如下文描述的，要插入到音頻中的代碼或信息可以被轉(zhuǎn)換為由代碼頻率信號(hào)表示 的符號(hào)，這些代碼頻率信號(hào)要被嵌入到音頻中以表示信息。這些代碼頻率信號(hào)包括一個(gè)或 更多個(gè)代碼頻率，其中，分配不同的代碼頻率或代碼頻率的組以表示不同的信息符號(hào)。還描 述了用于產(chǎn)生一個(gè)或更多個(gè)將符號(hào)映射到代表性代碼頻率的表以使得這些符號(hào)在解碼器 處彼此可區(qū)分的技術(shù)?？梢允褂萌魏芜m當(dāng)?shù)木幋a或糾錯(cuò)技術(shù)來(lái)將代碼轉(zhuǎn)換為符號(hào)。
[0031] 通過(guò)控制將這些代碼頻率信號(hào)輸入到原始（native)音頻中時(shí)的振幅，人的聽(tīng)覺(jué) 可以察覺(jué)不到這些代碼頻率信號(hào)的存在。因此，在一個(gè)示例中，使用基于不同頻率處的原始 音頻的內(nèi)能（energycontent)和/或原始音頻的音調(diào)或類似噪聲的性質(zhì)的掩蔽（masking) 操作來(lái)提供信息，這些代碼頻率信號(hào)的振幅基于該信息。
[0032] 另外，音頻信號(hào)可以已經(jīng)通過(guò)發(fā)布鏈（distributionchain)，其中例如內(nèi)容已從 內(nèi)容創(chuàng)作者傳遞到網(wǎng)絡(luò)發(fā)布者（例如，NBC國(guó)家臺(tái)）并進(jìn)而傳遞到地方內(nèi)容發(fā)布者（例如， 芝加哥的NBC)。隨著音頻信號(hào)通過(guò)發(fā)布鏈，多個(gè)發(fā)布者中的一個(gè)可以根據(jù)本文所述的技術(shù) 將水印編碼到音頻信號(hào)中，由此將這些發(fā)布者的標(biāo)識(shí)或發(fā)布時(shí)間的指示包括在該音頻信號(hào) 中。本文所述的編碼是非常魯棒的，因此插入到該音頻信號(hào)中的代碼不容易被去除。因此， 該音頻內(nèi)容的任何后續(xù)發(fā)布者可以使用本文所述的技術(shù)對(duì)以前已經(jīng)進(jìn)行了編碼的音頻信 號(hào)進(jìn)行編碼，以使得該后續(xù)發(fā)布者的代碼將是可檢測(cè)的，并且對(duì)該后續(xù)發(fā)布者的任何歸給 (crediting)將被承認(rèn)。
[0033] 另外，由于信號(hào)內(nèi)的代碼的重復(fù)或部分重復(fù)，可以通過(guò)疊加消息并將所編碼的音 頻信號(hào)轉(zhuǎn)換為具有經(jīng)強(qiáng)調(diào)（accentuate)的代碼的信號(hào)來(lái)改進(jìn)代碼檢測(cè)。當(dāng)在監(jiān)測(cè)位置對(duì) 該音頻信號(hào)進(jìn)行采樣時(shí)，大致相等尺寸塊的音頻樣本被合計(jì)并被平均。該疊加處理利用該 音頻信號(hào)的時(shí)間特性以使得該代碼信號(hào)在該音頻信號(hào)內(nèi)被強(qiáng)調(diào)。因此，當(dāng)使用該疊加處理 時(shí)可以提供對(duì)于噪聲或其它干擾的經(jīng)增加的魯棒性。例如，當(dāng)解碼操作使用可能獲取除了 揚(yáng)聲器輸出的音頻信號(hào)以外的環(huán)境噪聲的麥克風(fēng)時(shí)，該疊加處理可能是有用的。
[0034]為本文所述的解碼操作添加魯棒性的進(jìn)一步技術(shù)提供對(duì)解碼操作所識(shí)別的消息 的驗(yàn)證（validation)。在經(jīng)編碼的音頻信號(hào)中識(shí)別了消息以后，這些消息被添加到堆棧 (stack)。接著對(duì)消息的后續(xù)重復(fù)進(jìn)行比較以識(shí)別匹配。當(dāng)消息可以按照適當(dāng)?shù)闹貜?fù)間隔 與經(jīng)識(shí)別的另一消息相匹配時(shí)，該消息被識(shí)別為經(jīng)驗(yàn)證。當(dāng)消息可以與已經(jīng)被驗(yàn)證的另一 消息部分地匹配時(shí)，該消息被標(biāo)記為部分經(jīng)驗(yàn)證，并且后續(xù)消息被用于識(shí)別該消息的可能 已經(jīng)被破壞的部分。根據(jù)該示例驗(yàn)證技術(shù)，僅當(dāng)消息被驗(yàn)證時(shí)從解碼器輸出這些消息。這 種技術(shù)防止消息中的由于干擾和/或檢測(cè)誤差所導(dǎo)致的誤差。
[0035] 以下的示例總體上涉及對(duì)具有諸如代碼的信息的音頻信號(hào)進(jìn)行編碼，以及經(jīng)由解 碼處理從該音頻中獲得該信息。以下的示例編碼和解碼處理可以用于從一個(gè)地方向另一個(gè) 地方傳送信息的多個(gè)不同的技術(shù)應(yīng)用。
[0036] 本文所述的示例編碼和解碼處理可以用于執(zhí)行廣播識(shí)別。在這種示例中，在作品 被廣播以前，將該作品編碼為包括指示該作品的源、該作品的廣播時(shí)間、該作品的發(fā)布頻道 或被認(rèn)為與系統(tǒng)運(yùn)營(yíng)商相關(guān)的任何其它信息的代碼。當(dāng)作品被呈現(xiàn)（例如，通過(guò)電視、無(wú)線 電廣播、計(jì)算設(shè)備或任何其它適當(dāng)設(shè)備進(jìn)行播放）時(shí)，呈現(xiàn)區(qū)域中的人不僅接觸到該作品， 而且在不為這些人所知的情況下，這些人還接觸到嵌入在該作品中的代碼。因而，人們可以 配置有工作在基于麥克風(fēng)的平臺(tái)上的解碼器，使得作品可以由該解碼器使用自由場(chǎng)檢測(cè)來(lái) 獲得并被處理以從中提取代碼。這些代碼接著被記錄并被報(bào)告回中央設(shè)施以進(jìn)行進(jìn)一步處 理?；邴溈孙L(fēng)的解碼器可以是專用的獨(dú)立設(shè)備，或者可以使用蜂窩電話或具有麥克風(fēng)和 用來(lái)執(zhí)行解碼和代碼記錄操作的軟件的任何其它類型的設(shè)備來(lái)實(shí)現(xiàn)。另選地，只要可以經(jīng) 由硬接線（hardwired)連接來(lái)獲取該作品及其附屬代碼，則可以使用基于有線的系統(tǒng)。
[0037] 例如通過(guò)利用特定代碼來(lái)標(biāo)記版權(quán)保護(hù)的音頻和/或相關(guān)聯(lián)的視頻內(nèi)容，可 以將本文所述的示例編碼和解碼處理用于涉及音頻和/或視頻作品的跟蹤和/或取證 (forensics)。該示例編碼和解碼處理可以用于實(shí)現(xiàn)業(yè)務(wù)編碼系統(tǒng)，在該業(yè)務(wù)編碼系統(tǒng)中， 當(dāng)作品被消費(fèi)者購(gòu)買時(shí)，將唯一的代碼插入到該作品中。因而，允許媒體發(fā)布來(lái)識(shí)別作品的 源。購(gòu)買行為可以包括購(gòu)買者通過(guò)物理方式接收包括作品的有形介質(zhì)（例如，光盤(pán)等），或 者可以包括經(jīng)由諸如互聯(lián)網(wǎng)的網(wǎng)絡(luò)下載作品。在業(yè)務(wù)編碼系統(tǒng)的背景中，同一作品的每個(gè) 購(gòu)買者都接收該作品，但利用不同的代碼對(duì)每個(gè)購(gòu)買者接收的作品進(jìn)行編碼。也就是說(shuō)，插 入到作品的代碼可以對(duì)于購(gòu)買者而言是因人而異的，其中，該購(gòu)買者購(gòu)買的每個(gè)作品包括 該購(gòu)買者的代碼。另選地，可以利用順序分配的代碼來(lái)對(duì)每個(gè)作品進(jìn)行編碼。
[0038] 此外，通過(guò)按照信息隱藏（steganographic)方式來(lái)隱藏代碼，本文所述的示例編 碼和解碼技術(shù)可被用于執(zhí)行控制功能，其中所隱藏的代碼被用于