框圖。如上與圖2B相關(guān)地描述，TV內(nèi)容識(shí)別服務(wù)器150包括指紋聚類模塊270，用于將由不同的STB提交的音頻指紋基于它們的類似度而聚組為多個(gè)桶。在這個(gè)實(shí)現(xiàn)方式中，由來(lái)自不同的家庭的不同STB提交音頻指紋291。對(duì)于每一個(gè)音頻指紋，指紋聚類模塊270向預(yù)定義哈希函數(shù)293應(yīng)用指紋作為密鑰。對(duì)于每個(gè)密鑰，哈希函數(shù)293確定與指紋295的桶對(duì)應(yīng)的值，并且將該指紋添加到該指紋的桶。如圖2C中所示，指紋295的每一個(gè)桶由鏈表表示，并且向該鏈表的結(jié)尾附加新添加的指紋。在一些實(shí)現(xiàn)方式中，音頻指紋的每一個(gè)桶具有相關(guān)聯(lián)的時(shí)間戳或一對(duì)時(shí)間戳，用于指示它們?cè)谟蓵r(shí)間戳限定的時(shí)刻附近或在由該一對(duì)時(shí)間戳限定的時(shí)間間隔內(nèi)被產(chǎn)生。
[0060]圖3A是圖示根據(jù)一些實(shí)現(xiàn)方式的由STB 116或TV內(nèi)容識(shí)別服務(wù)器150使用來(lái)管理音頻指紋記錄和相關(guān)聯(lián)的頻道元數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的框圖。STB指紋記錄300包括:可選的STB ID 302，用于唯一地識(shí)別在特定家庭中的機(jī)頂盒；報(bào)告時(shí)間戳304，其指示STB 116何時(shí)產(chǎn)生音頻指紋或TV內(nèi)容識(shí)別服務(wù)器150何時(shí)接收到記錄；指紋306，其通常是從TV音頻信號(hào)的分段得出的字母數(shù)字串；以及，可選的視頻場(chǎng)景轉(zhuǎn)換類型308，其與該TV音頻信號(hào)的分段相關(guān)聯(lián)。如上所述，如果未周期地產(chǎn)生音頻指紋306，則視頻場(chǎng)景轉(zhuǎn)換類型308提供了其中產(chǎn)生音頻指紋306的環(huán)境。該屬性用于通過(guò)下述方式“同步”可能沒(méi)有相同的時(shí)鐘時(shí)間的不同STB:使得來(lái)自不同的STB但是對(duì)應(yīng)于同一 TV節(jié)目的音頻指紋落在同一桶內(nèi)。
[0061]在一些實(shí)現(xiàn)方式中，STB指紋記錄300的一些也包括與由對(duì)應(yīng)的STB在播放的TV節(jié)目相關(guān)聯(lián)的頻道元數(shù)據(jù)310。頻道元數(shù)據(jù)310可以包括頻道編排ID 312、頻道編號(hào)314和頻道名稱316。頻道編排ID 312被TV內(nèi)容提供者提供來(lái)用于唯一地識(shí)別與TV節(jié)目包相關(guān)聯(lián)的TV頻道的集合。例如，TV內(nèi)容提供者可以提供具有頻道的不同集合的多個(gè)TV節(jié)目包，以服務(wù)于不同類型的TV觀眾。在該情況下，每一個(gè)包具有唯一的頻道編排ID 312。在TV節(jié)目包內(nèi)，每一個(gè)頻道被分配了頻道編號(hào)和頻道名稱以用于廣播的TV節(jié)目的特定集合。因此，基于頻道編排ID 312、頻道編號(hào)314和/或頻道名稱316，TV內(nèi)容識(shí)別服務(wù)器150可以根據(jù)在TV內(nèi)容提供者數(shù)據(jù)庫(kù)286中存儲(chǔ)的TV節(jié)目時(shí)間表數(shù)據(jù)而唯一地確定頻道在廣播什么TV節(jié)目。通過(guò)從STB的集合收集頻道元數(shù)據(jù)310，TV內(nèi)容提供者150能夠基于在由特定STB提供的音頻指紋和由也提交它們的頻道元數(shù)據(jù)的STB的集合提供的音頻指紋之間的類似度來(lái)確定該特定STB (其不能提供其本身的頻道元數(shù)據(jù))在廣播什么TV節(jié)目。
[0062]圖3B是圖示根據(jù)一些實(shí)現(xiàn)方式的由TV內(nèi)容識(shí)別服務(wù)器150使用來(lái)組織來(lái)自TV內(nèi)容提供者的TV內(nèi)容時(shí)間表和頻道編排數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)的框圖。如該圖中所示，每一個(gè)TV內(nèi)容提供者記錄320包括用于唯一地識(shí)別TV內(nèi)容提供者的內(nèi)容提供者ID 322、與TV內(nèi)容提供者相關(guān)聯(lián)的廣播時(shí)間表324和頻道編排數(shù)據(jù)326。在一些實(shí)現(xiàn)方式中，TV內(nèi)容提供者在其網(wǎng)站上公布其廣播時(shí)間表和頻道編排數(shù)據(jù)，并且定期更新廣播時(shí)間表。TV內(nèi)容識(shí)別服務(wù)器150可以訪問(wèn)該網(wǎng)站，并且檢索信息以更新在TV內(nèi)容提供者數(shù)據(jù)庫(kù)286中的對(duì)應(yīng)的記錄320。在一些其他實(shí)現(xiàn)方式中，TV內(nèi)容識(shí)別服務(wù)器150可以經(jīng)由電子郵件訂閱來(lái)從TV內(nèi)容提供者接收廣播時(shí)間表和頻道編排數(shù)據(jù)。
[0063]圖3C是圖示根據(jù)一些實(shí)現(xiàn)方式的由STB 116使用來(lái)存儲(chǔ)與STBl 16相關(guān)聯(lián)的TV觀看歷史的數(shù)據(jù)結(jié)構(gòu)的框圖。TV收視歷史記錄340包括記錄ID 342、在STB 116上開(kāi)始TV節(jié)目的時(shí)間344、在STB 116上結(jié)束TV節(jié)目的時(shí)間346 (或播放TV節(jié)目的持續(xù)時(shí)間)、與TV節(jié)目相關(guān)聯(lián)的一個(gè)或多個(gè)音頻指紋348以及TV節(jié)目信息350，該TV節(jié)目信息350包括其上播放TV節(jié)目的頻道編號(hào)352和TV節(jié)目的名稱354。TV收視歷史記錄340不僅可用于家庭成員找出該家庭成員在給定時(shí)間段已經(jīng)觀看了什么TV節(jié)目，而且可用于另一方(例如，TV收視評(píng)級(jí)機(jī)構(gòu))測(cè)量在預(yù)定義地理區(qū)域內(nèi)的預(yù)定義人口分段中的特定TV節(jié)目的評(píng)級(jí)。
[0064]圖4A是圖示根據(jù)一些實(shí)現(xiàn)方式的STB 116如何從由STB 116在廣播的TV節(jié)目產(chǎn)生音頻指紋的流程圖。在開(kāi)始，STB 116檢查(411)是否滿足預(yù)定義條件。如上所述，該預(yù)定義條件可以是預(yù)定義的視頻場(chǎng)景轉(zhuǎn)換的檢測(cè)或預(yù)定義時(shí)間間隔的結(jié)束(例如，如果周期地產(chǎn)生音頻指紋)。如果未滿足該預(yù)定義條件(411，否)，則STB 116跳過(guò)該處理的剩余部分。否則(411，是)，STB 116產(chǎn)生(413)用于該TV節(jié)目(例如，現(xiàn)場(chǎng)直播TV節(jié)目)的視頻場(chǎng)景轉(zhuǎn)換類型。注意，如果視頻場(chǎng)景轉(zhuǎn)換類型未用于在TV內(nèi)容識(shí)別服務(wù)器150處同步來(lái)自不同STB的音頻指紋，則可以跳過(guò)該步驟(413)。在檢測(cè)到預(yù)定義的視頻場(chǎng)景轉(zhuǎn)換類型時(shí)，TV內(nèi)容識(shí)別服務(wù)器150識(shí)別與TV節(jié)目相關(guān)聯(lián)的音頻信號(hào)的分段(415)。在一些實(shí)現(xiàn)方式中，STB 116在其存儲(chǔ)器中高速緩存預(yù)定義長(zhǎng)度(例如，一分鐘)的在廣播的TV節(jié)目的音頻信號(hào)。在檢測(cè)到例如白屏或黑屏的出現(xiàn)或TV節(jié)目的視頻信號(hào)的光度的預(yù)定義改變的預(yù)定義條件后，STB 116識(shí)別例如在時(shí)間上接近視頻場(chǎng)景轉(zhuǎn)換的高速緩存的音頻信號(hào)的10秒分段。如果在例如10秒內(nèi)存在兩個(gè)視頻場(chǎng)景轉(zhuǎn)換，則可以在用于產(chǎn)生音頻指紋的兩個(gè)音頻分段之間存在重疊。注意，視頻場(chǎng)景轉(zhuǎn)換可以在被識(shí)別的音頻信號(hào)分段的播放之前、之后或期間出現(xiàn)。
[0065]接下來(lái)，STB 116使用識(shí)別的音頻信號(hào)分段來(lái)產(chǎn)生(417)音頻指紋。音頻指紋類似于人的指紋，其中，容忍或忽略對(duì)于表征指紋的特征不重要的小的變化。在一些實(shí)現(xiàn)方式中，音頻指紋是包括多個(gè)屬性的音頻信號(hào)分段的數(shù)值表示(例如，向量)，該多個(gè)屬性諸如是平均過(guò)零率、估計(jì)節(jié)奏、平均頻譜、頻譜平坦度、跨頻帶集的突出音調(diào)、以及帶寬。可以通過(guò)音頻信號(hào)分段的頻域頻譜分析來(lái)確定許多這些屬性。與音頻信號(hào)本身作比較，音頻指紋更多關(guān)注音頻信號(hào)的感知特性。例如，如果兩個(gè)音頻信號(hào)對(duì)于人耳而言聽(tīng)起來(lái)相似，則它們的音頻指紋應(yīng)當(dāng)匹配，即使它們的二進(jìn)制表示不同。在一些實(shí)現(xiàn)方式中，通過(guò)在兩個(gè)對(duì)應(yīng)的特征向量之間的距離而不是直接二進(jìn)制匹配來(lái)測(cè)量在兩個(gè)音頻指紋之間的差，該直接二進(jìn)制匹配對(duì)于來(lái)自人耳的感知的小的但是經(jīng)常不重要的改變更敏感。在一些實(shí)現(xiàn)方式中，在10秒時(shí)間窗口中執(zhí)行音頻信號(hào)的頻譜分析，以保證在該時(shí)間窗口內(nèi)存在音頻信號(hào)上的足夠的變化。
[0066]在產(chǎn)生音頻指紋后，STB 116準(zhǔn)備(419)音頻指紋記錄(例如，在圖3A中所示的那個(gè))。除音頻指紋之外，該記錄可以包括對(duì)應(yīng)的視頻場(chǎng)景轉(zhuǎn)換類型，并且可選地包括與TV節(jié)目相關(guān)聯(lián)的頻道元數(shù)據(jù)。如下面與圖4C相關(guān)地描述，如果兩個(gè)機(jī)頂盒向TV內(nèi)容識(shí)別服務(wù)器150提交了相同或類似的音頻指紋，則由一個(gè)機(jī)頂盒提供的頻道元數(shù)據(jù)可以用于確定在另一個(gè)機(jī)頂盒處在播放的TV節(jié)目。最后，STB 116向TV內(nèi)容識(shí)別服務(wù)器150發(fā)送(421)音頻指紋記錄。在接收到音頻指紋記錄時(shí)，TV內(nèi)容識(shí)別服務(wù)器150負(fù)責(zé)將該記錄添加到包括相同或類似的音頻指紋的記錄的桶中。
[0067]圖4B音頻指紋記錄是圖示根據(jù)一些實(shí)現(xiàn)方式的TV內(nèi)容識(shí)別服務(wù)器150如何通過(guò)聚類來(lái)將音頻指紋聚組的流程圖。在從特定的機(jī)頂盒接收到(431)音頻指紋記錄后，STB116向預(yù)定義哈希函數(shù)應(yīng)用(433)在記錄中的音頻指紋。在一些實(shí)現(xiàn)方式中，TV內(nèi)容識(shí)別服務(wù)器150保持音頻指紋的緩沖器，使得晚到達(dá)的音頻指紋可以匹配較早者。音頻指紋被定義為向量，并且哈希函數(shù)用于測(cè)量傳入的音頻指紋向量和在現(xiàn)有的桶中的音頻指紋向量的集群的中心之間的距離。如果該距離小于預(yù)定義閾值，則將傳入的音頻指紋看作與在該桶中的其他音頻指紋相同或類似，并且識(shí)別該桶以托管音頻指紋(435-是)。在一些其他實(shí)現(xiàn)方式中，如上所述，TV內(nèi)容識(shí)別服務(wù)器150將音頻指紋劃分為多個(gè)子指紋，使得每一個(gè)子指紋象哈希函數(shù)那樣作為，并且基于由兩個(gè)音頻指紋共享的子指紋的數(shù)量來(lái)確定在兩個(gè)音頻指紋之間的類似度。在任何一種情況下，TV內(nèi)容識(shí)別服務(wù)器150將新的音頻指紋記錄添加到(439)桶。如果未找到桶(435-否)，則TV內(nèi)容識(shí)別服務(wù)器150可以建立新的桶(437)，并且如果傳入的音頻指紋是到達(dá)TV內(nèi)容識(shí)別服務(wù)器150的第一個(gè)并且對(duì)應(yīng)于在機(jī)頂盒處在播放的TV節(jié)目，則將記錄添加到(439)新建立的桶。在一些實(shí)現(xiàn)方式中，TV內(nèi)容識(shí)別服務(wù)器150也實(shí)現(xiàn)用于桶的超時(shí)機(jī)制。例如，如果在預(yù)定義量的時(shí)間中沒(méi)有新的指紋被加到桶，則TV內(nèi)容識(shí)別服務(wù)器150將丟棄該桶，并且將由該桶占用的資源回收以再利用用于其他用途。
[0068]在一些實(shí)現(xiàn)方式中，與傳入的音頻指紋相關(guān)聯(lián)的視頻場(chǎng)景轉(zhuǎn)換類型用于進(jìn)一步保證音頻指紋匹配從同一TV節(jié)目得到的音頻指紋的桶。例如，如果傳入的音頻指紋落在距音頻指紋的兩個(gè)桶的預(yù)定義距離內(nèi)，則TV內(nèi)容識(shí)別服務(wù)器150將關(guān)聯(lián)于傳入的音頻指紋的視頻場(chǎng)景轉(zhuǎn)換類型與關(guān)聯(lián)于該音頻指紋的兩個(gè)桶的視頻場(chǎng)景轉(zhuǎn)換類型作比較，以消除沒(méi)有相同的視頻場(chǎng)景轉(zhuǎn)換類型的至少一個(gè)桶。在一些實(shí)現(xiàn)方式中，TV內(nèi)容識(shí)別服務(wù)器150將不同的視頻場(chǎng)景轉(zhuǎn)換作比較，該不同的視頻場(chǎng)景轉(zhuǎn)換可以對(duì)應(yīng)于在一種情況下觀眾切換到不同的TV頻道和在一些其他情況下觀眾一直觀看同一 TV頻道。
[0069]在一些實(shí)現(xiàn)方式中，TV內(nèi)容識(shí)別服務(wù)器150將與來(lái)自同一 STB116的多個(gè)音頻指紋記錄相關(guān)聯(lián)的視頻場(chǎng)景轉(zhuǎn)換的序列與音頻指紋的桶作比較，以進(jìn)一步改善音頻指紋聚類的精度。例如，如果三個(gè)連續(xù)的傳入音頻指紋的視頻場(chǎng)景轉(zhuǎn)換類型分別是黑色的、黑色的和白色的，則TV內(nèi)容識(shí)別服務(wù)器150將不把該三個(gè)音頻指紋添加到其視頻場(chǎng)景轉(zhuǎn)換類型是黑色、白色和白色的音頻指紋的三個(gè)桶中，即使已經(jīng)滿足了用于音頻指紋匹配的其他標(biāo)準(zhǔn)。注意，“黑色”和“白色”是可以基于平均光度的改變(例如，顯著增大/減小，引入一些水平等)而限定的示例性視頻場(chǎng)景轉(zhuǎn)換。
[0070]在一些實(shí)現(xiàn)方式中，TV內(nèi)容識(shí)別服務(wù)器150通過(guò)下述方式來(lái)保持對(duì)于哈希表的大小的限制:如果音頻指紋記錄的那些桶落在移動(dòng)的時(shí)間窗口(例如，10分鐘時(shí)間窗口)之夕卜，則動(dòng)態(tài)地消除它們。如果在預(yù)定義時(shí)間桶從未接收到任何新的音頻指紋，則TV內(nèi)容識(shí)另IJ服務(wù)器150可以回收以再利用由該桶占用的存儲(chǔ)器。因此，有可能與同一 TV節(jié)目對(duì)應(yīng)的新的音頻指紋可能落入新建立的桶。但是，不可能存在存儲(chǔ)與同一視頻場(chǎng)景轉(zhuǎn)換類型對(duì)應(yīng)的音頻指紋的兩個(gè)共存的桶。例如，TV內(nèi)容識(shí)別服務(wù)器150負(fù)責(zé)監(jiān)控現(xiàn)場(chǎng)直播TV節(jié)目的收視評(píng)級(jí)。在該情況下，來(lái)自在播放同一 TV節(jié)目現(xiàn)場(chǎng)直播的特定機(jī)頂盒的搜索查詢應(yīng)當(dāng)包括在該時(shí)間窗口內(nèi)產(chǎn)生的音頻指紋，并且可以匹配到在哈希表中的桶之一。相反，如果該時(shí)間移位的音頻指紋在由哈希表管理的移動(dòng)時(shí)間窗口之外，則來(lái)自在播放TV節(jié)目的時(shí)間移位的版本的特定機(jī)頂盒的搜索查詢可能未匹配到在哈希表中的桶的任何一個(gè)。
[0071]圖4C是圖示根據(jù)一些實(shí)現(xiàn)方式的TV內(nèi)容識(shí)別服務(wù)器150如何響應(yīng)于包括音頻指紋的搜索查詢而提供TV節(jié)目信息的流程圖。在此，假定由在播放現(xiàn)場(chǎng)直播TV節(jié)目的機(jī)頂