多媒體流的同步的制作方法
【專利摘要】這種用于對(duì)在第一終端上呈現(xiàn)的第一多媒體流和在第二終端(6)上呈現(xiàn)的第二多媒體流進(jìn)行同步的方法包括根據(jù)第一流的原始音頻序列生成原始音頻指紋的步驟，并且還包括以下步驟：a)根據(jù)第一流的第一序列(52)生成(56)第一音頻指紋；b)在第一指紋與原始指紋之間進(jìn)行比較(58)以便獲得一個(gè)或更多的第一同步位置(P1)；c)使第一序列(52)與位于第一同步位置(P1)周圍的原始序列中的一個(gè)或更多的片段相關(guān)(60)以便獲得第二同步位置(P2)；d)使用第二同步位置(P2)在第二終端上呈現(xiàn)第二流。
【專利說(shuō)明】多媒體流的同步

【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般涉及源自不同多媒體源和/或使用不同傳輸協(xié)議傳送并且在至少一個(gè)呈現(xiàn)設(shè)備上恢復(fù)的多媒體流的處理。
[0002]更具體地，本發(fā)明處理這樣的多媒體流的同步。例如，具體地，其尋求在第二屏幕電視情況下的應(yīng)用，其中，有關(guān)的內(nèi)容同時(shí)呈現(xiàn)在個(gè)人終端和電視機(jī)上。
[0003]因此，本發(fā)明涉及一種用于對(duì)多媒體數(shù)據(jù)流進(jìn)行同步的方法、設(shè)備和系統(tǒng)。本發(fā)明還涉及一種實(shí)現(xiàn)本發(fā)明的方法的計(jì)算機(jī)程序。

【背景技術(shù)】
[0004]可以實(shí)行在這部分中描述的方法，但是其不一定是先前已經(jīng)構(gòu)思或?qū)嵭械姆椒?。因此，除非在本文中另外指示，在這部分中描述的方法不是針對(duì)本申請(qǐng)中的權(quán)利要求的現(xiàn)有技術(shù)，并且不承認(rèn)通過(guò)包括這部分中而成為現(xiàn)有技術(shù)。
[0005]廣播和寬帶IP網(wǎng)絡(luò)的互補(bǔ)性對(duì)混合交付模型敞開(kāi)了大門(mén)，在混合交付模型中利用每種網(wǎng)絡(luò)的實(shí)力來(lái)提供個(gè)性化電視服務(wù)。這種交付模型已經(jīng)被大量參與者利用在電視場(chǎng)景中。消費(fèi)者裝備的制造商提供了合并對(duì)追趕電視(catch-up TV)、增強(qiáng)節(jié)目指南和因特網(wǎng)視頻的寬帶訪問(wèn)的“聯(lián)網(wǎng)電視(Connected TV)”。
[0006]諸如HbbTV (混合廣播寬帶電視)和YouView等發(fā)起者聚集了廣播者、內(nèi)容提供者和因特網(wǎng)服務(wù)提供者，設(shè)法定義標(biāo)準(zhǔn)化方法來(lái)提供混合廣播寬帶服務(wù)。雖然早在2009年12月就已經(jīng)推出了第一個(gè)HbbTV服務(wù)，但是當(dāng)前的混合電視服務(wù)部署仍未利用因特網(wǎng)的全部潛力來(lái)交付媒體內(nèi)容，并且仍然有相當(dāng)大的進(jìn)一步創(chuàng)新的潛力。
[0007]通過(guò)將廣播交付用于流行節(jié)目的大量分發(fā)并且將寬帶交付用于長(zhǎng)尾和點(diǎn)播內(nèi)容，組合交付模型良好地適用于將個(gè)性化的增值電視服務(wù)提供給大量訂戶。
[0008]諸如平板或者智能電話這樣的配套終端變成良好地被建立為用于消耗鏈接到電視廣播者的個(gè)性化內(nèi)容的“電視伙伴(TV buddies)”。
[0009]在C.Howson 等人的“Second Screen TV Synchronizat1n” (201IIEEEInternat1nal Conference on Consumer Electronics)的文章中，設(shè)想了第二屏幕使用情況，其中，通過(guò)寬帶攜帶鏈接到廣播節(jié)目的替代音頻或視頻內(nèi)容，從而使得進(jìn)行個(gè)性化并且緩和廣播網(wǎng)絡(luò)帶寬上的負(fù)擔(dān)。
[0010]這種服務(wù)的一個(gè)示例使用戶能夠在手持設(shè)備上選擇其偏好的音頻聲軌來(lái)為在電視機(jī)上所顯示的廣播視頻伴奏。主音頻和視頻成分通過(guò)廣播網(wǎng)絡(luò)交付,而在需要時(shí)通過(guò)因特網(wǎng)可以得到若干其它語(yǔ)言。
[0011]另一種這樣的服務(wù)將使用戶能夠選擇關(guān)于體育或音樂(lè)事件的寬帶交付的替代視圖，并且結(jié)合在電視機(jī)上顯示的廣播內(nèi)容，將其呈現(xiàn)在用戶的平板上。
[0012]如果這種第二屏幕服務(wù)的用戶體驗(yàn)要成為可接受的，則通過(guò)寬帶網(wǎng)絡(luò)和廣播網(wǎng)絡(luò)分開(kāi)交付的媒體成分需要在精確同步的情況下呈現(xiàn)。
[0013]雖然現(xiàn)有混合電視服務(wù)對(duì)于交互式應(yīng)用確實(shí)采用觸發(fā)機(jī)制，但是它們未合并例如將允許通過(guò)因特網(wǎng)交付的替代聲軌自動(dòng)并且精確地與廣播視頻成分同步的技術(shù)。
[0014]以上所引用的論文提出了一種用于第二屏幕個(gè)性化電視服務(wù)的部署的系統(tǒng)，其使得通過(guò)寬帶網(wǎng)絡(luò)和廣播網(wǎng)絡(luò)獨(dú)立交付的內(nèi)容成分的呈現(xiàn)能夠在用戶設(shè)備中得以同步。在該論文中公開(kāi)的方案基于添加與通過(guò)廣播網(wǎng)絡(luò)并且在某些情況下還通過(guò)寬帶網(wǎng)絡(luò)交付的每組媒體成分相關(guān)聯(lián)的輔助成分時(shí)間軸。該時(shí)間軸成分傳遞與每個(gè)事件有關(guān)的同步信息，并且用于調(diào)整媒體內(nèi)容的呈現(xiàn)。
[0015]然而，在上述論文中公開(kāi)的方案不是直接方案，因?yàn)槠湫枰獙⒑灻?亦即，時(shí)間軸成分)嵌入到原始的媒體內(nèi)容中。


【發(fā)明內(nèi)容】

[0016]本發(fā)明提出一種用于改善所述情況的方案。
[0017]相應(yīng)地，本發(fā)明提供一種用于對(duì)打算在第一終端上呈現(xiàn)的第一多媒體流和打算在第二終端上呈現(xiàn)的第二多媒體流進(jìn)行同步的同步方法，包括根據(jù)所述第一多媒體流的原始音頻序列生成原始音頻指紋的預(yù)備步驟，并且還包括以下步驟:
[0018]a)接收所述第一多媒體流的音頻數(shù)據(jù)的第一序列；
[0019]b)根據(jù)所述第一序列生成第一音頻指紋；
[0020]c)在所述第一音頻指紋與所述原始音頻指紋的塊之間進(jìn)行比較，以便獲得所述原始序列中的一個(gè)或更多的第一同步位置；
[0021 ] d)使所述第一序列與位于所述第一同步位置周圍的所述原始序列中的一個(gè)或更多的片段(Piece)相關(guān)，以便獲得所述原始序列中的僅僅一個(gè)第二同步位置；以及
[0022]e)使用所述第二同步位置對(duì)所述第一多媒體流和所述第二多媒體流進(jìn)行同步。
[0023]通過(guò)組合對(duì)采指紋和互相關(guān)(cross-correlat1n)技術(shù)的使用，本發(fā)明的方法提供一種在不修改多媒體流的情況下在非常短的時(shí)間內(nèi)的多媒體流的精確同步。更準(zhǔn)確地，允許精確標(biāo)識(shí)第一多媒體流中的呈現(xiàn)位置(亦即，從開(kāi)始呈現(xiàn)起經(jīng)過(guò)的時(shí)間)，使得第二終端可以在正確時(shí)刻從內(nèi)容服務(wù)器請(qǐng)求與第一流同步的第二流。
[0024]即使在通過(guò)比較指紋找到良好匹配的情況下，采指紋也提供具有在幀的等級(jí)上的精度的第一同步位置，亦即，粗略同步位置，因?yàn)閷?duì)所考慮的序列的每個(gè)音頻幀計(jì)算指紋，同時(shí)，所述相關(guān)允許將精度提高到樣本的等級(jí)，亦即，第二同步位置比第一同步位置更精確。
[0025]有利地，所述相關(guān)使用具有相位變換的廣義互相關(guān)技術(shù)。
[0026]例如在M.S.Brandstein和 H.F.Silverman 的論文“A robust method for speechsignal time-delay estimat1n in reverberant rooms” (Proc.1EEE Int.Conf.0nAcoustics, Speech, and Signal Processing (ICASSP), 1997 年,第 375-378 頁(yè))中描述了該技術(shù)，其也被稱為GCC-PHAT。
[0027]對(duì)該技術(shù)的使用，其中在頻域中執(zhí)行廣義互相關(guān)，提高同步能力高于噪聲，同時(shí)在計(jì)算上開(kāi)銷不大。
[0028]有利地，所述方法包括以下步驟:在所述第一終端上呈現(xiàn)所述第一序列的同時(shí)，所述第二終端在第一持續(xù)時(shí)間期間捕獲所述第一多媒體流的音頻數(shù)據(jù)的第一序列。
[0029]有利地，所述第一持續(xù)時(shí)間短于5秒，優(yōu)選地包括在0.5與3秒之間。
[0030]通過(guò)使用這種短記錄，在非常短的時(shí)間內(nèi)首先執(zhí)行所述同步。因此，在多數(shù)情況下，用戶不必等待大量時(shí)間來(lái)獲得在第二終端上的呈現(xiàn)服務(wù)。
[0031]優(yōu)選地，通過(guò)計(jì)算所述第一序列和所述原始序列的指紋的對(duì)之間的距離來(lái)比較所述第一音頻指紋和所述原始音頻指紋。
[0032]例如，所計(jì)算的距離是歐幾里德距離或漢明距離。
[0033]有利地，如果在步驟d)未獲得第二同步位置，則所述方法還包括接收所述第一多媒體流的音頻數(shù)據(jù)的第二序列的新步驟，并且其中，單獨(dú)使用第二序列或者使用第一序列和第二序列的組合而不是第一序列來(lái)重復(fù)步驟b)至d)。
[0034]優(yōu)選地，所述第二終端在第二持續(xù)時(shí)間期間捕獲所述第二序列。
[0035]根據(jù)第一實(shí)施例，所述第二終端與所述第一終端相同。
[0036]在該情況下，所述第一多媒體流和所述第二多媒體流都呈現(xiàn)在同一終端上，如同例如在“畫(huà)中畫(huà)(Picture in Picture) ”服務(wù)的情況下的那樣。
[0037]根據(jù)第二實(shí)施例，所述第二終端與所述第一終端不同。
[0038]在該情況下，所述第一多媒體流和所述第二多媒體流呈現(xiàn)在兩個(gè)分離的顯示設(shè)備上，所述第二終端從然后被認(rèn)為是在呈現(xiàn)時(shí)間內(nèi)的主設(shè)備的第一個(gè)捕獲聲音。
[0039]有利地，所述方法還包括使用所述第二同步位置在所述第二終端上呈現(xiàn)所述第二多媒體流的步驟。
[0040]本發(fā)明還提供一種用于對(duì)打算在第一終端上呈現(xiàn)的第一多媒體流和打算在第二終端上呈現(xiàn)的第二多媒體流進(jìn)行同步的同步系統(tǒng)，包括所述第一和第二終端，并且還包括:
[0041]-第一處理器，用于根據(jù)所述第一多媒體流的原始音頻序列生成原始音頻指紋；
[0042]-麥克風(fēng)，用于在所述第一終端上呈現(xiàn)所述第一序列的同時(shí)，所述第二終端在第一持續(xù)時(shí)間期間捕獲所述第一多媒體流的音頻數(shù)據(jù)的第一序列；
[0043]-第二處理器，用于根據(jù)所述第一音頻序列生成第一音頻指紋；
[0044]-比較器，用于對(duì)所述第一音頻指紋與所述原始音頻指紋的塊進(jìn)行比較，以便獲得所述原始序列中的一個(gè)或更多的第一同步位置；
[0045]-相關(guān)器，用于使所述第一序列與位于所述第一同步位置周圍的所述原始序列中的一個(gè)或更多的片段相關(guān)，以便獲得所述原始序列中的僅僅一個(gè)第二同步位置；以及
[0046]-同步器，用于使用所述第二同步位置對(duì)所述第一多媒體流和所述第二多媒體流進(jìn)行同步。
[0047]本發(fā)明還提供一種用于對(duì)打算在第一終端上呈現(xiàn)的第一多媒體流和打算在第二終端上呈現(xiàn)的第二多媒體流進(jìn)行同步的同步設(shè)備，包括:
[0048]-第一處理器，用于根據(jù)所述第一多媒體流的原始音頻序列生成原始音頻指紋；
[0049]-第二處理器，用于根據(jù)所述第一多媒體流的音頻數(shù)據(jù)的第一序列生成第一音頻指紋；
[0050]-比較器，用于對(duì)所述第一音頻指紋與所述原始音頻指紋的塊進(jìn)行比較，以便獲得所述原始序列中的一個(gè)或更多的第一同步位置；
[0051]-相關(guān)器，用于使所述第一序列與位于所述第一同步位置周圍的所述原始序列中的一個(gè)或更多的片段相關(guān)，以便獲得所述原始序列中的僅僅一個(gè)第二同步位置；以及
[0052]-同步器，用于使用所述第二同步位置對(duì)所述第一多媒體流和所述第二多媒體流進(jìn)行同步。
[0053]有利地，所述同步設(shè)備包括在所述第二終端中。
[0054]所述第二終端可以例如是智能電話或者平板，
[0055]替代地，所述同步設(shè)備可以位于用戶的家庭中，例如包括在機(jī)頂盒或網(wǎng)關(guān)中。其甚至可以包括在所述第一終端中。
[0056]所述同步設(shè)備也可以遠(yuǎn)離用戶的家庭，例如包括在網(wǎng)絡(luò)服務(wù)器中。
[0057]因此，同步設(shè)備的組件可以集成在遠(yuǎn)離用戶的家庭或者位于用戶的家庭中的同一機(jī)體(housing)中。
[0058]作為替代，所述同步設(shè)備的組件的一部分位于用戶的家庭中，而另一部分遠(yuǎn)離用戶的家庭。
[0059]在同步處理的至少一部分位于用戶的家庭中的情況下，該部分能夠例如通過(guò)因特網(wǎng)連接來(lái)訪問(wèn)原始音頻序列或直接訪問(wèn)原始音頻指紋。
[0060]根據(jù)本發(fā)明的方法可以實(shí)現(xiàn)為在可編程裝置上的軟件?？梢詢H實(shí)現(xiàn)為硬件或軟件或其組合。
[0061]因?yàn)楸景l(fā)明可以實(shí)現(xiàn)為軟件，所以可以將本發(fā)明實(shí)施為在任何適合的載體介質(zhì)上的用于提供給可編程裝置的計(jì)算機(jī)可讀代碼。載體介質(zhì)可以包括諸如軟盤(pán)、CD-ROM、硬盤(pán)驅(qū)動(dòng)、磁帶設(shè)備或者固態(tài)存儲(chǔ)器設(shè)備等存儲(chǔ)介質(zhì)。
[0062]因此，本發(fā)明提供一種計(jì)算機(jī)可讀程序，其包括用于使計(jì)算機(jī)能夠執(zhí)行本發(fā)明的方法的計(jì)算機(jī)可執(zhí)行指令。圖3的圖表示出了關(guān)于該計(jì)算機(jī)程序的一般算法的示例。

【專利附圖】

【附圖說(shuō)明】
[0063]在附圖中通過(guò)示例的方式而不是限制的方式示出本發(fā)明，其中，相同標(biāo)號(hào)指代相似兀件，附圖中:
[0064]圖1是根據(jù)本發(fā)明的同步系統(tǒng)的實(shí)施例的示意圖；
[0065]圖2是根據(jù)本發(fā)明的同步設(shè)備的實(shí)施例的示意圖；
[0066]圖3是示出根據(jù)本發(fā)明實(shí)施例的同步方法的步驟的流程圖；
[0067]圖4是詳述圖3的方法的采指紋步驟的流程圖；
[0068]圖5詳述圖3的方法的GCC-PHAT計(jì)算的步驟；
[0069]圖6示出根據(jù)本發(fā)明的組合了采指紋和GCC-PHAT的處理的示例；以及
[0070]圖7示出通過(guò)本發(fā)明的方法獲得的精確同步位置的示例。

【具體實(shí)施方式】
[0071]參照?qǐng)D1，其中示出根據(jù)本發(fā)明優(yōu)選實(shí)施例的同步系統(tǒng)2的示意圖。
[0072]同步系統(tǒng)2包括位于用戶的家庭8中的第一終端4和第二終端6。第一終端4例如是構(gòu)成用戶的主顯示器的電視機(jī)，而第二終端6例如是用戶用作第二屏幕設(shè)備的智能電話或平板。
[0073]從原始內(nèi)容服務(wù)器10通過(guò)廣播網(wǎng)絡(luò)11傳送在第一終端4上顯示的內(nèi)容。為了接收這樣的廣播內(nèi)容(例如，DVB-T或DVB-C多媒體流)，第一終端4鏈接到機(jī)頂盒12，機(jī)頂盒12鏈接到天線14。優(yōu)選地，機(jī)頂盒12還能夠從因特網(wǎng)16或者從用戶的家庭8中的家庭網(wǎng)絡(luò)接收多媒體流。
[0074]還可以由例如從遠(yuǎn)程或本地音頻和/或視頻服務(wù)器、視頻文件、DVD、藍(lán)光盤(pán)等流式傳輸?shù)娜魏伪镜卦椿蜻h(yuǎn)程源提供在第一終端4上顯示的內(nèi)容。為此，第一終端4還連接到本地內(nèi)容源17，例如DVD和/或藍(lán)光讀取器。
[0075]第二終端6經(jīng)由因特網(wǎng)網(wǎng)絡(luò)16連接到包含與原始內(nèi)容服務(wù)器10的內(nèi)容有關(guān)的內(nèi)容的補(bǔ)充內(nèi)容服務(wù)器18。例如，由機(jī)頂盒12對(duì)第二終端6提供的對(duì)補(bǔ)充服務(wù)的訪問(wèn)歸功于嵌入在從廣播網(wǎng)絡(luò)11接收的廣播流中的信息。
[0076]在另外的實(shí)施例中，因?yàn)檠a(bǔ)充內(nèi)容服務(wù)器18的補(bǔ)充內(nèi)容與在第一終端4上接收到的廣播內(nèi)容緊密耦合，所以其對(duì)于第二終端6是可以從用戶容易地標(biāo)識(shí)的網(wǎng)站訪問(wèn)的。該網(wǎng)站可以是廣播提供者的網(wǎng)站或制作從原始內(nèi)容服務(wù)器10提供的主內(nèi)容的工作室的網(wǎng)站。
[0077]通過(guò)用戶的家庭8的這些裝備，用戶能夠接收將由第一終端4呈現(xiàn)的源自原始內(nèi)容服務(wù)器10的第一多媒體流以及將由第二終端6呈現(xiàn)的源自例如補(bǔ)充服務(wù)器18的第二多媒體流。
[0078]用戶可能希望在兩個(gè)終端4、6中同時(shí)接收有關(guān)內(nèi)容。例如，用戶可能希望結(jié)合在第一終端4上顯示的主內(nèi)容來(lái)接收體育或音樂(lè)事件的替代視圖，并且將其呈現(xiàn)在第二終端6上。
[0079]本發(fā)明的同步系統(tǒng)2使得能夠完美地同步這兩種內(nèi)容，以便將它們同時(shí)呈現(xiàn)在終端4、6上。
[0080]因此，同步系統(tǒng)2包括連接到第二終端6的麥克風(fēng)20。該麥克風(fēng)20能夠記錄第一終端4所呈現(xiàn)的音頻內(nèi)容。
[0081]此外，同步系統(tǒng)2包括:同步設(shè)備22，其連接到用戶的家庭8，并且連接到原始內(nèi)容服務(wù)器10和補(bǔ)充內(nèi)容服務(wù)器18。在所呈現(xiàn)的實(shí)施例中，同步設(shè)備22位于遠(yuǎn)離用戶的家庭8。
[0082]替代地，同步設(shè)備22可以位于用戶的家庭8中，例如實(shí)現(xiàn)在機(jī)頂盒12或第二終端6中。
[0083]在另外的替代中，同步設(shè)備22的部分可以實(shí)現(xiàn)在用戶的家庭中，而其它部分則遠(yuǎn)程地實(shí)現(xiàn)。
[0084]同步系統(tǒng)2還包括存儲(chǔ)器24。
[0085]如圖2所示，同步設(shè)備22包括第一處理器30和第二處理器32。這兩個(gè)處理器30、32能夠根據(jù)傳統(tǒng)的適合的采指紋算法從音頻序列生成音頻指紋。處理器30、32可以是兩個(gè)分離的處理器或一個(gè)唯一處理器。
[0086]同步設(shè)備22還包括:比較器34，其能夠通過(guò)計(jì)算兩個(gè)集合的音頻指紋的對(duì)之間的距離(例如，歐幾里德距離或漢明距離)來(lái)比較音頻指紋的兩個(gè)集合。
[0087]同步設(shè)備22還包括:相關(guān)器36，其能夠使用具有相位變換的廣義互相關(guān)(又稱為GCC-PHAT)技術(shù)使兩個(gè)音頻序列互相關(guān)。
[0088]其還包括:同步器38，其能夠通過(guò)請(qǐng)求補(bǔ)充內(nèi)容服務(wù)器18將從同步位置開(kāi)始的媒體內(nèi)容發(fā)送到第二終端6來(lái)使用同步位置對(duì)兩個(gè)多媒體流進(jìn)行同步。
[0089]圖3和圖4的流程圖詳述根據(jù)優(yōu)選實(shí)施例的本發(fā)明的同步方法的步驟。
[0090]在第一終端4上呈現(xiàn)從原始內(nèi)容服務(wù)器10傳送的第一多媒體流的同時(shí)，本發(fā)明得以實(shí)現(xiàn)。
[0091]在圖4所示的預(yù)備步驟40，同步設(shè)備22的第一處理器30從原始內(nèi)容服務(wù)器10恢復(fù)第一多媒體流的原始音頻序列42，并且根據(jù)該原始序列42生成原始音頻指紋的集合。如圖6中所示，每個(gè)所生成的原始指紋Fm、FpUp2分別與原始序列42的音頻幀1-1、1、i+1、i+2相對(duì)應(yīng)。
[0092]對(duì)于該生成,第一處理器30使用任何適合的傳統(tǒng)的采指紋算法,例如J.Haitsma等人的 “A highly robust aud1 fingerprinting system”(Proc.1nt.Sym.0n MusicInformat1n Retrieval (ISMIR)，2002 年)中描述的算法或者在 A.L-C.Wang 的 “Anindustrial-strength aud1 search algorithm，，(Proc.1nt.Sym.0n Music Informat1nRetrieval (ISMIR)，2003年，第1-4頁(yè))中描述的算法。
[0093]優(yōu)選地，在步驟44，將所生成的原始音頻指紋存儲(chǔ)在存儲(chǔ)器24中。
[0094]在圖3中表示的步驟50中，第二終端6在第一持續(xù)時(shí)間期間使用麥克風(fēng)20記錄第一終端4中所呈現(xiàn)的第一多媒體流的第一音頻序列52。當(dāng)同步服務(wù)由用戶明確地激活或由在所述第二終端6中提供的應(yīng)用自動(dòng)地激活時(shí)，第二終端6開(kāi)始這樣的記錄。然后，第二終端6經(jīng)由因特網(wǎng)16將第一音頻序列52發(fā)送給同步設(shè)備22。
[0095]如果用戶的家庭8與同步設(shè)備22之間的因特網(wǎng)鏈接上的帶寬是足夠的，則優(yōu)選地以原始格式發(fā)送第一音頻序列52。然而，為了優(yōu)化交付時(shí)間，如果對(duì)于確保后續(xù)采指紋處理的可靠性，質(zhì)量仍然是可接受的，則可以有利地將其壓縮到一定程度。
[0096]例如，通過(guò)使用HTTP POST協(xié)議將包含第一音頻序列52的文件例如上載到同步設(shè)備22。
[0097]第一持續(xù)時(shí)間選取為短于5秒，優(yōu)選地包括在0.5與3秒之間。例如，其等于I秒。
[0098]因此,第一音頻序列52對(duì)應(yīng)于主要被第一終端4周圍的聲學(xué)環(huán)境54 (圖4)破壞的原始音頻序列42的片段。
[0099]在步驟56，第二處理器32使用第一處理器30實(shí)現(xiàn)的用于生成原始音頻指紋的相同的采指紋算法，從第一序列52生成第一音頻指紋的塊。每個(gè)所生成的第一指紋F’ pF’ 2、F’ 3(圖6)與第一序列52的音頻幀相對(duì)應(yīng)。
[0100]在優(yōu)選實(shí)施例中，第二終端6在該處理期間使用麥克風(fēng)20繼續(xù)從第一終端4進(jìn)行記錄以考慮來(lái)自同步設(shè)備22的可能的附加數(shù)據(jù)請(qǐng)求。
[0101]在步驟58，比較器34對(duì)第一音頻指紋的塊與原始音頻指紋的集合中的每個(gè)相同大小的塊進(jìn)行比較。在該比較期間，估計(jì)兩個(gè)音頻指紋的塊之間的匹配可信度，并且將其與第一預(yù)定閾值進(jìn)行比較。
[0102]為此，比較器34通過(guò)計(jì)算每個(gè)塊中的每對(duì)指紋之間的距離并且對(duì)兩個(gè)塊中的所有對(duì)累計(jì)比較結(jié)果來(lái)執(zhí)行相似度比較。作為示例，當(dāng)對(duì)第一指紋(F’1、F’2、F’3)的塊與原始指紋(F1, F2、F3)的相同大小的塊進(jìn)行比較時(shí)，計(jì)算求和距離d(F’ 1； F1HcKF, 2，F(xiàn)2)+d(F，3，F(xiàn)3)，其中，d(F’ i，F(xiàn)i)，I彡i彡3，表示兩個(gè)指紋之間的歐幾里德范數(shù)或漢明距離。
[0103]如果測(cè)量第一指紋與原始指紋的塊之間的最大相似度的僅最小計(jì)算的求和距離小于第一閾值，則認(rèn)為該指紋匹配是可信的，并且找到了唯一粗略同步位置P1。圖7的下部的圖表示這種情況。
[0104]在一些情況下，基本上由于記錄的非常短的第一持續(xù)時(shí)間或者在原始流中重復(fù)的相似內(nèi)容，可能找到小于第一閾值或者大于第一閾值但小于第二預(yù)定義閾值的所計(jì)算的距離的多個(gè)局部最小點(diǎn)。在這些情況下，找到具有低可信度的多個(gè)粗略同步位置A、B、C(圖7的中部的圖)。
[0105]為了驗(yàn)證最初檢測(cè)到的粗略同步位置A、B、C中的任何一個(gè)是否為正確的同步位置，相關(guān)器36在步驟60計(jì)算第一音頻序列與位于在步驟58通過(guò)采指紋找到的粗略同步位置周圍的原始音頻序列的片段61(圖6和圖7)的GCC-PHAT互相關(guān)。在頻域中執(zhí)行關(guān)于這些互相關(guān)的計(jì)算。
[0106]圖5示出GCC-PHAT計(jì)算的示例。給出與原始音頻序列的片段相對(duì)應(yīng)的時(shí)域信號(hào)x(t)以及其與第一音頻序列相對(duì)應(yīng)的按照距離d延遲并失真的版本Y(t)，使用離散傅里葉變換(DFT)分別計(jì)算它們的頻率表示X(f)和Y(f)。根據(jù)以下公式來(lái)計(jì)算記為Rxy(f)的X(f)與Y(f)的互相關(guān):
? /Ir*(/I
[。1。7] RMh\mm
[0108]在該公式中，按照X(f)與Y(f)的乘積的幅度對(duì)互相關(guān)進(jìn)行規(guī)一化，以便只保留相位信息。
[0109]然后，通過(guò)作為Rxy(f)的逆離散傅里葉變換(IDFT)的Rxy(t)的峰值P的位置來(lái)指定優(yōu)選以樣本的數(shù)量來(lái)測(cè)量的信號(hào)x(t)與Y(t)之間的時(shí)間滯后d。
[0110]在步驟62，比較器34對(duì)所獲得的峰值P的值與第三閾值進(jìn)行比較。該第三閾值可以是預(yù)定義的，或者是根據(jù)Rxy(t)(亦即，考慮Rxy(t)的方差)來(lái)自適應(yīng)地計(jì)算的。
[0111]如果只有一個(gè)峰值高于第三閾值，則認(rèn)為第一與原始音頻序列的對(duì)應(yīng)片段之間的匹配可信度高，并且找到了唯一精確同步位置P2。該位置的精度是樣本的精度。
[0112]參照?qǐng)D7，使用GCC-PHAT互相關(guān)找到的精確同步位置P2(上部的圖)與粗略同步位置A相對(duì)應(yīng),而粗略同步位置B、C(中部的圖)被拒絕。
[0113]因?yàn)橹讣y是基于音頻幀來(lái)計(jì)算的，所以粗略同步位置具有幀精度，這可能不足以對(duì)在兩個(gè)終端4、6上的多媒體流的呈現(xiàn)進(jìn)行完美同步。
[0114]因此，本發(fā)明通過(guò)實(shí)現(xiàn)原始音頻序列與第一音頻序列之間的廣義互相關(guān)的另一步驟，顯著地提高了同步精度。即使在采指紋步驟中找到具有高可信度的唯一粗略同步位置P1，也可以實(shí)現(xiàn)使用GCC-PHAT的相關(guān)步驟，以便獲得樣本精確的同步。
[0115]比較器34將該位置提供給同步器38，然后，同步器38對(duì)第二多媒體流到第二終端6的傳送進(jìn)行同步。
[0116]該同步可以包括:對(duì)補(bǔ)充內(nèi)容服務(wù)器18指示其可以開(kāi)始將第二多媒體流傳送到第二終端6的時(shí)間。
[0117]同步可以還包括:向第二終端6傳送與第二終端6可以開(kāi)始呈現(xiàn)其已經(jīng)接收到的第二多媒體流的時(shí)間有關(guān)的信息。
[0118]如果指紋比較中的所有峰值高于第二閾值(亦即，采指紋無(wú)法提供任何粗略同步位置)，或者互相關(guān)比較中的所有峰值低于第三閾值(亦即，GCC-PHAT不確?？尚诺耐近c(diǎn))，或者互相關(guān)比較中的多于一個(gè)的峰值高于第三閾值，可能是因?yàn)橄嗨苾?nèi)容在原始流數(shù)據(jù)中重復(fù)，認(rèn)為第一與原始音頻序列的對(duì)應(yīng)片段之間的匹配可信度低。在該情況下，同步設(shè)備22在步驟64從第二終端6請(qǐng)求所記錄的數(shù)據(jù)的第二音頻序列。在接收第二序列之后，同步設(shè)備22單獨(dú)使用第二序列或者使用第一序列和第二序列的組合而不是第一序列來(lái)重復(fù)步驟52至62。
[0119]雖然已經(jīng)示出并且描述了目前被認(rèn)為是本發(fā)明優(yōu)選實(shí)施例的內(nèi)容，但本領(lǐng)域技術(shù)人員將理解，在不脫離本發(fā)明真實(shí)范圍的情況下，可以進(jìn)行各種其它修改，并且可以替換等同物。此外，在不脫離在此所描述的主要發(fā)明構(gòu)思的情況下，可以進(jìn)行很多修改以使特定情況適合于本發(fā)明的教導(dǎo)。此外，本發(fā)明實(shí)施例可以不包括以上所述的所有特征。因此，旨在本發(fā)明不受限于所公開(kāi)的具體實(shí)施例，而是本發(fā)明包括落入所附權(quán)利要求的范圍內(nèi)的所有實(shí)施例。
[0120]諸如“包括”、“包含”、“合并”、“含有”、“是”和“具有”這樣的表述在解釋說(shuō)明書(shū)及其相關(guān)聯(lián)的權(quán)利要求時(shí)應(yīng)以非排他的方式來(lái)理解，即，要理解為還允許存在未明確限定的其它項(xiàng)目或者組件。對(duì)單數(shù)的引用也要理解為對(duì)復(fù)數(shù)的引用，反之亦然。
[0121]本領(lǐng)域技術(shù)人員將容易地意識(shí)到，在不脫離本發(fā)明的范圍的情況下，可以修改說(shuō)明書(shū)中公開(kāi)的各種參數(shù)，并且可以組合所公開(kāi)和/或要求保護(hù)的各個(gè)實(shí)施例。
[0122]因此，即使以上描述關(guān)注于使用分離終端的第二屏幕應(yīng)用，其也可以有利地應(yīng)用于僅具有一個(gè)終端的情況，例如當(dāng)僅存在一個(gè)屏幕時(shí)，其中，其一部分顯示主內(nèi)容，而其余部分(畫(huà)中畫(huà))顯示第二內(nèi)容。在該情況下，用于同步的第一音頻序列通過(guò)對(duì)終端所接收的廣播內(nèi)容進(jìn)行解碼來(lái)捕獲，或者直接通過(guò)終端中的麥克風(fēng)對(duì)其進(jìn)行記錄。
[0123]此外，同步設(shè)備可以集成在家庭網(wǎng)關(guān)或機(jī)頂盒或第二屏幕終端中。在該情況下，原始音頻序列并且可選地其相關(guān)聯(lián)的指紋必須提前存儲(chǔ)或者發(fā)送到機(jī)頂盒或網(wǎng)關(guān)或第二屏幕終端。
[0124]此外，雖然以上描述關(guān)注于對(duì)用戶的家庭應(yīng)用使用本發(fā)明，但是本發(fā)明可以有利地用于公共建筑(例如，機(jī)場(chǎng)、火車站、醫(yī)院等)中的第二屏幕應(yīng)用。
【權(quán)利要求】
1.一種用于對(duì)打算在第一終端(4)上呈現(xiàn)的第一多媒體流和打算在第二終端(6)上呈現(xiàn)的第二多媒體流進(jìn)行同步的同步方法，包括根據(jù)所述第一多媒體流的原始音頻序列(42)生成(40)原始音頻指紋的預(yù)備步驟，并且還包括以下步驟: a)接收所述第一多媒體流的音頻數(shù)據(jù)的第一序列(52)； b)根據(jù)所述第一序列(52)生成(56)第一音頻指紋； c)在所述第一音頻指紋與所述原始音頻指紋的塊之間進(jìn)行比較(58)，以便獲得所述原始序列(42)中的一個(gè)或更多的第一同步位置(PI ；A, B, C)； d)使所述第一序列(52)與位于所述第一同步位置(PI；A, B, C)周圍的所述原始序列(42)的一個(gè)或更多的片段￠1)相關(guān)(60)，以便獲得所述原始序列(42)中的僅僅一個(gè)第二同步位置(P2);以及 e)使用所述第二同步位置(P2)對(duì)所述第一多媒體流和所述第二多媒體流進(jìn)行同步。
2.如權(quán)利要求1所述的方法，其中，所述相關(guān)￠0)使用具有相位變換的廣義互相關(guān)技術(shù)。
3.如權(quán)利要求2所述的方法，其中，在頻域中執(zhí)行所述廣義互相關(guān)。
4.如權(quán)利要求1至3中的任一項(xiàng)所述的方法，包括以下步驟:在所述第一終端(4)上呈現(xiàn)所述第一序列(52)的同時(shí)，所述第二終端(6)在第一持續(xù)時(shí)間期間捕獲(50)所述第一多媒體流的音頻數(shù)據(jù)的第一序列(52)。
5.如權(quán)利要求4所述的方法,其中,所述第一持續(xù)時(shí)間短于5秒,優(yōu)選地包括在0.5與3秒之間。
6.如權(quán)利要求1至5中的任一項(xiàng)所述的方法，其中，通過(guò)計(jì)算所述第一序列(52)和所述原始序列(42)的指紋的對(duì)之間的距離來(lái)比較所述第一音頻指紋和所述原始音頻指紋。
7.如權(quán)利要求1至6中的任一項(xiàng)所述的方法，其中，如果在步驟d)未獲得第二同步位置，則所述方法還包括接收所述第一多媒體流的音頻數(shù)據(jù)的第二序列的新步驟，并且其中，單獨(dú)使用第二序列或者使用第一序列和第二序列的組合而不是第一序列(52)來(lái)重復(fù)步驟b)至 d)。
8.如權(quán)利要求1至7中的任一項(xiàng)所述的方法，其中，所述第二終端與所述第一終端相同。
9.如權(quán)利要求1至8中的任一項(xiàng)所述的方法，其中，所述第二終端(6)與所述第一終端(4)不同。
10.如權(quán)利要求1至9中的任一項(xiàng)所述的方法，還包括使用所述第二同步位置(P2)在所述第二終端(6)上呈現(xiàn)所述第二多媒體流的步驟。
11.一種用于對(duì)打算在第一終端(4)上呈現(xiàn)的第一多媒體流和打算在第二終端(6)上呈現(xiàn)的第二多媒體流進(jìn)行同步的同步系統(tǒng)(2)，包括所述第一(4)和第二(6)終端，并且還包括: 第一處理器(30)，用于根據(jù)所述第一多媒體流的原始音頻序列(42)生成原始音頻指紋； 麥克風(fēng)(20)，用于在所述第一終端(4)上呈現(xiàn)所述第一序列(52)的同時(shí)，所述第二終端(6)在第一持續(xù)時(shí)間期間捕獲所述第一多媒體流的音頻數(shù)據(jù)的第一序列(52)； 第二處理器(32)，用于根據(jù)所述第一音頻序列(52)生成第一音頻指紋； 比較器(34)，用于對(duì)所述第一音頻指紋與所述原始音頻指紋的塊進(jìn)行比較，以便獲得所述原始序列(42)中的一個(gè)或更多的同步位置(PI ；A, B, C)； 相關(guān)器(36)，用于使所述第一序列(52)與位于第一同步位置(PI ;A，B，C)周圍的所述原始序列(42)的一個(gè)或更多的片段(61)相關(guān)，以便獲得所述原始序列(42)中的僅僅一個(gè)第二同步位置(P2);以及 同步器(38)，用于使用所述第二同步位置(P2)對(duì)所述第一多媒體流和所述第二多媒體流進(jìn)行同步。
12.一種用于對(duì)打算在第一終端(4)上呈現(xiàn)的第一多媒體流和打算在第二終端(6)上呈現(xiàn)的第二多媒體流進(jìn)行同步的同步設(shè)備(22)，包括: 第一處理器(30)，用于根據(jù)所述第一多媒體流的原始音頻序列(42)生成原始音頻指紋； 第二處理器(32)，用于根據(jù)所述第一多媒體流的音頻數(shù)據(jù)的第一序列(52)生成第一音頻指紋； 比較器(34)，用于對(duì)所述第一音頻指紋與所述原始音頻指紋的塊進(jìn)行比較，以便獲得原始序列(42)中的一個(gè)或更多的第一同步位置(PI ；A, B, C)； 相關(guān)器(36)，用于使所述第一序列(52)與位于所述第一同步位置(PI ;A，B，C)周圍的所述原始序列(42)中的一個(gè)或更多的片段(61)相關(guān)，以便獲得所述原始序列(42)中的僅僅一個(gè)第二同步位置(P2);以及 同步器(38)，用于使用所述第二同步位置(P2)對(duì)所述第一多媒體流和所述第二多媒體流進(jìn)行同步。
13.如權(quán)利要求12所述的同步設(shè)備(22)，其中，所述同步設(shè)備(22)包括在所述第二終端(6)中。
14.如權(quán)利要求12或13所述的同步設(shè)備(2)，其中，所述同步設(shè)備(22)包括在機(jī)頂盒(12)或者網(wǎng)關(guān)中。
15.一種計(jì)算機(jī)可讀程序，其包括用于使計(jì)算機(jī)能夠執(zhí)行如權(quán)利要求1至10中的任一項(xiàng)所述的方法的計(jì)算機(jī)可讀指令。
【文檔編號(hào)】H04N21/43GK104205859SQ201380016892
【公開(kāi)日】2014年12月10日 申請(qǐng)日期:2013年4月2日 優(yōu)先權(quán)日:2012年4月5日
【發(fā)明者】Q-k-n.東, Y.萊格拉斯, C.豪森 申請(qǐng)人:湯姆遜許可公司