專利名稱：一種視頻場(chǎng)景分割的融合方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，特別涉及一種視頻場(chǎng)景分割的融合方法。
背景技術(shù)：
隨著多媒體壓縮、通訊、存儲(chǔ)技術(shù)的飛速發(fā)展，以及互聯(lián)網(wǎng)軟硬件技術(shù)的不斷提高 和普及，使得數(shù)字視頻的應(yīng)用得到了極大的發(fā)展。面對(duì)日益增多的海量視頻數(shù)據(jù)，如何實(shí)現(xiàn) 對(duì)其有效的管理與檢索，已成為亟待解決的問題。當(dāng)前解決這個(gè)問題最主要的技術(shù)就是視 頻摘要和視頻檢索，而這兩大技術(shù)的一個(gè)關(guān)鍵性的基礎(chǔ)步驟就是視頻結(jié)構(gòu)分割。如果把一 個(gè)完整視頻分解為一系列有意義可管理的片段對(duì)高層的視頻摘要和視頻檢索相當(dāng)重要。由 于一個(gè)視頻場(chǎng)景一般都認(rèn)為是一個(gè)有意義的視頻段，因此視頻場(chǎng)景分割是當(dāng)前研究的熱點(diǎn) 問題，對(duì)于視頻摘要與視頻檢索極其重要。 目前已有大量的視頻場(chǎng)景分割算法被提出，每個(gè)算法均在一定程度上對(duì)場(chǎng)景分割 問題做了解決，但是能夠超越其它所有算法，能夠適合所有類型視頻的分割算法迄今還沒 出現(xiàn)。所以有必要從融合角度來研究如何利用現(xiàn)有算法的分割結(jié)果來對(duì)視頻進(jìn)行更好的場(chǎng) 景分割。

發(fā)明內(nèi)容
( — )要解決的技術(shù)問題 有鑒于此，本發(fā)明的主要目的是提供一種魯棒的視頻場(chǎng)景分割融合算法，使得能
夠在現(xiàn)有分割算法基礎(chǔ)上更為魯棒有效的對(duì)視頻進(jìn)行分割。
( 二 )技術(shù)方案 為達(dá)到上述目的，本發(fā)明提供了一種新的視頻場(chǎng)景分割融合方法，該方法包括
步驟1 :利用視頻場(chǎng)景分割算法對(duì)待分割的視頻進(jìn)行場(chǎng)景分割，得到多個(gè)候選分 割結(jié)果作為融合算法的輸入分割集合； 步驟2 :對(duì)得到的多個(gè)候選分割結(jié)果進(jìn)行合并，構(gòu)建一個(gè)新分割；使得得到的新分 割包含所有分割結(jié)果的分割點(diǎn)；對(duì)新分割的分割點(diǎn)進(jìn)行一一判斷，如果該分割點(diǎn)存在于超 過一半的分割結(jié)果上，則該分割點(diǎn)標(biāo)記為真分割點(diǎn)； 步驟3 :對(duì)新分割自左向右進(jìn)行遍歷，截取任意兩個(gè)相鄰的真分割點(diǎn)中間的分割 段，加上這個(gè)兩個(gè)相鄰的真分割點(diǎn)，構(gòu)成一個(gè)分割子段；將所有的分割子段構(gòu)成了一個(gè)分割 子段集合；根據(jù)每個(gè)分割子段的初始點(diǎn)與結(jié)束點(diǎn)，截取分割集合里面每個(gè)輸入分割相應(yīng)的 子段，構(gòu)成每個(gè)分割子段對(duì)應(yīng)的輸入分割子段集合； 步驟4:對(duì)每個(gè)分割子段運(yùn)用優(yōu)化方法來去掉部分分割點(diǎn)，使得優(yōu)化后的新子段 與原分割子段對(duì)應(yīng)的輸入分割子段集合的不一致性指數(shù)盡可能?。?步驟5 :合并每個(gè)分割子段優(yōu)化后的新子段，得到一個(gè)優(yōu)化分割，該優(yōu)化分割為視 頻場(chǎng)景分割的融合結(jié)果。 優(yōu)選地，所述多個(gè)候選分割結(jié)果的獲取，是利用視頻場(chǎng)景分割算法得到多個(gè)場(chǎng)景分割結(jié)果，再利用多個(gè)不同的視頻場(chǎng)景分割算法來分別對(duì)同一待分割視頻進(jìn)行分割，或者
利用同一個(gè)視頻場(chǎng)景分割算法通過調(diào)整該算法的參數(shù)來進(jìn)行分割，以得到多個(gè)分割結(jié)果。 優(yōu)選地，所述的輸入分割子段集合的獲取，是根據(jù)每個(gè)已得到的分割子段的初始
點(diǎn)和結(jié)束點(diǎn)，抽取輸入分割集合里面每個(gè)輸入分割位于這兩點(diǎn)之間的分割段，同時(shí)加上這
兩點(diǎn)，構(gòu)成一個(gè)截取子段；對(duì)于每個(gè)分割子段，所有的輸入分割相應(yīng)的截取子段構(gòu)成了該分
割子段的輸入分割子段集合。 優(yōu)選地，所述的分割子段優(yōu)化方法可以為遺傳算法、整數(shù)規(guī)劃算法、貪婪算法以及 動(dòng)態(tài)規(guī)劃法中的任意一種。 優(yōu)選地，所述不一致性指數(shù)是表述一個(gè)候選新子段與一個(gè)輸入分割子段集合的不 一致性，一個(gè)候選新子段s與一個(gè)輸入分割子段集合Q的不一致性指數(shù)定義為
<formula>formula see original document page 5</formula> 其中&代表Q中的第i個(gè)輸入分割子段；V(S， Q》定義為 [酬2] 其中"和Uj分別代表新分割U的第i個(gè)單元和第j個(gè)單元；新分割U的第i個(gè)單 元是指新分割U的第i個(gè)分割點(diǎn)(初始點(diǎn)規(guī)定為第0個(gè)分割點(diǎn))到第i+1個(gè)分割點(diǎn)之間的 段；《。,(W，^)定義為
f 0 如果^中包含^的分割單元與A中包含t^的分割單元的端點(diǎn)相同 '' '"{I I t/yl 其它 其中|Ui I表示該單元所包含的視頻幀數(shù)。V (s， Q i)衡量了 s與Q i之間不一致 性；《A(K,U》衡量了 s與Q i在A和Uj這兩個(gè)單元上的不一致性。 優(yōu)選地，所述的每個(gè)分割子段優(yōu)化后的新子段，是按照分割子段從新分割中截取
的先后順序，依次連接優(yōu)化得到的新子段，得到最終的優(yōu)化分割。(三)有益效果 從上述技術(shù)方案可以看出，本發(fā)明具有以下優(yōu)點(diǎn) 1、本發(fā)明提供的這種視頻場(chǎng)景分割融合方法，由于其輸入結(jié)果僅僅是現(xiàn)有分割方 法的輸出結(jié)果，沒有對(duì)所用何種分割方法做出任何限制，實(shí)現(xiàn)了與分割方法的算法獨(dú)立性， 因此本融合方法可以對(duì)現(xiàn)有一般性的分割方法都能夠進(jìn)行融合。 2、由于現(xiàn)有的分割方法，一般都是面向特定視頻，或者說在具有某種特性的視頻 上比較有效，還沒有一種方法能夠在大范圍視頻上取得比其它方法都好的結(jié)果；同時(shí)有些 方法在不同參數(shù)下也有不同表現(xiàn)。本算法通過把不同方法(或者同一方法不同參數(shù))的分 割結(jié)果融合起來，以得到更為魯棒的分割結(jié)果。


圖1為本發(fā)明的視頻分割融合流程圖； 圖2a_圖21為本發(fā)明提供的視頻分割融合示例；
圖3為本發(fā)明提供的子段分割優(yōu)化示例；
具體實(shí)施例方式
為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照 附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。 本發(fā)明的執(zhí)行環(huán)境采用一臺(tái)具有3. 0G赫茲中央處理器和2G字節(jié)內(nèi)存的奔騰4計(jì) 算機(jī)(還可以采用其他的執(zhí)行環(huán)境，在此不再贅述)實(shí)現(xiàn)了本發(fā)明的視頻分割融合方法，下 面結(jié)合圖1本發(fā)明的視頻分割融合流程圖、圖2a至圖21本發(fā)明提供的視頻分割融合示例， 詳細(xì)給出本發(fā)明技術(shù)方案中所涉及的各個(gè)步驟細(xì)節(jié)問題的說明。原始視頻如圖2a所示，共 包含21個(gè)視頻幀，對(duì)應(yīng)著22個(gè)分割點(diǎn)(0-21) 步驟101 :利用視頻場(chǎng)景分割算法對(duì)待分割的視頻進(jìn)行場(chǎng)景分割，得到多個(gè)候選 分割結(jié)果作為融合算法的輸入分割集合。多個(gè)候選分割結(jié)果的獲取，是利用視頻場(chǎng)景分割 算法得到多個(gè)場(chǎng)景分割結(jié)果，再利用多個(gè)不同的視頻場(chǎng)景分割算法來分別對(duì)同一待分割視 頻進(jìn)行分割，或者利用同一個(gè)視頻場(chǎng)景分割算法通過調(diào)整該算法的參數(shù)來進(jìn)行分割，以得 到多個(gè)分割結(jié)果。具體多少個(gè)需要事先定義，一般大于或等于3。假定現(xiàn)在已經(jīng)得到了三個(gè) 分割結(jié)果，分別見圖2b、圖2c以及圖2d，粗線標(biāo)記為分割點(diǎn)。這三個(gè)候選分割即組成了輸 入分割集合。以圖2d為例，原始的21個(gè)視頻幀被分為四個(gè)場(chǎng)景，第一個(gè)場(chǎng)景包括第1、2、3、 4、5、6、7幀；第二個(gè)場(chǎng)景包括第8、9、10、11幀；第三個(gè)場(chǎng)景包括第12、 13、 14、 15、 16、 17幀; 第四個(gè)場(chǎng)景包括第18、19、20、21幀。 步驟102 :對(duì)得到的多個(gè)候選分割結(jié)果進(jìn)行合并，構(gòu)建一個(gè)新分割(以下簡(jiǎn)稱U); 使得得到的新分割包含所有分割結(jié)果的分割點(diǎn)；見圖2e，其中粗線即包括了 3種分割的所 有分割點(diǎn)。對(duì)U的分割點(diǎn)進(jìn)行一一判斷，如果該分割點(diǎn)存在于超過一半的輸入分割上，則該 分割點(diǎn)標(biāo)記為真。初始分割點(diǎn)與結(jié)束分割點(diǎn)自動(dòng)標(biāo)記為真。圖2f中標(biāo)為粗線的為真分割 點(diǎn)。 步驟103 :從初始點(diǎn)開始對(duì)U自左向右遍歷，截取任意兩個(gè)相鄰的真分割點(diǎn)中間的 分割段，加上這兩個(gè)相鄰真分割點(diǎn)，構(gòu)成一個(gè)分割子段。所有的分割子段構(gòu)成了一個(gè)分割子 段集合，圖2g即為得到的分割子段集合。然后需要獲取每個(gè)分割子段對(duì)應(yīng)的輸入分割子 段集合。首先根據(jù)每個(gè)分割子段的初始點(diǎn)與結(jié)束點(diǎn)，截取輸入分割集合里面每個(gè)輸入分割 相應(yīng)的子段，構(gòu)成了每個(gè)分割子段對(duì)應(yīng)的輸入分割子段集合。對(duì)于圖2g中的第一個(gè)分割子 段，其初始點(diǎn)和結(jié)束點(diǎn)分別為0和9，因此我們分別截取圖2b、2c和2d這三個(gè)輸入分割中 0分割點(diǎn)和9分割點(diǎn)之間的子段，連同這兩個(gè)分割點(diǎn)就構(gòu)成了三個(gè)輸入分割子段，這三個(gè)輸 入分割子段就構(gòu)成了第一個(gè)分割子段的輸入分割子段集合。圖2h-l為第一個(gè)分割子段及 其輸入分割子段集合。同理可得到第二個(gè)分割子段和第三個(gè)分割子段的輸入分割子段集 合，圖2h-2為第二個(gè)分割子段及其輸入分割子段集合，圖2h-3為第三個(gè)分割子段及其輸入 分割子段集合。 步驟104 :分別對(duì)每一個(gè)分割子段利用優(yōu)化方法求取新子段，使得新子段與該分 割子段對(duì)應(yīng)的輸入分割子段集合的不一致性指數(shù)盡可能小。不一致性指數(shù)用來表述一個(gè)候 選的新子段與一個(gè)的輸入分割子段集合的不一致性，一個(gè)候選的新子段s與一個(gè)輸入分割 子段集合Q的不一致性指數(shù)定義為
6
(D =&0，Q,)， 其中&代表Q中的第i個(gè)輸入分割子段；V (S， Q》定義為X《A(K,^)， 其中"和Uj分別代表新分割U的第i個(gè)單元和第j個(gè)單元；新分割U的第i個(gè)單 元是指新分割u的第i個(gè)分割點(diǎn)(初始點(diǎn)規(guī)定為第0個(gè)分割點(diǎn))到第i+1個(gè)分割點(diǎn)之間的
段；《A^,'，^)定義為
_J 0 如果^中包含"的分割單元與Q,中包含t^的分割單元的端點(diǎn)相同 《A(",,^) = ||[;,M^|其它 其中& I表示該單元所包含的視頻幀數(shù)。V (s， Q》衡量了 s與Q i之間不一致 性；《Q,.(K,^)衡量了 s與Q i在Ui和Uj這兩個(gè)單元上的不一致性。圖2i、圖2j、圖2k 為對(duì)圖2h-l、圖2h-2、圖2h-3中的數(shù)據(jù)優(yōu)化得到的結(jié)果；優(yōu)化方法為遺傳算法、整數(shù)規(guī)劃算 法、貪婪算法以及動(dòng)態(tài)規(guī)劃算法中的一種。 步驟105 :按照分割子段從U中截取的先后順序，依次連接每個(gè)優(yōu)化后的新子段， 得到一個(gè)最終的優(yōu)化分割。圖21即為最終得到的優(yōu)化分割，其就是由圖2i、圖2j和圖2k 中的三個(gè)新子段依先后順序連接而成。 下面以結(jié)合附圖，詳細(xì)說明上述步驟104中的優(yōu)化步驟(以貪婪算法為例，通過迭 代方式來獲取最優(yōu)分割)，圖3a為分割子段以及輸入分割子段集合。假定初始的候選新子 段僅僅只有分割子段的起始分割點(diǎn)和尾分割點(diǎn)，如圖3b所示，其與圖3a右側(cè)的三個(gè)輸入分 割子段的不一致性指數(shù)為52。 步驟1 :分別挑選出圖3a未添加的粗線分割點(diǎn)，計(jì)算若其加入到當(dāng)前的候選新子 段上，得到的新的侯選新子段與圖3a右側(cè)的輸入分割子段集合的不一致性指數(shù)。如圖3c、 圖3d、圖3e為分別加入三個(gè)未添加分割點(diǎn)后得到的三個(gè)新的侯選新子段。計(jì)算得到其對(duì)應(yīng) 的不一致性指數(shù)分別為22、16、22 ; 步驟2 :若步驟l中每個(gè)分割點(diǎn)加入后，計(jì)算的距離未減少，則退出；若有多個(gè)備選 的減少，則選擇能夠使不一致性指數(shù)最小的那個(gè)新的候選新子段，替換當(dāng)前的候選新子段， 重復(fù)步驟1。在給定示例中，由于此時(shí)三個(gè)新的侯選新子段與輸入分割子段集合的不一致性 指數(shù)均小于52，而圖3d中的新的候選新子段與輸入分割子段集合的不一致性指數(shù)為16最 小，因此該新的候選新子段成為當(dāng)前的候選新子段。 最后計(jì)算可發(fā)現(xiàn)如果再在圖3d所示的候選新子段上添加新的分割點(diǎn)，不一致性
指數(shù)只會(huì)增加，因此這個(gè)候選的新子段為最終的新子段，也即圖2i的結(jié)果。 以上所述，僅為本發(fā)明中的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不局限于此，任
何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應(yīng)涵蓋在
本發(fā)明的包含范圍之內(nèi)，因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。
權(quán)利要求
一種視頻場(chǎng)景分割的融合方法，其特征在于，該方法包括步驟1利用視頻場(chǎng)景分割算法對(duì)待分割的視頻進(jìn)行場(chǎng)景分割，得到多個(gè)候選分割結(jié)果作為融合算法的輸入分割集合；步驟2對(duì)得到的多個(gè)候選分割結(jié)果進(jìn)行合并，構(gòu)建一個(gè)新分割；使得得到的新分割包含所有分割結(jié)果的分割點(diǎn)；對(duì)新分割的分割點(diǎn)進(jìn)行一一判斷，如果該分割點(diǎn)存在于超過一半的分割結(jié)果上，則該分割點(diǎn)標(biāo)記為真分割點(diǎn)；步驟3對(duì)新分割自左向右進(jìn)行遍歷，截取任意兩個(gè)相鄰的真分割點(diǎn)中間的分割段，加上這個(gè)兩個(gè)相鄰的真分割點(diǎn)，構(gòu)成一個(gè)分割子段；將所有的分割子段構(gòu)成了一個(gè)分割子段集合；根據(jù)每個(gè)分割子段的初始點(diǎn)與結(jié)束點(diǎn)，截取分割集合里面每個(gè)輸入分割相應(yīng)的子段，構(gòu)成每個(gè)分割子段對(duì)應(yīng)的輸入分割子段集合；步驟4對(duì)每個(gè)分割子段運(yùn)用優(yōu)化方法來去掉部分分割點(diǎn)，使得優(yōu)化后的新子段與原分割子段對(duì)應(yīng)的輸入分割子段集合的不一致性指數(shù)盡可能小；步驟5合并每個(gè)分割子段優(yōu)化后的新子段，得到一個(gè)優(yōu)化分割，該優(yōu)化分割為視頻場(chǎng)景分割的融合結(jié)果。
2. 根據(jù)權(quán)利要求1所述視頻場(chǎng)景分割的融合方法，其特征在于，所述多個(gè)候選分割結(jié) 果的獲取，是利用視頻場(chǎng)景分割算法得到多個(gè)場(chǎng)景分割結(jié)果，再利用多個(gè)不同的視頻場(chǎng)景 分割算法來分別對(duì)同一待分割視頻進(jìn)行分割，或者利用同一個(gè)視頻場(chǎng)景分割算法通過調(diào)整 該算法的參數(shù)來進(jìn)行分割，以得到多個(gè)分割結(jié)果。
3. 根據(jù)權(quán)利要求1所述視頻場(chǎng)景分割的融合方法，其特征在于，所述的輸入分割子段 集合的獲取，是根據(jù)每個(gè)已得到的分割子段的初始點(diǎn)和結(jié)束點(diǎn)，抽取輸入分割集合里面每 個(gè)輸入分割位于這兩點(diǎn)之間的分割段，同時(shí)加上這兩點(diǎn)，構(gòu)成一個(gè)截取子段；對(duì)于每個(gè)分割 子段，所有的輸入分割相應(yīng)的截取子段構(gòu)成了該分割子段的輸入分割子段集合。
4. 根據(jù)權(quán)利要求1所述視頻場(chǎng)景分割的融合方法，其特征在于，所述的分割子段優(yōu)化 方法可以為遺傳算法、整數(shù)規(guī)劃算法、貪婪算法以及動(dòng)態(tài)規(guī)劃法中的任意一種。
5. 根據(jù)權(quán)利要求1所述視頻場(chǎng)景分割的融合方法，其特征在于，所述不一致性指數(shù)是 表述一個(gè)候選新子段與一個(gè)輸入分割子段集合的不一致性，一個(gè)候選新子段s與一個(gè)輸入 分割子段集合Q的不一致性指數(shù)定義為。"'，Q) 二Z^"',Q,.)，其中"和Uj分別代表新分割U的第i個(gè)單元和第j個(gè)單元；新分割U的第i個(gè)單元 是指新分割U的第i個(gè)分割點(diǎn)，初始點(diǎn)規(guī)定為第0個(gè)分割點(diǎn)，到第i + 1個(gè)分割點(diǎn)之間的段； 《A(",'，""定義為f0 如果^中包含t/,的分割單元與Q,.中包含f/,.的分割單元的端點(diǎn)相同其中|Ui|表示該單元所包含的視頻幀數(shù)；V (s， Q》衡量了 s與&之間不一致性；其中Qi代表Q中的第i個(gè)輸入分割子段；V(S， Q》定義為《A(K,^)衡量了 s與Q i在Ui和Uj這兩個(gè)單元上的不一致性。
6.根據(jù)權(quán)利要求1所述視頻場(chǎng)景分割的融合方法，其特征在于，所述的每個(gè)分割子段 優(yōu)化后的新子段，是按照分割子段從新分割中截取的先后順序，依次連接優(yōu)化得到的新子 段，得到最終的優(yōu)化分割。
全文摘要
本發(fā)明公開一種視頻場(chǎng)景分割的融合方法，包括利用現(xiàn)有的視頻場(chǎng)景分割方法對(duì)給定的視頻進(jìn)行分割得到多個(gè)候選場(chǎng)景分割結(jié)果來作為分割融合的輸入分割集合，利用輸入分割集合構(gòu)建一個(gè)新分割，對(duì)這個(gè)新的分割的每一個(gè)分割點(diǎn)進(jìn)行預(yù)處理，如果該分割點(diǎn)出現(xiàn)在超過一半的候選分割里面，則標(biāo)記該點(diǎn)為真分割點(diǎn)，視頻的初始點(diǎn)與結(jié)束點(diǎn)自動(dòng)成為真分割點(diǎn)。提取完真分割點(diǎn)后，可以把新分割分為多個(gè)子分割段。利用優(yōu)化算法對(duì)每個(gè)子分割段進(jìn)行分割點(diǎn)優(yōu)化，使得最終得到的新分割子段能夠盡可能小的不一致性指數(shù)。每個(gè)分割子段的優(yōu)化算法運(yùn)行完畢后，合并每個(gè)子段的結(jié)果來得到最終的融合結(jié)果。本發(fā)明可以更為魯棒的對(duì)視頻所包含的場(chǎng)景進(jìn)行分割。
文檔編號(hào)H04N5/14GK101753853SQ20091008403
公開日2010年6月23日 申請(qǐng)日期2009年5月13日 優(yōu)先權(quán)日2009年5月13日
發(fā)明者吳偶, 胡衛(wèi)明 申請(qǐng)人:中國科學(xué)院自動(dòng)化研究所