一種視頻摘要中事件與背景的融合方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計算機(jī)智能監(jiān)控視頻處理技術(shù)領(lǐng)域，更具體地，設(shè)及一種視頻摘要中 事件與背景的融合方法。
【背景技術(shù)】
[0002] 視頻監(jiān)控系統(tǒng)已經(jīng)廣泛應(yīng)用于加強(qiáng)公共安全建設(shè)、防范違法犯罪活動W及安全事 故預(yù)警等方面。雖然視頻監(jiān)控領(lǐng)域的技術(shù)在不斷發(fā)展，但是回查視頻監(jiān)控錄像仍是一項非 常耗費人力、物力資源的工作，而且非常不被重視，往往是在事發(fā)之后，需要臨時組織一個 龐大的團(tuán)隊來對視頻監(jiān)控錄像進(jìn)行查看和分析。
[0003] 因此，迫切需要一種方法能夠方便對視頻監(jiān)控錄像進(jìn)行查詢。建立一個視頻摘要 系統(tǒng)是一個很好的方法。通俗的講，視頻摘要是原始視頻的濃縮視頻。它旨在有效地使用 視頻監(jiān)控錄像，對海量視頻監(jiān)控錄像進(jìn)行處理和分析，提高監(jiān)控錄像的倒查效率，實現(xiàn)對視 頻數(shù)據(jù)進(jìn)行結(jié)構(gòu)化的存儲和查詢，可W將較長的視頻濃縮成短短幾分鐘的視頻。點擊任何 事件即可查看該事件在原始視頻中從出現(xiàn)到結(jié)束期間的情況。
[0004] 目前生成視頻摘要系統(tǒng)的方法主要有基于關(guān)鍵帖和基于對象的方法，其中基于關(guān) 鍵帖的方法是指通過提取一系列的關(guān)鍵帖組成相應(yīng)的語義單元，概括整個視頻的內(nèi)容，W 供快速檢索，該方法重點考慮視頻的關(guān)鍵帖；基于對象的方法是由能夠表達(dá)原始視頻內(nèi)容 的事件加W編輯而成，在保持了視頻內(nèi)容能夠隨時間動態(tài)變化的基礎(chǔ)上很大程度減少了時 間一空間冗余，因此其表現(xiàn)的內(nèi)容要比基于關(guān)鍵帖的視頻摘要豐富的多，也是實際應(yīng)用中 較流行的方法。
[0005] 但是，該方法的一個難點問題是事件與背景怎樣能更好的融合，生成高質(zhì)量的新 視頻。具體問題是；（1)如何將提取出的目標(biāo)"無縫"、"自然"的融合到相應(yīng)的背景中；（2) 如何盡可能的減少目標(biāo)間的遮擋。目前融合事件與背景的方法有基于al地amatte的方 法和泊松圖像編輯的方法，al地amatte的方法功能強(qiáng)大，但實現(xiàn)復(fù)雜；泊松圖像編輯的方 法在融合對象和場景的顏色沒有突變時能消除拼縫，取得較好的結(jié)果，但因使用的是L2范 數(shù)，不能很好的估計圖像顏色的連續(xù)性，對于存在較大顏色突變的場景無法取得較好的結(jié) 果，因而如何降低目標(biāo)與背景的顏色差異保證泊松圖像編輯的方法取得較好的效果是一個 問題。同時，在減少目標(biāo)間的遮擋方面，除了在事件重組過程中通過事件的疏密程度來控制 當(dāng)前摘要帖上的事件數(shù)目外，并沒有很好的通過融合來減少目標(biāo)間遮擋的方法。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的在于提出一種視頻摘要中事件與背景的融合方法。該方法能夠無 縫、自然的將事件融合到對應(yīng)的背景中，有效的避免事件與事件之間的遮擋，形成高質(zhì)量的 新視頻圖像場景。
[0007] 為了實現(xiàn)上述目的，本發(fā)明提供了一種視頻摘要中事件與背景的融合方法，包 括：
[000引 （1)通過運(yùn)動目標(biāo)的檢測和跟蹤，得到原始視頻序列中所有的事件和最后形成摘 要視頻所需的背景帖序列；記錄每一個事件的所有發(fā)生時刻所對應(yīng)的圖像塊的寬高及圖像 塊內(nèi)所有像素位置的二值前景值、每一個事件發(fā)生的起始帖號和結(jié)束帖號、W及每一個事 件摘要視頻中出現(xiàn)時的起始帖號；
[0009] (2)根據(jù)每一個事件發(fā)生的起始帖號和結(jié)束帖號，W及每一個事件在摘要視頻中 發(fā)生時的起始帖號，從原始視頻序列的所有事件中，找出當(dāng)前摘要帖上需要出現(xiàn)的所有事 件及其對應(yīng)時刻的圖像塊；
[0010] (3)對步驟（2)所述摘要帖上所有事件的相應(yīng)時刻的圖像塊進(jìn)行預(yù)處理，包括對 各事件所對應(yīng)圖像塊按照面積從大到小排序，所述各圖像塊的面積根據(jù)步驟（1)中得到的 各圖像塊的寬高得到，然后根據(jù)步驟（1)中得到的各圖像塊內(nèi)所有像素位置的二值前景值 調(diào)整對應(yīng)圖像塊的局部亮度；
[0011] (4)利用步驟（2)所述摘要帖上的所有事件對步驟（1)中得到的背景帖進(jìn)行投票， 得票最高的背景帖即為當(dāng)前摘要帖所需的背景帖，所述利用事件對背景帖進(jìn)行投票是根據(jù) 相應(yīng)時刻的圖像塊在原始視頻中所在的帖號與步驟（1)中獲取背景帖時的周期相比，根據(jù) 比值判斷對步驟（1)中得到的背景帖中的哪一帖進(jìn)行投票；
[0012] (5)對步驟（3)所述預(yù)處理后的圖像塊和步驟（4)所述背景帖進(jìn)行融合得到摘要 帖，所述融合是根據(jù)步驟（1)中得到的各圖像塊內(nèi)所有像素位置的二值前景值與背景帖上 當(dāng)前像素位置的融合狀態(tài)選擇加權(quán)融合與泊松圖像編輯中的某一種方法進(jìn)行融合。
[0013] 在本發(fā)明的一個實施例中，所述步驟（1)中生成摘要視頻所需背景帖序列的具體 方法為；從原始視頻的第一帖開始，WT為周期對T帖圖像相應(yīng)位置的每一個像素值進(jìn)行累 加平均，得到一張均值圖像，W此均值圖像作為一張背景圖，如此循環(huán)，直到視頻帖結(jié)束，可 W得到形成摘要視頻所需的背景帖序列BackGround= (b。，bi，......bj，其中t為大于0 的整數(shù)；其中第q帖均值圖像上某一個像素點（X，y)處的像素值按照下面公式計算：
[0014]
【主權(quán)項】
1. 一種視頻摘要中事件與背景的融合方法，其特征在于，所述方法包括以下步驟： (1) 通過運(yùn)動目標(biāo)的檢測和跟蹤，得到原始視頻序列中所有的事件和最后形成摘要視 頻所需的背景幀序列；記錄每一個事件的所有發(fā)生時刻所對應(yīng)的圖像塊的寬高及圖像塊內(nèi) 所有像素位置的二值前景值、每一個事件發(fā)生的起始幀號和結(jié)束幀號、以及每一個事件摘 要視頻中出現(xiàn)時的起始幀號； (2) 根據(jù)每一個事件發(fā)生的起始幀號和結(jié)束幀號，以及每一個事件在摘要視頻中發(fā)生 時的起始幀號，從原始視頻序列的所有事件中，找出當(dāng)前摘要幀上需要出現(xiàn)的所有事件及 其對應(yīng)時刻的圖像塊； (3) 對步驟（2)所述摘要幀上所有事件的相應(yīng)時刻的圖像塊進(jìn)行預(yù)處理，包括對各事 件所對應(yīng)圖像塊按照面積從大到小排序，所述各圖像塊的面積根據(jù)步驟（1)中得到的各圖 像塊的寬高得到，然后根據(jù)步驟（1)中得到的各圖像塊內(nèi)所有像素位置的二值前景值調(diào)整 對應(yīng)圖像塊的局部亮度； (4) 利用步驟（2)所述摘要幀上的所有事件對步驟（1)中得到的背景幀進(jìn)行投票，得票 最高的背景幀即為當(dāng)前摘要幀所需的背景幀，所述利用