專利名稱：一種視頻摘要生成方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其是涉及一種視頻摘要生成方法和裝置。
背景技術(shù)：
在社會公共安全領(lǐng)域，視頻監(jiān)控系統(tǒng)成為維護(hù)社會治安、加強(qiáng)社會管理的一個重要組成部分。然而視頻錄像存在存儲數(shù)據(jù)量大、存儲時間長等特點，通過錄像尋找線索，獲取證據(jù)，依照傳統(tǒng)的做法逐一瀏覽相關(guān)視頻，是要耗費大量人力、物力以及時間的，效率極其低下，以至于錯過最佳破案時機(jī)。因此在視頻監(jiān)控系統(tǒng)中，對原始視頻進(jìn)行濃縮，可以快速瀏覽，鎖定檢索對象，對于公安加快破案速度，提高大案、要案的破案效率具有重要指導(dǎo)意義。而現(xiàn)有技術(shù)中，對視頻濃縮所采用的方式為以自動或半自動的方式，先通過運動目標(biāo)分析，提取運動目標(biāo)，然后對各個目標(biāo)的運動軌跡進(jìn)行分析，將不同的目標(biāo)拼接到一個共同的背景場景中，并將它們以某種方式進(jìn)行組合形成視頻摘要。而很多情況下，公安機(jī)關(guān)所關(guān)注的僅為提取出的多個目標(biāo)中的一個，其他目標(biāo)的出現(xiàn)則會分散公安機(jī)關(guān)工作人員的注意力，造成干擾。綜上所述，現(xiàn)有技術(shù)中的視頻濃縮技術(shù)，存在無關(guān)目標(biāo)干擾視頻瀏覽的技術(shù)問題。

發(fā)明內(nèi)容
本發(fā)明提出了一種視頻摘要生成方法和裝置，通過獲取用戶的意向區(qū)域，只對意向區(qū)域內(nèi)的圖像進(jìn)行前景檢測，防止了該區(qū)域外的其他無關(guān)目標(biāo)的干擾。為了達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實現(xiàn)的:本發(fā)明提供一種視頻摘要生成方法，包括步驟:步驟A，獲取用戶指定的意向區(qū)域的位置信息，確定意向區(qū)域；步驟B，對所述意向區(qū)域的圖像進(jìn)行前景檢測；步驟C，對檢測到的目標(biāo)進(jìn)行跟蹤，提取目標(biāo)的運動軌跡；步驟D，將目標(biāo)的運動軌跡的各幀圖像分別疊加到對應(yīng)的背景上，生成視頻摘要。其中，所述步驟B中進(jìn)行前景檢測包括步驟:利用混合高斯函數(shù)對圖像進(jìn)行背景建模，提取運動的目標(biāo)。其中，所述步驟利用混合高斯函數(shù)對圖像進(jìn)行背景建模，提取運動的目標(biāo)還包括對光照和陰影進(jìn)行處理，包括步驟:當(dāng)拍攝環(huán)境中的單位時間內(nèi)光照變化幅度超過預(yù)設(shè)閾值時，將判定為背景點的像素的取值范圍縮小為原來的0.4-0.6倍；用大于陰影區(qū)域的像素的閾值將圖像二值化，去除陰影。其中，所述步驟C中對檢測到的目標(biāo)進(jìn)行跟蹤包括步驟:遍歷當(dāng)前幀檢測到的所有目標(biāo)，和上一幀圖像所檢測到的目標(biāo)進(jìn)行比較，若滿足如下條件:
Scross>min (Spre, Stemp) X RScross=W i dthcross X He i ghtcrossWidthcross=min (rightpre, righttemp)-max (Ieftpre, Iefttemp)Heightcross=min (Bottompre, Bottomtemp) -max (Toppre, Toptemp)其中，Scross為前后兩幀的交叉面積，Widthcross為投影到水平方向上的交叉部分的長度^eightcmss為投影到垂直方向上的交叉部分的長度；rightpM為前一幀輪廓的右邊界的值；righttemp為當(dāng)前幀輪廓的右邊界的值；leftp,e為前一幀輪廓的左邊界的值；lefttemp為當(dāng)前幀輪廓的左邊界的值Jottonw為前一幀輪廓的下邊界的值；Bottomtenip為當(dāng)前幀輪廓的下邊界的值Joplffe為前一幀輪廓的上邊界的值Joptenip為當(dāng)前幀輪廓的上邊界的值；所述R為交叉比例；則判定當(dāng)前幀的目標(biāo)與上一幀關(guān)聯(lián)，更新軌跡；若不滿足該條件，則判定不關(guān)聯(lián)，產(chǎn)生新的軌跡，若上一幀圖像存在沒有和當(dāng)前幀檢測的目標(biāo)關(guān)聯(lián)上的軌跡，則終止該軌跡的跟蹤，并將該軌跡存儲。其中，所述步驟A還包括步驟:獲取用戶指定的排除區(qū)域的位置信息；所述步驟B還包括步驟: 對所述排除區(qū)域外的圖像進(jìn)行前景檢測。其中，所述步驟B還包括步驟:更新背景；根據(jù)提取到的目標(biāo)的數(shù)目，按照目標(biāo)數(shù)目越多則前景檢測的頻率越高、背景更新頻率越低的原則，調(diào)整前景檢測的頻率和背景更新的頻率。其中，所述步驟調(diào)整前景檢測的頻率和背景更新的頻率包括步驟:當(dāng)提取到的目標(biāo)數(shù)目為零時，隔3-6幀進(jìn)行一次前景檢測，背景每一幀更新一次；當(dāng)提取到的目標(biāo)數(shù)目為1-3個時，隔2幀進(jìn)行一次前景檢測，背景每兩幀更新一次；當(dāng)提取到的目標(biāo)數(shù)目為3個以上時，每幀都進(jìn)行前景檢測，背景每三幀更新一次。其中，所述步驟A中確定意向區(qū)域包括步驟:當(dāng)用戶指定一條直線時，則以該直線為對稱軸的矩形區(qū)域作為意向區(qū)域；當(dāng)用戶指定一個點時，則以該點為中心將周圍預(yù)設(shè)距離內(nèi)的區(qū)域作為意向區(qū)域；當(dāng)用戶指定一個多邊形或者不規(guī)則形狀時，則該多邊形或者不規(guī)則形內(nèi)的區(qū)域作為意向區(qū)域。本發(fā)明還提供一種視頻摘要生成裝置，包括用戶交互模塊、前景檢測模塊、跟蹤模塊和生成模塊；所述用戶交互模塊，用于獲取用戶指定的意向區(qū)域的位置信息，確定意向區(qū)域；所述前景檢測模塊，用于對所述意向區(qū)域的圖像進(jìn)行前景檢測；所述跟蹤模塊，用于對檢測到的目標(biāo)進(jìn)行跟蹤，提取目標(biāo)的軌跡；所述生成模塊，用于將目標(biāo)的運動軌跡的各幀圖像分別疊加到對應(yīng)的背景上，生成視頻摘要。其中，所述用戶交互模塊，還用于獲取用戶指定的排除區(qū)域的位置信息?？梢姡景l(fā)明至少具有如下的有益效果:本發(fā)明的一種視頻摘要生成方法和裝置，通過獲取用戶指定的意向區(qū)域的位置信息，確定意向區(qū)域，并對意向區(qū)域的圖像進(jìn)行前景檢測，對檢測到的目標(biāo)進(jìn)行跟蹤，提取目標(biāo)的軌跡，將軌跡分別疊加到對應(yīng)的背景上，生成視頻摘要，這樣，進(jìn)行前景檢測以及跟蹤等算法步驟，都只針對意向區(qū)域內(nèi)的圖像，從而提取出的目標(biāo)也都只是意向區(qū)域內(nèi)的目標(biāo)，而對用戶沒有意義的其他運動目標(biāo)則不會出現(xiàn)在視頻摘要中，從而防止了無關(guān)目標(biāo)對用戶的干擾；另外，只對意向區(qū)域內(nèi)的圖像進(jìn)行前景檢測、軌跡提取等操作，無需對整幀圖像都進(jìn)行運算，從而減少了運算量，也就加快了運算的速度，進(jìn)而提高了視頻摘要生成的速度，而摘要的快速生成，為公安機(jī)關(guān)抓住時機(jī)盡快破案提供了有利條件；進(jìn)一步地，采用混合高斯函數(shù)進(jìn)行前景檢測，保證了前景檢測的精度，同時，對光照和陰影分別處理，防止了由于光照的變化較大而對視頻的前景提取造成不利影響，而陰影的處理，也使得視頻更加清晰，更易觀察；進(jìn)一步地，還可由用戶指定排除區(qū)域，這樣，用戶在比較確定不需要觀察某些區(qū)域時，可以將這些區(qū)域指定為排除區(qū)域，同樣可以減少了無關(guān)目標(biāo)的干擾，提高運算速度；進(jìn)一步地，還對前景檢測和背景更新的頻率進(jìn)行調(diào)整，這樣，根據(jù)不同的情況進(jìn)行區(qū)別處理，在保證準(zhǔn)確度的前提下，盡量減少運算量，從而進(jìn)一步加快了視頻摘要的生成速度。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖1為本發(fā)明的視頻摘要生成方法的實施例一的流程圖；圖2為本發(fā)明的視頻摘要生成方法的實施例二的流程圖。
具體實施例方式為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。實施例一本發(fā)明實施例一提供一種視頻摘要生成方法，參見圖1所示，包括步驟:步驟SI 10，獲取用戶指定的意向區(qū)域的位置信息，確定意向區(qū)域。意向區(qū)域，也就是用戶感興趣的區(qū)域，針對某段特定的視頻，用戶可能只關(guān)心經(jīng)過某個區(qū)域或者跨越某條線的運動的目標(biāo)，故首先設(shè)置感興趣區(qū)域，在做目標(biāo)檢測與跟蹤時，只關(guān)心感興趣區(qū)域內(nèi)經(jīng)過的目標(biāo)。其中意向區(qū)域可以為任意多邊形，也可以為一條線，或者幾條直線確定的封閉區(qū)域。優(yōu)選地，在本實施例中，當(dāng)用戶指定一條直線時，則以該直線為對稱軸的矩形區(qū)域作為意向區(qū)域；當(dāng)用戶指定一個點時，則以該點為中心將周圍預(yù)設(shè)距離內(nèi)的區(qū)域作為意向區(qū)域；當(dāng)用戶指定一個多邊形或者不規(guī)則形狀時，則該多邊形或者不規(guī)則形內(nèi)的區(qū)域作為意向區(qū)域。其中所述預(yù)設(shè)距離，可以為該點周圍幾十至幾百個像素點的距離，具體可由本領(lǐng)域技術(shù)人員根據(jù)實際情況具體決定，本實施例不做限定。步驟SI 11，對所述意向區(qū)域的圖像進(jìn)行前景檢測。前景檢測可采用多種相關(guān)算法，例如混合高斯背景模型、SACON (SAMPLECONSENSUS)等，本實施例不——列舉。步驟S112，對檢測到的目標(biāo)進(jìn)行跟蹤，提取目標(biāo)的運動軌跡。跟蹤過程，也可采用多種算法，例如較為簡單的最鄰近方法、多目標(biāo)跟蹤算法、邊緣跟蹤算法等等。步驟S113，將目標(biāo)的運動軌跡的各幀圖像分別疊加到對應(yīng)的背景上，生成視頻摘要。根據(jù)提取出的運動目標(biāo)的軌跡和存儲的背景圖像，按照軌跡出現(xiàn)的時間關(guān)系和空間關(guān)系對軌跡進(jìn)行排列，然后將運動的目標(biāo)軌跡疊加到存儲的背景圖像上，生成摘要。采用本實施例一提供的方法，進(jìn)行視頻摘要的生成，能夠有效地防止無關(guān)目標(biāo)的妨礙，并且減少了運算量，提高了運算速度。實施例二本發(fā)明實施例二提供了一種視頻摘要生成方法，參見圖2所示，包括步驟:步驟S210:獲取用戶指定的意向區(qū)域和/或排除區(qū)域的位置信息，確定意向區(qū)域。用戶還可以設(shè)置排除區(qū)域，排除區(qū)域，即用戶不關(guān)心的區(qū)域，排除區(qū)域可以為樹葉晃動的區(qū)域，也可以為一些死角不可能出現(xiàn)運動目標(biāo)的區(qū)域。當(dāng)用戶所指定的意向區(qū)域內(nèi)，仍然存在一些不需要進(jìn)行處理的區(qū)域時，則可在指定的意向區(qū)域內(nèi)再次指定一個排除區(qū)域，從而更加減少運算量，提高運算速度?；蛘撸?dāng)用戶不明確目標(biāo)所要出現(xiàn)的區(qū)域范圍，只明確目標(biāo)不會在哪出現(xiàn)時，則可不指定意向區(qū)域，僅指定排除區(qū)域，這樣在保證視頻不丟掉信息的同時，提高運算速度。步驟S211:對所述意向區(qū)域的圖像利用混合高斯函數(shù)進(jìn)行背景建模，提取運動的目標(biāo)。利用混合高斯對圖像進(jìn)行背景建模，提取運動的前景，其中可以根據(jù)視頻場景選擇混合高斯函數(shù)所采用的數(shù)目，對于陰影可以單獨訓(xùn)練一個高斯模型。單高斯背景建模函數(shù)為
權(quán)利要求
1.種視頻摘要生成方法，其特征在于，包括步驟: 步驟A，獲取用戶指定的意向區(qū)域的位置信息，確定意向區(qū)域； 步驟B，對所述意向區(qū)域的圖像進(jìn)行前景檢測； 步驟C，對檢測到的目標(biāo)進(jìn)行跟蹤，提取目標(biāo)的運動軌跡； 步驟D，將目標(biāo)的運動軌跡的各幀圖像分別疊加到對應(yīng)的背景上，生成視頻摘要。
2.據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟B中進(jìn)行前景檢測包括步驟: 利用混合高斯函數(shù)對圖像進(jìn)行背景建模，提取運動的目標(biāo)。
3.據(jù)權(quán)利要求3所述的方法，其特征在于，所述步驟利用混合高斯函數(shù)對圖像進(jìn)行背景建模，提取運動的目標(biāo)還包括對光照和陰影進(jìn)行處理，包括步驟: 當(dāng)拍攝環(huán)境中的單位時間內(nèi)光照變化幅度超過預(yù)設(shè)閾值時，將判定為背景點的像素的取值范圍縮小為原來的0.4-0.6倍； 用大于陰影區(qū)域的像素的閾值將圖像二值化，去除陰影。
4.據(jù)權(quán)利要求1所述的視頻摘要生成方法，其特征在于，所述步驟C中對檢測到的目標(biāo)進(jìn)行跟蹤包括步驟: 遍歷當(dāng)前幀檢測到的所有目標(biāo)，和上一幀圖像所檢測到的目標(biāo)進(jìn)行比較，若滿足如下條件: Scross〉min (Spre，Stemp) X R Scross=W i dthcross X He i ghtcross ffidthcross=min (rightpre, righttemp) -max (Ieftpre, Iefttemp) Heightcross=min (Bottompre, Bottomtemp) -max (Toppre, Toptemp) 其中，Scmss為前后兩幀的交叉面積，Widtheross為投影到水平方向上的交叉部分的長度；Heightcross為投影到垂直方向上的交叉部分的長度；rightpM為前一幀輪廓的右邊界的值；rIghttemp為當(dāng)前幀輪廓的右邊界的值；leftp,e為前一幀輪廓的左邊界的值；lefttemp為當(dāng)前幀輪廓的左邊界的值；Bottoive為前一幀輪廓的下邊界的值；Bottomtenip為當(dāng)前幀輪廓的下邊界的值；ΤορρΜ為前一幀輪廓的上邊界的值Joptenip為當(dāng)前幀輪廓的上邊界的值；所述R為交叉比例； 則判定當(dāng)前幀的目標(biāo)與上一幀關(guān)聯(lián)，更新軌跡；若不滿足該條件，則判定不關(guān)聯(lián)，產(chǎn)生新的軌跡，若上一幀圖像存在沒有和當(dāng)前幀檢測的目標(biāo)關(guān)聯(lián)上的軌跡，則終止該軌跡的跟蹤，并將該軌跡存儲。
5.據(jù)權(quán)利要求1所述的視頻摘要生成方法，其特征在于，所述步驟A還包括步驟: 獲取用戶指定的排除區(qū)域的位置信息； 所述步驟B還包括步驟: 對所述排除區(qū)域外的圖像進(jìn)行前景檢測。
6.據(jù)權(quán)利要求1所述的視頻摘要生成方法，其特征在于，所述步驟B還包括步驟: 更新背景； 根據(jù)提取到的目標(biāo)的數(shù)目，按照目標(biāo)數(shù)目越多則前景檢測的頻率越高、背景更新頻率越低的原則，調(diào)整前景檢測的頻率和背景更新的頻率。
7.據(jù)權(quán)利要求6所述的視頻摘要生成方法，其特征在于，所述步驟調(diào)整前景檢測的頻率和背景更新的頻率包括步驟:當(dāng)提取到的目標(biāo)數(shù)目為零時，隔3-6幀進(jìn)行一次前景檢測，背景每一幀更新一次； 當(dāng)提取到的目標(biāo)數(shù)目為1-3個時，隔2幀進(jìn)行一次前景檢測，背景每兩幀更新一次； 當(dāng)提取到的目標(biāo)數(shù)目為3個以上時，每幀都進(jìn)行前景檢測，背景每三幀更新一次。
8.據(jù)權(quán)利要求1所述的視頻摘要生成方法，其特征在于，所述步驟A中確定意向區(qū)域包括步驟: 當(dāng)用戶指定一條直線時，則以該直線為對稱軸的矩形區(qū)域作為意向區(qū)域； 當(dāng)用戶指定一個點時，則以該點為中心將周圍預(yù)設(shè)距離內(nèi)的區(qū)域作為意向區(qū)域；當(dāng)用戶指定一個多邊形或者不規(guī)則形狀時，則該多邊形或者不規(guī)則形內(nèi)的區(qū)域作為意向區(qū)域。
9.種視頻摘要生成裝置，其特征在于，包括用戶交互模塊、前景檢測模塊、跟蹤模塊和生成模塊； 所述用戶交互模塊，用于獲取用戶指定的意向區(qū)域的位置信息，確定意向區(qū)域； 所述前景檢測模塊，用于對所述意向區(qū)域的圖像進(jìn)行前景檢測； 所述跟蹤模塊，用于對檢測到的目標(biāo)進(jìn)行跟蹤，提取目標(biāo)的軌跡； 所述生成模塊，用于將目標(biāo)的運動軌跡的各幀圖像分別疊加到對應(yīng)的背景上，生成視頻摘要。
10.據(jù)權(quán)利要求9所述的視頻摘要生成裝置，其特征在于，所述用戶交互模塊，還用于獲取用戶指定的排除區(qū)域 的位置信息。
全文摘要
本發(fā)明提出了一種視頻摘要生成方法，包括步驟獲取用戶指定的意向區(qū)域的位置信息，確定意向區(qū)域；對所述意向區(qū)域的圖像進(jìn)行前景檢測；對檢測到的目標(biāo)進(jìn)行跟蹤，提取目標(biāo)的運動軌跡；將目標(biāo)的運動軌跡的各幀圖像分別疊加到對應(yīng)的背景上，生成視頻摘要。本發(fā)明還提供一種視頻摘要生成裝置，包括用戶交互模塊、前景檢測模塊、跟蹤模塊和生成模塊。用戶交互模塊，用于獲取用戶指定的意向區(qū)域的位置信息；前景檢測模塊，用于對意向區(qū)域的圖像進(jìn)行前景檢測；跟蹤模塊，用于對檢測到的目標(biāo)進(jìn)行跟蹤，提取目標(biāo)的軌跡；生成模塊，用于將目標(biāo)的運動軌跡的各幀圖像分別疊加到對應(yīng)的背景上，生成視頻摘要。該方法和裝置，有效地提高了視頻摘要的生成速度。
文檔編號H04N21/8549GK103096185SQ201210592270
公開日2013年5月8日 申請日期2012年12月30日 優(yōu)先權(quán)日2012年12月30日
發(fā)明者王海峰 申請人:信幀電子技術(shù)(北京)有限公司