專利名稱：一種基于標準標記與快速檢索的交通視頻監(jiān)控系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻監(jiān)控技術(shù)領(lǐng)域，涉及一種交通視頻監(jiān)控系統(tǒng)，具體地說是一種基 于標準標記與快速檢索的交通視頻監(jiān)控系統(tǒng)。
背景技術(shù)：
SVAC 英文 Technical Specification of Surveillance Video and Audio Coding縮寫，對應(yīng)中文為《安全防范監(jiān)控數(shù)字視音頻編解碼技術(shù)要求》，由公安部第一研究 所和全國安全防范報警系統(tǒng)標準化技術(shù)委員會(SAC/TC100)經(jīng)過梳理分析，整理出安全防 范監(jiān)控視音頻編解碼和廣電媒體視音頻編解碼的主要異同點，明確了安全防范監(jiān)控數(shù)字視 音頻編解碼特殊需求，經(jīng)過反復(fù)討論修正后，最終成為國家標準，并于2011年5月1日正式 實施。伴隨著“平安城市”、“智慧城市”的大力建設(shè)，道路與交通監(jiān)控成為其主要技術(shù)手 段之一。據(jù)有關(guān)數(shù)據(jù)顯示，到2010年，很多大型城市已經(jīng)安裝完畢20多萬個監(jiān)控攝像頭，這 20多萬個攝像頭大多將遍布城市的道路、橋梁和公共交通系統(tǒng)。由于業(yè)務(wù)的需要，大部分 監(jiān)控視頻需要壓縮編碼后進行存檔，采用的技術(shù)可以是國際壓縮標準，比如H. 264，MPEG-4 等，也可以是公司或個人的私有算法，比如?？低暪踞槍ΡO(jiān)控視頻的壓縮算法等，不管 如何壓縮，都會帶來海量的壓縮后的交通監(jiān)控視頻數(shù)據(jù)。如何對感興趣的監(jiān)控內(nèi)容進行標 識和記錄，以及在查詢?nèi)∽C時能夠使用統(tǒng)一標準的接口從海量數(shù)據(jù)中高效、快速地查詢出 所需信息是當前視頻監(jiān)控領(lǐng)域的重要問題。為了方便后期的視頻檢索，往往需要在視頻預(yù)處理或視頻分析階段對視頻內(nèi)容進 行相應(yīng)的標記，對于標記的方法，有基于標準和基于非標準的兩種方案。對于非標準的標記 方案，是利用元數(shù)據(jù)對發(fā)生地點、錄制時間、圖像基本信息等一些簡單的描述性數(shù)據(jù)按照某 種格式存儲到數(shù)據(jù)庫或文件中；對于標準的標記方案，大部分是利用基于MPEG-7的多媒體 描述方案，目標就是產(chǎn)生一種描述多媒體內(nèi)容數(shù)據(jù)的標準，可以對各種不同類型的多媒體 信息進行標準化描述，并將該描述與所描述的內(nèi)容相聯(lián)系，以實現(xiàn)快速有效的檢索。常見的視頻檢索方式有三種。1)利用前面所提的已經(jīng)存儲的標記和索引信息直接 對視頻內(nèi)容進行檢索，2)將需要處理的視頻序列先進行解壓縮，恢復(fù)到空間像素域，再進行 圖像和視頻分析，看內(nèi)容是否滿足檢索的條件，3)基本上不進行解壓縮處理，直接利用壓縮 域數(shù)據(jù)進行分析，通過在壓縮域獲取視頻內(nèi)容的特征數(shù)據(jù)來看是否滿足檢索條件。但是現(xiàn) 有技術(shù)中都存在不同程度的缺陷。基于元數(shù)據(jù)標記的檢索方式，利用簡單的文本，主觀的進行描述，精確性不高，同 時對于描述視頻內(nèi)容的信息量非常少，又難以反映視頻圖像本身的多樣性，往往要配合大 量的人工檢索進行輔助，對于要求一定精確度的海量數(shù)據(jù)的快速檢索是不現(xiàn)實的?；贛PEG-7標準的多媒體描述方案下的檢索方式，一方面技術(shù)方案相對復(fù)雜，往 往需要自然語言處理技術(shù)、搜索引擎技術(shù)和分布式系統(tǒng)技術(shù)，另一方面并非針對監(jiān)控視頻， 更不會針對交通監(jiān)控視頻，沒有充分考慮和利用此類視頻的特征，同時復(fù)雜的標記與索引信息和通過編碼標準壓縮的視頻數(shù)據(jù)是獨立分開的，也沒有針對監(jiān)控視頻的統(tǒng)一接口，所 以不利于監(jiān)控視頻的標準化快速檢索和對監(jiān)控信息的傳輸操作。基于內(nèi)容的圖像檢索，包括針對像素域和壓縮域數(shù)據(jù)兩種，它通過分析和理解多 媒體信息的視覺信息，根據(jù)得到的多媒體低級特征的匹配來進行檢索。對于純粹的像素域 數(shù)據(jù)分析，首先需要把壓縮的視頻數(shù)據(jù)全部解碼，然后在像素域進行視頻分析，對于海量的 監(jiān)控數(shù)據(jù)，不管是在空間上還是時間上來講，都是不現(xiàn)實的。對于壓縮域數(shù)據(jù)分析，只存在 很少量的圖像解碼過程，可以忽略，但是由于分析過程復(fù)雜，需要消耗大量的時間，而且和 像素域分析相比，準確度偏低，同時也沒有針對監(jiān)控視頻的統(tǒng)一標準接口。

發(fā)明內(nèi)容
為了克服現(xiàn)有技術(shù)中存在的以上缺陷，本發(fā)明提供一種交通視頻監(jiān)控系統(tǒng)，基于 SVAC標準，并對其中監(jiān)控信息部分的語法和語義進行適當?shù)臄U展，以滿足監(jiān)控視頻快速檢 索的需要。使用SVAC標準，完全是針對視頻監(jiān)控網(wǎng)絡(luò)，可以解決目前視頻監(jiān)控系統(tǒng)中視音 頻編解碼標準不統(tǒng)一導(dǎo)致的系統(tǒng)難以互聯(lián)互通的問題，這種互通性的解決，提供了一個統(tǒng) 一標準的接口來實現(xiàn)壓縮監(jiān)控視頻數(shù)據(jù)的標記和快速檢索，并可以根據(jù)業(yè)務(wù)需要對監(jiān)控信 息進行適當?shù)纳炜s和裁剪，來滿足傳輸?shù)裙δ艿男枰?，同時制定出一套針對交通對象和事 件的編碼方案，最終利用SVAC標準來實現(xiàn)一種準確率高、簡單有效和統(tǒng)一快速的交通對象 和交通事件的標記和快速檢索方法，技術(shù)方案為一種基于標準標記與快速檢索的交通視頻監(jiān)控系統(tǒng)，包括交通監(jiān)控視頻捕捉模塊 和視頻圖像內(nèi)容分析模塊，還包括獲取交通視頻關(guān)鍵幀模塊、監(jiān)控擴展數(shù)據(jù)編碼模塊和對 碼流檢索模塊，其中視頻圖像內(nèi)容分析模塊的作用為從關(guān)鍵幀中提取出可分類的交通對象和交通事 件；獲取交通視頻關(guān)鍵幀模塊的作用為從運動鏡頭中將存在事件的圖像設(shè)置為關(guān)鍵 幀，傳遞交通事件和相關(guān)對象；監(jiān)控擴展數(shù)據(jù)編碼模塊的作用為監(jiān)控擴展數(shù)據(jù)進行擴展，來滿足對交通對象的語 法表達，監(jiān)控擴展數(shù)據(jù)單元通過extension_id進行區(qū)分,取extension_id值為0x6來表示 監(jiān)控對象擴展語法，從extension_id開始到reserve_bits的語義與其他監(jiān)控擴展數(shù)據(jù)單 元的相同語法元素的語義是一致的，循環(huán)語法的語義為從每個區(qū)域中找到每個對象，并且 從region_object_id中獲取到對象的詳細特征信息,語法元素值的含義由應(yīng)用本身決定， 對交通對象的region_object_id進行定義,通過擴展后的SVAC標準內(nèi)容對交通對象和交 通事件進行編碼；對碼流檢索模塊的作用為根據(jù)已知的SVAC碼流和交通對象或交通事件的特征編 碼，從碼流的監(jiān)控擴展數(shù)據(jù)單元中找到交通對象或交通事件所在的圖像位置以及所在圖像 中區(qū)域的位置，記錄下圖像位置所對應(yīng)的區(qū)域具體參數(shù)，從編碼的視頻圖像數(shù)據(jù)中找到圖 像數(shù)據(jù)并解碼顯示，同時標記出相應(yīng)的感興趣區(qū)域。本發(fā)明也可以通過以下方式實現(xiàn)，所述關(guān)鍵幀信息直接來自視頻圖像內(nèi)容分析模 塊，同時包含了檢測出的交通對象或交通事件，對于事件，SVAC有針對事件的監(jiān)控事件擴展 語法結(jié)構(gòu)event_extension,其中的 region_event_id 表不事件特征，將 region_event_id針對交通視頻業(yè)務(wù)進行編碼標準定義。進一步優(yōu)選，在找關(guān)鍵幀之前，先將運動鏡頭按照其中間的車輛復(fù)雜度進行分類。與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果(1)檢索速度非?？煊捎谥挥形募鞑檎液徒獯a關(guān)鍵幀的操作，沒有大量視頻 圖像的解碼過程和低層編碼視頻數(shù)據(jù)的分析操作。(2)檢索準確率高由于對象與事件的分析和獲取是在視頻監(jiān)控捕獲階段，而用 于實時監(jiān)控視頻的質(zhì)量與存檔視頻質(zhì)量相比是高分辨率和高清晰度的，這就大大提高了視 頻內(nèi)容分析的準確度。(3)檢索標準的高度統(tǒng)一完全遵循SVAC編碼標準，同時也對交通對象和事件進 行了統(tǒng)一的編碼，這就可以對任何不同地區(qū)的遵循SVAC標準的壓縮交通視頻進行統(tǒng)一的 檢索處理。


圖1是本發(fā)明一種基于標準標記與快速檢索的交通視頻監(jiān)控系統(tǒng)示意圖；圖2是運動鏡頭示意圖；圖3是關(guān)鍵幀位置圖；圖4是根據(jù)交通事件或交通對象特征編碼查詢相關(guān)的圖像與圖像中區(qū)域標識流 程圖；圖5是查找圖像中區(qū)域詳細信息的流程圖；圖6是檢索出圖像并顯示流程圖。
具體實施例下面結(jié)合附圖和本發(fā)明實施例作進一步詳細地說明。參照圖1，一種基于標準標記與快速檢索的交通視頻監(jiān)控系統(tǒng)，包括交通監(jiān)控視頻 捕捉模塊和視頻圖像內(nèi)容分析模塊，還包括獲取交通視頻關(guān)鍵幀模塊、監(jiān)控擴展數(shù)據(jù)編碼 模塊和對碼流檢索模塊，其中視頻圖像內(nèi)容分析模塊的作用為從關(guān)鍵幀中提取出可分類的交通對象和交通事 件；獲取交通視頻關(guān)鍵幀模塊的作用為從運動鏡頭中將存在事件的圖像設(shè)置為關(guān)鍵 幀，傳遞交通事件和相關(guān)對象；監(jiān)控擴展數(shù)據(jù)編碼模塊的作用為監(jiān)控擴展數(shù)據(jù)進行擴展，來滿足對交通對象的語 法表達，監(jiān)控擴展數(shù)據(jù)單元通過extension_id進行區(qū)分，取extension_id值為0x6來表示 監(jiān)控對象擴展語法，從extension_id開始到reserve_bits的語義與其他監(jiān)控擴展數(shù)據(jù)單 元的相同語法元素的語義是一致的，循環(huán)語法的語義為從每個區(qū)域中找到每個對象，并且 從region_object_id中獲取到對象的詳細特征信息,語法元素值的含義由應(yīng)用本身決定， 對交通對象的region_object_id進行定義,通過擴展后的SVAC標準內(nèi)容對交通對象和交 通事件進行編碼；對碼流檢索模塊的作用為根據(jù)已知的SVAC碼流和交通對象或交通事件的特征編 碼，從碼流的監(jiān)控擴展數(shù)據(jù)單元中找到交通對象或交通事件所在的圖像位置以及所在圖像中區(qū)域的位置，記錄下圖像位置所對應(yīng)的區(qū)域具體參數(shù)，從編碼的視頻圖像數(shù)據(jù)中找到圖 像數(shù)據(jù)并解碼顯示，同時標記出相應(yīng)的感興趣區(qū)域。本發(fā)明也可以通過以下方式實現(xiàn)，所述關(guān)鍵幀信息直接來自視頻圖像內(nèi)容分析模 塊，同時包含了檢測出的交通對象或交通事件，對于事件，SVAC有針對事件的監(jiān)控事件擴展 語法結(jié)構(gòu)event_extension,其中的 region_event_id 表不事件特征，將 region_event_id 針對交通視頻業(yè)務(wù)進行編碼標準定義。進一步優(yōu)選，在找關(guān)鍵幀之前，先將運動鏡頭按照其中間的車輛復(fù)雜度進行分類。從圖1中可以知道，本系統(tǒng)包含了交通監(jiān)控視頻捕捉、視頻圖像內(nèi)容分析、獲取交 通視頻關(guān)鍵幀、按照SVAC標準編碼視頻和對SVAC壓縮碼流進行檢索五大功能。其中，交通 監(jiān)控視頻捕捉和視頻圖像內(nèi)容分析作為已知的功能模塊來提供必要的接口數(shù)據(jù)，而獲取交 通視頻關(guān)鍵幀、SVAC編碼中的監(jiān)控擴展數(shù)據(jù)編碼部分和對碼流檢索部分的實現(xiàn)是本發(fā)明的 核心技術(shù)環(huán)節(jié)，下面將做詳細的介紹。在監(jiān)控視頻中，人們最關(guān)心的兩類重要信息是對象和事件，顯然對于交通監(jiān)控視 頻，就是交通對象和交通事件，人們在對監(jiān)控視頻進行檢索的時候一般也是按照對象和事 件進行查找，比如檢索條件是“一輛白色的桑塔納”或“兩車相撞事件”。所以一個重要的工 作就是找到關(guān)心的對象和事件，再遵循SVAC標準進行編碼。我們先說事件，一般來說事件 并不存在于捕獲的每一個視頻幀中，而且在整個監(jiān)控的過程當中，數(shù)量也是有限的，它是由 視頻圖像內(nèi)容分析模塊在實時監(jiān)控的時候所分析產(chǎn)生的結(jié)果，當分析到已經(jīng)定義的交通事 件后，會把產(chǎn)生事件的視頻幀、事件類型和事件相關(guān)的對象交給SVAC編碼模塊進行處理， 具體處理過程稍后部分會有詳細介紹?，F(xiàn)在我們接著說對象，對象不同于事件，它可能存在 于捕獲的每一個視頻幀中，如果我們對每一幀圖像都進行對象的分析和獲取，這會給圖像 內(nèi)容分析模塊帶來巨大的工作量，而且無法保證處理的實時性，所以我們要利用監(jiān)控視頻 和道路交通的特點，找出需要獲取對象的視頻幀(我們稱之為關(guān)鍵幀)進行對象的分析和 獲取，與所有的視頻幀相比，關(guān)鍵幀的數(shù)量就少了很多，不管是在編碼前的對象分析階段還 是編碼后的檢索階段，這都會帶來了很大的速度改進。下面就詳細描述獲取交通視頻關(guān)鍵 幀的技術(shù)實現(xiàn)方案。獲取交通視頻關(guān)鍵幀對于交通監(jiān)控視頻來講，在某個很長的時間內(nèi)，背景都是固 定不變的，此處我們可以認為背景就是固定的。而且，交通監(jiān)控的另一個特點就是經(jīng)常會有 一段時間內(nèi)沒有任何交通對象出現(xiàn)，只有靜止的背景顯示。此處，我們做以下定義，將連續(xù) 兩次靜止背景視頻幀之間存在運動交通對象的所有視頻幀稱之為一個運動鏡頭，如圖2所
示。
從圖2可以看到，第n幀和第n+61幀是沒有任何運動對象的靜態(tài)背景幀，第n+1 幀到第n+60幀存在運動對象，這連續(xù)的60幀就是一個運動鏡頭。我們需要做的工作就是 從運動鏡頭中找到最重要的一幀圖像作為關(guān)鍵幀，在找關(guān)鍵幀之前，我們先將運動鏡頭按 照其間的車輛復(fù)雜度進行分類，1)簡單運動鏡頭在整個鏡頭中，只有一輛車在開始幀位 置進入，在結(jié)束幀位置淡出，此時取車頭或車尾最近位置的幀為關(guān)鍵幀，因為車輛最核心的 信息是車牌號，在最近位置的時候是車牌號最清晰的時候，同時也可以看到整個車身信息。 如圖3所示。如果有多輛車，要求多輛車進出鏡頭的時間基本保持一致，此處再分兩種情況，一Ir] ,Ut fà,Ir] fà Bi AJP^. —I^MW bMBi*] (^3-4#, $i^lk#nT ) ±m(xù)k&mk,vim^ 2-3 ^f!^, fM M liiIMtWiifê, 1*1
SVAC um
S WM SVAC MfêrMf gtfei^ m SVAC: i SVAC 5CM 5. 2. 3. 8jtmim ,w^ gfetr Mm, j$$#riiM, leurif .limité,Bf M^Mfêi^èif M Mm^mmarpfix ■.
roi_extension(){ extension_id extension_length position_idc camera_idc region_num reserve_bitsfor(i=0; i<region_num; i++){ region_top_left_mbx[i]
region_top_left_mby[i] region_width_in_mbs_rainusl[i]region_height_in_mbs_minusl[i]}}
ffljlfe t 5. 2. 4. 10. 2 ^^X^è7 的表示交通對象的信息，所以需要對監(jiān)控擴展數(shù)據(jù)進行一定的擴展，來滿足對交通對象的 語法表達。根據(jù)標準5. 2. 4. 10. 1描述可知，監(jiān)控擴展數(shù)據(jù)單元通過extensionjd進行區(qū) 分，目前已經(jīng)使用了 0xl-0x5共五個數(shù),我們?nèi)xtensionjd值為0x6來表示監(jiān)控對象擴
展語法，其語法結(jié)構(gòu)如下所示
object_extension() { extension—id extension—length position_idc camera一idc region—num reserve—bits
for(i=0; i<region—num; i++) {
object_nura[i]
for(j=0; j<object_num[i]; j++){ region一object—id[i, j]
}
}對新增語法結(jié)構(gòu)的語義解釋如下從extension_id開始到reserve_bits的語義 與其他監(jiān)控擴展數(shù)據(jù)單元的相同語法元素的語義是一致的。下面循環(huán)語法的語義為從每個 區(qū)域中找到每個對象，并且從region_object_id中獲取到對象的詳細特征信息，這個語法 元素值的含義由應(yīng)用本身決定，那么在本發(fā)明中，我們對交通對象的region_object_id進 行了以下定義，希望可以成為SVAC標準針對交通監(jiān)控業(yè)務(wù)的一部分。具體如表1所示。
權(quán)利要求
1.一種基于標準標記與快速檢索的交通視頻監(jiān)控系統(tǒng)，包括交通監(jiān)控視頻捕捉模塊和視頻圖像內(nèi)容分析模塊，其特征在于，還包括獲取交通視頻關(guān)鍵幀模塊、監(jiān)控擴展數(shù)據(jù)編碼模塊和對碼流檢索模塊，其中 視頻圖像內(nèi)容分析模塊的作用為從關(guān)鍵幀中提取出可分類的交通對象和交通事件； 獲取交通視頻關(guān)鍵幀模塊的作用為從運動鏡頭中將存在事件的圖像設(shè)置為關(guān)鍵幀，傳遞交通事件和相關(guān)對象； 監(jiān)控擴展數(shù)據(jù)編碼模塊的作用為監(jiān)控擴展數(shù)據(jù)進行擴展，來滿足對交通對象的語法表達，監(jiān)控擴展數(shù)據(jù)單元通過extension_id進行區(qū)分,取extension_id值為0x6來表示監(jiān)控對象擴展語法，從extension_id開始到reserve_bits的語義與其他監(jiān)控擴展數(shù)據(jù)單元的相同語法元素的語義是一致的，循環(huán)語法的語義為從每個區(qū)域中找到每個對象，并且從region_object_id中獲取到對象的詳細特征信息,語法元素值的含義由應(yīng)用本身決定,對交通對象的region_object_id進行定義,通過擴展后的SVAC標準內(nèi)容對交通對象和交通事件進行編碼； 對碼流檢索模塊的作用為根據(jù)已知的SVAC碼流和交通對象或交通事件的特征編碼，從碼流的監(jiān)控擴展數(shù)據(jù)單元中找到交通對象或交通事件所在的圖像位置以及所在圖像中區(qū)域的位置，記錄下圖像位置所對應(yīng)的區(qū)域具體參數(shù)，從編碼的視頻圖像數(shù)據(jù)中找到圖像數(shù)據(jù)并解碼顯示，同時標記出相應(yīng)的感興趣區(qū)域。
2.根據(jù)權(quán)利要求I所述的基于標準標記與快速檢索的交通視頻監(jiān)控系統(tǒng)，其特征在于，所述關(guān)鍵幀信息直接來自視頻圖像內(nèi)容分析模塊，同時包含了檢測出的交通對象或交通事件，對于事件，SVAC有針對事件的監(jiān)控事件擴展語法結(jié)構(gòu)event_extension,其中的region_event_id表示事件特征，將region_event_id針對交通視頻業(yè)務(wù)進行編碼標準定義。
3.根據(jù)權(quán)利要求I所述的基于標準標記與快速檢索的交通視頻監(jiān)控系統(tǒng)，其特征在于，在找關(guān)鍵幀之前，先將運動鏡頭按照其中間的車輛復(fù)雜度進行分類。
全文摘要
本發(fā)明公開了一種基于標準標記與快速檢索的交通視頻監(jiān)控系統(tǒng)，包括交通監(jiān)控視頻捕捉模塊和視頻圖像內(nèi)容分析模塊，還包括獲取交通視頻關(guān)鍵幀模塊、監(jiān)控擴展數(shù)據(jù)編碼模塊和對碼流檢索模塊，基于SVAC標準，對其中監(jiān)控信息部分的語法和語義進行適當?shù)臄U展，以滿足監(jiān)控視頻快速檢索的需要。提供了一個統(tǒng)一標準的接口來實現(xiàn)壓縮監(jiān)控視頻數(shù)據(jù)的標記和快速檢索，并可以根據(jù)業(yè)務(wù)需要對監(jiān)控信息進行適當?shù)纳炜s和裁剪，來滿足傳輸?shù)裙δ艿男枰瑫r制定出一套針對交通對象和事件的編碼方案，最終利用SVAC標準來實現(xiàn)一種準確率高、簡單有效和統(tǒng)一快速的交通對象和交通事件的標記和快速檢索方法。
文檔編號G06F17/30GK102665064SQ20121005602
公開日2012年9月12日 申請日期2012年3月1日 優(yōu)先權(quán)日2012年3月1日
發(fā)明者萬忠, 劉云鵬, 奚李峰, 張三元, 張引, 李瑾, 畢春躍, 王仁芳 申請人:浙江大學(xué)