專利名稱：基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法
技術(shù)領(lǐng)域：
本發(fā)明屬于監(jiān)控系統(tǒng)領(lǐng)域，具體涉及基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法。
背景技術(shù)：
隨著數(shù)字視頻技術(shù)的發(fā)展，視頻監(jiān)控技術(shù)已經(jīng)成為計(jì)算機(jī)視覺研究領(lǐng)域中的一個研究熱點(diǎn)，對建立和諧社會、安全社會具有重要意義。目前，視頻監(jiān)控系統(tǒng)主要用于樓宇監(jiān)控、道路監(jiān)控、人員監(jiān)控與識別、危險區(qū)域監(jiān)控等眾多領(lǐng)域，結(jié)合人臉檢測技術(shù)、運(yùn)動目標(biāo)跟蹤技術(shù)、車牌識別技術(shù)等應(yīng)用，具有重要的實(shí)用價值和廣闊的發(fā)展前景。但目前的視頻監(jiān)控系統(tǒng)在一些應(yīng)用中還存在不足，需要完善。1、背景監(jiān)控與感興趣區(qū)域監(jiān)控矛盾問題
所謂背景(監(jiān)控是指利用攝像頭對可視視角進(jìn)行視頻采集，其視頻監(jiān)控范圍大，但對于局部感興趣區(qū)域而言分辨率不高。感興趣區(qū)域監(jiān)控是指利用攝像頭對某一感興趣區(qū)域進(jìn)行視頻采集，但監(jiān)控范圍將大大縮小。在實(shí)際應(yīng)用中，可以通過調(diào)整全景監(jiān)控?cái)z像頭的焦距進(jìn)行感興趣區(qū)域監(jiān)控，但將失去對大范圍監(jiān)控的能力。例如在道路監(jiān)控過程中，有時監(jiān)控到車禍?zhǔn)录?，但由于?xì)節(jié)不突出，難以確定肇事車輛車牌、駕駛員等信息。如果用背景攝像頭去提取車禍位置細(xì)節(jié)信息，將失去對道路的全部監(jiān)控，存在視頻監(jiān)控死角從而造成隱患。例如，如果多攝像頭的數(shù)據(jù)融合智能視頻監(jiān)控監(jiān)控系統(tǒng)，可根據(jù)監(jiān)控得到的車禍信息調(diào)整其中的一個監(jiān)控?cái)z像頭的方向和焦距獲取感興趣區(qū)域的清晰視頻，即獲取車禍現(xiàn)場人員的清晰視頻，不會出現(xiàn)目前的疑似頂包的猜疑。采用基于多攝像頭的視頻監(jiān)控系統(tǒng)，可以解決背景監(jiān)控與感興趣區(qū)域監(jiān)控的矛盾問題?？梢岳靡粋€攝像頭監(jiān)視背景，而另一個攝像頭根據(jù)背景中感興趣區(qū)域的需求，進(jìn)行感興趣區(qū)域的選取(調(diào)整方位和焦距)和視頻監(jiān)控，例如可以用來提取車禍現(xiàn)場的感興趣區(qū)域信息，如車型、車牌、 車內(nèi)人員、車內(nèi)裝飾與物品等。在多攝像頭數(shù)據(jù)融合智能視頻監(jiān)控系統(tǒng)下，將震懾肇事逃逸事件、酒駕頂包事件。2、背景監(jiān)控與目標(biāo)跟蹤矛盾問題
在視頻監(jiān)控中，目標(biāo)跟蹤是一種重要的應(yīng)用。目標(biāo)跟蹤技術(shù)主要包括目標(biāo)檢測、目標(biāo)識另IJ、目標(biāo)跟蹤等技術(shù)。例如利用人臉進(jìn)行人物跟蹤，利用車牌對車輛進(jìn)行跟蹤等。如果背景監(jiān)控的攝像頭用于目標(biāo)監(jiān)控，僅能跟蹤當(dāng)前視角范圍的目標(biāo)。若進(jìn)行攝像頭位置控制，焦距調(diào)整等來進(jìn)行目標(biāo)跟蹤，必然失去對原視角范圍的視頻監(jiān)控。采用多攝像頭協(xié)同工作和數(shù)據(jù)融合技術(shù)，即可一個用于背景監(jiān)控，另一個攝像頭用于目標(biāo)跟蹤，可以通過旋轉(zhuǎn)攝像頭和進(jìn)行變焦處理，擴(kuò)大目標(biāo)跟蹤范圍，從而解決背景監(jiān)控與目標(biāo)跟蹤矛盾問題。以目前比較嚴(yán)重的“飆車”行為為例，一般均以遮擋車牌來逃避處罰。如果采用雙攝像頭的視頻監(jiān)控系統(tǒng)，可以采用一個視頻進(jìn)行背景(場景)監(jiān)控，對其視頻進(jìn)行目標(biāo)檢測與跟蹤，并計(jì)算軌跡、速度等信息，然后調(diào)整另一感興趣區(qū)域監(jiān)控的攝像頭攝像位置和焦距，可以預(yù)先監(jiān)控目標(biāo)將經(jīng)過的區(qū)域，可以準(zhǔn)確的獲取超速車輛信息(包括駕駛員特征、車內(nèi)裝飾、乘客等)，特別是人臉特征，可用于和駕駛執(zhí)照庫匹配，用以查找違章司機(jī)。通過采用這種多攝像頭監(jiān)控系統(tǒng)，可使遮擋車牌等逃避責(zé)任行為失效，從而真正的威懾這些違法“飆車”人員，從源頭上杜絕“飆車”。3、目標(biāo)三維重建問題
在視頻監(jiān)控中，可以對目標(biāo)進(jìn)行三維重建。由于目標(biāo)一般處于運(yùn)動狀態(tài)，采用一個攝像頭難于準(zhǔn)確的進(jìn)行目標(biāo)的三維重建。而采用多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，在同一時間可以從不同角度對目標(biāo)進(jìn)行視頻采集，可以利用小樣本圖像三維重建技術(shù)進(jìn)行目標(biāo)的三維重建，重建效果大大提高。4、背景監(jiān)控與重點(diǎn)防護(hù)區(qū)域監(jiān)控矛盾問題
在一些重點(diǎn)監(jiān)控區(qū)域，可以利用一個攝像頭進(jìn)行背景(場景)監(jiān)控(大范圍監(jiān)控)，另一攝像頭進(jìn)行重點(diǎn)防護(hù)區(qū)域監(jiān)控，即感興趣區(qū)域監(jiān)控，并根據(jù)人的行為、面部表情等與防護(hù)區(qū)域之間的距離等進(jìn)行警示，進(jìn)行預(yù)警，從而做到全面監(jiān)控與重點(diǎn)監(jiān)控相結(jié)合的監(jiān)控措施。5、目標(biāo)檢索與背景監(jiān)控矛盾問題
在監(jiān)控系統(tǒng)中，可以加入目標(biāo)檢索功能，提高系統(tǒng)監(jiān)控能力。用戶可以通過人機(jī)接口、網(wǎng)絡(luò)(無線、有線)進(jìn)行檢索目標(biāo)設(shè)定，然后監(jiān)控系統(tǒng)對實(shí)時視頻進(jìn)行檢索，若檢索到可疑目標(biāo)，需進(jìn)一步核實(shí)時，單攝像頭的監(jiān)控系統(tǒng)將產(chǎn)生場景監(jiān)控和目標(biāo)細(xì)節(jié)獲取的矛盾。而采用多攝像頭系統(tǒng)，在保證背景監(jiān)控的前提下，可以調(diào)整另一個監(jiān)控?cái)z像頭的方向和焦距，獲取感興趣區(qū)域的目標(biāo)細(xì)節(jié)視頻，從而可以進(jìn)一步獲取目標(biāo)的各種信息，并實(shí)現(xiàn)目標(biāo)的跟蹤。

發(fā)明內(nèi)容
為了解決現(xiàn)有視頻監(jiān)控系統(tǒng)在上述應(yīng)用中不足的一些問題，本發(fā)明提供一種基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法。為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明所采用的技術(shù)方案是:
本發(fā)明的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法，主要包括兩個方面:一是總體應(yīng)用程序的運(yùn)行，二是視頻處理算法API設(shè)計(jì)與算法封裝，總體應(yīng)用程序通過對視頻處理算法API的調(diào)用，實(shí)現(xiàn)視頻處理功能；
總體應(yīng)用程序的流程如下:監(jiān)控系統(tǒng)根據(jù)具體配置的功能，進(jìn)入相應(yīng)的處理模塊，實(shí)現(xiàn)對監(jiān)控區(qū)域的全局監(jiān)控和感興趣區(qū)域監(jiān)控，其中配置信息可以通過人機(jī)交互接口、無線通信方式或有線網(wǎng)絡(luò)進(jìn)行設(shè)置；
監(jiān)控系統(tǒng)包括數(shù)字視頻輸入和模擬視頻輸入的兩種監(jiān)控系統(tǒng)方案；如果選擇數(shù)字視頻輸入的監(jiān)控方案，監(jiān)控主板接收的是已壓縮的視頻，可以直接存儲或傳輸，同時對壓縮視頻解壓縮后進(jìn)行數(shù)據(jù)融合和智能視頻處理；反之，對于模擬視頻輸入的監(jiān)控方案，可以直接對采集的數(shù)字視頻進(jìn)行數(shù)據(jù)融合和智能視頻處理，然后再進(jìn)行視頻壓縮和存儲或傳輸。優(yōu)選的，對視頻處理算法API的調(diào)用，由信號處理模塊進(jìn)行并行的視頻處理算法應(yīng)用。進(jìn)一步的，所述壓縮視頻的存儲或傳輸在系統(tǒng)中與整個視頻分析應(yīng)并行進(jìn)行。優(yōu)選的，所述監(jiān)控系統(tǒng)所根據(jù)的具體配置的功能包括人臉檢測、人臉跟蹤和識別；車輛檢測、車輛跟蹤和識別；可疑物檢測、可疑物跟蹤和識別；感興趣區(qū)域監(jiān)控與預(yù)警。優(yōu)選的，所述監(jiān)控系統(tǒng)根據(jù)配置信息進(jìn)行功能的切換，根據(jù)配置信息，系統(tǒng)可以完成以下幾種監(jiān)控模式:交通和可疑物監(jiān)控模式、人員與環(huán)境監(jiān)控模式、警戒區(qū)監(jiān)控模式及基于特征的視頻檢索監(jiān)控模式。進(jìn)一步的，所述交通和可疑物監(jiān)控模式具體為:兩個攝像頭對監(jiān)控區(qū)域進(jìn)行視頻采集，系統(tǒng)并行處理兩路視頻，并對視頻進(jìn)行智能信息處理；當(dāng)在一個攝像頭的視頻中發(fā)現(xiàn)可疑物或交通問題時，即通過調(diào)整另一個攝像頭的方位和焦距，進(jìn)行感興趣區(qū)域視頻獲取和細(xì)節(jié)特征提?。辉谝曨l處理完成后，兩路視頻都將被壓縮，然后進(jìn)行存儲或網(wǎng)絡(luò)傳送；若發(fā)生交通事故，則感興趣區(qū)域視頻中車牌、人物特征等信息將被提取，而且會立刻向交警發(fā)送報(bào)警信息。所述人員與環(huán)境監(jiān)控模式具體為:
兩個攝像頭對監(jiān)控區(qū)域進(jìn)行視頻采集，并進(jìn)行人物檢測；當(dāng)檢測到人物時，立刻調(diào)整另一個攝像頭進(jìn)行感興趣區(qū)域視頻獲取，并進(jìn)行人臉檢測與識別；如果該人被授權(quán)，則只記錄行為信息；如果該人未授權(quán)，則立刻報(bào)警并進(jìn)行人物跟蹤和行動軌跡判別、以及人臉表情和肢體語言判別，盡早預(yù)警。所述警戒區(qū)監(jiān)控模式具體為:一個攝像頭被設(shè)置為區(qū)域監(jiān)控模式，一個攝像頭被設(shè)置為感興趣區(qū)域監(jiān)控模式；系統(tǒng)首先處理應(yīng)用于區(qū)域監(jiān)控模式的視頻，發(fā)現(xiàn)有人、物或者車輛進(jìn)入監(jiān)控區(qū)域后，立刻調(diào)整用于感興趣區(qū)域監(jiān)控的攝像頭進(jìn)行細(xì)節(jié)監(jiān)控，獲取進(jìn)入的人、物和車輛的細(xì)節(jié)信息。如果發(fā)現(xiàn)如人臉被人為遮擋、車輛車牌被遮擋等問題時，通知系統(tǒng)進(jìn)行報(bào)警。系統(tǒng)還對正常進(jìn)入的人、物、車輛的運(yùn)動軌跡進(jìn)行跟蹤和預(yù)測，并與預(yù)警區(qū)域比較，如有進(jìn)入預(yù)警區(qū)域的90%置信區(qū)間，則調(diào)整感興趣區(qū)域監(jiān)控模式攝像頭進(jìn)行細(xì)節(jié)監(jiān)控，提取特征，并同時進(jìn)行預(yù)警。

所述基于特征的視頻檢索監(jiān)控模式具體為:主要根據(jù)輸入的人、車牌這些檢索特征，對監(jiān)控區(qū)域的視頻進(jìn)行實(shí)時檢索，當(dāng)發(fā)現(xiàn)可疑目標(biāo)出現(xiàn)時，調(diào)整另一個攝像頭進(jìn)行感興趣區(qū)域視頻獲取，并進(jìn)行人臉匹配、人物外形匹配、車型匹配、車牌匹配這些特征匹配，如匹配成功，則對該目標(biāo)進(jìn)行視頻跟蹤并向檢索方發(fā)送匹配信息和新的特征庫信息。相對于現(xiàn)有技術(shù)，本發(fā)明的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法，具有以下有益的技術(shù)效果:
1、采用多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，在交通監(jiān)控系統(tǒng)中，可以在全局監(jiān)控的前提下，根據(jù)需求進(jìn)行感興趣監(jiān)控，在車禍、超速等違反交通規(guī)則事件中，提供清晰的視頻信息證據(jù)，對交通違規(guī)行為進(jìn)行處罰。2、采用多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，可以根據(jù)需要從不同角度獲取同一目標(biāo)的視頻，有利于該目標(biāo)的三維重建。例如在人臉識別系統(tǒng)中，可以建立三維人臉信息，從而提高在復(fù)雜光照環(huán)境下人臉識別的準(zhǔn)確度。3、采用多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，可以對目標(biāo)的運(yùn)動軌跡進(jìn)行跟蹤和預(yù)判，通過預(yù)判知識調(diào)整另一攝像頭的方向和焦距，可以獲取感興趣區(qū)域的目標(biāo)清晰視頻。該項(xiàng)應(yīng)用即可以用于警戒區(qū)域的預(yù)警，也可以用于超速車輛特征和駕駛員清晰視頻獲取。4、采用多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)，在目標(biāo)檢索過程中，既保證原監(jiān)控區(qū)域不變，又可以獲取到感興趣區(qū)域目標(biāo)的清晰視頻和特征。該項(xiàng)技術(shù)將為警方工作提供很大的便利。


圖1為本發(fā)明的一種基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方 法的一個實(shí)施例的流程示意圖。
具體實(shí)施例方式以下結(jié)合附圖詳細(xì)描述本發(fā)明的 基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法的體系結(jié)構(gòu)，但不構(gòu)成對本發(fā)明的限制。本發(fā)明的一種系統(tǒng)設(shè)計(jì)方案:為實(shí)現(xiàn)多攝像頭的視頻監(jiān)控，實(shí)現(xiàn)背景監(jiān)控與感興趣區(qū)域提取、監(jiān)控、目標(biāo)跟蹤、三維重建等功能，選用可并行工作的高性能處理芯片，根據(jù)具體要求設(shè)計(jì)以下兩種處理方案。1、采取多攝像頭模擬視頻的處理方案:
當(dāng)雙攝像頭直接采集模擬視頻時，采用視頻電纜進(jìn)行視頻傳輸，經(jīng)視頻采集A/D轉(zhuǎn)換得到數(shù)字視頻后進(jìn)行處理。處理由處理模塊完成，主要根據(jù)系統(tǒng)配置的的功能進(jìn)行人臉檢測、人臉跟蹤和識別；車輛檢測、車輛跟蹤和識別；可疑物檢測、可疑物跟蹤和識別；區(qū)域監(jiān)控與預(yù)警；視頻壓縮存儲與傳輸?shù)裙δ?。其中雙攝像頭各司其職，一個進(jìn)行廣角的背景監(jiān)控，一個按照系統(tǒng)根據(jù)背景監(jiān)控的提取的知識，進(jìn)行監(jiān)控位置和焦距的調(diào)節(jié)達(dá)到感興趣區(qū)域監(jiān)控的效果。整個系統(tǒng)通過LAN接口接入監(jiān)控網(wǎng)絡(luò)，既可以實(shí)時傳輸壓縮的監(jiān)控視頻，又可以實(shí)現(xiàn)監(jiān)控網(wǎng)絡(luò)的配置、查詢等功用。該系統(tǒng)支持預(yù)警模塊模塊，可根據(jù)監(jiān)控網(wǎng)絡(luò)劃分的預(yù)警機(jī)制進(jìn)行預(yù)警，預(yù)警包括現(xiàn)場預(yù)警(警報(bào)、語音提示、紅燈閃爍等功能)，遠(yuǎn)程預(yù)警(通知監(jiān)控網(wǎng)絡(luò))。2、采取多攝像頭數(shù)字視頻的處理方案:
與模擬視頻輸入方案相比，主要加入一個視頻壓縮板，該板主要采集視頻，并且對采集的數(shù)字視頻進(jìn)行壓縮，并可以通過網(wǎng)絡(luò)進(jìn)行傳輸。而對于監(jiān)控系統(tǒng)本身，前端視頻處理部分主要通過網(wǎng)絡(luò)接收視頻，解壓縮后再進(jìn)行相應(yīng)的功能處理。其中視頻存儲功能模塊直接存儲輸入的壓縮視頻。其余功能設(shè)置與圖1所示監(jiān)控系統(tǒng)一致。本發(fā)明的一種基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)軟件功能與方案: 基于多攝像頭的監(jiān)控系統(tǒng)軟件設(shè)計(jì)主要包括兩個方面，一是總體應(yīng)用程序設(shè)計(jì)，二是
視頻處理算法API設(shè)計(jì)與算法封裝，總體應(yīng)用程序通過對視頻處理算法API的調(diào)用(由信號處理模塊進(jìn)行并行的視頻處理算法應(yīng)用)，實(shí)現(xiàn)視頻處理功能?？傮w應(yīng)用程序的流程如圖1所示，系統(tǒng)將根據(jù)具體配置的功能(如人臉檢測、人臉跟蹤和識別；車輛檢測、車輛跟蹤和識別；可疑物檢測、可疑物跟蹤和識別；區(qū)域監(jiān)控與預(yù)警等)，進(jìn)入相應(yīng)的處理模塊，實(shí)現(xiàn)對監(jiān)控區(qū)域的全局監(jiān)控和感興趣區(qū)域監(jiān)控。在圖1所示流程圖中，包括前后兩個虛線表示模塊，兩個模塊分別對應(yīng)數(shù)字視頻輸入和模擬視頻輸入的兩種監(jiān)控系統(tǒng)方案。如果選擇數(shù)字視頻輸入的監(jiān)控方案，監(jiān)控主板接收的是已壓縮的視頻，因此可以直接存儲或傳輸，同時對壓縮視頻解壓縮后進(jìn)行數(shù)據(jù)融合和智能視頻處理。反之，對于模擬視頻輸入的監(jiān)控方案，可以直接對采集的數(shù)字視頻進(jìn)行數(shù)據(jù)融合和智能視頻處理，然后再進(jìn)行視頻壓縮和存儲或傳輸。注意:壓縮視頻的存儲或傳輸在系統(tǒng)中與整個視頻分析應(yīng)并行進(jìn)行。在圖1所示設(shè)計(jì)方案中，主要根據(jù)配置信息進(jìn)行功能的切換，其中配置信息可以通過人機(jī)交互接口、無線通信方式或有線網(wǎng)絡(luò)進(jìn)行設(shè)置。根據(jù)配置信息，系統(tǒng)可以完成以下幾種監(jiān)控模式。I)交通和可疑物監(jiān)控模式
當(dāng)配置選擇配置0時，進(jìn)入該監(jiān)控模式。兩個攝像頭對監(jiān)控區(qū)域進(jìn)行視頻采集，系統(tǒng)并行處理兩路視頻，并對視頻進(jìn)行數(shù)據(jù)融合和智能信息處理。當(dāng)在一個攝像頭的視頻中發(fā)現(xiàn)可疑物或交通問題時，即通過調(diào)整另一個攝像頭的方位和焦距，進(jìn)行感興趣區(qū)域視頻獲取和細(xì)節(jié)特征提取。在視頻處理完成后，兩路視頻都將被壓縮，然后進(jìn)行存儲或網(wǎng)絡(luò)傳送。若發(fā)生交通事故，則感興趣區(qū)域視頻中車牌、人物特征等信息將被提取，而且會立刻向交警發(fā)送報(bào)警信息(通過網(wǎng) 絡(luò))。2)人員與環(huán)境監(jiān)控模式
當(dāng)配置選擇配置I時，進(jìn)入該監(jiān)控模式。兩個攝像頭對監(jiān)控區(qū)域進(jìn)行視頻采集，并進(jìn)行人物檢測(包括人臉檢測)。當(dāng)檢測到人物時，立刻調(diào)整另一個攝像頭進(jìn)行感興趣區(qū)域視頻獲取，并進(jìn)行人臉檢測與識別。如果該人被授權(quán)，則只記錄行為信息。如果該人未授權(quán)，則立刻報(bào)警并進(jìn)行人物跟蹤和行動軌跡判別、以及人臉表情和肢體語言判別，盡早預(yù)警。整個采集的視頻經(jīng)壓縮后可以進(jìn)行存儲或網(wǎng)絡(luò)傳輸。3)警戒區(qū)監(jiān)控模式
當(dāng)配置選擇配置2時，進(jìn)入該監(jiān)控模式。一個攝像頭被設(shè)置為區(qū)域監(jiān)控模式，一個攝像頭被設(shè)置為感興趣區(qū)域監(jiān)控模式。系統(tǒng)首先處理應(yīng)用于區(qū)域監(jiān)控模式的視頻，發(fā)現(xiàn)有人、物或者車輛進(jìn)入監(jiān)控區(qū)域后，立刻調(diào)整用于感興趣區(qū)域監(jiān)控的攝像頭進(jìn)行細(xì)節(jié)監(jiān)控，獲取進(jìn)入的人、物和車輛的細(xì)節(jié)信息。如果發(fā)現(xiàn)有問題(如人臉被人為遮擋、車輛車牌被遮擋等問題時)，通知系統(tǒng)進(jìn)行報(bào)警。系統(tǒng)還對正常進(jìn)入的人、物、車輛的運(yùn)動軌跡進(jìn)行跟蹤和預(yù)測，并與預(yù)警區(qū)域比較(系統(tǒng)配置)，如有進(jìn)入預(yù)警區(qū)域的90%置信區(qū)間，則調(diào)整感興趣區(qū)域監(jiān)控模式攝像頭進(jìn)行細(xì)節(jié)監(jiān)控，提取特征，并同時進(jìn)行預(yù)警。整個采集的視頻經(jīng)壓縮后可以進(jìn)行存儲或網(wǎng)絡(luò)傳輸。4)基于特征的視頻檢索監(jiān)控模式
當(dāng)配置選擇配置3時，進(jìn)入該監(jiān)控模式。該模式下，主要根據(jù)輸入的檢索特征(人、車牌等)，對監(jiān)控區(qū)域的視頻進(jìn)行實(shí)時檢索，當(dāng)發(fā)現(xiàn)可疑目標(biāo)出現(xiàn)時，調(diào)整另一個攝像頭進(jìn)行感興趣區(qū)域視頻獲取，并進(jìn)行特征匹配(人臉匹配、人物外形匹配、車型匹配、車牌匹配等)，如匹配成功，則對該目標(biāo)進(jìn)行視頻跟蹤并向檢索方發(fā)送匹配信息和新的特征庫信息。整個采集的視頻經(jīng)壓縮后可以進(jìn)行存儲或網(wǎng)絡(luò)傳輸。為實(shí)現(xiàn)多攝像頭監(jiān)控系統(tǒng)的實(shí)時性，系統(tǒng)主要采用多模塊并行工作方式進(jìn)行研發(fā)，具體硬件設(shè)計(jì)方案如下所述。I)多攝像頭模擬視頻輸入的監(jiān)控系統(tǒng)硬件設(shè)計(jì)方案
在采用模擬視頻作為輸入的多攝像頭視頻監(jiān)控系統(tǒng)中，為提高系統(tǒng)實(shí)時視頻處理能力，主要采用視頻預(yù)處理模塊+主控制模塊+視頻信號處理模塊三個并行工作模塊來構(gòu)成。其中，視頻預(yù)處理模塊主要根據(jù)主控制模塊的配置信息，將采集的雙攝像頭視頻信息預(yù)處理，包括圖像顏色空間轉(zhuǎn)換、圖像隔行/逐行轉(zhuǎn)換、圖像增強(qiáng)、直方圖計(jì)算、感興趣區(qū)域(ROI)提取等功能，然后將處理后的視頻輸送給主控制模塊。主控制模塊是整個系統(tǒng)的核心部分，根據(jù)用戶的配置信息進(jìn)行系統(tǒng)功能的配置。在視頻處理方面，主要采集視頻預(yù)處理模塊輸送的視頻信息并存儲于與信號處理模塊共享的高速雙口 DARAM中，然后調(diào)用信號處理模塊的響應(yīng)視頻處理功能(必做視頻壓縮)，并讀取視頻處理結(jié)果，存儲或通過網(wǎng)絡(luò)傳輸壓縮的視頻。根據(jù)系統(tǒng)配置的功能和實(shí)時的視頻處理結(jié)果，主控制模塊會借助多攝像頭的云臺通過串口對兩個攝像頭進(jìn)行控制(調(diào)整焦距、方位等)，達(dá)到感興趣區(qū)域監(jiān)控的效果，主控模塊將存儲或傳輸監(jiān)控視頻。例如在交通監(jiān)控中，如果視頻分析中發(fā)現(xiàn)發(fā)生疑似交通事故，主控模塊會根據(jù)分析結(jié)果調(diào)整一個攝像頭的方位和焦距，獲取車禍現(xiàn)場的感興趣區(qū)域的清晰視頻并報(bào)警。如果這種監(jiān)控系統(tǒng)應(yīng)用于近期發(fā)生的深圳車禍?zhǔn)录F(xiàn)場，將清晰記錄車禍現(xiàn)場細(xì)節(jié)，包括事故車輛內(nèi)部清晰視頻，將不存在調(diào)包的爭議。其中主控模塊和信號處理模塊通信遵循客戶/服務(wù)器模式規(guī)范，即主控模塊僅需告之信號處理模塊要進(jìn)行怎樣的處理(按配置信息要求)，復(fù)雜的運(yùn)算過程由高速的信號處理模塊進(jìn)行，然后將處理結(jié)果傳遞給主控模塊。主控模塊還實(shí)現(xiàn)人機(jī)交互功能，其中人機(jī)交互包括觸摸屏和顯示屏、無線收發(fā)功能、LAN收發(fā)功能、鍵盤鼠標(biāo)功能等，用戶可以根據(jù)應(yīng)用需求對系統(tǒng)進(jìn)行配置，主控模塊將相應(yīng)的調(diào)整視頻預(yù)處理功能和信號處理模塊相應(yīng)的配置信息，使系統(tǒng)專用化。2)多攝像頭數(shù)字視頻輸入的監(jiān)控系統(tǒng)硬件設(shè)計(jì)方案
在多攝像頭數(shù)字視頻輸入的監(jiān)控系統(tǒng)中，主要包括視頻壓縮板和監(jiān)控主板兩部分，視頻壓縮板根據(jù)監(jiān)控主板配置的信息對采集的兩路視頻進(jìn)行預(yù)處理，然后壓縮視頻。壓縮的視頻信息通過網(wǎng)絡(luò)傳輸給監(jiān)控主板。監(jiān)控主板接收壓縮的監(jiān)控視頻信息，一邊存儲或傳送視頻，一邊調(diào)用信號處理模塊對接收的視頻進(jìn)行解壓縮，然后根據(jù)配置信息進(jìn)行視頻相應(yīng)的算法分析，并將視頻處理結(jié)果傳遞給主控模塊。其中主控模塊和信號處理模塊通信遵循客戶/服務(wù)器模式規(guī)范，即主控模塊僅需告之信號處理模塊要進(jìn)行怎樣的處理(按配置信息要求)，復(fù)雜的運(yùn)算過程由高速的信號處理模塊進(jìn)行，然后將處理結(jié)果傳遞給主控模塊。主控模塊還實(shí)現(xiàn)人機(jī)交互功能，其中人機(jī)交互包括觸摸屏和顯示屏、無線收發(fā)功能、LAN收發(fā)功能、鍵盤鼠標(biāo)功能等，用戶可以根據(jù)應(yīng)用需求對系統(tǒng)進(jìn)行配置，主控模塊將相應(yīng)的調(diào)整視頻預(yù)處理功能和信號處理模 塊相應(yīng)的配置信息，使系統(tǒng)專用化。上述實(shí)施例只是為了說明本發(fā)明的技術(shù)構(gòu)思及特點(diǎn)，其目的是在于讓本領(lǐng)域內(nèi)的普通技術(shù)人員能夠了解本發(fā)明的內(nèi)容并據(jù)以實(shí)施，并不能以此限制本發(fā)明的保護(hù)范圍。凡是根據(jù)本發(fā)明內(nèi)容的實(shí)質(zhì)所作出的等效的變化或修飾，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍內(nèi)。
權(quán)利要求
1.基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法，其特征在于，主要包括兩個方面:一是總體應(yīng)用程序的運(yùn)行，二是視頻處理算法API設(shè)計(jì)與算法封裝，總體應(yīng)用程序通過對視頻處理算法API的調(diào)用，實(shí)現(xiàn)視頻處理功能； 總體應(yīng)用程序的流程如下:監(jiān)控系統(tǒng)根據(jù)具體配置的功能，進(jìn)入相應(yīng)的處理模塊，實(shí)現(xiàn)對監(jiān)控區(qū)域的全局監(jiān)控和感興趣區(qū)域監(jiān)控，其中配置信息可以通過人機(jī)交互接口、無線通信方式或有線網(wǎng)絡(luò)進(jìn)行設(shè)置； 監(jiān)控系統(tǒng)包括數(shù)字視頻輸入和模擬視頻輸入的兩種監(jiān)控系統(tǒng)方案；如果選擇數(shù)字視頻輸入的監(jiān)控方案，監(jiān)控主板接收的是已壓縮的視頻，可以直接存儲或傳輸，同時對壓縮視頻解壓縮后進(jìn)行數(shù)據(jù)融合和智能視頻處理；反之，對于模擬視頻輸入的監(jiān)控方案，可以直接對采集的數(shù)字視頻進(jìn)行數(shù)據(jù)融合和智能視頻處理，然后再進(jìn)行視頻壓縮和存儲或傳輸。
2.根據(jù)權(quán)利要求1所述的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法，其特征在于，對視頻處理算法API的調(diào)用，由信號處理模塊進(jìn)行并行的視頻處理算法應(yīng)用。
3.根據(jù)權(quán)利要求2所述的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法，其特征在于，所述壓縮視頻的存儲或傳輸在系統(tǒng)中與整個視頻分析應(yīng)并行進(jìn)行。
4.根據(jù)權(quán)利要求1所述的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法，其特征在于，所述監(jiān)控系統(tǒng)所根據(jù)的具體配置的功能包括人臉檢測、人臉跟蹤和識別；車輛檢測、車輛跟蹤和識別；可疑物檢測、可疑物跟蹤和識別；感興趣區(qū)域監(jiān)控與預(yù)警。
5.根據(jù)權(quán)利要求1所述的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法，其特征在于，所述監(jiān)控系統(tǒng)根據(jù)配置信息進(jìn)行功能的切換，根據(jù)配置信息，系統(tǒng)可以完成以下幾種監(jiān)控模式:交通和可疑物監(jiān)控模式、人員與環(huán)境監(jiān)控模式、警戒區(qū)監(jiān)控模式及基于特征的視頻檢索監(jiān)控模式。
6.根據(jù)權(quán)利要求5所述的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法，其特征在于，所述交通和可疑·物監(jiān)控模式具體為:兩個攝像頭對監(jiān)控區(qū)域進(jìn)行視頻采集，系統(tǒng)并行處理兩路視頻，并對視頻進(jìn)行數(shù)據(jù)融合和智能信息處理；當(dāng)在一個攝像頭的視頻中發(fā)現(xiàn)可疑物或交通問題時，即通過調(diào)整另一個攝像頭的方位和焦距，進(jìn)行感興趣區(qū)域視頻獲取和細(xì)節(jié)特征提??；在視頻處理完成后，兩路視頻都將被壓縮，然后進(jìn)行存儲或網(wǎng)絡(luò)傳送；若發(fā)生交通事故，則感興趣區(qū)域視頻中車牌、人物特征等信息將被提取，而且會立刻向交警發(fā)送報(bào)警信息。
7.根據(jù)權(quán)利要求5所述的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法，其特征在于，所述人員與環(huán)境監(jiān)控模式具體為:兩個攝像頭對監(jiān)控區(qū)域進(jìn)行視頻采集，并進(jìn)行人物檢測；當(dāng)檢測到人物時，立刻調(diào)整另一個攝像頭進(jìn)行感興趣區(qū)域視頻獲取，并進(jìn)行人臉檢測與識別；如果該人被授權(quán)，則只記錄行為信息；如果該人未授權(quán)，則立刻報(bào)警并進(jìn)行人物跟蹤和行動軌跡判別、以及人臉表情和肢體語言判別，盡早預(yù)警。
8.根據(jù)權(quán)利要求5所述的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法，其特征在于，所述警戒區(qū)監(jiān)控模式具體為:一個攝像頭被設(shè)置為區(qū)域監(jiān)控模式，一個攝像頭被設(shè)置為感興趣區(qū)域監(jiān)控模式；系統(tǒng)首先處理應(yīng)用于區(qū)域監(jiān)控模式的視頻，發(fā)現(xiàn)有人、物或者車輛進(jìn)入監(jiān)控區(qū)域后，立刻調(diào)整用于感興趣區(qū)域監(jiān)控的攝像頭進(jìn)行細(xì)節(jié)監(jiān)控，獲取進(jìn)入的人、物和車輛的細(xì)節(jié)信息，如果發(fā)現(xiàn)如人臉被人為遮擋、車輛車牌被遮擋等問題時，通知系統(tǒng)進(jìn)行報(bào)警，系統(tǒng)還對正常進(jìn)入的人、物、車輛的運(yùn)動軌跡進(jìn)行跟蹤和預(yù)測，并與預(yù)警區(qū)域比較，如有進(jìn)入預(yù)警區(qū)域的90%置信區(qū)間，則調(diào)整感興趣區(qū)域監(jiān)控模式攝像頭進(jìn)行細(xì)節(jié)監(jiān)控，提取特征，并同時進(jìn)行預(yù)警。
9.根據(jù)權(quán)利要求5所述的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法，其特征在于，所述基于特征的視頻檢索監(jiān)控模式具體為:主要根據(jù)輸入的人、車牌這些檢索特征，對監(jiān)控區(qū)域的視頻進(jìn)行實(shí)時檢索，當(dāng)發(fā)現(xiàn)可疑目標(biāo)出現(xiàn)時，調(diào)整另一個攝像頭進(jìn)行感興趣區(qū)域視頻獲取，并進(jìn)行人臉匹配、人物外形匹配、車型匹配、車牌匹配這些特征匹配，如匹配成功，則對該目標(biāo)進(jìn)行視頻跟蹤并向 檢索方發(fā)送匹配信息和新的特征庫信息。
全文摘要
本發(fā)明提出了一種基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法，主要包括兩個方面一是總體應(yīng)用程序的運(yùn)行，二是視頻處理算法API設(shè)計(jì)與算法封裝，總體應(yīng)用程序通過對視頻處理算法API的調(diào)用，實(shí)現(xiàn)視頻處理功能；總體應(yīng)用程序的流程如下監(jiān)控系統(tǒng)根據(jù)具體配置的功能，進(jìn)入相應(yīng)的處理模塊，實(shí)現(xiàn)對監(jiān)控區(qū)域的全局監(jiān)控和感興趣區(qū)域監(jiān)控，其中配置信息可通過人機(jī)交互接口、無線通信方式或有線網(wǎng)絡(luò)進(jìn)行設(shè)置；監(jiān)控系統(tǒng)包括數(shù)字視頻輸入和模擬視頻輸入兩種監(jiān)控系統(tǒng)方案。本發(fā)明的基于多攝像頭數(shù)據(jù)融合的智能視頻監(jiān)控系統(tǒng)的監(jiān)控方法，可應(yīng)用于交通監(jiān)控系統(tǒng)、門禁、安全防護(hù)或其他系統(tǒng)，實(shí)現(xiàn)背景監(jiān)控與感興趣區(qū)域提取、監(jiān)控、目標(biāo)跟蹤、目標(biāo)三維重建等功能。
文檔編號G08B25/00GK103248867SQ20121029490
公開日2013年8月14日 申請日期2012年8月20日 優(yōu)先權(quán)日2012年8月20日
發(fā)明者胡劍凌, 曹洪龍, 邵雷, 穆小川, 潘奇智 申請人:蘇州大學(xué)