本發(fā)明涉及信息監(jiān)控領(lǐng)域,尤其涉及一種智能分級監(jiān)控系統(tǒng)。
背景技術(shù):
安全的生活和居住環(huán)境越來越引起人們的關(guān)注,傳統(tǒng)視頻監(jiān)控系統(tǒng)只能提供監(jiān)控區(qū)域的圖像,對監(jiān)控區(qū)域的監(jiān)控、對目標(biāo)對象的識別、分析、辨別、跟蹤等完全依靠人來進行。因此,傳統(tǒng)視頻監(jiān)控需要相關(guān)人員進行不間斷的監(jiān)控。智能視頻監(jiān)控具備了自動、智能的圖像分析能力,在不需要人為干預(yù)的情況下,通過對攝像機拍攝的圖像的自動分析,可以識別、分辨場景中的動態(tài)目標(biāo),取得目標(biāo)的大小、數(shù)量、方向、速度等信息,能夠在異常情況發(fā)生的時候以最快和最佳的方式做出告警、錄像、跟蹤等反應(yīng)。
然而智能監(jiān)控系統(tǒng)由于識別不準(zhǔn)確等因素會造成誤報和漏報,反而造成不必要的干擾,因此,提高檢測、識別和判斷的準(zhǔn)確性、最大限度的降低誤報和漏報現(xiàn)象是急需解決的技術(shù)問題。
技術(shù)實現(xiàn)要素:
本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的。
根據(jù)本發(fā)明的實施方式,提出一種智能分級監(jiān)控系統(tǒng),所述系統(tǒng)包括主控制器、檢測裝置、自動報警系統(tǒng)、以及監(jiān)控終端,其中,
所述檢測裝置包括第一檢測裝置、第二檢測裝置和第三檢測裝置,所述主控制器用于實現(xiàn)對所述第一檢測裝置、第二檢測裝置、第三檢測裝置、自動報警系統(tǒng)的控制和通信;
所述第一檢測裝置用于進行初級檢測,判斷能夠通往室內(nèi)的各個入口是否有異?;顒?,如果沒有檢測到異?;顒觿t使所述第一檢測裝置持續(xù)進行檢測,否則,自動報警系統(tǒng)進入待告警狀態(tài),并啟動第二檢測裝置進行檢測;
所述第二檢測裝置用于檢測是否是異常事件,如果是異常事件,則自動報警系統(tǒng)進行告警,否則,啟動第三檢測裝置進行檢測;
所述第三檢測裝置用于檢測室內(nèi)是否有人活動,如果沒有人活動,則重復(fù)啟動第一檢測裝置進行檢測,如果有人活動,則自動報警系統(tǒng)進入無告警狀態(tài);
自動報警系統(tǒng)包括語音模塊和云服務(wù)器,當(dāng)自動報警系統(tǒng)進入告警狀態(tài)時,主控制器控制語音模塊發(fā)出語音警告,同時將報警信息通過云服務(wù)器發(fā)送到監(jiān)控終端,可以設(shè)置各種不同的告警聲音;
監(jiān)控終端分別與第二、第三檢測裝置和自動報警系統(tǒng)通過網(wǎng)絡(luò)相連接,用于用戶對監(jiān)控情況的查看,監(jiān)控終端接收報警信息和第二、第三檢測裝置發(fā)送的視頻信息和識別結(jié)果信息,并將第二檢測裝置發(fā)送的經(jīng)終端判定為有誤的視頻特征信息發(fā)送至云服務(wù)器中進行訓(xùn)練;
云服務(wù)器分別與第二檢測裝置和監(jiān)控終端通過網(wǎng)絡(luò)相連接,用于視頻特征數(shù)據(jù)的訓(xùn)練,根據(jù)用戶反饋的信息,動態(tài)更新數(shù)據(jù)分類方法,其中,
云服務(wù)器根據(jù)監(jiān)控終端發(fā)送的視頻片段提取特征信息,并將特征信息、分類結(jié)果存儲作為新的樣本,對監(jiān)控終端發(fā)來的指令進行解析,并根據(jù)更新樣本訓(xùn)練數(shù)據(jù),生成新的數(shù)據(jù)分類方法配置文件,同時向第二檢測裝置發(fā)送更新通知。
根據(jù)本發(fā)明的一個實施方式,第一檢測裝置包括探測模塊,用于檢測人員進出各個入口的活動,安裝在入戶門的第一檢測裝置可使用門磁傳感器、紅外探測器、光電式遮斷感應(yīng)器、微波感應(yīng)器或雙鑒探測器,用于探測進出入戶門的人員活動;安裝在窗戶旁邊的出入口檢測裝置,可使用雙幕紅外探測器,可依據(jù)它的兩個紅外探頭的觸發(fā)先后時間識別出人員進出方向,分辨出人員從窗外進入室內(nèi)的異?;顒印⒃谑覂?nèi)的日?;顒雍蛷氖覂?nèi)伸手關(guān)窗活動;安裝在陽臺上的第一檢測裝置,可使用紅外探測器或雙鑒探測器,用于探測人員在陽臺的活動。
根據(jù)本發(fā)明的一個實施方式,第二檢測裝置包括:信息采集裝置和異常事件判斷裝置,所述異常事件判斷裝置包括第一收發(fā)模塊、分析模塊、數(shù)據(jù)分類模塊、存儲模塊、以及第一控制模塊,控制模塊分別與各個模塊相連接,其中,
信息采集裝置為攝像頭和聲音錄入系統(tǒng);
分析模塊用于對信息采集裝置采集的視頻數(shù)據(jù)分析處理;
數(shù)據(jù)分類模塊根據(jù)分析模塊處理的圖像信息判斷監(jiān)控環(huán)境是否異常,所述數(shù)據(jù)分類模塊中存儲有原始的數(shù)據(jù)分類方法配置信息,數(shù)據(jù)分類模塊識別出當(dāng)前視頻屬于哪一類后,將識別結(jié)果發(fā)送至用戶的監(jiān)控終端,通過用戶不斷反饋數(shù)據(jù),云服務(wù)器訓(xùn)練生成新的數(shù)據(jù)分類方法,所述方法用于更新的數(shù)據(jù)分類模塊中的配置文件;
存儲模塊用于存儲采集的視頻數(shù)據(jù),便于用戶的查看和回放;
收發(fā)模塊用于異常事件判斷裝置與信息采集裝置、監(jiān)控終端和自動報警系統(tǒng)之間的信息交互;
第一控制模塊為所述異常事件判斷裝置的核心功能模塊,分別控制各個模塊之間的數(shù)據(jù)通信和交互。
根據(jù)本發(fā)明的一個實施方式,所述分析模塊包括順序連接的目標(biāo)獲取模塊、分解模塊、和特征抽取模塊,其中,
所述獲取模塊,用于采用相應(yīng)的算法,區(qū)分出背景和運動的物體,然后提取檢測到的目標(biāo);
所述分解模塊,用于在所述獲取模塊提取檢測到的目標(biāo)后,對目標(biāo)進行分割;
所述特征抽取模塊,用于通過對分割的目標(biāo)進行跟蹤,提取圖像的特征信息,將所述圖像特征信息以特征向量形式進行保存。
根據(jù)本發(fā)明的一個實施方式,所述第一收發(fā)模塊包括視頻接入單元、數(shù)據(jù)交互單元,其中視頻接入單元用于接入采集的視頻,并將視頻發(fā)送至分析模塊和存儲模塊中,其中,
視頻接入單元為視頻解碼電路,用于將信息采集裝置采集的視頻數(shù)據(jù)進行解碼;
數(shù)據(jù)交互單元用于異常事件判斷裝置與監(jiān)控終端之間的數(shù)據(jù)交互,將數(shù)據(jù)分類模塊的分類結(jié)果發(fā)送至監(jiān)控終端,同時接收監(jiān)控終端發(fā)送的視頻查看信息;也用于異常事件判斷裝置與云服務(wù)器之間的信息交互,云服務(wù)器通過訓(xùn)練視頻特征數(shù)據(jù),通知異常事件判斷裝置更新數(shù)據(jù)分類模塊中的分類配置文件,數(shù)據(jù)交互單元采用有線網(wǎng)絡(luò)通信或無線網(wǎng)絡(luò)通信方式中的任意一種,有線網(wǎng)絡(luò)可以采用以太網(wǎng)接口,無線網(wǎng)絡(luò)通訊可以為WIFI和3G/4G。
根據(jù)本發(fā)明的一個實施方式,所述第二檢測裝置還包括:圖像識別裝置,所述圖像識別裝置包括:處理模塊、圖像獲取模塊、匹配模塊、數(shù)據(jù)庫、識別模塊、第二收發(fā)模塊組成,其中,
處理模塊,用于處理信息采集模塊采集的音視頻信息,提取用于臉部識別的圖像;
圖像獲取模塊,用于獲取用于臉部識別的圖像信息,對所述圖像的數(shù)字信息進行分析和處理,然后進行特征抽取,用模式識別方法獲得數(shù)字信息中的臉部圖像信息;
匹配模塊,用于判斷所獲取的臉部圖像信息是否在數(shù)據(jù)庫中有存儲,針對所獲得的臉部圖像信息,查找數(shù)據(jù)庫中所存儲的內(nèi)容,當(dāng)查找到與其匹配的信息時判定為無異常情況,發(fā)送啟動開門命令,當(dāng)數(shù)據(jù)庫中不存在與所述臉部信息匹配的內(nèi)容時由異常事件判斷裝置判斷是否是異常事件;
數(shù)據(jù)庫,用于存儲用戶預(yù)先設(shè)置的人臉信息和音頻信息;
識別模塊,用于根據(jù)已有的人臉信息和音頻信息進行匹配識別,所述識別模塊包括面部圖像識別和聲音識別單元;
第二收發(fā)模塊,用于實現(xiàn)第二檢測裝置與監(jiān)控終端和自動報警系統(tǒng)的通信。
根據(jù)本發(fā)明的一個實施方式,所述面部圖像識別單元對目標(biāo)圖像原始數(shù)據(jù)的獲取、預(yù)處理、以及采用不變性特征的提取方法和神經(jīng)網(wǎng)絡(luò)識別技術(shù);聲音識別單元針對語音數(shù)字信號來周用相應(yīng)的處理方法和鑒別方法進行匹配識別,若有該目標(biāo)信息則匹配成功,否則由異常事件判斷裝置判斷是否是異常事件。
根據(jù)本發(fā)明的一個實施方式,第三檢測裝置包括:視頻信息采集模塊、檢測模塊、控制模塊和特殊圖像監(jiān)控模塊,其中,
視頻信息采集模塊用于采集視頻圖像,將當(dāng)前采集到的視頻圖像發(fā)送至檢測模塊;
檢測模塊用于接收來自視頻信息采集模塊的輸入圖像,輸出獲取的運動圖像至控制模塊;
控制模塊用于接收來自檢測模塊的運動圖像,根據(jù)接收到的運動圖像進行視頻監(jiān)控;
特殊圖像監(jiān)控模塊用于通過融合夜間感興趣目標(biāo)和晝間背景圖像,得到最終夜間活動檢測圖像。
本發(fā)明的智能分級監(jiān)控系統(tǒng)包括主控制器、檢測裝置、自動報警系統(tǒng)、以及監(jiān)控終端,所述檢測裝置包括第一檢測裝置、第二檢測裝置和第三檢測裝置,所述主控制器用于實現(xiàn)對所述第一檢測裝置、第二檢測裝置、第三檢測裝置、自動報警系統(tǒng)的控制和通信。通過本發(fā)明的智能監(jiān)控系統(tǒng),實現(xiàn)了分級監(jiān)控、準(zhǔn)確識別目標(biāo)、快速判斷異常事件,提高了告警準(zhǔn)確率,具有積極的有益效果。
附圖說明
通過閱讀下文優(yōu)選實施方式的詳細(xì)描述,各種其他的優(yōu)點和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的,而并不認(rèn)為是對本發(fā)明的限制。而且在整個附圖中,用相同的參考符號表示相同的部件。在附圖中:
附圖1示出了根據(jù)本發(fā)明實施方式的智能監(jiān)控系統(tǒng)整體結(jié)構(gòu)示意圖;
附圖2示出了根據(jù)本發(fā)明實施方式的第二檢測裝置結(jié)構(gòu)示意圖;
附圖3示出了根據(jù)本發(fā)明實施方式的異常事件判斷裝置結(jié)構(gòu)示意圖;
附圖4示出了根據(jù)本發(fā)明實施方式的分析模塊結(jié)構(gòu)示意圖;
附圖5示出了根據(jù)本發(fā)明實施方式的第一收發(fā)模塊結(jié)構(gòu)示意圖;
附圖6示出了根據(jù)本發(fā)明實施方式的圖像識別裝置結(jié)構(gòu)示意圖;
附圖7示出了根據(jù)本發(fā)明實施方式的第三檢測裝置結(jié)構(gòu)示意圖;
附圖8示出了根據(jù)本發(fā)明實施方式的檢測模塊結(jié)構(gòu)示意圖;
附圖9示出了根據(jù)本發(fā)明實施方式的運動檢測模塊結(jié)構(gòu)示意圖;
附圖10示出了根據(jù)本發(fā)明實施方式的差分模塊結(jié)構(gòu)示意圖;
附圖11示出了根據(jù)本發(fā)明實施方式的特殊圖像監(jiān)控模塊結(jié)構(gòu)示意圖。
具體實施方式
下面將參照附圖更詳細(xì)地描述本公開的示例性實施方式。雖然附圖中顯示了本公開的示例性實施方式,然而應(yīng)當(dāng)理解,可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施方式所限制。相反,提供這些實施方式是為了能夠更透徹地理解本公開,并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
根據(jù)本發(fā)明的實施方式,提出一種智能分級監(jiān)控系統(tǒng),如附圖1所示,所述系統(tǒng)包括主控制器、檢測裝置、自動報警系統(tǒng)、以及監(jiān)控終端,其中,
所述檢測裝置包括第一檢測裝置、第二檢測裝置和第三檢測裝置,所述主控制器用于實現(xiàn)對所述第一檢測裝置、第二檢測裝置、第三檢測裝置、自動報警系統(tǒng)的控制和通信;
所述第一檢測裝置用于進行初級檢測,判斷能夠通往室內(nèi)的各個入口是否有異?;顒?,如果沒有檢測到異?;顒觿t使所述第一檢測裝置持續(xù)進行檢測,否則,自動報警系統(tǒng)進入待告警狀態(tài),并啟動第二檢測裝置進行檢測;
所述第二檢測裝置用于檢測是否是異常事件,如果是異常事件,則自動報警系統(tǒng)進行告警,否則,啟動第三檢測裝置進行檢測;
所述第三檢測裝置用于檢測室內(nèi)是否有人活動,如果沒有人活動,則重復(fù)啟動第一檢測裝置進行檢測,如果有人活動,則自動報警系統(tǒng)進入無告警狀態(tài);
自動報警系統(tǒng)包括語音模塊和云服務(wù)器,當(dāng)自動報警系統(tǒng)進入告警狀態(tài)時,主控制器控制語音模塊發(fā)出語音警告,同時將報警信息通過云服務(wù)器發(fā)送到監(jiān)控終端,可以設(shè)置各種不同的告警聲音;
監(jiān)控終端分別與第二、第三檢測裝置和自動報警系統(tǒng)通過網(wǎng)絡(luò)相連接,用于用戶對監(jiān)控情況的查看,監(jiān)控終端接收報警信息和第二、第三檢測裝置發(fā)送的視頻信息和識別結(jié)果信息,并將第二檢測裝置發(fā)送的經(jīng)終端判定為有誤的視頻特征信息發(fā)送至云服務(wù)器中進行訓(xùn)練;本發(fā)明中的監(jiān)控終端為具有人機交互功能的監(jiān)控終端設(shè)備,包括智能手機、電腦以及有交互功能的電視等。
云服務(wù)器分別與第二檢測裝置和監(jiān)控終端通過網(wǎng)絡(luò)相連接,用于視頻特征數(shù)據(jù)的訓(xùn)練,根據(jù)用戶反饋的信息,動態(tài)更新數(shù)據(jù)分類方法,其中,
云服務(wù)器根據(jù)監(jiān)控終端發(fā)送的視頻片段提取特征信息,并將特征信息、分類結(jié)果存儲作為新的樣本,對監(jiān)控終端發(fā)來的指令進行解析,并根據(jù)更新樣本訓(xùn)練數(shù)據(jù),生成新的數(shù)據(jù)分類方法配置文件,同時向第二檢測裝置發(fā)送更新通知。
如圖2所示,本發(fā)明所提供的第二檢測裝置包括:信息采集裝置和異常事件判斷裝置,其中,如圖3所示,所述異常事件判斷裝置包括第一收發(fā)模塊、分析模塊、數(shù)據(jù)分類模塊、存儲模塊、以及第一控制模塊,控制模塊分別與各個模塊相連接,其中,
信息采集裝置為攝像頭和聲音錄入系統(tǒng);該攝像頭和聲音錄入系統(tǒng)通過有線或者無線上網(wǎng)方式與異常事件判斷裝置相連接,用于實時采集監(jiān)控環(huán)境的視頻信息和音頻信息,并將采集的視頻和音頻傳輸至異常事件判斷裝置進行處理。
分析模塊用于對信息采集裝置采集的視頻數(shù)據(jù)分析處理;
數(shù)據(jù)分類模塊根據(jù)分析模塊處理的圖像信息判斷監(jiān)控環(huán)境是否異常。數(shù)據(jù)分類模塊需要內(nèi)置初始化的數(shù)據(jù)分類方法配置文件(通常采用常駐內(nèi)存或者固件方式)。初始化的數(shù)據(jù)分類方法配置文件是由大量標(biāo)桿樣本數(shù)據(jù)獲得的。數(shù)據(jù)分類方法可以理解為一個映射關(guān)系,會自動將輸入的特征向量映射為+1或-1。本發(fā)明中用+1、-1和0分別表示“有人入侵的重要事件”、“有動靜的非重要事件”和無異常事件三類識別結(jié)果。數(shù)據(jù)分類模塊識別出當(dāng)前視頻屬于哪一類后,將識別結(jié)果發(fā)送至用戶的監(jiān)控終端。通過用戶不斷反饋數(shù)據(jù),云服務(wù)器訓(xùn)練生成新的數(shù)據(jù)分類方法。該方法用于更新的數(shù)據(jù)分類模塊中的配置文件。這樣數(shù)據(jù)分類模塊可以不斷的更新的數(shù)據(jù)分類方法。而新的數(shù)據(jù)分類方法是自適應(yīng)當(dāng)前監(jiān)控環(huán)境的,因此采用新的分類方法進行識別分類,可以有效減少誤報率。
存儲模塊用于存儲采集的視頻數(shù)據(jù),便于用戶的查看和回放。存儲模塊可以采用Flash Memory、DDR SDRAM等實現(xiàn)。
收發(fā)模塊用于異常事件判斷裝置與信息采集裝置、監(jiān)控終端和自動報警系統(tǒng)之間的信息交互;
控制模塊為所述異常事件判斷裝置的核心功能模塊,分別控制各個模塊之間的數(shù)據(jù)通信和交互。該控制模塊可以由單片機或者微控制器(MCU)等實現(xiàn),一方面接收監(jiān)控終端的視頻查看指令后,通知存儲模塊將視頻數(shù)據(jù)傳輸給監(jiān)控終端,另一方面通過通信模塊下載云服務(wù)器中用于更新數(shù)據(jù)分類模塊中數(shù)據(jù)分類方法的配置文件。
如圖4所示,分析模塊用于對采集的視頻數(shù)據(jù)分析處理,具體包括順序連接的獲取模塊、分解模塊和特征抽取三個單元。這些單元可以以軟件或者固件方式實現(xiàn)。其中,獲取模塊可以采用幀差法、光流法以及動態(tài)自適應(yīng)背景法等算法,使得能夠區(qū)分出背景和運動的物體。獲取模塊提取檢測到的物體后,由分解模塊對目標(biāo)進行分割。其中目標(biāo)分割可以采用Otsu法(最大類間方差法)、迭代法、最大熵法等。特征抽取模塊通過對分割的目標(biāo)進行跟蹤,提取圖像的特征信息,例如顏色、形狀、運動軌跡等特征。其中圖像特征信息通常以特征向量形式進行保存。
如圖5所示,第一收發(fā)模塊包括視頻接入單元、數(shù)據(jù)交互單元。其中視頻接入單元用于接入采集的視頻,并將視頻發(fā)送至分析模塊和存儲模塊中。其中視頻接入單元為視頻解碼電路,用于視頻采集裝置采集的視頻數(shù)據(jù)進行解碼。數(shù)據(jù)交互單元一方面用于異常事件判斷裝置與監(jiān)控終端之間的數(shù)據(jù)交互,將數(shù)據(jù)分類模塊的分類結(jié)果發(fā)送至監(jiān)控終端,同時接收監(jiān)控終端發(fā)送的視頻查看信息;另一方面用于異常事件判斷裝置與云服務(wù)器之間的信息交互。云服務(wù)器通過訓(xùn)練視頻特征數(shù)據(jù),通知異常事件判斷裝置更新數(shù)據(jù)分類模塊中的分類配置文件。數(shù)據(jù)交互單元可以采用有線網(wǎng)絡(luò)通信或無線網(wǎng)絡(luò)通信方式中的任意一種,例如有線網(wǎng)絡(luò)可以采用以太網(wǎng)接口等,無線網(wǎng)絡(luò)通訊可以為WIFI和3G/4G等。
所述第二檢測裝置還包括:圖像識別裝置,如圖6所示,所述圖像識別裝置包括:處理模塊、圖像獲取模塊、匹配模塊、數(shù)據(jù)庫、識別模塊、第二收發(fā)模塊組成,其中,
處理模塊,用于處理信息采集模塊采集的音視頻信息,提取用于臉部識別的圖像;
圖像獲取模塊,用于獲取用于臉部識別的圖像信息,對所述圖像的數(shù)字信息進行分析和處理,先進行數(shù)字信息的預(yù)處理,去除混入的干擾信息并減少某些變形和失真,然后進行特征抽取,用模式識別方法獲得數(shù)字信息中的臉部圖像信息;
匹配模塊,用于判斷所獲取的臉部圖像信息是否在數(shù)據(jù)庫中有存儲,針對所獲得的臉部圖像信息,查找數(shù)據(jù)庫中所存儲的內(nèi)容,當(dāng)查找到與其匹配的信息時判定為無異常情況,發(fā)送啟動開門命令,當(dāng)數(shù)據(jù)庫中不存在與所述臉部信息匹配的內(nèi)容時由異常事件判斷裝置判斷是否是異常事件;
數(shù)據(jù)庫,用于存儲用戶預(yù)先設(shè)置的人臉信息和音頻信息;
識別模塊,用于根據(jù)已有的人臉信息和音頻信息進行匹配識別,所述識別模塊包括臉孔圖像識別單元和聲音識別單元;
第二收發(fā)模塊,用于實現(xiàn)第二檢測裝置與監(jiān)控終端和自動報警系統(tǒng)的通信。
系統(tǒng)通過調(diào)用模式識別裝置相應(yīng)的處理方法進行模式識別處理,模式識別模塊包括監(jiān)控目標(biāo)面部圖像識別單元和監(jiān)控目標(biāo)盤聲音識別單元,其中監(jiān)控目標(biāo)面部圖像識別單元對目標(biāo)圖像原始數(shù)據(jù)的獲取、預(yù)處理、不變性特征的提取方法以及神經(jīng)網(wǎng)絡(luò)識別技術(shù),不變性特征的提取即從數(shù)字化后或預(yù)處理后的輸入模式中抽取一組具有不變性的特征;監(jiān)控目標(biāo)聲音識別單元針對語音數(shù)字信號來周用相應(yīng)的處理方法和鑒別方法進行匹配識別,若有該目標(biāo)信息則匹配成功,否則由異常事件判斷裝置判斷是否是異常事件。
如圖7所示,第三檢測裝置包括:視頻信息采集模塊、檢測模塊、控制模塊和特殊圖像監(jiān)控模塊,其中,
視頻信息采集模塊用于連續(xù)采集視頻圖像,將當(dāng)前采集到的視頻圖像作為當(dāng)前輸入圖像發(fā)送至檢測模塊;
檢測模塊用于接收來自視頻信息采集模塊的當(dāng)前輸入圖像,獲取當(dāng)前輸入圖像的背景差分圖像與幀間差分圖像,通過將所述背景差分圖像和所述幀間差分圖像進行邏輯與處理獲取運動圖像,輸出獲取的運動圖像。
控制模塊用于接收來自檢測模塊的運動圖像,根據(jù)接收到的運動圖像進行視頻監(jiān)控;
特殊圖像監(jiān)控模塊用于通過融合夜間感興趣目標(biāo)和晝間背景圖像,得到最終夜間活動檢測圖像。
如圖8所示,檢測模塊包括:運動檢測模塊01、目標(biāo)跟蹤模塊02、后續(xù)分析模塊03、報警模塊04、視頻編碼模塊05。
運動檢測模塊01用于接收來自視頻采集裝置901的當(dāng)前輸入圖像,獲取當(dāng)前輸入圖像的背景差分圖像與幀間差分圖像,通過將所述背景差分圖像和所述幀間差分圖像進行邏輯與處理獲取運動圖像,輸出獲取的運動圖像至目標(biāo)跟蹤模塊02。
如圖9所示,運動檢測模塊01包括:差分模塊801、運動提取模塊802、第三濾波模塊803和背景更新模塊804。
差分模塊801用于接收當(dāng)前輸入圖像,根據(jù)當(dāng)前輸入圖像與當(dāng)前背景圖像獲取背景差分圖像,根據(jù)所述當(dāng)前輸入圖像與所述當(dāng)前輸入圖像的前一幀輸入圖像獲取幀間差分圖像,將獲取的背景差分圖像和幀間差分圖像發(fā)送至運動提取模塊802。
其中,如圖10所示,差分模塊801包括背景差分模塊8011和幀間差分模塊8012。
背景差分模塊8011包括:背景存儲模塊11、第一相減模塊12、第一二值化模塊13和第一濾波模塊14。
背景存儲模塊11用于存儲當(dāng)前背景圖像,將存儲的當(dāng)前背景圖像輸出到第一相減模塊。
第一相減模塊12用于接收當(dāng)前輸入圖像,將接收到的當(dāng)前輸入圖像與背景存儲模塊11中的當(dāng)前背景圖像相減,將相減后得到的背景差分圖像輸出至所述第一二值化模塊13。
第一二值化模塊13用于接收來自所述第一相減模塊12的背景差分圖像,將接收到的背景差分圖像進行二值化處理,輸出二值化處理后的背景差分圖像至第一濾波模塊14。
第一濾波模塊14用于接收來自第一二值化模塊13二值化處理后的背景差分圖像,對接收到的背景差分圖像進行形態(tài)學(xué)濾波處理,輸出形態(tài)學(xué)濾波處理后的背景差分圖像至運動提取模塊802。
幀間差分模塊8012包括:延遲模塊21、第二相減模塊22、第二二值化模塊23和第二濾波模塊24。
延遲模塊21用于接收輸入圖像,通過將接收到的輸入圖像進行延遲處理得到當(dāng)前輸入圖像的前一幀輸入圖像,將所述當(dāng)前輸入圖像的前一幀輸入圖像發(fā)送至第二相減模塊22。
由此可見,延遲模塊21的作用在于,使得當(dāng)前輸入圖像和當(dāng)前輸入圖像的前一幀輸入圖像可以同時發(fā)送至第二相減模塊22。
舉例來說,假設(shè)輸入圖像a為輸入圖像a’的前一幀輸入圖像,在沒有延遲模塊21的情況下,輸入圖像a和輸入圖像a’將分別在T-1時刻和T時刻先后發(fā)送至第二相減模塊22;如果將輸入圖像通過延遲裝置21后再發(fā)送至第二相減模塊22,那么本該在T-1時刻發(fā)送至第二相減模塊22的a就會在T時刻才能發(fā)送至第二相減模塊22。由此可以得出,在T時刻,第二相減模塊22將同時接收到視頻采集裝置901直接發(fā)送過來的輸入圖像a’以及來自延遲模塊21的輸入圖像a。
第二相減模塊22用于接收當(dāng)前輸入圖像和來自延遲模塊21的當(dāng)前輸入圖像的前一幀輸入圖像,將接收到的當(dāng)前輸入圖像與所述當(dāng)前輸入圖像的前一幀輸入圖像相減,將相減后得到的差值圖像輸出至第二二值化模塊23。
第二二值化模塊23用于接收來自第二相減模塊22的差值圖像,將接收到的差值圖像進行二值化處理,輸出二值化處理后得到的幀間差分圖像至第二濾波模塊24。
第二濾波模塊24用于接收來自第二二值化模塊23二值化處理后的幀間差分圖像,對接收到的幀間差分圖像進行形態(tài)學(xué)濾波處理,輸出形態(tài)學(xué)濾波處理后的圖像至運動提取模塊802。
運動提取模塊802用于接收來自差分模塊801的背景差分圖像和幀間差分圖像,將所述背景差分圖像和所述幀間差分圖像進行邏輯與處理,輸出邏輯與處理后得到的運動圖像至第三濾波模塊803。
第三濾波模塊803用于接收來自運動提取模塊802的運動圖像,對接收到的運動圖像進行形態(tài)學(xué)濾波處理,輸出形態(tài)學(xué)濾波處理后的運動圖像至中心控制裝置903和背景更新模塊804。
背景更新模塊804用于接收來自視頻采集裝置901的當(dāng)前輸入圖像與第三濾波模塊803當(dāng)前輸出的運動圖像,根據(jù)當(dāng)前輸入圖像及所述當(dāng)前輸出的運動圖像更新當(dāng)前背景圖像,所述更新當(dāng)前背景圖像是指,根據(jù)本發(fā)明實施例提供的運動檢測方法中更新當(dāng)前背景圖像的方法,根據(jù)當(dāng)前輸入圖像以及當(dāng)前輸出的運動圖像更新背景存儲模塊11中的當(dāng)前背景圖像。
目標(biāo)跟蹤模塊02用于接收運動檢測模塊01輸出的運動圖像,在連續(xù)接收到的運動圖像中識別出運動目標(biāo),并記錄所述運動目標(biāo)的運動軌跡,輸出目標(biāo)跟蹤后的圖像至后續(xù)分析模塊03。
本實施例中目標(biāo)跟蹤模塊02可以采用本發(fā)明實施例提供的運動檢測方法中目標(biāo)跟蹤的方法來進行目標(biāo)跟蹤。
后續(xù)分析模塊03用于接收來自目標(biāo)跟蹤模塊02的圖像,對接收到的圖像進行后續(xù)分析,在分析結(jié)果為情況異常時通知報警模塊04進行報警,輸出接收到的圖像至視頻編碼模塊05。
報警模塊04用于接收來自后續(xù)分析模塊的通知,接收到來自后續(xù)分析模塊的通知后進行報警。
視頻編碼模塊05用于接收來自后續(xù)分析模塊的圖像,對接收到的圖像通過視頻編碼方法進行編碼,將編碼后的圖像通過IP網(wǎng)絡(luò)發(fā)送至中心控制裝置903。
視頻編碼模塊05可以采用的視頻編碼方法有很多種,例如Mepg4,H.264等編碼方式。
控制模塊用于接收來自視頻編碼模塊05的圖像,根據(jù)接收到的圖像進行視頻監(jiān)控。
以上所述的智能監(jiān)控系統(tǒng)中,檢測模塊可以采用嵌入式芯片實現(xiàn),放在控制模塊的前端。
特殊圖像監(jiān)控模塊首先對攝像頭采集到的夜間圖像序列進行圖像增強,然后在增強后的圖像序列上進行運動目標(biāo)檢測,得到夜間運動目標(biāo)。同時提取夜間圖像序列的光照區(qū)域。最后通過融合夜間感興趣目標(biāo)(夜間運動目標(biāo),夜間圖像序列的光照區(qū)域)和晝間背景圖像,來得到最終結(jié)果圖像。
如圖11所示,基于信息融合的特殊圖像監(jiān)控模塊包括,圖像增強模塊、目標(biāo)檢測模塊、區(qū)域提取模塊、背景分割模塊、融合模塊,具體為:S1:圖像增強模塊對攝像頭采集到的夜間圖像序列進行圖像增強,用于得到對比度較高的圖像序列;S2:目標(biāo)檢測模塊對增強后的圖像序列進行目標(biāo)檢測,用于得到夜間運動目標(biāo);S3:區(qū)域提取模塊提取夜間圖像序列的光照區(qū)域;S4:背景分割模塊對晝間同一場景下的圖像序列進行背景分割,得到清晰的晝間背景圖像;S5:融合模塊將夜間感興趣目標(biāo)即夜間運動目標(biāo)、夜間圖像序列的光照區(qū)域和晝間背景圖像進行圖像融合。
根據(jù)本發(fā)明的實施例,所述圖像增強具體包括:
步驟S11:從攝像頭采集到的夜間圖像序列中提取每一幀圖像;
步驟S12:將每一幀圖像中所有像素的灰度值按照一個灰度變換函數(shù)進行變換,用于得到對比度較高的圖像序列。
根據(jù)本發(fā)明的實施例,所述目標(biāo)檢測具體包括:
步驟S21:對步驟S1中得到的增強后的圖像序列構(gòu)建背景模型;
步驟S22:從增強后的圖像序列中將變化區(qū)域從背景模型中提取出來,用于得到夜間運動目標(biāo);
步驟S23:將得到的夜間運動目標(biāo)進行形態(tài)學(xué)操作和連通域分析,得到分割準(zhǔn)確的夜間運動目標(biāo)。
根據(jù)本發(fā)明的實施例,所述光照區(qū)域的提取包括如下步驟:
將夜間圖像序列進行高斯濾波,對圖像的低通濾波結(jié)果視為光照區(qū)域。
根據(jù)本發(fā)明的實施例,所述背景分割包括如下步驟:
對晝間同一場景下的圖像序列構(gòu)建背景模型,得到清晰的背景圖像。
根據(jù)本發(fā)明的實施例,所述圖像融合包括如下步驟:
步驟S51:根據(jù)夜間運動目標(biāo)信息和夜間光照區(qū)域信息獲得圖像融合的加權(quán)系數(shù);
步驟S52:將夜間感興趣目標(biāo)即夜間運動目標(biāo)、夜間光照區(qū)域和晝間背景圖像進行加權(quán)融合,得到對場景更全面、清晰的描述。
在監(jiān)控中,運動物體是監(jiān)控的重點,目標(biāo)檢測的目的是從圖像序列中將變化區(qū)域從背景圖像中提取出來?;旌细咚鼓P头▽Ρ尘暗淖赃m應(yīng)性高,并對亮度的變化、背景內(nèi)物體的細(xì)微移動、慢速目標(biāo)等具有良好的適應(yīng)性,在本發(fā)明中,采用混合高斯模型方法對增強后的視頻序列進行背景建模。由于夜間視頻序列信噪比低,噪音較強,混合高斯模型方法所得到的前景圖像中包含一些噪音點和空洞。本發(fā)明采用中值濾波來去除噪聲,另外采用形態(tài)學(xué)的腐蝕膨脹操作來去除前景圖像中的空洞,最后通過8連通域分析得到每個運動物體的輪廓分割結(jié)果。
以上所述,僅為本發(fā)明較佳的具體實施方式,但本發(fā)明的保護范圍并不局限于此,任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi),可輕易想到的變化或替換,都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此,本發(fā)明的保護范圍應(yīng)所述以權(quán)利要求的保護范圍為準(zhǔn)。