本發(fā)明涉及視頻圖像處理的技術(shù)領(lǐng)域，特別是涉及一種監(jiān)控視頻選擇性存儲(chǔ)與恢復(fù)的方法及系統(tǒng)。

背景技術(shù)：

監(jiān)控?cái)z像頭在交通管理、安防監(jiān)控等領(lǐng)域有著廣泛的應(yīng)用。隨著攝像技術(shù)的進(jìn)步，攝像頭的分辨率越來(lái)越高，畫面越來(lái)越精細(xì)。因而每個(gè)攝像頭每天所產(chǎn)生的視頻數(shù)據(jù)越來(lái)越大，通常所采用的大容量存儲(chǔ)服務(wù)器只能保存較短時(shí)間的視頻數(shù)據(jù)。而在這些視頻數(shù)據(jù)中，由于視頻中人物、車輛活動(dòng)的分布極不均衡，導(dǎo)致其中存在大量的無(wú)效或次要信息，占用了有限的存儲(chǔ)資源。

為了更高效的利用存儲(chǔ)空間，目前采用以下方式：

(1)采用靜態(tài)圖像來(lái)代替視頻的存儲(chǔ)

該方法能夠減少對(duì)存儲(chǔ)空間的占用，但同時(shí)也丟失了與時(shí)間相關(guān)的豐富的動(dòng)態(tài)信息。

(2)對(duì)視頻進(jìn)行縮放、剪切等處理

然而，縮放同時(shí)減小了視頻中的主要信息和次要信息，造成了主要信息的信息量的減少；剪切則由于視頻中被監(jiān)控物體的活動(dòng)而難以選取剪切范圍，也容易造成主要信息的丟失。

前景檢測(cè)技術(shù)主要用于分離監(jiān)控視頻中“活動(dòng)”的前景與“固定”的背景，可以檢測(cè)視頻中是否存在活動(dòng)的物體，且由于其算法運(yùn)行速度快，可以對(duì)視頻進(jìn)行實(shí)時(shí)處理，方便提取“有效”視頻信息。

目標(biāo)檢測(cè)，也叫目標(biāo)提取，是一種基于目標(biāo)幾何和統(tǒng)計(jì)特征的圖像分割技術(shù)。它將目標(biāo)的分割和識(shí)別合二為一，其準(zhǔn)確性和實(shí)時(shí)性是整個(gè)系統(tǒng)的一項(xiàng)重要能力。尤其是在復(fù)雜場(chǎng)景中，需要對(duì)多個(gè)目標(biāo)進(jìn)行實(shí)時(shí)處理時(shí)，目標(biāo)自動(dòng)提取和識(shí)別就顯得特別重要。

因此，如何基于前景檢測(cè)和目標(biāo)檢測(cè)來(lái)實(shí)現(xiàn)監(jiān)控視頻的選擇性存儲(chǔ)與恢復(fù)將成為一個(gè)極具前景的課題。

技術(shù)實(shí)現(xiàn)要素：

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種監(jiān)控視頻選擇性存儲(chǔ)與恢復(fù)的方法及系統(tǒng)，基于前景檢測(cè)技術(shù)和目標(biāo)檢測(cè)技術(shù)，實(shí)現(xiàn)了監(jiān)控視頻的高效、快速地選擇性存儲(chǔ)，并且能夠?qū)⑻幚砗蟮囊曨l恢復(fù)為原長(zhǎng)視頻。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種監(jiān)控視頻選擇性存儲(chǔ)方法，包括以下步驟：步驟s1、讀取接收到的監(jiān)控視頻中的視頻幀圖像；步驟s2、分離視頻幀圖像中的背景圖像和前景圖像；步驟s3、判斷當(dāng)前前景圖像中前景點(diǎn)數(shù)是否小于預(yù)定閾值；若是，丟棄當(dāng)前幀，轉(zhuǎn)入步驟s7；若否，轉(zhuǎn)入步驟s4；步驟s4、在當(dāng)前前景圖像的每個(gè)運(yùn)動(dòng)物體周圍生成外框，記錄外框數(shù)量和外框位置信息；步驟s5、根據(jù)記錄的外框位置信息判斷當(dāng)前前景圖像是否為噪聲，若是，丟棄當(dāng)前幀，轉(zhuǎn)入步驟s7；若否，轉(zhuǎn)入步驟s6；步驟s6、保存當(dāng)前前景圖像；步驟s7、若當(dāng)前前景圖像的狀態(tài)與前一幀的狀態(tài)不同，則記錄當(dāng)前前景圖像的位置信息，否則不記錄當(dāng)前前景圖像的位置信息；其中，前景圖像的狀態(tài)包括保留和丟棄兩種，第0幀的狀態(tài)默認(rèn)為丟棄；所述位置信息包括當(dāng)前前景圖像在原視頻中的位置和在選擇性存儲(chǔ)處理后視頻中的位置。

根據(jù)上述的監(jiān)控視頻選擇性存儲(chǔ)方法，其中：所述步驟s3中，設(shè)置第一點(diǎn)數(shù)閾值s和第二點(diǎn)數(shù)閾值t，其中s小于t；

當(dāng)前前景圖像的狀態(tài)為保留時(shí)，使用第一點(diǎn)數(shù)閾值s，當(dāng)前景點(diǎn)數(shù)小于s時(shí)，丟棄當(dāng)前幀；

當(dāng)前前景圖像的狀態(tài)為丟棄時(shí)，使用第二點(diǎn)數(shù)閾值t，當(dāng)前景點(diǎn)數(shù)小于t時(shí)，丟棄當(dāng)前幀。

根據(jù)上述的監(jiān)控視頻選擇性存儲(chǔ)方法，其中：所述步驟s3之前還包括：去除當(dāng)前前景圖像中的噪聲。

根據(jù)上述的監(jiān)控視頻選擇性存儲(chǔ)方法，其中：所述步驟s4包括以下步驟：

將當(dāng)前前景圖像分別向水平軸和垂直軸投影；

設(shè)定水平方向閾值和垂直方向閾值；

若在水平方向閾值和垂直方向閾值內(nèi)，當(dāng)前前景圖像的水平軸和垂直軸投影均無(wú)斷點(diǎn)時(shí)，則表明不存在可分割的運(yùn)動(dòng)物體，生成外框并記錄外框數(shù)量和外框位置信息；否則說(shuō)明當(dāng)前前景圖像存在可分割的目標(biāo)，記錄可分割目標(biāo)的坐標(biāo)位置，對(duì)每個(gè)子目標(biāo)繼續(xù)按照上述方法進(jìn)行運(yùn)動(dòng)物體目標(biāo)檢測(cè)。

相應(yīng)地，本發(fā)明還提供一種監(jiān)控視頻恢復(fù)方法，用于恢復(fù)根據(jù)上述任一所述的監(jiān)控視頻選擇性存儲(chǔ)方法所存儲(chǔ)的監(jiān)控視頻，其中，在恢復(fù)監(jiān)控視頻時(shí)，對(duì)于存儲(chǔ)的監(jiān)控視頻，查詢當(dāng)前幀的位置信息，若當(dāng)前幀的狀態(tài)從丟棄變?yōu)楸Ａ簦瑒t按正常速度播放當(dāng)前視頻幀；否則，重復(fù)播放當(dāng)前幀，直到播放的視頻幀的狀態(tài)再次變?yōu)楸Ａ簦?/p>

其中，奇數(shù)條位置信息表示當(dāng)前幀的狀態(tài)從丟棄變?yōu)楸Ａ?，偶?shù)條位置信息表示當(dāng)前幀的狀態(tài)從保留轉(zhuǎn)變?yōu)閬G棄。

另外，本發(fā)明還提供一種監(jiān)控視頻選擇性存儲(chǔ)系統(tǒng)，包括讀取模塊、分離模塊、第一判 斷模塊、記錄模塊、第二判斷模塊、保存模塊和處理模塊；

所述讀取模塊用于讀取接收到的監(jiān)控視頻中的視頻幀圖像；

所述分離模塊用于分離視頻幀圖像中的背景圖像和前景圖像；

所述第一判斷模塊用于判斷當(dāng)前前景圖像中前景點(diǎn)數(shù)是否小于預(yù)定閾值，并在小于預(yù)定閾值時(shí)，丟棄當(dāng)前幀；

所述記錄模塊用于在當(dāng)前前景圖像中前景點(diǎn)數(shù)不小于預(yù)定閾值時(shí)，在當(dāng)前前景圖像的每個(gè)運(yùn)動(dòng)物體周圍生成外框，記錄外框數(shù)量和外框位置信息；

所述第二判斷模塊用于根據(jù)記錄的外框位置信息判斷當(dāng)前前景圖像是否為噪聲，并在當(dāng)前前景圖像為噪聲時(shí)，丟棄當(dāng)前幀；

所述保存模塊用于在當(dāng)前前景圖像不為噪聲時(shí)，保存當(dāng)前前景圖像；

所述處理模塊用于在當(dāng)前前景圖像中前景點(diǎn)數(shù)小于預(yù)定閾值或當(dāng)前前景圖像為噪聲時(shí)，當(dāng)當(dāng)前前景圖像的狀態(tài)與前一幀的狀態(tài)不同時(shí)，記錄當(dāng)前前景圖像的位置信息，否則不記錄當(dāng)前前景圖像的位置信息；

其中，前景圖像的狀態(tài)包括保留和丟棄兩種，第0幀的狀態(tài)默認(rèn)為丟棄；所述位置信息包括當(dāng)前前景圖像在原視頻中的位置和在選擇性存儲(chǔ)處理后視頻中的位置。

根據(jù)上述的監(jiān)控視頻選擇性存儲(chǔ)系統(tǒng)，其中：所述第一判斷模塊中，設(shè)置第一點(diǎn)數(shù)閾值s和第二點(diǎn)數(shù)閾值t，其中s小于t；

當(dāng)前前景圖像的狀態(tài)為保留時(shí)，使用第一點(diǎn)數(shù)閾值s，當(dāng)前景點(diǎn)數(shù)小于s時(shí)，丟棄當(dāng)前幀；

當(dāng)前前景圖像的狀態(tài)為丟棄時(shí)，使用第二點(diǎn)數(shù)閾值t，當(dāng)前景點(diǎn)數(shù)小于t時(shí)，丟棄當(dāng)前幀。

根據(jù)上述的監(jiān)控視頻選擇性存儲(chǔ)系統(tǒng)，其中：所述第一判斷模塊之前還包括去噪模塊，所述去噪模塊用于去除當(dāng)前前景圖像中的噪聲。

根據(jù)上述的監(jiān)控視頻選擇性存儲(chǔ)系統(tǒng)，其中：所述記錄模塊采用以下步驟在當(dāng)前前景圖像的每個(gè)運(yùn)動(dòng)物體周圍生成外框，記錄外框數(shù)量和外框位置信息：

將當(dāng)前前景圖像分別向水平軸和垂直軸投影；

設(shè)定水平方向閾值和垂直方向閾值；

若在水平方向閾值和垂直方向閾值內(nèi)，當(dāng)前前景圖像的水平軸和垂直軸投影均無(wú)斷點(diǎn)時(shí)，則表明不存在可分割的運(yùn)動(dòng)物體，生成外框并記錄外框數(shù)量和外框位置信息；否則說(shuō)明當(dāng)前前景圖像存在可分割的目標(biāo)，記錄可分割目標(biāo)的坐標(biāo)位置，對(duì)每個(gè)子目標(biāo)繼續(xù)按照上述方法進(jìn)行運(yùn)動(dòng)物體目標(biāo)檢測(cè)。

相應(yīng)地，本發(fā)明還提供一種監(jiān)控視頻恢復(fù)系統(tǒng)，用于恢復(fù)根據(jù)上述任一所述的監(jiān)控視頻 選擇性存儲(chǔ)系統(tǒng)所述存儲(chǔ)的監(jiān)控視頻，其中：包括恢復(fù)模塊，所述恢復(fù)模塊用于在恢復(fù)監(jiān)控視頻時(shí)，對(duì)于存儲(chǔ)的監(jiān)控視頻，查詢當(dāng)前幀的位置信息，若當(dāng)前幀的狀態(tài)從丟棄變?yōu)楸Ａ?，則按正常速度播放當(dāng)前視頻幀；否則，重復(fù)播放當(dāng)前幀，直到播放的視頻幀的狀態(tài)再次變?yōu)楸Ａ簦?/p>

其中，奇數(shù)條位置信息表示當(dāng)前幀的狀態(tài)從丟棄變?yōu)楸Ａ?，偶?shù)條位置信息表示當(dāng)前幀的狀態(tài)從保留轉(zhuǎn)變?yōu)閬G棄。

如上所述，本發(fā)明的監(jiān)控視頻選擇性存儲(chǔ)與恢復(fù)的方法及系統(tǒng)，具有以下有益效果：

(1)不依賴于具體的前景檢測(cè)方式，具有較強(qiáng)的兼容性；

(2)能夠保持原視頻的分辨率，只刪除對(duì)用于視頻監(jiān)控?zé)o用的視頻片段，在最大程度上保留了監(jiān)控視頻中主要信息；

(3)在監(jiān)控視頻選擇性存儲(chǔ)的同時(shí)，提供監(jiān)控視頻中活動(dòng)物體的初步目標(biāo)檢測(cè)，從而為后續(xù)的高級(jí)視頻分析提供必要的幫助，提高了視頻分析的效率。

附圖說(shuō)明

圖1顯示為本發(fā)明的監(jiān)控視頻選擇性存儲(chǔ)方法的流程圖；

圖2顯示為本發(fā)明的監(jiān)控視頻選擇性存儲(chǔ)系統(tǒng)的結(jié)構(gòu)示意圖。

元件標(biāo)號(hào)說(shuō)明

1讀取模塊

2分離模塊

3第一判斷模塊

4記錄模塊

5第二判斷模塊

6保存模塊

7處理模塊

具體實(shí)施方式

以下通過特定的具體實(shí)例說(shuō)明本發(fā)明的實(shí)施方式，本領(lǐng)域技術(shù)人員可由本說(shuō)明書所揭露的內(nèi)容輕易地了解本發(fā)明的其他優(yōu)點(diǎn)與功效。本發(fā)明還可以通過另外不同的具體實(shí)施方式加以實(shí)施或應(yīng)用，本說(shuō)明書中的各項(xiàng)細(xì)節(jié)也可以基于不同觀點(diǎn)與應(yīng)用，在沒有背離本發(fā)明的精神下進(jìn)行各種修飾或改變。需說(shuō)明的是，在不沖突的情況下，以下實(shí)施例及實(shí)施例中的特征 可以相互組合。

需要說(shuō)明的是，以下實(shí)施例中所提供的圖示僅以示意方式說(shuō)明本發(fā)明的基本構(gòu)想，遂圖式中僅顯示與本發(fā)明中有關(guān)的組件而非按照實(shí)際實(shí)施時(shí)的組件數(shù)目、形狀及尺寸繪制，其實(shí)際實(shí)施時(shí)各組件的型態(tài)、數(shù)量及比例可為一種隨意的改變，且其組件布局型態(tài)也可能更為復(fù)雜。

監(jiān)控視頻選擇性存儲(chǔ)是指在不減少監(jiān)控視頻中主要信息的前提下，對(duì)原始的監(jiān)控視頻進(jìn)行選擇性存儲(chǔ)，以減少其存儲(chǔ)空間。

監(jiān)控視頻恢復(fù)是指根據(jù)監(jiān)控視頻選擇性存儲(chǔ)時(shí)保存的視頻以及視頻幀的位置信息，恢復(fù)出與原始視頻時(shí)間長(zhǎng)度相同的視頻。

本發(fā)明的監(jiān)控視頻選擇性存儲(chǔ)方法中，首先對(duì)監(jiān)控視頻幀進(jìn)行預(yù)處理，應(yīng)用前景檢測(cè)算法檢測(cè)監(jiān)控視頻中背景和前景；當(dāng)前景信息滿足一定條件時(shí)，進(jìn)行前景目標(biāo)檢測(cè)，否則丟棄該視頻幀；然后通過目標(biāo)檢測(cè)將前景分割為一個(gè)或多個(gè)目標(biāo)，當(dāng)目標(biāo)信息滿足一定條件時(shí)，保存該視頻幀，否則丟棄該視頻幀；最后通過比較當(dāng)前幀與前一幀的狀態(tài)信息，決定是否保存當(dāng)前幀的位置信息，該位置信息將用于后續(xù)的視頻恢復(fù)。其中，是否對(duì)前景進(jìn)行目標(biāo)檢測(cè)，依賴于前景點(diǎn)數(shù)與一個(gè)固定閾值和一個(gè)動(dòng)態(tài)閾值的比較結(jié)果；該動(dòng)態(tài)閾值在目標(biāo)檢測(cè)階段進(jìn)行動(dòng)態(tài)調(diào)整。

參照?qǐng)D1，本發(fā)明的監(jiān)控視頻選擇性存儲(chǔ)方法包括以下步驟：

步驟s1、讀取接收到的監(jiān)控視頻中的視頻幀圖像。

其中，接收到的監(jiān)控視頻包括采用主流編碼得到的視頻文件和來(lái)源于攝像頭的實(shí)時(shí)監(jiān)控視頻數(shù)據(jù)。

優(yōu)選地，步驟s1還包括將讀取的監(jiān)控視頻中的視頻幀圖像調(diào)整為預(yù)設(shè)圖像分辨率。

具體地，按輸入順序從監(jiān)控視頻中讀取視頻幀圖像，并將視頻幀圖像的分辨率調(diào)整為預(yù)設(shè)圖像分辨率。其中，調(diào)整圖像分辨率是為了在后續(xù)的前景檢測(cè)時(shí)提高處理速度，減少搜索的次數(shù)。分辨率的定義比較靈活，一般按視頻等比例縮小即可，如從1920*1080調(diào)整到640*360。

步驟s2、分離視頻幀圖像中的背景圖像和前景圖像。

具體地，利用前景檢測(cè)算法分離視頻幀圖像中的背景和前景。對(duì)于本領(lǐng)域技術(shù)人員而言，前景檢測(cè)算法已經(jīng)相當(dāng)成熟。本發(fā)明可從多種公開的前景檢測(cè)算法中選擇，不同的算法對(duì)后續(xù)的處理流程不構(gòu)成影響。優(yōu)選地，可以采用vibe算法或gmm(gaussianmixturemodel，高斯混合模型)算法。

步驟s3、判斷當(dāng)前前景圖像中前景點(diǎn)數(shù)是否小于預(yù)定閾值；若是，丟棄當(dāng)前幀，轉(zhuǎn)入步驟s7；若否，轉(zhuǎn)入步驟s4。

具體地，前景檢測(cè)算法會(huì)輸出一個(gè)二值圖像，其中背景點(diǎn)的值為0，前景點(diǎn)的值為1，把該圖像中所有前景點(diǎn)的值相加即為前景點(diǎn)數(shù)。

在本發(fā)明的一個(gè)優(yōu)選實(shí)施例中，步驟s3包括以下內(nèi)容：

31)設(shè)置第一點(diǎn)數(shù)閾值s和第二點(diǎn)數(shù)閾值t，其中s小于t。

32)當(dāng)前前景圖像的狀態(tài)為保留時(shí)，使用第一點(diǎn)數(shù)閾值s，當(dāng)前景點(diǎn)數(shù)小于s時(shí)，丟棄當(dāng)前幀；否則進(jìn)入一下步驟。

33)當(dāng)前前景圖像的狀態(tài)為丟棄時(shí)，使用第二點(diǎn)數(shù)閾值t，當(dāng)前景點(diǎn)數(shù)小于t時(shí)，丟棄當(dāng)前幀；否則進(jìn)入下一步驟。

通過設(shè)置兩個(gè)不同的點(diǎn)數(shù)閾值可以保證視頻中前景的平滑過渡，并且可減輕視頻中突發(fā)噪聲的干擾。其中，第一點(diǎn)數(shù)閾值s為固定閾值，第二點(diǎn)數(shù)閾值t為可變閾值。t的值可根據(jù)所檢測(cè)目標(biāo)的情況在檢測(cè)過程中進(jìn)行動(dòng)態(tài)調(diào)整。在一個(gè)優(yōu)選實(shí)施例中，t的調(diào)整方法為：若當(dāng)前幀前景圖像僅檢測(cè)到一個(gè)運(yùn)動(dòng)物體，若前景點(diǎn)數(shù)目大于s且小于t的原始值，則t變?yōu)閠-1；若當(dāng)前幀前景圖像檢測(cè)到多個(gè)運(yùn)動(dòng)物體，其平均前景點(diǎn)數(shù)大于2s/3，則t變?yōu)閠+1。該方法能夠進(jìn)一步提高視頻選擇性存儲(chǔ)的準(zhǔn)確度。

優(yōu)選地，步驟s3之前還包括：去除當(dāng)前前景圖像中的噪聲。

具體地，利用圖像模糊算法對(duì)前景圖像進(jìn)行模糊操作，以去除因背景環(huán)境波動(dòng)導(dǎo)致的前景圖像中出現(xiàn)的顯著離散點(diǎn)，從而提高監(jiān)控視頻選擇性存儲(chǔ)的準(zhǔn)確性。

步驟s4、在當(dāng)前前景圖像的每個(gè)運(yùn)動(dòng)物體周圍生成外框，記錄外框數(shù)量和外框位置信息。

當(dāng)前景圖像中存在多個(gè)可分離的運(yùn)動(dòng)物體時(shí)，將生成對(duì)應(yīng)數(shù)量的外框。優(yōu)選地，外框可以采用矩形外框。外框位置信息可以采用外框左上角和右下角的坐標(biāo)來(lái)表示。

具體地，步驟s4包括以下步驟：

41)將當(dāng)前前景圖像分別向水平軸(x軸)和垂直軸(y軸)投影。

其中，以向x軸投影為例，若當(dāng)前前景圖像中，與投影點(diǎn)有相同x坐標(biāo)的點(diǎn)中有任一點(diǎn)為前景點(diǎn)，則投影點(diǎn)為前景點(diǎn)，否則為背景點(diǎn)。

42)設(shè)定水平方向閾值和垂直方向閾值；

43)若在水平方向閾值和垂直方向閾值內(nèi)，當(dāng)前前景圖像的水平軸和垂直軸投影均無(wú)斷點(diǎn)時(shí)，則表明不存在可分割的運(yùn)動(dòng)物體，生成外框并記錄外框數(shù)量和外框位置信息；否則說(shuō)明當(dāng)前前景圖像存在可分割的目標(biāo)，記錄可分割目標(biāo)的坐標(biāo)位置，對(duì)每個(gè)子目標(biāo)繼續(xù)按照上 述方法進(jìn)行運(yùn)動(dòng)物體目標(biāo)檢測(cè)。

由于前景檢測(cè)算法自身的局限，可能存在因物體其中一部分與背景顏色差異較小而導(dǎo)致輸出的物體前景點(diǎn)不連續(xù)的情況，從而導(dǎo)致其投影不連續(xù)。設(shè)定水平方向閾值和垂直方向閾值的目的是減少該情況發(fā)生的概率。以x軸方向?yàn)槔?，設(shè)水平方向閾值為t，橫坐標(biāo)為x0的投影點(diǎn)只有當(dāng)包括其自身在內(nèi)左右t個(gè)投影點(diǎn)有任意一點(diǎn)為前景點(diǎn)時(shí)，將該點(diǎn)判斷為前景點(diǎn)。當(dāng)x軸和y軸投影均無(wú)斷點(diǎn)時(shí)，該層遞歸結(jié)束，否則說(shuō)明前景圖像存在可分割的目標(biāo)，記錄可分割目標(biāo)的坐標(biāo)位置，對(duì)每個(gè)子目標(biāo)繼續(xù)進(jìn)行遞歸分割。

步驟s5、根據(jù)記錄的外框位置信息判斷當(dāng)前前景圖像為噪聲，若是，丟棄當(dāng)前幀，轉(zhuǎn)入步驟s7；若否，轉(zhuǎn)入步驟s6。

具體地，根據(jù)步驟s4生成的外框位置信息，對(duì)因攝像頭輕微晃動(dòng)、物體輕微擺動(dòng)、陰影瞬時(shí)變化造成的噪聲予以去除。判斷的條件可視場(chǎng)景的改變而變化或組合，可采取的判定值包括但不限于外框的平均面積、外框的最大面積、外框內(nèi)平均前景點(diǎn)數(shù)目等。將需要進(jìn)行判定的值與預(yù)定閾值進(jìn)行比較，來(lái)決定是否將當(dāng)前圖像的前景判定為噪聲。若同時(shí)采用多項(xiàng)判斷條件，則可采用公平投票或?yàn)槊宽?xiàng)判斷條件分配權(quán)重的方式來(lái)決定。

優(yōu)選地，若前景圖像中外框的平均面積小于預(yù)定閾值時(shí)，則判斷當(dāng)前前景圖像是否為噪聲，丟棄該幀，否則保存該幀。

步驟s6、保存當(dāng)前前景圖像。

通過對(duì)存在運(yùn)動(dòng)物體的前景圖像進(jìn)行保存，能夠方便后期觀看、定位和查詢等操作。保存前景圖像信息時(shí)，必須存儲(chǔ)當(dāng)前前景圖像幀以及其對(duì)應(yīng)的狀態(tài)；還可選地存儲(chǔ)運(yùn)動(dòng)物體外框的坐標(biāo)信息和外框的數(shù)目。

步驟s7、若當(dāng)前前景圖像的狀態(tài)與前一幀的狀態(tài)不同，則記錄當(dāng)前前景圖像的位置信息，否則不記錄當(dāng)前前景圖像的位置信息。

其中，將前景圖像幀的狀態(tài)包括保留和丟棄兩種，第0幀的狀態(tài)默認(rèn)為丟棄。若當(dāng)前前景圖像幀與前一幀狀態(tài)不一致時(shí)，將當(dāng)前前景圖像的位置信息保存到文件中，該位置信息包括當(dāng)前前景圖像在原視頻中的位置和在選擇性存儲(chǔ)處理后視頻中的位置。若當(dāng)前前景圖像幀與前一幀狀態(tài)一致時(shí)，則無(wú)需記錄當(dāng)前前景圖像的位置信息。

本發(fā)明的監(jiān)控視頻選擇性存儲(chǔ)方法適用于以下兩種場(chǎng)景：

1)輸入為實(shí)時(shí)視頻流的場(chǎng)景；

2)輸入為視頻文件的場(chǎng)景。

本發(fā)明的監(jiān)控視頻選擇性存儲(chǔ)方法在以上兩種場(chǎng)景中的處理流程基本相同，不同之處在 于當(dāng)輸入為視頻文件時(shí)，視頻處理速度可自動(dòng)進(jìn)行調(diào)整以減少運(yùn)行時(shí)間。調(diào)整視頻處理速度時(shí)，設(shè)置兩個(gè)閾值a、b。當(dāng)檢測(cè)到前景存在時(shí)，每間隔a幀進(jìn)行一次前景檢測(cè)及后續(xù)步驟，當(dāng)無(wú)前景存在時(shí)，間隔的幀數(shù)從a緩慢增加到b，如采用線性函數(shù)將間隔的幀數(shù)從a遞增到b。

監(jiān)控視頻恢復(fù)是將處理后的視頻恢復(fù)為長(zhǎng)度與選擇性存儲(chǔ)前監(jiān)控視頻相同的視頻，從而實(shí)現(xiàn)選擇性存儲(chǔ)后視頻的恢復(fù)播放。監(jiān)控視頻恢復(fù)依賴以下兩種輸入：

1)選擇性存儲(chǔ)后的視頻文件；

2)在視頻選擇性存儲(chǔ)過程中保存的記錄幀對(duì)應(yīng)關(guān)系的文件。

在本發(fā)明的監(jiān)控視頻恢復(fù)方法中，針對(duì)第2)種輸入，若該文件保存的內(nèi)容中前一幀狀態(tài)與當(dāng)前幀狀態(tài)不一致時(shí)，保存當(dāng)前幀的位置信息和其在選擇性存儲(chǔ)后視頻中的位置信息。由上述記錄次序可知，奇數(shù)條信息表示幀的狀態(tài)從“丟棄”轉(zhuǎn)變?yōu)椤氨Ａ簟?，偶?shù)條信息表示幀的狀態(tài)從“保留”轉(zhuǎn)變?yōu)椤皝G棄”；且每條信息記錄了處理后視頻的該幀位置和其對(duì)應(yīng)原視頻幀的位置。在恢復(fù)播放時(shí)，查詢?cè)撐恢眯畔⒂涗?，若幀狀態(tài)從“丟棄”向“保留”變化，則從選擇性存儲(chǔ)視頻的當(dāng)前幀按正常速度播放，否則，重復(fù)播放當(dāng)前幀，直到播放的視頻幀狀態(tài)再次變?yōu)椤氨Ａ簟薄?/p>

參照?qǐng)D2，本發(fā)明的監(jiān)控視頻選擇性存儲(chǔ)系統(tǒng)包括讀取模塊1、分離模塊2、第一判斷模塊3、記錄模塊4、第二判斷模塊5、保存模塊6和處理模塊7。

讀取模塊1用于讀取接收到的監(jiān)控視頻中的視頻幀圖像。

其中，接收到的監(jiān)控視頻包括采用主流編碼得到的視頻文件和來(lái)源于攝像頭的實(shí)時(shí)監(jiān)控視頻數(shù)據(jù)。

優(yōu)選地，讀取模塊1還用于將讀取的監(jiān)控視頻中的視頻幀圖像調(diào)整為預(yù)設(shè)圖像分辨率。

具體地，讀取模塊1按輸入順序從監(jiān)控視頻中讀取視頻幀圖像，并將視頻幀圖像的分辨率調(diào)整為預(yù)設(shè)圖像分辨率。其中，調(diào)整圖像分辨率是為了在后續(xù)的前景檢測(cè)時(shí)提高處理速度，減少搜索的次數(shù)。分辨率的定義比較靈活，一般按視頻等比例縮小即可，如從1920*1080調(diào)整到640*360。

分離模塊2與讀取模塊1相連，用于分離視頻幀圖像中的背景圖像和前景圖像。

具體地，利用前景檢測(cè)算法分離視頻幀圖像中的背景和前景。對(duì)于本領(lǐng)域技術(shù)人員而言，前景檢測(cè)算法已經(jīng)相當(dāng)成熟。本發(fā)明可從多種公開的前景檢測(cè)算法中選擇，不同的算法對(duì)后續(xù)的處理流程不構(gòu)成影響。優(yōu)選地，可以采用vibe算法或gmm(gaussianmixturemodel，高斯混合模型)算法。

第一判斷模塊3與分離模塊2相連，用于判斷當(dāng)前前景圖像中前景點(diǎn)數(shù)是否小于預(yù)定閾 值，并在小于預(yù)定閾值時(shí)，丟棄當(dāng)前幀。

具體地，前景檢測(cè)算法會(huì)輸出一個(gè)二值圖像，其中背景點(diǎn)的值為0，前景點(diǎn)的值為1，把該圖像中所有前景點(diǎn)的值相加即為前景點(diǎn)數(shù)。

在本發(fā)明的一個(gè)優(yōu)選實(shí)施例中，第一判斷模塊3通過以下步驟判斷當(dāng)前前景圖像中前景點(diǎn)數(shù)是否小于預(yù)定閾值：

31)設(shè)置第一點(diǎn)數(shù)閾值s和第二點(diǎn)數(shù)閾值t，其中s小于t。

32)當(dāng)前前景圖像的狀態(tài)為保留時(shí)，使用第一點(diǎn)數(shù)閾值s，當(dāng)前景點(diǎn)數(shù)小于s時(shí)，丟棄當(dāng)前幀。

33)當(dāng)前前景圖像的狀態(tài)為丟棄時(shí)，使用第二點(diǎn)數(shù)閾值t，當(dāng)前景點(diǎn)數(shù)小于t時(shí)，丟棄當(dāng)前幀。

通過設(shè)置兩個(gè)不同的點(diǎn)數(shù)閾值可以保證視頻中前景的平滑過渡，并且可減輕視頻中突發(fā)噪聲的干擾。其中，第一點(diǎn)數(shù)閾值s為固定閾值，第二點(diǎn)數(shù)閾值t為可變閾值。t的值可根據(jù)所檢測(cè)目標(biāo)的情況在檢測(cè)過程中進(jìn)行動(dòng)態(tài)調(diào)整。在一個(gè)優(yōu)選實(shí)施例中，t的調(diào)整方法為：若當(dāng)前幀前景圖像僅檢測(cè)到一個(gè)運(yùn)動(dòng)物體，若前景點(diǎn)數(shù)目大于s且小于t的原始值，則t變?yōu)閠-1；若當(dāng)前幀前景圖像檢測(cè)到多個(gè)運(yùn)動(dòng)物體，其平均前景點(diǎn)數(shù)大于2s/3，則t變?yōu)閠+1。該方法能夠進(jìn)一步提高視頻選擇性存儲(chǔ)的準(zhǔn)確度。

優(yōu)選地，第一判斷模塊3之前還包括去噪模塊，該去噪模塊用于去除當(dāng)前前景圖像中的噪聲。

具體地，去噪模塊利用圖像模糊算法對(duì)前景圖像進(jìn)行模糊操作，以去除因背景環(huán)境波動(dòng)導(dǎo)致的前景圖像中出現(xiàn)的顯著離散點(diǎn)，從而提高監(jiān)控視頻選擇性存儲(chǔ)的準(zhǔn)確性。

記錄模塊4與第一判斷模塊3相連，用于在當(dāng)前前景圖像中前景點(diǎn)數(shù)不小于預(yù)定閾值時(shí)，在當(dāng)前前景圖像的每個(gè)運(yùn)動(dòng)物體周圍生成外框，記錄外框數(shù)量和外框位置信息。

當(dāng)前景圖像中存在多個(gè)可分離的運(yùn)動(dòng)物體時(shí)，將生成對(duì)應(yīng)數(shù)量的外框。優(yōu)選地，外框可以采用矩形外框。外框位置信息可以采用外框左上角和右下角的坐標(biāo)來(lái)表示。

具體地，記錄模塊4執(zhí)行以下操作：

41)將當(dāng)前前景圖像分別向水平軸(x軸)和垂直軸(y軸)投影。

其中，以向x軸投影為例，若當(dāng)前前景圖像中，與投影點(diǎn)有相同x坐標(biāo)的點(diǎn)中有任一點(diǎn)為前景點(diǎn)，則投影點(diǎn)為前景點(diǎn)，否則為背景點(diǎn)。

42)設(shè)定水平方向閾值和垂直方向閾值；

43)若在水平方向閾值和垂直方向閾值內(nèi)，當(dāng)前前景圖像的水平軸和垂直軸投影均無(wú)斷 點(diǎn)時(shí)，則表明不存在可分割的運(yùn)動(dòng)物體，生成外框并記錄外框數(shù)量和外框位置信息；否則說(shuō)明當(dāng)前前景圖像存在可分割的目標(biāo)，記錄可分割目標(biāo)的坐標(biāo)位置，對(duì)每個(gè)子目標(biāo)繼續(xù)按照上述方法進(jìn)行運(yùn)動(dòng)物體目標(biāo)檢測(cè)。

由于前景檢測(cè)算法自身的局限，可能存在因物體其中一部分與背景顏色差異較小而導(dǎo)致輸出的物體前景點(diǎn)不連續(xù)的情況，從而導(dǎo)致其投影不連續(xù)。設(shè)定水平方向閾值和垂直方向閾值的目的是減少該情況發(fā)生的概率。以x軸方向?yàn)槔O(shè)水平方向閾值為t，橫坐標(biāo)為x0的投影點(diǎn)只有當(dāng)包括其自身在內(nèi)左右t個(gè)投影點(diǎn)有任意一點(diǎn)為前景點(diǎn)時(shí)，將該點(diǎn)判斷為前景點(diǎn)。當(dāng)x軸和y軸投影均無(wú)斷點(diǎn)時(shí)，該層遞歸結(jié)束，否則說(shuō)明前景圖像存在可分割的目標(biāo)，記錄可分割目標(biāo)的坐標(biāo)位置，對(duì)每個(gè)子目標(biāo)繼續(xù)進(jìn)行遞歸分割。

第二判斷模塊5與記錄模塊4相連，用于根據(jù)記錄的外框位置信息判斷當(dāng)前前景圖像是否為噪聲，并在當(dāng)前前景圖像為噪聲時(shí)，丟棄當(dāng)前幀。

具體地，根據(jù)記錄模塊4生成的外框位置信息，對(duì)因攝像頭輕微晃動(dòng)、物體輕微擺動(dòng)、陰影瞬時(shí)變化造成的噪聲予以去除。判斷的條件可視場(chǎng)景的改變而變化或組合，可采取的判定值包括但不限于外框的平均面積、外框的最大面積、外框內(nèi)平均前景點(diǎn)數(shù)目等。將需要進(jìn)行判定的值與預(yù)定閾值進(jìn)行比較，來(lái)決定是否將當(dāng)前圖像的前景判定為噪聲。若同時(shí)采用多項(xiàng)判斷條件，則可采用公平投票或?yàn)槊宽?xiàng)判斷條件分配權(quán)重的方式來(lái)決定。

優(yōu)選地，若前景圖像中外框的平均面積小于預(yù)定閾值時(shí)，則判斷當(dāng)前前景圖像為噪聲，丟棄該幀，否則保存該幀。

保存模塊6與第二判斷模塊5相連，用于在當(dāng)前前景圖像不為噪聲時(shí)，保存當(dāng)前前景圖像。

通過對(duì)存在運(yùn)動(dòng)物體的前景圖像進(jìn)行保存，能夠方便后期觀看、定位和查詢等操作。保存前景圖像信息時(shí)，必須存儲(chǔ)當(dāng)前前景圖像幀以及其對(duì)應(yīng)的狀態(tài)；還可選地存儲(chǔ)運(yùn)動(dòng)物體外框的坐標(biāo)信息和外框的數(shù)目。

處理模塊7與第一判斷模塊3、第二判斷模塊5和保存模塊6相連，用于在當(dāng)前前景圖像中前景點(diǎn)數(shù)小于預(yù)定閾值或當(dāng)前前景圖像為噪聲時(shí)，當(dāng)當(dāng)前前景圖像的狀態(tài)與前一幀的狀態(tài)不同時(shí)，記錄當(dāng)前前景圖像的位置信息，否則不記錄當(dāng)前前景圖像的位置信息。

其中，將前景圖像幀的狀態(tài)包括保留和丟棄兩種，第0幀的狀態(tài)默認(rèn)為丟棄。若當(dāng)前前景圖像幀與前一幀狀態(tài)不一致時(shí)，將當(dāng)前前景圖像的位置信息保存到文件中，該位置信息包括當(dāng)前前景圖像在原視頻中的位置和在選擇性存儲(chǔ)處理后視頻中的位置。若當(dāng)前前景圖像幀與前一幀狀態(tài)一致時(shí)，則無(wú)需記錄當(dāng)前前景圖像的位置信息。

本發(fā)明的監(jiān)控視頻選擇性存儲(chǔ)系統(tǒng)適用于以下兩種場(chǎng)景：

1)輸入為實(shí)時(shí)視頻流的場(chǎng)景；

2)輸入為視頻文件的場(chǎng)景。

本發(fā)明的監(jiān)控視頻選擇性存儲(chǔ)系統(tǒng)在以上兩種場(chǎng)景中的處理流程基本相同，不同之處在于當(dāng)輸入為視頻文件時(shí)，視頻處理速度可自動(dòng)進(jìn)行調(diào)整以減少運(yùn)行時(shí)間。調(diào)整視頻處理速度時(shí)，設(shè)置兩個(gè)閾值a、b。當(dāng)檢測(cè)到前景存在時(shí)，每間隔a幀進(jìn)行一次前景檢測(cè)及后續(xù)步驟，當(dāng)無(wú)前景存在時(shí)，間隔的幀數(shù)從a緩慢增加到b，如采用線性函數(shù)將間隔的幀數(shù)從a遞增到b。

監(jiān)控視頻恢復(fù)是將處理后的視頻恢復(fù)為長(zhǎng)度與選擇性存儲(chǔ)前監(jiān)控視頻相同的視頻，從而實(shí)現(xiàn)選擇性存儲(chǔ)后視頻的恢復(fù)播放。監(jiān)控視頻恢復(fù)依賴以下兩種輸入：

1)選擇性存儲(chǔ)后的視頻文件；

2)在視頻選擇性存儲(chǔ)過程中保存的記錄幀對(duì)應(yīng)關(guān)系的文件。

在本發(fā)明的監(jiān)控視頻恢復(fù)系統(tǒng)中，包括恢復(fù)模塊。該恢復(fù)模塊針對(duì)第2)種輸入，若該文件保存的內(nèi)容中前一幀狀態(tài)與當(dāng)前幀狀態(tài)不一致時(shí)，保存當(dāng)前幀的位置信息和其在選擇性存儲(chǔ)后視頻中的位置信息。由上述記錄次序可知，奇數(shù)條信息表示幀的狀態(tài)從“丟棄”轉(zhuǎn)變?yōu)椤氨Ａ簟?，偶?shù)條信息表示幀的狀態(tài)從“保留”轉(zhuǎn)變?yōu)椤皝G棄”；且每條信息記錄了處理后視頻的該幀位置和其對(duì)應(yīng)原視頻幀的位置。在恢復(fù)播放時(shí)，查詢?cè)撐恢眯畔⒂涗?，若幀狀態(tài)從“丟棄”向“保留”變化，則從選擇性存儲(chǔ)視頻的當(dāng)前幀按正常速度播放，否則，重復(fù)播放當(dāng)前幀，直到播放的視頻幀狀態(tài)再次變?yōu)楸Ａ簟薄?/p>

綜上所述，本發(fā)明的監(jiān)控視頻選擇性存儲(chǔ)與恢復(fù)的方法及系統(tǒng)不依賴于具體的前景檢測(cè)方式，具有較強(qiáng)的兼容性；能夠保持原視頻的分辨率，只刪除對(duì)用于視頻監(jiān)控?zé)o用的視頻片段，在最大程度上保留了監(jiān)控視頻中主要信息；在監(jiān)控視頻選擇性存儲(chǔ)的同時(shí)，提供監(jiān)控視頻中活動(dòng)物體的初步目標(biāo)檢測(cè)，從而為后續(xù)的高級(jí)視頻分析提供必要的幫助，提高了視頻分析的效率。所以，本發(fā)明有效克服了現(xiàn)有技術(shù)中的種種缺點(diǎn)而具高度產(chǎn)業(yè)利用價(jià)值。

上述實(shí)施例僅例示性說(shuō)明本發(fā)明的原理及其功效，而非用于限制本發(fā)明。任何熟悉此技術(shù)的人士皆可在不違背本發(fā)明的精神及范疇下，對(duì)上述實(shí)施例進(jìn)行修飾或改變。因此，舉凡所屬技術(shù)領(lǐng)域中具有通常知識(shí)者在未脫離本發(fā)明所揭示的精神與技術(shù)思想下所完成的一切等效修飾或改變，仍應(yīng)由本發(fā)明的權(quán)利要求所涵蓋。