專利名稱：一種運(yùn)動(dòng)目標(biāo)檢測(cè)方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，特別涉及一種運(yùn)動(dòng)目標(biāo)檢測(cè)方法及裝置。
背景技術(shù)：
運(yùn)動(dòng)目標(biāo)檢測(cè)算法是視頻智能分析中最基礎(chǔ)最重要的部分，主要是指通過(guò)定義相應(yīng)數(shù)學(xué)模型及分割算法，將視頻幀序列中持續(xù)運(yùn)動(dòng)目標(biāo)自動(dòng)從背景中檢測(cè)出來(lái)的一種技術(shù)。在進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)時(shí)，需要對(duì)圖像內(nèi)容進(jìn)行理解，主要途徑為提取圖像的結(jié)構(gòu)特征和紋理特征，并用結(jié)構(gòu)特征和紋理特征來(lái)表征圖像。利用結(jié)構(gòu)特征的方法主要是提取圖像的基本輪廓和結(jié)構(gòu)信息，常用的方法有Gabor濾波器、初始簡(jiǎn)圖(Primal Sketch)濾波器等。通過(guò)設(shè)置不同方向、不同大小、不同形狀的濾波器去盡可能完整地描述圖像的整體結(jié)構(gòu)。利用紋理特征的方法主要是提取圖像的具有一定規(guī)律變化的紋理區(qū)域，常用的方法是利用顏色直方圖、局部二進(jìn)制模式(LBP)特征、梯度方向直方圖(HOG)等統(tǒng)計(jì)信息來(lái)進(jìn)行描述。現(xiàn)有技術(shù)的一種運(yùn)動(dòng)目標(biāo)檢測(cè)算法為通過(guò)利用背景的空間相關(guān)性，進(jìn)行單個(gè)圖像幀上像素塊提取，對(duì)提取的像素塊進(jìn)行特征描述，根據(jù)特征描述的差別來(lái)判定運(yùn)動(dòng)目標(biāo)和背景，其中，多幀像素塊特征差值較大的為運(yùn)動(dòng)目標(biāo)區(qū)域，特征差值較小的為背景區(qū)域。發(fā)明人在實(shí)現(xiàn)本發(fā)明的過(guò)程中，發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在如下問(wèn)題對(duì)于基于像素塊的背景建模算法來(lái)說(shuō)，事實(shí)上由于現(xiàn)實(shí)場(chǎng)景中存在很多復(fù)雜的背景情況，如突然的光照變化、雨霧天氣等，根據(jù)單幀像素塊分析根本無(wú)法得到完整的背景圖像，再加上場(chǎng)景中光照陰影影響和鏡面反射等變化，使得基于此種背景建模算法的運(yùn)動(dòng)目標(biāo)檢測(cè)方法的準(zhǔn)確度不高。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種運(yùn)動(dòng)目標(biāo)檢測(cè)方法及裝置，解決現(xiàn)有技術(shù)中運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確度不高的問(wèn)題。為解決上述問(wèn)題，本發(fā)明提供技術(shù)方案如下一種運(yùn)動(dòng)目標(biāo)檢測(cè)方法，包括從連續(xù)多幀圖像中提取多個(gè)視頻塊，每個(gè)視頻塊由所述連續(xù)多幀圖像中相同位置處的像素塊組成；提取視頻塊的結(jié)構(gòu)特征；提取視頻塊的紋理特征；將每個(gè)視頻塊的結(jié)構(gòu)特征和紋理特征組合為該視頻塊的特征向量；將多個(gè)視頻塊的特征向量組合為背景的特征矩陣；構(gòu)造將待檢測(cè)視頻塊的特征向量用所述特征矩陣進(jìn)行線性表示的方程，并求取所述方程的最小化殘差解，得到解向量；當(dāng)所述解向量對(duì)應(yīng)的殘差大于第一閾值，或者，所述解向量的稀疏度小于第二閾值時(shí)，將所述待檢測(cè)視頻塊判定為運(yùn)動(dòng)目標(biāo)。上述的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其中，所述提取視頻塊的結(jié)構(gòu)特征包括構(gòu)造多個(gè)方向的二維Gabor濾波器；將每個(gè)二維Gabor濾波器進(jìn)行垂直移動(dòng)或者保持不動(dòng)，得到多個(gè)二維Gabor濾波器；求取所述視頻塊對(duì)所述多個(gè)二維Gabor濾波器的線性響應(yīng)，得到線性響應(yīng)向量；將所述線性響應(yīng)向量構(gòu)造為所述視頻塊的結(jié)構(gòu)特征。上述的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其中，所述將所述線性響應(yīng)向量構(gòu)造為所述視頻塊的結(jié)構(gòu)特征包括按照從大到小的順序從所述線性響應(yīng)向量中選取預(yù)定數(shù)目個(gè)元素，將選取的預(yù)定數(shù)目個(gè)元素更新為1，將其余元素更新為0，并將更新得到的線性響應(yīng)向量構(gòu)造為所述視頻塊的結(jié)構(gòu)特征。上述的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其中，所述預(yù)定數(shù)目為3。上述的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其中，所述提取視頻塊的紋理特征包括構(gòu)造多個(gè)方向的二維Gabor濾波器；將每個(gè)二維Gabor濾波器進(jìn)行水平移動(dòng)或者保持不動(dòng)，得到多個(gè)二維Gabor濾波器；求取所述視頻塊對(duì)所述多個(gè)二維Gabor濾波器的卷積響應(yīng)，得到卷積響應(yīng)向量；將所述卷積響應(yīng)向量的統(tǒng)計(jì)直方圖構(gòu)造為所述視頻塊的紋理特征。上述的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其中，所述將所述卷積響應(yīng)向量的統(tǒng)計(jì)直方圖構(gòu)造為所述視頻塊的紋理特征對(duì)所述統(tǒng)計(jì)直方圖進(jìn)行歸一化處理，得到均值直方圖，并將所述均值直方圖構(gòu)造為所述視頻塊的紋理特征。上述的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其中，通過(guò)最小化1-范數(shù)的方法來(lái)求取所述方程的最
小化殘差解。上述的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其中，按照如下公式計(jì)算所述解向量的稀疏度
k-\其中，所為所述解向量，/閑)為兩的稀疏度，k為&的維數(shù)，^^1)為去除S中的零元素后得到的向量，P(A)I1為風(fēng)的1-范數(shù)，IIMbii^ 1-范數(shù)。一種運(yùn)動(dòng)目標(biāo)檢測(cè)裝置，包括視頻塊提取模塊，用于從連續(xù)多幀圖像中提取多個(gè)視頻塊，每個(gè)視頻塊由所述連續(xù)多幀圖像中相同位置處的像素塊組成；結(jié)構(gòu)特征提取模塊，用于提取視頻塊的結(jié)構(gòu)特征；紋理特征提取模塊，用于提取視頻塊的紋理特征；特征向量構(gòu)造模塊，用于將每個(gè)視頻塊的結(jié)構(gòu)特征和紋理特征組合為該視頻塊的特征向量；特征矩陣構(gòu)造模塊，用于將多個(gè)視頻塊的特征向量組合為背景的特征矩陣；求解模塊，用于構(gòu)造將待檢測(cè)視頻塊的特征向量用所述特征矩陣進(jìn)行線性表示的方程，并求取所述方程的最小化殘差解，得到解向量；判定模塊，用于當(dāng)所述解向量對(duì)應(yīng)的殘差大于第一閾值，或者，所述解向量的稀疏度小于第二閾值時(shí)，將所述待檢測(cè)視頻塊判定為運(yùn)動(dòng)目標(biāo)。上述的運(yùn)動(dòng)目標(biāo)檢測(cè)裝置，其中，所述結(jié)構(gòu)特征提取模塊進(jìn)一步用于構(gòu)造多個(gè)方向的二維Gabor濾波器；將每個(gè)二維Gabor濾波器進(jìn)行垂直移動(dòng)或者保持不動(dòng)，得到多個(gè)二維Gabor濾波器；求取所述視頻塊對(duì)所述多個(gè)二維Gabor濾波器的線性響應(yīng)，得到線性響應(yīng)向量；將所述線性響應(yīng)向量構(gòu)造為所述視頻塊的結(jié)構(gòu)特征。上述的運(yùn)動(dòng)目標(biāo)檢測(cè)裝置，其中，所述紋理特征提取模塊進(jìn)一步用于
構(gòu)造多個(gè)方向的二維Gabor濾波器；將每個(gè)二維Gabor濾波器進(jìn)行水平移動(dòng)或者保持不動(dòng)，得到多個(gè)二維Gabor濾波器；求取所述視頻塊對(duì)所述多個(gè)二維Gabor濾波器的卷積響應(yīng)，得到卷積響應(yīng)向量；將所述卷積響應(yīng)向量的統(tǒng)計(jì)直方圖構(gòu)造為所述視頻塊的紋理特征。上述的運(yùn)動(dòng)目標(biāo)檢測(cè)裝置，其中，所述求解模塊進(jìn)一步用于通過(guò)最小化1-范數(shù)的方法來(lái)求取所述方程的最小化殘差解。與現(xiàn)有技術(shù)采用像素塊進(jìn)行背景建模的算法相比，本發(fā)明提出了結(jié)合圖像的空間相關(guān)性和時(shí)間相關(guān)性(在一段時(shí)間序列下的圖像幀序列的背景會(huì)有一定的穩(wěn)定性)，對(duì)多幀圖像序列進(jìn)行視頻塊基元(所述多幀圖像序列中相同位置處的像素塊組成一個(gè)視頻塊基元)提取后進(jìn)行背景建模的方案，能夠規(guī)避復(fù)雜場(chǎng)景如雨霧天氣、燈光變化等，所造成的背景在單幀圖像上有很大變化的問(wèn)題，從而能夠提高運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確度。


圖1為根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)目標(biāo)檢測(cè)方法流程圖；圖2為本發(fā)明實(shí)施例中視頻塊與像素塊的對(duì)比示意圖；圖3為根據(jù)本發(fā)明實(shí)施例的運(yùn)動(dòng)目標(biāo)檢測(cè)裝置結(jié)構(gòu)圖。
具體實(shí)施例方式本發(fā)明實(shí)施例提出了結(jié)合圖像的空間相關(guān)性和時(shí)間相關(guān)性(在一段時(shí)間序列下的圖像幀序列的背景會(huì)有一定的穩(wěn)定性)，對(duì)多幀圖像序列進(jìn)行視頻塊基元提取后進(jìn)行背景建模的方案，能夠提高復(fù)雜場(chǎng)景如雨霧天氣、光照突變、陰影反射等情況下運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確度，從而為后續(xù)的智能分析和應(yīng)用提供更好的預(yù)處理。為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖及具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)描述。參照?qǐng)D1，本發(fā)明實(shí)施例的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，主要包括如下步驟
步驟101 從連續(xù)多幀圖像中提取多個(gè)視頻塊，每個(gè)視頻塊由所述連續(xù)多幀圖像中相同位置處的像素塊組成；從視頻中順序提取多個(gè)圖像幀序列，當(dāng)輸入一個(gè)新圖像幀In(n = 1，2...)(圖像大小為W*H)時(shí)，將其分為N= (W*H)/(h*h)個(gè)像素塊，表示為巧 〔，其中，i為像素塊索引，h為像素塊的高和寬。參照?qǐng)D2，對(duì)于每個(gè)像素塊Pi,n，將此像素塊與前t-Ι個(gè)圖像幀中相同位置處的像素塊組合成一個(gè)視頻塊基元，基元的大小為h*h*t。因此，可以將視頻塊基元定義為(Bi)H1 ,其中，Bi=詆,BiW^dBiitI在此后的圖像特征提取和運(yùn)動(dòng)目標(biāo)檢測(cè)都是基于視頻塊基元Bi進(jìn)行分析和處理。以上僅為視頻塊基元提取的一種實(shí)現(xiàn)方式。在具體實(shí)現(xiàn)時(shí)，如果運(yùn)算能力允許，也可以針對(duì)當(dāng)前圖像幀中的每個(gè)像素點(diǎn)提取一個(gè)視頻塊，或者，每隔若干像素點(diǎn)提取一個(gè)視頻塊。所述視頻塊同樣由相同位置處的t個(gè)像素塊組成，且所述像素塊的中心點(diǎn)為該像素點(diǎn)。對(duì)于邊緣像素點(diǎn)，其對(duì)應(yīng)的像素塊會(huì)有部分區(qū)域位于圖像之外，此時(shí)，可以采用現(xiàn)有的方法進(jìn)行處理，例如，直接將位于圖像之外的像素點(diǎn)的值置為零，或者，將圖像的邊緣區(qū)域的像素點(diǎn)的值復(fù)制到所述位于圖像之外的像素點(diǎn)。步驟102 提取視頻塊的結(jié)構(gòu)特征；可以采用各種方法進(jìn)行結(jié)構(gòu)特征提取，以下介紹采用時(shí)空Gabor濾波器對(duì)視頻塊進(jìn)行結(jié)構(gòu)特征提取的方法，具體包括構(gòu)造多個(gè)方向的二維Gabor濾波器；將每個(gè)二維Gabor濾波器進(jìn)行垂直移動(dòng)或者保持不動(dòng)，得到多個(gè)二維Gabor濾波器；求取所述視頻塊對(duì)所述多個(gè)二維Gabor濾波器的線性響應(yīng)，得到線性響應(yīng)向量；將所述線性響應(yīng)向量構(gòu)造為所述視頻塊的結(jié)構(gòu)特征。舉例如下假設(shè)視頻塊B的大小為15*15*5，對(duì)其進(jìn)行時(shí)空Gabor濾波得到Gabor基函數(shù)的子空間為
權(quán)利要求
1.一種運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其特征在于，包括從連續(xù)多幀圖像中提取多個(gè)視頻塊，每個(gè)視頻塊由所述連續(xù)多幀圖像中相同位置處的像素塊組成；提取視頻塊的結(jié)構(gòu)特征； 提取視頻塊的紋理特征；將每個(gè)視頻塊的結(jié)構(gòu)特征和紋理特征組合為該視頻塊的特征向量； 將多個(gè)視頻塊的特征向量組合為背景的特征矩陣；構(gòu)造將待檢測(cè)視頻塊的特征向量用所述特征矩陣進(jìn)行線性表示的方程，并求取所述方程的最小化殘差解，得到解向量；當(dāng)所述解向量對(duì)應(yīng)的殘差大于第一閾值，或者，所述解向量的稀疏度小于第二閾值時(shí)， 將所述待檢測(cè)視頻塊判定為運(yùn)動(dòng)目標(biāo)。
2.如權(quán)利要求1所述的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其特征在于，所述提取視頻塊的結(jié)構(gòu)特征包括構(gòu)造多個(gè)方向的二維Gabor濾波器；將每個(gè)二維Gabor濾波器進(jìn)行垂直移動(dòng)或者保持不動(dòng)，得到多個(gè)二維Gabor濾波器； 求取所述視頻塊對(duì)所述多個(gè)二維Gabor濾波器的線性響應(yīng)，得到線性響應(yīng)向量； 將所述線性響應(yīng)向量構(gòu)造為所述視頻塊的結(jié)構(gòu)特征。
3.如權(quán)利要求2所述的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其特征在于，所述將所述線性響應(yīng)向量構(gòu)造為所述視頻塊的結(jié)構(gòu)特征包括按照從大到小的順序從所述線性響應(yīng)向量中選取預(yù)定數(shù)目個(gè)元素，將選取的預(yù)定數(shù)目個(gè)元素更新為1，將其余元素更新為0，并將更新得到的線性響應(yīng)向量構(gòu)造為所述視頻塊的結(jié)構(gòu)特征。
4.如權(quán)利要求2所述的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其特征在于 所述預(yù)定數(shù)目為3。
5.如權(quán)利要求1所述的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其特征在于，所述提取視頻塊的紋理特征包括構(gòu)造多個(gè)方向的二維Gabor濾波器；將每個(gè)二維Gabor濾波器進(jìn)行水平移動(dòng)或者保持不動(dòng)，得到多個(gè)二維Gabor濾波器； 求取所述視頻塊對(duì)所述多個(gè)二維Gabor濾波器的卷積響應(yīng)，得到卷積響應(yīng)向量； 將所述卷積響應(yīng)向量的統(tǒng)計(jì)直方圖構(gòu)造為所述視頻塊的紋理特征。
6.如權(quán)利要求5所述的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其特征在于，所述將所述卷積響應(yīng)向量的統(tǒng)計(jì)直方圖構(gòu)造為所述視頻塊的紋理特征對(duì)所述統(tǒng)計(jì)直方圖進(jìn)行歸一化處理，得到均值直方圖，并將所述均值直方圖構(gòu)造為所述視頻塊的紋理特征。
7.如權(quán)利要求1所述的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其特征在于 通過(guò)最小化1-范數(shù)的方法來(lái)求取所述方程的最小化殘差解。
8.如權(quán)利要求7所述的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其特征在于，按照如下公式計(jì)算所述解向量的稀疏度
9.一種運(yùn)動(dòng)目標(biāo)檢測(cè)裝置，其特征在于，包括視頻塊提取模塊，用于從連續(xù)多幀圖像中提取多個(gè)視頻塊，每個(gè)視頻塊由所述連續(xù)多幀圖像中相同位置處的像素塊組成；結(jié)構(gòu)特征提取模塊，用于提取視頻塊的結(jié)構(gòu)特征； 紋理特征提取模塊，用于提取視頻塊的紋理特征；特征向量構(gòu)造模塊，用于將每個(gè)視頻塊的結(jié)構(gòu)特征和紋理特征組合為該視頻塊的特征向量；特征矩陣構(gòu)造模塊，用于將多個(gè)視頻塊的特征向量組合為背景的特征矩陣； 求解模塊，用于構(gòu)造將待檢測(cè)視頻塊的特征向量用所述特征矩陣進(jìn)行線性表示的方程，并求取所述方程的最小化殘差解，得到解向量；判定模塊，用于當(dāng)所述解向量對(duì)應(yīng)的殘差大于第一閾值，或者，所述解向量的稀疏度小于第二閾值時(shí)，將所述待檢測(cè)視頻塊判定為運(yùn)動(dòng)目標(biāo)。
10.如權(quán)利要求9所述的運(yùn)動(dòng)目標(biāo)檢測(cè)裝置，其特征在于，所述結(jié)構(gòu)特征提取模塊進(jìn)一步用于構(gòu)造多個(gè)方向的二維Gabor濾波器；將每個(gè)二維Gabor濾波器進(jìn)行垂直移動(dòng)或者保持不動(dòng)，得到多個(gè)二維Gabor濾波器； 求取所述視頻塊對(duì)所述多個(gè)二維Gabor濾波器的線性響應(yīng)，得到線性響應(yīng)向量； 將所述線性響應(yīng)向量構(gòu)造為所述視頻塊的結(jié)構(gòu)特征。
11.如權(quán)利要求9所述的運(yùn)動(dòng)目標(biāo)檢測(cè)裝置，其特征在于，所述紋理特征提取模塊進(jìn)一步用于構(gòu)造多個(gè)方向的二維Gabor濾波器；將每個(gè)二維Gabor濾波器進(jìn)行水平移動(dòng)或者保持不動(dòng)，得到多個(gè)二維Gabor濾波器； 求取所述視頻塊對(duì)所述多個(gè)二維Gabor濾波器的卷積響應(yīng)，得到卷積響應(yīng)向量； 將所述卷積響應(yīng)向量的統(tǒng)計(jì)直方圖構(gòu)造為所述視頻塊的紋理特征。
12.如權(quán)利要求9所述的運(yùn)動(dòng)目標(biāo)檢測(cè)裝置，其特征在于，所述求解模塊進(jìn)一步用于 通過(guò)最小化1-范數(shù)的方法來(lái)求取所述方程的最小化殘差解。
全文摘要
本發(fā)明提供一種運(yùn)動(dòng)目標(biāo)檢測(cè)方法及裝置，方法包括從連續(xù)多幀圖像中提取多個(gè)視頻塊，每個(gè)視頻塊由所述連續(xù)多幀圖像中相同位置處的像素塊組成；提取視頻塊的結(jié)構(gòu)特征；提取視頻塊的紋理特征；將每個(gè)視頻塊的結(jié)構(gòu)特征和紋理特征組合為該視頻塊的特征向量；將多個(gè)視頻塊的特征向量組合為背景的特征矩陣；構(gòu)造將待檢測(cè)視頻塊的特征向量用所述特征矩陣進(jìn)行線性表示的方程，并求取所述方程的最小化殘差解，得到解向量；當(dāng)所述解向量對(duì)應(yīng)的殘差大于第一閾值，或者，所述解向量的稀疏度小于第二閾值時(shí)，將所述待檢測(cè)視頻塊判定為運(yùn)動(dòng)目標(biāo)。本發(fā)明能夠提高運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確度。
文檔編號(hào)G06T7/20GK102542571SQ201010608739
公開(kāi)日2012年7月4日 申請(qǐng)日期2010年12月17日 優(yōu)先權(quán)日2010年12月17日
發(fā)明者劉之富, 林倞, 梁小丹, 胡赟, 陳俊賢, 陳健平, 黃光彬, 黃凱峰 申請(qǐng)人:中國(guó)移動(dòng)通信集團(tuán)廣東有限公司