本發(fā)明涉及智能視頻分析技術(shù)領(lǐng)域，更具體地，涉及一種基于混合LBF(Local Binary Features，局部二值特征)形狀回歸模型的挖掘機(jī)工作狀態(tài)識(shí)別方法。

背景技術(shù)：

我國土地資源日益嚴(yán)峻，各類違法用地案件也呈多發(fā)頻發(fā)態(tài)勢，國土資源部高度重視土地執(zhí)法監(jiān)察工作。2011年，國土資源部在15個(gè)地級(jí)市、縣(市、區(qū))開展土地視頻監(jiān)控試點(diǎn)，對(duì)重點(diǎn)違法用地易發(fā)區(qū)域進(jìn)行了視頻監(jiān)控。挖掘機(jī)是工程建設(shè)中最主要的工程機(jī)械之一，土地間的挖掘機(jī)工作狀態(tài)的準(zhǔn)確自動(dòng)識(shí)別，是及時(shí)發(fā)現(xiàn)違法用地現(xiàn)象的重要手段。另外，挖掘機(jī)工作狀態(tài)的自動(dòng)識(shí)別，可為工程項(xiàng)目管理人員及時(shí)提供施工現(xiàn)場的重要管理信息。

對(duì)于挖掘機(jī)工作狀態(tài)監(jiān)控，中國專利公開了“一種挖掘機(jī)工作狀態(tài)遠(yuǎn)程監(jiān)控裝置”(專利公開號(hào)：CN201716836U)，提供了一種使用角速度傳感器監(jiān)控挖掘機(jī)工作狀態(tài)的遠(yuǎn)程監(jiān)控裝置；“一種基于圖像的露天礦挖掘機(jī)裝車過程的監(jiān)控方法和裝置”(專利公開號(hào)：CN 102244771B)，利用DSP對(duì)接收到的數(shù)字圖像信息和角度測量信息進(jìn)行對(duì)比、匹配處理和計(jì)算，得出相應(yīng)的監(jiān)控結(jié)果。這些專利均需利用角速度傳感器采集挖掘機(jī)關(guān)鍵的角度，不僅要增加挖掘機(jī)硬件裝置，而且在違法用地監(jiān)控等應(yīng)用中由于施工者逃避監(jiān)測難以獲取挖掘機(jī)角速度傳感器的信息。因此，提供一種利用智能視頻分析自動(dòng)識(shí)別挖掘機(jī)工作狀態(tài)的方法是非常有必要的。

近年，LBF形狀回歸模型在人臉關(guān)鍵點(diǎn)檢測、人臉對(duì)齊中越來越顯現(xiàn)出其優(yōu)越性。如，一種基于LBP的人臉特征提取方法及裝置(CN 103761515A)，一種魯棒的基于人臉形狀回歸模型的多姿態(tài)疲勞監(jiān)測方法(CN104298963A)、一種基于級(jí)聯(lián)回歸的人臉關(guān)鍵點(diǎn)定位方法(CN103824050A)。而LBF形狀回歸模型在其它目標(biāo)對(duì)象特征點(diǎn)檢測的研究目前極少。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提出一種基于混合LBF形狀回歸模型的挖掘機(jī)工作狀態(tài)識(shí)別方法。本發(fā)明是利用混合LBF形狀回歸模型預(yù)測挖掘機(jī)形狀(即特征點(diǎn)的相對(duì)坐標(biāo)的集合)，計(jì)算挖掘機(jī)工作狀態(tài)特征描述子，用SVM分類器進(jìn)行二分類，從而判斷出當(dāng)前挖掘機(jī)的工作狀態(tài)——工作狀態(tài)或者非工作狀態(tài)。

為了實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案為：

一種基于混合LBF形狀回歸模型的挖掘機(jī)工作狀態(tài)識(shí)別方法，包括以下步驟：

S1.訓(xùn)練一個(gè)混合LBF形狀回歸模型，并使用此模型來預(yù)測輸入視頻幀中挖掘機(jī)的形狀(即特征點(diǎn)的相對(duì)坐標(biāo)的集合)；

S2.根據(jù)挖掘機(jī)的長寬比及S1獲得的特征點(diǎn)坐標(biāo)，計(jì)算挖掘機(jī)工作狀態(tài)特征描述子；

S3.利用SVM分類器識(shí)別挖掘機(jī)的工作狀態(tài)——工作狀態(tài)或者非工作狀態(tài)。

本發(fā)明將LBF形狀回歸模型引入挖掘機(jī)特征點(diǎn)檢測中，進(jìn)而提出基于混合LBF形狀回歸模型的挖掘機(jī)工作狀態(tài)識(shí)別方法，對(duì)提高挖掘機(jī)等施工機(jī)械智能化監(jiān)管水平意義重大。

優(yōu)選地，所述步驟S1具體為：1)計(jì)算該挖掘機(jī)的長寬比，根據(jù)長寬比把挖掘機(jī)分為N類，將該挖掘機(jī)歸一化到該類挖掘機(jī)對(duì)應(yīng)的尺寸SIZE；2)分別針對(duì)每一類挖掘機(jī)訓(xùn)練相應(yīng)的LBF_n(n＝1,2,…，N)模型，形成混合LBF形狀回歸模型；3)使用該混合LBF模型，對(duì)輸入視頻中的挖掘機(jī)進(jìn)行形狀S*預(yù)測。

優(yōu)選地，所述步驟S2具體為1)根據(jù)兩幀關(guān)鍵幀圖像中挖掘機(jī)的長寬比WHRatio₀和WHRatio₁，計(jì)算挖掘機(jī)長寬比的變化：ΔWHRatio＝|WHRatio₁-WHRatio₀|；2)依據(jù)S1中獲得的特征點(diǎn)，計(jì)算反應(yīng)回轉(zhuǎn)臂、鏟斗柱、鏟斗和機(jī)身旋轉(zhuǎn)四種因素變化的關(guān)鍵夾角變化ΔAngle；3)將長寬比的變化ΔWHRatio和夾角的變化ΔAngle串聯(lián)起來作為挖掘機(jī)工作狀態(tài)的特征描述子MMF(Machine Motion Feature)，即MMF＝[ΔWHRatio,ΔAngle]描述挖掘機(jī)的運(yùn)動(dòng)特征。

優(yōu)選地，所述步驟S4具體為：使用SVM的方法進(jìn)行二分類，從而判斷出當(dāng)前挖掘機(jī)的工作狀態(tài)——工作狀態(tài)或者非工作狀態(tài)。

本發(fā)明的有益效果是：

1、本發(fā)明將用于人臉對(duì)齊的LBF形狀回歸模型引入挖掘機(jī)工作狀態(tài)識(shí)別，通過對(duì)視頻幀中挖掘機(jī)的形狀(即特征點(diǎn)的相對(duì)坐標(biāo)的集合)預(yù)測，為挖掘機(jī)工作狀態(tài)的特征描述子構(gòu)建提供精確的信息，也為感興趣目標(biāo)運(yùn)動(dòng)分析提供新的解決方法。

2、本發(fā)明能對(duì)土地間的挖掘機(jī)工作狀態(tài)進(jìn)行準(zhǔn)確地自動(dòng)識(shí)別，是及時(shí)發(fā)現(xiàn)違法用地現(xiàn)象的重要手段。

附圖說明

圖1是本發(fā)明基于混合LBF形狀回歸模型的挖掘機(jī)工作狀態(tài)識(shí)別方法的流程圖。

圖2是挖掘機(jī)4個(gè)特征點(diǎn)構(gòu)成的形狀特征示意圖。

圖3是挖掘機(jī)工作狀態(tài)關(guān)鍵夾角變化示意圖。

圖4是局部二值特征的提取過程圖：圖4(a)是挖掘機(jī)某一特征點(diǎn)的局部二值特征具體的提取過程流程圖，圖4(b)是挖掘機(jī)所有特征點(diǎn)局部二值特征的提取過程流程圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的描述，但本發(fā)明的實(shí)施方式并不限于此。

如圖1，本發(fā)明分為離線學(xué)習(xí)階段和在線識(shí)別工作階段：

S1、學(xué)習(xí)階段時(shí)，準(zhǔn)備挖掘機(jī)訓(xùn)練，訓(xùn)練挖掘機(jī)的混合LBF形狀回歸模型，利用形狀特征計(jì)算變化角度，構(gòu)造挖掘機(jī)工作狀態(tài)的特征描述子MMF(Machine Motion Feature)，訓(xùn)練以MMF為輸入的挖掘機(jī)工作狀態(tài)識(shí)別的SVM分類器。

S11：挖掘機(jī)數(shù)據(jù)集準(zhǔn)備。

實(shí)驗(yàn)中，采用DPM(可變形部件模型)檢測模型，進(jìn)行視頻序列中挖掘機(jī)檢測，將檢測出的3000張挖掘機(jī)圖像序列保存下來，作為此實(shí)驗(yàn)的素材。對(duì)于每一張挖掘機(jī)圖像，手工標(biāo)注4個(gè)特征點(diǎn)(如圖2中的白色圓心點(diǎn))，來刻畫挖掘機(jī)機(jī)身的旋轉(zhuǎn)以及回轉(zhuǎn)臂、鏟斗柱與鏟斗的變化，這4個(gè)特征點(diǎn)的相對(duì)坐標(biāo)即為挖掘機(jī)形狀S。并對(duì)視頻段中挖掘機(jī)工作/非工作狀態(tài)進(jìn)行標(biāo)注。

S12：訓(xùn)練一個(gè)混合LBF形狀回歸模型。

S121：LBF模型需要統(tǒng)一尺寸。為克服LBF模型對(duì)挖掘機(jī)歸一化過程中造成形變、導(dǎo)致魯棒性較差的問題，本發(fā)明根據(jù)挖掘機(jī)外接矩形長寬比把挖掘機(jī)分為N類，然后在每一類上分別訓(xùn)練一個(gè)LBF_n(n＝1,2,…，N)模型，再將這N個(gè)LBF_n模型集成為混合LBF模型。在本實(shí)施例中，N＝3，將挖掘機(jī)外接矩形長寬比小于1.2的部分歸一化到統(tǒng)一尺寸(80,100)；長寬比大于等于1.2且小于2.0的部分歸一化到統(tǒng)一尺寸(160,100)；長寬比大于等于2.0部分歸一化到統(tǒng)一尺寸(220,100)。

分別訓(xùn)練3類LBF₁、LBF₂和LBF₃模型，在S122步驟中，由于這3類模型構(gòu)建方法相同，為了便于表達(dá)，用LBF表示LBF_n。

S122：為獲得挖掘機(jī)形狀特征，利用給定的初始形狀S⁰，將上一步迭代的形狀S^t-1加上當(dāng)前形狀增量作為當(dāng)前形狀S^t，當(dāng)前形狀增量ΔS^t計(jì)算公式：

ΔS^t＝W^tΦ^t(I,S^t-1)， (1)其中I表示輸入的圖像，Φ^t和W^t分別表示第t迭代的特征映射函數(shù)和線性回歸矩陣。接著，不斷重復(fù)以上步驟直到形狀S達(dá)到要求。要構(gòu)建LBF模型，則要訓(xùn)練訓(xùn)練Φ^t和W^t，具體步驟：

(1)對(duì)于上一階段的形狀S^t-1特征點(diǎn)相對(duì)坐標(biāo)集合，分別以各個(gè)特征點(diǎn)為中心選取半徑r的圓形局部區(qū)域(附圖4中實(shí)心圓圈內(nèi)部分)，然后在該區(qū)域內(nèi)隨機(jī)選取的兩個(gè)像素點(diǎn)(圖4(a)中的A和B)來計(jì)算對(duì)應(yīng)的像素差特征{I(x₁,y₁)-I(x₂,y₂)|(x₁,y₁),(x₂,y₂)∈Ω}，其中Ω表示該特征點(diǎn)局部區(qū)域。

(2)對(duì)于每個(gè)特征點(diǎn)的局部區(qū)域，為了由兩個(gè)像素點(diǎn)像素差，預(yù)測當(dāng)前實(shí)際的形狀增量(即特征點(diǎn)相對(duì)坐標(biāo)的偏移值)，分別獨(dú)立使用隨機(jī)森林方法學(xué)習(xí)局部特征映射函數(shù)其隨機(jī)森林訓(xùn)練的目標(biāo)函數(shù)為：

其中，I_i表示第i張訓(xùn)練樣本，操作π_l表示提取向量中元素，表示在第i張訓(xùn)練樣本中提取第l個(gè)特征點(diǎn)的實(shí)際二維偏移值。如表示在第2張訓(xùn)練樣本中提取出第3個(gè)特征點(diǎn)的相對(duì)橫坐標(biāo)和縱坐標(biāo)實(shí)際偏移值。

對(duì)已訓(xùn)練成功的隨機(jī)森林的每一棵決策樹中，各非葉節(jié)點(diǎn)為像素差最佳分割點(diǎn)；各葉節(jié)點(diǎn)中都存儲(chǔ)了一個(gè)二維偏移向量。

(3)在特征點(diǎn)形狀特征提取時(shí)，每個(gè)特征點(diǎn)的局部區(qū)域中，隨機(jī)選取兩個(gè)像素點(diǎn)的像素差在訓(xùn)練得到的隨機(jī)森林中的每棵決策樹上進(jìn)行遍歷，直到到達(dá)每棵樹的一個(gè)葉節(jié)點(diǎn)。隨機(jī)森林的輸出就是存儲(chǔ)在這些葉節(jié)點(diǎn)的二維偏移值之和。假設(shè)葉節(jié)點(diǎn)的總數(shù)為D，那么輸出可表示為：

其中是一個(gè)2×D的矩陣，其每一列是存儲(chǔ)在相應(yīng)葉節(jié)點(diǎn)上的二維偏移向量；而則為D維的二值向量。對(duì)于中每一維來說，如果輸入樣本可到達(dá)某葉節(jié)點(diǎn)，它的值就為1，反之則為0。中非零的數(shù)目與隨機(jī)森林中決策樹的個(gè)數(shù)相同，稱為“局部二值特征”。

局部二值特征的提取步驟(附圖4)：圖4(a)每一個(gè)局部特征映射函數(shù)將其對(duì)應(yīng)的局部區(qū)域編碼為一個(gè)二值特征，然后將所有的局部二值特征組合起來構(gòu)成一個(gè)高維的二值特征。圖4(b)在所有特征點(diǎn)上，使用隨機(jī)森林作為局部映射函數(shù)，并根據(jù)樣本遍歷的情況獲得對(duì)應(yīng)的D維的局部二值特征。

(4)將局部二值特征組合起來構(gòu)成一個(gè)全局二值特征Φ^t，并通過回歸學(xué)習(xí)的方式獲得一個(gè)全局線性回歸模型W^t。其優(yōu)化目標(biāo)函數(shù)是關(guān)于W^t的二次函數(shù)：

其中第一部分是回歸的目標(biāo)，第二部分在W^t上做L₂規(guī)則化，λ則是控制規(guī)則化強(qiáng)度的參數(shù)。全局二值特征Φ^t的維度很高，為避免過學(xué)習(xí)，必須進(jìn)行規(guī)則化處理。對(duì)于挖掘機(jī)4個(gè)特征點(diǎn)來說，Φ^t的維度可能達(dá)到10K+。此外，該全局二值特征是高度稀疏的，所以使用雙坐標(biāo)下降法進(jìn)行全局最優(yōu)，獲得W^t。所有階段的特征映射函數(shù)Φ＝[Φ¹,…,Φ^T]以及全局線性回歸矩陣W＝[W¹,…,W^T]構(gòu)成一個(gè)LBF模型，即LBF＝{Φ,W,S}。

(5)對(duì)輸入挖掘機(jī)圖像序列，利用公式(1)計(jì)算ΔS^t，將ΔS^t與第t-1次迭代的特征點(diǎn)相對(duì)坐標(biāo)S^t-1相加得到第t迭代特征點(diǎn)相對(duì)坐標(biāo)S^t，最終獲得挖掘機(jī)的預(yù)測形狀S^*(即特征點(diǎn)的相對(duì)坐標(biāo)的集合)。

S123、根據(jù)這些特征點(diǎn)的坐標(biāo)以及檢測到的挖掘機(jī)的長寬比，計(jì)算挖掘機(jī)工作狀態(tài)特征描述子，具體過程為：

1)根據(jù)兩幀關(guān)鍵幀圖像中挖掘機(jī)外接矩形的長寬比WHRatio₀和WHRatio₁，計(jì)算挖掘機(jī)長寬比的變化：ΔWHRatio＝|WHRatio₁-WHRatio₀|；2)依據(jù)步驟S122中獲得的特征點(diǎn)的相對(duì)坐標(biāo)，計(jì)算反應(yīng)回轉(zhuǎn)臂、鏟斗柱、鏟斗和機(jī)身旋轉(zhuǎn)四種因素變化的關(guān)鍵夾角變化(見附圖2)，其中，上角標(biāo)i表示不同的角度，下角標(biāo)j表示不同的關(guān)鍵幀；3)將長寬比的變化ΔWHRatio和夾角的變化ΔAngle，串聯(lián)起來作為挖掘機(jī)工作狀態(tài)的特征描述子MMF(Machine Motion Feature)，即MMF＝[ΔWHRatio,ΔAngle]描述挖掘機(jī)的運(yùn)動(dòng)特征。

S124、以挖掘機(jī)工作狀態(tài)的特征描述子MMF為輸入，以挖掘機(jī)工作/非工作狀態(tài)為輸出，訓(xùn)練SVM分類器，從而判斷出當(dāng)前挖掘機(jī)的工作狀態(tài)——工作狀態(tài)或者非工作狀態(tài)。其中，SVM選擇了C_SVC類型、RBF核函數(shù)。其中，C_SVC的參數(shù)C設(shè)置為10，RBF的參數(shù)gamma則設(shè)置為8.0。

S2、工作階段時(shí)(附件圖1中的在線識(shí)別)，對(duì)采集到的挖掘機(jī)視頻序列，利用S1訓(xùn)練得到的LBF模型計(jì)算局部二值特征，預(yù)測當(dāng)前實(shí)際的形狀增量計(jì)算挖掘機(jī)工作狀態(tài)的特征描述子MMF，將MMF輸入到SVM分類器中，獲得挖掘工作/非工作狀態(tài)。

下面說明本發(fā)明的實(shí)驗(yàn)結(jié)果：

本實(shí)驗(yàn)中，分別采用ΔWHRatio、ΔAngle和MMF＝[ΔWHRatio,ΔAngle]三種特征描述子分別對(duì)20段挖掘機(jī)視頻片段進(jìn)行挖掘機(jī)運(yùn)動(dòng)狀態(tài)識(shí)別，這20段視頻包括挖掘機(jī)靜止、行駛和挖掘工作，每段視頻為5分鐘。具體的實(shí)驗(yàn)結(jié)果如表1所示。表1中的準(zhǔn)確率指的是測試集中挖掘機(jī)處于工作狀態(tài)和非工作狀態(tài)兩情況的片段的正確識(shí)別數(shù)占測試集總數(shù)的百分比。從表1可以看到，使用ΔAngle特征描述子時(shí)，其準(zhǔn)確率達(dá)到92.66％，這遠(yuǎn)高于采用ΔWHRatio特征描述子62.80％的準(zhǔn)確率。實(shí)驗(yàn)表明，利用混合LBF模型進(jìn)行挖掘機(jī)形狀S*(即特征點(diǎn)的相對(duì)坐標(biāo)的集合)預(yù)測，可獲取反應(yīng)回轉(zhuǎn)臂、鏟斗柱、鏟斗和機(jī)身旋轉(zhuǎn)四種因素變化的關(guān)鍵夾角變化ΔAngle，該ΔAngle對(duì)挖掘機(jī)運(yùn)動(dòng)狀態(tài)的描述能力比使用ΔWHRatio挖掘機(jī)長寬比的變化差值更強(qiáng)。而且，采用MMF特征描述子比采用ΔAngle特征描述子的準(zhǔn)確率提高了0.87％，高達(dá)93.53％。因此，本發(fā)明方法能對(duì)土地間的挖掘機(jī)工作狀態(tài)進(jìn)行準(zhǔn)確地自動(dòng)識(shí)別。

表1 挖掘機(jī)工作狀態(tài)識(shí)別結(jié)果統(tǒng)計(jì)表

以上所述的本發(fā)明的實(shí)施方式，并不構(gòu)成對(duì)本發(fā)明保護(hù)范圍的限定。任何在本發(fā)明的精神原則之內(nèi)所作出的修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的權(quán)利要求保護(hù)范圍之內(nèi)。