本發(fā)明屬于圖像處理及模式識別技術(shù)領(lǐng)域，更具體地，涉及一種基于雙孔徑光電成像系統(tǒng)的無人機自動檢測與識別方法。

背景技術(shù)：

現(xiàn)有的無人機檢測與識別方法利用光學成像傳感器自動巡天，獲取待檢測區(qū)域的圖像序列，利用序列圖像之間的目標運動特性和單幅圖像中的目標與背景的差異，檢測無人機等低空飛行器。該方法易受環(huán)境干擾，難以分辨無人機目標與背景干擾造成的虛警。且檢測到目標后，根據(jù)已有的信息無法進一步識別目標。此外，現(xiàn)有技術(shù)通過基于雷達監(jiān)控無人機目標實施，依然存在無法識別目標類型的問題，同時雷達設(shè)備造價高，易受天氣環(huán)境等因素的干擾。

技術(shù)實現(xiàn)要素：

針對現(xiàn)有技術(shù)的以上缺陷或改進需求，本發(fā)明提供了一種基于雙孔徑光電成像系統(tǒng)的無人機檢測與識別方法，其目的在于實現(xiàn)對無人機的自動檢測與識別，進一步提高無人機檢測準確度，解決現(xiàn)有技術(shù)受環(huán)境干擾大、虛警率高、無法識別目標類型等技術(shù)問題。

為實現(xiàn)本發(fā)明目的，提供了一種基于雙孔徑光電成像系統(tǒng)的無人機自動檢測與識別方法，包括以下步驟：

(1)使用雙孔徑光學成像系統(tǒng)，其中廣角成像系統(tǒng)在大范圍天區(qū)搜索疑似目標，長焦成像系統(tǒng)(具有兩軸轉(zhuǎn)臺)對疑似目標進行確認和跟蹤，同時滿足高檢測率和高準確性的需求。

(2)對廣角相機采集到的圖像序列，根據(jù)圖像背景先驗知識，利用目標檢測算法實時檢測疑似目標；根據(jù)圖像背景先驗知識，可實現(xiàn)監(jiān)控策略設(shè)置，人工選擇出天空背景區(qū)域、復(fù)雜背景區(qū)域、以及排除區(qū)域。

(3)檢測到疑似目標后，控制長焦相機指向疑似目標進行拍攝，得到目標的高清晰度圖像序列；

(4)利用模式識別算法對長焦相機采集的目標圖像進行識別，如果判斷為無人機目標，則輸出目標位置坐標作為目標跟蹤的初始位置坐標，轉(zhuǎn)到步驟(5)，否則轉(zhuǎn)到步驟(2)；

(5)控制長焦相機對無人機目標進行追蹤，控制云臺運動，保證目標始終處于長焦相機的視場中央，跟蹤算法得到的無人機坐標可以輸出到無人機干擾系統(tǒng)，進行定向干擾。所述追蹤算法包括基于Meanshift的目標跟蹤算法、基于粒子濾波的目標跟蹤算法、KCF算法和光流法。

進一步的，所述步驟(2)中所述圖像背景先驗知識包括天空背景區(qū)域、復(fù)雜背景區(qū)域、以及排除區(qū)域；步驟(5)中，得到無人機目標坐標后，還對目標采取干擾與管制措施。

進一步的，所述步驟(2)中，所述目標檢測算法，包括以下子步驟：

(2.1)連續(xù)采集圖像進行幀間目標檢測，使用背景差分算法求解當前幀得到的前景圖像Dⁿ；

(2.2)一次性初始化目標集合Track為空，Track為目標軌跡集合，Track中每一條軌跡都代表著一個疑似目標(只在第一次初始化，軌跡指多個目標點)；對(2.1)輸入的當前第n幀圖像Iⁿ進行幀內(nèi)目標檢測，用以修正前景圖像Dⁿ；

如果在第n-1幀即上一幀中沒有檢測到目標，不進行修正操作，轉(zhuǎn)步驟(2.3)；

如果在第n-1幀即上一幀檢測到目標，即集合Track^n-1非空，而且在一定的范圍內(nèi)前景圖像沒有響應(yīng)，即則進行幀內(nèi)檢測，將幀內(nèi)檢測到的目標用以修正幀間檢測結(jié)果Dⁿ，將該目標加入步驟(2.1)的輸出Dⁿ中，公式如下：

其中Distance表示歐氏距離，表示任意的，d為常量，取3-10；d的選取與視頻采樣頻率有關(guān)，采樣幀頻越高，d越??；采樣幀頻越低，d越大；thres為閾值，取10-50，thres的取值越大，漏檢率越高；取值越小，虛警率越高；表示圖像以為中心的圖像塊與相同尺度的矩陣HP進行卷積；HP為卷積核，其尺度與目標尺度有關(guān)，當目標尺度大小為m行×n列時，HP為：

其中A，B，C，D，F(xiàn)，G，H，K均為為1/9×II的矩陣，E為-8/9×II，II為m×n大小的矩陣，其值全為1；

(2.3)對第n幀前景圖像Dⁿ使用標記連通域,并對連通域使用DP聚類算法進行聚類處理，得到疑似目標集合Oⁿ；保存前t幀至當前幀之間的t個疑似目標集合{O^n-t+1…Oⁿ}，然后輸出{O^n-t+1…Oⁿ}到鏈表list中,t可取5-15，t越大結(jié)果越準確但滯后時間長，t越小實時性越高但結(jié)果不穩(wěn)定(對每一幀Dⁿ通過求連通域，聚類，得到一個幀內(nèi)的目標集合Oⁿ，將t幀每一幀結(jié)果Oⁿ都保存下來，共有t個Oⁿ，保存到list中，用于后面的處理)；

(2.4)使用檢測聚類算法對步驟(2.3)中獲的鏈表list使用檢測聚類算法進行處理，生成多條軌跡，每條軌跡都作為一個疑似目標，多條軌跡構(gòu)成目標集合Track。

進一步的，所述步驟(3)或步驟(5)中，檢測到疑似目標或無人機目標后，計算并向云臺發(fā)送疑似目標或無人機目標的坐標，用于控制長焦相機追蹤疑似目標或無人機目標；坐標計算公式如下：

其中，std_rows為圖像的高度，targety為目標在豎直方向上的坐標，yvision為豎直方向上的視場角；std_cols為圖像的寬度，targetx為目標在水平方向上的坐標，xvision為水平方向上的視場角；targety targetx從檢測到的目標中取得，其它參數(shù)為廣角相機自身參數(shù)。

進一步的，所述所述步驟(2.4)中，檢測聚類算法子步驟如下：

(2.4.1)遍歷步驟(2.3)生成的鏈表list，尋找到第一個目標后作為疑似目標，創(chuàng)建一條新的軌跡，將該疑似目標加入該軌跡中；(如果空中出現(xiàn)目標，則每一幀都會檢測出一個目標，那么t幀就會檢測出t個目標，這t個目標根據(jù)出現(xiàn)的時間順序排列生成一個集合就是一條軌跡)

(2.4.2)查找list中后續(xù)的疑似目標，將每個后續(xù)的疑似目標和每條已存在疑似目標軌跡相比，當滿足下述兩條準則時，將疑似目標加入該軌跡，轉(zhuǎn)步驟(2.4.3)；否則創(chuàng)建一條新軌跡并將該疑似目標加入該軌跡中，轉(zhuǎn)步驟(2.4.3)；所述準則如下：

(a)為已存在的軌跡中最新的軌跡點(目標在圖像中的坐標)，為當前待加入軌跡的疑似目標，Distance表示歐氏距離，為兩軌跡點空間相關(guān)性(以歐氏距離度量)，如果則認為疑似目標點符合本準則；所述L_thres為空間閾值，取3-20，其取值與視頻采樣頻率有關(guān)，采樣頻率越高，取值越?。徊蓸宇l率越低，取值越大；

(b)為當前軌跡相鄰兩軌跡點之間的時間差，如果小于預(yù)設(shè)的時間差T_thres，則認為疑似目標點符合本準則；T_thres為時間閾值，取1-3；

(2.4.3)統(tǒng)計每條軌跡的斷點數(shù)，如果斷點數(shù)超過最大允許斷點數(shù)，則刪除該軌跡；B_thres，取3-5；(軌跡統(tǒng)計了t幀，每一幀該軌跡都應(yīng)有一個目標點，如果沒有，即不符合上述兩條規(guī)則，則斷點數(shù)加1)。

進一步的，所述步驟(4)中提到的模式識別算法選取深度學習算法，優(yōu)選采用Faster-RCNN算法對長焦相機采集到的高清圖像序列進行識別；識別步驟如下：

(4.1)首先準備無人機訓練樣本，并對無人機的位置進行手工標記；使用Faster-RCNN算法對預(yù)先準備好的訓練樣本進行訓練，得到網(wǎng)絡(luò)模型參數(shù)，確定具體網(wǎng)絡(luò)模型；

(4.2)用所述網(wǎng)絡(luò)模型進行識別，將長焦相機采集到的當前幀圖像輸入所述網(wǎng)絡(luò)模型，得到目標的坐標targetx和targety，以及各類目標可信度得分，并將無人機目標得分超過T_thres對應(yīng)的目標作為無人機目標，并輸出無人機目標的坐標，T_thres為閾值，一般取0.5-0.9。

進一步的，所述步驟(5)中提到的目標跟蹤算法具體如下：進行目標跟蹤；

具體地，使用步驟(4)中輸出的目標位置坐標作為目標跟蹤的初始位置坐標，采用基于粒子濾波器的目標跟蹤算法進行目標跟蹤，控制云臺使目標始終保持在視場中央。

進一步的，所述所述背景差分算法為基于GPU加速的空間約束混合高斯模型算法，具體子步驟如下：

(a)根據(jù)步驟(2)中圖像背景先驗知識初始化混合高斯模型參數(shù)和固定背景幀,在此，將輸入的第一幀圖像作為固定背景幀；

(b)將傳入當前第n幀的圖像Iⁿ與固定背景幀進行減運算，得到空間約束矩陣M，運算公式如下：

其中Iⁿ為第n幀圖像序列，Zⁿ為固定背景幀，Thres為閾值，取20-50；Thres閾值越低，算法的實時性越低；閾值越高，背景部分偽背景點越多，算法的準確性越低；i，j分別為像素在圖像中的行列號；

(c)在空間約束矩陣M下用混合高斯模型檢測前景,得到前景圖像Dⁿ，同時，混合高斯模型得到更新；檢測公式如下：

其中，GMM為混合高斯模型；

(d)每隔一定幀數(shù)num對混合高斯模型進行固定背景幀抽取，即對混合高斯模型中每個像素點優(yōu)先級最高(混合高斯模型模型參數(shù)包含有優(yōu)先級)的高斯分布均值μ_i，j抽取至固定背景幀相應(yīng)的位置，從而更新固定背景幀；num可取大于1的整數(shù)，num越大，隨著背景的逐漸改變，計算量越大，會降低算法的實時性；num越小，抽取固定背景幀的頻次越高，也會降低算法的實時性。

進一步的，所述步驟(2.3)中，標記連通域的方法包括區(qū)域生長法、基于行程的連通域標記算法、基于輪廓跟蹤的連通域標記算法、基于跑長碼的連通區(qū)域標記算法和面向目標特征提取的連通域標記算法。

總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，能夠取得下列有益效果：

(1)根據(jù)不同的環(huán)境設(shè)置相對應(yīng)的監(jiān)控策略可以使系統(tǒng)適應(yīng)不同的環(huán)境，提高系統(tǒng)的魯棒性和可靠性。

(2)使用本文所使用的基于GPU加速的空間約束混合高斯模型算法來進行疑似目標的檢測，相較于傳統(tǒng)的混合高斯模型算法速度可提高50倍以上，達到實時性要求，結(jié)合檢測聚類算法和幀內(nèi)檢測算法可以綜合利用視頻序列幀間和幀內(nèi)信息，在保證檢測率的基礎(chǔ)上，去除了大量虛警，并減少了漏檢目標，保證了檢測的連續(xù)。

(3)使用雙孔徑光電成像系統(tǒng)進行目標檢測和識別的策略可以進一步對于檢測到目標進行準確的識別和確認，排除虛警，確認目標，保證了系統(tǒng)的魯棒性。

(4)使用深度學習算法進行目標識別，算法自動完成目標識別的流程，F(xiàn)aster-RCNN中使用的卷積神經(jīng)網(wǎng)絡(luò)提取了樣本的大量特征，對角度、光照、尺度等變化具有較好的魯棒性，算法識別的準確率高。RPN網(wǎng)絡(luò)和Faster R-CNN網(wǎng)絡(luò)的卷積層的權(quán)值共享使算法速度大大提升，可以達到實時處理的要求。

(5)使用粒子濾波算法對目標進行追蹤，相對于其他目標跟蹤算法，對于光照變化、目標遮擋具有較好的適應(yīng)性。并且算法只產(chǎn)生有限個粒子進行計算，實時性較好。檢測到目標后對目標進行跟蹤，并持續(xù)干擾，可達到對目標管制的目的。

總而言之，本發(fā)明提供的基于雙孔徑光電成像系統(tǒng)的無人機自動檢測與識別系統(tǒng)分別使用廣角相機和長焦相機作為無人機檢測和識別裝置進行監(jiān)控。采集監(jiān)控圖像序列，進行無人機疑似目標的檢測，繼而對疑似目標進行識別，確認目標后計算坐標并對目標進行追蹤本發(fā)明使用光電傳感器作為無人機檢測與識別裝置具有可靠性高、成本低廉等優(yōu)點。借助于廣角相機提供的監(jiān)控數(shù)據(jù)，使用長焦相機采集監(jiān)控圖像并采用模式識別的手段進行識別可準確確認監(jiān)控目標，大大提高了系統(tǒng)的可靠性，具有突出的經(jīng)濟效益和實用價值。

附圖說明

圖1是本發(fā)明實施例提供的基于雙孔徑光電成像系統(tǒng)的無人機自動檢測與識別方法的流程圖；

圖2是本發(fā)明實施例中的無人機檢測與識別裝置的示意圖。

具體實施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

本發(fā)明實施例提供的這種基于雙孔徑光電成像系統(tǒng)的無人機自動檢測與識別方法流程如圖1所示。

在本實例中，我們采用?？低旸S-2df7320iw高速智能球機作為雙孔徑光電傳感器系統(tǒng)的廣角相機部分，使用FY-SP2515F標準智能變速云臺搭載的?？低?007相機作為雙孔徑光電傳感器系統(tǒng)的長焦相機部分。

首先，采集實際的無人機監(jiān)控視頻，對監(jiān)控視頻中包含無人機目標的每一幀圖像，使用人工標注的方法標記無人機的位置，作為訓練樣本訓練Faster-RCNN網(wǎng)絡(luò)模型。訓練步驟如下：

(a)使用在ImageNet上預(yù)訓練的模型初始化Region Proposal Networks(RPN)參數(shù)，微調(diào)RPN網(wǎng)絡(luò)；

(b)使用在ImageNet上預(yù)訓練的模型初始化Faster-RCNN網(wǎng)絡(luò)，使用(a)中得到的RPN網(wǎng)絡(luò)對我們的訓練樣本進行區(qū)域提取(Region Proposal)工作，作為Faster-RCNN的輸入。使用我們的訓練樣本訓練Faster-RCNN網(wǎng)絡(luò)；

(c)固定卷積層，利用(b)中得到的Faster R-CNN網(wǎng)絡(luò)初始化RPN網(wǎng)絡(luò)，使用我們的訓練樣本訓練RPN網(wǎng)絡(luò)。

(d)固定卷積層，利用(c)中得到的RPN網(wǎng)絡(luò)作為輸入訓練Faster-RCNN網(wǎng)絡(luò)。

(e)重復(fù)步驟(a)-(d)，交替訓練RPN網(wǎng)絡(luò)和Faster-RCNN網(wǎng)絡(luò)，直到網(wǎng)絡(luò)輸出誤差達到要求的范圍內(nèi)。

運行時，設(shè)置監(jiān)控策略，人工選擇出天空背景區(qū)域、復(fù)雜背景區(qū)域、以及排除區(qū)域，作為后續(xù)處理過程的先驗知識。對于不同類型的區(qū)域步驟(2)中使用的目標檢測算法采取不同的策略，如果未設(shè)置則默認所有區(qū)域均為復(fù)雜背景區(qū)域。生成一張閾值表，閾值表中的每個值的位置與圖像序列每個像素的位置相對應(yīng)，像素點在天空背景區(qū)域、復(fù)雜背景區(qū)域、排除區(qū)域，閾值表σ中對應(yīng)位置的值分別取σ₁，σ₂，σ₃。優(yōu)選地，σ₁，σ₂，σ₃分別取0.9,2.5,0.0。

使用?？低旸S-2df7320iw高速智能球機采集視頻序列，選取前30幀初始化設(shè)備端的混合高斯模型參數(shù)并抽取固定背景幀。根據(jù)發(fā)明內(nèi)容步驟2中所述的目標檢測算法實時檢測視頻序列中的疑似目標。

當檢測到疑似目標后，根據(jù)發(fā)明內(nèi)容步驟(4)中所述的計算方法計算目標的位置，此處根據(jù)DS-2df7320iw相機的參數(shù)，xvision取58.3，yvision取43.6。向FY-SP2515F云臺發(fā)送控制命令使其指向相應(yīng)位置，這里，云臺控制命令采用PELCO_D協(xié)議。當云臺到達指定位置后，3007相機采集一張高清圖片，使用訓練好的Faster-RCNN算法網(wǎng)絡(luò)模型識別視場中是否存在無人機目標。如果存在無人機目標，即Faster-RCNN網(wǎng)絡(luò)輸出無人機目標置信度大于0.8的目標，則控制無線電干擾模塊為開啟狀態(tài)，對無人機進行干擾，并根據(jù)Faster-RCNN網(wǎng)絡(luò)輸出無人機目標坐標位置作為初始位置采用基于粒子濾波的目標跟蹤算法對無人機目標進行跟蹤，控制云臺始終指向目標同時持續(xù)定向干擾。

本發(fā)明通過結(jié)合廣角相機和長焦相機各自的成像特點進行目標檢測與識別工作?？蓪Υ笠晥?、遠距離的區(qū)域進行實時監(jiān)控并精確識別目標種類。對不同的背景區(qū)域采用不用的監(jiān)控策略增強了系統(tǒng)的魯棒性與適用性。使用深度學習算法進行目標識別，識別準確率高并對光照、遮擋、旋轉(zhuǎn)等變化具有較強的魯棒性，并基本達到實時目標識別的要求。使用GPU加速空間約束混合高斯模型算法相較于原始GMM算法速度提高了50倍以上，實現(xiàn)了對高清監(jiān)控圖像進行實時檢測的要求。

本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。