一種基于圖像處理技術(shù)的機(jī)場道面fod異物檢測方法
【專利摘要】本發(fā)明提供一種基于圖像處理技術(shù)的機(jī)場道面FOD異物檢測方法，所述方法包括：采用GPS加慣性導(dǎo)航的綜合定位技術(shù)對檢測車輛進(jìn)行位置定位，并控制千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集，得到采集的圖像數(shù)據(jù)和定位數(shù)據(jù)；對采集的圖像進(jìn)行預(yù)處理；對預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，基于卷積神經(jīng)網(wǎng)絡(luò)對劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的FOD異物。能夠快速精確的對檢測車輛進(jìn)行定位，對采集的圖像進(jìn)行預(yù)處理能夠有效去除圖像受光照不均的影響和拉槽的干擾，快速準(zhǔn)確的提取道面圖像中的顯著區(qū)域，從而快速準(zhǔn)確的確定顯著區(qū)域中的FOD異物。
【專利說明】
一種基于圖像處理技術(shù)的機(jī)場道面FOD異物檢測方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及機(jī)場道路檢測技術(shù)領(lǐng)域，特別是指一種基于圖像處理技術(shù)的機(jī)場道面 F0D異物檢測方法。
【背景技術(shù)】
[0002] 近年來，F(xiàn)0D(Foreign Object Debris)可以理解是跑道運(yùn)行過程中所有出現(xiàn)在跑 道上可能對運(yùn)行安全造成危害的物品，常見的F0D包括道面脫落的碎塊、石子，航空器、勤務(wù) 車輛丟失的零件或碎片或者從其他地方帶來并丟失在跑道上的物品如貨物行李的包裝扎 帶，人員在跑道上活動時遺失的隨身物品，鳥或者其他小動物尸體，以及可能被風(fēng)吹來的生 活垃圾。F0D來源廣泛，形狀和類型眾多，形態(tài)特征復(fù)雜。
[0003] 道面異物可能以三種形式直接影響航空安全:在氣流的作用下打擊高速運(yùn)動的飛 機(jī)，造成蒙皮損傷;或者被吸進(jìn)發(fā)動機(jī)，造成發(fā)動機(jī)損傷;劃傷或者刺傷高速運(yùn)動的飛機(jī)輪 胎，嚴(yán)重時造成爆胎，進(jìn)而可能導(dǎo)致機(jī)毀人亡的事故。2000年7月25日法航4590航班"協(xié)和" 式超音速客機(jī)起飛時墜毀事件，是道面異物危害航空安全的典型案例。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明要解決的技術(shù)問題是提供一種基于圖像處理技術(shù)的機(jī)場道面F0D異物檢測 方法，能夠基于圖像處理快速準(zhǔn)確的機(jī)場道面F0D異物。
[0005] 為解決上述技術(shù)問題，本發(fā)明的實施例提供一種基于圖像處理技術(shù)的機(jī)場道面 F0D異物檢測方法，所述基于圖像處理技術(shù)的機(jī)場道面F0D異物檢測方法包括：
[0006] 采用GPS加慣性導(dǎo)航的綜合定位技術(shù)對檢測車輛進(jìn)行位置定位，并控制千兆網(wǎng)工 業(yè)相機(jī)進(jìn)行圖像采集，得到采集的圖像數(shù)據(jù)和定位數(shù)據(jù)；
[0007] 對采集的圖像進(jìn)行預(yù)處理，所述預(yù)處理包括對采集圖像中機(jī)場道面圖像增強(qiáng)、機(jī) 場道面圖像分割和機(jī)場道面拉槽角度的計算中的至少一種；
[0008] 對預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，基于卷 積神經(jīng)網(wǎng)絡(luò)對劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的F0D異物。
[0009] 優(yōu)選的，所述采用GPS加慣性導(dǎo)航的綜合定位技術(shù)進(jìn)行位置定位，并控制千兆網(wǎng)工 業(yè)相機(jī)進(jìn)行圖像采集，包括：
[0010] 利用差分GPS基站與檢測車輛上的差分GPS移動站配合，結(jié)合MEMS慣導(dǎo)技術(shù)對檢測 車輛的位置和車輛姿態(tài)進(jìn)行定位；
[0011] 基于檢測車輛的位置定位控制千兆網(wǎng)工業(yè)相機(jī)按照預(yù)先設(shè)定的間隔距離閾值進(jìn) 行圖像采集。
[0012] 優(yōu)選的，所述采用GPS加慣性導(dǎo)航的綜合定位技術(shù)對檢測車輛進(jìn)行位置定位，并控 制千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集，得到采集的圖像數(shù)據(jù)和定位數(shù)據(jù)包括：
[0013] 利用四臺千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集。
[0014] 優(yōu)選的，所述對采集圖像中機(jī)場道面圖像增強(qiáng)，包括：
[0015] 采用直方圖均衡化方法對道面圖像進(jìn)行處理；
[0016] 采用頻域增強(qiáng)的方法對拉槽進(jìn)行過濾。
[0017] 優(yōu)選的，所述對采集圖像中機(jī)場道面圖像分割，包括：
[0018] 利用邊緣檢測算子和CB形態(tài)學(xué)對采集圖像中機(jī)場道面圖像分割。
[0019] 優(yōu)選的，所述對采集圖像中機(jī)場道面拉槽角度的計算，包括：
[0020] 利用Radon變換計算采集圖像中機(jī)場道面拉槽角度。
[0021]優(yōu)選的，所述對預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性 區(qū)域，包括：
[0022]對輸入圖像I(x)進(jìn)行二維離散傅里葉變換，將圖像從空間譜變換到頻率譜，然后 計算圖像的幅值，并對幅值取對數(shù)，得到log譜L(f)。
[0023]均值化的頻譜：
[0024] A(f)=R(S[I(x)])
[0025] 相譜：
[0026] P(f)=X(S[I(x)])
[0027] A(f):圖像I(x)的傅里葉變換的頻譜
[0028] P(f):圖像I(x)的傅里葉變換的相譜
[0029] 對數(shù)頻譜：
[0030] L(f)=log(A(f))
[0031]譜冗余：
[0032] R(f)=L(f)-hn(f)*L(f)
[0033] hn(f):大小為n*n均值模板
[0034] 顯著圖：
[0035] S(x)= |F_1[exp{R(f)+P(f)}] |2
[0036]優(yōu)選的，所述基于卷積神經(jīng)網(wǎng)絡(luò)對劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域 內(nèi)的F0D異物，包括：
[0037]根據(jù)現(xiàn)有機(jī)場道面數(shù)據(jù)設(shè)計卷積神經(jīng)網(wǎng)絡(luò)。
[0038] 優(yōu)選的，所述卷積神經(jīng)網(wǎng)絡(luò)包括:3個卷積層和3個pooling層，卷積層和pooling層 相互交替，每個卷積層后都有一個非線性層ReLU層，最后一個Pooling層連接兩個全連接 層，卷積神經(jīng)網(wǎng)絡(luò)各層配置參數(shù)如下：
[0039] 第一層為卷積層，卷積層的Pad為0，Stride為1，kernel為256*5*5;
[0040]第二層為Max Pooling層，Pad為0，stride為2，kernel為256*2*2;
[0041 ] 第三層為卷積層，卷積層的Pad為0，stride為0，Kernel為512*5*5;
[0042]第四層為Max Pooling層，Pad為0，stride為2，kernel為512*2*2;
[0043] 第五層為卷積層，卷積層的Pad為1，stride為3，Kernel為1024*3*3;
[0044]第六層為Max Pooling層，Pad為0，stride為2，kernel為 1024*2*2;
[0045] 第七層為全連接層(full connection)，隱含層神經(jīng)元數(shù)量為4096;
[0046]第八層為全連接層(full connection)，隱含層神經(jīng)元數(shù)量為3;
[0047]第九層為sof tmax層，輸出每個類別的概率。
[0048]優(yōu)選的，所述對預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性 區(qū)域，基于卷積神經(jīng)網(wǎng)絡(luò)對劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的FOD異物之 后，包括：
[0049]采用圖像金字塔結(jié)構(gòu)存儲并管理采集的圖像數(shù)據(jù)、定位數(shù)據(jù)和F0D檢測數(shù)據(jù)。
[0050] 本發(fā)明的上述技術(shù)方案的有益效果如下：
[0051] 上述方案中，利用GPS加慣性導(dǎo)航的綜合定位技術(shù)對檢測車輛進(jìn)行位置定位，能夠 快速精確的對檢測車輛進(jìn)行定位，利用千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集能夠快速獲取高質(zhì)量 的圖像數(shù)據(jù)，對采集的圖像進(jìn)行預(yù)處理能夠有效去除圖像受光照不均的影響和拉槽的干 擾，基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，能夠快速準(zhǔn)確的提取道面圖像中的 顯著區(qū)域，基于卷積神經(jīng)網(wǎng)絡(luò)對劃分的顯著性區(qū)域進(jìn)行分類，能夠快速準(zhǔn)確的確定顯著區(qū) 域中的F0D異物。
【附圖說明】
[0052]圖1為本發(fā)明實施例的基于圖像處理技術(shù)的機(jī)場道面F0D異物檢測方法流程圖。
【具體實施方式】
[0053]為使本發(fā)明要解決的技術(shù)問題、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖及具 體實施例進(jìn)行詳細(xì)描述。
[0054]如圖1所示，本發(fā)明實施例一種基于圖像處理技術(shù)的機(jī)場道面F0D異物檢測方法， 所述基于圖像處理技術(shù)的機(jī)場道面F0D異物檢測方法包括：
[0055] 步驟101:采用GPS加慣性導(dǎo)航的綜合定位技術(shù)對檢測車輛進(jìn)行位置定位，并控制 千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集，得到采集的圖像數(shù)據(jù)和定位數(shù)據(jù)。
[0056] 其中，所述采用GPS加慣性導(dǎo)航的綜合定位技術(shù)進(jìn)行位置定位，并控制千兆網(wǎng)工業(yè) 相機(jī)進(jìn)行圖像采集，可以包括：
[0057]利用差分GPS基站與檢測車輛上的差分GPS移動站配合，結(jié)合MEMS慣導(dǎo)技術(shù)對檢測 車輛的位置和車輛姿態(tài)進(jìn)行定位；
[0058]具體的，差分GPS移動站可以設(shè)置有精確的位置脈沖同步系統(tǒng)。差分GPS移動基于 差分GPS和MEMS慣導(dǎo)技術(shù)敏感檢測車的精確位置和車輛姿態(tài)，位置精度可以為2cm，姿態(tài)精 度可以為0.1° ;同時可以與車載計算機(jī)進(jìn)行實時通信。
[0059] 采用GPS加慣性導(dǎo)航的綜合定位技術(shù)其性能指標(biāo)可以下：
[0060] 1基于差分GPS，使車輛位置精度優(yōu)于2cm，車輛姿態(tài)精度優(yōu)于0.1°。
[0061] 2相機(jī)驅(qū)動脈沖發(fā)生時刻與差分GPS的數(shù)據(jù)解算時刻的同步誤差小于2ms。
[0062] 3綜合時間誤差、延遲誤差和GPS定位誤差，使相機(jī)照片的位置誤差優(yōu)于10cm。
[0063] 4相機(jī)驅(qū)動脈沖發(fā)生速度根據(jù)車輛速度自動調(diào)整。
[0064] 5GPS移動站的最高輸出頻率需達(dá)到100Hz。
[0065]基于檢測車輛的位置定位控制千兆網(wǎng)工業(yè)相機(jī)按照預(yù)先設(shè)定的間隔距離閾值進(jìn) 行圖像采集。
[0066]具體的，可以利用四臺千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集，千兆網(wǎng)工業(yè)相機(jī)可以選用 大恒GT2050相機(jī)，并可以通過千兆網(wǎng)口傳輸數(shù)據(jù)。千兆網(wǎng)工業(yè)相機(jī)相機(jī)觸發(fā)可以按照位置 進(jìn)行同步觸發(fā)，即檢測車行駛設(shè)定的距離之后，控制器觸發(fā)相機(jī)拍攝一幀圖片。車速變快， 行駛設(shè)定距離所花費(fèi)的時間變短，則相機(jī)的觸發(fā)間隔也隨之變短;車速變慢，行駛設(shè)定距離 所花費(fèi)的時間變長，則相機(jī)的觸發(fā)間隔也隨之變長。在相機(jī)進(jìn)行照射前可以采用TenenGrad 對焦算法、Vol lath對焦算法和Squared-Gradient對焦算法中的至少一種進(jìn)行對焦，并選取 14-16幀之間的圖像認(rèn)定為清晰圖像。
[0067]步驟102:對采集的圖像進(jìn)行預(yù)處理，所述預(yù)處理包括對采集圖像中機(jī)場道面圖像 增強(qiáng)、機(jī)場道面圖像分割和機(jī)場道面拉槽角度的計算中的至少一種。
[0068]其中，優(yōu)選的，所述對采集圖像中機(jī)場道面圖像增強(qiáng)，可以包括：
[0069]采用直方圖均衡化方法對道面圖像進(jìn)行處理；
[0070] 采用頻域增強(qiáng)的方法對拉槽進(jìn)行過濾；
[0071] 對采集圖像中機(jī)場道面圖像分割，可以包括：
[0072] 利用邊緣檢測算子和CB形態(tài)學(xué)對采集圖像中機(jī)場道面圖像分割；
[0073] 對采集圖像中機(jī)場道面拉槽角度的計算，可以包括：
[0074]利用LBP算子和Radon變換計算采集圖像中機(jī)場道面拉槽角度。
[0075]步驟103:對預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū) 域，基于卷積神經(jīng)網(wǎng)絡(luò)對劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的F0D異物。
[0076]其中，可以在進(jìn)行位置定位和圖像采集的同時，對采集的圖像進(jìn)行預(yù)處理，并對預(yù) 處理后的圖像進(jìn)行F0D異物檢測，當(dāng)檢測到F0D異物時發(fā)出警報，還可以利用GPU加速對預(yù)處 理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，基于卷積神經(jīng)網(wǎng)絡(luò)對劃 分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的F0D異物。
[0077]本發(fā)明實施例的基于圖像處理技術(shù)的機(jī)場道面F0D異物檢測方法，利用GPS加慣性 導(dǎo)航的綜合定位技術(shù)對檢測車輛進(jìn)行位置定位，能夠快速精確的對檢測車輛進(jìn)行定位，利 用千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集能夠快速獲取高質(zhì)量的圖像數(shù)據(jù)，對采集的圖像進(jìn)行預(yù)處 理能夠有效去除圖像受光照不均的影響和拉槽的干擾，基于SR的顯著性模型算法提取并劃 分顯著性區(qū)域，能夠快速準(zhǔn)確的提取道面圖像中的顯著區(qū)域，基于卷積神經(jīng)網(wǎng)絡(luò)對劃分的 顯著性區(qū)域進(jìn)行分類，能夠快速準(zhǔn)確的確定顯著區(qū)域中的F0D異物。
[0078] (1)檢測精度:可檢測寬度方向最小尺寸多2mm的道面異常，包括道面異物。
[0079] (2)道面異物檢測響應(yīng)速度:彡5秒
[0080] (3)單程檢測寬度可以為:5m [0081 ] (4)檢測車時速可以為:50km
[0082] (5)單程寬度可以為：5m
[0083]本發(fā)明實施例的基于圖像處理技術(shù)的機(jī)場道面F0D異物檢測方法，對采集的圖像 進(jìn)行預(yù)處理過程中，采用直方圖均衡化方法對道面圖像進(jìn)行處理，可以包括：
[0084]步驟201:列出原始圖像的灰度級fj，j = 0，l，…，L-1，其中L是灰度級的個數(shù)。
[0085]步驟202:統(tǒng)計各灰度級的像素數(shù)目如，j = 0，1，…，L-1。
[0086]步驟203:計算原始圖像直方圖各灰度級的頻數(shù)Pf(fj)=nj/n，j = 0，l，…，L-1，其 中n為原始圖像總的像素數(shù)目。 k
[0087] 步驟204:計算累計分布函數(shù). ni ,, j=0 ，y = 0，l,…，1一1〇
[0088]步驟205:應(yīng)用以下公式計算映射輸出圖像的灰度級gi，i=0，l，…，P-1，P為輸出 圖像灰度級的個數(shù)：
[0089] gi = INT [ ( gmax-gmin) C ( f ) +gmin+0.5 ]
[0090] 其中，INT為取整符號。
[0091] 步驟206:統(tǒng)計映射后各灰度級的像素數(shù)目m，i = 0，1，…，p-l。
[0092] 步驟207:計算輸出圖像直方圖_ i = O
[0093]步驟208:用灼和gl的映射關(guān)系修改原始圖像的灰度級，從而獲得直方圖近似為均 勻分布的輸出圖像。
[0094] 本實施例中，通過進(jìn)行采用直方圖均衡化方法對道面圖像進(jìn)行處理，增強(qiáng)了原始 圖像對比度，有利于后續(xù)拉槽角度的計算。
[0095] 采用頻域增強(qiáng)的方法對拉槽進(jìn)行過濾，可以包括：
[0096] 設(shè)函數(shù)f(x，y)與線性位不變算子h(x，y)的卷積結(jié)果是g(x，y)，即有g(shù)(x，y)=h(x， y)*f (x，y)，那么根據(jù)卷積定理在頻域的性質(zhì)有：
[0097] G(u，v) =H(u，v)F(u，v)
[0098] 其中，G(u，v)，H(u，v)，F(xiàn)(u，v)分別是g(x，y)，h(x，y)，f(x，y)的傅里葉變換。
[0099]從線性系統(tǒng)理論的角度看，H(u，v)為轉(zhuǎn)移函數(shù)。在具體的增強(qiáng)應(yīng)用中，f(x，y)是給 定的（所以F(u，v)可利用變換得到），需要確定的是H(u，v)，這樣具有所需特性的g(x，y)就 可由式:G(u，v) =H(u，v)F(u，v)算出G(u，v)，從而得到：
[0100] g(x,y) =F_1[H(u,v)F(u,v)]
[0101] 根據(jù)以上的討論，在頻率域中進(jìn)行增強(qiáng)是相當(dāng)可觀的，其主要步驟有：
[0102] (1)計算需增強(qiáng)圖的傅立葉變換；
[0103] (2)將其與1個轉(zhuǎn)移函數(shù)相乘；
[0104] (3)再將結(jié)果傅立葉反變換以得到增強(qiáng)的圖。
[0105] 常用頻域增強(qiáng)方法有:低通濾波、高通濾波、帶通和帶阻濾波、同態(tài)濾波。
[0106] (a)低通濾波
[0107] 圖像中的邊緣和噪聲都對應(yīng)圖像傅立葉變換中的高頻部分，所以如要在頻域中削 弱其影響就要設(shè)法減弱這部分頻率的分量。根據(jù)式6(1 1，7)=11(11，7奸(11，7)我們需要選擇1 個合適的H(u，v)以得到削弱F(u，v)高頻分量G(u，v)。
[0108]理想低通濾波器
[0109] 1個2-D理想低通濾波器的轉(zhuǎn)移函數(shù)滿足下列條件：
[\,D(u,v)<D0
[0110] H(u,v) = \ \〇,D(u,v)>D0
[0111] 其中，Do為1個非負(fù)整數(shù)。
[0112] (2)巴特沃斯低通濾波器
[0113]物理上可與實現(xiàn)的一種低通濾波器是巴特沃斯低通濾波器。一個階為n，截斷頻率 為Do的巴特沃斯低通濾波器的轉(zhuǎn)移函數(shù)為：
[0115]階為1的巴特沃斯低通濾波器在高低頻率間的過渡比較光滑，所以用巴特沃斯濾 波器得到的輸出圖其振鈴效應(yīng)不明顯。
[0116] (a)高通濾波
[0117] (b)理想高通濾波器
[0118] 1個2-D理想高通濾波器的轉(zhuǎn)移函數(shù)滿足下列條件：
[0119]
[l,D(u,v)>D0
[0120] (1)巴特沃斯高通濾波器
[0121] 一個階為n，截斷頻率為Do的巴特沃斯高通濾波器的轉(zhuǎn)移函數(shù)為：
[0123] 階為1的巴特沃斯高通濾波器與巴特沃斯低通濾波器類似，高通的巴特沃斯濾波 器在通過和濾掉的頻率之間也沒有不連續(xù)的分界。由于在高低頻率間的過渡比較光滑，所 以用巴特沃斯濾波器得到的輸出圖其振鈴效應(yīng)不明顯。
[0124] (a)帶通和帶阻濾波
[0125] 帶通濾波器允許一定頻率范圍內(nèi)的信號通過而阻止其它頻率范圍內(nèi)的信號通過。 與此相對應(yīng)，帶阻濾波器阻止一定頻率范圍內(nèi)的信號通過而允許其它頻率范圍內(nèi)的信號通 過。一個用于消除以uo+vo為中心，Do為半徑的區(qū)域內(nèi)所有頻率的理想帶阻濾波器的轉(zhuǎn)移函 數(shù)為： \〇,D(u,v)<D0
[0126] H(U,V) = \ ° \l,D(M，v)>D0
[0127] 其中，D(u，v) = [ (u-u0)2+(v_vo)2]1/2
[0128] 考慮到傅立葉變換的對稱性，為了消除不是以原點為中心的給定區(qū)域內(nèi)率，帶阻 濾波器必須兩兩對稱地工作，即上兩式需要改成：
[0129] =
[_1,其他
[0130] 其中，
[0131 ] Di(u,v) = [ (u-u0)2+(v-vo)2]1/2
[0132] D2(u，v) = [ (u-u0)2+(v_vo)2]1/2
[0133] 帶阻濾波器也可設(shè)計成能除去以原點為中心的頻率。這樣一個放射對稱的理想帶 阻濾波器的轉(zhuǎn)移函數(shù)是： 1, D(u,v)<D0-W/2
[0134] H(u,v)=' 0,D0-W/2<D(u,v)<D0+W/2 l,D(u,v)>D0+W/2
[0135] 其中W為帶的寬度，Do為放射中心。
[0136] 類似的n階放射對稱的巴特沃斯帶阻濾波器的轉(zhuǎn)移函數(shù)為
[0138] 其中，W和Do同上。
[0139] 帶通濾波器和帶阻濾波器是互補(bǔ)的。所以，如設(shè)Hr(u，v)為帶阻濾波器的轉(zhuǎn)移函 數(shù)，則對應(yīng)的帶通濾波器Hp (u，v)只需將Hr (u，v)翻轉(zhuǎn)即可：
[0140] Hp(u，v)=-[Hr(u，v)_1] = 1_Hr(u，v)
[0141]本實施例中，通過采用頻域增強(qiáng)的方法對拉槽進(jìn)行過濾，能夠有效去除平行拉槽。
[0142] 利用邊緣檢測算子和CB形態(tài)學(xué)對采集圖像中機(jī)場道面圖像分割，可以包括：
[0143] 在經(jīng)典形態(tài)學(xué)中，對不含噪灰度圖像進(jìn)行邊緣檢測，常用的算子有以下三種：
[0144] G = {f ?b)- f
[0145] G = f-(f 0b)
[0146] G = (f?b)-(J?b)
[0147] 其中，f?b為結(jié)構(gòu)元素 b對信號f?的腐蝕，/?6為結(jié)構(gòu)元素 b對信號f?的膨脹。
[0148] 以上三種形態(tài)學(xué)邊緣檢測算子可以分別提取圖像外邊緣、內(nèi)邊緣和騎跨在實際歐 氏邊界上的邊緣。
[0149] 根據(jù)CB形態(tài)學(xué)定義，由于/?部從S/?6,以上算子可改進(jìn)如下：
[0150] G = (/十劼)-/
[0151 ] G = f-(f@db)
[0152] G = (J?db、-(f?db)
[0153] 上式在去噪和邊緣定位精度方面均優(yōu)于經(jīng)典形態(tài)學(xué)邊緣檢測算子。
[0154] 對于含噪圖像，因此考慮引入開、閉運(yùn)算來抑制噪聲。CB形態(tài)學(xué)的腐蝕和開運(yùn)算可 濾除負(fù)噪聲，膨脹和閉運(yùn)算可濾除正噪聲，以級聯(lián)形式得到抗噪型邊緣檢測算子：
[0155] G = (/?6)十 a6-(/?6)x6
[0156] G = (/x 6)0 56 -(/x 6)036
[0157] G = (/ ? 6) ? 36 - (/ x b)?db
[0158] CB形態(tài)運(yùn)算結(jié)果還與連通分量的周圍環(huán)境有關(guān)。一般來說，對小結(jié)構(gòu)元素，周圍環(huán) 境要求較弱，但它可刪除的分量較小，而對大結(jié)構(gòu)元素則反之，因此引入多結(jié)構(gòu)元素可進(jìn)一 步改善效果。通過多次實驗證明，進(jìn)行二次迭代即可達(dá)到較好效果。對于個別尺寸較大、噪 聲信號較強(qiáng)的可進(jìn)行三次迭代。由CB形態(tài)學(xué)原理和經(jīng)典形態(tài)學(xué)邊緣檢測算式可得下式：
[0159] G = [(/0咚)十勻]十部2 -[(/十兩)?6J0油2
[0160] g=[(/?%)十6】十部2]十部3 -[(/十兩]?az>3
[0161] 利用下式對采集圖像中機(jī)場道面圖像分割：
[0162] G ^[(/?^)十h]十部2 -[(/?^?fcJQah
[0163] G = [(/036,)?6, ? ]?db3 -[(/?dbx)?bx?db2]?56,
[0164] 利用Radon變換計算采集圖像中機(jī)場道面拉槽角度，可以包括：
[0165] 利用下式進(jìn)行二維空間的Radon變換：
[0166] R{fix,y)} = g{t,0) = ^ J f{x,y)8{xQ,os0-\-ysm6-t)dx(fy
[0167] 其中，0<t<+①和O<0<Ji，t代表沿著直線上的距離。
[0168] 對道面圖像進(jìn)行0°~180°的投影；
[0169 ] (2)計算Radon變換域空間的一階微分；
[0170] (3)計算Radon變換域空間微分后的累加和，累加和最大的角度為a，a經(jīng)過下面的 計算后，即為拉槽的傾斜角0，拉槽方向為逆時針。 ^ fa-90°,90o<a<180° 0171] 0 = < I a+90o,0o；^a<90o
[0172]本發(fā)明實施例的基于圖像處理技術(shù)的機(jī)場道面F0D異物檢測方法，
[0173]所述對預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，可 以包括：
[0174]對輸入圖像I(x)進(jìn)行二維離散傅里葉變換，將圖像從空間譜變換到頻率譜，然后 計算圖像的幅值，并對幅值取對數(shù)，得到log譜L(f)。
[0175] 均值化的頻譜：
[0176] A(f)=R(S[I(x)])
[0177] 相譜：
[0178] P(f)=X(S[I(x)])
[0179] A(f):圖像I(x)的傅里葉變換的頻譜
[0180] P(f):圖像I(x)的傅里葉變換的相譜
[0181] 對數(shù)頻譜：
[0182] L(f)=log(A(f))
[0183] 譜冗余：
[0184] R(f)=L(f)-hn(f)*L(f)
[0185] hn(f):大小為n*n均值模板
[0186] 顯著圖：
[0187] S(x)= |F_1[exp{R(f)+P(f)}] |2
[0188] 本實施例中，對預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性 區(qū)域的檢測結(jié)果如下表：
[0189] (1)運(yùn)行時間（圖像2048*2048):
[0191] (2)檢測性能對比：
[0195]對預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，檢出率 更高檢測速度更快。
[0196] 所述基于卷積神經(jīng)網(wǎng)絡(luò)對劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的F0D 異物，可以包括：
[0197] 根據(jù)現(xiàn)有機(jī)場道面數(shù)據(jù)設(shè)計卷積神經(jīng)網(wǎng)絡(luò)。
[0198] 所述卷積神經(jīng)網(wǎng)絡(luò)包括:3個卷積層和3個pooling層，卷積層和pooling層相互交 替，每個卷積層后都有一個非線性層ReLU層，最后一個Pool ing層連接兩個全連接層，卷積 神經(jīng)網(wǎng)絡(luò)各層配置參數(shù)如下：
[01"] 第一層為卷積層，卷積層的Pad為0，Stride為1，kernel為256*5*5;
[0200]第二層為Max Pooling層，Pad為0，stride為2，kernel為256*2*2;
[0201] 第三層為卷積層，卷積層的Pad為0，stride為0，Kernel為512*5*5;
[0202]第四層為Max Pooling層，Pad為0，stride為2，kernel為512*2*2;
[0203] 第五層為卷積層，卷積層的Pad為1，stride為3，Kernel為1024*3*3;
[0204]第六層為Max Pooling層，Pad為0，stride為2，kernel為 1024*2*2;
[0205] 第七層為全連接層(full connection)，隱含層神經(jīng)元數(shù)量為4096;
[0206]第八層為全連接層(full connection)，隱含層神經(jīng)元數(shù)量為3;
[0207]第九層為softmax層，輸出每個類別的概率。
[0208]本實施例中，基于卷積神經(jīng)網(wǎng)絡(luò)對劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域 內(nèi)的F0D異物，能夠快速準(zhǔn)確的對顯著性區(qū)域進(jìn)行分類，區(qū)分F0D異物和其他干擾物，識別率 更高，識別速度更快。
[0209]本發(fā)明實施例的基于圖像處理技術(shù)的機(jī)場道面F0D異物檢測方法，所述對預(yù)處理 后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，基于卷積神經(jīng)網(wǎng)絡(luò)對劃分 的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的F0D異物之后，包括：
[0210]采用圖像金字塔結(jié)構(gòu)存儲并管理采集的圖像數(shù)據(jù)、定位數(shù)據(jù)和F0D檢測數(shù)據(jù)。
[0211]其中，原始圖像數(shù)據(jù)與F0D檢測結(jié)果可以分別用三個文件存儲相關(guān)信息，每行格式 如下：
[0212] (1)原始GPS數(shù)據(jù)文件:GPS數(shù)據(jù)采集時間，經(jīng)度，維度。
[0213] (2)F0D檢測結(jié)果文件:相機(jī)號，圖像序列號，圖像采集時間，F(xiàn)0D類型。
[0214] ⑶原始圖像數(shù)據(jù)文件:相機(jī)號，圖像序列號，圖像采集時間（原始圖像按照年_月_ 日_時_分_秒_相機(jī)號_張數(shù)的格式進(jìn)行命名）。
[0215] 使用入庫工具對四個文件進(jìn)行分析，對比，最終得到每一張圖片的綜合信息，把原 始圖像數(shù)據(jù)導(dǎo)入到服務(wù)器中，把相關(guān)圖像信息導(dǎo)入到原始圖像表中。
[0216] 本方法共設(shè)計六張表對數(shù)據(jù)進(jìn)行管理，其中虛擬道面的第3，4，5層為矢量圖。
[0217] (1)原始圖像表
[0218]圖像序列號:年_月_日_時_分_秒_相機(jī)號_張數(shù)
[0219]數(shù)據(jù)字段包括圖像序列號、圖像日期、圖像時間、方位角、圖像中心點經(jīng)度、圖像中 心點煒度、圖像分辨率(每次標(biāo)定，）、分類結(jié)果、描述文件地址、圖像存儲位置。
[0220] (2)1*1 圖像表
[0221] 首先從原始圖像數(shù)據(jù)表中讀取圖片，同一批圖，如果出現(xiàn)重復(fù)采集的情況，原始圖 像數(shù)據(jù)庫中會有不同圖像有相同坐標(biāo)位置，判斷圖像是否為感興趣區(qū)，優(yōu)先選擇感興趣區(qū) 圖像入庫，如果都是或者都不是，將較新的圖像入庫。
[0222] (3)5*5 圖像表
[0223] 將1*1圖像降采樣5倍再存入數(shù)據(jù)表中。
[0224] (4)虛擬道面的第3,4,5層圖像表
[0225] 虛擬數(shù)據(jù)表為事先畫好的矢量圖。
[0226] 本實施例中，由于機(jī)場道面特殊的幾何分布，其長寬比能達(dá)到在60:1甚至更高，所 以在顯示機(jī)場道面全景時，無需使用真實圖像，只需機(jī)場仿真圖即可。則圖像金字塔部分可 采用虛實結(jié)合的技術(shù)，在金字塔下面幾層使用真實圖像顯示，在金字塔頂端幾層采用虛擬 圖像顯示。虛擬圖像較真實圖像而言，結(jié)構(gòu)簡單、數(shù)據(jù)量小，在顯示與調(diào)度上更加方便與快 捷。
[0227] 本發(fā)明實施例的基于圖像處理技術(shù)的機(jī)場道面F0D異物檢測方法，機(jī)場道面按照 其復(fù)雜程度，可以分為三類，分別為正常道面，帶標(biāo)志線道面和帶輪胎印道面。
[0228] 進(jìn)行顯著性區(qū)域劃分結(jié)果如下：
[0229] (1)運(yùn)行時間（圖像2048*2048):
[0230] 表1運(yùn)行時間對比
[0232] ~(2)檢測性能對比:
[0233] 表2檢測性能對比
[0237] 綜上所述:SR模型性能最優(yōu)，使用SR模型對機(jī)場道面異物進(jìn)行更具體分析，分別對 正常機(jī)場道面、帶標(biāo)志線道面、帶輪胎印道面三種典型道面(見下圖）進(jìn)行顯著性檢測，檢驗 SR顯著性模型性能，具體見下表：
[0238] 表3 SR檢測結(jié)果
[0239] 正常道面
[0245] CNN分類結(jié)果如下：
[0246] Caffe深度學(xué)習(xí)開源庫是一個CPU與GPU無縫切換的庫，運(yùn)行速度很快，本實驗采用 GTX980型號的顯卡。
[0247] 表4 CNN分類結(jié)果
[0249]以上所述是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員 來說，在不脫離本發(fā)明所述原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也 應(yīng)視為本發(fā)明的保護(hù)范圍。
【主權(quán)項】
1. 一種基于圖像處理技術(shù)的機(jī)場道面FOD異物檢測方法，其特征在于，所述基于圖像處 理技術(shù)的機(jī)場道面FOD異物檢測方法包括： 采用GPS加慣性導(dǎo)航的綜合定位技術(shù)對檢測車輛進(jìn)行位置定位，并控制千兆網(wǎng)工業(yè)相 機(jī)進(jìn)行圖像采集，得到采集的圖像數(shù)據(jù)和定位數(shù)據(jù)； 對采集的圖像進(jìn)行預(yù)處理，所述預(yù)處理包括對采集圖像中機(jī)場道面圖像增強(qiáng)、機(jī)場道 面圖像分割和機(jī)場道面拉槽角度的計算中的至少一種； 對預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，基于卷積神 經(jīng)網(wǎng)絡(luò)對劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的FOD異物。2. 根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的機(jī)場道面FOD異物檢測方法，其特征在 于，所述采用GPS加慣性導(dǎo)航的綜合定位技術(shù)進(jìn)行位置定位，并控制千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖 像采集，包括： 利用差分GPS基站與檢測車輛上的差分GPS移動站配合，結(jié)合MEMS慣導(dǎo)技術(shù)對檢測車輛 的位置和車輛姿態(tài)進(jìn)行定位； 基于檢測車輛的位置定位控制千兆網(wǎng)工業(yè)相機(jī)按照預(yù)先設(shè)定的間隔距離閾值進(jìn)行圖 像米集。3. 根據(jù)權(quán)利要求1或2任意一項所述的基于圖像處理技術(shù)的機(jī)場道面FOD異物檢測方 法，其特征在于，所述采用GPS加慣性導(dǎo)航的綜合定位技術(shù)對檢測車輛進(jìn)行位置定位，并控 制千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集，得到采集的圖像數(shù)據(jù)和定位數(shù)據(jù)包括： 利用四臺千兆網(wǎng)工業(yè)相機(jī)進(jìn)行圖像采集。4. 根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的機(jī)場道面FOD異物檢測方法，其特征在 于，所述對采集圖像中機(jī)場道面圖像增強(qiáng)，包括： 采用直方圖均衡化方法對道面圖像進(jìn)行處理； 采用頻域增強(qiáng)的方法對拉槽進(jìn)行過濾。5. 根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的機(jī)場道面FOD異物檢測方法，其特征在 于，所述對采集圖像中機(jī)場道面圖像分割，包括： 利用邊緣檢測算子和CB形態(tài)學(xué)對采集圖像中機(jī)場道面圖像分割。6. 根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的機(jī)場道面FOD異物檢測方法，其特征在 于，所述對采集圖像中機(jī)場道面拉槽角度的計算，包括： 利用Radon變換計算采集圖像中機(jī)場道面拉槽角度。7. 根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的機(jī)場道面FOD異物檢測方法，其特征在 于，所述對預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，包括： 對輸入圖像IU)進(jìn)行二維離散傅里葉變換，將圖像從空間譜變換到頻率譜，然后計算 圖像的幅值，并對幅值取對數(shù)，得到log譜； 均值化的頻譜： A(f)=R(S[I(x)]) 相譜： P(f)=X(S[I(x)]) A(f):圖像I(X)的傅里葉變換的頻譜 P(f):圖像I (X)的傅里葉變換的相譜 對數(shù)頻譜： L(f ) = log(A(f)) 譜冗余： R(f)=L(f)-hn(f)*L(f) hn(f):大小為n*n均值模板 顯著圖： S(x)= |F_1[exp{R(f)+P(f)}] |28. 根據(jù)權(quán)利要求1或7任意一項所述的基于圖像處理技術(shù)的機(jī)場道面FOD異物檢測方 法，其特征在于，所述基于卷積神經(jīng)網(wǎng)絡(luò)對劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi) 的FOD異物，包括： 根據(jù)現(xiàn)有機(jī)場道面數(shù)據(jù)設(shè)計卷積神經(jīng)網(wǎng)絡(luò)。9. 根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的機(jī)場道面FOD異物檢測方法，其特征在 于，所述卷積神經(jīng)網(wǎng)絡(luò)包括:3個卷積層和3個pooling層，卷積層和pooling層相互交替，每 個卷積層后都有一個非線性層ReLU層，最后一個Pooling層連接兩個全連接層，卷積神經(jīng)網(wǎng) 絡(luò)各層配置參數(shù)如下： 第一層為卷積層，卷積層的Pad為0, Stride為I ,kernel為256*5*5; 第二層為Max Pooling層，Pad為0，stride為2,kernel為256*2*2; 第三層為卷積層，卷積層的Pad為0，stride為0 ,Kernel為512*5*5; 第四層為Max Pooling層，Pad為0，stride為2,kernel為512*2*2; 第五層為卷積層，卷積層的Pad為I ,stride為3,Kernel為1024*3*3; 第六層為Max Pooling層，Pad為0，stride為2,kernel為 1024*2*2; 第七層為全連接層(full connection)，隱含層神經(jīng)元數(shù)量為4096; 第八層為全連接層(full connection)，隱含層神經(jīng)元數(shù)量為3; 第九層為softmax層，輸出每個類別的概率。10. 根據(jù)權(quán)利要求1所述的基于圖像處理技術(shù)的機(jī)場道面FOD異物檢測方法，其特征在 于，所述對預(yù)處理后的圖像采用基于SR的顯著性模型算法提取并劃分顯著性區(qū)域，基于卷 積神經(jīng)網(wǎng)絡(luò)對劃分的顯著性區(qū)域進(jìn)行分類，確定顯著性區(qū)域內(nèi)的FOD異物之后，包括： 采用圖像金字塔結(jié)構(gòu)存儲并管理采集的圖像數(shù)據(jù)、定位數(shù)據(jù)和FOD檢測數(shù)據(jù)。
【文檔編號】G06T7/00GK105931217SQ201610210938
【公開日】2016年9月7日
【申請日】2016年4月5日
【發(fā)明人】李紅偉, 曹曉光, 張莉, 徐盛輝, 齊俊, 劉迪, 朱鴻宇, 陳柯宇, 向園, 余林佳, 龔國平
【申請人】李紅偉