一種基于跑道邊界增強(qiáng)的飛機(jī)著陸視覺增強(qiáng)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺圖像處理技術(shù)領(lǐng)域，涉及一種基于跑道邊界增強(qiáng)的飛機(jī)著 陸視覺增強(qiáng)方法，可以廣泛應(yīng)用于飛行員視覺增強(qiáng)系統(tǒng)（EVS)、車輛視覺導(dǎo)航等領(lǐng)域。
【背景技術(shù)】
[0002] 飛行員在著陸過程中，天氣因素是影響其正常著陸的主要原因之一，尤其是在霧、 雨、雪、沙塵等惡劣天氣下，跑道及其周圍的指示信號的可視性變差，導(dǎo)致飛行員通過視覺 獲取的跑道及周圍信息不足，無法正常降落。另外，夜晚降落也存在光線暗，可視性低的問 題。因此，提高機(jī)場跑道環(huán)境的可視性，增強(qiáng)飛行員的視覺感知具有重要現(xiàn)實(shí)意義。
[0003] 飛行員視覺增強(qiáng)，是利用各種傳感器和先進(jìn)技術(shù)，增強(qiáng)飛行員在惡劣天氣條件下 以及暗光線條件下的視覺效果。以往的"視景系統(tǒng)"概念，就是為解決類似問題而提出的。 其基本思路就是采用前視探測傳感器實(shí)時(shí)獲取機(jī)場跑道及其周邊區(qū)域的高分辨率圖像，并 通過適當(dāng)?shù)男畔?、圖像處理與融合形成易于飛行員理解的真實(shí)場景圖像，從而使飛行員能 透過云霧等惡劣天氣看清跑道并正確地操縱飛機(jī)完成進(jìn)場著陸。要能生成滿足要求的視景 系統(tǒng)，可以通過視景合成或視覺增強(qiáng)的方式。對于熱紅外波段和可見光波段圖像，其物理 成像特性完全不同。可見光成像若光照適宜，圖像對比度相對較高，包含地面的很多細(xì)節(jié)信 息，但若碰到惡劣天氣以及夜晚等光線很暗的情況，成像結(jié)果會(huì)受到極大影響，難以分辨識(shí) 別地面目標(biāo)。而紅外成像利用的是物體的熱輻射特性獲取細(xì)節(jié)，因此受氣候和光照的影響 小，感興趣的目標(biāo)往往在圖像中呈現(xiàn)出高亮度、容易分辨的特點(diǎn)。
[0004] 以往已有不少針對機(jī)場跑道識(shí)別定位的研宄，但是大多為一些新理論或數(shù)學(xué)工具 的應(yīng)用，較少針對具體應(yīng)用需求和實(shí)際的有效方法。這些方法均存在一些固有缺陷：首 先，以往研宄多針對兩幅或幾幅靜態(tài)圖像研宄，而飛機(jī)著陸過程中是連續(xù)的視頻圖像，與靜 態(tài)圖像相比，還多了時(shí)間維的信息。如果還用針對靜態(tài)圖像的機(jī)場檢測方法逐幀進(jìn)行識(shí)別 定位，那么，一是不能充分利用時(shí)間維上的信息（如幀間相關(guān)性）指導(dǎo)識(shí)別定位；二是逐幀 孤立跑道檢測計(jì)算量巨大，速度慢；再者，飛行員視覺增強(qiáng)需要處理算法具有很好的實(shí)時(shí) 性，以滿足應(yīng)用需要。這在保證算法效果的同時(shí)對計(jì)算效率、存儲(chǔ)空間等均提出了更為嚴(yán)格 的要求。

【發(fā)明內(nèi)容】

[0005] 要解決的技術(shù)問題
[0006] 為了避免現(xiàn)有技術(shù)的不足之處，本發(fā)明提出一種基于跑道邊界增強(qiáng)的飛機(jī)著陸視 覺增強(qiáng)方法，用于飛行員著陸視覺增強(qiáng)的前視圖像中跑道定位跟蹤。
[0007] 技術(shù)方案
[0008] -種基于跑道邊界增強(qiáng)的飛機(jī)著陸視覺增強(qiáng)方法，其特征在于步驟如下：
[0009] 步驟1、檢測首幀視頻圖像中跑道邊界：對首幀視頻圖像進(jìn)行降噪預(yù)處理，利 用LSD直線檢測算法進(jìn)行處理得到所有的直線段集合L = ΙΛ，12, 13,......}，然后利用 直線的斜率ki、中點(diǎn)位置（xim, yim)、長度Si,采用約束函數(shù)Iinei= f i Qii, (xim, yim), Si)， AQii, (Xin^yilXsi)進(jìn)行約束，得到首幀圖像中跑道的兩條邊界直線line n，Iinei2;
[0010] 步驟2、選擇跑道邊界直線上跟蹤點(diǎn)：對于四個(gè)采樣點(diǎn)（Xl，yi)，（x 2, y2)和（x3, y3)， (x4, y4)，在以下規(guī)則確定的區(qū)間內(nèi)隨機(jī)選取：
【主權(quán)項(xiàng)】
1. 一種基于跑道邊界增強(qiáng)的飛機(jī)著陸視覺增強(qiáng)方法，其特征在于步驟如下： 步驟1、檢測首幀視頻圖像中跑道邊界：對首幀視頻圖像進(jìn)行降噪預(yù)處理，利用LSD 直線檢測算法進(jìn)行處理得到所有的直線段集合L = (Ipl2lI3,......}，然后利用直 線的斜率Iii、中點(diǎn)位置（xim, yim)、長度Si,采用約束函數(shù)Iinei= f i Qii, (xim, yim), Si)， AQii, (Xin^yilXsi)進(jìn)行約束，得到首幀圖像中跑道的兩條邊界直線line n，Iinei2; 步驟2、選擇跑道邊界直線上跟蹤點(diǎn)：對于四個(gè)采樣點(diǎn)（Xl，yi)，（x2，y 2)和（x3，y3)， (x4, y4)，在以下規(guī)則確定的區(qū)間內(nèi)隨機(jī)選取：
其中：(?,%)為兩跑道邊界的交點(diǎn)山n、Li2分別為兩條邊界直線line 長度； 跑道邊界下端與圖像下側(cè)邊界交點(diǎn)為（xn，yn)，（xi2，y i2) ;Lxil，Lxi2和Lyil，Lyi2分別為兩跑 道邊界直線段的端點(diǎn)橫、縱坐標(biāo)差差； 兩跑道邊界直線方程的矩陣表示為： Y = KX+B 其中：K為斜率矩陣，B為截距矩陣。由采樣點(diǎn)矩陣[X1 x2 x3 x4]T，Iiy1 y2 y3 y4]T確定 兩跑道邊界直線； 步驟3、在下一幀時(shí)對跑道采樣點(diǎn)跟蹤3 :對步驟2得到的4個(gè)采樣點(diǎn)分別設(shè)置采樣窗 Zi, i = 1,2,3,4 ； 利用LSD直線檢測算法對每一個(gè)采樣窗提取直線，利用下式對檢測的直線集合進(jìn)行篩 選，在采樣窗中得到準(zhǔn)確目標(biāo)直線（：
其中，（Xi^i)為當(dāng)前矩形采樣窗左上頂點(diǎn)的坐標(biāo);WilHiS當(dāng)前矩形采樣窗的長和寬； (文,歹)為候選直線集合中直線段的中點(diǎn)坐標(biāo)；γ i為候選直線段與矩形采樣窗中心的位置 差閾值，利用矩形采樣窗的局部最優(yōu)進(jìn)行約束；λ i為候選直線的長度閾值；(X lrft，yleft)， (\ight，y&ht)分別為候選直線段的兩端點(diǎn)坐標(biāo)；為在上一幀中采樣點(diǎn)所在直線的斜 率；n i為兩幀之間的斜率差閾值，利用所在直線的全局最優(yōu)進(jìn)行進(jìn)一步約束； 再提取目標(biāo)直線段中點(diǎn)作為此幀圖像中跑道邊界的一個(gè)跟蹤點(diǎn)：
其中：(xt，yt)為本矩形采樣窗內(nèi)采樣點(diǎn)的最終跟蹤結(jié)果； 所述矩形采樣窗Zi的長寬分別為H^wi,其長寬關(guān)系為A= (l+θ JHi/IkiI,其中：θ i 為比例裕度；1^為矩形米樣窗對應(yīng)米樣點(diǎn)所在直線的斜率； 由此得到本幀4個(gè)采樣點(diǎn)的跟蹤結(jié)果分別為：(X1, Y1)，（x2, y2)，（x3, y3)，（x4, y4); 步驟4、擬合跑道的邊界直線：根據(jù)4個(gè)采樣點(diǎn)的跟蹤結(jié)果建立邊界直線方程：
1兩1 2為所得到的兩邊界直線方程，以1占1 2之間的交點(diǎn)及其與圖像邊界的交點(diǎn)確 定跑道區(qū)域（ROI); 其中A1, k2分別為兩邊界直線的斜率；b i，匕分別為兩直線在y軸上的截距； 步驟5、跑道邊界增強(qiáng)：將步驟4得到跑道兩邊界直線IdP 12，在本幀圖像上進(jìn)行標(biāo)注， 使得原圖像的跑道邊界得到增強(qiáng)； 步驟6 :針對下一幀視頻圖像，重復(fù)步驟2~步驟5,直至飛行著陸。
2. 根據(jù)權(quán)利要求1所述基于跑道邊界增強(qiáng)的飛機(jī)著陸視覺增強(qiáng)方法，其特征在于：所 述兩邊界直線上矩形采樣窗的初始長度氏為48;比例裕度Θ 1.5;候選直線段與矩形 采樣窗中心的位置差閾值YiS 候選直線的長度閾值A(chǔ)iS I;兩幀之間的 4 2 斜率差閾值n i為〇X(,_u;。
3. 根據(jù)權(quán)利要求1所述基于跑道邊界增強(qiáng)的飛機(jī)著陸視覺增強(qiáng)方法，其特征在于：所 述約束函數(shù)中的參數(shù)值為|&.|>￥，與矩形采樣窗中心位置偏差閾值為8,長度選取參數(shù)為 Si< 10〇
【專利摘要】本發(fā)明涉及一種基于跑道邊界增強(qiáng)的飛機(jī)著陸視覺增強(qiáng)方法，利用LSD直線檢測算法提取前視紅外視頻首幀圖像中的直線特征，并通過跑道邊界固有的約束條件進(jìn)行跑道邊界直線篩選。然后在跑道的兩邊界直線上各隨機(jī)選取兩個(gè)點(diǎn)，并以這些點(diǎn)為中心選取矩形采樣窗。之后對采樣窗提取梯度分布特征，并初始化目標(biāo)分類器參數(shù)。然后在后續(xù)視頻幀中對各采樣點(diǎn)進(jìn)行跟蹤定位，由各采樣點(diǎn)的跟蹤結(jié)果擬合出跑道邊界，并最終確定跑道區(qū)域及邊界。最后，跑道邊界進(jìn)行增強(qiáng)以提高飛行員的視覺感知能力。本發(fā)明方法能夠充分利用飛機(jī)前視著陸紅外視頻圖像中的幀間信息，利用目標(biāo)跟蹤方法進(jìn)行機(jī)場跑道邊界的跟蹤識(shí)別，在保證跑道邊界識(shí)別正確率的同時(shí)，極大地提高了視景增強(qiáng)算法的時(shí)間性能。
【IPC分類】G06T5-00, G06T7-00
【公開號】CN104766337
【申請?zhí)枴緾N201510205841
【發(fā)明人】李暉暉, 燕攀登, 郭雷, 胡秀華
【申請人】西北工業(yè)大學(xué)
【公開日】2015年7月8日
【申請日】2015年4月27日