一種基于直線段上下文的紅外與可見光異源圖像匹配方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及紅外與可見光異源圖像匹配的技術(shù)領(lǐng)域，具體地說是一種基于直線上 下文的紅外與可見光異源圖像匹配方法。
【背景技術(shù)】
[0002] 紅外與可見光圖像的匹配是異源圖像匹配的重要分支，在圖像融合、自動目標(biāo)識 另IJ、變化檢測等領(lǐng)域具有重要的應(yīng)用。紅外傳感器具有全天候工作、抗干擾能力強(qiáng)等優(yōu)點(diǎn)， 而可見光傳感器獲取的圖像具有對比度高、紋理信息豐富、圖像清晰等特點(diǎn)。在圖像融合領(lǐng) 域，為了獲取更加豐富的場景信息，需要在紅外與可見光圖像匹配的基礎(chǔ)上實(shí)現(xiàn)信息融合， 增強(qiáng)互補(bǔ)性，減少對場景分析和理解的不確定性；在自動目標(biāo)識別領(lǐng)域，需要根據(jù)可見光圖 像中已知的目標(biāo)信息，采用圖像匹配的方法從實(shí)時紅外圖像中找出對應(yīng)的目標(biāo)。由于成像 設(shè)備、所用光譜以及拍攝時間等因素的差異，紅外與可見光圖像之間通常呈現(xiàn)復(fù)雜的灰度 差異，給匹配帶來了較大的困難。紅外與可見光圖像的匹配依然是一個極具挑戰(zhàn)性的問題。
[0003] 異源圖像匹配方法基本可以分為基于區(qū)域的方法和基于特征的方法兩大類?；?于區(qū)域的方法采用灰度差、互相關(guān)、互信息等相似測度定義匹配區(qū)域之間的相似性來確定 對應(yīng)關(guān)系。但由于紅外與可見光圖像之間通?；叶茸兓瘡?fù)雜，灰度值難以反映匹配區(qū)域的 相似性。盡管互信息測度可在一定程度適應(yīng)異源圖像之間的灰度變化，但這種方法需要采 用復(fù)雜的搜索算法，效率低，并且要求好的初始化，否則容易陷入局部極值?；谔卣鞯姆?法通過提取角點(diǎn)、分支點(diǎn)、高斯差分極值點(diǎn)等穩(wěn)定性特征，并構(gòu)建特征描述子來實(shí)現(xiàn)圖像匹 配。與基于區(qū)域的方法相比，基于特征的方法在計(jì)算效率、形變適應(yīng)能力和抗局部遮擋等方 面具有一定的優(yōu)勢，常用于異源圖像匹配。傳統(tǒng)的特征描述子（比如經(jīng)典的SIFT、SURF等 算子）是針對同源圖像匹配設(shè)計(jì)的，通常利用特征點(diǎn)附近的梯度分布屬性來構(gòu)建描述子， 不具有模態(tài)不變性，當(dāng)用于紅外與可見光圖像匹配時，往往誤匹配率較高，甚至匹配失敗。 場景分界線通常對應(yīng)著圖像中的邊緣（可用直線段近似表達(dá)），并且較為穩(wěn)定地存在于異 源圖像中。

【發(fā)明內(nèi)容】

[0004] 針對現(xiàn)有技術(shù)的不足，本發(fā)明提供一種精確、快速的紅外與可見光圖像的匹配方 法。
[0005] 本發(fā)明為實(shí)現(xiàn)上述目的所采用的技術(shù)方案是：一種基于直線段上下文的紅外與可 見光異源圖像匹配方法，包括以下過程：
[0006] 步驟1 :采用LSD算法檢測出圖像中的直線段，并按照幾何約束規(guī)則挑選出關(guān)鍵直 線段；
[0007] 步驟2 :通過改進(jìn)的圖像角點(diǎn)檢測方法檢測角點(diǎn)；
[0008] 步驟3 :通過計(jì)算特征點(diǎn)四象限鄰域內(nèi)線段的曼哈頓距離，得到每條直線段對特 征點(diǎn)的貢獻(xiàn)，在此基礎(chǔ)上采用圓形陣列的方式，構(gòu)建基于直線段上下文的特征描述子；
[0009] 步驟4 :運(yùn)用雙向匹配策略和RANSAC算法實(shí)現(xiàn)紅外與可見光圖像的匹配。
[0010] 所述改進(jìn)的真實(shí)Harris角點(diǎn)檢測方法為：將圖像分為帶有部分重疊的子區(qū)域，則 在全局區(qū)域內(nèi)特征不顯著的點(diǎn)在局部鄰域內(nèi)成為顯著的特征點(diǎn)，再在上述每個子區(qū)域內(nèi)按 照傳統(tǒng)的Harris角點(diǎn)檢測方法提取特征點(diǎn)，保證全局范圍內(nèi)的特征點(diǎn)分布均勻。
[0011] 所述基于邊緣直線的虛擬角點(diǎn)檢測方法為：按照幾何約束規(guī)則在檢測到的邊緣直 線段中挑選出關(guān)鍵直線段，將這些直線段沿其自身方向進(jìn)行延伸，得到的交點(diǎn)即為虛擬角 點(diǎn)。
[0012] 所述幾何約束規(guī)則包括：直線段的長度不小于限定值lth;直線段之間的夾角滿足 9 thl< Θ < 0th2;直線段之間的距離d不超過限定值dth。
[0013] 所述改進(jìn)的圖像角點(diǎn)檢測方法包括改進(jìn)的真實(shí)Harris角點(diǎn)檢測方法和基于邊 緣直線的虛擬角點(diǎn)檢測方法。
[0014] 所述構(gòu)建基于線段上下文的特征描述子包括以下過程：對于單一線段分布，將空 間中抽象的一條直線段用特征向量進(jìn)行表示，并基于線段的長度1、線段的方向Θ、線段到 中心點(diǎn)的距離d三個屬性構(gòu)造一個得分函數(shù)；對于族線段分布，將每條線段分解到對應(yīng)的 象限，分別統(tǒng)計(jì)不同象限的線段分布并計(jì)算得分，以此區(qū)分不同線段的空間位置關(guān)系。
[0015] 所述直線段上下文是指：以特征點(diǎn)為中心的局部鄰域內(nèi)的線段分布，主要包括單 一線段的分布和族線段的分布，其中，單一線段分布的描述，是指將空間中抽象的一條直線 段用特征向量進(jìn)行表示；而族線段描述，是為了得到空間中不同線段之間的位置關(guān)系的數(shù) 學(xué)描述。
[0016] 所述雙向匹配策略為：在執(zhí)行了正向匹配后，互換待配準(zhǔn)圖像和參考圖像的角色， 對相同的特征點(diǎn)重新執(zhí)行匹配算法，得到反向匹配點(diǎn)集合。
[0017] 本發(fā)明具有以下有益效果及優(yōu)點(diǎn)：
[0018] 本發(fā)明在特征點(diǎn)提取的基礎(chǔ)上，利用特征點(diǎn)鄰域內(nèi)線段上下文來構(gòu)建特征描述 子，并采用雙向匹配策略和RANSAC算法實(shí)現(xiàn)紅外與可見光圖像的匹配。與其它基于特征的 方法相比，本發(fā)明的算法可以獲取到更多正確的匹配點(diǎn)對，能夠適應(yīng)灰度差異較為嚴(yán)重的 紅外與可見光圖像的精確匹配，并且在魯棒性和時間效率方面都要優(yōu)于主流異源圖像匹配 算法。
【附圖說明】
[0019] 圖1是本發(fā)明的整體流程圖；
[0020] 圖2是LSD直線段檢測結(jié)果圖，其中（a)為紅外圖像，（b)為可見光圖像；
[0021] 圖3是不同角點(diǎn)提取方法對比結(jié)果圖，其中（a)為Harris角點(diǎn)檢測結(jié)果，（b)為 改進(jìn)的Harris角點(diǎn)檢測結(jié)果；
[0022] 圖4是虛擬角點(diǎn)提取示例圖，其中（a)為紅外圖像，（b)為可見光圖像；
[0023] 圖5是綜合角點(diǎn)檢測結(jié)果圖，其中（a)為紅外圖像，（b)為可見光圖像；
[0024] 圖6是單一線段分布圖；
[0025] 圖7是線段得分函數(shù)設(shè)計(jì)圖；
[0026] 圖8是不同的線段分布對于相同的描述圖；
[0027] 圖9是四象限特征描述圖；
[0028] 圖10 (a)是同心圓陣列圖，（b)是適應(yīng)旋轉(zhuǎn)和尺度不變的同心圓陣列；
[0029] 圖11是紅外與可見光圖像匹配結(jié)果圖；
[0030] 圖12是第一組對比結(jié)果圖，其中（a)為LSS方法，（b)為LS方法，（c)為本發(fā)明方 法；
[0031] 圖13是第二組對比結(jié)果圖，其中（a)為LSS方法，（b)為LS方法，（c)為本發(fā)明方 法；
[0032] 圖14是第三組對比結(jié)果圖，其中（a)為LSS方法，（b)為LS方法，（c)為本發(fā)明方 法。
【具體實(shí)施方式】
[0033] 下面結(jié)合附圖及實(shí)施例對本發(fā)明做進(jìn)一步的詳細(xì)說明。
[0034] 本發(fā)明結(jié)合特征點(diǎn)與直線邊緣，構(gòu)建特征描述子；采用同心圓陣列方法，擴(kuò)展描述 子維數(shù)，提高匹配的魯棒性；最后，利用最近鄰匹配方法及RANSAC算法匹配，實(shí)現(xiàn)不同模態(tài) 的基準(zhǔn)圖與目標(biāo)圖的匹配，具體處理流程如圖1所示。
[0035] 1.直線段提取
[0036] 本發(fā)明采用LSD算法檢測直線段。該方法魯棒性較強(qiáng)，檢測的直線段能很好的依 附于真實(shí)邊緣，而且算法實(shí)時性較好。
[0037] LSD將邊緣描述成由梯度方向相同的像素組成的區(qū)域，通過區(qū)域生長將同梯度方 向的像素聚成一個邊緣區(qū)域，從區(qū)域中提取出直線段。圖2是采用LSD算法檢測到的紅外 與可見光直線邊緣。
[0038] 2.特征點(diǎn)檢測
[0039] 為了提高特征點(diǎn)檢測的魯棒性，本發(fā)明提出一種改進(jìn)的圖像角點(diǎn)檢測方法。
[0040] 2.1改進(jìn)的真實(shí)角點(diǎn)檢測
[0041] 傳統(tǒng)的Harris角點(diǎn)檢測方法通過計(jì)算每個像素的平均梯度平方矩陣，分析其特 征值得到特征點(diǎn)。但對于紅外圖像，該方法檢測到的特征點(diǎn)往往分布不均勻。因此，本發(fā)明 提出改進(jìn)的Harris角點(diǎn)檢測方法。將圖像分為η個部分重疊的子區(qū)域，在每個子區(qū)域內(nèi)運(yùn) 用Harris角點(diǎn)檢測方法提取特征點(diǎn)，即可保證在全局內(nèi)特征不顯著的點(diǎn)在局部鄰域內(nèi)成 為顯著的特征點(diǎn)被檢測出來，使全局范圍內(nèi)的特征點(diǎn)分布均勻。采用部分重疊的方法，可以 有效避免區(qū)域邊界上的特征點(diǎn)漏檢的發(fā)生。最后對平滑區(qū)域內(nèi)的特征點(diǎn)加以剔除，得到穩(wěn) 定的特征點(diǎn)。如圖3所示，其中，圖3(a)是采用Harris角點(diǎn)方法得到的檢測結(jié)果，圖3(b) 是采用改進(jìn)的Harris角點(diǎn)檢測方法得到的結(jié)果，可以看出，采用改進(jìn)的Harris角點(diǎn)檢測方 法能夠增強(qiáng)角點(diǎn)分布的合理性。
[0042] 2. 2虛擬角點(diǎn)檢測
[0043] 由于紅外與可見光圖像檢測到的真實(shí)角點(diǎn)分布差異性較大，而直線邊緣分布比較 一致，因此，本發(fā)明提出一種基于邊緣直線的虛擬角點(diǎn)檢測方法。虛擬角點(diǎn)是圖像中并不存 在的角點(diǎn)，是將檢測到的邊緣直線段延伸后得到的虛擬交點(diǎn)，它們與角點(diǎn)具有同樣的特性， 是圖像中比較穩(wěn)定的特征。虛擬角點(diǎn)的定義須滿足三個約束：
[0044] (1)直線段的長度不小于限定值lth。因?yàn)殚L直線段一般能反映圖像的主要結(jié)構(gòu)特 征且其提取結(jié)果比較穩(wěn)健。
[0045] (2)直線段之間的夾角滿足Θ thl < θ < Θ th2。由于圖像噪聲的影響，提取的直線 段可能在位置或者方向上和真實(shí)的情況有所偏差，如果直線段之間接近平行，即使這些偏 差很小，直線段的交點(diǎn)也會和真實(shí)的情況相差很大。
[0046] (3)直線段之間的距離d(兩條直線段上最近點(diǎn)之間的距離）不超過限定值dth。 直線段之間距離的限制可以約束同一條直線段組成的直線段對數(shù)，從而限制提取的虛擬角 點(diǎn)個數(shù)。其中，l th，9thl，0th2和dth等限定值為經(jīng)驗(yàn)常數(shù)，根據(jù)圖像特點(diǎn)人為設(shè)定。圖4(a) 和圖4(b)藍(lán)色標(biāo)記點(diǎn)分別是簡單紅外圖像與可見光圖像提取的虛擬角點(diǎn)，可以看出兩者 的虛擬角點(diǎn)具有較高的一致性。
[0047] 最后，結(jié)合真實(shí)角點(diǎn)和虛擬角點(diǎn)，本發(fā)明提取的可見光與紅外圖像角點(diǎn)檢測結(jié)果 如圖5所示。圖5(a)是紅外圖像，圖5(b)是可見光圖像，白色標(biāo)記點(diǎn)表示運(yùn)用改進(jìn)的 Harris角點(diǎn)檢測方法檢測的真實(shí)角點(diǎn)，藍(lán)色標(biāo)記點(diǎn)表示檢測的虛擬角點(diǎn)，可以看出，藍(lán)色標(biāo) 記點(diǎn)的分布具有較高的一致性。
[0048] 3.特征描述