一種紅外圖像與可見光圖像配準(zhǔn)方法
【專利摘要】本發(fā)明涉及一種紅外圖像與可見光圖像配準(zhǔn)方法，對輸入的紅外圖像與可見光圖像分別進(jìn)行噪聲濾波預(yù)處理，進(jìn)行邊緣檢測，將各自檢測后的邊緣進(jìn)行角點(diǎn)檢測，提取出紅外圖像與可見光圖像輪廓中的角點(diǎn)，作為配準(zhǔn)的控制點(diǎn)。采用聚類算法對提取到的角點(diǎn)進(jìn)行聚類，得到紅外圖像的第1類聚點(diǎn)、第2類聚點(diǎn)、第3類聚點(diǎn)和可見光圖像的第1類聚點(diǎn)、第2類聚點(diǎn)、第3類聚點(diǎn)。最后采用自動(dòng)配準(zhǔn)算法，對紅外圖像聚點(diǎn)與可見光圖像的聚點(diǎn)進(jìn)行匹配，完成配準(zhǔn)。本發(fā)明避免了一般基于輪廓的配準(zhǔn)方法中由于采用全部邊緣作為控制點(diǎn)進(jìn)行匹配帶來的誤差，能夠提高配準(zhǔn)精度與配準(zhǔn)速度，方法簡單，可應(yīng)用于產(chǎn)品質(zhì)量檢測、遙感，機(jī)載多源圖像融合、圖像跟蹤等民用、軍用領(lǐng)域。
【專利說明】一種紅外圖像與可見光圖像配準(zhǔn)方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種紅外圖像與可見光圖像配準(zhǔn)方法，屬于圖像處理【技術(shù)領(lǐng)域】，用于 解決紅外圖像與可見光圖像的配準(zhǔn)問題，可應(yīng)用于產(chǎn)品質(zhì)量檢測，遙感，機(jī)載多源圖像融 合、圖像跟蹤等民用或軍用領(lǐng)域。

【背景技術(shù)】
[0002] 圖像配準(zhǔn)是對取自不同時(shí)間，不同傳感器或者不同視角的同一場景的兩幅或者多 幅圖像進(jìn)行匹配的過程。將一幅圖像與另一幅圖像進(jìn)行圖像配準(zhǔn)，需對一幅圖像進(jìn)行一系 列的坐標(biāo)變換，這些變換可分為剛體變換，仿射變換，投影變換和非線性變換。目前常用的 圖像配準(zhǔn)方法可以歸結(jié)為基于灰度的圖像配準(zhǔn)方法(例如基于互相關(guān)，互信息的圖像配準(zhǔn) 方法）和基于特征(如邊緣，角點(diǎn)，輪廓或者目標(biāo)等）的圖像配準(zhǔn)方法等。
[0003] 多源圖像配準(zhǔn)是對取自不同傳感器同一場景的兩幅或多幅圖像進(jìn)行匹配的過程。 不同傳感器獲得的不同源圖像在像素的灰度分布特性上有很大差異。一般的基于灰度信息 的圖像配準(zhǔn)方法和基于頻域的圖像配準(zhǔn)方法不能很好地應(yīng)用在多源圖像配準(zhǔn)中。多源圖像 配準(zhǔn)中常用的是基于特征的圖像配準(zhǔn)方法。盡管多源圖像像素的灰度分布特性之間有很大 差異，但物體的一些明顯的輪廓在兩幅圖像中均能得到較好的保持，這些輪廓特征可以用 來作為參照來進(jìn)行圖像配準(zhǔn)。然而，圖像的邊緣多出現(xiàn)在場景中不同材質(zhì)分界面和幾何平 面的交界處，邊緣主要取決于場景中物體的材質(zhì)，在各種頻段光譜下都有較好的保持，因而 邊緣成為多模態(tài)圖像配準(zhǔn)的穩(wěn)定特征之一。但上述配準(zhǔn)算法是將全部邊緣作為控制點(diǎn)進(jìn)行 配準(zhǔn)，同一物體得到的邊緣控制點(diǎn)并不完全相同，采用全部邊緣控制點(diǎn)進(jìn)行配準(zhǔn)會(huì)影響配 準(zhǔn)的精度，配準(zhǔn)速度慢。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提供一種紅外圖像與可見光圖像配準(zhǔn)方 法，避免一般基于輪廓的配準(zhǔn)方法中由于采用全部邊緣作為控制點(diǎn)進(jìn)行匹配帶來的誤差， 能夠提高配準(zhǔn)精度與配準(zhǔn)速度，且方法簡單。
[0005] 為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案中，首先對輸入的多源圖像分別進(jìn)行噪聲濾 波預(yù)處理，以最大程度上壓制各自圖像噪聲對輪廓提取的影響；再對預(yù)處理后的多源圖像 進(jìn)行邊緣檢測，將各自檢測后的邊緣控制點(diǎn)進(jìn)行角點(diǎn)檢測，提取邊緣控制點(diǎn)中的角點(diǎn)；接著 用聚類分析的方法將提取到的角點(diǎn)進(jìn)行聚類，得到三對聚點(diǎn)；最后將紅外圖像與可見光圖 像中的聚點(diǎn)作為控制點(diǎn)實(shí)現(xiàn)配準(zhǔn)。
[0006] 本發(fā)明的一種紅外圖像與可見光圖像配準(zhǔn)方法包括以下具體步驟： (1)、圖像預(yù)處理及輪廓提取：首先采用高斯濾波的方法對原始輸入的兩幅待配準(zhǔn)多源 圖像分別進(jìn)行噪聲濾波預(yù)處理，以最大程度壓制各自圖像噪聲對輪廓提取的影響，再對預(yù) 處理后的圖像進(jìn)行輪廓提取，輪廓提取利用邊緣檢測算法。采用Canny算子對紅外圖像進(jìn) 行邊緣檢測，采用Sobel算子對可見光圖像進(jìn)行邊緣檢測，得到邊緣控制點(diǎn)。為提高配準(zhǔn)算 法的速度，只保留圖像中長度大于某一閾值的輪廓； (2) 、角點(diǎn)檢測：對上述步驟（1)邊緣控制點(diǎn)進(jìn)行角點(diǎn)檢測，設(shè)定用于提取邊緣控制點(diǎn) 灰度值的閾值，將上述步驟中得到的邊緣控制點(diǎn)的灰度值與閾值進(jìn)行對比，提取邊緣控制 點(diǎn)，如果該點(diǎn)的灰度值大于設(shè)定的閾值，則認(rèn)為該控制點(diǎn)為角點(diǎn)； (3) 、對角點(diǎn)進(jìn)行聚類：采用聚類算法對上述步驟（2)所述的角點(diǎn)進(jìn)行聚類，首 先從角點(diǎn)中任意選擇三個(gè)角點(diǎn)分別作為第1類初始聚點(diǎn)、第2類初始聚點(diǎn)、第3類 初始聚點(diǎn)，將其他角點(diǎn)分別與第1類初始聚點(diǎn)、第2類初始聚點(diǎn)、第3類初始聚點(diǎn) 之間的距離，作比較，比較進(jìn)行聚類，將其中與第1類初始聚點(diǎn)距離最小的角點(diǎn)為 第1類聚點(diǎn)，將其中與第2類初始聚點(diǎn)距離最小的角點(diǎn)為第2類聚點(diǎn)，將其中與 第3類初始聚點(diǎn)距離最小的角點(diǎn)為第3類聚點(diǎn)，然后對所有聚點(diǎn)的坐標(biāo)求平均值（

【權(quán)利要求】
1. 一種紅外圖像與可見光圖像配準(zhǔn)方法，其特征在于包括如下具體步驟： (1) 、圖像預(yù)處理及輪廓提?。菏紫炔捎酶咚篂V波的方法對原始輸入的兩幅待配準(zhǔn)多源 圖像分別進(jìn)行噪聲濾波預(yù)處理，以最大程度壓制各自圖像噪聲對輪廓提取的影響，再對預(yù) 處理后的圖像進(jìn)行輪廓提取，輪廓提取利用邊緣檢測算法，采用Canny算子對紅外圖像進(jìn) 行邊緣檢測，采用Sobel算子對可見光圖像進(jìn)行邊緣檢測，得到邊緣控制點(diǎn)，為提高配準(zhǔn)算 法的速度，只保留圖像中長度大于某一閾值的輪廓； (2) 、角點(diǎn)檢測：對上述步驟（1)邊緣控制點(diǎn)進(jìn)行角點(diǎn)檢測，設(shè)定用于提取邊緣控制點(diǎn) 灰度值的閾值，將上述步驟中得到的邊緣控制點(diǎn)的灰度值與閾值進(jìn)行對比，提取邊緣控制 點(diǎn)，如果該點(diǎn)的灰度值大于設(shè)定的閾值，則認(rèn)為該控制點(diǎn)為角點(diǎn)； (3) 、對角點(diǎn)進(jìn)行聚類：采用聚類算法對上述步驟（2)所述的角點(diǎn)進(jìn)行聚類，首 先從角點(diǎn)中任意選擇三個(gè)角點(diǎn)分別作為第1類初始聚點(diǎn)、第2類初始聚點(diǎn)、第3類 初始聚點(diǎn)，將其他角點(diǎn)分別與第1類初始聚點(diǎn)、第2類初始聚點(diǎn)、第3類初始聚點(diǎn) 之間的距離，作比較，比較進(jìn)行聚類，將其中與第1類初始聚點(diǎn)距離最小的角點(diǎn)為 第1類聚點(diǎn)，將其中與第2類初始聚點(diǎn)距離最小的角點(diǎn)為第2類聚點(diǎn)，將其中與 第3類初始聚點(diǎn)距離最小的角點(diǎn)為第3類聚點(diǎn)，然后對所有聚點(diǎn)的坐標(biāo)求平均值（
)，其中，n為聚點(diǎn)的個(gè)數(shù)，計(jì)算每類聚點(diǎn)的坐標(biāo)，得到紅外圖像第1類聚點(diǎn) 的坐標(biāo)為Gpy1)、紅外圖像第2類聚點(diǎn)的坐標(biāo)為(?,?)、紅外圖像第3類聚點(diǎn)的坐標(biāo)為 (?,y)，可見光圖像第1類聚點(diǎn)的坐標(biāo)為(￥ %)、可見光圖像第2類聚點(diǎn)的坐標(biāo)為W、 可見光圖像第3類聚點(diǎn)的坐標(biāo)為(z6,y6); (4) 、實(shí)現(xiàn)圖像自動(dòng)配準(zhǔn)： 首先采用上述步驟（3)所述的紅外圖像第1類聚點(diǎn)、紅外圖像第2類聚點(diǎn)、紅外圖像第 3類聚點(diǎn)作為配準(zhǔn)數(shù)據(jù)集，可見光圖像第1類聚點(diǎn)、可見光圖像第2類聚點(diǎn)、可見光圖像第3 類聚點(diǎn)作為待配準(zhǔn)數(shù)據(jù)集，然后利用MATLAB軟件中的cp2tf〇rm函數(shù)對兩組數(shù)據(jù)集進(jìn)行配 準(zhǔn)。
2. 如權(quán)利要求1所述的一種紅外圖像與可見光圖像配準(zhǔn)方法，其特征在于：在上述步 驟（4)中所述的利用MTLAB軟件中的cp2tf〇rm函數(shù)對兩組數(shù)據(jù)集進(jìn)行配準(zhǔn)，其具體如下： 利用MATLAB軟件中cp2tform函數(shù)由輸入的紅外圖像第1類聚點(diǎn)、紅外圖像第2類聚 點(diǎn)、紅外圖像第3類聚點(diǎn)與可見光圖像第1類聚點(diǎn)、可見光圖像第2類聚點(diǎn)、可見光圖像第 3類聚點(diǎn)生成變換結(jié)構(gòu)，實(shí)現(xiàn)紅外圖像與可見光圖像的配準(zhǔn)，具體程序如下： t_concord=cp2tform(input_points，base_points，，affine，），用紅外圖像第 1 類聚 點(diǎn)、紅外圖像第2類聚點(diǎn)、紅外圖像第3類聚點(diǎn)分別與可見光圖像第1類聚點(diǎn)、可見光圖 像第2類聚點(diǎn)、可見光圖像第3類聚點(diǎn)生成變換結(jié)構(gòu)； info=imfinfoC紅外圖像.jpg'），讀取紅外圖像的信息； registered=imtransform(unregistered,t_concord, 'XData',[Iinfo.Width], 'YData'，[Iinfo.Height]),利用變換結(jié)構(gòu)，實(shí)現(xiàn)紅外圖像與可見光圖像的配準(zhǔn)； A=imreadC可見光圖像.jpg'），讀取可見光圖像； figure;imshow(A,gray(256)) ;holdon;h=imshow(registered); set(h，'AlphaData'，0? 7)，在同一幅圖像中顯示紅外圖像與可見光圖像配準(zhǔn)之后的圖像。
【文檔編號】G06T7/00GK104268853SQ201410460000
【公開日】2015年1月7日 申請日期:2014年9月11日 優(yōu)先權(quán)日:2014年3月6日
【發(fā)明者】胡志宇, 董建敏, 張春, 劉中意 申請人:上海大學(xué)