專利名稱：紅外與可見光動(dòng)態(tài)圖像的融合方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理領(lǐng)域，具體地涉及一種紅外與可見光動(dòng)態(tài)圖像的融合方法及
>J-U裝直。
背景技術(shù)：
由于圖像傳感器自身物理特性、成像機(jī)理和觀察視角等各個(gè)方面的種種限制，單一的圖像傳感器往往不能夠從場(chǎng)景中提取足夠的信息，以致于很難甚至無法獨(dú)立獲得對(duì)一幅場(chǎng)景的全面描述。為了滿足實(shí)際中的需要，充分利用多傳感器的圖像信息，各種圖像融合技術(shù)快速發(fā)展起來?？梢姽鈭D像是反射圖像，高頻成分多，在一定照度下能反映場(chǎng)景的細(xì)節(jié)，但照度不佳時(shí)的可見光圖像的對(duì)比度較低；紅外圖像是輻射圖像，灰度由目標(biāo)與背景的溫差決定，不能反映真實(shí)的場(chǎng)景。單獨(dú)使用可見光或紅外圖像均存在不足之處，當(dāng)目標(biāo)本身各部位溫度變化較大或者背景熱輻射特性較弱時(shí)，紅外圖像包含的目標(biāo)或背景的細(xì)節(jié)信息較少，而可見光圖像則可含豐富的細(xì)節(jié)信息；然而，在光線較暗或有少量煙、云、霧環(huán)境中，可見光圖像質(zhì)量較差，紅外圖像中的目標(biāo)卻依然清晰可辨?？梢姽鈭D像和紅外圖像的融合就可以適應(yīng)晝夜光線變換較大的情況，并具備一定的穿透能力，從而有效地綜合和發(fā)掘各自的特征信息，增強(qiáng)場(chǎng)景理解，突出目標(biāo)，有利于在隱藏、偽裝和迷惑的情況下更快、更精確地探測(cè)目標(biāo)。圖像融合作為一種綜合處理多傳感器圖像數(shù)據(jù)的有效技術(shù)途徑日益引起人們的重視，其應(yīng)用范圍已遍及軍事、遙感、醫(yī)學(xué)、安全監(jiān)控等領(lǐng)域。圖像融合是綜合傳感器、圖像處理、信號(hào)處理、計(jì)算機(jī)及人工智能的現(xiàn)代高新技術(shù)。Pohl和Genderen對(duì)圖像融合做了如下定義圖像融合就是通過一種特定算法將兩幅或多幅圖像合成為一幅新圖像。它的主要思想是采用一定的算法，把工作在不同波長(zhǎng)范圍、具有不同成像機(jī)理的圖像傳感器對(duì)同一個(gè)場(chǎng)景的多個(gè)成像信息融合成一個(gè)新圖像，從而使融合的圖像可信度更高，模糊較少，可理解性更好，更適合人的視覺及計(jì)算機(jī)檢測(cè)、分類、識(shí)別、理解等處理。目前的圖像融合方法中存在計(jì)算效率低、實(shí)時(shí)性較差的問題。

發(fā)明內(nèi)容
本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題，特別創(chuàng)新地提出了一種紅外與可見光動(dòng)態(tài)圖像的圖像融合方法及裝置，根據(jù)圖像配準(zhǔn)參數(shù)來實(shí)現(xiàn)圖像配準(zhǔn)，極大地減小了數(shù)值變換的計(jì)算量，提高了計(jì)算速度，從而提高了圖像融合的速度，滿足了圖像處理的實(shí)時(shí)性要求。為了實(shí)現(xiàn)本發(fā)明的上述目的，本發(fā)明提供了一種紅外與可見光動(dòng)態(tài)圖像的圖像融合方法，其特征在于包括以下步驟SI、計(jì)算出圖像配準(zhǔn)參數(shù)；S2、分別采集紅外圖像和可見光圖像，并根據(jù)該圖像配準(zhǔn)參數(shù)，對(duì)該紅外圖像和可見光圖像進(jìn)行圖像配準(zhǔn)；S3、采用逐幀融合的方式對(duì)經(jīng)圖像配準(zhǔn)后的紅外圖像、可見光圖像進(jìn)行動(dòng)態(tài)圖像融合。本發(fā)明在紅外圖像和可見光圖像的圖像融合過程中，首先根據(jù)圖像配準(zhǔn)參數(shù)實(shí)現(xiàn)圖像配準(zhǔn)，極大地減小了數(shù)值變換的計(jì)算量，提高了計(jì)算速度，從而提高了圖像融合的速度，滿足了圖像處理的實(shí)時(shí)性要求。所述步驟SI為采集一副紅外圖像、一幅可見光圖像，并在紅外圖像和可見光圖像上分別選擇四個(gè)輔助點(diǎn)且該輔助點(diǎn)在紅外圖像、可見光圖像上一一對(duì)應(yīng)，根據(jù)四對(duì)輔助點(diǎn)的坐標(biāo)計(jì)算出圖像配準(zhǔn)參數(shù)縮放比例和平移量。所述步驟SI中還可建立圖像配準(zhǔn)參數(shù)查找表，從而進(jìn)一步提高圖像配準(zhǔn)效率，提高計(jì)算速度。所述步驟S2由以下步驟組成S20、繼續(xù)同步地分別繼續(xù)采集紅外圖像、可見光圖像；S21、在圖像配準(zhǔn)過程中，選擇紅外圖像和可見光圖像中一個(gè)作為參考圖像，另一個(gè)作為待配準(zhǔn)圖像，采用圖像配準(zhǔn)參數(shù)對(duì)該紅外圖像和可見光圖像進(jìn)行圖像配準(zhǔn)。在所述步驟S20中還包括對(duì)該紅外圖像、可見光圖像進(jìn)行預(yù)處理的步驟，該預(yù)處理包括圖像格式轉(zhuǎn)換、圖像去噪、圖像增強(qiáng)和圖像變換，其中該圖像格式轉(zhuǎn)換過程中將可見光圖像轉(zhuǎn)換成YUV格式的圖像；該圖像去噪過程中對(duì)紅外圖像以及YUV格式的可見光圖像的Y通道圖像進(jìn)行空間濾波；該圖像增強(qiáng)過程中對(duì)經(jīng)去噪后的紅外圖像和可見光圖像進(jìn)行直方圖增強(qiáng)；該圖像變換過程中對(duì)經(jīng)增強(qiáng)后的紅外圖像和可見光圖像進(jìn)行小波變換。在圖像配準(zhǔn)過程中首先分別對(duì)紅外圖像、可見光圖像進(jìn)行預(yù)處理，提高了圖像配準(zhǔn)的精度。所述步驟S3中針對(duì)每一幀經(jīng)圖像配準(zhǔn)后的紅外圖像和可見光圖像均按照以下步驟進(jìn)行圖像融合S30、根據(jù)經(jīng)圖像配準(zhǔn)后的紅外圖像、可見光圖像，對(duì)應(yīng)獲得紅外圖像的第一數(shù)值結(jié)果和可見光圖像的第二數(shù)值結(jié)果；S31、將該第一數(shù)值結(jié)果和第二數(shù)值結(jié)果分別進(jìn)行小波變換，對(duì)應(yīng)地獲得紅外圖像的第三數(shù)值結(jié)果和可見光圖像的第四數(shù)值結(jié)果；S32、對(duì)該第三數(shù)值結(jié)果和第四數(shù)值結(jié)果進(jìn)行融合決策處理，獲得第五數(shù)值結(jié)果；具體的步驟為比較該第三數(shù)值結(jié)果和第四數(shù)值結(jié)果的絕對(duì)值大小將絕對(duì)值較大的數(shù)值結(jié)果的加權(quán)系數(shù)設(shè)置為0. 8，將絕對(duì)值較小的數(shù)值結(jié)果的加權(quán)系數(shù)設(shè)置為0. 2 ;對(duì)該第三數(shù)值結(jié)果和第四數(shù)值結(jié)果進(jìn)行加權(quán)求和，獲得第五數(shù)值結(jié)果；S33、對(duì)該第五數(shù)值結(jié)果進(jìn)行小波逆變換，獲得紅外圖像和可見光圖像的融合圖像，由此采用逐幀融合的方式，實(shí)現(xiàn)了紅外圖像和可見光圖像的動(dòng)態(tài)圖像融合。本發(fā)明還提供了一種紅外與可見光動(dòng)態(tài)圖像的圖像融合裝置，其特征在于包括紅外成像傳感器、可見光成像傳感器、視頻處理模塊和計(jì)算機(jī)，其中所述視頻處理模塊用于控制該紅外成像傳感器、可見光成像傳感器對(duì)應(yīng)地采集紅外圖像、可見光圖像；所述計(jì)算機(jī)用于計(jì)算出圖像配準(zhǔn)參數(shù)并發(fā)送給該視頻處理模塊；所述視頻處理模塊用于對(duì)該紅外圖像、可見光圖像進(jìn)行圖像配準(zhǔn)，并將經(jīng)圖像配準(zhǔn)后的紅外圖像、可見光圖像發(fā)送給該計(jì)算機(jī)；所述計(jì)算機(jī)還用于對(duì)經(jīng)圖像配準(zhǔn)后的紅外圖像、可見光圖像進(jìn)行圖像融合。該紅外與可見光動(dòng)態(tài)圖像的圖像融合裝置還包括轉(zhuǎn)臺(tái)和轉(zhuǎn)臺(tái)控制卡，該轉(zhuǎn)臺(tái)包括轉(zhuǎn)臺(tái)本體、第一交流伺服電機(jī)和第二交流伺服電機(jī)，其中所述計(jì)算機(jī)用于發(fā)送轉(zhuǎn)臺(tái)控制指令給該轉(zhuǎn)臺(tái)控制卡；所述轉(zhuǎn)臺(tái)控制卡根據(jù)該轉(zhuǎn)臺(tái)控制指令控制該第一交流伺服電機(jī)、第二交流伺服電機(jī)動(dòng)作，從而控制該轉(zhuǎn)臺(tái)繞鉛垂軸、水平軸旋轉(zhuǎn)。由此，實(shí)現(xiàn)了對(duì)紅外成像傳感器、可見光成像傳感器的運(yùn)動(dòng)控制。該紅外成像傳感器和可見光成像傳感器并列固定在同一轉(zhuǎn)臺(tái)上，并保持兩者光軸與成像坐標(biāo)軸的平行。由此紅外成像傳感器和可見光成像傳感器成像的俯仰角和方位角一致，在圖像配準(zhǔn)過程中僅需要調(diào)整縮放比例和平移量，降低了圖像配準(zhǔn)的難度。該可見光成像傳感器配置有電動(dòng)鏡頭，且該電動(dòng)鏡頭的控制器與該視頻處理模塊連接，通過該視頻處理模塊可對(duì)該電動(dòng)鏡頭進(jìn)行縮放、變焦和光圈控制。綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是I、本發(fā)明在紅外圖像和可見光圖像的圖像融合過程中，首先根據(jù)圖像配準(zhǔn)參數(shù)實(shí)現(xiàn)圖像配準(zhǔn)，極大地減小了數(shù)值變換的計(jì)算量，提高了計(jì)算速度，從而提高了圖像融合的速度，滿足了圖像處理的實(shí)時(shí)性要求；2、在圖像配準(zhǔn)參數(shù)計(jì)算過程中還可建立圖像配準(zhǔn)參數(shù)查找表，從而進(jìn)一步提高圖像配準(zhǔn)效率，提高計(jì)算速度；3、在圖像配準(zhǔn)過程中首先分別對(duì)紅外圖像、可見光圖像進(jìn)行預(yù)處理，提高了圖像配準(zhǔn)的精度；4、該紅外與可見光動(dòng)態(tài)圖像的圖像融合裝置中將紅外成像傳感器和可見光成像傳感器并列固定在同一轉(zhuǎn)臺(tái)上，并保持兩者光軸與成像坐標(biāo)軸的平行，由此兩者成像的俯仰角和方位角一致，在圖像配準(zhǔn)過程中僅需要調(diào)整縮放比例和平移量，降低了圖像配準(zhǔn)的難度。本發(fā)明的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。


本發(fā)明的上述和/或附加的方面和優(yōu)點(diǎn)從結(jié)合下面附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中圖I是本發(fā)明的電路原理圖。
具體實(shí)施例方式下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。該紅外與可見光動(dòng)態(tài)圖像的圖像融合方法包括以下步驟SI、計(jì)算出圖像配準(zhǔn)參數(shù)；
S2、分別采集紅外圖像和可見光圖像，并根據(jù)該圖像配準(zhǔn)參數(shù)，對(duì)該紅外圖像和可見光圖像進(jìn)行圖像配準(zhǔn)；S3、采用逐幀融合的方式對(duì)經(jīng)圖像配準(zhǔn)后的紅外圖像、可見光圖像進(jìn)行動(dòng)態(tài)圖像融合。步驟SI的具體步驟為采集一副紅外圖像、一幅可見光圖像，并在紅外圖像和可見光圖像上分別選擇四個(gè)輔助點(diǎn)且該輔助點(diǎn)在紅外圖像、可見光圖像上一一對(duì)應(yīng)，根據(jù)四對(duì)輔助點(diǎn)的坐標(biāo)計(jì)算出圖像配準(zhǔn)參數(shù)縮放比例和平移量。此外，在步驟SI中，還可以根據(jù)經(jīng)驗(yàn)參數(shù)(諸如目標(biāo)距離、放大倍數(shù)、焦距等參數(shù))建立圖像配準(zhǔn)參數(shù)查找表，從而進(jìn)一步提高圖像配準(zhǔn)效率，提高計(jì)算速度。步驟S2的具體步驟為S20、繼續(xù)同步地分別繼續(xù)采集紅外圖像、可見光圖像，對(duì)該紅外圖像、可見光圖像進(jìn)行預(yù)處理，該預(yù)處理包括圖像格式轉(zhuǎn)換、圖像去噪、圖像增強(qiáng)和圖像變換，其中該圖像格式轉(zhuǎn)換過程中將可見光圖像轉(zhuǎn)換成YUV格式的圖像；該圖像去噪過程中對(duì)紅外圖像以及YUV格式的可見光圖像的Y通道圖像進(jìn)行空間濾波；該圖像增強(qiáng)過程中對(duì)經(jīng)去噪后的紅外圖像和可見光圖像進(jìn)行直方圖增強(qiáng)；該圖像變換過程中對(duì)經(jīng)增強(qiáng)后的紅外圖像和可見光圖像進(jìn)行小波變換。S21、選擇紅外圖像和可見光圖像中一個(gè)作為參考圖像，另一個(gè)作為待配準(zhǔn)圖像，采用該圖像配準(zhǔn)參數(shù)對(duì)經(jīng)預(yù)處理后的紅外圖像和可見光圖像進(jìn)行圖像配準(zhǔn)。本發(fā)明在紅外圖像和可見光圖像的圖像融合過程中，首先根據(jù)圖像配準(zhǔn)參數(shù)實(shí)現(xiàn)圖像配準(zhǔn)，極大地減小了數(shù)值變換的計(jì)算量，提高了計(jì)算速度，從而提高了圖像融合的速度，滿足了圖像處理的實(shí)時(shí)性要求。步驟S3中針對(duì)每一幀經(jīng)圖像配準(zhǔn)后的紅外圖像和可見光圖像均按照以下步驟進(jìn)行圖像融合S30、根據(jù)經(jīng)圖像配準(zhǔn)后的紅外圖像、可見光圖像，對(duì)應(yīng)獲得紅外圖像的第一數(shù)值結(jié)果和可見光圖像的第二數(shù)值結(jié)果；S31、將該第一數(shù)值結(jié)果和第二數(shù)值結(jié)果分別進(jìn)行小波變換，對(duì)應(yīng)地獲得紅外圖像的第三數(shù)值結(jié)果和可見光圖像的第四數(shù)值結(jié)果；S32、對(duì)該第三數(shù)值結(jié)果和第四數(shù)值結(jié)果進(jìn)行融合決策處理，獲得第五數(shù)值結(jié)果；具體的步驟為比較該第三數(shù)值結(jié)果和第四數(shù)值結(jié)果的絕對(duì)值大小將絕對(duì)值較大的數(shù)值結(jié)果的加權(quán)系數(shù)設(shè)置為0. 8，將絕對(duì)值較小的數(shù)值結(jié)果的加權(quán)系數(shù)設(shè)置為0. 2 ;對(duì)該第三數(shù)值結(jié)果和第四數(shù)值結(jié)果進(jìn)行加權(quán)求和，獲得第五數(shù)值結(jié)果。S33、對(duì)該第五數(shù)值結(jié)果進(jìn)行小波逆變換，獲得紅外圖像和可見光圖像的融合圖像，由此采用逐幀融合的方式，實(shí)現(xiàn)了紅外圖像和可見光圖像的動(dòng)態(tài)圖像融合。如圖I所示，該紅外與可見光動(dòng)態(tài)圖像的圖像融合裝置包括紅外成像傳感器、可見光成像傳感器、轉(zhuǎn)臺(tái)、轉(zhuǎn)臺(tái)控制卡、視頻處理模塊和計(jì)算機(jī)，其中該轉(zhuǎn)臺(tái)包括轉(zhuǎn)臺(tái)本體、第一交流伺服電機(jī)和第二交流伺服電機(jī)。該視頻處理模塊用于控制該紅外成像傳感器、可見光成像傳感器對(duì)應(yīng)地采集紅外圖像、可見光圖像；計(jì)算機(jī)用于計(jì)算出圖像配準(zhǔn)參數(shù)并發(fā)送給該視頻處理模塊；視頻處理模塊用于對(duì)該紅外圖像、可見光圖像進(jìn)行圖像配準(zhǔn)，并將經(jīng)圖像配準(zhǔn)后的紅外圖像、可見光圖像發(fā)送給該計(jì)算機(jī)；計(jì)算機(jī)還用于對(duì)經(jīng)圖像配準(zhǔn)后的紅外圖像、可見光圖像進(jìn)行圖像融合。在控制該轉(zhuǎn)臺(tái)的過程中，計(jì)算機(jī)用于發(fā)送轉(zhuǎn)臺(tái)控制指令給該轉(zhuǎn)臺(tái)控制卡；轉(zhuǎn)臺(tái)控制卡根據(jù)該轉(zhuǎn)臺(tái)控制指令控制該第一交流伺服電機(jī)、第二交流伺服電機(jī)動(dòng)作，從而控制該轉(zhuǎn)臺(tái)繞鉛垂軸、水平軸旋轉(zhuǎn)。由此，實(shí)現(xiàn)了對(duì)紅外成像傳感器、可見光成像傳感器的運(yùn)動(dòng)控制。此外，該紅外成像傳感器和可見光成像傳感器并列固定在同一轉(zhuǎn)臺(tái)上，并保持兩者光軸與成像坐標(biāo)軸的平行，由此兩者成像的俯仰角和方位角一致，在圖像配準(zhǔn)過程中僅需要調(diào)整縮放比例和平移量，降低了圖像配準(zhǔn)的難度。在本發(fā)明的第一實(shí)施例中，該紅外成像傳感器采用法國(guó)CEDIP (InfraredSystems)公司生產(chǎn)的高性能遠(yuǎn)紅外成像儀，成像儀后端具有一個(gè)模擬復(fù)合視頻輸出端口、一個(gè)八位數(shù)字視頻輸出端口和一個(gè)串行控制端口?？梢姽獬上駛鞲衅鞑捎妹绹?guó)UNIQ公司的UM-301攝像頭，它是一種具有近紅外CXD成像特性的高性能可見光成像傳感器，攝像頭后端具有一個(gè)視頻輸出接口、一個(gè)增益調(diào)節(jié)旋鈕和一個(gè)12針的連接器(包含電源接口)?？梢姽鈧鞲衅髋鋫湟粋€(gè)電動(dòng)鏡頭，電動(dòng)鏡頭的控制器通過RS232串行接口與視頻處理模塊連接，通過該視頻處理模塊可對(duì)該電動(dòng)鏡頭進(jìn)行縮放、變焦和光圈控制。轉(zhuǎn)臺(tái)采用固高公司生產(chǎn)的PT(Pan and Tilt) 二維數(shù)控轉(zhuǎn)臺(tái)。視頻處理模塊擬采用TI公司2002年生產(chǎn)的專用多媒體芯片TMS320DM642為核心芯片，視頻處理模塊通過以太網(wǎng)接口與計(jì)算機(jī)相連接。具體地，該紅外與可見光動(dòng)態(tài)圖像的圖像融合裝置的工作原理為Al、計(jì)算機(jī)發(fā)送一個(gè)圖像配準(zhǔn)指令給視頻處理模塊，視頻處理模塊根據(jù)該圖像配準(zhǔn)指令控制該紅外成像傳感器采集一副紅外圖像，可見光成像傳感器采集一幅可見光圖像，并將該紅外圖像和可見光圖像發(fā)送給計(jì)算機(jī)；此外，計(jì)算機(jī)在該紅外圖像和可見光圖像上分別選擇四個(gè)輔助點(diǎn)且該輔助點(diǎn)在紅外圖像、可見光圖像上一一對(duì)應(yīng)，計(jì)算機(jī)根據(jù)四對(duì)輔助點(diǎn)的坐標(biāo)計(jì)算出圖像配準(zhǔn)參數(shù)縮放比例和平移量，并將該圖像配準(zhǔn)參數(shù)發(fā)送給視頻處理模塊。A2、該視頻處理模塊在接收到該圖像配置參數(shù)后，控制該紅外成像傳感器、可見光成像傳感器繼續(xù)同步地對(duì)應(yīng)采集紅外圖像、可見光圖像，并對(duì)該紅外圖像、可見光圖像進(jìn)行預(yù)處理；該視頻處理模塊選擇紅外圖像和可見光圖像中一個(gè)作為參考圖像，另一個(gè)作為待配準(zhǔn)圖像，采用圖像配準(zhǔn)參數(shù)對(duì)經(jīng)預(yù)處理后的紅外圖像、可見光圖像進(jìn)行圖像配準(zhǔn)。A3、該視頻處理模塊將經(jīng)圖像配準(zhǔn)后的紅外圖像、可見光圖像發(fā)送給計(jì)算機(jī)，該計(jì)算機(jī)對(duì)應(yīng)地獲得紅外圖像的第一數(shù)值結(jié)果和可見光圖像的第二數(shù)值結(jié)果；計(jì)算機(jī)將該第一數(shù)值結(jié)果和第二數(shù)值結(jié)果分別進(jìn)行小波變換，對(duì)應(yīng)地獲得紅外圖像的第三數(shù)值結(jié)果和可見光圖像的第四數(shù)值結(jié)果；對(duì)該第三數(shù)值結(jié)果和第四數(shù)值結(jié)果進(jìn)行融合決策處理，獲得第五數(shù)值結(jié)果；對(duì)該第五數(shù)值結(jié)果進(jìn)行小波逆變換，獲得融合后圖像。按此步驟采用逐幀融合的方式實(shí)現(xiàn)動(dòng)態(tài)圖像融合。在本說明書的描述中，參考術(shù)語“一個(gè)實(shí)施例”、“一些實(shí)施例”、“示例”、“具體示例”、或“一些示例”等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中，對(duì)上述術(shù)語的示意性表述不一定指的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任何的一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。盡管已經(jīng)示出和描述了本發(fā)明的實(shí)施例，本領(lǐng)域的普通技術(shù)人員可以理解在不脫離本發(fā)明的原理和宗旨的情況下可以對(duì)這些實(shí)施例進(jìn)行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同物限定。
權(quán)利要求
1.一種紅外與可見光動(dòng)態(tài)圖像的圖像融合方法，其特征在于包括以下步驟 51、計(jì)算出圖像配準(zhǔn)參數(shù)； 52、分別采集紅外圖像和可見光圖像，并根據(jù)該圖像配準(zhǔn)參數(shù)，對(duì)該紅外圖像和可見光圖像進(jìn)行圖像配準(zhǔn)； 53、采用逐幀融合的方式對(duì)經(jīng)圖像配準(zhǔn)后的紅外圖像、可見光圖像進(jìn)行動(dòng)態(tài)圖像融合。
2.根據(jù)權(quán)利要求I所述的紅外與可見光動(dòng)態(tài)圖像的圖像融合方法，其特征在于所述步驟SI為采集一副紅外圖像、一幅可見光圖像，并在紅外圖像和可見光圖像上分別選擇四個(gè)輔助點(diǎn)且該輔助點(diǎn)在紅外圖像、可見光圖像上一一對(duì)應(yīng)，根據(jù)四對(duì)輔助點(diǎn)的坐標(biāo)計(jì)算出圖像配準(zhǔn)參數(shù)縮放比例和平移量。
3.根據(jù)權(quán)利要求2所述的紅外與可見光動(dòng)態(tài)圖像的圖像融合方法，其特征在于所述步驟SI中還可建立圖像配準(zhǔn)參數(shù)查找表。
4.根據(jù)權(quán)利要求I所述的紅外與可見光動(dòng)態(tài)圖像的圖像融合方法，其特征在于所述步驟S2由以下步驟組成 520、繼續(xù)同步地分別繼續(xù)采集紅外圖像、可見光圖像； 521、在圖像配準(zhǔn)過程中，選擇紅外圖像和可見光圖像中一個(gè)作為參考圖像，另一個(gè)作為待配準(zhǔn)圖像，采用圖像配準(zhǔn)參數(shù)對(duì)該紅外圖像和可見光圖像進(jìn)行圖像配準(zhǔn)。
5.根據(jù)權(quán)利要求4所述的紅外與可見光動(dòng)態(tài)圖像的圖像融合方法，其特征在于在所述步驟S20中還包括對(duì)該紅外圖像、可見光圖像進(jìn)行預(yù)處理的步驟，該預(yù)處理包括圖像格式轉(zhuǎn)換、圖像去噪、圖像增強(qiáng)和圖像變換，其中該圖像格式轉(zhuǎn)換過程中將可見光圖像轉(zhuǎn)換成YUV格式的圖像；該圖像去噪過程中對(duì)紅外圖像以及YUV格式的可見光圖像的Y通道圖像進(jìn)行空間濾波；該圖像增強(qiáng)過程中對(duì)經(jīng)去噪后的紅外圖像和可見光圖像進(jìn)行直方圖增強(qiáng)；該圖像變換過程中對(duì)經(jīng)增強(qiáng)后的紅外圖像和可見光圖像進(jìn)行小波變換。
6.根據(jù)權(quán)利要求I所述的紅外與可見光動(dòng)態(tài)圖像的圖像融合方法，其特征在于所述步驟S3中針對(duì)每一幀經(jīng)圖像配準(zhǔn)后的紅外圖像和可見光圖像均按照以下步驟進(jìn)行圖像融合 530、根據(jù)經(jīng)圖像配準(zhǔn)后的紅外圖像、可見光圖像，對(duì)應(yīng)獲得紅外圖像的第一數(shù)值結(jié)果和可見光圖像的第二數(shù)值結(jié)果； 531、將該第一數(shù)值結(jié)果和第二數(shù)值結(jié)果分別進(jìn)行小波變換，對(duì)應(yīng)地獲得紅外圖像的第三數(shù)值結(jié)果和可見光圖像的第四數(shù)值結(jié)果； 532、對(duì)該第三數(shù)值結(jié)果和第四數(shù)值結(jié)果進(jìn)行融合決策處理，獲得第五數(shù)值結(jié)果；具體的步驟為 比較該第三數(shù)值結(jié)果和第四數(shù)值結(jié)果的絕對(duì)值大小將絕對(duì)值較大的數(shù)值結(jié)果的加權(quán)系數(shù)設(shè)置為0. 8，將絕對(duì)值較小的數(shù)值結(jié)果的加權(quán)系數(shù)設(shè)置為0. 2 ;對(duì)該第三數(shù)值結(jié)果和第四數(shù)值結(jié)果進(jìn)行加權(quán)求和，獲得第五數(shù)值結(jié)果； 533、對(duì)該第五數(shù)值結(jié)果進(jìn)行小波逆變換，獲得紅外圖像和可見光圖像的融合圖像，由此采用逐幀融合的方式，實(shí)現(xiàn)了紅外圖像和可見光圖像的動(dòng)態(tài)圖像融合。
7.—種紅外與可見光動(dòng)態(tài)圖像的圖像融合裝置，其特征在于包括紅外成像傳感器、可見光成像傳感器、視頻處理模塊和計(jì)算機(jī)，其中所述視頻處理模塊用于控制該紅外成像傳感器、可見光成像傳感器對(duì)應(yīng)地采集紅外圖像、可見光圖像；所述計(jì)算機(jī)用于計(jì)算出圖像配準(zhǔn)參數(shù)并發(fā)送給該視頻處理模塊； 所述視頻處理模塊用于對(duì)該紅外圖像、可見光圖像進(jìn)行圖像配準(zhǔn)，并將經(jīng)圖像配準(zhǔn)后的紅外圖像、可見光圖像發(fā)送給該計(jì)算機(jī)； 所述計(jì)算機(jī)還用于對(duì)經(jīng)圖像配準(zhǔn)后的紅外圖像、可見光圖像進(jìn)行圖像融合。
8.根據(jù)權(quán)利要求7所述的紅外與可見光動(dòng)態(tài)圖像的圖像融合裝置，其特征在于還包括轉(zhuǎn)臺(tái)和轉(zhuǎn)臺(tái)控制卡，該轉(zhuǎn)臺(tái)包括轉(zhuǎn)臺(tái)本體、第一交流伺服電機(jī)和第二交流伺服電機(jī)，其中所述計(jì)算機(jī)用于發(fā)送轉(zhuǎn)臺(tái)控制指令給該轉(zhuǎn)臺(tái)控制卡； 所述轉(zhuǎn)臺(tái)控制卡根據(jù)該轉(zhuǎn)臺(tái)控制指令控制該第一交流伺服電機(jī)、第二交流伺服電機(jī)動(dòng)作，從而控制該轉(zhuǎn)臺(tái)繞鉛垂軸、水平軸旋轉(zhuǎn)。
9.根據(jù)權(quán)利要求7或8所述的紅外與可見光動(dòng)態(tài)圖像的圖像融合裝置，其特征在于該紅外成像傳感器和可見光成像傳感器并列固定在同一轉(zhuǎn)臺(tái)上，并保持兩者光軸與成像坐標(biāo)軸的平行。
10.根據(jù)權(quán)利要求7所述的紅外與可見光動(dòng)態(tài)圖像的圖像融合裝置，其特征在于該可見光成像傳感器配置有電動(dòng)鏡頭，且該電動(dòng)鏡頭的控制器與該視頻處理模塊連接，通過該視頻處理模塊可對(duì)該電動(dòng)鏡頭進(jìn)行縮放、變焦和光圈控制。
全文摘要
本發(fā)明提出了一種紅外與可見光動(dòng)態(tài)圖像的圖像融合方法及裝置，屬于圖像處理領(lǐng)域。該圖像融合方法包括以下步驟S1.計(jì)算出圖像配準(zhǔn)參數(shù)；S2.分別采集紅外圖像和可見光圖像，并根據(jù)該圖像配準(zhǔn)參數(shù)，對(duì)該紅外圖像和可見光圖像進(jìn)行圖像配準(zhǔn)；S3.對(duì)經(jīng)圖像配準(zhǔn)后的紅外圖像、可見光圖像進(jìn)行圖像融合。本發(fā)明在紅外圖像和可見光圖像的圖像融合過程中，首先根據(jù)圖像配準(zhǔn)參數(shù)實(shí)現(xiàn)圖像配準(zhǔn)，極大地減小了數(shù)值變換的計(jì)算量，提高了計(jì)算速度，從而提高了圖像融合的速度，滿足了圖像處理的實(shí)時(shí)性要求。
文檔編號(hào)G06T5/50GK102982518SQ20121043864
公開日2013年3月20日 申請(qǐng)日期2012年11月6日 優(yōu)先權(quán)日2012年11月6日
發(fā)明者周平, 韓亮, 曹沅, 蒲秀娟, 錢燦軍, 周春云 申請(qǐng)人:揚(yáng)州萬方電子技術(shù)有限責(zé)任公司