一種基于動(dòng)態(tài)匹配的無(wú)人機(jī)遙感影像快速拼接技術(shù)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明基于對(duì)RGB與HSI顏色空間的特性分析，提出一種根據(jù)顏色的色度和飽和度特征來(lái)度量象素顏色相似性的方法，同時(shí)提出了一種用于彩色圖像匹配中的特征模板提取方法，最終實(shí)現(xiàn)無(wú)人機(jī)遙感影像的快速無(wú)縫拼接。
【背景技術(shù)】
[0002]無(wú)人機(jī)即無(wú)人駕駛飛機(jī)，是一種由無(wú)線電遙控設(shè)備或自身程序控制裝置操縱的無(wú)人駕駛飛行器。無(wú)人機(jī)上一般裝備有自動(dòng)駕駛儀、程序控制系統(tǒng)、遙控與遙測(cè)系統(tǒng)、自動(dòng)導(dǎo)航系統(tǒng)、自動(dòng)著陸系統(tǒng)等，通過(guò)這些系統(tǒng)實(shí)現(xiàn)遠(yuǎn)距離控制飛行。20世紀(jì)80年代以來(lái)，隨著計(jì)算機(jī)技術(shù)、通訊技術(shù)以及傳感器技術(shù)的迅速發(fā)展口無(wú)人機(jī)的性能得到不斷提高，任務(wù)載荷和續(xù)航時(shí)間大大提升，這使得無(wú)人機(jī)的應(yīng)用范圍和應(yīng)用領(lǐng)域得到迅速擴(kuò)展。目前世界范圍內(nèi)各種性能指標(biāo)的無(wú)人機(jī)類型己達(dá)數(shù)百種，被廣泛的應(yīng)用于航空攝影測(cè)量、全球氣候變化、水利、減災(zāi)救災(zāi)等非軍事領(lǐng)域。
[0003]作為一種特殊的飛行載體，無(wú)人機(jī)多在某一局部地區(qū)完成監(jiān)測(cè)任務(wù)，特殊目的下需要對(duì)地面目標(biāo)進(jìn)行實(shí)時(shí)跟蹤飛行，需要低空、盤旋飛行，飛行姿態(tài)多變，飛機(jī)與地面景物之間的相對(duì)運(yùn)動(dòng)顯著，成像載荷獲得的圖像產(chǎn)生著較大的畸變和直線、旋轉(zhuǎn)運(yùn)動(dòng)模糊。受特殊天氣和光照、相機(jī)離焦等因素的影響，獲取的遙感圖像會(huì)出現(xiàn)對(duì)比度低、模糊甚至遮擋現(xiàn)象。圖像質(zhì)量的降低，不僅使地面人員無(wú)法清晰觀察地面情況，更不利于圖像的后續(xù)處理與分析，如目標(biāo)跟蹤和定位等。隨著無(wú)人機(jī)飛行速度、遙感圖像的分辨率、數(shù)據(jù)采樣頻率和通訊頻帶寬度的不斷提高，海量遙感圖像數(shù)據(jù)的自動(dòng)、高速、高質(zhì)量的實(shí)時(shí)處理己成為急需解決的關(guān)鍵冋題。
[0004]由于無(wú)人機(jī)特殊的飛行特性和對(duì)圖像監(jiān)控系統(tǒng)的特殊功能、性能要求，在無(wú)人機(jī)遙感圖像監(jiān)控系統(tǒng)的構(gòu)建和實(shí)現(xiàn)上都存在著很多需要進(jìn)一步研究和解決的問(wèn)題，對(duì)圖像的實(shí)時(shí)處理和分析這一研究領(lǐng)域帶來(lái)了一項(xiàng)艱巨挑戰(zhàn)。針對(duì)實(shí)時(shí)圖像處理的客觀迫切要求，20世紀(jì)70年代以來(lái)，國(guó)際上逐漸將數(shù)字圖像處理技術(shù)的研究重點(diǎn)同時(shí)放在實(shí)時(shí)圖像處理技術(shù)上，這是因?yàn)閷?duì)動(dòng)態(tài)圖像只有在實(shí)時(shí)處理時(shí)才更有實(shí)際應(yīng)用價(jià)值。根據(jù)無(wú)人機(jī)實(shí)時(shí)圖像處理分析的要求，目前無(wú)人機(jī)實(shí)時(shí)圖像處理技術(shù)主要是指基于動(dòng)態(tài)匹配技術(shù)的無(wú)人機(jī)遙感影像快速拼接，由于真彩色圖像由于具有更為豐富的可視化信息，如何提高拼接算法的效率也是需要特別考慮的問(wèn)題。國(guó)內(nèi)的武漢大學(xué)和解放軍測(cè)繪工程學(xué)院對(duì)該技術(shù)均有研究，主要應(yīng)用方向?yàn)檠埠綇椀牡乩砦恢镁_匹配，可將該技術(shù)用于無(wú)人機(jī)實(shí)時(shí)圖像處理分析。

【發(fā)明內(nèi)容】

[0005]彩色圖像由于具有更為豐富的可視化信息，因此也得到了更為廣泛的應(yīng)用。彩色圖像中像素顏色通常需要由3維顏色空間向量來(lái)表示，因此與灰度圖像相比，在圖像的表達(dá)方式和處理方法存在著較大差異，使得彩色圖像拼接具有更大的難度。以往的彩色圖像拼接方法大多首先將彩色圖像變換為灰度圖像，然后采用灰度圖像拼接的方法進(jìn)行匹配計(jì)算。由于在彩色與灰度圖像變換過(guò)程中，必然會(huì)丟失大量有用的顏色信息，因此難以得到理想的拼接處理結(jié)果。彩色圖像平滑過(guò)程中可以通過(guò)對(duì)圖像的拼接縫作各種顏色過(guò)渡處理，但由于圖像整體上存在著顏色差異，使平滑后的圖像很難保證整體上的顏色一致性。人眼對(duì)于彩色具有更高的敏感程度，彩色圖像平滑也同樣成為圖像拼接中的另一個(gè)關(guān)鍵技術(shù)環(huán)節(jié)。由于彩色圖像數(shù)據(jù)量更大，如何提高拼接算法的效率也是需要特別考慮的問(wèn)題。
[0006]基于對(duì)RGB與HSI顏色空間的特性分析，提出一種根據(jù)顏色的色度和飽和度特征來(lái)度量象素顏色相似性的方法，同時(shí)提出了一種用于彩色圖像匹配中的特征模板提取方法。通過(guò)待拼接的兩幅彩色圖像之間的重疊區(qū)域亮度關(guān)系分析，建立了圖像之間的亮度變化函數(shù)，全局化地調(diào)整兩幅圖像之間的顏色差異，消除拼接縫，增強(qiáng)視覺(jué)效果。
【附圖說(shuō)明】
[0007]圖1是無(wú)人機(jī)航空遙感影像動(dòng)態(tài)拼接流程圖。
【具體實(shí)施方式】
[0008]1.相鄰影像拼接
[0009](1)顏色空間變換
[0010]顏色空間是顏色的空間表達(dá)形式，包括多種類型，例如RGB，HSI和YUV等顏色空間把抽象的、主觀的視覺(jué)感受具體化為三維空間中的位置或向量，使各種彩色圖像、彩色設(shè)備的顏色特性都能實(shí)現(xiàn)可視化，成為顏色研究的重要工具。
[0011]為了克服RGB顏色空間的不均勻和不直觀的缺點(diǎn)，在彩色圖像處理中大多采用顏色空間變換方法，將RGB顏色空間轉(zhuǎn)換為其它的更為符合顏色視覺(jué)特性的顏色空間，再做進(jìn)一步的處理，并將處理后的結(jié)果重新轉(zhuǎn)換為RGB顏色空間。顏色空間的轉(zhuǎn)換過(guò)程需要進(jìn)行大量的計(jì)算，對(duì)彩色圖像處理的實(shí)時(shí)性有較大的影響。
[0012](2)色差計(jì)算
[0013]通過(guò)計(jì)算R，G，B三種顏色值，判定兩種顏色的色度和飽和度是近似相等的。由于色度、飽和度和亮度三個(gè)顏色分量中，色度和飽和度決定了顏色的主要類別，可取以上三項(xiàng)的和值作為度量?jī)煞N顏色色差大小的變量。
[0014](3)彩色圖像匹配
[0015]a.特征模板提取
[0016]圖像拼接要求待拼接的相鄰2幅圖像邊界必須存在重疊區(qū)域，重疊區(qū)域具有相同的景物內(nèi)容。特征模板是指在一幅圖像的重疊區(qū)域中搜索到的，可進(jìn)行有效圖像匹配計(jì)算的圖像區(qū)域。一般說(shuō)來(lái)，圖像模板的選擇要滿足兩條原則:特征模板的尺寸選擇不宜過(guò)大，盡管大尺寸的特征模板可提高匹配計(jì)算的精度，但會(huì)使匹配過(guò)程所需的計(jì)算量也急劇增加；另外，要求特征模板中的圖像灰度或顏色信息較為豐富，以保證匹配計(jì)算的準(zhǔn)確性。因此，特征模板的選擇在圖像匹配計(jì)算中較重要。對(duì)于彩色圖像來(lái)說(shuō)，合理的特征模板所在的圖像區(qū)域應(yīng)包含更多類別的顏色，具有更多的圖像紋理或邊緣。具體來(lái)說(shuō)，要求特征模板中的像素顏色在RGB顏色空間內(nèi)較為離散地分布，顏色與顏色之間具有較小的相關(guān)性。為了在圖像重疊區(qū)域中，搜索得到顏色分布合理的特征模板，這里引入多維數(shù)據(jù)的數(shù)字特征分析及相關(guān)矩陣計(jì)算，以實(shí)現(xiàn)有效的后續(xù)匹配運(yùn)算。
[0017]b.匹配搜索策略
[0018]以特征模板為基準(zhǔn)，在待拼接地圖像重疊區(qū)域中，采用顏色色差度量方法進(jìn)行匹配計(jì)算，記錄所有匹配位置處的模板總體顏色相似度量數(shù)值，取其中最小的匹配位置為最佳匹配位置。
[0019](4)彩色圖像平滑
[0020]由于人眼對(duì)于彩色信息更為敏感，彩色圖像拼接中拼接縫或圖像整體顏色的不協(xié)調(diào)將使圖像的視覺(jué)效果受到影響，因此彩色圖像拼接中圖像顏色平滑的問(wèn)題更為突出。常用的圖像顏色平滑方法包括基于圖像直方圖、基于圖像信息熵、基于相鄰圖像方差、均值的色調(diào)調(diào)整方法等。這些方法都是以相鄰圖像之間的重疊區(qū)域或相鄰圖像之間拼接縫為基礎(chǔ)，通過(guò)顏色的平滑過(guò)渡來(lái)消除人為的假邊緣和拼接縫。在相鄰圖像重疊區(qū)域較大的情況下，對(duì)于兩幅相鄰圖像拼接縫的消除都有一定的效果，但無(wú)法真正消除大幅面圖像的顏色差異。從根本解決這類問(wèn)題的方法應(yīng)是以一幅圖像為基準(zhǔn)，通過(guò)建立序列圖像之間的顏色變換關(guān)系，全局調(diào)整其它整幅圖像的顏色分布，使合成的大幅面圖像顏色協(xié)調(diào)一致。前述的匹配運(yùn)算是以色度和飽和度為標(biāo)準(zhǔn)來(lái)實(shí)現(xiàn)，可保證匹配后的兩幅圖像對(duì)應(yīng)的像素色度和飽和度的一致性，但無(wú)法保證其亮度的一致性，因此需要對(duì)亮度上可能存在的差異進(jìn)行調(diào)整，從而實(shí)現(xiàn)兩幅圖像顏色的一致性。以最小二乘方法為數(shù)學(xué)工具，通過(guò)引入伽馬校正，建立圖像之間的亮度變換函數(shù)，實(shí)現(xiàn)圖像的亮度平滑。
[0021]2.無(wú)人機(jī)影像的自動(dòng)空中三角測(cè)量
[0022]由于操控特性及受風(fēng)力等的影響，無(wú)人機(jī)遙感平臺(tái)沒(méi)有航空或航天攝影平臺(tái)的穩(wěn)定性，相鄰影像間很可能存在很大的旋轉(zhuǎn)角和重疊度變化，使得影像匹配時(shí)初始視差的確定和同名點(diǎn)的搜索變得非常困難，傳統(tǒng)的影像匹配方法根本無(wú)法獲得準(zhǔn)確可靠的同名點(diǎn)。因此需要突破無(wú)人機(jī)遙感影像的自動(dòng)數(shù)據(jù)整理，無(wú)P0S情況下基于多種特征的智能匹配、大旋角單航帶應(yīng)急攝影航空影像的智能匹配等關(guān)鍵技術(shù)，并采用多基線立體影像匹配、金字塔匹配等策略提高匹配成功率。
[0023]3.非常規(guī)攝影的無(wú)人機(jī)影像的區(qū)域網(wǎng)平差
[0024]無(wú)人機(jī)數(shù)碼影像的整體區(qū)域網(wǎng)平差是保證最終成果精度的最重要手段。無(wú)人機(jī)遙感影像的航向和旁向重疊度一般較大，理論上不僅可以提高整體平差的精度和可靠性，也非常有利于粗差觀測(cè)值的探測(cè)和剔除。但是，無(wú)人機(jī)數(shù)碼影像的重疊度和姿態(tài)角變化大，需要設(shè)法構(gòu)建較為準(zhǔn)確的自由區(qū)域網(wǎng)作為整體平差的初始值，保證區(qū)域網(wǎng)平差的快速收斂性。
[0025]4.大比例尺正射影像的快速拼接
[0026]快速拼接方式是選用每幅影像的最佳紋理區(qū)域填充到鑲嵌影像，利用每幅影像的地面覆蓋范圍來(lái)進(jìn)行“最佳”紋理區(qū)域的判斷，最終實(shí)現(xiàn)影像的快速無(wú)縫拼接。
【主權(quán)項(xiàng)】
1.一種基于動(dòng)態(tài)匹配的無(wú)人機(jī)遙感影像快速拼接技術(shù)，其特征包括: 無(wú)人機(jī)航空遙感影像動(dòng)態(tài)拼接流程:將RGB顏色空間轉(zhuǎn)換為其它的更為符合顏色視覺(jué)特性的顏色空間，再做進(jìn)一步的處理，并將處理后的結(jié)果重新轉(zhuǎn)換為RGB顏色空間；取色度、飽和度和亮度三個(gè)顏色分量的和值作為度量?jī)煞N顏色色差大小的變量；利用特征模板提取及匹配搜索策略進(jìn)行彩色圖像匹配；以一幅圖像為基準(zhǔn)，通過(guò)建立序列圖像之間的顏色變換關(guān)系，全局調(diào)整其它整幅圖像的顏色分布，使合成的大幅面圖像顏色協(xié)調(diào)一致進(jìn)行圖像顏色平滑，完成相鄰影像的拼接；無(wú)人機(jī)影像的自動(dòng)空中三角測(cè)量，突破無(wú)人機(jī)遙感影像的自動(dòng)數(shù)據(jù)整理，基于多種特征的智能匹配、大旋角單航帶應(yīng)急攝影航空影像的智能匹配等關(guān)鍵技術(shù)，并采用多基線立體影像匹配、金字塔匹配等策略提高匹配成功率；構(gòu)建較為準(zhǔn)確的自由區(qū)域網(wǎng)作為整體平差的初始值，保證非常規(guī)攝影的無(wú)人機(jī)影像的區(qū)域網(wǎng)平差；選用每幅影像的最佳紋理區(qū)域填充到鑲嵌影像，利用每幅影像的地面覆蓋范圍來(lái)進(jìn)行“最佳”紋理區(qū)域的判斷，最終實(shí)現(xiàn)影像的快速無(wú)縫拼接。
【專利摘要】真彩色圖像由于具有更為豐富的可視化信息，如何提高拼接算法的效率也是需要特別考慮的問(wèn)題?；趯?duì)RGB與HSI顏色空間的特性分析，提出一種根據(jù)顏色的色度和飽和度特征來(lái)度量象素顏色相似性的方法，同時(shí)提出了一種用于彩色圖像匹配中的特征模板提取方法。通過(guò)待拼接的兩幅彩色圖像之間的重疊區(qū)域亮度關(guān)系分析，建立了圖像之間的亮度變化函數(shù)，全局化地調(diào)整兩幅圖像之間的顏色差異，消除拼接縫，增強(qiáng)視覺(jué)效果。
【IPC分類】G06T5/50, G06T3/40
【公開(kāi)號(hào)】CN105243653
【申請(qǐng)?zhí)枴緾N201510742154
【發(fā)明人】倪金生, 劉翔, 于飛
【申請(qǐng)人】北京航天泰坦科技股份有限公司
【公開(kāi)日】2016年1月13日
【申請(qǐng)日】2015年11月5日