本發(fā)明涉及超光譜成像平臺中雙相機(jī)圖像的對齊方法，具體涉及超光譜成像的圖像融合平臺中低分辨率超光譜相機(jī)和高分辨率rgb相機(jī)拍攝的兩張圖像的對齊方法，屬于計算攝像學(xué)領(lǐng)域。

背景技術(shù)：

超光譜成像是一項(xiàng)具有重要意義的技術(shù)，它可以提高目標(biāo)分割、目標(biāo)追蹤、目標(biāo)識別等算法的性能，在遙感方面的應(yīng)用使其對地質(zhì)、海洋、大氣和環(huán)境領(lǐng)域的研究有重要推動作用。近年來，該項(xiàng)技術(shù)也越來越多地應(yīng)用于商業(yè)市場，例如生物技術(shù)、生命科學(xué)及醫(yī)學(xué)領(lǐng)域。

傳統(tǒng)的超光譜成像技術(shù)通常利用分光器件如光柵、棱鏡等，通過多次成像的方式獲取平面場景的超光譜圖像。這些技術(shù)存在一些缺點(diǎn)，例如設(shè)備造價昂貴、成像過程耗時較長、每次曝光要求場景不變等。

隨著稀疏表達(dá)技術(shù)的發(fā)展，出現(xiàn)了基于單次曝光的超光譜成像技術(shù)。其中，圖像融合平臺自從出現(xiàn)以來，被國內(nèi)外研究者不斷改進(jìn)，達(dá)到了較好的成像效果。這種平臺使用兩臺相機(jī)拍攝完全相同的場景，一臺相機(jī)為低分辨率超光譜相機(jī)，另一臺為高分辨率rgb相機(jī)。在得到兩臺相機(jī)拍攝的圖像后，使用基于稀疏表達(dá)的算法，對兩張圖像進(jìn)行融合而得到高分辨率超光譜圖像。

圖像融合平臺較好地解決了傳統(tǒng)超光譜成像技術(shù)需要多次曝光的缺點(diǎn)，但是仍存在一些不足。其中最明顯的不足是雙相機(jī)對齊問題，即該平臺要求兩臺相機(jī)拍攝完全相同的場景。圖像融合平臺通常使用一種半反半透鏡(beamsplitter)來解決這一問題，這種元件可以將完全相同的場景投射到不同的成像設(shè)備。然后，通過使用標(biāo)定板等裝置，對相機(jī)位置進(jìn)行調(diào)整，盡可能達(dá)到雙相機(jī)對齊的效果。

對于兩臺高分辨率相機(jī)，傳統(tǒng)的對齊方法能夠達(dá)到不錯的效果。但是，由于圖像融合平臺采用低分辨率超光譜相機(jī)，得到的圖像相對高分辨率圖像常常有8倍到32倍的模糊，這樣的模糊程度使得人眼識別標(biāo)定點(diǎn)的過程更加困難。另外，傳統(tǒng)的軟件對齊算法，也要求兩張圖像有較高重合程度，而圖像融合平臺拍攝的兩張圖像顯然不能滿足這種要求。因此，圖像融合平臺對于一種針對分辨率不同的兩張圖像的對齊算法，具有十分急切的需求。

技術(shù)實(shí)現(xiàn)要素：

針對現(xiàn)有技術(shù)不具備對高分辨率rgb圖像和低分辨率超光譜圖像的對齊方法的問題?；诔庾V成像平臺中雙相機(jī)圖像對齊提高超光譜成像算法精度的同一發(fā)明構(gòu)思，本發(fā)明公開兩種用于超光譜成像平臺中雙相機(jī)圖像對齊的方法：

第一種用于超光譜成像平臺中雙相機(jī)圖像對齊的方法要解決的技術(shù)問題是：提供一種針對低分辨率超光譜圖像和高分辨率rgb圖像的對齊方法，通過圖像對齊能夠提高基于圖像融合平臺的超光譜成像算法的精度。

第二種用于超光譜成像平臺中雙相機(jī)圖像對齊的方法要解決的技術(shù)問題是：提供一種適用于超光譜成像的圖像融合平臺中的高分辨率rgb圖像和低分辨率超光譜圖像的對齊方法，通過超光譜重建和對齊過程的迭代，能夠提高圖像對齊的精確度和超光譜重建的精度。

為達(dá)到以上目的，本發(fā)明采取以下技術(shù)方案：

本發(fā)明公開的第一種用于超光譜成像平臺中雙相機(jī)圖像對齊的方法，應(yīng)用于超光譜成像的圖像融合平臺，使用超光譜相機(jī)獲取場景的低分辨率超光譜圖像，同時使用rgb相機(jī)獲取相同場景的高分辨率rgb圖像；對rgb圖像進(jìn)行空間下采樣得到低分辨率rgb圖像，對超光譜圖像進(jìn)行光譜域下采樣得到與空間下采樣相同尺寸的低分辨率rgb圖像；對所述的兩張低分辨率rgb圖像建立圖像對齊模型；使用對齊模型求解算法求解對齊模型中的單應(yīng)變換矩陣；使用所述單應(yīng)變換矩陣，對所述高分辨率rgb圖像進(jìn)行變換，使高分辨率rgb圖像與所述低分辨率超光譜圖像對齊，從而提高基于圖像融合平臺的超光譜成像算法的精度。

本發(fā)明公開的第一種用于超光譜成像平臺中雙相機(jī)圖像對齊的方法，包括以下步驟：

步驟101：使用超光譜相機(jī)獲取場景的低分辨率超光譜圖像，同時使用rgb相機(jī)獲取相同場景的高分辨率rgb圖像。

步驟102：對rgb圖像進(jìn)行空間下采樣得到低分辨率rgb圖像，對超光譜圖像進(jìn)行光譜域下采樣得到與空間下采樣相同尺寸的低分辨率rgb圖像。

步驟103：根據(jù)圖像對齊模型對步驟2所述的兩張低分辨率rgb圖像進(jìn)行對齊處理。

步驟103所述的圖像對齊模型優(yōu)選公式(1)所示的圖像對齊模型：

其中t表示待求單應(yīng)變換，x表示二維平面上的坐標(biāo)點(diǎn)，y表示所述高分辨率rgb圖像，l表示拍攝的低分辨率超光譜圖像，h表示所述低分辨率超光譜圖像的空間下采樣矩陣，p代表rgb相機(jī)光譜響應(yīng)曲線，即光譜域下采樣矩陣，||·||f表示矩陣的frobenius范數(shù)。

上述模型要求高分辨率rgb圖像和低分辨率超光譜圖像具有完全相同的輻射強(qiáng)度。但是在實(shí)際應(yīng)用中，兩臺相機(jī)因?yàn)橛布?，總體亮度上通常會存在差別，因此，步驟103所述的圖像對齊模型優(yōu)選增強(qiáng)相關(guān)系數(shù)模型，即如公式(2)所述的圖像對齊模型：

步驟104：根據(jù)對齊模型求解方法求解步驟103所述的圖像對齊模型，得到矩陣形式的單應(yīng)變換。

所述的對齊模型求解方法優(yōu)選lucas-kanade方法、運(yùn)動估計方法、基于傅里葉變換的對齊方法等。

其中l(wèi)ucas-kanade方法可以通過迭代的方式求解單應(yīng)變換矩陣。為了加快迭代的收斂速度，lucas-kanade組合算法和反向組合算法等變種也同樣適用于本問題的求解。

步驟105：根據(jù)所述單應(yīng)變換矩陣，對所述高分辨率rgb圖像進(jìn)行變換，使高分辨率rgb圖像與所述低分辨率超光譜圖像對齊。通過圖像對齊能夠提高基于圖像融合平臺的超光譜成像算法的精度。

本發(fā)明還公開第二種用于超光譜成像平臺中雙相機(jī)圖像對齊的方法，應(yīng)用于超光譜成像的圖像融合平臺，使用超光譜相機(jī)獲取場景的低分辨率超光譜圖像，同時使用rgb相機(jī)獲取相同場景的高分辨率rgb圖像；把單應(yīng)變換矩陣初始化為單位矩陣；迭代進(jìn)行以下超光譜重建和對齊的步驟，直至達(dá)到預(yù)設(shè)的迭代次數(shù)：對所述高分辨率rgb圖像和低分辨率超光譜圖像使用圖像融合算法進(jìn)行超光譜圖像重建，得到重建的超光譜圖像；對重建的超光譜圖像進(jìn)行空間下采樣；對采集的低分辨率超光譜圖像和空間下采樣后的重建的超光譜圖像，建立對齊模型；使用對齊模型求解算法，更新所述單應(yīng)變換矩陣；使用更新后的單應(yīng)變換矩陣對所述高分辨率rgb圖像進(jìn)行變換。通過上述超光譜重建和對齊的迭代步驟，能夠提高圖像對齊的精確度和超光譜重建的精度。

本發(fā)明還公開第二種用于超光譜成像平臺中雙相機(jī)圖像對齊的方法，包括以下步驟：

步驟201：使用超光譜相機(jī)獲取場景的低分辨率超光譜圖像，同時使用rgb相機(jī)獲取相同場景的高分辨率rgb圖像。

步驟202：把單應(yīng)變換矩陣進(jìn)行初始化，設(shè)置為單位矩陣。

步驟203：對獲取的高分辨率rgb圖像和低分辨率超光譜圖像通過圖像融合算法進(jìn)行超光譜圖像重建，得到重建的超光譜圖像。

所述的圖像融合算法優(yōu)選：基于稀疏矩陣分解的圖像融合算法，基于空間-光譜稀疏表達(dá)的圖像融合算法，基于成對圖像光譜分解的圖像融合算法，基于非負(fù)結(jié)構(gòu)化稀疏表達(dá)的圖像融合算法等。

步驟204：對重建的超光譜圖像進(jìn)行空間下采樣，使它的空間分辨率與采集的低分辨率超光譜圖像一致。

步驟205：對采集的低分辨率超光譜圖像和空間下采樣后的重建的超光譜圖像，根據(jù)對齊模型進(jìn)行對齊處理。

步驟205所述的對齊模型優(yōu)選公式(3)所示對齊模型。

其中t表示待求單應(yīng)變換，x表示二維平面上的坐標(biāo)點(diǎn)，l′表示所述空間下采樣后的重建的超光譜圖像，l表示拍攝的低分辨率超光譜圖像，||·||f表示矩陣的frobenius范數(shù)。

步驟206：使用對齊模型求解算法求解對齊模型，對矩陣形式的單應(yīng)變換進(jìn)行更新。

所述的對齊模型求解方法優(yōu)選lucas-kanade方法、運(yùn)動估計方法、基于傅里葉變換的對齊方法等。

其中l(wèi)ucas-kanade方法可以通過迭代的方式求解單應(yīng)變換矩陣。為了加快迭代的收斂速度，lucas-kanade組合算法和反向組合算法等變種也同樣適用于本問題的求解。

步驟207：根據(jù)更新后的單應(yīng)變換矩陣，對所述的高分辨率rgb圖像進(jìn)行變換。

步驟208：迭代進(jìn)行步驟203至步驟207所述的超光譜重建和對齊過程，提高圖像對齊的精確度和超光譜重建的精度，直到達(dá)到預(yù)設(shè)的迭代次數(shù)。迭代結(jié)束后，步驟203中得到的超光譜圖像，即為最終的超光譜成像結(jié)果。

有益效果：

現(xiàn)有技術(shù)中沒有適用于超光譜成像的圖像融合平臺中的高分辨率rgb圖像和低分辨率超光譜圖像的對齊方法，本發(fā)明公開的兩種用于超光譜成像平臺中雙相機(jī)圖像對齊的方法。

第一種用于超光譜成像平臺中雙相機(jī)圖像對齊的方法有益效果為：提供一種針對低分辨率超光譜圖像和高分辨率rgb圖像的對齊方法，通過圖像對齊能夠提高基于圖像融合平臺的超光譜成像算法的精度。

第二種用于超光譜成像平臺中雙相機(jī)圖像對齊的方法有益效果為：提供一種適用于超光譜成像的圖像融合平臺中的高分辨率rgb圖像和低分辨率超光譜圖像的對齊方法，通過超光譜重建和對齊過程的迭代，能夠提高圖像對齊的精確度和超光譜重建的精度。

附圖說明

圖1是本發(fā)明中用于超光譜成像平臺中雙相機(jī)圖像對齊的方法的流程圖。

圖2是本發(fā)明中用于超光譜成像平臺中雙相機(jī)圖像對齊的另一種方法的流程圖。

圖3是本發(fā)明中對齊方法適用的圖像融合平臺的示意圖。

圖4是本發(fā)明中對齊過程的示意圖。

具體實(shí)施方式

為了更好的說明本發(fā)明的目的和優(yōu)點(diǎn)，下面結(jié)合附圖和實(shí)例對發(fā)明內(nèi)容做進(jìn)一步說明。

實(shí)施例1：

本實(shí)施例公開的一種用于超光譜成像平臺中雙相機(jī)圖像對齊的方法，應(yīng)用于超光譜成像的圖像融合平臺，使用超光譜相機(jī)獲取場景的低分辨率超光譜圖像，同時使用rgb相機(jī)獲取相同場景的高分辨率rgb圖像；對rgb圖像進(jìn)行空間下采樣得到低分辨率rgb圖像，對超光譜圖像進(jìn)行光譜域下采樣得到與空間下采樣相同尺寸的低分辨率rgb圖像；對所述的兩張低分辨率rgb圖像建立圖像對齊模型；使用對齊模型求解算法求解對齊模型中的單應(yīng)變換矩陣；使用所述單應(yīng)變換矩陣，對所述高分辨率rgb圖像進(jìn)行變換，使高分辨率rgb圖像與所述低分辨率超光譜圖像對齊，從而提高基于圖像融合平臺的超光譜成像算法的精度。以上方法的流程圖如圖1所示。

在圖像融合平臺中，雙相機(jī)必須保證采集的是相同場景的圖像，否則基于圖像融合平臺的各種超光譜成像方法的性能都會有不同程度的下降。因此，圖像融合平臺除了在硬件上需要使兩個相機(jī)對齊之外，對于拍攝到的圖像，也應(yīng)該使用軟件的方式進(jìn)行進(jìn)一步對齊。圖像融合平臺的示意圖如圖3所示。

對于兩張相同場景但沒有對齊的二維圖像，它們之間的幾何形變通常由一個變換矩陣來表示。常見的變換類型有：平移變換、歐氏變換、相似變換、仿射變換、投影(單應(yīng))變換等。在圖像融合平臺中，為了簡化對齊的過程，本實(shí)施例中的對齊方法假設(shè)兩張圖像之間的變換為以上幾種變換中的一種。這些變換都可以通過一個三維方陣來表示(詳見szeliskir.imagealignmentandstitching:atutorial[j].foundationsandtrendsincomputergraphicsandvision,2006,2(1):1-104.)。

如圖2所示，本實(shí)施例公開的一種用于超光譜成像平臺中雙相機(jī)圖像的對齊方法，包括以下步驟：

步驟101：使用超光譜相機(jī)獲取場景的低分辨率超光譜圖像，同時使用rgb相機(jī)獲取相同場景的高分辨率rgb圖像。

步驟102：對rgb圖像進(jìn)行空間下采樣得到低分辨率rgb圖像，對超光譜圖像進(jìn)行光譜域下采樣得到與空間下采樣相同尺寸的低分辨率rgb圖像。

步驟103：根據(jù)圖像對齊模型對步驟2所述的兩張低分辨率rgb圖像進(jìn)行對齊處理。

步驟103所述的圖像對齊模型優(yōu)選公式(1)所述的圖像對齊模型：

其中t表示待求單應(yīng)變換，x表示二維平面上的坐標(biāo)點(diǎn)，y表示所述高分辨率rgb圖像，h表示所述低分辨率超光譜圖像的空間下采樣矩陣，p代表rgb相機(jī)光譜響應(yīng)曲線，即光譜域下采樣矩陣，||·||f表示矩陣的弗羅賓尼斯(frobenius)范數(shù)。

上述模型要求高分辨率rgb圖像和低分辨率超光譜圖像具有完全相同的輻射強(qiáng)度。但是在實(shí)際應(yīng)用中，兩臺相機(jī)因?yàn)橛布?，總體亮度上通常會存在差別，因此，步驟103所述的圖像對齊模型優(yōu)選增強(qiáng)相關(guān)系數(shù)模型，即如公式(2)所述的圖像對齊模型：

步驟104：根據(jù)對齊模型求解方法求解步驟3所述的圖像對齊模型，得到矩陣形式的單應(yīng)變換。

所述的對齊模型求解方法優(yōu)選lucas-kanade方法、運(yùn)動估計方法、基于傅里葉變換的對齊方法等。

其中l(wèi)ucas-kanade方法可以通過迭代的方式求解單應(yīng)變換矩陣。為了加快迭代的收斂速度，lucas-kanade組合算法和反向組合算法等變種也同樣適用于本問題的求解。關(guān)于lucas-kanade方法詳見(bakers,matthewsi.lucas-kanade20yearson:aunifyingframework[j].internationaljournalofcomputervision,2004,56(3):221-255.)。

步驟105：根據(jù)所述單應(yīng)變換矩陣，對所述高分辨率rgb圖像進(jìn)行變換，使高分辨率rgb圖像與所述低分辨率超光譜圖像對齊。

通過圖像對齊能夠提高基于圖像融合平臺的超光譜成像算法的精度。

實(shí)施例2：

本實(shí)施例還公開一種用于超光譜成像平臺中雙相機(jī)圖像對齊的方法，應(yīng)用于超光譜成像的圖像融合平臺，使用超光譜相機(jī)獲取場景的低分辨率超光譜圖像，同時使用rgb相機(jī)獲取相同場景的高分辨率rgb圖像；把單應(yīng)變換矩陣初始化為單位矩陣；迭代進(jìn)行以下超光譜重建和對齊的步驟，直至達(dá)到預(yù)設(shè)的迭代次數(shù)：對所述高分辨率rgb圖像和低分辨率超光譜圖像使用圖像融合算法進(jìn)行超光譜圖像重建，得到重建的超光譜圖像；對重建的超光譜圖像進(jìn)行空間下采樣；對采集的低分辨率超光譜圖像和空間下采樣后的重建的超光譜圖像，建立對齊模型；使用對齊模型求解算法，更新所述單應(yīng)變換矩陣；使用更新后的單應(yīng)變換矩陣對所述高分辨率rgb圖像進(jìn)行變換。通過上述超光譜重建和對齊的迭代步驟，能夠提高圖像對齊的精確度和超光譜重建的精度。以上方法的流程圖如圖2所示。

在圖像融合平臺中，雙相機(jī)必須保證采集的是相同場景的圖像，否則基于圖像融合平臺的各種超光譜成像方法的性能都會有不同程度的下降。因此，圖像融合平臺除了在硬件上需要使兩個相機(jī)對齊之外，對于拍攝到的圖像，也應(yīng)該使用軟件的方式進(jìn)行進(jìn)一步對齊。圖像融合平臺的示意圖如圖3所示。

對于兩張相同場景但沒有對齊的二維圖像，它們之間的幾何形變通常由一個變換矩陣來表示。常見的變換類型有：平移變換、歐氏變換、相似變換、仿射變換、投影(單應(yīng))變換等。在圖像融合平臺中，為了簡化對齊的過程，本實(shí)施例中的對齊方法假設(shè)兩張圖像之間的變換為以上幾種變換中的一種。這些變換都可以通過一個三維方陣來表示(詳見szeliskir.imagealignmentandstitching:atutorial[j].foundationsandtrendsincomputergraphicsandvision,2006,2(1):1-104.)。

傳統(tǒng)的圖像對齊方法在進(jìn)行兩張圖像的對齊時，一般要求兩張圖像具有較大的重合，也即幾何形變的程度不能太大，而圖像融合平臺拍攝的兩張圖像之間最多具有32倍的分辨率差別。顯然不能滿足這種要求。因此，本實(shí)施例公開一種用于超光譜成像平臺中雙相機(jī)圖像的對齊方法，利用如下相等關(guān)系：

y(x)h＝pl(t(x))

其中y表示高分辨率rgb圖像，h表示空間下采樣矩陣，l表示低分辨率超光譜圖像，p表示rgb相機(jī)的光譜響應(yīng)曲線，x代表二維空間坐標(biāo)點(diǎn)，t表示幾何形變。即如果對高分辨率rgb圖像進(jìn)行空間下采樣，對低分辨率超光譜圖像進(jìn)行光譜域下采樣，下采樣后的兩張圖像能夠滿足傳統(tǒng)圖像對齊方法的要求。

根據(jù)對圖像融合平臺的特點(diǎn)的分析，本實(shí)施例還公開一種用于超光譜成像平臺中雙相機(jī)圖像對齊的方法，包括以下步驟：

步驟201：使用超光譜相機(jī)獲取場景的低分辨率超光譜圖像，同時使用rgb相機(jī)獲取相同場景的高分辨率rgb圖像。

步驟202：把單應(yīng)變換矩陣進(jìn)行初始化，設(shè)置為單位矩陣。

步驟203：對獲取的高分辨率rgb圖像和低分辨率超光譜圖像通過圖像融合算法進(jìn)行超光譜圖像重建，得到重建的超光譜圖像。圖像融合算法優(yōu)選：基于稀疏矩陣分解的圖像融合算法(詳見kawakamir,matsushitay,wrightj,etal.high-resolutionhyperspectralimagingviamatrixfactorization[c]//computervisionandpatternrecognition(cvpr),2011ieeeconferenceon.ieee,2011:2329-2336.)，基于空間-光譜稀疏表達(dá)的圖像融合算法(詳見akhtarn,shafaitf,miana.sparsespatio-spectralrepresentationforhyperspectralimagesuper-resolution[c]//europeanconferenceoncomputervision.springerinternationalpublishing,2014:63-78.)，基于成對圖像光譜分解的圖像融合算法(詳見lanarasc,baltsaviase,schindlerk.hyperspectralsuper-resolutionbycoupledspectralunmixing[c]//proceedingsoftheieeeinternationalconferenceoncomputervision.2015:3586-3594.)，基于非負(fù)結(jié)構(gòu)化稀疏表達(dá)的圖像融合算法等(詳見dongw,fuf,shig,etal.hyperspectralimagesuper-resolutionvianon-negativestructuredsparserepresentation[j].ieeetransactionsonimageprocessing,2016,25(5):2337-2352.)。

步驟204：對重建的超光譜圖像進(jìn)行空間下采樣，使它的空間分辨率與采集的低分辨率超光譜圖像一致。

步驟205：對采集的低分辨率超光譜圖像和空間下采樣后的重建的超光譜圖像，根據(jù)對齊模型進(jìn)行對齊處理。

步驟205所述的對齊模型優(yōu)選公式(3)所示對齊模型。

其中t表示待求單應(yīng)變換，x表示二維平面上的坐標(biāo)點(diǎn)，l′表示所述空間下采樣后的重建的超光譜圖像，l表示拍攝的低分辨率超光譜圖像，||·||f表示矩陣的frobenius范數(shù)。

步驟206：使用對齊模型求解算法，求解公式(3)所示的對齊模型，對矩陣形式的單應(yīng)變換進(jìn)行更新。所述的對齊模型求解方法優(yōu)選lucas-kanade方法、運(yùn)動估計方法、基于傅里葉變換的對齊方法等。

其中l(wèi)ucas-kanade方法可以通過迭代的方式求解單應(yīng)變換矩陣。為了加快迭代的收斂速度，lucas-kanade組合算法和反向組合算法等變種也同樣適用于本問題的求解。

步驟207：根據(jù)更新后的單應(yīng)變換矩陣，對所述的高分辨率rgb圖像進(jìn)行變換。

步驟208：迭代進(jìn)行步驟203至步驟207所述的超光譜重建和對齊過程，提高圖像對齊的精確度和超光譜重建的精度，直到達(dá)到預(yù)設(shè)的迭代次數(shù)。迭代結(jié)束后，步驟203中得到的超光譜圖像，即為最終的超光譜成像結(jié)果。

以上所述的具體描述，對發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。