本發(fā)明涉及一種超光譜反射率重建方法，具體涉及一種基于rgb圖像的超光譜反射率重建算法，屬于計(jì)算攝像學(xué)領(lǐng)域。

背景技術(shù)：

超光譜成像技術(shù)不同于傳統(tǒng)的彩色圖像成像技術(shù)，它獲取的圖像通常包括幾十或幾百個(gè)窄波段通道，遠(yuǎn)多于傳統(tǒng)彩色圖像的3通道或4通道。這種技術(shù)獲取到的圖像通常被稱為數(shù)據(jù)立方體，相比于傳統(tǒng)圖像只具有空間維度，它具有空間、光譜共三個(gè)維度。

超光譜成像技術(shù)具有廣泛的應(yīng)用場(chǎng)景。這種技術(shù)在計(jì)算機(jī)視覺(jué)領(lǐng)域可用于目標(biāo)分割、追蹤以及識(shí)別，早期主要應(yīng)用于遙感，但是近年來(lái)也被越來(lái)越多的應(yīng)用于商業(yè)市場(chǎng)以及生物技術(shù)、生命科學(xué)和醫(yī)學(xué)領(lǐng)域等。

傳統(tǒng)的超光譜成像技術(shù)通常利用光柵、棱鏡等器件的分光性能，通過(guò)多次曝光采集多個(gè)狹窄波段范圍的圖像。這種過(guò)程常常較為耗時(shí)，使用的硬件也通常價(jià)格昂貴，且需要進(jìn)行精確的標(biāo)定過(guò)程。

近年來(lái)，超光譜成像技術(shù)也被應(yīng)用于多媒體技術(shù)中，例如彩色圖像的重光照技術(shù)。在一種未知光照下的彩色圖像，通過(guò)重光照過(guò)程可以得到在另一種已知光照下的彩色圖像。由于重光照技術(shù)主要追求的是視覺(jué)效果，相對(duì)于傳統(tǒng)應(yīng)用，重光照技術(shù)對(duì)超光譜成像的準(zhǔn)確度要求較低，而對(duì)實(shí)時(shí)性要求較高。

已有技術(shù)中具有兩種類型的超光譜反射率重建方法：第一種方法采集場(chǎng)景的超光譜圖像，根據(jù)已知的場(chǎng)景光照求解超光譜反射率，這種方法要求場(chǎng)景光照已知，需要在暗室中用特殊光源對(duì)場(chǎng)景進(jìn)行照射并進(jìn)行采集，對(duì)設(shè)備和環(huán)境的要求高，且超光譜圖像的采集通常需要比較長(zhǎng)的時(shí)間。第二種方法利用稀疏表達(dá)技術(shù)，使用超光譜反射率的訓(xùn)練集得到單個(gè)稀疏字典，隨后采集場(chǎng)景的rgb圖像，對(duì)每個(gè)像素點(diǎn)的超光譜反射率進(jìn)行估計(jì)，這種方法的缺點(diǎn)是精度相對(duì)低，但是無(wú)需特殊設(shè)備，并且重建速度通常較快。

根據(jù)多媒體應(yīng)用對(duì)超光譜反射率重建算法的要求，需要一種基于場(chǎng)景rgb圖像的算法，能夠以較快的重建速度、較低的設(shè)備要求達(dá)到更高的重建精度。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)已有技術(shù)中基于rgb圖像的超光譜反射率重建算法的缺點(diǎn)，本發(fā)明公開的一種基于rgb圖像的超光譜反射率重建方法要解決的技術(shù)問(wèn)題是提供一種超光譜反射率重建方法，在不需要特殊設(shè)備、具有較快重建速度的前提下提高重建精度。

為達(dá)到以上目的，本發(fā)明采用以下技術(shù)方案：

本發(fā)明公開的一種基于rgb圖像的超光譜反射率重建方法，分為訓(xùn)練階段和使用階段。訓(xùn)練階段在超光譜圖像反射率的訓(xùn)練集中，把超光譜反射率映射到rgb顏色空間，并根據(jù)rgb的值求解每個(gè)像素的色度；根據(jù)每個(gè)像素的色度對(duì)像素進(jìn)行聚類；對(duì)每個(gè)聚類中的像素反射率使用字典學(xué)習(xí)得到反射率的稀疏字典；把稀疏字典映射到rgb空間得到rgb字典。使用階段對(duì)采集的rgb圖像進(jìn)行白平衡；求解白平衡后圖像每個(gè)像素點(diǎn)的色度，并根據(jù)色度尋找每個(gè)像素點(diǎn)所屬聚類；對(duì)于每個(gè)聚類中的像素點(diǎn)，使用該聚類的rgb字典進(jìn)行有約束稀疏編碼；根據(jù)聚類的反射率字典和稀疏編碼，重建像素的超光譜反射率。

本發(fā)明公開的一種基于rgb圖像的超光譜反射率重建方法，分為訓(xùn)練和使用兩個(gè)階段，包括如下步驟：

步驟一：訓(xùn)練階段用于根據(jù)像素色度得到聚類以及每個(gè)聚類的稀疏字典和rgb稀疏字典；

步驟1.1：對(duì)訓(xùn)練集中像素點(diǎn)的超光譜反射率使用映射函數(shù)進(jìn)行顏色空間映射，得到像素點(diǎn)對(duì)應(yīng)的色度。

對(duì)訓(xùn)練集合中的所有超光譜反射率像素點(diǎn)，使用如公式(1)所示的映射函數(shù)映射到rgb空間，再使用如公式(2)所示的映射函數(shù)從rgb空間映射到色度空間：

y＝cs(1)

其中y是一個(gè)3行m列的實(shí)矩陣，是向量化表示的rgb空間像素集合，它的每一列表示一個(gè)3通道的像素點(diǎn)。c是一個(gè)3行b列的實(shí)矩陣，表示b個(gè)光譜通道到rgb通道的變換矩陣。s是一個(gè)b行m列的實(shí)矩陣，是向量化表示的超光譜像素反射率集合。q∈{r,g,b}表示3個(gè)顏色通道，表示第m個(gè)像素點(diǎn)在q通道的像素值，表示第m個(gè)像素點(diǎn)在q通道的色度值。

步驟1.2：根據(jù)色度值，使用聚類算法對(duì)所有的像素點(diǎn)進(jìn)行聚類。

所述的聚類算法優(yōu)選：k-均值聚類，譜聚類，層次聚類，模糊聚類，dbscan聚類。

步驟1.3：使用字典學(xué)習(xí)得到步驟1.2中每個(gè)聚類的稀疏字典。

對(duì)每一個(gè)聚類中的像素點(diǎn)使用如公式(3)所示的優(yōu)化方程進(jìn)行稀疏字典學(xué)習(xí)。

其中：tk是第k個(gè)聚類中像素點(diǎn)反射率的向量表示，dk是所求稀疏字典，bk是稀疏編碼且滿足bk≥0,dk≥0，||·||f表示矩陣的弗羅賓尼斯(frobenius)范數(shù)，||·||1表示矩陣的1范數(shù)。

字典學(xué)習(xí)方法優(yōu)選：k-svd算法，最佳方向(mod)法，在線字典學(xué)習(xí)(odl)法，主成分分析(pca)法，頂點(diǎn)成分分析(vca)法。

步驟1.4：對(duì)步驟1.3中的稀疏字典使用顏色空間映射得到對(duì)應(yīng)rgb字典。

將步驟1.3中獲得的每個(gè)聚類的反射率字典，通過(guò)如公式(4)所示的映射函數(shù)映射到rgb空間：

hk＝cdk(4)

其中hk是第k個(gè)聚類的rgb字典。

步驟二：使用階段利用步驟一中得到的聚類和稀疏字典、rgb字典，重建像素的超光譜反射率。

步驟2.1：對(duì)彩色相機(jī)采集到的rgb圖像進(jìn)行白平衡處理。

所述的白平衡處理方法優(yōu)選：灰度世界(grey-world)法，最大rgb(max-rgb)法，灰色陰影(shadesofgrey)法，灰色邊緣(grey-edge)法。

步驟2.2：對(duì)白平衡后的rgb圖像使用如公式(2)所示方法得到每個(gè)像素點(diǎn)對(duì)應(yīng)色度。

步驟2.3：根據(jù)步驟2.2得到的色度計(jì)算每個(gè)像素點(diǎn)所屬聚類。

計(jì)算圖像中每個(gè)像素的色度與訓(xùn)練得到的每個(gè)聚類中心色度的距離，尋找距離最小的聚類作為該像素所屬聚類。

距離定義優(yōu)選：歐式距離，曼哈頓距離，切比雪夫距離，閔可夫斯基距離，標(biāo)準(zhǔn)化歐氏距離，馬氏距離，夾角余弦，海明距離，杰卡德距離，相關(guān)系數(shù)，信息熵。

步驟2.4：根據(jù)步驟2.3得到的聚類以及每個(gè)聚類的rgb字典求解稀疏編碼。

對(duì)于步驟2.3中每個(gè)聚類中的像素點(diǎn)，使用rgb字典進(jìn)行有約束稀疏編碼，稀疏編碼通過(guò)公式(5)中的優(yōu)化方程進(jìn)行求解：

其中，ak表示第k個(gè)聚類中像素的稀疏編碼且滿足ak>0，代表第k個(gè)聚類中超光譜反射率的均值，uk中每一列對(duì)應(yīng)yk中每個(gè)像素的非局部特征。該非局部特征計(jì)算方法如公式(6)所示：

其中，dkαm,n表示空間坐標(biāo)m在集合ωm中的一個(gè)相似像素點(diǎn)，集合ωm表示m的空間鄰域，wm,n表示權(quán)重，wm,n的計(jì)算方法如公式(7)所示：

其中，w表示標(biāo)準(zhǔn)化因子，h是一個(gè)預(yù)定義的標(biāo)量，表示中心為m的rgb圖像塊。

公式(5)的優(yōu)化方程求解方法優(yōu)選：正交匹配追蹤(omp)算法，最小角回歸(lars)算法，迭代軟閾值(ista)算法，交替方向乘子(admm)算法。

步驟2.5：根據(jù)步驟2.4中的稀疏編碼和步驟一中得到的稀疏字典，利用公式(8)重建光譜反射率。

sk＝dkak(8)

有益效果：

1、本發(fā)明公開的一種基于rgb圖像的超光譜反射率重建方法，由于步驟一根據(jù)像素色度特征得到了多個(gè)稀疏字典，稀疏字典的表達(dá)能力高于已有技術(shù)中的單個(gè)稀疏字典，因此重建精度高于已有技術(shù)中基于rgb圖像的超光譜反射率重建方法。

2、本發(fā)明公開的一種基于rgb圖像的超光譜反射率重建方法，由于步驟2.4使用了非局部特征，利用了場(chǎng)景光譜反射率在空間中的連續(xù)性，提高了稀疏編碼的準(zhǔn)確度，因此重建精度高于已有技術(shù)中基于rgb圖像的超光譜反射率重建方法。

3、本發(fā)明公開的一種基于rgb圖像的超光譜反射率重建方法，由于步驟2.4考慮了相似色度的像素具有相似的超光譜反射率這一特征，提高了稀疏編碼的準(zhǔn)確度，因此重建精度高于已有技術(shù)中基于rgb圖像的超光譜反射率重建方法。

4、本發(fā)明公開的一種基于rgb圖像的超光譜反射率重建方法，由于步驟2.1只需要采集rgb圖像，而已有技術(shù)中基于超光譜圖像和已知光照的反射率重建方法需要采集超光譜圖像，因此本發(fā)明的采集過(guò)程更簡(jiǎn)單、采集速度更快。

附圖說(shuō)明

圖1是本發(fā)明中基于rgb圖像的超光譜反射率重建方法的流程圖。

圖2是使用本發(fā)明的超光譜反射率重建方法進(jìn)行rgb圖像重光照的示意圖。

圖3是本發(fā)明中超光譜反射率重建方法的流程示意圖。

具體實(shí)施方式

為了更好的說(shuō)明本發(fā)明的目的和優(yōu)點(diǎn)，下面結(jié)合附圖和實(shí)例對(duì)發(fā)明內(nèi)容做進(jìn)一步說(shuō)明。

實(shí)施例1：

本實(shí)施例公開的一種基于rgb圖像的超光譜反射率重建方法，分為訓(xùn)練階段和使用階段。訓(xùn)練階段在超光譜圖像反射率的訓(xùn)練集中，把超光譜反射率映射到rgb顏色空間，并根據(jù)rgb的值求解每個(gè)像素的色度；根據(jù)每個(gè)像素的色度對(duì)像素進(jìn)行聚類；對(duì)每個(gè)聚類中的像素反射率使用字典學(xué)習(xí)得到反射率的稀疏字典；把稀疏字典映射到rgb空間得到rgb字典。使用階段對(duì)采集的rgb圖像進(jìn)行白平衡；求解白平衡后圖像每個(gè)像素點(diǎn)的色度，并根據(jù)色度尋找每個(gè)像素點(diǎn)所屬聚類；對(duì)于每個(gè)聚類中的像素點(diǎn)，使用該聚類的rgb字典進(jìn)行有約束稀疏編碼；根據(jù)聚類的反射率字典和稀疏編碼，重建像素的超光譜反射率。本實(shí)施例的流程圖如圖1所示。

傳統(tǒng)的rgb相機(jī)拍攝的彩色圖像，通常被視為對(duì)超光譜圖像在光譜域的下采樣。這個(gè)下采樣操作通常用rgb相機(jī)的光譜響應(yīng)曲線表示，相機(jī)光譜響應(yīng)曲線常被相機(jī)廠商提供在工業(yè)相機(jī)的技術(shù)說(shuō)明中。場(chǎng)景的超光譜圖像由場(chǎng)景的超光譜反射率以及場(chǎng)景光決定。因此，如果假設(shè)場(chǎng)景中的光照均勻，且場(chǎng)景中的物體都具有朗伯表面，那么rgb相機(jī)拍攝的圖像可以表示為：y＝cls，其中y表示rgb圖像，c表示rgb相機(jī)的光譜響應(yīng)曲線，l表示場(chǎng)景光照，s表示場(chǎng)景的超光譜反射率。在rgb相機(jī)的光譜響應(yīng)曲線和場(chǎng)景的超光譜反射率已知的情況下，可以對(duì)場(chǎng)景進(jìn)行任意的重光照，得到目標(biāo)重光照rgb圖像。本實(shí)施例的方法假設(shè)rgb相機(jī)的光譜響應(yīng)曲線已知，根據(jù)場(chǎng)景的rgb圖像對(duì)場(chǎng)景超光譜反射率進(jìn)行估計(jì)，從而實(shí)現(xiàn)重光照過(guò)程。rgb圖像重光照過(guò)程的流程示意圖如圖2所示。

近年來(lái)的研究表明，場(chǎng)景中任何像素的反射率都可以用少量基(basis)的線性組合近似表示。因此，場(chǎng)景的超光譜反射率可以表示為：s＝da，其中d通常稱為稀疏字典，它的每一列被稱為字典信號(hào)(signature)，a通常稱為稀疏編碼，它的每一列都是“稀疏”的，即只有少量幾個(gè)元素不為0。

現(xiàn)有技術(shù)中的超光譜反射率重建方法，根據(jù)以上分析，在超光譜反射率的訓(xùn)練集中得到一個(gè)稀疏字典，再對(duì)場(chǎng)景中的每一個(gè)像素進(jìn)行稀疏編碼的求解。這種針對(duì)獨(dú)立像素點(diǎn)的求解方法忽略了以下事實(shí)：反射率在一定空間范圍內(nèi)通常是連續(xù)變化的；如果像素點(diǎn)在rgb空間中顏色相近，那么它們的反射率也應(yīng)該具有高相似性。本實(shí)施例中的超光譜反射率重建方法綜合了已有技術(shù)中基于稀疏表達(dá)的技術(shù)，同時(shí)利用了像素的空間連續(xù)性、rgb空間顏色與光譜反射率的對(duì)應(yīng)關(guān)系，從而提高了超光譜反射率的重建精度，也提高了重光照等多媒體應(yīng)用的視覺(jué)效果，本實(shí)施例的超光譜反射率重建過(guò)程如圖3所示。本實(shí)施例的詳細(xì)內(nèi)容如下。

本實(shí)施例公開的一種基于rgb圖像的超光譜反射率重建方法，分為訓(xùn)練和使用兩個(gè)階段，包括如下步驟：

步驟一：訓(xùn)練階段用于根據(jù)像素色度得到聚類以及每個(gè)聚類的稀疏字典和rgb稀疏字典；

步驟1.1：對(duì)訓(xùn)練集中像素點(diǎn)的超光譜反射率使用映射函數(shù)進(jìn)行顏色空間映射，得到像素點(diǎn)對(duì)應(yīng)的色度。

對(duì)訓(xùn)練集合中的所有超光譜反射率像素點(diǎn)，使用如公式(1)所示的映射函數(shù)映射到rgb空間，再使用如公式(2)所示的映射函數(shù)從rgb空間映射到色度空間：

y＝cs(1)

其中y是一個(gè)3行m列的實(shí)矩陣，是向量化表示的rgb空間像素集合，它的每一列表示一個(gè)3通道的像素點(diǎn)。c是一個(gè)3行b列的實(shí)矩陣，表示b個(gè)光譜通道到rgb通道的變換矩陣。s是一個(gè)b行m列的實(shí)矩陣，是向量化表示的超光譜像素反射率集合。q∈{r,g,b}表示3個(gè)顏色通道，表示第m個(gè)像素點(diǎn)在q通道的像素值，表示第m個(gè)像素點(diǎn)在q通道的色度值。

步驟1.2：根據(jù)色度值，使用聚類算法對(duì)所有的像素點(diǎn)進(jìn)行聚類。

所述的聚類算法優(yōu)選：k-均值聚類(詳見(jiàn)hartiganja,wongma.algorithmas136:ak-meansclusteringalgorithm[j].journaloftheroyalstatisticalsociety.seriesc(appliedstatistics),1979,28(1):100-108.)，譜聚類，層次聚類，模糊聚類，dbscan聚類。

步驟1.3：使用字典學(xué)習(xí)得到步驟1.2中每個(gè)聚類的稀疏字典。

對(duì)每一個(gè)聚類中的像素點(diǎn)使用如公式(3)所示的優(yōu)化方程進(jìn)行稀疏字典學(xué)習(xí)。

其中：tk是第k個(gè)聚類中像素點(diǎn)反射率的向量表示，dk是所求稀疏字典，bk是稀疏編碼且滿足bk≥0,dk≥0，||·||f表示矩陣的弗羅賓尼斯(frobenius)范數(shù)，||·||1表示矩陣的1范數(shù)。

字典學(xué)習(xí)方法優(yōu)選：k-svd算法(詳見(jiàn)aharonm,eladm,brucksteina.k-svd:analgorithmfordesigningovercompletedictionariesforsparserepresentation[j].ieeetransactionsonsignalprocessing,2006,54(11):4311-4322.)，最佳方向(mod)法，在線字典學(xué)習(xí)(odl)法，主成分分析(pca)法，頂點(diǎn)成分分析(vca)法。

步驟1.4：對(duì)步驟1.3中的稀疏字典使用顏色空間映射得到對(duì)應(yīng)rgb字典。

將步驟1.3中獲得的每個(gè)聚類的反射率字典，通過(guò)如公式(4)所示的映射函數(shù)映射到rgb空間：

hk＝cdk

其中hk是第k個(gè)聚類的rgb字典。

步驟二：使用階段利用步驟一中得到的聚類和稀疏字典、rgb字典，重建像素的超光譜反射率。

步驟2.1：對(duì)彩色相機(jī)采集到的rgb圖像進(jìn)行白平衡處理。

所述的白平衡處理方法優(yōu)選：灰度世界(grey-world)法，最大rgb(max-rgb)法，灰色陰影(shadesofgrey)法，灰色邊緣(grey-edge)法。白平衡方法的原理詳見(jiàn)(vandeweijerj,geverst,gijsenija.edge-basedcolorconstancy[j].ieeetransactionsonimageprocessing,2007,16(9):2207-2214.)

步驟2.2：對(duì)白平衡后的rgb圖像使用如公式(2)所示方法得到每個(gè)像素點(diǎn)對(duì)應(yīng)色度。

步驟2.3：根據(jù)步驟2.2得到的色度計(jì)算每個(gè)像素點(diǎn)所屬聚類。

計(jì)算圖像中每個(gè)像素的色度與訓(xùn)練得到的每個(gè)聚類中心色度的距離，尋找距離最小的聚類作為該像素所屬聚類。

距離定義優(yōu)選：歐式距離，曼哈頓距離，切比雪夫距離，閔可夫斯基距離，標(biāo)準(zhǔn)化歐氏距離，馬氏距離，夾角余弦，海明距離，杰卡德距離，相關(guān)系數(shù)，信息熵。

步驟2.4：根據(jù)步驟2.3得到的聚類以及每個(gè)聚類的rgb字典求解稀疏編碼。

對(duì)于步驟2.3中每個(gè)聚類中的像素點(diǎn)，使用rgb字典進(jìn)行有約束稀疏編碼，稀疏編碼通過(guò)公式(5)中的優(yōu)化方程進(jìn)行求解：

其中，ak表示第k個(gè)聚類中像素的稀疏編碼且滿足ak>0，代表第k個(gè)聚類中超光譜反射率的均值，uk中每一列對(duì)應(yīng)yk中每個(gè)像素的非局部特征。該非局部特征計(jì)算方法如公式(6)所示：

其中，dkαm,n表示空間坐標(biāo)m在集合ωm中的一個(gè)相似像素點(diǎn)，集合ωm表示m的空間鄰域，wm,n表示權(quán)重，wm,n的計(jì)算方法如公式(7)所示：

其中，w表示標(biāo)準(zhǔn)化因子，h是一個(gè)預(yù)定義的標(biāo)量，表示中心為m的rgb圖像塊。

公式(5)的優(yōu)化方程求解方法優(yōu)選：正交匹配追蹤(omp)算法，最小角回歸(lars)算法，迭代軟閾值(ista)算法，交替方向乘子(admm)算法(詳見(jiàn)daubechiesi,defrisem,demolc.aniterativethresholdingalgorithmforlinearinverseproblemswithasparsityconstraint[j].communicationsonpureandappliedmathematics,2004,57(11):1413-1457.)。

步驟2.5：根據(jù)步驟2.4中的稀疏編碼和步驟一中得到的稀疏字典，利用公式(7)重建光譜反射率。

sk＝dkak

以上所述的具體描述，對(duì)發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。