一種高光譜圖像本質(zhì)分解和圖像分割方法
【專(zhuān)利摘要】本發(fā)明提出一種高光譜圖像本質(zhì)分解和圖像分割方法，具體步驟為：S1:將人造光源下的自然物體的高光譜圖像分解為四種獨(dú)立本質(zhì)成分：光源信息、幾何信息、材料特性、高光信息，并對(duì)其進(jìn)行數(shù)學(xué)關(guān)系表述；S2:獲取自然場(chǎng)景中多種不同材質(zhì)物體的高光譜圖像，對(duì)圖像進(jìn)行如步驟S1的本質(zhì)分解，并建立基于標(biāo)定數(shù)據(jù)的高光譜圖像本質(zhì)分解數(shù)據(jù)庫(kù)；S3:提取步驟S1中獲得的獨(dú)立本質(zhì)成分中的材料特性，采用無(wú)監(jiān)督學(xué)習(xí)方法進(jìn)行高光譜圖像分割。本發(fā)明能夠有效降低非平行光源和復(fù)雜幾何紋理等影響，獲得更好的圖像分割效果；并為其他可視化研究如物體追蹤、場(chǎng)景光源重建等提供數(shù)據(jù)獲取方法和標(biāo)定數(shù)據(jù)庫(kù)(Ground Truth)支持。
【專(zhuān)利說(shuō)明】
-種高光譜圖像本質(zhì)分解和圖像分割方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及圖像處理領(lǐng)域，特別設(shè)及一種基于標(biāo)定數(shù)據(jù)的高光譜圖像本質(zhì)分解和 圖像分割方法。
【背景技術(shù)】
[0002] 高光譜成像技術(shù)一直廣泛用于遙感成像，利用成像光譜儀W納米級(jí)光譜分辨率， 通過(guò)幾十個(gè)光譜波段同時(shí)對(duì)地表物體進(jìn)行成像，獲取其連續(xù)光譜信息，從而實(shí)現(xiàn)地表物體 空間信息和光譜信息的同步獲取。但是不同于平行太陽(yáng)光下的遙感成像，自然場(chǎng)景下近景 物體包含幾何紋理、交叉反射、復(fù)雜人造光源等復(fù)雜本質(zhì)成分，因此如何有效獲取自然近景 物體的高光譜信息是一個(gè)很重要的科學(xué)問(wèn)題。從運(yùn)一問(wèn)題出發(fā)，對(duì)于自然場(chǎng)景下的高光譜 圖像處理研究得到了廣泛的關(guān)注并產(chǎn)生了很多實(shí)用的技術(shù)方法，應(yīng)用于材料、環(huán)境、視覺(jué)等 諸多領(lǐng)域。
[0003] 隨著高光譜成像技術(shù)的快速發(fā)展及其廣泛應(yīng)用，越來(lái)越多針對(duì)現(xiàn)實(shí)生活視覺(jué)應(yīng)用 的光譜成像逐漸大眾化，其相對(duì)于傳統(tǒng)基于紅、綠、藍(lán)Ξ通道成像技術(shù)具有更豐富的多光譜 通道，能夠獲取更多的圖像本質(zhì)信息，從而進(jìn)一步應(yīng)用于圖像分割、識(shí)別和追蹤等。近年來(lái)， 高光譜圖像分割技術(shù)也由于機(jī)器學(xué)習(xí)的興起而日益受到關(guān)注，但是近景圖像中的復(fù)雜光源 影響和物體表面紋理特征使得基于無(wú)監(jiān)督學(xué)習(xí)的高光譜圖像分割受到較大干擾。傳統(tǒng)研究 方法依舊沿用遙感成像的一致光源假設(shè)，忽略近場(chǎng)光源影響，并且將幾何紋理、復(fù)雜陰影、 材料反射和高光統(tǒng)歸于材料特性，運(yùn)些外界干擾信息極大破壞了高光譜圖像分割的精確 度，其結(jié)果甚至差于依賴色彩敏感度的RGB圖像分割。

【發(fā)明內(nèi)容】

[0004] 為了得到高光譜圖像的本質(zhì)信息，將環(huán)境干擾降到最低，本發(fā)明提出了一種高光 譜圖像本質(zhì)分解和圖像分割方法。
[0005] 為達(dá)到上述目的，本發(fā)明采用的技術(shù)方案為：
[0006] -種高光譜圖像本質(zhì)分解和圖像分割方法，包括步驟如下：
[0007] S1:分別將兩種人造光源下的自然物體的高光譜圖像分解為四種獨(dú)立本質(zhì)成分： 光源信息、幾何信息、材料特性、高光信息，所述四種獨(dú)立本質(zhì)成分滿足W下數(shù)學(xué)關(guān)系：
[000引 Ι(χ，λ) = ?Χλ)*3(χ)*Κ(χ，λ)+Η(χ，λ)
[0009] 其中Ι(χ，λ)為自然物體的高光譜原始數(shù)據(jù)，L(A)為人造光源的光譜強(qiáng)度曲線，即 為光源信息;s(x)為物體的灰度陰影圖像，即為幾何信息;Κ(χ，λ)為物體去除表面幾何紋理 后的光譜反射特性，即為材料特性;Η(χ，λ)為自然物體在光照環(huán)境下發(fā)生的鏡面反射的光 譜曲線，即為物體表面高光信息；
[0010] S2:獲取自然場(chǎng)景中多種不同材質(zhì)物體的高光譜圖像，然后對(duì)每一幅圖像進(jìn)行如 同步驟S1的本質(zhì)分解，并作為標(biāo)定數(shù)據(jù)，建立基于標(biāo)定數(shù)據(jù)的高光譜圖像本質(zhì)分解數(shù)據(jù)庫(kù)；
[0011] S3:提取步驟S1中獲得的獨(dú)立本質(zhì)成分中的材料特性，采用無(wú)監(jiān)督學(xué)習(xí)方法進(jìn)行 高光譜圖像分割。
[0012] 步驟S1中，采用交叉偏振法和噴漆覆蓋方法進(jìn)行分解，具體步驟如下：
[0013] 1)將白色的油漆噴覆在白色的平坦表面上，由高光譜相機(jī)分別獲取兩種人造光源 和平坦表面上油漆的光譜曲線，光源光譜即為表示光源信息的獨(dú)立本質(zhì)成分;2)使用交叉 偏振法，即將偏振濾波片分別放置于光譜相機(jī)和光源處并使其相互垂直，從而分離出在兩 種人造光源下，所拍攝物體分別對(duì)應(yīng)的朗伯散射和高光反射兩種獨(dú)立成分;3)采用噴漆覆 蓋方法，即將步驟1)中所述油漆均勻噴覆在拍攝物體的表面，去除物體本身的紋理變化影 響W及步驟1)中的光源成分，從而從步驟2)的朗伯散射中進(jìn)一步分解出材料特性和幾何紋 理兩種獨(dú)立本質(zhì)成分;4)通過(guò)上述步驟1)至3)，最終可W分解出自然物體高光譜圖像的光 源信息、幾何信息、材料特性和高光信息四種獨(dú)立本質(zhì)成分。
[0014] 本發(fā)明通過(guò)采用基于標(biāo)定數(shù)據(jù)的方法對(duì)高光譜圖像進(jìn)行本質(zhì)分解W及圖像分割， 可W去除光照、幾何、鏡面反射等干擾信息，獲取高光譜圖像的多維本質(zhì)特征，對(duì)表征材料 特性的獨(dú)立成分進(jìn)行圖像分割，從而有效降低近景高光譜圖像中非平行光源和復(fù)雜幾何紋 理等影響，獲得遠(yuǎn)高于傳統(tǒng)高光譜圖像分割方法的圖像分割效果;并且為其他可視化研究 如物體追蹤、場(chǎng)景光源重建等提供數(shù)據(jù)獲取方法和標(biāo)定數(shù)據(jù)數(shù)據(jù)庫(kù)支持。除此之外，利用本 方法將高光譜圖像分解出的各獨(dú)立成分也都有巨大的應(yīng)用前景，如場(chǎng)景光源重建，Ξ維建 模等。
【附圖說(shuō)明】
[0015] 圖1為本發(fā)明一種高光譜圖像本質(zhì)分解和圖像分割方法的流程圖。
[0016] 圖2為本發(fā)明實(shí)施例中所使用光源和噴漆的光譜曲線信息；圖（a)(b)中的上圖分 別為L(zhǎng)ED光源和艦鶴燈光源，下圖分別為對(duì)應(yīng)的光譜曲線圖，圖（C)中的上圖為噴漆在兩種 光源下分別進(jìn)行拍攝，下圖為去除光源干擾得到的光譜特性曲線。
[0017] 圖3為本發(fā)明實(shí)施例的高光譜圖像本質(zhì)分解結(jié)果的灰度可視化表示；（a)為原圖 01'1邑；[]1日1，（13)朗伯散射山；1^化3日，（(3)幾何紋理311日(1；[叫，（(1)材料特性'日；1^1日(31：日]1。日和（6)高 光信息 specularity。
[0018] 圖4為本發(fā)明所建立的高光譜圖像本質(zhì)分解數(shù)據(jù)庫(kù)的灰度可視化表示；圖中的7行 分別對(duì)應(yīng)的物體為(a)魔方、（b)多啦A夢(mèng)、（C)石膏雕塑、（d)貓頭鷹、（e)桃子、（f)兔子、（g) 大白；圖中5列從左到右分別為原圖、朗伯散射、幾何紋理、材料特性、高光信息。
[0019] 圖5為本發(fā)明實(shí)施例的高光譜圖像分割與傳統(tǒng)光譜圖像分割結(jié)果比較示意圖；（a) 為本發(fā)明分割方法(b)為傳統(tǒng)光譜圖像分割方法；（a)和(b)圖中，上幅圖為L(zhǎng)邸光源，下幅圖 為艦鶴燈光源。
【具體實(shí)施方式】
[0020] 圖1為本發(fā)明一種高光譜圖像本質(zhì)分解和圖像分割方法的流程圖。包括W下步驟：
[0021] 步驟S101，提出一種高光譜圖像本質(zhì)分解方法思路:將自然物體的高光譜圖像分 解為四種獨(dú)立本質(zhì)分解成分，并對(duì)其進(jìn)行數(shù)學(xué)關(guān)系表述。
[0022] 具體地，該方法旨在對(duì)高光譜圖像中的光譜成分進(jìn)行分析，分解出各個(gè)獨(dú)立成分： 光源信息（Illumination)、幾何信息（Shading)、材料特性（Ref lectance)、高光信息 (Specularity)。從而去除其相互干擾。首先，通過(guò)高分辨率光譜相機(jī)捕獲的自然物體的高 光譜圖像可W分解為朗伯散射(Lambertian diffuse)和高光反射（specularity；)H(x，λ)兩 個(gè)獨(dú)立成分，高光部分表示物體表面發(fā)生鏡面反射的光線束;其次，朗伯散射成分可W進(jìn)一 步分解為Ξ種本質(zhì)成分:光源信息（Illumination)La)、表示物體幾何紋理信息的灰度陰 影圖像(Shading) s(x)和反應(yīng)物體材質(zhì)信息的反射特性(Reflectance )R(x, λ)。本高光譜本 質(zhì)分解方法中各獨(dú)立成分的數(shù)學(xué)關(guān)系表述為：
[0023] (1)
[0024] 步驟S102,根據(jù)S101的思路，采用交叉偏振法和噴漆覆蓋方式獲取兩種人造光源 下高光譜圖像的各本質(zhì)分解成分。高光譜圖像的獲取包括所拍攝物體的高光譜圖像、光源 的高光譜圖像和白色噴漆的高光譜圖像。
[0025] 具體而言，將傳統(tǒng)遙感光譜成像中的平行太陽(yáng)光假設(shè)擴(kuò)展至任意光照條件，通過(guò) 物理標(biāo)記過(guò)程獲取所拍攝物體的各個(gè)獨(dú)立本質(zhì)成分，該過(guò)程使用了交叉偏振法和噴漆覆蓋 方式。
[00%] 在本發(fā)明的一個(gè)實(shí)施例中，選取兩種典型人造光源:5500k色溫的白光L抓和3500k 色溫的暖色調(diào)艦鶴燈ITL。直接將兩種光源暴露于光譜相機(jī)下，獲取其光譜信息レ圖2(a) (b)分別為L(zhǎng)ED和艦鶴燈兩種光源各自的光譜曲線。選取一種白色噴漆，將其均勻噴附于白 紙上，用光譜相機(jī)直接對(duì)其進(jìn)行拍攝，獲取其光譜信息1。11。由于該白紙表面的平坦特性，其 幾何成分shading可W認(rèn)為是均一的，且不含有高光成分。對(duì)于白紙上的每個(gè)像素，其材料 特性光譜可W表示為： 柳打]
(2)
[0028] 圖2(c)即為噴漆在兩種光源下分別進(jìn)行拍攝后去除光源干擾得到的光譜特性曲 線。如圖2(c)所示，噴漆的光譜特性曲線不受光照環(huán)境的影響，兩種人造光源下噴漆的光譜 特性完全一致。
[0029] 通過(guò)使用高分辨率光譜相機(jī)，分別對(duì)上述兩種人造光源下的自然物體進(jìn)行光譜數(shù) 據(jù)拍攝，獲取其在450-700nm波段的高光譜圖像lorig。
[0030] 通過(guò)使用交叉偏振法，將偏振濾波片分別放置于光譜相機(jī)和光源處并使其相互垂 直，再次進(jìn)行光譜圖像拍攝，獲取的圖像即為物體的朗伯散射Idiff。從而原圖像被分解為朗 伯散射Idiff和高光Ispec:
[0031] Ispec=Iorig-Idiff (3)
[0032] 將拍攝物體表面進(jìn)行均勻噴漆，去除物體本身的紋理變化影響，并繼續(xù)使用交叉 偏振法去除高光成分影響，再進(jìn)行重新拍攝。噴漆后的圖像即為物體的幾何信息，標(biāo)注為 Ishad。根據(jù)上述數(shù)學(xué)關(guān)系表述，則Ishad和Idiff之間存在如下關(guān)系：
[003；3] Ishad = L*s〇bj*R〇ii (4)
[0034] Idiff = L*s〇bj*R〇bj (5)
[0035] 其中Robj和Roil分別表示原物體和噴漆后物體的材料特性，油漆的材料特性Roil不 可忽略，因?yàn)槠涔庾V不是嚴(yán)格的平行白光光譜；SdW表示物體的幾何信息。結(jié)合式(4)和式 (5)，可W得到物體的材料特性項(xiàng)RdW和幾何紋理項(xiàng)SDbj:
[0038] 在場(chǎng)景搭建過(guò)程中，為了降低不同物體間的交叉反射影響，場(chǎng)景周?chē)煤诓纪耆?覆蓋，整個(gè)拍攝過(guò)程都在暗室中進(jìn)行。圖3為本發(fā)明實(shí)施例的高光譜圖像本質(zhì)分解結(jié)果的灰 度可視化表示。如圖3所示，將標(biāo)記物體的各本質(zhì)分解成分進(jìn)行灰度圖像可視化表示，可W 很明顯的看出圖（d)材料特性中完全去除了物體的幾何紋理信息。
[0039] 步驟S103,對(duì)自然場(chǎng)景中多種不同材質(zhì)的物體進(jìn)行拍攝，建立首個(gè)基于標(biāo)定數(shù)據(jù) 的高光譜圖像本質(zhì)分解數(shù)據(jù)庫(kù)。
[0040] 具體地，對(duì)現(xiàn)實(shí)場(chǎng)景中常見(jiàn)的材料進(jìn)行拍攝，包括塑料(多啦A夢(mèng)、魔方和大白）、陶 瓷(貓頭鷹和兔子）、纖維素(桃子及硫酸巧化合物(石膏雕塑），分別對(duì)W上物體進(jìn)行本 質(zhì)圖像分解過(guò)程，從而建立首個(gè)基于標(biāo)定數(shù)據(jù)的高光譜圖像本質(zhì)分解數(shù)據(jù)庫(kù)，供后續(xù)圖像 處理或場(chǎng)景光源重建等使用。
[0041] 圖4為根據(jù)本發(fā)明所建立的首個(gè)高光譜圖像本質(zhì)分解數(shù)據(jù)庫(kù)的灰度可視化表示。 對(duì)每一個(gè)物體，都在兩種光照環(huán)境下進(jìn)行:5500Κ的Lm)和3500K的艦鶴燈。通過(guò)將光源放置 在拍攝場(chǎng)景的不同位置，可W為標(biāo)定數(shù)據(jù)(Ground化uth)的捕捉創(chuàng)造不同的光照條件，從 而獲得物體不同角度的各本質(zhì)分解成分。
[0042] 步驟S 104,根據(jù)上述高光譜圖像本質(zhì)分解方法，提取獨(dú)立成分材料特性 (Ref lectance)R〇bj，為了去除人工標(biāo)記影響，采用無(wú)監(jiān)督學(xué)習(xí)中的Kmeans聚類(lèi)方法進(jìn)行圖 像分割，并與原光譜圖像分割結(jié)果進(jìn)行比較，確認(rèn)其優(yōu)勢(shì)。
[0043] 具體地，對(duì)表征物體材料特性的獨(dú)立成分Reflectance進(jìn)行Kmeans聚類(lèi)分割，再直 接對(duì)原光譜圖像進(jìn)行Kmeans聚類(lèi)，將兩個(gè)分割結(jié)果進(jìn)行比較和分析。
[0044] 在本發(fā)明的一個(gè)實(shí)施例中，通過(guò)在兩種人造光源Lm)和艦鶴燈下分別對(duì)實(shí)物桃子 的獨(dú)立成分材質(zhì)特性進(jìn)行Kmeans聚類(lèi)分割，并進(jìn)行灰度可視化顯示;再對(duì)桃子兩份未經(jīng)處 理的原光譜數(shù)據(jù)進(jìn)行Kmeans聚類(lèi)和灰度可視化顯示，分別獲取兩種不同光源下的原光譜圖 像和本質(zhì)分解后反映材料特性光譜數(shù)據(jù)的分割結(jié)果并進(jìn)行比較。圖5為根據(jù)本發(fā)明一個(gè)實(shí) 施例的高光譜圖像分割與傳統(tǒng)光譜圖像分割結(jié)果比較示意圖。如圖5(a)所示，光譜獨(dú)立成 分Reflec化nee在Lm)和艦鶴燈兩種光源下都分割極好;如圖5(b)所示，原光譜數(shù)據(jù)在Lm)光 源下分割較好，但是在艦鶴燈下分割較差，物體表面存在明顯的陰影，該物體因此被錯(cuò)分為 兩種不同材質(zhì)。
[0045] 根據(jù)本發(fā)明實(shí)施例的方法，通過(guò)采用標(biāo)定數(shù)據(jù)的高光譜圖像本質(zhì)分解和圖像分割 方法，從而得到高光譜圖像的各獨(dú)立本質(zhì)成分，進(jìn)一步獲得遠(yuǎn)高于傳統(tǒng)光譜分割的圖像分 割效果。
【主權(quán)項(xiàng)】
1. 一種高光譜圖像本質(zhì)分解和圖像分割方法，其特征在于，包括步驟如下： S1:分別將兩種人造光源下的自然物體的高光譜圖像分解為四種獨(dú)立本質(zhì)成分:光源 信息、幾何信息、材料特性、高光信息，所述四種獨(dú)立本質(zhì)成分滿足以下數(shù)學(xué)關(guān)系： I(x，A)=L(A)*s(x)*R(x，A)+H(x，A) 其中Ι(χ，λ)為自然物體的高光譜原始數(shù)據(jù)，L(A)為人造光源的光譜強(qiáng)度曲線，即為光 源信息；s(x)為物體的灰度陰影圖像，即為幾何信息;R(x，A)為物體去除表面幾何紋理后的 光譜反射特性，即為材料特性;Η(χ，λ)為自然物體在光照環(huán)境下發(fā)生的鏡面反射的光譜曲 線，即為物體表面高光信息； S2:獲取自然場(chǎng)景中多種不同材質(zhì)物體的高光譜圖像，然后對(duì)每一幅圖像進(jìn)行如同步 驟S1的本質(zhì)分解，并作為標(biāo)定數(shù)據(jù)，建立基于標(biāo)定數(shù)據(jù)的高光譜圖像本質(zhì)分解數(shù)據(jù)庫(kù)； S3:提取步驟S1中獲得的獨(dú)立本質(zhì)成分中的材料特性，采用無(wú)監(jiān)督學(xué)習(xí)方法進(jìn)行高光 譜圖像分割。2. 如權(quán)利要求1所述的一種高光譜圖像本質(zhì)分解和圖像分割方法，其特征在于，步驟S1 中，采用交叉偏振法和噴漆覆蓋方法進(jìn)行分解，具體步驟如下： 1) 將白色的油漆噴覆在白色的平坦表面上，由高光譜相機(jī)分別獲取兩種人造光源和平 坦表面上油漆的光譜曲線，光源光譜即為表示光源信息的獨(dú)立本質(zhì)成分； 2) 使用交叉偏振法，即將偏振濾波片分別放置于光譜相機(jī)和光源處并使其相互垂直， 從而分離出在兩種人造光源下，所拍攝物體分別對(duì)應(yīng)的朗伯散射和高光反射兩種獨(dú)立成 分； 3) 采用噴漆覆蓋方法，即將步驟1)中所述油漆均勻噴覆在拍攝物體的表面，去除物體 本身的紋理變化影響以及步驟1)中的光源成分，從而從步驟2)的朗伯散射中進(jìn)一步分解出 材料特性和幾何紋理兩種獨(dú)立本質(zhì)成分； 4) 通過(guò)上述步驟1)至3)，最終可以分解出自然物體高光譜圖像的光源信息、幾何信息、 材料特性和高光信息四種獨(dú)立本質(zhì)成分。3. 如權(quán)利要求1或2所述的一種高光譜圖像本質(zhì)分解和圖像分割方法，其特征在于，所 述無(wú)監(jiān)督學(xué)習(xí)方法采用Kmeans聚類(lèi)方法。
【文檔編號(hào)】G06T7/40GK106067171SQ201610355413
【公開(kāi)日】2016年11月2日
【申請(qǐng)日】2016年5月26日 公開(kāi)號(hào)201610355413.0, CN 106067171 A, CN 106067171A, CN 201610355413, CN-A-106067171, CN106067171 A, CN106067171A, CN201610355413, CN201610355413.0
【發(fā)明人】曹汛, 趙楊, 朱維新, 紀(jì)小麗
【申請(qǐng)人】南京大學(xué)