一種多源多時(shí)相遙感圖像目標(biāo)變化監(jiān)測(cè)方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種多源多時(shí)相遙感圖像目標(biāo)變化監(jiān)測(cè)方法，包括：對(duì)訓(xùn)練圖像和測(cè)試圖像中的多時(shí)相多光譜圖像、全色圖像進(jìn)行預(yù)處理，得到平均波段圖像；提取訓(xùn)練圖像中多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像的特征，學(xué)習(xí)得到變化語(yǔ)義模型；提取訓(xùn)練圖像中多時(shí)相全色圖像的已標(biāo)好的目標(biāo)變化類(lèi)型的像素的特征，學(xué)習(xí)得到目標(biāo)變化類(lèi)型語(yǔ)義模型；提取測(cè)試圖像中多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像的特征，利用變化語(yǔ)義模型提取目標(biāo)變化區(qū)域；提取測(cè)試圖像中多時(shí)相全色圖像的目標(biāo)變化區(qū)域的特征，利用目標(biāo)變化類(lèi)型語(yǔ)義模型識(shí)別目標(biāo)變化類(lèi)型。本發(fā)明提高了目標(biāo)變化區(qū)域的檢測(cè)精度和目標(biāo)變化類(lèi)型的識(shí)別精度，可廣泛應(yīng)用于城市規(guī)劃、目標(biāo)變化監(jiān)測(cè)等諸多領(lǐng)域中。
【專(zhuān)利說(shuō)明】
一種多源多時(shí)相遙感圖像目標(biāo)變化監(jiān)測(cè)方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及遙感圖像處理、特征匹配、目標(biāo)變化檢測(cè)和變化類(lèi)型識(shí)別等技術(shù)領(lǐng)域， 特別是一種多源多時(shí)相遙感圖像目標(biāo)變化監(jiān)測(cè)方法。
【背景技術(shù)】
[0002] 多源多時(shí)相遙感圖像目標(biāo)變化監(jiān)測(cè)是利用計(jì)算機(jī)從輸入的不同時(shí)間拍攝的同一 區(qū)域圖像中將目標(biāo)變化檢測(cè)出來(lái)并判斷變化類(lèi)型的技術(shù)。多源多時(shí)相遙感圖像目標(biāo)變化監(jiān) 測(cè)在災(zāi)害監(jiān)測(cè)、城市規(guī)劃、目標(biāo)監(jiān)控等方面有著廣泛的應(yīng)用。然而，由于多時(shí)相遙感圖像的 復(fù)雜性及變化的語(yǔ)義不確定性，從多時(shí)相遙感圖像中利用計(jì)算機(jī)自動(dòng)檢測(cè)、識(shí)別目標(biāo)變化 及其變化類(lèi)型依然面臨著許多挑戰(zhàn)。
[0003] 多源多時(shí)相遙感圖像目標(biāo)變化監(jiān)測(cè)一般包括變化區(qū)域的提取和變化類(lèi)型的識(shí)別， 目標(biāo)變化監(jiān)測(cè)的關(guān)鍵技術(shù)包括特征提取和特征分類(lèi)，特征可分性是變化區(qū)域提取和變化類(lèi) 型識(shí)別的關(guān)鍵。為了全面反映目標(biāo)的光譜特征和幾何特征，目前衛(wèi)星上往往同時(shí)搭載低空 間分辨率的多光譜圖像和高空間分辨率的全色圖像。傳統(tǒng)的變化檢測(cè)和目標(biāo)監(jiān)測(cè)系統(tǒng)往往 先將不同時(shí)間、不同類(lèi)型的多光譜圖像、全色圖像配準(zhǔn)，然后將同一時(shí)間的多光譜圖像和全 色圖像融合，對(duì)融合后的多時(shí)相圖像進(jìn)行變化檢測(cè)和目標(biāo)監(jiān)測(cè)。由于上述流程需要多次圖 像配準(zhǔn)，并且多光譜圖像需要進(jìn)行四倍左右的上采樣。目前，由于采樣技術(shù)的限制，四倍上 采樣往往會(huì)造成圖像模糊。因此，特征的可分性遭到了破壞，變化類(lèi)與非變化類(lèi)之間、不同 的目標(biāo)變化類(lèi)型之間的區(qū)分性很低，很容易造成目標(biāo)變化區(qū)域及變化類(lèi)型的漏檢和誤檢。 也就是說(shuō)，特征提取和特征分類(lèi)是多源多時(shí)相遙感圖像目標(biāo)變化監(jiān)測(cè)的關(guān)鍵瓶頸。
[0004] 目前常用的特征提取方法(如小波系數(shù)、方向梯度直方圖）、分類(lèi)器(如SVM)在中低 分辨率遙感圖像的變化檢測(cè)及目標(biāo)監(jiān)測(cè)中表現(xiàn)出優(yōu)良的性能。然而，這些特征和分類(lèi)器對(duì) 高分辨率遙感圖像中目標(biāo)的表征能力不強(qiáng)，忽略了變化類(lèi)與非變化類(lèi)之間、不同的目標(biāo)變 化類(lèi)型之間的語(yǔ)義差異，割裂了特征提取和特征分類(lèi)的內(nèi)在聯(lián)系，極大地影響了變化檢測(cè)、 變化類(lèi)型識(shí)別的性能。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是針對(duì)多源多時(shí)相遙感圖像目標(biāo)變化監(jiān)測(cè)的難點(diǎn)、現(xiàn)狀以及語(yǔ)義特 征的重要性，提供一種有效的多源多時(shí)相遙感圖像目標(biāo)變化監(jiān)測(cè)方法。
[0006] 為了實(shí)現(xiàn)上述目的，本發(fā)明提出一種多源多時(shí)相遙感圖像目標(biāo)變化監(jiān)測(cè)方法，該 方法包括以下步驟：
[0007] 步驟S1，對(duì)訓(xùn)練圖像和測(cè)試圖像中的多時(shí)相多光譜圖像、全色圖像進(jìn)行預(yù)處理，得 到訓(xùn)練圖像和測(cè)試圖像中的多時(shí)相多光譜圖像分別對(duì)應(yīng)的平均波段圖像；
[0008] 步驟S2,對(duì)訓(xùn)練圖像中的多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像進(jìn)行特征提取， 學(xué)習(xí)得到變化語(yǔ)義模型；
[0009] 步驟S3,對(duì)訓(xùn)練圖像中的多時(shí)相全色圖像的已標(biāo)好的目標(biāo)變化類(lèi)型的像素進(jìn)行特 征提取，學(xué)習(xí)得到目標(biāo)變化類(lèi)型語(yǔ)義模型；
[0010]步驟S4,對(duì)測(cè)試圖像中的多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像進(jìn)行特征提取， 利用所述變化語(yǔ)義模型提取目標(biāo)變化區(qū)域；
[0011] 步驟S5,對(duì)測(cè)試圖像中的多時(shí)相全色圖像的目標(biāo)變化區(qū)域進(jìn)行特征提取，利用目 標(biāo)變化類(lèi)型語(yǔ)義模型識(shí)別目標(biāo)變化類(lèi)型。
[0012] 本發(fā)明所述方法對(duì)于提高目標(biāo)變化檢測(cè)率和目標(biāo)變化類(lèi)型識(shí)別率具有重要的意 義，其主要優(yōu)點(diǎn)如下：
[0013] 本發(fā)明無(wú)需對(duì)不同時(shí)相的多光譜圖像和全色圖像進(jìn)行圖像配準(zhǔn)和重采樣、無(wú)需對(duì) 同一時(shí)間的多光譜圖像和全色圖像進(jìn)行融合，減弱了圖像配準(zhǔn)、重采樣及圖像融合對(duì)特征 可分性的破壞并大大減少了計(jì)算量；
[0014] 本發(fā)明將目標(biāo)變化區(qū)域檢測(cè)和目標(biāo)變化類(lèi)型識(shí)別分離;在低空間分辨率的多時(shí)相 多光譜圖像上進(jìn)行目標(biāo)變化區(qū)域檢測(cè)，發(fā)揮了多光譜圖像光譜分辨率高的優(yōu)勢(shì)，同時(shí)減少 了全色圖像上豐富的幾何細(xì)節(jié)對(duì)目標(biāo)區(qū)域的干擾;在高空間分辨率的多時(shí)相全色圖像進(jìn)行 目標(biāo)變化類(lèi)型識(shí)別，發(fā)揮了全色圖像上豐富的幾何細(xì)節(jié)在目標(biāo)類(lèi)型識(shí)別方面的優(yōu)勢(shì)。
[0015] 變化類(lèi)-非變化類(lèi)有序語(yǔ)義對(duì)反映了變化強(qiáng)度特征的類(lèi)間可分性和類(lèi)內(nèi)相似性， 變化類(lèi)-非變化類(lèi)語(yǔ)義投影矩陣可以動(dòng)態(tài)調(diào)節(jié)變化強(qiáng)度特征的距離；目標(biāo)變化類(lèi)型有序語(yǔ) 義對(duì)反映了變化類(lèi)型特征的類(lèi)間可分性和類(lèi)內(nèi)相似性，目標(biāo)變化類(lèi)型語(yǔ)義投影矩陣可以動(dòng) 態(tài)調(diào)節(jié)目標(biāo)變化類(lèi)型特征之間的距離。
[0016] 得益于上述優(yōu)點(diǎn)，本發(fā)明極大地提高了變化類(lèi)與非變化類(lèi)的類(lèi)間可分性、不同類(lèi) 型的變化特征之間的類(lèi)間可分性，從而有助于提高變化區(qū)域檢測(cè)精度和變化類(lèi)型識(shí)別精 度，可廣泛應(yīng)用于目標(biāo)識(shí)別、目標(biāo)跟蹤等系統(tǒng)中。
【附圖說(shuō)明】
[0017] 圖1是根據(jù)本發(fā)明一實(shí)施例的多源多時(shí)相遙感圖像目標(biāo)變化監(jiān)測(cè)方法的流程圖；
[0018] 圖2是根據(jù)本發(fā)明一實(shí)施例的DAISY特征提取示意圖。
【具體實(shí)施方式】
[0019] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照 附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。
[0020] 圖1是根據(jù)本發(fā)明一實(shí)施例的多源多時(shí)相遙感圖像目標(biāo)變化監(jiān)測(cè)方法的流程圖， 如圖1所示，所述方法包括以下步驟：
[0021] 步驟S1，對(duì)訓(xùn)練圖像和測(cè)試圖像中的多時(shí)相多光譜圖像、全色圖像進(jìn)行預(yù)處理，得 到訓(xùn)練圖像和測(cè)試圖像中的多時(shí)相多光譜圖像分別對(duì)應(yīng)的平均波段圖像；
[0022] 其中，所述訓(xùn)練圖像包括時(shí)相11的多光譜圖像111和全色圖像112、時(shí)相12的多光 譜圖像121和全色圖像122，所述測(cè)試圖像包括時(shí)相11的多光譜圖像113和全色圖像114、時(shí) 相t2的多光譜圖像t23和全色圖像t24。
[0023] 所述步驟S1進(jìn)一步包括以下步驟：
[0024] 步驟S11，公共區(qū)域提取:根據(jù)經(jīng)煒度與圖像像素的對(duì)應(yīng)關(guān)系分別提取出所述訓(xùn)練 圖像中的多時(shí)相多光譜圖像、多時(shí)相全色圖像的公共部分圖像，以及所述測(cè)試圖像中的多 時(shí)相多光譜圖像、多時(shí)相全色圖像的公共部分圖像；
[0025] 為了減少計(jì)算量并減弱傳統(tǒng)變化檢測(cè)流程中對(duì)多光譜圖像進(jìn)行大幅度上采樣差 值對(duì)特征可分性的影響，該步驟根據(jù)經(jīng)煒度與圖像像素的對(duì)應(yīng)關(guān)系分別取出所述訓(xùn)練圖像 中的多時(shí)相多光譜圖像、多時(shí)相全色圖像的公共部分圖像及測(cè)試圖像的多時(shí)相多光譜圖 像、多時(shí)相全色圖像的公共部分圖像。為方便，將訓(xùn)練圖像的多時(shí)相多光譜圖像以及全色圖 像的公共部分圖像分別記為〖14、〖24、〖128、〖228，將測(cè)試圖像的多時(shí)相多光譜圖像以及 全色圖像的公共部分圖像分別記為tl3g、t23g、tl4g、t24g。
[0026] 步驟S12,圖像插值和上采樣:將時(shí)相tl和時(shí)相t2的多光譜公共部分圖像和全色公 共部分圖像分別進(jìn)行插值，并將不同時(shí)相的同一類(lèi)型的公共部分圖像分別轉(zhuǎn)換到相同的空 間分辨率使其具有相同的尺寸，得到轉(zhuǎn)換后的公共部分圖像；
[0027]不妨設(shè)時(shí)相t2的空間分辨率較高，則以七2以42284238 4248為基準(zhǔn)圖像，分別將 七118、衍28 4138、衍48進(jìn)行重采樣，使其分別和七218 322832384248具有相同的尺寸。為 方便，將重采樣處理后得到的圖像分別記為tllc、tl2c、t21c、t22c、tl3c、t23c、tl4c、t24c。
[0028] 步驟S13,生成多時(shí)相多光譜圖像平均波段圖像:計(jì)算訓(xùn)練圖像和測(cè)試圖像中經(jīng)過(guò) 所述步驟S12轉(zhuǎn)換后的多光譜公共部分圖像111(：421(3^13(3 323(3的平均波段圖像，得到訓(xùn) 練圖像和測(cè)試圖像中的多時(shí)相多光譜圖像分別對(duì)應(yīng)的平均波段圖像，其中，所述平均波段 圖像的每個(gè)像素值為該像素處不同波段光譜響應(yīng)的均值。為方便，將生成的平均波段圖像 分別記為tlla、t21a、tl3a、t23a。
[0029] 步驟S2,對(duì)所述訓(xùn)練圖像中的多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像tlla、t21a 進(jìn)行特征提取，學(xué)習(xí)得到變化語(yǔ)義模型；
[0030] 所述步驟S2進(jìn)一步包括以下步驟：
[0031] 步驟S 21，在所述訓(xùn)練圖像中的多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像111 a和 t21a上，為每個(gè)像素提取地物類(lèi)型特征；
[0032] 本發(fā)明中，利用DAISY特征表征每個(gè)像素及其鄰域的地物類(lèi)型特征(DAISY的英文 原意為雛菊花，因本發(fā)明中特征提取的中央-周?chē)鷮?duì)稱(chēng)結(jié)構(gòu)與雛菊花的花瓣結(jié)構(gòu)很相似，故 稱(chēng)之為DAISY特征。）。圖2為根據(jù)本發(fā)明一實(shí)施例的DAISY特征提取示意圖，如圖2所示， DAISY特征以灰度圖像或平均波段圖像的每個(gè)像素為中心、以采樣尺度為半徑（比如16)的 圖像塊上構(gòu)造多個(gè)(比如3個(gè))不同半徑的同心圓形結(jié)構(gòu)，并在每個(gè)同心圓上按一定角度(比 如45°)等角度間隔提取多個(gè)(比如8個(gè))取樣點(diǎn)，以每個(gè)取樣點(diǎn)為圓心構(gòu)造圓形結(jié)構(gòu)，稱(chēng)之為 取樣圓。圓心位于同一個(gè)同心圓的取樣圓半徑相同，圓心位于不同同心圓的取樣圓半徑由 里向外半徑依次增大。對(duì)落在每一個(gè)取樣圓內(nèi)的圖像像素點(diǎn)構(gòu)造梯度方向直方圖，然后將 不同取樣圓的梯度方向直方圖連接起來(lái)組成DAI SY特征。
[0033] 具體地，所述步驟S21進(jìn)一步包括以下步驟：
[0034]步驟S211，計(jì)算以每個(gè)像素為中心、以采樣尺度為半徑的圖像塊中每個(gè)取樣圓對(duì) 應(yīng)的局部梯度方向直方圖；
[0035] 所述步驟S211進(jìn)一步包括以下步驟：
[0036]步驟S2111，計(jì)算以每個(gè)像素為中心、以采樣尺度為半徑的圖像塊中每個(gè)取樣圓的 每個(gè)圖像像素點(diǎn)(u，v)的q個(gè)(在本發(fā)明一實(shí)施例中，q = 8)方向梯度；
[0037]步驟S2112,利用高斯核卷積得到所述取樣圓中每個(gè)圖像像素點(diǎn)對(duì)應(yīng)的方向梯度 向量：
[0038] h (u, v) - [(gf (//, v).. (u, v), · , gf (u, v), · , g； (u, v))]r ,
[0039] 其中，gf(",v)表示第i個(gè)方向梯度，上標(biāo)Σ表示該像素點(diǎn)所在取樣圓的高斯尺度 值。這樣，相同半徑的取樣圓上的像素點(diǎn)具有相同的高斯尺度值，不同半徑的取樣圓上的像 素點(diǎn)高斯尺度值不同。本發(fā)明中，高斯尺度值指高斯核卷積的標(biāo)準(zhǔn)差。
[0040] 步驟S2113,對(duì)每個(gè)像素點(diǎn)對(duì)應(yīng)的上述向量按照將梯度方向從0度到360度均勻量 化到q個(gè)等角度范圍區(qū)間進(jìn)行統(tǒng)計(jì)的方式得到該取樣圓對(duì)應(yīng)的局部梯度方向直方圖。
[0041] 步驟S212,基于所述步驟S211得到的每個(gè)取樣圓對(duì)應(yīng)的局部梯度方向直方圖，得 到每個(gè)像素對(duì)應(yīng)的DAISY特征，所述DAISY特征用于描述采樣點(diǎn)(u，v)局部支撐區(qū)域中每個(gè) 圖像像素點(diǎn)的一系列相關(guān)向量的加權(quán)，表示如下：
[0043] 其中，lm(u，v，Rn)表示以采樣點(diǎn)(u，v)為中心的中央一周?chē)鷮?duì)稱(chēng)計(jì)算結(jié)構(gòu)中第η個(gè) 同心圓環(huán)上的第m個(gè)取樣圓，/((/,"(", ν,/ζ))表示以采樣點(diǎn)(u，v)為中心的中央一周?chē)鷮?duì)稱(chēng)計(jì) 算結(jié)構(gòu)中第η個(gè)同心圓環(huán)上的第m個(gè)取樣圓的局部梯度方向直方圖，在本發(fā)明一實(shí)施例中，m =1，2，.·_，8，n = l，2,3〇
[0044] 步驟S22，對(duì)所述訓(xùn)練圖像中的多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像11 la、t2 la 的每個(gè)像素提取變化強(qiáng)度特征，并將變化-非變化類(lèi)訓(xùn)練區(qū)域中各像素對(duì)應(yīng)的變化強(qiáng)度特 征及其對(duì)應(yīng)的類(lèi)型標(biāo)注組合到一起形成變化強(qiáng)度特征訓(xùn)練樣本集合，其中，所述變化-非變 化類(lèi)訓(xùn)練區(qū)域中各像素的類(lèi)型標(biāo)注表示該像素是否發(fā)生了變化，檢測(cè)到變化后后續(xù)在步驟 S3中再判斷是哪種變化類(lèi)型。
[0045] 在本發(fā)明一實(shí)施例中，所述變化強(qiáng)度特征表示為：
[0046] fml2(r,c) = fll(r,c)-f21(r,c),
[0047] 其中，€11&，(3)和€21(^(3)分別為平均波段圖像^1&321 &的像素（^(3)處的 DIASY特征向量，r和C分別為像素的行號(hào)和列號(hào)。
[0048] 所述變化強(qiáng)度特征訓(xùn)練樣本集合表示為：
[0049] D={(xi，yi) | i = l，2,…，η}，
[0050] 其中，Xi表示訓(xùn)練區(qū)域第i個(gè)像素對(duì)應(yīng)的DAISY變化強(qiáng)度特征向量，yi為對(duì)應(yīng)的變化 類(lèi)標(biāo)，y i=〇代表非變化類(lèi)，yi = 1代表目標(biāo)。
[0051 ]步驟S23，構(gòu)造變化類(lèi)-非變化類(lèi)有序語(yǔ)義對(duì):利用所述地物類(lèi)型特征和變化強(qiáng)度 特征訓(xùn)練樣本集合中的變化-非變化類(lèi)型標(biāo)注構(gòu)造變化類(lèi)-非變化類(lèi)有序語(yǔ)義對(duì)；
[0052] 該步驟將非變化類(lèi)作為一類(lèi)，所有的變化類(lèi)作為一類(lèi)，對(duì)每個(gè)訓(xùn)練樣本(Xi，yi)，按 照如下方式構(gòu)造有序語(yǔ)義對(duì):從變化強(qiáng)度特征訓(xùn)練樣本集合D中利用K-D tree算法搜索標(biāo) 注與yi-致的最近鄰xi,2、與yi不一致的最近鄰xi,3;然后構(gòu)建有序語(yǔ)義對(duì)：t = (xi，xi,2， Xi, 3).;最后將所有的訓(xùn)練樣本對(duì)應(yīng)的有序語(yǔ)義對(duì)放到一起，形成有序語(yǔ)義對(duì)集合{tl·， 七2，'"，1^}，其中1：1=(叉1,1，叉1,2，叉1,3)，1 = 1，2，"，11.11為有序語(yǔ)義對(duì)個(gè)數(shù)。
[0053] 步驟S24,以最大化變化類(lèi)-非變化類(lèi)有序語(yǔ)義對(duì)的間隔為目標(biāo)，構(gòu)建變化語(yǔ)義模 型并在變化強(qiáng)度特征訓(xùn)練樣本的支持下求解變化類(lèi)-非變化類(lèi)語(yǔ)義投影矩陣和變化類(lèi)-非 變化類(lèi)語(yǔ)義參數(shù)，所述變化語(yǔ)義模型包括變化類(lèi)-非變化類(lèi)語(yǔ)義投影矩陣和變化類(lèi)-非變化 類(lèi)語(yǔ)義參數(shù)兩部分，其中，變化類(lèi)-非變化類(lèi)語(yǔ)義投影矩陣的作用是調(diào)整非變化類(lèi)與變化類(lèi) 特征之間的可分性，變化類(lèi)-非變化類(lèi)語(yǔ)義參數(shù)的作用是為了后續(xù)的目標(biāo)變化區(qū)域檢測(cè)，可 在變化強(qiáng)度特征訓(xùn)練樣本的支持下求解變化類(lèi)-非變化類(lèi)語(yǔ)義投影矩陣和變化類(lèi)-非變化 類(lèi)語(yǔ)義參數(shù)。
[0054]在本發(fā)明一實(shí)施例中，所述變化語(yǔ)義模型表示為如下的數(shù)學(xué)模型：
[0056] 其中，I |M| |f表示矩陣Μ的Frobenius范數(shù)，ζι是待求的松弛變量，C為正則化因子，η 為有序語(yǔ)義對(duì)個(gè)數(shù)，本發(fā)明一實(shí)施例中，C = 10。
[0057]為求解上述模型，將其轉(zhuǎn)化為L(zhǎng)agrange對(duì)偶問(wèn)題：
[0059]其中，Cli為待求的變化類(lèi)-非變化類(lèi)語(yǔ)義參數(shù)，ti = (Xi, lXi, 2，Xi, 3)和t j = (Xj, 1，Xj, 2， X j, 3 )，Kt (ti，tj) - tr(TiTj)，Ti - ( Xi, 1-Xi, 3 ) ( Xi, 1-Xi, 3 ) - ( Xi, 1-Xi, 2 ) ( Xi, 1-Xi, 2 )，Tj - ( X j, 1 - Xj,3)(Xj,l-Xj,3)T-(Xj,l-Xj,2)(Xj,l-Xj,2)T，tr( ·)表示矩陣的跡算子。
[0060]這是一個(gè)普通的二次規(guī)劃問(wèn)題，可以利用隨機(jī)梯度法、內(nèi)點(diǎn)法等方法求解。得到a =[αι，…，an]后，就可以計(jì)算得到變化類(lèi)-非變化類(lèi)語(yǔ)義投影矩陣：
[0062]步驟S3,對(duì)所述訓(xùn)練圖像中的多時(shí)相全色圖像tl2c和t22c的已標(biāo)好的目標(biāo)變化類(lèi) 型訓(xùn)練區(qū)域進(jìn)行特征提取，學(xué)習(xí)得到目標(biāo)變化類(lèi)型語(yǔ)義模型；
[0063] 所述步驟S3進(jìn)一步包括以下步驟：
[0064] 步驟S31，在所述訓(xùn)練圖像中的多時(shí)相全色圖像tic和t2c的變化區(qū)域上，為每個(gè)像 素提取地物類(lèi)型特征；
[0065] 本發(fā)明中，利用DAISY特征表征每個(gè)像素及其鄰域的地物類(lèi)型特征。DAISY特征的 提取方法與步驟S21相同。
[0066]步驟S32，對(duì)所述訓(xùn)練圖像中的多時(shí)相全色圖像112c和t22c的變化區(qū)域中的每個(gè) 像素提取目標(biāo)變化類(lèi)型特征，并將已標(biāo)好的目標(biāo)變化類(lèi)型訓(xùn)練區(qū)域中各像素對(duì)應(yīng)的目標(biāo)變 化類(lèi)型特征及其對(duì)應(yīng)的變化類(lèi)型標(biāo)注組合到一起形成目標(biāo)變化類(lèi)型特征訓(xùn)練樣本集合，其 中，變化類(lèi)型是指由一種類(lèi)型變成另一種類(lèi)型，比如由房屋變成草地，由草地變成道路，通 常變化類(lèi)型是由變化訓(xùn)練樣本來(lái)確定的，是事先定義好的；
[0067] 在本發(fā)明一實(shí)施例中，所述目標(biāo)變化類(lèi)型特征表示為：
[0068] fpl2(r,c) = f 12(r,c)-f22(r,c),
[0069] 其中，fl2(r，c)和f22(r，c)分別為多時(shí)相全色圖像tl2c、t22c的像素(r，c)處的 DIASY特征向量，r和C分別為像素的行號(hào)和列號(hào)。
[0070] 所述目標(biāo)變化類(lèi)型特征訓(xùn)練樣本集合表示為：
[0071] T={(xi，yi) | i = l，2,…，η}，
[0072] 其中，^表示目標(biāo)變化類(lèi)型訓(xùn)練區(qū)域第i個(gè)像素對(duì)應(yīng)的目標(biāo)變化類(lèi)型特征向量，yi 為對(duì)應(yīng)的目標(biāo)變化類(lèi)型類(lèi)標(biāo)。
[0073] 步驟S33，根據(jù)目標(biāo)變化類(lèi)型特征的近鄰性和變化類(lèi)型標(biāo)注的異同性構(gòu)造目標(biāo)變 化類(lèi)型有序語(yǔ)義對(duì):為了提高不同目標(biāo)變化類(lèi)型的可分性，在構(gòu)造目標(biāo)變化類(lèi)型語(yǔ)義模型 前先構(gòu)造目標(biāo)變化類(lèi)型有序語(yǔ)義對(duì)。下面以第i類(lèi)類(lèi)型的目標(biāo)變化為例介紹目標(biāo)變化類(lèi)型 有序語(yǔ)義對(duì)構(gòu)造方法。對(duì)于目標(biāo)變化類(lèi)型特征訓(xùn)練樣本集合T中的每一個(gè)訓(xùn)練樣本( X1，i)， (1 = 1，…，πη)，分別從第i類(lèi)目標(biāo)變化訓(xùn)練樣本和非第i類(lèi)目標(biāo)變化訓(xùn)練樣本集合中利用k-01：代6算法搜索最近鄰11,2和11,3組成第：[類(lèi)目標(biāo)的有序語(yǔ)義對(duì)七=(11，11,2，11,3)高為第；[類(lèi) 目標(biāo)變化類(lèi)型集合的訓(xùn)練樣本個(gè)數(shù)。
[0074] 步驟S34,以最大化目標(biāo)變化類(lèi)型特征的間隔為目標(biāo)，構(gòu)建目標(biāo)變化類(lèi)型語(yǔ)義模 型，并在目標(biāo)變化類(lèi)型特征訓(xùn)練樣本的支持下求解目標(biāo)變化類(lèi)型語(yǔ)義模型，所述目標(biāo)變化 類(lèi)型語(yǔ)義模型包括目標(biāo)變化類(lèi)型語(yǔ)義投影矩陣和目標(biāo)變化類(lèi)型語(yǔ)義參數(shù)，所述目標(biāo)變化類(lèi) 型語(yǔ)義投影矩陣旨在調(diào)整不同目標(biāo)變化類(lèi)型的特征之間的距離、增加不同類(lèi)型目標(biāo)之間的 可分性，所述目標(biāo)變化類(lèi)型語(yǔ)義參數(shù)是為了后續(xù)的變化類(lèi)型識(shí)別，換句話說(shuō)，所述目標(biāo)變化 類(lèi)型語(yǔ)義模型的目的是學(xué)習(xí)目標(biāo)變化類(lèi)型語(yǔ)義投影矩陣P，P的作用是調(diào)整不同目標(biāo)變化類(lèi) 型的特征之間的可分性。
[0075] 在本發(fā)明一實(shí)施例中，基于第i類(lèi)有序語(yǔ)義對(duì)的目標(biāo)變化類(lèi)型語(yǔ)義模型表示為如 下的數(shù)學(xué)模型：
[0077]其中，| |Pi| |F表示矩陣Pi的Frobenius范數(shù)，ξ!是待求的松弛變量，C為正則化因 子，nu為第i類(lèi)有序語(yǔ)義對(duì)個(gè)數(shù)，本發(fā)明一實(shí)施例中，C = 10。為求解上述模型，將其轉(zhuǎn)化為 Lagrange對(duì)偶問(wèn)題：
[0079]其中，0為待求的目標(biāo)變化類(lèi)型語(yǔ)義參數(shù)上=^,1^,2，11<,3)和1：」=^,1，1」,2， X j, 3 )，Kt (tk，tj) - tr ( TkT j )，Tk - ( Xk, l_Xk, 3 ) ( Xk, l_Xk, 3 ) _ ( Xk, l_Xk, 2 ) ( Xk, l_Xk, 2)，Tj - ( X j, 1 - Xj,3) (Xj,l_Xj,：B)T_(Xj,l_Xj,2) (Xj,l_Xj,2)T。
[0080]這是一個(gè)普通的二次規(guī)劃問(wèn)題，可以利用隨機(jī)梯度法、內(nèi)點(diǎn)法等方法求解。得到 A，…./U后，就可以計(jì)算得到目標(biāo)變化類(lèi)型語(yǔ)義投影矩陣：
[0082] 對(duì)每一種目標(biāo)變化類(lèi)型i，都按照所述步驟S31和S32構(gòu)造目標(biāo)變化類(lèi)型語(yǔ)義投影 矩陣Ρ:。這樣，總共可以得到C個(gè)目標(biāo)變化類(lèi)型語(yǔ)義投影矩陣{PdKhC}，C為目標(biāo)變化類(lèi) 型個(gè)數(shù)。
[0083]步驟S4，對(duì)所述測(cè)試圖像中的多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像113a和t23a 進(jìn)行特征提取，利用所述變化語(yǔ)義模型提取目標(biāo)變化區(qū)域；
[0084] 所述步驟S4進(jìn)一步包括以下步驟：
[0085]步驟S41，在所述測(cè)試圖像中的多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像tl3a和 t23a上，為每個(gè)像素提取地物類(lèi)型特征；
[0086]本發(fā)明中，利用DAISY特征表征每個(gè)像素及其鄰域的地物類(lèi)型特征。DAISY特征的 提取方法與步驟S21相同。
[0087]步驟S 4 2，對(duì)所述測(cè)試圖像中的多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像113 a和 t23a的每個(gè)像素提取變化強(qiáng)度特征伽23^，(3)=03(^(：)423&，(3)，其中413(1(3)和€23 (r，c)分別為tl3a、t23a的像素(r，c)處的DIASY特征向量，r和c分別為像素的行號(hào)和列號(hào)；
[0088] 步驟S43,構(gòu)造測(cè)試樣本變化類(lèi)-非變化類(lèi)有序語(yǔ)義對(duì):對(duì)所述測(cè)試圖像的多時(shí)相 多光譜圖像對(duì)應(yīng)的平均波段圖像tl3a、t23a上的每一個(gè)變化強(qiáng)度特征x k，分別從非變化類(lèi) 和變化類(lèi)的變化強(qiáng)度特征集合中利用k_D tree算法搜索最近鄰xk,2和xk,3組成測(cè)試樣本變 化類(lèi)-非變化類(lèi)有序語(yǔ)義對(duì)t = ( Xk，Xk, 2，Xk, 3 )。
[0089] 步驟S44，提取變化區(qū)域:對(duì)于每一個(gè)測(cè)試樣本變化類(lèi)-非變化類(lèi)有序語(yǔ)義對(duì)t，其 類(lèi)標(biāo)由 g(t) = sgn( (Xk-Xk,2)TM(Xk-Xk,2)-(Xk-Xk,3)TM(Xk_Xk,3))確定，其中，g(t) =-1 表示有 序語(yǔ)義對(duì)t對(duì)應(yīng)的像素處為非變化類(lèi)，g t) = l表示有序語(yǔ)義對(duì)t對(duì)應(yīng)的像素處為變化類(lèi)。將 類(lèi)標(biāo)為變化類(lèi)目標(biāo)的像素進(jìn)行合并，得到目標(biāo)變化區(qū)域R1。由于全色圖像和多光譜圖像的 空間分辨率不同，為了后續(xù)的目標(biāo)變化類(lèi)型識(shí)別，將目標(biāo)變化區(qū)域R1以全色圖像t23c為基 準(zhǔn)進(jìn)行最近鄰上采樣，記上采樣后的目標(biāo)變化區(qū)域?yàn)镽。
[0090] 步驟S5,對(duì)所述測(cè)試圖像中的多時(shí)相全色圖像的目標(biāo)變化區(qū)域進(jìn)行特征提取，利 用目標(biāo)變化類(lèi)型語(yǔ)義模型識(shí)別目標(biāo)變化類(lèi)型。
[0091] 所述步驟S5進(jìn)一步包括以下步驟：
[0092]步驟S51，為所述測(cè)試圖像中的多時(shí)相全色圖像t23c和t24c的目標(biāo)變化區(qū)域R中的 每個(gè)像素提取目標(biāo)類(lèi)型特征；
[0093]本發(fā)明中，利用DAISY特征表征每個(gè)像素及其鄰域的地物類(lèi)型特征。DAISY特征的 提取方法與步驟S21相同。
[0094]步驟S52,對(duì)所述測(cè)試圖像中的多時(shí)相全色圖像t23c和t24c的目標(biāo)變化區(qū)域R中的 每個(gè)像素提取目標(biāo)變化類(lèi)型特征€口23(6〇) = €23(^(3)424(6(3)，其中汀23(6(3)和€24 (r，c)分別為t23c、t24c的像素(r，c)處的目標(biāo)類(lèi)型特征， r和C分別為像素的行號(hào)和列號(hào)，并 將目標(biāo)變化區(qū)域R中所有像素的目標(biāo)變化類(lèi)型特征組合到一起形成測(cè)試樣本集合T2= {Xl i = l，2,…，η}，xi表示目標(biāo)變化區(qū)域R第i個(gè)像素對(duì)應(yīng)的目標(biāo)變化類(lèi)型特征向量。
[0095]步驟S53,識(shí)別目標(biāo)變化的類(lèi)型：對(duì)所述測(cè)試樣本集合T2中的每一個(gè)目標(biāo)變 化類(lèi)型特征xk，分別從第i類(lèi)目標(biāo)變化訓(xùn)練樣本集合和非i類(lèi)目標(biāo)變化訓(xùn)練樣本集 合的目標(biāo)變化類(lèi)型特征集合中利用k-D tree算法搜索最近鄰^^和^, 3并組成目標(biāo) 變化類(lèi)型測(cè)試有序語(yǔ)義對(duì)ti= (Xk，Xi,2，Xi,3)，1 < i < C。，其中，目標(biāo)變化類(lèi)型測(cè)試有 序語(yǔ)義對(duì) ti 的類(lèi)標(biāo)= 7 中，ai'g 2) /' (.、., t - .V·:.:) - (t -、,）/'(.τ; ^ ^,11,2)1?辦1,11,2)-^,11,3)1?辦1,11,3)當(dāng)：[從1到(3遍歷后取得最小值時(shí)對(duì)應(yīng)的；[。 所述有序語(yǔ)義對(duì)^的類(lèi)標(biāo)即為目標(biāo)變化的類(lèi)型。
[0096]以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳 細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡 在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保 護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種多源多時(shí)相遙感圖像目標(biāo)變化監(jiān)測(cè)方法，其特征在于，該方法包括以下步驟： 步驟S1，對(duì)訓(xùn)練圖像和測(cè)試圖像中的多時(shí)相多光譜圖像、全色圖像進(jìn)行預(yù)處理，得到訓(xùn) 練圖像和測(cè)試圖像中的多時(shí)相多光譜圖像分別對(duì)應(yīng)的平均波段圖像； 步驟S2,對(duì)訓(xùn)練圖像中的多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像進(jìn)行特征提取，學(xué)習(xí) 得到變化語(yǔ)義模型； 步驟S3,對(duì)訓(xùn)練圖像中的多時(shí)相全色圖像的已標(biāo)好的目標(biāo)變化類(lèi)型的像素進(jìn)行特征提 取，學(xué)習(xí)得到目標(biāo)變化類(lèi)型語(yǔ)義模型； 步驟S4,對(duì)測(cè)試圖像中的多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像進(jìn)行特征提取，利用 所述變化語(yǔ)義模型提取目標(biāo)變化區(qū)域； 步驟S5,對(duì)測(cè)試圖像中的多時(shí)相全色圖像的目標(biāo)變化區(qū)域進(jìn)行特征提取，利用目標(biāo)變 化類(lèi)型語(yǔ)義模型識(shí)別目標(biāo)變化類(lèi)型。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S1進(jìn)一步包括以下步驟： 步驟S11，根據(jù)經(jīng)煒度與圖像像素的對(duì)應(yīng)關(guān)系分別取出所述訓(xùn)練圖像中的多時(shí)相多光 譜圖像、多時(shí)相全色圖像的公共部分，以及測(cè)試圖像中的多時(shí)相多光譜圖像、多時(shí)相全色圖 像的公共部分圖像； 步驟S12,將不同時(shí)相的同一類(lèi)型的公共部分圖像分別轉(zhuǎn)換到相同的空間分辨率并使 其具有相同的尺寸； 步驟S13,計(jì)算訓(xùn)練圖像和測(cè)試圖像中經(jīng)過(guò)所述步驟S12轉(zhuǎn)換后的多光譜公共部分圖像 的平均波段圖像，得到訓(xùn)練圖像和測(cè)試圖像中的多時(shí)相多光譜圖像分別對(duì)應(yīng)的平均波段圖 像，所述平均波段圖像的每個(gè)像素值為該像素處不同波段光譜響應(yīng)的均值。3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S2進(jìn)一步包括以下步驟： 步驟S21，在所述訓(xùn)練圖像中的多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像上，為每個(gè)像素 提取地物類(lèi)型特征； 步驟S22,對(duì)所述訓(xùn)練圖像中的多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像的每個(gè)像素提 取變化強(qiáng)度特征，并將變化-非變化類(lèi)訓(xùn)練區(qū)域中各像素對(duì)應(yīng)的變化強(qiáng)度特征及其對(duì)應(yīng)的 變化-非變化類(lèi)型標(biāo)注組合到一起形成變化強(qiáng)度特征訓(xùn)練樣本集合； 步驟S23,利用所述地物類(lèi)型特征和變化強(qiáng)度特征訓(xùn)練樣本集合中的變化-非變化類(lèi)型 標(biāo)注構(gòu)造變化類(lèi)-非變化類(lèi)有序語(yǔ)義對(duì)； 步驟S24，以最大化變化類(lèi)-非變化類(lèi)有序語(yǔ)義對(duì)的間隔為目標(biāo)，構(gòu)建變化語(yǔ)義模型，并 在變化強(qiáng)度特征訓(xùn)練樣本的支持下求解變化類(lèi)-非變化類(lèi)語(yǔ)義投影矩陣和變化類(lèi)-非變化 類(lèi)語(yǔ)義參數(shù)。4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述步驟S21進(jìn)一步包括以下步驟： 步驟S211，計(jì)算以每個(gè)像素為中心、以采樣尺度為半徑的圖像塊中每個(gè)取樣圓對(duì)應(yīng)的 局部梯度方向直方圖； 步驟S212,基于所述步驟S211得到的每個(gè)取樣圓對(duì)應(yīng)的局部梯度方向直方圖，得到每 個(gè)像素對(duì)應(yīng)的地物類(lèi)型特征。5. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述變化語(yǔ)義模型包括變化類(lèi)-非變化類(lèi) 語(yǔ)義投影矩陣和變化類(lèi)-非變化類(lèi)語(yǔ)義參數(shù)，所述變化類(lèi)-非變化類(lèi)語(yǔ)義投影矩陣用于調(diào)整 非變化類(lèi)與變化類(lèi)特征之間的可分性，變化類(lèi)-非變化類(lèi)語(yǔ)義參數(shù)用于進(jìn)行目標(biāo)變化區(qū)域 檢測(cè)。6. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S3進(jìn)一步包括以下步驟： 步驟S31，在所述訓(xùn)練圖像中的多時(shí)相全色圖像的變化區(qū)域上，為每個(gè)像素提取地物類(lèi) 型特征； 步驟S32,對(duì)所述訓(xùn)練圖像中的多時(shí)相全色圖像的已標(biāo)好的目標(biāo)變化類(lèi)型的像素提取 目標(biāo)變化類(lèi)型特征，并將各像素對(duì)應(yīng)的目標(biāo)變化類(lèi)型特征及其對(duì)應(yīng)的變化類(lèi)型標(biāo)注組合到 一起形成目標(biāo)變化類(lèi)型特征訓(xùn)練樣本集合； 步驟S33，根據(jù)目標(biāo)變化類(lèi)型特征的近鄰性和變化類(lèi)型標(biāo)注的異同性構(gòu)造目標(biāo)變化類(lèi) 型有序語(yǔ)義對(duì)； 步驟S34，以最大化目標(biāo)變化類(lèi)型特征的間隔為目標(biāo)，構(gòu)建目標(biāo)變化類(lèi)型語(yǔ)義模型，并 在目標(biāo)變化類(lèi)型特征訓(xùn)練樣本的支持下求解目標(biāo)變化類(lèi)型語(yǔ)義模型。7. 根據(jù)權(quán)利要求6所述的方法，其特征在于，所述目標(biāo)變化類(lèi)型語(yǔ)義模型包括目標(biāo)變化 類(lèi)型語(yǔ)義投影矩陣和目標(biāo)變化類(lèi)型語(yǔ)義參數(shù)，其中，所述目標(biāo)變化類(lèi)型語(yǔ)義投影矩陣用于 調(diào)整不同目標(biāo)變化類(lèi)型的特征之間的距離、增加不同類(lèi)型目標(biāo)之間的可分性，所述目標(biāo)變 化類(lèi)型語(yǔ)義參數(shù)用于變化類(lèi)型識(shí)別。8. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S4進(jìn)一步包括以下步驟： 步驟S41，在所述測(cè)試圖像的多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像上，為每個(gè)像素提 取地物類(lèi)型特征； 步驟S42,對(duì)所述測(cè)試圖像的多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像的每個(gè)像素提取 變化強(qiáng)度特征； 步驟S43,對(duì)所述測(cè)試圖像的多時(shí)相多光譜圖像對(duì)應(yīng)的平均波段圖像上的每一個(gè)變化 強(qiáng)度特征，分別從非變化類(lèi)和變化類(lèi)的變化強(qiáng)度特征集合中搜索最近鄰組成測(cè)試樣本變化 類(lèi)-非變化類(lèi)有序語(yǔ)義對(duì)； 步驟S44,對(duì)于每一個(gè)測(cè)試樣本變化類(lèi)-非變化類(lèi)有序語(yǔ)義對(duì)，由有序語(yǔ)義對(duì)的類(lèi)標(biāo)得 到變化類(lèi)目標(biāo)，將類(lèi)標(biāo)為變化類(lèi)目標(biāo)的像素進(jìn)行合并，得到目標(biāo)變化區(qū)域。9. 根據(jù)權(quán)利要求8所述的方法，其特征在于，所述步驟S44還包括將目標(biāo)變化區(qū)域以所 述測(cè)試圖像中的全色圖像為基準(zhǔn)進(jìn)行最近鄰上采樣的步驟。10. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟S5進(jìn)一步包括以下步驟： 步驟S51，為所述測(cè)試圖像中的多時(shí)相全色圖像的目標(biāo)變化區(qū)域中的每個(gè)像素提取目 標(biāo)類(lèi)型特征； 步驟S52,對(duì)所述測(cè)試圖像中的多時(shí)相全色圖像的目標(biāo)變化區(qū)域中的每個(gè)像素提取目 標(biāo)變化類(lèi)型特征，將目標(biāo)變化區(qū)域中所有像素的目標(biāo)變化類(lèi)型特征組合到一起形成測(cè)試樣 本集合； 步驟S53，對(duì)所述測(cè)試樣本集合中的每一個(gè)目標(biāo)變化類(lèi)型特征，構(gòu)造目標(biāo)變化類(lèi)型測(cè)試 有序語(yǔ)義對(duì)，根據(jù)所述目標(biāo)變化類(lèi)型有序語(yǔ)義對(duì)的類(lèi)標(biāo)識(shí)別目標(biāo)變化類(lèi)型。
【文檔編號(hào)】G06T7/00GK105869165SQ201610187635
【公開(kāi)日】2016年8月17日
【申請(qǐng)日】2016年3月29日
【發(fā)明人】霍春雷, 潘春洪, 周志鑫
【申請(qǐng)人】中國(guó)科學(xué)院自動(dòng)化研究所