本發(fā)明屬于計算機視覺與城市衛(wèi)星圖像三維重建，具體涉及一種基于局部梯度下降的建筑物表面視差無監(jiān)督優(yōu)化方法。

背景技術(shù)：

1、在航天攝影測量研究領(lǐng)域，三維攝影測量已經(jīng)成為研究熱點和未來的研究趨勢，這得益于其高覆蓋范圍、高時效性、高精度和多維度數(shù)據(jù)獲取等方面的優(yōu)勢。因此航天三維攝影測量已經(jīng)成為環(huán)境監(jiān)測與保護、災害監(jiān)測與應(yīng)急響應(yīng)以及城市規(guī)劃與管理等應(yīng)用的重要技術(shù)手段。另外，城市作為人類社會的經(jīng)濟、文化、政治、技術(shù)和社會服務(wù)中心，對社會的發(fā)展和進步具有舉足輕重的作用。基于航天攝影測量的城市三維重建，能夠為城市規(guī)劃、智慧城市建設(shè)、文化遺產(chǎn)保護以及教育與科研等多個領(lǐng)域提供強大的技術(shù)支持和數(shù)據(jù)保障。

2、基于城市衛(wèi)星圖像的三維重建方法一般包括衛(wèi)星圖像立體校正、立體匹配、三維點云計算、三角網(wǎng)格生成以及紋理映射等步驟。其中，立體匹配能夠為三維點云數(shù)據(jù)提供與其嚴密對應(yīng)的視差圖，因此立體匹配為整個三維重建流程提供了最直接的三維信息來源，也直接影響了三維模型的精度。對于城市衛(wèi)星圖像三維重建方法的研究多集中于城市衛(wèi)星圖像立體匹配階段。

3、已經(jīng)提出的城市衛(wèi)星圖像立體匹配方法可以分成兩類，一類是基于神經(jīng)網(wǎng)絡(luò)的立體匹配方法，另一類是傳統(tǒng)立體匹配方法。得益于深度學習技術(shù)在計算機視覺領(lǐng)域的飛速發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的立體匹配方法受到了良好的啟發(fā)。首先，基于多尺度卷積神經(jīng)網(wǎng)絡(luò)(multi-scale?cnn)的立體匹配方法，該方法通過提取多尺度圖像特征，并進行匹配代價計算。后來，端到端立體匹配(end-to-end?stereo?matching)方法被提出，該方法直接輸入左右視圖對，輸出視差圖。幾何與上下文網(wǎng)絡(luò)(geometry?and?context?network,gc-net)就是一個典型的端到端的卷積神經(jīng)網(wǎng)絡(luò)。gc-net采用三維卷積網(wǎng)絡(luò)(3d?cnn)進行代價聚合，通過回歸方式直接輸出視差圖，并在多個公開數(shù)據(jù)集上取得了優(yōu)異成績。為了避免紋理不一致和光照變化的影響，引導聚合網(wǎng)絡(luò)方法(guided?aggregation?network,ga-net)被提出，ga-net通過引導聚合層和深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)合，增強代價聚合過程，從而生成更準確的視差圖。為了降低網(wǎng)絡(luò)復雜度，層次化神經(jīng)架構(gòu)搜索立體方法(hierarchical?neuralarchitecture?search,hnas)被提出，hnas方法采用了層次化神經(jīng)架構(gòu)搜索策略，自動化地尋找適合立體匹配任務(wù)的最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)。與傳統(tǒng)的手工設(shè)計網(wǎng)絡(luò)不同，hnas通過搜索空間的定義和優(yōu)化，發(fā)現(xiàn)了高效且高性能的網(wǎng)絡(luò)架構(gòu)，顯著提升了立體匹配的精度和速度。

4、雖然在很多公開的標準數(shù)據(jù)集中，基于神經(jīng)網(wǎng)絡(luò)的立體匹配方法能夠取得很優(yōu)秀的結(jié)果，但是由于其對于真實標準數(shù)據(jù)的依賴以及神經(jīng)網(wǎng)絡(luò)較弱的泛化能力，導致很難適用于缺少標準視差結(jié)果且參數(shù)多樣的實際衛(wèi)星圖像。在衛(wèi)星圖像三維重建的實際任務(wù)中，傳統(tǒng)立體匹配方法則更多的被選用。傳統(tǒng)立體匹配方法一般要經(jīng)歷匹配代價計算、匹配代價聚合、視差計算和視差優(yōu)化四個過程。由于局部匹配代價計算方法搭配基于動態(tài)規(guī)劃的匹配代價聚合方法能夠提取局部特征用于匹配代價計算，且具有較低的時間復雜度。因此該類方法能夠適應(yīng)包含復雜、多變的地面場景的大尺寸衛(wèi)星圖像。最為流行的方法包括半全局立體匹配(semi-global?matching,sgm)方法、多全局立體匹配(more?globalmatching,mgm)方法和雙重傳播立體匹配(double?propagation?matching,dpm)方法等。這些方法首先通過固定窗口或自適應(yīng)窗口的方式計算圖像的局部特征，并計算立體圖像之間的匹配代價。然后通過動態(tài)規(guī)劃算法聚合一定范圍內(nèi)或者特定路徑上的匹配代價，目的是優(yōu)化建筑物邊緣深度不連續(xù)區(qū)域和建筑物表面弱紋理區(qū)域的匹配代價。

5、現(xiàn)有方法雖然在一定程度上能夠獲得令人滿意的結(jié)果，但是這種基于動態(tài)規(guī)劃算法的優(yōu)化算法是全局一致的優(yōu)化方式，缺乏明確的邊緣和區(qū)域的引導，很容易引入“星型”和“條紋”誤差，因此，為進一步優(yōu)化城市衛(wèi)星圖像中建筑物邊緣和表面的視差誤差，同時擺脫對于標準視差結(jié)果的依賴，提出一種新的建筑物表面視差優(yōu)化方法是十分必要的。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是為解決城市衛(wèi)星圖像中建筑物邊緣和表面存在視差誤差的問題，而提出了一種基于局部梯度下降的建筑物表面視差無監(jiān)督優(yōu)化方法。

2、本發(fā)明為解決上述技術(shù)問題所采取的技術(shù)方案是：

3、一種基于局部梯度下降的建筑物表面視差無監(jiān)督優(yōu)化方法，所述方法具體包括以下步驟：

4、步驟一、分別從不同視角采集城市建筑物的左視圖和右視圖，再根據(jù)左視圖和右視圖得到視差圖，并根據(jù)城市建筑物衛(wèi)星圖像和視差圖中的信息對視差圖中的像素點進行超像素分割，得到超像素分割結(jié)果；

5、步驟二、初始化迭代次數(shù)q＝1；

6、步驟三、初始化超像素數(shù)k＝1；

7、步驟四、根據(jù)第k個超像素對應(yīng)的視差圖計算單應(yīng)模型h的參數(shù)；

8、步驟五、對第k個超像素對應(yīng)的視差圖進行雙邊濾波處理，得到雙邊濾波處理后的視差圖；

9、步驟六、根據(jù)雙邊濾波處理后的視差圖，重新確定左視圖中的像素點(x,y)在右視圖中對應(yīng)的匹配點(x′,y′)，(x,y)和(x′,y′)即為重新確定的匹配點對，根據(jù)單應(yīng)模型參數(shù)和重新確定的匹配點對計算像素點(x,y)對應(yīng)的損失函數(shù)；

10、同理，分別得到左視圖中的每個像素點對應(yīng)的損失函數(shù)值；

11、步驟七、判斷是否滿足k＝k；

12、若滿足，則執(zhí)行步驟八；

13、否則，令k＝k+1，返回執(zhí)行步驟四；

14、步驟八、判斷視差圖的各像素點對應(yīng)的損失函數(shù)值是否均小于視差閾值εdisp；

15、若視差圖中的各像素點對應(yīng)的損失函數(shù)值均小于視差閾值，則上一次迭代獲得的視差圖即為最終的視差圖；

16、若視差圖中的各像素點對應(yīng)的損失函數(shù)值未均小于視差閾值，則執(zhí)行步驟九；

17、步驟九、判斷迭代次數(shù)q是否等于閾值q；

18、若迭代次數(shù)q等于閾值q，則根據(jù)各像素點對應(yīng)的損失函數(shù)值更新匹配點(x′,y′)的x′坐標，并根據(jù)更新后的坐標來獲得最終的視差圖；

19、若迭代次數(shù)q不等于閾值q，則根據(jù)各像素點對應(yīng)的損失函數(shù)值更新匹配點(x′,y′)的x′坐標，并根據(jù)更新后的坐標來更新視差圖，再令q＝q+1，返回執(zhí)行步驟三。

20、本發(fā)明的有益效果是：

21、1、本發(fā)明聯(lián)合使用城市衛(wèi)星圖像和視差圖像，耦合顏色信息、空間位置信息和視差信息，并將其映射到6維特征空間中。利用6維特征進行的k均值聚類能夠準確分割顏色、距離和結(jié)構(gòu)上差異明顯的建筑物超像素。而且，本發(fā)明的超像素分割方法同樣適用于基于衛(wèi)星圖像的地物目標分類、識別和地圖矢量化等應(yīng)用中。

22、2、本發(fā)明以超像素區(qū)域為單位，利用局部梯度下降算法迭代優(yōu)化每個超像素區(qū)域內(nèi)的視差值。該過程以超像素區(qū)域?qū)?yīng)的單應(yīng)模型為目標函數(shù)，視差優(yōu)化過程充分遵循建筑物幾何結(jié)構(gòu)，因此能夠有效優(yōu)化建筑物邊緣深度不連續(xù)區(qū)域的視差誤差、建筑物表面弱紋理區(qū)域的視差誤差和視差空洞誤差；以雙邊濾波的視差值與單應(yīng)模型之間的距離為損失函數(shù)，避免了原始視差誤差對優(yōu)化造成的反向干擾。

23、3、本發(fā)明提出的基于局部梯度下降的建筑物表面視差優(yōu)化方法是一種非監(jiān)督學習方法，因此不依賴于標準視差結(jié)果和人工標注結(jié)果，節(jié)約了大量的人力成本。而且，本發(fā)明提出的視差優(yōu)化方法也不依賴于具體的立體匹配方法，因此適用于多種立體匹配算法后處理。