一種對(duì)象語(yǔ)義約束的真正射影像優(yōu)化采樣方法
【專(zhuān)利摘要】一種對(duì)象語(yǔ)義約束的真正射影像優(yōu)化采樣方法，包括：定義并提取物方對(duì)象，采用STIN進(jìn)行表達(dá)；基于地形對(duì)象和地物對(duì)象的底面子對(duì)象的邊界，構(gòu)建數(shù)字地表模型基于STIN的無(wú)縫拼接；根據(jù)無(wú)縫拼接后STIN中地物對(duì)象的底面子對(duì)象的邊界，建立物方對(duì)象空間索引；建立像方對(duì)象及像方對(duì)象空間索引；計(jì)算物方對(duì)象和像方對(duì)象之間的映射關(guān)系，基于通過(guò)像方對(duì)象與物方對(duì)象的語(yǔ)義匹配關(guān)系，建立物方對(duì)象與像方對(duì)象的全局空間索引；進(jìn)行優(yōu)化采樣，輸出真正射影像。本發(fā)明建立全局可見(jiàn)性索引自適應(yīng)處理遮擋和陰影，實(shí)現(xiàn)了紋理影像的優(yōu)化采樣，較好地保持了真正射影像中清晰的建筑物輪廓邊緣、完整的紋理結(jié)構(gòu)和良好的視覺(jué)效果。
【專(zhuān)利說(shuō)明】一種對(duì)象語(yǔ)義約束的真正射影像優(yōu)化采樣方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于地理空間信息系統(tǒng)【技術(shù)領(lǐng)域】，特別是涉及一種對(duì)象語(yǔ)義約束的真正射影像優(yōu)化采樣方法。
【背景技術(shù)】
[0002]隨著高分辨率影像的日益普及，城市地區(qū)立體空間分布的地形地物導(dǎo)致的影像投影差、遮擋、陰影等問(wèn)題凸顯出來(lái)，嚴(yán)重影響了數(shù)字正射影像(DOM)的準(zhǔn)確判讀和應(yīng)用效能，造成正射影像與建筑物矢量圖疊加困難。已有的正射糾正處理技術(shù)遇到巨大困難，自上世紀(jì)90年代以來(lái)，國(guó)際上開(kāi)始探索兼顧地形和地物起伏的“真正射影像”生產(chǎn)技術(shù)。真正射影像糾正的關(guān)鍵在于:(I)使用高精度高分辨率的數(shù)字表面模型(DSM)代替?zhèn)鹘y(tǒng)的數(shù)字高程模型(DEM)進(jìn)行幾何糾正，改正針孔成像造成的幾何形變與位移；(2)準(zhǔn)確檢測(cè)并采樣恢復(fù)遮擋與陰影區(qū)域，保證真正射影像的紋理結(jié)構(gòu)完整真實(shí)。
[0003]根據(jù)幾何糾正對(duì)遮擋檢測(cè)的依賴(lài)關(guān)系，目前的真正射糾正方法可分為間接法和直接法兩大類(lèi):(1)間接法繼承了傳統(tǒng)正射影像處理，針對(duì)真正射糾正的需要增加了遮擋檢測(cè)與遮擋補(bǔ)償兩個(gè)環(huán)節(jié)，在幾何糾正之前對(duì)物方DSM獨(dú)立進(jìn)行遮擋檢測(cè)或可見(jiàn)性分析，對(duì)可見(jiàn)區(qū)域進(jìn)行幾何糾正，對(duì)遮擋區(qū)域進(jìn)行紋理補(bǔ)償。但逐像片遮擋檢測(cè)計(jì)算量大、復(fù)雜費(fèi)時(shí)，且依賴(lài)于檢測(cè)算法的結(jié)果精度；遮擋補(bǔ)償需要對(duì)不同成像角度的鄰近影像上的可見(jiàn)區(qū)域紋理進(jìn)行挖補(bǔ)式紋理采樣，補(bǔ)償像素的選擇原則主要有底點(diǎn)最近原則和順序選取修復(fù)原貝U。挖補(bǔ)式補(bǔ)償易造成影像紋理的不連貫，使得后期影像鑲嵌與勻光等輻射處理的難度增力口，需要人機(jī)交互而難以實(shí)現(xiàn)自動(dòng)化。(2)直接法是基于多視影像的空三解算、密集匹配生成DSM，同時(shí)記錄地面點(diǎn)與影像點(diǎn)之間一對(duì)多的可視對(duì)應(yīng)關(guān)系，在幾何糾正的采樣過(guò)程中選取地面點(diǎn)對(duì)應(yīng)的最佳可見(jiàn)像素，避開(kāi)了間接法中復(fù)雜的遮擋檢測(cè)與遮擋補(bǔ)償；且以像素為單位組合生成真正射影像，簡(jiǎn)化了影像拼接與鑲嵌過(guò)程。因此直接法被認(rèn)為是最有前途的全自動(dòng)處理方法，但存在如下難點(diǎn):多視匹配對(duì)影像重疊度依賴(lài)性較強(qiáng)，如在建筑物密集的城市區(qū)域，影像的航向和旁向重疊要求至少達(dá)到68%和75% ;生成的DSM點(diǎn)云缺乏準(zhǔn)確的地物輪廓邊界特征信息，且部分點(diǎn)云經(jīng)內(nèi)插后不能完全貼合地表，容易導(dǎo)致地物邊緣模糊和局部失真；多視匹配與同名點(diǎn)記錄計(jì)算量大，往往需要并行處理，對(duì)軟硬件要求很高。
[0004]綜上所述，已有的間接法和直接法均局限于“像素級(jí)”的真正射糾正處理，對(duì)地面采樣間距(GSD)十分敏感，且對(duì)DSM精度要求很高，而生成高精度的DSM并進(jìn)行逐像素糾正也使得計(jì)算量劇增，處理代價(jià)巨大。隨著影像分辨率的提高，高低起伏的地物對(duì)象在影像上往往由多個(gè)像素組成，“像素級(jí)”真正射影像處理方法忽略了對(duì)象紋理結(jié)構(gòu)及其相互關(guān)系，難以保證地物幾何特征的準(zhǔn)確性、紋理結(jié)構(gòu)的完整性。因此，需要引入面向?qū)ο蟮乃枷耄瑢ⅰ跋袼丶?jí)”處理提升到“對(duì)象級(jí)”:有效利用像素本身灰度信息及像素間的關(guān)聯(lián)信息，通過(guò)對(duì)象的提取與語(yǔ)義表達(dá)簡(jiǎn)化、突出重要的感興趣信息。將影像分割與立體匹配相結(jié)合，對(duì)二維影像與三維場(chǎng)景進(jìn)行“對(duì)象級(jí)”分割，有效解決成像遮擋造成的立體匹配的困難，建立三維目標(biāo)特征與二維影像特征之間的映射關(guān)系。綜合利用對(duì)象的語(yǔ)義信息，進(jìn)行真正射影像優(yōu)化釆樣，可有效剔除遮擋和陰影等不理想紋理，獲得優(yōu)質(zhì)可靠的真正射影像。目前本領(lǐng)域尚未有相關(guān)技術(shù)方案出現(xiàn)。
[0005]現(xiàn)有技術(shù)可參見(jiàn)以下參考文獻(xiàn):
[1]Albertz Jj Wolf B.Generating True Orthoimages without a 3D SurfaceModel[J].1nternational Archives of Photogrammetry and Remote Sensing.2004，35(3): 693-698.[2]Amhar F，Josef J，Ries C.The generation of true orthophotos usinga 3D building model in conjunction with a conventional DTM[J].1nternationalArchives Photogrammetryj RemoteSensing.1998， 32 (4): 16-22.[3]AntequeraR， Andrinal P.Development of an intergrated system of trueortho-rectification[Z].The International Archives of the PhotogrammetryjRemote Sensing and Spatial Information Sciences.Vol.XXXVI1.Part B4.Beijing2008.[4]Baltsavias.Digital ortho-1mages a powerful tool for the extractionof spatial- and geo-1nformation[J].1SPRS Journal of Photogrammetry and RemoteSensing, 1996，51:63-77
[5]Bang K， Habib A F.Comparative analysis of alternative methodologiesfor true ortho-photo generation[Z].ASPRS 2007 Annual ConferenceTampa, Florida: 2007.[6]Biason A.A new procedure for the automatic production of trueorthophotos [J].1nterational Archives of the Photogrammetryj Remote Sensing andSpatial Information Sciences.2004， 35: 12-23.[7]Blaschke.0bject based image analysis for remote sensing[J].1SPRSJournal of Photogrammetry and Remote Sensing 2010 (65): 2-16
[8]Bleyer,Rotherj Kohlij Scharstein.0bject Stereo — Joint StereoMatching and Object Segmentation [J].1EEE Conf on Computer Vision and PatternRecognition, 2011:3081-3088
[9]Braun J.Aspects on True-Orthophoto Production[C].Proceedings,49thPhotogrammetric Week, Stuttgart, Germany,2003, pp.205-214.[10]ChenL， Teo T， Wen J， Rau J.0cclusion -compensated trueorthorecitification for high—resolution satellite images.The PhotogrammetricRecord 22(117): 39 - 52
[11]Esalvadorj Caval lam A， Ebrahimi T.Shadow identificationand classffication using invariant color models[J].Proc.1EEE SignalProcessing Society International Conference on Acoustics， Speech， and SignalProcessing(ICASSP-2001), Salt Lake City(Utah-USA).2001 (3): 1545-1548.[12]Gunay A， Arefi H， Hahn M.Sem1-automatic true orthophoto production byusing LIDAR data[C].2007.[13]Habib A F，Bang K，Kim C.True Ortho-photo Generation from High
【權(quán)利要求】
1.一種對(duì)象語(yǔ)義約束的真正射影像優(yōu)化采樣方法，其特征在于，包括以下步驟: 步驟1，定義并提取物方對(duì)象，采用STIN進(jìn)行表達(dá)，所述STIN為帶語(yǔ)義信息的不規(guī)則三角網(wǎng)；所述物方對(duì)象包括地形對(duì)象和地物對(duì)象，各地物對(duì)象包括頂面子對(duì)象、立面子對(duì)象和底面子對(duì)象； 步驟2，基于步驟I所得地形對(duì)象和地物對(duì)象的底面子對(duì)象的邊界，構(gòu)建數(shù)字地表模型基于STIN的無(wú)縫拼接； 步驟3，根據(jù)步驟2所得無(wú)縫拼接后STIN中地物對(duì)象的底面子對(duì)象的邊界，建立物方對(duì)象空間索引； 步驟4，建立像方對(duì)象及像方對(duì)象空間索引，所述像方對(duì)象具有語(yǔ)義屬性；所述像方對(duì)象包括地形對(duì)象和地物對(duì)象，各地物對(duì)象包括頂面子對(duì)象、立面子對(duì)象和底面子對(duì)象； 步驟5，計(jì)算物方對(duì)象和像方對(duì)象之間的映射關(guān)系，基于像方對(duì)象與物方對(duì)象的語(yǔ)義匹配關(guān)系，建立物方對(duì)象與像方對(duì)象的全局空間索引； 步驟6，基于步驟5所得物方對(duì)象與像方對(duì)象的全局空間索引，進(jìn)行優(yōu)化采樣，輸出真正射影像。
2.根據(jù)權(quán)利要求1所述對(duì)象語(yǔ)義約束的真正射影像優(yōu)化采樣方法，其特征在于:步驟I中，所述物方對(duì)象采用STIN進(jìn)行表達(dá)，包括幾何屬性使用不規(guī)則三角網(wǎng)進(jìn)行表達(dá)，語(yǔ)義屬性根據(jù)對(duì)象專(zhuān)題賦值為建筑物、交通設(shè)施、地形或輔助設(shè)施；物方對(duì)象的各地物對(duì)象中，頂面子對(duì)象的不規(guī)則三角網(wǎng)中三角形的語(yǔ)義屬性標(biāo)識(shí)為頂面，立面子對(duì)象的不規(guī)則三角網(wǎng)中三角形的語(yǔ)義屬性標(biāo) 識(shí)為立面，底面子對(duì)象的不規(guī)則三角網(wǎng)中三角形的語(yǔ)義屬性標(biāo)識(shí)為底面。
3.根據(jù)權(quán)利要求2所述對(duì)象語(yǔ)義約束的真正射影像優(yōu)化采樣方法，其特征在于:步驟4中，像方對(duì)象的語(yǔ)義屬性根據(jù)對(duì)象專(zhuān)題賦值為建筑物、交通設(shè)施、地形或輔助設(shè)施；像方對(duì)象的各地物對(duì)象中，頂面子對(duì)象的語(yǔ)義屬性標(biāo)識(shí)為頂面，立面子對(duì)象的語(yǔ)義屬性標(biāo)識(shí)為立面，底面子對(duì)象的語(yǔ)義屬性標(biāo)識(shí)為底面。
4.根據(jù)權(quán)利要求3所述對(duì)象語(yǔ)義約束的真正射影像優(yōu)化采樣方法，其特征在于:步驟5包括以下子步驟， 步驟5.1，對(duì)所需要生成真正射區(qū)域的所有影像，依航帶順序，順序遍歷所有影像，每次取出航帶中一張影像，使用相片參數(shù)與投影參數(shù)計(jì)算本張影像投影區(qū)域所對(duì)應(yīng)的空間范圍，使用矩形進(jìn)行表達(dá)； 步驟5.2，應(yīng)用矩形的空間范圍對(duì)步驟3所得物方對(duì)象空間索引進(jìn)行查詢(xún)，查詢(xún)得到空間范圍內(nèi)的地物對(duì)象，生成需要處理的地物對(duì)象集； 步驟5.3，遍歷需要處理的地物對(duì)象集中每一個(gè)需要處理的地物對(duì)象，取出頂面子對(duì)象的邊界多邊形，應(yīng)用共線(xiàn)方程，計(jì)算物方對(duì)象投影到像方區(qū)域，通過(guò)像方區(qū)域來(lái)應(yīng)用步驟4所得像方對(duì)象空間索引查找區(qū)域內(nèi)像方對(duì)象； 步驟5.4，當(dāng)物方對(duì)象的投影與像方對(duì)象完全匹配時(shí)，記錄為完整關(guān)聯(lián)對(duì)象；當(dāng)物方對(duì)象的投影與像方對(duì)象不完全匹配時(shí)，記錄為部分關(guān)聯(lián)對(duì)象； 物方對(duì)象的投影與像方對(duì)象完全匹配，是指物方對(duì)象投影到像方的邊界點(diǎn)完整對(duì)應(yīng)同一像方對(duì)象； 物方對(duì)象的投影與像方對(duì)象不完全匹配，是指物方對(duì)象投影到像方的邊界點(diǎn)不完整對(duì)應(yīng)同一像方對(duì)象； 步驟5.5，按步驟5.1到步驟5.4遍歷完所需要生成真正射區(qū)域每一張影像后，遍歷每一個(gè)物方對(duì)象，分別判斷每一個(gè)物方對(duì)象是否在某影像上存在完整關(guān)聯(lián)對(duì)象， 若物方對(duì)象在某影像上存在完整關(guān)聯(lián)對(duì)象時(shí)，記錄物方對(duì)象的所有完整關(guān)聯(lián)像方對(duì)象，生成完整關(guān)聯(lián)對(duì)象列表； 若物方對(duì)象在所有影像上均不存在完整關(guān)聯(lián)對(duì)象，進(jìn)入步驟5.6 ； 步驟5.6，將物方對(duì)象細(xì)分，使用其不規(guī)則三角網(wǎng)中三角形作為子對(duì)象，對(duì)每一個(gè)三角形子對(duì)象作為需要處理的地物對(duì)象，生成需要處理的地物對(duì)象集，返回步驟5.3，生成三角形子對(duì)象的完整關(guān)聯(lián)像方對(duì)象；若對(duì)某三角形子對(duì)象未生成完整關(guān)聯(lián)對(duì)象，則記錄三角形子對(duì)象的全部部分關(guān)聯(lián)對(duì)象，生成部分關(guān)聯(lián)對(duì)象列表。
5.根據(jù)權(quán)利要求4所述對(duì)象語(yǔ)義約束的真正射影像優(yōu)化采樣方法，其特征在于:步驟6包括以下子步驟， 步驟6.1，從待處理的物方對(duì)象出發(fā)，計(jì)算物方對(duì)象的空間范圍，并使用地面分辨率計(jì)算真正射區(qū)域的像素值的行、列數(shù)，使用行、列數(shù)量創(chuàng)建空白影像； 步驟6.2，取出待處理的物方對(duì)象的關(guān)聯(lián)像方對(duì)象，計(jì)算采樣像方對(duì)象排序，實(shí)現(xiàn)方式如下， 對(duì)物方對(duì)象，首先判斷其所關(guān)聯(lián)的像方對(duì)象是否存在步驟5中所建立的完整關(guān)聯(lián)對(duì)象， 不存在完整關(guān)聯(lián)對(duì)象時(shí)進(jìn)入步驟6.4， 當(dāng)存在且其完整關(guān)聯(lián)對(duì)象有多個(gè)像方對(duì)象時(shí)，計(jì)算每一個(gè)像方對(duì)象的權(quán)值并按權(quán)值由大到小排序，選擇序列中第一個(gè)像方對(duì)象為優(yōu)化采樣對(duì)象，然后進(jìn)入步驟6.3 ； 當(dāng)存在且其完整關(guān)聯(lián)對(duì)象僅有一個(gè)像方對(duì)象時(shí)，默認(rèn)該像方對(duì)象為優(yōu)化采樣對(duì)象，然后進(jìn)入步驟6.3 ； 步驟6.3，優(yōu)化重采樣，包括對(duì)待處理的物方對(duì)象及步驟6.2所得相應(yīng)作為優(yōu)化采樣對(duì)象的像方對(duì)象，應(yīng)用共線(xiàn)方程，計(jì)算真正射影像中對(duì)應(yīng)像素值重采樣，并寫(xiě)入到步驟6.1中生成的空白影像的相應(yīng)位置，然后進(jìn)入步驟6.5 ； 步驟6.4，不完整關(guān)聯(lián)對(duì)象重采樣，所述不完整關(guān)聯(lián)對(duì)象重采樣包括利用步驟5生成的三角形子對(duì)象關(guān)聯(lián)的像方對(duì)象，以每一個(gè)三角形子對(duì)象為待處理的物方對(duì)象，分別執(zhí)行步驟6.2，對(duì)找到相應(yīng)優(yōu)化采樣對(duì)象的三角形子對(duì)象進(jìn)入步驟6.3優(yōu)化重采樣，對(duì)找不到的采用非真實(shí)紋理補(bǔ)償技術(shù)進(jìn)行灰度采樣；對(duì)每一個(gè)三角形子對(duì)象處理完后進(jìn)入步驟6.5 ；步驟6.5，對(duì)象影像合成與勻光，包括判斷是否對(duì)所有物方對(duì)象完成處理，若否則返回步驟6.1讀取下一個(gè)物方對(duì)象作為待處理的物方對(duì)象進(jìn)行處理；當(dāng)完成所有物方對(duì)象的處理后，進(jìn)行勻光，生成真正射影像。
6.根據(jù)權(quán)利要求2或3或4或5所述對(duì)象語(yǔ)義約束的真正射影像優(yōu)化采樣方法，其特征在于:地物對(duì)象的不規(guī)則三角網(wǎng)中，當(dāng)三角形法線(xiàn)方向與地面水平面平行時(shí)，則三角形的語(yǔ)義屬性為立面屬性；以右手規(guī)則判斷，當(dāng)三角形法向方向垂直于地面水平面且指向上方時(shí)，三角形的語(yǔ)義屬性為頂面，當(dāng)三角形的法向垂直地面水平面且方向向下時(shí)，三角形的語(yǔ)義屬性為底面。
7.根據(jù)權(quán)利要求1或2或3或4或5所述對(duì)象語(yǔ)義約束的真正射影像優(yōu)化采樣方法，其特征在于:步驟2的實(shí)現(xiàn)方式為，以每個(gè)地物對(duì)象的底面子對(duì)象的邊界分別為待處理的地物底面邊界多邊形，分別與地形對(duì)象的不規(guī)則三角網(wǎng)內(nèi)三角形進(jìn)行空間求交處理如下， 當(dāng)?shù)匦螌?duì)象的三角形完全位于地物底面邊界多邊形內(nèi)時(shí)，將此三角形從地形對(duì)象的不規(guī)則三角網(wǎng)中刪除； 當(dāng)?shù)匚锏酌孢吔缍噙呅闻c地形對(duì)象的三角形二條邊相交時(shí)，形成完全剖切，記錄相關(guān)交點(diǎn)；形成完全剖切后的處理流程為，三角形經(jīng)完全剖切形成兩部分，將包含于地物底面邊界多邊形內(nèi)的一部分進(jìn)行刪除，并對(duì)剩余部分中非三角形的情況使用對(duì)角線(xiàn)連接三角化，生成新的三角形并增加到地形對(duì)象的不規(guī)則三角網(wǎng)中； 當(dāng)?shù)匚锏酌孢吔缍噙呅尾荒芘c地形對(duì)象的三角形二條邊相交時(shí)，定義為不完全剖切，將三角形的頂點(diǎn)與位于三角形內(nèi)的地物底面邊界多邊形頂點(diǎn)相連，生成新的三角形替換原三角形，然后待處理的地物底面邊界多邊形基于新的三角形分別進(jìn)行空間求交處理。
8.根據(jù)權(quán)利要求1或2或3或4或5所述對(duì)象語(yǔ)義約束的真正射影像優(yōu)化采樣方法，其特征在于:步驟3的實(shí)現(xiàn)方式為，以每個(gè)地物對(duì)象的底面子對(duì)象的邊界計(jì)算二維最小外接矩形，根據(jù)預(yù)設(shè)的區(qū)域內(nèi)平面三角形數(shù)量的閾值，采用標(biāo)準(zhǔn)二維k-D樹(shù)剖分算法建立物方對(duì)象空間索引，使得k-D樹(shù)每一個(gè)葉節(jié)點(diǎn)中，三角形數(shù)量不超過(guò)閾值限制。
9.根據(jù)權(quán)利要求1或2或3或4或5所述對(duì)象語(yǔ)義約束的真正射影像優(yōu)化采樣方法，其特征在于:步驟4中建立像方對(duì)象空間索引的實(shí)現(xiàn)方式為，在每一張影像上，取出每一個(gè)像方對(duì)象，根據(jù)像方對(duì)象的邊界像素點(diǎn)，通過(guò)投影到地物空間計(jì)算外接包圍矩形，然后按照二維格網(wǎng)索引規(guī)則建立平面空間的像方對(duì)象空間索引。
【文檔編號(hào)】G06T15/04GK103839286SQ201410095545
【公開(kāi)日】2014年6月4日 申請(qǐng)日期:2014年3月17日 優(yōu)先權(quán)日:2014年3月17日
【發(fā)明者】朱慶, 于杰, 杜志強(qiáng), 張葉廷, 齊華 申請(qǐng)人:武漢大學(xué)