本發(fā)明屬于計(jì)算機(jī)視覺和遙感，尤其涉及基于超像素約束的神經(jīng)輻射場渲染方法。

背景技術(shù)：

1、神經(jīng)輻射場(nerf)框架已經(jīng)成熟，能夠?qū)W習(xí)并呈現(xiàn)未觀察視角下的逼真三維場景。因此，將nerf技術(shù)應(yīng)用于遙感圖像的三維生成，有助于獲得更精細(xì)的三維結(jié)構(gòu)。

2、將2d圖像轉(zhuǎn)換為高保真的3d場景是視覺成像技術(shù)未來的關(guān)鍵發(fā)展方向，尤其在攝影測量和遙感(prs)領(lǐng)域。高精度的現(xiàn)實(shí)世界三維重建不僅能夠準(zhǔn)確再現(xiàn)建筑物、道路和基礎(chǔ)設(shè)施，還能通過逼真的3d地形模型更直觀地呈現(xiàn)地理信息。這種技術(shù)在智慧城市、城市發(fā)展與管理、數(shù)字制圖、導(dǎo)航等多個(gè)領(lǐng)域具有廣泛應(yīng)用。在傳統(tǒng)的基于幾何的3d重建任務(wù)中，傳統(tǒng)的大規(guī)模三維重建算法面臨兩個(gè)主要挑戰(zhàn)：首先，在建模過程中需要仔細(xì)調(diào)整參數(shù)和處理，增加了實(shí)施和調(diào)試的難度，從而限制了方法的可擴(kuò)展性和通用性。其次，傳統(tǒng)方法通常依賴于手工設(shè)計(jì)的特征來描述場景中的幾何結(jié)構(gòu)和紋理信息。

3、然而，圖像噪聲、弱紋理等問題使得這些方法難以提取有效的圖像特征點(diǎn)，從而導(dǎo)致重建結(jié)果中出現(xiàn)空洞和松散的幾何結(jié)構(gòu)。改進(jìn)和優(yōu)化針對這些挑戰(zhàn)的策略可能包括：集成更多的幾何信息以提高結(jié)構(gòu)捕捉能力、優(yōu)化計(jì)算資源的使用以提高效率、以及擴(kuò)展nerf框架以處理更大規(guī)模和更復(fù)雜的場景和幾何結(jié)構(gòu)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明通過提供基于超像素約束的神經(jīng)輻射場渲染方法，實(shí)現(xiàn)了超像素紋理一致性約束，提高了nerf深度估計(jì)準(zhǔn)確度。

2、本發(fā)明提供基于超像素約束的神經(jīng)輻射場渲染方法，包括以下步驟：

3、步驟1、圖像預(yù)處理，利用colmap軟件從n張輸入圖像中估計(jì)出相機(jī)位姿；

4、步驟2、利用多分辨率分割算法對二維圖像數(shù)據(jù)集進(jìn)行超像素的分割與提取；

5、步驟3、分別計(jì)算每個(gè)超像素內(nèi)所包含的原始像素的rgb顏色均值，并以該rgb顏色均值作為對應(yīng)超像素的rgb顏色；

6、步驟4、將神經(jīng)網(wǎng)絡(luò)渲染得到的像素的rgb顏色值與所對應(yīng)的超像素的rgb顏色值的l2范數(shù)作為損失函數(shù)，以約束神經(jīng)網(wǎng)絡(luò)的訓(xùn)練；

7、步驟5、通過反向傳播算法優(yōu)化神經(jīng)網(wǎng)絡(luò)，直至神經(jīng)網(wǎng)絡(luò)收斂，最終得到輸入圖像所覆蓋場景的隱式三維表示；

8、步驟6、根據(jù)輸入圖像所覆蓋場景的隱式三維表示和新的相機(jī)姿態(tài)參數(shù)，進(jìn)行新視圖合成。

9、進(jìn)一步講，本發(fā)明所述的基于超像素約束的神經(jīng)輻射場渲染方法，所述步驟1中，使用colmap工具從數(shù)據(jù)集中提取特征點(diǎn)和特征描述子，并利用sift算法對這些特征點(diǎn)及其描述子與原始圖像進(jìn)行幾何一致性驗(yàn)證。接著采用增量式結(jié)構(gòu)從運(yùn)動(dòng)(sfm)方法進(jìn)行稀疏重建，通過匹配視角坐標(biāo)與實(shí)際三維建筑的映射關(guān)系，獲取圖像的三維坐標(biāo)和相機(jī)位姿信息。

10、本發(fā)明所述的基于超像素約束的神經(jīng)輻射場渲染方法，所述步驟1中，若輸入圖像為衛(wèi)星圖像，則使用有理多項(xiàng)式系數(shù)(rpc)函數(shù)表示的相機(jī)模型對衛(wèi)星圖像的位姿矯正。

11、其中，基于rpc函數(shù)表示的相機(jī)模型是一種用于描述數(shù)字影像中攝影測量幾何關(guān)系的數(shù)學(xué)模型，其表達(dá)式為：

12、

13、其中x,y，z表示三維點(diǎn)的經(jīng)度、緯度和高度，r，c為其在成像平面上的投影的行和列。

14、本發(fā)明所述的基于超像素約束的神經(jīng)輻射場渲染方法，所述步驟2中，多分辨率分割通過最小化生成的分割片段的平均異質(zhì)性來實(shí)現(xiàn)超像素提取，融合因子f表示兩分割片段合并引起的異質(zhì)性增加，其公式為：

15、f＝wcolor·hcolor+(1-wcolor)·hshape

16、其中，融合因子f由光譜異質(zhì)性分量hcolor和空間異質(zhì)性分量hshape組成，它們的相對重要性由顏色因子wcolor定義。

17、本發(fā)明所述的基于超像素約束的神經(jīng)輻射場渲染方法，所述步驟3中，對每個(gè)超像素進(jìn)行遍歷，計(jì)算其內(nèi)所有原始像素的rgb顏色均值。這一過程可以通過以下公式表示：

18、

19、其中，rgbsuperpixel是超像素的rgb顏色均值，n是超像素內(nèi)的像素?cái)?shù)，rgbi是第i個(gè)像素的rgb顏色值。

20、這個(gè)公式計(jì)算了超像素內(nèi)所有像素的rgb顏色的平均值，作為該超像素的代表顏色。

21、本發(fā)明所述的基于超像素約束的神經(jīng)輻射場渲染方法，所述步驟4中，在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程中添加超像素紋理一致性約束，迫使超像素內(nèi)部一組像素的預(yù)測灰度值趨于一致，通過對紋理的約束實(shí)現(xiàn)對場景幾何的約束，損失函數(shù)的表達(dá)式為：

22、

23、其中，是超像素內(nèi)每個(gè)像素的預(yù)測顏色，r為每個(gè)訓(xùn)練批次中的光線集，p為光線r對應(yīng)的超像素，超像素的顏色真值是該超像素內(nèi)所有像素顏色的均值。

24、本發(fā)明所述的基于超像素約束的神經(jīng)輻射場渲染方法，所述步驟5中，反向傳播是一種基于梯度下降的優(yōu)化技術(shù)，通過計(jì)算損失函數(shù)關(guān)于網(wǎng)絡(luò)參數(shù)的梯度，然后沿著梯度的反方向更新參數(shù)，以使損失函數(shù)值最小化。

25、本發(fā)明所述的基于超像素約束的神經(jīng)輻射場渲染方法，所述步驟6中，nerf運(yùn)用經(jīng)典體渲染的原理來渲染穿過場景的每條光線的顏色，將輸出顏色c和體積密度σ合成到圖像中。給定相機(jī)光線r(t)＝o+td，對應(yīng)像素的顏色c(r)可由下式計(jì)算。

26、

27、其中o為相機(jī)中心，tn和tf分別為近邊界和遠(yuǎn)邊界，t(t)為沿射線從tn到t的累計(jì)透光率，可由下式計(jì)算。

28、

29、在本發(fā)明中，首先，通過colmap軟件對圖像進(jìn)行預(yù)處理，估計(jì)每張圖像的相機(jī)姿態(tài)。其次，采用多分辨率分割算法將二維圖像數(shù)據(jù)集分割為緊湊且語義一致的超像素。然后，計(jì)算每個(gè)超像素的rgb顏色均值作為其代表顏色。接著，定義損失函數(shù)，該函數(shù)基于神經(jīng)網(wǎng)絡(luò)渲染像素的rgb顏色值與超像素的rgb顏色均值之間的l2范數(shù)差異。隨后，通過反向傳播優(yōu)化神經(jīng)網(wǎng)絡(luò)，直至其收斂，以獲得輸入圖像覆蓋場景的隱式三維表示。最后，根據(jù)隱式三維表示和新的相機(jī)姿態(tài)參數(shù)合成新視圖。本發(fā)明能夠通過超像素約束的神經(jīng)輻射場渲染方法，提升三維重建性能。

技術(shù)特征：

1.基于超像素約束的神經(jīng)輻射場渲染方法，其特征在于，包括以下步驟

2.根據(jù)權(quán)利要求1所述的基于超像素約束的神經(jīng)輻射場渲染方法，其特征在于，所述步驟1中，若輸入圖像為衛(wèi)星圖像，則使用有理多項(xiàng)式系數(shù)(rpc)函數(shù)表示的相機(jī)模型對衛(wèi)星圖像的位姿矯正。

3.根據(jù)權(quán)利要求1所述的基于超像素約束的神經(jīng)輻射場渲染方法，其特征在于，所述步驟2中，多分辨率分割通過最小化生成的分割片段的平均異質(zhì)性來實(shí)現(xiàn)超像素提取，融合因子f表示兩分割片段合并引起的異質(zhì)性增加，其公式為：

4.根據(jù)權(quán)利要求1所述的基于超像素約束的神經(jīng)輻射場渲染方法，其特征在于，所述步驟4中，在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程中添加超像素紋理一致性約束，迫使超像素內(nèi)部一組像素的預(yù)測灰度值趨于一致，通過對紋理的約束實(shí)現(xiàn)對場景幾何的約束，損失函數(shù)的表達(dá)式為：

技術(shù)總結(jié)
本發(fā)明提出了一種基于超像素紋理一致性約束的神經(jīng)輻射場方法，屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域。本發(fā)明利用超像素中的一組像素的灰度相似這一先驗(yàn)信息，相鄰且相似的像素可以被作為一個(gè)整體進(jìn)行約束與優(yōu)化，以增強(qiáng)它們之間的關(guān)聯(lián)性，通過對紋理的約束實(shí)現(xiàn)對場景幾何的約束。此外，本發(fā)明對于衛(wèi)星影像數(shù)據(jù)，由有理多項(xiàng)式系數(shù)(RPC)函數(shù)表示的衛(wèi)星相機(jī)模型，通過陰影感知輻照度模型對衛(wèi)星遙感影像中存在的陰影變化進(jìn)行建模，運(yùn)用不確定性加權(quán)方法消除瞬態(tài)物體的存在帶來的影響，實(shí)現(xiàn)基于衛(wèi)星遙感影像的三維重建。本發(fā)明旨在實(shí)現(xiàn)利用超像素來建立空間一致性約束，實(shí)現(xiàn)大型場景3D幾何形狀以及外觀的精確提取。

技術(shù)研發(fā)人員：張廣運(yùn),張榮庭,薛超中,李飛揚(yáng)
受保護(hù)的技術(shù)使用者：南京工業(yè)大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/11/18