本發(fā)明屬于三維場景構(gòu)建的，具體涉及一種基于nerf的城市動(dòng)態(tài)場景構(gòu)建方法及系統(tǒng)。

背景技術(shù)：

1、城市的幾何重建技術(shù)，如google?maps和streetview，已經(jīng)深刻地改變了我們的日常生活，為人們提供了從不同角度探索城市的方法。近年來，基于神經(jīng)輻射場(neuralradiance?fields，nerf)的技術(shù)通過高級的視角合成實(shí)現(xiàn)了與場景的逼真交互。這種技術(shù)利用深度學(xué)習(xí)算法來解析和渲染三維場景，從而產(chǎn)生逼真的視覺效果。盡管這些技術(shù)的進(jìn)步令人印象深刻，現(xiàn)有的城市場景三維構(gòu)建方法仍然面臨兩大問題。

2、首先，數(shù)據(jù)的獲取和處理復(fù)雜度極高。要準(zhǔn)確重建一個(gè)城市的三維模型，需要大量的圖像數(shù)據(jù)和精確的位置信息。這些數(shù)據(jù)的收集和處理不僅耗時(shí)耗力，而且在某些情況下可能存在隱私和安全問題。其次，盡管nerf技術(shù)提供了高度逼真的渲染，但它在處理動(dòng)態(tài)場景時(shí)的精度有待提高。動(dòng)態(tài)的城市場景包含復(fù)雜的結(jié)構(gòu)和動(dòng)態(tài)元素，這對現(xiàn)有nerf對動(dòng)靜態(tài)場景的不同處理提出了極大的挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種基于nerf的城市動(dòng)態(tài)場景構(gòu)建方法及系統(tǒng)。

2、為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：

3、本發(fā)明的一個(gè)方面，提供了一種基于nerf的城市動(dòng)態(tài)場景構(gòu)建方法，包括下述步驟：

4、獲取在不同時(shí)間、不同天氣和不同照明條件下拍攝的多個(gè)視頻，并記錄不同拍攝過程中的相機(jī)拍攝姿態(tài)和角度；

5、對多個(gè)視頻圖像中包含的場景根據(jù)表現(xiàn)形式分解為靜態(tài)分支場景、動(dòng)態(tài)分支場景以及遠(yuǎn)景分支場景，并采用不同的哈希函數(shù)對不同分支場景構(gòu)建對應(yīng)的哈希表數(shù)據(jù)結(jié)構(gòu)；

6、根據(jù)所構(gòu)建的哈希表數(shù)據(jù)結(jié)構(gòu)以及輔助參數(shù)連接成特征向量，將不同場景分支的特征向量分別映射成顏色、密度和遠(yuǎn)場輻射率；

7、對靜態(tài)分支場景和動(dòng)態(tài)分支場景的顏色和密度參數(shù)進(jìn)行加權(quán)和計(jì)算，將得到的結(jié)果渲染生成新的場景視圖。

8、作為優(yōu)選的技術(shù)方案，所述獲取在不同時(shí)間、不同天氣和不同照明條件下拍攝的多個(gè)視頻，具體為：

9、通過地理信息系統(tǒng)專業(yè)軟件沿城市道路進(jìn)行間隔采樣；根據(jù)采樣點(diǎn)的地理坐標(biāo)，設(shè)定視頻的拍攝位置、俯仰角，獲取采樣點(diǎn)視頻；

10、在不同時(shí)間、不同天氣和不同照明條件下對同一個(gè)采樣點(diǎn)進(jìn)行多次采樣，并將同一次采樣任務(wù)視頻中的每一幀按時(shí)間t有序排列，每次采樣任務(wù)的分別設(shè)定編號，最終包含n個(gè)采樣任務(wù)。

11、作為優(yōu)選的技術(shù)方案，將場景分解成靜態(tài)分支場景，表示在不同視頻中保持一致的非移動(dòng)場景地形；其中坐標(biāo)位置x∈r3，r3表示三維空間，vid∈{1,…,n}表示視頻編號，l∈l表示不同分辨率級別；靜態(tài)分支使用3d空間體素vl,s，令靜態(tài)分支哈希函數(shù)為：

12、il,s＝static_hash(space(vl,s))；

13、其中，il,s為靜態(tài)分支哈希索引，static_(為靜態(tài)分支哈希函數(shù)，space(為對3d空間體素進(jìn)行預(yù)處理或轉(zhuǎn)換，以適合哈希函數(shù)的輸入要求的函數(shù)。

14、作為優(yōu)選的技術(shù)方案，將場景分解成動(dòng)態(tài)分支場景，表示視頻中移動(dòng)的對象；動(dòng)態(tài)分支使用4d時(shí)空體素vl,d，其中t∈{1,…,}表示視頻中的幀索引，坐標(biāo)位置x∈r3，r3表示三維空間，vid∈{1,…,n}表示視頻編號，l∈l表示不同分辨率級別，令動(dòng)態(tài)分支哈希函數(shù)為：

15、il,d＝dynamic_(space(vl,d),time(vk,d),vid)；

16、其中，il,d為動(dòng)態(tài)分支哈希索引，dynamic_hash(為動(dòng)態(tài)分支哈希函數(shù)，space(為對3d空間體素進(jìn)行預(yù)處理或轉(zhuǎn)換，以適合哈希函數(shù)的輸入要求的函數(shù)，time(為提取時(shí)間信息的函數(shù)。

17、作為優(yōu)選的技術(shù)方案，將場景分解成遠(yuǎn)景分支場景，表示視頻中遠(yuǎn)處的物體和天空；其中坐標(biāo)位置x∈r3，相機(jī)視角方向d∈r3，r3表示三維空間，vid∈{1,…,n}表示視頻編號，l∈l表示不同分辨率級別；遠(yuǎn)景分支使用3d空間體素，令遠(yuǎn)景分支哈希函數(shù)為：

18、il,e＝env_hash(dir(vl,e),vid)

19、其中，il,e為遠(yuǎn)景分支哈希索引，dynamic_hash(為遠(yuǎn)景分支哈希函數(shù)，dir(vl,e)為將體素vl,e轉(zhuǎn)換為一個(gè)方向向量的函數(shù)。

20、作為優(yōu)選的技術(shù)方案，所述根據(jù)所構(gòu)建的哈希表數(shù)據(jù)結(jié)構(gòu)以及輔助參數(shù)連接成特征向量，將不同場景分支的特征向量分別映射成顏色、密度和遠(yuǎn)場輻射率，具體為：

21、將靜態(tài)分支場景下的哈希表值連同輔助輸入一起連接成特征向量，所述輔助輸入包括觀察方向、視頻編號；隨后將特征向量映射為與視圖相關(guān)的顏色ce和與視圖無關(guān)的密度σs，其中，以視頻特定的矩陣avid和傅里葉編碼的時(shí)間索引f(t)的乘積計(jì)算為輔助條件，計(jì)算與視圖相關(guān)的顏色，如下所示：

22、σs(x)∈r；

23、cs(x,d,avidf(t))∈r3；

24、其中，σs(x)為靜態(tài)分支場景的密度函數(shù)，cs(x,d,avidf(t))為靜態(tài)分支場景的顏色函數(shù)，x∈r3為坐標(biāo)位置，r3表示三維空間，d∈r3為相機(jī)視角方向；

25、在動(dòng)態(tài)分支場景中，通過使用標(biāo)量陰影場ρd∈[0,1]對靜態(tài)分支場景的顏色cs進(jìn)行調(diào)整，得到動(dòng)態(tài)分支場景的顏色cd和密度σd，如下所示：

26、σd(x,t,vid)∈r；

27、ρd(x,t,vid)；

28、cd(x,t,vid,d)∈r3；

29、其中，t∈{1,…,}表示視頻中的幀索引，cd(x,t,vid,d)為動(dòng)態(tài)分支場景的與視圖時(shí)間和視頻時(shí)間相關(guān)的顏色函數(shù)，σd(x,t,vid)為與視圖時(shí)間和視頻時(shí)間相關(guān)的動(dòng)態(tài)分支場景的密度函數(shù)；

30、在遠(yuǎn)景分支場景中，從視頻拍攝角度和視頻序號兩個(gè)方面對遠(yuǎn)景分支場景中的遠(yuǎn)場輻射率ce進(jìn)行建模，如下所示：

31、ce(d,vid)∈r3；

32、其中，ce(d,vid)為遠(yuǎn)景分支場景的遠(yuǎn)場輻射率函數(shù)。

33、作為優(yōu)選的技術(shù)方案，所述對靜態(tài)分支場景和動(dòng)態(tài)分支場景的顏色和密度參數(shù)進(jìn)行加權(quán)和計(jì)算，將得到的結(jié)果渲染生成新的場景視圖，具體為：

34、計(jì)算靜態(tài)分支場景和動(dòng)態(tài)分支場景顏色值和密度值的加權(quán)和，并結(jié)合點(diǎn)級的陰影減少，推導(dǎo)出任意位置單一的密度和輻射值，如下所示：

35、

36、σ(x,t,vid)＝σs(x)+σd(x,t,vid)；

37、其中，c(x,t,vid,d)和σ(x,t,vid)分別為推導(dǎo)出的單一的輻射值函數(shù)和密度函數(shù)，∈r3為坐標(biāo)位置，r3表示三維空間，t∈{1,…,t}表示視頻中的幀索引，d∈r3為相機(jī)視角方向，vid∈{1,…,}表示視頻編號，avid和f(t)分別表示視頻特定的矩陣和傅里葉編碼的時(shí)間索引，σs和cs(x,,vidf(t))分別為靜態(tài)分支場景下與視圖無關(guān)的密度和顏色函數(shù)，σd(x,t,vid)和cd(x,t,vid,d)分別為動(dòng)態(tài)分支場景中動(dòng)態(tài)分支場景特征向量所映射的與視圖時(shí)間和視頻時(shí)間相關(guān)的密度函數(shù)和顏色函數(shù)，σs(x)為靜態(tài)分支場景的密度函數(shù)；

38、通過沿光線在采樣點(diǎn)處累積透射率，并強(qiáng)制光線與遠(yuǎn)場環(huán)境相交，以獲得相機(jī)光線在給定幀和視頻中的顏色如下所示；

39、

40、其中，σ(r(t),,id)表示在時(shí)間t和視頻編號vid下，沿光線r(t)處的密度函數(shù)，c(r(t),,id,)為表示在時(shí)間t、視頻編號vid和相機(jī)視角方向d下，沿光線r9t)處的密度函數(shù)，r(t)為光線在時(shí)間t處的位置的參數(shù)化方程，σ(r(s),,id)為表示在時(shí)間t和視頻編號vid下，沿光線r(s)處的體密度函數(shù)；

41、根據(jù)得到的顏色、密度和輻射值，對場景新視角圖像進(jìn)行渲染。

42、本發(fā)明的另一個(gè)方面，還提供了一種基于nerf的城市動(dòng)態(tài)場景構(gòu)建系統(tǒng)，應(yīng)用于上述的一種基于nerf的城市動(dòng)態(tài)場景構(gòu)建方法，包括數(shù)據(jù)采集與預(yù)處理模塊、特征構(gòu)建模塊以及渲染模塊；

43、所述數(shù)據(jù)采集與預(yù)處理模塊用于采集研究區(qū)域內(nèi)的不同時(shí)間、不同天氣和不同照明條件下拍攝的多個(gè)視頻，記錄不同拍攝過程下的相機(jī)拍攝姿態(tài)和角度，并對視頻圖像中包含的場景根據(jù)表現(xiàn)形式分解為靜態(tài)分支場景、動(dòng)態(tài)分支場景以及遠(yuǎn)景分支場景；

44、所述特征構(gòu)建模塊用于采用不同的哈希函數(shù)對不同分支場景構(gòu)建對應(yīng)的哈希表數(shù)據(jù)結(jié)構(gòu)，根據(jù)所構(gòu)建的哈希表數(shù)據(jù)結(jié)構(gòu)以及輔助參數(shù)連接成特征向量，將不同場景分支的特征向量分別映射成顏色、密度和遠(yuǎn)場輻射率

45、所述渲染模塊用于實(shí)現(xiàn)對新視角場景圖像的渲染，通過計(jì)算靜態(tài)分支場景和動(dòng)態(tài)分支場景顏色值和密度值的加權(quán)和，對靜態(tài)分支場景和動(dòng)態(tài)分支場景的顏色和密度參數(shù)進(jìn)行加權(quán)和計(jì)算，將得到的結(jié)果渲染生成新的場景視圖。。

46、作為優(yōu)選的技術(shù)方案，渲染模塊中，將得到的結(jié)果渲染生成新的場景視圖具體為：

47、對靜態(tài)分支場景和動(dòng)態(tài)分支場景的顏色和密度值進(jìn)行加權(quán)和，并減少場景中的陰影，結(jié)合遠(yuǎn)景分支場景中的遠(yuǎn)程輻射率，推導(dǎo)每個(gè)點(diǎn)的顏色、密度和輻射率，從而進(jìn)行渲染。

48、本發(fā)明的另一個(gè)方面，還提供了一種存儲(chǔ)介質(zhì)，存儲(chǔ)有程序，所述程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述的一種基于nerf的城市動(dòng)態(tài)場景構(gòu)建方法。

49、本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)和有益效果：

50、(1)本發(fā)明以城市場景攝影數(shù)據(jù)為基礎(chǔ)，結(jié)合圖形學(xué)中的神經(jīng)輻射場模型，提供了一種城市動(dòng)態(tài)場景的三維構(gòu)建方法；本發(fā)明將上述方法用于城市動(dòng)態(tài)場景的三維模型構(gòu)建，與傳統(tǒng)的三維構(gòu)建模型相比，本發(fā)明能夠適用于大范圍的、自動(dòng)化的城市動(dòng)態(tài)場景構(gòu)建，對城市建設(shè)監(jiān)測、城市規(guī)劃可視化等相關(guān)行業(yè)或研究提供一定的效益。