本發(fā)明涉及3d表面重建領(lǐng)域，涉及一種基于法線偏轉(zhuǎn)網(wǎng)絡(luò)的室內(nèi)場(chǎng)景高保真表面重建方法。

背景技術(shù)：

1、3d表面重建的目標(biāo)是重建出水密的三維模型，一條路線是從多視角圖像中重建出準(zhǔn)確的3d場(chǎng)景幾何和外觀，是計(jì)算機(jī)視覺和圖形學(xué)中的一個(gè)重要研究問題。恢復(fù)的稠密表面有廣泛的應(yīng)用場(chǎng)景，包括但不限于定位、測(cè)量、動(dòng)畫、游戲和虛擬/增強(qiáng)現(xiàn)實(shí)(vr/ar)、機(jī)器人室內(nèi)導(dǎo)航等。

2、傳統(tǒng)地隱式做法，如marching?cubes算法從估計(jì)的隱式表達(dá)函數(shù)(sdf/tsdf)提取三角網(wǎng)格表面；全局做法，如泊松表面重建方法從點(diǎn)云數(shù)據(jù)直接估計(jì)出稠密表面。直接從一組圖像中重建出3d模型的多視角立體幾何(mvs)算法，通常流程是稀疏重建計(jì)算位姿，立體匹配估計(jì)深度圖和法向量圖，逆投影融合稠密點(diǎn)云，再用泊松重建恢復(fù)密集表面。mvs方法能得到高度細(xì)節(jié)化、高精度的重建結(jié)果。但mvs算法依賴光度一致性和多視角約束，無法處理同質(zhì)、無紋理的區(qū)域以及模棱兩可的觀測(cè)，這將造成錯(cuò)誤表面或丟失結(jié)構(gòu)，這些問題在存在大量低紋理部分的室內(nèi)場(chǎng)景中尤為突出。

3、神經(jīng)網(wǎng)絡(luò)展現(xiàn)出編碼場(chǎng)景潛在結(jié)構(gòu)和外觀的強(qiáng)大性能和簡單性，volsdf、neus等神經(jīng)隱式重建方法結(jié)合體渲染實(shí)現(xiàn)了非?？捎^的性能。相比傳統(tǒng)的mvs方法，神經(jīng)網(wǎng)絡(luò)的歸納平滑性質(zhì)使隱式方法能得到更光滑、完整的表面。室內(nèi)場(chǎng)景光照、環(huán)境復(fù)雜，為了處理其中的高光、低頻區(qū)域(墻面、地板等)，后續(xù)一些工作如manhattan-sdf提出manhattan假設(shè)結(jié)合語義信息共同優(yōu)化得到更好的性能。其他一些方法如monosdf、neuris提出用輔助數(shù)據(jù)來改善重建質(zhì)量，包括預(yù)訓(xùn)練模型輸出的單目深度和單目法線線索。

4、現(xiàn)有方法存在的問題：1)無法同時(shí)保證光滑度和細(xì)節(jié)度：傳統(tǒng)的mvs算法或普通的隱式重建方法如volsdf都無法處理包含大量無紋理同質(zhì)區(qū)域的室內(nèi)場(chǎng)景。隱式方法如monosdf引入預(yù)訓(xùn)練模型得到的單目深度和法線線索在室內(nèi)重建實(shí)現(xiàn)了可觀的性能提升。但先驗(yàn)信息并不準(zhǔn)確，特別在高頻復(fù)雜結(jié)構(gòu)區(qū)域。錯(cuò)誤的監(jiān)督導(dǎo)致恢復(fù)的表面過度平滑且丟失大量細(xì)節(jié)。2)依賴于各種先驗(yàn)且適應(yīng)性差：一些方法嘗試通過語義、視覺特征甚至先驗(yàn)不確定性信息來過濾錯(cuò)誤的幾何先驗(yàn)，其中語義信息和先驗(yàn)不確定性更加依賴準(zhǔn)確的先驗(yàn)?zāi)Ｐ?，視覺特征在大型場(chǎng)景中適應(yīng)性差且無法區(qū)分高頻平整區(qū)域。亟待一種自適應(yīng)且魯棒的室內(nèi)重建方法。3)無法恢復(fù)細(xì)的結(jié)構(gòu)：目前基于sdf的隱式重建算法存在固有的有偏問題，導(dǎo)致場(chǎng)景中小或細(xì)結(jié)構(gòu)的消失。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有技術(shù)中的問題，本發(fā)明提供了一種基于法線偏轉(zhuǎn)網(wǎng)絡(luò)的室內(nèi)場(chǎng)景高保真重建方法。該方法構(gòu)建包括位置編碼器、哈希編碼器、場(chǎng)景幾何網(wǎng)絡(luò)、顏色網(wǎng)絡(luò)和法線偏轉(zhuǎn)網(wǎng)絡(luò)的室內(nèi)表面體渲染重建模型，其中的法線偏轉(zhuǎn)網(wǎng)絡(luò)是一個(gè)用mlp重參數(shù)化存儲(chǔ)了場(chǎng)景幾何和先驗(yàn)幾何之間偏差的神經(jīng)網(wǎng)絡(luò)，它的輸入是采樣點(diǎn)坐標(biāo)、光線方向、場(chǎng)景法線、場(chǎng)景幾何特征，輸出采樣點(diǎn)的偏轉(zhuǎn)四元數(shù)，用以偏轉(zhuǎn)渲染法線。

2、本發(fā)明所提出的基于法線偏轉(zhuǎn)網(wǎng)絡(luò)的室內(nèi)場(chǎng)景高保真重建方法，包括如下步驟：

3、步驟1：預(yù)處理待重建場(chǎng)景已知位姿和相機(jī)內(nèi)參的多視角圖像集中所有rgb圖像，獲取每個(gè)圖像的單目深度和單目法線線索；

4、步驟2：構(gòu)建室內(nèi)表面體渲染重建模型，所述室內(nèi)表面體渲染重建模型包括位置編碼器、哈希編碼器、場(chǎng)景幾何網(wǎng)絡(luò)、顏色網(wǎng)絡(luò)和法線偏轉(zhuǎn)網(wǎng)絡(luò)；

5、將待重建場(chǎng)景的多視角圖像對(duì)應(yīng)的位姿和相機(jī)內(nèi)參輸入所述室內(nèi)表面體渲染重建模型中，室內(nèi)表面體渲染重建模型實(shí)施基于sdf值的表面體渲染優(yōu)化流程；利用體渲染技術(shù)合成場(chǎng)景中采樣的光線的渲染顏色、渲染深度、渲染法線和渲染偏轉(zhuǎn)四元數(shù)；

6、步驟3：使用渲染偏轉(zhuǎn)四元數(shù)偏轉(zhuǎn)渲染法線，通過將偏轉(zhuǎn)后的渲染法線和先驗(yàn)法線對(duì)齊學(xué)習(xí)場(chǎng)景幾何和法線先驗(yàn)蘊(yùn)含的先驗(yàn)幾何之間的偏差；計(jì)算偏轉(zhuǎn)后的渲染法線和偏轉(zhuǎn)前渲染法線的角度差，構(gòu)建自適應(yīng)偏轉(zhuǎn)角度的先驗(yàn)一致性損失動(dòng)態(tài)調(diào)整不同特點(diǎn)區(qū)域樣本先驗(yàn)的利用程度；

7、步驟4：根據(jù)步驟3得到的偏轉(zhuǎn)后的渲染法線和偏轉(zhuǎn)前渲染法線的角度差，首先對(duì)每個(gè)rgb圖像構(gòu)建一個(gè)逐像素的偏轉(zhuǎn)角度圖，在訓(xùn)練過程中，根據(jù)所述角度差動(dòng)態(tài)維護(hù)所述偏轉(zhuǎn)角度圖；實(shí)現(xiàn)多采樣高幅度偏轉(zhuǎn)角度暗示的高頻區(qū)域，少采樣低幅度偏轉(zhuǎn)角度暗示的低紋理區(qū)域；

8、再利用所述偏轉(zhuǎn)角度圖查詢訓(xùn)練過程中采樣光線的偏轉(zhuǎn)角度，結(jié)合所述采樣光線的偏轉(zhuǎn)角度和無偏渲染轉(zhuǎn)換函數(shù)進(jìn)行小或細(xì)結(jié)構(gòu)的無偏渲染；

9、再利用所述訓(xùn)練過程中計(jì)算的偏轉(zhuǎn)角度加權(quán)光度一致性損失；

10、步驟5：構(gòu)造室內(nèi)表面體渲染重建模型的總損失函數(shù)；對(duì)室內(nèi)表面體渲染重建模型進(jìn)行訓(xùn)練：訓(xùn)練完成后，提取場(chǎng)景幾何網(wǎng)絡(luò)的零水平集就是最終重建出來的室內(nèi)場(chǎng)景稠密三維表面。

11、根據(jù)本發(fā)明的優(yōu)選方案，所述步驟1為：裁剪或縮放圖像集中的所有rgb圖像，轉(zhuǎn)換為單目線索預(yù)訓(xùn)練模型需求的圖像輸入格式并變換相機(jī)內(nèi)部參數(shù)，使用單目線索預(yù)訓(xùn)練模型預(yù)測(cè)得到每個(gè)圖像的單目深度和單目法線線索。

12、根據(jù)本發(fā)明的優(yōu)選方案，所述步驟2中，基于sdf值的表面體渲染優(yōu)化流程包括：

13、在場(chǎng)景中采樣的光線上采樣感興趣坐標(biāo)點(diǎn)；輸入坐標(biāo)點(diǎn)至位置編碼器、哈希編碼器得到位置編碼和局部場(chǎng)景幾何特征編碼；結(jié)合編碼特征，使用場(chǎng)景幾何網(wǎng)絡(luò)fg、顏色網(wǎng)絡(luò)fc和法線偏轉(zhuǎn)網(wǎng)絡(luò)fd查詢獲取采樣點(diǎn)的sdf值、顏色、偏轉(zhuǎn)四元數(shù)、場(chǎng)景法線、場(chǎng)景隱式幾何特征。

14、所述構(gòu)造室內(nèi)表面體渲染重建模型所述總損失函數(shù)，具體為：

15、構(gòu)建包含基于偏轉(zhuǎn)角度的顏色損失eikonal規(guī)范損失基于偏轉(zhuǎn)角度的自適應(yīng)先驗(yàn)損失和的總損失函數(shù)對(duì)所述多分辨率哈希網(wǎng)格γl、場(chǎng)景幾何網(wǎng)絡(luò)fg、顏色網(wǎng)絡(luò)fc和偏轉(zhuǎn)場(chǎng)網(wǎng)絡(luò)fd進(jìn)行訓(xùn)練，得到高保真的三維表面；

16、所述eikonal規(guī)范損失是規(guī)范空間sdf值的損失；

17、所述基于偏轉(zhuǎn)角度的顏色損失利用偏轉(zhuǎn)角度重新加權(quán)計(jì)算渲染顏色和真實(shí)顏色c(r)的損失；

18、所述基于偏轉(zhuǎn)角度的自適應(yīng)先驗(yàn)損失和利用偏轉(zhuǎn)角自適應(yīng)地計(jì)算不同特點(diǎn)樣本的先驗(yàn)損失；

19、總損失函數(shù)表示為：

20、

21、其中，λ1、λ2、λ3是用于平衡各個(gè)損失貢獻(xiàn)的權(quán)重系數(shù)。

22、與現(xiàn)有技術(shù)相比，本發(fā)明所具有的有益效果有：

23、1)本發(fā)明提高了對(duì)不準(zhǔn)確先驗(yàn)的魯棒性：本發(fā)明通過引入法線偏轉(zhuǎn)(normaldeflection)網(wǎng)絡(luò)，利用神經(jīng)網(wǎng)絡(luò)重參數(shù)化場(chǎng)景幾何和先驗(yàn)幾何之間的偏差，估計(jì)出任意點(diǎn)位置的幾何法線和先驗(yàn)法線的角度差，解決了現(xiàn)有方法對(duì)無法有效處理錯(cuò)誤先驗(yàn)的缺點(diǎn)，有效地處理了帶先驗(yàn)隱式重建方法在錯(cuò)誤先驗(yàn)監(jiān)督下無法準(zhǔn)確重建的問題，提高隱式重建方法對(duì)先驗(yàn)線索的魯棒性。法線偏轉(zhuǎn)網(wǎng)絡(luò)能夠?qū)W習(xí)場(chǎng)景幾何和法線先驗(yàn)蘊(yùn)含的先驗(yàn)幾何之間的偏差，利用學(xué)習(xí)到的偏差信息，顯著提高了先驗(yàn)信息適應(yīng)能力，能在任意先驗(yàn)監(jiān)督下實(shí)現(xiàn)更準(zhǔn)確的重建。據(jù)此構(gòu)建出的自適應(yīng)偏轉(zhuǎn)角度的先驗(yàn)損失，有效過濾掉錯(cuò)誤先驗(yàn)，實(shí)現(xiàn)了動(dòng)態(tài)先驗(yàn)監(jiān)督和準(zhǔn)確的表面恢復(fù)。

24、2)本發(fā)明解決了表面體渲染的有偏問題：通過結(jié)合學(xué)到的偏轉(zhuǎn)角度信息和無偏渲染轉(zhuǎn)換函數(shù)，本發(fā)明實(shí)現(xiàn)了針對(duì)偏轉(zhuǎn)角度暗示的高頻結(jié)構(gòu)的無偏渲染優(yōu)化，有效緩解了表面體渲染的有偏問題。從而，顯著提高了小或細(xì)結(jié)構(gòu)的恢復(fù)，促進(jìn)了復(fù)雜室內(nèi)場(chǎng)景的重建完整性。

25、3)本發(fā)明提升了復(fù)雜室內(nèi)場(chǎng)景下表面重建的質(zhì)量：本發(fā)明利用偏轉(zhuǎn)角度信息自適應(yīng)調(diào)整不同特點(diǎn)區(qū)域的先驗(yàn)利用程度，實(shí)現(xiàn)了高低頻區(qū)域的自動(dòng)區(qū)別監(jiān)督。此外，利用角度偏差劃分具備不同細(xì)節(jié)程度的結(jié)構(gòu)，本發(fā)明針對(duì)性地提高細(xì)粒度區(qū)域的采樣率和光度一致性損失，進(jìn)一步促進(jìn)恢復(fù)更多的表面細(xì)節(jié)，顯著提高室內(nèi)的表面重建質(zhì)量。本發(fā)明在scannet、scannet++室內(nèi)數(shù)據(jù)集上的實(shí)驗(yàn)，以及在tanksandtemples上的驗(yàn)證，均展示了本發(fā)明相較于現(xiàn)有最先進(jìn)方法的優(yōu)勢(shì)，證明了其在處理復(fù)雜室內(nèi)場(chǎng)景下的魯棒性和有效性。