本發(fā)明涉及三維重建領(lǐng)域，具體涉及一種基于3d高斯的三維重建方法及計算機裝置。

背景技術(shù)：

1、目前的三維重建方法，如cn108961390a公開的一種基于深度圖的實時三維重建方法，包括：利用深度相機獲得拍攝場景的深度圖和rgb彩色圖；對每一幀深度圖進行如下處理：對深度信息進行補全，然后其像素點轉(zhuǎn)換第一類三維坐標(biāo)點，并計算每一個像素點處的法向量；將深度圖對應(yīng)的第一類三維坐標(biāo)點轉(zhuǎn)換為第二類三維坐標(biāo)點；為深度圖所對應(yīng)的每一個第二類三維坐標(biāo)點分配體素塊，并利用哈希表索引體素塊；通過對體素塊加權(quán)融合更新體素塊中每一個體素的sdf值，然后提取場景表面；獲得場景表面的紋理信息，并計算場景表面每一個體素處的表面法向量。

2、上述方案僅依靠深度圖進行實時重建，能夠有效提高重建速度，但其重建的精度不高。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點，提供一種基于3d高斯的三維重建方法，提高了三維重建的精度。

2、本發(fā)明采取如下技術(shù)方案實現(xiàn)上述目的，第一方面，本發(fā)明提供一種基于3d高斯的三維重建方法，包括：

3、s1、采集數(shù)據(jù)，并對數(shù)據(jù)進行預(yù)處理；

4、通過相機從不同的視角獲取一組二維圖像，每張圖像包含場景的重疊區(qū)域；

5、使用orb特征點提取算法在每張圖像中檢測和提取局部特征點，隨后對相鄰圖像中的特征點進行匹配，使用快速最近鄰搜索匹配算法找到在多張圖像中對應(yīng)的特征點，并且使用基于距離比的策略來過濾錯誤匹配；

6、使用隨機采樣一致性算法來估計兩幅圖像之間的基本矩陣，基本矩陣用于描述相機之間的相對位置和姿態(tài)；

7、從基本矩陣中分解出相機的姿態(tài)，包括位置和平移；

8、利用多張圖像中的特征點和相機姿態(tài)，通過三角化的方法來重建場景中的3d點，每個3d點的位置是通過將來自不同圖像的射線在空間中的交點計算得到的；

9、將3d點云初始化為扁平的高斯，同時根據(jù)輸入的彩色圖片，使用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來預(yù)測場景的幾何信息，所述幾何信息包括深度圖及法向圖，并且根據(jù)初始的場景點云對預(yù)測得到的深度圖和法向圖進行對齊，統(tǒng)一其尺度、世界坐標(biāo)系；

10、s2、通過3d?gaussian?splatting渲染得到彩色圖片、法向圖及深度圖；

11、s3、將渲染得到彩色圖片、法向圖及深度圖與訓(xùn)練的真值、預(yù)測的法向圖、預(yù)測的深度圖分別進行作差，獲得損失函數(shù)：

12、

13、其中γ、δ、α、β表示，t是訓(xùn)練迭代輪次，threshold是訓(xùn)練策略閾值輪次，lc是顏色損失函數(shù)，ld、ln、ld、ln分別為正則約束項；

14、

15、表示渲染的法向圖，nmono是預(yù)測的法向圖；

16、

17、表示渲染的深度圖，dmono是預(yù)測的深度圖；

18、

19、ωi表示第i個高斯的疊加權(quán)重，di是對應(yīng)的深度值，ωj表示第j個高斯的疊加權(quán)重，dj對應(yīng)的深度值；

20、

21、n代表由深度圖梯度產(chǎn)生的法向圖；

22、通過隨機梯度下降最小化損失函數(shù)，迭代優(yōu)化訓(xùn)練高斯的分布、形狀以及顏色。

23、進一步的是，迭代優(yōu)化訓(xùn)練的策略具體包括：

24、若訓(xùn)練迭代輪次小于等于訓(xùn)練策略閾值輪次，則通過計算得到的損失函數(shù)優(yōu)化場景的低頻結(jié)構(gòu)信息，否則通過計算得到的損失函數(shù)優(yōu)化場景的高頻細節(jié)信息。

25、進一步的是，通過3d?gaussian?splatting渲染得到彩色圖片具體包括：

26、光照計算：片段著色器負責(zé)根據(jù)光照模型計算每個像素的顏色，光照計算通常使用頂點法線、光源位置、材質(zhì)屬性信息；

27、紋理映射：將紋理圖像映射到3d物體的表面，提供顏色信息，片段著色器根據(jù)物體表面的紋理坐標(biāo)采樣紋理來決定每個像素的最終顏色；

28、顏色輸出：片段著色器將計算得到的顏色值輸出到幀緩沖，保存為彩色圖片。

29、進一步的是，通過3d?gaussian?splatting渲染得到法向圖具體包括：

30、法線插值：在光柵化過程中，三角形的頂點法線會被插值到每個像素，插值后的法線向量直接作為片段著色器的輸出；

31、顏色編碼：法線為一個三維向量，將法線向量映射到rgb值；

32、法線圖輸出：片段著色器將編碼后的法線作為顏色值輸出，生成法向圖。

33、進一步的是，通過3d?gaussian?splatting渲染得到深度圖具體包括：

34、深度值計算：每個片段在光柵化過程中會計算其深度值，該深度值是經(jīng)過透視變換后的深度值，表示像素離相機的距離；

35、深度歸一化：將深度值歸一化到一個范圍，以便存儲為灰度圖像；

36、深度圖輸出：片段著色器將歸一化后的深度值作為灰度輸出，生成深度圖。

37、進一步的是，步驟s1中，還包括：通過束調(diào)整方法優(yōu)化優(yōu)化相機參數(shù)和3d點的位置。

38、第二方面，本發(fā)明提供一種計算機裝置，包括存儲器，所述存儲器存儲有程序指令，所述程序指令運行時，執(zhí)行上述所述的基于3d高斯的三維重建方法。

39、本發(fā)明的有益效果為：

40、本發(fā)明對同一場景的一系列圖片通過運動恢復(fù)結(jié)構(gòu)方法恢復(fù)出初始的場景點云，并且將點云初始化為扁平的高斯，同時根據(jù)輸入的彩色圖片，使用預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來預(yù)測場景的幾何信息，深度圖及法向圖。然后通過3d?gaussian?splatting技術(shù)渲染得到彩色圖片、法向圖、深度圖，并且將這些圖片與訓(xùn)練的真值、預(yù)測的法向圖、預(yù)測的深度圖分別進行作差，獲得損失函數(shù)，通過隨機梯度下降最小化損失函數(shù)，迭代優(yōu)化訓(xùn)練高斯的分布，以及形狀、顏色。極大地提高了三維重建的精度。

技術(shù)特征：

1.一種基于3d高斯的三維重建方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于3d高斯的三維重建方法，其特征在于，迭代優(yōu)化訓(xùn)練的策略具體包括：

3.根據(jù)權(quán)利要求1所述的基于3d高斯的三維重建方法，其特征在于，通過3d?gaussiansplatting渲染得到彩色圖片具體包括：

4.根據(jù)權(quán)利要求1所述的基于3d高斯的三維重建方法，其特征在于，通過3d?gaussiansplatting渲染得到法向圖具體包括：

5.根據(jù)權(quán)利要求1所述的基于3d高斯的三維重建方法，其特征在于，通過3d?gaussiansplatting渲染得到深度圖具體包括：

6.根據(jù)權(quán)利要求1所述的基于3d高斯的三維重建方法，其特征在于，步驟s1中，還包括：通過束調(diào)整方法優(yōu)化優(yōu)化相機參數(shù)和3d點的位置。

7.一種計算機裝置，包括存儲器，所述存儲器存儲有程序指令，其特征在于，所述程序指令運行時，執(zhí)行如權(quán)利要求1-6任意一項所述的基于3d高斯的三維重建方法。

技術(shù)總結(jié)
本發(fā)明涉及三維重建領(lǐng)域，具體涉及一種基于3D高斯的三維重建方法及計算機裝置，提高了三維重建的精度。方法包括：采集數(shù)據(jù)，并對數(shù)據(jù)進行預(yù)處理，獲取預(yù)測的深度圖和法向圖；通過3D?Gaussian?Splatting渲染得到彩色圖片、法向圖及深度圖；將渲染得到彩色圖片、法向圖及深度圖與訓(xùn)練的真值、預(yù)測的法向圖、預(yù)測的深度圖分別進行作差，獲得損失函數(shù)；通過隨機梯度下降最小化損失函數(shù)，迭代優(yōu)化訓(xùn)練高斯的分布、形狀以及顏色。本發(fā)明適用于三維重建。

技術(shù)研發(fā)人員：趙強,樂翔,顏成鋼,王廷宇,趙文婷
受保護的技術(shù)使用者：杭州電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19