本技術(shù)涉及三維建模領(lǐng)域，特別是涉及一種基于共視優(yōu)化的三維高斯點云合并方法、系統(tǒng)、計算機設(shè)備和計算機可讀存儲介質(zhì)。

背景技術(shù)：

1、三維高斯濺射(3d?gaussian?splatting,?簡稱為3dgs)使用三維高斯這一顯式表達(dá)，它基于高斯分布的性質(zhì)，將三維點云或體素數(shù)據(jù)表示為一系列的高斯分布，允許對復(fù)雜的三維形狀進(jìn)行有效的表示和渲染，無論是訓(xùn)練速度還是可編輯性,?都優(yōu)于神經(jīng)輻射場（neural?radiance?field，簡稱為nerf）。

2、在相關(guān)技術(shù)中，無論nerf還是3dgs,?當(dāng)場景圖像太多的時候,?訓(xùn)練所需的顯存會顯著增加直到顯存不夠；因此，分塊訓(xùn)練幾乎是必然操作，在分塊訓(xùn)練完成后再合并所有模型。

3、多個3dgs模型合并的時候，會面臨未觀測（如墻體的背面）、未充分觀測（如遠(yuǎn)景）等原因造成噪聲；如何高效地剔除噪聲、無縫地保留所有細(xì)節(jié)、提升共視區(qū)域的三維高斯的質(zhì)量，當(dāng)前并無有效的解決方案。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例提供了一種基于共視優(yōu)化的三維高斯點云模型合并方法、系統(tǒng)、計算機設(shè)備和計算機可讀存儲介質(zhì)，以至少解決相關(guān)技術(shù)中多個3dgs模型合并時，由于存在未觀測、未充分觀測特征點導(dǎo)致合并結(jié)果存在噪聲的問題。

2、第一方面，本技術(shù)實施例提供了一種基于共視優(yōu)化的三維高斯點云模型合并方法，所述方法包括：

3、確定互相鄰近的第一模型和第二模型，其中，所述第一模型和第二模型通過預(yù)設(shè)分割面切分同一初始三維高斯模型得到；

4、基于所述第一模型和所述第二模型的渲染圖像和原始圖像，分別確定對所述第一模型和所述第二模型的渲染質(zhì)量，存在較大影響的第一回收圖像集和第二回收圖像集；

5、以所述第一回收圖像集和所述第二回收圖像集為輔助信息，分別對第二模型和所述第一模型進(jìn)行二次優(yōu)化訓(xùn)練；

6、通過所述預(yù)設(shè)分割面分別對優(yōu)化訓(xùn)練的結(jié)果進(jìn)行分割之后，合并所述分割的結(jié)果，得到三維高斯點云模型合并結(jié)果。

7、在其中一些實施例中，以所述第一回收圖像集和所述第二回收圖像集為輔助信息，分別對第二模型和所述第一模型進(jìn)行二次優(yōu)化訓(xùn)練包括：

8、將所述第一回收圖像集添加至所述第二模型對應(yīng)的訓(xùn)練圖像集中，對所述第二模型進(jìn)行二次優(yōu)化訓(xùn)練，得到第一中間模型；

9、將所述第二回收圖像集添加至所述第一模型對應(yīng)的訓(xùn)練圖像集中，對所述第一模型進(jìn)行二次優(yōu)化訓(xùn)練，得到第二中間模型，其中，所述訓(xùn)練圖像集中刪除所述原始圖像中對渲染質(zhì)量存在較大影響的圖像。

10、在其中一些實施例中，通過所述預(yù)設(shè)分割面分別對優(yōu)化訓(xùn)練結(jié)果進(jìn)行分割之后，合并所述分割的結(jié)果，得到三維高斯點云模型合并結(jié)果包括：

11、依據(jù)所述預(yù)設(shè)分割面，分別分割所述第一中間模型和所述第二中間模型，分別得到第一中間模型和第二中間模型對應(yīng)的兩個分割模型；

12、從所述第一中間模型中選擇位于所述預(yù)設(shè)分割面一側(cè)的分割模型，從所述第二中間模型中選擇位于所述預(yù)設(shè)分割面另一側(cè)的分割模型；

13、通過合并所述選擇的分割模型，得到得到三維高斯點云模型合并結(jié)果。

14、在其中一些實施例中，基于所述第一模型和所述第二模型的渲染圖像和原始圖像，分別確定對所述第一模型和第所述二模型的渲染質(zhì)量，存在較大影響的第一回收圖像集和第二回收圖像集包括：

15、獲取所述第一模型和所述第二模型對應(yīng)的初始訓(xùn)練圖像；

16、使用所述第一模型渲染與其相機視角對應(yīng)的所述初始訓(xùn)練圖像得到第一渲染圖，使用所述第二模型渲染與其相機視角對應(yīng)的所述初始訓(xùn)練圖像，得到第二渲染圖；

17、獲取初始訓(xùn)練圖像與其對應(yīng)的第一渲染圖之間的第一峰值信噪比，以及獲取初始訓(xùn)練圖像與其對應(yīng)的在所述初始三維高斯模型中的渲染圖之間的第二峰值信噪比，若所述第一峰值信噪比相比所述第二峰值信噪比下降值大于預(yù)設(shè)閾值，將該初始訓(xùn)練圖像添加至第一回收圖像集；

18、獲取初始訓(xùn)練圖像與其對應(yīng)的第二渲染圖之間的第三峰值信噪比，若所述第三峰值信噪比相比所述第二峰值信噪比下降值大于預(yù)設(shè)閾值，將該初始訓(xùn)練圖像添加至第二回收圖像集。

19、在其中一些實施例中，通過預(yù)設(shè)分割面，切割初始三維高斯點云模型，得到至少兩個互相鄰近的第一模型和第二模型的過程中，所述方法還包括：

20、判斷是否存在落入所述分割面之外的3d?高斯點；

21、若是，刪除所述分割面之外的3d?高斯點。

22、第二方面，本技術(shù)實施例提供了一種基于共視優(yōu)化的三維高斯點云模型優(yōu)化訓(xùn)練方法，所述方法包括：

23、將初始三維高斯點云模型東北天對齊之后，通過預(yù)設(shè)網(wǎng)格或者通過預(yù)設(shè)分割算法，將所述初始三維高斯點云模型均勻切分為多個點云分塊模型；

24、在對各個點云分塊模型進(jìn)行初次優(yōu)化訓(xùn)練之后，通過權(quán)利要求1所述的方法，基于任意兩個相鄰的點云分塊模型，進(jìn)行多輪迭代的訓(xùn)練及合并，得到所述初始三維高斯點云模型的優(yōu)化訓(xùn)練結(jié)果。

25、第三方面，本技術(shù)實施例還提供了一種基于共視優(yōu)化的三維高斯點云模型合并系統(tǒng)，所述系統(tǒng)包括：分割模塊、優(yōu)化模塊以及合并模塊，其中：

26、所述分割模塊用于，確定互相鄰近的第一模型和第二模型，其中，所述第一模型和第二模型通過預(yù)設(shè)分割面切分同一初始三維高斯模型得到；

27、所述優(yōu)化模塊用于，基于所述第一模型和所述第二模型的渲染圖像和原始圖像，分別確定對所述第一模型和所述第二模型的渲染質(zhì)量，存在較大影響的第一回收圖像集和第二回收圖像集；

28、以及，以所述第一回收圖像集和所述第二回收圖像集為輔助信息，分別對第二模型和所述第一模型進(jìn)行二次優(yōu)化訓(xùn)練；

29、所述合并模塊用于，通過所述預(yù)設(shè)分割面分別對優(yōu)化訓(xùn)練的結(jié)果進(jìn)行分割之后，合并所述分割的結(jié)果，得到三維高斯點云模型合并結(jié)果。

30、在其中一些實施例中，所述優(yōu)化模塊分別對第二模型和所述第一模型進(jìn)行二次優(yōu)化訓(xùn)練包括：

31、將所述第一回收圖像集添加至所述第二模型對應(yīng)的訓(xùn)練圖像集中，對所述第二模型進(jìn)行二次優(yōu)化訓(xùn)練，得到第一中間模型；

32、將所述第二回收圖像集添加至所述第一模型對應(yīng)的訓(xùn)練圖像集中，對所述第一模型進(jìn)行二次優(yōu)化訓(xùn)練，得到第二中間模型，其中，所述訓(xùn)練圖像集中刪除所述原始圖像中對渲染質(zhì)量存在較大影響的圖像。

33、第三方面，本技術(shù)實施例提供了一種計算機設(shè)備，包括存儲器、處理器以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上述第一方面所述的方法。

34、第四方面，本技術(shù)實施例提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)如上述第一方面所述的方法。

35、相比于直接合并兩個分割之后的訓(xùn)練后分塊模型，會導(dǎo)致本身效果不錯的區(qū)域變差甚至消失的本領(lǐng)域通用技術(shù)，本實施例提供的基于共視優(yōu)化的三維高斯點云模型合并方法，可以根據(jù)分割對每張訓(xùn)練圖像產(chǎn)生的影響收集回收圖像，并將其分別放進(jìn)待合并的另一個模型中作為互補擴展信息進(jìn)行二次訓(xùn)練，可以使模型更好地學(xué)習(xí)這些復(fù)雜的圖像特征，從而提高渲染質(zhì)量；且由于低psnr圖像往往位于邊界區(qū)域，二次訓(xùn)練有助于提高兩個分塊之間交接區(qū)域的連續(xù)性。