本發(fā)明涉及自動駕駛，尤其涉及的是一種基于3dgs的自動駕駛環(huán)境的重建和編輯方法及裝置。

背景技術(shù)：

1、自動駕駛驗證和模擬環(huán)境通常是在手工或半自動打造下的模擬仿真器中進行，類似于sumo仿真器或者carla仿真器，這類仿真引擎優(yōu)點在于，可以隨意編輯里面的內(nèi)容，因為大部分都是手工制作的，但缺點在于，需要花費大量的人力和時間去盡可能的建出精細的模型，但逼真度和與真實世界對齊的尺度依然會存在較大的差別。

2、因此，現(xiàn)有技術(shù)還有待改進。

技術(shù)實現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題在于，針對現(xiàn)有技術(shù)缺陷，本發(fā)明提供一種基于3dgs的自動駕駛環(huán)境的重建和編輯方法及裝置，以解決傳統(tǒng)的自動駕駛環(huán)境的仿真方法建模精度低的問題。

2、本發(fā)明解決技術(shù)問題所采用的技術(shù)方案如下：

3、第一方面，本發(fā)明提供基于3dgs的自動駕駛環(huán)境的重建和編輯方法，包括：

4、獲取自動駕駛環(huán)境的傳感器數(shù)據(jù)及感知數(shù)據(jù)；

5、對所述傳感器數(shù)據(jù)及所述感知數(shù)據(jù)進行預處理；

6、基于預處理后的傳感器數(shù)據(jù)及感知數(shù)據(jù)進行自動駕駛環(huán)境的重建訓練，并基于訓練結(jié)果進行優(yōu)化；

7、基于訓練后的重建場景，對場景中的物體進行編輯，得到最終的自動駕駛仿真環(huán)境。

8、在一種實現(xiàn)方式中，所述獲取自動駕駛環(huán)境的傳感器數(shù)據(jù)及感知數(shù)據(jù)，包括：

9、獲取車載相機的姿態(tài)、拍攝的圖像以及激光雷達點云，得到所述傳感器數(shù)據(jù)；

10、獲取感知預測的物體邊界框，得到所述感知數(shù)據(jù)。

11、在一種實現(xiàn)方式中，所述對所述傳感器數(shù)據(jù)及所述感知數(shù)據(jù)進行預處理，包括：

12、對所述激光雷達點云進行合并，并對所述物體邊界框進行篩選，保留動態(tài)物體的邊界框。

13、在一種實現(xiàn)方式中，所述對所述激光雷達點云進行合并，并對所述感知預測的物體邊界框進行篩選，保留動態(tài)物體的邊界框，包括：

14、將所有幀的激光雷達點云全部轉(zhuǎn)換到世界坐標系下，并對轉(zhuǎn)換后的激光雷達點云進行合并；

15、對所述世界坐標系下的場景點云進行下采樣，計算所述物體邊界框在相鄰兩幀之間的位置差異，并根據(jù)計算的位置差異過濾靜態(tài)物體，保留所述動態(tài)物體的邊界框；

16、將靜態(tài)物體的邊界框作為自動駕駛環(huán)境的靜態(tài)場景。

17、在一種實現(xiàn)方式中，所述基于預處理后的傳感器數(shù)據(jù)及感知數(shù)據(jù)進行自動駕駛環(huán)境的重建訓練，并基于訓練結(jié)果進行優(yōu)化，包括：

18、根據(jù)每一幀的邊界框信息獲取對應一幀所包含的物體點云，并與靜態(tài)場景的點云進行組合，將每一個點云的3dgs屬性信息利用相機內(nèi)外參投影到場景圖片上；

19、計算渲染的場景圖片和真實場景圖片的損失，并根據(jù)所述損失進行反向傳播以及優(yōu)化。

20、在一種實現(xiàn)方式中，所述根據(jù)所述損失進行反向傳播以及優(yōu)化，包括：

21、通過旋轉(zhuǎn)和平移的方式對訓練場景中的動態(tài)物體的邊界框進行優(yōu)化。

22、在一種實現(xiàn)方式中，所述基于訓練后的重建場景，對場景中的物體進行編輯，得到最終的自動駕駛仿真環(huán)境，包括：

23、通過刪除動靜態(tài)物體的邊界框和/或增加動靜態(tài)物體的邊界框的方式對場景中的物體進行編輯，得到所述最終的自動駕駛仿真環(huán)境。

24、第二方面，本發(fā)明提供一種基于3dgs的自動駕駛環(huán)境的重建和編輯裝置，包括：

25、數(shù)據(jù)獲取模塊，用于獲取自動駕駛環(huán)境的傳感器數(shù)據(jù)及感知數(shù)據(jù)；

26、數(shù)據(jù)預處理模塊，用于對所述傳感器數(shù)據(jù)及所述感知數(shù)據(jù)進行預處理；

27、重建訓練模塊，用于基于預處理后的傳感器數(shù)據(jù)及感知數(shù)據(jù)進行自動駕駛環(huán)境的重建訓練，并基于訓練結(jié)果進行優(yōu)化；

28、場景編輯模塊，用于基于訓練后的重建場景，對場景中的物體進行編輯，得到最終的自動駕駛仿真環(huán)境。

29、第三方面，本發(fā)明提供一種終端，包括：處理器以及存儲器，所述存儲器存儲有基于3dgs的自動駕駛環(huán)境的重建和編輯程序，所述基于3dgs的自動駕駛環(huán)境的重建和編輯程序被所述處理器執(zhí)行時用于實現(xiàn)如第一方面所述的基于3dgs的自動駕駛環(huán)境的重建和編輯方法的操作。

30、第四方面，本發(fā)明還提供一種介質(zhì)，所述介質(zhì)為計算機可讀存儲介質(zhì)，所述介質(zhì)存儲有基于3dgs的自動駕駛環(huán)境的重建和編輯程序，所述基于3dgs的自動駕駛環(huán)境的重建和編輯程序被處理器執(zhí)行時用于實現(xiàn)如第一方面所述的基于3dgs的自動駕駛環(huán)境的重建和編輯方法的操作。

31、本發(fā)明采用上述技術(shù)方案具有以下效果：

32、本發(fā)明通過獲取自動駕駛環(huán)境的傳感器數(shù)據(jù)及感知數(shù)據(jù)，以及對傳感器數(shù)據(jù)及感知數(shù)據(jù)進行預處理，可基于預處理后的傳感器數(shù)據(jù)及感知數(shù)據(jù)進行自動駕駛環(huán)境的重建訓練，并基于訓練結(jié)果進行優(yōu)化，從而基于訓練后的重建場景，對場景中的物體進行編輯，得到最終的自動駕駛仿真環(huán)境。本發(fā)明基于自動駕駛環(huán)境的傳感器數(shù)據(jù)及感知數(shù)據(jù)，可快速重建一個真實的場景并渲染高度逼真的畫面，解決了現(xiàn)有自動駕駛環(huán)境的仿真方法建模精度低的問題。

技術(shù)特征：

1.一種基于3dgs的自動駕駛環(huán)境的重建和編輯方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于3dgs的自動駕駛環(huán)境的重建和編輯方法，其特征在于，所述獲取自動駕駛環(huán)境的傳感器數(shù)據(jù)及感知數(shù)據(jù)，包括：

3.根據(jù)權(quán)利要求2所述的基于3dgs的自動駕駛環(huán)境的重建和編輯方法，其特征在于，所述對所述傳感器數(shù)據(jù)及所述感知數(shù)據(jù)進行預處理，包括：

4.根據(jù)權(quán)利要求3所述的基于3dgs的自動駕駛環(huán)境的重建和編輯方法，其特征在于，所述對所述激光雷達點云進行合并，并對所述感知預測的物體邊界框進行篩選，保留動態(tài)物體的邊界框，包括：

5.根據(jù)權(quán)利要求1所述的基于3dgs的自動駕駛環(huán)境的重建和編輯方法，其特征在于，所述基于預處理后的傳感器數(shù)據(jù)及感知數(shù)據(jù)進行自動駕駛環(huán)境的重建訓練，并基于訓練結(jié)果進行優(yōu)化，包括：

6.根據(jù)權(quán)利要求5所述的基于3dgs的自動駕駛環(huán)境的重建和編輯方法，其特征在于，所述根據(jù)所述損失進行反向傳播以及優(yōu)化，包括：

7.根據(jù)權(quán)利要求1所述的基于3dgs的自動駕駛環(huán)境的重建和編輯方法，其特征在于，所述基于訓練后的重建場景，對場景中的物體進行編輯，得到最終的自動駕駛仿真環(huán)境，包括：

8.一種基于3dgs的自動駕駛環(huán)境的重建和編輯裝置，其特征在于，包括：

9.一種終端，其特征在于，包括：處理器以及存儲器，所述存儲器存儲有基于3dgs的自動駕駛環(huán)境的重建和編輯程序，所述基于3dgs的自動駕駛環(huán)境的重建和編輯程序被所述處理器執(zhí)行時用于實現(xiàn)如權(quán)利要求1-7中任意一項所述的基于3dgs的自動駕駛環(huán)境的重建和編輯方法的操作。

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲有基于3dgs的自動駕駛環(huán)境的重建和編輯程序，所述基于3dgs的自動駕駛環(huán)境的重建和編輯程序被處理器執(zhí)行時用于實現(xiàn)如權(quán)利要求1-7中任意一項所述的基于3dgs的自動駕駛環(huán)境的重建和編輯方法的操作。

技術(shù)總結(jié)
本發(fā)明公開了一種基于3dgs的自動駕駛環(huán)境的重建和編輯方法及裝置，包括：獲取自動駕駛環(huán)境的傳感器數(shù)據(jù)及感知數(shù)據(jù)；對所述傳感器數(shù)據(jù)及所述感知數(shù)據(jù)進行預處理；基于預處理后的傳感器數(shù)據(jù)及感知數(shù)據(jù)進行自動駕駛環(huán)境的重建訓練，并基于訓練結(jié)果進行優(yōu)化；基于訓練后的重建場景，對場景中的物體進行編輯，得到最終的自動駕駛仿真環(huán)境。本發(fā)明基于自動駕駛環(huán)境的傳感器數(shù)據(jù)及感知數(shù)據(jù)，可快速重建一個真實的場景并渲染高度逼真的畫面，解決了現(xiàn)有自動駕駛環(huán)境的仿真方法建模精度低的問題。

技術(shù)研發(fā)人員：周星辰
受保護的技術(shù)使用者：深圳元戎啟行科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10