本發(fā)明涉及視覺感知，特別涉及一種基于計(jì)算基礎(chǔ)平臺的感知模型組合訓(xùn)練方法及裝置。

背景技術(shù)：

1、計(jì)算平臺及開發(fā)系統(tǒng)(computing?brain?development?system，cbdes)由計(jì)算基礎(chǔ)平臺(computing?base?brain，cbb)與圖形化軟件開發(fā)器(graphical?adas-ad?softwaredeveloper，gaasd)兩部分組成。其中，cbb由計(jì)算平臺硬件、實(shí)時(shí)內(nèi)核、中間件和功能軟件組成，功能軟件是本產(chǎn)品核心，旨在提供各類智能駕駛系統(tǒng)的基本算法組件及框架?；凇胺謱咏怦睢⒖缬蚬灿谩钡膭?chuàng)新方案，以功能軟件函數(shù)庫為基礎(chǔ)，cbdes讓渡應(yīng)用算法開發(fā)能力給主機(jī)廠商，支持主機(jī)廠工程師快速構(gòu)建自己定義的智能駕駛系統(tǒng)，并進(jìn)行功能適配和參數(shù)調(diào)校。相較于現(xiàn)有產(chǎn)品及開發(fā)模式，cbdes在提升開發(fā)效率、保障軟件質(zhì)量和采用生成式開發(fā)方面均有顯著的優(yōu)勢。

2、環(huán)境感知系統(tǒng)是智能駕駛汽車獲取外界信息的通道，承擔(dān)著對車輛周圍環(huán)境信息的全面采集、處理與分析任務(wù)，它是智能車輛自主行駛的基礎(chǔ)和前提。智能駕駛汽車的感知系統(tǒng)是用相機(jī)、激光雷達(dá)、毫米波雷達(dá)等傳感器代替人的眼睛，對環(huán)境信息和車內(nèi)信息進(jìn)行采集、處理和分析，實(shí)時(shí)理解自車周圍局部駕駛環(huán)境，包含車道線、紅綠燈、交通標(biāo)識等靜態(tài)信息，以及機(jī)動(dòng)車、非機(jī)動(dòng)車、行人等動(dòng)態(tài)障礙物信息。作為智能駕駛技術(shù)的核心組成部分，感知系統(tǒng)為下游模塊定位、預(yù)測、決策、規(guī)劃、控制提供重要輸入信息，底層算法的質(zhì)量必須非常高，提高感知系統(tǒng)的準(zhǔn)確性、精確性、魯棒性、實(shí)時(shí)性是保證智能駕駛汽車安全性、舒適性的關(guān)鍵環(huán)節(jié)，也是其能正式落地的重要前提。

3、隨著自動(dòng)駕駛與人工智能技術(shù)的飛速發(fā)展，重感知輕地圖趨勢下視覺bev感知技術(shù)得到了快速發(fā)展。通過transformer技術(shù)將環(huán)視圖像特征映射到bev空間，針對3d目標(biāo)、局部地圖等多種功能需求，分別設(shè)計(jì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和推理，可以綜合提升局部駕駛環(huán)境感知準(zhǔn)確率和召回率。然而，在視覺感知的發(fā)展普及過程中，當(dāng)前業(yè)界廣泛采用的感知系統(tǒng)方案主要面臨以下難點(diǎn)挑戰(zhàn)：1)面對不同車型，不同功能，甚至傳感器位置更改，都需要重新進(jìn)行數(shù)據(jù)采集、清洗、標(biāo)注和訓(xùn)練，數(shù)據(jù)規(guī)模龐大，利用效率低下。2)智能駕駛感知算法開發(fā)應(yīng)用過程仍然存在開發(fā)周期長、復(fù)用性差、平臺及傳感器配置步驟復(fù)雜繁多等問題；主流解決方案缺乏功能軟件，沒有抽取共性算法模塊，組件復(fù)用程度低；3)隨著智能駕駛系統(tǒng)平臺逐漸多樣化，功能更新速度加快，容易導(dǎo)致工程師重復(fù)工作多，模型適配困難，開發(fā)成本高；在推理部署階段，視覺感知模型缺乏共性功能模塊拆解與分層復(fù)用，這使得面向感知量產(chǎn)的效率優(yōu)化更為困難。即現(xiàn)有感知算法開發(fā)存在黑盒難以復(fù)用、多車型泛化難等問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于計(jì)算基礎(chǔ)平臺的感知模型組合訓(xùn)練方法及裝置，以解決存在黑盒難以復(fù)用、多車型泛化難等問題。

2、本發(fā)明第一方面實(shí)施例提供一種基于計(jì)算基礎(chǔ)平臺的感知模型組合訓(xùn)練方法，包括以下步驟：基于計(jì)算基礎(chǔ)平臺，將目標(biāo)感知模型分解為多個(gè)共性功能模塊；將每個(gè)共性功能模塊進(jìn)行排列組合，以得到多個(gè)組合感知模型；根據(jù)目標(biāo)模型對所述多個(gè)組合感知模型進(jìn)行迭代訓(xùn)練，直至達(dá)到預(yù)設(shè)最大訓(xùn)練輪次，得到最終多組合感知模型及其每個(gè)功能模塊的權(quán)重。

3、可選地，所述多個(gè)共性功能模塊包括圖像特征提取模塊、圖像透視視覺到鳥瞰圖視覺視角轉(zhuǎn)換模塊、鳥瞰視覺圖像時(shí)序特征融合模塊和檢測頭模塊。

4、可選地，所述將每個(gè)共性功能模塊進(jìn)行排列組合，以得到多個(gè)組合感知模型，包括：

5、將所述每個(gè)共性功能模塊拆解為多個(gè)功能子模塊；將所述每個(gè)共性功能模塊的多個(gè)功能子模塊進(jìn)行排列組合，得到所述多個(gè)組合感知模型。

6、可選地，所述根據(jù)目標(biāo)模型對所述多個(gè)組合感知模型進(jìn)行迭代訓(xùn)練，直至達(dá)到預(yù)設(shè)最大訓(xùn)練輪次，得到所述最終多組合感知模型及其每個(gè)功能模塊的權(quán)重，包括：

7、對每個(gè)組合感知模型進(jìn)行短周期訓(xùn)練，以得到訓(xùn)練后的每個(gè)組合感知模型的權(quán)重；根據(jù)所述目標(biāo)模型在所述多個(gè)組合感知模型中選取目標(biāo)功能模塊；基于所述訓(xùn)練后的每個(gè)組合感知模型的權(quán)重，對所述多個(gè)組合感知模型中的目標(biāo)功能模塊的權(quán)重進(jìn)行平均，得到權(quán)重均值；將所述權(quán)重均值復(fù)制至所述多個(gè)組合感知模型中的目標(biāo)功能模塊中，以組成新的多個(gè)組合感知模型；迭代執(zhí)行前述訓(xùn)練過程，直至達(dá)到所述預(yù)設(shè)最大訓(xùn)練輪次，得到所述最終多組合感知模型及其每個(gè)功能模塊的權(quán)重。

8、本發(fā)明第二方面實(shí)施例提供一種基于計(jì)算基礎(chǔ)平臺的感知模型組合訓(xùn)練裝置，包括：分解單元，用于基于計(jì)算基礎(chǔ)平臺，將目標(biāo)感知模型分解為多個(gè)共性功能模塊；組合單元，用于將每個(gè)共性功能模塊進(jìn)行排列組合，以得到多個(gè)組合感知模型；迭代訓(xùn)練單元，用于根據(jù)目標(biāo)模型對所述多個(gè)組合感知模型進(jìn)行迭代訓(xùn)練，直至達(dá)到預(yù)設(shè)最大訓(xùn)練輪次，得到最終多組合感知模型及其每個(gè)功能模塊的權(quán)重。

9、可選地，所述多個(gè)共性功能模塊包括圖像特征提取模塊、圖像透視視覺到鳥瞰圖視覺視角轉(zhuǎn)換模塊、鳥瞰視覺圖像時(shí)序特征融合模塊和檢測頭模塊。

10、可選地，所述組合單元包括：

11、拆解子單元，用于將所述每個(gè)共性功能模塊拆解為多個(gè)功能子模塊；

12、組合子單元，用于將所述每個(gè)共性功能模塊的多個(gè)功能子模塊進(jìn)行排列組合，得到所述多個(gè)組合感知模型。

13、可選地，所述迭代訓(xùn)練單元包括：

14、訓(xùn)練子單元，用于對每個(gè)組合感知模型進(jìn)行短周期訓(xùn)練，以得到訓(xùn)練后的每個(gè)組合感知模型的權(quán)重；

15、選取子單元，用于根據(jù)所述目標(biāo)模型在所述多個(gè)組合感知模型中選取目標(biāo)功能模塊；

16、平均子單元，用于基于所述訓(xùn)練后的每個(gè)組合感知模型的權(quán)重，對所述多個(gè)組合感知模型中的目標(biāo)功能模塊的權(quán)重進(jìn)行平均，得到權(quán)重均值；

17、復(fù)制子單元，用于將所述權(quán)重均值復(fù)制至所述多個(gè)組合感知模型中的目標(biāo)功能模塊中，以組成新的多個(gè)組合感知模型；

18、迭代子單元，用于迭代執(zhí)行前述訓(xùn)練過程，直至達(dá)到所述預(yù)設(shè)最大訓(xùn)練輪次，得到所述最終多組合感知模型及其每個(gè)功能模塊的權(quán)重。

19、本發(fā)明第三方面實(shí)施例提供一種電子設(shè)備，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序，以實(shí)現(xiàn)如上述實(shí)施例所述的基于計(jì)算基礎(chǔ)平臺的感知模型組合訓(xùn)練方法。

20、本發(fā)明第四方面實(shí)施例提供一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上的基于計(jì)算基礎(chǔ)平臺的感知模型組合訓(xùn)練方法。

21、本發(fā)明實(shí)施例提出基于計(jì)算基礎(chǔ)平臺的感知模型組合訓(xùn)練方法及裝置，基于分層解耦的設(shè)計(jì)和開發(fā)思想，通過將感知模型劃分為不同的功能模塊，每個(gè)模塊負(fù)責(zé)特定的功能，支持用戶根據(jù)目標(biāo)需求對不同功能模塊進(jìn)行選擇和組合，靈活構(gòu)建自定義的智能駕駛感知算法，進(jìn)而降低感知系統(tǒng)的復(fù)雜性，提升開發(fā)效率和系統(tǒng)性能，增加可維護(hù)性、可移植性和可擴(kuò)展性，降低研發(fā)周期和開發(fā)成本。

22、本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。