技術(shù)特征：

1.一種基于多原型學(xué)習(xí)的場景語義信息提取方法，其特征在于，包括以下步驟；

2.根據(jù)權(quán)利要求1所述的一種基于多原型學(xué)習(xí)的場景語義信息提取方法，其特征在于，所述步驟(1)具體為：

3.根據(jù)權(quán)利要求1所述的一種基于多原型學(xué)習(xí)的場景語義信息提取方法，其特征在于，所述步驟(2)骨干網(wǎng)絡(luò)通常由卷積層堆疊而成，用于從輸入圖像提取特征作為步驟(3)的輸入，在訓(xùn)練過程中，骨干網(wǎng)絡(luò)的參數(shù)根據(jù)步驟(5)中網(wǎng)絡(luò)輸出的結(jié)果計算損失進(jìn)行更新，以優(yōu)化網(wǎng)絡(luò)性能。

4.根據(jù)權(quán)利要求2所述的一種基于多原型學(xué)習(xí)的場景語義信息提取方法，其特征在于，所述步驟(2)具體為：

5.根據(jù)權(quán)利要求4所述的一種基于多原型學(xué)習(xí)的場景語義信息提取方法，其特征在于，所述組合損失中，三個損失分別為：

6.根據(jù)權(quán)利要求5所述的一種基于多原型學(xué)習(xí)的場景語義信息提取方法，其特征在于，所述步驟(3)具體為：

7.根據(jù)權(quán)利要求6所述的一種基于多原型學(xué)習(xí)的場景語義信息提取方法，其特征在于，所述步驟(4)具體為：

8.根據(jù)權(quán)利要求7所述的一種基于多原型學(xué)習(xí)的場景語義信息提取方法，其特征在于，所述步驟(5)具體為：

9.根據(jù)權(quán)利要求8所述的一種基于多原型學(xué)習(xí)的場景語義信息提取方法，其特征在于，所述步驟(6)具體為：

10.根據(jù)權(quán)利要求9所述的一種基于多原型學(xué)習(xí)的場景語義信息提取方法，其特征在于；

技術(shù)總結(jié)
一種基于多原型學(xué)習(xí)的場景語義信息提取方法，包括以下步驟；步驟(1)：對輸入圖像進(jìn)行預(yù)處理；步驟(2)：Backbone參數(shù)更新，將預(yù)處理后的圖像提取特征；步驟(3)：在每一類的稠密特征內(nèi)進(jìn)行在線聚類，為每個類別構(gòu)建多個原型；步驟(4)：將步驟(3)中每個類別的多個原型進(jìn)行收集完成語義知識庫的構(gòu)建；步驟(5)：對于輸入圖像中的每個像素，將其特征表示與語義知識庫中的原型進(jìn)行匹配，找到最相似的原型，最近原型匹配的結(jié)果將用于場景語義提取，步驟(6)：對輸出的逐像素語義標(biāo)簽進(jìn)行重要性評估的后處理，最終得到整個場景的語義信息。本發(fā)明中每個像素的預(yù)測可以直觀地理解為嵌入空間中與其最近原型中心的類別，增強(qiáng)了模型的可解釋性。

技術(shù)研發(fā)人員：牛毅,王丹,馬明明,李甫,石光明
受保護(hù)的技術(shù)使用者：西安電子科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10