1.一種基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法,其特征在于,所述模態(tài)特征提取模塊依次包括塊編碼器和多層串行的自注意力特征提取器;
3.根據(jù)權(quán)利要求2所述的基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法,其特征在于,所述模態(tài)提示向量模塊包括模態(tài)提示向量注入模塊和提示交換模塊;
4.根據(jù)權(quán)利要求2所述的基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法,其特征在于,所述模態(tài)特征融合模塊包括串行連接的模態(tài)特征高響應(yīng)區(qū)域選擇模塊和基于模態(tài)提示向量的多模態(tài)特征融合模塊,所述模態(tài)特征高響應(yīng)區(qū)域選擇模塊與模態(tài)特征提取模塊中的自注意力特征提取器串行連接;
5.根據(jù)權(quán)利要求4所述的基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法,其特征在于,所述基于模態(tài)提示向量的多模態(tài)特征融合模塊將模態(tài)提示向量作為查詢(xún)向量,通過(guò)交叉注意力機(jī)制引導(dǎo)不同模態(tài)的特征進(jìn)行融合,所述交叉注意力機(jī)制的公式為:
6.根據(jù)權(quán)利要求5所述的基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法,其特征在于,所述基于模態(tài)提示向量的多模態(tài)特征融合模塊的融合層表示為:
7.根據(jù)權(quán)利要求1所述的基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法,其特征在于,所述模態(tài)缺失場(chǎng)景自適應(yīng)模塊包括提示向量屏蔽模塊和特征序列調(diào)整模塊,所述提示向量屏蔽模塊和特征序列調(diào)整模塊位于塊編碼器和第1層自注意力特征提取器之間;
8.根據(jù)權(quán)利要求1所述的基于提示學(xué)習(xí)的多模態(tài)目標(biāo)重識(shí)別方法,其特征在于,所述s2中損失函數(shù)結(jié)合三元組損失和交叉熵?fù)p失,公式為: