技術(shù)特征：

1.一種具有魯棒性的多模態(tài)聯(lián)邦學(xué)習(xí)方法，其特征在于：該多模態(tài)聯(lián)邦學(xué)習(xí)方法在模態(tài)數(shù)據(jù)缺失情況下獲得高精度訓(xùn)練結(jié)果，具體包括如下步驟：

2.根據(jù)權(quán)利要求1所述的一種具有魯棒性的多模態(tài)聯(lián)邦學(xué)習(xí)方法，其特征在于：所述步驟1中，根據(jù)現(xiàn)有模態(tài)數(shù)據(jù)，預(yù)測(cè)缺失模態(tài)數(shù)據(jù)，具體包括如下步驟：

3.根據(jù)權(quán)利要求2所述的一種具有魯棒性的多模態(tài)聯(lián)邦學(xué)習(xí)方法，其特征在于：所述步驟1.1特征提取具體包括如下步驟：

4.根據(jù)權(quán)利要求1所述的一種具有魯棒性的多模態(tài)聯(lián)邦學(xué)習(xí)方法，其特征在于：所述步驟2具體包括以下步驟：

5.根據(jù)權(quán)利要求1所述的一種具有魯棒性的多模態(tài)聯(lián)邦學(xué)習(xí)方法，其特征在于：所述步驟3中，對(duì)模態(tài)融合合成模態(tài)向量，具體包括以下步驟：

6.根據(jù)權(quán)利要求5所述的一種具有魯棒性的多模態(tài)聯(lián)邦學(xué)習(xí)方法，其特征在于：所述步驟4中，對(duì)客戶端在本地建立基于全連接神經(jīng)網(wǎng)絡(luò)，其過(guò)程如下：

7.根據(jù)權(quán)利要求1所述的一種具有魯棒性的多模態(tài)聯(lián)邦學(xué)習(xí)方法，其特征在于：所述步驟5中，將客戶端訓(xùn)練結(jié)果發(fā)送到服務(wù)器端，進(jìn)行聚合操作的具體包括如下步驟：

技術(shù)總結(jié)
本發(fā)明屬于人工智能和機(jī)器學(xué)習(xí)領(lǐng)域，公開(kāi)了一種具有魯棒性的多模態(tài)聯(lián)邦學(xué)習(xí)框架，包括：S1獲取缺失模態(tài)，篩選出和缺失模態(tài)相關(guān)性強(qiáng)的模態(tài)，采用多層感知機(jī)訓(xùn)練進(jìn)行預(yù)測(cè)，完成模態(tài)對(duì)齊；S2對(duì)模態(tài)中的特征數(shù)據(jù)打上標(biāo)簽，結(jié)合特征數(shù)據(jù)合成特征向量；S3使用基于注意力機(jī)制，融合特征數(shù)據(jù)，構(gòu)成模態(tài)向量；S4對(duì)已經(jīng)對(duì)齊并融合的模態(tài)數(shù)據(jù)進(jìn)行本地訓(xùn)練；S5上傳本地訓(xùn)練模型至服務(wù)器，采用聯(lián)邦學(xué)習(xí)框架進(jìn)行聚合操作，并將模型分發(fā)給客戶端進(jìn)行下輪迭代直至模型收斂。本發(fā)明通過(guò)預(yù)測(cè)缺失模態(tài)與多模態(tài)數(shù)據(jù)融合，有效解決模態(tài)缺失時(shí)訓(xùn)練模型精度降低的問(wèn)題，減輕了模態(tài)缺失對(duì)訓(xùn)練精度的影響，提高了聯(lián)邦學(xué)習(xí)的可靠性。

技術(shù)研發(fā)人員：尤洪利,何昕,馬一凡,丁皓陽(yáng),周劍,蔡惠
受保護(hù)的技術(shù)使用者：南京郵電大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19