本發(fā)明涉及多模態(tài)人工智能，尤其涉及一種針對車載多模態(tài)感知的聯(lián)邦學(xué)習(xí)方法。

背景技術(shù)：

1、隨著物聯(lián)網(wǎng)和人工智能技術(shù)的飛速發(fā)展，多模態(tài)感知系統(tǒng)在自動駕駛、行為識別、醫(yī)療檢測等領(lǐng)域展現(xiàn)出巨大的應(yīng)用潛力。其核心理念是通過融合多種互補的模態(tài)數(shù)據(jù)，實現(xiàn)更加復(fù)雜和動態(tài)的感知任務(wù)。然而，現(xiàn)有的多模態(tài)感知系統(tǒng)往往需要直接訪問原始傳感數(shù)據(jù)，這種集中式處理方式嚴(yán)重威脅了用戶隱私，限制了其在真實場景中的應(yīng)用。聯(lián)邦學(xué)習(xí)作為一種分布式機(jī)器學(xué)習(xí)范式，允許多設(shè)備僅通過共享模型參數(shù)進(jìn)行協(xié)作訓(xùn)練，從而提升模型性能，無需上傳數(shù)據(jù)至中央服務(wù)器。在傳統(tǒng)的聯(lián)邦學(xué)習(xí)流程中，客戶端在本地數(shù)據(jù)上訓(xùn)練模型，隨后上傳至中心服務(wù)器進(jìn)行聚合，最后客戶端下載并部署聚合后的全局模型。

2、因此，多模態(tài)聯(lián)邦學(xué)習(xí)備受關(guān)注，尤其是智能網(wǎng)聯(lián)車領(lǐng)域。通過部署多傳感器如攝像頭、激光雷達(dá)、毫米波雷達(dá)和gps等，車輛可以在各種駕駛場景、不同天氣條件和有限視野下做出最佳控制決策，同時還能依靠聯(lián)邦學(xué)習(xí)進(jìn)行車輛間的協(xié)作學(xué)習(xí)。

3、多模態(tài)聯(lián)邦學(xué)習(xí)允許對分布式多模態(tài)數(shù)據(jù)進(jìn)行訓(xùn)練，但在無線帶寬受限的邊緣設(shè)備中，通信限制尤為顯著。傳統(tǒng)聯(lián)邦學(xué)習(xí)方案多適用于單模態(tài)任務(wù)，而無法解決多模態(tài)聯(lián)邦學(xué)習(xí)的特有問題。例如，多模態(tài)聯(lián)邦學(xué)習(xí)中的節(jié)點通常采用結(jié)構(gòu)復(fù)雜的多模態(tài)融合網(wǎng)絡(luò)，導(dǎo)致通信成本高昂，難以在帶寬受限的邊緣場景中部署。另外，傳統(tǒng)的多模態(tài)聯(lián)邦學(xué)習(xí)框架通常要求具有相同數(shù)據(jù)模態(tài)的節(jié)點進(jìn)行協(xié)作學(xué)習(xí)，這限制了不同類型節(jié)點間的模型聚合。直接聚合不同類型節(jié)點的模型會導(dǎo)致準(zhǔn)確率大幅下降，因為沒有考慮到異構(gòu)節(jié)點數(shù)據(jù)間的耦合模態(tài)和分布異質(zhì)性。在多模態(tài)聯(lián)邦學(xué)習(xí)場景中，除了由用戶、環(huán)境等因素導(dǎo)致的數(shù)據(jù)分布異構(gòu)外，還普遍存在模態(tài)異構(gòu)，即節(jié)點之間不同的傳感器配置或運行時的動態(tài)失效，大大增加了系統(tǒng)復(fù)雜性。

4、現(xiàn)有多模態(tài)聯(lián)邦學(xué)習(xí)方案通常需要上傳所有模態(tài)模型到服務(wù)器進(jìn)行聚合，這帶來了較大的通信開銷。因此，設(shè)計合適的模型上傳策略以在保證精度的基礎(chǔ)上最小化通信成本成為關(guān)鍵。

技術(shù)實現(xiàn)思路

1、本發(fā)明目的就是為了彌補已有技術(shù)的缺陷，提供一種針對車載多模態(tài)感知的聯(lián)邦學(xué)習(xí)方法，旨在資源受限和高度異構(gòu)的車載環(huán)境中，制定合適的模型上傳策略，有效平衡聯(lián)邦學(xué)習(xí)的精度和通信效率，推動多模態(tài)聯(lián)邦學(xué)習(xí)在帶寬受限的邊緣場景的廣泛應(yīng)用和落地。

2、本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：

3、一種針對車載多模態(tài)感知的聯(lián)邦學(xué)習(xí)方法，具體包括如下步驟：

4、步驟1：:采集多模態(tài)數(shù)據(jù)，并傳給車載計算機(jī)進(jìn)行數(shù)據(jù)處理，構(gòu)建本地數(shù)據(jù)集；

5、步驟2：每個節(jié)點針對其本地數(shù)據(jù)集中的每個模態(tài)并行訓(xùn)練相應(yīng)的模態(tài)模型，節(jié)點使用每種模態(tài)模型的預(yù)測結(jié)果通過集成模型進(jìn)行融合，并利用shapley值計算每個模態(tài)模型對于集成模型預(yù)測的貢獻(xiàn)度，得到對應(yīng)預(yù)測結(jié)果標(biāo)簽集；

6、步驟3，基于節(jié)點的帶寬限制和每種模態(tài)模型的大小與貢獻(xiàn)度進(jìn)行建模，制定動態(tài)的選擇模型上傳策略；

7、步驟4，節(jié)點根據(jù)制定的模型上傳策略將模型參數(shù)、模態(tài)信息和樣本數(shù)量信息數(shù)據(jù)包打包上傳至服務(wù)器進(jìn)行聚合；

8、步驟5，服務(wù)器從節(jié)點收到數(shù)據(jù)包，根據(jù)每種數(shù)據(jù)模態(tài)的樣本數(shù)量執(zhí)行加權(quán)聚合，獲得每種模態(tài)的全局模型；

9、步驟6，節(jié)點下載相應(yīng)模態(tài)的全局模型，并結(jié)合本地數(shù)據(jù)更新本地的各單模態(tài)模型以及集成模型，不斷迭代上述過程，直到模型收斂。

10、步驟1所述的采集多模態(tài)數(shù)據(jù)，是通過網(wǎng)聯(lián)車搭載攝像頭、激光雷達(dá)和gps采集網(wǎng)聯(lián)車周圍環(huán)境信息構(gòu)成的多模態(tài)數(shù)據(jù)。

11、步驟2所述的每個節(jié)點針對其本地數(shù)據(jù)集中的每個模態(tài)并行訓(xùn)練相應(yīng)的模態(tài)模型后，計算每種模態(tài)模型的參數(shù)量并結(jié)合節(jié)點帶寬信息計算得到對應(yīng)上傳所需時間；再將得到的每種模態(tài)模型的貢獻(xiàn)度和上傳所需時間分別進(jìn)行min-max歸一化，采用加權(quán)計算得到綜合分?jǐn)?shù)，由綜合分?jǐn)?shù)確定每種模態(tài)模型的初始上傳概率，從而制定動態(tài)的選擇模型上傳策略。

12、所述的制定動態(tài)的選擇模型上傳策略，具體如下：

13、設(shè)定標(biāo)簽集為yk，節(jié)點通信帶寬為bk，將第k個多模態(tài)節(jié)點上的多模態(tài)數(shù)據(jù)集分別輸入到相應(yīng)的單模態(tài)模型進(jìn)行并行訓(xùn)練，而不是訓(xùn)練單一的多模態(tài)網(wǎng)絡(luò)。其中表示第k個節(jié)點的第m個模態(tài)數(shù)據(jù)集(mk為特定的模態(tài))。然后節(jié)點將每個模態(tài)模型的輸出結(jié)果經(jīng)過集成模型ωk進(jìn)行決策級的多模態(tài)融合得到最終預(yù)測即：

14、

15、在聯(lián)邦訓(xùn)練模型更新時，節(jié)點僅上傳單模態(tài)模型而不上傳本地的集成模型ωk。

16、引入可解釋性工具shapley值進(jìn)行模態(tài)貢獻(xiàn)度計算：

17、

18、將模態(tài)模型貢獻(xiàn)度的絕對值和相應(yīng)的單次通信時間兩個基準(zhǔn)進(jìn)行min-max標(biāo)準(zhǔn)化得到和

19、將二者進(jìn)行加權(quán)計算得到綜合分?jǐn)?shù)：

20、

21、sm是節(jié)點內(nèi)部模態(tài)m的綜合分?jǐn)?shù)

22、其中αs、αt是用以控制模態(tài)貢獻(xiàn)度和單次通信時間關(guān)系的可調(diào)經(jīng)驗參數(shù)，以期貢獻(xiàn)度高、模型小的模態(tài)模型得到更高的綜合分?jǐn)?shù)；

23、根據(jù)綜合分?jǐn)?shù)來確定每種模態(tài)模型的上傳概率：

24、

25、sm是節(jié)點內(nèi)部模態(tài)m的綜合分?jǐn)?shù)，為節(jié)點內(nèi)部所有模態(tài)的綜合分?jǐn)?shù)求和。

26、根據(jù)上傳概率計算熵：

27、

28、引入熵調(diào)整因子λeaf調(diào)整上傳概率：

29、

30、其中，λeaf控制熵影響的可調(diào)參數(shù)，當(dāng)熵較低時，表示概率分布較為集中，可能導(dǎo)致模態(tài)被過度選擇，而忽略了其他模態(tài)。通過引入熵調(diào)整因子，可以在考慮綜合分?jǐn)?shù)的前提下，增加概率分布的多樣性，防止過度選擇，使上傳概率更合理。

31、將調(diào)整后的上傳概率進(jìn)行歸一化處理得到最終概率分布，以確保三種模態(tài)的上傳概率之和為1：

32、

33、本發(fā)明的優(yōu)點是：本發(fā)明引入可解釋性工具，觀察到不同節(jié)點在不同輪次多模態(tài)節(jié)點上每種模態(tài)數(shù)據(jù)對本地輸出的貢獻(xiàn)度是動態(tài)變化的，這是由不同節(jié)點物理環(huán)境中的不同模態(tài)數(shù)據(jù)特性所決定的，本發(fā)明在不損失精度的前提下實現(xiàn)了通信效率和準(zhǔn)確性的權(quán)衡，通過本地決策級的多模態(tài)融合網(wǎng)絡(luò)減輕模態(tài)耦合和分布異質(zhì)性的影響，同時引入可解釋性工具評估聯(lián)邦聚合過程中各模態(tài)模型的貢獻(xiàn)度，利用模態(tài)間差異設(shè)計了選擇模型上傳策略。本發(fā)明結(jié)合可解釋性技術(shù)在智能網(wǎng)聯(lián)車等典型的多模態(tài)聯(lián)邦學(xué)習(xí)場景中能在保證精度的前提下適應(yīng)有限的通信帶寬條件，實現(xiàn)多模態(tài)感知任務(wù)。

技術(shù)特征：

1.一種針對車載多模態(tài)感知的聯(lián)邦學(xué)習(xí)方法，其特征在于：具體包括如下步驟：

2.根據(jù)權(quán)利要求1所述的一種針對車載多模態(tài)感知的聯(lián)邦學(xué)習(xí)方法，其特征在于：步驟1所述的采集多模態(tài)數(shù)據(jù)，是通過網(wǎng)聯(lián)車搭載攝像頭、激光雷達(dá)和gps采集網(wǎng)聯(lián)車周圍環(huán)境信息構(gòu)成的多模態(tài)數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的一種針對車載多模態(tài)感知的聯(lián)邦學(xué)習(xí)方法，其特征在于：步驟2所述的每個節(jié)點針對其本地數(shù)據(jù)集中的每個模態(tài)并行訓(xùn)練相應(yīng)的模態(tài)模型后，計算每種模態(tài)模型的參數(shù)量并結(jié)合節(jié)點帶寬信息計算得到對應(yīng)上傳所需時間；再將得到的每種模態(tài)模型的貢獻(xiàn)度和上傳所需時間分別進(jìn)行min-max歸一化，采用加權(quán)計算得到綜合分?jǐn)?shù)，由綜合分?jǐn)?shù)確定每種模態(tài)模型的初始上傳概率，從而制定動態(tài)的選擇模型上傳策略。

4.根據(jù)權(quán)利要求3所述的一種針對車載多模態(tài)感知的聯(lián)邦學(xué)習(xí)方法，其特征在于：所述的制定動態(tài)的選擇模型上傳策略，具體如下：

技術(shù)總結(jié)
本發(fā)明公開了一種針對車載多模態(tài)感知的聯(lián)邦學(xué)習(xí)方法，本發(fā)明引入可解釋性工具，觀察到不同節(jié)點在不同輪次多模態(tài)節(jié)點上每種模態(tài)數(shù)據(jù)對本地輸出的貢獻(xiàn)度是動態(tài)變化的，這是由不同節(jié)點物理環(huán)境中的不同模態(tài)數(shù)據(jù)特性所決定的，本發(fā)明在不損失精度的前提下實現(xiàn)了通信效率和準(zhǔn)確性的權(quán)衡，通過本地決策級的多模態(tài)融合網(wǎng)絡(luò)減輕模態(tài)耦合和分布異質(zhì)性的影響，同時引入可解釋性工具評估聯(lián)邦聚合過程中各模態(tài)模型的貢獻(xiàn)度，利用模態(tài)間差異設(shè)計了選擇模型上傳策略。本發(fā)明結(jié)合可解釋性技術(shù)在智能網(wǎng)聯(lián)車等典型的多模態(tài)聯(lián)邦學(xué)習(xí)場景中能在保證精度的前提下適應(yīng)有限的通信帶寬條件，實現(xiàn)多模態(tài)感知任務(wù)。

技術(shù)研發(fā)人員：劉秀龍,李克秋,湯浩勇,張凱炫
受保護(hù)的技術(shù)使用者：天津大學(xué)合肥創(chuàng)新發(fā)展研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/17