本技術涉及物聯(lián)網,特別涉及基于相似性對齊聯(lián)邦學習的隱私檢測方法及系統(tǒng)。
背景技術:
1、在目前的基于聯(lián)邦學習的隱私檢測方法中,存在多個物聯(lián)網設備以及一個用于管理上述物聯(lián)網設備的服務端。服務端將初始模型下發(fā)至各物聯(lián)網設備,各物聯(lián)網設備將該初始模型作為本地模型,并根據本地數據訓練本地模型得到訓練后的模型的參數,進而將訓練后的模型的參數上傳至服務端,以使得服務端對各物聯(lián)網設備上傳的訓練后的模型的參數進行聚合以得到新的全局模型,并將全局模型參數下發(fā)至各物聯(lián)網設備中以更新本地模型,返回根據本地數據訓練本地模型得到訓練后的模型的參數的步驟,直至滿足聯(lián)邦學習結束條件。
2、然而,一旦存在異常的物聯(lián)網設備提供異常的本地數據,則該異常的物聯(lián)網設備會根據異常的本地數據對本地模型進行訓練得到異常的模型參數并上傳至服務端,導致服務端對異常的模型參數進行聚合得到新的全局模型,造成全局模型的檢測精度變差。
技術實現思路
1、有鑒于此,本技術提供基于相似性對齊聯(lián)邦學習的隱私檢測方法及系統(tǒng),以提高物聯(lián)網隱私檢測模型的檢測精度。
2、本技術提供的技術方案如下:
3、根據本技術第一方面的實施例,提出了一種基于相似性對齊聯(lián)邦學習的隱私檢測方法,所述方法應用于服務端,該方法包括:
4、根據接收到的各物聯(lián)網設備上傳的模型參數確定第一全局模型參數;任一物聯(lián)網設備上傳的模型參數為該物聯(lián)網設備基于本地訓練數據對本地模型進行訓練后得到的訓練后的模型的參數,任一物聯(lián)網設備本地的訓練數據通過至少兩個網絡層得到,所述至少兩個網絡層為神經網絡模型中被解耦的網絡層;
5、基于各物聯(lián)網設備上傳的模型參數與所述第一全局模型參數的第一相似度,對各物聯(lián)網設備進行分組得到疑似中毒組與正常組;利用所述疑似中毒組中各物聯(lián)網設備上傳的模型參數確定第二全局模型參數;
6、基于所述物聯(lián)網設備疑似中毒組中各物聯(lián)網設備上傳的模型參數、所述第一全局模型參數以及第二全局模型參數,確定目標物聯(lián)網設備;所述目標物聯(lián)網設備為中毒的物聯(lián)網設備;
7、利用除目標物聯(lián)網設備之外的其他物聯(lián)網設備上傳的模型參數確定模型校正參數,將模型校正參數下發(fā)至各物聯(lián)網設備,并在所述模型校正參數滿足設定聯(lián)邦學習結束條件時指示各物聯(lián)網設備基于所述模型校正參數更新本地模型以得到目標隱私檢測模型;所述目標隱私檢測模型用于檢測物聯(lián)網隱私數據;在所述模型校正參數不滿足設定聯(lián)邦學習結束條件時,指示各物聯(lián)網設備基于所述模型校正參數更新本地模型并基于本地訓練數據對更新后的本地模型進行訓練以將訓練后的模型的參數上傳至所述服務端。
8、可選的,所述根據接收到的各物聯(lián)網設備上傳的模型參數確定第一全局模型參數,包括:
9、將所述各物聯(lián)網設備上傳的模型參數加權平均得到所述第一全局模型參數;
10、所述利用物聯(lián)網設備疑似中毒組中各物聯(lián)網設備上傳的模型參數確定第二全局模型參數,包括:
11、將所述物聯(lián)網設備疑似中毒組中各物聯(lián)網設備上傳的模型參數加權平均得到所述第二全局模型參數。
12、可選的,所述基于各物聯(lián)網設備上傳的模型參數與所述第一全局模型參數的第一相似度,對各物聯(lián)網設備進行分組得到疑似中毒組與正常組,包括:
13、若所述第一相似度小于第一閾值,則確定上傳該模型參數的物聯(lián)網設備屬于所述物聯(lián)網設備疑似中毒組;
14、若所述第一相似度大于或等于第一閾值,則確定上傳該模型參數的物聯(lián)網設備屬于所述物聯(lián)網設備正常組。
15、可選的,所述基于物聯(lián)網設備疑似中毒組中各物聯(lián)網設備上傳的模型參數、所述第一全局模型參數以及所述第二全局模型參數,確定目標物聯(lián)網設備,包括:
16、針對所述疑似中毒組中每一物聯(lián)網設備,確定該物聯(lián)網設備上傳的模型參數與所述第一全局模型參數的第一相似度,以及,確定該物聯(lián)網設備上傳的模型參數與所述第二全局隱私模型的第二相似度;對所述第一相似度以及所述第二相似度進行指定運算處理得到運算結果,依據所述運算結果確定該物聯(lián)網設備是否為目標物聯(lián)網設備。
17、可選的,所述對所述第一相似度以及所述第二相似度進行指定運算處理包括:將所述第一相似度以及所述第二相似度歸一化處理;
18、依據所述運算結果確定該物聯(lián)網設備是否為目標物聯(lián)網設備包括:若歸一化處理結果為第一值,則確定上傳該模型參數的物聯(lián)網設備為目標物聯(lián)網設備,若歸一化處理結果不為第一值,則確定上傳該模型參數的物聯(lián)網設備不為目標物聯(lián)網設備。
19、可選的,所述將所述第一相似度以及所述第二相似度歸一化處理包括:
20、對所述第一相似度以及第二相似度進行加法運算,得到歸一化處理結果。
21、可選的,所述至少兩個網絡層包括:
22、所述神經網絡模型中被解耦的特征提取器以及第一分類器、第二分類器;
23、所述第一分類器與所述第二分類器被配置的損失函數不同;
24、所述本地的訓練數據是通過以下步驟得到:
25、將預設的原始數據先輸入至被解耦的特征提取器得到數據特征,以及將數據特征輸入至第一分類器得到第一分類結果、再將第一分類結果輸入至第二分類器得到;或者,
26、將已有的本地訓練數據先輸入至被解耦的特征提取器得到數據特征,以及將數據特征輸入至第一分類器得到第一分類結果、再將第一分類結果輸入至第二分類器得到。
27、可選的,所述第一分類器被配置的損失函數為基于小批量logit調整的交叉熵損失函數,所述第二分類器被配置的損失函數為交叉熵損失函數。
28、根據本技術第二方面的實施例,提出了一種基于相似性對齊聯(lián)邦學習的隱私檢測系統(tǒng),該系統(tǒng)包括:
29、服務端,用于執(zhí)行第一方面所述的方法;
30、多個物聯(lián)網設備,其中,任一物聯(lián)網設備用于基于本地訓練數據對本地模型進行訓練后得到的訓練后的模型的參數,并將所述訓練后的模型的參數上傳至所述服務端。
31、可選的,任一物聯(lián)網設備用于在接收到服務端下發(fā)的初始模型的情況下,將所述初始模型作為所述本地模型,執(zhí)行所述基于本地訓練數據對本地模型進行訓練后得到的訓練后的模型的參數的步驟;
32、任一物聯(lián)網設備在接收到服務端下發(fā)的模型校正參數以及訓練結束指示時,基于所述模型校正參數更新本地模型以得到目標隱私檢測模型;
33、任一物聯(lián)網設備在接收到服務端下發(fā)的模型校正參數以及訓練繼續(xù)指示時,基于所述模型校正參數更新本地模型并基于本地訓練數據對更新后的本地模型進行訓練以將訓練后的模型的參數上傳至所述服務端。
34、由以上技術方案可見,本技術通過對各物聯(lián)網設備本地訓練出的模型參數先對可能發(fā)生中毒的物聯(lián)網設備進行初步的篩選,進一步再利用篩選出的可能發(fā)生中毒的各物聯(lián)網設備上傳的模型參數確定出真正中毒的目標物聯(lián)網設備,將除中毒的目標物聯(lián)網設備之外的各未中毒的物聯(lián)網設備繼續(xù)進行聯(lián)邦學習以訓練全局模型,避免了中毒的目標物聯(lián)網設備對全局模型的訓練造成的影響,提高了最終訓練出的全局模型比如物聯(lián)網隱私檢測模型的精度。