本發(fā)明涉及端邊云協(xié)同，尤其涉及端邊云協(xié)同智能系統(tǒng)中的自適應(yīng)資源優(yōu)化與模型泛化方法。

背景技術(shù)：

1、在當(dāng)代智能系統(tǒng)快速發(fā)展的背景下，端邊云協(xié)同架構(gòu)已成為應(yīng)對(duì)大規(guī)模數(shù)據(jù)處理和復(fù)雜決策制定的重要途徑。在這一架構(gòu)中，端設(shè)備承擔(dān)著數(shù)據(jù)的初步采集與預(yù)處理任務(wù)，邊緣節(jié)點(diǎn)提供快速的決策支持，而云端則承擔(dān)著執(zhí)行高階數(shù)據(jù)分析與模型訓(xùn)練的角色。盡管如此，端邊云協(xié)同系統(tǒng)在處理非獨(dú)立同分布數(shù)據(jù)、資源分配不均衡以及模型泛化能力不足等問題時(shí)，仍然面臨諸多挑戰(zhàn)，特別是在資源受限和數(shù)據(jù)高度多樣化的應(yīng)用環(huán)境中。

2、邊緣節(jié)點(diǎn)雖然在提供近端計(jì)算和決策支持方面具有優(yōu)勢(shì)，但在資源配置和作業(yè)調(diào)度方面存在局限。傳統(tǒng)的資源配置策略通常缺乏靈活性，無法適應(yīng)實(shí)時(shí)數(shù)據(jù)特性和網(wǎng)絡(luò)狀態(tài)的快速變化，導(dǎo)致資源分配效率低下和作業(yè)調(diào)度的次優(yōu)性。此外，云端中心在執(zhí)行數(shù)據(jù)分析和模型訓(xùn)練時(shí)，現(xiàn)有技術(shù)未能充分利用端邊云的協(xié)同計(jì)算資源，這不僅影響了訓(xùn)練效率，也限制了模型的泛化潛力。同時(shí)，云端中心在處理端設(shè)備和邊緣節(jié)點(diǎn)的數(shù)據(jù)時(shí)，也面臨著適應(yīng)數(shù)據(jù)分布差異的挑戰(zhàn)，這阻礙了有效的知識(shí)遷移和模型優(yōu)化。此外，隨著數(shù)據(jù)的流通與共享，如何在確保數(shù)據(jù)隱私的前提下，實(shí)現(xiàn)數(shù)據(jù)的高效利用和智能決策，是技術(shù)發(fā)展中亟待解決的問題。

3、針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提出了一種端邊云協(xié)同智能系統(tǒng)中的自適應(yīng)資源優(yōu)化與模型泛化新方法。該方法通過以下三個(gè)關(guān)鍵技術(shù)實(shí)現(xiàn)：動(dòng)態(tài)數(shù)據(jù)感知與模型自適應(yīng)調(diào)整、預(yù)測(cè)性作業(yè)調(diào)度以應(yīng)對(duì)資源不確定性，以及端邊云協(xié)同的知識(shí)蒸餾與模型優(yōu)化。這些技術(shù)的整合應(yīng)用，旨在優(yōu)化資源分配，提升模型泛化能力，從而提高系統(tǒng)的數(shù)據(jù)處理效率、資源配置的公平性，以及智能決策的準(zhǔn)確性。本發(fā)明方法不僅適用于智慧城市、智能制造、智能交通等多個(gè)智能領(lǐng)域，而且具有顯著的社會(huì)價(jià)值和廣闊的應(yīng)用前景。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問題，本發(fā)明提出端邊云協(xié)同智能系統(tǒng)中的自適應(yīng)資源優(yōu)化與模型泛化方法。在所述方法中能夠優(yōu)化資源分配，提升模型泛化能力，從而提高系統(tǒng)的數(shù)據(jù)處理效率、資源配置的公平性，以及智能決策的準(zhǔn)確性。本發(fā)明方法不僅適用于智慧城市、智能制造、智能交通等多個(gè)智能領(lǐng)域，而且具有顯著的社會(huì)價(jià)值和廣闊的應(yīng)用前景。

2、為了達(dá)到上述目的，本發(fā)明的技術(shù)方案如下：

3、端邊云協(xié)同智能系統(tǒng)中的自適應(yīng)資源優(yōu)化與模型泛化方法，應(yīng)用于端邊云協(xié)同智能系統(tǒng)中，所述端邊云協(xié)同智能系統(tǒng)包括云服務(wù)器以及與云服務(wù)器連接的若干個(gè)邊緣節(jié)點(diǎn)，每個(gè)所述邊緣節(jié)點(diǎn)連接區(qū)域內(nèi)的若干個(gè)端設(shè)備，所述方法包括如下步驟：

4、端設(shè)備采集本地的環(huán)境數(shù)據(jù)和設(shè)備運(yùn)行參數(shù)，基于采集的數(shù)據(jù)對(duì)預(yù)設(shè)的本地模型進(jìn)行訓(xùn)練，獲得訓(xùn)練好的本地模型；構(gòu)建數(shù)字孿生模型，通過所述數(shù)字孿生模型來實(shí)現(xiàn)端邊云協(xié)同智能系統(tǒng)的實(shí)時(shí)數(shù)字映射，基于數(shù)字孿生模型實(shí)時(shí)監(jiān)測(cè)到的實(shí)時(shí)數(shù)據(jù)流，計(jì)算實(shí)時(shí)監(jiān)測(cè)到的實(shí)時(shí)數(shù)據(jù)流與預(yù)設(shè)的數(shù)據(jù)分布模型之間的統(tǒng)計(jì)距離，若統(tǒng)計(jì)距離大于預(yù)設(shè)值，則啟動(dòng)主動(dòng)樣本選擇機(jī)制從實(shí)時(shí)數(shù)據(jù)流中選擇出代表當(dāng)前數(shù)據(jù)分布特征的樣本，根據(jù)選擇的樣本和因果不變性學(xué)習(xí)機(jī)制對(duì)本地模型進(jìn)行優(yōu)化更新；以端設(shè)備的本地模型為教師模型，通過知識(shí)蒸餾技術(shù)從所述教師模型中提煉出關(guān)鍵表示，形成輕量級(jí)的端側(cè)學(xué)生模型；

5、邊緣節(jié)點(diǎn)對(duì)端設(shè)備發(fā)送的端側(cè)學(xué)生模型參數(shù)的增量變化進(jìn)行聚合和微調(diào)，形成邊緣側(cè)學(xué)生模型，且邊緣節(jié)點(diǎn)進(jìn)行資源狀態(tài)預(yù)測(cè)和作業(yè)調(diào)度；

6、云服務(wù)器收集和聚合來自各個(gè)邊緣節(jié)點(diǎn)的邊緣側(cè)學(xué)生模型并將提煉出的全局知識(shí)以參數(shù)更新的形式回傳到邊緣節(jié)點(diǎn)；邊緣節(jié)點(diǎn)將參數(shù)更新數(shù)據(jù)下發(fā)至端設(shè)備，更新端側(cè)學(xué)生模型，使得端側(cè)學(xué)生模型進(jìn)一步迭代，以適應(yīng)本地?cái)?shù)據(jù)特性。

7、優(yōu)選地，所述統(tǒng)計(jì)距離的計(jì)算公式如下：

8、

9、其中，dstat表示統(tǒng)計(jì)距離，dreal-time是實(shí)時(shí)數(shù)據(jù)流的分布，dpreset是預(yù)設(shè)的數(shù)據(jù)分布模型，pi和qi分別是兩個(gè)分布中第i個(gè)事件的概率，

10、啟動(dòng)主動(dòng)樣本選擇機(jī)制從實(shí)時(shí)數(shù)據(jù)流中選擇出代表當(dāng)前數(shù)據(jù)分布特征的樣本，其樣本選擇的數(shù)學(xué)表達(dá)如下：

11、

12、其中，xselect是被選擇的樣本，g(x)是樣本的適應(yīng)性函數(shù)，w(x)是樣本的權(quán)重函數(shù)，其與樣本在數(shù)據(jù)流中的出現(xiàn)概率成反比。

13、優(yōu)選地，根據(jù)選擇的樣本和因果不變性學(xué)習(xí)機(jī)制對(duì)本地模型進(jìn)行優(yōu)化更新，具體包括如下步驟：

14、因果不變性學(xué)習(xí)的優(yōu)化目標(biāo)可表示為：

15、

16、其中，θ是本地模型參數(shù)，fθ(x)是本地模型的預(yù)測(cè)輸出，y是真實(shí)標(biāo)簽，是損失函數(shù)，λ是正則化系數(shù)，是互信息，用于衡量從輸入數(shù)據(jù)x中提取的特征表示φ(x)與因果變量y之間的相互依賴性，

17、優(yōu)化的目標(biāo)是在保持模型對(duì)當(dāng)前數(shù)據(jù)分布適應(yīng)性的同時(shí)，最小化對(duì)未來數(shù)據(jù)分布變化的敏感度，本地模型更新的過程可表示為：

18、

19、其中，θnew是更新后的模型參數(shù)，θold是當(dāng)前模型參數(shù)，η是學(xué)習(xí)率，表示對(duì)模型參數(shù)θ的梯度。

20、優(yōu)選地，邊緣節(jié)點(diǎn)進(jìn)行資源狀態(tài)預(yù)測(cè)和作業(yè)調(diào)度，具體包括如下步驟：

21、邊緣節(jié)點(diǎn)構(gòu)建預(yù)測(cè)模型并預(yù)收集端設(shè)備發(fā)送的作業(yè)請(qǐng)求，所述預(yù)測(cè)模型用于預(yù)測(cè)未來一段時(shí)間內(nèi)端邊云協(xié)同智能系統(tǒng)中資源的使用情況和作業(yè)的到達(dá)情況；

22、根據(jù)預(yù)測(cè)模型的輸出結(jié)果和作業(yè)請(qǐng)求的集合采用貝葉斯優(yōu)化和貪心構(gòu)造算法，動(dòng)態(tài)調(diào)整作業(yè)的優(yōu)先級(jí)和資源的分配。

23、優(yōu)選地，所述根據(jù)預(yù)測(cè)模型的輸出結(jié)果和作業(yè)請(qǐng)求的集合采用貝葉斯優(yōu)化和貪心構(gòu)造算法，動(dòng)態(tài)調(diào)整作業(yè)的優(yōu)先級(jí)和資源的分配，具體包括如下步驟：

24、構(gòu)建策略目標(biāo)，公式如下：

25、

26、

27、其中，sj是作業(yè)j的調(diào)度時(shí)間，cj(sj)是作業(yè)j的完成時(shí)間，dj(sj)是作業(yè)j的延遲成本，α是延遲成本權(quán)重，s是所有可能的調(diào)度時(shí)間集合，r(sj)是作業(yè)j在調(diào)度時(shí)間sj所需的資源量；

28、采用貝葉斯優(yōu)化優(yōu)化作業(yè)調(diào)度策略中的參數(shù)，確定最優(yōu)的調(diào)度策略，公式如下：

29、

30、其中，θ是參數(shù)，是參數(shù)θ的信息增益，是參數(shù)θ的損失函數(shù)，α和β是調(diào)節(jié)信息增益和損失函數(shù)權(quán)重的參數(shù)；

31、基于確定的最優(yōu)的調(diào)度策略動(dòng)態(tài)調(diào)整作業(yè)的優(yōu)先級(jí)和資源的分配，公式如下：

32、pt+1＝g(pt,rt,jt)??(9)

33、其中，pt是在時(shí)間t的作業(yè)優(yōu)先級(jí)分配，rt是在時(shí)間t的資源狀態(tài)，jt是在時(shí)間t的作業(yè)請(qǐng)求集合，g是動(dòng)態(tài)調(diào)整函數(shù)。

34、優(yōu)選地，以端設(shè)備的本地模型為教師模型，通過知識(shí)蒸餾技術(shù)從所述教師模型中提煉出關(guān)鍵表示，形成輕量級(jí)的端側(cè)學(xué)生模型，其端設(shè)備蒸餾損失函數(shù)如下所示：

35、

36、其中，是端設(shè)備蒸餾損失函數(shù)，是交叉熵?fù)p失，y是真實(shí)標(biāo)簽，是學(xué)生模型的預(yù)測(cè)，αkl是蒸餾損失的權(quán)重，是kl散度損失，p't是教師模型的預(yù)測(cè)分布，p's是學(xué)生模型的預(yù)測(cè)分布；

37、邊緣節(jié)點(diǎn)上的損失函數(shù)如下所示：

38、

39、其中，是邊緣節(jié)點(diǎn)上的損失函數(shù)，βreg是正則化項(xiàng)的權(quán)重，是正則化損失，用于防止模型過擬合；

40、云服務(wù)器的損失函數(shù)如下所示：

41、

42、其中，是云端服務(wù)器的損失函數(shù)，n是邊緣節(jié)點(diǎn)的數(shù)量，是第i個(gè)邊緣節(jié)點(diǎn)模型的權(quán)重，是第i個(gè)邊緣節(jié)點(diǎn)模型的損失函數(shù)，γ是多樣性損失的權(quán)重，是多樣性損失，用于鼓勵(lì)不同模型之間的多樣性；

43、端邊云協(xié)同智能系統(tǒng)的總損失函數(shù)如下所示：

44、

45、其中，是整個(gè)系統(tǒng)的總損失函數(shù)，δ是通信損失的權(quán)重，是通信損失，用于衡量模型在端邊云之間的傳輸過程中的信息損失。

46、優(yōu)選地，還包括如下步驟：端側(cè)學(xué)生模型和邊緣側(cè)學(xué)生模型在蒸餾訓(xùn)練階段采用多分支網(wǎng)絡(luò)結(jié)構(gòu)和隨機(jī)增強(qiáng)輸入來提升訓(xùn)練效率，具體如下：

47、所述多分支網(wǎng)絡(luò)結(jié)構(gòu)可表示為：

48、

49、其中，是最終預(yù)測(cè)，fh(·)是第h個(gè)分支的模型，是經(jīng)過隨機(jī)增強(qiáng)的輸入數(shù)據(jù)，eh是增強(qiáng)參數(shù)，m是分支數(shù)量，φ(·)是聚合函數(shù)；

50、端側(cè)學(xué)生模型和邊緣側(cè)學(xué)生模型在訓(xùn)練過程中對(duì)輸入數(shù)據(jù)應(yīng)用隨機(jī)變換、隨機(jī)旋轉(zhuǎn)、隨機(jī)縮放操作。

51、優(yōu)選地，還包括引入時(shí)間均值模型，通過時(shí)間均值模型在訓(xùn)練過程中不斷更新端側(cè)學(xué)生模型參數(shù)的指數(shù)移動(dòng)平均值，公式如下：

52、θk+1＝αtmm·θk+(1-αtmm)·θcurrent??(12)

53、其中，θk+1是下一個(gè)時(shí)間步的學(xué)生模型參數(shù)，θk是當(dāng)前時(shí)間步的參數(shù)，θcurrent是當(dāng)前訓(xùn)練步驟中模型參數(shù)的更新值，αtmm是一個(gè)介于0和1之間的平滑系數(shù)，決定了新參數(shù)值中歷史參數(shù)值的影響程度，αtmm越接近1，參數(shù)更新越平滑。

54、基于上述技術(shù)方案，本發(fā)明的有益效果是：

55、1)提升模型泛化性能：本發(fā)明通過自適應(yīng)數(shù)據(jù)分布感知與主動(dòng)模型適應(yīng)技術(shù)，能夠針對(duì)實(shí)時(shí)變化的數(shù)據(jù)分布動(dòng)態(tài)調(diào)整模型訓(xùn)練策略。與傳統(tǒng)的端邊云協(xié)同學(xué)習(xí)方法相比，本發(fā)明在非獨(dú)立同分布數(shù)據(jù)環(huán)境下，通過主動(dòng)樣本選擇和因果不變學(xué)習(xí)，顯著提升了模型的泛化能力。實(shí)驗(yàn)結(jié)果表明，在cifar-10數(shù)據(jù)集上，本發(fā)明方法比現(xiàn)有技術(shù)fedavg提高了約2.1％的準(zhǔn)確率。

56、2)優(yōu)化資源調(diào)度效率：本發(fā)明的資源不確定性下的預(yù)測(cè)性作業(yè)調(diào)度方法，采用預(yù)測(cè)及優(yōu)化框架，有效應(yīng)對(duì)了云資源的不確定性。通過貝葉斯優(yōu)化和貪心構(gòu)造算法，實(shí)現(xiàn)了作業(yè)的高效調(diào)度，保證了系統(tǒng)的高可靠性。

57、3)降低通信開銷：本發(fā)明的在線集成與網(wǎng)絡(luò)協(xié)作融合的知識(shí)蒸餾技術(shù)，通過在端設(shè)備和邊緣節(jié)點(diǎn)上應(yīng)用知識(shí)蒸餾，生成輕量級(jí)模型，并在云端進(jìn)行全局優(yōu)化，減少了模型參數(shù)的傳輸數(shù)量。

58、4)保護(hù)數(shù)據(jù)隱私：本發(fā)明在端設(shè)備上進(jìn)行數(shù)據(jù)預(yù)處理和初步模型訓(xùn)練，減少了原始數(shù)據(jù)的傳輸，降低了數(shù)據(jù)泄露風(fēng)險(xiǎn)。同時(shí)，通過數(shù)字孿生技術(shù)構(gòu)建的虛擬映射，進(jìn)一步確保了數(shù)據(jù)的安全性。

59、5)增強(qiáng)系統(tǒng)適應(yīng)性：本發(fā)明方法通過實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)分布和系統(tǒng)狀態(tài)，快速響應(yīng)環(huán)境變化，有效適應(yīng)了數(shù)據(jù)分布的動(dòng)態(tài)變化和通信環(huán)境的波動(dòng)。在面對(duì)數(shù)據(jù)分布的快速變化時(shí)，本發(fā)明方法能夠快速適應(yīng)新的數(shù)據(jù)分布，保持或甚至提升模型性能。

60、6)提高模型訓(xùn)練效率：本發(fā)明的端邊云協(xié)同知識(shí)蒸餾機(jī)制，通過多分支網(wǎng)絡(luò)結(jié)構(gòu)和隨機(jī)增強(qiáng)輸入，促進(jìn)了端邊云之間的知識(shí)遷移，可實(shí)現(xiàn)了模型的協(xié)同進(jìn)化。

61、7)降低標(biāo)注成本：本發(fā)明通過主動(dòng)樣本選擇機(jī)制，能夠在有限的標(biāo)注數(shù)據(jù)下，更高效地利用數(shù)據(jù)資源，減少了對(duì)大量標(biāo)注數(shù)據(jù)的依賴。

62、8)數(shù)據(jù)隱私保護(hù)：本發(fā)明在端設(shè)備上進(jìn)行數(shù)據(jù)預(yù)處理和初步模型訓(xùn)練，減少了原始數(shù)據(jù)的傳輸，從而更好地保護(hù)了數(shù)據(jù)隱私。