本發(fā)明涉及一種邊云環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理方法，屬于邊緣計算。

背景技術(shù)：

1、卷積神經(jīng)網(wǎng)絡(luò)（convolutional?neural?networks，簡稱cnn）模型是一種普遍應(yīng)用于計算機(jī)視覺領(lǐng)域的深度學(xué)習(xí)模型，已經(jīng)在圖像識別、目標(biāo)檢測、圖像生成和許多其他領(lǐng)域取得了顯著的進(jìn)展，成為計算機(jī)視覺和深度學(xué)習(xí)研究的重要組成部分。

2、傳統(tǒng)的cnn模型的執(zhí)行通常分為訓(xùn)練與推理兩個階段，訓(xùn)練階段是cnn模型學(xué)習(xí)從輸入數(shù)據(jù)中提取特征并做出準(zhǔn)確預(yù)測或分類的過程，通過大量已標(biāo)注的數(shù)據(jù)學(xué)習(xí)識別模式和特征，讓模型能夠從輸入數(shù)據(jù)中準(zhǔn)確地提取重要特征，并根據(jù)這些特征做出正確的預(yù)測或分類。而推理階段，由于cnn模型所需要計算量的龐大，傳統(tǒng)的架構(gòu)是以云為中心的范式，從而使得計算資源受限的邊緣設(shè)備能夠使用此類服務(wù)。大量的數(shù)據(jù)在邊緣設(shè)備中產(chǎn)生，通過網(wǎng)絡(luò)傳輸給性能強(qiáng)大的云服務(wù)器，在云服務(wù)器上進(jìn)行模型的推理，然后把推理的結(jié)果再回傳給邊緣設(shè)備，但是這種方法高度依賴于網(wǎng)絡(luò)環(huán)境且存在顯著的時延。例如，在自動駕駛領(lǐng)域，目前先進(jìn)的自動駕駛技術(shù)所使用的傳感器每秒鐘可以產(chǎn)生幾百到幾千兆比特的數(shù)據(jù)，然而廣泛使用的5g網(wǎng)絡(luò)的平均上行速率僅幾十mbps。在以云為中心的架構(gòu)下，不可避免地存在著網(wǎng)絡(luò)帶寬的負(fù)載問題，并且模型推理時延過長對于如自動駕駛、智能醫(yī)療設(shè)備等需要實(shí)時獲得響應(yīng)的應(yīng)用來說影響顯著。

3、近年來，邊云設(shè)備之間的協(xié)同推理方法被廣泛研究，例如，可以通過模型分割技術(shù)，將cnn模型根據(jù)邊緣設(shè)備和云設(shè)備的計算能力以及網(wǎng)絡(luò)帶寬分割為兩部分，然后部署在異構(gòu)的兩層設(shè)備上。對于常見的cnn模型，各層所需的計算量以及輸出數(shù)據(jù)的大小存在著顯著差異。模型的中間層的計算量要求較高，且相鄰層之間的計算量存在顯著差異，而后面層的輸出數(shù)據(jù)大小遠(yuǎn)小于前面層的輸出數(shù)據(jù)的大小?，F(xiàn)有技術(shù)采用模型分割方法并沒有考慮到算法實(shí)際應(yīng)用到計算資源受限的邊緣設(shè)備上，做出分割決策所需要的龐大計算量，使得當(dāng)模型層數(shù)較多結(jié)構(gòu)復(fù)雜時獲得分割決策的決策時間過長，限制了需要實(shí)時響應(yīng)服務(wù)的應(yīng)用。

4、另一種被廣泛研究的協(xié)同推理方法是模型壓縮，旨在通過模型壓縮技術(shù)減少模型的復(fù)雜性，并將壓縮后的完整模型部署在資源受限的端或邊緣設(shè)備上。目前廣泛使用的模型壓縮技術(shù)有：剪枝、量化、早期退出、知識蒸餾、低秩分解和稀疏表示等，然而現(xiàn)有技術(shù)中的模型壓縮關(guān)注于對整個模型的壓縮，會導(dǎo)致在資源有限的邊緣設(shè)備上帶來不可忽略的推理精度缺失，特別是對于結(jié)構(gòu)緊湊的cnn模型。此外，整個模型的壓縮推理加速可能需要專門設(shè)計的硬件支持，一般的邊緣設(shè)備難以滿足。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種邊云環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理方法，提高協(xié)同推理決策，優(yōu)化傳輸時延。

2、為達(dá)到上述目的，本發(fā)明所采用的技術(shù)方案是：

3、第一方面，本發(fā)明提供一種邊云環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理方法，基于由邊緣設(shè)備與云服務(wù)器構(gòu)成的邊-云協(xié)同推理系統(tǒng)，卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理方法包括：

4、獲取給定的訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型的模型結(jié)構(gòu)與數(shù)據(jù)流動方向，將卷積神經(jīng)網(wǎng)絡(luò)模型轉(zhuǎn)換為有向無環(huán)圖，并基于邊緣設(shè)備與云服務(wù)器協(xié)同推理時的時延模型，構(gòu)建邊-云協(xié)同推理系統(tǒng)的目標(biāo)函數(shù)與約束條件；

5、基于邊-云協(xié)同推理系統(tǒng)的目標(biāo)函數(shù)與約束條件，及最小割理論進(jìn)行分割決策時所需的相關(guān)數(shù)據(jù)，在邊-云協(xié)同推理系統(tǒng)執(zhí)行給定的卷積神經(jīng)網(wǎng)絡(luò)模型，獲得卷積神經(jīng)網(wǎng)絡(luò)模型在異構(gòu)設(shè)備上各層的執(zhí)行時延以及各層輸出數(shù)據(jù)；

6、基于卷積神經(jīng)網(wǎng)絡(luò)模型在異構(gòu)設(shè)備上各層的執(zhí)行時延以及各層輸出數(shù)據(jù)，對有向無環(huán)圖合并節(jié)點(diǎn)，獲得規(guī)模優(yōu)化后的有向無環(huán)圖；對卷積神經(jīng)網(wǎng)絡(luò)模型各層輸出數(shù)據(jù)進(jìn)行預(yù)量化，減少層間傳輸時延，在規(guī)模優(yōu)化后的有向無環(huán)圖基礎(chǔ)上，根據(jù)各層在異構(gòu)設(shè)備上的執(zhí)行時延以及預(yù)量化后的各層輸出數(shù)據(jù)的傳輸時延，構(gòu)建預(yù)量化后的時延圖；

7、基于最高標(biāo)號預(yù)推送算法，計算時延圖中源點(diǎn)到匯點(diǎn)的最小割，并對最小割集中的割點(diǎn)進(jìn)行實(shí)際模型壓縮，獲得給定卷積神經(jīng)網(wǎng)絡(luò)模型在異構(gòu)設(shè)備上協(xié)同推理決策。

8、結(jié)合第一方面，進(jìn)一步的，所述有向無環(huán)圖表示為：

9、 ，

10、式中， g表示根據(jù)給定的卷積神經(jīng)網(wǎng)絡(luò)模型的模型結(jié)構(gòu)與數(shù)據(jù)流動方向構(gòu)建的有向無環(huán)圖，，表示卷積神經(jīng)網(wǎng)絡(luò)模型的層，表示模型的各層；表示有數(shù)據(jù)依賴的層之間關(guān)系的集合，即有向無環(huán)圖中的邊，中的一個元素，表示層與層之間存在數(shù)據(jù)依賴，數(shù)據(jù)由層流向?qū)樱?

11、所述時延模型表示為：

12、，

13、式中，表示卷積神經(jīng)網(wǎng)絡(luò)模型在邊緣設(shè)備與云服務(wù)器上協(xié)同推理的總時延， t e表示卷積神經(jīng)網(wǎng)絡(luò)模型中部署在邊緣設(shè)備上的模型層的推理時延之和， t c表示需要傳輸數(shù)據(jù)層的傳輸數(shù)據(jù)總和的傳輸時延， t t表示卷積神經(jīng)網(wǎng)絡(luò)模型中部署在云服務(wù)器上的模型層的推理時延之和。

14、進(jìn)一步的，卷積神經(jīng)網(wǎng)絡(luò)模型中部署在邊緣設(shè)備上的模型層的推理時延之和表示為：

15、，

16、需要傳輸數(shù)據(jù)層的傳輸數(shù)據(jù)總和的傳輸時延表示為：

17、，

18、卷積神經(jīng)網(wǎng)絡(luò)模型中部署在云服務(wù)器上的模型層的推理時延之和表示為：

19、，

20、式中，表示卷積神經(jīng)網(wǎng)絡(luò)模型第層在邊緣設(shè)備上的推理時間， v i表示卷積神經(jīng)網(wǎng)絡(luò)模型中的模型層，表示卷積神經(jīng)網(wǎng)絡(luò)模型中需要部署在邊緣設(shè)備上的模型層；表示卷積神經(jīng)網(wǎng)絡(luò)模型第層在云服務(wù)器上的推理時間，表示卷積神經(jīng)網(wǎng)絡(luò)模型中需要部署在云服務(wù)器上的模型層；表示中需要傳輸數(shù)據(jù)到云服務(wù)器的層的集合，表示需要傳輸數(shù)據(jù)層的輸出數(shù)據(jù)大小，表示邊緣設(shè)備與云服務(wù)器之間的數(shù)據(jù)傳輸速率。

21、進(jìn)一步的，所述目標(biāo)函數(shù)為：

22、，

23、式中，表示卷積神經(jīng)網(wǎng)絡(luò)模型中需要部署在邊緣設(shè)備上的模型層，表示卷積神經(jīng)網(wǎng)絡(luò)模型中需要部署在云服務(wù)器上的模型層， argmin?t total表示能夠使得最小的，表示卷積神經(jīng)網(wǎng)絡(luò)模型在邊緣設(shè)備與云服務(wù)器上協(xié)同推理的總時延；

24、約束條件為：

25、，

26、，

27、式中， v表示卷積神經(jīng)網(wǎng)絡(luò)模型的所有層，對于給定卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理決策，需要在邊緣設(shè)備上進(jìn)行推理的模型層與需要在云設(shè)備上進(jìn)行推理的模型層的并集；表示需要部署在邊緣設(shè)備上的層與需要部署在云服務(wù)器上的層不能有重復(fù)的層。

28、進(jìn)一步的，獲得卷積神經(jīng)網(wǎng)絡(luò)模型在異構(gòu)設(shè)備上各層的執(zhí)行時延以及各層輸出數(shù)據(jù)，包括：

29、步驟s1：在卷積神經(jīng)網(wǎng)絡(luò)模型的各層上注冊鉤子，獲取鉤子在各層激活時執(zhí)行該層所需的時間與各層的輸出數(shù)據(jù)大小；

30、步驟s2：在邊緣設(shè)備和云服務(wù)器上，卷積神經(jīng)網(wǎng)絡(luò)模型多次執(zhí)行步驟s1，獲得卷積神經(jīng)網(wǎng)絡(luò)模型在異構(gòu)設(shè)備上各層的平均執(zhí)行該層所需的時間為執(zhí)行時延，以及各層的輸出數(shù)據(jù)。

31、進(jìn)一步的，構(gòu)建預(yù)量化后的時延圖，包括：

32、基于卷積神經(jīng)網(wǎng)絡(luò)模型在異構(gòu)設(shè)備上各層的執(zhí)行時延以及各層輸出數(shù)據(jù)，對有向無環(huán)圖合并連續(xù)的輸入數(shù)據(jù)大小相同的層，獲得規(guī)模優(yōu)化后的有向無環(huán)圖；

33、基于動態(tài)量化技術(shù)對卷積神經(jīng)網(wǎng)絡(luò)模型各層輸出數(shù)據(jù)進(jìn)行預(yù)量化，統(tǒng)計卷積神經(jīng)網(wǎng)絡(luò)模型各層預(yù)量化至int8位后輸出數(shù)據(jù)的大?。?/p>

34、基于卷積神經(jīng)網(wǎng)絡(luò)模型在異構(gòu)設(shè)備上各層的執(zhí)行時延以及各層輸出數(shù)據(jù)、規(guī)模優(yōu)化后有向無環(huán)圖以及各層預(yù)量化至int8位后輸出數(shù)據(jù)的大小，構(gòu)建預(yù)量化后的時延圖。

35、進(jìn)一步的，基于卷積神經(jīng)網(wǎng)絡(luò)模型在異構(gòu)設(shè)備上各層的執(zhí)行時延以及各層輸出數(shù)據(jù)、規(guī)模優(yōu)化后有向無環(huán)圖以及各層預(yù)量化至int8位后輸出數(shù)據(jù)的大小，構(gòu)建預(yù)量化后的時延圖，包括：

36、對規(guī)模優(yōu)化后的有向無環(huán)圖，添加特殊節(jié)點(diǎn)“”，“”和“”，分別代表時延圖的入口、出口點(diǎn)以及原始數(shù)據(jù)約束；

37、根據(jù)添加了特殊節(jié)點(diǎn)的有向無環(huán)圖中，遍歷所有除“”和“”之外的節(jié)點(diǎn)，設(shè)置或更新從“”到每個節(jié)點(diǎn)以及從每個節(jié)點(diǎn)到“”的邊的容量屬性，獲得設(shè)置了各層執(zhí)行時延的有向無環(huán)圖；

38、對于設(shè)置了各層執(zhí)行時延的有向無環(huán)圖中所有未設(shè)置capacity屬性的邊，根據(jù)上游節(jié)點(diǎn)的預(yù)量化后輸出數(shù)據(jù)和提供的帶寬計算傳輸時延；將傳輸時延分配為邊的容量，獲得設(shè)置了各層執(zhí)行時延與預(yù)量化后傳輸時延的有向無環(huán)圖；

39、在設(shè)置了各層執(zhí)行時延與預(yù)量化后傳輸時延的有向無環(huán)圖的基礎(chǔ)上，對具有多個后繼的特殊節(jié)點(diǎn)，去除當(dāng)前特殊節(jié)點(diǎn)連向后繼節(jié)點(diǎn)的邊，添加中間節(jié)點(diǎn)，連接當(dāng)前節(jié)點(diǎn)與中間節(jié)點(diǎn)，并把容量設(shè)置為當(dāng)前節(jié)點(diǎn)在網(wǎng)絡(luò)帶寬下的傳輸時延并預(yù)量化至int8水平；連接中間節(jié)點(diǎn)和當(dāng)前節(jié)點(diǎn)的后繼節(jié)點(diǎn)，設(shè)置邊的容量值為無窮大，獲得對特殊節(jié)點(diǎn)處理后的有向無環(huán)圖；

40、在對特殊節(jié)點(diǎn)處理后的有向無環(huán)圖基礎(chǔ)上，連接“”到“ o”、“ o”到“”和“ o”到計算的第一層的邊，獲得最終的時延圖。

41、進(jìn)一步的，所述特殊節(jié)點(diǎn)“”，“”和“”節(jié)點(diǎn)的時延和輸出大小設(shè)置為0；邊的容量屬性被設(shè)置為存儲在每個節(jié)點(diǎn)的層信息中的云端或邊緣時延值，“ e”到“ o”的無限容量表示進(jìn)入沒有約束，“ o”到“ c”的零容量表示沒有時延，以及“ o”到第一層的容量為r，模擬目標(biāo)約束。

42、進(jìn)一步的，獲得給定卷積神經(jīng)網(wǎng)絡(luò)模型在異構(gòu)設(shè)備上協(xié)同推理決策，包括：

43、基于最高標(biāo)號預(yù)推送算法，計算時延圖中源點(diǎn)到匯點(diǎn)的最大流，獲得包含最大流信息的殘余網(wǎng)絡(luò)；

44、基于殘余網(wǎng)絡(luò)，從源點(diǎn)出發(fā)遍歷所有可達(dá)的節(jié)點(diǎn)，識別出源點(diǎn)側(cè)的節(jié)點(diǎn)集合；

45、基于源點(diǎn)側(cè)的節(jié)點(diǎn)集合，獲得匯點(diǎn)側(cè)的節(jié)點(diǎn)集合；

46、根據(jù)殘余網(wǎng)絡(luò)中從到的所有邊，累加時延值，獲得當(dāng)前任務(wù)分配所能達(dá)到的最小總時延；

47、對于中需要傳輸數(shù)據(jù)到云服務(wù)器的模型層進(jìn)行動態(tài)量化，完成給定卷積神經(jīng)網(wǎng)絡(luò)模型在邊-云協(xié)同推理系統(tǒng)的全部流程。

48、第二方面，本發(fā)明提供一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，該計算機(jī)程序被處理器執(zhí)行時，實(shí)現(xiàn)上述任一所述的一種邊云環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理方法。

49、與現(xiàn)有技術(shù)相比，本發(fā)明所達(dá)到的有益效果：

50、本發(fā)明基于卷積神經(jīng)網(wǎng)絡(luò)模型在異構(gòu)設(shè)備上各層的執(zhí)行時延以及各層輸出數(shù)據(jù)，對有向無環(huán)圖合并節(jié)點(diǎn)，獲得規(guī)模優(yōu)化后的有向無環(huán)圖；在不改變模型結(jié)構(gòu)的前提下，優(yōu)化了由cnn模型轉(zhuǎn)化而來的原始模型圖的規(guī)模，顯著優(yōu)化了使用最小割對于基于該圖基礎(chǔ)上構(gòu)建的預(yù)量化后的時延圖獲得決策所需要的決策時間；

51、本發(fā)明對卷積神經(jīng)網(wǎng)絡(luò)模型各層輸出數(shù)據(jù)進(jìn)行預(yù)量化，減少層間傳輸時延，在規(guī)模優(yōu)化后的有向無環(huán)圖基礎(chǔ)上，根據(jù)各層在異構(gòu)設(shè)備上的執(zhí)行時延以及預(yù)量化后的各層輸出數(shù)據(jù)的傳輸時延，構(gòu)建時延圖；本發(fā)明通過引入模型量化技術(shù)，能夠充分利用異構(gòu)系統(tǒng)資源，使得決策算法不易傾向于單端執(zhí)行策略，且在維持模型精度的前提下，減少cnn模型分割后協(xié)同推理時的傳輸成本。