1.一種邊云環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理方法,其特征在于,基于由邊緣設(shè)備與云服務(wù)器構(gòu)成的邊-云協(xié)同推理系統(tǒng),卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理方法包括:
2.根據(jù)權(quán)利要求1所述的一種邊云環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理方法,其特征在于,所述有向無環(huán)圖表示為:
3.根據(jù)權(quán)利要求2所述的一種邊云環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理方法,其特征在于,卷積神經(jīng)網(wǎng)絡(luò)模型中部署在邊緣設(shè)備上的模型層的推理時(shí)延之和表示為:
4.根據(jù)權(quán)利要求1所述的一種邊云環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理方法,其特征在于,所述目標(biāo)函數(shù)為:
5.根據(jù)權(quán)利要求1所述的一種邊云環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理方法,其特征在于,獲得卷積神經(jīng)網(wǎng)絡(luò)模型在異構(gòu)設(shè)備上各層的執(zhí)行時(shí)延以及各層輸出數(shù)據(jù),包括:
6.根據(jù)權(quán)利要求1所述的一種邊云環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理方法,其特征在于,構(gòu)建預(yù)量化后的時(shí)延圖,包括:
7.根據(jù)權(quán)利要求6所述的一種邊云環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理方法,其特征在于,基于卷積神經(jīng)網(wǎng)絡(luò)模型在異構(gòu)設(shè)備上各層的執(zhí)行時(shí)延以及各層輸出數(shù)據(jù)、規(guī)模優(yōu)化后有向無環(huán)圖以及各層預(yù)量化至int8位后輸出數(shù)據(jù)的大小,構(gòu)建預(yù)量化后的時(shí)延圖,包括:
8.根據(jù)權(quán)利要求7所述的一種邊云環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理方法,其特征在于,所述特殊節(jié)點(diǎn)“”,“”和“”節(jié)點(diǎn)的時(shí)延和輸出大小設(shè)置為0;邊的容量屬性被設(shè)置為存儲(chǔ)在每個(gè)節(jié)點(diǎn)的層信息中的云端或邊緣時(shí)延值,“e”到“o”的無限容量表示進(jìn)入沒有約束,“o”到“c”的零容量表示沒有時(shí)延,以及“o”到第一層的容量為r,模擬目標(biāo)約束。
9.根據(jù)權(quán)利要求1所述的一種邊云環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理方法,其特征在于,獲得給定卷積神經(jīng)網(wǎng)絡(luò)模型在異構(gòu)設(shè)備上協(xié)同推理決策,包括:
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,其特征在于,該計(jì)算機(jī)程序被處理器執(zhí)行時(shí),實(shí)現(xiàn)如權(quán)利要求1-9中任一所述的一種邊云環(huán)境下卷積神經(jīng)網(wǎng)絡(luò)模型的協(xié)同推理方法。