1.一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,其特征在于,包括:
2.如權(quán)利要求1所述的一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,其特征在于,s100中,獲取開源大模型底座,具體方法包括:從開源網(wǎng)站選取多個(gè)通用領(lǐng)域的國產(chǎn)開源大模型底座,所述大模型底座參數(shù)量設(shè)定為10-100b級(jí)。
3.如權(quán)利要求2所述的一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,其特征在于,所述開源大模型底座,至少包括glm4-9b、chatglm3-6b、qwen2-72b、qwen2-1.5b、baichuan13b-base和baichuan13b-chat。
4.如權(quán)利要求1所述的一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,其特征在于,s200中,采用大模型訓(xùn)練和微調(diào)平臺(tái)llama-factory,所述大模型訓(xùn)練和微調(diào)平臺(tái)能夠全程無代碼地進(jìn)行大模型微調(diào)工作,能夠支持huggingface上的主流開源大模型的訓(xùn)練,在微調(diào)訓(xùn)練策略上支持freezing-tuning、galora、lora、dora多種高效訓(xùn)練方法;所述大模型庫中包括chat?gl?m3-6b、glm4-9b、qwen2-1.5b、qwen2-72b、baichuan13b-chat、baichuan13b-base大模型底座。
5.如權(quán)利要求1所述的一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,其特征在于,s300中,各軍事單位從云端服務(wù)器上下載安裝相應(yīng)的大模型訓(xùn)練和微調(diào)平臺(tái),根據(jù)自身單位算力情況選擇不同參數(shù)量的大模型底座,具體方法包括:各軍事單位根據(jù)自身需求向云端服務(wù)器發(fā)送下載請(qǐng)求,云端服務(wù)器根據(jù)各軍事單位根據(jù)算計(jì)條件推薦相應(yīng)參數(shù)量和運(yùn)行配置的大模型底座,然后各軍事單位會(huì)連同大模型訓(xùn)練和微調(diào)平臺(tái)與底座的模型權(quán)重一起從云端下載至本地。
6.如權(quán)利要求1所述的一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,其特征在于,s400中,各軍事單位按照大模型微調(diào)所需的數(shù)據(jù)格式對(duì)本地的數(shù)據(jù)進(jìn)行標(biāo)注轉(zhuǎn)換,基于選取的大模型底座,對(duì)本地?cái)?shù)據(jù)庫中的軍事數(shù)據(jù)進(jìn)行離線訓(xùn)練和模型微調(diào),訓(xùn)練完成后將模型微調(diào)參數(shù)權(quán)重獨(dú)立封裝,并完成與底座大模型對(duì)應(yīng)關(guān)系的標(biāo)注,回傳至軍隊(duì)內(nèi)部網(wǎng)絡(luò)的云端服務(wù)器;具體方法包括:獲取各軍事單位的本地的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù),所述數(shù)據(jù)包括網(wǎng)絡(luò)安全和通信運(yùn)維領(lǐng)域的高質(zhì)量數(shù)據(jù),所述數(shù)據(jù)經(jīng)過標(biāo)注后得到微調(diào)數(shù)據(jù)集,在大模型訓(xùn)練和微調(diào)平臺(tái)llama-factory上基于chatglm3-6b底座采用lora策略進(jìn)行高效訓(xùn)練微調(diào),最終得到lora的權(quán)重參數(shù),對(duì)所述權(quán)重參數(shù)進(jìn)行封裝處理后即回傳至云端服務(wù)器,此過程中各軍事單位的涉密數(shù)據(jù)從始至終存儲(chǔ)在其本地。
7.如權(quán)利要求6所述的一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,其特征在于,在大模型訓(xùn)練和微調(diào)平臺(tái)llama-factory上基于chatglm3-6b底座采用lora策略進(jìn)行高效訓(xùn)練微調(diào),最終得到lora的權(quán)重參數(shù),具體方法包括:
8.如權(quán)利要求1所述的一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,其特征在于,s500中,云端服務(wù)器根據(jù)各單位回傳的模型參數(shù)權(quán)重,重新整合擬定全量大模型參數(shù),具體方法包括:將各軍事單位進(jìn)行分類,至少分為陸軍單位、海軍單位、空軍單位、天軍單位和網(wǎng)軍單位;根據(jù)分類單位分別生成陸軍分域模型、海軍分域模型、空軍分域模型、天軍分域模型和網(wǎng)軍分域模型,通過開源大模型底座將陸軍分域模型、海軍分域模型、空軍分域模型、天軍分域模型和網(wǎng)軍分域模型進(jìn)行掛載,整合擬定全量大模型參數(shù)。
9.一種電子設(shè)備,其特征在于,包括: