国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法

      文檔序號(hào):40389174發(fā)布日期:2024-12-20 12:12閱讀:來源:國知局

      技術(shù)特征:

      1.一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,其特征在于,包括:

      2.如權(quán)利要求1所述的一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,其特征在于,s100中,獲取開源大模型底座,具體方法包括:從開源網(wǎng)站選取多個(gè)通用領(lǐng)域的國產(chǎn)開源大模型底座,所述大模型底座參數(shù)量設(shè)定為10-100b級(jí)。

      3.如權(quán)利要求2所述的一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,其特征在于,所述開源大模型底座,至少包括glm4-9b、chatglm3-6b、qwen2-72b、qwen2-1.5b、baichuan13b-base和baichuan13b-chat。

      4.如權(quán)利要求1所述的一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,其特征在于,s200中,采用大模型訓(xùn)練和微調(diào)平臺(tái)llama-factory,所述大模型訓(xùn)練和微調(diào)平臺(tái)能夠全程無代碼地進(jìn)行大模型微調(diào)工作,能夠支持huggingface上的主流開源大模型的訓(xùn)練,在微調(diào)訓(xùn)練策略上支持freezing-tuning、galora、lora、dora多種高效訓(xùn)練方法;所述大模型庫中包括chat?gl?m3-6b、glm4-9b、qwen2-1.5b、qwen2-72b、baichuan13b-chat、baichuan13b-base大模型底座。

      5.如權(quán)利要求1所述的一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,其特征在于,s300中,各軍事單位從云端服務(wù)器上下載安裝相應(yīng)的大模型訓(xùn)練和微調(diào)平臺(tái),根據(jù)自身單位算力情況選擇不同參數(shù)量的大模型底座,具體方法包括:各軍事單位根據(jù)自身需求向云端服務(wù)器發(fā)送下載請(qǐng)求,云端服務(wù)器根據(jù)各軍事單位根據(jù)算計(jì)條件推薦相應(yīng)參數(shù)量和運(yùn)行配置的大模型底座,然后各軍事單位會(huì)連同大模型訓(xùn)練和微調(diào)平臺(tái)與底座的模型權(quán)重一起從云端下載至本地。

      6.如權(quán)利要求1所述的一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,其特征在于,s400中,各軍事單位按照大模型微調(diào)所需的數(shù)據(jù)格式對(duì)本地的數(shù)據(jù)進(jìn)行標(biāo)注轉(zhuǎn)換,基于選取的大模型底座,對(duì)本地?cái)?shù)據(jù)庫中的軍事數(shù)據(jù)進(jìn)行離線訓(xùn)練和模型微調(diào),訓(xùn)練完成后將模型微調(diào)參數(shù)權(quán)重獨(dú)立封裝,并完成與底座大模型對(duì)應(yīng)關(guān)系的標(biāo)注,回傳至軍隊(duì)內(nèi)部網(wǎng)絡(luò)的云端服務(wù)器;具體方法包括:獲取各軍事單位的本地的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù),所述數(shù)據(jù)包括網(wǎng)絡(luò)安全和通信運(yùn)維領(lǐng)域的高質(zhì)量數(shù)據(jù),所述數(shù)據(jù)經(jīng)過標(biāo)注后得到微調(diào)數(shù)據(jù)集,在大模型訓(xùn)練和微調(diào)平臺(tái)llama-factory上基于chatglm3-6b底座采用lora策略進(jìn)行高效訓(xùn)練微調(diào),最終得到lora的權(quán)重參數(shù),對(duì)所述權(quán)重參數(shù)進(jìn)行封裝處理后即回傳至云端服務(wù)器,此過程中各軍事單位的涉密數(shù)據(jù)從始至終存儲(chǔ)在其本地。

      7.如權(quán)利要求6所述的一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,其特征在于,在大模型訓(xùn)練和微調(diào)平臺(tái)llama-factory上基于chatglm3-6b底座采用lora策略進(jìn)行高效訓(xùn)練微調(diào),最終得到lora的權(quán)重參數(shù),具體方法包括:

      8.如權(quán)利要求1所述的一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,其特征在于,s500中,云端服務(wù)器根據(jù)各單位回傳的模型參數(shù)權(quán)重,重新整合擬定全量大模型參數(shù),具體方法包括:將各軍事單位進(jìn)行分類,至少分為陸軍單位、海軍單位、空軍單位、天軍單位和網(wǎng)軍單位;根據(jù)分類單位分別生成陸軍分域模型、海軍分域模型、空軍分域模型、天軍分域模型和網(wǎng)軍分域模型,通過開源大模型底座將陸軍分域模型、海軍分域模型、空軍分域模型、天軍分域模型和網(wǎng)軍分域模型進(jìn)行掛載,整合擬定全量大模型參數(shù)。

      9.一種電子設(shè)備,其特征在于,包括:


      技術(shù)總結(jié)
      一種低算力條件下的軍事領(lǐng)域大模型分布式訓(xùn)練的方法,包括:獲取開源大模型底座;在云端服務(wù)器上部署大模型的訓(xùn)練和微調(diào)平臺(tái);各軍事單位從云端服務(wù)器上下載安裝相應(yīng)的大模型訓(xùn)練和微調(diào)平臺(tái),根據(jù)自身單位算力選擇不同參數(shù)的大模型底座;各軍事單位按照大模型微調(diào)所需的數(shù)據(jù)格式對(duì)本地的數(shù)據(jù)進(jìn)行標(biāo)注轉(zhuǎn)換,對(duì)本地?cái)?shù)據(jù)庫中的軍事數(shù)據(jù)進(jìn)行離線訓(xùn)練和模型微調(diào),完成與底座大模型對(duì)應(yīng)關(guān)系的標(biāo)注;云端服務(wù)器重新整合擬定全量大模型參數(shù);按權(quán)限審批下發(fā)整合后的全量大模型,為各軍事單位提供知識(shí)服務(wù)。本發(fā)明可降低大模型訓(xùn)練硬件要求,增強(qiáng)軍事數(shù)據(jù)管控安全性,提高軍事數(shù)據(jù)處理針對(duì)性,為加速軍事領(lǐng)域大模型落地應(yīng)用提供理論和實(shí)踐參考。

      技術(shù)研發(fā)人員:陶宇,楊若鵬,魯義威,殷昌盛,石永琪,王博,羅德祥,董東,鄧邦鵬
      受保護(hù)的技術(shù)使用者:中國人民解放軍國防科技大學(xué)
      技術(shù)研發(fā)日:
      技術(shù)公布日:2024/12/19
      當(dāng)前第2頁1 2 
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
      1