国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      一種模型訓(xùn)練和業(yè)務(wù)執(zhí)行方法、裝置、存儲介質(zhì)及設(shè)備與流程

      文檔序號:40383332發(fā)布日期:2024-12-20 12:06閱讀:來源:國知局

      技術(shù)特征:

      1.一種模型訓(xùn)練方法,其特征在于,包括:

      2.如權(quán)利要求1所述的方法,其特征在于,在根據(jù)所述訓(xùn)練請求獲取樣本數(shù)據(jù)之前,所述方法還包括:

      3.如權(quán)利要求2所述的方法,其特征在于,所述目標模型的自注意力模塊包括:旋轉(zhuǎn)編碼模塊,鍵值重復(fù)模塊以及縮放點積注意力模塊,針對所述目標模型中的每個子層,該子層由輸出投影模塊,輸出層歸一化模塊,多層感知機模塊,輸入層歸一化模塊,查詢鍵值投影模塊,旋轉(zhuǎn)編碼模塊,鍵值重復(fù)模塊,縮放點積注意力模塊依次串聯(lián)構(gòu)成。

      4.如權(quán)利要求1所述的方法,其特征在于,根據(jù)預(yù)設(shè)的數(shù)據(jù)并行維度和序列并行維度將所述樣本數(shù)據(jù)切分為多個子樣本,并將各子樣本分配到不同的圖形處理器gpu上,具體包括:

      5.如權(quán)利要求4所述的方法,其特征在于,不同的第一計算組之間不進行數(shù)據(jù)通信,不同的第二計算組之間進行數(shù)據(jù)通信。

      6.如權(quán)利要求1所述的方法,其特征在于,在確定所述目標模型中的每一個子層所對應(yīng)的激活值并存儲之前,所述方法還包括:

      7.如權(quán)利要求1所述的方法,其特征在于,根據(jù)所述預(yù)測結(jié)果,確定所述目標模型的損失值,并根據(jù)所述損失值以及所述每個子層所對應(yīng)的激活值,對所述目標模型進行訓(xùn)練,具體包括:

      8.如權(quán)利要求7所述的方法,其特征在于,所述方法還包括:

      9.一種業(yè)務(wù)執(zhí)行方法,其特征在于,包括:

      10.一種模型訓(xùn)練裝置,其特征在于,包括:

      11.一種計算機可讀存儲介質(zhì),其特征在于,所述存儲介質(zhì)存儲有計算機程序,所述計算機程序被處理器執(zhí)行時實現(xiàn)上述權(quán)利要求1~9任一項所述的方法。

      12.一種電子設(shè)備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,其特征在于,所述處理器執(zhí)行所述程序時實現(xiàn)上述權(quán)利要求1~9任一項所述的方法。


      技術(shù)總結(jié)
      本說明書公開了一種模型訓(xùn)練和業(yè)務(wù)執(zhí)行方法、裝置、存儲介質(zhì)及設(shè)備。所述模型訓(xùn)練方法包括:根據(jù)預(yù)設(shè)的數(shù)據(jù)并行維度和序列并行維度將樣本數(shù)據(jù)切分為多個子樣本,并將各子樣本分配到不同的圖形處理器GPU上;針對每個GPU,在將分配到該GPU上的子樣本輸入部署在該GPU上的目標模型后,確定目標模型中的每一個子層所對應(yīng)的激活值并存儲,其中,針對每個子層,若該子層對應(yīng)的層級小于指定層級,則將該子層對應(yīng)的激活值存儲到中央處理器CPU中,并在該GPU中將該子層對應(yīng)的激活值進行刪除;確定目標模型的損失值,并根據(jù)損失值以及每個子層所對應(yīng)的激活值,對目標模型進行訓(xùn)練。本方案有效提高了模型的訓(xùn)練效率和GPU的利用率。

      技術(shù)研發(fā)人員:錢昊,鄒喬莎,楊建明,陳紅陽
      受保護的技術(shù)使用者:之江實驗室
      技術(shù)研發(fā)日:
      技術(shù)公布日:2024/12/19
      當前第2頁1 2 
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評論。精彩留言會獲得點贊!
      1