国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      多模態(tài)大模型的訓(xùn)練方法、裝置、存儲介質(zhì)和電子設(shè)備與流程

      文檔序號:40405784發(fā)布日期:2024-12-20 12:29閱讀:來源:國知局

      技術(shù)特征:

      1.一種多模態(tài)大模型的訓(xùn)練方法,其特征在于,包括:

      2.根據(jù)權(quán)利要求1所述的方法,其特征在于,該方法進(jìn)一步包括:預(yù)先基于通用lmm,利用基于所述原始多模態(tài)數(shù)據(jù)確定的圖像標(biāo)簽種子訓(xùn)練數(shù)據(jù)、指令標(biāo)簽種子訓(xùn)練數(shù)據(jù)和答案評級標(biāo)簽種子訓(xùn)練數(shù)據(jù),訓(xùn)練生成所述標(biāo)簽專家lmm;

      3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述標(biāo)簽評級為所述選擇出的數(shù)據(jù)樣本中答案所屬的各個標(biāo)簽的標(biāo)簽分級,該方法進(jìn)一步包括:基于所述各個標(biāo)簽的標(biāo)簽分級確定綜合標(biāo)簽分級;或者,所述答案評級標(biāo)簽包括基于所述選擇出的數(shù)據(jù)樣本中答案所屬的各個標(biāo)簽的標(biāo)簽分級確定的綜合標(biāo)簽分級;

      4.根據(jù)權(quán)利要求1、2或3所述的方法,其特征在于,所述從所述過濾數(shù)據(jù)集中選擇數(shù)據(jù)樣本作為采樣數(shù)據(jù),包括:

      5.根據(jù)權(quán)利要求1、2或3所述的方法,其特征在于,所述從所述過濾數(shù)據(jù)集中選擇數(shù)據(jù)樣本作為采樣數(shù)據(jù),包括:

      6.根據(jù)權(quán)利要求1、2或3所述的方法,其特征在于,所述從所述過濾數(shù)據(jù)集中選擇數(shù)據(jù)樣本作為采樣數(shù)據(jù),包括:

      7.根據(jù)權(quán)利要求2所述的方法,其特征在于,該方法進(jìn)一步包括:利用訓(xùn)練好的多模態(tài)模型,進(jìn)一步訓(xùn)練所述標(biāo)簽專家lmm;和/或,

      8.一種多模態(tài)模型的訓(xùn)練裝置,其特征在于,該裝置包括:標(biāo)簽預(yù)測單元、數(shù)據(jù)過濾單元、數(shù)據(jù)采樣單元和多模態(tài)模型訓(xùn)練單元;

      9.根據(jù)權(quán)利要求8所述的裝置,其特征在于,該裝置進(jìn)一步包括標(biāo)簽專家訓(xùn)練單元,用于預(yù)先基于通用lmm,利用基于所述原始多模態(tài)數(shù)據(jù)確定的圖像標(biāo)簽種子訓(xùn)練數(shù)據(jù)、指令標(biāo)簽種子訓(xùn)練數(shù)據(jù)和答案評級標(biāo)簽種子訓(xùn)練數(shù)據(jù),訓(xùn)練生成所述標(biāo)簽專家lmm;

      10.根據(jù)權(quán)利要求9所述的裝置,其特征在于,所述標(biāo)簽評級為所述選擇出的數(shù)據(jù)樣本中答案所屬的各個標(biāo)簽的標(biāo)簽分級,所述標(biāo)簽專家訓(xùn)練單元,進(jìn)一步用于基于所述各個標(biāo)簽的標(biāo)簽分級確定綜合標(biāo)簽分級;或者,所述答案評級標(biāo)簽為基于所述選擇出的數(shù)據(jù)樣本中答案所屬的各個標(biāo)簽的標(biāo)簽分級確定的綜合標(biāo)簽分級;

      11.根據(jù)權(quán)利要求8、9或10所述的裝置,其特征在于,在所述數(shù)據(jù)采樣單元中,所述從所述過濾數(shù)據(jù)集中選擇數(shù)據(jù)樣本作為采樣數(shù)據(jù),包括:

      12.根據(jù)權(quán)利要求8、9或10所述的裝置,其特征在于,在所述數(shù)據(jù)采樣單元中,所述從所述過濾數(shù)據(jù)集中選擇數(shù)據(jù)樣本作為采樣數(shù)據(jù),包括:

      13.根據(jù)權(quán)利要求8、9或10所述的裝置,其特征在于,在所述數(shù)據(jù)采樣單元中,所述從所述過濾數(shù)據(jù)集中選擇數(shù)據(jù)樣本作為采樣數(shù)據(jù),包括:

      14.根據(jù)權(quán)利要求9所述的裝置,其特征在于,所述標(biāo)簽專家訓(xùn)練單元,用于利用訓(xùn)練好的多模態(tài)模型,進(jìn)一步訓(xùn)練所述標(biāo)簽專家lmm;和/或,

      15.一種計算機可讀存儲介質(zhì),其上存儲有計算機指令,其特征在于,所述指令被處理器執(zhí)行時可實現(xiàn)權(quán)利要求1~7任一項所述的多模態(tài)模型訓(xùn)練方法。

      16.一種電子設(shè)備,其特征在于,該電子設(shè)備至少包括計算機可讀存儲介質(zhì),還包括處理器;


      技術(shù)總結(jié)
      本申請公開了多模態(tài)大模型的訓(xùn)練方法、裝置、存儲介質(zhì)和電子設(shè)備,訓(xùn)練方法包括:利用預(yù)先訓(xùn)練的用于進(jìn)行標(biāo)簽標(biāo)注的標(biāo)簽專家LMM,對原始多模態(tài)訓(xùn)練數(shù)據(jù)預(yù)測標(biāo)簽;基于答案評級標(biāo)簽對原始多模態(tài)訓(xùn)練數(shù)據(jù)進(jìn)行過濾,得到過濾數(shù)據(jù)集;基于過濾數(shù)據(jù)集中的所有數(shù)據(jù)樣本的圖像標(biāo)簽和指令標(biāo)簽,從過濾數(shù)據(jù)集中選擇數(shù)據(jù)樣本作為采樣數(shù)據(jù),使基于所有采樣數(shù)據(jù)的圖像標(biāo)簽和指令標(biāo)簽確定的標(biāo)簽熵最大化;將采樣數(shù)據(jù)作為訓(xùn)練樣本進(jìn)行多模態(tài)大模型的訓(xùn)練。應(yīng)用本申請,能夠利用篩選后的訓(xùn)練數(shù)據(jù)進(jìn)行多模態(tài)大模型訓(xùn)練,并有效保證多模態(tài)大模型的性能。

      技術(shù)研發(fā)人員:鄭仕達(dá),王金,郭階添,譚文明,任燁
      受保護(hù)的技術(shù)使用者:杭州??低晹?shù)字技術(shù)股份有限公司
      技術(shù)研發(fā)日:
      技術(shù)公布日:2024/12/19
      當(dāng)前第2頁1 2 
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評論。精彩留言會獲得點贊!
      1