1.一種多模態(tài)大模型的訓(xùn)練方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,該方法進(jìn)一步包括:預(yù)先基于通用lmm,利用基于所述原始多模態(tài)數(shù)據(jù)確定的圖像標(biāo)簽種子訓(xùn)練數(shù)據(jù)、指令標(biāo)簽種子訓(xùn)練數(shù)據(jù)和答案評級標(biāo)簽種子訓(xùn)練數(shù)據(jù),訓(xùn)練生成所述標(biāo)簽專家lmm;
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述標(biāo)簽評級為所述選擇出的數(shù)據(jù)樣本中答案所屬的各個標(biāo)簽的標(biāo)簽分級,該方法進(jìn)一步包括:基于所述各個標(biāo)簽的標(biāo)簽分級確定綜合標(biāo)簽分級;或者,所述答案評級標(biāo)簽包括基于所述選擇出的數(shù)據(jù)樣本中答案所屬的各個標(biāo)簽的標(biāo)簽分級確定的綜合標(biāo)簽分級;
4.根據(jù)權(quán)利要求1、2或3所述的方法,其特征在于,所述從所述過濾數(shù)據(jù)集中選擇數(shù)據(jù)樣本作為采樣數(shù)據(jù),包括:
5.根據(jù)權(quán)利要求1、2或3所述的方法,其特征在于,所述從所述過濾數(shù)據(jù)集中選擇數(shù)據(jù)樣本作為采樣數(shù)據(jù),包括:
6.根據(jù)權(quán)利要求1、2或3所述的方法,其特征在于,所述從所述過濾數(shù)據(jù)集中選擇數(shù)據(jù)樣本作為采樣數(shù)據(jù),包括:
7.根據(jù)權(quán)利要求2所述的方法,其特征在于,該方法進(jìn)一步包括:利用訓(xùn)練好的多模態(tài)模型,進(jìn)一步訓(xùn)練所述標(biāo)簽專家lmm;和/或,
8.一種多模態(tài)模型的訓(xùn)練裝置,其特征在于,該裝置包括:標(biāo)簽預(yù)測單元、數(shù)據(jù)過濾單元、數(shù)據(jù)采樣單元和多模態(tài)模型訓(xùn)練單元;
9.根據(jù)權(quán)利要求8所述的裝置,其特征在于,該裝置進(jìn)一步包括標(biāo)簽專家訓(xùn)練單元,用于預(yù)先基于通用lmm,利用基于所述原始多模態(tài)數(shù)據(jù)確定的圖像標(biāo)簽種子訓(xùn)練數(shù)據(jù)、指令標(biāo)簽種子訓(xùn)練數(shù)據(jù)和答案評級標(biāo)簽種子訓(xùn)練數(shù)據(jù),訓(xùn)練生成所述標(biāo)簽專家lmm;
10.根據(jù)權(quán)利要求9所述的裝置,其特征在于,所述標(biāo)簽評級為所述選擇出的數(shù)據(jù)樣本中答案所屬的各個標(biāo)簽的標(biāo)簽分級,所述標(biāo)簽專家訓(xùn)練單元,進(jìn)一步用于基于所述各個標(biāo)簽的標(biāo)簽分級確定綜合標(biāo)簽分級;或者,所述答案評級標(biāo)簽為基于所述選擇出的數(shù)據(jù)樣本中答案所屬的各個標(biāo)簽的標(biāo)簽分級確定的綜合標(biāo)簽分級;
11.根據(jù)權(quán)利要求8、9或10所述的裝置,其特征在于,在所述數(shù)據(jù)采樣單元中,所述從所述過濾數(shù)據(jù)集中選擇數(shù)據(jù)樣本作為采樣數(shù)據(jù),包括:
12.根據(jù)權(quán)利要求8、9或10所述的裝置,其特征在于,在所述數(shù)據(jù)采樣單元中,所述從所述過濾數(shù)據(jù)集中選擇數(shù)據(jù)樣本作為采樣數(shù)據(jù),包括:
13.根據(jù)權(quán)利要求8、9或10所述的裝置,其特征在于,在所述數(shù)據(jù)采樣單元中,所述從所述過濾數(shù)據(jù)集中選擇數(shù)據(jù)樣本作為采樣數(shù)據(jù),包括:
14.根據(jù)權(quán)利要求9所述的裝置,其特征在于,所述標(biāo)簽專家訓(xùn)練單元,用于利用訓(xùn)練好的多模態(tài)模型,進(jìn)一步訓(xùn)練所述標(biāo)簽專家lmm;和/或,
15.一種計算機可讀存儲介質(zhì),其上存儲有計算機指令,其特征在于,所述指令被處理器執(zhí)行時可實現(xiàn)權(quán)利要求1~7任一項所述的多模態(tài)模型訓(xùn)練方法。
16.一種電子設(shè)備,其特征在于,該電子設(shè)備至少包括計算機可讀存儲介質(zhì),還包括處理器;