技術(shù)特征：

1.用于多任務(wù)大語言模型的數(shù)據(jù)整理方法，其特征在于，該方法包括以下步驟：

2.如權(quán)利要求1所述的用于多任務(wù)大語言模型的數(shù)據(jù)整理方法，其特征在于，所述每個(gè)樣本中各名詞的類別表達(dá)向量的確定方法為：

3.如權(quán)利要求1所述的用于多任務(wù)大語言模型的數(shù)據(jù)整理方法，其特征在于，所述每個(gè)名詞的類別特征相似度的確定方法為：

4.如權(quán)利要求2所述的用于多任務(wù)大語言模型的數(shù)據(jù)整理方法，其特征在于，所述每個(gè)樣本中各名詞在不同數(shù)據(jù)標(biāo)簽類別下的特征權(quán)重以及特征權(quán)重向量的確定方法為：

5.如權(quán)利要求4所述的用于多任務(wù)大語言模型的數(shù)據(jù)整理方法，其特征在于，所述每個(gè)樣本內(nèi)各名詞的任務(wù)數(shù)據(jù)可信度的確定方法為：

6.如權(quán)利要求4所述的用于多任務(wù)大語言模型的數(shù)據(jù)整理方法，其特征在于，所述每個(gè)樣本內(nèi)各名詞在各數(shù)據(jù)標(biāo)簽類別下的特征權(quán)重的表達(dá)式為：式中，wi,j(a)表示第i個(gè)樣本內(nèi)第j個(gè)名詞在第a種數(shù)據(jù)標(biāo)簽類別下的特征權(quán)重；表示第i個(gè)樣本內(nèi)第j個(gè)名詞的所有相同名詞中第x個(gè)相同名詞的任務(wù)數(shù)據(jù)可信度；表示第i個(gè)樣本內(nèi)第j個(gè)名詞的所有相同名詞中第x個(gè)相同名詞在第a種數(shù)據(jù)標(biāo)簽類別下的綜合類別強(qiáng)度；x表示第i個(gè)樣本內(nèi)第j個(gè)名詞的數(shù)量。

7.如權(quán)利要求1所述的用于多任務(wù)大語言模型的數(shù)據(jù)整理方法，其特征在于，所述每個(gè)樣本中每個(gè)名詞的重要性指數(shù)為每個(gè)樣本內(nèi)各名詞在所有數(shù)據(jù)標(biāo)簽類別下特征權(quán)重的和值及對(duì)應(yīng)名詞的詞頻-逆文文件頻率相乘結(jié)果的歸一化值。

8.如權(quán)利要求1所述的用于多任務(wù)大語言模型的數(shù)據(jù)整理方法，其特征在于，所述提取每個(gè)樣本中的關(guān)鍵詞的過程為：

9.如權(quán)利要求1所述的用于多任務(wù)大語言模型的數(shù)據(jù)整理方法，其特征在于，所述基于權(quán)重參數(shù)微調(diào)特定訓(xùn)練集訓(xùn)練的多任務(wù)大語言模型，包括：

10.用于多任務(wù)大語言模型的數(shù)據(jù)整理系統(tǒng)，包括內(nèi)存、處理器以及存儲(chǔ)在所述內(nèi)存中并在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-9任意一項(xiàng)所述用于多任務(wù)大語言模型的數(shù)據(jù)整理方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)涉及自然語言處理技術(shù)領(lǐng)域，具體涉及用于多任務(wù)大語言模型的數(shù)據(jù)整理方法及系統(tǒng)，該方法包括：獲取各任務(wù)的初始樣本集；將多任務(wù)劃分為情感顯著任務(wù)、情感非顯著任務(wù)兩類；確定任務(wù)中的數(shù)據(jù)標(biāo)簽類別；確定初始樣本集中樣本內(nèi)各名詞的類別表達(dá)向量；確定各名詞在數(shù)據(jù)標(biāo)簽類別下的特征權(quán)重；基于各名詞與其他名詞在所有數(shù)據(jù)標(biāo)簽類別下特征權(quán)重的相似度，結(jié)合重要性指數(shù)獲取樣本的特征向量；基于所述特征向量進(jìn)行樣本分類；利用通用訓(xùn)練集訓(xùn)練初始大語言模型，保存權(quán)重參數(shù)，基于權(quán)重參數(shù)微調(diào)特定訓(xùn)練集訓(xùn)練的模型，得到多任務(wù)大語言模型。本申請(qǐng)?jiān)诒Ａ舳嗳蝿?wù)類型處理能力的前提下，利用特定訓(xùn)練集得到針對(duì)不同任務(wù)的定制化大模型。

技術(shù)研發(fā)人員：封帆
受保護(hù)的技術(shù)使用者：深圳云啟時(shí)代科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19