1.一種基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,所述利用大語言模型對財(cái)經(jīng)新聞?wù)Z料進(jìn)行摘要得到情感感知摘要數(shù)據(jù)集,包括:
3.根據(jù)權(quán)利要求1所述的基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,所述利用財(cái)經(jīng)新聞?wù)Z料對bert模型進(jìn)行領(lǐng)域自適應(yīng)預(yù)訓(xùn)練,包括:
4.根據(jù)權(quán)利要求1所述的基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,雙向gru網(wǎng)絡(luò)包括正向gru和反向gru,預(yù)訓(xùn)練后的bert模型根據(jù)輸入的財(cái)經(jīng)新聞?wù)Z料輸出每個(gè)時(shí)刻的上下文向量,這些向量輸入到雙向gru網(wǎng)絡(luò)中,其中正向gru按順序讀取輸入的向量并生成時(shí)刻的正向隱藏狀態(tài),而反向gru按逆序讀取輸入的向量并生成反向隱藏狀態(tài),然后二者連接起來生成總時(shí)刻中的當(dāng)前時(shí)刻的雙向gru層輸出隱藏狀態(tài)。
5.根據(jù)權(quán)利要求4所述的基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,基于注意力機(jī)制的指針網(wǎng)絡(luò)包括gru循環(huán)神經(jīng)網(wǎng)絡(luò)、多頭注意力層和復(fù)制指針層,預(yù)訓(xùn)練后的bert模型將每個(gè)時(shí)刻的生成詞向量經(jīng)gru循環(huán)神經(jīng)網(wǎng)絡(luò)得到輸出時(shí)間步的隱藏狀態(tài),在多頭注意力層通過計(jì)算隱藏狀態(tài)和雙向gru網(wǎng)絡(luò)輸出隱藏狀態(tài)之間的相似度來獲得注意力得分并進(jìn)一步使用softmax函數(shù)將注意力得分轉(zhuǎn)化為標(biāo)準(zhǔn)化的注意力權(quán)重,在復(fù)制指針層通過計(jì)算每個(gè)向量對應(yīng)的注意力權(quán)重之和作為輸出時(shí)間步對上下文向量中位置的關(guān)注程度的概率,選擇最大概率值對應(yīng)的位置所指向的詞作為當(dāng)前時(shí)刻的預(yù)測詞用于構(gòu)建初步情緒語句,生成的初步情緒語句將繼續(xù)經(jīng)過bert模型輸出生成詞向量,通過逐詞生成得到最終摘要后的情緒語句。
6.根據(jù)權(quán)利要求1所述的基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,由大語言模型對情感感知摘要數(shù)據(jù)集中的情感句子的情感類別分析,以及由預(yù)訓(xùn)練后的bert模型對情感語句摘要任務(wù)模型輸出的情緒語句的情感類別分析,包括:
7.根據(jù)權(quán)利要求6所述的基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,情感類別包括消極、較消極、中性、較積極和積極。
8.根據(jù)權(quán)利要求6所述的基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,在利用大語言模型對預(yù)訓(xùn)練后的bert模型進(jìn)行知識(shí)蒸餾時(shí),采用的知識(shí)蒸餾總損失函數(shù)包括分類任務(wù)損失和蒸餾損失;
9.根據(jù)權(quán)利要求1所述的基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,在利用知識(shí)蒸餾后的bert模型對摘要得到的情緒語句進(jìn)行情感類別分析后,得到對每個(gè)情緒語句的情感類別的概率分布,通過對每個(gè)情感類別的概率賦予對應(yīng)的權(quán)重后進(jìn)行求和得到每個(gè)情緒語句情感得分,再將每個(gè)情緒語句情感得分進(jìn)行求和平均得到每篇財(cái)經(jīng)新聞?wù)Z料的情感得分,根據(jù)一段時(shí)間內(nèi)得到的財(cái)經(jīng)新聞?wù)Z料的情感得分繪制情緒指數(shù)曲線,能夠?qū)@段時(shí)間內(nèi)財(cái)經(jīng)新聞情感進(jìn)行動(dòng)態(tài)分析。
10.一種基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析裝置,其特征在于,包括:摘要數(shù)據(jù)集構(gòu)建模塊、bert模型預(yù)訓(xùn)練模塊、情感語句摘要任務(wù)模型微調(diào)模塊、bert模型知識(shí)蒸餾模塊和bert模型情感分析模塊;