国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      基于蒸餾提升BERT的財(cái)經(jīng)新聞情感分析方法和裝置與流程

      文檔序號(hào):39346628發(fā)布日期:2024-09-10 12:11閱讀:來源:國知局

      技術(shù)特征:

      1.一種基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,包括以下步驟:

      2.根據(jù)權(quán)利要求1所述的基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,所述利用大語言模型對財(cái)經(jīng)新聞?wù)Z料進(jìn)行摘要得到情感感知摘要數(shù)據(jù)集,包括:

      3.根據(jù)權(quán)利要求1所述的基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,所述利用財(cái)經(jīng)新聞?wù)Z料對bert模型進(jìn)行領(lǐng)域自適應(yīng)預(yù)訓(xùn)練,包括:

      4.根據(jù)權(quán)利要求1所述的基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,雙向gru網(wǎng)絡(luò)包括正向gru和反向gru,預(yù)訓(xùn)練后的bert模型根據(jù)輸入的財(cái)經(jīng)新聞?wù)Z料輸出每個(gè)時(shí)刻的上下文向量,這些向量輸入到雙向gru網(wǎng)絡(luò)中,其中正向gru按順序讀取輸入的向量并生成時(shí)刻的正向隱藏狀態(tài),而反向gru按逆序讀取輸入的向量并生成反向隱藏狀態(tài),然后二者連接起來生成總時(shí)刻中的當(dāng)前時(shí)刻的雙向gru層輸出隱藏狀態(tài)。

      5.根據(jù)權(quán)利要求4所述的基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,基于注意力機(jī)制的指針網(wǎng)絡(luò)包括gru循環(huán)神經(jīng)網(wǎng)絡(luò)、多頭注意力層和復(fù)制指針層,預(yù)訓(xùn)練后的bert模型將每個(gè)時(shí)刻的生成詞向量經(jīng)gru循環(huán)神經(jīng)網(wǎng)絡(luò)得到輸出時(shí)間步的隱藏狀態(tài),在多頭注意力層通過計(jì)算隱藏狀態(tài)和雙向gru網(wǎng)絡(luò)輸出隱藏狀態(tài)之間的相似度來獲得注意力得分并進(jìn)一步使用softmax函數(shù)將注意力得分轉(zhuǎn)化為標(biāo)準(zhǔn)化的注意力權(quán)重,在復(fù)制指針層通過計(jì)算每個(gè)向量對應(yīng)的注意力權(quán)重之和作為輸出時(shí)間步對上下文向量中位置的關(guān)注程度的概率,選擇最大概率值對應(yīng)的位置所指向的詞作為當(dāng)前時(shí)刻的預(yù)測詞用于構(gòu)建初步情緒語句,生成的初步情緒語句將繼續(xù)經(jīng)過bert模型輸出生成詞向量,通過逐詞生成得到最終摘要后的情緒語句。

      6.根據(jù)權(quán)利要求1所述的基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,由大語言模型對情感感知摘要數(shù)據(jù)集中的情感句子的情感類別分析,以及由預(yù)訓(xùn)練后的bert模型對情感語句摘要任務(wù)模型輸出的情緒語句的情感類別分析,包括:

      7.根據(jù)權(quán)利要求6所述的基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,情感類別包括消極、較消極、中性、較積極和積極。

      8.根據(jù)權(quán)利要求6所述的基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,在利用大語言模型對預(yù)訓(xùn)練后的bert模型進(jìn)行知識(shí)蒸餾時(shí),采用的知識(shí)蒸餾總損失函數(shù)包括分類任務(wù)損失和蒸餾損失;

      9.根據(jù)權(quán)利要求1所述的基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析方法,其特征在于,在利用知識(shí)蒸餾后的bert模型對摘要得到的情緒語句進(jìn)行情感類別分析后,得到對每個(gè)情緒語句的情感類別的概率分布,通過對每個(gè)情感類別的概率賦予對應(yīng)的權(quán)重后進(jìn)行求和得到每個(gè)情緒語句情感得分,再將每個(gè)情緒語句情感得分進(jìn)行求和平均得到每篇財(cái)經(jīng)新聞?wù)Z料的情感得分,根據(jù)一段時(shí)間內(nèi)得到的財(cái)經(jīng)新聞?wù)Z料的情感得分繪制情緒指數(shù)曲線,能夠?qū)@段時(shí)間內(nèi)財(cái)經(jīng)新聞情感進(jìn)行動(dòng)態(tài)分析。

      10.一種基于蒸餾提升bert的財(cái)經(jīng)新聞情感分析裝置,其特征在于,包括:摘要數(shù)據(jù)集構(gòu)建模塊、bert模型預(yù)訓(xùn)練模塊、情感語句摘要任務(wù)模型微調(diào)模塊、bert模型知識(shí)蒸餾模塊和bert模型情感分析模塊;


      技術(shù)總結(jié)
      本發(fā)明公開了一種基于蒸餾提升BERT的財(cái)經(jīng)新聞情感分析方法和裝置,方法包括以下步驟:利用大語言模型構(gòu)建情感感知摘要數(shù)據(jù)集;對BERT模型進(jìn)行領(lǐng)域自適應(yīng)預(yù)訓(xùn)練;構(gòu)建包括預(yù)訓(xùn)練后的BERT模型、雙向GRU網(wǎng)絡(luò)和基于注意力機(jī)制的指針網(wǎng)絡(luò)的情緒語句摘要任務(wù)模型,對情感語句摘要任務(wù)模型進(jìn)行微調(diào);利用大語言模型對預(yù)訓(xùn)練后的BERT模型進(jìn)行知識(shí)蒸餾;利用微調(diào)后的情感語句摘要任務(wù)模型和知識(shí)蒸餾后的BERT模型進(jìn)行情感類別分析。本發(fā)明能夠?qū)⒋笳Z言模型的情感分析能力遷移到訓(xùn)練硬件需求更小、更易部署、計(jì)算效率更高的BERT模型上,提高財(cái)經(jīng)新聞情感分析的效率和準(zhǔn)確性,為用戶提供更有價(jià)值的情感分析結(jié)果。

      技術(shù)研發(fā)人員:盧成梁,李亮,許浩,林志農(nóng)
      受保護(hù)的技術(shù)使用者:之江實(shí)驗(yàn)室
      技術(shù)研發(fā)日:
      技術(shù)公布日:2024/9/9
      當(dāng)前第2頁1 2 
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
      1