国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      翻譯模型的訓練方法、文本翻譯方法及裝置與流程

      文檔序號:40275920發(fā)布日期:2024-12-11 13:10閱讀:11來源:國知局
      翻譯模型的訓練方法、文本翻譯方法及裝置與流程

      本技術涉及機器翻譯,特別涉及一種翻譯模型的訓練方法。本技術同時涉及一種文本翻譯方法、一種翻譯模型的訓練裝置、一種文本翻譯裝置、一種計算設備,以及一種計算機可讀存儲介質(zhì)。


      背景技術:

      1、隨著計算機運算能力的提升,翻譯工作由原來的人工翻譯轉(zhuǎn)向機器翻譯(又稱自動翻譯,是利用計算機將一種自然語言轉(zhuǎn)換為另一種自然語言的過程),翻譯效率得到極大提升。機器翻譯經(jīng)過了如下發(fā)展:80年代的基于規(guī)則的機器翻譯,90年代的基于統(tǒng)計的機器翻譯,2013年至今的基于神經(jīng)網(wǎng)絡的機器翻譯。而基于神經(jīng)網(wǎng)絡的機器翻譯(nmt,neuralmachine?translation)因其顯著提高的流暢度以及在多個語言對上遠超傳統(tǒng)的基于統(tǒng)計的機器翻譯(smt,statistical?machine?translation)的翻譯效果,而逐漸成了機器翻譯技術領域的主流。通過構(gòu)建并訓練基于神經(jīng)網(wǎng)絡的翻譯模型,以實現(xiàn)源語言文本到目標語言文本的高效高質(zhì)翻譯。

      2、現(xiàn)有技術中,對翻譯模型的訓練方法是將源語言訓練樣本分詞處理后的詞元(token)信息作為輸入,輸入進翻譯模型的詞嵌入層,得到詞嵌入向量,再在編碼器和譯碼器中對詞嵌入向量進行轉(zhuǎn)換,得到目標語言的翻譯結(jié)果,進而根據(jù)翻譯結(jié)果來不斷訓練翻譯模型。

      3、其中,因為輸入進翻譯模型的詞嵌入層信息只有詞元信息,因而,得到的目標語言的翻譯結(jié)果不夠精準,對翻譯模型的訓練效果不佳,翻譯模型的精度較低。


      技術實現(xiàn)思路

      1、有鑒于此,本技術實施例提供了一種翻譯模型的訓練方法和一種文本翻譯方法,以解決現(xiàn)有技術中存在的技術缺陷。本技術實施例同時提供了一種翻譯模型的訓練裝置,一種文本翻譯裝置,一種計算設備,以及一種計算機可讀存儲介質(zhì)。

      2、根據(jù)本技術實施例的第一方面,提供了一種翻譯模型的訓練方法,包括:

      3、獲取訓練樣本,所述訓練樣本包括源語言語料和所述源語言語料對應的目標語言語料;

      4、對所述源語言語料進行分詞處理,提取所述源語言語料中各詞語的讀音信息和詞結(jié)構(gòu)信息;

      5、將分詞處理后的所述源語言語料、所述各詞語的讀音信息和詞結(jié)構(gòu)信息輸入待訓練的翻譯模型的詞嵌入層,得到詞特征向量、讀音信息特征向量、詞結(jié)構(gòu)信息特征向量和位置信息特征向量;

      6、根據(jù)所述詞特征向量、所述讀音信息特征向量、所述詞結(jié)構(gòu)信息特征向量和所述位置信息特征向量,確定所述源語言語料的詞嵌入向量;

      7、根據(jù)所述詞嵌入向量,經(jīng)所述翻譯模型的編碼器和解碼器,得到所述源語言語料的翻譯結(jié)果;

      8、根據(jù)所述翻譯結(jié)果和所述目標語言語料,計算所述翻譯模型的損失值,在所述損失值大于預設閾值的情況下,根據(jù)所述損失值調(diào)整所述翻譯模型的模型參數(shù)。

      9、可選地,在所述獲取訓練樣本的步驟之后,所述方法還包括:

      10、對所述訓練樣本進行數(shù)據(jù)清洗,得到預處理后的訓練樣本。

      11、可選的,所述提取所述源語言語料中各詞語的讀音信息的步驟,包括:

      12、根據(jù)分詞處理后的所述源語言語料中的各詞語,利用預先建立的詞典數(shù)據(jù)庫,查找所述各詞語的讀音信息,所述詞典數(shù)據(jù)庫中記錄有詞語和讀音信息的對應關系。

      13、可選的,所述提取所述源語言語料中各詞語的詞結(jié)構(gòu)信息的步驟,包括:

      14、針對所述源語言語料中的各詞語,對該詞語中的字進行字形組成元素拆分,得到每一個字的字形組成元素,根據(jù)所述每一個字的字形組成元素,確定該詞語的詞結(jié)構(gòu)信息。

      15、可選的,所述根據(jù)所述詞特征向量、所述讀音信息特征向量、所述詞結(jié)構(gòu)信息特征向量和所述位置信息特征向量,確定所述源語言語料的詞嵌入向量的步驟,包括:

      16、將所述詞特征向量、所述讀音信息特征向量、所述詞結(jié)構(gòu)信息特征向量和所述位置信息特征向量相加,得到所述源語言語料的詞嵌入向量。

      17、可選地,在所述根據(jù)所述翻譯結(jié)果和所述目標語言語料,計算所述翻譯模型的損失值的步驟之后,所述方法還包括:

      18、在所述損失值小于或等于所述預設閾值的情況下,停止訓練,確定完成對所述翻譯模型的訓練;

      19、或者,

      20、在迭代次數(shù)大于預設次數(shù)的情況下,停止訓練,確定完成對所述翻譯模型的訓練。

      21、根據(jù)本技術實施例的第二方面,提供了一種文本翻譯方法,包括:

      22、獲取待翻譯文本;

      23、對所述待翻譯文本進行分詞處理,提取所述待翻譯文本中各詞語的讀音信息和詞結(jié)構(gòu)信息;

      24、將分詞處理后的所述待翻譯文本、所述各詞語的讀音信息和詞結(jié)構(gòu)信息輸入預先訓練的翻譯模型,獲得所述待翻譯文本對應的目標語言翻譯文本,其中,所述翻譯模型利用上述第一方面的翻譯模型的訓練方法訓練得到。

      25、根據(jù)本技術實施例的第三方面,提供了一種翻譯模型的訓練裝置,包括:

      26、第一獲取模塊,被配置為獲取訓練樣本,所述訓練樣本包括源語言語料和所述源語言語料對應的目標語言語料;

      27、第一分詞模塊,被配置為對所述源語言語料進行分詞處理,提取所述源語言語料中各詞語的讀音信息和詞結(jié)構(gòu)信息;

      28、詞嵌入模塊,被配置為將分詞處理后的所述源語言語料、所述各詞語的讀音信息和詞結(jié)構(gòu)信息輸入待訓練的翻譯模型的詞嵌入層,得到詞特征向量、讀音信息特征向量、詞結(jié)構(gòu)信息特征向量和位置信息特征向量;根據(jù)所述詞特征向量、所述讀音信息特征向量、所述詞結(jié)構(gòu)信息特征向量和所述位置信息特征向量,確定所述源語言語料的詞嵌入向量;

      29、編解碼模塊,被配置為根據(jù)所述詞嵌入向量,經(jīng)所述翻譯模型的編碼器和解碼器,得到所述源語言語料的翻譯結(jié)果;

      30、訓練模塊,被配置為根據(jù)所述翻譯結(jié)果和所述目標語言語料,計算所述翻譯模型的損失值,在所述損失值大于預設閾值的情況下,根據(jù)所述損失值調(diào)整所述翻譯模型的模型參數(shù)。

      31、可選地,所述裝置還包括:

      32、數(shù)據(jù)清洗模塊,被配置為對所述訓練樣本進行數(shù)據(jù)清洗,得到預處理后的訓練樣本。

      33、可選的,所述第一分詞模塊,進一步被配置為根據(jù)分詞處理后的所述源語言語料中的各詞語,利用預先建立的詞典數(shù)據(jù)庫,查找所述各詞語的讀音信息,所述詞典數(shù)據(jù)庫中記錄有詞語和讀音信息的對應關系。

      34、可選的,所述第一分詞模塊,進一步被配置為針對所述源語言語料中的各詞語,對該詞語中的字進行字形組成元素拆分,得到每一個字的字形組成元素,根據(jù)所述每一個字的字形組成元素,確定該詞語的詞結(jié)構(gòu)信息。

      35、可選的,所述詞嵌入模塊,進一步被配置為將所述詞特征向量、所述讀音信息特征向量、所述詞結(jié)構(gòu)信息特征向量和所述位置信息特征向量相加,得到所述源語言語料的詞嵌入向量。

      36、可選的,所述訓練模塊,還被配置為在所述損失值小于或等于所述預設閾值的情況下,停止訓練,確定完成對所述翻譯模型的訓練;或者,在迭代次數(shù)大于預設次數(shù)的情況下,停止訓練,確定完成對所述翻譯模型的訓練。

      37、根據(jù)本技術實施例的第四方面,提供了一種文本翻譯裝置,包括:

      38、第二獲取模塊,被配置為獲取待翻譯文本;

      39、第二分詞模塊,被配置為對所述待翻譯文本進行分詞處理,提取所述待翻譯文本中各詞語的讀音信息和詞結(jié)構(gòu)信息;

      40、翻譯模塊,被配置為將分詞處理后的所述待翻譯文本、所述各詞語的讀音信息和詞結(jié)構(gòu)信息輸入預先訓練的翻譯模型,獲得所述待翻譯文本對應的目標語言翻譯文本,其中,所述翻譯模型利用本技術實施例的第一方面的翻譯模型的訓練方法訓練得到。

      41、根據(jù)本技術實施例的第五方面,提供了一種計算設備,包括:

      42、存儲器和處理器;

      43、所述存儲器用于存儲計算機可執(zhí)行指令,所述處理器用于執(zhí)行所述計算機可執(zhí)行指令實現(xiàn)本技術實施例第一方面所述的翻譯模型的訓練方法或者第二方面所述的文本翻譯方法。

      44、根據(jù)本技術實施例的第六方面,提供了一種計算機可讀存儲介質(zhì),其存儲有計算機可執(zhí)行指令,該指令被處理器執(zhí)行時實現(xiàn)本技術實施例第一方面所述的翻譯模型的訓練方法或者第二方面所述的文本翻譯方法。

      45、根據(jù)本技術實施例的第七方面,提供了一種芯片,其存儲有計算機程序,該計算機程序被芯片執(zhí)行時實現(xiàn)本技術實施例第一方面所述的翻譯模型的訓練方法或者第二方面所述的文本翻譯方法。

      46、本技術提供的翻譯模型的訓練方法,通過提取訓練樣本中源語言語料中各詞語的讀音信息和詞結(jié)構(gòu)信息,然后將分詞處理后的源語言語料、各詞語的讀音信息和詞結(jié)構(gòu)信息輸入待訓練的翻譯模型的詞嵌入層,得到詞特征向量、讀音信息特征向量、詞結(jié)構(gòu)信息特征向量和位置信息特征向量,增加了輸入翻譯模型詞嵌入層的信息,再根據(jù)詞特征向量、讀音信息特征向量、詞結(jié)構(gòu)信息特征向量和位置信息特征向量,確定出詞嵌入向量,根據(jù)詞嵌入向量經(jīng)過翻譯模型得到所述源語言語料的翻譯結(jié)果更加精準,再根據(jù)翻譯結(jié)果來調(diào)整翻譯模型的模型參數(shù),可見,翻譯模型的訓練更多地考慮了詞的讀音信息特征和詞結(jié)構(gòu)信息特征,使得訓練后的翻譯模型精度更高。

      當前第1頁1 2 
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評論。精彩留言會獲得點贊!
      1