本發(fā)明屬于計算機統(tǒng)計機器翻譯和機器翻譯質量評價領域，涉及一種自動探索更多參考譯文信息的機器翻譯優(yōu)化方法。
背景技術：
：機器翻譯的背景可以追溯到60多年前，且從上世紀90年代以來統(tǒng)計機器翻譯自發(fā)展十分迅速，取得了很大的進步，逐漸成為機器翻譯領域中的研究熱點。完成機器翻譯本身并不是目的，而是希望知道機器譯文在多大程度上能夠幫助人們實現(xiàn)某個任務，從而我們需要對機器翻譯輸出的譯文進行評測。機器翻譯評測目前是一個非?；钴S的研究領域和討論的熱點話題。機器翻譯質量評價分為人工評價和自動評價兩個方面，人工評價由于其耗時費力、代價昂貴、結果不可重現(xiàn)且不同的人會有不同的評價結果，現(xiàn)已被自動評價方法部分取代，近年來，該領域的研究已經(jīng)取得了很大的進步，機器翻譯研究者已經(jīng)信任自動評測指標，并能夠根據(jù)自動評測打分結果的高低來調整系統(tǒng)設計。目前所有的自動評測指標使用的都是相同的策略：將每一個機器翻譯譯文與一個或者多個參考譯文進行比較，按其相似性來評測譯文的質量。常用的自動評價方法有翻譯錯誤率ter(translationerrorrate)、雙語評測指標bleu(bilingualevaluationunderstudy)以及使用了單語資源的meteor。翻譯錯誤率使用了levenshtein距離(編輯距離)，即將兩個字符串序列匹配時需要進行編輯操作(插入、刪除和替換)的最少次數(shù)，由于在實際情況下，機器翻譯譯文的語序與參考譯文的語序存在不同的情況，ter中加入了shift操作，可調整句子的語序；雙語評測指標bleu是目前使用最廣泛的自動評測指標，將機器翻譯譯文與參考譯文進行n元文法匹配，同時會對丟失單詞的現(xiàn)象進行懲罰，如果譯文句子過短就會被扣分。meteor則強調召回率，希望譯文的意思完整性更好，同時還添加了詞根還原和同義詞的使用。由于詞匯的選取、表達方式的不同，源語言存在多個正確的翻譯結果。對于上述依賴于參考譯文的方法，有限的參考譯文數(shù)量使得評價結果會存在不公平現(xiàn)在。本發(fā)明提出的探索參考譯文多樣性的機器翻譯質量評價方法對已有的參考譯文信息進行了拓展，緩解了多樣性造成的質量評價偏差，不會因為有限的參考譯文將機器翻譯譯文中本應正確的部分判定為錯誤翻譯。技術實現(xiàn)要素：發(fā)明目的：本發(fā)明所要解決的技術問題是針對現(xiàn)有的機器翻譯質量評價方法在參考譯文有限的情況下由于語義、表達多樣性而造成的評價偏差這一問題，提出了一種擴展獨立的參考譯文為一個參考譯文圖的機器翻譯質量優(yōu)化方法，對于機器翻譯譯文中不同的詞語選擇，不同的表達方式能夠更加公平合理的作出評價。為了解決上述技術問題，本發(fā)明公開了一種機器翻譯質量評價方法，該方法所有的步驟均運行與windows平臺，分別對數(shù)據(jù)集為多個參考譯文和單個參考譯文的情況進行了譯文多樣性拓展。所述探索參考譯文多樣性的機器翻譯質量評價方法中拓展多個參考譯文的步驟如下：包括如下步驟：步驟1，構建參考譯文圖；步驟2，準備語言模型，翻譯模型，選取開發(fā)集，利用最小化錯誤率訓練方法在開發(fā)集上進行機器翻譯系統(tǒng)的參數(shù)優(yōu)化，改進已有的評價方法bleu；步驟3，對于開發(fā)集中的參考譯文，獲取與機器翻譯譯文最接近的路徑，利用該路徑代替原先的參考譯文，進行n元文法匹配，獲得優(yōu)化后的翻譯評價結果。本發(fā)明步驟1包括如下步驟：步驟1-1，利用詞對齊工具giza++獲取源端(可以是中午)到參考譯文(可以是英文)之間的詞對齊結果；根據(jù)任意兩個短語對之間不存在交叉規(guī)則和最小閉包規(guī)則，將源端和參考譯文分割成一個以上的短語塊；步驟1-2，根據(jù)源端的語序將步驟1-1得到的短語塊組合成一個參考譯文子圖，參考譯文子圖中的節(jié)點為每個短語塊中的譯文和對應的源端短語在句子中的詞序，用數(shù)字表示；參考譯文子圖中的邊為有向邊，其方向表示句子順序；若存在兩個以上參考譯文，則得到兩個以上參考譯文子圖，執(zhí)行步驟1-3；若只存在一個參考譯文，則得到一個參考譯文子圖，執(zhí)行步驟1-4；步驟1-3，將得到的參考譯文子圖按照節(jié)點內容是否相同進行增量合并，若參考譯文和源端詞序均相同，則合并兩個節(jié)點為一個節(jié)點；若只有源端詞序相同，而參考譯文不同，則保留這兩個節(jié)點a、b，同時添加節(jié)點a的前一個節(jié)點到b的邊以及a到b的后一個節(jié)點的邊，對節(jié)點b執(zhí)行相同的加邊操作，添加節(jié)點b的前一個節(jié)點到a的邊以及b到節(jié)點a的后一個節(jié)點之間的邊。最終得到能夠表示兩個以上參考譯文的參考譯文圖，執(zhí)行步驟1-5；步驟1-4，利用意譯表對得到的參考譯文子圖進行拓展，得到最終的參考譯文圖；步驟1-5，從參考譯文圖中選取出一條與機器翻譯譯文最接近的路徑作為最終的參考譯文。本發(fā)明步驟1-4包括以下步驟:步驟1-4-1，意譯表中存在5種不同關系的短語對：“相等”、“正向包含”、“反向包含”、“其他關系”和“相互獨立”，為了減少噪聲的引入，該發(fā)明中只選用了對等關系的短語對，“相等”關系表示兩個短語描述的意思完全一致。過濾意譯表，只保留相等關系的短語對，同時去掉不相關的信息，所述不相關的信息包括概率值、得分，句法信息；步驟1-4-2，擴展參考譯文子圖中的每一個節(jié)點或連續(xù)的兩個以上的節(jié)點，若當前參考譯文子圖中的一條路徑存在一個與其相等的短語，則添加一個新的節(jié)點，節(jié)點內容為新的短語和路徑所覆蓋的源端詞序，同時添加對應的邊，一條邊是當前路徑首節(jié)點的前一個節(jié)點指向新節(jié)點，另一條邊是新節(jié)點指向當前路徑尾節(jié)點的下一個節(jié)點。本發(fā)明步驟1-5包括以下步驟：步驟1-5-1，利用詞對齊工具giza++獲取源端到機器翻譯譯文之間的詞對齊結果或是直接利用翻譯系統(tǒng)生成源端到機器翻譯譯文之間的詞對齊結果；根據(jù)任意兩個短語對之間不存在交叉規(guī)則和最小閉包規(guī)則，將源端和機器翻譯譯文分割成一個以上的短語塊，根據(jù)源端的語序將得到的短語塊組合成一個機器翻譯譯文子圖，機器翻譯譯文子圖中的節(jié)點為每個短語塊中的譯文和對應的源端短語在句子中的詞序，用數(shù)字表示；機器翻譯譯文子圖中的邊為有向邊，其方向表示句子順序，得到最終的機器翻譯譯文圖；步驟1-5-2，根據(jù)步驟1得到的參考譯文圖，對機器翻譯譯文圖中的每一個節(jié)點找出參考譯文圖中與其對應的最短路徑；步驟1-5-3，若當前節(jié)點所覆蓋的源端短語在參考譯文圖中無對應路徑，根據(jù)機器翻譯譯文圖和參考譯文圖中的節(jié)點或是路徑需覆蓋相同的源端這一規(guī)則，向后拓展當前節(jié)點為機器翻譯譯文圖中的一條路徑進行路徑匹配；步驟1-5-4，若已找到當前路徑在參考譯文圖中對應的最短路徑，記錄下最短路徑，同時從下一個節(jié)點重復步驟1-5-2和步驟1-5-3直至句子結尾。自動評測指標bleu，考慮了機器翻譯譯文與參考譯文中較長n元文法的匹配情況，并計算出匹配個數(shù)。給定n元文法匹配，能夠計算出n元文法的準確率，即特定階數(shù)n的正確的n元文法個數(shù)占生產(chǎn)的該階n元文法總數(shù)的比例。本發(fā)明步驟2中所述bleu的指標定義為：其中，brevity_penalty為長度懲罰因子，對丟失單詞的情況進行懲罰。如果譯文過短，最終的bleu值就會被懲罰扣分。presicioni是n元文法匹配準確率，n元文法是指n個連續(xù)的單詞，i是文法階數(shù)的索引，n表示n元文法的最大階數(shù)，通常情況下，n元文法的最大階數(shù)n被設為4，因此該指標又被稱為bleu-4。λi為i階文法匹配準確率的權重，其大小為output_length是機器翻譯譯文的長度，reference_length是參考譯文的長度，因此，bleu的計算公式簡化為：在傳統(tǒng)的機器翻譯訓練方法中，常使用最小錯誤率訓練方法進行系統(tǒng)的參數(shù)學習，該方法使用的是多特征思想，其優(yōu)化目標是使得翻譯結果的錯誤率最小。又因為bleu表示的是機器翻譯譯文的正確性，因此本發(fā)明步驟2中，針對bleu的最小化錯誤率訓練方法，是最大化整個數(shù)據(jù)集上的bleu值，因此其最小錯誤率訓練的優(yōu)化目標表示為：其中，是使得整個開發(fā)集上bleu值最高的一組參數(shù)，m表示參數(shù)個數(shù)，s表示開發(fā)集上的句子數(shù)目，i和m均為索引，i是句子索引，m是特征索引，fi是第i句源端句子，ri是第i句對應的參考譯文譯文，λm為第m個特征的權重，hm為模型使用的特征，主要包括語言模型、正向翻譯概率、反向翻譯概率、句子長度、膠水規(guī)則等，e是源語言fi的機器翻譯譯文。調整對數(shù)線性模型的權重，調整方向為使在整個開發(fā)集上的bleu值最高，具體的調整過程是，在調整第i個參數(shù)時，固定其他參數(shù)不變，優(yōu)化第i個參數(shù)，依次調整所有m個權重。本發(fā)明步驟3包括如下步驟：步驟3-1，如果開發(fā)集中含有兩個以上的參考譯文，利用詞對齊工具giza++獲取源端到參考譯文之間的詞對齊結果；根據(jù)任意兩個短語對之間不存在交叉規(guī)則和最小閉包規(guī)則，將源端和參考譯文分割成一個以上的短語塊；將得到的短語塊組合成兩個以上的參考譯文子圖，參考譯文子圖中的節(jié)點為每個短語塊中的譯文和對應的源端短語在句子中的詞序，用數(shù)字表示；參考譯文子圖中的邊為有向邊，其方向表示句子順序；將得到的參考譯文子圖按照節(jié)點內容是否相同進行增量合并，若參考譯文和源端詞序均相同，則合并兩個節(jié)點為一個節(jié)點；若只有源端詞序相同，而參考譯文不同，則保留這兩個節(jié)點a、b，同時添加節(jié)點a的前一個節(jié)點到b的邊以及a到b的后一個節(jié)點的邊，對節(jié)點b執(zhí)行相同的加邊操作，添加節(jié)點b的前一個節(jié)點到a的邊以及b到節(jié)點a的后一個節(jié)點之間的邊。最終得到能夠表示兩個以上參考譯文的參考譯文圖，從參考譯文圖中選取出一條與機器翻譯譯文最接近的路徑作為最終的參考譯文，利用該最接近的路徑代替原先的兩個以上的參考譯文，進行n元文法匹配；步驟3-2，如果開發(fā)集中只有一個參考譯文，利用詞對齊工具giza++獲取源端到參考譯文之間的詞對齊結果；根據(jù)任意兩個短語對之間不存在交叉規(guī)則和最小閉包規(guī)則，將源端和參考譯文分割成一個以上的短語塊；根據(jù)源端的語序將得到的短語塊組合成一個參考譯文子圖，參考譯文子圖中的節(jié)點為每個短語塊中的譯文和對應的源端短語在句子中的詞序，用數(shù)字表示；參考譯文子圖中的邊為有向邊，其方向表示句子順序；利用意譯表對得到的參考譯文子圖進行拓展，得到最終的參考譯文圖：過濾意譯表，只保留相等關系的短語對，同時去掉不相關的信息，所述不相關的信息包括概率值、得分，句法信息；擴展參考譯文子圖中的每一個節(jié)點或連續(xù)的兩個以上的節(jié)點，若當前參考譯文子圖中的一條路徑存在一個與其相等的短語，則添加一個新的節(jié)點，節(jié)點內容為新的短語和路徑所覆蓋的源端詞序，同時添加對應的邊，一條邊是當前路徑首節(jié)點的前一個節(jié)點指向新節(jié)點，另一條邊是新節(jié)點指向當前路徑尾節(jié)點的下一個節(jié)點；從最終的參考譯文圖中選取出一條與機器翻譯譯文最接近的路徑作為最終的參考譯文，利用該最接近的路徑代替原先的參考譯文，進行n元文法匹配。步驟3-3，如果機器翻譯譯文中的一個n元文法在任何一個參考譯文中得到匹配，則判定該n元文法是正確的。本發(fā)明利用參考譯文圖提高bleu幫助系統(tǒng)進行參數(shù)學習的能力，使系統(tǒng)能夠或得一組更優(yōu)的權重。在參數(shù)學習方面，基于圖的方法有效的幫助了系統(tǒng)的訓練過程，提高了系統(tǒng)翻譯結果的質量；同時，在利用人工相關度來評價該方法時，其人工相關度相較于未使用圖的方法，有較明顯的提高。該方法能夠對參考譯文數(shù)量有明顯的擴充，緩解在參考譯文有限的情況下，由于語義表達多樣性而造成的不公平評價現(xiàn)象。有益效果：本發(fā)明利用一個參考譯文圖對數(shù)據(jù)集的參考譯文信息進行了拓展，獲得了更多的參考信息，相比于在原始的參考譯文上能夠處理更多的語義多樣性和表達多樣性問題，盡可能多的保留機器翻譯譯文中翻譯正確的內容，緩解了在參考譯文有限的情況下由于語義、表達多樣性而造成的評價偏差問題，更好的幫助傳統(tǒng)的機器翻譯系統(tǒng)進行參數(shù)學習，能夠有效的提高系統(tǒng)最終的翻譯結果質量。同時將雙語評價指標bleu與參考譯文圖相結合，顯著提高了雙語評價方法bleu的人工評價相關度。附圖說明下面結合附圖和具體實施方式對本發(fā)明做更進一步的具體說明，本發(fā)明的上述或其他方面的優(yōu)點將會變得更加清楚。圖1是本發(fā)明的流程圖。具體實施方式下面結合附圖及實施例對本發(fā)明做進一步說明。本發(fā)明提出了一種利用圖表示參考譯文的方法，在參考譯文信息有限的情況下，對譯文信息進行拓展，或利用自身信息，或利用外部單語語料對已有的單詞或是短語拓展，以生成更多樣且正確的翻譯結果，在進行機器譯文的評價時，能夠盡可能的對其正確的部分作出準確的評價。如圖1所示，本發(fā)明公開了一種自動探索參考譯文多樣性的機器翻譯質量評價方法，分別對存在多個參考譯文和存在單個參考譯文的情況作出了信息拓展。本發(fā)明所述自動探索參考譯文多樣性的機器翻譯質量評價方法中多個參考譯文的步驟如下：步驟11，利用詞對齊工具giza++獲取源端(中文)到參考譯文(英文)之間的詞對齊結果；根據(jù)任意兩個短語對之間不存在交叉規(guī)則和最小閉包規(guī)則，將源端和參考譯文分割成若干個短語塊。步驟12，根據(jù)源端的語序將步驟11得到的若干短語塊組合成一個子圖，圖中的節(jié)點為每個短語塊中的譯文和對應的源端短語在句子中的詞序，用數(shù)字表示；圖中的邊為有向邊，其方向表示句子順序。步驟13，若存在多個參考譯文，按照步驟12得到的幾個子圖按照節(jié)點內容是否相同進行增量合并，若譯文和源端詞序均相同，則合并兩個節(jié)點為一個節(jié)點；若只有源端詞序相同，而譯文不同，則保留這兩個節(jié)點a,b，同時添加a的前一個節(jié)點到b的邊以及a到b的后一個節(jié)點的邊，對節(jié)點b執(zhí)行相同的加邊操作，添加節(jié)點b的前一個節(jié)點到a的邊以及b到節(jié)點a的后一個節(jié)點之間的邊。最終得到能夠表示多個參考譯文且包含有更多信息的譯文圖。步驟14，從圖中選取出一條與機器翻譯譯文最接近的路徑作為最終的參考譯文。本發(fā)明步驟15包括以下步驟：步驟21，根據(jù)步驟11和步驟12構造機器翻譯譯文的圖。步驟22，根據(jù)步驟21得到的機器翻譯譯文圖和步驟13得到的參考譯文圖，對機器翻譯譯文圖中的每一個節(jié)點找出參考譯文圖中與其對應的最短路徑。步驟23，若當前節(jié)點所覆蓋的源端短語在參考譯文圖中無對應路徑(兩者覆蓋相同的源端)，則向后拓展當前節(jié)點為機器翻譯譯文圖中的一條路徑進行路徑匹配。步驟24，若已找到當前路徑在參考譯文圖中對應的最短路徑，記錄下最短路徑，同時從下一個節(jié)點重復步驟23和步驟24直至句子結尾。所述利用參考譯文圖改進評價方法bleu使其更好的進行參數(shù)學習步驟如下：自動評測指標bleu，考慮了機器翻譯譯文與參考譯文中較長n元文法的匹配情況，并計算出匹配個數(shù)。給定n元文法匹配，能夠計算出n元文法的準確率，即特定階數(shù)n的正確的n元文法個數(shù)占生產(chǎn)的該階n元文法總數(shù)的比例。bleu指標定義為：其中，brevity_penalty為長度懲罰因子，對丟失單詞的情況進行懲罰。如果譯文過短，最終的bleu值就會被懲罰扣分。presicioni是n元文法匹配準確率，n元文法是指n個連續(xù)的單詞，i是文法階數(shù)的索引，通常情況下，n元文法的最大階數(shù)n被設為4，因此該指標又被稱為bleu-4。公式(1)中的λi為i階文法匹配準確率的權重，其大小為output_length是機器翻譯譯文的長度，reference_length是參考譯文的長度，因此，bleu的計算公式可以簡化為：在含有多個參考譯文的情況下，如果機器翻譯譯文中的一個n元文法在任何一個參考譯文中得到匹配，則認為該n元文法是正確的。在傳統(tǒng)的機器翻譯訓練方法中，常使用最小錯誤率訓練方法進行系統(tǒng)的參數(shù)學習，該方法使用的是多特征思想，其優(yōu)化目標是使得翻譯結果的錯誤率最小。又因為bleu表示的是機器翻譯譯文的正確性，所以針對bleu的最小化錯誤率訓練方法，則是最大化整個數(shù)據(jù)集上的bleu值，因此其最小錯誤率訓練的優(yōu)化目標可以表示為：其中，是使得整個開發(fā)集上bleu值最高的一組參數(shù)，m表示參數(shù)個數(shù)，s表示開發(fā)集上的句子數(shù)目，i和m均為索引，i是句子索引，m是特征索引，fi是第i句源端句子，ri是第i句對應的參考譯文，λm為第m個特征的權重，hm為模型使用的特征，主要包括語言模型、正向翻譯概率、反向翻譯概率、句子長度、膠水規(guī)則等，e是源語言fi的機器翻譯譯文。調整對數(shù)線性模型的權重，調整方向為使在整個開發(fā)集上的bleu值最高，具體的調整過程是，在調整第i個參數(shù)時，固定其他參數(shù)不變，優(yōu)化第i個參數(shù)，依次調整所有m個權重，使得系統(tǒng)在訓練使用的開發(fā)集上總體bleu值最高，該發(fā)明利用參考譯文圖提高bleu幫助系統(tǒng)進行參數(shù)學習的能力，使系統(tǒng)能夠或得一組更優(yōu)的權重。步驟31，準備語言模型，翻譯模型，選取開發(fā)集，利用最小化錯誤率訓練方法進行機器翻譯系統(tǒng)的參數(shù)訓練。步驟32，如果開發(fā)集中含有多個參考譯文，通過步驟13構建參考譯文圖，按照步驟14獲取與機器翻譯譯文最接近的路徑，利用該路徑代替原先的多個參考譯文，進行n元文法匹配。所述基于圖的機器翻譯質量評價方法中單個參考譯文的步驟如下：步驟41，利用詞對齊工具giza++獲取源端(中文)到單個參考譯文(英文)之間的詞對齊結果；根據(jù)任意兩個短語對之間不存在交叉規(guī)則和最小閉包規(guī)則，將源端和參考譯文分割成若干個短語塊。步驟42，根據(jù)源端的語序將步驟41得到的若干短語塊組合成一個子圖，圖中的節(jié)點為每個短語塊中的譯文和對應的源端短語在句子中的詞序，用數(shù)字表示；圖中的邊為有向邊，其方向表示句子順序。步驟43，利用意譯表對該單個子圖進行拓展，以擴展其參考譯文的多樣性。步驟44，從圖中選取出一條與機器翻譯譯文最接近的路徑作為最終的參考譯文。本發(fā)明步驟43包括以下步驟：意譯表中存在5種不同關系的短語對：“相等”、“正向包含”、“反向包含”、“其他關系”和“相互獨立”，為了減少噪聲的引入，該發(fā)明中只選用了對等關系的短語對，“相等”關系表示兩個短語描述的意思完全一致。步驟51，過濾意譯表，只保留“相等”關系的短語對，同時去掉不相關的信息，如概率值、得分，句法等等信息。步驟52，擴展圖中的每一個節(jié)點或連續(xù)的幾個節(jié)點，若當前參考譯文子圖中的某一條路徑存在一個與其“相等”的短語，則添加一個新的節(jié)點，節(jié)點內容為新的短語和路徑所覆蓋的源端詞序，同時需添加對應的邊，一條邊是當前路徑首節(jié)點的前一個節(jié)點指向新節(jié)點，另一條邊是新節(jié)點指向當前路徑尾節(jié)點的下一個節(jié)點。本發(fā)明步驟44包括以下步驟：步驟61，根據(jù)步驟41和步驟42構造機器翻譯譯文的圖。步驟62，根據(jù)步驟61得到的機器翻譯譯文圖和步驟43得到的參考譯文圖，對機器翻譯譯文圖中的每一個節(jié)點找出參考譯文圖中與其對應的最短路徑。步驟63，若當前節(jié)點所覆蓋的源端短語在參考譯文圖中無對應路徑(兩者覆蓋相同的源端)，則向后拓展當前節(jié)點為機器翻譯譯文圖中的一條路徑進行路徑匹配。步驟64，若已找到當前路徑在參考譯文圖中對應的最短路徑，記錄下最短路徑，同時從下一個節(jié)點重復步驟63和步驟64直至句子結尾。所述利用參考譯文圖改進評價方法bleu使其更好的進行參數(shù)學習步驟如下：自動評測指標bleu，考慮了機器翻譯譯文與參考譯文中較長n元文法的匹配情況，并計算出匹配個數(shù)。給定n元文法匹配，能夠計算出n元文法的準確率，即特定階數(shù)n的正確的n元文法個數(shù)占生產(chǎn)的該階n元文法總數(shù)的比例。bleu指標定義為：其中，brevity_penalty為長度懲罰因子，對丟失單詞的情況進行懲罰。如果譯文過短，最終的bleu值就會被懲罰扣分。presicioni是n元文法匹配準確率，n元文法是指n個連續(xù)的單詞，i是文法階數(shù)的索引，通常情況下，n元文法的最大階數(shù)n被設為4，因此該指標又被稱為bleu-4。公式(1)中的λi為i階文法匹配準確率的權重，其大小為output_length是機器翻譯譯文的長度，reference_length是參考譯文的長度，因此，bleu的計算公式可以簡化為：在只存在單個參考譯文時，將機器翻譯譯文與該參考譯文進行n元文法匹配。在傳統(tǒng)的機器翻譯訓練方法中，常使用最小錯誤率訓練方法進行系統(tǒng)的參數(shù)學習，該方法使用的是多特征思想，其優(yōu)化目標是使得翻譯結果的錯誤率最小。又因為bleu表示的是機器翻譯譯文的正確性，所以針對bleu的最小化錯誤率訓練方法，則是最大化整個數(shù)據(jù)集上的bleu值，因此其最小錯誤率訓練的優(yōu)化目標可以表示為：其中，是使得整個開發(fā)集上bleu值最高的一組參數(shù)，m表示參數(shù)個數(shù)，s表示開發(fā)集上的句子數(shù)目，i和m均為索引，i是句子索引，m是特征索引，fi是第i句源端句子，ri是第i句對應的參考譯文，λm為第m個特征的權重，hm為模型使用的特征，主要包括語言模型、正向翻譯概率、反向翻譯概率、句子長度、膠水規(guī)則等，e是源語言fi的機器翻譯譯文。調整對數(shù)線性模型的權重，調整方向為使在整個開發(fā)集上的bleu值最高，具體的調整過程是，在調整第i個參數(shù)時，固定其他參數(shù)不變，優(yōu)化第i個參數(shù)，依次調整所有m個權重，使得系統(tǒng)在訓練使用的開發(fā)集上總體bleu值最高，該發(fā)明利用參考譯文圖提高bleu幫助系統(tǒng)進行參數(shù)學習的能力，使系統(tǒng)能夠或得一組更優(yōu)的權重。步驟71，準備語言模型，翻譯模型，選取開發(fā)集，利用最小化錯誤率訓練方法進行機器翻譯系統(tǒng)的參數(shù)訓練。步驟73，通過步驟42構建參考譯文子圖，按照步驟43對該子圖進行拓展，得到一個含有更加多樣化信息的參考譯文圖，最后參照步驟44獲取與機器翻譯譯文最接近的路徑，利用該路徑代替原先的參考譯文，進行n元文法匹配。實施例本發(fā)明所用的算法全部由c#語言編寫實現(xiàn)。實驗配置為intelxeone7750處理器，主頻為2.0ghz，內存為176g。實驗數(shù)據(jù)準備如下：8396924句對中英文平行語料，訓練得到短語表和規(guī)則表兩個文件作為翻譯模型使用，翻譯模型即為源端(詞或短語)翻譯成目標端的概率；14684074句對英文單語語料，訓練得到目標端語言模型，語言模型統(tǒng)計的是某個詞序列出現(xiàn)的概率；919句中英數(shù)據(jù)集mt03作為開發(fā)集，在參數(shù)訓練時，幫助優(yōu)化各參數(shù)使用，即通過這些參數(shù)選擇出來的機器翻譯譯文要使得翻譯系統(tǒng)在mt03上達到bleu值最大，測試集3個：mt02、mt04、mt05，分別含有878句、1788句、1082句。意譯表中則含有4551746對短語。實施例1本實施例在多個參考譯文下的評價實驗如下：11.輸入源端語言文件和對應的多個參考譯文的文件，通過giza++獲取源端與參考譯文之間的詞對齊信息。12.利用步驟11得到的結果以及dev集(含有多個參考譯文)作為輸入，對dev集中的參考譯文信息進行拓展，進行機器翻譯系統(tǒng)的參數(shù)訓練實驗，輸出為dev集的翻譯結果。13.訓練結束之后，在測試集mt02，mt04，mt05上進行測試，輸出為對應的數(shù)據(jù)集的翻譯結果。實施例2本實施例在單個參考譯文下的評價實驗如下：11.輸入源端語言文件和對應的單個參考譯文的文件，通過giza++獲取源端與參考譯文之間的詞對齊信息。12.利用步驟11得到的結果、意譯表以及dev集(含有單個參考譯文)作為輸入，對dev集中的參考譯文信息進行拓展，進行機器翻譯系統(tǒng)的參數(shù)訓練實驗，輸出為dev集的翻譯結果。13.訓練結束之后，在測試集mt02，mt04，mt05上進行測試，輸出為對應的數(shù)據(jù)集的翻譯結果。實施例3本實施例對利用參考譯文圖的bleu方法進行人工相關度評價：11.輸入源端語言文件和對應的參考譯文的文件，通過giza++獲取源端與參考譯文之間的詞對齊信息。12.對對應的含有人工評價結果的不同系統(tǒng)的譯文進行排序。13.對于來自不同系統(tǒng)的翻譯結果按照未使用參考譯文圖的原始方法進行打分，同時按照進行排序，將該排序結果與人工評價的排序結果利用kendall’stau進行人工相關度評價。13.利用步驟11的結果構造參考譯文圖，對于來自不同系統(tǒng)的翻譯結果，按照擴展后的方法進行打分，同時對打分結果進行排序，并將該排序結果與人工評價的排序結果進行人工相關度評價。本發(fā)明的目的是為了通過對參考譯文語義和表達多樣性信息的拓展，獲得了更多數(shù)量的參考譯文，緩解已有的自動評價方法由于作為參考的人工譯文有限，對不同的機器翻譯譯文的評價偏差。同時，該方法能夠幫助機器翻譯系統(tǒng)進行更優(yōu)的參數(shù)學習。為了驗證本發(fā)明的有效性，本發(fā)明與未進行參考譯文信息拓展的系統(tǒng)進行了對比。表1是多個參考譯文在兩個系統(tǒng)上的翻譯結果對比：可以看出本發(fā)明在對多個參考譯文進行多樣性拓展之后，系統(tǒng)的翻譯效果有明顯提高，翻譯結果質量在各個指標上均有提高。表2是單個參考譯文在兩個系統(tǒng)上的翻譯結果對比：可以看出本發(fā)明在對單個參考譯文進行多樣性拓展之后，系統(tǒng)的翻譯效果有明顯提高，翻譯結果質量在除meteor指標上均有提高。表3是未進行參考譯文多樣性拓展的自動評價方法與拓展以后的方法的人工評價相關度對比：conditionsbleutermeteor4-refs0.46640.50660.4865rgraph0.47390.52670.4876可以看出本發(fā)明在對參考譯文的多樣性信息進行拓展之后，取得了與人工評價相關度更高的效果。本發(fā)明利用圖擴展獨立的參考譯文的信息，獲得了更加豐富的譯文信息，在參考譯文有限的情況下，對由于語義、表達多樣性而造成的評價偏差進行糾正，對機器翻譯得到的譯文進行更充分的評價。同時在利用不同的評價方法參與訓練過程時，幫助系統(tǒng)更好的進行參數(shù)學習；此外，利用了參考譯文圖的評價方法比原始方法獲得了更高的人工相關度，說明該種打分標準更加準確。本發(fā)明適用于在參考譯文數(shù)量有限的情況下，對譯文的多樣性信息進行拓展，幫助各評價方法更加公平合理的評價機器翻譯譯文。本發(fā)明提供了一種自動探索更多參考譯文信息的機器翻譯優(yōu)化方法，具體實現(xiàn)該技術方案的方法和途徑很多，以上所述僅是本發(fā)明的優(yōu)選實施方式，應當指出，對于本
技術領域：
的普通技術人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發(fā)明的保護范圍。本實施例中未明確的各組成部分均可用現(xiàn)有技術加以實現(xiàn)。當前第1頁12