翻譯詞序信息輸出裝置、翻譯詞序信息輸出方法及存儲(chǔ)介質(zhì)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及有助于確定翻譯的詞序的翻譯詞序信息輸出裝置等。
【背景技術(shù)】
[0002] 機(jī)器翻譯中的主要問(wèn)題是翻譯詞選擇和詞序推定。另外，例如在統(tǒng)計(jì)翻譯中，翻譯 詞選擇的性能較高，所W統(tǒng)計(jì)翻譯目前最大的問(wèn)題是詞序推定。作為機(jī)器翻譯方法之一，在 基于短語(yǔ)的統(tǒng)計(jì)翻譯中，作為代表性的翻譯算法存在從左（句首）向右（句尾）連續(xù)生成 目標(biāo)語(yǔ)言句的算法。在運(yùn)種情況下，在已知目前已翻譯的輸入語(yǔ)句的位置（CP)的狀態(tài)下， 需要推定下一個(gè)應(yīng)翻譯的輸入語(yǔ)句的位置（NP)。下面，在圖11中示出了CP和NP的例子。 此外，CP是目前已翻譯的輸入語(yǔ)句的位置，也可W認(rèn)為是該位置的用語(yǔ)。在W下的說(shuō)明中， 將該位置的用語(yǔ)適當(dāng)?shù)胤Q(chēng)作當(dāng)前用語(yǔ)。另外，NP是下一個(gè)應(yīng)翻譯的輸入語(yǔ)句的位置，也可 W認(rèn)為是該位置的用語(yǔ)。在W下的說(shuō)明中，將該位置的用語(yǔ)適當(dāng)?shù)胤Q(chēng)作下一個(gè)用語(yǔ)。
[0003] 在現(xiàn)有技術(shù)中，主要通過(guò)詞匯重排序（lexicalreordering)模型進(jìn)行NP的推 定（例如，參考非專(zhuān)利文獻(xiàn)1)。詞匯重排序模型是指，計(jì)算NP為連續(xù)（monotone)、交換 (swap)、非連續(xù)（discontinuous)中的某一個(gè)的概率。此外，連續(xù)是指CP與NP連續(xù)，交換 是指交換CP與NP的詞序，非連續(xù)是指CP與NP非連續(xù)（參考圖12)。
[0004] 另外，還提出了使用推定扭曲級(jí)別（distcxrtionclass)的概率的模型進(jìn)行NP推 定的方法（例如，參考非專(zhuān)利文獻(xiàn)2)。在該現(xiàn)有技術(shù)中，利用CP的詞語(yǔ)和其周?chē)脑~語(yǔ)來(lái) 推定NP相距多遠(yuǎn)。使用扭曲級(jí)別表示相距多遠(yuǎn)。當(dāng)將CP設(shè)為i、將NP的候選設(shè)為j時(shí)，扭 曲（distodion)被定義為j-i-1。非專(zhuān)利文獻(xiàn)2中的扭曲級(jí)別為用于對(duì)扭曲進(jìn)行分類(lèi)的 如下的九個(gè)級(jí)別：（-°°，-8)、[-7,-5]、[-4，-3]、-2、0、1、巧，3]、[4,6]、[7,OO]。此外，扭 曲、扭曲級(jí)別等是后述的距離W及CP與NP候選之間的相對(duì)詞序的信息的一例。
[0005] 此外，還提出了利用如下模型的方案：利用NP的候選詞語(yǔ)和其周?chē)脑~語(yǔ)，當(dāng)該 NP的候選詞語(yǔ)為NP時(shí)，推定CP應(yīng)相距多遠(yuǎn)的概率。 陽(yáng)006] 在先技術(shù)文獻(xiàn)
[0007] 非專(zhuān)利文獻(xiàn)陽(yáng)00引非專(zhuān)利文獻(xiàn)1:

陽(yáng)009] 非專(zhuān)利文獻(xiàn)2 :



【發(fā)明內(nèi)容】

[0010] 發(fā)明所要解決的技術(shù)問(wèn)題 W11] 然而，在W往的翻譯詞序信息輸出裝置中，統(tǒng)計(jì)翻譯過(guò)程中，在已知目前已翻譯的 用語(yǔ)的位置的狀態(tài)下，難W在源語(yǔ)言句中正確確定下一個(gè)應(yīng)翻譯的用語(yǔ)的位置。
[0012] 進(jìn)一步具體而言，在詞匯重排序模型中，由于僅使用了非連續(xù)的概率，因而不能確 定遠(yuǎn)離CP的NP,因此，難W在詞序差異較大的語(yǔ)言之間進(jìn)行高精度的詞序推定。
[0013] 在推定扭曲級(jí)別的概率的模型中，沒(méi)有同時(shí)考慮CP的詞語(yǔ)和NP候選的詞語(yǔ)，因此 無(wú)法正確推定NP。
[0014] 在圖13中示出了上述詞序推定難度問(wèn)題的匯總。圖13的（1)似的例子是表示 僅通過(guò)CP和其周?chē)脑~語(yǔ)無(wú)法正確推定NP的例子。目P，目前在（1)(2)中，與源語(yǔ)言用語(yǔ) "彼"仰為"彼"）（彼：日語(yǔ)，意為"他"）相對(duì)應(yīng)的目標(biāo)語(yǔ)言用語(yǔ)為"he"Oie:英語(yǔ)，意為 "他"）。而且，雖然NP為"買(mǎi)Ot"(買(mǎi)O:日語(yǔ)，意為"買(mǎi)了 "、"買(mǎi)"的過(guò)去時(shí)），但是，在 取得NP"買(mǎi)Ot"時(shí)，需要同時(shí)考慮CP和NP候選的詞語(yǔ)。即，在（1)似的例子中，需要同 時(shí)考慮CP和NP候選的詞語(yǔ)。
[0015] 另外，圖13的（3) (4)的例子是表示僅通過(guò)CP和NP候選的詞語(yǔ)無(wú)法正確進(jìn)行推 定的例子。旨P，在（3)中，CP為"彼"時(shí)，NP為"借"(借:日語(yǔ)，意為"借了"、"借" 的過(guò)去時(shí)），而不是"買(mǎi)Ot"。另外，在（4)中，CP為"彼"時(shí)，NP為"買(mǎi)Ot"，而不是"借 *9t"。旨P，在（3) (4)的例子中，需要考慮相對(duì)詞序。
[0016] 另外，在圖13的（4) (5)的例子是表示并非選擇距離近的詞語(yǔ)就好的例子。在（4) 中，CP為"彼"時(shí)，NP為"買(mǎi)Ot"，但是，在（5)中，CP為"彼"時(shí)，NP為"借9t"。良P，在 (4) (5)的例子中，需要考慮CP和NP候選的周?chē)脑~語(yǔ)。
[0017] 用于解決技術(shù)問(wèn)題的方案
[0018] 本申請(qǐng)的第一項(xiàng)發(fā)明的翻譯詞序信息輸出裝置具備：語(yǔ)句存儲(chǔ)部，能夠存儲(chǔ)源語(yǔ) 言句，所述源語(yǔ)言句是翻譯對(duì)象的源語(yǔ)言的語(yǔ)句；權(quán)重向量存儲(chǔ)部，能夠存儲(chǔ)權(quán)重向量，所 述權(quán)重向量表示向量的各要素的權(quán)重；接受部，用于接受當(dāng)前用語(yǔ)位置，所述當(dāng)前用語(yǔ)位置 是源語(yǔ)言句中的一個(gè)用語(yǔ)位置并且是當(dāng)前的翻譯對(duì)象的用語(yǔ)位置；候選取得部，從源語(yǔ)言 句中取得當(dāng)前用語(yǔ)位置W及一個(gè)W上的下一個(gè)用語(yǔ)位置候選，所述下一個(gè)用語(yǔ)位置候選是 作為當(dāng)前用語(yǔ)之后下一個(gè)被翻譯的候選的用語(yǔ)的位置；向量取得部，分別區(qū)別使用通過(guò)當(dāng) 前用語(yǔ)位置表示的當(dāng)前用語(yǔ)、通過(guò)下一個(gè)用語(yǔ)位置候選表示的下一個(gè)用語(yǔ)候選W及一個(gè)W 上的中間用語(yǔ)，取得具有兩個(gè)W上要素的向量，其中，所述中間用語(yǔ)是當(dāng)前用語(yǔ)與下一個(gè)用 語(yǔ)候選之間的用語(yǔ)；概率信息取得部，使用向量取得部取得的向量W及權(quán)重向量，按照候選 取得部取得的一個(gè)W上的各下一個(gè)用語(yǔ)位置候選分別取得概率信息，其中，所述概率信息 為，關(guān)于所述一個(gè)W上的各下一個(gè)用語(yǔ)位置候選的用語(yǔ)為當(dāng)前用語(yǔ)之后下一個(gè)被翻譯的下 一個(gè)用語(yǔ)的概率的信息；W及輸出部，用于輸出概率信息取得部取得的概率信息。
[0019] 根據(jù)該結(jié)構(gòu)，在已知目前已翻譯的用語(yǔ)位置的狀態(tài)下，能夠在源語(yǔ)言句中正確確 定下一個(gè)應(yīng)翻譯的用語(yǔ)位置。
[0020] 另外，與第一項(xiàng)發(fā)明相對(duì)應(yīng)地，本申請(qǐng)的第二項(xiàng)發(fā)明的翻譯詞序信息輸出裝置為， 向量取得部具備：原始信息取得單元，用于取得原始信息，所述原始信息具有：當(dāng)前用語(yǔ)、 包含該當(dāng)前用語(yǔ)前方的第一個(gè)用語(yǔ)或后方的第一個(gè)用語(yǔ)在內(nèi)的一個(gè)W上的當(dāng)前用語(yǔ)周邊 用語(yǔ)、下一個(gè)用語(yǔ)候選、包含該下一個(gè)用語(yǔ)候選前方的第一個(gè)用語(yǔ)或后方的第一個(gè)用語(yǔ)在 內(nèi)的一個(gè)W上的下一個(gè)用語(yǔ)周邊用語(yǔ)、關(guān)于在源語(yǔ)言句中當(dāng)前用語(yǔ)與下一個(gè)用語(yǔ)候選的相 對(duì)詞序的信息即詞序信息、關(guān)于當(dāng)前用語(yǔ)與下一個(gè)用語(yǔ)候選在源語(yǔ)言句中的距離的信息即 距離信息、W及當(dāng)前用語(yǔ)與下一個(gè)用語(yǔ)候選之間的用語(yǔ)即一個(gè)W上的中間用語(yǔ)；W及向量 取得單元，使用原始信息取得單元取得的原始信息，取得具有兩個(gè)W上要素的向量。
[0021] 根據(jù)該結(jié)構(gòu)，在已知目前已翻譯的用語(yǔ)的狀態(tài)下，能夠在源語(yǔ)言句中正確確定下 一個(gè)應(yīng)翻譯的用語(yǔ)。
[0022] 此外，與第一項(xiàng)發(fā)明相對(duì)應(yīng)地，本申請(qǐng)的第=項(xiàng)發(fā)明的翻譯詞序信息輸出裝置為， 向量取得部具備：原始信息取得單元，用于取得原始信息，所述原始信息具有：當(dāng)前用語(yǔ)、 包含該當(dāng)前用語(yǔ)前方的第一個(gè)用語(yǔ)或后方的第一個(gè)用語(yǔ)在內(nèi)的一個(gè)W上的當(dāng)前用語(yǔ)周邊 用語(yǔ)、下一個(gè)用語(yǔ)候選、包含該下一個(gè)用語(yǔ)候選前方的第一個(gè)用語(yǔ)或后方的第一個(gè)用語(yǔ)在 內(nèi)的一個(gè)W上的下一個(gè)用語(yǔ)周邊用語(yǔ)、關(guān)于在源語(yǔ)言句中當(dāng)前用語(yǔ)與下一個(gè)用語(yǔ)候選的相 對(duì)詞序的信息即詞序信息、W及關(guān)于當(dāng)前用語(yǔ)與下一個(gè)用語(yǔ)候選在源語(yǔ)言句中的距離的信 息即距離信息；W及向量取得單元，使用原始信息取得單元取得的原始信息，取得具有兩個(gè) W上要素的向量。
[0023] 根據(jù)該結(jié)構(gòu)，在已知目前已翻譯的用語(yǔ)的狀態(tài)下，能夠在源語(yǔ)言句中進(jìn)一步正確 確定下一個(gè)應(yīng)翻譯的用語(yǔ)。
[0024] 此外，本申請(qǐng)的第四項(xiàng)發(fā)明的機(jī)器翻譯裝置具備：用語(yǔ)對(duì)詞典，能夠存儲(chǔ)兩個(gè)W上 的用語(yǔ)對(duì)，所述用語(yǔ)對(duì)是源語(yǔ)言用語(yǔ)與目標(biāo)語(yǔ)言用語(yǔ)的組；上述翻譯詞序信息輸出裝置； 目標(biāo)語(yǔ)言用語(yǔ)取得部，根據(jù)翻譯詞序信息輸出裝置輸出的一個(gè)W上的下一個(gè)用語(yǔ)候選的概 率信息，確定下一個(gè)用語(yǔ)，并從用語(yǔ)對(duì)詞典中取得與該下一個(gè)用語(yǔ)相對(duì)應(yīng)的目標(biāo)語(yǔ)言用語(yǔ)； 目標(biāo)語(yǔ)言句構(gòu)成部，根據(jù)目標(biāo)語(yǔ)言用語(yǔ)取得部取得的一個(gè)W上的目標(biāo)語(yǔ)言用語(yǔ)，構(gòu)成目標(biāo) 語(yǔ)言句；W及目標(biāo)語(yǔ)言句輸出部，用于輸出目標(biāo)語(yǔ)言句構(gòu)成部構(gòu)成的目標(biāo)語(yǔ)言句。
[00巧]根據(jù)該結(jié)構(gòu)，能夠進(jìn)行高精度的機(jī)器翻譯。
[00%]另外，本申請(qǐng)的第五項(xiàng)發(fā)明的學(xué)習(xí)裝置具備：權(quán)重向量存儲(chǔ)部，能夠存儲(chǔ)權(quán)重向 量，所述權(quán)重向量表示向量的各要素的權(quán)重；平行語(yǔ)料庫(kù)存儲(chǔ)部，能夠存儲(chǔ)平行語(yǔ)料庫(kù)，所 述平行語(yǔ)料庫(kù)是源語(yǔ)言句與目標(biāo)語(yǔ)言句的組即兩個(gè)W上的對(duì)譯句；用語(yǔ)對(duì)齊信息存儲(chǔ)部， 能夠存儲(chǔ)用語(yǔ)對(duì)齊信息，所述用語(yǔ)對(duì)齊信息是表示構(gòu)成源語(yǔ)言句的用語(yǔ)與構(gòu)成目標(biāo)語(yǔ)言句 的用語(yǔ)的對(duì)應(yīng)關(guān)系的信息；學(xué)習(xí)部，一邊從兩個(gè)W上的各對(duì)譯句所具有的兩個(gè)W上的各目 標(biāo)語(yǔ)言句的左側(cè)向右側(cè)移動(dòng)各目標(biāo)語(yǔ)言句的當(dāng)前用語(yǔ)，一邊取得表示各目標(biāo)語(yǔ)言句的當(dāng)前 用語(yǔ)的位置的當(dāng)前用語(yǔ)位置、W及表示下一個(gè)用語(yǔ)的位置的下一個(gè)用語(yǔ)位置，并使用用語(yǔ) 對(duì)齊信息，取得與各目標(biāo)語(yǔ)言句的現(xiàn)用語(yǔ)位置W及下一個(gè)用語(yǔ)位置相對(duì)應(yīng)的如下信息，即 表示各源語(yǔ)言句的現(xiàn)用語(yǔ)的位置的現(xiàn)用語(yǔ)位置、表示下一個(gè)用語(yǔ)的位置的下一個(gè)用語(yǔ)位置 W及除該下一個(gè)用語(yǔ)位置W外的全部下一個(gè)用語(yǔ)位置候選，并取得與各源語(yǔ)言句的當(dāng)前用 語(yǔ)位置、下一個(gè)用語(yǔ)位置W及全部下一個(gè)用語(yǔ)位置候選相關(guān)的一個(gè)或兩個(gè)W上的特征量， 進(jìn)而使用該取得的特征量，W使賭達(dá)到最大的方式確定權(quán)重向量，從而取得該權(quán)重向量；W 及權(quán)重向量累積部，將學(xué)習(xí)部取得的權(quán)重向量累積到所述權(quán)重向量存儲(chǔ)部中。
[0027] 根據(jù)該結(jié)構(gòu)，能夠?qū)W習(xí)用于進(jìn)行高精度的機(jī)器翻譯的權(quán)重向量。 陽(yáng)O測(cè)發(fā)明效果
[0029] 根據(jù)基于本發(fā)明的翻譯詞序信息輸出裝置，在機(jī)器翻譯過(guò)程中，能夠正確確定翻 譯的詞序。
【附圖說(shuō)明】
[0030] 圖1是第一實(shí)施方式中的翻譯詞序信息輸出裝置1的框圖。
[0031] 圖2是用于對(duì)第一實(shí)施方式中的翻譯詞序信息輸出裝置1的動(dòng)作進(jìn)行說(shuō)明的流程 圖。
[0032] 圖3是示出第一實(shí)施方式中的序列（Sequence)模型的標(biāo)注（1油el)系列的圖。
[0033] 圖4是第二實(shí)施方式中的機(jī)器翻譯裝置2的框圖。
[0034] 圖5是第S實(shí)施方式中的學(xué)習(xí)裝置3的框圖。
[0035] 圖6是用于對(duì)第=實(shí)施方式中的學(xué)習(xí)裝置3的動(dòng)作進(jìn)行說(shuō)明的流程圖。
[0036] 圖7是示出第S實(shí)施方式中的實(shí)驗(yàn)結(jié)果的圖。
[0037] 圖8是示出第=實(shí)施方式中的其他實(shí)驗(yàn)結(jié)果的圖。
[0038] 圖9是上述各實(shí)施方式中的計(jì)算機(jī)系統(tǒng)的概略圖。
[0039] 圖10是上述各實(shí)施方式中的計(jì)算機(jī)系統(tǒng)的框圖。
[0040] 圖11是示出現(xiàn)有技術(shù)中的CP和NP的例子的圖。
[0041] 圖12是說(shuō)明現(xiàn)有技術(shù)中的詞匯重排列模型的圖。
[0042] 圖13是說(shuō)明現(xiàn)有技術(shù)的問(wèn)題的圖。
【具體實(shí)施方式】
[0043] W下，參照附圖，對(duì)翻譯詞序信息輸出裝置等的實(shí)施方式進(jìn)行說(shuō)明。此外，在實(shí)施 方式中賦予了相同附圖標(biāo)記的構(gòu)成要素執(zhí)行相同的動(dòng)作，因而有時(shí)對(duì)其省略重復(fù)說(shuō)明。
[0044] (第一實(shí)施方式）
[0045] 在本實(shí)施方式中，對(duì)翻譯詞序信息輸出裝置進(jìn)行說(shuō)明，該翻譯詞序信息輸出裝置 在已知目前已翻譯的用語(yǔ)的狀態(tài)下，能夠在源語(yǔ)言句中正確確定下一個(gè)應(yīng)翻譯的用語(yǔ)。此 夕F，在本說(shuō)明書(shū)中，用語(yǔ)通常是指單詞，但也可W是多個(gè)單詞、句子等。另外，翻譯詞序信息 輸出裝置通常在統(tǒng)計(jì)翻譯中被利用。
[0046] 另外，本翻譯詞序信息輸出裝置使用后述的對(duì)（Pair)模型或序列