語音翻譯裝置、方法及程序的制作方法
【專利說明】語音翻譯裝置、方法及程序
[0001]相關(guān)申請
[0002]本申請以日本專利申請2014-185583(申請日:2014年9月11日)為基礎(chǔ)，享有該申請的優(yōu)先權(quán)。本申請通過參照該申請，包含該申請的全部內(nèi)容。
技術(shù)領(lǐng)域
[0003]本發(fā)明的實(shí)施方式涉及語音翻譯裝置、方法及程序。
【背景技術(shù)】
[0004]伴隨近年的全球化，支持以不同語言為母語的用戶彼此的交流的翻譯裝置的需求提高。作為這樣的裝置的一例，有在智能手機(jī)等終端工作的語音翻譯應(yīng)用。進(jìn)而，也有假定用于會議或演講等的語音翻譯系統(tǒng)。
[0005]但是，在一般的語音翻譯應(yīng)用中，僅假定用于旅行中假定的會話等簡單的會話。進(jìn)而，在會議或講演等中，難以對說話人的說話方式設(shè)置制約，需要進(jìn)行考慮了自由發(fā)言的處理，但是在上述的語音翻譯系統(tǒng)中，未考慮自由發(fā)言。

【發(fā)明內(nèi)容】

[0006]本公開是為了解決上述的問題而提出的，其目的在于提供能夠?qū)崿F(xiàn)順暢的語音對話的語音翻譯裝置、方法及程序。
[0007]本實(shí)施方式所涉及的語音翻譯裝置包含語音識別部、檢測部、變換部及翻譯部。語音識別部對基于第1語言的語音進(jìn)行語音識別，生成識別結(jié)果字符串。檢測部從上述識別結(jié)果字符串檢測適于翻譯的翻譯單位，生成基于該翻譯單位將該識別結(jié)果字符串分割后的翻譯單位字符串。變換部將上述翻譯單位字符串變換為適于機(jī)器翻譯的表達(dá)即變換字符串。翻譯部將上述變換字符串翻譯為與上述第1語言不同的第2語言，生成翻譯字符串。
[0008]根據(jù)上述構(gòu)成的語音翻譯裝置，能夠?qū)崿F(xiàn)順暢的語音對話。
【附圖說明】
[0009]圖1是表示第1實(shí)施方式所涉及的語音翻譯裝置的方框圖。
[0010]圖2是表示由翻譯單位檢測部使用的判別模型的制作例的圖。
[0011]圖3是表示使用判別模型檢測翻譯單位的一例的圖。
[0012]圖4是表示由語句變換部參照的變換辭典的一例的圖。
[0013]圖5是表示第1實(shí)施方式所涉及的語音翻譯裝置的工作的流程圖。
[0014]圖6是表示識別結(jié)果字符串的生成定時和翻譯單位的檢測定時的圖。
[0015]圖7是表示由語音翻譯裝置的各部分輸出的字符串的具體例的圖。
[0016]圖8是表示第1實(shí)施方式所涉及的顯示部中的顯示例的圖。
[0017]圖9是表示第2實(shí)施方式所涉及的語音翻譯系統(tǒng)的方框圖。
[0018]圖10是表示數(shù)據(jù)存儲部中存儲的數(shù)據(jù)的一例的圖。
[0019]圖11是表示第2實(shí)施方式所涉及的語音翻譯服務(wù)器的工作的流程圖。
[0020]圖12是表示終端中的語音輸出處理的流程圖。
[0021]圖13是表示第2實(shí)施方式所涉及的顯示部的顯示例的圖。
[0022]圖14是表示顯示部中的顯示的第1其他例的圖。
[0023]圖15是表示顯示部中的顯示的第2其他例的圖。
[0024]圖16是表示在終端彼此進(jìn)行通信的情況下的終端(語音翻譯裝置)的方框圖。
【具體實(shí)施方式】
[0025]以下，參照附圖詳細(xì)說明本實(shí)施方式所涉及的語音翻譯裝置、方法及程序。在以下的實(shí)施方式中，設(shè)定標(biāo)注了同一參照符號的部分進(jìn)行同樣的工作，并適宜省略重復(fù)的說明。
[0026]另外，在以下的實(shí)施方式中，以從英語到日語的語音翻譯為前提進(jìn)行說明，但是在從日語到英語的語音翻譯、或者其他語言的組合、或者處理3種語言以上的語言間的語音翻譯的情況下，也可以同樣地進(jìn)行處理。
[0027](第1實(shí)施方式)
[0028]參照圖1的方框圖說明第1實(shí)施方式所涉及的語音翻譯裝置。
[0029]第1實(shí)施方式所涉及的語音翻譯裝置100包含語音取得部101、語音識別部102、翻譯單位檢測部103、語句變換部104、機(jī)器翻譯部105及顯示部106。
[0030]語音取得部101從用戶取得基于第1語言的語音作為語音信號。具體地，例如，可以對用戶的發(fā)言經(jīng)由麥克風(fēng)進(jìn)行集音，將所集音的發(fā)言通過模擬數(shù)字變換而變換為數(shù)字信號的語音信號。
[0031]語音識別部102從語音取得部101接收語音信號，對語音信號進(jìn)行語音識別處理，生成語音識別結(jié)果的字符串即識別結(jié)果字符串。這里，語音識別處理假定是識別連續(xù)的語音的連續(xù)語音識別處理，例如，可以使用隱馬爾科夫模型(Hidden Markov Model)。另夕卜，也可以將應(yīng)用了深層神經(jīng)網(wǎng)絡(luò)的音韻判別方法、使用了 WFST(Weighted Finite StateTransducer:加權(quán)有限狀態(tài)變換器)的最佳單詞序列的搜索用作語音識別處理，由于使用一般的語音識別處理即可，所以省略這里的詳細(xì)說明。
[0032]—般地，語音識別處理基于單詞辭典和/或語言模型等的信息，從發(fā)言的開始向后方進(jìn)行依次縮減可能正確的單詞序列的處理。因此，在單詞序列不縮減而存在不確定的多個單詞序列的情況下，依以后取得的語音信號，有可能在某時刻第1位的優(yōu)先順序的單詞序列被取代，而不同的單詞序列成為第1位的優(yōu)先順序。從而，即使對途中階段的語音識別結(jié)果進(jìn)行機(jī)器翻譯，也無法獲得正確的翻譯結(jié)果。為了確定作為語音識別結(jié)果的單詞序列，在無歧義的語言要素出現(xiàn)了的情況下、或檢測到發(fā)言的暫停(例如，200毫秒以上的無音區(qū)間)的情況下，可以確定之前的單詞序列。
[0033]翻譯單位檢測部103從語音識別部102接收識別結(jié)果字符串，檢測適于機(jī)器翻譯的翻譯單位，生成基于翻譯單位分割識別結(jié)果字符串而得到的字符串即翻譯單位字符串。
[0034]—般，人的發(fā)言即自由發(fā)言中不存在書面語言所包含的句號和逗號等明確的劃分。因此，為了實(shí)現(xiàn)同步性高、品質(zhì)佳的語音翻譯，需要將識別結(jié)果字符串分割為適于翻譯的單位。另外，本實(shí)施方式中使用的翻譯單位的檢測方法假定至少以語音的停頓或發(fā)言中的補(bǔ)白詞作為線索進(jìn)行檢測，關(guān)于詳細(xì)情況將參照圖2及圖3后面描述，但是關(guān)于翻譯單位的檢測方法也可以使用一般的方法。
[0035]語句變換部104從翻譯單位檢測部103接收翻譯單位字符串，將翻譯單位字符串變換為適于機(jī)器翻譯的表達(dá)即變換字符串。具體地，語句變換部104例如參照變換辭典，從翻譯單位字符串刪除不必要詞語，將翻譯單位字符串中的口語表達(dá)變換為書面語表達(dá)，由此生成變換字符串。不必要詞語是例如“文一 <^”、“態(tài)?—”這樣的補(bǔ)白詞。關(guān)于由語句變換部104參照的變換辭典的詳細(xì)情況，參照圖4進(jìn)行說明。
[0036]機(jī)器翻譯部105從語句變換部104接收變換字符串，從第1語言翻譯到第2語言，生成翻譯字符串。由于機(jī)器翻譯部105中的翻譯處理使用轉(zhuǎn)換翻譯方式、用例翻譯方式、統(tǒng)計翻譯方式、中間語言翻譯方式等已有的機(jī)器翻譯處理即可，因此省略這里的說明。
[0037]顯示部106是例如液晶顯示器，從機(jī)器翻譯部105接收變換字符串和翻譯字符串，將變換字符串及翻譯字符串相對應(yīng)地顯示于畫面。
[0038]另外，語音翻譯裝置100也可以包含將變換字符串及翻譯字符串的至少一方作為語音輸出的輸出部。
[0039]接著，參照圖2及圖3說明翻譯單位檢測部103中的翻譯單位的檢測方法的一例。
[0040]圖2是表示制作翻譯單位的判別模型的一例的圖。圖2表示在使翻譯單位檢測部工作之前預(yù)先制作判別模型時的處理。
[0041]在圖2的例子中，表示學(xué)習(xí)用的語料201被進(jìn)行詞素分析而得到的詞素分析結(jié)果202。這里，句子中的標(biāo)簽表示語音中的停頓，標(biāo)簽<B>表示有可能成為翻譯單位的開始位置的詞素的位置。標(biāo)簽<B>通過手動預(yù)先標(biāo)注。
[0042]接著，對詞素分析結(jié)果202，變換為標(biāo)注了與應(yīng)該分割句子的位置(類別B)、應(yīng)該繼續(xù)句子的位置(類別I)對應(yīng)的標(biāo)簽的學(xué)習(xí)數(shù)據(jù)203。這里，假定基于CRF(condit1nalRandom Fields，條件隨機(jī)場)的學(xué)習(xí)。將學(xué)習(xí)數(shù)據(jù)203作為輸入，對各詞素列，學(xué)習(xí)是應(yīng)該分割句子的詞素列還是繼續(xù)句子的詞素列的帶條件概率作為判別模型。另外，在學(xué)習(xí)數(shù)據(jù)203中，標(biāo)簽〈1>表示處于翻譯單位的途中的詞素的位置。
[0043]圖3是表示使用通過圖2所示的處理獲得的2類判別模型(即，判別為類別B和類別I的模型)檢測翻譯單位的一例的圖。
[0044]翻譯單位檢測部103對識別結(jié)果字符串301進(jìn)行詞素分析，獲得詞素分析結(jié)果302。翻譯單位檢測部103參照判別模型，判定作為對象的詞素列是應(yīng)該分割句子的詞素