專(zhuān)利名稱(chēng)：聲音處理系統(tǒng)、聲音處理程序以及聲音處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及將以源語(yǔ)言形式輸入的聲音數(shù)據(jù)變換成目的語(yǔ)言而進(jìn) 行聲音輸出的技術(shù)。
背景技術(shù)：
近年來(lái)，隨著國(guó)際間的交流繁盛，多語(yǔ)言交流的必要性增加，從 而為了實(shí)現(xiàn)多語(yǔ)言交流而需要多語(yǔ)言通譯。作為實(shí)現(xiàn)多語(yǔ)言交流的手 段，伴隨計(jì)算機(jī)的處理能力提高和大容量數(shù)據(jù)庫(kù)利用，聲音識(shí)別技術(shù) 以及自然語(yǔ)言處理技術(shù)、特別是針對(duì)文本的機(jī)械翻譯技術(shù)的高速化以 及高精度化等得到了進(jìn)步。進(jìn)而，聲音合成技術(shù)的高品質(zhì)化得到了進(jìn) 步，可以實(shí)現(xiàn)利用這些技術(shù)的多語(yǔ)言的聲音翻譯裝置(例如參照專(zhuān)利 文獻(xiàn)l)。
在聲音翻譯裝置中，公開(kāi)出如下的技術(shù)為了提高翻譯的正確性， 根據(jù)重要語(yǔ)句規(guī)則抽取條件，可以判定所輸入的源語(yǔ)言信息的重要部 分，根據(jù)判定結(jié)果設(shè)定翻譯精度。并且根據(jù)所設(shè)定的精度，將源語(yǔ)言 信息翻譯成以目的語(yǔ)言記述的對(duì)譯語(yǔ)言信息(例如參照專(zhuān)利文獻(xiàn)2 )。
另外，在聲音翻譯系統(tǒng)中，公開(kāi)出如下的技術(shù)為了提高聲音質(zhì) 量，從源語(yǔ)言的輸入聲音抽取說(shuō)話者的音質(zhì)特征，測(cè)量與目的語(yǔ)言聲 音的類(lèi)似性，根據(jù)所得到的聲質(zhì)類(lèi)似性測(cè)量結(jié)果，合成出與源語(yǔ)言聲 音的聲質(zhì)比較類(lèi)似的目的語(yǔ)言聲音(例如參照專(zhuān)利文獻(xiàn)3)。
專(zhuān)利文獻(xiàn)1:專(zhuān)利公開(kāi)2005 - 141759號(hào)公報(bào)
專(zhuān)利文獻(xiàn)2:專(zhuān)利/>開(kāi)2004 -355118號(hào)7>才艮
專(zhuān)利文獻(xiàn)3:專(zhuān)利〃>開(kāi)2006 -330298號(hào)7>凈艮
另外，上述的以往技術(shù)是通過(guò)測(cè)量所輸入的源語(yǔ)言的聲音的音質(zhì)， 并控制目的語(yǔ)言的聲音合成部而實(shí)現(xiàn)的。另外，根據(jù)輸入源語(yǔ)言的重要度的判定結(jié)果而翻譯成目的語(yǔ)言。但是，在以往的聲音翻譯系統(tǒng)中， 不存在自動(dòng)地變換聲音的韻律特征的技術(shù)，并且未利用輸入輸出聲音 的韻律特征模式與標(biāo)準(zhǔn)的韻律特征模式的差分信息，所以不能得到充 分的精度。
本發(fā)明的目的在于提供一種聲音翻譯系統(tǒng)，利用所輸入的源語(yǔ)言 聲音的韻律特征，并以更高的正確性且更自然的目的語(yǔ)言進(jìn)行輸出。

發(fā)明內(nèi)容
本發(fā)明的代表性的一個(gè)方式的聲音翻譯系統(tǒng)接受基于第l語(yǔ)言的
源聲音的輸入，將上述輸入的內(nèi)容翻譯成第2語(yǔ)言而以聲音形式輸出， 具備輸入處理部，接受上述源聲音的輸入，根據(jù)上述源聲音生成作 為基于上述第1語(yǔ)言的文本的源語(yǔ)言文本以及上述源聲音的韻律信
息；翻譯部，生成將上述源語(yǔ)言文本從上述第1語(yǔ)言翻譯成上述第2
語(yǔ)言的對(duì)譯文；韻律變換信息，包括上述第l語(yǔ)言的韻律信息以及上 述第2語(yǔ)言的韻律信息的對(duì)應(yīng)關(guān)系；韻律特征變換部，根據(jù)上述韻律 變換信息，將上述源聲音的韻律信息變換成上述輸出的聲音的韻律信 息；以及聲音合成部，利用根據(jù)上述輸出的聲音的韻律信息合成的聲 音，輸出上述對(duì)譯文。
根椐本發(fā)明的一個(gè)方式，可以輸出基于所輸入的第l語(yǔ)言(源語(yǔ) 言)的聲音的韻律信息的第2語(yǔ)言(目的語(yǔ)言)的聲音。


圖l是示出本發(fā)明的第1實(shí)施方式的聲音翻譯裝置的結(jié)構(gòu)的圖。 圖2是示出本發(fā)明的第1實(shí)施方式的各結(jié)構(gòu)的處理的關(guān)系的圖。 圖3是示出本發(fā)明的第1實(shí)施方式的聲音翻譯處理的整體的步驟 的流程圖。
圖4是示出本發(fā)明的第1實(shí)施方式的輸入處理部的結(jié)構(gòu)的圖。 圖5是示出本發(fā)明的第1實(shí)施方式的韻律特征變換部的結(jié)構(gòu)的圖。 圖6是示出本發(fā)明的第1實(shí)施方式的韻律變換數(shù)據(jù)庫(kù)的結(jié)構(gòu)的一個(gè)例子的圖。
圖7是示出本發(fā)明的第1實(shí)施方式的韻律特征變換部的處理的步 驟的流程圖。
圖8是本發(fā)明的第2實(shí)施方式的聲音翻譯裝置的包括輸入部以及 輸出部的圖。
圖9是示出本發(fā)明的第2實(shí)施方式的聲音翻譯裝置的輸入輸出畫(huà) 面的一個(gè)例子的圖。
標(biāo)號(hào)說(shuō)明
1聲音翻譯裝置
2處理器
3主存儲(chǔ)器
4存儲(chǔ)部
5輸入部
6輸出部
10輸入處理部
20翻譯部
30韻律特征變換部
40韻律變換數(shù)據(jù)庫(kù)
50聲音合成部
60語(yǔ)言標(biāo)準(zhǔn)韻律集
110聲音特征抽取部
120聲音識(shí)別部
130語(yǔ)言解析部
140選擇結(jié)果對(duì)象顯示修正單元 150特征變更l務(wù)正部 160語(yǔ)言l務(wù)正變更部 310韻律特征差分測(cè)量部 320目的語(yǔ)言韻律特征生成部330差分變換部
340源語(yǔ)言標(biāo)準(zhǔn)韻律集
350目的語(yǔ)言標(biāo)準(zhǔn)韻律集
具體實(shí)施例方式
接下來(lái)，參照附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行說(shuō)明。 (第1實(shí)施方式)
圖l是示出本發(fā)明的第1實(shí)施方式的聲音翻譯裝置l的結(jié)構(gòu)的圖。
聲音翻譯裝置1具備處理器2、主存儲(chǔ)器3、存儲(chǔ)部4、輸入部5 以及輸出部6。另外，在本發(fā)明的第1實(shí)施方式中，構(gòu)成為由聲音翻 譯裝置l處理所有的功能，但作為聲音翻譯系統(tǒng)，也可以構(gòu)成為針對(duì) 每個(gè)功能由不同的計(jì)算機(jī)進(jìn)行處理，也可以構(gòu)成為為了保存向存儲(chǔ)部 4保存的數(shù)據(jù)而包括其他貯存器裝置。
處理器2通過(guò)處理存儲(chǔ)在主存儲(chǔ)器3中的程序，而執(zhí)行各種處理。
主存儲(chǔ)器3存儲(chǔ)由處理器2執(zhí)行的程序以及各種處理的執(zhí)行所需 的數(shù)據(jù)。主存儲(chǔ)器3存儲(chǔ)輸入處理部10、翻譯部20、韻律特征變換部 30以及聲音合成部50。輸入處理部10、翻譯部20、韻律特征變換部 30以及聲音合成部50是由處理器2執(zhí)行的程序。
輸入處理部IO對(duì)所輸入的源語(yǔ)言聲音進(jìn)行處理。翻譯部20對(duì)所 輸入的源語(yǔ)言聲音進(jìn)行翻譯(通譯)。另外，翻譯部20包括方言等同 一語(yǔ)言間的變換。
韻律特征變換部30對(duì)所輸入的源語(yǔ)言聲音進(jìn)行解析，而抽取韻律 的特征。進(jìn)而，根據(jù)所抽取的韻律特征以及目的語(yǔ)言的標(biāo)準(zhǔn)韻律，將 所輸入的源語(yǔ)言聲音的韻律變換成目的語(yǔ)言的韻律。
聲音合成部50根據(jù)由韻律特征變換部30變換后的目的語(yǔ)言的韻 律，合成目的語(yǔ)言的聲音。
存儲(chǔ)部4保存本發(fā)明的聲音翻譯處理中所需的程序以及數(shù)據(jù)。保 存在存儲(chǔ)部4中的程序在執(zhí)行時(shí)被載入主存儲(chǔ)器3。在保存于存儲(chǔ)部4 中的數(shù)據(jù)中，包括韻律變換數(shù)據(jù)庫(kù)40以及語(yǔ)言標(biāo)準(zhǔn)韻律集60。韻律變換數(shù)據(jù)庫(kù)40保存有成為翻譯的對(duì)象的語(yǔ)言間的韻律的對(duì) 應(yīng)信息。語(yǔ)言標(biāo)準(zhǔn)韻律集60是包括與本發(fā)明的聲音翻譯裝置1對(duì)應(yīng)的 語(yǔ)言的文章的巨大的文本數(shù)據(jù)。另外，在進(jìn)行本發(fā)明的說(shuō)明的情況下， 將源語(yǔ)言(輸入)的語(yǔ)言標(biāo)準(zhǔn)韻律集60設(shè)為源語(yǔ)言標(biāo)準(zhǔn)韻律集340， 將目的語(yǔ)言(輸出)的語(yǔ)言標(biāo)準(zhǔn)韻律集60設(shè)為目的語(yǔ)言標(biāo)準(zhǔn)韻律集成 350。
輸入部5接受聲音信息以及文本信息等輸入。具體而言，包括接 受聲音的輸入的麥克風(fēng)、以及接受文本信息等的輸入的鍵盤(pán)等。
輸出部6輸出聲音信息以及文本信息等。具體而言，包括輸出聲 音信息的揚(yáng)聲器、以及顯示翻譯結(jié)果等的通用顯示器等。
圖2是說(shuō)明基于本發(fā)明的第1實(shí)施方式的各結(jié)構(gòu)的處理的關(guān)系的圖。
在本發(fā)明的聲音翻譯裝置1中，由輸入處理部IO接受輸入語(yǔ)言(第 l語(yǔ)言)的源聲音數(shù)據(jù)。輸入處理部IO將所輸入的源聲音數(shù)據(jù)變換成 文本，向翻譯部20以及韻律特征變換部30提交變換結(jié)果。在后面， 使用圖4對(duì)輸入處理部10的結(jié)構(gòu)進(jìn)行詳細(xì)說(shuō)明。
翻譯部20將從源聲音數(shù)據(jù)變換后的基于源語(yǔ)言的文本翻譯成目 的語(yǔ)言(第2語(yǔ)言)。韻律特征變換部30根據(jù)保存在韻律變換數(shù)據(jù)庫(kù) 40中的數(shù)據(jù)，對(duì)輸入語(yǔ)言的聲音數(shù)據(jù)的韻律特征模式進(jìn)行解析，生成 目的語(yǔ)言的聲音數(shù)據(jù)的韻律特征模式。在后面，使用圖5對(duì)韻律特征 變換部30的結(jié)構(gòu)進(jìn)行詳細(xì)說(shuō)明。韻律是利用聲音的長(zhǎng)、短、輔音、原 音或重音的排列的方式來(lái)表示的，韻律特征模式是抽取韻律的特征而 得到的。
聲音合成部50根據(jù)利用由翻譯部20得到的翻譯結(jié)果和由韻律特 征變換部30生成的韻律特征模式合成目的語(yǔ)言的聲音。然后，從輸出 部6輸出所合成的目的語(yǔ)言聲音。
圖3是示出本發(fā)明的第1實(shí)施方式的聲音翻譯處理的整體的步驟 的流程圖。
在本發(fā)明的第1實(shí)施方式的聲音翻譯處理中，首先，聲音翻譯裝置1的處理器2執(zhí)行輸入處理部10，從而執(zhí)行源語(yǔ)言聲音輸入處理 (S2)。在源語(yǔ)言聲音輸入處理中，接受從輸入部5輸入的源語(yǔ)言聲 音，將所輸入的源語(yǔ)言聲音變換成易于解析。具體而言，將聲音信息 變換成文本，或者從聲音信息抽取韻律信息。
如果源語(yǔ)言聲音輸入處理結(jié)束，則處理器2通過(guò)執(zhí)行翻譯部20， 執(zhí)行目的語(yǔ)言翻譯處理(S3)。在目的語(yǔ)言翻譯處理中，根據(jù)文本變 換后的源語(yǔ)言聲音信息，翻譯成目的語(yǔ)言。從源語(yǔ)言翻譯成目的語(yǔ)言 的技術(shù)利用既存的技術(shù)。
如果源語(yǔ)言聲音輸入處理以及目的語(yǔ)言翻譯處理結(jié)束，則處理器 2通過(guò)執(zhí)行韻律特征變換部30，執(zhí)行目的語(yǔ)言韻律特征生成處理(S4 )。 在目的語(yǔ)言韻律特征生成處理中，首先，根據(jù)在源語(yǔ)言聲音輸入處理 中抽取的輸入語(yǔ)言的聲音數(shù)據(jù)的韻律信息，解析韻律特征模式。然后，
根據(jù)所解析出的韻律特征模式以及通過(guò)目的語(yǔ)言翻譯處理翻譯后的目 的語(yǔ)言的翻譯結(jié)果，生成目的語(yǔ)言的聲音信息的韻律信息。在后面， 使用圖6對(duì)目的語(yǔ)言韻律特征生成處理進(jìn)行詳細(xì)說(shuō)明。
最后，處理器2通過(guò)執(zhí)行聲音合成部50，合成所翻譯出的目的語(yǔ) 言的聲音(S5)。具體而言，將通過(guò)目的語(yǔ)言翻譯處理得到的向目的
語(yǔ)言的翻譯結(jié)果變換成聲音信息，在變換后的聲音信息中根據(jù)在目的 語(yǔ)言韻律特征生成處理中生成的韻律信息合成聲音信息。
圖4是示出本發(fā)明的第1實(shí)施方式的輸入處理部IO的結(jié)構(gòu)的圖。 輸入處理部IO構(gòu)成為包括聲音特征抽取部110、聲音識(shí)別部120、
語(yǔ)言解析部130、選擇結(jié)果對(duì)象顯示修正單元140、特征變更修正部
150以及語(yǔ)言修正變更部160。
輸入處理部10首先如果被輸入源語(yǔ)言的聲音，則利用聲音識(shí)別部
120取得源語(yǔ)言的語(yǔ)言文本以及音素分段識(shí)別結(jié)果。音素分段是指，
針對(duì)每個(gè)音素分割所輸入的聲音的處理。
接下來(lái)，輸入處理部10利用聲音特征抽取部110，根據(jù)所輸入的 源語(yǔ)言的聲音數(shù)據(jù)以及利用聲音識(shí)別部120取得的音素分段識(shí)別結(jié) 果，抽取源語(yǔ)言的韻律特征模式。韻律特征模式具體而言是指，音調(diào)模式、能量、重音、持續(xù)長(zhǎng)度、或音素間的無(wú)聲區(qū)間的長(zhǎng)度等。
接下來(lái)，在輸入處理部10中，根據(jù)使用聲音識(shí)別部120抽取的源 語(yǔ)言的韻律特征模式，語(yǔ)言解析部130對(duì)利用聲音識(shí)別部120取得的 語(yǔ)言文本進(jìn)行解析。作為解析方法，例如有詞素解析、句法解析、意 思解析處理等。
在輸入處理部10中，可以利用特征變更修正部150來(lái)修正利用聲 音特征抽取部IIO抽取的源語(yǔ)言的韻律特征模式。另外，可以利用語(yǔ) 言修正變更部160接受源語(yǔ)言的文本信息的輸入，而修正利用語(yǔ)言解 析部130得到的語(yǔ)言文本的解析結(jié)果。特征變更修正部150以及語(yǔ)言 修正變更部160接受來(lái)自包括GUI的選擇結(jié)果對(duì)象顯示修正單元140 的輸入，修正解析結(jié)果。在后面，使用圖9對(duì)GUI的一個(gè)例子進(jìn)行敘 述。
在翻譯部20中，將包括利用輸入處理部IO取得的源語(yǔ)言的語(yǔ)言 文本以及音素分段識(shí)別結(jié)果的信息設(shè)為輸入，而翻譯成所指定的目的 語(yǔ)言。在利用翻譯部20執(zhí)行的翻譯處理中，可以利用一般的轉(zhuǎn)換方式、 基于規(guī)則方式、統(tǒng)計(jì)性語(yǔ)言模型方式、中間語(yǔ)言方式等機(jī)械翻譯系統(tǒng) 中利用的所有方法。
進(jìn)而，在翻譯部20中，通過(guò)利用韻律特征模式，可以判斷文章中 被強(qiáng)調(diào)的部分，而進(jìn)行更恰當(dāng)?shù)姆g。例如，對(duì)將作為源語(yǔ)言(第1 語(yǔ)言)的日文的輸入文"開(kāi)往東京的列車(chē)即將從3號(hào)線在9點(diǎn)40分發(fā) 車(chē)。"翻譯成作為目的語(yǔ)言(第2語(yǔ)言)的中文的情況進(jìn)行說(shuō)明。在 輸入文中"3號(hào)線，，被強(qiáng)調(diào)的情況下，與"3號(hào)線"對(duì)應(yīng)的中文單詞配 置于翻譯文的第一關(guān)注位置。另外，在輸入文中"9點(diǎn)40分"被當(dāng)作 焦點(diǎn)的情況下，所對(duì)應(yīng)的中文單詞可以配置于翻譯文的第一關(guān)注位置。
圖5是示出本發(fā)明的第1實(shí)施方式的韻律特征變換部30的結(jié)構(gòu)的圖。
韻律特征變換部30包括韻律特征差分測(cè)量部310、差分變換部330 以及目的語(yǔ)言韻律特征生成部320。
韻律特征差分測(cè)量部310首先接受從輸入處理部10的聲音特征抽取部110或特征變更修正部150取得的源語(yǔ)言的韻律特征模式和通過(guò) 語(yǔ)言解析部130或語(yǔ)言修正變更部160得到的源語(yǔ)言的句法解析結(jié)果。 韻律特征差分測(cè)量部310參照源語(yǔ)言標(biāo)準(zhǔn)韻律集340，測(cè)量源語(yǔ)言的 韻律特征模式和標(biāo)準(zhǔn)韻律模式的差分。具體而言，針對(duì)音調(diào)模式、能 量、重音、持續(xù)長(zhǎng)度、音素間的無(wú)聲區(qū)間的長(zhǎng)度、或輸入文整體水平 的韻律特征模式等，對(duì)源語(yǔ)言的韻律特征模式與標(biāo)準(zhǔn)韻律模式進(jìn)行比 較。接下來(lái)，差分變換部330接受利用翻譯部20翻譯成目的語(yǔ)言的結(jié) 果和源語(yǔ)言的韻律差分測(cè)量分析結(jié)果的輸入。然后，根據(jù)韻律變換數(shù) 據(jù)庫(kù)40，取得最恰當(dāng)?shù)哪康恼Z(yǔ)言的韻律特征模式。韻律變換數(shù)據(jù)庫(kù)40 例如可以實(shí)現(xiàn)成基于集的變換表，在后面利用圖6來(lái)進(jìn)行敘述。圖6是示出本發(fā)明的第l實(shí)施方式的韻律變換數(shù)據(jù)庫(kù)40的結(jié)構(gòu)的 一個(gè)例子的圖。韻律變換數(shù)據(jù)庫(kù)40將源語(yǔ)言的語(yǔ)言解析向量、源語(yǔ)言的韻律差分 解析向量以及目的語(yǔ)言的語(yǔ)言解析向量作為檢索條件(輸入項(xiàng)目)， 將檢索結(jié)果(輸出項(xiàng)目)設(shè)為目的語(yǔ)言的韻律差分解析向量。韻律差 分解析向量是指，對(duì)構(gòu)成韻律特征模式的各項(xiàng)目進(jìn)行數(shù)值化，并將這 些數(shù)值設(shè)為要素的向量。具體而言，檢索條件(輸入項(xiàng)目)包括應(yīng)用領(lǐng)域、句型、源語(yǔ)言 的單詞、詞匯、前后環(huán)境、韻律特征解析向量、目的語(yǔ)言的單詞、詞 匯以及前后音韻環(huán)境。另一方面，檢索結(jié)果(輸出項(xiàng)目)是所映射的 目的語(yǔ)言的韻律差分解析向量。韻律差分解析向量包括音調(diào)模式、能 量、重音、持續(xù)長(zhǎng)度、音素間的無(wú)聲區(qū)間的長(zhǎng)度、輸入文整體水平的 韻律特征模式(平均音調(diào)、平均能量等)等信息。這樣，在韻律變換數(shù)據(jù)庫(kù)40中，將源語(yǔ)言的語(yǔ)言解析向量以及韻 律差分解析向量、與目的語(yǔ)言的語(yǔ)言解析向量以及韻律差分解析向量 對(duì)應(yīng)關(guān)聯(lián)地保存。因此，可以加上源聲音數(shù)據(jù)的韻律，而取得要輸出 的目的語(yǔ)言的韻律。另外，在韻律變換數(shù)據(jù)庫(kù)40的各記錄中，源語(yǔ)言 的單詞與目的語(yǔ)言的單詞無(wú)需成為1對(duì)1，而還有時(shí)以多個(gè)單詞來(lái)對(duì)此處，在返回到圖5的說(shuō)明時(shí)，差分變換部330從韻律變換數(shù)據(jù) 庫(kù)40，利用最大似然決定等算法取得與檢索條件最適合的目的語(yǔ)言的 韻律差分解析向量。另外，將在后面敘述用于取得與檢索條件最適合 的目的語(yǔ)言的韻律差分解析向量的方法。之后，將目的語(yǔ)言韻律差分向量和通過(guò)翻譯部20得到的目的語(yǔ)言 的翻譯結(jié)果作為輸入，參照目的語(yǔ)言標(biāo)準(zhǔn)韻律集350，利用目的語(yǔ)言 韻律特征生成部320生成目的語(yǔ)言的韻律特征模式。接下來(lái)，對(duì)將所輸入的源語(yǔ)言的韻律變換成目的語(yǔ)言的韻律的步 驟進(jìn)行說(shuō)明。圖7是示出本發(fā)明的第1實(shí)施方式的韻律特征變換部30的處理的 步驟的流程圖。本處理是通過(guò)聲音翻譯裝置1的處理器2處理韻律特 征變換部30而執(zhí)行的。處理器2首先根據(jù)源語(yǔ)言的韻律特征模式以及源語(yǔ)言的句法解析 結(jié)果，計(jì)算出輸入文的與各單詞單位對(duì)應(yīng)的韻律特征(S31)。接下來(lái)， 計(jì)算出與各單詞對(duì)應(yīng)的韻律特征向量(S32)。處理器2計(jì)算出與各單詞對(duì)應(yīng)的韻律特征向量和與包含在源語(yǔ)言 標(biāo)準(zhǔn)韻律集340中的各單詞對(duì)應(yīng)的特征向量之間的韻律特征差分向量 (S33)。進(jìn)而，根據(jù)與源語(yǔ)言的各單詞對(duì)應(yīng)的目的語(yǔ)言翻譯結(jié)果和源 語(yǔ)言的韻律特征差分向量，制成韻律變換數(shù)據(jù)庫(kù)的檢索條件。接下來(lái)，處理器2從韻律變換數(shù)據(jù)庫(kù)40檢索出源語(yǔ)言的單詞與目 的語(yǔ)言翻譯結(jié)果的語(yǔ)言解析向量部分(參照?qǐng)D6) —致的記錄，判定可否取得一致的記錄(S34 )。在無(wú)法檢索出 一致的記錄的情況下(S34 的結(jié)果為"否，，)，執(zhí)行錯(cuò)誤處理(S36),結(jié)束變換作業(yè)。另一方面，處理器2在存在語(yǔ)言解析向量部分一致的記錄的情況 下(S34的結(jié)果為"是")，針對(duì)從韻律變換數(shù)據(jù)庫(kù)40檢索出的記錄 執(zhí)行S35的處理。此處，在S33的處理中取得的源語(yǔ)言的韻律差分向 量與在之前制成的候補(bǔ)語(yǔ)言韻律差分向量的歐幾里德距離最小的情況 下，將該距離定義成最小向量距離。在S35的處理中，檢索成為最小向量距離的源語(yǔ)言韻律特征差分向量、即源語(yǔ)言的最大似然韻律特征差分向量。將與在S35的處理中取得的源語(yǔ)言的韻律差分向量的最小 向量距離對(duì)應(yīng)的目的語(yǔ)言韻律差分向量選擇成最大似然的目的語(yǔ)言的 韻律差分向量。接下來(lái)，處理器2使用所選擇出的目的語(yǔ)言的韻律差分向量和包 含在目的語(yǔ)言標(biāo)準(zhǔn)韻律集350中的目的語(yǔ)言的標(biāo)準(zhǔn)特征向量，計(jì)算出 目的語(yǔ)言的韻律特征向量(S37)。最后，根據(jù)所生成的韻律特征向量， 利用目的語(yǔ)言韻律特征生成部320生成目的語(yǔ)言的韻律特征模式 (S38)。在進(jìn)一步具體說(shuō)明時(shí)，在源語(yǔ)言為日文、目的語(yǔ)言為英文的情況 下，測(cè)量出所輸入的日文源聲音的音調(diào)模式與標(biāo)準(zhǔn)模式的差分。根據(jù) 所測(cè)量出的差分值，利用通過(guò)在翻譯部20取得的翻譯結(jié)果，可以估計(jì) 出所對(duì)應(yīng)的英文內(nèi)容的恰當(dāng)?shù)膹?qiáng)調(diào)模式。另外，作為另一例子，在源語(yǔ)言為日文、目的語(yǔ)言為中文的情況 下，測(cè)量出所輸入的日語(yǔ)疑問(wèn)句的韻律特征中反映的整體性的音調(diào)模 式特征與標(biāo)準(zhǔn)模式的差分。根據(jù)所測(cè)量出的差分值，可以生成所對(duì)應(yīng) 的中文疑問(wèn)句的恰當(dāng)?shù)囊粽{(diào)模式。聲音合成部50輸入以目的語(yǔ)言翻譯成的字符串，根據(jù)所變換后的 目的語(yǔ)言的韻律特征合成聲音而從輸出部6輸出。聲音合成處理利用 既存的技術(shù)，而在此不進(jìn)行詳細(xì)敘述。根據(jù)本發(fā)明的第1實(shí)施方式，根據(jù)所輸入的源語(yǔ)言的韻律特征模 式，生成所輸出的目的語(yǔ)言的韻律特征模式，合成所輸出的聲音信息， 從而可以實(shí)現(xiàn)以更自然的發(fā)聲輸出的聲音翻譯。例如，可以以與所輸 入的聲音信息類(lèi)似的聲質(zhì)合成輸出聲音。進(jìn)而，通過(guò)輸入聲音的重音 或聲量、或者、根據(jù)強(qiáng)調(diào)后的單詞等，即使對(duì)微細(xì)差別的差異也能夠 應(yīng)對(duì)。(第2實(shí)施方式)在本發(fā)明的第1實(shí)施方式中，對(duì)根據(jù)預(yù)先輸入的韻律變換數(shù)據(jù)庫(kù) 40翻譯輸入聲音的情況進(jìn)行了說(shuō)明，但在本發(fā)明的第2實(shí)施方式中，對(duì)通過(guò)由利用者進(jìn)行追加和更新數(shù)據(jù)，而在韻律變換數(shù)據(jù)庫(kù)40中具備學(xué)習(xí)功能的情況進(jìn)行說(shuō)明。
另外，在本發(fā)明的第2實(shí)施方式中，針對(duì)與本發(fā)明的第l實(shí)施方式共同的內(nèi)容，恰當(dāng)省略說(shuō)明。
圖8是說(shuō)明本發(fā)明的第2實(shí)施方式的聲音翻譯裝置1的輸入部5以及輸出部6的圖。
本發(fā)明的第2實(shí)施方式的聲音翻譯裝置1包括輸入輸出畫(huà)面DIO、麥克風(fēng)的輸入部D20、麥克風(fēng)的音量調(diào)整部D30、揚(yáng)聲器輸出部D40、以及揚(yáng)聲器的音量調(diào)整部D50。
輸入輸出畫(huà)面D10為觸摸面板，是受理韻律變換數(shù)據(jù)庫(kù)40的記錄的顯示、變更以及追加的GUI接口。輸入輸出畫(huà)面D10如上所述還可以作為向第1實(shí)施方式的特征變更修正部150以及語(yǔ)言修正變更部160輸入修正項(xiàng)目的GUI發(fā)揮功能。
在聲音翻譯裝置l中，向麥克風(fēng)的輸入部D20連接麥克風(fēng)，使用麥克風(fēng)的音量調(diào)整部D30調(diào)整音量。進(jìn)而，向揚(yáng)聲器輸出部D40連接揚(yáng)聲器，而使用揚(yáng)聲器的音量調(diào)整部D50調(diào)整音量。
圖9是示出本發(fā)明的第2實(shí)施方式的聲音翻譯裝置1的輸入輸出畫(huà)面D10的一個(gè)例子的圖。
輸入輸出畫(huà)面D10具備源語(yǔ)言種類(lèi)選擇按鈕1501、目的語(yǔ)言種類(lèi)選擇按鈕1502、翻譯按鈕1503、再現(xiàn)按鈕1504、源語(yǔ)言輸入顯示部1505、目的語(yǔ)言變換結(jié)果顯示部1506、目的語(yǔ)言變換結(jié)果選擇部1507、以及更新按鈕1508。
源語(yǔ)言種類(lèi)選擇按鈕1501選擇從聲音翻譯裝置1的麥克風(fēng)的輸入部D20輸入的源語(yǔ)言聲音的源語(yǔ)言的種類(lèi)。目的語(yǔ)言種類(lèi)選擇按鈕1502選擇翻譯源語(yǔ)言的目的語(yǔ)言。
翻譯按鈕1503執(zhí)行翻譯。在再次希望輸出聲音信息的情況下操作再現(xiàn)按鈕1504。
源語(yǔ)言輸入顯示部1505顯示利用輸入處理部IO對(duì)從聲音翻譯裝置1的麥克風(fēng)的輸入部D20輸入的源語(yǔ)言聲音進(jìn)行處理而得到的結(jié)果。在源語(yǔ)言輸入顯示部1505中，可以變更所輸出的內(nèi)容。通過(guò)變更源語(yǔ)言輸入顯示部1505的內(nèi)容，并操作翻譯按鈕1503，可以利用翻譯部20以及韻律特征變換部30將輸入修正后的源語(yǔ)言的語(yǔ)言解析結(jié)果以及韻律特征模式從源語(yǔ)言的聲音內(nèi)容翻譯成目的語(yǔ)言。
另外，在目的語(yǔ)言變換結(jié)果顯示部1506中，作為翻譯部20以及韻律特征變換部30的處理結(jié)果，顯示出與目的語(yǔ)言的翻譯結(jié)果對(duì)應(yīng)的韻律特征模式。另外，可以在目的語(yǔ)言變換結(jié)果顯示部1506中，顯示多個(gè)目的語(yǔ)言變換結(jié)果。利用者通過(guò)選擇最佳的目的語(yǔ)言變換結(jié)果，并操作所對(duì)應(yīng)的目的語(yǔ)言變換結(jié)果選擇部1507，可以使所選擇的韻律特征模式反映到輸出結(jié)果。如果操作翻譯按鈕1503,則根據(jù)所選擇的目的語(yǔ)言變換結(jié)果，由聲音合成部50合成目的語(yǔ)言的聲音，從揚(yáng)聲器輸出部D40輸出所合成的聲音。另外，也可以變更顯示在目的語(yǔ)言變換結(jié)果顯示部1506上的內(nèi)容自身。
進(jìn)而，如果操作更新按鈕1508，則可以使在源語(yǔ)言輸入顯示部1505和/或目的語(yǔ)言變換結(jié)果顯示部1506上變更的內(nèi)容反映到韻律變換數(shù)據(jù)庫(kù)40。
根據(jù)本發(fā)明的第2實(shí)施方式，通過(guò)修正基于輸入處理部10的處理結(jié)果以及基于韻律特征變換部30的處理結(jié)果，可以使韻律變換數(shù)據(jù)庫(kù)40學(xué)習(xí)到修正事項(xiàng)，而進(jìn)一步提高翻譯的精度。
權(quán)利要求
1. 一種聲音處理系統(tǒng)，接受基于第1語(yǔ)言的源聲音的輸入，將上述輸入的內(nèi)容變換成第2語(yǔ)言而以聲音形式輸出，其特征在于，具備輸入處理部，接受上述源聲音的輸入，根據(jù)上述源聲音生成作為基于上述第1語(yǔ)言的文本的源語(yǔ)言文本以及上述源聲音的韻律信息；翻譯部，生成將上述源語(yǔ)言文本從上述第1語(yǔ)言變換成上述第2語(yǔ)言的對(duì)譯文；韻律變換信息，包括上述第1語(yǔ)言的韻律信息以及上述第2語(yǔ)言的韻律信息的對(duì)應(yīng)關(guān)系；韻律特征變換部，根據(jù)上述韻律變換信息，將上述源聲音的韻律信息變換成上述輸出的聲音的韻律信息；以及聲音合成部，利用根據(jù)上述輸出的聲音的韻律信息合成的聲音，輸出上述對(duì)譯文。
2. 根據(jù)權(quán)利要求l所述的聲音處理系統(tǒng)，其特征在于 上述聲音處理系統(tǒng)保存包括上述第l語(yǔ)言的標(biāo)準(zhǔn)的韻律信息的第1標(biāo)準(zhǔn)韻律信息、以及包括上述第2語(yǔ)言的標(biāo)準(zhǔn)的韻律信息的第2標(biāo) 準(zhǔn)韻律信息，上述韻律特征變換部根據(jù)上述第l標(biāo)準(zhǔn)韻律信息，取得上述源聲音的韻律信息與上述 第l語(yǔ)言的標(biāo)準(zhǔn)的韻律信息之間的差分信息，根據(jù)上述對(duì)譯文以及上述源聲音的韻律信息的差分信息，從上述 韻律變換信息，檢索上述第2語(yǔ)言的韻律信息，根據(jù)上述第2標(biāo)準(zhǔn)韻律信息，取得上述檢索出的第2語(yǔ)言的韻律 信息與上述第2語(yǔ)言的標(biāo)準(zhǔn)的韻律信息之間的差分信息，根據(jù)上述取得的第2語(yǔ)言的韻律信息的差分信息，生成上述輸出 的聲音的韻律信息。
3. 根據(jù)權(quán)利要求2所述的聲音處理系統(tǒng)，其特征在于 上述韻律特征變換部通過(guò)將上述源語(yǔ)言文本分割成單詞，并針對(duì)每個(gè)上述分割出的單詞取得上述第2語(yǔ)言的韻律信息的差分信息，從 而生成為上述輸出的聲音的韻律信息。
4. 根據(jù)權(quán)利要求2所述的聲音處理系統(tǒng)，其特征在于上述韻律 信息是通過(guò)對(duì)包括音調(diào)以及重音的各項(xiàng)目進(jìn)行數(shù)值化后的向量來(lái)被表 示，上述韻律特征變換部在從上述韻律變換信息檢索與上述第l語(yǔ)言 的韻律信息對(duì)應(yīng)的上述第2語(yǔ)言的韻律信息的情況下，將表示上述源 聲音的韻律信息的向量與表示上述第1語(yǔ)言的韻律信息的向量的歐幾 里德距離成為最小的韻律信息設(shè)為檢索結(jié)果。
5. 根據(jù)權(quán)利要求1所述的聲音處理系統(tǒng)，其特征在于上述輸入 處理部解析包含在上述源聲音中的音素，根據(jù)上述音素的解析結(jié)果，生成上述源聲音的韻律信息， 根據(jù)上述源聲音的韻律信息，制成上述源語(yǔ)言文本。
6. 根據(jù)權(quán)利要求l所述的聲音處理系統(tǒng)，其特征在于上述韻律 特征變換部顯示包括上述對(duì)譯文以及所對(duì)應(yīng)的韻律信息的變換結(jié)果， 接受上述變換結(jié)果的修正，使上述修正后的變換結(jié)果反映到上述韻律 變換信息。
7. —種由包含在聲音處理系統(tǒng)中的聲音處理裝置執(zhí)行的聲音處理 程序，該聲音處理系統(tǒng)接受基于第1語(yǔ)言的源聲音的輸入，將上述輸 入的內(nèi)容變換成第2語(yǔ)言而以聲音形式輸出，其特征在于上述聲音處理系統(tǒng)具備包括上述第1語(yǔ)言的韻律信息以及上述第 2語(yǔ)言的韻律信息的對(duì)應(yīng)關(guān)系的韻律變換信息， 上述程序使上述聲音處理裝置執(zhí)行如下步驟 接受上述源聲音的輸入的步驟；根據(jù)上述源聲音生成作為基于上述第l語(yǔ)言的文本的源語(yǔ)言文本 以及上述源聲音的韻律信息的步驟；生成將上述源語(yǔ)言文本從上述第l語(yǔ)言變換成上述第2語(yǔ)言的對(duì) 譯文的步驟；根據(jù)上述韻律變換信息，將上述源聲音的韻律信息變換成上述輸出的聲音的韻律信息的步驟；以及利用根據(jù)上述輸出的聲音的韻律信息合成的聲音，輸出上述對(duì)譯 文的步驟。
8. 根據(jù)權(quán)利要求7所述的聲音處理程序，其特征在于上述聲音 處理系統(tǒng)保存包括上述第l語(yǔ)言的標(biāo)準(zhǔn)的韻律信息的第l標(biāo)準(zhǔn)韻律信 息、以及包括上述第2語(yǔ)言的標(biāo)準(zhǔn)的韻律信息的第2標(biāo)準(zhǔn)韻律信息，變換上述韻律信息的步驟包括根據(jù)上述第1標(biāo)準(zhǔn)韻律信息，取得上述源聲音的韻律信息與上述 第l語(yǔ)言的標(biāo)準(zhǔn)的韻律信息之間的差分信息的步驟；根據(jù)上述對(duì)譯文以及上述源聲音的韻律信息的差分信息，從上述 韻律變換信息，檢索上述第2語(yǔ)言的韻律信息的步驟；根據(jù)上述第2標(biāo)準(zhǔn)韻律信息，取得上述檢索出的第2語(yǔ)言的韻律 信息與上述第2語(yǔ)言的標(biāo)準(zhǔn)的韻律信息之間的差分信息的步驟；根據(jù)上述取得的第2語(yǔ)言的韻律信息的差分信息，生成為上述輸 出的聲音的韻律信息的步驟。
9. 根據(jù)權(quán)利要求8所述的聲音處理程序，其特征在于變換上述 韻律信息的步驟包括將上述源語(yǔ)言文本分割成單詞的步驟，通過(guò)針對(duì)每個(gè)上述分割出的單詞取得上述第2語(yǔ)言的韻律信息的 差分信息，從而生成為上述輸出的聲音的韻律信息。
10. 根據(jù)權(quán)利要求8所述的聲音處理程序，其特征在于上述韻 律信息是利用對(duì)包括音調(diào)以及重音的各項(xiàng)目進(jìn)行數(shù)值化后的向量來(lái)被 表示，從上述韻律變換信息檢索上述第2語(yǔ)言的韻律信息的步驟是將表 示上述源聲音的韻律信息的向量與表示上述第1語(yǔ)言的韻律信息的向 量的歐幾里德距離成為最小的上述第2語(yǔ)言的韻律信息設(shè)為檢索結(jié) 果。
11. 根據(jù)權(quán)利要求7所述的聲音處理程序，其特征在于生成上 述源語(yǔ)言文本以及上述源聲音的韻律信息的步驟包括解析包含在上述源聲音中的音素的步驟；根據(jù)上述音素的解析結(jié)果，生成上述源聲音的韻律信息的步驟；以及根據(jù)上述源聲音的韻律信息，制成上述源語(yǔ)言文本的步驟。
12. 根據(jù)權(quán)利要求7所述的聲音處理程序，其特征在于 變換上述韻律信息的步驟包括顯示包括上述對(duì)譯文以及所對(duì)應(yīng)的韻律信息的變換結(jié)果的步驟； 接受上述變換結(jié)果的修正的步驟；以及 使上述修正后的變換結(jié)果反映到上述韻律變換信息的步驟。
13. —種聲音處理系統(tǒng)中的聲音處理方法，該聲音處理系統(tǒng)接受 基于第l語(yǔ)言的源聲音的輸入，將上述輸入的內(nèi)容變換成第2語(yǔ)言而 以聲音形式輸出，其特征在于上述聲音處理系統(tǒng)具備包括上述第l語(yǔ)言的韻律信息以及上述第 2語(yǔ)言的韻律信息的對(duì)應(yīng)關(guān)系的韻律變換信息， 在上述方法中， 接受上述源聲音的輸入，根據(jù)上述源聲音生成作為基于上述第l語(yǔ)言的文本的源語(yǔ)言文本 以及上述源聲音的韻律信息，生成將上述源語(yǔ)言文本從上述第l語(yǔ)言變換成上述第2語(yǔ)言的對(duì) 譯文，根據(jù)上述韻律變換信息，將上述源聲音的韻律信息變換成上述輸出的聲音的韻律信息，利用根據(jù)上述輸出的聲音的韻律信息合成的聲音，輸出上述對(duì)譯文。
全文摘要
本發(fā)明提供一種聲音處理系統(tǒng)、聲音處理程序以及聲音處理方法，輸出根據(jù)源聲音的韻律信息翻譯出的聲音。聲音翻譯系統(tǒng)接受基于第1語(yǔ)言的源聲音的輸入，將所輸入的內(nèi)容翻譯成第2語(yǔ)言而以聲音形式輸出，具備輸入處理部，接受源聲音的輸入，根據(jù)源聲音生成作為基于第1語(yǔ)言的文本的源語(yǔ)言文本以及源聲音的韻律信息；翻譯部，生成將源語(yǔ)言文本從第1語(yǔ)言翻譯成第2語(yǔ)言的對(duì)譯文；韻律變換信息，包括第1語(yǔ)言的韻律信息以及第2語(yǔ)言的韻律信息的對(duì)應(yīng)關(guān)系；韻律特征變換部，根據(jù)韻律變換信息，將源聲音的韻律信息變換成所輸出的聲音的韻律信息；以及聲音合成部，利用根據(jù)所輸出的聲音的韻律信息合成的聲音，輸出對(duì)譯文。
文檔編號(hào)G06F17/28GK101504643SQ20081017618
公開(kāi)日2009年8月12日 申請(qǐng)日期2008年11月14日 優(yōu)先權(quán)日2008年2月7日
發(fā)明者布社輝 申請(qǐng)人:株式會(huì)社日立制作所