多語種混語文本字音轉(zhuǎn)換方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種多語種混語文本字音轉(zhuǎn)換方法及系統(tǒng)，該方法包括：接收待處理多語種混語文本；確定所述混語文本中的主語種文本及次語種文本；采用統(tǒng)一發(fā)音符號(hào)對(duì)所述混語文本中的主語種文本和次語種文本分別進(jìn)行字音轉(zhuǎn)換，得到主語種文本語音符號(hào)序列和次語種文本語音符號(hào)序列；修正所述次語種文本語音符號(hào)序列的韻律；連接所述主語種文本語音符號(hào)序列及修正后的次語種文本語音符號(hào)序列，得到混語文本語音符號(hào)序列。利用本發(fā)明，可以使主語種文本語音符號(hào)序列和次語種文本語音符號(hào)序列連接處的韻律感更平穩(wěn)。
【專利說明】
多語種混語文本字音轉(zhuǎn)換方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及自然語言處理領(lǐng)域，具體設(shè)及一種多語種混語文本字音轉(zhuǎn)換方法及系 統(tǒng)。
【背景技術(shù)】
[0002] 隨著世界經(jīng)濟(jì)、文化交流的日益增多，W及互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，全球信息化程 度迅速提高，進(jìn)而產(chǎn)生大量新詞、新術(shù)語。然而，并不是所有語種都可W完全表達(dá)所有新詞、 新術(shù)語。因此，在一個(gè)語種文本中經(jīng)常會(huì)出現(xiàn)其它語種的文本，即混語文本，如"APEC成立 于1989年"，"Microsoft Office是微軟公司開發(fā)的一套辦公軟件"等中文中混有英文文 本的情況。一般混語文本的主語種是預(yù)先確定的，所述主語種文本占據(jù)混語文本的主要內(nèi) 容，非主語種的文本稱為次語種文本。由于不同語種在聲學(xué)層面有很大區(qū)別，如主語種為中 文，次語種為英文時(shí)，中文詞由單音節(jié)字組成，每個(gè)音節(jié)都有聲調(diào)，所述聲調(diào)表示基頻高低 變化；英文詞音節(jié)個(gè)數(shù)為一個(gè)或多個(gè)，詞內(nèi)重音落在其中一個(gè)音節(jié)上，所述重音表示聲強(qiáng)大 小變化。因此，混語文本的字音轉(zhuǎn)換必須考慮主語種與次語種連接處韻律的平穩(wěn)性。而現(xiàn) 有的混語文本字音轉(zhuǎn)換方法一般是針對(duì)混語文本中每個(gè)語種使用各自的字音轉(zhuǎn)換方法，即 主語種使用主語種字音轉(zhuǎn)換方法，次語種使用次語種字音轉(zhuǎn)換方法，最后將主、次語種字音 轉(zhuǎn)換后的語音符號(hào)序列相連接得到混語文本字音轉(zhuǎn)換后的語音符號(hào)序列。顯然現(xiàn)有方法容 易造成混語文本中主語種和次語種連接處的韻律感較差，韻律不平穩(wěn)的現(xiàn)象，從而降低應(yīng) 用效果。如混語文本的拼接語音合成系統(tǒng)中，主語種和次語種的合成語音段拼接處容易出 現(xiàn)韻律平穩(wěn)性較差，韻律變化較突兀的現(xiàn)象，嚴(yán)重影響混語文本合成語音的自然度。因此， 如何對(duì)混語文本進(jìn)行字音轉(zhuǎn)換，使得到的語音符號(hào)序列在主語種和次語種連接處的韻律更 加平穩(wěn)成為研究人員的重要研究任務(wù)。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明實(shí)施例提供一種多語種混語文本字音轉(zhuǎn)換方法及系統(tǒng)，W使主語種文本語 音符號(hào)序列和次語種文本語音符號(hào)序列連接處的韻律感更平穩(wěn)。
[0004] 為此，本發(fā)明實(shí)施例提供如下技術(shù)方案： 陽〇化]一種多語種混語文本字音轉(zhuǎn)換方法，包括：
[0006] 接收待處理多語種混語文本；
[0007] 確定所述混語文本中的主語種文本及次語種文本；
[0008] 采用統(tǒng)一發(fā)音符號(hào)對(duì)所述混語文本中的主語種文本和次語種文本分別進(jìn)行字音 轉(zhuǎn)換，得到主語種文本語音符號(hào)序列和次語種文本語音符號(hào)序列； 陽009] 修正所述次語種文本語音符號(hào)序列的韻律；
[0010] 連接所述主語種文本語音符號(hào)序列及修正后的次語種文本語音符號(hào)序列，得到混 語文本語音符號(hào)序列。
[0011] 優(yōu)選地，所述確定所述混語文本中的主語種文本及次語種文本包括：
[0012] 根據(jù)各語種詞典或通過字符編碼確定當(dāng)前文本是主語種文本還是次語種文本。
[0013] 優(yōu)選地，所述修正所述次語種文本語音符號(hào)序列的韻律包括W下任意一種或多種 修正：
[0014] 對(duì)主語種缺失的次語種發(fā)音符號(hào)的發(fā)音進(jìn)行修正；
[0015] 對(duì)次語種音節(jié)結(jié)構(gòu)進(jìn)行修正；
[0016] 對(duì)次語種韻律特征進(jìn)行修正。
[0017] 優(yōu)選地，所述對(duì)主語種缺失的次語種發(fā)音符號(hào)的發(fā)音進(jìn)行修正包括：
[0018] 將所述次語種發(fā)音符號(hào)映射為主語種發(fā)音最相近的發(fā)音符號(hào)；或者
[0019] 對(duì)主語種缺失的次語種發(fā)音符號(hào)進(jìn)行錄音。
[0020] 優(yōu)選地，所述對(duì)次語種音節(jié)結(jié)構(gòu)進(jìn)行修正包括：
[0021] 對(duì)于次語種中的音節(jié)結(jié)構(gòu)Ci$V$Ct，。為輔音頭，V為元音核，C t為輔音尾，如果次 語種音節(jié)結(jié)構(gòu)Ci$V$Ct中的Ci和Ct在主語種中不出現(xiàn)，則根據(jù)主語種輔音頭集合{CJ和輔 音尾集合{Ct}，將次語種Ci$V$Ct拆分為兩個(gè)或多個(gè)音節(jié)。
[0022] 優(yōu)選地，所述對(duì)次語種韻律特征進(jìn)行修正包括W下任意一種或多種：
[0023] 如果主語種和次語種均為音素語言，則取消次語種重音，然后按主語種規(guī)則或者 主語種預(yù)先訓(xùn)練得到的重音預(yù)測(cè)模型在次語種詞內(nèi)部預(yù)測(cè)音節(jié)串的重音位置；
[0024] 如果主語種和次語種均為音節(jié)語言，則取消次語種聲調(diào)，用和主語種聲調(diào)曲線圖 最接近的聲調(diào)符號(hào)設(shè)置音節(jié)聲調(diào)；
[00巧]如果主語種為音素語言，次語種為音節(jié)語言，則取消次語種聲調(diào)，按主語種規(guī)則或 者主語種預(yù)先訓(xùn)練得到的重音預(yù)測(cè)模型在次語種詞內(nèi)部預(yù)測(cè)音節(jié)串的重音位置；
[00%] 如果主語種為音節(jié)語言，次語種為音素語言，則對(duì)次語種重音音節(jié)按照主語種降 調(diào)聲調(diào)處理，對(duì)次語種非重音音節(jié)按照主語種平調(diào)聲調(diào)處理。
[0027] 一種多語種混語文本字音轉(zhuǎn)換系統(tǒng)，包括：
[0028] 接收模塊，用于接收待處理多語種混語文本；
[0029] 語種確定模塊，用于確定所述混語文本中的主語種文本及次語種文本；
[0030] 字音轉(zhuǎn)換模塊，用于采用統(tǒng)一發(fā)音符號(hào)對(duì)所述混語文本中的主語種文本和次語種 文本分別進(jìn)行字音轉(zhuǎn)換，得到主語種文本語音符號(hào)序列和次語種文本語音符號(hào)序列；
[0031] 修正模塊，用于修正所述次語種文本語音符號(hào)序列的韻律；
[0032] 輸出模塊，用于連接所述主語種文本語音符號(hào)序列及修正后的次語種文本語音符 號(hào)序列，得到混語文本語音符號(hào)序列。
[0033] 優(yōu)選地，所述語種確定模塊，具體用于根據(jù)各語種詞典或通過字符編碼確定當(dāng)前 文本是主語種文本還是次語種文本。
[0034] 優(yōu)選地，所述修正模塊包括W下任意一個(gè)或多個(gè)單元：
[0035] 發(fā)音修正單元，用于對(duì)主語種缺失的次語種發(fā)音符號(hào)的發(fā)音進(jìn)行修正；
[0036] 音節(jié)結(jié)構(gòu)修正單元，用于對(duì)次語種音節(jié)結(jié)構(gòu)進(jìn)行修正；
[0037] 韻律特征修正單元，用于對(duì)次語種韻律特征進(jìn)行修正。
[0038] 優(yōu)選地，所述發(fā)音修正單元，具體用于將所述次語種發(fā)音符號(hào)映射為主語種發(fā)音 最相近的發(fā)音符號(hào)；或者對(duì)主語種缺失的次語種發(fā)音符號(hào)進(jìn)行錄音。
[0039] 優(yōu)選地，所述音節(jié)結(jié)構(gòu)修正單元，具體用于對(duì)于次語種中的音節(jié)結(jié)構(gòu)Ci$V$Ct，Ci為 輔音頭，V為元音核，Ct為輔音尾，如果次語種音節(jié)結(jié)構(gòu)c i$v$Ct中的c 1和c t在主語種中不 出現(xiàn)，則根據(jù)主語種輔音頭集合{CJ和輔音尾集合{CtK將次語種Ci$V$Ct拆分為兩個(gè)或多 個(gè)音節(jié)。
[0040] 優(yōu)選地，所述韻律特征修正單元包括W下任意一個(gè)或多個(gè)子單元：
[0041] 第一修正子單元，用于在主語種和次語種均為音素語言時(shí)，取消次語種重音，然后 按主語種規(guī)則或者主語種預(yù)先訓(xùn)練得到的重音預(yù)測(cè)模型在次語種詞內(nèi)部預(yù)測(cè)音節(jié)串的重 音位置；
[0042] 第二修正子單元，用于在主語種和次語種均為音節(jié)語言時(shí)，取消次語種聲調(diào)，用和 主語種聲調(diào)曲線圖最接近的聲調(diào)符號(hào)設(shè)置音節(jié)聲調(diào).
[0043] 第Ξ修正子單元，用于在主語種為音素語言，次語種為音節(jié)語言時(shí)，取消次語種聲 調(diào)，按主語種規(guī)則或者主語種預(yù)先訓(xùn)練得到的重音預(yù)測(cè)模型在次語種詞內(nèi)部預(yù)測(cè)音節(jié)串的 重音位置；
[0044] 第四修正子單元，用于在主語種為音節(jié)語言，次語種為音素語言時(shí)，對(duì)次語種重音 音節(jié)按照主語種降調(diào)聲調(diào)處理，對(duì)次語種非重音音節(jié)按照主語種平調(diào)聲調(diào)處理。
[0045] 本發(fā)明實(shí)施例提供的多語種混語文本字音轉(zhuǎn)換方法及系統(tǒng)，對(duì)所述混語文本中的 主語種文本和次語種文本分別進(jìn)行字音轉(zhuǎn)換，并在轉(zhuǎn)換時(shí)采用統(tǒng)一發(fā)音符號(hào)描述混語文本 的發(fā)音情況，得到主語種文本語音符號(hào)序列和次語種文本語音符號(hào)序列，然后對(duì)次語種文 本語音符號(hào)序列的韻律進(jìn)行修正，然后連接主語種文本語音符號(hào)序列及修正后的次語種文 本語音符號(hào)序列，得到混語文本語音序號(hào)序列。由于修正后的次語種文本語音符號(hào)序列的 韻律更加符合主語種文本語音符號(hào)序列的韻律，從而使主語種文本語音符號(hào)序列和次語種 文本語音符號(hào)序列連接處的韻律感更平穩(wěn)。
【附圖說明】
[0046] 為了更清楚地說明本申請(qǐng)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例中所 需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明中記載的一 些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，還可W根據(jù)運(yùn)些附圖獲得其他的附圖。
[0047] 圖1是本發(fā)明實(shí)施例多語種混語文本字音轉(zhuǎn)換方法的流程圖；
[0048] 圖2是本發(fā)明實(shí)施例多語種混語文本字音轉(zhuǎn)換系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0049] 為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明實(shí)施例的方案，下面結(jié)合附圖和實(shí)施 方式對(duì)本發(fā)明實(shí)施例作進(jìn)一步的詳細(xì)說明。
[0050] 字音轉(zhuǎn)換是指將文字序列轉(zhuǎn)換成相應(yīng)的發(fā)音內(nèi)容后，使用語音符號(hào)序列表示所述 發(fā)音內(nèi)容的過程。對(duì)于單一語種文本，可W根據(jù)該語種的發(fā)音特點(diǎn)，實(shí)現(xiàn)相應(yīng)的字音轉(zhuǎn)換。 而對(duì)于多語種混語文本，本發(fā)明實(shí)施例采用統(tǒng)一發(fā)音符號(hào)描述混語文本的發(fā)音情況，對(duì)所 述混語文本中的主語種文本和次語種文本分別進(jìn)行字音轉(zhuǎn)換，得到主語種文本語音符號(hào)序 列和次語種文本語音符號(hào)序列，并對(duì)次語種文本語音符號(hào)序列的韻律進(jìn)行修正，然后連接 主語種文本語音符號(hào)序列及修正后的次語種文本語音符號(hào)序列，得到混語文本語音序號(hào)序 列。由于修正后的次語種文本語音符號(hào)序列的韻律更加符合主語種文本語音符號(hào)序列的韻 律，從而使主語種文本語音符號(hào)序列和次語種文本語音符號(hào)序列連接處的韻律感更平穩(wěn)。
[0051] 如圖1所示，是本發(fā)明實(shí)施例多語種混語文本字音轉(zhuǎn)換方法的流程圖，包括W下 步驟：
[0052] 步驟101，接收待處理多語種混語文本。
[0053] 所述多語種混語文本中包括一種主語種文本，一種或多種非主語種文本，為了描 述方便，將其它非主語種文本統(tǒng)稱為次語種文本。所述主語種和次語種是預(yù)先確定的。
[0054] 步驟102,確定所述混語文本中的主語種文本及次語種文本。 陽化5] 具體地，可W從文本形式上判斷待處理文本是為主語種文本還是次語種文本。比 如，可W根據(jù)主語種詞典或通過字符編碼來判斷待處理文本是否為主語種文本。
[0056] 需要說明的是，如果混語文本中的次語種文本字符屬于多個(gè)語種，則可W分別根 據(jù)各次語種詞典或通過字符編碼來判斷次語種文本所屬的語種。
[0057] 步驟103,采用統(tǒng)一發(fā)音符號(hào)對(duì)所述混語文本中的主語種文本和次語種文本分別 進(jìn)行字音轉(zhuǎn)換，得到主語種文本語音符號(hào)序列和次語種文本語音符號(hào)序列。
[0058] 本案中，在混語文本的發(fā)音上，使用統(tǒng)一的發(fā)音符號(hào)進(jìn)行描述。統(tǒng)一的發(fā)音符號(hào)定 義遵循原則為有明顯發(fā)音差異的發(fā)音單元定義為不同發(fā)音符號(hào)，不同語種間發(fā)音相似的發(fā) 音單元定義同一個(gè)發(fā)音符號(hào)。例如中文的聲母[P]和英文的輔音[P]發(fā)音相似，發(fā)音符號(hào) 統(tǒng)一定義為b ;再如中文的韻母[iy和英文的元音[Λ ]發(fā)音相似，發(fā)音符號(hào)統(tǒng)一定義為a。 需說明：[P]、[為]、[八]為國際音標(biāo)符號(hào)。定義的發(fā)音符號(hào)不限于b、a。
[0059] 對(duì)于包含聲韻母的音節(jié)語言，需要將聲韻母進(jìn)行拆分，聲母可拆分為一個(gè)或多個(gè) 輔音音素，韻母可拆分為元音核加上零到多個(gè)輔音音素尾。其中元音核可W為單元音或復(fù) 合元音。如中文"語音合成"中"音"的語音符號(hào)序列為即將韻母"in"拆分成元 音核"i"和輔音尾"η"來描述。
[0060] 對(duì)于混語文本中的主語種文本和次語種文本，分別采用單一語種轉(zhuǎn)換方法對(duì)其進(jìn) 行字音轉(zhuǎn)換，得到各自對(duì)應(yīng)的主語種文本語音符號(hào)序列和次語種文本語音符號(hào)序列。
[0061] W中文為例，具體的字音轉(zhuǎn)換過程如下：首先對(duì)文本進(jìn)行分詞，然后查多音字詞 典，標(biāo)記多音字，得到多音字及存在多音字詞典中的詞的語音符號(hào)序列；然后通過查字典方 式得到其它的語音符號(hào)序列，最后連接各個(gè)字詞的語音符號(hào)序列，得到文本語音符號(hào)序列。 獲取語音符號(hào)序列時(shí)，W詞為邊界進(jìn)行處理。
[0062] 例如，對(duì)于中文文本"長江大橋"，其中"長江"存在多音字詞典中，語音符號(hào)序列的 獲取過程如下所述：
[0063] 首先分詞得到"長江#大橋?yàn)樵~邊界；然后查多音字詞典，標(biāo)記"長江"中 "長"是多音字，得到"長江"的語音符號(hào)序列"ch$a$ngl-j$ia$ngl";然后查字典，依次得到 "大"的語音符號(hào)序列"d$al"，"橋"的語音符號(hào)序列"q$iao2"。最后連接各個(gè)字詞的語音 符號(hào)序列得到文本"長江大橋"的語音符號(hào)序列"ch$a$ngl-j$ia$ngl#d$al-q$iao2"，其中， 符號(hào)"$"表示音素邊界，符號(hào)表示音節(jié)邊界，符號(hào)"表示詞邊界，數(shù)字1、2、3、4表示 所在音節(jié)聲調(diào)。當(dāng)然邊界描述符號(hào)不限于和"#"，聲調(diào)描述符號(hào)也不限于1、2、3、 4。
[0064] 再W英文為例，具體的字音轉(zhuǎn)換過程如下：首先按照空格對(duì)文本進(jìn)行分詞；然后 依次對(duì)每個(gè)詞，查有預(yù)先記錄語音符號(hào)序列的詞典，如果是詞典詞，則得到該詞語音符號(hào)序 列。如果是非詞典詞，則按照規(guī)則或者預(yù)先訓(xùn)練得到的字母-發(fā)音映射模型預(yù)測(cè)該詞發(fā)音 序列；隨后依次對(duì)非詞典詞按照結(jié)構(gòu)Ci$V$Ct預(yù)測(cè)發(fā)音序列音節(jié)位置，其中，Ci為輔音頭，V 為元音核，Ct為輔音尾；隨后依次對(duì)非詞典詞根據(jù)音節(jié)結(jié)構(gòu)預(yù)測(cè)重音位置，得到該詞的語音 符號(hào)序列；最后連接各個(gè)詞的語音符號(hào)序列得到文本語音符號(hào)序列。 柳6日]例如英文文本"good morning",語音符號(hào)序列的獲取過程如下所述： W66] 首先按照空格分詞得到"goocttmorning";然后依次對(duì)good和morning查詞 典；如"good"是詞典詞，可W得到語音符號(hào)序列"g$uh$dl"。如"morning"是非詞典 詞，按照規(guī)則或者預(yù)先訓(xùn)練得到的字母-發(fā)音映射模型預(yù)測(cè)該詞的發(fā)音序列，可W得到 "m$ao$r$n$ih$ng";然后按照結(jié)構(gòu)Ci-V-Ct預(yù)測(cè)發(fā)音序列音節(jié)位置，得到"m$ao$;r-n$ih$ng"; 然后結(jié)合音節(jié)結(jié)構(gòu)按照規(guī)則或者預(yù)先訓(xùn)練得到的重音映射模型預(yù)測(cè)音節(jié)串的重音位置， 得到該詞的語音符號(hào)序列"m$ao$rl-n$ih$ng";最后連接各個(gè)詞的語音符號(hào)序列得到文本 "good morning"的語音符號(hào)序列
[0067] 在實(shí)際應(yīng)用時(shí)，需要預(yù)先建立分別對(duì)應(yīng)主語種和各非主語種的詞典，每個(gè)詞典中 的單詞都帶有發(fā)音標(biāo)記，使用統(tǒng)一的發(fā)音符號(hào)表示。
[0068] 需要說明的是，在本發(fā)明實(shí)施例中，采用統(tǒng)一的發(fā)音符號(hào)對(duì)不同語種文本的發(fā)音 進(jìn)行描述，但對(duì)于每個(gè)語種來說，該語種的各詞與該發(fā)音符號(hào)有一定的對(duì)應(yīng)關(guān)系，因此在進(jìn) 行字音轉(zhuǎn)換時(shí)，需要根據(jù)該對(duì)應(yīng)關(guān)系確定每個(gè)詞的語音符號(hào)序列。也就是說，如果所述混語 文本中包含多個(gè)不同語種的次語種文本，還是需要區(qū)分所述次語種文本所屬的具體語種。 在實(shí)際應(yīng)用中，可W預(yù)先建立各次語種的詞典，在該詞典中收錄一些常用詞，運(yùn)樣，在確定 次語種文本所屬的具體語種時(shí)，就可W通過查找詞典來確定。如果次語種文本包括兩種W 上語種的文本，可W依次查找各語種的詞典，如果在多個(gè)不同語種的詞典中均能查到該文 本，則可W選擇對(duì)應(yīng)人數(shù)多的語種。比如次語種包括英文和西班牙文，Barcelona(己塞羅 那）出現(xiàn)在兩種次語種詞典中，則按照語種人數(shù)最多判斷為英文。
[0069] 另外，對(duì)于一些不能在詞典中查找到的詞，可W根據(jù)字符編碼判定所述詞的字符 屬于哪些語種。比如，英語和西語字符編碼是有區(qū)別的，西語多了 6個(gè)字母：0、6、?、貸、0、 ?。而如果次語種文本包含運(yùn)特殊編碼的字母，則可確定其為西文。但對(duì)于不能用編碼區(qū)分 的非詞典詞，可W選擇對(duì)應(yīng)人數(shù)多的語種作為該文本所屬的語種。
[0070] 步驟104,修正所述次語種文本語音符號(hào)序列的韻律。
[0071] 為了使混語文本語音符號(hào)序列中主語種和次語種的連接處韻律更加平穩(wěn)，在本發(fā) 明實(shí)施例中，對(duì)字音轉(zhuǎn)換后的次語種文本語音符號(hào)序列的韻律進(jìn)行修正，使得到的次語種 文本語音符號(hào)序列更符合主語種語音符號(hào)序列的韻律，具體可W有W下幾種修正方式：
[0072] a)次語種發(fā)音符號(hào)發(fā)音修正
[0073] 對(duì)于主語種缺失的次語種發(fā)音符號(hào)的發(fā)音，在字音轉(zhuǎn)換時(shí)，需要對(duì)所述缺失的次 語種發(fā)音符號(hào)發(fā)音進(jìn)行修正，具體有兩種修正方法：1)根據(jù)發(fā)音相似性，將所述次語種發(fā) 音符號(hào)映射為主語種發(fā)音最相近發(fā)音符號(hào)；2)對(duì)主語種缺失的次語種發(fā)音符號(hào)進(jìn)行錄音。 如次語種為法文，當(dāng)主語種為英文，法文的小舌音可W映射為英文中的卷舌音，或者單獨(dú)對(duì) 法文的小舌音進(jìn)行錄音。
[0074] b)次語種音節(jié)結(jié)構(gòu)修正
[00巧]語言的音節(jié)具有類似的結(jié)構(gòu)Ci$V$Ct，。為輔音頭，V為元音核，C t為輔音尾。C 1和 Ct包含輔音個(gè)數(shù)可W從零到多個(gè)不等。元音V的個(gè)數(shù)只能有一個(gè)，可W為單元音或復(fù)合元 音。如果次語種。和Ct在主語種中不出現(xiàn)，則需要首先對(duì)次語種音節(jié)結(jié)構(gòu)做修正。具體修 正時(shí)根據(jù)主語種輔音頭集合{CJ和輔音尾集合{Ct}，將次語種Ci$V$Ct拆分為兩個(gè)或多個(gè) 音節(jié)，如下所示；
[0076]
陽077] 其中。1、C。、Cim為修正后的輔音頭，所述輔音頭可W為單輔音或輔音串，C ti、Ct2、 Ct。為修正后的輔音尾，所述輔音尾可W為單輔音或輔音串，X為主語種弱讀元音音素。弱讀 元音音素指發(fā)音又短又輕的央元音音素。 W78] 例如，主語種為中文，次語種為英文，次語種詞repOTt的語音符號(hào)序列為 "r$ih-p$ao$tl"，音節(jié)修正后的語音符號(hào)序列為"r$ih-p$aol-t$ax"。
[0079] 例如，主語種為中文，次語種為泰文，次語種詞。ihsmFAviEj''的語音符號(hào)序列為 "P$r$a$k2-t$ae$t3-th$ai 1"，音節(jié)修正后的語音符號(hào)序列為"p$ax2-$r$a2-k$ax2-t$ae3- t$ax3-th$ail"。
[0080] c)次語種韻律特征修正
[0081] 具體修正時(shí)，將混語文本中主語種文本和次語種文本劃分成兩種語言結(jié)構(gòu)，即音 素語言和音節(jié)語言，一般印歐語系語言大多為音素語言，漢藏語系語言大多為音節(jié)語言。音 素語言音節(jié)個(gè)數(shù)為一個(gè)或多個(gè)，詞內(nèi)部重音只有一個(gè)，落在音節(jié)上，如英文。音節(jié)語言往往 為單音節(jié)，音節(jié)上有聲調(diào)，如中文。
[0082] 對(duì)次語種的韻律特征進(jìn)行修正可W有W下幾種情況：
[0083] 1)主語種為音素語言，次語種為音素語言
[0084] 取消次語種重音，按主語種規(guī)則或者主語種預(yù)先訓(xùn)練得到的重音預(yù)測(cè)模型在次語 種詞內(nèi)部預(yù)測(cè)音節(jié)串的重音位置。
[00化]例如，主語種為英文，次語種為法文。次語種詞"的uipe"語音符號(hào)序列為 "ie-k$i$pl"，重音修正后語音符號(hào)序列為"ie-k$i$pl"，本例中修正前后重音位置不變。
[0086] 步2)主語種為音節(jié)語言，次語種為音節(jié)語言
[0087] 取消次語種聲調(diào)，用和主語種聲調(diào)曲線圖最接近的聲調(diào)符號(hào)設(shè)置音節(jié)聲調(diào)。例如 主語種為中文，次語種為泰文，泰文中第一聲調(diào)和中文中平調(diào)聲調(diào)接近，可W將音節(jié)聲調(diào)設(shè) 置為1。
[0088] 例如，主語種為中文，次語種為泰文。次語種詞"ihuyiFTlvi音節(jié)修正后語音符 號(hào)序列為"9$日義2-$'$日2-1<:$日^;2-1$日日3-1$日記-1:11$日;[1"，聲調(diào)修正后語音符號(hào)序列為"9$日又3 -$r$a3-k$ax3-t$ae4-t$ax4-th$ai1"。
[0089] 步3)主語種為音素語言，次語種為音節(jié)語言
[0090] 取消次語種聲調(diào)，按主語種規(guī)則或者主語種預(yù)先訓(xùn)練得到的重音預(yù)測(cè)模型在次語 種詞內(nèi)部預(yù)測(cè)音節(jié)串的重音位置。 W91] 例如，主語種為英文，次語種為中文。次語種詞"中國"語音符號(hào)序列為 "zh$o$ngl-g$uo2 "，重音修正后語音符號(hào)序列為"zh$o$ngl-g$uo "。
[0092] 步4)主語種為音節(jié)語言，次語種為音素語言
[0093] 由于重音和降調(diào)表現(xiàn)形式類似，因此對(duì)次語種重音音節(jié)按照主語種降調(diào)聲調(diào)處 理。由于非重音和平調(diào)表現(xiàn)形式類似，因此對(duì)次語種非重音音節(jié)按照主語種平調(diào)聲調(diào)處理。 例如主語種為中文，次語種為英文，將重音音節(jié)設(shè)置為4,即降調(diào)，非重音音節(jié)設(shè)置為1，即 平調(diào)。
[0094] 例如，主語種為中文，次語種為英文。次語種詞"report"音節(jié)修正后語音符號(hào)序 列為"r$ih-p$aol-t$ax"。聲調(diào)修正后語音符號(hào)序列為"r$ihl-p$ao4-t$axl"。
[0095] 需要說明的是，在實(shí)際應(yīng)用中，可W根據(jù)應(yīng)用需要，針對(duì)上述四種情況之一或任意 幾種進(jìn)行修正，對(duì)此本發(fā)明實(shí)施例不做限定。
[0096] 步驟105,連接所述主語種文本語音符號(hào)序列及修正后的次語種文本語音符號(hào)序 列，得到混語文本語音符號(hào)序列。
[0097] 所述混語文本語音符號(hào)序列用于描述所述混語文本的發(fā)音內(nèi)容，其包括發(fā)音符號(hào) 信息和韻律信息，所述韻律信息包括詞、音節(jié)、重音、聲調(diào)等信息。如中文"語音合成"字音 轉(zhuǎn)換后的語音符號(hào)序列為"7$113-7$1$111拙$62-油$6$叫2";其中，符號(hào)"$"表示音素邊界， 符號(hào)表示音節(jié)邊界，符號(hào)"表示詞邊界，數(shù)字1、2、3、4表示所在音節(jié)聲調(diào)。當(dāng)然邊界 描述符號(hào)不限于和"#"，聲調(diào)描述符號(hào)不限于1、2、3、4。
[0098] 需要說明的是，在實(shí)際應(yīng)用中，上述確定所述混語文本中的主語種文本及次語種 文本及后續(xù)采用單一方式對(duì)確定了語種的文本進(jìn)行字音轉(zhuǎn)換的過程可W有不同的方式，一 種方式是先確定所述混語文本中所有文本的語種類別，即是主語種文本，還是次語種文本， 然后再分別對(duì)其進(jìn)行字音轉(zhuǎn)換；另一種方式對(duì)于當(dāng)前待處理的文本（可W是一句話，一個(gè) 詞等），確定其所屬的語種類別，并根據(jù)確定的語種類別對(duì)其進(jìn)行字音轉(zhuǎn)換，得到相應(yīng)的語 音符號(hào)序列；然后按照前述過程，處理下一個(gè)待處理文本，直到所述混語文本中的所有文本 處理完畢。
[0099] 本發(fā)明實(shí)施例多語種混語文本字音轉(zhuǎn)換方法，采用統(tǒng)一發(fā)音符號(hào)描述混語文本的 發(fā)音情況，對(duì)所述混語文本中的主語種文本和次語種文本分別進(jìn)行字音轉(zhuǎn)換，得到主語種 文本語音符號(hào)序列和次語種文本語音符號(hào)序列，并對(duì)次語種文本語音符號(hào)序列的韻律進(jìn)行 修正，然后連接主語種文本語音符號(hào)序列及修正后的次語種文本語音符號(hào)序列，得到混語 文本語音序號(hào)序列。由于修正后的次語種文本語音符號(hào)序列的韻律更加符合主語種文本語 音符號(hào)序列的韻律，從而使主語種文本語音符號(hào)序列和次語種文本語音符號(hào)序列連接處的 韻律感更平穩(wěn)，提升了混語文本的應(yīng)用效果。
[0100] 需要說明的是，本發(fā)明實(shí)施例的方法可W應(yīng)用于語音合成、語音識(shí)別、語音捜索等 領(lǐng)域。 陽101] 相應(yīng)地，本發(fā)明實(shí)施例還提供一種多語種混語文本字音轉(zhuǎn)換系統(tǒng)，如圖2所示，是 該系統(tǒng)的一種結(jié)構(gòu)示意圖。 陽102] 在該實(shí)施例中，所述系統(tǒng)包括： 陽103] 接收模塊201，用于接收待處理多語種混語文本； 陽104] 語種確定模塊202,用于確定所述混語文本中的主語種文本及次語種文本；
[01化]字音轉(zhuǎn)換模塊203,用于采用統(tǒng)一發(fā)音符號(hào)對(duì)所述混語文本中的主語種文本和次 語種文本分別進(jìn)行字音轉(zhuǎn)換，得到主語種文本語音符號(hào)序列和次語種文本語音符號(hào)序列； 陽106] 修正模塊204,用于修正所述次語種文本語音符號(hào)序列的韻律； 陽107] 輸出模塊205,用于連接所述主語種文本語音符號(hào)序列及修正后的次語種文本語 音符號(hào)序列，得到混語文本語音符號(hào)序列。
[0108] 上述語種確定模塊202可W根據(jù)各語種詞典或通過字符編碼確定當(dāng)前文本是主 語種文本還是次語種文本。
[0109] 需要說明的是，上述語種確定模塊202可W針對(duì)當(dāng)前待處理的文本，確定該文本 是主語種文本還是次語種文本，然后，字音轉(zhuǎn)換模塊203根據(jù)確定的語種類別對(duì)其進(jìn)行字 音轉(zhuǎn)換，得到相應(yīng)的語音符號(hào)序列；然后重復(fù)上述過程，直到所述混語文本中的所有文本處 理完畢。另外，還可W由語種確定模塊202先確定所述混語文本中所有文本的語種類別，即 是主語種文本，還是次語種文本，然后再由字音轉(zhuǎn)換模塊203分別對(duì)其進(jìn)行字音轉(zhuǎn)換。
[0110] 上述修正模塊204可W采用多種方式修正所述次語種文本語音符號(hào)序列的韻律， 比如修正模塊204可W包括W下任意一個(gè)或多個(gè)單元： 陽111] 發(fā)音修正單元，用于對(duì)主語種缺失的次語種發(fā)音符號(hào)的發(fā)音進(jìn)行修正；
[0112] 音節(jié)結(jié)構(gòu)修正單元，用于對(duì)次語種音節(jié)結(jié)構(gòu)進(jìn)行修正；
[0113] 韻律特征修正單元，用于對(duì)次語種韻律特征進(jìn)行修正。 陽114] 其中：
[0115] 所述發(fā)音修正單元具體用于將所述次語種發(fā)音符號(hào)映射為主語種發(fā)音最相近的 發(fā)音符號(hào)；或者對(duì)主語種缺失的次語種發(fā)音符號(hào)進(jìn)行錄音。
[0116] 所述音節(jié)結(jié)構(gòu)修正單元具體用于對(duì)于次語種中的音節(jié)結(jié)構(gòu)Ci$V$Ct，。為輔音頭， V為元音核，Ct為輔音尾，如果次語種音節(jié)結(jié)構(gòu)C 中的C 1和C t在主語種中不出現(xiàn)，貝U 根據(jù)主語種輔音頭集合{CJ和輔音尾集合{Ct}，將次語種Ci$V$Ct拆分為兩個(gè)或多個(gè)音節(jié)。
[0117] 所述韻律特征修正單元可W包括W下任意一個(gè)或多個(gè)子單元：
[0118] 第一修正子單元，用于在主語種和次語種均為音素語言時(shí)，取消次語種重音，然后 按主語種規(guī)則或者主語種預(yù)先訓(xùn)練得到的重音預(yù)測(cè)模型在次語種詞內(nèi)部預(yù)測(cè)音節(jié)串的重 首位置；
[0119] 第二修正子單元，用于在主語種和次語種均為音節(jié)語言時(shí)，取消次語種聲調(diào)，用和 主語種聲調(diào)曲線圖最接近的聲調(diào)符號(hào)設(shè)置音節(jié)聲調(diào)；
[0120] 第Ξ修正子單元，用于在主語種為音素語言，次語種為音節(jié)語言時(shí)，取消次語種聲 調(diào)，按主語種規(guī)則或者主語種預(yù)先訓(xùn)練得到的重音預(yù)測(cè)模型在次語種詞內(nèi)部預(yù)測(cè)音節(jié)串的 重音位置； 陽121] 第四修正子單元，用于在主語種為音節(jié)語言，次語種為音素語言時(shí)，對(duì)次語種重音 音節(jié)按照主語種降調(diào)聲調(diào)處理，對(duì)次語種非重音音節(jié)按照主語種平調(diào)聲調(diào)處理。
[0122] 本發(fā)明實(shí)施例多語種混語文本字音轉(zhuǎn)換系統(tǒng)，采用統(tǒng)一發(fā)音符號(hào)描述混語文本的 發(fā)音情況，對(duì)所述混語文本中的主語種文本和次語種文本分別進(jìn)行字音轉(zhuǎn)換，得到主語種 文本語音符號(hào)序列和次語種文本語音符號(hào)序列，并對(duì)次語種文本語音符號(hào)序列的韻律進(jìn)行 修正，然后連接主語種文本語音符號(hào)序列及修正后的次語種文本語音符號(hào)序列，得到混語 文本語音序號(hào)序列。由于修正后的次語種文本語音符號(hào)序列的韻律更加符合主語種文本語 音符號(hào)序列的韻律，從而使主語種文本語音符號(hào)序列和次語種文本語音符號(hào)序列連接處的 韻律感更平穩(wěn)，提升了混語文本的應(yīng)用效果。
[0123] 本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，各個(gè)實(shí)施例之間相同相似的部 分互相參見即可，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處。尤其，對(duì)于系統(tǒng)實(shí) 施例而言，由于其基本相似于方法實(shí)施例，所W描述得比較簡單，相關(guān)之處參見方法實(shí)施例 的部分說明即可。w上所描述的系統(tǒng)實(shí)施例僅僅是示意性的，其中所述作為分離部件說明 的單元可W是或者也可W不是物理上分開的，作為單元顯示的部件可W是或者也可W不是 物理單元，即可W位于一個(gè)地方，或者也可W分布到多個(gè)網(wǎng)絡(luò)單元上?？蒞根據(jù)實(shí)際的需要 選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出 創(chuàng)造性勞動(dòng)的情況下，即可W理解并實(shí)施。
[0124] W上對(duì)本發(fā)明實(shí)施例進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了【具體實(shí)施方式】對(duì)本發(fā)明進(jìn)行 了闡述，W上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及設(shè)備；同時(shí)，對(duì)于本領(lǐng)域的 一般技術(shù)人員，依據(jù)本發(fā)明的思想，在【具體實(shí)施方式】及應(yīng)用范圍上均會(huì)有改變之處，綜上所 述，本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。
【主權(quán)項(xiàng)】
1. 一種多語種混語文本字音轉(zhuǎn)換方法，其特征在于，包括： 接收待處理多語種混語文本； 確定所述混語文本中的主語種文本及次語種文本； 采用統(tǒng)一發(fā)音符號(hào)對(duì)所述混語文本中的主語種文本和次語種文本分別進(jìn)行字音轉(zhuǎn)換， 得到主語種文本語音符號(hào)序列和次語種文本語音符號(hào)序列； 修正所述次語種文本語音符號(hào)序列的韻律； 連接所述主語種文本語音符號(hào)序列及修正后的次語種文本語音符號(hào)序列，得到混語文 本語音符號(hào)序列。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述混語文本中的主語種文本 及次語種文本包括： 根據(jù)各語種詞典或通過字符編碼確定當(dāng)前文本是主語種文本還是次語種文本。3. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述修正所述次語種文本語音符號(hào)序列 的韻律包括以下任意一種或多種修正： 對(duì)主語種缺失的次語種發(fā)音符號(hào)的發(fā)音進(jìn)行修正； 對(duì)次語種音節(jié)結(jié)構(gòu)進(jìn)行修正； 對(duì)次語種韻律特征進(jìn)行修正。4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對(duì)主語種缺失的次語種發(fā)音符號(hào)的 發(fā)音進(jìn)行修正包括： 將所述次語種發(fā)音符號(hào)映射為主語種發(fā)音最相近的發(fā)音符號(hào)；或者 對(duì)主語種缺失的次語種發(fā)音符號(hào)進(jìn)行錄音。5. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對(duì)次語種音節(jié)結(jié)構(gòu)進(jìn)行修正包括： 對(duì)于次語種中的音節(jié)結(jié)構(gòu)Q為輔音頭，V為元音核，C ,為輔音尾，如果次語種 音節(jié)結(jié)構(gòu)中的CjPCt在主語種中不出現(xiàn)，則根據(jù)主語種輔音頭集合{CJ和輔音尾 集合{CJ，將次語種拆分為兩個(gè)或多個(gè)音節(jié)。6. 根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對(duì)次語種韻律特征進(jìn)行修正包括以 下任意一種或多種： 如果主語種和次語種均為音素語言，則取消次語種重音，然后按主語種規(guī)則或者主語 種預(yù)先訓(xùn)練得到的重音預(yù)測(cè)模型在次語種詞內(nèi)部預(yù)測(cè)音節(jié)串的重音位置； 如果主語種和次語種均為音節(jié)語言，則取消次語種聲調(diào)，用和主語種聲調(diào)曲線圖最接 近的聲調(diào)符號(hào)設(shè)置音節(jié)聲調(diào)； 如果主語種為音素語言，次語種為音節(jié)語言，則取消次語種聲調(diào)，按主語種規(guī)則或者主 語種預(yù)先訓(xùn)練得到的重音預(yù)測(cè)模型在次語種詞內(nèi)部預(yù)測(cè)音節(jié)串的重音位置； 如果主語種為音節(jié)語言，次語種為音素語言，則對(duì)次語種重音音節(jié)按照主語種降調(diào)聲 調(diào)處理，對(duì)次語種非重音音節(jié)按照主語種平調(diào)聲調(diào)處理。7. -種多語種混語文本字音轉(zhuǎn)換系統(tǒng)，其特征在于，包括： 接收模塊，用于接收待處理多語種混語文本； 語種確定模塊，用于確定所述混語文本中的主語種文本及次語種文本； 字音轉(zhuǎn)換模塊，用于采用統(tǒng)一發(fā)音符號(hào)對(duì)所述混語文本中的主語種文本和次語種文本 分別進(jìn)行字音轉(zhuǎn)換，得到主語種文本語音符號(hào)序列和次語種文本語音符號(hào)序列； 修正模塊，用于修正所述次語種文本語音符號(hào)序列的韻律； 輸出模塊，用于連接所述主語種文本語音符號(hào)序列及修正后的次語種文本語音符號(hào)序 列，得到混語文本語音符號(hào)序列。8. 根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于， 所述語種確定模塊，具體用于根據(jù)各語種詞典或通過字符編碼確定當(dāng)前文本是主語種 文本還是次語種文本。9. 根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述修正模塊包括以下任意一個(gè)或多個(gè) 單元： 發(fā)音修正單元，用于對(duì)主語種缺失的次語種發(fā)音符號(hào)的發(fā)音進(jìn)行修正； 音節(jié)結(jié)構(gòu)修正單元，用于對(duì)次語種音節(jié)結(jié)構(gòu)進(jìn)行修正； 韻律特征修正單元，用于對(duì)次語種韻律特征進(jìn)行修正。10. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于， 所述發(fā)音修正單元，具體用于將所述次語種發(fā)音符號(hào)映射為主語種發(fā)音最相近的發(fā)音 符號(hào)；或者對(duì)主語種缺失的次語種發(fā)音符號(hào)進(jìn)行錄音。11. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于， 所述音節(jié)結(jié)構(gòu)修正單元，具體用于對(duì)于次語種中的音節(jié)結(jié)構(gòu)Ci$V$Ct，Ci為輔音頭，V為 元音核，ct為輔音尾，如果次語種音節(jié)結(jié)構(gòu)C jVSCt中的C jp c t在主語種中不出現(xiàn)，則根據(jù) 主語種輔音頭集合{CJ和輔音尾集合{CJ，將次語種拆分為兩個(gè)或多個(gè)音節(jié)。12. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述韻律特征修正單元包括以下任意一 個(gè)或多個(gè)子單元： 第一修正子單元，用于在主語種和次語種均為音素語言時(shí)，取消次語種重音，然后按主 語種規(guī)則或者主語種預(yù)先訓(xùn)練得到的重音預(yù)測(cè)模型在次語種詞內(nèi)部預(yù)測(cè)音節(jié)串的重音位 置； 第二修正子單元，用于在主語種和次語種均為音節(jié)語言時(shí)，取消次語種聲調(diào)，用和主語 種聲調(diào)曲線圖最接近的聲調(diào)符號(hào)設(shè)置音節(jié)聲調(diào)； 第三修正子單元，用于在主語種為音素語言，次語種為音節(jié)語言時(shí)，取消次語種聲調(diào)， 按主語種規(guī)則或者主語種預(yù)先訓(xùn)練得到的重音預(yù)測(cè)模型在次語種詞內(nèi)部預(yù)測(cè)音節(jié)串的重 音位置； 第四修正子單元，用于在主語種為音節(jié)語言，次語種為音素語言時(shí)，對(duì)次語種重音音節(jié) 按照主語種降調(diào)聲調(diào)處理，對(duì)次語種非重音音節(jié)按照主語種平調(diào)聲調(diào)處理。
【文檔編號(hào)】G10L13/08GK105989833SQ201510091480
【公開日】2016年10月5日
【申請(qǐng)日】2015年2月28日
【發(fā)明人】閆潤強(qiáng), 蘇增亮, 姚佳, 祖漪清, 王影, 胡國平, 胡郁, 劉慶峰
【申請(qǐng)人】訊飛智元信息科技有限公司