韻律結(jié)構(gòu)預(yù)測(cè)方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及語(yǔ)音合成技術(shù)領(lǐng)域，尤其涉及一種韻律結(jié)構(gòu)預(yù)測(cè)方法和裝置。
【背景技術(shù)】
[0002]韻律結(jié)構(gòu)預(yù)測(cè)技術(shù)是語(yǔ)音合成技術(shù)的核心，韻律結(jié)構(gòu)預(yù)測(cè)的準(zhǔn)確與否，直接影響到語(yǔ)音合成系統(tǒng)后端的聲學(xué)建模部分，由此可見(jiàn)，韻律結(jié)構(gòu)預(yù)測(cè)在語(yǔ)音合成系統(tǒng)中的重要地位。
[0003]現(xiàn)有的韻律結(jié)構(gòu)預(yù)測(cè)模型主要是利用監(jiān)督學(xué)習(xí)的方法來(lái)訓(xùn)練得到的，為了使得韻律結(jié)構(gòu)預(yù)測(cè)模型達(dá)到較好的性能，往往需要大量人工標(biāo)注的訓(xùn)練數(shù)據(jù)。由于韻律結(jié)構(gòu)預(yù)測(cè)問(wèn)題屬于自然語(yǔ)言處理(Natural Language Processing ;以下簡(jiǎn)稱:NLP)中的結(jié)構(gòu)化預(yù)測(cè)問(wèn)題，而結(jié)構(gòu)化預(yù)測(cè)問(wèn)題的訓(xùn)練數(shù)據(jù)又很難獲得，并且還存在標(biāo)注一致性的問(wèn)題，因此，基于監(jiān)督學(xué)習(xí)方法的韻律結(jié)構(gòu)預(yù)測(cè)模型的性能往往受制于訓(xùn)練數(shù)據(jù)的數(shù)量以及質(zhì)量，這主要體現(xiàn)在訓(xùn)練數(shù)據(jù)的稀疏性和歧義性這兩個(gè)方面，經(jīng)常導(dǎo)致基于監(jiān)督學(xué)習(xí)方法的韻律結(jié)構(gòu)預(yù)測(cè)模型無(wú)法正確預(yù)測(cè)出句子或句子中的詞語(yǔ)的韻律結(jié)構(gòu)。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。
[0005]為此，本發(fā)明的第一個(gè)目的在于提出一種韻律結(jié)構(gòu)預(yù)測(cè)方法。該方法在訓(xùn)練獲得韻律結(jié)構(gòu)預(yù)測(cè)模型時(shí)，引入了詞向量的聚類特征，提升了韻律結(jié)構(gòu)預(yù)測(cè)模型的性能，進(jìn)而可以提升語(yǔ)音合成的效果。
[0006]本發(fā)明的第二個(gè)目的在于提出一種韻律結(jié)構(gòu)預(yù)測(cè)裝置。
[0007]為了實(shí)現(xiàn)上述目的，本發(fā)明第一方面實(shí)施例的韻律結(jié)構(gòu)預(yù)測(cè)方法，包括:對(duì)無(wú)標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)獲得詞語(yǔ)的詞向量；對(duì)所述詞語(yǔ)的詞向量進(jìn)行聚類，獲得所述詞向量的聚類特征；將所述聚類特征加入從標(biāo)注數(shù)據(jù)提取的特征集合中；對(duì)加入所述聚類特征的特征集合進(jìn)行訓(xùn)練獲得帶有聚類特征的韻律結(jié)構(gòu)預(yù)測(cè)模型；通過(guò)所述韻律結(jié)構(gòu)預(yù)測(cè)模型進(jìn)行韻律結(jié)構(gòu)預(yù)測(cè)。
[0008]本發(fā)明實(shí)施例的韻律結(jié)構(gòu)預(yù)測(cè)方法，對(duì)無(wú)標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)獲得詞語(yǔ)的詞向量，然后對(duì)上述詞語(yǔ)的詞向量進(jìn)行聚類，獲得上述詞向量的聚類特征，再將上述詞向量的聚類特征加入從標(biāo)注數(shù)據(jù)提取的特征集合中，最后對(duì)加入上述聚類特征的特征集合進(jìn)行訓(xùn)練獲得帶有聚類特征的韻律結(jié)構(gòu)預(yù)測(cè)模型，從而在訓(xùn)練獲得韻律結(jié)構(gòu)預(yù)測(cè)模型時(shí)，引入了詞向量的聚類特征，提升了韻律結(jié)構(gòu)預(yù)測(cè)模型的性能，然后通過(guò)上述韻律結(jié)構(gòu)預(yù)測(cè)模型進(jìn)行韻律結(jié)構(gòu)預(yù)測(cè)，進(jìn)而可以提升語(yǔ)音合成的效果。
[0009]為了實(shí)現(xiàn)上述目的，本發(fā)明第二方面實(shí)施例的韻律結(jié)構(gòu)預(yù)測(cè)裝置，包括:學(xué)習(xí)模塊，用于對(duì)無(wú)標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)獲得詞語(yǔ)的詞向量；聚類模塊，用于對(duì)所述學(xué)習(xí)模塊獲得的所述詞語(yǔ)的詞向量進(jìn)行聚類，獲得所述詞向量的聚類特征；添加模塊，用于將所述聚類模塊獲得的所述詞向量的聚類特征加入從標(biāo)注數(shù)據(jù)提取的特征集合中；訓(xùn)練模塊，用于對(duì)加入所述聚類特征的特征集合進(jìn)行訓(xùn)練獲得帶有聚類特征的韻律結(jié)構(gòu)預(yù)測(cè)模型；預(yù)測(cè)模塊，用于通過(guò)所述訓(xùn)練模塊獲得的韻律結(jié)構(gòu)預(yù)測(cè)模型進(jìn)行韻律結(jié)構(gòu)預(yù)測(cè)。
[0010]本發(fā)明實(shí)施例的韻律結(jié)構(gòu)預(yù)測(cè)裝置中，學(xué)習(xí)模塊對(duì)無(wú)標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)獲得詞語(yǔ)的詞向量，然后聚類模塊對(duì)上述詞語(yǔ)的詞向量進(jìn)行聚類，獲得上述詞向量的聚類特征，再由添加模塊將上述詞向量的聚類特征加入從標(biāo)注數(shù)據(jù)提取的特征集合中，最后訓(xùn)練模塊對(duì)加入上述聚類特征的特征集合進(jìn)行訓(xùn)練獲得帶有聚類特征的韻律結(jié)構(gòu)預(yù)測(cè)模型，從而在訓(xùn)練獲得韻律結(jié)構(gòu)預(yù)測(cè)模型時(shí)，引入了詞向量的聚類特征，提升了韻律結(jié)構(gòu)預(yù)測(cè)模型的性能，然后預(yù)測(cè)模塊通過(guò)上述韻律結(jié)構(gòu)預(yù)測(cè)模型進(jìn)行韻律結(jié)構(gòu)預(yù)測(cè)，進(jìn)而可以提升語(yǔ)音合成的效果O
[0011]本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。
【附圖說(shuō)明】
[0012]本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中:
[0013]圖1為本發(fā)明韻律結(jié)構(gòu)預(yù)測(cè)方法一個(gè)實(shí)施例的流程圖；
[0014]圖2為本發(fā)明韻律結(jié)構(gòu)預(yù)測(cè)方法中韻律結(jié)構(gòu)預(yù)測(cè)模型的架構(gòu)一個(gè)實(shí)施例的示意圖；
[0015]圖3為本發(fā)明韻律結(jié)構(gòu)預(yù)測(cè)方法中進(jìn)行了聚類特征提取后的訓(xùn)練語(yǔ)料的示意圖；
[0016]圖4為本發(fā)明采用改進(jìn)后的韻律結(jié)構(gòu)預(yù)測(cè)模型的語(yǔ)音合成系統(tǒng)一個(gè)實(shí)施例的示意圖；
[0017]圖5為本發(fā)明韻律結(jié)構(gòu)預(yù)測(cè)裝置一個(gè)實(shí)施例的結(jié)構(gòu)示意圖；
[0018]圖6為本發(fā)明韻律結(jié)構(gòu)預(yù)測(cè)裝置另一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0019]下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過(guò)參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。相反，本發(fā)明的實(shí)施例包括落入所附加權(quán)利要求書(shū)的精神和內(nèi)涵范圍內(nèi)的所有變化、修改和等同物。
[0020]圖1為本發(fā)明韻律結(jié)構(gòu)預(yù)測(cè)方法一個(gè)實(shí)施例的流程圖，如圖1所示，該韻律結(jié)構(gòu)預(yù)測(cè)方法可以包括:
[0021]步驟101，對(duì)無(wú)標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)獲得詞語(yǔ)的詞向量。
[0022]具體地，對(duì)無(wú)標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)獲得詞語(yǔ)的詞向量可以為:通過(guò)類神經(jīng)網(wǎng)絡(luò)語(yǔ)音模型以無(wú)監(jiān)督學(xué)習(xí)的方式對(duì)無(wú)標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)獲得詞語(yǔ)的詞向量。
[0023]步驟102，對(duì)上述詞語(yǔ)的詞向量進(jìn)行聚類，獲得上述詞向量的聚類特征。
[0024]具體地，對(duì)上述詞語(yǔ)的詞向量進(jìn)行聚類，獲得上述詞向量的聚類特征可以為:對(duì)上述詞語(yǔ)的詞向量進(jìn)行聚類，獲得聚類后的每個(gè)類別的類中心向量；計(jì)算給定的詞語(yǔ)的詞向量與所有類中心向量的余弦相似度；判斷上述余弦相似度中最大的余弦相似度是否大于預(yù)先設(shè)置的閾值；如果是，則確定上述給定的詞語(yǔ)的詞向量的聚類特征為上述最大的余弦相似度所對(duì)應(yīng)的類別符號(hào)。
[0025]而如果上述余弦相似度中最大的余弦相似度小于或等于預(yù)先設(shè)置的閾值，則可以確定上述給定的詞語(yǔ)的詞向量的聚類特征為“-1”。
[0026]步驟103，將上述詞向量的聚類特征加入從標(biāo)注數(shù)據(jù)提取的特征集合中。
[0027]步驟104，對(duì)加入上述聚類特征的特征集合進(jìn)行訓(xùn)練獲得帶有聚類特征的韻律結(jié)構(gòu)預(yù)測(cè)模型。
[0028]具體地，對(duì)加入上述聚類特征的特征集合進(jìn)行訓(xùn)練獲得帶有聚類特征的韻律結(jié)構(gòu)預(yù)測(cè)模型可以為:通過(guò)監(jiān)督學(xué)習(xí)的方式對(duì)加入上述聚類特征的特征集合進(jìn)行訓(xùn)練獲得帶有聚類特征的韻律結(jié)構(gòu)預(yù)測(cè)模型。
[0029]步驟105，通過(guò)上述韻律結(jié)構(gòu)預(yù)測(cè)模型進(jìn)行韻律結(jié)構(gòu)預(yù)測(cè)。
[0030]上述韻律結(jié)構(gòu)預(yù)測(cè)方法中，對(duì)無(wú)標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)獲得詞語(yǔ)的詞向量，然后對(duì)上述詞語(yǔ)的詞向量進(jìn)行聚類，獲得上述詞向量的聚類特征，再將上述詞向量的聚類特征加入從標(biāo)注數(shù)據(jù)提取的特征集合中，最后對(duì)加入上述聚類特征的特征集合進(jìn)行訓(xùn)練獲得帶有聚類特征的韻律結(jié)構(gòu)預(yù)測(cè)模型，從而在訓(xùn)練獲得韻律結(jié)構(gòu)預(yù)測(cè)模型時(shí)，引入了詞向量的聚類特征，提升了韻律結(jié)構(gòu)預(yù)測(cè)模型的性能，然后通過(guò)上述韻律結(jié)構(gòu)預(yù)測(cè)模型進(jìn)行韻律結(jié)構(gòu)預(yù)測(cè)，進(jìn)而可以提升語(yǔ)音合成的效果。
[0031]本發(fā)明圖1所示實(shí)施例提供的韻律結(jié)構(gòu)預(yù)測(cè)方法實(shí)質(zhì)上是基于半監(jiān)督學(xué)習(xí)方法的韻律結(jié)構(gòu)預(yù)測(cè)技術(shù)。該方法首先通過(guò)類神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型以無(wú)監(jiān)督學(xué)習(xí)的方式對(duì)海量無(wú)標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí)獲得詞語(yǔ)的詞向量，進(jìn)而對(duì)上述詞語(yǔ)的詞向量進(jìn)行聚類，獲得上述詞向量的聚類特征，然后將聚類特征作為新增特征加入到特征集合中，最后再通過(guò)監(jiān)督學(xué)習(xí)的方式對(duì)加入上述詞向量的聚類特征的特征集合進(jìn)行訓(xùn)練獲得帶有聚類特征的韻律結(jié)構(gòu)預(yù)測(cè)模型。由于本發(fā)明采用的是無(wú)監(jiān)督學(xué)習(xí)方法和監(jiān)督學(xué)習(xí)方法的結(jié)合技術(shù)，因此本發(fā)明也可以稱為基于半監(jiān)督學(xué)習(xí)方法的韻律結(jié)構(gòu)預(yù)測(cè)技術(shù)。