国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)方法及系統(tǒng)與流程

      文檔序號(hào):12128422閱讀:1036來源:國(guó)知局
      基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)方法及系統(tǒng)與流程

      本發(fā)明涉及語(yǔ)音評(píng)測(cè)領(lǐng)域,特指一種基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)方法及系統(tǒng)。



      背景技術(shù):

      語(yǔ)音信號(hào)處理技術(shù)是語(yǔ)音處理和語(yǔ)音識(shí)別領(lǐng)域中的一個(gè)重要分支,也是現(xiàn)今語(yǔ)音識(shí)別和語(yǔ)音評(píng)價(jià)系統(tǒng)的主要核心技術(shù)。隨著科技的發(fā)展,語(yǔ)音信號(hào)處理技術(shù)已深入到各個(gè)領(lǐng)域,包括語(yǔ)言學(xué)習(xí)以及語(yǔ)音自動(dòng)評(píng)分,而在語(yǔ)言學(xué)習(xí)和自動(dòng)評(píng)分中,運(yùn)用語(yǔ)音信號(hào)處理的目的是將最新的語(yǔ)音技術(shù)于當(dāng)前的教學(xué)和學(xué)習(xí)方法結(jié)合,建立輔助語(yǔ)言學(xué)習(xí)的系統(tǒng)或者語(yǔ)音智能評(píng)分系統(tǒng)。

      對(duì)于語(yǔ)音評(píng)測(cè)的研究,目前大多數(shù)的評(píng)測(cè)方法或系統(tǒng)均專注于如何提高語(yǔ)音評(píng)測(cè)的準(zhǔn)確性,即提高評(píng)測(cè)結(jié)果的準(zhǔn)確度,以實(shí)現(xiàn)對(duì)發(fā)音質(zhì)量的公正、客觀、高效的評(píng)測(cè)。但是評(píng)測(cè)結(jié)果是否準(zhǔn)確對(duì)學(xué)習(xí)者的語(yǔ)言學(xué)習(xí)并沒有提供直接的幫助,其僅能更為客觀的反應(yīng)學(xué)習(xí)者目前的口語(yǔ)水平,不能提高口語(yǔ)水平和語(yǔ)言學(xué)習(xí)效果。



      技術(shù)實(shí)現(xiàn)要素:

      本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺陷,提供一種基于語(yǔ)音相似度的評(píng)測(cè)方法及系統(tǒng),解決現(xiàn)有的評(píng)測(cè)系統(tǒng)不能為學(xué)習(xí)者的語(yǔ)言學(xué)習(xí)提供直接幫助和不能提高口語(yǔ)水平及語(yǔ)言學(xué)習(xí)效果的問題。

      實(shí)現(xiàn)上述目的的技術(shù)方案是:

      本發(fā)明提供了一種基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)方法,包括如下步驟:

      提供訓(xùn)練數(shù)據(jù)集,所述訓(xùn)練數(shù)據(jù)集包括訓(xùn)練參照語(yǔ)音數(shù)據(jù)、與所述訓(xùn)練參照語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的訓(xùn)練模仿語(yǔ)音數(shù)據(jù)以及所述訓(xùn)練參照語(yǔ)音數(shù)據(jù)和所述訓(xùn)練模仿語(yǔ)音數(shù)據(jù)的相似度評(píng)分值;

      利用所述訓(xùn)練數(shù)據(jù)集對(duì)動(dòng)態(tài)時(shí)間規(guī)整算法和支持向量順序回歸算法進(jìn)行算法訓(xùn)練,以獲得相似度評(píng)分模型;

      提供參照語(yǔ)音信息;

      錄制模仿朗讀所述參照語(yǔ)音信息的模仿語(yǔ)音信息;

      提取所述參照語(yǔ)音信息中的參照語(yǔ)音特征序列集和所述模仿語(yǔ)音信息中的模仿語(yǔ)音特征序列集;以及

      向所述相似度評(píng)分模型輸入所述參照語(yǔ)音特征序列集和所述模仿語(yǔ)音特征序列集,獲得所述模仿語(yǔ)音信息和所述參照語(yǔ)音信息的相似度評(píng)分值并輸出。

      本發(fā)明提出了一種語(yǔ)音相似度的評(píng)測(cè)方法,能夠直觀的為學(xué)習(xí)者給出相似度的評(píng)分,為語(yǔ)言學(xué)習(xí)的模仿學(xué)習(xí)方法提供了有效的反饋,能夠促進(jìn)學(xué)習(xí)者在語(yǔ)言學(xué)習(xí)中反復(fù)模仿練習(xí),以提高學(xué)習(xí)者的語(yǔ)言學(xué)習(xí)水平和學(xué)習(xí)效果,進(jìn)而為學(xué)習(xí)者的語(yǔ)音學(xué)習(xí)提供直接的幫助。本發(fā)明的語(yǔ)音相似度的評(píng)測(cè)方法在對(duì)發(fā)音正確性進(jìn)行考核的基礎(chǔ)上,增加了對(duì)發(fā)音模仿程度的評(píng)估,可幫助用戶有針對(duì)性的進(jìn)行模仿練習(xí),提高發(fā)音水平。

      本發(fā)明基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)方法的進(jìn)一步改進(jìn)在于,所述訓(xùn)練參照語(yǔ)音數(shù)據(jù)和所述訓(xùn)練模仿語(yǔ)音數(shù)據(jù)包括語(yǔ)音內(nèi)容特征序列、語(yǔ)音音調(diào)特征序列、語(yǔ)音時(shí)長(zhǎng)特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音重讀特征序列;

      進(jìn)行算法訓(xùn)練包括:

      利用所述訓(xùn)練參照語(yǔ)音數(shù)據(jù)和所述訓(xùn)練模仿語(yǔ)音數(shù)據(jù)中的語(yǔ)音音調(diào)特征序列、語(yǔ)音時(shí)長(zhǎng)特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音重讀特征序列對(duì)所述動(dòng)態(tài)時(shí)間規(guī)整算法進(jìn)行算法訓(xùn)練,以使得通過所述動(dòng)態(tài)時(shí)間規(guī)整算法獲得所述訓(xùn)練參照語(yǔ)音數(shù)據(jù)和所述訓(xùn)練模仿語(yǔ)音數(shù)據(jù)之間的語(yǔ)音音調(diào)距離、語(yǔ)音時(shí)長(zhǎng)距離、語(yǔ)音停頓距離以及語(yǔ)音重讀距離;

      利用所述訓(xùn)練參照語(yǔ)音數(shù)據(jù)和所述訓(xùn)練模仿語(yǔ)音數(shù)據(jù)中的語(yǔ)音內(nèi)容特征序列、所述訓(xùn)練參照語(yǔ)音數(shù)據(jù)和所述訓(xùn)練模仿語(yǔ)音數(shù)據(jù)的相似度評(píng)分值、所獲得的語(yǔ)音音調(diào)距離、語(yǔ)音時(shí)長(zhǎng)距離、語(yǔ)音停頓距離以及語(yǔ)音重讀距離對(duì)所述支持向量順序回歸算法進(jìn)行算法訓(xùn)練。

      本發(fā)明基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)方法的進(jìn)一步改進(jìn)在于,在進(jìn)行算法訓(xùn)練時(shí),為所述動(dòng)態(tài)時(shí)間規(guī)整算法設(shè)定以時(shí)間幀順序依序進(jìn)行計(jì)算的約束條件。

      本發(fā)明基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)方法的進(jìn)一步改進(jìn)在于,提取所述參照語(yǔ)音信息中的參照語(yǔ)音特征序列集和所述模仿語(yǔ)音信息中的模仿語(yǔ)音特征序列集,包括:

      對(duì)所述參照語(yǔ)音信息進(jìn)行語(yǔ)音識(shí)別以獲得對(duì)應(yīng)的語(yǔ)音內(nèi)容特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音時(shí)長(zhǎng)特征序列并加入到參照語(yǔ)音特征序列集中;

      對(duì)所述模仿語(yǔ)音信息進(jìn)行語(yǔ)音識(shí)別以獲得對(duì)應(yīng)的語(yǔ)音內(nèi)容特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音時(shí)長(zhǎng)特征序列并加入到模仿語(yǔ)音特征序列集中。

      本發(fā)明基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)方法的進(jìn)一步改進(jìn)在于,提取所述參照語(yǔ)音信息中的參照語(yǔ)音特征序列集和所述模仿語(yǔ)音信息中的模仿語(yǔ)音特征序列集,還包括:

      對(duì)所述參照語(yǔ)音信息進(jìn)行基頻提取以獲得對(duì)應(yīng)的語(yǔ)音音調(diào)特征序列并加入到參照語(yǔ)音特征序列集中;

      對(duì)所述參照語(yǔ)音信息進(jìn)行能量提取以獲取對(duì)應(yīng)的語(yǔ)音重讀特征序列并加入到參照語(yǔ)音特征序列集中;

      對(duì)所述模仿語(yǔ)音信息進(jìn)行基頻提取以獲得對(duì)應(yīng)的語(yǔ)音音調(diào)特征序列并加入到模仿語(yǔ)音特征序列集中;

      對(duì)所述模仿語(yǔ)音信息進(jìn)行能量提取以獲取對(duì)應(yīng)的語(yǔ)音重讀特征序列并加入到模仿語(yǔ)音特征序列集中。

      本發(fā)明還提供了一種基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)系統(tǒng),包括:

      數(shù)據(jù)存儲(chǔ)模塊,用于存儲(chǔ)參照語(yǔ)音信息;

      語(yǔ)音播報(bào)模塊,與所述數(shù)據(jù)存儲(chǔ)模塊連接,用于播報(bào)所述數(shù)據(jù)存儲(chǔ)模塊中存儲(chǔ)的參照語(yǔ)音信息;

      語(yǔ)音獲取模塊,用于錄制模仿朗讀所述語(yǔ)音播報(bào)模塊播報(bào)的參照語(yǔ)音信息的模仿語(yǔ)音信息;

      特征提取模塊,與所述語(yǔ)音播報(bào)模塊和所述語(yǔ)音獲取模塊連接,用于對(duì)所述語(yǔ)音播報(bào)模塊所播報(bào)的參照語(yǔ)音信息和所述語(yǔ)音獲取模塊所獲取的模仿語(yǔ)音信息進(jìn)行特征提取,以獲得對(duì)應(yīng)的參照語(yǔ)音特征序列集和模仿語(yǔ)音特征序列集;以及

      評(píng)分模塊,與所述特征提取模塊連接,所述評(píng)分模塊接收所述特征提取模塊獲得的參照語(yǔ)音特征序列集和模仿語(yǔ)音特征序列集,并計(jì)算得出所述模仿語(yǔ)音信息和所述參照語(yǔ)音信息的相似度評(píng)分值。

      本發(fā)明基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)系統(tǒng)的進(jìn)一步改進(jìn)在于,所述評(píng)分模塊內(nèi)建立有相似度評(píng)分模型,所述相似度評(píng)分模型通過訓(xùn)練數(shù)據(jù)集對(duì)動(dòng)態(tài)時(shí)間規(guī)整算法和支持向量順序回歸算法進(jìn)行算法訓(xùn)練而建立,所述訓(xùn)練數(shù)據(jù)集包括訓(xùn)練參照語(yǔ)音數(shù)據(jù)、與所述訓(xùn)練參照語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的訓(xùn)練模仿語(yǔ)音數(shù)據(jù)以及所述訓(xùn)練參照語(yǔ)音數(shù)據(jù)和所述訓(xùn)練模仿語(yǔ)音數(shù)據(jù)的相似度評(píng)分值;

      所述評(píng)分模塊將所述的參照語(yǔ)音特征序列集和模仿語(yǔ)音特征序列集后輸入到所述相似度評(píng)分模塊以獲得所述模仿語(yǔ)音信息和所述參照語(yǔ)音信息的相似度評(píng)分值。

      本發(fā)明基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)系統(tǒng)的進(jìn)一步改進(jìn)在于,所述訓(xùn)練參照語(yǔ)音數(shù)據(jù)和所述訓(xùn)練模仿語(yǔ)音數(shù)據(jù)包括語(yǔ)音內(nèi)容特征序列、語(yǔ)音音調(diào)特征序列、語(yǔ)音時(shí)長(zhǎng)特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音重讀特征序列;

      通過所述訓(xùn)練參照語(yǔ)音數(shù)據(jù)和所述訓(xùn)練模仿語(yǔ)音數(shù)據(jù)中的語(yǔ)音音調(diào)特征序列、語(yǔ)音時(shí)長(zhǎng)特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音重讀特征序列對(duì)所述動(dòng)態(tài)時(shí)間規(guī)整算法進(jìn)行算法訓(xùn)練,以使得通過所述動(dòng)態(tài)時(shí)間規(guī)整算法獲得所述訓(xùn)練參照語(yǔ)音數(shù)據(jù)和所述訓(xùn)練模仿語(yǔ)音數(shù)據(jù)之間的語(yǔ)音音調(diào)距離、語(yǔ)音時(shí)長(zhǎng)距離、語(yǔ)音停頓距離以及語(yǔ)音重讀距離;

      通過所述訓(xùn)練參照語(yǔ)音數(shù)據(jù)和所述訓(xùn)練模仿語(yǔ)音數(shù)據(jù)中的語(yǔ)音內(nèi)容特征序列、所述訓(xùn)練參照語(yǔ)音數(shù)據(jù)和所述訓(xùn)練模仿語(yǔ)音數(shù)據(jù)的相似度評(píng)分值、所獲得的語(yǔ)音音調(diào)距離、語(yǔ)音時(shí)長(zhǎng)距離、語(yǔ)音停頓距離以及語(yǔ)音重讀距離對(duì)所述支持向量順序回歸算法進(jìn)行算法訓(xùn)練,從而于所述評(píng)分模塊內(nèi)建立了相似度評(píng)分模型。

      本發(fā)明基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)系統(tǒng)的進(jìn)一步改進(jìn)在于,所述動(dòng)態(tài)時(shí)間規(guī)整算法在進(jìn)行算法訓(xùn)練時(shí),設(shè)定有以時(shí)間幀順序依序進(jìn)行算法訓(xùn)練的約束條件。

      本發(fā)明基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)系統(tǒng)的進(jìn)一步改進(jìn)在于,所述特征提取模塊包括語(yǔ)音識(shí)別子模塊、基頻提取子模塊、能量提取子模塊以及序列緩存子模塊;

      所述序列緩存子模塊內(nèi)存儲(chǔ)有參照語(yǔ)音特征序列集和模仿語(yǔ)音特征序列集;

      所述語(yǔ)音識(shí)別子模塊用于對(duì)所述參照語(yǔ)音信息進(jìn)行語(yǔ)音識(shí)別以獲得對(duì)應(yīng)的語(yǔ)音內(nèi)容特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音時(shí)長(zhǎng)特征序列并寫入到所述參照語(yǔ)音特征序列集中;還用于對(duì)所述模仿語(yǔ)音信息進(jìn)行語(yǔ)音識(shí)別以獲得對(duì)應(yīng)的語(yǔ)音內(nèi)容特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音時(shí)長(zhǎng)特征序列并寫入到所述模仿語(yǔ)音特征序列集中;

      所述基頻提取子模塊用于對(duì)所述參照語(yǔ)音信息進(jìn)行基頻提取以獲得對(duì)應(yīng)的語(yǔ)音音調(diào)特征序列并寫入到所述參照語(yǔ)音特征序列集中;還用于對(duì)所述模仿語(yǔ)音信息進(jìn)行基頻提取以獲得對(duì)應(yīng)的語(yǔ)音音調(diào)特征序列并寫入到模仿語(yǔ)音特征序列集中;

      所述能量提取子模塊用于對(duì)所述參照語(yǔ)音信息進(jìn)行能量提取以獲取對(duì)應(yīng)的語(yǔ)音重讀特征序列并寫入到所述參照語(yǔ)音特征序列集中;還用于對(duì)所述模仿語(yǔ)音信息進(jìn)行能量提取以獲取對(duì)應(yīng)的語(yǔ)音重讀特征序列并寫入到模仿語(yǔ)音特征序列集中。

      附圖說明

      圖1為本發(fā)明基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)系統(tǒng)的系統(tǒng)圖。

      圖2為本發(fā)明基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)方法及系統(tǒng)的相似度評(píng)測(cè)流程圖。

      圖3為本發(fā)明基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)方法及系統(tǒng)中特征提取的流程圖。

      具體實(shí)施方式

      下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明。

      本發(fā)明提供了一種基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)方法及系統(tǒng),實(shí)現(xiàn)了自動(dòng)化的相似度評(píng)分。為模仿學(xué)習(xí)提供幫助,對(duì)于語(yǔ)言學(xué)習(xí)來講,模仿學(xué)習(xí)對(duì)語(yǔ)言發(fā)音練習(xí)具有顯著的幫助效果,但是目前現(xiàn)有的評(píng)測(cè)系統(tǒng)都僅是針對(duì)發(fā)音質(zhì)量進(jìn)行公正客觀的評(píng)測(cè),而不能直觀的為發(fā)音模仿程度給出評(píng)估結(jié)果,對(duì)于模仿學(xué)習(xí)方法沒有直接幫助。而本發(fā)明的基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)方法及系統(tǒng),針對(duì)語(yǔ)音韻律特征,感知兩條語(yǔ)音相似程度,給出相似度評(píng)分,能夠給學(xué)習(xí)者的模仿學(xué)習(xí)提供有效直觀的反饋,為語(yǔ)言學(xué)習(xí)提供了一種新的學(xué)習(xí)方法,即模仿練習(xí)學(xué)習(xí)。有效的提高學(xué)習(xí)者的發(fā)音水平和學(xué)習(xí)效果。下面結(jié)合附圖對(duì)本發(fā)明基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)方法及系統(tǒng)進(jìn)行說明。

      如圖1所示,本發(fā)明的基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)系統(tǒng)包括有數(shù)據(jù)存儲(chǔ)模塊11、語(yǔ)音播報(bào)模塊12、語(yǔ)音獲取模塊13、特征提取模塊14、評(píng)分模塊15,數(shù)據(jù)存儲(chǔ)模塊11與語(yǔ)音播報(bào)模塊12連接,語(yǔ)音播報(bào)模塊12和語(yǔ)音獲取模塊13與特征提取模塊14連接,特征提取模塊14與評(píng)分模塊15連接。

      數(shù)據(jù)存儲(chǔ)模塊11用于存儲(chǔ)參照語(yǔ)音信息,在數(shù)據(jù)存儲(chǔ)模塊11中建立有用于發(fā)音練習(xí)的發(fā)音練習(xí)數(shù)據(jù)庫(kù),該發(fā)音練習(xí)數(shù)據(jù)庫(kù)中存儲(chǔ)復(fù)數(shù)個(gè)參照語(yǔ)音信息,該參照語(yǔ)音信息為音頻格式,可通過音頻播放器進(jìn)行播放,以供學(xué)習(xí)者進(jìn)行模仿。

      語(yǔ)音播報(bào)模塊12與數(shù)據(jù)存儲(chǔ)模塊11連接,該語(yǔ)音播報(bào)模塊12用于播報(bào)數(shù)據(jù)存儲(chǔ)模塊11中存儲(chǔ)的參照語(yǔ)音信息給學(xué)習(xí)者,學(xué)習(xí)者通過聆聽播報(bào)的參照語(yǔ)音信息而進(jìn)行模仿發(fā)音練習(xí)。

      語(yǔ)音獲取模塊13用于錄制模仿朗讀語(yǔ)音播報(bào)模塊12播報(bào)的參照語(yǔ)音信息的模仿語(yǔ)音信息,該語(yǔ)音播報(bào)模塊12在播報(bào)完成后形成錄制獲取指令發(fā)送給語(yǔ)音獲取模塊13,以啟動(dòng)語(yǔ)音獲取模塊13,語(yǔ)音獲取模塊13錄制學(xué)習(xí)者的朗讀聲音形成模仿語(yǔ)音信息。該語(yǔ)音獲取模塊13可以為麥克風(fēng),能夠錄制來自學(xué)習(xí)者的語(yǔ)音。

      特征提取模塊14用于對(duì)語(yǔ)音播報(bào)模塊12所播報(bào)的參照語(yǔ)音信息進(jìn)行特征提取,還對(duì)語(yǔ)音獲取模塊13所獲取的模仿語(yǔ)音信息進(jìn)行特征提取,以獲得對(duì)應(yīng)參照語(yǔ)音信息的參照語(yǔ)音特征序列集和對(duì)應(yīng)模仿語(yǔ)音信息的模仿語(yǔ)音特征序列集,該參照語(yǔ)音特征序列集和模仿語(yǔ)音特征序列集中包括有語(yǔ)音韻律特征,通過對(duì)兩個(gè)語(yǔ)音韻律特征進(jìn)行分析比對(duì)就能夠得到兩條語(yǔ)音信息的相似度評(píng)分值。

      評(píng)分模塊15接收特征提取模塊獲得的參照語(yǔ)音特征序列集合模仿語(yǔ)音特征序列集,并計(jì)算得出模仿語(yǔ)音信息和參照語(yǔ)音信息的相似度評(píng)分值。該得到的相似度評(píng)分值直接反饋給模仿學(xué)習(xí)者,對(duì)模仿學(xué)習(xí)者的模仿練習(xí)起到評(píng)估的作用,可幫助學(xué)習(xí)者有針對(duì)性的進(jìn)行模仿練習(xí),且通過模仿練習(xí)使得學(xué)習(xí)者的發(fā)音越來越像參照語(yǔ)音(標(biāo)準(zhǔn)發(fā)音或者老師的發(fā)音),有效提高了發(fā)音水平,為發(fā)音練習(xí)提供了新的模仿學(xué)習(xí)方法。

      評(píng)分模塊內(nèi)建立有相似度評(píng)分模型,該相似度評(píng)分模型用于在輸入模仿語(yǔ)音特征序列集和參照語(yǔ)音特征序列集后,輸出模仿語(yǔ)音信息和參照語(yǔ)音信息的相似度評(píng)分值。評(píng)分模塊在接收到參照語(yǔ)音特征序列集合模仿語(yǔ)音特征序列集后,將參照語(yǔ)音特征序列集合模仿語(yǔ)音特征序列集輸入到相似度評(píng)分模型中,就能夠獲得模仿語(yǔ)音信息和參照語(yǔ)音信息的相似度評(píng)分值。

      該相似度評(píng)分模型通過訓(xùn)練數(shù)據(jù)集對(duì)動(dòng)態(tài)時(shí)間規(guī)整算法(DTW,Dynamic Time Warping)和支持向量順序回歸算法(SVOR,Support Vector Ordinal Regression)進(jìn)行算法訓(xùn)練而建立,訓(xùn)練數(shù)據(jù)集包括有訓(xùn)練參照語(yǔ)音數(shù)據(jù)、與訓(xùn)練參照語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的訓(xùn)練模仿語(yǔ)音數(shù)據(jù)以及訓(xùn)練參照語(yǔ)音數(shù)據(jù)和模仿語(yǔ)音數(shù)據(jù)的相似度評(píng)分值,該訓(xùn)練參照語(yǔ)音數(shù)據(jù)和模仿語(yǔ)音數(shù)據(jù)的相似度評(píng)分值為人工標(biāo)注,利用訓(xùn)練數(shù)據(jù)集進(jìn)行算法訓(xùn)練以獲得相似度評(píng)分模型。在進(jìn)行算法訓(xùn)練時(shí),訓(xùn)練參照語(yǔ)音數(shù)據(jù)和訓(xùn)練模仿語(yǔ)音數(shù)據(jù)包括有語(yǔ)音內(nèi)容特征序列、語(yǔ)音音調(diào)特征序列、語(yǔ)音時(shí)長(zhǎng)特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音重讀特征序列,其中的語(yǔ)音內(nèi)容特征序列是指語(yǔ)音數(shù)據(jù)中的文本內(nèi)容,即以單詞為單位的識(shí)別結(jié)果文本序列;語(yǔ)音音調(diào)特征序列指人發(fā)音語(yǔ)調(diào)的變化情況,音調(diào)特征序列包括標(biāo)準(zhǔn)化的基頻序列、風(fēng)格化的基頻序列、標(biāo)準(zhǔn)化基頻序列的一階差分、以及風(fēng)格化基頻序列的一階差分,語(yǔ)音音調(diào)特征序列通過基頻提取來實(shí)現(xiàn),該基頻提取是指對(duì)每一幀語(yǔ)音提取其基頻信息;語(yǔ)音時(shí)長(zhǎng)特征序列指單詞或音節(jié)的發(fā)音時(shí)間長(zhǎng)短情況,語(yǔ)音時(shí)長(zhǎng)特征序列包括單詞絕對(duì)發(fā)音時(shí)長(zhǎng)序列和單詞相對(duì)發(fā)音時(shí)長(zhǎng)序列,單詞絕對(duì)發(fā)音時(shí)長(zhǎng)序列指識(shí)別結(jié)果中每個(gè)單詞發(fā)音時(shí)長(zhǎng)所構(gòu)成的序列,單詞相對(duì)發(fā)音時(shí)長(zhǎng)序列指每個(gè)單詞發(fā)音時(shí)長(zhǎng)占總發(fā)音時(shí)長(zhǎng)的比例的序列;語(yǔ)音停頓特征序列是指發(fā)音和靜音交錯(cuò)情況,即靜音和發(fā)音間隔時(shí)長(zhǎng)序列,因?yàn)橐粭l語(yǔ)音是由靜音段和發(fā)音段交錯(cuò)組成的,將每個(gè)靜音段也當(dāng)作一個(gè)單詞(SIL,silence,靜音),計(jì)算其持續(xù)時(shí)間當(dāng)作時(shí)長(zhǎng),與每個(gè)單詞的發(fā)音時(shí)長(zhǎng)共同構(gòu)成一個(gè)序列;語(yǔ)音重讀特征序列是指哪些單詞為了突出強(qiáng)調(diào)而重讀,重讀的聲音具有較大的力度和音量,語(yǔ)音重讀特征序列包括能量序列和能量序列的一階差分。利用訓(xùn)練參照語(yǔ)音數(shù)據(jù)和訓(xùn)練模仿語(yǔ)音數(shù)據(jù)中的語(yǔ)音音調(diào)特征序列、語(yǔ)音時(shí)長(zhǎng)特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音重讀特征序列對(duì)所述動(dòng)態(tài)時(shí)間規(guī)整算法進(jìn)行算法訓(xùn)練,以使得通過所述動(dòng)態(tài)時(shí)間規(guī)整算法獲得所述訓(xùn)練參照語(yǔ)音數(shù)據(jù)和所述訓(xùn)練模仿語(yǔ)音數(shù)據(jù)之間的語(yǔ)音音調(diào)距離、語(yǔ)音時(shí)長(zhǎng)距離、語(yǔ)音停頓距離以及語(yǔ)音重讀距離,由于語(yǔ)音音調(diào)特征序列、語(yǔ)音時(shí)長(zhǎng)特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音重讀特征序列都是時(shí)間序列,可用“距離”來衡量?jī)蓚€(gè)序列的相似度,采用動(dòng)態(tài)時(shí)間規(guī)整算法從兩個(gè)不同長(zhǎng)度序列中找到相似的匹配點(diǎn),從而計(jì)算匹配點(diǎn)的距離即獲得了兩個(gè)序列的距離。為了提高動(dòng)態(tài)時(shí)間規(guī)整算法的魯棒性,為動(dòng)態(tài)時(shí)間規(guī)整算法設(shè)定約束條件,令動(dòng)態(tài)時(shí)間規(guī)整算法以時(shí)間幀順序依序進(jìn)行算法訓(xùn)練,避免動(dòng)態(tài)時(shí)間規(guī)整算法在查找匹配點(diǎn)時(shí)返回已遍歷過的時(shí)間幀進(jìn)行查找。約束了動(dòng)態(tài)時(shí)間規(guī)整算法的連續(xù)性和單調(diào)性,提高了算法的魯棒性。對(duì)于訓(xùn)練參照語(yǔ)音數(shù)據(jù)和訓(xùn)練模仿語(yǔ)音數(shù)據(jù)中的語(yǔ)音內(nèi)容特征序列的內(nèi)容距離,可通過兩者的直接比對(duì)而獲得。利用訓(xùn)練參照語(yǔ)音數(shù)據(jù)和訓(xùn)練模仿語(yǔ)音數(shù)據(jù)中的語(yǔ)音內(nèi)容特征序列、訓(xùn)練參照語(yǔ)音數(shù)據(jù)和訓(xùn)練模仿語(yǔ)音數(shù)據(jù)的相似度評(píng)分值、所獲得的語(yǔ)音音調(diào)距離、語(yǔ)音時(shí)長(zhǎng)距離、語(yǔ)音停頓距離以及語(yǔ)音重讀距離對(duì)支持向量順序回歸算法進(jìn)行算法訓(xùn)練,該支撐向量順序回歸算法作為分?jǐn)?shù)映射模型,針對(duì)兩個(gè)序列的距離給出合適的相似度評(píng)分值。通過對(duì)動(dòng)態(tài)時(shí)間規(guī)整算法和支持向量順序回歸算法的算法訓(xùn)練,在評(píng)分模塊內(nèi)建立相似度評(píng)分模型。

      該相似度評(píng)分模型通過相似度特征提取和相似度得分計(jì)算得到相似度評(píng)分值,其中的相似度特征提取是基于從音頻和語(yǔ)音識(shí)別結(jié)果中提取出各個(gè)語(yǔ)音特征序列,進(jìn)一步提取相似度相關(guān)特征,具體包括從模仿語(yǔ)音信息和參照語(yǔ)音信息中分別提取出所有語(yǔ)音特征序列,該所有語(yǔ)音特征序列包括語(yǔ)音內(nèi)容特征序列、語(yǔ)音音調(diào)特征序列、語(yǔ)音時(shí)長(zhǎng)特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音重讀特征序列;計(jì)算模仿語(yǔ)音信息和參照語(yǔ)音信息的語(yǔ)音內(nèi)容特征序列之間的Levenshtein距離,作為一維特征;對(duì)于其他序列特征,均采用DTW計(jì)算模仿語(yǔ)音信息和參照語(yǔ)音信息的最小匹配距離,設(shè)參照語(yǔ)音信息的特征序列為R,模仿語(yǔ)音信息的特征序列為U,則DTW動(dòng)態(tài)規(guī)劃目標(biāo)函數(shù)為:Gi,j=di,j+min{Gi,j-1,Gi-1,j,Gi-1,j-1+di,j}

      其中i為參照語(yǔ)音特征序列的下標(biāo),j為模仿語(yǔ)音信息語(yǔ)音特征序列的下標(biāo),Gi,j為累積距離,di,j=|Ri-Uj|

      每一對(duì)特征序列均可得到一個(gè)最小匹配距離,作為一維相似度特征,這樣一共得到10維相似度特征。

      相似度得分計(jì)算,在相似度特征和專家打分之間建立一種對(duì)應(yīng)關(guān)系,通過訓(xùn)練以得到相似度得分計(jì)算的模型,該模型可以是任何一種回歸、分類模型。常用的線性回歸模型對(duì)于相似度特別高或者特別差的樣本不能準(zhǔn)確表達(dá),因此我們采用SVOR模型,可以克服線性回歸的缺點(diǎn)。

      特征提取模塊14包括語(yǔ)音識(shí)別子模塊、基頻提取子模塊、能量提取子模塊以及序列緩存子模塊;序列緩存子模塊內(nèi)存儲(chǔ)有參照語(yǔ)音特征序列集和模仿語(yǔ)音特征序列集;語(yǔ)音識(shí)別子模塊用于對(duì)參照語(yǔ)音信息進(jìn)行語(yǔ)音識(shí)別,識(shí)別出語(yǔ)音內(nèi)的文本內(nèi)容、語(yǔ)音中單詞音素邊界,從而獲得對(duì)應(yīng)該參照語(yǔ)音信息的語(yǔ)音內(nèi)容特征序列、語(yǔ)音停頓特征序列和語(yǔ)音時(shí)長(zhǎng)特征序列,語(yǔ)音內(nèi)容特征序列為以單詞為單位的識(shí)別結(jié)果文本序列;語(yǔ)音停頓特征序列包括靜音、發(fā)音間隔時(shí)長(zhǎng)序列;語(yǔ)音時(shí)長(zhǎng)特征序列包括單詞絕對(duì)發(fā)音時(shí)長(zhǎng)序列和單詞相對(duì)發(fā)音時(shí)長(zhǎng)序列,可通過如下公式計(jì)算:

      其中D為單詞絕對(duì)發(fā)音時(shí)長(zhǎng)序列,D′為單詞相對(duì)發(fā)音時(shí)長(zhǎng)序列,N為識(shí)別結(jié)果中單詞總個(gè)數(shù)。語(yǔ)音停頓特征序列通過語(yǔ)音識(shí)別檢測(cè)出哪些語(yǔ)音段是發(fā)音段,哪些語(yǔ)音段是靜音段,這種發(fā)音段和靜音段交錯(cuò)代表了人說話的節(jié)奏,即語(yǔ)音停頓特征序列,語(yǔ)音時(shí)長(zhǎng)特征序列利用語(yǔ)音識(shí)別技術(shù)和強(qiáng)制切分算法,可以獲得單詞和音素的起止時(shí)間點(diǎn),進(jìn)一步計(jì)算出單詞和音素的發(fā)音時(shí)間長(zhǎng)度。語(yǔ)音識(shí)別子模塊將獲得的對(duì)應(yīng)該參照語(yǔ)音信息的語(yǔ)音內(nèi)容特征序列、語(yǔ)音停頓特征序列和語(yǔ)音時(shí)長(zhǎng)特征序列寫入到序列緩存子模塊中的參照語(yǔ)音特征序列集中。語(yǔ)音識(shí)別子模塊還用于對(duì)模仿語(yǔ)音信息進(jìn)行語(yǔ)音識(shí)別以獲得對(duì)應(yīng)的語(yǔ)音內(nèi)容特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音時(shí)長(zhǎng)特征序列并寫入到模仿語(yǔ)音特征序列集中?;l提取子模塊用于對(duì)參照語(yǔ)音信息進(jìn)行基頻提取以獲得對(duì)應(yīng)的語(yǔ)音音調(diào)特征序列并寫入到參照語(yǔ)音特征序列集中,利用基頻提取技術(shù)從語(yǔ)音中獲得基頻曲線,以代表語(yǔ)音音調(diào)特征序列。基頻提取子模塊還用于對(duì)模仿語(yǔ)音信息進(jìn)行基頻提取以獲得對(duì)應(yīng)的語(yǔ)音音調(diào)特征序列并寫入到模仿語(yǔ)音特征序列集中?;l提取是指對(duì)每一幀語(yǔ)音提取其基頻信息,算法采用基于自相關(guān)的基頻提取算法,該算法計(jì)算速度快,得到基頻準(zhǔn)確穩(wěn)定。根據(jù)語(yǔ)音的特點(diǎn),頻率區(qū)間設(shè)為60Hz至600Hz。提取出的基頻需要進(jìn)行如下后處理:提取出來的基頻存在一些錯(cuò)誤點(diǎn),基于自相關(guān)的基頻提取算法會(huì)出現(xiàn)倍頻和半頻錯(cuò)誤,基頻序列中大部分是準(zhǔn)確的,以此為基準(zhǔn)可以修正提取結(jié)構(gòu)的倍頻和半頻錯(cuò)誤。提取出的基頻曲線不是連續(xù)光滑的,還需要對(duì)其進(jìn)行插值和平滑。插值算法采用線性插值,平滑算法采用3階巴特沃斯低通濾波器。人耳對(duì)聲音頻率的感知是對(duì)數(shù)均勻的,因此需要先將基頻F0轉(zhuǎn)至對(duì)數(shù)域,即Semitone(半音程),

      其中Fref為參考頻率,一般參考頻率取20Hz。標(biāo)準(zhǔn)化基頻序列是為了消除不同人群固有的基頻差異,使其具有可比性。這里采用Z-score標(biāo)準(zhǔn)化:

      其中F0為基頻序列中一點(diǎn),μ為基頻序列的均值,σ為基頻序列的方差。發(fā)音的最小單位是音節(jié)。風(fēng)格化基頻序列是在標(biāo)準(zhǔn)化的基礎(chǔ)上,按語(yǔ)音識(shí)別結(jié)果中的音節(jié)邊界信息切分基頻序列,每個(gè)切分片段取其中位數(shù),再將其連接成一個(gè)新的序列。風(fēng)格化不考慮每個(gè)音節(jié)內(nèi)部的基頻變化細(xì)節(jié),只關(guān)心語(yǔ)音基頻變化的整體趨勢(shì)。基頻序列本身的相對(duì)變化也是描述音調(diào)編號(hào)的重要特征,因此分別取標(biāo)準(zhǔn)化基頻序列的一階差分、風(fēng)格化基頻序列的一階差分作為兩個(gè)特征序列。能量提取子模塊用于對(duì)參照語(yǔ)音信息進(jìn)行能量提取以獲得對(duì)應(yīng)的語(yǔ)音重讀特征序列并寫入到參照語(yǔ)音特征序列集中,重讀特征可從語(yǔ)音中提取能量變化曲線,能量代表人說話的力度和音量,分析能量曲線可獲得哪些單詞是強(qiáng)度重讀的,哪些是非重讀的。能量提取子模塊還用于對(duì)模仿語(yǔ)音信息進(jìn)行能力提取以獲取對(duì)應(yīng)的語(yǔ)音重讀特征序列并寫入到模仿語(yǔ)音特征序列集中。能量提取是指對(duì)每一幀語(yǔ)音提取其能量:

      其中E為一幀語(yǔ)音的能量,A為音頻振幅序列,N為幀長(zhǎng)。能量序列本身的相對(duì)變化也是描述重讀編號(hào)的重要特征,因此取能量序列的一階差分作為一個(gè)特征序列。

      下面對(duì)本發(fā)明提供的一種基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)方法進(jìn)行說明。

      本發(fā)明基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)方法,包括如下步驟:

      提供訓(xùn)練數(shù)據(jù)集,該訓(xùn)練數(shù)據(jù)集包括訓(xùn)練參照語(yǔ)音數(shù)據(jù)、與訓(xùn)練參照語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的訓(xùn)練模仿語(yǔ)音數(shù)據(jù)以及訓(xùn)練參照語(yǔ)音數(shù)據(jù)和訓(xùn)練模仿語(yǔ)音數(shù)據(jù)的相似度評(píng)分值;該訓(xùn)練參照語(yǔ)音數(shù)據(jù)和訓(xùn)練模仿語(yǔ)音數(shù)據(jù)的相似度評(píng)分值根據(jù)人工標(biāo)注獲得;

      利用訓(xùn)練數(shù)據(jù)集對(duì)動(dòng)態(tài)時(shí)間規(guī)整算法和支持向量順序回歸算法進(jìn)行算法訓(xùn)練,以獲得相似度評(píng)分模型;

      如圖1所示,執(zhí)行步驟S101,參照語(yǔ)音信息。提供參照語(yǔ)音信息;并將參照語(yǔ)音信息播放給學(xué)習(xí)者聆聽以供其模仿練習(xí);

      執(zhí)行步驟S102,模仿語(yǔ)音信息。錄制模仿朗讀參照語(yǔ)音信息的模仿語(yǔ)音信息;在學(xué)習(xí)者模仿朗讀參照語(yǔ)音信息時(shí)對(duì)該模仿語(yǔ)音信息進(jìn)行錄制獲?。?/p>

      執(zhí)行步驟S103和步驟S104,特征提取。提取參照語(yǔ)音信息中的參照語(yǔ)音特征序列集和模仿語(yǔ)音信息中的模仿語(yǔ)音特征序列集;

      執(zhí)行步驟S105至步驟S109,向相似度評(píng)分模型輸入?yún)⒄照Z(yǔ)音特征序列集和模仿語(yǔ)音特征序列集,獲得模仿語(yǔ)音信息和參照語(yǔ)音信息的相似度評(píng)分值并輸出。

      作為本發(fā)明的一較佳實(shí)施方式,訓(xùn)練參照語(yǔ)音數(shù)據(jù)和訓(xùn)練模仿語(yǔ)音數(shù)據(jù)包括語(yǔ)音內(nèi)容特征序列、語(yǔ)音音調(diào)特征序列、語(yǔ)音時(shí)長(zhǎng)特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音重讀特征序列;其中的語(yǔ)音內(nèi)容特征序列是指語(yǔ)音數(shù)據(jù)中的文本內(nèi)容,語(yǔ)音音調(diào)特征序列指人發(fā)音語(yǔ)調(diào)的變化情況,語(yǔ)音時(shí)長(zhǎng)特征序列指單詞或音節(jié)的發(fā)音時(shí)間長(zhǎng)短情況,語(yǔ)音停頓特征序列是指發(fā)音和靜音交錯(cuò)情況,語(yǔ)音重讀特征序列是指哪些單詞為了突出強(qiáng)調(diào)而重讀,重讀的聲音具有較大的力度和音量。

      利用訓(xùn)練數(shù)據(jù)集進(jìn)行算法訓(xùn)練包括:

      利用訓(xùn)練參照語(yǔ)音數(shù)據(jù)和訓(xùn)練模仿語(yǔ)音數(shù)據(jù)中的語(yǔ)音音調(diào)特征序列、語(yǔ)音時(shí)長(zhǎng)特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音重讀特征序列對(duì)動(dòng)態(tài)時(shí)間規(guī)整算法進(jìn)行算法訓(xùn)練,以使得通過動(dòng)態(tài)時(shí)間規(guī)整算法獲得訓(xùn)練參照語(yǔ)音數(shù)據(jù)和訓(xùn)練模仿語(yǔ)音數(shù)據(jù)之間的語(yǔ)音音調(diào)距離、語(yǔ)音時(shí)長(zhǎng)距離、語(yǔ)音停頓距離以及語(yǔ)音重讀距離,結(jié)合圖1中步驟S105和步驟S107所示;由于語(yǔ)音音調(diào)特征序列、語(yǔ)音時(shí)長(zhǎng)特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音重讀特征序列都是時(shí)間序列,可用“距離”來衡量?jī)蓚€(gè)序列的相似度,采用動(dòng)態(tài)時(shí)間規(guī)整算法從兩個(gè)不同長(zhǎng)度序列中找到相似的匹配點(diǎn),從而計(jì)算匹配點(diǎn)的距離即獲得了兩個(gè)序列的距離。為了提高動(dòng)態(tài)時(shí)間規(guī)整算法的魯棒性,為動(dòng)態(tài)時(shí)間規(guī)整算法設(shè)定以時(shí)間幀順序依序進(jìn)行計(jì)算的約束條件,令動(dòng)態(tài)時(shí)間規(guī)整算法以時(shí)間幀順序依序進(jìn)行算法訓(xùn)練,避免動(dòng)態(tài)時(shí)間規(guī)整算法在查找匹配點(diǎn)時(shí)返回已遍歷過的時(shí)間幀進(jìn)行查找。約束了動(dòng)態(tài)時(shí)間規(guī)整算法的連續(xù)性和單調(diào)性,提高了算法的魯棒性。

      利用訓(xùn)練參照語(yǔ)音數(shù)據(jù)和訓(xùn)練模仿語(yǔ)音數(shù)據(jù)中的語(yǔ)音內(nèi)容特征序列、訓(xùn)練參照語(yǔ)音數(shù)據(jù)和訓(xùn)練模仿語(yǔ)音數(shù)據(jù)的相似度評(píng)分值、所獲得的語(yǔ)音音調(diào)距離、語(yǔ)音時(shí)長(zhǎng)距離、語(yǔ)音停頓距離以及語(yǔ)音重讀距離對(duì)支持向量順序回歸算法進(jìn)行算法訓(xùn)練。該支撐向量順序回歸算法作為分?jǐn)?shù)映射模型,針對(duì)兩個(gè)序列的距離給出合適的相似度評(píng)分值。

      作為本發(fā)明的一較佳實(shí)施方式,提取參照語(yǔ)音信息中的參照語(yǔ)音特征序列集,包括:

      如圖3所示,執(zhí)行步驟S201,參照語(yǔ)音信息。提供參照語(yǔ)音信息進(jìn)行特征提取。執(zhí)行步驟S202,語(yǔ)音識(shí)別,對(duì)參照語(yǔ)音信息進(jìn)行語(yǔ)音識(shí)別。執(zhí)行步驟S205,通過語(yǔ)音識(shí)別輸出參照語(yǔ)音信息的語(yǔ)音內(nèi)容特征序列,語(yǔ)音停頓特征序列以及語(yǔ)音時(shí)長(zhǎng)特征序列并加入到參照語(yǔ)音特征序列集總。語(yǔ)音識(shí)別子模塊用于對(duì)參照語(yǔ)音信息進(jìn)行語(yǔ)音識(shí)別,識(shí)別出語(yǔ)音內(nèi)的文本內(nèi)容、語(yǔ)音中單詞音素邊界,從而獲得對(duì)應(yīng)該參照語(yǔ)音信息的語(yǔ)音內(nèi)容特征序列、語(yǔ)音停頓特征序列和語(yǔ)音時(shí)長(zhǎng)特征序列,語(yǔ)音停頓特征序列通過語(yǔ)音識(shí)別檢測(cè)出哪些語(yǔ)音段是發(fā)音段,哪些語(yǔ)音段是靜音段,這種發(fā)音段和靜音段交錯(cuò)代表了人說話的節(jié)奏,即語(yǔ)音停頓特征序列,語(yǔ)音時(shí)長(zhǎng)特征序列利用語(yǔ)音識(shí)別技術(shù)和強(qiáng)制切分算法,可以獲得單詞和音素的起止時(shí)間點(diǎn),進(jìn)一步計(jì)算出單詞和音素的發(fā)音時(shí)間長(zhǎng)度。執(zhí)行步驟S203,基頻提取,對(duì)參照語(yǔ)音信息進(jìn)行基頻提取,執(zhí)行步驟S206,通過基頻提取輸出參照語(yǔ)音信息的語(yǔ)音音調(diào)特征序列并加入到參照語(yǔ)音特征序列集中。利用基頻提取技術(shù)從語(yǔ)音中獲得基頻曲線,以代表語(yǔ)音音調(diào)特征序列。執(zhí)行步驟S204,能量提取,對(duì)參照語(yǔ)音信息進(jìn)行能量提取,執(zhí)行步驟S207,通過能量提取輸出參照語(yǔ)音信息的語(yǔ)音重讀特征序列并加入到參照語(yǔ)音特征序列集中。重讀特征可從語(yǔ)音中提取能量變化曲線,能量代表人說話的力度和音量,分析能量曲線可獲得哪些單詞是強(qiáng)度重讀的,哪些是非重讀的。

      作為本發(fā)明的一較佳實(shí)施方式,提取模仿語(yǔ)音信息中的模仿語(yǔ)音特征序列集,包括:對(duì)模仿語(yǔ)音信息進(jìn)行語(yǔ)音識(shí)別以獲得對(duì)應(yīng)的語(yǔ)音內(nèi)容特征序列、語(yǔ)音停頓特征序列以及語(yǔ)音時(shí)長(zhǎng)特征序列并加入到模仿語(yǔ)音特征序列集中;對(duì)模仿語(yǔ)音信息進(jìn)行基頻提取以獲得對(duì)應(yīng)的語(yǔ)音音調(diào)特征序列并加入到模仿語(yǔ)音特征序列集中;對(duì)模仿語(yǔ)音信息進(jìn)行能量提取以獲取對(duì)應(yīng)的語(yǔ)音重讀特征序列并加入到模仿語(yǔ)音特征序列集中。

      本發(fā)明基于語(yǔ)音相似度的語(yǔ)音評(píng)測(cè)方法及系統(tǒng)的有益效果為:

      本發(fā)明的語(yǔ)音相似度的評(píng)測(cè)方法及系統(tǒng),能夠直觀的為學(xué)習(xí)者給出相似度的評(píng)分,為語(yǔ)言學(xué)習(xí)的模仿學(xué)習(xí)方法提供了有效的反饋,能夠促進(jìn)學(xué)習(xí)者在語(yǔ)言學(xué)習(xí)中反復(fù)模仿練習(xí),以提高學(xué)習(xí)者的語(yǔ)言學(xué)習(xí)水平(口語(yǔ)水平)和學(xué)習(xí)效果,進(jìn)而為學(xué)習(xí)者的語(yǔ)音學(xué)習(xí)提供直接的幫助。本發(fā)明的語(yǔ)音相似度的評(píng)測(cè)方法在對(duì)發(fā)音正確性進(jìn)行考核的基礎(chǔ)上,增加了對(duì)發(fā)音模仿程度的評(píng)估,可幫助用戶有針對(duì)性的進(jìn)行模仿練習(xí),提高發(fā)音水平。

      以上結(jié)合附圖實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)說明,本領(lǐng)域中普通技術(shù)人員可根據(jù)上述說明對(duì)本發(fā)明做出種種變化例。因而,實(shí)施例中的某些細(xì)節(jié)不應(yīng)構(gòu)成對(duì)本發(fā)明的限定,本發(fā)明將以所附權(quán)利要求書界定的范圍作為本發(fā)明的保護(hù)范圍。

      當(dāng)前第1頁(yè)1 2 3 
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
      1