本發(fā)明一般涉及機(jī)器學(xué)習(xí),并且更具體地,涉及用于數(shù)據(jù)排序以生成循環(huán)神經(jīng)網(wǎng)絡(luò)換能器(rnn-t)模型的方法和系統(tǒng)。
背景技術(shù):
1、近年來,作為將傳統(tǒng)asr系統(tǒng)的分離組件(例如,聲學(xué)、發(fā)音和語言模型)折疊到單個(gè)神經(jīng)網(wǎng)絡(luò)中的方式,用于自動(dòng)語音識(shí)別(asr)的端到端模型得到了普及。這種模型的例子包括基于連接性時(shí)間分類(ctc)的模型、循環(huán)神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)換器(rnn-t)和基于注意力的seq2seq模型。在這些模型中,rnn-t是最合適的流式端到端識(shí)別器,其與傳統(tǒng)系統(tǒng)相比表現(xiàn)出了有競爭力的性能。
技術(shù)實(shí)現(xiàn)思路
1、根據(jù)本發(fā)明的一個(gè)方面,提供了一種用于準(zhǔn)備用于語音識(shí)別模型的訓(xùn)練數(shù)據(jù)的計(jì)算機(jī)實(shí)現(xiàn)的方法。該計(jì)算機(jī)實(shí)現(xiàn)的方法包括從語料庫獲取多個(gè)句子,將該多個(gè)句子中的每個(gè)音素劃分成三個(gè)隱藏狀態(tài),針對(duì)該多個(gè)句子中的每個(gè)句子,基于該句子中的每個(gè)音素的三個(gè)隱藏狀態(tài)的持續(xù)時(shí)間的變化來計(jì)算得分,以及通過使用所計(jì)算的得分來對(duì)該多個(gè)句子進(jìn)行排序。
2、根據(jù)本發(fā)明的另一方面,提供了一種用于準(zhǔn)備用于語音識(shí)別模型的訓(xùn)練數(shù)據(jù)的計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)具有隨其體現(xiàn)的程序指令,所述程序指令可由計(jì)算機(jī)執(zhí)行以使所述計(jì)算機(jī)從語料庫獲取多個(gè)句子,將所述多個(gè)句子中的每個(gè)音素劃分成三個(gè)隱藏狀態(tài),針對(duì)所述多個(gè)句子中的每個(gè)句子,基于所述句子中的每個(gè)音素的所述三個(gè)隱藏狀態(tài)的持續(xù)時(shí)間的變化來計(jì)算得分,以及通過使用所計(jì)算的得分來對(duì)所述多個(gè)句子進(jìn)行排序。
3、根據(jù)本發(fā)明的又一方面,提供了一種用于準(zhǔn)備用于語音識(shí)別模型的訓(xùn)練數(shù)據(jù)的系統(tǒng)。所述系統(tǒng)包括存儲(chǔ)器和與所述存儲(chǔ)器通信的一個(gè)或多個(gè)處理器,所述一個(gè)或多個(gè)處理器被配置為從語料庫獲取多個(gè)句子,將所述多個(gè)句子中的每個(gè)音素劃分成三個(gè)隱藏狀態(tài),針對(duì)所述多個(gè)句子中的每個(gè)句子,基于所述句子中的每個(gè)音素的所述三個(gè)隱藏狀態(tài)的持續(xù)時(shí)間的變化來計(jì)算得分,以及通過使用所計(jì)算的得分來對(duì)所述多個(gè)句子進(jìn)行排序。
4、應(yīng)當(dāng)注意,參考不同的主題描述了示例性實(shí)施例。特別地,一些實(shí)施例是參考方法類型權(quán)利要求來描述的,而其他實(shí)施例是參考裝置類型權(quán)利要求來描述的。然而,本領(lǐng)域技術(shù)人員將從以上和以下描述中了解到,除非另外指出,除了屬于一種類型的主題的特征的任何組合之外,與不同主題相關(guān)的特征之間的任何組合,特別是方法類型權(quán)利要求的特征與裝置類型權(quán)利要求的特征之間的任何組合,也被認(rèn)為是在本文件內(nèi)描述的。
5、從以下結(jié)合附圖閱讀的對(duì)本發(fā)明的說明性實(shí)施例的詳細(xì)描述中,這些和其它特征和優(yōu)點(diǎn)將變得顯而易見。
1.一種用于準(zhǔn)備用于語音識(shí)別模型的訓(xùn)練數(shù)據(jù)的計(jì)算機(jī)實(shí)現(xiàn)的方法,所述方法包括:
2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法,其中通過使用所述句子中的每個(gè)音素中的所述三個(gè)隱藏狀態(tài)的平均持續(xù)時(shí)間來計(jì)算每個(gè)得分。
3.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法,其中通過使用先前從干凈語音估計(jì)的所述句子中的每個(gè)音素中的所述三個(gè)隱藏狀態(tài)中的每個(gè)隱藏狀態(tài)的持續(xù)時(shí)間來計(jì)算每個(gè)得分。
4.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的計(jì)算機(jī)實(shí)現(xiàn)的方法,其中當(dāng)來自干凈語音的統(tǒng)計(jì)數(shù)據(jù)不可用時(shí),所述得分是音素?zé)o關(guān)的均勻度得分。
5.根據(jù)權(quán)利要求4所述的計(jì)算機(jī)實(shí)現(xiàn)的方法,其中所述音素?zé)o關(guān)的均勻度得分為:
6.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的計(jì)算機(jī)實(shí)現(xiàn)的方法,其中當(dāng)來自干凈語音的統(tǒng)計(jì)數(shù)據(jù)可用時(shí),所述得分是音素相關(guān)的均勻度得分。
7.根據(jù)權(quán)利要求6所述的計(jì)算機(jī)實(shí)現(xiàn)的方法,其中所述音素相關(guān)的均勻度得分被給出為:
8.一種用于為語音識(shí)別模型準(zhǔn)備訓(xùn)練數(shù)據(jù)的計(jì)算機(jī)程序產(chǎn)品,所述計(jì)算機(jī)程序產(chǎn)品包括具有隨其體現(xiàn)的程序指令的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述程序指令可由計(jì)算機(jī)執(zhí)行以使所述計(jì)算機(jī):
9.根據(jù)權(quán)利要求8所述的計(jì)算機(jī)程序產(chǎn)品,其中通過使用所述句子中的每個(gè)音素中的所述三個(gè)隱藏狀態(tài)的平均持續(xù)時(shí)間來計(jì)算每個(gè)得分。
10.根據(jù)權(quán)利要求8所述的計(jì)算機(jī)程序產(chǎn)品,其中通過使用先前從干凈語音估計(jì)的所述句子中的每個(gè)音素中的所述三個(gè)隱藏狀態(tài)中的每一個(gè)的持續(xù)時(shí)間來計(jì)算每個(gè)得分。
11.根據(jù)權(quán)利要求8至10中任一項(xiàng)所述的計(jì)算機(jī)程序產(chǎn)品,其中當(dāng)來自干凈語音的統(tǒng)計(jì)數(shù)據(jù)不可用時(shí),所述得分是音素?zé)o關(guān)的均勻度得分。
12.根據(jù)權(quán)利要求11所述的計(jì)算機(jī)程序產(chǎn)品,其中所述音素?zé)o關(guān)的均勻度得分為:
13.根據(jù)權(quán)利要求8至12中任一項(xiàng)所述的計(jì)算機(jī)程序產(chǎn)品,其中當(dāng)來自干凈語音的統(tǒng)計(jì)數(shù)據(jù)可用時(shí),所述得分是音素相關(guān)的均勻度得分。
14.根據(jù)權(quán)利要求13所述的計(jì)算機(jī)程序產(chǎn)品,其中所述音素相關(guān)的均勻度得分被給出為:
15.一種用于準(zhǔn)備用于語音識(shí)別模型的訓(xùn)練數(shù)據(jù)的系統(tǒng),所述系統(tǒng)包括:
16.根據(jù)權(quán)利要求15所述的系統(tǒng),其中通過使用所述句子中的每個(gè)音素中的所述三個(gè)隱藏狀態(tài)的平均持續(xù)時(shí)間來計(jì)算每個(gè)得分。
17.根據(jù)權(quán)利要求15所述的系統(tǒng),其中通過使用先前從干凈語音估計(jì)的所述句子中的每個(gè)音素中的所述三個(gè)隱藏狀態(tài)中的每一個(gè)的持續(xù)時(shí)間來計(jì)算每個(gè)得分。
18.根據(jù)權(quán)利要求15至17中任一項(xiàng)所述的系統(tǒng),其中當(dāng)來自干凈語音的統(tǒng)計(jì)數(shù)據(jù)不可用時(shí),所述得分是音素?zé)o關(guān)的均勻度得分。
19.根據(jù)權(quán)利要求18所述的系統(tǒng),其中所述音素?zé)o關(guān)的均勻度得分為:
20.根據(jù)權(quán)利要求15至19中任一項(xiàng)所述的系統(tǒng),其中當(dāng)來自干凈語音的統(tǒng)計(jì)數(shù)據(jù)可用時(shí),所述得分是音素相關(guān)的均勻度得分,所述音素相關(guān)的均勻度得分被給出為:
21.一種計(jì)算機(jī)程序,包括程序代碼裝置,當(dāng)所述程序在計(jì)算機(jī)上運(yùn)行時(shí),所述程序代碼裝置適于執(zhí)行權(quán)利要求1至7中任一項(xiàng)所述的方法。