專(zhuān)利名稱(chēng)：以語(yǔ)音特征為基礎(chǔ)的話語(yǔ)識(shí)別裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明總地涉及自動(dòng)話語(yǔ)識(shí)別(ASR)系統(tǒng)，并更具體涉及可產(chǎn)生一組語(yǔ)音特征的一種元音矢量投射類(lèi)似性系統(tǒng)和方法。

發(fā)明內(nèi)容
用于對(duì)普通話中文語(yǔ)言的輸入話語(yǔ)頻譜矢量進(jìn)行精確話語(yǔ)識(shí)別的一種裝置及方法，其步驟包含有選擇一組九個(gè)靜態(tài)(stationary)普通話元音用作為語(yǔ)音特征參考元音，計(jì)算在九個(gè)靜態(tài)普通話參考元音的上的輸入矢量的投射與相對(duì)投射類(lèi)似性，從這些九個(gè)靜態(tài)普通話元音中選出一組具高投射類(lèi)似性的元音，從該組高投射類(lèi)似性元音中，選擇其中具有與輸入矢量有最高相對(duì)投射類(lèi)似性的靜態(tài)普通話元音，以及若該組的高投射類(lèi)似性元音為零(null)，則響應(yīng)于一個(gè)投射類(lèi)似性的量測(cè)值，從這些九個(gè)靜態(tài)普通話元音中選擇一個(gè)元音。
圖2為非靜態(tài)元音″ai″的頻譜以及其美-標(biāo)度表示。
圖3(a)顯示沿著一參考矢量c(k)的方向的與一輸入矢量x的投射成比例的投射類(lèi)似性；圖3(b)顯示在頻譜上相似的參考元音″i″與″iu″，其中輸入矢量在這些相似的參考元音上的投射類(lèi)似性都會(huì)很高。
圖4是為一矢量圖，其中顯示二維矢量的相對(duì)投射類(lèi)似性。
圖5為普通話元音″ai″的語(yǔ)音特征輪廓圖，示出了依據(jù)本發(fā)明的參考元音之間的轉(zhuǎn)變。
圖6(a)顯示對(duì)于元音″i″(暗點(diǎn))與元音″iu″(淡點(diǎn))的a(8)(垂直軸)與a(6)(水平軸)的投射類(lèi)似性。
圖6(b)顯示對(duì)于相同元音的參考頻譜，投射類(lèi)似性的識(shí)別度(無(wú)相對(duì)投射類(lèi)似性)與本發(fā)明的語(yǔ)音特征方案之間的比較。
圖7為根據(jù)本發(fā)明的″iu″的語(yǔ)音特征相對(duì)于″i″的語(yǔ)音特征的圖形，λ作為一個(gè)參數(shù)，其隨著灰度的增加而具有較大的數(shù)值。
當(dāng)人類(lèi)說(shuō)話時(shí)，空氣是由肺部推出以刺激聲帶。發(fā)音部位接著根據(jù)所欲發(fā)出的聲音形成壓力波。對(duì)于一些元音而言，發(fā)音部位的形狀在整個(gè)清晰發(fā)音過(guò)程中保持未改變，以致于頻譜形狀及時(shí)呈現(xiàn)靜態(tài)。對(duì)其他元音而言，清晰發(fā)音由發(fā)音部位的形狀開(kāi)始，其逐漸地改變，且接著定位至另一形狀。對(duì)于靜態(tài)元音而言，頻譜形狀確定音素的識(shí)別及這些形狀被用作為語(yǔ)音特征映射中的參考頻譜。然而，非靜態(tài)元音，一般具有兩或三個(gè)參考元音區(qū)段及在這些元音之間的過(guò)渡區(qū)段。

圖13為靜態(tài)元音″i″及非靜態(tài)元音″ai″的頻譜，說(shuō)明差異。圖14為非靜態(tài)元音″ai″的頻譜及美-標(biāo)度頻率表示，顯示具有類(lèi)似于元音″a″的頻譜的初始相，位移至類(lèi)似于元音″e(cuò)″的頻譜及最后定位在類(lèi)似元音″i″的頻譜。美-標(biāo)度調(diào)整將物理上的赫茲頻率轉(zhuǎn)換到感知頻率標(biāo)度上，并可被利用來(lái)描述人類(lèi)主觀音調(diào)感覺(jué)。在美-標(biāo)度中，以低頻頻帶發(fā)聲的情形，要比以高頻頻帶發(fā)聲的情況來(lái)得多；而赫茲(或頻率)標(biāo)度及美-標(biāo)度之間的關(guān)系可以表示為美＝2595×log(1+f/700)其中f是為信號(hào)的頻率。本發(fā)明的較佳實(shí)施例利用了九種靜態(tài)元音作為參考元音，以構(gòu)成所有37個(gè)普通話元音的基礎(chǔ)。表1中列出了37種普通話元音音素以及九種參考音素。
表137種普通話元音音素a，o，e，ai，è，ei，au，ou，an，en，ang，eng，i，u，iu，ia，ie，iau，iou，iai，ian，in，iang，ing，ua，uo，uai，uei，uan，uen，uang，ueng，iue，iuan，iun，iong，el九種參考普通話元音音素a，o，e，è，eng，i，u，i u，el此九個(gè)參考元音的頻譜由c(i)來(lái)代表，其中i＝1，2，…，9，且對(duì)于此情況，其每一個(gè)是通過(guò)將在以訓(xùn)練組中的一特定參考元音的所有幀加以平均所計(jì)算得到的一個(gè)64維的矢量(或者在逆傅里葉變換中為波分量)。
本發(fā)明使用一種語(yǔ)音特征映射而從一個(gè)64維的頻譜矢量中產(chǎn)生出九個(gè)特征。首先，本發(fā)明從所有的元音音素中選出九個(gè)參考矢量。接著，語(yǔ)音特征映射計(jì)算一個(gè)輸入頻譜對(duì)于九個(gè)參考頻譜矢量的投射類(lèi)似性，然后計(jì)算輸入頻譜和72對(duì)參考頻譜矢量之間的另外一組的72個(gè)相對(duì)類(lèi)似性。之后還以參考矢量為基礎(chǔ)，該映射計(jì)算輸入頻譜的另一組72個(gè)相對(duì)類(lèi)似性。通過(guò)將此些類(lèi)似性組合，便可以獲得最終一組的九個(gè)語(yǔ)音特征。與傳統(tǒng)的將輸入頻譜分類(lèi)成為參考頻譜之一的分類(lèi)方案有所不同，本發(fā)明定量地規(guī)范輸入頻譜相對(duì)于九個(gè)參考頻譜的形狀(還有發(fā)聲部位的形狀)。本發(fā)明的語(yǔ)音特征映射通過(guò)類(lèi)似性的測(cè)量而實(shí)現(xiàn)特征的抽取(或者說(shuō)維數(shù)減少)。本發(fā)明的較佳實(shí)施例中使用了兩種形式的基于投射的類(lèi)似性測(cè)量即投射類(lèi)似性，以及相對(duì)投射類(lèi)似性。
圖3(a)示出了沿著具有預(yù)定加權(quán)的一參考矢量c(k)的方向，與一輸入矢量x的投射成比例的投射類(lèi)似性a(k)=Σwi(k)·xi·ci(k)||c(k)||]]>其中k＝1，…，9，且||c(k)||=(Σi=164(ci(k))2]]>且其加權(quán)因數(shù)由下式給出wi(k)=ci(k)/σi(k)Σi=164ci(k)/σi(k)]]>其中i＝1、2、…、64及k＝1、2、…、9以及σi(k)為對(duì)應(yīng)于kth參考元音的總體中維量i的標(biāo)準(zhǔn)偏差。在加權(quán)因子wi(k)中，σi(k)用作為常數(shù)，其使得在所有9個(gè)參考矢量中的所有維量具有相同方差。在加權(quán)因子的ci(k)項(xiàng)強(qiáng)調(diào)具有較大振幅的頻譜分量。此組對(duì)應(yīng)至每一參考矢量的加權(quán)數(shù)被正規(guī)化。
對(duì)許多情況而言，上述的投射類(lèi)似性是足以用于精確的話語(yǔ)識(shí)別。但圖15(b)顯示頻譜上相似的參考元音″i″及″iu″的情況，其中在這些類(lèi)似參考元音上的輸入矢量的投射類(lèi)似性將都為大及話語(yǔ)輸入將為頻譜上相似于類(lèi)似的音素，從而需要進(jìn)一步的區(qū)分以實(shí)現(xiàn)精確的話語(yǔ)識(shí)別。
本發(fā)明的另一實(shí)施例利用了“相對(duì)投射類(lèi)似性”，其僅抽取決定性的頻譜分量，從而實(shí)現(xiàn)較佳的區(qū)分作用。為了解說(shuō)容易，圖4為一矢量圖，說(shuō)明用于二維矢量的相對(duì)投射類(lèi)似性。當(dāng)然，所有多維矢量是在本發(fā)明的預(yù)期范圍內(nèi)。輸入矢量x接近兩類(lèi)似的參考矢量c(k)及c(l)，稍微較接近c(diǎn)(k)，但在投射上的差異不大，如圖4(a)所示。通過(guò)c(k)-c(l)表示的界于c(k)及c(l)之間的差異對(duì)于輸入話語(yǔ)矢量x的分類(lèi)具有決定性。圖4(b)及4(c)顯示x-c(l)在c(k)-c(l)上的投射是大于x-c(k)在c(l)-c(k)上的投射，以及其間的差異是較x單獨(dú)在c(k)及在c(l)上的投射之間的差異顯著。利用此觀察，相對(duì)于c(l)的輸入矢量x在c(k)的統(tǒng)計(jì)上加權(quán)投射為q(k,l)=Σi=164vi(k,l)·(xi-ci(l))·(ci(k)-ci(l))||ck-c(l)||]]>其中k＝1、...、9，l≠k，以及||c(k)-c(l)||=Σi=164(ci(k)-ci(l))2.]]>正規(guī)化加權(quán)數(shù)因子由下式表示vi(k,l)=|ci(k)-ci(l)|/(σi(k))2+(σi(l))2Σi=164|ci(k)-ci(l)|/(σi(k))2+(σi(l))2]]>其中i＝1、...、64；k＝1、...、9，l≠k。加權(quán)因子用于強(qiáng)調(diào)此具有大差異的兩參考矢量的這些分量及用于使差異在所有維量中相等。在q(k，l)為負(fù)數(shù)的情況中，為了控制動(dòng)態(tài)范圍及為了維持識(shí)別輸入矢量所需的線索，負(fù)的q(k，l)被設(shè)定為一小正值以及正值的q(k，l)不改變(單極傾斜函數(shù))。相對(duì)于c(l)的x在c(k)上的相對(duì)投射類(lèi)似性被定義為r(k,l)=q(k,l)q(k,l)+q(l,k)]]>其中k＝1、...、9，l≠k。因此，總共有8×9＝72個(gè)相對(duì)的投射類(lèi)似性，其與9個(gè)投射類(lèi)似性一起界定本發(fā)明的較佳具體實(shí)施例的語(yǔ)音特征。
在本發(fā)明的一具體實(shí)施例中，投射類(lèi)似性及相對(duì)投射類(lèi)似性的整合以辨認(rèn)話語(yǔ)是利用一譜系分類(lèi)，其中投射類(lèi)似性通過(guò)選擇具有較大的x在c(k)上的投射值，換言之，對(duì)a(k)而言為大值的的候選對(duì)象來(lái)確定第一粗略分類(lèi)。候選對(duì)象被進(jìn)一步使用成對(duì)的相對(duì)投射類(lèi)似性進(jìn)行篩選。然而，若第一粗略分類(lèi)未適當(dāng)?shù)卣{(diào)整，可能未選擇到良好的候選對(duì)象。
在本發(fā)明的較佳具體實(shí)施例中，投射類(lèi)似性及相對(duì)投射類(lèi)似性是通過(guò)話語(yǔ)特征映射而被積分，其利用方案(a)相對(duì)投射類(lèi)似性被利用用于任何兩具有大投射類(lèi)似性的參考矢量；以及(b)否則，投射類(lèi)似性可單獨(dú)使用。此將不僅產(chǎn)生更精確的話語(yǔ)識(shí)別，亦可更有效率地計(jì)算。語(yǔ)音特征被定義為p(k)=1λa(k)+1λΣl=1,l=k9(r(k,l)p(l)-r(l,k)p(k))]]>其中k＝1、2、…、9及λ為標(biāo)度因子，用于控制交叉耦合或橫向抑制的程度。對(duì)上述兩參考矢量的方程式的解法(為了說(shuō)明的簡(jiǎn)化性)由下式所示p(k)p(l)=λa(k)+(a(k)+a(l))γ(k,l)λa(l)+(a(k)+a(l))γ(l,k)]]>對(duì)于a(k)及a(l)二者皆大且具有可比較的振幅的情況下，假設(shè)x較接近歐幾里得范數(shù)感覺(jué)中的c(k)，x與c(k)的間的距離較小，所以r(k，l)大于r(l，k)。若λ相對(duì)地小，接著p(k)/p(l)接近r(k，l)/r(l，k)，其是通過(guò)r(k，l)及r(l，k)，相對(duì)投射類(lèi)似性而被確定。對(duì)于a(k)及a(l)中只有一者為大時(shí)，假設(shè)a(k)為大，則r(k，l)及r(l，k)分別接近于1及0以及p(k)/p(l)≈(λ+1)a(k)+a(l)λa(l),]]>其通過(guò)a(k)及a(l)被確定。對(duì)于第三及最后一種可能情況，其中a(k)及a(l)皆小，p(k)∝λa(k)+(a(k)+a(l))r(k，l)以及p(l)∝λa(1)+(a(k)+a(l))r(l，k).
因?yàn)閍(k)及a(l)皆小，以及r(k，l)及r(l，k)小于1，因此p(k)及p(l)亦小且可忽略。定義r(k,k)=λ+Σl=1,l=k9r(l,k)]]>其中k＝1、2、…、9，接著上述p(k)的方程式可寫(xiě)成矩陣形式 對(duì)于k＝1、2、…、9的語(yǔ)音特征p(k)通過(guò)在兩側(cè)乘上上述矩陣的倒數(shù)而解出。
圖5為普通話元音″ai″的語(yǔ)音特征輪廓圖，開(kāi)始時(shí)最大的語(yǔ)音特征為″a″，接著轉(zhuǎn)移成元音″e(cuò)″及最后″i″變成最大的語(yǔ)音特征。在450ms后，語(yǔ)音特征″u″變成可見(jiàn)，雖然相當(dāng)短且不顯著。本發(fā)明經(jīng)由解體成基本的9個(gè)元音實(shí)現(xiàn)顯著的識(shí)別力。通過(guò)利用相對(duì)投射類(lèi)似性以增進(jìn)類(lèi)似參考元音的間的識(shí)別力，甚至可實(shí)現(xiàn)更高的話語(yǔ)識(shí)別精確性。圖6(a)顯示對(duì)元音″i″(深色點(diǎn))及元音″iu″(淺色點(diǎn))的a(8)(″iu″，縱軸)及a(6)(″i″，橫軸)的投射類(lèi)似性。對(duì)投射類(lèi)似性單獨(dú)而言，識(shí)別力不大因?yàn)椴煌舴浅＝咏谝黄?，如圖6(a)所示。然而，當(dāng)本發(fā)明的語(yǔ)音特征圖被利用用于″i″(p(6)，深色陰影)及″iu″(p(8)，淺色陰影)時(shí)，識(shí)別力被大大地提高，如由圖6(b)所示的元音的顯著分離可看出。
人類(lèi)通過(guò)數(shù)種譜系部分識(shí)別來(lái)感知話語(yǔ)。本發(fā)明包含部分識(shí)別，因?yàn)槿缟衔闹蟹讲攀黾?，元音被解體成9個(gè)參考元音的區(qū)段。再者，當(dāng)聆聽(tīng)時(shí)，人類(lèi)忽略許多無(wú)關(guān)的信息。本發(fā)明的9個(gè)參考元音用于摒棄許多無(wú)關(guān)的信息。因此，本發(fā)明具體化人類(lèi)話語(yǔ)感知的特征以實(shí)現(xiàn)較高的話語(yǔ)識(shí)別。
本發(fā)明中的語(yǔ)音特征p(k)的識(shí)別力是通過(guò)標(biāo)度因子λ的給定值來(lái)控制。如上述p(k)的方程式所示，若λ大時(shí)，相對(duì)投射類(lèi)似性r(k，l)的總和被λ壓倒。圖7顯示被應(yīng)用于″i″(p(6)，暗影)與″iu″(p(8)，淡影)的本發(fā)明的語(yǔ)音特征方案上的效果，其識(shí)別力作為λ(隨著灰度的增加而具有較大數(shù)值的一個(gè)參數(shù))的一個(gè)函數(shù)而被大為增強(qiáng)。λ的較小值使分布分散遠(yuǎn)離對(duì)角線(其代表無(wú)識(shí)別力)，使得兩元音更能識(shí)別，從而改良識(shí)別精確性。然而，對(duì)λ而言，太小值將造成散亂，其難以通過(guò)多維量高斯函數(shù)在連續(xù)HMM(CHMM)識(shí)別器114(圖1)中形成模型，造成不良的識(shí)別精確性。因此，本發(fā)明有利地利用標(biāo)度因子λ的值以最優(yōu)化識(shí)別力，同時(shí)限制散亂。
雖然上文中已完整說(shuō)明特定的具體實(shí)施例，可使用不同的改良、替代性結(jié)構(gòu)及等效物。例如，雖然在本文中的例子顯示的是普通話中文，本發(fā)明的技術(shù)思想是適用于任何具有音節(jié)的語(yǔ)言。再者，任何技術(shù)皆可有利地使用。因此，上述的描述及說(shuō)明不應(yīng)對(duì)通過(guò)后附權(quán)利要求定義的本發(fā)明的范圍造成限制。
權(quán)利要求
1.一種對(duì)以普通話中文的輸入矢量進(jìn)行話語(yǔ)識(shí)別的方法，包括有步驟利用一組靜態(tài)普通話元音作為語(yǔ)音特征參考元音。
2.根據(jù)權(quán)利要求1的方法，其中該組靜態(tài)普通話元音具有九個(gè)組成部分。
3.根據(jù)權(quán)利要求2的方法，還包括有步驟計(jì)算在該組靜態(tài)普通話元音上的輸入矢量的投射類(lèi)似性。
4.根據(jù)權(quán)利要求3的方法，還包括有步驟響應(yīng)于該投射類(lèi)似性計(jì)算的最高值，從該組靜態(tài)普通話元音中選擇一候選元音。
5.根據(jù)權(quán)利要求2的方法，還包括有步驟計(jì)算在該組靜態(tài)普通話元音上的輸入矢量的相對(duì)投射類(lèi)似性的步驟，語(yǔ)音特征映射是基于九個(gè)參考矢量。
6.根據(jù)權(quán)利要求5的方法，還包括有步驟響應(yīng)于該相對(duì)投射類(lèi)似性計(jì)算的最高值，從該組靜態(tài)普通話元音中選擇一候選元音。
7.一種用于對(duì)以普通話中文的輸入矢量進(jìn)行話語(yǔ)識(shí)別的方法，包括有步驟(a)選擇九個(gè)靜態(tài)參考普通話元音用作為語(yǔ)音特征參考元音；(b)計(jì)算在這些九個(gè)靜態(tài)普通話元音上的輸入矢量的投射類(lèi)似性；(c)計(jì)算在這些九個(gè)靜態(tài)普通話元音上的輸入矢量的相對(duì)投射類(lèi)似性；(d)從這些九個(gè)靜態(tài)普通話元音中選擇一組高投射類(lèi)似性的元音；(e)從該組高投射類(lèi)似性元音中選擇具有與輸入矢量有最高相對(duì)投射類(lèi)似性的靜態(tài)普通話元音；及(f)若該組高投射類(lèi)似性元音為零，則響應(yīng)于最高投射類(lèi)似性計(jì)算，從這些九個(gè)靜態(tài)參考普通話元音中選擇一個(gè)元音
8.根據(jù)權(quán)利要求7的方法，還包括有步驟利用一定標(biāo)因子來(lái)控制相對(duì)投射交叉耦合的程度，從而增加一語(yǔ)音特征的識(shí)別力。
9.一種用于映射一輸入話語(yǔ)頻譜矢量的語(yǔ)音特征映射器，其包含有用于存儲(chǔ)一組九個(gè)靜態(tài)普通話參考頻譜矢量的存儲(chǔ)器；處理裝置，耦接至該存儲(chǔ)裝置，用于計(jì)算在這些九個(gè)靜態(tài)普通話參考頻譜矢量上的輸入頻譜矢量的投射類(lèi)似性；與選擇裝置，耦接至該處理裝置，用于響應(yīng)于由該處理裝置所計(jì)算的最高投射類(lèi)似性數(shù)值，選擇這些九個(gè)靜態(tài)普通話參考頻譜矢量中的至少一個(gè)。
10.一種用于映射一輸入話語(yǔ)頻譜矢量的語(yǔ)音特征映射器，其包含有用于存儲(chǔ)一組九個(gè)靜態(tài)普通話參考頻譜矢量的存儲(chǔ)器；處理裝置，耦接至該存儲(chǔ)裝置，用于計(jì)算在這些九個(gè)靜態(tài)普通話參考頻譜矢量上的輸入頻譜矢量的相對(duì)投射類(lèi)似性；及選擇裝置，耦接至該處理裝置，用于響應(yīng)于由該處理裝置所計(jì)算得的最高相對(duì)投射類(lèi)似性值，選擇這些九個(gè)靜態(tài)普通話參考頻譜矢量中的至少一個(gè)。
11.一種用于映射一輸入話語(yǔ)頻譜矢量的語(yǔ)音特征映射器，其包含有用于存儲(chǔ)一組九個(gè)靜態(tài)普通話參考頻譜矢量的存儲(chǔ)器；處理裝置，耦接至該存儲(chǔ)裝置，用于計(jì)算在這些九個(gè)靜態(tài)普通話參考頻譜矢量上的輸入頻譜矢量的投射類(lèi)似性以及相對(duì)投射類(lèi)似性；及選擇裝置，耦接至該處理裝置，用于響應(yīng)于由該處理裝置所計(jì)算得的投射類(lèi)似性以及相對(duì)投射類(lèi)似性值，選擇這些九個(gè)靜態(tài)普通話參考頻譜矢量中的至少一個(gè)。
12.根據(jù)權(quán)利要求11的語(yǔ)音特征映射器，其中該處理裝置還利用一定標(biāo)因子來(lái)控制相對(duì)投射交叉耦合的程度，從而增加語(yǔ)音特征的識(shí)別力。
全文摘要
可對(duì)普通話中文語(yǔ)言的輸入話語(yǔ)頻譜矢量進(jìn)行精確話語(yǔ)識(shí)別的一種裝置及方法，其步驟包含有選擇一組九個(gè)靜態(tài)普通話元音供作為語(yǔ)音特征參考元音，計(jì)算在九個(gè)靜態(tài)普通話參考元音上的輸入矢量的投射與相對(duì)投射類(lèi)似性，從這些九個(gè)靜態(tài)普通話元音中選出一組具高投射類(lèi)似性的元音，從該組高投射類(lèi)似性元音中，選擇其中具有與輸入矢量有最高相對(duì)投射類(lèi)似性的靜態(tài)普通話元音，以及若該組高投射類(lèi)似性元音為零的話，響應(yīng)于一個(gè)投射類(lèi)似性的量測(cè)值，從這些九個(gè)靜態(tài)普通話元音中選擇一個(gè)元音。
文檔編號(hào)G10L15/00GK1400584SQ0112405
公開(kāi)日2003年3月5日 申請(qǐng)日期2001年8月8日 優(yōu)先權(quán)日2001年8月8日
發(fā)明者卜令楷, 闕志達(dá) 申請(qǐng)人:韋爾博泰克公司