專利名稱：用于統(tǒng)計語言模型的自適應的制作方法
用于統(tǒng)計語言模型的自適應
背景技術：
對于諸如例如漢語、韓語以及日語之類的東亞語言，可以使用輸入法來將語音字符串轉換(讀取)為顯示字符，還處理諸如繁體中文字符之類中的筆畫。由于同音詞以及各種可能的單詞分段，轉換中存在歧義。輸入法試圖基于一般(例如，基準、默認)語言模型以及用戶輸入歷史來解決歧義?？梢砸远喾N方式執(zhí)行對用戶輸入歷史的自適應，例如，短期記憶以及長期記憶。短期記憶對應于自適應的快速性，而長期記憶對應于自適應的穩(wěn)定性。通過將來自短期和長期記憶的信息添加到通用語言模型中，來確定轉換結果?？梢酝ㄟ^基于以前的用戶對單詞的選擇(用戶輸入歷史)來增加單詞分數或改變單詞分級來實現短期記憶。然而，一些單詞在被使用之后不會很快出現，而一些單詞在被使用之后意外地在無法接受的上下文中出現。長期記憶可以通過累加用戶輸入歷史來實現。 然而，一些單詞仍意外地出現在無法接受的上下文中，盡管使用了長期記憶。

發(fā)明內容
下面提供了簡明的概述，以便提供對此處所描述的一些新穎實施方式的基準理解。本概述不是詳盡的概述，并且它不旨在標識關鍵/重要元素或描繪本發(fā)明的范圍。其唯一的目的是以簡化形式呈現一些概念，作為稍后呈現的更具體實施方式
的序言。所公開的體系結構通過將適當的限制應用到長期和短期記憶來抑制單詞的意外出現。還通過利用限制來實現自適應的快速性。該體系結構包括歷史組件，用于處理通過輸出轉換結果的轉換過程對語音字符串的轉換的用戶輸入歷史，以及自適應組件，用于基于應用于在轉換過程中影響單詞出現的短期記憶的限制來使轉換過程適應用戶輸入歷史。該體系結構基于依賴于上下文的概率差 (短期記憶)來執(zhí)行概率增加，并基于單詞的前面的上下文的頻率(長期記憶)在長期記憶和基準語言模型之間執(zhí)行動態(tài)線性內插。為了為實現上述及相關目的，本文結合下面的描述和附圖來描述某些說明性方面。這些方面指示了可以實施本文所公開的原理的各種方式，所有方面及其等效方面旨在落入所要求保護的主題的范圍內。結合附圖閱讀下面的具體實施方式
，其他優(yōu)點和新穎特征將變得顯而易見。


圖1示出了根據所公開的體系結構的計算機實現的語音系統(tǒng)。圖2示出了包括圖1的語音系統(tǒng)的附加的方面的系統(tǒng)。圖3示出了權重變換的圖。圖4示出了緩存權重變換的圖。圖5示出了計算機實現的語音方法。圖6示出了圖5的方法的附加的方面。圖7示出了圖5的方法的附加的方面。
圖8示出了根據所公開的體系結構的可操作以執(zhí)行對于統(tǒng)計語言模型的快速而穩(wěn)定的自適應的計算系統(tǒng)的框圖。
具體實施例方式雖然現有的語音系統(tǒng)的轉換精度在一般方案中可以是高的，但是，用戶仍失望，因為特定用戶的語言空間不同于通用空間。特別是對于人名，就是這種情況，表達式首選項隨著用戶自然地變化，因此，無法通過通用語言模型來解決。所公開的體系結構是自動調諧技術，其中，在使用產品較短時間(例如，2-3周)之后，用戶不再需要打開候選列表。此外，所公開的自動調諧技術提高了用戶的工作績效。該體系結構基于依賴于上下文的概率差(短期記憶)執(zhí)行概率增強，并基于單詞的前面的上下文的頻率(長期記憶)在長期記憶和基準語言模型之間執(zhí)行動態(tài)線性內插?，F在將參考附圖，全部附圖中相同的參考編號用于表示相同的元件。在下面的描述中，為了進行說明，闡述了很多具體細節(jié)以便提供對本發(fā)明的全面理解。然而，顯而易見， 可以沒有這些具體細節(jié)的情況下實施各新穎實施方式。在其他情況下，以框圖形式示出了各個公知的結構和設備以便于描述本發(fā)明。本發(fā)明將涵蓋落入所要求保護的主題的精神和范圍內的所有修改、等效方案和替換方案。圖1示出了根據所公開的體系結構的計算機實現的語音系統(tǒng)100。系統(tǒng)100包括歷史組件102，用于處理通過輸出轉換結果106的轉換過程對語音字符串105的轉換的用戶輸入歷史104，以及自適應組件108，用于基于應用于在轉換過程中影響單詞出現的短期記憶112的限制110而使轉換過程適應用戶輸入歷史104。自適應組件108基于長期記憶114，在長期記憶114和基準語言模型之間執(zhí)行動態(tài)線性內插。當單詞不是候選列表的第一候選時，限制110增加單詞的概率。應用于短期記憶112的限制110使用依賴于上下文的短期記憶雙連詞概率。應用于短期記憶112的限制 110基于單詞和句子中的單詞的上下文來增加概率。上下文包括相對于句子中的單詞的前面的上下文和后面的上下文。自適應組件108包括學習算法，該算法基于候選列表的第一候選和候選列表的選定候選之間的區(qū)別，執(zhí)行標志學習，并在下一轉換過程中將選定候選移動到第一轉換結果位置。圖2示出了包括圖1的語音系統(tǒng)100的附加的方面的系統(tǒng)200。系統(tǒng)200包括歷史組件102，用于處理通過轉換過程204對語音字符串105的轉換的用戶輸入歷史104，以及自適應組件108，用于基于應用于在轉換過程204中影響單詞出現的短期記憶112的限制 110來使轉換過程204適應用戶輸入歷史104。自適應組件108基于長期記憶114，在長期記憶114和基準語言模型208之間執(zhí)行動態(tài)線性內插。當單詞是候選列表的第一候選之外時，限制110增加單詞的概率。應用于短期記憶112的限制110使用依賴于上下文的短期記憶雙連詞概率。應用于短期記憶112 的限制110基于單詞和句子中的單詞的上下文來增加概率。上下文包括相對于句子中的單詞的前面的上下文和后面的上下文。自適應組件108包括學習算法，該算法基于候選列表的第一候選和候選列表的選定候選之間的區(qū)別，執(zhí)行標志學習，并在下一轉換過程中將選定候選移動到第一轉換結果位置。系統(tǒng)200還包括限制組件206，其用于通過基于依賴于上下文的概率差增加概率來應用限制110。限制組件206也可以通過基于依賴于上下文的概率差增強概率來將限制 110中的一個或多個應用到長期記憶114。換言之，語音系統(tǒng)200包括歷史組件102，用于處理在轉換過程204中對語音字符串105的轉換的用戶輸入歷史104，以及限制組件206，用于在轉換過程204中，將限制110 中的一個或多個應用到用戶輸入歷史104。歷史104包括短期記憶112和長期記憶114。 系統(tǒng)200還包括自適應組件108，其用于基于限制110，使轉換過程204適應用戶輸入歷史 104。限制組件206將限制110中的一個或多個應用到短期記憶112。應用的限制110 使用上下文敏感的短期記憶雙連詞概率，并將基于依賴于上下文的概率差而增加概率的一個或多個限制Iio應用到長期記憶114。自適應組件108基于長期記憶114，在長期記憶 114和基準語言模型208之間執(zhí)行動態(tài)線性內插。當單詞是候選列表的第一候選之外時，限制110增加單詞的概率。應用于短期記憶112的限制110基于單詞和句子中的單詞的上下文，而增加概率。上下文包括相對于句子中的單詞的前面的上下文和后面的上下文。下面是對用于統(tǒng)計語言模型的快速而穩(wěn)定的自適應的計算的詳細描述?？梢酝ㄟ^下面的概率來確定輸入語音字符串的輸入方法轉換結果P(W) =P (W11 <s>) · P (w21W1) · P (w31 w2) ...P (wN | Wn^1) · P (</s> | wN)其中，W是包括單詞序列{W1，W2，W3，···，《,+ %}的句子，而<s>和</s>分別是句子開始和句子結尾的符號。公式是雙連詞模型針對的，但是，也可以利用三連詞或高階η連詞模型來表示。由于同音詞和單詞分段的歧義，對于輸入語音字符串，可以有許多可能的單詞序列W。選擇最可能的候選句子作為轉換結果。
W = arg nriax P(Iy)每一個單詞的概率可以被定義為，P (wn I Wn^1) = α · Pbaseline (wn | Wn^1) + β · Pltm (wn | Wn^1) + δ · Pstm (wn | Wn^1)其中，α，β，以及δ是總和為1的線性內插系數(α + β + δ = 1)，Pbaseline (wk kJ 是從訓練文本數據庫估計的基準雙連詞概率(當第一次使用輸入法時，只有此概率具有值^Pltm(WnIt1)是長期記憶的雙連詞概率，而Pstm(WnIt1)是短期記憶的雙連詞概率?？梢园慈缦路绞礁鶕脩糨斎霘v史來計算長期記憶的雙連詞概率。= (W,rw'rn)其中，Cuser(Wn)是用戶使用單詞\的次數，而CusctOv1，Wn)是用戶使用單詞序列 Wlri，Wn的次數。當單詞不是結果的第一候選，但是，用戶從候選列表中選擇單詞，短期記憶的雙連詞概率Pstin(WnIl1)增加單詞的概率。PstmKJW7l.,) =其中，Cuser_sel(wn_i; wn)是用戶從候選列表中選擇單詞序列Wlri，Wn的次數，而M是對于選擇的最大計數。請注意，Cuser_sel(.)不能超出M。
上面的公式可以通過求冪來一般化，表示為如下
權利要求
1.一種計算機實現的語音系統(tǒng)(100)，包括歷史組件(102)，其用于處理通過轉換過程對語音字符串的轉換的用戶輸入歷史；以及自適應組件(108)，其用于基于應用于在所述轉換過程中影響單詞出現的短期記憶的限制來使所述轉換過程適應用戶輸入歷史。
2.如權利要求1所述的系統(tǒng)，其特征在于，還包括限制組件，其用于通過基于依賴于上下文的概率差增加概率來應用所述限制。
3.如權利要求1所述的系統(tǒng)，其特征在于，還包括限制組件，其用于通過基于依賴于上下文的概率差增加概率來向長期記憶應用限制。
4.如權利要求1所述的系統(tǒng)，其特征在于，所述自適應組件基于所述長期記憶，在長期記憶和基準語言模型之間執(zhí)行動態(tài)線性內插。
5.如權利要求1所述的系統(tǒng)，其特征在于，當單詞不是候選列表的第一候選時，所述限制增加單詞的概率。
6.如權利要求1所述的系統(tǒng)，其特征在于，應用于所述短期記憶的所述限制使用上下文敏感的短期記憶雙連詞概率。
7.如權利要求1所述的系統(tǒng)，其特征在于，應用于所述短期記憶的所述限制基于單詞和句子中的單詞的上下文來增加概率。
8.如權利要求7所述的系統(tǒng)，其特征在于，所述上下文包括相對于所述句子中的所述單詞前面的上下文和后面的上下文。
9.如權利要求1所述的系統(tǒng)，其特征在于，所述自適應組件包括學習算法，所述學習算法基于候選列表的第一候選和候選列表的選定候選之間的區(qū)別，執(zhí)行標志學習，并在下一轉換過程中將所述選定候選移動到第一轉換結果位置。
10.一種計算機實現的語音方法，包括在轉換過程中處理對語音字符串的轉換的用戶輸入歷史(500)； 在所述轉換過程中將限制應用到所述用戶輸入歷史，所述歷史包括短期記憶和長期記憶(502)；以及基于所述限制，使所述轉換過程適應所述用戶輸入歷史(504)。
11.如權利要求10所述的方法，其特征在于，還包括應用基于依賴于上下文的概率差而增強概率的限制。
12.如權利要求10所述的方法，其特征在于，還包括基于所述長期記憶，在長期記憶和基準語言模型之間執(zhí)行動態(tài)線性內插。
13.如權利要求10所述的方法，其特征在于，還包括當單詞不是候選列表的第一候選時，增加單詞的概率。
14.如權利要求10所述的方法，其特征在于，還包括向所述短期記憶應用基于單詞和句子中的單詞的上下文而增加概率的限制。
15.如權利要求10所述的方法，其特征在于，進一步包括基于候選列表的第一候選和所述候選列表的選定候選之間的區(qū)別，執(zhí)行標志學習；以及在下一轉換過程中，將所述選定候選移動到第一轉換結果位置。
全文摘要
通過將適當的限制應用到長期和短期記憶來抑制單詞的意外的出現的體系結構。還通過利用限制來實現自適應的快速性。該體系結構包括歷史組件，用于處理通過輸出轉換結果的轉換過程對語音字符串的轉換的用戶輸入歷史，以及自適應組件，用于基于應用于在轉換過程中影響單詞出現的短期記憶的限制而使轉換過程適應用戶輸入歷史。該體系結構基于依賴于上下文的概率差(短期記憶)執(zhí)行概率增加，并基于單詞的前面的上下文的頻率(長期記憶)在長期記憶和基準語言模型之間執(zhí)行動態(tài)線性內插。
文檔編號G10L15/00GK102369567SQ201080015801
公開日2012年3月7日 申請日期2010年3月26日 優(yōu)先權日2009年3月30日
發(fā)明者大附克年, 梅岡孝史 申請人:微軟公司