專利名稱：檢測音調(diào)頻率的語音分析器、語音分析方法以及語音分析程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種檢測話音音調(diào)頻率的語音分析技術(shù)。 本發(fā)明還涉及一種根據(jù)話音音調(diào)頻率來估計情感的情感檢測技術(shù)。
背景技術(shù)：
近來，通過分析被檢者的話音信號來估計被檢者的情感的技術(shù)己 被公開。
例如，專利文獻l中公開了一種技術(shù)，在該技術(shù)中，計算歌唱聲 的基礎(chǔ)頻率，并在歌唱結(jié)束時根據(jù)基礎(chǔ)頻率的上升和下降變化來估計 歌唱者的情感。
專利文獻1:日本未審專利申請公開No.Hei 10-187178。

發(fā)明內(nèi)容
本發(fā)明解決的問題
在
樂器聲音中清楚地出現(xiàn)基礎(chǔ)頻率，因而基礎(chǔ)頻率容易被檢測。 然而，由于話音通常包括嘶啞話音、震顫話音等，所以基礎(chǔ)頻率
會發(fā)生波動。此外，諧音分量將是不規(guī)則的。因此，還沒有提出一種
從這種類型的話音中確切地檢測基礎(chǔ)頻率的高效方法。
因此，本發(fā)明的一個目的是提供一種準確并確切地檢測話音頻率
的技術(shù)。
本發(fā)明的另一個目的是提供一種新的基于語音處理的情感估計 技術(shù)。
解決問題的手段
(1) 根據(jù)本發(fā)明的語音分析器包括話音獲取部件、頻率轉(zhuǎn)換部 件、自相關(guān)部件以及音調(diào)檢測部件。
話音獲取部件獲取被檢者的話音信號。 頻率轉(zhuǎn)換部件將所述話音信號轉(zhuǎn)換成頻率譜。
當(dāng)在頻率軸上移動所述頻率譜時，自相關(guān)部件計算自相關(guān)波形。 音調(diào)檢測部件基于所述自相關(guān)波形的波峰和波谷中的一種之間 的局部間隔來計算音調(diào)頻率。
(2) 優(yōu)選地，當(dāng)在所述頻率軸上離散地移動所述頻率譜時，所 述自相關(guān)部件計算所述自相關(guān)波形的離散數(shù)據(jù)。所述音調(diào)檢測部件對 所述自相關(guān)波形的所述離散數(shù)據(jù)進行內(nèi)插，并且計算局部的波峰或波 谷距內(nèi)插線的出現(xiàn)頻率。音調(diào)檢測部件基于所計算的出現(xiàn)頻率的間隔 來計算音調(diào)頻率。
(3) 優(yōu)選地，所述音調(diào)檢測部件針對所述自相關(guān)波形的波峰和 波谷中的至少一種計算多個(出現(xiàn)順序，出現(xiàn)頻率)。所述音調(diào)檢測 部件對所述出現(xiàn)順序和所述出現(xiàn)頻率執(zhí)行回歸分析，并且基于所獲得 的回歸線的斜率計算所述音調(diào)頻率。
(4) 優(yōu)選地，所述音調(diào)檢測部件從所計算的多個(出現(xiàn)順序， 出現(xiàn)頻率)的總體中排除所述自相關(guān)波形中級別波動較小的樣本。所 述音調(diào)檢測部件針對剩余的總體執(zhí)行所述回歸分析，并且基于所獲得 的回歸線的斜率計算所述音調(diào)頻率。
(5) 優(yōu)選地，所述音調(diào)檢測部件包括提取部件和減法部件。 所述提取部件通過對所述自相關(guān)波形執(zhí)行曲線擬合，提取包括在所述自相關(guān)波形中的"取決于共振峰的分量"。
所述減法部件計算自相關(guān)波形，其中通過從所述自相關(guān)波形中消 除所述分量來減輕共振峰的影響。
根據(jù)該配置，所述音調(diào)檢測部件可以基于減輕了共振峰影響的所 述自相關(guān)波形來計算音調(diào)頻率。
(6) 優(yōu)選地，上述語音分析器包括對應(yīng)關(guān)系存儲部件和情感估 計部件。
所述對應(yīng)關(guān)系存儲部件存儲至少"音調(diào)頻率"與"情感狀態(tài)"之 間的對應(yīng)關(guān)系。
所述情感估計部件通過針對由所述音調(diào)檢測部件檢測的所述音 調(diào)頻率來查找所述對應(yīng)關(guān)系，估計所述被檢者的情感狀態(tài)。
(7) 在上述3的語音分析器中，優(yōu)選地，所述音調(diào)檢測部件計
算"(出現(xiàn)順序，出現(xiàn)頻率)相對于所述回歸線的分散程度"和"所 述回歸線和原點之間的偏差"中的至少一個，作為所述音調(diào)頻率的不 規(guī)則性。所述語音分析器設(shè)有對應(yīng)關(guān)系存儲部件和情感估計部件。
所述對應(yīng)關(guān)系存儲部件存儲至少"音調(diào)頻率"以及"音調(diào)頻率的 不規(guī)則性"與"情感狀態(tài)"之間的對應(yīng)關(guān)系。
所述情感估計部件通過針對在所述音調(diào)檢測部件中計算的"音調(diào) 頻率"和"音調(diào)頻率的不規(guī)則性"來查找所述對應(yīng)關(guān)系，估計所述被 檢者的情感狀態(tài)。
(8) 本發(fā)明中的語音分析方法包括以下步驟。 (步驟l)獲取被檢者的話音信號的步驟， (步驟2)將所述話音信號轉(zhuǎn)換成頻率譜的步驟，
(步驟3)當(dāng)在頻率軸上移動所述頻率譜時，計算自相關(guān)波形的 步驟，以及
(步驟4)基于所述自相關(guān)波形的波峰或波谷之間的局部間隔， 計算音調(diào)頻率的步驟。
(9) 本發(fā)明的語音分析程序是一種用于使得計算機成為根據(jù)上 述1到7中的任何一個的語音分析器的程序。
本發(fā)明的優(yōu)點在本發(fā)明中， 一個語音信號曾被轉(zhuǎn)換成一個頻率譜。該頻率 譜包括基礎(chǔ)頻率的波動以及作為噪聲的諧音分量的不規(guī)則性。因此， 難以根據(jù)頻率譜讀出基礎(chǔ)頻率。
在本發(fā)明中，當(dāng)在頻率軸上移動頻率譜時，計算自相關(guān)波形。在 自相關(guān)波形中，抑制了具有低周期性的頻譜噪聲。因此，在自相關(guān)波 形中，具有強周期性的諧音分量周期性地作為波峰出現(xiàn)。
在本發(fā)明中，通過基于其噪聲被降低的自相關(guān)波形來計算周期性 出現(xiàn)的波峰或波谷之間的局部間隔，從而準確地計算音調(diào)頻率。
如上述計算的音調(diào)頻率有時類似基礎(chǔ)頻率，然而，其并非總是對 應(yīng)于基礎(chǔ)頻率，這是因為并不是根據(jù)自相關(guān)波形的最大峰或第一峰來 計算音調(diào)頻率。通過根據(jù)波峰(或波谷)之間的間隔計算音調(diào)頻率， 即使根據(jù)基礎(chǔ)頻率不清楚的話音也可以穩(wěn)定并準確地計算音調(diào)頻率。在本發(fā)明中，優(yōu)選地，當(dāng)在頻率軸上離散地移動頻率譜時， 計算自相關(guān)波形的離散數(shù)據(jù)。根據(jù)該離散處理，可以降低計算量，并 且可以縮短處理時間。然而，要被離散移動的頻率變大，自相關(guān)波形 的解析度變低，并且音調(diào)頻率的檢測準確性降低。因此，通過對自相 關(guān)波形的離散數(shù)據(jù)進行內(nèi)插并準確地計算局部波峰(或波谷)的出現(xiàn) 頻率，可以以比離散數(shù)據(jù)的解析度更高的準確性來計算音調(diào)頻率。存在如下情況，其中，周期性地出現(xiàn)在自相關(guān)波形中的波峰 (或波谷)的局部間隔并不同等地取決于話音。此時，如果通過僅參 考某一個間隔來確定音調(diào)頻率，則難以計算準確的音調(diào)頻率。因此， 優(yōu)選地，針對自相關(guān)波形的波峰或波谷中的至少一種計算多個(出現(xiàn) 順序，出現(xiàn)頻率)?？梢杂嬎愠鋈缦乱粽{(diào)頻率，其中，通過利用回歸 線逼近這些(出現(xiàn)順序，出現(xiàn)頻率)來使不相等的間隔平均化。
根據(jù)這種音調(diào)頻率的計算方法，即使是根據(jù)極弱的語音話音，也 可以準確地計算音調(diào)頻率。因此，對于難以分析音調(diào)頻率的話音，可 以增加情感估計的成功率。由于級別波動較小的點成為平緩的波峰(波谷)，所以難以 準確地計算波峰或波谷的出現(xiàn)頻率。因此，優(yōu)選地，從如上計算的(出 現(xiàn)順序，出現(xiàn)頻率)的總體中排除自相關(guān)波形中級別波動較小的樣本。 通過對于以這種方式限制的總體執(zhí)行回歸分析，可以更穩(wěn)定并準確地 計算音調(diào)頻率。在話音的頻率分量中會出現(xiàn)隨著時間移動的特定峰。這些峰 被稱作共振峰。除了波形的波峰和波谷，反映共振峰的分量也出現(xiàn)在 自相關(guān)波形中。因此，利用對自相關(guān)波形的波動進行擬合的曲線來逼 近自相關(guān)波形。可以估計該曲線是包括在自相關(guān)波形中的"取決于共
振峰的分量"。可以計算這種自相關(guān)波形，其中，通過從自相關(guān)波形 中減去所述分量而減輕共振峰的影響。在執(zhí)行了這種處理的自相關(guān)波 形中，降低了由共振峰引起的失真。因此，可以更準確并確切地計算 音調(diào)頻率。以上述方式獲得的音調(diào)頻率是表示例如話音高度或話音質(zhì)
量等特征的參數(shù)，其根據(jù)說話時的情感而靈敏地發(fā)生改變。因此，即 使在難以通過將音調(diào)頻率用作情感估計來檢測基礎(chǔ)頻率的話音中，也 可以確切地執(zhí)行情感估計。此外，優(yōu)選地，將周期性波峰(或波谷)之間的間隔的不規(guī) 則性檢測作為話音的新特征。例如，統(tǒng)計性地計算(出現(xiàn)順序，出現(xiàn) 頻率)相對于回歸線的分散程度。此外，例如，計算出回歸線和原點 之間的偏差。
如上計算的不規(guī)則性體現(xiàn)了話音獲取環(huán)境的質(zhì)量并表示了話音 的細微變化。因此，通過將音調(diào)頻率的不規(guī)則性增加作為用于情感估 計的元素，可以增加將被估計的情感類型，并且增加細微情感的估計 成功率。
在以下說明和附圖中將具體示出本發(fā)明的上述目的和其它目的。


圖1是示出情感檢測器(包括語音分析器)11的框圖2是說明情感檢測器11的操作的流程圖3A到圖3C是說明對話音信號的處理的視圖4是說明自相關(guān)波形的內(nèi)插處理的視圖；以及
圖5A和圖5B是說明回歸線和音調(diào)頻率之間關(guān)系的視圖。
具體實施例方式
圖1是示出情感檢測器(包括語音分析器)11的框圖。
在圖1中，情感檢測器11包括下述配置。
(1)麥克風(fēng)12:將被檢者的話音轉(zhuǎn)換成話音信號。
(2) 話音獲取部件13:獲取話音信號。
(3) 頻率轉(zhuǎn)換部件14:對所獲取的話音信號進行頻率轉(zhuǎn)換，以 計算頻率譜。
(4) 自相關(guān)部件15:在頻率軸上計算頻率譜的自相關(guān)，并且將 周期性地出現(xiàn)在頻率軸上的頻率分量計算作為自相關(guān)波形。
(5) 音調(diào)檢測部件16:將自相關(guān)波形中波峰(或波谷)之間的 頻率間隔計算作為音調(diào)頻率。
(6) 對應(yīng)關(guān)系存儲部件17:存儲例如音調(diào)頻率或分散(variance) 的判斷信息與被檢者情感狀態(tài)之間的對應(yīng)關(guān)系。通過將例如音調(diào)頻率 或分散的實驗數(shù)據(jù)與被檢者所聲稱的情感狀態(tài)(生氣、高興、緊張、 悲傷等)相關(guān)聯(lián)，可以創(chuàng)建所述對應(yīng)關(guān)系。所述對應(yīng)關(guān)系的描述形式 優(yōu)選為對應(yīng)關(guān)系表、判斷邏輯或神經(jīng)網(wǎng)絡(luò)。
(7) 情感估計部件18:利用在音調(diào)檢測部件16中計算的音調(diào) 頻率來查找對應(yīng)關(guān)系存儲部件17中存儲的對應(yīng)關(guān)系，以判斷相應(yīng)的 情感狀態(tài)。所判斷的情感狀態(tài)被輸出作為所估計的情感。
上述配置13到18中的部分或全部可以由硬件來配置。此外，優(yōu) 選地，通過在計算機中執(zhí)行情感檢測程序(語音分析器程序)來用軟 件實現(xiàn)上述配置13到18中的部分或全部。 圖2是說明情感檢測器11的操作的流程圖。 下面，將根據(jù)圖2中示出的步驟編號說明特定操作。 步驟Sl:頻率轉(zhuǎn)換部件14從話音獲取部件13中截取用于FFT (快速傅立葉變換)計算的必要區(qū)間的話音信號(參考圖3A)。此時，
對于所截取的區(qū)間執(zhí)行例如余弦窗口的窗口函數(shù)，以減輕在所截取區(qū)
間的兩端處的影響。
步驟2:頻率轉(zhuǎn)換部件14對經(jīng)由窗口函數(shù)處理的話音信號執(zhí)行
FFT計算，以計算出頻率譜(參考圖3B)。
由于當(dāng)利用普通對數(shù)計算對頻率譜執(zhí)行級別抑制處理時會產(chǎn)生
負值，所以后面描述的自相關(guān)計算將會變得復(fù)雜且困難。因此，對于頻率譜，優(yōu)選執(zhí)行例如根計算的級別抑制處理，而不是利用對數(shù)計算 執(zhí)行級別抑制處理，由此能夠獲得正值。
當(dāng)頻率譜的級別變化增強時，可以對頻率譜值執(zhí)行例如四次方計 算的增強處理。
步驟S3:在頻率譜中，周期性地出現(xiàn)對應(yīng)于例如樂器聲音中的
諧音(harmonic tone)的頻譜。然而，由于語音話音的頻率譜包括如 圖3B所示的復(fù)雜分量，所以難以清楚地區(qū)分周期性頻譜。因此，當(dāng) 在頻率軸方向上以規(guī)定的寬度移動頻率譜時，自相關(guān)部件15順序地 計算自相關(guān)值。根據(jù)被移動的頻率，對通過所述計算而獲得的自相關(guān) 值的離散數(shù)據(jù)進行繪制，從而獲得自相關(guān)波形(參考圖3C)。
頻率譜除了包括話音帶之外，還包括非必要分量(DC分量和超 低帶分量)。這些非必要分量削弱了自相關(guān)計算。因此，優(yōu)選地，頻 率轉(zhuǎn)換部件14在自相關(guān)計算之前，從頻率譜中抑制或去除這些非必 要分量。
例如，優(yōu)選地，從頻率譜中截除DC分量(例如，60Hz或更小)。 此外，例如，優(yōu)選地，通過設(shè)定給定的較低界限級別(例如，頻
率譜的平均級別)并對頻率譜進行切除(較低界限限度)，從而截除
作為噪聲的微小頻率分量。
根據(jù)這種處理，出現(xiàn)在自相關(guān)計算中的波形失真可以在發(fā)生之前
被阻止。
步驟S4:自相關(guān)波形是如圖4所示的離散數(shù)據(jù)。因此，通過內(nèi) 插離散數(shù)據(jù)，音調(diào)檢測部件16針對多個波峰和/或波谷計算出出現(xiàn)頻 率。例如，作為在這種情況中的內(nèi)插方法，優(yōu)選采用通過線性內(nèi)插或 曲線函數(shù)在波峰或波谷的鄰近區(qū)域中內(nèi)插離散數(shù)據(jù)的方法，這是因為 這種方法很簡單。當(dāng)離散數(shù)據(jù)的間隔足夠窄時，可以省略離散數(shù)據(jù)的 內(nèi)插處理。從而，計算出(出現(xiàn)順序，出現(xiàn)頻率)的多個樣本數(shù)據(jù)。
難以準確地計算波峰或波谷的出現(xiàn)頻率，這是因為自相關(guān)波形的 級別波動很小的點變成平緩的波峰(或波谷)。因此，不準確的出現(xiàn) 頻率就像樣本一樣被包括進來，從而降低了之后檢測的音調(diào)頻率的準 確性。由此，在如上述計算的(出現(xiàn)順序，出現(xiàn)頻率)的總體
(population)中確定自相關(guān)波形的級別波動很小的樣本數(shù)據(jù)。從而， 通過從總體中截除以這種方式確定的樣本數(shù)據(jù)來獲得適合于音調(diào)頻 率分析的總體。
步驟S5:音調(diào)檢測部件16分別從步驟S4中獲得的總體中提取 樣本數(shù)據(jù)，根據(jù)出現(xiàn)順序排列出現(xiàn)頻率。此時，由于自相關(guān)波形的級 別波動很小而已被截除的出現(xiàn)順序?qū)⑹撬笔У奶柎a。
音調(diào)檢測部件16在排列了樣本數(shù)據(jù)的坐標空間中執(zhí)行回歸分 析，計算回歸線的斜率。可以基于該斜率計算從中截除了出現(xiàn)頻率的 音調(diào)頻率。
當(dāng)執(zhí)行回歸分析時，音調(diào)檢測部件16統(tǒng)計性地計算出現(xiàn)頻率相 對于回歸線的分散，以作為音調(diào)頻率的分散。
此外，計算出回歸線和原點之間的偏差(例如，回歸線的截距)， 并且在該偏差大于預(yù)定容許限度的情況下，可以確定其不是適合音調(diào) 檢測的話音區(qū)間(噪聲等)。在這種情況下，優(yōu)選地，針對剩余的話 音區(qū)間(而不是所述話音區(qū)間)，檢測音調(diào)頻率。
步驟S6:情感估計部件18通過針對步驟S5中計算的(音調(diào)頻 率，分散)數(shù)據(jù)查找對應(yīng)關(guān)系存儲部件17中的對應(yīng)關(guān)系，確定相應(yīng) 的情感狀態(tài)(生氣、高興、緊張、悲傷等)。
首先，將參考圖5A和圖5B說明本實施例和現(xiàn)有技術(shù)之間的差別。
本實施例的音調(diào)頻率對應(yīng)于自相關(guān)波形的波峰(或波谷)之間的 間隔，其對應(yīng)于圖5A和圖5B中回歸線的斜率。另一方面，傳統(tǒng)的 基礎(chǔ)頻率對應(yīng)于圖5A和圖5B中示出的第一波峰的出現(xiàn)頻率。
在圖5A中，回歸線通過原點附近的區(qū)域，并且其分散很小。在 這種情況下，在自相關(guān)波形中，波峰以幾乎相等的間隔有規(guī)律地出現(xiàn)。 因此，即使在現(xiàn)有技術(shù)中也可以清楚地檢測基礎(chǔ)頻率。
另一方面，在圖5B中，回歸線與原點有較大的偏差，也就是， 分散較大。在這種情況下，自相關(guān)波形的波峰以不相等的間隔出現(xiàn)。
因此，基礎(chǔ)頻率是不清晰的話音，并且難以指定基礎(chǔ)頻率。在現(xiàn)有技 術(shù)中，基礎(chǔ)頻率是根據(jù)第一波峰處的出現(xiàn)頻率來計算的，因此，在這 種情況下會計算出錯誤的基礎(chǔ)頻率。
在本發(fā)明中，在這種情況下，可以基于根據(jù)波峰的出現(xiàn)頻率所找 到的回歸線是否通過原點附近區(qū)域，或者基于音調(diào)頻率的分散是否較 小，來確定音調(diào)頻率的可靠性。因此，在該實施例中，可以確定關(guān) 于圖5B中的話音信號的音調(diào)頻率的可靠性較低，從而可以從用于估 計情感的信息中截除該信號。因此，可以僅使用具有高可靠性的音調(diào) 頻率，這將使得情感估計更成功。
在圖5B的情況下，可以將斜率的程度計算作為廣義上的音調(diào)頻
率。優(yōu)選地，將廣義的音調(diào)頻率作為用于情感估計的信息。此外，還 可以將"分散程度"和/或"回歸線與原點之間的偏差"計算作為音 調(diào)頻率的不規(guī)則性。優(yōu)選地，將以這種方式計算的不規(guī)則性作為用于 情感估計的信息。此外，優(yōu)選地，將以這種方式計算的廣義音調(diào)頻率 及其不規(guī)則性作為用于情感估計的信息。通過這些處理，將實現(xiàn)如下 情感估計，其中，以綜合的方式反映了狹義上的音調(diào)頻率以及話音頻 率的特征或變化。
此外，在該實施例中，通過內(nèi)插自相關(guān)波形的離散數(shù)據(jù)來計算波 峰(或波谷)的局部間隔。因此，可以以較高解析度計算音調(diào)頻率。 從而，可以更精密地檢測到音調(diào)頻率的變化，并且可以實現(xiàn)更準確的
情感估計。
此外，在該實施例中，將音調(diào)頻率的分散程度(分散、標準偏差 等)增加作為情感估計信息。音調(diào)頻率的分散程度顯示了獨特的信息，
例如話音信號的不和諧音(inharmonic tone)的不穩(wěn)定性或程度，其 適合于檢測例如說話者缺乏自信或緊張程度等情感。此外，可以根據(jù) 緊張程度等實現(xiàn)用于檢測說謊時的典型情感的說謊檢測器。
在上述實施例中，計算來自于自相關(guān)波形的波峰或波谷的出現(xiàn)頻 率。然而，本發(fā)明不限于此。
例如，在話音信號的頻率分量中出現(xiàn)隨時間移動的特定峰(共振 峰)。此外，在自相關(guān)波形中，除了音調(diào)頻率，還出現(xiàn)反映共振峰的 分量。因此，優(yōu)選地，通過利用曲線函數(shù)以擬合波峰和波谷的微小變 化的程度來逼近自相關(guān)波形，對包括在自相關(guān)波形中的"取決于共振 峰的分量"進行估計。將以這種方式估計的分量(所逼近的曲線)從 自相關(guān)波形中減去，從而計算出減輕了共振峰影響的自相關(guān)波形。通 過執(zhí)行這種處理，可以從自相關(guān)波形中截除由共振峰引起的波形失 真，從而準確并確切地計算出音調(diào)頻率。
此外，例如，在特定話音信號中，在自相關(guān)波形的波峰和波峰之 間出現(xiàn)小波峰。當(dāng)小波峰被錯誤地識別為自相關(guān)波形的一個波峰時， 計算出半音調(diào)頻率。在這種情況下，優(yōu)選地，比較自相關(guān)波形中的波 峰高度，并且將小波峰看作波形中的波谷。根據(jù)該處理，可以計算出 準確的音調(diào)頻率。
此外，優(yōu)選地，對自相關(guān)波形執(zhí)行回歸分析以計算出回歸線，并 且將在自相關(guān)波形中高于回歸線的峰點檢測為自相關(guān)波形的波峰。
在上述實施例中，通過將(音調(diào)頻率，分散)用作判斷信息來執(zhí) 行情感估計。然而，該實施例不限于此。例如，優(yōu)選地，通過至少將 音調(diào)頻率用作判斷信息來執(zhí)行情感估計。此外，優(yōu)選地，通過將時間 序列數(shù)據(jù)用作判斷信息來執(zhí)行情感估計，其中，按時間序列來獲取這 種判斷信息。此外，優(yōu)選地，通過將之前估計的情感增加作為判斷信 息而增加情感改變趨勢，來執(zhí)行情感估計。此外，優(yōu)選地，通過將語 音識別所獲得的意思信息增加作為判斷信息而增加對話內(nèi)容，來實現(xiàn) 情感估計。
在上述實施例中，通過回歸分析計算音調(diào)頻率。然而，該實施例 不限于此。例如，將自相關(guān)波形的波峰(或波谷)之間的間隔計算為 音調(diào)頻率。或者，例如，在波峰(或波谷)的各個間隔處計算音調(diào)頻 率并且執(zhí)行統(tǒng)計處理，通過將這些多個音調(diào)頻率作為總體來確定音調(diào) 頻率及其分散程度。
在上述實施例中，優(yōu)選地，針對講話話音計算音調(diào)頻率，并且基 于音調(diào)頻率的時間變化(抑揚變化)來創(chuàng)建用于估計情感的對應(yīng)關(guān)系。
本發(fā)明人針對例如歌唱聲或樂器演奏的樂曲(一種話音信號)， 通過使用根據(jù)講話話音而實驗性創(chuàng)建的對應(yīng)關(guān)系，進行情感估計的實 驗。
具體地，通過以短于音符的時間間隔采樣音調(diào)頻率的時間變化， 可以獲得不同于簡單音質(zhì)變化的抑揚信息。(用于計算一個音調(diào)頻率 的話音區(qū)間可能比音符更短或更長)。
作為另一種方法，通過在包括多個音符(例如子句單位)的長話 音區(qū)間中執(zhí)行采樣以計算音調(diào)頻率，可以獲得反映了多個音符的抑揚
"f曰息Q
在依據(jù)樂曲的情感估計中，可以發(fā)現(xiàn)，情感輸出具有與一個人聽 到樂曲時感受到的情感(或者作曲者想給予樂曲的情感)所相同的傾向。
例如，可以根據(jù)例如大調(diào)/小調(diào)等的調(diào)的差別來檢測出高興/悲傷 的情感。還可以在具有令人愉快的好節(jié)拍的合聲部分處檢測出強烈的 高興。進一步地，可以根據(jù)強有力的鼓點檢測出生氣。
在這種情況下，實際上使用了根據(jù)語音話音所創(chuàng)建的對應(yīng)關(guān)系， 當(dāng)使用專用于樂曲的情感檢測器時，很自然地可以實驗性地創(chuàng)建專用 于樂曲的對應(yīng)關(guān)系。
因此，通過使用根據(jù)該實施例的情感檢測器，可以估計樂曲中所 表達的情感。通過將檢測器投入實際應(yīng)用，可以形成模擬人的音樂理 解狀態(tài)的設(shè)備，或者根據(jù)樂曲表現(xiàn)的快樂、生氣、悲傷和愉快而做出 反應(yīng)的機器人等。
在上述實施例中，基于音調(diào)頻率估計相應(yīng)的情感狀態(tài)。然而，本 發(fā)明不限于此。例如，可以通過增加下面參數(shù)中的至少一個來估計情 感狀態(tài)。
(1) 采用時間單位的頻率譜變化
(2) 音調(diào)頻率的波動循環(huán)、上升時間、保持時間或下降時間
(3) 根據(jù)低帶側(cè)中的波峰(波谷)所計算的音調(diào)頻率與平均音 調(diào)頻率之間的差別
(4) 根據(jù)高帶側(cè)中的波峰(波谷)所計算的音調(diào)頻率與平均音
調(diào)頻率之間的差別
(5) 根據(jù)低帶側(cè)中的波峰(波谷)所計算的音調(diào)頻率與根據(jù)高
帶側(cè)中的波峰(波谷)所計算的音調(diào)頻率之間的差別，或其增加和減 少的趨勢
(6) 波峰(波谷)間隔的最大值或最小值
(7) 連續(xù)波峰(波谷)的數(shù)量
(8) 語音速度
(9) 話音信號的能量值或其時間變化
(10) 話音信號中在人類可聽頻帶之外的頻帶的狀態(tài) 通過將音調(diào)頻率與上述參數(shù)的實驗數(shù)據(jù)和被檢者聲稱的情感狀
態(tài)(生氣、高興、緊張、悲傷等)相關(guān)聯(lián)，可以預(yù)先創(chuàng)建用于估計情 感的對應(yīng)關(guān)系。對應(yīng)關(guān)系存儲部件17存儲該對應(yīng)關(guān)系。另一方面， 情感估計部件18通過針對根據(jù)話音信號所計算的音調(diào)頻率和上述參 數(shù)來查找對應(yīng)關(guān)系存儲部件17中的對應(yīng)關(guān)系，估計情感狀態(tài)。
(1) 根據(jù)從話音或聲音(本實施例)中提取的情感元素的音調(diào) 頻率，計算頻率特征和音調(diào)。此外，可以基于時間軸的變化容易地計
算共振峰信息或能量信息。此外，可以使得該信息是可視的。
用于通過音調(diào)頻率的提取使得話音、聲音、音樂等隨時間變化的 波動狀態(tài)變得明確，從而能夠?qū)崿F(xiàn)對話音或音樂的平穩(wěn)情感和感性節(jié) 奏分析以及音質(zhì)分析。
(2) 在該實施例中，在由音調(diào)分析所獲得的信息的時間變化中 的變化模式信息可以被應(yīng)用到除了感性會話之外的視頻、舉動(表情 或動作)、音樂、視頻、句法等中。
(3) 通過將具有節(jié)奏(指節(jié)奏信息)的信息(例如視頻、舉動 (表情或動作)、音樂、視頻、句法等)作為話音信號，可以執(zhí)行音
調(diào)分析。此外，能夠?qū)崿F(xiàn)關(guān)于在時間軸上的節(jié)奏信息的變化模式分析。 此外，通過基于這些分析結(jié)果使得節(jié)奏信息變成可視的或可聽的，可 以將節(jié)奏信息轉(zhuǎn)換成具有另一表達形式的信息。
(4) 此外，可以將由情感、感性、節(jié)奏信息、音質(zhì)分析手段等 獲得的變化模式等應(yīng)用到情感、感性、心理等的特征分析中。利用這 個結(jié)果，可以發(fā)現(xiàn)感性、參數(shù)、閾值等的變化模式，其可以是共有的 或聯(lián)動的。
(5) 作為二次利用，通過根據(jù)情感元素的變化程度或者各種情
感的同時檢測狀態(tài)來估計例如本性等心理信息，可以估計心理或精神 狀態(tài)。因此，可以根據(jù)顧客、用戶或其他方的心理狀態(tài)，在金融或呼 叫中心處實現(xiàn)商品顧客分析管理系統(tǒng)、真實性分析等應(yīng)用。
(6) 在根據(jù)音調(diào)頻率的情感元素判斷中，可以通過分析人們擁 有的心理特征(情感、指向性、嗜好、想法(心理愿望))來獲得用 于構(gòu)造仿真的元素?？梢詫⑷藗兊男睦硖卣鲬?yīng)用到現(xiàn)有的系統(tǒng)、商品、 服務(wù)和商業(yè)模型中。
(7) 如上所述，在本發(fā)明的語音分析中，即便是從不清楚的歌 唱聲、哼唱聲、樂器聲等中，也能夠穩(wěn)定且確切地檢測到音調(diào)頻率。 通過應(yīng)用上述方法，可以實現(xiàn)一種卡拉Ok系統(tǒng)，其中，對于過去難 以評估的不清楚的歌唱聲，可以確切地估計并判斷歌唱的準確性。
此外，通過在屏幕上顯示音調(diào)頻率或其變化，能夠使得歌唱聲的 音調(diào)、抑揚和音調(diào)變化是可視的。通過參考歌唱聲的可視化的音調(diào)、 抑揚或音調(diào)變化，可以在較短的時間段內(nèi)感性地獲知準確的音調(diào)、抑 揚和音調(diào)變化。此外，通過使得熟練歌手的音調(diào)、抑揚和音調(diào)變化是 可視的并且可模仿的，可以感性地獲知熟練歌手的音調(diào)、抑揚和音調(diào) 變化。
(8) 由于通過執(zhí)行根據(jù)本發(fā)明的語音分析，可以根據(jù)以前難以 檢測的不清楚的哼唱歌曲或清唱音樂來檢測音調(diào)頻率，從而可以自動 地、穩(wěn)定并確切地形成樂譜。
(9) 可以將根據(jù)本發(fā)明的語音分析應(yīng)用到語言教育系統(tǒng)。具體 地，通過使用根據(jù)本發(fā)明的語音分析，即使是根據(jù)不熟悉的外語、標 準語言和方言，也能夠穩(wěn)定并確切地檢測出音調(diào)頻率?；谠撘粽{(diào)頻 率，可以構(gòu)建指導(dǎo)外語、標準語言和方言的正確節(jié)奏和發(fā)音的語言教 育系統(tǒng)。
(10) 此外，可以將根據(jù)本發(fā)明的語音分析應(yīng)用到臺詞行指引系
統(tǒng)中。也就是說，通過使用本發(fā)明的語音分析，可以穩(wěn)定并確切地檢 測到不熟悉的臺詞行的音調(diào)頻率。將該音調(diào)頻率與熟練演員的音調(diào)頻 率進行比較，從而構(gòu)建不僅執(zhí)行臺詞行指引而且執(zhí)行舞臺指導(dǎo)的臺詞 行指引系統(tǒng)。
(11) 此外，可以將根據(jù)本發(fā)明的語音分析應(yīng)用到話音訓(xùn)練系統(tǒng) 中。具體地，可以根據(jù)話音的音調(diào)頻率檢測到音調(diào)的不穩(wěn)定性以及不 準確地發(fā)聲方法，并且輸出建議等，從而構(gòu)建指導(dǎo)準確發(fā)音方法的話 音訓(xùn)練系統(tǒng)。
(1) 通常，可以將精神狀態(tài)的估計結(jié)果用于一般性地根據(jù)精神 狀態(tài)而改變處理的產(chǎn)品。例如，可以在計算機上建立虛擬人格(例如 行為人、性格)，其根據(jù)另一方的精神狀態(tài)而改變響應(yīng)(性格、會話 特性、心理特征、感性、情感模式、會話分支模式等)。此外，例如， 其可被應(yīng)用到靈活地取決于顧客的精神狀態(tài)的系統(tǒng)中，該系統(tǒng)實現(xiàn)商 品檢索、商品索要處理、呼叫中心操作、接收系統(tǒng)、顧客感性分析、
顧客管理、游戲、Pachinko、 Pachislo、內(nèi)容分發(fā)、內(nèi)容創(chuàng)建、網(wǎng)絡(luò)檢 索、手機服務(wù)、商品說明、介紹以及教育支持。
(2) 此外，可以將精神狀態(tài)的估計結(jié)果用于一般性地通過使得 精神狀態(tài)成為用戶的修正信息來增加處理準確性的產(chǎn)品。例如，在語 音識別系統(tǒng)中，通過在被識別的詞匯候選中選擇與說話者的精神狀態(tài) 具有高相似性的單詞，可以增加語音識別的準確性。
(3) 此外，可以將精神狀態(tài)的估計結(jié)果用于一般性地通過根據(jù) 精神狀態(tài)來估計用戶的違法緊張度，從而增加安全性的產(chǎn)品。例如， 在用戶驗證系統(tǒng)中，通過對表現(xiàn)出例如緊張或掩飾的精神狀態(tài)的用戶 拒絕驗證或要求額外驗證，可以增加安全性。此外，可以基于高安全 性驗證技術(shù)來建立無所不在的(ubiquitous)系統(tǒng)。
(4) 此外，可以將精神狀態(tài)的估計結(jié)果用于一般性地將精神狀 態(tài)處理作為操作輸入的產(chǎn)品中。例如，通過將精神狀態(tài)作為操作輸入而執(zhí)行處理(控制、語音處理、圖像處理、文本處理等)的系統(tǒng)。此 外，可以實現(xiàn)故事創(chuàng)作支持系統(tǒng)，其中，通過將精神狀態(tài)作為操作輸 入并控制字符的移動來開發(fā)故事。此外，通過將精神狀態(tài)作為操作輸 入并改變音律、基調(diào)或樂器配置，可以實現(xiàn)執(zhí)行對應(yīng)于精神狀態(tài)的音 樂創(chuàng)作或改編的音樂創(chuàng)作支持系統(tǒng)。此外，通過將精神狀態(tài)作為操作
輸入并控制例如照明、BGM等周圍環(huán)境，可以實現(xiàn)舞臺指導(dǎo)裝置。
(5) 此外，可以將精神狀態(tài)的估計結(jié)果用于一般性地針對精神 分析、情感分析、感性分析、特征分析或心理分析的裝置。
(6) 此外，可以將精神狀態(tài)的估計結(jié)果用于一般性地通過利用 例如聲音、話音、音樂、氣味、顏色、視頻、字符、震動或光等表達 手段來向外部輸出精神狀態(tài)的裝置。利用這種裝置，可以輔助與人的 精神交流。
(7) 此外，可以將精神狀態(tài)的估計結(jié)果用于一般性地執(zhí)行精神 狀態(tài)信息交流的交流系統(tǒng)。例如，可以將其應(yīng)用到感性交流或感性和 情感共鳴交流中。
(8) 此外，可以將精神狀態(tài)的估計結(jié)果用于一般性地判斷(評 估)由例如視頻或音樂等內(nèi)容給予人們的心理影響的裝置。此外，可 以建立一種數(shù)據(jù)庫系統(tǒng)，其中，通過將內(nèi)容分類并將心理影響作為一 個項目，可以基于心理影響來檢索內(nèi)容。
此外，通過以與話音信號相同的方式分析例如視頻和音樂等內(nèi)容 本身，可以檢測出話音的興奮程度或者內(nèi)容表演者或樂器演奏者的情 感傾向。此外，通過針對內(nèi)容中的話音執(zhí)行話音識別或音素分段識別， 可以檢測出內(nèi)容特征。根據(jù)所述檢測結(jié)果對內(nèi)容進行分類，由此可實 現(xiàn)基于內(nèi)容特征的內(nèi)容檢索。
(9) 此外，也可以將情感狀態(tài)的估計結(jié)果用于一般性地根據(jù)精 神狀態(tài)來客觀地判斷用戶使用商品時的滿意度的裝置。通過使用這種 裝置，可以容易地執(zhí)行用戶友好的產(chǎn)品開發(fā)和規(guī)范制定。
(10) 此外，可以將精神狀態(tài)的估計結(jié)果應(yīng)用到下述領(lǐng)域-看護支持系統(tǒng)，咨詢系統(tǒng)，汽車導(dǎo)航，機動車控制，駕駛員狀態(tài)
監(jiān)測，用戶界面，操作系統(tǒng)，機器人，虛擬形象，網(wǎng)絡(luò)大型購物中心，
函授教育系統(tǒng)，網(wǎng)上學(xué)習(xí)，學(xué)習(xí)系統(tǒng)，舉止訓(xùn)練，技能學(xué)習(xí)系統(tǒng)，能 力確定，含義信息判斷，人工智能領(lǐng)域，神經(jīng)網(wǎng)絡(luò)(包括神經(jīng)元)應(yīng) 用，用于仿真的判斷標準或分支標準或者需要概率模型的系統(tǒng)，對于 例如經(jīng)濟或金融等市場模擬的心理元素輸入，調(diào)査問巻的收集，對藝 術(shù)家情感或感性的分析，金融信用檢査，信用管理系統(tǒng)，例如占卜的 內(nèi)容，可攜計算機，普遍存在的網(wǎng)絡(luò)商品，對人類知覺判斷的支持， 廣告商業(yè)，建筑物或大廳的管理，過濾，對用戶的判斷支持，廚房、
浴室、洗手間等中的控制，人機設(shè)備(human device),利用改變?nèi)彳?度和透氣性的纖維聯(lián)結(jié)的衣服，虛擬寵物或針對康復(fù)和交流的機器 人，計劃制定系統(tǒng)，協(xié)調(diào)器系統(tǒng)，交通支持控制系統(tǒng)，烹飪支持系統(tǒng)， 音樂演奏支持，DJ視頻效果，卡拉OK裝置，視頻控制系統(tǒng)，個人 驗證，設(shè)計，設(shè)計仿真器，用于仿真購買傾向的系統(tǒng)，人力資源管理 系統(tǒng)，試演，虛擬顧客群商業(yè)研究，陪審員/裁判員模擬系統(tǒng)，用于 體育、藝術(shù)、商業(yè)、戰(zhàn)略等的圖像訓(xùn)練，已故者和祖先的記憶內(nèi)容創(chuàng) 建支持，存儲生前情感或感性模式的系統(tǒng)或服務(wù)，導(dǎo)航/禮賓服務(wù)， 網(wǎng)絡(luò)博客創(chuàng)作支持，信使服務(wù)，鬧鐘，衛(wèi)生器具，按摩工具，牙刷， 醫(yī)療器械，生物裝置，轉(zhuǎn)換技術(shù)，控制技術(shù)，網(wǎng)絡(luò)集線器，分支系統(tǒng)， 冷凝器系統(tǒng)，分子計算機，量子計算機，von Neumann式計算機，生 物芯片計算機，Boltzmann系統(tǒng)，AI控制，以及模糊控制。
本發(fā)明人利用如下所述的隔音面罩來構(gòu)建測量環(huán)境，以便即使在 噪聲環(huán)境下也能夠以良好的條件檢測話音的音調(diào)頻率。
首先，獲得防毒面罩(SAFETY No. 1880-1 ， TOYOSAFETY制造)， 以作為用于隔音面罩的基礎(chǔ)材料。該防毒面罩在接觸并覆蓋嘴部的部 分由橡膠制成。由于橡膠會根據(jù)周圍噪聲而發(fā)生振動，所以周圍噪聲 進入到面罩內(nèi)部。然后，將硅(QUICK SILICON,淺灰，液體形式， 比重1.3， NISSINRESIN有限公司制造)填充到橡膠部分中，以使得 面罩變重。然后，將5層或更多層廚房用紙或海綿層疊到防毒面罩的 通氣過濾器中，以增加密封能力。在這種狀態(tài)的面罩腔的中心部分，通過安裝來提供一個小麥克風(fēng)。經(jīng)由這種方式制備的隔音面罩能夠通 過硅的自重和不相干材料的層積結(jié)構(gòu)來有效地衰減周圍噪聲的振動。 從而，在被檢者的嘴部附近成功地形成了具有面罩形式的小隔音空 間，其可以抑制周圍噪聲的影響并以良好的條件收集被檢者的話音。
此外，通過在被檢者的耳朵上佩戴采取了相同隔音措施的耳機， 可以與被檢者會話，而不會受到周圍噪音的太大影響。
上述隔音面罩對于檢測音調(diào)頻率是高效的。然而，由于隔音面罩 的密封空間很狹窄，所以話音易于被消音。因此，其不適用于除音調(diào) 頻率之外的頻率分析或音質(zhì)分析。對于這種應(yīng)用，優(yōu)選地，將經(jīng)過與 面罩相同隔音處理的管道穿過隔音面罩，以使得面罩與隔音環(huán)境的外 部(空氣腔)通氣。在這種情況下，被檢者可以沒有任何問題地呼吸， 嘴部和鼻子都可以由面罩覆蓋。通過該通氣裝備的添加，可以降低隔 音面罩中的消音。此外，由于被檢者幾乎沒有例如窒息感等不適，因 此，可以以更自然的狀態(tài)收集話音。
在不脫離本發(fā)明主旨和主要特征的情況下，本發(fā)明可以用各種其 它形式實現(xiàn)。因此，上述實施例僅是在各方面的一個范例，不應(yīng)將其 解釋為是限制性的。本發(fā)明的范圍由權(quán)利要求表示，并且完全不受說 明書限制。此外，屬于權(quán)利要求等同范圍的各種修改和改變將位于本 發(fā)明的范圍內(nèi)。
工業(yè)實用性
如上所述，本發(fā)明是一種可以用于語音分析器等的技術(shù)。
權(quán)利要求
1、一種語音分析器，包括話音獲取部件，獲取被檢者的話音信號；頻率轉(zhuǎn)換部件，將所述話音信號轉(zhuǎn)換成頻率譜；自相關(guān)部件，當(dāng)在頻率軸上移動所述頻率譜時，計算自相關(guān)波形；以及音調(diào)檢測部件，基于所述自相關(guān)波形的波峰和波谷中的一種之間的局部間隔，計算音調(diào)頻率。
2、 根據(jù)權(quán)利要求1的語音分析器，其中，當(dāng)在所述頻率軸上離散地移動所述頻率譜時，所述自相關(guān) 部件計算所述自相關(guān)波形的離散數(shù)據(jù)，并且其中，所述音調(diào)檢測部件對所述自相關(guān)波形的所述離散數(shù)據(jù)進行 內(nèi)插，計算局部的波峰和波谷中的一種的出現(xiàn)頻率，以及基于所述出 現(xiàn)頻率的間隔計算音調(diào)頻率。
3、 根據(jù)權(quán)利要求1或2的語音分析器，其中，所述音調(diào)檢測部件針對所述自相關(guān)波形的波峰和波谷中的 至少一種計算多個(出現(xiàn)順序，出現(xiàn)頻率)，對所述出現(xiàn)順序和所述 出現(xiàn)頻率執(zhí)行回歸分析，以及基于回歸線的斜率計算所述音調(diào)頻率。
4、 根據(jù)權(quán)利要求3的任何一個的語音分析器，其中，所述音調(diào)檢測部件從(所述出現(xiàn)順序，所述出現(xiàn)頻率)的 總體中排除所述自相關(guān)波形中級別波動較小的樣本，針對剩余的總體 執(zhí)行所述回歸分析，以及基于所述回歸線的斜率計算所述音調(diào)頻率。
5、 根據(jù)權(quán)利要求1到4中的任何一個的語音分析器， 其中，所述音調(diào)檢測部件包括提取部件，通過對所述自相關(guān)波形執(zhí)行曲線擬合，提取包括 在所述自相關(guān)波形中的"取決于共振峰的分量"，以及減法部件，計算自相關(guān)波形，其中通過從所述自相關(guān)波形中 消除所述分量來減輕共振峰的影響，以及基于減輕了共振峰影響的所述自相關(guān)波形，計算音調(diào)頻率。
6、 根據(jù)權(quán)利要求1到5中的任何一個的用于檢測情感的語音分析器，還包括對應(yīng)關(guān)系存儲部件，存儲至少"音調(diào)頻率"與"情感狀態(tài)"之間 的對應(yīng)關(guān)系；以及情感估計部件，通過針對由所述音調(diào)檢測部件檢測的所述音調(diào)頻 率來查找所述對應(yīng)關(guān)系，估計所述被檢者的情感狀態(tài)。
7、 根據(jù)權(quán)利要求3的用于檢測情感的語音分析器，其中，所述音調(diào)檢測部件計算"(所述出現(xiàn)順序，所述出現(xiàn)頻率) 相對于所述回歸線的分散程度"和"所述回歸線和原點之間的偏差" 中的至少一個，作為所述音調(diào)頻率的不規(guī)則性，還包括對應(yīng)關(guān)系存儲部件，存儲至少"音調(diào)頻率"以及"音調(diào)頻率的不 規(guī)則性"與"情感狀態(tài)"之間的對應(yīng)關(guān)系；以及情感估計部件，通過針對在所述音調(diào)檢測部件中計算的"音調(diào)頻 率"和"音調(diào)頻率的不規(guī)則性"來查找所述對應(yīng)關(guān)系，估計所述被檢 者的情感狀態(tài)。
8、 一種語音分析方法，包括 獲取被檢者的話音信號； 將所述話音信號轉(zhuǎn)換成頻率譜；當(dāng)在頻率軸上移動所述頻率譜時，計算自相關(guān)波形；以及 基于所述自相關(guān)波形的波峰和波谷中的一種之間的局部間隔，計 算音調(diào)頻率。
9、 一種用于使得計算機成為根據(jù)權(quán)利要求1到7中的任何一個的語音分析器的語音分析程序。
全文摘要
根據(jù)本發(fā)明的語音分析器包括話音獲取部件、頻率轉(zhuǎn)換部件、自相關(guān)部件和音調(diào)檢測部件。頻率轉(zhuǎn)換部件將由話音獲取部件獲取的話音信號轉(zhuǎn)換成頻率譜。當(dāng)在頻率軸上移動頻率譜時，自相關(guān)部件計算自相關(guān)波形。音調(diào)檢測部件基于自相關(guān)波形的波峰或波谷之間的局部間隔來計算音調(diào)頻率。
文檔編號G10L11/04GK101199002SQ20068002016
公開日2008年6月11日 申請日期2006年6月2日 優(yōu)先權(quán)日2005年6月9日
發(fā)明者光吉俊二, 尾形薰, 門間史晃 申請人:A.G.I.株式會社;光吉俊二