專利名稱：詞序列輸出設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種詞序列輸出設(shè)備。本發(fā)明尤其涉及用于實(shí)現(xiàn)通過改變?cè)~序列的詞序，以由語音合成器基于娛樂機(jī)器人的情緒狀態(tài)合成的語音的形式形成一句子輸出，執(zhí)行在情緒上有表現(xiàn)力的語音的機(jī)器人的一種詞序列輸出設(shè)備。
背景技術(shù)：
例如，公知的語音合成器基于文本或者通過分析該文本獲得的發(fā)音符號(hào)產(chǎn)生合成語音。
最近，已經(jīng)建議了包括一語音合成器以便對(duì)用戶說話并且執(zhí)行與用戶的交談(對(duì)話)的一種寵物型寵物機(jī)器人。
另外，已經(jīng)建議了具有用于表達(dá)情緒狀態(tài)的情緒模型的一種寵物機(jī)器人。該類型機(jī)器人取決于由該情緒模型指示的情緒狀態(tài)遵從或者不遵從該用戶的命令。
相應(yīng)地，如果合成語音能夠根據(jù)情緒模型改變，則能夠根據(jù)該情緒輸出合成語音，并且由此能夠開發(fā)寵物機(jī)器人的娛樂特征。

發(fā)明內(nèi)容
已經(jīng)考慮到這些狀況作了本發(fā)明，并且本發(fā)明的目的是輸出在情緒上富于表情的語音。
本發(fā)明的詞序列輸出設(shè)備包括輸出部件，用于根據(jù)信息處理器的控制輸出詞序列；以及改變部件，用于基于信息處理器的內(nèi)部狀態(tài)改變由所述輸出部件輸出的詞序列的詞序。
本發(fā)明的輸出詞序列的方法包括輸出步驟，用于根據(jù)信息處理器的控制輸出一詞序列；以及改變步驟，用于基于所述信息處理器的內(nèi)部狀態(tài)改變?cè)谒鲚敵霾襟E中輸出的詞序列的詞序。
本發(fā)明的程序包括輸出步驟，用于根據(jù)信息處理器的控制輸出詞序列；以及改變步驟，用于基于所述信息處理器的內(nèi)部狀態(tài)改變?cè)谒鲚敵霾襟E中輸出的詞序列的詞序。
本發(fā)明的記錄介質(zhì)包含一程序，該程序包括輸出步驟，用于根據(jù)信息處理器的控制輸出詞序列；以及改變步驟，用于基于信息處理器的內(nèi)部狀態(tài)改變?cè)谒鲚敵霾襟E中輸出的詞序列的詞序。
在本發(fā)明中，所述詞序列是根據(jù)信息處理器的控制輸出的。在另一方面，輸出的詞序列的詞序是基于信息處理器的內(nèi)部狀態(tài)改變的。


圖1是示出根據(jù)本發(fā)明的一實(shí)例的機(jī)器人的外部結(jié)構(gòu)的一例子的透視圖；圖2是示出所述機(jī)器人的內(nèi)部結(jié)構(gòu)的一例子的方框圖；圖3是示出控制器10的功能結(jié)構(gòu)的一例子的方框圖；圖4是示出語音合成器55的結(jié)構(gòu)的一例子的方框圖；圖5是用于說明由語音合成器55執(zhí)行的合成語音的處理的流程圖；圖6是示出根據(jù)本發(fā)明的一實(shí)例的計(jì)算機(jī)結(jié)構(gòu)的一例子的方框圖。
具體實(shí)施例方式
圖1示出根據(jù)本發(fā)明的一實(shí)例的機(jī)器人的外部結(jié)構(gòu)的一例子。圖2示出其電氣結(jié)構(gòu)。
在本實(shí)例中，機(jī)器人是諸如狗的四腿動(dòng)物的形式。腿單元3A、3B、3C、以及3D分別連接在身體單元2的兩側(cè)的前后，并且頭單元4和尾單元5分別連接在身體單元2的前后端。
尾單元5從配置在所述身體單元2的上表面上的基部5B以兩個(gè)自由度伸出，使得該尾單元能夠被彎曲或者擺動(dòng)。
身體單元2容納了控制器，用于控制整個(gè)機(jī)器人；電池11，充作該機(jī)器人的電源；以及內(nèi)部傳感器單元14，包括電池傳感器12和熱傳感器13。
頭單元4包括對(duì)應(yīng)于耳的麥克風(fēng)15；對(duì)應(yīng)于眼的電荷耦合器件(CCD)攝像機(jī)16；對(duì)應(yīng)于觸覺的觸摸傳感器17；以及對(duì)應(yīng)于嘴的揚(yáng)聲器18；它們是在預(yù)定位置提供的。另外，對(duì)應(yīng)于嘴的下顎的下顎部4A帶有一個(gè)自由度，可移動(dòng)地連接頭單元4上。當(dāng)下顎部4A移動(dòng)時(shí)，機(jī)器人的嘴張開或者閉合。
如圖2所示，致動(dòng)器3AA1至3AAK、3BA1至3BAK、3CA1至3CAK、3DA1至3DAK、4A1至4AL、以及5A1及5A2分別配置在腿單元3A至3D的關(guān)節(jié)、在腿單元3A至3D與身體單元2之間的關(guān)節(jié)、在頭單元4和身體單元2之間的關(guān)節(jié)、在頭單元4和下顎部4A之間的關(guān)節(jié)、以及在尾單元5和身體單元2之間的關(guān)節(jié)上。
在頭單元4中的麥克風(fēng)15采集包括用戶2的語音的環(huán)境話音(聲音)，并且輸出獲得的語音信號(hào)到控制器10。CCD攝像機(jī)16采集環(huán)境的圖象并且輸出獲得的圖象信號(hào)到控制器10。
觸覺傳感器17配置在例如頭單元4的上部。觸覺傳感器17檢測(cè)由用戶的諸如輕拍或者打擊的身體動(dòng)作產(chǎn)生的壓力，并且作為壓力檢測(cè)信號(hào)輸出該檢測(cè)結(jié)果到控制器10上。身體單元2中的電池傳感器12檢測(cè)在電池11中的剩余電量，并且輸出該檢測(cè)結(jié)果作為剩余電量檢測(cè)信號(hào)到控制器10上。熱傳感器13檢測(cè)在機(jī)器人內(nèi)部的熱并且輸出該檢測(cè)結(jié)果作為一熱檢測(cè)信號(hào)到控制器10。
控制器10包括中央處理單元(CPU)10A和存儲(chǔ)器10B。CPU 10A執(zhí)行存儲(chǔ)在存儲(chǔ)器10B中的控制程序，以便執(zhí)行各種處理。
即，控制器10基于從麥克風(fēng)15、CCD攝像機(jī)16、觸覺傳感器17、電池傳感器12、以及熱傳感器13中提供的語音信號(hào)、圖象信號(hào)、壓力檢測(cè)信號(hào)、剩余電量檢測(cè)信號(hào)、以及熱檢測(cè)信號(hào)，來檢測(cè)環(huán)境狀態(tài)、來自用戶的命令、以及該用戶的動(dòng)作。
另外，控制器10基于該檢測(cè)結(jié)果等決定相繼的動(dòng)作，并且基于該決定驅(qū)動(dòng)致動(dòng)器3AA1至3AAK、3BA1至3BAK、3CA1至3CAK、3DA1至3DAK、4A1至4AL、5A1及5A2中的需要的致動(dòng)器。相應(yīng)地，頭單元4能夠從一側(cè)到另一側(cè)以及上下?lián)u晃，并且下顎部4A能夠張開和閉合。另外，控制器10允許機(jī)器人動(dòng)作，例如通過移動(dòng)尾單元5并且驅(qū)動(dòng)每個(gè)腿單元3A至3D來行走。
另外，控制器10根據(jù)要求產(chǎn)生合成語音以便該合成語音會(huì)提供到揚(yáng)聲器18上并且輸出，并且接通/關(guān)斷或者閃動(dòng)配置在機(jī)器人的眼睛位置上的發(fā)光二極管(LED)(未示出)。
以此方式，該機(jī)器人基于環(huán)境狀態(tài)等自主地動(dòng)作。
偶然地，存儲(chǔ)器10B能夠由能夠容易地連接和拆去的諸如Memory Stick存儲(chǔ)卡形成。
圖3示出了圖2中示出的控制器10的功能結(jié)構(gòu)的例子。圖3中示出的該功能結(jié)構(gòu)是在CPU 10A執(zhí)行存儲(chǔ)于存儲(chǔ)器10B中的控制程序時(shí)實(shí)現(xiàn)的。
控制器10包括傳感器輸入處理器50，用于識(shí)別特定的外部狀態(tài)；模型存儲(chǔ)單元51，用于累積由傳感器輸入處理器50產(chǎn)生的識(shí)別結(jié)果，以便表達(dá)情緒、本能、以及成長(zhǎng)的狀態(tài)；動(dòng)作決定單元52，用于基于由傳感器輸入處理器50產(chǎn)生的識(shí)別結(jié)果決定相繼的動(dòng)作；姿態(tài)改變單元53，用于允許機(jī)器人基于由所述動(dòng)作決定單元52產(chǎn)生的決定去動(dòng)作；控制單元54，用于驅(qū)動(dòng)和控制致動(dòng)器3AA1至5A1及5A2中的每一個(gè)；以及語音合成器55，用于產(chǎn)生合成語音。
傳感器輸入處理器50基于從麥克風(fēng)15、CCD攝像機(jī)16、觸覺傳感器17中提供的語音信號(hào)、圖象信號(hào)、壓力檢測(cè)信號(hào)來識(shí)別特定所外部狀態(tài)、特定的用戶動(dòng)作、來自用戶的命令等。另外，傳感器輸入處理器50將指示該識(shí)別結(jié)果的狀態(tài)識(shí)別信息告知給模型存儲(chǔ)單元51和動(dòng)作決定單元52。
即，該傳感器輸入處理器50包括基于從麥克風(fēng)15中提供的語音信號(hào)識(shí)別語音的語音識(shí)別單元50A。接著，該語音識(shí)別單元50A將從語音識(shí)別結(jié)果中產(chǎn)生的作為狀態(tài)識(shí)別信息的例如“行走”、“躺下”、以及“追逐球”的命令告知模型存儲(chǔ)單元51和動(dòng)作決定單元52。
另外，該傳感器輸入處理器50包括通過使用從CCD攝像機(jī)16提供的圖象信號(hào)執(zhí)行圖象識(shí)別處理的圖象識(shí)別單元50B。接著，在所述處理之后，圖象識(shí)別單元50B將當(dāng)該圖象識(shí)別單元50B檢測(cè)例如“紅的和圓的物體”以及“垂直于地面并且具有比預(yù)定水平高的高度的平面”時(shí)諸如“這有球”、“這有墻”的圖象識(shí)別結(jié)果作為狀態(tài)識(shí)別信息告知模型存儲(chǔ)單元51和動(dòng)作決定單元52。
而且，傳感器輸入處理器50包括處理從觸覺傳感器17中提供的壓力檢測(cè)信號(hào)的壓力處理器50C。接著，在所述處理之后，該壓力處理器50C識(shí)別當(dāng)它檢測(cè)其級(jí)別在預(yù)定閾值或更高的短時(shí)間壓力時(shí)的“我被打了(被訓(xùn)斥了)”，以及識(shí)別當(dāng)它檢測(cè)其級(jí)別低于預(yù)定閾值時(shí)的長(zhǎng)時(shí)間壓力時(shí)的“我被輕拍了(被表揚(yáng)了)”。還有，壓力處理器50C將該識(shí)別結(jié)果作為狀態(tài)識(shí)別信息告知給模型存儲(chǔ)單元51和動(dòng)作決定單元52。
模型存儲(chǔ)單元51存儲(chǔ)和管理分別表示該機(jī)器人的情緒、本能以及成長(zhǎng)的情緒模型、本能模型、以及成長(zhǎng)模型。
其中，情緒模型表示具有在預(yù)定范圍(例如，-1.0至1.0)內(nèi)的值的諸如“高興”、“悲傷”、“憤怒”、“愉快”的情緒的狀態(tài)(級(jí)別(level))，并且根據(jù)從所述傳感器輸入處理器50發(fā)送的狀態(tài)識(shí)別信息以及流逝時(shí)間改變?cè)撝?。本能模型表示來自諸如“胃口”、“睡眠本能”、以及“運(yùn)動(dòng)本能”的本能的需要、具有在預(yù)定范圍內(nèi)的值的狀態(tài)級(jí)別，并且根據(jù)從所述傳感器輸入處理器50發(fā)送的狀態(tài)識(shí)別信息以及流逝時(shí)間改變?cè)撝怠３砷L(zhǎng)模型表示諸如“幼年”、“成年”、“中年”、以及“老年”的成長(zhǎng)、具有在預(yù)定范圍內(nèi)的值的狀態(tài)(級(jí)別)，并且根據(jù)從所述傳感器輸入處理器50發(fā)送的狀態(tài)識(shí)別信息以及流逝時(shí)間改變?cè)撝怠?br> 模型存儲(chǔ)單元51輸出狀態(tài)信息，即，由情緒模型、本能模型、以及成長(zhǎng)模型指示的情緒、本能、以及成長(zhǎng)的狀態(tài)到動(dòng)作決定單元52上。
狀態(tài)識(shí)別信息從傳感器輸入處理器50中提供到模型存儲(chǔ)單元51上。還有，指示機(jī)器人的當(dāng)前或者過去動(dòng)作的例如“我走了很長(zhǎng)時(shí)間”的動(dòng)作信息從動(dòng)作決定單元52提供到模型存儲(chǔ)單元51上。由此，即使提供了相同的狀態(tài)識(shí)別信息，模型存儲(chǔ)單元51根據(jù)由動(dòng)作信息指示的機(jī)器人的動(dòng)作產(chǎn)生不同的狀態(tài)。
即，例如，當(dāng)機(jī)器人致意用戶以及當(dāng)該用戶輕拍該機(jī)器人頭時(shí)，指示該機(jī)器人致意該用戶的動(dòng)作信息和指示該機(jī)器人被輕拍了的狀態(tài)識(shí)別信息傳送到模型存儲(chǔ)單元51上。在此時(shí)，表示“高興”的情緒模型的值在模型存儲(chǔ)單元51中增加了。
在另一方面，當(dāng)在機(jī)器人工作時(shí)輕拍它的頭部時(shí)，指示該機(jī)器人正在工作的動(dòng)作信息和指示輕拍該機(jī)器人的頭部的狀態(tài)識(shí)別信息傳送到模型存儲(chǔ)單元51上。在此時(shí)，表示“高興”的情緒模型的值在該模型存儲(chǔ)單元51中沒有變化。
以此方式，模型存儲(chǔ)單元51通過參考指示該機(jī)器人的當(dāng)前或者過去動(dòng)作的動(dòng)作信息以及狀態(tài)識(shí)別信息來設(shè)置該情緒模型的值。相應(yīng)地，例如，當(dāng)機(jī)器人在作任務(wù)時(shí)用戶輕拍機(jī)器人的頭部開玩笑時(shí)，表示“高興”的情緒模型的值沒有增加，并且由此能夠防止在情緒上的不自然的變化。
另外，模型存儲(chǔ)單元51還如在情緒模型中那樣基于狀態(tài)識(shí)別信息和動(dòng)作信息兩者增加或者減少所述本能模型和成長(zhǎng)模型的值。另外，模型存儲(chǔ)單元51基于其它模型的值增加或者減少所述情緒模型、本能模型以及成長(zhǎng)模型的每一個(gè)的值。
動(dòng)作決定單元52基于從傳感器輸入處理器50發(fā)送的狀態(tài)識(shí)別信息、從模型存儲(chǔ)單元51發(fā)送的狀態(tài)信息、流逝的時(shí)間等決定相繼的動(dòng)作。另外，動(dòng)作決定單元52輸出所確定動(dòng)作的內(nèi)容作為動(dòng)作命令信息到姿態(tài)改變單元53。
即，動(dòng)作決定單元52管理其中由該機(jī)器人作的動(dòng)作與狀態(tài)相關(guān)的受限自動(dòng)操作(automation)，作為用于指定該機(jī)器人動(dòng)作的動(dòng)作模型。另外，動(dòng)作決定單元52基于從傳感器輸入處理器50發(fā)送的狀態(tài)識(shí)別信息、在模型存儲(chǔ)單元51中的情緒模型、本能模型、或者成長(zhǎng)模型的值、流逝時(shí)間等改變?cè)谠撌芟拮詣?dòng)機(jī)器中的狀態(tài)作為動(dòng)作模型，并且接著決定作為對(duì)應(yīng)于所述改變之后的狀態(tài)的動(dòng)作的相繼動(dòng)作。
這里，當(dāng)動(dòng)作決定單元52檢測(cè)預(yù)定的觸發(fā)器時(shí)，它改變?cè)摖顟B(tài)。即，當(dāng)自從對(duì)應(yīng)于當(dāng)前狀態(tài)的動(dòng)作開始已經(jīng)過預(yù)定時(shí)間、當(dāng)動(dòng)作決定單元52接收特定狀態(tài)識(shí)別信息、以及當(dāng)由從模型存儲(chǔ)單元51提供的狀態(tài)信息指示的情緒、本能、以及成長(zhǎng)的狀態(tài)的值達(dá)到預(yù)定閾值或者超過該閾值、或者減少為低于該閾值時(shí)，動(dòng)作決定單元52改變?cè)摖顟B(tài)。
如上所述，動(dòng)作決定單元52基于模型存儲(chǔ)單元51的情緒模型、本能模型、以及成長(zhǎng)模型的值以及基于從傳感器輸入處理器50發(fā)送的狀態(tài)識(shí)別信息改變?cè)趧?dòng)作模型中的狀態(tài)。由此，當(dāng)相同狀態(tài)識(shí)別信息輸入到動(dòng)作決定單元52時(shí)，所改變的狀態(tài)取決于情緒模型、本能模型、以及成長(zhǎng)模型的值(狀態(tài)信息)可以是不同的。
結(jié)果，當(dāng)該狀態(tài)信息指示“我不憤怒”以及“我不饑餓”時(shí)，以及當(dāng)該狀態(tài)信息指示“一只手伸在眼睛前”時(shí)，動(dòng)作決定單元52產(chǎn)生用于允許該機(jī)器人根據(jù)一只手伸在眼睛前的該狀態(tài)產(chǎn)生動(dòng)作命令信息，并且輸出該動(dòng)作命令信息到姿態(tài)改變單元53上。
另外，當(dāng)該狀態(tài)信息指示“我不憤怒”以及“我饑餓”時(shí)，以及當(dāng)該狀態(tài)信息指示“一只手伸在眼睛前”時(shí)，動(dòng)作決定單元52產(chǎn)生用于允許該機(jī)器人根據(jù)一只手伸在眼睛前的該狀態(tài)去“舔該手”的動(dòng)作命令信息，并且輸出該動(dòng)作命令信息到姿態(tài)改變單元53上。
另外，當(dāng)該狀態(tài)信息指示“我憤怒”時(shí)，以及當(dāng)該狀態(tài)信息指示“一只手伸在眼睛前”時(shí)，動(dòng)作決定單元52產(chǎn)生用于允許該機(jī)器人即使當(dāng)該狀態(tài)信息指示“我饑餓”或者“我不饑餓”時(shí)也去“搖擺頭”，并且輸出該打命令信息到姿態(tài)改變單元53上。
動(dòng)作決定單元52能夠基于由從模型存儲(chǔ)單元51提供的狀態(tài)信息指示的情緒、本能、以及成長(zhǎng)的狀態(tài)決定對(duì)應(yīng)于該改變狀態(tài)的動(dòng)作的參數(shù)，例如，步行速度、移動(dòng)手掌和腿的方式及其速度。在此情況中，包括所述參數(shù)的動(dòng)作命令信息會(huì)輸出到姿態(tài)改變單元53上。
另外，如上所述，動(dòng)作決定單元52產(chǎn)生用于允許該機(jī)器人說話的動(dòng)作命令信息以及用于移動(dòng)該機(jī)器人的頭、手掌、腿等的動(dòng)作命令信息。用于允許機(jī)器人說話的動(dòng)作命令信息會(huì)發(fā)送到語音合成器55上。提供到語音合成器55的動(dòng)作命令信息包括對(duì)應(yīng)于在語音合成器55中產(chǎn)生的合成語音的文本。當(dāng)語音合成器55從動(dòng)作決定單元52中接收動(dòng)作命令信息時(shí)，它基于包括在該動(dòng)作命令信息中的文本產(chǎn)生合成語音，并且提供該合成語音到揚(yáng)聲器18上以便輸出該語音。相應(yīng)地，機(jī)器人的話音；對(duì)該用戶的各種要求，例如“我餓了”；對(duì)該用戶的響應(yīng)，例如，“什么？”等會(huì)從揚(yáng)聲器18輸出。這里，語音合成器55還從模型存儲(chǔ)單元51中接收狀態(tài)信息。由此，語音合成器55通過基于由該狀態(tài)信息指示的情緒狀態(tài)執(zhí)行各種控制能夠產(chǎn)生合成語音。
另外，語音合成器55能夠通過基于本能或者本能的狀態(tài)、以及情緒執(zhí)行各種控制產(chǎn)生合成語音。當(dāng)輸出合成語音時(shí)，動(dòng)作決定單元52產(chǎn)生用于根據(jù)需要張開和閉合下顎部4A的動(dòng)作命令信息，并且輸出該動(dòng)作命令信息到姿態(tài)改變單元53。在此時(shí)，下顎部4A同步于合成語音的輸出張開和閉合。由此，用戶接收該機(jī)器人在說話的印象。
姿態(tài)改變單元53基于從動(dòng)作決定單元52中提供的動(dòng)作命令信息產(chǎn)生用于改變機(jī)器人的當(dāng)前姿態(tài)的信息到下一姿態(tài)的姿態(tài)改變信息，并且輸出該姿態(tài)改變信息到控制單元54上。
這里，能夠被實(shí)現(xiàn)的下一姿態(tài)是根據(jù)機(jī)器人的諸如身體、手掌以及腿的形狀和重量的物理形狀、以及在所述單元之間的連接狀態(tài)、以及致動(dòng)器3AA1至5A1及5A2的諸如彎曲關(guān)節(jié)的方向和角度的機(jī)制而決定的。
還有，該下一姿態(tài)包括能夠通過直接改變當(dāng)前姿態(tài)而實(shí)現(xiàn)的姿態(tài)以及通過直接改變當(dāng)前姿態(tài)不能夠?qū)崿F(xiàn)的姿態(tài)。例如，其胳膊和腿伸展地躺著的四腿機(jī)器人能夠直接地通過躺倒改變其姿態(tài)。然而，該躺的姿態(tài)不能夠直接改變?yōu)檎玖⒆藨B(tài)。為了將該躺的姿態(tài)改變?yōu)檎玖⒆藨B(tài)，需要兩步。即，該機(jī)器人首先通過將它的手掌和腿拉近身體躺倒，并且接著站立。還有，存在不能夠安全地實(shí)現(xiàn)的姿態(tài)。例如，當(dāng)四腿站立的該四腿機(jī)器人試圖舉起前兩腿以便歡呼時(shí)，該機(jī)器人容易跌倒。
相應(yīng)地，能夠通過直接改變前一姿態(tài)實(shí)現(xiàn)的姿態(tài)被預(yù)先寄存在姿態(tài)改變單元53中。當(dāng)從動(dòng)作決定單元52中提供的動(dòng)作命令信息指示通過直接改變當(dāng)前姿態(tài)能夠?qū)崿F(xiàn)的姿態(tài)時(shí)，動(dòng)作命令信息會(huì)按照原來的樣子輸出到控制單元54上作為姿態(tài)改變信息。在另一方面，當(dāng)動(dòng)作命令信息指示不能夠通過直接改變當(dāng)前狀態(tài)實(shí)現(xiàn)的一姿態(tài)時(shí)，姿態(tài)改變單元53產(chǎn)生姿態(tài)改變信息以便當(dāng)前姿態(tài)被改變到另一姿態(tài)，并且接著所要求的姿態(tài)能夠得以實(shí)現(xiàn)，并且輸出該姿態(tài)改變信息到控制單元54上。相應(yīng)地，該機(jī)器人不能夠強(qiáng)力地采取不能夠通過直接改變當(dāng)前狀態(tài)實(shí)現(xiàn)的一姿態(tài)，并且由此能夠防止該機(jī)器人的跌倒。
控制單元54根據(jù)從姿態(tài)改變單元53發(fā)送的姿態(tài)改變信息產(chǎn)生用于驅(qū)動(dòng)致動(dòng)器3AA1至5A1及5A2的控制信號(hào)，并且輸出該控制信號(hào)到3AA1至5A1及5A2上。相應(yīng)地，致動(dòng)器3AA1至5A1及5A2會(huì)根據(jù)控制信號(hào)受到驅(qū)動(dòng)，并且該機(jī)器人自主地動(dòng)作。
圖4示出了在圖3中示出的語音合成器55的結(jié)構(gòu)的一例子。
從動(dòng)作決定單元52輸出和包括用于語音合成的文本的動(dòng)作命令信息會(huì)提供到文本產(chǎn)生單元31上。該文本產(chǎn)生單元31通過參考字典存儲(chǔ)單元36和語法存儲(chǔ)單元37分析包括在該動(dòng)作命令信息中的文本。
即，字典存儲(chǔ)單元36存儲(chǔ)包括諸如關(guān)于詞的語音、發(fā)音以及重音部分的信息的信息的字典。語法存儲(chǔ)單元37存儲(chǔ)諸如關(guān)于包括在字典存儲(chǔ)單元36中存儲(chǔ)的字典中的詞的詞鏈的約束的語法規(guī)則。文本產(chǎn)生單元31基于該字典和該語法規(guī)則分析該輸入文本的詞素和句子結(jié)構(gòu)。接著，文本產(chǎn)生單元31提取按在下階段在合成單元32中執(zhí)行的規(guī)則的語音合成所需的信息。這里，按規(guī)則執(zhí)行語音合成要求的信息包括韻律學(xué)信息，諸如用于控制頓號(hào)、重音、以及語調(diào)的位置的信息，以及諸如詞的發(fā)音的音位信息。
在文本產(chǎn)生單元31中獲得的信息會(huì)提供到合成單元32上，合成單元32通過利用音素存儲(chǔ)單元38產(chǎn)生對(duì)應(yīng)于輸入到文本產(chǎn)生單元31的文本的合成語音的語音數(shù)據(jù)(數(shù)字?jǐn)?shù)據(jù))。
即，音素存儲(chǔ)單元38以例如CV(輔音-元音)、VCV、以及CVC的形式存儲(chǔ)音素?cái)?shù)據(jù)。合成單元32基于來自文本產(chǎn)生單元31的信息連接所要求的音素?cái)?shù)據(jù)，并且恰當(dāng)?shù)靥砑宇D號(hào)、重音、以及語調(diào)等，以便產(chǎn)生對(duì)應(yīng)于輸入到文本產(chǎn)生單元31上的文本的合成語音數(shù)據(jù)。
該語音數(shù)據(jù)會(huì)提供到數(shù)據(jù)緩沖器33上。數(shù)據(jù)緩沖器33存儲(chǔ)從合成單元32提供的合成語音數(shù)據(jù)。
輸出控制單元34控制存儲(chǔ)于數(shù)據(jù)緩沖器33的合成語音數(shù)據(jù)的讀取。
即，輸出控制單元34在下階段中同步于數(shù)字-模擬(DA)轉(zhuǎn)換器35，從數(shù)據(jù)合成器33中讀取合成語音數(shù)據(jù)，并且提供該數(shù)據(jù)到DA轉(zhuǎn)換器35上。DA轉(zhuǎn)換器35將作為數(shù)字信號(hào)的合成語音數(shù)據(jù)DA轉(zhuǎn)換為作為模擬信號(hào)的語音信號(hào)，并且提供該語音信號(hào)到揚(yáng)聲器18。相應(yīng)地，輸出對(duì)應(yīng)于輸入到文本產(chǎn)生單元31上的文本的合成語音。
情緒檢查單元39規(guī)則地或者不規(guī)則地檢查存儲(chǔ)于模型存儲(chǔ)單元51中的情緒模型的值(情緒模型值)，并且提供該結(jié)果到文本產(chǎn)生單元31和合成單元32上。文本產(chǎn)生單元31和合成單元32考慮從情緒檢查單元39提供的情緒模型值執(zhí)行處理。
接著，將參考圖5中示出的流程圖描述由圖4中示出的語音合成器55執(zhí)行的合成語音的處理。
當(dāng)動(dòng)作決定單元52輸出包括用于語音合成文本的動(dòng)作命令信息到語音合成器55時(shí)，在步驟S1中文本產(chǎn)生單元31接收動(dòng)作命令信息，并且該處理進(jìn)入到步驟S2。在步驟S2中，情緒檢查單元39通過參考模型存儲(chǔ)單元51識(shí)別(檢查)情緒模型值。該情緒模型值從情緒檢查單元39中提供到文本產(chǎn)生單元31和合成單元32上使得處理進(jìn)入到步驟S3。
在步驟S3中，文本產(chǎn)生單元31基于情緒模型值設(shè)置用于從包括在從動(dòng)作決定單元52中發(fā)送的動(dòng)作命令信息中的文本中產(chǎn)生要實(shí)際作為合成語音輸出的文本(在下文中稱為口語文本)的詞匯表(口語詞匯表)，并且處理進(jìn)入到步驟S4。在步驟S4中，文本產(chǎn)生單元31通過利用在步驟S3中設(shè)置的口語詞匯表產(chǎn)生對(duì)應(yīng)于包括在動(dòng)作命令信息中的文本的口語文本。
即，包括在從動(dòng)作決定單元52中發(fā)送的動(dòng)作命令信息中的文本是以例如正常情緒狀態(tài)中的語音為前提的。在步驟S4中，該文本是考慮機(jī)器人的情緒狀態(tài)而修改的以便產(chǎn)生口語文本。
更具體地，當(dāng)包括在動(dòng)作命令信息中的文本是“什么？”時(shí)，以及當(dāng)該機(jī)器人憤怒時(shí)，產(chǎn)生了用于表達(dá)該憤怒的口語文本“什么？”。當(dāng)包括在動(dòng)作命令信息中的文本是“請(qǐng)停止?！币约爱?dāng)該機(jī)器人憤怒時(shí)，產(chǎn)生用于表達(dá)該憤怒的口語文本“停止！”。
接著，處理進(jìn)入到步驟S5，情緒檢查單元39確定該機(jī)器人的情緒是否是基于在步驟S2中識(shí)別的情緒模型值引起的。
即，如上所述，情緒模型值表示諸如“高興”、“悲傷”、“憤怒”、以及“愉快”的、帶有一在預(yù)定范圍內(nèi)的值的情緒的狀態(tài)(級(jí)別)。由此，當(dāng)該情緒之一的值高時(shí)，可以認(rèn)為會(huì)引起該情緒。相應(yīng)地，在步驟S5中，通過將每種情緒的情緒模型值與預(yù)定閾值比較能夠確定是否引起該機(jī)器人的情緒。
當(dāng)在步驟S5中確定引起該情緒時(shí)，處理進(jìn)入到步驟S6，在這里情緒檢查單元39將用于指令組成口語文本的詞序的改變的改變信號(hào)輸出到文本產(chǎn)生單元31。
在此情形中，文本產(chǎn)生單元31基于來自情緒檢查單元39的改變信號(hào)改變組成口語文本的詞序列的次序，以便該口語文本的謂語位于該句子的前頭。
例如，當(dāng)口語文本是否定句“Watashi wa yatte imasen.”(我沒做它)時(shí)，文本產(chǎn)生單元31改變?cè)撛~序并且造一句子“Yatte imasen，watashi wa.”(不是我做的)。還有，當(dāng)口語文本是表達(dá)憤怒的“Anata wa nan to iu koto osuru no desuka？”(你在干什么！？)時(shí)，文本產(chǎn)生單元31改變?cè)撛~序并且造一句子“Nan to iu koto o suru no desuka，anata wa？”(在干什么，你！？)。還有，當(dāng)口語文本是表達(dá)同意的“Watashi mo sore ni sansei desu.”(我也同意它)時(shí)，文本產(chǎn)生單元31改變?cè)撛~序并且造一句子“Sanseidesu，watashi mo sore ni.”(我同意它，我確實(shí)同意)。還有，當(dāng)口語文本是表達(dá)贊揚(yáng)的“Kimi wa kirei da.”(你是美麗的)時(shí)。文本產(chǎn)生單元31改變?cè)撛~序并且造一句子“Kirei da，kimi wa.”(你是美麗的，確實(shí)美麗)。
如上所述，當(dāng)口語文本的詞序改變以便將謂語放置在該句子的前頭時(shí)，該謂語受到強(qiáng)調(diào)。由此，能夠獲得用于給出表達(dá)了一種與在改變之前的口語文本相比較的強(qiáng)烈情緒的印象的口語文本。
改變?cè)~序的方法不限于上述方法。
在步驟S6中改變口語文本的詞序之后，處理進(jìn)入到步驟S7。
在另一方面，當(dāng)在步驟S5中確定未引起該情緒時(shí)，跳過步驟S6并且處理進(jìn)入到步驟S7。由此，在此情形中，口語文本的詞序未被改變并且保留它原來的樣子。
在步驟S7中，文本產(chǎn)生單元31執(zhí)行關(guān)于口語文本的諸如語形學(xué)分析和句子結(jié)構(gòu)分析的文本分析(其詞序被改變或者未被改變)，并且產(chǎn)生諸如音調(diào)頻率、功率、以及時(shí)長(zhǎng)的韻律學(xué)信息，這是按規(guī)則對(duì)口語文本執(zhí)行語音合成所要求的信息。另外，文本產(chǎn)生單元31還產(chǎn)生諸如組成該口語文本的每個(gè)詞的發(fā)音的音韻學(xué)信息。在步驟S7中，產(chǎn)生標(biāo)準(zhǔn)韻律學(xué)信息作為該口語文本的韻律學(xué)信息。
此后，處理進(jìn)入到步驟S8，在這里文本產(chǎn)生單元31基于從情緒檢查單元39中提供的情緒模型值修改在步驟S7中產(chǎn)生的口語文本的韻律學(xué)信息。相應(yīng)地，以合成語音的形式輸出的口語文本的情緒表達(dá)受到強(qiáng)調(diào)。具體地，修改該韻律學(xué)信息，例如，強(qiáng)調(diào)重音或者強(qiáng)調(diào)該句子結(jié)尾。
在文本產(chǎn)生單元31中獲得的口語文本的音韻學(xué)信息和韻律學(xué)信息提供到合成單元32上。在步驟S9中，合成單元32根據(jù)所述音韻學(xué)信息和韻律學(xué)信息按規(guī)則執(zhí)行語音合成，以便產(chǎn)生該口語文本的合成語音的數(shù)字?jǐn)?shù)據(jù)(合成語音數(shù)據(jù))。這里，當(dāng)合成單元32按規(guī)則執(zhí)行合成時(shí)，能夠通過合成單元32改變諸如該合成語音的頓號(hào)的位置、重音的位置、以及語調(diào)的韻律，以便基于從情緒檢查單元39中提供的情緒模型值恰當(dāng)?shù)乇磉_(dá)機(jī)器人的情緒。
在合成單元32中獲得的合成語音數(shù)據(jù)會(huì)提供到數(shù)據(jù)緩沖存儲(chǔ)器33，并且數(shù)據(jù)緩沖存儲(chǔ)器33在步驟10中存儲(chǔ)該合成語音數(shù)據(jù)。接著，在步驟S11中，輸出控制單元34從數(shù)據(jù)緩沖存儲(chǔ)器33中讀取合成語音數(shù)據(jù)并且提供該數(shù)據(jù)到DA轉(zhuǎn)換器35上以便完成該處理。相應(yīng)地，對(duì)應(yīng)于該口語文本的合成語音會(huì)從揚(yáng)聲器18中輸出。
如上所述，由于該口語文本的詞序是基于該機(jī)器人的情緒狀態(tài)改變的，所以能夠輸出在情緒上有表現(xiàn)力的合成語音。結(jié)果，例如，能夠?qū)τ脩舯磉_(dá)所引起的該機(jī)器人的情緒。
在以上描述中，本發(fā)明被應(yīng)用到娛樂機(jī)器人(作為偽寵物的機(jī)器人)上。然而，本發(fā)明不限于這些，并且能夠廣泛地被應(yīng)用到例如其中對(duì)系統(tǒng)引入了諸如情緒的內(nèi)部狀態(tài)的交互系統(tǒng)。
還有，能夠?qū)⒈景l(fā)明應(yīng)用到顯示在諸如液晶顯示器的顯示設(shè)備上的虛擬機(jī)器人、以及真實(shí)機(jī)器人上。當(dāng)將本發(fā)明應(yīng)用到虛擬機(jī)器人上時(shí)(或者當(dāng)將本發(fā)明具有顯示設(shè)備的真實(shí)機(jī)器人上時(shí))，其中詞序已經(jīng)改變的口語文本不會(huì)輸出為合成語音、或者會(huì)輸出為合成語音，并且能夠顯示在顯示設(shè)備上。
在該實(shí)例中，上述序列處理是通過允許CPU10A執(zhí)行程序執(zhí)行的。然而，該序列處理也能夠通過利用專用硬件來執(zhí)行。
這里，該程序可以預(yù)先存儲(chǔ)在存儲(chǔ)器10B(圖2)中。還有，該程序可以臨時(shí)地或者永久地存儲(chǔ)(記錄)在可拆去記錄介質(zhì)上，諸如軟盤、致密光盤只讀存儲(chǔ)器(CD-ROM)、磁光(MO)盤、數(shù)字通用盤(DVD)、磁盤、或者半導(dǎo)體存儲(chǔ)器。能夠作為所謂封裝軟件提供該可拆去記錄介質(zhì)以便安裝在該機(jī)器人(存儲(chǔ)器10B)上。
或者，該程序能夠經(jīng)由用于數(shù)字廣播的人造衛(wèi)星無線地從下載站點(diǎn)傳送、或者經(jīng)由諸如局域網(wǎng)(LAN)或者因特網(wǎng)的網(wǎng)絡(luò)有線地傳送，并且能夠安裝在存儲(chǔ)器10B上。
在此情形中，當(dāng)更新該程序的版本時(shí)，能夠容易地在存儲(chǔ)器10B上安裝版本更新程序。
在所述中，描述允許CPU10A執(zhí)行各種處理的程序的步驟不需要以該流程圖中描述的次序以時(shí)間序列執(zhí)行。該步驟可以并行或者獨(dú)立地執(zhí)行(例如，并行處理或者按目標(biāo)處理)。
另外，該程序可以由一CPU執(zhí)行、或者由以分布式的多個(gè)CPU執(zhí)行。
圖4中示出的語音合成器55能夠由專用硬件或者軟件來實(shí)現(xiàn)。當(dāng)語音合成器55是由軟件實(shí)現(xiàn)的時(shí)，組成軟件的程序會(huì)安裝在多用途計(jì)算機(jī)上等。
圖6示出了根據(jù)一實(shí)例的計(jì)算機(jī)結(jié)構(gòu)的例子，在其上安裝了用于實(shí)現(xiàn)語音合成器55的程序。
該程序能夠預(yù)先記錄在作為包括在計(jì)算機(jī)中的記錄介質(zhì)的硬盤105或者ROM(只讀存儲(chǔ)器)103上。
或者，該程序能夠臨時(shí)地或者永久地存儲(chǔ)(記錄)在可拆去記錄介質(zhì)111上，諸如軟盤、CD-ROM、MO盤、DVD、磁盤、或者半導(dǎo)體存儲(chǔ)器。能夠提供該可拆去記錄介質(zhì)作為所謂封裝軟件。
該程序能夠從上述可拆去記錄介質(zhì)111安裝在計(jì)算機(jī)上。或者，該程序能夠經(jīng)由用于數(shù)字衛(wèi)星廣播的人造衛(wèi)星無線地從下載站點(diǎn)傳送。還有，該程序能夠經(jīng)由諸如局域網(wǎng)(LAN)或者因特網(wǎng)的網(wǎng)絡(luò)有線地傳送。計(jì)算機(jī)的通信單元108接收所傳送的程序以便該程序安裝在硬盤105上。
該計(jì)算機(jī)包括中央處理單元(CPU)102。輸入/輸出接口110會(huì)經(jīng)由總線101連接到CPU102上。當(dāng)用戶操作包括鍵盤、鼠標(biāo)、以及麥克風(fēng)的輸入單元107以便經(jīng)由輸入/輸出接口110將命令輸入到CPU102時(shí)，CPU102執(zhí)行存儲(chǔ)在只讀存儲(chǔ)器(ROM)103中的程序?；蛘?，CPU102裝載存儲(chǔ)在硬盤105中的程序、經(jīng)由衛(wèi)星或者網(wǎng)絡(luò)發(fā)送由通信單元108接收、并且安裝在硬盤105上的程序，或者從被裝載在驅(qū)動(dòng)器109上的可拆去記錄介質(zhì)111中讀取、并且安裝在硬盤105上的程序到隨機(jī)訪問存儲(chǔ)器(RAM)104上，并且執(zhí)行該程序。相應(yīng)地，CPU102根據(jù)上述流程圖或者由該方框圖的結(jié)構(gòu)來執(zhí)行的處理。接著，CPU102經(jīng)由輸入/輸出接口110從包括液晶顯示器(LCD)和揚(yáng)聲器的輸出單元106輸出該處理的結(jié)果，或者根據(jù)要求從通信單元108中發(fā)送該結(jié)果、或者記錄該結(jié)果在硬盤105上。
在該實(shí)例中，合成語音是從由動(dòng)作決定單元52產(chǎn)生的文本中產(chǎn)生的。然而，本發(fā)明也能夠在合成語音是從預(yù)先準(zhǔn)備的文本中產(chǎn)生時(shí)應(yīng)用。而且，本發(fā)明能夠在當(dāng)所要求的合成語音是通過編輯預(yù)先記錄的語音數(shù)據(jù)產(chǎn)生時(shí)應(yīng)用。
還有，在該實(shí)例中，改變了口語文本的詞序，并且合成語音數(shù)據(jù)是在該詞序改變之后產(chǎn)生的。然而，有可能在改變?cè)~序之前從口語文本中產(chǎn)生合成語音數(shù)據(jù)，并且接著通過操作該合成語音數(shù)據(jù)改變?cè)撛~序。合成語音數(shù)據(jù)的該操作可以由圖4中示出的合成單元32執(zhí)行?；蛘?，如由圖4的虛線所示，情緒模型值可以從情緒檢查單元39提供到輸出控制單元34上以便由輸出控制單元34執(zhí)行該操作。
另外，詞序的改變可以基于該寵物機(jī)器人的諸如本能和成長(zhǎng)的內(nèi)部狀態(tài)以及基于情緒模型值執(zhí)行。工業(yè)應(yīng)用性如上所述，根據(jù)本發(fā)明，一詞序列會(huì)根據(jù)信息處理器的控制來輸出。在另一方面，所輸出的詞序列的詞序是基于該信息處理器的內(nèi)部狀態(tài)改變的。因此，例如，能夠輸出在情緒上有表現(xiàn)力的合成語音。
權(quán)利要求
1.一種詞序列輸出設(shè)備，用于根據(jù)信息處理器的控制輸出詞序列，所述設(shè)備包括輸出部件，用于根據(jù)所述信息處理器的控制輸出所述詞序列；以及改變部件，用于基于所述信息處理器的內(nèi)部狀態(tài)改變由所述輸出部件輸出的所述詞序列的詞序。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述信息處理器是真實(shí)的或者虛擬的機(jī)器人。
3.根據(jù)權(quán)利要求2所述的設(shè)備，其中所述信息處理器包括作為所述內(nèi)部狀態(tài)的情緒狀態(tài)，并且所述改變部件基于所述情緒狀態(tài)改變所述詞序列的詞序。
4.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述輸出部件以語音或者文本的形式輸出所述詞序列。
5.根據(jù)權(quán)利要求1所述的設(shè)備，其中所述改變部件改變所述詞序列的詞序，以便由所述詞序列形成的句子的謂語被放置在所述句子的前頭。
6.一種根據(jù)信息處理器的控制輸出詞序列的方法，所述方法包括輸出步驟，用于根據(jù)所述信息處理器的控制輸出所述詞序列；以及改變步驟，用于基于所述信息處理器的內(nèi)部狀態(tài)改變?cè)谒鲚敵霾襟E中輸出的所述詞序列的詞序。
7.一種用于允許計(jì)算機(jī)根據(jù)信息處理器的控制執(zhí)行輸出詞序列的處理的程序，所述程序包括輸出步驟，用于根據(jù)所述信息處理器的控制輸出所述詞序列；以及改變步驟，用于基于所述信息處理器的內(nèi)部狀態(tài)改變?cè)谒鲚敵霾襟E中輸出的所述詞序列的詞序。
8.一種記錄介質(zhì)，其中記錄了一種用于允許計(jì)算機(jī)根據(jù)信息處理器的控制執(zhí)行輸出詞序列的處理的程序，所述程序包括輸出步驟，用于根據(jù)所述信息處理器的控制輸出所述詞序列；以及改變步驟，用于基于所述信息處理器的內(nèi)部狀態(tài)改變?cè)谒鲚敵霾襟E中輸出的所述詞序列的詞序。
全文摘要
一種用于輸出動(dòng)人的合成語音的詞序列輸出設(shè)備。文本產(chǎn)生部分(31)根據(jù)行為命令信息產(chǎn)生用作來自各文本的合成語音的口語文本，即其中包含的詞序列。情緒檢查部分(39)檢查情緒模型值，并且基于該情緒模型值確定是否引起機(jī)器人的情緒。如果判斷該機(jī)器人的情緒被引起，情緒檢查部分(39)指令文本產(chǎn)生部分(31)改變?cè)~序。文本產(chǎn)生部分(31)根據(jù)情緒檢查部分(39)的指令改變口語文本的詞序。如果口語文本是例如“Kimi－wa kireida”，將該詞序改變?yōu)椤癒ireida kimi－wa”。本發(fā)明能夠應(yīng)用于輸出合成語音的機(jī)器人。
文檔編號(hào)G10L13/00GK1463420SQ02801755
公開日2003年12月24日 申請(qǐng)日期2002年4月5日 優(yōu)先權(quán)日2001年4月5日
發(fā)明者狩谷真一 申請(qǐng)人:索尼公司