一種人機(jī)交互方法及裝置的制造方法
【專利摘要】一種人機(jī)交互方法及裝置，該方法包括：輸入信息獲取步驟，獲取用戶輸入的多模態(tài)交互信息；數(shù)據(jù)處理步驟，根據(jù)所述多模態(tài)交互信息生成有效交互信息，并根據(jù)所述有效交互信息生成并輸出相應(yīng)的交互反饋信息。該方法的反饋信息生成過程能夠整合不同類型的交互信息，這樣既可以使得輸出的交互反饋信息更加符合用戶的期望，又可以避免輸出不適合當(dāng)前用戶的反饋信息的情況，從而使得產(chǎn)品的用戶體驗(yàn)得到提高。
【專利說明】
_種人機(jī)交互方法及裝置
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及人機(jī)交互技術(shù)領(lǐng)域，具體地說，涉及一種人機(jī)交互方法及裝置。
【背景技術(shù)】
[0002]隨著科學(xué)技術(shù)的不斷發(fā)展，信息技術(shù)、計(jì)算機(jī)技術(shù)以及人工智能技術(shù)的引入，機(jī)器人的研究已經(jīng)逐步走出工業(yè)領(lǐng)域，逐漸擴(kuò)展到了醫(yī)療、保健、家庭、娛樂以及服務(wù)行業(yè)等領(lǐng)域。而人們對于機(jī)器人的要求也從簡單重復(fù)的機(jī)械動作提升為具有擬人問答、自主性及與其他機(jī)器人進(jìn)行交互的智能機(jī)器人，人機(jī)交互也就成為決定智能機(jī)器人發(fā)展的重要因素。
[0003]對于傳統(tǒng)的人機(jī)交互而言，人機(jī)交互主要是由用戶通過鼠標(biāo)、鍵盤以及觸摸屏等裝置來與計(jì)算機(jī)、手機(jī)等設(shè)備進(jìn)行交互。而對于智能機(jī)器人來說，如果仍采用這種交互方式的話，則將會使得人機(jī)交互的效率以及效果極差。

【發(fā)明內(nèi)容】

[0004]為解決上述問題，本發(fā)明提供了一種人機(jī)交互方法，所述方法包括:
[0005]輸入信息獲取步驟，獲取用戶輸入的多模態(tài)交互信息；
[0006]數(shù)據(jù)處理步驟，根據(jù)所述多模態(tài)交互信息生成有效交互信息，并根據(jù)所述有效交互信息生成并輸出相應(yīng)的交互反饋信息。
[0007]根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述有效交互信息包括用戶狀態(tài)信息，在所述數(shù)據(jù)處理步驟中，根據(jù)所述多模態(tài)交互信息中的圖像信息、語音信息和動作信息確定所述用戶狀態(tài)信息，并根據(jù)所述用戶狀態(tài)信息調(diào)整對話模型。
[0008]根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述用戶狀態(tài)信息包括用戶的年齡和/或性別，在所述數(shù)據(jù)處理步驟中，從預(yù)設(shè)對話模型集合中選取與所述用戶狀態(tài)信息相匹配的對話模型，并根據(jù)所選取的對話模型生成相應(yīng)的交互反饋信息。
[0009]根據(jù)本發(fā)明的一個(gè)實(shí)施例，在所述數(shù)據(jù)處理步驟中，
[0010]利用預(yù)設(shè)調(diào)侃交互模型生成第一臨時(shí)反饋信息；
[0011 ]利用預(yù)設(shè)用戶自定義知識庫生成第二臨時(shí)反饋信息；
[0012]利用預(yù)設(shè)問答交互模型生成第三臨時(shí)反饋信息；
[0013]根據(jù)所述第一臨時(shí)反饋信息、第二臨時(shí)反饋信息和第三臨時(shí)反饋信息生成所述交互反饋信息。
[0014]根據(jù)本發(fā)明的一個(gè)實(shí)施例，在所述數(shù)據(jù)處理步驟中，對所述第一臨時(shí)反饋信息、第二臨時(shí)反饋信息和第三臨時(shí)反饋信息進(jìn)行排序，并根據(jù)排序結(jié)果確定出有效臨時(shí)反饋信息，根據(jù)所述有效臨時(shí)反饋信息生成所述交互反饋信息。
[0015]本發(fā)明還提供了一種人機(jī)交互裝置，所述裝置包括:
[0016]輸入信息獲取模塊，用戶獲取用戶輸入的多模態(tài)交互信息；
[0017]數(shù)據(jù)處理模塊，用于根據(jù)所述多模態(tài)交互信息生成有效交互信息，并根據(jù)所述有效交互信息生成并輸出相應(yīng)的交互反饋信息。
[0018]根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述有效交互信息包括用戶狀態(tài)信息，所述數(shù)據(jù)處理模塊配置為根據(jù)所述多模態(tài)交互信息中的圖像信息、語音信息和動作信息確定所述用戶狀態(tài)信息，并根據(jù)所述用戶狀態(tài)信息調(diào)整對話模型。
[0019]根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述用戶狀態(tài)信息包括用戶的年齡和/或性別，所述數(shù)據(jù)處理模塊配置為從預(yù)設(shè)對話模型集合中選取與所述用戶狀態(tài)信息相匹配的對話模型，并根據(jù)所選取的對話模型生成相應(yīng)的交互反饋信息。
[0020]根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述數(shù)據(jù)處理模塊配置為，利用預(yù)設(shè)調(diào)侃交互模型生成第一臨時(shí)反饋信息，利用預(yù)設(shè)用戶自定義知識庫生成第二臨時(shí)反饋信息，利用預(yù)設(shè)問答交互模型生成第三臨時(shí)反饋信息，隨后根據(jù)所述第一臨時(shí)反饋信息、第二臨時(shí)反饋信息和第三臨時(shí)反饋信息生成所述交互反饋信息。
[0021]根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述數(shù)據(jù)處理模塊配置為對所述第一臨時(shí)反饋信息、第二臨時(shí)反饋信息和第三臨時(shí)反饋信息進(jìn)行排序，并根據(jù)排序結(jié)果確定出有效臨時(shí)反饋信息，根據(jù)所述有效臨時(shí)反饋信息生成所述交互反饋信息。
[0022]本發(fā)明所提供的人機(jī)交互方法和裝置能夠利用所獲取到的圖像信息來調(diào)整對話模型，進(jìn)而利用調(diào)整后的對話模型來生成并輸出更加符合當(dāng)前用戶的交互反饋信息。這樣既可以使得輸出的交互反饋信息更加符合用戶的期望，又可以避免輸出不適合當(dāng)前用戶的反饋信息的情況(例如對兒童用戶輸出包含粗口的語音信息或包含暴力信息的圖像信息等)O
[0023]本發(fā)明所提供的人機(jī)交互方法所輸出的交互反饋信息能夠綜合不同的對話模型，這樣也就使得最終輸出的交互反饋信息更加符合用戶的交互習(xí)慣以及交互期望。
[0024]本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。
【附圖說明】
[0025]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要的附圖做簡單的介紹:
[0026]圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的人機(jī)交互方法的流程圖；
[0027]圖2是根據(jù)本發(fā)明一個(gè)實(shí)施例的數(shù)據(jù)處理過程的具體流程圖；
[0028]圖3是根據(jù)本發(fā)明一個(gè)實(shí)施例的生成交互反饋信息的具體流程圖；
[0029]圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的人機(jī)交互裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0030]以下將結(jié)合附圖及實(shí)施例來詳細(xì)說明本發(fā)明的實(shí)施方式，借此對本發(fā)明如何應(yīng)用技術(shù)手段來解決技術(shù)問題，并達(dá)成技術(shù)效果的實(shí)現(xiàn)過程能充分理解并據(jù)以實(shí)施。需要說明的是，只要不構(gòu)成沖突，本發(fā)明中的各個(gè)實(shí)施例以及各實(shí)施例中的各個(gè)特征可以相互結(jié)合，所形成的技術(shù)方案均在本發(fā)明的保護(hù)范圍之內(nèi)。
[0031]同時(shí)，在以下說明中，出于解釋的目的而闡述了許多具體細(xì)節(jié)，以提供對本發(fā)明實(shí)施例的徹底理解。然而，對本領(lǐng)域的技術(shù)人員來說顯而易見的是，本發(fā)明可以不用這里的具體細(xì)節(jié)或者所描述的特定方式來實(shí)施。
[0032]另外，在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
[0033]在傳統(tǒng)的人機(jī)交互過程中，用戶主要是通過鼠標(biāo)、鍵盤以及觸摸屏等裝置與PC機(jī)或手機(jī)等設(shè)備進(jìn)行交互。然而對與機(jī)器人的人機(jī)交互而言，如果仍然采用傳統(tǒng)的人機(jī)交互方式的話，那么必然會導(dǎo)致人機(jī)交互的效果很差。對此，本發(fā)明提供了一種新的人機(jī)交互方法，該方法能夠?qū)崿F(xiàn)人機(jī)交互過程中語音、視覺和/或觸覺信息的多模態(tài)輸入，并且還能夠?qū)崿F(xiàn)動作、表情和/語音形式的多模態(tài)交互輸出。
[0034]圖1示出了本發(fā)明所提供的人機(jī)交互方法的流程圖。
[0035]如圖1所示，本發(fā)明所提供的方法首先在步驟SlOl中獲取用戶的多模態(tài)交互信息。需要指出的是，該方法在步驟SlOl中所能夠獲取到的多模態(tài)交互信息在不同的實(shí)施例中可以根據(jù)實(shí)際需要以及機(jī)器人的實(shí)際功能而包含不同形式的信息，在此并不對其所能夠獲取到的信息的具體形式以及數(shù)量作進(jìn)一步地限定。
[0036]例如，在本發(fā)明的一個(gè)實(shí)施例中，該方法在步驟SlOl中所能夠獲取到的多模態(tài)交互信息優(yōu)選地包括:圖像信息(即視覺信息)、語音信息(即聽覺信息)和觸覺信息。需要指出的是，在實(shí)際運(yùn)行過程中，該方法在步驟SlOl中所能夠獲取到的多模態(tài)交互信息可以僅包含以上所列信息中的某一項(xiàng)或某幾項(xiàng)(例如只獲取到圖像信息，而其他信息為空)，本發(fā)明不限于此。
[0037]當(dāng)獲取到用戶輸入的多模態(tài)交互信息后，該方法在步驟S102中根據(jù)多模態(tài)交互信息生成有效交互信息，并在步驟S103中根據(jù)步驟S102中所生成的有效交互信息生成并輸出相應(yīng)的交互反饋信息。
[0038]在本發(fā)明的一個(gè)實(shí)施例中，有效交互信息可以包含用戶狀態(tài)信息。如圖2所示，該方法在步驟S201中能夠根據(jù)多模態(tài)交互信息中的圖像信息、語音信息和動作信息來確定用戶狀態(tài)信息，隨后在步驟S202中根據(jù)用戶狀態(tài)信息來調(diào)整對話模型，進(jìn)而基于調(diào)整后的對話模型生成并輸出與用戶狀態(tài)相匹配的交互反饋信息。
[0039]具體地，例如在本發(fā)明的一個(gè)實(shí)施例中，該方法在步驟S201中通過對多模態(tài)交互信息中的圖像信息進(jìn)行圖像處理，確定出此時(shí)用戶的用戶狀態(tài)信息所包含的年齡信息為小于預(yù)設(shè)年齡閾值(例如15歲)，這樣便可以確定出當(dāng)前用戶為兒童。為此，該方法將在步驟S202中調(diào)整對話模型，即通過從預(yù)設(shè)對話模型集合中選取出與用戶狀態(tài)信息相匹配的對話模型來將對話模型調(diào)整為偏向兒童場景的對話模型，這樣基于該對話模型所生成并輸出的交互反饋信息也就更加符合兒童的對話習(xí)慣。
[0040]同樣，如果通過圖像信息所識別出的用戶狀態(tài)信息表征當(dāng)前用戶為成人，那么該方法在步驟S202中將把對話模型調(diào)整為偏向成人場景的對話模型，這樣基于該對話模型所生成并輸出的交互反饋信息也就更加符合成人的對話習(xí)慣。
[0041]而對于語音信息來說，該方法可以通過提取語音信息中的相關(guān)特征值(例如語調(diào)、頻率等)來確定出用戶狀態(tài)信息(例如用戶的年齡和/或性別等)，以此來根據(jù)用戶狀態(tài)信息調(diào)整對話模型。由于對對話模型的調(diào)整原理以及過程與上述基于圖像信息的調(diào)整類似，故在此不再贅述。
[0042]由此可以看出，本發(fā)明所提供的方法能夠利用所獲取到的圖像信息來調(diào)整對話模型，進(jìn)而利用調(diào)整后的對話模型來生成并輸出更加符合當(dāng)前用戶的交互反饋信息。這樣既可以使得輸出的交互反饋信息更加符合用戶的期望，又可以避免輸出不適合當(dāng)前用戶的反饋信息的情況(例如對兒童用戶輸出包含粗口的語音信息或包含暴力信息的圖像信息等)。
[0043]而在本發(fā)明的其他實(shí)施例中，在步驟S201中所生成的用戶狀態(tài)信息還可以是表示關(guān)于用戶狀態(tài)的某一事件信息。
[0044]例如在本發(fā)明的一個(gè)實(shí)施例中，該方法在步驟S201中通過所獲取到的圖像信息可以判斷出有人走近機(jī)器人的視野中，同時(shí)通過對圖像進(jìn)行進(jìn)一步地分析可以根據(jù)機(jī)器人自身存儲器中所記錄的信息判斷出此人為機(jī)器人“認(rèn)識”的人(即機(jī)器人自身存儲器中存儲有該人的相關(guān)信息)并且已經(jīng)很長沒有遇到過該人了，那么此時(shí)該方法將便可以在步驟S202中對對話模型進(jìn)行調(diào)整，并通過調(diào)整后的對話模型生成并輸出諸如“**君，好久不見了，最近怎么樣”的語音反饋信息，或是執(zhí)行一個(gè)歡迎的動作等動作反饋信息。
[0045]例如在本發(fā)明的又一個(gè)實(shí)施例中，如果用戶拍了機(jī)器人的頭，那么該方法在步驟S102中通過對觸覺信息的處理可以得到該事件的事件描述(例如表示為{ “descript1n”:“被打，，，“weight_type”: “heavy”，“posit1n”: “head” })，隨后通過對事件描述的處理，來將事件轉(zhuǎn)化為機(jī)器人對話系統(tǒng)所能夠接受的輸入文本(例如處理為“我頭上被重打”等)，然后來根據(jù)該文本來調(diào)整對話模型，并根據(jù)調(diào)整后的對話模型進(jìn)行進(jìn)一步地處理而生成與該事件相匹配的交互反饋信息(例如生成并輸出諸如“你為什么要打我的頭啊”的語音信息)。
[0046]由此可以看出，本發(fā)明所提供的方法通過所獲取的多模態(tài)交互信息來調(diào)整對話模型，這樣也就可以利用調(diào)整后的對話模型來輸出與當(dāng)前用戶更加匹配的交互反饋信息，這樣能夠使得所輸出的交互反饋信息更加符合用戶的期望，從而提高了產(chǎn)品的用戶體驗(yàn)。
[0047]需要指出的是，在本發(fā)明的其他實(shí)施例中，數(shù)據(jù)處理步驟S102中還可以采用其他合理的方式來生成并輸出交互反饋信息。
[0048]在日常人與人的對話過程中，不僅包含調(diào)侃式的對話，也包含問答式的對話，同時(shí)對于相互比較熟悉的人之間，對話雙方還可以根據(jù)對方的習(xí)慣來調(diào)整自身的對話內(nèi)容。因此，在本發(fā)明的一個(gè)實(shí)施例中，該方法在進(jìn)行人機(jī)交互時(shí)所包含的交互模型優(yōu)選地包括:調(diào)侃交互模型、問答交互模型以及用戶自定義知識庫交互模型等。
[0049]具體地，如圖3所示，當(dāng)獲取到用戶輸入的多模態(tài)交互信息后，該方法在步驟S301中利用預(yù)設(shè)調(diào)侃交互模型來根據(jù)該多模態(tài)交互信息生成第一臨時(shí)反饋信息。
[0050]例如當(dāng)用戶輸入一張熊貓圖片時(shí)，該方法在步驟S301中利用預(yù)設(shè)調(diào)侃交互模型所生成的第一臨時(shí)反饋信息可以為諸如“我喜歡大熊貓”的第一臨時(shí)反饋信息，該第一臨時(shí)反饋信息表征了一種潛在意圖。
[0051]本實(shí)施例中，該方法還在步驟S302中利用預(yù)設(shè)用戶自定義知識庫來根據(jù)該多模態(tài)交互信息生成第二臨時(shí)反饋信息。具體地，例如用戶在自定義知識庫中設(shè)定了 “quest1n:熊貓;answer:好萌好萌”，那么當(dāng)用戶輸入熊貓圖片時(shí)，該方法在步驟S302中能夠得到“好萌好萌”來作為第二臨時(shí)反饋信息，該第二臨時(shí)反饋信息同樣表征了一種潛在意圖。
[0052]與預(yù)設(shè)調(diào)侃交互模型的交互過程類似，該方法還可以在步驟S303中利用預(yù)設(shè)問答交互模型來生成第三臨時(shí)反饋信息。
[0053]需要指出的是，本發(fā)明并不對上述步驟S301至步驟S303的執(zhí)行順序做出限定，在本發(fā)明的不同實(shí)施例中，可以根據(jù)實(shí)際需要來調(diào)整步驟S301至步驟S303的執(zhí)行順序。此外，在條件允許的情況下，步驟S301至步驟S303還可以同步執(zhí)行。
[0054]當(dāng)利用三種不同的交互模型得到三種相應(yīng)的臨時(shí)反饋信息后，該方法將在步驟S304中根據(jù)上述三種臨時(shí)反饋信息來生成最終的交互反饋信息。具體地，本實(shí)施例中，該方法在步驟S304中優(yōu)選地首先利用相關(guān)算法步驟S301至步驟S303中所得到的三種臨時(shí)反饋信息的權(quán)重?cái)?shù)據(jù)(例如得分?jǐn)?shù))，并根據(jù)該權(quán)重?cái)?shù)據(jù)來對這三種臨時(shí)反饋信息進(jìn)行排序，隨后根據(jù)排名最高的臨時(shí)反饋信息來確定出最終的交互反饋信息并輸出。
[0055]由此可以看出，本發(fā)明所提供的人機(jī)交互方法所輸出的交互反饋信息能夠綜合不同的對話模型，這樣也就使得最終輸出的交互反饋信息更加符合用戶的交互習(xí)慣以及交互期望。
[0056]本發(fā)明還提供了一種人機(jī)交互裝置，圖4示出了本實(shí)施例中該裝置的結(jié)構(gòu)示意圖。
[0057]如圖4所示，本實(shí)施例所提供的人機(jī)交互裝置包括:輸入信息獲取模塊401和數(shù)據(jù)處理模塊402。其中，輸入信息獲取模塊401用于獲取用戶輸入的多模態(tài)交互信息。
[0058]本實(shí)施例中，輸入信息獲取模塊401所能夠獲取到的多模態(tài)交互信息優(yōu)選地包括圖像信息(即視覺信息)、語音信息和觸覺信息。需要指出的是，在實(shí)際運(yùn)行過程中，輸入信息獲取模塊401所能夠獲取到的多模態(tài)交互信息可以僅包含以上所列信息中的某一項(xiàng)或某幾項(xiàng)(例如只獲取到圖像信息，而其他信息為空)，本發(fā)明不限于此。
[0059]同時(shí)，還需要指出的是，在本發(fā)明的不同實(shí)施例中，輸入信息獲取模塊401所能夠獲取到的多模態(tài)交互信息在不同的實(shí)施例中可以根據(jù)實(shí)際需要以及機(jī)器人的實(shí)際功能而包含不同形式的信息，本發(fā)明并不對其所能夠獲取到的信息的具體形式以及數(shù)量作具體的限定。
[0060]當(dāng)獲取到用戶輸入的多模態(tài)交互信息后，輸入信息獲取模塊401會將該多模態(tài)交互信息傳輸給數(shù)據(jù)處理模塊402。數(shù)據(jù)處理模塊402能夠根據(jù)多模態(tài)交互信息生成有效交互信息，并根據(jù)所生成的有效交互信息生成并輸出相應(yīng)的交互反饋信息。
[0061]在本發(fā)明的一個(gè)實(shí)施例中，有效交互信息可以包含用戶狀態(tài)信息。數(shù)據(jù)處理模塊402能夠根據(jù)多模態(tài)交互信息中的圖像信息、語音信息和動作信息來確定用戶狀態(tài)信息，隨后根據(jù)用戶狀態(tài)信息來調(diào)整對話模型，進(jìn)而基于調(diào)整后的對話模型生成并輸出與用戶狀態(tài)相匹配的交互反饋信息。
[0062]需要指出的是，該實(shí)施例中數(shù)據(jù)處理模塊402對對話模型的調(diào)整原理以及過程與上述圖2所涉及的內(nèi)容相同，故在此不再贅述。
[0063]需要指出的是，在本發(fā)明的其他實(shí)施例中，數(shù)據(jù)處理模塊402還可以采用其他合理的方式來生成并輸出交互反饋信息。
[0064]在日常人與人的對話過程中，不僅包含調(diào)侃式的對話，也包含問答式的對話，同時(shí)對于相互比較熟悉的人之間，對話雙方還可以根據(jù)對方的習(xí)慣來調(diào)整自身的對話內(nèi)容。因此，在本發(fā)明的一個(gè)實(shí)施例中，數(shù)據(jù)處理模塊402還可以利用進(jìn)調(diào)侃交互模型、問答交互模型以及用戶自定義知識庫交互模型等預(yù)設(shè)對話模型來生成相應(yīng)的反饋信息。
[0065]具體地，當(dāng)獲取到用戶輸入的多模態(tài)交互信息后，數(shù)據(jù)處理模塊402能夠利用預(yù)設(shè)調(diào)侃交互模型來根據(jù)該多模態(tài)交互信息生成第一臨時(shí)反饋信息。
[0066]例如當(dāng)用戶輸入一張熊貓圖片時(shí)，數(shù)據(jù)處理模塊402利用預(yù)設(shè)調(diào)侃交互模型所生成的第一臨時(shí)反饋信息可以為諸如“我喜歡大熊貓”的第一臨時(shí)反饋信息，該第一臨時(shí)反饋信息表征了一種潛在意圖。
[0067]本實(shí)施例中，數(shù)據(jù)處理模塊402還利用預(yù)設(shè)用戶自定義知識庫來根據(jù)該多模態(tài)交互信息生成第二臨時(shí)反饋信息。具體地，例如用戶在自定義知識庫中設(shè)定了 “quest1n:熊貓;answer:好萌好萌”，那么當(dāng)用戶輸入熊貓圖片時(shí)，數(shù)據(jù)處理模塊402便能夠得到“好萌好萌”來作為第二臨時(shí)反饋信息，該第二臨時(shí)反饋信息同樣表征了一種潛在意圖。
[0068]與預(yù)設(shè)調(diào)侃交互模型的交互過程類似，數(shù)據(jù)處理模塊402還能夠利用預(yù)設(shè)問答交互模型來生成第三臨時(shí)反饋信息。
[0069]當(dāng)利用三種不同的交互模型得到三種相應(yīng)的臨時(shí)反饋信息后，數(shù)據(jù)處理模塊402便可以根據(jù)上述三種臨時(shí)反饋信息來生成最終的交互反饋信息。具體地，本實(shí)施例中，數(shù)據(jù)處理模塊402優(yōu)選地首先利用相關(guān)算法確定出步驟S301至步驟S303中所得到的三種臨時(shí)反饋信息的權(quán)重?cái)?shù)據(jù)(例如得分?jǐn)?shù))，并根據(jù)該權(quán)重?cái)?shù)據(jù)來對這三種臨時(shí)反饋信息進(jìn)行排序，隨后根據(jù)排名最高的臨時(shí)反饋信息來確定出最終的交互反饋信息并輸出。
[0070]由此可以看出，本發(fā)明所提供的人機(jī)交互方法所輸出的交互反饋信息能夠綜合不同的對話模型，這樣也就使得最終輸出的交互反饋信息更加符合用戶的交互習(xí)慣以及交互期望。
[0071]應(yīng)該理解的是，本發(fā)明所公開的實(shí)施例不限于這里所公開的特定結(jié)構(gòu)或處理步驟，而應(yīng)當(dāng)延伸到相關(guān)領(lǐng)域的普通技術(shù)人員所理解的這些特征的等同替代。還應(yīng)當(dāng)理解的是，在此使用的術(shù)語僅用于描述特定實(shí)施例的目的，而并不意味著限制。
[0072]說明書中提到的“一個(gè)實(shí)施例”或“實(shí)施例”意指結(jié)合實(shí)施例描述的特定特征、結(jié)構(gòu)或特性包括在本發(fā)明的至少一個(gè)實(shí)施例中。因此，說明書通篇各個(gè)地方出現(xiàn)的短語“一個(gè)實(shí)施例”或“實(shí)施例”并不一定均指同一個(gè)實(shí)施例。
[0073]雖然上述示例用于說明本發(fā)明在一個(gè)或多個(gè)應(yīng)用中的原理，但對于本領(lǐng)域的技術(shù)人員來說，在不背離本發(fā)明的原理和思想的情況下，明顯可以在形式上、用法及實(shí)施的細(xì)節(jié)上作各種修改而不用付出創(chuàng)造性勞動。因此，本發(fā)明由所附的權(quán)利要求書來限定。
【主權(quán)項(xiàng)】
1.一種人機(jī)交互方法，其特征在于，包括: 輸入信息獲取步驟，獲取用戶輸入的多模態(tài)交互信息； 數(shù)據(jù)處理步驟，根據(jù)所述多模態(tài)交互信息生成有效交互信息，并根據(jù)所述有效交互信息生成并輸出相應(yīng)的交互反饋信息。2.如權(quán)利要求1所述的方法，其特征在于，所述有效交互信息包括用戶狀態(tài)信息，在所述數(shù)據(jù)處理步驟中，根據(jù)所述多模態(tài)交互信息中的圖像信息、語音信息和動作信息確定所述用戶狀態(tài)信息，并根據(jù)所述用戶狀態(tài)信息調(diào)整對話模型。3.如權(quán)利要求2所述的方法，其特征在于，所述用戶狀態(tài)信息包括用戶的年齡和/或性另IJ，在所述數(shù)據(jù)處理步驟中，從預(yù)設(shè)對話模型集合中選取與所述用戶狀態(tài)信息相匹配的對話模型，并根據(jù)所選取的對話模型生成相應(yīng)的交互反饋信息。4.如權(quán)利要求1?3中任一項(xiàng)所述的方法，其特征在于，在所述數(shù)據(jù)處理步驟中， 利用預(yù)設(shè)調(diào)侃交互模型生成第一臨時(shí)反饋信息； 利用預(yù)設(shè)用戶自定義知識庫生成第二臨時(shí)反饋信息； 利用預(yù)設(shè)問答交互模型生成第三臨時(shí)反饋信息； 根據(jù)所述第一臨時(shí)反饋信息、第二臨時(shí)反饋信息和第三臨時(shí)反饋信息生成所述交互反饋信息。5.如權(quán)利要求4所述的方法，其特征在于，在所述數(shù)據(jù)處理步驟中，對所述第一臨時(shí)反饋信息、第二臨時(shí)反饋信息和第三臨時(shí)反饋信息進(jìn)行排序，并根據(jù)排序結(jié)果確定出有效臨時(shí)反饋信息，根據(jù)所述有效臨時(shí)反饋信息生成所述交互反饋信息。6.一種人機(jī)交互裝置，其特征在于，所述裝置包括: 輸入信息獲取模塊，用戶獲取用戶輸入的多模態(tài)交互信息； 數(shù)據(jù)處理模塊，用于根據(jù)所述多模態(tài)交互信息生成有效交互信息，并根據(jù)所述有效交互信息生成并輸出相應(yīng)的交互反饋信息。7.如權(quán)利要求6所述的裝置，其特征在于，所述有效交互信息包括用戶狀態(tài)信息，所述數(shù)據(jù)處理模塊配置為根據(jù)所述多模態(tài)交互信息中的圖像信息、語音信息和動作信息確定所述用戶狀態(tài)信息，并根據(jù)所述用戶狀態(tài)信息調(diào)整對話模型。8.如權(quán)利要求7所述的裝置，其特征在于，所述用戶狀態(tài)信息包括用戶的年齡和/或性另IJ，所述數(shù)據(jù)處理模塊配置為從預(yù)設(shè)對話模型集合中選取與所述用戶狀態(tài)信息相匹配的對話模型，并根據(jù)所選取的對話模型生成相應(yīng)的交互反饋信息。9.如權(quán)利要求6?8中任一項(xiàng)所述的裝置，其特征在于，所述數(shù)據(jù)處理模塊配置為，利用預(yù)設(shè)調(diào)侃交互模型生成第一臨時(shí)反饋信息，利用預(yù)設(shè)用戶自定義知識庫生成第二臨時(shí)反饋信息，利用預(yù)設(shè)問答交互模型生成第三臨時(shí)反饋信息，隨后根據(jù)所述第一臨時(shí)反饋信息、第二臨時(shí)反饋信息和第三臨時(shí)反饋信息生成所述交互反饋信息。10.如權(quán)利要求9所述的裝置，其特征在于，所述數(shù)據(jù)處理模塊配置為對所述第一臨時(shí)反饋信息、第二臨時(shí)反饋信息和第三臨時(shí)反饋信息進(jìn)行排序，并根據(jù)排序結(jié)果確定出有效臨時(shí)反饋信息，根據(jù)所述有效臨時(shí)反饋信息生成所述交互反饋信息。
【文檔編號】G06F3/01GK105843382SQ201610157698
【公開日】2016年8月10日
【申請日】2016年3月18日
【發(fā)明人】孫永超
【申請人】北京光年無限科技有限公司