一種面向智能機器人的娛樂交互方法及系統(tǒng)的制作方法
【專利摘要】一種面向智能機器人的娛樂交互方法及系統(tǒng)，該方法包括以下步驟：展示與預(yù)設(shè)娛樂場景對應(yīng)的多模態(tài)數(shù)據(jù)；獲取用戶的多模態(tài)跟學(xué)輸入；對所述多模態(tài)跟學(xué)輸入進行處理，并根據(jù)處理結(jié)果輸出與所述預(yù)設(shè)娛樂場景對應(yīng)的反饋信息。該方法及系統(tǒng)提高了智能機器人的交互能力，進而提高了智能機器人的用戶體驗和用戶粘度。
【專利說明】
一種面向智能機器人的娛樂交互方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及人機交互技術(shù)領(lǐng)域，尤其涉及一種面向智能機器人的娛樂交互方法及系統(tǒng)?！颈尘凹夹g(shù)】
[0002]隨著計算機技術(shù)的不斷發(fā)展以及人工智能技術(shù)的不斷進步，智能機器人的應(yīng)用越來越廣泛，智能機器人技術(shù)正在迅猛發(fā)展，機器人的智能水平以及擬人化程度也不斷提高。
[0003]現(xiàn)有的智能機器人通過與用戶交互來提高用戶體驗和用戶粘度。然而，隨著用戶對智能機器人的交互需求越來越多，智能機器人的交互能力亟需提高。
【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題之一是需要提供一種提高智能機器人交互能力的面向智能機器人的娛樂交互方法。
[0005]為了解決上述技術(shù)問題，本申請的實施例首先提供了一種面向智能機器人的娛樂交互方法，包括以下步驟:
[0006]展示與預(yù)設(shè)娛樂場景對應(yīng)的多模態(tài)數(shù)據(jù)；
[0007]獲取用戶的多模態(tài)跟學(xué)輸入；
[0008]對所述多模態(tài)跟學(xué)輸入進行處理，并根據(jù)處理結(jié)果輸出與所述預(yù)設(shè)娛樂場景對應(yīng)的反饋信息。
[0009]根據(jù)本發(fā)明的一個實施例，在所述預(yù)設(shè)娛樂場景為舞蹈交互場景時，對所述多模態(tài)跟學(xué)輸入進行處理，具體包括:通過視覺獲取用戶所產(chǎn)生的多模態(tài)跟學(xué)輸入，并將從多模態(tài)跟學(xué)輸入中提取到的視頻數(shù)據(jù)中的動作信息與標(biāo)準(zhǔn)動作信息比對以評判用戶的舞蹈動作是否標(biāo)準(zhǔn)。
[0010]根據(jù)本發(fā)明的一個實施例，在所述預(yù)設(shè)娛樂場景為唱歌交互場景時，對所述多模態(tài)跟學(xué)輸入進行處理，具體包括:通過聽覺采集用戶所產(chǎn)生的多模態(tài)跟學(xué)輸入，并將從多模態(tài)跟學(xué)輸入中提取的音頻數(shù)據(jù)中的音調(diào)/節(jié)奏信息與標(biāo)準(zhǔn)音調(diào)/節(jié)奏信息比對以評判用戶的的多模態(tài)跟學(xué)輸入是否標(biāo)準(zhǔn)。
[0011]根據(jù)本發(fā)明的一個實施例，該方法還包括以下步驟:
[0012]在所述處理結(jié)果低于設(shè)定標(biāo)準(zhǔn)時，輸出指導(dǎo)類多模態(tài)交互數(shù)據(jù)以提高用戶的相應(yīng)娛樂場景下的表現(xiàn)水平。
[0013]根據(jù)本發(fā)明的一個實施例，該方法還包括以下步驟:
[0014]將與所述預(yù)設(shè)娛樂場景對應(yīng)的反饋信息發(fā)布到社交平臺上。
[0015]本發(fā)明還提供了一種面向智能機器人的娛樂交互系統(tǒng)，包括以下模塊:
[0016]多模態(tài)數(shù)據(jù)輸出模塊，其用于展示與預(yù)設(shè)娛樂場景對應(yīng)的多模態(tài)數(shù)據(jù)；
[0017]多模態(tài)跟學(xué)輸入獲取模塊，其用戶獲取用戶的多模態(tài)跟學(xué)輸入；
[0018]處理反饋模塊，其用于對所述多模態(tài)跟學(xué)輸入進行處理，并根據(jù)處理結(jié)果輸出與所述預(yù)設(shè)娛樂場景對應(yīng)的反饋信息。
[0019]根據(jù)本發(fā)明的一個實施例，在所述預(yù)設(shè)娛樂場景為舞蹈交互場景時，所述處理反饋模塊具體執(zhí)行以下步驟:通過視覺獲取用戶所產(chǎn)生的多模態(tài)跟學(xué)輸入，并將從多模態(tài)跟學(xué)輸入中提取到的視頻數(shù)據(jù)中的動作信息與標(biāo)準(zhǔn)動作信息比對以評判用戶的舞蹈動作是否標(biāo)準(zhǔn)。
[0020]根據(jù)本發(fā)明的一個實施例，在所述預(yù)設(shè)娛樂場景為唱歌交互場景時，所述處理反饋模塊具體執(zhí)行以下步驟:通過聽覺采集用戶所產(chǎn)生的多模態(tài)跟學(xué)輸入，并將從多模態(tài)跟學(xué)輸入中提取的音頻數(shù)據(jù)中的音調(diào)/節(jié)奏信息與標(biāo)準(zhǔn)音調(diào)/節(jié)奏信息比對以評判用戶的的多模態(tài)跟學(xué)輸入是否標(biāo)準(zhǔn)。
[0021]根據(jù)本發(fā)明的一個實施例，所述多模態(tài)數(shù)據(jù)輸出模塊還配置為:在所述處理結(jié)果低于設(shè)定標(biāo)準(zhǔn)時，輸出指導(dǎo)類多模態(tài)交互數(shù)據(jù)以提高用戶的相應(yīng)娛樂場景下的表現(xiàn)水平。
[0022]根據(jù)本發(fā)明的一個實施例，該系統(tǒng)還包括以下模塊:
[0023]反饋信息發(fā)布模塊，其用于將與所述預(yù)設(shè)娛樂場景對應(yīng)的反饋信息發(fā)布到社交平臺上。
[0024]與現(xiàn)有技術(shù)相比，上述方案中的一個或多個實施例可以具有如下優(yōu)點或有益效果:
[0025]本發(fā)明實施例所提供的面向智能機器人的娛樂交互方法通過展示與預(yù)設(shè)娛樂場景對應(yīng)的多模態(tài)數(shù)據(jù)，獲取用戶針對多模態(tài)數(shù)據(jù)的多模態(tài)跟學(xué)輸入，然后對多模態(tài)跟學(xué)輸入進行處理，并根據(jù)處理結(jié)果輸出與預(yù)設(shè)娛樂場景對應(yīng)的反饋信息，提高了智能機器人的交互能力，進而提高了用戶體驗和用戶粘度。
[0026]同時，該方法還能夠在用戶的多模態(tài)跟學(xué)輸入與預(yù)設(shè)標(biāo)準(zhǔn)不匹配時，向用戶輸出指導(dǎo)類多模態(tài)交互數(shù)據(jù)，從而幫助用戶對自身進行改進。通過這種方式，該方法能夠進一步提高智能機器人的用戶體驗，這有助于提高智能機器人的用戶粘度以及產(chǎn)品競爭力。
[0027]本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明的技術(shù)方案而了解。本發(fā)明的目的和其他優(yōu)點可通過在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)和/或流程來實現(xiàn)和獲得。【附圖說明】[〇〇28]附圖用來提供對本申請的技術(shù)方案或現(xiàn)有技術(shù)的進一步理解，并且構(gòu)成說明書的一部分。其中，表達本申請實施例的附圖與本申請的實施例一起用于解釋本申請的技術(shù)方案，但并不構(gòu)成對本申請技術(shù)方案的限制。
[0029]圖1是根據(jù)本發(fā)明一個實施例的面向智能機器人的娛樂交互方法的流程示意圖；
[0030]圖2是根據(jù)本發(fā)明另一個實施例的面向智能機器人的娛樂交互方法的流程示意圖；
[0031]圖3是根據(jù)本發(fā)明又一個實施例的面向智能機器人的娛樂交互方法的流程示意圖；
[0032]圖4是根據(jù)本發(fā)明一個實施例的面向智能機器人的娛樂交互系統(tǒng)的結(jié)構(gòu)框圖。 【具體實施方式】
[0033]以下將結(jié)合附圖及實施例來詳細說明本發(fā)明的實施方式，借此對本發(fā)明如何應(yīng)用技術(shù)手段來解決技術(shù)問題，并達成相應(yīng)技術(shù)效果的實現(xiàn)過程能充分理解并據(jù)以實施。本申請實施例以及實施例中的各個特征，在不相沖突前提下可以相互結(jié)合，所形成的技術(shù)方案均在本發(fā)明的保護范圍之內(nèi)。[〇〇34]同時，在以下說明中，出于解釋的目的而闡述了許多具體細節(jié)，以提供對本發(fā)明實施例的徹底理解。然而，對本領(lǐng)域的技術(shù)人員來說顯而易見的是，本發(fā)明可以不用這里的具體細節(jié)或者所描述的特定方式來實施。
[0035]另外，附圖的流程圖示出的步驟可以在諸如一組計算機可執(zhí)行指令的計算機系統(tǒng)中執(zhí)行。并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
[0036]現(xiàn)有的智能機器人與用戶的交互方式是進行問題答復(fù)或生活輔助查詢，缺少智能機器人與用戶進行娛樂的交互方式。然而，隨著用戶對智能機器人的交互需求越來越多，需要智能機器人提高交互能力來提升用戶體驗，由于現(xiàn)有的智能機器人無法與用戶進行娛樂交互，這也就影響了用戶體驗。
[0037]針對現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提供了一種新的面向智能機器人的娛樂交互方法。該方法能夠基于多模態(tài)交互數(shù)據(jù)以及娛樂場景來生成對應(yīng)的反饋信息，從而使得用戶與智能機器人之間能夠形成良好的互動。
[0038]為了更加清楚地闡述本發(fā)明所提供的面向智能機器人的娛樂交互方法和系統(tǒng)的實現(xiàn)原理、實現(xiàn)過程以及優(yōu)點，以下分別結(jié)合不同的實施例來作進一步地說明。
[0039]實施例一:
[0040]圖1示出了本實施例所提供的面向智能機器人的娛樂交互方法的流程圖。
[0041]如圖1所示，本實施例所提供的方法首先在步驟S101中展示與預(yù)設(shè)娛樂場景對應(yīng)的多模態(tài)數(shù)據(jù)。需要指出的是，在本發(fā)明的不同實施例中，根據(jù)上述預(yù)設(shè)娛樂場景的不同， 該方法在步驟S101中所輸出的多模態(tài)數(shù)據(jù)可以以不同的形式進行呈現(xiàn)，本發(fā)明不限于此。 [〇〇42]例如，如果當(dāng)前娛樂場景為“舞蹈交互場景”，那么該方法將在步驟S101中通過智能機器人配置的語音系統(tǒng)來輸出相應(yīng)的舞蹈音樂或是舞蹈動作;如果當(dāng)前娛樂場景為“唱歌交互場景”，那么該方法便在步驟S101中將用戶所選取的歌曲進行播放。
[0043]當(dāng)然，在本發(fā)明的不同實施例中，根據(jù)實際需要，上述預(yù)設(shè)娛樂場景可以是多種多樣的娛樂場景，本發(fā)明不限于此。同時，還需要指出的是，該方法判斷當(dāng)前所處的具體娛樂場景的方式既可以是通過用戶的選擇進行確定，也可以通過對交互數(shù)據(jù)進行分析來確定， 本發(fā)明同樣不限于此。
[0044]當(dāng)完成與預(yù)設(shè)娛樂場景對應(yīng)的多模態(tài)數(shù)據(jù)的展示后，該方法在步驟S102中獲取用戶針對多模態(tài)數(shù)據(jù)的多模態(tài)跟學(xué)輸入。具體地，本實施例中，該方法可以通過智能機器人所配置的多種傳感器來獲取用戶所輸出的多種形式的數(shù)據(jù)。
[0045]例如，如果當(dāng)前娛樂場景為“舞蹈交互”，那么在通過智能機器人的語音系統(tǒng)播放相應(yīng)的舞蹈音樂或通過智能機器人的肢體呈現(xiàn)相應(yīng)的舞蹈動作的同時，該方法在步驟S102 中通過智能機器人的視覺系統(tǒng)(例如智能機器人所配置的攝像頭)來獲取用戶當(dāng)前的動作數(shù)據(jù)，該動作數(shù)據(jù)即為用戶針對多模態(tài)數(shù)據(jù)的多模態(tài)跟學(xué)輸入。
[0046]而如果當(dāng)前娛樂場景為“唱歌交互場景”，那么在通過智能機器人的語音系統(tǒng)播放對應(yīng)歌曲的同時，該該方法在步驟S102中通過智能機器人的聽覺系統(tǒng)(例如智能機器人所配置的音頻傳感器)來獲取用戶當(dāng)前的音頻數(shù)據(jù)，該音頻數(shù)據(jù)即為用戶針對多模態(tài)數(shù)據(jù)的多模態(tài)跟學(xué)輸入。
[0047]當(dāng)獲取到用戶針對多模態(tài)數(shù)據(jù)的多模態(tài)跟學(xué)輸入后，如圖1所示，該方法將在步驟 S103中對所獲取的多模態(tài)跟學(xué)輸入進行處理，并根據(jù)處理結(jié)果輸出與預(yù)設(shè)娛樂場景相對應(yīng)的反饋信息。[〇〇48]例如，如果當(dāng)前娛樂場景為“舞蹈交互場景”，那么正如上述描述中所提及的，該方法在步驟S102將通過智能機器人的視覺系統(tǒng)獲取到用戶所產(chǎn)生的多模態(tài)跟學(xué)輸入。在得到該多模態(tài)跟學(xué)輸入后，該方法會在步驟S103中從該多模態(tài)跟學(xué)輸入(例如視頻數(shù)據(jù))中提取到視頻數(shù)據(jù)中的動作信息，并將提取到的動作信息與預(yù)設(shè)標(biāo)準(zhǔn)動作信息進行比對，從而根據(jù)比對結(jié)果評判用戶的舞蹈動作是否標(biāo)準(zhǔn)。
[0049]具體地，本實施例中，該方法在將獲取到的動作信息與預(yù)設(shè)標(biāo)準(zhǔn)動作信息進行比對的過程中，所述動作信息可為將視頻數(shù)據(jù)按照預(yù)設(shè)劃分的時間點所對應(yīng)的動作集合的信息，并不局限。
[0050]優(yōu)選地，可以通過模型匹配或神經(jīng)網(wǎng)絡(luò)識別的方式來得到用戶的動作信息與預(yù)設(shè)標(biāo)準(zhǔn)動作信息的匹配程度，進而根據(jù)該匹配程度以評判用戶的舞蹈動作是否標(biāo)準(zhǔn)。
[0051]其中，如果用戶的動作信息與預(yù)設(shè)標(biāo)準(zhǔn)動作信息的匹配程度越高，那么則表示用戶的舞蹈動作也就越標(biāo)準(zhǔn)。如果用戶的動作信息與預(yù)設(shè)標(biāo)準(zhǔn)動作信息的匹配程度達到預(yù)設(shè)匹配閾值，該方法可以控制智能機器人輸出諸如“跳得太好啦”的語音信息和/或諸如“鼓掌”等動作信息；而如果用戶的動作信息與預(yù)設(shè)標(biāo)準(zhǔn)動作信息的匹配程度小于預(yù)設(shè)匹配閾值，該方法則可以控制智能機器人輸出諸如“看來我們還得再練習(xí)一下”的語音信息。[〇〇52] 類似地，如果當(dāng)前娛樂場景為“唱歌交互場景”，那么正如上述描述中所提及的，該方法在步驟S102將通過智能機器人的聽覺系統(tǒng)獲取到用戶所產(chǎn)生的多模態(tài)跟學(xué)輸入。在得到該多模態(tài)跟學(xué)輸入后，該方法會在步驟S103中從該多模態(tài)跟學(xué)輸入(例如音頻數(shù)據(jù))中提取到音頻數(shù)據(jù)中的音調(diào)信息和/或節(jié)奏信息，并將提取到的音調(diào)信息和/或節(jié)奏信息與預(yù)設(shè)標(biāo)準(zhǔn)音調(diào)信息和/或節(jié)奏信息進行比對，從而根據(jù)比對結(jié)果評判用戶的舞蹈動作是否標(biāo)準(zhǔn)。
[0053]具體地，本實施例中，該方法在將獲取到的音調(diào)信息和/或節(jié)奏信息與預(yù)設(shè)標(biāo)準(zhǔn)音調(diào)信息和/或節(jié)奏信息進行比對的過程中，可以通過模型匹配或神經(jīng)網(wǎng)絡(luò)識別的方式來得到用戶的音調(diào)信息和/或節(jié)奏信息與預(yù)設(shè)標(biāo)準(zhǔn)音調(diào)信息和/或節(jié)奏信息的匹配程度，進而根據(jù)該匹配程度以評判用戶的多模態(tài)跟學(xué)輸入是否標(biāo)準(zhǔn)。[〇〇54]從上述描述中可以看出，本實施例所提供的面向智能機器人的娛樂交互方法通過展示與預(yù)設(shè)娛樂場景對應(yīng)的多模態(tài)數(shù)據(jù)，獲取用戶針對多模態(tài)數(shù)據(jù)的多模態(tài)跟學(xué)輸入，然后對多模態(tài)跟學(xué)輸入進行處理，并根據(jù)處理結(jié)果輸出與預(yù)設(shè)娛樂場景對應(yīng)的反饋信息，提高了智能機器人的交互能力，進而提高了用戶體驗和用戶粘度。
[0055]實施例二:
[0056]圖2示出了本實施例所提供的面向智能機器人的娛樂交互方法的流程圖。
[0057]如圖2所示，本實施例所提供的方法首先在步驟S201中展示與預(yù)設(shè)娛樂場景對應(yīng)的多模態(tài)數(shù)據(jù)，隨后在步驟S202中獲取用戶針對該多模態(tài)數(shù)據(jù)的多模態(tài)跟學(xué)輸入，并在步驟S203中對步驟S202中所獲取到的多模態(tài)跟學(xué)輸入進行處理，根據(jù)處理結(jié)果輸出與預(yù)設(shè)娛樂場景對應(yīng)的反饋信息。
[0058]需要指出的是，本實施例中步驟S201至步驟S203的實現(xiàn)原理以及實現(xiàn)過程與上述實施例一中步驟S101至步驟S103所涉及的內(nèi)容類似，故在此不再對步驟S201至步驟S203的具體實現(xiàn)原理以及實現(xiàn)過程進行贅述。
[0059]如圖2所示，本實施例中，在輸出與預(yù)設(shè)娛樂場景對應(yīng)的反饋信息后，該方法還在步驟S204中判斷步驟S203中所得到的處理結(jié)果是否低于預(yù)設(shè)標(biāo)準(zhǔn)。如果處理結(jié)果低于預(yù)設(shè)標(biāo)準(zhǔn)，那么該方法則在步驟S205生成并輸出指導(dǎo)類多模態(tài)交互數(shù)據(jù)，以幫助用戶提高自身的水平。
[0060]例如，如果當(dāng)前娛樂場景為“舞蹈交互場景”，那么該方法將提取到的動作信息與預(yù)設(shè)標(biāo)準(zhǔn)動作信息進行比對，從而根據(jù)比對結(jié)果評判用戶的舞蹈動作是否標(biāo)準(zhǔn)。
[0061]具體地，本實施例中，該方法在將獲取到的動作信息與預(yù)設(shè)標(biāo)準(zhǔn)動作信息進行比對的過程中，可以通過模型匹配或神經(jīng)網(wǎng)絡(luò)識別的方式來得到用戶的動作信息與預(yù)設(shè)標(biāo)準(zhǔn)動作信息的匹配程度，進而根據(jù)該匹配程度以評判用戶的舞蹈動作是否標(biāo)準(zhǔn)。
[0062]如果用戶的動作信息與預(yù)設(shè)標(biāo)準(zhǔn)動作信息的匹配程度小于預(yù)設(shè)匹配閾值，該方法則會在步驟S205中輸出指導(dǎo)類多模態(tài)交互數(shù)據(jù)。具體地，該方法可以通過對用戶的動作信息和預(yù)設(shè)標(biāo)準(zhǔn)動作信息進行分析，得出二者之間匹配度最差的部分，并將該部分動作重新呈現(xiàn)給用戶，以幫助用戶改進自身動作。[〇〇63]需要指出的是，如果當(dāng)前娛樂場景為“唱歌交互場景”等其他交互場景，其輸出指導(dǎo)類多模態(tài)交互數(shù)據(jù)的原理以及過程與上述“舞蹈交互場景”類似，故在此不再對其他交互場景進行描述。
[0064]從上述描述中可以看出，本實施例所提供的面向智能機器人的娛樂交互方法在實施例一所提供的方法的基礎(chǔ)上，還能夠在用戶的多模態(tài)跟學(xué)輸入與預(yù)設(shè)標(biāo)準(zhǔn)不匹配時，向用戶輸出指導(dǎo)類多模態(tài)交互數(shù)據(jù)，從而幫助用戶對自身進行改進。通過這種方式，該方法能夠進一步提高智能機器人的用戶體驗，這有助于提高智能機器人的用戶粘度以及產(chǎn)品競爭力。
[0065]實施例三:
[0066]圖3示出了本實施例所提供的面向智能機器人的娛樂交互方法的流程圖。
[0067]如圖3所示，本實施例所提供的方法首先在步驟S301中展示與預(yù)設(shè)娛樂場景對應(yīng)的多模態(tài)數(shù)據(jù)，隨后在步驟S302中獲取用戶針對該多模態(tài)數(shù)據(jù)的多模態(tài)跟學(xué)輸入，并在步驟S303中對步驟S302中所獲取到的多模態(tài)跟學(xué)輸入進行處理，根據(jù)處理結(jié)果輸出與預(yù)設(shè)娛樂場景對應(yīng)的反饋信息。[〇〇68]需要指出的是，本實施例中步驟S301至步驟S303的實現(xiàn)原理以及實現(xiàn)過程與上述實施例一中步驟S101至步驟S103所涉及的內(nèi)容類似，故在此不再對步驟S301至步驟S303的具體實現(xiàn)原理以及實現(xiàn)過程進行贅述。
[0069]如圖3所示，本實施例中，在輸出與預(yù)設(shè)娛樂場景對應(yīng)的反饋信息后，該方法還在步驟S304中將步驟S303中所得到的反饋反饋信息發(fā)布到社交平臺上。
[0070] 例如，如果當(dāng)前娛樂場景為“唱歌交互場景”，那么正如上述描述中所提及的，該方法在步驟S302將通過智能機器人的聽覺系統(tǒng)獲取到用戶所產(chǎn)生的多模態(tài)跟學(xué)輸入。在得到該多模態(tài)跟學(xué)輸入后，該方法會在步驟S303中從該多模態(tài)跟學(xué)輸入(例如音頻數(shù)據(jù))中提取到音頻數(shù)據(jù)中的音調(diào)信息和/或節(jié)奏信息，并將提取到的音調(diào)信息和/或節(jié)奏信息與預(yù)設(shè)標(biāo)準(zhǔn)音調(diào)信息和/或節(jié)奏信息進行比對，從而根據(jù)比對結(jié)果評判用戶的舞蹈動作是否標(biāo)準(zhǔn)。
[0071]在步驟S304中，該方法會將步驟S303中所得到的評判結(jié)果發(fā)送到特定的社交平臺上，從而使得該用戶的社交圈子內(nèi)的其他人也能夠了解到該用戶的評判結(jié)果。例如對于“兒童學(xué)唱歌”這一娛樂場景，該方法評判出使用的兒童用戶對某一首或某幾首兒歌的標(biāo)準(zhǔn)程度，并將該結(jié)果上傳到該兒童用戶的社交圈子(例如班級群)，這樣有助于在該社交圈子內(nèi)形成一種競爭、比較的氣氛，從而有助于用戶能力的提高。
[0072]本發(fā)明還提供給了一種面向智能機器人的娛樂交互系統(tǒng)，圖4示出了本實施例中該系統(tǒng)的結(jié)構(gòu)示意圖。[〇〇73]如圖4所示，本實施例所提供的娛樂交互系統(tǒng)400優(yōu)選地包括:多模態(tài)數(shù)據(jù)輸出模塊401、多模態(tài)跟學(xué)輸入獲取模塊402以及處理反饋模塊403。多模態(tài)數(shù)據(jù)輸出模塊401用于展示與預(yù)設(shè)娛樂場景對應(yīng)的多模態(tài)數(shù)據(jù)。其中，多模態(tài)數(shù)據(jù)用于控制智能機器人執(zhí)行該預(yù)設(shè)娛樂場景的場景性操作。[〇〇74]本實施例中的預(yù)設(shè)娛樂場景優(yōu)選地可以包括“舞蹈交互場景”和“唱歌交互場景”， 由此，多模態(tài)數(shù)據(jù)可以是動作信息和語音信息。智能機器人可以根據(jù)多模態(tài)數(shù)據(jù)來向用戶 (本例為兒童用戶)進行舞蹈動作演示和唱歌聲音表達。
[0075]當(dāng)多模態(tài)數(shù)據(jù)輸出模塊401完成與預(yù)設(shè)娛樂場景對應(yīng)的多模態(tài)數(shù)據(jù)的展示后，多模態(tài)跟學(xué)輸入獲取模塊402會持續(xù)獲取用戶針對多模態(tài)數(shù)據(jù)的多模態(tài)跟學(xué)輸入。具體地，本實施例中，多模態(tài)跟學(xué)輸入獲取模塊402可以通過智能機器人所配置的多種類型的傳感器來獲取用戶所輸出的多種形式的數(shù)據(jù)。例如，多模態(tài)跟學(xué)輸入獲取模塊402可以通過智能機器人所配置的圖像傳感器(例如攝像頭)來獲取用戶的圖像數(shù)據(jù)(例如用戶動作數(shù)據(jù))，也可以通過智能機器人所配置的音頻傳感器(例如麥克風(fēng))來用戶用戶的音頻數(shù)據(jù)(例如用戶的語音)。[〇〇76]本實施例中，多模態(tài)跟學(xué)輸入獲取模塊402會將獲取到的多模態(tài)跟學(xué)輸入傳輸給處理反饋模塊403，以由處理反饋模塊403對多模態(tài)跟學(xué)輸入進行進一步的處理，并根據(jù)處理結(jié)果輸出與預(yù)設(shè)娛樂場景相對應(yīng)的反饋信息。[〇〇77]例如，如果當(dāng)前娛樂場景為“舞蹈交互場景”，多模態(tài)跟學(xué)輸入獲取模塊402將通過智能機器人的視覺系統(tǒng)獲取到用戶所產(chǎn)生的多模態(tài)跟學(xué)輸入。處理反饋模塊403會從該多模態(tài)跟學(xué)輸入(例如視頻數(shù)據(jù))中提取到視頻數(shù)據(jù)中的動作信息，并將提取到的動作信息與預(yù)設(shè)標(biāo)準(zhǔn)動作信息進行比對，從而根據(jù)比對結(jié)果評判用戶的舞蹈動作是否標(biāo)準(zhǔn)。[〇〇78]類似地，如果當(dāng)前娛樂場景為“唱歌交互場景”，處理反饋模塊403會從多模態(tài)跟學(xué)輸入獲取模塊402傳輸來的多模態(tài)跟學(xué)輸入(例如音頻數(shù)據(jù))中提取到音頻數(shù)據(jù)中的音調(diào)信息和/或節(jié)奏信息，并將提取到的音調(diào)信息和/或節(jié)奏信息與預(yù)設(shè)標(biāo)準(zhǔn)音調(diào)信息和/或節(jié)奏信息進行比對，從而根據(jù)比對結(jié)果評判用戶的舞蹈動作是否標(biāo)準(zhǔn)。[〇〇79]如圖4所示，本實施例中，該娛樂交互系統(tǒng)優(yōu)選地還包括:反饋信息發(fā)布模塊404。 其中，多模態(tài)數(shù)據(jù)輸出模塊還配置為:在根據(jù)多模態(tài)跟學(xué)輸入所得到的處理結(jié)果低于預(yù)設(shè)標(biāo)準(zhǔn)時，會輸出指導(dǎo)類多模態(tài)交互數(shù)據(jù)，以提高用戶的相應(yīng)娛樂場景下的表現(xiàn)水平。而反饋信息發(fā)布模塊404會將處理反饋模塊403的評判結(jié)果發(fā)送到特定的社交平臺上，從而使得該用戶的社交圈子內(nèi)的其他人也能夠了解到該用戶的評判結(jié)果。
[0080]需要指出的是，本實施例中，輸出指導(dǎo)類多模態(tài)交互數(shù)據(jù)以及反饋信息發(fā)布模塊 404上傳評判結(jié)果的原理以及過程分別與上述內(nèi)容中步驟S204以及步驟S304所涉及的內(nèi)容相同，不在此不再對該部分內(nèi)容進行贅述。
[0081]以上所述，僅為本發(fā)明的具體實施案例，本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)的技術(shù)人員在本發(fā)明所述的技術(shù)規(guī)范內(nèi)，對本發(fā)明的修改或替換，都應(yīng)在本發(fā)明的保護范圍之內(nèi)。
[0082]本領(lǐng)域的技術(shù)人員應(yīng)該明白，上述的本發(fā)明的各模塊或各步驟可以用通用的計算裝置來實現(xiàn)，它們可以集中在單個的計算裝置上，或者分布在多個計算裝置所組成的網(wǎng)絡(luò)上，可選地，它們可以用計算裝置可執(zhí)行的程序代碼來實現(xiàn)，從而，可以將它們存儲在存儲裝置中由計算裝置來執(zhí)行，或者將它們分別制作成各個集成電路模塊，或者將它們中的多個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件結(jié)合。
[0083]雖然本發(fā)明所揭露的實施方式如上，但所述的內(nèi)容只是為了便于理解本發(fā)明而采用的實施方式，并非用以限定本發(fā)明。任何本發(fā)明所屬技術(shù)領(lǐng)域內(nèi)的技術(shù)人員，在不脫離本發(fā)明所揭露的精神和范圍的前提下，可以在實施的形式上及細節(jié)上作任何的修改與變化， 但本發(fā)明的專利保護范圍，仍須以所附的權(quán)利要求書所界定的范圍為準(zhǔn)。
【主權(quán)項】
1.一種面向智能機器人的娛樂交互方法，包括以下步驟:展示與預(yù)設(shè)娛樂場景對應(yīng)的多模態(tài)數(shù)據(jù)；獲取用戶的多模態(tài)跟學(xué)輸入；對所述多模態(tài)跟學(xué)輸入進行處理，并根據(jù)處理結(jié)果輸出與所述預(yù)設(shè)娛樂場景對應(yīng)的反饋信息。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述預(yù)設(shè)娛樂場景為舞蹈交互場景時，對所述多模態(tài)跟學(xué)輸入進行處理，具體包括: 通過視覺獲取用戶所產(chǎn)生的多模態(tài)跟學(xué)輸入，并將從多模態(tài)跟學(xué)輸入中提取到的視頻數(shù)據(jù) 中的動作信息與標(biāo)準(zhǔn)動作信息比對以評判用戶的舞蹈動作是否標(biāo)準(zhǔn)。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述預(yù)設(shè)娛樂場景為唱歌交互場景時，對所述多模態(tài)跟學(xué)輸入進行處理，具體包括: 通過聽覺采集用戶所產(chǎn)生的多模態(tài)跟學(xué)輸入，并將從多模態(tài)跟學(xué)輸入中提取的音頻數(shù)據(jù)中 的音調(diào)/節(jié)奏信息與標(biāo)準(zhǔn)音調(diào)/節(jié)奏信息比對以評判用戶的的多模態(tài)跟學(xué)輸入是否標(biāo)準(zhǔn)。4.根據(jù)權(quán)利要求1?3中任一項所述的方法，其特征在于，該方法還包括以下步驟:在所述處理結(jié)果低于設(shè)定標(biāo)準(zhǔn)時，輸出指導(dǎo)類多模態(tài)交互數(shù)據(jù)以提高用戶的相應(yīng)娛樂場景下的表現(xiàn)水平。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，該方法還包括以下步驟:將與所述預(yù)設(shè)娛樂場景對應(yīng)的反饋信息發(fā)布到社交平臺上。6.—種面向智能機器人的娛樂交互系統(tǒng)，包括以下模塊:多模態(tài)數(shù)據(jù)輸出模塊，其用于展示與預(yù)設(shè)娛樂場景對應(yīng)的多模態(tài)數(shù)據(jù)；多模態(tài)跟學(xué)輸入獲取模塊，其用戶獲取用戶的多模態(tài)跟學(xué)輸入；處理反饋模塊，其用于對所述多模態(tài)跟學(xué)輸入進行處理，并根據(jù)處理結(jié)果輸出與所述 預(yù)設(shè)娛樂場景對應(yīng)的反饋信息。7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，在所述預(yù)設(shè)娛樂場景為舞蹈交互場景時，所述處理反饋模塊具體執(zhí)行以下步驟:通過 視覺獲取用戶所產(chǎn)生的多模態(tài)跟學(xué)輸入，并將從多模態(tài)跟學(xué)輸入中提取到的視頻數(shù)據(jù)中的 動作信息與標(biāo)準(zhǔn)動作信息比對以評判用戶的舞蹈動作是否標(biāo)準(zhǔn)。8.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，在所述預(yù)設(shè)娛樂場景為唱歌交互場景時，所述處理反饋模塊具體執(zhí)行以下步驟:通過 聽覺采集用戶所產(chǎn)生的多模態(tài)跟學(xué)輸入，并將從多模態(tài)跟學(xué)輸入中提取的音頻數(shù)據(jù)中的音 調(diào)/節(jié)奏信息與標(biāo)準(zhǔn)音調(diào)/節(jié)奏信息比對以評判用戶的的多模態(tài)跟學(xué)輸入是否標(biāo)準(zhǔn)。9.根據(jù)權(quán)利要求6?8中任一項所述的系統(tǒng)，其特征在于，所述多模態(tài)數(shù)據(jù)輸出模塊還 配置為:在所述處理結(jié)果低于設(shè)定標(biāo)準(zhǔn)時，輸出指導(dǎo)類多模態(tài)交互數(shù)據(jù)以提高用戶的相應(yīng) 娛樂場景下的表現(xiàn)水平。10.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，該系統(tǒng)還包括以下模塊:反饋信息發(fā)布模塊，其用于將與所述預(yù)設(shè)娛樂場景對應(yīng)的反饋信息發(fā)布到社交平臺上。
【文檔編號】G06F3/01GK106095095SQ201610407118
【公開日】2016年11月9日
【申請日】2016年6月12日
【發(fā)明人】孫永超
【申請人】北京光年無限科技有限公司