在給定(由模型驅(qū)動(dòng)的)設(shè)計(jì)者風(fēng)格和標(biāo)記事件的不同狀態(tài)/類型的情況下確定最可能的觸覺(jué)效果。當(dāng)執(zhí)行該半自動(dòng)模式時(shí)，優(yōu)選地在使用或者不使用低層特征的情況下使用早先在320和330處描述的設(shè)計(jì)者的標(biāo)記處理來(lái)執(zhí)行數(shù)據(jù)庫(kù)構(gòu)造。在該模式下，例如，設(shè)計(jì)者可以將事件標(biāo)記為隨后有槍擊的爆炸并且將場(chǎng)景標(biāo)記為“動(dòng)作”。使用該信息，模塊16可以尋找在給定模型情況下最適合該配置的效果。因?yàn)槟Ｐ涂赡懿话ㄋ锌赡艿呐渲?，因此一些建議可以基于使用該模型的似然估計(jì)。一旦要添加的效果的類型被檢測(cè)到，模塊16就可以使用事件的時(shí)間特征來(lái)相應(yīng)地對(duì)其進(jìn)行調(diào)整(例如，烈度、持續(xù)時(shí)間)。
[0038]在全自動(dòng)模式下，例如，不需要來(lái)自設(shè)計(jì)者的干預(yù)(例如，手動(dòng)輸入)。在該模式下，模塊16可以自動(dòng)地分析音頻或視頻內(nèi)容的特征并且試圖在給定那些特征的情況下關(guān)聯(lián)效果。在該模式下，所有的事件、效果和上下文都是通過(guò)其特征和特性來(lái)描述的，并且模塊16可以查看不同的特征值并且使用學(xué)習(xí)到的模型尋找最可能的效果特性集。
[0039]在一些實(shí)施例中，推薦的觸覺(jué)效果用來(lái)在沒(méi)有用戶/設(shè)計(jì)者交互的情況下為新多媒體片段325創(chuàng)建觸覺(jué)效果。例如，在這種實(shí)施例中，由模塊16在380處推薦的觸覺(jué)效果在沒(méi)有人類交互的情況下(例如，無(wú)需用戶/設(shè)計(jì)者來(lái)接受推薦)被針對(duì)新多媒體片段自動(dòng)地施加。這種實(shí)施例提供了以學(xué)習(xí)到的觸覺(jué)化模型表示的設(shè)計(jì)者(人類)創(chuàng)作的觸覺(jué)效果的人性化以及自動(dòng)化觸覺(jué)處理的速度這兩者。
[0040]在一些實(shí)施例中，該模型可以是動(dòng)態(tài)的，從而意味著用戶/設(shè)計(jì)者可以拒絕建議/推薦的效果并且提出新效果，該新效果將被再次注入以更新該模型。
[0041]在某些實(shí)施例中，模塊16學(xué)習(xí)個(gè)性化的演進(jìn)模型(例如，按從零開(kāi)始并且一直學(xué)習(xí)的設(shè)計(jì)者的一個(gè)模型)。在其他實(shí)施例中，模塊16可以使用預(yù)先加載的多個(gè)用戶的通用和/或靜態(tài)模型(例如，對(duì)于經(jīng)驗(yàn)較少的用戶，或者為了讓一個(gè)用戶使用諸如著名設(shè)計(jì)者之類的另一設(shè)計(jì)者的模型)。
[0042]在某些實(shí)施例中，在圖3中示出的觸覺(jué)設(shè)計(jì)功能可以實(shí)時(shí)地執(zhí)行(即，在用戶正在設(shè)計(jì)效果的同時(shí)進(jìn)行學(xué)習(xí))或者可以在預(yù)先設(shè)計(jì)的多媒體和觸覺(jué)片上運(yùn)行。其也可以應(yīng)用于使用不同方法創(chuàng)建的音軌(track)(例如，使用Immers1n公司的諸如Haptic Stud1之類的創(chuàng)作工具創(chuàng)建的音軌、為了與D-B0x技術(shù)公司的設(shè)備一起使用而創(chuàng)建的音軌，等等)。
[0043]圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的使用高層語(yǔ)義描述符的貝葉斯網(wǎng)絡(luò)400。具有離散變量的貝葉斯網(wǎng)絡(luò)400描述了其中不同觀察(陰影節(jié)點(diǎn))的狀態(tài)影響隱藏變量(純白色節(jié)點(diǎn))的狀態(tài)的觸覺(jué)效果設(shè)計(jì)模型。如在這里使用的，觀察(observat1n)是具有(由模塊16估計(jì)的)已知狀態(tài)的變量，而隱藏變量狀態(tài)是未知的并且將由模型建議。
[0044]在使用貝葉斯網(wǎng)絡(luò)400的實(shí)施例中，用戶標(biāo)記場(chǎng)景類型、當(dāng)前事件類型、先前事件類型和其相關(guān)效果以及該效果的長(zhǎng)度和強(qiáng)度。在這種實(shí)施例中，模塊16可以使用模型中的所有該數(shù)據(jù)來(lái)計(jì)算概率并且為當(dāng)前事件建議特定類型的效果以及該效果的強(qiáng)度水平和持續(xù)時(shí)間水平。該計(jì)算基于過(guò)去給模型提供的事件/效果的先前示例。
[0045]圖5示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的使用低層描述符的貝葉斯網(wǎng)絡(luò)500。具有連續(xù)變量的貝葉斯網(wǎng)絡(luò)500描述了其中不同觀察(陰影節(jié)點(diǎn))的狀態(tài)影響隱藏變量(純白色節(jié)點(diǎn))的狀態(tài)的觸覺(jué)效果設(shè)計(jì)模型。如在這里使用的，觀察是具有(由模塊16估計(jì)的)已知狀態(tài)的變量，而隱藏變量狀態(tài)是未知的并且將由模型建議。
[0046]在使用貝葉斯網(wǎng)絡(luò)500的實(shí)施例中，模塊16自動(dòng)地檢測(cè)/提取先前事件的效果的長(zhǎng)度、強(qiáng)度和特性(例如，頻率、圖案、形狀)。在這種實(shí)施例中，模塊16還自動(dòng)地檢測(cè)當(dāng)前事件的音頻/視覺(jué)特征(例如，音頻頻率配置文件、顏色直方圖變化等)。在這種實(shí)施例中，模塊16可以使用模型中的所有該數(shù)據(jù)來(lái)計(jì)算概率并且為當(dāng)前事件建議效果(通過(guò)其強(qiáng)度、烈度和類型描述的)。
[0047]在本發(fā)明的實(shí)施例中，一種上面存儲(chǔ)有當(dāng)被處理器執(zhí)行時(shí)使該處理器創(chuàng)作一個(gè)或多個(gè)觸覺(jué)效果的指令的計(jì)算機(jī)可讀介質(zhì)，所述創(chuàng)作包括:提供通過(guò)學(xué)習(xí)人類觸覺(jué)設(shè)計(jì)者風(fēng)格而生成的觸覺(jué)化模型；接收包括音頻和視頻中的至少一個(gè)以及多個(gè)事件的輸入；以及基于學(xué)習(xí)到的觸覺(jué)化模型來(lái)推薦將與來(lái)自輸入的對(duì)應(yīng)事件相關(guān)聯(lián)的觸覺(jué)效果類型。
[0048]在本發(fā)明的實(shí)施例中，所述創(chuàng)作還包括:接收一個(gè)或多個(gè)創(chuàng)作的觸覺(jué)效果的創(chuàng)作觸覺(jué)效果特性以及一個(gè)或多個(gè)多媒體事件的多媒體事件特征；基于所述創(chuàng)作觸覺(jué)效果特性和所述多媒體事件特征來(lái)使創(chuàng)作觸覺(jué)效果的類型與多媒體事件的類型相關(guān)聯(lián)；基于所述關(guān)聯(lián)的結(jié)果來(lái)構(gòu)造所述學(xué)習(xí)到的觸覺(jué)化模型。
[0049]在本發(fā)明的實(shí)施例中，所述創(chuàng)作還包括:接收與所述創(chuàng)作觸覺(jué)效果特性和所述多媒體事件特征相對(duì)應(yīng)的手動(dòng)標(biāo)簽數(shù)據(jù)，其中所述手動(dòng)標(biāo)簽數(shù)據(jù)為每個(gè)觸覺(jué)效果和多媒體事件提供上下文，并且其中所述關(guān)聯(lián)至少基于所述手動(dòng)標(biāo)簽數(shù)據(jù)。
[0050]在本發(fā)明的實(shí)施例中，其中，與所述創(chuàng)作觸覺(jué)效果特性相對(duì)應(yīng)的手動(dòng)標(biāo)簽數(shù)據(jù)包括以下各項(xiàng)中的至少一個(gè):所述創(chuàng)作觸覺(jué)效果的名稱或者所述效果的烈度水平。
[0051]在本發(fā)明的實(shí)施例中，其中，與所述多媒體事件特征相對(duì)應(yīng)的手動(dòng)標(biāo)簽數(shù)據(jù)包括以下各項(xiàng)中的至少一個(gè):所述事件的名稱、場(chǎng)景類型、在先事件、后續(xù)事件、片段類型、前臺(tái)中的其他事件，或者后臺(tái)中的其他事件。
[0052]在本發(fā)明的實(shí)施例中，所述創(chuàng)作還包括:提取描述所述創(chuàng)作觸覺(jué)效果中的每個(gè)效果的一個(gè)或多個(gè)提取特性以及描述所述多媒體事件中的每個(gè)事件的一個(gè)或多個(gè)提取特征，其中所述關(guān)聯(lián)包括至少基于提取的特性和提取的特征來(lái)使所述創(chuàng)作觸覺(jué)效果特性與所述多媒體事件特征相關(guān)聯(lián)，并且
[0053]其中描述每個(gè)效果的所述提取特性包括持續(xù)時(shí)間、幅度、形狀和頻率，并且其中描述每個(gè)事件的所述提取特征包括音頻和視覺(jué)特征、場(chǎng)景動(dòng)態(tài)和所述事件的上下文。
[0054]在本發(fā)明的實(shí)施例中，所述創(chuàng)作還包括:提取描述所述多媒體事件中的每個(gè)事件的一個(gè)或多個(gè)提取特征，其中所述關(guān)聯(lián)還至少基于所述提取特征。
[0055]在本發(fā)明的實(shí)施例中，其中所述構(gòu)造學(xué)習(xí)到的觸覺(jué)化模型包括構(gòu)造貝葉斯模型。
[0056]在本發(fā)明的實(shí)施例中，一種用于創(chuàng)作一個(gè)或多個(gè)觸覺(jué)效果的計(jì)算機(jī)實(shí)現(xiàn)的方法包括:提供通過(guò)學(xué)習(xí)人類觸覺(jué)設(shè)計(jì)者風(fēng)格而生成的觸覺(jué)化模型；接收包括音頻和視頻中的至少一個(gè)以及多個(gè)事件的輸入；以及基于學(xué)習(xí)到的觸覺(jué)化模型來(lái)推薦將與來(lái)自輸入的對(duì)應(yīng)事件相關(guān)聯(lián)的觸覺(jué)效果類型。
[0057]在本發(fā)明的實(shí)施例中，該方法還包括:接收一個(gè)或多個(gè)創(chuàng)作的觸覺(jué)效果的創(chuàng)作觸覺(jué)效果特性以及一個(gè)或多個(gè)多媒體事件的多媒體事件特征；基于所述創(chuàng)作觸覺(jué)效果特性和所述多媒體事件特征來(lái)使創(chuàng)作觸覺(jué)效果的類型與多媒體事件的類型相關(guān)聯(lián)；基于所述關(guān)聯(lián)的結(jié)果來(lái)構(gòu)造所述學(xué)習(xí)到的觸覺(jué)化模型。
[0058]在本發(fā)明的實(shí)施例中，該方法還包括:接收與所述創(chuàng)作觸覺(jué)效果特性和所述多媒體事件特征相對(duì)應(yīng)的手動(dòng)標(biāo)簽數(shù)據(jù)，其中所述手動(dòng)標(biāo)簽數(shù)據(jù)為每個(gè)觸覺(jué)效果和多媒體事件提供上下文，并且其中所述關(guān)聯(lián)至少基于所述手動(dòng)標(biāo)簽數(shù)據(jù)。
[0059]在本發(fā)明的實(shí)施例中，其中，與所述創(chuàng)作觸覺(jué)效果特性相對(duì)應(yīng)的手動(dòng)標(biāo)簽數(shù)據(jù)包括以下各項(xiàng)中的至少一個(gè):所述創(chuàng)作觸覺(jué)效果的名稱或者所述效果的烈度水平，并且其中，與所述多媒體事件特征相對(duì)應(yīng)的手動(dòng)標(biāo)簽數(shù)據(jù)包括以下各項(xiàng)中的至少一個(gè):所述事件的名稱、場(chǎng)景類型、在先事件、后續(xù)事件、片段類型、前臺(tái)中的其他事件，或者后臺(tái)中的其他事件。
[0060]在本發(fā)明的實(shí)施例中，該方法包括:提取描述所述創(chuàng)作觸覺(jué)效果中的每個(gè)效果的一個(gè)或多個(gè)提取特性以及描述所述多媒體事件中的每個(gè)事件的一個(gè)或多個(gè)提取特征，其中所述關(guān)聯(lián)包括至少基于提取的特性和提取的特征來(lái)使所述創(chuàng)作觸覺(jué)效果特性與所述多媒體事件特征相關(guān)聯(lián)，并且其中描述每個(gè)效果的所述提取特性包括持續(xù)時(shí)間、幅度、形狀和頻