觸覺回放調(diào)節(jié)系統(tǒng)的制作方法
【專利摘要】本公開涉及一種觸覺回放調(diào)節(jié)系統(tǒng)。具體提供了用于將觸覺效果的回放速率調(diào)節(jié)至期望的回放速率的方法。確定期望的回放速率?；谄谕幕胤潘俾噬捎|覺信號(hào)的一部分。觸覺信號(hào)的該部分被發(fā)送到觸覺輸出設(shè)備，從而使觸覺輸出設(shè)備以對(duì)應(yīng)于期望的回放速率的回放速率輸出觸覺效果。
【專利說明】觸覺回放調(diào)節(jié)系統(tǒng)
[0001]對(duì)相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求于2015年4月28日提交的臨時(shí)專利申請(qǐng)序列N0.62/153,576的優(yōu)先權(quán)，其內(nèi)容通過引用被結(jié)合于此。
技術(shù)領(lǐng)域
[0003]—種實(shí)施例一般而言針對(duì)設(shè)備，并且更具體而言，針對(duì)產(chǎn)生觸覺效果的設(shè)備。
【背景技術(shù)】
[0004]觸覺是一種觸感與力反饋技術(shù)，這種技術(shù)通過向用戶施加觸覺反饋效果(S卩，“觸覺反饋”或“觸摸效果”)，諸如力、振動(dòng)和運(yùn)動(dòng)，來利用用戶的觸摸感覺。諸如移動(dòng)設(shè)備、觸摸屏設(shè)備、個(gè)人計(jì)算機(jī)和可穿戴設(shè)備的設(shè)備可以配置成生成觸覺效果。一般而言，對(duì)能夠生成觸覺效果的嵌入式硬件(例如致動(dòng)器)的調(diào)用可以在設(shè)備中編程。這些調(diào)用規(guī)定播放哪些觸覺效果。例如，當(dāng)用戶利用例如按鈕、觸摸屏、杠桿、操縱桿、滾輪或者某種其它控制與設(shè)備交互時(shí)，設(shè)備可以通過控制電路系統(tǒng)向嵌入式硬件發(fā)送播放命令。然后，嵌入式硬件產(chǎn)生適當(dāng)?shù)挠|覺效果。
[0005]當(dāng)觸覺效果被觸覺設(shè)計(jì)者創(chuàng)作時(shí)，觸覺效果可以依據(jù)觸覺效果的回放以特定的回放速度或速率發(fā)生的假設(shè)進(jìn)行創(chuàng)作。但是，基于設(shè)備，觸覺效果的回放可以以不同的回放速率發(fā)生。觸覺效果以不同回放速度的回放會(huì)使最終用戶的觸覺效果體驗(yàn)失真。另外，觸覺效果的回放可以與另一種類型的輸入，諸如音頻輸入、視頻輸入、加速度輸入等，的回放同步。如果該另一輸入的播放速率被調(diào)節(jié)，使得該另一輸入的回放速率不匹配觸覺效果的回放速率，則觸覺效果的回放可能不再與該另一輸入同步，這會(huì)進(jìn)一步使最終用戶的體驗(yàn)失真。

【發(fā)明內(nèi)容】

[0006]—種實(shí)施例包括調(diào)節(jié)觸覺效果的回放的方法。確定期望的回放速率?；谄谕幕胤潘俾噬捎|覺信號(hào)的一部分。觸覺信號(hào)的該部分被發(fā)送到觸覺輸出設(shè)備，從而使觸覺輸出設(shè)備以對(duì)應(yīng)于期望的回放速率的回放速率輸出觸覺效果。
【附圖說明】
[0007]從以下對(duì)示例實(shí)施例的具體描述，進(jìn)一步的實(shí)施例、細(xì)節(jié)、優(yōu)點(diǎn)和修改將變得顯然，其中示例實(shí)施例要聯(lián)系附圖來理解。
[0008]圖1示出了根據(jù)本發(fā)明一種實(shí)施例的系統(tǒng)的框圖。
[0009]圖2示出了根據(jù)本發(fā)明實(shí)施例的觸覺反饋調(diào)節(jié)模塊的功能的流程圖。
[0010]圖3示出了根據(jù)本發(fā)明實(shí)施例的靜態(tài)觸覺反饋調(diào)節(jié)模塊的功能的流程圖。
[0011]圖4示出了根據(jù)一種實(shí)施例、用于靜態(tài)調(diào)節(jié)觸覺信號(hào)以便以不同速度提供多個(gè)觸覺信號(hào)的系統(tǒng)。
[0012]圖5示出了根據(jù)本發(fā)明實(shí)施例的靜態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。
[0013]圖6示出了根據(jù)一種實(shí)施例、通過重新采樣輸入信號(hào)對(duì)觸覺信號(hào)進(jìn)行靜態(tài)調(diào)節(jié)的系統(tǒng)。
[0014]圖7示出了根據(jù)本發(fā)明實(shí)施例的靜態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。
[0015]圖8示出了根據(jù)一種實(shí)施例、通過重新采樣觸覺信號(hào)對(duì)觸覺信號(hào)進(jìn)行靜態(tài)調(diào)節(jié)的系統(tǒng)。
[0016]圖9示出了根據(jù)本發(fā)明實(shí)施例的靜態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。
[0017]圖10示出了根據(jù)一種實(shí)施例、通過分析關(guān)鍵事件對(duì)觸覺信號(hào)進(jìn)行靜態(tài)調(diào)節(jié)的系統(tǒng)。
[0018]圖11示出了根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。
[0019]圖12示出了根據(jù)一種實(shí)施例、通過選擇觸覺信號(hào)對(duì)觸覺信號(hào)進(jìn)行動(dòng)態(tài)調(diào)節(jié)的系統(tǒng)。
[0020]圖13示出了根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。
[0021]圖14示出了根據(jù)一種實(shí)施例、通過選擇子觸覺信號(hào)(haptlet)對(duì)觸覺信號(hào)進(jìn)行動(dòng)態(tài)調(diào)節(jié)的系統(tǒng)。
[0022]圖15示出了根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。
[0023]圖16示出了根據(jù)一種實(shí)施例、通過播放觸覺塊對(duì)觸覺信號(hào)進(jìn)行動(dòng)態(tài)調(diào)節(jié)的系統(tǒng)。
[0024]圖17示出了根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。
[0025]圖18示出了根據(jù)一種實(shí)施例、通過播放觸覺信號(hào)的范圍對(duì)觸覺信號(hào)進(jìn)行動(dòng)態(tài)調(diào)節(jié)的系統(tǒng)。
[0026]圖19示出了根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。
[0027]圖20示出了根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。
[0028]圖21示出了根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。
[0029]圖22示出了根據(jù)一些實(shí)施例、通過將樣本插入觸覺信號(hào)或從觸覺信號(hào)去除樣本對(duì)觸覺信號(hào)進(jìn)行動(dòng)態(tài)調(diào)節(jié)的系統(tǒng)。
【具體實(shí)施方式】
[0030]一種實(shí)施例是觸覺回放調(diào)節(jié)系統(tǒng)，該系統(tǒng)調(diào)節(jié)觸覺數(shù)據(jù)(諸如觸覺信號(hào))的回放以對(duì)應(yīng)于期望的回放速率，其中觸覺數(shù)據(jù)的回放可對(duì)應(yīng)于不同的回放速率，或速度。
[0031]在一種實(shí)施例中，觸覺回放調(diào)節(jié)系統(tǒng)可以靜態(tài)地調(diào)節(jié)觸覺信號(hào)的回放。換句話說，在啟動(dòng)觸覺信號(hào)的回放之前，觸覺回放調(diào)節(jié)系統(tǒng)可以調(diào)節(jié)觸覺信號(hào)的回放，以對(duì)應(yīng)于期望的回放速率。觸覺回放調(diào)節(jié)系統(tǒng)可以利用下面進(jìn)一步詳細(xì)描述的一種或多種靜態(tài)調(diào)節(jié)技術(shù)調(diào)節(jié)觸覺信號(hào)的回放，以對(duì)應(yīng)于期望的回放速率。觸覺信號(hào)可以隨后被發(fā)送到觸覺輸出設(shè)備，在那里觸覺信號(hào)使觸覺輸出設(shè)備輸出一個(gè)或多個(gè)觸覺效果，并且在那里一個(gè)或多個(gè)觸覺效果的回放對(duì)應(yīng)于期望的播放速率。
[0032]例如，用戶可以在視頻捕獲設(shè)備，諸如智能電話或動(dòng)作相機(jī)，上以每秒240幀(“fps”)的高幀速率拍攝視頻。觸覺信號(hào)可以利用觸覺創(chuàng)作工具、視頻、伴音和/或其它輸入傳感器數(shù)據(jù)來創(chuàng)建。用戶可能希望放慢視頻，即，以慢動(dòng)作播放視頻，以便更好地感知快速動(dòng)作序列。例如，用戶可能想以1/4速度播放視頻。用戶可以選擇以60fps播放視頻。換句話說，以I秒的I/240 (0.004167秒)拍攝的幀現(xiàn)在將以一秒的I/60 (0.0167)播放，從而導(dǎo)致比原始捕獲的慢四倍的回放速度。如本文所述的觸覺回放調(diào)節(jié)系統(tǒng)還可以調(diào)節(jié)觸覺信號(hào)，以提供適于新回放速度的觸覺信號(hào)。
[0033]在另一實(shí)施例中，觸覺回放調(diào)節(jié)系統(tǒng)可以動(dòng)態(tài)地調(diào)節(jié)觸覺信號(hào)的回放。換句話說，在觸覺信號(hào)的回放被啟動(dòng)之后，觸覺回放調(diào)節(jié)系統(tǒng)可以調(diào)節(jié)觸覺信號(hào)的回放，以對(duì)應(yīng)于期望的回放速率。觸覺回放調(diào)節(jié)系統(tǒng)可以利用在下面進(jìn)一步詳細(xì)描述的一種或多種動(dòng)態(tài)調(diào)節(jié)技術(shù)調(diào)節(jié)觸覺信號(hào)的回放，以對(duì)應(yīng)于期望的回放速率。觸覺信號(hào)可以隨后被發(fā)送到觸覺輸出設(shè)備，在那里觸覺信號(hào)使觸覺輸出設(shè)備輸出一個(gè)或多個(gè)觸覺效果，并且在那里一個(gè)或多個(gè)觸覺效果的回放對(duì)應(yīng)于期望的播放速率。
[0034]例如，用戶可以在用戶的移動(dòng)設(shè)備上接收動(dòng)畫，該動(dòng)畫具有與動(dòng)畫的部分關(guān)聯(lián)的觸覺效果。依賴于設(shè)備的能力，動(dòng)畫可以比最初設(shè)計(jì)更慢或更快地播放。相應(yīng)地，關(guān)聯(lián)的觸覺效果可能不像預(yù)期的那樣在動(dòng)畫播放時(shí)與動(dòng)畫一致。假設(shè)動(dòng)畫播放慢于原本打算的。觸覺效果可能在動(dòng)畫元素之前被觸發(fā)，從而導(dǎo)致差的用戶體驗(yàn)。假設(shè)動(dòng)畫播放快于原本打算的。觸覺效果可能晚于動(dòng)畫元素被觸發(fā)，從而導(dǎo)致差的用戶體驗(yàn)。觸覺信號(hào)的回放的動(dòng)態(tài)調(diào)節(jié)可以利用如本文所述的觸覺回放調(diào)節(jié)系統(tǒng)來實(shí)現(xiàn)。
[0035]根據(jù)實(shí)施例，觸覺信號(hào)的回放是當(dāng)觸覺信號(hào)的至少一部分被發(fā)送到觸覺輸出設(shè)備時(shí)并導(dǎo)致觸覺輸出設(shè)備輸出至少一個(gè)觸覺效果。另外，觸覺信號(hào)的回放在接收到向觸覺輸出設(shè)備發(fā)送觸覺信號(hào)的至少一部分的指令時(shí)被啟動(dòng)。更進(jìn)一步，當(dāng)觸覺信號(hào)的回放速率等于期望的回放速率;或者觸覺信號(hào)的回放與其它輸入的回放同步(其中其它輸入的回放等于期望的播放速率)時(shí)，觸覺信號(hào)的回放(即，一個(gè)或多個(gè)觸覺效果的回放)對(duì)應(yīng)于期望的回放速率。
[0036]圖1示出了根據(jù)本發(fā)明一種實(shí)施例的系統(tǒng)10的框圖。在一種實(shí)施例中，系統(tǒng)10是設(shè)備(例如，移動(dòng)設(shè)備或可穿戴設(shè)備)的一部分，并且系統(tǒng)10為設(shè)備提供觸覺回放調(diào)節(jié)功能。可穿戴設(shè)備的例子包括腕帶、頭帶、眼鏡、戒指、腿帶、集成到衣服中的陣列，或者用戶可以穿戴在身體上或可以由用戶持有的任何其它類型的設(shè)備。一些可穿戴設(shè)備可以是“觸覺啟用的”，這意味著它們包括生成觸覺效果的機(jī)制。在另一種實(shí)施例中，系統(tǒng)10與設(shè)備(例如，移動(dòng)設(shè)備或可穿戴設(shè)備)分離，并且遠(yuǎn)程地為設(shè)備提供上述功能。雖然被示為單個(gè)系統(tǒng)，但系統(tǒng)10的功能性可以實(shí)現(xiàn)為分布式系統(tǒng)。系統(tǒng)10包括用于傳送信息的總線12或者其它通信介質(zhì)，及耦合到總線12用于處理信息的處理器22。處理器22可以是任何類型的通用或?qū)Ｓ锰幚砥?。系統(tǒng)10進(jìn)一步包括用于存儲(chǔ)信息和要由處理器22執(zhí)行的指令的存儲(chǔ)器14。存儲(chǔ)器14可以由隨機(jī)存取存儲(chǔ)器(“RAM”)、只讀存儲(chǔ)器(“ROM”)、例如磁或光盤的靜態(tài)儲(chǔ)存器或任何其它類型的計(jì)算機(jī)可讀介質(zhì)的任意組合構(gòu)成。
[0037]計(jì)算機(jī)可讀介質(zhì)可以是可以被處理器22訪問的任何可用介質(zhì)，而且可以包括易失性和非易失性介質(zhì)、可移除的和不可移除的介質(zhì)、通信介質(zhì)及存儲(chǔ)介質(zhì)。通信介質(zhì)可以包括計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或者在例如載波或其它傳輸機(jī)制的調(diào)制數(shù)據(jù)信號(hào)中的其它數(shù)據(jù)，而且可以包括本領(lǐng)域中已知的任何其它形式的信息輸送介質(zhì)。存儲(chǔ)介質(zhì)可以包括RAM、閃存存儲(chǔ)器、R0M、可擦可編程只讀存儲(chǔ)器(“EPR0M”)、電可擦除可編程只讀存儲(chǔ)器(“EEPR0M”)、寄存器、硬盤、可移除盤、光盤只讀存儲(chǔ)器(“CD-ROM”)或者本領(lǐng)域中已知的任何其它形式的存儲(chǔ)介質(zhì)。
[0038]在一種實(shí)施例中，存儲(chǔ)器14存儲(chǔ)在被處理器22執(zhí)行時(shí)提供功能的軟件模塊。在一種實(shí)施例中，這些模塊包括為系統(tǒng)10及移動(dòng)設(shè)備的剩余部分提供操作系統(tǒng)功能的操作系統(tǒng)
15。這些模塊還包括調(diào)節(jié)觸覺效果的回放的觸覺回放調(diào)節(jié)模塊16，如以下更詳細(xì)公開的。在某些實(shí)施例中，觸覺回放調(diào)節(jié)模塊16可以包括多個(gè)模塊，其中每個(gè)模塊提供用于調(diào)節(jié)觸覺效果的回放的單獨(dú)功能。系統(tǒng)10將通常包括一個(gè)或多個(gè)包括附加功能的附加應(yīng)用模塊18，諸如Immers 1n公司的Integrator?軟件。
[0039]在從遠(yuǎn)端源發(fā)送和/或接收數(shù)據(jù)的實(shí)施例中，系統(tǒng)10還包括通信設(shè)備20，諸如網(wǎng)絡(luò)接口卡，以便提供移動(dòng)無線網(wǎng)絡(luò)通信，諸如紅外線、無線電、W1-Fi或蜂窩網(wǎng)絡(luò)通信。在其它實(shí)施例中，通信設(shè)備20提供有線網(wǎng)絡(luò)連接，諸如以太網(wǎng)連接或調(diào)制解調(diào)器。
[0040]處理器22還經(jīng)總線12耦合到顯示器24，諸如液晶顯示器(“LCD”)，用于向用戶顯示圖形表示或用戶接口。顯示器24可以是被配置為從處理器22發(fā)送和接收信號(hào)的觸摸敏感輸入設(shè)備，例如觸摸屏，而且可以是多觸摸觸摸屏。
[0041 ] 在一種實(shí)施例中，系統(tǒng)10還包括致動(dòng)器26。處理器22可以向致動(dòng)器26發(fā)送與所生成的觸覺效果關(guān)聯(lián)的觸覺信號(hào)，然后致動(dòng)器26又輸出諸如振動(dòng)觸感觸覺效果、靜電摩擦觸覺效果或變形觸覺效果的觸覺效果。致動(dòng)器26包括致動(dòng)器驅(qū)動(dòng)電路。致動(dòng)器26可以是例如電動(dòng)機(jī)、電磁致動(dòng)器、音圈、形狀記憶合金、電活性聚合物、螺線管、偏心旋轉(zhuǎn)質(zhì)量電機(jī)(“ERM”)、線性共振致動(dòng)器(“LRA” )、壓電式致動(dòng)器、高帶寬致動(dòng)器、電活性聚合物(“ΕΑΡ”)致動(dòng)器、靜電摩擦顯示器或者超聲波振動(dòng)發(fā)生器。在備選實(shí)施例中，除了致動(dòng)器26，系統(tǒng)10可以包括一個(gè)或多個(gè)附加的致動(dòng)器(在圖1中未示出)。致動(dòng)器26是觸覺輸出設(shè)備的例子，其中觸覺輸出設(shè)備是被配置為響應(yīng)于驅(qū)動(dòng)信號(hào)輸出觸覺效果，諸如振動(dòng)觸感觸覺效果、靜電摩擦觸覺效果或變形觸覺效果，的設(shè)備。在備選實(shí)施例中，致動(dòng)器26可以被某種其它類型的觸覺輸出設(shè)備代替。另外，在其它備選實(shí)施例中，系統(tǒng)10可以不包括致動(dòng)器26，并且與系統(tǒng)10分離的設(shè)備包括生成觸覺效果的致動(dòng)器或其它觸覺輸出設(shè)備，并且系統(tǒng)10通過通信設(shè)備20把所生成的觸覺信號(hào)發(fā)送到那個(gè)設(shè)備。
[0042]在一種實(shí)施例中，系統(tǒng)10還包括揚(yáng)聲器28。處理器22可以將音頻信號(hào)發(fā)送到揚(yáng)聲器28，而揚(yáng)聲器又輸出音頻效果。揚(yáng)聲器28可以是，例如，動(dòng)態(tài)擴(kuò)音器、電動(dòng)力學(xué)擴(kuò)音器、壓電擴(kuò)音器、磁致伸縮擴(kuò)音器、靜電擴(kuò)音器、帶式和平面磁性擴(kuò)音器、彎曲波擴(kuò)音器、平板擴(kuò)音器、Heil空氣運(yùn)動(dòng)換能器、等離子體弧揚(yáng)聲器和數(shù)字式擴(kuò)音器。在備選實(shí)施例中，除了揚(yáng)聲器28，系統(tǒng)10還可以包括一個(gè)或多個(gè)附加的揚(yáng)聲器(在圖1中未示出)。另外，在其它備選實(shí)施例中，系統(tǒng)10可以不包括揚(yáng)聲器28，并且與系統(tǒng)10分離的設(shè)備包括輸出音頻效果的揚(yáng)聲器，并且系統(tǒng)10通過通信設(shè)備20向那個(gè)設(shè)備發(fā)送音頻信號(hào)。
[0043]在一種實(shí)施例中，系統(tǒng)10還包括傳感器30。傳感器30可被配置為檢測(cè)能量的形式或者其它的物理特性，諸如但不限于聲音、運(yùn)動(dòng)、加速度、生物信號(hào)、距離、流量、力/壓力/應(yīng)變/彎曲、濕度、線性位置、朝向/傾度、射頻、旋轉(zhuǎn)位置、旋轉(zhuǎn)速度、開關(guān)的操縱、溫度、振動(dòng)或可見光強(qiáng)度。傳感器30還可被配置為把檢測(cè)到的能量，或者其它物理屬性，轉(zhuǎn)換成電信號(hào)，或者代表虛擬傳感器信息的任何信號(hào)。傳感器30可以是任何設(shè)備，諸如但不限于加速計(jì)、心電圖、腦電圖、肌電圖、眼電圖、電腭圖、皮膚電反應(yīng)傳感器、電容傳感器、霍爾效應(yīng)傳感器、紅外線傳感器、超聲傳感器、壓力傳感器、光纖傳感器、撓曲傳感器(或者彎曲傳感器)、力敏感電阻器、稱重傳感器、LuSense CPS2 155、微型壓力換能器、壓電傳感器、應(yīng)變計(jì)、濕度計(jì)、線性位置觸摸傳感器、線性電位計(jì)(或者滑塊)、線性可變差分變壓器、指南針、測(cè)斜器、磁性標(biāo)簽(或者射頻標(biāo)識(shí)標(biāo)簽)、旋轉(zhuǎn)編碼器、旋轉(zhuǎn)電位計(jì)、陀螺儀、通斷開關(guān)、溫度傳感器(諸如溫度計(jì)、熱電偶、電阻溫度檢測(cè)器、熱敏電阻、溫度-換能集成電路)、麥克風(fēng)、光度計(jì)、高度計(jì)、生物檢測(cè)器、相機(jī)或光敏電阻器。在備選實(shí)施例中，除了傳感器30(在圖1中未示出)，系統(tǒng)10還可以包括一個(gè)或多個(gè)附加傳感器。在這些實(shí)施例的一些當(dāng)中，傳感器30和一個(gè)或多個(gè)附加傳感器可以是傳感器陣列的一部分，或者是傳感器的某種其它類型的集合。另外，在其它備選實(shí)施例中，系統(tǒng)10可以不包括傳感器30，并且與系統(tǒng)10分離的設(shè)備包括檢測(cè)能量形式或其它物理特性并且將檢測(cè)到的能量或其它物理特性轉(zhuǎn)換成電信號(hào)或表示虛擬傳感器信息的其它類型信號(hào)的傳感器。然后，設(shè)備可以將轉(zhuǎn)換后的信號(hào)通過通信設(shè)備20發(fā)送到系統(tǒng)10。
[0044]根據(jù)本發(fā)明的實(shí)施例，如前所述，諸如系統(tǒng)10的觸覺回放調(diào)節(jié)系統(tǒng)可以或者靜態(tài)地或者動(dòng)態(tài)地調(diào)節(jié)觸覺信號(hào)的回放。為了靜態(tài)地調(diào)節(jié)觸覺信號(hào)的回放，觸覺回放調(diào)節(jié)系統(tǒng)10可以實(shí)現(xiàn)在以下靜態(tài)調(diào)節(jié)技術(shù)的概述中討論的一種或多種靜態(tài)調(diào)節(jié)技術(shù)。
[0045]在一種實(shí)施例中，觸覺回放調(diào)節(jié)系統(tǒng)10可以允許觸覺設(shè)計(jì)者通過生成多個(gè)觸覺信號(hào)來創(chuàng)作用于多個(gè)回放速率的觸覺效果，其中每個(gè)觸覺信號(hào)對(duì)應(yīng)于唯一的回放速率。觸覺回放調(diào)節(jié)系統(tǒng)10隨后可以基于期望的回放速率從多個(gè)觸覺信號(hào)中選擇觸覺信號(hào)，其中觸覺信號(hào)的選擇可以是在觸覺信號(hào)的回放被啟動(dòng)之前。觸覺回放調(diào)節(jié)系統(tǒng)10隨后可以將所選的觸覺信號(hào)發(fā)送到觸覺輸出設(shè)備，在那里所選的觸覺信號(hào)的回放對(duì)應(yīng)于期望的回放速率。
[0046]在另一實(shí)施例中，如果原始觸覺信號(hào)最初通過觸覺轉(zhuǎn)換算法生成(S卩，最初從原始輸入信號(hào)，諸如音頻信號(hào)、視頻信號(hào)、加速度信號(hào)、傳感器輸出等等，轉(zhuǎn)換)，則觸覺回放調(diào)節(jié)系統(tǒng)10可以通過重新采樣(例如，上采樣或下采樣)原始輸入信號(hào)到期望的采樣率將原始輸入信號(hào)轉(zhuǎn)換成新的輸入信號(hào)。觸覺回放調(diào)節(jié)系統(tǒng)10可以利用觸覺轉(zhuǎn)換算法和新的輸入信號(hào)(即，經(jīng)重新采樣的輸入信號(hào))生成新的觸覺信號(hào)。結(jié)果產(chǎn)生的新觸覺信號(hào)將對(duì)應(yīng)于期望的回放速率，如由原始輸入信號(hào)的期望重新采樣率所設(shè)置的。觸覺回放調(diào)節(jié)系統(tǒng)10隨后可以將新的觸覺信號(hào)發(fā)送到觸覺輸出設(shè)備，其中所選的觸覺信號(hào)的回放對(duì)應(yīng)于期望的回放速率。
[0047]在另一實(shí)施例中，觸覺回放調(diào)節(jié)系統(tǒng)10可以通過重新采樣(例如，上采樣或下采樣)原始觸覺信號(hào)將原始觸覺信號(hào)轉(zhuǎn)換成對(duì)應(yīng)于期望回放速率的新觸覺信號(hào)。觸覺回放調(diào)節(jié)系統(tǒng)10隨后可以將新觸覺信號(hào)發(fā)送到觸覺輸出設(shè)備，在那里新觸覺信號(hào)的回放對(duì)應(yīng)于期望的回放速率。
[0048]在另一實(shí)施例中，觸覺回放調(diào)節(jié)系統(tǒng)10可以通過重新采樣(例如，上采樣或下采樣)原始輸入信號(hào)將原始輸入信號(hào)轉(zhuǎn)換成對(duì)應(yīng)于期望回放速率的新輸入信號(hào)。觸覺回放調(diào)節(jié)系統(tǒng)10還可以分析該新輸入信號(hào)并識(shí)別一個(gè)或多個(gè)“關(guān)鍵輸入事件”，其中“關(guān)鍵輸入事件”是具有一個(gè)或多個(gè)指定特性(例如，頻率、振幅、包絡(luò)等等)的輸入數(shù)據(jù)的一部分。觸覺回放調(diào)節(jié)系統(tǒng)10還可以通過識(shí)別一個(gè)或多個(gè)“關(guān)鍵觸覺事件”將原始觸覺信號(hào)轉(zhuǎn)換成新觸覺信號(hào)，其中“關(guān)鍵觸覺事件”是具有一個(gè)或多個(gè)指定特性(例如，頻率、振幅、包絡(luò)等等)的觸覺數(shù)據(jù)的一部分，并且在新觸覺信號(hào)中移位一個(gè)或多個(gè)關(guān)鍵觸覺事件，使得一個(gè)或多個(gè)關(guān)鍵觸覺事件與新輸入信號(hào)的一個(gè)或多個(gè)關(guān)鍵輸入事件對(duì)齊。通過移位新觸覺信號(hào)中的關(guān)鍵觸覺事件，使得關(guān)鍵觸覺事件與新輸入信號(hào)的關(guān)鍵輸入事件對(duì)齊，新觸覺信號(hào)中關(guān)鍵觸覺事件的位置被調(diào)節(jié)，使得關(guān)鍵觸覺事件的位置與新輸入信號(hào)中關(guān)鍵輸入事件的位置對(duì)齊。另外，關(guān)鍵觸覺事件的位置與關(guān)鍵輸入事件的位置對(duì)齊，其中關(guān)鍵觸覺事件的位置:或者(a)與關(guān)鍵輸入事件的位置完全相同，或者(b)基本上與關(guān)鍵輸入事件的位置完全相同，其中由輸出設(shè)備基于關(guān)鍵輸入效果輸出的效果和由觸覺輸出設(shè)備基于關(guān)鍵觸覺效果輸出的觸覺效果幾乎都同時(shí)發(fā)生或者被體驗(yàn)。在對(duì)齊關(guān)鍵觸覺事件的位置與關(guān)鍵輸入事件的位置之后，觸覺回放調(diào)節(jié)系統(tǒng)10可以可選地拉伸(或收縮)觸覺信號(hào)，以便與關(guān)鍵輸入事件發(fā)生的幀數(shù)一致。觸覺回放調(diào)節(jié)系統(tǒng)10隨后可以向觸覺輸出設(shè)備發(fā)送新的觸覺信號(hào)，其中新觸覺信號(hào)的回放對(duì)應(yīng)于期望的回放速率。
[0049]上面提到的靜態(tài)調(diào)節(jié)技術(shù)還在下面進(jìn)一步詳細(xì)描述。
[0050]為了動(dòng)態(tài)地調(diào)節(jié)觸覺信號(hào)的回放，觸覺回放調(diào)節(jié)系統(tǒng)10可以實(shí)現(xiàn)在下面動(dòng)態(tài)調(diào)節(jié)技術(shù)的概述中討論的一種或多種動(dòng)態(tài)調(diào)節(jié)技術(shù)。
[0051]在一種實(shí)施例中，觸覺回放調(diào)節(jié)系統(tǒng)10可以允許觸覺設(shè)計(jì)者通過生成多個(gè)觸覺信號(hào)來創(chuàng)作用于多個(gè)回放速率的觸覺效果，其中每個(gè)觸覺信號(hào)對(duì)應(yīng)于唯一的回放速率。多個(gè)觸覺信號(hào)可以根據(jù)唯一的比特率進(jìn)行編碼。多個(gè)觸覺信號(hào)還可以被存儲(chǔ)在單個(gè)文件或容器內(nèi)。觸覺回放調(diào)節(jié)系統(tǒng)10隨后可以基于期望的回放速率從多個(gè)觸覺信號(hào)中選擇觸覺信號(hào)，其中觸覺信號(hào)的選擇可以是在觸覺信號(hào)的回放被啟動(dòng)之后。觸覺回放調(diào)節(jié)系統(tǒng)10隨后可以將所選的觸覺信號(hào)發(fā)送到觸覺輸出設(shè)備，其中所選的觸覺信號(hào)的回放對(duì)應(yīng)于期望的回放速率。
[0052]在另一實(shí)施例中，觸覺回放調(diào)節(jié)系統(tǒng)10可以將觸覺信號(hào)劃分成一個(gè)或多個(gè)子觸覺信號(hào)(haptlet)，其中子觸覺信號(hào)是觸覺信號(hào)的一部分，它包括指示該子觸覺信號(hào)在觸覺信號(hào)中的位置的索引。觸覺信號(hào)的劃分可以或者在觸覺信號(hào)的回放被啟動(dòng)之前或者在觸覺信號(hào)的回放被啟動(dòng)之后執(zhí)行。隨后，在觸覺信號(hào)的回放被啟動(dòng)之后，觸覺回放調(diào)節(jié)系統(tǒng)10可以協(xié)調(diào)選定數(shù)量的一個(gè)或多個(gè)子觸覺信號(hào)的回放。更具體而言，對(duì)于每個(gè)子觸覺信號(hào)，觸覺回放調(diào)節(jié)系統(tǒng)10可以確定該子觸覺信號(hào)是否要被發(fā)送到觸覺輸出設(shè)備。如果子觸覺信號(hào)被選擇，則觸覺回放調(diào)節(jié)系統(tǒng)10可以將所選的子觸覺信號(hào)發(fā)送到觸覺輸出設(shè)備，其中所選的子觸覺信號(hào)使觸覺輸出設(shè)備輸出一個(gè)或多個(gè)觸覺效果。如果子觸覺信號(hào)未被選擇，則觸覺回放調(diào)節(jié)系統(tǒng)10不將該子觸覺信號(hào)發(fā)送到觸覺輸出設(shè)備。在一些實(shí)施例中，子觸覺信號(hào)可以被指定優(yōu)先級(jí)并且優(yōu)先級(jí)可以被用作用于確定子觸覺信號(hào)是否要被發(fā)送到觸覺輸出設(shè)備的基礎(chǔ)的一部分。
[0053]在另一實(shí)施例中，觸覺回放調(diào)節(jié)系統(tǒng)10可以將觸覺信號(hào)劃分成一個(gè)或多個(gè)觸覺塊，其中觸覺塊是觸覺信號(hào)的一部分。觸覺信號(hào)的劃分可以或者在觸覺信號(hào)的回放被啟動(dòng)之前或者在觸覺信號(hào)的回放被啟動(dòng)之后執(zhí)行。隨后，在觸覺信號(hào)的回放被啟動(dòng)之后，觸覺回放調(diào)節(jié)系統(tǒng)10可以配置指定的連續(xù)觸覺塊的回放之間的延遲(也被識(shí)別作為“睡眠期”或“等待期”)。更具體而言，觸覺回放調(diào)節(jié)系統(tǒng)10可以基于第一觸覺塊的回放之后和第二觸覺塊的回放之前的延遲參數(shù)(其中第一和第二觸覺塊是連續(xù)的觸覺塊)指定特定時(shí)段的延遲。在此期間，觸覺回放調(diào)節(jié)系統(tǒng)10不回放觸覺塊。換句話說，在此時(shí)段期間，觸覺回放調(diào)節(jié)系統(tǒng)10不向觸覺輸出設(shè)備發(fā)送觸覺塊。
[0054]在另一實(shí)施例中，在觸覺信號(hào)的回放被啟動(dòng)之后，觸覺回放調(diào)節(jié)系統(tǒng)10可以在指定的包括開始時(shí)間和結(jié)束時(shí)間的時(shí)間范圍內(nèi)接收對(duì)觸覺信號(hào)的回放一個(gè)或多個(gè)請(qǐng)求。響應(yīng)于請(qǐng)求，觸覺回放調(diào)節(jié)系統(tǒng)10可以協(xié)調(diào)觸覺信號(hào)的回放，使得觸覺信號(hào)的回放只在開始時(shí)間和結(jié)束時(shí)間之間發(fā)生，并且一旦到達(dá)結(jié)束時(shí)間，觸覺信號(hào)的回放就停止。這種由觸覺回放調(diào)節(jié)系統(tǒng)進(jìn)行的協(xié)調(diào)可以對(duì)每個(gè)請(qǐng)求重復(fù)。
[0055]在另一實(shí)施例中，在觸覺信號(hào)的回放被啟動(dòng)之后，觸覺回放調(diào)節(jié)系統(tǒng)10可以接收基于時(shí)間戳將回放速率調(diào)節(jié)至期望的回放速率的請(qǐng)求。觸覺回放調(diào)節(jié)系統(tǒng)10可以計(jì)算要添加到觸覺信號(hào)的至少一部分或者從中去除的觸覺樣本的數(shù)量，其中觸覺樣本是包含在觸覺信號(hào)中的觸覺數(shù)據(jù)的一部分。基于計(jì)算出的要被添加或去除的觸覺樣本的數(shù)量，觸覺回放調(diào)節(jié)系統(tǒng)10可以通過重新采樣(例如，上采樣或下采樣)觸覺信號(hào)的至少該部分將觸覺信號(hào)的至少該部分轉(zhuǎn)換成新的觸覺信號(hào)。在某些實(shí)施例中，觸覺回放調(diào)節(jié)系統(tǒng)10可以利用以下更詳細(xì)描述的重新采樣技術(shù)之一重新采樣觸覺信號(hào)的至少該部分。
[0056]—種重新采樣技術(shù)涉及從觸覺信號(hào)去除“沉默的觸覺樣本”(也被識(shí)別為“零觸覺樣本”)，其中“沉默的觸覺樣本”是包含其一個(gè)或多個(gè)值低于預(yù)定義閾值的觸覺數(shù)據(jù)的觸覺樣本。觸覺信號(hào)的當(dāng)前觸覺塊(即，觸覺數(shù)據(jù)的塊)可以被評(píng)估，以選擇其中沉默的觸覺樣本可被去除的一個(gè)或多個(gè)位置，并且一個(gè)或多個(gè)沉默的觸覺樣品可以從這一個(gè)或多個(gè)選定的位置被去除。隨后，如果沒有足夠多從之前的調(diào)節(jié)高速緩沖的觸覺樣本，則新的觸覺塊可以被獲取。這種重新采樣技術(shù)可以響應(yīng)于對(duì)回放速率到增加的回放速率的請(qǐng)求的調(diào)節(jié)而被使用。
[0057]另一種重新采樣技術(shù)涉及將沉默的觸覺樣本添加到觸覺信號(hào)。觸覺信號(hào)的當(dāng)前觸覺塊可以被評(píng)估，以選擇沉默的觸覺樣本可以被添加的一個(gè)或多個(gè)位置，并且一個(gè)或多個(gè)沉默的觸覺樣本可以被添加到這一個(gè)或多個(gè)選定的位置。隨后，觸覺塊可以被發(fā)送給觸覺輸出設(shè)備。隨后，觸覺塊可以被保持，以供后續(xù)播放。這種重新采樣技術(shù)可以響應(yīng)于對(duì)回放速率到減小的回放速率的調(diào)節(jié)的請(qǐng)求而被使用。
[0058]另一種重新采樣技術(shù)涉及識(shí)別觸覺信號(hào)中可以添加觸覺樣本的一個(gè)或多個(gè)位置。一個(gè)或多個(gè)觸覺樣本可以被添加到這一個(gè)或多個(gè)選定的位置。另外，對(duì)于每個(gè)觸覺樣本，一個(gè)或多個(gè)值可以被定義為等于觸覺信號(hào)的剩余部分中“最近的觸覺樣本”。“最近的觸覺樣本”可以是在物理上或邏輯上位于所添加的觸覺樣本之前或之后的觸覺樣本。這種重新采樣技術(shù)可以響應(yīng)于對(duì)回放速率到減小的回放速率的調(diào)節(jié)的請(qǐng)求而被使用。
[0059]另一種重新采樣技術(shù)涉及識(shí)別觸覺信號(hào)中可以添加觸覺樣本的一個(gè)或多個(gè)位置。一個(gè)或多個(gè)觸覺樣本可以被添加到這一個(gè)或多個(gè)選定的位置。另外，對(duì)于每個(gè)觸覺樣本，一個(gè)或多個(gè)值可以被定義為觸覺信號(hào)的剩余部分中兩個(gè)最近的觸覺樣本的平均值。這種重新采樣技術(shù)可以響應(yīng)于對(duì)回放速率到減小的回放速率的調(diào)節(jié)的請(qǐng)求而被使用。
[0060]另一種重新采樣技術(shù)涉及響應(yīng)于對(duì)回放速率到期望的回放速率的調(diào)節(jié)的請(qǐng)求而以指定速率重新采樣觸覺信號(hào)的觸覺塊。任何后續(xù)的調(diào)節(jié)都可以被應(yīng)用到之前沒有重新采樣的觸覺信號(hào)的觸覺塊。換句話說，已經(jīng)被重新采樣的觸覺信號(hào)的任何觸覺塊都不再被重新采樣。這種重新采樣技術(shù)可以響應(yīng)于對(duì)回放速率到增加的回放速率或減小的回放速率的調(diào)節(jié)的請(qǐng)求而被使用。
[0061 ] 上面提到的動(dòng)態(tài)調(diào)節(jié)技術(shù)在下面更詳細(xì)地進(jìn)行進(jìn)一步描述。
[0062]圖2示出了根據(jù)本發(fā)明實(shí)施例的觸覺回放調(diào)節(jié)模塊的功能的流程圖。在一種實(shí)施例中，圖2以及下面的圖3、5、7、9、11、13、15、17、19、20和21的功能是由存儲(chǔ)在存儲(chǔ)器或者其它計(jì)算機(jī)可讀或有形介質(zhì)中并且由處理器執(zhí)行的軟件實(shí)現(xiàn)的。在其它實(shí)施例中，功能可以由硬件(例如，通過使用專用集成電路(“ASIC”)、可編程門陣列(“PGA” )、現(xiàn)場(chǎng)可編程門陣列(“FPGA”)，等等)，或者硬件和軟件的任意組合來執(zhí)行。在某些實(shí)施例中，一些功能可以被省略。
[0063]流程開始并前進(jìn)到210。在210，確定期望的回放速率。在某些實(shí)施例中，期望的回放速率可以在觸覺信號(hào)的回放被啟動(dòng)之前確定。在其它實(shí)施例中，期望的回放速率可以在觸覺信號(hào)的回放被啟動(dòng)之后確定。然后，流程前進(jìn)到220。在220，基于期望的回放速率生成觸覺信號(hào)的至少一部分。在某些實(shí)施例中，觸覺信號(hào)的僅一部分基于期望的回放速率生成。在其它實(shí)施例中，整個(gè)觸覺信號(hào)基于期望的回放速率生成。在期望的回放速率在觸覺信號(hào)的回放被啟動(dòng)之前確定的實(shí)施例中，觸覺信號(hào)的至少該部分可以利用上面提到的一種或多種靜態(tài)技術(shù)生成，其中上面提到的一種或多種靜態(tài)技術(shù)也在下面更詳細(xì)地進(jìn)一步描述。在期望的回放速率在觸覺信號(hào)的回放被啟動(dòng)之后確定的其它實(shí)施例中，觸覺信號(hào)的至少該部分可以利用上面提到的一種或多種動(dòng)態(tài)調(diào)節(jié)技術(shù)生成，其中上面提到的一種或多種動(dòng)態(tài)調(diào)節(jié)技術(shù)也在下面更詳細(xì)地進(jìn)一步描述。然后，流程前進(jìn)到230。在230，觸覺信號(hào)的至少該部分被發(fā)送到觸覺輸出設(shè)備。觸覺信號(hào)的至少該部分使觸覺輸出設(shè)備輸出一個(gè)或多個(gè)觸覺效果。另外，一個(gè)或多個(gè)觸覺效果的回放對(duì)應(yīng)于期望的回放速率。然后，流程結(jié)束。
[0064]圖3示出了根據(jù)本發(fā)明實(shí)施例的靜態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。流程開始并前進(jìn)到310。在310，可以確定用于觸覺信號(hào)的多個(gè)期望的回放速率。額定回放速率可以被描述為I倍速，即，以其正常速度播放。其它回放速率可以是0.7倍速、1.5倍速、2.0倍速、2.5倍速，并依此類推。這些速度當(dāng)中每一個(gè)表示額定I倍速的倍數(shù)。在320，為每個(gè)期望的回放速率生成觸覺信號(hào)。例如，觸覺信號(hào)可以利用觸覺信號(hào)創(chuàng)作工具創(chuàng)作或者通過本申請(qǐng)中所描述的用于創(chuàng)建觸覺信號(hào)的任何方法創(chuàng)建。在330，對(duì)應(yīng)于期望觸覺回放速率的觸覺信號(hào)可以被選擇。例如，用戶可能想減慢或加速對(duì)應(yīng)于觸覺信號(hào)的視頻軌道。用戶可以減慢或加速視頻軌道并通過選擇可用的觸覺信號(hào)之一減慢或加速對(duì)應(yīng)的觸覺信號(hào)相同的量。例如，如果用戶加速視頻信號(hào)至兩倍，則對(duì)應(yīng)的觸覺信號(hào)也可被選擇為2倍速觸覺信號(hào)。在340，播放觸覺信號(hào)的指令可以被接收，諸如當(dāng)回放具有關(guān)聯(lián)的包含觸覺信號(hào)的觸覺軌道的媒體時(shí)可以被接收的指令。在350中，觸覺信號(hào)的至少一部分可以被發(fā)送到觸覺輸出設(shè)備，諸如以上結(jié)合圖1所述的觸覺輸出設(shè)備之一。然后，流程結(jié)束。
[0065]圖4示出了根據(jù)一種實(shí)施例、用于靜態(tài)調(diào)節(jié)觸覺信號(hào)以便以不同速度提供多個(gè)觸覺信號(hào)的系統(tǒng)。輸入信號(hào)源410可以向觸覺信號(hào)創(chuàng)建工具420提供一個(gè)或多個(gè)輸入信號(hào)。如上所述，輸入信號(hào)可以來自任何輸入源，包括音頻、視頻或一個(gè)或多個(gè)傳感器，或者它們的任意組合。觸覺信號(hào)創(chuàng)建工具420可以是被觸覺創(chuàng)作者用來基于由一個(gè)或多個(gè)輸入信號(hào)源提供的輸入信號(hào)創(chuàng)作觸覺信號(hào)的工具。觸覺創(chuàng)建工具420可以包括軟件，諸如HapticStud1、ProTools、Audacity等等。在一些實(shí)施例中，觸覺信號(hào)創(chuàng)建工具420可以是自動(dòng)分析輸入信號(hào)并基于輸入信號(hào)提供觸覺信號(hào)的轉(zhuǎn)換工具。觸覺信號(hào)I 430、觸覺信號(hào)2 431、觸覺信號(hào)3 432，依此類推，直到觸覺信號(hào)N 435，各自表示來自觸覺信號(hào)創(chuàng)建工具420的輸出觸覺信號(hào)。觸覺信號(hào)430、431、432和435是相同輸入源信號(hào)的不同觸覺信號(hào)表示，但是以不同的采樣率提供。例如，觸覺信號(hào)I 430可以處于I倍速，S卩，處于與輸入源信號(hào)相同的采樣率。觸覺信號(hào)2 431可以處于0.7倍速、觸覺信號(hào)3 432可以處于2倍速，并且觸覺信號(hào)N 435可以處于4倍速，其中這些不同的速度是原始輸入源信號(hào)的采樣率的倍數(shù)。這些僅僅是示例并且不同的觸覺信號(hào)可以以任何離散的速度提供。結(jié)果產(chǎn)生的觸覺信號(hào)430、431、432和435當(dāng)中每一個(gè)可以表示用于觸覺輸入源的準(zhǔn)確觸覺信號(hào)，因?yàn)槊總€(gè)信號(hào)可以由觸覺設(shè)計(jì)者單獨(dú)創(chuàng)作，其中觸覺設(shè)計(jì)者可以識(shí)別“關(guān)鍵時(shí)刻”并且手動(dòng)對(duì)準(zhǔn)這些并且可以基于它們相對(duì)于對(duì)應(yīng)事件應(yīng)當(dāng)多長(zhǎng)來內(nèi)插觸覺信號(hào)。但是，對(duì)于大量的觸覺信號(hào)，讓觸覺設(shè)計(jì)者產(chǎn)生所需那么多的觸覺信號(hào)-每個(gè)倍數(shù)一個(gè)-是乏味或不切實(shí)際的。
[0066]圖5示出了根據(jù)本發(fā)明實(shí)施例的靜態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。流程開始并進(jìn)行到510。在510，確定期望的回放速率。這可以通過指示對(duì)其期望伴隨觸覺信號(hào)的輸入(諸如像視頻或音頻的媒體元素，或傳感器輸入)的回放速率的加速或減慢的設(shè)置來確定。在520，輸入數(shù)據(jù)可以基于期望的回放速率被重新采樣。適當(dāng)?shù)牟蓸蛹夹g(shù)包括丟棄幀、插入幀、利用插值插入幀，插值諸如是線性、多項(xiàng)式、樣條、高斯、最近鄰居，或其它重新采樣技術(shù)。所選的重新采樣技術(shù)可以基于輸入數(shù)據(jù)的類型或源。例如，利用一種技術(shù)重新采樣音頻可以被使用，并且利用另一種技術(shù)重新采樣視頻可以被使用。
[0067]在530，重新采樣的輸入數(shù)據(jù)被轉(zhuǎn)換成觸覺信號(hào)。轉(zhuǎn)換工具可以將輸入信號(hào)提供到觸覺信號(hào)轉(zhuǎn)換。因?yàn)檩斎胄盘?hào)被重新采樣，所以所產(chǎn)生的觸覺信號(hào)將處于期望的回放速率。在540，可以接收播放觸覺信號(hào)的指令。在550，至少觸覺信號(hào)的一部分可以被發(fā)送到觸覺輸出設(shè)備，諸如上面結(jié)合圖1所描述的觸覺輸出設(shè)備之一。然后，流程結(jié)束。
[0068]重新采樣輸入信號(hào)可以附加地或者代替通常用來生成觸覺信號(hào)的另一重新采樣操作進(jìn)行。例如，在正常的回放情況下，傳感器的數(shù)據(jù)可以在IkHz被捕獲，然后上采樣到SkHz并被利用觸覺轉(zhuǎn)換器轉(zhuǎn)換為觸覺軌道。在2倍回放的情況下，傳感器數(shù)據(jù)可以被再次上采樣(或代替地)至16kHz并利用相同的觸覺轉(zhuǎn)換器被轉(zhuǎn)換，以產(chǎn)生2倍的觸覺信號(hào)。同樣，對(duì)于4倍回放，傳感器數(shù)據(jù)可以被上采樣到32kHz并被轉(zhuǎn)換為觸覺信號(hào)，以產(chǎn)生4倍的觸覺信號(hào)。對(duì)于0.5倍回放，傳感器數(shù)據(jù)可以被上采樣至4kHz并被轉(zhuǎn)換。類似地，如果傳感器數(shù)據(jù)被下采樣至200Hz以生成正常觸覺信號(hào)，則它可以被下采樣至低于400Hz，以生成2倍觸覺信號(hào)或進(jìn)一步下采樣至10Hz，以生成0.5倍觸覺信號(hào)。
[0069]圖6示出了根據(jù)一種實(shí)施例、通過重新采樣輸入信號(hào)對(duì)觸覺信號(hào)進(jìn)行靜態(tài)調(diào)節(jié)的系統(tǒng)。輸入信號(hào)源610可以向輸入信號(hào)重新采樣器615提供一個(gè)或多個(gè)輸入信號(hào)。如上所述，每個(gè)輸入信號(hào)可以來自任何輸入源，包括音頻、視頻、一個(gè)或多個(gè)傳感器或者它們的任意組合。輸入信號(hào)重新采樣器615可以重新采樣一個(gè)或多個(gè)輸入信號(hào)，以便使它們更慢(S卩，通過拉長(zhǎng)它們而更長(zhǎng))或更快(即，通過壓縮它們而更短)。給定輸入信號(hào)的初始采樣率和對(duì)應(yīng)的轉(zhuǎn)換算法需求(即，不同類型的輸入信號(hào)可以具有用于不同需求的不同轉(zhuǎn)換算法)，這一個(gè)或多個(gè)輸入信號(hào)可以各自在不同的速率被重新采樣。重新采樣的一個(gè)或多個(gè)輸入信號(hào)可以被提供給觸覺信號(hào)轉(zhuǎn)換器620，觸覺信號(hào)轉(zhuǎn)換器620將取得一個(gè)或多個(gè)重新采樣的信號(hào)并將其轉(zhuǎn)換成一個(gè)觸覺信號(hào)630。
[0070]圖7示出了根據(jù)本發(fā)明實(shí)施例的靜態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。觸覺信號(hào)已經(jīng)基于一個(gè)或多個(gè)輸入信號(hào)被創(chuàng)作或提供。流程開始并前進(jìn)到710。在710，確定期望的回放速率。這可以通過指示對(duì)應(yīng)于觸覺信號(hào)的、觸覺信號(hào)被設(shè)計(jì)為伴隨的媒體元素的回放速率的加速或放慢的設(shè)置來確定。在720，觸覺信號(hào)可以被重新采樣，以拉伸或收縮觸覺信號(hào)的回放時(shí)間。例如，為了收縮觸覺信號(hào)，樣本可被丟棄、求平均(即，被多個(gè)樣本的平均值替換)，或者由通過組合它們的值的另一個(gè)值或特征來表示。為了拉伸觸覺信號(hào)，附加的樣本可以被添加。樣本可以利用上面討論的技術(shù)來添加，包括插入零值樣本、利用插值插入樣本，諸如線性、多項(xiàng)式、樣條、高斯、最近鄰居等等。在一些實(shí)施例中，觸覺信號(hào)的回放速率可以代替地被更改。例如，具有8kHz回放速率的觸覺信號(hào)可以代替地在1kHz被播放，有效地收縮信號(hào)達(dá)25%?；蛘?，例如，具有8kHz回放速率的觸覺信號(hào)可以代替地在4kHz被播放，有效地拉伸信號(hào)達(dá)200%。
[0071]在一些實(shí)施例中，音頻處理工具可以用于重新采樣。觸覺信號(hào)可以被視為音頻軌道并利用在音頻處理工具箱中實(shí)現(xiàn)的拉伸/收縮過濾器來處理。在730，可以接收播放重新采樣的觸覺信號(hào)的指令。在740，至少重新采樣的觸覺信號(hào)的一部分可以被發(fā)送到觸覺輸出設(shè)備，諸如上面結(jié)合圖1所描述的觸覺輸出設(shè)備之一。觸覺信號(hào)可以以原始采樣率被播放，因?yàn)樵撔盘?hào)本身已被更改。然后流程結(jié)束。
[0072]圖8示出了根據(jù)一種實(shí)施例、通過重新采樣觸覺信號(hào)對(duì)觸覺信號(hào)進(jìn)行靜態(tài)調(diào)節(jié)的系統(tǒng)。輸入信號(hào)源810可以向觸覺信號(hào)發(fā)生器或轉(zhuǎn)換器820提供一個(gè)或多個(gè)輸入信號(hào)。觸覺信號(hào)發(fā)生器或轉(zhuǎn)換器820可以利用觸覺創(chuàng)作工具(未繪出)或觸覺轉(zhuǎn)換器從這一個(gè)或多個(gè)輸入信號(hào)創(chuàng)建觸覺信號(hào)。觸覺設(shè)計(jì)者可以基于這一個(gè)或多個(gè)輸入信號(hào)使用觸覺創(chuàng)作工具來創(chuàng)建觸覺信號(hào)。觸覺轉(zhuǎn)換器可以將一個(gè)或多個(gè)輸入信號(hào)轉(zhuǎn)換為單個(gè)或組合的觸覺信號(hào)。結(jié)果產(chǎn)生的觸覺信號(hào)可被提供給觸覺信號(hào)重新采樣器825。觸覺信號(hào)重新采樣器可以重新采樣信號(hào)，以基于期望的回放速率輸入或設(shè)置提供拉伸或收縮的觸覺信號(hào)。為了收縮觸覺信號(hào)，觸覺重新采樣器825可以丟棄樣本、求它們的平均值(S卩，用多個(gè)樣本的平均替換兩個(gè)或更多個(gè))，或者通過組合它們的值的另一個(gè)值或特征表示樣本值。為了拉伸觸覺信號(hào)，觸覺重新采樣器825可以利用諸如插入零值樣本，利用線性插值確定的值插入樣本，利用最近鄰值確定的值插入樣本，或者利用從其它重新采樣技術(shù)得出的值插入幀的技術(shù)添加樣本。重新采樣的觸覺信號(hào)可被提供給觸覺輸出設(shè)備830，其可以對(duì)應(yīng)于圖1的觸覺輸出設(shè)備26。
[0073]拉伸或收縮觸覺信號(hào)，諸如由圖7的流程或圖8的系統(tǒng)所提供的，可能會(huì)在觸覺軌道中造成假象，因?yàn)樾聞?chuàng)建的觸覺信號(hào)會(huì)產(chǎn)生可能感覺到稍有不同步的觸覺效果。例如，在滑雪視頻剪輯中，滑雪板著陸可以伴隨覆蓋正常回放的視頻的2幀的觸覺效果。為了將回放延伸8倍的慢動(dòng)作回放，相同的效果會(huì)被拉長(zhǎng)到視頻的16幀。但是，慢動(dòng)作播放可以顯示著陸僅持續(xù)新視頻信號(hào)的4幀，這使得觸感效果對(duì)于剩余的12幀造成干擾、不相干并感覺到不同步。圖9的流程可以提供針對(duì)這個(gè)問題的解決方案。
[0074]圖9示出了根據(jù)本發(fā)明實(shí)施例的靜態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。觸覺信號(hào)已經(jīng)基于一個(gè)或多個(gè)輸入信號(hào)被創(chuàng)作或提供。流程開始并前進(jìn)到910。在910，確定期望的回放速率。這可以通過指示對(duì)應(yīng)于觸覺信號(hào)的、觸覺信號(hào)被設(shè)計(jì)為伴隨的媒體元素的回放速率的加速或放慢的設(shè)置來確定。在920，輸入的數(shù)據(jù)可以基于期望的回放速率被重新采樣。適當(dāng)?shù)闹匦虏蓸蛹夹g(shù)在以上進(jìn)行了討論并且可以包括丟棄幀、插入幀、利用插值插入幀，插值諸如線性、多項(xiàng)式、樣條、高斯、最近鄰居等等，或其它的重新采樣技術(shù)。所選擇的重新采樣技術(shù)可以基于輸入數(shù)據(jù)的類型或源而不同。例如，利用一種技術(shù)重新采樣音頻可以被使用并且利用另一種技術(shù)重新采樣視頻可以被使用。
[0075]例如，視頻回放可以以不同的方式放慢。給定30fps的“正?！被胤潘俣?，視頻通常顯示33.333ms。以120fps捕獲并以30fps回放的視頻將被感知為4倍慢動(dòng)作視頻。通過丟棄每隔一幀，從而120fps中僅60fps可用，120fps的視頻可以被感知為2倍慢動(dòng)作，但是仍然顯示每幀33.333ms。通過顯示每一幀超過33.333ms長(zhǎng)，以30fps捕獲的視頻可以提供慢動(dòng)作效果。例如，如果每一幀代替地被顯示10ms (1fps )，則視頻將看起來比正常速度慢3倍。通過在每一幀之間插入另一幀并且利用相鄰幀的值內(nèi)插所插入的幀的值，以30fps捕獲的視頻可以提供2倍慢動(dòng)作。
[0076]在930，一個(gè)或多個(gè)“關(guān)鍵輸入事件”在一個(gè)或多個(gè)輸入源信號(hào)中被識(shí)別。當(dāng)識(shí)別出“關(guān)鍵輸入事件”時(shí)，事件的定時(shí)和持續(xù)時(shí)間被估計(jì)。如上所述，“關(guān)鍵輸入事件”是具有一個(gè)或多個(gè)指定特性(例如，頻率、振幅、包絡(luò)等等)的輸入數(shù)據(jù)的一部分。例如，可以發(fā)現(xiàn)關(guān)鍵輸入事件，其中一個(gè)或多個(gè)指定的特性滿足可以與將觸發(fā)觸覺輸出的事件關(guān)聯(lián)的某個(gè)閾值或模式。這個(gè)想法是因?yàn)槭录蟛糠謺r(shí)間是瞬時(shí)的，因而，例如，在視頻源中放慢該事件并不一定放慢觸覺相同的量。瞬時(shí)事件將被強(qiáng)調(diào)為在放慢的剪輯中更謹(jǐn)慎。例如，在正?；胤胖?，猛擊(punch)會(huì)對(duì)視頻的單個(gè)幀發(fā)生。在8倍慢動(dòng)作，相同的猛擊在慢動(dòng)作回放中仍然對(duì)視頻的單個(gè)幀而不是8幀發(fā)生。但是，對(duì)于滑雪板，一些事件可能在慢動(dòng)作中仍然跨越多個(gè)幀，但不會(huì)跨越兩倍數(shù)量的幀。例如，爆炸在視頻的正?；胤胖锌梢钥缭?幀，在視頻的慢動(dòng)作回放中可以跨越8幀(但不是16幀)。
[0077]任何可用的有效數(shù)據(jù)都可被用來嘗試和定位關(guān)鍵輸入事件的確切時(shí)刻及其持續(xù)時(shí)間。例如，滑雪板例子也可以具有作為可用有效數(shù)據(jù)的輸入感官數(shù)據(jù)，包括陀螺儀和加速計(jì)饋送。這些饋送可被用來找出比可以由視頻饋送所提供的更具體的關(guān)鍵事件定時(shí)。
[0078]有效數(shù)據(jù)信號(hào)是描述利用小于要顯示的幀之間的原始時(shí)間間隙的采樣時(shí)間間隙捕獲的媒體內(nèi)容(音頻、視頻或傳感器)的任何數(shù)據(jù)。例如，在以120f ps捕獲的4倍慢動(dòng)作視頻中，所有可用的幀都可以由通過以30fps回放所捕獲的幀而被使用。每幀的開始之間的時(shí)間間隙是8.333ms，如所捕獲的。對(duì)于有效的數(shù)據(jù)信號(hào)，它也應(yīng)當(dāng)具有120Hz或更高的采樣率。否則，會(huì)引入錯(cuò)誤。例如，如果采樣率只有20Hz，則樣本之間存在50ms。使關(guān)鍵時(shí)刻基于這個(gè)數(shù)據(jù)偏離會(huì)將視頻的關(guān)鍵時(shí)刻偏移多達(dá)6幀，這將導(dǎo)致差的觸覺效果，如下面更詳細(xì)解釋的。在以120fps捕獲的2倍慢動(dòng)作視頻中，每隔一幀可以被丟棄，從而導(dǎo)致60fps和所顯示的幀之間16.667ms的時(shí)間間隙，如最初顯示的那樣。在這里，有效數(shù)據(jù)信號(hào)可以以60Hz或更高被采樣。定位事件定時(shí)和持續(xù)時(shí)間可以通過用于視覺信息數(shù)據(jù)的計(jì)算機(jī)視覺技術(shù)(例如，塊和邊緣分析)或者用于其它數(shù)據(jù)類型的任何其它適當(dāng)?shù)囊纛l或信號(hào)處理方法(例如，頻率分析、包絡(luò)分析、聲學(xué)事件檢測(cè)等等)來進(jìn)行。
[0079]在940，一個(gè)或多個(gè)“關(guān)鍵觸覺事件”可以在觸覺信號(hào)中被識(shí)別，其中觸覺信號(hào)對(duì)應(yīng)于從原始的一個(gè)或多個(gè)輸入信號(hào)創(chuàng)建的觸覺信號(hào)。如上所述，“關(guān)鍵觸覺事件”是具有一個(gè)或多個(gè)指定特性(例如，頻率、振幅、包絡(luò)等等)的觸覺數(shù)據(jù)的一部分。在950，每個(gè)關(guān)鍵觸覺事件可以在觸覺流中被移位，以對(duì)應(yīng)于重新采樣的輸入數(shù)據(jù)的關(guān)鍵輸入事件，來創(chuàng)建新的移位觸覺信號(hào)。在將關(guān)鍵觸覺事件移位到關(guān)鍵輸入事件時(shí)，關(guān)鍵觸覺事件(以及關(guān)聯(lián)的觸覺輸出信號(hào))的對(duì)準(zhǔn)可以比簡(jiǎn)單地重新采樣觸覺信號(hào)更準(zhǔn)確地實(shí)現(xiàn)。但是，移位現(xiàn)有的觸覺信號(hào)，而不是從重新采樣的輸入數(shù)據(jù)創(chuàng)建新的觸覺信號(hào)，可以被更高效地實(shí)現(xiàn)。關(guān)鍵輸入事件與關(guān)鍵觸覺事件的對(duì)準(zhǔn)可以根據(jù)先前描述的標(biāo)準(zhǔn)進(jìn)行，即，當(dāng)關(guān)鍵觸覺事件的位置:或者(a)與關(guān)鍵輸入事件的位置完全相同；或者(b)基本上與關(guān)鍵輸入事件的位置完全相同時(shí)，關(guān)鍵觸覺事件的位置與關(guān)鍵輸入事件的位置對(duì)準(zhǔn)，其中由輸出設(shè)備基于關(guān)鍵輸入效果輸出的效果與由觸覺輸出設(shè)備基于關(guān)鍵觸覺效果輸出的觸覺效果都幾乎同時(shí)發(fā)生或被體驗(yàn)。
[0080]在960，在關(guān)鍵觸覺事件的觸覺信號(hào)可以可選地被拉伸或收縮，以便與關(guān)鍵輸入事件的幀數(shù)或持續(xù)時(shí)間一致。例如，重新采樣信號(hào)的關(guān)鍵輸入事件可以持續(xù)30幀。關(guān)鍵觸覺事件可以持續(xù)10幀。對(duì)應(yīng)于關(guān)鍵觸覺事件的觸覺信號(hào)可以被拉伸，以便與在30幀的輸入事件一致或者與在20幀的輸入事件(或者一些其它數(shù)量的幀)部分地一致。例如，如果關(guān)鍵輸入事件是爆炸，則初始爆炸可以持續(xù)15幀，對(duì)應(yīng)的關(guān)鍵觸覺事件持續(xù)20幀。如果期望的回放速率是將回放放慢到0.5倍速度，則輸入信號(hào)可通過重新采樣被拉伸到30幀。但是，重新采樣的輸入數(shù)據(jù)可以指示關(guān)鍵輸入事件實(shí)際在新重新采樣的數(shù)據(jù)的相對(duì)幀2開始發(fā)生。對(duì)應(yīng)于該關(guān)鍵觸覺事件的觸覺信號(hào)可以被移位到關(guān)鍵輸入事件，以便在幀2開始并延伸20幀。接下來，觸覺關(guān)鍵事件信號(hào)可被拉伸另外9幀，以匹配關(guān)鍵輸入事件的持續(xù)時(shí)間。
[0081]在970，可以接收播放移位的觸覺信號(hào)的指令。在980，移位的觸覺信號(hào)的至少一部分可以被發(fā)送到觸覺輸出設(shè)備，諸如上面結(jié)合圖1所述的觸覺輸出設(shè)備之一。然后流程結(jié)束。
[0082]如以上所討論的，視頻回放可以以不同方式放慢。例如，以120fps捕獲的視頻可以以30fps被回放，以便被感知為4倍慢動(dòng)作視頻。在這種情況下，如以上所討論的，處于120Hz或以上的任何有效數(shù)據(jù)信號(hào)都可被用來定位關(guān)鍵輸入事件。
[0083]在30fps捕獲的視頻可以通過顯示每一幀比33.333ms更長(zhǎng)時(shí)間來提供慢動(dòng)作效果，例如，100ms(1fps)用于3倍慢動(dòng)作。在這種情況下，如以上所討論的，在30Hz或以上的有效數(shù)據(jù)信號(hào)可以被使用。雖然在正?；胤胖杏|覺效果可以跨越3幀，但是，通過找出最靠近局部化時(shí)間的中心幀，圖9的流程中所描述的技術(shù)可被用來將觸覺效果局部化到中心幀。而且，觸覺效果可被拉伸或收縮，以便對(duì)整個(gè)幀播放，即使事件可以利用在120Hz捕獲的有效數(shù)據(jù)信號(hào)進(jìn)行局部化，使得事件實(shí)際上可以在短于10ms的時(shí)間發(fā)生。換句話說，觸覺效果可以被調(diào)節(jié)，以便與視頻幀，而不是絕對(duì)定時(shí)，對(duì)齊。從而，視頻回放可以被調(diào)節(jié)為2倍，或66.667ms并且觸覺信號(hào)將仍然與幀對(duì)齊，無論是開始時(shí)刻還是持續(xù)時(shí)間。作為例子，幀序列通常被顯示為1、2、3。對(duì)應(yīng)的觸覺信號(hào)可以被輸出為x、x、x(其中“X”是觸覺效果)，持續(xù)1001118。如果顯示每一幀更長(zhǎng)，在3倍，則幀將被顯示為1、1、1，2、2、2、3、3、3。如果觸覺信號(hào)被拉伸以進(jìn)行補(bǔ)償，則觸覺信號(hào)將被輸出為χ、χ、χ、χ、χ、χ、χ、χ、χ，持續(xù)300ms。關(guān)鍵時(shí)刻分析可以確定關(guān)鍵時(shí)刻最靠近幀2發(fā)生。在前三幀和最后三幀中回放觸覺效果將超出典型的感知整合窗口閾值并且因此用戶將注意到結(jié)果產(chǎn)生的觸覺效果不與視頻對(duì)齊。利用圖9的流程，觸覺信號(hào)可以與幀2關(guān)聯(lián)，使得觸覺信號(hào)輸出如下:0、0、0、1、1^、0、0、0。
[0084]在30fps捕獲的視頻可以通過在每一幀之間插入另一個(gè)幀并且利用相鄰幀的值來內(nèi)插所插入的幀的值提供2倍慢動(dòng)作。在這種情況下，有效采樣率被內(nèi)插成60fps。從而，有效數(shù)據(jù)信號(hào)應(yīng)當(dāng)以60Hz或以上被采樣，以局部化關(guān)鍵輸入事件。
[0085]為了繼續(xù)上述滑雪板例子，圖9的流程可以識(shí)別重新采樣的輸入信號(hào)的關(guān)鍵輸入事件，從而產(chǎn)生對(duì)應(yīng)于滑雪板著陸并占用4幀的所識(shí)別出的關(guān)鍵輸入事件。觸覺信號(hào)可以為關(guān)鍵觸覺事件而被分析并且對(duì)齊到關(guān)鍵輸入事件。然后，2幀觸覺信號(hào)可以被拉伸成4幀，以便與關(guān)鍵輸入事件一致。
[0086]在另一個(gè)例子中，拳擊比賽可以利用觸覺反饋增強(qiáng)。當(dāng)重放擊倒猛擊時(shí)，如果不拉伸觸覺效果，則觸覺效果可能會(huì)消失，因?yàn)榭赡軟]有任何方式來拉伸觸覺信息。在另一配置中，該系統(tǒng)可以簡(jiǎn)單地將觸覺信號(hào)放慢與對(duì)應(yīng)的視頻信號(hào)相同的量并且結(jié)果產(chǎn)生的觸覺效果可能不正確地與視頻信號(hào)對(duì)齊，從而破壞觸覺效果。這在正常回放速度中可能不是問題，因?yàn)樾Ч矔?huì)迅速覆蓋實(shí)際猛擊前后的幀，但不是以可與猛擊著陸辨別的方式。在另一配置中，在慢回放速度，觸覺信號(hào)可以基于在重新采樣的信號(hào)中發(fā)現(xiàn)的關(guān)鍵輸入事件和觸覺信號(hào)中的關(guān)鍵觸覺事件而移位。觸覺信號(hào)可以進(jìn)一步被拉伸以與關(guān)鍵輸入事件持續(xù)時(shí)間一致。
[0087]圖10示出了根據(jù)一種實(shí)施例、通過分析關(guān)鍵事件對(duì)觸覺信號(hào)進(jìn)行靜態(tài)調(diào)節(jié)的系統(tǒng)。輸入信號(hào)源1010可以向觸覺信號(hào)發(fā)生器1020提供一個(gè)或多個(gè)輸入信號(hào)。輸入信號(hào)源1010還可以向觸覺信號(hào)發(fā)生器1020提供一個(gè)或多個(gè)輸入信號(hào)。如上所述，每個(gè)輸入信號(hào)可以來自任何輸入源，包括音頻、視頻、一個(gè)或多個(gè)傳感器或者它們的任意組合。輸入信號(hào)重新采樣器1020可以重新采樣一個(gè)或多個(gè)輸入信號(hào)，以便使它們更慢(S卩，通過拉長(zhǎng)它們而更長(zhǎng))或更快(即，通過壓縮它們而更短)。重新采樣的一個(gè)或多個(gè)輸入信號(hào)可以提供給關(guān)鍵輸入事件分析器1040，關(guān)鍵輸入事件分析器1040可以取得一個(gè)或多個(gè)重新采樣的信號(hào)并識(shí)別輸入數(shù)據(jù)中的關(guān)鍵事件。來自觸覺信號(hào)發(fā)生器1020的觸覺信號(hào)可被提供給關(guān)鍵觸覺事件分析器1050并且識(shí)別觸覺信號(hào)中的關(guān)鍵事件。觸覺信號(hào)移位器1060可以移位觸覺信號(hào)，以便與關(guān)鍵輸入事件對(duì)齊，并提供經(jīng)修改的觸覺信號(hào)。經(jīng)修改的觸覺信號(hào)可以可選地由觸覺拉伸或收縮調(diào)節(jié)器1070在觸覺信號(hào)中的一個(gè)或多個(gè)關(guān)鍵觸覺事件外被拉伸或收縮。觸覺拉伸或收縮調(diào)節(jié)器1070可以向觸覺輸出設(shè)備1080提供進(jìn)一步修改的觸覺信號(hào)。在沒有觸覺拉伸或收縮調(diào)節(jié)器1070的實(shí)施例中，來自觸覺信號(hào)移位器1060的經(jīng)修改的觸覺信號(hào)可被直接提供給觸覺輸出設(shè)備1080。觸覺輸出設(shè)備1080可以播放觸覺信號(hào)的至少一部分并提供觸覺效果O
[0088]在動(dòng)態(tài)觸覺回放調(diào)節(jié)系統(tǒng)中，觸覺信號(hào)可以連同媒體元素一起被播放。媒體元素可以是可具有對(duì)應(yīng)觸覺效果的任何類型的視頻、動(dòng)畫、視覺警報(bào)、音頻、聽覺警報(bào)或游戲效果。媒體元素的一個(gè)例子可以是短視頻動(dòng)畫，諸如聊天會(huì)話中的貼紙(sticker)動(dòng)畫可以連同對(duì)應(yīng)的觸覺信號(hào)一起播放，當(dāng)其在觸覺輸出設(shè)備上呈現(xiàn)或播放時(shí)，提供觸覺效果。依賴于動(dòng)畫在其上播放的設(shè)備，觸覺信息可以以與動(dòng)畫不同的回放速率播放。例如，動(dòng)畫可以在具有快速處理器或者很少后臺(tái)進(jìn)程運(yùn)行的設(shè)備上快速播放，或者動(dòng)畫可以在具有慢速處理器或者許多后臺(tái)進(jìn)程運(yùn)行的設(shè)備上更慢地播放。而且，依賴于媒體元素，諸如動(dòng)畫，動(dòng)畫可以具有其中多個(gè)元素在運(yùn)動(dòng)的部分，從而使動(dòng)畫更慢地播放，因?yàn)榛胤畔到y(tǒng)應(yīng)付處理動(dòng)畫的所有元素。動(dòng)畫的回放中的任何變化都會(huì)引起對(duì)應(yīng)的觸覺信號(hào)的回放變得不與媒體元素同步。不僅觸覺效果將不具有增強(qiáng)動(dòng)畫的預(yù)期效果，而且將有可能減損動(dòng)畫的有效性。
[0089]在一些實(shí)施例中，觸覺信號(hào)的回放速度可以基于參數(shù)，諸如與傳感器關(guān)聯(lián)的參數(shù)，被動(dòng)態(tài)調(diào)節(jié)。例如，指定手指在觸摸屏上的移動(dòng)速率的參數(shù)可以對(duì)應(yīng)于基于紋理的觸覺效果，其基于運(yùn)動(dòng)的速率而變。另一個(gè)參數(shù)可以是對(duì)應(yīng)于設(shè)備的地面速度的傳感器的輸出。
[0090]圖11示出了根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。流程開始并前進(jìn)到1110。在1110，以對(duì)應(yīng)于多個(gè)回放速率當(dāng)中每一個(gè)的比特率生成觸覺信號(hào)。每個(gè)生成的觸覺信號(hào)可以單獨(dú)創(chuàng)作或者得自來自一個(gè)或多個(gè)輸入信號(hào)的數(shù)據(jù)的轉(zhuǎn)換處理?；胤潘俾士梢曰诿總€(gè)觸覺信號(hào)的比特率而變。例如，具有200bps比特率的觸覺信號(hào)可以表示正?；胤潘俣取＞哂?00bps比特率的觸覺信號(hào)可以表示是正?；胤潘俣鹊乃俣鹊?.5倍的快速回放速度。這是因?yàn)橛|覺信號(hào)中相同的數(shù)據(jù)量可以以每秒更快的速率被播放，從而導(dǎo)致更快的回放。類似地，具有10bps比特率的觸覺信號(hào)可以表示是正?；胤潘俣鹊乃俣鹊?br>0.5倍的慢回放速度。每個(gè)單個(gè)的觸覺信號(hào)都可以進(jìn)一步被調(diào)節(jié)，以便除比特率之外還調(diào)節(jié)觸覺信號(hào)的值。在1120，每個(gè)觸覺信號(hào)可以被組合到單個(gè)文件或容器中。這些可以被多路復(fù)用、交織或一個(gè)接一個(gè)列出，具有描述每個(gè)觸覺信號(hào)在文件中什么地方開始和/或結(jié)束的指針或頭部。
[0091]在1130，播放觸覺信號(hào)的指令可以被接收并且觸覺信號(hào)的回放被啟動(dòng)。在1140，可以確定期望的回放速率。期望的回放速率可以基于對(duì)應(yīng)媒體元素的一個(gè)或多個(gè)回放速率、播放媒體元素和觸覺信號(hào)的設(shè)備的已知能力、或者計(jì)算出的媒體元素和觸覺信號(hào)的實(shí)際回放之間的不足來確定。例如，計(jì)算出的不足可以指出媒體元素比觸覺元素播放得更快。在回放速率基于參數(shù)的實(shí)施例中，期望的回放速率可以基于該參數(shù)來確定，參數(shù)例如是手指在觸摸屏上的運(yùn)動(dòng)速率或者設(shè)備的地面速度。在1150，觸覺信號(hào)可以從可用觸覺信號(hào)的文件或容器中選擇，其中所選的信號(hào)對(duì)應(yīng)于期望的回放速率。在1160，所選觸覺信號(hào)的至少一部分可以被發(fā)送到觸覺輸出設(shè)備。在1170，如果剩余更多的觸覺信號(hào)要播放，則流程可以繼續(xù)返回到1140，以確定期望的回放速率是否應(yīng)當(dāng)再次被調(diào)節(jié)。在1170，如果沒有剩余更多的觸覺信號(hào)要播放，則流程可以結(jié)束。
[0092]圖12示出了根據(jù)一種實(shí)施例、通過選擇觸覺信號(hào)對(duì)觸覺信號(hào)進(jìn)行動(dòng)態(tài)調(diào)節(jié)的系統(tǒng)。一個(gè)或多個(gè)輸入信號(hào)源1210可以被提供給觸覺信號(hào)發(fā)生器1220，以產(chǎn)生多個(gè)觸覺信號(hào)，每個(gè)觸覺信號(hào)處于不同的比特率，以表示觸覺信號(hào)的不同回放速度。觸覺信號(hào)I 1230可以處于第一比特率;觸覺信號(hào)2 1231可以處于另一比特率;觸覺信號(hào)31232可以處于另一比特率;觸覺信號(hào)N 1235可以處于另一比特率，等等。所有的觸覺信號(hào)都可以被包含在文件或容器1240中。容器1240可被提供給觸覺回放信號(hào)選擇器1250，觸覺回放信號(hào)選擇器1250可以動(dòng)態(tài)地選擇觸覺信號(hào)播放，具有伴隨的媒體元素(未示出)，或者響應(yīng)于參數(shù)并向觸覺輸出設(shè)備1260提供所選的觸覺信號(hào)。
[0093]圖13示出了根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。觸覺信號(hào)已經(jīng)從與輸入源相關(guān)的輸入數(shù)據(jù)創(chuàng)建。流程開始并前進(jìn)到1310。在1310，觸覺信號(hào)可以被接收，以便在觸覺輸出設(shè)備上播放。在1320，切割點(diǎn)可以被選擇，用于將觸覺信號(hào)切割成子觸覺信號(hào)。如上所述，子觸覺信號(hào)是包括指示該子觸覺信號(hào)在觸覺信號(hào)中的位置的索引的觸覺信號(hào)的一部分。子觸覺信號(hào)切割點(diǎn)可以在觸覺信號(hào)中觸覺沉默(零值)點(diǎn)或幾乎沉默點(diǎn)的地方被發(fā)現(xiàn)。子觸覺信號(hào)的數(shù)目可以是可配置的并且可以匹配媒體元素的幀數(shù)。子觸覺信號(hào)切割點(diǎn)也可以對(duì)應(yīng)于對(duì)應(yīng)媒體元素的幀的開始。在1330，觸覺信號(hào)可以在切割點(diǎn)被分割成子觸覺信號(hào)并且索引可以被指定給每個(gè)子觸覺信號(hào)。在一些實(shí)施例中，子觸覺信號(hào)可以在回放被啟動(dòng)之前創(chuàng)建，例如，在觸覺信號(hào)創(chuàng)建之后但是在請(qǐng)求觸覺信號(hào)的回放之前。在一些實(shí)施例中，子觸覺信號(hào)可以在回放已經(jīng)被啟動(dòng)之后創(chuàng)建。在1340，在一些實(shí)施例中，子觸覺信號(hào)優(yōu)先級(jí)值還可以可選地被指定給每個(gè)子觸覺信號(hào)。例如，包含比相鄰子觸覺信號(hào)更少觸覺信息或更低觸覺值的子觸覺信號(hào)可以被指定更低的優(yōu)先級(jí)。
[0094]在1350，子觸覺信號(hào)可以被選擇為基于子觸覺信號(hào)索引以及，如果適用的話，優(yōu)先級(jí)索引進(jìn)行播放。例如，媒體元素可以參考子觸覺信號(hào)索引并且，當(dāng)在媒體元素的回放中遇到每個(gè)索引時(shí)，子觸覺信號(hào)被選擇。在1360，選定的子觸覺信號(hào)可以被發(fā)送到觸覺輸出設(shè)備。如果觸覺輸出設(shè)備已經(jīng)在播放子觸覺信號(hào)，則在一些實(shí)施例中，子觸覺信號(hào)的回放可以被打斷，以播放新子觸覺信號(hào)，而在其它實(shí)施例中，這兩個(gè)子觸覺信號(hào)的回放可以對(duì)重疊的時(shí)段同時(shí)發(fā)生。在1370，當(dāng)子觸覺信號(hào)已經(jīng)播放完畢時(shí)，沒有其它子觸覺信號(hào)將播放，直到選擇另一子觸覺信號(hào)。在1380，如果有附加子觸覺信號(hào)要播放，則流程將繼續(xù)至1350，以選擇另一子觸覺信號(hào)，并且如果沒有其它子觸覺信號(hào)要播放，則流程將結(jié)束。利用圖13的流程，觸覺信號(hào)的回放可以根據(jù)媒體元素的播放速度或輸入?yún)?shù)來調(diào)節(jié)?；胤趴梢詣?dòng)態(tài)地調(diào)節(jié)，使得如果媒體元素回放放慢(可能是由于回放設(shè)備上后臺(tái)活動(dòng)性的增加或者是由于媒體元素中的復(fù)雜性)或者參數(shù)指定更慢的回放，則對(duì)應(yīng)的觸覺回放也可以通過延遲下一個(gè)子觸覺信號(hào)的回放來放慢。另外，例如，如果對(duì)應(yīng)媒體元素的回放比觸覺信號(hào)將播放得更快，或者如果參數(shù)指定觸覺信號(hào)比正?；胤潘俣鹊母旎胤?，低優(yōu)先級(jí)的子觸覺信號(hào)可以被跳過。
[0095]圖14示出了根據(jù)一種實(shí)施例、通過選擇子觸覺信號(hào)對(duì)觸覺信號(hào)進(jìn)行動(dòng)態(tài)調(diào)節(jié)的系統(tǒng)。觸覺信號(hào)源1410可以向觸覺信號(hào)分析器1420提供觸覺信號(hào)，用于選擇觸覺信號(hào)的切割點(diǎn)。觸覺信號(hào)分離器1430可以使用切割點(diǎn)將觸覺信號(hào)切割成子觸覺信號(hào)I 1440、子觸覺信號(hào)2 1441、子觸覺信號(hào)3 1442，依此類推到子觸覺信號(hào)N1445。子觸覺信號(hào)可被組織成觸覺信號(hào)。觸覺信號(hào)可作為子觸覺信號(hào)流被發(fā)送到子觸覺信號(hào)回放選擇器1250，子觸覺信號(hào)回放選擇器1250將基于子觸覺信號(hào)的索引選擇子觸覺信號(hào)來播放。用于子觸覺信號(hào)的可選優(yōu)先級(jí)值也可以在選擇子觸覺信號(hào)時(shí)被子觸覺信號(hào)回放選擇器1250用作評(píng)估的附加標(biāo)準(zhǔn)。所選的子觸覺信號(hào)可以被發(fā)送到觸覺輸出設(shè)備1260供回放，從而產(chǎn)生觸覺效果。
[0096]圖15示出了根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。觸覺信號(hào)已經(jīng)從與輸入源相關(guān)的輸入數(shù)據(jù)創(chuàng)建。流程開始并前進(jìn)到1510。觸覺信號(hào)可以被接收。在1520，觸覺信號(hào)可以被劃分為觸覺塊。如上所述，觸覺塊是觸覺信號(hào)的一部分。觸覺信號(hào)的劃分可以或者在觸覺信號(hào)的回放被啟動(dòng)之前或者在觸覺信號(hào)的回放被啟動(dòng)之后執(zhí)行。觸覺信號(hào)到觸覺塊的劃分可以均勻地或以變化的方式進(jìn)行，使得觸覺塊可以各自具有相同的長(zhǎng)度或不同的長(zhǎng)度。在一些實(shí)施例中，觸覺塊長(zhǎng)度可以基于觸覺信號(hào)的總長(zhǎng)度來確定。例如，信號(hào)可以被分割成8000塊，使得每個(gè)觸覺塊表示觸覺信號(hào)的長(zhǎng)度除以8000的時(shí)間。在一些實(shí)施例中，觸覺塊可以為設(shè)定量的觸覺信號(hào)數(shù)據(jù)創(chuàng)建。例如，觸覺塊可以為每50ms的觸覺信號(hào)創(chuàng)建。然后，用于觸覺信號(hào)的觸覺塊總數(shù)將是按秒為單位的觸覺信號(hào)的長(zhǎng)度乘以20的時(shí)間。
[0097]在1530，第一觸覺塊可以被發(fā)送到觸覺輸出設(shè)備。在1540，如果沒有附加觸覺塊要播放，則流程將結(jié)束。如果有附加的觸覺塊要播放，則在1550，如果下一觸覺塊的回放應(yīng)當(dāng)被延遲，則在1560等待時(shí)間將發(fā)生。在等待時(shí)段之后，在1570，下一個(gè)連續(xù)的觸覺塊可以被發(fā)送到觸覺輸出設(shè)備。如果從1550沒有等待時(shí)段，則下一個(gè)連續(xù)的觸覺塊可以立即在1570被發(fā)送到觸覺輸出設(shè)備。然后，流程將繼續(xù)返回到1540，以確定是否有附加的塊要播放。在1560的等待時(shí)段可以基于對(duì)應(yīng)于觸覺信號(hào)的媒體元素的回放速度或基于輸入?yún)?shù)來計(jì)算。從而，在1560的等待時(shí)段可以或者由客戶端提供或者基于媒體元素和觸覺信號(hào)的回放速率計(jì)算?；胤趴梢员粍?dòng)態(tài)調(diào)節(jié)，使得，如果媒體元素回放放慢(可能是由于回放設(shè)備上增加的后臺(tái)活動(dòng)性或者由于媒體元素的復(fù)雜性)或者參數(shù)指定更慢的回放，則對(duì)應(yīng)的觸覺回放也可以通過延遲下一個(gè)觸覺塊的回放來放慢。
[0098]圖16示出了根據(jù)一種實(shí)施例、通過播放觸覺塊對(duì)觸覺信號(hào)進(jìn)行動(dòng)態(tài)調(diào)節(jié)的系統(tǒng)。觸覺信號(hào)源1610可以向觸覺信號(hào)分離器1620提供觸覺信號(hào)，用于將觸覺信號(hào)分離成觸覺塊I 1630、觸覺塊2 1631、觸覺塊3 1632等等，一直到觸覺塊N 1635。如上所述，觸覺塊可以根據(jù)多種不同的方案進(jìn)行分割。觸覺塊可以作為觸覺信號(hào)被發(fā)送到觸覺回放/等待邏輯1650。觸覺回放/等待邏輯1650將按順序播放觸覺塊，但可以在每個(gè)塊的回放之間等待，以放慢觸覺信號(hào)的總體回放。觸覺回放/等待邏輯1650可以向觸覺輸出設(shè)備1660發(fā)送觸覺塊，以播放它們來產(chǎn)生觸覺效果。
[0099]圖17示出了根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。觸覺信號(hào)已經(jīng)從與輸入源相關(guān)的輸入數(shù)據(jù)創(chuàng)建。流程開始并前進(jìn)到1710。在1710，觸覺信號(hào)可以被接收。在1720，可以接收播放觸覺信號(hào)的范圍的請(qǐng)求。例如，請(qǐng)求可以包含要播放的觸覺信號(hào)的部分的起始時(shí)間和持續(xù)時(shí)間或者起始時(shí)間和結(jié)束時(shí)間?？梢詮睦绮シ琶襟w元素并從對(duì)應(yīng)于該媒體元素的觸覺信號(hào)請(qǐng)求觸覺信號(hào)范圍的回放設(shè)備接收該請(qǐng)求，其中觸覺信號(hào)范圍對(duì)應(yīng)于在回放設(shè)備上回放的媒體元素的范圍。或者，可以例如基于輸入?yún)?shù)，諸如手指運(yùn)動(dòng)參數(shù)或地面速度參數(shù)，接收該請(qǐng)求。在1730，觸覺信號(hào)的一部分可以被發(fā)送到觸覺輸出設(shè)備，其中該部分對(duì)應(yīng)于觸覺信號(hào)的被請(qǐng)求的范圍。在一些實(shí)施例中，對(duì)應(yīng)于被請(qǐng)求的范圍的觸覺信號(hào)的子集可被發(fā)送到回放設(shè)備，回放設(shè)備又可以在觸覺輸出設(shè)備上播放該范圍。觸覺信號(hào)的范圍將從開始位置到結(jié)束位置(或者對(duì)于指定的持續(xù)時(shí)間)連續(xù)播放。在1740，如果文件中有附加的觸覺要播放，則另一個(gè)請(qǐng)求可以在1720被接收，以播放觸覺信號(hào)的范圍。在1740，如果沒有附加的觸覺可用于在觸覺信號(hào)中播放，則流程可以結(jié)束。
[0100]圖18示出了根據(jù)一種實(shí)施例、通過播放觸覺信號(hào)的范圍對(duì)觸覺信號(hào)進(jìn)行動(dòng)態(tài)調(diào)節(jié)的系統(tǒng)。觸覺信號(hào)源1810可以向觸覺范圍提取器1820提供觸覺信號(hào)，用于提取觸覺信號(hào)的指定范圍作為提取的觸覺信號(hào)。提取出的觸覺信號(hào)可被提供給觸覺回放邏輯1830，觸覺回放邏輯1830又可以將其提供給觸覺輸出設(shè)備1840，以產(chǎn)生觸覺效果。在一些實(shí)施例中，元素1820和1830可以是相同的元素。
[0101]圖19示出了根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。觸覺信號(hào)已經(jīng)從與輸入源相關(guān)的輸入數(shù)據(jù)創(chuàng)建。流程開始并前進(jìn)到1910。在1910，觸覺信號(hào)可以被接收。在1920，可以接收調(diào)節(jié)觸覺信號(hào)的回放速率的請(qǐng)求。在1930，可以計(jì)算要添加或去除的樣本的數(shù)量，以實(shí)現(xiàn)期望的回放速率調(diào)節(jié)。在一種實(shí)施例中，樣本的數(shù)量可以基于當(dāng)前的觸覺信號(hào)位置或時(shí)間戳以及對(duì)應(yīng)的媒體元素的位置或時(shí)間戳。例如，媒體元素可以在位置300，并且觸覺信號(hào)可以在位置330。因此，可以確定30個(gè)樣本需要從觸覺信號(hào)中去除，使其與媒體元素近似對(duì)齊。
[0102]在其中觸覺回放調(diào)節(jié)基于參數(shù)，諸如手指運(yùn)動(dòng)參數(shù)，的一些實(shí)施例中，樣本的數(shù)量可以基于該參數(shù)。例如，如果觸覺回放速度為500Hz，則通過基于參數(shù)分別計(jì)算要去除或添加的觸覺樣本的數(shù)量，該參數(shù)可以提供可引起觸覺信號(hào)的回放速度的增加或減小的瞬時(shí)值。
[0103]在一些實(shí)施例中，被記憶的重新采樣器可以保存重新采樣率，以便對(duì)觸覺信號(hào)的將來部分使用。例如，可以確定每十個(gè)樣本中大約有一個(gè)樣本需要從觸覺信號(hào)中被去除，因?yàn)樗让襟w元素回放更快地播放。從上面的例子，觸覺信號(hào)回放位置330可以被看作是從媒體元素回放位置300偏離10%(( 330-300)/300 = 1 %偏離)。
[0104]在1940，通過經(jīng)由添加或去除樣本來重新采樣觸覺信號(hào)的部分，觸覺信號(hào)的至少一部分可以被轉(zhuǎn)換成經(jīng)調(diào)節(jié)的觸覺信號(hào)。繼續(xù)該例，觸覺信號(hào)的一部分可以被調(diào)節(jié)，以便從觸覺信號(hào)中去除30個(gè)樣本。在1950，經(jīng)調(diào)節(jié)的觸覺信號(hào)可以被發(fā)送到觸覺輸出設(shè)備，以提供觸覺效果。在同步到媒體元素的實(shí)施例中，結(jié)果產(chǎn)生的觸覺效果可以比調(diào)節(jié)前播放的更緊密地與媒體元素對(duì)齊。
[0105]圖20示出了根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。圖20為圖19的流程提供一些具體的實(shí)施例。流程開始并前進(jìn)到2010。觸覺信號(hào)已經(jīng)根據(jù)圖19的1910被接收。在圖20的2010，觸覺信號(hào)和(在適用的實(shí)施例中)對(duì)應(yīng)的媒體元素?cái)?shù)據(jù)可以被解碼以便回放并且回放可以開始，回放包括觸覺信號(hào)和在一些實(shí)施例中媒體元素的回放。在2020，在回放開始之后的時(shí)間，可以計(jì)算觸覺信號(hào)的回放位置與媒體元素的回放位置之間的時(shí)間增量。在觸覺回放速率基于輸入?yún)?shù)的實(shí)施例中，可以計(jì)算當(dāng)前回放速率與期望回放速率之間的時(shí)間增量。在2030，觸覺信號(hào)的樣本數(shù)量可以被計(jì)算，以便添加到觸覺信號(hào)或從中去除，以便使時(shí)間增量接近零。例如，如果觸覺信號(hào)在以SkHz播放，則觸覺信號(hào)與媒體元素之間0.05秒的時(shí)間差會(huì)導(dǎo)致400個(gè)樣本的差異計(jì)算(8000乘以0.05)。因此，可以確定400個(gè)樣本必須添加到觸覺信號(hào)或從中去除，以便使增量接近零。
[0106]在一些實(shí)施例中，被記憶的重新采樣器可以保存重新采樣率，以便對(duì)觸覺信號(hào)的將來部分使用。例如，可以確定，對(duì)于觸覺塊，一次大約200個(gè)樣本需要被插入。下一個(gè)觸覺塊可以被自動(dòng)重新采樣，以添加200個(gè)樣本，而無需最初的附加計(jì)算。在重新采樣之后，流程可以返回到2020，以分析作為適用的觸覺信號(hào)的重新采樣的觸覺信號(hào)，來確定時(shí)間增量是否仍然存在。流程可以從那里繼續(xù)并且新計(jì)算的重新采樣值可被用來通過調(diào)節(jié)該值來更新先前記憶的重新采樣器。例如，如果200個(gè)樣本被插入觸覺塊，則該塊被關(guān)于時(shí)間增量重新分析，并確定13個(gè)樣本需要被去除，然后，對(duì)于下一個(gè)處理塊，記憶的值可被更新為200-13= 187o
[0107]在2040，觸覺信號(hào)的至少一部分可以被分析，以找到樣本低于給定閾值的窗口。這些窗口可以表示有很少或幾乎沒有觸覺信號(hào)活動(dòng)性的觸覺信號(hào)的區(qū)域或周期。這種窗口可以被認(rèn)為是觸覺信號(hào)中低熵的時(shí)段。例如，包含從O到255的樣本值的觸覺信號(hào)可具有其中每個(gè)信號(hào)值處于或接近O的周期。例如，有可能在給定的觸覺信號(hào)中僅僅信號(hào)的相對(duì)小百分比包含高于閾值的觸覺信息。閾值的值可以被選擇，使得具有處于閾值的值的觸覺信號(hào)是典型人類無法感知或幾乎無法感知的。閾值有助于識(shí)別觸覺信號(hào)中可以被去除，而不會(huì)不利地影響觸覺信號(hào)中具有高于閾值的觸覺值的部分的低熵的窗口。在2050，樣本可以在識(shí)別出的區(qū)域被插入觸覺樣本或從中去除。為了去除樣本以縮短觸覺信號(hào)，可以去除降至低于閾值的樣本。在一些實(shí)施例中，長(zhǎng)度限制可以指定僅樣本的某個(gè)數(shù)量或百分比可以從一個(gè)這樣的觸覺低熵窗口被去除。長(zhǎng)度限制可以幫助保存觸覺信號(hào)的感覺(并且在觸覺信號(hào)由觸覺設(shè)計(jì)者產(chǎn)生的情況下，保存設(shè)計(jì)者的意圖)，并有助于防止發(fā)生完全不同的觸覺輸出。例如，可以指定一次不超過窗口樣本的三分之一被去除，以有助于保存在高于閾值發(fā)生的觸覺信號(hào)活動(dòng)性的時(shí)間之間存在的某種空間信息。為了添加樣本以加長(zhǎng)觸覺信號(hào)，零值樣本(或接近零值樣本)可以被插入在窗口中。在一些實(shí)施例中，長(zhǎng)度限制可以指定僅某個(gè)數(shù)量的樣本可以從一個(gè)這樣識(shí)別出的區(qū)域被添加。例如，可以指定窗口可以生長(zhǎng)不超過三分之一。因此，如果窗口包含240個(gè)樣本，則不超過80個(gè)樣本可以插入在該窗口中。
[0108]在2060，經(jīng)修改的觸覺信號(hào)可以被發(fā)送到觸覺輸出設(shè)備。在2070，如果還剩下樣本要進(jìn)一步調(diào)節(jié)觸覺信號(hào)，則在2080，被調(diào)節(jié)的樣本的數(shù)量可以被提供并且流程可以繼續(xù)返回到2030，以計(jì)算要添加到觸覺信號(hào)或從中去除的樣本的數(shù)量，以便使時(shí)間增量接近零。例如，在400個(gè)要插入的樣本中，如果只有240個(gè)樣本在被分析的觸覺信號(hào)部分中插入，則剩余數(shù)字160或主動(dòng)調(diào)節(jié)數(shù)字240可以被提供，以更新剩下要調(diào)節(jié)的樣本的數(shù)量。如果沒有更多的樣本要插入或去除，則流程可以繼續(xù)返回到2010，以解碼更多觸覺信號(hào)數(shù)據(jù)和對(duì)應(yīng)的媒體元素?cái)?shù)據(jù)，以供回放。流程可以前進(jìn)到2020等并根據(jù)需要進(jìn)一步調(diào)節(jié)回放，直到?jīng)]有剩下更多觸覺信號(hào)要在2010處理。
[0109]圖21示出了根據(jù)本發(fā)明實(shí)施例的動(dòng)態(tài)觸覺回放調(diào)節(jié)模塊的功能的流程圖。圖20僅對(duì)于在某些情況下插入樣本的情況為圖19的流程提供一些具體的實(shí)施例。流程開始并前進(jìn)至IJ2110。觸覺信號(hào)已經(jīng)根據(jù)圖19的1910被接收。在圖21的2110，觸覺信號(hào)數(shù)據(jù)和(在適用的實(shí)施例中)對(duì)應(yīng)的媒體元素?cái)?shù)據(jù)可以被解碼以便回放并且回放可以開始，回放包括觸覺信號(hào)以及，在一些實(shí)施例中，媒體元素的回放。在2120，在回放開始之后的時(shí)間，可以計(jì)算觸覺信號(hào)的回放位置與媒體元素的回放位置之間的時(shí)間增量。在其中觸覺回放速率基于輸入?yún)?shù)的實(shí)施例中，可以計(jì)算當(dāng)前回放速率與期望回放速率之間的時(shí)間增量。在2130，可以計(jì)算要添加到觸覺信號(hào)或從中去除的觸覺信號(hào)的樣本的數(shù)量，以便使時(shí)間增量更接近零。如果情況是去除樣本，則流程可以繼續(xù)到圖20的2040。如果情況是添加樣本，則流程可以繼續(xù)到圖21的2140。例如，如果觸覺信號(hào)在以SkHz播放，則觸覺信號(hào)與媒體元素之間0.05秒的時(shí)間差(顯示觸覺信號(hào)在媒體元素的回放之后)會(huì)導(dǎo)致400個(gè)樣本的差異計(jì)算(8000乘以0.05)。因此，可以確定400個(gè)樣本必須添加到觸覺信號(hào)，以便使增量更接近零。
[0110]在一些實(shí)施例中，被記憶的重新采樣器可以保存重新采樣率，以便對(duì)觸覺信號(hào)的將來部分使用。例如，可以確定，對(duì)于觸覺塊，一次大約200個(gè)樣本需要被插入。下一個(gè)觸覺塊可以被自動(dòng)重新采樣，以添加200個(gè)樣本，而無需最初的附加計(jì)算。在重新采樣之后，流程可以返回到2120，以分析作為適用的觸覺信號(hào)的重新采樣的觸覺信號(hào)，來確定時(shí)間增量是否仍然存在。流程可以從那里繼續(xù)并且新計(jì)算的重新采樣值可被用來通過調(diào)節(jié)該值來更新先前記憶的重新采樣器。例如，如果200個(gè)樣本被插入觸覺塊，則該塊被關(guān)于時(shí)間增量重新分析，并確定15個(gè)樣本需要被添加，于是，對(duì)于下一個(gè)處理塊，記憶的值可被更新為200+15= 215o
[0111]在2140，觸覺信號(hào)的解碼部分可以對(duì)要添加樣本的區(qū)域進(jìn)行分析。要添加的樣本可以在觸覺信號(hào)的部分中隨機(jī)或均勻地分布。例如，如果觸覺信號(hào)部分是2000個(gè)樣本并且調(diào)節(jié)是400個(gè)樣本，則在每5個(gè)樣本之后可以添加I個(gè)樣本，以使更改后的觸覺信號(hào)中樣本的總數(shù)是2400個(gè)樣本。在2150，可以計(jì)算每個(gè)樣本的值。不同的方法可以被用來計(jì)算每個(gè)樣本的值。例如，如果樣本要插在原始樣本20和21之間，則插入的樣本的值可以從樣本20拷貝、從樣本21拷貝，或者可以是兩者的平均。在一些實(shí)施例中，其它相鄰的樣本可以被分析，以計(jì)算用于新樣本的值。例如，樣本19和22也可以被分析，以確定哪個(gè)值要被放到新樣本中。換句話說，插值可被用來確定要插入到新樣本中的值。在2160，新樣本可在識(shí)別出的區(qū)域被插入觸覺信號(hào)。
[0112]在2170，經(jīng)修改的觸覺信號(hào)可以被發(fā)送到觸覺輸出設(shè)備，用于回放。在2180，如果還剩下樣本要進(jìn)一步調(diào)節(jié)觸覺信號(hào)，則在2190，經(jīng)調(diào)節(jié)的樣本的數(shù)量可以被提供并且流程可以繼續(xù)返回到2130，以計(jì)算要添加到觸覺信號(hào)的樣本的數(shù)量，以便使時(shí)間增量更接近零。例如，在400個(gè)要插入的樣本中，如果只有240個(gè)樣本在被分析的觸覺信號(hào)部分中插入，則剩余數(shù)字160或主動(dòng)調(diào)節(jié)數(shù)字240可以被提供，以更新剩下要調(diào)節(jié)的樣本的數(shù)量。如果沒有更多的樣本要插入，則流程可以繼續(xù)返回到2110，以解碼更多觸覺信號(hào)數(shù)據(jù)和對(duì)應(yīng)的媒體元素?cái)?shù)據(jù)，供回放。流程可以前進(jìn)到2120并根據(jù)需要進(jìn)一步調(diào)節(jié)回放，直到?jīng)]有剩下更多觸覺信號(hào)要在2110處理。
[0113]圖22示出了根據(jù)一種實(shí)施例通過將樣本插入觸覺信號(hào)或者從中去除樣本對(duì)觸覺信號(hào)進(jìn)行動(dòng)態(tài)調(diào)節(jié)的系統(tǒng)。觸覺信號(hào)源2210可以向觸覺樣本計(jì)算器2220提供觸覺信號(hào)，用于計(jì)算要添加到觸覺信號(hào)的至少一部分或從中去除的樣本的數(shù)量。樣本的數(shù)量可以被提供給觸覺信號(hào)重新采樣器2230，觸覺信號(hào)重新采樣器2230可以利用前面討論的方法之一，諸如插入或去除樣本，重新采樣觸覺信號(hào)(或至少其一部分)。而且，如果是插入，則插入零值樣本(或低值樣本)或插入分布式樣本并基于其周圍一個(gè)或多個(gè)樣本的值為插入的樣本選擇適當(dāng)?shù)闹怠Ｖ匦虏蓸拥挠|覺信號(hào)可以被發(fā)送到觸覺輸出設(shè)備2240，以用于提供觸覺效果。
[0114]因此，根據(jù)一種實(shí)施例，可以提供調(diào)節(jié)觸覺數(shù)據(jù)，諸如觸覺信號(hào)，的回放以對(duì)應(yīng)于期望回放速率的觸覺回放調(diào)節(jié)系統(tǒng)。因此，觸覺回放調(diào)節(jié)系統(tǒng)可以適應(yīng)其中觸覺數(shù)據(jù)的經(jīng)調(diào)節(jié)的回放會(huì)有益的場(chǎng)景，諸如:觸覺數(shù)據(jù)的回放與某種其它類型的數(shù)據(jù)(諸如音頻數(shù)據(jù)、視頻數(shù)據(jù)或加速度數(shù)據(jù))的回放的同步，其中其它數(shù)據(jù)可以根據(jù)不同的回放速率輸出；或者觸覺數(shù)據(jù)在具有不同硬件規(guī)范并且因此具有不同回放能力的不同設(shè)備的回放。
[0115]本領(lǐng)域技術(shù)人員將理解，重新采樣可以以任何實(shí)用次序利用上述一種或多種技術(shù)(結(jié)合在一起或串行地)來實(shí)現(xiàn)。
[0116]貫穿本說明書描述的本發(fā)明的特征、結(jié)構(gòu)或特性可以在一個(gè)或多個(gè)實(shí)施例中以任何合適的方式組合。例如，“一種實(shí)施例”、“一些實(shí)施例”、“某個(gè)實(shí)施例”、“某些實(shí)施例”或其它類似的語言的使用貫穿本說明書指聯(lián)系該實(shí)施例描述的特定特征、結(jié)構(gòu)或特性可以被包括在本發(fā)明的至少一種實(shí)施例中。因此，短語“一種實(shí)施例”、“一些實(shí)施例”、“某個(gè)實(shí)施例”，“某些實(shí)施例”或其它類似的語言貫穿本說明書不一定都指同一組實(shí)施例，并且所描述的特征、結(jié)構(gòu)或特性可以在一個(gè)或多個(gè)實(shí)施例中以任何合適的方式組合。
[0117]本領(lǐng)域普通技術(shù)人員將容易理解，如上面所討論的本發(fā)明可以利用不同次序的步驟和/或利用處于與所公開的不同的配置中的元素來實(shí)踐。因此，雖然本發(fā)明已基于這些優(yōu)選實(shí)施例進(jìn)行了描述，但是對(duì)本領(lǐng)域技術(shù)人員顯而易見的是某些修改、變化和替換構(gòu)造將是顯而易見的，同時(shí)仍然保持在本發(fā)明的精神和范圍之內(nèi)。因此，為了確定本發(fā)明的邊界和范圍，應(yīng)當(dāng)參考所附權(quán)利要求。
【主權(quán)項(xiàng)】
1.一種調(diào)整觸覺效果的回放的方法，所述方法包括: 確定回放速率； 基于所述回放速率生成觸覺信號(hào)；以及 對(duì)觸覺輸出設(shè)備應(yīng)用該觸覺信號(hào)，以便以所述回放速率產(chǎn)生觸覺效果。2.如權(quán)利要求1所述的方法， 其中確定回放速率包括在生成觸覺信號(hào)之前確定回放速率。3.如權(quán)利要求1所述的方法， 其中確定回放速率包括在生成觸覺信號(hào)之后確定回放速率。4.如權(quán)利要求1所述的方法， 其中生成觸覺信號(hào)包括: 生成多個(gè)觸覺信號(hào)，每個(gè)觸覺信號(hào)具有不同的觸覺回放速率，包括基于所述回放速率的觸覺信號(hào)。5.如權(quán)利要求1所述的方法， 其中生成觸覺信號(hào)包括: 基于回放速率重新采樣輸入數(shù)據(jù)；以及 從重新采樣的輸入數(shù)據(jù)生成觸覺信號(hào)。6.如權(quán)利要求1所述的方法， 其中生成觸覺信號(hào)包括: 將原始觸覺信號(hào)重新采樣為所述觸覺信號(hào)。7.如權(quán)利要求1所述的方法， 其中生成觸覺信號(hào)包括: 基于回放速率重新采樣輸入數(shù)據(jù)； 識(shí)別重新采樣的輸入數(shù)據(jù)中的關(guān)鍵輸入事件； 識(shí)別原始觸覺信號(hào)中的關(guān)鍵觸覺事件；以及 將關(guān)鍵觸覺事件與關(guān)鍵輸入事件對(duì)齊，以創(chuàng)建所述觸覺信號(hào)。8.如權(quán)利要求7所述的方法， 其中識(shí)別關(guān)鍵輸入事件還包括識(shí)別關(guān)鍵輸入事件的長(zhǎng)度，并且生成觸覺信號(hào)還包括: 基于關(guān)鍵輸入事件的長(zhǎng)度重新采樣關(guān)鍵觸覺事件。9.如權(quán)利要求1所述的方法， 其中生成觸覺信號(hào)包括: 生成包括基于所述回放速率的觸覺信號(hào)的多個(gè)觸覺信號(hào)，每個(gè)觸覺信號(hào)具有對(duì)應(yīng)于不同回放速率的不同觸覺比特率；以及將所述多個(gè)觸覺信號(hào)組合到容器中。10.如權(quán)利要求1所述的方法， 其中生成觸覺信號(hào)包括: 選擇切割點(diǎn)； 將觸覺信號(hào)在切割點(diǎn)分割成子觸覺信號(hào)；以及 給子觸覺信號(hào)加索引，其中觸覺信號(hào)的至少一部分對(duì)應(yīng)于該觸覺信號(hào)的子觸覺信號(hào)。11.如權(quán)利要求1所述的方法， 其中生成觸覺信號(hào)包括將觸覺信號(hào)分割成觸覺塊；以及 其中應(yīng)用觸覺信號(hào)包括將觸覺塊發(fā)送到觸覺輸出設(shè)備，等待一等待時(shí)段，并且將另一連續(xù)的觸覺塊發(fā)送到觸覺輸出設(shè)備。12.如權(quán)利要求1所述的方法， 其中觸覺信號(hào)包括觸覺信號(hào)的提取部分，其中提取是基于觸覺信號(hào)的范圍選擇。13.如權(quán)利要求1所述的方法， 其中生成觸覺信號(hào)包括: 計(jì)算要添加到觸覺信號(hào)或者從觸覺信號(hào)去除的樣本的數(shù)量； 重新采樣觸覺信號(hào)，以便將樣本添加到觸覺信號(hào)或者從觸覺信號(hào)去除，以創(chuàng)建經(jīng)調(diào)節(jié)的觸覺信號(hào)；以及 用經(jīng)調(diào)節(jié)的觸覺信號(hào)代替觸覺信號(hào)。14.如權(quán)利要求13所述的方法， 其中重新采樣包括在低熵的時(shí)段添加零值樣本。15.如權(quán)利要求13所述的方法， 其中重新采樣包括在低熵的時(shí)段去除低于觸覺閾值的樣本。16.如權(quán)利要求13所述的方法， 其中重新采樣包括: 基于要添加的樣本的數(shù)量確定觸覺信號(hào)中要添加樣本的位置；以及 基于一個(gè)或多個(gè)相鄰樣本的值計(jì)算所添加的樣本的值。17.—種用于調(diào)節(jié)觸覺效果的回放的系統(tǒng)，包括: 回放速率確定器，被配置為確定回放速率； 觸覺信號(hào)發(fā)生器，被配置為基于選定的回放速率生成觸覺信號(hào)；以及 觸覺輸出設(shè)備，被配置為應(yīng)用所述觸覺信號(hào)，以便以所述回放速率產(chǎn)生觸覺效果。18.如權(quán)利要求17所述的系統(tǒng)， 其中觸覺信號(hào)發(fā)生器還被配置為生成包括基于所述回放速率的觸覺信號(hào)的多個(gè)觸覺信號(hào)，每個(gè)觸覺信號(hào)具有不同的觸覺回放速率。19.如權(quán)利要求17所述的系統(tǒng)，還包括: 重新采樣器，被配置為基于回放速率重新采樣輸入數(shù)據(jù)；以及 其中觸覺信號(hào)發(fā)生器還被配置為從重新采樣的輸入數(shù)據(jù)生成觸覺信號(hào)。20.如權(quán)利要求17所述的系統(tǒng)， 其中觸覺信號(hào)發(fā)生器被配置為將原始觸覺信號(hào)重新采樣為所述觸覺信號(hào)。21.如權(quán)利要求17所述的系統(tǒng)，還包括: 重新采樣器，被配置為基于回放速率重新采樣輸入數(shù)據(jù);及 關(guān)鍵事件識(shí)別器，被配置為: 識(shí)別重新采樣的輸入數(shù)據(jù)中的關(guān)鍵輸入事件，以及 識(shí)別原始觸覺信號(hào)中的關(guān)鍵觸覺事件；以及其中觸覺信號(hào)發(fā)生器被配置為對(duì)齊關(guān)鍵觸覺事件與關(guān)鍵輸入事件，以生成所述觸覺信號(hào)。22.如權(quán)利要求17所述的系統(tǒng)， 其中觸覺信號(hào)發(fā)生器還被配置為生成包括基于所述回放速率的觸覺信號(hào)的多個(gè)觸覺信號(hào)，每個(gè)觸覺信號(hào)具有對(duì)應(yīng)于不同回放速率的不同觸覺比特率;并且所述系統(tǒng)還包括:容器，保持所述多個(gè)觸覺信號(hào)。23.如權(quán)利要求17所述的系統(tǒng)，還包括: 子觸覺信號(hào)發(fā)生器，被配置為: 選擇切割點(diǎn)； 將觸覺信號(hào)在切割點(diǎn)分割成子觸覺信號(hào)；以及 給子觸覺信號(hào)加索弓I，其中觸覺信號(hào)的至少一部分對(duì)應(yīng)于所述觸覺信號(hào)的子觸覺信號(hào)。24.如權(quán)利要求17所述的系統(tǒng)，還包括: 子觸覺信號(hào)塊發(fā)生器，被配置為將觸覺信號(hào)分割成觸覺塊，將觸覺塊發(fā)送到觸覺輸出設(shè)備，等待一等待時(shí)段，并且將另一連續(xù)的觸覺塊發(fā)送到觸覺輸出設(shè)備。25.如權(quán)利要求17所述的系統(tǒng)， 其中觸覺信號(hào)包括觸覺信號(hào)的提取部分，其中提取是基于所述觸覺信號(hào)的范圍選擇。26.如權(quán)利要求17所述的系統(tǒng)，還包括: 重新采樣器，被配置為: 計(jì)算要添加到觸覺信號(hào)或者從觸覺信號(hào)去除的樣本的數(shù)量； 重新采樣觸覺信號(hào)，以便將樣本添加到觸覺信號(hào)或者從觸覺信號(hào)去除，以創(chuàng)建經(jīng)調(diào)節(jié)的觸覺信號(hào)；以及 用經(jīng)調(diào)節(jié)的觸覺信號(hào)代替所述觸覺信號(hào)。27.如權(quán)利要求26所述的系統(tǒng)， 其中重新采樣包括在低熵的時(shí)段添加零值樣本或去除低于觸覺閾值的樣本。28.如權(quán)利要求26所述的系統(tǒng)， 其中重新采樣包括: 基于要添加的樣本的數(shù)量確定觸覺信號(hào)中要添加樣本的位置；以及 基于一個(gè)或多個(gè)相鄰樣本的值計(jì)算所添加的樣本的值。29.—種調(diào)節(jié)觸覺效果的回放的系統(tǒng)，所述系統(tǒng)包括用于執(zhí)行如權(quán)利要求1-16中任一項(xiàng)所述的方法的各步驟的模塊。
【文檔編號(hào)】G06F3/01GK106095069SQ201610268896
【公開日】2016年11月9日
【申請(qǐng)日】2016年4月27日 公開號(hào)201610268896.0, CN 106095069 A, CN 106095069A, CN 201610268896, CN-A-106095069, CN106095069 A, CN106095069A, CN201610268896, CN201610268896.0
【發(fā)明人】J·薩布尼, S·蘭克, A·阿哈拉比, S·阿斯福, 楊長(zhǎng)宇
【申請(qǐng)人】意美森公司