專(zhuān)利名稱(chēng)：使用觸覺(jué)反饋的聲音數(shù)據(jù)輸出和處理的制作方法
背景技術(shù)：
本發(fā)明涉及允許人與計(jì)算機(jī)系統(tǒng)連接的系統(tǒng)，更特別地，涉及用于在計(jì)算機(jī)聲音編輯和回放環(huán)境中為用戶(hù)提供觸覺(jué)反饋的方法。
計(jì)算機(jī)已成為音樂(lè)和其他有關(guān)音頻的數(shù)據(jù)創(chuàng)建和編輯過(guò)程中所普遍使用的工具?？梢允褂每捎玫木庉嬡浖?例如，來(lái)自Digidesign的ProTools和其他軟件)來(lái)容易地創(chuàng)建并/或處理表示音樂(lè)類(lèi)型或其他類(lèi)型的聽(tīng)覺(jué)作品或記錄的數(shù)字?jǐn)?shù)據(jù)。音樂(lè)家可以回放聲音文件或聲音數(shù)據(jù)的任何部分，并可以使用這類(lèi)軟件來(lái)拷貝、編輯或處理該數(shù)據(jù)的任何部分。圖形用戶(hù)界面中的圖形控件(例如，滑動(dòng)器、旋鈕、按鈕、指針或光標(biāo)等)通常被顯示在計(jì)算機(jī)屏幕上。用戶(hù)可以操作計(jì)算機(jī)屏幕，以控制聲音數(shù)據(jù)回放和編輯。聲音數(shù)據(jù)的視覺(jué)表示通常被顯示為一幅或多幅“時(shí)間/振幅”的曲線(xiàn)圖，用戶(hù)可以將曲線(xiàn)圖定制為所需比例。一些更精致的系統(tǒng)提供硬件控制器(例如，轉(zhuǎn)輪)，該硬件控制器是以彈簧居中的旋鈕，用戶(hù)可以旋轉(zhuǎn)該旋鈕，以便前向或反向地回放聲音選段。
但是，當(dāng)代的計(jì)算機(jī)處理音樂(lè)領(lǐng)域中的挑戰(zhàn)之一是允許音樂(lè)家用有助于自然、本能的音樂(lè)作曲和編輯的方法和計(jì)算機(jī)關(guān)聯(lián)。編輯和作曲過(guò)程的大部分以人們涉及被用來(lái)控制計(jì)算機(jī)的這些物理界面的方式而存在。傳統(tǒng)上，音樂(lè)家已學(xué)會(huì)使用直接將物理操作與聲音產(chǎn)生(例如，鋼琴的動(dòng)作或作為嘴唇振動(dòng)的諧振器的喇叭)相結(jié)合的樂(lè)器。但是，這種類(lèi)型的物理關(guān)系很難利用計(jì)算機(jī)來(lái)再現(xiàn)。在如今的大多數(shù)情況下，通過(guò)鍵盤(pán)和鼠標(biāo)或(在不太頻繁的情形中)專(zhuān)用硬件(例如，自定義開(kāi)發(fā)的電子音樂(lè)控制器)來(lái)產(chǎn)生與計(jì)算機(jī)的這種交互作用。這些類(lèi)型的界面是單向的，從而允許音樂(lè)家或其他用戶(hù)將物理輸入發(fā)送到該計(jì)算機(jī)，但它們沒(méi)有慮及物理反饋的接收。
當(dāng)前的聲音編輯系統(tǒng)要求音樂(lè)家在編輯聲音的同時(shí)使用輸入設(shè)備(例如，鍵盤(pán)和鼠標(biāo)、被動(dòng)滾輪或被動(dòng)操縱桿)。在這些情況下，音樂(lè)家必須依靠聽(tīng)覺(jué)和視覺(jué)反饋。但是，音樂(lè)家或用戶(hù)經(jīng)常執(zhí)行要求精密度的重復(fù)的編輯任務(wù)(例如，瀏覽音樂(lè)或語(yǔ)言選擇，以找出找到將要被編輯或處理的特定區(qū)域)。這些標(biāo)準(zhǔn)輸入設(shè)備以及聽(tīng)覺(jué)和視覺(jué)反饋在這類(lèi)導(dǎo)航和編輯任務(wù)中有時(shí)可能會(huì)難以使用、效率低或不夠精確，從而使音樂(lè)家在創(chuàng)作過(guò)程中受挫。
發(fā)明概述本發(fā)明針對(duì)連同該音頻輸出一起輸出觸覺(jué)。觸覺(jué)與音頻輸出關(guān)聯(lián)，以允許用戶(hù)更加準(zhǔn)確、有效率地對(duì)聲音數(shù)據(jù)的回放和編輯進(jìn)行控制。
更具體地說(shuō)，本發(fā)明的方法使觸覺(jué)與聲音數(shù)據(jù)相關(guān)聯(lián)，以協(xié)助瀏覽和編輯所述聲音數(shù)據(jù)。將聲音數(shù)據(jù)的至少一部分載入計(jì)算機(jī)的存儲(chǔ)器，并且，播放該聲音數(shù)據(jù)，以便生成并使用音頻信號(hào)，以從音頻設(shè)備輸出聲音。由用戶(hù)輸入來(lái)控制該聲音的這種播放，計(jì)算機(jī)從用戶(hù)那里接收用戶(hù)輸入，用于瀏覽該聲音數(shù)據(jù)。根據(jù)該聲音數(shù)據(jù)來(lái)生成觸覺(jué)命令，并且，由用戶(hù)操作的觸覺(jué)反饋設(shè)備使用這些觸覺(jué)命令，將觸覺(jué)輸出給用戶(hù)。這些觸覺(jué)對(duì)應(yīng)于該聲音數(shù)據(jù)的一個(gè)或多個(gè)特征，以協(xié)助用戶(hù)在瀏覽和編輯該聲音數(shù)據(jù)期間辨別聲音數(shù)據(jù)的特點(diǎn)。
較佳的是，用戶(hù)可以使用速率控制范例或位置控制范例，來(lái)控制聲音數(shù)據(jù)的這種播放的速度和/或方向。這些觸覺(jué)在聲音數(shù)據(jù)的該播放期間可以被連續(xù)不斷地輸出，并且這些觸覺(jué)的程度基于當(dāng)前正在播放的聲音數(shù)據(jù)的振幅；或者，只有當(dāng)播放具有預(yù)定特征的聲音數(shù)據(jù)的特點(diǎn)時(shí)，才能輸出這些觸覺(jué)。
一個(gè)實(shí)施例對(duì)聲音數(shù)據(jù)進(jìn)行預(yù)處理，以允許在向用戶(hù)播放該聲音數(shù)據(jù)時(shí)，輸出與該聲音數(shù)據(jù)關(guān)聯(lián)的這些觸覺(jué)。處理存儲(chǔ)器中的聲音數(shù)據(jù)，以找出具有一個(gè)或多個(gè)預(yù)定特征的聲音特點(diǎn)。當(dāng)發(fā)現(xiàn)聲音特征時(shí)，將標(biāo)記符存儲(chǔ)在標(biāo)記符清單中，在那里，標(biāo)記符指示聲音數(shù)據(jù)中的這個(gè)關(guān)聯(lián)的聲音特征的位置。該位置將要與至少一個(gè)觸覺(jué)相關(guān)聯(lián)，以使得在播放聲音數(shù)據(jù)并且在播放聲音數(shù)據(jù)期間達(dá)到該標(biāo)記符時(shí)，將這個(gè)關(guān)聯(lián)的觸覺(jué)輸出給用戶(hù)。
在另一個(gè)實(shí)時(shí)實(shí)施例中，將聲音數(shù)據(jù)的一部分存儲(chǔ)在二級(jí)緩沖器中，并且，處理聲音數(shù)據(jù)的這個(gè)部分，以便在播放聲音數(shù)據(jù)期間實(shí)時(shí)發(fā)現(xiàn)聲音數(shù)據(jù)中的這些特征。在這些實(shí)施例的任何一個(gè)中，計(jì)算機(jī)可以顯示該聲音數(shù)據(jù)的視覺(jué)表示和移動(dòng)光標(biāo)，該移動(dòng)光標(biāo)用于指示正在被播放的聲音數(shù)據(jù)的當(dāng)前部分。
本發(fā)明有利地允許用戶(hù)體驗(yàn)與聲音輸出協(xié)調(diào)的觸覺(jué)反饋。例如，觸覺(jué)反饋可以被并入數(shù)字音頻編輯系統(tǒng)，以允許用戶(hù)感受到直接與該音頻數(shù)據(jù)的回放有關(guān)并與對(duì)該音頻數(shù)據(jù)所執(zhí)行的操作有關(guān)的觸覺(jué)。用戶(hù)可以瀏覽聲音數(shù)據(jù)，以找出該數(shù)據(jù)中的特殊點(diǎn)；并且，當(dāng)播放重要特點(diǎn)時(shí)，這些觸覺(jué)可以更好地通知用戶(hù)。這對(duì)用戶(hù)執(zhí)行導(dǎo)航任務(wù)和編輯任務(wù)有很大的幫助。這使用戶(hù)性能更好，使?jié)M意程度更高，并使用戶(hù)體驗(yàn)有了全面的改進(jìn)。
通過(guò)閱讀本發(fā)明的以下說(shuō)明書(shū)并研究制圖中的這幾幅附圖，精通該技術(shù)領(lǐng)域的人將會(huì)明白本發(fā)明的這些和其他的優(yōu)點(diǎn)。
附圖簡(jiǎn)述

圖1是框圖，展示了一種系統(tǒng)，該系統(tǒng)用于對(duì)用戶(hù)提供利用觸覺(jué)反饋而有所增強(qiáng)的聲音數(shù)據(jù)處理能力；圖2是框圖，展示了圖1中的觸覺(jué)反饋系統(tǒng)的一個(gè)實(shí)施例，它包括與主計(jì)算機(jī)進(jìn)行通信的觸覺(jué)反饋接口設(shè)備；圖3是適用于本發(fā)明的觸覺(jué)反饋設(shè)備的鼠標(biāo)實(shí)施例的截面?zhèn)纫晥D；圖4是適用于本發(fā)明的接口設(shè)備12的另一個(gè)實(shí)施例150的透視圖；圖5是根據(jù)本發(fā)明用于預(yù)處理聲音數(shù)據(jù)的方法的流程圖；圖6是聲音波形以及與該聲音波形相關(guān)的觸覺(jué)的示意圖；圖7是流程圖，展示了根據(jù)本發(fā)明用于回放預(yù)處理的聲音數(shù)據(jù)和觸覺(jué)的過(guò)程；圖8是流程圖，展示了根據(jù)本發(fā)明依照聲音回放來(lái)輸出觸覺(jué)的實(shí)時(shí)回放過(guò)程；圖9a和9b是示意圖，分別展示基本時(shí)間內(nèi)的聲音波形和觸覺(jué)波形同直接輸出和反向輸出中連續(xù)觸覺(jué)輸出的振幅形式的比較；圖10是圖形用戶(hù)界面的示意圖，該圖形用戶(hù)界面可以允許用戶(hù)輸入?yún)?shù)選擇和設(shè)置并控制關(guān)于本發(fā)明的聲音回放；以及，圖11是另一種圖形用戶(hù)界面的示意圖，該圖形用戶(hù)界面可以允許用戶(hù)輸入關(guān)于本發(fā)明的參數(shù)選擇和設(shè)置。
較佳實(shí)施例的詳細(xì)說(shuō)明圖1是框圖，展示了系統(tǒng)10，該系統(tǒng)用于對(duì)用戶(hù)提供利用觸覺(jué)反饋而有所增強(qiáng)的聲音數(shù)據(jù)處理能力。主計(jì)算機(jī)14運(yùn)行聲音數(shù)據(jù)處理應(yīng)用程序，該應(yīng)用程序允許用戶(hù)16通過(guò)將命令輸入到該主計(jì)算機(jī)來(lái)處理聲音數(shù)據(jù)15。為了輸入這些命令，用戶(hù)16可操作觸覺(jué)反饋接口設(shè)備12。觸覺(jué)反饋接口設(shè)備允許用戶(hù)輸入命令和數(shù)據(jù)，并且也為用戶(hù)提供動(dòng)覺(jué)力反饋或觸覺(jué)反饋(在這里總稱(chēng)作“觸覺(jué)反饋”)。通過(guò)使用馬達(dá)或其他類(lèi)型的致動(dòng)器，這些接口設(shè)備可以提供物理感覺(jué)。接觸該設(shè)備或操作該設(shè)備的用戶(hù)操作物的用戶(hù)對(duì)這些物理感覺(jué)有感受。例如，設(shè)備12可以是旋鈕、鼠標(biāo)、跟蹤球、操縱桿或用戶(hù)在所提供的自由度內(nèi)加以移動(dòng)以便輸入方向、值、大小等的其他設(shè)備。用戶(hù)在物理上接觸設(shè)備12來(lái)提供輸入，同時(shí)，他或她也可以體驗(yàn)由觸覺(jué)設(shè)備12輸出的觸覺(jué)。在本發(fā)明中，這些觸覺(jué)與在該主計(jì)算機(jī)的該應(yīng)用程序中產(chǎn)生的該編輯和其他聲音處理特點(diǎn)有關(guān)，并且允許用戶(hù)更容易地執(zhí)行這些處理任務(wù)和使用該聲音數(shù)據(jù)。
主計(jì)算機(jī)14也將信號(hào)輸出到音頻揚(yáng)聲器24，以允許用戶(hù)16聽(tīng)取用戶(hù)已選擇播放的聲音數(shù)據(jù)。來(lái)自這些揚(yáng)聲器的聲音數(shù)據(jù)的輸出配合主計(jì)算機(jī)的視覺(jué)顯示和來(lái)自觸覺(jué)設(shè)備12的觸覺(jué)輸出，允許用戶(hù)更容易地體驗(yàn)并注意該聲音數(shù)據(jù)中的特定的或預(yù)先選擇的事件。這樣，允許用戶(hù)通過(guò)利用除聽(tīng)覺(jué)和視覺(jué)以外的觸覺(jué)從而更加容易地編輯聲音。
觸覺(jué)反饋設(shè)備可以處理輸入并輸出到計(jì)算機(jī)接口。這對(duì)于實(shí)時(shí)任務(wù)而言是很強(qiáng)大的，在這些實(shí)時(shí)任務(wù)中，迅速、有效率地進(jìn)行人的物理反應(yīng)是成功的關(guān)鍵。觸覺(jué)反饋接口可以提高用戶(hù)的效率和精確性，同時(shí)可減少實(shí)現(xiàn)計(jì)算機(jī)任務(wù)所要求的認(rèn)知負(fù)擔(dān)。這些類(lèi)型的結(jié)果會(huì)大大有益于音樂(lè)創(chuàng)作和編輯，因?yàn)橛行У囊魳?lè)界面的關(guān)鍵特征之一是它允許用戶(hù)沉浸在音樂(lè)體驗(yàn)中，而不會(huì)過(guò)度地意識(shí)到特殊的身體姿勢(shì)。本發(fā)明允許將不昂貴的觸覺(jué)設(shè)備并入計(jì)算機(jī)輔助的音樂(lè)和聲音編輯和創(chuàng)作。
圖2是框圖，展示了圖1中的觸覺(jué)反饋系統(tǒng)的一個(gè)實(shí)施例，該實(shí)施例包括與主計(jì)算機(jī)14進(jìn)行通信的觸覺(jué)反饋接口設(shè)備12。
主計(jì)算機(jī)14最好包括主機(jī)微處理器20、時(shí)鐘22、顯示屏幕26和音頻輸出設(shè)備24。該主計(jì)算機(jī)也包括其他眾所周知的部件，例如隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)和輸入/輸出(I/O)電路(未示出)。主計(jì)算機(jī)14是可以采取眾多各種形式的計(jì)算設(shè)備。例如，在所描述的實(shí)施例中，計(jì)算機(jī)14是個(gè)人計(jì)算機(jī)或工作站(例如，PC兼容計(jì)算機(jī)或Macintosh個(gè)人計(jì)算機(jī)、或Sun或Silicon Graphics工作站)。這類(lèi)計(jì)算機(jī)14可以在WindowsTM、MacOSTM、Unix、MS-DOS或其他操作系統(tǒng)下進(jìn)行操作。作為選擇，主計(jì)算機(jī)14可以是通常被連接到電視機(jī)或其他顯示器的各種家庭視頻游戲控制臺(tái)系統(tǒng)之一(例如，任天堂、Sega、索尼公司或微軟公司提供的系統(tǒng))。在其他實(shí)施例中，主計(jì)算機(jī)系統(tǒng)14可以是“機(jī)頂盒”、“網(wǎng)絡(luò)計(jì)算機(jī)”或“因特網(wǎng)計(jì)算機(jī)”、便攜式計(jì)算機(jī)或游戲設(shè)備、消費(fèi)電子設(shè)備(立體聲部件等)、PDA等。
如果合適的話(huà)，主計(jì)算機(jī)14最好執(zhí)行用戶(hù)經(jīng)由設(shè)備12和其他外圍設(shè)備而與其連接的主機(jī)應(yīng)用程序。在本發(fā)明的上下文中，該主機(jī)應(yīng)用程序是數(shù)字音頻編輯程序，以下將對(duì)其進(jìn)行更詳細(xì)的描述。也可以使用其他利用設(shè)備12的輸入并將觸覺(jué)反饋命令輸出到設(shè)備12的應(yīng)用程序。該主機(jī)應(yīng)用程序最好利用圖形用戶(hù)界面(GUI)來(lái)向用戶(hù)呈現(xiàn)選項(xiàng)并從用戶(hù)那里接收輸入。這個(gè)應(yīng)用程序可以包括以下所描述的觸覺(jué)反饋功能性；或者，該觸覺(jué)反饋控制可以在運(yùn)行于該主計(jì)算機(jī)上的另一個(gè)程序(例如，驅(qū)動(dòng)器或其他應(yīng)用程序)中加以執(zhí)行。這里，計(jì)算機(jī)14可以被稱(chēng)作提供“圖形環(huán)境”，該“圖形環(huán)境”可以是圖形用戶(hù)界面、游戲、模擬或其他視覺(jué)環(huán)境。該計(jì)算機(jī)顯示“圖形對(duì)象”或“計(jì)算機(jī)對(duì)象”，它們不是物理對(duì)象，而是可以由計(jì)算機(jī)14在顯示屏幕26上顯示為圖像的數(shù)據(jù)和/或程序的邏輯軟件單元集合，這是精通該技術(shù)領(lǐng)域的人眾所周知的。可以從加利福尼亞州的圣何塞的Immersion公司獲得使軟件與觸覺(jué)反饋設(shè)備連接的合適的驅(qū)動(dòng)程序軟件。
顯示設(shè)備26可以被包括在主計(jì)算機(jī)系統(tǒng)14中，并可以是標(biāo)準(zhǔn)顯示屏幕(LCD、CRT、平面控制板等)、3-D風(fēng)鏡、投影設(shè)備或任何其他的視覺(jué)輸出設(shè)備。顯示設(shè)備26顯示如操作系統(tǒng)應(yīng)用程序、模擬、游戲等所控制的圖像。音頻輸出設(shè)備24(例如，揚(yáng)聲器)將聲音輸出提供給用戶(hù)。在本發(fā)明的上下文中，其他有關(guān)音頻的設(shè)備也可以連接到主計(jì)算機(jī)，例如混頻器、放大器、專(zhuān)用硬件等。其他類(lèi)型的外圍設(shè)備也可以連接到主機(jī)處理器20，如存儲(chǔ)設(shè)備(硬盤(pán)驅(qū)動(dòng)器、CD ROM驅(qū)動(dòng)器、軟盤(pán)驅(qū)動(dòng)器等)、打印機(jī)和其他輸入與輸出設(shè)備。
接口設(shè)備12(例如，鼠標(biāo)、旋鈕、游戲墊、跟蹤球、操縱桿、遙控器等)通過(guò)雙向總線(xiàn)30連接到主計(jì)算機(jī)系統(tǒng)14。該雙向總線(xiàn)在主計(jì)算機(jī)系統(tǒng)14與該接口設(shè)備之間的任何一個(gè)方向上發(fā)送信號(hào)?？偩€(xiàn)30可以是串行接口總線(xiàn)(例如，RS232串行接口、RS-422、通用串行總線(xiàn)(USB)、MIDI或精通該技術(shù)領(lǐng)域的人眾所周知的其他協(xié)議)，也可以是并行總線(xiàn)或無(wú)線(xiàn)連接。一些接口也可以為設(shè)備12的這些致動(dòng)器提供電源。
設(shè)備12可以包括本地處理器40。本地處理器40可以選擇性地被包括在設(shè)備12的外殼內(nèi)，以允許與該鼠標(biāo)的其他部件進(jìn)行有效率的通信?？梢韵蛱幚砥?0提供軟件指令，以等待來(lái)自主計(jì)算機(jī)14的命令或請(qǐng)求，解碼該命令或請(qǐng)求，并且根據(jù)該命令或請(qǐng)求來(lái)處理/控制輸入信號(hào)和輸出信號(hào)。此外，通過(guò)讀取傳感器信號(hào)并根據(jù)那些傳感器信號(hào)、時(shí)間信號(hào)以及依照主機(jī)命令而加以選擇的存儲(chǔ)或中繼的指令來(lái)計(jì)算合適的力，處理器40可以獨(dú)立于主計(jì)算機(jī)14而進(jìn)行操作。適合用作本地處理器40的微處理器包括(例如)摩托羅拉公司生產(chǎn)的MC68HC711E9、Microchip生產(chǎn)的PIC16C74和英特爾公司生產(chǎn)的82930AX，以及諸如“Immersion Touchsense處理器”等更加精密復(fù)雜的力反饋處理器。處理器40可以包括一個(gè)微處理器芯片、多處理器和/或協(xié)處理器芯片，以及/或者數(shù)字信號(hào)處理器(DSP)性能。
根據(jù)主計(jì)算機(jī)14通過(guò)總線(xiàn)30所提供的指令，微處理器40可以從傳感器42接收信號(hào)，并可以將信號(hào)提供給致動(dòng)器組件44。例如，在局部控制實(shí)施例中，主計(jì)算機(jī)14通過(guò)總線(xiàn)30將高級(jí)監(jiān)督命令提供給處理器40，并且，處理器40根據(jù)這些高級(jí)命令且獨(dú)立于主計(jì)算機(jī)14來(lái)解碼這些命令，并管理連接傳感器和致動(dòng)器的低級(jí)別力控制回路。美國(guó)專(zhuān)利5,739,811和5,734,373(被包括于此，用作參考)中更加詳細(xì)地描述了這項(xiàng)操作。在該主機(jī)控制回路中，來(lái)自該主計(jì)算機(jī)的力命令指示該處理器輸出具有規(guī)定特征的力或力感覺(jué)。本地處理器40將位置和其他傳感器數(shù)據(jù)報(bào)告給主計(jì)算機(jī)，主計(jì)算機(jī)使用其來(lái)更新被執(zhí)行的程序。在該局部控制回路中，從處理器40提供致動(dòng)器信號(hào)到致動(dòng)器44，并且，從傳感器42和其他輸入設(shè)備48提供傳感器信號(hào)到處理器40。處理器40可以處理輸入的傳感器信號(hào)，以便通過(guò)遵循存儲(chǔ)的指令來(lái)確定合適的輸出致動(dòng)器信號(hào)。這里，術(shù)語(yǔ)“觸覺(jué)”或“觸感”指的是為用戶(hù)提供感覺(jué)的這些致動(dòng)器組件所輸出的單個(gè)力或一連串的力。
在其他實(shí)施例中，可以在本地向設(shè)備12提供其他較簡(jiǎn)單的硬件，以提供如同處理器40的功能性。例如，可以使用硬件狀態(tài)機(jī)或包含固定邏輯的ASIC，以便將信號(hào)提供給致動(dòng)器44并從傳感器42接收傳感器信號(hào)，并且，根據(jù)預(yù)定義的序列、算法或過(guò)程來(lái)輸出觸覺(jué)信號(hào)。
在一個(gè)不同的、主機(jī)控制的實(shí)施例中，主計(jì)算機(jī)14可以通過(guò)總線(xiàn)30來(lái)提供低級(jí)別力命令，這些力命令經(jīng)由處理器40而被直接傳送到致動(dòng)器44。這樣，主計(jì)算機(jī)14直接控制并處理去往和來(lái)自設(shè)備12的所有信號(hào)。在這個(gè)簡(jiǎn)單的主機(jī)控制實(shí)施例中，從主機(jī)到設(shè)備的信號(hào)可以命令致動(dòng)器按預(yù)定義的頻率和大小來(lái)輸出力，或者，這個(gè)信號(hào)可以包括大小和/或方向，或者，它可以是指示應(yīng)隨時(shí)間的推移而加以應(yīng)用的所需力值的簡(jiǎn)單命令。
本地存儲(chǔ)器52(例如，RAM和/或ROM)最好連接到設(shè)備12中的處理器40，以存儲(chǔ)處理器40的指令，并存儲(chǔ)臨時(shí)數(shù)據(jù)和其他數(shù)據(jù)。例如，力的配置(例如，可以由該處理器輸出的一連串被存儲(chǔ)的力值、或?qū)⒏鶕?jù)用戶(hù)對(duì)象的當(dāng)前位置輸出的力值查找表)可以被存儲(chǔ)在存儲(chǔ)器52中。此外，類(lèi)似于主計(jì)算機(jī)14的系統(tǒng)時(shí)鐘，本地時(shí)鐘54可以連接到處理器40，以提供定時(shí)數(shù)據(jù)；例如，可能需要該定時(shí)數(shù)據(jù)來(lái)計(jì)算由致動(dòng)器44輸出的力(例如，取決于計(jì)算出的速度或其他由時(shí)間決定的因素的力)。在使用USB通信接口的實(shí)施例中，可以作為選擇地從該USB信號(hào)中檢索關(guān)于處理器40的定時(shí)數(shù)據(jù)。
傳感器42感知該設(shè)備和/或一個(gè)或多個(gè)操作物或控制器的位置或運(yùn)動(dòng)，并將信號(hào)(包括表示該位置或運(yùn)動(dòng)的信息)提供給處理器40(或主機(jī)14)。適合用于檢測(cè)處理的傳感器包括數(shù)字光學(xué)編碼器、光學(xué)傳感器系統(tǒng)、線(xiàn)性光學(xué)編碼器、電位計(jì)、光學(xué)傳感器、速度傳感器、加速傳感器、應(yīng)變儀，或者，也可以使用其他類(lèi)型的傳感器，并且可以提供相對(duì)傳感器或絕對(duì)傳感器?？梢允褂每蛇x的傳感器接口46，以便將傳感器信號(hào)轉(zhuǎn)換成可以由處理器40和/或主機(jī)14解釋的信號(hào)。
致動(dòng)器44響應(yīng)于從處理器40和/或主計(jì)算機(jī)14接收的信號(hào)，將力傳送到設(shè)備12的外殼或一個(gè)或多個(gè)操作物60。致動(dòng)器44可以是許多類(lèi)型的致動(dòng)器中的任何致動(dòng)器，包括主動(dòng)致動(dòng)器(例如，DC馬達(dá)、音圈、氣動(dòng)或水力致動(dòng)器、加扭器、壓電致動(dòng)器、動(dòng)磁鐵致動(dòng)器等)或被動(dòng)致動(dòng)器(例如，閘)。
致動(dòng)器接口50可以選擇性地連接在致動(dòng)器44與處理器40之間，以便將來(lái)自處理器40的信號(hào)轉(zhuǎn)換成適合驅(qū)動(dòng)致動(dòng)器44的信號(hào)。接口50可以包括功率放大器、開(kāi)關(guān)、數(shù)?？刂破?DAC)、模數(shù)控制器(ADC)和其他部件，這是精通該技術(shù)領(lǐng)域的人眾所周知的。其他輸入設(shè)備48被包括在設(shè)備12中，并且在由用戶(hù)操作時(shí)，將輸入信號(hào)發(fā)送到處理器40或發(fā)送到主機(jī)14。這類(lèi)輸入設(shè)備可以包括按鈕、滾輪、d-墊、刻度盤(pán)、開(kāi)關(guān)、或其他控制器或機(jī)制。
電源56可以選擇性地包括在與致動(dòng)器接口50和/或致動(dòng)器44連接的設(shè)備12中，以便為致動(dòng)器提供電力；或者，電源56可以作為單獨(dú)的部件來(lái)加以提供。作為選擇，可以從與設(shè)備12分開(kāi)的電源提取動(dòng)力，也可以通過(guò)總線(xiàn)30來(lái)接收動(dòng)力。也可以由設(shè)備12來(lái)存儲(chǔ)和調(diào)節(jié)所接收的動(dòng)力，這樣，當(dāng)需要該所接收的動(dòng)力來(lái)驅(qū)動(dòng)致動(dòng)器44時(shí)，可以使用該動(dòng)力，或者，可以按補(bǔ)充方式來(lái)使用該所接收的動(dòng)力。一些實(shí)施例可以使用該設(shè)備中的動(dòng)力存儲(chǔ)設(shè)備，以確?？梢詰?yīng)用峰值力(如包括于此、用作參考的第5,929,607號(hào)美國(guó)專(zhuān)利中所描述的)。作為選擇，這項(xiàng)技術(shù)可以被運(yùn)用在無(wú)線(xiàn)設(shè)備中，在這種情況下，使用電池電源來(lái)驅(qū)動(dòng)這些觸覺(jué)致動(dòng)器?？梢赃x擇性地包括安全開(kāi)關(guān)58，以便出于安全原因而允許用戶(hù)停用致動(dòng)器44。
致動(dòng)器44輸出接口設(shè)備12的外殼和/或操作物60上的力。傳感器42可以感知該外殼或操作物60的位置或運(yùn)動(dòng)。許多類(lèi)型的接口或控制設(shè)備可以用于這里所描述的本發(fā)明。例如，這類(lèi)接口設(shè)備可以包括觸覺(jué)反饋跟蹤球、操縱桿手柄、方向盤(pán)、旋鈕、手持遙控設(shè)備、電視游戲或計(jì)算機(jī)游戲的游戲墊控制器、觸針、手柄、轉(zhuǎn)輪、按鈕、便攜式電話(huà)、PDA、觸摸墊或其他可操作對(duì)象、表面或外殼。
圖3是適用于本發(fā)明的設(shè)備12的鼠標(biāo)實(shí)施例100的截面?zhèn)纫晥D。
鼠標(biāo)設(shè)備100包括外殼101、傳感系統(tǒng)102和致動(dòng)器104。塑造外殼101，以便使其如同標(biāo)準(zhǔn)鼠標(biāo)那樣適合用戶(hù)的手形，同時(shí)，用戶(hù)按平面自由度來(lái)移動(dòng)該鼠標(biāo)，并操作按鈕106。在許多不同的實(shí)施例中，可以提供其他的外殼形狀。
傳感器102按其平面自由度(例如，沿X軸和Y軸)來(lái)檢測(cè)該鼠標(biāo)的位置。在所述實(shí)施例中，傳感器102包括標(biāo)準(zhǔn)鼠標(biāo)球110，該標(biāo)準(zhǔn)鼠標(biāo)球用于將方向輸入提供給計(jì)算機(jī)系統(tǒng)。作為選擇，可以使用光學(xué)傳感器或其他類(lèi)型的傳感器。
鼠標(biāo)設(shè)備100包括一個(gè)或多個(gè)致動(dòng)器104，這些致動(dòng)器用于將觸覺(jué)反饋(例如，觸覺(jué))通知該鼠標(biāo)的用戶(hù)。在一個(gè)實(shí)施例中，該致動(dòng)器連接到由該致動(dòng)器移動(dòng)的慣性質(zhì)量。該慣性質(zhì)量的運(yùn)動(dòng)所引起的慣性力相對(duì)于該慣性質(zhì)量被應(yīng)用于鼠標(biāo)外殼，從而將觸覺(jué)反饋(例如，觸覺(jué))傳達(dá)給正在接觸該外殼的鼠標(biāo)用戶(hù)。一些實(shí)施例允許該致動(dòng)器使自身作為該慣性質(zhì)量而移動(dòng)。第6,211,861號(hào)美國(guó)專(zhuān)利和第09/585,741號(hào)美國(guó)申請(qǐng)(都被包括于此，用作整體參考)中更加詳細(xì)地描述了這類(lèi)實(shí)施例。其他類(lèi)型的接口設(shè)備(例如，游戲墊、手持遙控器、便攜式電話(huà)、PDA等)可以包括這種致動(dòng)器用于慣性觸覺(jué)。
其他類(lèi)型的接口設(shè)備和致動(dòng)器也可以用于本發(fā)明。例如，游戲墊、鼠標(biāo)或其他設(shè)備可以包括離心的旋轉(zhuǎn)質(zhì)量，該旋轉(zhuǎn)質(zhì)量連接到致動(dòng)器的轉(zhuǎn)軸，以提供該設(shè)備的外殼或操作物上的慣性觸覺(jué)。其他類(lèi)型的觸覺(jué)設(shè)備(例如，操縱桿、旋鈕、滾輪、游戲墊、方向盤(pán)、跟蹤球、鼠標(biāo)等)可以提供動(dòng)覺(jué)力反饋，其中，按操作物的感知自由度來(lái)輸出力。例如，第6,100,874號(hào)和第6,166,723號(hào)美國(guó)專(zhuān)利(都被包括于此，用作整體參考)中揭示了動(dòng)覺(jué)鼠標(biāo)觸覺(jué)設(shè)備的圖4是適用于本發(fā)明的接口設(shè)備12的另一個(gè)實(shí)施例150的透視圖。旋鈕設(shè)備150包括控制旋鈕152，該控制旋鈕由用戶(hù)來(lái)操作，以控制該電子設(shè)備或主計(jì)算機(jī)14的各種功能。例如，可以在與運(yùn)行如下所述的編輯軟件的主計(jì)算機(jī)14連接的單獨(dú)的外殼單元中提供該旋鈕設(shè)備，或者，可以在整個(gè)控制面板(包括與音頻編輯或如所需要的其他控制功能有關(guān)的其他控制器)中提供該旋鈕設(shè)備。主計(jì)算機(jī)14的顯示器26(或?qū)Ｓ糜谠撔o設(shè)備的顯示器)可以按以下所描述的那樣來(lái)顯示這些編輯控制器。
控制旋鈕152允許用戶(hù)直接操作本發(fā)明的各項(xiàng)功能和設(shè)置。旋鈕152可以是可由用戶(hù)使用的近似圓柱體的對(duì)象。在所述實(shí)施例中，如箭頭154所示，旋鈕152圍繞從該旋鈕延伸出來(lái)的軸(例如，軸A)、按單一的旋轉(zhuǎn)自由度來(lái)加以旋轉(zhuǎn)。用戶(hù)最好緊握或接觸旋鈕152的圓周表面156，并將它旋轉(zhuǎn)所需的量。可以在替換實(shí)施例中提供多個(gè)旋鈕152，每個(gè)旋鈕提供不同的或類(lèi)似的控制功能性。
另外，控制旋鈕152的一些實(shí)施例可以向用戶(hù)提供額外的控制功能性?？刂菩o152最好能夠沿軸A(或近似地平行于軸A)、按自由度來(lái)加以推和/或拉，并且，這個(gè)運(yùn)動(dòng)由軸向開(kāi)關(guān)或傳感器來(lái)感知。這為用戶(hù)提供了額外的方法，用于選擇功能或設(shè)置，而無(wú)須讓他或她放開(kāi)旋鈕。例如，在一個(gè)實(shí)施例中，用戶(hù)可以使用旋鈕152的旋轉(zhuǎn)而在顯示器14上移動(dòng)顯示光標(biāo)或其他指示符；當(dāng)該光標(biāo)已被移動(dòng)到該顯示器上的所需設(shè)置或區(qū)域時(shí)，用戶(hù)可以推動(dòng)旋鈕152，以選擇該所需設(shè)置。旋鈕152的推和/或拉功能性可以帶有彈力恢復(fù)偏向，或者可以這樣實(shí)現(xiàn)，以保留在被推或拉的位置，直到用戶(hù)主動(dòng)將該旋鈕移動(dòng)到新的位置為止。
在其他實(shí)施例中，用戶(hù)可能能夠在與旋轉(zhuǎn)軸A近似地垂直(正交)的平面中按一個(gè)或多個(gè)橫向或側(cè)向來(lái)移動(dòng)旋鈕152。這個(gè)橫向運(yùn)動(dòng)由箭頭158指示。例如，旋鈕152可以按所示的四個(gè)正交方向和四個(gè)對(duì)角線(xiàn)方向來(lái)進(jìn)行移動(dòng)。旋鈕152的這個(gè)橫向運(yùn)動(dòng)可以允許用戶(hù)選擇該受控設(shè)備的額外的設(shè)置或功能(例如，模式選擇、光標(biāo)定位、或者值或大小設(shè)置)。
最好至少在按旋鈕152的旋轉(zhuǎn)自由度為該旋鈕提供力反饋?？梢蕴峁┚哂羞B接到旋鈕152的軸桿的致動(dòng)器160(例如，旋轉(zhuǎn)DC馬達(dá))。該致動(dòng)器可以輸出力，以便為旋轉(zhuǎn)中的該旋鈕提供制動(dòng)、彈力、阻尼、障礙或其他力感覺(jué)。用于讀取該旋鈕的旋轉(zhuǎn)位置的傳感器可以與該致動(dòng)器結(jié)合，或者可以被單獨(dú)提供。作為選擇或作為附加，可以驅(qū)使該旋鈕的這些橫向和/或直線(xiàn)軸向運(yùn)動(dòng)。第6,154,201號(hào)美國(guó)專(zhuān)利(被包括于此，用作參考)中更加詳細(xì)地描述了旋鈕硬件實(shí)施。第5,734,373號(hào)和第6,154,201號(hào)美國(guó)專(zhuān)利(被包括于此，用作整體參考)中描述了一些力感覺(jué)。
利用觸覺(jué)反饋的聲音數(shù)據(jù)輸出和處理本發(fā)明改善了通過(guò)使用由觸覺(jué)反饋接口設(shè)備輸出的觸覺(jué)來(lái)處理數(shù)字聲音數(shù)據(jù)(也被稱(chēng)作“音頻數(shù)據(jù)”)這個(gè)過(guò)程中的用戶(hù)體驗(yàn)。
圖5是本發(fā)明的一個(gè)預(yù)處理實(shí)施例200的流程圖。這個(gè)方法可以由應(yīng)用程序(例如，聲音作曲/編輯程序)來(lái)執(zhí)行，它是所描述的這個(gè)實(shí)施例中所使用的例子。作為選擇，可以使用正在與聲音作曲/編輯程序同時(shí)運(yùn)行的單獨(dú)的應(yīng)用程序或驅(qū)動(dòng)程序來(lái)執(zhí)行該方法。其他類(lèi)型的應(yīng)用程序也可以用于本發(fā)明。
該方法始于202處，并且，在步驟204中，讀入由用戶(hù)制定的任何設(shè)置。例如，用戶(hù)以前可能已將設(shè)置輸入圖形用戶(hù)界面中所顯示的各欄中；以下參照?qǐng)D10和11來(lái)描述這種用戶(hù)界面的例子。這些設(shè)置允許用戶(hù)定制這些觸覺(jué)的感受以及它們與被播放或編輯的該聲音的關(guān)系。也可以用其他方法(例如，通過(guò)讀取數(shù)據(jù)庫(kù)的程序、經(jīng)由聯(lián)網(wǎng)的存儲(chǔ)設(shè)備等)來(lái)輸入用戶(hù)設(shè)置。
在下一個(gè)步驟206中，聲音文件或聲音數(shù)據(jù)的全部或部分，或包括在其他數(shù)據(jù)之中的聲音數(shù)據(jù)的文件被載入存儲(chǔ)器。如該技術(shù)領(lǐng)域中所眾所周知的，該聲音數(shù)據(jù)通常包括一連串單獨(dú)的數(shù)字聲音樣本，這些數(shù)字聲音樣本指示驅(qū)動(dòng)器或其他I/O程序或設(shè)備如何從這些樣本中生成音頻信號(hào)。該聲音數(shù)據(jù)將由本發(fā)明的這種方法來(lái)進(jìn)行預(yù)處理，以便當(dāng)以后通過(guò)揚(yáng)聲器或其他音頻輸出設(shè)備來(lái)向用戶(hù)播放該聲音數(shù)據(jù)時(shí)，允許輸出觸覺(jué)。如果本發(fā)明的方法正在由該聲音編輯或回放程序以外的單獨(dú)程序執(zhí)行，那么，該單獨(dú)程序可以將該聲音數(shù)據(jù)載入存儲(chǔ)器，以進(jìn)行預(yù)處理。
在下一個(gè)步驟208中，對(duì)被載入存儲(chǔ)器的該聲音數(shù)據(jù)進(jìn)行預(yù)處理，以找出將與觸覺(jué)關(guān)聯(lián)的所需聲音特征。例如，該方法可以按該方式來(lái)檢查聲音文件，以便由回放設(shè)備(例如)按臨時(shí)序列或其他實(shí)施例中的其他序列來(lái)播放或輸出該聲音文件。
被搜索的所需聲音特征在不同的實(shí)施例中會(huì)有所不同，并且可能會(huì)受到步驟204中讀取的這些用戶(hù)設(shè)置的影響。在一個(gè)實(shí)施例中，該方法可以尋找該聲音數(shù)據(jù)中急劇的振幅上升。這在圖6的波形圖220中被加以圖示。該聲音數(shù)據(jù)表示聲音波形222，并可能具有對(duì)應(yīng)于該聲音中的簡(jiǎn)短的或不連續(xù)的特點(diǎn)的聲音(例如，鼓聲或音樂(lè)中的其他打擊樂(lè)器聲)的矮峰值224。例如，第一個(gè)峰值224處的振幅上升可以是在步驟208中被加以搜索的特征。較佳的是，限制振幅上升閾值。例如，比該聲音波形的平均振幅更大的預(yù)定百分比可以是該閾值(例如，50％)。在步驟206中，可以預(yù)先為裝載在存儲(chǔ)器中的全部聲音數(shù)據(jù)計(jì)算該聲音數(shù)據(jù)的平均振幅。閾值的百分比可以是在步驟204中裝載的用戶(hù)設(shè)置，也可以是默認(rèn)值。
該方法也可以使用更加精細(xì)的方法(包括糾錯(cuò))，以便(例如)不將噪聲檢測(cè)為所需的聲音特征。例如，為了將特點(diǎn)識(shí)別為應(yīng)該被賦予觸覺(jué)的聲音數(shù)據(jù)中的峰值，在上升之后，該方法可以要求該聲音波形下降關(guān)于該特點(diǎn)的聲音數(shù)據(jù)中的那個(gè)點(diǎn)處的平均值以下的某個(gè)百分比，以便登記為該聲音數(shù)據(jù)中的峰值。如果該波形沒(méi)有這個(gè)下降，那么，所發(fā)現(xiàn)的該振幅下降可以被認(rèn)為是假下降(例如，噪聲)，因此以后在該波形中可能會(huì)發(fā)生真的振幅下降。這個(gè)檢驗(yàn)減少了在只有曾引起較小的振幅下降的一個(gè)所需峰值時(shí)可能錯(cuò)誤地發(fā)現(xiàn)多個(gè)峰值的可能性。
可以采取其他糾錯(cuò)措施，以防止一些聲音特點(diǎn)被當(dāng)作所需的觸覺(jué)特點(diǎn)過(guò)度計(jì)數(shù)。例如，如果該方法遇到聲音數(shù)據(jù)中的峰值，則該方法可以檢查在聲音數(shù)據(jù)中最早發(fā)現(xiàn)的聲音峰值。如果該當(dāng)前發(fā)現(xiàn)的峰值沒(méi)有與該先前峰值隔開(kāi)預(yù)定的最小數(shù)量的時(shí)間間隔，那么，當(dāng)前峰值不應(yīng)該被計(jì)數(shù)為所需的觸覺(jué)聲音特征。這樣，可防止將觸覺(jué)賦予聲音特征，這些聲音特征在回放期間時(shí)間上太接近，以致用戶(hù)無(wú)法區(qū)別它們；因此，節(jié)省了處理時(shí)間。在其他實(shí)施例中可以進(jìn)行當(dāng)前的聲音特征與以前發(fā)現(xiàn)的特征之間的其他比較，以確定是否可以將該當(dāng)前特征賦予觸覺(jué)。也可以搜索聲音數(shù)據(jù)中的其他特征，例如振蕩的預(yù)定數(shù)量、高度的預(yù)定百分比的下降等。
一旦已在該聲音數(shù)據(jù)中發(fā)現(xiàn)聲音特征，在下一個(gè)步驟210中，就將標(biāo)記符加入指示這個(gè)所發(fā)現(xiàn)的聲音特征的位置的標(biāo)記符運(yùn)行清單。標(biāo)記符可以只是指示聲音特征在該處開(kāi)始的聲音樣本的號(hào)碼(例如，從聲音數(shù)據(jù)的開(kāi)端加以參考)的數(shù)字，或者可以位于該特征的某個(gè)其他標(biāo)準(zhǔn)位置。例如，標(biāo)記符由圖6中峰值224的開(kāi)端處的虛線(xiàn)226來(lái)表示；虛線(xiàn)226位置處的聲音樣本的這個(gè)標(biāo)識(shí)號(hào)(或其他標(biāo)識(shí)符)可以被存儲(chǔ)在標(biāo)記符清單中。
標(biāo)記符清單包括在本方法的先前迭代中發(fā)現(xiàn)的對(duì)應(yīng)于觸覺(jué)的所有這些所需的聲音特征；例如，如果執(zhí)行順序處理，則較早地在該聲音數(shù)據(jù)流中產(chǎn)生關(guān)于觸覺(jué)關(guān)聯(lián)的特征。該清單被加以組織，以便在回放期間，該清單中的聲音樣本可以容易地與當(dāng)前正在播放的聲音樣本進(jìn)行比較。
一些實(shí)施例可以只提供清單中的標(biāo)記符，并且，所有這些標(biāo)記符與標(biāo)準(zhǔn)觸覺(jué)(例如，制動(dòng))關(guān)聯(lián)。這樣，只要在回放期間達(dá)到標(biāo)記符，制動(dòng)就將被輸出給用戶(hù)。在其他更加復(fù)雜的實(shí)施例中，根據(jù)所發(fā)現(xiàn)的聲音特征的類(lèi)型或特征，每個(gè)標(biāo)記符可以與一種類(lèi)型的觸覺(jué)關(guān)聯(lián)。例如，可以將該關(guān)聯(lián)的觸覺(jué)的標(biāo)志(它的類(lèi)型和/或參數(shù))存儲(chǔ)在具有每個(gè)標(biāo)記符的標(biāo)記符清單中。在其他實(shí)施例中，可以將標(biāo)記符放置在每個(gè)聲音樣本或每幾個(gè)聲音樣本處，并且，聯(lián)合每個(gè)標(biāo)記符來(lái)計(jì)算力值，使其與那個(gè)樣本處的聲音振幅成比例。這允許觸覺(jué)輸出連續(xù)不斷地與聲音數(shù)據(jù)的振幅相匹配。但是，在如以下參照?qǐng)D8而描述的實(shí)時(shí)處理實(shí)施例中，可以更好地執(zhí)行這類(lèi)連續(xù)的匹配。
在下一個(gè)步驟212中，檢驗(yàn)是否已達(dá)到聲音文件或聲音數(shù)據(jù)的末端，以及是否不再有數(shù)據(jù)需要進(jìn)行預(yù)處理。如果不是這樣，那么，該方法返回到步驟208，以便進(jìn)一步對(duì)該聲音數(shù)據(jù)進(jìn)行預(yù)處理，直到發(fā)現(xiàn)另一個(gè)所需的聲音特征為止。如果沒(méi)有更多的聲音數(shù)據(jù)需要進(jìn)行預(yù)處理，那么，該方法在214處完成。
圖7是流程圖，展示了根據(jù)本發(fā)明用于回放預(yù)處理的聲音數(shù)據(jù)和觸覺(jué)的方法250。在這個(gè)方法中，假設(shè)用戶(hù)或應(yīng)用程序正在經(jīng)由揚(yáng)聲器或其他音頻設(shè)備而將聲音輸出給用戶(hù)。在一個(gè)實(shí)施例(本范例方法主要與其有關(guān))中，該應(yīng)用程序是音樂(lè)作曲/編輯程序，該程序允許用戶(hù)根據(jù)經(jīng)由觸覺(jué)設(shè)備12而來(lái)自用戶(hù)的輸入來(lái)回放音樂(lè)。例如，通過(guò)在一個(gè)方向上轉(zhuǎn)動(dòng)該旋鈕來(lái)向前播放該聲音，并通過(guò)在相反的方向上轉(zhuǎn)動(dòng)該旋鈕來(lái)向后播放該聲音，用戶(hù)可以操作旋鈕設(shè)備，以回放聲音?；蛘?，用戶(hù)可以使用鼠標(biāo)、操縱桿或其他設(shè)備。用戶(hù)經(jīng)常執(zhí)行這種向前和向后的回放，以收聽(tīng)用戶(hù)剛剛使用該應(yīng)用程序來(lái)加以編輯或作曲的聲音樣本，并且，也可以使用這個(gè)特點(diǎn)，將光標(biāo)放置在該聲音數(shù)據(jù)流中的所需位置處，用于進(jìn)一步編輯該聲音數(shù)據(jù)。
該方法始于252處，并且，在步驟254中，該方法檢驗(yàn)是否啟動(dòng)或繼續(xù)聲音回放。如果否，則該方法在256處完成。如果是，那么，在步驟258中，可以接收用戶(hù)輸入(例如，用戶(hù)將該觸覺(jué)設(shè)備的旋鈕或其他操作物轉(zhuǎn)動(dòng)到新的位置)。或者，用戶(hù)可能沒(méi)有提供新的輸入。在步驟260中，按用戶(hù)所指示的方向——向前或向后，通過(guò)揚(yáng)聲器來(lái)播放該聲音數(shù)據(jù)。該方向可以對(duì)應(yīng)于旋鈕的旋轉(zhuǎn)方向、鼠標(biāo)或操縱桿或轉(zhuǎn)輪的運(yùn)動(dòng)方向等。
一些實(shí)施例可以提供速率控制模式——其中，用戶(hù)可以控制該聲音回放速度。回放速率基于來(lái)自參照位置的操作物或?qū)ο蟮漠?dāng)前位置。例如，在旋鈕實(shí)施例中，用戶(hù)從起點(diǎn)靜止位置旋轉(zhuǎn)該旋鈕越多，該聲音回放速度就越大。在一些實(shí)施例中，用戶(hù)也在該旋鈕上施加彈性阻力，以協(xié)助這種速率控制。其他實(shí)施例可以提供位置控制模式——其中，僅當(dāng)用戶(hù)操作物正在移動(dòng)時(shí)，才播放音樂(lè)，并且，其中，特定的移動(dòng)量對(duì)應(yīng)于音樂(lè)回放的特定數(shù)量或持續(xù)時(shí)間。例如，在位置控制模式中，用戶(hù)可以連續(xù)不斷地按順時(shí)針?lè)较蛐D(zhuǎn)旋鈕，以繼續(xù)收聽(tīng)音樂(lè)回放，并且，可以調(diào)整那個(gè)旋轉(zhuǎn)的速度，以調(diào)整回放速度。當(dāng)用戶(hù)停止旋轉(zhuǎn)該旋鈕時(shí)，聲音回放停止。該模式也可以確定輸出什么觸覺(jué)；例如，基于時(shí)間的彈出或震搖可能在速率控制模式中是合適的，而在位置控制模式中，可以輸出基于位置的制動(dòng)或彈力。
在下一個(gè)步驟262中，如果已達(dá)到聲音數(shù)據(jù)中的標(biāo)記符，則該方法播放觸覺(jué)效果。這些標(biāo)記符最好曾根據(jù)圖5中的預(yù)處理而被放置在清單中，并且，每個(gè)標(biāo)記符具有該聲音數(shù)據(jù)中的關(guān)聯(lián)的聲音樣本或位置。如果在回放期間達(dá)到那個(gè)聲音樣本或位置，那么，命令輸出與那個(gè)標(biāo)記符關(guān)聯(lián)的該觸覺(jué)效果。例如，如圖6所示，觸覺(jué)由線(xiàn)路228指定。當(dāng)在回放期間達(dá)到標(biāo)記符226時(shí)，輸出該關(guān)聯(lián)的觸覺(jué)，這是本例中的力制動(dòng)，由線(xiàn)路228中的傾斜230指示。如上所述，一些實(shí)施例可以存儲(chǔ)具有已被達(dá)到的特定標(biāo)記符的一種類(lèi)型的觸覺(jué)，從而允許輸出各種不同的觸覺(jué)。
這樣，在輸出關(guān)聯(lián)的聲音特點(diǎn)的同時(shí)，觸覺(jué)設(shè)備立即將觸覺(jué)輸出給用戶(hù)。例如，配合力脈沖或震搖從該觸覺(jué)設(shè)備到用戶(hù)的輸出，同時(shí)輸出鼓點(diǎn)。然后，該方法返回到步驟254，以檢驗(yàn)是否繼續(xù)回放；如果是，則當(dāng)按類(lèi)似方式達(dá)到標(biāo)記符時(shí)，播放該聲音，并播放觸覺(jué)效果。
一些實(shí)施例可以根據(jù)其他因素(例如，用戶(hù)輸入)來(lái)改變這些輸出觸覺(jué)。例如，這些觸覺(jué)可能基于用戶(hù)所控制的聲音回放速度。在一個(gè)實(shí)施例中，這些制動(dòng)或其他觸覺(jué)的程度可以與回放速度直接成正比，或者可以基于和預(yù)定的閾值速度有關(guān)的當(dāng)前回放速度。
除了音樂(lè)以外，還可以回放諸如語(yǔ)言等其他聲音(例如，只是音頻或電影中的對(duì)話(huà))。這樣，觸覺(jué)可以基于聲音數(shù)據(jù)中的語(yǔ)言屬性。一些程序可以劃分語(yǔ)言屬性(例如，句子之間或內(nèi)部的停頓、或句子和單詞內(nèi)的措詞)，以允許用戶(hù)編輯表示語(yǔ)言輸出的聲音數(shù)據(jù)。
這樣，本發(fā)明提供了與聲音數(shù)據(jù)中的特點(diǎn)輸出相關(guān)的觸覺(jué)。用戶(hù)可以瀏覽聲音數(shù)據(jù)，以找出該串行數(shù)據(jù)中的特殊點(diǎn)，并且，當(dāng)諸如峰值等重要的特點(diǎn)被滾動(dòng)或被定位在由該應(yīng)用程序提供的光標(biāo)或指針處時(shí)，這些觸覺(jué)可以更好地通知用戶(hù)。這在導(dǎo)航和編輯任務(wù)中對(duì)用戶(hù)的幫助很大。
圖8是流程圖，展示了根據(jù)本發(fā)明依照聲音回放來(lái)輸出觸覺(jué)的實(shí)時(shí)回放過(guò)程300。與圖5和圖7中的這些方法(其中，在實(shí)際的聲音回放之前，為將要被映射到觸覺(jué)的特征而對(duì)聲音數(shù)據(jù)進(jìn)行預(yù)處理)相比，在本方法中，在回放期間處理該聲音數(shù)據(jù)，從而節(jié)省了任何預(yù)處理時(shí)間和計(jì)算。
該方法始于302處，并且，在步驟303中，聲音數(shù)據(jù)被載入存儲(chǔ)器(主緩沖器)。如上所述，這可以是待播放的聲音文件，也可以是包括待播放的其他數(shù)據(jù)(例如，視覺(jué)數(shù)據(jù))之中的聲音數(shù)據(jù)的文件。在步驟304中，該方法檢驗(yàn)是否啟動(dòng)或繼續(xù)聲音回放。如果否，則該方法在306處完成。如果是，那么，在步驟308中，類(lèi)似于關(guān)于圖7的以上所述內(nèi)容，可以接收用戶(hù)輸入(例如，用戶(hù)將該觸覺(jué)設(shè)備的旋鈕或其他操作物轉(zhuǎn)動(dòng)到新的位置)。在步驟310中，類(lèi)似于圖7中的方法所述的內(nèi)容，在用戶(hù)所指示的那個(gè)方向上、通過(guò)這些揚(yáng)聲器來(lái)播放該聲音數(shù)據(jù)。可以使用速率控制模式、位置控制模式或其他控制方案。對(duì)于回放，回放程序(例如，音樂(lè)編輯程序)可以提供“回放指針”，該“回放指針”指示正在被播放的當(dāng)前聲音樣本或接下來(lái)將播放該聲音數(shù)據(jù)中的哪個(gè)樣本，其中，當(dāng)輸出這些聲音樣本時(shí)，該指針只是沿它們而移動(dòng)。
在下一個(gè)步驟312中，該回放指針附近的聲音數(shù)據(jù)的一部分被存儲(chǔ)在二級(jí)緩沖器中。例如，這可以是將直接在該回放指針的當(dāng)前位置后面被播放的預(yù)定量的聲音數(shù)據(jù)(例如，相當(dāng)于100毫秒的聲音)。在步驟314中，為聲音特征而處理和分析該二級(jí)聲音緩沖器中的數(shù)據(jù)。這個(gè)步驟可以類(lèi)似于圖5中的處理步驟208，其中，發(fā)現(xiàn)該聲音數(shù)據(jù)中的特點(diǎn)，這些特點(diǎn)需要與觸覺(jué)關(guān)聯(lián)。例如，可以檢查振幅的上升和/或下降?？梢允褂盟羞@些用戶(hù)參數(shù)選擇或設(shè)置，以幫助確定是否存在將要被映射到觸覺(jué)的聲音特征，以及將要被映射的特定觸覺(jué)。在其他實(shí)施例(例如，在觸覺(jué)大小連續(xù)不斷地遵循聲音振幅的情況下(見(jiàn)圖9a和圖9b))中，可能不需要發(fā)現(xiàn)該聲音的特殊特點(diǎn)。
在下一個(gè)步驟316中，觸覺(jué)效果被發(fā)送到該觸覺(jué)設(shè)備，以便根據(jù)在步驟314中發(fā)現(xiàn)的聲音特征來(lái)對(duì)其進(jìn)行播放。例如，如果已發(fā)現(xiàn)聲音振幅上升，則可以輸出制動(dòng)感覺(jué)，類(lèi)似于仿佛該方法發(fā)現(xiàn)了圖7的預(yù)處理方法中的標(biāo)記符。作為選擇，可以輸出其程度連續(xù)不斷地基于聲音振幅的觸覺(jué)。例如，圖9a是示意圖，用“基本時(shí)間/振幅”的形式展示了兩個(gè)波形330和332。波形330展示聲音數(shù)據(jù)隨時(shí)間推移的聲音振幅。在本實(shí)時(shí)處理實(shí)施例中，該方法可以計(jì)算由波形332表示的關(guān)于觸覺(jué)的振幅，該振幅連續(xù)不斷地與二級(jí)緩沖器中的聲音數(shù)據(jù)的聲音振幅成比例。例如，可以在操作物(例如，旋鈕)上輸出阻力——在那里，該阻力大小對(duì)應(yīng)于當(dāng)前聲音振幅，并隨該聲音振幅而變化。在圖9b中，類(lèi)似地示出聲音波形振幅330，但觸覺(jué)振幅336可以連續(xù)不斷地進(jìn)行與聲音振幅相反的變化，以便為用戶(hù)提供不同的觸覺(jué)體驗(yàn)。也可以使用其他連續(xù)的觸覺(jué)映射或聲音特征觸覺(jué)映射。
較佳的是，在已發(fā)現(xiàn)該聲音特征、映射并命令輸出觸覺(jué)之后，近似地在由揚(yáng)聲器播放對(duì)應(yīng)于這些觸覺(jué)的聲音樣本的時(shí)間，用戶(hù)將感受到這些觸覺(jué)。一旦為這些發(fā)現(xiàn)的聲音特征而播放觸覺(jué)效果，該方法就返回到步驟304，以檢驗(yàn)是否繼續(xù)聲音回放。
圖10是圖形用戶(hù)界面400的示意圖，該圖形用戶(hù)界面可以允許用戶(hù)輸入關(guān)于本發(fā)明的參數(shù)選擇和設(shè)置，以及用簡(jiǎn)單的方法來(lái)控制聲音回放，以便測(cè)試用戶(hù)設(shè)置。例如，這些設(shè)置可以被包含在應(yīng)用程序(例如，聲音/音樂(lè)編輯程序)中，或者可以用于單獨(dú)的測(cè)試程序中。
聲音控制參數(shù)402可以包括聲音文件欄404，它允許用戶(hù)選擇要回放的所需聲音文件(該文件包括將與觸覺(jué)相關(guān)的該聲音數(shù)據(jù))。該聲音文件可以完全被載入存儲(chǔ)器，并且，在一些實(shí)施例中，該文件反向的版本可以被載入第二個(gè)緩沖器，以允許進(jìn)行反向回放。狀態(tài)欄406可以顯示該程序的當(dāng)前狀態(tài)(例如，打開(kāi)文件、處理聲音數(shù)據(jù)、為反向回放而創(chuàng)建反向緩沖器等)?；胤耪{(diào)整欄408允許用戶(hù)輸入值，以便定制聲音數(shù)據(jù)的回放；并且，回放調(diào)整欄408包括頻率欄，用于調(diào)整該回放速度(其中，最初可以自動(dòng)設(shè)置關(guān)于那個(gè)文件的標(biāo)準(zhǔn)回放頻率)；平衡欄，用于調(diào)整左、右揚(yáng)聲器之間的回放平衡；以及音量欄，用于調(diào)整該聲音的輸出振幅。也可以使用滑動(dòng)條410來(lái)輸入這些用戶(hù)設(shè)置。環(huán)繞音箱412允許用戶(hù)選擇當(dāng)達(dá)到該聲音文件中的該數(shù)據(jù)的末端時(shí)，該聲音文件是將重復(fù)回放，還是停止。按鈕414允許用戶(hù)開(kāi)始、停止或暫停該聲音文件的回放。
處理參數(shù)420允許用戶(hù)調(diào)整這些參數(shù)，這些參數(shù)可影響根據(jù)聲音數(shù)據(jù)來(lái)生成這些觸覺(jué)的方式。如以上所解釋的，與平均聲音水平相比較，可以使用峰值閾值參數(shù)422來(lái)指定聲音信號(hào)中的上升量，這將會(huì)觸發(fā)觸覺(jué)事件。該參數(shù)可以被指定為平均聲音振幅的百分比，例如，平均振幅的50％或更大的上升將會(huì)是很顯著的上升，它足以允許使觸覺(jué)與那個(gè)上升相關(guān)聯(lián)。峰值重置參數(shù)424允許用戶(hù)規(guī)定聲音振幅的百分比下降(與該平均聲音振幅相比較)，在檢測(cè)到上升之后，聲音振幅的這個(gè)百分比下降將被認(rèn)為很重要，它足以成為聲音振幅中的峰值并保證觸覺(jué)，并且足以防止發(fā)現(xiàn)如上所述的多個(gè)假峰值。最小節(jié)拍時(shí)間間隔參數(shù)426是另一個(gè)錯(cuò)誤檢驗(yàn)參數(shù)，它允許用戶(hù)為待計(jì)數(shù)的第二個(gè)峰值規(guī)定時(shí)間間隔(例如，用毫秒表示)，該時(shí)間間隔是如上所述必須存在于兩個(gè)峰值之間的最小數(shù)量的時(shí)間間隔；否則，第二個(gè)峰值被認(rèn)為是由噪聲引起的假峰值。窗口大小參數(shù)428允許用戶(hù)規(guī)定該窗口大小(使用聲音樣本的數(shù)目)，這定義了在對(duì)聲音數(shù)據(jù)振幅計(jì)算平均值的過(guò)程中所使用的分辨率；該方法可以對(duì)每個(gè)窗口中的這些樣本計(jì)算平均值，然后對(duì)所有這些窗口一起計(jì)算平均值，以找出平均聲音振幅。
設(shè)備選擇430允許用戶(hù)選擇該系統(tǒng)中當(dāng)前正在使用何種類(lèi)型的觸覺(jué)設(shè)備12，以及將通過(guò)哪個(gè)觸覺(jué)設(shè)備來(lái)輸出這些觸覺(jué)。不同的設(shè)備可能會(huì)要求不同的命令，以輸出這些觸覺(jué)。具有位置控制器或速率控制器的旋鈕設(shè)備、觸覺(jué)反饋鼠標(biāo)和動(dòng)覺(jué)反饋鼠標(biāo)被作為選項(xiàng)展示，但可以使用任何觸覺(jué)設(shè)備。鼠標(biāo)控制欄432允許用戶(hù)使用鼠標(biāo)光標(biāo)來(lái)控制該聲音回放，并且可以被用來(lái)測(cè)試如用戶(hù)的參數(shù)選擇和設(shè)置所修改的聲音回放和觸覺(jué)輸出。例如，梭子欄436允許用戶(hù)在梭子欄內(nèi)移動(dòng)光標(biāo)，以便按位置控制模式來(lái)回放該聲音文件。當(dāng)光標(biāo)在梭子欄436中向左或向右移動(dòng)，并且按下按鈕時(shí)，與此同時(shí)，按與該光標(biāo)的速度成比例的速率來(lái)回放音樂(lè)；向右移動(dòng)會(huì)引起前向回放，向左移動(dòng)會(huì)引起反向回放。滾動(dòng)欄434允許用戶(hù)在該欄內(nèi)移動(dòng)光標(biāo)，以便按速率控制模式來(lái)回放該聲音文件。用戶(hù)放置或移動(dòng)該光標(biāo)，以影響該回放方向和速率。該光標(biāo)在欄434的該中點(diǎn)的右邊的位置會(huì)引起按某個(gè)速率的前向回放，該速率跟光標(biāo)與中點(diǎn)之間的距離成比例；光標(biāo)在中點(diǎn)的左邊的位置會(huì)類(lèi)似地引起成比例的反向回放。
在關(guān)于圖5加以描述的預(yù)處理實(shí)施例中，如果這些處理參數(shù)或設(shè)備選擇已改變，則測(cè)試按鈕438允許用戶(hù)啟動(dòng)存儲(chǔ)器中的聲音數(shù)據(jù)的再次處理。
圖11是另一個(gè)圖形用戶(hù)界面500的示意圖，該圖形用戶(hù)界面可以允許用戶(hù)輸入關(guān)于本發(fā)明的額外的參數(shù)選擇和設(shè)置。任何或所有這些設(shè)置可以與圖10中的部分或全部設(shè)置(如果需要的話(huà))一起被包括在單一界面內(nèi)。聲音文件欄502允許用戶(hù)規(guī)定聲音文件，并且，觸覺(jué)設(shè)備設(shè)置504允許用戶(hù)選擇一種類(lèi)型的觸覺(jué)設(shè)備。
在圖5或圖8的各種方法的這些聲音數(shù)據(jù)處理步驟中，濾波器506允許用戶(hù)為濾波器定制頻率范圍，這些濾波器可以用于本發(fā)明的一些實(shí)施例中?？梢允褂玫屯V波器、高通濾波器和/或帶通濾波器來(lái)隔離可以應(yīng)用觸覺(jué)的聲音數(shù)據(jù)的不同的頻率范圍。用戶(hù)可以將這些截止和范圍限制設(shè)置到這些濾波器，其中，低通濾波器排除用戶(hù)指定的截止以上的頻率，高通濾波器排除用戶(hù)指定的截止以下的頻率，并且，帶通濾波器排除用戶(hù)指定的頻率范圍以外的頻率。
由于不同類(lèi)型的聲音依靠不同的頻率范圍，因此，對(duì)于聲音編輯任務(wù)而言，濾波器會(huì)有用武之地。例如，語(yǔ)言中的該有意義的信息通常存在于較高的頻率中，所以，用戶(hù)編輯語(yǔ)言可能想要應(yīng)用高通濾波器，以便只存在這些相干的頻率。然后，可以在這些相干的頻率中更容易地發(fā)現(xiàn)該語(yǔ)言的所需特點(diǎn)。同樣，依靠沉重、強(qiáng)烈的節(jié)拍或節(jié)奏的音樂(lè)(例如，搖滾樂(lè)、舞曲、擊打樂(lè))攜帶低頻的大部分信息，而大部分古典音樂(lè)則集中于高、中范圍的頻率；可以對(duì)所播放的該音樂(lè)風(fēng)格使用這些合適的濾波器，以隔離這個(gè)有意義的頻率范圍。由于可以控制該頻率含量，以便與該樂(lè)器的特征相匹配，因此，當(dāng)編輯該聲音數(shù)據(jù)中的單獨(dú)的樂(lè)器聲音時(shí)，這些濾波器也可以發(fā)揮作用。
和聲跟蹤設(shè)置508可以由用戶(hù)設(shè)置為打開(kāi)或關(guān)閉。如果被設(shè)置為打開(kāi)，則該和聲跟蹤特點(diǎn)可以創(chuàng)建觸覺(jué)(例如，質(zhì)地或振動(dòng))到該聲音的和聲內(nèi)容或音色的映射。觸覺(jué)質(zhì)地是用預(yù)定方法來(lái)加以間隔或組織的簡(jiǎn)短觸覺(jué)特點(diǎn)的樣式(例如，制動(dòng)或震搖)，當(dāng)在質(zhì)地欄的每個(gè)“撞擊”位置(例如，制動(dòng)、震搖等)上移動(dòng)該觸覺(jué)設(shè)備的用戶(hù)操作物時(shí)，輸出這些簡(jiǎn)短的觸覺(jué)特點(diǎn)。觸覺(jué)質(zhì)地可以與輸出聲音的音色有關(guān)。例如，可以用觸覺(jué)方式來(lái)輸出具有被進(jìn)一步隔開(kāi)的“撞擊”的干凈、簡(jiǎn)單的觸覺(jué)質(zhì)地，同時(shí)，將純音輸出為聲音。相比之下，當(dāng)正在輸出合成的音調(diào)時(shí)，可以用觸覺(jué)方式來(lái)輸出具有緊密間隔的撞擊的合成、密集的質(zhì)地。長(zhǎng)笛的聲音是相當(dāng)純的音調(diào)，并且可以被映射到十分輕松、簡(jiǎn)單的觸覺(jué)質(zhì)地，或者甚至根本沒(méi)有質(zhì)地。在頻譜的另一端，電吉他失真的這種聲音是高度合成的音調(diào)，并且可以被映射到更沉重的合成觸覺(jué)質(zhì)地。質(zhì)地對(duì)于位置控制模式而言更加合適；在速率控制模式中，可以同樣輸出振動(dòng)——低頻振動(dòng)對(duì)應(yīng)于間隔得很開(kāi)的質(zhì)地，高頻振動(dòng)對(duì)應(yīng)于緊密間隔的質(zhì)地。
效果設(shè)置允許用戶(hù)調(diào)整這些觸覺(jué)中的部分觸覺(jué)將感覺(jué)如何。連續(xù)性設(shè)置510允許用戶(hù)選擇該觸覺(jué)輸出是連續(xù)不斷地變化還是基于事件。如以上參照?qǐng)D9a和9b而描述的，如果選擇“連續(xù)”，那么，該觸覺(jué)輸出隨著這些聲音屬性的變化而發(fā)生實(shí)時(shí)變化。如果用戶(hù)想要連續(xù)不斷地跟蹤導(dǎo)航期間該聲音的振幅，則可以選擇這一點(diǎn)。如果選擇“基于事件”，那么，只有該聲音數(shù)據(jù)中的顯著事件(例如，以上根據(jù)圖6而討論的該振幅上升)觸發(fā)觸覺(jué)事件。例如，節(jié)拍——振幅峰值會(huì)觸發(fā)觸覺(jué)制動(dòng)。在其他實(shí)施例中，用戶(hù)可以選擇既允許連續(xù)的觸覺(jué)輸出、又允許基于事件的觸覺(jué)輸出的選項(xiàng)(例如，增加了被覆載在該阻力上的震搖或制動(dòng)的連續(xù)阻力)。
聲音到力大小的映射設(shè)置512允許用戶(hù)選擇如何輸出觸覺(jué)輸出響應(yīng)。例如，如以上參照?qǐng)D9a而描述的，當(dāng)選擇直接映射時(shí)，聲音振幅越大，觸覺(jué)力的大小就越大。如以上參照?qǐng)D9b而描述的，當(dāng)選擇反向映射時(shí)，聲音振幅越大，觸覺(jué)力的大小就越弱。這種映射可以應(yīng)用于連續(xù)性設(shè)置510的連續(xù)設(shè)置或基于事件的設(shè)置(例如，可以輸出反向制動(dòng))。
波形514是代表被載入存儲(chǔ)器的聲音數(shù)據(jù)的波形的圖形表示。例如，當(dāng)用戶(hù)瀏覽聲音數(shù)據(jù)時(shí)，可以顯示該波形。整個(gè)聲音數(shù)據(jù)文件可以被表示為波形，或者，可以表示聲音數(shù)據(jù)的一部分。在所示的這個(gè)例子中，光標(biāo)516是表示該波形中的當(dāng)前回放位置的豎線(xiàn)。在聲音的導(dǎo)航和回放期間，光標(biāo)516在對(duì)應(yīng)于回放方向的方向上移動(dòng)，并且按回放速率來(lái)移動(dòng)(作為選擇，可以滾動(dòng)這整個(gè)波形，并且，該光標(biāo)保持不動(dòng))。這樣，當(dāng)光標(biāo)在聲音中的特點(diǎn)上移動(dòng)時(shí)，用戶(hù)會(huì)有視覺(jué)感受，并且會(huì)感受到對(duì)應(yīng)于那些特點(diǎn)的這些觸覺(jué)。在存儲(chǔ)標(biāo)記符以便指示已被映射到觸覺(jué)的聲音特征的那些預(yù)處理實(shí)施例(見(jiàn)圖5)中，這些標(biāo)記符也可以根據(jù)波形而被顯示在其位置處。
本發(fā)明可以用于獨(dú)立的聲音文件(例如，被用于音樂(lè)或語(yǔ)言的聲音文件)，這些聲音文件可以采用許多標(biāo)準(zhǔn)格式(wav、mp3、MIDI等)中的一種格式。此外，本發(fā)明可以用于可以和描述視覺(jué)呈現(xiàn)(例如，電視、電影和動(dòng)畫(huà))的其他數(shù)據(jù)一起被包括在內(nèi)的聲音數(shù)據(jù)。
已通過(guò)幾個(gè)較佳實(shí)施例描述了本發(fā)明，可知通過(guò)閱讀本說(shuō)明書(shū)并研究這些附圖，精通該技術(shù)領(lǐng)域的人將會(huì)理解其改變、變更和相等物。例如，可以使用觸覺(jué)反饋設(shè)備的許多不同的實(shí)施例來(lái)輸出這里所描述的觸覺(jué)。另外，特定術(shù)語(yǔ)的使用是出于清楚描述的目的，而不是意在限制本發(fā)明。
權(quán)利要求
1.一種方法，用于使觸覺(jué)與聲音數(shù)據(jù)關(guān)聯(lián)，以協(xié)助瀏覽和編輯所述聲音數(shù)據(jù)，其特征在于，所述方法包括將所述聲音數(shù)據(jù)的至少一部分載入計(jì)算機(jī)的存儲(chǔ)器；播放所述聲音數(shù)據(jù)，以便生成音頻信號(hào)，并將其用于輸出來(lái)自音頻設(shè)備的聲音，其中，所述聲音的所述播放由用戶(hù)輸入來(lái)控制，用戶(hù)輸入由所述計(jì)算機(jī)從用戶(hù)那里加以接收，用于瀏覽所述聲音數(shù)據(jù)；以及，根據(jù)所述聲音數(shù)據(jù)來(lái)生成觸覺(jué)命令，由所述用戶(hù)操作并與所述計(jì)算機(jī)進(jìn)行通信的觸覺(jué)反饋設(shè)備使用所述觸覺(jué)命令，以將觸覺(jué)輸出給所述用戶(hù)，所述觸覺(jué)對(duì)應(yīng)于所述聲音數(shù)據(jù)的一個(gè)或多個(gè)特征，以協(xié)助所述用戶(hù)在所述聲音數(shù)據(jù)的所述瀏覽和編輯期間辨別所述聲音數(shù)據(jù)的特點(diǎn)。
2.如權(quán)利要求1所述的方法，其特征在于，所述用戶(hù)可以控制所述聲音數(shù)據(jù)的所述播放速度。
3.如權(quán)利要求1所述的方法，其特征在于，所述用戶(hù)可以控制所述聲音數(shù)據(jù)的所述播放方向，所述方向包括前向和反向。
4.如權(quán)利要求1所述的方法，其特征在于，在所述聲音數(shù)據(jù)的所述播放期間連續(xù)不斷地輸出所述觸覺(jué)，并且，其中，輸出觸覺(jué)的程度基于當(dāng)前正在播放的所述聲音數(shù)據(jù)的振幅。
5.如權(quán)利要求4所述的方法，其特征在于，所述觸覺(jué)的程度與所述播放的聲音數(shù)據(jù)的所述振幅成正比例。
6.如權(quán)利要求4所述的方法，其特征在于，所述觸覺(jué)的程度與所述播放的聲音數(shù)據(jù)的所述振幅成反比例。
7.如權(quán)利要求1所述的方法，其特征在于，只有當(dāng)播放具有預(yù)定特征的所述聲音數(shù)據(jù)的特點(diǎn)時(shí)，才輸出所述觸覺(jué)。
8.如權(quán)利要求7所述的方法，其特征在于，所述預(yù)定特征包括預(yù)定閾值以上的所述聲音數(shù)據(jù)的振幅上升。
9.如權(quán)利要求8所述的方法，其特征在于，所述預(yù)定特征包括跟在所述振幅上升后面的預(yù)定數(shù)量的振幅下降。
10.如權(quán)利要求7所述的方法，其特征在于，所述預(yù)定特征包括最小數(shù)量的時(shí)間間隔，該時(shí)間間隔必須發(fā)生在兩個(gè)振幅峰值之間，以便允許在播放所述峰值中的第二個(gè)峰值時(shí)輸出觸覺(jué)。
11.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括，過(guò)濾所述聲音數(shù)據(jù)，以排除由所述聲音數(shù)據(jù)生成的不需要的聲音頻率，并且保留所需的頻率范圍。
12.如權(quán)利要求11所述的方法，其特征在于，所述所需的頻率范圍與一種特定類(lèi)型的觸覺(jué)關(guān)聯(lián)。
13.如權(quán)利要求1所述的方法，其特征在于，如果在所述聲音的所述播放期間達(dá)到以前為所述聲音數(shù)據(jù)中的特定位置而存儲(chǔ)的標(biāo)記符，則生成所述觸覺(jué)命令之一，并輸出觸覺(jué)。
14.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括，將所述聲音數(shù)據(jù)的一部分存儲(chǔ)在二級(jí)緩沖器中，并處理所述聲音數(shù)據(jù)的所述部分，以便在所述聲音數(shù)據(jù)的所述播放期間實(shí)時(shí)發(fā)現(xiàn)所述聲音數(shù)據(jù)中的所述一個(gè)或多個(gè)特征。
15.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括，顯示所述聲音數(shù)據(jù)的視覺(jué)表示和移動(dòng)光標(biāo)，以指示正在播放的所述聲音數(shù)據(jù)的當(dāng)前部分。
16.一種方法，用于預(yù)處理聲音數(shù)據(jù)，以便當(dāng)向用戶(hù)播放所述聲音數(shù)據(jù)時(shí)，允許輸出與所述聲音數(shù)據(jù)關(guān)聯(lián)的觸覺(jué)，其特征在于，所述方法包括將所述聲音數(shù)據(jù)的至少一部分載入計(jì)算機(jī)的存儲(chǔ)器，所述聲音數(shù)據(jù)描述聲音波形；處理所述聲音數(shù)據(jù)，以找出具有一個(gè)或多個(gè)預(yù)定特征的聲音特點(diǎn)；以及，當(dāng)發(fā)現(xiàn)所述聲音特點(diǎn)時(shí)，將標(biāo)記符存儲(chǔ)在標(biāo)記符清單中，其中，所述標(biāo)記符指示所述聲音數(shù)據(jù)中的所述關(guān)聯(lián)的聲音特點(diǎn)的位置，所述位置將與至少一個(gè)觸覺(jué)關(guān)聯(lián)，以便當(dāng)播放所述聲音數(shù)并且當(dāng)在所述聲音數(shù)據(jù)的所述播放期間達(dá)到所述標(biāo)記符時(shí)，將所述關(guān)聯(lián)的至少一個(gè)觸覺(jué)輸出給用戶(hù)。
17.如權(quán)利要求16所述的方法，其特征在于，所述一個(gè)或多個(gè)預(yù)定特征包括由所述聲音數(shù)據(jù)描述的所述聲音波形的振幅上升，所述振幅上升在預(yù)定的閾值振幅以上。
18.如權(quán)利要求16所述的方法，其特征在于，所述一個(gè)或多個(gè)預(yù)定特征包括跟在所述振幅上升后面的預(yù)定數(shù)量的振幅下降。
19.如權(quán)利要求16所述的方法，其特征在于，所述一個(gè)或多個(gè)預(yù)定特征包括最小數(shù)量的時(shí)間間隔，該時(shí)間間隔必須發(fā)生在所述聲音波形的兩個(gè)振幅峰值之間，以便允許在播放所述峰值中的第二個(gè)峰值時(shí)輸出觸覺(jué)。
20.如權(quán)利要求16所述的方法，其特征在于，所述聲音數(shù)據(jù)的所述處理包括過(guò)濾所述聲音數(shù)據(jù)，以排除所述聲音數(shù)據(jù)的不需要的頻率。
21.如權(quán)利要求16所述的方法，其特征在于，進(jìn)一步包括，存儲(chǔ)一個(gè)或多個(gè)特定觸覺(jué)的標(biāo)志，這些特定觸覺(jué)將與所述標(biāo)記符中的一個(gè)特定標(biāo)記符關(guān)聯(lián)。
22.如權(quán)利要求21所述的方法，其特征在于，一種類(lèi)型的所述一個(gè)或多個(gè)特定觸覺(jué)基于所述特定標(biāo)記符涉及的所述聲音特點(diǎn)的所述一個(gè)或多個(gè)預(yù)定特征。
23.一種計(jì)算機(jī)可讀介質(zhì)，它包括用于執(zhí)行一些步驟的程序指令，這些步驟使觸覺(jué)與聲音數(shù)據(jù)關(guān)聯(lián)，以協(xié)助瀏覽和編輯所述聲音數(shù)據(jù)，其特征在于，這些步驟包括將所述聲音數(shù)據(jù)的至少一部分載入計(jì)算機(jī)的存儲(chǔ)器；播放所述聲音數(shù)據(jù)，以便生成音頻信號(hào)，并將其用于輸出來(lái)自音頻設(shè)備的音頻聲音，其中，所述聲音的所述播放由用戶(hù)輸入來(lái)控制，用戶(hù)輸入由所述計(jì)算機(jī)從用戶(hù)那里加以接收，用于所述聲音數(shù)據(jù)的導(dǎo)航；以及，根據(jù)所述聲音數(shù)據(jù)來(lái)生成觸覺(jué)命令，由所述用戶(hù)操作并與所述計(jì)算機(jī)進(jìn)行通信的觸覺(jué)反饋設(shè)備使用所述觸覺(jué)命令，以將觸覺(jué)輸出給所述用戶(hù)，所述觸覺(jué)對(duì)應(yīng)于所述聲音數(shù)據(jù)的一個(gè)或多個(gè)特征，以協(xié)助所述用戶(hù)在所述聲音數(shù)據(jù)的所述瀏覽和編輯期間辨別所述聲音數(shù)據(jù)的特點(diǎn)。
24.如權(quán)利要求23所述的方法，其特征在于，所述用戶(hù)可以控制所述聲音數(shù)據(jù)的所述播放速度。
25.如權(quán)利要求23所述的方法，其特征在于，所述用戶(hù)可以控制所述聲音數(shù)據(jù)的所述播放方向，所述方向包括前向和反向。
26.如權(quán)利要求23所述的方法，其特征在于，在所述聲音數(shù)據(jù)的所述播放期間連續(xù)不斷地輸出所述觸覺(jué)；并且，其中，輸出觸覺(jué)的程度基于當(dāng)前正在播放的所述聲音數(shù)據(jù)的振幅。
27.如權(quán)利要求23所述的方法，其特征在于，只有當(dāng)播放具有預(yù)定特征的所述聲音數(shù)據(jù)的特點(diǎn)時(shí)，才輸出所述觸覺(jué)。
28.如權(quán)利要求23所述的方法，其特征在于，如果在所述聲音的所述播放期間達(dá)到以前為所述聲音數(shù)據(jù)中的特定位置而存儲(chǔ)的標(biāo)記符，則生成所述觸覺(jué)命令之一，并輸出觸覺(jué)。
29.如權(quán)利要求23所述的方法，其特征在于，進(jìn)一步包括，將所述聲音數(shù)據(jù)的一部分存儲(chǔ)在二級(jí)緩沖器中，并處理所述聲音數(shù)據(jù)的所述部分，以便在所述聲音數(shù)據(jù)的所述播放期間在所述聲音數(shù)據(jù)中實(shí)時(shí)發(fā)現(xiàn)所述一個(gè)或多個(gè)特征。
全文摘要
利用觸覺(jué)反饋進(jìn)行聲音數(shù)據(jù)的輸出和處理。觸覺(jué)與聲音數(shù)據(jù)關(guān)聯(lián)，以協(xié)助瀏覽和編輯該聲音數(shù)據(jù)。該聲音數(shù)據(jù)被載入計(jì)算機(jī)存儲(chǔ)器并被加以播放，以便從音頻設(shè)備輸出聲音。該聲音播放由用戶(hù)輸入來(lái)控制，用于瀏覽該聲音數(shù)據(jù)。根據(jù)該聲音數(shù)據(jù)來(lái)生成觸覺(jué)命令，并且，由用戶(hù)操作的觸覺(jué)反饋設(shè)備使用這些觸覺(jué)命令，以便將觸覺(jué)輸出給用戶(hù)。這些觸覺(jué)對(duì)應(yīng)于該聲音數(shù)據(jù)的一個(gè)或多個(gè)特征，以協(xié)助用戶(hù)在瀏覽和編輯該聲音數(shù)據(jù)期間辨別該聲音數(shù)據(jù)的特點(diǎn)。
文檔編號(hào)G10H1/00GK1620327SQ02824370
公開(kāi)日2005年5月25日 申請(qǐng)日期2002年10月8日 優(yōu)先權(quán)日2001年10月10日
發(fā)明者L·L·褚 申請(qǐng)人:伊默遜股份有限公司