專利名稱：用于控制要再現(xiàn)的信號文件的回放的設備和方法
用于控制要再現(xiàn)的信號文件的回放的設備和方法
背景技術：
本發(fā)明涉及對音頻文件的回放的實時控制。電子音樂合成設備使得通過使用用于輸入音符的接口來播放一個或多個(通過聲學模型或者通過來自鋼琴、吉他、其它弦樂器、 薩克斯管或其它管樂器等的采樣或聲音產(chǎn)生的)合成樂器成為可能。輸入的音符由通過連接器連接到該接口和使用MIDI (樂器數(shù)字接口)標準的軟件接口的合成設備轉換為信號。使得產(chǎn)生與樂譜對應的一系列音符成為可能的對樂器的自動編程可以通過使用為此目的被提供的軟件來執(zhí)行。在這些軟件中，MAX/MSP編程軟件是最廣泛使用的軟件之一，并且使得創(chuàng)建這種樂譜解釋應用成為可能。這種應用包括圖形編程界面，它使得選擇并控制一系列音符并且驅動音樂合成DSP(數(shù)字信號處理器)成為可能。在這些設備中，可以將由控制這些樂器中的一個的接口所驅動的樂譜與自動播放的其它樂器的樂譜相結合。不是通過MIDI型接口來控制合成樂器，而是可以期望直接控制錄音，所述控制使得例如對文件的播放速度和/或音量起作用成為可能。為了保證播放的文件與由MIDI接口傳送的解釋程序的播放數(shù)據(jù)的音樂同步，能夠控制自動播放的樂譜的運行速率將是特別有用的?，F(xiàn)有的設備無法使得提供對所使用的不同類型的音頻文件(MP3-MPEG(動畫專業(yè)組)1/2層3、 WAV-WAVeform音頻格式、WMA-Windows Media Audio等)的回放速率的控制以在一臺電子設備上再現(xiàn)預錄的音樂成為可能。不存在允許在可接受的樂感情況下進行此類實時控制的現(xiàn)有設備。具體地說，PCT申請W098/19294僅論述了對MIDI文件的回放速率的控制而不是對諸如mp3或wav文件等的以實質上連續(xù)的方式被編碼的信號文件的控制。

發(fā)明內容
本發(fā)明通過使用使得提供滿意的音樂演奏成為可能的自動樂譜回放控制算法，提供了對這些現(xiàn)有技術局限性的響應。為此，本發(fā)明公開了一種使用戶能夠控制要再現(xiàn)的預錄的信號文件的回放速率以及所述信號的強度的控制設備，所述信號以實質上連續(xù)的方式被編碼到所述預錄的文件中，所述設備包括用于輸入控制敲擊的第一接口模塊；用于輸入所述要再現(xiàn)的信號的第二接口模塊；用于控制所述預錄的信號的時序的第三模塊；以及用于再現(xiàn)所述前三個模塊的輸入的設備，其中，所述第二模塊可以被編程為確定針對所述文件的所述回放速率期望控制敲擊的時間，并且其中所述第三模塊能夠針對某一數(shù)量的控制敲擊來計算與在所述第二模塊中預先編程的敲擊和在所述第一模塊中實際輸入的敲擊有關的修正速度因子以及與實際輸入且期望的所述敲擊的速度有關的強度因子、然后能夠調節(jié)所述第二模塊的所述回放速率以將與后續(xù)敲擊有關的所述修正速度因子調節(jié)為選擇的值并且根據(jù)與所述速度有關的所述強度因子來調節(jié)從所述第二模塊輸出的信號的強度。有利的是，所述第一模塊包括MIDI接口。有利的是，所述第一模塊包括運動捕捉子模塊和將來自所述運動捕捉子模塊的輸出作為輸入進行接收的用于分析并解釋姿態(tài)的子模塊。
4
有利的是，所述運動捕捉子模塊在至少一個第一軸和第二軸上執(zhí)行所述運動捕捉，所述用于分析并解釋姿態(tài)的子模塊包括濾波功能、用于通過將源自所述傳感器集合的至少所述第一軸的信號中的至少一個的采樣中的兩個連續(xù)值之間的變化與至少一個選擇的第一閾值進行比較來檢測重要姿態(tài)的功能，以及用于確認對所述重要姿態(tài)的檢測的功能，并且用于確認對所述重要姿態(tài)的檢測的功能可以將源自所述傳感器集合的至少所述第二軸的信號中的至少一個與至少一個選擇的第二閾值進行比較。有利的是，所述第一模塊包括用于從所述用戶的大腦捕捉神經(jīng)信號的接口和用于解釋所述神經(jīng)信號的子模塊。有利的是，輸入的所述敲擊的所述速度是基于從所述第二傳感器輸出的信號的偏差來計算的。有利的是，所述第一模塊還包括能夠解釋與所述用戶的一部分有關的姿態(tài)的子模塊，所述子模塊的輸出可以由所述第三模塊使用以控制從由顫音和振動組成的組中選擇的音頻輸出的特性。有利的是，所述第二模塊包括用于在針對所述文件的所述回放速率期望控制敲擊的時候將標記放置在要再現(xiàn)的預錄的信號文件中的子模塊，所述標記是根據(jù)預錄的信號的所述速率自動生成的并且能夠由MIDI接口進行移動。有利的是，在所述第三模塊中選擇的用于調節(jié)所述第二模塊的所述回放速率的值等于從一組計算的值中選擇的值，所述值的極限中的一個是通過應用修正速度因子來計算的，所述修正速度因子等于下一個標記與前一個標記之間的時間間隔和當前敲擊與前一個敲擊之間的時間間隔之差與所述當前敲擊與所述前一個敲擊之間的所述時間間隔的比率， 并且所述值中的其它值是通過在所述當前值與對應于用于應用所述修正速度因子的所述極限的值之間進行線性插值來計算的。有利的是，在所述第三模塊中選擇的用于調節(jié)所述第二模塊的所述回放速率的值等于對應于用于應用所述修正速度因子的極限的值。本發(fā)明還公開了一種使用戶能夠控制要再現(xiàn)的預錄的信號文件的回放速率以及所述信號的強度的控制方法，所述信號以實質上連續(xù)的方式被編碼到所述預錄的文件中， 所述方法包括用于輸入控制敲擊的第一接口步驟；用于輸入所述要再現(xiàn)的信號的第二步驟；用于控制所述預錄的信號的時序的第三步驟；以及用于再現(xiàn)所述前三個步驟的輸入的步驟，其中，所述第二步驟可以被編程為確定針對所述文件的所述回放速率期望控制敲擊的時間，并且其中所述第三步驟能夠針對某一數(shù)量的控制敲擊來計算與在所述第二步驟中預先編程的敲擊和在所述第一步驟中實際輸入的敲擊有關的修正速度因子以及與實際輸入且期望的所述敲擊的速度有關的強度因子、然后能夠調節(jié)所述第二步驟中的所述回放速率以將與后續(xù)敲擊有關的所述修正速度因子調節(jié)為選擇的值并且根據(jù)與所述速度有關的所述強度因子來調節(jié)從所述第二模塊輸出的信號的強度。本發(fā)明的另一個優(yōu)點是其使得直覺地控制預錄的音頻文件的回放成為可能。還可以容易地將新的回放控制算法并入到發(fā)明的設備中。還可以通過發(fā)明的設備來簡單地控制預錄的音頻文件的聲音功率。


通過下面對多個示例性的實施例及其附圖的描述，將更好地理解本發(fā)明，并且本發(fā)明的各個特征和優(yōu)點將變得顯而易見，其中圖1A、圖IB和圖IC是根據(jù)本發(fā)明的三個實施例用于控制預錄的音頻文件的回放速度的設備的功能結構的簡化表示；圖2是對來自本發(fā)明的各個實施例中的一個實施例中的如圖IB所示的運動傳感器的信號進行低通濾波的流程圖；圖3A和圖:3B表示本發(fā)明的兩種應用情況，在這兩種應用情況下，敲擊速度分別高于/低于音軌的回放速度；圖4是用于測量本發(fā)明的實施例中的敲擊速度的功能的處理操作的流程圖；圖5是本發(fā)明的一個實施例中的處理操作的一般流程圖；圖6表示圖5的細節(jié)，其示出了根據(jù)本發(fā)明的一個實施例的設備的用戶期望的速率控制點。圖7是本發(fā)明的一個實施例中的時序控制方法的展開流程圖。
具體實施例方式圖1A、圖IB和圖IC表示本發(fā)明的三個實施例，其中，它們唯一的不同是控制敲擊輸入接口模塊10。下面將描述用于輸入要再現(xiàn)的信號的模塊20的特性、時序速率控制模塊30的特性以及音頻輸出模塊40的特性。首先描述控制敲擊輸入接口模塊10的各個實施例。至少三個輸入接口模塊是可能的。它們被分別表示在圖1A、圖IB和圖IC中。每個輸入模塊包括捕捉與設備的交互命令的子模塊110和在設備中操縱這些命令的輸入和轉換的部分。圖IA示出了 MIDI型的輸入模塊10A。MIDI控制器IlOA是可以具有按鈕、音量控制器(用于調節(jié)聲源的水平的線性電位器)、墊(觸知面)或旋鈕的控制表面。這些控制器不是聲音或恢復管理外圍設備；它們僅產(chǎn)生MIDI數(shù)據(jù)。可以使用其它類型的控制表面，例如，虛擬豎琴、吉他或薩克斯管。這些控制器可以具有可視化屏幕。不論組成控制表面的元件如何，所有旋鈕、光標、音量控制器、按鈕、墊都可以通過虛擬設置(配置文件)被分配給軟件的視覺接口的每個元件。還可以將聲音控制與照明控制進行耦合。經(jīng)由其硬件部分是5-管腳的DIN連接器的接口來將MIDI控制器IlOA鏈接到時間控制處理器30?？梢酝ㄟ^束縛在一起來將多個MIDI控制器鏈接到相同的計算機。以31 250波特率來設置通信鏈路。編碼系統(tǒng)使用1 個音符值(從0到127)，這些音符消息以半音符的分辨率在頻率8. 175Hz與12544Hz之間擴展。圖IB示出了運動捕捉裝配10B，該運動捕捉裝配IOB包括Movea 的MotionPod 型的運動傳感器IlOB和運動分析接口 120B。因為可以使用其它運動傳感器，因此也可以使用 AirMouse 或 GyroMouse 來代替 MotionPod。MotionPod包括三軸加速度計、三軸磁力計、可以用于執(zhí)行來自傳感器的信號的預處理能力、用于向處理模塊本身發(fā)送所述信號的射頻傳輸模塊以及電池。運動傳感器是 “3A3M” (三個加速度計軸和三個磁力計軸)。加速度計和磁力計是價格公道的市場標準的微傳感器，其具有較小的體積和較低的消耗，例如，Kionix 的三通道的加速度計(KXPA43628)和HoneyWell 的HMC1041Z型(1個垂直通道)磁力計和HMC1042L型O個水平通道) 磁力計。還存在其它供應商，僅舉幾個例子，對于磁力計而言有Memsic 或Asahi Kasei , 對于加速度計而言有STMTM、Freescale 、Analog Device 。在MotionPod中，針對6個信號通道，僅存在一個模擬濾波，在該模擬濾波以后，在模數(shù)變換(12比特)以后，通過射頻協(xié)議在針對這種類型的應用中的消耗被優(yōu)化的Bluetooth 頻段0.4GHz)中發(fā)送原始信號。 因此，原始數(shù)據(jù)到達控制器，該控制器可以從傳感器集合接收數(shù)據(jù)。可以僅通過控制器來讀取數(shù)據(jù)，并且使軟件可以得到該數(shù)據(jù)?？梢哉{節(jié)采樣率。默認將其設置為200Hz。然而可以設想更高的值(高達3000Hz甚至更高)，從而允許在例如檢測影響時達到更高的精度。 MotionPod的射頻協(xié)議使得保證在可控的延遲的情況下控制器可以得到數(shù)據(jù)成為可能，在該情況下，可控的延遲不應該超過IOms (在200Hz處)，這對于音樂是很重要的。上述類型的加速度計使得在其三個軸上通過在三維上相對于直角坐標系進行轉換、角位移(除了由于繞著地球的重力場的方向旋轉引起的角位移以外)和定位來測量縱向位移成為可能。上述類型的磁力計集合使得測量其被固定于的傳感器相對于地球的磁場的定位并且因此相對于坐標系的(除了在地球的磁場的方向周圍以外的)三個軸的位移和定位成為可能。3A3M組合提供了補充的且平滑的運動信息。AirMouse包括兩個陀螺型傳感器，每個傳感器具有一個旋轉軸。使用的陀螺儀是 Epson牌的編號XV3500。其軸是垂直的并且傳送俯仰(繞著與面向AirMouse的用戶的平面的水平軸平行的軸旋轉)的角度和偏航(繞著與面向AirMouse的用戶的平面的垂直軸平行的軸旋轉)的角度。通過射頻協(xié)議將由兩個陀螺軸測量的瞬時俯仰速度和偏航速度發(fā)送到面向用戶的屏幕上的光標的移動的控制器。用于分析并解釋姿態(tài)的模塊120B提供了可以由時序控制處理器30直接使用的信號。例如，可以根據(jù)下面的專利申請中所描述的方法來結合來自MotionPod的加速度計和磁力計的軸的信號，即，由本申請人提交的、題為“DEVICE AND METHOD FOR INTERPRETING MUSICAL GESTURES”的專利申請。通過軟件來實現(xiàn)在模塊120B中執(zhí)行的處理操作。首先，處理操作包括對來自兩種模式的傳感器(加速度計和磁力計)的輸出的低通濾波，其具體操作由圖2解釋。對從自運動傳感器的控制器輸出的信號的濾波使用一階遞歸方法。濾波器的增益可以例如被設置為0.3。在該情況下，濾波器方程由以下公式給出Output (ζ (η)) = 0. 3氺Input (ζ (η_1)) +0. 7氺Output (ζ (η_1))其中，針對這些模式中的每一個模式ζ是所使用的傳感器的軸上的模式的讀數(shù)；η是當前采樣的讀數(shù)；η-1是先前采樣的讀數(shù)。然后，該處理包括在截止頻率小于第一濾波器的截止頻率的情況下對兩種模式進行低通濾波。該較低的截止頻率導致為第二濾波器選擇比第一濾波器的增益更小的系數(shù)。 在上面的示例中選擇的第一濾波器的系數(shù)為0. 3的情況下，第二濾波器的系數(shù)可以被設置為0. 1。然后，第二濾波器的方程是(使用與上面相同的符號) Output (ζ (η)) = 0. 1 氺Input (ζ (η-1)) +0. 9氺Output (ζ (η-1)) 然后，該處理包括使用從磁力計輸出的信號的測量來檢測從加速度計輸出的信號
7的導數(shù)的零值。使用下面的符號-A(n)在采樣η中從加速度計輸出的信號；-AFl (n)在采樣η中從第一遞歸濾波器輸出的來自加速度計的信號；-AF2 (n)在采樣η中由第二遞歸濾波器再次濾波的信號AFl ；-B (n)在采樣η中來自磁力計的信號；-BFl (n)在采樣η中從第一遞歸濾波器輸出的來自磁力計的信號；-BF2(n)在采樣η中由第二遞歸濾波器再次濾波的信號BFl。然后，下面的方程可以用于計算在采樣η中來自加速度計的信號的經(jīng)濾波的導數(shù) FDA (n) = AFl (η) -AF2 (η_1)乘積FDA(n)*FDA(n-l)的負號指示來自加速度計的經(jīng)濾波器的信號的導數(shù)的零值，并且因此檢測到敲擊。對于來自加速度計的經(jīng)濾波的信號的這些零值中的每一個，處理模塊核查磁力計的經(jīng)濾波的輸出處其它模式的偏差的強度。如果該值太低，則敲擊被認為不是主敲擊而是輔敲擊或三重敲擊，并且被丟棄。用于丟棄非主敲擊的閾值取決于磁力計的偏差的期望幅度。通常，在設想的應用中，該值將具有5/1000的量級。因此，處理的一部分使得消除無意義的敲擊成為可能。圖IC包括大腦一計算機接口 10C、110C。這些接口仍然處于高級搜索階段，但是提供有希望的可能性，特別是在音樂解釋領域中。神經(jīng)信號被提供給解釋接口 120C，該解釋接口 120C將這些信號轉換為用于時序控制處理器30的命令。例如，這些神經(jīng)設備操作如下傳感器網(wǎng)絡被排列在人的頭皮上以測量由主體的神經(jīng)活動引起的電和/或磁活動。目前，還不存在可以通過這些信號使得識別主體的意圖(例如，在我們的情況下，在音樂背景下打拍子)成為可能的科學模型。然而，已經(jīng)顯示出，通過將主體放置在將所述主體與傳感器系統(tǒng)以及傳感反饋進行關聯(lián)的循環(huán)中，所述主體能夠學會指導其思考從而使產(chǎn)生的效果是期望的效果。例如，主體看見屏幕上的鼠標指針，鼠標指針的移動是由于對電信號的分析引起的(例如，某個大腦區(qū)域中的更大的電活動是由來自活動傳感器中的一些的更高的電輸出來反映的)。在基于學習型過程的某一訓練的情況下，主體通過指導其思想獲得對光標的某種控制。精確的機制在科學上不是已知的，但是現(xiàn)在允許這些過程的某種重復性，以使設想在不久的將來捕獲主體的某些意圖的可能性成為可能。在存儲單元上通過回放設備來對標準格式(MP3、WAV、WMA等)中的一種標準格式的預錄的音樂文件20進行采樣。該文件具有與其相關聯(lián)的另一文件，其在預定的時刻包括時序記號或“標記”；例如，下面的表格指示在毫秒形式的時刻處的9個標記，其沿著標記的索引在逗號之后被指示
權利要求
1.一種使用戶能夠控制要再現(xiàn)的預錄的信號文件的回放速率以及所述信號的強度的控制設備，所述信號以實質上連續(xù)的方式被編碼到所述預錄的文件中，所述設備包括用于輸入控制敲擊的第一接口模塊(10,110A, 110B, 110C, 120A, 120B, 120C)；用于輸入所述要再現(xiàn)的信號的第二模塊O0)；用于控制所述預錄的信號的時序的第三模塊(30)；以及用于再現(xiàn)所述前三個模塊的輸入的設備G0)，其中，所述第二模塊O0)可以被編程為確定針對所述文件的所述回放速率期望控制敲擊的時間，并且其中所述第三模塊(30)能夠針對某一數(shù)量的控制敲擊來計算與在所述第二模塊中預先編程的敲擊和在所述第一模塊中實際輸入的敲擊有關的修正速度因子(CSF)以及與實際輸入且期望的所述敲擊的速度有關的強度因子、然后能夠調節(jié)所述第二模塊的所述回放速率以將與后續(xù)敲擊有關的所述修正速度因子(CSF)調節(jié)為選擇的值并且根據(jù)與所述速度有關的所述強度因子來調節(jié)從所述第二模塊輸出的信號的強度。
2.根據(jù)權利要求1所述的控制設備，其中，所述第一模塊包括MIDI接口(110A，120A)。
3.根據(jù)權利要求1所述的控制設備，其中，所述第一模塊包括運動捕捉子模塊(110B) 和將來自所述運動捕捉子模塊(110B)的輸出作為輸入進行接收的用于分析并解釋姿態(tài)的子模塊(120B)。
4.根據(jù)權利要求3所述的控制設備，所述運動捕捉子模塊(110B)在至少一個第一軸和第二軸上執(zhí)行所述運動捕捉，所述用于分析并解釋姿態(tài)的子模塊(120B)包括濾波功能、用于通過將源自所述傳感器集合的至少所述第一軸的信號中的至少一個的采樣中的兩個連續(xù)值之間的變化與至少一個選擇的第一閾值進行比較來檢測重要姿態(tài)的功能，以及用于確認對所述重要姿態(tài)的檢測的功能，以及所述用于確認對所述重要姿態(tài)的檢測的功能可以將源自所述傳感器集合的至少所述第二軸的所述信號中的至少一個與至少一個選擇的第二閾值進行比較。
5.根據(jù)權利要求1所述的控制設備，其中，所述第一模塊包括用于從所述用戶的大腦捕捉神經(jīng)信號的接口 IlOC和用于解釋所述神經(jīng)信號的子模塊120C。
6.根據(jù)權利要求4所述的控制設備，其中，輸入的所述敲擊的所述速度是基于從所述第二傳感器輸出的所述信號的偏差來計算的。
7.根據(jù)權利要求1所述的控制設備，其中，所述第一模塊還包括能夠解釋與所述用戶的一部分有關的姿態(tài)的子模塊，所述子模塊的輸出由所述第三模塊使用以控制從由顫音和振動組成的組中選擇的音頻輸出的特性。
8.根據(jù)權利要求1所述的控制設備，其中，所述第二模塊包括用于在針對所述文件的所述回放速率期望控制敲擊的時候將標記放置在要再現(xiàn)的預錄的信號文件中的子模塊，所述標記是根據(jù)所述預錄的信號的所述速率自動生成的并且能夠通過MIDI接口進行移動。
9.根據(jù)權利要求1所述的控制設備，其中，在所述第三模塊中選擇的用于調節(jié)所述第二模塊的所述回放速率的值等于從一組計算的值中選擇的值，所述值的極限中的一個是通過應用修正速度因子CSF來計算的，所述修正速度因子等于下一個標記與前一個標記之間的時間間隔與當前敲擊與前一個敲擊之間的時間間隔之差與所述當前敲擊與所述前一個敲擊之間的所述時間間隔的比率，并且所述值中的其它值是通過在所述當前值與對應于用于應用所述修正速度因子CSF的所述極限的值之間進行線性插值來計算的。
10.根據(jù)權利要求9所述的控制設備，其中，在所述第三模塊中選擇的用于調節(jié)所述第二模塊的所述回放速率的值等于對應于用于應用所述修正速度因子CSF的所述極限的所述值。
11.一種使用戶能夠控制要再現(xiàn)的預錄的信號文件的回放速率以及所述信號的強度的控制方法，所述信號以實質上連續(xù)的方式被編碼到所述預錄的文件中，所述方法包括用于輸入控制敲擊的第一接口步驟；用于輸入所述要再現(xiàn)的信號的第二步驟；用于控制所述預錄的信號的時序的第三步驟；以及用于再現(xiàn)所述前三個步驟的輸入的步驟，其中，所述第二步驟可以被編程為確定針對所述文件的所述回放速率期望控制敲擊的時間，并且其中所述第三步驟能夠針對某一數(shù)量的控制敲擊來計算與在所述第二步驟中預先編程的敲擊和在所述第一步驟中實際輸入的敲擊有關的修正速度因子(CSF)以及與實際輸入且期望的所述敲擊的速度有關的強度因子，然后能夠調節(jié)所述第二步驟中的所述回放速率以將與后續(xù)敲擊有關的所述修正速度因子(CSF)調節(jié)為選擇的值并且根據(jù)與所述速度有關的所述強度因子來調節(jié)從所述第二模塊輸出的信號的強度。
全文摘要
本發(fā)明應用于一種用于控制要再現(xiàn)的信號文件的回放的設備和方法?，F(xiàn)有技術的設備和方法無法使得通過用戶的敲擊來控制音頻文件的回放同時保證優(yōu)質的音樂演奏成為可能。本發(fā)明通過提供一種用于通過經(jīng)由MIDI接口輸入的或者通過一個或多個運動傳感器測量的敲擊來控制所述回放的方式，提供了針對該問題的解決方案。回放速度的變化還可以被平滑，以保證更好的音樂演奏。還可以考慮敲擊的速度以控制音頻輸出的音量，并且其它姿勢或敲擊也可以作用于顫音或振動。
文檔編號G10L21/04GK102598117SQ201080011162
公開日2012年7月18日 申請日期2010年2月12日 優(yōu)先權日2009年2月13日
發(fā)明者D·戴維 申請人:原子能和輔助替代能源委員會, 莫韋公司