專利名稱：音樂信息計算設(shè)備和音樂再現(xiàn)設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于計算音樂信息的設(shè)備，尤其涉及基于樂曲的聲信號來計算用于控制將照明、視頻等描繪至樂曲的裝置的信息以便提供該信息的設(shè)備，以及能夠控制照明和描繪的音樂再現(xiàn)設(shè)備。
背景技術(shù)：
傳統(tǒng)上，作為用于將視頻描繪至正被再現(xiàn)的音樂的設(shè)備，已建議了一種基于聲信號計算音樂特征以描繪視頻的設(shè)備(專利文獻1)。該設(shè)備基于音樂數(shù)據(jù)計算低頻分量和模式以獲取節(jié)奏信息，并與已獲取的節(jié)奏信息同步地顯示圖像。專利文獻1中公開的設(shè)備計算節(jié)奏信息作為樂曲的音樂特征，因而可以改變與該節(jié)奏同步地顯示并描繪視頻的效果。
專利文獻1日本專利特開2000-148107號公報發(fā)明公開本發(fā)明要解決的問題一般而言，曲調(diào)和音樂的生動部分隨時間變化，即樂曲具有諸如音樂時間結(jié)構(gòu)和旋律等音樂結(jié)構(gòu)。然而，專利文獻1中公開的圖像處理設(shè)備僅僅基于樂曲的音樂特征中的節(jié)奏來執(zhí)行顯示和描繪。因此，存在難以執(zhí)行帶增強視覺效果的基于音樂結(jié)構(gòu)的描繪，以例如“在樂曲變得生動時快速改變圖像”或“在高潮部分開始時改變圖像類型”的問題。
此外，為了執(zhí)行帶增強視覺效果的基于前述音樂構(gòu)成的描繪，需要收聽音樂的操作者手動獲取音樂結(jié)構(gòu)。因此，并不容易基于樂曲的音樂結(jié)構(gòu)以增強的視覺效果來描繪視頻。
因此，本發(fā)明的一個目的是提供一種能基于樂曲的聲信號識別音樂結(jié)構(gòu)的音樂信息計算設(shè)備。
本發(fā)明的另一個目的是提供一種基于已獲取的音樂結(jié)構(gòu)來再現(xiàn)音樂并用增強的視覺效果描繪視頻的音樂再現(xiàn)設(shè)備。
問題的解決方案本發(fā)明的目的可以通過隨后的音樂信息計算設(shè)備來達成。所提供的是聲信號輸入裝置，用于輸入樂曲的聲信號；聲音參數(shù)計算裝置，用于使用該聲信號來計算指示該樂曲的音量的至少第一聲參數(shù)；抑揚度計算裝置，用于使用至少該第一聲參數(shù)來計算指示樂曲的抑揚的抑揚度；情節(jié)節(jié)點計算裝置，用于使用至少該第一聲參數(shù)來計算表示樂曲構(gòu)成變化時刻的情節(jié)節(jié)點；以及情節(jié)信息計算裝置，用于計算指示在已算出的情節(jié)節(jié)點和在由該情節(jié)節(jié)點所表示的時刻獲得的抑揚度之間的至少一對應(yīng)關(guān)系的信息作為指示樂曲構(gòu)成的情節(jié)信息。
根據(jù)各特征，可以基于聲信號來計算樂曲構(gòu)成在音樂上變化的時刻以及樂曲的生動水平作為音樂信息，從而能夠輕易地識別音樂結(jié)構(gòu)而無需收聽樂曲。
優(yōu)選地，情節(jié)節(jié)點計算裝置依據(jù)第一聲參數(shù)的值來計算情節(jié)節(jié)點。
根據(jù)各特征，可以基于聲信號來計算樂曲構(gòu)成在音樂上變化的時刻，由此能夠輕易地識別音樂結(jié)構(gòu)而無需收聽樂曲。
優(yōu)選地，情節(jié)信息計算裝置使用已算出的抑揚度來計算情節(jié)節(jié)點的類型，并且計算指示情節(jié)節(jié)點、在由情節(jié)節(jié)點表示的時刻獲得的抑揚度和情節(jié)節(jié)點類型之間對應(yīng)關(guān)系的信息作為指示樂曲構(gòu)成的情節(jié)信息。
根據(jù)各特征，能夠識別每個情節(jié)節(jié)點的音樂信息，因而能夠更具體地識別音樂結(jié)構(gòu)而無需收聽樂曲。
優(yōu)選地，聲音參數(shù)計算裝置還使用聲信號來計算指示樂曲音調(diào)的第二聲參數(shù)，且抑揚度計算裝置使用第一聲參數(shù)和第二聲參數(shù)來計算抑揚度。
根據(jù)各特征，可以基于聲信號來計算有關(guān)音調(diào)或音量的特征量，從而能夠獲取樂曲的生動水平以及樂曲構(gòu)成在音樂上改變的時刻。
優(yōu)選地，第一聲參數(shù)指示聲信號的短時功率平均值，第二聲參數(shù)指示聲信號的過零值，且抑揚度計算裝置計算聲信號的短時功率平均值和過零值的乘積作為抑揚度。
根據(jù)各特征，可以基于聲信號來檢測樂曲生動程度的變化，由此能識別音樂結(jié)構(gòu)而無需收聽樂曲。
優(yōu)選地，第二聲參數(shù)指示從由聲信號的過零值、梅爾頻率倒譜系數(shù)和頻譜質(zhì)心構(gòu)成的組中選取的一個。
根據(jù)各特征，可以基于聲信號來計算有關(guān)音調(diào)的特征量并能識別音樂結(jié)構(gòu)而無需收聽樂曲。此外，可通過使用過零值來以減少的計算量計算有關(guān)音調(diào)的特征量，并通過使用梅爾頻率倒譜系數(shù)和頻譜質(zhì)心來獲得有關(guān)音調(diào)的特征和幅度包絡(luò)特征。
第一聲參數(shù)指示從由聲信號的短時平均值、梅爾頻率倒譜系數(shù)和頻譜質(zhì)心構(gòu)成的組中選取的一個。
根據(jù)各特征，可以基于聲信號來計算有關(guān)音量的特征量，由此能識別音樂結(jié)構(gòu)而無需收聽樂曲。此外，能通過使用短時功率平均值來以減少的計算量計算有關(guān)音量的特征量。
本發(fā)明的目的是通過如下的音樂再現(xiàn)設(shè)備來達成的。再現(xiàn)與樂曲同步的視頻的音樂再現(xiàn)設(shè)備包括聲信號存儲裝置，用于存儲樂曲的聲信號；圖像數(shù)據(jù)存儲裝置，用于存儲圖像數(shù)據(jù)；聲參數(shù)計算裝置，使用聲信號來計算指示樂曲音量的至少第一聲參數(shù)；抑揚度計算裝置，用于使用至少該第一聲參數(shù)來計算指示樂曲抑揚的抑揚度；情節(jié)節(jié)點計算裝置，用于使用至少該第一聲參數(shù)來計算表示樂曲構(gòu)成變化時刻的情節(jié)節(jié)點；情節(jié)信息計算裝置，用于計算指示在已算出的情節(jié)節(jié)點和在由情節(jié)節(jié)點表示的時刻處獲得的抑揚度之間的至少一對應(yīng)關(guān)系的信息作為指示樂曲構(gòu)成的情節(jié)信息；音樂再現(xiàn)裝置，用于再現(xiàn)樂曲的聲信號；視頻生成裝置，用于使用圖像數(shù)據(jù)來生成視頻；以及顯示裝置，用于與由音樂再現(xiàn)裝置再現(xiàn)的樂曲同步地顯示由視頻生成裝置生成的視頻，其中視頻生成裝置生成視頻使得視頻內(nèi)容在由包含在情節(jié)信息內(nèi)的情節(jié)節(jié)點所定義的時刻處經(jīng)受預(yù)定變化，并使用在由情節(jié)節(jié)點表示的時刻獲得的抑揚度來確定該預(yù)定變化的類型。
根據(jù)各特征，可以基于音樂結(jié)構(gòu)使視頻內(nèi)容經(jīng)受變化，由此能再現(xiàn)樂曲并以增強的視覺效果描繪該視頻。
優(yōu)選地，還提供了一種描繪表存儲裝置，用于存儲表示樂曲的情節(jié)節(jié)點類型與視頻在由情節(jié)節(jié)點類型所定義的時刻處經(jīng)受的變化類型之間的對應(yīng)關(guān)系的描繪表，并且情節(jié)信息計算裝置使用在由情節(jié)節(jié)點表示的時刻獲得的抑揚度來確定情節(jié)節(jié)點的類型，并且計算指示情節(jié)節(jié)點、在由情節(jié)節(jié)點表示的時刻獲得的抑揚度和情節(jié)節(jié)點類型之間的對應(yīng)關(guān)系的信息作為情節(jié)信息，并且視頻生成裝置生成視頻，使得視頻內(nèi)容在由包含在情節(jié)信息內(nèi)的情節(jié)節(jié)點所定義時刻處經(jīng)受預(yù)定變化，并使用情節(jié)節(jié)點的類型來確定該預(yù)定變化的類型。
根據(jù)各特征，能夠識別每個情節(jié)節(jié)點的音樂信息，因而能夠更具體地識別音樂結(jié)構(gòu)而無需收聽樂曲。由此，以增強的視覺效果和廣泛的變化范圍來執(zhí)行基于音樂結(jié)構(gòu)的描繪。
優(yōu)選地，描繪表存儲裝置存儲含有漸隱處理與表示音樂結(jié)束的情節(jié)節(jié)點之間的對應(yīng)關(guān)系的描繪表，且視頻生成裝置在具有被確定為音樂結(jié)束的情節(jié)節(jié)點的類型的情節(jié)節(jié)點結(jié)束點之前一預(yù)定時刻的點上開始使視頻經(jīng)受漸隱處理。
優(yōu)選地，視頻發(fā)生裝置使視頻內(nèi)容經(jīng)受變化的處理是從由漸顯處理、漸隱處理、圖像變化處理和圖像旋轉(zhuǎn)處理構(gòu)成的組中選出的一個處理。
根據(jù)各特征，可以依據(jù)情節(jié)節(jié)點的類型來自動描繪視頻而無需收聽樂曲，由此能提供一種用戶友好的音樂再現(xiàn)設(shè)備。此外，根據(jù)各特征，能容易地執(zhí)行由專業(yè)人員在視頻編輯中執(zhí)行的編輯處理而無需收聽樂曲。
本發(fā)明的目的可以通過以下的音樂信息計算方法來達成。所提供的是聲信號輸入步驟，用于輸入樂曲的聲信號；聲參數(shù)計算步驟，用于使用聲信號來計算指示樂曲音量的至少第一聲參數(shù)；抑揚度計算步驟，用于使用至少該第一聲參數(shù)來計算指示樂曲抑揚的抑揚度；情節(jié)節(jié)點計算步驟，用于使用至少該第一聲參數(shù)來計算表示樂曲構(gòu)成變化時刻的情節(jié)節(jié)點；以及情節(jié)信息計算步驟，用于計算指示在已算出的情節(jié)節(jié)點和在由該情節(jié)節(jié)點表示的時刻處獲得的抑揚度之間的至少一對應(yīng)關(guān)系的信息作為指示樂曲構(gòu)成的情節(jié)信息。
本發(fā)明的目的可以通過以下的音樂信息計算電路來達成。所提供的是聲信號輸入裝置，用于輸入樂曲的聲信號；聲參數(shù)計算裝置，用于使用該聲信號來計算指示樂曲音量的至少第一聲參數(shù)；抑揚度計算裝置，用于使用至少該第一聲參數(shù)來計算指示樂曲抑揚的抑揚度；情節(jié)節(jié)點計算裝置，用于使用至少該第一聲參數(shù)來計算表示樂曲構(gòu)成變化時刻的情節(jié)節(jié)點；以及情節(jié)信息計算裝置，用于計算指示在已算出的情節(jié)節(jié)點和在由該情節(jié)節(jié)點表示的時刻處獲得的抑揚度之間的至少一對應(yīng)關(guān)系的信息作為指示樂曲構(gòu)成的情節(jié)信息。
本發(fā)明的目的可以通過以下由計算機執(zhí)行的程序來達成。該程序使用于計算指示樂曲構(gòu)成的情節(jié)信息的音樂信息計算設(shè)備的計算機執(zhí)行聲信號輸入步驟，用于輸入樂曲的聲信號；聲參數(shù)計算步驟，用于使用該聲信號來計算指示樂曲音量的至少第一聲參數(shù)；抑揚度計算步驟，用于使用至少該第一聲參數(shù)來計算指示樂曲抑揚的抑揚度；情節(jié)節(jié)點計算步驟，用于使用至少該第一聲參數(shù)來計算表示樂曲構(gòu)成變化時刻的情節(jié)節(jié)點；以及情節(jié)信息計算步驟，用于計算指示在已算出的情節(jié)節(jié)點和在由該情節(jié)節(jié)點表示的時刻處獲得的抑揚度之間的至少一對應(yīng)關(guān)系的信息作為指示樂曲構(gòu)成的情節(jié)信息。
本發(fā)明的目的可以通過以下存儲介質(zhì)來達成。所記錄的是一種程序，該程序使用于計算指示樂曲構(gòu)成的情節(jié)信息的音樂信息計算設(shè)備的計算機執(zhí)行所記錄的內(nèi)容是一種程序，該程序使用于計算指示樂曲構(gòu)成的音樂信息的音樂信息計算設(shè)備的計算機執(zhí)行聲信號輸入步驟，用于輸入樂曲的聲信號；聲參數(shù)計算步驟，用于使用該聲信號來計算指示樂曲音量的至少第一聲參數(shù)；抑揚度計算步驟，用于使用至少該第一聲參數(shù)來計算指示樂曲抑揚的抑揚度；情節(jié)節(jié)點計算步驟，用于使用至少該第一聲參數(shù)來計算表示樂曲構(gòu)成變化時刻的情節(jié)節(jié)點；以及情節(jié)信息計算步驟，用于計算指示在已算出的情節(jié)節(jié)點和在由該情節(jié)節(jié)點表示的時刻處獲得的抑揚度之間的至少一對應(yīng)關(guān)系的信息作為指示樂曲構(gòu)成的情節(jié)信息。
發(fā)明效果如上所述，本發(fā)明的音樂信息計算設(shè)備可以作為能夠基于樂曲的聲信號來識別音樂結(jié)構(gòu)的音樂信息計算設(shè)備來應(yīng)用。
另外還如上所述，本發(fā)明的音樂再現(xiàn)設(shè)備可以作為用于基于已獲取的音樂結(jié)構(gòu)來再現(xiàn)音樂并用增強的視覺效果描繪視頻的音樂再現(xiàn)設(shè)備來應(yīng)用。
附圖簡述

圖1是示出根據(jù)第一實施例的音樂信息計算設(shè)備的結(jié)構(gòu)的框圖。
圖2是示出在由根據(jù)第一實施例的音樂信息計算設(shè)備執(zhí)行的過程期間輸出信號在時間上的變化的示意圖。
圖3是示出由根據(jù)第一實施例的音樂信息計算設(shè)備執(zhí)行的音樂信息計算過程的流程圖。
圖4是示出由根據(jù)第一實施例的音樂信息計算設(shè)備計算的情節(jié)在時間上的變化的示意圖。
圖5是示出根據(jù)第一實施例的示例性情節(jié)節(jié)點屬性的示意圖。
圖6是示出根據(jù)第二實施例的音樂再現(xiàn)設(shè)備的結(jié)構(gòu)的框圖。
圖7是示出根據(jù)第二實施例的音樂再現(xiàn)設(shè)備中描繪模式的示例性描繪表的圖示。
圖8是示出根據(jù)第二實施例的音樂再現(xiàn)裝置中描繪模式和音樂情節(jié)信息在時間上的變化之間的關(guān)系的示意圖。
圖9是示出由根據(jù)第二實施例的音樂再現(xiàn)設(shè)備執(zhí)行的音樂再現(xiàn)過程的流程圖。
參考標(biāo)號說明1音樂信息計算設(shè)備11聲信號輸入裝置12聲參數(shù)計算裝置13抑揚度計算裝置14評價函數(shù)計算裝置15情節(jié)節(jié)點確定裝置16情節(jié)值計算裝置17判定規(guī)則存儲裝置51音樂數(shù)據(jù)存儲裝置52音樂信息計算裝置53描繪模式發(fā)生裝置54描繪表存儲裝置55再現(xiàn)控制裝置56音樂再現(xiàn)裝置57同步裝置58圖像數(shù)據(jù)存儲裝置59視頻發(fā)生裝置500音樂再現(xiàn)設(shè)備
510顯示裝置實現(xiàn)本發(fā)明的最佳方式(實施例1)圖1是示出根據(jù)本發(fā)明第一實施例的音樂信息計算設(shè)備的結(jié)構(gòu)的框圖。如圖1所示，音樂信息計算設(shè)備1主要包括聲信號輸入裝置11；聲參數(shù)計算裝置12；抑揚度計算裝置13；評價函數(shù)計算裝置14；情節(jié)節(jié)點確定裝置15；情節(jié)值計算裝置16；以及判定規(guī)則存儲裝置17。該音樂信息計算設(shè)備被實現(xiàn)為例如結(jié)合到計算機中。
在圖1中，聲參數(shù)計算裝置12、抑揚度計算裝置13、評價函數(shù)計算裝置14、情節(jié)節(jié)點確定裝置15和情節(jié)值計算裝置16被示出為分開的框。然而，這些設(shè)備無需彼此分開，并且他們可以作為諸如LSI或?qū)Ｓ眯盘柼幚黼娐返燃呻娐范O(shè)置在一塊芯片上?；蛘撸蓪⑵鸬礁髂K作用的電路分別作為芯片來提供。當(dāng)LSI包括暫時存儲器時，LSI內(nèi)也可包括判定規(guī)則存儲裝置17。在此描述的LSI依集成程度還可被稱為IC、系統(tǒng)LSI、超LSI或甚LSI。此外，集成電路不一定是LSI，而是可被實現(xiàn)為專用電路或通用處理器。還可以使用可在制造LSI之后編程的FPGA(現(xiàn)場可編程門陣列)，或可在制造LSI后重新配置LSI內(nèi)部的電路單元之間的連接及其設(shè)置的可重新配置處理器。此外，當(dāng)半導(dǎo)體技術(shù)的發(fā)展或從該發(fā)展中得到的其他技術(shù)導(dǎo)致能代替LSI的電路集成技術(shù)的出現(xiàn)時，不言而喻的是可以使用該技術(shù)來進行這些功能模塊的集成。
一般而言，樂曲從其開始到結(jié)尾包括曲調(diào)變化點、樂曲變得生動的部分、節(jié)奏變化點以及樂句變化點等等。即，樂曲具有諸如音樂時間結(jié)構(gòu)和旋律等音樂結(jié)構(gòu)。在本實施例中，音樂時間結(jié)構(gòu)和旋律的每一個都被稱為“音樂情節(jié)”。下文中，音樂時間結(jié)構(gòu)或旋律變化的邊界被稱為“情節(jié)節(jié)點”或“節(jié)點”。情節(jié)節(jié)點被表示為指示樂曲從開始起經(jīng)過的時間的時間信息(下稱“再現(xiàn)時間”)。
圖2示出了由圖1所示的每一組件算出的樂曲特征量在時間上的變化。圖2(A)、2(B)、2(C)、2(D)和2(E)分別示出了將如下詳述的短時功率平均值、過零值、抑揚度、評價函數(shù)和情節(jié)節(jié)點在時間上的變化。在各圖中，縱坐標(biāo)軸表示每個組件的輸出值，而橫坐標(biāo)軸表示從樂曲開始起經(jīng)過的時間。圖2(D)和2(E)的每一個中的“n1”至“n5”表示確定各自代表音樂邊界的情節(jié)節(jié)點的再現(xiàn)時間。
聲信號輸入裝置11輸入待處理的樂曲的聲信號。聲信號例如表示存儲在諸如硬盤驅(qū)動器等記錄介質(zhì)內(nèi)的一首完整樂曲的PCM數(shù)據(jù)。可以在輸入一首完整樂曲之后將聲信號輸出至聲參數(shù)計算裝置，或者可以在每次輸入聲信號時實時計算特征量的情況下對每次輸入輸出聲信號。對每次輸入進行輸出允許進行實時處理。
聲參數(shù)計算裝置12對每次輸入或?qū)σ皇淄暾臉非嬎阋粋€或多個預(yù)定的聲參數(shù)。聲參數(shù)表示聲信號的波形或通過分析該波形所獲得的特征量，并被表示為時間函數(shù)。在本實施例中，使用短時功率平均值rms(t)和過零值zcr(t)作為聲參數(shù)。當(dāng)以預(yù)定單位時間的間隔將聲信號分成若干部分時，通過使聲信號的幅度在每個部分內(nèi)求均方根來獲得短時功率平均值，并且該短時功率平均值表示每一部分內(nèi)聲信號的平均幅度大小。短時功率平均值是指示樂曲音量變化的指標(biāo)。過零值表示每一部分內(nèi)聲信號符號變化的次數(shù)。過零值是指示樂曲音調(diào)的指標(biāo)。通過使用短時功率平均值和過零值，聲參數(shù)計算裝置12能夠以相對減少的計算處理量來計算樂曲的音量、音調(diào)等等。圖2(A)示出了由聲參數(shù)計算裝置12輸出的短時功率平均值在時間上的變化。圖2(B)還示出了過零值在時間上的變化。如圖2(A)和圖2(B)所示，短時功率平均值和過零值的每一個都在樂曲內(nèi)隨時間經(jīng)過而改變。
抑揚度計算裝置13基于一個或多個聲參數(shù)來計算抑揚度。此處，抑揚度表示樂曲的生動程度，即樂曲的抑揚度，并被表示為時間函數(shù)。在本實施例中，抑揚度是基于短時功率平均值和過零值使用以下公式來計算的tlv(t)＝rms(t)×zcr(t)(公式1)根據(jù)公式1，可以將“音量(短時功率平均值)高且音調(diào)(過零值)高”的部分確定為樂曲變得生動的部分。這樣，通過將短時功率平均值與過零值相乘所獲得的值可用于在每一再現(xiàn)時刻確定樂曲的生動程度，并且還能用于確定貫穿一首完整的樂曲的音樂抑揚。圖2(C)示出了由抑揚度計算裝置13輸出信號在時間上的變化。圖2(C)示出抑揚度所具有的數(shù)值越大，樂曲在音樂感覺上的生動性就越強。
評價函數(shù)計算裝置14基于一個或多個聲參數(shù)來計算評價函數(shù)。評價函數(shù)表示用于檢測表示音樂邊界的情節(jié)節(jié)點的函數(shù)，并被表示為時間函數(shù)。本實施例的評價函數(shù)fxl(t)是使用各聲參數(shù)中的短時功率平均值通過以下公式來定義的。
fxl(t)＝-(rms(t)-rms(t-1))(公式2)
通常考慮音量在表示音樂邊界的情節(jié)節(jié)點處顯著變化。因此，使用該評價函數(shù)來計算短時功率平均值的變化量，由此能檢測音樂邊界，即情節(jié)節(jié)點。圖2(D)示出了評價函數(shù)計算裝置14的輸出信號在時間上的變化。在圖2(D)所示的示例中，評價函數(shù)的值在一首樂曲中的多個點處顯著變化。
判定規(guī)則存儲裝置17存儲為每個節(jié)點類型定義的判定規(guī)則。此處，節(jié)點類型表示音樂結(jié)構(gòu)的音樂構(gòu)成，即音樂屬性。另外，下述情節(jié)節(jié)點確定裝置15基于該判定規(guī)則來確定評價函數(shù)是否表示一特定的情節(jié)節(jié)點。例如，節(jié)點類型包括“齊唱起始點和齊唱結(jié)束點”、“間歇起始點和間歇結(jié)束點”、“樂章起始點和樂章結(jié)束點”以及“音樂起始點和音樂結(jié)束點”。每一節(jié)點類型具有如下的音樂構(gòu)成。例如，“齊唱”表示在短期內(nèi)插入樂曲以向樂曲提供變化的生動樂句部分，而“間歇”表示在短期內(nèi)插入樂曲以向樂曲提供變化的安靜部分?！皹氛隆北硎緲非幕締卧?，諸如序曲、旋律A和旋律B。此外，“音樂的起始和結(jié)束”表示包括了音樂數(shù)據(jù)前后的非無聲部分在內(nèi)的且音樂實質(zhì)上分別開始和結(jié)束的部分。
在此，將描述用于表示“間歇起始點”的節(jié)點類型的判定規(guī)則。判定規(guī)則存儲裝置17存儲為“間歇起始點”所定義的判定規(guī)則如下。
(1)fxl(t)指示最大值處的再現(xiàn)時間被設(shè)為候選節(jié)點，并且fxl的值表示優(yōu)先級。
(2)在當(dāng)按優(yōu)先順序計算候選節(jié)點時，在其優(yōu)先級高于待計算的目標(biāo)候選節(jié)點優(yōu)先級的候選節(jié)點在該待計算的目標(biāo)候選節(jié)點前后5秒內(nèi)出現(xiàn)的情況下，從候選節(jié)點中去除該待計算的目標(biāo)候選節(jié)點。
(3)以(2)中描述的方式順序地計算各節(jié)點，并且在節(jié)點數(shù)達到預(yù)定最大數(shù)時結(jié)束節(jié)點確定過程。
于是，判定規(guī)則存儲裝置17為每個節(jié)點類型存儲為判定評價函數(shù)是否表示情節(jié)節(jié)點而定義的規(guī)則。
情節(jié)節(jié)點確定裝置15判定已算出的評價函數(shù)是否表示代表音樂邊界的情節(jié)節(jié)點。此時，通過基于存儲在判定規(guī)則存儲裝置17內(nèi)的判定規(guī)則判定已算出的評價函數(shù)是否表示一特定節(jié)點類型來執(zhí)行確定過程。當(dāng)已算出的評價函數(shù)表示該特定節(jié)點類型時，情節(jié)節(jié)點確定裝置15將相關(guān)時間(情節(jié)節(jié)點)和節(jié)點類型輸出至情節(jié)值計算裝置16。圖2中示出的“n1”至“n5”表示情節(jié)節(jié)點確定裝置15將節(jié)點類型確定為“間歇”的點。由此，情節(jié)節(jié)點確定裝置15能基于評價函數(shù)來檢測表示音樂邊界的情節(jié)節(jié)點。
情節(jié)值計算裝置16基于由抑揚度計算裝置13獲取的抑揚度以及由情節(jié)節(jié)點確定裝置15獲取的情節(jié)節(jié)點來計算情節(jié)值。此處，情節(jié)值表示指示出樂曲的時間結(jié)構(gòu)的數(shù)值。在本實施例中，計算每個情節(jié)節(jié)點的抑揚度值作為情節(jié)值。如圖2(E)所示，情節(jié)值計算裝置16計算每個情節(jié)節(jié)點(n1至n5)的抑揚度值作為情節(jié)值。
接著，將描述根據(jù)本實施例的音樂情節(jié)計算過程。圖3是示出音樂信息計算過程的流程圖。圖3所示的過程例如可以在音樂信息計算設(shè)備通電時執(zhí)行。
最初，在步驟S11處，聲信號輸入裝置11讀取存儲在記錄介質(zhì)內(nèi)的聲信號。聲信號輸入裝置11讀取存儲在未示出的硬盤內(nèi)的一首完整樂曲的PCM數(shù)據(jù)。隨后，在步驟S12處，聲信號輸入裝置11將已讀取的聲信號轉(zhuǎn)換成具有可由聲參數(shù)計算裝置12處理的數(shù)據(jù)格式的信號，并將已轉(zhuǎn)換的信號輸出至聲參數(shù)計算裝置12。
接著，在步驟S13的過程中，計算指示聲信號的特征量的聲參數(shù)。即，聲參數(shù)計算裝置12基于已由聲信號輸入裝置11輸出的聲信號的數(shù)據(jù)來計算短時功率平均值和過零值。聲參數(shù)計算裝置12將已算出的短時功率平均值輸出至抑揚度計算裝置13和評價函數(shù)計算裝置14。已算出的過零值則被輸出至抑揚度計算裝置13。
在步驟S14的過程中，計算指示樂曲抑揚的抑揚度。抑揚度計算裝置13基于已在步驟S13中獲取的短時功率平均和過零值使用公式1來計算抑揚度。已算出的抑揚度被輸出至情節(jié)值計算裝置16。
接著，在步驟S15的過程中，計算評價函數(shù)。如上所述，評價函數(shù)是用于檢測情節(jié)節(jié)點的函數(shù)。評價函數(shù)計算裝置14基于已在步驟S13中獲取的短時功率平均值使用公式2來計算評價函數(shù)。已算出的評價函數(shù)被輸出至情節(jié)節(jié)點確定裝置15。
在步驟S16的過程中，情節(jié)節(jié)點確定裝置15判定已在步驟S15中算出的評價函數(shù)是否表示一特定的節(jié)點類型。此時，基于存儲在判定規(guī)則存儲裝置17內(nèi)判定規(guī)則，由情節(jié)節(jié)點確定裝置15執(zhí)行該判定過程。當(dāng)判定該評價函數(shù)表示特定的節(jié)點類型時，情節(jié)節(jié)點確定裝置15在隨后的步驟S17中將相關(guān)再現(xiàn)時間(情節(jié)節(jié)點)和節(jié)點類型輸出至情節(jié)值計算裝置16。
接著，在步驟S18的過程中，情節(jié)值計算裝置16計算情節(jié)信息。情節(jié)信息表示指示出樂曲的情節(jié)(結(jié)構(gòu))的信息，并且具體表示指示在由每一情節(jié)節(jié)點表示的時刻獲取的抑揚度的信息。即，情節(jié)值計算裝置16計算步驟S14中已算出的抑揚度中由在步驟S17中已算出的情節(jié)節(jié)點表示的時刻所獲取的抑揚度作為情節(jié)值。此外，在本實施例中，情節(jié)值計算裝置16輸出已算出的情節(jié)值、對應(yīng)于該情節(jié)值的情節(jié)節(jié)點、以及該情節(jié)節(jié)點的節(jié)點類型作為情節(jié)信息。這是與音樂信息計算有關(guān)的一系列過程的結(jié)束。在圖3所示的過程中，雖然評估函數(shù)是在計算抑揚度之后計算的，但是本發(fā)明不限于此。即使以相反的順序執(zhí)行步驟S14的過程和步驟S15至S17的過程，也能以與圖3所示過程中所執(zhí)行的相同的方式獲取樂曲的情節(jié)信息。
圖4示出了樂曲A中情節(jié)節(jié)點和抑揚度變化之間的關(guān)系。圖5則進一步示出了樂曲A的情節(jié)節(jié)點屬性。在圖4中，縱坐標(biāo)軸表示抑揚度值，橫坐標(biāo)軸表示時間，并且每個情節(jié)節(jié)點的抑揚度值如上所述表示情節(jié)值。在各圖中，實曲線214表示樂曲A的抑揚度在時間上的變化。在曲線214上標(biāo)出的節(jié)點201至213則各自表示由情節(jié)節(jié)點確定裝置確定為對應(yīng)于特定節(jié)點類型的情節(jié)節(jié)點。另外，圖中形成從節(jié)點201連接至213的直線的虛線表示情節(jié)值在時間上的變化。音樂信息計算設(shè)備1通過如前述流程圖所示地處理樂曲A的聲信號來計算音樂信息，由此允許獲取如圖5所示的樂曲A的情節(jié)節(jié)點屬性。由此，音樂信息計算設(shè)備1從樂曲A中獲取音樂邊界(情節(jié)節(jié)點)以及各邊界處的抑揚度(情節(jié)值)。因此，音樂信息計算設(shè)備能通過基于聲信號計算情節(jié)信息來識別音樂結(jié)構(gòu)。
如上所述，根據(jù)本實施例的音樂信息計算設(shè)備能夠基于聲信號的特征量來檢測一首完整樂曲內(nèi)的音樂邊界。此外，還可以每次基于聲信號的特征量來檢測音樂屬性。因此，用戶能夠輕易地識別音樂結(jié)構(gòu)而無需收聽樂曲。
(實施例2)圖6是示出根據(jù)第二實施例的音樂再現(xiàn)設(shè)備500的結(jié)構(gòu)的框圖。如圖6所示，音樂再現(xiàn)設(shè)備500包括音樂數(shù)據(jù)存儲裝置51；音樂信息計算裝置52；描繪模式發(fā)生裝置53；描繪表存儲裝置54；再現(xiàn)控制裝置55；音樂再現(xiàn)裝置56；同步裝置57；圖像數(shù)據(jù)存儲裝置58；視頻發(fā)生裝置59；以及顯示裝置510。音樂再現(xiàn)設(shè)備500是用于與正被再現(xiàn)的音樂同步地顯示圖像的設(shè)備，并且是例如使用根據(jù)第一實施例的方法獲取的情節(jié)信息在各圖像之間切換和/或編輯圖像的設(shè)備。
在本實施例中，音樂信息計算裝置52、描繪模式發(fā)生裝置53、同步裝置57和視頻發(fā)生裝置59的每一個被示為分開的框。然而這些設(shè)備無需彼此分開，并且可以作為諸如LSI或?qū)Ｓ眯盘柼幚黼娐返燃呻娐吩O(shè)置在一塊芯片上?；蛘撸部蓪⑵鸬竭@些裝置的作用的塊分別作為芯片來提供。當(dāng)LSI包括暫時存儲器時，LSI內(nèi)也可包括描繪表存儲裝置54。在此描述的LSI依集成程度還可稱為IC、系統(tǒng)LSI、超LSI或甚LSI。此外，集成電路不一定是LSI，而是可被實現(xiàn)為專用電路或通用處理器。還可以使用可在制造LSI之后編程的FPGA(現(xiàn)場可編程門陣列)，或可在制造LSI后對LSI內(nèi)的電路單元之間的連接及其設(shè)置進行重新配置的可重新配置處理器。此外，當(dāng)半導(dǎo)體技術(shù)的發(fā)展或從該發(fā)展中得到的其他技術(shù)導(dǎo)致能代替LSI的電路集成技術(shù)的出現(xiàn)時，不言而喻的是可以使用該技術(shù)來進行這些功能塊的集成。
例如可對應(yīng)于硬盤設(shè)備之類的音樂數(shù)據(jù)存儲裝置51存儲至少一首樂曲的聲信號。音樂數(shù)據(jù)存儲裝置51能夠?qū)⒃佻F(xiàn)控制裝置55所選的音樂的聲信號輸出至音樂信息計算裝置52和音樂再現(xiàn)裝置56。
由音樂數(shù)據(jù)存儲裝置51輸出的聲信號被輸入到音樂信息計算裝置52。音樂信息計算裝置52執(zhí)行與前述音樂信息計算設(shè)備1相同的處理，以便計算有關(guān)音樂結(jié)構(gòu)的音樂情節(jié)信息。即，基于已輸入的聲信號計算情節(jié)值、情節(jié)節(jié)點和抑揚度。所生成的情節(jié)信息被輸出至描繪模式生成裝置53。
描繪模式生成裝置53基于音樂信息計算裝置52輸出的音樂情節(jié)信息生成視頻的描繪模式。此處，描繪模式表示指示再現(xiàn)時間與要在再現(xiàn)時刻執(zhí)行和視頻效果處理之間的對應(yīng)關(guān)系的信息。視頻效果處理表示使視頻經(jīng)受某一改變的處理，并且包括諸如漸顯、漸隱和圖像旋轉(zhuǎn)的處理。已生成的描繪模式作為描繪表被存儲在描繪表存儲裝置54內(nèi)。
圖7示出了含有已由描繪模式發(fā)生裝置53生成的描繪模式的一個示例性描繪表。圖7中示出的描繪表指示了節(jié)點類型和在檢測到對應(yīng)于該節(jié)點類型的情節(jié)節(jié)點時要執(zhí)行的視頻效果處理之間的對應(yīng)關(guān)系。節(jié)點類型表示如第一實施例中所述的音樂屬性，并且每個節(jié)點類型都具有音樂構(gòu)成。圖8是示出描繪模式和由音樂信息計算裝置52算出的情節(jié)信息在時間上的變化之間的關(guān)系的示意圖?？v坐標(biāo)軸表示抑揚度，而橫坐標(biāo)軸表示音樂再現(xiàn)時間。另外，如同在第一實施例中抑揚，每個情節(jié)節(jié)點處的抑揚度被表示為情節(jié)值。在附圖中，表示各節(jié)點的參考標(biāo)號分別對應(yīng)于表示圖7所示的描繪表中的視頻效果的標(biāo)號。例如，在圖7中，在音樂節(jié)點類型表示“音樂起始點”的部分(在圖8中標(biāo)記為(1)的節(jié)點)中，執(zhí)行對應(yīng)于“漸顯”的視頻效果處理。即，在對應(yīng)于具有“音樂起始點”節(jié)點類型的情節(jié)節(jié)點的時刻執(zhí)行漸顯，即執(zhí)行的是顯示圖像以使其隨時間流逝而逐漸可見的視頻效果處理。此外，例如，在節(jié)點類型表示“間歇”的部分(在圖8中標(biāo)記為(4)的節(jié)點)中，執(zhí)行的是在顯示裝置510上顯示0.5秒黑屏的視頻效果處理。此外，在節(jié)點類型表示“高潮部分起始點”的部分(在圖8中標(biāo)記為(5)的節(jié)點)中，執(zhí)行旋轉(zhuǎn)圖像一秒的的視頻效果處理。這樣，描繪模式生成裝置依據(jù)音樂情節(jié)生成用于提供視頻效果的描繪表。用戶可以改變描繪表內(nèi)節(jié)點類型和視頻效果之間的對應(yīng)關(guān)系。在節(jié)點類型表示“高潮部分開始”的部分中，可以組合各種視頻效果例如以便于“顯示用戶選擇的照片”。
再現(xiàn)控制裝置55基于來自用戶的音樂選擇指令指示存儲在音樂數(shù)據(jù)存儲裝置51內(nèi)的聲信號的輸出。另外，再現(xiàn)控制裝置55還控制音樂再現(xiàn)裝置56以便執(zhí)行諸如再現(xiàn)音樂、停止音樂之類的再現(xiàn)控制。
音樂再現(xiàn)裝置56根據(jù)來自再現(xiàn)控制裝置55的指令將由音樂數(shù)據(jù)存儲裝置51輸出的聲信號以用戶能夠收聽該聲信號的格式輸出。例如，聲信號可以被放大并由揚聲器輸出。
同步裝置57監(jiān)視由音樂再現(xiàn)裝置56執(zhí)行的音樂再現(xiàn)過程，并生成并輸出用來與音樂再現(xiàn)過程同步的同步信號。由同步裝置57生成的同步信號是用來將音樂與由下述視頻發(fā)生裝置59生成的視頻數(shù)據(jù)同步的信號。同步裝置57將已生成的同步信號輸出至視頻發(fā)生裝置59。
圖像數(shù)據(jù)存儲裝置58存儲至少一個圖像數(shù)據(jù)。靜止圖像或移動圖像都可被存儲為圖像數(shù)據(jù)。已存儲的圖像數(shù)據(jù)依據(jù)來自視頻生成裝置59的指令被輸出。
視頻發(fā)生裝置59順序地獲取存儲在圖像數(shù)據(jù)存儲裝置58內(nèi)的圖像數(shù)據(jù)，并且顯示對每個情節(jié)節(jié)點經(jīng)受某一變化的視頻以便生成視頻數(shù)據(jù)。此外，視頻發(fā)生裝置59與由同步裝置57輸出的同步信號同步地再現(xiàn)視頻數(shù)據(jù)，并將再現(xiàn)的視頻數(shù)據(jù)輸出至顯示裝置510。當(dāng)生成視頻數(shù)據(jù)時，視頻發(fā)生裝置59基于描繪表執(zhí)行使要在預(yù)定的再現(xiàn)時刻顯示的圖像經(jīng)受預(yù)定視頻效果的處理。于是，視頻發(fā)生裝置59能基于描繪表自動執(zhí)行由專業(yè)人員在視頻編輯中執(zhí)行的編輯。
對應(yīng)于顯示設(shè)備之類的顯示裝置510顯示由視頻發(fā)生裝置59輸出的視頻數(shù)據(jù)作為可視圖像。
接著，將描述由音樂再現(xiàn)設(shè)備500執(zhí)行的音樂再現(xiàn)過程。圖9是示出由音樂再現(xiàn)設(shè)備500執(zhí)行的音樂再現(xiàn)過程的流程圖。圖9所示的過程在選擇音樂A的用戶指令被輸入到再現(xiàn)控制裝置55時開始。最初，在步驟S31處，音樂數(shù)據(jù)存儲裝置51根據(jù)來自再現(xiàn)控制裝置55的指令將音樂A的聲信號輸出至音樂信息計算裝置52。
接著，在步驟S32的過程中，音樂信息計算裝置52在如圖3所示的過程中計算與音樂A有關(guān)的音樂信息。于是，輸出有關(guān)音樂A的情節(jié)節(jié)點、抑揚度(情節(jié)值)和節(jié)點類型。
隨后，在步驟S33的過程中，描繪模式發(fā)生裝置53生成描繪模式。描繪模式發(fā)生裝置53基于先前存儲在描繪表存儲裝置54內(nèi)的描繪表中所含有的視頻效果和節(jié)點類型之間的對應(yīng)關(guān)系，確定與已在步驟S32中獲取的情節(jié)節(jié)點相對應(yīng)的視頻效果處理。已確定的描繪模式隨后被輸出至視頻發(fā)生裝置59。
接著，在步驟S34中，音樂再現(xiàn)裝置56依據(jù)來自再現(xiàn)控制裝置55的指令開始對音樂A的再現(xiàn)。此外，同步裝置與正被再現(xiàn)的音樂A同步地將同步信號輸出至視頻發(fā)生裝置59。
在步驟S35的過程中，視頻發(fā)生裝置59基于由描繪模式發(fā)生裝置53生成的描繪模式確定是否出現(xiàn)情節(jié)節(jié)點。當(dāng)情節(jié)節(jié)點出現(xiàn)時，視頻發(fā)生裝置59在步驟S36中通過依據(jù)描繪模式使圖像經(jīng)受視頻效果處理來生成視頻數(shù)據(jù)。另一方面，當(dāng)情節(jié)節(jié)點沒有出現(xiàn)時，視頻發(fā)生裝置59生成視頻數(shù)據(jù)而不使圖像經(jīng)受視頻效果處理，并且該過程前進至步驟S37。步驟S37的過程中生成的視頻數(shù)據(jù)依據(jù)同步信號再現(xiàn)并顯示在顯示裝置510上。
接著，在步驟S38的過程中，視頻發(fā)生裝置59基于描繪模式確定是否要執(zhí)行視頻數(shù)據(jù)的生成。當(dāng)要生成視頻數(shù)據(jù)時，視頻發(fā)生裝置59將該過程返回至步驟S35并確定后續(xù)的情節(jié)節(jié)點是否出現(xiàn)，然后執(zhí)行與步驟S36和后續(xù)步驟相同的過程。另一方面，當(dāng)描繪模式未指示不生成視頻時，該過程前進至步驟S39。
在步驟S39處，音樂再現(xiàn)裝置56響應(yīng)于來自再現(xiàn)控制裝置55的用于停止再現(xiàn)的指令，停止對音樂A的再現(xiàn)。與此同時，視頻發(fā)生裝置59在接收到用于停止再現(xiàn)的同步信號時停止再現(xiàn)視頻數(shù)據(jù)。這是由音樂再現(xiàn)設(shè)備500執(zhí)行的再現(xiàn)過程的結(jié)束。
如上所述，根據(jù)本實施例的音樂再現(xiàn)設(shè)備能夠基于聲信號的特征量識別音樂結(jié)構(gòu)，由此能基于音調(diào)或音樂生動部分的變化來容易地描繪視頻。此外，可以基于音樂屬性來描繪視頻而無需用戶收聽音樂樂曲，由此能實現(xiàn)具有改進的用戶友好度的音樂再現(xiàn)設(shè)備。此外，根據(jù)本實施例的音樂再現(xiàn)設(shè)備與正被再現(xiàn)的音樂同步地生成視頻，由此能以視覺和聽覺效果來再現(xiàn)音樂和視頻。
雖然在本實施例中對每個節(jié)點類型確定描繪模式，但是本發(fā)明不限于此。在圖9中，也可依據(jù)情節(jié)值的大小來確定描繪模式。例如，在抑揚度較大的區(qū)域中，可以為縮短圖像變化周期而生成視頻數(shù)據(jù)，而在抑揚度較小的區(qū)域中，可以為延長圖像變化周期而生成視頻數(shù)據(jù)。此外，例如，可以執(zhí)行描繪以使在情節(jié)值較大時選擇具有明亮色調(diào)的圖像，而在情節(jié)值較小時選擇具有灰暗色調(diào)的圖像。
雖然對用于與音樂同步地顯示視頻的音樂再現(xiàn)設(shè)備使用了第一和第二實施例的音樂信息計算設(shè)備和音樂信息計算裝置，但是本發(fā)明不限于此。例如在被表示為音樂節(jié)點類型的“間歇起始點”和“間歇結(jié)束點”之間的區(qū)域內(nèi)，可以結(jié)合由其他設(shè)備執(zhí)行的例如調(diào)暗室內(nèi)照明的過程來執(zhí)行描繪過程。
雖然在第一和第二實施例中的音樂信息計算設(shè)備和音樂信息計算裝置中使用了短時功率平均和過零值作為聲參數(shù)，但是本發(fā)明不限于此。例如，可以使用色度向量作為聲參數(shù)以便評價函數(shù)計算裝置能夠計算用于獲得音樂音階結(jié)構(gòu)的相似性的評價函數(shù)。這樣，通過檢測音階結(jié)構(gòu)內(nèi)重復(fù)部分之間的邊界，也能識別樂章內(nèi)的音樂結(jié)構(gòu)。即，能夠計算樂章部分中表示例如旋律A和旋律B之間的邊界的情節(jié)節(jié)點。這樣，音樂信息計算設(shè)備能更具體地實現(xiàn)音樂結(jié)構(gòu)。
另外，例如MFCC(梅爾頻率倒譜系數(shù))也可被用作聲參數(shù)。由此，能獲取聲信號的幅度包絡(luò)特性和音調(diào)特性。評價函數(shù)計算裝置通過使用MFCC來計算表示音樂的顯著音調(diào)變化的評價函數(shù)。因此，音樂信息計算設(shè)備能檢測表示音調(diào)變化的分界的情節(jié)節(jié)點，即表示齊唱的開始和結(jié)束部分的情節(jié)節(jié)點。
雖然第一和第二實施例的音樂信息計算設(shè)備和音樂信息計算裝置使用過零值作為聲參數(shù)，但是本發(fā)明不限于此?？梢允褂美珙l譜質(zhì)心來代替過零值。
雖然在第一和第二實施例中，根據(jù)公式1使用短時功率平均值與過零值的乘積作為抑揚度，但是本發(fā)明不限于此。例如，可以根據(jù)公式3僅使用短時功率平均值。
tlv(t)＝rms(t)(公式3)這樣，與使用公式1的情況相比，能減少計算量。
在第一和第二實施例中，評價函數(shù)計算裝置可以使已輸入的聲信號經(jīng)受頻域轉(zhuǎn)換，以便基于通過該轉(zhuǎn)換獲得的信號的分布來計算評價函數(shù)。
第一和第二實施例中的音樂信息計算設(shè)備和音樂信息計算裝置可以被實現(xiàn)為結(jié)合到或連接到計算機的硬件設(shè)備。此外，計算機可以使用軟件來執(zhí)行部分過程。
工業(yè)實用性本發(fā)明的音樂信息計算設(shè)備和音樂再現(xiàn)設(shè)備適用于基于音樂特征描繪視頻所需的音樂再現(xiàn)設(shè)備和視頻再現(xiàn)設(shè)備。
權(quán)利要求
1.一種音樂信息計算設(shè)備，包括聲信號輸入裝置，用于輸入樂曲的聲信號；聲參數(shù)計算裝置，用于使用所述聲信號來至少計算指示所述樂曲音量的第一聲參數(shù)；抑揚度計算裝置，用于至少使用所述第一聲參數(shù)來計算指示所述樂曲抑揚的抑揚度；情節(jié)節(jié)點計算裝置，用于至少使用所述第一聲參數(shù)來計算表示所述樂曲構(gòu)成變化時刻的情節(jié)節(jié)點；以及情節(jié)信息計算裝置，用于計算指示已計算的情節(jié)節(jié)點和在由所述情節(jié)節(jié)點表示的時刻處獲得的抑揚度之間的至少一對應(yīng)關(guān)系的信息作為指示所述樂曲構(gòu)成的情節(jié)信息。
2.如權(quán)利要求1所述的音樂信息計算設(shè)備，其特征在于，所述情節(jié)節(jié)點計算裝置依據(jù)所述第一聲參數(shù)的值來計算所述情節(jié)節(jié)點。
3.如權(quán)利要求1所述的音樂信息計算設(shè)備，其特征在于，所述情節(jié)信息計算裝置使用已算出的抑揚度來計算所述情節(jié)節(jié)點的類型，并且計算指示所述情節(jié)節(jié)點、在由所述情節(jié)節(jié)點表示的時刻獲得的抑揚度和所述情節(jié)節(jié)點類型之間的對應(yīng)關(guān)系的信息作為指示所述樂曲構(gòu)成的情節(jié)信息。
4.如權(quán)利要求1所述的音樂信息計算設(shè)備，其特征在于，所述聲參數(shù)計算裝置還使用所述聲信號來計算指示所述樂曲音調(diào)的第二聲參數(shù)，并且所述抑揚度計算裝置使用所述第一聲參數(shù)和所述第二聲參數(shù)來計算所述抑揚度。
5.如權(quán)利要求4所述的音樂信息計算設(shè)備，其特征在于，所述第一聲參數(shù)指示所述聲信號的短時功率平均值，所述第二聲參數(shù)指示素數(shù)聲信號的過零值，并且所述抑揚度計算裝置計算所述聲信號的短時功率平均值和過零值的乘積作為所述抑揚度。
6.如權(quán)利要求4所述的音樂信息計算設(shè)備，其特征在于，所述第二聲參數(shù)指示從由所聲音信號的過零值、梅爾頻率倒譜系數(shù)和頻譜質(zhì)心構(gòu)成的組中選取的一個。
7.如權(quán)利要求1所述的音樂信息計算設(shè)備，其特征在于，所述第一聲參數(shù)指示從由所述聲信號的短時功率平均值、梅爾頻率倒譜系數(shù)和頻譜質(zhì)心構(gòu)成的組中選取的一個。
8.一種用來與樂曲同步地再現(xiàn)視頻的音樂再現(xiàn)設(shè)備，所述音樂再現(xiàn)設(shè)備包括聲信號存儲裝置，用于存儲所述樂曲的聲信號；圖像數(shù)據(jù)存儲裝置，用于存儲圖像數(shù)據(jù)；聲參數(shù)計算裝置，用于使用所述聲信號來至少計算指示所述樂曲音量的第一聲參數(shù)；抑揚度計算裝置，用于至少使用所述第一聲參數(shù)來計算指示所述樂曲抑揚的抑揚度；情節(jié)節(jié)點計算裝置，用于至少使用所述第一聲參數(shù)來計算表示所述樂曲構(gòu)成變化時刻的情節(jié)節(jié)點；情節(jié)信息計算裝置，用于計算指示已算出的情節(jié)節(jié)點和在由所述情節(jié)節(jié)點表示的時刻處獲得的抑揚度之間的至少一對應(yīng)關(guān)系的信息作為指示所述樂曲構(gòu)成的情節(jié)信息；音樂再現(xiàn)裝置，用于再現(xiàn)所述樂曲的聲信號；視頻生成裝置，用于使用所述圖像數(shù)據(jù)來生成視頻；以及顯示裝置，用于與正由所述音樂再現(xiàn)裝置再現(xiàn)的樂曲同步地顯示由所述視頻生成裝置生成的視頻，其中所述視頻生成裝置生成所述視頻使得所述視頻內(nèi)容在由包含在所述情節(jié)信息內(nèi)的情節(jié)節(jié)點所定義時刻處經(jīng)受預(yù)定變化，并使用在由所述情節(jié)節(jié)點表示的時刻獲得的抑揚度來確定所述預(yù)定變化的類型。
9.如權(quán)利要求8所述的音樂再現(xiàn)算設(shè)備，其特征在于，還包括描繪表存儲裝置，用于存儲表示在所述樂曲的情節(jié)節(jié)點類型與在由所述類型的情節(jié)節(jié)點所定義的時刻處使所述視頻所經(jīng)受的改變的類型之間的對應(yīng)關(guān)系的描繪表，其中所述情節(jié)信息計算裝置使用在由所述情節(jié)節(jié)點表示的時刻處獲得的抑揚度來確定所述情節(jié)節(jié)點的類型，并且計算指示所述情節(jié)節(jié)點、在由所述情節(jié)節(jié)點表示的時刻處獲得的抑揚度和所述情節(jié)節(jié)點類型之間的對應(yīng)關(guān)系的信息作為指示所述樂曲構(gòu)成的情節(jié)信息，并且所述視頻生成裝置生成所述視頻使得所述視頻內(nèi)容在由包含在所述情節(jié)信息內(nèi)的情節(jié)節(jié)點所定義時刻處經(jīng)受預(yù)定變化，并且使用所述情節(jié)節(jié)點的類型來確定所述預(yù)定變化的類型。
10.如權(quán)利要求9所述的音樂再現(xiàn)算設(shè)備，其特征在于，所述描繪表存儲裝置存儲含有漸隱處理與表示音樂結(jié)束的情節(jié)節(jié)點之間的對應(yīng)關(guān)系的描繪表，并且所述視頻生成裝置在具有被確定為音樂結(jié)束的情節(jié)節(jié)點類型的情節(jié)節(jié)點結(jié)束點之前一預(yù)定時刻的點上開始使所述視頻經(jīng)受所述漸隱處理。
11.如權(quán)利要求8所述的音樂再現(xiàn)算設(shè)備，其特征在于，所述視頻生成裝置使所述視頻內(nèi)容經(jīng)受變化的處理是從由漸顯處理、漸隱處理、圖像變化處理和圖像旋轉(zhuǎn)處理構(gòu)成的組中選出的一個處理。
12.一種音樂信息計算方法，包括聲信號輸入步驟，用于輸入樂曲的聲信號；聲參數(shù)計算步驟，用于使用所述聲信號來至少計算指示所述樂曲音量的第一聲參數(shù)；抑揚度計算步驟，用于至少使用所述第一音參數(shù)來計算指示所述樂曲抑揚的抑揚度；情節(jié)節(jié)點計算步驟，用于至少使用所述第一聲參數(shù)來計算表示所述樂曲構(gòu)成變化時刻的情節(jié)節(jié)點；以及情節(jié)信息計算步驟，用于計算指示在已算出的情節(jié)節(jié)點與在由所述情節(jié)節(jié)點表示的時刻處獲得的抑揚度之間的至少一對應(yīng)關(guān)系的信息作為指示所述樂曲構(gòu)成的情節(jié)信息。
13.一種音樂信息計算電路，包括聲信號輸入裝置，用于輸入樂曲的聲信號；聲參數(shù)計算裝置，用于使用所述聲信號來至少計算指示所述樂曲音量的第一聲參數(shù)；抑揚度計算裝置，用于至少使用所述第一聲參數(shù)來計算指示所述樂曲抑揚的抑揚度；情節(jié)節(jié)點計算裝置，用于至少使用所述第一聲參數(shù)來計算表示所述樂曲構(gòu)成變化時刻的情節(jié)節(jié)點；以及情節(jié)信息計算裝置，用于計算指示在已算出的情節(jié)節(jié)點與在由所述情節(jié)節(jié)點表示的時刻處獲得的抑揚度之間的至少一對應(yīng)關(guān)系的信息作為指示所述樂曲構(gòu)成的情節(jié)信息。
14.一種程序，所述程序使用于計算指示樂曲構(gòu)成的情節(jié)信息的音樂信息計算設(shè)備的計算機執(zhí)行聲信號輸入步驟，用于輸入所述樂曲的聲信號；聲參數(shù)計算步驟，用于使用所述聲信號來至少計算指示所述樂曲音量的第一聲參數(shù)；抑揚度計算步驟，用于至少使用所述第一聲參數(shù)來計算指示所述樂曲抑揚的抑揚度；情節(jié)節(jié)點計算步驟，用于至少使用所述第一聲參數(shù)來計算表示所述樂曲形態(tài)變化時刻的情節(jié)節(jié)點；以及情節(jié)信息計算步驟，用于計算指示在已算出的情節(jié)節(jié)點與在由所述情節(jié)節(jié)點表示的時刻處獲得的抑揚度之間的至少一對應(yīng)關(guān)系的信息作為指示所述樂曲構(gòu)成的情節(jié)信息。
15.一種其上存儲有如權(quán)利要求14所述的程序的計算機可讀記錄介質(zhì)。
全文摘要
一種用于從音樂作品的聲信號中抓取音樂作品結(jié)構(gòu)的音樂作品信息計算設(shè)備。該音樂作品信息計算設(shè)備包括用于輸入音樂作品的聲信號的聲信號輸入裝置，用于從聲信號中計算指示音樂作品音量的至少第一聲參數(shù)的聲參數(shù)計算裝置；用于在至少該第一聲參數(shù)的基礎(chǔ)上計算指示音樂作品抑揚的抑揚度的抑揚度計算裝置；用于根據(jù)至少該第一聲參數(shù)計算表示音樂作品結(jié)構(gòu)變化時間點的情節(jié)節(jié)點的情節(jié)節(jié)點計算裝置；以及用于計算在已算出的情節(jié)節(jié)點和在該情節(jié)節(jié)點時刻處的抑揚度之間的至少一對應(yīng)關(guān)系的信息作為表示音樂作品結(jié)構(gòu)的情節(jié)信息的情節(jié)信息計算裝置。
文檔編號G10L11/00GK1950879SQ20058001389
公開日2007年4月18日 申請日期2005年6月24日 優(yōu)先權(quán)日2004年6月30日
發(fā)明者田川潤一, 山根裕明 申請人:松下電器產(chǎn)業(yè)株式會社