用圖像表達(dá)音樂的軟件的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明用圖像表達(dá)音樂的軟件屬于信息技術(shù)處理領(lǐng)域，可用于計(jì)算機(jī)系統(tǒng)、手持 智能終端、互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)的音樂播放功能，為聽音樂的人特別是耳聾人提供音樂的圖 像享受。
【背景技術(shù)】
[0002] 國家統(tǒng)計(jì)部門的調(diào)查，全國有上千萬的聾啞人，每年有新生聾啞兒也近20萬，是 殘疾類型中比例最高的，聽力損失作為名列第十五位的世界性疾病，對這些人造成一生的 遺憾。世界上人們創(chuàng)造了豐富多彩的歌曲和樂曲，使人得到了精神的喜悅和享受，而耳聾人 終身無法感受音樂為人生帶來的快樂。學(xué)者研究發(fā)現(xiàn)，一些聾啞人的視覺鑒別能力和對色 彩刺激的視覺記憶力較強(qiáng)，由于生理的補(bǔ)償，他們的視覺記憶和想象力有可能高于正常人。
[0003] 當(dāng)前，音樂播放器中已有伴隨音樂帶有圖像顯示的軟件，如微軟的media player 是一款音樂播放器，其中一項(xiàng)功能是配合音樂的播放同時(shí)顯示圖像，但顯示的圖像不規(guī)則， 是按軟件自身設(shè)定好的方式進(jìn)行顯示，圖像變化的節(jié)奏同播放的音樂內(nèi)容關(guān)系不大，其目 的是為正常人在欣賞音樂的同時(shí)伴以圖像的烘托，并不是要傳達(dá)音樂的內(nèi)涵和情感。另外 一種《音樂圖片播放器》是在欣賞MP3音樂時(shí)，可以顯示用戶喜歡的圖片來配合，一邊欣賞 音樂，一邊觀看圖片了。用戶可以將喜歡的圖片添加到圖片清單，在欣賞音樂的同時(shí)觀看圖 片。
[0004] 在專利文獻(xiàn)（專利【申請?zhí)枴?00680010119. 0)中所揭示的音樂圖像播放裝置中，旨 在實(shí)現(xiàn)的是人物臉部各部位的表情變化，試圖采用動畫的形式來體現(xiàn)音樂，該裝置選取人 物的部位特征（眉毛、眼睛等）的不同形態(tài)，與從傅里葉變換單元得到的多個(gè)頻率成分的各 成分相對應(yīng)，并根據(jù)各頻率成分的振幅等級相應(yīng)決定所取人物的部位，盡而完成人物繪畫 并進(jìn)行顯示。根據(jù)得到的多個(gè)頻率成分的各時(shí)間變化的大小來設(shè)定控制監(jiān)視器上顯示的人 物數(shù)，根據(jù)音樂的演奏過程，逐一地顯示對應(yīng)的圖案。專利文獻(xiàn)中所述雖然是根據(jù)特性來對 應(yīng)相應(yīng)的圖案，問題是音樂的頻率和振幅是兩個(gè)特征，不能將頻率的特征和振幅的特征綜 合起來對應(yīng)一個(gè)圖像，而且專利文獻(xiàn)中給出的頻率、振幅與圖形的對應(yīng)關(guān)系，相近頻率和振 幅的對應(yīng)圖像之間沒有任何關(guān)聯(lián)，隨音樂變化所顯示的圖像前后并沒有連續(xù)性，因而不能 表現(xiàn)出音樂的內(nèi)容。
[0005] 本軟件發(fā)明是為了解決上述的問題而提出的，其目的在于提供一種能夠根據(jù)音樂 的節(jié)拍、音色、音量等特性，選取相對應(yīng)的圖像，用圖像的色彩、大小、變化節(jié)奏來表達(dá)音樂 的主題、內(nèi)涵、情感，來感染耳聾人，使耳聾人能夠感受人類所創(chuàng)造的豐富的音樂成果。

【發(fā)明內(nèi)容】

[0006] 當(dāng)前，為使信息系統(tǒng)能夠處理音樂，首先對音樂的聲音采用PCM方式進(jìn)行數(shù)字化 處理，采樣頻率有11. 〇25kHz、22. 05kHz、44. 1kHz。音樂數(shù)字化后的信息存儲格式有WAV(波 形文件）、MIDI (電子音樂文件）、CDA (CD唱片文件）、MP3 (高壓縮格式）、RA、RM (用于網(wǎng)絡(luò) 的流式傳播格式）等，不管音樂文件采用那種格式存放，在播放音樂時(shí)，首先將數(shù)字信息進(jìn) 行波形數(shù)據(jù)的還原，該解壓的解壓，該轉(zhuǎn)換的轉(zhuǎn)換，將還原的波形數(shù)據(jù)送給播放電路進(jìn)行播 放。
[0007] 本軟件從音樂的波形數(shù)據(jù)信息中按時(shí)間段獲取頻率、振幅等多個(gè)特征的代表值； 按照用戶默認(rèn)或自定義的時(shí)間段、圖像庫、顏色參數(shù)、頻率點(diǎn)和顯示比例參數(shù)，根據(jù)提取的 特征值從圖像庫中提取圖像、顏色參數(shù)、顯示比例和時(shí)間段值而生成相應(yīng)的圖像進(jìn)行顯示。 通過相應(yīng)圖像的形狀變化、顏色變化、大小變化、顯示速度變化來表達(dá)音樂的主題、節(jié)奏、音 色、聲量等，進(jìn)而傳達(dá)音樂要表現(xiàn)得意境、內(nèi)涵和情感，使人（特別是耳聾的人）通過觀看圖 像的變化來體會該樂曲的魅力。該軟件可應(yīng)用于各種帶有顯示功能的音樂播放系統(tǒng)中，如： 電腦、智能手機(jī)、IPAD、MP4等。本軟件可以單獨(dú)構(gòu)成一個(gè)音樂播放器，也可以嵌入其它音樂 播放軟件中使用。
[0008] 本發(fā)明的時(shí)間段管理模塊可由用戶默認(rèn)或自行定義特征提取的時(shí)間段的長短。音 樂是有拍節(jié)的，有4分、8分、16分、32分節(jié)拍。這里的4分拍對應(yīng)的一拍就是1秒鐘，而32 分拍對應(yīng)的一拍就是1/8秒鐘。這里的時(shí)間段就是一個(gè)音符延續(xù)的時(shí)間。本軟件的特征 提取模塊利用音樂的這一特點(diǎn)，對波形數(shù)據(jù)按時(shí)間分段進(jìn)行提取，例如按1 / 8秒進(jìn)行分段 提取特征。也可以按1/4秒、1/2秒、1秒來分段進(jìn)行提取?？捎捎脩糇孕羞x擇時(shí)間段 長短，時(shí)間段在1 / 8秒到1秒之間選擇。
[0009] 本發(fā)明的頻率點(diǎn)管理模塊可由用戶默認(rèn)或自行定義采集的頻率點(diǎn)。人耳可聽到的 聲音為20HZ?20KHZ，男聲的頻率約為150?600HZ，女聲的頻率約為1. 6KHZ?3. 6KHZ， 樂器的聲音頻率大約在27HZ?5KHZ，根據(jù)上述情況，對100HZ到5KHZ頻率之間的頻率給 予重點(diǎn)采集。對頻率點(diǎn)的選取不一定采用均勻分布的方式，可以對重點(diǎn)頻率范圍多選一些 選取點(diǎn)。例如可以選取如下的9個(gè)頻率點(diǎn)：100HZ、400HZ、700HZ、1000HZ、1500HZ、2000HZ、 3000HZ、4000HZ、5000HZ?？梢钥吹?，前4點(diǎn)的間隔是300HZ，后面3點(diǎn)的間隔是500HZ，而最 后4點(diǎn)的間隔是1000HZ。本模塊支持用戶自行選擇頻率點(diǎn)。
[0010] 本發(fā)明的圖像庫管理模塊中圖像庫存有圓形、正多邊形、三角形、五角星等規(guī)則圖 形，也存有圖案（花朵圖案、向日葵圖案等）、各種圖像，所存的圖像可以是平面圖像，也可 以是立體圖形，也可以是動畫。一首音樂可以對應(yīng)于一個(gè)圖像或幾個(gè)圖像。在音樂的演奏 過程中，用圖像來表達(dá)音樂的主題、內(nèi)涵、情感。所對應(yīng)的圖像可由用戶選擇或系統(tǒng)默認(rèn)圖 像；也可以是用戶按照軟件給出的限制條件選取其它的圖像。系統(tǒng)將提供對圖像庫里圖像 的瀏覽，使用戶方便地進(jìn)行選取確定。
[0011] 本發(fā)明的顏色參數(shù)管理模塊可由用戶默認(rèn)或自行定義頻率與顏色的對應(yīng)關(guān)系，并 將顏色參數(shù)并保存于存儲單元。圖像的顏色將隨著聲波的代表頻率變化而變化，頻率較高 時(shí)，對應(yīng)較為鮮艷的顏色，頻率較低時(shí)對應(yīng)較為暗淡的顏色。頻率和顏色的對應(yīng)關(guān)系及變化 范圍，可由系統(tǒng)提出參考顏色由用戶自行選擇確定或由系統(tǒng)默認(rèn)?，F(xiàn)在大部分電腦和手機(jī) 可顯示的顏色顯示的顏色為65536種顏色以上，與人可聽到的頻率有足夠的顏色對應(yīng)，當(dāng) 然這種簡單的對應(yīng)選擇可能產(chǎn)生不了好的效果?？筛鶕?jù)能得到的頻率點(diǎn)的情況建立對應(yīng)的 關(guān)系。模塊包括顏色參數(shù)的自定義功能，圖像參數(shù)選取時(shí)，首先列出已確定的各個(gè)頻率點(diǎn)， 另外給出各種色彩（例如16種、32種、64種、128種等顏色），使用戶可以直觀地為每一頻 率點(diǎn)選定顏色。也可以選定一組頻率點(diǎn)，再選定一組相同數(shù)目的顏色與之對應(yīng)。將用戶選 定的顏色參數(shù)存入顏色參數(shù)庫。作為實(shí)施例，在選擇上述的9個(gè)頻率點(diǎn)，可選取以藍(lán)色調(diào)為 主的9種顏色，這樣可使每個(gè)頻點(diǎn)對應(yīng)一種顏色。
[0012]
【主權(quán)項(xiàng)】
1. 一種用圖像表達(dá)音樂的軟件，其特征有： 從播放的音樂的波形數(shù)據(jù)信息中按時(shí)間段獲取頻率、振幅等多個(gè)特征的代表值的提取 模塊；設(shè)有用戶默認(rèn)或自定義的時(shí)間段、圖像庫、顏色參數(shù)、頻率點(diǎn)和顯示比例參數(shù)的管理 模塊；根據(jù)提取的音樂的特征值從圖像庫中提取圖像、顏色參數(shù)、顯示比例和時(shí)間段值而生 成相應(yīng)的圖像進(jìn)行顯示的模塊。
2. 如權(quán)利要求1所述的用圖像表達(dá)音樂的軟件，其特征在于， 時(shí)間段管理模塊可由用戶自行選擇特征提取的時(shí)間段長短，在1 / 8砂到1砂之間選 擇。
3. 如權(quán)利要求1所述的用圖像表達(dá)音樂的軟件，其特征在于， 頻率點(diǎn)管理模塊可由用戶自行選擇頻率點(diǎn)。
4. 如權(quán)利要求1所述的用圖像表達(dá)音樂的軟件，其特征在于， 圖像庫管理模塊的圖像庫中存有若干規(guī)則的圖形和圖像（包括可變化得圖形和圖 像），供用戶指定，并具有用戶自行加入圖像的功能。
5. 如權(quán)利要求1所述的用圖像表達(dá)音樂的軟件，其特征在于， 顏色管理模塊可由用戶默認(rèn)或自行定義頻率與顏色的對應(yīng)關(guān)系，獲得顏色參數(shù)并保存 于存儲單元。
6. 如權(quán)利要求1所述的用圖像表達(dá)音樂的軟件，其特征在于， 顯示比例管理模塊可由用戶自行定義顯示圖像占可顯示區(qū)域的比例大??；軟件允許顯 示比例參數(shù)在顯示的過程中可進(jìn)行實(shí)時(shí)調(diào)整。
7. 如權(quán)利要求1所述的用圖像表達(dá)音樂的軟件，其特征在于， 特征提取模塊由通過將音樂的聲波數(shù)字信息分成小的時(shí)間段（如1 / 8砂），對每一段 數(shù)字信息選用現(xiàn)有傅里葉變換、小波包變換等類似的變換，求得該時(shí)間段中的代表振幅和 代表頻率，并存于存儲單元。
8. 如權(quán)利要求1所述的用圖像表達(dá)音樂的軟件，其特征在于， 圖像顯示模塊提取用戶選定的圖像，再根據(jù)時(shí)間段中的代表頻率值及頻率對應(yīng)的顏色 參數(shù)進(jìn)行圖像顏色的生成；再根據(jù)時(shí)間段中的代表振幅值及振幅與顯示比例的對應(yīng)關(guān)系確 定顯示圖像的大小，完成顯示圖像的生成。根據(jù)系統(tǒng)指定的顯示區(qū)域、按照用戶確定的時(shí)間 段將生成的圖像進(jìn)行顯示。
【專利摘要】本發(fā)明涉及用圖像表達(dá)音樂的軟件。本軟件的功能是通過音樂波形數(shù)據(jù)信息獲得樂曲的頻率和振幅，得到小時(shí)間段的代表頻率和振幅，并據(jù)此提取圖像、顏色參數(shù)、顯示比例和時(shí)間段值，生成相應(yīng)的圖像進(jìn)行實(shí)時(shí)顯示。通過相應(yīng)圖像的形狀變化、顏色變化、大小變化、顯示速度變化來表達(dá)音樂的主題、節(jié)奏、音色、聲量等，進(jìn)而傳達(dá)音樂要表現(xiàn)得意境、內(nèi)涵和情感，使人(特別是耳聾的人)通過觀看圖像的變化來體會該樂曲的魅力。本軟件可應(yīng)用于各種帶有顯示功能的音樂播放系統(tǒng)中，如：電腦、智能手機(jī)、IPAD、MP4等。本軟件可以單獨(dú)構(gòu)成一個(gè)音樂播放器，也可以嵌入其它音樂播放軟件中使用。
【IPC分類】G06T11-00, G10H1-00
【公開號】CN104574453
【申請?zhí)枴緾N201310484968
【發(fā)明人】付曉宇
【申請人】付曉宇
【公開日】2015年4月29日
【申請日】2013年10月17日