基于樂(lè)音音色匹配的正弦模型分離方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及音頻信號(hào)處理應(yīng)用領(lǐng)域，具體涉及的是基于樂(lè)音音色匹配的正弦模 型分離方法。
【背景技術(shù)】
[0002] 現(xiàn)實(shí)生活中音頻信號(hào)混合現(xiàn)象隨處可見(jiàn)，混合樂(lè)音信號(hào)分離有益于更加有效的音 頻編碼、更為精確的音頻信息分析，同時(shí)也利于對(duì)信號(hào)進(jìn)行更加復(fù)雜的操作控制?；谡?模型的信號(hào)分離算法是發(fā)展較為成熟的一種算法，正弦模型技術(shù)由于契合了樂(lè)音的諧波特 性且各種樂(lè)音信號(hào)均可借助不同的正弦參數(shù)更為簡(jiǎn)單地實(shí)現(xiàn)重構(gòu)，因此該算法非常有研宄 價(jià)值。但該分離方法仍有待進(jìn)一步完善，諸如對(duì)正弦軌跡重組和音色空間構(gòu)建與音色匹配 等問(wèn)題都未能理想地解決。
[0003] 音色是一個(gè)復(fù)雜的多維感知屬性，受聲音時(shí)域、頻域結(jié)構(gòu)共同影響。隨著研宄的深 入，研宄者發(fā)現(xiàn)，一個(gè)由物理參數(shù)組成的多維尺度空間可以表征音色感知空間。在確保音色 匹配精確度的前提下，如何構(gòu)建由盡量少的特征參數(shù)組成的音色空間，是亟待解決的一個(gè) 難題。
[0004] 為克服現(xiàn)有技術(shù)不足，提供一種能夠提高混合樂(lè)音信號(hào)分離效果的基于樂(lè)音音色 匹配的的正弦模型分離方法。本發(fā)明以RWC(Real World Computing)研宄用音樂(lè)數(shù)據(jù)庫(kù)中 的樂(lè)音信號(hào)為研宄對(duì)象，建立正弦分析模型和音色匹配模型，在設(shè)計(jì)樂(lè)音信號(hào)起始端點(diǎn)檢 測(cè)算法的基礎(chǔ)上，研宄基于樂(lè)音音色匹配的正弦模型分離方法。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是提供一種能提高混合樂(lè)音信號(hào)分離效果的基于樂(lè)音音色匹配的 正弦模型分析方法。
[0006] 本發(fā)明采用的技術(shù)方案是，一種基于樂(lè)音音色匹配的正弦模型分離方法，包括下 列步驟： (1) 提取樂(lè)音數(shù)據(jù)庫(kù)中樂(lè)音樣本的音色特征以構(gòu)建樂(lè)音音色匹配高斯混合模型； (2) 采用正弦分析技術(shù)分析混合樂(lè)音信號(hào)的正弦軌跡曲線(xiàn)； (3) 然后利用起始端點(diǎn)檢測(cè)算法抽取起點(diǎn)同步的正弦軌跡，實(shí)現(xiàn)混合樂(lè)音信號(hào)中同樂(lè) 器正弦軌跡的重組； (4) 經(jīng)平滑處理和正弦綜合重構(gòu)上一步重組的正弦軌跡曲線(xiàn)對(duì)應(yīng)的樂(lè)音信號(hào)； (5) 借助樂(lè)音音色匹配高斯混合模型對(duì)上個(gè)階段重構(gòu)樂(lè)音信號(hào)進(jìn)行樂(lè)器識(shí)別，以實(shí)現(xiàn) 混合樂(lè)音信號(hào)分離。
[0007] 音色特征包括體現(xiàn)人對(duì)聲音高低主觀感受特性的SC (Spectrum Centroid)和體 現(xiàn)樂(lè)器共振體特性的 REMFCC (Resonance Mel Frequency Cepstrum Coefficient)。
[0008] 同樂(lè)器正弦軌跡的重組是采用起始端點(diǎn)檢測(cè)算法。
[0009] 樂(lè)音音色匹配高斯混合模型是采用高斯混合模型聚類(lèi)方法，由音色特征量SC和 REMFCC作為訓(xùn)練數(shù)據(jù)，以構(gòu)建完整的樂(lè)音音色匹配模型。
[0010] 本發(fā)明的有益效果在于：為進(jìn)一步改善正弦分析模型，參數(shù)化樂(lè)音信號(hào)音色特性， 提高在共享空間的頻譜相似模式中樂(lè)器的分類(lèi)鑒別能力和基于正弦模型的混合樂(lè)音信號(hào) 分離方法性能，實(shí)現(xiàn)音樂(lè)轉(zhuǎn)錄、音樂(lè)信息檢索、更加有效的音頻編碼和更為精確的音頻信息 分析等提供技術(shù)支持。
【附圖說(shuō)明】
[0011] 圖1為本發(fā)明的流程圖。
[0012] 圖2為RMFCC特征提取流程圖。
[0013] 圖3為violin/piano混合信號(hào)波形圖。
[0014] 圖4為分離前后violin波形對(duì)比圖。
[0015] 圖5為分離前后piano波形對(duì)比圖。
【具體實(shí)施方式】
[0016] 下面將結(jié)合附圖對(duì)本發(fā)明加以詳細(xì)說(shuō)明： 本發(fā)明在樂(lè)器發(fā)生機(jī)制與MFCC (Mel Frequency Cepstrum Coefficient)音色屬性的 基礎(chǔ)上挖掘新的音色特征量REMFCC，構(gòu)建樂(lè)音音色匹配高斯混合模型并結(jié)合正弦分析技術(shù) 分析樂(lè)音信號(hào)，達(dá)到分離混合樂(lè)音信號(hào)的效果。
[0017] 如圖1所示，對(duì)于被分析混合樂(lè)音信號(hào)分幀且?guī)c幀之間有一半幀長(zhǎng)的重疊，然 后加漢明窗處理以完成信號(hào)數(shù)據(jù)預(yù)處理，這樣便于音色參數(shù)提取。
[0018] 預(yù)處理后在正弦分析基礎(chǔ)上提取混合樂(lè)音信號(hào)代表了正弦軌跡信息的時(shí)變的幅 度、頻率和相位參數(shù)。
[0019] 正弦模型分析方法將信號(hào)近似為一系列具有時(shí)變幅度、頻率和相位信息的正弦軌 跡的疊加，各種樂(lè)音信號(hào)均可借助不同的正弦參數(shù)更為簡(jiǎn)單地實(shí)現(xiàn)分組重構(gòu)。得到正弦軌 跡后，一個(gè)關(guān)鍵的問(wèn)題是如何實(shí)現(xiàn)各幀正弦軌跡的分組，本發(fā)明中稱(chēng)為音頻流分組技術(shù)，采 用的是基于起始端點(diǎn)檢測(cè)的正弦分組方法。
[0020] 考慮到樂(lè)音發(fā)聲機(jī)制，在由多種樂(lè)器演奏的樂(lè)音信號(hào)中，同種樂(lè)器所產(chǎn)生的音符 其起始時(shí)刻(或稱(chēng)為初始相位)是相同的。本發(fā)明中采用基于起始端點(diǎn)檢測(cè)的混合樂(lè)音信號(hào) 正弦軌跡曲線(xiàn)分組方法，將起始端點(diǎn)一致的正弦軌跡重組，以完成音頻流分組。
[0021] 對(duì)上述重組后的正弦軌跡曲線(xiàn)，通過(guò)正弦綜合技術(shù)重構(gòu)樂(lè)音信號(hào)。為平滑合成后 樂(lè)音信號(hào)，本發(fā)明采用疊接相加的正弦綜合技術(shù)重構(gòu)分離后樂(lè)音信號(hào)。
[0022] 重構(gòu)后樂(lè)音信號(hào)還需要進(jìn)行樂(lè)器識(shí)別，以實(shí)現(xiàn)實(shí)質(zhì)意義上的混合樂(lè)音信號(hào)分離。 本發(fā)明采用高斯混合模型聚類(lèi)方法，由SC和REMFCC作為音色特征量，構(gòu)建樂(lè)音音色匹配高 斯混合模型，對(duì)上個(gè)階段重構(gòu)樂(lè)音信號(hào)進(jìn)行音色聚類(lèi)樂(lè)器識(shí)別。樂(lè)音音色匹配高斯混合模 型的構(gòu)建步驟如下： (1) 建立樂(lè)音數(shù)據(jù)庫(kù)； (2) 提取樂(lè)音數(shù)據(jù)庫(kù)中各樂(lè)音片段音色參量，構(gòu)建音色模型庫(kù)作為訓(xùn)練數(shù)據(jù)； (3) 在音色模型庫(kù)基礎(chǔ)上訓(xùn)練高斯混合模型，確定數(shù)據(jù)庫(kù)中所有音樂(lè)片段的高斯混合 模型完成樂(lè)音音色匹配高斯混合模型的構(gòu)建。
[0023] 為構(gòu)建音色模型庫(kù)，首先建立樂(lè)音數(shù)據(jù)庫(kù)。本發(fā)明試驗(yàn)數(shù)據(jù)取自RWC研宄用音樂(lè) 數(shù)據(jù)庫(kù)中11種樂(lè)器演奏的493個(gè)音樂(lè)片段，樂(lè)器包括小提琴、大提琴和吉他、單簧管、雙簧 管、薩克斯、長(zhǎng)笛、小號(hào)、長(zhǎng)號(hào)、大號(hào)和鋼琴，每種樂(lè)器均包括多種演奏風(fēng)格。
[0024] 提取試驗(yàn)數(shù)據(jù)集中各音樂(lè)片段的音色特征SC和REMFCC，完成音色模型庫(kù)，然后用 于樂(lè)音音色匹配高斯混合模型的訓(xùn)練。其中SC為單維參數(shù)，REMFCC選取12維參量，共同 組成13維的特征向量。通過(guò)對(duì)一組數(shù)據(jù)的訓(xùn)練，就可以確定一個(gè)完整的高斯混合模型。樂(lè) 音音色匹配高斯混合模型的訓(xùn)練是在一般意義高斯混合模型基礎(chǔ)上加上音色特征向量選 擇完成的。
[0025] 通過(guò)訓(xùn)練數(shù)據(jù)，確定數(shù)據(jù)庫(kù)中所有音樂(lè)片段的高斯混合模型后對(duì)上個(gè)階段重構(gòu)的 樂(lè)音信號(hào)分別提取音色特征量SC和REMFCC作為待識(shí)別向量，然后選取高斯模型中的概率 最大的值所代表的樂(lè)器作為其類(lèi)別，以完成分離后樂(lè)音信號(hào)樂(lè)器識(shí)別。
[0026] 下面是本發(fā)明采用的音色特征量SC和REMFCC的計(jì)算方法： (1) SC描述了人對(duì)聲音高低的主觀感受，反映聲音基于能量分布的頻率的均值。若信 號(hào)頻率范圍為）； · /:，則連續(xù)和離散頻譜質(zhì)心計(jì)算公式分別如下：
【主權(quán)項(xiàng)】
1. 基于樂(lè)音音色匹配的正弦模型分離方法，其特征在于，包括如下步驟： (1) 提取樂(lè)音數(shù)據(jù)庫(kù)中樂(lè)音樣本的音色特征以構(gòu)建樂(lè)音音色匹配高斯混合模型； (2) 采用正弦分析技術(shù)分析混合樂(lè)音信號(hào)的正弦軌跡曲線(xiàn)； (3) 然后利用起始端點(diǎn)檢測(cè)算法抽取起點(diǎn)同步的正弦軌跡，實(shí)現(xiàn)混合樂(lè)音信號(hào)中同樂(lè) 器正弦軌跡的重組； (4) 經(jīng)平滑處理和正弦綜合重構(gòu)上一步重組的正弦軌跡曲線(xiàn)對(duì)應(yīng)的樂(lè)音信號(hào)； (5) 借助樂(lè)音音色匹配高斯混合模型對(duì)上個(gè)階段重構(gòu)樂(lè)音信號(hào)進(jìn)行樂(lè)器識(shí)別，以實(shí)現(xiàn) 混合樂(lè)音信號(hào)分離。
2. 根據(jù)權(quán)利要求1所述的基于樂(lè)音音色匹配的正弦模型分離方法，其特征在于，所述 音色特征包括體現(xiàn)人對(duì)聲音高低主觀感受特性的SC (spectrum centroid)和體現(xiàn)樂(lè)器共 振體特性的REMFCC (Resonance Mel Frequency Cepstrum Coefficient)。
3. 根據(jù)權(quán)利要求1所述的基于樂(lè)音音色匹配的正弦模型分離方法，其特征在于，所述 同樂(lè)器正弦軌跡的重組是采用起始端點(diǎn)檢測(cè)算法。
4. 根據(jù)權(quán)利要求1所述的基于樂(lè)音音色匹配的正弦模型分離方法，其特征在于，所述 樂(lè)音音色匹配高斯混合模型是采用高斯混合模型聚類(lèi)方法，由音色特征量SC和REMFCC作 為訓(xùn)練數(shù)據(jù)，以構(gòu)建完整的樂(lè)音音色匹配模型。
【專(zhuān)利摘要】基于樂(lè)音音色匹配的正弦模型分離方法。本發(fā)明涉及音頻信號(hào)處理應(yīng)用領(lǐng)域。本發(fā)明的技術(shù)方案如下：首先提取樂(lè)音數(shù)據(jù)庫(kù)中樂(lè)音樣本的音色特征以構(gòu)建樂(lè)音音色匹配高斯混合模型，然后再分析待分離混合樂(lè)音信號(hào)，具體步驟如下：采用正弦分析技術(shù)分析混合樂(lè)音信號(hào)的正弦軌跡曲線(xiàn)；然后利用起始端點(diǎn)檢測(cè)算法抽取起點(diǎn)同步的正弦軌跡，實(shí)現(xiàn)混合樂(lè)音信號(hào)中同樂(lè)器正弦軌跡的重組；經(jīng)平滑處理和正弦綜合重構(gòu)重組后正弦軌跡曲線(xiàn)對(duì)應(yīng)的樂(lè)音信號(hào)；借助樂(lè)音音色匹配高斯混合模型對(duì)上個(gè)階段重構(gòu)樂(lè)音信號(hào)進(jìn)行樂(lè)器識(shí)別，以實(shí)現(xiàn)混合樂(lè)音信號(hào)分離。本發(fā)明能夠提高混合樂(lè)音信號(hào)分離效果，有益于更加有效的音頻編碼、更為精確的音頻信息分析，同時(shí)也利于對(duì)信號(hào)進(jìn)行更加復(fù)雜的操作控制。
【IPC分類(lèi)】G10L21-00
【公開(kāi)號(hào)】CN104766612
【申請(qǐng)?zhí)枴緾N201510169945
【發(fā)明人】李素平, 許雪艷
【申請(qǐng)人】李素平, 許雪艷
【公開(kāi)日】2015年7月8日
【申請(qǐng)日】2015年4月13日