本發(fā)明涉及系統(tǒng)、方法和技術(shù)，其用于對音頻信號進行處理以為收聽者提供更強的低音印象，或者換言之，以便將“虛擬低音”與音頻信號相加，例如以使得可以通過沒有良好低音產(chǎn)生特性的揚聲器或其它音頻輸出裝置進行播放。

背景技術(shù)：

平板電視機和移動裝置的出現(xiàn)加速了小型揚聲器的廣泛使用，公知小型揚聲器具有差的低音(即，低頻)性能。由于收聽者對聲音質(zhì)量的總體印象較強地受到低音性能的影響，因此該特性通常使得小型揚聲器處于不利位置。因此，非常期望改進所感知的低音性能，尤其是對于包括小型揚聲器的裝置。

提升低音性能的傳統(tǒng)方法是簡單地放大音頻譜的低頻部分，從而使得低音聽起來更大聲。然而，由于當在低頻將電能轉(zhuǎn)換為聲能時小型揚聲器通常具有差的效率，從而引起諸如電池消耗和過熱的問題，因此這樣的方法的有效性大大受到限制。潛在的更嚴重的問題在于，低頻的放大可以引起揚聲器線圈的過度偏移，從而導(dǎo)致失真，并且在一些情況下，導(dǎo)致對揚聲器的損壞。

替選方法是利用“虛擬音調(diào)(virtual pitch)”的音質(zhì)效果。對于用于示出該效果的簡單示例，考慮基頻F0為100赫茲(Hz)的音調(diào)。盡管可以通過播放100Hz的純音在人耳中產(chǎn)生100Hz音調(diào)的感覺，但是樂器和人類聲帶通常使用具有合成諧波結(jié)構(gòu)(諸如100Hz、200Hz、300Hz等)的聲調(diào)集合產(chǎn)生該感覺，這也可以提供更完整的(和區(qū)分的)聲音質(zhì)量。更有意思的在于，100Hz的基頻處的聲調(diào)對于人類具有聽到100Hz音調(diào)的感覺是不必要的。即使100Hz的聲調(diào)丟失，200Hz、300Hz、400Hz等的諧音的集合也可以產(chǎn)生100Hz音調(diào)的感覺。人耳顯然可以僅根據(jù)諧音而推出音調(diào)。該現(xiàn)象稱為虛擬音調(diào)。

虛擬音調(diào)的概念的一個分支在于，不需要物理地產(chǎn)生基頻F0處的聲調(diào)以便產(chǎn)生F0處的音調(diào)的感覺。當應(yīng)用于小型揚聲器的低音增強時，這意味著不需要在小型揚聲器低效的低頻浪費能量。替代地，可以通過使用揚聲器在產(chǎn)生方面更高效的較高頻率聲調(diào)而產(chǎn)生類似的低音印象。只要提供了適當?shù)闹C波結(jié)構(gòu)，虛擬音調(diào)效果就可以足夠強以產(chǎn)生強的低音感覺。該一般方法在這里稱為虛擬低音(virtual bass)。

早期的虛擬低音技術(shù)在時域中工作并且一般包括以下步驟：

1.使用帶通濾波器從輸入音頻信號提取低頻分量以形成低音信號；

2.通過經(jīng)由非線性裝置饋送低音信號而生成較高階的諧波；

3.使用帶通濾波器選擇高階諧波的一部分(虛擬音調(diào))；以及

4.將所選擇的高階諧波與原始信號相加。

然而，本發(fā)明人意識到對于該方法存在問題，包括非線性裝置引入了互調(diào)失真，這會顯著降低音頻質(zhì)量。

更近期的技術(shù)使用相位聲碼器(phase vocoder)而在頻域中工作，例如，如下：

1.使用短時傅立葉變換(STFT)將輸入音頻信號變換到離散傅立葉變換(DFT)域；

2.將低頻諧音的頻率線性地按比例提高至揚聲器可以有效地產(chǎn)生聲音的頻率；

3.使用按比例提高后的諧波頻率來驅(qū)動正弦波疊加合成器(sum-of-sinusoids synthesizer)對時域虛擬低音信號進行合成；以及

4.將虛擬低音信號與原始信號相加。

然而，本發(fā)明人意識到該方法的至少一個問題在于，其使得諧音之間的頻率差也按比例被提高，因此所得到的虛擬音調(diào)頻率高于其應(yīng)該為的頻率。換言之，所得到的虛擬低音通常將被感知為具有比原始信號的低音部分高的音調(diào)。甚至更壞的是，在許多情況下，特別是涉及音樂的情況下，所感知的音調(diào)中的上述偏移然后將使得所感知的低音與音頻信號的其它部分沖突，從而導(dǎo)致聲音質(zhì)量的更嚴重下降。

技術(shù)實現(xiàn)要素：

本發(fā)明通過使用被發(fā)現(xiàn)產(chǎn)生更好結(jié)果(即，音頻信號的原始低音部分的更真實印象)的某些方法來解決上述問題。

本發(fā)明的一個具體實施例涉及一種用于對音頻信號進行處理的設(shè)備，其包括：(a)輸入線，輸入原始音頻信號；(b)變換模塊，將原始音頻信號變換成頻率分量的集合；(c)濾波器，提取這樣的頻率分量的低音部分；(d)估計器，估計這樣的低音部分內(nèi)的低音聲音的基頻；(e)頻移器，將低音部分偏移作為估計器估計的基頻的整數(shù)倍的頻率，從而提供虛擬低音信號；(f)加法器，具有(i)耦合到原始音頻信號和虛擬低音信號的輸入以及(ii)輸出；以及(g)音頻輸出裝置，耦合到加法器的輸出。

另一實施例涉及一種用于對音頻信號進行處理的設(shè)備，其包括：(a)輸入線，輸入時域中的原始音頻信號；(b)低音提取濾波器，提取原始音頻信號的低音部分，該低音部分也在時域中；(c)估計器，估計低音部分內(nèi)的低音聲音的基頻；(d)頻移器，將低音部分偏移作為估計器估計的基頻的整數(shù)倍的正頻率增量，從而提供虛擬低音信號；(e)加法器，具有(i)耦合到原始音頻信號和虛擬低音信號的輸入和(ii)輸出；以及(f)音頻輸出裝置，耦合到加法器的輸出。

根據(jù)每個上述布置，通?？梢垣@得更好的音頻輸出，特別是當通過不能提供良好的低音產(chǎn)生的揚聲器或其它音頻輸出裝置播放音頻信號時。

以上概述僅旨在提供本發(fā)明的某些方面的簡要描述。本發(fā)明的更完整理解可以通過參考權(quán)利要求和結(jié)合附圖的優(yōu)選實施例的以下詳細描述來獲得。

附圖說明

在以下公開內(nèi)容中，參照附圖來描述本發(fā)明。然而，應(yīng)理解，附圖僅描繪了本發(fā)明的某些代表性和/或示例性實施例和特征，并且不旨在以任何方式限制本發(fā)明的范圍。以下是每幅附圖的簡要描述。

圖1是用于在頻域中將虛擬低音與音頻信號相加的系統(tǒng)的框圖。

圖2是用于在時域中將虛擬低音與音頻信號相加的系統(tǒng)的框圖。

圖3是用于執(zhí)行單邊帶(SSB)調(diào)制的系統(tǒng)的框圖。

具體實施方式

本申請涉及同一發(fā)明人在同一日期提交的題為“Addition of Virtual Bass in the Frequency Domain”的共同轉(zhuǎn)讓美國專利申請。

為了便于引用，本公開被劃分為章節(jié)。每個章節(jié)的總體主題由該章節(jié)的標題來指示。然而，這樣的標題僅被包括用于有利于可讀性，并且不旨在以任何方式限制本發(fā)明的范圍。

頻域中的虛擬低音的相加

現(xiàn)在參照圖1討論主要在頻域中工作的本實施例的第一實施例。如在以下更詳細地討論的，圖1示出了系統(tǒng)5，系統(tǒng)5用于對原始輸入音頻信號10(通常為數(shù)字形式，即，在時間上離散或被采樣以及在值方面離散或被量化)進行處理，以便產(chǎn)生與原始信號10相比可以具有較少實際低音內(nèi)容但是添加了“虛擬低音”的輸出音頻信號40，例如，從而使得輸出音頻信號40更適合于不是非常擅長產(chǎn)生低音的揚聲器或其它輸出裝置。

參照圖1，初始，正向變換模塊12將輸入音頻信號10從時域變換為頻域(例如，DFT)表示。可以在模塊12內(nèi)使用傳統(tǒng)STFT或者其它傳統(tǒng)頻率變換技術(shù)。在以下討論中，一般假設(shè)使用STFT，從而產(chǎn)生DFT表示，但是期望不失一般性，并且這里的每個具體引用可以例如利用上述更一般的語言來替換。

所得到的變換后的信號然后被提供(即，耦合)到低音提取器14，并且可選地被提供到高通濾波器15。低音提取器14例如使用具有如下通帶(例如，頻譜的受到不超過3dB衰減的部分)的帶通濾波器而從DFT(或其它頻率)系數(shù)提取輸入信號10的低頻部分16：

其中，是低端截止(-3dB)頻率，是高端截止頻率，并且上述范圍優(yōu)選地以預(yù)期低音強但是期望的揚聲器或其它最終輸出裝置42無法有效地產(chǎn)生聲音的頻率為中心。另外，低音提取器14的帶寬優(yōu)選地跨越足夠的倍頻程(octave)(例如，至少一個1個、2個或更多個)以便從源音頻信號10提取適當?shù)闹C波結(jié)構(gòu)以用于以下所指示的目的。這樣的通帶的一個代表性示例是[40,160]Hz。更一般地，優(yōu)選地是至少10Hz、15Hz、20Hz或30Hz，并且優(yōu)選地是100Hz至200Hz。

通常，低音提取器14例如通過將具有期望濾波器特性的窗函數(shù)直接應(yīng)用于正向STFT模塊12提供的頻率系數(shù)而抑制輸入信號10的較高頻分量(以及優(yōu)選地還抑制非常低頻分量，例如，低于人類聽力范圍的分量)。在優(yōu)選實施例中，低音提取器14的目的是輸出期望被復(fù)制為虛擬低音(例如，不包括低于人類聽力范圍的任何非常低頻能量)的低音信號(包括低音信號的基頻和低音信號的諧波結(jié)構(gòu)的至少一部分)。

如圖1所示，所提取的低音信號16被提供到F0估計器24，F(xiàn)0估計器24用于估計低音信號16內(nèi)的正生成的虛擬低音信號25期望對應(yīng)的低音聲音(或音調(diào))(即，虛擬低音信號25期望替換的低音聲音)的基頻F0。注意，在這里的討論中，基頻可互換地稱為F0或F₀。盡管可使用任何F0檢測算法來提供基頻F0的估計，但是由于DFT(或其它頻率)頻譜的可用性，在當前實施例中，頻域中的方法是優(yōu)選的。通常，這樣的技術(shù)中的隱含是正處理的音頻信號內(nèi)的確定其基頻的主音或音調(diào)(在該情況下，主低音聲音或音調(diào))的識別。在這點上，本發(fā)明人已發(fā)現(xiàn)任何給定時刻的單個低音聲音或音調(diào)的感覺的產(chǎn)生可以提供良好的聲音質(zhì)量。當前，優(yōu)選的方法如在Xuejing Sun,“A Pitch Determination Algorithm Based on Subharmonic-to-Harmonic Ratio”,The 6^th International Conference of Spoken Language Processing,2000,pp.676-679和/或Xuejing Sun,“Pitch Determination and Voice Quality Analysis Using Subharmonic-to-Harmonic Ratio”,2002IEEE International Conference on Acoustics,Speech,and Signal Processing(ICASSP),vol.1,pp.I-333-I-336,13-17May 2002中所述。

可以可選地采用平滑機制來保證音頻幀之間的平滑轉(zhuǎn)變(即，幀之間的F0的平滑變化)。一個這樣的實施例使用以下一階無限脈沖響應(yīng)(IIR)濾波器：

其中，n是幀編號，是平滑后的F0，并且α是濾波器系數(shù)并且與采樣頻率f_s和時間常數(shù)τ有關(guān)，如：

低音不是始終存在于音頻信號中。當對于音頻幀不存在低音時，可以可選地禁止虛擬低音增強機制。以此方式開啟和關(guān)閉虛擬低音機制通常將產(chǎn)生更強以及更加期望的低音對比。為此目的，大部分F0檢測算法產(chǎn)生每個音頻幀的F0顯著性值(salience value)，該F0顯著性值通常指示幀中的音調(diào)諧波結(jié)構(gòu)的強度。例如，當使用這些F0檢測算法時，諧波幅度的和(SH)以及以上引用的Sun的文章中提及的次諧波與諧波的比率(SHR)可以用作顯著性函數(shù)。在SH的情況下，諧波結(jié)構(gòu)越強，顯著性值越高。另一方面，SHR提供相反關(guān)系：SHR越高，諧波結(jié)構(gòu)越弱。

在任意情況下，可以容易地采用所選擇的F0顯著性值來實現(xiàn)該開/關(guān)機制。例如，在某些實施例中，如果給定幀中的F0顯著性值低于(或者高于，根據(jù)顯著性值的特性，如先前段落所指出的)指定(例如，固定或動態(tài)設(shè)置的)閾值(或者不滿足例如與指定閾值有關(guān)的指定標準)，則關(guān)閉虛擬低音機制(例如，對于該幀，虛擬低音信號25被設(shè)置或強制為0)。如上所述，存在產(chǎn)生不同顯著性值的多個潛在顯著性函數(shù)。每個這樣的顯著性函數(shù)通常具有可以調(diào)諧的多個參數(shù)，因此以實驗方式確定對于優(yōu)選地要使用的給定顯著性值的適當閾值(用于開啟和關(guān)閉虛擬低音功能)。例如，閾值可基于來自各個評估器的測試組的主觀質(zhì)量評估。替選地，并非使用在一定意義上確定為“最優(yōu)”的固定閾值，用戶30可設(shè)置有允許用戶30例如根據(jù)他的或她的單獨偏好和/或基于當前正產(chǎn)生的特定聲音的性質(zhì)(或聲音的類型)而調(diào)整值的用戶接口元件。在此外的實施例中，使用這些方法的組合(例如，在用戶30沒有指定設(shè)置的這些實例中，基于先前用戶設(shè)置，允許用戶30在期望時調(diào)整值以及采用機器學習算法來設(shè)置值)。

F0估計從估計器24被提供到轉(zhuǎn)換計算器26，轉(zhuǎn)換計算器26計算頻移器28隨后將用于轉(zhuǎn)換低音信號16的頻移(例如，轉(zhuǎn)換為輸出裝置42可以有效地產(chǎn)生聲音的頻率)。為了適當?shù)鼐S持低音信號的諧波結(jié)構(gòu)，轉(zhuǎn)換后的諧音的頻率優(yōu)選地是基頻F0的整數(shù)倍，因此頻移的值優(yōu)選地是：

Δ＝kF₀

其中，k是正整數(shù)，這里稱為頻移乘數(shù)。使用這樣的頻移乘數(shù)，F(xiàn)₀,2F₀，3F₀，...處的低音諧波頻率集合將被轉(zhuǎn)換(在頻移器28中)為F₀+kF₀,2F₀+kF₀，3F₀+kF₀，..處的目標諧波頻率集合。

以此方式，目標諧波頻率之間的差仍是F0，并且每個諧波頻率仍是F0的整數(shù)倍。因此，該諧波頻率集合將產(chǎn)生缺失的虛擬音調(diào)的感覺。另外，F(xiàn)₀周圍的頻率的相同量(Δ)的轉(zhuǎn)換通?？梢詮母兄嵌缺Ａ粼嫉鸵糍|(zhì)量。

頻移乘數(shù)優(yōu)選地保證低音信號被偏移為揚聲器可以有效地產(chǎn)生聲音的頻率。在這點上，如果表示揚聲器可以有效地產(chǎn)生聲音的最低頻率，則對于具有公式1給出的通帶的低音信號的一個這樣的頻移乘數(shù)可被確定為：

其中，是返回大于或等于x的最小整數(shù)的向上取整函數(shù)(ceiling function)。對于在公式1中給出的所提取低音信號16(假定包括F0)的范圍，轉(zhuǎn)換后(頻率偏移后)的F0的相應(yīng)范圍于是將是：

當所估計的F0在公式1給出的范圍的右端時，以上指定的乘數(shù)k可使得低音信號被轉(zhuǎn)換為非常高的頻率范圍，從而導(dǎo)致不期望的低音感知。該問題可通過替代地使用以下乘數(shù)來緩解：

該乘數(shù)是所估計的F0的函數(shù)，因此，隨著所估計的F0改變而在幀之間變化。為了限制當所估計的F0在得到作為整數(shù)的f_l^t/F₀的值附近改變時的不連續(xù)性影響，優(yōu)選地，在公式1中給出的范圍的頂部的一倍頻程F0范圍被設(shè)置為用于所允許的F0估計的范圍，即，使得F0估計被限制在以下范圍內(nèi)：

并且，任何初始的F0估計通過提高其倍頻程而被偏移到該范圍中。然后，轉(zhuǎn)換乘數(shù)可獲得為：

其是固定值。由于該修改后的F0估計被限制為公式5中指定的范圍，因此轉(zhuǎn)換后(偏移后)的F0的相應(yīng)范圍是：

其顯著小于公式3指定的范圍。

如公式6所闡述的定義乘數(shù)k的另一優(yōu)點在于，其使得與作為對于大部分F0檢測算法的共同問題的倍頻程誤差的問題無關(guān)。在這點上，注意，F(xiàn)0檢測算法易于產(chǎn)生比真實F0高或低一個或多個倍頻程的估計。如果使用公式2或公式4，則這樣的誤差將使得低音信號被轉(zhuǎn)換為顯著不同的頻率。由于所估計的F0被轉(zhuǎn)換為公式5的范圍，因此當使用公式6時，該問題變得無關(guān)。

轉(zhuǎn)換計算器26將轉(zhuǎn)換信息(例如，僅Δ或者k與F₀一起)提供到頻移器28，該頻移器28優(yōu)選地將整個提取的低音信號16轉(zhuǎn)換(或偏移)固定頻率增加Δ(例如，轉(zhuǎn)換為揚聲器或其它輸出裝置42可以有效地產(chǎn)生聲音的頻率)，同時保證低音信號16的諧波結(jié)構(gòu)保持不變。第n個STFT幀的虛擬低音信號V(f,n)的頻率表示可以從低音信號16的頻率表示B(f,n)獲得，例如，如：

V(f，n)＝B(f-Δ，n)e^j2πΔnM，

其中，M是STFT的塊大小。期望以上指出的相位調(diào)整保證連續(xù)STFT幀之間的平滑相位轉(zhuǎn)變。參見例如J.Laroche和M.Dolson,“New phase-vocoder techniques for real-time pitch shifting,chorusing,harmonizing,and other exotic audio modifications,”Journal of the Audio Engineering Society,47.11(1999):pp.928-936。

注意，在當前優(yōu)選實施例中，F(xiàn)0被限制為與變換頻率(例如，DFT)頻點(bin)對應(yīng)的頻率，因此，Δ是頻點寬度的整數(shù)倍。為此目的，發(fā)現(xiàn)采用這樣的限制顯著地簡化了所需的處理，而不會引起質(zhì)量的任何顯著下降。然而，可以適應(yīng)部分情況，并且這樣做的系統(tǒng)和處理旨在包括在本發(fā)明的范圍內(nèi)。在先前段落引用的Laroche和Dolson的文章討論了根據(jù)這些路線的方法。

由于人類響度感知在低頻較不敏感，因此在缺少調(diào)整的情況下，與存在于原始信號10中的實際低音相比，要在系統(tǒng)5中添加的虛擬低音信號25(其包括較高頻率的集合)通常將聽起來(即，被感知為)更大聲。然而，優(yōu)選地，使得所添加的虛擬低音聲音與原始低音一樣響，以維持所感知的響度平衡。為此目的，響度控制模塊29的主要目的是估計與輸入信號10中的原始低音相比虛擬低音信號25的所感知的響度水平的改變，然后使用該信息生成期望使兩者均衡的比例因子，即，估計對于虛擬低音信號25的最優(yōu)音量調(diào)整以使得虛擬低音與原始音頻信號10良好地混合。另外，在某些實施例中，系統(tǒng)5呈現(xiàn)使得用戶30調(diào)整導(dǎo)致該比例因子的修改以便適合用戶30的偏好(例如，增加或減小的低音感覺)的設(shè)置的用戶接口。

優(yōu)選地，響度控制模塊29首先估計所提取的低音信號16的聲音壓力水平(SPL)或功率。這樣做的一種方法是計算通帶內(nèi)的功率的以下平均值，例如：

其中，X_n是第n個DFT系數(shù)，L和H分別是低音信號16內(nèi)的最低和最高DFT頻點編號。另外，響度控制模塊29優(yōu)選地標識所提取的低音信號16內(nèi)的代表性或額定頻率。幾何平均值可用于計算原始低音信號16的該代表性或額定頻率，例如，如：

其中，f_n是第n個DFT頻點的頻率。該代表性或額定頻率和功率然后可以被插入到ISO 226:2003的公式(2)中以獲得原始低音信號16的響度水平L_N。

類似地，對于相應(yīng)虛擬低音信號25的代表性或額定頻率可被計算為如下：

該代表性或額定頻率f_V和響度水平L_N然后可以被插入到ISO 226:2003的公式(1)中以獲得目標SPL，其然后可以被轉(zhuǎn)換為目標比例因子s，如：

經(jīng)過或者沒有經(jīng)過用戶30修改(例如，如以上所討論的)的該比例因子s然后與虛擬低音信號25一起被提供到乘法器32，以便產(chǎn)生期望的經(jīng)音量調(diào)整的虛擬低音信號25’。響度控制模塊29和乘法器32的組合在這里可以共同被稱為“響度控制器”或“響度均衡器”。另外，盡管這里引用了ISO 226:2003，可替代地使用任何其它(例如，類似的)等響度水平數(shù)據(jù)集合。

如以上所指出的，輸入信號10的經(jīng)頻域變換后的形式也可被提供到可選高通濾波器15。高通濾波器15(如果設(shè)置)的目的是抑制期望輸出裝置42不能有效再現(xiàn)的頻譜的全部較低部分。例如，可由高通濾波器15濾除低于指定頻率(例如，具有50Hz至200Hz的值)的頻率。應(yīng)指出，特別是由于優(yōu)選地低音提取器14提取低音音調(diào)(或聲音)的諧波結(jié)構(gòu)的至少一部分，因此在低音信號16的頻譜與高通濾波器15通過的頻譜之間可存在重疊。與低音提取器14類似，高通濾波器15(如果設(shè)置)通常例如通過直接對變換模塊12提供的頻率系數(shù)應(yīng)用具有期望濾波器特性的窗函數(shù)而執(zhí)行其濾波操作(即，在該情況下，抑制輸入信號10的低頻分量)。如之前所指出的，高通濾波器15可以減少例如否則將在小型揚聲器中浪費的或可能導(dǎo)致其他負面影響的能量，但是其不是根據(jù)本發(fā)明的虛擬低音系統(tǒng)、處理或方法的關(guān)鍵或必要部分。

在加法器35中，頻域虛擬低音信號25’與經(jīng)頻率變換的并且可能的高通濾波后的輸入信號相加。最終，在模塊36中執(zhí)行反向變換(即，在模塊12中執(zhí)行的變換的逆變換)以便將合成信號轉(zhuǎn)換回時域。所得到的輸出信號40通常在被提供到揚聲器或其它輸出裝置42之前將受到額外的處理(例如，數(shù)模變換、響度補償(諸如在2015年9月13日提交的共同轉(zhuǎn)讓美國專利申請第14/852,576號中所討論的，其全部內(nèi)容通過引用合并于此)和/或放大)。替選地，可在將輸入信號10提供到系統(tǒng)5之前對輸入信號10執(zhí)行這樣的額外處理中的任何處理或全部。

時域中的虛擬低音的相加

現(xiàn)在主要參照圖2討論完全在時域中操作的本實施例的替選實施例。如以下更詳細地討論的，圖2示出了系統(tǒng)105，系統(tǒng)105用于對原始輸入音頻信號10(通常為數(shù)字形式)進行處理，以便產(chǎn)生輸出音頻信號140，如在上述系統(tǒng)5中，輸出音頻信號140可以具有與原始信號10相比較少的實際低音內(nèi)容但是添加了“虛擬低音”，例如，從而使得輸出音頻信號140更適合于不擅長產(chǎn)生低音的揚聲器或其它輸出裝置。

參照圖2，初始，低音提取器114優(yōu)選地使用帶通濾波器而提取輸入信號10的低頻部分(例如，除了低于人類聽力范圍的非常低頻部分之外)。與低音提取器14相同，低音提取器114的通帶優(yōu)選地在公式1中指定，并且低音提取器114的特性與低音提取器14的特性相同，除了低音提取器14在時域中工作之外。傳統(tǒng)的有限脈沖響應(yīng)(FIR)或IIR濾波器可用于低音提取器114。所提取的低音信號(或低音部分)116被提供到F0估計器124。

盡管F0估計器124可使用任何F0檢測算法來提供基頻F0的估計，但是為了避免額外復(fù)雜度，在當前實施例中時域中的方法是優(yōu)選的。優(yōu)選的F0檢測算法檢查稱為整合窗(integration window)的指定數(shù)量的音頻樣本，該整合窗的大小優(yōu)選地至少為與最小預(yù)期F0對應(yīng)的周期的兩倍。在獲得F0值之后，優(yōu)選地將音頻樣本提前稱為幀的多個樣本，該幀的大小優(yōu)選地為整合窗的大小的一部分(即，小于整合窗)。如果頻繁地更新F0估計(即，與整合窗相比，幀大小較小)，則優(yōu)選地使用諸如過零率(ZCR)方法的簡單F0檢測方法，以便維持合理的計算負荷。另一方面，如果不頻繁地更新F0估計，則可以使用更復(fù)雜的方法來提供更可靠且準確的F0估計，諸如，如例如在Kawahara H.de Cheveigné,“YIN,a fundamental frequency estimator for speech and music”,J Acoust Soc Am.,Apr 2002,111(4):1917-30中討論的YIN估計方法。另外，與F0估計器24相同，F(xiàn)0估計器124優(yōu)選地還采用(例如，類似的或相同的)平滑機制對音頻幀之間的F0估計和/或顯著性測量估計和相應(yīng)閾值(或者類似或相關(guān)的標準)的變化進行平滑，以在各個幀內(nèi)開啟和關(guān)閉虛擬低音機制。

估計器124生成的F0估計被提供到優(yōu)選地與上述轉(zhuǎn)換計算器26類似或相同的轉(zhuǎn)換計算器126，并且相同的考慮一般適用。轉(zhuǎn)換計算器126的輸出(例如，僅Δ或者k與F₀一起)然后被提供到頻移器128和響度控制模塊129。

頻移器128將整個提取的低音信號116轉(zhuǎn)換(或頻移)所計算的正頻率增量Δ，例如，轉(zhuǎn)換為揚聲器可以有效地產(chǎn)生聲音的頻率，同時保證低音信號的諧波結(jié)構(gòu)保持不變。實現(xiàn)頻移器128的簡單方式是使用雙邊帶(DSB)調(diào)制，例如，如下：

v(n)＝b(n)cos(2πf_cn)，

其中，分別地，n是樣本索引，f_c是載波頻率(例如，Δ)，b(n)是所提取的低音信號116，并且v(n)是所得到的虛擬低音信號125。使用傅立葉變換的調(diào)制定理，得到虛擬低音信號的頻譜V(f)，如：

其中，B(f)是所提取的低音信號116的頻譜。如上所述，虛擬低音頻譜在載波頻率的任一側(cè)包括兩個邊帶或者低音頻譜的頻移副本，其中，較低邊帶是低音頻譜的頻率翻轉(zhuǎn)或鏡像副本。如果載波頻率被設(shè)置為所估計的F0的倍數(shù)，則兩個邊帶可以仍然維持有效諧波結(jié)構(gòu)，因此虛擬低音頻譜B(f)構(gòu)成有效虛擬信號。

存在用于選擇載波頻率f_c的其它選擇。一種選擇是選擇使得較低和較高邊帶都被轉(zhuǎn)換為揚聲器可以有效地產(chǎn)生聲音的頻率范圍的值。該方法將導(dǎo)致在虛擬低音信號125中存在低音頻譜的兩個經(jīng)頻移的副本：較低邊帶和較高邊帶，因此，虛擬低音信號的音色將顯著改變。另一選擇是選擇載波頻率fc為僅使得較高邊帶被轉(zhuǎn)換為揚聲器可以有效地產(chǎn)生聲音的頻率范圍的值。由于基本低音頻率是F0，因此這樣的載波頻率優(yōu)選地被選擇為：

f_c＝kf₀，

其保證較低邊帶低于揚聲器可以有效地產(chǎn)生聲音的頻率，因此限制了較低邊帶對音色的影響。然而，該較低邊帶通常產(chǎn)生了過熱以及線圈偏移，因此，該較低邊帶應(yīng)該被限制。

當較低邊帶被抑制時，所得到的頻移方法稱為單邊帶(SSB)調(diào)制。SSB調(diào)制的一種方法是采用帶通濾波器來濾除較低邊帶。該濾波器優(yōu)選地具有與所提取的低音信號116類似或相同的帶寬，但是其中心頻率優(yōu)選地隨著所估計的F0變化。由于變化的中心頻率，優(yōu)選地使用諸如以下截斷理想帶通濾波器的FIR濾波器：

其中，N是濾波器的長度，M＝N/2，并且f_l和f_h分別是通帶的與低邊緣和高邊緣對應(yīng)的頻率。

SSB調(diào)制的當前更優(yōu)選的方法是使用希爾伯特變換以從所提取的低音信號116創(chuàng)建分析信號，將該分析信號轉(zhuǎn)換成期望頻率，以及取其實部。在圖3中示出了用于有效地實現(xiàn)該處理的一種算法。希爾伯特變換可由FIR濾波器來近似，該FIR濾波器可以使用帕克斯-麥克萊倫(Parks-McClellan)算法來設(shè)計(例如，如在David Ernesto Troncoso Romero和Gordana Jovanovic Dolecek,“Digital FIR Hilbert Transformers:Fundamentals and Efficient Design Methods”,chapter 19in“MATLAB-A Fundamental Tool for Scientific Computing and Engineering Applications-Volume 1”,Prof.Vasilios Katsikis(Ed.),Intech,ISBN:978-953-51-0750-7,InTech,DOI:10.5772/46451,pp.445-482(2012)中討論的)。對于使用IIR濾波器的實現(xiàn)，參見例如Scott Wardle,“A Hilbert transformer frequency shifter for audio,”First Workshop on Digital Audio Effects DAFx,1998。

如圖2所示，所提取的低音信號116和轉(zhuǎn)換計算器126的輸出(例如，僅Δ或者k與F₀一起)被提供到響度控制模塊129，響度控制模塊129優(yōu)選地提供與上述響度控制模塊29類似的功能，但是在時域中操作。例如，在該實施例中，可如下計算所提取的低音信號116內(nèi)的功率值的滑動平均值：

其中，x(n)是輸入樣本值，并且N是塊大小。更簡單的實施例是使用低階IIR濾波器，諸如以下一階IIR濾波器：

P(n)＝αP(n-1)+(1-α)x²(n)，

公式8

其中，α是濾波器系數(shù)并且與采樣頻率f_s和時間常數(shù)τ有關(guān)，如：

可例如使用公式1中給出的限制的算術(shù)平均值或以下幾何平均值來計算低音信號的代表性或額定頻率：

該代表性或額定頻率和所計算的低音功率(例如，如公式7或公式8中給出的)然后可以被插入到ISO 226:2003的公式(2)中以獲得其響度水平L_N。

虛擬低音信號125的頻率范圍是：

因此，虛擬低音信號125的代表性或額定頻率可被計算為以上限制的算術(shù)平均值或其幾何平均值，例如：

該代表性或額定頻率和響度水平L_N然后可以被插入到ISO 226:2003的公式(1)中以獲得目標SPL其可以進一步被轉(zhuǎn)換為比例因子，例如，如：

如在先前實施例中，該比例因子s優(yōu)選地可由用戶30來修改。在具有或沒有這樣的修改的情況下，比例因子s然后與虛擬低音信號125一起被提供到乘法器132，以便產(chǎn)生期望的經(jīng)音量調(diào)整的虛擬低音信號125’。響度控制模塊129和乘法器132的組合在這里可以共同被稱為“響度控制器”或“響度均衡器”。

輸入信號10還可被提供到可選的高通濾波器115。與高通濾波器15(如果設(shè)置)類似，濾波器115優(yōu)選地抑制輸入音頻信號10的頻譜的期望輸出裝置42不能有效地再現(xiàn)的整個較低部分。濾波器115(如果設(shè)置)的優(yōu)選頻率特性與以上針對濾波器15提供的優(yōu)選頻率特性相同。然而，濾波器115(如果設(shè)置)在時域中工作(例如，被實現(xiàn)為FIR或IIR濾波器)。

在濾波器115(如果設(shè)置)之后，延遲元件134對可能濾波后的原始音頻信號進行延遲以在時間上將該信號與合成虛擬低音信號125’對準。此后，在加法器135中將兩個信號相加。所得到的輸出信號140通常在被提供到揚聲器或其它輸出裝置42之前經(jīng)受額外的處理(例如，如以上關(guān)于系統(tǒng)5所討論的)。替選地，與系統(tǒng)5相同，可在將輸入信號10提供到系統(tǒng)105之前對輸入信號10執(zhí)行這樣的額外處理中的任何處理或全部。

系統(tǒng)環(huán)境

一般而言，除了明確相反指出之外，這里描述的所有系統(tǒng)、方法、功能和技術(shù)可以利用一個或多個可編程通用計算裝置來實踐。這樣的裝置(例如，包括這里所述的任何電子裝置)通常將包括例如經(jīng)由例如公共總線彼此耦合的以下部件中的至少一部分：(1)一個或多個中央處理單元(CPU)；(2)只讀存儲器(ROM)；(3)隨機存取存儲器(RAM)；(4)其它集成或附接存儲裝置；(5)用于與其它裝置接口的輸入/輸出軟件和電路(例如，使用硬接線連接，諸如串行端口、并行端口、USB連接或火線連接，或者使用無線協(xié)議，諸如射頻標識(RFID)、任何其它近場通信(NFC)協(xié)議、藍牙或802.11協(xié)議)；(6)用于例如使用硬接線連接(諸如以太網(wǎng)卡)或無線協(xié)議(諸如碼分多址(CDMA)、全球移動通信系統(tǒng)(GSM)、藍牙、802.11協(xié)議或者任何其它基于蜂窩或非基于蜂窩的系統(tǒng))連接到一個或多個網(wǎng)絡(luò)的軟件和電路，這些網(wǎng)絡(luò)在本發(fā)明的許多實施例中進而連接到因特網(wǎng)或任何其它網(wǎng)絡(luò)；(7)顯示器(諸如陰極射線管顯示器、液晶顯示器、有機發(fā)光顯示器、聚合物發(fā)光顯示器或任何其它薄膜顯示器)；(8)其它輸出裝置(諸如一個或多個揚聲器、耳機、激光或其它光投影儀和/或打印機)；(9)一個或多個輸入裝置(諸如鼠標、一個或多個物理開關(guān)或可變控制、觸摸板、平板、觸敏顯示器或其它指向裝置、鍵盤、小鍵盤、麥克風和/或攝像裝置或掃描儀)；(10)大容量存儲單元(諸如硬盤驅(qū)動器或固態(tài)驅(qū)動器)；(11)實時時鐘；(12)可拆卸存儲讀/寫裝置(諸如閃存驅(qū)動器、利用半導(dǎo)體存儲器的任何其它便攜式驅(qū)動器、磁盤、磁帶、光磁盤、光盤等)；和/或(13)調(diào)制解調(diào)器(例如，用于發(fā)送傳真或用于連接到因特網(wǎng)或任何其它計算機網(wǎng)絡(luò))。在操作中，在一定程度上由這樣的通用計算機執(zhí)行的用于實現(xiàn)以上方法和功能的處理步驟通常初始存儲在大容量存儲裝置(例如，硬盤或固態(tài)驅(qū)動器)中，被下載到RAM中，然后由CPU在RAM之外執(zhí)行。然而，在一些情況下，處理步驟初始存儲在RAM或ROM中和/或直接在大容量存儲裝置之外執(zhí)行。

可從各種賣方獲得用于實現(xiàn)本發(fā)明的適當通用可編程裝置。在各個實施例中，根據(jù)任務(wù)的大小和復(fù)雜性而使用不同類型的裝置。這樣的裝置可以包括例如大型計算機、多處理器計算機、一個或多個服務(wù)器盒、工作站、個人(例如，臺式、筆記本、平板或板式)計算機和/或甚至更小的計算機(諸如個人數(shù)字助理(PDA)、無線電話(例如，智能電話)或任何其它可編程設(shè)施或裝置)，無論是單獨的、硬接線到網(wǎng)絡(luò)的還是無線連接到網(wǎng)絡(luò)的都可以。

另外，盡管以上描述了通用可編程裝置，但是在替選實施例中，替代地(或者另外地)使用一個或多個專用處理器或計算機。一般地，應(yīng)注意，除了明確相反指出之外，上述任何功能都可以由執(zhí)行軟件和/固件的通用處理器、專用(例如，基于邏輯的)硬件或這些方案的任何組合來實現(xiàn)，其中，基于已知的工程折中來選擇特定實現(xiàn)。更具體地，如本領(lǐng)域技術(shù)人員容易想到的，在上述任何處理和/或功能以固定的、預(yù)定的和/或邏輯方式來實現(xiàn)的情況下，可以由執(zhí)行編程(例如，軟件或固件)的處理器、邏輯部件(硬件)的適當布置或者這兩者的任意組合來完成。換言之，如何將邏輯和/或算術(shù)操作轉(zhuǎn)換成用于在處理器內(nèi)執(zhí)行這樣的操作的指令和/或轉(zhuǎn)換成用于執(zhí)行這樣的操作的邏輯門配置是容易理解的；實際上，編譯器通?？捎糜谶@兩種轉(zhuǎn)換。

應(yīng)理解，本發(fā)明還涉及其上存儲有用于執(zhí)行本發(fā)明的方法和功能的軟件或固件程序指令(即，計算機可執(zhí)行處理指令)的機器可讀有形(或者非暫態(tài))介質(zhì)。作為示例，這樣的介質(zhì)包括磁盤、磁帶、光學可讀取介質(zhì)(諸如CD和DVD)或者半導(dǎo)體存儲器(諸如各種類型的存儲卡、USB閃存裝置、固態(tài)驅(qū)動器等)。在每種情況下，介質(zhì)可采取便攜式物品的形式(諸如微型盤驅(qū)動器或小盤、磁碟、卡帶、盤式磁帶、卡、棒等)，或者可采取相對較大或不便移動的物品的形式(諸如設(shè)置在計算機或其它裝置中的硬盤驅(qū)動器、ROM或RAM)。如這里所使用的，除非清楚相反指出，對存儲在計算機可讀或機器可讀介質(zhì)上的計算機可執(zhí)行處理步驟的引用旨在包括這樣的處理步驟存儲在單個介質(zhì)上的情形以及這樣的處理步驟跨越多個介質(zhì)存儲的情形。

先前描述主要強調(diào)了電子計算機和裝置。然而，應(yīng)理解，可替代地使用任何其它計算裝置或其它類型的裝置，諸如利用能夠執(zhí)行基本邏輯和/或算術(shù)操作的電子、光學、生物和化學處理的任何組合的裝置。

另外，在本公開引用處理器、計算機、服務(wù)器、服務(wù)器裝置、計算機可讀介質(zhì)或其它存儲裝置、客戶端裝置或任何其它種類的設(shè)備或裝置的情況下，除了清楚相反指出之外，這樣的引用應(yīng)被理解為包括使用多個這樣的處理器、計算機、服務(wù)器、服務(wù)器裝置、計算機可讀介質(zhì)或其它存儲裝置、客戶端裝置或任何其它這樣的設(shè)備或裝置。例如，服務(wù)器一般可以(以及通常將)使用單個裝置或例如具有適當?shù)呢撦d平衡的服務(wù)器裝置的簇(本地或地理上分散)來實現(xiàn)。類似地，服務(wù)器裝置和客戶端裝置通常將配合執(zhí)行完整方法的處理步驟，例如，其中，每個這樣的裝置具有其自己的存儲這樣的處理步驟的一部分的存儲裝置和其自己的執(zhí)行這些處理步驟的處理器。

如這里所使用的，術(shù)語“耦合”或者該詞的任何其它形式旨在表示直接連接或者通過一個或多個其它元件或處理塊連接。在附圖和/或其討論中，在各個步驟、模塊或處理塊被示出和/或討論為直接連接到彼此的情況下，這樣的連接應(yīng)被理解為可包括另外的元件和/或處理塊的耦合。除非在這里明確地并且具體地相反指出，否則這里對信號的引用表示信號的任何處理后形式或未處理形式。即，這里討論的和/或要求保護的具體處理步驟不旨在為排他性的；相反，可在這里明確討論的或要求保護的任何兩個處理步驟之間執(zhí)行中間處理。

另外的考慮

在先前討論中，術(shù)語“操作者”、“操作”、“功能”和類似術(shù)語可以指的是根據(jù)特定實現(xiàn)/實施例的方法步驟或硬件部件。

除非清楚相反指出，在以上討論中諸如“最優(yōu)”、“優(yōu)化”、“最小化”、“最佳”和類似詞的詞以及表示比較的其它詞和前綴不以其絕對意義來使用。替代地，這樣的術(shù)語通常旨在根據(jù)任何其它潛在限制來理解，諸如用戶指定限制和目標以及成本和處理限制。

這里對旨在觸發(fā)、限制、過濾或者影響處理步驟、其它動作、處理步驟或動作的主體或者任何其它活動或數(shù)據(jù)的“標準”、“多個標準”、“條件”、“多個條件”或類似詞的引用旨在表示“一個或多個”，而與使用單數(shù)還是復(fù)數(shù)形式無關(guān)。例如，任何標準或條件可以包括動作、事件和/或發(fā)生(即，多部分標準或條件)的任何組合(例如，布爾組合)。

類似地，在以上討論中，功能有時被歸于特定模塊或部件。然而，功能一般可在任何不同的模塊或部件當中根據(jù)期望重新分配，從而在一些情況下，完全避免對于特定部件或模塊的需要和/或需要添加新的部件或模塊。如本領(lǐng)域技術(shù)人員所理解的，參考本發(fā)明的具體實施例，根據(jù)已知工程折中而優(yōu)選地進行功能的精確分配。

在以上討論中，詞“包括(include)”、“包含(includes)”、“具有(including)”和該詞的所有其它形式不應(yīng)被理解為限制性的，而是這樣的詞之后的任何具體項應(yīng)被理解為僅是示例性的。

在以上以及在這里通過引用并入的文獻中描述了本發(fā)明的多個不同實施例，其中每個這樣的實施例被描述為包括某些特征。然而，如本領(lǐng)域技術(shù)人員所理解的，旨在為結(jié)合任何單個實施例的討論描述的特征不限于該實施例，而是也可包括和/或布置在任何其它實施例的各種組合中。

因此，盡管關(guān)于本發(fā)明的示例性實施例和附圖詳細描述了本發(fā)明，但是對本領(lǐng)域技術(shù)人員來說明顯的是，可在不背離本發(fā)明的精神和范圍的情況下實現(xiàn)本發(fā)明的各種調(diào)整和修改。因此，本發(fā)明不限于圖中示出的和以上描述的具體實施例。相反，旨在為不背離本發(fā)明的精神的所有這樣的變型應(yīng)被視為在僅由所附權(quán)利要求限定的范圍中。