面向用戶體驗的音頻信號處理的制作方法
【專利摘要】本發(fā)明的實施例涉及用于面向用戶體驗的音頻信號處理。提供了一種用于面向用戶體驗的音頻信號處理的方法。該方法包括：獲取來自電子設(shè)備的音頻傳感器的第一音頻信號；基于第一音頻信號計算針對從電子設(shè)備到收聽者的聲學(xué)路徑的補償因子；以及將補償因子應(yīng)用于將從電子設(shè)備輸出的第二音頻信號。還公開了相應(yīng)的系統(tǒng)和計算機程序產(chǎn)品。
【專利說明】
面向用戶體驗的音頻信號處理
技術(shù)領(lǐng)域
[0001]本發(fā)明的實施例一般涉及音頻信號處理，更具體地涉及用于面向用戶體驗的音頻信號處理。
【背景技術(shù)】
[0002]近年來，對于電子設(shè)備的設(shè)計而言用戶體驗已經(jīng)變得越來越重要。電子設(shè)備可以包括例如移動電話和平板式計算機的便攜式設(shè)備以及例如電話和臺式計算機的固定設(shè)備。
[0003]由于結(jié)構(gòu)限制，難以通過硬件設(shè)計來解決電子設(shè)備的音頻效果問題。舉例而言，電子設(shè)備的揚聲器可能過于小，以至于不能產(chǎn)生好的音頻效果。另外，揚聲器位置和射向的設(shè)計服從于實際約束條件。
[0004]為了改善用戶體驗，已經(jīng)向電子設(shè)備的音頻信號應(yīng)用后處理。例如，可以通過均衡、虛擬低音、低音增強、音量調(diào)整、轉(zhuǎn)向立體呈現(xiàn)、聲學(xué)回聲消除、聲學(xué)噪聲消除、去混響等等來處理音頻信號。然而，因為電子設(shè)備在位置和方向方面可以具有較大靈活性，所以現(xiàn)有的后處理解決方案由于揚聲器方向性和空中聲學(xué)阻抗的改變而難以有效控制音調(diào)。
[0005]由此，本領(lǐng)域需要一種支持面向用戶體驗的音頻信號處理的解決方案。

【發(fā)明內(nèi)容】

[0006]為了解決上述以及其他潛在的問題，本發(fā)明提出一種用于面向用戶體驗的音頻信號處理的方法和系統(tǒng)。
[0007]在一方面，本發(fā)明的示例實施例提供一種用于面向用戶體驗的音頻信號處理的方法。該方法包括:獲取來自電子設(shè)備的音頻傳感器的第一音頻信號；基于第一音頻信號計算針對從電子設(shè)備到收聽者的聲學(xué)路徑的補償因子；以及將補償因子應(yīng)用于將從電子設(shè)備輸出的第二音頻信號。關(guān)于這點的實施例進一步包括對應(yīng)的計算機程序產(chǎn)品。
[0008]在另一方面，本發(fā)明的示例實施例提供一種用于面向用戶體驗的音頻信號處理的系統(tǒng)。該系統(tǒng)包括:音頻信號獲取單元，被配置為獲取來自電子設(shè)備的音頻傳感器的第一音頻信號；計算單元，被配置為基于第一音頻信號計算針對從電子設(shè)備到收聽者的聲學(xué)路徑的補償因子；以及應(yīng)用單元，被配置為將補償因子應(yīng)用于將從電子設(shè)備輸出的第二音頻信號。
[0009]通過下文描述將會理解，根據(jù)本發(fā)明的示例實施例，將計算針對從電子設(shè)備到收聽者之間的聲學(xué)路徑的補償因子，并在將音頻信號提供給該收聽者之前將該補償因子應(yīng)用于該音頻信號。例如，通過至少部分地基于獲取的來自電子設(shè)備的音頻傳感器的音頻信號計算補償因子，有可能有效提高電子設(shè)備的音頻效果。結(jié)果是，無論電子設(shè)備如何被定位和定向，都可以實現(xiàn)聽覺方面的用戶體驗改善。
【附圖說明】
[0010]通過參考附圖閱讀下文的詳細(xì)描述，本發(fā)明實施例的上述以及其他目的、特征和優(yōu)點將變得易于理解。在附圖中，以示例而非限制性的方式示出了本發(fā)明的若干實施例，其中:
[0011]圖1示出適于實現(xiàn)本發(fā)明的示例實施例的示例電子設(shè)備的框圖；
[0012]圖2示出適于實現(xiàn)本發(fā)明的示例實施例的場景的示意圖；
[0013]圖3示出根據(jù)本發(fā)明的示例實施例的用于面向用戶體驗的音頻信號處理的方法的流程圖；
[0014]圖4示出根據(jù)本發(fā)明的示例實施例的用于面向用戶體驗的音頻信號處理的方法的流程圖；以及
[0015]圖5示出根據(jù)本發(fā)明的示例實施例的用于面向用戶體驗的音頻信號處理的系統(tǒng)的框圖。
[0016]在各個附圖中，相同或?qū)?yīng)的標(biāo)號表TJK相同或?qū)?yīng)的部分。
【具體實施方式】
[0017]現(xiàn)在將參考若干示例實施例來描述本發(fā)明的原理。應(yīng)當(dāng)理解，描述這些實施例只是為了使本領(lǐng)域技術(shù)人員能夠更好地理解進而實現(xiàn)本發(fā)明，而并非以任何方式限制本發(fā)明的范圍。
[0018]在此使用的術(shù)語僅出于描述特定實施例的目的，并不旨在限制于示例實施例。如這里所使用的，除非上下文明確指出，單數(shù)形式“一”、“一個”和“該”旨在也包括復(fù)數(shù)形式。還應(yīng)該理解，本文所用的術(shù)語“包括”和/或“包含”規(guī)定了闡明的特征、整數(shù)、步驟、操作、元素和/或部件的存在，但不排除一個或者多個其他特征、整數(shù)、步驟、操作、元素、元件和/或組的存在。
[0019]也應(yīng)該注意到在一些備選實現(xiàn)中，所注釋的功能/行為可以以圖中所注釋的順序的亂序出現(xiàn)。例如，被順序顯示的兩個功能/動作事實上根據(jù)涉及到的功能性/動作可以基本上同時執(zhí)行或者有時可以以相反地順序執(zhí)行。
[0020]圖1示出了適于實現(xiàn)本發(fā)明的示例實施例的示例電子設(shè)備100的框圖。如圖所示，電子設(shè)備100被實現(xiàn)為具有音頻播放能力的便攜式設(shè)備。該便攜式設(shè)備例如可以是移動電話、個人數(shù)字助理(PDA)、筆記本電腦、平板電腦、尋呼機、播放器、游戲裝置、照相機、全球定位系統(tǒng)(GPS)設(shè)備和任何其他類型的便攜式設(shè)備，只要它們能夠采用在此描述的主題的實施例。諸如臺式機和電話之類的固定類型的設(shè)備同樣可以容易地使用在此描述的主題的實施例。
[0021]如圖所示，電子設(shè)備100包括一個或多個天線112，可操作用于與發(fā)射器114和接收器116通信。利用這些設(shè)備，電子設(shè)備100可以執(zhí)行無線通信。
[0022]電子設(shè)備100還包括至少一個控制器120。應(yīng)當(dāng)理解，控制器120包括實現(xiàn)電子設(shè)備100的所有功能所需要的電路或邏輯。例如，控制器120可以包括數(shù)字信號處理器、微處理器、A/D轉(zhuǎn)換器、D/A轉(zhuǎn)換器和/或其他適當(dāng)?shù)碾娐?。電子設(shè)備100的控制和信號處理功能根據(jù)這些設(shè)備各自的能力分配。
[0023]電子設(shè)備100還可以包括用戶接口，其例如可以包括振鈴器122、揚聲器124、麥克風(fēng)126、顯示器128以及輸入接口 130，所有以上設(shè)備都耦合至控制器120。電子設(shè)備100還可以包括用于捕捉靜態(tài)圖像和/或動態(tài)圖像的相機模塊136。進一步地，電子設(shè)備100可以包括多個傳感器(未示出)，例如，音頻傳感器、陀螺儀、距離傳感器、重力傳感器、加速計、溫度傳感器、光傳感器、磁場傳感器、壓力傳感器、濕度傳感器、定位傳感器，等等。音頻傳感器可以例如實現(xiàn)為麥克風(fēng)126、麥克風(fēng)陣列(未示出)，等等。
[0024]電子設(shè)備100還可以包括電池134，諸如振動電池組，用于向操作電子設(shè)備100所需要的各種電路供電，并且備選地提供機械振動作為可檢測的輸出。在一個實施例中，電子設(shè)備100還包括用戶識別模塊(ΙΠΜ) 138。UIM 138通常是具有內(nèi)置的處理器的存儲器設(shè)備。ΙΠΜ 138可以例如包括訂戶識別模塊(S頂)、通用集成電路卡(UICC)、通用用戶識別模塊(US頂)或可移動用戶識別模塊(R-ΙΠΜ)等等。UIM 138可以包括根據(jù)本發(fā)明的實施例的卡連接檢測裝置。
[0025]電子設(shè)備100還包括存儲設(shè)備。例如，電子設(shè)備100可以包括易失性存儲器140，例如，包括高速緩存區(qū)域中的用于臨時存儲數(shù)據(jù)的易失性隨機存取存儲器(RAM)。電子設(shè)備100還可以包括其他的可以是嵌入的或可移動的非易失性存儲器142。非易失性存儲器142可以附加地或備選地例如包括EEPROM和閃存等。存儲器可以存儲多個信息片段中的任意項和電子設(shè)備100使用的數(shù)據(jù)，以便實現(xiàn)電子設(shè)備100的功能。例如，存儲器可以包含機器可執(zhí)行指令，其在被執(zhí)行時使得控制器120實現(xiàn)下文描述的方法。
[0026]應(yīng)當(dāng)理解，圖1中的結(jié)構(gòu)框圖僅僅示出用于說明目的，并非旨在限制本發(fā)明的范圍。在某些情況下，某些組件可以按照具體需要而增加或者減少。
[0027]現(xiàn)在參考圖2，其示出適于實現(xiàn)本發(fā)明的示例實施例的場景200的示意圖。如圖所示，收聽者210正在收聽來自電子設(shè)備220的音頻聲音，例如，音樂、講話、廣播劇，等等。在一個實施例中，電子設(shè)備220例如可以由圖1所示的電子設(shè)備100來實現(xiàn)。
[0028]通過便攜式設(shè)備220的揚聲器124播放的音頻的傳遞函數(shù)可以包括:電子設(shè)備的音頻處理，表示為A (f);揚聲器頻率響應(yīng)，表示為L (f);以及從揚聲器124到收聽者210 (例如，收聽者210的頭部位置)的傳遞函數(shù)，表示為H(f，Ω，θ)。Ω表示定義距離因素(例如目標(biāo)區(qū)域以及它們到揚聲器124的距離)的一組參數(shù)，并且Θ表示定義電子設(shè)備220相對于頭部的方向和收聽者的方向的一組參數(shù)。假設(shè)通過揚聲器124的音頻播放的目標(biāo)傳遞函數(shù)或理想傳遞函數(shù)是T (f)，則希望得到:
[0029]A(f)L(f)H(f, Ω，Θ) =T(f)。(I)
[0030]由于電子設(shè)備220可以用于非常動態(tài)的環(huán)境并且可以旋轉(zhuǎn)，所以Ω和Θ可以大幅度變化。作為結(jié)果，H(f，Ω，Θ)可以變化。為了滿足式(1)，補償因子(表示為P(f，Ω，Θ))可以被引入以使得:
[0031]A(f)P(f, Ω , θ )L(f)H(f, Ω , θ ) =T(f)。(2)
[0032]根據(jù)示例實施例，P(f，Ω，θ )表示依賴于方向和距離的音頻處理，其經(jīng)?？梢员徽J(rèn)為是嘗試抵消H(f，Ω，Θ)的偏離的后處理。
[0033]為了補償方向和距離改變，需要識別P(f，Ω，Θ )來抵消H(f，Ω，Θ )的偏離。在此方面，本發(fā)明的示例實施例提出了基于從電子設(shè)備220的音頻傳感器(例如麥克風(fēng)126)獲取的音頻信號實時計算補償因子P(f，Ω，Θ)。通過應(yīng)用補償因子，電子設(shè)備220的音頻信號可以在被提供給收聽者210之前被補償。以此方式，可以實現(xiàn)均衡處理，并且可以實現(xiàn)聽覺方面的用戶體驗改善。相關(guān)細(xì)節(jié)將在以下結(jié)合圖3和圖4中的示例實施例進行描述。
[0034]現(xiàn)在參考圖3，其示出根據(jù)本發(fā)明的示例實施例的用于面向用戶體驗的音頻信號處理的方法300的流程圖。方法300例如可以至少部分地由電子設(shè)備220實現(xiàn)。
[0035]在步驟S310，獲取來自電子設(shè)備的音頻傳感器的第一音頻信號。
[0036]根據(jù)本發(fā)明的示例實施例，音頻傳感器可以以多種方式實現(xiàn)。例如，音頻傳感器可以實現(xiàn)為麥克風(fēng)、麥克風(fēng)陣列和/或任何其他適當(dāng)?shù)囊纛l傳感器，只要其能夠感測或收集從電子設(shè)備輸出的音頻信號。
[0037]如圖2所示，音頻傳感器可以實現(xiàn)為麥克風(fēng)126。從揚聲器124到麥克風(fēng)126的聲學(xué)路徑的傳遞函數(shù)可以被定義為N(f，Ω，Θ )，并且揚聲器124到麥克風(fēng)126與揚聲器124到收聽者210之差(對應(yīng)于從麥克風(fēng)126到收聽者210的傳遞函數(shù))可以被定義為K(f，Ω，Θ)，其中
[0038]K(f, Ω , Θ ) = N(f, Ω , θ )/H(f, Ω , θ ).(3)
[0039]在一些示例實施例中，收聽者210可能正常向前看并且將電子設(shè)備220以合適的距離放置在他/她的右前方。在這一事件中，收聽者210與電子設(shè)備220的麥克風(fēng)126之間的關(guān)系可以是基本恒定的。因此，K(f，Ω，Θ)可以獨立于Ω和Θ。換言之，由方向和/或距離的改變所引起的所有變化可以等同地嵌入在N(f，Ω，Θ)和H(f，Ω，Θ)中。
[0040]當(dāng)如圖2所示那樣音頻傳感器實現(xiàn)為麥克風(fēng)126時，在步驟S310，可以獲取麥克風(fēng)記錄，例如在該麥克風(fēng)處收集的環(huán)境聲，作為第一音頻信號。
[0041]在一些其他示例實施例中，收聽者210(例如其頭部)與麥克風(fēng)126之間的相對方向和距離并不是恒定的，例如，原因是收聽者210將他/她的頭部轉(zhuǎn)到一個位置、麥克風(fēng)126被收聽者210無意擋住，等等。對于這些情形，H(f，Ω，Θ )的改變可能不會完全嵌入在N(f，Ω，Θ)中。在這一情況下，音頻傳感器可以實現(xiàn)為麥克風(fēng)陣列(未示出)。
[0042]電子設(shè)備220的麥克風(fēng)陣列可以包括多個麥克風(fēng)。多個麥克風(fēng)具有以更佳的分辨率描述方向Ω的優(yōu)點。距離效果圍繞揚聲器可以是非對稱的。利用來自多個麥克風(fēng)的信息，可以支持非對稱距離模式。
[0043]此外，對于實時實現(xiàn)，多個麥克風(fēng)可以提供更加魯棒的補償因子。在電子設(shè)備的實際使用中，有可能無意識地通過手來覆蓋或者遮擋麥克風(fēng)。覆蓋所有麥克風(fēng)的機會非常低。因此，更多魯棒結(jié)果可以基于健康的麥克風(fēng)來實現(xiàn)。
[0044]進一步地，在一些示例實施例中，一個或多個附加設(shè)備，諸如照相機、陀螺儀、距離傳感器、重力傳感器、加速計、溫度傳感器、光傳感器、磁場傳感器、壓力傳感器、濕度傳感器、定位傳感器，等等，可以被采用以輔助基于音頻傳感器的補償。舉例而言，當(dāng)在麥克風(fēng)記錄中發(fā)現(xiàn)較大的差異時，一種可能性是電子設(shè)備的方向正在改變；另一種可能性是噪聲或其他干擾正在發(fā)生，使得即使電子設(shè)備的方向沒有改變而麥克風(fēng)記錄也發(fā)生了改變。在這種情況下，附加的設(shè)備輸入可以輔助音頻傳感器維持當(dāng)前處理或者執(zhí)行較少的主動處理。例如，多個麥克風(fēng)可以單獨使用或者與照相機一起使用，以計算收聽者210的頭部位置及其方向。當(dāng)收聽者210講話時，麥克風(fēng)陣列可以發(fā)現(xiàn)收聽者頭部的方向。另外，由于說話是近場的，所以距離曲線可以被保留。以此方式，可以獲取收聽者的距離和方向信息。
[0045]在步驟S310，在音頻傳感器被實現(xiàn)為麥克風(fēng)陣列的示例實施例中，可以首先確定麥克風(fēng)陣列中的一個或多個麥克風(fēng)的狀態(tài)。麥克風(fēng)陣列中的每個麥克風(fēng)的狀態(tài)可以基于從正常寬帶敏感性的偏離或者其他類似量來確定?；谒_定的狀態(tài)，可以針對揚聲器124的位置執(zhí)行波束成形。舉例而言，麥克風(fēng)陣列中的多個麥克風(fēng)可以形成指向麥克風(fēng)位置的近場波束成形。然后，可以獲取在進行了波束成形的麥克風(fēng)陣列處收集的環(huán)境聲來作為第一音頻信號。以此方式，可以增加音頻播放與環(huán)境噪聲比，這可以提高實時調(diào)整的魯棒性。
[0046]另外，應(yīng)當(dāng)理解的是，上述示例實施例僅出于示意性目的，而不意在對在此描述的主題的任何限制。電子設(shè)備的音頻傳感器可以以任何適當(dāng)?shù)男问絹韺崿F(xiàn)，只要其能夠獲取從電子設(shè)備輸出的音頻信號。
[0047]在步驟S320處，基于第一音頻信號計算針對從電子設(shè)備到收聽者的聲學(xué)路徑的補償因子。
[0048]根據(jù)本發(fā)明的示例實施例，可以通過多種方式來計算補償因子。舉例而言，可以通過匹配目標(biāo)頻率響應(yīng)來計算補償因子。具體而言，音頻傳感器的標(biāo)稱音頻信號可以基于聲學(xué)路徑的標(biāo)稱傳遞函數(shù)來計算。通過估計電子設(shè)備周圍的環(huán)境噪聲，可以至少部分地基于第一音頻信號、標(biāo)稱音頻信號和環(huán)境噪聲來計算補償因子。相關(guān)細(xì)節(jié)將結(jié)合圖4的示例實施例來介紹。
[0049]作為備選方案，替代直接匹配目標(biāo)響應(yīng)，可以基于從揚聲器124到麥克風(fēng)126的聲學(xué)路徑的傳遞函數(shù)來計算補償因子，該傳遞函數(shù)可以例如通過實時系統(tǒng)識別來估計。傳統(tǒng)的系統(tǒng)識別方法，例如自適應(yīng)濾波，可以用于當(dāng)已知激勵音頻信號時估計幅度和相位。通過這一過程而獲得的從揚聲器124到麥克風(fēng)126的聲學(xué)路徑的傳遞函數(shù)可以是:
[0050]ff(f, Ω, Θ) = A(f)P(f, Ω , θ )L(f)H(f, Ω , θ ) K (f) S (f)(4)
[0051]其中A(f)表示電子設(shè)備中的音頻處理，L(f)表示揚聲器頻率響應(yīng)，H(f，Ω，Θ )表示從揚聲器124到收聽者210的聲學(xué)路徑的傳遞函數(shù)，K(f)表示K(f，Ω，Θ)的簡化并且其表示從麥克風(fēng)126到收聽者210的傳遞函數(shù)，以及S(f)表示麥克風(fēng)126的頻率響應(yīng)。
[0052]在一些示例實施例中，補償因子P(f，Ω，Θ)可以被調(diào)整為抵消所估計的傳遞函數(shù)中的變化，以保持W(f，Ω，Θ)恒定并且獨立于Ω和Θ。
[0053]系統(tǒng)識別可能很慢，例如由于高環(huán)境噪聲水平、高自相關(guān)音頻信號等等。備選地或附加地，為了加速系統(tǒng)識別，例如，當(dāng)例如通過陀螺儀來檢測到快速旋轉(zhuǎn)電子設(shè)備220或環(huán)境變化時，可以插入探測信號，例如最大長度序列(Maximum-Length-Sequence),以快速確定傳遞函數(shù)。探測信號可以以低于遮掩閾值的方式來插入，從而使其為不可聽的。備選地，可以應(yīng)用例如去相關(guān)方法的其他典型自適應(yīng)濾波方法來加速系統(tǒng)識別。
[0054]根據(jù)本發(fā)明的示例實施例，可選地，補償因子的實時實現(xiàn)可以與預(yù)設(shè)(preset)相結(jié)合。預(yù)設(shè)可以包括多種均衡處理。各種均衡處理可以根據(jù)已有的解決方案以多種方式預(yù)先定義或獲得，并可以提前儲存在存儲器中。如本領(lǐng)域技術(shù)人員可理解的，該存儲器可以是便攜式計算機磁盤、硬盤、隨機存儲存取器(RAM)、只讀存儲器(ROM)、可擦除可編程只讀存儲器(EPR0M或閃存)、便攜式致密盤只讀存儲器(CD-ROM)、光存儲設(shè)備、磁存儲設(shè)備，等等。
[0055]在一些示例實施例中，可以為補償因子確定上限和下限，并且可以在上限和下限之間的范圍內(nèi)計算補償因子。舉例而言，可以通過多種方式來確定該上限和下限。例如，可以獲取關(guān)于電子設(shè)備的方向和距離的信息，然后可以基于關(guān)于方向和距離的信息選擇針對所述補償因子的多種預(yù)設(shè)。以此方式，可以基于選擇的預(yù)設(shè)來確定上限和下限。
[0056]在一些其他示例實施例中，上限和下限可以基于音頻傳感器的記錄來確定。舉例而言，可以基于在步驟S310獲得的第一音頻信號來選擇針對補償因子的多個預(yù)設(shè)，然后可以基于該多個預(yù)設(shè)來確定上限和下限。
[0057]以此方式，補償因子的計算可以被加速，并且可以減少錯誤的發(fā)生。例如，在例如自由場、電子設(shè)備的揚聲器朝下等極端情況下，預(yù)設(shè)可以用于約束補償因子以確保其總是在合理的范圍內(nèi)。
[0058]根據(jù)本發(fā)明的示例實施例，補償因子可能需要進行時域和頻域平滑。在一些示例實施例中，在步驟S320，可選地，可以對補償因子可進行時域平滑或者頻域平滑。時域平滑可以防止音色和音量的突變。頻域平滑可以避免高Q處理，該高Q處理通常由于揚聲器能力有限而會導(dǎo)致聽覺偽像。頻域平滑和時域平滑二者都有助于消除時間混疊的問題。
[0059]應(yīng)當(dāng)理解的是，頻域平滑和時域平滑都是可選的。在一些示例實施例中，可以在步驟S330應(yīng)用沒有經(jīng)過平滑的補償因子。
[0060]繼續(xù)參考圖3，方法300進行到步驟S330，將補償因子應(yīng)用于將從電子設(shè)備輸出的第二音頻信號。
[0061]將從電子設(shè)備220 (例如,從揚聲器124)輸出的音頻信號可以被稱為第二音頻信號。通過將補償因子應(yīng)用到該第二音頻信號，可以實現(xiàn)聽覺方面的用戶體驗改善。
[0062]圖4示出根據(jù)本發(fā)明的示例實施例的用于面向用戶體驗的音頻信號處理的方法400的流程圖。方法400可以被認(rèn)為是以上參考圖3所描述的方法300的實施例。然而，應(yīng)當(dāng)注意的是這僅僅是出于示意本發(fā)明的原理的目的，而不是對本發(fā)明的范圍進行限制。方法400例如可以由電子設(shè)備220至少部分地實現(xiàn)。
[0063]方法400在步驟S410開始，其中獲取來自電子設(shè)備的音頻傳感器的第一音頻信號。方法400中的步驟S410可以被認(rèn)為是與以上描述的方法300中的步驟S310類似。根據(jù)本發(fā)明的示例實施例，可以將音頻傳感器實現(xiàn)為麥克風(fēng)、麥克風(fēng)陣列和/或能夠感測或者收集從電子設(shè)備輸出的音頻信號的任何其他合適的音頻傳感器。可以獲取音頻傳感器所收集或感測的環(huán)境聲作為第一音頻信號。
[0064]在步驟S420，基于聲學(xué)路徑的標(biāo)稱傳遞函數(shù)估算音頻傳感器的標(biāo)稱音頻信號。
[0065]根據(jù)本發(fā)明的示例實施例，聲學(xué)路徑的標(biāo)稱傳遞函數(shù)可以被表示為H(f，Ω。，Θ。)，其代表在自由場條件下或者在沒有來自周圍物體的嚴(yán)重反射的空間中的傳遞函數(shù)。音頻傳感器的標(biāo)稱音頻信號可以是標(biāo)稱麥克風(fēng)記錄，其被表示為1(f)并且被定義為:
[0066]M0 (f) = A(f)P(f, Ω。，60)L(f)H(f, Ω。，θ 0) K (f) S (f) X (f), (5)
[0067]其中A(f)表示電子設(shè)備220中的音頻處理；L(f)表示揚聲器頻率響應(yīng)；K(f)表示K(f, Ω，Θ)的簡化并且其表示從麥克風(fēng)126到收聽者210的傳遞函數(shù)；S(f)表示麥克風(fēng)的頻率響應(yīng)；并且X(f)表示原始(或未處理)的音頻信號?？梢灶A(yù)先確定P(f，Ω。，Θ。)，以使得
[0068]A(f)P(f, Ω。，60)L(f)H(f, Ω。，Θ。)= T (f),(6)
[0069]其中T(f)表示通過揚聲器124的音頻播放的目標(biāo)傳遞函數(shù)。
[0070]在步驟S430，估計電子設(shè)備周圍的環(huán)境噪聲。
[0071]根據(jù)本發(fā)明的實施例，電子設(shè)備周圍的環(huán)境噪聲可以通過多種方式估計，例如通過估計信噪比(SNR)來估計，這可以在現(xiàn)有技術(shù)中找到并且在此不再贅述。
[0072]在步驟S440，至少部分地基于第一音頻信號、標(biāo)稱音頻信號和環(huán)境噪聲來計算補償因子。
[0073]根據(jù)本發(fā)明的示例實施例，第一音頻信號是在例如麥克風(fēng)126的音頻傳感器處收集的音頻信號。在一些示例實施例中，第一音頻信號可以是麥克風(fēng)126的實時記錄MJf)，并且可以如下獲得:
[0074]Mc (f) = A(f)P(f, Ωε, 6c)L(f)H(f, Ω, θ ) K (f) S (f) X (f) +N(f)(7)
[0075]其中N(f)表示環(huán)境噪聲，P(f，Ω。，Θ J表示與當(dāng)前方向和距離處理相關(guān)聯(lián)的補償因子。為了實現(xiàn)目標(biāo)響應(yīng)，P(f，Ωε, Θ J可以被調(diào)整成新的補償因子P(f，Ωη，θη)，從而新的麥克風(fēng)記錄滿足
[0076]Mn(f)-N(f) =M0(f),(8)
[0077]其中
[0078]Mn (f) = A(f)P(f, Ωη, 6n)L(f)H(f, Ω, θ ) K (f) S (f) X (f) +N(f)(9)
[0079]根據(jù)式(5)、(7)、⑶和(9)，補償因子P(f，Ωη，θ η)可以如下計算:
[0080]P(f, Ωη，θη) = P(f, Ω。，9c) (M0(f)/(Mc(f)-N(f)))(10)
[0081]根據(jù)本發(fā)明的示例實施例，在步驟S440，可以例如通過確定其是否超過預(yù)定閾值來確定在步驟S430處估計的環(huán)境噪聲是否可忽略。如果環(huán)境噪聲沒有超過所述預(yù)定閾值，環(huán)境噪聲可以被忽略，并且可以至少部分地基于第一音頻信號MJf)和標(biāo)稱音頻信號MJf)來計算補償因子。例如，可以計算MJf)和1(f)之間的幅度差，并且可以通過將計算出的幅度差應(yīng)用于當(dāng)前的方向和距離處理P(f，Ωε, Θ J來獲取新的補償因子P(f，Ωη，θη)。
[0082]另一方面，如果環(huán)境噪聲不可忽略，例如，環(huán)境噪聲超過所述預(yù)定閾值，可以至少部分地基于第一音頻信號和標(biāo)稱音頻信號的時間平均來計算補償因子。在一些實施例中，第一音頻信號和標(biāo)稱音頻信號的時間平均可以如下獲取:
[0083]E[Mc(f)/M0(f)] = P(f, Ω。，0c)H(f, Ω。，6c)/(P(f, Ω。，0o)H(f, Ω。，θ0))
[0084]+E[N(f)/(A(f)P(f, Ω。，0o)L(f)H(f, Ω。，θ 0) K (f) S (f) X (f))]=
[0085]P(f, Ω。，6c)H(f, Ω。，6c)/(P(f, Ω。，0o)H(f, Ω。，θ。))(11)
[0086]其中Ε[]表示期望運算符，并且可以通過時間平均來近似。最后一個等式來自于如下事實，環(huán)境噪聲N(f)和音頻信號X(f)不相關(guān)。為了匹配目標(biāo)響應(yīng)，應(yīng)該滿足下式:
[0087]P(f, Ωη, 0n)H(f, Ω, Θ) =P(f, Ω0, 0o)H(f, Ω0, θ 0) (12)
[0088]根據(jù)式(11)和(12)，可以如下獲取新的補償因子P(f，Ωη，θ η):
[0089]P(f, Ωη，θη) = P(f, Ω。，0c)E[Mo(f)/(Mc(f)](13)
[0090]根據(jù)本發(fā)明的示例實施例，作為備選方案，如果環(huán)境噪聲不可忽略，替代直接匹配目標(biāo)響應(yīng)，也可以基于從揚聲器124到麥克風(fēng)126的聲學(xué)路徑的傳遞函數(shù)來計算補償因子，其中傳遞函數(shù)可以通過例如實時系統(tǒng)識別來估計。相關(guān)細(xì)節(jié)可以在關(guān)于步驟S320的描述中找到。
[0091]繼續(xù)參考圖4，方法400進行到在步驟S450，將補償因子應(yīng)用于將從電子設(shè)備輸出的第二音頻信號。通過將補償因子應(yīng)用到第二音頻信號，可以實現(xiàn)均衡過程。以此方式，可以實現(xiàn)聽覺方面的用戶體驗改善。
[0092]現(xiàn)在參考圖5，其示出根據(jù)本發(fā)明的示例實施例的用于面向用戶體驗的音頻信號處理的系統(tǒng)500的框圖。系統(tǒng)500至少可以在例如電子設(shè)備220處實現(xiàn)。如圖所示，系統(tǒng)500包括:音頻信號獲取單元510，被配置為獲取來自電子設(shè)備的音頻傳感器的第一音頻信號；計算單元520，被配置為基于第一音頻信號計算針對從電子設(shè)備到收聽者的聲學(xué)路徑的補償因子；以及應(yīng)用單元530，被配置為將補償因子應(yīng)用于將從電子設(shè)備輸出的第二音頻信號。
[0093]在一些不例實施例中，音頻傳感器可以包括麥克風(fēng)，并且音頻信號獲取單兀510可以包括:環(huán)境聲獲取單兀，被配置為獲取在麥克風(fēng)處收集的環(huán)境聲作為第一音頻信號。
[0094]在一些示例實施例中，音頻傳感器可以包括麥克風(fēng)陣列，并且音頻信號獲取單元510可以包括:狀態(tài)確定單元，被配置為確定麥克風(fēng)陣列的一個或多個麥克風(fēng)的狀態(tài)；波束成形單元，被配置為基于確定的狀態(tài)執(zhí)行針對電子設(shè)備的揚聲器的位置的波束成形；以及環(huán)境聲獲取單元，被配置為獲取在波束成形后的麥克風(fēng)陣列處收集的環(huán)境聲作為第一音頻信號。
[0095]在一些示例實施例中，音頻信號獲取單元510可以包括:輔助單元，被配置為使用以下設(shè)備中的至少一個來輔助獲取第一音頻信號:照相機、陀螺儀、距離傳感器、重力傳感器、加速計、溫度傳感器、光傳感器、磁場傳感器、壓力傳感器、濕度傳感器以及定位傳感器。
[0096]在一些示例實施例中，計算單元520可以包括:估算單元，被配置為基于聲學(xué)路徑的標(biāo)稱傳遞函數(shù)估算音頻傳感器的標(biāo)稱音頻信號；噪聲估計單元，被配置為估計電子設(shè)備周圍的環(huán)境噪聲。計算單元520可以被進一步配置為至少部分地基于第一音頻信號、標(biāo)稱音頻信號和環(huán)境噪聲來計算補償因子。
[0097]在一些示例實施例中，計算單元520可以包括:確定單元，被配置為確定環(huán)境噪聲是否超過預(yù)定閾值。計算單元520可以被進一步配置為，響應(yīng)于確定環(huán)境噪聲沒有超過預(yù)定閾值，至少部分地基于第一音頻信號和標(biāo)稱音頻信號來計算補償因子。計算單元520可以被進一步配置為，響應(yīng)于確定環(huán)境噪聲超過預(yù)定閾值，至少部分地基于第一音頻信號和標(biāo)稱音頻信號的時間平均來計算補償因子。
[0098]在一些示例實施例中，計算單元520可以包括:路徑估計單元，被配置為估計從電子設(shè)備的揚聲器到音頻傳感器的聲學(xué)路徑的傳遞函數(shù)。計算單元520可以被進一步配置為，至少部分地基于估計的傳遞函數(shù)來計算補償因子。
[0099]在一些示例實施例中，計算單元520可以包括:限度確定單元，被配置為確定針對補償因子的上限和下限。計算單元520可以被進一步配置為，在上限和下限之間的范圍內(nèi)計算補償因子。
[0100]在一些示例實施例中，限度確定單元可以包括:信息獲取單元，被配置為獲取關(guān)于電子設(shè)備的方向和距離的信息；以及選擇單元，被配置為基于關(guān)于方向和距離的信息選擇針對補償因子的多種預(yù)設(shè)。限度確定單元可以被進一步配置為基于多種預(yù)設(shè)來確定上限和下限。
[0101]在一些示例實施例中，限度確定單元可以包括:選擇單元，被配置為基于第一音頻信號來選擇針對補償因子的多種預(yù)設(shè)。限度確定單元可以被進一步配置為基于多種預(yù)設(shè)來確定上限和下限。
[0102]在一些示例實施例中，計算單元520可以包括以下中的至少一項:時域平滑單元，被配置為對補償因子進行時域平滑；以及頻域平滑單元，被配置為對補償因子進行頻域平滑。
[0103]系統(tǒng)500中所包括的單元可以利用各種方式來實現(xiàn)，包括軟件、硬件、固件或其任意組合。在一個實施例中，一個或多個單元可以使用軟件和/或固件來實現(xiàn)，例如存儲在存儲介質(zhì)上的機器可執(zhí)行指令。除了機器可執(zhí)行指令之外或者作為替代，系統(tǒng)500中的部分或者全部單元可以至少部分地由一個或多個硬件邏輯組件來實現(xiàn)。作為示例而非限制，可以使用的示范類型的硬件邏輯組件包括現(xiàn)場可編程門陣列(FPGA)、專用集成電路(ASIC)、專用標(biāo)準(zhǔn)品(ASSP)、片上系統(tǒng)(SOC)、復(fù)雜可編程邏輯器件(CPLD)，等等。
[0104]一般而言，本發(fā)明的各種示例實施例可以在硬件或?qū)Ｓ秒娐?、軟件、邏輯，或其任何組合中實施。某些方面可以在硬件中實施，而其他方面可以在可以由控制器、微處理器或其他計算設(shè)備執(zhí)行的固件或軟件中實施。當(dāng)本發(fā)明的實施例的各方面被圖示或描述為框圖、流程圖或使用某些其他圖形表示時，將理解此處描述的方框、裝置、系統(tǒng)、技術(shù)或方法可以作為非限制性的示例在硬件、軟件、固件、專用電路或邏輯、通用硬件或控制器或其他計算設(shè)備，或其某些組合中實施。
[0105]作為示例，本發(fā)明的實施林可以在機器可執(zhí)行指令的上下文中被描述，機器可執(zhí)行指令諸如包括在目標(biāo)的真實或者虛擬處理器上的器件中執(zhí)行的程序模塊中。一般而言，程序模塊包括例程、程序、庫、對象、類、組件、數(shù)據(jù)結(jié)構(gòu)等，其執(zhí)行特定的任務(wù)或者實現(xiàn)特定的抽象數(shù)據(jù)結(jié)構(gòu)。在各實施例中，程序模塊的功能可以在所描述的程序模塊之間合并或者分割。用于程序模塊的機器可執(zhí)行指令可以在本地或者分布式設(shè)備內(nèi)執(zhí)行。在分布式設(shè)備中，程序模塊可以位于本地和遠(yuǎn)程存儲介質(zhì)二者中。
[0106]用于實現(xiàn)本發(fā)明的方法的計算機程序代碼可以用一種或多種編程語言編寫。這些計算機程序代碼可以提供給通用計算機、專用計算機或其他可編程的數(shù)據(jù)處理裝置的處理器，使得程序代碼在被計算機或其他可編程的數(shù)據(jù)處理裝置執(zhí)行的時候，引起在流程圖和/或框圖中規(guī)定的功能/操作被實施。程序代碼可以完全在計算機上、部分在計算機上、作為獨立的軟件包、部分在計算機上且部分在遠(yuǎn)程計算機上或完全在遠(yuǎn)程計算機或服務(wù)器上執(zhí)行。
[0107]在本公開的上下文中，機器可讀介質(zhì)可以是包含或存儲用于或有關(guān)于指令執(zhí)行系統(tǒng)、裝置或設(shè)備的程序的任何有形介質(zhì)。機器可讀介質(zhì)可以是機器可讀信號介質(zhì)或機器可讀存儲介質(zhì)。機器可讀介質(zhì)可以包括但不限于電子的、磁的、光學(xué)的、電磁的、紅外的或半導(dǎo)體系統(tǒng)、裝置或設(shè)備，或其任意合適的組合。機器可讀存儲介質(zhì)的更詳細(xì)示例包括帶有一根或多根導(dǎo)線的電氣連接、便攜式計算機磁盤、硬盤、隨機存儲存取器(RAM)、只讀存儲器(ROM)、可擦除可編程只讀存儲器(EPR0M或閃存)、光纖、便攜式致密盤只讀存儲器(CD-ROM)、光存儲設(shè)備、磁存儲設(shè)備，或其任意合適的組合。
[0108]另外，盡管操作以特定順序被描繪，但這并不應(yīng)該理解為要求此類操作以示出的特定順序或以相繼順序完成，或者執(zhí)行所有圖示的操作以獲取期望結(jié)果。在某些情況下，多任務(wù)或并行處理會是有益的。同樣地，盡管上述討論包含了某些特定的實施細(xì)節(jié)，但這并不應(yīng)解釋為限制任何發(fā)明或權(quán)利要求的范圍，而應(yīng)解釋為對可以針對特定發(fā)明的特定實施例的描述。本說明書中在分開的實施例的上下文中描述的某些特征也可以整合實施在單個實施例中。反之，在單個實施例的上下文中描述的各種特征也可以分離地在多個實施例或在任意合適的子組合中實施。
[0109]盡管已經(jīng)以特定于結(jié)構(gòu)特征和/或方法動作的語言描述了主題，但是應(yīng)當(dāng)理解，所附權(quán)利要求中限定的主題并不限于上文描述的特定特征或動作。相反，上文描述的特定特征和動作是作為實現(xiàn)權(quán)利要求的示例形式而被公開的。
【主權(quán)項】
1.一種用于面向用戶體驗的音頻信號處理的方法，所述方法包括: 獲取來自電子設(shè)備的音頻傳感器的第一音頻信號； 基于所述第一音頻信號計算針對從所述電子設(shè)備到收聽者的聲學(xué)路徑的補償因子；以及 將所述補償因子應(yīng)用于將從所述電子設(shè)備輸出的第二音頻信號。2.根據(jù)權(quán)利要求1所述的方法，其中所述音頻傳感器包括麥克風(fēng)，并且其中獲取所述第一音頻信號包括: 獲取在所述麥克風(fēng)處收集的環(huán)境聲作為所述第一音頻信號。3.根據(jù)權(quán)利要求1所述的方法，其中所述音頻傳感器包括麥克風(fēng)陣列，并且其中獲取所述第一音頻信號包括: 確定所述麥克風(fēng)陣列的一個或多個麥克風(fēng)的狀態(tài)； 基于確定的所述狀態(tài)執(zhí)行針對所述電子設(shè)備的揚聲器的位置的波束成形；以及 獲取在波束成形后的麥克風(fēng)陣列處收集的環(huán)境聲作為所述第一音頻信號。4.根據(jù)權(quán)利要求1所述的方法，其中獲取所述第一音頻信號包括: 使用以下設(shè)備中的至少一個來輔助獲取所述第一音頻信號:照相機、陀螺儀、距離傳感器、重力傳感器、加速計、溫度傳感器、光傳感器、磁場傳感器、壓力傳感器、濕度傳感器以及定位傳感器。5.根據(jù)權(quán)利要求1所述的方法，其中計算所述補償因子包括: 基于所述聲學(xué)路徑的標(biāo)稱傳遞函數(shù)估算所述音頻傳感器的標(biāo)稱音頻信號； 估計所述電子設(shè)備周圍的環(huán)境噪聲；以及 至少部分地基于所述第一音頻信號、所述標(biāo)稱音頻信號和所述環(huán)境噪聲來計算所述補償因子。6.根據(jù)權(quán)利要求5所述的方法，其中計算所述補償因子包括: 確定所述環(huán)境噪聲是否超過預(yù)定閾值； 響應(yīng)于確定所述環(huán)境噪聲沒有超過所述預(yù)定閾值，至少部分地基于所述第一音頻信號和所述標(biāo)稱音頻信號來計算所述補償因子；以及 響應(yīng)于確定所述環(huán)境噪聲超過所述預(yù)定閾值，至少部分地基于所述第一音頻信號和所述標(biāo)稱音頻信號的時間平均來計算所述補償因子。7.根據(jù)權(quán)利要求1所述的方法，其中計算所述補償因子包括: 估計從所述電子設(shè)備的揚聲器到所述音頻傳感器的聲學(xué)路徑的傳遞函數(shù)；以及 至少部分地基于估計的所述傳遞函數(shù)來計算所述補償因子。8.根據(jù)權(quán)利要求1所述的方法，其中計算所述補償因子包括: 確定針對所述補償因子的上限和下限；以及 在所述上限和所述下限之間的范圍內(nèi)計算所述補償因子。9.根據(jù)權(quán)利要求8所述的方法，其中確定所述上限和所述下限包括: 獲取關(guān)于所述電子設(shè)備的方向和距離的信息； 基于關(guān)于方向和距離的所述信息選擇針對所述補償因子的多種預(yù)設(shè)；以及 基于所述多種預(yù)設(shè)來確定所述上限和所述下限。10.根據(jù)權(quán)利要求8所述的方法，其中確定所述上限和所述下限包括: 基于所述第一音頻信號來選擇針對所述補償因子的多種預(yù)設(shè)；以及 基于所述多種預(yù)設(shè)來確定所述上限和所述下限。11.根據(jù)權(quán)利要求1所述的方法，其中計算所述補償因子還包括以下中的至少一項: 對所述補償因子進行時域平滑；以及 對所述補償因子進行頻域平滑。12.一種用于面向用戶體驗的音頻信號處理的系統(tǒng)，所述系統(tǒng)包括: 音頻信號獲取單元，被配置為獲取來自電子設(shè)備的音頻傳感器的第一音頻信號； 計算單元，被配置為基于所述第一音頻信號計算針對從所述電子設(shè)備到收聽者的聲學(xué)路徑的補償因子；以及 應(yīng)用單元，被配置為將所述補償因子應(yīng)用于將從所述電子設(shè)備輸出的第二音頻信號。13.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述音頻傳感器包括麥克風(fēng)，并且其中所述音頻信號獲取單元包括: 環(huán)境聲獲取單元，被配置為獲取在所述麥克風(fēng)處收集的環(huán)境聲作為所述第一音頻信號。14.根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述音頻傳感器包括麥克風(fēng)陣列，并且其中所述音頻信號獲取單元包括: 狀態(tài)確定單元，被配置為確定所述麥克風(fēng)陣列的一個或多個麥克風(fēng)的狀態(tài)； 波束成形單元，被配置為基于確定的所述狀態(tài)執(zhí)行針對所述電子設(shè)備的揚聲器的位置的波束成形；以及 環(huán)境聲獲取單元，被配置為獲取在波束成形后的麥克風(fēng)陣列處收集的環(huán)境聲作為所述第一音頻信號。15.根據(jù)權(quán)利要求12-14中任一項所述的系統(tǒng)，其中所述音頻信號獲取單元包括: 輔助單元，被配置為使用以下設(shè)備中的至少一個來輔助獲取所述第一音頻信號:照相機、陀螺儀、距離傳感器、重力傳感器、加速計、溫度傳感器、光傳感器、磁場傳感器、壓力傳感器、濕度傳感器以及定位傳感器。16.根據(jù)權(quán)利要求12-14中任一項所述的系統(tǒng)，其中所述計算單元包括: 估算單元，被配置為基于所述聲學(xué)路徑的標(biāo)稱傳遞函數(shù)估算所述音頻傳感器的標(biāo)稱音頻信號； 噪聲估計單元，被配置為估計所述電子設(shè)備周圍的環(huán)境噪聲；以及其中所述計算單元被進一步配置為至少部分地基于所述第一音頻信號、所述標(biāo)稱音頻信號和所述環(huán)境噪聲來計算所述補償因子。17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中所述計算單元包括: 確定單元，被配置為確定所述環(huán)境噪聲是否超過預(yù)定閾值； 其中所述計算單元被進一步配置為，響應(yīng)于確定所述環(huán)境噪聲沒有超過所述預(yù)定閾值，至少部分地基于所述第一音頻信號和所述標(biāo)稱音頻信號來計算所述補償因子；以及其中所述計算單元被進一步配置為，響應(yīng)于確定所述環(huán)境噪聲超過所述預(yù)定閾值，至少部分地基于所述第一音頻信號和所述標(biāo)稱音頻信號的時間平均來計算所述補償因子。18.根據(jù)權(quán)利要求12-14中任一項所述的系統(tǒng)，其中所述計算單元包括: 路徑估計單元，被配置為估計從所述電子設(shè)備的揚聲器到所述音頻傳感器的聲學(xué)路徑的傳遞函數(shù)；以及 其中所述計算單元被進一步配置為，至少部分地基于估計的所述傳遞函數(shù)來計算所述補償因子。19.根據(jù)權(quán)利要求12-14中任一項所述的系統(tǒng)，其中所述計算單元包括: 限度確定單元，被配置為確定針對所述補償因子的上限和下限；以及 其中所述計算單元被進一步配置為，在所述上限和所述下限之間的范圍內(nèi)計算所述補償因子。20.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中所述限度確定單元包括: 信息獲取單元，被配置為獲取關(guān)于所述電子設(shè)備的方向和距離的信息； 選擇單元，被配置為基于關(guān)于方向和距離的所述信息選擇針對所述補償因子的多種預(yù)設(shè)；以及 其中所述限度確定單元被進一步配置為基于所述多種預(yù)設(shè)來確定所述上限和所述下限。21.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中所述限度確定單元包括: 選擇單元，被配置為基于所述第一音頻信號來選擇針對所述補償因子的多種預(yù)設(shè)；以及 其中所述限度確定單元被進一步配置為基于所述多種預(yù)設(shè)來確定所述上限和所述下限。22.根據(jù)權(quán)利要求12-14中任一項所述的系統(tǒng)，其中所述計算單元還包括以下中的至少一項: 時域平滑單元，被配置為對所述補償因子進行時域平滑；以及 頻域平滑單元，被配置為對所述補償因子進行頻域平滑。23.一種用于面向用戶體驗的音頻信號處理的計算機程序產(chǎn)品，所述計算機程序產(chǎn)品被有形地存儲在非瞬態(tài)計算機可讀介質(zhì)上，并且包括機器可執(zhí)行指令，所述指令在被執(zhí)行時使得所述機器執(zhí)行根據(jù)權(quán)利要求1到11中任一項所述的方法的步驟。
【文檔編號】G10L21/007GK105895112SQ201410562080
【公開日】2016年8月24日
【申請日】2014年10月17日
【發(fā)明人】馬桂林, 鄭羲光, 張晨, 孫學(xué)京, C·鮑爾
【申請人】杜比實驗室特許公司