音頻處理的制作方法
【專利摘要】用于空間合成的音頻處理系統(tǒng)(100)包括上混平臺(110)，所述上混平臺接收經(jīng)解碼的m聲道下混信號(X)并基于其輸出n聲道上混信號(Y)，其中2≤m＜n。上混平臺包括下混修改處理器(120)，所述下混修改處理器接收m聲道下混信號并輸出通過下混信號的交叉混合和非線性處理獲得的經(jīng)修改的下混信號(d1，d2)，并且還包括第一混合矩陣(130)，所述第一混合矩陣接收下混信號和經(jīng)修改的下混信號，形成只有下混信號聲道和經(jīng)修改的下混信號聲道的n聲道線性組合，并且將其輸出為n聲道上混信號。在實施例中，第一混合矩陣接受對由第一混合矩陣執(zhí)行的線性組合中的至少一個增益進行控制的一個或更多個混合參數(shù)(g，α1，…)。所述增益是次數(shù)≤2的多項式。
【專利說明】音頻處理
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求2012年2月24日提交的美國臨時專利申請No. 61/603, 001和2012 年5月11日提交的美國臨時專利申請No. 61/645,809的優(yōu)先權(quán)，其全文內(nèi)容通過參考被并 入于此。

【技術(shù)領(lǐng)域】
[0003] 在此公開的發(fā)明一般涉及多聲道音頻代碼化（code)，并且更精確地涉及用于參數(shù) 多聲道音頻編碼和解碼的技術(shù)。

【背景技術(shù)】
[0004] 已知參數(shù)立體聲和多聲道代碼化方法在收聽質(zhì)量（listening quality)方面是可 擴展（scalable)和有效的，這使得它們在低比特率應(yīng)用中尤其具有吸引力。參數(shù)代碼化方 法典型地提供了優(yōu)秀的代碼化效率，但是在被實現(xiàn)時有時候可能包括大量的計算或高度的 結(jié)構(gòu)復(fù)雜性（中間緩沖器，等等）。這類方法的示例可見EP 1410687B1。
[0005] 目前的立體聲代碼化方法可以從它們的帶寬效率、計算效率和/或魯棒性 (robustness)的角度來改善。對抗下混（downmix)信號中的缺陷的魯棒性在依賴會暫時使 信號失真的核心代碼化裝置的應(yīng)用中尤為相關(guān)。但是，在一些現(xiàn)有技術(shù)的系統(tǒng)中，下混信號 中的誤差可以傳播和增加。意圖用于大范圍的裝置（其中多功能便攜式消費裝置可能具有 最有限的處理能力）的代碼化方法也應(yīng)該在計算上是節(jié)約的，使得不需要指定裝置中可用 資源（無論是關(guān)于瞬間處理能力還是電池放電周期內(nèi)的能量使用總量）的不合理的份額。 有吸引力的代碼化方法還可使得能夠有至少一種簡單而有效的硬件方式的實現(xiàn)。決定這種 代碼化方法將如何消耗可用的計算、存儲和帶寬資源（其中它們最有效地為感知的收聽質(zhì) 量作出貢獻）是一件重要的任務(wù)，其可能包括耗時的收聽測試。

【專利附圖】

【附圖說明】
[0006] 現(xiàn)在將參照附圖描述本發(fā)明的實施例，其中：
[0007] 圖1是用于執(zhí)行空間合成（spatial synthesis)的音頻處理系統(tǒng)的概括性框圖；
[0008] 圖2示出了圖1中的系統(tǒng)的細(xì)節(jié)；
[0009] 圖3與圖1類似地示出了用于執(zhí)行空間合成的音頻處理系統(tǒng)；以及 [0010] 圖4示出了用于執(zhí)行空間分析的音頻處理系統(tǒng)。
[0011] 所有附圖都是示意性的，并且只一般性地示出了為了闡明本發(fā)明而必要的部分， 而其他的部分可以被省略或僅僅被暗示。除非另有說明，否則不同附圖中的相同的附圖標(biāo) 記指的是相同的部分。

【具體實施方式】
[0012] I .綜述
[0013] 本發(fā)明的示例性實施例提出了使得能夠進行經(jīng)參數(shù)代碼化的多聲道音頻的分析 和合成的方法和裝置。本發(fā)明的示例性實施例提供了空間合成方法、空間分析方法以及用 于執(zhí)行這些方法的裝置和計算機程序產(chǎn)品，其特征在獨立權(quán)利要求中得到闡述。
[0014] 本發(fā)明的第一示例性實施例提供了用于執(zhí)行空間合成的音頻處理系統(tǒng)。該系統(tǒng)包 括適于接收經(jīng)解碼的m聲道下混信號X以及基于該下混信號X輸出η聲道上混信號Y的上 混平臺（upmix stage)，其中2 < m < η。上混平臺包括：
[0015] ?下混修改處理器，接收m聲道下混信號并輸出通過下混信號的交叉混合（cross mix)和非線性處理而獲得的經(jīng)修改的下混信號D ;以及
[0016] ?第一混合矩陣，接收下混信號與經(jīng)修改的下混信號，形成只有下混信號聲道和 經(jīng)修改的下混信號聲道的η聲道線性組合，并將該線性組合輸出作為η聲道上混信號。
[0017] 根據(jù)本發(fā)明，除了下混信號和經(jīng)修改的下混信號之外沒有其他的信號對上混信號 作出貢獻?；旌暇仃囍苯訉ο禄煨盘栠M行操作，而不是在可能具有中間非線性操作（例 如，與解相關(guān)有關(guān)的處理）的情況下級聯(lián)混合矩陣。系統(tǒng)的這個結(jié)構(gòu)以及下面將描述的參 數(shù)化允許在編碼器中提供并行的預(yù)定義的下混。例如，下混信號不一定如典型地使用幀式 (frame-wise)信號自適應(yīng)的下混的情況一樣，通過級聯(lián)的（和可能是樹狀結(jié)構(gòu)的）參數(shù)提 取來獲得。作為替代，根據(jù)本發(fā)明的實施例，下混和參數(shù)提取可作為不需要交換任何信息和 /或不需要被同步的并行的獨立的處理來執(zhí)行。另外，與其中從中間的估計的聲道推導(dǎo)出輸 出聲道的現(xiàn)有技術(shù)的參數(shù)化方案相比，下面將描述的參數(shù)化在對抗下混信號中的缺陷方面 更有魯棒性。作為另一個優(yōu)點，該參數(shù)化可用廉價的硬件（例如，用有限數(shù)量的用于中間值 的緩沖空間）實現(xiàn)。
[0018] 第二示例性實施例提供了一種音頻處理系統(tǒng)，該音頻處理系統(tǒng)用于執(zhí)行空間分析 并且適于例如通過廣播、流動、傳輸或存儲將由合成系統(tǒng)解碼的經(jīng)編碼的音頻數(shù)據(jù)來與第 一示例性實施例合作。該系統(tǒng)包括下混平臺和參數(shù)提取器。根據(jù)本發(fā)明，下混平臺和參數(shù) 提取器獨立地操作。例如，即使參數(shù)提取器產(chǎn)生頻率變化的混合參數(shù)，下混平臺也可對音頻 信號的時域表示進行操作。這是可能的，因為下混平臺執(zhí)行預(yù)定義類型的下混操作，該預(yù)定 義類型已被參數(shù)提取器所知或被傳達給參數(shù)提取器。因為下混平臺在時域中處理信號，所 以它可以在基本上無算法延遲的情況下操作。如果下混平臺不施加要求能量守恒等的條件 的話尤其如此，其否則會必需其上實施該條件的面向塊的實現(xiàn)方式，其中下混信號被生成 為非零長度的片段。然而，在運用時域下混的實施例中，（η聲道）輸入和（m聲道）輸出之 間的任何延遲可通過分配充足的處理資源而被減少至基本上為0。
[0019] 在示例性實施例中，下混信號是2聲道立體聲信號并且上混信號是5. 1聲道信號 (η = 6)。
[0020] 在示例性實施例中，為了獲得上混信號中的空間上的左、右聲道（這些聲道可被 看作是上混信號中的一組聲道；它可以是上混信號中的聲道的合適的子集）而施加的所有 增益是混合參數(shù)中的一個或更多個混合參數(shù)的多項式，其中每個多項式的次數(shù)小于或等于 2。這提供了基于混合參數(shù)的混合矩陣元素的廉價計算。與其中不能在有限數(shù)量的操作中 準(zhǔn)確地計算出一些矩陣元素的參數(shù)化方案（例如矩陣元素是混合參數(shù)的三角函數(shù)）相比， 這方面的改善尤其顯著。為該組聲道使用作為低次多項式的增益的另一個優(yōu)點是所述增益 將包含這樣的項：每個項是至多兩個混合參數(shù)的乘積。這意味著誤差傳播的風(fēng)險低于增益 包含作為三個或更多個混合參數(shù)的乘積的項的情況。它還意味著具有其中三個或更多個 錯誤的混合參數(shù)結(jié)構(gòu)性地合作的項的風(fēng)險，如例如三個都大于它們的準(zhǔn)確值的混合參數(shù)的 乘積中的情況一樣。作為替代，根據(jù)本示例性實施例，有不同符號的誤差相抵消的可能性增 大。在該示例性實施例的特定變體中，為了獲得上混信號中的聲道而施加的任何增益是至 多2次的多項式。
[0021] 在示例性實施例中，向下混信號中的聲道施加的增益以與向經(jīng)修改的下混信號中 的聲道施加的增益不同的方式被編碼。在該示例性實施例中，向下混信號中的聲道施加的 增益是混合參數(shù)的2次多項式，而向經(jīng)修改的下混信號中的聲道施加的增益是混合參數(shù)的 〇次或1次多項式。通過這種方法，向經(jīng)修改的下混信號施加的增益不是如該情況那樣可控 制的，但是也將消耗更少量的帶寬或存儲空間。相反地，來自其中缺陷（例如，誤差、偽跡） 會最能聽得見的那些聲道的貢獻（contribution)被除了具有單個混合參數(shù)的項之外還包 含作為兩個混合參數(shù)的乘積的項的增益所控制。這允許細(xì)粒度的可控性和高級的統(tǒng)計建 模。從而，帶寬被更加有效地使用。
[0022] 在之前示例性實施例的進一步發(fā)展中，形成施加給經(jīng)修改的下混信號中的聲道的 增益的一部分的混合參數(shù)被均勻量化。
[0023] 在示例性實施例中，下混信號中和上混信號中空間對應(yīng)的聲道之間存在直接的關(guān) 系?？臻g對應(yīng)的聲道的示例可以為：（1)下混信號中的左聲道和上混中的所有左聲道（常 規(guī)左，前置左，中置左，左高度，左環(huán)繞，直接左環(huán)繞，后置左環(huán)繞，左寬）；（2)下混信號中的 中置聲道和上混中的中置聲道。該直接關(guān)系可以引起下混信號中的聲道的變化對上混信號 中的空間對應(yīng)的聲道具有獨立地可控制的影響。更準(zhǔn)確地說，從下混信號中的聲道到上混 信號中的空間對應(yīng)的聲道的貢獻通過按照下面的示例性公式改變獨立的混合參數(shù)g而單 獨地可控：
[0024]

【權(quán)利要求】
1. 一種用于執(zhí)行空間合成的音頻處理系統(tǒng)（100)， 該音頻處理系統(tǒng)包括上混平臺（110)，所述上混平臺接收經(jīng)解碼的m聲道下混信號（X) 并基于該經(jīng)解碼的m聲道下混信號輸出η聲道上混信號（Y)，其中2 < m < n，所述上混平 臺包括： 下混修改處理器（120)，接收m聲道下混信號，并輸出通過下混信號的交叉混合和非線 性處理獲得的經(jīng)修改的下混信號;D);以及 第一混合矩陣（130)，接收下混信號和經(jīng)修改的下混信號，形成只有下混信號聲道和經(jīng) 修改的下混信號聲道的η聲道線性組合并將該η聲道線性組合輸出為η聲道上混信號。
2. 如權(quán)利要求1所述的音頻處理系統(tǒng)，其中： 第一混合矩陣接受對由第一混合矩陣執(zhí)行的線性組合中的至少一個增益進行控制的 一個或更多個混合參數(shù)（Ct ^ Ct 2、α 3、β 1、β 2、β 3、g、4、k2)。
3. 如權(quán)利要求2所述的音頻處理系統(tǒng)，其中： 第一混合矩陣接受具有量化格式的混合參數(shù)； η聲道上混信號包括作為下混信號和經(jīng)修改的下混信號兩者的線性組合而獲得的一組 聲道；并且 在由第一混合矩陣執(zhí)行的線性組合中，為了獲得所述一組聲道而施加的所有增益是混 合參數(shù)中的一個或更多個混合參數(shù)的多項式，其中每個多項式的次數(shù)小于或等于2。
4. 如權(quán)利要求2所述的音頻處理系統(tǒng)，其中： 第一混合矩陣接受具有量化格式的混合參數(shù)；并且 在由第一混合矩陣執(zhí)行的線性組合中： 施加給下混信號中的聲道的所有增益是混合參數(shù)中的一個或更多個混合參數(shù)的多項 式，其中每個多項式的次數(shù)等于2。
5. 如權(quán)利要求2至4中任一權(quán)利要求所述的音頻處理系統(tǒng)，其中： 第一混合矩陣接受具有量化格式的混合參數(shù)；以及 施加給經(jīng)修改的下混信號中的聲道的所有增益是混合參數(shù)中的一個或更多個混合參 數(shù)的多項式，其中每個多項式的次數(shù)小于或等于1。
6. 如權(quán)利要求2所述的音頻處理系統(tǒng)，其中從下混信號中的聲道到上混信號中的空間 對應(yīng)的聲道的貢獻能借助混合參數(shù)（g)單獨地控制，并且到下混信號中的相同聲道的任何 其他貢獻能由均勻量化的混合參數(shù)（α ρ α 2、α 3、β ρ β 2、β 3)控制。
7. 如權(quán)利要求2至6中任一權(quán)利要求所述的音頻處理系統(tǒng)，其中： 混合參數(shù)中的一個混合參數(shù)對兩個增益參數(shù)（ki、k2)進行編碼；并且 由第一混合矩陣執(zhí)行的線性組合中的一個或更多個增益線性地依賴于這兩個增益參 數(shù)中的一個。
8. 如權(quán)利要求2至7中任一權(quán)利要求所述的音頻處理系統(tǒng)，其中： 上混平臺被布置為對下混信號和上混信號的頻域表示進行操作； 每個信號和每個混合參數(shù)被分割為時間幀并且包括多個頻率子帶，其中對于每個時間 幀所有信號共享第一單個子帶配置，并且對于每個時間幀所有混合參數(shù)共享第二單個子帶 配置；并且 第二子帶配置限定混合參數(shù)的頻率子帶，所述混合參數(shù)對在由第一混合矩陣執(zhí)行的所 述線性組合中施加給信號的相關(guān)聯(lián)的頻率子帶的增益進行控制。
9. 如權(quán)利要求8所述的音頻處理系統(tǒng)，其中混合參數(shù)中的至少一個的所有頻率子帶關(guān) 于均勻的分辨率被量化。
10. 如權(quán)利要求9所述的音頻處理系統(tǒng)，其中所述均勻的分辨率為混合參數(shù)的所有頻 率子帶所共有。
11. 如權(quán)利要求8至10中任一權(quán)利要求所述的音頻處理系統(tǒng)，還被配置為借助于第一 混合矩陣，以定性地均勻的方式為所有頻率子帶生成上混信號。
12. 如權(quán)利要求8至11中任一權(quán)利要求所述的音頻處理系統(tǒng)，被布置為對下混信號和 上混信號的部分復(fù)數(shù)頻域表示進行操作，其中所述部分復(fù)數(shù)頻域表示中的每一個包括： -在上頻率范圍中：第一頻譜成分，所述第一頻譜成分代表在多維空間的第一子空間 中表達的對應(yīng)信號的頻譜內(nèi)容，以及 -在下頻率范圍中：除了包括所述第一頻譜成分外，還包括第二頻譜成分，所述第二頻 譜成分代表在所述多維空間的第二子空間中表達的對應(yīng)信號的頻譜內(nèi)容，所述第二子空間 包括所述多維空間的不包括在第一子空間內(nèi)的一部分。
13. 如權(quán)利要求12所述的音頻處理系統(tǒng)，其中所述部分復(fù)數(shù)頻域表示中的每一個在上 頻率范圍內(nèi)被臨界采樣。
14. 如權(quán)利要求2至13中任一權(quán)利要求所述的音頻處理系統(tǒng)，下混修改處理器包括： 第二混合矩陣（121)，接收m聲道下混信號，形成下混信號聲道的線性組合，并且將該 線性組合輸出為m聲道中間信號（Z);以及 解相關(guān)器（122)，接收m聲道中間信號并輸出包括m個經(jīng)解相關(guān)的聲道的經(jīng)修改的下混 信號， 其中第二混合矩陣被配置為接受所述一個或更多個混合參數(shù)中的至少一個，所述至少 一個混合參數(shù)控制由第二混合矩陣執(zhí)行的線性混合中的至少一個系數(shù)。
15. 如權(quán)利要求14所述的音頻處理系統(tǒng)，其中解相關(guān)器包括m個相同地配置的子解相 關(guān)器（123、124)，每個子解相關(guān)器與各自的信號聲道相關(guān)聯(lián)。
16. 如權(quán)利要求14或15所述的音頻處理系統(tǒng)，其中解相關(guān)器包括至少一個具有實數(shù)值 系數(shù)的無限脈沖響應(yīng)格型濾波器，所述無限脈沖響應(yīng)格型濾波器接收中間信號的聲道并且 輸出經(jīng)修改的下混信號的聲道中的一個。
17. 如權(quán)利要求14至16中任一權(quán)利要求所述的音頻處理系統(tǒng)，其中解相關(guān)器包括偽跡 偽跡衰減器（125)，所述偽跡衰減器被配置為檢測中間信號中的聲音結(jié)尾，并且響應(yīng)于其采 取校正動作。
18. 如之前權(quán)利要求中的任一權(quán)利要求所述的音頻處理系統(tǒng)，還包括音頻解碼器 (140)，所述音頻解碼器接收對下混信號進行編碼的比特流（P)，并基于其輸出經(jīng)解碼的m 聲道下混信號。
19. 一種空間合成方法，包括如下步驟： 在下混修改處理器中通過下混信號的交叉混合和非線性處理來修改m聲道下混信號 (X)以獲得經(jīng)修改的下混信號（D);以及 在第一混合矩陣中形成下混信號和經(jīng)修改的下混信號的η聲道線性組合，并且將其輸 出為η聲道上混信號（Υ)，其中2彡m < η。
20. -種用于執(zhí)行空間分析的音頻處理系統(tǒng)（400)，該音頻處理系統(tǒng)包括： 下混平臺（410)，接收η聲道輸入信號（Y)，形成η聲道信號中的聲道的m聲道線性組 合，并且將其輸出為m聲道輸出信號（X)，其中2 <m< η ;以及 參數(shù)提取器（420)，接收η聲道輸入信號（Υ)，并且輸出對要由空間合成音頻處理系統(tǒng) 執(zhí)行的線性組合中的至少一個增益進行控制的一個或更多個混合參數(shù)（h、α2、a3、 β 2、β 3、g、ki、k2)，所述線性組合至少包括所述m聲道輸出信號和由m聲道輸出信號的非線 性處理產(chǎn)生的信號， 其中下混平臺和參數(shù)提取器獨立地操作。
21. 如權(quán)利要求20所述的音頻處理系統(tǒng)，其中下混平臺和參數(shù)提取器都能夠利用定量 地控制下混平臺中所述m聲道線性組合的形成的下混規(guī)范。
22. 如權(quán)利要求20或21所述的音頻處理系統(tǒng)，其中下混平臺被布置為對信號的時域表 示進行操作。
23. -種空間分析方法，包括如下步驟： 在下混平臺中形成η聲道輸入信號（Y)中的聲道的m聲道線性組合，以獲得m聲道輸 出信號（X)，其中2彡m<n ;以及 在與下混平臺獨立操作的參數(shù)提取器中，提取對要在空間合成期間執(zhí)行的線性組合中 的至少一個增益進行控制的一個或更多個混合參數(shù)（α ρ α 2、α 3、β ρ β 2、β 3、g、kp k2)， 所述線性組合至少包括m聲道輸出信號和由m聲道輸出信號的非線性處理產(chǎn)生的信號。
24. -種計算機程序產(chǎn)品，包括具有用于執(zhí)行權(quán)利要求19或23的方法的計算機可讀指 令的計算機可讀介質(zhì)。
25. 如之前權(quán)利要求中的任一權(quán)利要求所述的方法或裝置，其中m = 2且η = 6。
【文檔編號】G10L19/008GK104160442SQ201380010478
【公開日】2014年11月19日 申請日期:2013年2月22日 優(yōu)先權(quán)日:2012年2月24日
【發(fā)明者】K·克約爾林, H·普恩哈根, K·J·羅德恩, L·塞勒斯德姆, L·維爾莫斯 申請人:杜比國際公司