用于處理已編碼多聲道音頻信號(hào)的音頻信號(hào)處理器和用于音頻信號(hào)處理器的方法
【專利摘要】一種音頻信號(hào)處理器接收多個(gè)已編碼多聲道音頻信號(hào)。多聲道解碼器（105）對(duì)第一已編碼多聲道信號(hào)進(jìn)行解碼，以生成第一已解碼多聲道信號(hào)。生成器（109）通過(guò)從至少第二已編碼多聲道音頻信號(hào)選擇音頻編碼數(shù)據(jù)來(lái)生成另外的已編碼音頻信號(hào)，使得包括來(lái)自第二已編碼多聲道音頻信號(hào)的音頻編碼數(shù)據(jù)的該另外的已編碼音頻信號(hào)的聲道數(shù)目小于第二已編碼多聲道信號(hào)中的聲道數(shù)目。因此，在已編碼數(shù)據(jù)域中實(shí)施了聲道減少。另外的解碼器（111）通過(guò)對(duì)所述另外的已編碼音頻信號(hào)進(jìn)行解碼來(lái)生成另外的已解碼信號(hào)。合并器（107）將第一已解碼多聲道信號(hào)與所述另外的已解碼信號(hào)進(jìn)行合并來(lái)生成多聲道輸出信號(hào)?？梢栽诒３值蛷?fù)雜度和資源使用的同時(shí)提供激動(dòng)人心的用戶體驗(yàn)。
【專利說(shuō)明】用于處理已編碼多聲道音頻信號(hào)的音頻信號(hào)處理器和用于音頻信號(hào)處理器的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種音頻信號(hào)處理器和一種用于音頻信號(hào)處理器的方法，特別但是非排他性地，涉及多聲道信號(hào)的同時(shí)再現(xiàn)。
【背景技術(shù)】
[0002]近幾十年來(lái)，音頻供應(yīng)品的種類和靈活度顯著增加。實(shí)際上，空間音頻、數(shù)字音頻編碼和解碼的引入、音頻設(shè)備的小型化等導(dǎo)致了以許多不同方式消費(fèi)音頻。此外，額外的機(jī)會(huì)和功能導(dǎo)致了新的用戶體驗(yàn)以及使用場(chǎng)景在發(fā)展。
[0003]例如，音頻設(shè)備已經(jīng)發(fā)展，其允許多個(gè)源信號(hào)被同時(shí)再現(xiàn)但是在空間上被區(qū)分開。這樣的音頻設(shè)備可以對(duì)多個(gè)源信號(hào)進(jìn)行解碼以提供已解碼的信號(hào)，然后，對(duì)所述已解碼的信號(hào)進(jìn)行空間處理，使得它們對(duì)于聽者而言顯得像源自不同方向。這樣的音頻播放器的不例可以在 Harma, A.和 S.van de Par 的文章 “Spatial Track TransitionEffects for Headphone Listening，，； IOth Int.Conf.Digital Audio Effects(DAFxlO) ; 2007;Bordeaux;法國(guó)中找到。
[0004]然而，盡管這樣的處理傾向于提供有吸引力的用戶體驗(yàn)，但是其還傾向于具有關(guān)聯(lián)的缺陷。特別地，所述處理的復(fù)雜度和計(jì)算要求傾向于是極高的，因而需要相對(duì)強(qiáng)大的處理平臺(tái)。這增大了成本和功率消耗，而這對(duì)于消費(fèi)品市場(chǎng)的小型便攜式音頻播放器而言尤其是不希望的。可替換地，通過(guò)對(duì)所述處理的品質(zhì)進(jìn)行折衷處理或者限制能夠被處理的音頻源信號(hào)的數(shù)目，來(lái)降低復(fù)雜度和處理要求。然而，這導(dǎo)致降級(jí)的用戶體驗(yàn)。
[0005]因此，一種改進(jìn)的方法將是有利的，尤其是一種允許靈活度增大、復(fù)雜度降低、計(jì)算要求降低、操作便利、功率消耗降低、音頻質(zhì)量改善、用戶體驗(yàn)改善和/或性能改善的方法將是有利的。

【發(fā)明內(nèi)容】

[0006]相應(yīng)地，本發(fā)明試圖更好地以個(gè)別或任何組合的方式來(lái)減輕、減弱或消除以上提及的缺點(diǎn)中的一個(gè)或多個(gè)。
[0007]根據(jù)本發(fā)明的一個(gè)方面，提供了一種音頻信號(hào)處理器，包括:接收器，用于接收多個(gè)已編碼多聲道音頻信號(hào)；多聲道解碼器，用于對(duì)第一已編碼多聲道信號(hào)進(jìn)行解碼，以生成第一已解碼多聲道信號(hào)；生成器，用于通過(guò)從所述多個(gè)已編碼多聲道音頻信號(hào)中的至少第二已編碼多聲道音頻信號(hào)選擇音頻編碼數(shù)據(jù)來(lái)生成另外的已編碼音頻信號(hào)，使得包括來(lái)自第二已編碼多聲道音頻信號(hào)的音頻編碼數(shù)據(jù)的所述另外的已編碼音頻信號(hào)的聲道數(shù)目小于第二已編碼多聲道信號(hào)中的聲道數(shù)目；另外的解碼器，用于通過(guò)對(duì)所述另外的已編碼音頻信號(hào)進(jìn)行解碼來(lái)生成另外的已解碼音頻信號(hào)；以及合并器，用于將至少第一已解碼多聲道信號(hào)與所述另外的已解碼音頻信號(hào)進(jìn)行合并來(lái)生成多聲道輸出信號(hào)。
[0008]本發(fā)明可以提供對(duì)多個(gè)已編碼多聲道音頻信號(hào)的改善處理。特別地，可以在許多場(chǎng)景下實(shí)現(xiàn)復(fù)雜度降低和/或計(jì)算資源減少?？梢陨砂▉?lái)自多個(gè)多聲道音頻信號(hào)的音頻的輸出信號(hào)，而無(wú)需各個(gè)多聲道信號(hào)的全多聲道解碼?？梢源蟠蟮販p少計(jì)算資源使用，從而允許在多聲道輸出信號(hào)中包括極大量的多聲道信號(hào)。在許多場(chǎng)景下，可以實(shí)現(xiàn)用戶體驗(yàn)改善、成本降低和/或?qū)崿F(xiàn)方式便利。
[0009]在一些實(shí)施例中，音頻信號(hào)處理器還可以包括用于例如使用耳機(jī)來(lái)再現(xiàn)多聲道輸出信號(hào)的裝置。
[0010]已編碼多聲道音頻信號(hào)可以被編碼為立體聲信號(hào)。在一些實(shí)施例中，所述多個(gè)已編碼多聲道音頻信號(hào)的多聲道信號(hào)具有相等數(shù)目的聲道，并且可以具體地是已編碼立體聲信號(hào)。
[0011]所述另外的已編碼音頻信號(hào)可以是具有比第二已編碼多聲道音頻信號(hào)的聲道少的聲道的多聲道信號(hào)。在其他實(shí)施例中，所述另外的已編碼音頻信號(hào)可以具有與第二已編碼多聲道音頻信號(hào)一樣多或者甚至更多的聲道，但是來(lái)自第二已編碼多聲道音頻信號(hào)的編碼數(shù)據(jù)僅僅被包括在這些聲道的子集中，其中，所述子集包括比第二已編碼多聲道音頻信號(hào)的聲道少的聲道。
[0012]生成器實(shí)現(xiàn)了代表第二已編碼多聲道音頻信號(hào)的音頻源的已編碼音頻數(shù)據(jù)的聲道數(shù)目上的減少。具體地，生成器可以丟棄第二已編碼多聲道音頻信號(hào)的聲道中的一個(gè)或多個(gè)。
[0013]典型地，第二已編碼多聲道信號(hào)不同于第一已編碼多聲道信號(hào)。
[0014]根據(jù)本發(fā)明的可選特征，生成器被布置為，通過(guò)從第二已編碼多聲道信號(hào)的單個(gè)聲道選擇音頻編碼數(shù)據(jù)來(lái)生成所述另外的已編碼音頻信號(hào)的第一聲道。
[0015]這可以便于實(shí)現(xiàn)和/或降低復(fù)雜度和/或減少計(jì)算資源。特別地，其可以允許低復(fù)雜度的音頻數(shù)據(jù)的提取/選擇，并且不必對(duì)編碼數(shù)據(jù)進(jìn)行任何處理。生成器可以在生成所述另外的已編碼音頻信號(hào)時(shí)從僅僅單個(gè)聲道選擇編碼數(shù)據(jù)，并且可以忽略或丟棄第二已編碼多聲道音頻信號(hào)的所有其他聲道。
[0016]第一聲道可以包括來(lái)自第二已編碼多聲道音頻信號(hào)的僅僅單個(gè)聲道的編碼數(shù)據(jù)。
[0017]根據(jù)本發(fā)明的可選特征，所述另外的已編碼音頻信號(hào)是多聲道信號(hào)，并且生成器被布置為，通過(guò)從第三已編碼多聲道信號(hào)的單個(gè)聲道選擇音頻編碼數(shù)據(jù)來(lái)生成所述另外的已編碼音頻信號(hào)的第二聲道。
[0018]所述另外的已編碼音頻信號(hào)可以包括來(lái)自多個(gè)已編碼多聲道信號(hào)的編碼數(shù)據(jù)。所述另外的已編碼音頻信號(hào)可以具體地是這樣的多聲道信號(hào)，其具有的聲道數(shù)目與第一已編碼多聲道信號(hào)的聲道數(shù)目相同，但是具有來(lái)自不同已編碼多聲道信號(hào)的聲道的子集。
[0019]所述另外的解碼器可以是多聲道解碼器，并且可以對(duì)包括來(lái)自不同已編碼多聲道信號(hào)的聲道的另外的已編碼音頻信號(hào)實(shí)施單一的多聲道解碼。因此，單一的多聲道解碼可以同時(shí)對(duì)來(lái)自多個(gè)所接收的已編碼多聲道信號(hào)的音頻進(jìn)行解碼。所述另外的解碼器可以與用于對(duì)第一已編碼多聲道信號(hào)進(jìn)行解碼的多聲道解碼器相同。
[0020]根據(jù)本發(fā)明的可選特征，所述另外的已編碼音頻信號(hào)的單個(gè)聲道的已編碼音頻數(shù)據(jù)與第二已編碼多聲道信號(hào)的單個(gè)聲道的已編碼音頻數(shù)據(jù)相同。
[0021]這可以允許特別高效且典型的低復(fù)雜度和/或低計(jì)算資源的實(shí)現(xiàn)方式。在一些實(shí)施例中，可以簡(jiǎn)單地通過(guò)復(fù)制來(lái)自第二已編碼多聲道信號(hào)的單個(gè)聲道的所有音頻編碼數(shù)據(jù)來(lái)生成所述另外的已編碼音頻信號(hào)的單個(gè)聲道。
[0022]根據(jù)本發(fā)明的可選特征，第二已編碼多聲道信號(hào)的單個(gè)聲道是以下項(xiàng)中的至少一個(gè):中側(cè)立體聲信號(hào)的中聲道；左右式立體聲信號(hào)的左聲道；以及左右式立體聲信號(hào)的右聲道。
[0023]這可以提供特別有利的操作、性能和/或?qū)崿F(xiàn)方式。特別地，它可以在提供極度有益的用戶體驗(yàn)的同時(shí)，允許低復(fù)雜度和低資源要求的實(shí)現(xiàn)方式。
[0024]根據(jù)本發(fā)明的可選特征，所述另外的已編碼音頻信號(hào)是單聲道信號(hào)。
[0025]這可以提供特別有利的操作、性能和/或?qū)崿F(xiàn)方式。特別地，它可以在提供極度有益的用戶體驗(yàn)的同時(shí)，允許低復(fù)雜度和資源要求的實(shí)現(xiàn)方式。
[0026]根據(jù)本發(fā)明的可選特征，所述另外的已編碼音頻信號(hào)是具有不同聲道的多聲道信號(hào)，所述不同聲道包括來(lái)自所述多個(gè)已編碼多聲道音頻信號(hào)中的不同已編碼多聲道音頻信號(hào)的音頻編碼數(shù)據(jù)。
[0027]這可以提供特別有利的操作、性能和/或?qū)崿F(xiàn)方式。特別地，它可以在提供極度有益的用戶體驗(yàn)的同時(shí)，允許低復(fù)雜度和資源要求的實(shí)現(xiàn)方式。在許多場(chǎng)景下，該方法可以通過(guò)使用用于同時(shí)解碼與多個(gè)不同聲源對(duì)應(yīng)的音頻的多聲道解碼器來(lái)允許特別高效的操作。
[0028]根據(jù)本發(fā)明的可選特征，所述另外的已編碼音頻信號(hào)的每個(gè)聲道對(duì)應(yīng)于所述不同已編碼多聲道音頻信號(hào)之一的一個(gè)聲道。
[0029]這可以允許特別高效的實(shí)現(xiàn)方式。
[0030]根據(jù)本發(fā)明的可選特征，生成器被布置為，從多個(gè)已編碼多聲道音頻信號(hào)選擇用于所述另外的已編碼音頻信號(hào)的一個(gè)聲道的音頻編碼數(shù)據(jù)。
[0031]這可以允許高效的實(shí)現(xiàn)方式，尤其是在許多場(chǎng)景下，這可以大大地減少所需要的解碼計(jì)算要求?？梢酝ㄟ^(guò)從來(lái)自不同已編碼多聲道音頻信號(hào)的兩個(gè)(或更多個(gè))聲道選擇編碼數(shù)據(jù)來(lái)生成所述另外的已編碼音頻信號(hào)的單個(gè)聲道。在連續(xù)編碼段中，編碼數(shù)據(jù)的選擇可以例如在兩個(gè)已編碼多聲道音頻信號(hào)之間交替。在一些場(chǎng)景下，可以應(yīng)用更復(fù)雜的選擇，
如，取決于所述多個(gè)已編碼多聲道音頻信號(hào)的聲道中的至少一個(gè)的音頻編碼數(shù)據(jù)的特性的選擇。例如，可以選擇與最強(qiáng)信號(hào)相對(duì)應(yīng)的編碼數(shù)據(jù)。
[0032]根據(jù)本發(fā)明的可選特征，生成器被布置為，通過(guò)修改第二已編碼多聲道音頻信號(hào)的編碼控制數(shù)據(jù)以對(duì)應(yīng)于所述另外的已編碼音頻數(shù)據(jù)的已編碼音頻數(shù)據(jù)，來(lái)生成所述另外的已編碼音頻信號(hào)的編碼控制數(shù)據(jù)。
[0033]這可以便于操作并且允許標(biāo)準(zhǔn)裝置，比如，標(biāo)準(zhǔn)解碼器功能，來(lái)處理所述另外的已編碼音頻信號(hào)。例如，可以將指示數(shù)據(jù)速率的報(bào)頭信息從原始已編碼多聲道音頻信號(hào)的數(shù)據(jù)修改為反應(yīng)在生成所述另外的已編碼音頻信號(hào)時(shí)的音頻編碼數(shù)據(jù)的選擇的值。例如，原始已編碼多聲道音頻信號(hào)可以是中側(cè)信號(hào)并且所述另外的已編碼音頻信號(hào)可以被生成為立體聲信號(hào)，其中每個(gè)信號(hào)包括針對(duì)兩個(gè)不同已編碼多聲道音頻信號(hào)的中聲道的編碼數(shù)據(jù)。在這種情況下，所述另外的已編碼音頻信號(hào)的數(shù)據(jù)速率將高于這兩個(gè)中側(cè)已編碼多聲道音頻信號(hào)的數(shù)據(jù)速率，并且報(bào)頭數(shù)據(jù)可以被修改以對(duì)此進(jìn)行反映。
[0034]根據(jù)本發(fā)明的可選特征，音頻信號(hào)處理器還包括:用戶接口，用于接收用戶輸入；空間模型，表示虛擬用戶位置以及與所述多個(gè)已編碼多聲道音頻信號(hào)相關(guān)聯(lián)的虛擬空間聲源位置；以及其中，生成器被布置為，響應(yīng)于空間模型選擇第一已編碼多聲道信號(hào)和第二已編碼多聲道音頻信號(hào)。
[0035]這可以允許以降低的復(fù)雜度提供非常有吸引力的用戶體驗(yàn)。具體地，在解碼所需的復(fù)雜度越低時(shí)，對(duì)于模型而言可以再現(xiàn)的虛擬聲源位置就越多，從而提供增強(qiáng)的用戶體驗(yàn)。
[0036]在一些實(shí)施例中，用戶接口可以包括用于呈現(xiàn)空間模型的表示的顯示器。
[0037]根據(jù)本發(fā)明的可選特征，合并器被布置為，響應(yīng)于空間模型，將空間處理應(yīng)用于至少所述另外的已解碼音頻信號(hào)。
[0038]這可以提供高度有益的用戶體驗(yàn)，其具有在聽覺上提供的模型空間表示。
[0039]特別地，如果用戶接口包括用于呈現(xiàn)空間模型的表示的顯示器，則可以提供合并的音頻視覺空間用戶體驗(yàn)。此外，這可以在不需要對(duì)將被同時(shí)在空間上再現(xiàn)的所有聲源進(jìn)行全解碼的情況下實(shí)現(xiàn)。因此，所述另外的已編碼音頻信號(hào)的生成不僅可以降低用于解碼的復(fù)雜度和資源使用，而且還可以便利且降低用于空間再現(xiàn)的復(fù)雜度和資源使用。
[0040]根據(jù)本發(fā)明的可選特征，所述另外的已解碼音頻信號(hào)是多聲道信號(hào)并且所述空間處理包括對(duì)所述另外的已解碼音頻信號(hào)的不同聲道進(jìn)行空間處理，以對(duì)應(yīng)于空間模型的不同虛擬空間聲源位置。
[0041]這可以提供高度有益的用戶體驗(yàn)，其具有在聽覺上提供的模型空間表示。
[0042]根據(jù)本發(fā)明的可選特征，合并器被布置為，響應(yīng)于虛擬用戶位置和與第二已編碼多聲道音頻信號(hào)相關(guān)聯(lián)的虛擬空間聲源位置之間的距離，選擇第二已編碼多聲道音頻信號(hào)。
[0043]這可以提供高度有益的用戶體驗(yàn)，其具有在聽覺上提供的模型空間表示。
[0044]根據(jù)本發(fā)明的一個(gè)方面，提供了一種處理音頻信號(hào)的方法，包括:接收多個(gè)已編碼多聲道音頻信號(hào)；對(duì)第一已編碼多聲道信號(hào)進(jìn)行解碼，以生成第一已解碼多聲道信號(hào)；通過(guò)從所述多個(gè)已編碼多聲道音頻信號(hào)中的至少第二已編碼多聲道音頻信號(hào)選擇音頻編碼數(shù)據(jù)來(lái)生成另外的已編碼音頻信號(hào)，使得包括來(lái)自第二已編碼多聲道音頻信號(hào)的音頻編碼數(shù)據(jù)的所述另外的已編碼音頻信號(hào)的聲道數(shù)目小于第二已編碼多聲道信號(hào)中的聲道數(shù)目；通過(guò)對(duì)所述另外的已編碼音頻信號(hào)進(jìn)行解碼來(lái)生成另外的已解碼音頻信號(hào)；以及將至少第一已解碼多聲道信號(hào)與所述另外的已解碼音頻信號(hào)進(jìn)行合并來(lái)生成多聲道輸出信號(hào)。
[0045]從下文中描述的(多個(gè))實(shí)施例，本發(fā)明的這些和其他方面、特征和優(yōu)點(diǎn)將顯而易見，并且通過(guò)參考下文中描述的(多個(gè))實(shí)施例，本發(fā)明的這些和其他方面、特征和優(yōu)點(diǎn)得以闡明。
【專利附圖】

【附圖說(shuō)明】
[0046]將參照附圖僅僅以舉例的方式描述本發(fā)明的實(shí)施例，其中:
圖1圖示了根據(jù)本發(fā)明某些實(shí)施例的音頻信號(hào)處理器的部件的示例；
圖2圖示了根據(jù)本發(fā)明某些實(shí)施例的音頻信號(hào)處理器的信號(hào)合并器的部件的示例；
圖3圖示了根據(jù)本發(fā)明某些實(shí)施例的音頻信號(hào)處理器的部件的示例；以及 圖4圖示了音頻項(xiàng)集合的空間模型的視覺表示的示例。
【具體實(shí)施方式】[0047]以下描述集中于本發(fā)明這樣的實(shí)施例，其可用于由諸如便攜式音頻播放器之類的音頻播放器再現(xiàn)立體聲音頻項(xiàng)。然而，應(yīng)意識(shí)到，本發(fā)明不限于本應(yīng)用，而是可以應(yīng)用于許多其他音頻信號(hào)和系統(tǒng)。
[0048]圖1圖示了根據(jù)本發(fā)明某些實(shí)施例的音頻信號(hào)處理器的示例。
[0049]圖1的音頻信號(hào)處理器具體地被布置為處理與多個(gè)聲源相對(duì)應(yīng)的多個(gè)已編碼多聲道信號(hào)。具體地，生成輸出信號(hào)，該輸出信號(hào)包括來(lái)自多個(gè)輸入已編碼多聲道信號(hào)的音頻分量。每個(gè)已編碼多聲道音頻信號(hào)可以是一個(gè)音頻項(xiàng)或?qū)嶓w，比如一個(gè)已編碼音頻文件(例如，MP3編碼歌曲)。
[0050]在該具體示例中，還可以引入空間處理，使得可以在得到的信號(hào)中基于不同聲源/音頻項(xiàng)的空間特性將所述不同聲源/音頻項(xiàng)區(qū)分開。例如，可以再現(xiàn)不同的歌曲，使得它們被感知為源自不同方向。
[0051]因此，在圖1的系統(tǒng)中，從多個(gè)輸入信號(hào)生成合成輸出信號(hào)，使得聽者感覺到具有多個(gè)同時(shí)聲源的傾聽環(huán)境。例如，可以同時(shí)呈現(xiàn)例如許多MP3編碼歌曲。因此，將向該聽者提供多個(gè)同時(shí)音頻項(xiàng)。
[0052]按照慣例，通過(guò)對(duì)所有多聲道信號(hào)進(jìn)行解碼以及后來(lái)對(duì)已解碼的多聲道信號(hào)進(jìn)行逐聲道混合，來(lái)實(shí)現(xiàn)同時(shí)多聲道信號(hào)的再現(xiàn)。例如，當(dāng)同時(shí)再現(xiàn)所接收的兩個(gè)已編碼立體聲信號(hào)時(shí)，典型地，兩個(gè)立體聲解碼器用于生成已解碼的立體聲信號(hào)。然后，這兩個(gè)已解碼的左聲道被混合在一起，以生成左輸出聲道。類似地，這兩個(gè)已解碼的右聲道被混合在一起，以生成右輸出聲道。然而，這樣的方法在計(jì)算上有要求并且相對(duì)復(fù)雜。實(shí)際上，在許多應(yīng)用中，希望的是，具有可能三或四個(gè)同時(shí)再現(xiàn)聲源/音頻項(xiàng)，因而需要三或四個(gè)同時(shí)的多聲道解碼器。然而，典型地，關(guān)聯(lián)的計(jì)算需求遠(yuǎn)遠(yuǎn)高于典型地對(duì)于例如便攜式應(yīng)用(比如，例如便攜式媒體或音頻播放器)而言可行的計(jì)算需求。實(shí)際上，在這樣的設(shè)備中，典型地，對(duì)于能夠同時(shí)操作的解碼器的數(shù)目，存在限制(例如3個(gè))。
[0053]發(fā)明人已經(jīng)意識(shí)到，對(duì)于其中同時(shí)向聽者呈現(xiàn)多個(gè)多聲道聲源的許多應(yīng)用而言，可能是可接受或?qū)嶋H上有利的是，按照全多聲道再現(xiàn)來(lái)提供(多個(gè))主源，但是可以用數(shù)目減少的聲道再現(xiàn)其他源，具體地，在許多場(chǎng)景下，可以將其他源再現(xiàn)為(多個(gè))單聲道信號(hào)。圖1的系統(tǒng)將這一事實(shí)與用于生成這樣的輸出信號(hào)的特定方法一起使用，以大大地降低復(fù)雜度和減少計(jì)算資源。特別地，圖1的系統(tǒng)被布置為選擇輸入多聲道信號(hào)中的一個(gè)(或多個(gè))被再現(xiàn)為全多聲道信號(hào)，包括應(yīng)用全多聲道解碼和適當(dāng)處理。然而，對(duì)于(多個(gè))其他多聲道信號(hào)，在解碼之前，通過(guò)直接操控多聲道信號(hào)的音頻編碼數(shù)據(jù)來(lái)實(shí)施聲道數(shù)目上的減少。之后，僅僅得到的已編碼聲道被解碼。因?yàn)榕c解碼相關(guān)聯(lián)的復(fù)雜度和資源需求典型地是全局復(fù)雜度和資源使用中最重要的因素之一，所以這導(dǎo)致非常顯著地降低了全局復(fù)雜度和計(jì)算資源使用。
[0054]圖1的音頻信號(hào)處理器包括接收器101，該接收器101接收多個(gè)已編碼多聲道音頻信號(hào)。因此，大量輸入信號(hào)被接收，其中，每個(gè)輸入信號(hào)都是代表聲源的多聲道信號(hào)。在該示例中，每個(gè)輸入信號(hào)都是獨(dú)立音頻項(xiàng)，并且具體是音頻文件，比如歌曲。在該示例中，輸入信號(hào)代表分離且無(wú)關(guān)的聲源。因此，每個(gè)輸入信號(hào)代表與其他輸入信號(hào)的聲場(chǎng)或環(huán)境(soundstage or environment)無(wú)關(guān)的聲場(chǎng)或環(huán)境。相應(yīng)地,在輸入信號(hào)之間不存在空間、音頻和/或感知相關(guān)，但是這些可以被獨(dú)立地再現(xiàn)而不用對(duì)其他輸入信號(hào)中的任何一個(gè)進(jìn)行任何考慮。
[0055]此外，每個(gè)輸入信號(hào)根據(jù)適當(dāng)編碼標(biāo)準(zhǔn)或算法進(jìn)行編碼。例如，可以根據(jù)MP3、AAC等編碼對(duì)數(shù)據(jù)進(jìn)行編碼。具體地，該編碼是有損耗的有感知的多聲道音頻編碼。
[0056]該輸入多聲道信號(hào)可以是立體聲信號(hào)或可以包括更多聲道，比如例如，對(duì)于五或七聲道環(huán)繞信號(hào)就是這種情況。以下描述將集中于其中輸入信號(hào)是立體聲信號(hào)的示例，但是應(yīng)意識(shí)到所描述的原理和方法等同地應(yīng)用于具有更多聲道的輸入信號(hào)。
[0057]在該示例中，具體地，從在其上存儲(chǔ)了極大量的已編碼音頻文件(比如，MP3或AAC編碼歌曲)的內(nèi)部存儲(chǔ)介質(zhì)接收輸入信號(hào)。在該示例中，接收器101可以包括用于從存儲(chǔ)介質(zhì)提取音頻文件的功能。存儲(chǔ)介質(zhì)可以例如是硬盤或半永久性存儲(chǔ)器?？梢酝ㄟ^(guò)經(jīng)由適當(dāng)用戶接口接收的用戶選擇來(lái)控制從存儲(chǔ)介質(zhì)提取文件。
[0058]作為另一示例，輸入信號(hào)可以是例如正從互連網(wǎng)上的源流化或者正經(jīng)由數(shù)字無(wú)線電廣播接收的實(shí)時(shí)信號(hào)。還可以從相同源或可以例如從分離且獨(dú)立的源接收輸入信號(hào)。
[0059]接收器101耦合至選擇器103，所接收的(在該具體示例中，所提取的)已編碼多聲道信號(hào)被饋送給選擇器103。圖1的系統(tǒng)被布置為生成多聲道輸出信號(hào)，其中，輸入已編碼多聲道信號(hào)之一被包括為全多聲道信號(hào)，而其他已編碼多聲道信號(hào)被包括為減少了聲道的信號(hào)。因此，對(duì)于具有N個(gè)聲道的一個(gè)輸入已編碼多聲道信號(hào)(此后其被稱作首要信號(hào))，輸出信號(hào)將包括全部N個(gè)聲道。然而，對(duì)于其余已編碼多聲道信號(hào)，在輸出信號(hào)中包括僅僅M個(gè)聲道表不，其中M〈N。在該具體例中，已編碼多聲道信號(hào)是已編碼立體聲信號(hào)，并且音頻信號(hào)處理器生成輸出立體聲信號(hào)，其中輸入信號(hào)之一被作為立體聲信號(hào)提供，而其他信號(hào)被僅僅包括為單聲道信號(hào)。
[0060]選擇器103具體地選擇一個(gè)首要信號(hào)。此后，其余已編碼多聲道信號(hào)將被稱作次要信號(hào)。
[0061]選擇器103耦合至多聲道解碼器105，首要已編碼信號(hào)被饋送給該多聲道解碼器105。該多聲道解碼器105對(duì)該首要已編碼多聲道信號(hào)進(jìn)行解碼，以生成首要已解碼多聲道信號(hào)。在該具體示例中，首要已編碼信號(hào)是立體聲信號(hào)并且多聲道解碼器105是生成已解碼立體聲信號(hào)的立體聲解碼器。
[0062]多聲道解碼器105耦合至輸出處理器107，該輸出處理器107生成包括首要已解碼多聲道信號(hào)的多聲道輸出信號(hào)。
[0063]選擇器103還耦合至生成器109，次要已編碼多聲道信號(hào)被饋送給該生成器109。生成器109通過(guò)從所述次要已編碼多聲道信號(hào)中的一個(gè)或多個(gè)選擇音頻編碼數(shù)據(jù)來(lái)生成至少一個(gè)減少了聲道的已編碼音頻信號(hào)。從次要已編碼多聲道信號(hào)中的一個(gè)或多個(gè)的音頻編碼數(shù)據(jù)，生成減少了聲道的已編碼音頻信號(hào)。然而，在減少了聲道的已編碼音頻信號(hào)中的聲道數(shù)目小于用于生成該減少了的已編碼多聲道信號(hào)的次要已編碼多聲道信號(hào)中的聲道之和。因此，對(duì)于在減少了聲道的已編碼多聲道信號(hào)中包括的次要已編碼多聲道信號(hào)中的至少一個(gè)，聲道的數(shù)目被減少。
[0064]相應(yīng)地，生成器109引入了用于表示來(lái)自次要已編碼多聲道信號(hào)的音頻的聲道的數(shù)目上的減少。此外，這種減少通過(guò)從次要已編碼多聲道信號(hào)的編碼數(shù)據(jù)選擇音頻編碼數(shù)據(jù)來(lái)實(shí)現(xiàn)。因此，簡(jiǎn)單數(shù)據(jù)移動(dòng)、選擇和組合操作可以用于生成減少了聲道的已編碼音頻信號(hào)，并且不需要(多個(gè))潛在音頻信號(hào)的解碼或其他處理。因此，在沒有重大資源需求的情況下以低復(fù)雜度實(shí)現(xiàn)了聲道減少。
[0065]生成器耦合至第二解碼器111，減少了聲道的已編碼音頻信號(hào)被饋送給該第二解碼器111。第二解碼器繼續(xù)，對(duì)減少了聲道的已編碼音頻信號(hào)進(jìn)行解碼，以生成減少了聲道的已解碼多聲道信號(hào)，此后，其被稱作次要已解碼信號(hào)。
[0066]第二解碼器111耦合至輸出處理器107，次要已編碼信號(hào)被饋送給該輸出處理器107。輸出處理器107在多聲道輸出信號(hào)中包括次要已解碼信號(hào)。因此,多聲道輸出信號(hào)被生成為首要已解碼信號(hào)與次要已解碼信號(hào)的組合。
[0067]作為低復(fù)雜度的示例，輸出處理器107可以簡(jiǎn)單地實(shí)施首要已解碼信號(hào)與次要已解碼信號(hào)的音頻混合。例如，首要已解碼信號(hào)的一個(gè)聲道可以與次要首要已解碼信號(hào)的一個(gè)聲道進(jìn)行混合。如果次要首要信號(hào)是多聲道信號(hào)，則對(duì)于所有聲道，可以重復(fù)該混合，使得已解碼音頻信號(hào)的各個(gè)聲道與首要已解碼信號(hào)的一個(gè)聲道進(jìn)行混合。
[0068]因此，輸出處理器107生成包括首要音頻源和一個(gè)或多個(gè)次要音頻源的多聲道輸出信號(hào)，該首要音頻源被表示為全多聲道信號(hào)，所述次要音頻源被表示為減少了聲道的信號(hào)。作為具體不例，首要立體聲輸入源可以被表不為全立體聲表不，而兩個(gè)次要立體聲輸入源被同時(shí)表示為兩個(gè)單聲道表示。在該示例中，這兩個(gè)次要源可以分別被右耳和左耳局部感知，而該首要信號(hào)充滿整個(gè)聲場(chǎng)。
[0069]在一些實(shí)施例中，輸出電路107可以直接生成多聲道信號(hào)，該多聲道信號(hào)可以驅(qū)動(dòng)適當(dāng)裝置以便再現(xiàn)該多聲道信號(hào)的音頻。例如，輸出電路107可以直接生成驅(qū)動(dòng)耳機(jī)對(duì)的立體聲信號(hào)，或者可以例如生成用于五聲道環(huán)繞聲系統(tǒng)的不同揚(yáng)聲器的五個(gè)空間聲道。在其他場(chǎng)景中，輸出電路107可以簡(jiǎn)單地生成由其他功能、設(shè)備或裝置處理并再現(xiàn)的信號(hào)。實(shí)際上，在一些實(shí)施例中，輸出電路107可以包括用于對(duì)輸出多聲道信號(hào)進(jìn)行編碼的功能，從而允許其被容易地傳送、分布或存儲(chǔ)。
[0070]本發(fā)明的發(fā)明人已經(jīng)意識(shí)到，在降低復(fù)雜度和資源需求的同時(shí)，可以具體通過(guò)同時(shí)再現(xiàn)多個(gè)音頻源來(lái)實(shí)現(xiàn)有吸引力的用戶體驗(yàn)。具體地，發(fā)明人已經(jīng)意識(shí)到，可以通過(guò)在減少其他聲源的多聲道本質(zhì)的同時(shí)保持一個(gè)聲源(或聲源子集)處于全多聲道表不，來(lái)實(shí)現(xiàn)有吸引力的用戶體驗(yàn)。這不僅可以提供有吸引力的用戶體驗(yàn)(其例如相對(duì)于(多個(gè))次要聲源強(qiáng)化(多個(gè))首要聲源)，而且其還可以用于降低復(fù)雜度。實(shí)際上，發(fā)明人已經(jīng)意識(shí)到，可以通過(guò)開發(fā)特定再現(xiàn)方法來(lái)實(shí)現(xiàn)大的復(fù)雜度/計(jì)算負(fù)擔(dān)的降低，在所述特定再現(xiàn)方法中，基于音頻編碼數(shù)據(jù)的選擇來(lái)對(duì)次要信號(hào)進(jìn)行編碼域(預(yù)解碼)聲道的減少。特別地，該系統(tǒng)可以減少信號(hào)的解碼所需的資源。因?yàn)榻獯a操作的計(jì)算要求通常對(duì)于音頻處理單元(尤其是諸如便攜式音頻播放器之類的低資源設(shè)備)而言是占主導(dǎo)的資源負(fù)擔(dān)，所以作為一個(gè)整體的系統(tǒng)的總負(fù)擔(dān)降低通常被顯著減少。
[0071]在許多場(chǎng)景下，生成器109的聲道減少可以包括生成減少了聲道的已編碼音頻信號(hào)的聲道，以包括次要已編碼多聲道信號(hào)之一的聲道之一的音頻數(shù)據(jù)。因此，在一些實(shí)施例中，生成器109可以簡(jiǎn)單地選擇次要已編碼多聲道信號(hào)的單個(gè)聲道的所有音頻編碼數(shù)據(jù)，并且將其包括在減少了聲道的已編碼音頻信號(hào)的單個(gè)聲道中。因此，直接的比特選擇可以用于生成減少了聲道的已編碼音頻信號(hào)。
[0072]所述單個(gè)聲道可以在內(nèi)容上表示原始音頻聲道之一，或者可以根據(jù)音頻編解碼器的類型而表示那些原始音頻聲道的一些線性組合。例如，共用立體聲音頻編碼器對(duì)左和右輸入音頻聲道的和信號(hào)和差信號(hào)進(jìn)行編碼，而不是原始左信號(hào)和右信號(hào)。在這種情況下，生成器109可以例如僅僅選擇和信號(hào)。
[0073]在一些實(shí)施例中，減少了聲道的已編碼音頻信號(hào)的一個(gè)聲道因此可以包括已編碼音頻數(shù)據(jù)，其與次要已編碼多聲道信號(hào)之一的單個(gè)聲道相同。可以通過(guò)簡(jiǎn)單地從一個(gè)或多個(gè)次要已編碼多聲道信號(hào)選擇聲道來(lái)生成減少了聲道的已編碼音頻信號(hào)。該聲道選擇選擇可用聲道的子集并且丟棄一些聲道，從而導(dǎo)致總的聲道的減少。
[0074]應(yīng)該意識(shí)到，在其中簡(jiǎn)單地通過(guò)從次要已編碼多聲道信號(hào)的一個(gè)或多個(gè)聲道獲得音頻編碼數(shù)據(jù)來(lái)選擇減少了聲道的已編碼音頻信號(hào)的已編碼音頻數(shù)據(jù)的實(shí)施例中，其他數(shù)據(jù)，比如開銷數(shù)據(jù)、控制數(shù)據(jù)、格式化數(shù)據(jù)等，可以被修改(或者可以不被傳送，即，可以生成新數(shù)據(jù))。因此，在一些實(shí)施例中，僅僅描述了底層音頻信號(hào)的已編碼音頻數(shù)據(jù)可以被提取，而開銷數(shù)據(jù)不被傳遞至減少了聲道的已編碼音頻信號(hào)或者在這樣做的過(guò)程中被修改。
[0075]作為具體示例，生成器109可以接收單個(gè)次要已編碼多聲道信號(hào)，并且可以繼續(xù)，以簡(jiǎn)單地通過(guò)選擇該次要已編碼多聲道信號(hào)的聲道之一來(lái)生成單聲道信號(hào)。次要已編碼多聲道信號(hào)可以具體地是立體聲信號(hào)，并且生成器可以通過(guò)選擇該立體聲信號(hào)的一個(gè)聲道來(lái)將此減少以成為單聲道信號(hào)。
[0076]次要已編碼多聲道信號(hào)可以具體是被編碼為中側(cè)信號(hào)的立體聲信號(hào)，并且生成器109可以通過(guò)選擇中聲道來(lái)生成單聲道已編碼音頻信號(hào)。這導(dǎo)致這樣的單聲道信號(hào)，其包括大部分非空間音頻信息并且相應(yīng)地特別適合于再現(xiàn)為單聲道信號(hào)而沒有不可接受的
息損失。
[0077]在其中次要已編碼多聲道信號(hào)是被編碼為左和右信號(hào)的立體聲信號(hào)的場(chǎng)景中，生成器109可以通過(guò)選擇左聲道和右聲道中的任何一個(gè)來(lái)生成單聲道已編碼音頻信號(hào)。這可以被隨機(jī)完成或者可以是基于信號(hào)特性的。例如，可以選擇具有最高平均幅度的信號(hào)。
[0078]因此，在一些實(shí)施例中，生成器109可以簡(jiǎn)單地選擇次要已編碼多聲道信號(hào)之一的聲道來(lái)生成已編碼單聲道信號(hào)。然后，該信號(hào)可以由單聲道解碼器進(jìn)行解碼，以生成可以與首要已解碼多聲道信號(hào)合并的已解碼單聲道信號(hào)。因此，解碼器111可以是簡(jiǎn)單的單聲道編碼器。因?yàn)閱温暤澜獯a器的復(fù)雜度和資源使用大大地低于多聲道編碼器的復(fù)雜度和資源使用，包括立體聲解碼器的復(fù)雜度和資源使用，所以實(shí)現(xiàn)了非常顯著的復(fù)雜度和功率的降低。
[0079]此外，該方法不限于單個(gè)次要已編碼多聲道信號(hào)。相反，多個(gè)次要已編碼多聲道信號(hào)可以獨(dú)立地被轉(zhuǎn)換為已編碼單聲道信號(hào)。每個(gè)已編碼單聲道信號(hào)可以獨(dú)立地被解碼，以生成已解碼單聲道信號(hào)。然后，所述多個(gè)已解碼單聲道信號(hào)可以與首要已解碼多聲道信號(hào)進(jìn)行混合。
[0080]作為具體示例，可以同時(shí)再現(xiàn)三個(gè)已編碼立體聲信號(hào)。一個(gè)立體聲信號(hào)被解碼為立體聲信號(hào)且再現(xiàn)為立體聲信號(hào)。對(duì)于另外兩個(gè)立體聲信號(hào)，實(shí)施已編碼域聲道減少，以將其減少為已編碼單聲道信號(hào)。單聲道編碼器對(duì)信號(hào)進(jìn)行解碼，得到的已解碼信號(hào)可以被分別添加到左和右輸出聲道。因此，通過(guò)將一個(gè)全主立體聲信號(hào)與各個(gè)耳朵中的單聲道信號(hào)一起同時(shí)再現(xiàn)，來(lái)向用戶進(jìn)行呈現(xiàn)。
[0081]在一些實(shí)施例中，減少了聲道的已編碼音頻信號(hào)可以被生成來(lái)包括來(lái)自多個(gè)已編碼多聲道信號(hào)的貢獻(xiàn)。具體地，減少了聲道的已編碼音頻信號(hào)本身可以是從多個(gè)次要已編碼多聲道信號(hào)生成的多聲道信號(hào)。具體地，可以通過(guò)從一個(gè)次要已編碼多聲道信號(hào)選擇聲道來(lái)生成減少了聲道的已編碼音頻信號(hào)的聲道中的每一個(gè)。例如，并非如前所提及，生成兩個(gè)單聲道信號(hào)，生成器109而是可以通過(guò)從一個(gè)次要已編碼多聲道信號(hào)選擇一個(gè)聲道并且從不同的已編碼多聲道信號(hào)選擇一個(gè)聲道來(lái)生成已編碼立體聲信號(hào)。然后，得到的立體聲信號(hào)可以由立體聲解碼器進(jìn)行解碼，即，第二解碼器111可以是立體聲解碼器。具體地，多聲道解碼器105和第二解碼器111可以被實(shí)現(xiàn)為相同解碼器，該解碼器循序地對(duì)首要多聲道信號(hào)和減少了聲道的已編碼音頻信號(hào)進(jìn)行解碼。然后，得到的次要已解碼立體聲信號(hào)可以與首要已解碼立體聲信號(hào)進(jìn)行混合，例如，簡(jiǎn)單地通過(guò)將這兩個(gè)立體聲信號(hào)求和。
[0082]在一些實(shí)施例中，減少了聲道的已編碼音頻信號(hào)可以相應(yīng)地是由生成器109通過(guò)從次要已編碼多聲道信號(hào)之一的一個(gè)聲道選擇音頻編碼數(shù)據(jù)生成第一聲道并且通過(guò)從次要已編碼多聲道信號(hào)中的另一個(gè)的一個(gè)聲道選擇音頻編碼數(shù)據(jù)生成第二聲道而構(gòu)成的多聲道信號(hào)。
[0083]更具體地，兩個(gè)中側(cè)編碼信號(hào)的中信號(hào)(B卩，原始立體聲項(xiàng)中的左和右聲道的和)的編碼表示可以被包括在單個(gè)立體聲信號(hào)的兩個(gè)聲道中。該音頻編碼數(shù)據(jù)被存儲(chǔ)為如匕如例如在 Brandenburg, K., “ {ISO-MPEG-l} Audio:A Generic Standard for Coding ofHigh-Quality Digital Audio”.J.Audio Eng.Soc., 1994.42:p.780-792 for the caseof MPEG-1 layer III encoded (MP3) data中針對(duì)MP3描述的)已編碼比特流的適當(dāng)數(shù)據(jù)報(bào)頭和/或以及相應(yīng)定義所指示的針對(duì)信號(hào)的立體聲比特流的一部分。
[0084]然后，來(lái)自這兩個(gè)輸入音頻信號(hào)的中聲道數(shù)據(jù)流的音頻編碼數(shù)據(jù)被添加到代表減少了聲道的已編碼音頻信號(hào)的新比特流容器的左和右數(shù)據(jù)字段中。如果輸入信號(hào)不是中側(cè)編碼的，而是左右編碼的，則替代地，調(diào)整器109可以簡(jiǎn)單地從來(lái)自每個(gè)輸入比特流的左或右聲道選擇音頻編碼數(shù)據(jù)。
[0085]在一些實(shí)施例中，生成器109還被布置為，修改次要已編碼多聲道音頻信號(hào)的編碼控制數(shù)據(jù)，以對(duì)應(yīng)于另外的已編碼音頻信號(hào)的已編碼音頻數(shù)據(jù)。編碼控制數(shù)據(jù)可以是定義減少了聲道的已編碼音頻信號(hào)本身的特性而非表示底層音頻的開銷數(shù)據(jù)。編碼控制數(shù)據(jù)可以例如是元數(shù)據(jù)，比如例如定義了比特流中的不同數(shù)據(jù)的位置、數(shù)據(jù)速率、哪些選項(xiàng)被使用等的數(shù)據(jù)。
[0086]作為具體示例，典型地，兩個(gè)中側(cè)立體聲信號(hào)的兩個(gè)中信號(hào)的編碼數(shù)據(jù)速率將大大地高于這兩個(gè)中側(cè)立體聲信號(hào)中的每一個(gè)的數(shù)據(jù)速率，這是因?yàn)橹新暤赖臄?shù)據(jù)速率典型地大大高于側(cè)聲道的數(shù)據(jù)速率。生成器可以相應(yīng)地修改(設(shè)置)指示當(dāng)前數(shù)據(jù)速率的減少了聲道的已編碼比特流的數(shù)據(jù)，以對(duì)應(yīng)于針對(duì)該減少了聲道的已編碼音頻信號(hào)的所得到的數(shù)據(jù)速率。
[0087]因此，可以生成該減少了聲道的已編碼音頻信號(hào)，以對(duì)應(yīng)于根據(jù)音頻編碼標(biāo)準(zhǔn)的已編碼音頻信號(hào)，該音頻編碼標(biāo)準(zhǔn)具體地可以是與輸入已編碼多聲道信號(hào)相同的編碼標(biāo)準(zhǔn)。這允許將減少了聲道的已編碼音頻信號(hào)像任何其他已編碼音頻信號(hào)一樣對(duì)待，并且具體地允許標(biāo)準(zhǔn)解碼器用作第二解碼器111。
[0088]在一些實(shí)施例中，生成器109可以從多個(gè)已編碼多聲道音頻信號(hào)選擇另外的已編碼音頻信號(hào)的一個(gè)聲道的編碼數(shù)據(jù)。因此，在一些實(shí)施例中，可以通過(guò)將來(lái)自兩個(gè)或更多個(gè)次要已編碼多聲道信號(hào)的音頻編碼數(shù)據(jù)合并來(lái)生成減少了聲道的已編碼音頻信號(hào)的單個(gè)聲道?？梢园磿r(shí)和/或頻段實(shí)施要包括哪個(gè)音頻編碼數(shù)據(jù)的選擇，其中，該選擇基于每個(gè)段中的音頻編碼數(shù)據(jù)的特性。
[0089]具體地，可以由生成器109將兩個(gè)或更多個(gè)次要音頻信號(hào)中的每一個(gè)的聲道在它們的編碼表示中合并到減少了聲道的音頻流的單個(gè)聲道中。這可以被實(shí)施為將獨(dú)立比特流的音頻編碼數(shù)據(jù)復(fù)制到共用比特流中的操作。在一個(gè)可能的實(shí)施例中，所述合并被實(shí)施，使得(由已編碼比特流中的比例因子帶系數(shù)(scale factor band coefficient)的值表示的)每個(gè)已編碼子帶中的信號(hào)的能量用于確定哪個(gè)輸入音頻信號(hào)被置入新比特流中。
[0090]在一些實(shí)施例中，音頻信號(hào)處理器可以包括用于將空間處理應(yīng)用于已解碼音頻信號(hào)中的至少一個(gè)的功能。典型地，在已解碼音頻信號(hào)被混合在一起之前，可以將空間處理應(yīng)用于這些已解碼音頻信號(hào)?？臻g處理可以被應(yīng)用于在由用戶感知時(shí)不同聲道處于不同位置的感知位置。
[0091]圖2圖示了圖1的合并器107的示例，其被布置為針對(duì)次要聲源實(shí)施空間處理。在該示例中，首要已解碼音頻信號(hào)(yi，I2)未被進(jìn)行空間處理，而是被直接饋送至混合器201，混合器201以加權(quán)求和(或簡(jiǎn)單地，求和)的形式實(shí)施混合。首要已解碼音頻信號(hào)(yi，y2)被直接包括在立體聲輸出信號(hào)(0l，O2)中，因而，向用戶提供了原始已編碼立體聲信號(hào)的空間立體聲體驗(yàn)。
[0092]然而，在該示例中，次要已編碼音頻信號(hào)((X1, X2)的每個(gè)聲道被進(jìn)行空間處理，使得它們被感知為源自音頻場(chǎng)景中的給定位置?？臻g處理可以改變，從而允許合并器107將所感知的單點(diǎn)單聲道聲源移動(dòng)到所期望的位置。
[0093]在該示例中，使用耳機(jī)來(lái)再現(xiàn)輸出信號(hào)，并且再現(xiàn)了僅僅兩個(gè)次要音頻源。合并器107包括接收次要已解碼音頻信號(hào)的一個(gè)聲道的第一空間處理器203和接收次要已解碼音頻信號(hào)的另一聲道的第二空間處理器205?？臻g處理器203、205具體地被布置為將頭相關(guān)傳遞函數(shù)(Head Related Transfer Function, HRTF)應(yīng)用于不同聲道,從而導(dǎo)致被感知為源自給定位置的輸出信號(hào)。每個(gè)空間處理器203、205相應(yīng)地生成針對(duì)音頻源的與所期望的位置相對(duì)應(yīng)的立體聲輸出信號(hào)。這些立體聲輸出信號(hào)被饋送至混合器201，混合器201將它們與首要已解碼立體聲信號(hào)進(jìn)行混合。混合器201的輸出相應(yīng)地是包括被保持為原始立體聲信號(hào)的首要立體聲信號(hào)的空間音頻信號(hào)，因而具有更寬的立體聲聲場(chǎng)。此外，在能夠在空間上被移動(dòng)以顯得像來(lái)自任何期望位置的位置處生成兩個(gè)單點(diǎn)音頻源。
[0094]該系統(tǒng)因而可以提供多個(gè)音頻源的同時(shí)再現(xiàn)(例如，該系統(tǒng)可以同時(shí)回放多個(gè)音頻項(xiàng))，其中音頻項(xiàng)中的僅僅一個(gè)(或子集)被按照全立體聲回放的方式進(jìn)行再現(xiàn)。所有其他再現(xiàn)的音頻項(xiàng)被安置在空間中且再現(xiàn)得像單聲道聲源。發(fā)明人不僅意識(shí)到這樣的方法在許多場(chǎng)景下提供了非常有益的用戶體驗(yàn)，而且此外還意識(shí)到，實(shí)現(xiàn)了非常高效的處理。實(shí)際上，該系統(tǒng)將該見識(shí)進(jìn)一步用來(lái)創(chuàng)建這樣的系統(tǒng)，其中實(shí)施了預(yù)解碼聲道減少，從而降低了復(fù)雜度并減少了由解碼過(guò)程使用的資源。這在計(jì)算和存儲(chǔ)器需求上導(dǎo)致顯著的節(jié)約，并且還由于現(xiàn)有軟件塊的有效再使用而導(dǎo)致程序存儲(chǔ)空間上的節(jié)約。
[0095]所描述的同時(shí)再現(xiàn)多個(gè)已編碼多聲道信號(hào)的方法在與基于空間模型的用戶接口一起使用時(shí)可以提供特別有益的用戶體驗(yàn)。圖3圖示了音頻處理單元的示例，其中，聲源的空間處理和空間安置依賴于空間模型和關(guān)聯(lián)的用戶接口。
[0096]音頻處理單元對(duì)應(yīng)于圖1的音頻處理單元，但是附加地其包括空間模型301，空間模型301代表虛擬用戶位置和已編碼多聲道音頻信號(hào)的虛擬空間聲源位置。此外，空間模型301耦合至顯示器303，該顯示器303可以顯示該模型的(一部分的)圖形化表示。
[0097]在該示例中，空間模型301可以被實(shí)施在適當(dāng)?shù)奶幚砥脚_(tái)上，并且可以例如包括可能能夠被再現(xiàn)的所有音頻項(xiàng)的虛擬三維位置。例如，空間模型301可以針對(duì)在適當(dāng)存儲(chǔ)介質(zhì)中存儲(chǔ)的每個(gè)已編碼歌曲而具有位置?？梢岳缁诟枨奶匦裕枨顼L(fēng)格、流派、藝術(shù)家、標(biāo)題、長(zhǎng)度等，來(lái)確定該位置。
[0098]此外，空間模型301可以跟蹤可以響應(yīng)于用戶輸入而改變的虛擬用戶位置。因此，可以向用戶提供這樣的用戶接口，其中，該用戶可以在虛擬空間模式301中的音頻項(xiàng)之間來(lái)回轉(zhuǎn)。空間模型301相應(yīng)地連接至用戶輸入305，該用戶輸入305可以接收外部用戶輸入。用戶輸入305可以例如是顯示器303的觸摸輸入。當(dāng)用戶位置在空間模型內(nèi)移動(dòng)時(shí)，顯示器303可以持續(xù)呈現(xiàn)用戶位置的地點(diǎn)的圖形化表示。該表示可以是二維表示，其中，例如用圖標(biāo)表示用戶位置并且音頻項(xiàng)被表示為其他圖標(biāo)。
[0099]圖4圖示了這樣的表示的示例。在該示例中，用戶可以在顯示器上瀏覽歌曲集合和呈現(xiàn)，在該歌曲集合中，多首歌曲同時(shí)可聽，但是被再現(xiàn)為與空間模型相對(duì)應(yīng)的不同位置。在該示例中，用耳機(jī)示出用戶的虛擬位置，并且圖冊(cè)圖標(biāo)代表音頻項(xiàng)，根據(jù)模型，這些音頻項(xiàng)是從虛擬用戶的位置“可見”的。
[0100]在該系統(tǒng)中，基于空間模型選擇首要已編碼多聲道信號(hào)和次要已編碼多聲道信號(hào)。具體地，可以將首要已編碼多聲道信號(hào)選擇為在模型中離用戶最近的音頻項(xiàng)，并且可以將次要已編碼多聲道信號(hào)選擇為例如兩個(gè)其次最接近的音頻項(xiàng)。因此，在該示例中，當(dāng)用戶移動(dòng)而接近音頻項(xiàng)之一時(shí)，相應(yīng)的音頻項(xiàng)被無(wú)縫地轉(zhuǎn)換為全立體聲回放。同時(shí)，其他音頻項(xiàng)被呈現(xiàn)為單聲道信號(hào)并且可以被空間處理成根據(jù)與模型中相對(duì)位置相對(duì)應(yīng)的位置來(lái)再現(xiàn)。因此，其他鄰近音頻項(xiàng)可以被再現(xiàn)為例如背景中的靜音信號(hào)。這可以提供非常有吸引力的用戶體驗(yàn)，并且可以例如提供特別有益的瀏覽體驗(yàn)。
[0101]空間再現(xiàn)可以具體地將不同空間處理應(yīng)用于次要已解碼音頻信號(hào)的不同聲道。特別地，在其中次要已解碼音頻信號(hào)是具有與不同輸入音頻源相對(duì)應(yīng)的不同聲道的立體聲信號(hào)的示例中，一個(gè)聲道的空間處理可以對(duì)應(yīng)于相應(yīng)音頻項(xiàng)的相對(duì)虛擬位置，而其他聲道的空間處理可以對(duì)應(yīng)于其他音頻項(xiàng)的相對(duì)虛擬位置。
[0102]應(yīng)該意識(shí)到，為了清楚起見，以上描述已經(jīng)參照不同功能電路、單元和處理器描述了本發(fā)明的實(shí)施例。然而，應(yīng)該顯而易見的是，在不減損本發(fā)明的情況下，可以使用不同功能電路、單元或處理器之間的任何適當(dāng)功能分配。例如，圖示為由分離的處理器或控制器實(shí)施的功能可以由相同處理器或控制器來(lái)實(shí)施。因此，對(duì)特定功能單元或電路的引用僅被看作對(duì)用于提供所描述功能的適當(dāng)裝置的引用，而非指示嚴(yán)格的邏輯或物理結(jié)構(gòu)或組織。
[0103]可以以任何適當(dāng)形式，包括硬件、軟件、固件或這些的任何組合，來(lái)實(shí)施本發(fā)明。可選地，本發(fā)明可以被至少部分地實(shí)施為在一個(gè)或多個(gè)數(shù)據(jù)處理器和/或數(shù)字信號(hào)處理器上運(yùn)行的計(jì)算機(jī)軟件?？梢砸匀魏芜m當(dāng)方式物理地、功能地和邏輯地實(shí)施本發(fā)明實(shí)施例的部件和組件。實(shí)際上，可以在單個(gè)單元中、多個(gè)單元中或作為其他功能單元的一部分來(lái)實(shí)施功能。照此，可以在單個(gè)單元中實(shí)施本發(fā)明，或者可以在不同單元、電路和處理器之間在物理且功能上分布本發(fā)明。
[0104]盡管已經(jīng)結(jié)合一些實(shí)施例描述了本發(fā)明，但是本發(fā)明并非旨在受限于本文所闡述的具體形式。相反，本發(fā)明的范圍僅僅由所附權(quán)利要求來(lái)限制。附加地，盡管特征可能顯得像是結(jié)合特定實(shí)施例進(jìn)行描述，但是本領(lǐng)域技術(shù)人員應(yīng)意識(shí)到，可以根據(jù)本發(fā)明組合所描述實(shí)施例的各種特征。在權(quán)利要求書中，術(shù)語(yǔ)包括不排除其他部件或步驟的存在。
[0105]此外，盡管被獨(dú)立地列出，但是可以通過(guò)例如單個(gè)電路、單元或處理器實(shí)施多個(gè)裝置、部件、電路或方法步驟。此外，盡管個(gè)體特征可以被包括在不同權(quán)利要求中，但是可能地，可以有利地組合這些特征，并且在不同權(quán)利要求中的包括并不暗示特征的組合不是可行的和/或有利的。此外，在一種類別的權(quán)利要求中的特征的包括并不暗示限制到該類別，而是暗示，如果適當(dāng)?shù)脑?，該特征可等同地?yīng)用于其他權(quán)利要求類別。此外，權(quán)利要求中的特征的順序并非暗示，特征必須按其來(lái)工作的任何特定順序，尤其是，在方法權(quán)利要求中的個(gè)體步驟的順序并非暗示必須以該順序?qū)嵤┧霾襟E。此外，可以以任何適當(dāng)順序執(zhí)行所述步驟。附加地，單數(shù)引用并不排除多個(gè)。因此，對(duì)“一”、“一個(gè)”、“第一”、“第二”等的引用并不排除多個(gè)。權(quán)利要求中的附圖標(biāo)記被僅僅提供作為澄清性示例，不應(yīng)該被解釋為以任何方式限制權(quán)利要求的范圍。
【權(quán)利要求】
1.一種音頻信號(hào)處理器，包括: 接收器(101)，用于接收多個(gè)已編碼多聲道音頻信號(hào)； 多聲道解碼器(105)，用于對(duì)第一已編碼多聲道信號(hào)進(jìn)行解碼，以生成第一已解碼多聲道信號(hào)； 生成器(109)，用于通過(guò)從所述多個(gè)已編碼多聲道音頻信號(hào)中的至少第二已編碼多聲道音頻信號(hào)選擇音頻編碼數(shù)據(jù)來(lái)生成另外的已編碼音頻信號(hào)，使得包括來(lái)自第二已編碼多聲道音頻信號(hào)的音頻編碼數(shù)據(jù)的所述另外的已編碼音頻信號(hào)的聲道數(shù)目小于第二已編碼多聲道信號(hào)中的聲道數(shù)目； 另外的解碼器(111)，用于通過(guò)對(duì)所述另外的已編碼音頻信號(hào)進(jìn)行解碼來(lái)生成另外的已解碼音頻信號(hào)； 以及合并器(107)，用于將至少第一已解碼多聲道信號(hào)與所述另外的已解碼音頻信號(hào)進(jìn)行合并來(lái)生成多聲道輸出信號(hào)。
2.如權(quán)利要求1所述的音頻信號(hào)處理器，其中，生成器(109)被布置為，通過(guò)從第二已編碼多聲道信號(hào)的單個(gè)聲道選擇音頻編碼數(shù)據(jù)來(lái)生成所述另外的已編碼音頻信號(hào)的第一聲道。
3.如權(quán)利要求2所述的音頻信號(hào)處理器，其中，所述另外的已編碼音頻信號(hào)是多聲道信號(hào)，并且生成器(109)被布置為，通過(guò)從第三已編碼多聲道信號(hào)的單個(gè)聲道選擇音頻編碼數(shù)據(jù)來(lái)生成所述另外的已編碼音頻信號(hào)的第二聲道。
4.如權(quán)利要求2所述的音頻信號(hào)處理器，其中，所述另外的已編碼音頻信號(hào)的單個(gè)聲道的已編碼音頻數(shù)據(jù)與第二 已編碼多聲道信號(hào)的單個(gè)聲道的已編碼音頻數(shù)據(jù)相同。
5.如權(quán)利要求2所述的音頻信號(hào)處理器，其中，第二已編碼多聲道信號(hào)的單個(gè)聲道是以下項(xiàng)中的至少一個(gè): 中側(cè)立體聲信號(hào)的中聲道； 左右式立體聲信號(hào)的左聲道；以及 左右式立體聲信號(hào)的右聲道。
6.如權(quán)利要求1所述的音頻信號(hào)處理器，其中，所述另外的已編碼音頻信號(hào)是單聲道信號(hào)。
7.如權(quán)利要求1所述的音頻信號(hào)處理器，其中，所述另外的已編碼音頻信號(hào)是具有不同聲道的多聲道信號(hào)，所述不同聲道包括來(lái)自所述多個(gè)已編碼多聲道音頻信號(hào)中的不同已編碼多聲道音頻信號(hào)的音頻編碼數(shù)據(jù)。
8.如權(quán)利要求7所述的音頻信號(hào)處理器，其中，所述另外的已編碼音頻信號(hào)的每個(gè)聲道對(duì)應(yīng)于所述不同已編碼多聲道音頻信號(hào)之一的一個(gè)聲道。
9.如權(quán)利要求1所述的音頻信號(hào)處理器，其中，生成器(109)被布置為，從多個(gè)已編碼多聲道音頻信號(hào)選擇用于所述另外的已編碼音頻信號(hào)的一個(gè)聲道的音頻編碼數(shù)據(jù)。
10.如權(quán)利要求1所述的音頻信號(hào)處理器，其中，生成器(109)被布置為，通過(guò)修改第二已編碼多聲道音頻信號(hào)的編碼控制數(shù)據(jù)以對(duì)應(yīng)于所述另外的已編碼音頻信號(hào)的已編碼音頻數(shù)據(jù)，來(lái)生成所述另外的已編碼音頻信號(hào)的編碼控制數(shù)據(jù)。
11.如權(quán)利要求1所述的音頻信號(hào)處理器，還包括: 用戶接口(305)，用于接收用戶輸入；空間模型(301)，表示虛擬用戶位置以及與所述多個(gè)已編碼多聲道音頻信號(hào)相關(guān)聯(lián)的虛擬空間聲源位置；以及其中，生成器被布置為，響應(yīng)于空間模型選擇第一已編碼多聲道信號(hào)和第二已編碼多聲道音頻信號(hào)。
12.如權(quán)利要求11所述的音頻信號(hào)處理器，其中，合并器(109)被布置為，響應(yīng)于空間模型(301)，將空間處理應(yīng)用于至少所述另外的已解碼音頻信號(hào)。
13.如權(quán)利要求11所述的音頻信號(hào)處理器，其中，所述另外的已解碼音頻信號(hào)是多聲道信號(hào)并且所述空間處理包括對(duì)所述另外的已解碼音頻信號(hào)的不同聲道進(jìn)行空間處理，以對(duì)應(yīng)于空間模型的不同虛擬空間聲源位置。
14.如權(quán)利要求11所述的音頻信號(hào)處理，其中，合并器(107)被布置為，響應(yīng)于虛擬用戶位置和與第二已編碼多聲道音頻信號(hào)相關(guān)聯(lián)的虛擬空間聲源位置之間的距離，選擇第二已編碼多聲道音頻信號(hào)。
15.一種處理音頻信號(hào)的方法，包括: 接收多個(gè)已編碼多聲道音頻信號(hào)； 對(duì)第一已編碼多聲道信號(hào)進(jìn)行解碼，以生成第一已解碼多聲道信號(hào)； 通過(guò)從所述多個(gè)已編碼多聲道音頻信號(hào)中的至少第二已編碼多聲道音頻信號(hào)選擇音頻編碼數(shù)據(jù)來(lái)生成另外的已編碼音頻信號(hào)，使得包括來(lái)自第二已編碼多聲道音頻信號(hào)的音頻編碼數(shù)據(jù)的所述另外的已編碼音頻信號(hào)的聲道數(shù)目小于第二已編碼多聲道信號(hào)中的聲道數(shù)目； 通過(guò)對(duì)所述另外的已編碼音頻信號(hào)進(jìn)行解碼來(lái)生成另外的已解碼音頻信號(hào)；以及 將至少第一已解碼多聲道信號(hào)與所述另外的已解碼音頻信號(hào)進(jìn)行合并來(lái)生成多聲道輸出信號(hào)。
【文檔編號(hào)】G10L19/008GK103620673SQ201280031218
【公開日】2014年3月5日 申請(qǐng)日期:2012年6月4日 優(yōu)先權(quán)日:2011年6月24日
【發(fā)明者】A.S.赫梅, A.W.J.奧門 申請(qǐng)人:皇家飛利浦有限公司