專利名稱：一種3d音頻會議的信號處理方法、設(shè)備以及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及音頻處理領(lǐng)域，尤其涉及一種3D音頻會議的信號處理方法、 設(shè)備和系統(tǒng)。
背景技術(shù)：
音頻會議系統(tǒng)，在會議的應(yīng)用中越來越廣泛，目前的音頻會議系統(tǒng)通常 是單聲道或者雙聲道的，缺乏空間的臨場感，并且在多點會議時，將各路聲 音混疊在一起，導(dǎo)致聲音的清晰度下降。
現(xiàn)有技術(shù)中采用3D聲處理對音頻會議中的音頻流進行處理，即通過為 各個音頻流分配的聲像位置，以及根據(jù)各個聲像位置的音頻流的位置關(guān)系， 調(diào)節(jié)所述音頻流在左右聲道的增益的大小，進而營造出一種立體的聲響效 果。
在如何進行3D音頻會議的組網(wǎng)上，現(xiàn)有技術(shù)中的一種解決方案是采用 分布式的組網(wǎng)結(jié)構(gòu)，每個終端都需要接收其他終端的會議數(shù)據(jù)，然后對這些 音頻數(shù)據(jù)進行3D定位處理，以便使用戶感知不同的音頻流為來自不同的方 位。參見圖1，在圖1中，終端2接收到終端1以及終端3的會議數(shù)據(jù)，終 端2對這些音頻數(shù)據(jù)進行3D定位處理，確定終端1以及終端3的方位。現(xiàn) 有技術(shù)中另一種解決方案是采用集中式的組網(wǎng)結(jié)構(gòu)，參見圖2,在圖2中的 會議系統(tǒng)中，有一個服務(wù)器以及多個終端，所有的終端都將自身的音頻數(shù)據(jù) 發(fā)送給服務(wù)器，由服務(wù)器根據(jù)各個與會終端的情況，對發(fā)送到該與會終端的 音頻流進行3D定位處理，并將處理后的音頻流發(fā)送到相應(yīng)的與會終端。
在完成本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)至少存在以下問題現(xiàn)有 技術(shù)中分布式3D音頻會議，由于是通過在各個終端中分布處理的，需要許多條傳輸通道，因此只能適用于擁有幾個會場的小型會議；現(xiàn)有技術(shù)中集中 式3D音頻會議，由于所有的處理都在服務(wù)器上進行，這樣需要預(yù)先知道各 個終端播放設(shè)備的配置，且終端也不能對其他終端的聲像位置進行自由定 位。

發(fā)明內(nèi)容
本發(fā)明提供了一種3D音頻會議的信號處理方法、服務(wù)器、終端及系統(tǒng)， 以解決現(xiàn)有技術(shù)中存在的傳輸通道需求過多，且終端無法對其他終端的聲像 位置進行自由定位的問題。
本發(fā)明實施例提供一種3D音頻會議的信號處理方法，該方法包括
針對一 個終端獲取相對于所述終端的音頻流；
給所述獲取到的相對于所述終端的音頻流分配標(biāo)識；
將所述獲取到的相對于所述終端的音頻流以及所述音頻流對應(yīng)的所述 標(biāo)識進行組合并發(fā)送給所述終端。
本發(fā)明實施例還提供一種3D音頻會議的信號處理的服務(wù)器，包括
音頻流荻取單元，用于針對一個終端獲取相對于所述終端的音頻流；
標(biāo)識分配單元，用于給所述獲取到的相對于所述終端的音頻流分配標(biāo)
識；
組合發(fā)送單元，用于將所述獲取到的相對于所述終端的音頻流以及所述
音頻流對應(yīng)的所述標(biāo)識進行組合并發(fā)送給所述終端。
本發(fā)明實施例還提供一種實現(xiàn)3D音頻會議的信號處理的終端，包括 音頻處理單元，用于/人獲取到的分配標(biāo)識的多路音頻流提取標(biāo)識信息，
并根據(jù)所述的標(biāo)識信息對音頻流進行分流，以及將所述多路音頻流分別解
碼；
聲像位置分配單元，用于根據(jù)所述音頻處理單元提取的標(biāo)識信息對解碼
后的所述多路音頻流分配聲像位置；
3D聲處理單元，用于根據(jù)所述分配的聲像位置對所述解碼后的多路音頻流進行3D聲處理。
本發(fā)明實施例還提供一種3D音頻會議的信號處理方法，所述方法包括 對獲耳又到的分配標(biāo)識的多路音頻流提耳又標(biāo)識信息； 根據(jù)所述的提取的標(biāo)識信息對具有同 一標(biāo)識的音頻流進行分流； 根據(jù)所述提取的標(biāo)識信息為各路分流后的音頻流分配聲像位置； 將所述分流后的音頻流進行解碼，并根椐所述的音頻流的聲像位置信 息，對所述解碼后的音頻流進行3D聲處理。
本發(fā)明實施例還提供一種3D音頻的會議系統(tǒng)，包括 服務(wù)器，用于針對一個終端獲取相對于所述終端的音頻流；給所述獲取 到的相對于所述終端的音頻流分配標(biāo)識；將所述獲取到的相對于所述終端的 音頻流以及所述音頻流對應(yīng)的所述標(biāo)識進行組合并發(fā)送給所述終端；
至少一個終端，用于獲取所述帶有標(biāo)識的音頻流，提取所述音頻流的標(biāo) 識，并根據(jù)所述的標(biāo)識對所述的具有同 一 標(biāo)識的音頻流進行分流，根據(jù)所述 提取的標(biāo)識信息為各路分流后的音頻流分配聲像位置；將所述分流后的音頻 流進行解碼，并根據(jù)所述的音頻流的聲像位置信息，對所述分流后的音頻流 進行3D聲處理。
采用本發(fā)明實施例的技術(shù)方案，使得終端能夠根據(jù)接收到的其他終端的 音頻流以及音頻流所分配的標(biāo)識，對其他終端的聲像位置進行自由的定位。


為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對 實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地， 下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來 講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
圖1為現(xiàn)有技術(shù)采用的分布式3D音頻會議系統(tǒng)的網(wǎng)絡(luò)示意圖2為現(xiàn)有技術(shù)采用的集中式3D音頻會議系統(tǒng)的網(wǎng)絡(luò)示意圖3為本發(fā)明的方法實施例1的流程示意圖；圖4為本發(fā)明的方法實施例2的流程示意圖5為本發(fā)明的方法實施例2對應(yīng)的系統(tǒng)組網(wǎng)結(jié)構(gòu)示意圖6為本發(fā)明的方法實施例3對應(yīng)的系統(tǒng)組網(wǎng)結(jié)構(gòu)示意圖7為本發(fā)明的方法實施例3的流程示意圖S為本發(fā)明的方法實施例4對應(yīng)的系統(tǒng)組網(wǎng)結(jié)構(gòu)示意圖9為本發(fā)明的方法實施例4的流程示意圖10為本發(fā)明的方法實施例5的流程示意圖11為本發(fā)明的方法實施例中3D聲處理的結(jié)構(gòu)示意圖12為本發(fā)明的系統(tǒng)實施例1的結(jié)構(gòu)示意圖13為本發(fā)明的服務(wù)器實施例1的結(jié)構(gòu)示意圖14為圖13所示的服務(wù)器實施例1中標(biāo)識分配單元的結(jié)構(gòu)示意圖
圖15為圖14所示的標(biāo)識分配單元中的標(biāo)識分配模塊的結(jié)構(gòu)示意圖
圖16為圖13所示的服務(wù)器實施例1中組合發(fā)送單元的結(jié)構(gòu)示意圖
圖17為本發(fā)明的終端實施例l的結(jié)構(gòu)示意圖18為圖17所示的終端實施例1中的音頻處理單元的結(jié)構(gòu)示意圖;
圖19為本發(fā)明的終端實施例2的結(jié)構(gòu)示意圖。
具體實施例方式
下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行 清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而 不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做 出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
方法實施例 方法實施例1
本發(fā)明的方法實施例1可以通過附圖3進行說明 301 、針對一個終端獲if又相對于所述終端的音頻流;在實施301中，所述針對一個終端獲取相對于所述終端的音頻流具體為 獲取相對于所述終端的多路音頻流的能量；根據(jù)所述獲取的多路音頻流的能 量，選擇能量最大的至少1路音頻流；對所述選擇出的音頻流分配標(biāo)識。
可以理解，針對一個終端獲取能量最大的幾路音頻流只是一種實現(xiàn)的方 式，也可以獲取所有的音頻流，其實現(xiàn)方式即不需要對能量進行計算，直接 獲取相關(guān)的音頻流。 '.
302、 給所述獲取到的相對于所述終端的音頻流分配標(biāo)識； 在實施302中，所述分配給相對于所述終端的音頻流的標(biāo)識，具體可以
采用會場號作為所述多路音頻流的標(biāo)識，當(dāng)然，也可以由會議管理員人工的 分配，或者由會議管理系統(tǒng)實時的分配。
可以理解，本發(fā)明的實施例中所述音頻流的標(biāo)識只是對所述音頻流分配 的一種代號，目的是為了區(qū)分出所述的音頻流，因此，根據(jù)本發(fā)明的實施例 能夠得到其他的標(biāo)識獲取方法，對此，本發(fā)明的實施例不做限制。
303、 將所述獲耳又到的相對于所述終端的音頻流以及所述音頻流對應(yīng)的 所述標(biāo)識進行組合并發(fā)送給所述終端。
在實施303中，對于將所述獲取到的相對于所述終端的音頻流以及所述 音頻流對應(yīng)的所述標(biāo)識進4于組合的方式可以為以下方式
采用松散組合的方式，即對所述獲取的音頻碼流不做任何更改，在對每 幀音頻數(shù)據(jù)進行協(xié)議封裝時，在協(xié)議的包頭里加上音頻流的來源標(biāo)識；
和/或
采用緊密組合的方式，即將所述荻取的單聲道的音頻碼流進行編解碼， 將所述編解碼后的單聲道的音頻碼流整合成一個多聲道的碼流，在所述的多 聲道碼流的幀頭中增加多個聲道對應(yīng)的音頻流來源標(biāo)識。
需要說明的是，對于將所述的相對于所述終端的音頻流與所述音頻流對 應(yīng)的標(biāo)識進行組合的方式，可以采用全部是松散組合的方式，也可以是全部 是緊密組合的方式，還可以是松散組合與緊密組合相結(jié)合的方式。
音頻流的標(biāo)識可以在IP包的協(xié)i義包頭，也可以在音頻幀的幀頭。采用本發(fā)明實施例的技術(shù)方案，使得終端能夠根據(jù)接收到的其他終端的 音頻流以及音頻流所分配的標(biāo)識，對其他終端的聲像位置進行自由的定位。
方法實施例2
本發(fā)明的方法實施例2主要針對單個服務(wù)器的情況的實施例方式進行說 明，其處理過程可以通過附圖4所畫的流程圖進行說明 401 、服務(wù)器獲取所述的各個終端對應(yīng)的音頻流；
在實施401中，各個終端一般對應(yīng)于各個會場，相應(yīng)的終端獲取相應(yīng)會 場的音頻流，對應(yīng)于各個終端的服務(wù)器獲取到所述各個終端對應(yīng)的音頻流。
402、對所述獲取到的音頻流計算出其能量，并選擇出能量最大的至少1 ^各音頻流；
在實施402時，服務(wù)器將401中獲取到的對應(yīng)于各個終端的音頻流分別 進行能量的計算，根據(jù)能量計算的結(jié)果，選擇出能量最大的至少1路音頻流， 作為最終被選擇的音頻流；
其中，在進行音頻流能量的計算過程中，可以采用以下的方法
(1) 計算解碼后的音頻流在時域中一幀時間內(nèi)的音頻能量，計算多幀 音頻信號后取平均；或
(2) 計算解碼后的音頻流在頻域中相應(yīng)頻域范圍內(nèi)的音頻能量，計算 多幀音頻信號后取平均；或
(3 )對音頻流的量化因子進行解碼，從而估計出所述音頻流的能量。 上述對音頻流能量的計算可以歸納為2類， 一類是基于解碼方式的計算 方法，主要對應(yīng)于(l) (2)兩種方式，另外一類是基于非解碼估計的方式， 主要對應(yīng)于(3)這種方式，之所以采用這兩類方式進行音頻流能量的估算， 主要是由于針對不同的協(xié)議，對于一些音頻協(xié)議(例如G.723.1協(xié)議、G.729 協(xié)議)，只有通過對音頻流完全解碼的方式才能夠計算出所述音頻流的能量， 對于另外一些音頻協(xié)議(例如G.722.1協(xié)議、AAC LD協(xié)議)，只需要對 音頻流的某些參數(shù)進行解碼，就能夠估計出音頻流的能量。在估算出音頻流的能量之后，根據(jù)音頻會議的策略，可以選擇出其中的 能量最大的至少1路音頻流作為被選擇的音頻流。
可以理解，上面對各路音頻流的能量進行計算，從而選擇出能量最大的 至少l路音頻流，只是選擇音頻流的一種實現(xiàn)方式，也可以不計算各路音頻 流的能量，而將所有的與會會場的音頻流都作為被選擇的音頻流。
403 、獲取被選纟奪的至少1路音頻流對應(yīng)的標(biāo)識信息； 在實施403中，針對上述被選擇的至少l路音頻流，獲取其對應(yīng)的標(biāo)識 信息。
其中，所述被選的音頻流的標(biāo)識信息具體可以采用會場號作為所述多路 音頻流的標(biāo)識，當(dāng)然，也可以由會議管理員人工的分配，或者由會議管理系 統(tǒng)實時的分配。
可以理解，本發(fā)明的實施例中所述音頻流的標(biāo)識只是對所述音頻流分配 的一種代號，目的是為了區(qū)分出所述的音頻流，因此，根據(jù)本發(fā)明的實施例 能夠得到其他的標(biāo)識獲取方法，對此，本發(fā)明的實施例不做限制。
404、將所述被選擇的音頻流與所述獲取到的標(biāo)識信息相組合；
在實施404中，將所述被選擇的至少1路音頻流，與所述獲取到的被選 擇的音頻流的標(biāo)識信息進行組合。
其中，進行組合的方式包括
采用松散組合的方式，即對所述獲取的音頻碼流不做任何更改，在對每 幀音頻數(shù)據(jù)進行協(xié)議封裝時，在協(xié)議的包頭里加上音頻流的來源標(biāo)識； 和/或
采用緊密組合的方式，即將所述獲取的單聲道的音頻碼流進行編解碼， 將所述編解碼后的單聲道的音頻碼流整合成一個多聲道的碼流，在所述的多 聲道碼流的幀頭中增加多個聲道對應(yīng)的音頻流來源標(biāo)識。
需要說明的是，對于將所述的相對于所述終端的音頻流與所述音頻流對 應(yīng)的標(biāo)識進行組合的方式，可以采用全部是+>散組合的方式，也可以是全部 是緊密組合的方式，還可以是松散組合與緊密組合相結(jié)合的方式。405、將所迷與標(biāo)識信息組合后的音頻流根據(jù)相應(yīng)的發(fā)送策略發(fā)送給對
應(yīng)的各個終端。
在實施405中，將所述與標(biāo)識信息組合后的音頻流發(fā)送給對應(yīng)的各個終 端，具體可以采用如下的策略
即如果被選擇出的音頻流中包括某一個終端所獲取的音頻流，則發(fā)送 給所述終端的音頻流則是去除所述終端獲取音頻流的之后的其他被選擇出 的音頻流；如果被選擇的音頻流不包括某一個終端所獲取的音頻流時，則發(fā) 送給所述終端的是所有被選擇的音頻流。
為了更加清晰的說明這種音頻流的發(fā)送策略，參考圖5，對上述策略進 行說明，圖5中共包含4個終端以及一個服務(wù)器，其中，各個終端到服務(wù)器 的虛線含義為各個終端將自身采集到的音頻流上傳給服務(wù)器，服務(wù)器到各 個終端的實線含義為服務(wù)器將選擇出的音頻流下發(fā)給各個終端。假設(shè)經(jīng)過 服務(wù)器的計算，終端2、 3是能量最大音頻流對應(yīng)的終端，因此，服務(wù)器就 將音頻流2、 3分別下發(fā)給終端1和終端4,服務(wù)器將音頻流3下發(fā)給終端2, 將音頻流2下發(fā)給終端3。
采用本發(fā)明實施例的技術(shù)方案，使得終端能夠根據(jù)接收到的其他終端的 音頻流以及音頻流所分配的標(biāo)識，對其他終端的聲像位置進行自由的定位。
方法實施例3
本發(fā)明的方法實施例3主要針對多個服務(wù)器相級聯(lián)的情況的實施例方式 進行說明，其結(jié)構(gòu)可以通過圖6來說明
在圖6中，我們可以看出共有三個服務(wù)器，以及四個終端，其中終端1 與終端2屬于服務(wù)器2，終端3和終端4屬于服務(wù)器3，服務(wù)器2與服務(wù)器 3通過服務(wù)器1級聯(lián)在一起，其中，可以將服務(wù)器1看成是主服務(wù)器，而服 務(wù)器2與服務(wù)器3看成是服務(wù)器1的從服務(wù)器。
對于多服務(wù)器相級聯(lián)的情況，其處理過程為，參考圖7的流程圖
701、主服務(wù)器獲取從服務(wù)器上傳的音頻流；702、 所述主服務(wù)器對從所述從服務(wù)器獲取到的音頻流分解成多路音頻
流，所分解出的音頻流的路數(shù)為所述從服務(wù)器下的終端的個數(shù)；
在實施702中，由于所述從服務(wù)器獲取到的音頻流為所述從服務(wù)器的各 個終端上傳的，因此，所述從服務(wù)器可以根據(jù)具體的終端分解出不同的音頻流。
703、 所述主服務(wù)器對所述分解出的音頻流計算出其能量，并選擇出能 量最大的至少1路音頻流；
在實施703中，對所述分解出的音頻流計算出能量，并選擇出能量最大 的至少1路音頻流的實現(xiàn)過程類似于本發(fā)明的方法實施例2中的402，在此 不再贅述。
704、 獲取;故選擇的至少1路音頻流對應(yīng)的標(biāo)識信息；
在實施704中，主服務(wù)器通過從服務(wù)器獲取被選擇的至少1路音頻流對 應(yīng)的標(biāo)識信息。其獲取方式類似于本發(fā)明的方法實施例2中的403，在此不 再贅述。
705、 將所述被選擇的音頻流與所述獲取到的標(biāo)識信息相組合； 在實施705中，由于本步驟的實現(xiàn)過程類似于本發(fā)明的方法實施例2中
的404，在此不再贅述。
706、 將所述與標(biāo)識信息組合后的音頻流根據(jù)相應(yīng)的發(fā)送策略發(fā)送給對 應(yīng)的各個終端。
由于本步驟的實現(xiàn)過程類似于本發(fā)明的方法實施例2中的405，在此不 再贅述。
可以理解，本發(fā)明的方法實施例3只給出三個服務(wù)器構(gòu)成的服務(wù)器級聯(lián) 的形式，對于更多服務(wù)器的級聯(lián)，其實現(xiàn)的方式同樣可以根據(jù)本實施例的過 程來完成。
釆用本發(fā)明實施例的技術(shù)方案，使得終端能夠根據(jù)接收到的其他終端的 音頻流以及音頻流所分配的標(biāo)識，對其他終端的聲像位置進行自由的定位。方法實施例4
本發(fā)明的方法實施例4主要針對至少1個終端與多個服務(wù)器級聯(lián)相結(jié)合 的情況的實施例方式進行說明，其結(jié)構(gòu)可以通過圖8來說明
由圖8可以看出，包含三個服務(wù)器，其中，服務(wù)器l為主服務(wù)器，服務(wù) 器2與服務(wù)器3為從服務(wù)器，這三個服務(wù)器構(gòu)成服務(wù)器級聯(lián)的形式，另夕卜， 圖8共包括6個終端，其中，終端1、 2、 3、 4分別為從服務(wù)器2、 3的管轄 之下，終端5、 6為直接與主服務(wù)器l相連的終端。
其實現(xiàn)過程為，參考圖9:
901、 主服務(wù)器獲取從服務(wù)器上傳的音頻流以及所述主服務(wù)器所直接管 轄的終端的音頻流；
902、 所述主服務(wù)器對從所述從服務(wù)器獲取到的音頻流分解成多路音頻 流，所分解出的音頻流的路數(shù)不大于所述從服務(wù)器下的終端的個數(shù)；
在實施902中，由于所述從服務(wù)器獲取到的音頻流為所述從服務(wù)器的各 個終端上傳的，因此，所述從服務(wù)器可以根據(jù)具體的終端分解出不同的音頻 流。其中，所分解出的音頻流的路數(shù)可以小于所述從服務(wù)器下的終端的個數(shù)， 根據(jù)不同的終端是否發(fā)出聲音來確定所分解出的音頻流的路數(shù)，當(dāng) 一些終端 無會場聲音時，則所分解出的音頻流的路數(shù)小于所述從服務(wù)器下的終端的個 數(shù)。
903、 所述主服務(wù)器對從所述從服務(wù)器獲取到的音頻流分解出的音頻流 以及從直接所管轄的終端獲取的音頻流分別計算能量，并選擇出能量最大的 至少1路音頻流；
在實施903中，所述主服務(wù)器對從所述從服務(wù)器獲取到的音頻流分解出 的音頻流以及從直接所管轄的終端獲取的音頻流分別計算能量，并選擇出能 量最大的至少1路音頻流的實現(xiàn)過程類似于本發(fā)明的方法實施例2中的402， 在此不再贅述。
904、 獲取被選擇的至少1路音頻流對應(yīng)的標(biāo)識信息；
在實施904中，由于本步驟的實現(xiàn)過程類似于本發(fā)明的方法實施例2中的403，在此不再贅述。
905、 將所述被選擇的音頻流與所述獲取到的標(biāo)識信息相組合； 在實施905中，由于本步驟的實現(xiàn)過程類似于本發(fā)明的方法實施例2中
的404,在此不再贅述。
906、 將所述與標(biāo)識信息組合后的音頻流^f艮據(jù)相應(yīng)的發(fā)送策略發(fā)送給對 應(yīng)的各個終端或從服務(wù)器。
由于本步驟的實現(xiàn)過程類似于本發(fā)明的方法實施例2中的405,在此不 再贅述。
可以理解，本發(fā)明的方法實施例4只給出三個服務(wù)器構(gòu)成的服務(wù)器級聯(lián) 以及主服務(wù)器管轄的兩個終端的形式，對于更多服務(wù)器的級聯(lián)，以及主服務(wù) 器管轄更多的終端的實現(xiàn)的方式，同樣可以根據(jù)本實施例的過程來完成。
采用本發(fā)明實施例的技術(shù)方案，使得終端能夠根據(jù)接收到的其他終端的 音頻流以及音頻流所分配的標(biāo)識，對其他終端的聲像位置進行自由的定位。
方法實施例5
本方法實施例針對終端對接收到的音頻流進行的處理，參看圖10，其實
現(xiàn)過程具體為
1001 、對獲取到的分配標(biāo)識的多路音頻流揭j又標(biāo)識信息；
在實現(xiàn)1001中，可以從音頻流的1P包的協(xié)議包頭，或者從音頻幀的幀
頭獲取所述的標(biāo)識信息。
1002、 根據(jù)所述的提取的標(biāo)識信息對具有同一標(biāo)識的音頻流進行分流； 在實現(xiàn)1002中，由于不同的音頻流，其標(biāo)識信息不相同，對于同一標(biāo)
識的音頻流進行分流，相同標(biāo)識的音頻流分配給同一個解碼4莫塊。
1003、 根據(jù)所述提取的標(biāo)識信息為各路分流后的音頻流分配聲像位置； 在實現(xiàn)1003中，利用步驟1001提取出來的音頻流的標(biāo)識信息可以進行
聲像位置的分配。
聲像位置的分配可以通過用戶預(yù)先指定，即某個聲像位置固定分配給某一個終端，也可以自動分配，自動分配可以#~據(jù)以下原則進行
(1 )如果音頻流對應(yīng)的標(biāo)識和正在觀看的終端 一致，則分配中間的聲像 位置，在圖9中該位置即為電視機前的虛擬聲像位置。采用這種方法分配的 好處是，聲像位置和正在觀看的圖像相匹配。
(2) 如果某終端的音頻信號能量較大，則分配前面的聲像位置，這樣
可以保證遠端說話人的聲音來自前面。
(3) 如果某終端的音頻信號能量較小，則分配兩側(cè)的聲像位置，這樣的
終端可能只是噪聲，分配在兩側(cè)可以讓噪聲和遠端說話人的聲音分離的較 開，從而保證說話人聲音的清晰度。
1004、將所述分流后的音頻流進行解碼，并根據(jù)所述的音頻流的聲像位 置信息，對所述解碼后的音頻流進行3D聲處理。
在實現(xiàn)1004中，對于步驟1002中根據(jù)相同的標(biāo)識信息分配在同一音頻 流的音頻流進行解碼，利用1003分配的聲像位置信息，對所述的解碼后的 音頻流進行3D聲處理。
本發(fā)明的方法實施例都用到了 3D聲處理，其他地方不再贅述。3D聲處 理的目的是通過利用左右兩個音箱來營造出一個立體聲場，3D聲處理的具 體過程可以通過如下的例子進行說明，參見圖11:
在圖11中，揚聲器pl、 p2之間的距離為d，虛擬聲像vl距離揚聲器 pl之間的距離為w，假設(shè)某個音頻流sl分配的聲像位置為vl，則可將sl乘 上增益gl輸送到pl, sl乘上增益g2輸送到p2， gl、 g2可按下式計算 Wd = (gl-g2)/(gl + g2) (1) c = glxgl+g2xg2 (2) 公式(l)、 (2)中g(shù)l是左聲道幅度增益，g2是右聲道幅度增益，c 是一個固定值，例如可以等于l。
當(dāng)計算出左右聲道的增益信息時，就能夠模擬出立體的聲場。
采用本發(fā)明實施例的技術(shù)方案，使得終端能夠根據(jù)接收到的其他終端的 音頻流以及音頻流所分配的標(biāo)識，對其他終端的聲像位置進行自由的定位。系統(tǒng)實施例 系統(tǒng)實施例1
本發(fā)明的系統(tǒng)實施例可以通過附圖
服務(wù)器1200，用于針對一個終端獲取相對于所述終端的音頻流；給所述 獲取到的相對于所述終端的音頻流分配標(biāo)識；將所述獲取到的相對于所述終 端的音頻流以及所述音頻流對應(yīng)的所述標(biāo)識進行組合并發(fā)送給所述終端；
至少一個終端1300，用于獲取所述帶有標(biāo)識的音頻流，提取所述音頻流 的標(biāo)識，并根據(jù)所述的標(biāo)識對所述的具有同一標(biāo)識的音頻流進行分流，根據(jù) 所述提取的標(biāo)識信息為各路分流后的音頻流分配聲像位置；將所述分流后的 音頻流進行解碼，并根據(jù)所述的音頻流的聲像位置信息，對所述分流后的音 頻流進行3D聲處理。
采用本發(fā)明實施例的技術(shù)方案，使得終端能夠根據(jù)接收到的其他終端的 音頻流以及音頻流所分配的標(biāo)識，對其他終端的聲像位置進行自由的定位。
系統(tǒng)實施例2
參考圖6結(jié)構(gòu)圖，在系統(tǒng)實施例1的基礎(chǔ)上，本系統(tǒng)實施例包括一個主 服務(wù)器，即圖6中的服務(wù)器1，用于針對一個終端獲取相對于所述終端的音 頻流；給所述獲取到的相對于所述終端的音頻流分配標(biāo)識；將所述獲取到的 相對于所述終端的音頻流以及所述音頻流對應(yīng)的所述標(biāo)識進行組合并發(fā)送 給所述終端，還用于將所述至少一個從服務(wù)器的經(jīng)過組合后的帶標(biāo)識的所述 音頻流分解為多路音頻流；至少一個從服務(wù)器，即圖6中的服務(wù)器2與服務(wù) 器3，用于獲取其自身管轄的終端或其他服務(wù)器的音頻流，并將所述獲取到 的音頻流與所述音頻流的標(biāo)識進行組合。
釆用本發(fā)明實施例的技術(shù)方案，使得終端能夠根據(jù)接收到的其他終端的 音頻流以及音頻流所分配的標(biāo)識，對其他終端的聲像位置進行自由的定位。裝置實施例 服務(wù)器實施例
本實施例主要提供一種實現(xiàn)3D音頻會議的信號處理的服務(wù)器，所屬服 務(wù)器包括，參考圖13:
音頻流獲取單元1210,用于針對一個終端獲取相對于所述終端的音頻 流；標(biāo)識分配單元1220，用于給所述獲取到的相對于所述終端的音頻流分 配標(biāo)識；組合發(fā)送單元1230，用于將所述獲取到的相對于所述終端的音頻 流以及所述音頻流對應(yīng)的所述標(biāo)識進行組合并發(fā)送纟會所述終端。
其中，標(biāo)識分配單元1220具體包括，參考圖14:音頻流能量獲取模塊 1221 ，用于獲取相對于所述終端的多路音頻流的能量；音頻流選擇模塊1222 ， 用于根據(jù)所述獲取的多路音頻流的能量，選擇能量最大的至少l路音頻流； 標(biāo)識分配模塊1223，用于對所述選擇出的至少l路音頻流分配標(biāo)識。
標(biāo)識分配模塊1223具體包括，參考圖15:會場號獲取子模塊12231， 用于獲取所述的能量最大的至少l路音頻流各自所在會場的會場號；會場號 分配子模塊12232,用于將所述會場號獲取子模塊獲取的所述能量最大的至 少1路音頻流各自所在會場的會場號分配給所述音頻流。
所述組合發(fā)送單元1230具體包括以下模塊，參考圖16:第一組合模塊
1231, 用于對所述被選的音頻碼流不做任何更改，在對每幀音頻數(shù)據(jù)進行協(xié) 議封裝時，在協(xié)議的包頭里加上音頻流的來源標(biāo)識；和/或第二組合模塊
1232, 用于將所述被選的單聲道的音頻碼流進行編解碼，將所述編解碼后的 單聲道的音頻碼流整合成一個多聲道的碼流，在所述的多聲道碼流的幀頭中 增加多個聲道對應(yīng)的音頻流來源標(biāo)識。
采用本發(fā)明實施例的技術(shù)方案，使得終端能夠根據(jù)接收到的其他終端的 音頻流以及音頻流所分配的標(biāo)識，對其他終端的聲像位置進行自由的定位。
設(shè)備實施例 設(shè)備實施例1本發(fā)明實施例還提供一種實現(xiàn)3D音頻會議的信號處理的終端，參考圖 17，包括
音頻處理單元1310，用于/人獲取到的分配標(biāo)識的多路音頻流提取標(biāo)識信 息，并根據(jù)所述的標(biāo)識信息對音頻流進行分流，以及將所述多路音頻流分別 解碼；
聲像位置分配單元1320，用于根據(jù)所述音頻處理單元提取的標(biāo)識信息對 解碼后的所述多路音頻流分配聲像位置；
3D聲處理單元1330,用于根據(jù)所述分配的聲像位置對所述解碼后的多 路音頻流進行3D聲處理。
在實現(xiàn)本發(fā)明實施例的過程中，所述音頻處理單元1310具體包括參考 圖18:標(biāo)識提取模塊1311,用于從獲取到的分配標(biāo)識的多路音頻流提取標(biāo) 識信息；分配模塊1312,用于根據(jù)所述的提取出的標(biāo)識信息分配音頻流； 解碼模塊1313,用于將所述多路音頻流分別解碼。
采用本發(fā)明實施例的技術(shù)方案，使得終端能夠根據(jù)接收到的其他終端的 音頻流以及音頻流所分配的標(biāo)識，對其他終端的聲像位置進行自由的定位。
設(shè)備實施例2
在上述設(shè)備實施例1的基礎(chǔ)上，所述終端還可以包括，參考圖19:音頻 信號獲取單元1340，用于獲取所述會場的音頻信號；音頻編碼單元1350, 用于對獲取到的音頻信號進行編碼。
采用本發(fā)明實施例的技術(shù)方案，使得終端能夠根據(jù)接收到的其他終端的 音頻流以及音頻流所分配的標(biāo)識，對其他終端的聲像位置進行自由的定位。
通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā) 明可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當(dāng)然也可以通過硬件， 但很多情況下前者是更佳的實施方式。基于這樣的理解，本發(fā)明的技術(shù)方案 本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算 機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實 施例所述的方法。
以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本 發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應(yīng)包含在 本發(fā)明保護的范圍之內(nèi)。
權(quán)利要求
1、一種3D音頻會議的信號處理方法，其特征在于，所述方法包括針對一個終端獲取相對于所述終端的音頻流；給所述獲取到的相對于所述終端的音頻流分配標(biāo)識；將所述獲取到的相對于所述終端的音頻流以及所述音頻流對應(yīng)的所述標(biāo)識進行組合并發(fā)送給所述終端。
2、 根據(jù)權(quán)利要求1所述的信號處理方法，其特征在于，所述針對一個 終端獲取相對于所述終端的音頻流具體為獲取相對于所述終端的多路音頻流的能量；根據(jù)所述獲取的多路音頻流的能量，選擇能量最大的至少l路音頻流； 對所述選"^奪出的音頻流分配標(biāo)識。
3、 根據(jù)權(quán)利要求2所述的信號處理方法，其特征在于，所述給所述獲 取到的相對于所述終端的音頻流分配標(biāo)識，具體為采用會場號作為所述多 if各音頻流的分配標(biāo)識。
4、 根據(jù)權(quán)利要求1或2所述的信號處理方法，其特征在于，所述將所 述獲取到的相對于所述終端的音頻流以及所述音頻流對應(yīng)的所述標(biāo)識進行 組合具體包括以下方式采用松散組合的方式，即對所述獲取的音頻碼流不做任何更改，在對每 幀音頻數(shù)據(jù)進行協(xié)議封裝時，在協(xié)議的包頭里加上音頻流的來源標(biāo)識； 和/或采用緊密組合的方式，即將所述獲取的單聲道的音頻碼流進行編解碼， 將所述編解碼后的單聲道的音頻碼流整合成一個多聲道的碼流，在所述的多 聲道碼流的幀頭中增加多個聲道對應(yīng)的音頻流來源標(biāo)識。
5、 根據(jù)權(quán)利要求2所述的信號處理方法，其特征在于，所述獲取相對 于所述終端的多路音頻流的能量可以采用以下方法的 一種計算解碼后的音頻流在時域中 一幀時間內(nèi)的音頻能量，計算多幀音頻信 號后取平均；或計算解碼后的音頻流在頻域中相應(yīng)頻域范圍內(nèi)的音頻能量，計算多幀音頻信號后取平均；或?qū)σ纛l流的量化因子進行解碼，從而估計出所述音頻流的能量。
6、 根據(jù)權(quán)利要求1或2所述的信號處理方法，其特征在于，所述針對 一個終端獲取相對于所述終端的音頻流具體包括以下幾種方式中的 一種在單個服務(wù)器的情況下，獲取多個終端的分別發(fā)送的音頻流；或 在多個服務(wù)器級聯(lián)的情況下，獲取經(jīng)過所述的多個服務(wù)器分解后的多個終端的分別發(fā)送的音頻流；在至少一個終端以及多個服務(wù)器級聯(lián)并存的情況下，獲取所述至少一個終端發(fā)送的音頻流，以及獲取經(jīng)過所述的多個服務(wù)器分解后的多個終端的分別發(fā)送的音頻流。
7、 一種實現(xiàn)3D音頻會議的信號處理的服務(wù)器，其特征在于，所述服務(wù) 器包括音頻流獲取單元，用于針對一個終端獲取相對于所述終端的音頻流； 標(biāo)識分配單元，用于給所述獲取到的相對于所述終端的音頻流分配標(biāo)識；組合發(fā)送單元，用于將所述獲取到的相對于所述終端的音頻流以及所述 音頻流對應(yīng)的所述標(biāo)識進行組合并發(fā)送給所述終端。
8、 根據(jù)權(quán)利要求7所述的服務(wù)器，其特征在于，所述標(biāo)識分配單元具 體包括音頻流能量獲取模塊，用于獲取相對于所述終端的多路音頻流的能量； 音頻流選擇模塊，用于根據(jù)所述獲取的多路音頻流的能量，選擇能量最 大的至少1路音頻流；標(biāo)識分配模塊，用于對所述選擇出的至少1路音頻流分配標(biāo)識。
9、 根據(jù)權(quán)利要求8所述的服務(wù)器，其特征在于，所述標(biāo)識分配模塊具 體包括會場號獲取子模塊，用于獲取所述的能量最大的至少l路音頻流各自所在會場的會場號；會場號分配子模塊，用于將所述會場號獲取子模塊獲取的所述能量最大 的至少1路音頻流各自所在會場的會場號分配給所述音頻流。
10、 根據(jù)權(quán)利要求7或8所述的服務(wù)器，其特征在于，所述組合發(fā)送單 元具體包括以下模塊第一組合模塊，用于對所述被選的音頻碼流不做任何更改，在對每幀音 頻數(shù)據(jù)進行協(xié)議封裝時，在協(xié)議的包頭里加上音頻流的來源標(biāo)識； 和/或第二組合模塊，用于將所述被選的單聲道的音頻碼流進行編解碼，將所 述編解碼后的單聲道的音頻碼流整合成一個多聲道的碼流，在所述的多聲道 碼流的幀頭中增加多個聲道對應(yīng)的音頻流來源標(biāo)識。
11、 一種實現(xiàn)3D音頻會議的信號處理的終端，其特征在于，包括 音頻處理單元，用于從獲取到的分配標(biāo)識的多路音頻流提取標(biāo)識信息，并根據(jù)所述的標(biāo)識信息對音頻流進行分流，以及將所述多路音頻流分別解 碼；聲像位置分配單元，用于根據(jù)所述音頻處理單元提取的標(biāo)識信息對解碼 后的所述多路音頻流分配聲像位置；3D聲處理單元，用于根據(jù)所述分配的聲像位置對所述解碼后的多路音 頻流進行3D聲處理。
12、 根據(jù)權(quán)利要求11所述的終端，其特征在于，所述音頻處理單元具 體包括標(biāo)識提取模塊，用于從獲取到的分配標(biāo)識的多路音頻流提取標(biāo)識信息； 分配模塊，用于根據(jù)所述的提取出的標(biāo)識信息分配音頻流； 解碼模塊，用于將所述多路音頻流分別解碼。
13、 根據(jù)權(quán)利要求11所述的終端，其特征在于，所述終端還包括 音頻信號獲取單元，用于獲取所述會場的音頻信號； 音頻編碼單元，用于對獲取到的音頻信號進行編碼。
14、 一種3D音頻會議的信號處理方法，其特征在于，所述方法包括 對獲取到的分配標(biāo)識的多路音頻流提取標(biāo)識信息； 根據(jù)所述的4是取的標(biāo)識信息對具有同 一標(biāo)識的音頻流進行分流； 根據(jù)所述提取的標(biāo)識信息為各路分流后的音頻流分配聲像位置； 將所述分流后的音頻流進行解碼，并根據(jù)所述的音頻流的聲像位置信息，對所述解碼后的音頻流進行3D聲處理。
15、 根據(jù)權(quán)利要求14所述的信號處理方法，其特征在于，所述根據(jù)所 述的提取的標(biāo)識信息對具有同 一標(biāo)識信息的音頻流進行分流具體為讀取音頻流中的標(biāo)識信息；根據(jù)讀取到的所述標(biāo)識信息的音頻流分配到具有相同標(biāo)識信息的音頻 流通道中。
16、 一種3D音頻的會議系統(tǒng)，其特征在于，包括服務(wù)器，用于針對一個終端獲取相對于所述終端的音頻流；給所述獲取 到的相對于所述終端的音頻流分配標(biāo)識；將所述獲取到的相對于所述終端的 音頻流以及所述音頻流對應(yīng)的所述標(biāo)識進行組合并發(fā)送給所述終端； 至少一個終端，用于獲取所述帶有標(biāo)識的音頻流，提取所述音頻流的標(biāo) 識，并根據(jù)所述的標(biāo)識對所述的具有同一標(biāo)識的音頻流進行分流，根據(jù)所述 提取的標(biāo)識信息為各路分流后的音頻流分配聲像位置；將所述分流后的音頻 流進行解碼，并根據(jù)所述的音頻流的聲像位置信息，對所述分流后的音頻流 進行3D聲處理。
17、 根據(jù)權(quán)利要求16所述的會議系統(tǒng)，其特征在于，所述服務(wù)器為主 服務(wù)器，所述會議系統(tǒng)還包括至少一個從服務(wù)器，用于獲取其自身管轄的終端或其他服務(wù)器的音頻 流，并將所述獲取到的音頻流與所述音頻流的標(biāo)識進行組合；所述主服務(wù)器，還用于將所述至少一個從服務(wù)器的經(jīng)過組合后的帶標(biāo)識 的所述音頻流分解為多路音頻流。
全文摘要
本發(fā)明實施例提供一種3D音頻會議的信號處理的方法、系統(tǒng)與設(shè)備，其實現(xiàn)過程為針對一個終端獲取相對于所述終端的音頻流；給所述獲取到的相對于所述終端的音頻流分配標(biāo)識；將所述獲取到的相對于所述終端的音頻流以及所述音頻流對應(yīng)的所述標(biāo)識進行組合并發(fā)送給所述終端。采用本發(fā)明的技術(shù)方案，能夠解決現(xiàn)有技術(shù)中存在的傳輸通道需求過多，且終端無法對其他終端的聲像位置進行自由定位的問題。
文檔編號H04L29/06GK101547265SQ20081021709
公開日2009年9月30日 申請日期2008年10月20日 優(yōu)先權(quán)日2008年10月20日
發(fā)明者王東琦, 詹五洲 申請人:深圳華為通信技術(shù)有限公司