專利名稱：混音方法及設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及語(yǔ)音技術(shù)領(lǐng)域，尤其涉及一種混音方法及設(shè)備。
背景技術(shù)：
語(yǔ)音混音時(shí)多媒體會(huì)議中一個(gè)重要的組成部分，目前的混音方案采用了傳統(tǒng)的解碼-混音-編碼模式。然而現(xiàn)有的混音方法，若采用在服務(wù)器側(cè)實(shí)現(xiàn)的方式，則必須要求各客戶端所傳送的語(yǔ)音數(shù)據(jù)的編解碼方式、采樣率和聲道一致；換言之，即服務(wù)器不能對(duì)客戶端發(fā)送來的各種不同編碼規(guī)格、長(zhǎng)度的數(shù)據(jù)進(jìn)行混音。從而使得現(xiàn)有的服務(wù)器在處理混音時(shí)存在諸多的限制。

發(fā)明內(nèi)容
本發(fā)明的主要目的在于公開了一種混音方法及設(shè)備，以解決現(xiàn)有服務(wù)器在處理混音時(shí)受諸多條件限制的缺陷。為達(dá)上述目的，本發(fā)明公開一種混音方法，包括服務(wù)器接收并解碼至少兩個(gè)源客戶端發(fā)送的語(yǔ)音編碼數(shù)據(jù)，解碼后的數(shù)據(jù)統(tǒng)一為 PCM格式；所述服務(wù)器判斷所有源客戶端所傳送的語(yǔ)音編碼數(shù)據(jù)的采樣率和聲道是否與標(biāo)準(zhǔn)一致，如果不一致，基于標(biāo)準(zhǔn)采樣率對(duì)與之不同的源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行重新采樣，并基于標(biāo)準(zhǔn)聲道對(duì)與之不同的所有源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行擴(kuò)展或合并；根據(jù)時(shí)間戳對(duì)齊所述采樣率和聲道統(tǒng)一的語(yǔ)音數(shù)據(jù)；將對(duì)齊后的語(yǔ)音數(shù)據(jù)進(jìn)行混音處理后發(fā)送給宿客戶端。為達(dá)上述目的，本發(fā)明還公開一種服務(wù)器，用于處理多人會(huì)議中的混音，包括接收解碼模塊，用于接收并解碼至少兩個(gè)源客戶端發(fā)送的語(yǔ)音編碼數(shù)據(jù)，解碼后的數(shù)據(jù)統(tǒng)一為PCM格式；判斷模塊，用于判斷所有源客戶端所傳送的語(yǔ)音編碼數(shù)據(jù)的采樣率和聲道是否與標(biāo)準(zhǔn)一致；重新采樣模塊，用于在所述判斷模塊判斷源客戶端的語(yǔ)音數(shù)據(jù)的采樣率與標(biāo)準(zhǔn)采樣率不一樣時(shí)，基于標(biāo)準(zhǔn)采樣率對(duì)與之不同的源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行重新采樣；聲道轉(zhuǎn)換模塊，用于在所述判斷模塊判斷源客戶端的語(yǔ)音數(shù)據(jù)的聲道與標(biāo)準(zhǔn)聲道不一樣時(shí)，基于標(biāo)準(zhǔn)聲道對(duì)與之不同的所有源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行擴(kuò)展或合并；對(duì)齊模塊，用于根據(jù)時(shí)間戳對(duì)齊所述采樣率和聲道統(tǒng)一的語(yǔ)音數(shù)據(jù)；混音模塊，用于將對(duì)齊后的語(yǔ)音數(shù)據(jù)進(jìn)行混音處理后發(fā)送給宿客戶端；其中所述接收解碼模塊與所述判斷模塊及對(duì)齊模塊電性連接，所述判斷模塊與所述對(duì)齊模塊、所述聲道轉(zhuǎn)換模塊和所述重新采樣模塊電性連接，所述重新采樣模塊與所述聲道轉(zhuǎn)換模塊電性連接，所述對(duì)齊模塊與所述混音模塊、所述重新采樣模塊和所述聲道轉(zhuǎn)換模塊電性連接。
與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例至少具有以下優(yōu)點(diǎn)不同客戶端根據(jù)上行帶寬和客戶端設(shè)備編碼處理能力的不同，可以選擇最適合的采樣規(guī)格和編碼方式，從而讓客戶端上行的語(yǔ)音質(zhì)量達(dá)到最佳。在混音處理時(shí)，服務(wù)器通過對(duì)不同編碼類型、不同采樣規(guī)格的語(yǔ)音數(shù)據(jù)進(jìn)行整合、對(duì)齊，實(shí)現(xiàn)了服務(wù)器對(duì)異構(gòu)語(yǔ)音編碼數(shù)據(jù)的混音處理。


圖1是本發(fā)明實(shí)施例公開的混音方法的流程圖；圖2是本發(fā)明實(shí)施例客戶端上傳語(yǔ)音數(shù)據(jù)的示意圖；圖3是本發(fā)明實(shí)施例服務(wù)器進(jìn)行混音處理的方式一的示意圖；圖4是本發(fā)明實(shí)施例服務(wù)器進(jìn)行混音處理的方式二的示意圖；圖5為本發(fā)明實(shí)施例公開的防溢出衰減因子的邏輯流程圖；圖6為本發(fā)明實(shí)施例公開的混音設(shè)備的結(jié)構(gòu)圖。
具體實(shí)施例方式本發(fā)明公開一種混音方法及設(shè)備。以下針對(duì)說明書附圖對(duì)本發(fā)明的具體實(shí)施方式
做詳細(xì)說明。實(shí)施例一本實(shí)施例公開一種混音方法，如圖1所示，該方法包括步驟Si、服務(wù)器接收至少兩個(gè)源客戶端發(fā)送的語(yǔ)音編碼數(shù)據(jù)。本發(fā)明中，源客戶端指的是提供語(yǔ)音數(shù)據(jù)的客戶端，即發(fā)送端；宿客戶端指的是接收語(yǔ)音數(shù)據(jù)的客戶端，即接收端；在VOIP多人會(huì)議等使用場(chǎng)景中，其中任一客戶端既可以是源客戶端，又可以是宿客戶端，后續(xù)不再贅述。步驟S2、服務(wù)器將接收的編碼數(shù)據(jù)統(tǒng)一解碼為PCMbulse-codemodulation，脈沖編碼調(diào)制)格式。值得注意的是，后續(xù)步驟所述的語(yǔ)音數(shù)據(jù)如無特殊說明，均指代解碼后的PCM格式的語(yǔ)音數(shù)據(jù)。步驟S3、服務(wù)器判斷所有源客戶端所傳送的語(yǔ)音編碼數(shù)據(jù)的采樣率和聲道是否與標(biāo)準(zhǔn)一致。如果不一致，轉(zhuǎn)步驟S4，否則，轉(zhuǎn)步驟S5。步驟S4、服務(wù)器基于標(biāo)準(zhǔn)采樣率對(duì)與之不同的源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行重新采樣，并基于標(biāo)準(zhǔn)聲道對(duì)與之不同的所有源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行擴(kuò)展或合并。該步驟中，上述標(biāo)準(zhǔn)采樣率可以是上述宿客戶端默認(rèn)的語(yǔ)音采樣率，也可以是上述服務(wù)器統(tǒng)一設(shè)置的采樣率，較佳的，該服務(wù)器統(tǒng)一設(shè)置的采樣率為源客戶端的最大采樣率；同理，上述標(biāo)準(zhǔn)聲道可以為上述宿客戶端默認(rèn)的聲道，也可以為上述服務(wù)器統(tǒng)一設(shè)置的聲道。本發(fā)明中，每一路(即源、宿客戶端不同的)混音數(shù)據(jù)的標(biāo)準(zhǔn)采樣率和標(biāo)準(zhǔn)聲道可以是各自獨(dú)立的，也可以是和其他任一路混音數(shù)據(jù)統(tǒng)一的；具體請(qǐng)參照后續(xù)附圖4和附圖3相應(yīng)的文字及

，此處先不做詳細(xì)說明。在該步驟中，當(dāng)上述步驟S3判斷任一源客戶端所傳送的語(yǔ)音數(shù)據(jù)與標(biāo)準(zhǔn)采樣率和標(biāo)準(zhǔn)聲道都不一致時(shí)，該服務(wù)器可以是先對(duì)該源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行重新采樣后再進(jìn)行聲道轉(zhuǎn)換，也可是先對(duì)該語(yǔ)音數(shù)據(jù)進(jìn)行聲道轉(zhuǎn)換后再進(jìn)行重新采樣。其中，當(dāng)任一源客戶端的語(yǔ)音數(shù)據(jù)的采樣率與標(biāo)準(zhǔn)采樣率一致，而聲道與標(biāo)準(zhǔn)聲道不一致時(shí)，該服務(wù)器只需要對(duì)該源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行聲道的轉(zhuǎn)換處理；同理，當(dāng)任一源客戶端的語(yǔ)音數(shù)據(jù)的采樣率與標(biāo)準(zhǔn)采樣率不一致，而聲道與標(biāo)準(zhǔn)聲道一致時(shí)，該服務(wù)器只需要對(duì)該源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行重新采樣處理。步驟S5、根據(jù)時(shí)間戳對(duì)齊采樣率和聲道統(tǒng)一的語(yǔ)音數(shù)據(jù)。步驟S6、將對(duì)齊后的語(yǔ)音數(shù)據(jù)進(jìn)行混音處理后發(fā)送給宿客戶端。如圖2至圖4所示，圖2示出了 A、B、C、D四個(gè)用戶通過各自的客戶端A、B、C、D向服務(wù)器所發(fā)送的語(yǔ)音數(shù)據(jù)分別為16k采樣率、單聲道和Speex編碼的語(yǔ)音數(shù)據(jù)；Ilk采樣率、單聲道和nellymoser編碼的語(yǔ)音數(shù)據(jù)；22k采樣率、雙聲道和mp3編碼的語(yǔ)音數(shù)據(jù)；44k采樣率、雙聲道和aac編碼的語(yǔ)音數(shù)據(jù)。當(dāng)服務(wù)器將各客戶端所接收的數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為PCM數(shù)據(jù)后，服務(wù)器執(zhí)行上述的步驟S3和步驟S4，如圖3及圖4所示圖3示出了在服務(wù)器側(cè)，服務(wù)器進(jìn)行重新采樣和聲道轉(zhuǎn)換的一種方式。在該方式中，該服務(wù)器所設(shè)置的標(biāo)準(zhǔn)采樣率和聲道統(tǒng)一為44k采樣率和雙聲道，該標(biāo)準(zhǔn)與客戶端D的配置方式一致，因此，服務(wù)器在數(shù)據(jù)處理時(shí)，只需要對(duì)客戶端A、B、C解碼后的PCM數(shù)據(jù)進(jìn)行重新采樣和/或聲道轉(zhuǎn)換。實(shí)現(xiàn)過程中，重新采樣和聲道轉(zhuǎn)換的處理可以調(diào)用FFMPEG庫(kù) (項(xiàng)目的名稱來自MPEG視頻編碼標(biāo)準(zhǔn)，前面的“FF“代表‘‘Fast Forward ；FFMPEG是一個(gè)開源免費(fèi)跨平臺(tái)的視頻和音頻流方案，屬于自由軟件，它提供了錄制、轉(zhuǎn)換以及流化音視頻的完整解決方案。它包含了非常先進(jìn)的音頻/視頻編解碼庫(kù)libavcodec，為了保證高可移植性和編解碼質(zhì)量，libavcodec里很多codec都是從頭開發(fā)的。)中的av_resample函數(shù)； 在該函數(shù)中，有輸入采樣率、輸入聲道和輸出采樣率和輸出聲道四個(gè)參數(shù)可設(shè)置。其中，在聲道轉(zhuǎn)換時(shí)，當(dāng)單聲道擴(kuò)展為雙聲道時(shí)，相當(dāng)于將原有的單聲道PCM數(shù)據(jù)復(fù)制成兩份；而在將雙聲道合并為單聲道時(shí)，即相當(dāng)于對(duì)該雙聲道進(jìn)行混音處理。圖4示出了在服務(wù)器側(cè)，服務(wù)器進(jìn)行重新采樣和聲道轉(zhuǎn)換的另一種方式。在該方式中，該服務(wù)器所設(shè)置的標(biāo)準(zhǔn)采樣率和聲道為宿客戶端默認(rèn)的采樣率和聲道(即該宿客戶端作為源客戶端時(shí)所傳送數(shù)據(jù)的采樣率和聲道)，其中當(dāng)宿客戶端不一樣時(shí)，與之對(duì)應(yīng)的標(biāo)準(zhǔn)也不一樣。在圖4所示的場(chǎng)景中，服務(wù)器執(zhí)行下述的處理將源客戶端B、C、D的語(yǔ)音數(shù)據(jù)轉(zhuǎn)換成待混音以發(fā)送給宿客戶端A的1 采樣率、 單聲道的PCM數(shù)據(jù)；將源客戶端A、C、D的語(yǔ)音數(shù)據(jù)轉(zhuǎn)換成待混音以發(fā)送給宿客戶端B的Ilk采樣率、 單聲道的PCM數(shù)據(jù)；將源客戶端A、B、D的語(yǔ)音數(shù)據(jù)轉(zhuǎn)換成待混音以發(fā)送給宿客戶端C的2 采樣率、 雙聲道的PCM數(shù)據(jù)；將源客戶端A、B、C的語(yǔ)音數(shù)據(jù)轉(zhuǎn)換成待混音以發(fā)送給宿客戶端D的44k采樣率、 雙聲道的PCM數(shù)據(jù)。比較圖3和圖4的兩種方式，前者降低了服務(wù)器側(cè)數(shù)據(jù)處理的復(fù)雜度，后者則降低了宿客戶端側(cè)數(shù)據(jù)處理的復(fù)雜度。在將源客戶端的采樣率和聲道轉(zhuǎn)換成標(biāo)準(zhǔn)的采樣率和聲道后，該服務(wù)器對(duì)轉(zhuǎn)換后的語(yǔ)音數(shù)據(jù)進(jìn)行對(duì)齊處理。即根據(jù)時(shí)間戳將原客戶端各時(shí)間段的語(yǔ)音數(shù)據(jù)按秩序存入緩存中，且各個(gè)客戶端的語(yǔ)音數(shù)據(jù)各對(duì)應(yīng)一個(gè)緩存，以便于服務(wù)器在執(zhí)行上述步驟S6中的混音處理時(shí)，將源客戶端各緩存內(nèi)同一時(shí)間段的語(yǔ)音數(shù)據(jù)進(jìn)行疊加。其中，服務(wù)器在執(zhí)行上述步驟S6的過程中，包括將客戶端A、B、C對(duì)齊后的語(yǔ)音數(shù)據(jù)混音后發(fā)送給客戶端D，將客戶端A、C、D對(duì)齊后的語(yǔ)音數(shù)據(jù)混音后發(fā)送給客戶端B，將客戶端A、B、D對(duì)齊后的語(yǔ)音數(shù)據(jù)混音后發(fā)送給客戶端C，將客戶端B、C、D對(duì)齊后的語(yǔ)音數(shù)據(jù)混音后發(fā)送給客戶端A。本實(shí)施例所述的混音方法，不同客戶端根據(jù)上行帶寬和客戶端設(shè)備編碼處理能力的不同，可以選擇最適合的采樣規(guī)格和編碼方式，從而讓客戶端上行的語(yǔ)音質(zhì)量達(dá)到最佳。 在混音處理時(shí)，服務(wù)器通過對(duì)不同編碼類型、不同采樣規(guī)格的語(yǔ)音數(shù)據(jù)進(jìn)行整合、對(duì)齊，實(shí)現(xiàn)了服務(wù)器對(duì)異構(gòu)語(yǔ)音編碼數(shù)據(jù)的混音處理。實(shí)施例二本實(shí)施例是對(duì)上述實(shí)施例一所做的改進(jìn)。即在服務(wù)器的混音處理過程中，增加了圖5所示的防溢出處理。如圖5所示，本實(shí)施例所公開的混音處理包括以下步驟步驟S10、將對(duì)齊后的所有源客戶端的PCM數(shù)據(jù)進(jìn)行疊加。步驟S20、判斷疊加后的當(dāng)前語(yǔ)音幀是否溢出。如果溢出，轉(zhuǎn)下述步驟S30 ；如果不溢出(圖中未示出)，衰減因子為1，對(duì)當(dāng)前語(yǔ)音幀不做衰減處理，且截止于后續(xù)開始溢出語(yǔ)音幀之前的一語(yǔ)音幀，其衰減因子都為1。步驟S30、計(jì)算當(dāng)前語(yǔ)音幀的衰減因子，該衰減因子為溢出門限與最大溢出值的比值，并根據(jù)該衰減因子對(duì)當(dāng)前的語(yǔ)音幀進(jìn)行衰減處理。處理完成后轉(zhuǎn)步驟S40。步驟S40、將上一語(yǔ)音幀的衰減因子與一步長(zhǎng)(程序語(yǔ)言中的名詞，讓一個(gè)數(shù)值在每次運(yùn)算中加上某個(gè)數(shù)(此即步長(zhǎng))重復(fù)執(zhí)行此項(xiàng)運(yùn)算。例如對(duì)參數(shù)N的某項(xiàng)運(yùn)算，假設(shè)步長(zhǎng)為M，對(duì)N做一次運(yùn)算，然后將N+M賦值給N，再用新的N值(上一步運(yùn)算中的N+M)進(jìn)行一次運(yùn)算，如此重復(fù)。)相加后作為下一語(yǔ)音幀的衰減因子。其中，當(dāng)根據(jù)步長(zhǎng)計(jì)算后的衰減因子的值大于1時(shí)，將該語(yǔ)音幀的衰減因子當(dāng)成1處理。步驟S50、檢測(cè)下一語(yǔ)音幀是否到來。當(dāng)下一語(yǔ)音幀到來時(shí)，轉(zhuǎn)步驟S60。步驟S60、判斷疊加后的下一語(yǔ)音幀的PCM數(shù)據(jù)與步驟S40所確定的衰減因子之積是否溢出。如果溢出，轉(zhuǎn)步驟S30 ；否則，轉(zhuǎn)步驟S70。步驟S70、根據(jù)上述步驟S40所確定的衰減因子對(duì)該下一語(yǔ)音幀進(jìn)行衰減處理。處理完成后轉(zhuǎn)步驟S40，以對(duì)下下一語(yǔ)音幀進(jìn)行衰減處理，以此類推，直至步驟S60判斷存在溢出時(shí)為止。為了防止溢出，歷史上曾提出過幾種混音算法，比如算術(shù)平均算法，即把各個(gè)輸入語(yǔ)音流的采樣值進(jìn)行算術(shù)平均，這樣確實(shí)防止了溢出，但是這種算法把每個(gè)用戶的語(yǔ)音都減小到了原始音量的1/η (η為混音用戶數(shù))，如果用戶的聲音本來就不大，那么這個(gè)用戶的語(yǔ)音進(jìn)一步削弱以后就更聽不清了。相比較之下，本實(shí)施例所公開的混音方法，在實(shí)現(xiàn)防溢出的同時(shí)還確保了混音后聲音的質(zhì)量。
實(shí)施例三與上述方法實(shí)施例一對(duì)應(yīng)的，本實(shí)施例公開一種處理多人會(huì)議中的混音的服務(wù)器。如圖6所示，該服務(wù)器包括接收解碼模塊100，用于接收并解碼至少兩個(gè)源客戶端發(fā)送的語(yǔ)音編碼數(shù)據(jù)，解碼后的數(shù)據(jù)統(tǒng)一為PCM格式；判斷模塊200，用于判斷所有源客戶端所傳送的語(yǔ)音編碼數(shù)據(jù)的采樣率和聲道是否與標(biāo)準(zhǔn)一致；聲道轉(zhuǎn)換模塊300，用于在判斷模塊200判斷源客戶端的語(yǔ)音數(shù)據(jù)的聲道與標(biāo)準(zhǔn)聲道不一樣時(shí)，基于標(biāo)準(zhǔn)聲道對(duì)與之不同的所有源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行擴(kuò)展或合并；重新采樣模塊400，用于在判斷模塊200判斷源客戶端的語(yǔ)音數(shù)據(jù)的采樣率與標(biāo)準(zhǔn)采樣率不一樣時(shí)，基于標(biāo)準(zhǔn)采樣率對(duì)與之不同的源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行重新采樣；對(duì)齊模塊500，用于根據(jù)時(shí)間戳對(duì)齊采樣率和聲道統(tǒng)一的語(yǔ)音數(shù)據(jù)；混音模塊600，用于將對(duì)齊后的語(yǔ)音數(shù)據(jù)進(jìn)行混音處理后發(fā)送給宿客戶端；其中接收解碼模塊100與判斷模塊200及對(duì)齊模塊500電性連接，判斷模塊200 與對(duì)齊模塊500、聲道轉(zhuǎn)換模塊300和重新采樣模塊400電性連接，重新采樣模塊400與聲道轉(zhuǎn)換模塊300電性連接，對(duì)齊模塊500與混音模塊600、重新采樣模塊400和聲道轉(zhuǎn)換模塊300電性連接。根據(jù)上述的電性連接關(guān)系，當(dāng)上述判斷模塊200判斷任一源客戶端所傳送的語(yǔ)音數(shù)據(jù)與標(biāo)準(zhǔn)采樣率和標(biāo)準(zhǔn)聲道都不一致時(shí)，該服務(wù)器可以是先對(duì)該源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行重新采樣后再進(jìn)行聲道轉(zhuǎn)換，也可是先對(duì)該語(yǔ)音數(shù)據(jù)進(jìn)行聲道轉(zhuǎn)換后再進(jìn)行重新采樣。 其中，當(dāng)任一源客戶端的語(yǔ)音數(shù)據(jù)的采樣率與標(biāo)準(zhǔn)采樣率一致，而聲道與標(biāo)準(zhǔn)聲道不一致時(shí)，該服務(wù)器只需要對(duì)該源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行聲道的轉(zhuǎn)換處理；同理，當(dāng)任一源客戶端的語(yǔ)音數(shù)據(jù)的采樣率與標(biāo)準(zhǔn)采樣率不一致，而聲道與標(biāo)準(zhǔn)聲道一致時(shí)，該服務(wù)器只需要對(duì)該源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行重新采樣處理。本實(shí)施例中，上述重新采樣模塊400所設(shè)置的標(biāo)準(zhǔn)采樣率可以為宿客戶端默認(rèn)的語(yǔ)音采樣率，也可以為服務(wù)器統(tǒng)一設(shè)置的采樣率，較佳的，該服務(wù)器統(tǒng)一設(shè)置的采樣率為源客戶端的最大采樣率。同理，上述聲道轉(zhuǎn)換模塊300所設(shè)置的標(biāo)準(zhǔn)聲道可以為宿客戶端默認(rèn)的聲道，也可以為該服務(wù)器統(tǒng)一設(shè)置的聲道。本實(shí)施例公開的服務(wù)器，不同客戶端根據(jù)上行帶寬和客戶端設(shè)備編碼處理能力的不同，可以選擇最適合的采樣規(guī)格和編碼方式，從而讓客戶端上行的語(yǔ)音質(zhì)量達(dá)到最佳。在混音處理時(shí)，服務(wù)器通過對(duì)不同編碼類型、不同采樣規(guī)格的語(yǔ)音數(shù)據(jù)進(jìn)行整合、對(duì)齊，實(shí)現(xiàn)了服務(wù)器對(duì)異構(gòu)語(yǔ)音編碼數(shù)據(jù)的混音處理。與上述實(shí)施例二對(duì)應(yīng)的，上述混音模塊600還可以進(jìn)一步包括疊加單元61，用于將對(duì)齊模塊500對(duì)齊后的所有源客戶端的PCM數(shù)據(jù)進(jìn)行疊加；第一判斷單元62，用于判斷疊加單元61疊加后的當(dāng)前語(yǔ)音幀是否溢出；第一衰減因子計(jì)算單元63，用于在第一判斷模塊62判斷存在疊加后溢出時(shí)，根據(jù)溢出門限與最大溢出值的比值計(jì)算衰減因子；第二衰減因子計(jì)算單元64，用于按步長(zhǎng)遞增第一衰減因子計(jì)算單元63所計(jì)算出的衰減因子，當(dāng)遞增后的衰減因子大于1時(shí)，將該語(yǔ)音幀的衰減因子當(dāng)成1處理；
第二判斷單元65，用于判斷以第二衰減因子計(jì)算單元64所計(jì)算出的衰減因子對(duì)與之對(duì)應(yīng)的疊加后的語(yǔ)音幀進(jìn)行衰減后是否溢出，如果溢出，指令第一衰減因子計(jì)算單元和第二衰減因子計(jì)算單元重新計(jì)算衰減因子；衰減單元66，用于根據(jù)第一衰減處理單元63計(jì)算得出的衰減因子對(duì)疊加后溢出的語(yǔ)音幀進(jìn)行衰減處理，或者根據(jù)第二衰減因子計(jì)算單元64計(jì)算得出的衰減因子對(duì)第二判斷單元65判斷不存在溢出的語(yǔ)音幀進(jìn)行衰減處理。在上述混音模塊600的作用下，實(shí)現(xiàn)了在防溢出的同時(shí)還確保了混音后聲音的質(zhì)量。以上公開的僅為本發(fā)明的幾個(gè)具體實(shí)施例，但是，本發(fā)明并非局限于此，任何本領(lǐng)域的技術(shù)人員能思之的變化都應(yīng)落入本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種混音方法，其特征在于，包括服務(wù)器接收并解碼至少兩個(gè)源客戶端發(fā)送的語(yǔ)音編碼數(shù)據(jù)，解碼后的數(shù)據(jù)統(tǒng)一為PCM 格式；所述服務(wù)器判斷所有源客戶端所傳送的語(yǔ)音編碼數(shù)據(jù)的采樣率和聲道是否與標(biāo)準(zhǔn)一致，如果不一致，基于標(biāo)準(zhǔn)采樣率對(duì)與之不同的源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行重新采樣，并基于標(biāo)準(zhǔn)聲道對(duì)與之不同的所有源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行擴(kuò)展或合并； 根據(jù)時(shí)間戳對(duì)齊所述采樣率和聲道統(tǒng)一的語(yǔ)音數(shù)據(jù)； 將對(duì)齊后的語(yǔ)音數(shù)據(jù)進(jìn)行混音處理后發(fā)送給宿客戶端。
2.根據(jù)權(quán)利要求1所述的混音方法，其特征在于，所述服務(wù)器在處理混音時(shí)，包括 將對(duì)齊后的所有源客戶端的PCM數(shù)據(jù)進(jìn)行疊加；判斷當(dāng)前語(yǔ)音幀疊加后的數(shù)據(jù)是否溢出，如果溢出，計(jì)算本次語(yǔ)音幀的衰減因子，所述衰減因子為溢出門限與最大溢出值的比值，并根據(jù)該衰減因子對(duì)當(dāng)前的語(yǔ)音幀進(jìn)行衰減處理；將上述語(yǔ)音幀的衰減因子與一步長(zhǎng)相加后作為下一語(yǔ)音幀的衰減因子； 當(dāng)處理下一語(yǔ)音幀的混音時(shí)，判斷下一語(yǔ)音幀的疊加后的PCM數(shù)據(jù)與其對(duì)應(yīng)的衰減因子之積是否溢出，如果溢出，重新根據(jù)溢出門限與最大溢出值的比值計(jì)算衰減因子，否則， 將所述下一語(yǔ)音幀的衰減因子與一步長(zhǎng)相加后作為下下一語(yǔ)音幀的衰減因子，以此類推， 直至存在溢出時(shí)，再根據(jù)溢出門限與當(dāng)前的最大溢出值的比值重新計(jì)算衰減因子；其中，上述衰減因子的值小于或等于1，當(dāng)根據(jù)步長(zhǎng)計(jì)算后的值大于1時(shí)，將該語(yǔ)音幀的衰減因子當(dāng)成1處理。
3.根據(jù)權(quán)利要求1或2所述的混音方法，其特征在于，所述標(biāo)準(zhǔn)采樣率為所述宿客戶端默認(rèn)的語(yǔ)音采樣率，或?yàn)樗龇?wù)器統(tǒng)一設(shè)置的采樣率；以及所述標(biāo)準(zhǔn)聲道為所述宿客戶端默認(rèn)的聲道，或者為所述服務(wù)器統(tǒng)一設(shè)置的聲道。
4.根據(jù)權(quán)利要求3所述的混音方法，其特征在于，所述服務(wù)器統(tǒng)一設(shè)置的標(biāo)準(zhǔn)采樣率為所有源客戶端的最大采樣率，所述服務(wù)器統(tǒng)一設(shè)置的標(biāo)準(zhǔn)聲道數(shù)為所述源客戶端的最大聲道。
5.一種服務(wù)器，用于處理多人會(huì)議中的混音，其特征在于，包括接收解碼模塊，用于接收并解碼至少兩個(gè)源客戶端發(fā)送的語(yǔ)音編碼數(shù)據(jù)，解碼后的數(shù)據(jù)統(tǒng)一為PCM格式；判斷模塊，用于判斷所有源客戶端所傳送的語(yǔ)音編碼數(shù)據(jù)的采樣率和聲道是否與標(biāo)準(zhǔn)一致；重新采樣模塊，用于在所述判斷模塊判斷源客戶端的語(yǔ)音數(shù)據(jù)的采樣率與標(biāo)準(zhǔn)采樣率不一樣時(shí)，基于標(biāo)準(zhǔn)采樣率對(duì)與之不同的源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行重新采樣；聲道轉(zhuǎn)換模塊，用于在所述判斷模塊判斷源客戶端的語(yǔ)音數(shù)據(jù)的聲道與標(biāo)準(zhǔn)聲道不一樣時(shí)，基于標(biāo)準(zhǔn)聲道對(duì)與之不同的所有源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行擴(kuò)展或合并； 對(duì)齊模塊，用于根據(jù)時(shí)間戳對(duì)齊所述采樣率和聲道統(tǒng)一的語(yǔ)音數(shù)據(jù)； 混音模塊，用于將對(duì)齊后的語(yǔ)音數(shù)據(jù)進(jìn)行混音處理后發(fā)送給宿客戶端； 其中所述接收解碼模塊與所述判斷模塊及對(duì)齊模塊電性連接，所述判斷模塊與所述對(duì)齊模塊、所述聲道轉(zhuǎn)換模塊和所述重新采樣模塊電性連接，所述重新采樣模塊與所述聲道轉(zhuǎn)換模塊電性連接，所述對(duì)齊模塊與所述混音模塊、所述重新采樣模塊和所述聲道轉(zhuǎn)換模塊電性連接。
6.根據(jù)權(quán)利要求5所述的服務(wù)器，其特征在于，所述混音模塊包括疊加單元，用于將所述對(duì)齊模塊對(duì)齊后的所有源客戶端的PCM數(shù)據(jù)進(jìn)行疊加；第一判斷單元，用于判斷所述疊加單元疊加后的語(yǔ)音幀是否溢出；第一衰減因子計(jì)算單元，用于在所述第一判斷模塊判斷存在疊加后溢出時(shí)，根據(jù)溢出門限與最大溢出值的比值計(jì)算衰減因子；第二衰減因子計(jì)算單元，用于按步長(zhǎng)遞增所述第一衰減因子計(jì)算單元所計(jì)算出的衰減因子，當(dāng)遞增后的衰減因子大于1時(shí)，將該語(yǔ)音幀的衰減因子當(dāng)成1處理；第二判斷單元，用于判斷以所述第二衰減因子計(jì)算單元所計(jì)算出的衰減因子對(duì)與之對(duì)應(yīng)的疊加后的語(yǔ)音幀進(jìn)行衰減后是否溢出，如果溢出，指令所述第一衰減因子計(jì)算單元和第二衰減因子計(jì)算單元重新計(jì)算衰減因子；衰減單元，用于根據(jù)第一衰減處理單元計(jì)算得出的衰減因子對(duì)疊加后溢出的語(yǔ)音幀進(jìn)行衰減處理，或者根據(jù)第二衰減因子計(jì)算單元計(jì)算得出的衰減因子對(duì)所述第二判斷單元判斷不存在溢出的語(yǔ)音幀進(jìn)行衰減處理；其中所述疊加單元與所述第一判斷單元電性連接，所述第一判斷單元與所述第一衰減因子計(jì)算單元電性連接，所述第一衰減因子計(jì)算單元與所述衰減單元和所述第二衰減因子計(jì)算單元電性連接，所述第二衰減因子計(jì)算單元與所述第二判斷單元和所述衰減單元電性連接，所述第二判斷單元也與所述衰減單元電性連接。
7.根據(jù)權(quán)利要求5或6所述的服務(wù)器，其特征在于，所述重新采樣模塊所設(shè)置的標(biāo)準(zhǔn)采樣率為所述宿客戶端默認(rèn)的語(yǔ)音采樣率，或?yàn)樗龇?wù)器統(tǒng)一設(shè)置的采樣率；以及所述聲道轉(zhuǎn)換模塊所設(shè)置的標(biāo)準(zhǔn)聲道為所述宿客戶端默認(rèn)的聲道，或者為所述服務(wù)器統(tǒng)一設(shè)置的聲道。
8.根據(jù)權(quán)利要求7所述的服務(wù)器，其特征在于，所述服務(wù)器統(tǒng)一設(shè)置的采樣率為所述源客戶端的最大采樣率。
9.根據(jù)權(quán)利要求7所述的服務(wù)器，其特征在于，所述服務(wù)器統(tǒng)一設(shè)置的標(biāo)準(zhǔn)聲道數(shù)為所述源客戶端的最大聲道。
10.根據(jù)權(quán)利要求8所述的服務(wù)器，其特征在于，所述服務(wù)器統(tǒng)一設(shè)置的標(biāo)準(zhǔn)聲道數(shù)為所述源客戶端的最大聲道。
全文摘要
本發(fā)明公開了一種混音方法及設(shè)備，以解決現(xiàn)有服務(wù)器在處理混音時(shí)受諸多條件限制的缺陷。本發(fā)明公開的混音方法包括服務(wù)器接收并解碼至少兩個(gè)源客戶端發(fā)送的語(yǔ)音編碼數(shù)據(jù)，解碼后的數(shù)據(jù)統(tǒng)一為PCM格式；所述服務(wù)器判斷所有源客戶端所傳送的語(yǔ)音編碼數(shù)據(jù)的采樣率和聲道是否與標(biāo)準(zhǔn)一致，如果不一致，基于標(biāo)準(zhǔn)采樣率對(duì)與之不同的源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行重新采樣，并基于標(biāo)準(zhǔn)聲道對(duì)與之不同的所有源客戶端的語(yǔ)音數(shù)據(jù)進(jìn)行擴(kuò)展或合并；根據(jù)時(shí)間戳對(duì)齊所述采樣率和聲道統(tǒng)一的語(yǔ)音數(shù)據(jù)；將對(duì)齊后的語(yǔ)音數(shù)據(jù)進(jìn)行混音處理后發(fā)送給宿客戶端。本發(fā)明公開的技術(shù)方案可以廣泛應(yīng)用于VOIP多人會(huì)議中。
文檔編號(hào)G10L19/00GK102226944SQ20111013635
公開日2011年10月26日 申請(qǐng)日期2011年5月25日 優(yōu)先權(quán)日2011年5月25日
發(fā)明者周平, 晏利平, 李曉鵬, 李銳, 潘年華, 王偉, 王海, 胡海, 黃國(guó)宏 申請(qǐng)人:貴陽(yáng)朗瑪信息技術(shù)股份有限公司