本發(fā)明涉及云導(dǎo)播領(lǐng)域，具體涉及一種多媒體信息處理方法、裝置和電子設(shè)備。

背景技術(shù)：

隨著直播業(yè)務(wù)的不斷增長，對于直播業(yè)務(wù)的各種新功能新需求也越來越多，例如多機位切換、多場景切換、直播點播切換、分屏顯示、音頻混音等等，在傳統(tǒng)直播中，依賴于硬件導(dǎo)播臺來完成這些工作，這種方式不但設(shè)備成本較高，攜帶不便，且操作難度較大，所以云導(dǎo)播應(yīng)運而生，從而滿足不斷增長及變化的直播業(yè)務(wù)需求。云導(dǎo)播的主要功能就是將多路多媒體信號合成一路輸出，其中信號處理部分涉及到音視頻解碼、音頻混音、視頻拼接以及音、視頻編碼輸出等重要步驟，功能切換部分包括機位切換、模板改變、增刪機位等操作，處理流程復(fù)雜且功能眾多，如何更好地進行整體系統(tǒng)設(shè)計就成了云導(dǎo)播產(chǎn)品的核心工作。

現(xiàn)有云導(dǎo)播整體架構(gòu)設(shè)計上主要采用單線程處理方式，信號處理部分依次對每一路的多媒體信息進行拉流解碼，再進行音頻混音，視頻拼接，最后編碼輸出，各信號處理步驟之間串行進行。這種處理方式使得各信號處理步驟間耦合性較高，且整體處理性能也受影響；另外，在實現(xiàn)多路多媒體信息輸入流預(yù)覽時，現(xiàn)有云導(dǎo)播采用對每路多媒體信息輸入流另起一個轉(zhuǎn)碼進程專門進行轉(zhuǎn)碼處理并輸出，這種處理方式在浪費資源的同時，也使得預(yù)覽畫面和導(dǎo)播中畫面不同步，影響用戶觀感及使用。

因此，如何簡化多媒體處理過程、提高多媒體信息處理效率成為一個亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明實施例提供了一種多媒體信息處理方法、裝置和電子設(shè)備，以解決現(xiàn)有技術(shù)中多媒體處理過程繁瑣、多媒體信息處理效率低的問題。

根據(jù)第一方面，本發(fā)明實施例提供了一種多媒體信息處理方法，適用于多媒體處理裝置，比如導(dǎo)播過程中的多媒體信息處理器等，包括：對多路待處理多媒體信息流進行解碼；判斷每路解碼后的多媒體信息流中是否存在預(yù)覽信號；如果存在所述預(yù)覽信號，則從所述解碼后的多媒體信息流中獲取所述預(yù)覽信號對應(yīng)的目標(biāo)多媒體信息流；將所述目標(biāo)多媒體信息流進行編碼得到多媒體預(yù)覽數(shù)據(jù)。

可選地，所述多媒體信息流包括音頻流和/或視頻流；所述目標(biāo)多媒體信息流包括目標(biāo)音頻流和/或目標(biāo)視頻流。

可選地，還包括：如果不存在所述預(yù)覽信號或所述得到多媒體預(yù)覽數(shù)據(jù)后，將解碼后的所述音頻流進行混音處理得到混音音頻流，將解碼后的所述視頻流進行拼接處理得到拼接后視頻流。

可選地，還包括：對所述混音音頻流和所述拼接后視頻流進行編碼得到多媒體輸出數(shù)據(jù)。

可選地，所述對多路待處理多媒體信息流進行解碼包括：對每一路所述待處理多媒體信息流采用一個線程進行解碼。

根據(jù)第二方面，本發(fā)明實施例提供了一種多媒體信息處理裝置，包括：解碼模塊，用于對多路待處理多媒體信息流進行解碼；判斷模塊，用于判斷每路解碼后的多媒體信息流中是否存在預(yù)覽信號；第一獲取模塊，用于如果存在所述預(yù)覽信號，則從所述解碼后的多媒體信息流中獲取所述預(yù)覽信號對應(yīng)的目標(biāo)多媒體信息流；編碼預(yù)覽模塊，用于將所述目標(biāo)多媒體信息流進行編碼得到多媒體預(yù)覽數(shù)據(jù)。

可選地，所述多媒體信息流包括音頻流和/或視頻流；所述目標(biāo)多媒體信息流包括目標(biāo)音頻流和/或目標(biāo)視頻流。

可選地，還包括：混音拼接模塊，用于如果不存在所述預(yù)覽信號或所述得到多媒體預(yù)覽數(shù)據(jù)后，將解碼后的所述音頻流進行混音處理得到混音音頻流，將解碼后的所述視頻流進行拼接處理得到拼接后視頻流。

可選地，還包括：編碼輸出模塊，用于對所述混音音頻流和所述拼接后視頻流進行編碼得到多媒體輸出數(shù)據(jù)。

可選地，所述解碼模塊包括：并行解碼單元，用于對每一路所述待處理多媒體信息流采用一個線程進行解碼。

根據(jù)第三方面，本發(fā)明實施例提供了一種電子設(shè)備，包括：至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器執(zhí)行第一方面或者第一方面的任意一種可選方式中所述的多媒體信息處理方法。

根據(jù)第四方面，本發(fā)明實施例提供了一種非暫態(tài)計算機可讀存儲介質(zhì)，所述非暫態(tài)計算機可讀存儲介質(zhì)存儲計算機指令，所述計算機指令用于使所述計算機執(zhí)行第一方面或者第一方面的任意一種可選方式中所述的多媒體信息處理方法。

根據(jù)第五方面，本發(fā)明實施例提供了一種計算機程序產(chǎn)品，所述計算機程序產(chǎn)品包括存儲在非暫態(tài)計算機可讀存儲介質(zhì)上的計算程序，所述計算機程序包括程序指令，當(dāng)所述程序指令被計算機執(zhí)行時，使所述計算機執(zhí)行第一方面或者第一方面的任意一種可選方式中所述的多媒體信息處理方法。

本發(fā)明實施例所提供的一種多媒體信息處理方法、裝置和電子設(shè)備，通過采用并行信號處理的方法對多路多媒體信息流進行解碼，其中每一路多媒體信息流解碼后的音頻流和視頻流不僅用于音頻混音、視頻拼接后編碼輸出，還用于在有預(yù)覽信號時，將對應(yīng)的目標(biāo)多媒體信息流編碼得到多媒體預(yù)覽數(shù)據(jù)，與現(xiàn)有技術(shù)相比，不僅實現(xiàn)了可實時控制預(yù)覽目標(biāo)多媒體信息流，而且避免了現(xiàn)有技術(shù)中因預(yù)覽過程單獨轉(zhuǎn)碼而導(dǎo)致的預(yù)覽畫面與編碼輸出的畫面不同步的問題。

附圖說明

通過參考附圖會更加清楚的理解本發(fā)明的特征和優(yōu)點，附圖是示意性的而不應(yīng)理解為對本發(fā)明進行任何限制，在附圖中：

圖1示出了根據(jù)本發(fā)明實施例的多媒體信息處理方法的流程圖；

圖2示出了根據(jù)本發(fā)明實施例的多媒體信息處理裝置的示意圖；

圖3示出了根據(jù)本發(fā)明實施例的電子設(shè)備的示意圖。

具體實施方式

為使本發(fā)明實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

實施例

本實施例提供一種多媒體信息處理方法，適用于多媒體處理裝置，比如導(dǎo)播過程中的多媒體信息處理器等，如圖1所示，包括如下步驟：

S11：對多路待處理多媒體信息流進行解碼，作為一種可選地實施方式，可以采用并行數(shù)據(jù)處理方式對每一路待處理多媒體信息流采用一個獨立的線程進行解碼，以降低各路之間的耦合性，提高解碼結(jié)果的準(zhǔn)確率。所述多媒體信息流包括音頻流和/或視頻流，解碼后得到后相應(yīng)的音頻流和視頻流。

S12：判斷每路解碼后的多媒體信息流中是否存在預(yù)覽信號，此處預(yù)覽信號可以是預(yù)先設(shè)定在預(yù)定時刻加入待處理多媒體信息流的，也可以實時加入待處理多媒體信息流的，若存在預(yù)覽信號執(zhí)行步驟S13-S15，否則執(zhí)行S15，當(dāng)不存在所述預(yù)覽信號時或執(zhí)行S14步驟得到多媒體預(yù)覽數(shù)據(jù)后，都會執(zhí)行S15的步驟。

S13：如果存在所述預(yù)覽信號，則從解碼后的多媒體信息流中獲取所述預(yù)覽信號對應(yīng)的目標(biāo)多媒體信息流，具體地，解碼后的多媒體信息流中包括所述目標(biāo)多媒體信息流的目標(biāo)音頻流和/或目標(biāo)視頻流，根據(jù)預(yù)覽信號，然后從中獲取對應(yīng)的目標(biāo)音頻流和目標(biāo)視頻流。

S14：將所述目標(biāo)多媒體信息流進行編碼得到多媒體預(yù)覽數(shù)據(jù)，即將步驟S13中獲取到的目標(biāo)音頻流和目標(biāo)視頻流進行相關(guān)的編碼，得到多媒體預(yù)覽數(shù)據(jù)。

S15：將解碼后的所述音頻流進行混音處理得到混音音頻流，將解碼后的所述視頻流進行拼接處理得到拼接后視頻流。之后，還可以進一步包括對所述混音音頻流和所述拼接后視頻流進行編碼得到多媒體輸出數(shù)據(jù)，此處多媒體輸出數(shù)據(jù)可用于導(dǎo)播平臺進行多媒體導(dǎo)播。即無論有沒有預(yù)覽信號，均對于解碼后得到的音頻流和視頻流進行相應(yīng)的混音處理和視頻拼接處理后編碼得到多媒體輸出數(shù)據(jù)，在有預(yù)覽信號時，由于預(yù)覽過程和編碼輸出采用的是同義詞解碼后的數(shù)據(jù)，因此預(yù)覽畫面和編碼輸出畫面具有較高的同步性。

需要說明的是，對于導(dǎo)播系統(tǒng)來說，在步驟S11中，本實施例采用多線程處理方式，自然地，對于各信號處理過程，諸如拉流解碼、音頻混音、視頻拼接、編碼輸出等均可由各自對應(yīng)的子線程實現(xiàn)，它們相互獨立互不影響，因此各功能切換諸如添加機位、刪除機位、切流、變換模板等均在其對應(yīng)的線程中進行參數(shù)變化控制，可實現(xiàn)與各信號處理線程分離，避免造成不必要的處理延遲。

本實施例提供的多媒體信息處理方法，通過采用并行信號處理的方法對多路多媒體信息流進行解碼，其中每一路多媒體信息流解碼后的音頻流和視頻流不僅用于音頻混音、視頻拼接后編碼輸出，還用于在有預(yù)覽信號時，將對應(yīng)的目標(biāo)多媒體信息流編碼得到多媒體預(yù)覽數(shù)據(jù)，與現(xiàn)有技術(shù)相比，不僅實現(xiàn)了可實時控制預(yù)覽目標(biāo)多媒體信息流，而且避免了現(xiàn)有技術(shù)中因預(yù)覽過程單獨轉(zhuǎn)碼而導(dǎo)致的預(yù)覽畫面與編碼輸出的畫面不同步的問題。

本實施例提供一種多媒體信息處理裝置，如圖2所示，包括解碼模塊21、判斷模塊22、第一獲取模塊23、編碼預(yù)覽模塊24、混音拼接模塊25和編碼輸出模塊26，各模塊功能如下：

解碼模塊21，用于對多路待處理多媒體信息流進行解碼；作為一種可選地實施方式，所述解碼模塊21包括：并行解碼單元212，用于對每一路所述待處理多媒體信息流采用一個線程進行解碼；所述多媒體信息流包括音頻流和/或視頻流；具體可參見如圖1所示的實施例中對步驟S11的相關(guān)描述。

判斷模塊22，用于判斷解碼后的多媒體信息流中是否存在預(yù)覽信號；具體可參見如圖1所示的實施例中對步驟S12的相關(guān)描述。

第一獲取模塊23，用于如果存在所述預(yù)覽信號，則從所述解碼后的多媒體信息流中獲取所述預(yù)覽信號對應(yīng)的目標(biāo)多媒體信息流；所述目標(biāo)多媒體信息流包括目標(biāo)音頻流和/或目標(biāo)視頻流。具體可參見如圖1所示的實施例中對步驟S13的相關(guān)描述。

編碼預(yù)覽模塊24，用于將所述目標(biāo)多媒體信息流進行編碼得到多媒體預(yù)覽數(shù)據(jù)。具體可參見如圖1所示的實施例中對步驟S14的相關(guān)描述。

作為一種可選地實施方式，還包括：混音拼接模塊25，用于如果不存在所述預(yù)覽信號或所述得到多媒體預(yù)覽數(shù)據(jù)后，將解碼后的所述音頻流進行混音處理得到混音音頻流，將解碼后的所述視頻流進行拼接處理得到拼接后視頻流。具體可參見如圖1所示的實施例中的相關(guān)描述。

作為一種可選地實施方式，還包括：編碼輸出模塊26，用于對所述混音音頻流和所述拼接后視頻流進行編碼得到多媒體輸出數(shù)據(jù)。具體可參見如圖1所示的實施例中的相關(guān)描述。

本實施例提供的多媒體信息處理裝置，通過采用并行信號處理的方法對多路多媒體信息流進行解碼，其中每一路多媒體信息流解碼后的音頻流和視頻流不僅用于音頻混音、視頻拼接后編碼輸出，還用于在有預(yù)覽信號時，將對應(yīng)的目標(biāo)多媒體信息流編碼得到多媒體預(yù)覽數(shù)據(jù)，與現(xiàn)有技術(shù)相比，不僅實現(xiàn)了可實時控制預(yù)覽目標(biāo)多媒體信息流，而且避免了現(xiàn)有技術(shù)中因預(yù)覽過程單獨轉(zhuǎn)碼而導(dǎo)致的預(yù)覽畫面與編碼輸出的畫面不同步的問題。

圖3是本發(fā)明實施例提供的多媒體信息處理方法的電子設(shè)備的硬件結(jié)構(gòu)示意圖，如圖3所示，該設(shè)備包括一個或多個處理器310以及存儲器320，圖3中以一個處理器310為例。

多媒體信息處理方法的設(shè)備還可以包括：輸入裝置330和輸出裝置340。

處理器310、存儲器320、輸入裝置330和輸出裝置340可以通過總線或者其他方式連接，圖3中以通過總線連接為例。

處理器310可以為中央處理器(Central Processing Unit，CPU)。處理器310還可以為其他通用處理器、數(shù)字信號處理器(Digital Signal Processor，DSP)、專用集成電路(Application Specific Integrated Circuit，ASIC)、現(xiàn)場可編程門陣列(Field-Programmable Gate Array，F(xiàn)PGA)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件等芯片，或者上述各類芯片的組合。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。

存儲器320作為一種非暫態(tài)計算機可讀存儲介質(zhì)，可用于存儲非暫態(tài)軟件程序、非暫態(tài)計算機可執(zhí)行程序以及模塊，如本申請實施例中的多媒體信息處理方法對應(yīng)的程序指令/模塊(例如，附圖2所示的解碼模塊21、判斷模塊22、第一獲取模塊23、編碼預(yù)覽模塊24、混音拼接模塊25和編碼輸出模塊26)。處理器310通過運行存儲在存儲器320中的非暫態(tài)軟件程序、指令以及模塊，從而執(zhí)行服務(wù)器的各種功能應(yīng)用以及數(shù)據(jù)處理，即實現(xiàn)上述方法實施例多媒體信息處理方法。

存儲器320可以包括存儲程序區(qū)和存儲數(shù)據(jù)區(qū)，其中，存儲程序區(qū)可存儲操作系統(tǒng)、至少一個功能所需要的應(yīng)用程序；存儲數(shù)據(jù)區(qū)可存儲根據(jù)多媒體信息處理裝置的使用所創(chuàng)建的數(shù)據(jù)等。此外，存儲器320可以包括高速隨機存取存儲器，還可以包括非暫態(tài)存儲器，例如至少一個磁盤存儲器件、閃存器件、或其他非暫態(tài)固態(tài)存儲器件。在一些實施例中，存儲器320可選包括相對于處理器310遠(yuǎn)程設(shè)置的存儲器，這些遠(yuǎn)程存儲器可以通過網(wǎng)絡(luò)連接至多媒體信息處理裝置。上述網(wǎng)絡(luò)的實例包括但不限于互聯(lián)網(wǎng)、企業(yè)內(nèi)部網(wǎng)、局域網(wǎng)、移動通信網(wǎng)及其組合。

輸入裝置330可接收輸入的數(shù)字或字符信息，以及產(chǎn)生與多媒體信息處理裝置的用戶設(shè)置以及功能控制有關(guān)的鍵信號輸入。輸出裝置340可包括顯示屏等顯示設(shè)備。

所述一個或者多個模塊存儲在所述存儲器320中，當(dāng)被所述一個或者多個處理器310執(zhí)行時，執(zhí)行如圖1所示的方法。

上述產(chǎn)品可執(zhí)行本發(fā)明實施例所提供的方法，具備執(zhí)行方法相應(yīng)的功能模塊和有益效果。未在本實施例中詳盡描述的技術(shù)細(xì)節(jié)，具體可參見如圖1所示的實施例中的相關(guān)描述。

本發(fā)明實施例還提供了一種非暫態(tài)計算機存儲介質(zhì)，所述計算機存儲介質(zhì)存儲有計算機可執(zhí)行指令，該計算機可執(zhí)行指令可執(zhí)行上述任意方法實施例中的多媒體信息處理方法。其中，所述存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(Read-Only Memory，ROM)、隨機存儲記憶體(Random Access Memory，RAM)、快閃存儲器(Flash Memory)、硬盤(Hard Disk Drive，縮寫：HDD)或固態(tài)硬盤(Solid-State Drive，SSD)等；所述存儲介質(zhì)還可以包括上述種類的存儲器的組合。

本領(lǐng)域技術(shù)人員可以理解，實現(xiàn)上述實施例方法中的全部或部分流程，是可以通過計算機程序來指令相關(guān)的硬件來完成，所述的程序可存儲于一計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，可包括如上述各方法的實施例的流程。其中，所述的存儲介質(zhì)可為磁碟、光盤、只讀存儲記憶體(ROM)或隨機存儲記憶體(RAM)等。

雖然結(jié)合附圖描述了本發(fā)明的實施例，但是本領(lǐng)域技術(shù)人員可以在不脫離本發(fā)明的精神和范圍的情況下作出各種修改和變型，這樣的修改和變型均落入由所附權(quán)利要求所限定的范圍之內(nèi)。