本發(fā)明涉及多媒體處理，特別涉及一種音視頻同步方法、裝置、和電子設(shè)備。

背景技術(shù)：

1、在多路視頻錄制場(chǎng)景下，錄制系統(tǒng)會(huì)采集多路視頻數(shù)據(jù)和多路音頻數(shù)據(jù)，并會(huì)將采集到的音視頻數(shù)據(jù)合成為不同的錄制視頻，以提供更豐富的視角和更全面的記錄。

2、例如，在校園多路課程錄制場(chǎng)景中，錄制系統(tǒng)會(huì)通過(guò)多個(gè)攝像機(jī)從不同的視角或位置捕捉視頻內(nèi)容，從而形成多個(gè)獨(dú)立的視頻數(shù)據(jù)，并通過(guò)陣列麥克風(fēng)采集不同區(qū)域的聲源，以形成多個(gè)獨(dú)立的音頻數(shù)據(jù)。錄制系統(tǒng)在采集到多路視頻數(shù)據(jù)和多路音頻數(shù)據(jù)后，會(huì)根據(jù)需求對(duì)這些獨(dú)立的數(shù)據(jù)流進(jìn)行合成，從而形成不同的錄制視頻。例如，錄制系統(tǒng)可以將教室前部區(qū)域的音頻與教師視角視頻進(jìn)行合成，以形成錄制視頻一，或者將教室后部區(qū)域的音頻與上述教師視角視頻進(jìn)行合成，以形成錄制視頻二。這樣用戶便可以根據(jù)需要選擇不同的錄制視頻來(lái)觀看。

3、然而，在對(duì)音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行合成時(shí)，可能會(huì)出現(xiàn)音畫不同步的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的目的在于提供一種音視頻同步方法、裝置和電子設(shè)備，可以確保在合成音頻數(shù)據(jù)和視頻數(shù)據(jù)時(shí)聲音和畫面保持同步。

2、為實(shí)現(xiàn)上述目的，本申請(qǐng)一方面提供一種音視頻同步方法，所述方法包括：拉取第一路數(shù)據(jù)流和第二路數(shù)據(jù)流，其中，所述第一路數(shù)據(jù)流包含第一音頻和第一視頻，所述第二路數(shù)據(jù)流包含第二音頻，所述第一音頻的時(shí)間戳信息與所述第一視頻的時(shí)間戳信息同步；判斷所述第一音頻的時(shí)間戳信息與所述第二音頻的時(shí)間戳信息是否同步，若不同步則執(zhí)行初始對(duì)齊策略，以基于所述第二音頻生成與所述第一音頻的時(shí)間戳信息對(duì)齊的目標(biāo)音頻；在執(zhí)行所述初始對(duì)齊策略時(shí)，監(jiān)控所述第一路數(shù)據(jù)流和所述第二路數(shù)據(jù)流是否發(fā)生斷流，若發(fā)生斷流，則解除所述初始對(duì)齊策略，并基于所述第一路數(shù)據(jù)流和所述第二路數(shù)據(jù)流的斷流情況執(zhí)行斷流對(duì)齊策略，以將斷流數(shù)據(jù)流轉(zhuǎn)換為音畫同步的混合數(shù)據(jù)流。

3、為實(shí)現(xiàn)上述目的，本申請(qǐng)另一方面還提供一種音視頻同步裝置，所述裝置包括：數(shù)據(jù)拉取模塊，用于拉取第一路數(shù)據(jù)流和第二路數(shù)據(jù)流，其中，所述第一路數(shù)據(jù)流包含第一音頻和第一視頻，所述第二路數(shù)據(jù)流包含第二音頻，所述第一音頻的時(shí)間戳信息與所述第一視頻的時(shí)間戳信息同步；初始對(duì)齊策略執(zhí)行模塊，用于判斷所述第一音頻的時(shí)間戳信息與所述第二音頻的時(shí)間戳信息是否同步，若不同步則執(zhí)行初始對(duì)齊策略，以基于所述第二音頻生成與所述第一音頻的時(shí)間戳信息對(duì)齊的目標(biāo)音頻；斷流對(duì)齊策略執(zhí)行模塊，用于在執(zhí)行所述初始對(duì)齊策略時(shí)，監(jiān)控所述第一路數(shù)據(jù)流和所述第二路數(shù)據(jù)流是否發(fā)生斷流，若發(fā)生斷流，則解除所述初始對(duì)齊策略，并基于所述第一路數(shù)據(jù)流和所述第二路數(shù)據(jù)流的斷流情況執(zhí)行斷流對(duì)齊策略，以將斷流數(shù)據(jù)流轉(zhuǎn)換為音畫同步的混合數(shù)據(jù)流。

4、為實(shí)現(xiàn)上述目的，本申請(qǐng)另一方面還提供電子設(shè)備，所述電子設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)上述音視頻同步方法。

5、由此可見，本申請(qǐng)?zhí)峁┑募夹g(shù)方案，數(shù)據(jù)采集設(shè)備至少可以采集到第一路數(shù)據(jù)流和第二路數(shù)據(jù)流兩個(gè)獨(dú)立的數(shù)據(jù)流，其中，第一路數(shù)據(jù)流包含有第一音頻和第一視頻，第二路數(shù)據(jù)流僅包含有第二音頻。第一音頻和第一視頻位于同一路數(shù)據(jù)流中，并且二者的時(shí)間戳信息同步。當(dāng)需要將第二音頻與第一視頻進(jìn)行合并時(shí)，錄制系統(tǒng)可以從數(shù)據(jù)采集設(shè)備處拉取第一路數(shù)據(jù)流和第二路數(shù)據(jù)流，然后識(shí)別出第一音頻的時(shí)間戳信息與第二音頻的時(shí)間戳信息，并判斷這二者的時(shí)間戳信息是否同步。如果這二者的時(shí)間戳信息不同步，則根據(jù)初始對(duì)齊策略對(duì)第二音頻進(jìn)行處理，從而將第二音頻轉(zhuǎn)換為與第一音頻的時(shí)間戳信息對(duì)齊的目標(biāo)音頻。由于第一音頻和第一視頻的時(shí)間戳信息是同步的，因此目標(biāo)音頻的時(shí)間戳信息與第一視頻的時(shí)間戳信息便可以實(shí)現(xiàn)同步，這樣在將第二音頻與第一視頻進(jìn)行合并時(shí)，便可以實(shí)現(xiàn)音畫同步的效果。同時(shí)，在執(zhí)行初始對(duì)齊策略時(shí)，錄制系統(tǒng)會(huì)監(jiān)控第一路數(shù)據(jù)流和第二路數(shù)據(jù)流的拉流情況，如果第一路數(shù)據(jù)流或者第二路數(shù)據(jù)流發(fā)生斷流，則會(huì)對(duì)斷流的數(shù)據(jù)流執(zhí)行斷流對(duì)齊策略，從而將斷流數(shù)據(jù)流轉(zhuǎn)換為音畫同步的混合數(shù)據(jù)流。本申請(qǐng)的方案，無(wú)論錄制過(guò)程中是否發(fā)生數(shù)據(jù)傳輸中斷，在對(duì)音頻數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行合成時(shí)，都可以保證聲音和畫面同步。

技術(shù)特征：

1.一種音視頻同步方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在判斷所述第一音頻的時(shí)間戳信息與所述第二音頻的時(shí)間戳信息是否同步之前，所述方法還包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，執(zhí)行初始對(duì)齊策略，以基于所述第二音頻生成與所述第一音頻的時(shí)間戳信息對(duì)齊的目標(biāo)音頻包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在生成與所述第一音頻的時(shí)間戳信息對(duì)齊的所述目標(biāo)音頻后，所述方法還包括：

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，若所述第一路數(shù)據(jù)流斷流，所述第二路數(shù)據(jù)流未斷流，所述斷流對(duì)齊策略包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，在生成第一轉(zhuǎn)錄音頻時(shí)，若所述第一路數(shù)據(jù)流斷流后再次拉到流，所述斷流對(duì)齊策略還包括：

7.根據(jù)權(quán)利要求2所述的方法，其特征在于，若所述第二路數(shù)據(jù)流斷流，所述第一路數(shù)據(jù)流未斷流，所述斷流對(duì)齊策略包括：

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，在生成第二轉(zhuǎn)錄音頻時(shí)，若所述第二路數(shù)據(jù)流斷流后再次拉到流，所述斷流對(duì)齊策略還包括：

9.一種音視頻同步裝置，其特征在于，所述裝置包括：

10.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括存儲(chǔ)器和處理器，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1至8中任一權(quán)利要求所述的方法。

技術(shù)總結(jié)
本申請(qǐng)公開了一種音視頻同步方法、裝置和電子設(shè)備，包括：拉取第一路數(shù)據(jù)流和第二路數(shù)據(jù)流，第一路數(shù)據(jù)流包含第一音頻和第一視頻，第二路數(shù)據(jù)流包含第二音頻；判斷第一音頻的時(shí)間戳信息與第二音頻的時(shí)間戳信息是否同步，若不同步則執(zhí)行初始對(duì)齊策略；在執(zhí)行初始對(duì)齊策略時(shí)，監(jiān)控第一路數(shù)據(jù)流和第二路數(shù)據(jù)流是否發(fā)生斷流，若發(fā)生斷流，則解除初始對(duì)齊策略，并基于第一路數(shù)據(jù)流和第二路數(shù)據(jù)流的斷流情況執(zhí)行斷流對(duì)齊策略，以將斷流數(shù)據(jù)流轉(zhuǎn)換為音畫同步的混合數(shù)據(jù)流。本申請(qǐng)?zhí)峁┑募夹g(shù)方案，可以確保在合成音頻數(shù)據(jù)和視頻數(shù)據(jù)時(shí)聲音和畫面保持同步。

技術(shù)研發(fā)人員：張鵬
受保護(hù)的技術(shù)使用者：廣州開得聯(lián)智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10