專利名稱：一種實(shí)時(shí)視頻監(jiān)控系統(tǒng)中音視頻數(shù)據(jù)的同步方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻監(jiān)控技術(shù)領(lǐng)域，尤其涉及一種實(shí)時(shí)視頻監(jiān)控系統(tǒng)中音視頻數(shù)據(jù)的同步方法。
背景技術(shù)：
隨著計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)、語(yǔ)音和視頻編解碼技術(shù)以及流媒體技術(shù)的不斷發(fā)展與完善，視頻監(jiān)控業(yè)務(wù)在當(dāng)今的網(wǎng)絡(luò)時(shí)代取得了蓬勃的發(fā)展。如今，視頻監(jiān)控業(yè)務(wù)的重要性不言而喻，其應(yīng)用領(lǐng)域包括城市安防、檢驗(yàn)檢疫、環(huán)境保護(hù)、氣象檢測(cè)、銀行安保、商鋪監(jiān)控等等，甚至滲透到了家庭領(lǐng)域。在視頻監(jiān)控系統(tǒng)中，有些應(yīng)用場(chǎng)所希望能在實(shí)時(shí)視頻監(jiān)控系統(tǒng)中加入音頻，音頻數(shù)據(jù)和視頻數(shù)據(jù)同步的問(wèn)題也就隨之而來(lái)。視頻監(jiān)控系統(tǒng)中，音頻數(shù)據(jù)和視頻數(shù)據(jù)一般是分開(kāi)傳輸?shù)?，這也是多媒體技術(shù)的 常規(guī)做法。這種分開(kāi)傳輸必然給客戶端的視頻播放帶來(lái)一個(gè)技術(shù)難點(diǎn)一視頻數(shù)據(jù)和音頻數(shù)據(jù)同步播放?，F(xiàn)有的一些同步策略有的需要全網(wǎng)同步時(shí)鐘，有點(diǎn)需要rtcp協(xié)議支持。但這些技術(shù)都比較復(fù)雜，并且沒(méi)有考慮視頻監(jiān)控系統(tǒng)的應(yīng)用需求。在實(shí)時(shí)視頻監(jiān)控系統(tǒng)中，因?yàn)橐曨l的分辨率比較低，視頻監(jiān)控系統(tǒng)中的音頻數(shù)據(jù)和視頻數(shù)據(jù)的同步精度要求不會(huì)太高，即使音頻數(shù)據(jù)和視頻數(shù)據(jù)的偏差到達(dá)100ms，用戶也不會(huì)感覺(jué)到不同步。但如果是高清視頻或者超高清視頻的話，音頻數(shù)據(jù)和視頻數(shù)據(jù)的偏差必須在80ms之內(nèi)，否則觀眾是不能接收的。另一方面，高清視頻和超高清視頻是用來(lái)娛樂(lè)的，而視頻監(jiān)控是用來(lái)安防的，實(shí)時(shí)視頻監(jiān)控系統(tǒng)音視頻數(shù)據(jù)即使有一點(diǎn)點(diǎn)失去同步，客戶也是可以接收的，只要這種想象有限可控，而高清視頻和超高清視頻則不然。

發(fā)明內(nèi)容
本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)的不足，提供一種實(shí)時(shí)視頻監(jiān)控系統(tǒng)中音視頻數(shù)據(jù)的同步方法，
本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案包括如下步驟
步驟(I).監(jiān)控端采集t毫秒時(shí)長(zhǎng)的音頻數(shù)據(jù)和任意一幀視頻數(shù)據(jù)，同時(shí)記錄音頻數(shù)據(jù)的第一個(gè)字節(jié)采集時(shí)刻的系統(tǒng)時(shí)間a_stime，記錄該視頻數(shù)據(jù)采集時(shí)刻的系統(tǒng)時(shí)間v_stime ；
所述的步驟(I)中V_stime將做為視頻時(shí)間戳v_timestamp被保存到對(duì)應(yīng)視頻數(shù)據(jù)的rtp數(shù)據(jù)包包頭的Timestamp字段,a_stime將做為音頻時(shí)間戳a_timestamp被保存到對(duì)應(yīng)音頻數(shù)據(jù)的rtp數(shù)據(jù)包包頭的Timestamp字段；
步驟(2).將步驟(I)采集到的音頻數(shù)據(jù)和視頻數(shù)據(jù)分別送入G. 711音頻編碼器和
H.264視頻編碼器進(jìn)行編碼，然后輸出；
步驟(3).對(duì)G. 711音頻編碼器編碼輸出的音頻流數(shù)據(jù)直接封裝成RTP包，并將a_stime保存到RTP包頭的Timestamp字段；對(duì)H. 264視頻編碼器編碼后輸出的視頻流進(jìn)行分析，找到視頻圖像的起始碼，并計(jì)算得出視頻圖像數(shù)據(jù)大??；若該視頻圖像數(shù)據(jù)小于MTU (最大傳輸單元)則打成一個(gè)包；
若該視頻圖像數(shù)據(jù)大于MTU則采用分片封包模式，具體的分片方法完全按照RFC3984協(xié)議實(shí)現(xiàn)；
步驟(4).將視頻圖像數(shù)據(jù)封裝成的RTP包和音頻流數(shù)據(jù)封裝成的RTP包通過(guò)UDP協(xié)議發(fā)送至手機(jī)端的不同端口；
步驟(5).手機(jī)端的兩個(gè)不同端口分別接收視頻圖像數(shù)據(jù)封裝成的RTP包和音頻流數(shù)據(jù)封裝成的RTP包，若接收的是視頻圖像數(shù)據(jù)RTP包則執(zhí)行步驟￠)，否則執(zhí)行步驟(7)；步驟(6).根據(jù)視頻圖像數(shù)據(jù)RTP包包頭的timestamp字段，得到視頻時(shí)間戳v_timestamp, RTP的荷載的第一個(gè)字節(jié)是NAL的頭，若NAL頭信息中TYPE等于28，則判斷為分片包，執(zhí)行步驟(9);若NAL頭信息中TYPE不等于28，則判斷為單片包，執(zhí)行步驟(8)；步驟⑵·根據(jù)音頻流數(shù)據(jù)RTP包包頭的timestamp字段，得到音頻時(shí)間戳a_timestamp,并將解包后的音頻流數(shù)據(jù)放入音頻緩存隊(duì)列中，并繼續(xù)執(zhí)行步驟(10)；
步驟(8).將經(jīng)過(guò)處理的視頻圖像數(shù)據(jù)包放入視頻緩存隊(duì)列中，并繼續(xù)執(zhí)行步驟(10)；步驟(9).將屬于同一個(gè)NAL單元的幾個(gè)不同的視頻分片包按照RFC3984協(xié)議標(biāo)準(zhǔn)合 并成一個(gè)完整的NAL視頻單元，并執(zhí)行步驟(8)；
步驟(10).視頻解碼器從視頻緩存隊(duì)列中讀取視頻數(shù)據(jù)，獲取視頻數(shù)據(jù)中的SPS (序列參數(shù)集)和PPS (圖像參數(shù)集)，分析視頻數(shù)據(jù)的首幀(I幀)，獲取視頻數(shù)據(jù)的視頻時(shí)間戳v_timestamp,并進(jìn)行解碼播放；
步驟(11).音頻解碼器從音頻緩存隊(duì)列讀取音頻數(shù)據(jù)，獲取音頻數(shù)據(jù)的音頻時(shí)間戳3_timestamp ；
步驟(12).將視頻時(shí)間戳v_timestamp作為參考時(shí)鐘，并同步比較音頻時(shí)間戳a_timestamp與視頻時(shí)間戳v_timestamp,若音頻時(shí)間戳a_timestamp與視頻時(shí)間戳v_timestamp的差值大于門限值Tl，則音頻數(shù)據(jù)不進(jìn)行解碼播放直接跳過(guò)；若音頻時(shí)間戳a_timestamp與視頻時(shí)間戳v_timestamp的差值大于門限值-Tl時(shí),則音頻數(shù)據(jù)讀取線程暫停等待視頻數(shù)據(jù)的處理；若音頻時(shí)間戳a_timestamp與視頻時(shí)間戳v_timestamp的差值在-Tl與Tl之間，則進(jìn)行正常播放。本發(fā)明有益效果如下
本發(fā)明與傳統(tǒng)音視頻同步方法相比，通過(guò)大幅減小算法復(fù)雜度，同時(shí)同步精度也不會(huì)下降很多，完全可以滿足視頻監(jiān)控的應(yīng)用需求。它不需要全網(wǎng)同步時(shí)鐘，不需要使用rtcp協(xié)議。之所以可以這樣做，是因?yàn)橐曨l監(jiān)控目的在于安防，而不是娛樂(lè)，因此它的同步精度自然比高清視頻等一些應(yīng)用于娛樂(lè)的音視頻業(yè)務(wù)的同步精度要求低一些。


圖I是本發(fā)明中客戶端播放數(shù)據(jù)時(shí)的數(shù)據(jù)播放隊(duì)列示意 圖2是本發(fā)明中客戶端接收數(shù)據(jù)包的流程 圖3是本發(fā)明中客戶端處理視頻數(shù)據(jù)包的流程 圖4是本發(fā)明中客戶端實(shí)現(xiàn)音視頻同步播放的流程圖。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步說(shuō)明。本發(fā)明具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。本發(fā)明中，監(jiān)控端每次采集20 ms音頻數(shù)據(jù)和一幀視頻數(shù)據(jù)，同時(shí)記錄視頻數(shù)據(jù)采集時(shí)刻的系統(tǒng)時(shí)間v_stime,記錄音頻數(shù)據(jù)的第一個(gè)字節(jié)采集時(shí)刻的系統(tǒng)時(shí)間a_stime。使用C庫(kù)提供的函數(shù)gettimeofday O獲得采集時(shí)間保存在struct timeval tv中。根據(jù)國(guó)外機(jī)構(gòu)的研究結(jié)果表明，當(dāng)音頻數(shù)據(jù)和視頻數(shù)據(jù)的偏差的-80ms至80ms之間時(shí)，人們認(rèn)為音視頻是同步的。因此我們只需要毫秒級(jí)精度的數(shù)據(jù)，而gettimeofday O得到的數(shù)據(jù)達(dá)到微妙級(jí)的精度。于是可以將tv. tvsec*1000+tv. tv_usec/1000做為音視頻的采集時(shí)間保存到v_timestamp和a_timestamp中。將上述采集到的視頻數(shù)據(jù)和音頻數(shù)據(jù)分別送入H264視頻編碼器和G. 711音頻編碼器進(jìn)行編碼，然后輸出。對(duì)上述輸出的視頻流進(jìn)行分析，找到視頻圖像的起始碼，計(jì)算出一幀圖像數(shù)據(jù)的大小，如果該視頻圖像數(shù)據(jù)小于MTU (最大傳輸單元)則打成一個(gè)rtp包，如果視頻圖像數(shù)據(jù)大于MTU則采用分片封包模式，將該視頻圖像 數(shù)據(jù)封裝成多個(gè)包，并將v_timestamp保存到RTP包頭的Timestamp字段；將上述20 ms音頻流數(shù)據(jù)封裝成RTP包,并將a_timestamp保存到RTP包頭的Timestamp字段,將上述打包好的數(shù)據(jù)通過(guò)UDP發(fā)送給客戶端的不同端口上?？蛻舳送ㄟ^(guò)UDP協(xié)議進(jìn)行數(shù)據(jù)包的接收，因此在接收的時(shí)候通過(guò)從不同端口接收的數(shù)據(jù)來(lái)區(qū)分視頻包還是音頻包，如圖I所示，視頻包和音頻包的接收在兩個(gè)不同的線程中執(zhí)行。在播放時(shí)，客戶端嚴(yán)格遵守以視頻為基準(zhǔn)，每次從音頻播放隊(duì)列取出一個(gè)音頻數(shù)據(jù)后，都需要將該音頻時(shí)間戳與正在播放的視頻時(shí)間戳進(jìn)行對(duì)比來(lái)判斷播放與否。如圖2所示，本發(fā)明中播放端接收數(shù)據(jù)具體流程如下
步驟S201中，監(jiān)控端接收到命令開(kāi)始發(fā)送數(shù)據(jù)，客戶端開(kāi)始接收進(jìn)程等待數(shù)據(jù)包； 步驟S202中，從客戶端端口中得到UDP數(shù)據(jù)包；
步驟S203中，根據(jù)數(shù)據(jù)包的接收端口的不同判斷是否為視頻數(shù)據(jù)包，是則執(zhí)行步驟S204，否則執(zhí)行步驟S205 ；
步驟S204中，將得到的視頻數(shù)據(jù)包進(jìn)行數(shù)據(jù)包的解析處理；
步驟S205中，將得到的音頻數(shù)據(jù)包進(jìn)行數(shù)據(jù)包的解析處理；
由于音頻數(shù)據(jù)的打包規(guī)則不像視頻數(shù)據(jù)那樣繁瑣，因此，在進(jìn)行數(shù)據(jù)包的解析處理時(shí)只需要得到每個(gè)音頻數(shù)據(jù)的時(shí)間戳，之后直接將音頻數(shù)據(jù)包放入音頻播放隊(duì)列中。如圖3所示，本發(fā)明中客戶端對(duì)視頻數(shù)據(jù)包處理流程具體如下
步驟S301中，從UDP數(shù)據(jù)包中得到視頻圖像數(shù)據(jù)RTP包；
步驟S302中，從得到的視頻圖像數(shù)據(jù)RTP包的包頭中，根據(jù)監(jiān)控端的打包規(guī)則判斷是否為分片包，是則執(zhí)行步驟S303，否則執(zhí)行步驟S304 ；
步驟S303中，結(jié)合RTP頭信息和NAL單元的頭信息可以判斷分片包是首包，中包還是尾包，客戶端按照RFC3984協(xié)議標(biāo)準(zhǔn)將分片包重新組合成一個(gè)完整的NAL單元；
步驟S304中，得到的是一個(gè)完整的NAL視頻單元，隨后將NAL視頻單元放入播放緩存隊(duì)列中；
步驟S305中，系統(tǒng)需要判斷客戶端是否是剛開(kāi)啟，是則執(zhí)行步驟S306，否則執(zhí)行步驟S307 ；
步驟S306中，客戶端剛運(yùn)行的時(shí)候最先進(jìn)入播放隊(duì)列的需要是SPS幀、PPS幀、I幀，因此需要對(duì)NAL單元類型進(jìn)行判斷，是則執(zhí)行步驟S307，否則返回步驟S301 ；
步驟S307中，將經(jīng)過(guò)判斷的NAL視頻單元放入視頻播放隊(duì)列中。如圖4所示，本發(fā)明中播放端在播放 進(jìn)程中實(shí)現(xiàn)同步的流程具體如下
步驟S401中，啟動(dòng)視頻播放進(jìn)程；
步驟S402中，判斷視頻隊(duì)列中是否有準(zhǔn)備好的NAL視頻單元，是則執(zhí)行步驟S403，否則進(jìn)程等待重新執(zhí)行步驟S402 ；
步驟S403中，從播放隊(duì)列中取出一個(gè)NAL視頻單元，并取得視頻數(shù)據(jù)；
步驟S404中，將得到的視頻數(shù)據(jù)進(jìn)行視頻解碼；
步驟S405中，將解碼好的視頻數(shù)據(jù)進(jìn)行播放顯示；
步驟S406中，啟動(dòng)音頻播放進(jìn)程；
步驟S407中，判斷音頻隊(duì)列中是否有準(zhǔn)備好的音頻流數(shù)據(jù)單元，是則執(zhí)行步驟S408，否則進(jìn)程等待重新執(zhí)行步驟S407 ；
步驟S408中，從播放隊(duì)列中取出一個(gè)音頻流數(shù)據(jù)單元，并取得音頻數(shù)據(jù)；
步驟S409中，得到音頻數(shù)據(jù)的時(shí)間戳a_timestamp,并且從步驟S403中得到視頻時(shí)間的時(shí)間戳v_timestamp,并得到兩者的差；
步驟S410中，將步驟S409中得到的差值與設(shè)定好的閥值進(jìn)行比對(duì)，當(dāng)差值大于上閥值的時(shí)候，線程進(jìn)行等待，等待視頻播放線程的進(jìn)行并重新執(zhí)行步驟S409;當(dāng)差值小于下閥值的時(shí)候，丟棄該音頻數(shù)據(jù)包返回步驟S407，當(dāng)差值在上下兩個(gè)閥值中間的時(shí)候則執(zhí)行步驟 S411 ；
步驟S411中，將判斷好的音頻數(shù)據(jù)進(jìn)行音頻解碼；
步驟S412中，將解碼好的音頻數(shù)據(jù)進(jìn)行播放。所述的音頻時(shí)間戳和視頻時(shí)間戳都來(lái)自監(jiān)控端系統(tǒng)時(shí)間，這是一種絕對(duì)時(shí)間戳，它們的粒度相同，可以直接比較；同時(shí)客戶端以視頻實(shí)時(shí)性為首要前提，因此客戶端的播放是以視頻播放為基準(zhǔn)，視頻數(shù)據(jù)的采集只為得到它的視頻時(shí)間戳，不對(duì)該視頻時(shí)間戳做處理，而是直接對(duì)視頻數(shù)據(jù)進(jìn)行解碼播放?？蛻舳嗽趯?duì)音頻數(shù)據(jù)進(jìn)行播放時(shí)，在播放前會(huì)將正要播放的音頻時(shí)間戳和正在播放的視頻時(shí)間戳進(jìn)行對(duì)比，當(dāng)兩者的差值在規(guī)定范圍內(nèi)則播放音頻數(shù)據(jù)。
權(quán)利要求
1.一種實(shí)時(shí)視頻監(jiān)控系統(tǒng)中音視頻數(shù)據(jù)的同步方法，其特征在于包括如下步驟 步驟(I).監(jiān)控端采集t毫秒時(shí)長(zhǎng)的音頻數(shù)據(jù)和任意一幀視頻數(shù)據(jù)，同時(shí)記錄音頻數(shù)據(jù)的第一個(gè)字節(jié)采集時(shí)刻的系統(tǒng)時(shí)間a_stime，記錄該視頻數(shù)據(jù)采集時(shí)刻的系統(tǒng)時(shí)間v_stime ； 所述的步驟(I)中V_stime將做為視頻時(shí)間戳v_timestamp被保存到對(duì)應(yīng)視頻數(shù)據(jù)的rtp數(shù)據(jù)包包頭的Timestamp字段,a_stime將做為音頻時(shí)間戳a_timestamp被保存到對(duì)應(yīng)音頻數(shù)據(jù)的rtp數(shù)據(jù)包包頭的Timestamp字段； 步驟(2).將步驟(I)采集到的音頻數(shù)據(jù)和視頻數(shù)據(jù)分別送入G. 711音頻編碼器和H.264視頻編碼器進(jìn)行編碼，然后輸出； 步驟(3).對(duì)G. 711音頻編碼器編碼輸出的音頻流數(shù)據(jù)直接封裝成RTP包，并將a_stime保存到RTP包頭的Timestamp字段；對(duì)H. 264視頻編碼器編碼后輸出的視頻流進(jìn)行分析，找到視頻圖像的起始碼，并計(jì)算得出視頻圖像數(shù)據(jù)大小； 若該視頻圖像數(shù)據(jù)小于MTU則打成一個(gè)包； 若該視頻圖像數(shù)據(jù)大于MTU則采用分片封包模式，具體的分片方法完全按照RFC3984協(xié)議實(shí)現(xiàn)； 步驟(4).將視頻圖像數(shù)據(jù)封裝成的RTP包和音頻流數(shù)據(jù)封裝成的RTP包通過(guò)UDP協(xié)議發(fā)送至手機(jī)端的不同端口； 步驟(5).手機(jī)端的兩個(gè)不同端口分別接收視頻圖像數(shù)據(jù)封裝成的RTP包和音頻流數(shù)據(jù)封裝成的RTP包，若接收的是視頻圖像數(shù)據(jù)RTP包則執(zhí)行步驟￠)，否則執(zhí)行步驟(7)；步驟(6).根據(jù)視頻圖像數(shù)據(jù)RTP包包頭的timestamp字段，得到視頻時(shí)間戳v_timestamp, RTP的荷載的第一個(gè)字節(jié)是NAL的頭，若NAL頭信息中TYPE等于28，則判斷為分片包，執(zhí)行步驟(9);若NAL頭信息中TYPE不等于28，則判斷為單片包，執(zhí)行步驟(8)；步驟⑵·根據(jù)音頻流數(shù)據(jù)RTP包包頭的timestamp字段，得到音頻時(shí)間戳a_timestamp,并將解包后的音頻流數(shù)據(jù)放入音頻緩存隊(duì)列中，并繼續(xù)執(zhí)行步驟(10)； 步驟(8).將經(jīng)過(guò)處理的視頻圖像數(shù)據(jù)包放入視頻緩存隊(duì)列中，并繼續(xù)執(zhí)行步驟(10)；步驟(9).將屬于同一個(gè)NAL單元的幾個(gè)不同的視頻分片包按照RFC3984協(xié)議標(biāo)準(zhǔn)合并成一個(gè)完整的NAL視頻單元，并執(zhí)行步驟(8)； 步驟(10).視頻解碼器從視頻緩存隊(duì)列中讀取視頻數(shù)據(jù)，獲取視頻數(shù)據(jù)中的SPS和PPS,分析視頻數(shù)據(jù)的首巾貞,獲取視頻數(shù)據(jù)的視頻時(shí)間戳v_timestamp,并進(jìn)行解碼播放；步驟(11).音頻解碼器從音頻緩存隊(duì)列讀取音頻數(shù)據(jù)，獲取音頻數(shù)據(jù)的音頻時(shí)間戳3_timestamp ； 步驟(12).將視頻時(shí)間戳v_timestamp作為參考時(shí)鐘，并同步比較音頻時(shí)間戳a_timestamp與視頻時(shí)間戳v_timestamp,若音頻時(shí)間戳a_timestamp與視頻時(shí)間戳v_timestamp的差值大于門限值Tl，則音頻數(shù)據(jù)不進(jìn)行解碼播放直接跳過(guò)；若音頻時(shí)間戳a_timestamp與視頻時(shí)間戳v_timestamp的差值大于門限值-Tl時(shí),則音頻數(shù)據(jù)讀取線程暫停等待視頻數(shù)據(jù)的處理；若音頻時(shí)間戳a_timestamp與視頻時(shí)間戳v_timestamp的差值在-Tl與Tl之間，則進(jìn)行正常播放。
全文摘要
本發(fā)明公開(kāi)了一種實(shí)時(shí)視頻監(jiān)控系統(tǒng)中音視頻數(shù)據(jù)的同步方法。本發(fā)明方法包括下述步驟監(jiān)控端獲取音頻數(shù)據(jù)和視頻數(shù)據(jù)的采集時(shí)間，編碼音頻數(shù)據(jù)和視頻數(shù)據(jù)，并將它們的采集時(shí)間封裝在各自的數(shù)據(jù)包中傳送出去；客戶端獲取所述數(shù)據(jù)包，并對(duì)其進(jìn)行解析和解壓縮，按同步機(jī)制解碼播放音頻數(shù)據(jù)包和視頻數(shù)據(jù)包。在本發(fā)明中，客戶端獲取監(jiān)控端傳來(lái)的數(shù)據(jù)后，將視頻數(shù)據(jù)包和音頻數(shù)據(jù)包分別按時(shí)間順序放入視頻緩存隊(duì)列和音頻緩存隊(duì)列，根據(jù)同步精度要求對(duì)這些數(shù)據(jù)解壓播放。本發(fā)明方法極大地減小音視頻同步的算法復(fù)雜度，同時(shí)性能不會(huì)下降太多，完全能夠滿足視頻監(jiān)控的需要。
文檔編號(hào)H04N21/8547GK102868939SQ20121033222
公開(kāi)日2013年1月9日 申請(qǐng)日期2012年9月10日 優(yōu)先權(quán)日2012年9月10日
發(fā)明者章堅(jiān)武, 徐強(qiáng), 吳超 申請(qǐng)人:杭州電子科技大學(xué)