專利名稱：圖像編碼丟幀花屏的處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種以視頻(電視機(jī))為顯示終端的H. 264視頻編碼器的圖像編碼丟幀花屏的處理方法，特別是涉及多路通道CIF格式圖像編碼丟幀花屏?xí)r的處理。
背景技術(shù)：
隨著hternet和多媒體技術(shù)的快速發(fā)展，視頻的網(wǎng)絡(luò)實(shí)時(shí)傳輸成為網(wǎng)絡(luò)應(yīng)用的研究熱點(diǎn)之一。H. 264標(biāo)準(zhǔn)以其高壓縮率、高質(zhì)量、低碼率成為目前和下一代網(wǎng)上多媒體傳輸?shù)闹饕袷胶蜆?biāo)準(zhǔn)。視頻的實(shí)時(shí)傳輸要求傳輸?shù)臅r(shí)延要小、丟包率要低。作為基于H. 264 的視頻服務(wù)器，在前端硬件編碼后通過(guò)網(wǎng)絡(luò)傳送圖像數(shù)據(jù)包到終端編碼顯示。當(dāng)編碼器接受數(shù)據(jù)進(jìn)行編碼時(shí)，會(huì)由于各種原因，編碼器收到的數(shù)據(jù)會(huì)有緩存溢出引起延時(shí)產(chǎn)生，或者由于編碼速度慢，此時(shí)就會(huì)造成圖像在編碼時(shí)不可避免的產(chǎn)生丟幀和花屏的問(wèn)題，且此圖像問(wèn)題是不可恢復(fù)的，影響監(jiān)控的質(zhì)量，失去了視頻監(jiān)控的初衷和效果，使實(shí)時(shí)監(jiān)控成為一句空話。視頻(電視機(jī))作為輸出的監(jiān)控終端是最廣泛、最常用的解決方案，具有成本低， 效果直觀，操作方便等特點(diǎn)。由于視頻的網(wǎng)絡(luò)實(shí)時(shí)傳輸面臨的較多的不確定性，網(wǎng)絡(luò)傳輸質(zhì)量的起伏比較常見(jiàn)。所以，當(dāng)以視頻(電視機(jī))為終端顯示時(shí)，必須要考慮保證在前段進(jìn)行圖像數(shù)據(jù)編碼時(shí)就盡量少產(chǎn)生花屏和丟幀問(wèn)題。此情況下的視頻編碼器對(duì)于圖像數(shù)據(jù)包的延時(shí)處理具有很迫切的要求。因此，隨著流媒體服務(wù)的進(jìn)一步發(fā)展，這類處理方法正受到越來(lái)越多的重視。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種圖像編碼丟幀花屏的處理方法，采用本發(fā)明的處理方法可以來(lái)修正圖像延時(shí)，把所產(chǎn)生的延時(shí)控制在可接受的范圍之內(nèi)，保證實(shí)時(shí)視頻監(jiān)控的正常和工作效率。本發(fā)明所采用的技術(shù)方案是一種圖像編碼丟幀花屏的處理方法，包括以下步驟100)在編碼器端設(shè)置一個(gè)緩沖區(qū)來(lái)接收?qǐng)D像數(shù)據(jù)，并在緩沖區(qū)中設(shè)置高點(diǎn)標(biāo)記和低點(diǎn)標(biāo)記；200)在從緩沖區(qū)中接收?qǐng)D像數(shù)據(jù)包時(shí)，當(dāng)緩沖區(qū)數(shù)據(jù)包數(shù)量小于低點(diǎn)時(shí)檢查網(wǎng)絡(luò)連接，暫停視頻數(shù)據(jù)地接收；當(dāng)緩沖區(qū)數(shù)據(jù)包數(shù)量大于或等于低點(diǎn)時(shí)，對(duì)當(dāng)前組幀對(duì)象進(jìn)行判斷，如果當(dāng)前幀是I幀，則直接進(jìn)行組幀，然后對(duì)下一個(gè)組幀對(duì)象進(jìn)行判斷；如果當(dāng)前幀是P幀，則進(jìn)入下一步；300)當(dāng)緩沖區(qū)中數(shù)據(jù)包數(shù)量大于高點(diǎn)時(shí)，進(jìn)入下一步；當(dāng)緩沖區(qū)數(shù)據(jù)包數(shù)量在高點(diǎn)和低點(diǎn)之間時(shí)，轉(zhuǎn)至500)；400)用前一個(gè)已正常組幀的P幀來(lái)代替當(dāng)前的P幀或進(jìn)行跳幀處理，然后轉(zhuǎn)至 200)；
500)根據(jù)上一個(gè)能正常組幀的I幀圖像數(shù)據(jù)包中的時(shí)間戳和當(dāng)前所組的P幀的時(shí)間戳的差的絕對(duì)值來(lái)判斷，當(dāng)此時(shí)間差值的絕對(duì)值小于預(yù)定的正常收包時(shí)間時(shí)，對(duì)當(dāng)前 P幀正常組幀，然后轉(zhuǎn)至200)；當(dāng)此時(shí)間差值的絕對(duì)值大于或等于預(yù)定的正常收包時(shí)間時(shí)， 用緩存區(qū)中最新的YUV數(shù)據(jù)重新組成I幀，并利用此最新I幀作為編碼參考幀，對(duì)當(dāng)前P幀進(jìn)行組幀，然后轉(zhuǎn)至200)。所述的方法，步驟500的正常收包時(shí)間T = ^參廣！“參^ +八！“，此處！^” T#2分別為上一個(gè)能正常組幀的I幀圖像數(shù)據(jù)包中的時(shí)間戳、當(dāng)前所組的P幀的時(shí)間戳，Δ T的范圍為0. 5 2s。所述的方法，在對(duì)當(dāng)前I幀進(jìn)行組幀后，還進(jìn)行CRC校驗(yàn)，校驗(yàn)通過(guò)則繼續(xù)編碼；不通過(guò)則丟棄，然后重新組成I幀。本發(fā)明的優(yōu)點(diǎn)根據(jù)最新的I幀來(lái)作為P幀編碼參考幀。靈活控制編碼時(shí)所產(chǎn)生的丟幀和花屏問(wèn)題，采用本發(fā)明的處理方法可以來(lái)修正圖像質(zhì)量，保證實(shí)時(shí)視頻監(jiān)控的正常和工作效率。


圖1是緩沖區(qū)設(shè)置示意圖。圖2是本發(fā)明提供的H. 264視頻編碼器多路圖像編碼丟幀花屏的處理方法。
具體實(shí)施例方式本發(fā)明提供了一種針對(duì)以視頻(電視機(jī))為顯示終端的H. 264視頻編碼器的圖像編碼丟幀花屏延時(shí)的處理方法，特別是多路通道CIF格式編碼延時(shí)的情況。采用本發(fā)明的方法則可以通過(guò)1、保留最近的正常I幀作為P幀編碼參考，來(lái)修正圖像的丟幀和花屏。2、如果第一種方法中，保留的最近正常I幀的時(shí)間過(guò)久，則用緩存中最新的YUV數(shù)據(jù)重新組成I幀，并利用此最新I幀來(lái)作為P幀編碼參考幀，把所產(chǎn)生的花屏、 丟幀和延時(shí)控制在可接受的范圍之內(nèi)，保證實(shí)時(shí)視頻監(jiān)控的正常和工作效率。本發(fā)明所采用的實(shí)施例是步驟1、在編碼器端設(shè)置一個(gè)緩沖區(qū)來(lái)接收?qǐng)D像數(shù)據(jù)。步驟2、在緩沖區(qū)中設(shè)置一個(gè)高點(diǎn)標(biāo)記(highwater)和低點(diǎn)標(biāo)記(Iowwater)。緩沖區(qū)的高點(diǎn)標(biāo)記(highwater)和低點(diǎn)標(biāo)記(Iowwater)是根據(jù)硬件緩沖大小和組幀時(shí)間(每一幀的時(shí)間都是記錄的，且動(dòng)態(tài)變化)來(lái)決定的經(jīng)驗(yàn)值。當(dāng)緩沖區(qū)中數(shù)據(jù)包大于highwater 時(shí)，丟棄多余的數(shù)據(jù)包，根據(jù)組幀結(jié)果如果是I幀，則進(jìn)行組幀，完成后進(jìn)行CRC校驗(yàn)，校驗(yàn)通過(guò)則按正常流程繼續(xù)編碼，不通過(guò)則丟棄。如果是P幀，則用前一個(gè)正常P幀來(lái)代替不能正常組幀的錯(cuò)誤P幀，或在一定時(shí)間內(nèi)進(jìn)行跳幀處理，比如保留1、3、5、7等P幀，跳2、4、 6、8等P幀，當(dāng)緩沖區(qū)中數(shù)據(jù)恢復(fù)到正常水平后再停止這樣的跳幀處理改為正常編碼。當(dāng)緩沖區(qū)數(shù)據(jù)包在highwater和Iowwater之間時(shí)進(jìn)行正常組幀，當(dāng)緩沖區(qū)數(shù)據(jù)包小于Iowwater 時(shí)檢查視頻線路連接。步驟3、在從緩沖區(qū)中接收?qǐng)D像數(shù)據(jù)包時(shí)，根據(jù)上一個(gè)能組幀的I幀圖像數(shù)據(jù)包中的時(shí)間戳和當(dāng)前所組的P幀的時(shí)間戳的差的絕對(duì)值來(lái)判斷。當(dāng)此時(shí)間差值的絕對(duì)值小于預(yù)定的正常時(shí)間時(shí)，我們認(rèn)為流程正常，如果當(dāng)此時(shí)間差值的絕對(duì)值大于預(yù)定的正常時(shí)間時(shí)，我們認(rèn)為出現(xiàn)異常，認(rèn)為此I幀保存時(shí)間過(guò)久，可能造成花屏或者丟幀。則此時(shí)用緩存中最新的YUV數(shù)據(jù)重新組成I幀。并利用此最新I幀來(lái)作為P幀編碼參考幀。把所產(chǎn)生的花屏、 丟幀和延時(shí)控制在可接受的范圍之內(nèi)。步驟3中包含以下步驟步驟3. 1 設(shè)Tl =上一個(gè)能組幀的I幀的時(shí)間戳；T2 =當(dāng)前組的P幀的時(shí)間戳；TO = I T1-T2 I (Tl 和 T2 的差的絕對(duì)值)；T3 =最近保存的正常I幀的存儲(chǔ)時(shí)間上限，此值可以設(shè)定為固定經(jīng)驗(yàn)值，也可以設(shè)定為動(dòng)態(tài)變化值。步驟3. 2 當(dāng)TO > T3時(shí)，認(rèn)為此I幀保存時(shí)間過(guò)久，可能造成花屏或者丟幀。則此時(shí)用緩存中最新的YUV數(shù)據(jù)重新組成I幀。并利用此最新I幀來(lái)作為P幀編碼參考幀。 把所產(chǎn)生的花屏、丟幀和延時(shí)控制在可接受的范圍之內(nèi)。當(dāng)TO < T3時(shí)，認(rèn)為編碼正常，無(wú)論是I幀還是P幀均正常編碼。其中步驟3. 1發(fā)生在接收到視頻圖像數(shù)據(jù)包，進(jìn)行時(shí)間戳的判斷后放入緩沖區(qū)； 步驟3. 2發(fā)生在從緩沖區(qū)中取包組幀時(shí)，根據(jù)步驟3. 1的判斷來(lái)決定是繼續(xù)組幀還是丟棄， 或采用最近幀取代錯(cuò)誤幀。
權(quán)利要求
1.一種圖像編碼丟幀花屏的處理方法，其特征在于包括以下步驟100)在編碼器端設(shè)置一個(gè)緩沖區(qū)來(lái)接收?qǐng)D像數(shù)據(jù)，并在緩沖區(qū)中設(shè)置高點(diǎn)標(biāo)記和低點(diǎn)標(biāo)記；200)在從緩沖區(qū)中接收?qǐng)D像數(shù)據(jù)包時(shí)，當(dāng)緩沖區(qū)數(shù)據(jù)包數(shù)量小于低點(diǎn)時(shí)檢查網(wǎng)絡(luò)連接，暫停視頻數(shù)據(jù)地接收；當(dāng)緩沖區(qū)數(shù)據(jù)包數(shù)量大于或等于低點(diǎn)時(shí)，對(duì)當(dāng)前組幀對(duì)象進(jìn)行判斷，如果當(dāng)前幀是I幀，則直接進(jìn)行組幀，然后對(duì)下一個(gè)組幀對(duì)象進(jìn)行判斷；如果當(dāng)前幀是P 幀，則進(jìn)入下一步；300)當(dāng)緩沖區(qū)中數(shù)據(jù)包數(shù)量大于高點(diǎn)時(shí)，進(jìn)入下一步；當(dāng)緩沖區(qū)數(shù)據(jù)包數(shù)量在高點(diǎn)和低點(diǎn)之間時(shí)，轉(zhuǎn)至500)；400)用前一個(gè)已正常組幀的P幀來(lái)代替當(dāng)前的P幀或進(jìn)行跳幀處理，然后轉(zhuǎn)至200)；500)根據(jù)上一個(gè)能正常組幀的I幀圖像數(shù)據(jù)包中的時(shí)間戳和當(dāng)前所組的P幀的時(shí)間戳的差的絕對(duì)值來(lái)判斷，當(dāng)此時(shí)間差值的絕對(duì)值小于預(yù)定的正常收包時(shí)間時(shí)，對(duì)當(dāng)前P幀正常組幀，然后轉(zhuǎn)至200)；當(dāng)此時(shí)間差值的絕對(duì)值大于或等于預(yù)定的正常收包時(shí)間時(shí)，用緩存區(qū)中最新的YUV數(shù)據(jù)重新組成I幀，并利用此最新I幀作為編碼參考幀，對(duì)當(dāng)前P幀進(jìn)行組幀，然后轉(zhuǎn)至200)。
2.如權(quán)利要求1所述的方法，其特征在于步驟500的正常收包時(shí)間T=T#1-T# 2| + ΔΤ，此處Τ.ρΤ^分別為上一個(gè)能正常組幀的I幀圖像數(shù)據(jù)包中的時(shí)間戳、當(dāng)前所組的 P幀的時(shí)間戳，ΔΤ的范圍為0.5 k。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于在對(duì)當(dāng)前I幀進(jìn)行組幀后，還進(jìn)行CRC校驗(yàn)，校驗(yàn)通過(guò)則繼續(xù)編碼；不通過(guò)則丟棄，然后重新組成I幀。
全文摘要
本發(fā)明提供了一種圖像編碼丟幀花屏的處理方法，本發(fā)明的方法主要包括1.保留最近的正常I幀作為P幀編碼參考，來(lái)修正圖像的丟幀和花屏。2.如果第一種方法中，保留的最近正常I幀的時(shí)間過(guò)久，則用緩存中最新的YUV數(shù)據(jù)重新組成I幀，并利用此最新I幀來(lái)作為P幀編碼參考幀。本發(fā)明把所產(chǎn)生的花屏、丟幀和延時(shí)控制在可接受的范圍之內(nèi)，保證實(shí)時(shí)視頻監(jiān)控的正常和工作效率。
文檔編號(hào)H04N7/18GK102223539SQ201110172869
公開日2011年10月19日 申請(qǐng)日期2011年6月24日 優(yōu)先權(quán)日2011年6月24日
發(fā)明者吳松, 王季煒, 董明洲, 陳春漢, 黃偉, 黃瑩 申請(qǐng)人:武漢長(zhǎng)江通信產(chǎn)業(yè)集團(tuán)股份有限公司