一種視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法
【專利摘要】本發(fā)明公開了一種視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，包括以下步驟：1）檢測(cè)視頻中的臺(tái)標(biāo)區(qū)域，并標(biāo)記臺(tái)標(biāo)區(qū)域；2）對(duì)視頻中的各幀圖像進(jìn)行如下補(bǔ)繪操作：21）根據(jù)前L幀、后K幀圖像，采用全局運(yùn)動(dòng)估計(jì)方法估計(jì)得到當(dāng)前幀圖像的L+K個(gè)全局參考圖像；22）標(biāo)記當(dāng)前幀圖像中的臺(tái)標(biāo)區(qū)域的前景和背景；23）補(bǔ)繪當(dāng)前幀圖像的臺(tái)標(biāo)區(qū)域：24）判斷當(dāng)前幀圖像的臺(tái)標(biāo)區(qū)域是否補(bǔ)繪完全，如果是，則進(jìn)入步驟26）；如果否，則進(jìn)入步驟25）；25）利用當(dāng)前幀圖像的空間相關(guān)性補(bǔ)繪臺(tái)標(biāo)區(qū)域中剩余未補(bǔ)繪的區(qū)域；26）結(jié)束當(dāng)前幀圖像的補(bǔ)繪。本發(fā)明的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，充分利用相鄰幀圖像之間的時(shí)間信息進(jìn)行補(bǔ)繪，能有效提高視頻臺(tái)標(biāo)區(qū)域的補(bǔ)繪精度。
【專利說(shuō)明】一種視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法
【【技術(shù)領(lǐng)域】】
[0001]本發(fā)明涉及計(jì)算機(jī)視頻處理領(lǐng)域，特別是涉及一種視頻中的臺(tái)標(biāo)區(qū)域補(bǔ)繪方法?！尽颈尘凹夹g(shù)】】
[0002]臺(tái)標(biāo)作為一種知識(shí)產(chǎn)權(quán)所有權(quán)的聲明，幾乎所有的商業(yè)電視頻道都有自己的臺(tái)標(biāo)。當(dāng)新的臺(tái)標(biāo)覆蓋原始的臺(tái)標(biāo)重疊在一起的時(shí)候，臺(tái)標(biāo)也可以作為一種授權(quán)轉(zhuǎn)播的標(biāo)志。但是與此同時(shí)，這些臺(tái)標(biāo)的存在既降低了視頻的觀賞舒適度，也增加了視頻之間交流的困難。因此，如何去除臺(tái)標(biāo)以及精確補(bǔ)繪臺(tái)標(biāo)區(qū)域是一個(gè)亟待解決的關(guān)鍵問(wèn)題。
[0003]為了去除視頻中的臺(tái)標(biāo)并對(duì)臺(tái)標(biāo)區(qū)域進(jìn)行精確補(bǔ)繪，目前常用的方法是在臺(tái)標(biāo)區(qū)域進(jìn)行馬賽克處理或者使用圖像處理工具將臺(tái)標(biāo)區(qū)域變得模糊，但這些方法補(bǔ)繪效果較差，人為處理痕跡明顯，嚴(yán)重影響了視頻質(zhì)量和視頻觀賞效果。
【
【發(fā)明內(nèi)容】
】
[0004]本發(fā)明所要解決的技術(shù)問(wèn)題是:彌補(bǔ)上述現(xiàn)有技術(shù)的不足，提出一種視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，有效提高視頻臺(tái)標(biāo)區(qū)域的補(bǔ)繪精度，且計(jì)算復(fù)雜度較低。
[0005]本發(fā)明的技術(shù)問(wèn)題通過(guò)以下的技術(shù)方案予以解決:
[0006]一種視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，包括以下步驟:1)檢測(cè)視頻中的臺(tái)標(biāo)區(qū)域，并標(biāo)記臺(tái)標(biāo)區(qū)域；2)對(duì)視頻中的各幀圖像進(jìn)行如下補(bǔ)繪操作:21)根據(jù)前L幀、后K幀圖像，采用全局運(yùn)動(dòng)估計(jì)方法估計(jì)得到當(dāng)前幀圖像的L+K個(gè)全局參考圖像；其中，L和K均為大于等于0的整數(shù)，且L和K不同時(shí)為0，具體取值由用戶根據(jù)補(bǔ)繪精度要求進(jìn)行設(shè)定；
22)標(biāo)記當(dāng)前幀圖像中的臺(tái)標(biāo)區(qū)域的前景和背景；23)補(bǔ)繪當(dāng)前幀圖像的臺(tái)標(biāo)區(qū)域:對(duì)于背景像素點(diǎn)，利用L+K個(gè)全局參考圖像中相應(yīng)像素點(diǎn)的信息補(bǔ)繪該背景像素點(diǎn)；對(duì)于前景像素點(diǎn)，根據(jù)前L幀、后K幀圖像，采用局部估計(jì)方法估計(jì)得到當(dāng)前幀圖像的L+K個(gè)局部參考圖像，利用L+K個(gè)局部參考圖像中相應(yīng)像素點(diǎn)的信息補(bǔ)繪該前景像素點(diǎn)；24)判斷當(dāng)前幀圖像的臺(tái)標(biāo)區(qū)域是否補(bǔ)繪完全，如果是，則進(jìn)入步驟26);如果否，則進(jìn)入步驟25) ;25)利用當(dāng)前幀圖像的空間相關(guān)性補(bǔ)繪臺(tái)標(biāo)區(qū)域中剩余未補(bǔ)繪的區(qū)域；26)結(jié)束當(dāng)前幀圖像的補(bǔ)繪。
[0007]本發(fā)明與現(xiàn)有技術(shù)對(duì)比的有益效果是:
[0008]本發(fā)明的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，利用全局運(yùn)動(dòng)估計(jì)方法，從時(shí)間上前后L+K幀領(lǐng)域圖像估計(jì)當(dāng)前幀圖像，利用領(lǐng)域圖像中的像素點(diǎn)信息對(duì)當(dāng)前幀圖像中的臺(tái)標(biāo)區(qū)域的前景點(diǎn)與背景點(diǎn)區(qū)別補(bǔ)繪。在采用時(shí)間相關(guān)性補(bǔ)繪后，如存在未補(bǔ)繪的區(qū)域，繼續(xù)使用空間相關(guān)性補(bǔ)充補(bǔ)繪。補(bǔ)繪過(guò)程中，對(duì)前景點(diǎn)和背景點(diǎn)區(qū)分補(bǔ)繪，且視頻圖像幀序列中存在的大量時(shí)間冗余信息得到充分利用，從而有效地提高了視頻臺(tái)標(biāo)區(qū)域的補(bǔ)繪精度。而對(duì)于每一幀圖像而言，因其主要`通過(guò)對(duì)視頻圖像序列進(jìn)行運(yùn)動(dòng)分析，利用鄰域圖像幀中的已知圖像信息來(lái)補(bǔ)繪當(dāng)前幀中的臺(tái)標(biāo)區(qū)域，因此補(bǔ)繪過(guò)程中迭代次數(shù)較少，確保計(jì)算復(fù)雜度較低?！尽緦＠綀D】

【附圖說(shuō)明】】
[0009]圖1是本發(fā)明【具體實(shí)施方式】的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法的流程圖；
[0010]圖2是本發(fā)明【具體實(shí)施方式】的補(bǔ)繪方法中以K=3時(shí)為例說(shuō)明構(gòu)建領(lǐng)域塊集合的過(guò)程不意圖。
【【具體實(shí)施方式】】
[0011]下面結(jié)合【具體實(shí)施方式】并對(duì)照附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)說(shuō)明。
[0012]本發(fā)明的構(gòu)思是:通過(guò)全局運(yùn)動(dòng)估計(jì)和局部運(yùn)動(dòng)估計(jì)研究視頻圖像序列之間的時(shí)間相關(guān)性，優(yōu)先利用視頻圖像序列的時(shí)間相關(guān)性對(duì)當(dāng)前圖像幀中的臺(tái)標(biāo)區(qū)域進(jìn)行補(bǔ)繪，當(dāng)利用時(shí)間相關(guān)性補(bǔ)繪后仍然存在未補(bǔ)繪到的區(qū)域時(shí)，才采用當(dāng)前幀圖像的空間相關(guān)性進(jìn)行補(bǔ)繪。使用時(shí)間信息補(bǔ)繪時(shí)，首先對(duì)相鄰的L+K幀圖像進(jìn)行全局運(yùn)動(dòng)估計(jì)，使L+K幀鄰域圖像與當(dāng)前幀圖像對(duì)齊，得到L+K幀全局參考圖像。然后對(duì)臺(tái)標(biāo)區(qū)域每個(gè)待補(bǔ)繪像素點(diǎn)的時(shí)空鄰域數(shù)據(jù)進(jìn)行分析，標(biāo)記當(dāng)前圖像幀臺(tái)標(biāo)區(qū)域內(nèi)的前景點(diǎn)和背景點(diǎn)。最后，對(duì)于未知的背景像素點(diǎn)，使用全局運(yùn)動(dòng)補(bǔ)償后已對(duì)齊的領(lǐng)域圖像幀內(nèi)的信息進(jìn)行補(bǔ)繪；對(duì)于未知的前景像素點(diǎn)，則進(jìn)行局部運(yùn)動(dòng)補(bǔ)償后再結(jié)合鄰域圖像幀內(nèi)的信息進(jìn)行補(bǔ)繪。
[0013]如圖1所示，為本【具體實(shí)施方式】中視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法的流程圖。補(bǔ)繪方法處理的輸入的視頻圖像，其臺(tái)標(biāo)區(qū)域可見，視頻的數(shù)據(jù)格式不限。補(bǔ)繪方法包括以下步驟:
[0014]Ul):檢測(cè)視頻中的臺(tái)標(biāo)區(qū)域，并標(biāo)記臺(tái)標(biāo)區(qū)域。
[0015]該步驟中，檢測(cè)方法可選用多種有關(guān)視頻臺(tái)標(biāo)區(qū)域檢測(cè)的方法，例如，可包括算法檢測(cè)和用戶手動(dòng)勾選識(shí)別，并標(biāo)記臺(tái)標(biāo)區(qū)域。用算法來(lái)自動(dòng)檢測(cè)的方法可采用但不局限于Kartrin Meisinger等人提出的基于幀差的臺(tái)標(biāo)檢測(cè)和提取算法。通過(guò)用戶手工勾選的方法則可以事先準(zhǔn)備能標(biāo)示臺(tái)標(biāo)區(qū)域的輸入?yún)?shù)或者提供用戶操作界面讓用戶將臺(tái)標(biāo)區(qū)域標(biāo)記出來(lái)。此時(shí)，檢測(cè)時(shí)，直接接收用戶勾選標(biāo)記的臺(tái)標(biāo)區(qū)域完成檢測(cè)。檢測(cè)標(biāo)記后，即可對(duì)臺(tái)標(biāo)區(qū)域識(shí)別出來(lái)。最簡(jiǎn)便的方法，即是臺(tái)標(biāo)區(qū)域內(nèi)的像素點(diǎn)被統(tǒng)一標(biāo)識(shí)為0，即呈現(xiàn)為黑色。抑或，統(tǒng)一標(biāo)識(shí)為255，即呈現(xiàn)為白色。也可采用其它標(biāo)識(shí)方法，不局限為上述兩種。
[0016]U2)對(duì)視頻中的各幀圖像進(jìn)行如下補(bǔ)繪操作，具體為圖1中步驟U21) -U26)。
[0017]U21)根據(jù)前L幀、后K幀圖像，采用全局運(yùn)動(dòng)估計(jì)方法估計(jì)得到當(dāng)前幀圖像的L+K個(gè)全局參考圖像。其中，K為正整數(shù)，由用戶根據(jù)補(bǔ)繪精度要求進(jìn)行設(shè)定。
[0018]全局運(yùn)動(dòng)是指由于攝像機(jī)的運(yùn)動(dòng)所產(chǎn)生的視頻圖像序列中的運(yùn)動(dòng)。全局運(yùn)動(dòng)估計(jì)即是估計(jì)當(dāng)前幀中像素點(diǎn)與時(shí)間序列上前后領(lǐng)域幀中相應(yīng)像素點(diǎn)之間的空間位移，通常通過(guò)運(yùn)動(dòng)參數(shù)模型來(lái)定義。全局運(yùn)動(dòng)估計(jì)方法中，定義出運(yùn)動(dòng)參數(shù)模型后，即可以由領(lǐng)域幀圖像估計(jì)出當(dāng)前幀圖像，得到當(dāng)前幀的估計(jì)圖像；也可以由當(dāng)前幀圖像估計(jì)出相鄰幀圖像，得到相鄰幀圖像的估計(jì)圖像。例如,設(shè)Xi表示i時(shí)刻視頻圖像幀內(nèi)像素點(diǎn)的坐標(biāo)^表示j時(shí)刻視頻圖像幀內(nèi)像素點(diǎn)的坐標(biāo)表示將j時(shí)刻的圖像幀與i時(shí)刻圖像幀對(duì)齊時(shí)所需的運(yùn)動(dòng)參數(shù)模型，則由j時(shí)刻的圖像幀估計(jì)得到i時(shí)刻的圖像幀的估計(jì)圖像的運(yùn)算為，也即是將j時(shí)刻的圖像幀向i時(shí)刻的圖像幀對(duì)齊。
[0019]該步驟中，用戶設(shè)定L和K值后，例如取L和K均為3，即是由前后3幀圖像估計(jì)當(dāng)前幀圖像，得到6幅全 局參考圖像。后續(xù)如發(fā)現(xiàn)補(bǔ)繪精度不滿意，可返回重新設(shè)定L和K的值為更大值，從而提高補(bǔ)繪精度。當(dāng)然也可取L和K為其它值，還可取L為O，僅利用后面K幀圖像的信息；或者取K為O，僅利用前面L幀圖像的信息，具體取值組合不限，只要有相鄰幀的信息即可。本步驟中，選取前后L+K幀時(shí)間窗口，對(duì)時(shí)間窗口內(nèi)視頻圖像幀對(duì)齊可為后續(xù)步驟中利用視頻序列的時(shí)間相關(guān)性來(lái)補(bǔ)繪臺(tái)標(biāo)區(qū)域做準(zhǔn)備。
[0020]U22)標(biāo)記當(dāng)前幀圖像中的臺(tái)標(biāo)區(qū)域的前景和背景。
[0021]該步驟中，可采用通常的前景背景標(biāo)記方法對(duì)當(dāng)前幀圖像的臺(tái)標(biāo)區(qū)域進(jìn)行處理。優(yōu)選地，可利用步驟U21)中得到L+K個(gè)全局參考圖像的信息進(jìn)行前景背景標(biāo)記，這樣，通過(guò)全局運(yùn)動(dòng)估計(jì)得到反應(yīng)時(shí)間相關(guān)性信息的參考圖像來(lái)進(jìn)行標(biāo)記，可提高前景背景標(biāo)記的精確度，進(jìn)而提高后續(xù)補(bǔ)繪時(shí)的精確度。具體地，包括步驟U221)-U223):
[0022]U221)對(duì)當(dāng)前幀圖像中的臺(tái)標(biāo)區(qū)域中的每一個(gè)像素點(diǎn)I (x，y)，構(gòu)建像素點(diǎn)的領(lǐng)域塊集合V，所述領(lǐng)域塊集合V包括分別從當(dāng)前幀圖像和L+K個(gè)全局參考圖像中取出的L+K+1 個(gè)子塊 UV 子塊 V0= {I (i，j) I i G(x-ff, x+ff), j G (y-W，y+W)}，其中，W 是空間窗口大小，由用戶根據(jù)補(bǔ)繪精度和運(yùn)算量的要求進(jìn)行設(shè)定。
[0023]該步驟中，如圖2所示，以L和K均為3時(shí)的情形為例說(shuō)明構(gòu)建領(lǐng)域塊集合V的過(guò)程。即分別從6個(gè)全局參考圖像Rl?R6中取出6個(gè)子塊以及從實(shí)際的當(dāng)前幀圖像C中取出I個(gè)子塊，總計(jì)7個(gè)子塊的像素點(diǎn)構(gòu)成集合U/。各子塊是以像素點(diǎn)I (x，y)為中心的長(zhǎng)寬分別為2W的方塊。
[0024]U222)計(jì)算各像素點(diǎn)的領(lǐng)域塊集合V內(nèi)的像素點(diǎn)的方差。
[0025]如上所述，集合V是L+K+1個(gè)子塊的像素點(diǎn)構(gòu)成集合，因此該步驟即計(jì)算該集合內(nèi)像素點(diǎn)的像素值的方差。
[0026]U223)設(shè)定閾值，比較閾值與步驟U222)中計(jì)算得到的各像素點(diǎn)對(duì)應(yīng)的方差，如果方差小于閾值，則將該像素點(diǎn)標(biāo)記為背景；如果方差大于閾值，則將該像素點(diǎn)標(biāo)記為前景。
[0027]由于是利用步驟U21)中全局運(yùn)動(dòng)估計(jì)后反應(yīng)時(shí)間信息的結(jié)果，所以對(duì)屬于視頻背景區(qū)域的像素點(diǎn)，其運(yùn)動(dòng)位移較小，因此其領(lǐng)域塊集合V內(nèi)像素點(diǎn)的像素值的方差就相對(duì)較?。环粗?，對(duì)于屬于視頻前景區(qū)域的像素點(diǎn)，由于前景存在局部運(yùn)動(dòng)，其運(yùn)動(dòng)位移較大，因此其領(lǐng)域塊集合V內(nèi)像素點(diǎn)的像素值的方差就會(huì)相對(duì)較大。該步驟中，即是設(shè)置一個(gè)閾值，閾值由用戶設(shè)定，可根據(jù)補(bǔ)繪精度要求設(shè)定為經(jīng)驗(yàn)值。通過(guò)閾值與各像素點(diǎn)對(duì)應(yīng)的領(lǐng)域塊集合V的方差進(jìn)行比較，便可區(qū)分各像素點(diǎn)是屬于前景還是背景，從而完成當(dāng)前幀視頻圖像的臺(tái)標(biāo)區(qū)域像素點(diǎn)的前景-背景標(biāo)記。
[0028]U23)補(bǔ)繪當(dāng)前幀圖像的臺(tái)標(biāo)區(qū)域。具體地:對(duì)于背景像素點(diǎn)，利用L+K個(gè)全局參考圖像中相應(yīng)像素點(diǎn)的信息補(bǔ)繪該背景像素點(diǎn)；對(duì)于前景像素點(diǎn)，根據(jù)前L幀、后K幀圖像，采用局部估計(jì)方法估計(jì)得到當(dāng)前幀圖像的L+K個(gè)局部參考圖像，利用L+K個(gè)局部參考圖像中相應(yīng)像素點(diǎn)的信息補(bǔ)繪該前景像素點(diǎn)。
[0029]該步驟中，對(duì)于臺(tái)標(biāo)區(qū)域的像素點(diǎn)，區(qū)分背景和前景分別補(bǔ)繪。對(duì)于當(dāng)前幀圖像內(nèi)臺(tái)標(biāo)區(qū)域的背景像素點(diǎn)，直接利用已經(jīng)對(duì)齊后的鄰域圖像內(nèi)的信息，也即參考圖像的信息進(jìn)行補(bǔ)繪。對(duì)于當(dāng)前幀圖像內(nèi)臺(tái)標(biāo)區(qū)域的前景像素點(diǎn)，引入局部運(yùn)動(dòng)補(bǔ)償，根據(jù)局部運(yùn)動(dòng)估計(jì)后得到的局部參考圖像的信息補(bǔ)繪該前景像素點(diǎn)。
[0030]由于取前L巾貞、后K幀作為時(shí)間窗口，因此時(shí)間窗口內(nèi)存在L+K個(gè)可參考的圖像幀。利用L+K個(gè)全局參考圖像補(bǔ)繪背景像素點(diǎn)或L+K個(gè)局部參考圖像補(bǔ)繪前景像素點(diǎn)時(shí)，有多種補(bǔ)繪方式。如下列舉兩種補(bǔ)繪方式:
[0031]一種，即是以L+K個(gè)參考圖像中相應(yīng)像素點(diǎn)的像素值的平均值作為當(dāng)前待補(bǔ)繪像素點(diǎn)的像素值進(jìn)行補(bǔ)繪。例如，補(bǔ)繪當(dāng)前幀圖像中像素點(diǎn)I (x，y)時(shí)，取L+K個(gè)參考圖像中中相應(yīng)的像素點(diǎn)I (x，y)，用L+K個(gè)像素點(diǎn)的像素值的平均值作為當(dāng)前幀內(nèi)像素點(diǎn)I (x，y)的像素值。
[0032]另一種，即是先計(jì)算L+K個(gè)參考圖像與當(dāng)前幀圖像的誤差，以誤差最小的一個(gè)參考圖像中的相應(yīng)像素點(diǎn)的像素值作為當(dāng)前待補(bǔ)繪像素點(diǎn)的像素值進(jìn)行補(bǔ)繪。計(jì)算誤差時(shí)，有多種方式，一種方式，即是在當(dāng)前幀圖像中取待補(bǔ)繪像素點(diǎn)I (x，y)周圍N個(gè)像素點(diǎn)，記為Ik (x, y), k=l,2,…，N ;對(duì)應(yīng)在參考圖像中取該N個(gè)像素點(diǎn)相應(yīng)的像素點(diǎn)，記為I’k (x, y), k=l,2,…，N ;然后計(jì)算相應(yīng)像素點(diǎn)的像素值的差值的平方和開根，即
【權(quán)利要求】
1.一種視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，其特征在于:包括以下步驟: 1)檢測(cè)視頻中的臺(tái)標(biāo)區(qū)域，并標(biāo)記臺(tái)標(biāo)區(qū)域； 2)對(duì)視頻中的各幀圖像進(jìn)行如下補(bǔ)繪操作: 21)根據(jù)前L幀、后K幀圖像，采用全局運(yùn)動(dòng)估計(jì)方法估計(jì)得到當(dāng)前幀圖像的L+K個(gè)全局參考圖像；其中，L和K均為大于等于O的整數(shù)，且L和K不同時(shí)為O，具體取值由用戶根據(jù)補(bǔ)繪精度要求進(jìn)行設(shè)定； 22)標(biāo)記當(dāng)前幀圖像中的臺(tái)標(biāo)區(qū)域的前景和背景； 23)補(bǔ)繪當(dāng)前幀圖像的臺(tái)標(biāo)區(qū)域:對(duì)于背景像素點(diǎn)，利用L+K個(gè)全局參考圖像中相應(yīng)像素點(diǎn)的信息補(bǔ)繪該背景像素點(diǎn)；對(duì)于前景像素點(diǎn)，根據(jù)前L幀、后K幀圖像，采用局部估計(jì)方法估計(jì)得到當(dāng)前幀圖像的L+K個(gè)局部參考圖像，利用L+K個(gè)局部參考圖像中相應(yīng)像素點(diǎn)的信息補(bǔ)繪該前景像素點(diǎn)； 24)判斷當(dāng)前幀圖像的臺(tái)標(biāo)區(qū)域是否補(bǔ)繪完全，如果是，則進(jìn)入步驟26);如果否，則進(jìn)入步驟25)； 25)利用當(dāng)前幀圖像的空間相關(guān)性補(bǔ)繪臺(tái)標(biāo)區(qū)域中剩余未補(bǔ)繪的區(qū)域； 26)結(jié)束當(dāng)前幀圖像的補(bǔ)繪。
2.根據(jù)權(quán)利要求1所述的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，其特征在于:所述步驟22)中利用L+K個(gè)全局參考圖像的信息標(biāo)記當(dāng)前幀圖像中的臺(tái)標(biāo)區(qū)域的前景和背景。
3.根據(jù)權(quán)利要求2所述的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，其特征在于:所述步驟22)具體為:221)對(duì)當(dāng)前幀圖像中的臺(tái)標(biāo)區(qū)域中的每一個(gè)像素點(diǎn)I(x，y)，構(gòu)建像素點(diǎn)的領(lǐng)域塊集合V，所述領(lǐng)域塊集合V包括分別從當(dāng)前幀圖像和K個(gè)全局參考圖像中取出的L+K+1 個(gè)子塊 ￥0，子塊 V0= {I (i，j) I i G(x-ff, X+ff), j G (y-W，y+W)}，其中，W 是空間窗口大小，由用戶根據(jù)補(bǔ)繪精度和運(yùn)算量的要求進(jìn)行設(shè)定；222)計(jì)算各像素點(diǎn)的領(lǐng)域塊集合￥內(nèi)的像素點(diǎn)的方差；223)設(shè)定閾值，比較閾值與步驟222)中計(jì)算得到的各像素點(diǎn)對(duì)應(yīng)的方差，如果方差小于閾值，則將該像素點(diǎn)標(biāo)記為背景；如果方差大于閾值，則將該像素點(diǎn)標(biāo)記為前景。
4.根據(jù)權(quán)利要求1所述的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，其特征在于:所述步驟23)中，利用L+K個(gè)全局參考圖像或L+K個(gè)局部參考圖像中相應(yīng)像素點(diǎn)信息補(bǔ)繪像素點(diǎn)時(shí)，以L+K個(gè)參考圖像中相應(yīng)像素點(diǎn)的像素值的平均值作為當(dāng)前待補(bǔ)繪像素點(diǎn)的像素值進(jìn)行補(bǔ)繪。
5.根據(jù)權(quán)利要求1所述的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，其特征在于:所述步驟23)中，利用L+K個(gè)全局參考圖像或L+K個(gè)局部參考圖像中相應(yīng)像素點(diǎn)信息補(bǔ)繪像素點(diǎn)時(shí)，先計(jì)算L+K個(gè)參考圖像與當(dāng)前幀圖像的誤差，以誤差最小的一個(gè)參考圖像中的相應(yīng)像素點(diǎn)的像素值作為當(dāng)前待補(bǔ)繪像素點(diǎn)的像素值進(jìn)行補(bǔ)繪。
6.根據(jù)權(quán)利要求1所述的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，其特征在于:所述步驟25)中采用靜態(tài)圖像修復(fù)算法進(jìn)行補(bǔ)繪。
7.根據(jù)權(quán)利要求1所述的視頻中的臺(tái)標(biāo)區(qū)域補(bǔ)繪方法，其特征在于:所述靜態(tài)圖像修復(fù)算法包括基于偏微分方程的數(shù)字修復(fù)算法、基于樣例的塊匹配算法。
8.根據(jù)權(quán)利要求7所述的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，其特征在于:所述步驟25)采用基于樣例的塊匹配算法時(shí)，具體包括如下步驟:251)確定剩余未補(bǔ)繪的區(qū)域；252)提取待補(bǔ)繪區(qū)域的邊界；253)對(duì)于邊界上的每一個(gè)像素點(diǎn)，計(jì)算其塊匹配優(yōu)先權(quán)，選擇優(yōu)先權(quán)值最大的像素點(diǎn)作為當(dāng)前待補(bǔ)繪塊的中心點(diǎn)；254)在已補(bǔ)繪區(qū)域中檢測(cè)與當(dāng)前待補(bǔ)繪塊距離最近的匹配塊；255)采用所述匹配塊中各像素點(diǎn)的信息對(duì)當(dāng)前待補(bǔ)繪塊中各像素點(diǎn)進(jìn)行補(bǔ)繪；256)返回步驟251)，直至不存在未補(bǔ)繪的區(qū)域時(shí)結(jié)束。
9.根據(jù)權(quán)利要求1所述的視頻中的臺(tái)標(biāo)區(qū)域的內(nèi)容補(bǔ)繪方法，其特征在于:還包括步驟步驟3):將所有補(bǔ)繪完成的各幀圖像按照時(shí)間順序進(jìn)行整合，輸出去除臺(tái)標(biāo)區(qū)域經(jīng)補(bǔ)繪后得 到的視頻。
【文檔編號(hào)】H04N19/51GK103618905SQ201310665267
【公開日】2014年3月5日 申請(qǐng)日期:2013年12月9日 優(yōu)先權(quán)日:2013年12月9日
【發(fā)明者】張磊, 肖煜東, 索津莉, 張永兵, 戴瓊海 申請(qǐng)人:清華大學(xué)深圳研究生院