專(zhuān)利名稱：視頻圖像中條帶的檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)字視頻圖像處理領(lǐng)域，涉及一種視頻圖像中條帶區(qū)域的檢測(cè)方
法，用于檢測(cè)視頻圖像中的條帶損傷。
背景技術(shù)：
電影的誕生至今已經(jīng)有一百多年的歷史，伴隨著電影技術(shù)的誕生和發(fā)展，人類(lèi) 歷史積淀了許多記錄實(shí)歷史的影像檔案資料與見(jiàn)證了文化藝術(shù)發(fā)展的影視資料，這些資 料是人類(lèi)歷史寶貴的遺產(chǎn)。由于歷史技術(shù)原因，舊視頻在保存和播放時(shí)會(huì)產(chǎn)生損傷，需 要對(duì)其進(jìn)行修復(fù)，還其原貌?，F(xiàn)代數(shù)字技術(shù)的成熟使得我們可以采用數(shù)字技術(shù)對(duì)舊視頻 進(jìn)行修復(fù)。在修復(fù)過(guò)程中，自動(dòng)檢測(cè)出損傷區(qū)域?qū)⑻岣咝迯?fù)效率，是實(shí)現(xiàn)舊視頻圖像自 動(dòng)化修復(fù)的基礎(chǔ)，是提高舊視頻圖像修復(fù)效率的先決條件。 條帶是一種普遍存在于舊視頻圖像中的損傷，條帶產(chǎn)生原因是物理磨損。通常 是在放映時(shí)，由堅(jiān)硬的顆粒在平行于電影膠片或磁帶運(yùn)動(dòng)方向上刮擦所導(dǎo)致。對(duì)該損傷 的修復(fù)就是要把條帶對(duì)象從視頻圖像序列中移除，需要給出條帶的精確位置。由于數(shù)目 龐大，人工標(biāo)定顯然不實(shí)際，需要對(duì)視頻圖像中的條帶進(jìn)行自動(dòng)檢測(cè)，獲取條帶所處位 置的精確區(qū)域。為此，條帶的檢測(cè)研究就顯得尤其重要。 最早關(guān)于條帶檢測(cè)的方法是模型分析法，如ANIL Kokaram， Detection and removal of line scratches in degraded motion picture sequences, Signal Processing VIII， volume I， pages 5-8， September 1996禾口 Vittoria Bruni and Domenico Vitulano， A generalized model for scratch detection, IEEE Transaction in image processing, Vol. 13， No.l， January 2004，該方法先對(duì)條帶建立模型，通過(guò)隨機(jī)方法獲取參數(shù)對(duì)應(yīng)數(shù)值，分析 數(shù)值的合理性來(lái)確定條帶的存在性。該模型法是假設(shè)條帶在圖像中從首行一直延續(xù)到 最后一行，且完全呈直線分布，這種假設(shè)不具有一般性，實(shí)際的條帶損傷很多都不呈線 性，且僅出現(xiàn)在圖像的局部區(qū)域，不適合用該模型描述。 針對(duì)條帶在圖像中出現(xiàn)區(qū)域的局部性，產(chǎn)生了區(qū)域分析法，如Rong-Chi Chang， Louis H丄in， Chia-Ton Tian， and Timothy K.Shih.Video Inpainting and Restoration Techniques.Proceedings of the 13th annual ACM international conference on Multimedia. Nov.2005禾口 Timothy K.Shih and Louis H丄in， Wonjun Lee， Detection and removal of long scratch line in aged film.Multimedia and Expo， IEEE International Conference on July 2006Page(s): 477-480，該方法是把視頻圖像水平分割為若干區(qū)域，在每個(gè)區(qū)域內(nèi)檢測(cè)條 帶，之后把相鄰的條帶連接起來(lái)。該方法在水平分割區(qū)域通過(guò)分析圖像在列向量的亮度 投影分析條帶的存在性，分割塊的大小對(duì)于檢測(cè)結(jié)果會(huì)有較大影響，尤其當(dāng)斜度較大的 時(shí)候。該方法雖然考慮了條帶出現(xiàn)區(qū)域的局部性特征，但是依然沒(méi)有考慮斜度問(wèn)題。
第三類(lèi)非線性搜索方法，如LazharKhriji， Mahmoud Meribout， Moncef Gabbouj. Detection and removal of video defects using rational-based techniques.Advances in Engineering Software 36(2005)487-495，是基于像素的分析法。該搜索方法為在水平方向上逐像素遍歷，把當(dāng)前像素和下一像素進(jìn)行比較，若亮度差值小于閾值則認(rèn)為得到了兩個(gè)相關(guān)的 像素，接著檢測(cè)下一像素，直到相關(guān)像素?cái)?shù)目達(dá)到一個(gè)最大閾值，認(rèn)為是背景，否則小 于閾值認(rèn)為是可能的條帶像素點(diǎn)，對(duì)按以上處理獲得的圖像在列方向上求均值降維，對(duì) 于大于均值閾值的列認(rèn)為是條帶，之后回到原圖，按照一個(gè)圖像亮度閾值把該列上的非 條帶部分刪除。該方法只適合于亮度均勻的條帶檢測(cè)，對(duì)于一般的條帶來(lái)說(shuō)，亮度呈現(xiàn) 余弦衰減，該方法將失效。 第四類(lèi)是基于小波理論和形態(tài)學(xué)的檢測(cè)方法如基于小波分解的電影膠片劃痕 損傷數(shù)字修復(fù)技術(shù)研究，中國(guó)圖像圖形學(xué)報(bào)，Vol 11， No.ll， Nov.2006，該方法是先對(duì) 圖像進(jìn)行小波分解，把水平方向系數(shù)集大垂直方向系數(shù)集小的位置認(rèn)為是可能的條帶， 之后通過(guò)形態(tài)學(xué)的膨脹腐蝕算法消除小面積區(qū)域，最后再使用水平和垂直方向的膨脹使 斷續(xù)的條帶連接，由于斷續(xù)中間的尺寸和偏移大小都不能確定，形態(tài)學(xué)的使用中結(jié)構(gòu)元 素尺寸的選擇對(duì)于處理結(jié)果影響大。 通過(guò)大量的視頻圖像中條帶的分析，發(fā)現(xiàn)視頻圖像中條帶可分為兩種垂直條 帶和水平條帶。垂直條帶的長(zhǎng)度一般大于視頻圖像寬度的5%。垂直條帶又可分為黑色 垂直條帶和白色垂直條帶。黑色垂直條帶斜度與垂直方向夾角小于2度，大部分近似于 垂直， 一般呈線性分布，寬度小于5像素；白色垂直條帶斜度與垂直方向夾角小于8度， 寬度小于7像素。水平條帶往往呈標(biāo)準(zhǔn)直線型態(tài)。水平條帶也可分為白色水平條帶和黑 色水平條帶。黑色水平條帶亮度特征明顯，與周?chē)炼炔畲笥?，其條帶寬度較小， 一般 為一到三個(gè)像素。其長(zhǎng)度一般大于視頻圖像長(zhǎng)度的5%。白色水平條帶寬度較大， 一般 都在十個(gè)像素左右，且呈斷續(xù)透明狀，其亮度與周?chē)炼葘?duì)比不明顯。
經(jīng)過(guò)對(duì)待修復(fù)視頻中條帶分析發(fā)現(xiàn)現(xiàn)有方法有以下不足 (1)、現(xiàn)有檢測(cè)方法是針對(duì)一些典型的特殊垂直條帶進(jìn)行檢測(cè)，忽略了條帶的斜 度和條帶出現(xiàn)區(qū)域局部性特點(diǎn)，且認(rèn)為背景中不存在類(lèi)似條帶對(duì)象，在實(shí)際修復(fù)中沒(méi)有 適用于各種情況垂直條帶的檢測(cè)方法。 (2)、對(duì)于水平條帶檢測(cè)的研究很少，即使提及，也認(rèn)為水平條帶與垂直條帶的 檢測(cè)方法只是在方向上的差別，完全忽略了水平條帶寬度較大和亮度透明的特點(diǎn)，不可 當(dāng)作簡(jiǎn)單的方向差別來(lái)處理。 (3)、現(xiàn)有檢測(cè)方法多為單幀處理方法，沒(méi)有解決連續(xù)幀處理問(wèn)題。

發(fā)明內(nèi)容
鑒于以上所述現(xiàn)有技術(shù)存在的問(wèn)題和不足，本發(fā)明的目的在于提供一種視頻圖 像中條帶的檢測(cè)方法，既能檢測(cè)線性、小斜度垂直條帶和非線性、大斜度垂直條帶，也 能檢測(cè)水平黑色、白色條帶，實(shí)現(xiàn)首幀交互后續(xù)幀自動(dòng)檢測(cè)，達(dá)到降低在背景存在類(lèi)似 條帶對(duì)象時(shí)的誤檢，提高檢測(cè)效率和可靠性。 為達(dá)到上述目的，本發(fā)明采用以下技術(shù)解決方案實(shí)現(xiàn)首先由用戶根據(jù)首幀視 頻序列中出現(xiàn)的條帶特征，選擇待修復(fù)條帶的顏色(白色或黑色)和條帶類(lèi)型(水平或垂 直)，并根據(jù)首幀中條帶的出現(xiàn)位置劃定檢測(cè)區(qū)域，在檢測(cè)區(qū)域內(nèi)進(jìn)行基于空間亮度信息 的條帶特征對(duì)象的自動(dòng)提取，并測(cè)量記錄對(duì)象形狀，位置信息；然后對(duì)提取的條帶特征 對(duì)象進(jìn)行分析、合并，生成條帶的二值模板；再基于當(dāng)前幀的條帶對(duì)像檢測(cè)結(jié)果，根據(jù)條帶漂移特征，預(yù)測(cè)下一幀條帶出現(xiàn)的區(qū)域，生成下一幀的檢測(cè)區(qū)域；最后根據(jù)新的檢 測(cè)區(qū)域?qū)ο乱粠M(jìn)行條帶檢測(cè)。其具體步驟如下 步驟1、由用戶根據(jù)首幀視頻中的條帶選擇待修復(fù)條帶的顏色(白色或黑色)和 條帶類(lèi)型(水平或垂直)，根據(jù)首幀中條帶出現(xiàn)的位置劃定檢測(cè)區(qū)域，計(jì)算出檢測(cè)區(qū)域的 長(zhǎng)度和寬度； 步驟2、對(duì)步驟1中用戶對(duì)條帶類(lèi)型的選擇進(jìn)行判斷，若為垂直條帶則進(jìn)行步驟 3處理。若為水平條帶則進(jìn)行步驟4處理； 步驟3、對(duì)垂直條帶進(jìn)行檢測(cè)，獲得條帶模板圖，之后生成下一幀的檢測(cè)區(qū)域并 循環(huán)使用本步驟對(duì)后續(xù)幀處理； 步驟4、對(duì)水平條帶進(jìn)行檢測(cè)，獲得條帶模板圖，并循環(huán)使用本步驟對(duì)后續(xù)幀進(jìn) 行處理。 上述步驟3中所述的對(duì)垂直條帶的檢測(cè)，其具體步驟如下 3-1、圖像預(yù)處理對(duì)輸入原始圖像進(jìn)行格式轉(zhuǎn)換，獲取轉(zhuǎn)換后圖像的亮度分 3-2、區(qū)域內(nèi)垂直條帶的檢測(cè)對(duì)步驟3-l獲得的亮度圖像進(jìn)行條帶檢測(cè)。首 先對(duì)圖像進(jìn)行高斯去噪；對(duì)步驟1中用戶對(duì)條帶顏色的選擇進(jìn)行判斷，對(duì)于黑色條帶， 選擇九抽頭中值濾波器對(duì)去噪后圖像進(jìn)行水平方向?yàn)V波，對(duì)于白色條帶，選擇十三抽頭 濾波器，對(duì)去噪后圖像進(jìn)行水平方向?yàn)V波；之后作中值濾波前后的差運(yùn)算，獲得差值圖 像，依據(jù)一個(gè)亮度閾值對(duì)差值圖像進(jìn)行判決，獲取包含了條帶對(duì)象的二值圖像。對(duì)二 值圖像進(jìn)行八鄰域的連通區(qū)域搜索，獲取八連通的連通區(qū)域，每個(gè)連通區(qū)域作為一個(gè)對(duì) 象。對(duì)于搜索到的每個(gè)對(duì)象，測(cè)量其對(duì)象水平平均像素寬度，長(zhǎng)度。對(duì)對(duì)象的長(zhǎng)度和寬 度分別設(shè)置閾值，去除不滿足條帶特征條件的對(duì)象，最后獲得只包含條帶信息的圖像；
3-3、檢測(cè)的后處理。對(duì)步驟3-2獲得的只包含條帶信息的圖像進(jìn)行分析，檢測(cè) 是否存在共線對(duì)象，若不存在，則不處理，若存在，則按照一定判斷規(guī)則判斷是否歸并 兩個(gè)對(duì)象，填補(bǔ)兩對(duì)象之間的間斷。使條帶檢測(cè)更完整，最后得到條帶的掩模圖；
3-4、時(shí)序上對(duì)條帶區(qū)域的跟蹤。當(dāng)檢測(cè)失敗時(shí)，說(shuō)明隨著檢測(cè)幀數(shù)的增加， 條帶可能漂移出檢測(cè)區(qū)域，需要按條帶漂移特性調(diào)整檢測(cè)區(qū)域，重新檢測(cè)。之后對(duì)檢測(cè) 失敗的幀按照新檢測(cè)區(qū)域重新檢測(cè)，若重檢測(cè)依然沒(méi)有檢測(cè)到條帶，認(rèn)為當(dāng)前幀沒(méi)有條 帶，放棄當(dāng)前幀的檢測(cè)，輸出條帶模板圖，讀入下一幀圖像數(shù)據(jù)，重新返回步驟3對(duì)下 幀進(jìn)行檢測(cè)； 上述步驟4中所述的對(duì)水平條帶的檢測(cè)，其具體步驟如下
4-1、圖像預(yù)處理對(duì)輸入圖像進(jìn)行格式轉(zhuǎn)換，獲取轉(zhuǎn)換后圖像的亮度分量；
4-2、區(qū)域內(nèi)水平條帶檢測(cè)對(duì)轉(zhuǎn)換后圖像的亮度分量進(jìn)行水平條帶檢測(cè)。判斷 條帶顏色，若為黑色條帶，對(duì)亮度圖像在水平方向上進(jìn)行高斯去噪處理，選擇五抽頭垂 直中值濾波器進(jìn)行中值濾波，并對(duì)中值濾波前后圖像作差運(yùn)算，獲取差值圖像；若為白 色條帶，先采用水平中值濾波器對(duì)其濾波，后使用垂直中值濾波器濾波，并對(duì)垂直中值 濾波前后圖像作差運(yùn)算，獲取差值圖像；之后依據(jù)一個(gè)亮度閾值對(duì)差值圖像進(jìn)行判決， 獲取二值圖像；對(duì)二值圖像進(jìn)行八鄰域的連通區(qū)域搜索，獲取八連通的連通區(qū)域，每個(gè) 連通區(qū)域作為一個(gè)對(duì)象。對(duì)于搜索到的每個(gè)對(duì)象，測(cè)量其對(duì)象垂直方向上的像素最大偏移和水平長(zhǎng)度，通過(guò)設(shè)置像素最大偏移和水平長(zhǎng)度閾值進(jìn)行判決，去除滿足條帶特征的 對(duì)象，最后獲得只包含條帶信息的圖像； 4-3、水平條帶的檢測(cè)的后處理。再判斷條帶顏色，若為白色條帶，則再采用形 態(tài)學(xué)方法，設(shè)計(jì)結(jié)構(gòu)算子對(duì)步驟4-2中獲得的只包含條帶信息的圖像進(jìn)行形態(tài)學(xué)處理，使 檢測(cè)結(jié)果完整。若為黑色條帶，則不作處理。輸出檢測(cè)模板，讀入下幀圖像數(shù)據(jù)，重新 返回步驟4對(duì)下幀進(jìn)行檢測(cè)。 本發(fā)明的視頻圖像中條帶的檢測(cè)方法與當(dāng)前其他的條帶檢測(cè)方法相比的優(yōu)點(diǎn)在 于該方法克服了當(dāng)前條帶檢測(cè)僅僅針對(duì)典型垂直條帶的局限性，擴(kuò)大了對(duì)垂直條帶的 檢測(cè)方法的適用范圍，并提出了對(duì)水平條帶進(jìn)行快速檢測(cè)的方法。該方法提供給用戶類(lèi) 型進(jìn)行選擇，提高了檢測(cè)的可靠性。此外，本發(fā)明對(duì)于各種條帶的檢測(cè)方法進(jìn)行了集 成，采用了連續(xù)幀處理的策略，使用戶在使用時(shí)，僅需在首幀進(jìn)行交互操作，后續(xù)幀完 全自動(dòng)行檢測(cè)，提高了檢測(cè)效率。


圖1為本發(fā)明實(shí)施例的視頻圖像中條帶的檢測(cè)方法的流程圖； 圖2為圖1中的檢測(cè)區(qū)域跟蹤流程圖； 圖3為有垂直白色條帶的原圖； 圖4為圖3中根據(jù)白色垂直條帶位置畫(huà)出檢測(cè)區(qū)域的圖； 圖5為對(duì)于白色垂直條帶差值獲得的二值圖； 圖6為對(duì)于白色垂直條帶鄰域搜索獲取的條帶對(duì)象圖； 圖7為對(duì)于白色垂直條帶連接后獲得的條帶模板圖； 圖8是有黑色垂直條帶的原圖； 圖9是圖8中根據(jù)黑色垂直條帶位置畫(huà)出檢測(cè)區(qū)域的圖； 圖10是對(duì)于黑色垂直條帶差值獲得的二值圖； 圖11是對(duì)于黑色垂直條帶鄰域搜索獲取的條帶對(duì)象圖； 圖12是對(duì)于黑色垂直條帶連接后獲得的條帶模板圖； 圖13是有白色水平條帶的原圖； 圖14是圖13中根據(jù)白色水平條帶位置畫(huà)出檢測(cè)區(qū)域的圖； 圖15是白色水平條帶差值獲得的二值圖； 圖16是白色水平條帶鄰域搜索獲取的條帶對(duì)象圖； 圖17是白色水平條帶經(jīng)過(guò)形態(tài)學(xué)處理后的條帶模板圖； 圖18是有黑色水平條帶的原圖； 圖19是圖18中根據(jù)黑色水平條帶位置畫(huà)出檢測(cè)區(qū)域的圖； 圖20是黑色水平條帶差值獲得的二值圖； 圖21是黑色水平條帶鄰域搜索獲取的條帶對(duì)象模板圖。
具體實(shí)施例方式
以下結(jié)合附圖對(duì)本發(fā)明的實(shí)施例作進(jìn)一步的詳細(xì)說(shuō)明。本實(shí)施例以本發(fā)明的技 術(shù)方案為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。
如圖1所示，上述視頻圖像中條帶的檢測(cè)方法，其具體步驟如下
步驟1、由用戶根據(jù)首幀視頻中的條帶選擇待修復(fù)條帶的顏色(白色或黑色)和 條帶類(lèi)型(水平或垂直)，根據(jù)首幀中條帶出現(xiàn)的位置劃定檢測(cè)區(qū)域，如圖4，圖9，圖 14，圖19所示。計(jì)算出檢測(cè)區(qū)域的長(zhǎng)度DetW_H(行方向上)和寬度DetW_W(列方向
上)； 步驟2、對(duì)步驟1中用戶對(duì)條帶類(lèi)型的選擇進(jìn)行判斷，若為垂直條帶則對(duì)每一幀
循環(huán)進(jìn)行步驟3處理，若為水平條帶則對(duì)每一幀循環(huán)進(jìn)行步驟4處理； 步驟3、對(duì)垂直條帶檢測(cè)，獲得條帶模板圖，之后生成下一幀的檢測(cè)區(qū)域并循環(huán)
使用本步驟對(duì)后續(xù)幀處理，其具體步驟如下
3-1、圖像預(yù)處理 讀入原始圖像，原始圖像記為RGB(i， j)，其中，i、 j分別表示圖像的行和列； 對(duì)原始圖像RGB(i， j)進(jìn)行顏色空間的轉(zhuǎn)換，轉(zhuǎn)換后圖像記為Ycbcr(i， j)，取轉(zhuǎn)換后圖 像的亮度分量Y(i， j);
3-2、區(qū)域內(nèi)垂直條帶的檢測(cè) 在步驟l中劃定區(qū)域內(nèi)對(duì)Y(i， j)進(jìn)行處理。在垂直方向上進(jìn)行高斯去噪處理， 獲得Y—G(i， j)。對(duì)步驟1中用戶對(duì)條帶顏色的選擇進(jìn)行判斷，對(duì)于黑色條帶，選擇九抽 頭中值濾波器對(duì)Y—G(i， j)進(jìn)行水平方向?yàn)V波，對(duì)于白色條帶，選擇十三抽頭濾波器，得 到中值濾波后的圖像Y—G—M(i， j)。之后作如下差運(yùn)算
對(duì)于黑色垂直條帶做差運(yùn)算Y—0(i， j) = Y_G_M(i， j)-Y_G(i， j)(l) 對(duì)于白色垂直條帶做差運(yùn)算 Y_0(i， j) = Y_G(i， j)-Y_G_M(i， j)(2) 依據(jù)亮度閾值Th—Y，按如下規(guī)則判決，獲取二值圖像信息(如圖5，圖10所 示)Y一0—BW(y) = ^ 閾值Th—Y是基于對(duì)條帶的視覺(jué)上經(jīng)驗(yàn)來(lái)設(shè)置的，對(duì)于八位亮度圖像來(lái)說(shuō)，閾值 大于4小于10，可以提取條帶位置，又不引入過(guò)多干擾。根據(jù)經(jīng)驗(yàn)，Th—Y值設(shè)置為5。
對(duì)二值圖像Yj3—BW(i， j)進(jìn)行八鄰域的連通區(qū)域搜索，獲取八連通的連通區(qū) 域，每個(gè)連通區(qū)域作為一個(gè)對(duì)象。對(duì)于搜索到的第k個(gè)對(duì)象Object—k，測(cè)量其對(duì)象水平 平均像素寬度w—k，長(zhǎng)度h—k。根據(jù)條帶顏色，使用以下準(zhǔn)則進(jìn)行判斷，提取黑色垂直條 帶、白色垂直條帶
對(duì)于黑色垂直條帶<formula>formula see original document page 9</formula>

對(duì)于白色垂直條帶<formula>formula see original document page 10</formula>
(4)、 (5)中的th_h的取值按如下方式設(shè)置
廠淘,—朋o 脂r—if>,,'
(6)其中W為序列幀的寬度。通過(guò)判決，Object—k若為l，則認(rèn)為該對(duì)象為條帶， 若為0，則認(rèn)為該對(duì)象不是條帶，在Y—CLBW(i， j)圖像中去除判決為O的對(duì)象，最后獲 得只包含條帶信息的圖像Yj3—L—BW(i， k)(如圖6，圖ll所示)；
3-3、垂直條帶檢測(cè)的后處理 對(duì)Yj3J^BW(i， j)中的條帶對(duì)象ObjecUd， 0bject_k2(kl # k2)進(jìn)行分析，在 兩對(duì)象行坐標(biāo)不重疊的情況下，對(duì)其斜率和中心列坐標(biāo)位置進(jìn)行分析，按照如下判斷規(guī) 則判斷是否歸并兩個(gè)對(duì)象，填補(bǔ)兩對(duì)象之間的間斷。 計(jì)算 A colunn = colunn_kl-colunn_k2|(7) Arow = |row_kl-row_k2| (8) 其中，column_kl和coulumn_k2為兩個(gè)對(duì)象的中心列坐標(biāo)，row_kl， row_k2為 兩個(gè)對(duì)象的中心行坐標(biāo)。 進(jìn)行如下判斷 若滿足以下兩條件(i)slope_kl*slope_k2 >= 0 ;(ii)| A column-( A row*slope_kl+ A row*slope_k2)/2|《3，
選擇歸并。 依據(jù)上下條帶的平均寬度連接上下兩條帶，在Yj3—L—BW(i， j)基礎(chǔ)上填補(bǔ)中間 的斷續(xù)；若連接之后的長(zhǎng)度小于圖像寬度的三分之一，不延伸處理，否則，則按照條帶 的斜度進(jìn)行上下延伸，使其貫穿檢測(cè)區(qū)域始終，最后得到條帶的掩模Y—BW(i， j)(如圖 7，圖12所示)。 3-4、時(shí)序上對(duì)垂直條帶區(qū)域的跟蹤 當(dāng)檢測(cè)失敗時(shí)，說(shuō)明條帶可能漂移出檢測(cè)區(qū)域，需要調(diào)整檢測(cè)區(qū)域重新檢測(cè)。 通過(guò)對(duì)條帶在時(shí)序上的漂移統(tǒng)計(jì)，發(fā)現(xiàn)條帶在相同區(qū)域持續(xù)的時(shí)間在幾十幀到數(shù)百幀不 等，做近似余弦震蕩漂移，相鄰幀之間條帶漂移最大不超過(guò)十像素列。非相鄰幀的列漂 移一般也不超過(guò)二十個(gè)像素列。為此，按圖2過(guò)程進(jìn)行檢測(cè)區(qū)域的跟蹤，跟蹤獲取新檢 測(cè)區(qū)域之后，輸出檢測(cè)模板，讀入下幀圖像，重新返回步驟3在跟蹤區(qū)域內(nèi)對(duì)下幀進(jìn)行 檢測(cè)；具體步驟如下 3-4-1、首先，設(shè)置一個(gè)幀計(jì)數(shù)器，其功能為控制持續(xù)檢測(cè)幀數(shù)，初始值為連續(xù) 檢測(cè)的最大幀數(shù)，根據(jù)對(duì)條帶在相同區(qū)域持續(xù)幀數(shù)統(tǒng)計(jì)，初始值設(shè)置為30。每處理完一幀，計(jì)數(shù)器減l。 3-4-2、對(duì)當(dāng)前條帶檢測(cè)結(jié)果進(jìn)行判斷，若檢測(cè)到條帶則轉(zhuǎn)入步驟3-4-3處理，否 則，進(jìn)行如下操作首先，判斷幀計(jì)數(shù)器是否為0，若不為0，保持檢測(cè)區(qū)域不變，生成 的新檢測(cè)區(qū)域與當(dāng)前檢測(cè)區(qū)域相同；若幀計(jì)數(shù)器為0，則生成新的檢測(cè)區(qū)域同時(shí)是把幀 計(jì)數(shù)器設(shè)置為30，新的檢測(cè)區(qū)域按如下規(guī)則生成取當(dāng)前幀中的條帶中心列位置，記為colcenter，當(dāng)前幀中條帶的斜率記為 slope,新的檢測(cè)區(qū)域的最右邊列坐標(biāo)(RColumn)則改為
RColumn = colcenter+10+|slope|*DetW_H 該坐標(biāo)值以圖像的邊界為邊界值，且當(dāng)有多個(gè)條帶時(shí)，右邊界以最右邊條帶為 計(jì)算基礎(chǔ)。新的檢測(cè)區(qū)域的最左邊的列坐標(biāo)則改為(LColumn):
LColumn = colcenter-(10+|slope|*DetW_H) 該坐標(biāo)值以圖像的邊界為邊界值，且當(dāng)有多個(gè)條帶時(shí)，左邊界以最左邊條帶為 計(jì)算基礎(chǔ)。檢測(cè)區(qū)域上下邊界由于連接步驟的存在可以保持不變。 3-4-3、調(diào)整檢測(cè)區(qū)域，左右檢測(cè)區(qū)域分別擴(kuò)展十個(gè)像素寬度，并在擴(kuò)展范圍內(nèi)
重新進(jìn)行條帶檢測(cè)，即重復(fù)步驟3-2， 3-3操作，之后對(duì)檢測(cè)結(jié)果進(jìn)行判斷，若沒(méi)有檢測(cè)
到條帶，則認(rèn)為當(dāng)前幀沒(méi)有條帶，生成的新檢測(cè)區(qū)域?yàn)閿U(kuò)展之后的區(qū)域，否則，新的檢
測(cè)區(qū)域按步驟3-4-2中新檢測(cè)區(qū)域生成規(guī)則生成，把幀計(jì)數(shù)器重新設(shè)置為30 ; 步驟4、對(duì)水平條帶進(jìn)行檢測(cè)，獲得條帶模板圖，并循環(huán)使用本步驟對(duì)后續(xù)幀進(jìn)
行處理，其具體步驟如下 4-1、圖像預(yù)處理 讀入原始圖像，原始圖像記為RGB(i， j)，其中，i、 j分別表示圖像的行和列； 對(duì)原始圖像RGB(i， j)進(jìn)行顏色空間的轉(zhuǎn)換，轉(zhuǎn)換后圖像記為Ycbcr(i， j)，取轉(zhuǎn)換后圖 像的亮度分量Y(i， j);
4-2、區(qū)域內(nèi)水平條帶檢測(cè) 在步驟l中劃定區(qū)域內(nèi)對(duì)Y(i， j)進(jìn)行處理。判斷條帶顏色，若為黑色條帶，對(duì) Y(i， j)在水平方向上進(jìn)行高斯去噪處理，獲得Y—G(i， j)。選擇五抽頭垂直中值濾波器， 獲得Y—G—M(i， j)，作如下差運(yùn)算
<formula>formula see original document page 11</formula>
若為白色條帶，采用寬度為9的水平中值濾波器對(duì)其濾波，獲得條帶亮度連續(xù) 的圖像Y—HM(i， j);采用寬度為21的垂直中值濾波器對(duì)Y—HM(i， j)去除條帶亮度，獲 得Y_VM(i， j)，作如下差運(yùn)算
<formula>formula see original document page 11</formula>
之后依據(jù)亮度閾值Th—Y，按如下規(guī)則判決，獲取二值圖像(如圖15，圖20所 示)<formula>formula see original document page 11</formula>
對(duì)于八位亮度圖像來(lái)說(shuō)，根據(jù)經(jīng)驗(yàn)，閾值設(shè)置為3，
對(duì)二值圖像Yj3—BW(i， j)進(jìn)行八鄰域的連通區(qū)域搜索，獲取八連通的連通區(qū)域，每個(gè)連通區(qū)域作為一個(gè)對(duì)象。對(duì)于搜索到的第k個(gè)對(duì)象Object—k，測(cè)量其對(duì)象垂直 方向上的像素最大偏移v—div，水平長(zhǎng)度h—k。根據(jù)先驗(yàn)信息，以下準(zhǔn)則進(jìn)行判斷，提取 水平條帶對(duì)象 對(duì)于黑色水平條帶
其中，選取thjl為圖像寬度的二十分之一。通過(guò)判決，Object—k若為l，則認(rèn)為該對(duì)象為條帶，若為0，則認(rèn)為該對(duì)象不是 條帶，在Y—CLBW(i， j)圖像中去除判決為O的對(duì)象，最后獲得只包含條帶信息的圖像Y— 0_L_BW(i， j)(如圖16，圖21所示)；
4-3、水平條帶的檢測(cè)的后處理 判斷條帶顏色，對(duì)白色條帶，采用形態(tài)學(xué)方法，設(shè)定寬度為9的水平結(jié)構(gòu)算子 對(duì)Y—0丄—BW(i， j)進(jìn)行膨脹，獲得條帶掩模圖(如圖17所示)，對(duì)黑色條帶不需處理， Y_0_L_BW(i， j)即為最后掩模圖。<formula>formula see original document page 12</formula>
根據(jù)條帶出現(xiàn)的情況， 對(duì)于白色水平條帶
th_h設(shè)置為圖像寬度的八分之
權(quán)利要求
一種視頻圖像中條帶的檢測(cè)方法，其特征在于進(jìn)行檢測(cè)之前，首先由用戶根據(jù)首幀視頻序列中出現(xiàn)的條帶特征，選擇待修復(fù)條帶的顏色和條帶類(lèi)型，并根據(jù)首幀中垂直條帶的出現(xiàn)位置劃定檢測(cè)區(qū)域，在檢測(cè)區(qū)域內(nèi)進(jìn)行基于空間亮度信息的條帶的自動(dòng)提取，并測(cè)量記錄對(duì)象形狀，位置信息；然后對(duì)提取的條帶進(jìn)行分析、合并，生成條帶的二值模板圖；再根據(jù)對(duì)當(dāng)前幀的條帶檢測(cè)結(jié)果，結(jié)合條帶漂移特征，預(yù)測(cè)下一幀條帶出現(xiàn)的區(qū)域，生成下一幀的檢測(cè)區(qū)域，根據(jù)新的檢測(cè)區(qū)域?qū)ο乱粠M(jìn)行條帶檢測(cè)，其具體步驟如下步驟1、由用戶根據(jù)視頻中的條帶選擇待修復(fù)條帶的顏色和條帶類(lèi)型，根據(jù)首幀中條帶出現(xiàn)的位置劃定檢測(cè)區(qū)域，計(jì)算出檢測(cè)區(qū)域的長(zhǎng)度和寬度；步驟2、對(duì)步驟1中用戶對(duì)條帶類(lèi)型的選擇進(jìn)行判斷，若為垂直條帶則進(jìn)行步驟3處理，若為水平條帶則進(jìn)行步驟4處理；步驟3、對(duì)垂直條帶進(jìn)行檢測(cè)，獲得檢測(cè)模板圖，之后生成下一幀的檢測(cè)區(qū)域并循環(huán)使用本步驟對(duì)后續(xù)幀處理；步驟4、對(duì)水平條帶進(jìn)行檢測(cè)，，獲得條帶模板圖，并循環(huán)使用本步驟對(duì)后續(xù)幀進(jìn)行處理。
2. 根據(jù)權(quán)力要求1所述的視頻圖像中條帶的檢測(cè)方法，其特征在于，上述步驟3中所述的對(duì)垂直條帶進(jìn)行檢測(cè)，生成下一幀的檢測(cè)區(qū)域并循環(huán)使用本步驟對(duì)后續(xù)幀處理，其具體步驟如下3-1、圖像預(yù)處理，對(duì)輸入原始圖像進(jìn)行格式轉(zhuǎn)換，獲取轉(zhuǎn)換后圖像的亮度分量；3-2、對(duì)步驟3-l獲得的亮度圖像進(jìn)行條帶檢測(cè)，首先對(duì)圖像進(jìn)行高斯去噪；對(duì)步驟1中用戶對(duì)條帶顏色的選擇進(jìn)行判斷，對(duì)于黑色條帶，選擇九抽頭中值濾波器對(duì)去噪后圖像進(jìn)行水平方向?yàn)V波，對(duì)于白色條帶，選擇十三抽頭濾波器，對(duì)去噪后圖像進(jìn)行水平方向?yàn)V波；之后作中值濾波前后的差運(yùn)算，獲得差值圖像，依據(jù)一個(gè)亮度閾值對(duì)差值圖像進(jìn)行判決，獲取包含了條帶對(duì)象的二值圖像，對(duì)二值圖像進(jìn)行八鄰域的連通區(qū)域搜索，獲取八連通的連通區(qū)域，每個(gè)連通區(qū)域作為一個(gè)對(duì)象，對(duì)于搜索到的每個(gè)對(duì)象，測(cè)量其對(duì)象水平平均像素寬度，長(zhǎng)度，對(duì)對(duì)象的長(zhǎng)度和寬度分別設(shè)置閾值，去除不滿足條帶特征條件的對(duì)象，最后獲得只包含條帶信息的圖像；3-3、檢測(cè)后處理對(duì)步驟3-2獲得的只包含條帶信息的圖像進(jìn)行分析，檢測(cè)是否存在共線對(duì)象，若不存在，則不處理，若存在，則按照一定判斷規(guī)則判斷是否歸并兩個(gè)對(duì)象，填補(bǔ)兩對(duì)象之間的間斷，使條帶檢測(cè)更完整，最后得到條帶的掩模圖；3- 4、時(shí)序上對(duì)條帶區(qū)域的跟蹤當(dāng)檢測(cè)失敗時(shí)，說(shuō)明隨著檢測(cè)幀數(shù)的增加，條帶可能漂移出檢測(cè)區(qū)域，需要按條帶漂移特性調(diào)整檢測(cè)區(qū)域，重新檢測(cè)；之后對(duì)檢測(cè)失敗的幀按照新檢測(cè)區(qū)域重新檢測(cè)，若重檢測(cè)依然沒(méi)有檢測(cè)到條帶，認(rèn)為當(dāng)前幀沒(méi)有條帶，放棄當(dāng)前幀的檢測(cè)，輸出條帶模板圖，讀入下一幀圖像數(shù)據(jù)，重新返回步驟3對(duì)下幀進(jìn)行檢測(cè)。
3. 根據(jù)權(quán)力要求1所述的視頻圖像中條帶的檢測(cè)方法，其特征在于，上述步驟4中所述的對(duì)水平條帶進(jìn)行檢測(cè)，獲得條帶模板圖，并循環(huán)使用本步驟對(duì)后續(xù)幀進(jìn)行處理，其具體步驟如下4- 1、圖像預(yù)處理對(duì)輸入圖像進(jìn)行格式轉(zhuǎn)換，獲取轉(zhuǎn)換后圖像的亮度分量；4-2、區(qū)域內(nèi)水平條帶檢測(cè)對(duì)轉(zhuǎn)換后圖像的亮度分量進(jìn)行水平條帶檢測(cè)，判斷條 帶顏色，若為黑色條帶，對(duì)亮度圖像在水平方向上進(jìn)行高斯去噪處理，選擇五抽頭垂直 中值濾波器進(jìn)行中值濾波，并對(duì)中值濾波前后圖像作差運(yùn)算，獲取差值圖像；若為白色 條帶，先采用水平中值濾波器對(duì)其濾波，后使用垂直中值濾波器濾波，并對(duì)垂直中值濾 波前后圖像作差運(yùn)算，獲取差值圖像；之后依據(jù)一個(gè)亮度閾值對(duì)差值圖像進(jìn)行判決，獲 取二值圖像；對(duì)二值圖像進(jìn)行八鄰域的連通區(qū)域搜索，獲取八連通的連通區(qū)域，每個(gè)連 通區(qū)域作為一個(gè)對(duì)象；對(duì)于搜索到的每個(gè)對(duì)象，測(cè)量其對(duì)象垂直方向上的像素最大偏移 和水平長(zhǎng)度，通過(guò)設(shè)置像素最大偏移和水平長(zhǎng)度閾值進(jìn)行判決，去除滿足條帶特征的對(duì) 象，最后獲得只包含條帶信息的圖像；4-3、水平條帶的檢測(cè)后處理再判斷條帶顏色，若為白色條帶，則采用形態(tài)學(xué)方 法，設(shè)計(jì)結(jié)構(gòu)算子對(duì)步驟4-2中獲得的只包含條帶信息的圖像進(jìn)行形態(tài)學(xué)處理，使檢測(cè)結(jié) 果完整，若為黑色條帶，則不作處理，輸出檢測(cè)模板，讀入下幀圖像數(shù)據(jù)，重新返回步 驟4對(duì)下幀進(jìn)行檢測(cè)。
4. 根據(jù)權(quán)力要求2所述的視頻圖像中條帶的檢測(cè)方法，其特征在于，上述步驟3-3所 述的檢測(cè)后再處理，其具體處理如下計(jì)算△ column = |column_kl-column_k2|△ row = |row_kl-row_k2|其中，column_kl和coulumn_k2為兩個(gè)對(duì)象的中心列坐標(biāo)，row_kl， row_k2為兩個(gè)對(duì)象的中心行坐標(biāo)，進(jìn)行如下判斷 若滿足以下兩條件(i) slope_kl*slope_k2 > = 0 ;(ii) | △ column-( A row*slope_kl+ A row*slope_k2)/2|《3， 選擇歸并，依據(jù)上下條帶的平均寬度連接上下兩條帶，在Y—CLL—BW(i， j)基礎(chǔ)上填補(bǔ)中間的斷 續(xù)；若連接之后的長(zhǎng)度小于圖像寬度的三分之一，不延伸處理，否則，則按照條帶的斜 度進(jìn)行上下延伸，使其貫穿檢測(cè)區(qū)域始終，最后得到條帶的掩模Y—BW(i， j)。
5. 根據(jù)權(quán)力要求2所述的視頻圖像中條帶的檢測(cè)方法，其特征在于，上述步驟3-4中 步驟3-4-1所述的檢測(cè)區(qū)域的跟蹤，其具體步驟如下3-4-1、首先，設(shè)置一個(gè)幀計(jì)數(shù)器，其功能為控制持續(xù)檢測(cè)幀數(shù)，初始值為連續(xù)檢測(cè) 的最大幀數(shù)，根據(jù)對(duì)條帶在相同區(qū)域持續(xù)幀數(shù)統(tǒng)計(jì)，初始值設(shè)置為30，每處理完一幀， 計(jì)數(shù)器減1 ;3-4-2、對(duì)當(dāng)前條帶檢測(cè)結(jié)果進(jìn)行判斷，若檢測(cè)到條帶則轉(zhuǎn)入步驟3-4-3處理，否則， 進(jìn)行如下操作首先，判斷幀計(jì)數(shù)器是否為O，若不為0，保持檢測(cè)區(qū)域不變，生成的新 檢測(cè)區(qū)域與當(dāng)前檢測(cè)區(qū)域相同；若幀計(jì)數(shù)器為0，則生成新的檢測(cè)區(qū)域同時(shí)把幀計(jì)數(shù)器 設(shè)置為30，新的檢測(cè)區(qū)域按如下規(guī)則生成取當(dāng)前幀中的條帶中心列位置，記為colcenter，當(dāng)前幀中條帶的斜率記為slope,新 的檢測(cè)區(qū)域的最右邊列坐標(biāo)(RColumn)則改為RColumn = colcenter+10+|slope|*DetW_H該坐標(biāo)值以圖像的邊界為邊界值，且當(dāng)有多個(gè)條帶時(shí)，右邊界以最右邊條帶為計(jì)算 基礎(chǔ)，新的檢測(cè)區(qū)域的最左邊的列坐標(biāo)則改為(LColumn): LColumn = colcenter-(10+|slope|*DetW_H)該坐標(biāo)值以圖像的邊界為邊界值，且當(dāng)有多個(gè)條帶時(shí)，左邊界以最左邊條帶為計(jì)算 基礎(chǔ)，檢測(cè)區(qū)域上下邊界由于連接步驟的存在可以保持不變；3-4-3、調(diào)整檢測(cè)區(qū)域，左右檢測(cè)區(qū)域分別擴(kuò)展十個(gè)像素寬度，并在擴(kuò)展范圍內(nèi)重新 進(jìn)行條帶檢測(cè)，即重復(fù)步驟3-2， 3-3操作，之后對(duì)檢測(cè)結(jié)果進(jìn)行判斷，若沒(méi)有檢測(cè)到條 帶，則認(rèn)為當(dāng)前幀沒(méi)有條帶，生成的新檢測(cè)區(qū)域?yàn)閿U(kuò)展之后的區(qū)域，否則，新的檢測(cè)區(qū) 域按步驟3-4-2中新檢測(cè)區(qū)域生成規(guī)則生成，把幀計(jì)數(shù)器重新設(shè)置為30。
全文摘要
本發(fā)明公開(kāi)了一種視頻圖像中條帶的檢測(cè)方法，該方法步驟如下1、用戶根據(jù)視頻序列中出現(xiàn)的條帶特征，選擇待修復(fù)條帶的顏色和條帶類(lèi)型，并根據(jù)首幀中條帶的出現(xiàn)位置劃定檢測(cè)區(qū)域；2、對(duì)用戶的選擇進(jìn)行判斷，若選擇垂直條帶，則進(jìn)入步驟3處理，若選擇水平條帶，則進(jìn)入步驟4處理；3、對(duì)垂直條帶進(jìn)行檢測(cè)，獲得條帶模板圖，之后生成下一幀的檢測(cè)區(qū)域并循環(huán)使用本步驟對(duì)后續(xù)幀處理；4、對(duì)垂直條帶進(jìn)行檢測(cè)，獲得條帶模板圖，并循環(huán)使用本步驟對(duì)后續(xù)幀進(jìn)行處理。該方法與現(xiàn)有的其他條帶檢測(cè)方法相比較的優(yōu)點(diǎn)能檢測(cè)視頻圖像中各種條帶，提高了可靠性，且用戶僅需要對(duì)存在條帶的首幀進(jìn)行交互，后續(xù)幀完全自動(dòng)的檢測(cè)，提高了檢測(cè)效率。
文檔編號(hào)H04N5/14GK101692691SQ20091019659
公開(kāi)日2010年4月7日 申請(qǐng)日期2009年9月27日 優(yōu)先權(quán)日2009年9月27日
發(fā)明者朱民耀, 王亞萍, 蔣慧鈞, 谷伊, 閔友鋼, 韓軍 申請(qǐng)人:上海大學(xué)