專利名稱：電影劃痕損傷的檢測(cè)修復(fù)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種圖像處理技術(shù)領(lǐng)域的方法，具體是一種電影劃痕損傷的檢測(cè) 修復(fù)方法。
背景技術(shù)：
電影膠片是一種容易老化的化學(xué)物質(zhì)，并且由于不恰當(dāng)?shù)谋４?、播放和拷貝，使?許多舊影片或損壞或丟失。劃痕是電影膠片中經(jīng)常出現(xiàn)的損傷，形成原因主要有兩個(gè)一是 視頻在拍攝過程中顆粒對(duì)膠片產(chǎn)生了劃傷，二是視頻在播放過程中膠片與攝像機(jī)摩擦產(chǎn)生 了損傷。因此，劃痕通常呈線狀分布在電影膠片中，一般為3 10個(gè)像素寬，長短不一，或 為白色或?yàn)楹谏?，所覆蓋區(qū)域圖像信息被嚴(yán)重破壞。研究針對(duì)舊電影中劃痕損傷的檢測(cè)修 復(fù)方法，是該領(lǐng)域的重要工作。劃痕檢測(cè)是劃痕修復(fù)之前的一個(gè)重要步驟，檢測(cè)方法的精確度直接影響到劃痕修 復(fù)的效果。經(jīng)典的劃痕檢測(cè)方法有基于劃痕亮度模型的檢測(cè)方法，如Brimi模型，可以較為 精確地檢測(cè)到垂直劃痕在圖像水平方向上的位置，但是由于沒有考慮到劃痕的形態(tài)特性， 因此無法獲得垂直劃痕在垂直方向上的長度和具體位置等細(xì)節(jié)信息。另一些方法利用了劃 痕的邊緣特性進(jìn)行檢測(cè)，雖然可以獲得劃痕的細(xì)節(jié)信息，但由于作用于整幅圖像并且缺少 定量的分析，主觀性較大，不可避免地會(huì)檢出許多同樣具有邊緣特性的干擾物體，產(chǎn)生誤檢 和漏檢現(xiàn)象。利用劃痕檢測(cè)所得到的劃痕掩模可進(jìn)行劃痕修復(fù)。大多數(shù)劃痕修復(fù)方法都采用基 于一定模型的插值的方法，多項(xiàng)式插值假設(shè)圖像缺失部分與其周圍像素滿足多項(xiàng)式模型， 選擇多項(xiàng)式階數(shù)進(jìn)行擬合，從而得到合適的模型系數(shù)。多項(xiàng)式插值計(jì)算簡單，可有效恢復(fù)圖 像低頻信息，但是很難恢復(fù)圖像高頻信息，無法保留圖像紋理細(xì)節(jié)。隨機(jī)模型如自回歸(AR) 模型和馬爾科夫隨機(jī)(MRF)模型能更好地?cái)M合缺失部分像素，尤其是恢復(fù)高頻信息，但是 計(jì)算量大，實(shí)現(xiàn)復(fù)雜。2002年，BaHester和Bertalmio提出了“修補(bǔ)”的概念，用遞歸的方 法對(duì)圖像缺失區(qū)域從外圍向內(nèi)部進(jìn)行修補(bǔ)，直至填滿整個(gè)區(qū)域，這種方法適用于圖像中含 有較小缺失信息的情況，并不適于劃痕修復(fù)。

發(fā)明內(nèi)容
本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的上述不足，提供一種電影劃痕損傷的檢測(cè)修復(fù)方法， 能夠有效地修復(fù)劃痕損傷，相對(duì)于傳統(tǒng)的檢測(cè)和修復(fù)方法有更好的效果和較低的方法復(fù)雜 度，有較廣闊的應(yīng)用前景。本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明包括劃痕的檢測(cè)和劃痕的修復(fù)兩個(gè)部 分。其中，劃痕的檢測(cè)包括劃痕位置定位和劃痕細(xì)節(jié)獲取兩個(gè)模塊，先利用垂直劃痕 的空域亮度特征模型定位劃痕在水平方向上的位置，再利用劃痕的形態(tài)學(xué)特征獲取這些劃 痕在垂直方向上的細(xì)節(jié)信息，劃痕位置定位和劃痕細(xì)節(jié)獲取這兩個(gè)模塊之間相輔相成，前者對(duì)于劃痕水平位置的預(yù)定位縮小了后者的作用范圍從而去除了后者檢出的大量干擾噪 聲，而后者對(duì)于前者進(jìn)行了細(xì)化從而提取出了垂直劃痕的長度及垂直方向上的位置信息；劃痕檢測(cè)的具體步驟如下1)對(duì)圖像A進(jìn)行垂直投影，計(jì)算圖像矩陣每一列的均值，得到一個(gè)一維水平向量， 做水平方向上的均值濾波，得到圖像的亮度截面cross (j)，這一步放大了劃痕余弦衰減的 特性；2)選取cross (j)的所有極值點(diǎn)，根據(jù)劃痕特性，對(duì)得到的極值點(diǎn)進(jìn)行寬度約束、 亮度約束和韋伯能量約束，從而篩選出符合劃痕特性的極值點(diǎn)；3)根據(jù)求出的劃痕水平位置以及劃痕的寬度，獲得劃痕的初級(jí)掩模；4)對(duì)原始圖像A做直方圖均衡，加強(qiáng)圖像中劃痕與背景圖像的對(duì)比度，用canny算 子對(duì)圖像進(jìn)行邊緣檢測(cè)，并做形態(tài)學(xué)膨脹操作，沿水平軸方向增加劃痕特性，提取出圖像的 邊緣骨架，記作D ；5)分別用結(jié)構(gòu)算子By Be, Bh對(duì)D進(jìn)行開操作后記作& (D),(D)^⑷)，將三者 進(jìn)行OR操作后得M = ζΒ (D) I ζΒκ (D) I ζΒΗ (D)，將D和M相減，獲得包含噪聲在內(nèi)的劃痕細(xì) 節(jié)圖；6)將步驟3)中得到的劃痕的初級(jí)掩模與步驟5)中得到的劃痕細(xì)節(jié)圖有效結(jié)合， 并做后處理，獲得劃痕的最終掩模。所述的劃痕余弦特性模型用公式表示為
P ‘2ρ ρωρ式中i為圖像χ軸，j為圖像y軸。rs(j)是圖像第j列劃痕的起始位置，(j)為 圖像第j列劃痕的終端位置，bp為劃痕最小亮度，P1代表余弦曲線的極值點(diǎn)位置，kp為劃痕 的衰減系數(shù)，ωρ為劃痕寬度的一半，sgn為階躍函數(shù)。步驟6)中所述的將劃痕初級(jí)掩模和劃痕細(xì)節(jié)圖有效結(jié)合，即對(duì)兩圖進(jìn)行與操作， 利用劃痕的初級(jí)掩模約束帶有噪聲的劃痕圖，去除劃痕位置周圍的干擾噪聲，同時(shí)利用帶 噪聲的劃痕細(xì)節(jié)圖提取初級(jí)掩模中的劃痕細(xì)節(jié)信息，得到Maskprevi。us，接著進(jìn)行后處理，得 到劃痕最終掩模。本發(fā)明的劃痕檢測(cè)部分的方法與現(xiàn)有方法相比，優(yōu)點(diǎn)在于精確度高，劃痕位置定 位和劃痕細(xì)節(jié)獲取這兩個(gè)模塊之間相輔相成，前者對(duì)于劃痕水平位置的預(yù)定位縮小了后者 的作用范圍從而去除了后者檢出的大量干擾噪聲，而后者對(duì)于前者進(jìn)行了細(xì)化從而提取出 了垂直劃痕的長度及垂直方向上的位置信息；計(jì)算復(fù)雜度低，劃痕位置定位的方法復(fù)雜度 只有O(N) (N為待檢測(cè)圖像列數(shù))，遠(yuǎn)小于通過神經(jīng)網(wǎng)絡(luò)預(yù)篩選劃痕的方法和小波域進(jìn)行劃 痕檢測(cè)的方法。本發(fā)明的劃痕修復(fù)部分將現(xiàn)有的誤碼掩蓋方法-基于塊的雙邊濾波(BBF)方法擴(kuò) 展到時(shí)域中，提出了基于時(shí)空域的3D-BBF劃痕修復(fù)方法，具體步驟為首先判斷劃痕類型，如果劃痕在前后幀同一位置附近重復(fù)出現(xiàn)，劃痕類型為I類 劃痕，選擇二維的BBF方法，反之，如果劃痕只在當(dāng)前幀存在，劃痕類型為II類劃痕，對(duì)圖像 序列進(jìn)行鏡頭邊界分割，再采用時(shí)空域3D-BBF方法。
所述的時(shí)空域3D-BBF方法將圖像分成許多子塊，若含有劃痕信息的待修復(fù)子塊 在當(dāng)前幀的中心點(diǎn)位置為(X，y)，大小為mXn，則搜索區(qū)域在前后幀的中心點(diǎn)位置也均為 (X，y)，大小為ρ X q，(P > m，q > η)，ρ和q的大小根據(jù)需要選定，通常為^iX 2η。區(qū)域大 意味著方法復(fù)雜度的增加，但同時(shí)對(duì)于前后幀偏移程度的容忍度提高，方法從待修復(fù)子塊 與搜索域修補(bǔ)子塊之間的地理距離和像素值之差兩方面進(jìn)行評(píng)估，進(jìn)而計(jì)算出合適的修補(bǔ) 子塊權(quán)值，經(jīng)過3D-BBF方法進(jìn)行劃痕修復(fù)后，劃痕區(qū)域的像素值為當(dāng)前幀及前后幀搜索區(qū) 域內(nèi)所有大小為mXn的子塊的加權(quán)平均之和。本發(fā)明的劃痕修復(fù)部分的方法，與現(xiàn)有方法相比，優(yōu)點(diǎn)在于修復(fù)效果好，3D-BBF 在時(shí)空域處理圖像，既利用了圖像在一幀內(nèi)的自相似性，又利用了圖像幀間的相關(guān)性，它在 修復(fù)連續(xù)幾幀存在的劃痕時(shí)，效果比BBF略好，但在修復(fù)只在當(dāng)前幀存在的劃痕時(shí)，效果顯 著提高；計(jì)算復(fù)雜度低，大多數(shù)基于時(shí)域的修復(fù)方法需要用到運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償，大大增 加了方法復(fù)雜度，而3D-BBF方法不需要對(duì)劃痕進(jìn)行運(yùn)動(dòng)補(bǔ)償。與現(xiàn)有技術(shù)相比，本發(fā)明的劃痕檢測(cè)修復(fù)系統(tǒng)的有益效果是修復(fù)過程完全自動(dòng) 化，改善了舊電影劃痕的修復(fù)效果，降低了人力成本和時(shí)間成本，可以廣泛應(yīng)用于各種視頻 序列的劃痕修復(fù)中。


圖1是本發(fā)明示意圖。
圖2是劃痕檢測(cè)流程示意圖。
圖3是劃痕修復(fù)流程示意圖。
圖4是劃痕修復(fù)方法原理示意圖。
圖5是經(jīng)典的劃痕測(cè)試圖。
圖6是圖5修復(fù)后的圖像。
圖7是含有細(xì)微劃痕的電影圖像幀。
圖8是圖7修復(fù)后的圖像。
圖9是含有明顯劃痕的電影圖像幀。
圖10是圖9修復(fù)后的圖像。
具體實(shí)施例方式下面對(duì)本發(fā)明的實(shí)施例作詳細(xì)說明，本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行 實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施 例。實(shí)施例如圖1所示，輸入原始圖像序列，經(jīng)過劃痕檢測(cè)得到劃痕掩模，再經(jīng)過劃痕修復(fù)， 得到修復(fù)后的圖像序列。如圖2所示，劃痕檢測(cè)包括以下步驟1)對(duì)圖像A(如圖5所示)進(jìn)行垂直投影，即計(jì)算圖像矩陣每一列的均值，得到 一個(gè)一維水平向量sig(j)，對(duì)sig(j)做水平方向上的均值濾波，得到圖像的亮度截面 cross (j)(如圖6所示)，這一步放大了劃痕余弦衰減的特性，公式如下
權(quán)利要求
1.一種電影劃痕損傷的檢測(cè)修復(fù)方法，包括劃痕的檢測(cè)和劃痕的修復(fù)兩個(gè)部分，其特 征在于1)劃痕的檢測(cè)劃痕的檢測(cè)過程分為劃痕位置定位和劃痕細(xì)節(jié)獲取兩個(gè)步驟先利用 垂直劃痕的空域亮度特征模型定位劃痕在水平方向上的位置，再利用劃痕的形態(tài)學(xué)特征獲 取這些劃痕在垂直方向上的細(xì)節(jié)信息，劃痕位置定位和劃痕細(xì)節(jié)獲取這兩個(gè)步驟之間相輔 相成，前者對(duì)于劃痕水平位置的預(yù)定位縮小了后者的作用范圍從而去除了后者檢出的大量 干擾噪聲，而后者對(duì)于前者進(jìn)行了細(xì)化從而提取出了垂直劃痕的長度及垂直方向上的位置 fn息；2)劃痕的修復(fù)將誤碼掩蓋方法-基于塊的雙邊濾波方法擴(kuò)展到時(shí)域中，并應(yīng)用于劃 痕修復(fù)中，提出了基于時(shí)空域的3D-BBF劃痕修復(fù)方法，3D-BBF方法在時(shí)空域處理圖像，既 利用了圖像在一幀內(nèi)的自相似性，又利用了圖像幀間的相關(guān)性，由于一些劃痕在電影序列 幾幀內(nèi)連續(xù)存在，另一些劃痕只在當(dāng)前幀存在，3D-BBF方法在修復(fù)前者時(shí)，效果比BBF略 好，但在修復(fù)后者時(shí)，效果顯著提高。
2.根據(jù)權(quán)利要求1所述的電影劃痕損傷的檢測(cè)修復(fù)方法，其特征在于，對(duì)于1)中所述 的劃痕檢測(cè)方法，分為以下幾個(gè)步驟1)對(duì)圖像A進(jìn)行垂直投影，計(jì)算圖像矩陣每一列的均值，得到一個(gè)一維水平向量，做 水平方向上的均值濾波，得到圖像的亮度截面cross (j)，這一步放大了劃痕余弦衰減的特 性；2)選取cross(j)的所有極值點(diǎn)，根據(jù)劃痕特性，對(duì)得到的極值點(diǎn)進(jìn)行寬度約束、亮度 約束和韋伯能量約束，從而篩選出符合劃痕特性的極值點(diǎn)；3)根據(jù)求出的劃痕水平位置以及劃痕的寬度，獲得劃痕的初級(jí)掩模；4)對(duì)原始圖像A做直方圖均衡，加強(qiáng)圖像中劃痕與背景圖像的對(duì)比度，用canny算子對(duì) 圖像進(jìn)行邊緣檢測(cè)，并做形態(tài)學(xué)膨脹操作，沿水平軸方向增加劃痕特性，提取出圖像的邊緣 骨架，記作D ；5)分別用結(jié)構(gòu)算子ByBe, Bh對(duì)D進(jìn)行開操作后記作&t (D),ξΒκ (D),ξ Η⑷)，將三者進(jìn)行 OR操作后得M = ζΒι (D) I ζΒκ (D) I ζβΗ (D)，將D和M相減，獲得包含噪聲在內(nèi)的劃痕細(xì)節(jié)圖；6)將步驟3)中得到的劃痕的初級(jí)掩模與步驟5)中得到的劃痕細(xì)節(jié)圖有效結(jié)合，并做 后處理，獲得劃痕的最終掩模。
3.根據(jù)權(quán)利要求2所述的電影劃痕損傷的檢測(cè)修復(fù)方法，其特征在于，步驟1)中所述 的劃痕余弦模型，用如下公式表示J>2ρρωρ式中i為圖像χ軸，j為圖像y軸，rs(j)是圖像第j列劃痕的起始位置，re(j)為圖像 第j列劃痕的終端位置，bp為劃痕最小亮度，P1代表余弦曲線的極值點(diǎn)位置，kp為劃痕的衰 減系數(shù)，ωρ為劃痕寬度的一半，sgn為階躍函數(shù)。
4.根據(jù)權(quán)利要求2所述的電影劃痕損傷的檢測(cè)修復(fù)方法，其特征在于，步驟6)中所述 的將劃痕的初級(jí)掩模和劃痕細(xì)節(jié)圖有效結(jié)合，即對(duì)兩圖進(jìn)行與操作，利用劃痕的初級(jí)掩模 約束帶有噪聲的劃痕圖，去除劃痕位置周圍的干擾噪聲，同時(shí)利用帶噪聲的劃痕細(xì)節(jié)圖提取初級(jí)掩模中的劃痕細(xì)節(jié)信息，得到Maskp-接著進(jìn)行后處理，具體實(shí)現(xiàn)方法為首先進(jìn)行垂直方向和水平方向上的膨脹操作，再根據(jù)圖的大小將圖水平分成N段，對(duì) 于劃痕區(qū)域，設(shè)每一段的縱向起始值為top，終值為bottom，用數(shù)組T記錄每一段上的像素 之和，并設(shè)定閾值為threshold
5.根據(jù)權(quán)利要求1所述的電影劃痕損傷的檢測(cè)修復(fù)方法，其特征在于，2)中所述的 3D-BBF劃痕修復(fù)方法，具體包括傳統(tǒng)的BBF方法是一種誤碼掩蓋方法，利用了圖像的自相 似性質(zhì)，具有較好的效果，考慮到劃痕是圖像中的一部分缺失信息，且有些劃痕在幾幀內(nèi)連 續(xù)存在，有些劃痕只在當(dāng)前幀存在，因此，將BBF方法擴(kuò)展到時(shí)域中，提出了 3D-BBF方法，構(gòu) 建了一套完整的劃痕修復(fù)系統(tǒng)首先判斷劃痕類型，如果劃痕在前后幀同一位置附近重復(fù) 出現(xiàn)，劃痕類型為I類劃痕，選擇二維的BBF方法，反之，如果劃痕只在當(dāng)前幀存在，劃痕類 型為II類劃痕，對(duì)圖像序列進(jìn)行鏡頭邊界分割，再采用時(shí)空域3D-BBF方法。
6.根據(jù)權(quán)利要求5所述的電影劃痕損傷的檢測(cè)修復(fù)方法，其特征在于，3D-BBF實(shí)現(xiàn)的 具體步驟將圖像分成許多子塊，若含有劃痕信息的待修復(fù)子塊在當(dāng)前幀的中心點(diǎn)位置為(x，y)， 大小為mXn，則搜索區(qū)域在前后幀的中心點(diǎn)位置也均為(X，y)，大小為pXq，(ρ > m, q> η)，p和q的大小根據(jù)需要選定，通常為anX2n，區(qū)域大意味著方法復(fù)雜度的增加，但同時(shí)對(duì) 于前后幀偏移程度的容忍度提高，方法從待修復(fù)子塊與搜索域修補(bǔ)子塊之間的地理距離和 像素值之差兩方面進(jìn)行評(píng)估，進(jìn)而計(jì)算出合適的修補(bǔ)子塊權(quán)值，經(jīng)過3D-BBF方法進(jìn)行劃痕 修復(fù)后，劃痕區(qū)域的像素值為當(dāng)前幀及前后幀搜索區(qū)域內(nèi)所有大小為mXn的子塊的加權(quán) 平均之和，公式表示如下Bh'=^r Wll^-HHK -β'。Ι)β'。ID^IK-MIMKWi IeN10UNiiUN12Wi = ΣΜ||Α;ο-/ο||)5(||5λο -5φ歷。+c(|、-AlMlh -β^ +4\k2 -φ(\\β,2 -及2|)}leNIQ。Nn。NI2氏/為當(dāng)前幀被修復(fù)的子塊，A。，Bll,及2分別為連續(xù)三幀內(nèi)用于修復(fù)的子塊，c(| |k。, !,2-1^,2 I)為I IVu-kul I (子塊距離，即子塊內(nèi)各點(diǎn)距離絕對(duì)值之和)的方差為GdW 高斯函數(shù)，s(||~,2 -風(fēng).,,IMI5v2 - ^c211 (像素值之差，即子塊內(nèi)各點(diǎn)像素值之差的絕對(duì)值 之和)的方差為σ ^的高斯函數(shù)，A^12為像素塊工在當(dāng)前幀及前后幀的鄰域。
全文摘要
一種圖像處理技術(shù)領(lǐng)域的電影劃痕損傷的檢測(cè)修復(fù)方法，包括劃痕檢測(cè)和劃痕修復(fù)兩部分。劃痕的檢測(cè)過程分為劃痕位置定位和劃痕細(xì)節(jié)獲取兩個(gè)模塊先利用垂直劃痕的空域亮度特征模型定位劃痕在水平方向上的位置，再利用劃痕的形態(tài)學(xué)特征獲取這些劃痕在垂直方向上的細(xì)節(jié)信息。劃痕的修復(fù)在時(shí)空域處理圖像，結(jié)合前后幀的信息對(duì)圖像缺失部分進(jìn)行修復(fù)，既利用了圖像在一幀內(nèi)的自相似性，又利用了圖像幀間的相關(guān)性。本發(fā)明系統(tǒng)修復(fù)過程完全自動(dòng)化，改善了舊電影劃痕的修復(fù)效果，降低了人力成本和時(shí)間成本，可以廣泛應(yīng)用于各種視頻序列的劃痕修復(fù)中。
文檔編號(hào)G06T5/00GK102129670SQ201110046698
公開日2011年7月20日 申請(qǐng)日期2011年2月25日 優(yōu)先權(quán)日2011年2月25日
發(fā)明者于沛, 周智圓, 莊曉宇, 楊小康, 陳立 申請(qǐng)人:上海交通大學(xué)