專利名稱：基于模塊的圖像修復(fù)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理和計(jì)算機(jī)視覺領(lǐng)域，涉及一種圖像修復(fù)方法，具體地說，涉及 一種基于模塊的能夠同時(shí)有效保持圖像中幾何特征和紋理信息的圖像修復(fù)方法。
背景技術(shù)：
隨著數(shù)字圖像處理技術(shù)的發(fā)展，填充圖像中某些區(qū)域的缺失信息，或移除圖像中 某些區(qū)域僅保留需要的信息，使圖像滿足人眼視覺系統(tǒng)要求的工作成為研究熱點(diǎn)。這種修 補(bǔ)缺失信息或移除目標(biāo)區(qū)域的圖像處理技術(shù)稱為圖像修復(fù)。圖像中信息缺失的區(qū)域或待移 除的區(qū)域統(tǒng)稱為圖像中的待修復(fù)目標(biāo)區(qū)域，圖像中的其它區(qū)域稱為信息已知區(qū)域。Bertalmio提出一種基于信息傳播的圖像修復(fù)模型(參考Bertalmio M. 2000. Imageinpainting, ACM SIGGRAPH，00，pp. 417-424，July 2000)。模型利用偏微分方程 (PartialDifferential Equation, PDE)的各向異性擴(kuò)散特性沿邊緣方向進(jìn)行不同強(qiáng)度的 擴(kuò)散以修復(fù)待修復(fù)目標(biāo)區(qū)域，Chan等在此研究基礎(chǔ)上提出了總體變分(Total Variation, TV)修復(fù)模型(參考Chan Τ. 2001. The digital TV filter and nonlinear denoising, IEEE Trans. Image Process. , 10(2) :231-241,2001)以及CDD(Curvature Driven Diffusion)模 型(參考 Chan Τ. 2001. Non-textureinpainting by curvature-driven diffusions (CDD), J. Visual Comm. Image Representation, 12(4) :4736-449.)。PDE修復(fù)模型基于圖像幾何特 征通過計(jì)算像素間灰度差值各向異性將信息已知區(qū)域的信息向待修復(fù)的目標(biāo)區(qū)域內(nèi)擴(kuò)散， 從而實(shí)現(xiàn)圖像修復(fù)。PDE修復(fù)模型的處理是基于圖像中的已知幾何特征進(jìn)行的，因此PDE修 復(fù)模型具有很好的幾何特征保持性能。但PDE修復(fù)模型僅基于局部的像素值計(jì)算擴(kuò)散方向 及擴(kuò)散強(qiáng)度，因此PDE修復(fù)模型不能保持圖像中的紋理特征；PDE修復(fù)模型只適合修復(fù)包含 較小目標(biāo)區(qū)域的圖像，當(dāng)待修復(fù)的目標(biāo)區(qū)域較大時(shí)，區(qū)域中心的信息很難由已知區(qū)域的信 息推測(cè)，因此PDE修復(fù)模型的修復(fù)結(jié)果會(huì)產(chǎn)生很大的失真。Efros提出一類基于模塊的紋理分析模型(參考Efros A. 1999. Texture Synthesis byNon-parametric Sampling, IEEE Int. Conf. Computer Vision),與 PDE 修復(fù) 模型相比，基于模塊的紋理分析模型通過將模塊中的已知信息復(fù)制到待修復(fù)目標(biāo)區(qū)域，復(fù) 原待修復(fù)的圖像。這種處理方法以“模塊”為基本處理單元，可以保持圖像中的基本紋理特 征，同時(shí)可以修復(fù)包含較大缺失信息區(qū)域的圖像。Bornard等首先將基于模塊的方法應(yīng)用 于自然場景圖像修復(fù)(參考 BornardR. 2002. Missing data correction in still images and image sequences, ACM ht. Conf. Multimedia)，并證明基于模塊的模型對(duì)自然場景圖 像的修復(fù)效果優(yōu)于PDE模型?；谀K的模型的修復(fù)過程為1.確定目標(biāo)區(qū)域手動(dòng)選擇待修復(fù)目標(biāo)區(qū)域，區(qū)域內(nèi)全部像素點(diǎn)的值視為未知；2.修復(fù)優(yōu)先級(jí)按照從左至右、從上到下的順序處理待修復(fù)目標(biāo)區(qū)域內(nèi)的各模 塊；3.確定模塊將待修復(fù)目標(biāo)區(qū)域左上角的第一個(gè)像素點(diǎn)對(duì)應(yīng)的固定大小的模塊 (例如模塊大小設(shè)為3U)確定為當(dāng)前的待修復(fù)模塊。待修復(fù)目標(biāo)區(qū)域邊界位置的像素點(diǎn)對(duì)應(yīng)的模塊中，包含部分圖像已知信息，而待修復(fù)目標(biāo)區(qū)域內(nèi)部的模塊在未修復(fù)時(shí)不包含任 何已知信息；4.模塊匹配在圖像信息已知區(qū)域內(nèi)搜索與當(dāng)前待修復(fù)模塊中包含的已知信息 最為匹配的模塊；5.模塊填充將最為匹配的模塊填充入待修復(fù)目標(biāo)區(qū)域的當(dāng)前待修復(fù)模塊的位 置，完成對(duì)該模塊的修復(fù)，此時(shí)更新待修復(fù)目標(biāo)區(qū)域內(nèi)的像素值；6.循環(huán)執(zhí)行步驟3-5，至待修復(fù)目標(biāo)區(qū)域內(nèi)全部像素點(diǎn)值為已知時(shí)，修復(fù)過程結(jié)束?；谀K的模型在模塊的搜索、匹配以及填充過程中，根據(jù)像素值進(jìn)行操作并不 受圖像已知幾何特征的約束，因此其處理結(jié)果并不能很好的保持圖像中的幾何特征。為了解決基于模塊的模型無法保持圖像中的幾何特征的問題，Criminisi等提 出通過約束模塊修復(fù)優(yōu)先級(jí)的方式將信息已知區(qū)域中的幾何特征擴(kuò)展入待修復(fù)目標(biāo)區(qū)域 (參考CriminisiA. 2004. Region filling and object removal by exemplar-based image inpainting. IEEE Trans. Image Process. 13(9) :1200-1212)。Criminisi 的方法執(zhí)行的修 復(fù)步驟與傳統(tǒng)的基于模塊模型相同，只是在步驟2中，不再按照從左至右、從上到下的順序 處理待修復(fù)模塊，而是對(duì)各個(gè)待修復(fù)模塊賦予了不同的修復(fù)優(yōu)先級(jí)，根據(jù)優(yōu)先級(jí)確定待修 復(fù)模塊的修復(fù)順序。優(yōu)先級(jí)由待修復(fù)模塊中包含的已知信息量(稱為置信度約束)和包 含的幾何特征強(qiáng)度(稱為數(shù)據(jù)項(xiàng)約束)決定。Criminisi的方法改進(jìn)了基于模塊模型的修 復(fù)效果，但是由于優(yōu)先級(jí)的計(jì)算方式較簡單；數(shù)據(jù)項(xiàng)約束的計(jì)算方式僅考慮信息已知區(qū)域 內(nèi)像素沿等照度線方向的幾何特征，導(dǎo)致沿等照度線方向的待修復(fù)模塊都具有很高的優(yōu)先 級(jí)，因此，在處理復(fù)雜幾何圖像時(shí)修復(fù)結(jié)果并不理想。此外，雖然相比PDE模型，基于模塊的模型能較好的保持圖像中的紋理特征，但由 于待修復(fù)模塊的大小固定，并不能完整的復(fù)原不同類型的紋理特征例如當(dāng)紋理特征的重 復(fù)周期較大時(shí)，較小的模塊并不能真實(shí)復(fù)原圖像信息。另外，由于圖像的修復(fù)是通過填充模塊實(shí)現(xiàn)的，修復(fù)后的圖像中模塊間的接縫是 可見的，修復(fù)結(jié)果并不真實(shí)自然。

發(fā)明內(nèi)容
為克服以上已有技術(shù)的不足之處，本發(fā)明提出一種基于模塊的能夠有效保持圖像 中幾何特征和紋理信息的修復(fù)方法。該方法根據(jù)待修復(fù)目標(biāo)區(qū)域的紋理特征自適應(yīng)調(diào)整待 修復(fù)模塊的大小，在亞像素級(jí)精度下利用PDE的幾何特性約束待修復(fù)模塊的修復(fù)優(yōu)先級(jí)， 同時(shí)采用散度約束下的重疊區(qū)域圖像融合技術(shù)對(duì)填充的模塊進(jìn)行減弱接縫效應(yīng)的處理，使 得對(duì)包含紋理信息和幾何特征的圖像修復(fù)結(jié)果更加真實(shí)自然。本發(fā)明提供一種基于模塊的圖像修復(fù)方法，該方法包括以下步驟步驟1 選擇待修復(fù)目標(biāo)區(qū)域；步驟2 計(jì)算待修復(fù)目標(biāo)區(qū)域內(nèi)各像素點(diǎn)對(duì)應(yīng)的具有預(yù)定大小的待修復(fù)模塊的紋 理特征統(tǒng)計(jì)值，根據(jù)計(jì)算得到的紋理特征統(tǒng)計(jì)值調(diào)整各待修復(fù)模塊的大小；步驟3 利用置信度約束和數(shù)據(jù)項(xiàng)約束計(jì)算各待修復(fù)模塊的優(yōu)先級(jí)；步驟4:在圖像已知區(qū)域內(nèi)尋找與具有最高優(yōu)先級(jí)的待修復(fù)模塊最相似的模塊，將其中全部像素點(diǎn)填充入該待修復(fù)模塊中，同時(shí)更新本次填充的待修復(fù)模塊內(nèi)被填充像素 的置信度約束；步驟5 采用散度約束下的重疊區(qū)域圖像融合減弱本次填充的待修復(fù)模塊填充后 的模塊接縫效應(yīng)；對(duì)填充后待修復(fù)目標(biāo)區(qū)域重復(fù)步驟2至步驟5，直至待修復(fù)目標(biāo)區(qū)域內(nèi)所有像素 被填滿。優(yōu)選地，所述紋理特征統(tǒng)計(jì)值計(jì)算公式如下
權(quán)利要求
1.一種基于模塊的圖像修復(fù)方法，其特征在于，包括以下步驟 步驟1:選擇待修復(fù)目標(biāo)區(qū)域；步驟2 計(jì)算待修復(fù)目標(biāo)區(qū)域內(nèi)各像素點(diǎn)對(duì)應(yīng)的具有預(yù)定大小的待修復(fù)模塊的紋理特 征統(tǒng)計(jì)值，根據(jù)計(jì)算得到的紋理特征統(tǒng)計(jì)值調(diào)整各待修復(fù)模塊的大小； 步驟3 利用置信度約束和數(shù)據(jù)項(xiàng)約束計(jì)算各待修復(fù)模塊的優(yōu)先級(jí)； 步驟4:在圖像已知區(qū)域內(nèi)尋找與具有最高優(yōu)先級(jí)的待修復(fù)模塊最相似的模塊，將其 中全部像素點(diǎn)填充入該待修復(fù)模塊中，同時(shí)更新本次填充的待修復(fù)模塊內(nèi)被填充像素的置 信度約束；步驟5 采用散度約束下的重疊區(qū)域圖像融合減弱本次填充的待修復(fù)模塊填充后的模 塊接縫效應(yīng)；對(duì)填充后待修復(fù)目標(biāo)區(qū)域重復(fù)步驟2至步驟5，直至待修復(fù)目標(biāo)區(qū)域內(nèi)所有像素被填滿。
2.根據(jù)權(quán)利要求1所述的基于模塊的圖像修復(fù)方法，其特征在于，所述紋理特征統(tǒng)計(jì) 值計(jì)算公式如下
3.根據(jù)權(quán)利要求1所述的基于模塊的圖像修復(fù)方法，其特征在于，所述根據(jù)計(jì)算得到 的紋理特征統(tǒng)計(jì)值調(diào)整各待修復(fù)模塊的大小的步驟包括預(yù)先設(shè)定η個(gè)不同大小的紋理特征統(tǒng)計(jì)閾值λ工<......< λ n，以及與該η個(gè)閾值大小相應(yīng)的η+1個(gè)模塊大小巧<......<Ξ +1，將每個(gè)待修復(fù)模塊的紋理特征統(tǒng)計(jì)值與閾值進(jìn)行比較，根據(jù)比較結(jié)果將待修復(fù)模塊大小調(diào)整為相應(yīng)的模塊大小。
4.根據(jù)權(quán)利要求1所述的基于模塊的圖像修復(fù)方法，其特征在于，所述數(shù)據(jù)項(xiàng)約束是 通過在亞像素級(jí)精度內(nèi)計(jì)算待修復(fù)模塊邊緣位置像素4鄰域的半點(diǎn)差分平均梯度值得到 的。
5.根據(jù)權(quán)利要求1所述的基于模塊的圖像修復(fù)方法，其特征在于，所述在圖像已知區(qū) 域內(nèi)尋找與具有最高優(yōu)先級(jí)的待修復(fù)模塊最相似的模塊進(jìn)一步包括，使用相似度函數(shù)進(jìn)行 模塊間的相似度匹配，該相似度函數(shù)為
6.根據(jù)權(quán)利要求1所述的基于模塊的圖像修復(fù)方法，其特征在于，所述采用散度約束下的重疊區(qū)域圖像融合減弱本次填充的待修復(fù)模塊填充后的模塊接縫效應(yīng)進(jìn)一步包括，對(duì)已填充完畢的待修復(fù)模塊在已知信息約束下進(jìn)行插值操作，其計(jì)算公式為
全文摘要
本發(fā)明涉及一種基于模塊的圖像修復(fù)方法，該方法包括選擇待修復(fù)目標(biāo)區(qū)域；計(jì)算待修復(fù)目標(biāo)區(qū)域內(nèi)各像素點(diǎn)對(duì)應(yīng)的具有預(yù)定大小的待修復(fù)模塊的紋理特征統(tǒng)計(jì)值，根據(jù)計(jì)算得到的紋理特征統(tǒng)計(jì)值調(diào)整各待修復(fù)模塊的大??；利用置信度約束和數(shù)據(jù)項(xiàng)約束計(jì)算各待修復(fù)模塊的優(yōu)先級(jí)；在圖像已知區(qū)域內(nèi)尋找與具有最高優(yōu)先級(jí)的待修復(fù)模塊最相似的模塊，將其中全部像素點(diǎn)填充入該待修復(fù)模塊中，同時(shí)更新本次填充的待修復(fù)模塊內(nèi)被填充像素的置信度約束；采用散度約束下的重疊區(qū)域圖像融合減弱本次填充的待修復(fù)模塊填充后的模塊接縫效應(yīng)；對(duì)填充后待修復(fù)目標(biāo)區(qū)域重復(fù)上述步驟，直至待修復(fù)目標(biāo)區(qū)域內(nèi)所有像素被填滿。
文檔編號(hào)G06T5/00GK102142132SQ201110080418
公開日2011年8月3日 申請(qǐng)日期2011年3月31日 優(yōu)先權(quán)日2011年3月31日
發(fā)明者仵冀穎, 安高云, 阮秋琦 申請(qǐng)人:北京交通大學(xué)