一種基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明主要涉及數(shù)字圖像修復(fù)技術(shù)，具體涉及一種基于尺度優(yōu)化的數(shù)字圖像修復(fù) 方法。
【背景技術(shù)】
[0002] 圖像修復(fù)指的是對(duì)數(shù)字圖像缺失部分進(jìn)行復(fù)原的過(guò)程。數(shù)字圖像修復(fù)是數(shù)字圖像 處理領(lǐng)域中的一個(gè)重要的分支，并且也是當(dāng)前計(jì)算機(jī)視覺(jué)領(lǐng)域中的研宄熱點(diǎn)。數(shù)字圖像修 復(fù)技術(shù)有著很廣泛的應(yīng)用背景，比如圖像的劃痕修復(fù)、文本覆蓋的修復(fù)以及圖像中目標(biāo)移 除后的修復(fù)等等。
[0003] 近年來(lái)在數(shù)字圖像修復(fù)領(lǐng)域人們提出了很多修復(fù)方法，總體來(lái)講，可以分為兩大 類，第一類方法是基于傳播和擴(kuò)散思想的修復(fù)方法。該方法主要通過(guò)含參模型或者偏微分 方程引入平滑優(yōu)先級(jí)，將局部結(jié)構(gòu)信息由內(nèi)而外地傳播，達(dá)到對(duì)數(shù)字圖像進(jìn)行修復(fù)的目的。 這種修復(fù)方法一般適用于完成對(duì)直線、曲線以及小區(qū)域的修復(fù)。第二類方法是基于紋理合 成的修復(fù)方法。該方法主要通過(guò)獲取圖像統(tǒng)計(jì)信息以及自身相似度的方式對(duì)圖像中的缺失 部分進(jìn)行紋理合成，從而達(dá)到對(duì)數(shù)字圖像進(jìn)行修復(fù)的目的。其中一個(gè)被人們所熟知的方法 是基于樣例的圖像修復(fù)技術(shù)。隨著對(duì)稀疏表示的研宄和不斷發(fā)展，一種基于稀疏度的圖像 修復(fù)技術(shù)被提出。基于樣例和基于稀疏度的圖像修復(fù)技術(shù)對(duì)于待修復(fù)圖像中較大缺失區(qū)域 有著較好的修復(fù)效果。
[0004] 在現(xiàn)有技術(shù)中，基于樣例的數(shù)字圖像修復(fù)方法主要是先通過(guò)計(jì)算待修復(fù)區(qū)域邊界 像素點(diǎn)的優(yōu)先權(quán)函數(shù)，確定優(yōu)先修復(fù)的位置，然后通過(guò)全局計(jì)算目標(biāo)塊與匹配塊的相似度 來(lái)確定最優(yōu)匹配塊對(duì)目標(biāo)塊進(jìn)行修復(fù)。在這個(gè)過(guò)程中優(yōu)先權(quán)函數(shù)是否合理，直接影響優(yōu)先 修復(fù)位置，進(jìn)而影響修復(fù)效果。在全局搜索匹配塊的時(shí)候并沒(méi)有考慮幾何空間優(yōu)先特性的 信息，從而會(huì)導(dǎo)致選取到不合適的匹配塊。另外，實(shí)驗(yàn)表明，不同尺度的匹配塊同樣影響修 復(fù)效果，固定尺度或者無(wú)根據(jù)的自適應(yīng)尺度并不能改善修復(fù)效果。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于提出一種基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法，以解決現(xiàn)有技術(shù) 中存在的缺陷。在本發(fā)明中，用戶不用任何干預(yù)，系統(tǒng)將自動(dòng)對(duì)待修復(fù)圖像進(jìn)行識(shí)別和修 復(fù)。通過(guò)改進(jìn)優(yōu)先權(quán)函數(shù)，考慮幾何空間優(yōu)先等信息，同時(shí)利用平均相似度確定最優(yōu)尺度的 方式，極大地改善了數(shù)字圖像的修復(fù)效果。實(shí)驗(yàn)表明，該方法具有很好的修復(fù)效果。
[0006] 本發(fā)明的技術(shù)方案如下：
[0007] (1)檢測(cè)待修復(fù)區(qū)域邊界點(diǎn)，計(jì)算邊界像素點(diǎn)的優(yōu)先權(quán)函數(shù)，確定優(yōu)先修復(fù)位置： 自動(dòng)識(shí)別數(shù)字圖像中的待修復(fù)區(qū)域并且檢測(cè)待修復(fù)區(qū)域的邊界；在優(yōu)先權(quán)模型中引入局部 結(jié)構(gòu)乘子，計(jì)算每一個(gè)邊界像素點(diǎn)的優(yōu)先權(quán)函數(shù)。選取優(yōu)先權(quán)函數(shù)值最大的邊界像素點(diǎn)作 為優(yōu)先修復(fù)位置。
[0008] (2)匹配模型引入距離因素，全局搜索匹配塊：計(jì)算目標(biāo)塊和匹配塊的像素值差 異之和作為兩個(gè)塊的相似度，同時(shí)計(jì)算目標(biāo)塊和匹配塊的歐式距離；全局搜索并記錄所有 的相似度和距離。
[0009] (3)計(jì)算得到各個(gè)尺度下的最優(yōu)匹配塊：在某個(gè)候選尺度下全局搜索，結(jié)合相似 度和距離因素，選取該尺度下最優(yōu)匹配塊。
[0010] (4)計(jì)算各尺度下最優(yōu)匹配塊與對(duì)應(yīng)目標(biāo)塊的平均相似度，選取尺度最優(yōu)的匹配 塊對(duì)圖像進(jìn)行修復(fù)：計(jì)算每個(gè)最優(yōu)匹配塊的平均像素差異作為平均相似度，取平均相似度 最小的匹配塊作為最終的尺度最優(yōu)匹配塊對(duì)圖像進(jìn)行修復(fù)。
[0011] (5)重復(fù)步驟（1)-(4)直到整幅圖像修復(fù)完成。
【附圖說(shuō)明】
[0012] 圖1為本發(fā)明中算法流程圖
[0013] 圖2為算法核心模塊示意圖
[0014] 圖3為符號(hào)示意圖
[0015] 圖4為修復(fù)效果對(duì)比圖1 ;圖中（a)為待修復(fù)圖像；(b)為Criminisi算法修復(fù)效 果；(c)為本發(fā)明修復(fù)效果
[0016] 圖5為修復(fù)效果對(duì)比圖2 ;圖中（a)為待修復(fù)圖像；(b)為Criminisi算法修復(fù)效 果；(c)為本發(fā)明修復(fù)效果
【具體實(shí)施方式】
[0017] 如圖2所示，基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法的步驟如下：
[0018] 步驟1:檢測(cè)待修復(fù)區(qū)域邊界點(diǎn)，計(jì)算邊界像素點(diǎn)的優(yōu)先權(quán)函數(shù)，確定優(yōu)先修復(fù)位 置。
[0019] 輸入待修復(fù)圖像，自動(dòng)識(shí)別圖像中的待修復(fù)區(qū)域以及待修復(fù)區(qū)域邊界。針對(duì)待修 復(fù)區(qū)域邊界像素點(diǎn)計(jì)算其優(yōu)先權(quán)，在所有邊界像素點(diǎn)中，選取優(yōu)先權(quán)最大的邊界像素點(diǎn)作 為優(yōu)先修復(fù)位置。
[0020] 引入局部結(jié)構(gòu)乘子的優(yōu)先權(quán)模型。
[0021] 在對(duì)數(shù)字圖像的修復(fù)過(guò)程中應(yīng)多考慮結(jié)構(gòu)信息，這樣修復(fù)后才能盡可能保證圖像 中結(jié)構(gòu)信息完整。本發(fā)明中的優(yōu)先權(quán)模型中引入局部結(jié)構(gòu)乘子G(p)以包含更多結(jié)構(gòu)信息。
[0022] 結(jié)合圖3符號(hào)示意圖所示，優(yōu)先權(quán)函數(shù)公式如下： P(P) = G(p) · C(p) (1) 其中，G(p)為包含梯度信息的局部結(jié)構(gòu)乘子，C(p)為置信度項(xiàng)，其計(jì)算公式分別為：
【主權(quán)項(xiàng)】
1. 一種基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法，其特征包括以下步驟： (1) 檢測(cè)待修復(fù)區(qū)域邊界點(diǎn)，計(jì)算邊界像素點(diǎn)的優(yōu)先權(quán)函數(shù)，確定優(yōu)先修復(fù)位置：自動(dòng) 識(shí)別數(shù)字圖像中的待修復(fù)區(qū)域并且檢測(cè)待修復(fù)區(qū)域的邊界；在優(yōu)先權(quán)模型中引入局部結(jié)構(gòu) 乘子，計(jì)算每一個(gè)邊界像素點(diǎn)的優(yōu)先權(quán)函數(shù)；選取優(yōu)先權(quán)函數(shù)值最大的邊界像素點(diǎn)作為優(yōu) 先修復(fù)位置； (2) 匹配模型引入距離因素，全局搜索匹配塊：計(jì)算目標(biāo)塊和匹配塊的像素值差異之 和作為兩個(gè)塊的相似度，同時(shí)計(jì)算目標(biāo)塊和匹配塊的歐式距離；全局搜索并記錄所有的相 似度和距離； (3) 計(jì)算得到各個(gè)尺度下的最優(yōu)匹配塊：分別在每個(gè)候選尺度下全局搜索，結(jié)合相似 度和距離因素，選取各尺度下最優(yōu)匹配塊； (4) 計(jì)算各尺度下最優(yōu)匹配塊與對(duì)應(yīng)目標(biāo)塊的平均相似度，選取尺度最優(yōu)的匹配塊對(duì) 圖像進(jìn)行修復(fù)：計(jì)算每個(gè)尺度下最優(yōu)匹配塊與目標(biāo)塊的平均像素差異作為平均相似度，取 平均相似度最小的匹配塊作為最終的尺度最優(yōu)匹配塊對(duì)圖像進(jìn)行修復(fù)； (5) 重復(fù)步驟（1)-(4)直到整幅圖像修復(fù)完成。
2. 根據(jù)權(quán)利要求1所述的一種基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法，其特征在于步驟 (1) 所述計(jì)算邊界像素點(diǎn)的優(yōu)先權(quán)函數(shù)，邊界像素點(diǎn)P處的優(yōu)先權(quán)函數(shù)如下： P(P) = G(p) · C(p) (1) 其中，G(p)為包含梯度信息的局部結(jié)構(gòu)乘子，C(p)為置信度項(xiàng)，其計(jì)算公式分別為：
上述公式中，I表示待修復(fù)圖像，Ω表示圖像待修復(fù)區(qū)域，q表示圖像已知區(qū)域中的像 素點(diǎn)，1]%表示以點(diǎn)P為中心的塊；在優(yōu)先權(quán)函數(shù)中引入局部結(jié)構(gòu)乘子，該乘子包含更多梯 度信息，即結(jié)構(gòu)特征，從而可以保證優(yōu)先修復(fù)處于結(jié)構(gòu)特征位置的待修復(fù)區(qū)域，起到優(yōu)化修 復(fù)的作用。
3. 根據(jù)權(quán)利要求1所述的一種基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法，其特征在于步驟 (2) 所述匹配模型引入距離因素，在匹配過(guò)程中，計(jì)算目標(biāo)塊和匹配塊的各像素值差異之和 作為兩個(gè)塊的相似度；同時(shí)計(jì)算目標(biāo)塊和匹配塊的歐式距離；在全局搜索過(guò)程中分別記錄 相似度和歐式距離兩項(xiàng)數(shù)據(jù)。
4. 根據(jù)權(quán)利要求1所述的一種基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法，其特征在于步驟 (3) 所述在各個(gè)尺度下結(jié)合相似度和距離因素計(jì)算各尺度下的最優(yōu)匹配塊，其具體過(guò)程如 下： 針對(duì)每個(gè)尺度分別得到最優(yōu)匹配塊； (31) 根據(jù)步驟（2)過(guò)程中記錄的相似度信息，將所有的候選匹配塊按照相似度從小到 大排序； (32) 根據(jù)步驟⑵過(guò)程中記錄的距離信息，將所有候選匹配塊的復(fù)制版本按照距離從 小到大排序； (33) 根據(jù)上述兩個(gè)步驟得到的兩個(gè)序列再次運(yùn)用Border Voting方法綜合排序，綜合 考慮相似度信息和距離信息，得到最終的候選匹配塊排序序列； (34) 選取最終匹配塊排序序列中的第一個(gè)匹配塊作為對(duì)應(yīng)尺度下的最優(yōu)匹配塊。
5.根據(jù)權(quán)力要求1所述的一種基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法，其特征在于步驟 (4)所述計(jì)算平均相似度選取尺度最優(yōu)的匹配塊對(duì)圖像進(jìn)行修復(fù)，根據(jù)步驟（3)所得到的 各個(gè)候選尺度下的最優(yōu)匹配塊，根據(jù)公式（4)計(jì)算各自的平均像素差異作為平均相似度：
(4) 其中為目標(biāo)塊p和匹配塊q在尺度i下的相似度，PU為尺度i下塊的面積； minarg (avgSSD (i, q)) (5) 根據(jù)公式（5)確定最優(yōu)尺度i和匹配塊位置q，最后我們用匹配塊％覆蓋目標(biāo)塊<， 從而達(dá)到圖像修復(fù)的目的。
【專利摘要】本發(fā)明公開(kāi)了一種基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法。本發(fā)明首先考慮修復(fù)位置的優(yōu)先權(quán)計(jì)算，提出了基于結(jié)構(gòu)乘子的優(yōu)先權(quán)計(jì)算模型，充分考慮了優(yōu)先權(quán)計(jì)算中的結(jié)構(gòu)信息因素；在修復(fù)塊匹配的過(guò)程中，充分考慮幾何空間信息，將距離因素引入到匹配模型中；最后，通過(guò)選取最優(yōu)尺度的匹配塊對(duì)圖像進(jìn)行修復(fù)。本發(fā)明不需要人為干預(yù)，可以自動(dòng)完成圖像修復(fù)任務(wù)。實(shí)驗(yàn)表明，本發(fā)明可以很好地改善傳統(tǒng)方法中優(yōu)先權(quán)的不足，充分保持圖像的空間幾何結(jié)構(gòu)，極大地改善了圖像修復(fù)效果。
【IPC分類】G06T5-00
【公開(kāi)號(hào)】CN104680493
【申請(qǐng)?zhí)枴緾N201510109392
【發(fā)明人】陳志華, 江雷, 袁玉波, 張靜, 應(yīng)方立, 周李奇翰
【申請(qǐng)人】華東理工大學(xué)
【公開(kāi)日】2015年6月3日
【申請(qǐng)日】2015年3月12日