基于預(yù)測梯度的圖像插值方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于預(yù)測梯度的圖像插值方法及系統(tǒng)。
【背景技術(shù)】
[0002] 圖像的空間分辨率是人類視覺系統(tǒng)觀察數(shù)字圖像的一個(gè)重要特性，分辨率越高， 人眼就能獲得越多的圖像細(xì)節(jié)信息。在許多領(lǐng)域都需要高分辨率的數(shù)字圖像，比如:人臉識 另IJ，軍事雷達(dá)圖像處理，生物醫(yī)學(xué)切片分析以及數(shù)字高清電視的應(yīng)用等?？偟膩碚f，提高圖 像分辨率的方式有兩種，一種是對圖像的采集設(shè)備進(jìn)行升級，另一種就是利用軟件的方式 來提高已采集到的數(shù)字圖像的空間分辨率。雖然在過去的幾十年中，隨著數(shù)碼攝像機(jī)傳感 器設(shè)備的發(fā)展，便攜式攝像機(jī)或者是掃描器都已經(jīng)取得了較大的進(jìn)步，但是利用軟件的方 式提高數(shù)字圖像的分辨率仍然是必不可少的。利用軟件的方法提高圖像分辨率可以被視為 一種實(shí)用且經(jīng)濟(jì)的解決方法，也可以作為硬件系統(tǒng)的一個(gè)附加設(shè)備。
[0003] 圖像插值是圖像處理過程中一個(gè)重要的步驟，它是圖像數(shù)據(jù)再生的一個(gè)過程，目 的在于將一幅低分辨率(LR)圖像通過增加像素的方式變成一幅高分辨率(HR)圖，這樣能夠 保存自然圖像的特性。
[0004] 在過去的幾十年中，基于時(shí)間復(fù)雜度和重建質(zhì)量的權(quán)衡，各種各樣的圖像插值方 法相繼被提出。這些插值方法可以被粗略地分為兩大類:一種是傳統(tǒng)的線性插值方法，另一 種就是后來改進(jìn)的非線性插值方法。這兩類方法的主要不同點(diǎn)在于，傳統(tǒng)的線性插值方法 對于整幅圖像采用不變的卷積內(nèi)核而不考慮圖像的結(jié)構(gòu)信息;但是改進(jìn)的非線性插值方法 會對圖像的不同部分采用不同的插值策略，比如對人類視覺系統(tǒng)不太重要的背景部分，采 用簡單的線性插值方法處理，而對人類視覺系統(tǒng)有重要影響的邊緣部分則需要根據(jù)邊緣的 方向，強(qiáng)弱等采用不同的插值策略。
[0005] 傳統(tǒng)的線性插值方法包括最近鄰插值，雙線性插值，雙三次插值以及其他一些稍 作改進(jìn)的方法。這些方法的時(shí)間復(fù)雜度較低，在處理圖片時(shí)消耗的CPU時(shí)間也相對比較少。 但是，這類方法只是簡單地從數(shù)學(xué)的角度增加圖像的像素?cái)?shù)，并不能適應(yīng)不同場景下的像 素結(jié)構(gòu)。最后，插值得到的圖像顯得比較模糊即使在較平坦的區(qū)域或者背景部分可以取得 較好的插值結(jié)果。所以，為改善插值圖像的視覺質(zhì)量，一些改進(jìn)的非線性插值方法應(yīng)運(yùn)而 生。
[0006] 改進(jìn)的非線性插值方法，主要包括基于協(xié)方差，小波，邊緣信息以及機(jī)器學(xué)習(xí)理論 的插值方法。由于協(xié)方差矩陣能夠顯示局部邊緣的方向，所以基于協(xié)方差的圖像插值方法 成為近幾年圖像插值的熱點(diǎn)，其中最具代表性的就是Li和Orchard提出的NEDI (New Edge-Directed Interpolation)方法。 它的主要思想是首先假設(shè)每個(gè)點(diǎn)的梯度值是它周圍四個(gè) 對角線上鄰近點(diǎn)的加權(quán)平均，那么這四個(gè)加權(quán)系數(shù)就反映了圖像的局部結(jié)構(gòu)特征。然后在 低分辨圖像上利用一個(gè)8 X 8的窗口來計(jì)算協(xié)方差系數(shù)，通過計(jì)算得到的協(xié)方差系數(shù)來確定 每個(gè)像素周圍的加權(quán)系數(shù)從而進(jìn)行插值。后來，Zhang和Wu提出了另一種基于協(xié)方差系數(shù)的 方法叫做SAI(soft-decision interpolation)。這種方法與NEDI相比主要的不同點(diǎn)在于它 同時(shí)計(jì)算一個(gè)像素塊的插值權(quán)重，這樣的話，在每一步，它都可以對一個(gè)像素塊進(jìn)行插值。 通過這種像素塊估計(jì)和分段自回歸模型，SAI插值方法相比較NEDI方法可以獲得更好的插 值結(jié)果，但同時(shí)也需要消耗更多的計(jì)算時(shí)間。
[0007] 由于小波具有多分辨率分析功能和逐漸局部細(xì)化等性質(zhì)，基于小波的插值方法也 相繼被提出。正交小波分解后各層子帶之間具有相似性，若能準(zhǔn)確地得到圖像的高頻細(xì)節(jié)， 利用重構(gòu)的理論，就可以得到分辨率高一倍的圖像。傳統(tǒng)的基于小波的插值方法是對原圖 像進(jìn)行小波分解，利用低分辨率圖像的高頻信息預(yù)測高分辨率圖像的高頻信息，然后通過 某種方法估計(jì)高分辨率圖像中的低頻信息，就可以重構(gòu)出高分辨率的圖像。Carey和Chuang 等人利用圖像邊緣在各個(gè)尺度中的衰減系數(shù)來構(gòu)造最佳的小波，然后根據(jù)已有的小波分解 信息對圖像進(jìn)行插值。小波基的選擇在基于小波的圖像插值算法中占據(jù)舉足輕重的地位。
[0008] 基于邊緣信息的圖像插值方法的核心思想是對非邊緣像素點(diǎn)采用無方向的傳統(tǒng) 的插值方法進(jìn)行插值，而對于邊緣像素點(diǎn)則采用有方向的插值方法。其中效果比較好的方 法就是We i和Ma提出的基于圖像邊緣對比度的插值方法CGI ( contras t-gui ded interpolation)的方法。該方法先對整幅圖像采用傳統(tǒng)插值方法(如雙三次插值），然后在 插值完成的高分辨率圖像上采用邊緣檢測算子檢測出邊緣，對于檢測出來的邊緣點(diǎn)根據(jù)像 素點(diǎn)所處的邊緣方向采用有方向的插值方法(如一維三次樣條插值)進(jìn)行更新。而本發(fā)明提 出的基于預(yù)測-校驗(yàn)的圖像插值方法也是一種基于圖像邊緣的插值方法。
[0009] 近些年，隨著機(jī)器學(xué)習(xí)理論的快速發(fā)展及其在各個(gè)領(lǐng)域的廣泛應(yīng)用，基于機(jī)器學(xué) 習(xí)的圖像插值方法越來越受到關(guān)注。其中較為代表性的就是基于稀疏編碼的圖像插值方 法。這種方法首先需要訓(xùn)練一個(gè)插值用的字典，然后根據(jù)原始圖像圖片與字典中參考圖片 的稀疏關(guān)系來獲得高分辨率的插值圖像。但是，這種方法與訓(xùn)練得到的字典數(shù)據(jù)庫高度相 關(guān)，并且不同內(nèi)容的圖片插值得到的結(jié)果也會不一樣。結(jié)果，當(dāng)原始圖像圖片不是自相似的 或者在字典數(shù)據(jù)庫中找不到相似的圖像塊時(shí)，插值得到的圖片的質(zhì)量會不太好，并且會產(chǎn) 生一些人工偽跡。
[0010] 如果數(shù)據(jù)庫很大的話，離線訓(xùn)練過程和圖像插值在線搜索過程將會消耗很長時(shí) 間，而且所需要的電腦內(nèi)存也是需要解決的一個(gè)問題。

【發(fā)明內(nèi)容】

[0011] 針對上述問題，本發(fā)明提供一種更好的保留了邊緣，紋理信息的基于預(yù)測梯度的 圖像插值方法及系統(tǒng)。
[0012] 為達(dá)到上述目的，本發(fā)明基于預(yù)測梯度的圖像插值方法，包括：
[0013] 判斷待插值像素是否為邊緣像素，
[0014] 若該待插值像素為非邊緣像素，則采用線性插值方法進(jìn)行插值得到高分辨率圖 像；
[0015] 若該待插值像素為邊緣像素，則采用非線性插值方法進(jìn)行插值得到高分辨率圖 像。
[0016] 進(jìn)一步地，判斷待插值像素是否為邊緣像素具體包括：
[0017]計(jì)算低分辨率圖像上所有像素的梯度值，梯度值計(jì)算公式為：
[0018] ，％指像素（i，j)上的梯度值，％是1^圖像的方向?qū)?shù)，θ 代表所計(jì)算梯度的方向，So是Sobel邊緣檢測器，*是卷積操作；
[0019] 采用預(yù)測方法選擇待插值像素周圍的像素 h(i，j)的梯度值預(yù)測該待插值像素的 梯度值公式表不如下：後'》ψ為一種預(yù)測方法；
[0020] 計(jì)算該待插值像素正交方向上的梯度差值，將該梯度插值與預(yù)定的閾值進(jìn)行比 較，
[0021] 若大于或等于所述閾值，則該待插值像素為邊緣像素；
[0022] 若小于所述閾值，則該待插值像素為非邊緣像素。
[0023]進(jìn)一步地，所述預(yù)測方法包括:雙三次預(yù)測、基于預(yù)插值圖片的預(yù)測。
[0024] 進(jìn)一步地，所述的非線性插值方法具體包括：
[0025] 對邊緣像素進(jìn)行擴(kuò)散，并計(jì)算擴(kuò)散后的梯度；
[0026] 基于低分辨圖像LR的像素 h(i，j)，對處理高分辨圖像對角上的像素進(jìn)行插值，其 中，
[0027] ~> f, IA= Ih(i-1, j-1),Ib = Ih(i+1, j+1) ,Ic = Ih(i~3, j-3)l^l 及 lD=Ih(i+3，j+3)。
[0028] 若 U135(i，j)-U45(i，j)>T，IA=Ih(i+l，j+l)，lB = Ih(i_l，j_l)，Ic = Ih(i+3, j+3)以 及 lD=Ih(i-3，j-3);
[0029] 基于低分辨率圖像的h(i，j)以及處理圖像插值得到的對角像素 Ih(2i，2j)，對余 下的水平和垂直方向上的像素進(jìn)行處理，插值公式下如所示：
[0030] Ι〇= ω (Ia+Ib) + (1_w )(Ic+Id)
[0031 ]若 ~ ^.身.1》> 玄，Ia= Ih(i_l，j)，Ib= Ih(i+1，j)，Ic= Ih(i_3，j)以及Id = Ih(i+3，j)〇
[0032]若％逛難齋，iA=ih(i，j-i)，iB=ih(i，j+i)，i c=ih(i，j-3)以及iD = Ih(i，j+3);
[0033] 其中，Ia，Ib，Ic和Id是已知像素，Ici是待插像素，ω是可調(diào)參數(shù)，T是一個(gè)閾值。
[0034] 進(jìn)一步地，ω 為 17/40，Τ = 0·08。
[0035] 為達(dá)到上述目的，本發(fā)明基于預(yù)測梯度的彩色圖像插值方法，包括：
[0036] 將彩色圖像從RGB顏色空間轉(zhuǎn)到Lab顏色空間；
[0037] 分離亮度分量L、色度分量a，b;
[0038] 色度分量a，采用線性插值方法進(jìn)行插值處理；
[0039] 亮度分量L采用權(quán)利要求1至5任一所述的基于預(yù)測梯度的圖像插值方法進(jìn)行插 值。
[0040] 進(jìn)一步地，彩色圖像從RGB顏色空間轉(zhuǎn)到Lab顏色空間，具體包括： ] 將原始的rgb色彩分量通過Gamma矯正為RGB色彩分量
[0042] R = gamma(r)，G = gamma(g)，B = gamma(b) (r，g，be [0 · 255])
[0043]
[0044] 將RGB模式轉(zhuǎn)換為XYZ模式
[0045] [X，Y，Z]=[M]*[R，G，B]
[0046] 其中，Μ是一個(gè)3X3的矩陣；
[0047] 將ΧΥΖ模式轉(zhuǎn)換為Lab模式
[0048]
[0049]
[0050] 其中，f是矯正函數(shù)，H