基于視網(wǎng)膜模型的圖像質(zhì)量評價(jià)方法
【專利摘要】本發(fā)明公開一種基于視網(wǎng)膜模型的圖像質(zhì)量評價(jià)方法，該方法公開的視網(wǎng)膜模型就基于視網(wǎng)膜將盡量減少視覺冗余但保留有用信號的假設(shè)；該視網(wǎng)膜模型包含一個(gè)光學(xué)調(diào)制傳輸模塊和一個(gè)自適應(yīng)低通濾波模塊，將模型當(dāng)做一個(gè)黑盒子，利用信息論方法設(shè)計(jì)自適應(yīng)濾波器；對于全參圖像質(zhì)量評價(jià)方法，原圖和失真圖先通過該視網(wǎng)膜濾波器，然后再計(jì)算兩幅圖濾波后的區(qū)別，從而評價(jià)失真圖的質(zhì)量；該視網(wǎng)膜模型可以作為大多數(shù)圖像質(zhì)量評價(jià)方法的預(yù)處理，如基于視網(wǎng)膜模型的均方誤差或者峰值信噪比，雖然非常簡單，但是在很多圖像質(zhì)量評價(jià)庫上可以達(dá)到領(lǐng)先水平的性能。
【專利說明】基于視網(wǎng)膜模型的圖像質(zhì)量評價(jià)方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及的是一種圖像處理【技術(shù)領(lǐng)域】的方法，具體是一種基于視網(wǎng)膜模型的圖像質(zhì)量評價(jià)方法。

【背景技術(shù)】
[0002]圖像質(zhì)量評價(jià)從來就不是獨(dú)立于視覺感知之外的任務(wù)，視覺的終極任務(wù)是目標(biāo)識別并幫助動物在生存環(huán)境中感知物體和事件。所以圖像質(zhì)量評價(jià)可以從人眼視覺系統(tǒng)的研究中獲取靈感，但是目前圖像質(zhì)量評價(jià)的工程型方法卻旨在對人眼視覺系統(tǒng)的已知功能部件進(jìn)行精確的建模。這類工程型質(zhì)量評價(jià)方法的精確度和魯棒性并不是十分理想，這可能是由于視覺感知是視覺大腦超出我們理解范圍的一種高度動態(tài)的過程。目前圖像質(zhì)量評價(jià)研究的一個(gè)發(fā)展趨勢就是將人眼視覺系統(tǒng)當(dāng)做一個(gè)黑盒子，并尋找一些簡單而有效的計(jì)算原則來模擬視覺系統(tǒng)。這類方法的優(yōu)勢在于它們通?？梢岳靡恍┯袝r(shí)候比較復(fù)雜的信號處理技術(shù)而不需要擔(dān)心人眼視覺系統(tǒng)的具體功能結(jié)構(gòu)的限制。
[0003]在視覺感知的研究當(dāng)中，信息論為構(gòu)想各種視覺信息獲取、傳輸和理解的計(jì)算模型提供了一個(gè)總體框架。自然圖像中普遍存在的各種物體形態(tài)學(xué)上的一致性表明自然圖像有大量的冗余，所以可以從信息論的角度，通過視覺信號的冗余度壓縮或者有效表示來研究視覺感知。從一些開創(chuàng)性工作(如F.Attneave在《Psychological Review))期刊第61 卷第 3 期第 183 頁至第 193 頁發(fā)表的論文“Some informat1nal aspects of visualpercept1n”)開始,壓縮感知成為一個(gè)熱門的研究領(lǐng)域,該理論成功地解釋了視覺感知領(lǐng)域的諸多方面。在研究有效的圖像質(zhì)量評價(jià)方法時(shí)，基于信息論的視覺感知計(jì)算策略同樣會有重要作用，冗余度壓縮即為本發(fā)明方法的指導(dǎo)原則，更具體地，該方法將關(guān)注視覺感知的第一個(gè)階段，即視網(wǎng)膜的視覺信號獲取階段。
[0004]根據(jù)自然圖像統(tǒng)計(jì)的一些開創(chuàng)性工作(如E.P.Simoncelli和B.A.0lshausen在《Annual Review of Neuroscience))期刊第24卷第1193頁至第1216頁發(fā)表的論文“Natural image statistics and neural r印resentat1n”)，自然圖像只是所有像素排列的一個(gè)小子集，這類像素排列的空間功率譜通常服從冪次定律。自然圖像中包含大量的冗余，很自然地可以想到視網(wǎng)膜的一個(gè)重要功能就是去除輸入圖像的冗余信息，而這恰恰是利用信息論研究壓縮感知的初始步驟。上述冗余信息去除及去相關(guān)可以通過圖像濾波來實(shí)現(xiàn)，所以視網(wǎng)膜模型的凈效應(yīng)就是一個(gè)利用全局自適應(yīng)濾波器對圖像從低通到帶通的濾波過程。作為一種全參質(zhì)量評價(jià)方法，基于視網(wǎng)膜模型的圖像質(zhì)量評價(jià)方法首先將原圖和失真圖進(jìn)行濾波，然后再計(jì)算兩幅輸出圖片的均方誤差，也就是說該方法直接衡量視網(wǎng)膜之后的大腦皮層從輸入圖像獲得的信號。由于該方法的凸性，使得全局濾波加上均方誤差計(jì)算同樣可以作為其他各種編碼及恢復(fù)任務(wù)的目標(biāo)函數(shù)。
[0005]視網(wǎng)膜神經(jīng)節(jié)細(xì)胞通常表現(xiàn)為一個(gè)線性濾波器，假如把視網(wǎng)膜當(dāng)做一個(gè)黑盒子，Atick 和 Redlich 的研究工作(Atick 和 Redlich 在《Neural Computat1n))期刊第 24 卷第 196 頁至 210 頁發(fā)表的論文“What does the retina know about natural scenes ?，，)表明:對于自然圖像輸入來說，系統(tǒng)輸出的幅度譜已經(jīng)被白化到峰值靈敏度頻率。但是視覺系統(tǒng)不會將圖像幅度譜白化到分辨率的極限，因?yàn)橐曈X系統(tǒng)通常存在固有的光子和生化噪音。過度白化將會顯著放大噪聲，而且完全的白化圖像信號和噪聲在視覺系統(tǒng)的后期不可分割，所以視網(wǎng)膜模型必須考慮噪聲的影響，并對噪聲進(jìn)行合理的控制。


【發(fā)明內(nèi)容】

[0006]針對現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于視網(wǎng)膜模型的圖像質(zhì)量評價(jià)方法，該方法是一種全參圖像質(zhì)量評價(jià)方法，可用于圖像質(zhì)量評價(jià)。
[0007]視覺信號的信息率通常遠(yuǎn)超人眼視覺系統(tǒng)的處理能力，所以人的視覺系統(tǒng)會有非常有效的數(shù)據(jù)簡化過程，而視網(wǎng)膜模型基于視網(wǎng)膜將減少視覺信號但盡量保留有用信號的假設(shè)；該視網(wǎng)膜模型包含一個(gè)光學(xué)調(diào)制傳輸模塊和一個(gè)自適應(yīng)低通濾波模塊，將該模型當(dāng)做一個(gè)黑盒子，從而利用信息論方法設(shè)計(jì)自適應(yīng)濾波器；作為一種全參圖像質(zhì)量評價(jià)方法，原圖和失真圖首先通過該視網(wǎng)膜濾波器，然后再計(jì)算兩幅圖的某種“距離”，從而進(jìn)行圖像質(zhì)量評價(jià)；該視網(wǎng)膜模型通?？梢宰鳛榇蠖鄶?shù)圖像質(zhì)量評價(jià)方法的預(yù)處理，如基于視網(wǎng)膜模型的均方誤差或者峰值信噪比，雖然非常簡單，但是在很多圖像質(zhì)量評價(jià)庫上可以達(dá)到領(lǐng)先水平的性能。
[0008]本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明包括以下步驟:
[0009]第一步、構(gòu)建基于視網(wǎng)膜的計(jì)算模型，將基于視網(wǎng)膜的計(jì)算模型分割為串聯(lián)的兩個(gè)子模塊，分別為:光學(xué)調(diào)制傳輸模塊和自適應(yīng)低通濾波模塊；光學(xué)調(diào)制傳輸模塊模擬人眼的光學(xué)結(jié)構(gòu)；自適應(yīng)低通濾波模塊進(jìn)行噪聲抑制和冗余度壓縮；輸入信號IJf)通過基于視網(wǎng)膜的計(jì)算模型后的輸出信號可以通過下式計(jì)算:I2(f)=L(f).(M(f).(1。^)+%^))+&的)，其中皿江)和L(f)分別表示表示光學(xué)調(diào)制傳輸模塊和自適應(yīng)低通濾波模塊的傳遞函數(shù)，NJf)和^⑴分別表示光學(xué)調(diào)制傳輸模塊和自適應(yīng)低通濾波模塊的噪聲，f表示信號的頻率；
[0010]第二步、利用信息論方法設(shè)計(jì)自適應(yīng)低通濾波模塊中的低通濾波器L進(jìn)行噪聲抑制，自適應(yīng)低通濾波模塊的輸入I1及輸出I2將用于質(zhì)量評價(jià)，低通濾波器L的設(shè)計(jì)原則就是盡量抑制該模塊的輸入信號I1的噪聲，而不損失過多的有用信號；低通濾波器L的設(shè)計(jì)最終依靠輸入I1及輸出I2之間的互信息Hd1 ;12)，保持H(I2)不變的同時(shí)最大化Hd1 ;12)。
[0011]第三步、通過上述構(gòu)建的基于視網(wǎng)膜的計(jì)算模型進(jìn)行全參圖像評價(jià)，對于全參圖像質(zhì)量評價(jià)，假設(shè)原圖和失真圖都通過了基于視網(wǎng)膜的計(jì)算模型，可以通過計(jì)算經(jīng)過濾波后圖像的均方誤差或者峰值信噪比來衡量失真圖的圖像質(zhì)量。
[0012]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果:
[0013]本發(fā)明利用自然圖像中普遍存在的各種物體形態(tài)學(xué)上的一致性導(dǎo)致的大量的冗余，基于視網(wǎng)膜將減少視覺信號但盡量保留有用信號的假設(shè)，從信息論的角度，構(gòu)建視網(wǎng)膜模型，首先將原圖和失真圖進(jìn)行濾波，然后再計(jì)算兩幅輸出圖片的均方誤差。該基于視網(wǎng)膜的計(jì)算模型包含兩個(gè)主要模塊:一個(gè)光學(xué)調(diào)制傳輸模塊，該模塊主要模擬人眼的光學(xué)結(jié)構(gòu)；還有一個(gè)低通濾波模塊，該模塊主要進(jìn)行噪聲抑制和冗余度壓縮。實(shí)驗(yàn)證明盡管使用了與人主觀評價(jià)不是很相符的均方誤差，該方法仍然達(dá)到了全參圖像質(zhì)量評價(jià)的主流性能。

【專利附圖】

【附圖說明】
[0014]通過閱讀參照以下附圖對非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、目的和優(yōu)點(diǎn)將會變得更明顯:
[0015]圖1是本發(fā)明的視網(wǎng)膜計(jì)算模型的框圖；
[0016]圖2是本發(fā)明的視網(wǎng)膜模型濾波的空間域效果圖，其中第一行分別為原圖、含噪聲的失真圖及原圖和失真圖之間的誤差圖，第二行分別為利用視網(wǎng)膜模型濾波后的原圖、失真圖及原圖和失真圖之間的誤差圖。
[0017]圖3是本發(fā)明的視網(wǎng)膜模型的頻域效果圖，其中第一行分別為原圖、失真圖及誤差圖在頻域的表示，第二行分別為模傳遞函數(shù)、低通濾波器及總的視網(wǎng)膜濾波器。

【具體實(shí)施方式】
[0018]下面結(jié)合具體實(shí)施例對本發(fā)明進(jìn)行詳細(xì)說明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。
[0019]實(shí)施例:
[0020]第一步、構(gòu)建基于視網(wǎng)膜的計(jì)算模型，將基于視網(wǎng)膜的計(jì)算模型分割為串聯(lián)的兩個(gè)子模塊，分別為:光學(xué)調(diào)制傳輸模塊和自適應(yīng)低通濾波模塊，如附圖1所示。根據(jù)附圖1所示的計(jì)算模型，輸入信號10(f)通過視網(wǎng)膜模型后的輸出信號I2(f)可以通過下式計(jì)算:
[0021]I2 (f) = L(f).(M(f).(10 (f)+N0 (^)+^(^)
[0022]其中M(f)和L(f)分別表示表示光學(xué)調(diào)制傳輸模塊和自適應(yīng)低通濾波模塊的傳遞函數(shù)，Nc^f)和&&)分別表示光學(xué)調(diào)制傳輸模塊和自適應(yīng)低通濾波模塊的內(nèi)在和生化的噪聲，f表示信號的頻率；
[0023]光學(xué)調(diào)制傳輸模塊和自適應(yīng)低通濾波模塊的濾波過程分別為:
[0024]I^f) =M(f).(10(f)+N0(f))
[0025]I2 (f) = L(f).(I1 (f) +N1 (f))
[0026]第一個(gè)模塊的調(diào)制傳遞函數(shù)是通過實(shí)驗(yàn)決定的，在本方法中，該函數(shù)由下式?jīng)Q定:

【權(quán)利要求】
1.一種基于視網(wǎng)膜模型的圖像質(zhì)量評價(jià)方法，其特征在于包括以下步驟: 第一步、構(gòu)建基于視網(wǎng)膜的計(jì)算模型，將基于視網(wǎng)膜的計(jì)算模型分割為串聯(lián)的兩個(gè)子模塊，分別為:光學(xué)調(diào)制傳輸模塊和自適應(yīng)低通濾波模塊；光學(xué)調(diào)制傳輸模塊模擬人眼的光學(xué)結(jié)構(gòu)；自適應(yīng)低通濾波模塊進(jìn)行噪聲抑制和冗余度壓縮；輸入信號10(f)通過基于視網(wǎng)膜的計(jì)算模型后的輸出信號通過下式計(jì)算: I2 (f) = L(f).(M(f).(1。出+凡江))+&出)，其中1^)和L(f)分別表示表示光學(xué)調(diào)制傳輸模塊和自適應(yīng)低通濾波模塊的傳遞函數(shù)，NJf)和&&)分別表示光學(xué)調(diào)制傳輸模塊和自適應(yīng)低通濾波模塊的噪聲，f表示信號的頻率； 第二步、利用信息論方法設(shè)計(jì)自適應(yīng)低通濾波模塊中的低通濾波器L進(jìn)行噪聲抑制，自適應(yīng)低通濾波模塊的輸入I1及輸出I2將用于質(zhì)量評價(jià)，低通濾波器L的設(shè)計(jì)原則是盡量抑制自適應(yīng)低通濾波模塊的輸入信號I1的噪聲，而不損失過多的有用信號；濾波器的設(shè)計(jì)最終依靠輸入I1及輸出I2之間的互信息Hd1 ;I2)，保持輸出熵H(I2)不變的同時(shí)最大化Hd1 ；12)； 第三步、通過上述構(gòu)建的基于視網(wǎng)膜的計(jì)算模型進(jìn)行全參圖像評價(jià)，對于全參圖像質(zhì)量評價(jià)，假設(shè)原圖和失真圖都通過了基于視網(wǎng)膜的計(jì)算模型，可通過計(jì)算經(jīng)過濾波后圖像的均方誤差或者峰值信噪比來衡量失真圖的圖像質(zhì)量。
2.根據(jù)權(quán)利要求1所述的基于視網(wǎng)膜的計(jì)算模型的圖像質(zhì)量評價(jià)方法，其特征是，第一步中:光學(xué)調(diào)制傳輸模塊的濾波過程為:
I^f) = M(f).(10(f)+N0(f)) 其中，10(f)和I1(F)分別為光學(xué)調(diào)制傳輸模塊的輸入和輸出，M(f)和NJf)分別為該模塊的傳遞函數(shù)及噪聲，f表示信號的頻率，調(diào)制傳遞函數(shù)M(f)由實(shí)驗(yàn)決定，通過下式來刻畫:
其中，參數(shù)f。和α分別取為:f。= 22周期/視角，α =1.4; 自適應(yīng)低通濾波過程為:
I2 (f) = L(f).(I^f)+N1 (f)) 其中，IJf)和I2(f)分別為低通濾波子系統(tǒng)的輸入和輸出，L(f)和&&)分別為該模塊的傳遞函數(shù)及噪聲。
3.根據(jù)權(quán)利要求1所述的基于視網(wǎng)膜模型的圖像質(zhì)量評價(jià)方法，其特征是，第二步中:自適應(yīng)低通濾波模塊的輸入I1及輸出I2之間的互信息為:
其中反表示總的等效噪聲，為了抑制噪聲，需要減小噪聲的熵H(N1)，在上式中即保持輸出熵H(I2)不變的同時(shí)最大化互信息Hd1 ；12)； 假設(shè)自適應(yīng)低通濾波模塊的輸入I1及噪聲N1都是多元高斯分布的，其協(xié)方差矩陣分別為1, Σ，同時(shí)信號都是以離散形式表示的，故還有一個(gè)量化誤差項(xiàng)N,，假設(shè)N,也是高斯分布的，則低通濾波子系統(tǒng)表示為:
輸出信號的熵表不為:
噪聲項(xiàng)N1和輸入信號I1相互獨(dú)立，與上式類似可得:
設(shè)計(jì)最優(yōu)低通濾波器L時(shí)需要固定H(I2)的同時(shí)最大化Hd1 ;12)，即最小化以下目標(biāo)函數(shù):
E(L) = -Hd1 ；Ι2) + λ.H(I2) 求解優(yōu)化問題:
假設(shè);I =En^.ζ，則上式簡化得到最終的低通濾波器:
上述優(yōu)化問題是針對每個(gè)頻率分量獨(dú)立進(jìn)行得。
4.根據(jù)權(quán)利要求1所述的基于視網(wǎng)膜模型的圖像質(zhì)量評價(jià)方法，其特征是，第三步中:對于全參圖像質(zhì)量評價(jià)，假設(shè)原圖和失真圖都通過了基于視網(wǎng)膜的計(jì)算模型，通過計(jì)算兩幅圖片經(jīng)過濾波后的均方誤差或峰值信噪比來衡量失真圖的圖像質(zhì)量，整個(gè)視網(wǎng)膜濾波在頻域或者空間域進(jìn)行。
【文檔編號】G06T7/00GK104166984SQ201410318467
【公開日】2014年11月26日 申請日期:2014年7月4日 優(yōu)先權(quán)日:2014年7月4日
【發(fā)明者】翟廣濤, 閔雄闊, 楊小康, 李鐸 申請人:上海交通大學(xué)