一種基于結(jié)構(gòu)紋理稀疏表示的立體圖像質(zhì)量客觀評價方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種圖像質(zhì)量評價方法，尤其是涉及一種基于結(jié)構(gòu)紋理稀疏表示的立 體圖像質(zhì)量客觀評價方法。
【背景技術(shù)】
[0002] 隨著圖像編碼技術(shù)和立體顯示技術(shù)的迅速發(fā)展，立體圖像技術(shù)受到了越來越廣泛 的關(guān)注與應(yīng)用，已成為當(dāng)前的一個研究熱點。立體圖像技術(shù)利用人眼的雙目視差原理，雙目 各自獨立地接收來自同一場景的左視點圖像和右視點圖像，通過大腦融合形成雙目視差， 從而欣賞到具有深度感和逼真感的立體圖像。由于受到采集系統(tǒng)、存儲壓縮及傳輸設(shè)備的 影響，立體圖像會不可避免地引入一系列的失真，而與單通道圖像相比，立體圖像需要同時 保證兩個通道的圖像質(zhì)量，因此對其進行質(zhì)量評價具有非常重要的意義。然而，目前對立體 圖像質(zhì)量缺乏有效的客觀評價方法進行評價。因此，建立有效的立體圖像質(zhì)量客觀評價模 型具有十分重要的意義。
[0003] 由于影響立體圖像質(zhì)量的因素較多，如左視點和右視點質(zhì)量失真情況、立體感知 情況、觀察者視覺疲勞等，因此如何有效地進行立體圖像質(zhì)量評價是亟需解決的難點問題。 目前，已有方法是通過機器學(xué)習(xí)來預(yù)測評價模型，但其計算復(fù)雜度較高，并且訓(xùn)練模型需要 預(yù)知各評價圖像的主觀評價值，并不適用于實際的應(yīng)用場合，存在一定的局限性。稀疏表 示將信號在已知的函數(shù)集上進行分解，力求在變換域上用盡量少的基函數(shù)來對原始信號進 行逼近，目前的研究主要集中在字典構(gòu)造和稀疏分解兩方面。稀疏表示的一個關(guān)鍵問題就 是如何有效地構(gòu)造字典來表征圖像的本質(zhì)特征。因此，如何構(gòu)造能反映圖像本質(zhì)特征的字 典，如何根據(jù)字典來進行質(zhì)量估計，都是在立體圖像質(zhì)量評價研究中需要重點解決的技術(shù) 問題。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是提供一種基于結(jié)構(gòu)紋理稀疏表示的立體圖像質(zhì)量 客觀評價方法，其能夠有效地提高客觀評價結(jié)果與主觀感知之間的相關(guān)性，且計算復(fù)雜度 低，無需預(yù)知各評價圖像的主觀評價值。
[0005] 本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為：一種基于結(jié)構(gòu)紋理稀疏表示的立 體圖像質(zhì)量客觀評價方法，其特征在于包括訓(xùn)練階段和測試階段兩個過程，所述的訓(xùn)練階 段過程的具體步驟如下：
[0006] ①-1、將選取的N幅原始的無失真立體圖像的左視點圖像構(gòu)成訓(xùn)練圖像集，記為 ILlitJl彡i彡N}，其中，N彡1，Llitffg表示ILlimJl彡i彡N}中的第i幅圖像，原始的無 失真立體圖像的寬度為W，原始的無失真立體圖像的高度為H ;
[0007] ①-2、對{LliOTg| 1彡i彡N}中的每幅圖像實施結(jié)構(gòu)紋理分離，得到 {LliOTg|l< i < N}中的每幅圖像的結(jié)構(gòu)圖像和紋理圖像，將1^_的結(jié)構(gòu)圖像和紋理圖像 對應(yīng)記為和C ;然后將{kOTg|l彡i彡N}中的所有圖像的結(jié)構(gòu)圖像構(gòu)成的集合 記為
并將{kOTg| I < i < N}中的所有圖像的紋理圖像構(gòu)成的集合記為
[0008] ①-3、對
中的每幅結(jié)構(gòu)圖像進行非重疊的分子塊處理；然后采用 K-SVD方法對
中的所有結(jié)構(gòu)圖像中的子塊構(gòu)成的集合進行字典訓(xùn)練操作， 構(gòu)造得到
的結(jié)構(gòu)字典表，記為Dstt，其中，D stt的維數(shù)為64 X K，K表示設(shè)定的 字典的個數(shù)，K多1 ;
[0009] 同樣，對
中的每幅紋理圖像進行非重疊的分子塊處理；然后采用 K-SVD方法對
中的所有紋理圖像中的子塊構(gòu)成的集合進行字典訓(xùn)練操作， 構(gòu)造得到
的紋理字典表，記為Dtex，其中，D tex的維數(shù)為64XK ;
[0010] 所述的測試階段過程的具體步驟如下：
[0011] ②-1、對于任意一副測試立體圖像Stest,假設(shè)Stest對應(yīng)的原始的無失真立體圖像 為s OTg，其中，Stast的寬度與步驟①-1中的原始的無失真立體圖像的寬度一致，S test的高度 與步驟①-1中的原始的無失真立體圖像的高度一致；
[0012] ②-2、按照步驟①-2的過程，以相同的方式獲取Stest的左視點圖像L test和右視點 圖像Rtost及S "g的左視點圖像L OTg和右視點圖像R "g各自的結(jié)構(gòu)圖像和紋理圖像，將L tast 的結(jié)構(gòu)圖像和紋理圖像對應(yīng)記為
將Rtest的結(jié)構(gòu)圖像和紋理圖像對應(yīng)記為iC和
的結(jié)構(gòu)圖像和紋理圖像對應(yīng)記為^和<^，將R"g的結(jié)構(gòu)圖像和紋理圖像對應(yīng) 記為C和K ;
[0013] ②-3、對
分別進行非 重疊的分子塊處理；然后根據(jù)在訓(xùn)練階段過程構(gòu)造得到的Ds&和D tex聯(lián)合優(yōu)化，獲取由右= 中的所有子塊構(gòu)成的集合中的每個元素的結(jié)構(gòu)稀疏系數(shù)矩陣和由/^,中的所有子塊構(gòu)成的 集合中的每個元素的紋理稀疏系數(shù)矩陣、由中的所有子塊構(gòu)成的集合中的每個元素的 結(jié)構(gòu)稀疏系數(shù)矩陣和由^中的所有子塊構(gòu)成的集合中的每個元素的紋理稀疏系數(shù)矩陣、 由^中的所有子塊構(gòu)成的集合中的每個元素的結(jié)構(gòu)稀疏系數(shù)矩陣和由/中的所有子塊 構(gòu)成的集合中的每個元素的紋理稀疏系數(shù)矩陣、由中的所有子塊構(gòu)成的集合中的每個 元素的結(jié)構(gòu)稀疏系數(shù)矩陣和由^;中的所有子塊構(gòu)成的集合中的每個元素的紋理稀疏系數(shù) 矩陣；接著根據(jù)
中的每個子塊對應(yīng)的結(jié)構(gòu)稀疏系數(shù)矩陣、
中的每個子 塊對應(yīng)的紋理稀疏系數(shù)矩陣，計算Ltest中的每個子塊的局部客觀評價度量值，并根據(jù)C和 尺=中的每個子塊對應(yīng)的結(jié)構(gòu)稀疏系數(shù)矩陣、
中的每個子塊對應(yīng)的紋理稀疏系數(shù) 矩陣，計算Rtest中的每個子塊的局部客觀評價度量值；最后根據(jù)L tast和R test中的部分子塊 的局部客觀評價度量值，計算Stast的圖像質(zhì)量客觀評價預(yù)測值。
[0014] 所述的步驟①_2中的與二和的獲取過程為：
[0015] ①_2&、將L1,^中當(dāng)前待處理的像素點定義為當(dāng)前像素點；
[0016] ①_2b、將當(dāng)前像素點在Liitffg中的坐標(biāo)位置記為p ;將以當(dāng)前像素點為中心 的21X21鄰域窗口內(nèi)除當(dāng)前像素點外的每個像素點作為當(dāng)前像素點的鄰域像素點；將 以當(dāng)前像素點為中心的9X9鄰域窗口內(nèi)的所有像素點構(gòu)成的塊定義為當(dāng)前子塊，記為
:將以當(dāng)前像素點的每個鄰域像素點為中心的9 X 9鄰域窗口內(nèi)的所有像素點 構(gòu)成的塊作為當(dāng)前子塊的鄰域子塊，將以坐標(biāo)位置為q的鄰域像素點為中心的9X9鄰域窗 口內(nèi)的所有像素點構(gòu)成的鄰域子塊記為[/,1(?,?)丨；其中，P e Ω i OTg，Ω i OTg表示L ^中 的所有像素點的坐標(biāo)位置的集合，
中的像素點在
i中 的坐標(biāo)位置，1彡χ2< 9, 1彡y 2彡9，
'中坐標(biāo)位置為（x2, y2) 的像素點的像素值，（x3，y3)表示
丨中的像素點在
[中的坐標(biāo)位置， 1彡χ3< 9, 1彡y 3彡9，
丨中坐標(biāo)位置為（x3, y3)的像素點的像 素值；
[0017] 上述步驟①-2b中，對于任意一個鄰域像素點、當(dāng)前子塊中的任意一個像素 點及鄰域子塊中的任意一個像素點，假設(shè)該像素點的坐標(biāo)位置為（X，y)，則如果Χ〈1且 I < y < Η，則將LiiOTg中坐標(biāo)位置為（1，y)的像素點的像素值賦值給該像素點；如果x>W 且I < y < H，則將Liitffg中坐標(biāo)位置為（W, y)的像素點的像素值賦值給該像素點；如果 K X < W且y〈l，則將LiiOTg中坐標(biāo)位置為（X, 1)的像素點的像素值賦值給該像素點；如果 K X < W且y>H，則將LiiOTg中坐標(biāo)位置為（X, H)的像素點的像素值賦值給該像素點；如果 x〈l且y〈l，則將Liitffg中坐標(biāo)位置為（I, 1)的像素點的像素值賦值給該像素點；如果x>W且 y〈l，則將LiiOTg中坐標(biāo)位置為（W, 1)的像素點的像素值賦值給該像素點；如果x〈l且y>H， 則將LiiOTg中坐標(biāo)位置為（1，H)的像素點的像素值賦值給該像素點；如果x>W且y>H，則將 km中坐標(biāo)位置為（w，?的像素點的像素值賦值給該像素點；
[0018] ①-2c、計算
_中的每個像素點的特征矢量，將_
中坐標(biāo)位 置為（x2，y2)的像素點的特征矢量記為

其中，
丨的維數(shù)為7,符號" □"為矢量表示符號，符號" I I "為取絕對值符號，
中坐標(biāo)位置為（x2, y2)的像素點的密度值，
為
在水平方向的一階偏導(dǎo)數(shù)，
在垂直方向的一階偏導(dǎo) 數(shù)
在水平方向的二階偏導(dǎo)數(shù)，
在垂 直方向的二階偏導(dǎo)數(shù)；
[0019] ①-2d、根據(jù)
中的每個像素點的特征矢量，計算
的協(xié) 方差矩陣，記為
其 中，€：『^的維數(shù)為7X7，
中的所有像素點的特征矢量的均值矢量，
的轉(zhuǎn)置矢量；
[0020] ① _2e、對進行 Cholesky 分解，
的 Sigma特征集，記為

，其中，
的轉(zhuǎn)置矩陣，SL,.,的維數(shù)為7X15,符號" □"為矢量表示符號， 1彡j彡7，
表示的第1列向量，
的第j列向量，
表 示L1Ug.的第7列向量；
[0021] ①_2f、按照步驟①-2c至步驟①_2e的操作，以相同的方式獲取當(dāng)前子塊的每個 鄰域子塊的Sigma特征集，將
的Sigma特征集記為
其中，S丨1%的維數(shù)為 7X15 ；
[0022] ①_2g、根據(jù)及當(dāng)前子塊的每個鄰域子塊的Sigma特征集，計算當(dāng)前像素點的 結(jié)構(gòu)信息，記為
其中，N(p)表示當(dāng) 前像素點的所有鄰域像素點的坐標(biāo)位置的集合，exp 0表示以自然基數(shù)e為底的指數(shù)函數(shù)， σ表示高斯函數(shù)的標(biāo)準(zhǔn)差，符號" I I I I "為歐氏距離計算符號，LliOTg(q)表示坐標(biāo)位置為q 的像素點的像素值；
[0023] ①_2h、根據(jù)
計算當(dāng)前像素點的紋理信息，記為

其中，k"g(p)表示當(dāng)前像素點的像素值；
[0024] ①-2iJ#LliOTg中下一個待處理的像素點作為當(dāng)前像素點，然后返回步驟①_2b繼 續(xù)執(zhí)行，直至k"g中的所有像素點處理完畢，得到Llicffg中的每個像素點的結(jié)構(gòu)信息和紋理 信息，將Uore中的所有像素點的結(jié)構(gòu)信息構(gòu)成的圖像作為Li,%的結(jié)構(gòu)圖像^，將Li,m中 的所有像素點的紋理信息構(gòu)成的圖像作為k"g的紋理圖像貧^ ?
[0025] 所述的步驟① -3中的Dstr的獲取過程為：
[0026] ①_3a、將
中的每幅結(jié)構(gòu)圖像劃分成
個互不重疊的尺寸大 小為8X8的子塊；
[0027] ① _3b、將<[11 ?Ξ ? < iVj中的所有結(jié)構(gòu)圖像中的子塊構(gòu)成一個集合，記為
中的所有結(jié)構(gòu)圖像中的子 塊中的第t個子塊中的所有像素點組成的列向量，yf的維數(shù)為64X 1 ;
[0028] ①-3c、采用K-SVD方法對
進行字典訓(xùn)練操作，獲得
的結(jié)構(gòu)字典表Ds&，Ds&通過K-SVD方法求解
得到，其中，min()為取最小值函數(shù)，符號"| I I |2"為求取矩陣的2-范數(shù)符號，
Ys&的維數(shù)為64XM，
中的第1個列向量，yf 為
中的第t個列向量，
中的第M個列向量，Xstt表示稀疏 矩陣，
Xs"的維數(shù)為KXM，f表示Xs&中的第1個列向量，#表示 Xs&中的第t個列向量，Χ?表示Xsto中的第M個列向量，符號"[]"為矢量表示符號，Vi表 示對于任意一個t，1彡t彡M，符號" I I I I。"為求取矩陣的O-范數(shù)符號，τ為誤差系數(shù)；
[0029] 所述的步驟① -3中的Dtex的獲取過程為：
[0030] ①-3d、將
中的每幅紋理圖像劃分成
-個互不重疊的尺寸大