本發(fā)明涉及一種圖像質(zhì)量評價方法,尤其是涉及一種基于稀疏表示的重定位圖像質(zhì)量客觀評價方法。
背景技術(shù):
隨著終端顯示設(shè)備(例如智能手機(jī)、平板電腦、電視等)的快速發(fā)展與更新?lián)Q代,具有不同分辨率和屏幕高寬比的終端顯示設(shè)備充斥著人們的工作與生活。當(dāng)需要顯示的圖像或視頻的分辨率與屏幕的分辨率不相符時,如何在盡可能不改變用戶觀看體驗(yàn)的前提下,改變圖像或視頻的分辨率使之適應(yīng)不同尺寸的終端顯示設(shè)備,這就是重定位(retargeting)問題。當(dāng)前解決重定位問題的方法有:縮放(scaling)、裁切(cropping)和變形(warping)等。然而,這些重定位方法并不能達(dá)到很好的用戶體驗(yàn)效果,不能充分利用終端顯示設(shè)備的尺寸優(yōu)勢,降低了用戶體驗(yàn)效果,因此對不同重定位方法的性能進(jìn)行客觀評價十分必要。
而對于重定位圖像質(zhì)量評價而言,現(xiàn)有的圖像質(zhì)量評價方法并不能直接應(yīng)用,這是因?yàn)橹囟ㄎ粓D像的失真并不是簡單的圖像失真,圖像分辨率、場景幾何、語義內(nèi)容等因素都會發(fā)生嚴(yán)重變化,因此,如何建立原始圖像和重定位圖像之間的稠密對應(yīng)關(guān)系,如何對圖像分辨率、場景幾何、語義內(nèi)容等因素進(jìn)行量化以反映質(zhì)量退化程度,使得客觀評價結(jié)果更加感覺符合人類視覺系統(tǒng),都是在對重定位圖像進(jìn)行質(zhì)量客觀評價過程中需要研究解決的問題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明所要解決的技術(shù)問題是提供一種基于稀疏表示的重定位圖像質(zhì)量客觀評價方法,其能夠有效地提高客觀評價結(jié)果與主觀感知之間的相關(guān)性。
本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為:一種基于稀疏表示的重定位圖像質(zhì)量客觀評價方法,其特征在于包括以下步驟:
①令I(lǐng)org表示原始圖像,令I(lǐng)ret表示Iorg對應(yīng)的重定位圖像;
②采用尺度不變特征變換對Iorg進(jìn)行描述,得到Iorg中的每個關(guān)鍵點(diǎn)的描述,然后將Iorg中的所有關(guān)鍵點(diǎn)的描述組成反映Iorg幾何結(jié)構(gòu)信息的關(guān)鍵點(diǎn)特征矢量集合,記為GO,并采用基于語義的顯著提取方法提取Iorg的顯著圖,然后將Iorg的顯著圖劃分成互不重疊的尺寸大小為8×8的顯著塊,接著從Iorg中的所有顯著塊中選取部分顯著塊,之后獲取選取的每個顯著塊的特征矢量,再將選取的所有顯著塊的特征矢量組成反映Iorg顯著語義信息的顯著塊特征矢量集合,記為其中,Iorg中的每個關(guān)鍵點(diǎn)的描述為該關(guān)鍵點(diǎn)的方向直方圖組成的特征矢量,表示Iorg中的第i1個關(guān)鍵點(diǎn)的描述,為Iorg中的第i1個關(guān)鍵點(diǎn)的方向直方圖組成的特征矢量,的維數(shù)為128×1,M1表示Iorg中的關(guān)鍵點(diǎn)的總個數(shù),表示從Iorg中選取的第j1個顯著塊的特征矢量,的維數(shù)為192×1,N1表示從Iorg中的所有顯著塊中選取的顯著塊的總個數(shù);
同樣,采用尺度不變特征變換對Iret進(jìn)行描述,得到Iret中的每個關(guān)鍵點(diǎn)的描述,然后將Iret中的所有關(guān)鍵點(diǎn)的描述組成反映Iret幾何結(jié)構(gòu)信息的關(guān)鍵點(diǎn)特征矢量集合,記為并采用基于語義的顯著提取方法提取Iret的顯著圖,然后將Iret的顯著圖劃分成互不重疊的尺寸大小為8×8的顯著塊,接著從Iret中的所有顯著塊中選取部分顯著塊,之后獲取選取的每個顯著塊的特征矢量,再將選取的所有顯著塊的特征矢量組成反映Iret顯著語義信息的顯著塊特征矢量集合,記為SR,其中,Iret中的每個關(guān)鍵點(diǎn)的描述為該關(guān)鍵點(diǎn)的方向直方圖組成的特征矢量,表示Iret中的第i2個關(guān)鍵點(diǎn)的描述,為Iret中的第i2個關(guān)鍵點(diǎn)的方向直方圖組成的特征矢量,的維數(shù)為128×1,M2表示Iret中的關(guān)鍵點(diǎn)的總個數(shù),表示從Iret中選取的第j2個顯著塊的特征矢量,的維數(shù)為192×1,N2表示從Iret中的所有顯著塊中選取的顯著塊的總個數(shù);
③采用最小角回歸方法對GO進(jìn)行字典訓(xùn)練操作,構(gòu)造得到Iorg的結(jié)構(gòu)字典表,記為是采用最小角回歸方法求解得到的;并采用最小角回歸方法對SO進(jìn)行字典訓(xùn)練操作,構(gòu)造得到Iorg的顯著字典表,記為是采用最小角回歸方法求解得到的;其中,的維數(shù)為128×K1,K1為設(shè)定的字典個數(shù),K1≥1,min{}為取最小值函數(shù),符號“|| ||2”為求取矩陣的2-范數(shù)符號,符號“|| ||0”為求取矩陣的0-范數(shù)符號,表示的基于的稀疏系數(shù)矩陣,的維數(shù)為K1×1,τ1為設(shè)定的稀疏度,的維數(shù)為192×L1,L1為設(shè)定的字典個數(shù),L1≥1,表示的基于的稀疏系數(shù)矩陣,的維數(shù)為L1×1;
同樣,采用最小角回歸方法對GR進(jìn)行字典訓(xùn)練操作,構(gòu)造得到Iret的結(jié)構(gòu)字典表,記為是采用最小角回歸方法求解得到的;并采用最小角回歸方法對SR進(jìn)行字典訓(xùn)練操作,構(gòu)造得到Iret的顯著字典表,記為是采用最小角回歸方法求解得到的;其中,的維數(shù)為128×K2,K2為設(shè)定的字典個數(shù),K2≥1,表示的基于的稀疏系數(shù)矩陣,的維數(shù)為K2×1,τ2為設(shè)定的稀疏度,的維數(shù)為192×L2,L2為設(shè)定的字典個數(shù),L2≥1,表示的基于的稀疏系數(shù)矩陣,的維數(shù)為L2×1;
④根據(jù)和計算Iret相對于Iorg的結(jié)構(gòu)相似度,記為并根據(jù)和計算Iret相對于Iorg的顯著相似度,記為
同樣,根據(jù)和計算Iorg相對于Iret的結(jié)構(gòu)相似度,記為并根據(jù)和計算Iorg相對于Iret的顯著相似度,記為
⑤根據(jù)和獲取Iret的質(zhì)量矢量,記為Q,其中,Q的維數(shù)為1×4,符號“[]”為矢量表示符號;
⑥將P幅重定位圖像構(gòu)成重定位圖像庫,將重定位圖像庫中的第p幅重定位圖像的平均主觀評分均值記為MOSp;接著按照步驟①至步驟⑤獲取Iret的質(zhì)量矢量Q的操作,以相同的方式獲取重定位圖像庫中的每幅重定位圖像的質(zhì)量矢量,將重定位圖像庫中的第p幅重定位圖像的質(zhì)量矢量記為Qp;其中,P>1,1≤p≤P,MOSp∈[1,5],Qp的維數(shù)為1×4;
⑦從重定位圖像庫中隨機(jī)選擇T幅重定位圖像構(gòu)成訓(xùn)練集,將重定位圖像庫中剩余的P-T幅重定位圖像構(gòu)成測試集,并令m表示迭代的次數(shù),其中,1<T<P,m的初始值為0;
⑧將訓(xùn)練集中的所有重定位圖像各自的質(zhì)量矢量和平均主觀評分均值構(gòu)成訓(xùn)練樣本數(shù)據(jù)集合;接著采用支持向量回歸作為機(jī)器學(xué)習(xí)的方法,對訓(xùn)練樣本數(shù)據(jù)集合中的所有質(zhì)量矢量進(jìn)行訓(xùn)練,使得經(jīng)過訓(xùn)練得到的回歸函數(shù)值與平均主觀評分均值之間的誤差最小,擬合得到最優(yōu)的支持向量回歸訓(xùn)練模型,記為f(Qinp);之后根據(jù)最優(yōu)的支持向量回歸訓(xùn)練模型,對測試集中的每幅重定位圖像的質(zhì)量矢量進(jìn)行測試,預(yù)測得到測試集中的每幅重定位圖像的客觀質(zhì)量評價預(yù)測值,將測試集中的第n幅重定位圖像的客觀質(zhì)量評價預(yù)測值記為Qualityn,Qualityn=f(Qn);然后令m=m+1;再執(zhí)行步驟⑨;其中,f()為函數(shù)表示形式,Qinp表示最優(yōu)的支持向量回歸訓(xùn)練模型的輸入矢量,1≤n≤P-T,Qn表示測試集中的第n幅重定位圖像的質(zhì)量矢量,m=m+1中的“=”為賦值符號;
⑨判斷m<M是否成立,如果成立,則重新隨機(jī)分配構(gòu)成訓(xùn)練集的T幅重定位圖像和構(gòu)成測試集的P-T幅重定位圖像,然后返回步驟⑧繼續(xù)執(zhí)行;否則,計算重定位圖像庫中的每幅重定位圖像的多個客觀質(zhì)量評價預(yù)測值的平均值,并將計算得到的平均值作為對應(yīng)那幅重定位圖像的最終的客觀質(zhì)量評價預(yù)測值;其中,M表示設(shè)定的總迭代次數(shù),M>100。
所述的步驟②中從Iorg中的所有顯著塊中選取部分顯著塊的過程為:計算Iorg中的每個顯著塊中的所有像素點(diǎn)的像素值的平均值;然后按平均值從大到小的順序?qū)org中的所有顯著塊進(jìn)行排序;再選取前70%的顯著塊;所述的步驟②中從Iorg中選取的每個顯著塊的特征矢量為該顯著塊中的所有像素點(diǎn)的R、G、B分量組成的維數(shù)為192×1的列向量。
所述的步驟②中從Iret中的所有顯著塊中選取部分顯著塊的過程為:計算Iret中的每個顯著塊中的所有像素點(diǎn)的像素值的平均值;然后按平均值從大到小的順序?qū)ret中的所有顯著塊進(jìn)行排序;再選取前70%的顯著塊;所述的步驟②中從Iret中選取的每個顯著塊的特征矢量為該顯著塊中的所有像素點(diǎn)的R、G、B分量組成的維數(shù)為192×1的列向量。
所述的步驟④中的的獲取過程為:
④_1a、將和組合成一個新的結(jié)構(gòu)字典表,記為其中,的維數(shù)為128×(K2+K1),符號“[]”為矢量表示符號,表示將和連接起來形成一個新的矢量;
④_2a、根據(jù)計算GR中的每個關(guān)鍵點(diǎn)的描述的基于的稀疏系數(shù)矩陣,將的基于的稀疏系數(shù)矩陣記為是采用最小角回歸方法求解得到的,其中,的維數(shù)為(K2+K1)×1;
④_3a、獲取GR中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于的稀疏系數(shù)矩陣,將對應(yīng)于的稀疏系數(shù)矩陣記為并獲取GR中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于的稀疏系數(shù)矩陣,將對應(yīng)于的稀疏系數(shù)矩陣記為其中,的維數(shù)為(K2+K1)×1,α1,1表示對應(yīng)于的第1個原子的稀疏系數(shù),表示對應(yīng)于的第K2個原子的稀疏系數(shù),的維數(shù)為(K2+K1)×1,α2,1表示對應(yīng)于的第1個原子的稀疏系數(shù),表示對應(yīng)于的第K1個原子的稀疏系數(shù);
④_4a、計算GR中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的稀疏重建誤差,將對應(yīng)于的稀疏重建誤差記為并計算GR中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的稀疏重建誤差,將對應(yīng)于的稀疏重建誤差記為
④_5a、計算GR中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的表決分值,將對應(yīng)于的表決分值記為并計算GR中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的表決分值,將對應(yīng)于的表決分值記為其中,如果則如果則
④_6a、計算其中,
所述的步驟④中的的獲取過程為:
④_1b、將和組合成一個新的顯著字典表,記為其中,的維數(shù)為192×(L2+L1),符號“[]”為矢量表示符號,表示將和連接起來形成一個新的矢量;
④_2b、根據(jù)計算SR中的每個顯著塊特征矢量的基于的稀疏系數(shù)矩陣,將的基于的稀疏系數(shù)矩陣記為是采用最小角回歸方法求解得到的,其中,的維數(shù)為(L2+L1)×1;
④_3b、獲取SR中的每個顯著塊特征矢量對應(yīng)于的稀疏系數(shù)矩陣,將對應(yīng)于的稀疏系數(shù)矩陣記為并獲取SR中的每個顯著塊特征矢量對應(yīng)于的稀疏系數(shù)矩陣,將對應(yīng)于的稀疏系數(shù)矩陣記為其中,的維數(shù)為(L2+L1)×1,γ1,1表示對應(yīng)于的第1個原子的稀疏系數(shù),表示對應(yīng)于的第L2個原子的稀疏系數(shù),的維數(shù)為(L2+L1)×1,γ2,1表示對應(yīng)于的第1個原子的稀疏系數(shù),表示對應(yīng)于的第L1個原子的稀疏系數(shù);
④_4b、計算SR中的每個顯著塊特征矢量對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的稀疏重建誤差,將對應(yīng)于的稀疏重建誤差記為并計算SR中的每個顯著塊特征矢量對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的稀疏重建誤差,將對應(yīng)于的稀疏重建誤差記為
④_5b、計算SR中的每個顯著塊特征矢量對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的表決分值,將對應(yīng)于的表決分值記為并計算SR中的每個顯著塊特征矢量對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的表決分值,將對應(yīng)于的表決分值記為其中,如果則如果則
④_6b、計算其中,
所述的步驟④中的的獲取過程為:
④_1c、將和組合成一個新的結(jié)構(gòu)字典表,記為其中,的維數(shù)為128×(K1+K2),符號“[]”為矢量表示符號,表示將和連接起來形成一個新的矢量;
④_2c、根據(jù)計算GO中的每個關(guān)鍵點(diǎn)的描述的基于的稀疏系數(shù)矩陣,將的基于的稀疏系數(shù)矩陣記為是采用最小角回歸方法求解得到的,其中,的維數(shù)為(K1+K2)×1;
④_3c、獲取GO中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于的稀疏系數(shù)矩陣,將對應(yīng)于的稀疏系數(shù)矩陣記為并獲取GO中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于的稀疏系數(shù)矩陣,將對應(yīng)于的稀疏系數(shù)矩陣記為其中,的維數(shù)為(K1+K2)×1,β1,1表示對應(yīng)于的第1個原子的稀疏系數(shù),表示對應(yīng)于的第K1個原子的稀疏系數(shù),的維數(shù)為(K1+K2)×1,β2,1表示對應(yīng)于的第1個原子的稀疏系數(shù),表示對應(yīng)于的第K2個原子的稀疏系數(shù);
④_4c、計算GO中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的稀疏重建誤差,將對應(yīng)于的稀疏重建誤差記為并計算GO中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的稀疏重建誤差,將對應(yīng)于的稀疏重建誤差記為
④_5c、計算GO中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的表決分值,將對應(yīng)于的表決分值記為并計算GO中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的表決分值,將對應(yīng)于的表決分值記為其中,如果則如果則
④_6c、計算其中,
所述的步驟④中的的獲取過程為:
④_1d、將和組合成一個新的顯著字典表,記為其中,的維數(shù)為192×(L1+L2),符號“[]”為矢量表示符號,表示將和連接起來形成一個新的矢量;
④_2d、根據(jù)計算SO中的每個顯著塊特征矢量的基于的稀疏系數(shù)矩陣,將的基于的稀疏系數(shù)矩陣記為是采用最小角回歸方法求解得到的,其中,的維數(shù)為(L1+L2)×1;
滿足
④_3d、獲取SO中的每個顯著塊特征矢量對應(yīng)于的稀疏系數(shù)矩陣,將對應(yīng)于的稀疏系數(shù)矩陣記為并獲取SO中的每個顯著塊特征矢量對應(yīng)于的稀疏系數(shù)矩陣,將對應(yīng)于的稀疏系數(shù)矩陣記為其中,的維數(shù)為(L1+L2)×1,η1,1表示對應(yīng)于的第1個原子的稀疏系數(shù),表示對應(yīng)于的第L1個原子的稀疏系數(shù),的維數(shù)為(L1+L2)×1,η2,1表示對應(yīng)于的第1個原子的稀疏系數(shù),表示對應(yīng)于的第L2個原子的稀疏系數(shù);
④_4d、計算SO中的每個顯著塊特征矢量對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的稀疏重建誤差,將對應(yīng)于的稀疏重建誤差記為并計算SO中的每個顯著塊特征矢量對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的稀疏重建誤差,將對應(yīng)于的稀疏重建誤差記為
④_5d、計算SO中的每個顯著塊特征矢量對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的表決分值,將對應(yīng)于的表決分值記為并計算SO中的每個顯著塊特征矢量對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的表決分值,將對應(yīng)于的表決分值記為其中,如果則如果則
④_6d、計算其中,
與現(xiàn)有技術(shù)相比,本發(fā)明的優(yōu)點(diǎn)在于:
1)本發(fā)明方法考慮到幾何結(jié)構(gòu)和顯著語義是影響重定位性能的主要因素,分別計算原始圖像相對于重定位圖像的結(jié)構(gòu)相似度、重定位圖像相對于原始圖像的結(jié)構(gòu)相似度、原始圖像相對于重定位圖像的顯著相似度及重定位圖像相對于原始圖像的顯著相似度,這樣能夠有效地提高客觀評價結(jié)果與主觀感知之間的相關(guān)性。
2)本發(fā)明方法通過分別構(gòu)造原始圖像和重定位圖像各自的結(jié)構(gòu)字典表和顯著字典表,并以稀疏重建誤差來反映在多大程度上能夠從重定位圖像中提取出原始圖像的結(jié)構(gòu)或顯著信息,或者在多大程度上能夠從原始圖像中提取出重定位圖像的結(jié)構(gòu)或顯著信息,通過計算表決分值并結(jié)合得到最終的結(jié)構(gòu)相似度或顯著相似度,獲得的最終的結(jié)構(gòu)相似度和顯著相似度具有較強(qiáng)的穩(wěn)定性且能夠較好地反映重定位圖像的感知質(zhì)量變化情況。
附圖說明
圖1為本發(fā)明方法的總體實(shí)現(xiàn)框圖。
具體實(shí)施方式
以下結(jié)合附圖實(shí)施例對本發(fā)明作進(jìn)一步詳細(xì)描述。
本發(fā)明提出的一種基于稀疏表示的重定位圖像質(zhì)量客觀評價方法,其總體實(shí)現(xiàn)框圖如圖1所示,其包括以下步驟:
①令I(lǐng)org表示原始圖像,令I(lǐng)ret表示Iorg對應(yīng)的重定位圖像。
②采用現(xiàn)有的尺度不變特征變換(SIFT)對Iorg進(jìn)行描述,得到Iorg中的每個關(guān)鍵點(diǎn)的描述,然后將Iorg中的所有關(guān)鍵點(diǎn)的描述組成反映Iorg幾何結(jié)構(gòu)信息的關(guān)鍵點(diǎn)特征矢量集合,記為并采用現(xiàn)有的基于語義的顯著提取方法提取Iorg的顯著圖,然后將Iorg的顯著圖劃分成互不重疊的尺寸大小為8×8的顯著塊,接著從Iorg中的所有顯著塊中選取部分顯著塊,之后獲取選取的每個顯著塊的特征矢量,再將選取的所有顯著塊的特征矢量組成反映Iorg顯著語義信息的顯著塊特征矢量集合,記為SO,其中,Iorg中的每個關(guān)鍵點(diǎn)的描述為該關(guān)鍵點(diǎn)的方向直方圖組成的特征矢量,表示Iorg中的第i1個關(guān)鍵點(diǎn)的描述,為Iorg中的第i1個關(guān)鍵點(diǎn)的方向直方圖組成的特征矢量,的維數(shù)為128×1,M1表示Iorg中的關(guān)鍵點(diǎn)的總個數(shù),M1的值根據(jù)具體的Iorg確定,表示從Iorg中選取的第j1個顯著塊的特征矢量,的維數(shù)為192×1,N1表示從Iorg中的所有顯著塊中選取的顯著塊的總個數(shù),N1的值根據(jù)具體的Iorg確定。
在此具體實(shí)施例中,步驟②中從Iorg中的所有顯著塊中選取部分顯著塊的過程為:計算Iorg中的每個顯著塊中的所有像素點(diǎn)的像素值的平均值;然后按平均值從大到小的順序?qū)org中的所有顯著塊進(jìn)行排序;再選取前70%的顯著塊;所述的步驟②中從Iorg中選取的每個顯著塊的特征矢量為該顯著塊中的所有像素點(diǎn)的R、G、B分量組成的維數(shù)為192×1的列向量。
同樣,采用現(xiàn)有的尺度不變特征變換(SIFT)對Iret進(jìn)行描述,得到Iret中的每個關(guān)鍵點(diǎn)的描述,然后將Iret中的所有關(guān)鍵點(diǎn)的描述組成反映Iret幾何結(jié)構(gòu)信息的關(guān)鍵點(diǎn)特征矢量集合,記為并采用現(xiàn)有的基于語義的顯著提取方法提取Iret的顯著圖,然后將Iret的顯著圖劃分成互不重疊的尺寸大小為8×8的顯著塊,接著從Iret中的所有顯著塊中選取部分顯著塊,之后獲取選取的每個顯著塊的特征矢量,再將選取的所有顯著塊的特征矢量組成反映Iret顯著語義信息的顯著塊特征矢量集合,記為其中,Iret中的每個關(guān)鍵點(diǎn)的描述為該關(guān)鍵點(diǎn)的方向直方圖組成的特征矢量,表示Iret中的第i2個關(guān)鍵點(diǎn)的描述,為Iret中的第i2個關(guān)鍵點(diǎn)的方向直方圖組成的特征矢量,的維數(shù)為128×1,M2表示Iret中的關(guān)鍵點(diǎn)的總個數(shù),M2的值根據(jù)具體的Iret確定,表示從Iret中選取的第j2個顯著塊的特征矢量,的維數(shù)為192×1,N2表示從Iret中的所有顯著塊中選取的顯著塊的總個數(shù),N2的值根據(jù)具體的Iret確定。
在此具體實(shí)施例中,步驟②中從Iret中的所有顯著塊中選取部分顯著塊的過程為:計算Iret中的每個顯著塊中的所有像素點(diǎn)的像素值的平均值;然后按平均值從大到小的順序?qū)ret中的所有顯著塊進(jìn)行排序;再選取前70%的顯著塊;所述的步驟②中從Iret中選取的每個顯著塊的特征矢量為該顯著塊中的所有像素點(diǎn)的R、G、B分量組成的維數(shù)為192×1的列向量。
③采用最小角回歸方法對GO進(jìn)行字典訓(xùn)練操作,構(gòu)造得到Iorg的結(jié)構(gòu)字典表,記為是采用最小角回歸方法求解得到的;并采用最小角回歸方法對SO進(jìn)行字典訓(xùn)練操作,構(gòu)造得到Iorg的顯著字典表,記為是采用最小角回歸方法求解得到的;其中,的維數(shù)為128×K1,K1為設(shè)定的字典個數(shù),K1≥1,在本實(shí)施例中取K1=512,min{}為取最小值函數(shù),符號“|| ||2”為求取矩陣的2-范數(shù)符號,符號“|| ||0”為求取矩陣的0-范數(shù)符號,表示的基于的稀疏系數(shù)矩陣,的維數(shù)為K1×1,τ1為設(shè)定的稀疏度,在本實(shí)施例中取τ1=10,的維數(shù)為192×L1,L1為設(shè)定的字典個數(shù),L1≥1,在本實(shí)施例中取L1=512,表示的基于的稀疏系數(shù)矩陣,的維數(shù)為L1×1。
同樣,采用最小角回歸方法對GR進(jìn)行字典訓(xùn)練操作,構(gòu)造得到Iret的結(jié)構(gòu)字典表,記為是采用最小角回歸方法求解得到的;并采用最小角回歸方法對SR進(jìn)行字典訓(xùn)練操作,構(gòu)造得到Iret的顯著字典表,記為是采用最小角回歸方法求解得到的;其中,的維數(shù)為128×K2,K2為設(shè)定的字典個數(shù),K2≥1,在本實(shí)施例中取K2=256,表示的基于的稀疏系數(shù)矩陣,的維數(shù)為K2×1,τ2為設(shè)定的稀疏度,在本實(shí)施例中取τ2=4,的維數(shù)為192×L2,L2為設(shè)定的字典個數(shù),L2≥1,在本實(shí)施例中取L2=256,表示的基于的稀疏系數(shù)矩陣,的維數(shù)為L2×1。④為了描述在多大程度上能夠從原始圖像中提取出重定位圖像的結(jié)構(gòu)信息,根據(jù)和計算Iret相對于Iorg的結(jié)構(gòu)相似度,記為并為了描述在多大程度上能夠從原始圖像中提取出重定位圖像的顯著信息,根據(jù)和計算Iret相對于Iorg的顯著相似度,記為在此具體實(shí)施例中,步驟④中的的獲取過程為:④_1a、將和組合成一個新的結(jié)構(gòu)字典表,記為其中,的維數(shù)為128×(K2+K1),符號“[]”為矢量表示符號,表示將和連接起來形成一個新的矢量。④_2a、根據(jù)計算GR中的每個關(guān)鍵點(diǎn)的描述的基于的稀疏系數(shù)矩陣,將的基于的稀疏系數(shù)矩陣記為是采用最小角回歸方法求解得到的,其中,的維數(shù)為(K2+K1)×1。④_3a、獲取GR中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于的稀疏系數(shù)矩陣,將對應(yīng)于的稀疏系數(shù)矩陣記為并獲取GR中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于的稀疏系數(shù)矩陣,將對應(yīng)于的稀疏系數(shù)矩陣記為其中,的維數(shù)為(K2+K1)×1,α1,1表示對應(yīng)于的第1個原子的稀疏系數(shù),表示對應(yīng)于的第K2個原子的稀疏系數(shù),的維數(shù)為(K2+K1)×1,α2,1表示對應(yīng)于的第1個原子的稀疏系數(shù),表示對應(yīng)于的第K1個原子的稀疏系數(shù)。
④_4a、計算GR中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的稀疏重建誤差,將對應(yīng)于的稀疏重建誤差記為并計算GR中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的稀疏重建誤差,將對應(yīng)于的稀疏重建誤差記為
④_5a、計算GR中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的表決分值,將對應(yīng)于的表決分值記為并計算GR中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的表決分值,將對應(yīng)于的表決分值記為其中,如果則如果則
④_6a、計算其中,
在此具體實(shí)施例中,步驟④中的的獲取過程為:
④_1b、將和組合成一個新的顯著字典表,記為其中,的維數(shù)為192×(L2+L1),符號“[]”為矢量表示符號,表示將和連接起來形成一個新的矢量。
④_2b、根據(jù)計算SR中的每個顯著塊特征矢量的基于的稀疏系數(shù)矩陣,將的基于的稀疏系數(shù)矩陣記為是采用最小角回歸方法求解得到的,其中,的維數(shù)為(L2+L1)×1。
④_3b、獲取SR中的每個顯著塊特征矢量對應(yīng)于的稀疏系數(shù)矩陣,將對應(yīng)于的稀疏系數(shù)矩陣記為并獲取SR中的每個顯著塊特征矢量對應(yīng)于的稀疏系數(shù)矩陣,將對應(yīng)于的稀疏系數(shù)矩陣記為其中,的維數(shù)為(L2+L1)×1,γ1,1表示對應(yīng)于的第1個原子的稀疏系數(shù),表示對應(yīng)于的第L2個原子的稀疏系數(shù),的維數(shù)為(L2+L1)×1,γ2,1表示對應(yīng)于的第1個原子的稀疏系數(shù),表示對應(yīng)于的第L1個原子的稀疏系數(shù)。
④_4b、計算SR中的每個顯著塊特征矢量對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的稀疏重建誤差,將對應(yīng)于的稀疏重建誤差記為并計算SR中的每個顯著塊特征矢量對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的稀疏重建誤差,將對應(yīng)于的稀疏重建誤差記為
④_5b、計算SR中的每個顯著塊特征矢量對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的表決分值,將對應(yīng)于的表決分值記為并計算SR中的每個顯著塊特征矢量對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的表決分值,將對應(yīng)于的表決分值記為其中,如果則如果則
④_6b、計算其中,
同樣,為了描述在多大程度上能夠從重定位圖像中提取出原始圖像的結(jié)構(gòu)信息,根據(jù)和計算Iorg相對于Iret的結(jié)構(gòu)相似度,記為并為了描述在多大程度上能夠從重定位圖像中提取出原始圖像的顯著信息,根據(jù)和計算Iorg相對于Iret的顯著相似度,記為
在此具體實(shí)施例中,步驟④中的的獲取過程為:
④_1c、將和組合成一個新的結(jié)構(gòu)字典表,記為其中,的維數(shù)為128×(K1+K2),符號“[]”為矢量表示符號,表示將和連接起來形成一個新的矢量。
④_2c、根據(jù)計算GO中的每個關(guān)鍵點(diǎn)的描述的基于的稀疏系數(shù)矩陣,將的基于的稀疏系數(shù)矩陣記為是采用最小角回歸方法求解得到的,其中,的維數(shù)為(K1+K2)×1。
④_3c、獲取GO中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于的稀疏系數(shù)矩陣,將對應(yīng)于的稀疏系數(shù)矩陣記為并獲取GO中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于的稀疏系數(shù)矩陣,將對應(yīng)于的稀疏系數(shù)矩陣記為其中,的維數(shù)為(K1+K2)×1,β1,1表示對應(yīng)于的第1個原子的稀疏系數(shù),表示對應(yīng)于的第K1個原子的稀疏系數(shù),的維數(shù)為(K1+K2)×1,β2,1表示對應(yīng)于的第1個原子的稀疏系數(shù),表示對應(yīng)于的第K2個原子的稀疏系數(shù)。
④_4c、計算GO中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的稀疏重建誤差,將對應(yīng)于的稀疏重建誤差記為并計算GO中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的稀疏重建誤差,將對應(yīng)于的稀疏重建誤差記為
④_5c、計算GO中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的表決分值,將對應(yīng)于的表決分值記為并計算GO中的每個關(guān)鍵點(diǎn)的描述對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的表決分值,將對應(yīng)于的表決分值記為其中,如果則如果則
④_6c、計算其中,
在此具體實(shí)施例中,步驟④中的的獲取過程為:
④_1d、將和組合成一個新的顯著字典表,記為其中,的維數(shù)為192×(L1+L2),符號“[]”為矢量表示符號,表示將和連接起來形成一個新的矢量。
④_2d、根據(jù)計算SO中的每個顯著塊特征矢量的基于的稀疏系數(shù)矩陣,將的基于的稀疏系數(shù)矩陣記為是采用最小角回歸方法求解得到的,其中,的維數(shù)為(L1+L2)×1。
④_3d、獲取SO中的每個顯著塊特征矢量對應(yīng)于的稀疏系數(shù)矩陣,將對應(yīng)于的稀疏系數(shù)矩陣記為并獲取SO中的每個顯著塊特征矢量對應(yīng)于的稀疏系數(shù)矩陣,將對應(yīng)于的稀疏系數(shù)矩陣記為其中,的維數(shù)為(L1+L2)×1,η1,1表示對應(yīng)于的第1個原子的稀疏系數(shù),表示對應(yīng)于的第L1個原子的稀疏系數(shù),的維數(shù)為(L1+L2)×1,η2,1表示對應(yīng)于的第1個原子的稀疏系數(shù),表示對應(yīng)于的第L2個原子的稀疏系數(shù)。
④_4d、計算SO中的每個顯著塊特征矢量對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的稀疏重建誤差,將對應(yīng)于的稀疏重建誤差記為并計算SO中的每個顯著塊特征矢量對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的稀疏重建誤差,將對應(yīng)于的稀疏重建誤差記為
④_5d、計算SO中的每個顯著塊特征矢量對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的表決分值,將對應(yīng)于的表決分值記為并計算SO中的每個顯著塊特征矢量對應(yīng)于其所對應(yīng)的的稀疏系數(shù)矩陣的表決分值,將對應(yīng)于的表決分值記為其中,如果則如果則
④_6d、計算其中,
⑤根據(jù)和獲取Iret的質(zhì)量矢量,記為Q,其中,Q的維數(shù)為1×4,符號“[]”為矢量表示符號。
⑥將P幅重定位圖像構(gòu)成重定位圖像庫,將重定位圖像庫中的第p幅重定位圖像的平均主觀評分均值記為MOSp;接著按照步驟①至步驟⑤獲取Iret的質(zhì)量矢量Q的操作,以相同的方式獲取重定位圖像庫中的每幅重定位圖像的質(zhì)量矢量,將重定位圖像庫中的第p幅重定位圖像的質(zhì)量矢量記為Qp;其中,P>1,P的大小由重定位圖像庫而定,在本實(shí)施例中P=570,1≤p≤P,MOSp∈[1,5],Qp的維數(shù)為1×4。
⑦從重定位圖像庫中隨機(jī)選擇T幅重定位圖像構(gòu)成訓(xùn)練集,將重定位圖像庫中剩余的P-T幅重定位圖像構(gòu)成測試集,并令m表示迭代的次數(shù),其中,1<T<P,m的初始值為0。
⑧將訓(xùn)練集中的所有重定位圖像各自的質(zhì)量矢量和平均主觀評分均值構(gòu)成訓(xùn)練樣本數(shù)據(jù)集合;接著采用支持向量回歸作為機(jī)器學(xué)習(xí)的方法,對訓(xùn)練樣本數(shù)據(jù)集合中的所有質(zhì)量矢量進(jìn)行訓(xùn)練,使得經(jīng)過訓(xùn)練得到的回歸函數(shù)值與平均主觀評分均值之間的誤差最小,擬合得到最優(yōu)的支持向量回歸訓(xùn)練模型,記為f(Qinp);之后根據(jù)最優(yōu)的支持向量回歸訓(xùn)練模型,對測試集中的每幅重定位圖像的質(zhì)量矢量進(jìn)行測試,預(yù)測得到測試集中的每幅重定位圖像的客觀質(zhì)量評價預(yù)測值,將測試集中的第n幅重定位圖像的客觀質(zhì)量評價預(yù)測值記為Qualityn,Qualityn=f(Qn);然后令m=m+1;再執(zhí)行步驟⑨;其中,f()為函數(shù)表示形式,Qinp表示最優(yōu)的支持向量回歸訓(xùn)練模型的輸入矢量,1≤n≤P-T,Qn表示測試集中的第n幅重定位圖像的質(zhì)量矢量,m=m+1中的“=”為賦值符號。
⑨判斷m<M是否成立,如果成立,則重新隨機(jī)分配構(gòu)成訓(xùn)練集的T幅重定位圖像和構(gòu)成測試集的P-T幅重定位圖像,然后返回步驟⑧繼續(xù)執(zhí)行;否則,計算重定位圖像庫中的每幅重定位圖像的多個客觀質(zhì)量評價預(yù)測值的平均值,并將計算得到的平均值作為對應(yīng)那幅重定位圖像的最終的客觀質(zhì)量評價預(yù)測值;其中,M表示設(shè)定的總迭代次數(shù),M>100。
在本實(shí)施例中,采用本發(fā)明方法對香港中文大學(xué)建立的重定位圖像數(shù)據(jù)庫進(jìn)行測試,該重定位圖像數(shù)據(jù)庫包含57幅原始圖像,每幅原始圖像包含了由10種不同重定位方法得到的重定位圖像,這樣該重定位圖像數(shù)據(jù)庫共有570幅重定位圖像,并給出了每幅重定位圖像的平均主觀評分均值。這里,利用評估圖像質(zhì)量評價方法的4個常用客觀參量作為深度感知評價指標(biāo),即非線性回歸條件下的Pearson相關(guān)系數(shù)(Pearson linear correlation coefficient,PLCC)、Spearman相關(guān)系數(shù)(Spearman rank order correlation coefficient,SROCC)、Kendall相關(guān)系數(shù)(Kendall rank-order correlation coefficient,KROCC)、均方誤差(root mean squared error,RMSE),PLCC和RMSE反映重定位圖像的客觀評價結(jié)果的準(zhǔn)確性,SROCC和KROCC反映其單調(diào)性。
將利用本發(fā)明方法計算得到的570幅重定位圖像各自的客觀質(zhì)量評價預(yù)測值做五參數(shù)Logistic函數(shù)非線性擬合,PLCC、SROCC和KROCC值越高、RMSE值越小說明本發(fā)明方法的評價結(jié)果與平均主觀評分均值的相關(guān)性越好。表1給出了采用不同質(zhì)量矢量得到的客觀質(zhì)量評價預(yù)測值與平均主觀評分均值之間的相關(guān)性,從表1中可以看出,只采用部分質(zhì)量矢量得到的客觀質(zhì)量評價預(yù)測值與平均主觀評分均值之間的相關(guān)性并不是最優(yōu)的,這說明了本發(fā)明方法提取的質(zhì)量矢量信息是有效的,同時也說明了本發(fā)明方法建立的基于稀疏表示的質(zhì)量評價模型是準(zhǔn)確的,使得得到的客觀質(zhì)量評價預(yù)測值與平均主觀評分均值之間的相關(guān)性更強(qiáng),這足以說明本發(fā)明方法是可行且有效的。
表1采用不同質(zhì)量矢量得到的客觀質(zhì)量評價預(yù)測值與平均主觀評分均值之間的相關(guān)性