本發(fā)明涉及一種圖像質量評價方法,尤其是涉及一種基于全局信息的無參考屏幕圖像質量評價方法。
背景技術:
圖像是人類獲取信息的重要途徑,圖像質量表示圖像向人或設備提供信息的能力,直接關系著所獲取信息的充分性與準確性。然而,圖像在獲取、處理、傳輸和存儲的過程中,由于各種因素影響將不可避免的產生降質問題,這給信息的獲取或圖像的后期處理帶來了極大困難。因此,建立有效的圖像質量評價機制非常重要,如在圖像去噪、圖像融合等處理過程中可用于各種算法的性能比較、參數選擇;在圖像編碼與通信領域可用于指導整個圖像的傳輸過程并評估系統(tǒng)性能。
圖像質量評價方法可以分為兩類:主觀評價方法和客觀評價方法,前者是由觀察者對圖像質量進行評分,得到平均評價分用以衡量圖像質量;后者利用數學模型計算圖像質量。主觀評價方法的實驗結果比較可靠,但費時費力??陀^評價方法又可分為三類:全參考圖像質量評價方法、半參考圖像質量評價方法和無參考圖像質量評價方法,當前研究最多的是全參考圖像質量評價方法,但是多數應用中無法獲得相應的原始圖像,因此,無參考圖像質量評價方法的研究更具實用價值。
無參考圖像質量評價方法可分為特定失真評價方法和通用評價方法兩種,特定失真評價方法只能對某種特定失真類型的圖像進行評價,例如jpeg、jpeg2k及gblur失真等,無法對其它失真類型的圖像及多種處理技術處理后的圖像進行質量評價;通用評價方法可以同時對多種失真類型的圖像進行質量評價。
現有的通用無參考圖像質量評價方法主要針對一般的圖像,而針對特殊圖像(例如,屏幕圖像)的研究相對較少,由于屏幕圖像含有文字、圖形和圖像等內容,因此對屏幕圖像采用通用無參考的評價方法更具有挑戰(zhàn)性。
技術實現要素:
本發(fā)明所要解決的技術問題是提供一種基于全局信息的無參考屏幕圖像質量評價方法,其能夠充分考慮到全局信息變化對視覺質量的影響,從而能夠提高客觀評價結果與主觀感知之間的相關性。
本發(fā)明解決上述技術問題所采用的技術方案為:一種基于全局信息的無參考屏幕圖像質量評價方法,其特征在于包括以下步驟:
步驟①:令{id(i,j)}表示待評價的失真屏幕圖像,其中,1≤i≤w,1≤j≤h,w表示{id(i,j)}的寬度,h表示{id(i,j)}的高度,id(i,j)表示{id(i,j)}中坐標位置為(i,j)的像素點的像素值;
步驟②:對{id(i,j)}實施gabor濾波,得到{id(i,j)}在s個不同尺度和t個不同方向下的gabor幅值圖像和gabor相位圖像,將{id(i,j)}在第s個尺度和第t個方向下的gabor幅值圖像和gabor相位圖像對應記為
步驟③:采用clbp操作對{id(i,j)}在不同尺度和不同方向下的gabor幅值圖像進行處理,得到{id(i,j)}在不同尺度和不同方向下的gabor幅值圖像的clbp特征圖像,將
步驟④:計算{id(i,j)}在不同尺度和不同方向下的gabor幅值圖像的clbp特征圖像中像素值為m的所有像素點與{id(i,j)}在不同尺度和不同方向下的gabor相位圖像的lpq特征圖像中像素值為n的所有像素點的聯合概率函數值,將
步驟⑤:根據{id(i,j)}在不同尺度和不同方向下的gabor幅值圖像的clbp特征圖像中像素值為m的所有像素點與{id(i,j)}在不同尺度和不同方向下的gabor相位圖像的lpq特征圖像中像素值為n的所有像素點的聯合概率函數值,獲取{id(i,j)}在不同尺度和不同方向下的gabor幅值圖像的clbp特征圖像和{id(i,j)}在不同尺度和不同方向下的gabor相位圖像的lpq特征圖像各自的條件概率統(tǒng)計特征向量,將
步驟⑥:采用n”幅原始的無失真屏幕圖像,建立其在不同失真類型不同失真程度下的失真屏幕圖像集合,將該失真屏幕圖像集合作為訓練集,其包括多幅失真屏幕圖像;然后利用主觀質量評價方法評價出訓練集中的每幅失真屏幕圖像的主觀評分,將訓練集中的第k幅失真屏幕圖像的主觀評分記為dmosk;再按照步驟①至步驟⑤的操作,以相同的方式獲取訓練集中的每幅失真屏幕圖像在不同尺度和不同方向下的gabor幅值圖像的clbp特征圖像及在不同尺度和不同方向下的gabor相位圖像的lpq特征圖像各自的條件概率統(tǒng)計特征向量,將訓練集中的第k幅失真屏幕圖像在第s個尺度和第t個方向下的gabor幅值圖像的clbp特征圖像的條件概率統(tǒng)計特征向量記為
步驟⑦:利用支持向量回歸對訓練集中的所有失真屏幕圖像各自的主觀評分及各自在不同尺度和不同方向下的gabor幅值圖像的clbp特征圖像的條件概率統(tǒng)計特征向量、各自在不同尺度和不同方向下的gabor相位圖像的lpq特征圖像的條件概率統(tǒng)計特征向量進行訓練,使得經過訓練得到的回歸函數值與主觀評分之間的誤差最小,擬合得到最優(yōu)的權值矢量wopt和最優(yōu)的偏置項bopt;然后利用wopt和bopt構造得到支持向量回歸訓練模型;再根據支持向量回歸訓練模型,對
所述的步驟③中,clbp操作和lpq操作中的鄰域參數p取值為8。
與現有技術相比,本發(fā)明的優(yōu)點在于:
1)本發(fā)明方法采用符合人眼視覺特性的gabor濾波方法對屏幕圖像進行處理,得到屏幕圖像的多尺度和多方向信息,使得本發(fā)明方法能夠充分考慮到視覺感知特性。
2)本發(fā)明方法采用clbp(completedlocalbinarypttern,clbp)操作對屏幕圖像的多尺度多方向的幅值信息進行處理,得到全局clbp特征信息;并采用lpq(localphasequantization,lpq)操作對屏幕圖像的相位信息進行處理,得到全局lpq特征信息,得到的全局信息能夠很好的反映屏幕圖像的全局失真,從而能夠提高客觀評價結果與主觀感知之間的相關性。
3)本發(fā)明方法采用符合人腦機理特性的支持向量回歸(svr)預測得到待評價的失真屏幕圖像的客觀質量評價預測值,能有效地提高客觀評價結果與主觀感知之間的相關性。
附圖說明
圖1為本發(fā)明方法的總體實現框圖。
具體實施方式
以下結合附圖實施例對本發(fā)明作進一步詳細描述。
本發(fā)明提出的一種基于全局信息的無參考屏幕圖像質量評價方法,其總體實現框圖如圖1所示,其包括以下步驟:
步驟①:令{id(i,j)}表示待評價的失真屏幕圖像,其中,1≤i≤w,1≤j≤h,w表示{id(i,j)}的寬度,h表示{id(i,j)}的高度,id(i,j)表示{id(i,j)}中坐標位置為(i,j)的像素點的像素值。
步驟②:對{id(i,j)}實施gabor濾波,得到{id(i,j)}在s個不同尺度和t個不同方向下的gabor幅值圖像和gabor相位圖像,將{id(i,j)}在第s個尺度和第t個方向下的gabor幅值圖像和gabor相位圖像對應記為
在本實施例中,取s=3,t=4,共可得到12幅gabor幅值圖像和12幅gabor相位圖像;在具體處理時也可取s=4,t=6,這樣共可得到24幅gabor幅值圖像和24幅gabor相位圖像。
在本實施例中,對{id(i,j)}實施gabor濾波,獲取{id(i,j)}在s個不同尺度和o個不同方向下的gabor幅值圖像和gabor相位圖像采用現有技術。
步驟③:采用現有的clbp操作對{id(i,j)}在不同尺度和不同方向下的gabor幅值圖像進行處理,得到{id(i,j)}在不同尺度和不同方向下的gabor幅值圖像的clbp特征圖像,將
在本實施例中,步驟③中,clbp操作和lpq操作中的鄰域參數p取值為8、半徑參數r取值為1。
步驟④:計算{id(i,j)}在不同尺度和不同方向下的gabor幅值圖像的clbp特征圖像中像素值為m的所有像素點與{id(i,j)}在不同尺度和不同方向下的gabor相位圖像的lpq特征圖像中像素值為n的所有像素點的聯合概率函數值,將
通過上述計算,對于
步驟⑤:根據{id(i,j)}在不同尺度和不同方向下的gabor幅值圖像的clbp特征圖像中像素值為m的所有像素點與{id(i,j)}在不同尺度和不同方向下的gabor相位圖像的lpq特征圖像中像素值為n的所有像素點的聯合概率函數值,獲取{id(i,j)}在不同尺度和不同方向下的gabor幅值圖像的clbp特征圖像和{id(i,j)}在不同尺度和不同方向下的gabor相位圖像的lpq特征圖像各自的條件概率統(tǒng)計特征向量,將
步驟⑥:采用n”幅原始的無失真屏幕圖像,建立其在不同失真類型不同失真程度下的失真屏幕圖像集合,將該失真屏幕圖像集合作為訓練集,其包括多幅失真屏幕圖像;然后利用現有的主觀質量評價方法評價出訓練集中的每幅失真屏幕圖像的主觀評分,將訓練集中的第k幅失真屏幕圖像的主觀評分記為dmosk;再按照步驟①至步驟⑤的操作,以相同的方式獲取訓練集中的每幅失真屏幕圖像在不同尺度和不同方向下的gabor幅值圖像的clbp特征圖像及在不同尺度和不同方向下的gabor相位圖像的lpq特征圖像各自的條件概率統(tǒng)計特征向量,將訓練集中的第k幅失真屏幕圖像在第s個尺度和第t個方向下的gabor幅值圖像的clbp特征圖像的條件概率統(tǒng)計特征向量記為
步驟⑦:支持向量回歸(supportvectorregression,svr)是基于結構風險最小化準則的新型機器學習方法和統(tǒng)計學理論,其可以有效地抑制過擬合問題,因此本發(fā)明利用支持向量回歸對訓練集中的所有失真屏幕圖像各自的主觀評分及各自在不同尺度和不同方向下的gabor幅值圖像的clbp特征圖像的條件概率統(tǒng)計特征向量、各自在不同尺度和不同方向下的gabor相位圖像的lpq特征圖像的條件概率統(tǒng)計特征向量進行訓練,使得經過訓練得到的回歸函數值與主觀評分之間的誤差最小,擬合得到最優(yōu)的權值矢量wopt和最優(yōu)的偏置項bopt;然后利用wopt和bopt構造得到支持向量回歸訓練模型;再根據支持向量回歸訓練模型,對
為了進一步驗證本發(fā)明方法的可行性和有效性,進行實驗。
在此,采用ntu屏幕圖像庫來分析利用本發(fā)明方法得到的失真屏幕圖像的客觀質量評價預測值與主觀評分之間的相關性。這里,利用評估屏幕圖像質量評價方法的3個常用客觀參量作為評價指標,即非線性回歸條件下的pearson相關系數(pearsonlinearcorrelationcoefficient,plcc)、spearman相關系數(spearmanrankordercorrelationcoefficient,srocc)、均方誤差(rootmeansquarederror,rmse),plcc和rmse反映失真屏幕圖像的客觀評價結果的準確性,srocc反映其單調性。
利用本發(fā)明方法計算ntu屏幕圖像庫中的每幅失真屏幕圖像的客觀質量評價預測值,再利用現有的主觀質量評價方法獲得ntu屏幕圖像庫中的每幅失真屏幕圖像的主觀評分。將按本發(fā)明方法計算得到的失真屏幕圖像的客觀質量評價預測值做五參數logistic函數非線性擬合,plcc和srocc值越高,rmse值越低說明客觀評價方法的客觀評價結果與主觀評分之間的相關性越好。反映本發(fā)明方法的質量評價性能的plcc、srocc和rmse相關系數如表1所列。從表1所列的數據可知,按本發(fā)明方法得到的失真屏幕圖像的客觀質量評價預測值與主觀評分之間的相關性是很好的,表明客觀評價結果與人眼主觀感知的結果較為一致,足以說明本發(fā)明方法的可行性和有效性。
表1利用本發(fā)明方法得到的失真屏幕圖像的客觀質量評價預測值與主觀評分之間的相關性