一種立體圖像視覺舒適度客觀評(píng)價(jià)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種圖像質(zhì)量評(píng)價(jià)方法，尤其是設(shè)及一種立體圖像視覺舒適度客觀評(píng) 價(jià)方法。
【背景技術(shù)】
[0002] 隨著立體視頻顯示技術(shù)和高質(zhì)量立體視頻內(nèi)容獲取技術(shù)的快速發(fā)展，立體視頻的 視覺體驗(yàn)質(zhì)量（QoE，QualityofExperience)是立體視頻系統(tǒng)設(shè)計(jì)中的一個(gè)重要問題，而 視覺舒適度（VC，VisualComfort)是影響立體視頻的視覺體驗(yàn)質(zhì)量的重要因素。目前，對(duì) 立體視頻/立體圖像的質(zhì)量評(píng)價(jià)研究主要考慮了內(nèi)容失真對(duì)于圖像質(zhì)量的影響，而很少考 慮視覺舒適度等因素的影響。因此，為了提高觀看者的視覺體驗(yàn)質(zhì)量，研究立體視頻/立體 圖像的視覺舒適度客觀評(píng)價(jià)模型對(duì)指導(dǎo)3D內(nèi)容的制作和后期處理具有十分重要的作用。
[0003] 傳統(tǒng)的立體圖像視覺舒適度客觀評(píng)價(jià)方法主要采用全局的視差統(tǒng)計(jì)特性來預(yù)測(cè) 視覺舒適度。然而，過大的雙目視差、人眼焦點(diǎn)調(diào)節(jié)與福轅機(jī)制沖突通常被認(rèn)為是引起視覺 不舒適的主要原因。人眼的雙眼融合機(jī)制為具有水平視差的左、右眼物像融合成具有立體 感的單一清晰物像提供了生理保證，然而如果水平視差過大，則會(huì)導(dǎo)致物像落在Panum融 合區(qū)域外，人眼將無法正常形成雙眼單視性，長(zhǎng)時(shí)間觀看容易造成嚴(yán)重的視覺疲勞；此外， 不同于自然觀看條件下人眼焦點(diǎn)調(diào)節(jié)與福轅機(jī)制的一致性（調(diào)節(jié)距離和福轅距離都在觀 看屏幕上），在觀看立體圖像時(shí)，人眼焦點(diǎn)調(diào)節(jié)與福轅機(jī)制會(huì)產(chǎn)生不同程度的沖突，同樣會(huì) 影響觀看者的視覺體驗(yàn)質(zhì)量。因此，如何在評(píng)價(jià)過程中有效地表征上述人眼視覺處理機(jī)制， 使得客觀評(píng)價(jià)結(jié)果更加感覺符合人類視覺系統(tǒng)，是在對(duì)立體圖像進(jìn)行視覺舒適度客觀評(píng)價(jià) 過程中需要研究解決的問題。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是提供一種立體圖像視覺舒適度客觀評(píng)價(jià)方法，其能 夠有效地提高客觀評(píng)價(jià)結(jié)果與主觀感知之間的相關(guān)性。
[0005] 本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為；一種立體圖像視覺舒適度客觀評(píng) 價(jià)方法，其特征在于包括W下步驟：
[0006] ①將待評(píng)價(jià)的立體圖像的左視點(diǎn)圖像記為也(X，y)}，將待評(píng)價(jià)的立體圖像的右 視點(diǎn)圖像記為{Ic(x，y)}，將待評(píng)價(jià)的立體圖像的右視差圖像記為{屯片7)}，其中，此處 (X，y)表示待評(píng)價(jià)的立體圖像中的像素點(diǎn)的坐標(biāo)位置，1《X《W，1《y《H，W表示待評(píng)價(jià) 的立體圖像的寬度，H表示待評(píng)價(jià)的立體圖像的高度，I^x，y)表示（I^x，y)}中坐標(biāo)位置 為（x，y)的像素點(diǎn)的像素值，lE(x，y)表示{lE(x，y)}中坐標(biāo)位置為（x，y)的像素點(diǎn)的像素 值，dK(x，y)表示（dK(x，y)}中坐標(biāo)位置為（x，y)的像素點(diǎn)的像素值；
[0007] ②利用基于圖論的視覺顯著模型提取出也片y)}的顯著圖，記為怯ME(x，y)};然后根據(jù)怯ME(x，y)}和{屯片州，獲取{lE(x，y)}的視覺顯著圖，記為 化,6,6。片7)}，將化16^片7)}中坐標(biāo)位置為片7)的像素點(diǎn)的像素值記為55,6,6。片7)， 、。，。(-r，>'）=巧j) +CT;X(//,(.v，.r);其中，SMk(X，y)表示怯Mk(X，y)}中坐標(biāo)位置為 (X，y)的像素點(diǎn)的像素值，巧表示SMk(x，y)的權(quán)重，町表示屯片y)的權(quán)重，巧+聽=1 ;
[0008]⑨根據(jù)怯stere。^，y)}和（屯片y)}，獲?。ㄍ推瑈)}中的所有像素點(diǎn)的顯著加權(quán)視 差幅值fl、顯著加權(quán)視差對(duì)比度f2、顯著加權(quán)視差散度fs、顯著加權(quán)視差偏度f4、平均最大視 差fs和平均最小視差f6,然后將fi、f2、fs、f4、fs和f浪順序進(jìn)行排列得到{cU(X，y)}的初 級(jí)視覺特征矢量，記為Fp，F(xiàn)p= [f。f2,fs，f4,fs，fe]，其中，F(xiàn)p的維數(shù)為6,符號(hào)"□"為矢量 表不符號(hào)；
[0009] ④利用視差轉(zhuǎn)換算法計(jì)算{dE(x，y)}的角視差圖像；然后利用不同神經(jīng)元的視差 調(diào)制函數(shù)對(duì){dE(x，y)}的角視差圖像進(jìn)行調(diào)制操作，得到{dE(x，y)}的角視差圖像中的不同 神經(jīng)元在不同視差區(qū)間的響應(yīng)；再根據(jù){dc(x，y)}的角視差圖像中的不同神經(jīng)元在不同視 差區(qū)間的響應(yīng)，獲取{dE(x，y)}的高級(jí)視覺特征矢量，記為Fa，F(xiàn)a=[r1，r2,…，rj，=片I， 其中，F(xiàn)g的維數(shù)為13,符號(hào)"□"為矢量表示符號(hào)，1《i《13,符號(hào)"II"為取絕對(duì)值符號(hào)， 表示{dc(x，y)}的角視差圖像中的第i個(gè)神經(jīng)元在所有視差區(qū)間的響應(yīng)構(gòu)成的向量經(jīng)最 大池化后得到的特征矢量；
[0010] ⑥將Fp和F。組合成一個(gè)新的特征矢量，記為X，X= [Fp，F(xiàn)j，然后將X作為待評(píng)價(jià) 的立體圖像的特征矢量，其中，符號(hào)"□"為矢量表示符號(hào)，X= [Fp，F(xiàn)j表示將Fp和F。連接 起來形成一個(gè)新的特征矢量；
[0011] ⑧將M副各不相同的立體圖像構(gòu)成一個(gè)立體圖像集合；然后利用主觀質(zhì)量評(píng)價(jià)方 法獲取立體圖像集合中的每副立體圖像的視覺舒適度的平均主觀評(píng)分均值，將立體圖像集 合中的第m副立體圖像的視覺舒適度的平均主觀評(píng)分均值記為MOSm;再按照步驟①至步驟 ⑥獲取待評(píng)價(jià)的立體圖像的特征矢量X的操作，W相同的方式獲取立體圖像集合中的每幅 立體圖像的特征矢量，將立體圖像集合中的第m副立體圖像的特征矢量記為Xm;其中，M表 示立體圖像集合中包含的立體圖像的幅數(shù)，M> 1，1《m《M，MOSmG[1，引；
[0012] ⑦將立體圖像集合中的所有立體圖像分成訓(xùn)練集和測(cè)試集，將訓(xùn)練集中的所有立 體圖像的特征矢量和視覺舒適度的平均主觀評(píng)分均值構(gòu)成訓(xùn)練樣本數(shù)據(jù)集合，將測(cè)試集中 的所有立體圖像的特征矢量和視覺舒適度的平均主觀評(píng)分均值構(gòu)成測(cè)試樣本數(shù)據(jù)集合；然 后采用支持向量回歸作為機(jī)器學(xué)習(xí)的方法，對(duì)訓(xùn)練樣本數(shù)據(jù)集合中的所有特征矢量進(jìn)行訓(xùn) 練，使得經(jīng)過訓(xùn)練得到的回歸函數(shù)值與平均主觀評(píng)分均值之間的誤差最小，擬合得到最優(yōu) 的權(quán)重矢量w°Pt和最優(yōu)的偏置項(xiàng)b接著利用W和b構(gòu)造得到支持向量回歸訓(xùn)練模型； 再根據(jù)支持向量回歸訓(xùn)練模型，對(duì)測(cè)試樣本數(shù)據(jù)集合中的每個(gè)特征矢量進(jìn)行測(cè)試，預(yù)測(cè)得 到測(cè)試樣本數(shù)據(jù)集合中的每個(gè)特征矢量對(duì)應(yīng)的立體圖像的客觀視覺舒適度評(píng)價(jià)預(yù)測(cè)值，將 測(cè)試樣本數(shù)據(jù)集合中的第q個(gè)特征矢量對(duì)應(yīng)的立體圖像的客觀視覺舒適度評(píng)價(jià)預(yù)測(cè)值記 為9。，9。=^《。)，/'巧9)=(八。'")>戰(zhàn))+滬"，其中，1《(1《1-5,8表示訓(xùn)練集中包含的立 體圖像的幅數(shù)，fO為函數(shù)表示形式，X。表示測(cè)試樣本數(shù)據(jù)集合中的第q個(gè)特征矢量， T為W的轉(zhuǎn)置矩陣，口(Xg)表示測(cè)試樣本數(shù)據(jù)集合中的第q個(gè)特征矢量的線性函數(shù)；之后 通過重新分配訓(xùn)練集和測(cè)試集，重新預(yù)測(cè)得到測(cè)試樣本數(shù)據(jù)集合中的每個(gè)特征矢量對(duì)應(yīng)的 立體圖像的客觀視覺舒適度評(píng)價(jià)預(yù)測(cè)值，經(jīng)過N次迭代后計(jì)算立體圖像集合中的每幅立體 圖像的多個(gè)客觀視覺舒適度評(píng)價(jià)預(yù)測(cè)值的平均值，并將計(jì)算得到的平均值作為對(duì)應(yīng)那幅立 體圖像的最終的客觀視覺舒適度評(píng)價(jià)預(yù)測(cè)值，其中，N〉100。
[0013] 所述的步驟⑨的具體過程為：
[0014] ⑨-1、根據(jù)怯stere〇(X，y)}和{dE(X，y)}，計(jì)算{dE(X，y)}中的所有像素點(diǎn)的顯著加 權(quán)視差幅值，記為fl，
【主權(quán)項(xiàng)】
1. 一種立體圖像視覺舒適度客觀評(píng)價(jià)方法，其特征在于包括以下步驟： ① 將待評(píng)價(jià)的立體圖像的左視點(diǎn)圖像記為！A(x，y)}，將待評(píng)價(jià)的立體圖像的右視點(diǎn) 圖像記為{IK(x，y)}，將待評(píng)價(jià)的立體圖像的右視差圖像記為{dK(x，y)}，其中，此處（x，y) 表示待評(píng)價(jià)的立體圖像中的像素點(diǎn)的坐標(biāo)位置，l<x<W，l<y<H，W表示待評(píng)價(jià)的 立體圖像的寬度，H表示待評(píng)價(jià)的立體圖像的高度，IJx，y)表示{IJX，y)}中坐標(biāo)位置為 (x，y)的像素點(diǎn)的像素值，IK(x，y)表示{IK(x，y)}中坐標(biāo)位置為（x，y)的像素點(diǎn)的像素值， dK(x，y)表示{dK(x，y)}中坐標(biāo)位置為（x，y)的像素點(diǎn)的像素值； ② 利用基于圖論的視覺顯著模型提取出{IK(x，y)}的顯著圖，記為{SMK(x，y)};然 后根據(jù){SMK (X，y)}和{dK (X，y)}，獲取{IK (X，y)}的視覺顯著圖，記為{SstOTe。(X，y)}， 將{SsteOT(x，y)}中坐標(biāo)位置為（x，y)的像素點(diǎn)的像素值記為S&^ky)， (X，y)的像素點(diǎn)的像素值，％表示SMK(x,y)的權(quán)重，ar2表示dK(x,y)的權(quán)重，％ =1; ③ 根據(jù)出&^匕一丨和丨士匕":^獲取丨士匕一丨中的所有像素點(diǎn)的顯著加權(quán)視差幅 值、顯著加權(quán)視差對(duì)比度f2、顯著加權(quán)視差散度&、顯著加權(quán)視差偏度&、平均最大視差4 和平均最小視差f6，然后將f\、f2、f3、f4、4和f6按順序進(jìn)行排列得到{dK(x，y)}的初級(jí)視 覺特征矢量，記為FP，F(xiàn)P=[fpf2,f3,f4,f5,f6]，其中，F(xiàn)#維數(shù)為6,符號(hào)"[]"為矢量表示 符號(hào)； ④ 利用視差轉(zhuǎn)換算法計(jì)算{dK(x，y)}的角視差圖像；然后利用不同神經(jīng)元的視差調(diào)制 函數(shù)對(duì){dK(x，y)}的角視差圖像進(jìn)行調(diào)制操作，得到{dK(x，y)}的角視差圖像中的不同神經(jīng) 元在不同視差區(qū)間的響應(yīng)；再根據(jù){dK(x，y)}的角視差圖像中的不同神經(jīng)元在不同視差區(qū) 間的響應(yīng)，獲取{dK(x,y)}的高級(jí)視覺特征矢量，記為Fa，F(xiàn)a=[rr2，…，r13]，G=|i;|，其 中，匕的維數(shù)為13,符號(hào)"[]"為矢量表示符號(hào)，1 <i< 13,符號(hào)"|I"為取絕對(duì)值符號(hào)， A表示{dK(x，y)}的角視差圖像中的第i個(gè)神經(jīng)元在所有視差區(qū)間的響應(yīng)構(gòu)成的向量經(jīng)最 大池化后得到的特征矢量； ⑤ 將FjPFa組合成一個(gè)新的特征矢量，記為X，X=[Fp，F(xiàn)J，然后將X作為待評(píng)價(jià)的立 體圖像的特征矢量，其中，符號(hào)"[]"為矢量表示符號(hào)，X= [FP，F(xiàn)J表示將FjPFa連接起 來形成一個(gè)新的特征矢量； ⑥ 將M副各不相同的立體圖像構(gòu)成一個(gè)立體圖像集合；然后利用主觀質(zhì)量評(píng)價(jià)方法獲 取立體圖像集合中的每副立體圖像的視覺舒適度的平均主觀評(píng)分均值，將立體圖像集合中 的第m副立體圖像的視覺舒適度的平均主觀評(píng)分均值記為MOSm;再按照步驟①至步驟⑤獲 取待評(píng)價(jià)的立體圖像的特征矢量X的操作，以相同的方式獲取立體圖像集合中的每幅立體 圖像的特征矢量，將立體圖像集合中的第m副立體圖像的特征矢量記為Xm;其中，M表示立 體圖像集合中包含的立體圖像的幅數(shù)，M彡1，1彡m彡M，MOSmG[1，5]; ⑦ 將立體圖像集合中的所有立體圖像分成訓(xùn)練集和測(cè)試集，將訓(xùn)練集中的所有立體圖 像的特征矢量和視覺舒適度的平均主觀評(píng)分均值構(gòu)成訓(xùn)練樣本數(shù)據(jù)集合，將測(cè)試集中的所 有立體圖像的特征矢量和視覺舒適度的平均主觀評(píng)分均值構(gòu)成測(cè)試樣本數(shù)據(jù)集合；然后采 用支持向量回歸作為機(jī)器學(xué)習(xí)的方法，對(duì)訓(xùn)練樣本數(shù)據(jù)集合中的所有特征矢量進(jìn)行訓(xùn)練， 使得經(jīng)過訓(xùn)練得到的回歸函數(shù)值與平均主觀評(píng)分均值之間的誤差最小，擬合得到最優(yōu)的權(quán) 重矢量￥_和最