專利名稱：基于區(qū)域分割的立體視頻視覺舒適度評(píng)價(jià)方法
技術(shù)領(lǐng)域：
本發(fā)明屬立體圖像評(píng)價(jià)技術(shù)領(lǐng)域，具體涉及一種基于區(qū)域分割的立體視頻視覺舒適度評(píng)價(jià)方法。
背景技術(shù)：
隨著多媒體技術(shù)和互聯(lián)網(wǎng)技術(shù)的大力發(fā)展，立體視頻技術(shù)正迅速發(fā)展起來。與傳統(tǒng)媒體相比，立體視頻能夠?yàn)榇蟊妱?chuàng)造更加直觀真實(shí)的場(chǎng)景感受，同時(shí)也可以獲得更加強(qiáng)烈的臨場(chǎng)感。但是由于立體視頻自身技術(shù)的不完善，也帶來了一些不利的影響。觀看者在觀看立體圖像時(shí)常用視覺舒適度這一概念反映主觀感受到的舒適程度，具體表現(xiàn)在觀看立體圖像一定時(shí)間后，眼睛的疲勞程度和身體的反映狀況等。與平面顯示不同，如果呈現(xiàn)給觀看者的立體圖像不符合人類視覺系統(tǒng)的成像規(guī)律，就會(huì)使觀看者產(chǎn)生視覺上的不舒適感，導(dǎo)致視疲勞、惡心、頭暈等癥狀。研究表明，人眼對(duì)呈現(xiàn)給左眼、右眼圖像的一致性要求很高，如果呈現(xiàn)給左、右眼的圖像的差異超過一定的范圍，人眼就無法融合成單一的立體圖像，從而導(dǎo)致觀看立體圖像時(shí)出現(xiàn)不舒適的癥狀。立體視頻內(nèi)容的舒適與否直接關(guān)系到觀看者的視覺感受與生理健康，這已經(jīng)成為立體產(chǎn)品迅速普及并被用戶廣泛認(rèn)同的主要制約因素之一。目前，立體圖像質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)大致可以分為兩類:基于視覺感知的測(cè)量方法和基于視覺興趣的測(cè)量方法。其中基于視覺興趣的圖像質(zhì)量評(píng)價(jià)方法的思想是:由于人眼觀看一幅圖像時(shí)只能對(duì)其中某一部分區(qū)域的細(xì)節(jié)具有良好的分辨能力，而不能同時(shí)分辨圖像中的其他區(qū)域，同時(shí)視覺只對(duì)視場(chǎng)中(亮度或紋理)發(fā)生顯著變化的區(qū)域感興趣，即人類的視覺具有一定的選擇性。所以將圖像分為視覺感興趣區(qū)(ROI, Region of Interest)和非感興趣區(qū)，并根據(jù)感興趣程度對(duì)其設(shè)定加權(quán)值。所謂的視覺感興趣區(qū)是指人眼只會(huì)對(duì)圖像中顯著變化的區(qū)域發(fā)生興趣仔細(xì)觀看，而對(duì)那些亮度均勻的平滑區(qū)域或空間頻率相近的紋理區(qū)則忽略掉。整幅圖像的視覺質(zhì)量往往取決于感興趣區(qū)的質(zhì)量，非感興趣區(qū)的圖像質(zhì)量的降低則影響較小。立體視頻系統(tǒng)中的圖像質(zhì)量評(píng)價(jià)是與立體視頻系統(tǒng)相關(guān)的所有技術(shù)的基礎(chǔ)。對(duì)立體圖像質(zhì)量評(píng)價(jià)的理解和深入程度，直接影響到立體視頻系統(tǒng)的發(fā)展速度。目前，對(duì)于立體圖像視覺舒適度的評(píng)價(jià)尚無統(tǒng)一的判定標(biāo)準(zhǔn)，因此，研究立體圖像/視頻內(nèi)容舒適度的影響因素將具有重要的意義，如何建立一個(gè)符合人類感知結(jié)果的立體圖像質(zhì)量客觀評(píng)價(jià)模型也顯得尤為重要。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于區(qū)域分割的立體視頻視覺舒適度評(píng)價(jià)方法，以提高評(píng)價(jià)結(jié)果的精度，使其更加接近真實(shí)的人類主觀感受。本發(fā)明的方法包括下列步驟:1.建立立體視頻視覺舒適度的評(píng)價(jià)模型，具體包括下列步驟:
1.1確定人類主觀評(píng)價(jià)中影響視覺舒適度評(píng)分的各種因素，包括:視覺疲勞、身體不適、注意力不集中；1.2進(jìn)行主觀評(píng)價(jià)實(shí)驗(yàn)，獲取主觀評(píng)價(jià)實(shí)驗(yàn)結(jié)果；1.3將步驟1.1影響視覺舒適度評(píng)分的各種因素和1.2獲得的實(shí)驗(yàn)結(jié)果繪制成特征曲線，并根據(jù)主觀評(píng)價(jià)實(shí)驗(yàn)的結(jié)果與視差深度d的邏輯關(guān)系，確定立體視頻視覺舒適度評(píng)價(jià)模型的數(shù)學(xué)表達(dá)式:vc = c^cf+c^cf+c^d+c^其中VC為視覺舒適度評(píng)分，c為特征參數(shù)，d為視差深度；2.立體視頻舒適度的評(píng)定，具體包括下列步驟:2.1將顯著性區(qū)域內(nèi)的運(yùn)動(dòng)對(duì)象和原視圖中的運(yùn)動(dòng)對(duì)象同時(shí)歸為運(yùn)動(dòng)區(qū)域，將剩下的背景對(duì)象歸為顯著性區(qū)域的背景部分；2.2按所處的不同區(qū)域，將主觀評(píng)價(jià)的實(shí)驗(yàn)結(jié)果填入縱坐標(biāo)為人類主觀評(píng)價(jià)得分M0S、橫坐標(biāo)為立體對(duì)象凸出或凹入屏幕的視差深度d的坐標(biāo)系中，將標(biāo)注點(diǎn)連成光滑曲線，得到對(duì)應(yīng)的函數(shù)；2.3選取步驟2.2所述坐標(biāo)系中光滑曲線上的觀測(cè)點(diǎn)所對(duì)應(yīng)的當(dāng)前幀左、右兩幅匹配視圖，求出其標(biāo)準(zhǔn)視差圖，再利用GBVS算法分別處理左、右視圖，得到各自的顯著性區(qū)域分布圖；2.4將步驟2.3所得顯著性區(qū)域分布圖與標(biāo)準(zhǔn)視差圖以閾值為0.5，按1:1的比例合成為一幅圖像，對(duì)此圖像進(jìn)行分割、提取，得到對(duì)應(yīng)的吸引人眼大部分注意力，可對(duì)實(shí)驗(yàn)結(jié)果造成較大偏差的顯著性特征區(qū)域；2.5采用高階檢測(cè)的辦法對(duì)相鄰兩幀視圖進(jìn)行處理，在抑制噪聲的同時(shí)得到兩幅視圖的運(yùn)動(dòng)區(qū)域；2.6對(duì)步驟2.5得到的兩幅視圖的運(yùn)動(dòng)區(qū)域進(jìn)行分割、提取，計(jì)算各自的視差深度d ；2.7根據(jù)步驟1.3的數(shù)學(xué)表達(dá)式，得到立體視頻視覺舒適度評(píng)分的數(shù)學(xué)表達(dá)式:
----3-2 ---3 -2 -VC = / (dM ,ds) = Wj (α; dM + a2 dM ~ + a3 dM +a4) + W2 ds +b2ds +h、ds+b4)其中:VC為視覺舒適度評(píng)分，dM為運(yùn)動(dòng)區(qū)域部分的視差深度，ds顯著性區(qū)域背景部分的視差深度，W1^ W2分別賦值為0.8、0.2, a” a2、a3、a4、b2、b3、b4可通過步驟1.2所得結(jié)果求得。步驟1.2中所述的主觀評(píng)價(jià)實(shí)驗(yàn)包括下列步驟:1.2.1選擇年齡為20-35歲，視力正常裸視或佩戴眼鏡矯正視力達(dá)到1.0、沒有會(huì)影響實(shí)驗(yàn)數(shù)據(jù)的眼部疾病，有立體視頻觀測(cè)經(jīng)驗(yàn)，且能夠正確透徹地理解評(píng)判標(biāo)準(zhǔn)，評(píng)分過程中不帶有主觀傾向性的專業(yè)人士作為觀測(cè)者；1.2.2采用國(guó)際視頻組織發(fā)布的標(biāo)準(zhǔn)序列作為立體視頻序列，且設(shè)定播發(fā)間隔為20s ； 1.2.3設(shè)定實(shí)驗(yàn)場(chǎng)景中觀測(cè)者與屏幕間的觀測(cè)距離L為3m，兩眼視距e為65mm ;1.2.4根據(jù)水平視差的定義和立體感原理，獲得相應(yīng)目標(biāo)區(qū)域的視差深度d: d=Lp/p-e其中:L、e為步驟1.2.3所設(shè)定的已知量，在忽略掉垂直視差的情況下，P為相鄰幀兩幅視圖的水平視差。為了抑制噪聲的干擾，提取出較為清晰的運(yùn)動(dòng)區(qū)域，可以采用高階統(tǒng)計(jì)的檢測(cè)方法，將運(yùn)動(dòng)區(qū)域的幀差看作是非高斯信號(hào)，噪聲看作是均值為零的高斯信號(hào)，這樣，運(yùn)動(dòng)區(qū)域的檢測(cè)就可以模擬為從高斯信號(hào)中提取非高斯信號(hào)的過程。通過GBVS算法提取出的顯著性區(qū)域?yàn)閳D像中最能引起觀測(cè)者興趣、最能表現(xiàn)圖像內(nèi)容的區(qū)域。這些區(qū)域所含的信息量大，對(duì)于圖像的分析和評(píng)分起著重要的作用。對(duì)于顯著性區(qū)域的選取，常用的方法是以人的注意力機(jī)制為基礎(chǔ)，通過數(shù)學(xué)模型模擬人類的注意力機(jī)制，實(shí)現(xiàn)對(duì)顯著性區(qū)域的自適應(yīng)提取，所提取的顯著性區(qū)域通常顏色突出、內(nèi)容豐富，可以很好地表現(xiàn)圖像的特征。本發(fā)明充分考慮影響舒適度評(píng)分結(jié)果的各部分區(qū)域，對(duì)放映設(shè)備、實(shí)驗(yàn)條件進(jìn)行標(biāo)定，分別對(duì)顯著性區(qū)域內(nèi)的背景部分與運(yùn)動(dòng)對(duì)象，通過設(shè)定權(quán)值實(shí)現(xiàn)對(duì)舒適度評(píng)價(jià)結(jié)果的優(yōu)化，建立了符合人類主觀感知結(jié)果的立體圖像質(zhì)量客觀評(píng)價(jià)模型，本發(fā)明對(duì)加快立體視頻系統(tǒng)的發(fā)展，具有不可估量的重要作用。


圖1為主觀評(píng)價(jià)實(shí)驗(yàn)場(chǎng)景布置示意2為水平視差定義和立體感知原理圖(負(fù)視差)圖3為水平視差定義和立體感知原理圖(正視差)圖4為主觀評(píng)價(jià)結(jié)果與視差深度坐標(biāo)圖(顯著性區(qū)域內(nèi)運(yùn)動(dòng)區(qū)域與背景部分)圖5為視覺舒適度評(píng)價(jià)系統(tǒng)框6為圖像中的顯著性區(qū)域示意6中可能吸引人類注意力的對(duì)象:1為老人背后的門，2為門前站立的老人，3為路上行走的路人，4為轎車
具體實(shí)施例方式以下結(jié)合附圖實(shí)例對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。本發(fā)明將從對(duì)放映設(shè)備參數(shù)的標(biāo)定和對(duì)立體視頻舒適度進(jìn)行評(píng)定兩個(gè)部分詳細(xì)說明以下實(shí)施方案。1.放映設(shè)備參數(shù)的標(biāo)定由于受不同型號(hào)實(shí)驗(yàn)設(shè)備以及實(shí)驗(yàn)條件的影響，觀測(cè)立體視頻進(jìn)行舒適度測(cè)評(píng)時(shí)的精確程度很難得到保障，因此需要首先對(duì)放映設(shè)備的參數(shù)進(jìn)行標(biāo)定。在這里，本發(fā)明通過一次人類主觀評(píng)價(jià)，對(duì)影響視覺舒適度評(píng)分的各種因素(如:視覺疲勞、身體不適、注意力不集中)與主觀評(píng)價(jià)實(shí)驗(yàn)結(jié)果之間的特征曲線進(jìn)行比較，建立了視覺舒適度評(píng)價(jià)模型，再結(jié)合主觀評(píng)價(jià)結(jié)果與視差深度d的邏輯關(guān)系，從而確定出視覺舒適度評(píng)價(jià)模型的函數(shù)關(guān)系式。本次主觀評(píng)價(jià)實(shí)驗(yàn)的參加者要求滿足如下條件:選擇年齡為20-35歲，視力正常(裸視或佩戴眼鏡矯正視力達(dá)到1.0，沒有對(duì)實(shí)驗(yàn)數(shù)據(jù)造成影響的眼部疾病)，有立體視頻觀測(cè)經(jīng)驗(yàn)，且能夠正確透徹地理解評(píng)判標(biāo)準(zhǔn)，評(píng)分過程中不帶有主觀傾向性的專業(yè)人士作為觀測(cè)者；立體視頻序列采用國(guó)際視頻組織發(fā)布的標(biāo)準(zhǔn)序列，且設(shè)定播放間隔為20s ;對(duì)于實(shí)驗(yàn)場(chǎng)景的布置可以參考圖1所示，其中，L為觀測(cè)者與屏幕之間的距離，根據(jù)國(guó)外相關(guān)實(shí)驗(yàn)室的研究結(jié)果表明，在距離屏幕3m處進(jìn)行觀測(cè)，可以得到較好的視覺效果，因此本次實(shí)驗(yàn)選定L為3m ;成年人兩眼間距e —般為65mm,因此這里選定e為65mm。在觀看立體視頻時(shí)，觀測(cè)者可以獲得較好的立體視覺沖擊，這是由于雙眼的真實(shí)匯聚點(diǎn)在屏幕內(nèi)、外造成的。如圖2所示，當(dāng)某物點(diǎn)的右像素點(diǎn)r位于左像素點(diǎn)I右側(cè)時(shí)，此物點(diǎn)具有正視差，再現(xiàn)立體深度(I1為負(fù),表示觀看者看到該物點(diǎn)位于顯示屏后方,如物點(diǎn)Q1 ;反之亦然，如圖3所示，當(dāng)某物點(diǎn)右像素點(diǎn)r位于左像素點(diǎn)I右側(cè)時(shí),此物點(diǎn)具有負(fù)視差，再現(xiàn)立體深度d2為正,表示觀看者看到該物點(diǎn)位于顯示屏前方,如物點(diǎn)Q2。圖2和圖3中P1、P2分別為視圖中對(duì)應(yīng)匹配的水平視差。根據(jù)水平視差的定義與立體感原理圖，可以得到視差深度d的關(guān)系式:
權(quán)利要求
1.種基于區(qū)域分割的立體視頻視覺舒適度評(píng)價(jià)方法，其特征在于包括下列步驟: 1.1建立立體視頻視覺舒適度的評(píng)價(jià)模型，具體包括下列步驟: 1.1.1確定人類主觀評(píng)價(jià)中影響視覺舒適度評(píng)分的各種因素，包括:視覺疲勞、身體不適、注意力不集中； 1.1.2進(jìn)行主觀評(píng)價(jià)實(shí)驗(yàn)，獲取主觀評(píng)價(jià)實(shí)驗(yàn)結(jié)果； 1.1.3將步驟1.1.1影響視覺舒適度評(píng)分的各種因素和1.1.2獲得的實(shí)驗(yàn)結(jié)果繪制成特征曲線，并根據(jù)主觀評(píng)價(jià)實(shí)驗(yàn)的結(jié)果與視差深度d的邏輯關(guān)系，確定立體視頻視覺舒適度評(píng)價(jià)模型的數(shù)學(xué)表 達(dá)式:vc = c^cf+c^cf+c^d+c^ 其中:VC為視覺舒適度評(píng)分，c為特征參數(shù)，d為視差深度； 1.2立體視頻舒適度的評(píng)定，具體包括下列步驟: 1.2.1將顯著性區(qū)域內(nèi)的運(yùn)動(dòng)對(duì)象和原視圖中的運(yùn)動(dòng)對(duì)象同時(shí)歸為運(yùn)動(dòng)區(qū)域，將剩下的背景對(duì)象歸為顯著性區(qū)域的背景部分； 1.2.2按所處的不同區(qū)域，將主觀評(píng)價(jià)的實(shí)驗(yàn)結(jié)果填入縱坐標(biāo)為人類主觀評(píng)價(jià)得分MOS、橫坐標(biāo)為立體對(duì)象凸出或凹入屏幕的視差深度d的坐標(biāo)系中，將標(biāo)注點(diǎn)連成光滑曲線，得到對(duì)應(yīng)的函數(shù)； 1.2.3選取步驟1.2.2所述坐標(biāo)系中光滑曲線上的觀測(cè)點(diǎn)所對(duì)應(yīng)的當(dāng)前幀左、右兩幅匹配視圖，求出其標(biāo)準(zhǔn)視差圖，再利用GBVS算法分別處理左、右視圖，得到各自的顯著性區(qū)域分布圖； 1.2.4將步驟1.2.3所得顯著性區(qū)域分布圖與標(biāo)準(zhǔn)視差圖以閾值為0.5，按1:1的比例合成為一幅圖像，對(duì)此圖像進(jìn)行分割、提取，得到對(duì)應(yīng)的吸引人眼大部分注意力，可對(duì)實(shí)驗(yàn)結(jié)果造成較大偏差的顯著性特征區(qū)域； 1.2.5采用高階檢測(cè)的辦法對(duì)相鄰兩幀視圖進(jìn)行處理，在抑制噪聲的同時(shí)得到兩幅視圖的運(yùn)動(dòng)區(qū)域； 1.2.6對(duì)步驟1.2.5得到的兩幅視圖的運(yùn)動(dòng)區(qū)域進(jìn)行分割、提取，計(jì)算各自的視差深度d ； 1.2.7根據(jù)步驟1.1.3的數(shù)學(xué)表達(dá)式，得到立體視頻視覺舒適度評(píng)分的數(shù)學(xué)表達(dá)式: ■..........................1...........................0...........................^..........1............1t =/(i/w,4)= + q 4 + 9 4ι+ Φ+ ^.Ρ§ + P § + P^+ I 其中:vc為視覺舒適度評(píng)分，dM為運(yùn)動(dòng)區(qū)域部分的視差深度，ds為顯著性區(qū)域背景部分的視差深度，W1^ W2分別賦值為0.8、0.2, a2、a3、a4、b2、b3、b4可通過步驟1.1.2所得結(jié)果求得。
2.權(quán)利要求1所述的基于區(qū)域分割的立體視頻視覺舒適度評(píng)價(jià)方法，其特征在于步驟1.1.2所述的主觀評(píng)價(jià)實(shí)驗(yàn)包括下列步驟: 2.1選擇年齡為20-35歲，視力正常一裸視或佩戴眼鏡矯正視力達(dá)到1.0、沒有會(huì)影響實(shí)驗(yàn)數(shù)據(jù)的眼部疾病，有立體視頻觀測(cè)經(jīng)驗(yàn)，且能夠正確透徹地理解評(píng)判標(biāo)準(zhǔn)，評(píng)分過程中不帶有主觀傾向性的專業(yè)人士作為觀測(cè)者； 2.2采用國(guó)際視頻組織發(fā)布的標(biāo)準(zhǔn)序列作為立體視頻序列，且設(shè)定播發(fā)間隔為20s ； 2.3設(shè)定實(shí)驗(yàn)場(chǎng)景中觀測(cè)者與屏幕間的觀測(cè)距離L為3m，兩眼視距e為65mm ; 2.4根據(jù)水平視差的定義和立體感原理，獲得相應(yīng)目標(biāo)區(qū)域的視差深度d:d=LP/p-e 其中:L、e為步驟2.3所設(shè)定的已知量，在忽略掉垂直視差的情況下，P為相鄰幀兩幅視圖的水平視差。
3.權(quán)利要求1所述的基于區(qū)域分割的立體視頻視覺舒適度評(píng)價(jià)方法，其特征在于步驟1.2中所述的顯著性區(qū)域?yàn)閳D像中最能引起觀測(cè)者興趣、最能表現(xiàn)圖像內(nèi)容的區(qū)域；這些區(qū)域所含的信息量大，對(duì)于圖像的分析和評(píng)分起著重要的作用；對(duì)于顯著性區(qū)域的選取，常用的方法是以人的注意力機(jī)制為基礎(chǔ)，通過數(shù)學(xué)模型模擬人類的注意力機(jī)制，實(shí)現(xiàn)對(duì)顯著性區(qū)域的自適應(yīng)提取，所提取的顯著性區(qū)域通常顏色突出、內(nèi)容豐富，能很好地表現(xiàn)圖像的特征。
全文摘要
基于區(qū)域分割的立體視頻視覺舒適度評(píng)價(jià)方法屬立體圖像評(píng)價(jià)技術(shù)領(lǐng)域，本發(fā)明首先自適應(yīng)地分割提取出立體視頻序列中的運(yùn)動(dòng)區(qū)域和背景部分的顯著性區(qū)域，結(jié)合深度感知理論和空間合并技術(shù)，對(duì)視覺舒適度這一特征量進(jìn)行建模，利用線性回歸的方法，再結(jié)合人類主觀評(píng)價(jià)實(shí)驗(yàn)結(jié)果與視差深度之間的邏輯關(guān)系，選取契合人類主觀評(píng)價(jià)結(jié)果的待定系數(shù)及其特征權(quán)值，實(shí)現(xiàn)對(duì)立體視頻舒適度自適應(yīng)的評(píng)定。本發(fā)明對(duì)放映設(shè)備、實(shí)驗(yàn)條件進(jìn)行標(biāo)定，分別對(duì)顯著性區(qū)域內(nèi)的背景部分與運(yùn)動(dòng)對(duì)象，通過設(shè)定權(quán)值實(shí)現(xiàn)對(duì)舒適度評(píng)價(jià)結(jié)果的優(yōu)化，建立了符合人類主觀感知結(jié)果的立體圖像質(zhì)量客觀評(píng)價(jià)模型，本發(fā)明對(duì)加快立體視頻系統(tǒng)的發(fā)展，具有不可估量的重要作用。
文檔編號(hào)H04N13/00GK103096125SQ20131005725
公開日2013年5月8日 申請(qǐng)日期2013年2月22日 優(yōu)先權(quán)日2013年2月22日
發(fā)明者王世剛, 王小雨, 呂源治, 趙巖, 王學(xué)軍, 李雪松, 俞玨瓊, 孫愛朦 申請(qǐng)人:吉林大學(xué)