一種基于小波變換的立體視頻質(zhì)量客觀評價方法
【技術(shù)領域】
[0001] 本發(fā)明設及一種立體視頻質(zhì)量評價方法，尤其是設及一種基于小波變換的立體視 頻質(zhì)量客觀評價方法。
【背景技術(shù)】
[0002] 隨著視頻編碼技術(shù)和顯示技術(shù)的迅速發(fā)展，各類視頻系統(tǒng)得到了越來越廣泛的應 用和關注，并逐漸成為了信息處理領域的研究重點。而立體視頻由于其突出的觀看感受， 更是越來越多的得到了人們的青睞，其相關技術(shù)的應用已經(jīng)大量的融入到當前的社會生活 中，例如立體電視、立體電影、裸眼3D等。然而，在立體視頻的采集、壓縮、編碼、傳輸、顯示 等過程中會因為一系列不可控制的因素而不可避免地引入不同程度和類型的失真。因此， 如何準確有效地度量視頻質(zhì)量對于各類視頻系統(tǒng)的發(fā)展起到了重要的推動作用。立體視頻 質(zhì)量評價可分為主觀評價和客觀評價兩大類，而當前立體視頻質(zhì)量評價領域的關鍵在于如 何建立一種準確有效的客觀評價模型來評價立體視頻客觀質(zhì)量。目前，大多數(shù)立體視頻質(zhì) 量客觀評價方法只是簡單的將平面視頻質(zhì)量評價方法分別用于左視點質(zhì)量和右視點質(zhì)量 的評價，該類方法沒有很好地處理視點間的關系，也并沒有考慮到立體視頻中深度感知對 于立體視頻質(zhì)量的影響，因此準確性較差。有部分方法雖然考慮到了雙目之間的關系，但左 視點與右視點之間的加權(quán)處理不合理，難W準確地描述人眼對于立體視頻的感知特性，且 目前大部分對立體視頻質(zhì)量評價的時域加權(quán)處理只是簡單的平均加權(quán)，而事實上，人眼對 立體視頻的時域感知并非只是簡單的平均加權(quán)。因此，現(xiàn)有的立體視頻質(zhì)量客觀評價方法 并不能準確地反映人眼感知特性，客觀評價結(jié)果不夠準確。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明所要解決的技術(shù)問題是提供一種基于小波變換的立體視頻質(zhì)量客觀評價 方法，其能夠有效地提高客觀評價結(jié)果與主觀感知之間的相關性。
[0004] 本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為；一種基于小波變換的立體視頻質(zhì) 量客觀評價方法，其特征在于包括W下步驟：
[0005] ①令表示原始的無失真的立體視頻，令Vdk表示待評價的失真的立體視頻；
[0006] ②計算V"g中的每帖立體圖像中的每個像素點的雙目融合亮度，將V中 的第f帖立體圖像中坐標位置為（U，V)的像素點的雙目融合亮度記為公,t.、，(u，v，），
【主權(quán)項】
1. 一種基于小波變換的立體視頻質(zhì)量客觀評價方法，其特征在于包括以下步驟： ① 令vOTg表示原始的無失真的立體視頻，令vdis表示待評價的失真的立體視頻； ② 計算vOTg中的每幀立體圖像中的每個像素點的雙目融合亮度，將VOTg中的 第f幀立體圖像中坐標位置為（u，V)的像素點的雙目融合亮度記為見V)，
然后根據(jù)VOTg中 的每幀立體圖像中的所有像素點各自的雙目融合亮度，得到VOTg中的每幀立體圖像的雙目 融合亮度圖，將VOTg中的第f幀立體圖像的雙目融合亮度圖記為及^，中坐標位置為 (u，v)的像素點的像素值為化；再根據(jù)VOTg中的所有立體圖像各自的雙目融合亮度 圖，得到VOTg對應的雙目融合亮度圖視頻，記為BOTg，BOTg中的第f?幀雙目融合亮度圖為盡^ ; 并，計算Vdis中的每幀立體圖像中的每個像素點的雙目融合亮度，將Vdis中 的第f幀立體圖像中坐標位置為（u，v)的像素點的雙目融合亮度記為及￡(w,v)，
瘩后根據(jù)Vdis中 的每幀立體圖像中的所有像素點各自的雙目融合亮度，得到Vdis中的每幀立體圖像的雙 目融合亮度圖，將Vdis中的第f幀立體圖像的雙目融合亮度圖記為盡￡，5^,中坐標位置 為（u,v)的像素點的像素值為/%,(〃,V);再根據(jù)Vdis中的所有立體圖像各自的雙目融合亮 度圖，得到Vdis對應的雙目融合亮度圖視頻，記為及^中的第f幀雙目融合亮度圖為 B-L' 其中，1 <f<Nf，f的初始值為l，Nf表示VOTg和Vdis中各自包含的立體圖像的總幀數(shù)， 1彡u彡U，1彡v彡V，U表示VOTg和Vdis中各自包含的立體圖像的寬度，V表示VOTg和Vdis 中各自包含的立體圖像的高度，表示VOTg中的第f幀立體圖像的右視點圖像中坐 標位置為（u，v)的像素點的亮度值，表示VOTg中的第f?幀立體圖像的左視點圖像 中坐標位置為（u，v)的像素點的亮度值，表示Vdis中的第f幀立體圖像的右視點 圖像中坐標位置為（u，v)的像素點的亮度值，表示Vdis中的第f幀立體圖像的左 視點圖像中坐標位置為（u，v)的像素點的亮度值，0表示融合角度，X表示顯示器的亮度參 數(shù)； ③ 以2,雙目融合亮度圖為一個幀組，將BOTg和Bdis分別分為n_個幀組，將BOTg中 的第i個幀組記為戌@，將Bdis中的第i個幀組記為其中，n取區(qū)間[3,5]內(nèi)的整數(shù)， f，符號"LJ"為向下取整符號，1彡i彡nCoF; ④ 對BOTg中的每個幀組進行一級三維小波變換，得到BOTg中的每個幀組對應的8組子帶 序列，其中，8組子帶序列包括4組時域高頻子帶序列和4組時域低頻子帶序列，每組子帶序 列包含|個小波系數(shù)矩陣； 同樣，對Bdis中的每個幀組進行一級三維小波變換，得到Bdis中的每個幀組對應的8組 子帶序列，其中，8組子帶序列包括4組時域高頻子帶序列和4組時域低頻子帶序列，每組子 帶序列包含f個小波系數(shù)矩陣； ⑤ 計算Bdis中的每個幀組對應的其中2組子帶序列各自的質(zhì)量，將C4對應的第j組子
中的每個幀組對應的母SE卞市;于BdisT的母H貝SE對應的每組子帶序列中各自包含的 小波系數(shù)矩陣的總個數(shù)，1=j，p/JMi表示P對應的第j組子帶序列中的第k個小波系 帶序列的質(zhì)量記為滬 中，j= 1，5，1彡k彡K，K表示BOTg 數(shù)矩陣，+表示(4.對應的第j組子帶序列中的第k個小波系數(shù)矩陣，SSIM()為結(jié)構(gòu)相 似度計算函數(shù)； ⑥ 根據(jù)Bdis中的每個幀組對應的其中2組子帶序列各自的質(zhì)量，計算Bdis中的每個幀組 的質(zhì)量，將&的質(zhì)量記為，么其中，We為Qi，i的權(quán)值，Qi，i 表示對應的第1組子帶序列的質(zhì)量，Qi'5表示（4對應的第5組子帶序列的質(zhì)量； ⑦ 根據(jù)Bdis中的每個幀組的質(zhì)量，計算Vdis的客觀評價質(zhì)量，記為Qv，
其中，V為么。,的權(quán)值。
2.根據(jù)權(quán)利要求1所述的一種基于小波變換的立體視頻質(zhì)量客觀評價方法，其特征在 于所述的步驟⑦中的V的獲取過程為： ⑦-1、以中除第1幀雙目融合亮度圖外的每幀雙目融合亮度圖的前一幀雙目融合 亮度圖為參考，計算中除第1幀雙目融合亮度圖外的每幀雙目融合亮度圖中的每個像 素點的運動矢量； ⑦-2、根據(jù)（4中除第1幀雙目融合亮度圖外的每幀雙目融合亮度圖中的每 個像素點的運動矢量，計算句,,中除第1幀雙目融合亮度圖外的每幀雙目融合亮度 圖的運動劇烈程度，將中的第f'幀雙目融合亮度圖的運動劇烈程度記為MAf'，
其中，2 <f' < 2n，f'的初始值為2， 1彡s彡U，1彡t彡V，mvx(s，t)表示^4中的第f'幀雙目融合亮度圖中坐標位置為（s，t) 的像素點的運動矢量在水平方向上的值，mvy(s，t)表示C4中的第f'幀雙目融合亮度圖中 坐標位置為（s，t)的像素點的運動矢量在垂直方向上的值；
⑦-3、計算 的運動劇烈程度，記為 G：hs ⑦-4、計算(4中的每幀雙目融合亮度圖的背景亮度圖，將G,中的第f"幀雙目 融合亮度圖的背景亮度圖記為3/^"，將中坐標位置為（p，q)的像素點的像素值 記為
，其中， 1彡f"彡2n，3彡p彡U-2, 3彡q彡V-2, -2彡bi彡2, -2彡bj彡2,/^..(" +/)/4+ /)/) 表示中的第f"幀雙目融合亮度圖中坐標位置為（p+bi，q+bi)的像素點的像素值，B0(bi+3，bj+3)表示5X5的背景亮度算子中下標為（bi+3，bj+3)處的元素； ⑦-5、計算中除第1幀雙目融合亮度圖外的每幀雙目融合亮度圖與前一幀雙目 融合亮度圖的亮度差異圖，將(4中的第f'幀雙目融合亮度圖與(4,中的第f' -1幀雙目 融合亮度圖的亮度差異圖記為^>〗f，將^中坐標位置為（p，q)的像素點的像素值記 為
〗，其中， 2彡f'彡2n，3彡p彡U-2, 3彡q彡V-2, 表示(4中的第f'幀雙目融合亮度圖 中坐標位置為（p，q)的像素點的像素值，/^s/M(Ag)表示中的第f'-l幀雙目融合亮度 圖中坐標位置為（p，q)的像素點的像素值，Z?Z^_(/W)表示中的第f'幀雙目融合亮度 圖的背景亮度圖中坐標位置為（p，q)的像素點的像素值，的表示中的第 f'-l幀雙目融合亮度圖的背景亮度圖SAf1中坐標位置為（p，q)的像素點的像素值； ⑦-6、計算(4中除第1幀雙目融合亮度圖外的每幀雙目融合亮度圖與前一幀雙目融 合亮度圖的亮度差異圖中的所有像素點的像素值的均值，將中的所有像素點的像素 值的均值記為LDi'f';然后計算的亮度差異值，記為LDavgi
⑦-7、將Bdis中所有幀組各自的運動劇烈程度按序組成Bdis的運動劇烈 程度向量，記為
，并 將Bdis中所有幀組各自的亮度差異值按序組成Bdis的亮度差異向量，記為VMavg，
i中，MAavg1、MAavg2和 對應 表示Bdis中的第1個幀組、第2個幀組和第n_個幀組的運動劇烈程度，LDavg\LDavg2和LDmyi對應表示Bdis中的第1個幀組、第2個幀組和第n_個幀組的亮度差異值； ⑦-8、對嫩&^^進行歸一化計算，得到（4的歸一化后的運動劇烈程度，記為，
并對LDavg1進行歸一化計算，得到的歸一化后的亮 度差異值，記5
其中，max()為取最大值函數(shù)，min() 為取最小值函數(shù)； ? -9、根據(jù) 彳和〇計算的權(quán)值
3.根據(jù)權(quán)利要求1或2所述的一種基于小波變換的立體視頻質(zhì)量客觀評價方法，其特 征在于所述的步驟⑥中取we= 0. 8。
【專利摘要】本發(fā)明公開了一種基于小波變換的立體視頻質(zhì)量客觀評價方法，其利用雙目亮度信息融合的方式將立體圖像中的左視點圖像中的像素點的亮度值和右視點圖像中的像素點的亮度值進行融合，得到立體圖像的雙目融合亮度圖，通過這種亮度融合方式，在一定程度上解決了立體視頻質(zhì)量評價中立體感知質(zhì)量評價困難的問題，有效地提高了立體視頻客觀質(zhì)量評價的準確性；其在對失真立體視頻對應的雙目融合亮度圖視頻中的各幀組的質(zhì)量進行加權(quán)時，充分考慮到人眼視覺特性對于視頻中各類信息的敏感程度，利用運動劇烈程度和亮度差異來確定各幀組的權(quán)重，因此使得該立體視頻質(zhì)量評價方法更加符合人眼主觀感知特點。
【IPC分類】H04N17-00, H04N13-00
【公開號】CN104811691
【申請?zhí)枴緾N201510164528
【發(fā)明人】蔣剛毅, 宋洋, 彭宗舉, 陳芬, 鄭凱輝, 劉姍姍
【申請人】寧波大學
【公開日】2015年7月29日
【申請日】2015年4月8日