基于卷積神經(jīng)網(wǎng)絡(luò)的無參考立體圖像質(zhì)量評(píng)估方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的無參考立體圖像質(zhì)量評(píng)估方法。
【背景技術(shù)】
[0002] 近年來隨著多媒體技術(shù)的迅速發(fā)展，3D立體圖像以各種形式進(jìn)入人們的生活，3D 立體圖像帶來的逼真臨場體驗(yàn)與震撼的視覺效果是2D圖像無法比擬的。其不僅給人們帶 來身臨其境的視覺享受，還激起了人們對外界事物的興趣和認(rèn)知。與此同時(shí)，立體圖像的廣 泛使用也對立體圖象質(zhì)量評(píng)估的算法提出更高的要求。
[0003] 立體圖像質(zhì)量評(píng)價(jià)在立體圖像占有十分重要的地位，它不僅可以評(píng)判立體圖像中 處理算法的優(yōu)劣，還能優(yōu)化和設(shè)計(jì)算法，提高立體圖像處理系統(tǒng)的效率。立體圖像質(zhì)量評(píng)價(jià) 方法分為主觀質(zhì)量評(píng)價(jià)和客觀質(zhì)量評(píng)價(jià)。主觀評(píng)價(jià)方法就是把多名觀察者對待評(píng)價(jià)立體圖 像質(zhì)量的評(píng)分進(jìn)行加權(quán)平均的綜合評(píng)價(jià)，其結(jié)果符合人眼視覺系統(tǒng)特性，但受到計(jì)算不便、 速度慢、成本高等諸多因素限制，嵌入系統(tǒng)難，因而在實(shí)際應(yīng)用中無法得到廣泛使用；而客 觀質(zhì)量評(píng)價(jià)方法則具有操作簡單、成本低、易于實(shí)現(xiàn)及可以實(shí)時(shí)優(yōu)化算法參數(shù)等特點(diǎn)，是立 體圖像質(zhì)量評(píng)價(jià)研究的重點(diǎn)。
[0004] 客觀質(zhì)量評(píng)價(jià)算法中根據(jù)評(píng)價(jià)過程是否需要參考原始的參考圖像可以分為三類： 全參考模型、半?yún)⒖寄Ｐ鸵约盁o參考模型。
[0005] (1)全參考模型：全參考算法在進(jìn)行計(jì)算時(shí)，必須提供原始的未失真的參考圖像。 其思路較為簡單，但是在實(shí)際應(yīng)用中，很多情況下原始的參考圖像很難得到，因此其應(yīng)用場 合55受到了一定程度的限制。
[0006] (2)半?yún)⒖寄Ｐ停喊雲(yún)⒖寄Ｐ蛯⒖紙D像的數(shù)量要求不高，只需要提供可以代表 原始參考圖像的部分特征信息即可，但仍舊受限于由參考圖像所得到的參考信息。
[0007] (3)無參考模型：不依賴于原始參考圖像的無參考算法更符合實(shí)際應(yīng)用場景，但 是其實(shí)現(xiàn)難度也最大。通常情況下，無參考算法需要對自然圖像進(jìn)行建模，通過某些統(tǒng)計(jì)信 息或60者局部特征來得到整幅圖像的質(zhì)量分?jǐn)?shù)。
[0008] 因此，現(xiàn)有的針對圖像的評(píng)估存在諸多問題，已經(jīng)不能滿足現(xiàn)有的需求，亟需一種 新的算法來實(shí)現(xiàn)立體圖像質(zhì)量的評(píng)估。

【發(fā)明內(nèi)容】

[0009] 為解決現(xiàn)有技術(shù)存在的不足，本發(fā)明公開了一種基于卷積神經(jīng)網(wǎng)絡(luò)的無參考立體 圖像質(zhì)量評(píng)估方法，本發(fā)明利用2D圖片信息，通過卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖片特征，從大量復(fù) 雜的2D圖片中提取關(guān)鍵信息應(yīng)用于三維立體圖像質(zhì)量評(píng)估中。通過對立體圖像對中左右 圖像進(jìn)行分別處理，并對左右圖像各自的訓(xùn)練過程中得到的高級(jí)特征進(jìn)行回歸分析，并在 此使用反向傳播進(jìn)行全局微調(diào)，最終通過深度網(wǎng)絡(luò)的不斷學(xué)習(xí)，得到精確的對立體圖像質(zhì) 量的評(píng)估。
[0010] 為實(shí)現(xiàn)上述目的，本發(fā)明的具體方案如下：
[0011] -種基于卷積神經(jīng)網(wǎng)絡(luò)的無參考立體圖像質(zhì)量評(píng)估方法，包括以下步驟：
[0012] 選用LIVE 2D數(shù)據(jù)庫中的圖片作為訓(xùn)練樣本；
[0013] 對2D圖像進(jìn)行預(yù)處理：將圖片分割為大小相同的圖片塊，并通過局部規(guī)范化方法 進(jìn)行處理；
[0014] 將預(yù)處理得到的圖像塊輸入到深度卷積神經(jīng)網(wǎng)絡(luò)，通過卷積池化處理，由此獲得 圖像塊的高級(jí)特征，隨后利用原圖像DMOS分?jǐn)?shù)對神經(jīng)網(wǎng)絡(luò)進(jìn)行BP訓(xùn)練，獲得基礎(chǔ)模型的網(wǎng) 絡(luò)層權(quán)重和偏置的最優(yōu)解；
[0015] 選用LIVE 3D數(shù)據(jù)庫中圖片作為新的訓(xùn)練樣本；
[0016] 根據(jù)基礎(chǔ)模型訓(xùn)練得到的網(wǎng)絡(luò)層權(quán)重和偏置，構(gòu)建對應(yīng)的雙輸入基本模型，將立 體圖像對中左右圖像分別經(jīng)過與2D圖像相同的預(yù)處理后，將相同位置的圖像塊同時(shí)輸入 到基本模型中，得到對應(yīng)的高級(jí)特征向量；
[0017] 利用多層感知機(jī)訓(xùn)練學(xué)習(xí)兩組高級(jí)特征向量，獲得屬于此立體圖像的圖像塊質(zhì)量 分?jǐn)?shù)，最終通過對圖像對中所有圖像塊質(zhì)量分?jǐn)?shù)的加權(quán)平均獲得整體圖像的質(zhì)量評(píng)估。
[0018] 進(jìn)一步的，對2D圖像的進(jìn)行預(yù)處理時(shí)，采用非重疊式分割方法將每個(gè)圖像分割為 32X32圖像塊。
[0019] 進(jìn)一步的，在利用2D圖像訓(xùn)練時(shí)采用一個(gè)的五層單輸入卷積神經(jīng)網(wǎng)絡(luò)模型，其中 輸出層神經(jīng)元個(gè)數(shù)為1，即預(yù)測的圖像質(zhì)量分?jǐn)?shù)，通過該預(yù)測值與給定DMOS求取誤差進(jìn)行 訓(xùn)練。
[0020] 更進(jìn)一步的，五層單輸入卷積神經(jīng)網(wǎng)絡(luò)模型其輸入為經(jīng)過預(yù)處理的32X32的圖 像塊，卷積神經(jīng)網(wǎng)絡(luò)是通過對輸入進(jìn)行卷積池化運(yùn)算，由特征map獲得特征向量，隨后通過 神經(jīng)網(wǎng)絡(luò)訓(xùn)練，隨機(jī)初始化網(wǎng)絡(luò)權(quán)值，采用隨機(jī)梯度下降算法以及反向傳播算法，全局的調(diào) 整定位系統(tǒng)參數(shù)。
[0021 ] 卷積池化處理時(shí)，卷積公式為：.
，其中Mj表示卷積圖像大 小，#為卷積核尺寸，#表示卷積層偏置，f( ·)表示卷積算法中激活函數(shù)。池化公式為：
和￥分別表示乘性偏置和一個(gè)加性偏置，f( ·)表示池化算法 中激活函數(shù)。
[0022] 圖像塊質(zhì)量分?jǐn)?shù)的獲取，以此公式
獲得屬于此立體圖像 的圖像塊質(zhì)量分?jǐn)?shù)，式中0,(11)表示節(jié)點(diǎn)輸出，W]1 (η)和1^分別表示對應(yīng)的網(wǎng)絡(luò)層權(quán)重和偏 置。
[0023] 在多層感知機(jī)訓(xùn)練定位系統(tǒng)參數(shù)時(shí)，采用了 dropout方法以及momentum方法，其 中設(shè)置dropout隨機(jī)置零的概率為0· 5, momentum公式如下：
[0024]
[0025] 其中Wt表示t次迭代過程中網(wǎng)絡(luò)權(quán)值，ε。為學(xué)習(xí)率，d表示學(xué)習(xí)率的衰減值，r s 和^分表表示初始及最終動(dòng)量（momentums)值，T為控制學(xué)習(xí)率在不同迭代次數(shù)中變化的 閾值。
[0026] 針對立體圖像，擴(kuò)充網(wǎng)絡(luò)結(jié)構(gòu)，增加一組具有相同的網(wǎng)絡(luò)權(quán)值和偏置的單輸入卷 積網(wǎng)絡(luò)，將兩組單輸入卷積網(wǎng)絡(luò)并聯(lián)連接，達(dá)到對立體圖像對左右圖像進(jìn)行同時(shí)處理，同時(shí) 將多層感知機(jī)中間層連接，獲得對左右視角圖像獲得的綜合特征。特別注意的是，本結(jié)構(gòu)使 屬于同一圖像對的左右圖像對應(yīng)位置圖像塊同時(shí)進(jìn)入深度網(wǎng)絡(luò)，利用已訓(xùn)練好的網(wǎng)絡(luò)在分 別得到各自質(zhì)量分?jǐn)?shù)之前得到對應(yīng)的高級(jí)特征向量。
[0027] 在訓(xùn)練時(shí)，確保進(jìn)入網(wǎng)絡(luò)作為輸入的圖像塊來自同一圖像對的左右圖像的相同位 置。
[0028] 本發(fā)明的有益效果：
[0029] 為了更好地對無參考圖像進(jìn)行質(zhì)量評(píng)估，提出一種新的基于無參考圖像的學(xué)習(xí)立 體圖像局部結(jié)構(gòu)信息的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN)。選取立體 圖像對中圖像塊作為輸入，使得網(wǎng)絡(luò)可以有效學(xué)習(xí)到存在于圖像局部結(jié)構(gòu)中對人類更敏感 的感知信息，并進(jìn)行圖像質(zhì)量估計(jì)。利用多組卷積池化層，獲得對結(jié)構(gòu)的高等級(jí)特征表示。 最后利用多層感知機(jī)（Multi-layer Perceptron, MLP)對所學(xué)習(xí)到的高層特征進(jìn)行進(jìn)一步 學(xué)習(xí)并最終得到對立體圖像質(zhì)量的評(píng)估分?jǐn)?shù)。針對不同的輸入設(shè)計(jì)兩類網(wǎng)絡(luò)，利用2D圖像 的單輸入網(wǎng)絡(luò)獲得網(wǎng)絡(luò)初始值，應(yīng)用于針對立體圖像的雙輸入網(wǎng)絡(luò)（左右視角圖像）。在 LIVE 3D數(shù)據(jù)庫下進(jìn)行測試，該無參考評(píng)估算法得到了相較于已有質(zhì)量評(píng)估更好的結(jié)果。
【附圖說明】
[0030] 圖la LIVE 2D圖像庫中的一個(gè)圖像；
[0031] 圖lb LIVE 2D圖像庫中的另一個(gè)圖像；
[0032] 圖2a LIVE 3D圖像庫中的一個(gè)圖像的左視圖；
[0033] 圖2b LIVE 3D圖像庫中的一個(gè)圖像的右視圖；
[0034] 圖3單輸入卷積網(wǎng)絡(luò)示意圖；
[0035] 圖4雙輸入卷積網(wǎng)絡(luò)示意圖。
【具體實(shí)施方式】：
[0036] 下面結(jié)合附圖對本發(fā)明進(jìn)行詳細(xì)說明：
[0037] 卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)：
[0038] 本文的任務(wù)就是通過2D圖像尋找圖像質(zhì)量與圖像特征之間的內(nèi)在關(guān)系，并應(yīng)用 于立體圖像對中，通過分別獲得的左右圖像的高級(jí)特征利用回歸算法獲得對立體圖像質(zhì)量 的評(píng)估。
[0039] (I) 2D圖像的預(yù)處理
[0040] 在訓(xùn)練網(wǎng)絡(luò)以及進(jìn)行測試的過程中，選用的LIVE 2D數(shù)據(jù)庫中的圖片大小多數(shù) 為768X512,圖片整體進(jìn)入網(wǎng)絡(luò)將極大程度影響網(wǎng)絡(luò)速度以及準(zhǔn)確率?？紤]到圖片中各處 失真程度相同，將原圖片分割為大小相同的32 X 32圖片塊，并通過局部規(guī)范化方法進(jìn)行處 理，這將減弱圖片扭曲所帶來的影響并提升網(wǎng)絡(luò)對對比度變化情況下的魯棒性。
[0041] (2)單輸入卷積網(wǎng)絡(luò)設(shè)計(jì)
[0042] 將預(yù)處理得到的圖像塊輸入到深度卷積神經(jīng)網(wǎng)絡(luò)，通過卷積池化處理，獲得圖像 塊的高級(jí)特征，隨后通過神經(jīng)網(wǎng)絡(luò)利用原圖像自身質(zhì)量分?jǐn)?shù)進(jìn)行BP訓(xùn)練獲得基礎(chǔ)模型的 參數(shù)。
[0043] (3)雙輸入卷積網(wǎng)絡(luò)設(shè)計(jì)
[0044] 通過第一階段訓(xùn)練獲得基本模型，將立體圖像對中左右圖像分別經(jīng)過與2D圖像 相同的預(yù)處理后，將相同位置的圖像塊同時(shí)輸入到基本模型中，將最后兩組基本模型中得 到的圖像塊的高級(jí)特征利用回歸網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，以尋求新的網(wǎng)絡(luò)層權(quán)重和偏置的最優(yōu)解， 最后得到雙輸入卷積神經(jīng)網(wǎng)絡(luò)的最優(yōu)模型。
[0045] 算法實(shí)現(xiàn)：
[0046] 圖像的預(yù)處理：圖Ia-圖Ib為用于第一階段訓(xùn)練的LIVE 2D圖像庫圖像，其圖 像尺寸大小不一，多為768X512。為解決有圖片尺寸問題對后續(xù)實(shí)驗(yàn)帶來的影響，我們采 用非重疊式分割方法將其分割為32X32圖像塊，并通過灰度化以及局部規(guī)范化（Local Normalization)處理圖像塊，局部規(guī)范化公式如下：
[0050] 其中，I (i，j)表示像素所在位置（i，j)的像素值，P、Q表示規(guī)范化運(yùn)算時(shí)的窗口 尺寸，C為大于0的常數(shù)。