本發(fā)明涉及圖像信號(hào)處理領(lǐng)域，特別涉及一種基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量測(cè)試方法。

背景技術(shù)：

人類的美感感受和判斷雖然受到文化背景、個(gè)人經(jīng)歷、時(shí)代背景等的影響，但是總體上具有很大的共性。無(wú)數(shù)繪畫(huà)、攝影和藝術(shù)作品作為人類共同的審美財(cái)富普遍受到人們的欣賞和喜愛(ài)。美學(xué)質(zhì)量評(píng)估就是希望通過(guò)計(jì)算機(jī)，模擬人類高層感知來(lái)判斷圖像的美感，實(shí)現(xiàn)對(duì)圖像進(jìn)行高質(zhì)量或低質(zhì)量分類，或者對(duì)圖像的質(zhì)量程度給出評(píng)分。

傳統(tǒng)的圖像質(zhì)量評(píng)估方法大多采用手選識(shí)別特征的方式，圖像特征的有效提取對(duì)分類結(jié)果具有至關(guān)重要的作用。例如嘗試借鑒攝影，藝術(shù)，繪畫(huà)等領(lǐng)域的規(guī)則、人類審美經(jīng)驗(yàn)、視覺(jué)注意機(jī)制，從圖像中提取各種各樣的圖像特征，例如邊緣特征，顏色直方圖特征，三分法則特征等等。還有一些使用局部特征的方法，例如SIFT(Scale-invariant feature transform)算法，詞袋(Bag Of Words，Bow)算法，F(xiàn)isherVector(FV)算法，或者它們的改進(jìn)算法等。這些方法都取得了較好的應(yīng)用價(jià)值。

深度學(xué)習(xí)在解決傳統(tǒng)計(jì)算機(jī)視覺(jué)問(wèn)題上有突破性進(jìn)展，尤其是卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)的應(yīng)用。通過(guò)直接利用大量的數(shù)據(jù)訓(xùn)練多層CNN，不需要先驗(yàn)知識(shí)和經(jīng)驗(yàn)，人們發(fā)現(xiàn)網(wǎng)絡(luò)對(duì)于學(xué)習(xí)到的特征具有較好的魯棒性，不僅省去了復(fù)雜繁瑣的手動(dòng)特征提取過(guò)程，更能從樣本中發(fā)現(xiàn)更為重要并難以理解的高層特征。利用深度學(xué)習(xí)進(jìn)行圖像質(zhì)量評(píng)價(jià)研究中，賓夕法尼亞州立大學(xué)的學(xué)者Wang等人設(shè)計(jì)了一個(gè)雙通道的卷積神經(jīng)網(wǎng)絡(luò)用于圖像質(zhì)量分類人物。中國(guó)科學(xué)技術(shù)大學(xué)的田教授等人利用深度學(xué)習(xí)網(wǎng)絡(luò)來(lái)提取圖像特征，然后使用支持向量機(jī)(Support Vector Machine，SVM)進(jìn)行圖像質(zhì)量分類。這些是深度學(xué)習(xí)方法在圖像質(zhì)量評(píng)估方面的初步嘗試，取得了一定的效果。

然而不同場(chǎng)景類別的圖像差異大，這導(dǎo)致不同圖像特征對(duì)于不同場(chǎng)景類別圖像的適應(yīng)性較差。另外，圖像的一些復(fù)雜的構(gòu)圖規(guī)則和質(zhì)量評(píng)估規(guī)律在工程上難以被建模和量化，這成為圖像特征提取上的瓶頸。

因此需要一種新的測(cè)試模型來(lái)克服現(xiàn)有技術(shù)中存在的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

為了克服現(xiàn)有技術(shù)的上述缺點(diǎn)與不足，本發(fā)明的目的在于提供一種基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量測(cè)試方法，克服了傳統(tǒng)方法需要手工設(shè)計(jì)多種圖像特征的缺點(diǎn)，深入分析和挖掘圖像質(zhì)量特征，泛化能力強(qiáng)，分類準(zhǔn)確率高。

本發(fā)明的目的通過(guò)以下技術(shù)方案實(shí)現(xiàn)：

一種基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量測(cè)試方法，包括以下步驟：

(1)采用并行卷積神經(jīng)網(wǎng)絡(luò)建立圖像質(zhì)量測(cè)試模型；所述圖像質(zhì)量測(cè)試模型包括第一卷積層、第二卷積層、第三卷積層、第四卷積層、第五卷積層、第一全連接層、第二全連接層和第三全連接層；

所述第五卷積層為包含n個(gè)分支的并行結(jié)構(gòu)網(wǎng)絡(luò)；1≤n≤10；

(2)輸入數(shù)據(jù)預(yù)處理與數(shù)據(jù)庫(kù)平衡化處理：對(duì)預(yù)訓(xùn)練數(shù)據(jù)集的每個(gè)樣本進(jìn)行裁剪和歸一化，并對(duì)預(yù)訓(xùn)練數(shù)據(jù)集的樣本數(shù)量進(jìn)行平衡化處理；

(3)模型的預(yù)訓(xùn)練：采用預(yù)訓(xùn)練數(shù)據(jù)集，對(duì)圖像質(zhì)量測(cè)試模型進(jìn)行預(yù)訓(xùn)練學(xué)習(xí)，得到網(wǎng)絡(luò)權(quán)值；

所述預(yù)訓(xùn)練學(xué)習(xí)，具體為：

用預(yù)訓(xùn)練數(shù)據(jù)集中每一種類別圖像各自訓(xùn)練一個(gè)深度CNN網(wǎng)絡(luò)，并且進(jìn)行權(quán)值學(xué)習(xí)和提??；

所述權(quán)值學(xué)習(xí)和提取，具體包括以下步驟：

(3-1)深度CNN網(wǎng)絡(luò)權(quán)值初始化；

(3-2)對(duì)深度CNN網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練；

(3-3)提取每一個(gè)深度CNN網(wǎng)絡(luò)第五卷積層學(xué)習(xí)得到的卷積核權(quán)值；

(4)并行模型訓(xùn)練：初始化圖像質(zhì)量測(cè)試模型，基于預(yù)訓(xùn)練初始化后的圖像質(zhì)量測(cè)試模型，進(jìn)行并行模型訓(xùn)練，得到已訓(xùn)練的圖像質(zhì)量評(píng)估模型；

(5)對(duì)目標(biāo)圖像使用已訓(xùn)練的質(zhì)量評(píng)估模型進(jìn)行測(cè)試。

步驟(2)所述輸入數(shù)據(jù)預(yù)處理，具體為：將所有的樣本的長(zhǎng)寬統(tǒng)一歸一化為256*256，在模型輸入接口的匹配中，每一次讀取輸入圖像數(shù)據(jù)時(shí)，被隨機(jī)裁剪到規(guī)格為227*227的大小。

步驟(2)所述數(shù)據(jù)庫(kù)平衡化處理，具體為：對(duì)預(yù)訓(xùn)練數(shù)據(jù)集中的每個(gè)樣本進(jìn)行旋轉(zhuǎn)處理，并左右鏡像一次，產(chǎn)生新的樣本。

步驟(3)所述預(yù)訓(xùn)練學(xué)習(xí)中，第一～第四卷積層初始設(shè)為AlexNet模型前四層網(wǎng)絡(luò)權(quán)值，采用隨即梯度下降方式進(jìn)行訓(xùn)練，學(xué)習(xí)率設(shè)置為初始值0.0001，第五卷積層提取層和全連接層則設(shè)置初始學(xué)習(xí)率為0.001。

步驟(4)所述初始化圖像質(zhì)量測(cè)試模型，基于預(yù)訓(xùn)練初始化后的圖像質(zhì)量測(cè)試模型，進(jìn)行并行模型訓(xùn)練：

(4-1)模型初始化；

(4-2)設(shè)置訓(xùn)練參數(shù)；

(4-3)加載訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括訓(xùn)練集和驗(yàn)證集；

(4-4)采用隨即梯度下降算法對(duì)初始化后的圖像質(zhì)量測(cè)試模型進(jìn)行迭代訓(xùn)練，在訓(xùn)練集上，每迭代1000次保存一次模型參數(shù)，經(jīng)過(guò)不斷迭代，取得網(wǎng)絡(luò)最優(yōu)解，取在驗(yàn)證集上誤差最小的模型作為已訓(xùn)練的圖像質(zhì)量評(píng)估模型。

步驟(4-1)所述模型初始化，具體為：

引用AlexNet模型的權(quán)值來(lái)初始化圖像質(zhì)量測(cè)試模型的第一～第四卷積層，第五層的并行結(jié)構(gòu)由步驟(3)中預(yù)訓(xùn)練階段得到的權(quán)值進(jìn)行初始化，全連接層的則權(quán)值采用隨機(jī)初始化方式。

步驟(4-2)所述設(shè)置訓(xùn)練參數(shù)，具體為：

第一～第五卷積層的初始學(xué)習(xí)率設(shè)置為0.0001；全連接層參數(shù)的初始學(xué)習(xí)率為0.001；訓(xùn)練過(guò)程設(shè)為每8次遍歷樣本集后，學(xué)習(xí)率降低40％。

所述深度網(wǎng)絡(luò)模型結(jié)構(gòu)，具體如下：

第一卷積層有96個(gè)卷積核，大小為11*11*3；第二卷積層有256個(gè)卷積核，大小為5*5*48；第三卷積層有384個(gè)核，大小為3*3*256；第四卷積層有384個(gè)核，大小為3*3*192；第5卷積層有64*n個(gè)核，大小為3*3*64；第一和第二全連接層有512和神經(jīng)元，第三全連接層有2個(gè)神經(jīng)元；

第一層卷積層依次經(jīng)第一池化層、第一正則化層與第二卷積層連接；第二卷積層經(jīng)第二池化層、第二正則化層與第三卷積層連接；第一池化層、第二池化層參數(shù)與AlexNet模型參數(shù)相同；第三卷積層直接與第四卷積層連接；第四卷積層直接與第五卷積層連接；第五卷積層經(jīng)第五池化層與第一全連接層連接，第五池化層采用均值池化方法，池化單元大小z*z取2*2，池化步長(zhǎng)s取2；第一全連接層依次連接第二全連接層和第三全連接層。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)和有益效果：

(1)本發(fā)明采用并行深度卷積神經(jīng)網(wǎng)絡(luò)模型，并行多個(gè)獨(dú)立分支，有效結(jié)合了傳統(tǒng)的特征融合方法，具有很好的可擴(kuò)展性，同時(shí)提高了模型的特征表達(dá)能力。

(2)本發(fā)明提出的預(yù)訓(xùn)練過(guò)程中具有先進(jìn)性，具體表現(xiàn)在：選取噪聲小、干凈的數(shù)據(jù)集作為模型預(yù)訓(xùn)練數(shù)據(jù)；第五卷積層多個(gè)分支可以全面的學(xué)習(xí)到圖像質(zhì)量信息；借用現(xiàn)今模型的優(yōu)點(diǎn)進(jìn)一步優(yōu)化提升模型性能。

(3)在全連接層和卷積層之間使用均值池化層，降低噪聲對(duì)特征數(shù)據(jù)的影響，增強(qiáng)分類效果。

(4)提出一種利用多種數(shù)據(jù)集完成圖像質(zhì)量分類系統(tǒng)的訓(xùn)練和測(cè)試方法，有利于在大數(shù)據(jù)量的圖像庫(kù)中進(jìn)行快速質(zhì)量分類，方法簡(jiǎn)單有效，可靠性高。

附圖說(shuō)明

圖1為本發(fā)明的實(shí)施例的基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量測(cè)試方法的訓(xùn)練和工作流程圖。

圖2為本發(fā)明的圖像質(zhì)量測(cè)試模型結(jié)構(gòu)圖。

圖3為本發(fā)明的在預(yù)訓(xùn)練階段用于權(quán)值學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖。

具體實(shí)施方式

下面結(jié)合實(shí)施例，對(duì)本發(fā)明作進(jìn)一步地詳細(xì)說(shuō)明，但本發(fā)明的實(shí)施方式不限于此。

實(shí)施例

如圖1所示，本實(shí)施例的基于并行卷積神經(jīng)網(wǎng)絡(luò)的圖像質(zhì)量測(cè)試方法，包括以下步驟：

(1)采用并行卷積神經(jīng)網(wǎng)絡(luò)建立圖像質(zhì)量測(cè)試模型；所述圖像質(zhì)量測(cè)試模型包括第一卷積層、第二卷積層、第三卷積層、第四卷積層、第五卷積層、第一全連接層、第二全連接層和第三全連接層；所述第五卷積層為包含n個(gè)分支的并行結(jié)構(gòu)網(wǎng)絡(luò)；1≤n≤10。

如圖2所示，本實(shí)施例的圖像質(zhì)量測(cè)試模型一個(gè)包含5層卷積層和3個(gè)全連接層的8層的深度卷積神經(jīng)網(wǎng)絡(luò)，此模型前四層卷積層借用了Alexnet[A.Krizhevsky,I.Sutskever,G.E.Hinton,ImageNet classification with deep convolution neural networks,in:Proceedings of the Annual Conference on Neural Information Processing System(NIPS),2012,pp.1097-1105.]的前四層網(wǎng)絡(luò)結(jié)構(gòu)與參數(shù)。第五層定義為場(chǎng)景卷積層，本實(shí)施例由7組卷積核并行構(gòu)成，用于學(xué)習(xí)不同場(chǎng)景類別下的圖像特征。每個(gè)分支分別連接第四層與第五層中的一組卷積網(wǎng)絡(luò)。

第一卷積層有96個(gè)卷積核，大小為11*11*3；第二卷積層有256個(gè)卷積核，大小為5*5*48；第三卷積層有384個(gè)核，大小為3*3*256；第四卷積層有384個(gè)核，大小為3*3*192；第5卷積層有64*n個(gè)核，大小為3*3*64；第一和第二全連接層有512和神經(jīng)元，第三全連接層有2個(gè)神經(jīng)元；

第一層卷積層依次經(jīng)第一池化層、第一正則化層與第二卷積層連接；第二卷積層經(jīng)第二池化層、第二正則化層與第三卷積層連接；第一池化層、第二池化層參數(shù)與AlexNet模型參數(shù)相同；第三卷積層直接與第四卷積層連接；第四卷積層直接與第五卷積層連接；第五卷積層經(jīng)第五池化層與第一全連接層連接，第五池化層采用均值池化方法，池化單元大小z*z取2*2，池化步長(zhǎng)s取2；第一全連接層依次連接第二和第三全連接層；

(2)輸入數(shù)據(jù)預(yù)處理與數(shù)據(jù)庫(kù)平衡化處理：對(duì)預(yù)訓(xùn)練數(shù)據(jù)集的每個(gè)樣本進(jìn)行裁剪和歸一化，并對(duì)預(yù)訓(xùn)練數(shù)據(jù)集的樣本數(shù)量進(jìn)行平衡化處理；

步驟(2)所述輸入數(shù)據(jù)預(yù)處理，具體為：

將所有的樣本的長(zhǎng)寬統(tǒng)一歸一化為256*256，在模型輸入接口的匹配中，每一次讀取輸入圖像數(shù)據(jù)時(shí)，被隨機(jī)裁剪到規(guī)格為227*227的大小。通過(guò)這樣的方式，確保不會(huì)丟失圖像的全局信息。

不平衡的訓(xùn)練數(shù)據(jù)集會(huì)對(duì)分類結(jié)果產(chǎn)生不良影響，弱化學(xué)習(xí)得到特征的表達(dá)能力。預(yù)訓(xùn)練階段用到的CUHKPQ數(shù)據(jù)庫(kù)包含有17690張圖片，圖片集一共有7個(gè)類別，分別是"animal","plant","static","architecture","landscape","human"和"night"。每一種類別圖片都標(biāo)有相同的兩個(gè)標(biāo)簽，高質(zhì)量和低質(zhì)量。這個(gè)數(shù)據(jù)集噪聲小，被選用來(lái)做預(yù)訓(xùn)練階段的訓(xùn)練數(shù)據(jù)。此外，由于該數(shù)據(jù)集不平衡，CUHKPQ數(shù)據(jù)集的高質(zhì)量圖片與低質(zhì)量圖片之比大約是1比3，在把數(shù)據(jù)分為訓(xùn)練集和測(cè)試集之后，本發(fā)明所提方法對(duì)訓(xùn)練集做了平衡化處理，以確保預(yù)訓(xùn)練得到模型的有效性。具體做法如下：

對(duì)訓(xùn)練集中的每張高質(zhì)量圖片進(jìn)行旋轉(zhuǎn)270°處理，并左右鏡像一次，產(chǎn)生兩張額外新的樣本。使高質(zhì)量圖像的數(shù)量達(dá)到和低質(zhì)量圖片數(shù)量大致相等。

(3)模型的預(yù)訓(xùn)練：采用預(yù)訓(xùn)練數(shù)據(jù)集，對(duì)圖像質(zhì)量測(cè)試模型進(jìn)行預(yù)訓(xùn)練學(xué)習(xí)，得到網(wǎng)絡(luò)權(quán)值；

所述預(yù)訓(xùn)練學(xué)習(xí)，具體為：

用預(yù)訓(xùn)練數(shù)據(jù)集中每一種類別圖像各自訓(xùn)練一個(gè)深度CNN網(wǎng)絡(luò)，并且進(jìn)行權(quán)值學(xué)習(xí)和提取；預(yù)訓(xùn)練學(xué)習(xí)中，第一～第四卷積層初始設(shè)為AlexNet模型訓(xùn)練后的參數(shù)后，采用隨即梯度下降方式進(jìn)行訓(xùn)練，學(xué)習(xí)率設(shè)置為初始值0.0001，第五卷積層提取層和全連接層則設(shè)置初始學(xué)習(xí)率為0.001。

所述權(quán)值學(xué)習(xí)和提取，具體包括以下步驟：

(3-1)深度CNN網(wǎng)絡(luò)權(quán)值初始化；

(3-2)對(duì)深度CNN網(wǎng)絡(luò)進(jìn)行迭代訓(xùn)練；

(3-3)提取每一個(gè)深度CNN網(wǎng)絡(luò)第五卷積層學(xué)習(xí)得到的卷積核權(quán)值；

圖3所示為用于權(quán)值學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖。對(duì)于每種場(chǎng)景類型圖像，分別進(jìn)行場(chǎng)景圖像特征的學(xué)習(xí)。訓(xùn)練時(shí)是單通道深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，前四層卷積層與圖3的卷積層一樣，第五層為圖3第五層的一個(gè)卷積組，全連接層的神經(jīng)元個(gè)數(shù)為512，網(wǎng)絡(luò)的最后一層是2個(gè)神經(jīng)元連接著Softmax函數(shù)作為輸出。它表示輸入圖像是屬于高質(zhì)量或低質(zhì)量類別。

在本實(shí)施例中，將第5層學(xué)習(xí)到的權(quán)值表征為場(chǎng)景圖像特征。這樣，一一用圖3所示網(wǎng)絡(luò)對(duì)7種類別的圖像進(jìn)行訓(xùn)練和學(xué)習(xí)，取出第五層的7組學(xué)習(xí)到的卷積核權(quán)值，用這些權(quán)值初始化并行網(wǎng)絡(luò)的第五層網(wǎng)絡(luò)，完成了模型預(yù)訓(xùn)練過(guò)程。

在深度CNN網(wǎng)絡(luò)的學(xué)習(xí)階段中，采用基本的Softmax計(jì)算損失函數(shù)，在而分類任務(wù)的情況下，變換為簡(jiǎn)單的邏輯回歸函數(shù)，圖像輸入為x，標(biāo)簽為y。損失函數(shù)的計(jì)算如下列公式所示：

其中，m表示為圖片數(shù)量，預(yù)測(cè)函數(shù)h_θ(x_i)的表達(dá)是：

其中，x_i為第i張輸入圖像，y_i為第i輸入圖像所對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)。

(4)并行模型訓(xùn)練：初始化圖像質(zhì)量測(cè)試模型，基于預(yù)訓(xùn)練初始化后的圖像質(zhì)量測(cè)試模型，進(jìn)行并行模型訓(xùn)練，得到已訓(xùn)練的圖像質(zhì)量評(píng)估模型，具體步驟如下：

(4-1)模型初始化：引用AlexNet模型的權(quán)值來(lái)初始化圖像質(zhì)量測(cè)試模型的第一～第四卷積層，第五層的并行結(jié)構(gòu)由步驟3中預(yù)訓(xùn)練階段得到的權(quán)值進(jìn)行初始化，全連接層的則權(quán)值采用隨機(jī)初始化方式；

(4-2)設(shè)置訓(xùn)練參數(shù)：第一～第五卷積層的初始學(xué)習(xí)率設(shè)置為0.0001；全連接層參數(shù)的初始學(xué)習(xí)率為0.001；訓(xùn)練過(guò)程設(shè)為每8次遍歷樣本集后，學(xué)習(xí)率降低40％；

(4-3)加載訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括訓(xùn)練集和驗(yàn)證集；采用總共約有25萬(wàn)張圖像的AVA大規(guī)模數(shù)據(jù)集對(duì)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，對(duì)應(yīng)網(wǎng)絡(luò)的輸入大小，所有樣本統(tǒng)一歸一化到256*256的大小。每張圖片具有兩個(gè)高、低質(zhì)量?jī)蓚€(gè)標(biāo)簽中的一個(gè)；

(4-4)采用隨即梯度下降算法對(duì)初始化后的圖像質(zhì)量測(cè)試模型進(jìn)行迭代訓(xùn)練，在訓(xùn)練集上，每迭代1000次保存一次模型參數(shù)，經(jīng)過(guò)不斷迭代，取得網(wǎng)絡(luò)最優(yōu)解，取在驗(yàn)證集上誤差最小的模型作為已訓(xùn)練的圖像質(zhì)量評(píng)估模型。

(5)對(duì)目標(biāo)圖像使用已訓(xùn)練的質(zhì)量評(píng)估模型進(jìn)行測(cè)試。本發(fā)明的評(píng)價(jià)模型在AVA測(cè)試集上的分類準(zhǔn)確率達(dá)到76.94％。

上述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受所述實(shí)施例的限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡(jiǎn)化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。