本發(fā)明屬于圖像識(shí)別領(lǐng)域，具體地說是涉及一種手寫字符計(jì)算機(jī)識(shí)別方法。

背景技術(shù)：

卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneuralnetwork,cnn)因其在目標(biāo)檢測、圖像分類、知識(shí)獲取、圖像語義分割等領(lǐng)域的成功應(yīng)用而備受關(guān)注，提高改進(jìn)其性能是一個(gè)研究熱點(diǎn)?，F(xiàn)有技術(shù)中，在解決圖像目標(biāo)檢測問題時(shí)，采用cpu控制卷積神經(jīng)網(wǎng)絡(luò)的整體流程和數(shù)據(jù)調(diào)度，運(yùn)用gpu提高神經(jīng)網(wǎng)絡(luò)單元中的卷積計(jì)算和全連接層合并計(jì)算單元的運(yùn)算速度，雖然神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)速度得到了改善，但是也因?yàn)閏pu和gpu之間的數(shù)據(jù)轉(zhuǎn)換和調(diào)度導(dǎo)致了時(shí)間成本的增加，而且弱的gpu平臺(tái)容易出現(xiàn)進(jìn)程中斷的問題?；诿庖邫C(jī)制獲得了改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)，雖然在mnist數(shù)據(jù)集上取得了108.501s的較短識(shí)別時(shí)間，但是卻導(dǎo)致識(shí)別率僅有81.6％。研究者提出了特征映射模型的多輸入sigmoid激活函數(shù)神經(jīng)網(wǎng)絡(luò)權(quán)值共享的最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)算法。研究者使用不同大小的神經(jīng)元內(nèi)核組成特征圖，將神經(jīng)元元素引入到最大匯集層，從而將不同大小的神經(jīng)元映射到匯集層。該方法在特征字符集中雖然獲得了96.33％的識(shí)別率，但是其消耗的時(shí)間也較大。改進(jìn)的mlp-cnn模型(mlp-cnn)通過增加神經(jīng)網(wǎng)絡(luò)特征數(shù)、使用隨機(jī)梯度下降算法優(yōu)化“交叉熵”，從而提高模型的性能。

在緩和過擬合問題方面，研究者設(shè)計(jì)了一種伴隨目標(biāo)函數(shù)，并建立了基于卷積濾波器和非線性激活函數(shù)的輔助監(jiān)聽機(jī)制與規(guī)范化的輔助監(jiān)聽策略，從而提出了一種可以緩和卷積神經(jīng)網(wǎng)絡(luò)過擬合問題的伴隨目標(biāo)函數(shù)的正則化策略機(jī)制。此方法須采用端到端監(jiān)督學(xué)習(xí)以微調(diào)正則化策略，進(jìn)行輔助監(jiān)聽的卷積濾波器和非線性激活函數(shù)需要額外時(shí)間開銷。研究者運(yùn)用laplace-beltrami算子優(yōu)化網(wǎng)絡(luò)參數(shù)，在解決加權(quán)的磁共振圖像識(shí)別問題中取得了很好效果，但針對小樣本數(shù)據(jù)引起的過擬合問題需要采用監(jiān)督學(xué)習(xí)的方式微調(diào)訓(xùn)練網(wǎng)絡(luò)。研究者利用卷積神經(jīng)網(wǎng)絡(luò)無監(jiān)督學(xué)習(xí)功能，將雙線性插值引入卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并引入細(xì)粒度美學(xué)質(zhì)量進(jìn)行預(yù)測分類，從而實(shí)現(xiàn)對照片進(jìn)行自動(dòng)化美學(xué)評價(jià)。雖然解決了因高質(zhì)量圖片太大而導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)無法完整提取整個(gè)圖片特征的問題，但是對較小的數(shù)字?jǐn)z影圖片集引起的過擬合問題，沒有提出相應(yīng)的解決方案。研究者通過在每一個(gè)卷積層嵌入一個(gè)求局部平均與二次特征提取的計(jì)算層，獲得了一種改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)，其特有的兩次特征提取結(jié)構(gòu)可以減小特征分辨率，但當(dāng)數(shù)據(jù)集規(guī)模增大、卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)增加時(shí)，容易導(dǎo)致過擬合；最近鄰規(guī)則的神經(jīng)網(wǎng)絡(luò)模型(wcnn)使用sigmoid函數(shù)作為激活函數(shù)，通過復(fù)合多個(gè)“卷積層”和“池化層”實(shí)現(xiàn)輸入信號(hào)的加工處理；同時(shí)，在連接層與輸出目標(biāo)間建立了映射關(guān)系，并運(yùn)用聚類算法對特征進(jìn)行分類。研究者在卷積神經(jīng)網(wǎng)絡(luò)的每層附加兩個(gè)連續(xù)的卷積操作，通過加倍特征提取數(shù)量提高圖像分類的識(shí)別率，對系統(tǒng)的內(nèi)存要求高。

此外，針對卷積神經(jīng)網(wǎng)絡(luò)的收斂速度問題，研究者將多變量最大乘積和插值算子理論引入到卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，以算子理論中的運(yùn)算符作為激活函數(shù)。此研究給出了詳細(xì)的數(shù)學(xué)公式推導(dǎo)，但是沒有給出應(yīng)用測試結(jié)果。卷積神經(jīng)網(wǎng)絡(luò)技術(shù)，為圖像的特征提取提供了新的途徑。雖然許多學(xué)者就提高經(jīng)典cnn的性能方面做了許多工作，但是在解決圖像特征提取問題時(shí)，存在以下不足：

1)采用sigmoid函數(shù)作為激活函數(shù)時(shí)，有可能使得原本在較大范圍內(nèi)變化的輸入值擠壓到(0,1)范圍內(nèi)輸出，當(dāng)訓(xùn)練數(shù)據(jù)集規(guī)模較大時(shí)，sigmoid函數(shù)容易造成梯度飽和與收斂速度慢的問題。

2)cnn中常采用兩種策略緩解過擬合問題：早停與正則化策略。早停策略中數(shù)據(jù)集被劃分成訓(xùn)練集和測試集，前者用來計(jì)算梯度、更新連接權(quán)和閥值，后者用來評估誤差，訓(xùn)練停止的標(biāo)志是訓(xùn)練集誤差降低而測試集誤差升高；正則化策略則是其誤差目標(biāo)函數(shù)考慮了用于描述復(fù)雜度的因素。當(dāng)cnn的學(xué)習(xí)層數(shù)增加時(shí)，他們解決過擬合問題的表現(xiàn)會(huì)變差。

3)在訓(xùn)練和評估階段，cnn采用梯度下降策略，通過反向傳播算法調(diào)整目標(biāo)梯度的最小化訓(xùn)練集的累積誤差，這個(gè)過程中并非每一層訓(xùn)練都評估累積誤差，而是在給定的間隔層后才進(jìn)行評估，雖然時(shí)間開鎖會(huì)有所減少，但會(huì)導(dǎo)致累積誤差增加。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服上述缺點(diǎn)而提供一種能加快收斂速度，解決過擬合問題，減少累積誤差，提高識(shí)別率的手寫字符計(jì)算機(jī)識(shí)別方法。

本發(fā)明的一種手寫字符計(jì)算機(jī)識(shí)別方法，其中：基于二次卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型，該模型有9層：包括輸入層、5個(gè)由卷積層和池化層交錯(cuò)構(gòu)成的隱含層、全連接層、輸出層(softmax)，其中全連接層之后具有一個(gè)dropout層；具體包括下述步驟：

步驟1：預(yù)訓(xùn)練濾波器，并初始化濾波器尺寸的像素；

步驟2：輸入用于訓(xùn)練的圖片數(shù)據(jù)集，將訓(xùn)練集中的圖片處理成與濾波器尺寸相同的圖片，并讀入數(shù)據(jù)形成圖片數(shù)據(jù)矩陣x；

步驟3：初始化權(quán)重w^(l)i,j和偏置bi,并調(diào)用tensorflow提供的核函數(shù)defkernel()初始化并行操作；

步驟4：利用公式計(jì)算第1層卷積特征矩陣x⁽¹⁾，其公式為：

步驟5：運(yùn)用adam優(yōu)化器函數(shù)公式獲得自頂向下的調(diào)節(jié)優(yōu)化器的學(xué)習(xí)率，并調(diào)用tensorflow中的權(quán)重與偏重更新接口更新權(quán)重wi和偏置bi，從而獲得特征矩陣x⁽²⁾；其公式：

步驟6：按照步驟4與步驟5進(jìn)行第二次卷積，得到特征矩陣x⁽³⁾；

步驟7：將特征矩陣x⁽³⁾合并為一個(gè)列向量作為神經(jīng)元在全連接層的輸入，然后將之與權(quán)重矩陣相乘，加上偏置，并對其使用relu激活函數(shù)，得到特征向量b1；

步驟8：將全連階層的特征向量作為dropout層的輸入，并通過公式計(jì)算神經(jīng)元在dropout層中的輸出概率，得到特征向量b2；其公式為：

步驟9：將特征向量b2作為輸入，利用softmax分類器輸出識(shí)別結(jié)果。

上述的手寫字符計(jì)算機(jī)識(shí)別方法，其特征在于：所述步驟4中，卷積特征計(jì)算中步長為2，邊距設(shè)置為0；池化操作使用3×3大小的矩陣。

本發(fā)明與現(xiàn)有技術(shù)的相比，具有明顯的有益效果，由以上方案可知，所述的二次卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型，該模型有9層，包括輸入層、5個(gè)由卷積層和池化層交錯(cuò)構(gòu)成的隱含層、全連接層、輸出層(softmax)，其中全連接層之后具有一個(gè)dropout層；改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。在具體的步驟中，通過引入基于relu的激活函數(shù)以避免梯度飽問題、提高收斂速度；通過在全連接層和輸出層之間加入dropout層解決過擬合問題，并設(shè)計(jì)了adam優(yōu)化器的最小化“交叉熵”，將dropout和adam與cnn相結(jié)合，形成了基于dropout與adam優(yōu)化器的改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的手寫字符計(jì)算機(jī)識(shí)別方法，并基于tensorflow平臺(tái)進(jìn)行了并行化實(shí)現(xiàn)。該方法通過改進(jìn)激活函數(shù)，避免了神經(jīng)元節(jié)點(diǎn)輸出恒為0的問題，在識(shí)別準(zhǔn)確性、與時(shí)間開銷方面得到了改善。

以下通過具體實(shí)施方式，進(jìn)一步說明本發(fā)明的有益效果。

附圖說明

圖1為本發(fā)明的二次卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型；

圖2為實(shí)施例中的非線性函數(shù)；

圖3為實(shí)施例中的手寫字符圖像樣本示例；

圖4為實(shí)施例中的mcnn-da算法在adam不同學(xué)習(xí)率下的識(shí)別率；

圖5為實(shí)施例中的各種算法針對mnist數(shù)據(jù)集的識(shí)別結(jié)果。

具體實(shí)施方式

以下結(jié)合附圖及較佳實(shí)施例，對依據(jù)本發(fā)明提出的手寫字符計(jì)算機(jī)識(shí)別方法具體實(shí)施方式、特征及其功效，詳細(xì)說明如后。

如圖1所示，本發(fā)明的一種手寫字符計(jì)算機(jī)識(shí)別方法，基于所設(shè)計(jì)的二次卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、relu激活函數(shù)、以及基于dropout與adam的過擬合防止方法，形成一種基于dropout與adam優(yōu)化器的卷積神經(jīng)網(wǎng)絡(luò)算法(aconvolutionneuralnetworkalgorithmbasedondropoutandadamoptimizer，mcnn-da)，主要流程如下：

步驟1：預(yù)訓(xùn)練濾波器，并初始化濾波器尺寸的像素為：p1×p2；

步驟2：輸入用于訓(xùn)練的圖片數(shù)據(jù)集，將訓(xùn)練集中的圖片處理成與濾波器尺寸相同的圖片，并讀入數(shù)據(jù)形成圖片數(shù)據(jù)矩陣x；

步驟3：初始化權(quán)重w^(l)i,j和偏置bi,并調(diào)用tensorflow提供的核函數(shù)defkernel()初始化并行操作；

步驟4：利用公式(1)計(jì)算第1層卷積特征矩陣x⁽¹⁾。此步驟中，卷積特征計(jì)算中步長為2，邊距設(shè)置為0；同時(shí)，為了保證經(jīng)特征提取后輸入和輸出的圖片具有相同的尺寸；池化操作使用3×3大小的矩陣；

步驟5：運(yùn)用adam優(yōu)化器函數(shù)公式(3)獲得自頂向下的調(diào)節(jié)優(yōu)化器的學(xué)習(xí)率，并調(diào)用tensorflow中的權(quán)重與偏重更新接口更新權(quán)重wi和偏置bi，從而獲得特征矩陣x⁽²⁾；

步驟6：按照步驟4與步驟5進(jìn)行第二次卷積，得到特征矩陣x⁽³⁾；

步驟7：將特征矩陣x⁽³⁾合并為一個(gè)列向量作為神經(jīng)元在全連接層的輸入，然后將之與權(quán)重矩陣相乘，加上偏置，并對其使用relu激活函數(shù)，得到特征向量b1；

步驟8：將全連階層的特征向量作為dropout層的輸入，并通過公式(2)計(jì)算神經(jīng)元在dropout層中的輸出概率，得到特征向量b2；

步驟9：將特征向量b2作為輸入，利用softmax分類器輸出識(shí)別結(jié)果。

1.二次卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

如圖1所示的9層的二次卷積神經(jīng)網(wǎng)絡(luò)模型，它包含輸入層、5個(gè)由卷積層和池化層交錯(cuò)構(gòu)成的隱含層、全連接層、輸出層(softmax)。在這個(gè)結(jié)構(gòu)中，全連接層之后具有一個(gè)dropout層，他以給定的概率p丟神經(jīng)元節(jié)點(diǎn)(后文的測試中，訓(xùn)練階段p＝0.5，在試階段p＝1)；除了輸出層之外，其余各層的激活函數(shù)均為relu函數(shù)。進(jìn)行池化操作(maxpolling)的計(jì)算按公式(1)進(jìn)行。

式中，w^(l)i,j表示第l層第i類中第j個(gè)神經(jīng)元的權(quán)重，bi代表第i類的偏置，“*”為卷積操作；xj^(l)為第l層卷積中第j個(gè)神經(jīng)元的輸出；xj^(l-1)表示第l-1層第j個(gè)神經(jīng)元的輸出，即第l層的輸入數(shù)據(jù)；f(...)是模型的激活函數(shù),具有非線性的特征。

2.基于relu的激活函數(shù)

傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)cnn常采用的非線性函數(shù)tanh函數(shù)和sigmoid函數(shù)為激活函數(shù)(如圖2(a)與2(b)所示)。

sigmoid函數(shù)將一個(gè)實(shí)數(shù)輸入映射到[0,1]范圍內(nèi)，作為激活函數(shù)存在以下兩個(gè)問題：1)存在梯度飽和問題。當(dāng)函數(shù)激活值趨近極值0或者1時(shí)，函數(shù)的梯度趨近于0。對于第l層神經(jīng)元反向傳播產(chǎn)生的成本δ^(l)的公式為(w^(l))^t表示第l層的第t個(gè)神經(jīng)元的權(quán)重，當(dāng)?shù)趌+1層神經(jīng)元反向傳播成本δ^(l+1)趨近于0時(shí)，計(jì)算所得的梯度也趨近于0，達(dá)到不調(diào)整更新參數(shù)的目的。2)導(dǎo)致權(quán)重恒為正。函數(shù)輸出的均值非0，這會(huì)導(dǎo)致后一層神經(jīng)元獲得非0均值的信號(hào)輸入，從而導(dǎo)致輸入神經(jīng)元的數(shù)據(jù)為正，最終導(dǎo)致其權(quán)重恒為正。這些問題會(huì)導(dǎo)致參數(shù)收斂速度慢，影響訓(xùn)練的效率與模型的識(shí)別效果。tanh函數(shù)可以將一個(gè)實(shí)數(shù)輸入映射到[-1,1]范圍內(nèi)，但它實(shí)際上是sigmoid函數(shù)的變形，即tanh(x)＝2sigmoid(2x)-1，tanh函數(shù)也存在梯度飽和問題。

事實(shí)上，relu(therectifiedlinearunit)函數(shù)f(x)＝max(0,x)(x∈(0,+∞))(見圖2(c))具有以下特點(diǎn)：(1)梯度不飽和。梯度的計(jì)算公式為：i{x＞0}。因此在反向傳播過程中，減輕了梯度彌散的問題，神經(jīng)網(wǎng)絡(luò)前幾層的參數(shù)也可以很快的更新。(2)計(jì)算復(fù)雜性低。relu函數(shù)僅需要設(shè)置閾值，即如果x＜0,f(x)＝0，如果x＞0,f(x)＝x。

正是考慮到relu函數(shù)的優(yōu)勢，采用relu函數(shù)作為激活函數(shù)，以解決梯度飽和問題，提高收斂速度。

3.基于dropout與adam的過擬合防止方法

為了提高網(wǎng)絡(luò)的范化能力，將dropout引入到卷積神經(jīng)網(wǎng)絡(luò)中。對于神經(jīng)網(wǎng)絡(luò)中的任一神經(jīng)元，以概率p將其暫時(shí)從網(wǎng)絡(luò)中丟棄，其公式如下：

同時(shí)，為了訓(xùn)練模型，首先定義一個(gè)表示模型是“壞”的指標(biāo)作為成本，并使用“交叉熵”作為成本函數(shù)yθ'(θ)，其定義如下：

其中，θ是預(yù)測的概率分布，θ'是實(shí)際的分布。在模型訓(xùn)練階段，使用adam優(yōu)化器以不同的學(xué)習(xí)率優(yōu)化“交叉熵”。

有益效果分析如下：

1.測試環(huán)境

為了評估所設(shè)計(jì)算法的性能，在ubuntu14.04.4的64位操作系統(tǒng)中采用python語言編程實(shí)現(xiàn)了二次卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，并安裝了tensorflow0.9.0。對不同adam學(xué)習(xí)率的情況下，測試、分析了基于dropout與adam優(yōu)化器的卷積神經(jīng)網(wǎng)絡(luò)算法的性能，并將其與四種算法進(jìn)行了對比。所得結(jié)果都是在多臺(tái)同一批次購進(jìn)的同型號(hào)電腦上測得，其配置為：i5-5200ucpu@2.20ghz×4，gpu為nvidageforce940m，8.00gb內(nèi)存。

2.比較算法

用于比較的四種算法詳情如下：

1)算法1：最近鄰規(guī)則的神經(jīng)網(wǎng)絡(luò)模型(wcnn)。此算法使用sigmoid函數(shù)作為激活函數(shù)，通過復(fù)合多個(gè)“卷積層”和“池化層”實(shí)現(xiàn)輸入信號(hào)的加工處理；同時(shí)，在連接層與輸出目標(biāo)間建立了映射關(guān)系，并運(yùn)用聚類算法對特征進(jìn)行分類。

2)算法2：改進(jìn)的mlp-cnn模型(mlp-cnn)。此算法通過增加神經(jīng)網(wǎng)絡(luò)特征數(shù)、使用隨機(jī)梯度下降算法優(yōu)化“交叉熵”，從而提高模型的性能。

3)算法3：極速學(xué)習(xí)機(jī)與支持向量機(jī)結(jié)合的算法(svm-elm)，此算將極速學(xué)習(xí)機(jī)與支持向量機(jī)結(jié)合，削減隱層節(jié)點(diǎn)數(shù)為類別數(shù)，通過svm優(yōu)化每個(gè)節(jié)點(diǎn)的線性決策函數(shù)。

4)算法4：基于多分辨率直方圖和梯度下降算法(gfgn)。

3.數(shù)據(jù)集及設(shè)置

測試使用的數(shù)據(jù)集包括2類：mnist手寫體數(shù)字集和hcl2000手寫漢字?jǐn)?shù)據(jù)集，它們均為灰度圖像，詳情見表1，示例見圖3。mnist是美國國家標(biāo)準(zhǔn)和技術(shù)研究所提供的一個(gè)專門用于手寫體數(shù)字識(shí)別研究的數(shù)據(jù)庫，包含60000個(gè)訓(xùn)練樣本和10000個(gè)測試樣本，每個(gè)樣本為28px×28px的bmp圖片。hcl2000是在國家863計(jì)劃的資助下，由北京郵電大學(xué)模式識(shí)別實(shí)驗(yàn)室建立的國家脫機(jī)手寫漢字標(biāo)準(zhǔn)數(shù)據(jù)庫，搜集了1300個(gè)書寫者針對3755個(gè)一級(jí)漢字的書寫筆跡形成1300×3755個(gè)樣本，每個(gè)漢字樣本為64px×64px個(gè)二值像素。本實(shí)驗(yàn)中，選取隨機(jī)其中的3000個(gè)漢字樣本構(gòu)成訓(xùn)練集或測試集，并將該數(shù)據(jù)集分為10個(gè)類別，同時(shí)將其調(diào)整為28px×28px的尺寸，并把像素歸一化到[0,1]。

將從mnist數(shù)據(jù)集中選取的60000測試樣本和10000訓(xùn)練樣本劃分為10類：即0ˉ9共10個(gè)字符分別對應(yīng)一個(gè)訓(xùn)練集與測試集；將hcl2000數(shù)據(jù)集中選取的2000個(gè)測試樣本、1000個(gè)訓(xùn)練樣本劃分為10類，即每一個(gè)漢字對應(yīng)一個(gè)訓(xùn)練集與測試集；2個(gè)卷積層的卷積核大小分別為7х7、5ⅹ5，池化因子為3ⅹ3，最大迭代次數(shù)為20000，實(shí)驗(yàn)次數(shù)為10次，dropout在訓(xùn)練階段的概率p＝0.5，在測試階段的概率p＝1。

表1測試與訓(xùn)練數(shù)據(jù)集

4.不同學(xué)習(xí)率下的識(shí)別性能實(shí)驗(yàn)結(jié)果與分析

為了發(fā)現(xiàn)adam優(yōu)化器的不同學(xué)習(xí)率對算法性能的影響，根據(jù)上節(jié)的實(shí)驗(yàn)設(shè)置，給定不同的學(xué)習(xí)率以測試分析算法的性能。adam優(yōu)化器最小化“交叉熵”的學(xué)習(xí)率設(shè)置為：0.02、0.03、0.04、0.05、0.06、0.07、0.08、0.09、0.1。每一個(gè)學(xué)習(xí)率下的10次平均識(shí)別率的統(tǒng)計(jì)結(jié)果如圖4所示。

從圖4可以看出，對于所測試的2個(gè)數(shù)據(jù)集，當(dāng)學(xué)習(xí)處于[0.2,0.4]內(nèi)時(shí)，模型的識(shí)別率隨著學(xué)習(xí)率的增加而提高，學(xué)習(xí)率與識(shí)別率表現(xiàn)出正相關(guān)。當(dāng)adam優(yōu)化器的學(xué)習(xí)率分布0.04ˉ0.08之間時(shí)，模型的識(shí)別率處于相對比較穩(wěn)定的較高狀態(tài)，此時(shí)，隨著學(xué)習(xí)率的增加模型的識(shí)別率表現(xiàn)出微弱的增長趨勢。隨著學(xué)習(xí)率增大到0.8以上后，模型的識(shí)別率隨著學(xué)習(xí)率的增加而顯著下降，特別是當(dāng)學(xué)習(xí)率達(dá)到1時(shí)，模型的識(shí)別率達(dá)到最低水平：20％左右?；诖藬?shù)據(jù)集的測試表明：adam優(yōu)化器的引入，可以影響系統(tǒng)的識(shí)別率。當(dāng)學(xué)習(xí)率處于0.04ˉ0.08時(shí)，系統(tǒng)具有較好的表現(xiàn)。在后文的對比實(shí)驗(yàn)中，adam優(yōu)化器的學(xué)習(xí)率設(shè)置為0.06。

5.與四種算法的比較與分析

每個(gè)算法針對每個(gè)測試集運(yùn)行10次，不同算法的識(shí)別率統(tǒng)計(jì)結(jié)果如表2所示，不同數(shù)據(jù)規(guī)模下各算法在mnist樣本庫中的識(shí)別率統(tǒng)計(jì)結(jié)果如圖5所示。值得說明的是：由于算法svm-elm與svm-elm沒有針對此數(shù)據(jù)集的測試結(jié)果，因此他們的數(shù)據(jù)沒有體現(xiàn)在圖中。

觀察圖5可知,本文算法對于不同的數(shù)據(jù)規(guī)模的識(shí)別率圴高于算法mlp-cnn與wcnn。隨著數(shù)據(jù)規(guī)模的增長，mlp-cnn算法的識(shí)別性能有較大的波動(dòng)。wcnn算法的識(shí)別率，在數(shù)據(jù)規(guī)模小于3.6萬條時(shí)，隨著數(shù)據(jù)規(guī)模的增大，識(shí)別率有上升的趨勢，但是當(dāng)數(shù)據(jù)規(guī)模大于3.6萬條后，識(shí)別率反而有下降的趨勢。本文算法對應(yīng)的識(shí)別率曲線處于mlp-cnn與wcnn算法對應(yīng)曲線的上方，這表明本文算法獲得了更高的識(shí)別率。特別，隨著數(shù)據(jù)規(guī)模的增大，本文算法的識(shí)別率波動(dòng)較小，表現(xiàn)出了較強(qiáng)的魯棒性。

觀察表2可知，對于mnist測試集，在最低識(shí)別率方面，wcnn、mlp-cnn、svm-elm、gfcn及本文算法的10次運(yùn)算的平均值分別為95.11％、97.82％、89.5％、91.36％和98.02％，本文算法的性能表現(xiàn)排第1，mlp-cnn算法排第2，svm-elm算法的表現(xiàn)最差。在最高識(shí)別率及平均識(shí)別率方面，本文算法的性能表現(xiàn)排第1，wcnn算法排第2，mlp-cnn算法的表現(xiàn)最差。實(shí)事上，這些數(shù)據(jù)表明：基于卷積神經(jīng)網(wǎng)絡(luò)模型的wcnn、mlp-cnn及本文算法在特征識(shí)別方面的表現(xiàn)，最差時(shí)均比svm-elm和gfcn算法特征提取與融合的效果更佳。就表中的數(shù)據(jù)而言，本文算法的識(shí)別率表現(xiàn)最好，最高時(shí)可以達(dá)到99.21％。此外，正是因?yàn)閷λ惴ú⑿谢膶?shí)現(xiàn)，本文算法在時(shí)間開鎖方面也同樣具有優(yōu)勢，本文算法的時(shí)間開銷是wcnn算法的17.42％，mlp-cnn算法的5.81％，svm-elm算法的12.72％，gfcn算法的9.69％。

對于hcl2000測試集，本文算法與svm-elm和gfcn算法相比，同樣具有優(yōu)勢，在最低識(shí)別率方面，本文算法比svm-elm和gfgn算法分別提高了9.16％和7.45％。在最高識(shí)別率方面，本文算法比svm-elm和gfgn算法分別提高了3.73％和4.17％。平均識(shí)別率方面，本文算法比svm-elm和gfgn算法分別提高了3.98％和5.31％。在時(shí)間開銷方面，本文算法的時(shí)間開銷是svm-elm算法的21.39％，gfcn算法的31.83％。

綜上所述：本文算法在識(shí)別時(shí)間開銷與識(shí)別率方面均比比較算法表現(xiàn)優(yōu)越，算法具有良好的魯棒性。

以上所述，僅是本發(fā)明的較佳實(shí)施例而已，并非對本發(fā)明作任何形式上的限制，任何未脫離本發(fā)明技術(shù)方案內(nèi)容，依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對以上實(shí)施例所作的任何簡單修改、等同變化與修飾，均仍屬于本發(fā)明技術(shù)方案的范圍內(nèi)。

表2算法識(shí)別性能比較