專利名稱：：融合二值圖像與灰度圖像的字符識(shí)別的方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于字符識(shí)別領(lǐng)域(簡(jiǎn)稱OCR)，涉及一致融合二值圖像與灰度圖像的字符識(shí)別的方法。
背景技術(shù)：
：傳統(tǒng)的字符識(shí)別技術(shù)是基于字符的二值圖像或者是基于字符的灰度圖像。當(dāng)基于字符的二值圖像的識(shí)別技術(shù)應(yīng)用于各種低質(zhì)量圖像，比如視頻中的退化字符圖像、身份證圖像、汽車牌照、自然場(chǎng)景中的字符圖像等低分辨率圖像，由于二值化后的字符圖像質(zhì)量低，識(shí)別效果差。當(dāng)基于字符的灰度圖像的識(shí)別技術(shù)應(yīng)用于包含復(fù)雜背景的字符圖像，比如視頻中的字符圖像，由于字符圖像包含非一致的背景，識(shí)別效果將變差。
發(fā)明內(nèi)容為了解決現(xiàn)有技術(shù)的問(wèn)題，本發(fā)明的目的在于提供一種融合字符的二值圖像與灰度圖像進(jìn)行字符識(shí)別的方法。為達(dá)成所述目的，本發(fā)明提供的融合二值圖像與灰度圖像的字符識(shí)別的方法，對(duì)所述二值圖像與灰度圖像的融合圖像進(jìn)行處理，進(jìn)行字符識(shí)別，其包括以下步驟步驟l:設(shè)預(yù)處理后得到的單個(gè)字符圖像的二值圖像為<formula>formulaseeoriginaldocumentpage6</formula>其中位于第x行第y列的像素點(diǎn)的值為b。(x，y)，b。(x，y)為0或1，圖像的大小為W具;字符的灰度圖像為<formula>formulaseeoriginaldocumentpage6</formula>位于第x行第y列的像素點(diǎn)的值為g。(x，y)，<formula>formulaseeoriginaldocumentpage6</formula>將字符圖像的二值圖像B。與灰度圖像G。進(jìn)行融合，得融合后的圖像<formula>formulaseeoriginaldocumentpage6</formula>位于第x行第y列的像素點(diǎn)的值為g(x，y)，<formula>formulaseeoriginaldocumentpage6</formula>步驟2:在提取融合圖像<formula>formulaseeoriginaldocumentpage6</formula>的特征前，先進(jìn)行融合圖像G=[g(x，y)]的位置和大小的歸一化處理；圖像歸一化處理的輸入圖像為G二[g(x，y)]，歸一化后的輸出圖像為<formula>formulaseeoriginaldocumentpage6</formula>其大小分別為W工X&和W2XH2;輸入圖像G二[g(x，y)]位于第x行第y列的像素點(diǎn)將被映射到F二[f(x'，y')]位于第x'行第y'列的像素點(diǎn)，通過(guò)輸入圖像和輸出圖像的坐標(biāo)映射來(lái)實(shí)現(xiàn)圖像歸一化<formula>formulaseeoriginaldocumentpage6</formula>—維坐標(biāo)映射為<formula>formulaseeoriginaldocumentpage6</formula>步驟3:基于梯度直方圖提取歸一化圖像的梯度直方圖的特征；步驟4:利用主分量分析與線性判別分析對(duì)歸一化圖像的梯度直方圖的特征進(jìn)行降維處理，得到特征降維的變換矩陣；步驟5:建立字符特征模板庫(kù)，讀取特征降維的變換矩陣并對(duì)字符進(jìn)行識(shí)別。本發(fā)明的有益效果本發(fā)明的特征在于對(duì)字符圖像的二值圖像與灰度圖像的融合圖像進(jìn)行處理，進(jìn)行字符識(shí)別，其包括以下步驟(l)二值圖像與灰度圖像的融合；(2)圖像的歸一化；(3)基于梯度直方圖的特征提??；(4)特征降維；(5)分類器設(shè)計(jì)與字符識(shí)別。本發(fā)明克服了基于字符的二值圖像或者是基于字符的灰度圖像的傳統(tǒng)字符識(shí)別技術(shù)不能同時(shí)識(shí)別退化字符圖像以及包含復(fù)雜背景的字符圖像的缺點(diǎn)。本發(fā)明的應(yīng)用的
技術(shù)領(lǐng)域：
包括視頻中的字符識(shí)別，身份證圖像、汽車牌照、自然場(chǎng)景圖像中的字符識(shí)別圖1為本發(fā)明的字符識(shí)別系統(tǒng)流程圖；圖2為本發(fā)明二值圖像與灰度圖像的融合的構(gòu)架示意圖；圖3為本發(fā)明圖像的歸一化的構(gòu)架示意圖；圖4為本發(fā)明基于梯度直方圖的特征提取的構(gòu)架示意圖；圖5為本發(fā)明求特征降維的變換矩陣的架構(gòu)示意圖；圖6為本發(fā)明分類器設(shè)計(jì)和字符識(shí)別架構(gòu)示意圖；圖7為Sobel梯度算子模板；圖8為L(zhǎng)個(gè)標(biāo)準(zhǔn)方向示例，左邊L=4，右邊L=8;圖9為梯度分解示例；圖10為計(jì)算像素與矩形區(qū)域中心的在水平方向上和豎直方向上距離示例。具體實(shí)施例方式下面結(jié)合附圖詳細(xì)說(shuō)明本發(fā)明技術(shù)方案中所涉及的各個(gè)細(xì)節(jié)問(wèn)題。應(yīng)指出的是，所描述的實(shí)施例僅旨在便于對(duì)本發(fā)明的理解，而對(duì)其不起任何限定作用。如圖1所示，本發(fā)明的字符識(shí)別系統(tǒng)流程圖，識(shí)別算法可以分為兩個(gè)部分訓(xùn)練系統(tǒng)和識(shí)別系統(tǒng)。訓(xùn)練系統(tǒng)對(duì)每個(gè)字符訓(xùn)練樣本，融合其二值圖像與灰度圖像，對(duì)融合圖像進(jìn)行大小和位置的歸一化，提取梯度直方圖的特征；利用從訓(xùn)練樣本中提取的特征，求解進(jìn)行特征降維的變換矩陣，得到字符識(shí)別庫(kù)。在識(shí)別系統(tǒng)中，融合待識(shí)別字符的二值圖像與灰度圖像，對(duì)融合圖像進(jìn)行大小和位置的歸一化，提取梯度直方圖的特征，利用訓(xùn)練系統(tǒng)得到的變換矩陣對(duì)特征進(jìn)行降維，然后送入識(shí)別器，得到識(shí)別結(jié)果。融合字符二值圖像與灰度圖像進(jìn)行字符識(shí)別系統(tǒng)的實(shí)現(xiàn)需要考慮如下幾個(gè)方面1)訓(xùn)練系統(tǒng)的實(shí)現(xiàn)；2)識(shí)別系統(tǒng)的實(shí)現(xiàn)。下面分別對(duì)這兩個(gè)方面進(jìn)行詳細(xì)介紹。1訓(xùn)練系統(tǒng)的實(shí)現(xiàn)1.1請(qǐng)參閱圖2示出的二值圖像與灰度圖像的融合的構(gòu)架。設(shè)預(yù)處理后得到的單個(gè)字符圖像的二值圖像為B。二[b。(x，y)]，其中位于第x行第y列的像素點(diǎn)的值為b。(x，y)，b。(x，y)為0或1。字符的灰度圖像為G。=[g。(x，y)]，位于第x行第y列的像素點(diǎn)的值為g。(x，y)，0《g。(x，y)《255。二值圖像為B。和灰度圖像G。的大小為W工X&。通過(guò)下述流程進(jìn)行字符的二值圖像B。與字符的灰度圖像G。的融合，得到融合后的圖像G=[g(x，y)]，位于第x行第y列的像素點(diǎn)的值為g(x，y)，0《g(x，y)《255:求一個(gè)全值閾值th，例如可以對(duì)灰度圖像g。(x，y)利用傳統(tǒng)的最大類間方差法(OSTU方法)求得這個(gè)全值閾值th。stu，令th=axth。stu，a是一個(gè)常數(shù)。利用全局閾值th對(duì)灰度圖像g(x，y)進(jìn)行門限處理得到二值圖像Bg二[bg(x，y)]，bg(x，y)定義為<formula>formulaseeoriginaldocumentpage8</formula>利用二值形態(tài)學(xué)對(duì)二值圖像B。進(jìn)行條件膨脹。設(shè)D是置的像素值為l。對(duì)二值圖像B。進(jìn)行條件膨脹為<formula>formulaseeoriginaldocumentpage8</formula>根據(jù)上式對(duì)二值圖像Bi反復(fù)進(jìn)行條件膨脹，直到Bw二Bi或達(dá)到最大的迭代次數(shù)，設(shè)最后得到的二值圖像為B二[b(x，y)]。得到用于單個(gè)字符識(shí)別的融合圖像G=[g(x，y)]，g(x，y)定義為:<formula>formulaseeoriginaldocumentpage8</formula>1.2請(qǐng)參閱圖3示出的圖像的歸一化的構(gòu)架。在提取融合圖像的特征前，先進(jìn)行字符圖像的位置和大小的歸一化處理。圖像歸一化的輸入圖像為G二[g(x，y)]，歸一化后的輸出圖像為F二[f(x'，y')]，其大小分別為W工X&和W2XH2。輸入圖像G二[g(x，y)]位于第x行第y列的像素點(diǎn)將被映射到F二[f(x'，y')]位于第x'行第y'列的像素點(diǎn)，通過(guò)輸入圖像和輸出圖像的坐標(biāo)映射來(lái)實(shí)現(xiàn)圖像歸一化<formula>formulaseeoriginaldocumentpage8</formula>一維坐標(biāo)映射為<formula>formulaseeoriginaldocumentpage8</formula>計(jì)算融合圖像G二[g(x，y)]的質(zhì)心(x。，y。)，把質(zhì)心調(diào)整為歸一化圖像F二[f(x<formula>formulaseeoriginaldocumentpage8</formula><formula>formulaseeoriginaldocumentpage9</formula>根據(jù)計(jì)算的單邊二階矩設(shè)置輸入圖像的外框?yàn)閇^-2V^,^+2^]和[^-2^,尺+2^]。對(duì)于x軸，求解二次函數(shù)u(x)=a^+bx+c把x軸上的三個(gè)點(diǎn)(xe-27^,xe,xe+2^)分別映射為(0，0.5，1)，同理得到y(tǒng)軸的二次函數(shù)u(y)把y軸上的三個(gè)點(diǎn)Oc-2^,少c,K+2^)分別映射為(0，0.5，1);得到輸入圖像G二[g(x，y)]位于第x行第y列的像素點(diǎn)和輸出圖像F=[f(x'，y')]位于第x'行第y'列的像素點(diǎn)的坐標(biāo)映射函數(shù)<formula>formulaseeoriginaldocumentpage9</formula>根據(jù)坐標(biāo)映射函數(shù)確定輸入圖像G二[g(x，y)]與歸一化圖像F二[f(x'，y')]坐標(biāo)映射關(guān)系，對(duì)輸入圖像灰度值通過(guò)雙線性插值，得到歸一化圖像F二[f(x'，y')]的值。1.3請(qǐng)參閱圖4示出的基于梯度直方圖的特征提取的構(gòu)架。利用Sobel算子的兩個(gè)3X3模板分別計(jì)算圖像F二[f(x，y)]中每個(gè)位置上的梯度，Sobel算子的兩個(gè)3x3模板如圖7所示。對(duì)于圖像F二[f(x，y)]，其分別沿x軸和y軸方向的一階導(dǎo)數(shù)分量通過(guò)下式求得gx(x，y)=f(x+l，y-l)+2f(x+l，y)+f(x+l，y+l)-f(x-l，y-l)_2f(x-l，y)-f(x_l，y+l)，gy(x，y)=f(x-l，y+l)+2f(x，y+l)+f(x+l，y+l)-f(x-l，y-l)-2f(x，y-l)-f(x+l，y-l).x=0，，W2_l，y=1，.，H2_l;計(jì)算圖像F=[f(x，y)]位置(x，y)的梯度強(qiáng)度mag(x，y)和方向角^0,力分別為<formula>formulaseeoriginaldocumentpage9</formula>定義L個(gè)標(biāo)準(zhǔn)方向，L=4禾PL=8的情況如圖8和所示。將梯度利用平行四邊形法則分解為離它最近的兩個(gè)標(biāo)準(zhǔn)方向，如圖9所示。將歸一化后大小為W2X^的圖像F=[f(x，y)]分割成RXR個(gè)互不相交的矩形區(qū)域，為每個(gè)矩形區(qū)域建立L維的梯度方向直方圖。圖像F二[f(x，y)]中每個(gè)像素的梯度對(duì)與這個(gè)像素最近的4個(gè)矩形區(qū)域的梯度方向直方圖有貢獻(xiàn)。如圖10所示為一個(gè)像素與其最近的4個(gè)矩形區(qū)域(從上到下，從左到右分別編號(hào)為1，2，3和4)，其中每個(gè)小矩形框表示一個(gè)像素，4X4個(gè)小矩形框組成一個(gè)大矩形區(qū)域。在水平方向上，像素與矩形區(qū)域中心的距離分別為c^和dto;在豎直方向上，像素與矩形區(qū)域中心的距離分別為dvt和dvb。設(shè)像素梯度在1方向上的分量的強(qiáng)度為gy則這個(gè)像素的梯度對(duì)第1，2，3和4個(gè)矩形區(qū)域的梯度方向直方圖的第1維的貢獻(xiàn)值分另ll為g工XXdvb/((dhl+dhr)X(dvt+dvb))，g工XdhlXdvb/((dhl+dhr)X(dvt+dvb))，g工XdhrXdvt/((dhl+djX(dvt+dvb))禾PglXdhlXdvt/((dhl+djX(dvt+dvb))。利用這種方法計(jì)算每個(gè)像素的梯度對(duì)與其鄰近的矩形區(qū)域的梯度方向直方圖的貢獻(xiàn)，求得每個(gè)矩形區(qū)域梯度方向直方圖，最后得到了字符圖像的RXRXL維特征。1.4請(qǐng)參閱圖5示出的求特征降維的變換矩陣的架構(gòu)1.4.1主分量分析(PCA)高維特征向量包含相互關(guān)聯(lián)的特征，對(duì)其處理運(yùn)算量大，利用主分量分析對(duì)高維特征向量進(jìn)行主分量分析(PCA)，求解PCA降維矩陣PrcA;設(shè)從n個(gè)訓(xùn)練樣本中提取的字符特征為Xi，i=1，...，n，Xi的維數(shù)m=RXRXL;訓(xùn)練樣本字符特征的散度矩陣為s=—》x,-xf(x,-王)w,=1，，.=i對(duì)散度矩陣進(jìn)行特征值分解為E=UAUT其中U=[Ul，u2，...，uj為正交矩陣，A=diag(、，A2，，Am)為對(duì)角矩陣，2>>Am為特征值。設(shè)主分量分析PCA降維后要保存r^的能量，則主分量分入i>入析保存的主方向個(gè)數(shù)l為/二argmin0/t2r主分量分析得到的變換矩陣為PreA=[Ul，u2，...，Ul]，對(duì)字符特征Xi，進(jìn)行降維得到降維后的1維字符特征Zi=(PPCA)TXi，i=1，，n，(PPCA)T表示PPCA的轉(zhuǎn)置矩陣;1.4.2對(duì)訓(xùn)練樣本降維后的字符特征進(jìn)行線性判別分析(LDA)，求解變換矩陣W:設(shè)識(shí)別系統(tǒng)中待識(shí)別的字符類別數(shù)為C，第i類包含ni個(gè)訓(xùn)練樣本。計(jì)算第i類字符樣本特征均值Pi和所有樣本特征均值P:i1c",c度盡量計(jì)算類間散度矩陣sb和類內(nèi)散度矩陣sw:,=1w線性判別分析尋找一個(gè)變換矩陣w，使得變換后類間離散度盡j小，利用最大化判據(jù)10t大，同時(shí)類內(nèi)離散<formula>formulaseeoriginaldocumentpage11</formula>來(lái)表示。LDA可以通過(guò)求解廣義特征向量問(wèn)題來(lái)解決Sbw=ASww設(shè)向量巧，...，wd，...，Wl為廣義特征向量問(wèn)題的解，它們對(duì)應(yīng)的廣義特征值、^…^Ad^…^Ay選擇前d個(gè)廣義特征向量問(wèn)題的解特征向量組成W，即W=[w丄，，wd]。1.5請(qǐng)參閱圖6示出的分類器設(shè)計(jì)和字符識(shí)別架構(gòu)利用變換矩陣W對(duì)第i個(gè)字符類特征均值Pi進(jìn)行降維，并歸一化降維后的特征<formula>formulaseeoriginaldocumentpage11</formula>保存變換矩陣P=WPreA，每個(gè)字符類的編碼及其對(duì)應(yīng)的特征A在識(shí)別庫(kù)中文件中。(5.2)字符識(shí)別2識(shí)別系統(tǒng)的實(shí)現(xiàn)從字符識(shí)別庫(kù)中文件中讀取變換矩陣P，每個(gè)字符類的編碼及其對(duì)應(yīng)的特征a。對(duì)每個(gè)待識(shí)別字符的二值圖像與灰度圖像進(jìn)行融合，對(duì)融合后的圖像進(jìn)行歸一化，進(jìn)行特征提取得到字符圖像的多維特征a。利用變換矩陣P對(duì)字符圖像的多維特征a進(jìn)行特征降維得到降維后的特征b=PTa，PT為變換矩陣P的轉(zhuǎn)置矩陣。對(duì)降維后的特征歸一化得到"6/V^。順序計(jì)算^"與每個(gè)字符類的歸一化中心矢量{^.}^.《的余弦距離{dj工《，《c《=1_J7f^距離最小的類即為字符圖像的識(shí)別結(jié)果。以上所述，僅為本發(fā)明中的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應(yīng)涵蓋在本發(fā)明的包含范圍之內(nèi)，因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。權(quán)利要求一種融合二值圖像與灰度圖像的字符識(shí)別的方法，其特征在于，對(duì)所述二值圖像與灰度圖像的融合圖像進(jìn)行處理，進(jìn)行字符識(shí)別，其包括以下步驟步驟1設(shè)預(yù)處理后得到的單個(gè)字符圖像的二值圖像為B0＝[b0(x，y)]，其中位于第x行第y列的像素點(diǎn)的值為b0(x，y)，b0(x，y)為0或1，圖像的大小為W1×H1；字符的灰度圖像為Gc＝[gc(x，y)]，位于第x行第y列的像素點(diǎn)的值為gc(x，y)，0≤gc(x，y)≤255；將字符圖像的二值圖像B0與灰度圖像Gc進(jìn)行融合，得融合后的圖像G＝[g(x，y)]，位于第x行第y列的像素點(diǎn)的值為g(x，y)，0≤g(x，y)≤255；步驟2在提取融合圖像G＝[g(x，y)]的特征前，先進(jìn)行融合圖像G＝[g(x，y)]的位置和大小的歸一化處理；圖像歸一化處理的輸入圖像為G＝[g(x，y)]，歸一化后的輸出圖像為F＝[f(x’，y’)]，其大小分別為W1×H1和W2×H2；輸入圖像G＝[g(x，y)]位于第x行第y列的像素點(diǎn)將被映射到F＝[f(x’，y’)]位于第x’行第y’列的像素點(diǎn)，通過(guò)輸入圖像和輸出圖像的坐標(biāo)映射來(lái)實(shí)現(xiàn)圖像歸一化<mfencedopen='{'close=''><mtable><mtr><mtd><msup><mi>x</mi><mo>′</mo></msup><mo>=</mo><msup><mi>x</mi><mo>′</mo></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mtd></mtr><mtr><mtd><msup><mi>y</mi><mo>′</mo></msup><mo>=</mo><msup><mi>y</mi><mo>′</mo></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mtd></mtr></mtable></mfenced>一維坐標(biāo)映射為<mrow><mfencedopen='{'close=''><mtable><mtr><mtd><msup><mi>x</mi><mo>′</mo></msup><mo>=</mo><msup><mi>x</mi><mo>′</mo></msup><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow></mtd></mtr><mtr><mtd><msup><mi>y</mi><mo>′</mo></msup><mo>=</mo><msup><mi>y</mi><mo>′</mo></msup><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow></mtd></mtr></mtable></mfenced><mo>;</mo></mrow>步驟3基于梯度直方圖提取歸一化圖像的梯度直方圖的特征；步驟4利用主分量分析與線性判別分析對(duì)歸一化圖像的梯度直方圖的特征進(jìn)行降維處理，得到特征降維的變換矩陣；步驟5建立字符特征模板庫(kù)，讀取特征降維的變換矩陣并對(duì)字符進(jìn)行識(shí)別。2.根據(jù)權(quán)利要求1所述融合二值圖像與灰度圖像的字符識(shí)別的方法，其特征在于，所述二值圖像與灰度圖像的融合包括步驟11:對(duì)灰度圖像G。=[g。(x，y)]的像素點(diǎn)值g。(x，y)利用傳統(tǒng)的最大類間方差法求得閾值th。stu，求一個(gè)全局閾值th，令th=aXth。stu，a是一個(gè)常數(shù)；利用全值閾值th對(duì)灰度圖像G。二[g。(x，y)]的像素點(diǎn)值g。(x，y)進(jìn)行門限處理，得到二值圖像Bg=[bg(x，y)]，二值圖像的像素點(diǎn)值bg(x，y)定義為步驟12:利用二值形態(tài)學(xué)對(duì)二值圖像B。進(jìn)行條件膨脹，設(shè)D是一個(gè)3X3的圖像，其每個(gè)位置的像素值為1;對(duì)二值圖像B。進(jìn)行條件膨脹為A+,二C8(十D)r^g，"l,2，-"，A^二^根據(jù)上式對(duì)二值圖像Bi反復(fù)進(jìn)行條件膨脹，直到Bi+1=Bi或達(dá)到最大的迭代次數(shù)，設(shè)最后得到的二值圖像為B二[b(x，y)];步驟13:得到用于單個(gè)字符識(shí)別的融合圖像G二[g(x，y)]，g(x，y)定義為3.根據(jù)權(quán)利要求1所述融合二值圖像與灰度圖像的字符識(shí)別的方法，其特征在于，圖像的歸一化包括步驟21:計(jì)算融合圖像G二[g(x，y)]的質(zhì)心(x。，y。)，把質(zhì)心調(diào)整為歸一化圖像F二[f(x，，y，)]的中心(W2/2，H2/2):<formula>formulaseeoriginaldocumentpage3</formula>其中g(shù),(x)和gy(y)分別為融合圖像6=[g(x，y)]在垂直方向和水平方向上的像素密度；步驟22:根據(jù)質(zhì)心位置(Xe，y》，計(jì)算圖像G二[g(x，y)]單邊二階矩Px+，Px—，Py+和步驟23:根據(jù)計(jì)算的單邊二階矩設(shè)置輸入圖像的外框?yàn)?lt;formula>formulaseeoriginaldocumentpage3</formula>和<formula>formulaseeoriginaldocumentpage3</formula>對(duì)于x軸，求解二次函數(shù)u(x)=ax2+bx+c把x軸上的三個(gè)點(diǎn)(X_27^,\,xe+2^)分別映射為(0，0.5，1)，同理得到y(tǒng)軸的二次函數(shù)u(y)把y軸上的三個(gè)點(diǎn)(K一2^,x,K+2^)分別映射為(0，0.5，1);得到輸入圖像G二[g(x，y)]位于第x行第y列的像素點(diǎn)和輸出圖像F=[f(x'，y')]位于第x'行第y'列的像素點(diǎn)的坐標(biāo)映射函數(shù)<,2W2，H2分別為輸出圖像F二[f(x'，y')]的寬和高；<formula>formulaseeoriginaldocumentpage3</formula>步驟24:通過(guò)雙線性插值最終得到歸一化圖像f(x'，y')=g(x，y)。4.根據(jù)權(quán)利要求1所述融合二值圖像與灰度圖像的字符識(shí)別的方法，其特征在于，所提取字符圖像的多維特征包括步驟31:利用Sobel算子的兩個(gè)3X3模板分別計(jì)算圖像F二[f(x，y)]中每個(gè)位置上的梯度；對(duì)于圖像F=[f(x，y)]，其分別沿x軸和y軸方向的一階導(dǎo)數(shù)分量通過(guò)下式求得gx(x，y)=f(x+l，y-l)+2f(x+l，y)+f(x+l，y+l)-f(x-1，y-1)_2f(x-1，y)-f(x_l，y+1)，gy(x，y)=f(x-1，y+1)+2f(x，y+1)+f(x+1，y+1)，x=0，，W2_l，y=-f(x-l，y-l)-2f(x，y-1)-f(x+1，y_l).1，…，H2_l;步驟32:圖像F=[f(x，y)]位置(x，y)的梯度強(qiáng)度mag(x，y)和方向角p(x,力分別為magO,_y)=[gx2(x，_y)+g〗0,_y)]1/2，步驟33:定義L個(gè)標(biāo)準(zhǔn)方向，將梯度利用平行四邊形法則分解為離它最近的兩個(gè)標(biāo)準(zhǔn)方向，將歸一化后大小為W2XH2的圖像F二[f(x，y)]分割成RXR個(gè)互不相交的矩形區(qū)域，為每個(gè)矩形區(qū)域建立L維的梯度方向直方圖；圖像F二[f(x，y)]中每個(gè)像素的梯度對(duì)與這個(gè)像素最近的4個(gè)矩形區(qū)域的梯度方向直方圖有貢獻(xiàn)；計(jì)算每個(gè)像素的梯度對(duì)與其鄰近的矩形區(qū)域的梯度方向直方圖的貢獻(xiàn)，求得每個(gè)矩形區(qū)域梯度方向直方圖，最后得到了字符圖像的RXRXL維特征。5.根據(jù)權(quán)利要求1所述融合二值圖像與灰度圖像的字符識(shí)別的方法，其特征在于，所述高維特征降維處理包括步驟41:對(duì)高維特征向量進(jìn)行主分量分析(PCA)，求解PCA降維矩陣PreA:高維特征向量包含相互關(guān)聯(lián)的特征，對(duì)其處理運(yùn)算量大，利用主分量分析對(duì)高維特征向量進(jìn)行主分量分析(PCA)，求解PCA降維矩陣PreA;設(shè)從n個(gè)訓(xùn)練樣本中提取的字符特征為Xi，i=1，...，n，Xi的維數(shù)m=RXRXL;訓(xùn)練樣本字符特征的散度矩陣為2=_Z(^—^f(A—巧X=XXZ對(duì)散度矩陣進(jìn)行特征值分解為E=UAUT其中U=[Ul，u2，...，um]為正交矩陣，A=diag(、，A2，...，Am)為對(duì)角矩陣，入！》A2>...>Am為特征值，設(shè)主分量分析PCA降維后要保存r^的能量，則主分量分析保存的主方向個(gè)數(shù)l為/=argmin0/i、^—主分量分析得到的變換矩陣為PrcA=[Ul，u2，...，Ul]，對(duì)字符特征Xi，進(jìn)行降維得到降維后的1維字符特征Zi=(PPCA)TXi，i=1，，n，(PPCA)T表示PPCA的轉(zhuǎn)置矩陣;步驟42:對(duì)訓(xùn)練樣本降維后的字符特征進(jìn)行線性判別分析，求解變換矩陣W:設(shè)識(shí)別系統(tǒng)中待識(shí)別的字符類別數(shù)為C，第i類包含&個(gè)訓(xùn)練樣本；計(jì)算第i類字符樣本特征均值yi和所有樣本特征均值y:a=—Z4，m=-sxx，"=&計(jì)算類間散度矩陣sb和類內(nèi)散度矩陣sw:<formula>formulaseeoriginaldocumentpage5</formula>線性判別分析尋找一個(gè)變換矩陣w，使得變換后類間離散度盡量大，同時(shí)類內(nèi)離散度盡量小，利用最大化判據(jù)<formula>formulaseeoriginaldocumentpage5</formula>來(lái)表示;通過(guò)求解廣義特征向量問(wèn)題來(lái)解決線性判別分析<formula>formulaseeoriginaldocumentpage5</formula>設(shè)向量w"...，wd，...，Wl為廣義特征向量問(wèn)題的解，它們對(duì)應(yīng)的廣義特征值A(chǔ)i^.-.^Ad^...>Ay選擇前d個(gè)廣義特征向量問(wèn)題的解特征向量組成W，即W=[w丄，，wd]。6.根據(jù)權(quán)利要求1所述融合二值圖像與灰度圖像的字符識(shí)別的方法，其特征在于，所述字符識(shí)別包括步驟51:設(shè)計(jì)分類器利用變換矩陣W對(duì)第i個(gè)字符類特征均值Pi進(jìn)行降維，并歸一化降維后的特征<formula>formulaseeoriginaldocumentpage5</formula>保存變換矩陣P=WPp^、每個(gè)字符類的編碼及其對(duì)應(yīng)的字符類特征A在字符識(shí)別庫(kù)中的文件中；步驟52:字符識(shí)別從字符識(shí)別庫(kù)中的文件中讀取變換矩陣P、每個(gè)字符類的編碼及其對(duì)應(yīng)的字符類特征A;對(duì)每個(gè)待識(shí)別字符的二值圖像與灰度圖像進(jìn)行融合，對(duì)融合后的圖像進(jìn)行歸一化，進(jìn)行特征提取得到字符圖像的多維特征a;利用變換矩陣P對(duì)字符圖像的多維特征a進(jìn)行特征降維得到降維后的特征b=PTa，PT為變換矩陣P的轉(zhuǎn)置矩陣；對(duì)降維后特征b歸一化得到<formula>formulaseeoriginaldocumentpage5</formula>順序計(jì)算字符歸一化特征^"與每個(gè)字符類的歸一化中心矢量{^}^《的余弦距離{dji《i《c<formula>formulaseeoriginaldocumentpage5</formula>距離最小的類即為字符圖像的識(shí)別結(jié)果。全文摘要本發(fā)明涉及一種融合二值圖像與灰度圖像的字符識(shí)別的方法，包括對(duì)字符圖像的二值圖像與灰度圖像的融合圖像進(jìn)行處理，進(jìn)行字符識(shí)別將字符圖像的二值圖像與灰度圖像進(jìn)行融合得到融合圖像；對(duì)融合圖像進(jìn)行大小和位置的歸一化；提取歸一化圖像的梯度直方圖的特征；利用主分量分析與線性判別分析得到特征降維的變換矩陣；建立字符特征模板庫(kù)，進(jìn)行字符識(shí)別。本發(fā)明克服了基于字符的二值圖像或者是基于字符的灰度圖像的傳統(tǒng)字符識(shí)別技術(shù)不能同時(shí)識(shí)別退化字符圖像以及包含復(fù)雜背景的字符圖像的缺點(diǎn)。文檔編號(hào)G06K9/20GK101751565SQ20081023933公開日2010年6月23日申請(qǐng)日期2008年12月10日優(yōu)先權(quán)日2008年12月10日發(fā)明者張樹武,楊武夷申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所