本發(fā)明涉及圖像處理中的噪聲處理、圖像二值化處理、圖像切割以及目標(biāo)檢測(cè)和字符識(shí)別等方法，還涉及到了針對(duì)早期專利文檔中的圖文分離和圖文匹配技術(shù)。

背景技術(shù)：

隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，每時(shí)每刻都會(huì)有數(shù)以億計(jì)的數(shù)據(jù)在產(chǎn)生，面對(duì)如此巨大的數(shù)據(jù)量，如何快速、高效的處理這些數(shù)據(jù)對(duì)于人們來說是一個(gè)挑戰(zhàn)。傳統(tǒng)的人工處理數(shù)據(jù)任務(wù)變得越來越困難、低效，很難滿足當(dāng)前人們?cè)谏詈凸ぷ魃系男枨?。面?duì)這些生活和工作上出現(xiàn)的實(shí)際問題，迫切需要一個(gè)能夠利用計(jì)算機(jī)技術(shù)來替代人工處理這些實(shí)際問題的智能信息處理系統(tǒng)。專利文檔作為一個(gè)鼓勵(lì)發(fā)明創(chuàng)造和保護(hù)發(fā)明人權(quán)益的重要文件，它是保證科學(xué)技術(shù)持續(xù)發(fā)展的重要的數(shù)據(jù)信息。由于早期文檔電子化水平較低，大量的專利文檔都是以紙質(zhì)的形式保存的，這些紙質(zhì)化的專利文檔給檢索者的使用帶來了諸多的不便。為了更加方便快捷的使用這些早期的專利文檔，迫切需要將這些紙質(zhì)化的專利文檔電子化。由于早期專利文檔的數(shù)量巨大，造成了在進(jìn)行人工處理這些專利文檔任務(wù)的難度大大增加。

一般來說處理專利文檔掃描件的任務(wù)大致包括圖像檢測(cè)、圖像切割和圖文匹配等步驟。人工處理單一的專利文檔掃描件的任務(wù)十分的簡(jiǎn)單，首先人可以十分精確和高效的分辨出在整個(gè)專利文檔中需要切割分離的圖塊，然后再利用圖像處理軟件對(duì)整個(gè)專利文檔掃描件中的圖塊進(jìn)行切割。同時(shí)，人也可以十分精確的識(shí)別出每一個(gè)圖塊對(duì)應(yīng)的標(biāo)號(hào)，并將其與對(duì)應(yīng)的圖塊進(jìn)行匹配，最后將匹配后的圖塊結(jié)果保存在相應(yīng)的文件目錄中。至此，完成了單一專利文檔圖文分離和匹配的所有任務(wù)。但是，面對(duì)數(shù)量巨大的專利文檔圖文分離和匹配任務(wù)，由于大量的重復(fù)性的工作，人工處理這些任務(wù)的時(shí)候，處理效率往往就顯得十分低下，浪費(fèi)人力、物力。為了增加專利文檔圖文分離和匹配任務(wù)的處理效率，迫切需要一個(gè)能夠模仿人來自動(dòng)處理專利文檔圖文分離任務(wù)的智能化信息處理系統(tǒng)。利用機(jī)器來完成專利文檔的圖文分離和匹配任務(wù)，主要要處理好以下幾點(diǎn)：首先對(duì)專利文檔中的附圖和fig標(biāo)示進(jìn)行檢測(cè)，然后利用圖像切割的技術(shù)來完成相應(yīng)的切割任務(wù)，同時(shí)利用字符識(shí)別技術(shù)對(duì)fig中的字符進(jìn)行精確識(shí)別，最后將切割出來的圖塊和相應(yīng)的標(biāo)簽進(jìn)行匹配，并將匹配好的結(jié)果保存在指定的文件目錄中。

本發(fā)明參考的是美國(guó)的早期專利文檔掃描件來進(jìn)行設(shè)計(jì)和實(shí)驗(yàn)的。測(cè)試數(shù)據(jù)全部為美國(guó)早期專利文檔的掃描件圖像，以下闡述測(cè)試數(shù)據(jù)的格式和特點(diǎn)。

美國(guó)早期專利文檔掃描件圖像如圖8所示，其特點(diǎn)有以下幾點(diǎn)：

1、該專利文檔掃描件的圖像為黑白色的灰度圖像，且圖像中隨機(jī)分布著很多顆粒噪聲；

2、部分專利文檔掃描件圖像的邊緣部分存在由于掃描不規(guī)范而產(chǎn)生的一些不規(guī)則的干擾雜質(zhì)；

3、在該專利文檔掃描件圖像的上方的空間存在著一些說明性的文字，這些說明性的文字存在的空間位置相對(duì)固定，剩余部分的內(nèi)容是附圖和標(biāo)號(hào)；

4、每一幅掃描件圖像中的附圖個(gè)數(shù)差異較大，在附圖數(shù)量較多的掃描件圖像中，附圖之間的距離較近；在附圖數(shù)量較少的圖像中，存在由于附圖不規(guī)范，內(nèi)部之間分散較大等現(xiàn)象；

5、附圖對(duì)應(yīng)的“fig”標(biāo)示，種類多樣，識(shí)別有一定的難度，但形狀較為規(guī)范。

技術(shù)實(shí)現(xiàn)要素：

對(duì)于給定的專利文檔掃描件樣本圖像，每一幅專利文檔掃描件樣本圖像中都包含有數(shù)量不定的專利附圖，每一個(gè)附圖都有對(duì)應(yīng)的fig標(biāo)簽。本發(fā)明的目的在于利用計(jì)算機(jī)圖像處理的相關(guān)技術(shù)，將專利文檔掃描件中的附圖與附圖標(biāo)號(hào)進(jìn)行關(guān)聯(lián)，并以指定的格式輸出。

本發(fā)明采用的技術(shù)方案為一種改進(jìn)的針對(duì)早期專利文檔掃描件中圖文信息的智能處理方法，該方法包括以下幾個(gè)步驟：

步驟1：對(duì)于專利文檔掃描件的樣本圖像，截取樣本圖像中只含有fig標(biāo)示部分的圖塊，然后隨意截取一部分與fig標(biāo)示部分的圖塊尺寸大小相近的但不含有fig標(biāo)示的圖塊，作為訓(xùn)練SVM分類器的數(shù)據(jù)集；

步驟2：將步驟1中含有fig標(biāo)示的圖塊作為正例，隨意截取的不含有fig標(biāo)示的圖塊作為負(fù)例，分別提取正負(fù)訓(xùn)練樣本的HOG特征；

步驟3：利用提取的正負(fù)樣本的HOG特征訓(xùn)練一個(gè)SVM分類器，它能夠正確區(qū)分一個(gè)圖塊是否為含有fig標(biāo)示的圖塊，如果圖塊中含有fig，那么SVM分類器輸出為1，否則SVM分類器輸出為0；

步驟4：對(duì)于輸入的專利文檔掃描件圖像，如圖10所示，首先將其進(jìn)行二值化處理，得到圖像的二值化的矩陣表示，這樣能夠有效的簡(jiǎn)化后續(xù)的處理工作；

步驟5：早期紙質(zhì)版的專利文檔在掃描的過程中，由于掃描操作的不規(guī)范以及掃描機(jī)自身的一些因素導(dǎo)致了掃描件圖像中存在一些顆粒噪聲和邊角噪聲，如圖12所示。對(duì)于步驟4中得到的圖像的二值化的二維矩陣表示，采用鄰域平均的均值濾波器對(duì)其進(jìn)行去噪聲操作；

步驟6：對(duì)于經(jīng)過步驟5去噪聲操作之后的圖像，用一個(gè)和訓(xùn)練樣本中的fig標(biāo)示圖塊尺寸大小相近的滑動(dòng)窗口在其上按照從左至右、從上到下的順序依次滑動(dòng)，并用步驟3中訓(xùn)練好的SVM分類器模型對(duì)每一個(gè)滑動(dòng)窗口圈出的圖塊進(jìn)行類別判斷，若其中含有fig標(biāo)示，則用矩形框框住滑動(dòng)窗口當(dāng)前的位置，否則繼續(xù)滑動(dòng)窗口；

步驟7：切割掉步驟6中矩形框框出的fig標(biāo)示圖塊，并將圖像二值化的二維矩陣表示中fig標(biāo)示圖塊位置中的值全部置為0，即將圖塊區(qū)域變成跟圖像背景一樣的白色；

步驟8：對(duì)于切割下來的fig標(biāo)示圖塊，利用針對(duì)手寫字符識(shí)別的分類器對(duì)fig標(biāo)示中的數(shù)字進(jìn)行識(shí)別，然后對(duì)切割掉的fig標(biāo)示部分利用識(shí)別出的數(shù)字進(jìn)行命名；

步驟9：對(duì)于步驟7中切割后的圖像，利用種子區(qū)域生長(zhǎng)法進(jìn)行切割，閾值的大小根據(jù)在該圖像中檢測(cè)到的fig的個(gè)數(shù)的多少實(shí)現(xiàn)自動(dòng)調(diào)節(jié)；

步驟10：根據(jù)位置信息，將步驟7中得到的fig標(biāo)示和步驟9中切割得到的圖塊進(jìn)行對(duì)應(yīng)的匹配，即將指定的圖塊與其在圖像中的fig標(biāo)示進(jìn)行匹配，并將該圖塊命名為相應(yīng)位置上的fig標(biāo)示中的數(shù)字對(duì)應(yīng)的標(biāo)記號(hào)；

步驟11：將步驟10中匹配得到的以附圖標(biāo)記號(hào)命名的若干個(gè)圖塊輸出，并以圖片的存儲(chǔ)格式保存在指定的文件目錄下。

本發(fā)明方法具有以下優(yōu)點(diǎn)：

1、因?yàn)閒ig標(biāo)示的結(jié)構(gòu)相對(duì)于附圖來說更加穩(wěn)定，本發(fā)明首先將其檢測(cè)并切割出來，一方面提高了fig標(biāo)示提取的準(zhǔn)確率，另一方面也減少了由于直接對(duì)附圖進(jìn)行切割操作時(shí)fig標(biāo)示帶來的干擾；

2、由于提前切除fig標(biāo)示，使得多個(gè)附圖之間的間距變大，為步驟9中切割附圖時(shí)閾值的選擇提供了方便，通過統(tǒng)計(jì)在每個(gè)專利文檔掃描件中提取到的fig標(biāo)示的數(shù)量，來動(dòng)態(tài)的調(diào)整切割附圖時(shí)的閾值的大小，提高了附圖切割的精確度。

附圖說明

圖1是本發(fā)明所涉及的方法的整體流程示意圖；

圖2是訓(xùn)練SVM分類器模型的流程示意圖；

圖3是專利文檔掃描建圖像二值化后的二值矩陣的示意圖，圖像的尺寸大小為20*20像素，其中的白色代表在二值矩陣中對(duì)應(yīng)的值為0，黑色代表在二值矩陣中對(duì)應(yīng)的值為1；

圖4是對(duì)數(shù)據(jù)結(jié)構(gòu)Brick中的屬性的示意圖；

圖5是進(jìn)行切割操作時(shí)掃描得到的第一個(gè)黑色像素點(diǎn)后執(zhí)行操作的示意圖，也就是說掃描得到第一個(gè)黑色像素點(diǎn)的時(shí)候，在此處創(chuàng)建一個(gè)圖塊，并初始化Brick的初始位置坐標(biāo)以及高度和寬度等屬性值；

圖6是進(jìn)行圖塊切割時(shí)向下延伸的示意圖。向下延伸時(shí)，查看與該圖塊的下方相鄰的一行是否有黑色的像素點(diǎn)，如果有，則將該像素點(diǎn)加入到圖塊Brick中，同時(shí)更新圖塊Brick的各個(gè)屬性值；

圖7是進(jìn)行圖塊切割時(shí)向右延伸的示意圖。向右延伸時(shí)，查看與該圖塊的右側(cè)相鄰的一列是否有黑色的像素點(diǎn)，如果有，則將該像素點(diǎn)加入到圖塊Brick中，同時(shí)更新圖塊Brick的各個(gè)屬性值；

圖8是進(jìn)行圖塊切割時(shí)向左延伸的示意圖。向左延伸時(shí)，查看與該圖塊的左側(cè)相鄰的一列是否存在黑色像素點(diǎn)，如果有，則將該像素點(diǎn)加入到圖塊Brick中，同時(shí)更新圖塊Brick的各個(gè)屬性值；

圖9是進(jìn)行圖塊切割時(shí)向上延伸的示意圖。向上延伸時(shí)，查看與該圖塊的上方相鄰的一行是否存在黑色像素點(diǎn)，如果有，則將該像素點(diǎn)加入到圖塊Brick中，同時(shí)更新圖塊Brick的各個(gè)屬性值；

圖10是本發(fā)明中所使用的美國(guó)早期專利文檔掃描件圖像格式的示意圖；

圖11是經(jīng)過本發(fā)明處理后的輸出結(jié)果的示意圖；

圖12是掃描件圖像中的各種可能存在的雜質(zhì)的示意圖。

具體實(shí)施方式

下面結(jié)合具體實(shí)施方式對(duì)本發(fā)明做進(jìn)一步的說明。

對(duì)于一個(gè)專利文檔掃描件圖像的切割任務(wù)來說，它包含有很多的專利文檔圖片；

首先，在步驟1中要準(zhǔn)備針對(duì)fig識(shí)別任務(wù)的訓(xùn)練數(shù)據(jù)集。首先要在專利附圖中手動(dòng)截取一些含有fig標(biāo)示的正樣本和一些不含有fig標(biāo)示的負(fù)樣本，將截取的樣本以相同的格式存儲(chǔ)起來。

步驟2，將截取的正負(fù)樣本集的尺寸大小變換到同一個(gè)尺寸。分別計(jì)算正負(fù)樣本的HOG特征。首先將訓(xùn)練樣本灰度化，然后分別計(jì)算灰度圖像中的每個(gè)像素的梯度(包括大小和方向)，主要是為了捕獲輪廓信息，同時(shí)進(jìn)一步弱化光照的干擾。

圖像中像素點(diǎn)(x,y)梯度為：

G_x(x,y)＝H(x+1,y)-H(x-1,y) (1)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (2)

式中G_x(x,y)、G_y(x,y)、H(x,y)分別表示輸入圖像中像素點(diǎn)(x,y)處的水平方向梯度、垂直方向梯度和像素值。像素點(diǎn)(x,y)處的梯度幅值和梯度方向分別為：

把樣本圖像分割成若干個(gè)像素的單元格，把梯度方向平均分成9個(gè)區(qū)間，在每個(gè)單元格里面對(duì)所有像素的梯度方向在各個(gè)區(qū)間用直方圖進(jìn)行統(tǒng)計(jì)，得到一個(gè)9維的特征向量，將相鄰的4個(gè)單元格構(gòu)成一個(gè)塊，把一個(gè)塊內(nèi)的向量連接起來得到4*9＝36維的特征向量，用塊對(duì)樣本圖像進(jìn)行掃描，掃描步長(zhǎng)設(shè)置為1個(gè)單元。最后將所有的特征串聯(lián)起來，就得到當(dāng)前圖像塊的HOG特征表達(dá)。

步驟3，利用步驟2中提取到的正負(fù)樣本的HOG特征訓(xùn)練一個(gè)SVM分類器，用于準(zhǔn)確區(qū)分fig標(biāo)示。

步驟4，對(duì)于一個(gè)專利文檔的掃描圖像，圖像的尺寸大小為595*842像素。

把輸入的專利文檔掃描圖像轉(zhuǎn)化成一個(gè)二值的二維矩陣，其中包含一下兩個(gè)小步驟：

(a)將彩色圖像G轉(zhuǎn)化成灰度圖，假設(shè)G_gray就是灰度圖對(duì)應(yīng)的灰度值矩陣，G_gray中的各個(gè)元素的計(jì)算公式如公式(1)所示：

其中G_gray(x,y)表示灰度值矩陣中第x行第y列元素的取值，G_r(x,y)、G_g(x,y)、G_b(x,y)分表為彩色圖像R、G、B通道的顏色矩陣中第x行第y列元素的取值。

(b)采用一個(gè)經(jīng)驗(yàn)值為200的灰度閾值將灰度圖像轉(zhuǎn)化成一個(gè)二值的二維矩陣M。具體的流程為依次掃描灰度值矩陣G_gray的各個(gè)值，并按照下面給出的規(guī)則對(duì)二維矩陣M中的元素的值進(jìn)行調(diào)整，具體規(guī)則如下：

若G_gray(x,y)＞200，則M(x,y)＝0；

若G_gray(x,y)≤200，則M(x,y)＝1。

其中G_gray(x,y)表示灰度值矩陣中第x行第y列元素的取值，M(x,y)表示二值二維矩陣M中第x行第y列元素的取值，取值為0表示在原圖像中像素點(diǎn)為白色，取值為1表示在原圖像中的像素點(diǎn)為黑色。

由于早期專利文檔的掃描圖像中隨機(jī)分布著許多顆粒噪聲，這些噪聲會(huì)對(duì)隨后的fig標(biāo)示的檢測(cè)以及圖塊的切割產(chǎn)生較大的影響。為了降低噪聲對(duì)實(shí)驗(yàn)結(jié)果的影響，本方法采用了鄰域平均濾波的方法對(duì)輸入的圖像進(jìn)行去噪聲操作。鄰域平均的均值濾波器是一種常見的去噪方法，它可以有效的去除圖像中的顆粒噪聲。在步驟5中采用鄰域平均的均值濾波器方法對(duì)步驟4中得到的二值矩陣M所表示的掃描圖像進(jìn)行去噪聲處理，得到去噪聲后對(duì)應(yīng)的二值矩陣M′。

在早期專利文檔中，有一部分圖像中的附圖與附圖、附圖與fig標(biāo)示之間的間距較近，并且還存在有些附圖的形狀十分不規(guī)范等現(xiàn)象。由于這些因素的存在，如果直接采用之前版本中直接切割的方法進(jìn)行對(duì)圖塊的粗切割和細(xì)切割，則會(huì)很容易造成將不屬于本圖塊的內(nèi)容切割進(jìn)來，或者將本屬于一幅圖塊的區(qū)域切開。這樣就會(huì)造成切割不準(zhǔn)確。由于圖塊的形狀差異較大，所以很難采取一種統(tǒng)一的方式對(duì)其進(jìn)行處理，但是fig標(biāo)示的形狀相對(duì)來說較為穩(wěn)定。因此，本方法首先在步驟6中對(duì)圖像中的fig標(biāo)示進(jìn)行檢測(cè)、識(shí)別和切割，這樣既增加了fig標(biāo)示的檢測(cè)和切割正確率，同時(shí)也減少了由于fig標(biāo)示的存在對(duì)圖塊切割時(shí)造成的影響。切割掉fig標(biāo)示之后，圖塊之間的間隔將不再受到fig標(biāo)示的影響。同時(shí)，在檢測(cè)和識(shí)別fig標(biāo)示的時(shí)候，對(duì)fig標(biāo)示的數(shù)量進(jìn)行統(tǒng)計(jì)，這樣在切割圖塊的時(shí)候，根據(jù)fig標(biāo)示的數(shù)量的多少來縮放閾值，從而能夠更加精確的對(duì)圖像中的附圖進(jìn)行切割，得到更好的切割結(jié)果。

在步驟6中，對(duì)步驟5中處理后的圖塊進(jìn)行fig表示檢測(cè)，利用一個(gè)與訓(xùn)練集中fig標(biāo)示尺寸大小的滑動(dòng)窗口在原始圖像上進(jìn)行滑動(dòng)，對(duì)于滑動(dòng)窗口經(jīng)過的每一個(gè)位置，提取其HOG特征，并送入SVM分類器中做類別判斷，判斷其是否為fig標(biāo)示，如果是fig標(biāo)示，則將該位置切割出來并保存為fig標(biāo)示，并將原圖像中相對(duì)應(yīng)的區(qū)域中的像素值置為0。依次從左至右、從上到下經(jīng)過一次完整的掃描操作后，原始圖像中的fig標(biāo)示被全部切割出來，圖像中只剩下一些附圖。

步驟8，將步驟7中得到的fig標(biāo)示進(jìn)行進(jìn)一步的精細(xì)切割，分離fig標(biāo)示的每一個(gè)字符，然后利用針對(duì)手寫字符識(shí)別的分類器對(duì)得到的每一個(gè)fig標(biāo)示中的每一個(gè)字符進(jìn)行識(shí)別，得到每一個(gè)fig標(biāo)示的標(biāo)號(hào)。

步驟9要完成的是對(duì)步驟7中得到的僅剩附圖的二值矩陣M′的切割操作，二值矩陣M′的示意圖如圖3所示。切割操作的步驟如下：

(a)從圖像的左上角出發(fā)逐行掃描步驟7中得到的二值矩陣M′，知道找到第一個(gè)黑色像素點(diǎn)。根據(jù)該像素點(diǎn)在二值矩陣M′中的行號(hào)和列號(hào)創(chuàng)建并初始化一個(gè)新的存儲(chǔ)節(jié)點(diǎn)，稱為圖塊Birck。詳細(xì)實(shí)現(xiàn)如下：

若M′(x,y)＝0，則繼續(xù)遍歷下一個(gè)像素點(diǎn)；若M′(x,y)＝1，則創(chuàng)建一個(gè)圖塊Birck，該圖塊Brick由row、col、height和width四個(gè)屬性構(gòu)成，其中的參數(shù)解釋如圖4所示，并初始化為row＝x，col＝y(tǒng)，height＝1，width＝1。M′(x,y)代表M′二值矩陣中第x行第y列元素的取值，如果取值為1則代表該位置對(duì)應(yīng)圖中的黑色像素點(diǎn)；如果取值為0則代表該位置對(duì)應(yīng)圖中的白色像素點(diǎn)。一個(gè)矩形框在一幅圖中可以用四個(gè)屬性來描述，所以將圖塊Brick屬性設(shè)置為列號(hào)、行號(hào)、高和寬。每一個(gè)圖塊Brick按照掃描的先后順序依次標(biāo)號(hào)。

根據(jù)掃描得到的黑色像素點(diǎn)創(chuàng)建的圖塊Brick，依次向右、向下、向左和向上四個(gè)個(gè)方向進(jìn)行延伸搜索，擴(kuò)大矩陣框Brick的尺寸，直到框住整個(gè)切割目標(biāo)。在進(jìn)行該步驟時(shí)，擴(kuò)大矩形框尺寸的操作通過調(diào)整圖塊Brick的四個(gè)屬性值來實(shí)現(xiàn)。切割算法是一個(gè)循環(huán)的過程，分別向每個(gè)圖塊Brick的右、下、左、上四個(gè)方向進(jìn)行延伸掃描，同時(shí)根據(jù)規(guī)則不斷更新圖塊Brick的屬性值以達(dá)到擴(kuò)大矩形框尺寸的目的。直到四個(gè)方向均不能延伸為止，得到的切割目標(biāo)的圖塊Brick，并將結(jié)果保存。該切割算法的具體實(shí)現(xiàn)如下：

(1)向右側(cè)延伸，檢查圖塊Brick的右側(cè)距離該圖塊閾值范圍內(nèi)是否存在黑色的像素點(diǎn)，如圖7所示。若存在黑色的像素點(diǎn)，即存在M′(x,y)＝1，則Brick.width＝Brick.width+1；否則，標(biāo)記不可向右延伸。

其中x＝Brick.col+Brick.width，y∈[Brick.row,Brick.row+Brick.height-1]。 (6)

需要說明的是x＝Brick.col+Brick.width得到的x表示的是圖塊Brick右側(cè)閾值范圍內(nèi)的列的列號(hào)。

(2)向下延伸，檢查圖塊Brick的下面距離該圖塊閾值范圍內(nèi)是否存在黑色像素點(diǎn)，如圖6所示。若存在黑色像素點(diǎn)，即存在M′(x,y)＝1，則Brick.height＝Brick.height+1；否則，標(biāo)記不可向下延伸。

其中y＝Brick.row+1，x∈[Brick.col,Brick.col+Brick.width-1]。 (7)

需要說明的是y＝Brick.row+1得到的y表示的是圖塊Brick右側(cè)閾值范圍內(nèi)的行的行號(hào)。

(3)向左側(cè)延伸，檢查圖塊Brick的左側(cè)距離該圖塊閾值范圍內(nèi)是否存在黑色像素點(diǎn)，如圖8所示，若存在黑色像素點(diǎn)，即存在M′(x,y)＝1，則Brick.width＝Brick.width+1；否則，標(biāo)記不可向左側(cè)延伸。

其中x＝Brick.col-1，y∈[Brick.row,Brick.row+Brick.height-1]。 (8)

需要說明的是x＝Brick.col-1得到的x表示的是圖塊Brick左側(cè)距離該圖塊閾值范圍內(nèi)的列的列號(hào)。

(4)向上延伸，檢查圖塊Brick的上方距離該圖塊閾值范圍內(nèi)是否存在黑色像素點(diǎn)，如圖9所示，若存在黑色像素點(diǎn)，即存在M′(x,y)＝1，則Brick.height＝Brick.height+1；否則，標(biāo)記不可向上方延伸。

其中y＝Brick.row-1，x∈[Brick.col,Brick.col+Brick.width-1]。 (9)

需要說明的是y＝Brick.row-1得到的x表示的是圖塊Brick上方距離該圖塊閾值范圍內(nèi)的行的行號(hào)。

重復(fù)步驟(1)～(4)直到向四個(gè)方向都不能延伸，圖塊Brick的屬性值調(diào)整完畢，得到圖塊Brick。

其中步驟(1)～(4)中提到的Brick.row、Brick.col、Brick.width和Brick.height分別表示圖塊Brick的列號(hào)、行號(hào)、寬和高。

得到圖塊Brick之后，在二值矩陣M′中將圖塊Brick切割掉，即將該圖塊Birck對(duì)應(yīng)二值矩陣M′中對(duì)應(yīng)的元素值置為0。

重復(fù)以上步驟，直到掃描完二值矩陣M′中的所有元素，最終得到并保存所有的圖塊Brick。本方法在具體的實(shí)現(xiàn)中采用鏈表的方式來對(duì)得到的若干個(gè)圖塊Brick進(jìn)行存儲(chǔ)。接下來要完成圖文匹配的工作，步驟10要根據(jù)步驟8中的到的若干個(gè)標(biāo)號(hào)塊FigB對(duì)步驟9中得到的若干個(gè)圖塊Brick進(jìn)行重命名。包括以下操作：

(a)指定一個(gè)圖塊Brick，從所有的標(biāo)號(hào)塊FigB中找到一個(gè)與之距離d最近的標(biāo)號(hào)塊FigB，計(jì)算距離d的公式如下公式(10)：

(b)根據(jù)步驟(a)得到的與該附圖塊Brick最近的標(biāo)號(hào)塊FigB的名稱，對(duì)該附圖塊Brick的名稱進(jìn)行修改。并將與該附圖塊Brick匹配的標(biāo)號(hào)塊FigB從所有標(biāo)號(hào)塊FigB的集合中刪除，避免重復(fù)匹配。

重復(fù)以上操作，直到修改完所有的附圖塊Brick的名稱。

步驟11，輸出步驟10得到的一幅圖標(biāo)記號(hào)命名的若干個(gè)附圖塊，即在指定目錄下保存以附圖標(biāo)號(hào)命名的附圖圖片。