一種基于梯度圖像和相似度加權(quán)的數(shù)字識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種數(shù)字識(shí)別方法。
【背景技術(shù)】
[0002] 機(jī)器視覺(jué)的特點(diǎn)是自動(dòng)化、客觀性、非接觸和高精度。與一般意義下的圖像處理系 統(tǒng)相比，機(jī)器視覺(jué)系統(tǒng)強(qiáng)調(diào)的是精度、速度以及工業(yè)現(xiàn)場(chǎng)環(huán)境下的可靠性。由于機(jī)器視覺(jué) 系統(tǒng)可以快速獲取大量信息，易于自動(dòng)處理，也易于與設(shè)計(jì)信息以及加工控制信息集成，因 此，在現(xiàn)代自動(dòng)化生產(chǎn)過(guò)程中，機(jī)器視覺(jué)系統(tǒng)廣泛地用于狀況監(jiān)視、成品檢驗(yàn)和質(zhì)量控制等 領(lǐng)域。機(jī)器視覺(jué)系統(tǒng)可以提高生產(chǎn)的柔性和自動(dòng)化程度，在一些不適合人工作業(yè)的危險(xiǎn)工 作環(huán)境或人工視覺(jué)難以滿足要求的場(chǎng)合，可用機(jī)器視覺(jué)來(lái)替代人工視覺(jué)；同時(shí)在大批量工 業(yè)生產(chǎn)過(guò)程中，用人工視覺(jué)檢查產(chǎn)品質(zhì)量不僅效率低且精度不高，而用機(jī)器視覺(jué)檢測(cè)方法 可以大大提高生產(chǎn)效率和生產(chǎn)的自動(dòng)化程度。
[0003] 鋼鐵行業(yè)生產(chǎn)有著生產(chǎn)環(huán)境苛刻、生產(chǎn)過(guò)程復(fù)雜、生產(chǎn)處理過(guò)程由少到多、自動(dòng)化 程度高、連續(xù)性強(qiáng)等突出特點(diǎn)，因此國(guó)內(nèi)外一些先進(jìn)的鋼鐵企業(yè)都采用了以制作執(zhí)行系統(tǒng) (Manufacturing Execution System，簡(jiǎn)稱MES)為核心的整體信息化方案。為給MES系統(tǒng) 提供有效的信息支持，需要在煉鋼廠的固定位置架設(shè)攝像機(jī)采集煉鋼各關(guān)鍵環(huán)節(jié)的圖像， 完成圖像的智能處理。煉鋼廠是一個(gè)完全開放式的環(huán)境，同時(shí)我們所監(jiān)測(cè)的對(duì)象是不停運(yùn) 動(dòng)的，我們采取的方案是將攝像頭架設(shè)在固定的建筑物上，然后上下左右移動(dòng)攝像頭以獲 得最佳角度下的圖像。盡管系統(tǒng)裝備了較高配置的攝像頭，但各種不確定因素仍然導(dǎo)致成 像質(zhì)量不穩(wěn)定。主要包括光照的變化、灰塵的污染、油漆的脫落、機(jī)器的震動(dòng)、成像對(duì)象的移 動(dòng)等，數(shù)字質(zhì)量不統(tǒng)一和遮擋等。煉鋼廠并不是一個(gè)封閉的環(huán)境，因此白天和晚上成像的光 照條件是不同的，而白天的光照又容易受到天氣變化的影響，同時(shí)四個(gè)季節(jié)中的日照也有 所不同，晚上主要是利用日光燈照明，但由于工人輪班休息的原因，日光燈提供的光照也是 不穩(wěn)定的。自然光照、環(huán)境光照對(duì)圖像都有影響，除了自然光照條件的影響，工序操作所產(chǎn) 生的光照變化也會(huì)影響到當(dāng)前攝像頭的成像，如轉(zhuǎn)爐在煉鋼過(guò)程中就存在爐門暗、爐門被 燒為紅色、爐門被燒為白色和爐門打開鋼花四濺等情況。
[0004] 為了能夠監(jiān)測(cè)每個(gè)鋼包所經(jīng)過(guò)的工序，在每個(gè)鋼包的側(cè)面刷上數(shù)字，然后通過(guò)圖 像來(lái)識(shí)別鋼包上的數(shù)字，以告訴MES系統(tǒng)鋼包的實(shí)時(shí)狀況。由于現(xiàn)實(shí)條件的限制，鋼包上的 數(shù)字是由工人通過(guò)油漆粉刷上去的，每個(gè)人的筆跡特征不盡相同，是典型的手寫體，沒(méi)有統(tǒng) 一的標(biāo)準(zhǔn)。每個(gè)數(shù)字的位置不固定，多位數(shù)字的字間間矩不一樣，而組成多位數(shù)字的單個(gè)數(shù) 字的字體、大小、顏色均存在較大差別，這都給數(shù)字識(shí)別帶來(lái)了一定的難度。
[0005] 另外，煉鋼廠是一個(gè)高溫環(huán)境，最高溫度可達(dá)上千度，因此選擇的油漆必須具備耐 高溫和不易脫落的特點(diǎn)，同時(shí)為了便于識(shí)別，底色和數(shù)字的顏色應(yīng)該對(duì)比明顯。但在實(shí)際情 況中油漆的脫落問(wèn)題比較嚴(yán)重，這使得成像后的數(shù)字形狀隨著時(shí)間會(huì)發(fā)生緩慢的變化。同 時(shí)煉鋼廠里的灰塵污染是無(wú)處不在的，鐵肩尤其嚴(yán)重，這些灰塵的影響使得圖像噪聲較大， 增加了圖像處理的難度。煉鋼廠存在著許多大型機(jī)械裝置，它們的的運(yùn)行不可避免的帶來(lái) 巨大的噪音和震動(dòng)，此時(shí)攝像頭會(huì)作上下方向的移動(dòng)，捕捉到的圖像會(huì)出現(xiàn)些許模糊現(xiàn)象。
[0006] 還有，成像對(duì)象鋼包、方坯和板坯并不是固定不動(dòng)的，它們或者在自己的運(yùn)行方向 上作水平運(yùn)動(dòng)（如吹氬、精煉和轉(zhuǎn)爐處的鋼包），或者原地轉(zhuǎn)動(dòng)（如連鑄平臺(tái)的鋼包）。成 像對(duì)象與攝像頭之間的距離是不確定的，而各個(gè)攝像頭對(duì)準(zhǔn)成像對(duì)象的角度也是不同的， 因此不同任務(wù)的成像過(guò)程遵循的變換方式也各不相同。架設(shè)攝像頭的地方必須與被監(jiān)測(cè)對(duì) 象保持適當(dāng)?shù)木嚯x同時(shí)又要保證攝像頭在高溫條件下正常工作，但由于煉鋼廠中客觀物體 的遮擋可能造成一些攝像頭無(wú)法得到監(jiān)測(cè)對(duì)象的詳細(xì)成像，從而無(wú)法識(shí)別目標(biāo)，人為遮擋 在成像過(guò)程中出現(xiàn)的并不是很普遍，如果工人在作業(yè)過(guò)程中恰好與攝像頭和被攝對(duì)象處于 同一直線上，則可能會(huì)妨礙被攝物體的成像，但由于大部分目標(biāo)是運(yùn)動(dòng)的，因此這種遮擋一 般不會(huì)影響到最終的目標(biāo)識(shí)別結(jié)果。
[0007] 總之，現(xiàn)場(chǎng)復(fù)雜的成像環(huán)境使得傳統(tǒng)的利用形狀識(shí)別數(shù)字的方法無(wú)法取得滿意的 結(jié)果

【發(fā)明內(nèi)容】

[0008] 本發(fā)明要解決的技術(shù)問(wèn)題在于：提供一種基于梯度圖像和相似度加權(quán)的模板匹配 方法來(lái)識(shí)別數(shù)字。
[0009] 本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：
[0010] -種基于梯度圖像和相似度加權(quán)的數(shù)字識(shí)別方法，其特征在于：包括如下步驟： 步驟一：輸入需要識(shí)別的圖像；步驟二：根據(jù)先驗(yàn)知識(shí)確定候選區(qū)域；步驟三：對(duì)候選區(qū)域 進(jìn)行圖像增強(qiáng)和分割；圖像增強(qiáng)的目的主要是為了降低光照變化和噪聲的影響，數(shù)字在圖 像上表現(xiàn)出來(lái)的一般是高亮區(qū)域，同時(shí)數(shù)字與其周圍背景的對(duì)比度較高，因此在分割的時(shí) 候是結(jié)合灰度和梯度信息進(jìn)行分割的，將灰度和梯度大于指定閾值的區(qū)域置1，圖像的其他 區(qū)域置〇 ;分割的結(jié)果可以為下面的區(qū)域編組做準(zhǔn)備，同時(shí)可根據(jù)分割的結(jié)果來(lái)判斷圖像 中是否存在數(shù)字；步驟四：預(yù)判圖像中是否存在數(shù)字；具體為，根據(jù)分割的結(jié)果，若圖像中 為1的像素的比例超過(guò)總像素的15%并且小于75%，則認(rèn)為所述圖像中存在數(shù)字；否則則 判定不存在數(shù)字，返回步驟一輸入下一個(gè)要識(shí)別的圖像；步驟五：區(qū)域編組；具體為，對(duì)步 驟三中分割后的區(qū)域進(jìn)行編組，將長(zhǎng)寬比在1. 5:1和4 :1之間的區(qū)域定為數(shù)字的候選區(qū)域； 個(gè)位數(shù)字編組后的區(qū)域一般表現(xiàn)為細(xì)長(zhǎng)型，兩位數(shù)字編組后的區(qū)域一般表現(xiàn)為兩個(gè)相鄰較 近的細(xì)長(zhǎng)型區(qū)域；步驟六：在原始圖像上基于梯度圖像和相似度加權(quán)進(jìn)行模板匹配；具體 為，將步驟五得到的區(qū)域的原始圖像與數(shù)字標(biāo)準(zhǔn)庫(kù)和數(shù)字漏判庫(kù)中的模板進(jìn)行匹配，其中 數(shù)字標(biāo)準(zhǔn)庫(kù)中存放的是正確識(shí)別出的數(shù)字模板圖像，數(shù)字漏判庫(kù)存放的是圖像上有數(shù)字卻 沒(méi)有被正確識(shí)別出的數(shù)字模板圖像；標(biāo)準(zhǔn)庫(kù)和漏判庫(kù)最初通過(guò)人工手動(dòng)采集的方式建立， 然后根據(jù)識(shí)別結(jié)果不斷進(jìn)行更新，以適應(yīng)成像環(huán)境和監(jiān)測(cè)對(duì)象的變化；模板采用的是原始 圖像數(shù)據(jù)或者典型的圖形，相似度量的基礎(chǔ)是對(duì)應(yīng)像元的差別，可以相關(guān)系數(shù)的平方作為 模板匹配的相似度量度，再分別乘以加權(quán)系數(shù)，得到數(shù)字識(shí)別結(jié)果；如識(shí)別出來(lái)就將識(shí)別結(jié) 果傳送給MES系統(tǒng)和數(shù)字標(biāo)準(zhǔn)庫(kù)，如識(shí)別不出來(lái)，則將圖像傳送給數(shù)字漏判庫(kù)；步驟七：模 板庫(kù)更新；具體為，數(shù)字標(biāo)準(zhǔn)庫(kù)中的模板數(shù)維持270~360之間，若模板數(shù)量超過(guò)360,則剔 除時(shí)間較早的36張模板圖；數(shù)字漏判庫(kù)中的模板數(shù)維持在80~100,若模板數(shù)量超過(guò)100， 則剔除時(shí)間較早的10張模板圖。
[0011] 作為本發(fā)明的改進(jìn)，為了進(jìn)一步提高匹配效率，所述步驟六具體包括：步驟6. I : 計(jì)算數(shù)字所在區(qū)域的原始圖像的Soble梯度圖；步驟6. 2 :計(jì)算數(shù)字所在區(qū)域的Soble梯度 圖與數(shù)字標(biāo)準(zhǔn)庫(kù)的Soble梯度之間的相關(guān)系數(shù)的平方得到相關(guān)數(shù)A，以及數(shù)字所在區(qū)域的 Soble梯度圖與數(shù)字漏判庫(kù)的Soble梯度之間的相關(guān)系數(shù)的平方得到相關(guān)數(shù)B ;步驟6. 3 : 將步驟6. 2中相關(guān)數(shù)A和相關(guān)數(shù)B分別進(jìn)行0. 85和0. 15的加權(quán)，得到最終的相關(guān)系數(shù)，如 果該相關(guān)系數(shù)的值大于〇. 8,則認(rèn)為圖像中的數(shù)字被識(shí)別出，將被識(shí)別的數(shù)字補(bǔ)充到數(shù)字標(biāo) 準(zhǔn)庫(kù)；如果該相關(guān)系數(shù)的值小于0. 8,則認(rèn)為數(shù)字被漏減，將未被識(shí)別的數(shù)字補(bǔ)充到數(shù)字漏 判庫(kù)。
[0012] 作為本發(fā)明的進(jìn)一步改進(jìn)，其中步驟一所述的每個(gè)像素的顏色值可以是RGB值， 也可以是灰度值。
[0013] 作為本發(fā)明的更進(jìn)一步改進(jìn)，其中在步驟6. 2的計(jì)算過(guò)程中可利用整數(shù)圖像法提 高效率。
[0014] 與現(xiàn)有技術(shù)相比，本發(fā)明根據(jù)先驗(yàn)知識(shí)確定候選區(qū)域提高了算法的效率和降低誤 判的可能性，通過(guò)采用預(yù)判步驟，可以將本方法的平均識(shí)別效率提高近10%，通過(guò)對(duì)兩個(gè)相 關(guān)系數(shù)分別進(jìn)行加權(quán)得到最終的相關(guān)系數(shù)并進(jìn)行判斷識(shí)別，可以將平均識(shí)別正確率提高1 到 2個(gè)百分點(diǎn)。
【附圖說(shuō)明】
[0015] 為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖是本發(fā) 明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以 根據(jù)這些附圖獲得其他的附圖。
[0016] 圖1是本方法的流程圖；
【具體實(shí)施方式】
[0017] 為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例 中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是 本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員 在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0018] -種基于梯度圖像和相似度加權(quán)的數(shù)字識(shí)別方法，其特征在于：包括如下步驟：
[0019] 步驟一：輸入需要識(shí)別的圖像；此處需要輸入的是圖像中每個(gè)像素的顏色值；每 個(gè)像素的
[0020] 顏色值，可以是RGB值，也可以是灰度值。
[0021] 步驟二：根據(jù)先驗(yàn)知識(shí)確定候選區(qū)域；由于客觀條件的限制，攝像頭一般架設(shè)在 離監(jiān)測(cè)對(duì)象較遠(yuǎn)的位置上，這樣監(jiān)測(cè)對(duì)象出現(xiàn)的可能位置只占據(jù)圖像的一小部分，因此可 以根據(jù)相機(jī)與目標(biāo)的相對(duì)位置等先驗(yàn)知識(shí)將這部分區(qū)域定為候選區(qū)域，以提高算法的效率 和降低誤判的可能性。
[0022] 步驟三：對(duì)候選區(qū)域進(jìn)行圖像增強(qiáng)和分割；圖像增強(qiáng)的目的主要是為了降低光照 的變化和噪聲的影響；通常采用的圖像增強(qiáng)方式有圖像直方圖均衡化、灰度線性變換、圖 像銳化處理和高斯平滑等，根據(jù)圖像被污染的程度做不同的處理。數(shù)字在圖像上表現(xiàn)出來(lái) 的一般是高亮區(qū)域，同時(shí)數(shù)字與其周圍背景的對(duì)比度較高，因此在分割的時(shí)候是結(jié)合灰度 和梯度信息進(jìn)行分割的，將灰度和梯度大于指定閾值的區(qū)域置1，圖像的其他區(qū)域置O ;分 割的結(jié)果可以為下面的區(qū)域編組做準(zhǔn)備，同時(shí)可根據(jù)分割的結(jié)果來(lái)判斷圖像中是否存在數(shù) 字；
[0023] 步驟四：預(yù)判圖像中是否存在數(shù)字；具體為，根據(jù)分割的結(jié)果，若圖像中為1的像 素的比例超過(guò)總像素的15%并且小于75%，則認(rèn)為所述圖像中存在數(shù)字；否則則判定不存 在