本發(fā)明屬于圖像識(shí)別
技術(shù)領(lǐng)域：
，尤其涉及一種遮擋車牌識(shí)別方法及裝置。
背景技術(shù)：
：在交通管理中，通過(guò)抓拍車輛的視頻圖像，識(shí)別出車牌，已經(jīng)成為目前最為常用的一種交通管理手段。車牌識(shí)別技術(shù)是交通管理智能化的技術(shù)基礎(chǔ)之一，特別是非現(xiàn)場(chǎng)違章檢測(cè)系統(tǒng)(如超速違章抓拍，闖紅燈檢測(cè)抓拍等)均是基于車牌識(shí)別技術(shù)而實(shí)現(xiàn)的自動(dòng)智能檢測(cè)系統(tǒng)。但是在有些時(shí)候，抓拍的圖片中車牌剛好被其他車輛或者被其他物體無(wú)意遮擋，造成無(wú)法正確識(shí)別車牌。更有很多司機(jī)為了躲避違章檢測(cè)抓拍，在道路行駛過(guò)程中，故意用光盤、黑漆等手段將車牌遮擋,故意違章行駛并希望能逃過(guò)處罰。而這些情況都會(huì)對(duì)交通安全造成隱患，不利于交通管理。因此正確識(shí)別車牌，并判斷是否為惡意遮擋車牌，對(duì)交通智能管理具有重大意義?，F(xiàn)有技術(shù)中一般是先根據(jù)車牌區(qū)域內(nèi)的顯露字符特征確定顯露字符位置以及缺失字符可能存在的位置，然后再根據(jù)分析缺失字符位置的紋理特征判斷是否惡意遮擋。但目前只能判斷出特定幾種類型的遮擋車牌；根據(jù)分析缺失字符位置的紋理特征來(lái)判斷是否惡意遮擋的有效性不高，如在陰陽(yáng)，過(guò)爆等特殊場(chǎng)景下很容易失去字符的紋理特征，造成誤判等。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的是提供一種遮擋車牌識(shí)別方法及裝置，基于深度學(xué)習(xí)，能夠有效識(shí)別出遮擋車牌，減少誤判的情況。為了實(shí)現(xiàn)上述目的，本發(fā)明技術(shù)方案如下：一種遮擋車牌識(shí)別方法，所述遮擋車牌識(shí)別方法包括：獲取待識(shí)別的車牌候選區(qū)域，對(duì)所述車牌候選區(qū)域進(jìn)行初步車牌識(shí)別，輸出包括初步識(shí)別字符及所述初步識(shí)別字符對(duì)應(yīng)的置信度的初步識(shí)別結(jié)果；根據(jù)所述初步識(shí)別結(jié)果進(jìn)行判斷，對(duì)滿足預(yù)設(shè)遮擋條件的車牌候選區(qū)域進(jìn)行深度學(xué)習(xí)識(shí)別，獲得深度學(xué)習(xí)識(shí)別得到的字符個(gè)數(shù)及字符的位置信息；當(dāng)所述字符個(gè)數(shù)處于預(yù)設(shè)字符個(gè)數(shù)范圍內(nèi)時(shí)，確定所述車牌候選區(qū)域存在車牌遮擋，并獲得所述車牌候選區(qū)域中存在遮擋的字符數(shù)量；根據(jù)所述初步識(shí)別字符、所述初步識(shí)別字符對(duì)應(yīng)的置信度、所述字符數(shù)量及所述字符的位置信息，確定遮擋字符在車牌中的位置，在所述初步識(shí)別結(jié)果中用特殊符號(hào)替換所述遮擋字符，輸出最終識(shí)別結(jié)果。進(jìn)一步地，所述預(yù)設(shè)遮擋條件為：所述初步識(shí)別結(jié)果為有車牌，單個(gè)字符的最低置信度與單個(gè)字符的最高置信度相差大于設(shè)定的閾值dif_thres，且單個(gè)字符的最低置信度低于設(shè)定的低閾值low_char_thres，單個(gè)字符的最高置信度高于設(shè)定的高閾值high_char_thres；或/和，所述初步識(shí)別結(jié)果為無(wú)車牌，且該車牌候選區(qū)域中各字符置信度之和在該車牌候選區(qū)域所在圖像的所有車牌候選區(qū)域中最高。進(jìn)一步地，所述對(duì)滿足預(yù)設(shè)遮擋條件的車牌候選區(qū)域進(jìn)行深度學(xué)習(xí)識(shí)別，包括：對(duì)滿足預(yù)設(shè)遮擋條件的車牌候選區(qū)域的灰度圖像采用卷積神經(jīng)網(wǎng)絡(luò)cnn進(jìn)行特征提取；將得到的特征送到訓(xùn)練好的長(zhǎng)短記憶遞歸神經(jīng)網(wǎng)絡(luò)lstm中進(jìn)行識(shí)別。進(jìn)一步地，所述將得到的特征送到訓(xùn)練好的長(zhǎng)短記憶遞歸神經(jīng)網(wǎng)絡(luò)lstm中進(jìn)行識(shí)別，其中長(zhǎng)短記憶遞歸神經(jīng)網(wǎng)絡(luò)lstm為gru單元。進(jìn)一步地，所述根據(jù)所述初步識(shí)別字符、所述初步識(shí)別字符對(duì)應(yīng)的置信度、所述字符數(shù)量及所述字符的位置信息，確定遮擋字符在車牌中的位置，包括：對(duì)初步識(shí)別結(jié)果中的字符按照置信度高低進(jìn)行排序，由低到高選取所述字符數(shù)量的字符，判斷所選取字符的置信度是否低于預(yù)設(shè)的閾值，如果均低于預(yù)設(shè)的閾值，則確定所選取字符所在的位置被遮擋，如果有選取的字符的置信度不低于所述預(yù)設(shè)的閾值，則根據(jù)所述字符的位置信息檢驗(yàn)該字符所在的位置是否是被遮擋的位置，如果是，則確定該字符所在的位置被遮擋，如果不是，則從剩下的字符中選擇最低置信度的字符進(jìn)行替換，并重新根據(jù)所述字符的位置信息檢驗(yàn)替換后字符所在的位置是否是被遮擋的位置，直至確定遮擋字符在車牌中的位置或所有字符均判斷完畢；在所有字符均判斷完畢，仍然無(wú)法確定遮擋字符在車牌中的位置時(shí)，從初始識(shí)別結(jié)果中根據(jù)置信度由低到高選取所述字符數(shù)量的字符，以選取字符所在的位置為遮擋字符在車牌中的位置。本發(fā)明還提出了一種遮擋車牌識(shí)別裝置，所述遮擋車牌識(shí)別裝置包括：初步識(shí)別模塊，用于獲取待識(shí)別的車牌候選區(qū)域，對(duì)所述車牌候選區(qū)域進(jìn)行初步車牌識(shí)別，輸出包括初步識(shí)別字符及所述初步識(shí)別字符對(duì)應(yīng)的置信度的初步識(shí)別結(jié)果；深度學(xué)習(xí)模塊，用于根據(jù)所述初步識(shí)別結(jié)果進(jìn)行判斷，對(duì)滿足預(yù)設(shè)遮擋條件的車牌候選區(qū)域進(jìn)行深度學(xué)習(xí)識(shí)別，獲得深度學(xué)習(xí)識(shí)別得到的字符個(gè)數(shù)及字符的位置信息；判斷模塊，用于在所述字符個(gè)數(shù)處于預(yù)設(shè)字符個(gè)數(shù)范圍內(nèi)時(shí)，確定所述車牌候選區(qū)域存在車牌遮擋，并獲得所述車牌候選區(qū)域中存在遮擋的字符數(shù)量；輸出替換模塊，用于根據(jù)所述初步識(shí)別字符、所述初步識(shí)別字符對(duì)應(yīng)的置信度、所述字符數(shù)量及所述字符的位置信息，確定遮擋字符在車牌中的位置，在所述初步識(shí)別結(jié)果中用特殊符號(hào)替換所述遮擋字符，輸出最終識(shí)別結(jié)果。進(jìn)一步地，所述深度學(xué)習(xí)模塊對(duì)滿足預(yù)設(shè)遮擋條件的車牌候選區(qū)域進(jìn)行深度學(xué)習(xí)識(shí)別時(shí)，執(zhí)行如下操作：對(duì)滿足預(yù)設(shè)遮擋條件的車牌候選區(qū)域的灰度圖像采用卷積神經(jīng)網(wǎng)絡(luò)cnn進(jìn)行特征提?。粚⒌玫降奶卣魉偷接?xùn)練好的長(zhǎng)短記憶遞歸神經(jīng)網(wǎng)絡(luò)lstm中進(jìn)行識(shí)別。進(jìn)一步地，所述將得到的特征送到訓(xùn)練好的長(zhǎng)短記憶遞歸神經(jīng)網(wǎng)絡(luò)lstm中進(jìn)行識(shí)別，其中長(zhǎng)短記憶遞歸神經(jīng)網(wǎng)絡(luò)lstm為gru單元。進(jìn)一步地，所述輸出替換模塊根據(jù)所述初步識(shí)別字符、所述初步識(shí)別字符對(duì)應(yīng)的置信度、所述字符數(shù)量及所述字符的位置信息，確定遮擋字符在車牌中的位置時(shí)，執(zhí)行如下操作：對(duì)初步識(shí)別結(jié)果中的字符按照置信度高低進(jìn)行排序，由低到高選取所述字符數(shù)量的字符，判斷所選取字符的置信度是否低于預(yù)設(shè)的閾值，如果均低于預(yù)設(shè)的閾值，則確定所選取字符所在的位置被遮擋，如果有選取的字符的置信度不低于所述預(yù)設(shè)的閾值，則根據(jù)所述字符的位置信息檢驗(yàn)該字符所在的位置是否是被遮擋的位置，如果是，則確定該字符所在的位置被遮擋，如果不是，則從剩下的字符中選擇最低置信度的字符進(jìn)行替換，并重新根據(jù)所述字符的位置信息檢驗(yàn)替換后字符所在的位置是否是被遮擋的位置，直至確定遮擋字符在車牌中的位置或所有字符均判斷完畢；在所有字符均判斷完畢，仍然無(wú)法確定遮擋字符在車牌中的位置時(shí)，從初始識(shí)別結(jié)果中根據(jù)置信度由低到高選取所述字符數(shù)量的字符，以選取字符所在的位置為遮擋字符在車牌中的位置。本發(fā)明提出的一種遮擋車牌識(shí)別方法及裝置，通過(guò)模板匹配進(jìn)行初步識(shí)別，對(duì)可疑遮擋的車牌候選區(qū)域送去深度學(xué)習(xí)進(jìn)一步識(shí)別，根據(jù)深度學(xué)習(xí)識(shí)別結(jié)果判斷是否有遮擋，根據(jù)最低置信度字符的位置及深度學(xué)習(xí)輸出的位置判斷被遮擋的字符位置，用特殊字符代替，輸出遮擋車牌結(jié)果。本發(fā)明的方法及裝置，在傳統(tǒng)模板識(shí)別的基礎(chǔ)上，引入深度學(xué)習(xí)進(jìn)一步判斷遮擋，對(duì)遮擋車牌的識(shí)別準(zhǔn)確率非常高。附圖說(shuō)明圖1為本發(fā)明一種遮擋車牌識(shí)別方法流程圖；圖2為本發(fā)明一種遮擋車牌識(shí)別裝置結(jié)構(gòu)示意圖。具體實(shí)施方式下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明技術(shù)方案做進(jìn)一步詳細(xì)說(shuō)明，以下實(shí)施例不構(gòu)成對(duì)本發(fā)明的限定。如圖1所示，本實(shí)施例一種遮擋車牌識(shí)別方法，包括：步驟s1、獲取待識(shí)別的車牌候選區(qū)域，對(duì)所述車牌候選區(qū)域進(jìn)行初步車牌識(shí)別，輸出包括初步識(shí)別字符及所述初步識(shí)別字符對(duì)應(yīng)的置信度的初步識(shí)別結(jié)果。本
技術(shù)領(lǐng)域：
，對(duì)于車牌字符的識(shí)別，有很多現(xiàn)有算法，例如gabor算法、特征統(tǒng)計(jì)匹配方法、模板匹配算法等等。本實(shí)施例對(duì)初步車牌識(shí)別的具體方法不作限制，例如可以采用模板匹配算法進(jìn)行識(shí)別，首先對(duì)整幅圖像進(jìn)行車牌定位，然后對(duì)定位后得到的多個(gè)車牌候選區(qū)(字符圖像)依次進(jìn)行識(shí)別。例如依據(jù)標(biāo)準(zhǔn)車牌字符寬高比為0.5，統(tǒng)一采用30*60大小的模板。即根據(jù)中國(guó)大陸的車牌由漢字、字母和數(shù)字組成，分別設(shè)計(jì)三類模板，即漢字模板、字母模板和數(shù)字模板，模板的前景字為1，背景為0，用來(lái)作為比對(duì)的模版。在與模板進(jìn)行匹配前需要將各個(gè)字符圖像進(jìn)行二值化，同樣是前景為1，背景為0，大小與模板大小相同。最后將字符二值化圖像與模板進(jìn)行匹配，識(shí)別出字符及其對(duì)應(yīng)的置信度。也可以用其他方法識(shí)別出字符后，再進(jìn)行模板匹配后得到的單字符的置信度。本實(shí)施例字符的置信度表示為：其中confidence表示單個(gè)字符置信度；img(m,n)為字符圖像數(shù)據(jù)，已經(jīng)進(jìn)行過(guò)0，1二值化，大小也是30*60；mod(m,n)為模板數(shù)據(jù)。容易理解的是，對(duì)于車牌字符的識(shí)別，除了上述的模板匹配方法，還可以采用特征統(tǒng)計(jì)匹配方法，這里不再贅述。對(duì)一張抓拍圖像或用戶輸入的圖像進(jìn)行車牌識(shí)別，首先需要進(jìn)行車牌定位，隨后獲取車牌候選區(qū)域，再對(duì)車牌候選區(qū)域進(jìn)行字符分割進(jìn)行識(shí)別。需要說(shuō)明的是，進(jìn)行車牌定位獲取車牌候選區(qū)域時(shí)，獲取的車牌候選區(qū)域可能不止一個(gè)，例如存在廣告牌遮擋時(shí)，將廣告牌也識(shí)別為車牌候選區(qū)域等，當(dāng)獲取到多個(gè)車牌候選區(qū)域時(shí)，分別對(duì)各個(gè)車牌候選區(qū)域進(jìn)行初步車牌識(shí)別。通過(guò)上述模板匹配算法進(jìn)行初步車牌識(shí)別處理后，初步識(shí)別結(jié)果會(huì)出現(xiàn)兩種情況。一種情況識(shí)別為無(wú)車牌，即車牌候選區(qū)域不存在字符或類字符，則輸出識(shí)別結(jié)果為空，沒(méi)有字符，也沒(méi)有置信度，也可以理解為輸出的字符為空字符，置信度為零，表示無(wú)牌；或者是車牌候選區(qū)域存在字符，如廣告牌等，會(huì)有字符識(shí)別結(jié)果，識(shí)別出的每個(gè)字符有對(duì)應(yīng)的置信度，但統(tǒng)計(jì)每個(gè)字符的置信度之和達(dá)不到設(shè)定的閾值，則也判斷為無(wú)牌。另一種情況是識(shí)別出了字符及其對(duì)應(yīng)的置信度，統(tǒng)計(jì)每個(gè)字符的置信度之和達(dá)到設(shè)定的閾值，認(rèn)定為有車牌的情況，輸出識(shí)別后的字符及置信度。步驟s2、根據(jù)所述初步識(shí)別結(jié)果進(jìn)行判斷，對(duì)滿足預(yù)設(shè)遮擋條件的車牌候選區(qū)域進(jìn)行深度學(xué)習(xí)識(shí)別，獲得深度學(xué)習(xí)識(shí)別得到的字符個(gè)數(shù)及字符的位置信息。本實(shí)施例列舉了兩種設(shè)定的遮擋條件，分別描述如下：一種是針對(duì)初步識(shí)別結(jié)果為有車牌情況的，則對(duì)模板匹配識(shí)別輸出的字符結(jié)果進(jìn)行置信度排序，并判斷車牌是否存在遮擋。設(shè)定的遮擋條件為：初步識(shí)別結(jié)果為有車牌，單個(gè)字符的最低置信度與單個(gè)字符的最高置信度相差大于設(shè)定的閾值dif_thres，且單個(gè)字符的最低置信度低于設(shè)定的低閾值low_char_thres，單個(gè)字符的最高置信度高于設(shè)定的高閾值high_char_thres。如果初步識(shí)別結(jié)果滿足上述設(shè)定的遮擋條件，則判斷為疑似有遮擋，需要進(jìn)入下一步進(jìn)行深度學(xué)習(xí)。否則判斷沒(méi)有遮擋，直接輸出初步識(shí)別結(jié)果作為最終車牌識(shí)別結(jié)果。容易理解的是，低閾值和高閾值都是人為設(shè)定的，通常經(jīng)過(guò)適當(dāng)?shù)脑O(shè)定就可以將可疑為遮擋的車牌選擇出來(lái)。單個(gè)字符的最低置信度與單個(gè)字符的最高置信度相差大于設(shè)定的閾值dif_thres，說(shuō)明可疑遮擋字符的置信度要遠(yuǎn)遠(yuǎn)低于正常識(shí)別出的字符置信度。一般情況下，一個(gè)車牌7個(gè)字符，對(duì)于正常情況，字符都能夠正確識(shí)別，此時(shí)初步識(shí)別結(jié)果輸出7個(gè)字符(本文也稱為初步識(shí)別字符)及其置信度，每個(gè)字符的置信度都要高出設(shè)定的高閾值high_char_thres，直接輸出車牌識(shí)別結(jié)果就完成了識(shí)別。而當(dāng)有遮擋時(shí)，有一些字符是正確識(shí)別了的，即這些字符的置信度高于設(shè)定的高閾值high_char_thres，但也有一些字符由于遮擋掉了，識(shí)別的結(jié)果的置信度會(huì)低于設(shè)定的低閾值low_char_thres，則判斷為可疑遮擋。對(duì)于識(shí)別出的字符的置信度都低于設(shè)定的低閾值low_char_thres時(shí)，一般會(huì)作為無(wú)車牌的情況來(lái)進(jìn)行處理。例如：對(duì)于車牌“浙a12345”，其中后兩位遮擋，識(shí)別結(jié)果如下：浙a12345字符浙a12313置信度100％100％100％100％100％5％5％表1假設(shè)設(shè)定的閾值dif_thres為70％，設(shè)定的高閾值high_char_thres、低閾值low_char_thres分別為90％、10％，則本例子中單個(gè)字符的最低置信度為5％，單個(gè)字符的最高置信度為100％，且他們的差值為95％，該車牌候選區(qū)域滿足上述遮擋條件，為可疑遮擋，需要送入下一步進(jìn)行深度學(xué)習(xí)。另一種是針對(duì)單個(gè)圖像中所有車牌候選區(qū)域的初步識(shí)別結(jié)果均為無(wú)車牌，但存在至少1個(gè)車牌候選區(qū)域的初步識(shí)別結(jié)果中包含初步識(shí)別字符及對(duì)應(yīng)的置信度這種情況。當(dāng)有初步識(shí)別字符及其置信度時(shí)，可能有遮擋發(fā)生，存在可疑的車牌候選區(qū)域。初步識(shí)別結(jié)果判斷為無(wú)車牌，有兩種情況，一種是車牌候選區(qū)域不存在字符或類字符，則輸出識(shí)別結(jié)果為空，沒(méi)有字符，也沒(méi)有置信度；另一種是車牌候選區(qū)域存在字符，如廣告牌、或車牌被遮擋等，會(huì)有初步識(shí)別字符及其對(duì)應(yīng)的置信度，但統(tǒng)計(jì)該車牌候選區(qū)域中每個(gè)初步識(shí)別字符的置信度之和低于設(shè)定的閾值。當(dāng)單個(gè)圖像中所有車牌候選區(qū)域的初步識(shí)別結(jié)果均為無(wú)車牌，且存在至少1個(gè)車牌候選區(qū)域的初步識(shí)別結(jié)果中包含初步識(shí)別字符及對(duì)應(yīng)的置信度時(shí)，認(rèn)為存在可疑遮擋。本實(shí)施中設(shè)定的遮擋條件為：該車牌候選區(qū)域的初步識(shí)別結(jié)果為無(wú)車牌，且該車牌候選區(qū)域中各字符置信度之和在該車牌候選區(qū)域所在圖像的所有車牌候選區(qū)域中最高。當(dāng)單個(gè)圖像中所有的車牌候選區(qū)域的初步識(shí)別結(jié)果均為無(wú)車牌，且不存在車牌候選區(qū)域的初步識(shí)別結(jié)果中包含初步識(shí)別字符及對(duì)應(yīng)的置信度時(shí)，即該圖像中所有車牌候選區(qū)域均不存在字符或類字符，則直接輸出識(shí)別結(jié)果為無(wú)牌，不再進(jìn)行深度學(xué)習(xí)識(shí)別。本技術(shù)方案對(duì)初步識(shí)別均為無(wú)牌的情況，進(jìn)一步進(jìn)行判斷，從而能夠避免遮擋導(dǎo)致識(shí)別結(jié)果為無(wú)牌的情況出現(xiàn)。例如：對(duì)兩個(gè)車牌候選區(qū)域的識(shí)別結(jié)果如下：表2則車牌候選區(qū)域2的置信度之和大于車牌候選區(qū)域1，因此判斷車牌候選區(qū)域2為選定的車牌候選區(qū)域，將其送入下一步進(jìn)行深度學(xué)習(xí)。上述兩個(gè)設(shè)定的遮擋條件，在本實(shí)施例的實(shí)施中，可以僅選擇第一個(gè)來(lái)使用，即對(duì)無(wú)牌的初步識(shí)別結(jié)果不考慮，直接當(dāng)無(wú)牌處理。也可以同時(shí)應(yīng)用這兩個(gè)遮擋條件，即對(duì)初步識(shí)別結(jié)果為有車牌情況時(shí)，選擇滿足第一個(gè)條件的可疑遮擋車牌候選區(qū)域，對(duì)初步識(shí)別結(jié)果為無(wú)車牌情況時(shí)，選擇各車牌候選區(qū)域中各字符置信度之和最高的車牌候選區(qū)域進(jìn)行深度學(xué)習(xí)識(shí)別。對(duì)車牌候選區(qū)域進(jìn)行深度學(xué)習(xí)識(shí)別，可以采用常見(jiàn)的深度學(xué)習(xí)方法，例如深信度網(wǎng)絡(luò)dbf(deepbeliefnetworks)、遞歸神經(jīng)網(wǎng)絡(luò)rnn(recurrentneuralnetworks)等，本實(shí)施例以神經(jīng)網(wǎng)絡(luò)為例進(jìn)行說(shuō)明。對(duì)滿足預(yù)設(shè)遮擋條件的車牌候選區(qū)域進(jìn)行深度學(xué)習(xí)識(shí)別，包括：對(duì)滿足預(yù)設(shè)遮擋條件的車牌候選區(qū)域的灰度圖像采用卷積神經(jīng)網(wǎng)絡(luò)cnn進(jìn)行特征提取；將得到的特征送到訓(xùn)練好的長(zhǎng)短記憶遞歸神經(jīng)網(wǎng)絡(luò)lstm中進(jìn)行識(shí)別。具體地，本步驟對(duì)車牌候選區(qū)域進(jìn)行深度學(xué)習(xí)。本實(shí)施例采用的特征提取方法為卷積神經(jīng)網(wǎng)絡(luò)cnn，其中卷積網(wǎng)絡(luò)的具體參數(shù)可以進(jìn)行設(shè)置的不同，例如卷積核可以不同。對(duì)字符的識(shí)別，本實(shí)施例推薦采用長(zhǎng)短記憶遞歸神經(jīng)網(wǎng)絡(luò)lstm(longshort-termmemory)，lstm是一種遞歸神經(jīng)網(wǎng)絡(luò)rnn的特殊類型，可以學(xué)習(xí)長(zhǎng)期依賴信息。lstm核心思想是細(xì)胞狀態(tài)，類似于傳送帶，直接在整個(gè)鏈上運(yùn)行，只有一些少量的線性交互，信息在上面流傳保持不變會(huì)很容易。lstm包括三個(gè)門，分別是忘記門、輸入門和輸出門，來(lái)保護(hù)和控制細(xì)胞狀態(tài)。lstm有很多變體，本實(shí)施例采用gru(gatedrecurrentunit)變體，它將忘記門和輸入門合成為一個(gè)單一的更新門，同樣混合了細(xì)胞狀態(tài)和隱藏狀態(tài)，和其他改動(dòng)，最終的模型比標(biāo)準(zhǔn)的lstm模型簡(jiǎn)單。本實(shí)施例還可以采用標(biāo)準(zhǔn)lstm或其他變體，也可以采用其他rnn網(wǎng)絡(luò)模型或其他機(jī)器學(xué)習(xí)算法，本發(fā)明對(duì)此不做限制。以下以cnn和gru為例，來(lái)對(duì)深度學(xué)習(xí)的過(guò)程進(jìn)行介紹：步驟f1、假設(shè)輸入的車牌候選區(qū)域輸入圖像為w*h的灰度圖，首先將圖像高度統(tǒng)一為30，寬度按比例進(jìn)行縮放，得到的圖像大小為w*30。步驟f2、cnn提取特征，本方案中采用兩層卷積網(wǎng)絡(luò)。第一層卷積層是8個(gè)大小為3*3的卷積核，進(jìn)行卷積操作后，輸出數(shù)據(jù)大小為8*28*(w-2)；之后接池化層pooling，進(jìn)行池化操作，池化窗口大小為2*2，步長(zhǎng)為2*2，得到數(shù)據(jù)為8*14*((w-2)/2)；pooling層后接relu(rectifiedlinearunits)激活函數(shù)對(duì)數(shù)據(jù)進(jìn)行稀疏處理。第二層卷積層是16個(gè)大小為3*3的卷積核，輸出數(shù)據(jù)大小為16*12*((w-2)/2-2)；同樣再接pooling層和relu層；最終得到的數(shù)據(jù)為16*6*wo，wo為cnn提取特征后的featuremaps寬度。步驟f3、featuremaps寬度作為時(shí)間維度，送入到gru網(wǎng)絡(luò)進(jìn)行計(jì)算。首先對(duì)cnn輸出的數(shù)據(jù)進(jìn)行調(diào)整，為wo*96；然后利用gru進(jìn)行計(jì)算，本方案設(shè)計(jì)的gru隱藏層神經(jīng)元個(gè)數(shù)為64，得到輸出結(jié)果大小為wo*64。步驟f4、用softmax分類器計(jì)算最終的預(yù)測(cè)結(jié)果。識(shí)別的類別包括漢字37，數(shù)字10，字母26，還有1類為空白，輸出的結(jié)果類別為74，因此softmax層輸出數(shù)據(jù)大小為wo*74。步驟f5、根據(jù)softmax層輸出結(jié)果，計(jì)算出對(duì)應(yīng)的字符及字符對(duì)應(yīng)的位置信息。至此，對(duì)輸入的車牌候選區(qū)域，通過(guò)深度學(xué)習(xí)，識(shí)別出車牌候選區(qū)域中的字符、字符個(gè)數(shù)、字符位置信息。本技術(shù)方案利用深度學(xué)習(xí)方法進(jìn)行遮擋車牌識(shí)別較傳統(tǒng)方法有更高的準(zhǔn)確率，并且對(duì)各類遮擋車牌的識(shí)別有更好的適應(yīng)性，可以更準(zhǔn)確的向上層業(yè)務(wù)提供遮擋車牌告警，進(jìn)而更準(zhǔn)確對(duì)司機(jī)故意遮擋號(hào)牌的行為進(jìn)行處罰。步驟s3、當(dāng)所述字符個(gè)數(shù)處于預(yù)設(shè)字符個(gè)數(shù)范圍內(nèi)時(shí)，確定所述車牌候選區(qū)域存在車牌遮擋，并獲得所述車牌候選區(qū)域中存在遮擋的字符數(shù)量。在上一步中，通過(guò)深度學(xué)習(xí)得到了識(shí)別出的字符個(gè)數(shù)及字符的位置信息，則判斷深度學(xué)習(xí)識(shí)別得到的字符個(gè)數(shù)是否處于預(yù)設(shè)字符個(gè)數(shù)范圍內(nèi)，若是，則確定該車牌候選區(qū)域存在車牌遮擋。例如藍(lán)牌的字符個(gè)數(shù)為7，對(duì)于藍(lán)牌的預(yù)設(shè)字符個(gè)數(shù)范圍為小于7且大于2，當(dāng)深度學(xué)習(xí)識(shí)別得到的字符個(gè)數(shù)小于7且大于2時(shí)，則確定該車牌候選區(qū)域存在車牌遮擋。對(duì)不同類別的車牌，其字符個(gè)數(shù)可能不同，因此上述判斷條件基于實(shí)際常用車牌的字符個(gè)數(shù)，這里不再贅述。而對(duì)于全部識(shí)別了車牌中的字符時(shí)，則判斷沒(méi)有遮擋，直接輸出識(shí)別結(jié)果?；蛘咦R(shí)別出的字符超過(guò)7個(gè)，則有可能是廣告牌遮擋等，丟棄識(shí)別結(jié)果，輸出未識(shí)別出車牌的提示。對(duì)于識(shí)別出的字符個(gè)數(shù)少于或等于2個(gè)的情況，即識(shí)別出的字符極少，據(jù)此輸出用特殊符號(hào)替換的車牌在實(shí)際的應(yīng)用中也沒(méi)有什么效果，一般都會(huì)在初步識(shí)別時(shí)被認(rèn)定為無(wú)牌情況，輸出無(wú)牌的提示。對(duì)于常用的7位車牌來(lái)說(shuō)，如果識(shí)別出的字符個(gè)數(shù)為5，則對(duì)應(yīng)的車牌候選區(qū)域中存在遮擋的字符數(shù)量為2。步驟s4、根據(jù)所述初步識(shí)別字符、所述初步識(shí)別字符對(duì)應(yīng)的置信度、所述字符數(shù)量及所述字符的位置信息，確定遮擋字符在車牌中的位置，在所述初步識(shí)別結(jié)果中用特殊符號(hào)替換所述遮擋字符，輸出最終識(shí)別結(jié)果。本實(shí)施例對(duì)初步識(shí)別結(jié)果中的字符按照置信度高低進(jìn)行排序，由低到高選取所述字符數(shù)量的字符，判斷所選取字符的置信度是否低于預(yù)設(shè)的閾值，如果均低于預(yù)設(shè)的閾值，則確定所選取字符所在的位置被遮擋，如果有選取的字符的置信度不低于所述預(yù)設(shè)的閾值，則根據(jù)所述字符的位置信息檢驗(yàn)該字符所在的位置是否是被遮擋的位置，如果是，則確定該字符所在的位置被遮擋，如果不是，則從剩下的字符中選擇最低置信度的字符進(jìn)行替換，并重新根據(jù)所述字符的位置信息檢驗(yàn)替換后字符所在的位置是否是被遮擋的位置，直至確定遮擋字符在車牌中的位置或所有字符均判斷完畢；在所有字符均判斷完畢，仍然無(wú)法確定遮擋字符在車牌中的位置時(shí)，從初始識(shí)別結(jié)果中根據(jù)置信度由低到高選取所述字符數(shù)量的字符，以選取字符所在的位置為遮擋字符在車牌中的位置。例如藍(lán)牌7個(gè)字符，若lstm識(shí)別結(jié)果個(gè)數(shù)為5，則認(rèn)為遮擋了2個(gè)字符，對(duì)初步識(shí)別結(jié)果中的字符按照置信度高低進(jìn)行排序，由低到高選取兩個(gè)字符，得到其對(duì)應(yīng)的位置，再用lstm輸出的位置信息進(jìn)行校驗(yàn)。例如，車牌“浙a12345”中“1”、“3”位置被遮擋，初步識(shí)別結(jié)果輸出如下：字符浙a12345置信度90％99％40％92％50％81％93％表3lstm識(shí)別結(jié)果個(gè)數(shù)為5，則認(rèn)為遮擋了2個(gè)字符，對(duì)初步識(shí)別結(jié)果中的字符按照置信度高低進(jìn)行排序，由低到高選取兩個(gè)字符，得到其對(duì)應(yīng)的位置為字符“1”和字符“3”的位置，此時(shí)2個(gè)最低置信度的字符的置信度都低于一個(gè)閾值(這里假設(shè)為75％)，就認(rèn)為這兩個(gè)字符所在位置一定是被遮擋的。而如果車牌“浙a12345”中“1”、“3”位置被遮擋，初步識(shí)別結(jié)果輸出如下：字符浙a12345置信度90％99％40％92％79％81％93％表4這時(shí)候?qū)Τ醪阶R(shí)別結(jié)果中的字符按照置信度高低進(jìn)行排序，由低到高選取兩個(gè)字符，得到其對(duì)應(yīng)的位置為字符“1”和字符“3”的位置，但是“3”的置信度雖然是倒數(shù)第二低的，但是大于設(shè)定的閾值(75％)，就存在不被遮擋的可能，那么利用lstm識(shí)別的字符位置信息校驗(yàn)字符“3”所在的位置是否是被遮擋的位置，如果“3”是被遮擋的，那么lstm中輸出的“2”和“4”這兩個(gè)字符的位置間距就會(huì)偏大，那么確定字符“3”所在的位置是被遮擋的位置；如果“2”和“4”這兩個(gè)字符的位置間距正常，則需要找置信度倒數(shù)第三低的字符即“4”，來(lái)重新進(jìn)行校驗(yàn)。校驗(yàn)的方法相同，即lstm中輸出的字符“3”和“5”的位置間距偏大，則認(rèn)為字符“4”所在的位置是被遮擋的位置，如果字符“3”和“5”的位置間距正常，則需要繼續(xù)找置信度倒數(shù)第四低的字符，再來(lái)進(jìn)行校驗(yàn)，直至確定遮擋字符在車牌中的位置或所有字符均判斷完畢。在所有字符均判斷完畢，仍然無(wú)法確定遮擋字符在車牌中的位置時(shí)，則還是回到最初從初始識(shí)別結(jié)果中根據(jù)置信度由低到高選取的兩個(gè)字符，確定這兩個(gè)字符所在的位置為遮擋字符在車牌中的位置。即對(duì)于表4的情況，首先“1”的置信度低于閾值75％，確定其所在位置被遮擋，而對(duì)于“3”，其置信度大于閾值75％，如果經(jīng)過(guò)校驗(yàn)不是遮擋位置，則用“4”來(lái)替換，“4”的置信度顯然大于閾值75％，繼續(xù)進(jìn)行校驗(yàn)，如果仍然不是遮擋位置，則繼續(xù)進(jìn)行替換，發(fā)現(xiàn)其他位置都不是遮擋位置時(shí)，仍然根據(jù)初步識(shí)別結(jié)果，將“3”的位置確定為遮擋位置。最終得到被遮擋的字符個(gè)數(shù)及位置，將其用特殊符號(hào)替換。需要說(shuō)明的是，在步驟s1中采用模板匹配方法初步識(shí)別結(jié)果中，輸出了識(shí)別出的字符及其置信度，置信度高的字符認(rèn)為是可信的，置信度低的字符可能是被遮擋的字符。而深度學(xué)習(xí)方法學(xué)習(xí)得到字符及位置信息，在最后輸出的最終識(shí)別結(jié)果中，將初次識(shí)別結(jié)果中沒(méi)有遮擋的字符正常輸出，而對(duì)于遮擋的字符，以特殊符號(hào)替換。也可以以深度學(xué)習(xí)得到的字符按照位置排序后輸出，其中遮擋的字符用特殊符號(hào)替換。例如，對(duì)表1中車牌候選區(qū)域的最終識(shí)別結(jié)果輸出為：浙a123**。本實(shí)施例根據(jù)字符位置信息來(lái)進(jìn)行校驗(yàn)，根據(jù)字符位置信息能計(jì)算出字符之間的距離，從而進(jìn)行校驗(yàn)。也可以根據(jù)字符位置信息，先確定被遮擋字符的位置，例如計(jì)算“2”、“4”之間的距離，如果他們之間的距離偏大(大于正常兩個(gè)相鄰字符之間的距離)，則判斷“3”是被遮擋位置，又計(jì)算出“a”與“2”之間的距離，如果他們之間的距離偏大，則判斷“1”也是被遮擋位置。這樣就先確定了被遮擋位置，然后從初步識(shí)別結(jié)果中選擇置信度由低到高的兩個(gè)字符，例如選擇的是“1”和“3”，與確定的被遮擋位置正好相符，則最終確定“1”和“3”所在的位置就是被遮擋位置。而如果根據(jù)字符位置信息，確定的被遮擋位置是“1”和“4”時(shí)，當(dāng)從初步識(shí)別結(jié)果中選擇置信度由低到高的兩個(gè)字符，選擇的是“1”和“3”時(shí)，與確定的被遮擋位置不相符，則用“4”來(lái)替換“3”，最終確定“1”和“4”為遮擋位置。本發(fā)明不限定根據(jù)字符位置信息進(jìn)行校驗(yàn)的具體方法。如圖2所示，與上述方法對(duì)應(yīng)地，本發(fā)明還提出了一種遮擋車牌識(shí)別裝置，該遮擋車牌識(shí)別裝置包括：初步識(shí)別模塊，用于獲取待識(shí)別的車牌候選區(qū)域，對(duì)所述車牌候選區(qū)域進(jìn)行初步車牌識(shí)別，輸出包括初步識(shí)別字符及所述初步識(shí)別字符對(duì)應(yīng)的置信度的初步識(shí)別結(jié)果；深度學(xué)習(xí)模塊，用于根據(jù)所述初步識(shí)別結(jié)果進(jìn)行判斷，對(duì)滿足預(yù)設(shè)遮擋條件的車牌候選區(qū)域進(jìn)行深度學(xué)習(xí)識(shí)別，獲得深度學(xué)習(xí)識(shí)別得到的字符個(gè)數(shù)及字符的位置信息；判斷模塊，用于在所述字符個(gè)數(shù)處于預(yù)設(shè)字符個(gè)數(shù)范圍內(nèi)時(shí)，確定所述車牌候選區(qū)域存在車牌遮擋，并獲得所述車牌候選區(qū)域中存在遮擋的字符數(shù)量；輸出替換模塊，用于根據(jù)所述初步識(shí)別字符、所述初步識(shí)別字符對(duì)應(yīng)的置信度、所述字符數(shù)量及所述字符的位置信息，確定遮擋字符在車牌中的位置，在所述初步識(shí)別結(jié)果中用特殊符號(hào)替換所述遮擋字符，輸出最終識(shí)別結(jié)果。本實(shí)施例的裝置中所設(shè)定的遮擋條件，與前述方法相同，這里不再贅述。優(yōu)選地，本實(shí)施例深度學(xué)習(xí)模塊對(duì)滿足預(yù)設(shè)遮擋條件的車牌候選區(qū)域進(jìn)行深度學(xué)習(xí)識(shí)別時(shí)，執(zhí)行如下操作：對(duì)滿足預(yù)設(shè)遮擋條件的車牌候選區(qū)域的灰度圖像采用卷積神經(jīng)網(wǎng)絡(luò)cnn進(jìn)行特征提取；將得到的特征送到訓(xùn)練好的長(zhǎng)短記憶遞歸神經(jīng)網(wǎng)絡(luò)lstm中進(jìn)行識(shí)別。進(jìn)一步地，所述將得到的特征送到訓(xùn)練好的長(zhǎng)短記憶遞歸神經(jīng)網(wǎng)絡(luò)lstm中進(jìn)行識(shí)別，其中長(zhǎng)短記憶遞歸神經(jīng)網(wǎng)絡(luò)lstm為gru單元。優(yōu)選地，本實(shí)施例輸出替換模塊根據(jù)所述初步識(shí)別字符、所述初步識(shí)別字符對(duì)應(yīng)的置信度、所述字符數(shù)量及所述字符的位置信息，確定遮擋字符在車牌中的位置時(shí)，執(zhí)行如下操作：對(duì)初步識(shí)別結(jié)果中的字符按照置信度高低進(jìn)行排序，由低到高選取所述字符數(shù)量的字符，判斷所選取字符的置信度是否低于預(yù)設(shè)的閾值，如果均低于預(yù)設(shè)的閾值，則確定所選取字符所在的位置被遮擋，如果有選取的字符的置信度不低于所述預(yù)設(shè)的閾值，則根據(jù)所述字符的位置信息檢驗(yàn)該字符所在的位置是否是被遮擋的位置，如果是，則確定該字符所在的位置被遮擋，如果不是，則從剩下的字符中選擇最低置信度的字符進(jìn)行替換，并重新根據(jù)所述字符的位置信息檢驗(yàn)替換后字符所在的位置是否是被遮擋的位置，直至確定遮擋字符在車牌中的位置或所有字符均判斷完畢；在所有字符均判斷完畢，仍然無(wú)法確定遮擋字符在車牌中的位置時(shí)，從初始識(shí)別結(jié)果中根據(jù)置信度由低到高選取所述字符數(shù)量的字符，以選取字符所在的位置為遮擋字符在車牌中的位置。以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非對(duì)其進(jìn)行限制，在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。當(dāng)前第1頁(yè)12