本發(fā)明涉及圖像識別技術(shù)領(lǐng)域,尤其涉及基于圖像識別的異常檢測方法。
背景技術(shù):
以下對本發(fā)明的相關(guān)技術(shù)背景進(jìn)行說明,但這些說明并不一定構(gòu)成本發(fā)明的現(xiàn)有技術(shù)。
隨著照相和視頻監(jiān)控系統(tǒng)在工業(yè)中的廣泛應(yīng)用,對于所采集的圖片和影像進(jìn)行高效和準(zhǔn)且的分類處理,并在圖片和影像中發(fā)現(xiàn)異常因素的需求越來越大。長期以來普遍利用人工對所采集的圖片和影像進(jìn)行異常識別,這樣做成本高,識別效果受人為因素(例如經(jīng)驗、疲勞程度等)的影響大。因此,需要一種有效的自動處理手段對圖片和影像中的異常因素進(jìn)行識別。
技術(shù)實現(xiàn)要素:
本發(fā)明的目的在于提出一種基于圖像識別的異常檢測方法,能夠自動實現(xiàn)對任意被檢測目標(biāo)的異常檢測。
本發(fā)明基于圖像識別的異常檢測方法,包括:
s1、對包含被檢測目標(biāo)的圖片進(jìn)行正規(guī)化處理,獲取灰度化圖像;
s2、利用訓(xùn)練好的目標(biāo)識別模型進(jìn)行摳圖,從所述灰度化圖像中摳取被檢測目標(biāo)圖像;
s3、利用訓(xùn)練好的二元分類模型對所述被檢測目標(biāo)圖像進(jìn)行二元分類,確定所述被檢測目標(biāo)圖像的可信度分值;若所述被檢測目標(biāo)圖像的可信度分值不高于預(yù)設(shè)的異常閾值,判定所述被檢測目標(biāo)圖像為異常目標(biāo)。
優(yōu)選地,按照如下步驟訓(xùn)練目標(biāo)識別模型:
獲取用于模型訓(xùn)練的灰度化識別樣本圖片;
從均一化處理后的所述灰度化識別樣本圖片中摳取識別正樣本,并對摳取的識別正樣本和預(yù)設(shè)的識別負(fù)樣本的尺寸進(jìn)行均一化處理;
基于預(yù)設(shè)的識別負(fù)樣本和摳取的識別正樣本,采用級聯(lián)分類訓(xùn)練算法進(jìn)行訓(xùn)練,得到目標(biāo)識別模型;
其中,識別正樣本是指以被檢測目標(biāo)的標(biāo)識部位為主體的局部圖片,識別正樣本不包含存在異常的樣本圖片;識別負(fù)樣本是指不包含被檢測目標(biāo)的圖片;摳圖時,被檢測目標(biāo)充滿90%以上被摳取圖像區(qū)域。
優(yōu)選地,按照如下步驟從所述灰度化識別樣本圖片中摳取識別正樣本:
檢測識別正樣本在所述灰度化識別樣本圖片中的位置;
如果被檢測目標(biāo)在所述灰度化識別樣本圖片中所處部位隨機(jī),采用手工摳圖;如果被檢測目標(biāo)在所述灰度化識別樣本圖片中所處部位固定,利用遮罩技術(shù)劃定特定的圖片或影像區(qū)域進(jìn)行自動摳圖。
優(yōu)選地,得到目標(biāo)識別模型之后進(jìn)一步包括:
利用所述目標(biāo)識別模型從所述灰度化識別樣本圖片中摳取識別正樣本,并對摳取的識別正樣本和預(yù)設(shè)的識別負(fù)樣本的尺寸進(jìn)行均一化處理;
利用預(yù)設(shè)的識別負(fù)樣本和摳取的識別正樣本訓(xùn)練所述目標(biāo)識別模型。
優(yōu)選地,按照如下步驟訓(xùn)練二元分類模型:
獲取用于模型訓(xùn)練的灰度化分類樣本圖片,包括:分類正樣本和分類負(fù)樣本;
提取每個分類樣本圖片的樣本特征,采用主成分分析法對樣本特征進(jìn)行分析,獲取特征向量和特征值;
對特征向量進(jìn)行聚類,聚類完成后通過二元分類算法對分類樣本圖片進(jìn)行分類,得到二元分類模型;
其中,分類正樣本是指以被檢測目標(biāo)的標(biāo)識部位為主體的局部圖片,分類正樣本不包含存在異常的樣本圖片;分類負(fù)樣本是指不包含被檢測目標(biāo)的圖片;聚類的數(shù)量小于特征向量的數(shù)量。
優(yōu)選地,獲取用于模型訓(xùn)練的灰度化分類樣本圖片之后進(jìn)一步包括:對分類樣本圖片的尺寸進(jìn)行均一化處理。
優(yōu)選地,提取每個分類樣本圖片的樣本特征之后進(jìn)一步包括:
對每個分類樣本圖片的樣本特征數(shù)量進(jìn)行均一化處理,具體地:針對任意一個分類樣本圖片,
如果提取的樣本特征數(shù)量少于預(yù)定義的特征數(shù)量,則用零值或單位值填充,使該分類樣本圖片的樣本特征數(shù)量達(dá)到預(yù)定義的特征數(shù)量;
如果提取的樣本特征數(shù)量多于預(yù)定義的特征數(shù)量n,則選擇預(yù)定義的特征數(shù)量個樣本特征。
優(yōu)選地,按照如下方法選擇預(yù)定義的特征數(shù)量個樣本特征:
對于分類負(fù)樣本,隨機(jī)選擇預(yù)定義的特征數(shù)量個樣本特征;
對于分類負(fù)樣本,或特征數(shù)量接近預(yù)定義的特征數(shù)量的分類正樣本,選擇最前或最后的預(yù)定義數(shù)量個樣本特征;
對于分類正樣本,通過主成分分析法將樣本特征按重要性降序排列,選擇最重要的預(yù)定義的特征數(shù)量個樣本特征。
優(yōu)選地,采用主成分分析法對每個分類正樣本的樣本特征進(jìn)行分析,選擇代表性超過80%的樣本特征數(shù)量的均值或最小值作為預(yù)定義的特征數(shù)量。
優(yōu)選地,所述被檢測目標(biāo)圖像的長寬像素尺寸與訓(xùn)練二元分類模型所使用的分類正樣本的長寬像素尺寸相等。
優(yōu)選地,步驟s1包括:
對包含被檢測目標(biāo)的圖片或影像格式進(jìn)行轉(zhuǎn)換,得到具有統(tǒng)一格式的彩色圖片;對于影像,將其轉(zhuǎn)換為圖片幀后再進(jìn)行格式轉(zhuǎn)換;
對彩色圖片進(jìn)行灰度化處理,得到灰度化圖像。
優(yōu)選地,得到灰度化圖像之后進(jìn)一步包括:采用直方圖均衡化方法對灰度化圖像進(jìn)行處理。
從本發(fā)明的技術(shù)方案可以看出,本發(fā)明的應(yīng)用場景主要是基于形狀而不是基于色彩的差異進(jìn)行異常檢測;通過將包含被檢測目標(biāo)的圖片轉(zhuǎn)化成灰度化圖像,可以在不減少圖片特征信息的基礎(chǔ)上有效降低圖片包含的特征維度;通過將被檢測目標(biāo)圖像從灰度化圖像中摳取出來,能夠有效減少非檢測目標(biāo)圖像信息所帶來的干擾,提高本發(fā)明異常檢測算法的速度和準(zhǔn)確性;通過利用訓(xùn)練好的二元分類模型對被檢測目標(biāo)圖像進(jìn)行二元分類,能夠自動識別異常目標(biāo),提高本發(fā)明異常檢測的效率和準(zhǔn)確性。
附圖說明
通過以下參照附圖而提供的具體實施方式部分,本發(fā)明的特征和優(yōu)點將變得更加容易理解,在附圖中:
圖1是示出本發(fā)明基于圖像識別的異常檢測方法的流程示意圖。
具體實施方式
下面參照附圖對本發(fā)明的示例性實施方式進(jìn)行詳細(xì)描述。對示例性實施方式的描述僅僅是出于示范目的,而絕不是對本發(fā)明及其應(yīng)用或用法的限制。
由于用于拍攝的相機(jī)和攝像機(jī)通常固定在特定的位置,以一定的角度面對被檢測物體(例如車輛,設(shè)備,行人,等等),所以圖片或影像的內(nèi)容相對固定。但是由于受到每個被檢測的實例都存在個體上的差異,拍照的時間不同所帶來的曝光差異,一幅圖片或影像中可能存在多個被檢查點,以及異常部位通常所占圖片或影像畫面比例較小等因素的影響,大大提高了自動識別技術(shù)復(fù)雜度。為了解決上述問題,本發(fā)明提供了一種基于形狀差異進(jìn)行異常檢測的方法。
由于本發(fā)明的應(yīng)用場景主要是基于形狀而不是基于色彩的差異進(jìn)行異常檢測,因此本發(fā)明在步驟s1中首先對包含被檢測目標(biāo)的圖片進(jìn)行正規(guī)化處理,獲取灰度化圖像,參見圖1,圖中每個包含rgb或greyscale的方格表示一個像素。將包含被檢測目標(biāo)的圖片轉(zhuǎn)化成灰度化圖像,可以在不減少圖片特征信息的基礎(chǔ)上有效降低圖片包含的特征維度,保留有助于異常檢測的信息和特征,從而降低異常檢測的算法復(fù)雜程度和計算量。
實際使用過程中多采用相機(jī)或攝像機(jī)獲取包含被檢測目標(biāo)的圖像信息,相機(jī)獲取的大多是圖片格式,攝像機(jī)獲取的多是視頻影像。為了便于分析處理不同格式的被檢測目標(biāo)圖像信息,步驟s1可以進(jìn)一步包括:
對包含被檢測目標(biāo)的圖片或影像格式進(jìn)行轉(zhuǎn)換,得到具有統(tǒng)一格式的彩色圖片;對于影像,將其轉(zhuǎn)換為圖片幀后再進(jìn)行格式轉(zhuǎn)換;
對彩色圖片進(jìn)行灰度化處理,得到灰度化圖像。
為了使灰度化圖像中的特征信息更加明顯,得到灰度化圖像之后可以進(jìn)一步包括:采用直方圖均衡化(histogramequalization)方法對灰度化圖像進(jìn)行處理,對灰度化圖像對比度進(jìn)行調(diào)整,從而使灰度化圖像的特征更加明顯,改善灰度化圖像的質(zhì)量。
灰度化圖像中往往既包含被檢測目標(biāo),也包含非檢測目標(biāo),被檢測目標(biāo)通常只占整個灰度化圖像的一部分。為了盡量減少非檢測目標(biāo)圖像信息所帶來的干擾,提高異常檢測算法的速度和準(zhǔn)確性,本發(fā)明步驟s2中利用訓(xùn)練好的目標(biāo)識別模型進(jìn)行摳圖,從灰度化圖像中摳取被檢測目標(biāo)圖像。例如,利用人工智能技術(shù)從灰度化圖像中自動檢測需要檢測的關(guān)鍵部位,如車輛標(biāo)識、部件、人臉等,并利用摳圖技術(shù)提取關(guān)鍵部位的圖片或影像信息。
級聯(lián)分類訓(xùn)練(cascadeclassifiertraining)算法適合于在圖片或影響中找到與被被檢測目標(biāo)相匹配的區(qū)域,但并不能有效的衡量被檢測目標(biāo)是否存在異常,因此本發(fā)明步驟s3中利用訓(xùn)練好的二元分類模型對被檢測目標(biāo)圖像進(jìn)行二元分類,確定被檢測目標(biāo)圖像的可信度分值;若被檢測目標(biāo)圖像的可信度分值不高于預(yù)設(shè)的異常閾值,判定被檢測目標(biāo)圖像為異常目標(biāo)。
本領(lǐng)域技術(shù)人員可以根據(jù)實際需要選擇合適的目標(biāo)分類模型進(jìn)行摳取,在一些實施例中,按照如下步驟訓(xùn)練目標(biāo)識別模型:
獲取用于模型訓(xùn)練的灰度化識別樣本圖片;
從正規(guī)化處理后的所述灰度化識別樣本圖片中摳取識別正樣本,并對摳取的識別正樣本和預(yù)設(shè)的識別負(fù)樣本的尺寸進(jìn)行均一化處理;
基于預(yù)設(shè)的識別負(fù)樣本和摳取的識別正樣本,采用級聯(lián)分類訓(xùn)練(cascadeclassifiertraining)算法進(jìn)行訓(xùn)練,得到目標(biāo)識別模型;
識別正樣本是指以被檢測目標(biāo)的標(biāo)識部位為主體的局部圖片,識別正樣本不包含存在異常的樣本圖片;識別負(fù)樣本是指不包含被檢測目標(biāo)的圖片。由于被檢測目標(biāo)通常只占整個灰度化圖像的一部分,因此通過從灰度化識別樣本圖片中摳取被檢測目標(biāo)的圖像獲取目標(biāo)識別的識別正樣本可以有效減少非檢測目標(biāo)圖像信息所帶來的干擾,提升識別正樣本的質(zhì)量。為了進(jìn)一步提升識別正樣本的質(zhì)量,摳圖時,被檢測目標(biāo)充滿90%以上被摳取圖像區(qū)域。摳取圖像時,應(yīng)盡量保證被摳取部分的長寬比一致,以提高特征提取的相似度。
摳取識別正樣本的方法可以根據(jù)實際情況進(jìn)行選擇,在一些實施例中,可以根據(jù)識別正樣本在灰度化識別樣本圖片中的位置選擇合適的摳圖方法,具體地:
檢測識別正樣本在灰度化識別樣本圖片中的位置;
如果被檢測目標(biāo)在灰度化識別樣本圖片中所處部位隨機(jī),采用手工摳圖;如果被檢測目標(biāo)在灰度化識別樣本圖片中所處部位固定,利用遮罩技術(shù)劃定特定的圖片或影像區(qū)域進(jìn)行自動摳圖。
上述實施例中,被檢測目標(biāo)在灰度化識別樣本圖片中所處部位固定并不限于被檢測目標(biāo)在灰度化識別樣本圖片中所處部位完全一致。當(dāng)異常檢測的精確性要求不高時,可以適當(dāng)降低對被檢測目標(biāo)位置的要求,例如當(dāng)被檢測目標(biāo)在灰度化識別樣本圖片中所處部位不超過預(yù)設(shè)的位置范圍時,認(rèn)定被檢測目標(biāo)在灰度化識別樣本圖片中所處部位固定。
為了提高目標(biāo)識別模型的準(zhǔn)確性,得到目標(biāo)識別模型之后可以進(jìn)一步包括:
利用目標(biāo)識別模型從灰度化識別樣本圖片中摳取識別正樣本,并對摳取的識別正樣本和預(yù)設(shè)的識別負(fù)樣本的尺寸進(jìn)行均一化處理;
利用預(yù)設(shè)的識別負(fù)樣本和摳取的識別正樣本訓(xùn)練該目標(biāo)識別模型。
優(yōu)選地,可以按照如下步驟訓(xùn)練二元分類模型:
獲取用于模型訓(xùn)練的灰度化分類樣本圖片,并對分類樣本圖片的尺寸進(jìn)行均一化處理,以保證特征提取的相似度;
提取每個分類樣本圖片的樣本特征,采用主成分分析法對樣本特征進(jìn)行分析,獲取特征向量和特征值;
對特征向量進(jìn)行聚類,聚類完成后通過二元分類算法對分類樣本圖片進(jìn)行分類,得到二元分類模型;
其中,分類樣本圖片包括:分類正樣本和分類負(fù)樣本;分類正樣本是指以被檢測目標(biāo)的標(biāo)識部位為主體的局部圖片,分類正樣本不包含存在異常的樣本圖片;分類負(fù)樣本是指不包含被檢測目標(biāo)的圖片;聚類的數(shù)量小于特征向量的數(shù)量。對于分類樣本圖片,可以采用前面用于級聯(lián)分類的識別正樣本,也可以采用上述優(yōu)選實施例中摳取識別正樣本的方法檢測和摳取用于模型訓(xùn)練的分類正樣本。
在樣本特征提取完成后,由于樣本特征順序的隨機(jī)性,因此需要對特征進(jìn)行聚類,以便于后續(xù)的分類模型訓(xùn)練。聚類的算法包括但不限于:k-means聚類算法。在采用聚類算法時,聚類的數(shù)量k值應(yīng)小于等于樣本特征的數(shù)量。聚類完成后,通過傳統(tǒng)的二元分類算法對樣本圖片進(jìn)行分類。二元分類算法包括但不限于:邏輯回歸算法(logisticregression),支持向量機(jī)算法(svm)等。
分類正負(fù)樣本都應(yīng)采用灰度圖片,或在訓(xùn)練分類模型之前轉(zhuǎn)換為灰度圖片。本發(fā)明采用常見的特征提取算法來提取樣本特征。常用的特征提取算法包括但不限于:sift(scale-invariantfeaturetransform,恒比特征變換),surf(speeduprobustfeature,加速魯棒特征),fast(featuresfromacceleratedsegmenttest,特征分割檢測特征),brief(binaryrobustindependentelementaryfeatures,二分魯棒獨(dú)立特征),或orb(orientedfastandrotatedbrief,定向fast和旋轉(zhuǎn)brief)等。
為了保證從每個分類樣本圖片所提取的樣本特征數(shù)量完全一致,提取每個分類樣本圖片的樣本特征之后可以進(jìn)一步包括:
對每個分類樣本圖片的樣本特征數(shù)量進(jìn)行均一化處理,具體地:針對任意一個分類樣本圖片,
如果提取的樣本特征數(shù)量少于預(yù)定義的特征數(shù)量,則用零值或單位值填充,使該分類樣本圖片的樣本特征數(shù)量達(dá)到預(yù)定義的特征數(shù)量,例如,當(dāng)分類負(fù)樣本的樣本特征數(shù)量少于預(yù)定義的特征數(shù)量,用零值或單位值填充;如果提取的樣本特征數(shù)量多于預(yù)定義的特征數(shù)量n,則選擇預(yù)定義的特征數(shù)量個樣本特征。進(jìn)一步優(yōu)選地,可以按照如下方法選擇預(yù)定義的特征數(shù)量個樣本特征:
對于分類負(fù)樣本,隨機(jī)選擇預(yù)定義的特征數(shù)量個樣本特征;
對于分類負(fù)樣本,或特征數(shù)量等于或接近預(yù)定義的特征數(shù)量的分類正樣本,選擇最前或最后的預(yù)定義數(shù)量個樣本特征;
對于分類正樣本,通過主成分分析法將樣本特征按重要性降序排列,選擇最重要的預(yù)定義的特征數(shù)量個樣本特征。
對于預(yù)定義的樣本特征數(shù)量,可以采用主成分分析法對每個分類正樣本的樣本特征進(jìn)行分析,選擇代表性超過80%的樣本特征數(shù)量的均值或最小值作為預(yù)定義的特征數(shù)量。
為了便于將被檢測目標(biāo)圖像與分類正樣本進(jìn)行比較分析,可以使被檢測目標(biāo)圖像的長寬像素尺寸與訓(xùn)練二元分類模型所使用的分類正樣本的長寬像素尺寸相等。
在二元分類模型訓(xùn)練完成后,利用訓(xùn)練好的二元分類模型對被檢測目標(biāo)圖像進(jìn)行二元分類,確定被檢測目標(biāo)圖像的可信度分值;若被檢測目標(biāo)圖像的可信度分值不高于預(yù)設(shè)的異常閾值,判定被檢測目標(biāo)圖像為異常目標(biāo)。異常閾值的取值可以根據(jù)實際使用情況進(jìn)行設(shè)定,為了確定二元分類模型的分類效果和異常閾值的取值,還可以對訓(xùn)練好的二元分類模型進(jìn)行異常檢測測試。
異常檢測測試的正樣本是訓(xùn)練二元分類算法的分類正樣本,異常檢測測試的負(fù)樣本是不包含在二元分類算法的分類正樣本集中的、包含帶有異常的被檢測目標(biāo)的樣本。二元分類模型對每一個二元分類的分類都計算出一個可信度分值:如果分類為a和b。p(a)是分類結(jié)果為a的可信度分值,p(b)是分類結(jié)果為b的可信度分值,p為分類的最終可信度,那么:
p(a)+p(b)=1p=max(p(a),p(b))
假設(shè)a為正樣本,則在測試結(jié)果中,正測試用例的分類結(jié)果應(yīng)當(dāng)為a,負(fù)測試用例的分類結(jié)果可以為a或者為b。若找到一個可信度分值p(a’),使得召回率(recallrate)(即低于p(a’)的負(fù)測試樣本的數(shù)量對所有負(fù)測試樣本總數(shù)比率)大于等于預(yù)定義的百分比(例如99.99%),則p(a’)即使異常檢測所需要設(shè)定的異常閾值的取值。
雖然參照示例性實施方式對本發(fā)明進(jìn)行了描述,但是應(yīng)當(dāng)理解,本發(fā)明并不局限于文中詳細(xì)描述和示出的具體實施方式,在不偏離權(quán)利要求書所限定的范圍的情況下,本領(lǐng)域技術(shù)人員可以對所述示例性實施方式做出各種改變。