本發(fā)明涉及圖像檢測領(lǐng)域，尤其是涉及一種基于深度學習的汽車表面損傷分類方法及裝置。
背景技術(shù)：
：近年來，隨著我國城市化建設(shè)的不斷發(fā)展，我國的人均汽車占有量不斷增加。調(diào)查顯示，截止2015年全國的汽車總量已經(jīng)超過1.7億輛，與此同時，由汽車帶來的安全問題也不斷增加。事故發(fā)生后，無論是機動車輛之間，還是車輛與固定的物體之間的碰撞都會在車輛上留下痕跡。這些痕跡會嚴重影響汽車的美觀乃至使用，而不同類型的痕跡所需要的維護費用也不盡相同，因此，需要對這些痕跡進行評估。目前，針對汽車外觀的擦痕的評估主要依賴定損人員的主觀判定，不僅檢測時間長，而且易受主觀因素的干擾。如果能夠通過計算機自動識別檢測車輛的外觀，就可以極大地提高車輛外觀檢測的效率。因此，結(jié)合計算機視覺技術(shù)實現(xiàn)對車輛外觀檢查，是未來計算機輔助車輛檢測及損傷評定的一個重要方向。深度學習是一種通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示的機器學習理論。其又可分為有監(jiān)督學習和無監(jiān)督學習，卷積神經(jīng)網(wǎng)絡(luò)就是一種監(jiān)督學習下的深度學習模型，它是一種非全連接的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可自動地學習含有大量數(shù)據(jù)的目標特征，對幾何變換、形變以及光照都有一定的魯棒性。汽車的外觀擦痕復雜多變，且容易受到光照、遮擋等外界干擾。技術(shù)實現(xiàn)要素：本發(fā)明所要解決的技術(shù)問題是：針對現(xiàn)有技術(shù)存在的問題，提供一種基于深度學習的汽車表面損傷分類方法及裝置。本方法及裝置通過建立汽車受損數(shù)據(jù)庫；進行汽車待測區(qū)域提取；然后設(shè)計深度學習網(wǎng)絡(luò)結(jié)構(gòu)對輸入的樣本集進行特征學習和分類，最后得到汽車表面屬于噴漆、鈑金和更換三種類型，自動化的給出分類結(jié)果，幫助車輛定損與檢測。本發(fā)明采用的技術(shù)方案如下：一種基于深度學習的汽車表面損傷分類方法包括：步驟1：手動收集p張汽車外觀相同部位的汽車受損圖片，采用隨機翻轉(zhuǎn)、隨機裁剪以及顏色變換對p張汽車受損圖片進行樣本量擴充，建立汽車受損數(shù)據(jù)庫，得到n張汽車受損圖片；其中汽車外觀相同部位分別指的是汽車葉子板、車門、保險杠以及車頭部分形狀相同的汽車，n大于10000；n>p；步驟2：從汽車受損圖像庫中隨機選取m張受損圖像建立訓練樣本庫，手動標定訓練樣本庫中各受損圖像的待測部件作為選定區(qū)域；采用選擇性搜索算法從訓練樣本庫中每個受損圖像選取a圖像塊作為候選區(qū)域；然后計算各候選區(qū)域的面積重合度s，用SoftMax分類器對目標區(qū)域和背景區(qū)域的特征向量進行分類操作后，得到候選區(qū)域的最佳特征圖，同時得到訓練好的特征圖提取網(wǎng)絡(luò)模型；將該特征圖提取網(wǎng)絡(luò)模型的輸出層采用一個SVM分類器替換，訓練SVM分類器對目標區(qū)域、背景區(qū)域和干擾區(qū)域的特征向量進行分類操作；通過SVM分類器可找到目標區(qū)域的特征向量，并根據(jù)特征向量找到對應的候選區(qū)域在樣本圖像中的位置即可作為待測部件區(qū)域；其中m<n，所述特征圖提取網(wǎng)絡(luò)模型是使SoftMax分類器代價函數(shù)最小的特征圖對應的網(wǎng)絡(luò)模型；SVM分類器的分類依據(jù)是根據(jù)輸入樣本上的候選區(qū)域與選定區(qū)域的面積重合度不同而劃分的。當面積重合度大于0.7時，輸入樣本上的候選區(qū)域可視為目標區(qū)域，其在最佳特征圖中提取的特征向量為目標特征向量；當面積重合度小于0.3時，輸入樣本上的候選區(qū)域可視為背景區(qū)域，其在最佳特征圖中提取的特征向量為背景特征向量；當面積重合度介于0.3到0.7之間時，輸入樣本上的候選區(qū)域視為干擾區(qū)域，其在最佳特征圖中提取的特征向量為干擾特征向量。步驟3：將所述待測部件區(qū)域分為訓練圖像庫和驗證集圖像庫，訓練圖像庫、驗證集圖像庫每一個輸入樣本按照受損程度不同依次使用{0,1,...,t}的受損等級標簽yβ表示，其中受損等級標簽為0時，表示汽車受損程度最輕，t表示汽車受損最嚴重；將訓練圖像庫及對應的受損等級標簽yβ作為輸入數(shù)據(jù)輸入到深度卷積網(wǎng)絡(luò)結(jié)構(gòu)，計算訓練圖像庫每一個輸入樣本的擦掛情況屬于對應樣本標簽的概率，并得到分類網(wǎng)絡(luò)模型；當分類網(wǎng)絡(luò)模型在驗證集區(qū)域庫中的分類準確性最高時，分類網(wǎng)絡(luò)模型即為最優(yōu)分類網(wǎng)絡(luò)模型；其中訓練圖像庫用于調(diào)整各網(wǎng)絡(luò)層的參數(shù)值，進行模型訓練，驗證集區(qū)域庫用于驗證受損等級標簽分類的準確性；受損等級標簽反映的是各受損圖片的受損等級程度；步驟4:利用區(qū)域選擇性搜索算法從每個待測圖像上提取a個候選區(qū)域并記錄各候選區(qū)域的位置信息；將所述待測圖像輸入到步驟2訓練好的去掉輸出層的特征圖提取網(wǎng)絡(luò)模型中，以提取待測圖像各候選區(qū)域的特征向量；將各候選區(qū)域的特征向量輸入到步驟2訓練好的SVM分類器中找到目標特征向量；根據(jù)目標特征向量在特征圖中的位置找到對應的候選區(qū)域在待測圖像上的位置，即為待測圖像的目標區(qū)域；將待測圖像的目標區(qū)域輸入到步驟3的最優(yōu)分類網(wǎng)絡(luò)模型中，輸出該區(qū)域在各受損等級上的概率其中概率值最大的受損等級即為該目標區(qū)域的受損等級；該目標區(qū)域的受損等級反映該汽車圖片待測區(qū)域的受損程度，其中待測圖片指的是需要測試損傷等級的汽車外觀圖片；a范圍是1000到2000。進一步的，所述步驟1具體實現(xiàn)過程：步驟11：手動收集p張汽車外觀相同部位的汽車受損圖片，將所有的汽車受損圖片進行鏡像數(shù)據(jù)擴充，即對汽車受損圖片進行水平翻轉(zhuǎn)，使得汽車受損圖片的數(shù)量擴充一倍；步驟12：對步驟11處理后的汽車受損圖片進行次隨機裁剪，裁剪后的圖片大小為256x256，并且其需包含汽車的受損部件信息；經(jīng)過隨機裁剪使得汽車受損圖片的數(shù)量擴充一倍；步驟13：對步驟12處理后的汽車受損圖片進行加噪擴充。即把汽車受損圖片的每個像素點的值，乘以一個(0.8,1.2)之間的隨機數(shù)實現(xiàn)汽車受損圖片的擴充。經(jīng)過加噪擴充使得汽車受損圖片的數(shù)量擴充一倍；步驟14：對步驟13處理后的汽車受損圖片進行顏色變換；變換方法是首先將汽車受損圖片轉(zhuǎn)換到HSV顏色空間中，然后將S和V分量乘以一個(0.7,1.4)之間的值得到不同顏色的新汽車受損圖片；經(jīng)過顏色變換使得汽車受損圖片的數(shù)量擴充一倍；經(jīng)過上述處理方式，受損汽車受損圖片將達到n張，從而建立n張汽車受損數(shù)據(jù)庫，n>10000。進一步的，所述步驟2中具體過程是：步驟21：從汽車受損圖像庫中隨機選取m張受損圖像建立訓練樣本庫，手動標定訓練樣本庫中各受損圖像的待測部件作為選定區(qū)域；步驟22：采用選擇性搜索算法從訓練樣本庫中每個受損圖像選取a圖像塊作為候選區(qū)域，并記錄各候選區(qū)域的位置為(xi1,yi1,xi2,yi2)；其中i表示第i個候選區(qū)域，(xi1,yi1)表示第i個候選區(qū)域左上角的坐標，(xi2,yi2)表示第i個候選區(qū)域右下角的坐標；a范圍是1000到2000；步驟23：采用Alexnet網(wǎng)絡(luò)的前14層網(wǎng)絡(luò)結(jié)構(gòu)提取m張汽車受損圖片的特征圖，得到特征圖后，計算步驟22中各個候選區(qū)域在特征圖中的對應位置：計算公式為：xi1′=xi1/st+1xi2′=xi2/st+1yi1′=yi1/s+1yi2′=yi2/st+1]]>其中(xi1',yi1',xi2',yi2')表示第i個候選區(qū)域在特征圖中的坐標位置；st表示Alexnet網(wǎng)絡(luò)中的前5個卷積層和池化層的strides的乘積，在此st＝16；根據(jù)各候選區(qū)域在特征圖中的位置后，對所述特征圖中的候選區(qū)域進行金字塔空間池化提取出固定長度的特征向量，輸出層采用SoftMax分類器對目標區(qū)域和背景區(qū)域的特征向量進行分類操作；通過隨機梯度下降算法將分類結(jié)果的誤差傳遞到上一層網(wǎng)絡(luò)結(jié)構(gòu)中，更新各網(wǎng)絡(luò)層的權(quán)值得到新的特征圖用于SoftMax分類器的分類，直至分類結(jié)果的誤差即代價函數(shù)SJ達到最小，此時的特征圖提取網(wǎng)絡(luò)模型訓練完畢。步驟24：從步驟1中手動標記選定區(qū)域的訓練樣本庫中選取m1個樣本用于訓練SVM分類器；訓練方法如下：按照步驟22從訓練樣本庫中每個受損圖像選取a圖像塊作為候選區(qū)域，將訓練樣本庫中每個受損圖像輸入到步驟23訓練得到的特征圖提取網(wǎng)絡(luò)模型中；去除該特征圖提取網(wǎng)絡(luò)模型的輸出層，即可輸出各候選區(qū)域的特征向量，將所述特征向量按照其候選區(qū)域與選定區(qū)域的面積重合度不同分為目標特征向量、背景特征向量以及干擾特征向量三類；其中，目標特征向量表示該特征向量對應的候選區(qū)域與選定區(qū)域的面積重合度大于0.7；背景特征向量表示該特征向量對應的候選區(qū)域與選定區(qū)域的面積重合度小于0.3；干擾特征向量表示該特征向量對應的候選區(qū)域與選定區(qū)域的面積重合度介于0.3到0.7之間；提取所有用于訓練SVM分類器的樣本圖像的目標特征向量、背景特征向量以及干擾特征向量并建立相應的集合訓練SVM分類器；通過訓練使SVM分類器有效判斷各候選區(qū)域的特征向量的類別，從而找到其中的目標特征向量，根據(jù)目標特征向量可得到對應的候選區(qū)域即為待測部件區(qū)域，其中m1<m。進一步的，所述步驟23中輸出層采用SoftMax分類器對目標區(qū)域和背景區(qū)域的特征向量進行分類操作具體過程是：步驟231：根據(jù)步驟22中待受損圖片的各候選區(qū)域后計算各候選區(qū)域的面積重合度s：s=ScSh+Sm-Sc]]>其中Sh表示候選區(qū)域的面積；Sm表示選定區(qū)域的面積；Sc表示二者重合的面積；步驟232：按照各受損圖片的候選區(qū)域與選定區(qū)域的面積重合度大小將受損圖片的候選區(qū)域分別表示為目標區(qū)域和背景區(qū)域；其中，背景區(qū)域表示面積重合度大于0.5的候選區(qū)域，背景區(qū)域表示面積重合度小于0.5的候選區(qū)域。進一步說，所述步驟23中代價函數(shù)的計算方法如下:ps<0.5(s^σ)=exp(w‾1σs^σ)exp(w‾1σs^σ)+exp(w‾2σs^σ)]]>ps<0.5(s^σ)=exp(w‾2σs^σ)exp(w‾1σs^σ)+exp(w‾2σs^σ)]]>SJ=-1λΣσ=1λ(1{sσ<0.5}log(ps<0.5(s^σ))+1{sσ≥0.5}log(ps>0.5(s^σ)))]]>其中表示第σ個候選區(qū)域的輸入特征向量；表示第σ個候選區(qū)域?qū)儆诒尘皡^(qū)域的概率；表示第σ個候選區(qū)域?qū)儆谀繕藚^(qū)域的概率；sσ表示第σ個候選區(qū)域的面積重合度；SJ為代價函數(shù)；其中分類結(jié)果的誤差指的是全部介于0和1之間的小數(shù)，且和均為特征向量的權(quán)值，分別反映特征向量屬于背景區(qū)域和目標區(qū)域的概率分布。進一步說，所述步驟3具體過程是：步驟31：將所述待測部件區(qū)域分為訓練圖像庫/驗證集區(qū)域庫＝(5:1到3:2)，訓練圖像庫按照受損程度不同依次使用{0,1,...,t}的受損等級標簽yβ表示，其中受損等級標簽為0時，表示汽車受損程度最輕，t表示汽車受損最嚴重；將訓練圖像庫及對應的受損等級標簽yβ作為輸入數(shù)據(jù)輸入到深度卷積網(wǎng)絡(luò)結(jié)構(gòu)；步驟32：通過深度學習網(wǎng)絡(luò)的隱含層對訓練圖像庫進行特征提取；隱含層包括卷積層，BN層、激活函數(shù)層、池化層，全連接層。Tvθ=Σi=1Nwu,vθTvθ-1+bvθBvθ=BN(Tvθ)Ovθ=σ(Bvθ)]]>其中，表示第θ層第v個訓練圖像庫輸出特征圖；表示第u個訓練圖像庫輸入圖像與第v個訓練圖像庫輸出圖像之間的權(quán)重；為第v個訓練圖像庫輸出圖像的偏置；為BN層操作，即對第θ層第v個神經(jīng)元進行歸一化操作；為激活函數(shù)層操作，實現(xiàn)對的非線性響應。步驟:33：輸出層對隱含層提取的訓練圖像庫特征采用Softmax函數(shù)進行分類操作，公式如下：pα(x^β)=exp(wαβx^β)Σl=1kexp(wlβx^β)]]>J=-1mΣβ=1mΣα=1n1{yβ=α}log(pα(x^β))]]>其中，表示第β個訓練圖像庫的輸出特征向量；wαβ表示第β個訓練圖像庫的受損類別為α時對應的特征向量的權(quán)值；表示第β個訓練圖像庫屬于第α類的概率；1{yβ＝α}表示受損類別α與受損等級標簽值yβ相等時為1，否則為0；J為Softmax函數(shù)的代價函數(shù)；步驟34：通過隨機梯度下降算法更新各網(wǎng)絡(luò)層的權(quán)值降低代價函數(shù)(用于提高Softmax函數(shù)的分類準確性)，得到分類網(wǎng)絡(luò)模型，并用驗證集圖片庫檢驗所述分類網(wǎng)絡(luò)模型的分類準確性；當分類網(wǎng)絡(luò)模型在驗證集區(qū)域庫中的分類準確性最高時，分類網(wǎng)絡(luò)模型即為最優(yōu)分類網(wǎng)絡(luò)模型，其中分類準確性指的是分類正確的驗證集圖片庫占待測部件區(qū)域的百分比；判斷分類正確與否的方法是將驗證集圖片庫中的每幅圖像輸入到分類網(wǎng)絡(luò)模型中，通過分類網(wǎng)絡(luò)模型輸出層輸出驗證集圖片庫屬于各個受損類別α的概率選取最大時對應的受損類別α值作為深度學習網(wǎng)絡(luò)模型的分類結(jié)果，比較此時的α值與受損等級標簽值yβ是否相等，若相等則說明深度學習網(wǎng)絡(luò)模型的分類結(jié)果與標簽值一致，說明分類正確；，其中α＝{0,1,...t}。一種基于深度學習的汽車表面損傷分類裝置包括：樣本量擴充模塊，用于手動收集p張汽車外觀相同部位的汽車受損圖片，采用隨機翻轉(zhuǎn)、隨機裁剪以及顏色變換對p張汽車受損圖片進行樣本量擴充，建立汽車受損數(shù)據(jù)庫，得到n張汽車受損圖片；其中汽車外觀相同部位分別指的是汽車葉子板、車門、保險杠以及車頭部分形狀相同的汽車，n大于10000；n>p；特征圖提取網(wǎng)絡(luò)模型及SVM分類器建立模塊，用于從汽車受損圖像庫中隨機選取m張受損圖像建立訓練樣本庫，手動標定訓練樣本庫中各受損圖像的待測部件作為選定區(qū)域；采用選擇性搜索算法從訓練樣本庫中每個受損圖像選取a圖像塊作為候選區(qū)域；然后計算各候選區(qū)域的面積重合度s，用SoftMax分類器對目標區(qū)域和背景區(qū)域的特征向量進行分類操作后，得到候選區(qū)域的最佳特征圖，同時得到訓練好的特征圖提取網(wǎng)絡(luò)模型；將該特征圖提取網(wǎng)絡(luò)模型的輸出層采用一個SVM分類器替換，訓練SVM分類器對目標區(qū)域、背景區(qū)域和干擾區(qū)域的特征向量進行分類操作；通過SVM分類器可找到目標區(qū)域的特征向量，并根據(jù)特征向量找到對應的候選區(qū)域在樣本圖像中的位置即可作為待測部件區(qū)域；其中m<n，所述特征圖提取網(wǎng)絡(luò)模型是使SoftMax分類器代價函數(shù)最小的特征圖對應的網(wǎng)絡(luò)模型；SVM分類器的分類依據(jù)是根據(jù)輸入樣本上的候選區(qū)域與選定區(qū)域的面積重合度不同而劃分的。當面積重合度大于0.7時，輸入樣本上的候選區(qū)域可視為目標區(qū)域，其在最佳特征圖中提取的特征向量為目標特征向量；當面積重合度小于0.3時，輸入樣本上的候選區(qū)域可視為背景區(qū)域，其在最佳特征圖中提取的特征向量為背景特征向量；當面積重合度介于0.3到0.7之間時，輸入樣本上的候選區(qū)域視為干擾區(qū)域，其在最佳特征圖中提取的特征向量為干擾特征向量；最佳分類網(wǎng)絡(luò)模型建立模塊，用于將所述待測部件區(qū)域分為訓練圖像庫和驗證集圖像庫，訓練圖像庫、驗證集圖像庫每一個輸入樣本按照受損程度不同依次使用{0,1,...,t}的受損等級標簽yβ表示，其中受損等級標簽為0時，表示汽車受損程度最輕，t表示汽車受損最嚴重；將訓練圖像庫及對應的受損等級標簽yβ作為輸入數(shù)據(jù)輸入到深度卷積網(wǎng)絡(luò)結(jié)構(gòu)，計算訓練圖像庫每一個輸入樣本的擦掛情況屬于對應樣本標簽的概率，并得到分類網(wǎng)絡(luò)模型；當分類網(wǎng)絡(luò)模型在驗證集區(qū)域庫中的分類準確性最高時，分類網(wǎng)絡(luò)模型即為最優(yōu)分類網(wǎng)絡(luò)模型；其中訓練圖像庫用于調(diào)整各網(wǎng)絡(luò)層的參數(shù)值，進行模型訓練，驗證集區(qū)域庫用于驗證受損等級標簽分類的準確性；受損等級標簽反映的是各受損圖片的受損等級程度；待測圖像檢測模塊，用于利用區(qū)域選擇性搜索算法從每個待測圖像上提取a個候選區(qū)域并記錄各候選區(qū)域的位置信息；將所述待測圖像輸入到訓去掉輸出層的特征圖提取網(wǎng)絡(luò)模型中，以提取待測圖像各候選區(qū)域的特征向量；將各候選區(qū)域的特征向量輸入到SVM分類器中找到目標特征向量；根據(jù)目標特征向量在特征圖中的位置找到對應的候選區(qū)域在待測圖像上的位置，即為待測圖像的目標區(qū)域；將待測圖像的目標區(qū)域輸入到最優(yōu)分類網(wǎng)絡(luò)模型中，輸出該區(qū)域在各受損等級上的概率其中概率值最大的受損等級即為該目標區(qū)域的受損等級；該目標區(qū)域的受損等級反映該汽車圖片待測區(qū)域的受損程度，其中待測圖片指的是需要測試損傷等級的汽車外觀圖片；a范圍是1000到2000。進一步的，所述樣本量擴充模塊處理過程具體包括：步驟11：手動收集p張汽車外觀相同部位的汽車受損圖片，將所有的汽車受損圖片進行鏡像數(shù)據(jù)擴充，即對汽車受損圖片進行水平翻轉(zhuǎn)，使得汽車受損圖片的數(shù)量擴充一倍；步驟12：對步驟11處理后的汽車受損圖片進行次隨機裁剪，裁剪后的圖片大小為256x256，并且其需包含汽車的受損部件信息；經(jīng)過隨機裁剪使得汽車受損圖片的數(shù)量擴充一倍；步驟13：對步驟12處理后的汽車受損圖片進行加噪擴充。即把汽車受損圖片的每個像素點的值，乘以一個(0.8,1.2)之間的隨機數(shù)實現(xiàn)汽車受損圖片的擴充。經(jīng)過加噪擴充使得汽車受損圖片的數(shù)量擴充一倍；步驟14：對步驟13處理后的汽車受損圖片進行顏色變換；變換方法是首先將汽車受損圖片轉(zhuǎn)換到HSV顏色空間中，然后將S和V分量乘以一個(0.7,1.4)之間的值得到不同顏色的新汽車受損圖片；經(jīng)過顏色變換使得汽車受損圖片的數(shù)量擴充一倍；經(jīng)過上述處理方式，受損汽車受損圖片將達到n張，從而建立n張汽車受損數(shù)據(jù)庫，n>10000進一步的，所述特征圖提取網(wǎng)絡(luò)模型及SVM分類器建立模塊處理過程具體包括：步驟21：從汽車受損圖像庫中隨機選取m張受損圖像建立訓練樣本庫，手動標定訓練樣本庫中各受損圖像的待測部件作為選定區(qū)域；步驟22：采用選擇性搜索算法從訓練樣本庫中每個受損圖像選取a圖像塊作為候選區(qū)域，并記錄各候選區(qū)域的位置為(xi1,yi1,xi2,yi2)；其中i表示第i個候選區(qū)域，(xi1,yi1)表示第i個候選區(qū)域左上角的坐標，(xi2,yi2)表示第i個候選區(qū)域右下角的坐標；a范圍是1000到2000；步驟23：采用Alexnet網(wǎng)絡(luò)的前14層網(wǎng)絡(luò)結(jié)構(gòu)提取m張汽車受損圖片的特征圖，得到特征圖后，計算步驟22中各個候選區(qū)域在特征圖中的對應位置：計算公式為：xi1′=xi1/st+1xi2′=xi2/st+1yi1′=yi1/s+1yi2′=yi2/st+1]]>其中(xi1',yi1',xi2',yi2')表示第i個候選區(qū)域在特征圖中的坐標位置；st表示Alexnet網(wǎng)絡(luò)中的前5個卷積層和池化層的strides的乘積，在此st＝16；根據(jù)各候選區(qū)域在特征圖中的位置后，對所述特征圖中的候選區(qū)域進行金字塔空間池化提取出固定長度的特征向量，輸出層采用SoftMax分類器對目標區(qū)域和背景區(qū)域的特征向量進行分類操作；通過隨機梯度下降算法將分類結(jié)果的誤差傳遞到上一層網(wǎng)絡(luò)結(jié)構(gòu)中，更新各網(wǎng)絡(luò)層的權(quán)值得到新的特征圖用于SoftMax分類器的分類，直至分類結(jié)果的誤差即代價函數(shù)SJ達到最小，此時的特征圖提取網(wǎng)絡(luò)模型訓練完畢。步驟24：從步驟1中手動標記選定區(qū)域的訓練樣本庫中選取m1個樣本用于訓練SVM分類器；訓練方法如下：按照步驟22從訓練樣本庫中每個受損圖像選取a圖像塊作為候選區(qū)域，將訓練樣本庫中每個受損圖像輸入到步驟23訓練得到的特征圖提取網(wǎng)絡(luò)模型中；去除該特征圖提取網(wǎng)絡(luò)模型的輸出層，即可輸出各候選區(qū)域的特征向量，將所述特征向量按照其候選區(qū)域與選定區(qū)域的面積重合度不同分為目標特征向量、背景特征向量以及干擾特征向量三類；其中，目標特征向量表示該特征向量對應的候選區(qū)域與選定區(qū)域的面積重合度大于0.7；背景特征向量表示該特征向量對應的候選區(qū)域與選定區(qū)域的面積重合度小于0.3；干擾特征向量表示該特征向量對應的候選區(qū)域與選定區(qū)域的面積重合度介于0.3到0.7之間；提取所有用于訓練SVM分類器的樣本圖像的目標特征向量、背景特征向量以及干擾特征向量并建立相應的集合訓練SVM分類器；通過訓練使SVM分類器有效判斷各候選區(qū)域的特征向量的類別，從而找到其中的目標特征向量，根據(jù)目標特征向量可得到對應的候選區(qū)域即為待測部件區(qū)域，其中m1<m；其中步驟23中輸出層采用SoftMax分類器對目標區(qū)域和背景區(qū)域的特征向量進行分類操作具體過程是：步驟231：根據(jù)步驟22中待受損圖片的各候選區(qū)域后計算各候選區(qū)域的面積重合度s：s=ScSh+Sm-Sc]]>其中Sh表示候選區(qū)域的面積；Sm表示選定區(qū)域的面積；Sc表示二者重合的面積；步驟232：按照各受損圖片的候選區(qū)域與選定區(qū)域的面積重合度大小將受損圖片的候選區(qū)域分別表示為目標區(qū)域和背景區(qū)域；其中，背景區(qū)域表示面積重合度大于0.5的候選區(qū)域，背景區(qū)域表示面積重合度小于0.5的候選區(qū)域；步驟23中代價函數(shù)的計算方法如下:ps<0.5(s^σ)=exp(w‾1σs^σ)exp(w‾1σs^σ)+exp(w‾2σs^σ)]]>ps≥0.5(s^σ)=exp(w‾2σs^σ)exp(w‾1σs^σ)+exp(w‾2σs^σ)]]>SJ=-1λΣσ=1λ(1{sσ<0.5}log(ps<0.5(s^σ))+1{sσ≥0.5}log(ps>0.5(s^σ)))]]>其中表示第σ個候選區(qū)域的輸入特征向量；表示第σ個候選區(qū)域?qū)儆诒尘皡^(qū)域的概率；表示第σ個候選區(qū)域?qū)儆谀繕藚^(qū)域的概率；sσ表示第σ個候選區(qū)域的面積重合度；SJ為代價函數(shù)；其中分類結(jié)果的誤差指的是全部介于0和1之間的小數(shù)，且和均為特征向量的權(quán)值，分別反映特征向量屬于背景區(qū)域和目標區(qū)域的概率分布。進一步的，所述最佳分類網(wǎng)絡(luò)模型建立模塊處理過程具體包括：步驟31：將所述待測部件區(qū)域分為訓練圖像庫/驗證集區(qū)域庫＝(5:1到3:2)，訓練圖像庫按照受損程度不同依次使用{0,1,...,t}的受損等級標簽yβ表示，其中受損等級標簽為0時，表示汽車受損程度最輕，t表示汽車受損最嚴重；將訓練圖像庫及對應的受損等級標簽yβ作為輸入數(shù)據(jù)輸入到深度卷積網(wǎng)絡(luò)結(jié)構(gòu)；步驟32：通過深度學習網(wǎng)絡(luò)的隱含層對訓練圖像庫進行特征提??；隱含層包括卷積層，BN層、激活函數(shù)層、池化層，全連接層。Tvθ=Σi=1Nwu,vθTvθ-1+bvθBvθ=BN(Tvθ)Ovθ=σ(Bvθ)]]>其中，表示第θ層第v個訓練圖像庫輸出特征圖；表示第u個訓練圖像庫輸入圖像與第v個訓練圖像庫輸出圖像之間的權(quán)重；為第v個訓練圖像庫輸出圖像的偏置；為BN層操作，即對第θ層第v個神經(jīng)元進行歸一化操作；為激活函數(shù)層操作，實現(xiàn)對的非線性響應。步驟:33：輸出層對隱含層提取的訓練圖像庫特征采用Softmax函數(shù)進行分類操作，公式如下：pα(x^β)=exp(wαβx^β)Σl=1kexp(wlβx^β)]]>J=-1mΣβ=1mΣα=1n1{yβ=α}log(pα(x^β))]]>其中，表示第β個訓練圖像庫的輸出特征向量；wαβ表示第β個訓練圖像庫的受損類別為α時對應的特征向量的權(quán)值；表示第β個訓練圖像庫屬于第α類的概率；1{yβ＝α}表示受損類別α與受損等級標簽值yβ相等時為1，否則為0；J為Softmax函數(shù)的代價函數(shù)；步驟34：通過隨機梯度下降算法更新各網(wǎng)絡(luò)層的權(quán)值降低代價函數(shù)(用于提高Softmax函數(shù)的分類準確性)，得到分類網(wǎng)絡(luò)模型，并用驗證集圖片庫檢驗所述分類網(wǎng)絡(luò)模型的分類準確性；當分類網(wǎng)絡(luò)模型在驗證集區(qū)域庫中的分類準確性最高時，分類網(wǎng)絡(luò)模型即為最優(yōu)分類網(wǎng)絡(luò)模型，其中分類準確性指的是分類正確的驗證集圖片庫占待測部件區(qū)域的百分比；判斷分類正確與否的方法是將驗證集圖片庫中的每幅圖像輸入到分類網(wǎng)絡(luò)模型中，通過分類網(wǎng)絡(luò)模型輸出層輸出驗證集圖片庫屬于各個受損類別α的概率選取最大時對應的受損類別α值作為深度學習網(wǎng)絡(luò)模型的分類結(jié)果，比較此時的α值與受損等級標簽值yβ是否相等，若相等則說明深度學習網(wǎng)絡(luò)模型的分類結(jié)果與標簽值一致，說明分類正確；，其中α＝{0,1,...t}。綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：采用卷積神經(jīng)網(wǎng)絡(luò)對汽車的外觀擦痕進行分類評估具有良好的抗干擾能力。本專利結(jié)合計算機機器視覺技術(shù)提出了一種深度學習的汽車表面損傷分類的技術(shù)：提取受損汽車表面的擦掛區(qū)域建立汽車受損區(qū)域樣本庫,構(gòu)建一個針對汽車表面損傷識別的網(wǎng)絡(luò)結(jié)構(gòu)，將樣本置入新構(gòu)建的網(wǎng)絡(luò)結(jié)構(gòu)中進行訓練直至得到一個較好的分類模型，使用該模型對測試樣本庫中的樣本進行測試以驗證其有效性，然后對待測圖片進行測試分類及定損；現(xiàn)有的汽車外部損傷分類主要靠汽車定損人員人工檢測定損，不僅效率低下，而且極易受到各種主觀因素的干擾，導致結(jié)果容易出現(xiàn)大的偏差。本發(fā)明結(jié)合深度學習提出的一種汽車損傷分類技術(shù)可有效地對汽車各種測待測部件的外部損傷進行分類，極大地提高了汽車表面定損的效率。附圖說明本發(fā)明將通過例子并參照附圖的方式說明，其中：圖1本發(fā)明專利框圖。具體實施方式本說明書中公開的所有特征，或公開的所有方法或過程中的步驟，除了互相排斥的特征和/或步驟以外，均可以以任何方式組合。本說明書中公開的任一特征，除非特別敘述，均可被其他等效或具有類似目的的替代特征加以替換。即，除非特別敘述，每個特征只是一系列等效或類似特征中的一個例子而已。深度學習是一種通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示的機器學習理論。其又可分為有監(jiān)督學習和無監(jiān)督學習，卷積神經(jīng)網(wǎng)絡(luò)就是一種監(jiān)督學習下的深度學習模型，它是一種非全連接的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，可自動地學習含有大量數(shù)據(jù)的目標特征，對幾何變換、形變以及光照都有一定的魯棒性。汽車的外觀擦痕復雜多變，且容易受到光照、遮擋等外界干擾。因此，采用卷積神經(jīng)網(wǎng)絡(luò)對汽車的外觀擦痕進行分類評估具有良好的抗干擾能力。具體工作過程是：1)建立汽車受損數(shù)據(jù)庫；具體過程是：本發(fā)明收集篩選了數(shù)千張汽車葉子板、車門、保險杠、車頭等部位形狀相同的汽車受損圖片用于建立受損汽車庫。由于深度學習需要采用大量的樣本量，故采用以下方式增加樣本量：1.將所有的樣本量進行鏡像數(shù)據(jù)擴充。即對樣本進行水平翻轉(zhuǎn)，使得樣本的數(shù)量擴充一倍。2.對新的樣本進行次隨機裁剪，裁剪后的圖片大小為256x256，并且圖片需包含汽車的受損部件信息。經(jīng)過隨機裁剪使得樣本的數(shù)量擴充一倍。3.對樣本進行加噪擴充。即把樣本圖片的每個像素點的值，乘以一個(0.8,1.2)之間的隨機數(shù)實現(xiàn)樣本的擴充。經(jīng)過加噪擴充使得樣本的數(shù)量擴充一倍。4.對樣本進行顏色變換。變換方法是首先將樣本轉(zhuǎn)換到HSV顏色空間中，然后將S和V分量乘以一個(0.7,1.4)之間的值得到不同顏色的新樣本。經(jīng)過顏色變換使得樣本的數(shù)量擴充一倍。經(jīng)過上述處理方式，受損汽車樣本量將達到數(shù)萬張，采用這些樣本建立汽車受損數(shù)據(jù)庫。2)進行汽車待測區(qū)域提??；具體過程是：步驟21：從汽車受損圖像庫中隨機選取m張受損圖像建立訓練樣本庫，手動標定訓練樣本庫中各受損圖像的待測部件作為選定區(qū)域；步驟22：采用選擇性搜索算法從訓練樣本庫中每個受損圖像選取a圖像塊作為候選區(qū)域，并記錄各候選區(qū)域的位置為(xi1,yi1,xi2,yi2)；其中i表示第i個候選區(qū)域，(xi1,yi1)表示第i個候選區(qū)域左上角的坐標，(xi2,yi2)表示第i個候選區(qū)域右下角的坐標；a范圍是1000到2000；步驟23：采用Alexnet網(wǎng)絡(luò)的前14層網(wǎng)絡(luò)結(jié)構(gòu)提取m張汽車受損圖片的特征圖，得到特征圖后，計算步驟22中各個候選區(qū)域在特征圖中的對應位置：計算公式為：xi1′=xi1/st+1xi2′=xi2/st+1yi1′=yi1/s+1yi2′=yi2/st+1]]>其中(xi1',yi1',xi2',yi2')表示第i個候選區(qū)域在特征圖中的坐標位置；st表示Alexnet網(wǎng)絡(luò)中的前5個卷積層和池化層的strides的乘積，在此st＝16；根據(jù)各候選區(qū)域在特征圖中的位置后，對所述特征圖中的候選區(qū)域進行金字塔空間池化提取出固定長度的特征向量，輸出層采用SoftMax分類器對目標區(qū)域和背景區(qū)域的特征向量進行分類操作；通過隨機梯度下降算法將分類結(jié)果的誤差傳遞到上一層網(wǎng)絡(luò)結(jié)構(gòu)中，更新各網(wǎng)絡(luò)層的權(quán)值得到新的特征圖用于SoftMax分類器的分類，直至分類結(jié)果的誤差即代價函數(shù)SJ達到最小，此時的特征圖提取網(wǎng)絡(luò)模型訓練完畢。步驟24：從步驟1中手動標記選定區(qū)域的訓練樣本庫中選取m1個樣本用于訓練SVM分類器；訓練方法如下：按照步驟22從訓練樣本庫中每個受損圖像選取a圖像塊作為候選區(qū)域，將訓練樣本庫中每個受損圖像輸入到步驟23訓練得到的特征圖提取網(wǎng)絡(luò)模型中；去除該特征圖提取網(wǎng)絡(luò)模型的輸出層，即可輸出各候選區(qū)域的特征向量，將所述特征向量按照其候選區(qū)域與選定區(qū)域的面積重合度不同分為目標特征向量、背景特征向量以及干擾特征向量三類；其中，目標特征向量表示該特征向量對應的候選區(qū)域與選定區(qū)域的面積重合度大于0.7；背景特征向量表示該特征向量對應的候選區(qū)域與選定區(qū)域的面積重合度小于0.3；干擾特征向量表示該特征向量對應的候選區(qū)域與選定區(qū)域的面積重合度介于0.3到0.7之間；提取所有用于訓練SVM分類器的樣本圖像的目標特征向量、背景特征向量以及干擾特征向量并建立相應的集合訓練SVM分類器；通過訓練使SVM分類器有效判斷各候選區(qū)域的特征向量的類別，從而找到其中的目標特征向量，根據(jù)目標特征向量可得到對應的候選區(qū)域即為待測部件區(qū)域，其中m1<m。3)最優(yōu)分類網(wǎng)絡(luò)模型具體過程是：步驟31：將所述待測部件區(qū)域分為訓練圖像庫/驗證集區(qū)域庫＝(5:1到3:2)，訓練圖像庫按照受損程度不同依次使用{0,1,...,t}的受損等級標簽yβ表示，其中受損等級標簽為0時，表示汽車受損程度最輕，t表示汽車受損最嚴重；將訓練圖像庫及對應的受損等級標簽yβ作為輸入數(shù)據(jù)輸入到深度卷積網(wǎng)絡(luò)結(jié)構(gòu)；步驟32：通過深度學習網(wǎng)絡(luò)的隱含層對訓練圖像庫進行特征提取；隱含層包括卷積層，BN層、激活函數(shù)層、池化層，全連接層。Tvθ=Σi=1Nwu,vθTvθ-1+bvθBvθ=BN(Tvθ)Ovθ=σ(Bvθ)]]>其中，表示第θ層第v個訓練圖像庫輸出特征圖；表示第u個訓練圖像庫輸入圖像與第v個訓練圖像庫輸出圖像之間的權(quán)重；為第v個訓練圖像庫輸出圖像的偏置；為BN層操作，即對第θ層第v個神經(jīng)元進行歸一化操作；為激活函數(shù)層操作，實現(xiàn)對的非線性響應。步驟:33：輸出層對隱含層提取的訓練圖像庫特征采用Softmax函數(shù)進行分類操作，公式如下：pα(x^β)=exp(wαβx^β)Σl=1kexp(wlβx^β)]]>J=-1mΣβ=1mΣα=1n1{yβ=α}log(pα(x^β))]]>其中，表示第β個訓練圖像庫的輸出特征向量；wαβ表示第β個訓練圖像庫的受損類別為α時對應的特征向量的權(quán)值；表示第β個訓練圖像庫屬于第α類的概率；1{yβ＝α}表示受損類別α與受損等級標簽值yβ相等時為1，否則為0；J為Softmax函數(shù)的代價函數(shù)；步驟34：通過隨機梯度下降算法更新各網(wǎng)絡(luò)層的權(quán)值降低代價函數(shù)(用于提高Softmax函數(shù)的分類準確性)，得到分類網(wǎng)絡(luò)模型，并用驗證集圖片庫檢驗所述分類網(wǎng)絡(luò)模型的分類準確性；當分類網(wǎng)絡(luò)模型在驗證集區(qū)域庫中的分類準確性最高時，分類網(wǎng)絡(luò)模型即為最優(yōu)分類網(wǎng)絡(luò)模型，其中分類準確性指的是分類正確的驗證集圖片庫占待測部件區(qū)域的百分比；判斷分類正確與否的方法是將驗證集圖片庫中的每幅圖像輸入到分類網(wǎng)絡(luò)模型中，通過分類網(wǎng)絡(luò)模型輸出層輸出驗證集圖片庫屬于各個受損類別α的概率選取最大時對應的受損類別α值作為深度學習網(wǎng)絡(luò)模型的分類結(jié)果，比較此時的α值與受損等級標簽值yβ是否相等，若相等則說明深度學習網(wǎng)絡(luò)模型的分類結(jié)果與標簽值一致，說明分類正確；，其中α＝{0,1,...t}。4)最后得到汽車表面屬于噴漆、鈑金和更換三種類型。具體過程是：利用區(qū)域選擇性搜索算法從每個待測圖像上提取a個候選區(qū)域并記錄各候選區(qū)域的位置信息；將所述待測圖像輸入到步驟2訓練好的去掉輸出層的特征圖提取網(wǎng)絡(luò)模型中，以提取待測圖像各候選區(qū)域的特征向量；將各候選區(qū)域的特征向量輸入到步驟2訓練好的SVM分類器中找到目標特征向量；根據(jù)目標特征向量在特征圖中的位置找到對應的候選區(qū)域在待測圖像上的位置，即為待測圖像的目標區(qū)域；將待測圖像的目標區(qū)域輸入到步驟3的最優(yōu)分類網(wǎng)絡(luò)模型中，輸出該區(qū)域在各受損等級上的概率其中概率值最大的受損等級即為該目標區(qū)域的受損等級；該目標區(qū)域的受損等級反映該汽車圖片待測區(qū)域的受損程度，其中待測圖片指的是需要測試損傷等級的汽車外觀圖片。本發(fā)明并不局限于前述的具體實施方式。本發(fā)明擴展到任何在本說明書中披露的新特征或任何新的組合，以及披露的任一新的方法或過程的步驟或任何新的組合。當前第1頁1 2 3