本發(fā)明涉及計算機視覺和機器學(xué)習(xí)技術(shù)領(lǐng)域,特別是涉及一種移動終端及其目標(biāo)檢測方法及裝置。
相關(guān)術(shù)語解釋
Histogram of Oriented Gradient——HOG——梯度方向直方圖;
Support Vector Machine——SVM——支持向量機;
Convolutional Neural Network——CNN——卷積神經(jīng)網(wǎng)絡(luò);
Deformable Part-based Model——DPM——基于部件的變形模型;
Cascade——級聯(lián);
Image Pyramids——圖像金字塔;
Feature Pyramids——特征金字塔;
Haar——哈爾。
背景技術(shù):
當(dāng)前,包括智能手機、平板電腦在內(nèi)的許多產(chǎn)品,都會帶有目標(biāo)檢測的功能,例如人手檢測、人臉檢測、行人檢測等。
以人手檢測為例,人手檢測的主要目的,是在圖像和視頻中檢測出人手的目標(biāo)實例,可應(yīng)用于手勢識別、人機交互等。
目標(biāo)檢測與識別是計算機視覺領(lǐng)域一個極具挑戰(zhàn)性的課題,目標(biāo)檢測是目標(biāo)識別的前提,可以直接影響識別成功率的大小。作為手勢識別的初始化步驟,人手檢測也不例外。
現(xiàn)有技術(shù)中存在多種目標(biāo)識別和檢測的方法,按照模型來區(qū)分的話,主流的方案有:
1)自提升級聯(lián)模型(AdaBoost Cascaded Model),主要和哈爾特征一起 應(yīng)用于人臉檢測(Face Detection)領(lǐng)域。該方案使用簡單的哈爾特征學(xué)習(xí)許多簡單的弱分類器(Weak Classifier),在訓(xùn)練階段不斷調(diào)整被錯誤分類樣本的權(quán)重,最后通過加權(quán)平均來獲得最終分類器。在實際檢測時采用級聯(lián)結(jié)構(gòu),每一層濾掉大部分非人臉候選,同時讓大部分人臉候選通過,從而加速檢測。
2)支持向量機(Support Vector Machine,SVM),主要和梯度方向直方圖(Histogram of Oriented Gradient,HOG)特征一起應(yīng)用于行人檢測(Pedestrian Detection)領(lǐng)域。該方案計算稠密的梯度方向特征,使用簡單的線性SVM對高維的HOG描述子進行分類就能取得很好的效果。
3)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是近年大熱的方法,適用于泛化目標(biāo)(Generalized Object)的檢測與識別。對輸入圖像進行多層的卷積、池化操作,再通過Softmax分類器進行分類即完成檢測過程。盡管實現(xiàn)的過程近似于“黑盒”,但結(jié)果卻超過了其他方法。
4)基于部件的變形模型(Deformable Part-based Model,DPM),主要和梯度方向直方圖(HOG)特征一起應(yīng)用于泛化目標(biāo)的檢測與識別,尤其適合對非剛性目標(biāo)的檢測和識別。該方法的核心要素,是將部件相對位置和整體位置視為隱變量,使用隱形SVM(Latent-SVM)完成半監(jiān)督學(xué)習(xí)。該方法也可以實現(xiàn)級聯(lián)檢測,在不影響檢測質(zhì)量的前提下,可以實現(xiàn)一個數(shù)量級的速度提升。這是目前最好的目標(biāo)檢測方法之一。
發(fā)明人發(fā)現(xiàn),上述現(xiàn)有技術(shù)的方案存在一定的缺陷,具體如下:
關(guān)于上述方案1),哈爾特征與自提升級聯(lián)模型目前主要在人臉檢測上取得了成功,從現(xiàn)有公開的論文、專利來看,在其他類別的目標(biāo)檢測中未必表現(xiàn)最好,有一定的局限性。主要原因是哈爾特征適用于紋理信息豐富的目標(biāo),卻未必適用于邊緣輪廓信息豐富的目標(biāo),如行人。
關(guān)于上述方案2),HOG特征和SVM分類器實現(xiàn)的行人檢測器效果較好,但對變形或是側(cè)面視角的行人目標(biāo)的處理是它的弊端。究其原因,是因為沒有針對變形和多視角的處理機制。
關(guān)于上述方案3),CNN模型和Softmax分類器實現(xiàn)的泛化目標(biāo)檢測器,在現(xiàn)有的標(biāo)準(zhǔn)數(shù)據(jù)集如:Visual Object Classes Challenge、ImageNet上的檢測 結(jié)果好于其他方法,同時也低于人類視覺系統(tǒng)的檢測水平。但這類方法的操作近似“黑盒”,針對特定目標(biāo)的檢測、調(diào)參也需要耗費極大的人力。從目前的趨勢來看,這類方法還需要進一步完善和改進。
關(guān)于上述方案4),基于DPM模型和HOG特征的檢測器,雖然適用于變形和多視角的目標(biāo)。但計算復(fù)雜度高、計算量大的問題影響了它的實際應(yīng)用。尤其是對于以智能手機為代表移動終端而言,由于智能手機的運算能力遠(yuǎn)不如大型計算機,因此,該方案由于其計算復(fù)雜度高、計算量大的問題目前還無法在智能手機等移動終端上應(yīng)用。
具體地,基于DPM模型和HOG特征的目標(biāo)檢測方法,在進行檢測時,可以采用級聯(lián)檢測的方式。
在介紹級聯(lián)檢測前,先簡單說明經(jīng)典檢測方案的算法流程。經(jīng)典檢測方案是遍歷所有的組件和尺度,如式8對根濾波器與特征進行模板匹配運算。再如式9對所有部件濾波器與特征進行的模板匹配運算,并使用距離變換(Distance Transform)的方法減去對應(yīng)的變形代價(Deformation Cost)。最后所有的變形部件響應(yīng)圖(Deformed Part Score)會累加到根響應(yīng)圖(Root Score)上。完成累加后,會在最終的根響應(yīng)圖上進行如式10的閾值操作和非極值抑制操作,從而給出檢測結(jié)果。
式8:RScs=TM(Rc,Fs)
式9:RScs←RScs+DT1≤q≤Q(TM(Pcq,Fs),Dcq)
其中,Rc代表組件c的根濾波器(Root Filter),F(xiàn)s代表尺度s的特征圖像,RScs是Rc和Fs進行模板匹配生成的根響應(yīng)圖(Root Score)。Pcq代表組件c的第q個部件濾波器(Part Filter),Dcq代表組件c第q個部件的變性參數(shù)。TM代表模板匹配(Template Matching)操作,DT代表距離變換(Distance Transform)操作。
式10:Pos=NMS(RS>T)(10)
其中,RS代表最終的根響應(yīng)圖,T代表閾值,NMS代表非極值抑制(Non Maximum Suppression),Pos是輸出的檢測結(jié)果。
由于經(jīng)典檢測方案需要遍歷整個特征金字塔,并計算所有的部件響應(yīng)值 (Part Score)和對應(yīng)的變形代價(Deformation Cost)。這種策略的計算復(fù)雜度很高,影響了DPM方法的實際應(yīng)用。
級聯(lián)檢測模型是在經(jīng)典檢測模型的基礎(chǔ)上,訓(xùn)練出一組閾值用于檢測階段的快速計算。首先是確定級聯(lián)次序,即級聯(lián)檢測時累加部件濾波器響應(yīng)值的順序。計算訓(xùn)練樣本中所有部件濾波器的響應(yīng)值,再依據(jù)信息熵理論,先選出方差大的部件濾波器,直至選出所有部件濾波器。
確定級聯(lián)順序后,依次累加根濾波器的響應(yīng)值和各個部件濾波器的響應(yīng)值。同時根據(jù)概率近似正確(Probably Approximately Correct,PAC)原則計算出閾值(假設(shè)修剪的閾值和變形修剪的閾值)。如式11、式12所示:
式11:
式12:
其中,q∈{1,2,...,Q}是級聯(lián)檢測的階段索引值,Ω是訓(xùn)練樣本集,R是根響應(yīng)圖像,P是部件響應(yīng)圖像,D是變形代價圖像,Th是假設(shè)修剪(Hypothesis Pruning)的閾值,Td是變形修剪(Deformation Pruning)的閾值。
級聯(lián)檢測中,依據(jù)事先確定的級聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和各個所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口;在所述依次累加所述根濾波器的樣本的響應(yīng)值和各個所述部件濾波器的樣本的響應(yīng)值的過程中,依據(jù)所述假設(shè)修剪的閾值和變形修剪的閾值對累加后的響應(yīng)值進行假設(shè)修剪和變形修剪。
上述方案盡管已經(jīng)通過級聯(lián)檢測的方式降低了處理過程中所涉及的計算復(fù)雜度和計算量,但對于智能手機等移動終端的計算能力而言,仍然過大。
技術(shù)實現(xiàn)要素:
本發(fā)明解決的技術(shù)問題是:對于基于DPM模型和HOG特征的目標(biāo)檢測方法,如何使得其處理過程中所涉及的計算復(fù)雜度和計算量能夠在智能手機等移動終端所允許的范圍之內(nèi)。
為了解決上述技術(shù)問題,本發(fā)明實施例提供一種目標(biāo)檢測方法,包括:
訓(xùn)練目標(biāo)的根濾波器和多個部件濾波器,得到關(guān)于目標(biāo)的根濾波器的樣 本和各個部件濾波器的樣本;
采用基于部件的變形模型和級聯(lián)檢測的方式進行搜索,確定目標(biāo)位置;
所述采用基于部件的變形模型和級聯(lián)檢測的方式進行搜索包括:
計算訓(xùn)練的所述根濾波器的樣本的響應(yīng)值,計算訓(xùn)練的各個所述部件濾波器的樣本的響應(yīng)值;
確定級聯(lián)順序;
計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值;
依據(jù)所述級聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和各個所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口;在所述依次累加所述根濾波器的樣本的響應(yīng)值和各個所述部件濾波器的樣本的響應(yīng)值的過程中,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行近似正樣本修剪和近似負(fù)樣本修剪;
依據(jù)所述關(guān)于目標(biāo)位置的候選窗口,確定目標(biāo)位置。
可選的,所述計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值包括:
采用以下公式計算出假設(shè)修剪的閾值:
其中,q∈{1,2,...,Q}為級聯(lián)檢測的階段索引值,Ω為訓(xùn)練樣本集,R為根響應(yīng)圖像,P為部件響應(yīng)圖像,D為變形代價圖像。
可選的,所述計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值包括:
采用以下公式計算出變形修剪的閾值:
其中,q∈{1,2,...,Q}為級聯(lián)檢測的階段索引值,Ω為訓(xùn)練樣本集,R為根響應(yīng)圖像,P為部件響應(yīng)圖像,D為變形代價圖像。
可選的,所述計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值包括:
采用以下公式計算出近似正樣本修剪的閾值:
其中,q∈{1,2,...,Q}為級聯(lián)檢測的階段索引值,Ω為訓(xùn)練樣本集,p為當(dāng)前像素點,p′為鄰域內(nèi)任一像素點,N(p)為當(dāng)前像素點的鄰域,S為響應(yīng)圖像。
可選的,所述計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值包括:
采用以下公式計算出近似負(fù)樣本修剪的閾值:
其中,q∈{1,2,...,Q}為級聯(lián)檢測的階段索引值,Ω為訓(xùn)練樣本集,p為當(dāng)前像素點,p′為鄰域內(nèi)任一像素點,N(p)為當(dāng)前像素點的鄰域,S為響應(yīng)圖像。
可選的,所述確定級聯(lián)順序為:使用貪婪算法確定級聯(lián)順序。
可選的,所述計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值為:根據(jù)概率近似正確原則計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值。
可選的,所述依據(jù)所述級聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口包括:
步驟a)在所述根濾波器的樣本的響應(yīng)值的基礎(chǔ)上,依據(jù)所述級聯(lián)順序,依次累加各個部件濾波器的樣本的響應(yīng)值;
步驟b)在累加部件濾波器的樣本的響應(yīng)值之后,依據(jù)所述假設(shè)修剪的閾 值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行假設(shè)修剪、變形修剪、近似正樣本修剪和近似負(fù)樣本修剪;
重復(fù)上述步驟a)至b),直至累加完各個部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口。
可選的,所述依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行近似正樣本修剪和近似負(fù)樣本修剪包括:
采用以下公式進行近似正樣本修剪:
其中,p為當(dāng)前像素點,N(p)為當(dāng)前像素點的鄰域,p′為鄰域內(nèi)任一像素點,S(p)為當(dāng)前像素點的響應(yīng)值,Tpq為第q個近似正樣本修剪的閾值,prune代表修剪操作。
可選的,所述依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行近似正樣本修剪和近似負(fù)樣本修剪包括:
采用以下公式進行近似負(fù)樣本修剪:
其中,p為當(dāng)前像素點,N(p)為當(dāng)前像素點的鄰域,p′為鄰域內(nèi)任一像素點,S(p)為當(dāng)前像素點的響應(yīng)值,Tnq為第q個近似負(fù)樣本修剪的閾值,prune代表修剪操作。
可選的,所述訓(xùn)練目標(biāo)的根濾波器和多個部件濾波器,得到關(guān)于目標(biāo)的根濾波器的樣本和各個部件濾波器的樣本包括:對于根濾波器/每一個部件濾波器,
使用標(biāo)準(zhǔn)的支持向量機訓(xùn)練出初始根濾波器/部件濾波器;
使用隱變量支持向量機對所述初始根濾波器/部件濾波器繼續(xù)訓(xùn)練,迭代若干次后得到根濾波器/部件濾波器的樣本。
可選的,所述使用隱變量支持向量機對所述初始根濾波器/部件濾波器繼續(xù)訓(xùn)練包括:使用隱變量支持向量機對所述初始根濾波器/部件濾波器進行重 選正樣本、數(shù)據(jù)挖掘和隨機梯度下降法優(yōu)化。
可選的,在所述得到關(guān)于目標(biāo)位置的候選窗口之后,在所述確定目標(biāo)位置之前,還包括:
對所述候選窗口進行非極值抑制操作。
為了解決上述技術(shù)問題,本發(fā)明實施例還提供一種目標(biāo)檢測裝置,包括:樣本訓(xùn)練單元和目標(biāo)搜索單元;其中:
樣本訓(xùn)練單元,適于訓(xùn)練目標(biāo)的根濾波器和多個部件濾波器,得到關(guān)于目標(biāo)的根濾波器的樣本和各個部件濾波器的樣本;
目標(biāo)搜索單元,適于采用基于部件的變形模型和級聯(lián)檢測的方式進行搜索,確定目標(biāo)位置;
所述目標(biāo)搜索單元包括:響應(yīng)值計算子單元、級聯(lián)順序確定子單元、閾值計算子單元、響應(yīng)值累加子單元和目標(biāo)位置確定子單元;其中:
響應(yīng)值計算子單元,適于計算訓(xùn)練的所述根濾波器的樣本的響應(yīng)值,計算訓(xùn)練的各個所述部件濾波器的樣本的響應(yīng)值;
級聯(lián)順序確定子單元,適于確定級聯(lián)順序;
閾值計算子單元,適于計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值;
響應(yīng)值累加子單元,適于依據(jù)所述級聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和各個所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口;在所述依次累加所述根濾波器的樣本的響應(yīng)值和各個所述部件濾波器的樣本的響應(yīng)值的過程中,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行近似正樣本修剪和近似負(fù)樣本修剪;
目標(biāo)位置確定子單元,適于依據(jù)所述關(guān)于目標(biāo)位置的候選窗口,確定目標(biāo)位置。
可選的,所述閾值計算子單元計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值包括:
采用以下公式計算出假設(shè)修剪的閾值:
其中,q∈{1,2,...,Q}為級聯(lián)檢測的階段索引值,Ω為訓(xùn)練樣本集,R為根響應(yīng)圖像,P為部件響應(yīng)圖像,D為變形代價圖像。
可選的,所述閾值計算子單元計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值包括:
采用以下公式計算出變形修剪的閾值:
其中,q∈{1,2,...,Q}為級聯(lián)檢測的階段索引值,Ω為訓(xùn)練樣本集,R為根響應(yīng)圖像,P為部件響應(yīng)圖像,D為變形代價圖像。
可選的,所述閾值計算子單元計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值包括:
采用以下公式計算出近似正樣本修剪的閾值:
其中,q∈{1,2,...,Q}為級聯(lián)檢測的階段索引值,Ω為訓(xùn)練樣本集,p為當(dāng)前像素點,p′為鄰域內(nèi)任一像素點,N(p)為當(dāng)前像素點的鄰域,S為響應(yīng)圖像。
可選的,所述閾值計算子單元計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值包括:
采用以下公式計算出近似負(fù)樣本修剪的閾值:
其中,q∈{1,2,...,Q}為級聯(lián)檢測的階段索引值,Ω為訓(xùn)練樣本集,p為當(dāng)前像素點,p′為鄰域內(nèi)任一像素點,N(p)為當(dāng)前像素點的鄰域,S為響應(yīng)圖像。
可選的,所述級聯(lián)順序確定子單元確定級聯(lián)順序為:使用貪婪算法確定 級聯(lián)順序。
可選的,所述閾值計算子單元計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值為:根據(jù)概率近似正確原則計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值。
可選的,所述響應(yīng)值累加子單元依據(jù)所述級聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口包括:
步驟a)在所述根濾波器的樣本的響應(yīng)值的基礎(chǔ)上,依據(jù)所述級聯(lián)順序,依次累加各個部件濾波器的樣本的響應(yīng)值;
步驟b)在累加部件濾波器的樣本的響應(yīng)值之后,依據(jù)所述假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行假設(shè)修剪、變形修剪、近似正樣本修剪和近似負(fù)樣本修剪;
重復(fù)上述步驟a)至b),直至累加完各個部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口。
可選的,所述響應(yīng)值累加子單元依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行近似正樣本修剪和近似負(fù)樣本修剪包括:
采用以下公式進行近似正樣本修剪:
其中,p為當(dāng)前像素點,N(p)為當(dāng)前像素點的鄰域,p′為鄰域內(nèi)任一像素點,S(p)為當(dāng)前像素點的響應(yīng)值,Tpq為第q個近似正樣本修剪的閾值,prune代表修剪操作。
可選的,所述響應(yīng)值累加子單元依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行近似正樣本修剪和近似負(fù)樣本修剪包括:
采用以下公式進行近似負(fù)樣本修剪:
其中,p為當(dāng)前像素點,N(p)為當(dāng)前像素點的鄰域,p′為鄰域內(nèi)任一像素點,S(p)為當(dāng)前像素點的響應(yīng)值,Tnq為第q個近似負(fù)樣本修剪的閾值,prune代表修剪操作。
可選的,所述樣本訓(xùn)練單元訓(xùn)練目標(biāo)的根濾波器和多個部件濾波器,得到關(guān)于目標(biāo)的根濾波器的樣本和各個部件濾波器的樣本包括:對于根濾波器/每一個部件濾波器,
使用標(biāo)準(zhǔn)的支持向量機訓(xùn)練出初始根濾波器/部件濾波器;
使用隱變量支持向量機對所述初始根濾波器/部件濾波器繼續(xù)訓(xùn)練,迭代若干次后得到根濾波器/部件濾波器的樣本。
可選的,所述目標(biāo)搜索單元還包括:
非極值抑制子單元,適于在所述得到關(guān)于目標(biāo)位置的候選窗口之后,在所述確定目標(biāo)位置之前,對所述候選窗口進行非極值抑制操作。
為了解決上述技術(shù)問題,本發(fā)明實施例還提供一種移動終端,包括上述目標(biāo)檢測裝置。
可選的,所述移動終端為智能手機或平板電腦。
與現(xiàn)有技術(shù)相比,本發(fā)明的技術(shù)方案具有以下有益效果:
在現(xiàn)有技術(shù)中基于DPM模型和HOG特征的目標(biāo)檢測方法的基礎(chǔ)上進行了改進,在采用基于部件的變形模型和級聯(lián)檢測的方式進行搜索的過程中,預(yù)先計算出近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行近似正樣本修剪和近似負(fù)樣本修剪,從而減小了后續(xù)迭代過程中的運算量,使得基于DPM模型和HOG特征的目標(biāo)檢測方法所涉及的計算復(fù)雜度和計算量能夠在智能手機等移動終端所允許的范圍之內(nèi)。
進一步地,根據(jù)概率近似正確原則計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值,從而提高閾值計算的精度和效率。
進一步地,在訓(xùn)練目標(biāo)的根濾波器/部件濾波器的過程中,在使用標(biāo)準(zhǔn)的支持向量機訓(xùn)練出初始根濾波器/部件濾波器的基礎(chǔ)上,進一步使用隱變量支持向量機對所述初始根濾波器/部件濾波器采用重選正樣本、數(shù)據(jù)挖掘和隨機梯度下降法優(yōu)化的方式繼續(xù)訓(xùn)練,迭代若干次后得到根濾波器/部件濾波器的樣本,從而提高根濾波器/部件濾波器樣本的精度,以便于降低后續(xù)目標(biāo)搜索過程中的計算復(fù)雜度和計算量。
附圖說明
圖1為本發(fā)明實施例中目標(biāo)檢測方法流程圖;
圖2為本發(fā)明實施例中基于部件的變形模型和級聯(lián)檢測的方式進行搜索方法流程圖;
圖3為本發(fā)明實施例中累加根濾波器/部件濾波器的樣本的響應(yīng)值方法流程圖;
圖4為本發(fā)明實施例中目標(biāo)檢測裝置結(jié)構(gòu)框圖;
圖5為本發(fā)明實施例中另一種目標(biāo)檢測方法流程圖;
圖6為本發(fā)明實施例中提取HOG特征方法流程圖。
具體實施方式
根據(jù)背景技術(shù)部分的分析可知,基于DPM模型和HOG特征的目標(biāo)檢測方法(即方案4))在使用級聯(lián)檢測技術(shù)時,可以在不影響檢測質(zhì)量的前提下,實現(xiàn)一個數(shù)量級的檢測速度提升,是目前最好的目標(biāo)檢測方法之一。
但該方案計算復(fù)雜度高、計算量大的問題影響了它的實際應(yīng)用。尤其是對于以智能手機為代表移動終端而言,由于智能手機的運算能力遠(yuǎn)不如大型計算機,因此,該方案由于其計算復(fù)雜度高、計算量大的問題目前還無法在智能手機等移動終端上應(yīng)用。
發(fā)明人針對該方案計算復(fù)雜度高、計算量大的缺陷進行了改進。在采用基于部件的變形模型和級聯(lián)檢測的方式進行搜索的過程中,預(yù)先計算出近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行近似正樣本修剪和近似負(fù) 樣本修剪。
發(fā)明人經(jīng)研究后提出:在依次累加所述根濾波器的樣本的響應(yīng)值和各個所述部件濾波器的樣本的響應(yīng)值的過程中,可以進行近似正樣本修剪(當(dāng)前像素點的鄰域中,存在響應(yīng)值高出當(dāng)前點足夠多的像素點時,將修剪當(dāng)前像素點),這是因為,這部分像素即使不修剪,在后處理的非極值抑制中也會將其排除;還可以進行近似負(fù)樣本修剪(當(dāng)前像素點的響應(yīng)值足夠低時,將修剪當(dāng)前像素點的鄰域),這是因為,在當(dāng)前像素點的響應(yīng)值很低的情況下,它的鄰域內(nèi)像素點的響應(yīng)值通常也比較低,這部分像素即使不修剪,通常也會在對后續(xù)級聯(lián)的修剪中被修剪。本發(fā)明將后續(xù)必然被修剪、或者是極有可能被修剪的像素點提前修剪,可以減少對這部分后續(xù)必然被修剪、或者是極有可能被修剪的像素點的無意義的計算,因而降低了計算復(fù)雜度和計算量,使得基于DPM模型和HOG特征的目標(biāo)檢測方法所涉及的計算復(fù)雜度和計算量能夠在智能手機等移動終端所允許的范圍之內(nèi)。
為使本領(lǐng)域技術(shù)人員更好地理解和實現(xiàn)本發(fā)明,以下參照附圖,通過具體實施例進行詳細(xì)說明。
實施例一
如下所述,本發(fā)明實施例提供一種目標(biāo)檢測方法。
本實施例中的目標(biāo)檢測方法,在現(xiàn)有技術(shù)中基于DPM模型和HOG特征的目標(biāo)檢測方法的基礎(chǔ)上進行了改進,大大減小了其實現(xiàn)過程中所涉及的計算復(fù)雜度和計算量,使得其處理過程中所涉及的計算復(fù)雜度和計算量能夠在智能手機等移動終端所允許的范圍之內(nèi)。
本發(fā)明所提供的方案適用于泛化目標(biāo)的檢測,例如在人手檢測、人臉檢測、行人檢測等領(lǐng)域均可適用。尤其適合對非剛性目標(biāo)的檢測。
參照圖1所示的目標(biāo)檢測方法流程圖:
基于DPM模型和HOG特征的目標(biāo)檢測方法包括:
S101,訓(xùn)練目標(biāo)的根濾波器和多個部件濾波器,得到關(guān)于目標(biāo)的根濾波器的樣本和各個部件濾波器的樣本。
基于DPM模型和HOG特征的目標(biāo)檢測方法需要先訓(xùn)練目標(biāo)的根濾波器和多個部件濾波器,從而在后續(xù)的目標(biāo)檢測過程中,可以利用對這些根濾波器和部件濾波器響應(yīng)值的累加值,來確定目標(biāo)(在另一場景中的)位置。
在具體實施中,所述訓(xùn)練目標(biāo)的根濾波器和多個部件濾波器,得到關(guān)于目標(biāo)的根濾波器的樣本和各個部件濾波器的樣本可以包括:對于根濾波器/每一個部件濾波器,分別執(zhí)行以下步驟:
使用標(biāo)準(zhǔn)的支持向量機訓(xùn)練出初始根濾波器/部件濾波器;
使用隱變量支持向量機對所述初始根濾波器/部件濾波器繼續(xù)訓(xùn)練,迭代若干次后得到根濾波器/部件濾波器的樣本。
其中,所述使用隱變量支持向量機對所述初始根濾波器/部件濾波器繼續(xù)訓(xùn)練具體可以包括:使用隱變量支持向量機對所述初始根濾波器/部件濾波器進行重選正樣本、數(shù)據(jù)挖掘和隨機梯度下降法優(yōu)化。
通過以上對技術(shù)方案的描述可以看出:本實施例中,在訓(xùn)練目標(biāo)的根濾波器/部件濾波器的過程中,在使用標(biāo)準(zhǔn)的支持向量機訓(xùn)練出初始根濾波器/部件濾波器的基礎(chǔ)上,進一步使用隱變量支持向量機對所述初始根濾波器/部件濾波器采用重選正樣本、數(shù)據(jù)挖掘和隨機梯度下降法優(yōu)化的方式繼續(xù)訓(xùn)練,迭代若干次后得到根濾波器/部件濾波器的樣本,從而提高根濾波器/部件濾波器樣本的精度,以便于降低后續(xù)目標(biāo)搜索過程中的計算復(fù)雜度和計算量。
S102,采用基于部件的變形模型和級聯(lián)檢測的方式進行搜索,確定目標(biāo)位置。
其中,如圖2所示,所述采用基于部件的變形模型和級聯(lián)檢測的方式進行搜索(即步驟S102)包括:
S201,計算訓(xùn)練的所述根濾波器的樣本的響應(yīng)值,計算訓(xùn)練的各個所述部件濾波器的樣本的響應(yīng)值。
計算得出的根濾波器的樣本的響應(yīng)值和各個所述部件濾波器的樣本的響應(yīng)值,會用于后續(xù)的步驟S202和步驟S204。
S202,確定級聯(lián)順序。
級聯(lián)順序,即級聯(lián)檢測過程中以何種順序來依次累加根濾波器的樣本的響應(yīng)值和各個所述部件濾波器的樣本的響應(yīng)值。相對于經(jīng)典檢測方案而言(經(jīng)典檢測不涉及級聯(lián)順序),可以提高后續(xù)的計算效率。
在具體實施中,可以使用貪婪算法來確定級聯(lián)順序。
S203,計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值。
與現(xiàn)有技術(shù)的不同之處在于,現(xiàn)有技術(shù)在后續(xù)依次累加所述根濾波器的樣本的響應(yīng)值和各個所述部件濾波器的樣本的響應(yīng)值的過程中,通常只進行假設(shè)修剪和變形修剪,而不會進行近似正樣本修剪和近似負(fù)樣本修剪,因此,在此步驟中只需要計算假設(shè)修剪的閾值和變形修剪的閾值,而不會計算近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值。而本實施例在后續(xù)依次累加所述根濾波器的樣本的響應(yīng)值和各個所述部件濾波器的樣本的響應(yīng)值的過程中(即步驟S204),需要進行假設(shè)修剪、變形修剪、近似正樣本修剪和近似負(fù)樣本修剪,因此,在此步驟中計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值。
在具體實施中,所述計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值可以包括:
采用以下公式計算出假設(shè)修剪的閾值:
其中,q∈{1,2,...,Q}為級聯(lián)檢測的階段索引值,Ω為訓(xùn)練樣本集,R為根響應(yīng)圖像,P為部件響應(yīng)圖像,D為變形代價圖像;
采用以下公式計算出變形修剪的閾值:
其中,q∈{1,2,...,Q}為級聯(lián)檢測的階段索引值,Ω為訓(xùn)練樣本集,R為根響應(yīng)圖像,P為部件響應(yīng)圖像,D為變形代價圖像;
采用以下公式計算出近似正樣本修剪的閾值:
其中,q∈{1,2,...,Q}為級聯(lián)檢測的階段索引值,Ω為訓(xùn)練樣本集,p為當(dāng)前像素點,p′為鄰域內(nèi)任一像素點,N(p)為當(dāng)前像素點的鄰域,S為響應(yīng)圖像;
采用以下公式計算出近似負(fù)樣本修剪的閾值:
其中,q∈{1,2,...,Q}為級聯(lián)檢測的階段索引值,Ω為訓(xùn)練樣本集,p為當(dāng)前像素點,p′為鄰域內(nèi)任一像素點,N(p)為當(dāng)前像素點的鄰域,S為響應(yīng)圖像。
以上公式采用概率近似正確(Probably Approximately Correct,PAC)原則來計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值??梢岳斫獾氖牵谄渌麑嵤├?,也可以采用其他方式得出上述閾值。
通過以上對技術(shù)方案的描述可以看出:本實施例中,根據(jù)概率近似正確原則計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值,從而提高閾值計算的精度和效率。
S204,依據(jù)所述級聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和各個所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口。
與現(xiàn)有技術(shù)的不同之處在于,如前所述,現(xiàn)有技術(shù)在依次累加所述根濾波器的樣本的響應(yīng)值和各個所述部件濾波器的樣本的響應(yīng)值的過程中,通常只進行假設(shè)修剪和變形修剪,而不會進行近似正樣本修剪和近似負(fù)樣本修剪。而本實施例在依次累加所述根濾波器的樣本的響應(yīng)值和各個所述部件濾波器的樣本的響應(yīng)值的過程中,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行近似正樣本修剪和近似負(fù)樣本修剪。
通過以上對技術(shù)方案的描述可以看出:本實施例中,在現(xiàn)有技術(shù)中基于 DPM模型和HOG特征的目標(biāo)檢測方法的基礎(chǔ)上進行了改進,在采用基于部件的變形模型和級聯(lián)檢測的方式進行搜索的過程中,預(yù)先計算出近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行近似正樣本修剪和近似負(fù)樣本修剪,從而減小了后續(xù)迭代過程中的運算量,使得基于DPM模型和HOG特征的目標(biāo)檢測方法所涉及的計算復(fù)雜度和計算量能夠在智能手機等移動終端所允許的范圍之內(nèi)。
可以理解的是,本實施例在進行近似正樣本修剪和近似負(fù)樣本修剪的基礎(chǔ)上,也可以進行假設(shè)修剪和變形修剪。
在具體實施中,所述依據(jù)所述級聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口可以包括:
步驟a)在所述根濾波器的樣本的響應(yīng)值的基礎(chǔ)上,依據(jù)所述級聯(lián)順序,依次累加各個部件濾波器的樣本的響應(yīng)值;
步驟b)在累加部件濾波器的樣本的響應(yīng)值之后,依據(jù)所述假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行假設(shè)修剪、變形修剪、近似正樣本修剪和近似負(fù)樣本修剪;
重復(fù)上述步驟a)至b),直至累加完各個部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口。
其中,所述依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行近似正樣本修剪和近似負(fù)樣本修剪可以包括:
采用以下公式進行近似正樣本修剪:
其中,p為當(dāng)前像素點,N(p)為當(dāng)前像素點的鄰域,p′為鄰域內(nèi)任一像素點,S(p)為當(dāng)前像素點的響應(yīng)值,Tpq為第q個近似正樣本修剪的閾值,prune代表修剪操作;
采用以下公式進行近似負(fù)樣本修剪:
其中,p為當(dāng)前像素點,N(p)為當(dāng)前像素點的鄰域,p′為鄰域內(nèi)任一像素點,S(p)為當(dāng)前像素點的響應(yīng)值,Tnq為第q個近似負(fù)樣本修剪的閾值,prune代表修剪操作。
具體地,可以如圖3所示,每一個部件濾波器的累加對應(yīng)于一個循環(huán),在每一個循環(huán)中,依次進行近似負(fù)樣本修剪、假設(shè)修剪、近似正樣本修剪、累加部件濾波器的樣本的響應(yīng)值、變形修剪。不斷迭代,直至累加完各個部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口。
S205,依據(jù)所述關(guān)于目標(biāo)位置的候選窗口,確定目標(biāo)位置。
經(jīng)過級聯(lián)檢測(即步驟S201至步驟S204)后,通常會留下少量的候選窗口(Candidate Window)。
如果采用單目標(biāo)方案(即檢測目標(biāo)在場景中的位置,且目標(biāo)只存在于場景中的至多一個位置),則后續(xù)選取響應(yīng)值最大的候選窗口,作為目標(biāo)位置。
如果采用多目標(biāo)方案(即檢測目標(biāo)在場景中的位置,目標(biāo)可以存在于場景中的多個位置),則可以在所述得到關(guān)于目標(biāo)位置的候選窗口之后,在所述確定目標(biāo)位置之前,對所述候選窗口進行非極值抑制操作,以在非極值抑制操作中未被排除的候選窗口,作為目標(biāo)位置。
實施例二
如下所述,本發(fā)明實施例提供一種目標(biāo)檢測裝置。
參照圖4所示的目標(biāo)檢測裝置結(jié)構(gòu)框圖。
所述目標(biāo)檢測裝置包括:樣本訓(xùn)練單元401和目標(biāo)搜索單元402;其中各單元的主要功能如下:
樣本訓(xùn)練單元401,適于訓(xùn)練目標(biāo)的根濾波器和多個部件濾波器,得到關(guān)于目標(biāo)的根濾波器的樣本和各個部件濾波器的樣本;
目標(biāo)搜索單元402,適于采用基于部件的變形模型和級聯(lián)檢測的方式進行搜索,確定目標(biāo)位置;
所述目標(biāo)搜索單元402包括:響應(yīng)值計算子單元4021、級聯(lián)順序確定子單元4022、閾值計算子單元4023、響應(yīng)值累加子單元4024和目標(biāo)位置確定子單元4025;其中:
響應(yīng)值計算子單元4021,適于計算訓(xùn)練的所述根濾波器的樣本的響應(yīng)值,計算訓(xùn)練的各個所述部件濾波器的樣本的響應(yīng)值;
級聯(lián)順序確定子單元4022,適于確定級聯(lián)順序;
閾值計算子單元4023,適于計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值;
響應(yīng)值累加子單元4024,適于依據(jù)所述級聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和各個所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口;在所述依次累加所述根濾波器的樣本的響應(yīng)值和各個所述部件濾波器的樣本的響應(yīng)值的過程中,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行近似正樣本修剪和近似負(fù)樣本修剪;
目標(biāo)位置確定子單元4025,適于依據(jù)所述關(guān)于目標(biāo)位置的候選窗口,確定目標(biāo)位置。
通過以上對技術(shù)方案的描述可以看出:本實施例中,在現(xiàn)有技術(shù)中基于DPM模型和HOG特征的目標(biāo)檢測方法的基礎(chǔ)上進行了改進,在采用基于部件的變形模型和級聯(lián)檢測的方式進行搜索的過程中,預(yù)先計算出近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行近似正樣本修剪和近似負(fù)樣本修剪,從而減小了后續(xù)迭代過程中的運算量,使得基于DPM模型和HOG特征的目標(biāo)檢測方法所涉及的計算復(fù)雜度和計算量能夠在智能手機等移動終端所允許的范圍之內(nèi)。
在具體實施中,所述閾值計算子單元計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值可以包括:
采用以下公式計算出假設(shè)修剪的閾值:
其中,q∈{1,2,...,Q}為級聯(lián)檢測的階段索引值,Ω為訓(xùn)練樣本集,R為根響應(yīng)圖像,P為部件響應(yīng)圖像,D為變形代價圖像;
采用以下公式計算出變形修剪的閾值:
其中,q∈{1,2,...,Q}為級聯(lián)檢測的階段索引值,Ω為訓(xùn)練樣本集,R為根響應(yīng)圖像,P為部件響應(yīng)圖像,D為變形代價圖像;
采用以下公式計算出近似正樣本修剪的閾值:
其中,q∈{1,2,...,Q}為級聯(lián)檢測的階段索引值,Ω為訓(xùn)練樣本集,p為當(dāng)前像素點,p′為鄰域內(nèi)任一像素點,N(p)為當(dāng)前像素點的鄰域,S為響應(yīng)圖像;
采用以下公式計算出近似負(fù)樣本修剪的閾值:
其中,q∈{1,2,...,Q}為級聯(lián)檢測的階段索引值,Ω為訓(xùn)練樣本集,p為當(dāng)前像素點,p′為鄰域內(nèi)任一像素點,N(p)為當(dāng)前像素點的鄰域,S為響應(yīng)圖像。
通過以上對技術(shù)方案的描述可以看出:本實施例中,根據(jù)概率近似正確原則計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值,從而提高閾值計算的精度和效率。
在具體實施中,所述級聯(lián)順序確定子單元確定級聯(lián)順序可以是:使用貪婪算法確定級聯(lián)順序。
在具體實施中,所述閾值計算子單元計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值可以是:根據(jù)概率近似正確原則計算出假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值。
在具體實施中,所述響應(yīng)值累加子單元依據(jù)所述級聯(lián)順序,依次累加所述根濾波器的樣本的響應(yīng)值和所述部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口可以包括:
步驟a)在所述根濾波器的樣本的響應(yīng)值的基礎(chǔ)上,依據(jù)所述級聯(lián)順序,依次累加各個部件濾波器的樣本的響應(yīng)值;
步驟b)在累加部件濾波器的樣本的響應(yīng)值之后,依據(jù)所述假設(shè)修剪的閾值、變形修剪的閾值、近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行假設(shè)修剪、變形修剪、近似正樣本修剪和近似負(fù)樣本修剪;
重復(fù)上述步驟a)至b),直至累加完各個部件濾波器的樣本的響應(yīng)值,得到關(guān)于目標(biāo)位置的候選窗口。
在具體實施中,所述響應(yīng)值累加子單元依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行近似正樣本修剪和近似負(fù)樣本修剪包括:
采用以下公式進行近似正樣本修剪:
其中,p為當(dāng)前像素點,N(p)為當(dāng)前像素點的鄰域,p′為鄰域內(nèi)任一像素點,S(p)為當(dāng)前像素點的響應(yīng)值,Tpq為第q個近似正樣本修剪的閾值,prune代表修剪操作;
采用以下公式進行近似負(fù)樣本修剪:
其中,p為當(dāng)前像素點,N(p)為當(dāng)前像素點的鄰域,p′為鄰域內(nèi)任一像素點,S(p)為當(dāng)前像素點的響應(yīng)值,Tnq為第q個近似負(fù)樣本修剪的閾值,prune代表修剪操作。
在具體實施中,所述樣本訓(xùn)練單元訓(xùn)練目標(biāo)的根濾波器和多個部件濾波器,得到關(guān)于目標(biāo)的根濾波器的樣本和各個部件濾波器的樣本可以包括:對于根濾波器/每一個部件濾波器,
使用標(biāo)準(zhǔn)的支持向量機訓(xùn)練出初始根濾波器/部件濾波器;
使用隱變量支持向量機對所述初始根濾波器/部件濾波器繼續(xù)訓(xùn)練,迭代若干次后得到根濾波器/部件濾波器的樣本。
在具體實施中,所述使用隱變量支持向量機對所述初始根濾波器/部件濾波器繼續(xù)訓(xùn)練可以包括:使用隱變量支持向量機對所述初始根濾波器/部件濾波器進行重選正樣本、數(shù)據(jù)挖掘和隨機梯度下降法優(yōu)化。
通過以上對技術(shù)方案的描述可以看出:本實施例中,在訓(xùn)練目標(biāo)的根濾波器/部件濾波器的過程中,在使用標(biāo)準(zhǔn)的支持向量機訓(xùn)練出初始根濾波器/部件濾波器的基礎(chǔ)上,進一步使用隱變量支持向量機對所述初始根濾波器/部件濾波器采用重選正樣本、數(shù)據(jù)挖掘和隨機梯度下降法優(yōu)化的方式繼續(xù)訓(xùn)練,迭代若干次后得到根濾波器/部件濾波器的樣本,從而提高根濾波器/部件濾波器樣本的精度,以便于降低后續(xù)目標(biāo)搜索過程中的計算復(fù)雜度和計算量。
在具體實施中,所述目標(biāo)搜索單元還可以包括:
非極值抑制子單元,適于在所述得到關(guān)于目標(biāo)位置的候選窗口之后,在所述確定目標(biāo)位置之前,對所述候選窗口進行非極值抑制操作。
實施例三
如下所述,本發(fā)明實施例提供一種移動終端。
與現(xiàn)有技術(shù)的不同之處在于,所述移動終端包括如本發(fā)明實施例中所提供的目標(biāo)檢測裝置。該移動終端在現(xiàn)有技術(shù)中基于DPM模型和HOG特征的目標(biāo)檢測方法的基礎(chǔ)上進行了改進,在采用基于部件的變形模型和級聯(lián)檢測的方式進行搜索的過程中,預(yù)先計算出近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值,依據(jù)所述近似正樣本修剪的閾值和近似負(fù)樣本修剪的閾值對累加后的響應(yīng)值進行近似正樣本修剪和近似負(fù)樣本修剪,從而減小了后續(xù)迭代過程中的運算量,使得基于DPM模型和HOG特征的目標(biāo)檢測方法所涉及的計算復(fù)雜度和計算量能夠在智能手機等移動終端所允許的范圍之內(nèi)。
在具體實施中,所述移動終端可以是智能手機或平板電腦。
實施例四
如下所述,本發(fā)明實施例提供一種目標(biāo)檢測方法。
參照圖5所示的目標(biāo)檢測方法流程圖:
基于DPM模型和HOG特征的目標(biāo)檢測方法包括:
S501,構(gòu)造圖像金字塔。
為了實現(xiàn)對多尺度人手目標(biāo)的檢測,需要構(gòu)造圖像金字塔,并計算相應(yīng)的特征金字塔。
構(gòu)造圖像金字塔需要進行降采樣,本實施例中采用兩種方式:雙三次插值(Bicubic Interpolation)和雙線性插值。對于相差一個尺度的降采樣,采用更快捷的雙線性插值。同一層(Octave)尺度下的降采樣,采用雙三次插值。這種區(qū)分性降采樣策略可以在保證圖像質(zhì)量的前提下,盡可能的降低計算復(fù)雜度。
S502,計算出圖像金字塔所對應(yīng)的基于HOG的特征金字塔;
在完成圖像金字塔后,需要計算出對應(yīng)的特征金字塔。所述計算出圖像金字塔所對應(yīng)的基于HOG的特征金字塔包括:提取HOG特征。
如圖6所示,本實施例通過如下步驟提取HOG特征:
S601,計算梯度圖像。
在計算梯度圖像的過程中,為了減小計算量,可以將輸入圖像轉(zhuǎn)換為灰度格式,再使用一維中心模板P=[-1,0,1]和它的轉(zhuǎn)置PT分別對灰度格式的輸入圖像進行濾波,分別計算出x,y方向的梯度圖像,即Gx,Gy。再如式1計算出梯度幅值圖像GM:
式1:
通常將梯度方向劃分為M個方向,如式2計算出梯度方向編碼圖像GO。
式2:
其中,[]表示取整函數(shù),mod表示取模函數(shù),GO是{1,2,...,M}范圍內(nèi)的整數(shù)。
在所述計算梯度圖像之后,還包括:將梯度方向劃分為M個方向,采用 式2計算出梯度方向編碼圖像GO;
式2:
其中,[]表示取整函數(shù),mod表示取模函數(shù),GO是{1,2,...,M}范圍內(nèi)的整數(shù)。
S602,進行直方圖統(tǒng)計。
在計算出梯度圖像之后,進行直方圖統(tǒng)計。
對大小為w*h的梯度圖像,可以以大小為k*k的元胞為單元進行統(tǒng)計。通??梢圆捎秒p線性插值(Bilinear Interpolation),即梯度圖像中任一像素會同時被納入周圍四個相鄰的元胞進行統(tǒng)計。針對每一編碼方向m,可以統(tǒng)計出維數(shù)為的二維直方圖H(x,y,m),其中,整體得直方圖維數(shù)是表示向下取整。
S603,進行歸一化和截斷。
在進行直方圖統(tǒng)計之后,進行歸一化和截斷。
本實施例中,所述進行歸一化和截斷包括:
預(yù)先建立第一查找表,所述第一查找表將多個數(shù)值與它們各自的開方倒數(shù)對應(yīng)保存;
累積每一方向直方圖的二階范數(shù),獲得梯度能量圖像;
依據(jù)所述梯度能量圖像和所述第一查找表,計算出HOG特征。
其中,所述建立第一查找表具體可以包括:
形成的函數(shù)曲線;
基于所述函數(shù)曲線,采用分段擬合的方法獲得多個數(shù)值與它們各自的開方倒數(shù);
將多個數(shù)值與它們各自的開方倒數(shù)對應(yīng)保存,形成第一查找表。
所述依據(jù)所述梯度能量圖像和所述第一查找表,計算出HOG特征具體可以包括:
采用式8獲得歸一化圖像的平方
式8:
其中,
依據(jù)所述第一查找表,獲得歸一化圖像的平方對應(yīng)的開方倒數(shù)
依據(jù)采用式5和式6計算出F1(x,y,m)和F2(x,y,(δ,γ));
式5:
式6:
其中,T1、T2為對應(yīng)的截斷閾值;
依據(jù)F1(x,y,m)和F2(x,y,(δ,γ)),計算出HOG特征F=[F1,F2]。
經(jīng)過上述步驟S601至S603,完成了對HOG特征的提取。
通過以上對技術(shù)方案的描述可以看出:本實施例中,在現(xiàn)有技術(shù)中基于DPM模型和HOG特征的目標(biāo)檢測方法的基礎(chǔ)上進行了改進,預(yù)先建立第一查找表,所述第一查找表將多個數(shù)值與它們各自的開方倒數(shù)對應(yīng)保存,在進行歸一化和截斷的過程中,依據(jù)梯度能量圖像和預(yù)先建立的所述第一查找表,計算出HOG特征,從而避免了歸一化處理過程中大量的除法運算和開方運算,使得基于DPM模型和HOG特征的目標(biāo)檢測方法所涉及的計算復(fù)雜度和計算量能夠在智能手機等移動終端所允許的范圍之內(nèi)。
若圖像尺寸較大,為保證檢測質(zhì)量,每層(Octave)需計算更多的級數(shù)(Level)。如果每一級都計算HOG特征,則計算復(fù)雜度會很高。
實踐表明,對于尺度相近的圖像,它們的HOG特征呈現(xiàn)近似指數(shù)函數(shù)的關(guān)系。
本實施例只計算少量尺度的HOG特征,其他相鄰尺度的HOG特征可以 通過如式7的近似計算得到。
式7:FS≈R(F,S)·S-λ
其中,F(xiàn)表示已知特征,F(xiàn)S表示所要求解的近似特征,S表示相對尺度,λ表示指數(shù)函數(shù)的系數(shù),R函數(shù)表示以相對尺度S對已知特征F進行重采樣。
通過以上對技術(shù)方案的描述可以看出:本實施例中,在計算圖像金字塔所對應(yīng)的基于HOG的特征金字塔的過程中,只計算少量尺度的HOG特征,在此基礎(chǔ)上通過近似計算得到其他相鄰尺度的HOG特征,從而在對檢測質(zhì)量影響不大的前提下,進一步降低基于DPM模型和HOG特征的目標(biāo)檢測方法所涉及的計算復(fù)雜度和計算量。
S503,采用基于部件的變形模型和級聯(lián)檢測的方式對特征金字塔進行搜索,確定目標(biāo)位置。
至此,實現(xiàn)了基于DPM模型和HOG特征的目標(biāo)檢測。本實施例在現(xiàn)有技術(shù)中基于DPM模型和HOG特征的目標(biāo)檢測方法的基礎(chǔ)上進行了改進,在進行歸一化處理的過程中(步驟S603),避免了大量的除法運算和開方運算,在計算圖像金字塔所對應(yīng)的基于HOG的特征金字塔的過程中(步驟S502),避免了計算大量尺度的HOG特征,在對檢測質(zhì)量影響不大的前提下大大減小了計算復(fù)雜度和計算量,使得基于DPM模型和HOG特征的目標(biāo)檢測方法其處理過程中所涉及的計算復(fù)雜度和計算量能夠在智能手機等移動終端所允許的范圍之內(nèi),便于該目標(biāo)檢測方法在移動終端上的應(yīng)用。
本領(lǐng)域普通技術(shù)人員可以理解,上述實施例的各種方法中,全部或部分步驟是可以通過程序指示相關(guān)的硬件來完成的,該程序可以存儲于一計算機可讀存儲介質(zhì)中,存儲介質(zhì)可以包括:ROM、RAM、磁盤或光盤等。
雖然本發(fā)明披露如上,但本發(fā)明并非限定于此。任何本領(lǐng)域技術(shù)人員,在不脫離本發(fā)明的精神和范圍內(nèi),均可作各種更動與修改,因此本發(fā)明的保護范圍應(yīng)當(dāng)以權(quán)利要求所限定的范圍為準(zhǔn)。