一種基于種子點(diǎn)選取與超像素融合的通用物體檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像物體檢測(cè)領(lǐng)域，特別涉及一種基于種子點(diǎn)選取與超像素融合的通 用物體檢測(cè)方法。
【背景技術(shù)】
[0002] 盡管目前基于圖像的物體檢測(cè)和識(shí)別技術(shù)比較成熟，但是仍然存在準(zhǔn)確率低、速 度慢等問(wèn)題而難以應(yīng)用到實(shí)際。物體檢測(cè)，往往通過(guò)移框的方法窮盡地搜索圖像;而為了提 高準(zhǔn)確率，又需要提取耗時(shí)的特征，如SIFT、H0G等，同時(shí)，檢測(cè)的結(jié)果又會(huì)對(duì)物體的識(shí)別準(zhǔn) 確率造成影響。為了減少檢測(cè)框的數(shù)量，提高識(shí)別的準(zhǔn)確率，通用物體檢測(cè)算法成為了備受 關(guān)注的研究方向。
[0003]目前，通用物體檢測(cè)算法主要分為三類(lèi)：
[0004] (1)直接檢測(cè)框體的方法:這類(lèi)方法通過(guò)貪婪搜索，提取輕量級(jí)的特征，從而篩選 出潛在的框體。這種算法速度較快，但召回率相對(duì)低。典型代表包括A1 e X e等人提出的 Objectness(參考：Alexe B,Deselaers T,Ferrari V.Measuring the objectness of image windows.Pattern Analysis and Machine Intelligence,Vol.34,No.11.p.2189-2202，IEEE Transactions on，2012)，Cheng，Ming-Ming等人提出的BING(參考：Cheng, Ming-Ming,et al.BING:Binarized normed gradients for objectness estimation at 300fps.Computer Vision and Pattern Recognition(CVPR)，2014IEEE Conference on.IEEE，2014)
[0005] (2)超像素融合的方法:這類(lèi)方法首先利用過(guò)分割對(duì)圖像提取超像素，然后計(jì)算相 鄰超像素的相似性，通過(guò)不斷合并相似性最高的超像素，得到很多潛在的框體。這類(lèi)算法速 度比較慢，但召回率較高，同時(shí)還能得到物體的分割。典型代表有van de Sande提出的選擇 性搜索（參考：Uijlings J R R，van de Sande K E A，Gevers T，et al· Selective search for object recognition.International journal of computer vision, 乂〇1.104.1111111.24.154-171.2013#陽(yáng)11(1代8提出的類(lèi)別獨(dú)立的通用物體檢測(cè)方法(參考 ： Endres I，Hoiem D.Category-independent object proposals with diverse ranking.Pattern Analysis and Machine Intelligence,vol.36.num.2.p.222-234.IEEE Transactions on，2014)〇
[0006] (3)基于種子超像素的方法:這種方法通過(guò)提取一些種子超像素，以每個(gè)種子超像 素作為中心，通過(guò)合并或者訓(xùn)練等方法，得到多個(gè)框體。典型代表是CPMC(參考 :Ca〃eira J,Sminchisescu C.Cpmc:Automatic object segmentation using constrained parametric min-cuts.Pattern Analysis and Machine Intelligence， vol.34.num.7.p.l312-1328.IEEE Transactions on，2012)和GOP(參考：KraienbUhl P， Koltun V. Geodesic object proposals.p.725-739.Computer Vision ECCV 2014.Springer International Publishing，2014)
[0007] 直接檢測(cè)框體的方法需要通過(guò)不斷縮放框體，貪婪地移框檢測(cè)。對(duì)比基于分割的 方法，它得到的框體往往不夠精確。而基于分割的方法在得到候選框體進(jìn)行框體篩選的時(shí) 候，要么通過(guò)偽隨機(jī)的方法篩選，要么訓(xùn)練排序器對(duì)框體做排序。前者存在隨機(jī)性，后者需 要訓(xùn)練。本文將三種方法結(jié)合，提出了一種具有創(chuàng)新性的通用物體檢測(cè)方法，它能較好解決 上述兩種方法的不足。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提出一種新的基于種子超像 素選取和超像素融合的通用物體檢測(cè)方法，考慮到超像素融合算法是當(dāng)前方法中效果較好 的，本發(fā)明基于此類(lèi)算法進(jìn)行，以期達(dá)到較好的檢測(cè)效果。
[0009] 為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：
[0010] 一種基于種子點(diǎn)選取與超像素融合的通用物體檢測(cè)方法，該方法包括下述步驟：
[0011] S1、預(yù)處理，對(duì)每幅圖像進(jìn)行過(guò)分割，得到超像素塊;計(jì)算每個(gè)超像素塊的表觀(guān)特 征；
[0012] S2、選擇種子超像素，將種子超像素點(diǎn)分為大種子點(diǎn)和小種子點(diǎn)兩類(lèi)，大種子點(diǎn)旨 在尋找大的物體，小種子點(diǎn)是對(duì)大種子點(diǎn)的補(bǔ)充，旨在豐富框體的信息，增加框體數(shù)量，以 確保更多的小物體被框到；
[0013] S3、超像素合并，以每個(gè)種子超像素為中心，借鑒超像素融合算法，對(duì)種子點(diǎn)附近 的超像素不斷合并直至超像素的相似性達(dá)到閾值或者框體大小達(dá)到閾值為止，在超像素合 并中，在每次合并時(shí)不僅僅是合并相似度最高的超像素，而是將相似度前N的超像素都進(jìn)行 合并，同時(shí)將最相似的超像素合并后的結(jié)果作為下一次合并的起始；
[0014] S4、小物體檢測(cè)，對(duì)于大多數(shù)小物體而言，超像素分割可能不準(zhǔn)確，從而導(dǎo)致步驟 S3無(wú)法將其框出，所以采用中層分割的方法，對(duì)這類(lèi)小物體進(jìn)行檢測(cè)；
[0015] S5、計(jì)算框體的得分并排序:對(duì)步驟S3和步驟S4中的所有框體計(jì)算得分，并對(duì)得分 進(jìn)行排序；
[0016] S6、篩選，通過(guò)改進(jìn)的非最大化抑制采樣方法，根據(jù)需要，選取出Μ個(gè)框體作為最終 的結(jié)果。
[0017] 作為優(yōu)選的，在步驟S1中，表觀(guān)特征包括顏色直方圖、邊界密度、4向的邊界方向直 方圖，所述4向的邊界方向直方圖用于衡量超像素的紋理信息。
[0018] 作為優(yōu)選的，在步驟S1中，對(duì)每幅圖像進(jìn)行分隔采用SLIC超像素分割方法，對(duì)于每 個(gè)輸入圖像I，得到可以多個(gè)超像素塊{SPlSPlSPs. . .，SP山顏色直方圖采用Lab顏色空間 的詞袋表示形式，用數(shù)學(xué)符號(hào)CHi表示;邊界密度通過(guò)Canny算子得到，第i個(gè)超像素的邊界 密度特征使用數(shù)學(xué)公式表達(dá)為
-，其中，示超像素內(nèi)邊緣像素 點(diǎn)的個(gè)數(shù)，Pixeh表示超像素所包含的像素點(diǎn)個(gè)數(shù);4向邊界方向直方圖通過(guò)統(tǒng)計(jì)邊界圖像 中，0°、45°、90°、135°四個(gè)方向上的邊界強(qiáng)度而得，求解過(guò)程如下：首先分別用模板[1，0， 1]，[1，0，1]τ，
二值化的邊界圖像進(jìn)行卷積，得到4個(gè)不同方向的邊界圖像， 使用數(shù)學(xué)符號(hào)表示為戊(^1{(^23(^33(^4}，然后分別統(tǒng)計(jì)每個(gè)方向邊界圖像上原本屬 于邊界點(diǎn)的像素信息，統(tǒng)計(jì)過(guò)程用數(shù)學(xué)公式可以表示為：E H i k = 1 e n g t h ({p i X e 1 | _V/p_&e/.， pixel eEOMik，EOMik(pixel )>0})，其中i、k分別為超像素和方向邊界圖像的索引，最終的 特征輸出通過(guò)歸一化可以表示為：
[0019] 作為優(yōu)選的，步驟S2中，大的超像素種子點(diǎn)采用均勻采樣，每個(gè)圖像采樣K · Μ個(gè)種 子點(diǎn)，其中，Κ、Μ分別表不垂直方向和水平方向上的米樣個(gè)數(shù)，每個(gè)大種子點(diǎn)的位置表不如 下：
），其中，
別表示垂直方向與水平方向上的步長(zhǎng);除去大種子 點(diǎn)的超像素，其余的超像素將作為小種子點(diǎn)。
[0020] 作為優(yōu)選的，步驟S3中，相鄰超像素的相似度計(jì)算公式如下：
[00211
[0022] 其中，w為權(quán)重，Dist(CHi，CHj)表示顏色直方圖的距離，使用X2距離度量；Dist (EDi，EDj)表示邊界密度距離，數(shù)學(xué)公式為Dist^DiEDj^EDi-EDj;
[0023] DisMES^ES^)表示超像素間共同邊界上的邊緣強(qiáng)度信息，用于衡量近鄰超像