對象檢測方法和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明總體涉及圖像處理，具體涉及目標(biāo)對象的檢測方法和設(shè)備。
【背景技術(shù)】
[0002] 對象檢測技術(shù)是視頻監(jiān)控、機(jī)器人導(dǎo)航、智能駕駛輔助系統(tǒng)以及互聯(lián)網(wǎng)搜索等應(yīng) 用所需的關(guān)鍵技術(shù)。目前，對象檢測的精度仍難以滿足真實(shí)應(yīng)用的需要。
[0003] 例如，在稠密對象的環(huán)境下，對象檢測的精度往往較低。稠密是一個相對主觀的詞 匯，稠密對象的環(huán)境是指在檢測范圍內(nèi)存在大量的檢測對象，并且由于對象數(shù)量眾多通常 伴隨有對象遮擋。由于存在對象遮擋，因此在稠密對象的環(huán)境中難以對相機(jī)捕獲的圖像進(jìn) 行對象分割，從而導(dǎo)致對象檢測精度較低。
[0004] 另一方面，眾所周知，對于進(jìn)行拍攝的相機(jī)而言，誤差是一個固有的問題?；旧?， 隨著相機(jī)與被拍攝對象之間的距離的增大，通過該相機(jī)獲得的信息的誤差越大。采用多個 相機(jī)進(jìn)行拍攝并對于從多個相機(jī)獲取的信息進(jìn)行融合是解決誤差問題并提高對象的檢測 精度的一種方式。按照融合對象層次的不同，融合大致可以分為三類：原始數(shù)據(jù)集的融合、 特征集的融合、以及結(jié)果集的融合。原始數(shù)據(jù)集的融合由于網(wǎng)絡(luò)傳輸數(shù)據(jù)量大和處理的數(shù) 據(jù)量大，因此無法在實(shí)際場景中進(jìn)行實(shí)時應(yīng)用。對于結(jié)果集的融合，由于各結(jié)果集已經(jīng)丟失 了許多原始的信息和特征，因此結(jié)果集本身的置信度不確定，從而可能導(dǎo)致融合的結(jié)果的 錯誤率高。另外，無論采用上述三類融合中的哪一種，都仍然存在在稠密對象的環(huán)境下對象 檢測的精度較低的問題。

【發(fā)明內(nèi)容】

[0005] 根據(jù)本發(fā)明的一個實(shí)施例，提供了一種對象檢測方法，包括：確定至少一個立體相 機(jī)捕獲的深度圖像中的前景像素在現(xiàn)實(shí)世界中的對應(yīng)前景像素點(diǎn)；基于所述前景像素點(diǎn)的 密度，在堅(jiān)直方向上對由所述前景像素點(diǎn)形成的點(diǎn)云進(jìn)行分層；響應(yīng)于分層后的層數(shù)多于 一層，對于除了最低層之外的各層，從最高層開始順序地對于每一層進(jìn)行以下檢測處理：對 該層及該層以上的各層中的前景像素點(diǎn)進(jìn)行聚類以獲得各個候選對象的局部；對于聚類得 到的每一個候選對象的局部向下進(jìn)行區(qū)域生長；基于預(yù)先設(shè)定的目標(biāo)對象模型確定每一個 區(qū)域生長得到的候選對象是否為目標(biāo)對象。
[0006] 根據(jù)本發(fā)明的另一實(shí)施例，提供了一種目標(biāo)對象檢測設(shè)備，包括：確定單元，配置 為確定至少一個立體相機(jī)捕獲的深度圖像中的前景像素在現(xiàn)實(shí)世界中的對應(yīng)前景像素點(diǎn)； 劃分單元，配置為基于所述前景像素點(diǎn)的密度，在堅(jiān)直方向上對由所述前景像素點(diǎn)形成的 點(diǎn)云進(jìn)行分層；檢測單元，包括聚類單元、區(qū)域生長單元和驗(yàn)證單元，配置為在劃分單元所 分的層數(shù)多于一層的情況下，對于除了最低層之外的各層，從最高層開始順序地對于每一 層進(jìn)行以下處理：聚類單元對該層及該層以上的各層中的前景像素點(diǎn)進(jìn)行聚類以獲得各個 候選對象的局部；區(qū)域生長單元對于聚類得到的每一個候選對象的局部向下進(jìn)行區(qū)域生 長；驗(yàn)證單元基于預(yù)先設(shè)定的目標(biāo)對象模型確定每一個區(qū)域生長得到的候選對象是否為目 標(biāo)對象。
[0007] 根據(jù)本發(fā)明實(shí)施例的目標(biāo)對象檢測技術(shù)即使在發(fā)生對象遮擋的情況下，也能實(shí)現(xiàn) 較高的檢測精度。
【附圖說明】
[0008] 圖1示出了根據(jù)本發(fā)明第一實(shí)施例的目標(biāo)對象檢測方法的流程圖。
[0009] 圖2例示了將前景像素投影至現(xiàn)實(shí)的三維世界中得到的對應(yīng)的前景像素點(diǎn)的示 意圖。
[0010] 圖3示出了對于從最高層至最低層的上一層中的每一層進(jìn)行的對象檢測處理的 流程圖。
[0011] 圖3示出了根據(jù)本發(fā)明第一實(shí)施例的利用視差圖的對象跟蹤方法的流程圖。
[0012] 圖4例示了對于最高層中的前景像素點(diǎn)進(jìn)行聚類得到的候選對象的局部的示意 圖。
[0013] 圖5示出了示例性的目標(biāo)對象模型的示意圖。
[0014] 圖6例示了對于3D現(xiàn)實(shí)世界中的前景像素點(diǎn)執(zhí)行根據(jù)本發(fā)明實(shí)施例的上述目標(biāo) 對象檢測處理的示例情形。
[0015] 圖7示出了根據(jù)本發(fā)明第二實(shí)施例的目標(biāo)對象檢測方法的流程圖。
[0016] 圖8例示了將由多個立體相機(jī)捕獲的前景像素投影至現(xiàn)實(shí)的三維世界中得到的 對應(yīng)的前景像素點(diǎn)的示意圖。
[0017] 圖9(a)_9(c)示出了表征相機(jī)與特定距離相關(guān)聯(lián)的定位誤差的高斯分布的示意 圖。
[0018] 圖10示出了根據(jù)本發(fā)明實(shí)施例的目標(biāo)對象檢測設(shè)備的功能配置框圖。
[0019] 圖11示出了根據(jù)本發(fā)明實(shí)施例的目標(biāo)對象檢測系統(tǒng)的總體硬件框圖。
【具體實(shí)施方式】
[0020] 為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對本發(fā) 明作進(jìn)一步詳細(xì)說明。
[0021] 首先對本發(fā)明的基本思想進(jìn)行簡要的介紹。如前所述，稠密對象的環(huán)境是指在檢 測范圍內(nèi)存在大量待檢測的目標(biāo)對象、并且由于對象數(shù)量眾多通常伴隨有對象遮擋的情 形。為了便于理解，可以認(rèn)為目標(biāo)對象是人，并設(shè)想例如超市、銀行、醫(yī)院中擁擠的人群的場 景。由于擁擠的人群中的各個人相互遮擋，因此基于相機(jī)捕獲的圖像通過例如聚類等方式 分割各個人是很困難的。然而，在例如超市、銀行、醫(yī)院等場所中，相機(jī)（攝像機(jī)）通常安裝 在高處，因此雖然各個人體互相遮擋，但是高處（例如，人的頭部）的遮擋是較小的。在本 發(fā)明中，基于高處的遮擋小這一物理特性，利用人體在高處的部位（例如，人的頭部）來分 割各個人，從而能夠獲得較為準(zhǔn)確的分割，進(jìn)而改善了對象的檢測精度。
[0022] 〈第一實(shí)施例〉
[0023] 圖1示出了根據(jù)本發(fā)明第一實(shí)施例的目標(biāo)對象檢測方法的流程圖。
[0024] 如圖1所示，在步驟S101，確定單個立體相機(jī)捕獲的深度圖像中的前景像素在現(xiàn) 實(shí)世界中的對應(yīng)前景像素點(diǎn)。
[0025] 待檢測的對象位于深度圖像的前景中，因此在該步驟中，從立體相機(jī)捕獲的深度 圖像中分割出前景像素，隨后通過例如坐標(biāo)轉(zhuǎn)換確定所述前景像素在現(xiàn)實(shí)的三維世界中的 對應(yīng)前景像素點(diǎn)。
[0026] 可以采用本領(lǐng)域中任何公知的技術(shù)從深度圖像中分割出前景像素。例如，可以基 于深度圖進(jìn)行背景建模，然后根據(jù)建立的背景模型，通過差值運(yùn)算得到前景像素。所述前景 像素可以通過例如Foreground_Pixel (u, V，depth)來表示，其中u, V是前景像素在深 度圖像中的位置，depth是前景像素的深度值。
[0027] 通過坐標(biāo)轉(zhuǎn)換確定前景像素投影在現(xiàn)實(shí)的三維世界中的對應(yīng)前景像素點(diǎn)是本領(lǐng) 域中的公知技術(shù)，為了避免不必要地混淆本發(fā)明的
【發(fā)明內(nèi)容】
，此處省略對該轉(zhuǎn)換過程的詳 細(xì)描述。圖2例示了通過坐標(biāo)轉(zhuǎn)換將前景像素投影至現(xiàn)實(shí)的三維世界中得到的對應(yīng)的前景 像素點(diǎn)的示意圖。前景像素在三維世界中的對應(yīng)前景像素點(diǎn)可以通過Foreground_Point (X，y，z)來表示，其中x，y，z是該前景像素點(diǎn)在三維世界坐標(biāo)系中的坐標(biāo)值。
[0028] 在步驟S102,基于所述前景像素點(diǎn)的密度，在堅(jiān)直方向上對由所述前景像素點(diǎn)形 成的點(diǎn)云進(jìn)行分層。
[0029] 如前所述，在本發(fā)明中，基于高處的遮擋小這一物理特性，利用對象在高處的部位 來分割各個對象，從而能夠獲得較為準(zhǔn)確的分割。為了獲得對象在高處的部位，可以在堅(jiān)直 方向上對由前景像素點(diǎn)形成的點(diǎn)云進(jìn)行分層。
[0030] 例如，以待檢測的目標(biāo)對象是成年人為例。通常情況下，成年人的高度在150cm到 200cm之間。因此，可以將由前景像素點(diǎn)形成的點(diǎn)云分為以下幾層：180cm以上為第一層，從 160cm到180 cm為第二層；從140cm到160cm為第三層，140cm以下為第四層。當(dāng)然，這一 分層方法僅僅是一種示例，其他分層方案也是可行的。例如可以將175cm以上劃分為第一 層，將從160cm到175 cm劃分為第二層，將從145cm到165cm劃分為第三層，將145cm以下 作為第四層。而且，每一層的高度可以是相同的，也可以是不同的。另外，所分的層數(shù)并非是 固定的，而是可以根據(jù)前景像素點(diǎn)的密度來確定要分的層數(shù)。作為一種極端情況，如果前景 像素點(diǎn)的密度很小，即待檢測對象數(shù)量少，也可以將由前景像素點(diǎn)形成的點(diǎn)云僅分為一層。 總之，可以根據(jù)待檢測對象的具體情況來對前景像素點(diǎn)形成的點(diǎn)云進(jìn)行分層。
[0031] 在步驟S103,響應(yīng)于分層后的層數(shù)多于一層，對于除了最低層之外的各層，從最高 層開始順序地對于每一層進(jìn)行對象檢測。
[0032] 為了便于說明，將最高層稱為第1層，假設(shè)最低層為第N層，則在該步驟S103中， 響應(yīng)于分層后的層數(shù)N大于1，從第1層開始，順序地對于第1層到第N-I層中的每一層進(jìn) 行對象檢測。
[0033] 圖3示出了對于從第1層到第N-I層中的每一層進(jìn)行的對象檢測處理的流程圖。 也就是說，在步驟S103中，將從第1層開始，順序地對于第1層到第N-I層中的每一層進(jìn)行 如圖3所示的對象檢測處理。下面，將對圖3中所示的對象檢測處理進(jìn)行詳細(xì)的說明。
[0034] 如圖3所示，在步驟S1031，對預(yù)定層及該層以上的各層中的前景像素點(diǎn)進(jìn)行聚類 以獲得各個候選對象的局部。
[0035] 所述預(yù)定層為按照順序從要進(jìn)行對象檢測處理的各層中選擇的層。如上所述，首 先將對于第1層（即最高層）進(jìn)行該步驟。由于第1層沒有在其之上的層，因此在該步驟 中僅對于第1層中的前景像素點(diǎn)進(jìn)行聚類。
[0036] 可以采用諸如K-MEANS算法、CLARANS算法、BIRCH算法、⑶RE算法等本領(lǐng)域中各 種公知的聚類算法對所述前景像素點(diǎn)進(jìn)行聚類。在本實(shí)施例中，作為示例，采用K-MEANS算 法。
[0037] K