對(duì)象檢測(cè)方法和對(duì)象檢測(cè)裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及對(duì)象檢測(cè)的領(lǐng)域，更具體地，本發(fā)明涉及一種對(duì)象檢測(cè)方法和對(duì)象檢測(cè)裝置。
【背景技術(shù)】
[0002]隨著監(jiān)控視頻的普及和對(duì)安全問(wèn)題的日益關(guān)注，對(duì)于智能的分析監(jiān)控視頻數(shù)據(jù)中的特定對(duì)象，例如行人或車輛，有著緊迫的需求。
[0003]以行人檢測(cè)為例，在一種行人檢測(cè)方法中，對(duì)視頻場(chǎng)景進(jìn)行分塊(blob)處理，然后以塊為單位進(jìn)行行人跟蹤。這種方法往往對(duì)行人密集程度比較低的場(chǎng)景有效，但是對(duì)客流比較復(fù)雜或者客流量大的場(chǎng)景，每個(gè)塊可能包含多個(gè)行人，這種算法難以確定地定位到每一個(gè)行人。
[0004]在另一種行人檢測(cè)方法中，對(duì)視頻中每一幀直接使用行人檢測(cè)算法。然而，這種方法的計(jì)算時(shí)間復(fù)雜度比較高，而且對(duì)于客流比較大的監(jiān)控場(chǎng)景，由于場(chǎng)景中存在很強(qiáng)的遮擋情況，也很難完整地定位出場(chǎng)景中的每一個(gè)行人。

【發(fā)明內(nèi)容】

[0005]有鑒于上述情況，本發(fā)明提供了一種對(duì)象檢測(cè)方法和對(duì)象檢測(cè)裝置，其即使在復(fù)雜的高密度場(chǎng)景中也能進(jìn)行準(zhǔn)確的對(duì)象檢測(cè)。
[0006]進(jìn)一步地，本發(fā)明還提供了一種對(duì)象檢測(cè)方法和對(duì)象檢測(cè)裝置，其不僅能夠在復(fù)雜的高密度場(chǎng)景中進(jìn)行準(zhǔn)確的對(duì)象檢測(cè)，還能夠在后續(xù)準(zhǔn)確地進(jìn)行對(duì)象跟蹤。
[0007]根據(jù)本發(fā)明一實(shí)施例，提供了一種對(duì)象檢測(cè)方法，包括:將圖像序列中的至少一幀圖像映射到三維物理空間，以獲得所述圖像中每個(gè)像素的三維坐標(biāo)；提取所述圖像中的前景區(qū)域；對(duì)所述前景區(qū)域進(jìn)行分塊操作，以獲得塊集合；以及對(duì)所述塊集合中的每個(gè)塊，基于所述塊中預(yù)定參考點(diǎn)的三維坐標(biāo)，通過(guò)神經(jīng)網(wǎng)絡(luò)檢測(cè)所述塊中的對(duì)象，以得到對(duì)象檢測(cè)結(jié)果。
[0008]根據(jù)本發(fā)明另一實(shí)施例，提供了一種對(duì)象檢測(cè)裝置，包括:三維坐標(biāo)獲取單元，將圖像序列中的至少一幀圖像映射到三維物理空間，以獲得所述圖像中每個(gè)像素的三維坐標(biāo)；前景提取單元，提取所述圖像中的前景區(qū)域；分塊單元，對(duì)所述前景區(qū)域進(jìn)行分塊操作，以獲得塊集合；以及檢測(cè)單元，對(duì)所述塊集合中的每個(gè)塊，基于所述塊中預(yù)定參考點(diǎn)的三維坐標(biāo)，通過(guò)神經(jīng)網(wǎng)絡(luò)檢測(cè)所述塊中的對(duì)象，以得到對(duì)象檢測(cè)結(jié)果。
[0009]根據(jù)本發(fā)明另一實(shí)施例，提供了一種對(duì)象檢測(cè)裝置，包括:處理器；存儲(chǔ)器；和存儲(chǔ)在所述存儲(chǔ)器中的計(jì)算機(jī)程序指令，在所述計(jì)算機(jī)程序指令被所述處理器運(yùn)行時(shí)執(zhí)行以下步驟:將圖像序列中的至少一幀圖像映射到三維物理空間，以獲得所述圖像中每個(gè)像素的三維坐標(biāo)；提取所述圖像中的前景區(qū)域；對(duì)所述前景區(qū)域進(jìn)行分塊操作，以獲得塊集合；以及對(duì)所述塊集合中的每個(gè)塊，基于所述塊中預(yù)定參考點(diǎn)的三維坐標(biāo)，通過(guò)神經(jīng)網(wǎng)絡(luò)檢測(cè)所述塊中的對(duì)象，以得到對(duì)象檢測(cè)結(jié)果。
[0010]根據(jù)本發(fā)明另一實(shí)施例，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，在所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)了計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令在被計(jì)算機(jī)運(yùn)行時(shí)執(zhí)行以下步驟:將圖像序列中的至少一幀圖像映射到三維物理空間，以獲得所述圖像中每個(gè)像素的三維坐標(biāo)；提取所述圖像中的前景區(qū)域；對(duì)所述前景區(qū)域進(jìn)行分塊操作，以獲得塊集合；以及對(duì)所述塊集合中的每個(gè)塊，基于所述塊中預(yù)定參考點(diǎn)的三維坐標(biāo)，通過(guò)神經(jīng)網(wǎng)絡(luò)檢測(cè)所述塊中的對(duì)象，以得到對(duì)象檢測(cè)結(jié)果。
[0011]在本發(fā)明實(shí)施例的對(duì)象檢測(cè)方法和對(duì)象檢測(cè)裝置中，對(duì)各幀圖像進(jìn)行分塊操作，通過(guò)神經(jīng)網(wǎng)絡(luò)檢測(cè)所得到的每個(gè)塊，從而即使在復(fù)雜的高密度場(chǎng)景中也能進(jìn)行準(zhǔn)確的對(duì)象檢測(cè)。
【附圖說(shuō)明】
[0012]圖1是圖示根據(jù)本發(fā)明一實(shí)施例的對(duì)象檢測(cè)方法的主要步驟的流程圖；
[0013]圖2是圖示根據(jù)本發(fā)明另一實(shí)施例的對(duì)象檢測(cè)方法的主要步驟的流程圖；
[0014]圖3是圖示根據(jù)本發(fā)明一實(shí)施例的對(duì)象檢測(cè)裝置的主要配置的框圖；
[0015]圖4是圖示根據(jù)本發(fā)明另一實(shí)施例的對(duì)象檢測(cè)裝置的主要配置的框圖；以及
[0016]圖5是圖示根據(jù)本發(fā)明又一實(shí)施例的對(duì)象檢測(cè)裝置的主要配置的框圖。
【具體實(shí)施方式】
[0017]以下將參考附圖詳細(xì)描述本發(fā)明實(shí)施例。
[0018]首先，參照?qǐng)D1描述根據(jù)本發(fā)明實(shí)施例的對(duì)象檢測(cè)方法。
[0019]如圖1所示，首先，在步驟S110，將圖像序列中的至少一幀圖像映射到三維物理空間，以獲得所述圖像中每個(gè)像素的三維坐標(biāo)。
[0020]所述圖像序列可以由安裝在所要檢測(cè)的場(chǎng)景中的攝像頭采集。所述至少一幀圖像可以為所述圖像序列中的任一幀或多幀圖像?？蛇x地，在對(duì)象檢測(cè)之后還要進(jìn)行對(duì)象跟蹤的情況下，可將圖像序列中的多幀圖像甚至每一幀圖像映射到三維物理空間。
[0021]關(guān)于映射，示例性地，首先，可以在圖像空間中確定預(yù)定參考面上的不共線的三個(gè)像素。所述預(yù)定參考面例如為地平面等。
[0022]接下來(lái)，可以獲取所述三個(gè)像素的深度信息。所述深度信息表示所述像素對(duì)應(yīng)的真實(shí)世界中的點(diǎn)與相機(jī)原點(diǎn)之間的距離。作為一示例，所述深度信息可以通過(guò)測(cè)距儀觀測(cè)得到。作為另一示例，所述深度信息可通過(guò)人工估計(jì)得到。作為又一示例，所述深度信息可通過(guò)深度相機(jī)獲得。
[0023]在獲取了這三個(gè)像素的深度信息之后，可以基于所述三個(gè)像素的深度信息，建立從圖像空間到三維物理空間的映射變換。示例性地，假設(shè)相機(jī)模型為小孔成像模型，從而可以基于所述三個(gè)像素的深度信息，通過(guò)小孔成像模型，建立所述映射變換。由此，可以將所述圖像中的每個(gè)像素通過(guò)所述映射變換而映射到三維物理空間，從而獲得每個(gè)像素的三維坐標(biāo)。所述三維坐標(biāo)例如可以以相機(jī)所在的位置為原點(diǎn)。
[0024]接下來(lái)，所述對(duì)象檢測(cè)方法進(jìn)行到步驟S120。在步驟S120，提取所述圖像中的前景區(qū)域。
[0025]具體地，首先，可以通過(guò)例如基于以像素為單位的方法、基于顏色模型的方法、基于幀為單位的子空間方法等的各種方法，確定背景模型。然后，從所述圖像中提取出不同于背景模型的區(qū)域作為前景區(qū)域。當(dāng)然，以上所述的前景區(qū)域提取方式僅為示例。本領(lǐng)域技術(shù)人員完全可根據(jù)除此以外的各種方式來(lái)提取圖像中的前景區(qū)域。
[0026]此外，可選地，為使對(duì)象檢測(cè)結(jié)果更為精確，還可對(duì)所述圖像進(jìn)行陰影清除處理，也即，通過(guò)陰影檢測(cè)算法清除前景區(qū)域中的陰影部分。具體地，例如，考慮到陰影部分中的光線亮度會(huì)比非陰影部分中的光線亮度更暗，此外，考慮到陰影部分會(huì)保存地面本身的紋理信息，因此，可以基于亮度信息、紋理信息等的各種信息，通過(guò)本領(lǐng)域已知的和將來(lái)開(kāi)發(fā)的各種陰影檢測(cè)算法找到陰影部分，然后從前景區(qū)域中清除所述陰影部分。
[0027]然后，在步驟S130，對(duì)所述前景區(qū)域進(jìn)行分塊操作，從而最終獲得各個(gè)不連通的塊，形成塊集合。具體地，可以采用圖像處理領(lǐng)域中已知的和未來(lái)開(kāi)發(fā)的各種分塊處理方式，對(duì)所述前景區(qū)域進(jìn)行分塊操作，在此不再詳述。
[0028]在通過(guò)分塊處理獲得了由各個(gè)塊組成的塊集合之后，在步驟S140，對(duì)所述塊集合中的每個(gè)塊，基于所述塊中預(yù)定參考點(diǎn)的三維坐標(biāo)，通過(guò)神經(jīng)網(wǎng)絡(luò)檢測(cè)所述塊中的對(duì)象，以得到對(duì)象檢測(cè)結(jié)果。
[0029]具體地，首先，可基于所述塊中與預(yù)定參考面接觸的像素的三維坐標(biāo)以及所述塊的尺寸信息，估計(jì)真實(shí)場(chǎng)景中所述塊的物理尺寸。更具體地，這里，可以假設(shè)同一塊中所有對(duì)象處于相同或相似的深度距離下