一種基于立體視覺的目標檢測方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本公開涉及立體視覺圖像處理領(lǐng)域，且更具體地，涉及基于立體視覺的目標檢測 技術(shù)。
【背景技術(shù)】
[0002] 諸如人的目標的檢測與跟蹤是W例如人為中也計算的技術(shù)的基礎(chǔ)，在人被準確的 定位后方能提供和推送主動的服務(wù)。諸如人的目標定位是得到目標在室內(nèi)或者室外的位置 信息，也就是得到目標在世界坐標系中的坐標值（X，y，Z)。
[0003] 諸如人的目標的檢測的正確性是諸如人的目標的定位的根本問題。目前，其仍是 一個挑戰(zhàn)性的技術(shù)課題。H維視覺的引入對于解決該個問題有了很大的提高。H維視覺不 僅包含圖像的紅、綠、藍（RGB)的顏色信息，還包含深度(距離）信息。立體相機是一種常見 的可W輸出H維視覺圖像的設(shè)備。
[0004] 雖然利用H維視覺的目標檢測和跟蹤的系統(tǒng)可W獲得優(yōu)于二維視覺系統(tǒng)的性能， 但是，現(xiàn)存的H維視覺系統(tǒng)還是存在著很大的可改進空間。比如，基于立體相機的人的檢測 技術(shù)在處理稠密(擁擠）人群時，精度仍然有限。比如在超市和購物大廈中人的檢測，此時 目標稠密，單個目標被嚴重遮擋，該將導(dǎo)致現(xiàn)有技術(shù)檢測難度很大或者檢測精度比較低。因 此，如何更充分的利用H維信息來提高稠密目標的檢測效率是充滿了挑戰(zhàn)和實際意義的課 題。
[0005]BRUMITT在 2003 年 12 月 2 日公告的題為"Systemandprocessforlocating andtrackingapersonorobjectinasceneusingaseriesofrangeimages'，的美 國專利號US6658136B1提出了一種方法和裝置，利用一系列的深度圖像來進行人的定位和 跟蹤。該方法主要流程為，利用多峽連續(xù)圖像建立背景模型，通過與背景模型相減獲得前景 圖像；利用前景像素與立體相機的距離，將前景圖像分割為不同區(qū)域，每一個區(qū)域代表了一 個目標；將分割的區(qū)域投影到鳥橄視圖上來進行目標定位。該專利提出的方法首先是基于 距離信息的分割方法，然后在鳥橄視圖上，采用基于聯(lián)通性的分割優(yōu)化技術(shù)，來達到將單個 目標檢測出來并且完成目標定位。
[0006]ZHANG等人于 2013 年 7 月 18 日公開的題為"SYSTEMANDMET冊DFORVIDEO CONTENTANALYSISUSINGDEPTHSENSING"的美國專利申請公開號US20130182904A1 提出 了一種基于深度傳感器的視頻內(nèi)容分析的系統(tǒng)和方法。該方法首先利用2D(RGB)圖像進 行前景提取，然后對前景像素的3D點云進行聚類，最后利用分割塊的物理(高度）體積對目 標進行檢查和分類?？偨Y(jié)來說，該方法利用3D點云的聚類來得到關(guān)于聚類塊的3D模型(高 度和體積)，然后利該些信息來檢查目標和對目標進行分類。
[0007] 但是，仍然需要改進的基于立體視覺的目標檢測技術(shù)。

【發(fā)明內(nèi)容】

[0008] 鑒于上述情況，提出了本發(fā)明。
[0009] 需要解決如何正確地、有效地分割和檢測目標，特別是針對比較擁擠的場景。在引 入深度設(shè)備巧日雙目相機和飛行時間（Timeoffli曲t，T0F)相機）后，獲取的圖像包含了 (X，y，Z)的3D信息。在3D視覺中，為了解決在2D圖像中的遮擋問題，目標檢測一般會在鳥 橄視圖上進行。然而，當2個或者多個目標彼此很近又存在遮擋，使得目標在圖像中只有部 分身體。在現(xiàn)有目標檢測技術(shù)中，該樣的多個目標容易出現(xiàn)漏檢的情況。
[0010] 因此，需要利用3D信息更準確、有效地將每個目標分割出來，特別是在目標相互 很近又存在遮擋的情況下。
[0011] 根據(jù)本公開的一個方面，提供一種基于立體視覺的目標檢測方法，包括：獲得從立 體深度圖像提取的前景深度圖像；設(shè)置高度闊值，W得到在前景深度圖像中高于所述高度 闊值的區(qū)塊；如果得到的區(qū)塊滿足預(yù)定單目標條件，則將所述得到的區(qū)塊檢測為單個目標 所在的區(qū)塊；如果得到的區(qū)塊滿足預(yù)定多目標條件，則將得到的區(qū)塊中的多個目標所在的 每個更小的區(qū)塊檢測為單個目標所在的區(qū)塊；如果得到的區(qū)塊不滿足預(yù)定單目標條件或預(yù) 定多目標條件，則改變所述高度闊值，直到確定得到的區(qū)塊滿足所述預(yù)定單目標條件或預(yù) 定多目標條件。
[0012] 根據(jù)本公開的另一個方面，提供一種基于立體視覺的目標檢測系統(tǒng)，包括；前景提 取裝置，被配置為獲得從立體深度圖像提取的前景深度圖像；高度闊值設(shè)置裝置，被配置為 設(shè)置高度闊值，W得到在前景深度圖像中高于所述高度闊值的區(qū)塊；目標檢測裝置，被配置 為：如果得到的區(qū)塊滿足預(yù)定單目標條件，則將所述得到的區(qū)塊檢測為單個目標所在的區(qū) 塊；如果得到的區(qū)塊滿足預(yù)定多目標條件，則將得到的區(qū)塊中的多個目標所在的每個更小 的區(qū)塊檢測為單個目標所在的區(qū)塊；高度闊值改變裝置，被配置為如果得到的區(qū)塊不滿足 預(yù)定單目標條件或預(yù)定多目標條件，則改變所述高度闊值，直到所述目標檢測裝置確定得 到的區(qū)塊滿足所述預(yù)定單目標條件或預(yù)定多目標條件。
【附圖說明】
[0013] 圖1示出了應(yīng)用根據(jù)本發(fā)明的一個實施例的目標檢測技術(shù)的場景示意圖。
[0014] 圖2示出了根據(jù)本發(fā)明的一個實施例的基于立體視覺的目標檢測方法的流程圖。
[0015] 圖3A示出了根據(jù)本發(fā)明的另一實施例的基于立體視覺的目標檢測方法的流程 圖；圖3B示出了示例前景圖像；圖3C示出了示例鳥橄視圖。
[0016] 圖4A示出在圖3A的方法中的基于高度信息的區(qū)塊的分割(步驟S14)的示例的具 體流程圖；圖4B示出了基于高度信息的區(qū)塊的分割的原理圖；
[0017] 圖5示出了在圖3A的方法中的對分割得到的區(qū)塊進行單目標驗證和多目標驗證 (步驟S15)和輸出目標檢測結(jié)果（S16)的示例的具體流程圖。
[001引圖6A示出了如圖5中的步驟S151的初級驗證的實例示意圖；圖6B示出了如圖 5中的步驟S153的獲得區(qū)塊內(nèi)的運動矢量的實例示意圖；圖6C示出了如圖5中的步驟 S153-S155-S16 (聚類的個數(shù)〉1的情況）的實例示意圖。
[0019] 圖7A示出了如圖5中的步驟S156的計算區(qū)塊的高度分布特征與預(yù)定的高度分布 特征之間的置信度的示例的具體流程圖；圖7B示出了如圖7A所示的流程圖的實例示意圖。
[0020] 圖8示出了如圖5中的步驟S158-S159-S16的實例示意圖。
[0021] 圖9A-9G示出了應(yīng)用本技術(shù)的各個實施例得到的目標檢測的過程和結(jié)果的示例 示意圖。
[0022] 對于單個目標(斑塊）來說，分布都極為相似一具有較高高度的頭肩部分在目標 (斑塊)中間，具有較低高度的手足部分在目標(斑塊)周圍。同時，底部的圖片示出多個目標 非?？拷鼤r，在鳥橄是圖上他們是連接起來的。
[0023] 圖10示出了根據(jù)本發(fā)明的另一實施例的基于立體視覺的目標檢測系統(tǒng)的方框 圖。
[0024] 圖11示出了根據(jù)本發(fā)明的另一實施例的基于立體視覺的目標檢測系統(tǒng)的方框 圖。
【具體實施方式】
[0025] 現(xiàn)在將詳細參照本發(fā)明的具體實施例，在附圖中例示了本發(fā)明的例子。盡管將結(jié) 合具體實施例描述本發(fā)明，但將理解，不是想要將本發(fā)明限于所述的實施例。相反，想要覆 蓋由所附權(quán)利要求限定的在本發(fā)明的精神和范圍內(nèi)包括的變更、修改和等價物。應(yīng)注意，該 里描述的方法步驟都可W由任何功能塊或功能布置來實現(xiàn)，且任何功能塊或功能布置可被 實現(xiàn)為物理實體或邏輯實體、或者兩者的組合。
[0026] 為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實施方式】對本發(fā) 明作進一步詳細說明。
[0027] 圖1示出了應(yīng)用根據(jù)本發(fā)明的一個實施例的目標檢測技術(shù)的場景示意圖。
[0028]圖1主要示出了應(yīng)用根據(jù)本發(fā)明的一個實施例的目標檢測技術(shù)的輸入和輸出。其 中，輸入的信息來自于一個雙目相機1。在經(jīng)過應(yīng)用了根據(jù)本發(fā)明的實施例的目標檢測技術(shù) 的計算機之后，輸出是將圖像中的目標分割開來，例如W鳥橄圖的形式呈現(xiàn)出來。如圖1右 下所示的鳥橄圖中，不同的區(qū)塊可W表示不同的單個目標。當然，圖1只是一個應(yīng)用場景的 示例示意圖，只顯示了一個雙目相機作為輸入，但是實際上，本技術(shù)的輸入可W是任何能輸 出深度信息的設(shè)備。
[0029] 在此，鳥橄視圖（或鳥橄圖）是本領(lǐng)域常用的技術(shù)名詞，通常表示從上往下的俯視 圖。
[0030] 圖2示出了根據(jù)本發(fā)明的一個實施例的基于立體視覺的目標檢測方法的流程圖。
[0031] 圖2所示的基于立體視覺的目標檢測方法200包括；步驟S201，獲得從立體深度 圖像提取的前景深度圖像；步驟S202,設(shè)置高度闊值，W得到在前景深度圖像中高于所述 高度闊值的區(qū)塊；步驟S203,如果得到的區(qū)塊滿足預(yù)定單目標條件，則將所述得到的區(qū)塊 檢測為單個目標所在的區(qū)塊；步驟S204,如果得到的區(qū)塊滿足預(yù)定多目標條件，則將得到 的區(qū)塊中的多個目標所在的每個更小的區(qū)塊檢測為單個目標所在的區(qū)塊；步驟S205,如果 得到的區(qū)塊不滿足預(yù)定單目標條件或預(yù)定多目標條件，則改變所述高度闊值，直到確定得 到的區(qū)塊滿足所述預(yù)定單目標條件或預(yù)定多目標條件。
[0032] 如此，通過基于立體視覺的圖像中的前景圖像的高度信息，來得到高于某一高度 闊值的區(qū)塊，并通過改變高度闊值一次或多次來得到滿足預(yù)定單目標條件或預(yù)定多目標條 件的區(qū)塊，從而檢測到該立體圖像中的目標所在的區(qū)塊。在一個例子中，該種基于前景圖像 的高度信息和高度闊值的設(shè)置和改變來檢測目標區(qū)塊的方式能夠很好地檢測有高度變化 的通常直立的目標、例如行人、車輛、建筑物。
[0033] 在一個實施例中，所述預(yù)定單目標條件可W包括；條件1，得到的區(qū)塊在鳥橄視圖 上的大小小于與要檢測的目標相關(guān)聯(lián)的預(yù)定大小。
[0034] 通常，如果已知要檢測目標之后，可W通過經(jīng)驗值或通過樣本學習來得到與檢測 的目標相關(guān)聯(lián)的預(yù)定大小，例如在目標是人的區(qū)塊下，可W將預(yù)定大小設(shè)置為40cmX40cm， 該數(shù)值40cm是通常的人的肩膀的寬度。當然該示例中僅使用正方形作為與要檢測的目標 相關(guān)聯(lián)的預(yù)定大小，實際上也可W根據(jù)目標的鳥橄視圖的形狀而采用其他形狀、例如長方 形、圓形、H角形、多邊形等，而形狀的大小也是可W根據(jù)實際目標的情況來重新設(shè)置的。 [00巧]如此，可W粗略地將前景圖像分割為包括目標的區(qū)塊。如果為了算法簡單、節(jié)省時 間，在該實施例（W下，稱為初級驗證）中，已經(jīng)可W得到粗略的目標分割的結(jié)果了。
[0036] 當然，在有些情況下，實際上存在在與要檢測的目標相關(guān)聯(lián)的預(yù)定大小內(nèi)的兩個 或更多目標，例如