專利名稱：一種基于深度圖像的多目標(biāo)分割和跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理、模式識(shí)別、自動(dòng)控制及計(jì)算機(jī)應(yīng)用領(lǐng)域，尤其涉及一種基于深度圖像的多目標(biāo)分割與跟蹤方法。
背景技術(shù)：
圖像分割是圖像處理到圖像分析的關(guān)鍵步驟，是目標(biāo)跟蹤的準(zhǔn)備階段，也是進(jìn)一步圖像理解的基礎(chǔ)。所謂圖像分割是指把圖像分成各具特性的區(qū)域并提取出感興趣目標(biāo)的技術(shù)和過(guò)程。圖像分割的應(yīng)用廣泛，幾乎出現(xiàn)在有關(guān)圖像處理的所有領(lǐng)域。例如，在遙感應(yīng)用中，不同云系背景之間的分割，植被、道路、橋梁、水體間的分割等；在醫(yī)學(xué)應(yīng)用中，腦部 MR圖像分割；在交通圖像分析中，車輛從背景中的分割、對(duì)車牌的分割等；在這些應(yīng)用中， 分割通常是為了進(jìn)一步對(duì)圖像進(jìn)行分析、識(shí)別、壓縮編碼等，分割的準(zhǔn)確性將直接影響后續(xù)任務(wù)的有效性。因此，分割的方法和精確度是至關(guān)重要的。近幾年來(lái)，研究人員不斷改進(jìn)原有方法并把其他學(xué)科的一些理論和方法用于圖像分割，提出了不少新的分割方法，有分水嶺分割技術(shù)、金字塔分割技術(shù)以及均值漂移分割技術(shù)等技術(shù)、遺傳技術(shù)、尺度空間、多分辨率方法、非線性擴(kuò)散方程等。目前，圖像分割所采用的數(shù)據(jù)源主要為灰度圖像和彩色圖像，但都有著不可避免的缺點(diǎn)就灰度圖像而言，當(dāng)圖像中灰度差異不明顯或者各物體的灰度范圍值有大部分重疊現(xiàn)象時(shí)，往往難以得到準(zhǔn)確的分割結(jié)果，從而產(chǎn)生很多過(guò)分割錯(cuò)誤；而彩色圖像不僅包括亮度信息，而且還有更多的有效信息，如色調(diào)、飽和度，實(shí)際上同樣景物的灰度圖像所包含的信息量與彩色圖像難以相比，人類對(duì)色彩的感知更敏感，一幅質(zhì)量較差的彩色圖像似乎比一幅完美的灰度圖像更具有吸引力，但其分割處理太過(guò)于復(fù)雜，實(shí)現(xiàn)也比灰度圖像困難的多。目標(biāo)動(dòng)態(tài)跟蹤涉及了圖像處理、模式識(shí)別、自動(dòng)控制及計(jì)算機(jī)應(yīng)用領(lǐng)域，是計(jì)算機(jī)視覺(jué)和圖像編碼研究領(lǐng)域的一個(gè)重要課題，在軍事武器、工業(yè)監(jiān)控、交通管理等領(lǐng)域都有廣泛的應(yīng)用。目標(biāo)動(dòng)態(tài)跟蹤不僅需要完成背景分割，同時(shí)更得對(duì)目標(biāo)進(jìn)行識(shí)別，實(shí)現(xiàn)動(dòng)態(tài)定位識(shí)別，同時(shí)，背景噪聲和不特定的干擾等問(wèn)題，也是需要面臨的需要克服的挑戰(zhàn)性問(wèn)題。

發(fā)明內(nèi)容
為了解決灰度圖像分割時(shí)分辨率低、失誤率大及彩色圖像分割技術(shù)復(fù)雜問(wèn)題和跟蹤過(guò)程的噪聲等干擾問(wèn)題，本發(fā)明提供了基于深度圖像的多目標(biāo)分割和跟蹤方法，提高了圖像分割的效率，且分割效果好，同時(shí)實(shí)現(xiàn)了目標(biāo)的動(dòng)態(tài)跟蹤且可靠性高，從而在圖像處理和模式識(shí)別等方面具有重要的作用。本發(fā)明所處理的數(shù)據(jù)源是深度圖像，這與常見的灰度圖像和彩色圖像有很大的不同。深度圖像是將傳感器鏡頭與目標(biāo)的各個(gè)像素點(diǎn)的距離讀取并儲(chǔ)存而獲得的圖像數(shù)據(jù)。 在深度圖像中，目標(biāo)是深度值在一定閾值內(nèi)平滑的各個(gè)像素點(diǎn)的集合。故此，本發(fā)明根據(jù)深度數(shù)據(jù)的連續(xù)性特點(diǎn)進(jìn)行多目標(biāo)分割。本發(fā)明是通過(guò)以下方法實(shí)現(xiàn)的，本發(fā)明是基于深度圖像的深度數(shù)據(jù)連續(xù)性準(zhǔn)則，從而獲得對(duì)圖像進(jìn)行多目標(biāo)分割并且動(dòng)態(tài)跟蹤。本發(fā)明所提出的一種基于深度圖像的多目標(biāo)分割和跟蹤方法，其特征在于，該方法包括以下步驟步驟I，采集多幀深度圖像；步驟2，基于采集到的多幀深度圖像進(jìn)行背景建模；步驟3，基于建立的背景，尋找并顯示前景；步驟4，判斷是否為首次發(fā)現(xiàn)前景，若是，則轉(zhuǎn)到步驟5，若否，則轉(zhuǎn)到步驟6 ；步驟5，對(duì)發(fā)現(xiàn)的前景進(jìn)行多目標(biāo)分割；步驟6，對(duì)發(fā)現(xiàn)的前景進(jìn)行動(dòng)態(tài)跟蹤；步驟7，判斷是否有新的深度圖像數(shù)據(jù)輸入，若有，則回到步驟2，若無(wú)，則結(jié)束。本發(fā)明的有益效果是目標(biāo)分割快速，分割效果優(yōu)越，跟蹤丟失和誤跟蹤發(fā)生概率低，處理速度快，具有較高的跟蹤精度。同時(shí)，擴(kuò)展了圖像分割數(shù)據(jù)源，使得研究更具開放性，多樣性。本發(fā)明運(yùn)用前景廣泛，在計(jì)算機(jī)圖像處理，模式識(shí)別等方面有著重要作用，也為計(jì)算機(jī)三維應(yīng)用在分割與跟蹤提供了應(yīng)用趨勢(shì)。


圖I是本發(fā)明所提出的一種基于深度圖像的多目標(biāo)分割和跟蹤方法流程圖。圖2是本發(fā)明背景建模更新模塊流程圖。圖3是本發(fā)明前景發(fā)現(xiàn)模塊流程圖。圖4是本發(fā)明目標(biāo)分割模塊中鄰域判斷步驟流程圖。圖5是本發(fā)明目標(biāo)分割模塊主流程圖。圖6是本發(fā)明目標(biāo)動(dòng)態(tài)跟蹤模塊主流程圖。圖7是本發(fā)明目標(biāo)動(dòng)態(tài)跟蹤模塊中尋點(diǎn)處理步驟流程圖。圖8是本發(fā)明目標(biāo)動(dòng)態(tài)跟蹤模塊中發(fā)現(xiàn)點(diǎn)部分增長(zhǎng)步驟流程圖。圖9是本發(fā)明目標(biāo)動(dòng)態(tài)跟蹤模塊中發(fā)現(xiàn)區(qū)域擴(kuò)增步驟流程圖。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。本發(fā)明是基于深度圖像的深度數(shù)據(jù)連續(xù)性準(zhǔn)則，對(duì)所獲取的深度圖像進(jìn)行多目標(biāo)分割并且能夠?qū)Ω信d趣的目標(biāo)進(jìn)行動(dòng)態(tài)跟蹤。圖I為本發(fā)明所提出的基于深度圖像的多目標(biāo)分割和跟蹤方法流程圖，所述基于深度圖像的多目標(biāo)分割和跟蹤方法具體包括以下步驟步驟1，采集多幀深度圖像。所述多幀深度圖像為傳感器在相同視角的前提下，對(duì)不同的感興趣的活動(dòng)目標(biāo)進(jìn)行拍攝獲取的N張深度圖像，其中N為大于等于2的正整數(shù)。所獲取的深度圖像所儲(chǔ)存的數(shù)據(jù)是傳感器鏡頭與拍攝視角內(nèi)各個(gè)感興趣的目標(biāo)的距離的深度信息。步驟2，基于采集到的多幀深度圖像進(jìn)行背景建模。使用背景建模更新模塊102將感興趣的所有像素點(diǎn)從深度圖像中分割出來(lái)。背景建模更新模塊102所處理的數(shù)據(jù)源是步驟I獲得的多幀深度圖像數(shù)據(jù)，因此，我們通過(guò)根據(jù)上下幀的深度圖像數(shù)據(jù)，依次對(duì)比每個(gè)像素點(diǎn)的上下幀圖像的深度值，求出每個(gè)像素點(diǎn)深度的比較值中的較大值，取每個(gè)像素點(diǎn)上較大的深度值作為當(dāng)前背景數(shù)據(jù)，從而進(jìn)行背景建模。在目標(biāo)動(dòng)態(tài)跟蹤過(guò)程中，根據(jù)目標(biāo)的移動(dòng)，建模所得到的背景是不斷更新的，這有效地避免了噪聲的影響和干擾，從而達(dá)到了更好的目標(biāo)分割效果和更準(zhǔn)確的動(dòng)態(tài)跟蹤目標(biāo)。步驟3，基于建立的背景，尋找并顯示前景。前景發(fā)現(xiàn)模塊103通過(guò)讀取當(dāng)前幀的深度圖像數(shù)據(jù)，將其與當(dāng)前建立好的背景相對(duì)比，尋找比背景像素點(diǎn)深度小的像素點(diǎn)，認(rèn)為該幀圖像中所有找到的像素點(diǎn)是感興趣的前景目標(biāo)，并將所尋找到的前景目標(biāo)顯示出來(lái)。步驟4，判斷是否為首次發(fā)現(xiàn)所找到的前景目標(biāo)，若是，則轉(zhuǎn)到步驟5，若否，則轉(zhuǎn)到步驟6。對(duì)發(fā)現(xiàn)的前景進(jìn)行判斷，即判斷發(fā)現(xiàn)的前景是否為首次發(fā)現(xiàn)(模塊104)。若是首次發(fā)現(xiàn)前景，則轉(zhuǎn)到步驟5，利用目標(biāo)分割模塊105對(duì)發(fā)現(xiàn)的前景進(jìn)行分割處理，實(shí)現(xiàn)對(duì)發(fā)現(xiàn)的前景進(jìn)行多目標(biāo)分割；若不是首次發(fā)現(xiàn)前景，則轉(zhuǎn)到步驟6，直接利用目標(biāo)動(dòng)態(tài)跟蹤模塊106對(duì)發(fā)現(xiàn)的前景進(jìn)行跟蹤處理，實(shí)現(xiàn)目標(biāo)的動(dòng)態(tài)跟蹤。步驟5，對(duì)發(fā)現(xiàn)的前景進(jìn)行多目標(biāo)分割。利用目標(biāo)分割模塊105對(duì)發(fā)現(xiàn)的前景進(jìn)行分割處理，實(shí)現(xiàn)將發(fā)現(xiàn)的前景進(jìn)行多目標(biāo)分割。這里分割處理采用連通域的增長(zhǎng)方法，即將相鄰像素點(diǎn)的深度值變化符合檢測(cè)規(guī)則的所有像素點(diǎn)歸為同一區(qū)域，從而達(dá)到多目標(biāo)分割。具體地，從發(fā)現(xiàn)的前景的數(shù)據(jù)中任取一像素點(diǎn)開始，向各個(gè)方向生長(zhǎng)區(qū)域，將此像素點(diǎn)的鄰域中所有的符合檢測(cè)規(guī)則的像素點(diǎn)與此像素點(diǎn)歸為同一區(qū)域。需要說(shuō)明的是，這里檢測(cè)規(guī)則是指若有兩個(gè)像素點(diǎn)，當(dāng)這兩個(gè)像素點(diǎn)的深度值大小之差大于N(N的取值范圍為5 20)單位，則規(guī)定這兩個(gè)像素點(diǎn)的深度值相對(duì)于對(duì)方而言是突變的；若二者的差小于或等于N單位，則規(guī)定這兩像素點(diǎn)相對(duì)于對(duì)方是沒(méi)有突變的，也就是說(shuō)這兩個(gè)像素點(diǎn)相對(duì)于對(duì)方都是平滑過(guò)渡的。重復(fù)這一過(guò)程，直到該像素點(diǎn)的所有鄰域的像素點(diǎn)都判斷完畢后，區(qū)域增長(zhǎng)過(guò)程終止，形成一個(gè)完整的連通區(qū)域。所有前景的像素點(diǎn)檢測(cè)完畢后，就可以形成若干個(gè)獨(dú)立的連通區(qū)域，而這一個(gè)個(gè)獨(dú)立的連通區(qū)域就是我們所感興趣的目標(biāo)區(qū)域。步驟6，對(duì)發(fā)現(xiàn)的前景進(jìn)行動(dòng)態(tài)跟蹤。利用目標(biāo)動(dòng)態(tài)跟蹤模塊106對(duì)發(fā)現(xiàn)的前景進(jìn)行動(dòng)態(tài)跟蹤。目標(biāo)動(dòng)態(tài)跟蹤模塊106 是利用相對(duì)于當(dāng)前幀的上一幀時(shí)刻所獲取的目標(biāo)的位置范圍，與當(dāng)前幀的前景數(shù)據(jù)進(jìn)行對(duì)比，找出二者的交集，然后在交集中任取像素點(diǎn)，進(jìn)行連通域增長(zhǎng)，直到所得到的交集像素點(diǎn)都進(jìn)行鄰域判斷完畢，暫停增長(zhǎng)，可得到一個(gè)個(gè)獨(dú)立的連通區(qū)域；將所得到的獨(dú)立連通區(qū)域進(jìn)行邊界增長(zhǎng)，直到當(dāng)前幀的所有的前景的像素點(diǎn)都增長(zhǎng)完畢后，可得到完整的新的增長(zhǎng)區(qū)域，從而實(shí)現(xiàn)目標(biāo)跟蹤處理。步驟7，判斷是否有新的深度圖像數(shù)據(jù)輸入，若有，則回到步驟2，若無(wú)，則結(jié)束。為了保證數(shù)據(jù)能夠持續(xù)的循環(huán)處理，因此，需要判斷是否有新的深度圖像數(shù)據(jù)輸入(模塊107)，若有數(shù)據(jù)輸入，則回到步驟2，重新背景建模循環(huán)處理所獲取的深度圖像數(shù)據(jù)；若沒(méi)有，則處理結(jié)束。下面對(duì)上述步驟中涉及的各個(gè)主要模塊進(jìn)行詳細(xì)描述。I、背景建模更新模塊102
在背景建模時(shí)，先進(jìn)行背景數(shù)據(jù)初始化，即將背景數(shù)據(jù)設(shè)為0，然后再開始讀取深度圖像數(shù)據(jù)進(jìn)行背景建模。背景建模是一個(gè)動(dòng)態(tài)的不斷更新的過(guò)程，需要不斷的讀取數(shù)據(jù)判斷并重新進(jìn)行背景建模，具體操作如下對(duì)比當(dāng)前幀的每個(gè)像素點(diǎn)的深度值與上一幀的所建立的背景的相應(yīng)像素點(diǎn)的深度值，在每個(gè)像素點(diǎn)上取二者對(duì)比中較大的深度值為當(dāng)前幀的相應(yīng)像素點(diǎn)的背景數(shù)據(jù)。如圖2所示，背景建模的具體實(shí)現(xiàn)過(guò)程進(jìn)一步包括以下步驟步驟21，輸入多幀深度圖像數(shù)據(jù)。數(shù)據(jù)輸入步驟中所采用的數(shù)據(jù)有兩種來(lái)源一是傳感器在同一視角下拍攝的實(shí)時(shí)的深度圖像數(shù)據(jù)；二是已經(jīng)拍攝并儲(chǔ)存的同一視角下的深度圖像數(shù)據(jù)。步驟22，讀取當(dāng)前幀的深度圖像數(shù)據(jù)。由于所拍取的深度圖像數(shù)據(jù)是視頻幀，若是讀取已拍攝好的深度圖像數(shù)據(jù)也是一個(gè)個(gè)深度數(shù)據(jù)文件，所以我們處理數(shù)據(jù)方式是以單位幀為單位讀取的。步驟23，對(duì)比當(dāng)前幀的各像素點(diǎn)的深度值與上一幀所建立的背景相應(yīng)的各像素點(diǎn)的深度值，將這二者中各個(gè)像素點(diǎn)上較大值的深度數(shù)據(jù)取為背景，即可得到當(dāng)前幀的相應(yīng)像素點(diǎn)的背景深度值。步驟24，檢查是否所有的像素點(diǎn)都已更新，若是，儲(chǔ)存并更新當(dāng)前幀的背景數(shù)據(jù)， 若否，則返回步驟23重新建立背景。2、前景發(fā)現(xiàn)模塊103對(duì)比當(dāng)前幀的深度圖像數(shù)據(jù)與上一幀所建立的背景數(shù)據(jù)，求出二者在每個(gè)相對(duì)應(yīng)的像素點(diǎn)的差，并找出差值滿足一定條件的各個(gè)像素點(diǎn)的位置坐標(biāo)，找出所得到的各個(gè)像素點(diǎn)的位置坐標(biāo)在當(dāng)前幀的數(shù)據(jù)，則這些所得到的數(shù)據(jù)組成的數(shù)組為前景數(shù)據(jù)。這里的一定條件是指兩個(gè)像素點(diǎn)的深度距離的差小于N單位(1<N<21，N為正整數(shù))。此過(guò)程與背景建模相類似，在背景建模中所得到的數(shù)據(jù)是各個(gè)像素點(diǎn)相對(duì)應(yīng)的位置上的較大深度值，而前景發(fā)現(xiàn)所得到的是各個(gè)像素點(diǎn)相對(duì)應(yīng)的位置上的深度較小值。如圖3所示，發(fā)現(xiàn)前景的具體實(shí)現(xiàn)過(guò)程進(jìn)一步包括以下步驟步驟31，讀取多幀深度圖像數(shù)據(jù)。讀取數(shù)據(jù)的方式是以單位幀為單位讀取的，數(shù)據(jù)類型都是深度數(shù)據(jù)。步驟32，找出所讀取的數(shù)據(jù)與上一幀建立的背景數(shù)據(jù)相應(yīng)位置上在一定條件下的差異像素點(diǎn)對(duì)。這里的一定條件是指兩個(gè)像素點(diǎn)的深度距離的差小于N單位(I < N < 21，N為正整數(shù))。尋找差異像素點(diǎn)對(duì)需要依次對(duì)比當(dāng)前幀的深度數(shù)據(jù)與上一幀所建立的背景的深度數(shù)據(jù)的相應(yīng)位置的每個(gè)像素點(diǎn)，然后找出滿足上述一定條件的像素點(diǎn)對(duì)。步驟33，將每對(duì)差異像素點(diǎn)的較小深度值取為前景。由于背景到傳感器的距離大于前景到傳感器的距離，所以差異像素點(diǎn)中兩者的深度值較小的值取為前景數(shù)據(jù)。步驟34，顯示前景像素點(diǎn)(目標(biāo))。將已求出的不同于背景的像素點(diǎn)顯示出，就可以實(shí)現(xiàn)前景顯示。這里顯示的前景只是根據(jù)對(duì)比求出的差異像素點(diǎn)，這些差異像素點(diǎn)都是離散的，并沒(méi)有集合成一個(gè)個(gè)獨(dú)立的整體，所以前景顯示步驟34是為了后續(xù)的多目標(biāo)分割做好了準(zhǔn)備。3、目標(biāo)分割模塊105
目標(biāo)分割模塊105將前景發(fā)現(xiàn)的各個(gè)像素點(diǎn)組合成整體并分割出不同目標(biāo)。這里目標(biāo)分割是利用連通域的增長(zhǎng)，而連通域的增長(zhǎng)是利用對(duì)相應(yīng)像素點(diǎn)的鄰域判斷來(lái)處理。 因此，多目標(biāo)分割又進(jìn)一步包括兩個(gè)步驟步驟51，鄰域判斷；步驟52，目標(biāo)分割。如圖4所示，鄰域判斷模塊用于判斷一個(gè)像素點(diǎn)的鄰域位置上各個(gè)像素點(diǎn)是否與這像素點(diǎn)的性質(zhì)相似，并把這些性質(zhì)相似的像素點(diǎn)歸為同一整體。本發(fā)明所采用的相似性質(zhì)指的是各個(gè)像素點(diǎn)的深度值比較相近，步驟51鄰域判斷又進(jìn)一步包括以下步驟步驟511，在前景中任取一個(gè)像素點(diǎn)(假設(shè)為像素點(diǎn)A)數(shù)據(jù)，得到其(像素點(diǎn)A) 深度值。步驟512，讀取該像素點(diǎn)A的4-鄰域像素點(diǎn)(或者8_鄰域像素點(diǎn))A1、A2、A3、A4 的深度值。步驟513，判斷該像素點(diǎn)A鄰域中各像素點(diǎn)的深度值相對(duì)于像素點(diǎn)A是否有突變。依次將像素點(diǎn)A的深度值減去像素點(diǎn)Al、A2、A3、A4的深度值，并將各自所得到的差值取絕對(duì)值。比如，假設(shè)絕對(duì)值IA-Al I小于設(shè)定值(N單位，4 < N < 21)，則可知像素點(diǎn)的鄰域點(diǎn)Al的深度值與像素點(diǎn)A深度值對(duì)比，像素點(diǎn)Al沒(méi)有發(fā)生突變，反之則反。同理， 像素點(diǎn)A2、A3、A4也是如此判斷。步驟514，將沒(méi)有發(fā)生突變的像素點(diǎn)劃為同一鄰域整體。若像素點(diǎn)A有某幾個(gè)鄰域點(diǎn)深度值相對(duì)于像素點(diǎn)A沒(méi)有發(fā)生突變，則將像素點(diǎn)A 的這幾個(gè)鄰域點(diǎn)與像素點(diǎn)A劃為同一整體，反之，則不將這些像素點(diǎn)與深度值有突變的像素點(diǎn)歸為同一整體。比如，像素點(diǎn)Al、像素點(diǎn)A4沒(méi)有突變,像素點(diǎn)A2、像素點(diǎn)A3有突變,則將像素點(diǎn)Al、像素點(diǎn)A4同像素點(diǎn)A歸為同一整體,而把像素點(diǎn)A2、像素點(diǎn)A3排除在外。如圖5所示，目標(biāo)分割模塊105是利用連通域的增長(zhǎng)進(jìn)行處理的，以單獨(dú)像素點(diǎn)為基本參考點(diǎn)進(jìn)行擴(kuò)充，逐漸增長(zhǎng)為一塊塊獨(dú)立區(qū)域，則所增長(zhǎng)的獨(dú)立區(qū)域就是分辨出來(lái)的目標(biāo)，步驟52目標(biāo)分割又進(jìn)一步包括以下步驟步驟521，對(duì)于前景數(shù)據(jù)中的任一像素點(diǎn)，得到其鄰域整體的邊界的所有像素點(diǎn)。任取前景數(shù)據(jù)中的一像素點(diǎn)(假設(shè)為像素點(diǎn)A)，對(duì)該像素點(diǎn)進(jìn)行鄰域判斷，得到所述鄰域整體的邊界的所有像素點(diǎn)。該鄰域整體根據(jù)步驟51由像素點(diǎn)A和像素點(diǎn)A無(wú)突變的鄰域點(diǎn)組合產(chǎn)生而成(當(dāng)像素點(diǎn)A的鄰域點(diǎn)都是突變的像素點(diǎn)，則此時(shí)亦視像素點(diǎn)A 為單獨(dú)一個(gè)整體)。步驟522，以新加入鄰域整體的鄰域點(diǎn)作為基準(zhǔn)點(diǎn)，對(duì)各個(gè)基準(zhǔn)點(diǎn)進(jìn)行鄰域判斷， 來(lái)擴(kuò)大鄰域整體區(qū)域，將各個(gè)基準(zhǔn)點(diǎn)的鄰域中無(wú)突變的像素點(diǎn)與原來(lái)的鄰域整體重新組成一個(gè)新的鄰域整體。步驟523，判斷是否已無(wú)增長(zhǎng)像素點(diǎn)，即所有鄰域判斷都不再有無(wú)突變點(diǎn)，若是，則停止判斷得到一個(gè)獨(dú)立的鄰域整體，若不是，則返回步驟522進(jìn)行鄰域判斷有無(wú)擴(kuò)增無(wú)突變點(diǎn)，組成新整體，直到已無(wú)新增長(zhǎng)像素點(diǎn)，這樣就可以根據(jù)該步驟得到一個(gè)新的鄰域整體 (目標(biāo))。步驟524，判斷是否所有的前景像素點(diǎn)都已組成新的鄰域整體，若不是則返回步驟 521任取某剩余前景數(shù)據(jù)像素點(diǎn)，進(jìn)行鄰域判斷，若是，則停止增長(zhǎng)。步驟525，忽略像素點(diǎn)數(shù)目極少的鄰域整體。判斷是否有鄰域整體的像素點(diǎn)數(shù)目極少(小于檢測(cè)規(guī)則設(shè)定的值)，若有，則忽略這些鄰域整體。4、目標(biāo)動(dòng)態(tài)跟蹤模塊106如圖6所示，目標(biāo)動(dòng)態(tài)跟蹤是在已發(fā)現(xiàn)目標(biāo)的前提下進(jìn)行的，采取了發(fā)現(xiàn)點(diǎn)部分增長(zhǎng)與發(fā)現(xiàn)區(qū)域擴(kuò)增相結(jié)合的方式，有效避免了跟蹤過(guò)程中錯(cuò)誤的識(shí)別或者無(wú)法跟蹤目標(biāo)等難題，此方法具有高效的運(yùn)算能力。動(dòng)態(tài)跟蹤步驟進(jìn)一步包括以下幾個(gè)步驟步驟61，讀取數(shù)據(jù)。步驟62，找出上一幀時(shí)刻所獲取的目標(biāo)的位置范圍與當(dāng)前幀的前景數(shù)據(jù)之間的一個(gè)或多個(gè)交集，在所述一個(gè)或多個(gè)交集中取出發(fā)現(xiàn)點(diǎn)，即尋點(diǎn)處理。步驟63，對(duì)所述發(fā)現(xiàn)點(diǎn)進(jìn)行部分增長(zhǎng)處理，得到多個(gè)發(fā)現(xiàn)區(qū)域。部分增長(zhǎng)處理為 在所述發(fā)現(xiàn)點(diǎn)中任取一個(gè)未形成連通區(qū)域的離散的像素點(diǎn)，進(jìn)行連通域增長(zhǎng)，直到所得到的離散像素點(diǎn)都進(jìn)行鄰域判斷完畢，暫停增長(zhǎng)，可得到一個(gè)個(gè)獨(dú)立的連通區(qū)域。步驟64，擴(kuò)增發(fā)現(xiàn)區(qū)域。如圖7所示，步驟62，尋點(diǎn)處理的過(guò)程又進(jìn)一步包括以下幾個(gè)步驟步驟621，先讀取上一幀各個(gè)目標(biāo)的位置范圍；步驟622，然后對(duì)比當(dāng)前幀的各個(gè)像素點(diǎn)的前景，得到屬于上一幀各個(gè)目標(biāo)位置范圍的當(dāng)前前景各個(gè)像素點(diǎn)；步驟623，最后在屬于上一幀各個(gè)目標(biāo)的位置范圍內(nèi)的當(dāng)前前景像素點(diǎn)集合中各任取N點(diǎn)。比如假設(shè)上一幀得到的目標(biāo)個(gè)數(shù)為M，我們將在這原有的M目標(biāo)位置范圍內(nèi)各任取仍屬于當(dāng)前幀的前景的N點(diǎn)，則可得到NXM點(diǎn)(N，M均為正整數(shù))。如圖8所示，步驟63，發(fā)現(xiàn)點(diǎn)部分增長(zhǎng)的過(guò)程又進(jìn)一步包括以下幾個(gè)步驟步驟631，先對(duì)未形成連通區(qū)域的離散的像素點(diǎn)在當(dāng)前幀的前景范圍內(nèi)進(jìn)行連通域的增長(zhǎng)；步驟632，每增長(zhǎng)一次進(jìn)行增長(zhǎng)區(qū)域是否超越上一幀目標(biāo)位置的判斷處理，即判斷新增長(zhǎng)的區(qū)域是否超越上一幀相應(yīng)目標(biāo)的位置范圍。如果沒(méi)有超越，則繼續(xù)增長(zhǎng)并判斷是否在符合的區(qū)域內(nèi)，直到增長(zhǎng)到突變點(diǎn)或者超越上一幀目標(biāo)的位置范圍，如果超越，則停止這個(gè)目標(biāo)該位置的增長(zhǎng)。步驟633，然后判斷是否所有發(fā)現(xiàn)點(diǎn)都增長(zhǎng)完畢，若不是，返回步驟631取未增長(zhǎng)點(diǎn)進(jìn)行連通域的增長(zhǎng)，若是，則暫停增長(zhǎng)。如圖9所示，步驟64，發(fā)現(xiàn)區(qū)域擴(kuò)增的過(guò)程又進(jìn)一步包括以下幾個(gè)步驟步驟641，查找還未被歸入任何一個(gè)發(fā)現(xiàn)區(qū)域的前景像素點(diǎn)集合A，即將所有前景像素點(diǎn)減去所有已增長(zhǎng)像素點(diǎn)而得到的像素點(diǎn)的集合。步驟642，依次對(duì)目前所得到的發(fā)現(xiàn)區(qū)域進(jìn)行邊界增長(zhǎng)。步驟643，對(duì)新增長(zhǎng)的邊界點(diǎn)進(jìn)行判斷，若新增長(zhǎng)的邊界點(diǎn)在集合A內(nèi)則進(jìn)行判斷是否還有剩余的集合A像素點(diǎn)，若有，返回步驟642，若無(wú)，結(jié)束；若新增長(zhǎng)的邊界點(diǎn)不在集合A內(nèi)，則不將新增長(zhǎng)的邊界點(diǎn)歸于此發(fā)現(xiàn)區(qū)域，然后再判斷是否還有剩余的集合A像素點(diǎn)，若有，返回步驟642，若無(wú)，結(jié)束。在步驟64，發(fā)現(xiàn)區(qū)域擴(kuò)增中，利用了還未被歸入任何一個(gè)增長(zhǎng)區(qū)域的前景像素點(diǎn)的集合A這個(gè)方法，有效地避免了區(qū)域擴(kuò)增時(shí)發(fā)生重疊的情形，同時(shí)也縮小了擴(kuò)增所需要查找的像素點(diǎn)的范圍，使實(shí)現(xiàn)的效率變高。以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種基于深度圖像的多目標(biāo)分割和跟蹤方法，其特征在于，該方法包括以下步驟 步驟I，采集多幀深度圖像；步驟2，基于采集到的多幀深度圖像進(jìn)行背景建模；步驟3，基于建立的背景，尋找并顯示前景；步驟4，判斷是否為首次發(fā)現(xiàn)前景，若是，則轉(zhuǎn)到步驟5，若否，則轉(zhuǎn)到步驟6 ；步驟5，對(duì)發(fā)現(xiàn)的前景進(jìn)行多目標(biāo)分割；步驟6，對(duì)發(fā)現(xiàn)的前景進(jìn)行動(dòng)態(tài)跟蹤；步驟7，判斷是否有新的深度圖像數(shù)據(jù)輸入，若有，則回到步驟2，若無(wú)，則結(jié)束。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述多幀深度圖像為傳感器在相同視角下拍攝得到N張深度圖像，其中N為大于等于2的正整數(shù)。
3.根據(jù)權(quán)利要求I所述的方法，其特征在于，所獲取的深度圖像所儲(chǔ)存的數(shù)據(jù)是傳感器鏡頭與拍攝視角內(nèi)各個(gè)感興趣的目標(biāo)的距離的深度信息。
4.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述背景建模進(jìn)一步為對(duì)比上下幀深度圖像的各個(gè)像素點(diǎn)的深度數(shù)據(jù)，取各個(gè)像素點(diǎn)上較大的深度值作為背景數(shù)據(jù)。
5.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述發(fā)現(xiàn)前景進(jìn)一步為對(duì)比當(dāng)前幀的深度圖像數(shù)據(jù)與當(dāng)前所建立的背景數(shù)據(jù)，當(dāng)前幀的深度圖像中比背景像素點(diǎn)深度小的像素點(diǎn)的集合，即為該幀圖像中感興趣的前景目標(biāo)。
6.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟5進(jìn)一步為通過(guò)連通域增長(zhǎng)方法對(duì)發(fā)現(xiàn)的前景進(jìn)行多目標(biāo)分割，即通過(guò)將鄰域像素點(diǎn)中深度值大小相差在一定閾值內(nèi)的兩個(gè)及以上的像素點(diǎn)歸為同一區(qū)域，由此不斷進(jìn)行連通域增長(zhǎng)，得到各個(gè)不同的獨(dú)立目標(biāo)。
7.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟6進(jìn)一步包括以下步驟步驟61，讀取數(shù)據(jù)；步驟62，找出上一幀時(shí)刻所獲取的目標(biāo)的位置范圍與當(dāng)前幀的前景數(shù)據(jù)之間的一個(gè)或多個(gè)交集，在所述一個(gè)或多個(gè)交集中取出發(fā)現(xiàn)點(diǎn)，即尋點(diǎn)處理；步驟63，對(duì)所述發(fā)現(xiàn)點(diǎn)進(jìn)行部分增長(zhǎng)處理，得到多個(gè)發(fā)現(xiàn)區(qū)域；步驟64，擴(kuò)增所述發(fā)現(xiàn)區(qū)域。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，步驟63中對(duì)所述發(fā)現(xiàn)點(diǎn)進(jìn)行部分增長(zhǎng)處理進(jìn)一步為在所述發(fā)現(xiàn)點(diǎn)中任取一個(gè)未形成連通區(qū)域的離散的像素點(diǎn)，進(jìn)行連通域增長(zhǎng)， 直到所得到的離散像素點(diǎn)都進(jìn)行鄰域判斷完畢，暫停增長(zhǎng)，可得到一個(gè)個(gè)獨(dú)立的連通區(qū)域。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，對(duì)未形成連通區(qū)域的離散的像素點(diǎn)，進(jìn)行連通域增長(zhǎng)進(jìn)一步包括每增長(zhǎng)一次就判斷新增長(zhǎng)的區(qū)域是否超越上一幀相應(yīng)目標(biāo)的位置范圍，如果沒(méi)有超越，則繼續(xù)增長(zhǎng)并判斷是否在符合的區(qū)域內(nèi)，直到增長(zhǎng)到突變點(diǎn)或者超越上一幀目標(biāo)的位置范圍；如果超越，則停止增長(zhǎng)。
10.根據(jù)權(quán)利要求I所述的方法，其特征在于，步驟64進(jìn)一步包括以下步驟步驟641，查找還未被歸入任何一個(gè)發(fā)現(xiàn)區(qū)域的前景像素點(diǎn)集合A ；步驟642，依次對(duì)目前所得到的發(fā)現(xiàn)區(qū)域進(jìn)行邊界增長(zhǎng)；步驟643，對(duì)新增長(zhǎng)的邊界點(diǎn)進(jìn)行判斷，若新增長(zhǎng)的邊界點(diǎn)在集合A內(nèi)則判斷是否還有剩余的集合A像素點(diǎn)，若有，返回步驟642，若無(wú)，結(jié)束；若新增長(zhǎng)的邊界點(diǎn)不在集合A內(nèi)，則不將新增長(zhǎng)的邊界點(diǎn)歸于此發(fā)現(xiàn)區(qū)域，然后再判斷是否還有剩余的集合A像素點(diǎn)，若有，返回步驟642，若無(wú)，結(jié)束。
全文摘要
本發(fā)明公開了一種基于深度圖像的多目標(biāo)分割和跟蹤的方法，屬于圖像處理、模式識(shí)別和計(jì)算機(jī)應(yīng)用等領(lǐng)域，該方法包括采集深度圖像；背景建模更新；背景發(fā)現(xiàn)；判斷是否首次發(fā)現(xiàn)前景，若是首次發(fā)現(xiàn)前景，則進(jìn)行目標(biāo)分割；若不是首次發(fā)現(xiàn)前景，則進(jìn)行目標(biāo)動(dòng)態(tài)跟蹤；判斷是否有數(shù)據(jù)輸入，若有數(shù)據(jù)輸入，則取新數(shù)據(jù)重新進(jìn)行背景建模更新，若沒(méi)有則結(jié)束。通過(guò)高效的目標(biāo)分割處理和目標(biāo)動(dòng)態(tài)跟蹤處理，有效的提高了目標(biāo)識(shí)別及跟蹤的可靠性，為進(jìn)一步圖像分析、動(dòng)態(tài)建模、三維人機(jī)交互等后續(xù)處理提供了準(zhǔn)備信息。
文檔編號(hào)G06K9/00GK102609934SQ20111043584
公開日2012年7月25日 申請(qǐng)日期2011年12月22日 優(yōu)先權(quán)日2011年12月22日
發(fā)明者徐波, 黃向生 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所