專利名稱：基于雙目視覺稀疏點匹配的空曠區(qū)域目標檢測與跟蹤方法
技術領域：
本發(fā)明涉及計算機視覺技術領域中的目標檢測和跟蹤方法，特別是涉及一種基于雙目視覺稀疏點匹配的空曠區(qū)域目標檢測與跟蹤方法。
背景技術：
動目標檢測和跟蹤一直是計算機視覺領域的重要研究方向，也是視頻監(jiān)控領域目標行為分析和智能視頻事件檢測的基礎。然而，現(xiàn)存的目標檢測和跟蹤算法還遠不能滿足視頻監(jiān)控智能分析的需求，完善此方面的工作尤為重要。動目標檢測方法主要包括光流法、幀差法和背景差法。光流法計算復雜度高，通常不予采用；幀差法主要利用視頻幀間差分信息進行前景提取，受目標運動速度影響大，且只能獲取目標大致位置信息和大概輪廓，通常會存在目標拉伸現(xiàn)象；背景差法是目前靜止攝像機視頻處理中應用最為廣泛的方法，主要包括非模型法和模型法兩類{錢晉，2007#39}，非模型法主要是從過去的一組觀測圖像中按照一定的假設選擇像素灰度構成當前的背景圖像，其需要引入用于背景判斷的固定閾值T，這就大大降低了其對環(huán)境變化的自適應能力。而模型法是對圖像中的每個像素點建立對應的模型，自適應更新模型參數(shù)獲取背景圖像，如Wren.C.R等人提出的單高斯模型、Stauffer.C等人提出的混合高斯模型、Elgammal.A等人提出的非參數(shù)核密度估計模型。與非模型法相比，模型法能更準確的提取背景，但計算量遠大于非模型法，且同其他方法一樣難以分割有重疊區(qū)域的目標，無法應對光照突變情況。傳統(tǒng)的目標跟蹤方法主要包括三個步驟:目標初始特征描述、目標運動位置估計和特征匹配。這類方法僅在目標跟蹤開始時建立特征描述，而不對其進行更新，忽略了目標在運動過程中自身特征的變化。這種變化來自內部和外部兩個方面，內部影響主要體現(xiàn)在目標運動過程中外形和姿態(tài)的變化，外部影響主要體現(xiàn)在光照變化、相機運動、相機視角變化、以及遮擋造成的目標特征丟失。為此，David.R等人提出了伴隨均值更新的增量PCA方法，并引入遺忘因子完成目標特征描述的更新；Grabner.H等人提出了基于在線Boosting的更新方法，并以類Haar特征、方向直方圖和局部二值模式作為目標特征描述；Babenk0.B等人則在最近提出了依據(jù)在線多示例學習的更新方法，顯示了比在線Boosting方法更優(yōu)越的性能，但計算復雜度更高。雖然這些方法較之前的跟蹤算法有了明顯的改善，如MeanShift>CAMShift等,但計算復雜度大大增加。由于此類算法須在跟蹤開始時準確選取目標區(qū)域，難以在需完成目標自動檢測與跟蹤的系統(tǒng)中應用。相比單目視覺，雙目立體視覺能夠提供監(jiān)控區(qū)域三維信息，且能夠在一定程度上克服光照突變問題。Philip.K等人在雙目稠密視差圖的基礎上依據(jù)人體生物信息(按照黃金分割比)完成了行人檢測，然而稠密視差圖的獲取須確定左右圖像的所有對應像點，計算量大且易產(chǎn)生誤匹配；Lenz.P等人提出了基于雙目立體視覺的稀疏點三維光流目標檢測與跟蹤方法，須計算大量特征點連續(xù)多幀的光流數(shù)據(jù)，依據(jù)各點的速度矢量差異完成目標分割，不適于紋理不豐富目標或非剛體目標；Ca1.L等人提出了基于稀疏匹配點的目標檢測和跟蹤方法，主要依據(jù)MeanShift算法對離散點聚類，完成目標檢測，并借助Kalman濾波進行目標跟蹤，相比稠密匹配精度更高，且克服了光照突變問題，然而此方法易陷入局部極值造成聚類失敗。

發(fā)明內容
本發(fā)明所要解決的技術問題是提供一種基于雙目視覺稀疏點匹配的空曠區(qū)域目標檢測與跟蹤方法，使得運算量變小，并且使得目標檢測和跟蹤更為準確。本發(fā)明解決其技術問題所采用的技術方案是:提供一種基于雙目視覺稀疏點匹配的空曠區(qū)域目標檢測與跟蹤方法，包括以下步驟:( I)通過攝像機構建雙目立體視覺系統(tǒng)；(2)采用張氏標定法標定雙目立體視覺系統(tǒng)；(3)設定監(jiān)測區(qū)域；(4)利用由標定獲得的攝像機參數(shù)對攝像機獲取的兩幅圖像進行矯正，使所有極線平行；(5)提取兩幅圖像興趣區(qū)域內的匹配特征點，計算相應點的三維坐標，并將特征點映射到地平面上；(6)根據(jù)人體體型和黃金分割比對離散點進行聚類，實現(xiàn)目標檢測；(7)結合聚類結果、聯(lián)合概率數(shù)據(jù)關聯(lián)和目標顏色信息完成目標自動檢測和跟蹤。所述步驟(I)中采用兩臺攝像機構建雙目立體視覺系統(tǒng)，其中兩臺攝像機的光軸保持平行，基線寬度為0.3 2m。所述步驟(I)中采用一體化雙目立體攝像機構建雙目立體視覺系統(tǒng)。所述步驟(2)包括以下子步驟:(21)依據(jù)標定需求對棋盤標定板進行采樣，要求每次采樣時，標定板位于兩臺攝像機的共同視域內，處于不同位置，且標定板在兩采樣圖像中占據(jù)的面積超出圖像面積的
一半;(22)依據(jù)張氏標定法標定兩臺攝像機的內部參數(shù)和外部參數(shù)，同時確定攝像機坐標系和世界坐標系的轉換關系，其中，世界坐標系Z軸垂直地面向上，XY平面與需監(jiān)控的平坦區(qū)域平面平行。所述步驟(5)包括以下子步驟:(51)在第一圖像的興趣區(qū)域內進行稀疏特征點檢測，然后在第二圖像沿對應極線方向，在視差范圍內利用歸一化互相關進行匹配點檢測；(52)計算匹配點對的三維坐標，并依次映射到地平面上。所述步驟(6)包括以下子步驟:(61)初步聚類，將映射到地平面中同一像點的匹配點作為同一類，同時計算這些歸屬同一類的匹配點距離地面的最大與最小高度差；(62)深度聚類，若某兩個初步聚類對應映射圖上的像點歐式距離小于人體肩寬，則將這兩個分類聚為一類，循環(huán)往復，直至所有聚類完成；(63)根據(jù)聚類結果，刪除小分類，分割大分類，對各個分類映射到地平面上的像點進行橢圓擬合，將橢圓長軸作為肩寬，橢圓短軸作為人體厚度，若某分類計算所得肩寬和厚度明顯小于正常人體肩寬和厚度，則將此分類作為小分類刪除，若某分類計算所得肩寬或厚度過大，則依照kmeans算法進行大分類分割，分類數(shù)目由計算所得肩寬和厚度相比正常人體肩寬和厚度的倍數(shù)確定，直至所有分類均接近正常尺寸；(64)將最終聚類結果作為目標檢測結果。所述步驟(7)包括以下子步驟:(71)檢測到候選新目標后，初始化相應的聯(lián)合概率數(shù)據(jù)關聯(lián)參數(shù)，依據(jù)目標稀疏特征點聚類結果，以目標稀疏特征點在第一圖像中的外接凸多邊形區(qū)域為目標區(qū)域建立基于核約束的目標顏色直方圖；(72)在跟蹤過程中依據(jù)跟蹤結果更新目標顏色直方圖屬性，更新方式為h =(l-α ) Xhnew+a Xhold, hnOT為新獲取的基于核約束的目標直方圖，h為更新后的目標直方圖，Iitjld為更新前的目標直方圖；(73)某量測在滿足聯(lián)合概率數(shù)據(jù)關聯(lián)量測有效性判定，如果其對應目標顏色直方圖和某已有目標相似度在門限內時，則確定該量測一定不源于雜波或虛警，并依據(jù)此規(guī)則建立確認矩陣；(74)在獲得的確認矩陣基礎上，按照聯(lián)合概率數(shù)據(jù)關聯(lián)方法進行目標關聯(lián)，完成目標跟蹤。有益效果由于采用了上述的技術方案，本發(fā)明與現(xiàn)有技術相比，具有以下的優(yōu)點和積極效果:本發(fā)明基于已標定雙目攝像機，對稀疏匹配點聚類，完成對監(jiān)控區(qū)域行人的自動檢測，并依據(jù)聯(lián)合概率數(shù)據(jù)關聯(lián)和目標顏色直方圖信息實現(xiàn)對目標的魯棒跟蹤。經(jīng)驗證，該方法能夠應對目標部分遮擋，光照突變問題，滿足實時性要求，并且運算量小，以及目標檢測和跟蹤準確。


圖1是本發(fā)明攝像機布設和坐標系示意圖；圖2是本發(fā)明流程圖。
具體實施例方式下面結合具體實施例，進一步闡述本發(fā)明。應理解，這些實施例僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍。此外應理解，在閱讀了本發(fā)明講授的內容之后，本領域技術人員可以對本發(fā)明作各種改動或修改，這些等價形式同樣落于本申請所附權利要求書所限定的范圍。本發(fā)明的實施方式涉及一種基于雙目視覺稀疏點匹配的空曠區(qū)域目標檢測與跟蹤方法，包括以下步驟:利用張氏棋盤標定法完成對攝像機的標定，并建立攝像機坐標系和用戶定義的世界坐標系之間的轉換關系。之后，執(zhí)行本方法相關算法，其中，輸入是兩臺攝像機的同步圖像，先將圖像矯正到極線平行狀態(tài)，而后利用極線約束完成稀疏特征點匹配。將匹配點映射至世界坐標系中，并投影至地平面上，借助人體體型信息和黃金分割比完成離散點聚類。最后，以聚類為單元，結合聯(lián)合概率數(shù)據(jù)關聯(lián)和目標顏色信息完成監(jiān)控區(qū)域內行人目標的魯棒檢測與跟蹤。如圖2所示，具體步驟如下:
步驟一、架設視頻采集裝置，通過兩臺攝像機構建雙目立體視覺系統(tǒng)，也可采用一體化雙目立體攝像機。若采用分立攝像機，架設時要求兩攝像機光軸基本保持平行，且有大部分相同視域，基線寬度視需求而定，0.3 2m為宜，此外，要求有大面積的空曠平坦區(qū)域(地面)出現(xiàn)在攝像機視域內。步驟二、標定雙目立體視覺系統(tǒng)。采用張氏標定法，該方法只需要一塊棋盤標定板，操作簡單且標定精度高，具體步驟如下:Stepl:依據(jù)標定需求對棋盤標定板采樣。要求每次采樣時，標定板位于兩攝像機的共同視域內，處于不同位置(與攝像機的距離不同或傾斜角度不同)，且標定板在兩采樣圖像中占據(jù)大量面積(超出圖像面積的一半)。Step2:依據(jù)張氏標定法標定兩攝像機的內部參數(shù)和外部參數(shù)。同時確定攝像機坐標系和世界坐標系的轉換關系。要求世界坐標系Z軸垂直地面向上，XY平面與需監(jiān)控的平坦區(qū)域平面平行，如圖1所示。步驟三、設定監(jiān)控區(qū)域。要求設定的監(jiān)控區(qū)域為空曠平坦區(qū)域(地面)，可直接在兩圖像中分別設定監(jiān)控區(qū)域，也可將三維監(jiān)控區(qū)域映射至圖像上，最終得到兩圖像上的興趣區(qū)域。步驟四、利用已標定參數(shù)對兩攝像機獲取的圖像進行矯正，使得所有極線平行。步驟五、查找兩圖像興趣區(qū)域內的匹配特征點，計算相應點的三維坐標，并將特征點映射到地平面上。Stepl:在左圖興趣區(qū)域內進行Harris角點檢測，然后在右圖沿對應極線方向，在視差范圍內利用NCC (歸一化互相關)進行匹配點檢測，NCC計算公式為
權利要求
1.一種基于雙目視覺稀疏點匹配的空曠區(qū)域目標檢測與跟蹤方法，其特征在于，包括以下步驟: (1)通過攝像機構建雙目立體視覺系統(tǒng)； (2)采用張氏標定法標定雙目立體視覺系統(tǒng)； (3)設定監(jiān)測區(qū)域； (4)利用由標定獲得的攝像機參數(shù)對攝像機獲取的兩幅圖像進行矯正，使所有極線平行； (5)提取兩幅圖像興趣區(qū)域內的匹配特征點，計算相應點的三維坐標，并將特征點映射到地平面上； (6)根據(jù)人體體型和黃金分割比對離散點進行聚類，實現(xiàn)目標檢測； (7 )結合聚類結果、聯(lián)合概率數(shù)據(jù)關聯(lián)和目標顏色信息完成目標自動檢測和跟蹤。
2.根據(jù)權利要求1所述的基于雙目視覺稀疏點匹配的空曠區(qū)域目標檢測與跟蹤方法，其特征在于，所述步驟(I)中采用兩臺攝像機構建雙目立體視覺系統(tǒng)，其中兩臺攝像機的光軸保持平行，基線寬度為0.3 2m。
3.根據(jù)權利要求1所述的基于雙目視覺稀疏點匹配的空曠區(qū)域目標檢測與跟蹤方法，其特征在于，所述步驟(I)中采用一體化雙目立體攝像機構建雙目立體視覺系統(tǒng)。
4.根據(jù)權利要求2所述的基于雙目視覺稀疏點匹配的空曠區(qū)域目標檢測與跟蹤方法，其特征在于，所述 步驟(2)包括以下子步驟: (21)依據(jù)標定需求對棋盤標定板進行采樣，要求每次采樣時，標定板位于兩臺攝像機的共同視域內，處于不同位置，且標定板在兩采樣圖像中占據(jù)的面積超出圖像面積的一半; (22)依據(jù)張氏標定法標定兩臺攝像機的內部參數(shù)和外部參數(shù)，同時確定攝像機坐標系和世界坐標系的轉換關系，其中，世界坐標系Z軸垂直地面向上，XY平面與需監(jiān)控的平坦區(qū)域平面平行。
5.根據(jù)權利要求1所述的基于雙目視覺稀疏點匹配的空曠區(qū)域目標檢測與跟蹤方法，其特征在于，所述步驟(5)包括以下子步驟: (51)在第一圖像的興趣區(qū)域內進行稀疏特征點檢測，然后在第二圖像沿對應極線方向，在視差范圍內利用歸一化互相關進行匹配點檢測； (52)計算匹配點對的三維坐標，并依次映射到地平面上。
6.根據(jù)權利要求5所述的基于雙目視覺稀疏點匹配的空曠區(qū)域目標檢測與跟蹤方法，其特征在于，所述步驟(51)中采取雙向匹配策略，且忽略次優(yōu)匹配和最優(yōu)匹配比低于0.9的點，同時忽略視差明顯不同于周圍匹配點視差的匹配點。
7.根據(jù)權利要求1所述的基于雙目視覺稀疏點匹配的空曠區(qū)域目標檢測與跟蹤方法，其特征在于，所述步驟(6)包括以下子步驟: (61)初步聚類，將映射到地平面中同一像點的匹配點作為同一類，同時計算這些歸屬同一類的匹配點距離地面的最大與最小高度差； (62)深度聚類，若某兩個初步聚類對應映射圖上的像點歐式距離小于人體肩寬，則將這兩個分類聚為一類，循環(huán)往復，直至所有聚類完成； (63)根據(jù)聚類結果，刪除小分類，分割大分類，對各個分類映射到地平面上的像點進行橢圓擬合，將橢圓長軸作為肩寬，橢圓短軸作為人體厚度，若某分類計算所得肩寬和厚度明顯小于正常人體肩寬和厚度，則將此分類作為小分類刪除，若某分類計算所得肩寬或厚度過大，則依照kmeans算法進行大分類分割，分類數(shù)目由計算所得肩寬和厚度相比正常人體肩寬和厚度的倍數(shù)確定，直至所有分類均接近正常尺寸； (64)將最終聚類結果作為目標檢測結果。
8.根據(jù)權利要求1所述的基于雙目視覺稀疏點匹配的空曠區(qū)域目標檢測與跟蹤方法，其特征在于，所述步驟(7)包括以下子步驟: (71)檢測到候選新目標后，初始化相應的聯(lián)合概率數(shù)據(jù)關聯(lián)參數(shù)，依據(jù)目標稀疏特征點聚類結果，以目標稀疏特征點在第一圖像中的外接凸多邊形區(qū)域為目標區(qū)域建立基于核約束的目標顏色直方圖； (72)在跟蹤過程中依據(jù)跟蹤結果更新目標顏色直方圖屬性，更新方式為h=(l-α ) Xhnew+a Xhold, hnOT為新獲取的基于核約束的目標直方圖，h為更新后的目標直方圖，Iitjld為更新前的目標直方圖； (73)某量測在滿足聯(lián)合概率數(shù)據(jù)關聯(lián)量測有效性判定，如果其對應目標顏色直方圖和某已有目標相似度在門限內時，則確定該量測一定不源于雜波或虛警，并依據(jù)此規(guī)則建立確認矩陣； (74)在獲得的確認矩陣基礎上，按照聯(lián)合概率數(shù)據(jù)關聯(lián)方法進行目標關聯(lián)，完成目標跟蹤。`
全文摘要
本發(fā)明涉及一種基于雙目視覺稀疏點匹配的空曠區(qū)域目標檢測與跟蹤方法，包括以下步驟利用張氏棋盤標定法完成對攝像機的標定，并建立攝像機坐標系和用戶定義的世界坐標系之間的轉換關系。之后，執(zhí)行本方法相關算法，其中，輸入是兩臺攝像機的同步圖像，先將圖像矯正到極線平行狀態(tài)，而后利用極線約束完成稀疏特征點匹配。將匹配點映射至世界坐標系中，并投影至地平面上，借助人體體型信息和黃金分割比完成離散點聚類。最后，以聚類為單元，結合聯(lián)合概率數(shù)據(jù)關聯(lián)和目標顏色信息完成監(jiān)控區(qū)域內行人目標的魯棒檢測與跟蹤。本發(fā)明使得運算量變小，并且使得目標檢測和跟蹤更為準確。
文檔編號G06T7/00GK103106659SQ20131003217
公開日2013年5月15日 申請日期2013年1月28日 優(yōu)先權日2013年1月28日
發(fā)明者胡珂立, 谷宇章, 鄒方圓, 魏智, 徐小龍, 張 誠 申請人:中國科學院上海微系統(tǒng)與信息技術研究所