專利名稱：基于車載單目相機的運動目標(biāo)感知與告警方法
技術(shù)領(lǐng)域：
本發(fā)明屬于車載相機的運動目標(biāo)感知方法，特別涉及基于車載單目相機 的運動目標(biāo)感知與告警方法。
技術(shù)背景環(huán)境感知是車輛主動安全系統(tǒng)的主要功能，運動目標(biāo)感知又是環(huán)境感知 中的重要組成部分。目前智能車輛的環(huán)境感知傳感器主要是毫米波雷達和激 光雷達，這類主動傳感器的作用區(qū)域有限，而且價格昂貴。當(dāng)前，如何使用 攝像機感知環(huán)境，這類技術(shù)備受關(guān)注。所提出的解決方法主要有三類 一類 是使用雙目視覺方法，直接獲得場景深度，為運動目標(biāo)檢測提供線索，但是 雙目視覺系統(tǒng)結(jié)構(gòu)復(fù)雜，成本高；另一類方法是結(jié)合使用標(biāo)定過的單目相機和車輛速度表、陀螺儀，或其它測量車輛運動狀態(tài)的傳感器，通過檢測車輛 運動狀態(tài)，計算背景在圖像中運動的軌跡，以此檢測出不符合這種運動軌跡 的運動目標(biāo)，然而相機的參數(shù)有可能會隨著運動中車輛的振動而改變，初始 設(shè)定的相機參數(shù)不一定始終保持可靠，其次廉價的車輛運動狀態(tài)傳感器不能提供精確的運動狀態(tài)信息；第三種方法是只使用非標(biāo)定單目相機，通過模型 參數(shù)估計方法，計算出背景在成像平面的投影的運動模型，以此檢測不符合 這類模型的運動目標(biāo)。當(dāng)使用非標(biāo)定單目車載相機感知運動目標(biāo)時，最大的困難是，車載相機 隨車運動，導(dǎo)致靜止的背景投影在相機的成像平面上時也發(fā)生了運動，干擾 了原本的運動目標(biāo)檢測?，F(xiàn)有技術(shù)多只使用由基礎(chǔ)矩陣來描述的外極點約束模型來區(qū)分背景和運動的像素點。(外極點約束模型是一種相機幾何模型，它 表示了相機移動時，空間中靜止點在兩個相機成像平面中的關(guān)系。基礎(chǔ)矩陣是一個3X3的方陣，其秩為2。)但是外極點約束模型并不能全面地區(qū)分背 景和運動的像素點，導(dǎo)致不能檢測與本車平行運動的目標(biāo)。有些技術(shù)是把問 題簡化(IEEE CVPRW，06 pp.131-138),認(rèn)為車輛只有直線運動，從而簡化 外極點約束模型，但是這種簡化導(dǎo)致系統(tǒng)的適用范圍變小。有些技術(shù)則在外極 點約束模型的基礎(chǔ)上加入部分先驗知識(IEEE IVS，06 pp.261-267)，例如車 輛高于地面，以期獲得更好的運動目標(biāo)檢測效果。但是這些先驗知識沒有在 本質(zhì)上克服外極點約束模型的缺點。 發(fā)明內(nèi)容本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的不足，提供一種基于車載單目相 機的運動目標(biāo)感知與告警方法，該方法能夠可靠地檢測運動目標(biāo)，并在提高 模型參數(shù)估計精度的同時，減少參數(shù)估計的耗時。本發(fā)明的技術(shù)方案是這樣實現(xiàn)的包括以下步驟1) 攝像機采集道路前方連續(xù)的圖像序列，并通過圖像采集卡，輸入到計 算機系統(tǒng)中，由計算機軟件處理；2) 計算機軟件中的特征點檢測與跟蹤模塊包括特征點提取與匹配模塊和 圖像背景靜止特征點跟蹤模塊；特征點提取與匹配模塊從圖像序列中抽取連 續(xù)的三幀圖像，實施蘇珊SUSAN特征點檢測和尺度不變特征點檢測，并使 用尺度不變特征點描述方法生成特征點描述向量，再使用歐氏空間距離度量， 進行三幀圖像之間的特征點匹配；特征點提取與匹配模塊輸出的匹配特征點 將同時輸出到圖像背景靜止特征點跟蹤模塊、圖像靜止背景特征點和運動目標(biāo)特征點分類模塊；3) 圖像背景靜止特征點跟蹤模塊跟蹤靜止背景特征點，并將數(shù)據(jù)輸入到 圖像靜止背景特征點幾何約束模型參數(shù)估計模塊進行模型參數(shù)估計；4) 圖像靜止背景特征點和運動目標(biāo)特征點分類模塊使用圖像靜止背景特 征點幾何約束模型參數(shù)估計模塊輸出的模型參數(shù)構(gòu)建幾何約束模型，將特征 點提取與匹配模塊所輸出的所有匹配特征點分成靜止背景點和運動目標(biāo)點； 靜止背景點將反饋到圖像背景靜止特征點跟蹤模塊；運動目標(biāo)點將輸出到運 動特征點時域濾波模塊，濾波后的運動特征點數(shù)據(jù)將輸入到運動目標(biāo)分割模 塊，目標(biāo)分割結(jié)果輸出到運動目標(biāo)顯示告警模塊。圖像背景靜止特征點跟蹤模塊使用圖像靜止背景特征點和運動目標(biāo)特征 點分類模塊反饋的前一幀的靜止背景特征點，與當(dāng)前幀的特征點實行匹配， 實現(xiàn)跟蹤靜止背景特征點；其過程為以前一幀靜止背景特征點的坐標(biāo)為參考，在當(dāng)前幀的一個矩 形區(qū)域中，尋找可與前一幀靜止特征點匹配的當(dāng)前幀的特征點，矩形區(qū)域的 長和寬與特征點的"，力坐標(biāo)呈下面的函數(shù)關(guān)系L 11=1>。+1 小-會-62| 其中w和h是矩形的長和寬，(x,力是特征點坐標(biāo)，(6^2)是上一圖像幀 的外極點參數(shù)，是(a。A，^,b。,bO函數(shù)參數(shù)。矩形的中心坐標(biāo)(、~)為匹配使用的描述向量就是尺度不變特征點描述向量，找到的這些匹配特 征點，確定為當(dāng)前圖像中的背景靜止特征點；經(jīng)過該模塊對靜止背景點的跟蹤，從所有特征點中篩選出部分背景靜止點，用于幾何約束模型參數(shù)估計。所述的圖像靜止背景特征點和運動目標(biāo)特征點分類模塊使用圖像靜止背 景特征點幾何約束模型參數(shù)估計模塊輸出的模型參數(shù)構(gòu)建幾何約束模型，采用一種通過2D平面投影變換計算外極點約束模型和結(jié)構(gòu)一致性約束模型的 技術(shù)-首先，使用圖像背景靜止特征點跟蹤模塊篩選得到的連續(xù)三幀圖像(A、 B、 C)中的匹配的靜止特征點，估計相鄰兩幀之間的2D投影變換參數(shù)H，2和 H23;使用參數(shù)H^和H"，計算B、 C兩幀的靜止特征點在A、 B兩幀中的2D 平面投影以及平面視差；其次，使用所述的平面視差，估計第二幀圖像B在第一幀圖像A中的外 極點&，和第三幀圖像C在第二幀圖像B中的外極點6";再使用平面視差和外極點ei2和e"計算靜止特征點的3D結(jié)構(gòu)向量，并使用3D結(jié)構(gòu)向量估計 3D結(jié)構(gòu)一致性模型參數(shù)G;最后，使用了外極點約束模型和結(jié)構(gòu)一致性模型對特征點提取與匹配模 塊輸出的所有特征點進行分類特征點越是符合模型，則與模型的匹配誤差 越小，特征點就越趨向于被分類為靜止點；反之則越趨向于被分為運動點； 外極點約束模型的匹配誤差為《=O _ ^w M - (x - xw )e2 — (>xw — ;qyw)其中hA]是約束模型估計模塊的外極點參數(shù)e'2 ，"力是特征點x的坐 標(biāo)，^w，^)是x的2D平面投影坐標(biāo)；結(jié)構(gòu)一致性模型的匹配誤差為其中G是約束模型估計模塊輸出的結(jié)構(gòu)一致性模型參數(shù)，g和P2是3D結(jié)構(gòu)向量。本發(fā)明所提出的跟蹤靜止背景點估計約束模型參數(shù)的技術(shù)，可以使模型參數(shù)估計時間減少2/3，模型參數(shù)估計的精度提高15%左右。本發(fā)明提出的 通過2D投影變換，聯(lián)合外極點約束模型和結(jié)構(gòu)一致性約束模型，分類圖像 靜止或運動像素點的技術(shù)，能夠可靠地感知道路上的運動目標(biāo)，克服了單一 使用外極點約束模型時，無法感知與本車平行運動的目標(biāo)的缺點。


圖1是方法工作的原理示意圖。圖2是方法的框架結(jié)構(gòu)示意圖。圖3是方法流程示意圖。圖4是結(jié)合隨機采樣一致擬合方法的外極點約束模型參數(shù)估計流程示意圖。圖5是結(jié)合最小中值方差擬合方法的結(jié)構(gòu)一致性約束模型參數(shù)估計流程 示意圖。圖6 (a)是本發(fā)明對道路上單個運動目標(biāo)檢測的效果示意圖。 圖6 (b)是本發(fā)明對道路上多個運動目標(biāo)檢測的效果示意圖。 下面結(jié)合附圖對本發(fā)明的內(nèi)容作進一步詳細(xì)說明。
具體實施方式
參照圖1所示，道路上運動的目標(biāo)和靜止的背景，例如運動的車輛和靜 止的房屋、樹木，雖然在車載相機的成像平面中均在運動，但是它們運動的 特性有明顯區(qū)別。通過連續(xù)幾幀圖像之間的特征點匹配，圖像特征點一般是 圖像灰度變化的局部極值點，或含有顯著結(jié)構(gòu)信息的區(qū)域中心，現(xiàn)存在多種特征點提取方法；圖像中匹配的特征點代表了空間中同一個物理點，可以獲得特征點的運動向量v，例如圖1中運動目標(biāo)上的特征點運動向量v，，背景中 房屋和樹木的運動向量V2和v、外極點約束模型和結(jié)構(gòu)一致性約束模型是一 種描述靜止背景特征點在相機成像平面上的運動特性的模型。外極點約束模 型是一種相機幾何模型，它表示了相機移動時，空間中靜止點在兩個相機成 像平面中的關(guān)系；結(jié)構(gòu)一致性約束模型也是一種相機幾何模型，它表示了相 機移動時，空間中靜止點在三個相機成像平面中的關(guān)系；這兩種模型均是線 性模型。靜止背景特征點的運動向量對于約束模型具有很小的匹配誤差，而 運動目標(biāo)特征點的運動向量對于約束模型具有很大的匹配誤差。使用這一原 理，可以利用連續(xù)圖像幀之間的特征點匹配獲取特征點的運動信息，并通過 準(zhǔn)確估計約束模型的參數(shù)，然后對特征點進行分類，實現(xiàn)運動目標(biāo)感知。參照圖2所示，其包含 一臺不需要標(biāo)定的單目攝像機； 一塊連接計算 機系統(tǒng)和攝像機的圖像采集卡，圖像采集結(jié)果輸入一個特征點檢測與跟蹤模 塊，其中包括特征點提取與匹配模塊和圖像靜止背景特征點跟蹤模塊，其輸 出包括兩部分， 一部分是將要輸入靜止背景特征點與運動特征點分類模塊的 所有圖像特征點及其匹配信息，另一部分是將要輸入圖像靜止背景特征點幾 何約束模型參數(shù)估計模塊的經(jīng)過跟蹤篩選出來的部分靜止背景特征點匹配信 息；圖像靜止背景特征點幾何約束模型參數(shù)估計模塊將計算得到的模型參數(shù) 估計結(jié)果輸入一個靜止背景特征點與運動特征點分類模塊；靜止背景特征點 與運動特征點分類模塊的輸出包括兩部分， 一部分是運動特征點，將輸入運 動特征點時域濾波模塊，另一部分是靜止背景特征點，將輸入特征點檢測與 跟蹤模塊，用于下一幀循環(huán)跟蹤靜止背景點； 一個運動特征點時域濾波模塊，輸出濾波后的運動特征點到一個運動目標(biāo)分割模塊，為目標(biāo)顯示與告警模塊 提供最終的目標(biāo)信息； 一個參數(shù)輸入模塊用于系統(tǒng)參數(shù)設(shè)定。 參照圖3所示，其具體描述如下第一階段，攝像機拍攝的道路場景視頻首先被分解成圖像序列，然后每 連續(xù)的三幀圖像為一組參與運算，相鄰圖像組之間有二幀圖像是重復(fù)的。特 征點提取與匹配模塊對三幀圖像進行蘇珊SUSAN特征點檢測和尺度不變特 征點檢測，并使用尺度不變特征點描述方法生成特征點描述向量/，再使用歐氏空間距離度量確定三幀圖像的特征點之間匹配關(guān)系<formula>formula see original document page 11</formula>其中Xj是第一幀圖像中編號為i的特征點，x)是第二幀圖像中編號為j的特征點，x「是第三幀圖像中編號為l的特征點。已知Xi尋找x;的公式如下 <formula>formula see original document page 11</formula>k其中^是第一幀圖像中編號為i的特征點的描述向量，^是第二幀圖像中編號為k的特征點描述向量。同理，已知x;可以尋找到^，最終形成匹配特征點對<formula>formula see original document page 11</formula>然后圖像背景靜止特征點跟蹤模塊使用圖像靜止背景 特征點與運動目標(biāo)特征點分類模塊返回的前一幀圖像靜止背景特征點，跟蹤當(dāng)前幀的特征點中的部分靜止背景特征點。其方法是，以前一幀靜止背景特征點的坐標(biāo)為參考，在當(dāng)前幀的一個矩形區(qū)域中，尋找可與前一幀靜止特征點匹配的當(dāng)前幀的特征點。矩形區(qū)域的長和寬與特征點的"力坐標(biāo)呈下面的函數(shù)關(guān)系<formula>formula see original document page 11</formula> 其中W和h是矩形的長和寬，(x,力是特征點坐標(biāo)，(e,A)是上一圖像幀 的外極點參數(shù)，是(a。,a，，^b。,b，;)函數(shù)參數(shù)。矩形的中心坐標(biāo)(、^)為匹配使用的描述向量就是特征點提取與匹配模塊提取的尺度不變特征點 描述向量。匹配方法也是使用歐氏空間距離度量決定匹配關(guān)系。該模塊為下 一階段的模型參數(shù)估計提供相對可靠的匹配特征點數(shù)據(jù)。
第二階段是約束模型參數(shù)估計階段。首先使用第一階段篩選得到的連續(xù)
三幀圖像A、 B、 C中的匹配的靜止特征點"'，x"x"，估計相鄰兩幀之間的2D 投影變換參數(shù)Hi2和H"，使其滿足下面的條件
可以使用直接線性變換法求解Hi2和H"。
其次使用l-^H'2X2」和X2w-「H23Xy計算B、 C兩幀的靜止特征點在A、 B 兩幀中的2D投影"w，x"。
然后估計第二幀圖像B在第一幀圖像A中的外極點 ，和第三幀圖像C 在第二幀圖像B中的外極點e"，使其滿足下面的條件
為了便于運算，可將上式簡化。以計算e'2為例，^是一個2維向量[61，￡21， 第一幀A中的某個特征點xi和對應(yīng)的2D投影xiw也是2維向量，分別為[^" 和Kv，Xv]，那么對于每一個靜止特征點，均有下面的方程
若第一階段提供N個靜止特征點，可以構(gòu)建N個這樣的方程，構(gòu)成超定 方程組。使用奇異值分解法可以計算出[e"e2]。為了減輕第一階段提供的靜止特征點中含有的錯誤跟蹤點，被稱為外點，對外極點約束模型參數(shù)估計精度
的影響，要結(jié)合使用隨機采樣一致RANSAC參數(shù)擬合方法。隨機采樣一致 參數(shù)擬合方法是一種隨機參數(shù)估計法，具體過程參考圖4。
然后計算靜止特征點的3D結(jié)構(gòu)向量f ，這是一個4維向量h，y，"]。其 中x，》即為特征點在成像平面上的坐標(biāo)，W皮稱為歸一化的相對高度，其中 包含了點在空間的高度和深度信息。計算3D結(jié)構(gòu)向量，主要是計算"這需 要兩幀圖像。以第一幀A和第二幀B為例，計算特征點在這兩幀中的歸一化 的相對高度，需要B幀在A幀中的外極點ei2，特征點在A幀的坐標(biāo)x'，以 及該特征點從B幀2D投影到A幀的坐標(biāo)5^ 。計算公式如下
其中，x'、 xlw、 e'2均采用齊次坐標(biāo)，即x^[x'，乂，l]T， xlw=hw，_ylw，l]T， e12=h，e2，l](這一點與外極點估計時不同)。于是就可以得到A幀和B幀的 特征點3D結(jié)構(gòu)向量^ ^K，為，1，^。同理可以得到B幀和C幀的特征點3D結(jié)
構(gòu)向量^-K，少2,"2]。
最后是估計三幀圖像的結(jié)構(gòu)一致性約束模型。對于A幀和B幀的特征點 3D結(jié)構(gòu)向量&， B幀和C幀的特征點3D結(jié)構(gòu)向量^，該模型可以表述為 gGf2=0，其中G是一個4X4的矩陣，且秩為2。對于每一個特征點均可構(gòu) 成一個^(^^0的方程。若第一階段提供N個靜止特征點，可以構(gòu)建N個 這樣的方程，構(gòu)成超定方程組。使用奇異值分解法可以計算出G。為了減輕 第一階段提供的靜止特征點中含有的錯誤跟蹤點(稱為外點)，對結(jié)構(gòu)一致性 約束模型參數(shù)估計精度的影響，要結(jié)合使用最小中值方差LMedS參數(shù)擬合方 法。最小中值方差參數(shù)擬合方法是一種隨機參數(shù)估計法，具體過程參考圖5。第三階段是特征點分類階段。使用第二階段得到的模型參數(shù)，對當(dāng)前幀 的所有特征點進行分類。分類的依據(jù)是特征點和模型的匹配誤差。特征點越 是符合模型，與模型的匹配誤差越小，特征點就越趨向于被分類為靜止點。
特征點提取與跟蹤模塊輸出的A、 B、 C連續(xù)三幀圖像中的匹配的所有特征 點"，x"x"，先被外極點約束模型分類。計算特征點與外極點模型匹配誤差
的公式如下
<formula>formula see original document page 14</formula>艮 其中[e"^]是約束模型估計模塊的外極點參數(shù)。當(dāng)某個特征點與外極點模 型的匹配誤差超過設(shè)定的閾值^時，則將該特征點分入運動目標(biāo)點。匹配誤 差小于閾值^的特征點進入使用結(jié)構(gòu)一致性約束模型分類的階段。在此階段， 首先計算特征點在A、 8兩幀中的30結(jié)構(gòu)向量&=[^，>;'，1，/^和8、 C兩幀中 的3D結(jié)構(gòu)向量^-^，A，l，W，計算方法和第二階段描述的方法相同。然后 計算特征點與結(jié)構(gòu)一致性約束模型的匹配誤差，公式如下-
<formula>formula see original document page 14</formula>
其中G是約束模型估計模塊的結(jié)構(gòu)一致性模型參數(shù)。當(dāng)某個特征點的匹
配誤差《超過設(shè)定的閾值^時，則將該特征點分入運動目標(biāo)點
第四階段是運動目標(biāo)的產(chǎn)生與分割階段。首先對運動特征點進行時域濾 波，即某個特征點只有在連續(xù)三幀內(nèi)均被分入運動特征點時，才被系統(tǒng)確認(rèn) 為運動目標(biāo)特征點。接著計算以特征點附近一定區(qū)域內(nèi)的多個圖像塊內(nèi)的光 流，根據(jù)比較圖像塊內(nèi)的光流與以特征點為中心的圖像塊內(nèi)的光流的一致性， 確定該圖像塊是否屬于運動目標(biāo)。最后將鄰近的圖像塊聚類在一起，形成最 后的運動目標(biāo)區(qū)域。參照圖4所示，首先設(shè)定系統(tǒng)參數(shù)循環(huán)次數(shù)^和誤差閾值。然后進入 循環(huán)。在循環(huán)中，先隨機挑選3個特征點，構(gòu)建3個如下的方程
Oi -乂w)ei 一Oi _xiw)e2 =^^lw -、_ylw < Cy2 一Aw)a -(a - &w)e2 = _yj2w _&y2w
!_ O3 — ;V )e， — (A - x3w )e2 = _y3x3w — x3y3w
其中"^)是第i個特征點的坐標(biāo)，(^，l)是第i個特征點的2D投影變換
坐標(biāo)。使用奇異值分解得到的"，&)值。然后使用該(￡'，^)值，計算其余特征 點的模型擬合誤差，公式如下
《=Oi — Xw X - Oi — xiw )e2 — (>^1W - ;Ci_yiw)
剔除誤差大于設(shè)定閾值^的特征點，使用剩余的特征點(稱為內(nèi)點)，再
次構(gòu)建方程組
-Mwh — —&w)e2 =_y,xlw -;^lw
U "iwh 一(、 _xlw)e2 =1 n 使用奇異值分解重新估計"A)值，記錄參數(shù)擬合誤差
《=2]" "iw)ei -" -Oe2 -d n)
其中，參與累加計算參數(shù)擬合誤差的特征點中均為內(nèi)點。結(jié)束循環(huán)后，
挑選參數(shù)擬合誤差最小的那一輪循環(huán)中，計算得到的"，6)值作為最終的外 極點參數(shù)值。
參照圖5所示，首先設(shè)定系統(tǒng)參數(shù)循環(huán)次數(shù)、然后進入循環(huán)。在循 環(huán)中，先隨機挑選15個特征點，構(gòu)建方程組
其中^表示第i個特征點在第一幀和第二幀中的3D結(jié)構(gòu)向量，5'表示第i個特征點在第二幀和第三幀中的3D結(jié)構(gòu)向量。使用奇異值分解法得到的g 值。然后使用該g值，計算其余特征點的模型擬合誤差，記錄模型擬合中值
誤差<formula>formula see original document page 16</formula>
結(jié)束循環(huán)后，找出所有循環(huán)中模型擬合中值誤差最小的那一輪循環(huán)，取 該輪循環(huán)中估計的G值，計算各個特征點的擬合誤差-
<formula>formula see original document page 16</formula>
取模型擬合誤差小于中值誤差的那些特征點，構(gòu)造方程組: <formula>formula see original document page 16</formula>使用奇異值分解法，重新計算g的值，作為最終結(jié)構(gòu)一致性模型的參數(shù)(
參照圖6所示，其中方框標(biāo)注的區(qū)域是感知到的運動目標(biāo)存在區(qū)域(
權(quán)利要求
1、基于車載單目相機的運動目標(biāo)感知與告警方法，其特征在于，包括以下步驟1)攝像機采集道路前方連續(xù)的圖像序列，并通過圖像采集卡，輸入到計算機系統(tǒng)中，等待計算機軟件處理；2)計算機軟件中的特征點檢測與跟蹤模塊包括特征點提取與匹配模塊和圖像背景靜止特征點跟蹤模塊；特征點提取與匹配模塊從圖像序列中抽取連續(xù)的三幀圖像，實施蘇珊SUSAN特征點檢測和尺度不變特征點檢測，并使用尺度不變特征點描述方法生成特征點描述向量，再使用歐氏空間距離度量，進行三幀圖像之間的特征點匹配；特征點提取與匹配模塊輸出的匹配特征點將同時輸出到圖像背景靜止特征點跟蹤模塊、圖像靜止背景特征點和運動目標(biāo)特征點分類模塊；3)圖像背景靜止特征點跟蹤模塊跟蹤靜止背景特征點，并將數(shù)據(jù)輸入到圖像靜止背景特征點幾何約束模型參數(shù)估計模塊進行模型參數(shù)估計；4)圖像靜止背景特征點和運動目標(biāo)特征點分類模塊使用圖像靜止背景特征點幾何約束模型參數(shù)估計模塊輸出的模型參數(shù)構(gòu)建幾何約束模型，將特征點提取與匹配模塊所輸出的所有匹配特征點分成靜止背景點和運動目標(biāo)點；靜止背景點將反饋到圖像背景靜止特征點跟蹤模塊；運動目標(biāo)點將輸出到運動特征點時域濾波模塊，濾波后的運動特征點數(shù)據(jù)將輸入到運動目標(biāo)分割模塊，目標(biāo)分割結(jié)果輸出到運動目標(biāo)顯示告警模塊。
2、 根據(jù)權(quán)利要求1所述的方法，其特征在于，圖像背景靜止特征點跟蹤 模塊使用圖像靜止背景特征點和運動目標(biāo)特征點分類模塊反饋的前一幀的靜止背景特征點，與當(dāng)前幀的特征點實行匹配，實現(xiàn)跟蹤靜止背景特征點；其過程為以前一幀靜止背景特征點的坐標(biāo)為參考，在當(dāng)前幀的一個矩 形區(qū)域中，尋找可與前一幀靜止特征點匹配的當(dāng)前幀的特征點，矩形區(qū)域的 長和寬與特征點的"，力坐標(biāo)呈下面的函數(shù)關(guān)系<formula>formula see original document page 3</formula>其中w和h是矩形的長和寬，(x,力是特征點坐標(biāo)，(e,，e2)是上一圖像幀 的外極點參數(shù)，是(a。，ap^，b。A)函數(shù)參數(shù)。矩形的中心坐標(biāo)(、~)為<formula>formula see original document page 3</formula>匹配使用的描述向量就是尺度不變特征點描述向量，找到的這些匹配特 征點，確定為當(dāng)前圖像中的背景靜止特征點；經(jīng)過該模塊對靜止背景點的跟 蹤，從所有特征點中篩選出部分背景靜止點，用于幾何約束模型參數(shù)估計。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的圖像靜止背景特征 點和運動目標(biāo)特征點分類模塊使用圖像靜止背景特征點幾何約束模型參數(shù)估 計模塊輸出的模型參數(shù)構(gòu)建幾何約束模型，采用一種通過2D平面投影變換 計算外極點約束模型和結(jié)構(gòu)一致性約束模型的技術(shù)首先，使用圖像背景靜止特征點跟蹤模塊篩選得到的連續(xù)三幀圖像(A、 B、 C)中的匹配的靜止特征點，估計相鄰兩幀之間的2D投影變換參數(shù)H'2和 H";使用參數(shù)Hu和H"，計算B、 C兩幀的靜止特征點在A、 B兩幀中的2D 平面投影以及平面視差；其次，使用所述的平面視差，估計第二幀圖像B在第一幀圖像A中的外 極點612，和第三幀圖像C在第二幀圖像B中的外極點e";再使用平面視差和外極點ei2和e"計算靜止特征點的3D結(jié)構(gòu)向量，并使用3D結(jié)構(gòu)向量估計 3D結(jié)構(gòu)一致性模型參數(shù)G;最后，使用了外極點約束模型和結(jié)構(gòu)一致性模型對特征點提取與匹配模 塊輸出的所有特征點進行分類特征點越是符合模型，則與模型的匹配誤差 越小，特征點就越趨向于被分類為靜止點；反之則越趨向于被分為運動點； 外極點約束模型的匹配誤差為《=(少-少wM -(nw)e2 _(>aw -^w)其中h，^是約束模型估計模塊的外極點參數(shù)ei2 ，"力是特征點x的坐 標(biāo)，"w，^)是x的2D平面投影坐標(biāo)；結(jié)構(gòu)一致性模型的匹配誤差為其中G是約束模型估計模塊輸出的結(jié)構(gòu)一致性模型參數(shù)，f,和g是3D結(jié) 構(gòu)向量。
全文摘要
本發(fā)明公開了一種基于車載單目相機的運動目標(biāo)感知與告警方法，該方法軟件中的特征點檢測與跟蹤模塊包括特征點提取與匹配模塊和圖像背景靜止特征點跟蹤模塊；圖像背景靜止特征點跟蹤模塊跟蹤靜止背景特征點，圖像靜止背景特征點和運動目標(biāo)特征點分類模塊使用圖像靜止背景特征點幾何約束模型參數(shù)估計模塊輸出的模型參數(shù)構(gòu)建幾何約束模型，將特征點提取與匹配模塊所輸出的所有匹配特征點分成靜止背景點和運動目標(biāo)點；靜止背景點將反饋到圖像背景靜止特征點跟蹤模塊；運動目標(biāo)點將輸出到運動特征點時域濾波模塊，濾波后的數(shù)據(jù)輸入到運動目標(biāo)分割模塊，目標(biāo)分割結(jié)果輸出到運動目標(biāo)顯示告警模塊。該方法能夠提高模型參數(shù)估計精度，減少參數(shù)估計的耗時。
文檔編號G06T7/20GK101303732SQ200810017930
公開日2008年11月12日 申請日期2008年4月11日 優(yōu)先權(quán)日2008年4月11日
發(fā)明者劉躍虎, 沖 孫, 張雪濤, 盛興東, 袁澤劍, 袁茂軍, 鄭南寧 申請人:西安交通大學(xué)