一種強(qiáng)視差下的移動(dòng)相機(jī)運(yùn)動(dòng)目標(biāo)檢測方法
【專利摘要】本發(fā)明提出一種強(qiáng)視差下的移動(dòng)相機(jī)運(yùn)動(dòng)目標(biāo)檢測方法。用旋轉(zhuǎn)矩陣R和平移矩陣t描述兩幀之間的相機(jī)運(yùn)動(dòng)，獲得第二幀圖像上的點(diǎn)與世界坐標(biāo)系的關(guān)系，從而獲得深度約束方程；將第二幀圖像上所有匹配點(diǎn)的坐標(biāo)和對應(yīng)的深度信息帶入深度約束方程，獲得深度約束方程的Rt矩陣的最優(yōu)解；利用深度約束方程計(jì)算的圖像點(diǎn)坐標(biāo)與對應(yīng)的深度信息相乘；將該乘積和利用深度約束方程估計(jì)出來的結(jié)果分別作為兩個(gè)三維坐標(biāo)點(diǎn)，計(jì)算該兩個(gè)三維坐標(biāo)點(diǎn)之間的距離，并將距離歸一化，若歸一化距離大于設(shè)定的閾值，則判斷該距離對應(yīng)的點(diǎn)為運(yùn)動(dòng)目標(biāo)，否則，該距離對應(yīng)的點(diǎn)為背景。本發(fā)明能夠解決在車載手持等移動(dòng)平臺(tái)下，三維場景會(huì)產(chǎn)生視差的問題，對運(yùn)動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)高效的檢測。
【專利說明】
一種強(qiáng)視差下的移動(dòng)相機(jī)運(yùn)動(dòng)目標(biāo)檢測方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明是屬于數(shù)字圖像處理與模式識別領(lǐng)域，尤其屬于基于圖像處理的目標(biāo)識 另IJ、跟蹤領(lǐng)域，具體涉及一種強(qiáng)視差下的移動(dòng)相機(jī)運(yùn)動(dòng)目標(biāo)檢測方法。
【背景技術(shù)】
[0002] 自動(dòng)運(yùn)動(dòng)目標(biāo)檢測技術(shù)是目標(biāo)搜索與跟蹤系統(tǒng)中的關(guān)鍵技術(shù)，為后續(xù)航跡關(guān)聯(lián)、 目標(biāo)識別、跟蹤等技術(shù)提供了初步的信息。在傳統(tǒng)的運(yùn)動(dòng)目標(biāo)檢測系統(tǒng)中，攝像機(jī)通常是靜 止的，在視頻監(jiān)控、交通檢測等系統(tǒng)中有著廣泛的應(yīng)用，然而在車載、手持等移動(dòng)平臺(tái)下，由 于相機(jī)的移動(dòng)，三維場景會(huì)產(chǎn)生視差的問題，此時(shí)就需要對場景視差進(jìn)行有效的估計(jì)。
[0003] 傳統(tǒng)方法一般是利用運(yùn)動(dòng)平臺(tái)下圖像間的對極幾何關(guān)系，如平面單應(yīng)矩陣、基礎(chǔ) 矩陣以及三焦點(diǎn)張量等，以此來補(bǔ)償或估計(jì)攝像機(jī)的運(yùn)動(dòng)。其中，單應(yīng)矩陣?yán)猛黄矫嫔?匹配點(diǎn)對之間的映射關(guān)系，特別適用于場景視差幾乎可以忽略無人機(jī)航拍等情況；基礎(chǔ)矩 陣?yán)脠D像匹配點(diǎn)對間的射極幾何關(guān)系來檢測運(yùn)動(dòng)目標(biāo)；三焦點(diǎn)張量利用的多視點(diǎn)圖像由 兩視圖增加到三視圖，代表圖像之間不以場景結(jié)構(gòu)為轉(zhuǎn)移的內(nèi)在射影幾何關(guān)系的數(shù)學(xué)量也 由基本矩陣變成了三焦點(diǎn)張量，但計(jì)算更為復(fù)雜。
[0004] 但是以上傳統(tǒng)方法需要幾何信息已知的參照標(biāo)定物，基于主動(dòng)視覺的標(biāo)定方法需 要利用精準(zhǔn)的云臺(tái)等硬件平臺(tái)隨時(shí)提供攝像機(jī)的方位信息，對硬件要求極高，不適用于便 攜式攝像機(jī)場合；基于自標(biāo)定的方法如基本矩陣、三視角張量，雖然對標(biāo)定場景和標(biāo)定儀器 要求不高，但往往工作量大、魯棒性差、精確度不高。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于提供一種強(qiáng)視差下的移動(dòng)相機(jī)運(yùn)動(dòng)目標(biāo)檢測方法，該方法結(jié)合 圖像的灰度信息和深度信息，建立深度約束方程，通過判斷圖像上的點(diǎn)是否滿足深度約束 方程來進(jìn)行運(yùn)動(dòng)目標(biāo)檢測，能夠解決在車載手持等移動(dòng)平臺(tái)下，三維場景會(huì)產(chǎn)生視差的問 題，對運(yùn)動(dòng)目標(biāo)進(jìn)行實(shí)時(shí)高效的檢測。
[0006] 為了解決上述技術(shù)問題，本發(fā)明提出一種強(qiáng)視差下的移動(dòng)相機(jī)運(yùn)動(dòng)目標(biāo)檢測方 法，包括以下步驟：
[0007] 步驟一：將兩幀圖像進(jìn)行匹配，提取兩幀圖像的深度信息；對相機(jī)進(jìn)行標(biāo)定，獲取 相機(jī)的內(nèi)部參數(shù)；
[0008] 步驟二：以相機(jī)拍攝第一幀圖像時(shí)的位置為世界坐標(biāo)系，換算出第一幀圖像上的 點(diǎn)坐標(biāo)對應(yīng)的世界坐標(biāo)系坐標(biāo)；
[0009] 步驟三：用旋轉(zhuǎn)矩陣R和平移矩陣t描述兩幀之間的相機(jī)運(yùn)動(dòng)，獲得第二幀圖像上 的點(diǎn)與世界坐標(biāo)系的關(guān)系，從而獲得深度約束方程；
[0010] 步驟四：將第二幀圖像上所有匹配點(diǎn)的坐標(biāo)和對應(yīng)的深度信息帶入深度約束方 程，獲得深度約束方程的Rt矩陣的最優(yōu)解；
[0011] 步驟五：利用深度約束方程計(jì)算的圖像點(diǎn)坐標(biāo)與對應(yīng)的深度信息相乘；將該乘積 和利用深度約束方程估計(jì)出來的結(jié)果分別作為兩個(gè)三維坐標(biāo)點(diǎn)，計(jì)算該兩個(gè)三維坐標(biāo)點(diǎn)之 間的距離，并將距離歸一化，若歸一化距離大于設(shè)定的閾值，則判斷該距離對應(yīng)的點(diǎn)為運(yùn)動(dòng) 目標(biāo)，否則，該距離對應(yīng)的點(diǎn)為背景。
[0012] 進(jìn)一步，步驟三中，所述深度約束方程如式（1)所示：
[0013]
1)
[0014] 式⑴中，K Vl)、（u2, v2)分別表示前后兩幀圖像匹配點(diǎn)的圖像坐標(biāo)，Ul、Vl分別 表示像素點(diǎn)在前一幀圖像上的橫坐標(biāo)與縱坐標(biāo)，11 2、￥2分別表示像素點(diǎn)在后一幀圖像上的橫 坐標(biāo)與縱坐標(biāo)；別表示前后兩幀圖像的匹配點(diǎn)相對于相機(jī)的深度信息；f x、fy、s、m、 η分別是相機(jī)內(nèi)部參數(shù)K中的參數(shù)，其中，fx，&分別為以X，y方向的像素量綱表示的相機(jī) 沿X，y方向的焦距；s為扭曲參數(shù)；(m，η)是相機(jī)成像平面上中心點(diǎn)坐標(biāo)；X w、Yw、Zw為第一 幀圖像上點(diǎn)對應(yīng)的世界坐標(biāo)系中的齊次坐標(biāo)；r 2... rjP t u t2, t3分別是旋轉(zhuǎn)矩陣和平 移矩陣的參數(shù)，且旋轉(zhuǎn)矩罔
[0015] 進(jìn)一步，步驟四中，利用最小二乘法解得符合深度約束方程的Rt矩陣的最優(yōu)解。
[0016] 進(jìn)一步，步驟五中所述兩個(gè)三維坐標(biāo)點(diǎn)之間距離的計(jì)算方式如公式（2)所示，
[0017]
(2)
[0018] 公式⑵中，Distance⑴為兩個(gè)三維坐標(biāo)點(diǎn)之間距離，(之.2?2,之名，之 t2)為利用深 度約束方程計(jì)算出來的第二幀圖像上點(diǎn)坐標(biāo)與對應(yīng)的深度信息的乘積；(Ζ?ιι2, ZJ為 利用深度約束方程計(jì)算出來的乘積(毛灰。
[0019] 進(jìn)一步，歸一化閾值選取在0到1之間。
[0020] 本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)在于，本發(fā)明利用二維圖像坐標(biāo)系到三維世 界坐標(biāo)系之間的關(guān)系，根據(jù)圖像深度信息和攝影幾何原理，并結(jié)合前后兩幀圖像和相機(jī)內(nèi) 部參數(shù)，提出了深度約束方程，并利用深度約束方程進(jìn)行運(yùn)動(dòng)目標(biāo)檢測，相比于傳統(tǒng)的移動(dòng) 相機(jī)運(yùn)動(dòng)目標(biāo)檢測方法，具有以下優(yōu)點(diǎn)：（1)本強(qiáng)視差下的運(yùn)動(dòng)目標(biāo)檢測方法，由于結(jié)合了 圖像的灰度信息和深度信息，可以消除由于相機(jī)移動(dòng)對運(yùn)動(dòng)目標(biāo)檢測產(chǎn)生的影響，剔除視 差，降低虛警率，不僅適用于航拍等視差可以忽略的場景，而且在經(jīng)常用于強(qiáng)視差環(huán)境的車 載、手持設(shè)備上也有很好的效果；(2)提出了一種新的運(yùn)動(dòng)相機(jī)下目標(biāo)檢測方法的實(shí)現(xiàn)過 程，該方法不僅將深度約束方程應(yīng)用到目標(biāo)檢測的框架中，而且可以在多種深度探測器的 平臺(tái)上實(shí)現(xiàn)；（3)算法簡單，速度較快，對硬件平臺(tái)要求較低，運(yùn)動(dòng)目標(biāo)檢測率高。
【附圖說明】
[0021 ] 圖1是本發(fā)明方法流程圖。
[0022] 圖2是本發(fā)明實(shí)驗(yàn)中利用距離相機(jī)較近的小車模型作為強(qiáng)視差的來源，在相機(jī)向 左平移且同時(shí)逆時(shí)針旋轉(zhuǎn)的情況下，坦克模型自左向右運(yùn)動(dòng)時(shí)，連續(xù)三幀視頻圖像的運(yùn)動(dòng) 目標(biāo)檢測結(jié)果。
[0023] 圖3是本發(fā)明方法與極線約束和單應(yīng)性約束方法的檢測率比較示意圖。
[0024] 圖4是本發(fā)明方法與極線約束和單應(yīng)性約束方法的精確率比較示意圖。
【具體實(shí)施方式】
[0025] 結(jié)合圖1，本發(fā)明強(qiáng)視差下的移動(dòng)相機(jī)運(yùn)動(dòng)目標(biāo)檢測方法，包括以下具體步驟：
[0026] 步驟1 :原始圖像預(yù)處理：首先，對前后兩幀圖像的像素點(diǎn)進(jìn)行匹配，成熟的KLT跟 蹤算法由于具有速度快、精度高、抗噪能力強(qiáng)等優(yōu)點(diǎn)，因此采用KLT跟蹤算法對前后兩幀圖 像像素點(diǎn)進(jìn)行匹配，得到兩幀圖像匹配點(diǎn)的圖像坐標(biāo)（ Ul，Vl)，（u2, v2)，其中，Ul、Vl*別表示 像素點(diǎn)在前一幀圖像上的橫坐標(biāo)與縱坐標(biāo)，u 2、v2分別表示像素點(diǎn)在后一幀圖像上的橫坐標(biāo) 與縱坐標(biāo)；其次，利用如Kinect相機(jī)，激光雷達(dá)等深度探測器，獲取兩幀圖像的匹配點(diǎn)相對 于相機(jī)的深度信息Z el，Ze2，即相機(jī)到目標(biāo)的距離；最后，利用張正友相機(jī)標(biāo)定法進(jìn)行相機(jī)標(biāo) 定，得到相機(jī)的內(nèi)部參I
，其中，fx，仁分別為以X，y方向的像素量綱表示 的相機(jī)沿X，y方向的焦距；s為扭曲參數(shù)；(m，η)是相機(jī)成像平面上中心點(diǎn)坐標(biāo)。
[0027] 步驟2 :世界坐標(biāo)系下的點(diǎn)坐標(biāo)求解：以第一幀圖像對應(yīng)的相機(jī)坐標(biāo)系為世界坐 標(biāo)系，根據(jù)攝影幾何原理，得到第一幀圖像上的點(diǎn)到世界坐標(biāo)系的對應(yīng)關(guān)系，如式1所示：
[0028]
(1) 123 其中，（Ul，Vl，1)為第一幀圖像上點(diǎn)的齊次坐標(biāo)；(Xw，Y w，Zw，1)為該點(diǎn)對應(yīng)的世界 2 坐標(biāo)系中的齊次坐標(biāo)；&為該點(diǎn)在相機(jī)坐標(biāo)系下的深度信息；I為單位矩陣。利用式1得 3 到第一幀圖像上的點(diǎn)（Ui, Vi)對應(yīng)的世界坐標(biāo)系坐標(biāo)（Xw, Yw, Zw, 1)，如式2所示：
[0030]
(2、
[0031] 步驟3:深度約束方程的建立：由于相機(jī)本身在運(yùn)動(dòng)，拍攝第二幀圖像時(shí)，相機(jī)的 位置相對于拍攝第一幀的位置發(fā)生了變化，用旋轉(zhuǎn)矩陣R和平移矩陣t來描述兩幀圖像之 間的相機(jī)運(yùn)動(dòng)，因此，第二幀圖像上的點(diǎn)與世界坐標(biāo)系的關(guān)系如式3所示：
[0032]
(3)
[0033] 其中，點(diǎn)（u2, v2)為點(diǎn)（Ul，Vl)在第二幀圖像上的匹配點(diǎn)坐標(biāo)；42為該點(diǎn)在當(dāng)前相 機(jī)坐標(biāo)系下的深度信息，將
：入式3 (其中r2. . . rjP t ^ t2, t3 分別是旋轉(zhuǎn)矩陣和平移矩陣的參數(shù)），開整理成ΑΧ = B的形式，得到深度約束方程：
[0034]
12 步驟4 :Rt矩陣的求解：將第二幀圖像上所有匹配點(diǎn)的坐標(biāo)和對應(yīng)的深度信息帶 入深度約束方程，利用最小二乘法解得符合深度約束方程的Rt矩陣的最優(yōu)解。 2 步驟5 :基于深度約束方程的運(yùn)動(dòng)目標(biāo)檢測：首先，利用步驟4算出的Rt矩陣的最 優(yōu)解來計(jì)算深度約束方程等號右邊的值，即利用深度約束方程計(jì)算出來的第二幀圖像上點(diǎn) 坐標(biāo)與對應(yīng)的深度信息的乘積(之其次，將第二幀圖像上點(diǎn)坐標(biāo)與對應(yīng)的深 度信息的乘積（Z@2, Z。％，ZJ和利用深度約束方程計(jì)算出來的乘積(之之;^，之〇看做 兩個(gè)三維坐標(biāo)點(diǎn)，將這兩個(gè)三維坐標(biāo)點(diǎn)代入式5,計(jì)算出兩點(diǎn)之間的距離：
[0037]
(5)
[0038] 最后，將Distance (i)歸一化得到Distance_normal (i)并進(jìn)行判斷，若歸一化距 離大于設(shè)定的閾值，則判斷該距離對應(yīng)的點(diǎn)為運(yùn)動(dòng)目標(biāo)，反之，則判斷該距離對應(yīng)的點(diǎn)為背 景，從而實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測。歸一化閾值選取在0到1之間，根據(jù)理論推導(dǎo)和實(shí)驗(yàn)經(jīng)驗(yàn)，選 取的歸一化閾值的大小應(yīng)正相關(guān)于相機(jī)運(yùn)動(dòng)速度，負(fù)相關(guān)于相機(jī)幀頻，負(fù)相關(guān)于目標(biāo)運(yùn)動(dòng) 速度。若歸一化閾值選取過大，會(huì)出現(xiàn)運(yùn)動(dòng)目標(biāo)的漏檢；若歸一化閾值選取過小，會(huì)出現(xiàn)虛 警，一般歸一化閾值取0. 7左右。
[0039] 本發(fā)明的有益效果可以通過以下實(shí)驗(yàn)進(jìn)一步說明：
[0040] 本發(fā)明實(shí)施例以Matlab2012b為實(shí)驗(yàn)平臺(tái)，實(shí)驗(yàn)利用圖像大小為640X480,幀頻 為30Hz的Xtion三維傳感器進(jìn)行視頻拍攝和深度信息提取。利用距離相機(jī)較近的小車模型 作為強(qiáng)視差的來源，在相機(jī)向左平移且同時(shí)逆時(shí)針旋轉(zhuǎn)的情況下，坦克模型自左向右運(yùn)動(dòng)。 如圖1所示，具體操作步驟如下：
[0041] ( -）、根據(jù)本發(fā)明步驟1所述，對Xtion三維傳感器獲取的原始圖像進(jìn)行預(yù)處理， 假設(shè)運(yùn)動(dòng)目標(biāo)可以由特征點(diǎn)表示，首先，用Harris算法提取兩幀圖像的角點(diǎn)坐標(biāo)；其次，采 用KLT跟蹤算法對前后兩幀圖像角點(diǎn)進(jìn)行匹配，得到兩幀圖像匹配點(diǎn)的圖像坐標(biāo)（ Ul，Vl)， (u2，v2)，如圖2中（a)、（d)、（g)中白色點(diǎn)所示；再次，利用Xtion三維傳感器獲取兩幀圖像 的匹配點(diǎn)相對于相機(jī)的深度信息Z# Ζ?，如圖2中（b)、（e)、（h)所示，顏色越深表示距離 越近；最后，利用張正友相機(jī)標(biāo)定法進(jìn)行相機(jī)標(biāo)定，得到相機(jī)的內(nèi)部參數(shù)K。
[0042] (二）、根據(jù)本發(fā)明步驟2所述，求解世界坐標(biāo)系下的匹配點(diǎn)坐標(biāo)：根據(jù)式1 :
[0043]
Π)
[0044] 得到第一幀圖像上的所有匹配角點(diǎn)對應(yīng)的世界坐標(biāo)系坐標(biāo)（Xw，Yw，Z w，1)，如式2 所示：
[0045]
(2)
[0046] (三）、根據(jù)本發(fā)明步驟3所述，建立深度約束方程：第二幀圖像上的角點(diǎn)與世界坐 標(biāo)系的關(guān)系如式3所示：
[0047]
(3)
[0048] 將
t入式（3)，并整理成ΑΧ = B的形式，得到深度約束方
程：
[0049]
[0050] (四）、根據(jù)本發(fā)明步驟4所述，求解深度約束方程中的Rt矩陣：將第二幀圖像上 所有匹配角點(diǎn)的坐標(biāo)和對應(yīng)的深度信息帶入深度約束方程，利用最小二乘法解得符合深度 約束方程的Rt矩陣的最優(yōu)解。
[0051] (五）、根據(jù)本發(fā)明步驟5所述，利用深度約束方程進(jìn)行運(yùn)動(dòng)目標(biāo)檢測：首先，利用 式4算出利用深度約束方程得到的角點(diǎn)坐標(biāo)與對應(yīng)的深度信息的乘積之之; 其次，將第二幀圖像上角點(diǎn)坐標(biāo)與對應(yīng)的深度信息的乘積（Ζ ?ιι2, Ζ?ν2, ZJ和利用深度約束 方程估計(jì)出來的(之2'之2心之2)看做兩個(gè)三維坐標(biāo)點(diǎn)，將這兩個(gè)三維坐標(biāo)點(diǎn)代入式5,計(jì) 算出兩點(diǎn)之間的距離：
[0052]
(5)
[0053] 最后，將Distance (i)歸一化得到Distance_normal (i)并進(jìn)行判斷，若歸一化距 離大于設(shè)定的閾值，則判斷該距離對應(yīng)的點(diǎn)為運(yùn)動(dòng)目標(biāo)，反之，則判斷該距離對應(yīng)的點(diǎn)為背 景，從而實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測，運(yùn)動(dòng)目標(biāo)如圖2中（c)、（f)、（i)中黑色點(diǎn)所示。其中，歸一化 閾值選取為Th = 0. 9。圖2中（c)、（f)、（i)分別為三幀圖像的檢測結(jié)果，黑色的點(diǎn)表示檢 測到的運(yùn)動(dòng)角點(diǎn)。明顯看出，本發(fā)明將三幀圖像中的運(yùn)動(dòng)角點(diǎn)全部正確地檢測出來了，而強(qiáng) 視差角點(diǎn)沒有被檢測出來。
[0054] 隨機(jī)選取20幀圖像，手動(dòng)標(biāo)記出運(yùn)動(dòng)目標(biāo)角點(diǎn)，記為C:，其中t表示第t幀；對 選取出來的20幀圖像進(jìn)行運(yùn)動(dòng)目標(biāo)檢測，將每幀計(jì)算出來的運(yùn)動(dòng)目標(biāo)的角點(diǎn)記為g。定義 D(t)表示第t幀的檢測率：
[0055]
(6)
[0056] 定義P (t)表示第t幀的精確率：
[0057]
(7)
[0058] 其中，N表示集合中點(diǎn)的個(gè)數(shù)。用式6來描述算法的檢測率，即檢測到的是運(yùn)動(dòng)目 標(biāo)的角點(diǎn)占真實(shí)運(yùn)動(dòng)目標(biāo)角點(diǎn)的比例；用式7來描述算法的精確率，即檢測到的是運(yùn)動(dòng)目 標(biāo)的角點(diǎn)占所有檢測出來的角點(diǎn)的比例（反比于虛警率）。檢測率和精確率的值越高表示 該算法的性能越好。將本發(fā)明方法與極線約束算法和單應(yīng)性約束算法作對比，將20幀圖像 的算法檢測率和算法精確率繪制成折線圖，如圖3、圖4所示。從圖3中可以看出，本發(fā)明方 法的檢測率明顯高于極線約束算法，略高于單應(yīng)性約束算法，極線約束算法出現(xiàn)了明顯的 漏檢；從圖4中可以看出，本發(fā)明方法的精確率明顯高于單應(yīng)性約束算法，略高于極線約束 算法，單應(yīng)性算法出現(xiàn)了明顯的虛警。本發(fā)明方法在檢測率和精確率上都有良好的性能。
[0059] 綜上所述，本發(fā)明結(jié)合圖像的灰度信息和深度信息，建立深度約束方程，通過判斷 圖像上的點(diǎn)是否滿足深度約束方程來進(jìn)行運(yùn)動(dòng)目標(biāo)檢測。實(shí)驗(yàn)表明，該方法不僅檢測率較 高，而且提出的深度約束方程可以有效的去除因相機(jī)移動(dòng)產(chǎn)生的視差對目標(biāo)檢測的影響， 不僅可以用于視差可以忽略的航拍、監(jiān)控，而且對于車載、手持等設(shè)備也有著很強(qiáng)的實(shí)用 性。
【主權(quán)項(xiàng)】
1. 一種強(qiáng)視差下的移動(dòng)相機(jī)運(yùn)動(dòng)目標(biāo)檢測方法，其特征在于，包括W下步驟： 步驟一：將兩帖圖像進(jìn)行匹配，提取兩帖圖像的深度信息；對相機(jī)進(jìn)行標(biāo)定，獲取相機(jī) 的內(nèi)部參數(shù)； 步驟二：W相機(jī)拍攝第一帖圖像時(shí)的位置為世界坐標(biāo)系，換算出第一帖圖像上的點(diǎn)坐 標(biāo)對應(yīng)的世界坐標(biāo)系坐標(biāo)； 步驟=:用旋轉(zhuǎn)矩陣R和平移矩陣t描述兩帖之間的相機(jī)運(yùn)動(dòng)，獲得第二帖圖像上的點(diǎn) 與世界坐標(biāo)系的關(guān)系，從而獲得深度約束方程. 步驟四：將第二帖圖像上所有匹配點(diǎn)的坐標(biāo)和對應(yīng)的深度信息帶入深度約束方程，獲 得深度約束方程的化矩陣的最優(yōu)解； 步驟五：利用深度約束方程計(jì)算的圖像點(diǎn)坐標(biāo)與對應(yīng)的深度信息相乘；將該乘積和利 用深度約束方程估計(jì)出來的結(jié)果分別作為兩個(gè)=維坐標(biāo)點(diǎn)，計(jì)算該兩個(gè)=維坐標(biāo)點(diǎn)之間的 距離，并將距離歸一化，若歸一化距離大于設(shè)定的闊值，則判斷該距離對應(yīng)的點(diǎn)為運(yùn)動(dòng)目 標(biāo)，否則，該距離對應(yīng)的點(diǎn)為背景。2. 如權(quán)利要求1所述強(qiáng)視差下的移動(dòng)相機(jī)運(yùn)動(dòng)目標(biāo)檢測方法，其特征在于，步驟=中， 所述深度約束方程如式（1)所示：(1) 式（1)中，（叫，VI)、（U2，V2)分別表示前后兩帖圖像匹配點(diǎn)的圖像坐標(biāo)，叫、V汾別表示 像素點(diǎn)在前一帖圖像上的橫坐標(biāo)與縱坐標(biāo)，U2、V2分別表示像素點(diǎn)在后一帖圖像上的橫坐標(biāo) 與縱坐標(biāo)；2。1、2。2分別表示前后兩帖圖像的匹配點(diǎn)相對于相機(jī)的深度信息；f y、fy、s、m、n分 別是相機(jī)內(nèi)部參數(shù)K中的參數(shù)，其中，fy，fy分別為W X，y方向的像素量綱表示的相機(jī)沿X， y方向的焦距；S為扭曲參數(shù)；(m，n)是相機(jī)成像平面上中屯、點(diǎn)坐標(biāo)；X"、Y"、Z"為第一帖圖像 上點(diǎn)對應(yīng)的世界坐標(biāo)系中的齊次坐標(biāo)；ri，. rg和11，t2, t3分別是旋轉(zhuǎn)矩陣和平移矩陣 的參數(shù)，且旋轉(zhuǎn)矩巧3. 如權(quán)利要求1所述強(qiáng)視差下的移動(dòng)相機(jī)運(yùn)動(dòng)目標(biāo)檢測方法，其特征在于，步驟四中， 利用最小二乘法解得符合深度約束方程的化矩陣的最優(yōu)解。4. 如權(quán)利要求1所述強(qiáng)視差下的移動(dòng)相機(jī)運(yùn)動(dòng)目標(biāo)檢測方法，其特征在于，步驟五中 所述兩個(gè)=維坐標(biāo)點(diǎn)之間距離的計(jì)算方式如公式（2)所示，公式似中，Distancea)為兩個(gè)S維坐標(biāo)點(diǎn)之間距離，(《也老,:1^之,：）為利用深度 約束方程計(jì)算出來的第二帖圖像上點(diǎn)坐標(biāo)與對應(yīng)的深度信息的乘積；狂。2%，Zc2V2, ZJ為利 用深度約束方程計(jì)算出來的乘積(是典，冬典名:)。5.如權(quán)利要求4所述強(qiáng)視差下的移動(dòng)相機(jī)運(yùn)動(dòng)目標(biāo)檢測方法，其特征在于，歸一化闊 值選取在O到1之間。
【文檔編號】G06T7/20GK106033614SQ201510124336
【公開日】2016年10月19日
【申請日】2015年3月20日
【發(fā)明人】顧國華, 丁祺, 孔筱芳, 徐富元
【申請人】南京理工大學(xué)