本發(fā)明涉及的是一種基于場(chǎng)景流的車流量統(tǒng)計(jì)與測(cè)速方法。

背景技術(shù)：

隨著我國(guó)經(jīng)濟(jì)發(fā)展人們的生活水平不斷提高，我國(guó)的家用汽車每年以2000萬(wàn)的數(shù)量增長(zhǎng)，隨著路上車輛不斷增多，城市道路及高速公路的擴(kuò)建，交通狀況變得越來(lái)越復(fù)雜，車輛在給我們的出行帶來(lái)便利的同時(shí)也帶來(lái)了一定的交通問題。智能交通管理是目前世界上正在研究和廣泛關(guān)注的課題，相對(duì)人力監(jiān)管的有限性，智能交通系統(tǒng)的應(yīng)用對(duì)交通運(yùn)輸業(yè)帶來(lái)了很大的效益，對(duì)道路車輛管理起到了越來(lái)越大的作用。而視頻車輛檢測(cè)技術(shù)具有安裝方便，成本低的特點(diǎn)。

目前存在的車輛檢測(cè)技術(shù)應(yīng)用最多的是基于單目攝像機(jī)的，而使用的檢測(cè)車輛的方法為幀間差分法，背景建模法，光流法等。幀間差分法對(duì)環(huán)境噪聲較為敏感，對(duì)閾值選擇有很強(qiáng)的依賴性，還可能產(chǎn)生目標(biāo)空洞，背景差需要實(shí)時(shí)更新背景圖像，易受光照變化的影響，光流法不需要事先知道場(chǎng)景的任何信息，被證明是較好的檢測(cè)方法，但是它是一種2維空間的速度場(chǎng)。根據(jù)機(jī)器視覺原理，由雙目或多目攝像機(jī)的空間關(guān)系，可以得到物體的空間位置和3維結(jié)構(gòu)信息。而場(chǎng)景流充分利用了多目相機(jī)獲取的圖像序列之間的立體對(duì)應(yīng)關(guān)系，能通過(guò)計(jì)算得到運(yùn)動(dòng)目標(biāo)的速度信息和結(jié)構(gòu)信息。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種使用多目相機(jī)的基于3維結(jié)構(gòu)張量各向異性流驅(qū)動(dòng)的場(chǎng)景流車流量統(tǒng)計(jì)與測(cè)速方法。

本發(fā)明的目的是這樣實(shí)現(xiàn)的：

步驟一：利用多目立體相機(jī)獲取圖像序列，利用相機(jī)參數(shù)將像素坐標(biāo)轉(zhuǎn)換成實(shí)際的物理坐標(biāo)；

步驟二：根據(jù)多目攝像機(jī)獲取的立體圖像序列之間的對(duì)應(yīng)關(guān)系，將hsv空間中色彩梯度約束方法與基于3維擴(kuò)散張量各向異性流驅(qū)動(dòng)平滑相結(jié)合，構(gòu)建場(chǎng)景流能量泛函，e(u,v,w)＝÷ω(ehsv+αesmooth)dx，其中u,v,w分別為場(chǎng)景流在水平、豎直和深度方向的速度分量，ehsv為數(shù)據(jù)項(xiàng),esmooth為平滑項(xiàng)，參數(shù)α為平衡因子；

步驟三：構(gòu)建基于hsv空間的色彩梯度恒常假設(shè),多視角約束的數(shù)據(jù)項(xiàng)；

步驟四：將場(chǎng)景流用(u,v,w)的形式表示，設(shè)計(jì)基于3維擴(kuò)散張量各向異性流驅(qū)動(dòng)的場(chǎng)景流平滑項(xiàng)；

步驟五：極小化能量函數(shù)，得到對(duì)應(yīng)的歐拉-拉格朗日方程，利用金子塔分層細(xì)化的方案迭代計(jì)算場(chǎng)景流，采樣因子選擇0.9，在每一層中，使用超松弛迭代方案迭代計(jì)算；

步驟六：將得到的場(chǎng)景流分量u、v、w組合成一組幅度圖利用基于變分全局熵自適應(yīng)水平集圖像分割方法，對(duì)圖像進(jìn)行分割處理，得到運(yùn)動(dòng)目標(biāo)輪廓；

步驟七：根據(jù)前后幀計(jì)算得到的閉合曲線及場(chǎng)景流，判斷前后幀中分割得到的目標(biāo)是否為同一個(gè)，并進(jìn)行目標(biāo)數(shù)量統(tǒng)計(jì)；

步驟八：根據(jù)步驟七得到的移動(dòng)目標(biāo)的形心ol^t(x,y)和計(jì)算出的場(chǎng)景流，計(jì)算對(duì)應(yīng)的實(shí)際速度

本發(fā)明還可以包括：

1、步驟三具體包括：

步驟3.1數(shù)據(jù)項(xiàng)滿足hsv空間中彩色梯度恒常假設(shè)，將t時(shí)刻和t+1時(shí)刻的rgb圖像轉(zhuǎn)換為hsv格式的彩色圖像；

將t時(shí)刻多視角圖像序列的彩色梯度用iθ0、iθ1…iθn表示，t+1時(shí)刻圖像序列的梯度用i'θ0、i'θ1…i'θn表示，基于hsv空間色彩梯度恒常假設(shè)的數(shù)據(jù)項(xiàng)由如下的形式。

edata＝∫ω(ef+es1+es2)dx

其中：ef為t時(shí)刻和t+1時(shí)刻的能量約束，es1和es2分別為t時(shí)刻和t+1時(shí)刻不同視角之間的能量約束；

步驟3.2利用多目相機(jī)拍攝到的圖像序列，在數(shù)據(jù)項(xiàng)中采用多視角約束，令

δi＝i'θi(pi,t)-iθ0(p0,t)(5)

δi和指的是在t和t+1時(shí)刻相機(jī)在不同角度拍攝同一位置的點(diǎn)，圖像的彩色梯度保持一致，δ^ti指的是在同一角度下，物體經(jīng)過(guò)t到t+1時(shí)刻的微小位移彩色梯度保持一致，根據(jù)等式edata＝∫ω(ef+es1+es2)dx，數(shù)據(jù)項(xiàng)該寫作：

2、步驟四具體包括：

將像素表示的2維圖像坐標(biāo)u-v擴(kuò)展為3維坐標(biāo)系u-v-z，設(shè)計(jì)3維結(jié)構(gòu)張量j

其中，為對(duì)變量求3維方向的梯度，結(jié)構(gòu)張量j為一個(gè)3x3的矩陣，含有3個(gè)相互正交的矢量v1、v2、v3，它們對(duì)應(yīng)的特征值為μ1、μ2、μ3；設(shè)計(jì)基于3維結(jié)構(gòu)張量各向異性，場(chǎng)景流驅(qū)動(dòng)的平滑項(xiàng)：

ψ為魯棒懲罰函數(shù)，經(jīng)最速下降法得到擴(kuò)散項(xiàng)：

由于每一項(xiàng)對(duì)應(yīng)特征值ψ'(μ1)、ψ'(μ2)、ψ'(μ3)不同，所以為3維各向異性擴(kuò)散。

3、步驟六具體包括：

步驟6.1將得到的場(chǎng)景流分量u、v、w組合成一組3維向量w＝(u,v,w)，將場(chǎng)景流3維向量w看做目標(biāo)圖像，建立基于變分全局熵自適應(yīng)水平集能量泛函模型：

其中，h為流場(chǎng)w的2維熵：

步驟6.2計(jì)算場(chǎng)景流圖像w的熵值，根據(jù)等式

構(gòu)建基于變分全局熵自適應(yīng)水平集圖像分割能量泛函e，根據(jù)數(shù)值大小，自適應(yīng)調(diào)整cv模型和gac模型對(duì)整個(gè)能量泛函的貢獻(xiàn)度，其中數(shù)值較大時(shí)，gac模型起主要的作用，當(dāng)較小時(shí)，cv模型起主要的作用；

步驟6.3對(duì)能量泛函模型極小化，得到基于變分全局熵自適應(yīng)水平集能量泛函對(duì)應(yīng)的歐拉-拉格朗日方程：

本發(fā)明使用多目相機(jī)，設(shè)計(jì)基于3維結(jié)構(gòu)張量各向異性流驅(qū)動(dòng)的場(chǎng)景流車流量統(tǒng)計(jì)與測(cè)速方法，解決了現(xiàn)有車輛測(cè)速和計(jì)數(shù)技術(shù)中的不足。本發(fā)明的方法主要用于智能交通管理。

附圖說(shuō)明

圖1為本發(fā)明的流程圖。

圖2為多目攝像機(jī)采集到圖像序列的立體對(duì)應(yīng)關(guān)系。

具體實(shí)施方式

下面結(jié)合附圖舉例對(duì)本發(fā)明作進(jìn)一步描述。

結(jié)合圖1，基于多目立體視覺的道路車流量統(tǒng)計(jì)與測(cè)速方法，包括以下步驟：

s1利用多目立體相機(jī)獲取圖像序列，利用相機(jī)參數(shù)將像素坐標(biāo)轉(zhuǎn)換成實(shí)際的物理坐標(biāo)。

其中[mⁱ]1,2是變換矩陣m的前兩行，m是[mⁱ]3的第3行，pi(x,y,z)為圖中像的像素點(diǎn)，

p(x,y,z)是實(shí)際得物理坐標(biāo)。

s2.根據(jù)多目攝像機(jī)獲取的立體圖像序列之間的對(duì)應(yīng)關(guān)系，將hsv空間中色彩梯度約束方法與自適應(yīng)全變分平滑相結(jié)合，構(gòu)建場(chǎng)景流能量泛函：

e(u,v,w)＝∫ω(ehsv+αesmooth)dx(2)

等式(1)中ehsv為數(shù)據(jù)項(xiàng),esmooth為平滑項(xiàng)，參數(shù)α為平衡因子。

s3.構(gòu)建基于hsv空間的色彩梯度恒常假設(shè)的數(shù)據(jù)項(xiàng)。具體步驟如下：

s3.1將多目立體相機(jī)系統(tǒng)進(jìn)行標(biāo)定，得到參數(shù)矩陣。用多目立體相機(jī)獲取立體圖像序列，將t時(shí)刻和t+1時(shí)刻的rgb圖像變換為與人類感知接近的hsv色度圖。在rgb彩色空間中，取最大的像素記為cmax，取最小的像素記為cmin。

cmax＝max(r,g,b)(3)

cmin＝min(r,g,b)(4)

hsv空間中h、s、v有以下形式：

v＝cmax(7)

將梯度擴(kuò)展成向量的形式：令h、s、v分別為hsv空間沿著h、s、v軸的單位向量，并將它們投影到x，y軸組成新的向量a、b。

hsv空間中，單位像素的角度θ(x,y)和此角度下的梯度值fθ(x,y)在x-y坐標(biāo)系下定義為：

此處由于tan(θ+π)＝tanθ，規(guī)定θ(x,y)只在[0,π)內(nèi)計(jì)算。等式(11)中g(shù)xx、gxy、gyy為向量a、b的點(diǎn)積。

彩色梯度相對(duì)于灰色梯度包含更多的顏色信息，根據(jù)附圖1所示的立體圖像序列之間的對(duì)應(yīng)關(guān)系，將t時(shí)刻多視角圖像序列的梯度用iθ0、iθ1…iθn表示，t+1時(shí)刻圖像序列的梯度用i'θ0、i'θ1…i'θn表示，基于hsv空間色彩梯度恒常假設(shè)的數(shù)據(jù)項(xiàng)有如下的形式。

edata＝∫ω(ef+es1+es2)dx(15)

s3.2利用多目相機(jī)拍攝到的圖像序列，在數(shù)據(jù)項(xiàng)中利用多視角約束。令

δi＝i'θi(pi,t)-iθ0(p0,t)(16)

δ^ti＝iθi(p'i,t+1)-iθi(pi,t)(18)

δi和指的是在t和t+1時(shí)刻相機(jī)在不同拍攝同一位置的點(diǎn)，圖像的彩色梯度保持一致δ^ti指的是在同一角度下，物體經(jīng)過(guò)t到t+1時(shí)刻的微小位移彩色梯度保持一致。根據(jù)等式(15)，數(shù)據(jù)項(xiàng)應(yīng)該寫作：

s4將場(chǎng)景流用(u,v,w)的形式表示，設(shè)計(jì)3維擴(kuò)散張量場(chǎng)景流平滑項(xiàng)。在3維坐標(biāo)系u-v-z中，設(shè)計(jì)3維結(jié)構(gòu)張量j

其中：為對(duì)變量求3維方向的梯度，例如有如下的形式：

因此結(jié)構(gòu)張量j為一個(gè)3x3的矩陣，含有3個(gè)相互正交的矢量v1、v2、v3，它們對(duì)應(yīng)的特征值為μ1、μ2、μ3，這3個(gè)特征值能反應(yīng)場(chǎng)景流在v1、v2、v3方向上的變化。

通過(guò)以上定義，設(shè)計(jì)基于3維結(jié)構(gòu)張量各向異性，場(chǎng)景流驅(qū)動(dòng)的平滑項(xiàng)。

經(jīng)最速下降法得到擴(kuò)散項(xiàng)：

由于每一項(xiàng)對(duì)應(yīng)特征值為ψ'(μ1)、ψ'(μ2)、ψ'(μ3)的不同，所以為各向異性擴(kuò)散。

s5.極小化變分能量函數(shù)，利用多分辨率由粗及精的方案求解得到場(chǎng)景流。根據(jù)以上步驟分析，最終的能量泛函有以下的形式：

對(duì)等式(28)進(jìn)行變分極小化，即求能量泛函(28)對(duì)u、v、w的導(dǎo)數(shù)，并令結(jié)果等于0。能量泛函(27)對(duì)u求偏導(dǎo)得到如下的歐拉-拉格朗日等式。

能量泛函(28)對(duì)v和w求偏導(dǎo)也有相同的形式。引入將金字塔分層細(xì)化的方案解決場(chǎng)景流中的大位移問題，采樣因子選擇0.9。在圖像金字塔的每一層采用超松弛迭代方案迭代計(jì)算。

s6.將得到的場(chǎng)景流分量u、v、w組合成一組流場(chǎng)幅度圖利用基于變分全局熵自適應(yīng)水平集圖像分割方法，對(duì)圖像w進(jìn)行分割處理，得到運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)輪廓。具體步驟如下：

s6.1在原始的場(chǎng)景流圖像中，定義一個(gè)任意的封閉曲線。將場(chǎng)景流幅度圖看做目標(biāo)圖像，建立基于變分全局熵自適應(yīng)水平集能量泛函模型：

其中，h為流場(chǎng)w的2維熵：

pi為流場(chǎng)中w第i個(gè)點(diǎn)出現(xiàn)的概率值。h不僅表征了流場(chǎng)的統(tǒng)計(jì)信息，還能反應(yīng)某流場(chǎng)位置與鄰域中流場(chǎng)分布的整體特性。當(dāng)目標(biāo)運(yùn)動(dòng)流場(chǎng)分布有序時(shí)，h值較小，當(dāng)運(yùn)動(dòng)流場(chǎng)分布雜亂時(shí)，h值較大。表示流場(chǎng)的梯度和，β為歸一化系數(shù)。g(ψ)為懲罰項(xiàng)，具有以下的形式：

等式(31)用來(lái)懲罰函數(shù)水平集函數(shù)ψ(x)，避免不斷的重復(fù)計(jì)算ψ(x)。

ecv為chan-vese模型，有如下的形式：

ecv(c,c1,c2)＝μ·length(c)(33)

+λ1∫in|w-c1|²h(ψ(x,y))dx

+λ2∫out|w-c2|²(1-h(ψ(x,y))dx

其中l(wèi)ength(c)是閉合輪廓線的長(zhǎng)度，定義如下：

δ(s)為dirace函數(shù)：

h(s)函數(shù)為heaviside函數(shù)：

μ、λ1、λ2是大于0的常數(shù)，表示各能量項(xiàng)的權(quán)重系數(shù)。等式(30)中最后一項(xiàng)要求曲線的長(zhǎng)度最短，用來(lái)保證曲線的光滑性，前兩項(xiàng)則是為了使輸入在曲線c內(nèi)、外部各點(diǎn)的灰度值與其所對(duì)應(yīng)區(qū)域的平均灰度值的差值最小。

egac為測(cè)地線主動(dòng)輪廓模型geodesicacticecontour(gac)，有如下的形式：

g為邊緣檢測(cè)函數(shù)，可以是任意單調(diào)遞減的非負(fù)函數(shù)，s是曲線的歐幾里得弧長(zhǎng)參數(shù)。

s6.2計(jì)算場(chǎng)景流圖像w的熵值，根據(jù)等式(28)構(gòu)建基于變分全局熵自適應(yīng)水平集圖像分割能量泛函e。根據(jù)數(shù)值大小，自適應(yīng)的調(diào)整cv模型和gac模型對(duì)整個(gè)能量泛函的貢獻(xiàn)度，其中數(shù)值較大時(shí)，gac模型起主要的作用，當(dāng)較小時(shí)，cv模型起主要的作用。

s6.3對(duì)能量泛函模型極小化，得到基于變分全局熵自適應(yīng)水平集能量泛函對(duì)應(yīng)的歐拉-拉格朗日等式：

采用任意的迭代方案進(jìn)行迭代計(jì)算，直到兩次迭代輪廓線基本不變，得到分割后的目標(biāo)和背景，每一個(gè)閉合曲線為一個(gè)移動(dòng)目標(biāo)。

s7根據(jù)前后幀計(jì)算得到的閉合曲線及場(chǎng)景流，判斷前后幀中分割得到的目標(biāo)是否為同一個(gè)，并進(jìn)行目標(biāo)數(shù)量統(tǒng)計(jì)。

對(duì)于攝像機(jī)t時(shí)刻的左測(cè)圖像il，求上一步驟得到的閉合曲線形心，記為根據(jù)求得的場(chǎng)景流，對(duì)進(jìn)行位移變換得到對(duì)于攝像機(jī)t+1時(shí)刻的左測(cè)圖像求上一步驟得到的閉合曲線形心，記為設(shè)定閾值κ，求和的距離，若此距離小于閾值κ，則認(rèn)為是移動(dòng)后的目標(biāo)形心，若此距離大于閾值，則認(rèn)為t時(shí)刻目標(biāo)停止運(yùn)動(dòng)，從t+1時(shí)刻開始，有新目標(biāo)開始運(yùn)動(dòng)。對(duì)于t+n和t+n-1時(shí)刻的圖像，也按照此方法判斷。

在攝像機(jī)左圖像中設(shè)定一條場(chǎng)景分割線，若有目標(biāo)形心穿過(guò)，則令計(jì)數(shù)變量加1。

s8根據(jù)步驟s7得到的移動(dòng)目標(biāo)的形心和計(jì)算出的場(chǎng)景流，計(jì)算對(duì)應(yīng)的實(shí)際速度