專利名稱:基于全方位計(jì)算機(jī)視覺的遺留物檢測裝置的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及光學(xué)技術(shù)和計(jì)算機(jī)視覺技術(shù)在智能安保方面的應(yīng)用,具體適用于大范圍內(nèi)的遺留物檢測裝置。
背景技術(shù):
人或車在區(qū)域附近滯留,就可能意味著可疑對象在等待時(shí)機(jī)置放可疑物件或準(zhǔn)備入侵,或者可能表示可疑對象在偵測當(dāng)前所使用的視頻監(jiān)控系統(tǒng)的有效性。在反恐形勢比較嚴(yán)峻的狀態(tài)下,對可疑遺留物件的檢測在機(jī)場和車站的候車廳、月臺、體育館、展覽館等影響公共安全的地方已成為必須檢測的內(nèi)容。
中國發(fā)明專利公開號CN101231696公開了一種遺留物檢測方法及系統(tǒng),其遺留物檢測方法,包括以下步驟檢測不同于背景的前景圖像,確定前景像素點(diǎn),并將前景像素點(diǎn)特征化;對前景像素點(diǎn)特征化的持續(xù)狀態(tài)進(jìn)行計(jì)時(shí),提取計(jì)時(shí)達(dá)到預(yù)設(shè)值的像素點(diǎn);檢測出由提取的像素點(diǎn)形成的連通區(qū)域,確定為待分析目標(biāo);分析目標(biāo)的運(yùn)動特性以確認(rèn)是否為遺留物。同時(shí)該專利還公開了一種遺留物檢測系統(tǒng),包括目標(biāo)檢測裝置、對像素點(diǎn)計(jì)時(shí)并提取特征化狀態(tài)的持續(xù)時(shí)間達(dá)到預(yù)設(shè)值的像素點(diǎn)的計(jì)時(shí)處理裝置、檢測由提取的像素點(diǎn)形成的連通區(qū)域以確定待分析目標(biāo)的連通區(qū)域檢測裝置、確定待分析目標(biāo)是否為遺留物的目標(biāo)分析裝置。
上述的遺留物檢測方法及系統(tǒng)存在著幾個(gè)主要問題1)由于攝像裝置的視覺范圍有限,要檢測較大場景范圍的遺留物必須采用多個(gè)攝像裝置;2)在復(fù)雜場景中要準(zhǔn)確的獲取前景像素點(diǎn)并非容易之事,極其容易受到環(huán)境的干擾;3)在每一幀圖像中對前景像素點(diǎn)的計(jì)時(shí)要花費(fèi)較大的計(jì)算資源,影響檢測的實(shí)時(shí)性和精度;4)由于沒有考慮視頻圖像的運(yùn)動對象和暫時(shí)靜止對象的出現(xiàn)、事件發(fā)生的時(shí)間序列,會造成較高的誤檢測率;5)要檢測遺留物是由何人所為幾乎不可能。
發(fā)明內(nèi)容
為了克服已有的遺留物檢測系統(tǒng)的視覺范圍受限、可靠性差、實(shí)時(shí)性差的不足,本發(fā)明提供一種具有全方位視覺、可靠性好、實(shí)時(shí)性強(qiáng)的基于全方位計(jì)算機(jī)視覺的遺留物檢測裝置。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是 一種基于全方位計(jì)算機(jī)視覺的遺留物檢測裝置,包括用于監(jiān)視大范圍全景內(nèi)安全情況的視覺傳感器、以及用于根據(jù)視覺傳感器的信號進(jìn)行遺留物檢測的微處理器,所述視覺傳感器與所述微處理器連接,所述視覺傳感器為全方位視覺傳感器和高速快球抓拍傳感器,所述全方位視覺傳感器包括支架、透明外罩、一次折反射鏡、二次折反射鏡、攝像部件鏡頭和廣角鏡頭,所述透明外罩、一次折反射鏡和攝像部件鏡頭安裝在支架上,所述一次折反射鏡位于所述透明外罩的上部,所述的透明外罩底部中央開口,所述攝像部件鏡頭位于所述一次折反射鏡的上方,所述二次折反射鏡安裝在所述中央開口內(nèi),所述二次折反射鏡的中部開小孔,在所述小孔內(nèi)安裝所述廣角鏡頭,所述攝像部件鏡頭、一次折反射鏡、二次折反射鏡和廣角鏡頭的中心軸配置在同一軸心線上;將攝像部件鏡頭的焦點(diǎn)距離作為f1、廣角鏡頭的焦點(diǎn)距離作為f2、攝像部件鏡頭與攝像部件鏡頭的焦點(diǎn)的距離作為S1、從攝像部件鏡頭到第一成像點(diǎn)的焦點(diǎn)距離作為S2、從廣角鏡頭到第一成像點(diǎn)的距離作為S3、從廣角鏡頭到實(shí)物點(diǎn)的距離作為S4,根據(jù)鏡頭的成像公式得到以下關(guān)系式 d=S2+S3(12) 將攝像部件鏡頭與廣角鏡頭的之間的距離d作為一個(gè)約束條件,通過設(shè)計(jì)廣角鏡頭的焦點(diǎn)距離f2來滿足公式(12)的要求; 將攝像部件鏡頭與廣角鏡頭作為一個(gè)組合鏡頭來考慮的話,其焦距f由下式來表示 另外,將合成鏡頭的直徑作為D,其放大倍數(shù)由下式來表示 合成鏡頭滿足以下公式 式(15)中,θ1max是二次反射光線V3與折反射主軸Z的最大夾角;所述微處理器包括 ODVS圖像獲取模塊,用于獲得監(jiān)控場景的全景視頻圖像,包括有系統(tǒng)初始化單元和圖像獲取模塊; 場景內(nèi)對象檢測模塊,用于抽取出監(jiān)控場景內(nèi)的運(yùn)動對象、遺留物暫時(shí)靜止對象和場景靜止對象,包括有 長周期背景建模單元,用于通過采用基于混合高斯分布模型以較小的更新率對背景像素進(jìn)行建模; 短周期背景建模單元,用于通過采用基于混合高斯分布模型以較大的更新率對背景像素進(jìn)行建模; 陰影抑制單元,用于有效區(qū)分運(yùn)動對象和運(yùn)動陰影,基于HSV顏色空間的檢測方法,在HSV顏色空間中,H分量表示色度,S分量表示飽和度,V分量表示亮度,通過以下決策公式(20),來判斷某像素點(diǎn)是否屬于陰影
式中,IV(x,y)、IS(x,y)、IH(x,y)與BV(x,y)、BS(x,y)、BH(x,y)分別表示(x,y)處像素新輸入值I(x,y)與背景像素值H、S、V分量;參數(shù)0<α<β<1,α取值要考慮陰影的強(qiáng)度,當(dāng)背景上投射的陰影越強(qiáng)時(shí),參數(shù)α要取得越小,參數(shù)β用來增強(qiáng)系統(tǒng)的魯棒性;參數(shù)τS小于零,參數(shù)τH的選取則主要根據(jù)場景的情況進(jìn)行調(diào)試; 對象區(qū)分單元,用于抽取出監(jiān)控場景內(nèi)的運(yùn)動對象、遺留物暫時(shí)靜止對象和場景靜止對象,與所述的長周期背景建模單元和所述的短周期背景建模單元中所得到的處理中間結(jié)果BL和BS進(jìn)行差減運(yùn)算,得到長周期前景FL、短周期前景FS,接著根據(jù)FL和FS值之間的關(guān)系,歸納出當(dāng)前幀內(nèi)某像素的四種不同類型,判定結(jié)果如表1所示 表1 根據(jù)表1的判斷,類型1屬于運(yùn)動對象,類型2屬于遺留物品暫時(shí)靜止對象,類型4屬于場景靜態(tài)對象; 遺留事件檢測模塊,用于檢測出在場景內(nèi)發(fā)生的各種遺留事件的狀態(tài),包括有 遺留事件檢測ID號自動生成單元,用于當(dāng)遺留物品的攜帶者與遺留物品開始分離時(shí)刻,系統(tǒng)自動會產(chǎn)生一個(gè)遺留事件檢測ID號并同時(shí)生成一個(gè)以該遺留事件檢測ID號命名的文件夾,用于存放可疑遺留物品的攜帶者的特寫圖像和遺留事件的視頻圖像; 遺留物品的攜帶者抓拍單元,用于當(dāng)遺留物品的攜帶者與遺留物品開始分離時(shí)刻時(shí),從所述的對象區(qū)分單元處理結(jié)果得到遺留物品的攜帶者位置信息(Sx,Sy),然后根據(jù)在系統(tǒng)初始化單元中所建立的映射表,輸出一個(gè)與攜帶者位置信息(Sx,Sy)相對應(yīng)的數(shù)字ID給高速快球的控制控制端口,指示高速快球抓拍傳感器轉(zhuǎn)動對準(zhǔn)該位置進(jìn)行拍攝,獲得遺留物品的攜帶者的特寫圖像; 遺留物品的攜帶者跟蹤單元,用于采用基于KALMAN濾波的跟蹤算法跟蹤遺留物品的攜帶者的軌跡; 遺留物品空間位置狀態(tài)判斷單元,用于確認(rèn)遺留物品與遺留物品的攜帶者相分離的狀態(tài);當(dāng)遺留物品的攜帶者與遺留物品開始分離時(shí)刻時(shí),得到遺留物的位置信息(Ox,Oy),然后不斷的讀取從遺留物品的攜帶者跟蹤單元中所計(jì)算得到的攜帶者的位置信息(Sx′,Sy′),然后計(jì)算這兩個(gè)點(diǎn)之間的距離,計(jì)算方法由公式25所示, 遺留物品所經(jīng)歷的靜止時(shí)間計(jì)算單元,用于計(jì)算當(dāng)遺留物品的攜帶者與遺留物品開始分離時(shí)刻到當(dāng)前的時(shí)間間隔,計(jì)算方法是從遺留物品的攜帶者與遺留物品開始分離時(shí)刻開始獲取計(jì)算機(jī)系統(tǒng)時(shí)間TStart,然后在所述的遺留狀態(tài)判斷單元判斷結(jié)束后在獲取當(dāng)前的計(jì)算機(jī)系統(tǒng)時(shí)間TNow,遺留物品所經(jīng)歷的靜止時(shí)間可以由公式26計(jì)算, t=TNow-TStart (26) 式中,t為遺留物品所經(jīng)歷的靜止時(shí)間,TStart為從遺留物品的攜帶者與遺留物品開始分離時(shí)刻的系統(tǒng)時(shí)間,Tnow為目前系統(tǒng)的時(shí)間; 遺留狀態(tài)判斷單元,用于確認(rèn)遺留物品是否真正處在遺留狀態(tài)根據(jù)在所述的遺留物品空間位置狀態(tài)判斷單元中所計(jì)算得到的攜帶者離遺留物品的距離是否超過了所規(guī)定的距離或者完全消失在場景中,以及在所述的遺留物品所經(jīng)歷的靜止時(shí)間計(jì)算單元所計(jì)算得到遺留物品單獨(dú)靜止時(shí)間是否超過了所規(guī)定的時(shí)間,作出各種遺留狀態(tài)和警示的綜合判定;遺留物綜合判定表如表2所示; 表2。
進(jìn)一步,全方位視覺傳感器滿足整個(gè)監(jiān)控領(lǐng)域頂視的全景視頻圖像不變形要求,用以下方法來進(jìn)行設(shè)計(jì) 根據(jù)成像原理,一次入射光線V1與折反射主軸Z的夾角為Φ,一次反射光線V2與折反射主軸Z的夾角為θ2,過P1點(diǎn)(t1,F(xiàn)1)的切線與t軸的夾角為σ,法線與Z軸的夾角為ε;二次反射光線V3與折反射主軸Z的夾角為θ1,過P2點(diǎn)(t2,F(xiàn)2)的切線與t軸的夾角為σ,法線與Z軸的夾角為ε1,基于上述關(guān)系可以得到公式(1)
其中 式中,F(xiàn)1是一次折反射鏡面曲線,F(xiàn)2是二次折反射鏡面曲線; 利用三角關(guān)系并進(jìn)行簡化整理,得到公式(2)、(3) F1′2-2αF1′-1=0(2) F2′2-2βF2′-1=0(3) 上式中, 解公式(2)、(3)可以得到公式(4)、(5); 式中F1′為F1曲線的微分,F(xiàn)2′為F2曲線的微分; 在成像平面上的點(diǎn)與水平面上的點(diǎn)之間滿足某種線性關(guān)系,與視點(diǎn)S的距離為C并與Z軸相垂直的水平面L上的任意點(diǎn)P,在成像平面上的有一個(gè)對應(yīng)的像素點(diǎn)p,將水平面上的坐標(biāo)用極坐標(biāo)表示,這時(shí)水平面L上的任意點(diǎn)P(r,z)用以下公式來表示, r=C*tanφ,z=s+C(6) 設(shè)計(jì)水平面上具有平均分辨率ODVS,即水平方向不變形的ODVS,在水平面L上的任意點(diǎn)P與Z軸相垂直方向的坐標(biāo)r和像素點(diǎn)p與Z軸的距離t2/F2(t2)之間要保證具有線性關(guān)系;使得以下公式能成立, r=a*f*t2/F2(t2)+b(7) 根據(jù)成像原理有以下關(guān)系成立,入射角用公式(8)表示, 將公式(6)、(8)代入公式(7)并整理,得到在水平方向不變形的條件,用公式(9)表示, 滿足公式(9)的鏡面曲線設(shè)計(jì)符合水平方向平均分辨率要求。
再進(jìn)一步,所述透明外罩呈碗狀,透明外罩包括上部的圓錐體以及下部的半圓球,所述的半圓球的半徑處與圓錐體過渡。
更進(jìn)一步,在所述遺留物品的攜帶者跟蹤單元中,設(shè)定處理兩幀連續(xù)圖像之間的間隔時(shí)間是一定的,記為Δt,假設(shè)上一時(shí)刻前景目標(biāo)對象的所處位置為(Sx,Sy),當(dāng)前時(shí)刻前景目標(biāo)對象的所處位置為(Sx′,Sy′),當(dāng)前前景目標(biāo)對象在X軸上的速度Vx,在Y軸上的速度為Vy,那么當(dāng)前時(shí)刻前景目標(biāo)對象所處的位置與上一時(shí)刻前景目標(biāo)對象所處的位置的關(guān)系如公式(21)所示 式中,Sx、Sy為上一時(shí)刻前景目標(biāo)對象的所處x、y位置,Sx′、Sy′為當(dāng)前時(shí)刻前景目標(biāo)對象的所處x、y位置,Δt為兩幀之間的時(shí)間間隔,Vx為當(dāng)前前景目標(biāo)對象在X軸上的速度,Vy為當(dāng)前前景目標(biāo)對象在Y軸上的速度; 對前景目標(biāo)對象的速度進(jìn)行預(yù)測,設(shè)定其在X軸上的加速度為ax,在Y軸上的加速度為ay,建立一個(gè)系統(tǒng)狀態(tài){Vx,Vy,ax,ay},取系統(tǒng)控制量U(k)為0,狀態(tài)轉(zhuǎn)移矩陣為 測量值為前景目標(biāo)對象的速度值,記測量值轉(zhuǎn)移矩陣為 假設(shè)W(k)和V(k)為零均值且獨(dú)立的噪聲向量,則設(shè)其協(xié)方差為 然后測得前景目標(biāo)對象運(yùn)動速度,并設(shè)定一個(gè)誤差協(xié)方差初始值,通過KALMAN濾波不斷地從上一時(shí)刻前景目標(biāo)對象的速度狀態(tài)預(yù)測出當(dāng)前時(shí)刻的運(yùn)動狀態(tài),實(shí)現(xiàn)預(yù)測跟蹤。
本發(fā)明的技術(shù)構(gòu)思為近年發(fā)展起來的全方位視覺傳感器ODVS(OmniDirectional Vision Sensors)為實(shí)時(shí)獲取場景的全景圖像提供了一種新的解決方案。ODVS的特點(diǎn)是視野廣(360度),能把一個(gè)半球視野中的信息壓縮成一幅圖像,一幅圖像的信息量更大;獲取一個(gè)場景圖像時(shí),ODVS在場景中的安放位置更加自由;監(jiān)視環(huán)境時(shí)ODVS不用瞄準(zhǔn)目標(biāo);檢測和跟蹤監(jiān)視范圍內(nèi)的運(yùn)動物體時(shí)算法更加簡單;可以獲得場景的實(shí)時(shí)圖像。這種ODVS攝像機(jī)主要由一個(gè)CCD攝像機(jī)和正對著攝像頭的一個(gè)反光鏡組成。反光鏡面將水平方向一周的圖像反射給CCD攝像機(jī)成像,這樣,就可以在一幅圖像中獲取水平方向360°的環(huán)境信息。這種全方位攝像機(jī)有著非常突出的優(yōu)點(diǎn),特別在對全景實(shí)時(shí)處理要求下,是一種快速、可靠的視覺信息采集途徑。
這種ODVS攝像機(jī)可以在全方位拍攝到半球視野中的所有情況,這種全方位視覺是一種典型的機(jī)器視覺,是人不可能具備的。ODVS攝像機(jī)采集圖像的原理和人眼觀察物體的原理不一樣,使得全方位圖像與人眼看到的圖像差別也很大,因此如何通過全方位光學(xué)成像技術(shù)和計(jì)算機(jī)視覺技術(shù)為智能安保領(lǐng)域提供一種快速、可靠的監(jiān)控領(lǐng)域大范圍內(nèi)視覺信息采集途徑,并根據(jù)ODVS攝像機(jī)得到的實(shí)時(shí)全方位圖像,通過計(jì)算迅速準(zhǔn)確地能夠有效地檢測是否有物體被遺留在某一區(qū)域(疑爆炸物),并確定何時(shí)、何人所遺留。噪音過濾功能使它可以在很繁忙的場景和變化的天氣中,保證很高的準(zhǔn)確率。并能通過各種手段通知監(jiān)控人員注意有可能發(fā)生的危險(xiǎn)事件。
通過基于兩個(gè)不同更新率的混合高斯分布模型的建模方法分別建立一個(gè)長周期的背景模型和一個(gè)短周期的背景模型,然后將所獲得的實(shí)時(shí)全景圖像分別與長周期的背景模型、短周期的背景模型進(jìn)行差減運(yùn)算,接著對運(yùn)算結(jié)果進(jìn)行基于統(tǒng)計(jì)信息的可能性函數(shù)判斷,得到運(yùn)動對象、暫時(shí)靜止對象和背景靜止對象的判定結(jié)果;接著考慮視頻圖像的運(yùn)動對象和暫時(shí)靜止對象的出現(xiàn)、事件發(fā)生的時(shí)間序列檢測出在全方位場景內(nèi)的遺留物;最后通過高速快球抓拍物品攜帶者的特寫圖像,來確定遺留物在何時(shí)、由何人所遺留。
本發(fā)明的有益效果主要表現(xiàn)在1、具有全方位視覺、可靠性好、實(shí)時(shí)性強(qiáng);2、維護(hù)方便、維護(hù)成本低;3、使用于機(jī)場、地鐵、體育場館、公共場所等大型場合的安全檢測。
圖1為無死角的全方位視覺傳感器的結(jié)構(gòu)示意圖; 圖2為全方位視覺傳感器所拍攝的視頻圖像示意圖; 圖3為攝像部件鏡頭與廣角鏡頭進(jìn)行組合的光學(xué)原理圖; 圖4為按二次折反射原理以及水平方向平均分辨率來設(shè)計(jì)的ODVS說明圖; 圖5為按水平方向平均分辨率來設(shè)計(jì)的成像平面投影原理圖; 圖6為利用4階Runge-Kutta算法求F1和F2的數(shù)字解的折反射鏡面曲線圖; 圖7為基于全方位計(jì)算機(jī)視覺的遺留物檢測方法示意圖; 圖8為基于全方位計(jì)算機(jī)視覺的遺留物檢測裝置硬件結(jié)構(gòu)圖; 圖9為判斷前景對象與背景對象的流程圖; 圖10為ODVS與高速快球之間的信息融合示意圖; 圖11為基于全方位計(jì)算機(jī)視覺的遺留物檢測裝置軟件框圖。
具體實(shí)施例方式 下面結(jié)合附圖對本發(fā)明作進(jìn)一步描述。
參照圖1~圖11,遺留物視頻檢測的核心問題是要檢測物品的攜帶者在不能放置任何物品的區(qū)域內(nèi)單獨(dú)將物品留下并超過了允許的時(shí)間。本發(fā)明的實(shí)施方案是首先,采用無死角水平方向不變形的全方位視覺傳感器,其特有的360°的視野能有效地解決遺留物品在場景中出現(xiàn)的空間位置和時(shí)間的不確定的問題;其次,提出了一種基于兩個(gè)不同更新率的混合高斯分布模型的建模方法,可有效地對暫時(shí)進(jìn)入全景視野的遺留物和遺留物攜帶者進(jìn)行檢測;再次,為了克服混合高斯分布模型無法有效區(qū)分運(yùn)動對象和自身運(yùn)動陰影的缺點(diǎn),引入了陰影抑制單元;最后,根據(jù)物品的攜帶者單獨(dú)將物品留下并超過了允許的時(shí)間來判斷其是否屬于遺留物,附圖7表示了物品的攜帶者單獨(dú)將物品留下的一種遺留物狀態(tài)。
如附圖8所示,基于全方位計(jì)算機(jī)視覺的遺留物檢測裝置包括有全方位視覺傳感器、高速快球和計(jì)算機(jī),所述的全方位視覺傳感器用于獲得監(jiān)控場景內(nèi)的全景視頻圖像,所述的高速快球用于抓拍監(jiān)控場景內(nèi)遺留物攜帶者的特寫圖像,所述的計(jì)算機(jī)用于檢測在監(jiān)控場景內(nèi)是否發(fā)生了遺留物; 如附圖11所示,所述的計(jì)算機(jī)包括有ODVS圖像獲取模塊、場景內(nèi)對象檢測單元和遺留事件檢測模塊; 所述的ODVS圖像獲取模塊用于獲得監(jiān)控場景的全景視頻圖像,包括有系統(tǒng)初始化模塊和圖像獲取模塊;所述的場景內(nèi)對象檢測單元用于抽取出監(jiān)控場景內(nèi)的運(yùn)動對象、遺留物暫時(shí)靜止對象和場景靜止對象,包括有長周期背景建模單元、短周期背景建模單元、陰影抑制單元和對象區(qū)分單元;所述的遺留事件檢測模塊,用于檢測出在場景內(nèi)發(fā)生的各種遺留事件的狀態(tài),包括有遺留事件檢測ID號自動生成單元、遺留物品的攜帶者抓拍單元、遺留物品的攜帶者跟蹤單元、遺留物品空間位置狀態(tài)判斷單元、遺留物品所經(jīng)歷的靜止時(shí)間計(jì)算單元和遺留狀態(tài)判斷單元,最終遺留狀態(tài)判斷單元能根據(jù)這些狀態(tài)輸出相應(yīng)的警示; 所述的系統(tǒng)初始化模塊,主要用于ODVS所獲得的全景視頻信息與高速快球的局部圖像信息的融合,這兩種信息的融合是通過建立ODVS圖像中的坐標(biāo)與高速快球轉(zhuǎn)動角度信息之間的映射關(guān)系來實(shí)現(xiàn)的,即通過預(yù)置點(diǎn)定制法將全景視頻圖像分割成一個(gè)個(gè)小區(qū)域,分割方法見附圖10;然后將每個(gè)小區(qū)域與控制高速快球的抓拍點(diǎn)之間建立一種映射關(guān)系;這樣抓拍某一個(gè)小區(qū)域的特寫圖像時(shí)只要給高速快球的控制端口一個(gè)對應(yīng)的數(shù)字ID,高速快球就能自動地轉(zhuǎn)到到該小區(qū)域進(jìn)行抓拍;這些功能是通過一張ODVS與高速快球之間的映射表來實(shí)現(xiàn)的,系統(tǒng)初始化時(shí)讀取這張映射表,同時(shí)也可以允許使用者重新建立新的映射表; 所述的圖像獲取模塊,主要用于通過視頻卡或者其他視頻接口讀取ODVS的全景視頻圖像;所獲得的全景視頻圖像輸出給場景內(nèi)對象檢測單元進(jìn)行處理; 所述的長周期背景建模單元,用于通過采用基于混合高斯分布模型以較小的更新率對背景像素進(jìn)行建模,即混合高斯背景建模算法,通過該算法的運(yùn)算運(yùn)動對象與暫時(shí)靜止的對象都能會被檢測為前景對象; 所述的短周期背景建模單元,用于通過采用基于混合高斯分布模型以較大的更新率對背景像素進(jìn)行建模,即混合高斯背景建模算法,通過該算法的運(yùn)算暫時(shí)靜止的對象和場景靜態(tài)對象都能會被檢測為背景對象; 所述的混合高斯背景建模算法,其主要思想是對每個(gè)像素點(diǎn)采用多個(gè)高斯模型的混合表示。設(shè)用來描述每個(gè)點(diǎn)顏色分布的高斯分布共有K個(gè),對每一個(gè)像素點(diǎn)隨時(shí)間變化的序列{Y1,Y2,....,Yn},用混合高斯模型來為其建模。定義當(dāng)前觀測點(diǎn)的像素值的概率公式,如公式(16)所示 式中t為時(shí)間點(diǎn);K是高斯模型的數(shù)量(一般取3~5個(gè));ωn,t為第n個(gè)高斯模型的權(quán)值;μn,t和σn,t2分別是在t時(shí)刻第n個(gè)高斯模型的均值和方差;其中概率密度函數(shù)如公式17所示 各個(gè)高斯分布分別具有不同的權(quán)值和優(yōu)先級,它們總是按照優(yōu)先級從高到低的次序排序。取適當(dāng)?shù)谋尘皺?quán)值閾值區(qū)間,只有在此閾值之內(nèi)的前若干個(gè)分布才被認(rèn)為是背景分布,其它則是前景分布。所以,在檢測前景點(diǎn)時(shí),按照優(yōu)先級次序?qū)⑾袼攸c(diǎn)Yt與各高斯分布逐一匹配,若沒有表示背景分布的高斯分布與Yt匹配,則判定該點(diǎn)為前景點(diǎn),否則為背景點(diǎn); 所述的較小的更新率和較大的更新率,是指公式(18)的更新系數(shù)α,較小的更新率是指更新系數(shù)α具有較小的值,較大的更新率是指更新系數(shù)α具有較大的值,更新系數(shù)的取值范圍0<α<1, 式中,μ和σ2分別是高斯模型的均值和方差,α是更新系數(shù),Y為像素點(diǎn)。
所述的陰影抑制單元,用于有效區(qū)分運(yùn)動對象和運(yùn)動陰影,為了提高裝置的檢測精度這里引入了陰影抑制單元,將陰影檢測算法與混合高斯分布模型相結(jié)合,對于新進(jìn)入的像素值It,根據(jù)混合高斯背景分布模型判斷該像素是背景還是運(yùn)動前景,若為前景則進(jìn)一步采用陰影決策公式判斷其是否屬于運(yùn)動陰影。具體流程圖如圖9所示。
所述的陰影檢測算法,采用基于HSV顏色空間的檢測方法,HSV顏色空間接近人類視覺感知色彩的方式,比RGB顏色空間更能夠準(zhǔn)確地檢測出陰影。在HSV顏色空間中,H分量表示色度,S分量表示飽和度,V分量表示亮度。由于陰影處的亮度和飽和度較背景偏暗,而色度基本保持一致,所以可以通過以下決策公式(20),來判斷某像素點(diǎn)是否屬于陰影。
式中,IV(x,y)、IS(x,y)、IH(x,y)與BV(x,y)、BS(x,y)、BH(x,y)分別表示(x,y)處像素新輸入值I(x,y)與背景像素值H、S、V分量。參數(shù)0<α<β<1,α取值要考慮陰影的強(qiáng)度,當(dāng)背景上投射的陰影越強(qiáng)時(shí),參數(shù)α要取得越小,參數(shù)β用來增強(qiáng)系統(tǒng)的魯棒性。參數(shù)τS小于零,參數(shù)τH的選取則主要根據(jù)場景的情況進(jìn)行調(diào)試。
所述的對象區(qū)分單元,用于抽取出監(jiān)控場景內(nèi)的運(yùn)動對象、遺留物暫時(shí)靜止對象和場景靜止對象;首先是讀取全景視頻圖像,然后分別與所述的長周期背景建模單元和所述的短周期背景建模單元中所得到的處理中間結(jié)果BL和BS進(jìn)行差減運(yùn)算,得到長周期前景(FL,F(xiàn)oreground Long)、短周期前景(FS,F(xiàn)oregroundShort),接著根據(jù)FL和FS值之間的關(guān)系,歸納出當(dāng)前幀內(nèi)某像素的四種不同類型,判定結(jié)果如表1所示 表1根據(jù)FL和FS值判斷某像素的類型 根據(jù)表1的判斷,類型1屬于運(yùn)動對象,類型2屬于遺留物品暫時(shí)靜止對象,類型4屬于場景靜態(tài)對象; 所述的遺留事件檢測ID號自動生成單元,用于對遺留事件命名,當(dāng)遺留物品的攜帶者與遺留物品開始分離時(shí)刻,系統(tǒng)自動會產(chǎn)生一個(gè)遺留事件檢測ID號并同時(shí)生成一個(gè)以該遺留事件檢測ID號命名的文件夾,用于存放可疑遺留物品的攜帶者的特寫圖像和遺留事件的視頻圖像; 所述的遺留事件檢測ID號,用于產(chǎn)生一個(gè)能標(biāo)識遺留事件、存儲對該遺留事件相關(guān)等視頻及圖像數(shù)據(jù)的主鍵,遺留事件檢測ID號的命名規(guī)則是YYYYMMDDHHMMSS*以14位符號命名,YYYY-表示公歷的年;MM-表示月;DD-表示日;HH-表示小時(shí);MM-表示分;SS-表示秒;均由計(jì)算機(jī)的系統(tǒng)時(shí)間自動產(chǎn)生; 所述的遺留物品的攜帶者抓拍單元,用于抓拍遺留物品攜帶者的特寫圖像并將其保存在遺留事件檢測ID號命名的文件夾內(nèi);當(dāng)遺留物品的攜帶者與遺留物品開始分離時(shí)刻時(shí),從所述的對象區(qū)分單元處理結(jié)果得到遺留物品的攜帶者位置信息(Sx,Sy),然后根據(jù)在所述的系統(tǒng)初始化模塊中所建立的映射表,輸出一個(gè)與攜帶者位置信息(Sx,Sy)相對應(yīng)的數(shù)字ID給高速快球的控制控制端口,指示高速快球轉(zhuǎn)動對準(zhǔn)該位置進(jìn)行拍攝,以獲得遺留物品的攜帶者的特寫圖像,抓拍特寫圖像的原理圖如附圖10所示; 所述的遺留物品的攜帶者跟蹤單元,用于跟蹤遺留物品的攜帶者的軌跡;本發(fā)明中采用基于KALMAN濾波的跟蹤算法,KALMAN濾波是以最小均方誤差為估計(jì)的最佳準(zhǔn)則,來尋求一套遞推估計(jì)的算法,其基本思想是采用信號與噪聲的狀態(tài)空間模型,利用上一時(shí)刻的估計(jì)值和當(dāng)前時(shí)刻的觀測值來更新對狀態(tài)變量的估計(jì),求出當(dāng)前時(shí)刻的估計(jì)值; 在采用基于KALMAN濾波的進(jìn)行目標(biāo)對象跟蹤時(shí),只要獲取到目標(biāo)對象的速度就可以計(jì)算出當(dāng)前目標(biāo)對象的運(yùn)動狀態(tài)。假設(shè)處理兩幀連續(xù)圖像之間的間隔時(shí)間是一定的,記為Δt,假設(shè)上一時(shí)刻前景目標(biāo)對象的所處位置為(Sx,Sy),當(dāng)前時(shí)刻前景目標(biāo)對象的所處位置為(Sx′,Sy′),當(dāng)前前景目標(biāo)對象在X軸上的速度Vx,在Y軸上的速度為Vy,那么當(dāng)前時(shí)刻前景目標(biāo)對象所處的位置與上一時(shí)刻前景目標(biāo)對象所處的位置的關(guān)系如公式21所示 式中,Sx、Sy為上一時(shí)刻前景目標(biāo)對象的所處x、y位置,Sx′、Sy′為當(dāng)前時(shí)刻前景目標(biāo)對象的所處x、y位置,Δt為兩幀之間的時(shí)間間隔,Vx為當(dāng)前前景目標(biāo)對象在X軸上的速度,Vy為當(dāng)前前景目標(biāo)對象在Y軸上的速度; 因此只要能夠預(yù)測出前景目標(biāo)對象的速度,就可以對前景目標(biāo)對象進(jìn)行跟蹤。為了對前景目標(biāo)對象的速度進(jìn)行預(yù)測,假設(shè)其在X軸上的加速度為ax,在Y軸上的加速度為ay,就可以建立一個(gè)系統(tǒng)狀態(tài){Vx,Vy,ax,ay}。取系統(tǒng)控制量U(k)為0。記狀態(tài)轉(zhuǎn)移矩陣為 而在本發(fā)明中,測量值為前景目標(biāo)對象的速度值,因此記測量值轉(zhuǎn)移矩陣為 假設(shè)W(k)和V(k)為零均值且獨(dú)立的噪聲向量,則可以設(shè)其協(xié)方差為 然后測得前景目標(biāo)對象運(yùn)動速度,并設(shè)定一個(gè)誤差協(xié)方差初始值,就可以通過KALMAN濾波不斷地從上一時(shí)刻前景目標(biāo)對象的速度狀態(tài)預(yù)測出當(dāng)前時(shí)刻的運(yùn)動狀態(tài),以實(shí)現(xiàn)預(yù)測跟蹤; 所述的遺留物品空間位置狀態(tài)判斷單元,用于確認(rèn)遺留物品與遺留物品的攜帶者相分離的狀態(tài);當(dāng)遺留物品的攜帶者與遺留物品開始分離時(shí)刻時(shí),得到遺留物的位置信息(Ox,Oy),然后不斷的讀取從遺留物品的攜帶者跟蹤單元中所計(jì)算得到的攜帶者的位置信息(Sx′,Sy′),然后計(jì)算這兩個(gè)點(diǎn)之間的距離,計(jì)算方法由公式25所示, 所述的遺留物品所經(jīng)歷的靜止時(shí)間計(jì)算單元,用于計(jì)算當(dāng)遺留物品的攜帶者與遺留物品開始分離時(shí)刻到當(dāng)前的時(shí)間間隔,計(jì)算方法是從遺留物品的攜帶者與遺留物品開始分離時(shí)刻開始獲取計(jì)算機(jī)系統(tǒng)時(shí)間TStart,然后在所述的遺留狀態(tài)判斷單元判斷結(jié)束后在獲取當(dāng)前的計(jì)算機(jī)系統(tǒng)時(shí)間TNow,遺留物品所經(jīng)歷的靜止時(shí)間可以由公式26計(jì)算, t=TNow-TStart(26) 式中,t為遺留物品所經(jīng)歷的靜止時(shí)間,TStart為從遺留物品的攜帶者與遺留物品開始分離時(shí)刻的系統(tǒng)時(shí)間,Tnow為目前系統(tǒng)的時(shí)間; 所述的遺留狀態(tài)判斷單元,用于確認(rèn)遺留物品是否真正處在遺留狀態(tài);根據(jù)在所述的遺留物品空間位置狀態(tài)判斷單元中所計(jì)算得到的攜帶者離遺留物品的距離是否超過了所規(guī)定的距離或者完全消失在場景中,以及在所述的遺留物品所經(jīng)歷的靜止時(shí)間計(jì)算單元所計(jì)算得到遺留物品單獨(dú)靜止時(shí)間是否超過了所規(guī)定的時(shí)間等情況,作出各種遺留狀態(tài)和警示的綜合判定;遺留物綜合判定表如表2所示; 表2遺留物綜合判定表 所述的全方位視覺傳感器,用于有效地獲得遺留物品是在何時(shí)、何地、何人所遺留的完整全景視頻圖像,需要進(jìn)行無死角水平方向不變形的全方位視覺傳感器的設(shè)計(jì); 所述的水平方向不變形,需要進(jìn)行水平方向平均分辨率設(shè)計(jì),以滿足整個(gè)監(jiān)控領(lǐng)域頂視的全景視頻圖像不變形要求;在ODVS設(shè)計(jì)上可以歸結(jié)于折反射鏡面曲線的設(shè)計(jì),如附圖4所示,空間上的一個(gè)光源點(diǎn)P的入射光V1在主反射鏡面(t1,F(xiàn)1)點(diǎn)上進(jìn)行反射,反射光V2反射到次反射鏡面(t2,F(xiàn)2)點(diǎn)上再進(jìn)行反射,反射光V3以角度θ1進(jìn)入攝像裝置的鏡頭,在攝像單元(CCD或者CMOS)上成像。
根據(jù)成像原理,一次入射光線V1與折反射主軸Z的夾角為Φ,一次反射光線V2與折反射主軸Z的夾角為θ2,過P1點(diǎn)(t1,F(xiàn)1)的切線與t軸的夾角為σ,法線與Z軸的夾角為ε;二次反射光線V3與折反射主軸Z的夾角為θ1,過P2點(diǎn)(t2,F(xiàn)2)的切線與t軸的夾角為σ,法線與Z軸的夾角為ε1,基于上述關(guān)系可以得到公式(1)
其中 式中,F(xiàn)1是一次折反射鏡面曲線,F(xiàn)2是二次折反射鏡面曲線; 利用三角關(guān)系并進(jìn)行簡化整理,得到公式(2)、(3) F1′2-2αF1′-1=0 (2) F2′2-2βF2′-1=0 (3) 上式中, 解公式(2)、(3)可以得到公式(4)、(5); 式中F1′為F1曲線的微分,F(xiàn)2′為F2曲線的微分; 所述的成像平面上的點(diǎn)與水平面上的點(diǎn)之間的關(guān)系來說具有某種線性關(guān)系,與視點(diǎn)S的距離為C并與Z軸相垂直的水平面L上的任意點(diǎn)P,在成像平面上的有一個(gè)對應(yīng)的像素點(diǎn)p,如附圖4所示,將水平面上的坐標(biāo)用極坐標(biāo)表示,這時(shí)水平面L上的任意點(diǎn)P(r,z)可以用以下公式來表示, r=C*tanφ,z=s+C(6) 為了設(shè)計(jì)水平面上具有平均分辨率ODVS,即水平方向不變形的ODVS,在水平面L上的任意點(diǎn)P與Z軸相垂直方向的坐標(biāo)r和像素點(diǎn)p與Z軸的距離t2/F2(t2)之間要保證具有線性關(guān)系。使得以下公式能成立, r=a*f*t2/F2(t2)+b (7) 根據(jù)成像原理有以下關(guān)系成立,入射角用公式(8)表示, 將公式(6)、(8)代入公式(7)并整理,得到在水平方向不變形的條件,用公式(9)表示, 滿足公式(9)的鏡面曲線設(shè)計(jì)符合水平方向平均分辨率要求; 通過對公式(2)、(3)、(9)利用4階Runge-Kutta算法求F1和F2的數(shù)字解,這樣計(jì)算得到的一次折反射鏡面和二次折反射鏡面曲線能實(shí)現(xiàn)水平方向平均分辨率;圖6是利用4階Runge-Kutta算法求F1和F2的數(shù)字解的折反射鏡面曲線圖; 設(shè)計(jì)透明外罩2,為了使得透明外罩2不會產(chǎn)生內(nèi)壁的反射干擾光,如圖1所示。具體做法是將透明外罩設(shè)計(jì)成碗狀,即設(shè)計(jì)成半圓球,這樣能避免在透明外罩2發(fā)生反射干擾光,ODVS的結(jié)構(gòu)如圖1所示; 所述的無死角ODVS,用于克服原先ODVS中被二次折反射鏡面所遮擋而造成的死角,在設(shè)計(jì)上,本發(fā)明中將廣角鏡頭配置在二次折反射鏡面上,設(shè)計(jì)廣角鏡頭以及確定廣角鏡頭的位置是本發(fā)明的一個(gè)任務(wù)。圖3是攝像部件鏡頭與廣角鏡頭的位置關(guān)系圖。在圖3中將廣角鏡頭配置在一次折反射鏡的前方和二次折反射鏡面上,攝像部件鏡頭、廣角鏡頭、一次折反射鏡和二次折反射鏡的中心軸配置在同一軸心線上;通過一次折反射鏡上的圓孔在廣角鏡頭與攝像部件鏡頭之間成像,稱為第一成像點(diǎn),該成像點(diǎn)通過攝像部件鏡頭在視點(diǎn)處成像。這里將攝像部件鏡頭的焦點(diǎn)距離作為f1、廣角鏡頭的焦點(diǎn)距離作為f2、攝像部件鏡頭與攝像部件鏡頭的焦點(diǎn)的距離作為S1、從攝像部件鏡頭到第一成像點(diǎn)的焦點(diǎn)距離作為S2、從廣角鏡頭到第一成像點(diǎn)的距離作為S3、從廣角鏡頭到實(shí)物點(diǎn)的距離作為S4,根據(jù)鏡頭的成像公式可以得到以下關(guān)系式 d=S2+S3(12) 要使公式(12)成立的話,也就是將圖3中的從第一折反射鏡面后的攝像部件鏡頭距離為d的地方配置廣角鏡頭的話,就可以得到圖2中圖像中部所顯示的廣角成像圖;但是本發(fā)明中是將廣角鏡頭配置在第二折反射鏡面上,因此將攝像部件鏡頭與廣角鏡頭的之間的距離d作為一個(gè)約束條件,只有通過設(shè)計(jì)廣角鏡頭的焦點(diǎn)距離f2來滿足公式(12)的要求; 進(jìn)一步,對于圖3中將攝像部件鏡頭與廣角鏡頭作為一個(gè)組合鏡頭來考慮的話,其焦距f可以由下式來表示 另外,將合成鏡頭的直徑作為D,其放大倍數(shù)可以由下式來表示 為了將合成鏡頭的視場與ODVS的死角部分相吻合,在設(shè)計(jì)合成鏡頭時(shí)需要滿足以下公式 式中,θ1max是二次反射光線V3與折反射主軸Z的最大夾角;經(jīng)過上述設(shè)計(jì)的ODVS拍攝出來的圖像效果圖如圖2所示,從單個(gè)ODVS來說消除了原來ODVS的死角部分,并且通過攝像部件鏡頭與廣角鏡頭的組合方式加上第一折反射鏡面以及第二折反射鏡面的設(shè)計(jì),能有效地覆蓋原來的ODVS的死角部分。
所述的第一折反射鏡面、第一折反射鏡面上的小孔、攝像機(jī)、透明外罩、第二折反射鏡面、廣角鏡頭在同一中心軸線上;攝像機(jī)的鏡頭安置在第一折反射鏡面后部的視點(diǎn)位置上,如圖1所示; 所述的透明外罩,主要用于支撐第一折反射鏡面、第二折反射鏡面、廣角鏡頭以及保護(hù)第一折反射鏡面和第二折反射鏡面不受到外界粉塵的污染而影響折反射的質(zhì)量。
實(shí)施例2 有時(shí)為了節(jié)約系統(tǒng)成本,只檢測在監(jiān)控場景內(nèi)是否遺留物,可以在硬件上省略掉高速快球,在軟件上省略到抓拍的相關(guān)模塊,其余均于實(shí)施例1相同。
上述的實(shí)施例1和實(shí)施例2所產(chǎn)生的發(fā)明效果是通過全方位的計(jì)算機(jī)視覺傳感器使得安防監(jiān)控的范圍更寬廣,提供了一種全新的、維護(hù)成本低、維護(hù)方便、判斷更可靠的、可視化的、智能化的安防監(jiān)控途徑方法與裝置??蓱?yīng)用于機(jī)場、地鐵、體育場館、公共場所等反恐安全檢測。
權(quán)利要求
1、一種基于全方位計(jì)算機(jī)視覺的遺留物檢測裝置,包括用于監(jiān)視大范圍全景內(nèi)安全情況的視覺傳感器、以及用于根據(jù)視覺傳感器的信號進(jìn)行遺留物檢測的微處理器,所述視覺傳感器與所述微處理器連接,其特征在于所述視覺傳感器為全方位視覺傳感器和高速快球抓拍傳感器,所述全方位視覺傳感器包括支架、透明外罩、一次折反射鏡、二次折反射鏡、攝像部件鏡頭和廣角鏡頭,所述透明外罩、一次折反射鏡和攝像部件鏡頭安裝在支架上,所述一次折反射鏡位于所述透明外罩的上部,所述的透明外罩底部中央開口,所述攝像部件鏡頭位于所述一次折反射鏡的上方,所述二次折反射鏡安裝在所述中央開口內(nèi),所述二次折反射鏡的中部開小孔,在所述小孔內(nèi)安裝所述廣角鏡頭,所述攝像部件鏡頭、一次折反射鏡、二次折反射鏡和廣角鏡頭的中心軸配置在同一軸心線上;將攝像部件鏡頭的焦點(diǎn)距離作為f1、廣角鏡頭的焦點(diǎn)距離作為f2、攝像部件鏡頭與攝像部件鏡頭的焦點(diǎn)的距離作為S1、從攝像部件鏡頭到第一成像點(diǎn)的焦點(diǎn)距離作為S2、從廣角鏡頭到第一成像點(diǎn)的距離作為S3、從廣角鏡頭到實(shí)物點(diǎn)的距離作為S4,根據(jù)鏡頭的成像公式得到以下關(guān)系式
d=S2+S3 (12)
將攝像部件鏡頭與廣角鏡頭的之間的距離d作為一個(gè)約束條件,通過設(shè)計(jì)廣角鏡頭的焦點(diǎn)距離f2來滿足公式(12)的要求;
將攝像部件鏡頭與廣角鏡頭作為一個(gè)組合鏡頭來考慮的話,其焦距f由下式來表示
另外,將合成鏡頭的直徑作為D,其放大倍數(shù)由下式來表示
合成鏡頭滿足以下公式
式(15)中,θ1max是二次反射光線V3與折反射主軸Z的最大夾角;所述微處理器包括
ODVS圖像獲取模塊,用于獲得監(jiān)控場景的全景視頻圖像,包括有系統(tǒng)初始化單元和圖像獲取單元;
場景內(nèi)對象檢測模塊,用于抽取出監(jiān)控場景內(nèi)的運(yùn)動對象、遺留物暫時(shí)靜止對象和場景靜止對象,包括有
長周期背景建模單元,用于通過采用基于混合高斯分布模型以較小的更新率對背景像素進(jìn)行建模;
短周期背景建模單元,用于通過采用基于混合高斯分布模型以較大的更新率對背景像素進(jìn)行建模;
陰影抑制單元,用于有效區(qū)分運(yùn)動對象和運(yùn)動陰影,基于HSV顏色空間的檢測方法,在HSV顏色空間中,H分量表示色度,S分量表示飽和度,V分量表示亮度,通過以下決策公式(20),來判斷某像素點(diǎn)是否屬于陰影
式中,IV(x,y)、IS(x,y)、IH(x,y)與BV(x,y)、BS(x,y)、BH(x,y)分別表示(x,y)處像素新輸入值I(x,y)與背景像素值H、S、V分量;參數(shù)0<α<β<1,α取值要考慮陰影的強(qiáng)度,當(dāng)背景上投射的陰影越強(qiáng)時(shí),參數(shù)α要取得越小,參數(shù)β用來增強(qiáng)系統(tǒng)的魯棒性;參數(shù)τS小于零,參數(shù)τH的選取則主要根據(jù)場景的情況進(jìn)行調(diào)試;
對象區(qū)分單元,用于抽取出監(jiān)控場景內(nèi)的運(yùn)動對象、遺留物暫時(shí)靜止對象和場景靜止對象,與所述的長周期背景建模模塊和所述的短周期背景建模模塊中所得到的處理中間結(jié)果BL和BS進(jìn)行差減運(yùn)算,得到長周期前景FL、短周期前景FS,接著根據(jù)FL和FS值之間的關(guān)系,歸納出當(dāng)前幀內(nèi)某像素的四種不同類型,判定結(jié)果如表1所示
表1
根據(jù)表1的判斷,類型1屬于運(yùn)動對象,類型2屬于遺留物品暫時(shí)靜止對象,類型4屬于場景靜態(tài)對象;
遺留事件檢測模塊,用于檢測出在場景內(nèi)發(fā)生的各種遺留事件的狀態(tài),包括有遺留事件檢測ID號自動生成單元,用于當(dāng)遺留物品的攜帶者與遺留物品開始分離時(shí)刻,系統(tǒng)自動會產(chǎn)生一個(gè)遺留事件檢測ID號并同時(shí)生成一個(gè)以該遺留事件檢測ID號命名的文件夾,用于存放可疑遺留物品的攜帶者的特寫圖像和遺留事件的視頻圖像;
遺留物品的攜帶者抓拍單元,用于當(dāng)遺留物品的攜帶者與遺留物品開始分離時(shí)刻時(shí),從所述的對象區(qū)分單元處理結(jié)果得到遺留物品的攜帶者位置信息(Sx,Sy),然后根據(jù)在系統(tǒng)初始化單元中所建立的映射表,輸出一個(gè)與攜帶者位置信息(Sx,Sy)相對應(yīng)的數(shù)字ID給高速快球的控制控制端口,指示高速快球抓拍傳感器轉(zhuǎn)動對準(zhǔn)該位置進(jìn)行拍攝,獲得遺留物品的攜帶者的特寫圖像;
遺留物品的攜帶者跟蹤單元,用于采用基于KALMAN濾波的跟蹤算法跟蹤遺留物品的攜帶者的軌跡;
遺留物品空間位置狀態(tài)判斷單元,用于確認(rèn)遺留物品與遺留物品的攜帶者相分離的狀態(tài);當(dāng)遺留物品的攜帶者與遺留物品開始分離時(shí)刻時(shí),得到遺留物的位置信息(Ox,Oy),然后不斷的讀取從遺留物品的攜帶者跟蹤模塊中所計(jì)算得到的攜帶者的位置信息(Sx′,Sy′),然后計(jì)算這兩個(gè)點(diǎn)之間的距離,計(jì)算方法由公式25所示,
遺留物品所經(jīng)歷的靜止時(shí)間計(jì)算單元,用于計(jì)算當(dāng)遺留物品的攜帶者與遺留物品開始分離時(shí)刻到當(dāng)前的時(shí)間間隔,計(jì)算方法是從遺留物品的攜帶者與遺留物品開始分離時(shí)刻開始獲取計(jì)算機(jī)系統(tǒng)時(shí)間TStart,然后在所述的遺留狀態(tài)判斷模塊判斷結(jié)束后在獲取當(dāng)前的計(jì)算機(jī)系統(tǒng)時(shí)間TNow,遺留物品所經(jīng)歷的靜止時(shí)間可以由公式26計(jì)算,
t=TNow-TStart (26)
式中,t為遺留物品所經(jīng)歷的靜止時(shí)間,TStart為從遺留物品的攜帶者與遺留物品開始分離時(shí)刻的系統(tǒng)時(shí)間,Tnow為目前系統(tǒng)的時(shí)間;
遺留狀態(tài)判斷單元,用于確認(rèn)遺留物品是否真正處在遺留狀態(tài)根據(jù)在所述的遺留物品空間位置狀態(tài)判斷模塊中所計(jì)算得到的攜帶者離遺留物品的距離是否超過了所規(guī)定的距離或者完全消失在場景中,以及在所述的遺留物品所經(jīng)歷的靜止時(shí)間計(jì)算模塊所計(jì)算得到遺留物品單獨(dú)靜止時(shí)間是否超過了所規(guī)定的時(shí)間,作出各種遺留狀態(tài)和警示的綜合判定;遺留物綜合判定表如表2所示;
表2。
2、如權(quán)利要求1所述的基于全方位計(jì)算機(jī)視覺的遺留物檢測裝置,其特征在于全方位視覺傳感器滿足整個(gè)監(jiān)控領(lǐng)域頂視的全景視頻圖像不變形要求,用以下方法來進(jìn)行設(shè)計(jì)
根據(jù)成像原理,一次入射光線V1與折反射主軸Z的夾角為Φ,一次反射光線V2與折反射主軸Z的夾角為θ2,過P1點(diǎn)(t1,F(xiàn)1)的切線與t軸的夾角為σ,法線與Z軸的夾角為ε;二次反射光線V3與折反射主軸Z的夾角為θ1,過P2點(diǎn)(t2,F(xiàn)2)的切線與t軸的夾角為σ,法線與Z軸的夾角為ε1,基于上述關(guān)系可以得到公式(1)
其中
式中,F(xiàn)1是一次折反射鏡面曲線,F(xiàn)2是二次折反射鏡面曲線;
利用三角關(guān)系并進(jìn)行簡化整理,得到公式(2)、(3)
F1′2-2αF1′-1=0 (2)
F2′2-2βF2′-1=0 (3)
上式中,
解公式(2)、(3)可以得到公式(4)、(5);
式中F1′為F1曲線的微分,F(xiàn)2′為F2曲線的微分;
在成像平面上的點(diǎn)與水平面上的點(diǎn)之間滿足某種線性關(guān)系,與視點(diǎn)S的距離為C并與Z軸相垂直的水平面L上的任意點(diǎn)P,在成像平面上的有一個(gè)對應(yīng)的像素點(diǎn)p,將水平面上的坐標(biāo)用極坐標(biāo)表示,這時(shí)水平面L上的任意點(diǎn)P(r,z)用以下公式來表示,
r=C*tanφ,z=s+C (6)
設(shè)計(jì)水平面上具有平均分辨率ODVS,即水平方向不變形的ODVS,在水平面L上的任意點(diǎn)P與Z軸相垂直方向的坐標(biāo)r和像素點(diǎn)p與Z軸的距離t2/F2(t2)之間要保證具有線性關(guān)系;使得以下公式能成立,
r=a*f*t2/F2(t2)+b (7)
根據(jù)成像原理有以下關(guān)系成立,入射角用公式(8)表示,
將公式(6)、(8)代入公式(7)并整理,得到在水平方向不變形的條件,用公式(9)表示,
滿足公式(9)的鏡面曲線設(shè)計(jì)符合水平方向平均分辨率要求。
3、如權(quán)利要求1或2所述的基于全方位計(jì)算機(jī)視覺的遺留物檢測裝置,其特征在于在所述遺留物品的攜帶者跟蹤模塊中,設(shè)定處理兩幀連續(xù)圖像之間的間隔時(shí)間是一定的,記為Δt,假設(shè)上一時(shí)刻前景目標(biāo)對象的所處位置為(Sx,Sy),當(dāng)前時(shí)刻前景目標(biāo)對象的所處位置為(Sx′,Sy′),當(dāng)前前景目標(biāo)對象在X軸上的速度Vx,在Y軸上的速度為Vy,那么當(dāng)前時(shí)刻前景目標(biāo)對象所處的位置與上一時(shí)刻前景目標(biāo)對象所處的位置的關(guān)系如公式(21)所示
式中,Sx、Sy為上一時(shí)刻前景目標(biāo)對象的所處x、y位置,Sx′、Sy′為當(dāng)前時(shí)刻前景目標(biāo)對象的所處x、y位置,Δt為兩幀之間的時(shí)間間隔,Vx為當(dāng)前前景目標(biāo)對象在X軸上的速度,Vy為當(dāng)前前景目標(biāo)對象在Y軸上的速度;
對前景目標(biāo)對象的速度進(jìn)行預(yù)測,設(shè)定其在X軸上的加速度為ax,在Y軸上的加速度為ay,建立一個(gè)系統(tǒng)狀態(tài){Vx,Vy,ax,ay},取系統(tǒng)控制量U(k)為0,狀態(tài)轉(zhuǎn)移矩陣為
測量值為前景目標(biāo)對象的速度值,記測量值轉(zhuǎn)移矩陣為
假設(shè)W(k)和V(k)為零均值且獨(dú)立的噪聲向量,則設(shè)其協(xié)方差為
然后測得前景目標(biāo)對象運(yùn)動速度,并設(shè)定一個(gè)誤差協(xié)方差初始值,通過KALMAN濾波不斷地從上一時(shí)刻前景目標(biāo)對象的速度狀態(tài)預(yù)測出當(dāng)前時(shí)刻的運(yùn)動狀態(tài),實(shí)現(xiàn)預(yù)測跟蹤。
全文摘要
一種基于全方位計(jì)算機(jī)視覺的遺留物檢測裝置,包括用于監(jiān)視大范圍全景內(nèi)安全情況的視覺傳感器、以及用于根據(jù)視覺傳感器的信號進(jìn)行遺留物檢測的微處理器,視覺傳感器為全方位視覺傳感器和高速快球抓拍傳感器,微處理器包括ODVS圖像獲取模塊,場景內(nèi)對象檢測模塊,用于抽取出監(jiān)控場景內(nèi)的運(yùn)動對象、遺留物暫時(shí)靜止對象和場景靜止對象,遺留事件檢測模塊,用于檢測出在場景內(nèi)發(fā)生的各種遺留事件的狀態(tài),包括遺留事件檢測ID號自動生成單元、遺留物品的攜帶者抓拍單元、遺留物品的攜帶者跟蹤單元、遺留物品空間位置狀態(tài)判斷單元、遺留物品所經(jīng)歷的靜止時(shí)間計(jì)算單元、遺留狀態(tài)判斷單元。本發(fā)明具有全方位視覺、可靠性好、實(shí)時(shí)性強(qiáng)。
文檔編號G02B17/08GK101552910SQ20091009707
公開日2009年10月7日 申請日期2009年3月30日 優(yōu)先權(quán)日2009年3月30日
發(fā)明者湯一平, 陳耀宇 申請人:浙江工業(yè)大學(xué), 湯一平