專利名稱：基于立體視覺的公交客流統(tǒng)計(jì)方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及公交客流統(tǒng)計(jì)，尤其涉及一種基于立體視覺的公交客流統(tǒng)計(jì)方法及其系統(tǒng)。
背景技術(shù)：
近些年來，展覽館、體育場(chǎng)、圖書館、機(jī)場(chǎng)、地鐵及公交車等公共場(chǎng)所都安裝有智能監(jiān)控與調(diào)度系統(tǒng)，對(duì)這些系統(tǒng)來說，實(shí)時(shí)準(zhǔn)確的客流信息的重要性不言而喻。而目前客流信息統(tǒng)計(jì)的主要手段為紅外遮擋系統(tǒng)及壓力傳感系統(tǒng)，這兩種傳統(tǒng)方法的優(yōu)勢(shì)在于實(shí)現(xiàn)簡(jiǎn)單，成本低廉，但其主要缺陷在于統(tǒng)計(jì)不準(zhǔn)確，對(duì)客流高峰期擁擠狀況無能為力。
相對(duì)于其他信息，圖像信息的容量更大，更豐富，因此圖像處理技術(shù)的興起與不斷的發(fā)展為傳統(tǒng)的客流統(tǒng)計(jì)技術(shù)面臨的一系列問題的解決提出了很多新方法。目前，已經(jīng)有很多基于圖像處理的方法應(yīng)用于客流統(tǒng)計(jì)系統(tǒng)，但它們所采用的方法都是基于單目二維圖像的，應(yīng)用于公交客流統(tǒng)計(jì)系統(tǒng)時(shí)，還存在很多無法克服的問題，這些問題主要有1)背景隨光線變化復(fù)雜，不利于前景(人頭部)的提?。?)客流高峰擁擠情況下，人與人之間結(jié)合緊密，基于二維信息的方法很難將擁擠在一起的幾個(gè)人準(zhǔn)確的區(qū)分開來，而且擁擠情況又是非常頻繁的；3)由于公交車臺(tái)階的存在，導(dǎo)致同一人的頭部在上下車時(shí)在位置固定的單目攝像機(jī)看來大小是時(shí)刻變化的，非常不利于識(shí)別與跟蹤。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于立體視覺的公交客流統(tǒng)計(jì)方法及其系統(tǒng)。
基于立體視覺的公交客流統(tǒng)計(jì)方法處理器對(duì)立體視覺裝置獲取的雙目圖像進(jìn)行立體視覺處理，得到場(chǎng)景中的各點(diǎn)到攝像機(jī)之間的距離，然后在距離上設(shè)置閾值，得到距離攝像機(jī)某一距離范圍內(nèi)的場(chǎng)景中的所有點(diǎn)，通過對(duì)這些點(diǎn)的去噪、擬和，再結(jié)合單目圖像的特征識(shí)別方法，將那些近似組成圓的場(chǎng)景中點(diǎn)的集合作為人的頭部，從而實(shí)現(xiàn)了人頭部的檢測(cè)，再將人頭部檢測(cè)的結(jié)果的位置、半徑、灰度信息交由跟蹤算法實(shí)施有效跟蹤，便可以正確判斷出客流的運(yùn)動(dòng)方向，從而完成客流信息統(tǒng)計(jì)。
立體視覺處理指的是利用兩臺(tái)略有位置偏移的攝像機(jī)通過三角運(yùn)算，獲得場(chǎng)景的深度信息，立體視覺處理方法步驟如下1)在不同的圖像之間建立圖像特征點(diǎn)之間的對(duì)應(yīng)關(guān)系，2)計(jì)算圖像特征點(diǎn)位置之間的相對(duì)偏移，3)通過已知的攝像機(jī)參數(shù)計(jì)算圖中特征點(diǎn)的三維位置信息。
單目圖像的特征識(shí)別方法將人體頭部的形狀作為特征，取雙目圖像中的任一目圖像作為單目圖像，對(duì)其進(jìn)行圖像的邊緣檢測(cè)，在邊緣檢測(cè)結(jié)果上實(shí)施改進(jìn)的哈夫變換，在哈夫變換的結(jié)果中進(jìn)行模糊聚類，從而獲得場(chǎng)景中所有類圓形目標(biāo)作為人體頭部的檢測(cè)結(jié)果。
基于立體視覺的公交客流統(tǒng)計(jì)裝置處理器分別與控制電路、網(wǎng)絡(luò)傳輸模塊、協(xié)議轉(zhuǎn)換模塊、存儲(chǔ)器相接，控制電路分別與雙目圖像采集模塊、網(wǎng)絡(luò)傳輸模塊相接，網(wǎng)絡(luò)傳輸模塊與網(wǎng)絡(luò)接口相接，存儲(chǔ)器與雙目圖像采集模塊相接。
雙目圖像采集模塊時(shí)序控制電路分別與攝像機(jī)1和攝像機(jī)2相接。
本發(fā)明可以克服現(xiàn)有的公交客流統(tǒng)計(jì)系統(tǒng)存在的很多問題，對(duì)于城市公交汽車，客流統(tǒng)計(jì)信息對(duì)于調(diào)配公交車輛班次密度和對(duì)公交線路的規(guī)劃設(shè)計(jì)具有十分重要的參考意義；對(duì)于長(zhǎng)途客運(yùn)汽車，客流統(tǒng)計(jì)信息對(duì)于超載、私自收費(fèi)等威脅乘客人身安全、造成國(guó)家經(jīng)濟(jì)損失的不良現(xiàn)象具有良好的監(jiān)督作用?？傊?，本發(fā)明不僅可以為公交規(guī)劃、市政建設(shè)提供更加可靠的客流數(shù)據(jù)，對(duì)汽車客運(yùn)運(yùn)輸事業(yè)的健康發(fā)展同樣起著重要的作用。


圖1是基于立體視覺的公交客流統(tǒng)計(jì)系統(tǒng)結(jié)構(gòu)框圖；圖2是本發(fā)明的雙目圖像采集模塊結(jié)構(gòu)框圖；圖3是本發(fā)明實(shí)現(xiàn)人頭部檢測(cè)算法軟件流程圖；圖4是本發(fā)明跟蹤算法軟件流程圖。
具體實(shí)施例方式如圖1所示，基于立體視覺的公交客流統(tǒng)計(jì)系統(tǒng)處理器分別與控制電路、網(wǎng)絡(luò)傳輸模塊、協(xié)議轉(zhuǎn)換模塊、存儲(chǔ)器相接，控制電路分別與雙目圖像采集模塊、網(wǎng)絡(luò)傳輸模塊相接，網(wǎng)絡(luò)傳輸模塊與網(wǎng)絡(luò)接口相接，存儲(chǔ)器與雙目圖像采集模塊相接。為確保實(shí)時(shí)處理，圖像分辨率不宜過大，不采用彩色圖像，直接由攝像頭獲取灰度圖像，在這種情況下，圖像數(shù)據(jù)量不是很大，不需要考慮與處理器接口復(fù)雜的SDRAM，直接采用處理器片上SRAM或者外部擴(kuò)展SRAM。立體視覺算法與一般圖像處理算法比較，運(yùn)算量大，浮點(diǎn)運(yùn)算多，對(duì)內(nèi)存的需求大，為確保實(shí)時(shí)性要求，處理器的選擇很重要。TMS320C6000系列是德州儀器公司生產(chǎn)的高檔DSP產(chǎn)品，這種DSP可以提高系統(tǒng)性價(jià)比，減少開發(fā)時(shí)間，增加可靠性，得到了十分廣泛的應(yīng)用。其主要特性為①定點(diǎn)/浮點(diǎn)系列兼容DSP，主頻100MHz-600MHz；②具有VelciTITM先進(jìn)VLIW結(jié)構(gòu)內(nèi)核；③具有類似RISC的指令集；④片內(nèi)集成大容量SRAM，可達(dá)8M；⑤高效率協(xié)處理器(C64x)；⑥片內(nèi)提供多種集成外設(shè)。包括多通道緩沖串口McBSP，多通道音頻串口McASP和多通道DMA/EDMA控制器等；其特性決定了C6000系列特別適合于開發(fā)圖像產(chǎn)品，因此作為立體視覺客流統(tǒng)計(jì)系統(tǒng)的中央處理器，C6000系列是個(gè)合適的選擇。嵌入式系統(tǒng)開發(fā)中，高效的調(diào)試手段是異常重要的，不僅在產(chǎn)品研發(fā)階段需要調(diào)試接口，在產(chǎn)品上市初期，為了修補(bǔ)各種研發(fā)階段沒有遭遇的問題，也必須保留調(diào)試接口。考慮到圖像的數(shù)據(jù)量，該調(diào)試接口必須保證較高的傳輸速率，綜合考慮傳輸率與開發(fā)成本，網(wǎng)絡(luò)接口是一個(gè)比較理想的選擇。采用百兆以太網(wǎng)卡芯片(如RTL8139)作為網(wǎng)絡(luò)接口，可以在客流統(tǒng)計(jì)系統(tǒng)與宿主機(jī)(可以為PC或?qū)ｉT開發(fā)的帶有網(wǎng)絡(luò)接口的嵌入式系統(tǒng))之間傳送各種必要的調(diào)試數(shù)據(jù)甚至是實(shí)時(shí)的雙目圖像數(shù)據(jù)，為高效的調(diào)試提供保障。
如圖2所示，雙目圖像采集模塊時(shí)序控制電路分別與攝像機(jī)1和攝像機(jī)2相接。立體視覺系統(tǒng)采用雙目攝像機(jī)，且雙目攝像機(jī)為水平放置，即兩攝像機(jī)鏡頭中心連線處于同一水平線上?？紤]到攝像機(jī)安裝高度有限，為了兼顧兩攝像機(jī)具有較大的公共視場(chǎng)，需要采用廣角鏡頭。鏡頭焦距不大于600像素寬度?？紤]實(shí)時(shí)性要求，兩個(gè)攝像機(jī)采集灰度圖像，結(jié)合立體視覺精度要求，采集圖像分辨率為640*480；兩攝像機(jī)之間基線長(zhǎng)度為15厘米。
如圖3所示，檢測(cè)模塊的算法流程圖，首先對(duì)雙目圖像進(jìn)行立體視覺處理，采用基于窗口的匹配算法獲得含深度信息的圖像I(x，y，z)，在Z方向設(shè)定相應(yīng)的閾值后，可能為人頭部的區(qū)域就都被提取出來。隨后在雙目圖像中任意取出一幅作為單目圖像進(jìn)行平面類圓物體提取。提取過程先要對(duì)單目圖像進(jìn)行邊緣檢測(cè)、背景去除等預(yù)處理工作，接著對(duì)經(jīng)過預(yù)處理的前景邊緣圖像進(jìn)行改進(jìn)的哈夫變換，對(duì)哈夫變換的結(jié)果引入模糊度量，在模糊置信度的指導(dǎo)下去除哈夫變換結(jié)果中的虛假類圓物體，獲得單目圖像中所有類圓物體的位置與半徑。最后，將立體視覺算法處理的結(jié)果與單目圖像哈夫變換的結(jié)果結(jié)合起來，提取出前景中所有人頭部所在的位置，并同時(shí)計(jì)算出跟蹤部分所需要的每個(gè)人頭部的特征向量(x，y，z，R，G)。由于人的頭部明顯高于人體肩部等其他部位，也就是說人體頭部與攝像機(jī)之間的距離比其他部分近。利用立體視覺的方法可以得到場(chǎng)景中的各點(diǎn)到攝像機(jī)之間的距離，因此我們可以得到距離攝像機(jī)某一范圍內(nèi)的場(chǎng)景中的所有點(diǎn)。通過對(duì)這些點(diǎn)的去噪、擬和過程，將那些近似組成圓的場(chǎng)景中點(diǎn)的集合作為人的頭部，從而實(shí)現(xiàn)了人頭部的檢測(cè)，再將人頭部檢測(cè)的結(jié)果(位置、半徑、灰度等信息)交由跟蹤算法實(shí)施有效跟蹤，便可以正確判斷出此人運(yùn)動(dòng)方向，從而完成計(jì)數(shù)。立體視覺技術(shù)能夠利用兩臺(tái)略有位置偏移的攝像機(jī)通過三角運(yùn)算，獲得場(chǎng)景的深度信息。攝像機(jī)模塊同時(shí)獲取場(chǎng)景的兩幅圖像。場(chǎng)景中的點(diǎn)分別在兩幅圖像中存在像點(diǎn)。在不同的圖像中像點(diǎn)的位置不同，這個(gè)位置的不同被稱為視差，場(chǎng)景中的點(diǎn)距離攝像機(jī)距離不同導(dǎo)致視差大小也不相同，距離近則視差大，距離遠(yuǎn)則視差小。立體視覺正是基于不同的偏移程度，通過三角運(yùn)算來確定場(chǎng)景中的物體到攝像機(jī)的距離。立體視覺大體上可以分為以下三步1、在不同的圖像之間建立圖像特征點(diǎn)之間的對(duì)應(yīng)關(guān)系；2、計(jì)算圖像特征點(diǎn)位置之間的相對(duì)偏移；3、通過已知的攝像機(jī)參數(shù)計(jì)算圖中特征點(diǎn)的三維位置信息。其中最關(guān)鍵的是第一步。為了建立兩幅圖中的對(duì)應(yīng)點(diǎn)對(duì)，我們采用基于窗口的匹配方法，該方法適合硬件加速并且具有較為穩(wěn)定的輸出結(jié)果，相似度衡量函數(shù)采用SAD，表達(dá)式如下mind=dmindmaxΣi=-m2m2Σj=-m2m2|Iright[x+i][y+j]-Ileft[x+i+d][y+j]|]]>其中dmin和dmax分別為最小和最大視差值。m為模板窗口的大小。Ileft和Iright分別為左圖和右圖。
特征點(diǎn)對(duì)建立后，我們可以對(duì)場(chǎng)景中的任意一點(diǎn)A計(jì)算其視差，公式如下D(A)＝x(Aleft)-x(Aright)。其中x(Aleft)和x(Aright)分別為點(diǎn)A在左圖和右圖中像點(diǎn)的x坐標(biāo)。
最后我們通過下式對(duì)場(chǎng)景中的點(diǎn)進(jìn)行三維重建Xc=b×(U-U0)dYc=b×(V-V0)dZc=b×fd]]>其中U0、V0為圖像中心坐標(biāo)，f為焦距，b為攝像機(jī)基線長(zhǎng)度，d為場(chǎng)景點(diǎn)的視差，Xc，Yc，Zc為場(chǎng)景點(diǎn)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)。在獲取場(chǎng)景的深度信息之后，再取雙目圖像中的任一目圖像作為單目圖像，對(duì)其首先進(jìn)行邊緣檢測(cè)，對(duì)邊緣檢測(cè)結(jié)果實(shí)施改進(jìn)的哈夫變換以檢測(cè)類圓形物體的存在，主要原理為圓心計(jì)算公式xc=xi-rcosθyc=yi-rsinθ----(1),]]>其中，(xi，yi)為邊緣點(diǎn)在單目圖像中的坐標(biāo)值，(xc，yc)為對(duì)應(yīng)半徑r的圓心坐標(biāo)值，θ＝arctg(gy/gx)，gy，gx分別是兩個(gè)方向的梯度，在邊緣檢測(cè)時(shí)可以預(yù)先得到。這樣，給定人頭部半徑范圍，在每個(gè)半徑下對(duì)所有檢測(cè)區(qū)域內(nèi)的邊緣點(diǎn)按(1)式計(jì)算其對(duì)應(yīng)的圓心坐標(biāo)，就可以得到一張所有半徑下圓心位置的映射表，在這張表中按一定的聚類規(guī)則進(jìn)行聚類運(yùn)算，再給定一個(gè)落到同一個(gè)圓上點(diǎn)數(shù)的閾值就可以得到所有類圓物體的圓心位置和半徑了。當(dāng)然，這其中會(huì)存在很多虛假圓，包括一些相交圓、相容圓的情況，還要針對(duì)這些情況作進(jìn)一步的處理，以盡可能的消除虛假圓，使這一步得到的結(jié)果盡可能都是人頭部。對(duì)于哈夫變換得到的結(jié)果，有可能出現(xiàn)曲線不閉合、邊緣信息不完整等近似圓程度不定的情況，這種不定量的情況需要引入模糊概念進(jìn)行處理。在這里引入兩個(gè)置信度來衡量類圓物體近似圓的程度，其隸屬函數(shù)分別為1)μ1＝T/2πr；2)μ2＝A/πr2其中T為該類圓哈夫變換得到的點(diǎn)數(shù)，可以理解為弧長(zhǎng)，則當(dāng)弧長(zhǎng)等于圓周長(zhǎng)，即T＝2πr時(shí)，隸屬度為1，其余情況下，0＜μ1＜1。A為該類圓中，哈夫變換得到的點(diǎn)依次連接所得到的圓內(nèi)接多邊形的面積，則極限情況下，A＝πr2，隸屬度為1，其余情況下，0＜μ2＜1?？梢钥吹?，μ1和μ2可以很好的描述曲線不閉合，邊緣信息不完整情況下的類圓物體近似圓的程度，將這兩個(gè)置信度分別或以一定的線性組合(系數(shù)可由神經(jīng)網(wǎng)絡(luò)或支撐向量機(jī)經(jīng)訓(xùn)練得到)作用于哈夫變換的結(jié)果，就可以按照置信度的大小來消除、合并虛假圓，使得輸出結(jié)果盡可能為真實(shí)的人頭部。
如圖4所示，跟蹤模塊的算法流程圖，每個(gè)人在進(jìn)出視場(chǎng)的過程中每次出現(xiàn)時(shí)由檢測(cè)部分提取的特征向量構(gòu)成了一個(gè)特征向量的序列。每個(gè)序列除了需要記錄每次出現(xiàn)時(shí)的特征向量外，還要通過卡爾曼預(yù)測(cè)器預(yù)測(cè)下一幀中該序列特征向量的預(yù)測(cè)值。這樣，所有出現(xiàn)在視場(chǎng)中的人每個(gè)人都有一個(gè)跟蹤序列，所有人的跟蹤序列組成了跟蹤序列組或稱為跟蹤序列矩陣。跟蹤模塊的任務(wù)就是從前一幀的跟蹤序列矩陣中提取出與當(dāng)前幀的檢測(cè)向量的向量距離最近的跟蹤序列，如果該最近向量距離低于所設(shè)定的閾值，則匹配成功，將該檢測(cè)向量加入到相應(yīng)的跟蹤序列中，否則，匹配失敗，此時(shí)如果檢測(cè)向量的模糊置信度高于給定的閾值說明一個(gè)此前未出現(xiàn)的人進(jìn)入視場(chǎng)，則與此人相對(duì)應(yīng)的新的跟蹤序列產(chǎn)生，而該檢測(cè)向量即為新的跟蹤序列中的第一個(gè)向量值。值得一提的是，這里采用了向量距離，而不是通常意義上的幾何距離。其原因是由于人上下公交車，尤其是上下臺(tái)階時(shí)運(yùn)動(dòng)很不規(guī)則，如果只采用幾何距離的話，跟蹤出錯(cuò)的幾率很大，而采用向量距離，由于兼顧了頭部大小與灰度信息，則跟蹤出錯(cuò)的幾率大大降低。當(dāng)一個(gè)人在視場(chǎng)中消失(可以定義為兩幀或多幀未匹配)時(shí)，其對(duì)應(yīng)的跟蹤序列任務(wù)結(jié)束，將其中記錄的所有向量值取出作為判斷其上下車的依據(jù)。
權(quán)利要求
1.一種基于立體視覺的公交客流統(tǒng)計(jì)方法，其特征在于，處理器對(duì)立體視覺裝置獲取的雙目圖像進(jìn)行立體視覺處理，得到場(chǎng)景中的各點(diǎn)到攝像機(jī)之間的距離，然后在距離上設(shè)置閾值，得到距離攝像機(jī)某一距離范圍內(nèi)的場(chǎng)景中的所有點(diǎn)，通過對(duì)這些點(diǎn)的去噪、擬和，再結(jié)合單目圖像的特征識(shí)別方法，將那些近似組成圓的場(chǎng)景中點(diǎn)的集合作為人的頭部，從而實(shí)現(xiàn)了人頭部的檢測(cè)，再將人頭部檢測(cè)的結(jié)果的位置、半徑、灰度信息交由跟蹤算法實(shí)施有效跟蹤，便可以判斷出客流的運(yùn)動(dòng)方向，從而完成客流信息統(tǒng)計(jì)。
2.根據(jù)權(quán)利要求1所述的一種基于立體視覺的公交客流統(tǒng)計(jì)方法，其主要特征在于，所述的立體視覺處理指的是利用兩臺(tái)略有位置偏移的攝像機(jī)通過三角運(yùn)算，獲得場(chǎng)景的深度信息，立體視覺處理方法步驟如下1)在不同的圖像之間建立圖像特征點(diǎn)之間的對(duì)應(yīng)關(guān)系，2)計(jì)算圖像特征點(diǎn)位置之間的相對(duì)偏移，3)通過已知的攝像機(jī)參數(shù)計(jì)算圖中特征點(diǎn)的三維位置信息。
3.根據(jù)權(quán)利要求1所述的一種基于立體視覺的公交客流統(tǒng)計(jì)方法，其主要特征在于，所述的單目圖像的特征識(shí)別方法將人體頭部的形狀作為特征，取雙目圖像中的任一目圖像作為單目圖像，對(duì)其進(jìn)行圖像的邊緣檢測(cè)，在邊緣檢測(cè)結(jié)果上實(shí)施改進(jìn)的哈夫變換，在哈夫變換的結(jié)果中進(jìn)行模糊聚類，從而獲得場(chǎng)景中所有類圓形目標(biāo)作為人體頭部的檢測(cè)結(jié)果。
4.一種基于立體視覺的公交客流統(tǒng)計(jì)系統(tǒng)，其特征在于，處理器分別與控制電路、網(wǎng)絡(luò)傳輸模塊、協(xié)議轉(zhuǎn)換模塊、存儲(chǔ)器相接，控制電路分別與雙目圖像采集模塊、網(wǎng)絡(luò)傳輸模塊相接，網(wǎng)絡(luò)傳輸模塊與網(wǎng)絡(luò)接口相接，存儲(chǔ)器與雙目圖像采集模塊相接。
5.根據(jù)權(quán)利要求4所述的一種基于立體視覺的公交客流統(tǒng)計(jì)系統(tǒng)，其主要特征在于，所述的雙目圖像采集模塊時(shí)序控制電路分別與攝像機(jī)1和攝像機(jī)2相接。
6.根據(jù)權(quán)利要求4所述的一種基于立體視覺的公交客流統(tǒng)計(jì)系統(tǒng)，其主要特征在于，所述的處理器為嵌入式處理器。
全文摘要
本發(fā)明公開了一種基于立體視覺的公交客流統(tǒng)計(jì)方法及其系統(tǒng)。本發(fā)明采用立體視覺裝置和算法。立體視覺圖像采集設(shè)備放置于公交車車門頂端，實(shí)時(shí)采集乘客上下車圖像，處理器采用立體視覺算法對(duì)采集到的雙目圖像進(jìn)行處理，獲取圖像深度信息，結(jié)合單目圖像的處理信息獲得乘客頭頂部的位置、大小，灰度等信息，再由跟蹤部分對(duì)獲取的乘客頭頂部信息進(jìn)行實(shí)時(shí)跟蹤，由跟蹤結(jié)果便可獲知乘客上下車的人數(shù)，從而獲得實(shí)時(shí)、準(zhǔn)確的客流信息。本發(fā)明提升了公交客流統(tǒng)計(jì)系統(tǒng)的準(zhǔn)確率，獲得的客流信息可以作為調(diào)配城市公交車輛班次密度和公交線路規(guī)劃設(shè)計(jì)的依據(jù)，對(duì)于汽車客運(yùn)運(yùn)輸事業(yè)的健康發(fā)展起著重要的促進(jìn)作用。
文檔編號(hào)G06Q90/00GK1731456SQ200510060288
公開日2006年2月8日 申請(qǐng)日期2005年8月4日 優(yōu)先權(quán)日2005年8月4日
發(fā)明者劉濟(jì)林, 于海濱, 沈曄湖 申請(qǐng)人:浙江大學(xué)