本發(fā)明主要涉及一種檢測(cè)和統(tǒng)計(jì)方法，更具體地，涉及基于視覺和無線感知相結(jié)合的行人檢測(cè)和統(tǒng)計(jì)方法。
背景技術(shù)：
：使用基于視覺的行人檢測(cè)方法在目前來看屬于目標(biāo)檢測(cè)領(lǐng)域的主流方法，從2005年Hog特征檢測(cè)方法的提出，機(jī)器視覺的應(yīng)用也變得越來越廣泛，涌現(xiàn)出了一大批優(yōu)秀的算法和前沿工作者，其中基于部件的目標(biāo)檢測(cè)方法是目前檢測(cè)精度較高的主流算法，其有諸多優(yōu)勢(shì)：1、具有多種特征模型，其分為主模型和子模型，并利用彈簧形變?cè)碛?jì)算檢測(cè)目標(biāo)的最終得分，因此對(duì)人體的拍攝角度和形變都有較好的魯棒性。2、使用Hog金字塔對(duì)多種尺度的檢測(cè)圖像進(jìn)行逐層匹配，大大提升了不同尺寸的行人像素的檢出率。3、對(duì)實(shí)際過程中出現(xiàn)的遮擋情況不敏感，在實(shí)際效果中可以收到較好的效果。隨著人民生活水平的不斷提高，更多的人在出行時(shí)都會(huì)攜帶諸如手機(jī)、平板電腦等移動(dòng)終端設(shè)備，因此可以使用對(duì)移動(dòng)終端設(shè)備發(fā)出的無線信號(hào)的收集來間接檢測(cè)行人，可以與視覺檢測(cè)進(jìn)行互補(bǔ)，彌補(bǔ)了攝像機(jī)的視覺盲區(qū)，和減少因處理圖像中目標(biāo)故意遮擋、大尺度形變以及不均勻光照引起的漏檢和檢測(cè)失效問題。技術(shù)實(shí)現(xiàn)要素：本發(fā)明主要提供一種基于視覺和無線感知相結(jié)合的行人檢測(cè)和統(tǒng)計(jì)方法，使用對(duì)移動(dòng)終端設(shè)備發(fā)出的無線信號(hào)的收集來間接檢測(cè)行人，可以與視覺檢測(cè)進(jìn)行互補(bǔ)，彌補(bǔ)了攝像機(jī)的視覺盲區(qū)，和減少因處理圖像中目標(biāo)故意遮擋、大尺度形變以及不均勻光照引起的漏檢和檢測(cè)失效問題。為解決上述技術(shù)問題，本發(fā)明基于視覺和無線感知相結(jié)合的行人檢測(cè)和統(tǒng)計(jì)方法，其特征在于，包括以下步驟：(1)、監(jiān)控圖像采集：利用攝像裝置采集視頻監(jiān)控圖像，對(duì)獲得的圖像進(jìn)行尺寸變換；(2)、圖像信息處理：對(duì)步驟(1)獲得的圖像利用DPM方法提取圖像中的ROI，進(jìn)行色彩通道變換，計(jì)算特征金字塔，匹配主模型以及子模型部件，計(jì)算部件得分，篩選和標(biāo)定得分超過設(shè)定閾值的目標(biāo)區(qū)域，獲得每幀行人數(shù)量和行人所在圖像位置的范圍盒的坐標(biāo)；(3)、無線信號(hào)采集：利用安裝在檢測(cè)區(qū)域內(nèi)的無線探測(cè)設(shè)備對(duì)行人攜帶的具有無線信號(hào)收發(fā)功能的標(biāo)定設(shè)備進(jìn)行請(qǐng)求幀搜索，使用libtins獲得請(qǐng)求幀數(shù)據(jù)，解析設(shè)備的mac地址和信號(hào)強(qiáng)度；(4)、無線信號(hào)處理：根據(jù)信號(hào)衰減公式Los＝32.44+20lgd+20lgf，式中，Los是傳播損耗，單位為dB；d是距離，單位是Km；f是工作頻率，單位是MHz；對(duì)檢測(cè)區(qū)域內(nèi)信號(hào)強(qiáng)度進(jìn)行建模，獲得無線探測(cè)設(shè)備到被標(biāo)定設(shè)備之間距離的空間模型；(5)、目標(biāo)粗匹配：建立攝像裝置到行人之間距離的空間坐標(biāo)系，劃分監(jiān)控圖像在空間中的對(duì)應(yīng)域，將攝像裝置的檢測(cè)目標(biāo)與無線探測(cè)設(shè)備的檢測(cè)目標(biāo)進(jìn)行匹配，獲得同一目標(biāo)在兩個(gè)數(shù)據(jù)區(qū)中的序號(hào)對(duì)應(yīng)關(guān)系；(6)、目標(biāo)精匹配：根據(jù)前后幀目標(biāo)的運(yùn)動(dòng)關(guān)系，同時(shí)對(duì)攝像裝置的檢測(cè)目標(biāo)和無線探測(cè)設(shè)備的檢測(cè)目標(biāo)在下一時(shí)刻的位置進(jìn)行卡爾曼預(yù)估，獲得其運(yùn)動(dòng)位移向量，根據(jù)位置信息和運(yùn)動(dòng)矢量評(píng)估攝像裝置的檢測(cè)目標(biāo)與無線探測(cè)設(shè)備的檢測(cè)目標(biāo)的匹配程度，設(shè)置兩目標(biāo)是否為同一目標(biāo)的匹配值；(7)、歸納檢測(cè)區(qū)域內(nèi)目標(biāo)的數(shù)據(jù)，移除重復(fù)目標(biāo)，整合攝像裝置的檢測(cè)目標(biāo)和無線探測(cè)設(shè)備的檢測(cè)目標(biāo)的ID號(hào)，并將唯一ID號(hào)與實(shí)時(shí)位置信息存入鏈表中。作為本方案的進(jìn)一步優(yōu)化，本發(fā)明基于視覺和無線感知相結(jié)合的行人檢測(cè)和統(tǒng)計(jì)方法所述步驟(1)中的圖像尺寸變換適合于VGA-QVGA。作為本方案的進(jìn)一步優(yōu)化，本發(fā)明基于視覺和無線感知相結(jié)合的行人檢測(cè)和統(tǒng)計(jì)方法所述色彩通道變換為將RGB三通道信息轉(zhuǎn)換為單通道數(shù)據(jù)，所述步驟(2)中的主模型數(shù)量為2，子模型部件數(shù)量為5，特征金字塔迭代層數(shù)為10-48層，得分閾值范圍設(shè)定值為[-1.8f,1.0f]。作為本方案的進(jìn)一步優(yōu)化，本發(fā)明基于視覺和無線感知相結(jié)合的行人檢測(cè)和統(tǒng)計(jì)方法所述步驟(3)中的標(biāo)定設(shè)備為無線網(wǎng)卡或無線路由器。作為本方案的進(jìn)一步優(yōu)化，本發(fā)明基于視覺和無線感知相結(jié)合的行人檢測(cè)和統(tǒng)計(jì)方法所述標(biāo)定設(shè)備的數(shù)目為2臺(tái)以上。作為本方案的進(jìn)一步優(yōu)化，本發(fā)明基于視覺和無線感知相結(jié)合的行人檢測(cè)和統(tǒng)計(jì)方法所述步驟(4)中空間建模應(yīng)以無線探測(cè)設(shè)備所在位置建模，圖像劃分角度在[45°,180°]。作為本方案的進(jìn)一步優(yōu)化，本發(fā)明基于視覺和無線感知相結(jié)合的行人檢測(cè)和統(tǒng)計(jì)方法所述步驟(6)中的匹配值的容許誤差不應(yīng)大于3m。本發(fā)明基于視覺和無線感知相結(jié)合的行人檢測(cè)和統(tǒng)計(jì)方法的有益效果為：使用對(duì)移動(dòng)終端設(shè)備發(fā)出的無線信號(hào)的收集來間接檢測(cè)行人，可以與視覺檢測(cè)進(jìn)行互補(bǔ)，彌補(bǔ)了攝像機(jī)的視覺盲區(qū)，和減少因處理圖像中目標(biāo)故意遮擋、大尺度形變以及不均勻光照引起的漏檢和檢測(cè)失效問題。附圖說明下面結(jié)合附圖和具體實(shí)施方法對(duì)本發(fā)明做進(jìn)一步詳細(xì)的說明。圖1是本發(fā)明基于視覺和無線感知相結(jié)合的行人檢測(cè)和統(tǒng)計(jì)方法的流程圖。圖2是本發(fā)明中視覺檢測(cè)部分流程圖。圖3是本發(fā)明中信號(hào)檢測(cè)部分流程圖。具體實(shí)施方式結(jié)合圖1、2、3說明本發(fā)明專利，本發(fā)明專利所述的基于視覺和無線感知相結(jié)合的行人檢測(cè)和統(tǒng)計(jì)方法，包括以下步驟：(1)、監(jiān)控圖像采集：利用攝像裝置采集視頻監(jiān)控圖像，使用Opencv中resize函數(shù)對(duì)獲得的圖像進(jìn)行尺寸變換，圖像尺寸變換適合于VGA-QVGA；(2)、圖像信息處理：對(duì)步驟(1)獲得的圖像利用DPM方法提取圖像中的ROI，利用轉(zhuǎn)換公式Grey＝0.03*red+0.59*green+0.11*blue進(jìn)行色彩通道變換，色彩通道變換為將RGB三通道信息轉(zhuǎn)換為單通道數(shù)據(jù)，轉(zhuǎn)換公式中g(shù)rey表示灰度值，red表示R通道的值，green表示G通道的值，blue表示B通道的值；計(jì)算特征金字塔首先進(jìn)行通道特征縮放：通道特征與各尺度間的定律：CS＝Ω(R(I，s))其中Ω為任意平移不變的特征映射函數(shù)，I為給定輸入圖像，圖像特征C＝Ω(I)，稱C為通道特征，CS為S層的通道特征，R為采樣函數(shù)，首先縮放圖像I到尺度s，再計(jì)算IS特征，然后采用快速近似計(jì)算公式CSΩ≈R(CΩ,s)×s-λΩ]]>其中s取[1,1/2,1/4,…]，計(jì)算特征金字塔，匹配主模型以及子模型部件；計(jì)算部件得分：score(x0,y0,l0)=R0,l0(x0,y0)+Σi=1nDi,,l0-λ(2(x0,y0)+vi)+b]]>score表示目標(biāo)總得分,其包含三個(gè)變量l0，x0，y0,(x0，y0)是主模型濾波器(RootFilter)的左頂點(diǎn)在主模型特征圖(RootFeatureMap)的坐標(biāo)，l0為主模型所在的層數(shù),其R0,l0(x0,y0)為主模型的得分,為子模型的得分。參數(shù)b是為了和主模型直接對(duì)齊而設(shè)置的補(bǔ)償，其中(x0，y0)是主模型濾波器(RootFilter)的左頂點(diǎn)在主模型特征圖(RootFeatureMap)的坐標(biāo)，2(x0，y0)+vi為第i個(gè)部件濾波器(PartFilter)映射到部件模型特征圖(PartFeatureMap)中的坐標(biāo)，由于部件模型特征圖的細(xì)分是主模型特征圖的兩倍，因此需要乘以兩倍。vi表示了相對(duì)于主模型濾波器的左頂點(diǎn)的偏移。其中，部件濾波器的得分如下：Di，l(x，y)＝maxdx，dv(Ri，l(x+dx，y+dy)-di·Φd(dx，dy))Di,l(x,y)表示部件濾波器的得分，i為部件編號(hào)，di為偏移向量(dz,dv,dz2,dv2)，Фd(dx,dy)為偏移的Cost權(quán)值,比如Фd(dx,dy)＝(0,0,1,1)則diФd(dx,dy)即為最普遍的歐氏距離,這一步稱為距離變換。在部件濾波器理想位置(x，y)，即部件的錨點(diǎn)位置一定范圍內(nèi)，尋找一個(gè)綜合匹配和形變最優(yōu)的位置。設(shè)定閾值m對(duì)目標(biāo)檢測(cè)結(jié)果向量detetion中的目標(biāo)得分進(jìn)行循環(huán)判斷，若小于m則從detetion中移除該目標(biāo)，從而篩選和標(biāo)定得分超過設(shè)定閾值的目標(biāo)區(qū)域。對(duì)檢測(cè)出的detection向量的size進(jìn)行讀取，從而獲得目標(biāo)的人數(shù)，對(duì)目標(biāo)的坐標(biāo)確定采用非極大值抑制的方法，目標(biāo)坐標(biāo)通常有多個(gè)部件檢測(cè)box確定，因此box設(shè)定為為一個(gè)m*n的矩陣，其中m為box的個(gè)數(shù)，n的前4列為每個(gè)box的坐標(biāo)，格式為(x1,y1,x2,y2)，獲得每幀行人數(shù)量和行人所在圖像位置的范圍盒的坐標(biāo)；主模型數(shù)量為2，子模型部件數(shù)量為5，特征金字塔迭代層數(shù)為10-48層，得分閾值范圍設(shè)定值為[-1.8f,1.0f]。(3)、無線信號(hào)采集：利用安裝在檢測(cè)區(qū)域內(nèi)的無線探測(cè)設(shè)備對(duì)行人攜帶的具有無線信號(hào)收發(fā)功能的標(biāo)定設(shè)備進(jìn)行請(qǐng)求幀搜索，使用libtins獲得請(qǐng)求幀數(shù)據(jù)，解析設(shè)備的mac地址和信號(hào)強(qiáng)度；標(biāo)定設(shè)備為無線網(wǎng)卡或無線路由器，標(biāo)定設(shè)備的數(shù)目為2臺(tái)以上。獲取本機(jī)網(wǎng)絡(luò)設(shè)備的名稱，保存在集合deviceArr中set<std::string>iface_set＝Utils::network_interfaces()；設(shè)置網(wǎng)卡為監(jiān)測(cè)模式Sniffersniffer(iface,Sniffer::PROMISC,"",true)；設(shè)置每捕捉到一個(gè)信號(hào)時(shí)應(yīng)運(yùn)行的解析函數(shù)sniffer.sniff_loop(make_sniffer_handler(this,&ProbeSniffer::callback))；在捕捉到的數(shù)據(jù)中找ProbeRequest幀如果捕捉到probe幀probe.to_ds()＝＝0&&probe.from_ds()＝＝0則提取出radiotap幀，該幀存儲(chǔ)信號(hào)強(qiáng)度constRadioTap&radio＝pdu.rfind_pdu<RadioTap>()；提取probe中的mac地址address_typeaddr＝probe.addr2()；判斷捕捉到的mac地址是否已出現(xiàn)過addrSet_type::iteratorit＝addr_set.find(addr)如果未出現(xiàn)過該mac地址，則將mac地址存入集合addr_set.insert(addr)；(4)、無線信號(hào)處理：根據(jù)信號(hào)衰減公式Los＝32.44+20lgd+20lgf，式中，Los是傳播損耗，單位為dB；d是距離，單位是Km；f是工作頻率，單位是MHz；對(duì)檢測(cè)區(qū)域內(nèi)信號(hào)強(qiáng)度進(jìn)行建模，獲得無線探測(cè)設(shè)備到被標(biāo)定設(shè)備之間距離的空間模型，空間建模應(yīng)以無線探測(cè)設(shè)備所在位置建模，圖像劃分角度在[45°,180°]；其中空間模型的建立過程如下：a、以地面為平面將待檢測(cè)環(huán)境均勻地劃分為m個(gè)n乘n的網(wǎng)格區(qū)域，n一般取1m至2m。b、確定無線檢測(cè)設(shè)備在模型中的位置，其存儲(chǔ)格式為(x,y)。其中x，y分別為網(wǎng)格在平面的坐標(biāo)值，并作為參考點(diǎn)。c、將步驟(3)采集的信號(hào)強(qiáng)度由步驟(4)處理后存儲(chǔ)為如下數(shù)據(jù)格式：(intX,intY,structMACMAC)(5)、目標(biāo)粗匹配：建立攝像裝置到行人之間距離的空間坐標(biāo)系，劃分監(jiān)控圖像在空間中的對(duì)應(yīng)域，將攝像裝置的檢測(cè)目標(biāo)與無線探測(cè)設(shè)備的檢測(cè)目標(biāo)進(jìn)行匹配，獲得同一目標(biāo)在兩個(gè)數(shù)據(jù)區(qū)中的序號(hào)對(duì)應(yīng)關(guān)系；其中攝像裝置對(duì)應(yīng)坐標(biāo)的確定過程如下：a、處理畸變：畸變是有攝像裝置的光學(xué)成像器件如透鏡的形狀導(dǎo)致的，有切向畸變和徑向畸變?；冃Ｕ剑簒pyp=(1+k1r2+k2r4+k3r6)xdyd+2p1xdyd+p2(r2+2xd2)p1(r2+2xy2)+2p2xdyd]]>式中(xp，yp)表示理想情況下的圖像點(diǎn)歸一化坐標(biāo),(xd,yd)表示有畸變的圖像點(diǎn)的歸一化坐標(biāo)，r當(dāng)前點(diǎn)的透鏡半徑，k1，k2，k3確定了徑向畸變的程度，且其值分別是泰勒級(jí)數(shù)展開的前3項(xiàng)。b、三維標(biāo)定：對(duì)攝像機(jī)拍攝的場(chǎng)景進(jìn)行空間標(biāo)定。根據(jù)相機(jī)成像模型：x=fXcZc]]>y=fYcZc]]>其中x,y為圖像中點(diǎn)的坐標(biāo)，帶Xc，Yc，Zc分別為空間的點(diǎn)的坐標(biāo)，f為焦距。圖像坐標(biāo)系與物理坐標(biāo)系點(diǎn)之間的對(duì)應(yīng)關(guān)系如下：uv1=1dx0u001dyv0001xy1]]>其中u,v為圖像坐標(biāo)系的點(diǎn)，x,y為物理坐標(biāo)系的點(diǎn)，u0，v0為圖像坐標(biāo)系的原點(diǎn)。攝像機(jī)坐標(biāo)系和世界坐標(biāo)系的關(guān)系如下所示：XcYcZc1=Rt0T1XwYwYw1]]>其中下角標(biāo)c表示攝像機(jī)坐標(biāo)系下的點(diǎn)，下角標(biāo)w表示世界坐標(biāo)系下的點(diǎn)。R為相機(jī)的旋轉(zhuǎn)矩陣，t為相機(jī)的平移向量。Zcuv1=1dx0u001dyv0001f0000f000010Rt0T1XwYwYw1=fx0u000fyv000010Rt0T1XwYwYw1=M1M2MW=MXW]]>其中M為圖像的投影矩陣。c、在圖像中劃定地面網(wǎng)格在圖像中畫出網(wǎng)格，使其對(duì)應(yīng)關(guān)系與步驟(2)中設(shè)定的坐標(biāo)系一致，表示方式為(x,y)其中x,y分別表示空間模型中地面的塊位置。確定二維圖像與三維模型的位置對(duì)應(yīng)關(guān)系。d、圖像中存儲(chǔ)數(shù)據(jù)，將攝像設(shè)備中檢出的目標(biāo)標(biāo)定為空間坐標(biāo)(x,y)的值，并且查找同一時(shí)刻無線探測(cè)設(shè)備與x，y的值相似的目標(biāo)。滿足：|xi-xj|＜2|yi-yj|＜2其中xi，yi表示無線探測(cè)設(shè)備獲得的目標(biāo)位置。i取1,2,3…xj，yj表示無線探測(cè)設(shè)備獲得的目標(biāo)位置。j取1,2,3…設(shè)置目標(biāo)匹配矩陣M來表征目標(biāo)間的對(duì)應(yīng)關(guān)系，若滿足以上兩個(gè)不等式，則矩陣中元素Mi，j＝1，否則為0。(6)、目標(biāo)精匹配：根據(jù)前后幀目標(biāo)的運(yùn)動(dòng)關(guān)系，同時(shí)對(duì)攝像裝置的檢測(cè)目標(biāo)和無線探測(cè)設(shè)備的檢測(cè)目標(biāo)在下一時(shí)刻的位置進(jìn)行卡爾曼預(yù)估，獲得其運(yùn)動(dòng)位移向量，根據(jù)位置信息和運(yùn)動(dòng)矢量評(píng)估攝像裝置的檢測(cè)目標(biāo)與無線探測(cè)設(shè)備的檢測(cè)目標(biāo)的匹配程度，設(shè)置兩目標(biāo)是否為同一目標(biāo)的匹配值，匹配值的容許誤差不應(yīng)大于3m；a、使用卡爾曼濾波確定目標(biāo)運(yùn)動(dòng)，其中狀態(tài)方程：X(k+1)＝A(k+1，k)X(k)+w(k)觀測(cè)方程：Z(k)＝H(k)X(k)+v(k)式中，X(k)為狀態(tài)向量；Z(k)為狀態(tài)向量；A(k+1,k)為狀態(tài)轉(zhuǎn)移矩陣；H(k)為觀測(cè)矩陣；W(k)為系統(tǒng)噪聲向量；V(k)為觀測(cè)噪聲向量。W(k)、V(k)通常假設(shè)為互不相關(guān)的0均值高斯白噪聲向量，他們的協(xié)方差矩陣為：E=[w(k)wT(i)]=Q(k),i=k0,i≠k]]>E=[v(k)vT(i)]=R(k),i=k0,i≠k]]>對(duì)所有的k和i，E＝[w(k)vT(i)]＝0預(yù)測(cè)方程組為：X′(k+1|k)＝A(k+1|k)X′(k|k)P(k+1|k)＝A(k+1|k)P′(k|k)AT(k+1，k)＝Q(k)更新方程組K(k+1)＝P(k+1|k)HT(k+1)[H(k+1)P(k+1|k)HT(k+1)+R(k+1)]-1X′(k+1|k+1)＝X′(k+1|k)+K(k+1)[Z(k+1)-H(k+1)X′(k+1|k)]^(-1)P(k+1|k+1)＝[I-K(k+1)H(k+1)]P(k+1|k)通過預(yù)測(cè)方程可以不斷預(yù)測(cè)下一時(shí)刻目標(biāo)出現(xiàn)的位置。b、根據(jù)當(dāng)前時(shí)刻位置(x1,y1)和下一時(shí)刻位置(x2,y2)設(shè)立向量K1＝[(x2-x1),(y2-y1)]與無線探測(cè)設(shè)備預(yù)測(cè)的向量K2＝[(x’2-x’1),(y’2-y’1)]進(jìn)行比較，評(píng)價(jià)公式為：S=[(x2-x1)2-(x′2-x′1)2]+[(y2-y1)2-(y′2-y′1)2]]]>設(shè)定閾值m，S<m時(shí)，目標(biāo)可以合并，m則需要根據(jù)場(chǎng)景進(jìn)行設(shè)定。(7)、歸納檢測(cè)區(qū)域內(nèi)目標(biāo)的數(shù)據(jù)，移除重復(fù)目標(biāo)，整合攝像裝置的檢測(cè)目標(biāo)和無線探測(cè)設(shè)備的檢測(cè)目標(biāo)的ID號(hào)，并將唯一ID號(hào)與實(shí)時(shí)位置信息存入鏈表中。合并后的目標(biāo)格式：(structIDID，intx，inty，structMACmac，point2fimage)例如：A0007，21，15，F(xiàn)0:25:B7:4C:D5:D8,215.4,107.5雖然本發(fā)明已以較佳的實(shí)施例公開如上，但其并非用以限定本發(fā)明，任何熟悉此技術(shù)的人，在不脫離本發(fā)明的精神和范圍內(nèi)，都可以做各種改動(dòng)和修飾，因此本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書所界定的為準(zhǔn)。當(dāng)前第1頁1 2 3