一種全時(shí)空立體可視化方法
【專利摘要】本發(fā)明提供了一種全時(shí)空立體可視化方法，包括：將攝像機(jī)采集的實(shí)時(shí)視頻數(shù)據(jù)進(jìn)行封包格式轉(zhuǎn)換；將實(shí)時(shí)的固定角度視頻數(shù)據(jù)拼接融合到3D?GIS空間數(shù)據(jù)中，形成全景立體視頻；以全景立體視頻中的事件目標(biāo)為驅(qū)動(dòng)，實(shí)現(xiàn)攝像機(jī)協(xié)同追視；根據(jù)上述封包格式轉(zhuǎn)換結(jié)果，在存儲(chǔ)裝置中保存實(shí)時(shí)視頻數(shù)據(jù)，形成歷史視頻數(shù)據(jù)，將其中的固定角度視頻數(shù)據(jù)拼接融合到3D?GIS空間數(shù)據(jù)中，實(shí)現(xiàn)歷史視頻的全時(shí)空立體可視化展示。此外，為了在整體場(chǎng)景下進(jìn)行視頻智能分析以及實(shí)現(xiàn)多維數(shù)據(jù)融合和立體可視化展示，本發(fā)明還提出了全場(chǎng)景視頻智能分析方法和多類型數(shù)據(jù)全時(shí)空立體可視化方法。本發(fā)明為宏觀指揮監(jiān)測(cè)、整體關(guān)聯(lián)、綜合調(diào)度提供有效手段，適用性強(qiáng)。
【專利說(shuō)明】—種全時(shí)空立體可視化方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)圖形圖像學(xué)領(lǐng)域，特別地，涉及到一種全時(shí)空立體可視化方法?！颈尘凹夹g(shù)】
[0002]隨著信息技術(shù)的飛速發(fā)展，各種應(yīng)用設(shè)備，如掃描儀、監(jiān)控?cái)z像機(jī)、報(bào)警器、傳感器等，采集到海量的數(shù)據(jù)，這些數(shù)據(jù)包含了空間位置、文字、圖像、聲音等各種信息。數(shù)據(jù)量的與日俱增給數(shù)據(jù)管理帶來(lái)了極大的挑戰(zhàn)?；谌?0%以上信息依靠視覺(jué)獲取的特點(diǎn)，可視化技術(shù)得到了長(zhǎng)足的發(fā)展，目前已經(jīng)在城市各處安裝了大量的監(jiān)控?cái)z像機(jī)、報(bào)警器、傳感器等，由于多個(gè)攝像機(jī)捕獲的視頻畫面是離散獨(dú)立的，各畫面間關(guān)聯(lián)性較差。同時(shí)，基于視頻監(jiān)控的智能分析成為了目前的研究熱點(diǎn)，即使用計(jì)算機(jī)代替人、協(xié)助人分析監(jiān)控場(chǎng)景中出現(xiàn)的可疑目標(biāo)和具有潛在危險(xiǎn)的事件，并完成相應(yīng)的控制任務(wù)。為了實(shí)現(xiàn)全方位大場(chǎng)景的智能視頻監(jiān)控，使得觀察者能夠更快更準(zhǔn)確的感知周圍場(chǎng)景的變化，人們期望能夠通過(guò)攝像機(jī)看到更廣范圍的視頻圖像。為了實(shí)現(xiàn)這一目標(biāo)，目前主要有以下幾類方法:
[0003]1.全景攝像技術(shù)
[0004]傳統(tǒng)的視頻圖像采集獲得的是單視點(diǎn)在某個(gè)觀察方向上的場(chǎng)景信息，而運(yùn)用全景成像則可以得到單視點(diǎn)在所有觀察方向上的場(chǎng)景信息。與快球攝像機(jī)不同，全景攝像機(jī)能同時(shí)觀察和攝錄多個(gè)不同的區(qū)域，具有實(shí)現(xiàn)監(jiān)控范圍廣，同時(shí)可在指定范圍內(nèi)代替多臺(tái)攝像機(jī)，具備無(wú)機(jī)械部件、避免了故障率高和降低后期維修服務(wù)量等優(yōu)勢(shì)。全景攝像機(jī)的實(shí)現(xiàn)方式主要有兩種，一種是采用魚眼鏡頭，在吸頂安裝時(shí)實(shí)現(xiàn)360度全景監(jiān)控，或通過(guò)壁裝實(shí)現(xiàn)180度全景監(jiān)控；另一種是采用多鏡頭拼接實(shí)現(xiàn)360度的監(jiān)控。
[0005](I)魚眼鏡頭全景攝像技術(shù)
[0006]Lancam, Μ0Β0ΤΙΧ、奇偶、騰龍、?？低暫鸵蠛频榷奸_(kāi)發(fā)了此類技術(shù)。魚眼鏡頭全景攝像機(jī)具有更寬廣的視野范圍，在采集全景圖像方面更具優(yōu)勢(shì)。然而，在實(shí)際的全景圖像的生成過(guò)程中，魚眼攝像機(jī)除了畫面中心的景物保持不變，因光學(xué)原理產(chǎn)生的變形，其它本應(yīng)水平或垂直的景物都發(fā)生了相應(yīng)的變化，必須對(duì)魚眼攝像機(jī)采集的圖像進(jìn)行復(fù)雜的較準(zhǔn)和較正，但是處理后的魚眼圖像的變形依然存在，尤其是邊緣區(qū)域的圖像失真嚴(yán)重。同時(shí)，因?yàn)榘惭b位置的限制，其適用范圍受限。
[0007]目前魚眼攝像機(jī)主要定位在專業(yè)應(yīng)用市場(chǎng)，比如大場(chǎng)景環(huán)境或易于垂直安裝的場(chǎng)合。作為常規(guī)攝像機(jī)的一個(gè)補(bǔ)充，它有著不錯(cuò)的發(fā)展前景，特別是在那些不是很注重細(xì)節(jié)，但很關(guān)注過(guò)程的場(chǎng)合，比如十字路口、大門口、會(huì)議室等。
[0008](2)多鏡頭全景攝像技術(shù)
[0009]多鏡頭全景攝像機(jī)雖然不存在魚眼圖像變形矯正的問(wèn)題，但如何保證多鏡頭拍攝畫面的拼接實(shí)現(xiàn)無(wú)死角、無(wú)盲點(diǎn)、連貫的全景監(jiān)控，是其中的關(guān)鍵問(wèn)題。當(dāng)前主要有兩類實(shí)現(xiàn)方法:基于拼接的全景采集成像和基于折反射的全景采集成像。
[0010]基于拼接的全景技術(shù)已比較成熟，許多知名公司的產(chǎn)品都己具有拼接全景的功能，典型的有蘋果公司的QulckTimeVR系統(tǒng),微軟公司的Surrounding Video系統(tǒng),佳能的A71015、柯達(dá)的V705數(shù)碼相機(jī)等，國(guó)內(nèi)的國(guó)防科技大學(xué)、浙江大學(xué)、清華大學(xué)等提出了許多新的圖像拼接方法和思想，極大豐富和完善了基于圖像拼接的全景成像技術(shù)。但這種基于拼接產(chǎn)生的全景圖像存在拼接縫和明暗差異，畫面的整體感差，且生成過(guò)程復(fù)雜。如果將拼接式全景技術(shù)應(yīng)用于視頻，則需要精確校準(zhǔn)且同步拍攝的多攝像機(jī)陣列，設(shè)備復(fù)雜，且和拼接式全景圖像一樣，畫面整體感差的問(wèn)題依然無(wú)法解決。
[0011]利用折反射光學(xué)元件實(shí)現(xiàn)全景成像已逐漸發(fā)展起來(lái)，并以其結(jié)構(gòu)簡(jiǎn)單，兼容已有成像設(shè)備，可方便的擴(kuò)展應(yīng)用于全景視頻采集等優(yōu)勢(shì)。
[0012]全景攝像機(jī)產(chǎn)品由于各種因素的局限性，目前國(guó)內(nèi)的應(yīng)用仍然處于初級(jí)階段。當(dāng)前全景攝像機(jī)的成本過(guò)高依舊是其不能廣泛在市場(chǎng)被應(yīng)用的一大軟肋，同時(shí)，全景攝像機(jī)畫面的效果也是制約發(fā)展的重要因素，這包括了全景攝像機(jī)的分辨率和畫面矯正兩大難題。全景攝像機(jī)高像素的產(chǎn)品不僅是Sensor的選取，ISP的處理、編碼以及與網(wǎng)絡(luò)相應(yīng)的配合都很重要，并且在相應(yīng)的結(jié)構(gòu)、工藝等要求上，要比普通攝像機(jī)嚴(yán)格數(shù)倍。
[0013]2.3D GIS與監(jiān)控視頻的整合技術(shù)
[0014]隨著Google Earth、Skyline Software、GeoFusion 以及國(guó)內(nèi)的“影像中國(guó)”、Εν-Globe, VGEGIS等三維軟件的推出，三維GIS在構(gòu)建數(shù)字城市基礎(chǔ)平臺(tái)系統(tǒng)中的地位變得越來(lái)越重要。如何把三維GIS與廣泛分布于城市各個(gè)角落的二維視頻監(jiān)控系統(tǒng)集成起來(lái)已成為基于位置的視頻監(jiān)控系統(tǒng)的研究熱點(diǎn)。集成了空間位置信息的視頻監(jiān)控系統(tǒng)在增強(qiáng)用戶空間位置意識(shí)、輔助用戶應(yīng)急決策等方面將發(fā)揮更大的作用。目前比較流行的做法是間斷性地從各地實(shí)時(shí)監(jiān)控影像中采集出圖片，以標(biāo)注的形式在三維場(chǎng)景中進(jìn)行顯示。當(dāng)用戶想知道某地的監(jiān)控影像時(shí)，點(diǎn)擊該標(biāo)注即可彈出實(shí)時(shí)監(jiān)控影像截圖，如立得空間將攝像機(jī)的數(shù)據(jù)引入3DGIS平臺(tái)中，實(shí)現(xiàn)“動(dòng)” “靜”態(tài)城市監(jiān)控。在實(shí)際應(yīng)用中，由于網(wǎng)絡(luò)傳輸速度等原因，該三維視頻監(jiān)控方式還遠(yuǎn)沒(méi)有達(dá)到與三維周邊信息進(jìn)行融合的目標(biāo)，丟失了大量的信息。
[0015]3.立體視頻監(jiān)控技術(shù)
[0016]隨著計(jì)算機(jī)視覺(jué)和模式識(shí)別等領(lǐng)域理論研究的逐步深入，視頻的立體融合技術(shù)成為研究熱點(diǎn)。美國(guó)專利US2002191003涉及到視頻路數(shù)受限情況下的視頻融合，該方法能夠同時(shí)處理的視頻路數(shù)受限，無(wú)法實(shí)時(shí)處理多于十六路的監(jiān)控視頻，距離大規(guī)模的應(yīng)用還有很大差距；而且沒(méi)有針對(duì)融合后的視頻分析功能。由于監(jiān)控視頻數(shù)據(jù)量巨大，對(duì)于多于16路的視頻數(shù)據(jù)無(wú)法實(shí)時(shí)處理，限制了該方法的適用環(huán)境。國(guó)內(nèi)受限于技術(shù)水平，尚無(wú)同類產(chǎn)品。實(shí)時(shí)融合海量視頻數(shù)據(jù)并進(jìn)行立體全景顯示仍是一個(gè)世界級(jí)的難題。
[0017]4.視頻監(jiān)控的智能分析技術(shù)
[0018]針對(duì)分鏡頭的視頻分析，在世界范圍內(nèi)，美、英等國(guó)已經(jīng)開(kāi)展了大量相關(guān)項(xiàng)目的研究。從上世界90年代中期開(kāi)始，在歐美國(guó)家，智能視覺(jué)分析取得了快速發(fā)展，它主要研究用于戰(zhàn)場(chǎng)及普通民用場(chǎng)景進(jìn)行監(jiān)控的自動(dòng)視頻理解技術(shù)。英國(guó)的ADVISOR項(xiàng)目(AnnotatedDigital Video for Intelligent Surveillance and Optimized Retrieval),依據(jù)視步頁(yè)數(shù)據(jù)估計(jì)地鐵交通環(huán)境中的人群密度及其運(yùn)動(dòng)量，分析人與人群的行為，對(duì)有潛在危險(xiǎn)的事件或犯罪事件進(jìn)行預(yù)警。當(dāng)前，IBM的S3 (Smart Surveillance System)項(xiàng)目組，Intel的IRISNET(Internet-scale,Resource-1ntensive Sensor Network ServICes)項(xiàng)目組等，分別在分布式智能監(jiān)控系統(tǒng)的不同領(lǐng)域處于領(lǐng)先地位。在國(guó)內(nèi)研究機(jī)構(gòu)中，清華大學(xué)、上海交通大學(xué)、中科院計(jì)算所等單位均進(jìn)行了相關(guān)的智能視覺(jué)監(jiān)控項(xiàng)目研究。但是，目前國(guó)內(nèi)的研究多數(shù)還停留在實(shí)驗(yàn)室階段，在室外多攝像機(jī)的視頻監(jiān)控網(wǎng)絡(luò)中的多目標(biāo)跟蹤與識(shí)別尚沒(méi)有得到大規(guī)模的應(yīng)用。
[0019]在視頻智能分析軟件的市場(chǎng)需求急劇增長(zhǎng)的刺激下，國(guó)外提供視頻智能分析軟件產(chǎn)品的廠商已經(jīng)有很多，其中很多廠商提供的視頻智能分析產(chǎn)品，都基于ObjectVideo公司的圖像分析技術(shù)，采用Object Video Onboard平臺(tái)來(lái)設(shè)計(jì)并創(chuàng)建自己品牌的OEM產(chǎn)品。在解決方案的提供商，國(guó)外有很多成功的案例，如舊金山國(guó)際機(jī)場(chǎng)采用了由Vidient公司提供的智能視頻分析系統(tǒng)Smart Catch，該系統(tǒng)與機(jī)場(chǎng)現(xiàn)有的閉路電視系統(tǒng)協(xié)同檢測(cè)異?；蚩梢尚袨?。當(dāng)智能視頻分析軟件識(shí)別出一個(gè)異常情況時(shí)，就立即將視頻片斷通過(guò)呼機(jī)、手提電腦、移動(dòng)電話或其他通訊設(shè)備發(fā)送給響應(yīng)者前來(lái)進(jìn)行現(xiàn)場(chǎng)調(diào)查。但是國(guó)外公司的產(chǎn)品基本是以標(biāo)清或CIF分辨率為主，監(jiān)控視場(chǎng)較小，不太適合中國(guó)人流復(fù)雜、運(yùn)動(dòng)無(wú)規(guī)律的應(yīng)用背景；而且國(guó)外軍方的智能分析雖較成功，但技術(shù)受保密限制。國(guó)內(nèi)視頻智能分析產(chǎn)品大多是對(duì)單路監(jiān)控視頻及進(jìn)行分析，如智安邦、文安科技、貝兒信等，目前針對(duì)全場(chǎng)景的全局智能分析產(chǎn)品很少。
[0020]綜上所述，視頻監(jiān)控技術(shù)經(jīng)歷了從局部監(jiān)控到全景觀察、從平面視頻監(jiān)控到立體視頻監(jiān)控的發(fā)展過(guò)程，目前針對(duì)大場(chǎng)景的視頻監(jiān)控技術(shù)已經(jīng)取得了一些重要成果，但總體來(lái)說(shuō)，目前國(guó)內(nèi)外尚無(wú)能夠大規(guī)模應(yīng)用的對(duì)監(jiān)控區(qū)域進(jìn)行全局監(jiān)控的技術(shù)和能夠?qū)ΡO(jiān)控區(qū)域進(jìn)行全場(chǎng)景視頻智能分析的通用技術(shù)。

【發(fā)明內(nèi)容】

[0021]本發(fā)明的目的是為了克服現(xiàn)有技術(shù)中存在的上述不足，提供一種通用、高效的方法，將不同視角的零散視頻、多種傳感器信息、GPS信息、門禁信息、報(bào)警信息實(shí)時(shí)自動(dòng)拼接融合到3D GIS空間數(shù)據(jù)中，在全景畫面中實(shí)現(xiàn)全時(shí)空立體可視化展示與控制。
[0022]為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種監(jiān)控視頻全時(shí)空立體拼接融合方法，包括以下步驟:
[0023]步驟I)、將攝像機(jī)采集的實(shí)時(shí)視頻數(shù)據(jù)進(jìn)行封包格式轉(zhuǎn)換，所述實(shí)時(shí)視頻數(shù)據(jù)包括槍式攝像機(jī)和/或球型攝像機(jī)在預(yù)置位采集的固定角度視頻數(shù)據(jù)，還包括球型攝像機(jī)采集的非固定角度視頻數(shù)據(jù)；
[0024]步驟2)、將實(shí)時(shí)采集的固定角度視頻數(shù)據(jù)拼接融合到3D GIS空間數(shù)據(jù)中，形成全景立體視頻，實(shí)現(xiàn)實(shí)時(shí)的全時(shí)空立體可視化展示；
[0025]步驟3)、根據(jù)步驟I)預(yù)處理的非固定角度視頻數(shù)據(jù)和步驟2)形成的全景立體視頻，通過(guò)以全景監(jiān)控中的事件目標(biāo)為驅(qū)動(dòng)，實(shí)現(xiàn)攝像機(jī)協(xié)同追視，即在全景立體視頻或3DGIS空間數(shù)據(jù)中點(diǎn)擊觀測(cè)目標(biāo)或位置，其周邊的多個(gè)攝像機(jī)將被調(diào)用以鎖定該區(qū)域；
[0026]步驟4)、根據(jù)步驟I)的封包格式轉(zhuǎn)換結(jié)果，在存儲(chǔ)裝置中保存實(shí)時(shí)視頻數(shù)據(jù)，形成歷史視頻數(shù)據(jù)；
[0027]步驟5)、將步驟4)形成的歷史視頻數(shù)據(jù)中的固定角度視頻數(shù)據(jù)拼接融合到3DGIS空間數(shù)據(jù)中，實(shí)現(xiàn)歷史視頻的全時(shí)空立體可視化展示，以對(duì)歷史視頻數(shù)據(jù)進(jìn)行全景還原回溯。
[0028]進(jìn)一步地，在所述的步驟2)實(shí)現(xiàn)的實(shí)時(shí)全時(shí)空立體可視化展示包括:重點(diǎn)區(qū)域大場(chǎng)景監(jiān)控、關(guān)鍵路徑自動(dòng)巡航、二維和三維信息關(guān)聯(lián)顯示、攝像機(jī)反向關(guān)聯(lián)、以及攝像機(jī)協(xié)同追視。
[0029]進(jìn)一步地，在所述的步驟5)實(shí)現(xiàn)的全時(shí)空立體可視化展示包括:重點(diǎn)區(qū)域大場(chǎng)景監(jiān)控、關(guān)鍵路徑自動(dòng)巡航、二維和三維信息關(guān)聯(lián)顯示、攝像機(jī)反向關(guān)聯(lián)，以及歷史事件大場(chǎng)景回溯。
[0030]進(jìn)一步地，所述重點(diǎn)區(qū)域大場(chǎng)景監(jiān)控包括:用戶預(yù)設(shè)觀測(cè)點(diǎn)監(jiān)控重點(diǎn)區(qū)域的場(chǎng)景，以全局視角觀察重點(diǎn)區(qū)域動(dòng)態(tài)；所述關(guān)鍵路徑自動(dòng)巡航包括:自定義巡航軌跡，并按照設(shè)定好的視角、速度進(jìn)行自動(dòng)巡航；所述二維和三維信息關(guān)聯(lián)顯示包括:全景立體視頻顯示與2D GIS空間數(shù)據(jù)同步顯示，全景立體視頻顯示與分鏡頭視頻數(shù)據(jù)同步顯示，2D GIS空間數(shù)據(jù)與分鏡頭視頻數(shù)據(jù)同步顯示，攝像機(jī)的位置和覆蓋區(qū)域以及用戶當(dāng)前觀察點(diǎn)的位置均記錄在2D GIS空間數(shù)據(jù)中；所述攝像機(jī)反向關(guān)聯(lián)包括:在全景立體視頻或2D GIS空間數(shù)據(jù)上選擇所需要觀測(cè)的目標(biāo)或地理位置，根據(jù)該目標(biāo)或地理位置關(guān)聯(lián)所有照射到該目標(biāo)或地理位置的攝像機(jī)。
[0031]進(jìn)一步地，攝像機(jī)協(xié)同追視包括:在全景立體視頻或3D GIS空間數(shù)據(jù)中通過(guò)交互選擇觀測(cè)目標(biāo)或地理位置，根據(jù)該目標(biāo)或地理位置調(diào)用周邊的多個(gè)攝像機(jī)照射到該區(qū)域，并可以對(duì)攝像機(jī)進(jìn)行光學(xué)變焦，全方位、多角度捕捉細(xì)節(jié)信息。
[0032]進(jìn)一步地，歷史事件大場(chǎng)景回溯包括:從存儲(chǔ)裝置中讀入多個(gè)攝像機(jī)采集的歷史視頻數(shù)據(jù)，將歷史視頻數(shù)據(jù)可視化到3D GIS空間數(shù)據(jù)中，在全時(shí)空環(huán)境下正向或反向播放搜索，即設(shè)置回溯的時(shí)間段和區(qū)域、提供逐幀正播、逐幀倒播、停止播放、快進(jìn)、快退和隨機(jī)定位播放，以提升歷史事件的查詢效率。
[0033]進(jìn)一步地，在所述的步驟I)中采集固定角度視頻數(shù)據(jù)時(shí)，攝像機(jī)采集到的視頻覆蓋區(qū)域不發(fā)生變化；采集非固定角度視頻數(shù)據(jù)時(shí)，攝像機(jī)采集到的視頻覆蓋區(qū)域可以任意變化。
[0034]根據(jù)本發(fā)明的另一個(gè)方面，提供了一種全場(chǎng)景視頻智能分析方法，包括以下步驟:
[0035]步驟10)、選定視頻智能分析區(qū)域；
[0036]步驟20)、采用權(quán)利要求1-7之一所述的監(jiān)控視頻全時(shí)空立體拼接融合方法，建立視頻數(shù)據(jù)和三維空間的對(duì)應(yīng)關(guān)系，進(jìn)行跨鏡頭全場(chǎng)景下的視頻智能分析，在發(fā)現(xiàn)異常時(shí)自動(dòng)報(bào)警；
[0037]步驟30)、將步驟20)的分析結(jié)果在權(quán)利要求1-7之一所述的全景立體視頻中進(jìn)行展示，或根據(jù)報(bào)警信息自動(dòng)觸發(fā)攝像機(jī)協(xié)同追視，通過(guò)攝像機(jī)觀察報(bào)警點(diǎn)的細(xì)節(jié)信息。
[0038]進(jìn)一步地，在所述的步驟20)中，視頻智能分析包括跨鏡頭目標(biāo)跟蹤、人流車流密度估計(jì)、異常行為檢測(cè)。所述異常行為檢測(cè)包括拌線檢測(cè)、人群異常聚集檢測(cè)、遺留物檢測(cè)、異常速度檢測(cè)。
[0039]根據(jù)本發(fā)明的再一個(gè)方面，提供一種多類型數(shù)據(jù)全時(shí)空立體可視化方法，實(shí)現(xiàn)在全景視頻與多類型傳感器、GPS、門禁、報(bào)警數(shù)據(jù)的信息融合，包括以下步驟:
[0040]步驟100)、輸入傳感器信息、GPS信息、門禁信息、報(bào)警信息；
[0041]步驟200)、采用權(quán)利要求1-7之一所述的監(jiān)控視頻全時(shí)空立體拼接融合方法建立的視頻數(shù)據(jù)和三維空間的對(duì)應(yīng)關(guān)系，將多種傳感器信息、GPS信息、門禁信息、報(bào)警信息整合到全景立體視頻中，以實(shí)現(xiàn)全方位的多維融合和可視化展示。
[0042]根據(jù)本發(fā)明的又一方面，提供了一種與傳感器系統(tǒng)、門禁系統(tǒng)、報(bào)警系統(tǒng)聯(lián)動(dòng)的多類型數(shù)據(jù)全時(shí)空立體可視化應(yīng)用，其特征在于，根據(jù)權(quán)利要求10所述的多類型數(shù)據(jù)全時(shí)空立體可視化方法實(shí)現(xiàn)所述應(yīng)用。
[0043]本發(fā)明通過(guò)將具有不同視角的零散攝像視頻以及處在不同位置的傳感器、GPSJl禁和報(bào)警信息自動(dòng)拼接融合到3D GIS中形成多維數(shù)據(jù)的全時(shí)空立體可視化，用戶無(wú)須了解數(shù)據(jù)采集設(shè)備的具體位置、無(wú)需切換任何視頻畫面，即可實(shí)現(xiàn)全景立體監(jiān)控、全景視頻展示和細(xì)節(jié)掌控有機(jī)結(jié)合、歷史視頻全景回溯、全場(chǎng)景下智能報(bào)警與展示以及多類型數(shù)據(jù)的綜合應(yīng)用，為宏觀指揮監(jiān)測(cè)、整體關(guān)聯(lián)、綜合調(diào)度提供有效手段，該方法具有廣闊的適用性。
【專利附圖】

【附圖說(shuō)明】
[0044]以下結(jié)合附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施例，其中:
[0045]圖1為本發(fā)明方法流程圖；
[0046]圖2為一個(gè)實(shí)例中基于特征的圖像配準(zhǔn)算法示意圖；
[0047]圖3為視頻拼接融合到三維場(chǎng)景模型中形成的全景立體視頻；
[0048]圖4為攝像機(jī)協(xié)同追視不意圖；
[0049]圖5為全景智能分析流程圖；
[0050]圖6為全景智能分析結(jié)果示意圖；
[0051]圖7為多類型數(shù)據(jù)融合示意圖。
【具體實(shí)施方式】
[0052]下面結(jié)合附圖給出本發(fā)明的具體實(shí)施例。
[0053]根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種監(jiān)控視頻全時(shí)空立體拼接融合方法。其流程圖參見(jiàn)圖1。該方法包括如下步驟:
[0054]步驟1、生成和/或獲得高精度的2D/3D GIS空間數(shù)據(jù)，采集和/或獲得視頻數(shù)據(jù)。
[0055]作為一種實(shí)施方式，基于場(chǎng)景掃描數(shù)據(jù)、場(chǎng)景圖像、CAD/建筑圖紙數(shù)據(jù)生成2D/3DGIS空間數(shù)據(jù)。
[0056]所述2D/3D GIS空間數(shù)據(jù)可以是(但不限于)二維地圖或三維場(chǎng)景模型。在一個(gè)優(yōu)選的實(shí)施例中，2D/3D GIS空間數(shù)據(jù)為三維場(chǎng)景模型。
[0057]作為一種實(shí)施方式，所述視頻數(shù)據(jù)來(lái)自攝像機(jī)采集的實(shí)時(shí)視頻數(shù)據(jù)。作為另一種實(shí)施方式，所述視頻數(shù)據(jù)來(lái)自第三方平臺(tái)提供的實(shí)時(shí)視頻數(shù)據(jù)。視頻數(shù)據(jù)包括如下數(shù)據(jù):槍式攝像機(jī)和/或球型攝像機(jī)在預(yù)置位采集的固定角度視頻數(shù)據(jù)，還包括球型攝像機(jī)采集的非固定角度視頻數(shù)據(jù)。
[0058]根據(jù)本發(fā)明的一個(gè)優(yōu)選的實(shí)施例，在采集所述的固定角度視頻數(shù)據(jù)時(shí)，攝像機(jī)采集到的視頻覆蓋區(qū)域不發(fā)生變化；采集非固定角度視頻數(shù)據(jù)時(shí)，攝像機(jī)采集到的視頻覆蓋區(qū)域可以任意變化。
[0059]步驟2、所述視頻數(shù)據(jù)經(jīng)過(guò)網(wǎng)絡(luò)通信實(shí)時(shí)傳輸?shù)街笓]中心，并在指揮中心對(duì)各類數(shù)據(jù)進(jìn)行預(yù)處理。
[0060]這一步驟的主要目的是獲取到外部的上述視頻數(shù)據(jù)，對(duì)視頻數(shù)據(jù)進(jìn)行封包格式轉(zhuǎn)換，并以內(nèi)部數(shù)據(jù)傳輸格式分發(fā)出去。
[0061]作為一種實(shí)施方式，上述視頻數(shù)據(jù)的獲取可以通過(guò)以下幾種視頻接入的方式實(shí)現(xiàn)。其中，前三種方式中外部視頻數(shù)據(jù)既可以是攝像機(jī)采集的視頻數(shù)據(jù)(例如通過(guò)前文所述的攝像機(jī)采集的實(shí)時(shí)視頻數(shù)據(jù)的方式)，也可以是第三方系統(tǒng)提供的視頻數(shù)據(jù)(例如通過(guò)前文所述的第三方系統(tǒng)提供的實(shí)時(shí)視頻數(shù)據(jù)的方式)，第四種方式中外部視頻數(shù)據(jù)僅針對(duì)攝像機(jī)采集的視頻數(shù)據(jù)。
[0062](I)RTSP 方式(RTSP Over TCP, RTSP Over UDP)
[0063]依照標(biāo)準(zhǔn)RTSP協(xié)議實(shí)現(xiàn)，解析H.264數(shù)據(jù)并將H.264數(shù)據(jù)封裝到MPEG2-TS流中。其中RTSP協(xié)議的實(shí)現(xiàn)，與MEPG2-TS協(xié)議的實(shí)現(xiàn)均為標(biāo)準(zhǔn)協(xié)議。
[0064](2) RTP 方式(RTP Over UDP)
[0065]RTP為RTSP協(xié)議中傳輸H.264數(shù)據(jù)的封裝格式，解析RTP數(shù)據(jù)保存的H.264數(shù)據(jù)，并將H.264數(shù)據(jù)封裝到MPEG2-TS流中。RTP數(shù)據(jù)接收為UDP組播或者單播。
[0066](3) MPEG-TS 方式(MPEG-TS Over UDP)
[0067]MPEG2-TS為MPEG2中的標(biāo)準(zhǔn)協(xié)議，解析H.264數(shù)據(jù)，并將H.264數(shù)據(jù)封裝到MPEG2-TS 流中。
[0068](4) SDK定制開(kāi)發(fā)
[0069]當(dāng)接入攝像機(jī)沒(méi)有開(kāi)放協(xié)議時(shí)，通過(guò)攝像機(jī)提供的SDK進(jìn)行接入。如果SDK中只提供顯示數(shù)據(jù)如YUV、RGB，則先對(duì)此數(shù)據(jù)進(jìn)行編碼為H.264數(shù)據(jù)后，再封裝到MPEG2-TS中。
[0070]在一個(gè)優(yōu)選的實(shí)施例中，內(nèi)部數(shù)據(jù)傳輸格式為MPEG-TS Over Multicast UDP，通過(guò)不同的TS-PID進(jìn)行解復(fù)用和區(qū)分。
[0071]步驟3、將實(shí)時(shí)采集和/或獲得的固定角度視頻數(shù)據(jù)自動(dòng)拼接融合到三維場(chǎng)景模型中，形成全景立體視頻，實(shí)現(xiàn)實(shí)時(shí)的全時(shí)空立體可視化展示。
[0072]作為一種優(yōu)選的實(shí)施方式，所述自動(dòng)拼接融合按照如下的步驟實(shí)現(xiàn):對(duì)所有的上述固定角度視頻數(shù)據(jù)進(jìn)行分析，檢測(cè)分離出前景目標(biāo)，基于相機(jī)標(biāo)定技術(shù)精確計(jì)算出其空間位置，按照其對(duì)應(yīng)的時(shí)間序列信息拼接融到三維場(chǎng)景模型中，實(shí)現(xiàn)在三維場(chǎng)景模型中的拼接融合顯示，且融合后的全時(shí)空立體視頻無(wú)形變、不失真。
[0073]具體來(lái)說(shuō)，在該步驟中，將實(shí)時(shí)的固定角度視頻數(shù)據(jù)自動(dòng)拼接融合到3D GIS空間數(shù)據(jù)中，形成全景立體視頻，實(shí)現(xiàn)實(shí)時(shí)的全時(shí)空立體可視化展示具體包括前景目標(biāo)檢測(cè)、三維重建融合、視頻圖像歸一化和全時(shí)空立體可視化展示幾部分或步驟。下面結(jié)合本發(fā)明的一個(gè)優(yōu)選的實(shí)施例來(lái)闡述以上各部分或步驟。
[0074](I)前景目標(biāo)檢測(cè)
[0075]前景是指在假設(shè)背景為靜止的情況下，任何有意義的運(yùn)動(dòng)目標(biāo)。其中重點(diǎn)涉及如下兩方面:
[0076]A.多層次前景背景建模
[0077]背景建模是前景目標(biāo)提取的一個(gè)重要環(huán)節(jié)，基本思想是從當(dāng)前幀中提取前景。其目的是使背景更接近當(dāng)前視頻幀的背景。利用當(dāng)前幀和視頻序列中的當(dāng)前背景幀進(jìn)行加權(quán)平均來(lái)更新背景。但是由于光照突變以及其他外界環(huán)境的影響，一般建模后的背景并非十分干凈清晰；而且運(yùn)動(dòng)目標(biāo)行進(jìn)速度隨時(shí)變化，很有可能出現(xiàn)完全靜止，如果將它們更新為背景，會(huì)造成對(duì)重要目標(biāo)的遺漏?；诖?，本優(yōu)選的實(shí)施例中采用多層次高斯混合模型，用于實(shí)時(shí)的、魯棒的檢測(cè)各種速度(包括從運(yùn)動(dòng)到靜止)的目標(biāo)。利用多層次混合高斯模型來(lái)抽取背景的方法魯棒地克服光線、樹(shù)枝搖動(dòng)等造成的影響，而且可以克服運(yùn)動(dòng)物體長(zhǎng)期靜止時(shí)的失效狀況。
[0078]具體方法是使用K (例如，從3到5)個(gè)高斯模型來(lái)表征圖像中各個(gè)像素點(diǎn)的特
征。具體來(lái)說(shuō)，特定像素點(diǎn)的視頻序列可看作一時(shí)間序列{Xp X2,…，XtI = {I (x0, y0, i):
I ^ i ^ t}，且該時(shí)間序列可表示為K個(gè)高斯分布的疊加，當(dāng)前點(diǎn)的概率表示為:[0079]
【權(quán)利要求】
1.一種監(jiān)控視頻全時(shí)空立體拼接融合方法，包括以下步驟: 步驟I)、將攝像機(jī)采集的實(shí)時(shí)視頻數(shù)據(jù)進(jìn)行封包格式轉(zhuǎn)換，所述實(shí)時(shí)視頻數(shù)據(jù)包括槍式攝像機(jī)和/或球型攝像機(jī)在預(yù)置位采集的固定角度視頻數(shù)據(jù)，還包括球型攝像機(jī)采集的非固定角度視頻數(shù)據(jù)； 步驟2)、將實(shí)時(shí)采集的固定角度視頻數(shù)據(jù)拼接融合到3D GIS空間數(shù)據(jù)中，形成全景立體視頻，實(shí)現(xiàn)實(shí)時(shí)的全時(shí)空立體可視化展示； 步驟3)、根據(jù)步驟I)預(yù)處理的非固定角度視頻數(shù)據(jù)和步驟2)形成的全景立體視頻，通過(guò)以全景監(jiān)控中的事件目標(biāo)為驅(qū)動(dòng)，實(shí)現(xiàn)攝像機(jī)協(xié)同追視，即在全景立體視頻或3D GIS空間數(shù)據(jù)中點(diǎn)擊觀測(cè)目標(biāo)或位置，其周邊的多個(gè)攝像機(jī)將被調(diào)用以鎖定該區(qū)域； 步驟4)、根據(jù)步驟I)的封包格式轉(zhuǎn)換結(jié)果，在存儲(chǔ)裝置中保存實(shí)時(shí)視頻數(shù)據(jù)，形成歷史視頻數(shù)據(jù)； 步驟5)、將步驟4)形成的歷史視頻數(shù)據(jù)中的固定角度視頻數(shù)據(jù)拼接融合到3D GIS空間數(shù)據(jù)中，實(shí)現(xiàn)歷史視頻的全時(shí)空立體可視化展示，以對(duì)歷史視頻數(shù)據(jù)進(jìn)行全景還原回溯。
2.根據(jù)權(quán)利要求1所述的監(jiān)控視頻全時(shí)空立體拼接融合方法，其特征在于，在所述的步驟2)實(shí)現(xiàn)的實(shí)時(shí)全時(shí)空立體可視化展示包括:重點(diǎn)區(qū)域大場(chǎng)景監(jiān)控、關(guān)鍵路徑自動(dòng)巡航、二維和三維信息關(guān)聯(lián)顯示、攝像機(jī)反向關(guān)聯(lián)、以及攝像機(jī)協(xié)同追視。
3.根據(jù)權(quán)利要求1所述的監(jiān)控視頻全時(shí)空立體拼接融合方法，其特征在于，在所述的步驟5)實(shí)現(xiàn)的全時(shí)空立體可視化展示包括:重點(diǎn)區(qū)域大場(chǎng)景監(jiān)控、關(guān)鍵路徑自動(dòng)巡航、二維和三維信息關(guān)聯(lián)顯示、攝像機(jī)反向關(guān)聯(lián)，以及歷史事件大場(chǎng)景回溯。
4.根據(jù)權(quán)利要求2或3所述的監(jiān)控視頻全時(shí)空立體拼接融合方法，其特征在于，所述重點(diǎn)區(qū)域大場(chǎng)景監(jiān)控包括:用戶預(yù)設(shè)觀測(cè)點(diǎn)監(jiān)控重點(diǎn)區(qū)域的場(chǎng)景，以全局視角觀察重點(diǎn)區(qū)域動(dòng)態(tài)；所述關(guān)鍵路徑自動(dòng)巡航包括:自定義巡航軌跡，并按照設(shè)定好的視角、速度進(jìn)行自動(dòng)巡航；所述二維和三維信息關(guān)聯(lián)顯示包括:全景立體視頻顯示與2D GIS空間數(shù)據(jù)同步顯示，全景立體視頻顯示與分鏡頭視頻數(shù)據(jù)同步顯示，2D GIS空間數(shù)據(jù)與分鏡頭視頻數(shù)據(jù)同步顯示，攝像機(jī)的位置和覆蓋區(qū)域以及用戶當(dāng)前觀察點(diǎn)的位置均記錄在2D GIS空間數(shù)據(jù)中；所述攝像機(jī)反向關(guān)聯(lián)包括:在全景立體視頻或2D GIS空間數(shù)據(jù)上選擇所需要觀測(cè)的目標(biāo)或地理位置，根據(jù)該目標(biāo)或地理位置關(guān)聯(lián)所有照射到該目標(biāo)或地理位置的攝像機(jī)。
5.根據(jù)權(quán)利要求2所述的監(jiān)控視頻全時(shí)空立體拼接融合方法，其特征在于，攝像機(jī)協(xié)同追視包括:在全景立體視頻或3D GIS空間數(shù)據(jù)中通過(guò)交互選擇觀測(cè)目標(biāo)或地理位置，根據(jù)該目標(biāo)或地理位置調(diào)用周邊的多個(gè)攝像機(jī)照射到該區(qū)域，并可以對(duì)攝像機(jī)進(jìn)行光學(xué)變焦，全方位、多角度捕捉細(xì)節(jié)信息。
6.根據(jù)權(quán)利要求3所述的監(jiān)控視頻全時(shí)空立體拼接融合方法，其特征在于，歷史事件大場(chǎng)景回溯包括:從存儲(chǔ)裝置中讀入多個(gè)攝像機(jī)采集的歷史視頻數(shù)據(jù)，將歷史視頻數(shù)據(jù)可視化到3D GIS空間數(shù)據(jù)中，在全時(shí)空環(huán)境下正向或反向播放搜索，即設(shè)置回溯的時(shí)間段和區(qū)域、提供逐幀正播、逐幀倒播、停止播放、快進(jìn)、快退和隨機(jī)定位播放，以提升歷史事件的查詢效率。
7.根據(jù)權(quán)利要求1所述的監(jiān)控視頻全時(shí)空立體拼接融合方法，其特征在于，在所述的步驟I)中采集固定角度視頻數(shù)據(jù)時(shí)，攝像機(jī)采集到的視頻覆蓋區(qū)域不發(fā)生變化；采集非固定角度視頻數(shù)據(jù)時(shí)，攝像機(jī)采集到的視頻覆蓋區(qū)域可以任意變化。
8.—種全場(chǎng)景視頻智能分析方法，包括以下步驟: 步驟10)、選定視頻智能分析區(qū)域； 步驟20)、采用權(quán)利要求1-7之一所述的監(jiān)控視頻全時(shí)空立體拼接融合方法，建立視頻數(shù)據(jù)和三維空間的對(duì)應(yīng)關(guān)系，進(jìn)行跨鏡頭全場(chǎng)景下的視頻智能分析，在發(fā)現(xiàn)異常時(shí)自動(dòng)報(bào)m.1=I ， 步驟30)、將步驟20)的分析結(jié)果在權(quán)利要求1-7之一所述的全景立體視頻中進(jìn)行展示，或根據(jù)報(bào)警信息自動(dòng)觸發(fā)攝像機(jī)協(xié)同追視，通過(guò)攝像機(jī)觀察報(bào)警點(diǎn)的細(xì)節(jié)信息。
9.根據(jù)權(quán)利要求8所述的全場(chǎng)景視頻智能分析方法，其特征在于，在所述的步驟20)中，視頻智能分析包括跨鏡頭目標(biāo)跟蹤、人流車流密度估計(jì)、異常行為檢測(cè)。
10.一種多類型數(shù)據(jù)全時(shí)空立體可視化方法，包括以下步驟: 步驟100)、輸入傳感器信息、GPS信息、門禁信息、報(bào)警信息； 步驟200)、采用權(quán)利要求1-7之一所述的監(jiān)控視頻全時(shí)空立體拼接融合方法建立的視頻數(shù)據(jù)和三維空間的對(duì)應(yīng)關(guān)系，將多種傳感器信息、GPS信息、門禁信息、報(bào)警信息整合到全景立體視頻中，以實(shí)現(xiàn)全方位的多維融合和可視化展示。
11.一種與傳感器系統(tǒng)、門禁系統(tǒng)、報(bào)警系統(tǒng)聯(lián)動(dòng)的多類型數(shù)據(jù)全時(shí)空立體可視化應(yīng)用，其特征在于，根 據(jù)權(quán)利要求10所述的多類型數(shù)據(jù)全時(shí)空立體可視化方法實(shí)現(xiàn)所述應(yīng)用。
【文檔編號(hào)】H04N13/00GK103795976SQ201310747292
【公開(kāi)日】2014年5月14日 申請(qǐng)日期:2013年12月30日 優(yōu)先權(quán)日:2013年12月30日
【發(fā)明者】張政, 周鋒, 劉舟, 張賀, 何浩 申請(qǐng)人:北京正安融翰技術(shù)有限公司