一種用于大場景交通監(jiān)視的多視點視頻融合及交通參數(shù)采集方法
【專利摘要】本發(fā)明涉及計算機(jī)應(yīng)用技術(shù)和交通管理領(lǐng)域，具體涉及一種用于大場景交通監(jiān)視的多視點視頻融合及交通參數(shù)采集方法，所述融合方法包括各視點視頻源視頻采集及解碼，相鄰視點幀圖像變換及拼接融合和多視點視頻融合后幀圖像渲染三大步驟。本方法通過對多路并行視頻實時采集解碼、視頻幀變換配準(zhǔn)及紋理映射，從而得到融合交通大場景視頻；再通過對交通大場景圖像序列中道路上紋理特征分析，得到區(qū)域各向道路交通排隊長度、非機(jī)動車密度、交通流量、行程時間等用于交通分析評估的實時交通參數(shù)。
【專利說明】一種用于大場景交通監(jiān)視的多視點視頻融合及交通參數(shù)采集方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機(jī)應(yīng)用技術(shù)和交通管理領(lǐng)域，具體涉及一種用于大場景交通監(jiān)視的多視點視頻融合及交通參數(shù)采集方法。
【背景技術(shù)】
[0002]道路交通高點監(jiān)控有助于交通管理者遠(yuǎn)程監(jiān)視道路交通的實時狀況，進(jìn)而輔助交管部門有效管理指揮交通。但是，現(xiàn)有道路交通高點監(jiān)控大多是通過在某場景高點架設(shè)一球機(jī)，通過人工遠(yuǎn)程控制驅(qū)動查看某局部區(qū)域交通情況，而難于同時整體監(jiān)視大場景區(qū)域的交通狀況，比如十字交叉口各個方向的交通態(tài)勢。
[0003]現(xiàn)有城市交通時常出現(xiàn)交叉口信號燈控制常有出現(xiàn)一個方向處于綠燈相位而無車通行，對應(yīng)的另一方向處于紅燈相位卻是有較長排隊長度的車輛排隊等待通行，這樣導(dǎo)致城市道路交通資源浪費，整個區(qū)域的交通通行能力低下，違背了城市交通緩堵保暢的公眾意愿。究其根源，現(xiàn)有機(jī)非混合相對突出的中國式城市交通，各類交通參數(shù)(尤其是道路交通中非機(jī)動的相關(guān)參數(shù))，交通信號燈自適應(yīng)控制缺失一種有效實時自動分析評估的手段，為信號燈控制策略優(yōu)化提供有效支撐的科學(xué)依據(jù)。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于提供一種用于大場景交通監(jiān)視的多視點視頻融合及交通參數(shù)采集方法，解決現(xiàn)有技術(shù)中無法對大場景交通狀況進(jìn)行準(zhǔn)確的監(jiān)視，不能準(zhǔn)確的對實時大場景交通狀況進(jìn)行評估的問題。
[0005]為解決上述的技術(shù)問題，本發(fā)明采用以下技術(shù)方案:
[0006]一種用于大場景交通監(jiān)視的多視點視頻融合方法，包括以下步驟:
[0007]步驟一，各視點視頻源視頻采集及解碼:連接網(wǎng)絡(luò)攝像機(jī)，獲取攝像機(jī)監(jiān)視場景內(nèi)的視頻數(shù)據(jù)，然后對每一個攝像機(jī)發(fā)送過來的數(shù)據(jù)包進(jìn)行解碼得到每一幀的視頻圖像；
[0008]步驟二，相鄰視點幀圖像變換及拼接融合:采集任意相鄰網(wǎng)絡(luò)攝像機(jī)的圖像，設(shè)定相鄰圖像中重疊區(qū)域為R0I，然后對兩個圖像的ROI區(qū)域進(jìn)行圖像特征點檢測與配準(zhǔn)，根據(jù)匹配的特征點組計算得到兩幅圖像間的投影變換矩陣，根據(jù)部署的某一個攝像機(jī)的朝向設(shè)定一個世界坐標(biāo)系，各個攝像采集的圖像在這個坐標(biāo)系的基礎(chǔ)上進(jìn)行圖像拼接前的圖像變換均對應(yīng)一個不同的投影變化矩陣；將投影變換矩陣作為參數(shù)，把其中一臺攝像機(jī)的圖像設(shè)為基準(zhǔn)圖像，利用雙線性插值算法根據(jù)投影變換矩陣完成另一臺攝像機(jī)圖像的投影變換，將兩幅圖像映射到同一坐標(biāo)系下，然后對重疊區(qū)域各圖像的對應(yīng)的像素點做加權(quán)求和，得到全景圖像的重疊區(qū)域像素，非重疊區(qū)域的各圖像，像素亮度保持不變；
[0009]步驟三，多視點視頻融合后幀圖像渲染:根據(jù)拼接場景的具體情況對圖像進(jìn)行裁剪，并把裁剪結(jié)果貼在場景模型之中，根據(jù)示范中交通監(jiān)視場景，對拼接融合后的視頻圖像進(jìn)行裁剪，結(jié)合靜態(tài)場景3D建模，再將其作為紋理通過3D引擎渲染后，便得到區(qū)域交通包含四個方向的大場景超高分辨率實時視頻，實現(xiàn)視點漫游，用于交通管理人員兼顧全局或局部便捷監(jiān)視。
[0010]根據(jù)上述方法，對交通參數(shù)采集方法為:
[0011]I)依據(jù)大場景視頻中的車道線，人工標(biāo)定大場景視頻的每一幀圖像中車道區(qū)域，確定待檢測圖像區(qū)域，分為各斷面i的機(jī)動車道區(qū)域Vi和非機(jī)動車道區(qū)域Fi ；
[0012]2)在車道區(qū)域內(nèi)各斷面i從停車線開始每隔20個像素設(shè)置為一個小區(qū)域塊j，再依據(jù)標(biāo)定的攝像機(jī)參數(shù)確定各小區(qū)域?qū)?yīng)物理道路距離Lj,計算每個小區(qū)域無車時的梯度幅值Gth_u作為參考閾值，實時計算每幀中各小區(qū)域圖像梯度幅值Gu，并與閾值Gth_u比較，如果從停車線開始連續(xù)多個小區(qū)域內(nèi)Gij-GtlrijUO,則認(rèn)為該小區(qū)域有車排隊，從而判斷出該斷面方向車輛排隊長度值Cli ；
[0013]3)在大場景道路區(qū)域每個斷面方向i每個車道k設(shè)置檢測線圈LOOPik，線圈LOOPik的位于距離對應(yīng)停車線150米位置的車道中間，LOOPik寬度取道路寬度的2/3，長度取40個像素，通過混合高斯背景模型獲得待檢測圖像區(qū)域?qū)崟r背景，采用實時當(dāng)前幀圖像與背景做差值，依據(jù)差值是否大于20，得到該線圈有無車輛，并給有車賦ID號ck，若該線圈上從有車變?yōu)闊o車，則計算出該車道通過一輛車，每分鐘統(tǒng)計通過數(shù)量，從而檢測到該斷面該車道分鐘車流量Qvik ；
[0014]4)針對在大場景道路區(qū)域每個斷面方向i每個車道k，每個進(jìn)入的機(jī)車動車ck，對應(yīng)有一個檢測分割出的目標(biāo)方框?qū)ο?，采用均值漂移算法meanshift實現(xiàn)對其在整個交通大場景中的跟蹤；可以計算出機(jī)動車運動目標(biāo)Ck在各對應(yīng)路段Ln(η為區(qū)域中某路段的編號)上的行程時間Tkn ；
[0015]5)通過混合高斯背景模型檢測各非機(jī)動車區(qū)域Fi前景區(qū)域面積與背景面積的比值，從而計算非機(jī)動車在各非機(jī)動車交通區(qū)域Fi內(nèi)的非機(jī)動車道路占用密度PFi ；
[0016]6)根據(jù)獲得交通參數(shù)中的流量Qvik、行程時間Tkn、車輛排隊長度值Cli和非機(jī)動車道路占用密度P Fi，對所監(jiān)視的大場景交通狀況進(jìn)行評估和紅綠燈調(diào)節(jié)。
[0017]更進(jìn)一步的技術(shù)方案是，所檢測出的實時交通參數(shù)實時顯示在監(jiān)視界面中。
[0018]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是:本方法通過對多路并行視頻實時采集解碼、視頻幀變換配準(zhǔn)及紋理映射，從而得到融合交通大場景視頻；再通過對交通大場景圖像序列中道路上紋理特征分析，得到區(qū)域各向道路交通排隊長度、非機(jī)動車密度、交通流量、行程時間等用于交通分析評估的實時交通參數(shù)。
【專利附圖】

【附圖說明】
[0019]圖1為本發(fā)明一個實施例的相鄰兩視點待拼接融合源圖。
[0020]圖2為圖1所示的兩個源圖經(jīng)過通道圖像變換后的效果圖。
[0021]圖3為圖2所示的效果圖拼接后的效果圖。
[0022]圖4為六路視頻源拼接示意圖。
[0023]圖5為交通大場景多視點視頻拼接融合效果圖。
[0024]圖6為運動前景。
[0025]圖7為實時交通參數(shù)在監(jiān)視界面的顯示位置?！揪唧w實施方式】
[0026]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0027]本發(fā)明一種用于大場景交通監(jiān)視的多視點視頻融合方法的一個實施例:一種用于大場景交通監(jiān)視的多視點視頻融合方法，包括以下步驟:
[0028]步驟一，各視點視頻源視頻采集及解碼:連接網(wǎng)絡(luò)攝像機(jī)，獲取攝像機(jī)監(jiān)視場景內(nèi)的視頻數(shù)據(jù)，然后對每一個攝像機(jī)發(fā)送過來的數(shù)據(jù)包進(jìn)行解碼得到每一幀的視頻圖像，圖1為任意相鄰兩視點待拼接融合源圖，兩張圖像是通過解碼對對應(yīng)的場景攝像機(jī)采集到的視頻數(shù)據(jù)進(jìn)行解碼后得到的圖像幀數(shù)據(jù)；
[0029]以圖1所示的源圖為例，在其中選取的一個系統(tǒng)示范的實驗圖像，根據(jù)該算法計算得到的投影變換矩陣是
【權(quán)利要求】
1.一種用于大場景交通監(jiān)視的多視點視頻融合方法，其特征在于:包括以下步驟: 步驟一，各視點視頻源視頻采集及解碼:連接網(wǎng)絡(luò)攝像機(jī)，獲取攝像機(jī)監(jiān)視場景內(nèi)的視頻數(shù)據(jù)，然后對每一個攝像機(jī)發(fā)送過來的數(shù)據(jù)包進(jìn)行解碼得到每一幀的視頻圖像； 步驟二，相鄰視點幀圖像變換及拼接融合:采集任意相鄰網(wǎng)絡(luò)攝像機(jī)的圖像，設(shè)定相鄰圖像中重疊區(qū)域為ROI，然后對兩個圖像的ROI區(qū)域進(jìn)行圖像特征點檢測與配準(zhǔn)，根據(jù)匹配的特征點組計算得到兩幅圖像間的投影變換矩陣，根據(jù)部署的某一個攝像機(jī)的朝向設(shè)定一個世界坐標(biāo)系，各個攝像采集的圖像在這個坐標(biāo)系的基礎(chǔ)上進(jìn)行圖像拼接前的圖像變換均對應(yīng)一個不同的投影變化矩陣；將投影變換矩陣作為參數(shù)，把其中一臺攝像機(jī)的圖像設(shè)為基準(zhǔn)圖像，利用雙線性插值算法根據(jù)投影變換矩陣完成另一臺攝像機(jī)圖像的投影變換，將兩幅圖像映射到同一坐標(biāo)系下，然后對重疊區(qū)域各圖像的對應(yīng)的像素點做加權(quán)求和，得到全景圖像的重疊區(qū)域像素，非重疊區(qū)域的各圖像，像素亮度保持不變；步驟三，多視點視頻融合后幀圖像渲染:根據(jù)拼接場景的具體情況對圖像進(jìn)行裁剪，并把裁剪結(jié)果貼在場景模型之中，根據(jù)示范中交通監(jiān)視場景，對拼接融合后的視頻圖像進(jìn)行裁剪，結(jié)合靜態(tài)場景3D建模，再將其作為紋理通過3D引擎渲染后，便得到區(qū)域交通包含四個方向的大場景超高分辨率實時視頻，實現(xiàn)視點漫游，用于交通管理人員兼顧全局或局部便捷監(jiān)視。
2.根據(jù)權(quán)利要求1所述的一種用于大場景交通監(jiān)視的多視點視頻融合方法，其特征在于:對交通參數(shù)采集方法為: 1)依據(jù)大場景視頻中的車道線，人工標(biāo)定大場景視頻的每一幀圖像中車道區(qū)域，確定待檢測圖像區(qū)域，分為各斷面i的機(jī)動車道區(qū)域Vi和非機(jī)動車道區(qū)域Fi ； 2)在車道區(qū)域內(nèi)各斷面i從停車線開始每隔20個像素設(shè)置為一個小區(qū)域塊j，再依據(jù)標(biāo)定的攝像機(jī)參數(shù)確定各小區(qū)域?qū)?yīng)物理道路距離Lp計算每個小區(qū)域無車時的梯度幅值Gth_u作為參考閾值，實時計算每幀中各小區(qū)域圖像梯度幅值Gu，并與閾值Gth_u比較，如果從停車線開始連續(xù)多個小區(qū)域內(nèi)Gij-GtlrijUO,則認(rèn)為該小區(qū)域有車排隊，從而判斷出該斷面方向車輛排隊長度值屯； 3)在大場景道路區(qū)域每個斷面方向i每個車道k設(shè)置檢測線圈LOOPik，線圈LOOPik的位于距離對應(yīng)停車線150米位置的車道中間，LOOPik寬度取道路寬度的2/3，長度取40個像素，通過混合高斯背景模型獲得待檢測圖像區(qū)域?qū)崟r背景，采用實時當(dāng)前幀圖像與背景做差值，依據(jù)差值是否大于20，得到該線圈有無車輛，并給有車賦ID號ck，若該線圈上從有車變?yōu)闊o車，則計算出該車道通過一輛車，每分鐘統(tǒng)計通過數(shù)量，從而檢測到該斷面該車道分鐘車流量Qvik ； 4)針對在大場景道路區(qū)域每個斷面方向i每個車道k，每個進(jìn)入的機(jī)車動車ck，對應(yīng)有一個檢測分割出的目標(biāo)方框?qū)ο?，采用均值漂移算法meanshift實現(xiàn)對其在整個交通大場景中的跟蹤；可以計算出機(jī)動車運動目標(biāo)Ck在各對應(yīng)路段Ln上的行程時間Tkn ； 5)通過混合高斯背景模型檢測各非機(jī)動車區(qū)域Fi前景區(qū)域面積與背景面積的比值，從而計算非機(jī)動車在各非機(jī)動車交通區(qū)域Fi內(nèi)的非機(jī)動車道路占用密度PFi ； 6)根據(jù)獲得交通參數(shù)中的流量Qvik、行程時間Tkn、車輛排隊長度值Cli和非機(jī)動車道路占用密度P Fi，對所監(jiān)視的大場景交通狀況進(jìn)行評估和紅綠燈調(diào)節(jié)。
3.根據(jù)權(quán)利要求2所述的一種用于大場景交通監(jiān)視的多視點視頻融合方法，其特征在于:所檢測出的實時交通參數(shù)實時顯示在監(jiān)視界面中。
【文檔編號】G06T5/50GK103985254SQ201410231807
【公開日】2014年8月13日 申請日期:2014年5月29日 優(yōu)先權(quán)日:2014年5月29日
【發(fā)明者】蘭時勇, 吳岳洲, 吳佳, 黃飛虎 申請人:四川川大智勝軟件股份有限公司, 四川大學(xué)