專(zhuān)利名稱(chēng)：基于輪廓和局部特征點(diǎn)的交通流信息感知方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于智能交通領(lǐng)域，涉及到基于遠(yuǎn)程控制、視頻圖像信號(hào)的交通信息流感知技術(shù)，尤其涉及一種基于圖像目標(biāo)輪廓區(qū)域的定位、追蹤以及目標(biāo)局部特征點(diǎn)的追蹤的交通信息流感知方法及系統(tǒng)。
背景技術(shù)：
隨著國(guó)民經(jīng)濟(jì)的飛速發(fā)展，全國(guó)的流動(dòng)車(chē)輛數(shù)量日益增多，交通系統(tǒng)也面臨極大的壓力。智能交通系統(tǒng)在這樣的背景下在近年得到了高速的發(fā)展，尤其在高速公路系統(tǒng)中。 智能交通系統(tǒng)(Intelligent Transport System，簡(jiǎn)稱(chēng)ITS)是將信息技術(shù)、數(shù)據(jù)通訊傳輸技術(shù)、電子傳感技術(shù)、電子控制技術(shù)以及計(jì)算機(jī)處理技術(shù)等有效地集成運(yùn)用于整個(gè)交通運(yùn)輸管理體系，而建立起的一種在大范圍內(nèi)、全方位發(fā)揮作用的，實(shí)時(shí)、準(zhǔn)確、高效的綜合運(yùn)輸和管理系統(tǒng)。目前全國(guó)范圍內(nèi)高速公路以及相關(guān)的高速公路基礎(chǔ)設(shè)施、管理措施都很健全。多數(shù)高速公路上部署了全程的監(jiān)控系統(tǒng)，這使得監(jiān)管部門(mén)對(duì)高速公路的車(chē)流信息、公路運(yùn)營(yíng)情況的掌握比較全面，也保證了高速公路的高速、安全、經(jīng)濟(jì)地運(yùn)營(yíng)管理。但是，這些系統(tǒng)都存在一個(gè)共性的問(wèn)題，那就是它們的檢測(cè)手段主要依靠環(huán)形檢測(cè)線(xiàn)圈、視頻攝像頭，傳輸電纜甚至微波探測(cè)器、雷達(dá)等設(shè)備。其中，環(huán)形檢測(cè)線(xiàn)圈用于檢測(cè)過(guò)往車(chē)輛的數(shù)量、大小及車(chē)速等，一般需要埋在地下，對(duì)公路的整個(gè)截面鋪設(shè)，鋪設(shè)成本很高，易損而且維護(hù)麻煩；視頻攝像頭用于拍攝實(shí)時(shí)交通場(chǎng)景，并通過(guò)傳輸光纜傳輸至監(jiān)控中心顯示。這些高成本的設(shè)備對(duì)我國(guó)一級(jí)公路、二級(jí)公路都不適用，因?yàn)橐患?jí)、二級(jí)公路覆蓋范圍大，沒(méi)有經(jīng)濟(jì)收益來(lái)源，而鋪設(shè)和維護(hù)檢測(cè)設(shè)備及網(wǎng)絡(luò)傳輸設(shè)備的代價(jià)太大。面對(duì)日益增重的交通壓力和傳統(tǒng)解決方案的窘迫，一級(jí)公路、二級(jí)公路需要有效的檢測(cè)設(shè)備、同時(shí)設(shè)備的成本應(yīng)盡量低。近年來(lái)，基于視頻的交通流檢測(cè)方法逐漸興起，基于視頻的檢測(cè)方法一方面鋪設(shè)成本低，易于維護(hù)和修理；另外，檢測(cè)范圍大，一般一個(gè)檢測(cè)點(diǎn)只需要一個(gè)攝像頭就能覆蓋。另一方面，通過(guò)視頻分析算法分析攝像頭采集的視頻圖像， 從而同樣能獲取交通流信息。為了解決這一問(wèn)題，基于視頻分析的交通流檢測(cè)方法充分利用成熟的視頻處理算法，精確地檢測(cè)、分析每一輛車(chē)輛的運(yùn)動(dòng)情況。傳統(tǒng)的基于視頻的分析算法一般包括基于運(yùn)動(dòng)檢測(cè)的車(chē)輛檢測(cè)和基于虛擬檢測(cè)線(xiàn)的車(chē)輛速度檢測(cè)，其中運(yùn)動(dòng)檢測(cè)通常包括背景差法和幀間差法。但是這些方法無(wú)法適應(yīng)復(fù)雜多變的場(chǎng)景，檢測(cè)精度不高。

發(fā)明內(nèi)容
鑒于此，本發(fā)明的首要目的在于為提供一種基于輪廓和局部特征點(diǎn)的交通流信息感知方法，該方法結(jié)合多種常見(jiàn)的視頻分析算法，采用取長(zhǎng)補(bǔ)短的思想和多層決策的策略， 能根據(jù)交通場(chǎng)景自適應(yīng)調(diào)整，具有較高的執(zhí)行效率和魯棒性。該方法具體包括以下步驟遠(yuǎn)程配置交通流信息感知系統(tǒng)的系統(tǒng)參數(shù)，包括視頻分析的感興趣區(qū)域ROI (region of interest，簡(jiǎn)寫(xiě)R0I)和視頻圖像上像素距離與實(shí)際道路上空間距離之間的轉(zhuǎn)換關(guān)系F ；對(duì)視頻信號(hào)進(jìn)行幀間差操作、對(duì)幀間差圖像進(jìn)行形態(tài)濾波，并在此基礎(chǔ)上對(duì)每輛車(chē)的位置進(jìn)行定位；根據(jù)車(chē)輛的位置信息，對(duì)每輛車(chē)分別進(jìn)行追蹤，設(shè)計(jì)狀態(tài)存儲(chǔ)結(jié)構(gòu)Memory記錄每輛車(chē)的動(dòng)態(tài)狀態(tài)；對(duì)追蹤結(jié)果進(jìn)行評(píng)價(jià)；根據(jù)評(píng)價(jià)結(jié)果，若追蹤結(jié)果不夠好則提取追蹤失敗的車(chē)輛的特征點(diǎn)，根據(jù)特征點(diǎn)追蹤算法對(duì)特征點(diǎn)進(jìn)行追蹤，并根據(jù)追蹤結(jié)果更新?tīng)顟B(tài)存儲(chǔ)結(jié)構(gòu)中每輛車(chē)的狀態(tài)；若追蹤結(jié)果足夠好則直接更新?tīng)顟B(tài)存儲(chǔ)結(jié)構(gòu)中每輛車(chē)的狀態(tài)；計(jì)算車(chē)輛信息；對(duì)一段時(shí)間內(nèi)采集的車(chē)輛信息匯總、生成交通信息流文件，并定時(shí)向服務(wù)器發(fā)送交通信息流文件。本發(fā)明的另一目的在于提供一種基于輪廓和局部特征點(diǎn)的交通流信息感知系統(tǒng)， 其特征在于所述系統(tǒng)包括遠(yuǎn)端服務(wù)器2000 對(duì)遠(yuǎn)程交通流信息感知系統(tǒng)的系統(tǒng)參數(shù)進(jìn)行配置，在節(jié)點(diǎn)生成參數(shù)配置文件，采集視頻并將采集后的視頻數(shù)據(jù)輸出到視頻分析子系統(tǒng)2100 ；視頻分析子系統(tǒng)2100:通過(guò)對(duì)視頻數(shù)據(jù)進(jìn)行一系列操作，計(jì)算車(chē)輛信息，并對(duì)一段時(shí)間內(nèi)采集的車(chē)輛信息匯總、生成交通信息流文件，定時(shí)向遠(yuǎn)端服務(wù)器發(fā)送交通信息流文件；其中，視頻分析子系統(tǒng)2100包括幀間差分、形態(tài)濾波器2110 對(duì)視頻信號(hào)進(jìn)行幀間差操作，對(duì)幀間差圖像進(jìn)行二值化，然后進(jìn)行形態(tài)濾波；車(chē)輛輪廓區(qū)域定位器2120 在濾波后的圖像的基礎(chǔ)上對(duì)每輛車(chē)的位置進(jìn)行定位；基于車(chē)輛輪廓區(qū)域的追蹤器2130:根據(jù)車(chē)輛的位置信息，對(duì)每輛車(chē)分別進(jìn)行追蹤，設(shè)計(jì)狀態(tài)存儲(chǔ)結(jié)構(gòu)記錄每輛車(chē)的動(dòng)態(tài)狀態(tài)；追蹤性能判決器2140 對(duì)追蹤結(jié)果進(jìn)行評(píng)價(jià)；車(chē)輛局部特征點(diǎn)提取器2150 提取追蹤失敗的車(chē)輛的特征點(diǎn)；基于車(chē)輛局部特征的追蹤器2160 根據(jù)特征點(diǎn)追蹤算法對(duì)特征點(diǎn)進(jìn)行追蹤，并根據(jù)追蹤結(jié)果更新?tīng)顟B(tài)存儲(chǔ)結(jié)構(gòu)中每輛車(chē)的狀態(tài)。有益效果本發(fā)明的基于圖像目標(biāo)輪廓區(qū)域和局部特征點(diǎn)追蹤的交通流信息感知方法和系統(tǒng)通過(guò)遠(yuǎn)程控制調(diào)整攝像頭姿勢(shì)、確定視頻分析的感興趣區(qū)域；采用傳統(tǒng)的幀差法和形態(tài)濾波檢測(cè)車(chē)輛的粗略位置，并根據(jù)位置進(jìn)行粗略的車(chē)輛追蹤；在此之后通過(guò)一個(gè)至關(guān)重要的評(píng)價(jià)機(jī)制，對(duì)粗略的追蹤結(jié)果做性能評(píng)估；再根據(jù)評(píng)估結(jié)果選擇性地執(zhí)行之后的基于局部特征點(diǎn)的算法。本發(fā)明通過(guò)遠(yuǎn)程控制對(duì)分析算法的參數(shù)進(jìn)行配置，能夠根據(jù)具體場(chǎng)景隨時(shí)設(shè)置或調(diào)整分析算法的各種參數(shù)，這極大地方便了交通流信息感知裝置的使用。本發(fā)明中對(duì)車(chē)輛的追蹤首先采用粗略的基于輪廓信息的追蹤、評(píng)價(jià)，以及選擇性地進(jìn)行基于局部特征點(diǎn)的追蹤，這種由粗到細(xì)的追蹤策略能自適應(yīng)不同的交通場(chǎng)景，并且提高了執(zhí)行效率。


圖1為本發(fā)明的基于輪廓和局部特征點(diǎn)的交通流信息感知方法流程圖；圖2為本發(fā)明實(shí)現(xiàn)遠(yuǎn)程配置系統(tǒng)參數(shù)的流程圖；圖3為本發(fā)明實(shí)現(xiàn)對(duì)視頻信號(hào)進(jìn)行幀間差操作、對(duì)幀間差圖像進(jìn)行形態(tài)濾波，并在此基礎(chǔ)上對(duì)每輛車(chē)的位置進(jìn)行定位的流程圖；圖4為本發(fā)明實(shí)現(xiàn)根據(jù)車(chē)輛的位置信息，對(duì)每輛車(chē)分別進(jìn)行追蹤，設(shè)計(jì)狀態(tài)存儲(chǔ)結(jié)構(gòu)記錄每輛車(chē)的動(dòng)態(tài)狀態(tài)的流程圖；圖5為本發(fā)明實(shí)現(xiàn)對(duì)追蹤結(jié)果進(jìn)行評(píng)價(jià)，并根據(jù)評(píng)價(jià)結(jié)果更新?tīng)顟B(tài)存儲(chǔ)結(jié)構(gòu)中每輛車(chē)的狀態(tài)的流程圖；圖6為本發(fā)明實(shí)現(xiàn)對(duì)一段時(shí)間內(nèi)采集的車(chē)輛信息匯總、生成交通信息流文件，并定時(shí)向服務(wù)器發(fā)送交通信息流文件的流程圖；圖7為本發(fā)明的基于圖像目標(biāo)輪廓區(qū)域和局部特征點(diǎn)追蹤的交通流信息感知系統(tǒng)的方框圖，圖中各標(biāo)記意義如下遠(yuǎn)端服務(wù)器2000、視頻分析子系統(tǒng)2100、幀間差分、形態(tài)濾波器2110、車(chē)輛輪廓區(qū)域定位器2120、基于車(chē)輛輪廓區(qū)域的追蹤器2130、追蹤性能判決器2140、車(chē)輛局部特征點(diǎn)提取器2150、基于車(chē)輛局部特征的追蹤器2160。
具體實(shí)施例方式如圖1所示，基于輪廓和局部特征點(diǎn)的交通流信息感知方法包括如下步驟遠(yuǎn)程配置交通流信息感知系統(tǒng)的系統(tǒng)參數(shù)，包括視頻分析的感興趣區(qū)域ROI和視頻圖像上像素距離與實(shí)際道路上空間距離之間的轉(zhuǎn)換關(guān)系F ；對(duì)視頻信號(hào)進(jìn)行幀間差操作、對(duì)幀間差圖像進(jìn)行二值化，然后進(jìn)行形態(tài)濾波，并在此基礎(chǔ)上對(duì)每輛車(chē)的位置進(jìn)行定位；根據(jù)車(chē)輛的位置信息，對(duì)每輛車(chē)分別進(jìn)行追蹤，設(shè)計(jì)狀態(tài)存儲(chǔ)結(jié)構(gòu)Memory記錄每輛車(chē)的動(dòng)態(tài)狀態(tài)；對(duì)追蹤結(jié)果進(jìn)行評(píng)價(jià)；根據(jù)評(píng)價(jià)結(jié)果，若追蹤結(jié)果不夠好則提取追蹤失敗的車(chē)輛的特征點(diǎn)，根據(jù)特征點(diǎn)追蹤算法對(duì)特征點(diǎn)進(jìn)行追蹤，并根據(jù)追蹤結(jié)果更新?tīng)顟B(tài)存儲(chǔ)結(jié)構(gòu)中每輛車(chē)的狀態(tài)；若追蹤結(jié)果足夠好則直接更新?tīng)顟B(tài)存儲(chǔ)結(jié)構(gòu)中每輛車(chē)的狀態(tài)；根據(jù)追蹤車(chē)輛得到的信息、遠(yuǎn)程配置的系統(tǒng)參數(shù)等計(jì)算包括車(chē)輛大小、車(chē)速等信息在內(nèi)的車(chē)輛信息；對(duì)一段時(shí)間內(nèi)采集的車(chē)輛信息匯總、生成交通信息流文件，并定時(shí)向服務(wù)器發(fā)送交通信息流文件。遠(yuǎn)程配置系統(tǒng)參數(shù)的實(shí)現(xiàn)流程如圖2所示，包括步驟101 通過(guò)遠(yuǎn)程控制調(diào)整視頻信號(hào)采集攝像頭的姿勢(shì)，使可觀(guān)察區(qū)域達(dá)到最佳；步驟102 固定攝像頭姿勢(shì)后，交通流信息感知系統(tǒng)向服務(wù)器端發(fā)送一張視頻圖片；步驟103 在遠(yuǎn)端服務(wù)器，通過(guò)人工介入的方式確定視頻分析的感興趣區(qū)域ROI ；
步驟104 在遠(yuǎn)端服務(wù)器，通過(guò)人工介入的方式計(jì)算視頻圖像上像素距離與實(shí)際道路上空間距離之間的轉(zhuǎn)換關(guān)系F ；步驟105 將ROI信息和轉(zhuǎn)換關(guān)系F作為感知及裝置系統(tǒng)的系統(tǒng)參數(shù)發(fā)送至交通流信息感知及裝置系統(tǒng)。本發(fā)明實(shí)現(xiàn)對(duì)視頻信號(hào)進(jìn)行幀間差操作、對(duì)幀間差圖像進(jìn)行形態(tài)濾波，并在此基礎(chǔ)上對(duì)每輛車(chē)的位置進(jìn)行定位的流程如圖3所示，包括步驟201 視頻分析系統(tǒng)從視頻信號(hào)中獲取圖像序列，對(duì)圖像序列作如下幀間差操作di(t) = I(t)-I(t-I)|，其中t代表圖像幀的時(shí)間標(biāo)號(hào)，Kt)表示t時(shí)刻的圖像， 即當(dāng)前圖像，i(t-i)為前一幀圖像，di(t)為幀間差圖像，具體為兩幀差的絕對(duì)值構(gòu)成的圖像；步驟202 對(duì)幀間差結(jié)果進(jìn)行二值化以圖像二值化的閾值T1 = 20為例，若dl(t， i，j) >20JUdI(t，i，j) — 0，否則dl(t，i，j) — 255，其中，i表示圖像像素行號(hào)，j表示圖像像素列號(hào)，I (t，i，j)表示t時(shí)刻圖像在位置(i，j)的像素值，dl(t，i，j)為t時(shí)刻的幀間差圖像在位置(i，j)上的像素值；步驟203 在202的結(jié)果基礎(chǔ)上，對(duì)dl (t)進(jìn)行形態(tài)濾波，即傳統(tǒng)的開(kāi)運(yùn)算和閉運(yùn)算；步驟204 在203的結(jié)果基礎(chǔ)上，確定每輛車(chē)的位置，其步驟為(1)在203結(jié)果中尋找像素值為0的連通區(qū)域，并用外切矩形框出各個(gè)連同區(qū)域， 將這些矩形記為{S1; . . . , SJ , η為連通區(qū)域的個(gè)數(shù)；(2)以閾值T2 = 10，Τ/ = 100為例，去除(S1,. . ·，Sj中面積小于100且大于10 的矩形，即，認(rèn)為車(chē)輛對(duì)應(yīng)的矩形大小適中，要去除過(guò)大或者過(guò)小的矩形；(3)以閾值T3 = 10為例，在O)的基礎(chǔ)上將之間距離小于10的兩個(gè)矩形合并為同一矩形，即，認(rèn)為車(chē)輛之間的距離較大，靠得較近的兩個(gè)矩形實(shí)際上對(duì)應(yīng)著同一輛車(chē)；(4)將最終留下來(lái)的矩形作為車(chē)輛的存在區(qū)域IV1, . . .，Vk}，k為檢測(cè)到的車(chē)輛的數(shù)量。根據(jù)車(chē)輛的位置信息，對(duì)每輛車(chē)分別進(jìn)行追蹤，設(shè)計(jì)狀態(tài)存儲(chǔ)結(jié)構(gòu)記錄每輛車(chē)的動(dòng)態(tài)狀態(tài)的流程如圖4所示，包括如下步驟步驟301 建立狀態(tài)存儲(chǔ)結(jié)構(gòu)Memory，例如Memory中包含50個(gè)記憶單元，記為 {mem_cell_l, ... , mem_cell_50}，存儲(chǔ)單元用于存儲(chǔ)在ROI范圍內(nèi)的車(chē)的動(dòng)態(tài)狀態(tài)，包括車(chē)輛的在圖片中的位置、在圖片中的大小等記錄，這里認(rèn)為處在ROI范圍內(nèi)的車(chē)輛的個(gè)數(shù)少于50輛；步驟302 首先根據(jù)每個(gè)記憶單元中的車(chē)輛的歷史狀態(tài)預(yù)測(cè)在當(dāng)前幀中車(chē)輛期望出現(xiàn)的位置，例如采用線(xiàn)性預(yù)測(cè)方法假設(shè)mem_cell_l中記錄一輛車(chē)的兩幀歷史位置(10， 20)和(11，30)，則通過(guò)線(xiàn)性預(yù)測(cè)的方法可以粗略地預(yù)測(cè)當(dāng)前幀該車(chē)輛的位置為(12，40)；步驟303 當(dāng)前幀中檢測(cè)到的車(chē)輛的位置為IV1, ... , Vk(t)}，k(t)表示當(dāng)前幀中檢測(cè)到的車(chē)輛的個(gè)數(shù)，將這些區(qū)域與Memory的每個(gè)記憶單元中車(chē)輛的預(yù)測(cè)位置進(jìn)行匹配，例如根據(jù)歐氏距離進(jìn)行匹配假設(shè)當(dāng)前mem_cell_l和mem_cell_2中有車(chē)輛記錄，且預(yù)測(cè)位置分別為(12,40)和(22，70)，當(dāng)前檢測(cè)到的車(chē)輛的位置為(11,42)和(22，68)，則根據(jù)歐式距離可以判斷(11,42)與(12,40)匹配，而(22,68)與(22,70)相匹配；
步驟304.根據(jù)匹配結(jié)果，將其當(dāng)前幀中匹配成功的車(chē)輛信息添加到Memory中對(duì)應(yīng)的記憶單元中去，如步驟303中，將(11，42)和02，68)分別添加到mem_cell_l和mem_ cell_2 中；圖5為本發(fā)明實(shí)現(xiàn)對(duì)追蹤結(jié)果進(jìn)行評(píng)價(jià)，并根據(jù)評(píng)價(jià)結(jié)果，若追蹤結(jié)果不夠好則提取追蹤失敗的車(chē)輛的特征點(diǎn)，根據(jù)特征點(diǎn)追蹤算法對(duì)特征點(diǎn)進(jìn)行追蹤，并根據(jù)追蹤結(jié)果更新?tīng)顟B(tài)存儲(chǔ)結(jié)構(gòu)中每輛車(chē)的狀態(tài)，若追蹤結(jié)果足夠好則直接更新?tīng)顟B(tài)存儲(chǔ)結(jié)構(gòu)中每輛車(chē)的狀態(tài)的流程圖，包括如下步驟步驟401.當(dāng)前車(chē)輛個(gè)數(shù)為k(t)，假設(shè)在Memory中有記錄的存儲(chǔ)單元個(gè)數(shù)為M’， Μ，<M，其中M為Memory中的存儲(chǔ)單元個(gè)數(shù)。若M’彡k (t)，則評(píng)價(jià)為“足夠好”，否則評(píng)價(jià)為“不夠好”；步驟402.若M’<k(t)，表示此時(shí)有新的車(chē)輛或噪點(diǎn)出現(xiàn)在ROI中，則將新出現(xiàn)的車(chē)輛(或噪點(diǎn))添加到Memory中的一個(gè)新存儲(chǔ)單元中；步驟403.若M’ = k(t)，表示ROI中車(chē)輛個(gè)數(shù)沒(méi)有變化，且每輛車(chē)都被追蹤上；步驟404.若M’ > k(t)，表示可能有車(chē)輛沒(méi)有檢測(cè)到，或者有車(chē)輛開(kāi)出了 ROI區(qū)域。這通過(guò)下面的步驟410做進(jìn)一步的判斷。步驟405.若追蹤結(jié)果不夠好，則提取當(dāng)前幀的ROI區(qū)域中的HarriS(ChriS Harris于1988年提出了在圖像中角點(diǎn)的方法，稱(chēng)此角點(diǎn)檢測(cè)方法為Harris角點(diǎn))特征點(diǎn) (P1, ... PN(t)}，N(t)為ROI中特征點(diǎn)的個(gè)數(shù)；步驟406 提取Memory中追蹤失敗的車(chē)輛的Harris特征點(diǎn){Pf/，. . . ,Pfm1I,...， IPf1S ...，PfJ}，其中L表示追蹤失敗的車(chē)輛的個(gè)數(shù)，{Pf/，...，PfmiI表示第i輛追蹤失敗的車(chē)輛在上一幀中的特征點(diǎn)；步驟407利用特征點(diǎn)追蹤算法KLT(Kanade-Lucas-Tomasi)算法，在(P1,.. . PN(t)} 中追蹤每輛追蹤失敗的車(chē)輛的特征點(diǎn)；步驟408 對(duì)于{Pf/，... , PfmiI，設(shè)步驟407中成功追蹤到的特征點(diǎn)的個(gè)數(shù)為Si, Si彡N1,以閾值T4 = 0. 6為例，若SiZNi > 0. 6，則認(rèn)為Memory中第i輛車(chē)通過(guò)局部特征點(diǎn)追蹤方法追蹤成功，否則追蹤失?。徊襟E409 根據(jù)步驟408中追蹤成功的車(chē)輛的特征點(diǎn)，以及與之相匹配的特征點(diǎn)的位置變化情況，推測(cè)該車(chē)輛的運(yùn)動(dòng)情況，在此基礎(chǔ)上構(gòu)造車(chē)輛在當(dāng)前幀中的狀態(tài)，并將構(gòu)造結(jié)果添加到Memory中的對(duì)應(yīng)存儲(chǔ)單元中；步驟410 到目前為止，對(duì)Memory中以上兩種追蹤方法都失效的車(chē)輛，若車(chē)輛的預(yù)測(cè)位置處在ROI的邊界附近，則判定該車(chē)輛已經(jīng)開(kāi)出ROI區(qū)域，同時(shí)將該車(chē)輛信息移至緩存文件；否則認(rèn)為有車(chē)輛未能正確地追蹤到；在此基礎(chǔ)上，根據(jù)追蹤車(chē)輛得到的信息、遠(yuǎn)程配置的系統(tǒng)參數(shù)等計(jì)算車(chē)輛的信息， 包括車(chē)輛大小、車(chē)速等，包括如下步驟根據(jù)緩存文件中記錄的車(chē)輛的矩形區(qū)域的大小以及在前述步驟104中得到的圖像位置與實(shí)際位置之間的變換關(guān)系F，計(jì)算得到車(chē)輛的實(shí)際大小；根據(jù)緩存文件中記錄的車(chē)輛在ROI中位置的變化情況，結(jié)合圖像位置與實(shí)際位置之間的變換關(guān)系F，計(jì)算得到車(chē)輛的運(yùn)動(dòng)速度。本發(fā)明實(shí)現(xiàn)對(duì)一段時(shí)間內(nèi)采集的車(chē)輛信息匯總、生成交通信息流文件，并定時(shí)向服務(wù)器發(fā)送交通信息流文件的流程如圖6所示，包括步驟501.對(duì)車(chē)輛信息緩存文件進(jìn)行整理，并添加附加信息，如系統(tǒng)標(biāo)簽、起始時(shí)間等，形成交通信息流文件；步驟502.通過(guò)網(wǎng)絡(luò)將該交通信息流文件傳送至服務(wù)器端。本發(fā)明的基于圖像目標(biāo)輪廓區(qū)域和局部特征點(diǎn)追蹤的交通流信息感知系統(tǒng)框圖如圖7所示，該系統(tǒng)包括遠(yuǎn)端服務(wù)器2000 對(duì)遠(yuǎn)程交通流信息感知系統(tǒng)的系統(tǒng)參數(shù)進(jìn)行配置，在節(jié)點(diǎn)生成參數(shù)配置文件，采集視頻并將采集后的視頻數(shù)據(jù)輸出到視頻分析子系統(tǒng)2100 ；視頻分析子系統(tǒng)2100 通過(guò)對(duì)視頻數(shù)據(jù)進(jìn)行幀間差分、形態(tài)濾波、車(chē)輛輪廓定位、 追蹤性能判決、車(chē)輛局部特征提取及車(chē)輛局部特征追蹤等操作，計(jì)算車(chē)輛信息，包括車(chē)輛大小、車(chē)速等，并對(duì)一段時(shí)間內(nèi)采集的車(chē)輛信息匯總、生成交通信息流文件，定時(shí)向遠(yuǎn)端服務(wù)器發(fā)送交通信息流文件；其中，視頻分析子系統(tǒng)2100包括幀間差分、形態(tài)濾波器2110 對(duì)視頻信號(hào)進(jìn)行幀間差操作，對(duì)幀間差圖像進(jìn)行二值化，然后進(jìn)行形態(tài)濾波；車(chē)輛輪廓區(qū)域定位器2120 在濾波后的圖像的基礎(chǔ)上對(duì)每輛車(chē)的位置進(jìn)行定位；基于車(chē)輛輪廓區(qū)域的追蹤器2130:根據(jù)車(chē)輛的位置信息，對(duì)每輛車(chē)分別進(jìn)行追蹤，設(shè)計(jì)狀態(tài)存儲(chǔ)結(jié)構(gòu)記錄每輛車(chē)的動(dòng)態(tài)狀態(tài)；追蹤性能判決器2140 對(duì)追蹤結(jié)果進(jìn)行評(píng)價(jià)；車(chē)輛局部特征點(diǎn)提取器2150 提取追蹤失敗的車(chē)輛的特征點(diǎn)；基于車(chē)輛局部特征的追蹤器2160 根據(jù)特征點(diǎn)追蹤算法對(duì)特征點(diǎn)進(jìn)行追蹤，并根據(jù)追蹤結(jié)果更新?tīng)顟B(tài)存儲(chǔ)結(jié)構(gòu)中每輛車(chē)的狀態(tài)。以上內(nèi)容是結(jié)合最佳實(shí)施方案對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說(shuō)明，不能認(rèn)定本發(fā)明的具體實(shí)施局限于這些說(shuō)明。本領(lǐng)域的技術(shù)人員應(yīng)該理解，在不脫離由所附權(quán)利要求書(shū)限定的本發(fā)明的精神和范圍的情況下，還可以對(duì)其進(jìn)行形式和細(xì)節(jié)上的各種修改，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。
10
權(quán)利要求
1.一種基于輪廓和局部特征點(diǎn)的交通流信息感知方法，其特征在于包括以下步驟 遠(yuǎn)程配置交通流信息感知系統(tǒng)的系統(tǒng)參數(shù)，包括視頻分析的感興趣區(qū)域ROI和視頻圖像上像素距離與實(shí)際道路上空間距離之間的轉(zhuǎn)換關(guān)系F ；對(duì)視頻信號(hào)進(jìn)行幀間差操作、對(duì)幀間差圖像進(jìn)行二值化，然后進(jìn)行形態(tài)濾波，并在此基礎(chǔ)上對(duì)每輛車(chē)的位置進(jìn)行定位；根據(jù)車(chē)輛的位置信息，對(duì)每輛車(chē)分別進(jìn)行追蹤，設(shè)計(jì)狀態(tài)存儲(chǔ)結(jié)構(gòu)Memory記錄每輛車(chē)的動(dòng)態(tài)狀態(tài)；對(duì)追蹤結(jié)果進(jìn)行評(píng)價(jià)；根據(jù)評(píng)價(jià)結(jié)果，若追蹤結(jié)果不夠好則提取追蹤失敗的車(chē)輛的特征點(diǎn)，根據(jù)特征點(diǎn)追蹤算法對(duì)特征點(diǎn)進(jìn)行追蹤，并根據(jù)追蹤結(jié)果更新?tīng)顟B(tài)存儲(chǔ)結(jié)構(gòu)中每輛車(chē)的狀態(tài)；若追蹤結(jié)果足夠好則直接更新?tīng)顟B(tài)存儲(chǔ)結(jié)構(gòu)中每輛車(chē)的狀態(tài)； 計(jì)算車(chē)輛信息；對(duì)一段時(shí)間內(nèi)采集的車(chē)輛信息匯總、生成交通信息流文件，并定時(shí)向服務(wù)器發(fā)送交通信息流文件。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，遠(yuǎn)程配置交通流信息感知系統(tǒng)的系統(tǒng)參數(shù)的方法為101通過(guò)遠(yuǎn)程控制調(diào)整視頻信號(hào)采集攝像頭的姿勢(shì)，使可觀(guān)察區(qū)域達(dá)到最佳；102固定攝像頭姿勢(shì)后，系統(tǒng)向服務(wù)器端發(fā)送一張視頻圖片；103在遠(yuǎn)端服務(wù)器，通過(guò)人工介入的方式確定視頻分析的感興趣區(qū)域ROI ；104在遠(yuǎn)端服務(wù)器，通過(guò)人工介入的方式計(jì)算視頻圖像上像素距離與實(shí)際道路上空間距離之間的轉(zhuǎn)換關(guān)系F;105將ROI信息和轉(zhuǎn)換關(guān)系F作為系統(tǒng)參數(shù)發(fā)送至系統(tǒng)。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)視頻信號(hào)進(jìn)行幀間差操作、對(duì)幀間差圖像進(jìn)行二值化，然后進(jìn)行形態(tài)濾波，并在此基礎(chǔ)上對(duì)每輛車(chē)的位置進(jìn)行定位的方法為201:從視頻信號(hào)中獲取圖像序列，對(duì)圖像序列作如下幀間差操作dl(i) = I I⑴-Kt - 1) I，其中 代表圖像幀的時(shí)間標(biāo)號(hào)，I ( )表示 時(shí)刻的圖像，即當(dāng)前圖像，I ( -1) 為前一幀圖像，di(i)為幀間差圖像，具體為兩幀間差的絕對(duì)值構(gòu)成的圖像；202:對(duì)幀間差結(jié)果進(jìn)行二值化若dl(i; ι, J) > T1，則則dl(i; , j) — 0，否則 dl(i; , j) — 255，其中，i表示圖像像素行號(hào)，J表示圖像像素列號(hào)，Ι( ; , j)穌t 時(shí)刻圖像在位置(i，力的像素值，dl(i; ,力為 時(shí)刻的幀間差圖像在位置(i，j)上的像素值J1為圖像二值化的閾值；203在202的結(jié)果基礎(chǔ)上，對(duì)幀間差圖像dl(i)進(jìn)行形態(tài)濾波，即傳統(tǒng)的開(kāi)運(yùn)算和閉運(yùn)算；204在203的結(jié)果基礎(chǔ)上，確定每輛車(chē)的位置，其步驟為(1)在203結(jié)果中尋找像素值為0的連通區(qū)域，并用外切矩形框出各個(gè)連通區(qū)域，將這些矩形記為{知'",Sn],η為連通區(qū)域的個(gè)數(shù)；(2)去除以，…，幻中面積小于T2’且大于T2的矩形，其中Τ2、Τ2'均為設(shè)置的矩形區(qū)域的面積閾值，T2'較大，T2較小(3)在(2)的基礎(chǔ)上將之間距離小于T3的兩個(gè)矩形合并為同一矩形，其中T3為設(shè)置的兩矩形區(qū)域中心的距離閾值；(4)將最終留下來(lái)的矩形作為車(chē)輛的存在區(qū)域即車(chē)輛的位置IK1,…，乙}，左為檢測(cè)到的車(chē)輛的數(shù)量。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)車(chē)輛的位置信息，對(duì)每輛車(chē)分別進(jìn)行追蹤，設(shè)計(jì)狀態(tài)存儲(chǔ)結(jié)構(gòu)記錄每輛車(chē)的動(dòng)態(tài)狀態(tài)的方法為301建立狀態(tài)存儲(chǔ)結(jié)構(gòu)Memory，Memory中包含M個(gè)存儲(chǔ)單元，記為{mem_cell_l，… ，mem_cell_M}，存儲(chǔ)單元用于存儲(chǔ)在ROI范圍內(nèi)的車(chē)的動(dòng)態(tài)狀態(tài)，這里的M為常量，且大于處在ROI范圍內(nèi)的車(chē)輛的個(gè)數(shù)；302首先根據(jù)每個(gè)存儲(chǔ)單元中的車(chē)輛的歷史狀態(tài)預(yù)測(cè)在當(dāng)前幀中車(chē)輛期望出現(xiàn)的位置；303:當(dāng)前幀中檢測(cè)到的車(chē)輛的位置為IK1,…，VHt)},k(t)表示當(dāng)前幀中檢測(cè)到的車(chē)輛的數(shù)量，將這些區(qū)域與Memory的每個(gè)存儲(chǔ)單元中車(chē)輛的預(yù)測(cè)位置進(jìn)行匹配；304.根據(jù)匹配結(jié)果，將其當(dāng)前幀中匹配成功的車(chē)輛信息添加到Memory中對(duì)應(yīng)的存儲(chǔ)單元中去。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，對(duì)追蹤結(jié)果進(jìn)行評(píng)價(jià)的方法為401.當(dāng)前車(chē)輛數(shù)量為A( )，假設(shè)在Memory中有記錄的存儲(chǔ)單元個(gè)數(shù)為Μ’，Μ’ < Μ, M 為Memory所含存儲(chǔ)單元個(gè)數(shù)，若Μ’ < A ( )，則評(píng)價(jià)為“足夠好”，否則評(píng)價(jià)為“不夠好”；402.若Μ’< Α( )，表示此時(shí)有新的車(chē)輛或噪點(diǎn)出現(xiàn)在ROI中，則將新出現(xiàn)的車(chē)輛添加到Memory中的一個(gè)新存儲(chǔ)單元中；403.若Μ’= A ( )，表示ROI中車(chē)輛個(gè)數(shù)沒(méi)有變化，且每輛車(chē)都被追蹤上；404.若Μ’> A ( )，表示可能有車(chē)輛沒(méi)有檢測(cè)到，或者有車(chē)輛開(kāi)出了 ROI區(qū)域。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)評(píng)價(jià)結(jié)果，若追蹤結(jié)果不夠好，則提取Memory中追蹤失敗的車(chē)輛的特征點(diǎn)，利用特征點(diǎn)追蹤算法在當(dāng)前幀的ROI范圍內(nèi)追蹤特征點(diǎn)，并根據(jù)追蹤結(jié)果更新?tīng)顟B(tài)存儲(chǔ)結(jié)構(gòu)中每輛車(chē)的狀態(tài)，其方法為· ·405提取當(dāng)前幀的ROI區(qū)域中的Harris特征點(diǎn){Λ，…為ROI中特征點(diǎn)的個(gè)數(shù)；·406提取Memory中追蹤失敗的車(chē)輛的Harris特征點(diǎn)[Pf11, -,Pfn1]，...，... ,Pf{Ρ^,'-',Ρ^}表示第i輛追蹤失敗的車(chē)輛在上一幀中的特征點(diǎn)，其中i= 1，…L， L表示追蹤失敗的車(chē)輛的個(gè)數(shù)；·407利用特征點(diǎn)追蹤算法KLT算法，在{Λ，"'PN{t)}中追蹤每輛追蹤失敗的車(chē)輛的特征占.·408:對(duì)于{ /^，···，/￥^}，設(shè)407中成功追蹤到的特征點(diǎn)的個(gè)數(shù)為Si，Si ( Μ，若 Si / M > T4則認(rèn)為Memory中第i輛車(chē)通過(guò)局部特征點(diǎn)追蹤方法追蹤成功，否則追蹤失敗， 其中M為第i輛車(chē)的特征點(diǎn)個(gè)數(shù)，T4為成功追蹤到的特征點(diǎn)與特征點(diǎn)個(gè)數(shù)的比例；·409根據(jù)步驟408中追蹤成功的車(chē)輛的特征點(diǎn)，以及與之相匹配的特征點(diǎn)的位置變化情況，推測(cè)該車(chē)輛的運(yùn)動(dòng)情況，在此基礎(chǔ)上構(gòu)造車(chē)輛在當(dāng)前幀中的狀態(tài)，并將構(gòu)造結(jié)果添加至Ij Memory中的對(duì)應(yīng)存儲(chǔ)單元中；·410到目前為止，對(duì)Memory中上述追蹤方法都失效的車(chē)輛，若車(chē)輛的預(yù)測(cè)位置處在 ROI的邊界附近，則判定該車(chē)輛已經(jīng)開(kāi)出ROI區(qū)域，同時(shí)將該車(chē)輛信息移至緩存文件；否則認(rèn)為有車(chē)輛未能正確地追蹤到。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，計(jì)算車(chē)輛信息的方法為根據(jù)緩存文件中記錄的車(chē)輛的矩形區(qū)域的大小以及圖像位置與實(shí)際位置之間的變換關(guān)系F，計(jì)算得到車(chē)輛的實(shí)際大小；根據(jù)緩存文件中記錄的車(chē)輛在ROI中位置的變化情況，結(jié)合圖像位置與實(shí)際位置之間的變換關(guān)系F，計(jì)算得到車(chē)輛的運(yùn)動(dòng)速度。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，系統(tǒng)對(duì)一段時(shí)間內(nèi)的車(chē)輛信息緩存文件進(jìn)行整理、添加附加信息形成一段時(shí)間內(nèi)的交通信息流文件，并定時(shí)向服務(wù)器發(fā)送交通信息流文件的過(guò)程為501.對(duì)車(chē)輛信息緩存文件進(jìn)行整理，并添加附加信息，形成交通信息流文件；502.通過(guò)網(wǎng)絡(luò)將該交通信息流文件傳送至服務(wù)器端。
9.一種基于輪廓和局部特征點(diǎn)的交通流信息感知系統(tǒng)，其特征在于所述系統(tǒng)包括 遠(yuǎn)端服務(wù)器(2000)對(duì)遠(yuǎn)程交通流信息感知系統(tǒng)的系統(tǒng)參數(shù)進(jìn)行配置，在節(jié)點(diǎn)生成參數(shù)配置文件，采集視頻并將采集后的視頻數(shù)據(jù)輸出到視頻分析子系統(tǒng)(2100)；視頻分析子系統(tǒng)(2100)通過(guò)對(duì)視頻數(shù)據(jù)進(jìn)行一系列操作，計(jì)算車(chē)輛信息，并對(duì)一段時(shí)間內(nèi)采集的車(chē)輛信息匯總、生成交通信息流文件，定時(shí)向遠(yuǎn)端服務(wù)器發(fā)送交通信息流文件；其中，視頻分析子系統(tǒng)(2100)包括幀間差分、形態(tài)濾波器(2110)對(duì)視頻信號(hào)進(jìn)行幀間差操作，對(duì)幀間差圖像二值化，然后進(jìn)行形態(tài)濾波；車(chē)輛輪廓區(qū)域定位器(2120)在濾波后的圖像的基礎(chǔ)上對(duì)每輛車(chē)的位置進(jìn)行定位； 基于車(chē)輛輪廓區(qū)域的追蹤器(2130):根據(jù)車(chē)輛的位置信息，對(duì)每輛車(chē)分別進(jìn)行追蹤，設(shè)計(jì)狀態(tài)存儲(chǔ)結(jié)構(gòu)記錄每輛車(chē)的動(dòng)態(tài)狀態(tài)；追蹤性能判決器(2140)對(duì)追蹤結(jié)果進(jìn)行評(píng)價(jià)； 車(chē)輛局部特征點(diǎn)提取器(2150)提取追蹤失敗的車(chē)輛的特征點(diǎn)； 基于車(chē)輛局部特征的追蹤器(2160):根據(jù)特征點(diǎn)追蹤算法對(duì)特征點(diǎn)進(jìn)行追蹤，并根據(jù)追蹤結(jié)果更新?tīng)顟B(tài)存儲(chǔ)結(jié)構(gòu)中每輛車(chē)的狀態(tài)。
全文摘要
本發(fā)明公開(kāi)了一種基于輪廓和局部特征點(diǎn)的交通流信息感知方法及系統(tǒng)，屬于智能交通領(lǐng)域。本發(fā)明中通過(guò)遠(yuǎn)程控制對(duì)分析算法的參數(shù)進(jìn)行配置，能夠根據(jù)具體場(chǎng)景隨時(shí)設(shè)置或調(diào)整分析算法的各種參數(shù)，這極大地方便了交通流信息感知裝置的使用。本發(fā)明中對(duì)車(chē)輛的追蹤首先采用粗略的基于輪廓信息的追蹤、評(píng)價(jià)，以及選擇性地進(jìn)行基于局部特征點(diǎn)的追蹤，這種由粗到細(xì)的追蹤策略能自適應(yīng)不同的交通場(chǎng)景，并且執(zhí)行效率高。本發(fā)明中的交通信息流感知方法及裝置能直接應(yīng)用于智能交通系統(tǒng)。
文檔編號(hào)G08G1/01GK102426785SQ20111036745
公開(kāi)日2012年4月25日 申請(qǐng)日期2011年11月18日 優(yōu)先權(quán)日2011年11月18日
發(fā)明者丁小羽, 何佩君, 劉小虎, 婁蔓睿, 李平, 王橋, 陸巍, 陳碩, 黃凱明 申請(qǐng)人:東南大學(xué)