車載單目長波紅外相機(jī)行人識別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及一種車載單目長波紅外相機(jī)行人識別方法。
【背景技術(shù)】
[0002]紅外探測器技術(shù)的快速發(fā)展使得紅外相機(jī)的成本快速降低，成熟度不斷提升。這使得紅外相機(jī)在民用產(chǎn)品領(lǐng)域不斷拓展市場，車載輔助駕駛系統(tǒng)成為紅外相機(jī)展示其優(yōu)越特性的代表之一。
[0003]紅外探測是對環(huán)境中物體的紅外特性進(jìn)行探測，在夜間行駛條件下，紅外感知距離可達(dá)到車前燈探測距離的4倍以上。即使在雨、雪、霧等條件下也能有效工作。而人眼只能感受周圍的可見光信息，紅外探測系統(tǒng)可感知可見光以外的環(huán)境特性，是車輛對自身環(huán)境感知信息的有效拓展。而且紅外感知完全不受環(huán)境中可見光信息的干擾，即使在夜間迎面車燈強(qiáng)逆光的條件下也能正常工作，而在這種條件下人眼的感知會受到嚴(yán)重的干擾。
[0004]針對紅外相機(jī)在車輛輔助駕駛中的應(yīng)用，如何提供一種目標(biāo)自動識別信息處理方案，對環(huán)境中的行人等目標(biāo)進(jìn)行自動識別和危險度估計，進(jìn)而對危險源給出告警信息提示，成為了亟待解決的技術(shù)問題。

【發(fā)明內(nèi)容】

[0005](一 )要解決的技術(shù)問題
[0006]本發(fā)明要解決的技術(shù)問題是:如何對環(huán)境中的行人等目標(biāo)進(jìn)行自動識別和危險度估計，進(jìn)而對危險源給出告警信息提示。
[0007]( 二)技術(shù)方案
[0008]為了解決上述技術(shù)問題，本發(fā)明提供了一種車載單目長波紅外相機(jī)行人識別方法，包括以下步驟:
[0009]S1、將圖像的原始數(shù)據(jù)流進(jìn)行灰度映射，并對圖像進(jìn)行噪聲抑制和增強(qiáng)處理；同時對圖像作如下處理:對于不同距離的不同大小的行人目標(biāo)，在相機(jī)安裝位置及角度均一致的情況下，通過成像幾何關(guān)系計算出行人目標(biāo)在圖像中呈現(xiàn)的不同位置及大小，不同大小的行人目標(biāo)出現(xiàn)在圖像中特定的R0I區(qū)域內(nèi)，采用圖像遍歷的方式檢測圖像中的行人目標(biāo)，用遍歷窗口遍歷的方式檢測目標(biāo)時，僅在相應(yīng)的R0I區(qū)域內(nèi)進(jìn)行遍歷；
[0010]S2、將所述噪聲抑制和增強(qiáng)處理后的圖像數(shù)據(jù)進(jìn)行如下H0T-SP0T提取處理:對于每個像素，計算其鄰域的加權(quán)均值，再與預(yù)設(shè)閾值比較，若大于預(yù)設(shè)閾值，則作為有效候選點，否則作為無效候選點，對每個像素處理完之后然后將候選點或由候選點組成的候選區(qū)域合并后進(jìn)行候選點篩選，將篩選后的所有候選點進(jìn)行預(yù)濾波，得到有效候選點二值圖像，所述篩選的目的是對不能合并的孤立點或微小區(qū)域進(jìn)行篩選，以保證預(yù)濾波后能夠過濾出所有潛在目標(biāo)點；
[0011]S3、進(jìn)行第一級分類器檢測:對于特定大小的遍歷窗口，計算其對應(yīng)的R0I區(qū)域，然后在特定的遍歷窗口的對應(yīng)ROI區(qū)域中遍歷的過程中，驗證對應(yīng)位置HOT-SPOT屬性，如果該特定的遍歷窗口內(nèi)，無有效候選點，則不進(jìn)行分類器計算，否則進(jìn)行AdaBoost分類器計算；AdaBooSt分類器對圖像內(nèi)的所有大小的目標(biāo)進(jìn)行分類檢測，最終得到若干候選目標(biāo)，一個目標(biāo)若被若干遍歷窗口所檢出，貝運用窗口合并的方法對第一級分類器所輸出的候選目標(biāo)窗口進(jìn)行合并，以此來獲得有效的檢測目標(biāo)區(qū)域輸出；
[0012]進(jìn)行第二級分類器檢測:對第一級分類器檢測結(jié)果進(jìn)行SVM檢測；
[0013]S4、對前一幀所檢測的所有目標(biāo)和當(dāng)前幀檢測出的所有候選目標(biāo)進(jìn)行關(guān)聯(lián)；關(guān)聯(lián)后的數(shù)據(jù)作為Kalman濾波器的輸入，進(jìn)而基于目標(biāo)運動模型對量測值進(jìn)行濾波，從而輸出穩(wěn)定的目標(biāo)檢測窗口；
[0014]S5、基于行人站在前方水平的地面上這一條件，利用成像幾何原理進(jìn)行目標(biāo)距離估計，并基于輸出最小的估算距離的原則，對估計出的距離進(jìn)行結(jié)果修正；
[0015]S6、以目標(biāo)運動方向和速度、車輛運動方向和速度、距離估計信息三者作為輸入，依據(jù)預(yù)設(shè)告警策略對危險源給出相應(yīng)的告警提示信息。
[0016](三)有益效果
[0017]本發(fā)明首先通過圖像預(yù)處理對紅外原始圖像進(jìn)行降噪和增強(qiáng)處理，并H0T-SP0T選取對目標(biāo)潛在范圍及尺度進(jìn)行估計，同時通過R0I選取根據(jù)車載紅外相機(jī)的成像幾何信息對目標(biāo)出現(xiàn)的可能區(qū)域給出預(yù)測估計；再通過兩級分類器的組合進(jìn)行檢測有效地提升系統(tǒng)的檢測率并降低虛警率；然后利用目標(biāo)跟蹤對檢測出的目標(biāo)在時間軸上進(jìn)行跟蹤，一方面可提升系統(tǒng)性能和穩(wěn)定系統(tǒng)輸出，另一方面可估計出目標(biāo)的運動速度及生命周期，最后對目標(biāo)的危險度進(jìn)行估計并提供有效告警提示。從而實現(xiàn)了對環(huán)境中的行人等目標(biāo)進(jìn)行自動識別和危險度估計，進(jìn)而對危險源給出告警信息提示。
【附圖說明】
[0018]圖1為本發(fā)明實施例的總體流程圖；
[0019]圖2為圖像預(yù)處理流程圖；
[0020]圖3為R0I計算流程；
[0021]圖4為R0I原理不意圖；
[0022]圖5為H0T-SP0T提取算法流程圖；
[0023]圖6為級聯(lián)分類器檢測流程圖；
[0024]圖7為目標(biāo)跟蹤流程圖；
[0025]圖8為目標(biāo)距離估計流程圖；
[0026]圖9為告警流程圖。
[0027]圖10為告警等級示意圖。
【具體實施方式】
[0028]為使本發(fā)明的目的、內(nèi)容、和優(yōu)點更加清楚，下面結(jié)合附圖和實施例，對本發(fā)明的【具體實施方式】作進(jìn)一步詳細(xì)描述。
[0029]本發(fā)明針對紅外相機(jī)在車輛輔助駕駛中的應(yīng)用，提供了一種車載單目長波紅外相機(jī)行人識別方法，對環(huán)境中的行人等目標(biāo)進(jìn)行自動識別和危險度估計，進(jìn)而對危險源給出告警信息提示。
[0030]如圖1所示，本發(fā)明的車載單目長波紅外相機(jī)行人識別方法包括圖像預(yù)處理、R0I選取、H0T-SP0T選取、兩級分類器檢測、目標(biāo)跟蹤、距離估計和告警等步驟。圖像預(yù)處理對紅外原始圖像進(jìn)行降噪和增強(qiáng)處理；R0I選取根據(jù)車載紅外相機(jī)的成像幾何信息對目標(biāo)出現(xiàn)的可能區(qū)域給出預(yù)測估計；H0T-SP0T選取對目標(biāo)潛在范圍及尺度進(jìn)行估計；兩級分類器包括AdaBoost和SVM分類器，通過兩級分類器的組合能夠有效地提升系統(tǒng)的檢測率并降低虛警率；目標(biāo)跟蹤對檢測出的目標(biāo)在時間軸上進(jìn)行跟蹤，一方面可提升系統(tǒng)性能和穩(wěn)定系統(tǒng)輸出，另一方面可估計出目標(biāo)的運動速度及生命周期，最后對目標(biāo)的危險度進(jìn)行估計并提供有效告警提示。
[0031]本發(fā)明以紅外相機(jī)的實時圖像作為主要輸入，輔助以車輛自身運動信息、GPS信息、溫度信息等。紅外圖像以30幀的幀頻輸入算法，目標(biāo)識別算法以實時速度進(jìn)行目標(biāo)識別處理，以獲取圖像中的危險源信息。本發(fā)明能夠?qū)D像中的行人(或動物)目標(biāo)進(jìn)行自動識別。其中行人目標(biāo)包括獨立行走的行人、人群、騎自行車的人、騎電動車的人等。動物目標(biāo)包括鹿、牛、馬、野豬等。本發(fā)明將自動對圖像中的以上目標(biāo)進(jìn)行識別，并對其危險度進(jìn)行估計，進(jìn)而向駕駛員給出告警提示信息。
[0032]預(yù)處理流程用于將圖像的原始12bit數(shù)據(jù)流轉(zhuǎn)化為8bit灰度圖像，并對圖像進(jìn)行噪聲抑制和增強(qiáng)處理。主要包括三個模塊，灰度映射、噪聲抑制和圖像增強(qiáng)三個步驟。具體如圖2所示:
[0033]ROI (Reg1n-Of-1nterest)計算模塊用于計算出行人出現(xiàn)的可能區(qū)域，以減少識別算法的計算復(fù)雜度。高性能的目標(biāo)識別算法基于機(jī)器學(xué)習(xí)和模式識別等復(fù)雜算法，其檢測識別性能好，但運算復(fù)雜度也很高。機(jī)器學(xué)習(xí)算法的檢測策略基本為圖像全尺度窗口遍歷策略，其復(fù)雜度受待檢測目標(biāo)的尺度范圍影響，如果需檢測的目標(biāo)尺度變化范圍大，則遍歷窗口就會增加，則計算復(fù)雜度就會隨之加大。為優(yōu)化算法復(fù)雜度，進(jìn)一步提升算法的運算速度和可靠性，需結(jié)合具體車載應(yīng)用場景，開發(fā)R0I約束規(guī)則。在真實的應(yīng)用場景下，可以約定擬檢測行人的高度范圍，比如另外，考慮到車載的復(fù)雜應(yīng)用場景，車載紅外相機(jī)選用的是定焦的相機(jī)，故一旦相機(jī)在車輛上固定安裝，其所有的成像幾何內(nèi)、外參數(shù)都可以獲得。基于已知的相機(jī)內(nèi)外參數(shù)及特定的應(yīng)用場景，可計算出特定的目標(biāo)在圖像中可能出現(xiàn)的位置。圖3為R0I模塊的整體計算流程。
[0034]R0I算法采用圖像遍歷的方式檢測圖像中的行人目標(biāo)。如圖4所示，對于不同距離的不同大小的目標(biāo)，在相機(jī)安裝位置及角度均一致的情況下，可以通過成像幾何關(guān)系計算出其在圖像中會呈現(xiàn)的不同位置及大小。不同大小的目標(biāo)會出現(xiàn)在圖像中特定的R0I區(qū)域內(nèi)，如:最小的目標(biāo)對應(yīng)于[L1，L1’ ]的區(qū)域，中等大小的目標(biāo)對應(yīng)于[L2，L2’ ]區(qū)域，最大的目標(biāo)對應(yīng)于[L3，L3’ ]區(qū)域。這意味著，當(dāng)我們用遍歷窗口遍歷的方式去檢測目標(biāo)時，僅僅需要在相應(yīng)的R0I區(qū)域內(nèi)進(jìn)行遍歷即可。
[0035]基于上面的解析推理可以計算出符合成像規(guī)則的約束搜索區(qū)域。然而，在真實的應(yīng)用條件下，車輛懸掛并不穩(wěn)定，會隨著車輛載重情況及路面出現(xiàn)波動，為提高R0I約束策略的可靠性，需要結(jié)合實際使用過程中可能出現(xiàn)的各類情況，給出其冗余量。這里所用的冗余量為統(tǒng)計量。真實世界中的情況千差萬別，為了找到最優(yōu)的R0I冗余參數(shù)，需基于大量的外場測試數(shù)據(jù)庫進(jìn)行統(tǒng)計。首先對數(shù)據(jù)庫中的所有目標(biāo)進(jìn)行準(zhǔn)確標(biāo)記，進(jìn)而統(tǒng)計其在圖像中所處的位置和大小對應(yīng)關(guān)系，最終得出不同大小目標(biāo)所對應(yīng)的有效分布區(qū)間?；诔上駧缀斡嬎阒导皩嶋H統(tǒng)計冗余量，最終得出檢測算法的ROI約束策略，可有效降低算法的運算復(fù)雜度，且有助于提升算法性能。
[0