本發(fā)明涉及成像裝置及方法，具體涉及一種可集成化便攜式紅外透窗抓拍成像裝置及方法，尤其涉及一種在主動激光照明的條件下、結(jié)合姿態(tài)傳感器數(shù)據(jù)融合實現(xiàn)在運動狀態(tài)下穩(wěn)定抓拍行駛車輛內(nèi)部情形的紅外透窗抓拍成像裝置及方法。

背景技術(shù)：

1、現(xiàn)狀對交管部門在車輛行駛安全的檢測能力提出了更高的要求，特別是對行駛車輛內(nèi)部情形的檢測方面，例如是否超員行駛、是否客貨混裝、前后排乘客是否系安全帶等，都極大地關(guān)系著車輛的安全行駛以及發(fā)生安全事故時的有效救護(hù)時機(jī)，這些重要性主要體現(xiàn)在以下幾方面：

2、(1)車輛超員會導(dǎo)致車輛超載、輪胎負(fù)荷增加，從而引起車輛行駛中的不穩(wěn)定、車輛慣性增加、制動距離加長等，甚至發(fā)生車輛爆胎、制動失靈等；

3、(2)未系安全帶乘車人員以及超出核定人數(shù)的乘車人員通常沒有安全措施保護(hù)，發(fā)生事故時容易形成二次碰撞或擠壓，甚至摔出車外；

4、(3)若發(fā)生碰撞或側(cè)翻事故，乘車人數(shù)超出額定人數(shù)時，給乘車人員的逃生和救護(hù)工作帶來極大的困難；

5、(4)部分車輛進(jìn)行客貨混裝，在急剎車或碰撞事故時，貨物會在慣性的作用下對車內(nèi)人員會造成傷害，特別是在起火或者自燃事故時，貨物可能會加劇火情的蔓延和燃燒程度。

6、綜上，對車輛的透窗檢測是極其重要的工作。然而，傳統(tǒng)的交通卡口抓拍相機(jī)或者監(jiān)控相機(jī)通常只具備在日光條件下正面抓拍或者加裝近紅外led照明裝置實現(xiàn)在黑夜條件下正面抓拍功能，很難對車內(nèi)乘車人員以及乘車環(huán)境進(jìn)行準(zhǔn)確抓拍。最近兩年市面上出現(xiàn)一種采用大功率激光進(jìn)行正面和側(cè)面同時補(bǔ)光，并通過龍門架正面卡口相機(jī)配合道路側(cè)面相機(jī)同時對行駛車輛抓拍，實現(xiàn)車輛內(nèi)部乘車人員識別的新型透窗抓拍系統(tǒng)。然而傳統(tǒng)抓拍系統(tǒng)和新出現(xiàn)的透窗抓拍系統(tǒng)都具有較大的局限性，主要體現(xiàn)在以下幾點：

7、(1)多數(shù)私家車輛(包括轎車、商務(wù)型mpv、suv以及長方體載客汽車等)通常會在前擋風(fēng)玻璃選擇粘貼高透型車玻璃保護(hù)膜，側(cè)面車窗通常會選擇高反射型或者深色系車玻璃保護(hù)膜，傳統(tǒng)的卡口相機(jī)和監(jiān)控相機(jī)很難透過這些側(cè)面車窗膜拍攝到車內(nèi)情況；

8、(2)led燈珠在發(fā)光時近似朗伯體，通常為了加大爆閃或頻閃時的光功率，會將多顆led組成陣列形式，并施加透鏡，使得有效照射角度可以限制在60度～120度內(nèi)，但其能量集中度不高，且沒有很好的方向性。而大多數(shù)的車輛兩側(cè)與地面呈現(xiàn)一定的角度，當(dāng)日光或者led爆閃光照射在側(cè)面車窗，多數(shù)光線被反射，很難實現(xiàn)對車內(nèi)環(huán)境的照明，因此傳統(tǒng)led補(bǔ)光式抓拍相機(jī)無法實現(xiàn)對車輛內(nèi)部的抓拍；

9、(3)當(dāng)有較強(qiáng)日光或者led爆閃燈光對側(cè)窗玻璃進(jìn)行照射時，車窗外表面會反射大部分光線，少量進(jìn)入車輛內(nèi)部經(jīng)再次反射的偏振光含有有效信息，但其強(qiáng)度遠(yuǎn)小于車窗外表面的反射光，傳統(tǒng)抓拍相機(jī)只能拍攝到車窗玻璃外表面反射景象，甚至?xí)霈F(xiàn)局部飽和；

10、(4)新型抓拍系統(tǒng)通過安裝于正面龍門架上的正面抓拍相機(jī)對最外側(cè)車道車輛進(jìn)行正面抓拍，并用大功率激光進(jìn)行補(bǔ)光，同時觸發(fā)位于道路側(cè)邊的抓怕相機(jī)進(jìn)行抓拍，側(cè)邊相機(jī)同樣需要進(jìn)行大功率激光補(bǔ)光，這樣的系統(tǒng)雖然實現(xiàn)了約50％車輛的透窗抓拍，然而該系統(tǒng)亦具備一定的局限性，主要有以下幾點：

11、a、為了保證正面抓拍相機(jī)和側(cè)面抓拍相機(jī)能夠同時對同一輛車進(jìn)行抓拍，該系統(tǒng)在安裝時需要嚴(yán)格遵守廠家的安裝距離和高度，并由廠家主導(dǎo)安裝，且安裝完畢后需要嚴(yán)格固定，不得隨意移動，對場景適應(yīng)性較差；

12、b、正面抓拍相機(jī)和側(cè)面抓拍相機(jī)都需要較大功率激光進(jìn)行補(bǔ)光，且瞬時功率不小于50w，特別是側(cè)邊相機(jī)距離車輛較近(4～6米)，對過路行人存在眼睛損傷風(fēng)險；

13、c、由于安裝位置的限定，向內(nèi)第二車道和第三車道上的車輛會被側(cè)邊第一車道車輛遮擋而無法被照明和拍攝，因此側(cè)面透窗抓拍相機(jī)只能實現(xiàn)道路側(cè)邊單車道的抓拍；

14、d、系統(tǒng)售價較高，不宜大量采購安裝。

15、綜上，對車輛的透窗檢測工作是極其重要的，但目前的檢測技術(shù)手段具有一定的局限性。

技術(shù)實現(xiàn)思路

1、本發(fā)明目的是提供一種可集成化便攜式紅外透窗抓拍成像裝置及方法，以解決現(xiàn)有的透窗抓拍裝置對場景適應(yīng)性較差、對過路行人存在眼睛損傷風(fēng)險、只能實現(xiàn)道路側(cè)邊單車道的抓拍、只能拍攝到車窗玻璃外表面反射景象、難以實現(xiàn)對車輛內(nèi)部的抓拍以及成本過高的技術(shù)問題。

2、本發(fā)明在主動激光照明的條件下、結(jié)合姿態(tài)傳感器數(shù)據(jù)融合實現(xiàn)在運動狀態(tài)下穩(wěn)定抓拍行駛車輛內(nèi)部情形的紅外透窗抓拍成像裝置及方法。通過全局快門相機(jī)對行駛車輛的車輛形態(tài)和運動信息進(jìn)行識別，計算當(dāng)前主動照明激光器的有效時間以及透窗抓拍相機(jī)的曝光時間，并結(jié)合姿態(tài)傳感器的數(shù)據(jù)對控制系統(tǒng)進(jìn)行反饋以補(bǔ)償當(dāng)前運動狀態(tài)下清晰成像所需要的俯仰位移量，從而避免運動時的抖動實現(xiàn)對行駛車輛外部以及內(nèi)部清晰成像。其中高清全局快門相機(jī)工作在可見光波段，用于識別車輛的主要特征：車輛類別、車輛顏色、車牌號碼等；主動激光照明激光器出射激光為經(jīng)過調(diào)制的近紅外波段偏振光；透窗抓拍相機(jī)的光學(xué)系統(tǒng)可以接收與主動激光照明偏振態(tài)一致的偏振光，且在近紅外波段響應(yīng)良好；其次，全局快門相機(jī)、主動照明激光器和透窗抓拍相機(jī)均安裝于旋轉(zhuǎn)臺，實現(xiàn)全方位拍攝。

3、為了實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

4、一種可集成化便攜式紅外透窗抓拍成像裝置，其特殊之處在于：包括旋轉(zhuǎn)臺和設(shè)置在旋轉(zhuǎn)臺上的采集單元、驅(qū)動單元、處理單元以及激光出射組件；

5、所述旋轉(zhuǎn)臺用于帶動采集單元進(jìn)行方位旋轉(zhuǎn)和俯仰旋轉(zhuǎn)；

6、所述采集單元用于采集待拍物的圖像、旋轉(zhuǎn)臺的方位旋轉(zhuǎn)角度和俯仰旋轉(zhuǎn)角度，以及整個裝置的俯仰傾角波動量和加速度波動量；

7、所述驅(qū)動單元用于驅(qū)動旋轉(zhuǎn)臺以及采集單元工作；

8、所述處理單元分別與采集單元和驅(qū)動單元連接，用于處理圖像、方位旋轉(zhuǎn)角度和俯仰旋轉(zhuǎn)角度、俯仰傾角波動量和加速度波動量，并基于處理結(jié)果驅(qū)動所述驅(qū)動單元做相應(yīng)工作；

9、所述激光出射組件與驅(qū)動單元連接，用于在采集單元工作時向待拍物發(fā)送近紅外波段偏振光。

10、進(jìn)一步地，所述采集單元包括均與驅(qū)動單元連接的方位絕對式編碼器、俯仰絕對式編碼器、姿態(tài)傳感器電路、全局快門相機(jī)以及透窗抓拍相機(jī)；

11、所述方位絕對式編碼器用于采集旋轉(zhuǎn)臺的方位旋轉(zhuǎn)角度并發(fā)送至處理單元；

12、所述俯仰絕對式編碼器用于采集旋轉(zhuǎn)臺的俯仰旋轉(zhuǎn)角度并發(fā)送至處理單元；

13、所述姿態(tài)傳感器電路用于采集整個裝置的俯仰傾角波動量和加速度波動量并發(fā)送至處理單元；

14、所述全局快門相機(jī)用于采集待拍物的外部特征圖像并發(fā)送至處理單元；

15、所述透窗抓拍相機(jī)用于采集待拍物的內(nèi)部特征圖像并發(fā)送至處理單元。

16、進(jìn)一步地，所述旋轉(zhuǎn)臺包括u型云臺支架、球形防護(hù)罩、固定殼體；

17、所述u型云臺支架安裝在固定殼體的頂部，其u型開口朝上；

18、所述球形防護(hù)罩安裝在u型云臺支架的u型開口處，全局快門相機(jī)、激光出射組件以及透窗抓拍相機(jī)均安裝在球形防護(hù)罩內(nèi)；

19、所述驅(qū)動單元包括電源管理模塊、方位電機(jī)驅(qū)動電路、方位無刷直流電機(jī)、俯仰電機(jī)驅(qū)動電路、激光驅(qū)動電路和俯仰中空軸電機(jī)；

20、所述電源管理模塊設(shè)置在固定殼體內(nèi)，其輸入端與嵌裝在固定殼體側(cè)壁上的供電連接器連接，其第一輸出端連接有電路板a，其第二輸出端通過導(dǎo)電滑環(huán)連接有電路板b；所述電路板b安裝在u型云臺支架內(nèi)；所述導(dǎo)電滑環(huán)設(shè)置在固定殼體與u型云臺支架之間，用于實現(xiàn)固定殼體與u型云臺支架之間相對旋轉(zhuǎn)時的相應(yīng)電連接；

21、所述方位電機(jī)驅(qū)動電路設(shè)置在電路板a上，其輸入端與處理單元連接，其輸出端與方位無刷直流電機(jī)的輸入端連接；

22、所述方位無刷直流電機(jī)設(shè)置在固定殼體內(nèi)，方位無刷直流電機(jī)的定子與固定殼體固連，方位無刷直流電機(jī)的轉(zhuǎn)子上端穿過導(dǎo)電滑環(huán)的中心與u型云臺支架連接，用于帶動旋轉(zhuǎn)臺進(jìn)行方位旋轉(zhuǎn)；所述方位絕對式編碼器安裝在方位無刷直流電機(jī)的轉(zhuǎn)子下端；

23、所述導(dǎo)電滑環(huán)的定子空套在方位無刷直流電機(jī)的轉(zhuǎn)子上，并與固定殼體固連；導(dǎo)電滑環(huán)的轉(zhuǎn)子固定套裝在方位無刷直流電機(jī)的轉(zhuǎn)子上，并與u型云臺支架固連；

24、所述俯仰電機(jī)驅(qū)動電路設(shè)置在電路板b上，其輸入端與處理單元連接，其輸出端與俯仰中空軸電機(jī)的輸入端連接；

25、所述激光驅(qū)動電路設(shè)置在電路板b上，其輸入端與處理單元連接，其輸出端與激光出射組件連接；

26、所述俯仰中空軸電機(jī)設(shè)置在u型云臺支架的一側(cè)側(cè)壁上，其輸出端與球形防護(hù)罩連接，用于驅(qū)動球形防護(hù)罩旋轉(zhuǎn)，以實現(xiàn)旋轉(zhuǎn)臺的俯仰旋轉(zhuǎn)；

27、所述俯仰絕對式編碼器設(shè)置在u型云臺支架的另一側(cè)側(cè)壁上，其輸入端與球形防護(hù)罩連接，其輸出端與處理單元連接；

28、所述俯仰絕對式編碼器和俯仰中空軸電機(jī)與球形防護(hù)罩的連接點位于其同一直徑上；

29、所述姿態(tài)傳感器電路安裝在電路板b上。

30、進(jìn)一步地，所述處理單元包括信號處理電路和數(shù)據(jù)融合處理電路；

31、所述信號處理電路設(shè)置在電路板a上，分別與方位絕對式編碼器的輸出端、方位電機(jī)驅(qū)動電路的輸入端連接，還通過導(dǎo)電滑環(huán)與數(shù)據(jù)融合處理電路連接，還通過設(shè)置在電路板a上的數(shù)據(jù)輸出電路與嵌裝在固定殼體側(cè)壁上的數(shù)據(jù)連接器連接；

32、所述數(shù)據(jù)融合處理電路設(shè)置在電路板b上，分別與姿態(tài)傳感器電路的輸出端、俯仰絕對式編碼器的輸出端、全局快門相機(jī)的輸入/輸出端、透窗抓拍相機(jī)的輸入/輸出端、俯仰電機(jī)驅(qū)動電路的輸入端、以及激光驅(qū)動電路輸入端連接。

33、進(jìn)一步地，所述激光出射組件包括嵌在球形防護(hù)罩側(cè)壁上的發(fā)射窗口，以及設(shè)置在球形防護(hù)罩內(nèi)的激光器和激光整形與發(fā)射光學(xué)系統(tǒng)；

34、所述激光器的輸入端與激光驅(qū)動電路的輸出端連接，用于發(fā)射紅外激光；

35、所述激光整形與發(fā)射光學(xué)系統(tǒng)設(shè)置在激光器的出射端，其焦面與激光器的發(fā)射面重合，用于對紅外激光進(jìn)行整形、擴(kuò)束后調(diào)制為偏振光，通過發(fā)射窗口至待拍物。

36、進(jìn)一步地，所述透窗抓拍相機(jī)包括嵌在球形防護(hù)罩側(cè)壁上的接收窗口，以及設(shè)置在球形防護(hù)罩內(nèi)的接收光學(xué)系統(tǒng)、微透鏡陣列和cmos圖像傳感器模塊；

37、所述接收光學(xué)系統(tǒng)的接收端與接收窗口對應(yīng)，用于接收經(jīng)待拍物反射的激光并進(jìn)行匯聚；

38、所述cmos圖像傳感器模塊設(shè)置在接收光學(xué)系統(tǒng)的出射端，其感光面與接收光學(xué)系統(tǒng)的最佳相面重合，用于成像并將相應(yīng)的圖像信息傳輸至數(shù)據(jù)融合處理電路；

39、所述微透鏡陣列設(shè)置在接收光學(xué)系統(tǒng)與cmos圖像傳感器模塊之間的光路上，用于篩選偏振光。

40、一種可集成化便攜式紅外透窗抓拍成像方法，采用上述的可集成化便攜式紅外透窗抓拍成像裝置，其特殊之處在于，包括以下步驟：

41、步驟1、采集單元依次采集待拍物的外部特征圖像g1、g2…gn，n≥2，同時持續(xù)采集整個裝置的俯仰傾角波動量a11、a12、a13…a1m和加速度波動量a11、a12、a13…a1j，m≥2，j≥2，發(fā)送至處理單元；

42、步驟2、處理單元接收外部特征圖像g1，并讀取俯仰傾角波動量a12、a13…a1m和加速度波動量a11、a12…a1j，1≤m≤m，1≤j≤j，計算平均值和俯仰傾角波動量a12、a13…a1m和加速度波動量a11、a12…a1j均為處理單元接收下一幅外部特征圖像g2之前接收的數(shù)據(jù)；

43、步驟3、驅(qū)動單元驅(qū)動旋轉(zhuǎn)臺進(jìn)行反向俯仰補(bǔ)償旋轉(zhuǎn)運動，補(bǔ)償量為δa1；

44、步驟4、處理單元接收外部特征圖像g2，采用步驟2的方法獲得算術(shù)平均值δa2和δa2，并計算相鄰兩個兩次算術(shù)平均值的絕對值差δe＝|δa1-δa2|，從而計算當(dāng)前激光出射組件的照明時間t：

45、t＝t*k

46、其中，t為激光出射組件基本定時，為激光照明時間系數(shù)；

47、步驟5、驅(qū)動單元驅(qū)動旋轉(zhuǎn)臺進(jìn)行反向俯仰補(bǔ)償旋轉(zhuǎn)運動，補(bǔ)償量為δa2；并驅(qū)動激光出射組件向待拍物發(fā)送近紅外波段偏振光，照明時間為t；

48、步驟6、采集單元在近紅外波段偏振光照射至待拍物時，連續(xù)采集x幅待拍物的內(nèi)部特征圖像，x為4的倍數(shù)且為正整數(shù)；

49、步驟7、處理單元基于x幅內(nèi)部特征圖像建立stokes矢量模型，還原出待拍物內(nèi)部偏振光的信息圖像p1；

50、步驟8、采用步驟4-7的方法依次通過處理外部特征圖像g3...gn，獲取y幅信息圖像p2…py，y＝n-1；完成紅外透窗抓拍成像，所成圖像包括外部特征圖像g1、g2…gn和信息圖像p2…py。

51、進(jìn)一步地，步驟1具體為：

52、全局快門相機(jī)依次采集待拍物的外部特征圖像g1、g2…gn，姿態(tài)傳感器電路持續(xù)采集成像裝置的俯仰傾角波動量a11、a12、a13…a1m和加速度波動量a11、a12、a13…a1j，發(fā)送至數(shù)據(jù)融合處理電路；

53、步驟2具體為：

54、數(shù)據(jù)融合處理電路接收外部特征圖像g1，并讀取俯仰傾角波動量a12、a13…a1m和加速度波動量a11、a12…a1j，計算平均值和

55、

56、進(jìn)一步地，步驟3具體為：

57、數(shù)據(jù)融合處理電路通過俯仰電機(jī)驅(qū)動電路驅(qū)動俯仰中空軸電機(jī)帶動球形防護(hù)罩進(jìn)行反向俯仰補(bǔ)償旋轉(zhuǎn)運動，補(bǔ)償量為δa1；

58、步驟4具體為：

59、數(shù)據(jù)融合處理電路接收外部特征圖像g2，采用步驟2的方法獲得算術(shù)平均值δa2和δa2，并計算相鄰兩個兩次算術(shù)平均值的絕對值差δe＝|δa1-δa2|，從而計算當(dāng)前激光出射組件的照明時間t＝t*k；

60、步驟5具體為：

61、數(shù)據(jù)融合處理電路通過俯仰電機(jī)驅(qū)動電路驅(qū)動俯仰中空軸電機(jī)帶動球形防護(hù)罩進(jìn)行反向俯仰補(bǔ)償旋轉(zhuǎn)運動，補(bǔ)償量為δa2；并驅(qū)動激光出射組件向待拍物發(fā)送近紅外波段偏振光，照明時間為t，所用激光波段為近紅外波段。

62、進(jìn)一步地，步驟6具體為：

63、透窗抓拍相機(jī)在近紅外波段偏振光照射至待拍物時，連續(xù)曝光四次，每次曝光時間為1/4t，得到四幅待拍物的內(nèi)部特征圖像；

64、步驟7具體為：

65、數(shù)據(jù)融合處理電路基于四幅內(nèi)部特征圖像建立stokes矢量模型，還原出待拍物內(nèi)部偏振光的信息圖像p1。

66、本發(fā)明的有益效果：

67、1、本發(fā)明提供的可集成化便攜式紅外透窗抓拍成像裝置體積小巧，對外機(jī)械接口和物理接口簡單，方便安裝，可固定于交警巡邏車輛頂部進(jìn)行道路任一車道巡邏抓拍，也可以通過三角支架放置于道路側(cè)邊進(jìn)行透窗抓拍檢測，亦可下掛于無人機(jī)進(jìn)行無人巡邏抓拍，應(yīng)用場景廣泛。

68、2、本發(fā)明采用的旋轉(zhuǎn)臺包括u型云臺支架和固定殼體，可以實現(xiàn)方位0°～360°和俯仰±45°的自由調(diào)整，場景適應(yīng)性強(qiáng)。

69、3、本發(fā)明融合了姿態(tài)傳感器數(shù)據(jù)，并通過閉環(huán)控制運動補(bǔ)償消除了抖動對清晰度的影響，實現(xiàn)了在運動狀態(tài)下的可靠抓拍。

70、4、本發(fā)明融合了姿態(tài)傳感器數(shù)據(jù)，計算出激光照明時間系數(shù)，通過激光驅(qū)動電路對激光點亮?xí)r間實時調(diào)整，避免透窗抓拍過程的過曝和欠曝。

71、5、本發(fā)明采用了全局快門相機(jī)，能夠在車輛駛?cè)肫湟晥鰞?nèi)時自動開啟曝光觸發(fā)功能，而不需要外部觸發(fā)信號。

72、6、本發(fā)明可在運動狀態(tài)下進(jìn)行抓拍，裝置和被抓拍車輛相對速度較小，可使用低功率激光進(jìn)行主動照射，平均功率不大于5mw，符合classⅱ安全等級，避免對人眼的傷害。

73、7、本發(fā)明采用了處于近紅外波段的激光主動照明，利用其高能量集中度和方向性，使得光線可以順利透過車窗，為透窗抓拍功能的實現(xiàn)提供了必要條件，若采用常用的780nm、808nm、850nm、940nm等常用近紅外波段激光輔助照明應(yīng)在本發(fā)明保護(hù)之列。

74、8、本發(fā)明對激光進(jìn)行整形與擴(kuò)束，增大了激光的照射范圍并對光斑形狀進(jìn)行整形，并將激光調(diào)制為偏振光。

75、9、本發(fā)明在接收光學(xué)系統(tǒng)與cmos圖像傳感器模塊之間的光路上施加了微透鏡陣列，能夠篩選出只與調(diào)制激光偏振態(tài)相關(guān)的偏振光，進(jìn)一步去除了干擾光線。

76、10、本發(fā)明通過透窗抓拍相機(jī)連續(xù)拍攝的4幅圖像建立stokes矢量模型，還原出車內(nèi)偏振光的信息圖像，從而可以清晰分辨出車內(nèi)情形，例如乘車人員、貨物等。

77、11、本發(fā)明輸出兩種相機(jī)抓拍圖像數(shù)據(jù)，其中全局快門相機(jī)工作在可見光波段，能夠識別車輛的主要外部特征：車輛類別、車輛顏色、車牌號碼等；透窗抓拍相機(jī)工作在近紅外波段，能夠抓拍車輛內(nèi)部情形，便于準(zhǔn)確定位相應(yīng)車輛。