本發(fā)明涉及光學(xué)安防監(jiān)控，特別是一種可變焦的多路相機(jī)融合裝置和方法。

背景技術(shù)：

1、目前安防監(jiān)控鄰域中常用的多路相機(jī)由彩色相機(jī)、熱像儀和紅外補(bǔ)光模塊組成，但此類組合方式只是實(shí)現(xiàn)多路采集的目的，無(wú)法將多路相機(jī)數(shù)據(jù)進(jìn)行有效融合。尤其在長(zhǎng)焦模式下，由于視場(chǎng)角較小，尤其是熱像儀，其很難區(qū)分目前所視區(qū)域具體空間位置。

2、傳統(tǒng)多路融合的方式使用圖像特征匹配的方式，但是存在問(wèn)題如下。第一，圖像特征計(jì)算分析復(fù)雜度較高，對(duì)設(shè)備計(jì)算資源依賴高，往往前端輕量級(jí)設(shè)備難以滿足此類算力要求；第二，目前多路相機(jī)因?yàn)槌上裨淼膮^(qū)別，難以進(jìn)行圖形特征計(jì)算，完成圖像匹配；第三，設(shè)備在工作的工程中因?yàn)樵O(shè)備水平角、傾斜角以及焦距的變化，在較高傾斜角下，感興趣區(qū)域看上去是以弧形軌跡在屏幕上移動(dòng)，導(dǎo)致圖像畸變。傳統(tǒng)的圖像匹配的算法難以完成融合目的，且在監(jiān)控系統(tǒng)中難以滿足實(shí)時(shí)響應(yīng)的要求，比較費(fèi)時(shí)費(fèi)力，且效果不能保證。

3、此外，目前市場(chǎng)上的類似pzt監(jiān)控相機(jī)可以對(duì)目標(biāo)進(jìn)行標(biāo)簽綁定，但僅限于單路相機(jī)。無(wú)法在一路相機(jī)上標(biāo)注的同時(shí)，在另一路相機(jī)上同步顯示標(biāo)簽位置。鑒于此，本發(fā)明公開(kāi)了一種可變焦的多路相機(jī)融合裝置和方法，旨在解決現(xiàn)有監(jiān)控?cái)z像機(jī)在執(zhí)行搖攝、傾斜操作時(shí)、長(zhǎng)焦距工作時(shí)，無(wú)法實(shí)施定位所視區(qū)域位置的問(wèn)題，同時(shí)解決多路相機(jī)工作過(guò)程中標(biāo)簽位置無(wú)法共享的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述問(wèn)題，提供一種可變焦的多路相機(jī)融合裝置和方法，通過(guò)將多路相機(jī)融合拆解為兩兩相機(jī)間的圖像融合，結(jié)合相機(jī)之間同一焦距下的圖像映射關(guān)系、環(huán)視圖像與云臺(tái)位置關(guān)系映射，實(shí)現(xiàn)不同成像原理的多路相機(jī)之間對(duì)于具體空間位置的圖像特征計(jì)算和圖像匹配，克服小視場(chǎng)長(zhǎng)焦模式下對(duì)具體空間位置與相機(jī)成像區(qū)域的區(qū)分和匹配定位；通過(guò)同步不同多路相機(jī)之間的標(biāo)簽位置，實(shí)現(xiàn)對(duì)多路相機(jī)進(jìn)行同步標(biāo)簽綁定和位置顯示；通過(guò)計(jì)算不同類型相機(jī)間的圖像映射矩陣，實(shí)現(xiàn)了各相機(jī)采集圖像之間的精準(zhǔn)對(duì)應(yīng)和融合，提高了圖像融合的質(zhì)量；通過(guò)兩兩相機(jī)間圖像坐標(biāo)、絕對(duì)角坐標(biāo)間的相互轉(zhuǎn)換，實(shí)現(xiàn)相機(jī)之間圖像位置的精準(zhǔn)匹配和定位，算法簡(jiǎn)單且圖像匹配定位效果好，解決了因設(shè)備角度變化和相機(jī)圖像間興趣區(qū)域的弧形移動(dòng)導(dǎo)致的圖像畸變問(wèn)題，提高了圖像融合的準(zhǔn)確性。

2、為達(dá)到上述目的，本發(fā)明所采用的技術(shù)方案如下：一種可變焦的多路相機(jī)融合方法，包括多路相機(jī)和兩軸云臺(tái)，所述多路相機(jī)包括至少2種類型不同的相機(jī)，所述多路相機(jī)之間的圖像融合可拆解為兩兩相機(jī)之間的圖像相互融合，其中兩種不同類型相機(jī)的圖像融合包括以下步驟：

3、步驟1：獲取相機(jī)一與相機(jī)二的光軸中心位置（x1center，y1center），（x2center，y2center），并獲取相機(jī)一和相機(jī)二的探測(cè)器物理尺寸（h1，w1），（h2，w2）；

4、步驟2：計(jì)算相機(jī)一與相機(jī)二在同一焦距f0下的圖像映射矩陣m1、m2；

5、步驟3：將相機(jī)一鏡頭焦距調(diào)整至中間焦距fmid，基于兩軸云臺(tái)轉(zhuǎn)動(dòng)，建立環(huán)視圖像 src，并建立環(huán)視圖像與兩軸云臺(tái)位置之間的對(duì)應(yīng)關(guān)系表m；

6、步驟4：在相機(jī)二的圖像界面內(nèi)選取興趣區(qū)域，所述興趣區(qū)域四個(gè)頂點(diǎn)的圖像坐標(biāo)分別為a（xr1，yr1）、b（xr2，yr2）、c（xr3，yr3）、d（xr4，yr4），所述興趣區(qū)域四個(gè)頂點(diǎn)圍成圖像 src0；

7、步驟5：根據(jù)步驟2中圖像映射矩陣m2，獲取所述圖像 src0中四個(gè)頂點(diǎn)在相機(jī)一中對(duì)應(yīng)的圖像坐標(biāo)a’（x1，y1）、b’（x2，y2）、c’（x3，y3）、d’（x4，y4）；

8、步驟6：將步驟5中相機(jī)一對(duì)應(yīng)的圖像坐標(biāo)轉(zhuǎn)換為對(duì)應(yīng)相機(jī)二中的絕對(duì)角坐標(biāo)

9、a’（x1，y1）→a’’（θ1，φ1）

10、b’（x2，y2）→b’’（θ2，φ2）

11、c’（x3，y3）→c’’（θ3，φ3）

12、d’（x4，y4）→d’’（θ4，φ4）

13、步驟7：將步驟6中所述對(duì)應(yīng)相機(jī)二中的絕對(duì)角坐標(biāo)轉(zhuǎn)換為相機(jī)一圖像下的圖像坐標(biāo)

14、a’’（θ1，φ1）→a’（x1c，y1c）

15、b’’（θ2，φ2）→b’（x2c，y2c）

16、c’’（θ3，φ3）→c’（x3c，y3c）

17、d’’（θ4，φ4）→d’（x4c，y4c）

18、步驟8：根據(jù)當(dāng)前兩軸云臺(tái)角度θy，φy，獲取相機(jī)一在所述環(huán)視圖像 src中的圖像切片，提取相機(jī)一圖像下的圖像坐標(biāo)a’（x1c，y1c），b’（x2c，y2c），c’（x3c，y3c），d’（x4c，y4c）并圍成的圖像區(qū)域 src1，實(shí)現(xiàn)相機(jī)一與相機(jī)二中對(duì)應(yīng)標(biāo)簽位置的傳遞與定位；

19、步驟9：相機(jī)一與相機(jī)二之間的圖像融合最終顯示為

20、 src out?= a?×? src0?+?(1- a)?×? src1

21、其中 a為融合系數(shù)，取值范圍為[0,1]。

22、優(yōu)選的，所述相機(jī)一和相機(jī)二可分別采用熱像相機(jī)、白色相機(jī)、彩色相機(jī)、黑白相機(jī)和紅外相機(jī)中的一種。

23、優(yōu)選的，所述步驟2中的圖像映射矩陣m1、m2滿足以下條件

24、

25、其中，（ x， y）是原始圖像中的坐標(biāo)；（ x’， y’）是對(duì)象圖像中的坐標(biāo)；a、b、c、d是控制旋轉(zhuǎn)、縮放和裁剪的矩陣元素；t x、t y是平移量。

26、優(yōu)選的，所述步驟3中環(huán)視圖像與兩軸云臺(tái)位置之間的對(duì)應(yīng)關(guān)系表m的水平角度分辨率滿足fovx≤2arctan（w1/（2fmax））；垂直角度分辨率滿足fovy≤2arctan（h1/（2fmax）），其中fmax為相機(jī)的最長(zhǎng)焦距；w1為相機(jī)一探測(cè)器寬度；h1為相機(jī)一探測(cè)器高度。

27、優(yōu)選的，所述步驟6中相機(jī)一對(duì)應(yīng)的圖像坐標(biāo)轉(zhuǎn)換為對(duì)應(yīng)相機(jī)二中的絕對(duì)角坐標(biāo)的轉(zhuǎn)換公式如下：

28、

29、其中θy，φy分別為兩軸云臺(tái)當(dāng)前的水平角度與俯仰角度；

30、 γ滿足；

31、 α， β滿足；

32、xfovr為相機(jī)二水平方向視場(chǎng)角，滿足

33、yfovr為相機(jī)二垂直方向視場(chǎng)角，滿足

34、其中，xn、yn為點(diǎn)在相機(jī)二圖像中像素位置；xpixels，ypixels為相機(jī)二圖像寬與高的像素?cái)?shù)量；fr為相機(jī)二鏡頭當(dāng)前焦距；w2為相機(jī)二探測(cè)器寬度；h2為相機(jī)二探測(cè)器高度。

35、優(yōu)選的，所述步驟7中對(duì)應(yīng)相機(jī)二中的絕對(duì)角坐標(biāo)轉(zhuǎn)換為相機(jī)一圖像下的圖像坐標(biāo)的轉(zhuǎn)換公式為：

36、

37、

38、

39、其中，xfovc為相機(jī)一水平視場(chǎng)角；yfovc為相機(jī)一垂直視場(chǎng)角；h1為相機(jī)一探測(cè)器高度；w1為相機(jī)一探測(cè)器寬度；xpixels、ypixels為相機(jī)二圖像寬與高的像素?cái)?shù)量；fmid為所述相機(jī)一鏡頭焦距調(diào)整至中間時(shí)的焦距；

40、 δ滿足；

41、 ε滿足；其中，θc為兩軸云臺(tái)水平角度變化。

42、優(yōu)選的，所述絕對(duì)角坐標(biāo)轉(zhuǎn)換為相機(jī)一圖像下的圖像坐標(biāo)過(guò)程中，所述兩軸云臺(tái)水平角度與俯仰角度不變、焦距采用所述步驟3中所述相機(jī)一鏡頭焦距調(diào)整至中間時(shí)的焦距fmid。

43、一種可變焦的多路相機(jī)融合裝置，包括彩色相機(jī)；熱像相機(jī)；用于紅外補(bǔ)光來(lái)輔助彩色相機(jī)和熱像相機(jī)清晰成像的紅外補(bǔ)光激光器；用于接收紅外補(bǔ)光激光器在目標(biāo)物上的反射光并進(jìn)行成像與輸出的紅外接收相機(jī)；用于調(diào)節(jié)紅外補(bǔ)光激光器水平和俯仰角度轉(zhuǎn)動(dòng)的激光器云臺(tái)；用于調(diào)節(jié)整個(gè)多路相機(jī)融合裝置的指向位置并實(shí)時(shí)回傳位置信息的兩軸云臺(tái)和用于控制各模塊轉(zhuǎn)動(dòng)、采集并回傳數(shù)據(jù)的主控模塊；所述彩色相機(jī)、熱像相機(jī)、紅外補(bǔ)光激光器、紅外接收相機(jī)、激光器云臺(tái)和主控模塊安裝固定于所述兩軸云臺(tái)上。

44、優(yōu)選的，所述彩色相機(jī)和熱像相機(jī)采用可回傳焦距數(shù)據(jù)的40倍連續(xù)變焦型相機(jī)。

45、優(yōu)選的，所述紅外補(bǔ)光激光器的照射位置與激光光斑大小可跟隨所述紅外接收相機(jī)的焦距數(shù)據(jù)自行調(diào)整，保證照射位置的成像位于所述紅外接收相機(jī)的中部位置。

46、由于采用上述技術(shù)方案，本發(fā)明具有以下有益效果。

47、（1）本發(fā)明通過(guò)將多路相機(jī)融合拆解為兩兩相機(jī)間的圖像融合，結(jié)合相機(jī)之間同一焦距下的圖像映射關(guān)系、環(huán)視圖像與云臺(tái)位置關(guān)系映射，實(shí)現(xiàn)不同成像原理的多路相機(jī)之間對(duì)于具體空間位置的圖像特征計(jì)算和圖像匹配，克服小視場(chǎng)長(zhǎng)焦模式下對(duì)具體空間位置與相機(jī)成像區(qū)域的區(qū)分和匹配定位，相機(jī)間對(duì)同一空間位置興趣區(qū)域圖像的精準(zhǔn)定位、快速匹配和圖像融合，增強(qiáng)了監(jiān)控的精確性。

48、（2）本發(fā)明通過(guò)同步不同多路相機(jī)之間的標(biāo)簽位置，即使在不同焦距下，實(shí)現(xiàn)對(duì)多路相機(jī)進(jìn)行同步標(biāo)簽綁定和位置顯示，進(jìn)而實(shí)現(xiàn)一致的監(jiān)控視圖、標(biāo)簽位置傳遞與定位；通過(guò)計(jì)算不同類型相機(jī)間的圖像映射矩陣，實(shí)現(xiàn)了各相機(jī)采集圖像之間的精準(zhǔn)對(duì)應(yīng)和融合，提高了圖像融合的質(zhì)量，從而提高了監(jiān)控的準(zhǔn)確性和便捷性。

49、（3）本發(fā)明通過(guò)將相機(jī)二的圖像坐標(biāo)依次轉(zhuǎn)換為相機(jī)一下的圖像坐標(biāo)、相機(jī)二的絕對(duì)角坐標(biāo)，最后再轉(zhuǎn)換回相機(jī)一的圖像坐標(biāo)，實(shí)現(xiàn)相機(jī)之間圖像位置的精準(zhǔn)匹配和定位，算法簡(jiǎn)單且圖像匹配定位效果好，解決了因設(shè)備角度變化和相機(jī)圖像間興趣區(qū)域的弧形移動(dòng)導(dǎo)致的圖像畸變問(wèn)題，提高了圖像融合的準(zhǔn)確性。

50、（4）本發(fā)明提出一種基于空間位置的多組相機(jī)圖像融合方法，可實(shí)現(xiàn)在全黑環(huán)境下的有效成像；同時(shí)基于空間位置與圖像融合方法，實(shí)現(xiàn)對(duì)熱成像、紅外補(bǔ)光相機(jī)等特征不足場(chǎng)景下圖像信息的豐富，同時(shí)實(shí)現(xiàn)在ptz模式下多相機(jī)位置指示與標(biāo)簽互傳的功能。

51、（5）本發(fā)明通過(guò)使用多路可變焦相機(jī)，包括彩色相機(jī)、熱像相機(jī)等，裝置能夠捕獲不同波段的圖像，增強(qiáng)了監(jiān)控系統(tǒng)的多環(huán)境適應(yīng)性和靈活性。通過(guò)支持全景成像，并為其他相機(jī)成像位置進(jìn)行指示和融合，解決了長(zhǎng)焦距下難以辨別方位的問(wèn)題，增強(qiáng)了監(jiān)控的方位感知能力。