本發(fā)明屬于魚眼相機，具體為一種基于球面卷積的環(huán)視魚眼圖像3d感知方法及相關設備。

背景技術：

1、魚眼相機因其廣闊的視角場和在各種應用中的高性能表現(xiàn)，而被廣泛地應用在道路行駛感知任務中，無需多個傳統(tǒng)相機即可捕捉廣角視圖的能力使魚眼相機稱為動態(tài)環(huán)境中實時3d感知的經(jīng)濟高效解決方案。但是，魚眼相機獲取的圖像具有嚴重的畸變導致無法采用平面圖像感知技術。針對這一難點問題，本發(fā)明提供了一種基于全景拼接的環(huán)視魚眼圖像處理方案，并應用全景圖進行障礙物檢測和語義場景重建。

2、在cn117455954a《一種基于車載魚眼相機的畸變優(yōu)化多目標追蹤算法》中，提出了一種基于車載魚眼相機的畸變優(yōu)化多目標追蹤算法，包括以下步驟：1、通過對魚眼相機拍攝的圖片進行預處理，將圖像進行畸變矯正作為目標檢測算法的輸入；2、進行初始化參數(shù)，該參數(shù)包括與距離相關的矩陣；3、通過yolov5檢測器檢測出目標，得到帶有檢測框的檢測圖；4、將帶有檢測框的檢測圖作為輸入，得到每個行人標注框和特征圖；5、對得到的標注框篩選掉其中置信度小于最先置信度的標注框；6、做非極大值抑制；7、通過卡爾曼濾波器進行軌跡預測以及軌跡更新；8、輸出跟蹤成功的標注框的id序號。

3、在cn117782102a《一種基于環(huán)視視覺的全自動泊車定位與建圖方法》中，首先通過安裝在汽車前、后、左、右的魚眼相機獲取環(huán)視圖像后，經(jīng)過相機畸變?nèi)コ?、逆透視變換與圖像拼接的操作，得到一張俯視視角圖像；再采用卷積神經(jīng)網(wǎng)絡提取俯視圖像中的車道線和障礙物信息，并對其進行點云轉(zhuǎn)化處理；融合imu和里程計數(shù)據(jù)，進行位子估計并生成全局地圖；最后通過回環(huán)檢測進行地圖優(yōu)化，生成柵格地圖用于全自動泊車。

4、《一種基于車載魚眼相機的畸變優(yōu)化多目標追蹤算法》中輸入圖像并未考慮到環(huán)視圖像，對于單視角下不可見目標檢測存在問題。同時目標檢測算法采用yolov5檢測器是對物體的2d檢測。

5、《一種基于環(huán)視視覺的全自動泊車定位與建圖方法》中，主要通過去畸變的方法解決魚眼圖像嚴重畸變問題，但去除畸變意味著會有視角損失，就需要更多魚眼相機的視角重疊，從而減少視角損失。

技術實現(xiàn)思路

1、本發(fā)明的提供了一種基于球面卷積的環(huán)視魚眼圖像3d感知方法及相關設備，解決了現(xiàn)有魚眼相機輸入圖像并未考慮到環(huán)視圖像，需要更多魚眼相機進行視角重疊的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術方案：

3、一種基于球面卷積的環(huán)視魚眼圖像3d感知方法，包括：

4、s1將采樣自同一時間的多張環(huán)視魚眼圖像拼接為等矩形投影的全景圖，即球面圖像；

5、s2將球面圖輸入至球形卷積神經(jīng)網(wǎng)絡，進行等變特征提取，獲得定義在三維特殊正交群上的特征圖；

6、s3對得到的特征圖進行逐通道的1×1卷積，得到降維到單位球表面點集合上的降維特征圖，通過殘差連接的方式將多個卷積層的降維特征圖直接加和；

7、s4將加和后的降維特征圖進行特征池化，獲得特征池化后的特征圖；

8、s5對特征池化后的特征圖進行s2和s3步驟的處理，獲得二次降維的特征圖，與特征池化后的特征圖相加，得到融合的特征圖；

9、s6重復獲取多組不同尺寸的融合的特征圖，可以得到多尺寸特征，將多尺度特征用于3d感知任務頭，獲取3d感知內(nèi)容。

10、優(yōu)選地，將采樣自同一時間的多張環(huán)視魚眼圖像拼接為等矩形投影的全景圖的步驟具體為：

11、對齊各個相機的光學中心，使用其幾何中心作為虛擬光心，并以虛擬光心為中心構(gòu)建單位球表面點集合，使用各自的相機模型將每個魚眼圖像投影到球面上，將球面圖像通過緯度和經(jīng)度坐標映射到對應的平面坐標上，生成一個連續(xù)的和寬角的等矩形全景圖。

12、優(yōu)選地，生成一個連續(xù)的和寬角的等矩形全景圖時，為了獲得連貫的圖像，在圖像重疊區(qū)域執(zhí)行加權求和，具體方法如下：

13、

14、式中，wi表示像素所占的權重，為像素到魚眼圖像中心，ci的歐幾里得距離，ri為從中心到邊緣的最大距離。

15、優(yōu)選地，使用各自的相機模型將每個魚眼圖像投影到球面上過程為：

16、

17、φ＝arctan2(y,x)

18、其中θ∈[0,π]代表緯度，φ∈[-π,π]代表經(jīng)度，x,y,z為相機坐標系中點的坐標，r為相機坐標系內(nèi)一點與單位球心的距離，該單位球心為環(huán)視相機組光心的幾何中心。

19、優(yōu)選地，等變特征提取的步驟具體為：

20、首先，構(gòu)建卷積核，通過球面坐標參數(shù)化球面圖像，獲得參數(shù)化后的球面圖像坐標，對離散化后的球面圖像坐標中的連續(xù)球信號形卷積進行定義，然后通過快速傅里葉變換加速卷積，獲得定義在三維特殊正交群上的特征圖。

21、優(yōu)選地，對連續(xù)球信號形卷積定義為：

22、

23、其中，f和h均為連續(xù)球信號，h是卷積核，r是三維特殊正交群的旋轉(zhuǎn)矩陣，是單位球表面點集合上的不變積分度量；

24、快速傅里葉變換加速卷積具體為：

25、ft(h*is)＝ft(h)*ft(is)*

26、

27、其中，*表示單位球表面點集合卷積操作，表示輸入信號譜的外積，ft(·)表示單位球表面點集合傅里葉變換，上標*表示復共軛，通過這種方式，提取的的特征f＝h*is∈rc×h×w×g為三維特殊正交群上的特征圖。

28、優(yōu)選地，對得到的特征圖進行逐通道的1×1卷積，得到降維到單位球表面點集合上的降維特征圖的步驟具體為：

29、

30、其中c表示通道數(shù)，g表示旋轉(zhuǎn)分量的數(shù)量，i、j、k和l分別表示通道的只位置、全景圖上的垂直位置、全景圖上的水平位置和全景圖上的旋轉(zhuǎn)軸。

31、一種基于球面卷積的環(huán)視魚眼圖像3d感知系統(tǒng)，包括：

32、采樣模塊：用于將采樣自同一時間的多張環(huán)視魚眼圖像拼接為等矩形投影的全景圖，即球面圖像；

33、等變特征提取模塊：用于將球面圖輸入至球形卷積神經(jīng)網(wǎng)絡，進行等變特征提取，獲得定義在三維特殊正交群上的特征圖；

34、降維模塊：用于對得到的特征圖進行逐通道的1×1卷積，得到降維到單位球表面點集合上的降維特征圖，通過殘差連接的方式將多個卷積層的降維特征圖直接加和；

35、特征池化模塊：用于將加和后的降維特征圖進行特征池化，獲得特征池化后的特征圖；

36、特征圖融合模塊：用于對特征池化后的特征圖進行s2和s3步驟的處理，獲得二次降維的特征圖，與特征池化后的特征圖相加，得到融合的特征圖；

37、感知模塊：用于重復獲取多組不同尺寸的融合的特征圖，可以得到多尺寸特征，將多尺度特征用于3d感知任務頭，獲取3d感知內(nèi)容。

38、一種計算機設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)一種基于球面卷積的環(huán)視魚眼圖像3d感知方法的步驟。

39、一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)一種基于球面卷積的環(huán)視魚眼圖像3d感知方法的步驟。

40、與現(xiàn)有技術相比，本發(fā)明具有以下有益效果：本發(fā)明提供了一種基于球面卷積的環(huán)視魚眼圖像3d感知方法，通過全景拼接以及球面卷積處理環(huán)視魚眼圖像，大大減少了視角損失，我們對多張魚眼圖像進行等矩形全景圖投影可以最大限度保持圖像邊緣特征，這是魚眼視覺任務的一大痛點問題。另一方面，球面卷積方法使得卷積神經(jīng)網(wǎng)絡從環(huán)視魚眼圖像的畸變特征中學習到更多的信息，將全景圖輸入到我們構(gòu)造的球面卷積網(wǎng)絡中進行多層特征提取，從而提升對魚眼圖像邊緣出障礙物識別以及遠景占據(jù)柵格表示的準確度。