本發(fā)明涉及自動駕駛與多傳感器融合領(lǐng)域的一種激光雷達-相機自標定方法，特別是涉及了一種基于語義邊緣對齊的激光雷達-相機在線自標定方法。

背景技術(shù)：

1、為了確保對周圍環(huán)境的準確和穩(wěn)定的感知，自動駕駛汽車通常配備一系列不同的傳感器。相機和激光雷達是自動駕駛汽車中使用的兩種主要傳感器類型。兩個傳感器的互補特性使它們成為許多感知任務(wù)的首選組合。激光雷達傳感器能夠在大范圍內(nèi)獲得空間數(shù)據(jù)，但分辨率低、沒有顏色信息，而相機傳感器可以獲得高分辨率的rgb圖像，但對光線敏感、沒有距離信息。為了彌補彼此的弱點，激光雷達和相機傳感器的組合已經(jīng)成為移動機器人和自動駕駛汽車應(yīng)用的典型和必不可少的設(shè)置。

2、作為組合的關(guān)鍵的先決條件，準確的外參，即估計兩個傳感器坐標系之間的變換矩陣，通常是第一步也是至關(guān)重要的一步。通常采用棋盤格等人工目標進行參數(shù)標定。但由于傳感器在行駛過程中的老化、顛簸、碰撞等原因，這些標定參數(shù)的精度會隨著時間的推移而降低。特別是在車輛上，旋轉(zhuǎn)參數(shù)的大誤差比平移參數(shù)的誤差更常見。因此，需要一種準確、可靠的在線標定方法，通過有效融合幾何信息和光學(xué)信息，在車輛行駛過程中，在線校準偏移后的標定參數(shù)。

3、現(xiàn)有自標定技術(shù)通常要求場景中有立柱、桿子或者大塊平面等特定結(jié)構(gòu)物體，或者要求存在平行車道線等先驗約束，在線自標定的場景適應(yīng)性不強。本方法利用一般道路場景中存在的任意形狀景物的語義邊緣信息，通過圖像與激光中的語義邊緣對齊實現(xiàn)自標定，大幅度提高了標定的場景魯棒性。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是為了克服現(xiàn)有技術(shù)中的不足，而提供一種無標定裝置的基于語義邊緣對齊的激光雷達與相機在線自標定的方法，解決了自動駕駛汽車行駛過程中傳感器之間外參偏差的問題。

2、為了實現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：

3、一、一種基于語義邊緣對齊的激光雷達-相機在線自標定方法

4、1)對相機采集的圖像數(shù)據(jù)進行語義分割處理，獲得圖像語義分割結(jié)果，根據(jù)語義分割結(jié)果提取獲得圖像語義邊緣；

5、2)對激光雷達采集的點云數(shù)據(jù)進行語義分割處理，獲得點云語義分割結(jié)果，根據(jù)點云語義分割結(jié)果提取獲得點云語義邊緣；

6、3)利用初始的外參矩陣將點云語義邊緣投影到相機圖像坐標系下，獲得投影后的2d點云邊緣；根據(jù)投影后的2d點云邊緣和圖像語義邊緣進行外參的迭代優(yōu)化，使得投影后的2d點云邊緣與圖像語義邊緣對齊，從而獲得標定后的外參矩陣。

7、所述1)中，圖像語義邊緣是利用邊緣提取方法對圖像語義分割結(jié)果進行處理后獲得的。

8、所述2)中，根據(jù)點云語義分割結(jié)果提取獲得點云語義邊緣，具體為：

9、首先，將點云語義分割結(jié)果變換到環(huán)視視圖下，得到稀疏環(huán)視圖像，所述稀疏環(huán)視圖像包含4個通道，分別代表點云的3d坐標和語義預(yù)測結(jié)果；接著，將稀疏環(huán)視圖像填充補全成致密的圖像后獲得致密環(huán)視圖像，接著在致密環(huán)視圖像上使用邊緣檢測方法提取邊緣后，獲得點云語義邊緣。

10、所述3)具體為：

11、3.1)根據(jù)當前的外參矩陣和相機的內(nèi)參矩陣，將點云語義邊緣投影到圖像上，生成相機圖像坐標系下的投影后的2d點云邊緣；

12、3.2)統(tǒng)計投影后的2d點云邊緣中每個2d點云投影點附近與其相同類別的圖像語義邊緣點數(shù)量并記為每個2d點云投影點的匹配數(shù)量，若每個2d點云投影點的匹配數(shù)量大于等于1，則該每個2d點云投影點記為匹配邊緣點；

13、3.3)若匹配邊緣點數(shù)量與投影后的2d點云邊緣中的點數(shù)的比值小于預(yù)設(shè)閾值，則進行標定異常報警，否則執(zhí)行3.4)；

14、3.4)根據(jù)語義類別權(quán)重和匹配數(shù)量對每個2d點云投影點進行加權(quán)求和，獲得每個2d點云投影點的匹配置信度，將投影后的2d點云邊緣中所有2d點云投影點的匹配置信度累加后的結(jié)果作為當前外參矩陣的匹配置信度；

15、3.5)重復(fù)3.1)-3.4)，由粗到細地進行外參搜索，將匹配置信度最高的外參矩陣作為標定后的外參矩陣。

16、所述1)中，使用神經(jīng)網(wǎng)絡(luò)對相機采集的圖像數(shù)據(jù)進行語義分割處理，獲得圖像語義分割結(jié)果。

17、所述2)中，使用神經(jīng)網(wǎng)絡(luò)對激光雷達采集的點云數(shù)據(jù)進行語義分割處理，獲得點云語義分割結(jié)果。

18、二、一種計算機設(shè)備

19、所述設(shè)備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)所述方法的步驟。

20、三、一種計算機可讀存儲介質(zhì)

21、所述介質(zhì)上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)所述方法的步驟。

22、四、一種計算機程序產(chǎn)品

23、所述產(chǎn)品包括計算機程序/指令，該計算機程序/指令被處理器執(zhí)行時實現(xiàn)所述方法的步驟。

24、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點：

25、1.本發(fā)明通過充分利用激光雷達點云語義邊緣與相機圖像語義邊緣的對應(yīng)性，在不需要特定標定物的情況下，可適應(yīng)任意形狀的語義類別邊緣匹配，實現(xiàn)了激光雷達與相機之間外參矩陣的在線標定，保證了自動駕駛車輛行駛過程中傳感器之間參數(shù)的穩(wěn)定性。標定異常報警的設(shè)計考慮了車輛實際行駛場景過程中的具體問題，提醒車主需要進行維修。

26、2.本發(fā)明使用神經(jīng)網(wǎng)絡(luò)得到圖像和點云的語義分割結(jié)果，相比傳統(tǒng)算法具有更穩(wěn)定的特征和更好的魯棒性，且隨著車輛行駛過程中采集數(shù)據(jù)的增加，訓(xùn)練的神經(jīng)網(wǎng)絡(luò)分割效果也會更準確。

27、3.本發(fā)明不依賴于場景中的特定特征，標定精度高，可靠性好，解決了現(xiàn)有自標定方法過于依賴立柱、車道線等特定人工景物的局限，提高了激光雷達與相機在線自標定的場景適應(yīng)性，對于自動駕駛的準確多傳感器融合具有很高實用價值。現(xiàn)有的在線標定算法依賴場景中的特征和假設(shè)，如能總能看到車道線且車道線是平行的、地面是水平的等，而本發(fā)明不要求場景中有特定、清晰的目標物。

技術(shù)特征：

1.一種基于語義邊緣對齊的激光雷達-相機在線自標定方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于語義邊緣對齊的激光雷達-相機在線自標定方法，其特征在于，所述1)中，圖像語義邊緣是利用邊緣提取方法對圖像語義分割結(jié)果進行處理后獲得的。

3.根據(jù)權(quán)利要求1所述的一種基于語義邊緣對齊的激光雷達-相機在線自標定方法，其特征在于，所述2)中，根據(jù)點云語義分割結(jié)果提取獲得點云語義邊緣，具體為：

4.根據(jù)權(quán)利要求1所述的一種基于語義邊緣對齊的激光雷達-相機在線自標定方法，其特征在于，所述3)具體為：

5.根據(jù)權(quán)利要求1所述的一種基于語義邊緣對齊的激光雷達-相機在線自標定方法，其特征在于，所述1)中，使用神經(jīng)網(wǎng)絡(luò)對相機采集的圖像數(shù)據(jù)進行語義分割處理，獲得圖像語義分割結(jié)果。

6.根據(jù)權(quán)利要求1所述的一種基于語義邊緣對齊的激光雷達-相機在線自標定方法，其特征在于，所述2)中，使用神經(jīng)網(wǎng)絡(luò)對激光雷達采集的點云數(shù)據(jù)進行語義分割處理，獲得點云語義分割結(jié)果。

7.一種計算機設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)權(quán)利要求1至6中任一項所述方法的步驟。

8.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6中任一項所述方法的步驟。

9.一種計算機程序產(chǎn)品，包括計算機程序/指令，其特征在于，該計算機程序/指令被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6中任一項所述方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開了一種基于語義邊緣對齊的激光雷達?相機在線自標定方法。首先對圖像和激光雷達采集的數(shù)據(jù)進行語義分割，得到圖像語義分割和點云語義分割結(jié)果；接著對圖像語義分割結(jié)果提取邊緣，而點云語義分割結(jié)果經(jīng)過環(huán)視視圖變換和填充后再提取邊緣。在使用存在偏差的初始外參將點云語義邊緣投影到圖像像素坐標系后，通過由粗到細不斷精細化搜索最大匹配得分的方式，優(yōu)化并修正激光雷達與相機之間的外參。本發(fā)明實現(xiàn)了不依賴于標定板的在線聯(lián)合外參自標定，可適應(yīng)任意形狀的語義類別邊緣匹配，不依賴于特定場景，標定精度高，可靠性好，提高了激光雷達與相機在線自標定的場景適應(yīng)性，對于自動駕駛的準確多傳感器融合具有很高實用價值。

技術(shù)研發(fā)人員：項志宇,龐博文
受保護的技術(shù)使用者：浙江大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10