本發(fā)明屬于狀態(tài)估計，具體為一種基于事件相機的多傳感器融合狀態(tài)估計系統(tǒng)。

背景技術(shù)：

1、狀態(tài)估計是機器人領(lǐng)域非常重要的課題，其廣泛應用導航、路徑規(guī)劃、控制、增強/虛擬現(xiàn)實(ar/vr)等各方面。但是在劇烈運動或者高曝光以及低照度這樣的挑戰(zhàn)性場景下，由于標準相機的固有局限性，高速運動產(chǎn)生的運動模糊破壞了視覺信息，迫使管道過多依賴于imu的集成，從而導致大量累積的漂移誤差；或者由于標準相機的動態(tài)范圍有限，圖像上的大部分區(qū)域要么曝光過度，要么曝光不足，這大大減少了可利用的信息量。這些傳統(tǒng)的視覺慣性里程計(vio)管道方法仍然難以應對很多場景，因此如何實現(xiàn)魯棒且準確的狀態(tài)估計對于機器人的實時反饋控制以及實際應用落地至關(guān)重要。

2、新型動態(tài)視覺傳感器(dvs)(稱為事件相機)為克服這些問題提供了巨大的潛力。事件相機像素以微秒分辨率獨立檢測正或負亮度變化。事件攝像機可以提供1mhz和120db動態(tài)范圍的數(shù)據(jù)，這兩個數(shù)量級都比標準60db攝像機所能實現(xiàn)的數(shù)據(jù)高出幾個數(shù)量級。這可以顯著減少運動模糊，并支持在高動態(tài)范圍(hdr)、低光和快速運動條件下運行。這些特性使事件相機能夠在具有挑戰(zhàn)性的場景中，作為標準相機的理想補充，為基于視覺和慣性測量的狀態(tài)估計算法提供魯棒性，從而完成準確且穩(wěn)健的自我運動估計。

3、但是，將事件相機引入狀態(tài)估計管道是一項非常具有挑戰(zhàn)性的任務，這是因為事件流由異步事件組成，與同步的標準強度圖像有本質(zhì)上的不同，傳統(tǒng)的計算機視覺算法無法直接應用?，F(xiàn)有的一些工作通過從事件數(shù)據(jù)重建強度幀，或者將短時間內(nèi)的一組事件聚合成具有圖像性質(zhì)的事件幀。然而，這會帶來瓶頸并消減事件相機的天然優(yōu)勢；有的直接使用異步原始事件進行特征檢測和跟蹤，但是在存在噪聲的情況下跟蹤性能不佳，并且依賴于運動參數(shù)的迭代優(yōu)化，具有非常復雜的模型參數(shù)，場景遷移擴展性受限并且實際部署困難。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于：為了解決上述提出的問題，提供一種基于事件相機的多傳感器融合狀態(tài)估計系統(tǒng)。

2、本發(fā)明采用的技術(shù)方案如下：一種基于事件相機的多傳感器融合狀態(tài)估計系統(tǒng)，其特征在于：所述系統(tǒng)運行時包括：

3、步驟1：首先事件流經(jīng)過精心設(shè)計的累加器策略設(shè)置模塊，在時空窗口中進行分組；

4、步驟2：融合imu數(shù)據(jù)進行事件數(shù)據(jù)校正并進一步優(yōu)化運動補償，得到優(yōu)化過后的運動補償事件幀；

5、步驟3：對運動補償事件幀進行shi-tomasi特征點檢測，然后通過定位和去除孤立事件來濾除錯誤的特征然后基于傳統(tǒng)的klt跟蹤器進行跟蹤；

6、步驟4：將提取到的特征點作為初始圖像模板塊輸入到當前性能表現(xiàn)最優(yōu)越的基于事件數(shù)據(jù)驅(qū)動的特征跟蹤器deepevtracker中；

7、步驟5：標準圖像和事件流同時輸入deepevtracker追蹤器的特征提取網(wǎng)絡(luò)來處理生成事件和模板圖像，生成逐像素特征圖，并利用這些特征圖，構(gòu)建相關(guān)圖來計算像素相似性；

8、步驟6：經(jīng)過deepevtracker里的自注意力機制模塊，同時結(jié)合了所有來自運動補償事件幀和標準幀的特征點和圖像模板，實現(xiàn)了特征信息的跨源共享，進而優(yōu)化了對圖像塊位移的預測；

9、步驟7：使用事件幀klt跟蹤方法來跟蹤兩幀之間盲區(qū)內(nèi)的特征，并在新幀到達后使用deepevtracker跟蹤模型的位移預測作為klt跟蹤器的初始預測；

10、步驟8：確定候選地標和持久地標，后者在空間中的三維位置已被成功三角測量。新提取的特征被初始化為候選地標，并在事件幀中進行跟蹤。一旦候選地標可以可靠地進行三角測量，它就會被轉(zhuǎn)換為持久地標，并添加到本地地圖中；

11、步驟9：在當前幀中未被成功跟蹤的地標會被立即丟棄。同時使用兩點ransac使用當前幀和最后一個關(guān)鍵幀之間的相對方向)來進一步過濾掉離群特征軌跡；

12、步驟10：得到融合得到的后端特征軌跡提供給基于滑動窗口的關(guān)鍵幀的非線性優(yōu)化框架里，隨時間更新整個傳感器的狀態(tài)。

13、步驟11：采用imu基本的運動學和偏置模型來根據(jù)上一時刻狀態(tài)預測當前時刻狀態(tài)。然后，imu誤差項被計算為基于先前狀態(tài)和實際狀態(tài)的預測之間的差異。

14、步驟12：同時在相應的觀測值上使用schurcomplement將舊關(guān)鍵幀部分邊緣化，使得舊的測量值成為先驗估計。在幀之間，傳感器狀態(tài)的預測使用imu測量值進行傳播。

15、步驟13：通過最小化視覺項(包含事件和圖像的重投影誤差)和慣性項的成本函數(shù)，定期細化相機軌跡和3d地標的位置，從而有效地使用事件、標準幀和imu來細化相機位姿，實現(xiàn)準確和魯棒的狀態(tài)估計，之后即可結(jié)束整個基于事件相機的多傳感器融合狀態(tài)流程。

16、在一優(yōu)選的實施方式中，所述步驟s1和步驟s2中，分別構(gòu)建了包括調(diào)整切片方法、無運動處理方法、極性使用、衰減函數(shù)的事件累加器優(yōu)化模塊和基于imu測量的運動補償和校正模塊來完成事件流的預處理和表征。

17、同時為了緩解慢速運動或者靜止時由于事件相機固有運動屬性導致噪聲大大多于有效的事件點數(shù)據(jù)，采用了一種簡單卻十分有效的方法。設(shè)定一個閾值，當間隔時間內(nèi)的事件數(shù)小于閾值時，舊的事件幀將復制到新的事件幀，即攝像機在此間隔時間內(nèi)保持靜止。最終可以得到清晰且包含足夠特征信息的，具有事件數(shù)據(jù)魯棒性的邊緣事件幀。

18、在場景變化較快的情況下，由于過多數(shù)量事件點的壓縮，導致生成的圖像會有一定的模糊，具體表現(xiàn)為圖像中物體的邊緣較粗，這同樣會影響后續(xù)進行的狀態(tài)估計。因此這里利用imu測量值來完成優(yōu)化版的運動補償。相較于其他方案，響應速度更快且補償效果應用于后續(xù)的特征提取效果更好。

19、在一優(yōu)選的實施方式中，所述步驟s3、s4和s9中，在運動補償事件幀上使用shi-tomasi角點檢測器，并使用分桶網(wǎng)格(其中每個網(wǎng)格單元的大小為32×32像素)，同時兩個相鄰事件幀特征點之間設(shè)置最小距離，來確保特征均勻分布在圖像上。

20、值得注意的是，事件相機會產(chǎn)生大量噪聲，會不可避免地影響事件幀成像的質(zhì)量和穩(wěn)定性，從而影響特征點的提取以及后續(xù)的跟蹤。為了緩解這個問題，在這里采用了一種快速且高效的方法來丟棄可能由于事件噪聲產(chǎn)生不正確的特征點。該過程類似于圖像濾波，通過定位和去除孤立事件來尋求消除錯誤的特征。濾波的閾值取決于事件相機的配置，因為它可能給出不同的噪聲輪廓。同時，通過濾波參數(shù)以強調(diào)位于強邊緣中檢測到的事件角特征，而不是低紋理區(qū)域的大量噪聲特征。最后雖然濾波傾向于將邊緣圖像中的小細節(jié)視為噪聲而去除，但它實際上有助于獲得更穩(wěn)定的圖像，更多關(guān)注于從場景中提取主要邊緣并忽略一些多余的紋理

21、維護兩組地標：候選地標和持久地標，后者在空間中的三維位置已被成功三角測量。新提取的特征被初始化為候選地標，并在事件幀中進行跟蹤。一旦候選地標可以可靠地進行三角測量，它就會被轉(zhuǎn)換為持久地標，并添加到本地地圖中。同時使用兩點ransac(使用當前幀和最后一個關(guān)鍵幀之間的相對方向)來進一步過濾掉離群特征軌跡。

22、在一優(yōu)選的實施方式中，所述步驟s5和s6中，deepevtracker追蹤器特征提取網(wǎng)絡(luò)首先采用fpn編碼器處理事件和模板圖像，生成逐像素特征圖。然后利用這些特征圖，構(gòu)建相關(guān)圖來計算像素相似性。隨后，特征圖與相關(guān)圖被送入后續(xù)編碼器進行細化，其中融合了時間信息和運動特征。

23、此外，deepevtracker提出了一種幀注意力模塊，該模塊針對圖像中剛體的相關(guān)運動進行特征信息融合與提煉。因此利用此模塊結(jié)合了來自事件幀和標準幀的特征點，實現(xiàn)了特征信息的跨源共享，進而優(yōu)化了對圖像塊位移的預測。

24、在一優(yōu)選的實施方式中，所述步驟s7和s8中，為了更加充分利用來自灰度圖像的紋理信息和事件的高延遲魯棒性能，這里使用事件幀klt跟蹤方法擴展了基于事件的跟蹤圖像模板方法。具體來說，使用事件幀klt跟蹤方法來跟蹤兩幀之間盲區(qū)內(nèi)的特征，并在新幀到達后使用deepevtracker跟蹤模型的位移預測作為klt跟蹤器的初始預測。這樣做的好處是可以有效減輕高速運動造成的兩幀之間基線過大的負面影響。此外，基于事件運動補償幀的klt跟蹤方法和deepevtracker事件跟蹤模型的結(jié)合提供了兩幀之間的更多的特征位置，更精確地糾正特征位置，同時顯著增加了特征位置更新的頻率。

25、在一優(yōu)選的實施方式中，所述步驟s10～s13中，優(yōu)化變量定義為：

26、

27、這一基于視覺慣性的定位與建圖問題，將對包含以下項的代價函數(shù)的聯(lián)合優(yōu)化，分別為來自事件相機和標準相機的觀測值構(gòu)建的兩個加權(quán)重投影誤差，imu慣性誤差項，邊緣化誤差項和回環(huán)檢測及重定位誤差項

28、

29、重投影誤差定義為：

30、

31、其zi,j,k表示第i個傳感器在第k幀測量的第j個路標點,采用imu基本的運動學和偏置模型來根據(jù)上一時刻狀態(tài)預測當前時刻狀態(tài)。然后，imu誤差項被計算為基于先前狀態(tài)和實際狀態(tài)的預測之間的差異。

32、imu誤差項為：

33、

34、優(yōu)化不是對所有觀察到的幀進行，而是對由m個關(guān)鍵幀和包含最后k幀的滑動窗口組成的有界幀集進行。保持所有的關(guān)鍵幀在gn優(yōu)化系統(tǒng)中將會影響系統(tǒng)的運行速度，而簡單地丟棄過去的關(guān)鍵幀則會丟失一些有用的信息，為了克服這個問題，在相應的觀測值上使用schur?complement將舊關(guān)鍵幀部分邊緣化，使得舊的測量值成為先驗估計。

35、在一優(yōu)選的實施方式中，所述步驟s10和s13中，evio的初始化過程從運動(sfm)的純視覺結(jié)構(gòu)開始，構(gòu)建相機姿態(tài)和事件角特征位置的上尺度結(jié)構(gòu)。通過將sfm與預集成的imu測量松散對齊，可以從未知的初始狀態(tài)引導系統(tǒng)，而不是在初始化階段期間假設(shè)傳感器保持靜態(tài)，或者假設(shè)局部場景是平面的。

36、在一優(yōu)選的實施方式中，所述步驟s10和s13中，回環(huán)檢測為了消除累積漂移并確保長期運動的全局一致性，在運動補償事件幀和標準圖像幀中還會雙通道分別進行特征點檢測并由brief描述符描述，并進一步饋送到后端(如下圖所示)。這些額外的特征用于在循環(huán)檢測上實現(xiàn)更好的召回率。

37、在一優(yōu)選的實施方式中，所述步驟s10和s13中，運動補償事件幀將在具有強邊緣的場景中觸發(fā)，它同樣也可以幫助位置識別并確保全局一致性。通過漢明距離識別brief描述符匹配找到對應關(guān)系。當事件描述符的對應關(guān)系數(shù)量大于某個閾值時，檢測到閉環(huán)。同時采用兩步幾何異常值拒絕進行錯誤的brief描述符匹配，dbow2用于循環(huán)識別。在檢測到循環(huán)后，將前一個關(guān)鍵幀與當前關(guān)鍵幀的連接殘差集成到位姿圖優(yōu)化中。

38、綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：

39、1、本發(fā)明中，首先事件流經(jīng)過精心設(shè)計的累加器策略設(shè)置模塊，在時空窗口中分組并使用imu數(shù)據(jù)校正后融合以構(gòu)建運動補償幀(使其具備灰度圖像的性質(zhì))。然后對事件幀和圖像幀分別進行shi-tomasi特征點檢測和傳統(tǒng)的klt跟蹤器進行跟蹤，與此同時將提取到的特征點作為初始圖像模板塊輸入到當前性能表現(xiàn)最優(yōu)越的基于事件數(shù)據(jù)驅(qū)動的特征跟蹤器。事件跟蹤器來跟蹤兩幀之間的盲區(qū)時間內(nèi)的特征，并在新幀到達后使用事件跟蹤器的位移預測作為klt跟蹤器的初始值。

40、然后將兩個異構(gòu)源(事件幀和標準幀)的各特征軌跡通過改進和擴展的來自事件數(shù)據(jù)驅(qū)動的特征跟蹤器里的幀注意模塊結(jié)合，完成特征軌跡信息共享和融合，并提供給基于滑動窗口的關(guān)鍵幀的非線性優(yōu)化框架里，通過最小化視覺項(包含事件和圖像的重投影誤差)和慣性項的成本函數(shù)，定期細化相機軌跡和3d地標的位置，從而有效地使用事件、標準幀和imu來細化相機位姿，實現(xiàn)更準確和魯棒的狀態(tài)估計。

41、2、本發(fā)明中，提出了一種基于事件累計器設(shè)置策略和優(yōu)化的運動校正補償方法相結(jié)合的事件表征方法，并基于此構(gòu)建了事件流，imu慣性測量，標準圖像的多傳感器數(shù)據(jù)融合處理管道。首次將最先進的，基于事件數(shù)據(jù)驅(qū)動的特征跟蹤器deepevtracker引入并和基于事件運動補償幀的klt跟蹤器相結(jié)合。有效減輕高速運動模糊和hdr場景下的特征跟蹤丟失并顯著提升了特征更新頻率以及預測位移精度。精心設(shè)計了一種基于事件數(shù)據(jù)驅(qū)動的多傳感器融合狀態(tài)估計框架，能夠在挑戰(zhàn)性場景下提供魯棒且精準的狀態(tài)估計，且無需依賴密集的手動參數(shù)調(diào)整和保證實時性的同時優(yōu)于目前最先進的基于事件和幀的狀態(tài)估計算法。