本發(fā)明屬于多amr協(xié)同感知，具體涉及一種輕量化的多amr(autonomousmobile?robot，amr)協(xié)同感知方法及系統(tǒng)。

背景技術(shù)：

1、amr能夠通過(guò)使用各種傳感器(如激光雷達(dá)、攝像頭和紅外線傳感器)來(lái)感知周?chē)h(huán)境，構(gòu)建地圖，并使用這些地圖進(jìn)行路徑規(guī)劃和障礙物避讓?zhuān)荒軌蚧趥鞲衅餍畔⒑皖A(yù)定義的任務(wù)要求做出決策，以最有效的方式完成任務(wù)，并能夠動(dòng)態(tài)適應(yīng)環(huán)境變化；amr可以通過(guò)無(wú)線通信與其他amr或中央服務(wù)器進(jìn)行協(xié)同工作，提高了其在完成任務(wù)時(shí)的效率和可靠性，增強(qiáng)系統(tǒng)的整體的魯棒性。

2、3d目標(biāo)檢測(cè)(3d?object?detection，簡(jiǎn)稱(chēng)3dod)，是計(jì)算機(jī)視覺(jué)領(lǐng)域的一項(xiàng)任務(wù)，其目標(biāo)是從給定的三維場(chǎng)景中檢測(cè)和定位物體，提供物體的三維位置和方向信息。在3d目標(biāo)檢測(cè)中，通常使用傳感器數(shù)據(jù)(如激光雷達(dá)、立體相機(jī)或深度攝像頭)來(lái)獲取場(chǎng)景中的三維信息。在自動(dòng)駕駛和機(jī)器人領(lǐng)域，3d目標(biāo)檢測(cè)可以幫助amr感知和理解周?chē)h(huán)境，識(shí)別車(chē)輛、行人和其他障礙物，并做出相應(yīng)的決策。本專(zhuān)利中的感知任務(wù)特指3d目標(biāo)檢測(cè)任務(wù)。

3、在amr的感知任務(wù)中，單amr感知系統(tǒng)通常存在以下缺點(diǎn)：?jiǎn)蝹€(gè)amr搭載的傳感器數(shù)量和類(lèi)型受限，導(dǎo)致其感知范圍和獲取的環(huán)境信息有限，同時(shí)視野受到環(huán)境中物體的遮擋，導(dǎo)致環(huán)境中部分區(qū)域無(wú)法被感知到；單個(gè)amr難以適應(yīng)復(fù)雜或動(dòng)態(tài)的環(huán)境：如不斷變化的障礙物、光照條件等；單個(gè)amr發(fā)生故障或遇到通信阻塞，減弱或喪失系統(tǒng)對(duì)周?chē)母兄芰?，無(wú)法執(zhí)行任務(wù)，從而影響系統(tǒng)的整體性能。

4、當(dāng)多個(gè)amr進(jìn)行協(xié)同感知任務(wù)時(shí)：多機(jī)器人系統(tǒng)可以探測(cè)覆蓋更大的區(qū)域，從而擴(kuò)展系統(tǒng)整體感知范圍；對(duì)于被物體遮擋的情況，多個(gè)視角的信息輸入能夠克服單個(gè)機(jī)器人視野受限的問(wèn)題；當(dāng)系統(tǒng)中的某個(gè)機(jī)器人故障或通信受阻時(shí)，與它協(xié)同的其他機(jī)器人可對(duì)信息做出補(bǔ)償或修正，提高感知系統(tǒng)的魯棒性。

5、當(dāng)前多機(jī)感知融合算法，現(xiàn)階段大多數(shù)多機(jī)感知融合算法存在以下不足：

6、第一：靈活性差：多機(jī)感知融合的算法通常相對(duì)復(fù)雜，需要考慮不同傳感器的數(shù)據(jù)融合、坐標(biāo)變換、時(shí)序同步等問(wèn)題。導(dǎo)致實(shí)際應(yīng)用和維護(hù)的難度增加。

7、第二：通信環(huán)境的局限性：現(xiàn)有方法都是大多在理想的仿真環(huán)境中，而在工業(yè)應(yīng)用中需要考慮到通信延遲、網(wǎng)絡(luò)中斷等問(wèn)題。

8、第三：魯棒性不足：?jiǎn)蝹€(gè)機(jī)器人上的傳感器損壞或故障，會(huì)導(dǎo)致單機(jī)感知功能的準(zhǔn)確性降低或者失效，進(jìn)而影響整個(gè)感知系統(tǒng)的性能。因此感知系統(tǒng)需要具備容錯(cuò)機(jī)制，以應(yīng)對(duì)傳感器故障或其它原因?qū)е碌膯螜C(jī)感知結(jié)果丟失或者準(zhǔn)確性降低的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問(wèn)題在于針對(duì)上述現(xiàn)有技術(shù)中的不足，提供一種輕量化的多amr協(xié)同感知方法及系統(tǒng)，通過(guò)在在云端接收多個(gè)單機(jī)發(fā)送的物體檢測(cè)結(jié)果，并對(duì)每個(gè)檢測(cè)結(jié)果和每個(gè)單機(jī)系統(tǒng)進(jìn)行計(jì)算評(píng)估，獲取置信度最高的檢測(cè)結(jié)果，以此提高了多機(jī)系統(tǒng)對(duì)環(huán)境全局感知能力和感知系統(tǒng)的魯棒性，用于解決單amr在3d目標(biāo)檢測(cè)任務(wù)中，由于自身視角的缺陷導(dǎo)致對(duì)物體檢測(cè)結(jié)果丟失、檢測(cè)結(jié)果不準(zhǔn)確、誤檢，以及由于通信不穩(wěn)定，導(dǎo)致檢測(cè)結(jié)果信息幀缺失的技術(shù)問(wèn)題。

2、本發(fā)明采用以下技術(shù)方案：

3、一種輕量化的多amr協(xié)同感知方法，包括以下步驟：

4、獲得多個(gè)環(huán)境中待檢測(cè)物體的感知信息；

5、對(duì)得到的多個(gè)環(huán)境中待檢測(cè)物體的感知信息進(jìn)行時(shí)間同步和過(guò)濾，基于待檢測(cè)物體的歷史信息和運(yùn)動(dòng)信息對(duì)缺失幀的信息進(jìn)行預(yù)測(cè)和補(bǔ)償，得到檢測(cè)結(jié)果；

6、通過(guò)計(jì)算iou對(duì)得到的檢測(cè)結(jié)果進(jìn)行匹配，將多個(gè)amr系統(tǒng)對(duì)同一個(gè)目標(biāo)的多個(gè)單機(jī)感知結(jié)果加入匹配集合；

7、計(jì)算匹配集合中的評(píng)估分?jǐn)?shù)和可見(jiàn)度指標(biāo)；并以此維護(hù)在一段時(shí)間中每個(gè)amr系統(tǒng)檢測(cè)結(jié)果的可信度，同時(shí)對(duì)每個(gè)amr系統(tǒng)在一段時(shí)間中計(jì)算該amr系統(tǒng)的可信度并更新，通過(guò)指標(biāo)融合對(duì)匹配集合進(jìn)行評(píng)估；

8、將感知結(jié)果輕量級(jí)的mqtt通信協(xié)議發(fā)送到云端服務(wù)器，云端服務(wù)器對(duì)mqtt消息包解析并融合，實(shí)現(xiàn)多amr協(xié)同感知。

9、優(yōu)選地，獲得多個(gè)環(huán)境中待檢測(cè)物體的信息具體為：

10、構(gòu)建激光slam全局靜態(tài)地圖，與amr系統(tǒng)搭載的激光雷達(dá)上采集到的實(shí)時(shí)點(diǎn)云進(jìn)行點(diǎn)云配準(zhǔn)，獲取每個(gè)amr系統(tǒng)在全局環(huán)境中位置和姿態(tài)；通過(guò)每個(gè)amr系統(tǒng)搭載的多線激光雷達(dá)和rgb相機(jī)進(jìn)行3d目標(biāo)檢測(cè)，獲得環(huán)境中待檢測(cè)物體的種類(lèi)、相對(duì)的位置、大小、物體點(diǎn)云信息，將amr系統(tǒng)的感知結(jié)果上傳云端服務(wù)器。

11、優(yōu)選地，感知信息具體為：

12、對(duì)每個(gè)amr系統(tǒng)的感知信息進(jìn)行評(píng)估和融合，形成全局的感知信息，包括3d檢測(cè)框的信息和2d檢測(cè)框的信息。

13、更優(yōu)選地，3d檢測(cè)框的信息包括立體框的對(duì)角點(diǎn)、立體框的中心點(diǎn)、立體框的大小、障礙物類(lèi)型、點(diǎn)云數(shù)、置信度，2d檢測(cè)框的信息包括2d框的對(duì)角點(diǎn)，以及置信度。

14、優(yōu)選地，基于待檢測(cè)物體的歷史信息和運(yùn)動(dòng)信息對(duì)缺失幀的信息進(jìn)行預(yù)測(cè)和補(bǔ)償具體為：

15、根據(jù)歷史信息，在該物體運(yùn)動(dòng)模型為恒定轉(zhuǎn)彎率和加速度，根據(jù)歷史恒定轉(zhuǎn)彎率和加速度對(duì)缺失幀的感知數(shù)據(jù)進(jìn)行補(bǔ)償，然后用補(bǔ)償結(jié)果參與感知融合。

16、更優(yōu)選地，檢測(cè)物體在當(dāng)前地圖坐標(biāo)系的全局坐標(biāo)位置預(yù)測(cè)為：

17、

18、其中，為車(chē)輛在k+時(shí)刻，相對(duì)于車(chē)輛自身在k-時(shí)刻的坐標(biāo)系的位移量，為車(chē)輛在k-時(shí)刻，車(chē)輛相對(duì)地圖坐標(biāo)系下的位置，為在k-時(shí)刻，車(chē)輛相對(duì)地圖坐標(biāo)系下的偏航角。

19、優(yōu)選地，評(píng)估分?jǐn)?shù)eα(θ)計(jì)算如下：

20、

21、其中，θ′和θ為已匹配的來(lái)自兩個(gè)不同amr的兩個(gè)檢測(cè)結(jié)果，sα(θ′)為amrα對(duì)檢測(cè)結(jié)果θ′的置信度s，τ為設(shè)定閾值。

22、優(yōu)選地，可見(jiàn)度指標(biāo)φν(θ)計(jì)算如下：

23、

24、其中，pv(θ)為amrv的雷達(dá)在檢測(cè)結(jié)果θ中點(diǎn)云集合p的點(diǎn)云數(shù)量，γu為pv(θ)設(shè)定的上限，γl為pv(θ)設(shè)定的下限。

25、優(yōu)選地，可信度為：

26、

27、其中，sα(θ)為對(duì)單機(jī)檢測(cè)結(jié)果θ的置信度，為對(duì)a車(chē)檢測(cè)結(jié)果θα的信任度，為對(duì)a車(chē)自身的信任度。

28、第二方面，本發(fā)明實(shí)施例提供了一種輕量化的多amr協(xié)同感知系統(tǒng)，包括：

29、3d模塊，獲得多個(gè)環(huán)境中待檢測(cè)物體的感知信息；

30、匹配模塊，對(duì)得到的多個(gè)環(huán)境中待檢測(cè)物體的感知信息進(jìn)行時(shí)間同步和過(guò)濾，基于待檢測(cè)物體的歷史信息和運(yùn)動(dòng)信息對(duì)缺失幀的信息進(jìn)行預(yù)測(cè)和補(bǔ)償，得到檢測(cè)結(jié)果；

31、評(píng)估模塊，通過(guò)計(jì)算iou對(duì)得到的檢測(cè)結(jié)果進(jìn)行匹配，將多個(gè)amr系統(tǒng)對(duì)同一個(gè)目標(biāo)的多個(gè)單機(jī)感知結(jié)果加入匹配集合；

32、補(bǔ)償模塊，計(jì)算匹配集合中的評(píng)估分?jǐn)?shù)和可見(jiàn)度指標(biāo)；并以此維護(hù)在一段時(shí)間中每個(gè)amr系統(tǒng)檢測(cè)結(jié)果的可信度，同時(shí)對(duì)每個(gè)amr系統(tǒng)在一段時(shí)間中計(jì)算該amr系統(tǒng)的可信度并更新，通過(guò)指標(biāo)融合對(duì)匹配集合進(jìn)行評(píng)估；

33、感知模塊，將感知結(jié)果輕量級(jí)的mqtt通信協(xié)議發(fā)送到云端服務(wù)器，云端服務(wù)器對(duì)mqtt消息包解析并融合，實(shí)現(xiàn)多amr協(xié)同感知。

34、第三方面，一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述輕量化的多amr協(xié)同感知方法的步驟。

35、第四方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述輕量化的多amr協(xié)同感知方法的步驟。

36、與現(xiàn)有技術(shù)相比，本發(fā)明至少具有以下有益效果：

37、一種輕量化的多amr協(xié)同感知方法，每個(gè)amr都具有一定程度的自主性和決策能力，但是單機(jī)感知系統(tǒng)存在感知范圍有限、視角單一、容錯(cuò)性差等缺點(diǎn)。多個(gè)amr之間通過(guò)協(xié)作可以更好的完成感知任務(wù)，即在云端接收多個(gè)單機(jī)發(fā)送的物體檢測(cè)結(jié)果，進(jìn)行融合計(jì)算，以此提高了多機(jī)系統(tǒng)對(duì)環(huán)境全局感知能力。

38、進(jìn)一步的，在進(jìn)行多機(jī)協(xié)同感知之前，進(jìn)行單機(jī)3d目標(biāo)檢測(cè)獲得物體在3d空間中的類(lèi)別，位置等信息，這是后續(xù)協(xié)同感知的基礎(chǔ)，也是感知融合算法設(shè)計(jì)的依據(jù)。

39、進(jìn)一步的，在接收到單機(jī)的檢測(cè)結(jié)果后，云端首先進(jìn)行數(shù)據(jù)同步，根據(jù)單機(jī)檢測(cè)結(jié)果的時(shí)間戳對(duì)多機(jī)檢測(cè)結(jié)果進(jìn)行對(duì)應(yīng)；考慮到人和車(chē)的檢測(cè)框應(yīng)該不小于某一大小，因此設(shè)定閾值，將體積小于該閾值的檢測(cè)結(jié)果認(rèn)為是明顯錯(cuò)的結(jié)果，將其剔除掉，降低錯(cuò)誤檢測(cè)結(jié)果的干擾；通過(guò)計(jì)算不同amr不同檢測(cè)結(jié)果之間的iou，對(duì)檢測(cè)結(jié)果進(jìn)行匹配，區(qū)分不同車(chē)的檢測(cè)是否是針對(duì)同一物體，并將同一物體的一組檢測(cè)結(jié)果加入匹配集合，這是后續(xù)設(shè)置評(píng)估分?jǐn)?shù)的基礎(chǔ)。

40、進(jìn)一步的，當(dāng)a車(chē)向云端發(fā)送一連串幀的檢測(cè)結(jié)果，但由于通信問(wèn)題，導(dǎo)致其中某一時(shí)間戳下單機(jī)感知結(jié)果缺失，進(jìn)而影響與其他車(chē)在此時(shí)間戳下的感知融合結(jié)果。假設(shè)物體作的線加速度恒定、角速度不變，則可以通過(guò)a車(chē)歷史幀中物體位置、朝向信息來(lái)預(yù)測(cè)丟失幀中物體的位置，朝向信息，通過(guò)預(yù)測(cè)出來(lái)的檢測(cè)結(jié)果參與感知融合算法，使得系統(tǒng)對(duì)通信環(huán)境更加魯棒。

41、進(jìn)一步的，評(píng)估分?jǐn)?shù)實(shí)際上反映，其他amr視角上對(duì)自身檢測(cè)結(jié)果的評(píng)價(jià)，θ′θ兩個(gè)檢測(cè)結(jié)果分別來(lái)自a車(chē)和b車(chē)對(duì)同一個(gè)物體的檢測(cè)結(jié)果(由于θ′θ能夠互相匹配，即他們的iou大于一個(gè)設(shè)定閾值τ)，因此對(duì)于b車(chē)的檢測(cè)結(jié)果θ，a車(chē)有能力從另一個(gè)觀察者的角度進(jìn)行評(píng)估，該評(píng)估值為a車(chē)對(duì)該物體單機(jī)3d目標(biāo)檢測(cè)結(jié)果的置信度sα(θ′)，評(píng)估分?jǐn)?shù)是后續(xù)指標(biāo)計(jì)算的先決參數(shù)。

42、進(jìn)一步的，可見(jiàn)度指標(biāo)反映3d檢測(cè)結(jié)果中點(diǎn)云的數(shù)量：在3d檢測(cè)任務(wù)中，距離激光雷達(dá)越遠(yuǎn)或者被部分遮擋的物體，他們被激光雷達(dá)照射返回的點(diǎn)云就越少，會(huì)檢測(cè)結(jié)果越容易不準(zhǔn)確，因此點(diǎn)云數(shù)量即可見(jiàn)度指標(biāo)可以作為評(píng)判檢測(cè)結(jié)果的指標(biāo)之一。

43、進(jìn)一步的，對(duì)于感知融合系統(tǒng)，需要評(píng)估每個(gè)檢測(cè)結(jié)果的可信度，獲得最高可信度的檢測(cè)結(jié)果。對(duì)于感知融合系統(tǒng)，需要通過(guò)每個(gè)amr歷史檢測(cè)結(jié)果的可信度來(lái)推斷出來(lái)該amr的可信度，來(lái)識(shí)別出系統(tǒng)低信任度或者惡意的車(chē)輛。對(duì)于感知融合系統(tǒng)，對(duì)每個(gè)檢測(cè)結(jié)果的可信度和每個(gè)amr的可信度進(jìn)行融合，得到對(duì)空間中某一個(gè)檢測(cè)物體(也就是一個(gè)匹配集)的評(píng)估分?jǐn)?shù)，用于系統(tǒng)對(duì)amr的調(diào)度和路徑規(guī)劃。

44、可以理解的是，上述第二方面的有益效果可以參見(jiàn)上述第一方面中的相關(guān)描述，在此不再贅述。

45、綜上所述，本發(fā)明通過(guò)協(xié)同工作，彌補(bǔ)了單個(gè)機(jī)器人感知的局限性，提高了整個(gè)系統(tǒng)的感知能力和任務(wù)執(zhí)行效率。

46、下面通過(guò)附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。