本發(fā)明屬于無人機(jī)，尤其涉及一種基于視覺的無人機(jī)追蹤無人車的方法。

背景技術(shù)：

1、近十年，無人機(jī)技術(shù)得到了飛速的發(fā)展，并在多個(gè)領(lǐng)域中發(fā)揮著作用，例如物流運(yùn)輸、環(huán)境監(jiān)測、農(nóng)業(yè)噴灑等。隨著無人機(jī)機(jī)載電腦計(jì)算能力和傳感器的不斷提升，無人機(jī)在目標(biāo)追蹤方面的能力也得到了大幅度的提升。無人機(jī)追蹤技術(shù)設(shè)計(jì)多方面技術(shù)，包括目標(biāo)檢測技術(shù)、軌跡預(yù)測技術(shù)、自主導(dǎo)航技術(shù)、運(yùn)動(dòng)控制技術(shù)等。無人機(jī)追蹤無人車是一個(gè)具有挑戰(zhàn)性的問題，一般而言，有三個(gè)主要的技術(shù)挑戰(zhàn)：一是安全性，無人機(jī)在追蹤無人車過程中應(yīng)避免與周圍的障礙物以及目標(biāo)發(fā)生碰撞。二是可見性，無人機(jī)應(yīng)將無人車保持在可見范圍內(nèi)，避免被障礙物遮擋。三是平滑性，應(yīng)保持自身軌跡平滑，避免觀測的無人車運(yùn)動(dòng)模糊。

2、目前，傳統(tǒng)無人機(jī)追蹤無人車的方法中，不僅軌跡的安全性和平穩(wěn)性難以保證，并且在面對一些極端情況時(shí)，如無人車忽然轉(zhuǎn)向或者加減速時(shí)目標(biāo)非常容易丟失，使得現(xiàn)有方案的可靠性較差?，F(xiàn)有的可靠的無人機(jī)追蹤無人車的方案還存在著較大的空白。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明目的在于提供一種基于視覺的無人機(jī)追蹤無人車的方法，以解決上述的技術(shù)問題。

2、為解決上述技術(shù)問題，本發(fā)明的一種基于視覺的無人機(jī)追蹤無人車的方法的具體技術(shù)方案如下：

3、一種基于視覺的無人機(jī)追蹤無人車的方法，包括如下步驟：

4、步驟1：無人機(jī)上配備單目攝像頭，基于視覺使用yolov8目標(biāo)檢測算法或是使用apriltag來實(shí)時(shí)檢測目標(biāo)無人車并對其進(jìn)行定位；

5、步驟2：預(yù)測目標(biāo)無人車的運(yùn)動(dòng)軌跡，在無人車被成功識(shí)別并定位后利用訓(xùn)練好的深度學(xué)習(xí)transformer模型根據(jù)無人車歷史的運(yùn)動(dòng)軌跡來預(yù)測無人車的運(yùn)動(dòng)軌跡；

6、步驟3：全局路徑搜索，根據(jù)目標(biāo)無人車的當(dāng)前位置和預(yù)測的未來運(yùn)動(dòng)軌跡，使用informed?rrt*算法，建立一棵探索隨機(jī)樹來有效搜索路徑，找到一條從無人機(jī)當(dāng)前位置到跟蹤目標(biāo)的路徑；

7、步驟4：軌跡優(yōu)化，針對步驟3中生成的路徑，在每個(gè)離散的路徑點(diǎn)處進(jìn)行增量式的拓展構(gòu)造一系列的飛行走廊；然后在飛行走廊內(nèi)通過分段貝塞爾曲線生成一條光滑、安全且動(dòng)力學(xué)可行的路徑。

8、進(jìn)一步的，所述步驟1使用yolov8中最輕量化的yolov8n作為算法模型，yolov8算法包含以下具體步驟：

9、使用yolov8獲取到無人車的檢測框后，目標(biāo)檢測框?qū)挾葹閣，長度為d目標(biāo)檢測框兩個(gè)對角點(diǎn)坐標(biāo)為[x1,y1]，[x2,y2]，

10、w＝y(tǒng)2-y1

11、

12、結(jié)合相機(jī)內(nèi)參來獲取無人車質(zhì)心的位置：

13、

14、fx,fy,cx,cy分別表示相機(jī)x軸的焦距、y軸的焦距、相機(jī)主點(diǎn)橫坐標(biāo)、相機(jī)主點(diǎn)縱坐標(biāo)。

15、進(jìn)一步的，使用apriltag來實(shí)時(shí)檢測目標(biāo)無人車并對其進(jìn)行定位的算法步驟如下：自適應(yīng)閾值分割；查找輪廓，使用union-find查找連通域；對輪廓進(jìn)行直線擬合，查找候選的凸四邊形；對四邊形進(jìn)行解碼，識(shí)別tag坐標(biāo)變換，轉(zhuǎn)換到世界坐標(biāo)系；

16、當(dāng)場景中出現(xiàn)tag時(shí)，首先求出場景圖像的梯度圖像；然后提取場景中的直線，檢測方形角點(diǎn)；然后得到突刺昂的方形區(qū)域以及關(guān)鍵角點(diǎn)，將方形區(qū)域同態(tài)映射為正方形；將映射的正方形與tags庫進(jìn)行匹配，判斷是否為tags；然后根據(jù)相機(jī)的成像原理，根據(jù)相機(jī)焦距、tag的尺寸計(jì)算出相機(jī)坐標(biāo)系下的三維坐標(biāo)，實(shí)現(xiàn)確定tags的位置。

17、進(jìn)一步的，步驟2所述transformer的結(jié)構(gòu)包括編碼器和解碼器，其中編碼器包含多個(gè)多頭注意力模塊與全連接層網(wǎng)絡(luò)，解碼器包含多頭注意力模塊與前饋神經(jīng)網(wǎng)絡(luò)，在各模塊間用殘差連接以及進(jìn)行歸一化處理，模型訓(xùn)練采用損失函數(shù)為smooth-l1損失函數(shù)：

18、

19、式中yi是真實(shí)值，f(xi)為預(yù)測值，n為預(yù)測位置個(gè)數(shù)，無人車在未來tp時(shí)間內(nèi)對應(yīng)的n個(gè)預(yù)測位置表示為：

20、

21、進(jìn)一步的，所述步驟3使用貪婪方法，解耦為多目標(biāo)路徑搜索問題，每個(gè)預(yù)測位置zn定義一個(gè)無遮擋區(qū)域φx，φn被設(shè)置為第n個(gè)路徑搜索問題的目的地。進(jìn)一步的，步驟3所述informed?rrt*算法流程如下：

22、步驟3.1初始化隨機(jī)樹：在狀態(tài)空間中選取一個(gè)初始節(jié)點(diǎn)作為樹的根節(jié)點(diǎn)；步驟3.2設(shè)定橢圓采樣區(qū)域，該區(qū)域的焦點(diǎn)為起點(diǎn)和終點(diǎn)，長軸a等于初始路徑長度的一半，即：

23、a＝c_best/2

24、其中c_best為初始路徑長度，短軸b和焦距c根據(jù)橢圓性質(zhì)計(jì)算得出：

25、a2＝b2+c2

26、步驟3.3橢圓采樣：在設(shè)定的橢圓采樣區(qū)域內(nèi)進(jìn)行采樣，得到一個(gè)隨機(jī)點(diǎn)x_rand；

27、步驟3.4尋找最近鄰節(jié)點(diǎn)：在樹中找到距離x_rand最近的節(jié)點(diǎn)x_near：

28、xnear＝argmin(dist(xrand，x))

29、dist采用歐式距離；

30、步驟3.5擴(kuò)展樹：以x_near為起點(diǎn)，以x_rand為終點(diǎn)，沿著從x_near到x_rand的路徑生成一條新的節(jié)點(diǎn)序列，在添加新節(jié)點(diǎn)的過程中，計(jì)算每個(gè)節(jié)點(diǎn)的代價(jià)，并更新節(jié)點(diǎn)的父節(jié)點(diǎn)和代價(jià)；

31、步驟3.6查找可行路徑：如果新節(jié)點(diǎn)x_new被添加到樹t中，檢查從起點(diǎn)到x_new的路徑是否可行，如果可行，檢查是否找到了一條從起點(diǎn)到目標(biāo)點(diǎn)的路徑，如果找到了一條可行路徑，則算法可能進(jìn)入優(yōu)化階段或結(jié)束；步驟3.7優(yōu)化路徑：對樹t進(jìn)行優(yōu)化，通過重新連接節(jié)點(diǎn)和修剪無用的分支來減少路徑的代價(jià)，如果在之后的迭代中找到了更短的路徑，更新c_best的值，并重新計(jì)算橢圓采樣區(qū)域的大小和形狀；

32、步驟3.8重復(fù)執(zhí)行：重復(fù)執(zhí)行步驟3.2到步驟3.7，直到找到一條可行路徑或者達(dá)到指定的迭代次數(shù)；

33、如果采用找到了一條可行路徑，則從終點(diǎn)開始，沿著樹的結(jié)構(gòu)向起點(diǎn)回溯得到路徑，否則輸出無法找到一條可行路徑。

34、進(jìn)一步的，所述步驟4根據(jù)步驟3中采樣得到的一系列離散位置點(diǎn)，對每一個(gè)離散點(diǎn)沿著速度方向生成一小段多邊形，再沿著四周進(jìn)行拓展得到一個(gè)無碰撞的凸多邊形飛行走廊，

35、整段軌跡用分段貝塞爾曲線進(jìn)行表示：

36、

37、其中σ為貝塞爾曲線的維度，表示第j段的第i個(gè)控制點(diǎn)，t0，t1，...，tn是起點(diǎn)和終點(diǎn)的時(shí)間戳，

38、根據(jù)每個(gè)段的持續(xù)時(shí)間為每個(gè)段引入一個(gè)縮放因子αj；

39、采用五次分段貝塞爾曲線(m＝5)作為軌跡參數(shù)化，貝塞爾曲線的k階導(dǎo)數(shù)通過控制點(diǎn)表示為：

40、

41、將跟蹤問題表述為以下形式：

42、

43、其中第一行為優(yōu)化的目標(biāo)函數(shù)，它表示為最小化加加速度損失與最小化時(shí)間，ρ為一個(gè)可以調(diào)整的時(shí)間權(quán)重參數(shù)，第一個(gè)約束表示軌跡初始位置和終止位置約束；第二個(gè)約束表示最大速度與加速度的約束；第三個(gè)約束表示為飛行走廊約束，保證生成軌跡能夠避開障礙物；第四個(gè)約束為可見區(qū)域約束，對每個(gè)目標(biāo)預(yù)測點(diǎn)都存在一個(gè)可見區(qū)域，保證追蹤無人機(jī)能夠?qū)崟r(shí)檢測到目標(biāo)無人車；第五個(gè)約束為無人機(jī)與目標(biāo)無人車的距離約束，在水平方向和垂直方向上都應(yīng)與目標(biāo)無人車存在一定的距離，第六個(gè)約束為輸出軌跡的持續(xù)時(shí)間大于等于目標(biāo)預(yù)測軌跡的持續(xù)時(shí)間，將約束進(jìn)行軟化添加到目標(biāo)函數(shù)里，借助梯度使用l-bfgs進(jìn)行求解，l-bfgs算法使用前m次迭代的曲率信息來近似hessian矩陣或其逆矩陣的更新：

44、兩次自變量x的變化量s：

45、si＝xi+1-xi

46、兩次迭代中梯度變化量y：

47、

48、l-bfgs更新公式：

49、

50、式中hk+1為第k+1步迭代的hessian矩陣或其逆矩陣的近似，vi為由si和yi構(gòu)成的矩陣，用于近似hessian矩陣或其逆矩陣的更新，為初始的hessian矩陣或其逆矩陣的近似，通常取為單位矩陣或?qū)蔷仃?，ρk為一個(gè)正數(shù)，用于調(diào)節(jié)近似的準(zhǔn)確性，其值通常為sk為由sk-m，...，sk-1構(gòu)成的矩陣。

51、本發(fā)明的一種基于視覺的無人機(jī)追蹤無人車的方法具有以下優(yōu)點(diǎn)：

52、(1)本發(fā)明使用的方法無人機(jī)可以在追蹤無人車的過程中實(shí)現(xiàn)避障功能同時(shí)與目標(biāo)無人車保持一定的距離，保證追蹤過程的安全性。

53、(2)本發(fā)明使用的方法靈活度較高，無人機(jī)會(huì)根據(jù)目標(biāo)無人車的軌跡趨勢及時(shí)更新運(yùn)動(dòng)軌跡，保證目標(biāo)無人車能夠不脫離無人機(jī)的檢測范圍。

54、(3)本發(fā)明使用的方法效率高，在檢測到車的位置后，不對大量的點(diǎn)云數(shù)據(jù)進(jìn)行處理，而是將車視為一個(gè)質(zhì)點(diǎn)進(jìn)行預(yù)測并生成軌跡。同時(shí)使用了快速的路徑搜索算法和軌跡優(yōu)化算法，計(jì)算速度快，保證無人機(jī)軌跡生成的實(shí)時(shí)性。

55、(4)本發(fā)明使用的方法適應(yīng)的場景廣，不論是在空曠場景還是一些有著較多障礙物的復(fù)雜場景，無人機(jī)都能有效對無人車進(jìn)行實(shí)時(shí)的跟蹤。