本發(fā)明涉及農(nóng)業(yè)，具體是一種農(nóng)作物頂芽跟蹤匹配方法、設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、目前的跟蹤匹配方法多是使用卡爾曼濾波方法將上一幀物體的位置預(yù)測到當(dāng)前幀上與當(dāng)前幀的物體檢測結(jié)果進行交并比計算，大于一定閾值則認(rèn)為是同一物體，但是此類方法對于密集生長且無規(guī)則形狀的農(nóng)作物來說難以生效，原因是密集生長就導(dǎo)致對上一幀物體預(yù)測在當(dāng)前幀的位置要求很高的精度，否則易匹配到錯誤目標(biāo)上；其次農(nóng)作物不像車輛等規(guī)則物體，容易使用矩形框的方式計算物體與物體之間的交并比，以棉花頂芽舉例，在農(nóng)業(yè)場景所檢測的物體是頂芽，如圖2所示，頂芽在俯視圖像中是不能直接看到，而是被葉片遮擋，在每幀以深度學(xué)習(xí)算法檢測出后往往以點坐標(biāo)的形式表示其位置，與下一幀的棉花頂芽匹配時難以規(guī)劃一個合適的矩形框表示，所以無法以矩形框交并比計算匹配方式也無法單純過于寬松的距離閾值約束匹配范圍。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種農(nóng)作物頂芽跟蹤匹配方法、設(shè)備及存儲介質(zhì)，棉花頂芽在多幀檢測過程中以唯一id跟蹤匹配關(guān)聯(lián)同一個頂芽，利用了特征點提取與深度反向計算出了相機的幀間移動，利用較小的水平面距離閾值與同一頂芽高度變化小的特點關(guān)聯(lián)匹配同一頂芽在不同幀的位置。

2、本發(fā)明的目的可以通過以下技術(shù)方案實現(xiàn)：

3、本技術(shù)提供了一種農(nóng)作物頂芽跟蹤匹配方法，包括如下步驟：

4、s1、將彩色與深度一體相機設(shè)置在移動車架上，且相機俯視視角朝下，將移動車架在地里行駛，以一定速度在多個棉花頂部經(jīng)過，同一棉花頂芽到相機的深度不變，用于拍攝棉花頂部的圖像；

5、s2、根據(jù)步驟s1獲取的棉花頂部的圖像數(shù)據(jù)，包括彩色圖像和深度圖像，使用基于深度學(xué)習(xí)的關(guān)鍵點檢測算法檢測頂芽位置；

6、s3、根據(jù)步驟s2所述的頂芽位置，在圖像第一幀時，每個頂芽在相機坐標(biāo)系的位置都初始化一個唯一的id，每個棉花頂部在相機坐標(biāo)系中的位置分配一個獨特的標(biāo)識符，用于標(biāo)識和跟蹤每個頂芽的位置和狀態(tài)；

7、s4、通過計算兩幀圖像的特征點和描述子，并進行特征匹配，在兩幀特征匹配后，取出當(dāng)前幀上距離圖片中心最近的特征點ft與對應(yīng)匹配上一幀的特征點ft-1，再將特征點在圖像中的位置映射到相機坐標(biāo)系中，得到棉花頂芽在相機坐標(biāo)系下的位置；

8、s5、根據(jù)步驟s4獲取的ft與ft-1，是現(xiàn)實世界的同一位置在不同幀彩色圖中提取到的特征點，根據(jù)相機移動獲取兩幀間的位置，將上一幀所檢測到的所有棉花頂芽在相機坐標(biāo)系下的位置tc與相機在三軸移動的偏移量相加，得到上一幀棉花頂芽在當(dāng)前幀的預(yù)估位置；

9、s6、將當(dāng)前幀頂芽預(yù)估位置與當(dāng)前幀所檢測的棉花頂芽位置進行計算和匹配，當(dāng)歷史棉花頂芽與當(dāng)前幀預(yù)估位置關(guān)聯(lián)匹配，則以當(dāng)前幀檢測的位置更新該id所表示的棉花頂，當(dāng)沒有關(guān)聯(lián)匹配時，則新增唯一id表示新檢測的棉花頂芽。

10、進一步的，基于深度學(xué)習(xí)的關(guān)鍵點檢測算法檢測頂芽位置，得到頂芽在彩色圖像的位置t，利用該位置和事先標(biāo)定好的彩色圖與深度圖的位置變換關(guān)系，找到彩色圖的t位置在深度圖對應(yīng)的深度d，基于事先標(biāo)定的彩色相機內(nèi)參，取內(nèi)參矩陣的逆乘以t坐標(biāo)再乘以深度d得到頂芽在相機坐標(biāo)系的位置tc。

11、進一步的，根據(jù)彩色圖像位置t和深度d，將t映射到相機坐標(biāo)系下的位置tc，設(shè)定彩色圖像位置t的坐標(biāo)為(u,v)，深度d為d，相機內(nèi)參矩陣為k，相機坐標(biāo)系下的位置為(xc,yc,zc)，則包括以下公式：

12、將彩色圖像位置t轉(zhuǎn)換為相機坐標(biāo)系下的歸一化坐標(biāo)，表示為：[x?y?z]＝k^(-1)[u?v?1]；將歸一化坐標(biāo)乘以深度d得到相機坐標(biāo)系下的位置，表示為[xc?yc?zc]＝d*[x?yz]；頂芽在相機坐標(biāo)系下的位置tc，表示為：tc＝d*k^(-1)[u?v?1]。

13、進一步的，基于ft在當(dāng)前幀的位置對應(yīng)地取深度圖同一位置的深度dt，該深度表示ft所處位置相對相機的距離，基于事先標(biāo)定的彩色相機內(nèi)參，取內(nèi)參矩陣的逆乘以ft在圖像上的uv坐標(biāo)再乘以深度dt得到ft在相機坐標(biāo)系的位置pt，pt包含在相機坐標(biāo)系下的x、y、z坐標(biāo)，同理將ft-1在上一幀的位置與相機內(nèi)參以及ft-1在上一幀位置的深度dt-1計算出ft-1對應(yīng)的相機坐標(biāo)系下的位置pt-1。

14、進一步的，對于特征點ft在當(dāng)前幀的位置，其相機坐標(biāo)系下的位置pt的計算公式為：pt＝d_t*k^(-1)[u_t?v_t?1]；其中，d_t表示當(dāng)前幀中特征點ft所處位置對應(yīng)的深度值，k為相機內(nèi)參矩陣，u_t和v_t為ft在當(dāng)前幀圖像上的像素坐標(biāo)；

15、對當(dāng)前幀的特征點ft和上一幀的特征點ft-1進行匹配，根據(jù)匹配結(jié)果得到對應(yīng)關(guān)系，對于上一幀特征點ft-1在上一幀的位置，其相機坐標(biāo)系下的位置pt-1的計算公式為：pt-1＝d_{t-1}*k^(-1)[u_{t-1}v_{t-1}1]；其中，(d_{t-1})表示上一幀中特征點ft-1所處位置對應(yīng)的深度值，u_{t-1}和v_{t-1}為ft-1在上一幀圖像上的像素坐標(biāo)；在特征匹配過程中，通過計算特征點在圖像中的位置，并結(jié)合深度信息，將其映射到相機坐標(biāo)系下，得到特征點在三維空間中的位置，再通過特征點匹配，在不同幀間追蹤頂芽的位置和狀態(tài)。

16、進一步的，通過pt與pt-1相減，得到現(xiàn)實世界同一位置在不同幀相機下的偏移，即相機在現(xiàn)實世界中第t幀相對第t-1幀在xyz三軸偏移量x_offset、y_offset、z_offset。

17、進一步的，相機是朝下俯視的視角，設(shè)定xy軸是水平面，z軸是朝下的豎直方向，再設(shè)定預(yù)估位置為(p_{pred}＝(x_{pred},y_{pred},z_{pred}))，檢測位置為p_{det}＝(x_{det},y_{det},z_{det})；

18、在相機俯視的情況下，xy平面為水平面，z軸為豎直方向，計算預(yù)估位置與檢測位置在xy平面上的歐氏距離表示為：distance_{xy}＝

19、\sqrt{(x_{pred}-x_{det})^2+(y_{pred}-y_{det})^2}；

20、再計算z坐標(biāo)的差異，即z軸方向上的差值：diff_z＝|z_{pred}-z_{det}|；根據(jù)計算結(jié)果，當(dāng)distance_{xy}<1.5厘米且diff_z≤3厘米時，則認(rèn)為預(yù)估位置與檢測位置匹配上，表示為同一個頂芽，用同一id表示，以當(dāng)前幀檢測的位置更新該id所表示的棉花頂；

21、一種農(nóng)作物頂芽跟蹤匹配設(shè)備，包括處理器、存儲器以及存儲在存儲器中的計算機程序指令，當(dāng)計算機程序指令被處理器執(zhí)行時實現(xiàn)上述一種農(nóng)作物頂芽跟蹤匹配方法步驟。

22、一種存儲介質(zhì)，其上存儲有計算機程序指令，當(dāng)計算機程序指令被處理器執(zhí)行時實現(xiàn)上述一種農(nóng)作物頂芽跟蹤匹配方法步驟。

23、本發(fā)明的有益效果為：

24、通過深度學(xué)習(xí)算法和關(guān)鍵點檢測技術(shù)，成功解決了對密集生長和無規(guī)則形狀農(nóng)作物的高精度跟蹤匹配問題，實現(xiàn)了對農(nóng)作物頂芽的準(zhǔn)確定位和識別，無需依賴矩形框表示，可以確保對農(nóng)作物頂芽進行精準(zhǔn)的跟蹤和匹配，提高了匹配的準(zhǔn)確性和穩(wěn)定性；

25、通過將彩色圖像和深度圖像結(jié)合使用，以及采用基于深度學(xué)習(xí)的關(guān)鍵點檢測算法，成功解決了密集生長和無規(guī)則形狀農(nóng)作物的跟蹤匹配困難，可以應(yīng)對農(nóng)作物在生長過程中的復(fù)雜形態(tài)變化，提高了匹配的魯棒性和準(zhǔn)確性。