背景技術(shù)：

1、隨著技術(shù)的進(jìn)步，先前由人類執(zhí)行的任務(wù)變得越來越自動(dòng)化。雖然在高度受控環(huán)境(諸如工廠組裝線)中執(zhí)行的任務(wù)可以通過引導(dǎo)機(jī)器每次以相同的方式執(zhí)行任務(wù)來實(shí)現(xiàn)自動(dòng)化，但是在不可預(yù)測(cè)的環(huán)境中執(zhí)行的任務(wù)(諸如在城市街道上行駛或用吸塵器清理雜亂的房間)取決于動(dòng)態(tài)反饋和自適應(yīng)來執(zhí)行任務(wù)。自主系統(tǒng)通常難以在不可預(yù)測(cè)的環(huán)境中標(biāo)識(shí)和定位對(duì)象。改進(jìn)的對(duì)象跟蹤方法將推動(dòng)自動(dòng)化技術(shù)的發(fā)展，并提高自主系統(tǒng)對(duì)不可預(yù)測(cè)的環(huán)境做出反應(yīng)和適應(yīng)的能力。

技術(shù)實(shí)現(xiàn)思路

1、在各種方面中，本公開提供了一種預(yù)測(cè)被跟蹤對(duì)象相對(duì)于移動(dòng)交通工具的位置的方法，所述方法包括：在第一時(shí)間的第一圖像中，確定第一組對(duì)象相對(duì)于移動(dòng)交通工具的第一組實(shí)際位置；在第二時(shí)間的第二圖像中，確定第二組對(duì)象相對(duì)于所述移動(dòng)交通工具的第二組實(shí)際位置，其中所述第二組對(duì)象包括與所述第一組對(duì)象相同的一個(gè)或多個(gè)對(duì)象；將多個(gè)測(cè)試偏移應(yīng)用于所述第一組對(duì)象的所述第一組實(shí)際位置以獲得所述第一組對(duì)象在所述第二時(shí)間的一組測(cè)試位置，其中所述多個(gè)測(cè)試偏移中的每個(gè)測(cè)試偏移基于第一對(duì)象在所述第一時(shí)間的第一實(shí)際位置與第二對(duì)象在所述第二時(shí)間的第二實(shí)際位置之間的距離來確定；確定所述第一組對(duì)象在所述第二時(shí)間的所述一組測(cè)試位置中的所述測(cè)試位置中的每一者與所述第二組對(duì)象在所述第二時(shí)間的所述第二組實(shí)際位置中的每一者之間的多個(gè)偏差，其中所述多個(gè)偏差中的每個(gè)偏差對(duì)應(yīng)于所述多個(gè)測(cè)試偏移中的測(cè)試偏移；基于所述多個(gè)偏差從所述多個(gè)測(cè)試偏移中選擇細(xì)化偏移；以及標(biāo)識(shí)包括在所述第一組對(duì)象和所述第二組對(duì)象兩者中的被跟蹤對(duì)象。

2、在一些方面中，所述方法還包括將所述細(xì)化偏移應(yīng)用于第一組對(duì)象在所述第一時(shí)間的所述第一組實(shí)際位置以建立所述第一組對(duì)象在所述第二時(shí)間的一組偏移位置。在一些方面中，所述方法還包括根據(jù)所述被跟蹤對(duì)象在所述第一時(shí)間的所述第一圖像中的實(shí)際位置和所述被跟蹤對(duì)象在所述第二時(shí)間的所述第二圖像中的實(shí)際位置來確定所述被跟蹤對(duì)象在所述第一時(shí)間與所述第二時(shí)間之間的矢量移位。在一些方面中，所述細(xì)化偏移是所述多個(gè)測(cè)試偏移中具有最小對(duì)應(yīng)偏差的測(cè)試偏移。在一些方面中，所述方法還包括確定所述移動(dòng)交通工具的矢量速度。

3、在各種方面中，本公開提供了一種預(yù)測(cè)被跟蹤對(duì)象相對(duì)于移動(dòng)交通工具的位置的方法，所述方法包括：在第一時(shí)間的第一圖像中，確定第一組對(duì)象相對(duì)于移動(dòng)交通工具的第一組實(shí)際位置；在第二時(shí)間的第二圖像中，確定第二組對(duì)象相對(duì)于所述移動(dòng)交通工具的第二組實(shí)際位置，其中所述第二組對(duì)象包括與所述第一組對(duì)象相同的一個(gè)或多個(gè)對(duì)象；將預(yù)測(cè)偏移應(yīng)用于所述第一組對(duì)象的所述第一組實(shí)際位置以產(chǎn)生一組中間位置，其中所述預(yù)測(cè)偏移是基于所述移動(dòng)交通工具的矢量速度以及所述第一時(shí)間與所述第二時(shí)間之間的時(shí)間差；將第二偏移應(yīng)用于所述一組中間位置以獲得所述第一組對(duì)象在所述第二時(shí)間的一組偏移位置，其中所述第二偏移基于第一對(duì)象的所述一組中間位置中的第一中間位置與第二對(duì)象在所述第二時(shí)間的第二實(shí)際位置之間的距離來確定；標(biāo)識(shí)包括在所述第一組對(duì)象中的被跟蹤對(duì)象；指定搜索區(qū)域；從所述第二組實(shí)際位置中選擇所述第二組對(duì)象中的所述被跟蹤對(duì)象在所述第二時(shí)間的所述第二圖像中的實(shí)際位置，其中所述被跟蹤對(duì)象在所述第二時(shí)間的所述第二圖像中的所述實(shí)際位置在所述搜索區(qū)域內(nèi)；以及根據(jù)所述被跟蹤對(duì)象在所述第一時(shí)間的所述第一圖像中的實(shí)際位置和所述被跟蹤對(duì)象在所述第二時(shí)間的所述第二圖像中的實(shí)際位置來確定所述被跟蹤對(duì)象在所述第一時(shí)間與所述第二時(shí)間之間的矢量移位。

4、在一些方面中，所述被跟蹤對(duì)象的所述一組中間位置中的中間位置在所述搜索區(qū)域內(nèi)。在一些方面中，所述方法包括指定所述被跟蹤對(duì)象的所述中間位置周圍的所述搜索區(qū)域。在一些方面中，所述方法包括指定所述被跟蹤對(duì)象的所述實(shí)際位置周圍的所述搜索區(qū)域。

5、在各種方面中，本公開提供了一種預(yù)測(cè)被跟蹤對(duì)象相對(duì)于移動(dòng)交通工具的位置的方法，所述方法包括：在第一時(shí)間的第一圖像中，確定第一組對(duì)象相對(duì)于移動(dòng)交通工具的第一組實(shí)際位置；在第二時(shí)間的第二圖像中，確定第二組對(duì)象相對(duì)于所述移動(dòng)交通工具的第二組實(shí)際位置，其中所述第二組對(duì)象包括與所述第一組對(duì)象相同的一個(gè)或多個(gè)對(duì)象；標(biāo)識(shí)包括在所述第一組對(duì)象中的被跟蹤對(duì)象；將預(yù)測(cè)偏移應(yīng)用于所述被跟蹤對(duì)象在所述第一時(shí)間的所述第一圖像中的實(shí)際位置以產(chǎn)生所述被跟蹤對(duì)象在所述第二時(shí)間的偏移位置，其中所述預(yù)測(cè)偏移是基于所述移動(dòng)交通工具的矢量速度以及所述第一時(shí)間與所述第二時(shí)間之間的時(shí)間差；指定搜索區(qū)域；從所述第二組實(shí)際位置中選擇所述第二組對(duì)象中的所述被跟蹤對(duì)象在所述第二時(shí)間的所述第二圖像中的實(shí)際位置，其中所述被跟蹤對(duì)象在所述第二時(shí)間的所述第二圖像中的所述實(shí)際位置在所述搜索區(qū)域內(nèi)；以及根據(jù)所述被跟蹤對(duì)象在所述第一時(shí)間的所述第一圖像中的實(shí)際位置和所述被跟蹤對(duì)象在所述第二時(shí)間的所述第二圖像中的實(shí)際位置來確定所述被跟蹤對(duì)象在所述第一時(shí)間與所述第二時(shí)間之間的矢量移位。

6、在一些方面中，所述方法包括指定所述被跟蹤對(duì)象的所述偏移位置周圍的所述搜索區(qū)域。在一些方面中，所述方法包括指定所述被跟蹤對(duì)象的所述實(shí)際位置周圍的所述搜索區(qū)域。在一些方面中，所述被跟蹤對(duì)象的所述偏移位置在所述搜索區(qū)域內(nèi)。在一些方面中，所述方法包括將所述預(yù)測(cè)偏移應(yīng)用于所述第一組實(shí)際位置中的每個(gè)位置以產(chǎn)生一組偏移位置。在一些方面中，所述方法還包括將第二偏移應(yīng)用于所述偏移位置以產(chǎn)生所述被跟蹤對(duì)象的修正偏移位置，其中所述第二偏移是基于所述一組偏移位置中的偏移位置與所述第二組實(shí)際位置中的實(shí)際位置之間的距離。在一些方面中，所述方法包括指定所述被跟蹤對(duì)象的所述修正偏移位置周圍的所述搜索區(qū)域。在一些方面中，所述被跟蹤對(duì)象的所述修正偏移位置在所述搜索區(qū)域內(nèi)。

7、在一些方面中，所述方法還包括基于所述被跟蹤對(duì)象在所述第一時(shí)間與所述第二時(shí)間之間的所述矢量移位以及所述移動(dòng)交通工具的所述矢量速度來確定所述被跟蹤對(duì)象隨時(shí)間的軌跡。在一些方面中，所述方法還包括基于所述被跟蹤對(duì)象在所述第一時(shí)間與所述第二時(shí)間之間的所述矢量移位以及所述第二時(shí)間與第三時(shí)間之間經(jīng)過的時(shí)間來確定所述被跟蹤對(duì)象在所述第三時(shí)間的預(yù)測(cè)位置。

8、在各種方面中，本公開提供了一種預(yù)測(cè)被跟蹤對(duì)象相對(duì)于移動(dòng)交通工具的位置的方法，所述方法包括：在第一時(shí)間的第一圖像中，確定第一組對(duì)象相對(duì)于移動(dòng)交通工具的第一組實(shí)際位置；標(biāo)識(shí)包括在所述第一組對(duì)象中的被跟蹤對(duì)象；確定所述移動(dòng)交通工具的矢量速度；以及基于所述矢量速度、所述第一時(shí)間與所述第二時(shí)間之間的時(shí)間差以及所述被跟蹤對(duì)象在所述第一時(shí)間的所述第一圖像中的實(shí)際位置來確定所述被跟蹤對(duì)象在第二時(shí)間的預(yù)測(cè)位置。

9、在一些方面中，使用光流、旋轉(zhuǎn)編碼器、全球定位系統(tǒng)或其組合來確定所述矢量速度。在一些方面中，使用連續(xù)圖像幀來執(zhí)行光流。在一些方面中，使用重疊至少10％的圖像幀來確定光流。在一些方面中，使用移位不超過約90％的圖像幀來確定光流。

10、在一些方面中，所述第一組實(shí)際位置、所述第二組實(shí)際位置、所述一組偏移位置、所述預(yù)測(cè)位置或其組合包括第一維度和第二維度。在一些方面中，所述第一維度平行于所述移動(dòng)交通工具的運(yùn)動(dòng)方向。在一些方面中，所述第一維度和所述第二維度平行于包括所述第一圖像或所述第二圖像的圖像平面。在一些方面中，所述第一組實(shí)際位置、所述第二組實(shí)際位置、所述一組偏移位置、所述預(yù)測(cè)位置或其組合還包括第三維度。在一些方面中，所述第三維度垂直于包括所述第一圖像或所述第二圖像的圖像平面。在一些方面中，所述第三維度基于所述移動(dòng)交通工具的所述矢量速度和所述被跟蹤對(duì)象的所述矢量移位來確定。在一些方面中，沿著所述第一維度應(yīng)用所述測(cè)試偏移、所述預(yù)測(cè)偏移或所述細(xì)化偏移。在一些方面中，在所述第一維度和所述第二維度中應(yīng)用所述測(cè)試偏移、所述預(yù)測(cè)偏移或所述細(xì)化偏移。在一些方面中，在所述第一維度、所述第二維度和所述第三維度中應(yīng)用所述測(cè)試偏移、所述預(yù)測(cè)偏移或所述細(xì)化偏移。

11、在一些方面中，所述方法還包括確定所述被跟蹤對(duì)象的參數(shù)。在一些方面中，所述參數(shù)包括大小、形狀、植物類別、取向或植物類型。在一些方面中，所述植物類別是雜草或作物。在一些方面中，所述方法還包括確定所述參數(shù)的置信度值。在一些方面中，所述方法還包括基于所述預(yù)測(cè)位置和所述被跟蹤對(duì)象在所述第一時(shí)間的所述第一圖像中的所述實(shí)際位置、所述被跟蹤對(duì)象在所述第二時(shí)間的所述第二圖像中的所述實(shí)際位置或兩者來確定第二預(yù)測(cè)位置。

12、在一些方面中，所述方法還包括在所述預(yù)測(cè)位置處瞄準(zhǔn)所述被跟蹤對(duì)象。在一些方面中，瞄準(zhǔn)所述被跟蹤對(duì)象包括校正所述第一圖像中的視差、畸變、所述第二圖像中的畸變、瞄準(zhǔn)畸變或其組合。在一些方面中，瞄準(zhǔn)所述被跟蹤對(duì)象包括將瞄準(zhǔn)傳感器、執(zhí)行器或兩者瞄準(zhǔn)所述預(yù)測(cè)位置。在一些方面中，瞄準(zhǔn)所述被跟蹤對(duì)象還包括用所述瞄準(zhǔn)傳感器、所述執(zhí)行器或兩者動(dòng)態(tài)地跟蹤所述對(duì)象。在一些方面中，動(dòng)態(tài)地跟蹤所述對(duì)象包括移動(dòng)所述瞄準(zhǔn)傳感器、所述執(zhí)行器或兩者以匹配所述移動(dòng)交通工具的所述矢量速度，使得所述瞄準(zhǔn)傳感器、所述執(zhí)行器或兩者在所述移動(dòng)交通工具移動(dòng)時(shí)保持瞄準(zhǔn)所述預(yù)測(cè)位置。在一些方面中，所述執(zhí)行器包括激光器、噴射器或抓取器。在一些方面中，瞄準(zhǔn)所述被跟蹤對(duì)象還包括用所述執(zhí)行器來操縱所述被跟蹤對(duì)象。在一些方面中，操縱所述被跟蹤對(duì)象包括用電磁輻射照射所述被跟蹤對(duì)象、移動(dòng)所述被跟蹤對(duì)象、噴射所述被跟蹤對(duì)象或其組合。在一些方面中，所述電磁輻射是紅外光。

13、在一些方面中，所述被跟蹤對(duì)象定位于表面上。在一些方面中，所述表面是地面、泥土路面或農(nóng)業(yè)表面。在一些方面中，所述第一組對(duì)象、所述第二組對(duì)象、所述被跟蹤對(duì)象或其組合包括植物。在一些方面中，所述第一組對(duì)象、所述第二組對(duì)象、所述被跟蹤對(duì)象或其組合包括雜草。在一些方面中，所述第一組對(duì)象、所述第二組對(duì)象、所述被跟蹤對(duì)象或其組合包括作物。在一些方面中，所述被跟蹤對(duì)象是植物。在一些方面中，所述被跟蹤對(duì)象是雜草。在一些方面中，所述被跟蹤對(duì)象是作物。在一些方面中，所述移動(dòng)交通工具是拖車或自主交通工具。在一些方面中，所述方法還包括用傳感器采集所述第一圖像、所述第二圖像或兩者。在一些方面中，所述傳感器聯(lián)接到所述移動(dòng)交通工具。

14、在各種方面中，本公開提供了一種對(duì)象跟蹤系統(tǒng)，其包括：預(yù)測(cè)系統(tǒng)，所述預(yù)測(cè)系統(tǒng)包括傳感器，所述傳感器被配置為采集第一時(shí)間的第一圖像和第二時(shí)間的第二圖像，其中所述傳感器聯(lián)接到交通工具；以及瞄準(zhǔn)系統(tǒng)，所述瞄準(zhǔn)系統(tǒng)包括執(zhí)行器；其中所述預(yù)測(cè)系統(tǒng)被配置為：在所述第一時(shí)間的所述第一圖像中，確定第一組對(duì)象相對(duì)于所述交通工具的第一組實(shí)際位置；在所述第二時(shí)間的所述第二圖像中，確定第二組對(duì)象相對(duì)于所述交通工具的第二組實(shí)際位置，其中所述第二組對(duì)象包括與所述第一組對(duì)象相同的一個(gè)或多個(gè)對(duì)象；將多個(gè)測(cè)試偏移應(yīng)用于所述第一組對(duì)象的所述第一組實(shí)際位置以獲得所述第一組對(duì)象在所述第二時(shí)間的一組測(cè)試位置，其中所述多個(gè)測(cè)試偏移中的每個(gè)測(cè)試偏移基于第一對(duì)象在所述第一時(shí)間的第一實(shí)際位置與第二對(duì)象在所述第二時(shí)間的第二實(shí)際位置之間的距離來確定；確定所述第一組對(duì)象在所述第二時(shí)間的所述一組測(cè)試位置中的所述測(cè)試位置中的每一者與所述第二組對(duì)象在所述第二時(shí)間的所述第二組實(shí)際位置中的每一者之間的多個(gè)偏差，其中所述多個(gè)偏差中的每個(gè)偏差對(duì)應(yīng)于所述多個(gè)測(cè)試偏移中的測(cè)試偏移；基于所述多個(gè)偏差從所述多個(gè)測(cè)試偏移中選擇細(xì)化偏移；以及標(biāo)識(shí)包括在所述第一組對(duì)象和所述第二組對(duì)象兩者中的被跟蹤對(duì)象；并且其中所述瞄準(zhǔn)系統(tǒng)被配置為用所述執(zhí)行器瞄準(zhǔn)所述被跟蹤對(duì)象。

15、在一些方面中，所述交通工具被配置為相對(duì)于表面移動(dòng)。在一些方面中，所述第一組對(duì)象、所述第二組對(duì)象、所述被跟蹤對(duì)象或其組合定位于所述表面上。在一些方面中，所述第一組對(duì)象、所述第二組對(duì)象、所述被跟蹤對(duì)象或其組合包括植物。在一些方面中，所述第一組對(duì)象、所述第二組對(duì)象、所述被跟蹤對(duì)象或其組合包括雜草。在一些方面中，所述第一組對(duì)象、所述第二組對(duì)象、所述被跟蹤對(duì)象或其組合包括作物。

16、在一些方面中，所述交通工具包括自主交通工具或拖車。在一些方面中，所述傳感器是相機(jī)。在一些方面中，所述傳感器相對(duì)于所述交通工具是固定的。在一些方面中，所述執(zhí)行器被配置為指向所述被跟蹤對(duì)象并操縱所述被跟蹤對(duì)象。在一些方面中，所述瞄準(zhǔn)系統(tǒng)還包括瞄準(zhǔn)傳感器。在一些方面中，所述瞄準(zhǔn)傳感器被配置為指向所述被跟蹤對(duì)象并對(duì)所述被跟蹤對(duì)象進(jìn)行成像。在一些方面中，所述瞄準(zhǔn)系統(tǒng)被配置為基于所述被跟蹤對(duì)象在由所述瞄準(zhǔn)傳感器采集的瞄準(zhǔn)圖像中的位置來將所述執(zhí)行器瞄準(zhǔn)所述被跟蹤對(duì)象。在一些方面中，所述執(zhí)行器是激光器。在一些方面中，所述對(duì)象跟蹤系統(tǒng)被配置為執(zhí)行如本文所描述的方法。

17、通過引用并入

18、本說明書中提及的所有出版物、專利和專利申請(qǐng)通過引用并入本文，就如同每個(gè)單獨(dú)的出版物、專利或?qū)＠暾?qǐng)被具體地和單獨(dú)地指示通過引用并入本文一樣。