本發(fā)明涉及視覺處理，特別是一種基于視覺處理技術(shù)的無人裝備目標(biāo)自主識別與跟蹤系統(tǒng)。

背景技術(shù)：

1、無人裝備通常是指一些無人操控的自動設(shè)備，通常會指代一些無人機無人車等自動化設(shè)備，基于視覺處理技術(shù)的目標(biāo)識別與跟蹤系統(tǒng)通過攝像頭等視覺傳感器獲取環(huán)境信息，此類設(shè)備已經(jīng)可以在一些簡單的環(huán)境下實現(xiàn)無人操控的自主識別與跟蹤功能，且隨著軟件框架與應(yīng)用的完善，在智能跟蹤方面已經(jīng)具備較好的使用體驗；

2、盡管智能跟蹤相關(guān)技術(shù)已經(jīng)取得了顯著的進展，但是在高動態(tài)環(huán)境中，由于目標(biāo)的快速移動和光照條件的劇烈變化，傳統(tǒng)的圖像處理技術(shù)難以穩(wěn)定地識別和跟蹤目標(biāo)，容易出現(xiàn)丟失目標(biāo)或誤報的情況，且在多目標(biāo)的場景中缺乏有效的策略來管理多個目標(biāo)之間的優(yōu)先級和跟蹤順序，造成了無人裝備在復(fù)雜環(huán)境下的使用體驗不佳，降低了無人裝備的識別效率。

技術(shù)實現(xiàn)思路

1、鑒于上述現(xiàn)有的基于視覺處理技術(shù)的無人裝備目標(biāo)自主識別與跟蹤系統(tǒng)中存在的問題，提出了本發(fā)明。

2、因此，本發(fā)明所要解決的問題在于盡管智能跟蹤相關(guān)技術(shù)已經(jīng)取得了顯著的進展，但是在高動態(tài)環(huán)境中，由于目標(biāo)的快速移動和光照條件的劇烈變化，傳統(tǒng)的圖像處理技術(shù)難以穩(wěn)定地識別和跟蹤目標(biāo)，容易出現(xiàn)丟失目標(biāo)或誤報的情況，且在多目標(biāo)的場景中缺乏有效的策略來管理多個目標(biāo)之間的優(yōu)先級和跟蹤順序，造成了無人裝備在復(fù)雜環(huán)境下的使用體驗不佳，降低了無人裝備的識別效率。

3、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種基于視覺處理技術(shù)的無人裝備目標(biāo)自主識別與跟蹤系統(tǒng)，其包括，

4、圖像采集模塊，根據(jù)采集設(shè)備獲取圖像數(shù)據(jù)，基于時鐘信號進行幀同步采集，并對圖像數(shù)據(jù)進行預(yù)處理；

5、網(wǎng)格劃分模塊，基于voronoi圖劃分方法，通過像素點數(shù)確定種子數(shù)量點，并對圖像進行初步邊緣檢測確定網(wǎng)格邊長，計算每個網(wǎng)格的特征密度進行分析判定，對網(wǎng)格進行網(wǎng)格細(xì)分；

6、區(qū)域劃分模塊，基于網(wǎng)格細(xì)分布置種子數(shù)量點并形成voronoi局部窗口，根據(jù)局部窗口的灰度值計算強度差異并進行初步排序，根據(jù)排序值計算像素點的歸一化值進行相對排名，比較不同幀的排名歸一化值，計算兩幀之間的絕對差和值；

7、標(biāo)記區(qū)域分析模塊，基于強度差異和絕對差和值分析全局一致性，判定目標(biāo)標(biāo)記區(qū)域；

8、目標(biāo)分類模塊，構(gòu)建深度學(xué)習(xí)模型，基于目標(biāo)標(biāo)記區(qū)域?qū)D像數(shù)據(jù)進行目標(biāo)分類和自動標(biāo)注；

9、目標(biāo)跟蹤模塊，基于ros軟件框架與無人裝備進行信息通信，持續(xù)采集坐標(biāo)并進行路徑規(guī)劃與目標(biāo)跟蹤；

10、遠(yuǎn)程通信模塊，設(shè)定丟失目標(biāo)策略，通過丟失目標(biāo)時間閾值進行目標(biāo)重新檢測，連接遠(yuǎn)程控制平臺進行數(shù)據(jù)加密傳輸，保存日志文件。

11、作為本發(fā)明所述基于視覺處理技術(shù)的無人裝備目標(biāo)自主識別與跟蹤系統(tǒng)的一種優(yōu)選方案，其中：所述根據(jù)采集設(shè)備獲取圖像數(shù)據(jù)，基于時鐘信號進行幀同步采集，并對圖像數(shù)據(jù)進行預(yù)處理，包括，

12、選擇高性能的攝像頭，采集目標(biāo)區(qū)域的高分辨率圖像，獲取連續(xù)幀數(shù)據(jù)；

13、選擇高性能的fpga，配置攝像頭參數(shù)，對獲取連續(xù)幀數(shù)據(jù)進行圖像預(yù)處理，包括灰度化處理和噪聲去除；

14、攝像頭在采集圖像的同時，通過時鐘信號同步將數(shù)據(jù)送入fpga進行幀同步。

15、作為本發(fā)明所述基于視覺處理技術(shù)的無人裝備目標(biāo)自主識別與跟蹤系統(tǒng)的一種優(yōu)選方案，其中：所述基于voronoi圖劃分方法，通過像素點數(shù)確定種子數(shù)量點，并對圖像進行初步邊緣檢測確定網(wǎng)格邊長，計算每個網(wǎng)格的特征密度進行分析判定，對網(wǎng)格進行網(wǎng)格細(xì)分，包括，

16、基于連續(xù)幀數(shù)據(jù)的圖像分辨率和采集幀率相乘計算總像素數(shù)，根據(jù)fpga的處理器時鐘速度確定單位時間的最大處理像素數(shù)；

17、使用總像素數(shù)除以最大處理像素數(shù)得到每個種子點負(fù)責(zé)處理的像素數(shù)量，進一步使用總像素數(shù)除以每個種子點負(fù)責(zé)處理的像素數(shù)量，得到種子數(shù)量點n；

18、基于圖像的總像素數(shù)除以種子數(shù)量點n，并計算其平方跟，得到圖像的網(wǎng)格邊長s；

19、基于集成的sobel算子邊緣檢測方法，根據(jù)圖像中像素位置的灰度值和sobel算子的水平卷積核，分別計算水平方向梯度和垂直方向梯度，并基于水平方向梯度和垂直方向梯度的平方和，進一步計算平方根得到梯度幅值；

20、基于梯度幅值作為邊緣強度，并根據(jù)計算的網(wǎng)格邊長s對圖像進行初步網(wǎng)格劃分，通過計算網(wǎng)格所有像素位置邊緣強度的和除以網(wǎng)格的面積，計算每個網(wǎng)格的特征密度d(i,j)；

21、基于每個網(wǎng)格的特征密度d(i,j)對所有網(wǎng)格的特征密度進行求和，并除以圖像中網(wǎng)格的總數(shù)得到全局平均特征密度，將全局平均特征密度作為特征密度閾值；

22、若網(wǎng)格特征密度d(i,j)大于特征密度閾值，則根據(jù)選擇的網(wǎng)格特征密度d(i,j)除以特征密度閾值并向上取整，作為該網(wǎng)格的細(xì)分倍數(shù)n，通過將網(wǎng)格邊長s除以細(xì)分倍數(shù)n得到細(xì)分網(wǎng)格的邊長，將原來的網(wǎng)格s細(xì)分為更小的n×n子網(wǎng)格。

23、作為本發(fā)明所述基于視覺處理技術(shù)的無人裝備目標(biāo)自主識別與跟蹤系統(tǒng)的一種優(yōu)選方案，其中：所述基于網(wǎng)格細(xì)分布置種子數(shù)量點并形成voronoi局部窗口，根據(jù)局部窗口的灰度值計算強度差異并進行初步排序，根據(jù)排序值計算像素點的歸一化值進行相對排名，比較不同幀的排名歸一化值，計算兩幀之間的絕對差和值，包括，

24、在細(xì)分后的網(wǎng)格中，每個子網(wǎng)格的中心點作為新的種子點進行布置；

25、基于opencv圖像處理的開源庫，根據(jù)種子點的布置生成voronoi圖，將圖像劃分為多個區(qū)域，每個區(qū)域由最近的種子點支配，以種子點支配區(qū)域的輪廓為邊界形成全新的局部窗口v(si)；

26、根據(jù)voronoi圖劃分局部窗口進行處理與分析，對局部窗口v(si)的所有像素點的灰度值與該局部窗口v(si)的灰度平均值差的絕對值進行求和計算，得到voronoi區(qū)域v(si)內(nèi)的強度差異

27、對于每個voronoi區(qū)域v(si)，將所有像素點的強度差異構(gòu)成矩陣，并基于像素強度差異值從小到大排列，基于像素點p(x,y)的像素強度差異值的排序值設(shè)為rank(i(p(x,y)))值，將rank(i(p(x,y)))除以對應(yīng)voronoi區(qū)域v(si)的總像素數(shù)，得到像素點p(x,y)在其所屬區(qū)域v(si)的排名歸一化值；

28、通過所有像素的排名歸一化值組合生成新的相對排名，通過比較當(dāng)前幀與參考幀的排名歸一化值，計算兩幀之間的最小絕對差和檢測目標(biāo)的移動和位置變化，表示為：

29、

30、其中，sad(x,y)表示當(dāng)前幀與上一幀在像素點坐標(biāo)處(x,y)處的絕對差和，k表示計算窗口的半徑，rt(x+i,y+j)和rt-1(x+i,y+j)分別表示位于坐標(biāo)(x+i,y+j)處的像素點排名歸一化值，i和j分別表示在水平方向和垂直方向的偏移量。

31、作為本發(fā)明所述基于視覺處理技術(shù)的無人裝備目標(biāo)自主識別與跟蹤系統(tǒng)的一種優(yōu)選方案，其中：所述基于強度差異和絕對差和值分析全局一致性，判定目標(biāo)標(biāo)記區(qū)域，包括，

32、基于計算的強度差異和sad值，分別計算voronoi區(qū)域內(nèi)的強度差異權(quán)重和全局一致性，通過將voronoi區(qū)域v(si)的強度差異除以所有voronoi區(qū)域v(sj)的強度差異的和得到強度差異權(quán)重，通過將voronoi區(qū)域v(si)的sad值除以圖像的總sad值得到全局一致性；

33、通過強度差異權(quán)重和sad值全局一致性指標(biāo)的和除以2，定義為voronoi區(qū)域v(si)的聯(lián)合檢測指標(biāo)；

34、通過對所有voronoi區(qū)域的聯(lián)合檢測指標(biāo)計算平均值和標(biāo)準(zhǔn)差，并將聯(lián)合檢測指標(biāo)計算平均值和標(biāo)準(zhǔn)差的和作為全局閾值，若聯(lián)合檢測指標(biāo)大于全局閾值，則對應(yīng)的voronoi區(qū)域v(si)會被判定為目標(biāo)標(biāo)記區(qū)域；

35、基于判定的目標(biāo)標(biāo)記區(qū)域，確定對應(yīng)區(qū)域的中心位置、面積、邊界框和相對排名信息。

36、作為本發(fā)明所述基于視覺處理技術(shù)的無人裝備目標(biāo)自主識別與跟蹤系統(tǒng)的一種優(yōu)選方案，其中：所述構(gòu)建深度學(xué)習(xí)模型，基于目標(biāo)標(biāo)記區(qū)域?qū)D像數(shù)據(jù)進行目標(biāo)分類和自動標(biāo)注，包括，

37、選擇yolov5構(gòu)建深度學(xué)習(xí)模型，基于判定為目標(biāo)標(biāo)記區(qū)域提取圖像塊作為輸入樣本，收集不同環(huán)境、光照條件、運動速度下的圖像數(shù)據(jù)；

38、使用labelimg等開源工具進行數(shù)據(jù)標(biāo)注，對輸入數(shù)據(jù)進行分類標(biāo)簽的標(biāo)注，以及標(biāo)注邊界框；

39、使用二值交叉熵?fù)p失函數(shù)計算損失，采用adam優(yōu)化器通過反向傳播更新模型參數(shù)，逐步降低損失值，直至損失不再明顯下降則停止迭代輸出模型參數(shù)更新模型；

40、通過yolov5模型對實時攝像頭捕獲的圖像進行分析，識別并分類目標(biāo)，同時輸出目標(biāo)的邊界框；

41、使用自動標(biāo)注工具，結(jié)合yolov5模型的分析結(jié)果，對新數(shù)據(jù)進行自動標(biāo)注。

42、作為本發(fā)明所述基于視覺處理技術(shù)的無人裝備目標(biāo)自主識別與跟蹤系統(tǒng)的一種優(yōu)選方案，其中：所述基于ros軟件框架與無人裝備進行信息通信，包括，

43、基于深度學(xué)習(xí)模型的實時檢測并提取目標(biāo)的中心位置坐標(biāo)，且進行持續(xù)的采集和更新；

44、在無人裝備的主控系統(tǒng)上安裝ros軟件框架，基于ros軟件框架創(chuàng)建ros工作空間，使用ros的包管理工具安裝mavros，配置mavlink協(xié)議與無人裝備進行信息通信；

45、根據(jù)持續(xù)的采集和更新的提取目標(biāo)的中心位置坐標(biāo)，基于opencv計算機視覺庫，與深度學(xué)習(xí)模型的輸出進行目標(biāo)識別并實時處理圖像數(shù)據(jù)。

46、作為本發(fā)明所述基于視覺處理技術(shù)的無人裝備目標(biāo)自主識別與跟蹤系統(tǒng)的一種優(yōu)選方案，其中：所述持續(xù)采集坐標(biāo)并進行路徑規(guī)劃與目標(biāo)跟蹤，包括，

47、基于無人裝備配置激光雷達傳感器，并在ros中配置movebase與導(dǎo)航功能包，并接收持續(xù)的采集和更新的提取目標(biāo)的中心位置坐標(biāo)，進行路徑規(guī)劃與目標(biāo)跟蹤，movebase自動計算最佳路徑，并控制無人裝備沿著路徑移動；

48、將激光雷達數(shù)據(jù)傳遞給movebase，使用movebase根據(jù)激光雷達反饋的數(shù)據(jù)調(diào)整無人裝備的運動軌跡。

49、作為本發(fā)明所述基于視覺處理技術(shù)的無人裝備目標(biāo)自主識別與跟蹤系統(tǒng)的一種優(yōu)選方案，其中：所述設(shè)定丟失目標(biāo)策略，通過丟失目標(biāo)時間閾值進行目標(biāo)重新檢測，包括，

50、基于系統(tǒng)時間計時器，根據(jù)歷史記錄設(shè)定丟失目標(biāo)時間閾值，若無人裝備的視野丟失跟蹤目標(biāo)，且時間超過目標(biāo)時間閾值，則進行重新檢測，通過深度學(xué)習(xí)模型對輸入的圖像進行重新檢測，識別當(dāng)前圖像數(shù)據(jù)的目標(biāo)位置。

51、作為本發(fā)明所述基于視覺處理技術(shù)的無人裝備目標(biāo)自主識別與跟蹤系統(tǒng)的一種優(yōu)選方案，其中：所述連接遠(yuǎn)程控制平臺進行數(shù)據(jù)加密傳輸，保存日志文件指基于遠(yuǎn)程控制平臺，通過無線通信技術(shù)使用mavlink協(xié)議進行遠(yuǎn)程通信，用加密通信協(xié)議ssl對所有數(shù)據(jù)傳輸進行加密，將無人裝備上的攝像頭數(shù)據(jù)實時傳輸?shù)竭h(yuǎn)程控制平臺，并將無人裝備的目標(biāo)識別和跟蹤數(shù)據(jù)同步至遠(yuǎn)程控制平臺，并根據(jù)任務(wù)日志進行記錄和保存。

52、本發(fā)明有益效果為：通過使用sobel算子的邊緣檢測方法進一步的篩選出需要額外進行細(xì)分的網(wǎng)格區(qū)域，配合voronoi圖的劃分方法，系統(tǒng)能夠自適應(yīng)地調(diào)整圖像局部窗口的大小和形狀，實現(xiàn)了對圖像特征的更好適應(yīng)性，通過基于voronoi區(qū)域計算像素強度差異和sad值，能夠有效地識別出圖像中既有細(xì)微變化又有整體位移的目標(biāo)，增強了系統(tǒng)在復(fù)雜動態(tài)環(huán)境中的適應(yīng)性，通過對強度差異值進行排序并生成相對排名，為多目標(biāo)的跟蹤和識別提供了明確的優(yōu)先順序，通過綜合分析強度差異和sad值，可以綜合考慮區(qū)域內(nèi)的細(xì)微變化和全局運動，并配合深度學(xué)習(xí)模型進行目標(biāo)識別，提高了在多目標(biāo)的復(fù)雜場景中的識別效率。