本發(fā)明屬于大型施工機(jī)械機(jī)器檢測(cè)，具體涉及一種基于關(guān)鍵點(diǎn)的大型施工機(jī)械的檢測(cè)方法、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、計(jì)算機(jī)程序產(chǎn)品和計(jì)算機(jī)設(shè)備。

背景技術(shù)：

1、在大型施工現(xiàn)場(chǎng)，對(duì)大型施工機(jī)械及其機(jī)械臂進(jìn)行精確的測(cè)距和長(zhǎng)度測(cè)量，是施工規(guī)劃、安全監(jiān)控和操作效率的關(guān)鍵所在。近年來(lái)，隨著計(jì)算機(jī)視覺(jué)技術(shù)與機(jī)器學(xué)習(xí)技術(shù)的迅猛發(fā)展，大型施工機(jī)械的識(shí)別迎來(lái)了新的發(fā)展機(jī)遇。

2、盡管已有一些相關(guān)技術(shù)被公開(kāi)，如cn115797357a所揭示的基于改進(jìn)yolov7的輸電通道隱患檢測(cè)方法，以及cn110705414a所展示的基于深度學(xué)習(xí)的輸電線路施工機(jī)械隱患檢測(cè)方法，它們?cè)谝欢ǔ潭壬贤七M(jìn)了該領(lǐng)域的技術(shù)進(jìn)步。然而，現(xiàn)有技術(shù)在實(shí)際應(yīng)用中仍面臨多重挑戰(zhàn)，亟需進(jìn)一步突破。

3、具體而言，這些挑戰(zhàn)主要體現(xiàn)在以下幾個(gè)方面：首先，大型施工機(jī)械的機(jī)身(指施工機(jī)械的主體部分，如吊車(chē)、挖掘機(jī)的車(chē)身等)和機(jī)械臂(施工機(jī)械上的可動(dòng)部分，如吊車(chē)的起重臂、挖掘機(jī)的鏟斗臂等)的形態(tài)相似性高，加之施工現(xiàn)場(chǎng)復(fù)雜背景(包括其他機(jī)械設(shè)備、建筑材料和人員活動(dòng))的干擾，使得直接對(duì)兩者進(jìn)行同時(shí)識(shí)別和區(qū)分變得異常困難?，F(xiàn)有技術(shù)往往采用單一的目標(biāo)檢測(cè)方式來(lái)處理機(jī)身和機(jī)械臂，未能充分考慮到兩者在形態(tài)、動(dòng)態(tài)特性上的差異，這種不僅增加了誤識(shí)別的風(fēng)險(xiǎn)，還降低了檢測(cè)的準(zhǔn)確性。其次，機(jī)械臂在施工過(guò)程中會(huì)不斷移動(dòng)和變化姿態(tài)，這使得對(duì)其位置的準(zhǔn)確捕捉和測(cè)量變得極具挑戰(zhàn)性?，F(xiàn)有技術(shù)難以適應(yīng)這種動(dòng)態(tài)環(huán)境，導(dǎo)致檢測(cè)結(jié)果的準(zhǔn)確性和穩(wěn)定性受到影響。再次，在施工現(xiàn)場(chǎng)，目標(biāo)遮擋是一個(gè)常見(jiàn)問(wèn)題?，F(xiàn)有技術(shù)在處理機(jī)身被遮擋的情況時(shí)，往往無(wú)法有效降低重疊區(qū)域的干擾，導(dǎo)致機(jī)身檢測(cè)的準(zhǔn)確性下降。

4、綜上所述，現(xiàn)有技術(shù)在大型施工機(jī)械檢測(cè)方面存在諸多技術(shù)問(wèn)題，包括識(shí)別與區(qū)分難題、動(dòng)態(tài)特性與多變姿態(tài)的挑戰(zhàn)、目標(biāo)遮擋問(wèn)題。這些問(wèn)題亟待解決，以提高施工規(guī)劃、安全監(jiān)控和操作效率的準(zhǔn)確性和效率。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于關(guān)鍵點(diǎn)的大型施工機(jī)械的檢測(cè)方法，旨在分別采用目標(biāo)檢測(cè)和關(guān)鍵點(diǎn)檢測(cè)兩種策略，以實(shí)現(xiàn)對(duì)大型施工機(jī)械及其機(jī)械臂的精確識(shí)別與跟蹤。該方法通過(guò)快速且準(zhǔn)確地定位施工機(jī)械的位置，并實(shí)時(shí)捕捉機(jī)械臂的移動(dòng)和姿態(tài)變化，以確保檢測(cè)結(jié)果的穩(wěn)定性和準(zhǔn)確性。此外，它特別關(guān)注降低機(jī)身與機(jī)械臂檢測(cè)時(shí)的混淆，提升識(shí)別精準(zhǔn)度，并采用soft-nms算法解決目標(biāo)遮擋問(wèn)題，進(jìn)一步優(yōu)化了機(jī)身檢測(cè)的準(zhǔn)確性。

2、本發(fā)明實(shí)施例提供了一種基于關(guān)鍵點(diǎn)的大型施工機(jī)械的檢測(cè)方法，包括以下步驟：

3、s1、獲取大型施工機(jī)械的歷史圖像，所述歷史圖像包括大型施工機(jī)械的機(jī)身及機(jī)械臂；

4、s2、對(duì)歷史圖像進(jìn)行標(biāo)注，包括目標(biāo)邊界框和機(jī)械臂關(guān)鍵點(diǎn)位置的標(biāo)注，所述目標(biāo)邊界框是涵蓋機(jī)身及機(jī)械臂的整體范圍，建立訓(xùn)練數(shù)據(jù)集；

5、s3、以yolov8-pose模型作為基礎(chǔ)模型，使用訓(xùn)練數(shù)據(jù)集對(duì)yolov8-pose模型進(jìn)行訓(xùn)練，得到大型施工機(jī)械檢測(cè)模型；

6、s4、使用訓(xùn)練好的大型施工機(jī)械檢測(cè)模型對(duì)待檢測(cè)的大型施工機(jī)械圖像進(jìn)行目標(biāo)檢測(cè)，得到目標(biāo)邊界框和機(jī)械臂關(guān)鍵點(diǎn)位置；

7、s5、使用soft-nms算法對(duì)s4中檢測(cè)出的目標(biāo)邊界框進(jìn)行后處理，得到目標(biāo)檢測(cè)框；

8、s6、對(duì)s4中檢測(cè)出的機(jī)械臂關(guān)鍵點(diǎn)進(jìn)行凸包計(jì)算，得到機(jī)械臂檢測(cè)框。

9、借由上述技術(shù)方案，本發(fā)明至少具有下列優(yōu)點(diǎn)：

10、(1)本發(fā)明對(duì)于大型施工機(jī)械的整體和機(jī)械臂分別采用不同的識(shí)別策略。對(duì)于施工機(jī)械整體，通過(guò)目標(biāo)檢測(cè)的方式進(jìn)行識(shí)別，這有助于快速且準(zhǔn)確地定位施工機(jī)械的位置，從而快速獲得施工機(jī)械的整體位置信息；對(duì)于機(jī)械臂，則通過(guò)關(guān)鍵點(diǎn)檢測(cè)進(jìn)行識(shí)別，這種方法能夠?qū)Ｗ⒂跈C(jī)械臂的關(guān)鍵部位，如機(jī)械臂的兩端、關(guān)節(jié)等，從而有效地應(yīng)對(duì)機(jī)械臂的移動(dòng)和姿態(tài)變化，實(shí)時(shí)準(zhǔn)確地捕捉機(jī)械臂的位置，在動(dòng)態(tài)環(huán)境中保持檢測(cè)結(jié)果的穩(wěn)定性和準(zhǔn)確性。

11、(2)通過(guò)分別對(duì)大型施工機(jī)械的整體和機(jī)械臂采用兩種不同的識(shí)別方式，本發(fā)明顯著降低了機(jī)身與機(jī)械臂檢測(cè)時(shí)的混淆，從而能夠準(zhǔn)確地識(shí)別和定位機(jī)械臂。這在形態(tài)相似且背景復(fù)雜的施工現(xiàn)場(chǎng)表現(xiàn)尤為出色，大幅降低了誤識(shí)別的風(fēng)險(xiǎn)，為施工現(xiàn)場(chǎng)的安全和效率提供了強(qiáng)有力的技術(shù)保障。

12、(3)本發(fā)明通過(guò)結(jié)合目標(biāo)檢測(cè)和關(guān)鍵點(diǎn)檢測(cè)技術(shù)，實(shí)現(xiàn)了對(duì)大型施工機(jī)械及其機(jī)械臂的同步跟蹤，即，實(shí)時(shí)追蹤和了解施工機(jī)械與機(jī)械臂的精確位置和姿態(tài)。這一創(chuàng)新對(duì)于施工現(xiàn)場(chǎng)的精確測(cè)距和長(zhǎng)度測(cè)量具有重要意義。通過(guò)同步跟蹤施工機(jī)械和機(jī)械臂，可以利用跟蹤數(shù)據(jù)進(jìn)行高精度測(cè)量，如確定機(jī)械臂的伸展長(zhǎng)度、施工機(jī)械與目標(biāo)物體之間的距離等。這些數(shù)據(jù)為施工規(guī)劃、質(zhì)量控制、安全監(jiān)控以及效率提升提供了有力支持。

13、(4)針對(duì)目標(biāo)遮擋問(wèn)題，本發(fā)明采用soft-nms算法對(duì)目標(biāo)邊界框進(jìn)行后處理，通過(guò)降低重疊區(qū)域的置信度來(lái)減緩目標(biāo)遮擋帶來(lái)的干擾，進(jìn)一步提升了目標(biāo)檢測(cè)的準(zhǔn)確性。

14、(5)通過(guò)對(duì)機(jī)械臂關(guān)鍵點(diǎn)進(jìn)行凸包計(jì)算以得到機(jī)械臂檢測(cè)框，本發(fā)明不僅能夠更精確地界定機(jī)械臂的實(shí)際范圍，靈活適應(yīng)其姿態(tài)變化，還能有效減少背景干擾，優(yōu)化計(jì)算資源的使用。同時(shí)，在復(fù)雜的施工環(huán)境中，它還能增強(qiáng)機(jī)械臂識(shí)別的穩(wěn)定性，即使在部分遮擋或光線變化的情況下也能保持相對(duì)準(zhǔn)確的檢測(cè)，從而整體提升識(shí)別系統(tǒng)的性能和效率。

15、(6)本發(fā)明利用計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)技術(shù)，實(shí)現(xiàn)了自動(dòng)化的大型施工機(jī)械的檢測(cè)，為施工現(xiàn)場(chǎng)的智能化管理提供了可能，減少了人力依賴(lài)，提高了管理效率。

16、優(yōu)選的，本發(fā)明實(shí)施例還公開(kāi)了，所述s2中，所述機(jī)械臂關(guān)鍵點(diǎn)包括首端點(diǎn)、中間點(diǎn)和末端點(diǎn)，所述首端點(diǎn)為機(jī)械臂上首端位置的點(diǎn)，所述末端點(diǎn)為機(jī)械臂上末端位置的點(diǎn)，所述中間點(diǎn)位于首端點(diǎn)與末端點(diǎn)之間。

17、優(yōu)選的，本發(fā)明實(shí)施例還公開(kāi)了，所述中間點(diǎn)為機(jī)械臂的關(guān)節(jié)點(diǎn)。將機(jī)械臂的關(guān)節(jié)點(diǎn)作為關(guān)鍵點(diǎn)進(jìn)行檢測(cè)，可以提高檢測(cè)的精度和效率，增強(qiáng)模型的泛化能力，并支持更復(fù)雜的任務(wù)執(zhí)行。

18、優(yōu)選的，本發(fā)明實(shí)施例還公開(kāi)了，所述機(jī)械臂關(guān)鍵點(diǎn)的數(shù)量為三。通過(guò)優(yōu)選三個(gè)關(guān)鍵點(diǎn)來(lái)標(biāo)注機(jī)械臂，可以在保持檢測(cè)精度的同時(shí)，降低模型復(fù)雜度，提高檢測(cè)效率，并減少過(guò)擬合風(fēng)險(xiǎn)，從而更易于實(shí)現(xiàn)和部署。

19、優(yōu)選的，本發(fā)明實(shí)施例還公開(kāi)了，所述s5的具體步驟包括：

20、s51、輸入s4中由大型施工機(jī)械檢測(cè)模型檢測(cè)出的目標(biāo)邊界框列表boxes和對(duì)應(yīng)的置信度列表confidence，以及邊界框數(shù)量n；

21、s52、初始化篩選后的邊界框列表filtered_boxes為空；

22、s53、對(duì)于每個(gè)邊界框i從1到n，執(zhí)行以下步驟：

23、a.在當(dāng)前剩余的邊界框中，找到置信度最高的目標(biāo)邊界框max_box和其對(duì)應(yīng)的索引max_index；

24、b.將max_box添加到filtered_boxes列表中，作為當(dāng)前保留的邊界框；

25、c.計(jì)算max_box與其他所有目標(biāo)邊界框的交并比，得到交并比列表ious；

26、d.對(duì)于每個(gè)目標(biāo)邊界框j從1到n，如果第j個(gè)目標(biāo)邊界框與max_box之間的交并比iousj大于設(shè)定的閾值，則更新第j個(gè)目標(biāo)邊界框的置信度confidencej：

27、

28、其中，σ表示高斯函數(shù)中的方差；

29、s54、如果max_box的置信度confidence[max_index]大于設(shè)定的置信度閾值，則繼續(xù)從步驟s53開(kāi)始處理剩余的目標(biāo)邊界框；

30、s55、返回filtered_boxes列表作為篩選后的邊界框結(jié)果，即目標(biāo)檢測(cè)框。

31、優(yōu)選的，本發(fā)明實(shí)施例還公開(kāi)了，所述s6的具體步驟包括：

32、s61、計(jì)算機(jī)械臂關(guān)鍵點(diǎn)構(gòu)成的最小凸多邊形；

33、s62、基于所述最小凸多邊形，確定機(jī)械臂檢測(cè)框，所述機(jī)械臂檢測(cè)框是長(zhǎng)度或?qū)挾确较蚱叫谢虼怪庇诖龣z測(cè)的大型施工機(jī)械圖像邊界的最小面積矩形，且能夠完全包含所述凸多邊形。

34、基于相同的發(fā)明構(gòu)思，本發(fā)明實(shí)施例還公開(kāi)了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的基于關(guān)鍵點(diǎn)的大型施工機(jī)械的檢測(cè)方法。

35、基于相同的發(fā)明構(gòu)思，本發(fā)明實(shí)施例還公開(kāi)了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行上述的基于關(guān)鍵點(diǎn)的大型施工機(jī)械的檢測(cè)方法。

36、基于相同的發(fā)明構(gòu)思，本發(fā)明實(shí)施例還公開(kāi)了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行上述的基于關(guān)鍵點(diǎn)的大型施工機(jī)械的檢測(cè)方法。