本發(fā)明屬于煤矸石分揀，尤其涉及一種煤矸石的分揀方法、系統(tǒng)及存儲介質(zhì)。

背景技術(shù)：

1、在煤炭開采過程中，會產(chǎn)生矸石，也被稱為煤矸石，它是一種固體廢物，碳含量較低，比煤更硬，燃燒利用率也較低。將煤矸石從煤炭中分離出來，可以提高煤炭的燃燒效率，同時(shí)減少燃燒時(shí)的污染物排放。

2、煤矸石分揀是一種煤炭燃前處理方法，是煤礦生產(chǎn)中不可或缺的環(huán)節(jié)，也是提高煤炭品質(zhì)的有效方法之一。目前煤矸石的分揀主要有濕選法、干選法和人工分揀法。濕選法主要包括重介法、跳汰法，其特點(diǎn)是利用煤炭和矸石的密度不同，將原煤置入溶液中，進(jìn)而實(shí)現(xiàn)煤與矸石的分層分離，該方法所采用的設(shè)備龐大、工藝復(fù)雜、分揀效率低下且對環(huán)境造成了污染；干選法利用煤炭與矸石對光的透射率不同而采用雙能γ射線透射分揀，采用這種方法的設(shè)備昂貴、分揀效率低且存在輻射；另外，人工篩選矸石存在工作環(huán)境惡劣、勞動強(qiáng)度大、易誤選或漏選的缺點(diǎn)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明在于提供一種煤矸石的分揀方法、系統(tǒng)及存儲介質(zhì)，通過訓(xùn)練好的目標(biāo)檢測模型對出煤區(qū)域的煤矸石進(jìn)行檢測以及分割，再通過映射現(xiàn)實(shí)出煤區(qū)域狀況的虛擬世界系統(tǒng)對目標(biāo)煤矸石進(jìn)行抓取，實(shí)現(xiàn)了煤矸石的高效率、高精度檢測，同時(shí)優(yōu)化了生產(chǎn)流程并增強(qiáng)了作業(yè)安全。

2、為達(dá)到上述目的，本發(fā)明是采用下述技術(shù)方案實(shí)現(xiàn)的。

3、第一方面，本發(fā)明提供一種煤矸石的分揀方法，包括：

4、獲取待檢測出煤區(qū)域的可見光圖像和深度圖像；

5、將可見光圖像輸入預(yù)先訓(xùn)練的目標(biāo)檢測模型中得到目標(biāo)煤矸石的檢測及分割結(jié)果；

6、根據(jù)深度圖像以及追蹤算法獲取目標(biāo)煤矸石的實(shí)時(shí)3d融合模型；

7、將目標(biāo)煤矸石的3d融合模型以及抓取設(shè)備的信息同步映射到虛擬世界系統(tǒng)，并通過虛擬世界系統(tǒng)控制抓取設(shè)備對現(xiàn)實(shí)出煤區(qū)域中目標(biāo)煤矸石進(jìn)行抓取。

8、可選地，所述目標(biāo)檢測模型進(jìn)行周期性訓(xùn)練，所述周期性訓(xùn)練過程包括：

9、采用當(dāng)前周期的訓(xùn)練樣本集，訓(xùn)練當(dāng)前周期的目標(biāo)檢測模型，其中，當(dāng)前周期的訓(xùn)練樣本集為獲取到的當(dāng)前可見光影像和深度影像中的視頻幀；

10、將當(dāng)前周期的目標(biāo)檢測模型與上一周期的目標(biāo)檢測模型的準(zhǔn)確度進(jìn)行對比，將其中準(zhǔn)確度更高的目標(biāo)檢測模型作為下一周期的目標(biāo)檢測模型。

11、可選地，目標(biāo)檢測模型包括依次連接的改進(jìn)的輕量級卷積神經(jīng)網(wǎng)絡(luò)、第一單級檢測網(wǎng)絡(luò)和第二單級檢測網(wǎng)絡(luò)，其中，改進(jìn)的輕量級卷積神經(jīng)網(wǎng)絡(luò)為在現(xiàn)有輕量級卷積神經(jīng)網(wǎng)絡(luò)中對雙卷積瓶頸層進(jìn)行卷積層增設(shè)。

12、可選地，目標(biāo)煤矸石的檢測結(jié)果為煤矸石的矩形區(qū)域圖，目標(biāo)煤矸石的分割結(jié)果為煤矸石矩形區(qū)域圖的分割圖像；

13、所述將可見光圖像輸入預(yù)先訓(xùn)練的目標(biāo)檢測模型中得到目標(biāo)煤矸石的檢測及分割結(jié)果，包括：

14、通過改進(jìn)的輕量級卷積神經(jīng)網(wǎng)絡(luò)對可見光圖像進(jìn)行圖像特征提取，并對提取出的圖像特征進(jìn)行融合；

15、通過第一單級檢測網(wǎng)絡(luò)將融合后的圖像特征映射為煤矸石的矩形區(qū)域圖，通過第二單級檢測網(wǎng)絡(luò)對矩形區(qū)域圖進(jìn)行實(shí)例分割，區(qū)分不同的煤矸石實(shí)例，生成分割后的圖像。

16、可選地，根據(jù)目標(biāo)煤矸石的檢測及分割結(jié)果以及追蹤算法獲取目標(biāo)煤矸石的實(shí)時(shí)3d融合模型，包括：

17、根據(jù)目標(biāo)煤矸石的矩形區(qū)域圖，采用追蹤算法對目標(biāo)煤矸石的實(shí)時(shí)位置信息進(jìn)行追蹤，并根據(jù)目標(biāo)煤矸石的分割圖像獲取目標(biāo)煤矸石的深度信息以及速度信息，對實(shí)時(shí)位置信息、速度信息、深度信息進(jìn)行融合，得到目標(biāo)煤矸石的3d融合模型，其中，3d融合模型中包括目標(biāo)煤矸石的速度信息、深度信息、位置信息。

18、可選地，所述通過虛擬世界系統(tǒng)控制抓取設(shè)備對現(xiàn)實(shí)出煤區(qū)域中目標(biāo)煤矸石進(jìn)行抓取，包括：

19、獲取虛擬世界中各抓取機(jī)器人信息；

20、根據(jù)各抓取機(jī)器人信息獲取當(dāng)前抓取機(jī)器人的工作范圍并在虛擬世界中廣播；

21、根據(jù)虛擬世界中當(dāng)前目標(biāo)煤矸石的位置及大小信息判斷當(dāng)前抓取機(jī)器人是否能進(jìn)行抓取，若能抓取，控制現(xiàn)實(shí)世界的抓取設(shè)備進(jìn)行抓取工作并在虛擬世界中廣播抓取信息，若不能抓取，根據(jù)虛擬世界中下一目標(biāo)煤矸石的位置及大小信息繼續(xù)判斷循環(huán)。

22、第二方面，本發(fā)明提供一種煤矸石的分揀系統(tǒng)，包括：

23、圖像獲取模塊：用于獲取待檢測出煤區(qū)域的可見光圖像和深度圖像；

24、目標(biāo)檢測與分割模塊：用于將可見光圖像輸入預(yù)先訓(xùn)練的目標(biāo)檢測模型中得到目標(biāo)煤矸石的檢測及分割結(jié)果；

25、三維目標(biāo)獲取模塊：用于根據(jù)深度圖像以及追蹤算法獲取目標(biāo)煤矸石的實(shí)時(shí)3d融合模型；

26、煤矸石抓取模塊：用于將目標(biāo)煤矸石的3d融合模型以及抓取設(shè)備的信息同步映射到虛擬世界系統(tǒng)，并通過虛擬世界系統(tǒng)控制抓取設(shè)備對現(xiàn)實(shí)出煤區(qū)域中目標(biāo)煤矸石進(jìn)行抓取。

27、第三方面，本發(fā)明提供一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)第一方面中任一項(xiàng)所述的煤矸石的分揀方法。

28、第四方面，本發(fā)明提供一種電子終端，包括處理器以及與所述處理器連接的存儲器，在所述存儲器內(nèi)存儲有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，執(zhí)行第一方面中任一項(xiàng)所述的煤矸石的分揀方法。

29、第五方面，本發(fā)明提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面中任一項(xiàng)所述的煤矸石的分揀方法。

30、與現(xiàn)有技術(shù)相比，本發(fā)明所達(dá)到的有益效果：本發(fā)明通過融合機(jī)器視覺技術(shù)、深度學(xué)習(xí)算法、3d重建技術(shù)以及虛擬世界系統(tǒng)，實(shí)現(xiàn)了煤矸石的高效率、高精度識別與分揀，與傳統(tǒng)的人工檢測方法相比，本發(fā)明有效避免了工作環(huán)境惡劣、勞動強(qiáng)度大、效率低下以及誤選或漏選等問題，同時(shí)，與伽馬射線檢測和x射線檢測相比，本發(fā)明避免了昂貴的設(shè)備成本、潛在的輻射危害以及對物料粒徑大小的依賴；通過深度攝像頭獲取的可見光圖像和深度信息，結(jié)合改進(jìn)后的深度學(xué)習(xí)算法以及自訓(xùn)練模塊的集成，使得系統(tǒng)具備了持續(xù)學(xué)習(xí)和自我優(yōu)化的能力，能夠根據(jù)實(shí)時(shí)數(shù)據(jù)不斷調(diào)整和提升識別精度，能夠準(zhǔn)確識別并分割出煤礦、矸石和雜物，實(shí)現(xiàn)目標(biāo)的快速檢測與定位；通過3d重建技術(shù)進(jìn)一步提高了目標(biāo)識別的準(zhǔn)確性，使得系統(tǒng)能夠更加精確地處理復(fù)雜場景中的煤矸石分揀任務(wù)；通過虛擬世界系統(tǒng)的引入，為設(shè)備間的信息同步和相互合作提供了一個(gè)高性能的平臺，極大地提高了作業(yè)的實(shí)時(shí)性和協(xié)同性。

技術(shù)特征：

1.一種煤矸石的分揀方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的煤矸石的分揀方法，其特征在于，所述目標(biāo)檢測模型進(jìn)行周期性訓(xùn)練，所述周期性訓(xùn)練過程包括：

3.根據(jù)權(quán)利要求1或2所述的煤矸石的分揀方法，其特征在于，目標(biāo)檢測模型包括依次連接的改進(jìn)的輕量級卷積神經(jīng)網(wǎng)絡(luò)、第一單級檢測網(wǎng)絡(luò)和第二單級檢測網(wǎng)絡(luò)；其中，改進(jìn)的輕量級卷積神經(jīng)網(wǎng)絡(luò)為在現(xiàn)有輕量級卷積神經(jīng)網(wǎng)絡(luò)中對雙卷積瓶頸層進(jìn)行卷積層增設(shè)。

4.根據(jù)權(quán)利要求3所述的煤矸石的分揀方法，其特征在于，目標(biāo)煤矸石的檢測結(jié)果為煤矸石的矩形區(qū)域圖，目標(biāo)煤矸石的分割結(jié)果為煤矸石矩形區(qū)域圖的分割圖像；

5.根據(jù)權(quán)利要求4所述的煤矸石的分揀方法，其特征在于，根據(jù)目標(biāo)煤矸石的檢測及分割結(jié)果以及追蹤算法獲取目標(biāo)煤矸石的實(shí)時(shí)3d融合模型，包括：

6.根據(jù)權(quán)利要求1所述的煤矸石的分揀方法，其特征在于，所述通過虛擬世界系統(tǒng)控制抓取設(shè)備對現(xiàn)實(shí)出煤區(qū)域中目標(biāo)煤矸石進(jìn)行抓取，包括：

7.一種煤矸石的分揀系統(tǒng)，其特征在于，包括：

8.一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1-6中任一項(xiàng)所述的煤矸石的分揀方法。

9.一種電子終端，其特征在于，包括處理器以及與所述處理器連接的存儲器，在所述存儲器內(nèi)存儲有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，執(zhí)行如權(quán)利要求1-6中任一項(xiàng)所述的煤矸石的分揀方法。

10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，其特征在于，該計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-6中任一項(xiàng)所述的煤矸石的分揀方法。

技術(shù)總結(jié)
本發(fā)明公開了一種煤矸石的分揀方法、系統(tǒng)及存儲介質(zhì)，屬于煤矸石分揀技術(shù)領(lǐng)域，所述分揀方法包括：獲取待檢測出煤區(qū)域的可見光圖像和深度圖像；將可見光圖像輸入預(yù)先訓(xùn)練的目標(biāo)檢測模型中得到目標(biāo)煤矸石的檢測及分割結(jié)果；根據(jù)深度圖像以及追蹤算法獲取目標(biāo)煤矸石的實(shí)時(shí)3D融合模型，其中，3D融合模型中包括目標(biāo)煤矸石的速度信息、深度信息、位置信息；將目標(biāo)煤矸石的3D融合模型以及抓取設(shè)備的信息同步映射到虛擬世界系統(tǒng)，并通過虛擬世界系統(tǒng)控制抓取設(shè)備對現(xiàn)實(shí)出煤區(qū)域中目標(biāo)煤矸石進(jìn)行抓取，實(shí)現(xiàn)煤矸石的高效率、高精度檢測，提高了煤炭的燃燒效率，減少了污染物排放，同時(shí)優(yōu)化了生產(chǎn)流程并增強(qiáng)了作業(yè)安全。

技術(shù)研發(fā)人員：王強(qiáng)
受保護(hù)的技術(shù)使用者：南京博潤類腦智能技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9