本發(fā)明涉及圖像處理，尤其涉及的是一種礦井下采煤機(jī)遮擋恢復(fù)方法、裝置、終端及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、采煤面智能化開(kāi)采技術(shù)是實(shí)現(xiàn)煤礦智能化的重要技術(shù)之一。在綜采工作面協(xié)同采煤過(guò)程中，采煤機(jī)滾筒旋轉(zhuǎn)會(huì)產(chǎn)生大量的煤塵，同時(shí)采煤機(jī)在挖掘和割煤的過(guò)程中也會(huì)產(chǎn)生煤塵，導(dǎo)致采煤機(jī)常常被煤塵、掉落的煤塊遮擋，煤炭的遮擋可能會(huì)干擾采煤機(jī)智能化開(kāi)采技術(shù)中對(duì)采煤機(jī)的正常定位和通信，影響其自動(dòng)化和智能化的運(yùn)作。

2、采煤機(jī)遮擋恢復(fù)是一個(gè)復(fù)雜的問(wèn)題，目前，對(duì)于礦井下的采煤機(jī)的遮擋恢復(fù)方法相對(duì)有限，包括基于語(yǔ)義分割的方法和利用圖像修復(fù)的方法。對(duì)于采煤機(jī)遮擋恢復(fù)這一任務(wù)來(lái)說(shuō)，基于語(yǔ)義分割的方法僅僅能夠分離出目標(biāo)未被遮擋的區(qū)域，不能還原出遮擋區(qū)域；而只利用圖像修復(fù)的方法，在恢復(fù)被遮擋的區(qū)域的同時(shí)可能對(duì)背景進(jìn)行修改。因此，現(xiàn)有技術(shù)對(duì)采煤機(jī)遮擋恢復(fù)得到的圖像并不準(zhǔn)確。

3、因此，現(xiàn)有技術(shù)存在缺陷，有待改進(jìn)與發(fā)展。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問(wèn)題在于，針對(duì)現(xiàn)有技術(shù)的上述缺陷，提供一種礦井下采煤機(jī)遮擋恢復(fù)方法、裝置、終端及存儲(chǔ)介質(zhì)，旨在解決現(xiàn)有技術(shù)中對(duì)采煤機(jī)遮擋恢復(fù)得到的圖像并不準(zhǔn)確的問(wèn)題。

2、本發(fā)明解決技術(shù)問(wèn)題所采用的技術(shù)方案如下：

3、一種礦井下采煤機(jī)遮擋恢復(fù)方法，其中，所述方法包括：

4、將待處理的采煤機(jī)原始圖像輸入已訓(xùn)練的實(shí)例分割模型中，得到未遮擋分割圖像；

5、對(duì)經(jīng)預(yù)處理的采煤機(jī)原始圖像和所述未遮擋分割圖像進(jìn)行圖像加處理，得到預(yù)處理未遮擋分割圖像；

6、將所述預(yù)處理未遮擋分割圖像輸入已訓(xùn)練的圖像修復(fù)模型，得到修復(fù)圖像；

7、根據(jù)采煤機(jī)原始圖像和未遮擋分割圖像得到遮擋目標(biāo)圖像，在所述修復(fù)圖像中獲取修復(fù)位置圖像，將所述修復(fù)位置圖像替換所述采煤機(jī)原始圖像中的遮擋目標(biāo)圖像，得到采煤機(jī)完整圖像。

8、在本申請(qǐng)的一個(gè)實(shí)施例中，對(duì)經(jīng)預(yù)處理的采煤機(jī)原始圖像和所述未遮擋分割圖像進(jìn)行圖像加處理，得到預(yù)處理未遮擋分割圖像之前，還包括：

9、對(duì)所述采煤機(jī)原始圖像進(jìn)行灰度化、輪廓檢測(cè)及采煤機(jī)面積提取，得到預(yù)處理的采煤機(jī)原始圖像。

10、在本申請(qǐng)的一個(gè)實(shí)施例中，所述實(shí)例分割模型為yolov8-seg網(wǎng)絡(luò)，所述圖像修復(fù)模型為fcf-inpainting網(wǎng)絡(luò)。

11、在本申請(qǐng)的一個(gè)實(shí)施例中，所述實(shí)例分割模型的訓(xùn)練步驟包括：

12、獲取訓(xùn)練數(shù)據(jù)集，所述訓(xùn)練數(shù)據(jù)集中包括若干訓(xùn)練圖像及各個(gè)訓(xùn)練圖像對(duì)應(yīng)的標(biāo)簽，所述訓(xùn)練圖像包括：無(wú)遮擋采煤機(jī)訓(xùn)練圖像和遮擋采煤機(jī)訓(xùn)練圖像；

13、獲取yolov8-seg網(wǎng)絡(luò)，基于所述無(wú)遮擋采煤機(jī)訓(xùn)練圖像、所述遮擋采煤機(jī)訓(xùn)練圖像以及對(duì)應(yīng)的標(biāo)簽，對(duì)所述yolov8-seg網(wǎng)絡(luò)進(jìn)行實(shí)例分割訓(xùn)練，得到已訓(xùn)練的實(shí)例分割模型。

14、在本申請(qǐng)的一個(gè)實(shí)施例中，所述圖像修復(fù)模型的訓(xùn)練步驟包括：

15、獲取訓(xùn)練數(shù)據(jù)集，所述訓(xùn)練數(shù)據(jù)集中包括若干訓(xùn)練圖像及各個(gè)訓(xùn)練圖像對(duì)應(yīng)的標(biāo)簽，所述訓(xùn)練圖像包括：無(wú)遮擋采煤機(jī)訓(xùn)練圖像和遮擋采煤機(jī)訓(xùn)練圖像；

16、獲取fcf-inpainting網(wǎng)絡(luò)，基于所述無(wú)遮擋采煤機(jī)訓(xùn)練圖像、所述遮擋采煤機(jī)訓(xùn)練圖像以及隨機(jī)生成的掩膜，對(duì)所述fcf-inpainting網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到已訓(xùn)練的圖像修復(fù)模型。

17、在本申請(qǐng)的一個(gè)實(shí)施例中，所述無(wú)遮擋采煤機(jī)訓(xùn)練圖像的獲取步驟包括：

18、采集無(wú)遮擋場(chǎng)景下采煤機(jī)的第一運(yùn)動(dòng)視頻；

19、通過(guò)opencv截取所述第一運(yùn)動(dòng)視頻中的若干幀，得到若干無(wú)遮擋場(chǎng)景圖像；

20、將若干所述無(wú)遮擋場(chǎng)景圖像縮放至預(yù)設(shè)大小，并由黑色像素點(diǎn)對(duì)邊緣進(jìn)行填充，得到若干無(wú)遮擋采煤機(jī)訓(xùn)練圖像。

21、在本申請(qǐng)的一個(gè)實(shí)施例中，所述遮擋采煤機(jī)訓(xùn)練圖像的獲取步驟包括：

22、采集遮擋場(chǎng)景下采煤機(jī)的第二運(yùn)動(dòng)視頻；

23、通過(guò)opencv截取所述第二運(yùn)動(dòng)視頻中的若干幀，得到若干遮擋場(chǎng)景圖像；

24、將所述遮擋場(chǎng)景圖像進(jìn)行圖像去霧操作后，進(jìn)行灰度化、輪廓檢測(cè)及采煤機(jī)面積提取，得到遮擋采煤機(jī)訓(xùn)練圖像。

25、本申請(qǐng)還提供一種礦井下采煤機(jī)遮擋恢復(fù)裝置，其中，所述裝置包括：

26、第一輸入模塊，用于將待處理的采煤機(jī)原始圖像輸入已訓(xùn)練的實(shí)例分割模型中，得到未遮擋分割圖像；

27、圖像處理模塊，用于對(duì)經(jīng)預(yù)處理的采煤機(jī)原始圖像和所述未遮擋分割圖像進(jìn)行圖像加處理，得到預(yù)處理未遮擋分割圖像；

28、第二輸入模塊，用于將所述預(yù)處理未遮擋分割圖像輸入已訓(xùn)練的圖像修復(fù)模型，得到修復(fù)圖像；

29、圖像恢復(fù)模塊，用于根據(jù)采煤機(jī)原始圖像和未遮擋分割圖像得到遮擋目標(biāo)圖像，在所述修復(fù)圖像中獲取修復(fù)位置圖像，將所述修復(fù)位置圖像替換所述采煤機(jī)原始圖像中的遮擋目標(biāo)圖像，得到采煤機(jī)完整圖像。

30、本申請(qǐng)還提供一種終端，其中，包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的礦井下采煤機(jī)遮擋恢復(fù)程序，所述礦井下采煤機(jī)遮擋恢復(fù)程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的礦井下采煤機(jī)遮擋恢復(fù)方法的步驟。

31、本申請(qǐng)還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序能夠被執(zhí)行以用于實(shí)現(xiàn)如上所述的礦井下采煤機(jī)遮擋恢復(fù)方法的步驟。

32、本發(fā)明提供的一種礦井下采煤機(jī)遮擋恢復(fù)方法、裝置、終端及存儲(chǔ)介質(zhì)，所述礦井下采煤機(jī)遮擋恢復(fù)方法包括：將待處理的采煤機(jī)原始圖像輸入已訓(xùn)練的實(shí)例分割模型中，得到未遮擋分割圖像；對(duì)經(jīng)預(yù)處理的采煤機(jī)原始圖像和所述未遮擋分割圖像進(jìn)行圖像加處理，得到預(yù)處理未遮擋分割圖像；將所述預(yù)處理未遮擋分割圖像輸入已訓(xùn)練的圖像修復(fù)模型，得到修復(fù)圖像；根據(jù)采煤機(jī)原始圖像和未遮擋分割圖像得到遮擋目標(biāo)圖像，在所述修復(fù)圖像中獲取修復(fù)位置圖像，將所述修復(fù)位置圖像替換所述采煤機(jī)原始圖像中的遮擋目標(biāo)圖像，得到采煤機(jī)完整圖像。本發(fā)明通過(guò)將采煤機(jī)原始圖像先輸入實(shí)例分割模型中，進(jìn)行圖像分割處理，再輸入圖像修復(fù)模型中，進(jìn)行圖像恢復(fù)，提高了采煤機(jī)被遮擋部分在圖像上的虛擬恢復(fù)的準(zhǔn)確性，避免了單獨(dú)使用語(yǔ)義分割方法或圖像修復(fù)方法帶來(lái)的恢復(fù)圖像不準(zhǔn)確的問(wèn)題。

技術(shù)特征：

1.一種礦井下采煤機(jī)遮擋恢復(fù)方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的礦井下采煤機(jī)遮擋恢復(fù)方法，其特征在于，對(duì)經(jīng)預(yù)處理的采煤機(jī)原始圖像和所述未遮擋分割圖像進(jìn)行圖像加處理，得到預(yù)處理未遮擋分割圖像之前，還包括：

3.根據(jù)權(quán)利要求1所述的礦井下采煤機(jī)遮擋恢復(fù)方法，其特征在于，所述實(shí)例分割模型為yolov8-seg網(wǎng)絡(luò)，所述圖像修復(fù)模型為fcf-inpainting網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求3所述的礦井下采煤機(jī)遮擋恢復(fù)方法，其特征在于，所述實(shí)例分割模型的訓(xùn)練步驟包括：

5.根據(jù)權(quán)利要求3所述的礦井下采煤機(jī)遮擋恢復(fù)方法，其特征在于，所述圖像修復(fù)模型的訓(xùn)練步驟包括：

6.根據(jù)權(quán)利要求4或5所述的礦井下采煤機(jī)遮擋恢復(fù)方法，其特征在于，所述無(wú)遮擋采煤機(jī)訓(xùn)練圖像的獲取步驟包括：

7.根據(jù)權(quán)利要求4或5所述的礦井下采煤機(jī)遮擋恢復(fù)方法，其特征在于，所述遮擋采煤機(jī)訓(xùn)練圖像的獲取步驟包括：

8.一種礦井下采煤機(jī)遮擋恢復(fù)裝置，其特征在于，所述裝置包括：

9.一種終端，其特征在于，包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的礦井下采煤機(jī)遮擋恢復(fù)程序，所述礦井下采煤機(jī)遮擋恢復(fù)程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1～7任意一項(xiàng)所述的礦井下采煤機(jī)遮擋恢復(fù)方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序能夠被執(zhí)行以用于實(shí)現(xiàn)如權(quán)利要求1～7任意一項(xiàng)所述的礦井下采煤機(jī)遮擋恢復(fù)方法的步驟。

技術(shù)總結(jié)
本發(fā)明所提供的一種礦井下采煤機(jī)遮擋恢復(fù)方法、裝置、終端及存儲(chǔ)介質(zhì)，方法包括：將待處理的采煤機(jī)原始圖像輸入已訓(xùn)練的實(shí)例分割模型中，得到未遮擋分割圖像；對(duì)經(jīng)預(yù)處理的采煤機(jī)原始圖像和未遮擋分割圖像進(jìn)行圖像加處理，得到預(yù)處理未遮擋分割圖像；將預(yù)處理未遮擋分割圖像輸入已訓(xùn)練的圖像修復(fù)模型，得到修復(fù)圖像；根據(jù)采煤機(jī)原始圖像和未遮擋分割圖像得到遮擋目標(biāo)圖像，在修復(fù)圖像中獲取修復(fù)位置圖像，將修復(fù)位置圖像替換采煤機(jī)原始圖像中的遮擋目標(biāo)圖像，得到采煤機(jī)完整圖像。本發(fā)明提高了采煤機(jī)被遮擋部分在圖像上的虛擬恢復(fù)的準(zhǔn)確性，避免了單獨(dú)使用語(yǔ)義分割方法或圖像修復(fù)方法帶來(lái)的恢復(fù)圖像不準(zhǔn)確的問(wèn)題。

技術(shù)研發(fā)人員：吳庚明,宋振鐸,李俊杰,蔣慶友,韓德偉,遲煥磊,李康,王振剛,徐健,馬開(kāi)德,尹利英,單鵬,秦余春,劉銘輝,馬兆遠(yuǎn)
受保護(hù)的技術(shù)使用者：中國(guó)煤礦機(jī)械裝備有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19