本發(fā)明屬于煤礦井下智能監(jiān)測，具體涉及一種基于熱成像的掘進機預警聯(lián)動系統(tǒng)及方法。

背景技術(shù)：

1、煤炭作為我國的重要能源，為推動我國的工業(yè)化進程提供了基礎(chǔ)保障。面對煤礦井下復雜的環(huán)境，基于視頻的ai監(jiān)控技術(shù)在煤礦井下的應用，有效的將工作人員從危險的環(huán)境中脫離出來，保障了煤礦井下的安全生產(chǎn)。

2、但在進行掘進工作時，大量的粉塵彌漫在空氣中，使得普通的可見光攝像儀難以捕捉到清晰的畫面，為監(jiān)控系統(tǒng)的有效運行帶來了不小的挑戰(zhàn)。同時，掘進機司機在操作過程中，由于視野受限，難以全面掌握作業(yè)區(qū)域的動態(tài)情況。一旦有工作人員誤入危險區(qū)域，司機可能無法及時發(fā)現(xiàn)，從而增加了安全事故的風險。

3、此外，掘進頭在作業(yè)過程中會產(chǎn)生極高的溫度，這對設(shè)備的穩(wěn)定性和壽命構(gòu)成了嚴重威脅。一旦設(shè)備出現(xiàn)故障，不僅會影響生產(chǎn)效率，還可能引發(fā)安全事故。因此，如何準確檢測掘進工作區(qū)域的人員狀態(tài)和設(shè)備運行狀態(tài)，并與掘進設(shè)備進行智能聯(lián)動，成為了當前煤礦安全生產(chǎn)亟待解決的問題。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)存在的缺陷和問題，本發(fā)明提供一種基于熱成像的掘進機預警聯(lián)動系統(tǒng)及方法，本發(fā)明有效解決了對掘進機附近區(qū)域的工況感知，有效減小了工作人員在進行掘進作業(yè)時的視野盲區(qū)，保證了煤礦井下安全高效生產(chǎn)。

2、本發(fā)明解決其技術(shù)問題所采用的方案是：一種基于熱成像的掘進機預警聯(lián)動系統(tǒng)，包括數(shù)據(jù)采集模塊、邊緣計算網(wǎng)關(guān)模塊、聲光報警模塊以及終端監(jiān)控模塊；所述數(shù)據(jù)采集模塊用于實時監(jiān)測井下掘進機周圍熱成像視頻流及溫度數(shù)據(jù)，并將數(shù)據(jù)傳輸至邊緣計算網(wǎng)關(guān)模塊；所述邊緣計算網(wǎng)關(guān)模塊內(nèi)置推理引擎，用于對接收到的數(shù)據(jù)進行實時分析，以識別潛在的安全隱患，且一旦發(fā)現(xiàn)異常情況，所述邊緣計算網(wǎng)關(guān)模塊立即向聲光報警模塊發(fā)出指令，使其發(fā)出聲光報警信號，同時向該模塊內(nèi)的設(shè)備控制單元發(fā)送控制指令，以控制掘進機的運行狀態(tài)；所述終端監(jiān)控模塊與邊緣計算網(wǎng)關(guān)模塊通信連接，支持遠程監(jiān)控和實時數(shù)據(jù)傳輸，用于接收邊緣計算網(wǎng)關(guān)模塊發(fā)送的預警信息，并在監(jiān)控界面上實時顯示對掘進機周圍監(jiān)控信息。

3、進一步地，所述數(shù)據(jù)采集模塊依托于多臺安裝在掘進機上的礦用本安型熱成像攝像儀，根據(jù)攝像儀視野寬度在掘進機的前端兩側(cè)各安裝一臺，負責對掘進機頭部附近區(qū)域進行設(shè)備溫度及人員狀態(tài)的監(jiān)測；掘進機的尾部兩側(cè)也各安裝一臺，負責對掘進機尾部人員狀態(tài)進行檢測。

4、進一步地，所述邊緣計算網(wǎng)關(guān)模塊集成于人工智能計算核心板，包括模型推理單元、溫度獲取單元、業(yè)務處理單元、設(shè)備控制單元、數(shù)據(jù)存儲單元以及web端服務單元；所述模型推理單元內(nèi)置ai推理引擎，對視頻流進行實時智能解析，識別違規(guī)行為，并將檢測到的預警信息發(fā)送給業(yè)務處理單元；所述業(yè)務處理單元接收這些預警信息，并根據(jù)預設(shè)的規(guī)則和閾值進行邏輯判斷，然后發(fā)出相應的預警或停機信息；所述溫度獲取單元用于實時從數(shù)據(jù)采集模塊獲取溫度數(shù)據(jù)矩陣，并與模型推理單元中的視頻流數(shù)據(jù)進行時間同步，模型推理單元檢測熱成像圖像中目標的位置信息，這些信息隨后被溫度獲取單元用于確定目標在溫度數(shù)據(jù)矩陣中的具體位置。

5、進一步地，所述業(yè)務處理單元將發(fā)出的預警信息通過rs485協(xié)議與聲光報警模塊進行通信，實現(xiàn)聲光報警；并將停機信息通過內(nèi)部協(xié)議發(fā)送給設(shè)備控制單元；所述業(yè)務處理單元的業(yè)務類型包括掘進機前端危險區(qū)人員檢測、掘進頭高溫監(jiān)測以及掘進機后端危險區(qū)人員檢測。

6、進一步地，所述設(shè)備控制單元接收停機信息后，將其轉(zhuǎn)化為dido開關(guān)量信號，并發(fā)送到掘進機的控制系統(tǒng)，實現(xiàn)掘進機的急停操作；同時設(shè)備控制單元還會在急停后的一定時間內(nèi)自動進行復位操作，允許掘進機重新啟動。

7、進一步地，所述數(shù)據(jù)存儲單元用于建立和管理mysql和minio數(shù)據(jù)庫，實現(xiàn)對報警信息、圖像以及視頻的存儲，同時提供相應的對外查詢接口，從而保證數(shù)據(jù)的留存和用戶歷史數(shù)據(jù)查詢的需求。

8、進一步地，所述web端服務單元用于對掘進機采集的視頻流進行實時分析結(jié)果展示，同時提供實時彈窗報警、歷史數(shù)據(jù)查詢、報警統(tǒng)計分析的功能；該單元采用b/s架構(gòu)，客戶機可通過工業(yè)環(huán)網(wǎng)利用網(wǎng)頁直接訪問web端界面，從而實現(xiàn)對掘進機周圍進行實時監(jiān)控與瀏覽。

9、進一步地，所述終端監(jiān)控模塊包括井下平板超級終端、井上監(jiān)控主機以及礦用本安監(jiān)控主機；其中井下平板超級終端通過wifi模塊實現(xiàn)與邊緣計算網(wǎng)關(guān)模塊的通信；所述礦用本安監(jiān)控主機利用邊緣計算網(wǎng)關(guān)模塊的rj45網(wǎng)口直接進行通信；所述井上監(jiān)控主機通過井下環(huán)網(wǎng)與邊緣計算網(wǎng)關(guān)模塊進行通信；所述終端監(jiān)控模塊通過訪問邊緣計算網(wǎng)關(guān)模塊的web端服務，能夠?qū)崿F(xiàn)移動端對原始視頻流、分析后的ai視頻流、報警消息、統(tǒng)計分析的信息的瀏覽。

10、本發(fā)明還提供一種基于熱成像的掘進機預警聯(lián)動方法，包括以下步驟：

11、s1、利用掘進機上安裝的礦用本安型熱成像攝像儀實時監(jiān)測感知井下掘進機周圍環(huán)境區(qū)域的溫度，從而獲取得到實時的熱成像視頻流(...，in-2，in-1，in)和溫度數(shù)據(jù)矩陣(...，tn-2，tn-1，tn)；并將這些數(shù)據(jù)通過以太網(wǎng)傳輸至邊緣計算網(wǎng)關(guān)模塊；

12、s2、所述邊緣計算網(wǎng)關(guān)模塊內(nèi)的模型推理單元利用標準的rtsp協(xié)議，實時獲取視頻流數(shù)據(jù)，并對接收到的熱成像視頻流進行實時智能解析，對四個攝像儀中的工作人員和掘進頭進行檢測；同時溫度獲取單元實時獲取溫度數(shù)據(jù)矩陣，并利用攝像儀私有協(xié)議實時更新攝像儀監(jiān)控區(qū)域的溫度圖；模型推理單元根據(jù)檢測掘進頭和工作人員的位置，并將視頻流數(shù)據(jù)與溫度數(shù)據(jù)矩陣進行時間同步，確定目標的最高溫度；

13、s3、業(yè)務處理單元根據(jù)預設(shè)規(guī)則對模型推理單元的檢測結(jié)果進行邏輯判斷，確定是否發(fā)出預警或停機信息；如果檢測到危險情況，業(yè)務處理單元通過rs485協(xié)議向聲光報警模塊發(fā)出預警信息，并通過內(nèi)部協(xié)議控制設(shè)備控制單元執(zhí)行掘進機的急停操作；

14、s4、光報警模塊接收到預警信息后，通過語音播報和燈光警示向工作人員發(fā)出警報；設(shè)備控制單元接收到急停信號后，將信號轉(zhuǎn)換為dido開關(guān)量信號，發(fā)送至掘進機控制系統(tǒng)以執(zhí)行急停操作，并在10秒后自動復位；

15、s5、同時web端服務單元展示實時分析結(jié)果，提供實時彈窗報警、歷史數(shù)據(jù)查詢、報警統(tǒng)計分析的功能，用戶可以通過網(wǎng)頁訪問這些信息，井下工作人員和井上管理人員能夠通過終端監(jiān)控模塊訪問web端服務，實時監(jiān)控掘進機的工作狀態(tài)和接收報警信息，實現(xiàn)對整個掘進機預警聯(lián)動系統(tǒng)進行集中監(jiān)控和管理。

16、進一步地，所述步驟s5-s8，一共包括以下三類報警流程：

17、第一類報警流程：當掘進機前端兩個攝像儀畫面中檢測到工作人員，并且闖入到設(shè)定好的roi危險區(qū)域時，此時發(fā)出人員入侵危險區(qū)域的報警信息和停機信息，聲光報警器通過標準rs485協(xié)議獲取得報警信息后，其會發(fā)出語音“人員入侵危險區(qū)域”的報警并伴隨燈光閃爍；設(shè)備控制單元通過內(nèi)部協(xié)議獲取得到停機信息后，會閉合急停開關(guān)回路，實現(xiàn)對掘進機的急停操作，并間隔10秒后對急?；芈愤M行重置操作。

18、第二類報警流程：當掘進機前端兩個攝像儀畫面中，檢測到掘進頭并且溫度值超過設(shè)定溫度時，此時發(fā)出設(shè)備溫度過高的報警信息和停機信息，聲光報警器通過標準rs485協(xié)議獲取得報警信息后，其會發(fā)出語音“設(shè)備溫度過高”的報警并伴隨燈光閃爍；設(shè)備控制單元通過內(nèi)部協(xié)議獲取得到停機信息后，會閉合急停開關(guān)回路，實現(xiàn)對掘進機的急停操作，并間隔10秒后對急?；芈愤M行重置操作；

19、第三類報警流程：當掘進機尾部兩個攝像儀畫面中，檢測到有人員進入所繪制roi危險區(qū)域時，會發(fā)出人員靠近掘進機的報警信息，聲光報警器通過標準rs485協(xié)議獲取得報警信息后，其會發(fā)出語音“人員靠近掘進機”的報警并伴隨燈光閃爍；且預警觸發(fā)的同時，業(yè)務處理單元通過調(diào)取內(nèi)部接口實現(xiàn)對當前觸發(fā)預警的視頻幀進行存儲，同時會進行10秒中的視頻錄制，并將預警數(shù)據(jù)上傳數(shù)據(jù)庫。

20、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

21、本發(fā)明提供的基于熱成像的掘進機預警聯(lián)動系統(tǒng)及方法，在提高礦井作業(yè)安全性、提升監(jiān)控效率和降低生產(chǎn)風險方面具有顯著的優(yōu)勢，本發(fā)明通過利用熱成像技術(shù)進行環(huán)境監(jiān)測，能夠穿透粉塵和黑暗，提供比傳統(tǒng)可見光攝像更清晰的圖像，尤其在煤礦等粉塵大、光線差的環(huán)境中；系統(tǒng)能夠?qū)崟r監(jiān)測掘進機周圍環(huán)境和溫度，并通過邊緣計算網(wǎng)關(guān)模塊進行實時分析，快速識別潛在的安全隱患；還能夠?qū)崿F(xiàn)視頻流數(shù)據(jù)與溫度數(shù)據(jù)矩陣的時間同步，確保溫度檢測的準確性和實時性。

22、本發(fā)明系統(tǒng)能夠根據(jù)不同的監(jiān)測結(jié)果自動發(fā)出相應的報警信息，實現(xiàn)快速響應；通過自動化的設(shè)備控制單元，系統(tǒng)能夠?qū)崿F(xiàn)對掘進機的急停和自動復位操作，提高安全管理的效率；系統(tǒng)能夠?qū)崿F(xiàn)對整個掘進機預警聯(lián)動系統(tǒng)的集中監(jiān)控和管理，有利于提高管理效率和系統(tǒng)的穩(wěn)定性，本發(fā)明通過自動化和智能化的安全管理，系統(tǒng)能夠在保障安全的同時，減少因誤操作或延遲響應導致的生產(chǎn)中斷，提高生產(chǎn)效率。

23、本發(fā)明方法利用熱成像攝像儀獲取掘進機附近監(jiān)控點位的熱成像視頻流和溫度圖；針對該場景應用通過訓練相應的目標檢測推理模型，實現(xiàn)對熱成像視頻流中的工作人員和掘進機鉆頭的實時檢測；依據(jù)掘進頭在對應溫度圖中的位置，從而得到掘進機鉆頭的相關(guān)溫度，當溫度高于所設(shè)置閾值時發(fā)出設(shè)備高溫報警；依據(jù)所識別的工作人員位置，與所設(shè)置的危險區(qū)域進行判斷，從而實現(xiàn)相應人員入侵報警；同時設(shè)備控制單元在收到所發(fā)布的預警消息后，實現(xiàn)對掘進機的急?？刂?。該方法的實現(xiàn)有效解決了對掘進機附近區(qū)域的工況感知，有效減小了工作人員在進行掘進作業(yè)時的視野盲區(qū)，保證了煤礦井下安全高效生產(chǎn)。