本發(fā)明涉及智能監(jiān)控和計算機(jī)視覺領(lǐng)域，特別是一種基于深度學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)的工業(yè)拋灑物監(jiān)測方法。
背景技術(shù)：
：：1、隨著工業(yè)自動化和智能監(jiān)控技術(shù)的不斷發(fā)展，針對工業(yè)場景中工程車輛的監(jiān)控與管理變得愈發(fā)重要。現(xiàn)有的監(jiān)控系統(tǒng)通常依賴于固定攝像頭和傳感器，通過人工監(jiān)控或簡單的圖像處理技術(shù)對車輛的進(jìn)入和離開進(jìn)行記錄。然而，這種方法存在顯著的局限性，尤其是在涉及車輛拋灑物的檢測和管理時。傳統(tǒng)的監(jiān)控系統(tǒng)難以實(shí)時、高效地檢測和跟蹤工程車輛的拋灑行為，主要原因在于它們無法有效應(yīng)對復(fù)雜多變的工業(yè)環(huán)境和動態(tài)的車輛行為。近年來，隨著深度學(xué)習(xí)和計算機(jī)視覺技術(shù)的迅猛發(fā)展，基于視頻流的智能監(jiān)控系統(tǒng)逐漸成為研究熱點(diǎn)。這些系統(tǒng)能夠通過對視頻數(shù)據(jù)的實(shí)時處理，實(shí)現(xiàn)對目標(biāo)物體的檢測、識別和跟蹤，極大地提高了監(jiān)控的自動化程度和準(zhǔn)確性。2、盡管現(xiàn)有的智能監(jiān)控技術(shù)在車輛檢測和跟蹤方面取得了一定的進(jìn)展，但在車輛拋灑物檢測和信息關(guān)聯(lián)上仍存在諸多不足。首先，現(xiàn)有技術(shù)在拋灑物檢測的準(zhǔn)確性和魯棒性上存在較大問題，尤其是在復(fù)雜的工業(yè)場景下，拋灑物與環(huán)境背景易產(chǎn)生混淆，導(dǎo)致高誤檢率和漏檢率。其次，在車輛信息和拋灑物信息的關(guān)聯(lián)上，現(xiàn)有方法大多依賴簡單的時空匹配算法，無法充分利用深度學(xué)習(xí)和圖神經(jīng)網(wǎng)絡(luò)的優(yōu)勢，導(dǎo)致信息關(guān)聯(lián)的準(zhǔn)確性和效率不高。此外，現(xiàn)有系統(tǒng)在處理多目標(biāo)跟蹤和實(shí)時性方面也存在明顯不足，難以應(yīng)對工業(yè)場景中多車輛同時作業(yè)的復(fù)雜情況。相比之下，本發(fā)明提出了一種基于深度學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)的工業(yè)拋灑物監(jiān)測方法，利用深度學(xué)習(xí)模型和圖神經(jīng)網(wǎng)絡(luò)關(guān)聯(lián)算法，通過多次檢測和信息關(guān)聯(lián)，實(shí)現(xiàn)對工程車輛拋灑物的高效、準(zhǔn)確檢測和預(yù)警。技術(shù)實(shí)現(xiàn)思路1、鑒于現(xiàn)有的智能監(jiān)控系統(tǒng)在車輛拋灑物檢測和信息關(guān)聯(lián)方面存在的問題，提出了本發(fā)明。2、因此，本發(fā)明所要解決的問題在于如何在復(fù)雜工業(yè)場景中實(shí)現(xiàn)工程車輛拋灑物的精準(zhǔn)檢測和信息的有效關(guān)聯(lián)。3、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：4、第一方面，本發(fā)明實(shí)施例提供了一種基于深度學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)的工業(yè)拋灑物監(jiān)測方法，其包括，基于視頻流進(jìn)行工程車輛進(jìn)入特定區(qū)域的分析和目標(biāo)第一次檢測；基于第一次檢測結(jié)果，使用深度學(xué)習(xí)模型識別和跟蹤工程車輛，并利用ocr技術(shù)提取車牌信息；對識別和跟蹤工程車輛擴(kuò)展檢測區(qū)域，利用拋灑物識別模型進(jìn)行第二次檢測車輛區(qū)域的疑似拋灑物；基于疑似拋灑物的區(qū)域進(jìn)行第三次檢測，判斷是否有拋灑物；基于三次檢測結(jié)果，使用圖神經(jīng)網(wǎng)絡(luò)關(guān)聯(lián)算法關(guān)聯(lián)拋灑物信息和車輛信息；根據(jù)關(guān)聯(lián)結(jié)果生成報警信息等級和處理優(yōu)先級。5、作為本發(fā)明所述基于深度學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)的工業(yè)拋灑物監(jiān)測方法的一種優(yōu)選方案，其中：所述目標(biāo)第一次檢測包括以下步驟：對輸入的視頻流進(jìn)行幀提取；對提取的幀進(jìn)行對比度調(diào)整和去噪，以增強(qiáng)圖像，并將圖像調(diào)整為深度學(xué)習(xí)模型所需的輸入尺寸；所述對比度調(diào)整的相關(guān)公式如下：6、；7、其中，為增強(qiáng)后的圖像，為對比度增益因子，為原始圖像，為亮度調(diào)整因子。8、使用預(yù)訓(xùn)練的深度學(xué)習(xí)模型進(jìn)行車輛檢測，并設(shè)置檢測閾值，輸出第一次檢測結(jié)果；通過resnet50分類模型對工程車輛分類，保留被分類為工程車輛的檢測結(jié)果；預(yù)定義監(jiān)控區(qū)域的多邊形坐標(biāo)，進(jìn)行區(qū)域進(jìn)入判定，檢查工程車輛邊界框的中心點(diǎn)是否在此多邊形內(nèi)；當(dāng)工程車輛邊界框的中心點(diǎn)在此多邊形內(nèi)，則記錄為進(jìn)入事件；當(dāng)工程車輛邊界框的中心點(diǎn)在此多邊形外，則重新校正工程車輛邊界框的中心點(diǎn)。9、作為本發(fā)明所述基于深度學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)的工業(yè)拋灑物監(jiān)測方法的一種優(yōu)選方案，其中：使用deepsort算法進(jìn)行車輛跟蹤，并為每個被跟蹤的車輛分配唯一id；所述車輛跟蹤包括以下步驟：所述車輛跟蹤的相關(guān)公式如下：10、；11、其中，為k時刻的狀態(tài)向量，為k時刻的狀態(tài)轉(zhuǎn)移矩陣，為k時刻的控制輸入矩陣，為k時刻的控制向量，為k時刻的過程噪聲。12、使用卡爾曼濾波算法預(yù)測車輛在下一幀中的位置，同時使用匈牙利算法將預(yù)測位置和第一次檢測結(jié)果進(jìn)行匹配；在車輛邊界框內(nèi)使用深度學(xué)習(xí)模型定位車牌區(qū)域；對定位結(jié)果進(jìn)行傾斜校正，使用crnn模型進(jìn)行端到端的車牌ocr并通過ctc解碼獲取最終的車牌字符串；所述傾斜校正的相關(guān)公式如下：13、；14、其中，為傾斜角度，和為車牌邊緣兩點(diǎn)坐標(biāo)。15、使用正則表達(dá)式驗(yàn)證車牌格式，過濾錯誤的識別結(jié)果；將識別出的車牌信息和車輛跟蹤id關(guān)聯(lián)，并存儲在臨時數(shù)據(jù)庫中。16、作為本發(fā)明所述基于深度學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)的工業(yè)拋灑物監(jiān)測方法的一種優(yōu)選方案，其中：檢測區(qū)域擴(kuò)展，根據(jù)車輛大小和速度動態(tài)調(diào)整擴(kuò)展范圍和擴(kuò)展范圍的標(biāo)準(zhǔn)差的值；所述檢測區(qū)域擴(kuò)展包括以下步驟：所述檢測區(qū)域擴(kuò)展的相關(guān)公式如下：17、；18、其中，為擴(kuò)展后的檢測區(qū)域，為擴(kuò)展范圍，為擴(kuò)展范圍的標(biāo)準(zhǔn)差，為隨機(jī)變量，為車輛面積，為車輛速度，和為調(diào)整系數(shù)。19、使用針對拋灑物訓(xùn)練的mask?r-cnn模型在擴(kuò)展區(qū)域內(nèi)進(jìn)行實(shí)例分割，并設(shè)置初始檢測閾值；對檢測到的每個拋灑物實(shí)例進(jìn)行分類，并記錄疑似拋灑物的相關(guān)特征；所述相關(guān)特征包括出現(xiàn)時間、位置、大小以及形狀；計算疑似拋灑物和車輛的相對位置關(guān)系；基于預(yù)定義規(guī)則對疑似拋灑物進(jìn)行初步篩選；將篩選后的結(jié)果暫存，等待進(jìn)行第三次檢測。20、作為本發(fā)明所述基于深度學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)的工業(yè)拋灑物監(jiān)測方法的一種優(yōu)選方案，其中：所述第三次檢測包括以下步驟：計算等待時間，根據(jù)車輛離開監(jiān)控區(qū)域的時間和計算出的等待時間，具體公式如下：21、；22、其中，為等待時間，為檢測到的車輛高度，為重力加速度，為監(jiān)控區(qū)域長度，為車輛面積，為車輛速度，為調(diào)整系數(shù)。23、使用圖像配準(zhǔn)技術(shù)將之前記錄的疑似拋灑物位置映射到當(dāng)前幀，進(jìn)行區(qū)域重定位，適當(dāng)擴(kuò)大檢測范圍；使用mask?r-cnn模型進(jìn)行第三次檢測；對檢測結(jié)果進(jìn)行形狀和紋理分析，排除誤檢，并比較兩次檢測結(jié)果；所述誤檢包括樹葉和陰影。24、作為本發(fā)明所述基于深度學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)的工業(yè)拋灑物監(jiān)測方法的一種優(yōu)選方案，其中：所述比較兩次檢測結(jié)果包括，當(dāng)檢測到車輛進(jìn)入監(jiān)控區(qū)域時，則啟動車輛分類流程；若車輛被分類為工程車輛，則進(jìn)行車牌定位和識別；若車牌識別成功，則將車牌信息和車輛id關(guān)聯(lián)并存儲；若車牌識別失敗，則標(biāo)記此車輛為未識別車牌，并繼續(xù)跟蹤；當(dāng)工程車輛在監(jiān)控區(qū)域內(nèi)行駛時，則持續(xù)更新工程車輛位置信息；若工程車輛停留時間大于預(yù)設(shè)閾值，則觸發(fā)停車事件警告；當(dāng)檢測到多輛工程車輛同時在監(jiān)控區(qū)域內(nèi)時，則啟動多目標(biāo)跟蹤算法；若多目標(biāo)跟蹤出現(xiàn)id切換，則使用外觀特征重新關(guān)聯(lián)；當(dāng)工程車輛即將離開監(jiān)控區(qū)域時，則標(biāo)記此工程車輛為待觀察狀態(tài)；若待觀察狀態(tài)持續(xù)超過預(yù)設(shè)時間，則將此過程車輛從跟蹤列表中移除；當(dāng)工程車輛進(jìn)入監(jiān)控區(qū)域核心位置時，則擴(kuò)大檢測范圍；若檢測范圍超出攝像頭視野，則自動調(diào)整為最大可見范圍；若在擴(kuò)展區(qū)域內(nèi)檢測到物體，則啟動拋灑物分類模型；若物體被分類為潛在拋灑物，則記錄潛在拋灑物的相關(guān)特征；當(dāng)檢測到若干潛在拋灑物時，則根據(jù)拋灑物的相關(guān)特征進(jìn)行優(yōu)先級排序；若優(yōu)先級最高的拋灑物超過危險閾值，則立即觸發(fā)預(yù)警；當(dāng)?shù)谌螜z測結(jié)果和第二次檢測結(jié)果一致時，則將此物體標(biāo)記為確認(rèn)拋灑物；若第三次檢測結(jié)果和第二次檢測結(jié)果不一致，則進(jìn)行人工復(fù)查；當(dāng)確認(rèn)拋灑物存在時，則立即啟動圖神經(jīng)網(wǎng)絡(luò)關(guān)聯(lián)算法；若關(guān)聯(lián)算法輸出若干責(zé)任車輛，則列出所有車輛和車輛概率；當(dāng)拋灑物被確認(rèn)且責(zé)任車輛被識別時，則生成完整的事件報告；若無法確定責(zé)任車輛，則生成一般性拋灑物警報；當(dāng)生成事件報告后，則根據(jù)評分系統(tǒng)計算事件嚴(yán)重程度；若嚴(yán)重程度超過預(yù)設(shè)閾值，則啟動緊急響應(yīng)流程；當(dāng)完成所有檢測和報告生成后，則重置系統(tǒng)狀態(tài)，進(jìn)行下一輪檢測；若系統(tǒng)內(nèi)存占用超過閾值，則觸發(fā)垃圾回收程序釋放資源。25、作為本發(fā)明所述基于深度學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)的工業(yè)拋灑物監(jiān)測方法的一種優(yōu)選方案，其中：通過拋灑物信息和車輛信息構(gòu)建異構(gòu)圖；所述異構(gòu)圖的節(jié)點(diǎn)包括車輛、車牌和拋灑物；所述構(gòu)建異構(gòu)圖的包括以下步驟：將異構(gòu)圖邊的權(quán)重基于時空proximity和特征相似度計算，為節(jié)點(diǎn)提取相關(guān)特征；所述相關(guān)特征包括車輛軌跡和拋灑物特征；使用自編碼器對特征進(jìn)行降維，得到統(tǒng)一維度的節(jié)點(diǎn)，并使用gat模型學(xué)習(xí)節(jié)點(diǎn)間的關(guān)系；使用人工標(biāo)注的關(guān)聯(lián)樣本進(jìn)行訓(xùn)練，并通過交叉驗(yàn)證優(yōu)化模型超參數(shù)；通過訓(xùn)練好的gat模型，計算拋灑物節(jié)點(diǎn)和車輛節(jié)點(diǎn)之間的關(guān)聯(lián)概率，使用匈牙利算法進(jìn)行最優(yōu)匹配，得到最終的關(guān)聯(lián)結(jié)果；所述gat模型的相關(guān)公式如下：26、<mstyledisplaystyle="true"mathcolor="#000000"><mtable><mtr><mtd><msub><mi>υ</mi><mi>ij</mi></msub><mi>=</mi><mfrac><mrow><mi>exp</mi><mrow><mo>(</mo><mrow><mi>leaky</mi><mi>re</mi><mi>lu</mi><mrow><mo>(</mo><mrow><mi>a</mi><mrow><mo>[</mo><mrow><msub><mi>wh</mi><mi>i</mi></msub><mrow><mo>|</mo><msub><mi>wh</mi><mi>j</mi></msub></mrow></mrow><mo>]</mo></mrow></mrow><mo>)</mo></mrow></mrow><mo>)</mo></mrow></mrow><mrow><mstyledisplaystyle="true"><mo>∑</mo><mrow><mi>j</mi><mi>∈</mi><msub><mi>?</mi><mi>i</mi></msub><mi>exp</mi></mrow></mstyle><mi>leaky</mi><mi>re</mi><mi>lu</mi><mrow><mo>(</mo><mrow><mi>a</mi><mrow><mo>[</mo><mrow><msub><mi>wh</mi><mi>i</mi></msub><mrow><mo>|</mo><msub><mi>wh</mi><mi>j</mi></msub></mrow></mrow><mo>]</mo></mrow></mrow><mo>)</mo></mrow></mrow></mfrac></mtd></mtr><mtr><mtd><msub><mi>h</mi><mi>i</mi></msub><mi>=</mi><mi>σ</mi><mrow><mo>(</mo><mrow><mstyledisplaystyle="true"><mo>∑</mo><mrow><mi>j</mi><mi>∈</mi><msub><mi>?</mi><mi>i</mi></msub><msub><mi>υ</mi><mi>ij</mi></msub></mrow></mstyle><msub><mi>wh</mi><mi>j</mi></msub></mrow><mo>)</mo></mrow></mtd></mtr></mtable></mstyle>；27、其中，為節(jié)點(diǎn)i對節(jié)點(diǎn)j的注意力系數(shù)，為指數(shù)函數(shù)，用于將注意力分?jǐn)?shù)轉(zhuǎn)換為正值，?為帶泄漏的線性整流單元激活函數(shù)，用于引入非線性，為注意力向量，對輸入特征進(jìn)行線性變換，和分別為節(jié)點(diǎn)i和節(jié)點(diǎn)j的特征向量，為節(jié)點(diǎn)i的鄰居集合，為權(quán)重矩陣，為relu激活函數(shù)。28、第二方面，本發(fā)明實(shí)施例提供了一種基于深度學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)的工業(yè)拋灑物監(jiān)測系統(tǒng)，其包括：目標(biāo)第一次檢測模塊，基于視頻流進(jìn)行工程車輛進(jìn)入特定區(qū)域的分析和目標(biāo)第一次檢測；識別模塊，基于第一次檢測結(jié)果，使用深度學(xué)習(xí)模型識別和跟蹤工程車輛，并利用ocr技術(shù)提取車牌信息；第二次檢測模塊，用于對識別和跟蹤工程車輛擴(kuò)展檢測區(qū)域，利用拋灑物識別模型進(jìn)行第二次檢測車輛區(qū)域的疑似拋灑物；第三次檢測模塊，基于疑似拋灑物的區(qū)域進(jìn)行第三次檢測，判斷是否有拋灑物；關(guān)聯(lián)模塊，基于三次檢測結(jié)果，使用圖神經(jīng)網(wǎng)絡(luò)關(guān)聯(lián)算法關(guān)聯(lián)拋灑物信息和車輛信息；生成模塊，根據(jù)關(guān)聯(lián)結(jié)果生成報警信息等級和處理優(yōu)先級。29、第三方面，本發(fā)明實(shí)施例提供了一種計算機(jī)設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機(jī)程序，其中：所述計算機(jī)程序指令被處理器執(zhí)行時實(shí)現(xiàn)如本發(fā)明第一方面所述的基于深度學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)的工業(yè)拋灑物監(jiān)測方法的步驟。30、第四方面，本發(fā)明實(shí)施例提供了一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其中：所述計算機(jī)程序指令被處理器執(zhí)行時實(shí)現(xiàn)如本發(fā)明第一方面所述的基于深度學(xué)習(xí)與圖神經(jīng)網(wǎng)絡(luò)的工業(yè)拋灑物監(jiān)測方法的步驟。31、本發(fā)明有益效果為：本發(fā)明通過視頻流的幀提取、圖像增強(qiáng)和深度學(xué)習(xí)模型，識別進(jìn)入特定區(qū)域的工程車輛；使用deepsort算法和卡爾曼濾波進(jìn)行車輛跟蹤，并通過ocr技術(shù)提取車牌信息，關(guān)聯(lián)車輛身份和軌跡；動態(tài)調(diào)整檢測區(qū)域并使用mask?r-cnn模型進(jìn)行第二次檢測，識別疑似拋灑物并記錄特征；通過計算等待時間和圖像配準(zhǔn)技術(shù)進(jìn)行第三次檢測，排除誤檢；通過圖神經(jīng)網(wǎng)絡(luò)算法構(gòu)建異構(gòu)圖，提取特征并優(yōu)化模型，生成報警等級和處理優(yōu)先級，提升工業(yè)場景下的安全監(jiān)控能力。當(dāng)前第1頁12當(dāng)前第1頁12