本發(fā)明涉及智能安全監(jiān)控，特別是一種基于機(jī)器視覺的井下人員不安全行為快速分析與識(shí)別方法。

背景技術(shù)：

1、在礦井作業(yè)環(huán)境中，保障人員安全始終是首要任務(wù)，近年來，隨著物聯(lián)網(wǎng)、大數(shù)據(jù)與人工智能技術(shù)的迅猛發(fā)展，智能安全監(jiān)控系統(tǒng)逐漸成為提升井下作業(yè)安全的關(guān)鍵手段，其中，機(jī)器視覺技術(shù)因其非接觸、高精度、實(shí)時(shí)性的優(yōu)點(diǎn)，在井下人員行為監(jiān)測(cè)中展現(xiàn)出巨大潛力，早期，機(jī)器視覺主要應(yīng)用于工業(yè)自動(dòng)化中的產(chǎn)品檢測(cè)和質(zhì)量控制，近年來，其應(yīng)用范圍已擴(kuò)展至公共安全、醫(yī)療健康多個(gè)領(lǐng)域，特別是在復(fù)雜環(huán)境下的目標(biāo)檢測(cè)與行為識(shí)別方面取得了顯著進(jìn)展，然而，將機(jī)器視覺應(yīng)用于井下人員的安全行為分析仍面臨諸多挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述現(xiàn)有存在的問題，提出了本發(fā)明。

2、因此，本發(fā)明提供了一種基于機(jī)器視覺的井下人員不安全行為快速分析與識(shí)別方法解決井下環(huán)境復(fù)雜多變，光線條件差，粉塵濃度高，這些因素嚴(yán)重影響了圖像的質(zhì)量和識(shí)別的準(zhǔn)確性，其次，傳統(tǒng)的單一視覺識(shí)別方法難以有效應(yīng)對(duì)多變的行為模式和突發(fā)狀況，尤其是在預(yù)測(cè)潛在的不安全行為方面表現(xiàn)不佳，現(xiàn)有系統(tǒng)忽視了環(huán)境因素對(duì)行為的影響，缺乏動(dòng)態(tài)調(diào)整識(shí)別策略的能力，導(dǎo)致在特定環(huán)境下識(shí)別率下降，此外，大多數(shù)現(xiàn)有技術(shù)側(cè)重于單一模態(tài)信息，而未能充分利用多模態(tài)數(shù)據(jù)的優(yōu)勢(shì)，這限制了系統(tǒng)的魯棒性和適應(yīng)性，最后，即時(shí)預(yù)警機(jī)制的缺失和不完善，使得即使識(shí)別到了不安全行為，也無法及時(shí)采取有效措施，降低了系統(tǒng)的實(shí)用性的問題。

3、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

4、第一方面，本發(fā)明實(shí)施例提供了一種基于機(jī)器視覺的井下人員不安全行為快速分析與識(shí)別方法，其包括，

5、配置環(huán)境感知單元實(shí)時(shí)監(jiān)測(cè)井下環(huán)境參數(shù)，根據(jù)監(jiān)測(cè)數(shù)據(jù)動(dòng)態(tài)調(diào)整圖像識(shí)別與姿態(tài)估計(jì)模型的閾值參數(shù)；

6、構(gòu)建行為預(yù)測(cè)模型，基于時(shí)間序列數(shù)據(jù)輸入行為預(yù)測(cè)模型預(yù)測(cè)井下人員未來的不安全行為趨勢(shì)，實(shí)現(xiàn)預(yù)警；

7、集成視覺、聲音和其他非視覺傳感器數(shù)據(jù)，構(gòu)建多模態(tài)融合識(shí)別系統(tǒng)，通過同步處理和融合各模態(tài)數(shù)據(jù)，提高在復(fù)雜環(huán)境下的識(shí)別能力；

8、對(duì)井下人員的實(shí)時(shí)行為進(jìn)行綜合分析，一旦識(shí)別到不安全行為，立即啟動(dòng)預(yù)警機(jī)制。

9、作為本發(fā)明所述基于機(jī)器視覺的井下人員不安全行為快速分析與識(shí)別方法的一種優(yōu)選方案，其中：所述配置環(huán)境感知單元實(shí)時(shí)監(jiān)測(cè)井下環(huán)境參數(shù)，具體步驟為：

10、在井下關(guān)鍵位置部署環(huán)境感知單元，實(shí)時(shí)采集光照強(qiáng)度和塵埃濃度數(shù)據(jù)，形成原始環(huán)境參數(shù)數(shù)據(jù)；

11、將原始環(huán)境參數(shù)數(shù)據(jù)轉(zhuǎn)化為適合行為預(yù)測(cè)模型可以處理的格式；

12、對(duì)原始環(huán)境參數(shù)數(shù)據(jù)進(jìn)行探索性數(shù)據(jù)分析eda，檢查光照強(qiáng)度l和塵埃濃度d的最小值、最大值、平均值和中位數(shù)的統(tǒng)計(jì)指標(biāo)；

13、基于最小-最大歸一化方法構(gòu)建量化函數(shù)q，將原始環(huán)境參數(shù)數(shù)據(jù)映射到[0,1]區(qū)間；

14、針對(duì)光照強(qiáng)度，量化函數(shù)表達(dá)式為：

15、

16、其中，q(l)表示經(jīng)過量化處理后的光照強(qiáng)度，l表示原始光照強(qiáng)度值，1000表示原始光照強(qiáng)度數(shù)據(jù)范圍的最大值；

17、針對(duì)塵埃濃度，量化函數(shù)表達(dá)式為：

18、

19、其中，q(d)表示經(jīng)過量化處理后的塵埃濃度值，d表示原始?jí)m埃濃度值，dmax和dmin分別表示塵埃濃度的最大和最小測(cè)量值。

20、作為本發(fā)明所述基于機(jī)器視覺的井下人員不安全行為快速分析與識(shí)別方法的一種優(yōu)選方案，其中：所述環(huán)境感知單元除了實(shí)時(shí)監(jiān)測(cè)光照強(qiáng)度和塵埃濃度外，還集成溫濕度傳感器，監(jiān)測(cè)井下環(huán)境的溫濕度，并將溫濕度數(shù)據(jù)納入環(huán)境參數(shù)et中，具體步驟為：

21、在環(huán)境感知單元中新增溫濕度傳感器，實(shí)時(shí)采集井下環(huán)境的溫度和濕度數(shù)據(jù)；

22、將原始溫濕度數(shù)據(jù)轉(zhuǎn)化為歸一化值，量化函數(shù)表達(dá)式為：

23、q(t)＝(t-tmin)/(tmax-tmin)；

24、q(h)＝(h-hmin)/(hmax-hmin)；

25、其中，q(t)和q(h)分別表示歸一化后的溫度和濕度值，tmin、tmax、hmin、hmax分別為溫度和濕度的最小值和最大測(cè)量值；

26、將歸一化后的溫濕度數(shù)據(jù)q(t)和q(h)加入到環(huán)境參數(shù)向量et中，擴(kuò)展后的環(huán)境參數(shù)向量變?yōu)閑t＝[q(l)，q(d)，q(t)，q(h)]。

27、作為本發(fā)明所述基于機(jī)器視覺的井下人員不安全行為快速分析與識(shí)別方法的一種優(yōu)選方案，其中：所述根據(jù)監(jiān)測(cè)數(shù)據(jù)動(dòng)態(tài)調(diào)整圖像識(shí)別與姿態(tài)估計(jì)模型的閾值參數(shù)，具體步驟為：

28、基于量化后的環(huán)境參數(shù)數(shù)據(jù)構(gòu)建閾值函數(shù)，計(jì)算得到當(dāng)前環(huán)境下的調(diào)整后閾值，表達(dá)式為：

29、a＝θ0+f1(q(l))+f2(q(d))+fi(q(l)，q(d))+ft(q(t))+fh(q(h))；

30、其中，a表示調(diào)整后的閾值函數(shù)，θ0表示基礎(chǔ)閾值的具體數(shù)值，f1和f2分別表示光照影響函數(shù)和塵埃影響函數(shù)，fi表示光照與塵埃的交互作用調(diào)整項(xiàng)，ft表示溫度影響函數(shù)，fh表示濕度影響函數(shù)。

31、作為本發(fā)明所述基于機(jī)器視覺的井下人員不安全行為快速分析與識(shí)別方法的一種優(yōu)選方案，其中：所述構(gòu)建行為預(yù)測(cè)模型，具體步驟為：

32、定義狀態(tài)空間，包含井下人員的所有行為狀態(tài)，狀態(tài)空間中的每一個(gè)狀態(tài)由人員的位置、姿態(tài)角度、動(dòng)作時(shí)間、動(dòng)作軌跡、當(dāng)前的光照強(qiáng)度和塵埃濃度共同組成；

33、定義動(dòng)作空間，動(dòng)作空間包含所有不安全行為以及安全行為，動(dòng)作空間中的每個(gè)元素對(duì)應(yīng)著一個(gè)具體的動(dòng)作；

34、設(shè)定獎(jiǎng)勵(lì)函數(shù)，獎(jiǎng)勵(lì)函數(shù)根據(jù)預(yù)測(cè)行為的正確與否給予正負(fù)獎(jiǎng)勵(lì)，獎(jiǎng)勵(lì)函數(shù)鼓勵(lì)模型學(xué)習(xí)到正確的不安全行為預(yù)測(cè)模式，并避免錯(cuò)誤識(shí)別和遺漏；

35、當(dāng)模型成功預(yù)測(cè)到即將發(fā)生的不安全行為時(shí)，給予正向獎(jiǎng)勵(lì)；

36、當(dāng)預(yù)測(cè)錯(cuò)誤和未能及時(shí)預(yù)警時(shí)，則給予負(fù)向懲罰；

37、利用深度強(qiáng)化學(xué)習(xí)算法構(gòu)建行為預(yù)測(cè)模型，模型通過與環(huán)境交互學(xué)習(xí)最優(yōu)策略，最優(yōu)策略包含在給定狀態(tài)下采取具體的動(dòng)作來達(dá)到最大化未來獎(jiǎng)勵(lì)的期望值。

38、作為本發(fā)明所述基于機(jī)器視覺的井下人員不安全行為快速分析與識(shí)別方法的一種優(yōu)選方案，其中：所述基于時(shí)間序列數(shù)據(jù)輸入行為預(yù)測(cè)模型預(yù)測(cè)井下人員未來的不安全行為趨勢(shì)，實(shí)現(xiàn)預(yù)警，具體步驟為：

39、從歷史監(jiān)控視頻、事故報(bào)告和實(shí)地觀察中收集不安全行為樣本；

40、將歷史數(shù)據(jù)按時(shí)間序列排序，每個(gè)時(shí)間點(diǎn)記錄特定井下人員的行為狀態(tài)，包括但不限于位置、動(dòng)作特征和環(huán)境參數(shù)數(shù)據(jù)；

41、從時(shí)間序列數(shù)據(jù)中提取出行為特征ft；

42、將行為特征轉(zhuǎn)化為數(shù)值形式；

43、將量化后的特征按時(shí)間序列排列，每一行為一個(gè)時(shí)間點(diǎn)的行為特征向量，構(gòu)成原始特征矩陣x，其中行數(shù)為時(shí)間點(diǎn)數(shù)量，列數(shù)為特征數(shù)量；

44、計(jì)算行為特征矩陣x的協(xié)方差矩陣c；

45、對(duì)協(xié)方差矩陣c進(jìn)行特征分解，得到特征值λ1，λ2,...，λd和對(duì)應(yīng)的特征向量v1，v2，...，vd；

46、將特征值，從大到小排列；

47、選擇前k個(gè)最大的特征值對(duì)應(yīng)的特征向量，其中k需要根據(jù)累積貢獻(xiàn)率來確定，表達(dá)式為：

48、

49、其中，d表示特征值的總數(shù)量，k是我們想要選擇的主成分?jǐn)?shù)目，λi表示第j個(gè)特征值，表示所有特征值之和；

50、使用選定的k個(gè)特征向量構(gòu)造轉(zhuǎn)換矩陣v＝[v1，v2,...，vk]，然后對(duì)原始特征矩陣x進(jìn)行轉(zhuǎn)換，得到降維后的矩陣xpca＝xv；

51、將實(shí)時(shí)數(shù)據(jù)經(jīng)過處理輸入行為預(yù)測(cè)模型，預(yù)測(cè)井下人員的未來行為趨勢(shì)，并根據(jù)預(yù)測(cè)結(jié)果觸發(fā)預(yù)警機(jī)制。

52、作為本發(fā)明所述基于機(jī)器視覺的井下人員不安全行為快速分析與識(shí)別方法的一種優(yōu)選方案，其中：所述集成視覺、聲音和其他非視覺傳感器數(shù)據(jù)，構(gòu)建多模態(tài)融合識(shí)別系統(tǒng)，通過同步處理和融合各模態(tài)數(shù)據(jù)，提高在復(fù)雜環(huán)境下的識(shí)別能力，具體步驟為：

53、針對(duì)不同模態(tài)數(shù)據(jù)，進(jìn)行獨(dú)立預(yù)處理；

54、對(duì)于視覺數(shù)據(jù)，使用卷積神經(jīng)網(wǎng)絡(luò)cnn提取圖像中的時(shí)空特征；

55、對(duì)于聲音數(shù)據(jù)通過短時(shí)傅里葉變換stft轉(zhuǎn)換為頻譜圖，再用深度學(xué)習(xí)模型crnn提取聲音特征；

56、對(duì)于非視覺傳感器數(shù)據(jù)，直接量化處理為數(shù)值特征；

57、基于不同模態(tài)數(shù)據(jù)結(jié)合加權(quán)求和的方式構(gòu)建多模態(tài)融合函數(shù)，表達(dá)式為：

58、

59、其中，fi表示第i個(gè)模態(tài)的特征向量，wi表示第i個(gè)模態(tài)的權(quán)重值。

60、作為本發(fā)明所述基于機(jī)器視覺的井下人員不安全行為快速分析與識(shí)別方法的一種優(yōu)選方案，其中：所述具體步驟為：所述對(duì)井下人員的實(shí)時(shí)行為進(jìn)行綜合分析，一旦識(shí)別到不安全行為，立即啟動(dòng)預(yù)警機(jī)制，具體步驟為：

61、基于實(shí)時(shí)數(shù)據(jù)輸入動(dòng)態(tài)調(diào)整公式計(jì)算得出適應(yīng)當(dāng)前環(huán)境的圖像識(shí)別與姿態(tài)估計(jì)模型閾值函數(shù)a；

62、根據(jù)時(shí)間序列數(shù)據(jù)ft與環(huán)境參數(shù)et輸入行為預(yù)測(cè)模型，預(yù)測(cè)井下人員的不安全行為趨勢(shì)，并通過獎(jiǎng)勵(lì)函數(shù)調(diào)整策略；

63、將視覺、聲音及其他非視覺傳感器數(shù)據(jù)輸入到多模態(tài)融合函數(shù)中，得到融合后的特征向量ff；

64、將融合后的特征向量ff，輸入到遞歸神經(jīng)網(wǎng)絡(luò)rnn中進(jìn)行行為識(shí)別和分類，得到預(yù)測(cè)的行為類別概率分布yθ；

65、結(jié)合當(dāng)前的環(huán)境參數(shù)數(shù)據(jù)，構(gòu)建動(dòng)態(tài)閾值函數(shù)，表達(dá)式為：

66、v(kl，kd，γ)＝θ0+kl·(1-q(l))γ+kd·q(d)γ；

67、其中，v表示動(dòng)態(tài)調(diào)整后的閾值函數(shù)，kl表示與光照強(qiáng)度相關(guān)的調(diào)整系數(shù)，kd表示與塵埃濃度相關(guān)的調(diào)整系數(shù)，γ表示影響函數(shù)曲線陡峭程度的參數(shù)，θ0

68、表示基礎(chǔ)閾值；

69、將多模態(tài)融合后的分類結(jié)果yθ，與動(dòng)態(tài)閾值v進(jìn)行比較；

70、當(dāng)最高的分類概率值大于等于當(dāng)前環(huán)境條件下的閾值v，則判定為存在不安全行為，并立即啟動(dòng)預(yù)警機(jī)制；

71、反之，當(dāng)最高的分類概率值小于當(dāng)前環(huán)境條件下的閾值v，則判定當(dāng)前行為在安全范圍內(nèi)，無需警報(bào)，保持監(jiān)控。

72、第二方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其中：所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明第一方面所述的基于機(jī)器視覺的井下人員不安全行為快速分析與識(shí)別方法的任一步驟。

73、第三方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其中：所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明第一方面所述的基于機(jī)器視覺的井下人員不安全行為快速分析與識(shí)別方法的任一步驟。

74、本發(fā)明有益效果為：通過環(huán)境感知單元?jiǎng)討B(tài)調(diào)整模型參數(shù)，增強(qiáng)了系統(tǒng)對(duì)環(huán)境變化的適應(yīng)性；通過構(gòu)建行為預(yù)測(cè)模型，實(shí)現(xiàn)了對(duì)不安全行為趨勢(shì)的預(yù)測(cè)，提升了預(yù)警的時(shí)效性；通過多模態(tài)數(shù)據(jù)融合，提高了識(shí)別的準(zhǔn)確性和魯棒性，本發(fā)明屬于智能安全監(jiān)控技術(shù)領(lǐng)域，尤其適用于煤礦、金屬礦的地下作業(yè)環(huán)境，對(duì)于提升井下作業(yè)安全性具有重要意義。