本發(fā)明屬于新一代信息，具體涉及一種基于輕量yolov7的人員操作行為識別方法。

背景技術：

1、隨著我國工業(yè)化逐漸推進，工業(yè)生成趨向自動化與智能化。由于工業(yè)設備操作人員行為不規(guī)范導致的工業(yè)安全事故時有發(fā)生。普通的記錄儀只能記錄工業(yè)設備操作人員的行為，無法起到提醒規(guī)范人員安全操作工業(yè)設備的作用。

2、現(xiàn)有技術中有專利號為cn202310966210.5，名稱為《一種基于自適應改進yolov7網(wǎng)絡載體巡檢車的檢測方法》的中國發(fā)明專利申請，其公開了一種基于自適應改進yolov7網(wǎng)絡載體巡檢車的檢測方法，包括以下步驟：1)利用構建智能平臺與人機交互，攝像頭輸入端連接開發(fā)版輸出端，云端服務器連接手機app，檢測云端服務器信號并記錄數(shù)據(jù)；2)操作人員采用人臉解鎖巡檢車，系統(tǒng)采集并記錄數(shù)據(jù)；3)巡檢車啟動跟隨模式，其距離獲取裝置設置于車體前方，用于感知距離和方位；4)訓練改進后的yolov7模型，使用該模型識別違規(guī)操作與產品，輸出通過顯示器與手機app顯示；5)通過識別結果，對劣質產品完成自主分類，并自主導航制打包點，由專員進行打包工作，巡邏車完成分配的任務后，自動巡航到指定的停車點。但是上述專利并不是基于輕量yolov7，這樣會導致模型參數(shù)量和計算消耗過多，不能在嵌入式設備上穩(wěn)定運行。

技術實現(xiàn)思路

1、針對現(xiàn)有技術存在的上述問題，本發(fā)明提出了一種基于輕量yolov7的人員操作行為識別方法。

2、為實現(xiàn)上述效果，本發(fā)明采取的技術方案如下：

3、一種基于輕量yolov7的人員操作行為識別方法，包括如下步驟：

4、s1、收集制作或選取人員操作行為識別數(shù)據(jù)集；

5、s2、構建包括dscbs模塊、注意力機制模塊、dsc_elan模塊的輕量yolov7網(wǎng)絡；

6、s3、將yolov7網(wǎng)絡部署至嵌入式設備；

7、s4、將所述嵌入式設備用于人員操作行為識別。

8、進一步地，步驟s1中收集制作或選取的人員操作行為識別數(shù)據(jù)集包含常見人員操作行為，所述常見人員操作行為包括工業(yè)設備操作人員正常操作、側視、喝水、吸煙、操作中控、看手機、側身拿東西、整理儀容和接電話。

9、進一步地，步驟s2中dscbs模塊將替換原yolov7網(wǎng)絡中除了第一個3×3卷積層的所有cbs模塊；注意力機制模塊將替換原yolov7主干神經(jīng)網(wǎng)絡的第三個cbs模塊；dsc_elan模塊將替換原yolov7模塊中的所有elan模塊，最終得到輕量yolov7網(wǎng)絡。

10、進一步地，步驟s2中dscbs模塊包含深度可分離卷積、標準化層、silu激活函數(shù)層，各層依次連接。

11、更進一步地，silu激活函數(shù)的公式為：

12、

13、其中x為輸入內容，e為自然常數(shù)。

14、進一步地，步驟s2中，輕量yolov7中的注意力機制模塊具有兩個分支，分別為空間注意力機制模塊和通道注意力機制模塊。

15、更進一步地，所述空間注意力機制模塊中，輸入的特征圖張量矩陣cin∈rh,w,c其中h為特征圖的高，w為特征圖的寬，c為特征圖的通道數(shù)，r為實數(shù)域；對輸入的特征圖分別進行三次3×3卷積操作，得到三個輸出特征圖，再將這三個特征圖的維度進行變形，得到的三個輸出特征圖記作qs、ks、vs，其中qs∈rh×w,c，ks∈rh×w,c，vs∈rh×w,c，最后通過注意力機制計算公式：

16、

17、其中q(query)代表注意力機制中的查詢向量，k(key)代表注意力機制中的關鍵向量，v(value)代表注意力機制中的數(shù)值向量，分別對應上述特征圖qs，ks，vs；dk為特征圖矩陣乘積qkt的標準差；

18、softmax函數(shù)的公式為：

19、

20、式中xi表示第i個輸入變量，n表示n個輸入變量。

21、更進一步地，所述通道注意力機制模塊中，輸入的特征圖張量矩陣cin∈rh,w,c其中h為特征圖的高，w為特征圖的寬，c為特征圖的通道數(shù)，對輸入的特征圖分別進行三次維度進行變形，得到的三個輸出特征圖qc、kc、vc，其中qc∈rc,h×w，kc∈rc,h×w，vc∈rc,h×w，最后通過注意力機制計算公式：

22、

23、其中q(query)代表注意力機制中的查詢向量，k(key)代表注意力機制中的關鍵向量，v(value)代表注意力機制中的數(shù)值向量，分別對應上述特征圖qs，ks，vs；dk為特征圖矩陣乘積qkt的標準差；

24、softmax函數(shù)的公式為：

25、

26、式中xi表示第i個輸入變量，n表示n個輸入變量。

27、進一步地，輕量yolov7中的dsc_elan模塊具有兩個分支，其中一個分支經(jīng)過1×1的卷積層；另一個分支分別由1×1的卷積層，4個dscbs模塊依次連接，最后將兩個分支的輸出結果拼接在一起，再經(jīng)過一個1×1的卷積層。

28、進一步地，步驟s3中嵌入式設備支持pytorch深度學習框架。

29、進一步地，步驟s3具體為：采用pyqt框架開發(fā)人員操作行為識別系統(tǒng)，將訓練好的輕量yolov7網(wǎng)絡部署至軟件系統(tǒng)中，系統(tǒng)包含圖像處理功能模塊、目標檢測功能模塊、行為分類功能模塊和異常反饋功能模塊，處理步驟如下：

30、s31、在圖像處理功能模塊中，啟動基于輕量yolov7工業(yè)操作人員行為識別系統(tǒng)后，用戶可以采用離線圖片、視頻文件或在線攝像頭實時獲取視頻圖像的方式，將圖像顯示于程序用戶界面，將圖像處理為輕量yolov7要求的數(shù)據(jù)維度為(640,640,3)rgb格式，并傳入行為識別模塊以便進行行為識別處理；

31、s32、獲取到的圖像經(jīng)過目標檢測功能模塊進行定位，一旦判別為工業(yè)設備操作人員位置，則完成行為識別，輸出行為類別數(shù)據(jù)(0-8)及目標位置元組數(shù)據(jù)(x,y,w,h)與置信度分數(shù)，然后將數(shù)據(jù)傳遞至行為分類功能模塊，進行工業(yè)設備操作人員行為分類；

32、s33、行為分類功能模塊對獲得的行為字典數(shù)據(jù)進行后處理，提取最大置信度分數(shù)的標簽，將該行為區(qū)分為正常操作與異常操作行為兩大類，并將數(shù)據(jù)傳遞至異常行為反饋功能模塊，進行風險評估；

33、s34、異常行為反饋功能模塊接收工業(yè)設備操作人員行為分類功能模塊的輸出，會根據(jù)相應的預設規(guī)則進行風險評估，觸發(fā)相應的警示反饋機制，在用戶界面予以顯著標識，記錄該異常行為作為日志或者將數(shù)據(jù)發(fā)送給遠程服務器進行進一步處理。

34、本發(fā)明取得的技術效果為：

35、本技術設計了一個能在嵌入式設備上高效運行的yolov7網(wǎng)絡來識別工業(yè)設備操作人員的行為，以規(guī)范工業(yè)設備操作人員的行為來減少危險操作行為導致的工業(yè)事故發(fā)生頻率。

36、本技術設計了一個輕量yolov7網(wǎng)絡，并能在嵌入式設備上高效運行，改進的網(wǎng)絡具有相比原yolov7網(wǎng)絡更少的參數(shù)量和計算消耗，可滿足對實時性有要求的應用場景。

37、本技術采用了深度可分離卷積神經(jīng)網(wǎng)絡技術，設計了dscbs，dsc_elan的高效網(wǎng)絡模塊，相比傳統(tǒng)yolov7模塊，在保證運行性能的同時，具有更少的參數(shù)量和計算消耗。

38、本技術基于輕量yolov7，通過使用一些輕量化的網(wǎng)絡結構模塊去替換原yolov7的模塊，來達到減少yolov7模型參數(shù)量和計算消耗，使其能在嵌入式設備上穩(wěn)定高效的運行。