本申請涉及圖像識別，特別是涉及一種基于深度學(xué)習(xí)的課堂后方學(xué)生行為檢測識別方法。

背景技術(shù)：

1、智慧教育作為數(shù)字時代教育的新形態(tài)，有效推動教育系統(tǒng)革新，課堂是智慧教育的主場景，是學(xué)校教育數(shù)字化轉(zhuǎn)型的核心和主陣地。在課堂教學(xué)活動中，學(xué)生作為學(xué)習(xí)活動的主體，其行為狀態(tài)是教學(xué)活動的直接體現(xiàn)，學(xué)生課堂行為分析既是教學(xué)分析的重要環(huán)節(jié)，也是影響學(xué)生學(xué)習(xí)和教師教學(xué)效率的重要因素。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，教育也逐漸步入智能化時代，如何實現(xiàn)課堂教學(xué)的現(xiàn)代化管理成為教育領(lǐng)域討論的焦點，課堂教學(xué)行為的深度分析成為可能。

2、在傳統(tǒng)課堂上，教師通過觀察學(xué)生的表現(xiàn)從而獲得授課情況的反饋，但這種一對多的方式存在著觀察不全面、可信度低、實時性差且耗時耗力等問題，基于深度學(xué)習(xí)目標檢測算法進行課堂學(xué)生行為狀態(tài)識別的方式打破了傳統(tǒng)意義上的課堂教學(xué)活動分析方法，利用各類卷積網(wǎng)絡(luò)分類識別學(xué)生課堂行為動作，實時反映學(xué)生上課情況，直觀及動態(tài)的量化學(xué)生課堂狀態(tài)，幫助教師全面掌握學(xué)生課堂狀態(tài)，及時合理地調(diào)整教學(xué)進度和策略，提高教學(xué)效率。

3、目前，深度學(xué)習(xí)技術(shù)在課堂行為分析研究中主要聚焦在行為動作研究，通過學(xué)生的行為姿勢對學(xué)生在課堂上的行為進行評估，結(jié)合目標檢測技術(shù)，通過合理分析教育場景中存在的問題并有針對性的解決問題。

4、前人在智慧課堂、學(xué)生課堂行為檢測領(lǐng)域做了一定的方法研究，然而還存在以下的不足：(1)現(xiàn)有方法多是針對單個學(xué)生或者特意搭建的虛擬課堂進行相關(guān)實驗研究，沒有在真實的多人大型課堂中進行相關(guān)實驗；(2)現(xiàn)有方法使用數(shù)據(jù)集都是從教室的前方向后進行拍攝，暴露了大部分學(xué)生的面相，侵犯了學(xué)生的肖像權(quán)，也未曾考慮霍桑效應(yīng)對實驗數(shù)據(jù)所產(chǎn)生的影響；同時，現(xiàn)有數(shù)據(jù)集存在遮擋、角度差異及學(xué)生比例差異等諸多問題。(3)現(xiàn)有方法使用的檢測模型精確度不夠且沒有對檢測速度進行實驗。結(jié)合實際情況，行為檢測模型的使用場景多是部署在深度學(xué)習(xí)邊緣設(shè)備中進行使用，要求檢測模型在檢測精度高的同時保證檢測模型的輕量化，上述研究多是使用基準目標檢測模型進行實驗，沒有對檢測模型進行優(yōu)化。

5、因此，相關(guān)技術(shù)中，亟需一種能夠保護學(xué)生肖像隱私以及保證課堂行為檢測識別效果的方式。

技術(shù)實現(xiàn)思路

1、基于此，有必要針對上述技術(shù)問題，提供一種能夠保護學(xué)生肖像隱私以及保證課堂行為檢測識別效果的一種基于深度學(xué)習(xí)的課堂后方學(xué)生行為檢測識別方法。

2、第一方面，本申請?zhí)峁┝艘环N基于深度學(xué)習(xí)的課堂后方學(xué)生行為檢測識別方法。所述方法包括：

3、獲取課堂后方學(xué)生行為圖像數(shù)據(jù)；

4、基于yolox-m目標檢測網(wǎng)絡(luò)構(gòu)建行為檢測識別模型，優(yōu)化所述yolox-m目標檢測網(wǎng)絡(luò)的主干特征提取模塊、頸部特征加強模塊和預(yù)測頭模塊；

5、基于所述課堂后方學(xué)生行為圖像數(shù)據(jù)訓(xùn)練所述行為檢測識別模型；

6、將待識別實際課堂圖像輸入訓(xùn)練后的行為檢測識別模型中，輸出行為檢測識別結(jié)果。

7、可選的，在本申請的一個實施例中，所述獲取課堂后方學(xué)生行為圖像數(shù)據(jù)包括：

8、對學(xué)生在課堂中的行為進行標注。

9、可選的，在本申請的一個實施例中，所述優(yōu)化主干特征提取模塊包括：

10、在主干特征提取模塊的每一個輸出層添加一個基于msca注意力機制的模塊，用于提高所述行為檢測識別模型的特征提取能力。

11、可選的，在本申請的一個實施例中，所述優(yōu)化頸部特征加強模塊包括：

12、構(gòu)建深度可分離卷積最小模塊dbs，用于減小所述行為檢測識別模型的參數(shù)量與計算量。

13、可選的，在本申請的一個實施例中，所述優(yōu)化預(yù)測頭模塊包括：

14、采用giou損失函數(shù)替代iou損失函數(shù)，用于加快模型擬合預(yù)測框與真實框的位置關(guān)系。

15、可選的，在本申請的一個實施例中，所述方法還包括：

16、采用精確度、召回率、檢測精度和平均檢測精度評估所述行為檢測識別模型的檢測能力。

17、第二方面，本申請還提供了一種基于深度學(xué)習(xí)的課堂后方學(xué)生行為檢測識別裝置。所述裝置包括：

18、數(shù)據(jù)獲取模塊，用于獲取課堂后方學(xué)生行為圖像數(shù)據(jù)；

19、模型構(gòu)建模塊，用于基于yolox-m目標檢測網(wǎng)絡(luò)構(gòu)建行為檢測識別模型，優(yōu)化所述yolox-m目標檢測網(wǎng)絡(luò)的主干特征提取模塊、頸部特征加強模塊和預(yù)測頭模塊；

20、模型訓(xùn)練模塊，用于基于所述課堂后方學(xué)生行為圖像數(shù)據(jù)訓(xùn)練所述行為檢測識別模型；

21、行為檢測識別模塊，用于將待識別實際課堂圖像輸入訓(xùn)練后的行為檢測識別模型中，輸出行為檢測識別結(jié)果。

22、第三方面，本申請還提供了一種計算機設(shè)備。所述計算機設(shè)備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執(zhí)行上述各個實施例所述方法的步驟。

23、第四方面，本申請還提供了一種計算機可讀存儲介質(zhì)。所述計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述各個實施例所述方法的步驟。

24、上述一種基于深度學(xué)習(xí)的課堂后方學(xué)生行為檢測識別方法，首先，獲取課堂后方學(xué)生行為圖像數(shù)據(jù)；之后，基于yolox-m目標檢測網(wǎng)絡(luò)構(gòu)建行為檢測識別模型，優(yōu)化所述yolox-m目標檢測網(wǎng)絡(luò)的主干特征提取模塊、頸部特征加強模塊和預(yù)測頭模塊；之后，基于所述課堂后方學(xué)生行為圖像數(shù)據(jù)訓(xùn)練所述行為檢測識別模型；最后，將待識別實際課堂圖像輸入訓(xùn)練后的行為檢測識別模型中，輸出行為檢測識別結(jié)果。也就是說，通過從課堂后方采集圖像，優(yōu)化現(xiàn)有目標檢測網(wǎng)絡(luò)的各個模塊，結(jié)合注意力機制和深度可分離卷積，能夠準確地從后方檢測識別到學(xué)生上課的抬頭、低頭兩種行為，通過對這兩種典型行為的檢測識別，能夠及時、有效地反映學(xué)生的學(xué)習(xí)狀態(tài)，從而幫助教師精準掌握學(xué)生的學(xué)情，更好地改善課堂，從而提高教與學(xué)的效率，進而助力智能化課堂教學(xué)。

技術(shù)特征：

1.一種基于深度學(xué)習(xí)的課堂后方學(xué)生行為檢測識別方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的課堂后方學(xué)生行為檢測識別方法，其特征在于，所述獲取課堂后方學(xué)生行為圖像數(shù)據(jù)包括：

3.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的課堂后方學(xué)生行為檢測識別方法，其特征在于，所述優(yōu)化主干特征提取模塊包括：

4.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的課堂后方學(xué)生行為檢測識別方法，其特征在于，所述優(yōu)化頸部特征加強模塊包括：

5.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的課堂后方學(xué)生行為檢測識別方法，其特征在于，所述優(yōu)化預(yù)測頭模塊包括：

6.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的課堂后方學(xué)生行為檢測識別方法，其特征在于，所述方法還包括：

7.一種基于深度學(xué)習(xí)的課堂后方學(xué)生行為檢測識別裝置，其特征在于，所述裝置包括：

8.一種計算機設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)權(quán)利要求1至6中任一項所述的方法的步驟。

9.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6中任一項所述的方法的步驟。

技術(shù)總結(jié)
本申請涉及一種基于深度學(xué)習(xí)的課堂后方學(xué)生行為檢測識別方法。所述方法包括：首先，獲取課堂后方學(xué)生行為圖像數(shù)據(jù)；基于YOLOX?m目標檢測網(wǎng)絡(luò)構(gòu)建行為檢測識別模型，優(yōu)化所述YOLOX?m目標檢測網(wǎng)絡(luò)的主干特征提取模塊、頸部特征加強模塊和預(yù)測頭模塊；基于所述課堂后方學(xué)生行為圖像數(shù)據(jù)訓(xùn)練所述行為檢測識別模型；最后，將待識別實際課堂圖像輸入訓(xùn)練后的行為檢測識別模型中，輸出行為檢測識別結(jié)果。通過從課堂后方采集圖像，優(yōu)化現(xiàn)有目標檢測網(wǎng)絡(luò)的各個模塊，結(jié)合注意力機制和深度可分離卷積，能夠準確地從后方檢測識別到學(xué)生上課的抬頭、低頭兩種行為，通過對這兩種典型行為的檢測識別，能夠及時、有效地反映學(xué)生的學(xué)習(xí)狀態(tài)。

技術(shù)研發(fā)人員：秦娜,張曉勐,黃德青,杜家豪,王天韙,尹怡蕊,鄭昂
受保護的技術(shù)使用者：西南交通大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19