本發(fā)明實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種學(xué)習(xí)監(jiān)控方法、裝置及電子設(shè)備。

背景技術(shù)：

隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的發(fā)展，借助于計(jì)算機(jī)和網(wǎng)絡(luò)輔助學(xué)習(xí)和教學(xué)已成為一種趨勢。例如，老師可以通過該種方式，以直播或錄播的方式同時(shí)對多個(gè)教室中的學(xué)生講課，學(xué)生通過這種方式可以選擇自己喜歡的老師和課程等等。

該種方式雖然大大方便了學(xué)生學(xué)習(xí)和老師教學(xué)，但目前尚沒有有效的方式對課堂上學(xué)生的聽課情況進(jìn)行監(jiān)控，以對學(xué)生的學(xué)習(xí)進(jìn)行監(jiān)測，進(jìn)而進(jìn)行相應(yīng)的學(xué)習(xí)方式或者講課方式的調(diào)整，改善學(xué)習(xí)效果。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明實(shí)施例提供了一種學(xué)習(xí)監(jiān)控方法、裝置及電子設(shè)備，以解決現(xiàn)有技術(shù)中，無法有效對通過計(jì)算機(jī)和網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的學(xué)生在課堂上的聽課情況進(jìn)行監(jiān)控的問題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種學(xué)習(xí)監(jiān)控方法，包括：獲取課堂學(xué)生的上課圖像；對所述上課圖像進(jìn)行識別，獲取所述課堂學(xué)生的特征數(shù)據(jù)，其中，所述特征數(shù)據(jù)包括以下至少之一：所述課堂學(xué)生的面部特征數(shù)據(jù)、所述課堂學(xué)生的視覺特征數(shù)據(jù)、所述課堂學(xué)生的肢體特征數(shù)據(jù)；根據(jù)所述課堂學(xué)生的特征數(shù)據(jù)，確定所述課堂學(xué)生的上課狀態(tài)。

根據(jù)本發(fā)明實(shí)施例的另一個(gè)方面，還提供了一種學(xué)習(xí)監(jiān)控裝置，包括：第一獲取模塊，用于獲取課堂學(xué)生的上課圖像；第二獲取模塊，用于對所述上課圖像進(jìn)行識別，獲取所述課堂學(xué)生的特征數(shù)據(jù)，其中，所述特征數(shù)據(jù)包括以下至少之一：所述課堂學(xué)生的面部特征數(shù)據(jù)、所述課堂學(xué)生的視覺特征數(shù)據(jù)、所述課堂學(xué)生的特征數(shù)據(jù)；確定模塊，用于根據(jù)所述課堂學(xué)生的特征數(shù)據(jù)，確定所述課堂學(xué)生的上課狀態(tài)。

根據(jù)本發(fā)明實(shí)施例的又一個(gè)方面，還提供了一種電子設(shè)備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；所述存儲器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行如上所述的學(xué)習(xí)監(jiān)控方法對應(yīng)的操作。

根據(jù)本發(fā)明實(shí)施例提供的方案，通過對獲取的課堂學(xué)生的上課圖像進(jìn)行識別，確定課堂學(xué)生的特征數(shù)據(jù)，進(jìn)而確定課堂學(xué)生在上課時(shí)的上課狀態(tài)。學(xué)生的面部特征數(shù)據(jù)、視覺特征數(shù)據(jù)和肢體特征數(shù)據(jù)可以表達(dá)學(xué)生在上課時(shí)的表情、視線、肢體動(dòng)作等信息，通過這些信息可以有效反映該學(xué)生的當(dāng)前聽課狀態(tài)，因此，通過學(xué)生的面部特征數(shù)據(jù)、視覺特征數(shù)據(jù)和肢體特征數(shù)據(jù)，可以從表情、視線、肢體動(dòng)作等多個(gè)維度對學(xué)生的上課情況進(jìn)行監(jiān)控和分析，有效且準(zhǔn)確地實(shí)現(xiàn)對通過計(jì)算機(jī)和網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的學(xué)生在課堂上的聽課情況的監(jiān)控，為后續(xù)的學(xué)習(xí)和授課提供了有效的參考，以進(jìn)一步對學(xué)習(xí)或授課過程進(jìn)行改善。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明實(shí)施例中記載的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是根據(jù)本發(fā)明實(shí)施例一的一種學(xué)習(xí)監(jiān)控方法的步驟流程圖；

圖2是根據(jù)本發(fā)明實(shí)施例二的一種學(xué)習(xí)監(jiān)控方法的步驟流程圖；

圖3是圖2所示實(shí)施例中的一種上課信息曲線圖的示意圖；

圖4是根據(jù)本發(fā)明實(shí)施例三的一種學(xué)習(xí)監(jiān)控裝置的結(jié)構(gòu)框圖；

圖5是根據(jù)本發(fā)明實(shí)施例四的一種學(xué)習(xí)監(jiān)控裝置的結(jié)構(gòu)框圖；

圖6是根據(jù)本發(fā)明實(shí)施例五的一種電子設(shè)備的結(jié)構(gòu)示意圖。

具體實(shí)施方式

當(dāng)然，實(shí)施本發(fā)明實(shí)施例的任一技術(shù)方案必不一定需要同時(shí)達(dá)到以上的所有優(yōu)點(diǎn)。

為了使本領(lǐng)域的人員更好地理解本發(fā)明實(shí)施例中的技術(shù)方案，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本發(fā)明實(shí)施例一部分實(shí)施例，而不是全部的實(shí)施例。基于本發(fā)明實(shí)施例中的實(shí)施例，本領(lǐng)域普通技術(shù)人員所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本發(fā)明實(shí)施例保護(hù)的范圍。

實(shí)施例一

參照圖1，示出了根據(jù)本發(fā)明實(shí)施例一的一種學(xué)習(xí)監(jiān)控方法的步驟流程圖。

本實(shí)施例的學(xué)習(xí)監(jiān)控方法包括以下步驟：

步驟s102：獲取課堂學(xué)生的上課圖像。

本實(shí)施例中，上課圖像可以通過攝像頭拍照取樣獲取，如每間隔一定時(shí)間如1秒拍攝一次；也可以通過課堂視頻獲得，如從課堂視頻中自動(dòng)截取獲得圖像。

一般來說，在一個(gè)教室中有多名學(xué)生同時(shí)上課，這些學(xué)生即為本發(fā)明實(shí)施例中的課堂學(xué)生，但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明了，本發(fā)明實(shí)施例也同樣適用于單個(gè)課堂學(xué)生的情形。

步驟s104：對上課圖像進(jìn)行識別，獲取課堂學(xué)生的特征數(shù)據(jù)。

其中，課堂學(xué)生的特征數(shù)據(jù)包括以下至少之一：課堂學(xué)生的面部特征數(shù)據(jù)、課堂學(xué)生的視覺特征數(shù)據(jù)、課堂學(xué)生的肢體特征數(shù)據(jù)。課堂學(xué)生的面部特征數(shù)據(jù)表征了課堂學(xué)生的面部特點(diǎn)，通過面部特征數(shù)據(jù)可以對課堂學(xué)生進(jìn)行身份識別，也可以確定課堂學(xué)生的面部動(dòng)作和表情；課堂學(xué)生的視覺特征數(shù)據(jù)表征了課堂學(xué)生的視線特征，通過視覺特征數(shù)據(jù)可以確定課堂學(xué)生的當(dāng)前視覺注意點(diǎn)；課堂學(xué)生的肢體特征數(shù)據(jù)表征了課堂學(xué)生的肢體動(dòng)作特征，通過肢體特征數(shù)據(jù)可以確定課堂學(xué)生的當(dāng)前動(dòng)作。

課堂學(xué)生的面部特征數(shù)據(jù)、課堂學(xué)生的視覺特征數(shù)據(jù)、課堂學(xué)生的肢體特征數(shù)據(jù)可以表達(dá)課堂學(xué)生的表情、視覺、姿態(tài)等信息，通過這些信息可以有效反映課堂學(xué)生的當(dāng)前上課狀態(tài)。

步驟s106：根據(jù)課堂學(xué)生的特征數(shù)據(jù)，確定課堂學(xué)生的上課狀態(tài)。

如，是否專注于聽講、是否積極參加課堂互動(dòng)、是否喜愛該課程或者老師等等。

根據(jù)本實(shí)施例，通過對獲取的課堂學(xué)生的上課圖像進(jìn)行識別，確定課堂學(xué)生的特征數(shù)據(jù)，進(jìn)而確定課堂學(xué)生在上課時(shí)的上課狀態(tài)。學(xué)生的面部特征數(shù)據(jù)、視覺特征數(shù)據(jù)和肢體特征數(shù)據(jù)可以表達(dá)學(xué)生在上課時(shí)的表情、視線、肢體動(dòng)作等信息，通過這些信息可以有效反映該學(xué)生的當(dāng)前聽課狀態(tài)，因此，通過學(xué)生的面部特征數(shù)據(jù)、視覺特征數(shù)據(jù)和肢體特征數(shù)據(jù)，可以從表情、視線、肢體動(dòng)作等多個(gè)維度對學(xué)生的上課情況進(jìn)行監(jiān)控和分析，有效且準(zhǔn)確地實(shí)現(xiàn)對通過計(jì)算機(jī)和網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的學(xué)生在課堂上的聽課情況的監(jiān)控，為后續(xù)的學(xué)習(xí)和授課提供了有效的參考，以進(jìn)一步對學(xué)習(xí)或授課過程進(jìn)行改善。

本實(shí)施例的學(xué)習(xí)監(jiān)控方法可以由任意適當(dāng)?shù)木哂袛?shù)據(jù)處理功能的設(shè)備或裝置實(shí)現(xiàn)，包括但不限于各種終端及服務(wù)器等。

實(shí)施例二

參照圖2，示出了根據(jù)本發(fā)明實(shí)施例二的一種學(xué)習(xí)監(jiān)控方法的步驟流程圖。

本實(shí)施例的學(xué)習(xí)監(jiān)控方法包括以下步驟：

步驟s202：對課堂學(xué)生所在的課堂進(jìn)行三維建模，生成三維教室模型。

本實(shí)施例中，通過多方位攝像頭，利用3d技術(shù)對教室進(jìn)行建模。三維建模是一種用計(jì)算機(jī)或者其它視頻設(shè)備模擬顯示三維物體的技術(shù)，而基于攝像頭拍攝的圖像進(jìn)行建模和繪制可以獲得很高的繪制速度和高度的真實(shí)感。由于圖像本身包含著豐富的場景信息，因而更容易從圖像獲得照片般逼真的場景模型。與其它利用建模軟件或者三維掃描儀得到立體模型的方法相比，基于圖像建模的方法成本低廉，真實(shí)感強(qiáng)，自動(dòng)化程度高。

通過三維建模生成三維教室模型，使得對學(xué)生的學(xué)習(xí)監(jiān)控更為方便，也更具有真實(shí)感，但需要說明的是，本步驟為可選步驟，在實(shí)際應(yīng)用中，也可以不進(jìn)行三維建模。

步驟s204：根據(jù)三維教室模型中的熱力圖，確定課堂學(xué)生的位置。

由于人體散射一定的熱量，可被相應(yīng)設(shè)備如紅外設(shè)備偵測到，因此，基于三維教室模型，結(jié)合人體熱人圖，可確定教室中學(xué)生的位置。當(dāng)課堂學(xué)生的身份被確認(rèn)后，通過熱力圖可以對學(xué)生的動(dòng)作和行為進(jìn)行跟蹤，實(shí)時(shí)確定學(xué)生的實(shí)際物理位置，動(dòng)態(tài)判定和綁定學(xué)生身份，無需再次通過圖像比對確認(rèn)學(xué)生，提高了學(xué)生識別效率，也減輕了識別負(fù)擔(dān)。而若課堂學(xué)生的身份暫時(shí)無法得到確認(rèn)，則可以先將獲取的數(shù)據(jù)與熱力圖指示的課堂學(xué)生相關(guān)聯(lián)，待該課堂學(xué)生的身份被確認(rèn)后，再將該數(shù)據(jù)與確認(rèn)了身份后的該課堂學(xué)生關(guān)聯(lián)。但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明了，通過其它適當(dāng)方式，如圖像比對確認(rèn)學(xué)生身份的方式，也同樣適用于本發(fā)明實(shí)施例的方案。

步驟s206：根據(jù)確定的課堂學(xué)生的位置，獲取三維教室模型中的課堂學(xué)生的上課圖像。

其中，在獲取課堂學(xué)生的上課圖像時(shí)，可以獲取課堂學(xué)生所在的課堂的整體圖像，從整體圖像中獲取每個(gè)課堂學(xué)生的上課圖像；或者，也可以分別獲取每個(gè)課堂學(xué)生的上課圖像。較優(yōu)地，可以實(shí)時(shí)獲取課堂學(xué)生的上課圖像，以及時(shí)了解課堂學(xué)生的上課狀態(tài)。

其中，實(shí)時(shí)獲取課堂學(xué)生的上課圖像，可以是通過視頻實(shí)時(shí)獲取上課圖像；也可以是每間隔一個(gè)較短的時(shí)間即通過攝像頭對課堂學(xué)生進(jìn)行拍攝，獲得上課圖像，其中，該較短時(shí)間可以由本領(lǐng)域技術(shù)人員根據(jù)實(shí)際需要適當(dāng)設(shè)定，可及時(shí)獲得課堂學(xué)生的上課情況即可，如，每隔一秒或更短時(shí)間等。

在確定了課堂學(xué)生的位置的情況下，可以根據(jù)確定的課堂學(xué)生的位置，獲取課堂學(xué)生的上課圖像，如在一張上課圖像中包括所有位置的課堂學(xué)生的圖像，以免遺漏；或者，針對某一位置的課堂學(xué)生進(jìn)行拍攝等等。

在具有熱力圖的情況下，則可以根據(jù)熱力圖和課堂學(xué)生的位置，并在確定當(dāng)前處于上課狀態(tài)時(shí)，獲取課堂學(xué)生的上課圖像。通過熱力圖，可以對學(xué)生的動(dòng)作和行為進(jìn)行跟蹤，當(dāng)熱力圖指示學(xué)生在一段時(shí)間內(nèi)一直處于某一較確定位置，則可確定目前處于上課狀態(tài)，而熱力圖指示大部分學(xué)生所處位置與慣常位置不同，則可確定目前處于下課狀態(tài)。

步驟s208：對上課圖像進(jìn)行識別，獲取課堂學(xué)生的特征數(shù)據(jù)。

其中，課堂學(xué)生的特征數(shù)據(jù)包括以下至少之一：課堂學(xué)生的面部特征數(shù)據(jù)、課堂學(xué)生的視覺特征數(shù)據(jù)、課堂學(xué)生的肢體特征數(shù)據(jù)。

本實(shí)施例中，對上課圖像進(jìn)行識別的方式可以由本領(lǐng)域技術(shù)人員根據(jù)實(shí)際需求適當(dāng)設(shè)置，本發(fā)明實(shí)施例對此不作限制，可獲得課堂學(xué)生的面部特征數(shù)據(jù)、視覺特征數(shù)據(jù)、肢體特征數(shù)據(jù)即可。如，支持向量機(jī)svm算法、卷積神經(jīng)網(wǎng)絡(luò)模型算法等等。

步驟s210：根據(jù)課堂學(xué)生的特征數(shù)據(jù)，確定課堂學(xué)生的上課狀態(tài)。

其中，上課狀態(tài)包括以下至少之一：課堂專注程度、課堂互動(dòng)程度、課程喜愛程度。課堂專注程度用于表征課堂學(xué)生上課是否專注于聽講；課堂互動(dòng)程度用于表征在教師發(fā)起的互動(dòng)教學(xué)中課堂學(xué)生是否積極參加了課堂互動(dòng)；課程喜愛程度用于表征課堂學(xué)生是否喜愛該堂課程和/或該堂課的老師。

在一種可行方式中，可以基于課堂學(xué)生的特征數(shù)據(jù)，對課堂學(xué)生的各特征數(shù)據(jù)與預(yù)存的上課狀態(tài)樣本圖像的各特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定各課堂學(xué)生的當(dāng)前狀態(tài)及當(dāng)前狀態(tài)對應(yīng)的分值；根據(jù)當(dāng)前狀態(tài)及分值，確定各課堂學(xué)生的課堂專注程度、課堂互動(dòng)程度、課程喜愛程度中的至少一個(gè)上課狀態(tài)；其中，上課狀態(tài)樣本圖像中標(biāo)注有學(xué)生的特征數(shù)據(jù)、狀態(tài)數(shù)據(jù)、及與所述狀態(tài)數(shù)據(jù)對應(yīng)的分值。上課狀態(tài)樣本圖像可以是一個(gè)圖像集，其中包含了多種課堂學(xué)生在上課時(shí)的狀態(tài)圖像作為樣本，每個(gè)樣本圖像中的課堂學(xué)生都被進(jìn)行了特征、狀態(tài)及對應(yīng)的分值標(biāo)注。若某一課堂學(xué)生的特征數(shù)據(jù)與某一上課狀態(tài)樣本圖像的特征數(shù)據(jù)比較接近，如歐式距離在一定范圍內(nèi)，則可以認(rèn)為該課堂學(xué)生的當(dāng)前狀態(tài)與樣本圖像的狀態(tài)一致，應(yīng)對應(yīng)相同的分值。進(jìn)而，根據(jù)確定的課堂學(xué)生的當(dāng)前狀態(tài)及分值，確定該課堂學(xué)生的課堂專注程度、課堂互動(dòng)程度及課程喜愛程度中的至少一個(gè)上課狀態(tài)。例如，通過將分值與一個(gè)設(shè)定閾值進(jìn)行比較，可以確定該課堂學(xué)生對當(dāng)前課堂的喜愛程度。其中，設(shè)定閾值可以由本領(lǐng)域技術(shù)人員根據(jù)實(shí)際需求適當(dāng)設(shè)置，本發(fā)明實(shí)施例對此不作限制。

例如，針對各課堂學(xué)生,將該課堂學(xué)生的面部特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的面部特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定該課堂學(xué)生的面部表情與上課狀態(tài)樣本圖像中的面部表情是否匹配；將該課堂學(xué)生的面部特征數(shù)據(jù)和視覺特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的面部特征數(shù)據(jù)和視覺特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定該課堂學(xué)生的視線方向與上課狀態(tài)樣本圖像中的視線方向是否匹配；將該課堂學(xué)生的肢體特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的肢體特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定課堂學(xué)生的肢體動(dòng)作與上課狀態(tài)樣本圖像中的肢體動(dòng)作是否匹配；根據(jù)面部表情匹配結(jié)果、視線方向匹配結(jié)果和肢體動(dòng)作匹配結(jié)果，確定該課堂學(xué)生的第一當(dāng)前狀態(tài)及第一當(dāng)前狀態(tài)對應(yīng)的第一分值；根據(jù)第一當(dāng)前狀態(tài)及第一分值，確定課堂學(xué)生的課堂專注程度。如，若通過面部特征數(shù)據(jù)，確定某一課堂學(xué)生的面部表情與樣本圖像中的面部表情匹配；通過面部特征數(shù)據(jù)和視覺特征數(shù)據(jù)，確定該課堂學(xué)生的視線方向與樣本圖像中的視線方向匹配；通過肢體特征數(shù)據(jù)，確定該課堂學(xué)生的肢體動(dòng)作與樣本圖像中的肢體動(dòng)作也匹配，則可確定該課堂學(xué)生具有較高的課堂專注程度(如以10表示課堂專注程度滿分，則該課堂學(xué)生可達(dá)到9分等)。

再例如，針對各課堂學(xué)生,將該課堂學(xué)生的面部特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的面部特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定該課堂學(xué)生的嘴部動(dòng)作與上課狀態(tài)樣本圖像中的嘴部動(dòng)作是否匹配；將該課堂學(xué)生的面部特征數(shù)據(jù)和視覺特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的面部特征數(shù)據(jù)和視覺特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定該課堂學(xué)生的視線方向與上課狀態(tài)樣本圖像中的視線方向是否匹配；將該課堂學(xué)生的肢體特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的肢體特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定課堂學(xué)生的肢體動(dòng)作與上課狀態(tài)樣本圖像中的肢體動(dòng)作是否匹配；根據(jù)嘴部動(dòng)作匹配結(jié)果、視線方向匹配結(jié)果和肢體動(dòng)作匹配結(jié)果，確定該課堂學(xué)生的第二當(dāng)前狀態(tài)及第二當(dāng)前狀態(tài)對應(yīng)的第二分值；根據(jù)第二當(dāng)前狀態(tài)及第二分值，確定該課堂學(xué)生的課堂互動(dòng)程度。如，若通過面部特征數(shù)據(jù)，確定某一課堂學(xué)生的嘴部動(dòng)作與樣本圖像中的嘴部動(dòng)作匹配；通過面部特征數(shù)據(jù)和視覺特征數(shù)據(jù)，確定該課堂學(xué)生的視線方向與樣本圖像中的視線方向匹配；通過肢體特征數(shù)據(jù)，確定該課堂學(xué)生的肢體動(dòng)作與樣本圖像中的肢體動(dòng)作也匹配，則可確定該課堂學(xué)生具有較高的課堂互動(dòng)程度(如以10表示課堂互動(dòng)程度滿分，則該課堂學(xué)生可達(dá)到9分等)。其中，課堂互動(dòng)包括但不限于：回答教師提問、根據(jù)教師指令進(jìn)行肢體動(dòng)作如舉手等。

又例如，針對各課堂學(xué)生,將該課堂學(xué)生的面部特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的面部特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定該課堂學(xué)生的面部表情與上課狀態(tài)樣本圖像中的面部表情是否匹配；根據(jù)面部表情匹配結(jié)果，確定所述課堂學(xué)生的第三當(dāng)前狀態(tài)及第三當(dāng)前狀態(tài)對應(yīng)的第三分值；根據(jù)第三當(dāng)前狀態(tài)及第三分值，確定該課堂學(xué)生的課程喜愛程度。如，若通過面部特征數(shù)據(jù)，確定某一課堂學(xué)生的面部表情與樣本圖像中的面部表情匹配，則可確定該課堂學(xué)生具有較高的課程喜愛程度(如以10表示課程喜愛程度滿分，則該課堂學(xué)生可達(dá)到9分等)。其中，若課堂學(xué)生喜愛某一課程或教師，會有諸如微笑等面部表情呈現(xiàn)。因此，根據(jù)面部表情，可以反映課堂學(xué)生的課程喜愛程度。

進(jìn)一步可選地，可以根據(jù)各課堂學(xué)生的課堂專注程度、課堂互動(dòng)程度、課程喜愛程度中的至少一個(gè)上課狀態(tài)對應(yīng)的分值，以及，所述課堂圖像的獲取時(shí)間，生成上課信息曲線圖。

其中，課堂學(xué)生在當(dāng)前上課圖像中所表現(xiàn)出來的面部表情可以表征該課堂學(xué)生對課程的專注程度和/或喜愛程度，如笑、生氣、疑惑等等；根據(jù)課堂學(xué)生的視線方向是否正指向老師授課方向，可以表征該課堂學(xué)生對課程的專注程度；課堂學(xué)生的當(dāng)前肢體動(dòng)作，如，端坐、扭頭、低頭、吃或喝東西、玩東西、躺靠、交頭接耳、拄下巴、趴桌子等等，可以表征該課堂學(xué)生對課程的專注程度和/或互動(dòng)程度。

例如，通過機(jī)器學(xué)習(xí)方式，根據(jù)特征數(shù)據(jù)即可確定相應(yīng)的信息，如至少根據(jù)面部特征數(shù)據(jù)中的嘴部特征數(shù)據(jù)和/或眼部特征數(shù)據(jù)，即可確定面部表情；根據(jù)面部特征數(shù)據(jù)和視覺特征數(shù)據(jù)，即可確定視線方向，如面部特征數(shù)據(jù)指示該課堂學(xué)生目前處于扭頭狀態(tài)且視覺特征數(shù)據(jù)(包括但不限于眼部特征數(shù)據(jù)，可選地，還可以包括眉部特征數(shù)據(jù))指示該課堂學(xué)生視線下垂，則可確定該課堂學(xué)生的視線遠(yuǎn)離教師方向；根據(jù)肢體特征數(shù)據(jù)，即可確定肢體動(dòng)作。

基于以上描述，一種生成的上課信息曲線圖如圖3所示。圖3是某一課堂學(xué)生如張三的上課信息曲線圖，在圖3中，橫坐標(biāo)為時(shí)間坐標(biāo)軸，設(shè)定每隔1s獲取一張上課圖像，其中包含張三的信息；縱坐標(biāo)為張三的上課狀態(tài)的分?jǐn)?shù)坐標(biāo)軸，以10分為滿分。圖3中，上課狀態(tài)包括了課堂專注程度、課堂互動(dòng)程度、課程喜愛程度三種，但本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明了，在實(shí)際應(yīng)用中，可以有上述三種中的任意一種或組合。設(shè)定在10s之內(nèi)拍攝了10張線三的上課圖像，根據(jù)張三的面部表情、視線方向和肢體動(dòng)作，確定張三的10張上課圖像中的課程專注程度(黑實(shí)線)分別為(9，9，8，5，4，3，8，7，9，9)；根據(jù)張三的嘴部動(dòng)作、視線方向和肢體動(dòng)作，確定張三的10張上課圖像中的課堂互動(dòng)程度(黑虛線)分別為(0，0，0，0，0，0，9，9，7，9)；根據(jù)張三的面部表情，確定張三的10張上課圖像中的課堂喜愛程度(黑虛點(diǎn)線)分別為(8，7，6，1，1，2，6，6，6，8)。通過圖3，可以簡單明了地了解張三在該堂課上的上課狀態(tài)。

需要說明的是，圖3中在一張圖中同時(shí)呈現(xiàn)了三種上課狀態(tài)，但不限于此，在實(shí)際應(yīng)用中，也可以通過多張圖呈現(xiàn)不同的上課狀態(tài)，每張圖呈現(xiàn)一種。

因每個(gè)課堂學(xué)生對應(yīng)的上課狀態(tài)不同，因此，針對每個(gè)課堂學(xué)生，將各個(gè)課堂學(xué)生的面部特征數(shù)據(jù)與預(yù)存的學(xué)生人臉圖像的特征數(shù)據(jù)進(jìn)行比對，確定各個(gè)課堂學(xué)生的身份信息；根據(jù)課堂學(xué)生的特征數(shù)據(jù)和身份信息，確定各個(gè)課堂學(xué)生的上課狀態(tài)。由此，將課堂學(xué)生的上述數(shù)據(jù)、信息和狀態(tài)與該課堂學(xué)生的身份對應(yīng)起來。

但在某些情況下，若暫時(shí)未能獲取到某個(gè)課堂學(xué)生的身份信息，則在一種可行方式中，若三維教室模型具有熱力圖，則若根據(jù)熱力圖，確定存在未獲取到身份信息的課堂學(xué)生；則將未獲取到身份信息的課堂學(xué)生的特征數(shù)據(jù)與熱力圖對應(yīng)存儲，并在確定這些課堂學(xué)生的身份信息后，根據(jù)確定的身份信息和與熱力圖對應(yīng)的特征數(shù)據(jù)，確定該課堂學(xué)生的上課狀態(tài)。也即，先將特征數(shù)據(jù)與熱力圖對應(yīng)存儲，在確定身份后，再將特征數(shù)據(jù)對身份信息標(biāo)識的課堂學(xué)生對應(yīng)存儲，進(jìn)而，根據(jù)這些特征數(shù)據(jù)確定該確認(rèn)了身份的課堂學(xué)生的上課狀態(tài)。

系統(tǒng)中設(shè)置有學(xué)生人臉數(shù)據(jù)庫，其中保存有學(xué)生的人臉圖像以及該人臉圖像對應(yīng)的學(xué)生的身份信息，通過圖像比對，即可對上課圖像中的各個(gè)課堂學(xué)生進(jìn)行身份識別和確認(rèn)，以進(jìn)一步確定各個(gè)課堂學(xué)生對應(yīng)的上課信息。其中，圖像比對可以通過任意適當(dāng)方式實(shí)現(xiàn)，包括但不限于面部特征比對方式。

進(jìn)一步地，通過獲得的上課狀態(tài)，可以對學(xué)生當(dāng)前的上課情況進(jìn)行有效評估和處理，如，若課堂學(xué)生的上課狀態(tài)滿足設(shè)定預(yù)警條件，則進(jìn)行預(yù)警處理。其中，設(shè)定預(yù)警條件由本領(lǐng)域技術(shù)人員根據(jù)實(shí)際情況適當(dāng)設(shè)置，本發(fā)明實(shí)施例對此不作限制。如，以十分制為例，若某個(gè)學(xué)生當(dāng)前的課堂專注程度低于6分，則可將該信息反饋給授課教師，由授課教師及時(shí)進(jìn)行處理等。

步驟s212：根據(jù)預(yù)先建立的課堂學(xué)生與學(xué)習(xí)信息的關(guān)聯(lián)關(guān)系，以及課堂學(xué)生與上課信息的關(guān)聯(lián)關(guān)系，確定課堂學(xué)生的上課信息與學(xué)習(xí)信息的關(guān)聯(lián)程度。

其中，上課信息包括：根據(jù)對課堂學(xué)生的各特征數(shù)據(jù)與預(yù)存的上課狀態(tài)樣本圖像的各特征數(shù)據(jù)進(jìn)行比較后獲得的面部表情的信息、面部動(dòng)作的信息、視線方向的信息和肢體動(dòng)作的信息中的至少一個(gè)(如步驟s210中，在確定課堂學(xué)生的上課狀態(tài)過程中獲取的面部表情的信息、面部動(dòng)作的信息、視線方向的信息和肢體動(dòng)作的信息)；學(xué)習(xí)信息包括以下至少之一：課堂學(xué)生的成績信息、課堂學(xué)生的課程信息、與課程信息對應(yīng)的教師信息、與課程信息對應(yīng)的授課過程信息、課堂學(xué)生的家長滿意度信息、授課平臺信息。

系統(tǒng)中保存有預(yù)先建立的各個(gè)課堂學(xué)生與學(xué)習(xí)信息的關(guān)聯(lián)關(guān)系，以及各個(gè)課堂學(xué)生與上課信息的關(guān)聯(lián)關(guān)系，通過各個(gè)課堂學(xué)生的身份信息，可以在各個(gè)課堂學(xué)生的上課信息與學(xué)習(xí)信息之間建立對應(yīng)關(guān)系，將二者關(guān)聯(lián)起來。而學(xué)生的上課信息不僅與學(xué)習(xí)信息中的諸如課堂學(xué)生的課程信息、與課程信息對應(yīng)的教師信息、與課程信息對應(yīng)的授課過程信息、授課平臺信息等信息密切相關(guān)，而且上課信息會對學(xué)生的成績產(chǎn)生關(guān)鍵影響，課堂學(xué)生的成績信息、課堂學(xué)生的家長滿意度信息可以是上課信息的反映和反饋，將多種信息關(guān)聯(lián)起來，可以進(jìn)一步指導(dǎo)學(xué)生的學(xué)習(xí)和課程及教師選擇，為學(xué)生的后續(xù)學(xué)習(xí)提供改善參考。

步驟s214：根據(jù)關(guān)聯(lián)程度的信息，調(diào)整課堂學(xué)生的各上課信息的預(yù)警閾值，和/或，生成用于指導(dǎo)教師授課的分析報(bào)告。

例如，某個(gè)學(xué)生在上課時(shí)經(jīng)常有拄下巴動(dòng)作，該動(dòng)作可能導(dǎo)致其課堂專注程度處于較差狀態(tài)，但根據(jù)該學(xué)生的成績，卻發(fā)現(xiàn)該學(xué)生成績較好，因而可以初步確定其拄下巴動(dòng)作并不是指示專注程度不高的動(dòng)作，據(jù)此，可調(diào)整該學(xué)生出現(xiàn)該動(dòng)作時(shí)的預(yù)警閾值，即使該學(xué)生在一段時(shí)間內(nèi)保持該動(dòng)作，也無需進(jìn)行提示或者指示授課教師進(jìn)行處理。

此外，根據(jù)這些信息還可以生成相應(yīng)的分析報(bào)告，該分析報(bào)告可以分發(fā)至教師端設(shè)備和/或家長端設(shè)備,以對教師和/或家長進(jìn)行指導(dǎo)。

需要說明的是，步驟s212和步驟s214均為可選步驟。

通過本實(shí)施例，通過對獲取的課堂學(xué)生的上課圖像進(jìn)行識別，確定課堂學(xué)生的特征數(shù)據(jù)，進(jìn)而確定課堂學(xué)生在上課時(shí)的上課狀態(tài)。學(xué)生的面部特征數(shù)據(jù)、視覺特征數(shù)據(jù)和肢體特征數(shù)據(jù)可以表達(dá)學(xué)生在上課時(shí)的表情、視線、肢體動(dòng)作等信息，通過這些信息可以有效反映該學(xué)生的當(dāng)前聽課狀態(tài)，因此，通過學(xué)生的面部特征數(shù)據(jù)、視覺特征數(shù)據(jù)和肢體特征數(shù)據(jù)，可以從表情、視線、肢體動(dòng)作等多個(gè)維度對學(xué)生的上課情況進(jìn)行監(jiān)控和分析，有效且準(zhǔn)確地實(shí)現(xiàn)對通過計(jì)算機(jī)和網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的學(xué)生在課堂上的聽課情況的監(jiān)控，為后續(xù)的學(xué)習(xí)和授課提供了有效的參考，以進(jìn)一步對學(xué)習(xí)或授課過程進(jìn)行改善。

本實(shí)施例的學(xué)習(xí)監(jiān)控方法可以由任意適當(dāng)?shù)木哂袛?shù)據(jù)處理功能的設(shè)備或裝置實(shí)現(xiàn)，包括但不限于各種終端及服務(wù)器等。

實(shí)施例三

參照圖4，示出了根據(jù)本發(fā)明實(shí)施例三的一種學(xué)習(xí)監(jiān)控裝置的結(jié)構(gòu)框圖。

本實(shí)施例的學(xué)習(xí)監(jiān)控裝置包括：第一獲取模塊302，用于獲取課堂學(xué)生的上課圖像；第二獲取模塊304，用于對所述上課圖像進(jìn)行識別，獲取所述課堂學(xué)生的特征數(shù)據(jù)，其中，所述特征數(shù)據(jù)包括以下至少之一：所述課堂學(xué)生的面部特征數(shù)據(jù)、所述課堂學(xué)生的視覺特征數(shù)據(jù)、所述課堂學(xué)生的特征數(shù)據(jù)；確定模塊306，用于根據(jù)所述課堂學(xué)生的特征數(shù)據(jù)，確定所述課堂學(xué)生的上課狀態(tài)。

通過本實(shí)施例，通過對獲取的課堂學(xué)生的上課圖像進(jìn)行識別，確定課堂學(xué)生的特征數(shù)據(jù)，進(jìn)而確定課堂學(xué)生在上課時(shí)的上課狀態(tài)。學(xué)生的面部特征數(shù)據(jù)、視覺特征數(shù)據(jù)和肢體特征數(shù)據(jù)可以表達(dá)學(xué)生在上課時(shí)的表情、視線、肢體動(dòng)作等信息，通過這些信息可以有效反映該學(xué)生的當(dāng)前聽課狀態(tài)，因此，通過學(xué)生的面部特征數(shù)據(jù)、視覺特征數(shù)據(jù)和肢體特征數(shù)據(jù)，可以從表情、視線、肢體動(dòng)作等多個(gè)維度對學(xué)生的上課情況進(jìn)行監(jiān)控和分析，有效且準(zhǔn)確地實(shí)現(xiàn)對通過計(jì)算機(jī)和網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的學(xué)生在課堂上的聽課情況的監(jiān)控，為后續(xù)的學(xué)習(xí)和授課提供了有效的參考，以進(jìn)一步對學(xué)習(xí)或授課過程進(jìn)行改善。

實(shí)施例四

參照圖5，示出了根據(jù)本發(fā)明實(shí)施例四的一種學(xué)習(xí)監(jiān)控裝置的結(jié)構(gòu)框圖。

本實(shí)施例的學(xué)習(xí)監(jiān)控裝置包括：第一獲取模塊402，用于獲取課堂學(xué)生的上課圖像；第二獲取模塊404，用于對所述上課圖像進(jìn)行識別，獲取所述課堂學(xué)生的特征數(shù)據(jù)，其中，所述特征數(shù)據(jù)包括以下至少之一：所述課堂學(xué)生的面部特征數(shù)據(jù)、所述課堂學(xué)生的視覺特征數(shù)據(jù)、所述課堂學(xué)生的特征數(shù)據(jù)；確定模塊406，用于根據(jù)所述課堂學(xué)生的特征數(shù)據(jù)，確定所述課堂學(xué)生的上課狀態(tài)。

可選地，上課狀態(tài)包括以下至少之一：課堂專注程度、課堂互動(dòng)程度、課程喜愛程度。

可選地，確定模塊406用于對所述課堂學(xué)生的各特征數(shù)據(jù)與預(yù)存的上課狀態(tài)樣本圖像的各特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定各課堂學(xué)生的當(dāng)前狀態(tài)及當(dāng)前狀態(tài)對應(yīng)的分值，根據(jù)當(dāng)前狀態(tài)及分值確定各課堂學(xué)生的課堂專注程度、課堂互動(dòng)程度、課程喜愛程度中的至少一個(gè)上課狀態(tài)；其中，上課狀態(tài)樣本圖像中標(biāo)注有學(xué)生的特征數(shù)據(jù)、狀態(tài)數(shù)據(jù)、及與所述狀態(tài)數(shù)據(jù)對應(yīng)的分值。

可選地，確定模塊406包括：第一確定子模塊4062，用于針對各課堂學(xué)生,將所述課堂學(xué)生的面部特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的面部特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定所述課堂學(xué)生的面部表情與上課狀態(tài)樣本圖像中的面部表情是否匹配；將所述課堂學(xué)生的面部特征數(shù)據(jù)和視覺特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的面部特征數(shù)據(jù)和視覺特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定所述課堂學(xué)生的視線方向與上課狀態(tài)樣本圖像中的視線方向是否匹配；將所述課堂學(xué)生的肢體特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的肢體特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定所述課堂學(xué)生的肢體動(dòng)作與上課狀態(tài)樣本圖像中的肢體動(dòng)作是否匹配；根據(jù)面部表情匹配結(jié)果、視線方向匹配結(jié)果和肢體動(dòng)作匹配結(jié)果，確定所述課堂學(xué)生的第一當(dāng)前狀態(tài)及第一當(dāng)前狀態(tài)對應(yīng)的第一分值；根據(jù)第一當(dāng)前狀態(tài)及第一分值，確定所述課堂學(xué)生的課堂專注程度；和/或，第二確定子模塊4064，用于針對各課堂學(xué)生,將所述課堂學(xué)生的面部特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的面部特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定所述課堂學(xué)生的嘴部動(dòng)作與上課狀態(tài)樣本圖像中的嘴部動(dòng)作是否匹配；將所述課堂學(xué)生的面部特征數(shù)據(jù)和視覺特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的面部特征數(shù)據(jù)和視覺特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定所述課堂學(xué)生的視線方向與上課狀態(tài)樣本圖像中的視線方向是否匹配；將所述課堂學(xué)生的肢體特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的肢體特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定所述課堂學(xué)生的肢體動(dòng)作與上課狀態(tài)樣本圖像中的肢體動(dòng)作是否匹配；根據(jù)嘴部動(dòng)作匹配結(jié)果、視線方向匹配結(jié)果和肢體動(dòng)作匹配結(jié)果，確定所述課堂學(xué)生的第二當(dāng)前狀態(tài)及第二當(dāng)前狀態(tài)對應(yīng)的第二分值；根據(jù)第二當(dāng)前狀態(tài)及第二分值，確定所述課堂學(xué)生的課堂互動(dòng)程度；和/或，第三確定子模塊4066，用于針對各課堂學(xué)生,將所述課堂學(xué)生的面部特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的面部特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定所述課堂學(xué)生的面部表情與上課狀態(tài)樣本圖像中的面部表情是否匹配；根據(jù)面部表情匹配結(jié)果，確定所述課堂學(xué)生的第三當(dāng)前狀態(tài)及第三當(dāng)前狀態(tài)對應(yīng)的第三分值；根據(jù)第三當(dāng)前狀態(tài)及第三分值，確定所述課堂學(xué)生的課程喜愛程度。

可選地，本實(shí)施例的學(xué)習(xí)監(jiān)控裝置還包括：曲線圖生成模塊408，用于根據(jù)各課堂學(xué)生的課堂專注程度、課堂互動(dòng)程度、課程喜愛程度中的至少一個(gè)上課狀態(tài)對應(yīng)的分值，以及，所述課堂圖像的獲取時(shí)間，生成上課信息曲線圖。

可選地，本實(shí)施例的學(xué)習(xí)監(jiān)控裝置還包括：關(guān)聯(lián)模塊410，用于根據(jù)預(yù)先建立的課堂學(xué)生與學(xué)習(xí)信息的關(guān)聯(lián)關(guān)系，以及所述課堂學(xué)生與上課信息的關(guān)聯(lián)關(guān)系，確定課堂學(xué)生的上課狀態(tài)與學(xué)習(xí)信息的關(guān)聯(lián)程度；其中，上課信息包括：根據(jù)對所述課堂學(xué)生的各特征數(shù)據(jù)與預(yù)存的上課狀態(tài)樣本圖像的各特征數(shù)據(jù)進(jìn)行比較后獲得的面部表情的信息、面部動(dòng)作的信息、視線方向的信息和肢體動(dòng)作的信息中的至少一個(gè)；學(xué)習(xí)信息包括以下至少之一：課堂學(xué)生的成績信息、課堂學(xué)生的課程信息、與課程信息對應(yīng)的教師信息、與課程信息對應(yīng)的授課過程信息、課堂學(xué)生的家長滿意度信息、授課平臺信息。

可選地，本實(shí)施例的學(xué)習(xí)監(jiān)控裝置還包括：調(diào)整模塊412，用于根據(jù)關(guān)聯(lián)程度的信息，調(diào)整課堂學(xué)生的各上課信息的預(yù)警閾值，和/或，生成用于指導(dǎo)教師授課的分析報(bào)告。

可選地，確定模塊406包括：比對子模塊4068，用于將各個(gè)課堂學(xué)生的面部特征數(shù)據(jù)與預(yù)存的學(xué)生人臉圖像的特征數(shù)據(jù)進(jìn)行比對，確定各個(gè)課堂學(xué)生的身份信息；狀態(tài)確定子模塊4070，用于根據(jù)所述課堂學(xué)生的特征數(shù)據(jù)和所述身份信息，確定各個(gè)課堂學(xué)生的上課狀態(tài)。

可選地，本實(shí)施例的學(xué)習(xí)監(jiān)控裝置還包括：三維模塊414，用于在第一獲取模塊402獲取課堂學(xué)生的上課圖像之前，對課堂學(xué)生所在的課堂進(jìn)行三維建模，生成三維教室模型；根據(jù)所述三維教室模型中的熱力圖，確定所述課堂學(xué)生的位置；第一獲取模塊402用于根據(jù)確定的所述課堂學(xué)生的位置，獲取三維教室模型中的上課圖像。

可選地，本實(shí)施例的學(xué)習(xí)監(jiān)控裝置還包括：身份信息對應(yīng)模塊416，用于若根據(jù)熱力圖，確定存在未獲取到身份信息的課堂學(xué)生；則將未獲取到身份信息的課堂學(xué)生的特征數(shù)據(jù)與熱力圖對應(yīng)存儲，并在確定身份信息后，根據(jù)確定的身份信息和與所述熱力圖對應(yīng)的特征數(shù)據(jù)，確定課堂學(xué)生的上課狀態(tài)。

可選地，本實(shí)施例的學(xué)習(xí)監(jiān)控裝置還包括：預(yù)警模塊418，用于若所述課堂學(xué)生的上課狀態(tài)滿足設(shè)定預(yù)警條件，則進(jìn)行預(yù)警處理。

可選地，第一獲取模塊402用于獲取課堂學(xué)生所在的課堂的整體圖像，從所述整體圖像中獲取每個(gè)課堂學(xué)生的上課圖像；或者，分別獲取每個(gè)課堂學(xué)生的上課圖像。

本實(shí)施例的學(xué)習(xí)監(jiān)控裝置用于實(shí)現(xiàn)前述多個(gè)方法實(shí)施例中相應(yīng)的學(xué)習(xí)監(jiān)控方法，并具有相應(yīng)的方法實(shí)施例的有益效果，在此不再贅述。

實(shí)施例五

參照圖6，示出了根據(jù)本發(fā)明實(shí)施例五的一種電子設(shè)備的結(jié)構(gòu)示意圖，本發(fā)明具體實(shí)施例并不對電子設(shè)備的具體實(shí)現(xiàn)做限定。

如圖6所示，該電子設(shè)備可以包括：處理器(processor)502、通信接口(communicationsinterface)504、存儲器(memory)506、以及通信總線508。

其中：

處理器502、通信接口504、以及存儲器506通過通信總線508完成相互間的通信。

通信接口504，用于與其它設(shè)備比如其它終端或服務(wù)器等的網(wǎng)元通信。

處理器502，用于執(zhí)行程序510，具體可以執(zhí)行上述學(xué)習(xí)監(jiān)控方法實(shí)施例中的相關(guān)步驟。

具體地，程序510可以包括程序代碼，該程序代碼包括計(jì)算機(jī)操作指令。

處理器502可能是中央處理器cpu，或者是特定集成電路asic(applicationspecificintegratedcircuit)，或者是被配置成實(shí)施本發(fā)明實(shí)施例的一個(gè)或多個(gè)集成電路。電子設(shè)備包括的一個(gè)或多個(gè)處理器，可以是同一類型的處理器，如一個(gè)或多個(gè)cpu；也可以是不同類型的處理器，如一個(gè)或多個(gè)cpu以及一個(gè)或多個(gè)asic。

存儲器506，用于存放程序510。存儲器506可能包含高速ram存儲器，也可能還包括非易失性存儲器(non-volatilememory)，例如至少一個(gè)磁盤存儲器。

程序510具體可以用于使得處理器502執(zhí)行以下操作：獲取課堂學(xué)生的上課圖像；對所述上課圖像進(jìn)行識別，獲取所述課堂學(xué)生的特征數(shù)據(jù)，其中，所述特征數(shù)據(jù)包括以下至少之一：所述課堂學(xué)生的面部特征數(shù)據(jù)、所述課堂學(xué)生的視覺特征數(shù)據(jù)、所述課堂學(xué)生的肢體特征數(shù)據(jù)；根據(jù)所述課堂學(xué)生的特征數(shù)據(jù)，確定所述課堂學(xué)生的上課狀態(tài)。

在一種可選的實(shí)施方式中，所述上課狀態(tài)包括以下至少之一：課堂專注程度、課堂互動(dòng)程度、課程喜愛程度。

在一種可選的實(shí)施方式中，程序510還用于使得處理器502在根據(jù)所述課堂學(xué)生的特征數(shù)據(jù)，確定所述課堂學(xué)生的上課狀態(tài)時(shí)，對所述課堂學(xué)生的各特征數(shù)據(jù)與預(yù)存的上課狀態(tài)樣本圖像的各特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定各課堂學(xué)生的當(dāng)前狀態(tài)及當(dāng)前狀態(tài)對應(yīng)的分值；根據(jù)當(dāng)前狀態(tài)及分值，確定各課堂學(xué)生的課堂專注程度、課堂互動(dòng)程度、課程喜愛程度中的至少一個(gè)上課狀態(tài)；其中，上課狀態(tài)樣本圖像中標(biāo)注有學(xué)生的特征數(shù)據(jù)、狀態(tài)數(shù)據(jù)、及與所述狀態(tài)數(shù)據(jù)對應(yīng)的分值。

在一種可選的實(shí)施方式中，程序510還用于使得處理器502在對課堂學(xué)生的各特征數(shù)據(jù)與預(yù)存的上課狀態(tài)樣本圖像的各特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定各課堂學(xué)生的當(dāng)前狀態(tài)及當(dāng)前狀態(tài)對應(yīng)的分值；根據(jù)所述當(dāng)前狀態(tài)及所述分值，確定各課堂學(xué)生的課堂專注程度、課堂互動(dòng)程度、課程喜愛程度中的至少一個(gè)上課狀態(tài)時(shí)，針對各課堂學(xué)生,將所述課堂學(xué)生的面部特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的面部特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定所述課堂學(xué)生的面部表情與上課狀態(tài)樣本圖像中的面部表情是否匹配；將所述課堂學(xué)生的面部特征數(shù)據(jù)和視覺特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的面部特征數(shù)據(jù)和視覺特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定所述課堂學(xué)生的視線方向與上課狀態(tài)樣本圖像中的視線方向是否匹配；將所述課堂學(xué)生的肢體特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的肢體特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定所述課堂學(xué)生的肢體動(dòng)作與上課狀態(tài)樣本圖像中的肢體動(dòng)作是否匹配；根據(jù)面部表情匹配結(jié)果、視線方向匹配結(jié)果和肢體動(dòng)作匹配結(jié)果，確定所述課堂學(xué)生的第一當(dāng)前狀態(tài)及第一當(dāng)前狀態(tài)對應(yīng)的第一分值；根據(jù)所述第一當(dāng)前狀態(tài)及所述第一分值，確定所述課堂學(xué)生的課堂專注程度；和/或，將所述課堂學(xué)生的面部特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的面部特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定所述課堂學(xué)生的嘴部動(dòng)作與所述上課狀態(tài)樣本圖像中的嘴部動(dòng)作是否匹配；將所述課堂學(xué)生的面部特征數(shù)據(jù)和視覺特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的面部特征數(shù)據(jù)和視覺特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定所述課堂學(xué)生的視線方向與上課狀態(tài)樣本圖像中的視線方向是否匹配；將所述課堂學(xué)生的肢體特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的肢體特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定所述課堂學(xué)生的肢體動(dòng)作與上課狀態(tài)樣本圖像中的肢體動(dòng)作是否匹配；根據(jù)嘴部動(dòng)作匹配結(jié)果、視線方向匹配結(jié)果和肢體動(dòng)作匹配結(jié)果，確定所述課堂學(xué)生的第二當(dāng)前狀態(tài)及第二當(dāng)前狀態(tài)對應(yīng)的第二分值；根據(jù)第二當(dāng)前狀態(tài)及第二分值，確定所述課堂學(xué)生的課堂互動(dòng)程度；和/或，將所述課堂學(xué)生的面部特征數(shù)據(jù)與上課狀態(tài)樣本圖像中的面部特征數(shù)據(jù)進(jìn)行比較，根據(jù)比較結(jié)果確定所述課堂學(xué)生的面部表情與上課狀態(tài)樣本圖像中的面部表情是否匹配；根據(jù)面部表情匹配結(jié)果，確定所述課堂學(xué)生的第三當(dāng)前狀態(tài)及第三當(dāng)前狀態(tài)對應(yīng)的第三分值；根據(jù)所述第三當(dāng)前狀態(tài)及所述第三分值，確定所述課堂學(xué)生的課程喜愛程度。

在一種可選的實(shí)施方式中，程序510還用于使得處理器502根據(jù)各課堂學(xué)生的課堂專注程度、課堂互動(dòng)程度、課程喜愛程度中的至少一個(gè)上課狀態(tài)對應(yīng)的分值，以及，所述課堂圖像的獲取時(shí)間，生成上課信息曲線圖。

在一種可選的實(shí)施方式中，程序510還用于使得處理器502根據(jù)預(yù)先建立的所述課堂學(xué)生與學(xué)習(xí)信息的關(guān)聯(lián)關(guān)系，以及所述課堂學(xué)生與上課信息的關(guān)聯(lián)關(guān)系，確定所述課堂學(xué)生的上課信息與所述學(xué)習(xí)信息的關(guān)聯(lián)程度；其中，所述上課信息包括：根據(jù)對所述課堂學(xué)生的各特征數(shù)據(jù)與預(yù)存的上課狀態(tài)樣本圖像的各特征數(shù)據(jù)進(jìn)行比較后獲得的面部表情的信息、面部動(dòng)作的信息、視線方向的信息和肢體動(dòng)作的信息中的至少一個(gè)；所述學(xué)習(xí)信息包括以下至少之一：所述課堂學(xué)生的成績信息、所述課堂學(xué)生的課程信息、與所述課程信息對應(yīng)的教師信息、與所述課程信息對應(yīng)的授課過程信息、所述課堂學(xué)生的家長滿意度信息、授課平臺信息。

在一種可選的實(shí)施方式中，程序510還用于使得處理器502根據(jù)所述關(guān)聯(lián)程度的信息，調(diào)整所述課堂學(xué)生的各上課信息的預(yù)警閾值，和/或，生成用于指導(dǎo)教師授課的分析報(bào)告。

在一種可選的實(shí)施方式中，程序510還用于使得處理器502在根據(jù)課堂學(xué)生的特征數(shù)據(jù)，確定課堂學(xué)生的上課狀態(tài)時(shí)，將各個(gè)課堂學(xué)生的面部特征數(shù)據(jù)與預(yù)存的學(xué)生人臉圖像的特征數(shù)據(jù)進(jìn)行比對，確定各個(gè)課堂學(xué)生的身份信息；根據(jù)課堂學(xué)生的特征數(shù)據(jù)和所述身份信息，確定各個(gè)課堂學(xué)生的上課狀態(tài)。

在一種可選的實(shí)施方式中，程序510還用于使得處理器502在獲取課堂學(xué)生的上課圖像之前，還對所述課堂學(xué)生所在的課堂進(jìn)行三維建模，生成三維教室模型；根據(jù)三維教室模型中的熱力圖，確定所述課堂學(xué)生的位置；程序510還用于使得處理器502在獲取課堂學(xué)生的上課圖像時(shí)，根據(jù)確定的所述課堂學(xué)生的位置，獲取三維教室模型中的課堂學(xué)生的上課圖像。

在一種可選的實(shí)施方式中，程序510還用于使得處理器502若根據(jù)熱力圖，確定存在未獲取到身份信息的課堂學(xué)生；則將未獲取到身份信息的課堂學(xué)生的特征數(shù)據(jù)與所述熱力圖對應(yīng)存儲，并在確定身份信息后，根據(jù)確定的身份信息和與熱力圖對應(yīng)的特征數(shù)據(jù)，確定課堂學(xué)生的上課狀態(tài)。

在一種可選的實(shí)施方式中，程序510還用于使得處理器502在若所述課堂學(xué)生的上課狀態(tài)滿足設(shè)定預(yù)警條件時(shí)，進(jìn)行預(yù)警處理。

在一種可選的實(shí)施方式中，程序510還用于使得處理器502在獲取課堂學(xué)生的上課圖像時(shí)，獲取課堂學(xué)生所在的課堂的整體圖像，從所述整體圖像中獲取每個(gè)課堂學(xué)生的上課圖像；或者，分別獲取每個(gè)課堂學(xué)生的上課圖像。

程序510中各步驟的具體實(shí)現(xiàn)可以參見上述學(xué)習(xí)監(jiān)控方法實(shí)施例中的相應(yīng)步驟和單元中對應(yīng)的描述，在此不贅述。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，上述描述的設(shè)備和模塊的具體工作過程，可以參考前述方法實(shí)施例中的對應(yīng)過程描述，在此不再贅述。

通過本實(shí)施例的電子設(shè)備，通過對獲取的課堂學(xué)生的上課圖像進(jìn)行識別，確定課堂學(xué)生的特征數(shù)據(jù)，進(jìn)而確定課堂學(xué)生在上課時(shí)的上課狀態(tài)。學(xué)生的面部特征數(shù)據(jù)、視覺特征數(shù)據(jù)和肢體特征數(shù)據(jù)可以表達(dá)學(xué)生在上課時(shí)的表情、視線、肢體動(dòng)作等信息，通過這些信息可以有效反映該學(xué)生的當(dāng)前聽課狀態(tài)，因此，通過學(xué)生的面部特征數(shù)據(jù)、視覺特征數(shù)據(jù)和肢體特征數(shù)據(jù)，可以從表情、視線、肢體動(dòng)作等多個(gè)維度對學(xué)生的上課情況進(jìn)行監(jiān)控和分析，有效且準(zhǔn)確地實(shí)現(xiàn)對通過計(jì)算機(jī)和網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的學(xué)生在課堂上的聽課情況的監(jiān)控，為后續(xù)的學(xué)習(xí)和授課提供了有效的參考，以進(jìn)一步對學(xué)習(xí)或授課過程進(jìn)行改善。

通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實(shí)施方式可借助軟件加必需的通用硬件平臺的方式來實(shí)現(xiàn)，當(dāng)然也可以通過硬件?；谶@樣的理解，上述技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品可以存儲在計(jì)算機(jī)可讀存儲介質(zhì)中，所述計(jì)算機(jī)可讀記錄介質(zhì)包括用于以計(jì)算機(jī)(例如計(jì)算機(jī))可讀的形式存儲或傳送信息的任何機(jī)制。例如，機(jī)器可讀介質(zhì)包括只讀存儲器(rom)、隨機(jī)存取存儲器(ram)、磁盤存儲介質(zhì)、光存儲介質(zhì)、閃速存儲介質(zhì)、電、光、聲或其他形式的傳播信號(例如，載波、紅外信號、數(shù)字信號等)等，該計(jì)算機(jī)軟件產(chǎn)品包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。

最后應(yīng)說明的是：以上實(shí)施例僅用以說明本發(fā)明實(shí)施例的技術(shù)方案，而非對其限制；盡管參照前述實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。

本領(lǐng)域的技術(shù)人員應(yīng)明白，本發(fā)明實(shí)施例的實(shí)施例可提供為方法、裝置(設(shè)備)、或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明實(shí)施例可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本發(fā)明實(shí)施例可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲介質(zhì)(包括但不限于磁盤存儲器、cd-rom、光學(xué)存儲器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本發(fā)明實(shí)施例是參照根據(jù)本發(fā)明實(shí)施例的方法、裝置(設(shè)備)和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲器中，使得存儲在該計(jì)算機(jī)可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。