1.一種基于人臉和語音識別的課堂行為監(jiān)控系統(tǒng),其特征是,包括
視頻信息采集系統(tǒng),包括安裝在教室四個墻角的全方位旋轉攝像頭、與攝像頭相連的解碼器、與解碼器相連的畫面分割器,用于采集課堂中學生、教師的視頻數(shù)據(jù)信息;
語音信息采集系統(tǒng),包括安裝在學生課桌下面以及講臺上的錄音設備,用于采集課堂中學生、教師的語音數(shù)據(jù)信息;
主控處理器,對學生、教師的視頻數(shù)據(jù)信息和語音信息進行預處理,提取學生、教師的面部表情特征和行為特征;
分析處理器,將學生、教師的面部表情特征和行為特征于標準模板進行比較,并計算相應得分。
2.一種基于人臉和語音識別的課堂行為監(jiān)控方法,其特征是,包括以下步驟:
步驟一、通過安裝在教室四個墻角的攝像頭采集課堂中學生、教師的視頻數(shù)據(jù)信息;通過安裝在學生課桌下面以及講臺上的錄音設備采集課堂中學生、教師的語音數(shù)據(jù)信息;
步驟二、采集到的學生、教師的視頻數(shù)據(jù)信息經(jīng)解碼器解碼和畫面分割器分割后,發(fā)送給主控處理器;將采集到的學生、教師的語音數(shù)據(jù)信息發(fā)送給主控處理器;
步驟三、主控處理器對接收到的學生的視頻數(shù)據(jù)信息進行預處理,提取學生的面部表情特征和行為特征,通過分析處理器將學生面部表情特征與學生面部表情標準模板進行比較,依據(jù)比較結果計算課堂中學生面部表情表現(xiàn)得分,將學生行為特征與學生行為標準模板進行比較,依據(jù)比較結果計算課堂中學生行為表現(xiàn)得分;
步驟四、主控處理器對接收到的教師的視頻數(shù)據(jù)信息進行預處理,提取教師的面部表情特征和行為特征,通過分析處理器將教師面部表情特征與及教師面部表情標準模板進行比較,依據(jù)比較結果計算教師對學生課堂表現(xiàn)面部表情反應的得分,將教師行為特征與教師行為標準模板進行比較,依據(jù)比較結果計算教師對學生課堂表現(xiàn)行為反應的得分;
步驟五、主控處理器對接收到的學生的語音數(shù)據(jù)信息進行處理,提取學生語音特征,訓練語音標準模板,將學生語音特征與語音標準模板進行比較,依據(jù)比較結果計算課堂中每位學生的發(fā)言次數(shù)及頻率、發(fā)言時間長短以及小組討論時的發(fā)言比率;
步驟六、主控處理器對接收到的教師的語音數(shù)據(jù)信息進行處理,提取教師語音特征,計算教師教學效果的分值,并與教師教學效果平均分值進行比較,當該分值小于教師教學效果平均分值時,發(fā)出提示;
步驟七:主控處理器將課堂中學生面部表情和行為表現(xiàn)得分以及教師對學生課堂表現(xiàn)面部表情反應和行為反應的得分進行整合,得出每個學生的課堂行為總分,并將該總分與主控制器中設置的學生課堂行為平均分數(shù)進行比較,當該總分小于學生課堂行為平均分數(shù),發(fā)出提示;
步驟八:將學生、教師的視頻數(shù)據(jù)信息、語音數(shù)據(jù)信息、每個學生的課堂行為總分和教師教學效果的分值存儲到主控處理器的數(shù)據(jù)庫中。
3.根據(jù)權利要求2所述的一種基于人臉和語音識別的課堂行為監(jiān)控方法,其特征是,所述學生、教師的視頻數(shù)據(jù)信息包括學生、教師的行為信息和學生、教師的面部表情信息。
4.根據(jù)權利要求2所述的一種基于人臉和語音識別的課堂行為監(jiān)控方法,其特征是,所述步驟三中,所述學生面部表情標準模板包括虹膜中心、內眼角點、外眼角點、鼻尖點、鼻孔點、耳屏點、耳下點、口角點、頭頂點、眉內點和眉外點;所述學生行為標準模板包括舉手、低頭做筆記和抬頭聽課。
5.根據(jù)權利要求2所述的一種基于人臉和語音識別的課堂行為監(jiān)控方法,其特征是,所述步驟三中,在進行學生的面部表情特征和行為特征與標準模板進行比較之前,先對學生面部表情標準模板和學生行為標準模板進行賦分,所述學生面部表情標準模板中專注、高興表情設定為10分,冷漠表情設定為4分,煩躁表情設定為1分;學生行為標準模板中舉手、低頭做筆記、抬頭聽課的行為設定為10分。
6.根據(jù)權利要求2所述的一種基于人臉和語音識別的課堂行為監(jiān)控方法,其特征是,所述步驟四中,所述教師面部表情標準模板包括嘴角弧度、眉內點和眉外點;所述教師行為標準模板包括教師點頭次數(shù)。
7.根據(jù)權利要求2所述的一種基于人臉和語音識別的課堂行為監(jiān)控方法,其特征是,所述步驟四中,在進行教師的面部表情特征和行為特征與標準模板進行比較之前,先對教師面部表情標準模板和教師行為標準模板進行賦分,所述教師面部表情標準模板中愉悅表情設定為10分,不滿表情設定為0分,其余在中間范圍依據(jù)滿意程度賦分,所述教師行為標準模板中依據(jù)教師點頭次數(shù)進行賦分。
8.根據(jù)權利要求2所述的一種基于人臉和語音識別的課堂行為監(jiān)控方法,其特征是,所述步驟五中,學生語音特征包括學生每堂課的發(fā)言次數(shù)和頻率、每次發(fā)言時間長短和小組談論時發(fā)言比率。
9.根據(jù)權利要求2所述的一種基于人臉和語音識別的課堂行為監(jiān)控方法,其特征是,所述步驟五中的訓練語音標準模板具體方法為:根據(jù)每個說話人的訓練語音樣本,經(jīng)特征提取,建立每個說話人的語音標準模板。
10.根據(jù)權利要求2所述的一種基于人臉和語音識別的課堂行為監(jiān)控方法,其特征是,所示步驟六中,計算教師教學效果的分值的具體方法為:按照語音標準模板將教師的語音信息分割為若干個小單位,利用多元化測度法計算得到其測度值,根據(jù)分析處理器中標準語音庫建立語音評分模型,將獲得的測度值轉換成為評價教師教學效果的分值。