一種多模態(tài)學(xué)習(xí)過程狀態(tài)信息壓縮記錄方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及智能在線學(xué)習(xí)信息記錄方法領(lǐng)域，具體涉及一種多模態(tài)學(xué)習(xí)過程狀態(tài)信息的數(shù)據(jù)壓縮記錄方法。
【背景技術(shù)】
[0002]模態(tài)指的是采集到的動態(tài)數(shù)據(jù)。多模態(tài)即為采集到的多種動態(tài)數(shù)據(jù)。在線學(xué)習(xí)是一種新的學(xué)習(xí)方式，也是信息時(shí)代背景下的必然產(chǎn)物。與傳統(tǒng)教學(xué)相比，在線學(xué)習(xí)的優(yōu)勢在于它多利用計(jì)算機(jī)和網(wǎng)絡(luò)進(jìn)行電子教學(xué)資源的學(xué)習(xí)，從而極大地減輕了教學(xué)者的教學(xué)授課壓力。同時(shí)網(wǎng)絡(luò)教學(xué)資源更加豐富，學(xué)習(xí)者可以根據(jù)自身的需求進(jìn)行廣泛的選擇。然而當(dāng)前學(xué)習(xí)者在參與在線學(xué)習(xí)時(shí)，師生時(shí)空分離，一定程度上阻礙了教師對學(xué)生學(xué)習(xí)過程的了解，因此需要對學(xué)習(xí)者的在線學(xué)習(xí)過程進(jìn)行數(shù)據(jù)采集和記錄。在線學(xué)習(xí)記錄可以讓教師獲取和分析學(xué)習(xí)者的學(xué)習(xí)過程數(shù)據(jù)，了解學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，進(jìn)而可以實(shí)現(xiàn)信息的推送、學(xué)生的考評等功能。
[0003]在傳統(tǒng)的課堂教學(xué)中，教師很大程度上只能依賴對學(xué)生的面部表情來獲得教學(xué)反饋信息，這種方式也被引入到當(dāng)前的在線學(xué)習(xí)中。教學(xué)者通常利用視頻來采集在線學(xué)習(xí)者的相關(guān)信息，但是目前這些基于視頻中圖像識別和表情識別等的技術(shù)還不夠成熟和完善，這就導(dǎo)致數(shù)據(jù)分析不夠準(zhǔn)確，而且這種基于單一信息源的分析方式始終存在一定的片面性和局限性。隨著信息化技術(shù)手段的日趨成熟和多樣化，多模態(tài)多信息源的數(shù)據(jù)采集和數(shù)據(jù)分析成為一種可能。因此同步采集在線學(xué)習(xí)過程中學(xué)習(xí)者的表情、姿態(tài)、眼部狀態(tài)、視線、聲音等多種模態(tài)的數(shù)據(jù)，利用多種信息源來判別和評估學(xué)習(xí)者在線學(xué)習(xí)過程中的學(xué)習(xí)狀態(tài)，這種多模態(tài)學(xué)習(xí)過程狀態(tài)信息的記錄方法勢在必行。
[0004]多源數(shù)據(jù)的采集和記錄導(dǎo)致數(shù)據(jù)量過于龐大。例如我們在實(shí)際測試的過程中發(fā)現(xiàn)，僅僅針對一位在線學(xué)習(xí)者，如果同步采集這些多模態(tài)的數(shù)據(jù)，那么在20分鐘的學(xué)習(xí)過程中就產(chǎn)生了 IG的數(shù)據(jù)量。如果在線學(xué)習(xí)者數(shù)量增加、學(xué)習(xí)時(shí)間延長，那么這個(gè)過程中產(chǎn)生的數(shù)據(jù)量將會呈現(xiàn)出異常高速的增長態(tài)勢，這就給數(shù)據(jù)的采集和記錄帶來了極大的負(fù)擔(dān)。云存儲可以有效地解決大數(shù)據(jù)量的問題，但是目前對云存儲過程中的數(shù)據(jù)壓縮還沒有很好的解決方法。
[0005]通過對現(xiàn)有成果的調(diào)研，不難發(fā)現(xiàn)利用技術(shù)手段，通過采集記錄學(xué)習(xí)者學(xué)習(xí)過程中的表情、姿態(tài)、眼睛狀態(tài)、視線、聲音等單模態(tài)信息進(jìn)行學(xué)習(xí)過程的記錄是在線學(xué)習(xí)的一種必然趨勢。但是現(xiàn)有方法采集的信息單一化、片面化、局限化，無法完全準(zhǔn)確地反映出學(xué)習(xí)過程中學(xué)習(xí)者的整個(gè)狀態(tài)。例如，有些學(xué)習(xí)者坐姿端正，卻表情不自然、面部動作異常，如果僅僅通過姿勢識別，就容易誤判學(xué)習(xí)者學(xué)習(xí)狀態(tài)良好;有些學(xué)習(xí)者表情認(rèn)真，卻長時(shí)間閉目養(yǎng)神，如果僅僅通過表情識別，也非常容易誤判該學(xué)習(xí)者學(xué)習(xí)狀態(tài)良好。因此我們需要引入多模態(tài)信息進(jìn)行組合分析，加強(qiáng)學(xué)習(xí)過程判別的準(zhǔn)確性。

【發(fā)明內(nèi)容】

[0006]本發(fā)明提供一種多模態(tài)學(xué)習(xí)過程狀態(tài)信息的數(shù)據(jù)壓縮記錄方法，目的在于在網(wǎng)絡(luò)學(xué)習(xí)中，采集學(xué)習(xí)者的表情、姿態(tài)、眼睛狀態(tài)、視線以及聲音等學(xué)習(xí)過程的數(shù)據(jù)，并實(shí)現(xiàn)對這些數(shù)據(jù)的有效記錄和存儲。為了檢測各種數(shù)據(jù)，面對云端大量數(shù)據(jù)的挑戰(zhàn)，本系統(tǒng)提出了基于多模態(tài)信息的數(shù)據(jù)采集方法和海量數(shù)據(jù)的云記錄方法。我們在方法實(shí)現(xiàn)中引入云存儲，并且針對云存儲過程中的數(shù)據(jù)壓縮這一技術(shù)難題，提出了一種基于特定事件觸發(fā)性的數(shù)據(jù)記錄方法，對記錄的數(shù)據(jù)進(jìn)行了有效的壓縮。我們通過對多源數(shù)據(jù)的記錄和上傳過程加以控制，只選擇性地記錄那些能反映學(xué)習(xí)者學(xué)習(xí)過程狀態(tài)異常的關(guān)鍵數(shù)據(jù)，實(shí)現(xiàn)了以最有效率的方式來獲得最有意義的數(shù)據(jù)記錄結(jié)果。
[0007]本發(fā)明提出的多模態(tài)學(xué)習(xí)過程狀態(tài)信息記錄，包括如下步驟:
[0008](I)數(shù)據(jù)采集:采集學(xué)習(xí)者的表情數(shù)據(jù)、姿態(tài)數(shù)據(jù)、人眼狀態(tài)數(shù)據(jù)、視線數(shù)據(jù)、語音數(shù)據(jù)，存儲到本地服務(wù)器；
[0009](2)啟動單模態(tài)信息記錄，分析表情數(shù)據(jù)，判斷學(xué)習(xí)者當(dāng)前的模態(tài);分析姿態(tài)數(shù)據(jù)，判斷學(xué)習(xí)者當(dāng)前的模態(tài);分析人眼狀態(tài)數(shù)據(jù)，判斷學(xué)習(xí)者當(dāng)前的模態(tài);分析視線數(shù)據(jù)，判斷學(xué)習(xí)者當(dāng)前的模態(tài);分析語音數(shù)據(jù)，判斷學(xué)習(xí)者當(dāng)前的模態(tài);本發(fā)明中，學(xué)習(xí)者處于認(rèn)真聽課狀態(tài)時(shí)的表情、姿態(tài)、人眼狀態(tài)、視線、語音作為正常模態(tài)；
[0010](3)啟動多模態(tài)信息記錄，將姿勢識別與表情識別組合、表情識別與人眼狀態(tài)識別組合、人眼狀態(tài)檢測與眼動跟蹤組合、聲音識別與表情識別組合、聲音識別與人眼狀態(tài)檢測組合;判別前述五種組合，是否存在任一組的兩種模態(tài)均為異常，是則轉(zhuǎn)步驟(4)，否則轉(zhuǎn)步驟⑴；
[0011](4)將步驟(3)中組合判別異常時(shí)的全部五種模態(tài)數(shù)據(jù)上傳至云存儲服務(wù)器，轉(zhuǎn)步驟⑴。
[0012]進(jìn)一步的，所述的信息記錄方法中，分析表情數(shù)據(jù)采用的是表情識別方法;分析姿態(tài)數(shù)據(jù)，采用的是姿勢識別方法;分析人眼狀態(tài)數(shù)據(jù)，采用的是人眼狀態(tài)識別方法，分析視線數(shù)據(jù)，采用的是眼動跟蹤方法;分析語音數(shù)據(jù)，采用的是語音分析方法。
[0013]進(jìn)一步的，所述的信息記錄方法中，步驟(3)中包括如下子步驟:
[0014]步驟(3)中包括如下子步驟:
[0015](3.1)姿勢識別與表情識別組合，判斷姿勢識別與表情識別獲取的模態(tài)是否同時(shí)異常;是則轉(zhuǎn)步驟(4)，否則轉(zhuǎn)步驟(3.2);
[0016](3.2)表情識別與人眼狀態(tài)識別組合，判斷表情識別與人眼狀態(tài)檢測獲取的模態(tài)是否同時(shí)異常;是則轉(zhuǎn)步驟(4)，否則轉(zhuǎn)步驟(3.3);
[0017](3.3)人眼狀態(tài)檢測與眼動跟蹤組合，判斷人眼狀態(tài)檢測與眼動跟蹤檢測方法獲取的模態(tài)是否同時(shí)異常;是則轉(zhuǎn)步驟(4)，否則轉(zhuǎn)步驟(3.4);
[0018](3.4)聲音識別與表情識別組合，判斷聲音識別與表情識別獲取的模態(tài)是否同時(shí)異常;是則轉(zhuǎn)步驟(4)，否則轉(zhuǎn)步驟(3.5);
[0019](3.5)聲音識別與人眼狀態(tài)檢測組合，判斷語音特征識別和人眼狀態(tài)檢測獲取的模態(tài)是否同時(shí)異常;是則轉(zhuǎn)步驟(4)，否則轉(zhuǎn)步驟(I)。
[0020]進(jìn)一步的，所述的信息記錄方法中，所述的五種多模態(tài)組合識別的順序是可以交換的，即姿勢識別與表情識別組合、表情識別與人眼狀態(tài)識別組合、人眼狀態(tài)檢測與眼動跟蹤組合、聲音識別與表情識別組合、聲音識別與人眼狀態(tài)檢測組合是不分先后的。
[0021]本發(fā)明采集的學(xué)習(xí)者多模態(tài)信息包括:表情數(shù)據(jù)、姿態(tài)數(shù)據(jù)、人眼狀態(tài)數(shù)據(jù)、視線數(shù)據(jù)、聲音數(shù)據(jù)。本發(fā)明中可觸發(fā)云數(shù)據(jù)記錄的特定事件的判別方法為多模態(tài)信息的組合校正方法，包括姿勢識別與表情識別組合、表情識別與人眼狀態(tài)檢測組合、人眼狀態(tài)檢測與眼動跟蹤組合、聲音識別與表情識別組合、聲音識別與人眼狀態(tài)檢測組合，只有在上述組合事件發(fā)生后，才對相關(guān)數(shù)據(jù)進(jìn)行傳輸和記錄，有效地減少了誤觸發(fā)，壓縮了數(shù)據(jù)傳輸帶寬和存儲空間。本發(fā)明實(shí)現(xiàn)了一種多模態(tài)信息的數(shù)據(jù)壓縮傳輸方法。需要上傳至云的數(shù)據(jù)采用基于事件觸發(fā)的選擇性記錄方法，即根據(jù)特定的事件響應(yīng)來觸發(fā)是否將該時(shí)刻的數(shù)據(jù)上傳至云存儲，只需要在云端記錄有意義的數(shù)據(jù)，而并非記錄并上傳整個(gè)學(xué)習(xí)過程中采集到的所有數(shù)據(jù)。這樣做可以有效地壓縮云端記錄、傳輸和存儲的數(shù)據(jù)量。
[0022]相對于現(xiàn)有技術(shù)中的方案，本發(fā)明的優(yōu)點(diǎn)是:
[0023]1.本發(fā)明中的數(shù)據(jù)采集采用多模態(tài)多數(shù)據(jù)源的方式進(jìn)行，數(shù)據(jù)類型廣泛。
[0024]2.本發(fā)明中的云數(shù)據(jù)記錄采用基于特定事件觸發(fā)的選擇性記錄方法，根據(jù)特定的響應(yīng)來觸發(fā)數(shù)據(jù)的云記錄，有效地壓縮了云記錄的數(shù)據(jù)量，實(shí)現(xiàn)了一種多模態(tài)信息的壓縮傳輸方法。
[0025]3.本發(fā)明中同時(shí)結(jié)合單模態(tài)信息的判別方法和多模態(tài)信息的組合校正方法，極大地提高了學(xué)習(xí)者學(xué)習(xí)狀態(tài)判別的準(zhǔn)確度和可靠性。
【附圖說明】
[0026]圖1為本發(fā)明的多模態(tài)學(xué)習(xí)過程狀態(tài)信息記錄方法的總體流程示意圖；
[0027]圖2為本發(fā)明的多模態(tài)學(xué)習(xí)過程狀態(tài)信息記錄方法的多模態(tài)數(shù)據(jù)采集示意圖；
[0028]圖3為本發(fā)明的多模態(tài)學(xué)習(xí)過程狀態(tài)信息記錄方法中數(shù)據(jù)觸發(fā)條件的判別示意圖。
【具體實(shí)施方式】
[0029]以下結(jié)合具體實(shí)施例對上述方案做進(jìn)一步說明。應(yīng)理解，這些實(shí)施例是用于說明本發(fā)明而不限于限制本發(fā)明的范圍。實(shí)施例中采用的實(shí)施條件可以根據(jù)具體廠家的條件做進(jìn)一步調(diào)整，未注明的實(shí)施條件通常為常規(guī)實(shí)驗(yàn)中的條件。
[0030]實(shí)施例:
[0031]圖1為本發(fā)明的多模態(tài)學(xué)習(xí)過程狀態(tài)信息記錄方法總體流程示意圖。具體方法所需硬件方面，多模態(tài)數(shù)據(jù)采集裝置采用攝像頭、Tobi1、Kinect、麥克風(fēng)等，其中Tobii是一種可以檢測人眼狀態(tài)、視線、注視點(diǎn)等的眼動儀器，Kinect是一種可以檢測人體姿態(tài)、動作等的體感儀器。這些設(shè)備的輸出端與信息處理裝置的輸入端連接，數(shù)據(jù)采集裝置安裝在顯示屏的正上方，以可拍攝到學(xué)習(xí)者面對顯示屏?xí)r的正面人臉圖像為安裝的基準(zhǔn);數(shù)據(jù)記錄裝置采用計(jì)算機(jī)、服務(wù)器(本地服務(wù)器和云服務(wù)器)、局域網(wǎng)等，將采集到的原始數(shù)據(jù)和格式化后的數(shù)據(jù)在本地進(jìn)行分類記錄和存儲;學(xué)習(xí)狀態(tài)的判別依靠編寫的程序?qū)?shù)據(jù)進(jìn)行處理和分析來完成;基于特定事件觸發(fā)所記錄的數(shù)據(jù)上傳至云服務(wù)器。
[0032]圖2為本發(fā)明的多模態(tài)學(xué)習(xí)過程狀態(tài)信息記錄方法中多模態(tài)數(shù)據(jù)采集示意圖。其中攝像頭采集表情數(shù)據(jù)，Kinect采集姿態(tài)數(shù)據(jù)，Tobii采集眼睛狀態(tài)數(shù)據(jù)和視線數(shù)據(jù)，麥克風(fēng)采集聲音數(shù)據(jù)。
[0033]圖3為本發(fā)明的多模態(tài)學(xué)習(xí)過程狀態(tài)信息記錄方法中數(shù)據(jù)云記錄觸發(fā)條件的判別示意圖。通過對采集到的多種信息進(jìn)行處理，完成表情識別、姿態(tài)識別、眼睛睜閉狀態(tài)識別、視線跟蹤識別、聲音模型識別等;然后將多模態(tài)信息