本發(fā)明屬于心理測試
技術(shù)領(lǐng)域：
，具體涉及一種基于人臉圖像和眼動注視信息的心理測試方法。
背景技術(shù)：
：傳統(tǒng)意義上的心理測試，還是通過問卷回答，面對面直接溝通等方法，利用人的經(jīng)驗進行觀察被測試人的行為舉止進行心理判斷。隨著人工智能和模式識別技術(shù)發(fā)展和大量使用，多模態(tài)的數(shù)據(jù)采集設(shè)備日益增多，相應(yīng)的，利用這些數(shù)據(jù)進行行為識別和心理認知的技術(shù)越來越復雜；目前檢測主要是通過攝像頭獲取人的灰度或彩色圖像，并利用圖像處理和分析方法進行某種特定目的的識別，這樣的工作對行為檢測的范圍小，誤差大、成本高、對心理測試本身需要的信息融合度差，具有很大的局限性?；诖?，本領(lǐng)域技術(shù)人員設(shè)計開發(fā)了各種行為數(shù)據(jù)的采集設(shè)備，針對可能產(chǎn)生的各種問題。但，上述裝備往往是“獨立作戰(zhàn)”，多數(shù)裝備的功能單一，信息采集內(nèi)容有限，就小范圍少量的使用效果明顯，就針對更加復雜的行為檢測應(yīng)用仍存在成本、信息融合、工作誤差等問題。通過檢索，申請人發(fā)現(xiàn)了一些用于心理測試領(lǐng)域的系統(tǒng)類技術(shù)方案，基本是通過被測試人的圖像和他眼動注視信息，綜合分析其在被測試過程中的行為狀態(tài)，進而實現(xiàn)負責心理行為分析的要求。然而現(xiàn)有涉及心理測試的系統(tǒng)在心理測試過程中，無法實現(xiàn)對被測試人進行系統(tǒng)全面的行為狀態(tài)的分析，從而無法滿足全面分析被測試人的心理狀態(tài)特征。.技術(shù)實現(xiàn)要素：本發(fā)明的目的在于解決上述的技術(shù)問題而提供一種基于人臉圖像和眼動注視信息的心理測試方法，其可以實現(xiàn)識別并同步跟蹤被測試人的表情、頭部狀態(tài)、手部狀態(tài)和眼動注視位置的狀態(tài)，同時基于識別的被測試人的狀態(tài)，分析被測試人的心理狀態(tài)特征，達到輔助心理測試的要求。為實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：一種基于人臉圖像和眼動注視信息的心理測試方法,包括以下步驟：步驟1、訓練并建立用戶特征模型，用戶特征模型包括表情識別模型、手部狀態(tài)識別模型、頭部狀態(tài)識別模型、心理特征識別模型；步驟2、使用圖像識別技術(shù)提取人臉圖像特征并進行表情、手部以及頭部狀態(tài)識別；步驟3、利用眼動儀獲取用戶眼動注視位置，對用戶眼動注視點進行圖像映射，獲取左右眼在屏幕上的坐標；然后使用同步分配算法，實現(xiàn)在每秒預定數(shù)量幀的速度下，對每一幀圖像眼動注視位置與表情狀態(tài)、頭部狀態(tài)、手部狀態(tài)的同步記錄；步驟4、利用同步后的眼動注視狀態(tài)以及表情狀態(tài)、頭部狀態(tài)、手部狀態(tài)特征，建立有時間維度的特征狀態(tài)流；使用遞歸神經(jīng)網(wǎng)絡(luò)算法和心理特征識別算法，與訓練好的心理特征識別模型進行匹配，實現(xiàn)在每秒預定數(shù)量幀的速度下，對每一幀圖像心理狀態(tài)識別分析的同步記錄。其中，所述訓練并建立用戶特征模型的步驟如下：S101:搜集用戶心理數(shù)據(jù)樣本和彩色圖像數(shù)據(jù)樣本并進行標注；S102:建立表情特征識別模型：利用深度神經(jīng)網(wǎng)絡(luò)特征學習算法和表情分類算法，對標注后的圖像數(shù)據(jù)樣本進行學習，建立表情特征識別模型；S103:建立手部狀態(tài)識別模型：利用深度神經(jīng)網(wǎng)絡(luò)特征學習算法和手部動作分類算法，對標注后的圖像數(shù)據(jù)樣本進行學習，建立手部狀態(tài)特征識別模型；S104:建立頭部狀態(tài)識別模型：利用深度神經(jīng)網(wǎng)絡(luò)特征學習算法和頭部動作分類算法，對標注后的圖像數(shù)據(jù)樣本進行學習，建立頭部狀態(tài)特征識別模型；S105:建立心理特征識別模型：利用遞歸深度神經(jīng)網(wǎng)絡(luò)特征學習算法和心理特征分類算法，對標注后心理數(shù)據(jù)樣本的行為狀態(tài)特征與心理特征進行學習，建立心理特征識別模型。其中，所述使用圖像識別技術(shù)提取人臉圖像特征并進行狀態(tài)識別的步驟具體如下：S201:利用單幀視頻序列初始化背景模型；S202:利用背景模型進行前景檢測，并利用生命周期閾值調(diào)整背景模型的更新速度，完成前景檢測；S203:通過團塊檢測提取運動區(qū)域，并從運動區(qū)域中獲取人臉、頭部和手部的區(qū)域；S204:利用深度神經(jīng)網(wǎng)絡(luò)分別計算人臉、頭部和手部的每一個區(qū)域的狀態(tài)特征，利用識別算法實現(xiàn)人臉、頭部和手部的狀態(tài)識別。其中，每一個區(qū)域的狀態(tài)特征為2*2個梯度特征，分布于區(qū)域的4個頂角，通過在每個頂角截取一幅32*32的圖像而形成。本發(fā)明本發(fā)明通過采集人臉彩色圖像進行表情識別、頭部狀態(tài)識別、手部狀態(tài)識別，同時用眼動儀記錄被測試人的眼動注視位置，并將整個過程同步匹配，實現(xiàn)對被測試人在心理測試過程中的行為狀態(tài)與眼動注視狀態(tài)的同步跟蹤記錄，并基于得到的狀態(tài)數(shù)據(jù)進行建模分析，實現(xiàn)對被測試人的心理特征識別，實現(xiàn)了在心理測試過程中對被測試人的表情、手部、頭部、眼動狀態(tài)的在線識別和同步處理，最終實現(xiàn)對心理狀態(tài)的實時分析和記錄。該方法具有很高的檢測精度和較低的誤分率，同時較快的檢測速度也滿足實際心理測試的需要。附圖說明圖1出示了本發(fā)明基于人臉圖像和眼動注視信息的心理測試方法的測試進程示意圖；圖2出示了本發(fā)明基于人臉圖像和眼動注視信息的心理測試方法的流程圖。具體實施方式下面，結(jié)合實例對本發(fā)明的實質(zhì)性特點和優(yōu)勢作進一步的說明，但本發(fā)明并不局限于所列的實施例。本發(fā)明利用彩色人臉圖像進行表情識別、頭部狀態(tài)識別、手部狀態(tài)識別，同時利用眼動儀記錄被測試人的眼動注視位置，而且將整個過程進行同步匹配，實現(xiàn)對被測試人在心理測試過程中的行為狀態(tài)與眼動注視狀態(tài)的同步跟蹤記錄，并基于獲取的狀態(tài)數(shù)據(jù)進行建模分析，實現(xiàn)對被測試人的心理特征識別。參見圖2所示，一種基于人臉圖像和眼動注視信息的心理測試方法，包括如下步驟：步驟1、訓練并建立用戶特征模型：用戶特征模型包括表情識別模型、手部狀態(tài)識別模型、頭部狀態(tài)識別模型、心理特征識別模型；其中，本發(fā)明中，訓練并建立用戶特征模型的步驟可以采用如下方法：S101:搜集用戶心理數(shù)據(jù)樣本和彩色圖像數(shù)據(jù)樣本并進行標注；S102:建立表情識別模型：利用深度神經(jīng)網(wǎng)絡(luò)特征學習算法和表情分類算法，對標注后的彩色圖像數(shù)據(jù)樣本進行學習，建立表情特征識別模型；表情可以是包括如平淡、愉快、驚奇、生氣、厭煩、悲傷、恐懼；S103:建立手部狀態(tài)識別模型:利用深度神經(jīng)網(wǎng)絡(luò)特征學習算法和手部動作分類算法，對標注后的彩色圖像數(shù)據(jù)樣本進行學習，建立手部狀態(tài)特征識別模型；手部狀態(tài)可以是包括抬高、搖擺、推動、觸碰、雙手交叉；S104:建立頭部狀態(tài)識別模型:利用深度神經(jīng)網(wǎng)絡(luò)特征學習算法和頭部動作分類算法，對標注后的彩色圖像數(shù)據(jù)樣本進行學習，建立頭部狀態(tài)特征識別模型；頭部狀態(tài)可以是包括中正、搖擺、偏歪；S105:建立心理特征識別模型：利用遞歸深度神經(jīng)網(wǎng)絡(luò)特征學習算法和心理特征分類算法，對標注后心理數(shù)據(jù)樣本的行為狀態(tài)特征與心理特征進行學習，建立心理特征識別模型；參見圖1所示，在進行測試時，由用戶(被測試人)登錄系統(tǒng)，并輸入用戶信息，為了保證測試結(jié)果的準確性，系統(tǒng)會提供測試用圖例讓用戶觀察，進行表情識別、人臉識別，以驗證測試系統(tǒng)各方面功能，使用戶調(diào)整姿態(tài)，包括頭部位置、正面以及眼動注視位置等；在系統(tǒng)驗證正常后開始測試，在測試時，由用戶答題或被要求做某種反饋，在答題過程中采集用戶彩色圖像以及眼動注視數(shù)據(jù)，直到完成所述測試題后結(jié)束測試；步驟2、測試時，使用圖像識別技術(shù)提取獲取的人臉彩色圖像特征并進行狀態(tài)識別；本發(fā)明中，提取人臉彩色圖像特征并進行狀態(tài)識別可以采用如下方法來實現(xiàn)：S201:利用基于梯度的背景建模算法進行背景建模初始化，即利用單幀視頻序列初始化背景模型。背景建模方法都是根據(jù)背景圖像建立像素級的背景模型然后，對后續(xù)幀判斷哪些點符合模型，即被判斷為背景點，不符合模型的點判斷為前景點，最后利用背景點更新背景模型，達到前景檢測的目的。初始化是建立背景模型的過程，一般的檢測算法需要一定長度的視頻序列學習完成，影響了檢測的實時性，而且當視頻畫面突然變化時，重新學習背景模型需要較長時間。本發(fā)明提出的基于梯度的背景建模算法，是利用單幀視頻序列初始化背景模型，對于一個像素點，結(jié)合相鄰像素點擁有相近像素值的空間分布特性，隨機的選擇它的鄰域點的像素值作為它的模型樣本值。這樣不僅減少了背景模型建立的過程，還可以處理背景突然變化的情況，當檢測到背景突然變化明顯時，只需要舍棄原始的模型，重新利用變化后的首幀圖像建立背景模型。S202:利用背景模型進行前景檢測背景模型為每個背景點存儲一個樣本集，然后每個新的像素值和樣本集比較判斷是否屬于背景。計算新像素值和樣本集中每個樣本值的距離，若距離小于閾值，則近似樣本點數(shù)目增加。如果近似樣本點數(shù)目大于閾值，則認為新的像素點為背景。檢測過程主要由三個參數(shù)決定：樣本集數(shù)目(SampleNum)，閾值(CountThreshold)和距離相近判定的閾值(DistenceThreshold)，同時引入生命周期閾值(LifeThreshold)來調(diào)整背景更新速度。S203:人臉、頭部和手部的區(qū)域檢測在完成前景檢測后，要提取每個運動區(qū)域的位置需要進行團塊檢測。根據(jù)上層設(shè)置的最大區(qū)域面積濾除過大或過小的運動區(qū)域,最后剩下的運動區(qū)域被認為是人臉、頭部和手部的區(qū)域；S204:人臉、頭部和手部的狀態(tài)識別在得到所有的人臉、頭部和手部的運動區(qū)域后，將對每一個運動區(qū)域計算2*2個梯度特征。即選取每全運動區(qū)域的4個頂角，每個頂角截取一幅32*32的圖像。當運動區(qū)域不足64*64時會產(chǎn)生重疊區(qū)域，當運動區(qū)域大于64*64時會有忽略區(qū)域。對這些運動區(qū)域首先利用深度神經(jīng)網(wǎng)絡(luò)分別計算每一個區(qū)域的狀態(tài)特征，通過識別算法實現(xiàn)對不同區(qū)域內(nèi)的人臉表情狀態(tài)識別、頭部狀態(tài)識別和手部狀態(tài)識別；步驟3：眼動注視數(shù)據(jù)采集，并同步眼動注視跟蹤狀態(tài)。S301:利用眼動儀獲取用戶眼動注視位置，對用戶眼動注視點進行圖像映射，獲取左右眼在屏幕上的坐標，獲得眼動注視位置數(shù)據(jù)。S302:使用同步分配算法，實現(xiàn)在每秒15幀圖像的速度下，每一幀圖像的眼動注視位置和表情狀態(tài)、頭部狀態(tài)、手部狀態(tài)的同步記錄。步驟4：利用同步后的眼動注視狀態(tài)以及表情狀態(tài)、頭部狀態(tài)、手部狀態(tài)特征，進行心理特征識別和數(shù)據(jù)存儲。S401:利用同步后的眼動注視狀態(tài)以及表情狀態(tài)、頭部狀態(tài)、手部狀態(tài)特征，建立有時間維度的特征狀態(tài)流。S402:使用遞歸神經(jīng)網(wǎng)絡(luò)算法和心理特征識別算法，與訓練好的用戶心理特征識別模型進行匹配，實現(xiàn)在每秒15幀圖像的速度下，每一幀圖像的心理狀態(tài)特征識別分析的同步記錄。S403:記錄并存儲心理狀態(tài)特征數(shù)據(jù)。需要說明的是，本發(fā)明中，所提及的深度神經(jīng)網(wǎng)絡(luò)特征學習算法、表情分類算法、手部動作分類算法、頭部動作分類算法、遞歸深度神經(jīng)網(wǎng)絡(luò)特征學習算法、心理特征分類算法、圖像識別技術(shù)、同步分配算法、遞歸神經(jīng)網(wǎng)絡(luò)算法和心理特征識別算法，均可以采用現(xiàn)有算法予以實現(xiàn)，本發(fā)明對具體算法過程不再進行詳細說明。測試驗證：選取了2100段心理測試視頻進行了實驗，最后選用正確識別率和每段視頻的平均檢測識別時間對本發(fā)明的有效性進行評估。其中：正確識別率定義為正確識別的圖像個數(shù)與總的圖像數(shù)目之比；結(jié)果如表1所示。正確識別率和每幅圖片的平均檢測識別時間兩個評價指標均表明了本發(fā)明方法的有效性。正確識別率95.83％平均識別時間(ms)24.01表1本發(fā)明提出的基于人臉圖像和眼動注視信息的心理測試方法，可以實現(xiàn)在心理測試過程中對被測試人的表情、手部、頭部、眼動狀態(tài)的在線識別和同步處理，最終實現(xiàn)對心理狀態(tài)的實時分析和記錄。該方法具有很高的檢測精度和較低的誤分率，同時較快的檢測速度也滿足實際心理測試的需要。以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當指出，對于本
技術(shù)領(lǐng)域：
的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應(yīng)視為本發(fā)明的保護范圍。當前第1頁1 2 3