的信 息。例如受試對(duì)象刻意控制自己的笑容（smilecontrol),通常表現(xiàn)為AU12未正常結(jié)束時(shí) 出現(xiàn)輕蔑表情AU14或厭惡表情AU15。運(yùn)被屯、理學(xué)研究者認(rèn)為是受試對(duì)象抑制自己愉悅 情緒表達(dá)的一種傾向，是一個(gè)與抑郁程度緊密關(guān)聯(lián)的重要特征。
[0049] 視頻特征庫f中包括了一些AU時(shí)間域統(tǒng)計(jì)特征，例如特定AU在一段時(shí)間內(nèi)出現(xiàn) 的頻率，平均持續(xù)時(shí)間等。除了瞬時(shí)的表情動(dòng)作之外，面部表情動(dòng)作在一段時(shí)間內(nèi)的統(tǒng)計(jì)特 征也與抑郁緊密關(guān)聯(lián)。例如長(zhǎng)時(shí)間面部表情缺乏變化被認(rèn)為是抑郁的一個(gè)表征，面部肌肉 運(yùn)動(dòng)的缺乏預(yù)示著精神運(yùn)動(dòng)遲滯。抑郁癥患者中AU14的出現(xiàn)頻率會(huì)顯著升高，而AU12 的出現(xiàn)頻率顯著降低。視頻特征庫f中包括的底層幾何特征指的是由人臉特征點(diǎn)計(jì)算出的 一系列角度和距離等幾何測(cè)量。圖3給出了根據(jù)AU12設(shè)計(jì)的一組幾何特征示意圖，標(biāo)示 了特征點(diǎn)之間的距離、臉部某一部位的高度、點(diǎn)之間的角度。視頻特征庫f中包括的底層表 觀特征則描繪了人臉圖像中紋理，邊緣，曲線方向等信息。本發(fā)明選用SIFT的描述子作為 表觀特征。通常SIFT描述子的提取位置和尺度由SIFT檢測(cè)子得到，但本發(fā)明選擇一組由 人臉特征點(diǎn)決定的固定提取位置。同時(shí)本發(fā)明固定SIFT的提取尺度。結(jié)合之前描述的圖 像對(duì)齊步驟，本發(fā)明保證了訓(xùn)練和測(cè)試中所有人臉圖像上提取到的SIFT描述子可W在統(tǒng) 一平臺(tái)上做比較。
[0050] 由上所述，系統(tǒng)經(jīng)過預(yù)處理和特征提取，將受試對(duì)象的各類人臉特征匯集成視頻 特征庫/。l/w，/如，/w,，/<>。，.。
[0051] 3)相關(guān)特征提取模塊3 :獲取視頻特征庫f中的最相關(guān)特征t
[0052] 相關(guān)特征選擇部分3,是基于預(yù)處理和特征提取部分2,計(jì)算特征庫f中的每一個(gè) 維度f(i)與抑郁標(biāo)簽y的相關(guān)程度，W選擇與抑郁程度最為相關(guān)的特征。本發(fā)明采用皮 爾遜相關(guān)系數(shù)定義來計(jì)算相關(guān)程度R(i).為了從中選取出與抑郁標(biāo)簽y相關(guān)程度 (包括正相關(guān)和負(fù)相關(guān)）最大的特征，本發(fā)明基于R(i)2對(duì)進(jìn)行降序排序，根據(jù)實(shí) 際應(yīng)用需要，選取前η個(gè)特征維度，或選取所有R(i)2大于一定預(yù)設(shè)闊值的特征維度。本發(fā) 明將選取得到的特征維度集合記為{fsOM。對(duì)fs中每一個(gè)特征維度，本發(fā)明同時(shí)記錄對(duì) 應(yīng)的Rs(i)。
[0053] 4)預(yù)測(cè)模型訓(xùn)練模塊4利用ε-SVR參數(shù)回歸方法建立預(yù)測(cè)模型函數(shù)h( ·)
[0054] 在訓(xùn)練預(yù)測(cè)器時(shí)，利用視頻數(shù)據(jù)集合，樣本個(gè)數(shù)為η,，訓(xùn)練一個(gè)回歸模型， 來預(yù)測(cè)新輸入視頻的抑郁嚴(yán)重程度。為了提升系統(tǒng)穩(wěn)定性，本發(fā)明計(jì)算量化后的抑郁程度 標(biāo)簽y。，量化標(biāo)準(zhǔn)中的五個(gè)等級(jí)分別對(duì)應(yīng)了正常，輕微抑郁，中性抑郁，重度抑郁和極重度 抑郁。
[0055] 本發(fā)明采用如下的量化標(biāo)準(zhǔn)：
[0056]
《1)
[0057] 訓(xùn)練回歸模型時(shí)，本發(fā)明采用標(biāo)準(zhǔn)ε-SVR參數(shù)回歸方法，即求解優(yōu)化問題：
[0058]
[0059]
[0060] W回歸方程的權(quán)重矩陣，b表示回歸方程的截距，if表示表示特征向量，表示標(biāo) 簽值。C是正則化參數(shù)，ξ,表示回歸方程軟間隔，ε>0。
[006。 ε-SVR在訓(xùn)練樣本[//，.中估計(jì)一個(gè)預(yù)測(cè)函數(shù)h(·)，在保持函數(shù)的平滑性的同 時(shí)，盡可能符合訓(xùn)練樣本。對(duì)于新輸入視頻，本發(fā)明提取選定特征fs，進(jìn)而預(yù)測(cè)抑郁程度ν=Λ(/、
[0062] 5)對(duì)于新輸入的訪談視頻，新視頻標(biāo)注模塊5自動(dòng)標(biāo)注出最值得注意的位置和區(qū) 段，新視頻預(yù)測(cè)模塊6給出新輸入訪談視頻的抑郁嚴(yán)重程度f"=的記"）
[0063] 在新輸入視頻時(shí)，本發(fā)明采取與訓(xùn)練集中一致的預(yù)處理方法，檢測(cè)人臉特征點(diǎn)，對(duì) 齊圖像，提取圖像特征。本發(fā)明根據(jù)提取得到的最相關(guān)特征fs，標(biāo)注出視頻中最值得注意 的位置和區(qū)段。對(duì)于AU特征fw，AU組合事件/w。和底層幾何特征片。。，本發(fā)明在人臉圖像 相應(yīng)視頻位置和區(qū)段做出標(biāo)注。對(duì)于AU時(shí)間域統(tǒng)計(jì)特征/w,，本發(fā)明在視頻上添加顯示 說明。圖4給出了一個(gè)視頻標(biāo)注的示意。圖4(a)側(cè)展示了用戶選定的回顧帖和當(dāng)前播放 所在帖。在兩帖中，值得注意的位置用虛線圓標(biāo)出，與抑郁正相關(guān)采用灰色，負(fù)相關(guān)采用黑 色。圖4化），系統(tǒng)在視頻中標(biāo)注出了值得注意的時(shí)間區(qū)段，與抑郁正相關(guān)的特征區(qū)段用灰色 標(biāo)出，負(fù)相關(guān)的特征區(qū)段用黑色標(biāo)出。其中正負(fù)相關(guān)信息來自特征選取時(shí)記錄的Rs(i)。圖 4(c)、圖4(d)，系統(tǒng)顯示了一段時(shí)間內(nèi)的AU變化曲線和統(tǒng)計(jì)信息。同時(shí)，利用ε-SVR訓(xùn)練 得到的預(yù)測(cè)函數(shù)h( ·)，本發(fā)明可W預(yù)測(cè)新視頻的抑郁程度= 趕個(gè)分值粟g為抑郁程 度的評(píng)估提供了數(shù)據(jù)依據(jù)。
[0064] 在本發(fā)明中，本發(fā)明提出了一套基于表情分析的抑郁程度自動(dòng)評(píng)估系統(tǒng)。在實(shí)際 使用時(shí)，該系統(tǒng)可W自動(dòng)的預(yù)測(cè)受試對(duì)象的抑郁嚴(yán)重程度，同時(shí)在訪談視頻中標(biāo)注出值得 注意的位置和區(qū)段，為抑郁癥的評(píng)估提供了一種客觀的參考標(biāo)準(zhǔn)。
[0065] W上所述的是本發(fā)明的一個(gè)優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出：在不脫離本發(fā)明原理的前 提下，本研究領(lǐng)域的技術(shù)人員做出的若干改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一種基于表情分析的抑郁程度自動(dòng)評(píng)估系統(tǒng)，其特征在于：包括： 數(shù)據(jù)采集模塊（1):采集受試對(duì)象的訪談視頻，每一段視頻都對(duì)應(yīng)標(biāo)注了抑郁程度 HAMD-17 分值 y ; 預(yù)處理和特征提取模塊（2):根據(jù)FACS手冊(cè)定義視頻特征庫f，并在訪談視頻中提取視 頻特征庫f及其對(duì)應(yīng)的HAMD-17分值y，并對(duì)HAMD-17分值y進(jìn)行5級(jí)量化得到HAMD-17量 化分值； 相關(guān)特征提取模塊（3):獲取視頻特征庫f中與抑郁嚴(yán)重程度最相關(guān)的特征fs; 預(yù)測(cè)模型訓(xùn)練模塊（4):利用ε-SVR參數(shù)回歸方法建立抑郁程度的預(yù)測(cè)模型函數(shù) h( ·); 新視頻標(biāo)注模塊（5):對(duì)于新輸入的訪談視頻，自動(dòng)標(biāo)注出最值得注意的位置和區(qū)段； 新視頻預(yù)測(cè)模塊(6):由預(yù)測(cè)模型函數(shù)h( ·)給出新輸入訪談視頻的抑郁嚴(yán)重程度 v = Κ ?\ )，2. 根據(jù)權(quán)利要求1所述的基于表情分析的抑郁程度自動(dòng)評(píng)估系統(tǒng)，其特征在于：所述 數(shù)據(jù)采集模塊（1)的訪談視頻的內(nèi)容為受試對(duì)象接受HAMD-17量表訪談時(shí)的面部動(dòng)作；并 且，每一段視頻都對(duì)應(yīng)標(biāo)注了抑郁程度HAMD-17分值y。3. 根據(jù)權(quán)利要求1所述的基于表情分析的抑郁程度自動(dòng)評(píng)估系統(tǒng)，其特征在于：所述 視頻特征庫f中包括FACS手冊(cè)定義的AU特征fAU，AU組合事件特征，AU時(shí)間域統(tǒng)計(jì)特 征Λρ,，底層幾何特征ffe。，底層表觀特征fApp;其中，AU為表情動(dòng)作單元。4. 根據(jù)權(quán)利要求3所述的基于表情分析的抑郁程度自動(dòng)評(píng)估系統(tǒng)，其特征在于：所述 底層表觀特征fApp選用SIFT的描述子。5. 根據(jù)權(quán)利要求1所述的基于表情分析的抑郁程度自動(dòng)評(píng)估系統(tǒng)，其特征在于：所述 預(yù)處理和特征提取模塊（2)中的HAMD-17量化分值是對(duì)HAMD-17分值y進(jìn)行5級(jí)量化得 到，量化區(qū)間為：0-7、8-13、14-18、19-22、23分及以上；對(duì)應(yīng)的HAMD-17的量化分值分別為 1、2、3、4、5〇6. 根據(jù)權(quán)利要求1所述的基于表情分析的抑郁程度自動(dòng)評(píng)估系統(tǒng)，其特征在于：所 述相關(guān)特征提取模塊（3)是在預(yù)處理和特征提取模塊（2)提取的視頻特征庫f和對(duì)應(yīng)的 HAMD-17分值基礎(chǔ)上，利用皮爾遜相關(guān)系數(shù)搜索視頻特征庫中與抑郁嚴(yán)重程度最相關(guān)的特 征fs;在搜索與抑郁嚴(yán)重程度最相關(guān)的特征f對(duì)，對(duì)視頻特征庫f中每一個(gè)維度計(jì)算皮爾 遜相關(guān)系數(shù)R(i)，然后基于R(i)2對(duì)特征維度降序排列。7. 根據(jù)權(quán)利要求1所述的基于表情分析的抑郁程度自動(dòng)評(píng)估系統(tǒng)，其特征在于：所述 預(yù)測(cè)模型訓(xùn)練模塊（4)是基于相關(guān)特征提取模塊（3)得到的與抑郁嚴(yán)重程度最相關(guān)的特 征，建立的抑郁程度預(yù)測(cè)模型。8. 根據(jù)權(quán)利要求7所述的基于表情分析的抑郁程度自動(dòng)評(píng)估系統(tǒng)，其特征在于：所述 的抑郁程度預(yù)測(cè)模型輸出為HAMD-17量化分值，HAMD-17的量化分值1、2、3、4、5分別對(duì)應(yīng) 正常、輕微、中性、重度和極重度五個(gè)抑郁等級(jí)。9. 根據(jù)權(quán)利要求1所述的基于表情分析的抑郁程度自動(dòng)評(píng)估系統(tǒng)，其特征在于：所述 新視頻標(biāo)注模塊（5)根據(jù)相關(guān)特征提取模塊（3)得到的與抑郁嚴(yán)重程度最相關(guān)的特征，在 視頻的相應(yīng)幀區(qū)間內(nèi)進(jìn)行標(biāo)注，便于回顧視頻中與抑郁嚴(yán)重程度最相關(guān)視頻位置和區(qū)段。
【專利摘要】本發(fā)明公開了一種基于表情分析的抑郁程度自動(dòng)評(píng)估系統(tǒng)，包括數(shù)據(jù)采集模塊、預(yù)處理和特征提取模塊、相關(guān)特征提取模塊、預(yù)測(cè)模型訓(xùn)練模塊、新視頻標(biāo)注模塊和新視頻預(yù)測(cè)模塊。本發(fā)明全程自動(dòng)化，無侵入，無需受試對(duì)象的長(zhǎng)時(shí)間配合，可長(zhǎng)時(shí)間工作；本發(fā)明提供了一種客觀的評(píng)估標(biāo)準(zhǔn)，不依賴于主觀經(jīng)驗(yàn)，能夠真正做到客觀有效的評(píng)估；本發(fā)明能夠綜合分析不同受試對(duì)象的數(shù)據(jù)，不局限于對(duì)單一對(duì)象進(jìn)行孤立分析。
【IPC分類】G06K9/00, G06F19/00, G06K9/62
【公開號(hào)】CN105279380
【申請(qǐng)?zhí)枴緾N201510746466
【發(fā)明人】王橋, 劉瑞, 袁勇貴, 夏睿, 陸建
【申請(qǐng)人】東南大學(xué)
【公開日】2016年1月27日
【申請(qǐng)日】2015年11月5日