一種基于表情分析的抑郁程度自動(dòng)評(píng)估系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及抑郁程度評(píng)估系統(tǒng)，特別是設(shè)及一種基于表情分析的抑郁程度自動(dòng)評(píng) 估系統(tǒng)。
【背景技術(shù)】
[0002] 抑郁癥是W行為出現(xiàn)異常，屯、境低落為主要癥狀的一種屯、身疾病，常伴有情緒認(rèn) 知障礙，具有高發(fā)病率、難治愈和高自殺率的特點(diǎn)。據(jù)世界衛(wèi)生組織統(tǒng)計(jì)，抑郁癥的年患病 率為10%，終身患病率為17%，每年約100萬人死于自殺。并且，據(jù)世界衛(wèi)生組織預(yù)測(cè)，截 至2020年抑郁癥將成為世界第二大致殘誘因，至2030年抑郁癥將成為最大的疾病負(fù)擔(dān)。
[0003] 傳統(tǒng)的抑郁癥評(píng)估采用臨床問卷及訪談方式，需要根據(jù)病人的當(dāng)前狀況、病史、家 族史W及各種社會(huì)屯、理量表填寫情況進(jìn)行評(píng)估。常用的Ξ大診斷系統(tǒng)為精神疾病診斷與統(tǒng) 計(jì)手冊(cè)第4版、國際疾病分類第10版和中國精神疾病分類方案與診斷標(biāo)準(zhǔn)第3版。現(xiàn)有的 抑郁評(píng)估時(shí)根據(jù)抑郁癥自評(píng)量表和醫(yī)生的經(jīng)驗(yàn)來判斷的，該技術(shù)存在W下不足：
[0004] (1)臨床問卷及訪談對(duì)醫(yī)生的專業(yè)知識(shí)和臨床經(jīng)驗(yàn)要求較高，易受到醫(yī)生的主觀 因素影響；
[0005] (2)臨床問卷及訪談需要受試對(duì)象的長時(shí)間的積極配合，已引起受試者的煩躁；
[0006] (3)臨床問卷及訪談忽略了抑郁癥患者的無意識(shí)表情或動(dòng)作，無法進(jìn)行客觀有效 的分析評(píng)估。并且，臨床問卷及訪談方式效率低，資源消耗大。

【發(fā)明內(nèi)容】

[0007] 發(fā)明目的：本發(fā)明的目的是提供一種自動(dòng)化、無需受試對(duì)象長時(shí)間配合的客觀有 效的基于表情分析的抑郁程度自動(dòng)評(píng)估系統(tǒng)。
[000引技術(shù)方案：為達(dá)到此目的，本發(fā)明采用W下技術(shù)方案：
[0009] 本發(fā)明所述的基于表情分析的抑郁程度自動(dòng)評(píng)估系統(tǒng)，包括：
[0010] 數(shù)據(jù)采集模塊：采集受試對(duì)象的訪談視頻，每一段視頻都對(duì)應(yīng)標(biāo)注了抑郁程度 HAMD-17 分值y;
[0011] 預(yù)處理和特征提取模塊：根據(jù)FACS手冊(cè)定義視頻特征庫f，并在訪談視頻中提取 視頻特征庫f及其對(duì)應(yīng)的HAMD-17分值y，并對(duì)HAMD-17分值y進(jìn)行5級(jí)量化得到HAMD-17 量化分值；
[0012] 相關(guān)特征提取模塊：獲取視頻特征庫f中與抑郁嚴(yán)重程度最相關(guān)的特征
[0013] 預(yù)測(cè)模型訓(xùn)練模塊：利用ε-SVR參數(shù)回歸方法建立抑郁程度的預(yù)測(cè)模型函數(shù) h( ·);
[0014] 新視頻標(biāo)注模塊：對(duì)于新輸入的訪談視頻，自動(dòng)標(biāo)注出最值得注意的位置和區(qū) 段；
[0015] 新視頻預(yù)測(cè)模塊：由預(yù)測(cè)模型函數(shù)h( ·)給出新輸入訪談視頻的抑郁嚴(yán)重程度 r二 &(/.. )·
[0016] 進(jìn)一步，所述數(shù)據(jù)采集模塊的訪談視頻的內(nèi)容為受試對(duì)象接受HAMD-17量表訪談 時(shí)的面部動(dòng)作；并且，每一段視頻都對(duì)應(yīng)標(biāo)注了抑郁程度HAMD-17分值y。
[0017] 進(jìn)一步，所述視頻特征庫f中包括FACS手冊(cè)定義的AU特征f,。，AU組合事件特征 /?，,，AU時(shí)間域統(tǒng)計(jì)特征./w,，底層幾何特征片。。，底層表觀特征fApp;其中，AU為表情動(dòng)作 單元。
[0018]進(jìn)一步，所述底層表觀特征fApp選用SIFT的描述子。
[0019] 進(jìn)一步，所述預(yù)處理和特征提取模塊中的HAMD-17量化分值是對(duì)HAMD-17分值y 進(jìn)行5級(jí)量化得到，量化區(qū)間為：0-7、8-13、14-18、19-22、23分及W上；對(duì)應(yīng)的HAMD-17的 量化分值分別為1、2、3、4、5。
[0020] 進(jìn)一步，所述相關(guān)特征提取模塊是在預(yù)處理和特征提取模塊提取的視頻特征庫f 和對(duì)應(yīng)的HAMD-17分值基礎(chǔ)上，利用皮爾遜相關(guān)系數(shù)捜索視頻特征庫中與抑郁嚴(yán)重程度最 相關(guān)的特征fs;在捜索與抑郁嚴(yán)重程度最相關(guān)的特征fS時(shí)，對(duì)視頻特征庫f中每一個(gè)維度 計(jì)算皮爾遜相關(guān)系數(shù)R(i)，然后基于R(i) 2對(duì)特征維度降序排列。
[0021] 進(jìn)一步，所述預(yù)測(cè)模型訓(xùn)練模塊是基于相關(guān)特征提取模塊得到的與抑郁嚴(yán)重程度 最相關(guān)的特征，建立的抑郁程度預(yù)測(cè)模型。
[0022] 進(jìn)一步，所述的抑郁程度預(yù)測(cè)模型輸出為HAMD-17量化分值，HAMD-17的量化分值 1、2、3、4、5分別對(duì)應(yīng)正常、輕微、中性、重度和極重度五個(gè)抑郁等級(jí)。
[0023]進(jìn)一步，所述新視頻標(biāo)注模塊根據(jù)相關(guān)特征提取模塊得到的與抑郁嚴(yán)重程度最相 關(guān)的特征，在視頻的相應(yīng)帖區(qū)間內(nèi)進(jìn)行標(biāo)注，便于回顧視頻中與抑郁嚴(yán)重程度最相關(guān)視頻 位置和區(qū)段。
[0024] 有益效果：本發(fā)明具有W下的有益效果：
[0025]1)本發(fā)明全程自動(dòng)化，無侵入，無需受試對(duì)象的長時(shí)間配合，可長時(shí)間工作；
[0026]2)本發(fā)明提供了一種客觀的評(píng)估標(biāo)準(zhǔn)，不依賴于主觀經(jīng)驗(yàn)，能夠真正做到客觀有 效的評(píng)估；
[0027] 3)本發(fā)明能夠綜合分析不同受試對(duì)象的數(shù)據(jù)，不局限于對(duì)單一對(duì)象進(jìn)行孤立分 析。
【附圖說明】
[0028] 圖1為本發(fā)明的系統(tǒng)框圖；
[0029] 圖2為本發(fā)明的預(yù)處理和特征提取模塊進(jìn)行人臉特征點(diǎn)提取和圖像對(duì)齊的示意 圖；
[0030] 圖3為本發(fā)明的底層幾何特征的示意圖；
[0031]圖4為本發(fā)明的表情分析視頻標(biāo)注的示意圖。
【具體實(shí)施方式】
[0032]下面結(jié)合【具體實(shí)施方式】對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步的介紹。
[0033] 本發(fā)明的系統(tǒng)包括數(shù)據(jù)采集模塊1、預(yù)處理和特征提取模塊2、相關(guān)特征提取模塊 3、預(yù)測(cè)模型訓(xùn)練模塊4、新視頻標(biāo)注模塊5和新視頻預(yù)測(cè)模塊6,如圖1所示。
[0034]其中：
[0035]數(shù)據(jù)采集模塊1 :采集受試對(duì)象的訪談視頻，每一段視頻都對(duì)應(yīng)標(biāo)注了抑郁程度 HAMD-17 分值y;
[0036] 預(yù)處理和特征提取模塊2:根據(jù)FACS手冊(cè)定義視頻特征庫f，并在訪談視頻中提取 視頻特征庫f及其對(duì)應(yīng)的HAMD-17分值y，并對(duì)HAMD-17分值y進(jìn)行5級(jí)量化得到HAMD-17 量化分值；其中，F(xiàn)ACS(FacialActionCodingSystem)手冊(cè)是屯、理學(xué)家為了科學(xué)分析面部 表情，在上世紀(jì)70年代提出的；
[0037]相關(guān)特征提取模塊3 :獲取視頻特征庫f中與抑郁嚴(yán)重程度最相關(guān)的特征fg，W下 簡稱為最相關(guān)特征
[0038] 預(yù)測(cè)模型訓(xùn)練模塊4:利用ε-SVR參數(shù)回歸方法建立預(yù)測(cè)模型函數(shù)h( ·);
[0039] 新視頻標(biāo)注模塊5:對(duì)于新輸入的訪談視頻，自動(dòng)標(biāo)注出最值得注意的位置和區(qū) 段；
[0040] 新視頻預(yù)測(cè)模塊6 :由預(yù)測(cè)模型函數(shù)h(·)給出新輸入訪談視頻的抑郁嚴(yán)重程度
[0041] 系統(tǒng)的輸出包括兩個(gè)部分：（1)預(yù)測(cè)器給出的抑郁程度預(yù)測(cè)分值；(2)新輸入數(shù)據(jù) 中最相關(guān)特征所在的視頻位置。本系統(tǒng)通過預(yù)測(cè)抑郁程度，自動(dòng)標(biāo)注新輸入視頻中值得注 意的位置和區(qū)段，為受試者的抑郁特征評(píng)估提供了客觀依據(jù)。
[0042] 下面W-個(gè)實(shí)施例為例，對(duì)本發(fā)明系統(tǒng)進(jìn)行更進(jìn)一步的介紹，本發(fā)明系統(tǒng)的工作 過程如下：
[0043] 1)數(shù)據(jù)采集模塊1采集受試對(duì)象的訪談視頻
[0044] 錄制訪談視頻時(shí)，固定光照環(huán)境和拍攝角度，由兩名評(píng)定者與受試對(duì)象進(jìn)行交談， 整個(gè)過程持續(xù)15分鐘或者20分鐘，訪談結(jié)束后，兩名評(píng)定者分別獨(dú)立評(píng)分。為避免評(píng)定者 主觀因素對(duì)判定結(jié)果的影響，后期選取兩評(píng)定員一致性較好的評(píng)分結(jié)果進(jìn)行分析。并為了 保證不同受試對(duì)象不同時(shí)間的訪談錄像中成像環(huán)境和討論問題一致，訪談內(nèi)容為HAMD-17 量表，保證了視頻數(shù)據(jù)的可比性。由此，每一段訪談視頻都對(duì)應(yīng)了一個(gè)HAMD-17屯、理學(xué)量表 分值。本發(fā)明將運(yùn)個(gè)分值作為抑郁程度標(biāo)簽，記為y。
[0045] 2)預(yù)處理和特征提取模塊2根據(jù)FACS手冊(cè)定義視頻特征庫f，并在訪談視頻中提 取視頻特征庫f及其對(duì)應(yīng)的HAMD-17分值y，并對(duì)HAMD-17分值y進(jìn)行5級(jí)量化得到HAMD-17 量化分值
[0046] 本發(fā)明的視頻預(yù)處理過程是采用SDM技術(shù)和普氏分析法實(shí)現(xiàn)視頻中的人臉特征 點(diǎn)檢測(cè)和人臉圖像對(duì)齊。SDM技術(shù)檢測(cè)訪談視頻中的每一帖的人臉特征點(diǎn)，人臉特征點(diǎn)的 檢測(cè)示意圖見圖2 (a)。由于人臉視頻中包含頭部姿態(tài)，焦距，拍攝角度和距離的等因素，會(huì) 干擾表情的分析。因此，將視頻中的人臉與參考人臉形狀對(duì)齊，實(shí)現(xiàn)圖像對(duì)齊。在對(duì)齊過程 中，預(yù)先選定一個(gè)固定大?。?00X200像素）的參考人臉形狀，如圖2(b)所示。對(duì)每一張人 臉圖像，利用普氏分析法，計(jì)算最優(yōu)的尺度，（平面內(nèi)）旋轉(zhuǎn)和平移變換，使得人臉圖像與參 考形狀最接近。運(yùn)個(gè)過程保證了參與訓(xùn)練和測(cè)試的所有人臉圖像在統(tǒng)一的尺度上，并且不 受頭部姿態(tài)（平面內(nèi)）偏轉(zhuǎn)的影響。對(duì)齊后的人臉圖像和特征點(diǎn)如圖2(c)所示。
[0047] 在特征提取中，預(yù)先定義一個(gè)視頻特征庫f，包括FACS表情動(dòng)作單元（AU)fw，AU 組合事件，AU時(shí)間域統(tǒng)計(jì)特征ZftV，底層幾何特征片。。，底層表觀特征fApp等。
[004引視頻特征庫f中包括了一些AU組合事件。AU組合事件包含超出單個(gè)AU相加