本發(fā)明涉及自然語言處理，特別是指一種基于文本特征融合的心理健康智能評估方法及系統(tǒng)。

背景技術：

1、隨著社會對心理健康意識的提高，心理健康問題已成為全球日益關注的公共健康問題之一。心理健康不僅影響個人的生活質(zhì)量和幸福感，也對社會發(fā)展和穩(wěn)定產(chǎn)生重要影響。傳統(tǒng)的心理健康評估方法，如問卷調(diào)查、面對面心理咨詢等，可能受到主觀性的影響，且在資源有限的情況下難以大規(guī)模實施。這些方法雖然在一定程度上能幫助個體了解自己的心理狀態(tài)，但由于其依賴于被評估者的自我報告，結(jié)果往往會受到個人主觀因素的干擾。

2、隨著自然語言處理（nlp）、計算機視覺技術（cv）和人工智能的飛速發(fā)展，以及跨模態(tài)模型技術的日益成熟，出現(xiàn)了利用這些技術進行心理健康識別的新機會。這些技術提供了更客觀和高效的工具，可以彌補傳統(tǒng)評估方法的不足。例如，自然語言處理技術能夠從文本中提取語義信息，揭示被評估者內(nèi)心的情感和心理狀態(tài)；計算機視覺技術則可以分析筆跡圖像，捕捉筆跡行為特征，進一步推斷個體的情緒和心理健康狀況。然而，單一模態(tài)的評估手段在全面性和準確性上仍存局限。

技術實現(xiàn)思路

1、為了解決現(xiàn)有方案對心理健康問題的關注和傳統(tǒng)心理健康評估方法的局限的技術問題，本發(fā)明實施例提供了一種基于文本特征融合的心理健康智能評估方法及系統(tǒng)。所述技術方案如下：

2、一方面，提供了一種基于文本特征融合的心理健康智能評估方法，其特征在于，方法適用于基于文本特征融合的心理健康智能評估系統(tǒng)，系統(tǒng)包括：手寫筆跡數(shù)據(jù)采集模塊、預處理模塊、多模態(tài)特征提取模塊、跨模態(tài)特征融合模塊、決策集成模塊以及分類結(jié)果評估模塊；

3、方法包括：

4、s1、采集測試者的手寫筆跡圖片數(shù)據(jù)，獲取手寫筆跡圖片數(shù)據(jù)集與文本語義數(shù)據(jù)集；通過預處理模塊對手寫筆跡圖片數(shù)據(jù)集和文本語義數(shù)據(jù)集進行預處理，提取手寫文本的內(nèi)容信息；

5、s2、采用改進的bert模型對預處理后的文本語義數(shù)據(jù)集進行語義特征提??；采用改進的mobilevit模型對預處理后的手寫筆跡圖片數(shù)據(jù)集進行視覺特征提取；采用筆跡特征提取器對手寫筆跡圖片數(shù)據(jù)集進行手寫筆跡特征提??；獲取提取后不同模態(tài)的特征；

6、s3、將不同模態(tài)的特征輸入跨模態(tài)融合模塊，進行綜合處理，獲得融合視覺、語義以及筆跡心理學的領域知識的綜合特征數(shù)據(jù)；

7、s4、通過多個分類器，對融合后的特征進行分類決策，通過軟投票策略綜合各分類器的預測結(jié)果；

8、s5、對所述預測結(jié)果進行多維特征的分析，得出用戶的心理健康評估結(jié)果；采集心理調(diào)查問卷數(shù)據(jù)，對用戶的心理健康評估結(jié)果進行驗證與評價。

9、可選地，s1中，采集測試者的手寫筆跡圖片數(shù)據(jù)，獲取手寫筆跡圖片數(shù)據(jù)集與文本語義數(shù)據(jù)集；通過預處理模塊對手寫筆跡圖片數(shù)據(jù)集和文本語義數(shù)據(jù)集進行預處理，提取手寫文本的內(nèi)容信息，包括：

10、獲取測試者的手寫筆記，手寫筆記的內(nèi)容為：覆蓋測試者日常生活及工作的全方面主題內(nèi)容；

11、其中，每個主題的內(nèi)容采集字數(shù)不少于50字；采集環(huán)境因素一致；

12、獲取測試者填寫的心理狀況相關調(diào)查問卷，提取調(diào)查問卷的評估結(jié)果；

13、基于采集的測試者的手寫筆記以及調(diào)查問卷評估結(jié)果，獲得手寫筆跡圖片數(shù)據(jù)集與文本語義數(shù)據(jù)集；

14、通過預處理模塊對手寫筆跡圖片數(shù)據(jù)集和文本語義數(shù)據(jù)集進行預處理，通過光學字符識別ocr技術，提取手寫文本的內(nèi)容信息。

15、可選地，s1中，對手寫筆跡圖片數(shù)據(jù)集和文本語義數(shù)據(jù)集進行預處理，通過光學字符識別ocr技術，提取手寫文本的內(nèi)容信息，包括：

16、對手寫筆跡圖片數(shù)據(jù)集和文本語義數(shù)據(jù)集進行預處理；

17、對手寫筆跡圖片數(shù)據(jù)集的預處理包括：圖像灰度處理、圖片噪聲處理、二值化處理以及圖片的旋轉(zhuǎn)矯正處理；

18、對文本語義數(shù)據(jù)集的預處理包括：文本清洗處理、光學字符識別ocr處理、分詞處理以及自然語言處理。

19、可選地，s2，采用改進的bert模型對文本語義數(shù)據(jù)集進行語義特征提取，包括：

20、加載預訓練的改進的bert模型及其對應的詞匯表；

21、將分詞處理后的文本序列轉(zhuǎn)換為改進的bert模型可接受的輸入格式，獲得輸入數(shù)據(jù)；可接受的輸入格式包括輸入ids、token類型ids以及注意力掩碼格式；

22、將輸入數(shù)據(jù)傳入bert模型，通過前向傳播計算輸出每個詞的上下文表示；

23、從輸出的上下文表示中提取每個詞的特征；

24、使用cls標記對應的向量作為整個句子的語義表示，或通過池化操作獲取整個句子的語義表示；

25、對提取的語義特征進行適應跨融合任務需求的處理。

26、可選地，s2中，采用改進的mobilevit模型對手寫筆跡圖片數(shù)據(jù)集進行視覺特征提取，包括：

27、將預處理后的圖像輸入到mobilevit模型中，通過mobilevit模型的混合架構(gòu)提取不同尺度的特征；輸出綜合不同層次特征的特征向量。

28、可選地，s2中，筆跡特征提取器，包括：

29、基于筆跡心理學的筆跡特征定義，以及手寫漢字與gb2313標準字庫漢字的對比思想，構(gòu)建單個手寫漢字筆跡特征提取器、一行手寫漢字筆跡特征提取器、多行手寫漢字筆跡特征提取器。

30、可選地，s3中，將不同模態(tài)的特征輸入跨模態(tài)融合模塊，進行綜合處理，獲得融合視覺、語義以及筆跡心理學的領域知識的綜合特征數(shù)據(jù)，包括：

31、獲取圖片視覺特征編碼、文本語義特征編碼以及手寫筆跡特征編碼，對三種特征編碼進行特征對齊和同步處理，將對齊和同步后的特征編碼合并；其中，圖片視覺特征與文本語義特征、圖片視覺特征特征與手寫筆跡特征之間進行交叉關注；

32、將合并后的特征編碼進行特征增強處理。

33、可選地，s4中，通過多個分類器，對融合后的特征進行分類決策，通過軟投票策略綜合各分類器的預測結(jié)果，包括：

34、在多分類器聯(lián)合投票決策集成機制中，融入不同的機器學習算法；

35、分別獨立訓練每一個分類器模型，使每個分類器模型都學習從輸入特征預測目標變量的映射；

36、采用軟投票的聯(lián)合投票機制，考慮每個分類器輸出的概率預測，對每個類別的預測概率進行加權平均，選擇平均概率最高的類別，獲得預測結(jié)果。

37、另一方面，提供了一種基于文本特征融合的心理健康智能評估系統(tǒng)，該系統(tǒng)應用于基于文本特征融合的心理健康智能評估方法，該系統(tǒng)包括：

38、手寫筆跡數(shù)據(jù)采集模塊，用于采集測試者的手寫筆跡圖片數(shù)據(jù)，獲取手寫筆跡圖片數(shù)據(jù)集與文本語義數(shù)據(jù)集；

39、預處理模塊，用于采對手寫筆跡圖片數(shù)據(jù)集和文本語義數(shù)據(jù)集進行預處理，提取手寫文本的內(nèi)容信息；

40、多模態(tài)特征提取模塊，用于采用改進的bert模型對預處理后的文本語義數(shù)據(jù)集進行語義特征提?。徊捎酶倪M的mobilevit模型對預處理后的手寫筆跡圖片數(shù)據(jù)集進行視覺特征提?。徊捎霉P跡特征提取器對手寫筆跡圖片數(shù)據(jù)集進行手寫筆跡特征提?。猾@取提取后不同模態(tài)的特征；

41、跨模態(tài)特征融合模塊，用于將不同模態(tài)的特征輸入跨模態(tài)融合模塊，進行綜合處理，獲得融合視覺、語義以及筆跡心理學的領域知識的綜合特征數(shù)據(jù)；

42、決策集成模塊，通過多個分類器，對融合后的特征進行分類決策，通過軟投票策略綜合各分類器的預測結(jié)果；

43、分類結(jié)果評估模塊，用于對所述預測結(jié)果進行多維特征的分析，得出用戶的心理健康評估結(jié)果；采集心理調(diào)查問卷數(shù)據(jù)，對用戶的心理健康評估結(jié)果進行驗證與評價。

44、另一方面，提供一種基于文本特征融合的心理健康智能評估設備，所述基于文本特征融合的心理健康智能評估設備包括：處理器；存儲器，所述存儲器上存儲有計算機可讀指令，所述計算機可讀指令被所述處理器執(zhí)行時，實現(xiàn)如上述基于文本特征融合的心理健康智能評估方法中的任一項方法。

45、另一方面，提供了一種計算機可讀存儲介質(zhì)，所述存儲介質(zhì)中存儲有至少一條指令，所述至少一條指令由處理器加載并執(zhí)行以實現(xiàn)上述基于文本特征融合的心理健康智能評估方法中的任一項方法。

46、本發(fā)明實施例提供的技術方案帶來的有益效果至少包括：

47、本發(fā)明實施例中，針對手寫筆跡特征與文本語義特征融合的跨模態(tài)模型相對傳統(tǒng)的心理健康評估方法，如問卷調(diào)查、面對面心理咨詢等速度更快；針對手寫筆跡特征與文本語義特征融合的跨模態(tài)模型將不同模態(tài)的特征輸入跨模態(tài)融合模塊，進行綜合處理，融合視覺、語義、筆跡心理學的領域知識，模型效果相對單一模態(tài)的模型效果更好；

48、本發(fā)明融合手寫筆跡特征和文本語義特征可以提供更加全面和多維度的心理健康評估。這種方法不僅考慮到書寫行為的變化，還分析書寫內(nèi)容的情感和語義，從而提供更精確的心理狀態(tài)評估。單一特征評估方法可能會受到噪音或單一維度信息的限制，通過融合多種特征，可以減少單一誤差，提高評估結(jié)果的準確性和可靠性；

49、針對手寫筆跡特征與文本語義特征融合的跨模態(tài)模型方法及系統(tǒng)可應用于教育領域如學生心理健康監(jiān)測，醫(yī)療領域如臨床心理輔助評估、遠程心理健康監(jiān)控等等，工作場所如企業(yè)員工心理健康輔助管理，司法領域如犯罪心理分析、犯罪心理學等等，個人健康管理如自我心理健康輔助監(jiān)測；通過結(jié)合筆跡心理學、文本語義分析和圖片視覺分析等多種技術手段，實現(xiàn)了對個體心理健康狀態(tài)的全面評估。該方法不僅提高了心理健康識別的準確性和可靠性，還為心理健康干預提供了科學依據(jù)，有助于公共衛(wèi)生機構(gòu)制定有效的心理健康干預策略。隨著技術的不斷進步，相信這一方法將在心理健康評估和干預領域發(fā)揮越來越重要的作用，為提升社會整體心理健康水平做出貢獻。