1.一種基于多模態(tài)情緒識別的心理干預(yù)方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的基于多模態(tài)情緒識別的心理干預(yù)方法,其特征在于,所述語音轉(zhuǎn)錄情感識別一體化模型包括編碼器、文本嵌入器和增強語言模型的解碼器,所述將預(yù)處理后的音頻數(shù)據(jù)的每一時間戳對應(yīng)的音頻、第一任務(wù)提示詞和第二任務(wù)提示詞,輸入到語音轉(zhuǎn)錄情感識別一體化模型中,得到每一時間戳對應(yīng)的語音情緒識別結(jié)果,步驟包括:
3.根據(jù)權(quán)利要求1所述的基于多模態(tài)情緒識別的心理干預(yù)方法,其特征在于,所述根據(jù)每一時間戳對應(yīng)的圖像情緒識別結(jié)果和每一時間戳對應(yīng)的語音情緒識別結(jié)果,得到每一時間戳對應(yīng)的最終情緒識別結(jié)果,步驟包括:
4.根據(jù)權(quán)利要求3所述的基于多模態(tài)情緒識別的心理干預(yù)方法,其特征在于,所述根據(jù)每一時間戳對應(yīng)的最終情緒識別結(jié)果,生成情感狀態(tài)識別報告,步驟包括:
5.根據(jù)權(quán)利要求4所述的基于多模態(tài)情緒識別的心理干預(yù)方法,其特征在于,所述圖像情緒識別結(jié)果和所述語音情緒識別結(jié)果包括恐懼、沮喪、焦慮、憤怒、快樂、驚訝、興奮、厭惡、壓力大;
6.根據(jù)權(quán)利要求1所述的基于多模態(tài)情緒識別的心理干預(yù)方法,其特征在于,所述對預(yù)處理后的視頻數(shù)據(jù)的每一時間戳對應(yīng)的幀圖像進(jìn)行情緒識別,得到每一時間戳對應(yīng)的圖像情緒識別結(jié)果,步驟包括:
7.根據(jù)權(quán)利要求1至6任一所述的基于多模態(tài)情緒識別的心理干預(yù)方法,其特征在于,所述分別對所述視頻數(shù)據(jù)和所述語音數(shù)據(jù)進(jìn)行預(yù)處理,步驟包括:
8.一種基于多模態(tài)情緒識別的心理干預(yù)系統(tǒng),其特征在于,包括:
9.一種計算機設(shè)備,包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序,其特征在于,所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1至7中任一項所述基于多模態(tài)情緒識別的心理干預(yù)方法的步驟。
10.一種計算機存儲介質(zhì),所述計算機存儲介質(zhì)存儲有計算機程序,其特征在于,所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至7中任一項所述基于多模態(tài)情緒識別的心理干預(yù)方法的步驟。