本技術(shù)涉及智能決策，尤其涉及一種微表情識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、微表情識(shí)別技術(shù)是一種基于人臉表情識(shí)別技術(shù)的先進(jìn)方法，它通過觀察和分析人臉上持續(xù)時(shí)間極短的微小表情變化，來(lái)推斷個(gè)體的情緒狀態(tài)和內(nèi)心世界。

2、現(xiàn)有微表情識(shí)別技術(shù)主要基于圖像單一模態(tài)數(shù)據(jù)進(jìn)行識(shí)別。

3、然而，申請(qǐng)人發(fā)現(xiàn)，傳統(tǒng)的微表情識(shí)別技術(shù)基于單一模態(tài)數(shù)據(jù)進(jìn)行識(shí)別存在以下局限性：圖像數(shù)據(jù)受光照、拍攝角度等因素影響較大，識(shí)別精度不高；因此，傳統(tǒng)的微表情識(shí)別技術(shù)存在識(shí)別精度較低的問題。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例的目的在于提出一種微表情識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，以解決傳統(tǒng)的微表情識(shí)別技術(shù)存在識(shí)別精度較低的問題。

2、為了解決上述技術(shù)問題，本技術(shù)實(shí)施例提供一種微表情識(shí)別方法，采用了如下所述的技術(shù)方案：

3、獲取待識(shí)別的原始圖像數(shù)據(jù)、原始語(yǔ)音數(shù)據(jù)以及原始腦電波數(shù)據(jù)；

4、分別對(duì)所述原始圖像數(shù)據(jù)、所述原始語(yǔ)音數(shù)據(jù)以及所述原始腦電波數(shù)據(jù)進(jìn)行預(yù)處理操作，得到預(yù)處理圖像數(shù)據(jù)、預(yù)處理語(yǔ)音數(shù)據(jù)以及預(yù)處理腦電波數(shù)據(jù)；

5、分別對(duì)所述預(yù)處理圖像數(shù)據(jù)、所述預(yù)處理語(yǔ)音數(shù)據(jù)以及所述預(yù)處理腦電波數(shù)據(jù)進(jìn)行特征提取操作，得到圖像特征數(shù)據(jù)、語(yǔ)音特征數(shù)據(jù)以及腦電波特征數(shù)據(jù)；

6、對(duì)所述圖像特征數(shù)據(jù)、所述語(yǔ)音特征數(shù)據(jù)以及所述腦電波特征數(shù)據(jù)進(jìn)行特征融合操作，得到三模態(tài)融合特征；

7、根據(jù)設(shè)置好的分類器對(duì)所述三模態(tài)融合特征進(jìn)行微表情分類操作，得到表情分類結(jié)果。

8、進(jìn)一步的，所述分別對(duì)所述原始圖像數(shù)據(jù)、所述原始語(yǔ)音數(shù)據(jù)以及所述原始腦電波數(shù)據(jù)進(jìn)行預(yù)處理操作，得到預(yù)處理圖像數(shù)據(jù)、預(yù)處理語(yǔ)音數(shù)據(jù)以及預(yù)處理腦電波數(shù)據(jù)的步驟，具體包括下述步驟：

9、根據(jù)高斯濾波法對(duì)所述原始圖像數(shù)據(jù)進(jìn)行圖像去噪操作，得到去噪圖像數(shù)據(jù)；

10、根據(jù)mask-rcnn檢測(cè)算法對(duì)所述去噪圖像數(shù)據(jù)進(jìn)行分割裁剪操作，得到分割圖像數(shù)據(jù)；

11、對(duì)所述分割圖像數(shù)據(jù)進(jìn)行圖像歸一化操作，得到所述預(yù)處理圖像數(shù)據(jù)；

12、根據(jù)預(yù)設(shè)幀長(zhǎng)度對(duì)所述原始語(yǔ)音數(shù)據(jù)進(jìn)行分幀操作，得到分幀語(yǔ)音數(shù)據(jù)；

13、根據(jù)短時(shí)能量閾值法對(duì)所述分幀語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音去噪操作，得到去噪語(yǔ)音數(shù)據(jù)；

14、對(duì)所述去噪語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音歸一化操作，得到所述預(yù)處理語(yǔ)音數(shù)據(jù)；

15、根據(jù)高通濾波法對(duì)所述原始腦電波數(shù)據(jù)進(jìn)行腦電波濾波操作，得到濾波腦電波數(shù)據(jù)；

16、根據(jù)濾波法對(duì)所述濾波腦電波數(shù)據(jù)進(jìn)行腦電波去噪處理，得到去噪腦電波數(shù)據(jù)；

17、對(duì)所述去噪腦電波數(shù)據(jù)進(jìn)行腦電波歸一化操作，得到所述預(yù)處理腦電波數(shù)據(jù)。

18、進(jìn)一步的，所述分別對(duì)所述預(yù)處理圖像數(shù)據(jù)、所述預(yù)處理語(yǔ)音數(shù)據(jù)以及所述預(yù)處理腦電波數(shù)據(jù)進(jìn)行特征提取操作，得到圖像特征數(shù)據(jù)、語(yǔ)音特征數(shù)據(jù)以及腦電波特征數(shù)據(jù)的步驟，具體包括下述步驟：

19、根據(jù)顏色矩提取所述預(yù)處理圖像數(shù)據(jù)的顏色特征；

20、根據(jù)小波變換提取所述預(yù)處理圖像數(shù)據(jù)的紋理特征；

21、根據(jù)mask-rcnn檢測(cè)算法提取所述預(yù)處理圖像數(shù)據(jù)的形狀特征；

22、將所述顏色特征、所述紋理特征以及所述形狀特征作為所述圖像特征數(shù)據(jù)。

23、進(jìn)一步的，所述分別對(duì)所述預(yù)處理圖像數(shù)據(jù)、所述預(yù)處理語(yǔ)音數(shù)據(jù)以及所述預(yù)處理腦電波數(shù)據(jù)進(jìn)行特征提取操作，得到圖像特征數(shù)據(jù)、語(yǔ)音特征數(shù)據(jù)以及腦電波特征數(shù)據(jù)的步驟，具體包括下述步驟：

24、根據(jù)傅里葉變換提取所述預(yù)處理語(yǔ)音數(shù)據(jù)的語(yǔ)音頻譜特征；

25、提取所述預(yù)處理語(yǔ)音數(shù)據(jù)的瞬時(shí)能量、平均能量、峰值能量，得到能量特征；

26、根據(jù)自相關(guān)法提取所述預(yù)處理語(yǔ)音數(shù)據(jù)的語(yǔ)音時(shí)域特征；

27、將所述語(yǔ)音頻譜特征、所述能量特征以及所述語(yǔ)音時(shí)域特征作為所述語(yǔ)音特征數(shù)據(jù)。

28、進(jìn)一步的，所述分別對(duì)所述預(yù)處理圖像數(shù)據(jù)、所述預(yù)處理語(yǔ)音數(shù)據(jù)以及所述預(yù)處理腦電波數(shù)據(jù)進(jìn)行特征提取操作，得到圖像特征數(shù)據(jù)、語(yǔ)音特征數(shù)據(jù)以及腦電波特征數(shù)據(jù)的步驟，具體包括下述步驟：

29、根據(jù)傅里葉變換提取所述預(yù)處理腦電波數(shù)據(jù)的腦電波頻譜特性；

30、根據(jù)方差分析法提取所述預(yù)處理腦電波數(shù)據(jù)的腦電波時(shí)域特征；

31、根據(jù)evt-avg法提取所述預(yù)處理腦電波數(shù)據(jù)的事件相關(guān)電位特征；

32、將所述腦電波頻譜特性、所述腦電波時(shí)域特征以及所述事件相關(guān)電位特征作為所述腦電波特征數(shù)據(jù)。

33、進(jìn)一步的，所述對(duì)所述圖像特征數(shù)據(jù)、所述語(yǔ)音特征數(shù)據(jù)以及所述腦電波特征數(shù)據(jù)進(jìn)行特征融合操作，得到三模態(tài)融合特征的步驟，具體包括下述步驟：

34、根據(jù)跨模態(tài)映射算法將所述圖像特征數(shù)據(jù)、所述語(yǔ)音特征數(shù)據(jù)以及所述腦電波特征數(shù)據(jù)映射到一個(gè)共同的語(yǔ)義空間，其中，所述跨模態(tài)映射算法表示為：

35、

36、其中，分別表示特征對(duì)齊，分別表示語(yǔ)言、圖像和腦電波的特征值，z1和q1表示共享層的學(xué)習(xí)參數(shù)。

37、為了解決上述技術(shù)問題，本技術(shù)實(shí)施例還提供一種微表情識(shí)別裝置，采用了如下所述的技術(shù)方案：

38、原始數(shù)據(jù)獲取模塊，用于獲取待識(shí)別的原始圖像數(shù)據(jù)、原始語(yǔ)音數(shù)據(jù)以及原始腦電波數(shù)據(jù)；

39、預(yù)處理模塊，用于分別對(duì)所述原始圖像數(shù)據(jù)、所述原始語(yǔ)音數(shù)據(jù)以及所述原始腦電波數(shù)據(jù)進(jìn)行預(yù)處理操作，得到預(yù)處理圖像數(shù)據(jù)、預(yù)處理語(yǔ)音數(shù)據(jù)以及預(yù)處理腦電波數(shù)據(jù)；

40、特征提取模塊，用于分別對(duì)所述預(yù)處理圖像數(shù)據(jù)、所述預(yù)處理語(yǔ)音數(shù)據(jù)以及所述預(yù)處理腦電波數(shù)據(jù)進(jìn)行特征提取操作，得到圖像特征數(shù)據(jù)、語(yǔ)音特征數(shù)據(jù)以及腦電波特征數(shù)據(jù)；

41、特征融合模塊，用于對(duì)所述圖像特征數(shù)據(jù)、所述語(yǔ)音特征數(shù)據(jù)以及所述腦電波特征數(shù)據(jù)進(jìn)行特征融合操作，得到三模態(tài)融合特征；

42、微表情分類模塊，用于根據(jù)設(shè)置好的分類器對(duì)所述三模態(tài)融合特征進(jìn)行微表情分類操作，得到表情分類結(jié)果。

43、進(jìn)一步的，所述預(yù)處理模塊包括：

44、圖像去噪子模塊，用于根據(jù)高斯濾波法對(duì)所述原始圖像數(shù)據(jù)進(jìn)行圖像去噪操作，得到去噪圖像數(shù)據(jù)；

45、分割裁剪子模塊，用于根據(jù)mask-rcnn檢測(cè)算法對(duì)所述去噪圖像數(shù)據(jù)進(jìn)行分割裁剪操作，得到分割圖像數(shù)據(jù)；

46、圖像歸一化子模塊，用于對(duì)所述分割圖像數(shù)據(jù)進(jìn)行圖像歸一化操作，得到所述預(yù)處理圖像數(shù)據(jù)；

47、分幀子模塊，用于根據(jù)預(yù)設(shè)幀長(zhǎng)度對(duì)所述原始語(yǔ)音數(shù)據(jù)進(jìn)行分幀操作，得到分幀語(yǔ)音數(shù)據(jù)；

48、語(yǔ)音去噪子模塊，用于根據(jù)短時(shí)能量閾值法對(duì)所述分幀語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音去噪操作，得到去噪語(yǔ)音數(shù)據(jù)；

49、語(yǔ)音歸一化子模塊，用于對(duì)所述去噪語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音歸一化操作，得到所述預(yù)處理語(yǔ)音數(shù)據(jù)；

50、腦電波濾波子模塊，用于根據(jù)高通濾波法對(duì)所述原始腦電波數(shù)據(jù)進(jìn)行腦電波濾波操作，得到濾波腦電波數(shù)據(jù)；

51、腦電波去噪子模塊，用于根據(jù)濾波法對(duì)所述濾波腦電波數(shù)據(jù)進(jìn)行腦電波去噪處理，得到去噪腦電波數(shù)據(jù)；

52、腦電波歸一化子模塊，用于對(duì)所述去噪腦電波數(shù)據(jù)進(jìn)行腦電波歸一化操作，得到所述預(yù)處理腦電波數(shù)據(jù)。

53、為了解決上述技術(shù)問題，本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)設(shè)備，采用了如下所述的技術(shù)方案：

54、包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)可讀指令，所述處理器執(zhí)行所述計(jì)算機(jī)可讀指令時(shí)實(shí)現(xiàn)如上所述的微表情識(shí)別方法的步驟。

55、為了解決上述技術(shù)問題，本技術(shù)實(shí)施例還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，采用了如下所述的技術(shù)方案：

56、所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的微表情識(shí)別方法的步驟。

57、本技術(shù)提供了一種微表情識(shí)別方法，包括：獲取待識(shí)別的原始圖像數(shù)據(jù)、原始語(yǔ)音數(shù)據(jù)以及原始腦電波數(shù)據(jù)；分別對(duì)所述原始圖像數(shù)據(jù)、所述原始語(yǔ)音數(shù)據(jù)以及所述原始腦電波數(shù)據(jù)進(jìn)行預(yù)處理操作，得到預(yù)處理圖像數(shù)據(jù)、預(yù)處理語(yǔ)音數(shù)據(jù)以及預(yù)處理腦電波數(shù)據(jù)；分別對(duì)所述預(yù)處理圖像數(shù)據(jù)、所述預(yù)處理語(yǔ)音數(shù)據(jù)以及所述預(yù)處理腦電波數(shù)據(jù)進(jìn)行特征提取操作，得到圖像特征數(shù)據(jù)、語(yǔ)音特征數(shù)據(jù)以及腦電波特征數(shù)據(jù)；對(duì)所述圖像特征數(shù)據(jù)、所述語(yǔ)音特征數(shù)據(jù)以及所述腦電波特征數(shù)據(jù)進(jìn)行特征融合操作，得到三模態(tài)融合特征；根據(jù)設(shè)置好的分類器對(duì)所述三模態(tài)融合特征進(jìn)行微表情分類操作，得到表情分類結(jié)果。與現(xiàn)有技術(shù)相比，本技術(shù)通過多模態(tài)數(shù)據(jù)融合，充分利用各模態(tài)數(shù)據(jù)的優(yōu)勢(shì)，提高了微表情識(shí)別精度；另外，多模態(tài)數(shù)據(jù)融合可以有效降低環(huán)境因素的影響，提高了魯棒性以及泛化能力。