本發(fā)明涉及生理信號識別領域，尤其涉及一種缺失腦電模態(tài)下的工作負荷識別方法。

背景技術：

1、工作負荷(也稱為認知負荷、腦力負荷)是指人體在工作狀態(tài)下腦力資源的占用率。人體不同程度的工作負荷會使其表現(xiàn)出不同的認知能力，過高的工作負荷會降低整體的工作效率，增加出錯的可能性，甚至可能會導致猝死等重大事故。過低的工作負荷可能會導致工作效率低下、注意力不集中、以及降低工作人員的警覺性等問題。因此在民航飛行、航空航天等復雜的、對安全性要求較高的環(huán)境中對操作員的工作負荷進行有效識別并及時提供反饋至關重要，可以一定程度上避免從事特種職業(yè)的人員因為工作負荷過大而導致的操作失誤問題，對保障社會正常運轉和人民群眾的生命財產安全具有重要意義。

2、近年來隨著可穿戴傳感器的發(fā)展，越來越多維度(模態(tài))的生理數(shù)據(jù)能夠被用于工作負荷的識別。使用多維度(模態(tài))傳感器數(shù)據(jù)進行工作負荷識別有多方面的好處：(1)多種維度的傳感器數(shù)據(jù)之間的信息能夠互補，比如腦電信號(eeg)能夠表征大腦的活動，心電信號(ecg)能夠表征心臟的一些生理活動，融合這兩種信號能夠覆蓋更加全面的受試者的各種生理信息；(2)使用多模態(tài)信號對工作負荷進行識別對于噪聲更加魯棒，一種維度的傳感器數(shù)據(jù)的數(shù)據(jù)被噪聲污染后，還有其他維度的數(shù)據(jù)可以使用。因此現(xiàn)有的一些工作負荷識別方法開始嘗試使用多模態(tài)數(shù)據(jù)來識別工作負荷。

3、然而由于便捷性等原因，腦電在現(xiàn)實生活條件下難以獲取。腦電采集設備分為干電極和濕電極，干電極和濕電極在實際使用中都存在各自的問題。干電極直接與頭皮進行接觸，不需要其他電解質，但是在實際情況下容易受到運動偽影的干擾，并且佩戴時間長了之后頭部容易出現(xiàn)疼痛的情況。濕電極需要在頭皮和傳感器之間注入電解質，這就導致佩戴濕電極設備的時候需要較長時間，也不便于實際使用。更糟糕的是無論是干電極和濕電極都需要在一旁放置放大器(由于腦電信號較為微弱，放大器往往體積較大)，這也是一個阻礙腦電實際落地的因素。因此，在實際條件下工作負荷識別面臨的問題是除了腦電以外的生理信號難以對受試者的工作負荷進行表征，腦電在日常使用場景下又難以進行部署。因此推理過程中腦電模態(tài)缺失的問題是一個亟需解決的問題。

4、解決上述問題最簡單的方法為使用后融合(late?fusion)的方式，每個模態(tài)之間使用一個網(wǎng)絡進行特征提取，將沒有缺失模態(tài)的模型預測結果進行融合。然而這樣的做法沒有利用任何缺失數(shù)據(jù)的模型信息，往往不能取得較好的效果。在后融合的基本思想之上，一些研究者嘗試通過多任務來進一步提升訓練集中的多模態(tài)數(shù)據(jù)的利用率。另一種方法嘗試基于知識蒸餾的思想將教師模型(輸入為完整的多模態(tài)的模型)中的知識遷移到學生模型(輸入為缺失某一種模態(tài)的模型)中去，使得學生模型不必輸入所有模態(tài)就能獲得比較好的效果。最后還有一種類型的算法基于生成模型，這種類型的方法通過將其他測試可用的模態(tài)翻譯不可用的模態(tài)，補全缺失的模態(tài)，使得測試的時候能夠獲得比較好的效果?，F(xiàn)有的生成模型往往直接生成缺失的腦電特征，這往往優(yōu)化困難，從而導致結果較差。

技術實現(xiàn)思路

1、本發(fā)明針對現(xiàn)有基于生成模型的模態(tài)缺失算法的不足，提出了一種缺失腦電模態(tài)下的工作負荷識別方法，以實現(xiàn)優(yōu)化其他模態(tài)的特征和腦電模態(tài)特征之間的互信息，減少融合特征的冗余性，使用自編碼器保留融合特征的關鍵特征，進一步提升了工作負荷識別模型的識別精度。

2、本發(fā)明采用的技術方案為：

3、缺失腦電模態(tài)下的工作負荷識別方法，該方法包括：

4、步驟1，設置工作負荷識別模型，其包括生理信號特征提取網(wǎng)絡、腦電特征生成模塊、特征融合模塊和分類器；

5、其中，生理信號特征提取網(wǎng)絡用于不同模態(tài)的生理信號的信號特征；

6、腦電特征生成模塊的輸入為非腦電信號的生理信號的信號特征，獲取不同模態(tài)之間的交互信息特征，再融合所有交互信息特征得到其輸出特征，即生成的腦電信號特征；

7、特征融合模塊用于對生理信號特征提取網(wǎng)絡輸出的非腦電信號的信號特征和生成的腦電信號特征進行去冗余的特征融合，得到用于輸入分類器的多模態(tài)去冗特征；

8、分類器用于輸出工作負荷類別的分類概率；

9、步驟2，基于采集的訓練數(shù)據(jù)集對工作負荷識別模型進行訓練，以得到訓練好的工作負荷識別模型；

10、訓練時，總損失函數(shù)為腦電特征生成模塊的損失函數(shù)、特征融合模塊的損失函數(shù)和分類損失的加權和；其中，腦電特征生成模塊的損失函數(shù)包括重建損失和交互信息損失。

11、進一步的，生理信號特征提取網(wǎng)絡提取不同模態(tài)的生理信號的信號特征具體包括：

12、基于預置的時間窗口尺寸對樣本的生理信號進行切割處理，將生理信號切割為若干個信號片段；對每個片段輸入到卷積神經網(wǎng)絡中進行降維，得到每個片段的編碼表示；再將所有片段的編碼表示組成的生理信號編碼輸入到transformer編碼器中進行特征提取，得到樣本的時域特征；

13、基于注意力機制對樣本的生理信號進行頻域特征提取，得到樣本的頻域特征；

14、對時域特征和頻域特征進行拼接融合，得到樣本的不同模態(tài)的生理信號的信號特征。

15、進一步的，腦電特征生成模塊包括：模態(tài)特征轉換模塊和transformer編碼器；

16、模態(tài)特征轉換模塊用于對輸入的每一種模態(tài)的生理信號的信號特征進行特征變換，再將變換后的特征輸入transformer編碼器；

17、transformer編碼器用于計算任意兩種模態(tài)的信號特征之間的交互信息特征；

18、對transformer編碼器輸出的所有交互信息特征相加得到腦電特征生成模塊的輸出；

19、其中，模態(tài)特征轉換模塊包括級聯(lián)的第一線性層、relu激活函數(shù)層，批量歸一化層和第二線性層。

20、進一步的，腦電特征生成模塊的交互信息損失為：模態(tài)間的互信息的相反數(shù)的總和；腦電特征生成模塊的重建損失為：樣本的生理信號特征提取網(wǎng)絡提取的腦電信號特征與生成的腦電信號特征之差的平方和。

21、進一步的，特征融合模塊包括：編碼器和解碼器；

22、其中，編碼器的輸入包括：輸入腦電特征生成模塊的各生理信號的信號特征和腦電特征生成模塊輸出的生成的腦電信號特征，即多模態(tài)的信號特征fi；其中，下標i為樣本編號；

23、對輸入編碼器的多模態(tài)的信號特征進行拼接后，再經自編碼器后得到去冗余后的低維度特征hi；

24、使用解碼器對低維度特征hi進行重建，以重建還原得到輸入編碼器的多模態(tài)的信號特征

25、根據(jù)公式計算特征融合模塊的損失函數(shù)，其中，n表示樣本數(shù)。

26、本發(fā)明提供的技術方案至少帶來如下有益效果：

27、本發(fā)明首先對原始的多模態(tài)(包含腦電)數(shù)據(jù)進行簡單的預處理，然后利用對不同的生理信號模態(tài)進行時域特征和頻域特征的提取，使得特征包含的特征更加的全面；為了使得在推理過程中能夠獲得腦電的特征，本發(fā)明設計了一種腦電特征生成模塊，通過增大腦電特征和其他特征之間的互信息使得生成的難度更低，從而使得模型在缺失腦電模態(tài)時也能擁有豐富的特征；為了減少融合特征中的冗余特征，使用了自編碼器對特征進行降維。由于腦電設備的不方便的特點，本發(fā)明能夠幫助基于腦電開發(fā)的工作負荷識別模型在實際應用中進行部署，保障工作負荷識別模型的應用落地。