本發(fā)明涉及信號處理和模式識別，尤其涉及一種基于時頻重建的生理信號自監(jiān)督表示學(xué)習(xí)方法和系統(tǒng)。

背景技術(shù)：

1、生理信號的模式可以極大地幫助我們了解人體的正常運(yùn)作方式以及相關(guān)疾病機(jī)制。關(guān)于生理信號的研究有很多，比如基于頭皮腦電圖(eeg)的認(rèn)知研究、情感識別、癲癇檢測等；基于心電圖(ecg)的心律檢測，基于肌電圖(emg)的運(yùn)動神經(jīng)疾病監(jiān)測。但是這些生理信號數(shù)據(jù)的標(biāo)簽獲取通常十分困難。同時，由于個體差異和不同病人疾病發(fā)作模式不同，用部分病人的生理信號數(shù)據(jù)訓(xùn)練的模型在其他病人上往往表現(xiàn)不佳。隨著自監(jiān)督學(xué)習(xí)已成為在沒有標(biāo)簽的情況下占主導(dǎo)地位的學(xué)習(xí)范式，越來越多的工作聚焦于利用自監(jiān)督學(xué)習(xí)在海量的無標(biāo)簽數(shù)據(jù)中學(xué)習(xí)有效的通用表示，這樣不僅降低了標(biāo)簽依賴，更讓模型有著更強(qiáng)的泛化性。

2、由于生理信號本質(zhì)上是一種時間序列數(shù)據(jù)，所以通用的時間序列自監(jiān)督算法也能用于該任務(wù)。比如timeclr[yang,2022]提出了對時間序列數(shù)據(jù)進(jìn)行dtw數(shù)據(jù)增強(qiáng)的方法進(jìn)行對比學(xué)習(xí)。ts2vec[yue,2022]設(shè)計(jì)了一種裁剪和掩蔽機(jī)制，以層次化方式在增強(qiáng)的上下文視圖上執(zhí)行對比學(xué)習(xí)，為每個時間戳提供上下文表示。ts-tcc[eldele,2021]通過應(yīng)用時間對比模塊和上下文對比模塊來學(xué)習(xí)魯棒和有差別的表示。同時，也有一些基于特定生理信號設(shè)計(jì)的算法；clocs[kiyasseh,2021]提出了一種使用樣本和患者層次的心電圖對比學(xué)習(xí)方法。mixing-up[2022]通過混合數(shù)據(jù)增強(qiáng)方案捕捉樣本的一致性。tnc[tonekaboni,2021]通過將同一通道信號中的鄰近樣本作為正樣本對進(jìn)行對比。

3、但是這些方法大多數(shù)僅僅關(guān)注于時間序列在時域的特性，而忽略了頻率信息對于生理信號的重要性：生理信號的頻率特征是識別不同生理狀態(tài)和疾病狀態(tài)的重要手段。例如，在腦電圖中，不同的頻率波段與不同的大腦活動狀態(tài)相關(guān)。α波(8-13hz)通常與放松和閉眼狀態(tài)相關(guān)，而θ波(4-8hz)可能與深度放松或某些類型的癲癇活動相關(guān)。通過識別這些特定的頻率特征，醫(yī)生可以診斷出患者是否處于特定的精神狀態(tài)或是否患有某些神經(jīng)系統(tǒng)疾病。而在心電圖分析中，心律失常的檢測可以通過分析心率的頻率變化來實(shí)現(xiàn)。濾波和頻譜分析可以幫助從嘈雜的ecg信號中提取出有用的頻率信息。通過識別心率的異常頻率模式，比如心動過速或心動過緩，醫(yī)生可以診斷出心臟疾病，并采取相應(yīng)的治療措施。同時，生理信號由于采集環(huán)境和數(shù)據(jù)特征的敏感性，使用數(shù)據(jù)增強(qiáng)的方法去做對比學(xué)習(xí)會擾亂原始序列的一致性標(biāo)簽，從而導(dǎo)致標(biāo)簽混淆，破壞數(shù)據(jù)本身的特征。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有的生理信號分類方法中忽略了頻域信息同時破壞原始數(shù)據(jù)的問題，本發(fā)明提出了一種基于時頻重建的生理信號自監(jiān)督表示學(xué)習(xí)方法和系統(tǒng)，通過充分融合原始信號時域和頻域的相關(guān)信息，實(shí)現(xiàn)生理疾病的精準(zhǔn)分類。

2、本發(fā)明采用如下技術(shù)方案：

3、第一個方面，本發(fā)明提供了一種基于時頻重建的生理信號自監(jiān)督表示學(xué)習(xí)方法，包括：

4、獲取原始多通道生理信號數(shù)據(jù)并轉(zhuǎn)化為時頻圖；

5、對原始多通道生理信號數(shù)據(jù)進(jìn)行分段、一維隨機(jī)掩碼和特征轉(zhuǎn)換操作，得到初步時域表征；使用時域編碼器在時間維度和通道維度分別編碼，得到最終時域表征；

6、對時頻圖進(jìn)行分塊、二維隨機(jī)掩碼和特征轉(zhuǎn)換操作，得到初步頻域表征；使用頻域編碼器在時間維度和通道維度分別編碼，得到最終頻域表征；

7、使用時頻混合編碼器融合最終時域表征和最終頻域表征，得到時頻混合表征；基于時頻混合表征，分別重建原始多通道生理信號及其時頻圖，得到時域損失和頻域損失；結(jié)合所述的時域損失和頻域損失，對時域編碼器、頻域編碼器和時頻混合編碼器進(jìn)行預(yù)訓(xùn)練；

8、利用預(yù)訓(xùn)練好的時域編碼器和頻域編碼器獲得待處理的原始多通道生理信號數(shù)據(jù)的多通道時頻表示，所述的多通道時頻表示包括最終時域表征和最終頻域表征，并利用預(yù)訓(xùn)練好的時頻混合編碼器獲得時頻混合表征，將所述的時頻混合表征作為學(xué)習(xí)到的生理信號自監(jiān)督表示，用于生理疾病分類任務(wù)。

9、進(jìn)一步地，所述的原始多通道生理信號數(shù)據(jù)為腦電圖數(shù)據(jù)、心電圖數(shù)據(jù)、眼電圖數(shù)據(jù)、肌電圖數(shù)據(jù)中的任一種。

10、進(jìn)一步地，所述的時頻圖由原始多通道生理信號數(shù)據(jù)通過短時傅里葉變換得到。

11、進(jìn)一步地，所述的對原始多通道生理信號數(shù)據(jù)進(jìn)行分段、一維隨機(jī)掩碼和特征轉(zhuǎn)換操作，得到初步時域表征，包括：

12、給定原始多通道生理信號數(shù)據(jù)，針對任一通道序列，分割成一系列有重疊的片段組合并進(jìn)行一維隨機(jī)掩碼；遍歷全部通道；

13、將一維隨機(jī)掩碼后的片段組合線性映射為高維特征向量，并添加位置編碼后作為初步時域表征；

14、所述的一維隨機(jī)掩碼為：從所述的片段組合中隨機(jī)采樣一定比例的片段并置零。

15、進(jìn)一步地，所述的對時頻圖進(jìn)行分塊、二維隨機(jī)掩碼和特征轉(zhuǎn)換操作，得到初步頻域表征，包括：

16、給定原始多通道生理信號數(shù)據(jù)對應(yīng)的任一通道時頻圖，分塊得到頻域塊序列并進(jìn)行二維隨機(jī)掩碼；遍歷全部通道；

17、將二維隨機(jī)掩碼后的頻域塊序列線性映射為高維特征向量，并添加位置編碼后作為初步頻域表征；

18、所述的二維隨機(jī)掩碼采用時間分辨率和頻率分辨率相結(jié)合的掩碼方式，即沿著時間軸對某一行頻域塊置零，沿著頻率軸對某一列頻域塊置零。

19、進(jìn)一步地，所述的時域編碼器采用transformer編碼器，所述的使用時域編碼器在時間維度和通道維度分別編碼，得到最終時域表征，表示為：

20、t′＝transformer(t)

21、trep＝transformer(ttime)

22、其中，t是初步時域表征，transformer(.)是transformer編碼器，t′是經(jīng)過時間維度編碼后的表征，ttime是將t′展開得到的二維向量，trep是最終時域表征。

23、進(jìn)一步地，所述的頻域編碼器采用多層感知機(jī)，所述的使用頻域編碼器在時間維度和通道維度分別編碼，得到最終頻域表征，表示為：

24、h′＝h+ga(mlp(h))

25、zrep＝htime+ga(mlp(htime))

26、其中，h是初步頻域表征，mlp(.)是多層感知機(jī)，ga(.)是門控注意力機(jī)制，htime是將h′交換其第一個和最后一個維度后得到的頻域表征，zrep是最終頻域表征。

27、進(jìn)一步地，所述的時頻混合編碼器采用池化操作。

28、進(jìn)一步地，在所述的用于生理疾病分類任務(wù)之前，還包括微調(diào)階段，包括：

29、獲取含多通道生理信號數(shù)據(jù)及其對應(yīng)的疾病標(biāo)簽的微調(diào)訓(xùn)練集合；

30、利用預(yù)訓(xùn)練后的時域編碼器、頻域編碼器、時頻混合編碼器獲取多通道生理信號數(shù)據(jù)的多通道時頻融合表征，通過分類器預(yù)測疾病類型，結(jié)合疾病標(biāo)簽計(jì)算損失，對分類器和/或編碼器進(jìn)行微調(diào)訓(xùn)練。

31、第二個方面，本發(fā)明提供了一種基于時頻重建的生理信號自監(jiān)督表示學(xué)習(xí)系統(tǒng)，用于實(shí)現(xiàn)上述的基于時頻重建的生理信號自監(jiān)督表示學(xué)習(xí)方法。

32、與現(xiàn)有技術(shù)相比，本發(fā)明具備的有益效果是：本發(fā)明充分挖掘生理信號在時域和頻域的特征，有效地將時域頻域表征結(jié)合到一起，具備更高的準(zhǔn)確性、泛化能力、適應(yīng)性，為生理信號分類任務(wù)提供了一種有效的解決方案。