本發(fā)明涉及人體生物信號(hào)處理和肌力估計(jì)，尤其是一種基于雙分支自注意力機(jī)制網(wǎng)絡(luò)的上臂肌力估計(jì)方法。

背景技術(shù)：

1、肌力估計(jì)能反映人體的運(yùn)動(dòng)意圖、肌肉疲勞程度以及肌肉的健康狀態(tài)，對(duì)于生物力學(xué)、人機(jī)交互、運(yùn)動(dòng)和康復(fù)醫(yī)學(xué)具有重要的研究基礎(chǔ)。從數(shù)據(jù)獲取方法上可以分為基于運(yùn)動(dòng)學(xué)/動(dòng)力學(xué)和基于生物信息，近年來(lái)由于深度學(xué)習(xí)技術(shù)快速發(fā)展以及其硬件成本優(yōu)勢(shì)，基于生物信息的方法成為研究熱點(diǎn)。

2、基于傳統(tǒng)生物信息的肌力估計(jì)方法使用肌電信號(hào)、肌音信號(hào)等人體生物信號(hào)，早期試圖從中提取人為設(shè)計(jì)的手工特征進(jìn)行進(jìn)一步分類(lèi)識(shí)別；近年來(lái)，基于深度學(xué)習(xí)的方法識(shí)別效果較早期基于手工特征方法大幅提升，深度神經(jīng)網(wǎng)絡(luò)以卷積神經(jīng)網(wǎng)絡(luò)為代表能夠有效提取數(shù)據(jù)中時(shí)空特征。然而，這些信號(hào)只能檢測(cè)淺層肌肉信息，肌肉間的串?dāng)_等都會(huì)對(duì)估計(jì)結(jié)果產(chǎn)生負(fù)面影響。

3、電阻抗成像作為一種新型生物信息傳感器，根據(jù)本身包含二維圖像信息的特點(diǎn)，記錄肌肉截面信息的變化。目前基于電阻抗成像的研究以及已經(jīng)覆蓋臨床醫(yī)學(xué)、人機(jī)交互、傳感器等眾多領(lǐng)域，在人機(jī)交互領(lǐng)域，電阻抗成像所具有的對(duì)阻抗變化的敏感性能夠有效檢測(cè)骨骼肌收縮時(shí)人體肌肉組織的變化，利于識(shí)別。因此，有必要基于電阻抗成像信號(hào)的特點(diǎn)設(shè)計(jì)一種新穎的上臂肌力估計(jì)方法。

技術(shù)實(shí)現(xiàn)思路

1、為解決傳統(tǒng)估計(jì)方法只能檢測(cè)淺層肌肉信息，忽略肌肉收縮時(shí)的深層肌肉信息，忽略電阻抗成像本身所具有的頻域信號(hào)特征的問(wèn)題，本發(fā)明的目的在于提供一種輕量級(jí)、估計(jì)精度高、無(wú)損傷的基于雙分支自注意力機(jī)制網(wǎng)絡(luò)的上臂肌力估計(jì)方法。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采用了以下技術(shù)方案：一種基于雙分支自注意力機(jī)制網(wǎng)絡(luò)的上臂肌力估計(jì)方法，包括：

3、(1)在一個(gè)測(cè)量周期內(nèi)，通過(guò)電阻抗成像傳感器測(cè)量人體上臂肌肉收縮時(shí)產(chǎn)生的原始電阻抗成像電壓信號(hào)，并進(jìn)行歸一化，得到歸一化后的原始電阻抗成像電壓序列其中，m1為一個(gè)測(cè)量周期內(nèi)所記錄歸一化后的原始電阻抗成像電壓序列的總數(shù)，i為當(dāng)前時(shí)刻歸一化后的原始電阻抗成像電壓序列的索引下標(biāo)，i為整數(shù)且1≤i≤m1；同時(shí)通過(guò)六維力傳感器采集人體上臂肌肉收縮時(shí)產(chǎn)生的三個(gè)方向上的力fx、fy、fz和三個(gè)方向上的力矩mz、my、mz，fx、fy、fz和mz、my、mz共同組成真實(shí)力序列，對(duì)真實(shí)力序列進(jìn)行歸一化，得到歸一化后的真實(shí)力序列其中，m2為一個(gè)測(cè)量周期內(nèi)所記錄真實(shí)力的總數(shù)，j為當(dāng)前時(shí)刻真實(shí)力的索引下標(biāo)，j為整數(shù)且1≤j≤m2；

4、(2)對(duì)歸一化后的原始電阻抗成像電壓序列分別進(jìn)行一步高斯-牛頓圖像重建、傅里葉變換，得到二維電阻抗圖像電壓序列頻域表征其中，m3為一個(gè)測(cè)量周期內(nèi)所記錄二維電阻抗圖像的總數(shù)，v為當(dāng)前時(shí)刻二維電阻抗圖像的索引下標(biāo)，v為整數(shù)且1≤v≤m3；m4為一個(gè)測(cè)量周期內(nèi)所記錄電壓序列頻域表征的總數(shù)，u為當(dāng)前時(shí)刻電壓序列頻域表征的索引下標(biāo)，u為整數(shù)且1≤u≤m4；

5、(3)電壓序列頻域表征二維電阻抗圖像和歸一化后的真實(shí)力序列組成數(shù)據(jù)集，對(duì)數(shù)據(jù)集進(jìn)行分批次劃分，得到大小為batchsize×1×64×64的電阻抗圖像張量vimg、大小為batchsize×1×28的電壓頻域張量vfft和大小為batchsize×1×6的真實(shí)力張量vf，batchsize表示每批次包含的數(shù)據(jù)量大??；

6、(4)構(gòu)建雙分支自注意力機(jī)制網(wǎng)絡(luò)，所述雙分支自注意力機(jī)制網(wǎng)絡(luò)由第一分支網(wǎng)絡(luò)、第二分支網(wǎng)絡(luò)和時(shí)頻域特征融合模塊組成；將電阻抗圖像張量vimg、電壓頻域張量vfft輸入雙分支自注意力機(jī)制網(wǎng)絡(luò)，雙分支自注意力機(jī)制網(wǎng)絡(luò)輸出肌力估計(jì)結(jié)果；

7、(5)將得到的肌力估計(jì)結(jié)果和六維力傳感器采集到的真實(shí)力序列進(jìn)行對(duì)比，采用均方誤差來(lái)反映兩者的差異程度。

8、所述步驟(1)具體包括以下步驟：

9、(1a)重復(fù)多次電阻抗成像傳感器的測(cè)量，將每次測(cè)量從開(kāi)始到結(jié)束設(shè)為一個(gè)測(cè)量周期；在每輪測(cè)量周期中，沿各相鄰電極上的電壓依次注入激勵(lì)電流，并得到各相鄰電極上的響應(yīng)電壓vl，n為電極數(shù)且n＝8，即8個(gè)電極在相鄰激勵(lì)測(cè)量模式下得到當(dāng)前時(shí)刻的28個(gè)響應(yīng)電壓值設(shè)為一幀；連續(xù)測(cè)量后得到一個(gè)測(cè)量周期內(nèi)的原始電壓序列vol(iraw)＝{v1,v2,...,v28}是當(dāng)前幀的響應(yīng)電壓值；對(duì)每一幀采集到的原始電壓序列進(jìn)行最大最小歸一化處理，將所有電壓線性收縮至[0,1]：

10、

11、其中，vol為當(dāng)前時(shí)刻的響應(yīng)電壓值，volmax為當(dāng)前測(cè)量周期內(nèi)的最大響應(yīng)電壓值，volmin為當(dāng)前測(cè)量周期內(nèi)的最小響應(yīng)電壓值；得到歸一化后的原始電阻抗成像電壓序列設(shè)置每次測(cè)量的第一幀測(cè)得的電壓序列volnorm(1)為初始值；

12、(1b)在每輪六維力傳感器的測(cè)量周期中，當(dāng)前時(shí)刻采集到的真實(shí)力序列記為force(j)＝{fx(j),fy(j),fz(j),mx(j),my(j),mz(j)}，對(duì)采集到的真實(shí)力大小進(jìn)行最大最小歸一化處理，得到歸一化后的真實(shí)力序列

13、所述步驟(2)具體包括以下步驟：

14、(2a)使用一步高斯-牛頓重建算法重建二維電阻抗圖像：

15、σ＝σ0-[[j(σ0)]tj(σ0)+αdiag(jtj)]-1[j(σ0)]t[v(σ0)-u]

16、其中，σ是電導(dǎo)率分布矢量，σ0是初始電導(dǎo)率分布，α是正則化因子，jtj是正則化矩陣，v(σ0)為電導(dǎo)率分布為σ0下的邊界電壓計(jì)算值，j(σ0)為雅可比矩陣，u為邊界電壓測(cè)量值；

17、重建后得到二維電阻抗圖像，記為其中，img(v)是當(dāng)前幀的二維電阻抗圖像，用于反映當(dāng)前時(shí)刻人體上臂肌肉橫截面的電導(dǎo)率分布信息；

18、(2b)對(duì)歸一化后的原始電阻抗成像電壓序列中包含的頻域信息進(jìn)行解耦，得到電壓序列頻域表征

19、

20、其中，m1＝m3＝m4＝m，m為一個(gè)測(cè)量周期內(nèi)的樣本總數(shù)；fft(u)是當(dāng)前幀原始電壓序列的頻域信號(hào)的幅值譜，用于反映當(dāng)前時(shí)刻人體上臂肌肉橫截面的頻域信息。

21、在步驟(4)中，所述第一分支網(wǎng)絡(luò)包括圖像序列化模塊和第一多頭自注意力機(jī)制模塊，所述第二分支網(wǎng)絡(luò)包括第一全連接層和第二多頭自注意力機(jī)制模塊；

22、所述時(shí)頻域特征融合模塊包括第一全局平均池化層、第二全局平均池化層、第一relu激活層、第二relu激活層、第一sigmoid激活層、第二sigmoid激活層，以及第二、三、四、五、六、七、八、九全連接層；

23、首先將電阻抗圖像張量vimg送入第一分支網(wǎng)絡(luò)進(jìn)行處理：圖像序列化模塊將vimg分為patchsize×patchsize個(gè)區(qū)域小圖像，其中patchsize＝16，表示圖像被均分為16行16列；對(duì)分割后的圖像先進(jìn)行線性變換，再為每一部分線性變換后的圖像增加位置編碼；最終，將增加位置編碼后的各部分圖像數(shù)據(jù)前后拼接，將拼接得到的整個(gè)數(shù)據(jù)作為一個(gè)序列送入第一多頭自注意力機(jī)制模塊中運(yùn)算；第一多頭自注意力機(jī)制模塊采用縮放點(diǎn)積注意力機(jī)制，公式如下：

24、

25、其中，q、k和v分別表示查詢(xún)、鍵和值，attention表示輸出張量，表示矩陣q的維度數(shù)；

26、將通過(guò)可訓(xùn)練的權(quán)重矩陣相乘進(jìn)行線性變換，得到三個(gè)初始的向量表示，公式如下：

27、q＝wqvimg

28、k＝wkvimg

29、v＝wvvimg

30、其中，wq、wk和wv均表示可訓(xùn)練的權(quán)重矩陣；

31、將得到的q、k和v代入公式(1)進(jìn)行運(yùn)算，計(jì)算得到輸出張量attention；對(duì)vimg獨(dú)立學(xué)習(xí)多次，隨后將多個(gè)輸出拼接起來(lái)，送入第一多頭自注意力機(jī)制模塊的一個(gè)全連接層，得到尺寸為batchsize×patchsize×dim的特征張量,第一維batchsize表示每批次包含的數(shù)據(jù)量大小，第二維patchsize＝16，第三維dim＝1024，dim表示通過(guò)圖像序列化之后每個(gè)圖像向量的長(zhǎng)度；在第二維上計(jì)算均值，最終得到尺寸為8×1024的時(shí)域特征張量ut；

32、將電壓頻域張量vfft送入第二分支網(wǎng)絡(luò)進(jìn)行處理：首先將大小為batchsize×1×28的vfft輸入第一全連接層，將vfft在第三維上進(jìn)行擴(kuò)展，得到大小為batchsize×1×1024特征張量，隨后送入第二多頭自注意力機(jī)制模塊，得到大小為8×1024頻域特征張量uf；

33、將得到的時(shí)域特征張量ut和頻域特征張量uf整形為8×1024×1送入時(shí)頻域特征融合模塊中：首先通過(guò)第一全局平均池化層、第二全局平均池化層進(jìn)行全局平均池化操作，將時(shí)域特征張量ut和頻域特征張量uf進(jìn)行壓縮，得到壓縮后的時(shí)域特征張量和頻域特征張量再將和分別送入第二全連接層、第四全連接層，再分別經(jīng)第一relu激活層、第二relu激活層實(shí)現(xiàn)通道維度的降維，再分別送入第三全連接層、第五全連接層，經(jīng)第一sigmoid激活層、第二sigmoid激活層將和向量中的每個(gè)元素壓縮到0到1之間，得到每個(gè)通道的權(quán)重和接著，將權(quán)重與時(shí)域特征張量ut相乘后送入第六全連接層，得到時(shí)域通道注意力特征張量將權(quán)重與頻域特征張量uf相乘后送入第七全連接層，得到頻域通道注意力特征張量同時(shí)，將ut、uf分別送入第八全連接層、第九全連接層進(jìn)行下采樣，得到下采樣后的時(shí)域特征張量和下采樣后的頻域特征張量隨后，將頻域通道注意力特征張量和下采樣后的時(shí)域特征張量進(jìn)行矩陣乘法后再和下采樣后的時(shí)域特征張量相加，得到第一融合張量ufusion1；同時(shí)，對(duì)時(shí)域通道注意力特征張量和下采樣后的頻域特征張量進(jìn)行矩陣乘法后再和下采樣后的頻域特征張量相加，得到第二融合張量ufusion2；將第一融合張量ufusion1、第二融合張量ufusion2相加得到尺寸為8×6的輸出具體公式如下：

34、

35、式中，gap表示全局平均池化，w1、w2、w3、w4均表示全連接層，δ、σ分別表示relu激活函數(shù)和sigmoid激活函數(shù)，⊙為矩陣元素乘法。

36、由上述技術(shù)方案可知，本發(fā)明的有益效果為：第一，本發(fā)明通過(guò)對(duì)上臂肌肉的原始電阻抗信號(hào)作為研究對(duì)象，有效填補(bǔ)了肌電信號(hào)、肌音信號(hào)等其他生物信號(hào)缺失的深層肌肉信息；第二，本發(fā)明從原始電阻抗信號(hào)中提取原始電阻抗成像電壓信號(hào)的頻域信號(hào)和由一步牛頓-高斯方法重建的二維電阻抗圖像，通過(guò)提取更多的全局信息從而計(jì)算出更復(fù)雜的特征，從而提高檢測(cè)的準(zhǔn)確性；第三，本發(fā)明設(shè)計(jì)一種時(shí)頻域特征融合模塊，對(duì)原始電阻抗成像電壓信號(hào)的時(shí)域特征和頻域特征進(jìn)行融合，可以同時(shí)獲得更多的時(shí)頻域特征；第四，本發(fā)明相較于典型神經(jīng)網(wǎng)絡(luò)算法能夠更加準(zhǔn)確的實(shí)現(xiàn)無(wú)損傷上臂肌力大小估計(jì)，同時(shí)本發(fā)明具有輕量級(jí)、估計(jì)精度高、遷移性好等優(yōu)勢(shì)。