本發(fā)明涉及一種步態(tài)情緒聯(lián)合識(shí)別方法，特別是一種基于異空間神經(jīng)架構(gòu)搜索的步態(tài)情緒聯(lián)合識(shí)別方法。

背景技術(shù)：

1、本部分提供的僅僅是與本公開(kāi)相關(guān)的背景信息,其并不必然是現(xiàn)有技術(shù)。

2、步態(tài)情緒識(shí)別是一項(xiàng)基于計(jì)算機(jī)視覺(jué)和機(jī)器學(xué)習(xí)技術(shù)的研究領(lǐng)域，旨在通過(guò)分析個(gè)體的步行方式來(lái)推斷其情緒狀態(tài)。研究表明，情緒狀態(tài)可以影響人的生物特征，如姿勢(shì)、步幅、步行速度和姿態(tài)變化。這為步態(tài)情緒識(shí)別提供了理論基礎(chǔ)，因?yàn)榍榫w狀態(tài)可能在步行中體現(xiàn)出獨(dú)特的特征。隨著人工智能領(lǐng)域的不斷進(jìn)步，深度學(xué)習(xí)相關(guān)技術(shù)，如卷積神經(jīng)網(wǎng)絡(luò)(cnn)和循環(huán)神經(jīng)網(wǎng)絡(luò)(rnn)，已被廣泛用于步態(tài)情緒識(shí)別。這些深度學(xué)習(xí)方法可以自動(dòng)提取和學(xué)習(xí)特征，提高了情緒識(shí)別的準(zhǔn)確性和魯棒性。步態(tài)情緒識(shí)別具有廣泛的應(yīng)用前景，包括健康監(jiān)測(cè)、自動(dòng)駕駛、虛擬現(xiàn)實(shí)、情感智能輔助工具等。不同領(lǐng)域的需求推動(dòng)了步態(tài)情緒識(shí)別技術(shù)的不斷發(fā)展和應(yīng)用。

3、現(xiàn)有基于深度學(xué)習(xí)的步態(tài)情緒識(shí)別主要通過(guò)手工設(shè)計(jì)深度學(xué)習(xí)模型提取人體實(shí)時(shí)位置步態(tài)信息特征，并基于此特征完成步態(tài)情緒識(shí)別。目前，獲取人體步態(tài)情緒特征主要通過(guò)深度學(xué)習(xí)模型提取直角坐標(biāo)系中人體關(guān)節(jié)點(diǎn)特征完成，從而忽略了人體關(guān)節(jié)點(diǎn)之間的角度信息對(duì)步態(tài)情緒特征的重要性。此外，通過(guò)人工設(shè)計(jì)的深度學(xué)習(xí)模型，十分受限于設(shè)計(jì)者的創(chuàng)造力和經(jīng)驗(yàn)，無(wú)法充分發(fā)揮模型結(jié)構(gòu)中的潛在優(yōu)勢(shì)。并且當(dāng)面臨新任務(wù)或數(shù)據(jù)時(shí)，手工設(shè)計(jì)的模型可能需要重新設(shè)計(jì)或調(diào)整，這使得手工設(shè)計(jì)的模型在步態(tài)情緒識(shí)別中具有一定的局限性。

4、需要說(shuō)明的是，在上述背景技術(shù)部分公開(kāi)的信息僅用于加強(qiáng)對(duì)本公開(kāi)的背景的理解，因此可以包括不構(gòu)成對(duì)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于異空間神經(jīng)架構(gòu)搜索的步態(tài)情緒聯(lián)合識(shí)別方法。

2、為了解決上述技術(shù)問(wèn)題，本發(fā)明公開(kāi)了一種基于異空間神經(jīng)架構(gòu)搜索的步態(tài)情緒聯(lián)合識(shí)別方法，包括以下步驟：

3、步驟1，提取不同情緒視頻數(shù)據(jù)中的三維人體姿態(tài)關(guān)節(jié)點(diǎn)；

4、步驟2，將所提取到的三維人體姿態(tài)關(guān)節(jié)點(diǎn)進(jìn)行空間轉(zhuǎn)換，分別轉(zhuǎn)換至直角坐標(biāo)系和球坐標(biāo)系中，并基于相似度最小化策略將不同坐標(biāo)系中的關(guān)節(jié)點(diǎn)進(jìn)行位置信息空間映射和角度信息空間映射；

5、步驟3，構(gòu)建不同空間下的神經(jīng)架構(gòu)搜索空間和聯(lián)合搜索策略，利用聯(lián)合搜索策略，在不同空間下的神經(jīng)架構(gòu)搜索空間中分別搜索得到最優(yōu)骨干網(wǎng)絡(luò)，用于在所述位置信息空間和角度信息空間中提取時(shí)空情感特征，并分別訓(xùn)練上述最優(yōu)骨干網(wǎng)絡(luò)；

6、步驟4，利用訓(xùn)練好的最優(yōu)骨干網(wǎng)絡(luò)，提取不同空間中的人體時(shí)序步態(tài)情感特征，并輸入softmax分類器，得到不同情緒的得分；

7、步驟5，通過(guò)聯(lián)合打分模塊對(duì)其輸入的不同空間中的不同情緒得分進(jìn)行聯(lián)合打分，完成基于異空間神經(jīng)架構(gòu)搜索的步態(tài)情緒聯(lián)合識(shí)別。

8、進(jìn)一步的，步驟1中所述的三維人體姿態(tài)關(guān)節(jié)點(diǎn)，包括：根關(guān)節(jié)點(diǎn)、脊柱關(guān)節(jié)點(diǎn)、頸部關(guān)節(jié)點(diǎn)、頭部關(guān)節(jié)點(diǎn)、左肩關(guān)節(jié)點(diǎn)、左肘關(guān)節(jié)點(diǎn)、左手關(guān)節(jié)點(diǎn)、右肩關(guān)節(jié)點(diǎn)、右肘關(guān)節(jié)點(diǎn)、右手關(guān)節(jié)點(diǎn)、左髖關(guān)節(jié)點(diǎn)、左膝關(guān)節(jié)點(diǎn)、左腳關(guān)節(jié)點(diǎn)、右髖關(guān)節(jié)點(diǎn)、右膝關(guān)節(jié)點(diǎn)和右腳關(guān)節(jié)點(diǎn)等。

9、進(jìn)一步的，步驟2中所述的空間轉(zhuǎn)換，具體包括：

10、將1中提取得到的直角坐標(biāo)系下的三維人體姿態(tài)關(guān)節(jié)點(diǎn)，轉(zhuǎn)換至球坐標(biāo)系中：

11、

12、

13、

14、其中，直角坐標(biāo)系中的任一點(diǎn)為(x,y,z)，轉(zhuǎn)換后的球坐標(biāo)系中對(duì)應(yīng)的點(diǎn)為

15、進(jìn)一步的，步驟3中所述的得到最優(yōu)骨干網(wǎng)絡(luò)，具體包括以下步驟：

16、步驟3-1，構(gòu)建不同空間下的神經(jīng)架構(gòu)搜索空間，其中，所述不同空間為：位置信息空間和角度信息空間，所述神經(jīng)架構(gòu)搜索空間中包含構(gòu)建骨干網(wǎng)絡(luò)的子模塊；

17、步驟3-2，構(gòu)建聯(lián)合空間搜索策略，具體表示如下：

18、

19、其中，g表示聯(lián)合空間搜索策略，maximize表示最大化，acc代表聯(lián)合步態(tài)情緒識(shí)別精度，tc代表位置信息空間下的神經(jīng)架構(gòu)搜索空間中各子模塊構(gòu)建的骨干網(wǎng)絡(luò)特征提取速度，tc代表預(yù)定義的特征提取速度，ts代表這角度信息空間下的神經(jīng)架構(gòu)搜索空間中各子模塊構(gòu)建的骨干網(wǎng)絡(luò)特征提取速度，ts代表預(yù)定義的特征提取速度，w1和w2是權(quán)重因子，具體如下：

20、

21、

22、其中，α1，β1，α2，β2是常數(shù)；

23、步驟3-3，根據(jù)步驟3-2構(gòu)建的聯(lián)合搜索策略，搜索出位置信息空間和角度信息空間下的神經(jīng)架構(gòu)搜索空間中各子模塊的最優(yōu)組合，作為最優(yōu)骨干網(wǎng)絡(luò)。

24、進(jìn)一步的，步驟3-1中所述的包含構(gòu)建骨干網(wǎng)絡(luò)的子模塊，具體包括：3*3卷積子模塊、5*5卷積子模塊、3*3最大池化子模塊、3*3平均池化子模塊、stgcn子模塊、通道注意力子模塊和空間注意力子模塊。

25、進(jìn)一步的，步驟3-3中所述的搜索出位置信息空間和角度信息空間下的神經(jīng)架構(gòu)搜索空間中各子模塊的最優(yōu)組合，具體包括：

26、步驟3-3-1，使用控制器分別搜索出位置信息空間和角度信息空間下的初始骨干網(wǎng)絡(luò)，所述骨干網(wǎng)絡(luò)為所述神經(jīng)架構(gòu)搜索空間中各子模塊的隨機(jī)組合；

27、步驟3-3-2，利用步態(tài)情感數(shù)據(jù)集對(duì)上述初始骨干網(wǎng)絡(luò)進(jìn)行訓(xùn)練評(píng)估，分別得到聯(lián)合步態(tài)情緒識(shí)別精度和各空間下的初始骨干網(wǎng)絡(luò)的特征提取速度；

28、步驟3-3-3，根據(jù)步驟3-2中所述的聯(lián)合空間搜索策略進(jìn)行計(jì)算，并將結(jié)果反饋給控制器；

29、步驟3-3-4，控制器重新優(yōu)化搜索位置信息空間和角度信息空間下的新的骨干網(wǎng)絡(luò)，即將所述神經(jīng)架構(gòu)搜索空間中各子模塊重新進(jìn)行隨機(jī)組合，得到新的骨干網(wǎng)絡(luò)；

30、步驟3-3-5，將新的骨干網(wǎng)絡(luò)作為初始骨干網(wǎng)絡(luò)，重復(fù)迭代執(zhí)行步驟3-3-2至步驟3-3-4，直至預(yù)設(shè)的迭代輪次，分別獲得位置信息空間和角度信息空間中最優(yōu)的骨干網(wǎng)絡(luò)。

31、進(jìn)一步的，步驟3中所述的訓(xùn)練最優(yōu)骨干網(wǎng)絡(luò)，具體包括：

32、利用包含情緒標(biāo)簽的步態(tài)情感數(shù)據(jù)集，對(duì)所述最優(yōu)骨干網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

33、進(jìn)一步的，步驟4中所述的得到不同情緒的得分，具體包括：

34、步驟4-1，利用步驟3中訓(xùn)練好的最優(yōu)骨干網(wǎng)絡(luò)，分別提取位置信息空間和角度信息空間中的情感特征；

35、步驟4-2，分別利用softmax分類器對(duì)步驟4-1中提取的不同空間中的情感特征進(jìn)行情感分類打分，得到不同情緒的得分。

36、進(jìn)一步的，步驟5中所述的進(jìn)行聯(lián)合打分，具體包括：

37、通過(guò)聯(lián)合打分模塊對(duì)步驟4中得到的不同情緒的得分進(jìn)行聯(lián)合打分，得到不同情感基于不同空間的聯(lián)合得分，將得分最高的情緒，判定位為所述情緒識(shí)別最終的結(jié)果。

38、進(jìn)一步的，步驟5中所述的聯(lián)合打分模塊，具體如下：

39、fi＝si+ci

40、其中，i表示情緒類別，si表示角度信息空間中不同情緒的得分，ci表示位置信息空間中不同情緒的得分，fi表示聯(lián)合打分模塊輸出的聯(lián)合得分。

41、有益效果：

42、本發(fā)明充分利用了三維人體關(guān)節(jié)點(diǎn)在空間中的位置信息和角度信息，并且避免了手工設(shè)計(jì)深度學(xué)習(xí)模型的缺點(diǎn)，充分挖掘了模型結(jié)構(gòu)的潛能，有效提高了步態(tài)情緒識(shí)別模型的精度和泛化性。