本發(fā)明屬于計(jì)算機(jī)視覺，尤其涉及一種行為識別方法和裝置、系統(tǒng)、存儲介質(zhì)。

背景技術(shù)：

1、近年來，人類行為識別(har)作為計(jì)算機(jī)視覺領(lǐng)域一個(gè)極其重要的組成部分，在人機(jī)交互、智能監(jiān)控、醫(yī)療教育等方面被廣泛研究。尤其是基于骨架數(shù)據(jù)的人體動作識別因骨架數(shù)據(jù)對環(huán)境噪聲的魯棒性而受到越來越多的關(guān)注。許多現(xiàn)有基于深度學(xué)習(xí)的方法使用2d或3d關(guān)節(jié)向量或偽圖像的時(shí)間序列構(gòu)建骨架序列，并將這些數(shù)據(jù)輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)(rnns)或卷積神經(jīng)網(wǎng)絡(luò)(cnns)，以捕獲骨架的時(shí)空特征信息。然而，由于骨架自然構(gòu)造為非歐幾里得空間中的圖形，基于cnn和rnn的方法難以有效感知骨架的拓?fù)浣Y(jié)構(gòu)和運(yùn)動變化。

2、最近的研究已經(jīng)證明圖卷積網(wǎng)絡(luò)(gcns)在捕獲自然骨架結(jié)構(gòu)中時(shí)空特征的有效性。st-gcn是一個(gè)開創(chuàng)性的框架，定義了反映人體運(yùn)動中固有結(jié)構(gòu)和時(shí)間依賴性的骨架時(shí)空圖，通過堆疊空間圖卷積操作和時(shí)序建模操作成功捕獲人體骨架運(yùn)動數(shù)據(jù)?；趕t-gcn，一些變體提出通過引入一些增量模塊以增強(qiáng)對骨架拓?fù)浣Y(jié)構(gòu)的探索，如注意力模塊和語義引導(dǎo)模塊。此外，一些模型還采用兩流架構(gòu)來探索關(guān)節(jié)和骨骼的特征信息，從分離處理或運(yùn)動傳輸?shù)慕嵌仍O(shè)計(jì)不同的特征融合方法，以提高識別性能。

3、上述算法存在的問題是：

4、現(xiàn)有基于圖卷積網(wǎng)絡(luò)的動作識別模型主要關(guān)注骨架在空間的關(guān)節(jié)位置和運(yùn)動信息，以及沿時(shí)間維度的整體動態(tài)。因此，忽略了關(guān)節(jié)之間潛在的相互關(guān)系，并且無法感知快速變化的細(xì)節(jié)，導(dǎo)致具有相似運(yùn)動軌跡的動作經(jīng)?；煜?/p>

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題是，提供一種基于疏密圖卷積學(xué)習(xí)混淆動作表示的行為識別方法和裝置、系統(tǒng)、存儲介質(zhì)，可以感知快速變化的細(xì)節(jié)，避免混淆具有相似運(yùn)動軌跡的動作。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采用如下的技術(shù)方案：

3、一種行為識別方法，包括：

4、步驟s1、獲取骨架數(shù)據(jù)；

5、步驟s2、根據(jù)骨架數(shù)據(jù)，通過基于疏密圖卷積學(xué)習(xí)混淆動作表示的網(wǎng)絡(luò)模型和分類操作模塊進(jìn)行人體行為識別。

6、作為優(yōu)選，骨架數(shù)據(jù)包括：關(guān)節(jié)信息、骨骼特征和角度特征；其中，關(guān)節(jié)信息表示為每個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)，骨骼特征表示為從靠近重的關(guān)節(jié)指向遠(yuǎn)離重心的關(guān)節(jié)的向量，角度特征表示為不同骨骼向量之間的角度向量。

7、作為優(yōu)選，基于疏密圖卷積學(xué)習(xí)混淆動作表示的網(wǎng)絡(luò)模型包括：漸進(jìn)式特征增強(qiáng)模塊、增強(qiáng)時(shí)空卷積模塊和稀疏密集路徑模塊；其中，稀疏密集路徑模塊包含注意力交互模塊。

8、本發(fā)明還提供一種行為識別裝置，包括：

9、獲取模塊，用于獲取骨架數(shù)據(jù)；

10、識別模塊，用于根據(jù)骨架數(shù)據(jù)，通過基于疏密圖卷積學(xué)習(xí)混淆動作表示的網(wǎng)絡(luò)模型和分類操作模塊進(jìn)行人體行為識別。

11、作為優(yōu)選，骨架數(shù)據(jù)包括：關(guān)節(jié)信息、骨骼特征和角度特征；其中，關(guān)節(jié)信息表示為每個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)，骨骼特征表示為從靠近重的關(guān)節(jié)指向遠(yuǎn)離重心的關(guān)節(jié)的向量，角度特征表示為不同骨骼向量之間的角度向量。

12、作為優(yōu)選，基于疏密圖卷積學(xué)習(xí)混淆動作表示的網(wǎng)絡(luò)模型包括：漸進(jìn)式特征增強(qiáng)模塊、增強(qiáng)時(shí)空卷積模塊和稀疏密集路徑模塊；其中，稀疏密集路徑模塊包含注意力交互模塊。

13、本發(fā)明還提供一種行為識別系統(tǒng)，包括：存儲器和處理器，所述存儲器上存儲有由所述處理器運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被所述處理器運(yùn)行時(shí)執(zhí)行行為識別方法。

14、本發(fā)明還提供一種存儲介質(zhì)，所述存儲介質(zhì)上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在運(yùn)行時(shí)執(zhí)行行為識別方法。

15、本發(fā)明采用基于疏密圖卷積網(wǎng)絡(luò)學(xué)習(xí)混淆表示的網(wǎng)絡(luò)模型和分類操作模塊實(shí)現(xiàn)人體行為識別，有效地學(xué)習(xí)幀內(nèi)空間特征和幀間的時(shí)間依賴關(guān)系，基于疏密圖卷積網(wǎng)絡(luò)學(xué)習(xí)混淆表示的網(wǎng)絡(luò)模型由漸進(jìn)式特征增強(qiáng)(pfe)模塊、增強(qiáng)時(shí)空卷積(estc)模塊和稀疏密集路徑(sdp)模塊組成；pfe模塊利用多頭自注意力機(jī)制，分別生成不同類型特征注意力圖，通過逐級聚合這些特征注意力圖，不同類型的特征信息在層與層之間逐漸增強(qiáng)；為了有效地對骨架數(shù)據(jù)進(jìn)行建模，estc模塊被設(shè)計(jì)為骨干網(wǎng)，estc模塊通過添加一個(gè)掩碼鄰接矩陣來推斷幀內(nèi)節(jié)點(diǎn)之間的潛在依賴關(guān)系，并利用多尺度融合時(shí)間卷積來緩解不同時(shí)間尺度的特征和語義不一致的問題；為進(jìn)一步捕捉動態(tài)時(shí)間變化的細(xì)微差異，提出在不同時(shí)空分辨率下劃分的sdp，在sdp中設(shè)計(jì)了注意力交互模塊(aim)，該模塊促進(jìn)兩個(gè)分支中重要信息的通信，同時(shí)確保兩條路徑之間的幀對齊，并突出不同路徑捕獲的全局共同特征和局部差異特征；分類操作模塊利用softmax激活函數(shù)、全連接層映射不同路徑的預(yù)測概率，通過調(diào)整回歸參數(shù)的權(quán)值實(shí)現(xiàn)預(yù)測的自適應(yīng)融合輸出。

技術(shù)特征：

1.一種行為識別方法，其特征在于，包括：

2.如權(quán)利要求1所述的行為識別方法，其特征在于，骨架數(shù)據(jù)包括：關(guān)節(jié)信息、骨骼特征和角度特征；其中，關(guān)節(jié)信息表示為每個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)，骨骼特征表示為從靠近重的關(guān)節(jié)指向遠(yuǎn)離重心的關(guān)節(jié)的向量，角度特征表示為不同骨骼向量之間的角度向量。

3.如權(quán)利要求2所述的行為識別方法，其特征在于，基于疏密圖卷積學(xué)習(xí)混淆動作表示的網(wǎng)絡(luò)模型包括：漸進(jìn)式特征增強(qiáng)模塊、增強(qiáng)時(shí)空卷積模塊和稀疏密集路徑模塊；其中，稀疏密集路徑模塊包含注意力交互模塊。

4.一種行為識別裝置，其特征在于，包括：

5.如權(quán)利要求4所述的行為識別裝置，其特征在于，骨架數(shù)據(jù)包括：關(guān)節(jié)信息、骨骼特征和角度特征；其中，關(guān)節(jié)信息表示為每個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)，骨骼特征表示為從靠近重的關(guān)節(jié)指向遠(yuǎn)離重心的關(guān)節(jié)的向量，角度特征表示為不同骨骼向量之間的角度向量。

6.如權(quán)利要求5所述的行為識別裝置，其特征在于，基于疏密圖卷積學(xué)習(xí)混淆動作表示的網(wǎng)絡(luò)模型包括：漸進(jìn)式特征增強(qiáng)模塊、增強(qiáng)時(shí)空卷積模塊和稀疏密集路徑模塊；其中，稀疏密集路徑模塊包含注意力交互模塊。

7.一種行為識別系統(tǒng)，其特征在于，包括：存儲器和處理器，所述存儲器上存儲有由所述處理器運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被所述處理器運(yùn)行時(shí)執(zhí)行如權(quán)利要求1-3中的任一項(xiàng)所述的行為識別方法。

8.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在運(yùn)行時(shí)執(zhí)行如權(quán)利要求1-3中的任一項(xiàng)所述的行為識別方法。

技術(shù)總結(jié)
本發(fā)明公開一種行為識別方法和裝置、系統(tǒng)和存儲介質(zhì)，包括：步驟S1、獲取骨架數(shù)據(jù)；步驟S2、根據(jù)骨架數(shù)據(jù)，通過基于疏密圖卷積學(xué)習(xí)混淆動作表示的網(wǎng)絡(luò)模型和分類操作模塊進(jìn)行人體行為識別。采用本發(fā)明的技術(shù)方案，可以感知快速變化的細(xì)節(jié)，避免混淆具有相似運(yùn)動軌跡的動作。

技術(shù)研發(fā)人員：呂蕾,侯昕冉,李焱,杜萍,張夢洋,胡春雨
受保護(hù)的技術(shù)使用者：山東師范大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10