本發(fā)明涉及人體行為識別領(lǐng)域，具體涉及一種基于整合深度典型時間規(guī)整及相關(guān)修正的行為識別方法。
背景技術(shù)：
：人類行為識別屬于計算機(jī)視覺和行為模式識別領(lǐng)域，在最近的幾年逐漸成為了一個熱門課題。在人機(jī)交互、安保監(jiān)控、及基于內(nèi)容的視頻檢索等方面，行為識別都有巨大的實(shí)際使用價值，行為識別的作用隨著信息化的建設(shè)正日益突出其重要作用。同時，行為識別對計算機(jī)視覺的其他領(lǐng)域也有一定的促進(jìn)作用，例如人臉識別、步態(tài)分析等。過去由于科技的限制，大部分行為識別都基于2d的視頻和圖像，識別的效果都不理想。隨著深度攝像頭等3d技術(shù)的發(fā)展和普及，人類行為識別也逐漸從平面的特征識別向立面的特征識別發(fā)展，3d行為識別成為人類行為識別的主要研究方法。在采集運(yùn)動特征的過程中，不同的運(yùn)動速度會導(dǎo)致產(chǎn)生的數(shù)據(jù)在時間序列上出現(xiàn)較大的差異。因此在行為識別的過程中，數(shù)據(jù)對齊是影響識別的準(zhǔn)確率的重要因素。現(xiàn)有的3d行為識別光流模型、3d骨骼模型、3d輪廓模型、時空特征。現(xiàn)有的基于3d骨骼的行為識別方法使用多個攝像頭或者其他傳感器，將整個運(yùn)動中每一幀所有關(guān)節(jié)的位置信息用坐標(biāo)的方式表示出來，每一幀的數(shù)據(jù)在時間序列上的排列就構(gòu)成了這個動作的全部信息。這是一種基于點(diǎn)特征的特征描述方法。人體可以看成一個由剛體段構(gòu)成的鉸接系統(tǒng)，連接點(diǎn)就是人體的關(guān)節(jié)，在計算機(jī)視覺中，大量的研究是通過提取關(guān)節(jié)信息或檢測局部身體部位來識別行為。將人類的身體分割成幾個部分進(jìn)行行為識別的方法，從單一的圖像中提取人體的關(guān)節(jié)位置信息，并將人體分成頭、頸部、肩膀、手臂、肘部、手腕、手、軀干、腿、膝蓋、腳踝等部分，不同的動作可以用不同的部分表示。這種方法激發(fā)了計算機(jī)視覺領(lǐng)域的科研人員的興趣，利用骨骼的鉸接性識別人類行為成為行為識別領(lǐng)域的熱點(diǎn)。但是，現(xiàn)有技術(shù)存在識別精度低、識別時間長的問題。因此，提供一種識別精度高的基于3d骨骼的行為識別方法就很有必要。技術(shù)實(shí)現(xiàn)要素：本發(fā)明所要解決的技術(shù)問題是現(xiàn)有技術(shù)中存在的檢識別精度低、時間長的技術(shù)問題。提供一種新的基于3d骨骼的行為識別方法，該基于3d骨骼的行為識別方法具有識別精度高的特點(diǎn)。為解決上述技術(shù)問題，采用的技術(shù)方案如下：一種基于整合深度典型時間規(guī)整及相關(guān)修正的行為識別方法，包括圖像預(yù)處理、圖像分析、圖像理解，所述圖像分析包括：(1)將人體的行為表示為剛體位移，將剛體位移分解為剛體平移和剛體旋轉(zhuǎn)，用齊次矩陣?yán)钊簊e(3)表示剛體位移，反應(yīng)齊次矩陣?yán)钊簽閟e(3)全部信息的李代數(shù)為so(3)；(2)采集的骨骼數(shù)據(jù)建立骨骼模型c(t)，骨骼模型c(t)中有n段骨骼剛體，在t時刻，將一段骨骼定義為另一段骨骼位移的結(jié)果，一段骨骼與另一段骨骼之間的位置關(guān)系定義為位移映射關(guān)系，在歐式空間中，將位移映射關(guān)系表示為齊次矩陣?yán)钊簊e(3)，然后將齊次矩陣?yán)钊簊e(3)相應(yīng)的李代數(shù)so(3)作為運(yùn)動特征，建立基于李代數(shù)相對特征描述方法的骨骼模型c(t)，并對骨骼模型c(t)進(jìn)行差值處理，李代數(shù)相對特征描述方法即liealgebrarelativepairs,簡稱larp，其中，n為正整數(shù)；(3)使用深度典型時間規(guī)整方法對齊所述骨骼模型c(t)，得到對齊后的特征樣本；(4)利用相關(guān)性特征，修正步驟(3)中對齊特征樣本，得到修正后的對齊特征樣本；(5)使用支持向量機(jī)對修正后的特征樣本進(jìn)行分類，得到行為識別結(jié)果。本發(fā)明的工作原理：為了增強(qiáng)行為識別的效果，我們利用相關(guān)性修正了對齊后的測試樣本，獲得了更好的測試結(jié)果。主要是通過訓(xùn)練，深度典型時間規(guī)整使樣本之間的相關(guān)性得到了提高。上述方案中，為優(yōu)化，進(jìn)一步地，深度典型時間規(guī)整方法為整合深度典型時間規(guī)整方法。主要改進(jìn)了深度典型時間規(guī)整方法，即dctw中的深層網(wǎng)絡(luò)結(jié)構(gòu)，目的是適當(dāng)?shù)臏p少算法的運(yùn)行時間。在將dctw運(yùn)用到larp的過程中，對訓(xùn)練樣本中的每組數(shù)據(jù)都進(jìn)行非線性變換雖然能提高行為識別的精確度，但是由于需要計算的梯度過多，導(dǎo)致算法的運(yùn)算時間過長，因此我們嘗試找到其他的簡單方法。實(shí)際訓(xùn)練的目的是找到一組一般性的數(shù)據(jù)特征，對樣本中的每一組數(shù)據(jù)求損失函數(shù)不是必須的，我們嘗試用動態(tài)時間規(guī)整平均的方法首先得到一組數(shù)據(jù)，將這組作為全部樣本的代表計算損失函數(shù)，這樣深層網(wǎng)絡(luò)中需要的計算量得到了顯著的改善，能夠減少計算時間。進(jìn)一步地，步驟(4)所述相關(guān)性特征包括將骨骼模型c(t)與對齊后的特征樣本對齊，計算骨骼模型c(t)與對齊后的特征樣本每一幀的相關(guān)性，利用相關(guān)系數(shù)x∈r為變量計算修正系數(shù)，將修正系數(shù)與每一幀的特征數(shù)據(jù)相乘改變對應(yīng)幀的權(quán)重，修正系數(shù)服從修正函數(shù)ex。進(jìn)一步地，步驟(3)所述整合深度典型時間規(guī)整方法包括：利用權(quán)重w(t)和深層網(wǎng)絡(luò)的激活函數(shù)對骨骼模型c(t)進(jìn)行非線性變換，得到變換樣本c’(t)，將變換樣本c’(t)中第一組數(shù)據(jù)c’1作為標(biāo)準(zhǔn)數(shù)據(jù)，使用動態(tài)時間規(guī)整方法將變換樣本c’(t)分別與標(biāo)準(zhǔn)數(shù)據(jù)c’1對齊、求平均后得到整合特征c，根據(jù)合特征c與標(biāo)準(zhǔn)數(shù)據(jù)c’1及：計算協(xié)方差，并進(jìn)行svd分解得到u、v，根據(jù)u、v，變換樣本c，(t)及計算出與變換樣本c，(t)一一對應(yīng)的梯度g(t)，根據(jù)梯度g(t)和深層網(wǎng)絡(luò)的學(xué)習(xí)率更新權(quán)重w(t)，收斂后，將所有經(jīng)過深層網(wǎng)絡(luò)變換的訓(xùn)練特征c1f，c2f，c3f…-與標(biāo)準(zhǔn)數(shù)據(jù)c’1對應(yīng)的訓(xùn)練特征cf用動態(tài)時間規(guī)整對齊后平均，計算結(jié)果為對齊特征樣本；其中，深層網(wǎng)絡(luò)的總層數(shù)至少為2。進(jìn)一步地，所述深層網(wǎng)絡(luò)為bp網(wǎng)絡(luò)，bp網(wǎng)絡(luò)包括一個輸入層、一個輸出層及兩個隱層。進(jìn)一步地，步驟(2)所述差值處理包括使用插值方法，所述插值方法包括：通過插值得到幀數(shù)相同的特征，插值公式為：其中，定義q1，q2，q3…qn∈se(3)分別為t1，t2，t3…tn時刻的瞬時相對位置。進(jìn)一步地，所述步驟(2)中所述建立基于李代數(shù)相對特征描述方法的骨骼模型c(t)包括：選擇骨骼模型中的em骨骼及en骨骼進(jìn)行分析，em骨骼的端點(diǎn)為em1及em2，en骨骼的端點(diǎn)為en1及en2，以端點(diǎn)en1為原點(diǎn)，en骨骼的方向向量為軸，骨骼em和骨骼en所處面為坐標(biāo)面建立坐標(biāo)系，em骨骼的端點(diǎn)em1及em2的相對位置表示成：en的端點(diǎn)相對于em的位置為：em骨骼與en骨骼的位移映射關(guān)系為em骨骼與en骨骼的相對位置關(guān)系為：根據(jù)em骨骼與en骨骼的相對位置關(guān)系計算每個骨骼和其他骨骼的相位移映射關(guān)系ve(b)，定義骨骼模型有n段骨骼剛體，得出t時刻的骨骼模型形狀為c(t)為：c(t)＝(ve(b1，2)，ve(b1，3)，…，ve(bn，n-1))，ve(b)＝(u1，u2，u3，v1，v2，v3)其中，c(t)共有6×n×(n-1)個向量，n與m均為小于n的正整數(shù)。進(jìn)一步地，所述圖像預(yù)處理還包括圖像降噪和圖像增強(qiáng)。一個矩陣?yán)钊旱膶?shù)能構(gòu)成一個李代數(shù)空間，李群中的信息能夠完全轉(zhuǎn)化成李代數(shù)的形式。用李群可以表示剛體的位移，剛體的位移變換可以分解成平移和旋轉(zhuǎn)兩部分。假設(shè)作為坐標(biāo)原點(diǎn)的p在剛體位移過程中的位移向量為q∈r3，剛體圍繞p做出的旋轉(zhuǎn)為r∈so(3)，那么我們可以將兩者結(jié)合，得到一對位移坐標(biāo)(q，r)來表示這個剛體位移，所有這樣的坐標(biāo)構(gòu)成了一個集合se(3)：se(3)＝{(q，r)：q∈r3，r∈so(3)}＝r3×so(3)。令x1，x2分別表示平移前和平移后的位置，那么可以得到：x2＝q+rx1，其中q，r∈se(3)表示剛體的位移，se(3)中的元素表示剛體的位移變化。為了將平移和旋轉(zhuǎn)用更簡單清楚的方法表示出來，采用齊次矩陣來表示剛體的變換。在齊次化的過程中，這里用1來表示點(diǎn)的位置，向量用0來表示。一個點(diǎn)的位置變換可以表示成：為4×4矩陣，為g∈se(3)的齊次表示重新定義se(3)，將原se(3)中的元素全部齊次化得到新的se(3)，新的se(3)在乘法運(yùn)算下能構(gòu)成一個群，se(3)滿足剛體位移條件，因此se(3)能夠表示剛體的位移，表示的就是繞軸的旋轉(zhuǎn)變換，q為旋轉(zhuǎn)軸上的一點(diǎn)，由于坐標(biāo)系是以位移前的q點(diǎn)為原點(diǎn)，因此位移后的q點(diǎn)反映出了q點(diǎn)的平移變換情況，se(3)是一個李群。必定存在一個李代數(shù)能反映se(3)的全部信息。使用se(3)描述基于3d骨骼的人類行為特征。行為識別的對象為視頻或圖像序列，在這些對象中，人的動作都是離散的，也就是說，人的運(yùn)動是通過若干個靜止的骨架形狀排列而成，因此基于3d骨骼的人類行為識別的特征描述就是找到能描述靜止的骨骼形狀的方法。將兩段骨骼之間的位置關(guān)系理解為位移映射關(guān)系，也就是說把一段骨骼看成是另一段骨骼位移的結(jié)果，在歐式空間中，某一段固定的骨骼相對于另一段骨骼的位置同樣也能用李群表示出來，然后找到相應(yīng)的李代數(shù)作為運(yùn)動的特征。李代數(shù)相對描述方法的目的就是計算出每個骨骼和其他骨骼之間的相對位置關(guān)系，并使用ve(b)表示。假設(shè)一個骨骼模型有n段骨骼剛體，那么在t時刻，這個骨骼模型的形狀可以表示成c(t)＝(ve(b1，2)，ve(b1，3)，…，ve(bn，n-1))，這個向量共有數(shù)量6×n×(n-1)個。動態(tài)時間規(guī)整的處理對象是在時間序列上排列的數(shù)列，令這兩個數(shù)組分別為x：x1，x2，x3，…，xn和y：y1，y2，y3，…，ym，長度分別為n，m∈r。這兩個數(shù)組可能是離散的信號，或者更普遍的，是在采集特征數(shù)列的過程中產(chǎn)生的時間等距點(diǎn)。這里設(shè)這個特征空間為f，那么xn，ym∈f，其中n∈[1，n]，m∈[1，m]。通常，當(dāng)比較兩個不同的特征x，y∈f，需要一個函數(shù)作為比較兩個特征相似性的方法，這個函數(shù)滿足c：f×f→r≥0。如果x和y的相似性越高，c(x，y)的值就越小。考慮所有x和y中的元素組成的數(shù)對，動態(tài)時間規(guī)整的目的就是找到一個最優(yōu)的組合，使x和y中的元素兩兩組合之后得到的所有c(x，y)相加之后的值最小。動態(tài)時間規(guī)整本身具有不能處理維度不同的數(shù)列的缺陷。本發(fā)明采用一種改進(jìn)的方法，整合深度典型時間規(guī)整。并引入典型相關(guān)性分析，加強(qiáng)需要對齊的兩個數(shù)列的相似性，在相似度較高的情況下，對齊的準(zhǔn)確率能有大幅的提升。兩個數(shù)據(jù)之間的相關(guān)性是對象之間線性聯(lián)系的度量。相關(guān)性越高的兩組數(shù)據(jù)就越相似。兩組數(shù)據(jù)的相關(guān)性反映的是這兩組數(shù)據(jù)線性相關(guān)程度，相關(guān)性越大，就越容易從一組數(shù)據(jù)預(yù)測出另一組數(shù)據(jù)的分布。在行為識別的過程中，相關(guān)度高的兩個數(shù)組表示的骨架形狀也有較高的相似度。典型相關(guān)性分析的作用就是通過線性變換使兩組數(shù)據(jù)具有更高的相關(guān)度。深度典型相關(guān)性分析將典型相關(guān)性分析中的線性變換變?yōu)榉蔷€性變換，使兩個數(shù)列在變換之后的相似度達(dá)到更高的水平。深度學(xué)習(xí)指有超過兩層的深度深層網(wǎng)絡(luò)，能夠通過抽象的多層嵌套形成的非線性函數(shù)獲得更接近現(xiàn)實(shí)的效果。通過深度學(xué)習(xí)，能通過初始化參數(shù)并通過訓(xùn)練更新的形式得到很好的效果。在深度典型相關(guān)性分析中，深度學(xué)習(xí)主要是為了找到使兩個數(shù)列的相關(guān)度更高的非線性變換。深度學(xué)習(xí)中的數(shù)列經(jīng)過非線性變換之后，通過相應(yīng)的方法計算深層網(wǎng)絡(luò)的損失函數(shù)，然后根據(jù)損失函數(shù)確定各個權(quán)重的梯度，在梯度的基礎(chǔ)上更新權(quán)重，最終達(dá)到穩(wěn)定的狀態(tài)，此時的權(quán)重就是深層網(wǎng)絡(luò)更新多次后的最終結(jié)果，最后的輸出結(jié)果就是深層網(wǎng)絡(luò)的解。典型時間規(guī)整是在對齊數(shù)列之前，首先將數(shù)列進(jìn)行典型相關(guān)性分析，提高這兩組數(shù)據(jù)的相關(guān)性，在高相似性的情況下，數(shù)列的對齊能得到更好的效果。深度典型時間規(guī)整是首先利用深層網(wǎng)絡(luò)中的函數(shù)對數(shù)據(jù)進(jìn)行非線性變換，然后進(jìn)行典型相關(guān)性分析，通過損失函數(shù)更新非線性映射中的各項參數(shù)，最終得到穩(wěn)定的結(jié)果。融合深度典型時間規(guī)整主要是對深度典型時間規(guī)整進(jìn)行改進(jìn)。具體改進(jìn)深層網(wǎng)絡(luò)中的損失函數(shù)的計算方式。對經(jīng)過非線性變換的樣本f1，f2，f3，…，利用動態(tài)時間規(guī)整計算過程得到一個整合的函數(shù)fdtw，然后我們選擇樣本中的f1，利用這兩個樣本計算在計算損失函數(shù)時，利用fdtw和f1計算協(xié)方差，k以及奇異值分解k后得到的u和v也都是由這兩個樣本計算，將各樣本f1，f2，f3，….計算為在深層網(wǎng)絡(luò)的一個循環(huán)中只需要計算一次k及svd分解，同時以及也同樣只需要計算一次，能夠節(jié)省大量的時間。為了提高識別的精確度，我們嘗試?yán)孟嚓P(guān)性對特征進(jìn)行修正。通過對齊后的測試樣本和訓(xùn)練得到的一般性特征數(shù)據(jù)的相關(guān)性，測試數(shù)據(jù)對齊的效果。由于larp運(yùn)動特征矩陣的結(jié)構(gòu)如圖8所示，為特征矩陣的結(jié)構(gòu)中時間序列表示，圖9為相對應(yīng)的相關(guān)系數(shù)計算方式。通過測試矩陣的每一列與一般性矩陣相應(yīng)的列之間的相應(yīng)系數(shù)評估對齊的效果。利用相關(guān)系數(shù)作為測試樣本相關(guān)性的評估，增加相關(guān)性較高的幀數(shù)在識別中的作用，降低相關(guān)性較低的幀數(shù)的作用。為區(qū)分相關(guān)性之間的差異，把相關(guān)系數(shù)x∈r作為變量計算系數(shù)，通過相乘的形式改變幀數(shù)的權(quán)重，選擇修正函數(shù)為ex，修正流程如圖10。經(jīng)過整合深度時間規(guī)整對樣本相關(guān)性的調(diào)整，測試樣本與訓(xùn)練結(jié)果之間的相關(guān)性大部分在0-0.2之間，極少出現(xiàn)負(fù)相關(guān)的情況。因此，能夠區(qū)分相關(guān)性較低的幀與其他相關(guān)性高的幀，并降低相關(guān)性低的幀權(quán)重。本發(fā)明的有益效果：效果一，通過采用融合深度典型時間規(guī)整及相關(guān)性修正對齊提高了識別準(zhǔn)確度；效果二，克服了現(xiàn)有3d骨骼行為識別的缺陷；效果三，使用融合深度典型時間規(guī)整顯著降低了行為識別的計算時間。附圖說明下面結(jié)合附圖和實(shí)施例對本發(fā)明進(jìn)一步說明。圖1，實(shí)施例1中3d行為識別流程示意圖。圖2，實(shí)施例1的行為識別結(jié)果示意圖。圖3，整合深度典型時間規(guī)整深層網(wǎng)絡(luò)結(jié)構(gòu)示意圖。圖4，動態(tài)時間規(guī)整整合方法示意圖。圖5，剛體運(yùn)動拆分示意圖。圖6，人體運(yùn)動行為骨骼示意圖。圖7，修正函數(shù)示意圖。圖8，矩陣的時間序列表示示意圖。圖9，相關(guān)系數(shù)計算示意圖。圖10，修正流程示意圖。具體實(shí)施方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。實(shí)施例1本實(shí)施例提供一種基于整合深度典型時間規(guī)整及相關(guān)修正的行為識別方法，包括圖像預(yù)處理、圖像分析、圖像理解，如圖1，所述圖像分析包括：(1)將人體的行為表示為剛體位移，將剛體位移分解為剛體平移和剛體旋轉(zhuǎn)，用齊次矩陣?yán)钊簊e(3)表示剛體位移，李代數(shù)so(3)反映齊次矩陣?yán)钊簊e(3)全部信息；(2)采集的骨骼數(shù)據(jù)建立骨骼模型c(t)，骨骼模型c(t)中有n段骨骼剛體，在t時刻，將一段骨骼定義為另一段骨骼位移的結(jié)果，一段骨骼與另一段骨骼之間的位置關(guān)系定義為位移映射關(guān)系，在歐式空間中，將位移映射關(guān)系表示為齊次矩陣?yán)钊簊e(3)，然后將齊次矩陣?yán)钊簊e(3)相應(yīng)的李代數(shù)so(3)作為運(yùn)動特征，建立基于李代數(shù)相對特征描述方法的骨骼模型c(t)，并對骨骼模型c(t)進(jìn)行差值處理，其中，n為正整數(shù)；(3)使用深度典型時間規(guī)整方法對齊所述骨骼模型c(t)，得到對齊后的特征樣本；(4)利用相關(guān)性特征，修正步驟(3)中對齊特征樣本，得到修正后的對齊特征樣本；(5)使用支持向量機(jī)對修正后的特征樣本進(jìn)行分類，得到行為識別結(jié)果。本實(shí)施例采用通過kinect制作出來的florence3d-action數(shù)據(jù)集作為實(shí)驗對象。kinect一共包括3個攝像頭，中間的是rgb攝像頭，用來捕捉分辨率為640×480的彩色圖像，每秒鐘獲取30幀圖像，兩邊是兩個深度傳感器，用來檢測用戶的相對位置。florence3d-action數(shù)據(jù)集使用一個位置固定的kinect傳感器收集數(shù)據(jù)。它由10個不同的人分別進(jìn)行9種的不同動作構(gòu)成。每個人進(jìn)行每一次動作兩到三次，整個數(shù)據(jù)集總共有215個動作。數(shù)據(jù)集中的骨架模型由15個關(guān)節(jié)構(gòu)成。本實(shí)施例中，對每個人選擇一半的動作作為訓(xùn)練樣本，將剩下的一半作為測試樣本。florence3d-action數(shù)據(jù)集中的骨架信息是在kinect平臺輸出的骨架上加工得到。kinect的視頻的速度保持在30幀。在kinect的骨架模型中，如圖6，為行為骨骼示意圖，類似地，前臂、上臂、軀干、頭部這些身體部分都被視為剛體。建立一個絕對坐標(biāo)系表示各個關(guān)節(jié)，原點(diǎn)是kinect的位置，x軸為水平向左方向，y軸垂直向上，z軸為kinect正前方向，每個關(guān)節(jié)在坐標(biāo)系中都有一個位置坐標(biāo)?？紤]到關(guān)節(jié)運(yùn)動時的相關(guān)性，kinect的原始模型的數(shù)據(jù)存在大量的冗余，因此需要在這些數(shù)據(jù)的基礎(chǔ)上進(jìn)行改進(jìn)。本實(shí)施中假設(shè)人體中一些相關(guān)性較高的關(guān)節(jié)是相對固定不變的，人體的軀干為一個較大的剛體。骨架上的關(guān)節(jié)就被分成了兩級：一級是軀干上的關(guān)節(jié)點(diǎn)；二級是位于軀干外與一級關(guān)節(jié)通過骨骼相連的子關(guān)節(jié)點(diǎn)。為了確定一級關(guān)節(jié)的位置，模型以人體的脊椎尾部位置為原點(diǎn)建立坐標(biāo)系，得到坐標(biāo)(u，r，t)0、(u，r，t)1、(u，r，t)2和(u，r，t)3。以各個一級為坐標(biāo)系原點(diǎn)，分別建立坐標(biāo)系得到二級關(guān)節(jié)點(diǎn)坐標(biāo)。本實(shí)施例的工作流程：采集骨骼參數(shù)模型，采用larp方法描述骨骼參數(shù)，對結(jié)果使用深度典型時間規(guī)整進(jìn)行對齊，然后進(jìn)行相關(guān)性修正，最后對結(jié)果進(jìn)行分類輸出。深度典型時間規(guī)整方法為引入深度學(xué)習(xí)的典型時間規(guī)整。引入深度學(xué)習(xí)的典型時間規(guī)整為利用權(quán)重w(t)和深層網(wǎng)絡(luò)的激活函數(shù)對骨骼模型c(t)進(jìn)行非線性變換，得到變換樣本c，(t)，變換樣本c，(t)中第一組數(shù)據(jù)c，1作為標(biāo)準(zhǔn)數(shù)據(jù)，使用動態(tài)時間規(guī)整方法將變換樣本c，(t)分別與標(biāo)準(zhǔn)數(shù)據(jù)c，1對齊得到對齊樣本c，(t，)，根據(jù)對齊樣本c，(t，)與標(biāo)準(zhǔn)數(shù)據(jù)c’1及：計算與對齊樣本c’(t’)對應(yīng)的梯度g(t)，根據(jù)梯度g(t)和深層網(wǎng)絡(luò)的學(xué)習(xí)率更新權(quán)重w(t)，重復(fù)直到滿足深層網(wǎng)絡(luò)收斂條件；將所有深層網(wǎng)絡(luò)學(xué)習(xí)的訓(xùn)練特征c1f，c2f，c3f…-與c1f用動態(tài)時間規(guī)整方法對齊后平均，計算出訓(xùn)練結(jié)果其中，深層網(wǎng)絡(luò)的總層數(shù)至少為2。深度典型時間規(guī)整方法具體為：輸入原始的骨骼運(yùn)動數(shù)據(jù)x；求出larp特征c1，c2，c3…；利用權(quán)重w1，w2，w3和網(wǎng)絡(luò)的激活函數(shù)對c1，c2，c3…-進(jìn)行非線性變換，得到c′1，c′2，c′3…；將c′1作為模板，令c′1，c′2，c′3…分別與c′1使用dtw對齊得到c″1，c″2，c″3…；c″1，c″2，c″3…根據(jù)梯度公式分別與c′1求出對應(yīng)的梯度g1，g2，g3….；梯度公式為：根據(jù)g1，g2，g3…和網(wǎng)絡(luò)設(shè)置的學(xué)習(xí)率更新權(quán)重w1，w2，w3…；優(yōu)選地，為降低計算時間。深度典型時間規(guī)整優(yōu)選為融合深度典型時間規(guī)整方法進(jìn)行對齊。其中，修正流程如圖10。所述相關(guān)性特征包括將骨骼模型c(t)與對齊后的特征樣本對齊，計算骨骼模型c(t)與對齊后的特征樣本每一幀的相關(guān)性，利用相關(guān)系數(shù)x∈r作為變量計算修正系數(shù)，將修正系數(shù)與每一幀的特征數(shù)據(jù)相乘改變對應(yīng)幀的權(quán)重，修正系數(shù)服從修正函數(shù)ex。其中測試樣本為骨骼模型，對齊后的特征樣本為訓(xùn)練結(jié)果。由于larp運(yùn)動特征矩陣的結(jié)構(gòu)如圖8所示，通過如圖9測試矩陣的每一列與一般性矩陣相應(yīng)的列之間的相應(yīng)系數(shù)評估對齊的效果。優(yōu)選地，為了降低對齊算法的耗時，深度典型時間規(guī)整可以優(yōu)化為整合深度典型時間規(guī)整。因此，步驟(3)所述整合深度典型時間規(guī)整方法包括：利用權(quán)重w(t)和深層網(wǎng)絡(luò)的激活函數(shù)對骨骼模型c(t)進(jìn)行非線性變換，得到變換樣本c’(t)，將變換樣本c’(t)中第一組數(shù)據(jù)c’1作為標(biāo)準(zhǔn)數(shù)據(jù)，使用動態(tài)時間規(guī)整方法將變換樣本c，(t)分別與標(biāo)準(zhǔn)數(shù)據(jù)c’1對齊、求平均后得到整合特征c，根據(jù)合特征c與標(biāo)準(zhǔn)數(shù)據(jù)c，1及：計算協(xié)方差，并進(jìn)行svd分解得到u、v，根據(jù)u、v，變換樣本c，(t)及計算出與變換樣本c’(t)一一對應(yīng)的梯度g(t)，根據(jù)梯度g(t)和深層網(wǎng)絡(luò)的學(xué)習(xí)率更新權(quán)重w(t)，本實(shí)施例中收斂次數(shù)手動設(shè)置為5次，收斂后，將所有經(jīng)過深層網(wǎng)絡(luò)變換的訓(xùn)練特征c1f，c2f，c3f…-與標(biāo)準(zhǔn)數(shù)據(jù)c’1對應(yīng)的訓(xùn)練特征c1f用動態(tài)時間規(guī)整對齊后平均，計算結(jié)果為對齊特征樣本。具體地，步驟(2)所述差值處理包括使用插值方法，所述插值方法包括：通過插值得到幀數(shù)相同的特征，插值公式為：其中，定義q1，q2，q3…qn∈se(3)分別為jt1，t2，t3…tn時刻的瞬時相對位置。其中，所述步驟(2)中所述建立基于李代數(shù)相對特征描述方法的骨骼模型c(t)包括：選擇骨骼模型中的em骨骼及en骨骼進(jìn)行分析，em骨骼的端點(diǎn)為em1及em2，en骨骼的端點(diǎn)為en1及en2，以端點(diǎn)en1為原點(diǎn)，en骨骼的方向向量為軸，骨骼em和骨骼en所處面為坐標(biāo)面建立坐標(biāo)系，em骨骼的端點(diǎn)em1及em2的相對位置表示成：en的端點(diǎn)相對于em的位置為：em骨骼與en骨骼的位移映射關(guān)系為em骨骼與en骨骼的相對位置關(guān)系為：根據(jù)em骨骼與en骨骼的相對位置關(guān)系計算每個骨骼和其他骨骼的相位移映射關(guān)系ve(b)，定義骨骼模型有n段骨骼剛體，得出t時刻的骨骼模型形狀為c(t)為：c(t)＝(ve(b1，2)，ve(b1，3)，…，ve(bn，n-1))，ve(b)＝(u1，u2，u3，v1，v2，v3)其中，c(t)共有6×n×(n-1)個向量，n與m均為小于n的正整數(shù)。優(yōu)選地，所述圖像預(yù)處理還包括圖像降噪和圖像增強(qiáng)。能夠提高識別效果。實(shí)施例1中整合深度典型時間規(guī)整結(jié)構(gòu)如圖3，其中，我們使用的深度學(xué)習(xí)深層網(wǎng)絡(luò)是bp網(wǎng)絡(luò)結(jié)構(gòu)。深層網(wǎng)絡(luò)中共設(shè)置了4層，包括輸入層、輸出層和兩個隱層。如圖5，用李群可以表示剛體的位移，剛體的位移變換可以分解成平移和旋轉(zhuǎn)兩部分。在訓(xùn)練的過程中，動態(tài)時間規(guī)整方法，即dtw，的流程如圖4為：選擇訓(xùn)練數(shù)據(jù)集中的第一個數(shù)組作為參照對其他所有的數(shù)據(jù)進(jìn)行對齊，然后平均得到一個新的參照數(shù)組，將這個步驟循環(huán)25次之后，最終得到整合數(shù)據(jù)。由于深層網(wǎng)絡(luò)只需要計算一次梯度，相比較改進(jìn)前的dctw，我們的深層網(wǎng)絡(luò)在算法的時間上有改善，算法時間如下表1所示。表1在對特征進(jìn)行相關(guān)性修正的過程中，修正目的是為了區(qū)分出相關(guān)性較好的視頻幀和相關(guān)性較差的視頻幀，對函數(shù)的要求是盡可能擴(kuò)大相關(guān)性對修正系數(shù)產(chǎn)生的影響，導(dǎo)數(shù)較大的函數(shù)能在我們的實(shí)驗中產(chǎn)生較好的效果。選擇結(jié)果最好的函數(shù)作為我們的修正函數(shù)，選擇準(zhǔn)確率最高的ex作為修正函數(shù)，ex在[-1，1]的區(qū)間上的函數(shù)圖像如圖7所示。修正函數(shù)對數(shù)據(jù)進(jìn)行修正之后的結(jié)果如表2。最終的相關(guān)性修正結(jié)果相比較于最初的larp+dtw有了0.62％的提高。表2實(shí)驗結(jié)果larp+dtw0.9071larp+dctw0.9124larp+dctw+相關(guān)性修正0.9133經(jīng)過相關(guān)性的修正之后，行為識別結(jié)果如圖2。本實(shí)施例中的行為識別方法對一些識別率較低的動作提高較為明顯，例如喝水和打電話這兩個動作，識別的準(zhǔn)確率都提高了1％-3％左右。盡管上面對本發(fā)明說明性的具體實(shí)施方式進(jìn)行了描述，以便于本
技術(shù)領(lǐng)域：
的技術(shù)人員能夠理解本發(fā)明，但是本發(fā)明不僅限于具體實(shí)施方式的范圍，對本
技術(shù)領(lǐng)域：
的普通技術(shù)人員而言，只要各種變化只要在所附的權(quán)利要求限定和確定的本發(fā)明精神和范圍內(nèi)，一切利用本發(fā)明構(gòu)思的發(fā)明創(chuàng)造均在保護(hù)之列。當(dāng)前第1頁12