一種基于流行學(xué)習(xí)的人體行為識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及行為識(shí)別判斷領(lǐng)域，具體涉及一種基于流行學(xué)習(xí)的人體行為識(shí)別方 法。
【背景技術(shù)】
[0002] 人體行為識(shí)別是一個(gè)新興的研宄領(lǐng)域，其涉及到圖像處理、模式識(shí)別、人工智能 等多門(mén)學(xué)科，并在智能監(jiān)控、人機(jī)交互、智能機(jī)器人、虛擬現(xiàn)實(shí)和運(yùn)動(dòng)分析等領(lǐng)域有著廣泛 的應(yīng)用。
[0003] 人體行為識(shí)別研宄形式多樣，內(nèi)容豐富，既有手勢(shì)識(shí)別、表情分析等局部的識(shí)別研 宄，也有針對(duì)獨(dú)立個(gè)體的行為識(shí)別研宄，還包括群體間的交互行為分析等?？傮w來(lái)說(shuō)按照數(shù) 據(jù)采集方式可以將人體行為識(shí)別研宄分為基于非視覺(jué)的方式和基于視覺(jué)的方式。基于非視 覺(jué)的方式主要是利用放置在人體或者人的活動(dòng)空間內(nèi)的傳感器獲取人體運(yùn)動(dòng)參數(shù)。這種方 法獲取的人體運(yùn)動(dòng)參數(shù)較為精確，卻會(huì)給人們生活帶來(lái)不便。相對(duì)于前者，基于視覺(jué)的方式 能夠獲得更豐富的信息，目前基于視覺(jué)的方式是人體行為識(shí)別研宄的主流方法。
[0004] 近年來(lái)，國(guó)內(nèi)加速推進(jìn)人體行為識(shí)別領(lǐng)域的研宄及其成果的產(chǎn)業(yè)化應(yīng)用，取得了 較大進(jìn)展。據(jù)不完全統(tǒng)計(jì)，2012年新立項(xiàng)的973項(xiàng)目"面向公共安全的社會(huì)感知數(shù)據(jù)處理"， 將運(yùn)動(dòng)目標(biāo)行為分析和群體行為分析列為待突破的關(guān)鍵技術(shù)之一；973項(xiàng)目子課題"非結(jié) 構(gòu)化信息的內(nèi)容理解與語(yǔ)義表征"，將基于計(jì)算機(jī)視覺(jué)的行為識(shí)別列為主要研宄內(nèi)容之一。 科技部設(shè)立了中德合作重點(diǎn)項(xiàng)目"智能家庭服務(wù)監(jiān)控機(jī)器人"，涉及到室內(nèi)發(fā)生的人體跌倒 等異常行為檢測(cè)關(guān)鍵技術(shù)研宄，交通部設(shè)立了"長(zhǎng)途客車(chē)運(yùn)輸駕駛疲勞機(jī)理與檢測(cè)方法研 宄"課題，用于駕駛員行為分析研宄。此外，近年來(lái)國(guó)家每年還資助了多項(xiàng)與人體行為有關(guān) 的863計(jì)劃項(xiàng)目、國(guó)家自然科學(xué)基金面上項(xiàng)目、國(guó)家自然科學(xué)青年基金項(xiàng)目，主要涵蓋了以 下研宄內(nèi)容：各種活動(dòng)場(chǎng)景和各種攝像條件下基于計(jì)算機(jī)視覺(jué)的單人/多人/群體行為分 析、異常行為檢測(cè)、駕駛員疲勞行為監(jiān)測(cè)及預(yù)警、運(yùn)動(dòng)技術(shù)診斷等，基于可穿戴傳感的行為 感知、生理狀態(tài)監(jiān)測(cè)、運(yùn)動(dòng)技術(shù)診斷、人機(jī)交互等，基于多模傳感的行為識(shí)別以及面向無(wú)線 傳感網(wǎng)絡(luò)（如移動(dòng)終端）的用戶行為識(shí)別研宄等。
[0005] 人體行為識(shí)別的關(guān)鍵步驟是人體行為數(shù)據(jù)的處理。采集人體的行為數(shù)據(jù)往往擁有 很高的維度，其中夾雜著很多的噪音數(shù)據(jù)。常用的降維方式有主成分分析法（PCA)與高斯 過(guò)程隱變量模型（GPLVM)。相比較PCA，流行學(xué)習(xí)能夠保持?jǐn)?shù)據(jù)集中數(shù)據(jù)之間的局部領(lǐng)域關(guān) 系，跟適合表征人體運(yùn)動(dòng)。相比較GPLVM，流行學(xué)習(xí)不需要對(duì)數(shù)據(jù)進(jìn)行大量?jī)?yōu)化，并且能夠把 高煒數(shù)據(jù)點(diǎn)的局部關(guān)系傳遞到低煒空間中。所以用流行學(xué)習(xí)，數(shù)據(jù)庫(kù)越大，訓(xùn)練得到的運(yùn)動(dòng) 模型就能覆蓋更多的運(yùn)動(dòng)變化。將流行學(xué)習(xí)用到行為識(shí)別的數(shù)據(jù)處理方面，有跟好的識(shí)別 效果。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于流行學(xué)習(xí)的人體行為 識(shí)別的方法，通過(guò)流行學(xué)習(xí)在降低維度方面的優(yōu)越性，提高行為識(shí)別的準(zhǔn)確度。
[0007] -種基于流行學(xué)習(xí)的人體行為識(shí)別方法，包括如下步驟：
[0008] 通過(guò)kinect獲取人體場(chǎng)景深度數(shù)據(jù)；
[0009] 對(duì)深度數(shù)據(jù)進(jìn)行處理，獲取笛卡爾坐標(biāo)系下三維投影圖；
[0010] 將笛卡爾坐標(biāo)系下三維投影圖數(shù)據(jù)輸入流行學(xué)習(xí)算法中，獲得降維去噪后低維穩(wěn) 定的流行深度數(shù)據(jù)；
[0011] 根據(jù)流行深度數(shù)據(jù)進(jìn)行行為分類識(shí)別。
[0012] 本發(fā)明的有益效果在于，本發(fā)明主要使用計(jì)算機(jī)高級(jí)程序語(yǔ)言并借助微軟.net 框架、微軟的kinectsdk和微軟kinect攝像頭實(shí)現(xiàn)，提供一種基于流行學(xué)習(xí)的人體行為識(shí) 別方法，降低了行為識(shí)別特征數(shù)據(jù)的維度，把高維度不穩(wěn)定數(shù)據(jù)轉(zhuǎn)變?yōu)榈途S度穩(wěn)定的行為 特征，很好的提高了行為識(shí)別的準(zhǔn)確度。
[0013] 當(dāng)前，流行學(xué)習(xí)已經(jīng)成為數(shù)據(jù)降維研宄中的一個(gè)熱點(diǎn)方法，尤其在模式識(shí)別領(lǐng)域 得到快速的應(yīng)用，并且獲得了很好的效果。通常情況下數(shù)據(jù)集的本征維數(shù)總是比其真實(shí)的 維數(shù)即表象維數(shù)要小很多，所以在數(shù)據(jù)高維情形下，降維方法成為了對(duì)現(xiàn)實(shí)世界中待研宄 的復(fù)雜對(duì)象進(jìn)行建模、分析的有力工具。降維方法不僅可以使要處理的數(shù)據(jù)量銳減，帶來(lái)計(jì) 算量上的精簡(jiǎn)，而且還可以大大改善數(shù)據(jù)的可理解性。
[0014] Kinect是微軟研發(fā)的一款RGB-D攝像頭，相對(duì)于傳統(tǒng)的攝像頭采取RGB圖 像，Kinect可以采集深度圖像。利用深度圖像可以很好的還原場(chǎng)景的三維立體結(jié)構(gòu)，為提 取行為識(shí)別的特征提供了更多的選擇。利用Kinect研宄人體行為可以融合視覺(jué)和非視覺(jué) 研宄方法的優(yōu)點(diǎn)，可以像佩戴式傳感器一樣精確地獲得人體關(guān)節(jié)點(diǎn)三維信息，而不會(huì)給人 帶來(lái)生活不便，同時(shí)Kinect能夠獲得場(chǎng)景圖像，部分基于視覺(jué)的行為識(shí)別技術(shù)也可以繼續(xù) 使用，且結(jié)合深度信息的視覺(jué)處理方法可以有效屏蔽復(fù)雜背景的干擾，這是單純基于視覺(jué) 的研宄方法所不容易實(shí)現(xiàn)的。
【附圖說(shuō)明】
[0015] 圖1所示為本發(fā)明識(shí)別人體行為方法流程圖。
[0016] 圖2所示為本發(fā)明人體場(chǎng)景深度示意圖。
[0017] 圖3所示為本發(fā)明人體遮照示意圖。
[0018] 圖4所示為本發(fā)明人體分割示意圖。
[0019] 圖5所示為本發(fā)明笛卡爾坐標(biāo)系示意圖
[0020] 圖6所示為本發(fā)明笛卡爾投影圖
[0021] 具體的實(shí)施方式
[0022] 下文將結(jié)合附圖詳細(xì)描述本發(fā)明的實(shí)施例。應(yīng)當(dāng)注意的是，下述實(shí)施例中描述的 技術(shù)特征或者技術(shù)特征的組合不應(yīng)當(dāng)被認(rèn)為是孤立的，它們可以被相互組合從而達(dá)到更好 的技術(shù)效果。在下述實(shí)施例的附圖中，各附圖所出現(xiàn)的相同標(biāo)號(hào)代表相同的特征或者部件， 可應(yīng)用于不同實(shí)施例中。
[0023] 本發(fā)明主要使用計(jì)算機(jī)高級(jí)程序語(yǔ)言并借助微軟.net框架、微軟的kinectsdk 和微軟kinect攝像頭實(shí)現(xiàn)，能夠?qū)崿F(xiàn)對(duì)人體行為的識(shí)別。
[0024] -種基于流行學(xué)習(xí)的人體行為識(shí)別方法，步驟如下：
[0025] 步驟SI10獲取人體場(chǎng)景深度數(shù)據(jù)。
[0026] 利用kinect攝像頭獲取人體場(chǎng)景深度圖像，如圖2所示。深度圖像與普通的圖像 不同點(diǎn)在于其每一像素?cái)?shù)值代表著深度的距離，深度圖像能更好的還原三維的信息，深度 圖像有著很高的抗干擾性，外界光線強(qiáng)弱不同的情況下，kinect攝像頭能采集相同的深度 數(shù)據(jù)，所以能在白天和夜晚很好的工作。利用深度數(shù)據(jù)檢測(cè)到人體深度數(shù)據(jù)。
[0027] 步驟S120對(duì)深度數(shù)據(jù)進(jìn)行處理，獲取笛卡爾坐標(biāo)系下三維投影深度圖。
[0028] 利用場(chǎng)景深度圖，通過(guò)最優(yōu)閾值法將場(chǎng)景場(chǎng)景深度圖中的人體識(shí)別出來(lái)生成人體 遮照?qǐng)D，如圖3所示。根據(jù)圖像的灰度特性來(lái)確定一個(gè)灰度閾值，并將圖像中每個(gè)像素的灰 度值與所確定的灰度閾值相比較，如果屬于同一個(gè)部分的像素，則表明該像素的集合就是 同一個(gè)物體。
[0029]把M*N的二維圖像X在像素（i，j)處灰度值記為f(i，j)，設(shè)t為圖像的一個(gè)閾值， 則分割原則為：
[0030] 目標(biāo)部分：0 = {f(i，j)彡t| (i，j)GX}
[0031]背景部分：B={f(i,j)>11(i,j)GX}
[0032] 在確定閾值時(shí)，如果閾值定的過(guò)高，物體點(diǎn)可能會(huì)被認(rèn)作背景；如果定的過(guò)低，貝lj 會(huì)發(fā)生背景點(diǎn)當(dāng)做目標(biāo)點(diǎn)。判斷最優(yōu)閾值過(guò)程如下：
[0033] (1)隨即初始一閾值T;
[0034] (2)對(duì)f(x，y)的每行進(jìn)行檢測(cè)，產(chǎn)生的圖像AUy)的灰度遵循如下規(guī)則：如果 ;^，7)和;^，7-1)處在不同的灰度帶上，則;^(1，7)=1^ ;否則;^(1，7)=1^。1^是指定 的邊緣灰度級(jí)，"是背景灰度級(jí)；
[0035] (3)對(duì)f(x，y)的每列進(jìn)行檢測(cè)，產(chǎn)生的圖像f2(x，y)的灰度遵循如下規(guī)則：如果 ;^，7)和;^-1，7)處在不同的灰度帶上，則;^(1，7)=1^ ;否則;^(1，7)=1^;
[0036] (4)對(duì)于邊緣圖像，如果f(X，y)和f2(x,y)中任何一個(gè)等于LE，則f(X，y) =LE;否 貝1Jf(x，y)=Lb;
[0037] (5)圖像中的最小和最大灰度分別為ZJPZm，令閾值為：
[0038]
【主權(quán)項(xiàng)】
1. 一種基于流行學(xué)習(xí)的人體行為識(shí)別方法，其特征在于，包括如下步驟： 通過(guò)kinect獲取人體場(chǎng)景深度數(shù)據(jù)； 對(duì)深度數(shù)據(jù)進(jìn)行處理，獲取笛卡爾坐標(biāo)系下三維投影圖； 將笛卡爾坐標(biāo)系下三維投影圖數(shù)據(jù)輸入流行學(xué)習(xí)算法中，獲得降維去噪后低維穩(wěn)定的 流行深度數(shù)據(jù)； 根據(jù)流行深度數(shù)據(jù)進(jìn)行分類識(shí)別。
2. 如權(quán)利要求1所述的一種基于流行學(xué)習(xí)的人體行為識(shí)別方法，其特征在于，所述的 對(duì)深度數(shù)據(jù)進(jìn)行處理，獲取笛卡爾坐標(biāo)系下三維投影圖步驟包括： 利用場(chǎng)景深度圖體識(shí)別出來(lái)生成人體遮照?qǐng)D； 利用人體深度遮照?qǐng)D得到人體分割圖； 利用人體分割圖中深度數(shù)據(jù)，投影到笛卡爾坐標(biāo)系，得到三維投影圖。
3. 如權(quán)利要求1所述的一種基于流行學(xué)習(xí)的人體行為識(shí)別方法，其特征在于，所述的 根據(jù)流行深度數(shù)據(jù)進(jìn)行行為分類識(shí)別步驟包括： 將得到的三維投影圖數(shù)據(jù)輸入流行學(xué)習(xí)算法中，獲得低煒?lè)€(wěn)定的流行深度數(shù)據(jù)； 將流行深度數(shù)據(jù)輸入SVM分類器中，使用高斯核函數(shù)進(jìn)行分類； 識(shí)別出人體行為。
4. 如權(quán)利要求1所述的一種基于流行學(xué)習(xí)的人體行為識(shí)別方法，其特征在于，所述的 根據(jù)流行學(xué)習(xí)，其步驟包括： 構(gòu)造鄰接圖G。計(jì)算每個(gè)樣本點(diǎn)與其它所有樣本點(diǎn)之間的歐式距離（歐幾里得距離）； 計(jì)算最短路徑。對(duì)于樣本點(diǎn)xl和x2,計(jì)算在鄰接圖G中的最短路徑； 計(jì)算d維嵌入。將多維尺度分析算法應(yīng)用到最短路徑距離矩陣％中，構(gòu)造保持內(nèi)部 流形全局幾何特性的d維嵌入坐標(biāo)Y，我們通過(guò)極小化下列目標(biāo)函數(shù)來(lái)獲得全局低維坐標(biāo) Y ：
5. 如權(quán)利要求1所述的一種基于流行學(xué)習(xí)的人體行為識(shí)別方法，其特征在于，所述的 根據(jù)流行深度數(shù)據(jù)進(jìn)行分類識(shí)別，其包括： 利用svm二維分類推廣到多分類，采取如下svm決策函數(shù)：
取決策函數(shù)f1 (Xi)，f2 (Xi)，???，fm (Xi)中最大的上標(biāo)J，則將樣本劃分到J類，即識(shí)別出 行為。
【專利摘要】本發(fā)明提供一種基于流行學(xué)習(xí)的人體行為識(shí)別方法，主要利用計(jì)算機(jī)高級(jí)程序語(yǔ)言并借助微軟.net框架、微軟的kinect sdk和微軟kinect攝像頭實(shí)現(xiàn)。流行學(xué)習(xí)人體行為識(shí)別方法步驟包括：獲取人體場(chǎng)景深度數(shù)據(jù)；對(duì)深度數(shù)據(jù)進(jìn)行處理，獲取在笛卡爾坐標(biāo)系下的三維投影圖；將投影后的三維投影圖放入流行算法中降維去噪，獲得降維去噪后的流行深度數(shù)據(jù)；將流行深度數(shù)據(jù)輸入svm分類器中識(shí)別人體行為。本發(fā)明降低了行為識(shí)別特征數(shù)據(jù)的維度，提取低維穩(wěn)定的行為特征，能夠有效識(shí)別人體行為，提高識(shí)別準(zhǔn)確率。
【IPC分類】G06K9-66, G06K9-00
【公開(kāi)號(hào)】CN104820821
【申請(qǐng)?zhí)枴緾N201510179381
【發(fā)明人】侯振杰, 陸中秋, 陳辰, 陳永康, 吳卓燃, 張健
【申請(qǐng)人】常州大學(xué)
【公開(kāi)日】2015年8月5日
【申請(qǐng)日】2015年4月15日