一種基于攝像頭的體感識(shí)別系統(tǒng)和方法
【專利摘要】本發(fā)明公開了一種基于攝像頭的體感識(shí)別系統(tǒng)，包括攝像頭，所述基于攝像頭的體感識(shí)別系統(tǒng)還包括識(shí)別模塊，所述識(shí)別模塊用于識(shí)別攝像頭攝取的體感動(dòng)作的類別。本發(fā)明的技術(shù)方案能有效解決體感系統(tǒng)如何更有效的與android和IOS平臺(tái)融合的問題。
【專利說明】-種基于攝像頭的體感識(shí)別系統(tǒng)和方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種體感識(shí)別系統(tǒng)和方法，具體涉及一種基于攝像頭的體感識(shí)別系統(tǒng) 和方法。

【背景技術(shù)】
[0002] 現(xiàn)有的體感識(shí)別技術(shù)有以下幾種：
[0003] (1)應(yīng)用于游戲的AIWI手機(jī)體感識(shí)別技術(shù)：應(yīng)用于游戲的AIWI手機(jī)體感識(shí)別技 術(shù)是基于加速傳感器（感應(yīng)重力）、距離感應(yīng)器及三軸陀螺儀等硬件設(shè)備去感應(yīng)手機(jī)在物 理空間上的運(yùn)動(dòng)，包括運(yùn)動(dòng)速度、加速度、軌跡等物理量，來模擬手機(jī)持有者的大幅度運(yùn)動(dòng)， 并基于這些數(shù)據(jù)設(shè)計(jì)一些運(yùn)動(dòng)類游戲。
[0004] (2)應(yīng)用于微軟的Kinect及Xbox設(shè)備的體感識(shí)別技術(shù)：應(yīng)用于微軟公司的 kinect及Xbox360等設(shè)備的體感識(shí)別技術(shù)，是通過設(shè)備自帶的攝像頭來采集輸入數(shù)據(jù)，并 通過分析輸入的圖像數(shù)據(jù)，來進(jìn)行體感識(shí)別活動(dòng)。
[0005] 現(xiàn)有的體感識(shí)別技術(shù)的缺點(diǎn)：
[0006] (1)應(yīng)用于游戲的AIWI手機(jī)體感識(shí)別技術(shù)，由于是基于對(duì)手機(jī)運(yùn)動(dòng)軌跡的識(shí)別， 故其無法把手機(jī)的運(yùn)動(dòng)和人體體感動(dòng)作的變化分離，比如模擬彈鋼琴；其識(shí)別的準(zhǔn)確度不 高，細(xì)微的運(yùn)動(dòng)無法識(shí)別。
[0007] (2)應(yīng)用于微軟公司的kinect及Xbox360等設(shè)備的體感識(shí)別技術(shù)，缺點(diǎn)是成本過 高，且攜帶不夠靈活，且計(jì)算量過大不適合移植于移動(dòng)端的平臺(tái)。


【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的是提供一種的基于攝像頭的體感識(shí)別系統(tǒng)。
[0009] 本發(fā)明的目的還在于提供一種基于攝像頭的體感識(shí)別方法。
[0010] 本發(fā)明第一方面提供一種基于攝像頭的體感識(shí)別系統(tǒng)：包括攝像頭，所述基于攝 像頭的體感識(shí)別系統(tǒng)還包括識(shí)別模塊，所述識(shí)別模塊用于識(shí)別攝像頭攝取的體感動(dòng)作的類 別。
[0011]基于攝像頭的體感識(shí)別系統(tǒng)還包括用于顯示識(shí)別模塊傳來的識(shí)別結(jié)果的顯示模 塊。
[0012] 識(shí)別模塊包括感興趣區(qū)域設(shè)定單元、體感識(shí)別單元，感興趣區(qū)域設(shè)定單元經(jīng)過體 感識(shí)別單元接至顯示模塊。
[0013] 識(shí)別模塊還包括結(jié)果合成單元，感興趣區(qū)域設(shè)定單元經(jīng)過體感識(shí)別單元、合成單 元接至顯示模塊。
[0014] 本發(fā)明的另一方面提供一種基于攝像頭的體感識(shí)別方法，包括以下步驟：
[0015] A、啟動(dòng)攝像頭；
[0016] B、攝像頭攝取體感動(dòng)作原始圖像，并將體感動(dòng)作原始圖像傳給識(shí)別模塊；
[0017] C、識(shí)別模塊將體感動(dòng)作原始圖像與體感動(dòng)作庫文件進(jìn)行匹配,得出識(shí)別結(jié)果，并 將識(shí)別結(jié)果顯示在顯示模塊。
[0018] 所述步驟B為：
[0019]攝像頭攝取體感動(dòng)作原始圖像，并將攝取的體感動(dòng)作原始圖像傳遞給感興趣區(qū)域 設(shè)定單元。
[0020] 步驟c包含以下幾個(gè)步驟：
[0021] C1、感興趣區(qū)域設(shè)定單元將體感動(dòng)作原始圖像位于感興趣區(qū)域內(nèi)的部分裁剪，并 將裁剪的圖像傳遞給體感識(shí)別單元；
[0022] C2、體感識(shí)別單元將從感興趣區(qū)域設(shè)定單元接收到的圖像進(jìn)行皮膚色度檢測和局 部特征點(diǎn)提??；
[0023] C3、體感識(shí)別單元將提取到的局部特征點(diǎn)通過描述子轉(zhuǎn)化為特征向量；
[0024] C4、體感識(shí)別單元將所述特征向量與體感動(dòng)作庫文件內(nèi)的各個(gè)體感動(dòng)作的特征向 量進(jìn)行匹配，得出識(shí)別結(jié)果；
[0025] C5、體感識(shí)別單元將所述識(shí)別結(jié)果所在的感興趣區(qū)域的位置和大小反饋至感興趣 區(qū)域設(shè)定單元；
[0026] C6、體感識(shí)別單元將識(shí)別結(jié)果發(fā)送至顯示模塊進(jìn)行顯示。
[0027]其中步驟C4中得出的識(shí)別結(jié)果為某個(gè)體感動(dòng)作。
[0028] 步驟C4包含以下幾個(gè)步驟：
[0029] C41、體感識(shí)別單元將所述特征向量與體感動(dòng)作庫文件內(nèi)各個(gè)體感動(dòng)作的特征向 量進(jìn)行膚色角度個(gè)數(shù)距離的計(jì)算，計(jì)算式子如下
[0030] (113卿1(^面=2 ie[1，n]丨 c「fq | 2
[0031]其中，η為體感動(dòng)作庫中的某個(gè)體感動(dòng)作所具有的特征數(shù)，Ci及fCi分別為這次采 集到的圖像所具有的第i個(gè)特征的膚色角度個(gè)數(shù)及該標(biāo)準(zhǔn)體感動(dòng)作第i個(gè)特征所具有的膚 色角度個(gè)數(shù)，如果diSangldtal小于給定的閾值，閾值大于 3,小于15，則認(rèn)為其可能與該體感 動(dòng)作吻合，并將該吻合的體感動(dòng)作進(jìn)行記錄；
[0032] C42、體感識(shí)別單元將特征向量與步驟C41篩選出的標(biāo)準(zhǔn)體感動(dòng)作的特征向量進(jìn) 行距離計(jì)算，公式如下：
[0033] dis^ =Σ ； e [1；η] Σ Je [1；m] I aij-fajj | 2
[0034]其中n為體f動(dòng)作庫中的該體感動(dòng)作所具有的特征數(shù)，m則為其膚色角度個(gè)數(shù)， au 及f&ij則分別為這次采集到的圖像所具有的及標(biāo)準(zhǔn)體感動(dòng)作的第i個(gè)特征下第j個(gè)膚色角 度的值。如果di San心小于給定的閾值，閾值大于3,小于15，則認(rèn)為其可能與該體感動(dòng)作吻 合，并將該吻合的體感動(dòng)作進(jìn)行記錄；
[0035] C43、體感識(shí)別單元將特征向量與前兩部篩選出的標(biāo)準(zhǔn)體感動(dòng)作的特征向量進(jìn)行 非膚色角度的匹配，其計(jì)算距離的公式如下：
[0036] disnonAngle = Σ i e [1；η] Σ j e [1；m] I naij-fnau [ 2
[0037]其中n為體感動(dòng)作庫中該體感動(dòng)作所具有的特征數(shù)，m則為其非膚色角度個(gè)數(shù)， η%及fnau.分別為圖像所具有的及標(biāo)準(zhǔn)體感動(dòng)作的第i個(gè)特征下第j個(gè)非膚色角度的值。 當(dāng)所有的非膚色角度的距離都計(jì)算完畢后，選取其中距離最短的標(biāo)準(zhǔn)體感動(dòng)作，將其設(shè)置 為這次的匹配結(jié)果并將其傳送給結(jié)果合成單元。步驟 C6包含以下幾個(gè)步驟：
[0038] C61、體感識(shí)別單元將識(shí)別結(jié)果發(fā)送至結(jié)果合成單元；
[0039] C62、結(jié)果合成單元將接收到的識(shí)別結(jié)果所在的感興趣區(qū)域在體感動(dòng)作原始圖像 上標(biāo)示出，并在體感動(dòng)作原始圖像中識(shí)別結(jié)果所在的感興趣區(qū)域上標(biāo)注出識(shí)別結(jié)果的代 碼；
[0040] C63、結(jié)果合成單元將體感動(dòng)作原始圖像發(fā)送至移動(dòng)設(shè)備的顯示屏進(jìn)行顯示。所述 感興趣區(qū)域的設(shè)置方法為：第一次設(shè)置感興趣區(qū)域時(shí)，默認(rèn)感興趣區(qū)域覆蓋整個(gè)采集到的 圖像，之后每次設(shè)置時(shí)，會(huì)根據(jù)體感識(shí)別單元反饋的所述識(shí)別結(jié)果所在的感興趣區(qū)域的位 置和大小進(jìn)行調(diào)整。
[0041] 所述局部特征點(diǎn)提取的方法為：
[0042] A、通過膚色檢測后，體感特征識(shí)別模塊會(huì)將接收到的圖像進(jìn)行蒙版處理；
[0043] B、以源圖像的中心為圓心做n個(gè)同心圓，n即為特征數(shù)，n大于3,小于7,最大的 冋心圓半徑為圓心到源圖像邊界的距尚rm, η個(gè)同心圓的半徑依次為，a，r2,......，rn，且 滿足.Vije ρ,η]η-ΓΗ?=Γ|-ΓΗΡ此時(shí)在以ri為半徑的圓上，等距的尋找360個(gè)點(diǎn)，標(biāo)記為 Ρι.Ρ2>……，p36Q，其值為該點(diǎn)所在位置的像素的灰度值，同時(shí)設(shè)置數(shù)列f\, f2,......, f36Q來表 示這360個(gè)點(diǎn)的特征，其中
[0044] ：：：Y

【權(quán)利要求】
1. 一種基于攝像頭的體感識(shí)別系統(tǒng)，包括攝像頭，其特征在于：所述基于攝像頭的體 感識(shí)別系統(tǒng)還包括識(shí)別模塊，所述識(shí)別模塊用于識(shí)別攝像頭攝取的體感動(dòng)作的類別。
2. 根據(jù)權(quán)利要求1所述的一種基于攝像頭的體感識(shí)別系統(tǒng)，其特征在于，所述基于攝 像頭的體感識(shí)別系統(tǒng)還包括用于顯示識(shí)別模塊傳來的識(shí)別結(jié)果的顯示模塊。
3. 根據(jù)權(quán)利要求2所述的一種基于攝像頭的體感識(shí)別系統(tǒng)，其特征在于，所述識(shí)別模 塊包括感興趣區(qū)域設(shè)定單元、體感識(shí)別單元，感興趣區(qū)域設(shè)定單元經(jīng)過體感識(shí)別單元接至 顯示模塊。
4. 根據(jù)權(quán)利要求3所述的一種基于攝像頭的體感識(shí)別系統(tǒng)，其特征在于，所述識(shí)別模 塊還包括結(jié)果合成單元，感興趣區(qū)域設(shè)定單元經(jīng)過體感識(shí)別單元、合成單元接至顯示模塊。
5. -種基于攝像頭的體感識(shí)別方法，包括以下步驟： A、 啟動(dòng)攝像頭； B、 攝像頭攝取體感動(dòng)作原始圖像，并將體感動(dòng)作原始圖像傳給識(shí)別模塊； C、 識(shí)別模塊將體感動(dòng)作原始圖像與體感動(dòng)作庫文件進(jìn)行匹配，得出識(shí)別結(jié)果，并將識(shí) 別結(jié)果顯示在顯示模塊。
6. 根據(jù)權(quán)利要求5所述的一種基于攝像頭的體感識(shí)別方法，所述步驟B為： 攝像頭攝取體感動(dòng)作原始圖像，并將攝取的體感動(dòng)作原始圖像傳遞給感興趣區(qū)域設(shè)定 單元。
7. 根據(jù)權(quán)利要求6所述的一種基于攝像頭的體感識(shí)別方法，步驟C包含以下幾個(gè)步 驟： C1、感興趣區(qū)域設(shè)定單元將體感動(dòng)作原始圖像位于感興趣區(qū)域內(nèi)的部分裁剪，并將裁 剪的圖像傳遞給體感識(shí)別單元； C2、體感識(shí)別單元將從感興趣區(qū)域設(shè)定單元接收到的圖像進(jìn)行皮膚色度檢測和局部特 征點(diǎn)提?。? C3、體感識(shí)別單元將提取到的局部特征點(diǎn)通過描述子轉(zhuǎn)化為特征向量； C4、體感識(shí)別單元將所述特征向量與體感動(dòng)作庫文件內(nèi)的各個(gè)體感動(dòng)作的特征向量進(jìn) 行匹配，得出識(shí)別結(jié)果； C5、體感識(shí)別單元將所述識(shí)別結(jié)果所在的感興趣區(qū)域的位置和大小反饋至感興趣區(qū)域 設(shè)定單元； C6、體感識(shí)別單元將識(shí)別結(jié)果發(fā)送至顯示模塊進(jìn)行顯示。
8. 根據(jù)權(quán)利要求7所述的一種基于攝像頭的體感識(shí)別方法，其中步驟C4中得出的識(shí)別 結(jié)果為某個(gè)體感動(dòng)作。
9. 根據(jù)權(quán)利要求7所述的一種基于攝像頭的體感識(shí)別方法，步驟C4包含以下幾個(gè)步 驟： C41、體感識(shí)別單元將所述特征向量與體感動(dòng)作庫文件內(nèi)各個(gè)體感動(dòng)作的特征向量進(jìn) 行膚色角度個(gè)數(shù)距離的計(jì)算，計(jì)算式子如下 diSangleNum - Σ i e [1；n] [ Cj~fCj [ 其中，n為體感動(dòng)作庫中的某個(gè)體感動(dòng)作所具有的特征數(shù)，Ci及fCi分別為這次采集到 的圖像所具有的第i個(gè)特征的膚色角度個(gè)數(shù)及該標(biāo)準(zhǔn)體感動(dòng)作第i個(gè)特征所具有的膚色角 度個(gè)數(shù)，如果disangldtal小于給定的閾值，閾值大于3,小于15,則認(rèn)為其可能與該體感動(dòng)作 吻合，并將該吻合的體感動(dòng)作進(jìn)行記錄； C42、體感識(shí)別單元將特征向量與步驟C41篩選出的標(biāo)準(zhǔn)體感動(dòng)作的特征向量進(jìn)行距 離計(jì)算，公式如下： disangle - Σ i e [ι,η] Σ j e [1；m] [ a^-fa^ [ 其中n為體感動(dòng)作庫中的該體感動(dòng)作所具有的特征數(shù)，m則為其膚色角度個(gè)數(shù)，aij及 fay則分別為這次采集到的圖像所具有的及標(biāo)準(zhǔn)體感動(dòng)作的第i個(gè)特征下第j個(gè)膚色角度 的值。如果dismgle小于給定的閾值，閾值大于3,小于15,則認(rèn)為其可能與該體感動(dòng)作吻合， 并將該吻合的體感動(dòng)作進(jìn)行記錄； C43、體感識(shí)別單元將特征向量與前兩部篩選出的標(biāo)準(zhǔn)體感動(dòng)作的特征向量進(jìn)行非膚 色角度的匹配，其計(jì)算距離的公式如下：
其中η為體感動(dòng)作庫中該體感動(dòng)作所具有的特征數(shù)，m則為其非膚色角度個(gè)數(shù)，naij及 fn%分別為圖像所具有的及標(biāo)準(zhǔn)體感動(dòng)作的第i個(gè)特征下第j個(gè)非膚色角度的值。當(dāng)所 有的非膚色角度的距離都計(jì)算完畢后，選取其中距離最短的標(biāo)準(zhǔn)體感動(dòng)作，將其設(shè)置為這 次的匹配結(jié)果并將其傳送給結(jié)果合成單元。
10. 根據(jù)權(quán)利要求7所述的一種基于攝像頭的體感識(shí)別方法，步驟C6包含以下幾個(gè)步 驟： C61、體感識(shí)別單元將識(shí)別結(jié)果發(fā)送至結(jié)果合成單元； C62、結(jié)果合成單元將接收到的識(shí)別結(jié)果所在的感興趣區(qū)域在體感動(dòng)作原始圖像上標(biāo) 示出，并在體感動(dòng)作原始圖像中識(shí)別結(jié)果所在的感興趣區(qū)域上標(biāo)注出識(shí)別結(jié)果的代碼； C63、結(jié)果合成單元將體感動(dòng)作原始圖像發(fā)送至移動(dòng)設(shè)備的顯示屏進(jìn)行顯示。
11. 根據(jù)權(quán)利要求7所述的一種基于攝像頭的體感識(shí)別方法，其特征在于，所述感興趣 區(qū)域的設(shè)置方法為：第一次設(shè)置感興趣區(qū)域時(shí)，默認(rèn)感興趣區(qū)域覆蓋整個(gè)采集到的圖像，之 后每次設(shè)置時(shí)，會(huì)根據(jù)體感識(shí)別單元反饋的所述識(shí)別結(jié)果所在的感興趣區(qū)域的位置和大小 進(jìn)行調(diào)整。
12. 根據(jù)權(quán)利要求7所述的一種基于攝像頭的體感識(shí)別方法，其特征在于，所述局部特 征點(diǎn)提取的方法為： A、 通過膚色檢測后，體感特征識(shí)別模塊會(huì)將接收到的圖像進(jìn)行蒙版處理； B、 以源圖像的中心為圓心做η個(gè)同心圓，η即為特征數(shù)，η大于3,小于7,最大的同 心圓半徑為圓心到源圖像邊界的距離rm，η個(gè)同心圓的半徑依次為，ri，r2,……，r n，且滿 足Vi,j G n-m=rj-rH。此時(shí)在以A為半徑的圓上，等距的尋找360個(gè)點(diǎn)，標(biāo)記為 Pi, P2,......，P36(l，其值為該點(diǎn)所在位置的像素的灰度值，同時(shí)設(shè)置數(shù)列f\，f 2,......，f36(l來表 示這360個(gè)點(diǎn)的特征，其中
s. t. i e [2, 360] 另，
對(duì)于任意點(diǎn)Px，若其fx值為1，表示該點(diǎn)X為從背景到身體的過渡點(diǎn)，若fx值為2,表示 該點(diǎn)X為從身體到背景的過渡點(diǎn)； C、 將360個(gè)點(diǎn)中對(duì)應(yīng)的f值為1的點(diǎn)整理為一個(gè)序列l(wèi)p 12,……，lml，其中叫為f值 為1的點(diǎn)的個(gè)數(shù)，該序列中元素的值為其所對(duì)應(yīng)的點(diǎn)在P序列中的編號(hào)，將360個(gè)點(diǎn)中對(duì)應(yīng) 的f值為2的點(diǎn)整理為一個(gè)序列 D、 設(shè)置數(shù)列 angle" angle2,......, anglem，，其中纖_% = i e [1, m],其中 anglei 即為第i個(gè)膚色角度，m即為膚色角度的個(gè)數(shù)，同理設(shè)置數(shù)列angh^imgler.….angles，其中 angle，1廣1丨-i e [2, m]，其中ang!e丨即為第i個(gè)非膚色角度。然后將angl e序列和angle' 序列合起來作為第一個(gè)特征值，同理，依次在半徑為r2，r3,……，rn的圓上做相同的操作，即 可得到第二個(gè)、第三個(gè)一直到第η個(gè)特征值； Ε、最后將這η個(gè)特征值合起來作為該次采集到的圖像的體感動(dòng)作特征值，即局部特征 點(diǎn)。
13.根據(jù)權(quán)利要求7所述的一種基于攝像頭的體感識(shí)別方法，其特征在于，所述皮膚色 度檢測的方法為： Α、將圖像首先通過如下公式從rgb格式轉(zhuǎn)化為YCbCr格式， Y = (0· 299*R+0. 587*G+0. 114*B) Cb = ((Β-Υ)*0· 564+128) Cr = ((R-y) *0· 713+128)，其中R，G，B分別表示像素的紅，綠，藍(lán)三個(gè)色度的值，對(duì)某一 個(gè)像素點(diǎn)，如果它屬于集合{化〇3,0)丨〇3￡[129,78]，〇￡[134，172]}，則認(rèn)為它是皮 膚像素點(diǎn)； B、 將圖像的皮膚像素點(diǎn)提取完后，對(duì)圖像進(jìn)行降噪處理； C、 對(duì)于任意點(diǎn)（X，Y)，根據(jù)以下公式判斷該點(diǎn)是否為皮膚： t(x，y) = (Not t(x_l，Y)AND Not t(X+l，y))OR(Not t(x，y_l)AND(x，y+l))。
【文檔編號(hào)】G06K9/00GK104252231SQ201410492045
【公開日】2014年12月31日 申請(qǐng)日期:2014年9月23日 優(yōu)先權(quán)日:2014年9月23日
【發(fā)明者】潘子元, 馬鳴 申請(qǐng)人:河南省輝耀網(wǎng)絡(luò)技術(shù)有限公司