基于Kinect人體骨骼識別的方法
【專利摘要】本發(fā)明公開一種基于Kinect人體骨骼識別的方法，包括以下步驟：獲取現(xiàn)實(shí)環(huán)境深度圖并捕捉深度影像，根據(jù)捕捉到的深度影像識別頭部、四肢及關(guān)節(jié)處骨骼點(diǎn)；建立空間之間坐標(biāo)系，定位頭部、四肢及關(guān)節(jié)處骨骼點(diǎn)坐標(biāo)，并將骨骼點(diǎn)坐標(biāo)與人體影像進(jìn)行綁定；經(jīng)數(shù)據(jù)處理轉(zhuǎn)化將人體影像的各部位骨骼點(diǎn)與虛擬場景中的三維模型對應(yīng)位置進(jìn)行綁定。本發(fā)明的提供一種基于Kinect人體骨骼識別的方法，是基于Kinect進(jìn)行二次開發(fā)，可以很好的捕捉并綁定距離體感設(shè)備最近玩家的身體骨骼，避免干擾骨骼信息影響人機(jī)交互體驗(yàn)。
【專利說明】
基于K i nect人體骨骼識別的方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及虛擬試衣技術(shù)領(lǐng)域，尤其涉及一種基于Kinect人體骨骼識別的方法。
【背景技術(shù)】
[0002]隨著在電子商務(wù)的興起，在線虛擬試衣系統(tǒng)不受時(shí)間、空間的局限，為消費(fèi)者在線上通過虛擬模型進(jìn)行服裝展示，通過觀察試穿決定購買意向。這對于線上購買人群提供了極大的便利，僅需通過鼠標(biāo)點(diǎn)擊就能購買到合適的服飾，對工作繁忙的人來說無意是最有效率的。
[0003]線下實(shí)體店銷售往往需要配備多名導(dǎo)購員進(jìn)行引導(dǎo)購買，但是在銷售旺季或節(jié)假日時(shí)，導(dǎo)購員業(yè)務(wù)繁忙無暇照顧全部的消費(fèi)者，這就會(huì)給部分消費(fèi)者帶來不被重視的感覺，實(shí)體店往往因此損失該部分銷售業(yè)績。并且由于消費(fèi)者過多，試衣間數(shù)量有限，這就會(huì)出現(xiàn)排隊(duì)等候試衣的情況，這也是造成實(shí)體店擁堵的主要原因。
[0004]隨著科學(xué)技術(shù)的發(fā)展，人機(jī)交互技術(shù)在越來越多的領(lǐng)域得以應(yīng)用。骨骼跟蹤技術(shù)是人機(jī)交互領(lǐng)域的一項(xiàng)重要技術(shù)，而以往傳統(tǒng)的人機(jī)交互設(shè)備是包括鍵盤、鼠標(biāo)和操作桿等來實(shí)現(xiàn)，其在使用的自然性和真實(shí)性等方面有一定的局限性。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的提供一種基于Kinect人體骨骼識別的方法，是基于Kinect進(jìn)行二次開發(fā)，可以很好的捕捉并綁定距離體感設(shè)備最近玩家的身體骨骼，避免干擾骨骼信息影響人機(jī)交互體驗(yàn)。
[0006]為解決上述問題，本發(fā)明實(shí)施例提供一種基于Kinect人體骨骼識別的方法，包括以下步驟:
[0007]獲取現(xiàn)實(shí)環(huán)境深度圖并捕捉深度影像，根據(jù)捕捉到的深度影像識別頭部、四肢及關(guān)節(jié)處骨骼點(diǎn)；
[0008]建立空間之間坐標(biāo)系，定位頭部、四肢及關(guān)節(jié)處骨骼點(diǎn)坐標(biāo)，并將骨骼點(diǎn)坐標(biāo)與人體影像進(jìn)行綁定；
[0009]經(jīng)數(shù)據(jù)處理轉(zhuǎn)化將人體影像的各部位骨骼點(diǎn)與虛擬場景中的三維模型對應(yīng)位置進(jìn)行綁定。
[0010]進(jìn)一步地，所述獲取現(xiàn)實(shí)環(huán)境深度圖并捕捉深度影像，具體包括以下步驟:
[0011 ]設(shè)定捕捉區(qū)域，當(dāng)玩家進(jìn)入可捕捉區(qū)域，骨骼識別系統(tǒng)自動(dòng)綁定距離體感設(shè)備最近玩家的身體骨骼；
[0012]設(shè)定最佳測量距離，當(dāng)被綁定骨骼到達(dá)最佳測量處時(shí)，觸發(fā)掃描功能，通過紅外收錄玩家身體信息。
[0013]作為一種可實(shí)施方式，所述根據(jù)捕捉到的深度影像識別頭部、四肢及關(guān)節(jié)處骨骼點(diǎn)包括設(shè)定最佳識別姿勢，便于系統(tǒng)捕捉區(qū)分各個(gè)骨骼點(diǎn)。
[0014]進(jìn)一步地，所述最佳識別姿勢為保持直立姿勢，雙手下垂與身體軀干保持45°夾角，雙腿分開，雙腳間距小于肩寬。
[0015]進(jìn)一步地，所述獲取現(xiàn)實(shí)環(huán)境深度圖并捕捉深度影像，根據(jù)捕捉到的深度影像識別頭部、四肢及關(guān)節(jié)處骨骼點(diǎn)，還包括用于穩(wěn)定獲取骨骼信息的RGB色彩算法。
【附圖說明】
[0016]圖1是本發(fā)明實(shí)施例的虛擬試衣鏡系統(tǒng)的硬件結(jié)構(gòu)圖；
[0017]圖2是本發(fā)明實(shí)施例的虛擬試衣鏡系統(tǒng)的結(jié)構(gòu)框圖；
[0018]圖3是本發(fā)明實(shí)施例的基于Kinect人體骨骼識別的方法的步驟圖；
[0019]圖4是本發(fā)明實(shí)施例的進(jìn)入虛擬試衣鏡系統(tǒng)時(shí)的流程圖；
[0020]圖5是本發(fā)明實(shí)施例的虛擬試衣系統(tǒng)的流程圖；
[0021 ]圖6是本發(fā)明實(shí)施例的助手搭配系統(tǒng)的流程圖；
[0022]圖7是本發(fā)明實(shí)施例的虛擬模型換臉方法的步驟圖；
[0023]圖8是本發(fā)明實(shí)施例的自選服飾系統(tǒng)的流程圖；
[0024]圖9是本發(fā)明實(shí)施例的智能推送系統(tǒng)的流程圖；
[0025]圖10是本發(fā)明實(shí)施例的攝像模塊的流程圖。
[0026]附圖標(biāo)注:1、柜體;2、電動(dòng)門；21、電動(dòng)門控制器;31、推送桿控制器;4、體感設(shè)備；
5、顯示屏;6、計(jì)算機(jī);7、串口分配器;8、云服務(wù)器。
【具體實(shí)施方式】
[0027]下面結(jié)合附圖，通過具體實(shí)施例，對本發(fā)明的技術(shù)方案進(jìn)行清楚、完整的描述。
[0028]—種虛擬試衣鏡系統(tǒng)，包括硬件部分和軟件部分，硬件部分包括智能推送衣柜、計(jì)算機(jī)6、串口分配器7、顯示屏5、體感設(shè)備4、電源控制器，軟件部分包括骨骼識別系統(tǒng)、虛擬試衣系統(tǒng)、助手搭配系統(tǒng)、自選服飾系統(tǒng)、智能推送系統(tǒng)。
[0029]如圖1至2所示，智能推送衣柜包括含電動(dòng)門2及電動(dòng)門控制器21的柜體I，柜體I內(nèi)設(shè)有若干推送桿及控制各個(gè)推送桿的推送桿控制器31，電動(dòng)門控制器21和若干推送桿控制器31均電連接串口分配器7。顯示屏5設(shè)于柜體I表面，用于實(shí)現(xiàn)人機(jī)相互并具有觸摸屏功能。計(jì)算機(jī)6分別連接顯示屏5、串口分配器7，用于接收數(shù)據(jù)并發(fā)送相關(guān)控制指令。體感設(shè)備4設(shè)于柜體I表面并電連接計(jì)算機(jī)6，用于捕捉手部動(dòng)作，在本發(fā)明中，體感設(shè)備4采用微軟公司的Kinect設(shè)備，安裝時(shí)，體感設(shè)備4的最佳高度為1.65米，最佳測量距離為2.5?3.5米，體感攝像頭水平放置，紅外攝像頭居中放置。
[0030]骨骼識別系統(tǒng)識別并綁定第一個(gè)進(jìn)入識別范圍內(nèi)的身體骨骼，通過肢體動(dòng)作控制虛擬場景的立體模型動(dòng)作。其方法如下:
[0031]如圖3所示，一種基于Kinect人體骨骼識別的方法，包括以下步驟:
[0032]S100:獲取現(xiàn)實(shí)環(huán)境深度圖并捕捉深度影像，根據(jù)捕捉到的深度影像識別頭部、四肢及關(guān)節(jié)處骨骼點(diǎn)；
[0033]步驟SlOO的作用是通過捕捉深度影像識別人體輪廓獲取相應(yīng)頭部、四肢及關(guān)節(jié)處的骨骼點(diǎn)。其具體步驟包括:
[0034]SlOl:設(shè)定捕捉區(qū)域，當(dāng)玩家進(jìn)入可捕捉區(qū)域，骨骼識別系統(tǒng)自動(dòng)綁定距離體感設(shè)備4最近玩家的身體骨骼；
[0035]S102:設(shè)定最佳測量距離，當(dāng)被綁定骨骼到達(dá)最佳測量處時(shí)，觸發(fā)掃描功能，通過紅外收錄玩家身體信息；
[0036]S103:設(shè)定最佳識別姿勢，最佳識別姿勢為保持直立姿勢，雙手下垂與身體軀干保持45°夾角，雙腿分開，雙腳間距小于肩寬。玩家保持最佳識別姿勢時(shí)，身體各個(gè)軀干姿勢特征明顯，便于捕捉區(qū)分。
[0037]S200:建立空間之間坐標(biāo)系，定位頭部、四肢及關(guān)節(jié)處骨骼點(diǎn)坐標(biāo)，并將骨骼點(diǎn)坐標(biāo)與人體影像進(jìn)行綁定。
[0038]S300:經(jīng)數(shù)據(jù)處理轉(zhuǎn)化將人體影像的各部位骨骼點(diǎn)與虛擬場景中的三維模型對應(yīng)位置進(jìn)行綁定。
[0039]由于虛擬場景中骨骼信息的穩(wěn)定程度受環(huán)境光影響和玩家服飾顏色影響，環(huán)境光強(qiáng)度越暗、玩家服飾顏色越深識別越不穩(wěn)定，故我們在試衣鏡系統(tǒng)中增加了畫面灰度RGB色彩增強(qiáng)算法，在環(huán)境光偏暗的情況下，亦可將灰度區(qū)分強(qiáng)度增到最大，將誤差降到最小。
[0040]如圖4所示，玩家進(jìn)入感應(yīng)區(qū)域后，跳轉(zhuǎn)至主界面，玩家選擇相應(yīng)年齡段選項(xiàng)按鈕(包括“青春少女(25歲以下)”、“魅力淑女(25?40歲以下)”、“美麗媽媽(40以上)”)并掃描二維碼獲取驗(yàn)證碼登陸骨骼識別系統(tǒng)，當(dāng)玩家進(jìn)入可捕捉區(qū)域，骨骼識別系統(tǒng)自動(dòng)綁定距離體感設(shè)備4最近玩家的身體骨骼(虛擬試衣鏡系統(tǒng)給定最佳測量距離為:距體感設(shè)備42.5米處，場景內(nèi)給予骨骼三維坐標(biāo)定為距離坐標(biāo)原點(diǎn)對應(yīng)三米距離處)，當(dāng)被綁定骨骼到達(dá)場景中三米測量處時(shí)，骨骼識別系統(tǒng)將觸發(fā)掃描功能，通過紅外對玩家身體信息(身高、寬度、深度)收錄，身體信息收錄時(shí)，玩家需保持最佳識別姿勢。
[0041 ]捕捉完成后，玩家身體各信息自動(dòng)被骨骼識別系統(tǒng)獲取，玩家身體做出動(dòng)作時(shí)，虛擬場景中已綁定玩家數(shù)據(jù)信息的骨骼即實(shí)時(shí)跟隨玩家做出對應(yīng)姿勢。
[0042]骨骼掃描完成后，進(jìn)入模式選擇界面，主要包括以下四個(gè)模式:虛擬試衣系統(tǒng)、助手搭配系統(tǒng)、自選服飾系統(tǒng)、智能推送系統(tǒng)。
[0043]虛擬試衣系統(tǒng)包括類型選擇模塊，類型選擇模塊中包括衣服款式選擇模塊、調(diào)整模塊、在線商城模塊。
[0044]如圖5所示，進(jìn)入虛擬試衣系統(tǒng)界面，界面內(nèi)包括9種服飾類型的類型圖標(biāo)，分別為:上衣、長裙、短袖套裝、長袖套裝、毛衣、褲子、大衣外套、手提包、短裙。玩家可通過手掌揮動(dòng)控制場景中手掌圖標(biāo)進(jìn)行移動(dòng)選取，為防止錯(cuò)選，手掌圖標(biāo)在每個(gè)類型圖標(biāo)上停留約兩秒以上方為確認(rèn)。玩家選中對應(yīng)類型后，系統(tǒng)將自動(dòng)跳轉(zhuǎn)至試穿界面，無需玩家手動(dòng)選取，系統(tǒng)自動(dòng)將一套當(dāng)前類型服飾穿在玩家身上。試穿界面上具有衣服款式選擇按鈕，玩家可揮動(dòng)右手控制圖標(biāo)選擇對應(yīng)款式服裝進(jìn)行試穿。玩家在試穿過程中如發(fā)現(xiàn)有服裝對應(yīng)大小、尺碼、位置不適，可通過左手觸發(fā)設(shè)置按鈕，進(jìn)入設(shè)置界面手動(dòng)調(diào)整。玩家在試穿完成一件服裝之后，可通過選擇在線商城在線下單。當(dāng)玩家不喜歡當(dāng)前服裝時(shí)，可通過觸發(fā)刪除按鈕功能取消試穿當(dāng)前服裝，亦可通過返回功能返回上一界面重新選擇款式。虛擬試衣系統(tǒng)主要用于場景中的體感模型試穿，試穿過程通過體感手勢進(jìn)行控制。
[0045]助手搭配系統(tǒng)包括設(shè)置模塊、服飾搭配模塊。
[0046]如圖6所示，進(jìn)入助手搭配系統(tǒng)界面，界面中間位置會(huì)出現(xiàn)一個(gè)虛擬模型供玩家控制。玩家可根據(jù)自身身高、體重、膚色等選擇對應(yīng)尺寸，從而對虛擬模型進(jìn)行調(diào)整，也可通過設(shè)置模塊對虛擬模型所處場景進(jìn)行切換。界面上具有服裝按鈕，玩家可觸摸該圖標(biāo)點(diǎn)開包括上裝、下裝、配飾和其它按鈕，通過觸屏點(diǎn)選方式選擇對應(yīng)款式服裝在虛擬模型上進(jìn)行試穿和展示(所選服飾與虛擬試衣系統(tǒng)內(nèi)容相同)。助手搭配系統(tǒng)根據(jù)玩家資料自動(dòng)推薦3?5款搭配好服飾，只需要通過選擇即可在虛擬模型上進(jìn)行展示。助手搭配系統(tǒng)主要用于虛擬模型試穿，試穿過程通過觸屏進(jìn)行控制。
[0047]助手搭配系統(tǒng)支持換臉功能，即捕捉玩家面部信息，以貼圖的方式貼到虛擬模型面部，讓玩家感受到是與自身對應(yīng)的模型在虛擬場景中。其方法以下:
[0048]如圖7所示，一種虛擬模型換臉方法，包括以下步驟:
[0049]S400:捕捉玩家呈像；
[0050]S401:通過體感設(shè)備4動(dòng)態(tài)獲取玩家骨骼點(diǎn)從而確定玩家頭部位置信息；
[0051 ] S402:拍照及保存玩家頭部信息，通過圖像處理算法將玩家面部以外圖像扣除；
[0052]S403:將面部圖像貼到虛擬模型的面部；
[0053]S404:通過烘焙面部圖像，將玩家面部信息完美融入虛擬模型頭部。
[0054]自選服飾系統(tǒng)包括輸入條碼模塊。
[0055]如圖8所示，進(jìn)入自選服飾系統(tǒng)界面，玩家可在當(dāng)前實(shí)體店內(nèi)選好實(shí)體服裝，輸入服裝吊牌上對應(yīng)條碼無需試衣間也可試穿當(dāng)前服裝，省去來回?fù)Q衣的繁瑣過程。自選服飾系統(tǒng)主要用于場景中體感模型試穿，試穿過程通過觸屏或手勢進(jìn)行控制。
[0056]智能推送系統(tǒng)包括虛擬服裝模塊。
[0057]如圖1-2和9所示，進(jìn)入智能推送系統(tǒng)界面，玩家可通過手掌揮動(dòng)觸發(fā)虛擬服裝的圖標(biāo)選擇喜歡的衣服款式，在實(shí)體店中，會(huì)有智能推送衣柜，衣柜中囊括智能推送系統(tǒng)中的服裝款式，智能推送系統(tǒng)會(huì)向智能推送衣柜發(fā)送對應(yīng)指令，通過串口協(xié)議控制衣柜自動(dòng)開門并經(jīng)推送桿將玩家所選服飾推送出來。智能推送系統(tǒng)可通過觸屏或手勢進(jìn)行控制。
[0058]作為另一種可實(shí)施方式，智能推送系統(tǒng)也可以設(shè)置類似于自選服飾系統(tǒng)輸入條碼模塊的條碼輸入模塊，可在智能推送系統(tǒng)中支持條碼調(diào)取相應(yīng)服飾，縮短服飾篩選時(shí)間。
[0059]作為另一種可實(shí)施方式，智能推送系統(tǒng)可設(shè)置數(shù)據(jù)讀取模塊，用于智能推送衣柜中的推送桿信息及該推送桿懸掛服裝的相關(guān)信息的錄入，避免手動(dòng)輸碼工作，縮短工作時(shí)間，降低勞動(dòng)強(qiáng)度。
[0060]如圖10所示，玩家在體驗(yàn)過程中，包括體感模型試穿、虛擬模型試穿、自選服裝試穿、推送實(shí)體服裝試穿等狀態(tài)下，都可以手動(dòng)選擇界面右上角拍照按鈕(攝像模塊)進(jìn)行拍照，拍照時(shí)會(huì)給玩家預(yù)留3秒時(shí)間做準(zhǔn)備，待拍照完成后會(huì)將照片保存至相冊內(nèi)，玩家可選擇照片查看、刪除和分享到朋友圈。由于本系統(tǒng)中設(shè)有體感設(shè)備4，體感設(shè)備4具有攝像和拍照功能，因此，不用單獨(dú)設(shè)置攝像模塊。
[0061]數(shù)據(jù)記錄模塊，即客戶每次來體驗(yàn)完后，虛擬試衣鏡系統(tǒng)會(huì)通過云服務(wù)器8自動(dòng)記錄玩家每次體驗(yàn)的服裝類型和次數(shù)。
[0062]作為另一種可實(shí)施方式，虛擬試衣鏡系統(tǒng)還包括掃碼模塊，掃碼模塊設(shè)于柜體I內(nèi)，用于自動(dòng)掃描柜體I內(nèi)懸掛在推送桿的服裝吊牌，記錄包括服裝信息及其位置信息的相關(guān)信息，相關(guān)信息實(shí)時(shí)上傳至云服務(wù)器8，并將數(shù)據(jù)庫的數(shù)據(jù)進(jìn)行同步更新，避免推送桿與服裝的唯一綁定，減少數(shù)據(jù)錄入，不局限服裝懸掛的特定推送桿。
[0063]本發(fā)明雖然已以較佳實(shí)施例公開如上，但其并不是用來限定本發(fā)明，任何本領(lǐng)域技術(shù)人員在不脫離本發(fā)明的精神和范圍內(nèi)，都可以利用上述揭示的方法和技術(shù)內(nèi)容對本發(fā)明技術(shù)方案做出可能的變動(dòng)和修改，因此，凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對以上實(shí)施例所作的任何簡單修改、等同變化及修飾，均屬于本發(fā)明技術(shù)方案的保護(hù)范圍。
【主權(quán)項(xiàng)】
1.一種基于Kinect人體骨骼識別的方法，其特征在于，包括以下步驟: 獲取現(xiàn)實(shí)環(huán)境深度圖并捕捉深度影像，根據(jù)捕捉到的深度影像識別頭部、四肢及關(guān)節(jié)處骨骼點(diǎn)； 建立空間之間坐標(biāo)系，定位頭部、四肢及關(guān)節(jié)處骨骼點(diǎn)坐標(biāo)，并將骨骼點(diǎn)坐標(biāo)與人體影像進(jìn)行綁定； 經(jīng)數(shù)據(jù)處理轉(zhuǎn)化將人體影像的各部位骨骼點(diǎn)與虛擬場景中的三維模型對應(yīng)位置進(jìn)行綁定。2.如權(quán)利要求1所述的基于Kinect人體骨骼識別的方法，其特征在于，所述獲取現(xiàn)實(shí)環(huán)境深度圖并捕捉深度影像，具體包括以下步驟: 設(shè)定捕捉區(qū)域，當(dāng)玩家進(jìn)入可捕捉區(qū)域，骨骼識別系統(tǒng)自動(dòng)綁定距離體感設(shè)備最近玩家的身體骨骼； 設(shè)定最佳測量距離，當(dāng)被綁定骨骼到達(dá)最佳測量處時(shí)，觸發(fā)掃描功能，通過紅外收錄玩家身體信息。3.如權(quán)利要求1所述的基于Kinect人體骨骼識別的方法，其特征在于，所述根據(jù)捕捉到的深度影像識別頭部、四肢及關(guān)節(jié)處骨骼點(diǎn)包括設(shè)定最佳識別姿勢，便于系統(tǒng)捕捉區(qū)分各個(gè)骨骼點(diǎn)。4.如權(quán)利要求3所述的基于Kinect人體骨骼識別的方法，其特征在于，所述最佳識別姿勢為保持直立姿勢，雙手下垂與身體軀干保持45°夾角，雙腿分開，雙腳間距小于肩寬。5.如權(quán)利要求1或2所述的基于Kinect人體骨骼識別的方法，其特征在于，所述獲取現(xiàn)實(shí)環(huán)境深度圖并捕捉深度影像，根據(jù)捕捉到的深度影像識別頭部、四肢及關(guān)節(jié)處骨骼點(diǎn)，還包括用于穩(wěn)定獲取骨骼信息的RGB色彩算法。
【文檔編號】G06T17/00GK105913482SQ201610199994
【公開日】2016年8月31日
【申請日】2016年3月31日
【發(fā)明人】郭圣
【申請人】上海晉榮智能科技有限公司