專利名稱：增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)技術(shù)，尤其涉及一種增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)及方法。
背景技術(shù)：
增強(qiáng)現(xiàn)實(shí)技術(shù)，是一種綜合了圖像識(shí)別追蹤、運(yùn)動(dòng)捕捉、虛擬現(xiàn)實(shí)等計(jì)算機(jī)學(xué)科的技術(shù)，將虛擬三維模型動(dòng)畫、視頻、文字、圖片等數(shù)字信息實(shí)時(shí)疊加顯示到真實(shí)場(chǎng)景中，并與現(xiàn)實(shí)物體或者使用者實(shí)現(xiàn)自然互動(dòng)的創(chuàng)新的人機(jī)交互技術(shù)?，F(xiàn)有技術(shù)的虛擬試衣系統(tǒng)一般以虛擬現(xiàn)實(shí)(Virtual Reality)為支持技術(shù)，讓設(shè)計(jì)好的虛擬3D人體模特結(jié)合不同款式、尺寸的虛擬3D服裝表現(xiàn)出服裝的穿戴以及搭配效果。但由于試穿衣服的為設(shè)計(jì)好的3D人體模型，不能與真實(shí)地試穿者的人體形態(tài)、膚色實(shí)時(shí)結(jié)合，并不能真實(shí)表現(xiàn)出滿意的試穿體驗(yàn)。

發(fā)明內(nèi)容
本發(fā)明提供一種增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)及方法，以提高虛擬試衣的效果。本發(fā)明提供一種增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)，包括光學(xué)攝像機(jī)，用于實(shí)時(shí)獲取實(shí)景視頻信息；深度攝像機(jī)，用于實(shí)時(shí)獲取試衣者的人體標(biāo)識(shí)信息；人體三維模型模塊，與所述深度攝像機(jī)連接，用于根據(jù)所述人體標(biāo)識(shí)信息生成人體三維模型；衣服三維模型模塊，與所述深度攝像機(jī)相連，用于根據(jù)所述人體標(biāo)識(shí)信息生成衣服三維模型；三維模型融合模塊，分別與所述人體三維模型模塊和所述衣服三維模型模塊相連，用于將所述人體三維模型和所述衣服三維模型相融合，生成試衣三維模型；實(shí)景融合模塊，分別與所述光學(xué)攝像機(jī)和所述三維模型融合模塊相連，用于將所述試衣三維模型和所述實(shí)景視頻信息相融合，生成試衣視頻信息。如上所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)，還包括第一校正模塊，與所述光學(xué)攝像機(jī)相連，用于根據(jù)預(yù)設(shè)焦距信息，對(duì)所述光學(xué)攝像機(jī)進(jìn)行標(biāo)定；第二校正模塊，分別與所述光學(xué)攝像機(jī)和所述深度攝像機(jī)相連，用于將所述光學(xué)攝像機(jī)和所述深度攝像機(jī)調(diào)整為同步同視角。如上所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)，其中，所述人體標(biāo)識(shí)信息包括外形信息和動(dòng)作信息；相應(yīng)地，所述深度攝像機(jī)包括外形信息捕捉單元和動(dòng)作信息捕捉單元；所述外形信息捕捉單元用于實(shí)時(shí)捕捉所述試衣者的各像素點(diǎn)的深度信息以及所述試衣者的輪廓信息，以形成所述外形信息；所述動(dòng)作信息捕捉單元與所述外形信息捕捉單元相連，用于根據(jù)所述輪廓信息生成骨骼節(jié)點(diǎn)信息，并根據(jù)所述骨骼節(jié)點(diǎn)信息生成所述動(dòng)作信息。如上所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)，所述人體三維模型包括人體模型調(diào)整單元，用于根據(jù)所述外形信息調(diào)整人體基礎(chǔ)模型的形狀，生成人體靜態(tài)模型；人體模型運(yùn)動(dòng)單元，用于根據(jù)所述動(dòng)作信息調(diào)整所述人體靜態(tài)模型的動(dòng)作，生成所述人體三維模型，以對(duì)所述試衣者進(jìn)行模擬。如上所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)，所述衣服三維模型包括衣服模型調(diào)整單元，用于根據(jù)所述外形信息調(diào)整衣服基礎(chǔ)模型的形狀，生成衣服靜態(tài)模型；衣服模型運(yùn)動(dòng)單元，用于根據(jù)所述動(dòng)作信息調(diào)整所述衣服靜態(tài)模型的位置和動(dòng)作姿態(tài)，生成衣服動(dòng)態(tài)模型；三維引擎單元，用于根據(jù)所述動(dòng)作信息和所述衣服動(dòng)態(tài)模型，生成所述衣服三維模型。如上所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)，所述三維模型融合模塊包括組合單元，用于將所述人體三維模型和所述衣服三維模型組合，生成遮擋三維模型；渲染單元，用于對(duì)所述遮擋三維模型進(jìn)行渲染；透明化單元，用于將渲染后的遮擋三維模型中的人體三維模型透明化處理，生成所述試衣三維模型。本發(fā)明提供一種增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法，包括光學(xué)攝像機(jī)實(shí)時(shí)獲取實(shí)景視頻信息；深度攝像機(jī)實(shí)時(shí)獲取試衣者的人體標(biāo)識(shí)信息；人體三維模型模塊根據(jù)所述深度攝像機(jī)獲取的人體標(biāo)識(shí)信息生成人體三維模型；衣服三維模型模塊根據(jù)所述深度攝像機(jī)獲取的人體標(biāo)識(shí)信息生成衣服三維模型；三維模型融合模塊分別將所述人體三維模型模塊生成的所述人體三維模型和所述衣服三維模型模塊生成的所述衣服三維模型相融合，生成試衣三維模型；實(shí)景融合模塊分別將所述衣服三維模型模塊生成的所述試衣三維模型和所述光學(xué)攝像機(jī)獲取的所述實(shí)景視頻信息相融合，生成試衣視頻信息。如上所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法，所述光學(xué)攝像機(jī)實(shí)時(shí)獲取實(shí)景視頻信息之前，還包括第一校正模塊根據(jù)預(yù)設(shè)焦距信息，對(duì)所述光學(xué)攝像機(jī)進(jìn)行標(biāo)定；第二校正模塊將所述光學(xué)攝像機(jī)和所述深度攝像機(jī)調(diào)整為同步同視角。如上所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法，所述人體標(biāo)識(shí)信息包括外形信息和動(dòng)作信息；相應(yīng)地，所述深度攝像機(jī)實(shí)時(shí)獲取試衣者的人體標(biāo)識(shí)信息，包括所述深度攝像機(jī)實(shí)時(shí)捕捉所述試衣者的各像素點(diǎn)的深度信息以及所述試衣者的輪廓信息，以形成所述外形信息；所述深度攝像機(jī)根據(jù)所述輪廓信息生成骨骼節(jié)點(diǎn)信息，并根據(jù)所述骨骼節(jié)點(diǎn)信息生成所述動(dòng)作信息。如上所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法，所述人體三維模型模塊根據(jù)所述深度攝像機(jī)獲取的人體標(biāo)識(shí)信息生成人體三維模型，包括所述人體三維模型模塊根據(jù)所述外形信息調(diào)整人體基礎(chǔ)模型的形狀，生成人體靜態(tài)模型；所述人體三維模型模塊根據(jù)所述動(dòng)作信息調(diào)整所述人體靜態(tài)模型的動(dòng)作，生成所述人體三維模型，以對(duì)所述試衣者進(jìn)行模擬。如上所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法，所述衣服三維模型模塊根據(jù)所述深度攝像機(jī)獲取的人體標(biāo)識(shí)信息生成衣服三維模型，包括所述衣服三維模型模塊根據(jù)所述外形信息調(diào)整衣服基礎(chǔ)模型的形狀，生成衣服靜態(tài)模型；所述衣服三維模型模塊根據(jù)所述動(dòng)作信息調(diào)整所述衣服靜態(tài)模型的位置和動(dòng)作姿態(tài)，生成衣服動(dòng)態(tài)模型；所述衣服三維模型模塊根據(jù)所述動(dòng)作信息和所述衣服動(dòng)態(tài)模型，生成所述衣服三維模型。如上所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法，所述三維模型融合模塊分別將所述人體三維模型模塊生成的所述人體三維模型和所述衣服三維模型模塊生成的所述衣服三維模型相融合，生成試衣三維模型，包括所述三維模型融合模塊將所述人體三維模型和所述衣服三維模型組合，生成遮擋三維模型；所述三維模型融合模塊對(duì)所述遮擋三維模型進(jìn)行渲染；所述三維模型融合模塊將渲染后的遮擋三維模型中的人體三維模型透明化處理， 生成所述試衣三維模型。由上述技術(shù)方案可知，本發(fā)明提供的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)及方法，通過深度攝像機(jī)實(shí)時(shí)獲取人體標(biāo)識(shí)信息，并根據(jù)該人體標(biāo)識(shí)信息生成人體三維模型和衣服三維模型，衣服三維模型可以與試衣者的體型相符，而且可以表現(xiàn)出試衣者穿上衣服時(shí)，衣服所表現(xiàn)出的與試衣者身體曲線相對(duì)應(yīng)的效果。并且通過人體三維模型和衣服三維模型的融合處理生成試衣三維模型，使試衣三維模型融合與實(shí)景視頻信息時(shí)，表現(xiàn)出的效果不僅僅是二者的疊加，而是可以與試衣者的人體形態(tài)相結(jié)合，提高了虛擬試衣的效果。


圖1為本發(fā)明實(shí)施例提供的一種增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)結(jié)構(gòu)示意圖； 圖2為本發(fā)明實(shí)施例提供的另一種增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)結(jié)構(gòu)示意3為本發(fā)明實(shí)施例提供的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法流程圖。附圖標(biāo)記12-光學(xué)攝像機(jī)；11-深度攝像機(jī)；13-人體三維模型模塊；14-衣服三維模型模塊15-三維模型融合模塊；16-實(shí)景融合模塊；17-第一校正模塊；18-第二校正模塊；
111-外形信息捕捉單元131-人體模型調(diào)整單元141-衣服模型調(diào)整單元143-三維引擎單元；
112-動(dòng)作信息捕捉單元 132-人體模型運(yùn)動(dòng)單元 142-衣服模型運(yùn)動(dòng)單元 151-組合單元； 152-渲染單元；
153-透明化單元。
具體實(shí)施例方式為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例， 對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述。需要說明的是，在附圖或說明書中， 相似或相同的元件皆使用相同的附圖標(biāo)記。圖1為本發(fā)明實(shí)施例提供的一種增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)結(jié)構(gòu)示意圖，如圖1 所示，該增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)包括光學(xué)攝像機(jī)12、深度攝像機(jī)11、人體三維模型模塊13、衣服三維模型模塊14、三維模型融合模塊15和實(shí)景融合模塊16。光學(xué)攝像機(jī)12用于實(shí)時(shí)獲取實(shí)景視頻信息。深度攝像機(jī)11用于實(shí)時(shí)獲取試衣者的人體標(biāo)識(shí)信息。人體三維模型模塊13與深度攝像機(jī)11連接，用于根據(jù)人體標(biāo)識(shí)信息生成人體三維模型。衣服三維模型模塊14與深度攝像機(jī)11相連，用于根據(jù)人體標(biāo)識(shí)信息生成衣服三維模型。三維模型融合模塊15分別與人體三維模型模塊13和衣服三維模型模塊14相連，用于將人體三維模型和衣服三維模型相融合，生成試衣三維模型。實(shí)景融合模塊16，分別與光學(xué)攝像機(jī)12 和三維模型融合模塊15相連，用于將試衣三維模型和實(shí)景視頻信息相融合，生成試衣視頻 fn息ο該增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)在實(shí)際應(yīng)用中的工作過程具體可以為試衣者站在光學(xué)攝像機(jī)12和深度攝像機(jī)11前，光學(xué)攝像機(jī)12實(shí)時(shí)獲取實(shí)景視頻信息，即實(shí)時(shí)捕捉試衣者的視頻信息以及試衣者所處的環(huán)境視頻信息。深度攝像機(jī)11實(shí)時(shí)獲取試衣者的人體標(biāo)識(shí)信息，試衣者的人體標(biāo)識(shí)信息具體可以對(duì)試衣者的外形輪廓以及動(dòng)作進(jìn)行標(biāo)識(shí)。人體三維模型模塊13根據(jù)人體標(biāo)識(shí)信息生成人體三維模型。人體三維模型模塊13具體可以根據(jù)深度攝像機(jī)11獲取的人體標(biāo)識(shí)信息通過三維人體建模算法生成人體三維模型。衣服三維模型模塊14中具體可以存儲(chǔ)多個(gè)衣服三維模型樣本，試衣者可以選擇喜歡的衣服進(jìn)行試穿。衣服三維模型模塊14將試衣者挑選出的衣服三維模型樣本，根據(jù)深度攝像機(jī)11獲取的人體標(biāo)識(shí)信息對(duì)衣服的大小以及該衣服在試衣者身上可能產(chǎn)生的皺褶和變形進(jìn)行調(diào)整處理，生成衣服三維模型。三維模型融合模塊15將人體三維模型和衣服三維模型進(jìn)行融合，生成試衣三維模型，例如，試衣者穿衣服時(shí)，脖子部位會(huì)對(duì)衣服的后衣領(lǐng)遮擋，生成的試衣三維模型中則會(huì)表現(xiàn)這個(gè)效果。實(shí)景融合模塊16在將該試衣三維模型融合到光學(xué)攝像機(jī)12捕捉的實(shí)景視頻中，生成試衣視頻信息，實(shí)現(xiàn)了試衣三維模型在試衣者身上的效果， 該試衣視頻信息通過顯示模塊顯示給試衣者，給試衣者的感受就和面對(duì)試衣鏡進(jìn)行試衣的效果一樣。本實(shí)施例提供的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)，通過深度攝像機(jī)11實(shí)時(shí)獲取人體標(biāo)識(shí)信息，并根據(jù)該人體標(biāo)識(shí)信息生成人體三維模型和衣服三維模型，衣服三維模型可以與試衣者的體型相符，而且可以表現(xiàn)出試衣者穿上衣服時(shí)，衣服所表現(xiàn)出的與試衣者身體曲線相對(duì)應(yīng)的效果。并且通過人體三維模型和衣服三維模型的融合處理生成試衣三維模型，使試衣三維模型融合與實(shí)景視頻信息時(shí)，表現(xiàn)出的效果不僅僅是二者的疊加，而是可以與試衣者的人體形態(tài)相結(jié)合，逼真地顯示了試著者的試衣效果，提高了虛擬試衣的效果。圖2為本發(fā)明實(shí)施例提供的另一種增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)結(jié)構(gòu)示意圖，如圖 2所示，在本實(shí)施例中，該增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)還可以包括第一校正模塊17和第二校正模塊18。第一校正模塊17與光學(xué)攝像機(jī)12相連，用于根據(jù)預(yù)設(shè)焦距信息，對(duì)光學(xué)攝像機(jī)12進(jìn)行標(biāo)定。第二校正模塊18分別與光學(xué)攝像機(jī)12和深度攝像機(jī)11相連，用于將光學(xué)攝像機(jī)12和深度攝像機(jī)11調(diào)整為同步同視角。在進(jìn)行虛擬試衣之前，可以先對(duì)光學(xué)攝像機(jī)12進(jìn)行標(biāo)定校正，第一校正模塊17具體根據(jù)預(yù)設(shè)的焦距信息進(jìn)行過內(nèi)外參數(shù)的標(biāo)定，使光學(xué)攝像機(jī)12基于標(biāo)定參數(shù)獲取實(shí)景視頻信息，并去除鏡頭畸變影響，準(zhǔn)確計(jì)算需要在實(shí)景中的特定距離、位置疊加和衣服三維模型的屏幕顯示的大小和位置坐標(biāo)。第二校正模塊18使光學(xué)攝像機(jī)12和虛擬攝像機(jī)同步同視角，具體表現(xiàn)為具有相同的角度、焦距和視野。具體也可以通過調(diào)整硬件參數(shù)以實(shí)現(xiàn)對(duì)光學(xué)攝像機(jī)12和深度攝像機(jī)11的同步同視角。通過對(duì)光學(xué)攝像機(jī)12和深度攝像機(jī)11的校正，可以提高虛擬三維模型與實(shí)景視頻融合的效果。在本實(shí)施例中，人體標(biāo)識(shí)信息包括外形信息和動(dòng)作信息。相應(yīng)地，深度攝像機(jī)11 包括外形信息捕捉單元111和動(dòng)作信息捕捉單元112。外形信息捕捉單元111用于實(shí)時(shí)捕捉試衣者的各像素點(diǎn)的深度信息以及試衣者的輪廓信息，以形成外形信息。外形信息具體可以為試衣者的肩寬、胸圍、腹圍、腰圍、臂長、腿長等關(guān)鍵體型參數(shù)組成的試衣者的輪廓信息，以及深度攝像機(jī)11獲取的試衣者的圖像中的各像素點(diǎn)對(duì)應(yīng)的試衣者身體上各點(diǎn)的深度信息，深度信息具體為試衣者身上各點(diǎn)距離深度攝像機(jī)11的絕對(duì)距離。動(dòng)作信息捕捉單元112與外形信息捕捉單元111相連，用于根據(jù)輪廓信息生成骨骼節(jié)點(diǎn)信息，并根據(jù)骨骼節(jié)點(diǎn)信息生成動(dòng)作信息。動(dòng)作信息捕捉單元112首先可以通過輪廓信息識(shí)別出正面人體的形狀，根據(jù)正面人體形狀對(duì)人體的骨骼節(jié)點(diǎn)進(jìn)行定位，以獲得骨骼節(jié)點(diǎn)信息。具體的，骨骼節(jié)點(diǎn)為預(yù)設(shè)的運(yùn)動(dòng)骨骼節(jié)點(diǎn)，為人體運(yùn)動(dòng)的關(guān)鍵骨骼節(jié)點(diǎn)，通過對(duì)該些骨骼節(jié)點(diǎn)的追蹤，可以實(shí)現(xiàn)對(duì)人體動(dòng)作的實(shí)時(shí)捕捉。在本實(shí)施例中，人體三維模型具體可以包括人體模型調(diào)整單元131和人體模型運(yùn)動(dòng)單元132。人體模型調(diào)整單元131用于根據(jù)外形信息調(diào)整人體基礎(chǔ)模型的形狀，生成人體靜態(tài)模型。人體模型調(diào)整單元131在人體基礎(chǔ)模型的基礎(chǔ)上，根據(jù)外形信息對(duì)人體基礎(chǔ)模型進(jìn)行調(diào)整，以生成與試衣者相匹配的人體靜態(tài)模型，可以簡化人體三維模型的生成算法。 人體模型運(yùn)動(dòng)單元132用于根據(jù)動(dòng)作信息調(diào)整人體靜態(tài)模型的動(dòng)作，生成人體三維模型， 以對(duì)試衣者進(jìn)行模擬。具體的，可以將人體靜態(tài)模型和撲捉到的動(dòng)作信息中的骨骼節(jié)點(diǎn)信息綁定，以實(shí)現(xiàn)人體三維模型對(duì)實(shí)景中人體形態(tài)和動(dòng)作的準(zhǔn)確復(fù)制。在本實(shí)施例中，衣服三維模型具體可以包括衣服模型調(diào)整單元141、衣服模型運(yùn)動(dòng)單元142和三維引擎單元143。衣服模型調(diào)整單元141用于根據(jù)外形信息調(diào)整衣服基礎(chǔ)模型的形狀，生成衣服靜態(tài)模型。衣服模型調(diào)整單元141在衣服基礎(chǔ)模型的基礎(chǔ)上，根據(jù)試衣者的外形信息對(duì)衣服基礎(chǔ)模型的尺寸和穿戴位置進(jìn)行調(diào)整，以生成與試衣者提醒相匹配的衣服靜態(tài)模型。衣服模型運(yùn)動(dòng)單元142用于根據(jù)動(dòng)作信息調(diào)整衣服靜態(tài)模型的位置和動(dòng)作姿態(tài)，生成衣服動(dòng)態(tài)模型。衣服模型運(yùn)動(dòng)單元142具體可以將衣服靜態(tài)模型綁定捕捉的骨骼節(jié)點(diǎn)信息，結(jié)合識(shí)別出的人體動(dòng)作，計(jì)算出衣服的空間位置與運(yùn)動(dòng)姿態(tài)，以生成衣服動(dòng)態(tài)模型。三維引擎單元143用于根據(jù)動(dòng)作信息和衣服動(dòng)態(tài)模型，生成衣服三維模型。具體的， 三維引擎單元143根據(jù)動(dòng)作信息，將衣服動(dòng)態(tài)模型進(jìn)行變形、褶皺等物理特效。在本實(shí)施例中，三維模型融合模塊15具體可以包括組合單元151、渲染單元152和透明化單元153。組合單元151用于將人體三維模型和衣服三維模型組合，生成遮擋三維模型。渲染單元152用于對(duì)遮擋三維模型進(jìn)行渲染。透明化單元153用于將渲染后的遮擋三維模型中的人體三維模型透明化處理，生成試衣三維模型。具體的，將組合單元151人體三維模型和衣服三維模型組合，渲染單元152具體可以為三維引擎，通過深度z-cbpth運(yùn)算， 對(duì)遮擋部位不進(jìn)行渲染，以顯示遮擋效果，透明化單元153再將人體三維模型透明化處理， 以保證在視頻疊加時(shí)與試衣三維模型重合的真實(shí)人體視頻圖像被正確顯示，并實(shí)現(xiàn)在特定位置姿態(tài)下對(duì)身后虛擬服裝的正確遮擋。在實(shí)際應(yīng)用過程中，試衣者的試衣視頻信息通過顯示模塊進(jìn)行顯示，可以設(shè)置功能按鈕以對(duì)視頻進(jìn)行放大、縮小和移動(dòng)，還可以對(duì)視頻圖像拍照保存。該增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)還可以與網(wǎng)上商城連接，當(dāng)試衣者對(duì)試衣結(jié)果感到滿意時(shí)，可以直接通過購買按鈕進(jìn)行相應(yīng)的購買操作，開拓了全新的服裝產(chǎn)業(yè)數(shù)字營銷手段。圖3為本發(fā)明實(shí)施例提供的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法流程圖，如圖3所示，本實(shí)施例提供的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法可以通過本發(fā)明任意實(shí)施例提供的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)來實(shí)現(xiàn)，但并不以此為限。該增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法包括步驟10、光學(xué)攝像機(jī)實(shí)時(shí)獲取實(shí)景視頻信息；步驟20、深度攝像機(jī)實(shí)時(shí)獲取試衣者的人體標(biāo)識(shí)信息；步驟30、人體三維模型模塊根據(jù)深度攝像機(jī)獲取的人體標(biāo)識(shí)信息生成人體三維模型；步驟40、衣服三維模型模塊根據(jù)深度攝像機(jī)獲取的人體標(biāo)識(shí)信息生成衣服三維模型；步驟50、三維模型融合模塊分別將人體三維模型模塊生成的人體三維模型和衣服三維模型模塊生成的衣服三維模型相融合，生成試衣三維模型；步驟60、實(shí)景融合模塊分別將衣服三維模型模塊生成的試衣三維模型和光學(xué)攝像機(jī)獲取的實(shí)景視頻信息相融合，生成試衣視頻信息。本實(shí)施例提供的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法，步驟10和步驟20可以同時(shí)進(jìn)行，步驟30和步驟40也可以同時(shí)進(jìn)行，并不具有必然的時(shí)序關(guān)系。通過深度攝像機(jī)實(shí)時(shí)獲取人體標(biāo)識(shí)信息，并根據(jù)該人體標(biāo)識(shí)信息生成人體三維模型和衣服三維模型，衣服三維模型可以與試衣者的體型相符，而且可以表現(xiàn)出試衣者穿上衣服時(shí)，衣服所表現(xiàn)出的與試衣者身體曲線相對(duì)應(yīng)的效果。并且通過人體三維模型和衣服三維模型的融合處理生成試衣三維模型，使試衣三維模型融合與實(shí)景視頻信息時(shí)，表現(xiàn)出的效果不僅僅是二者的疊加，而是可以與試衣者的人體形態(tài)相結(jié)合，逼真地顯示了試著者的試衣效果，提高了虛擬試衣的效果。在本實(shí)施例中，步驟10、光學(xué)攝像機(jī)實(shí)時(shí)獲取實(shí)景視頻信息之前，還可以包括以下步驟步驟20、第一校正模塊根據(jù)預(yù)設(shè)焦距信息，對(duì)光學(xué)攝像機(jī)進(jìn)行標(biāo)定；步驟30、第二校正模塊將光學(xué)攝像機(jī)和深度攝像機(jī)調(diào)整為同步同視角。通過對(duì)光學(xué)攝像機(jī)和深度攝像機(jī)進(jìn)行標(biāo)定和校正，可以提高虛擬三維模型與實(shí)景視頻融合的效果。在本實(shí)施例中，具體的，人體標(biāo)識(shí)信息包括外形信息和動(dòng)作信息。相應(yīng)地，步驟20、 深度攝像機(jī)實(shí)時(shí)獲取試衣者的人體標(biāo)識(shí)信息，具體可以包括以下步驟步驟201、深度攝像機(jī)實(shí)時(shí)捕捉試衣者的各像素點(diǎn)的深度信息以及試衣者的輪廓信息，以形成外形信息；步驟202、深度攝像機(jī)根據(jù)輪廓信息生成骨骼節(jié)點(diǎn)信息，并根據(jù)骨骼節(jié)點(diǎn)信息生成動(dòng)作信息。在本實(shí)施例中，步驟30、人體三維模型模塊根據(jù)深度攝像機(jī)獲取的人體標(biāo)識(shí)信息生成人體三維模型，具體可以包括以下步驟步驟301、人體三維模型模塊根據(jù)外形信息調(diào)整人體基礎(chǔ)模型的形狀，生成人體靜態(tài)模型；步驟302、人體三維模型模塊根據(jù)動(dòng)作信息調(diào)整人體靜態(tài)模型的動(dòng)作，生成人體三維模型，以對(duì)試衣者進(jìn)行模擬。通過根據(jù)外形信息調(diào)整人體基礎(chǔ)模型來生成與試衣者相匹配的人體靜態(tài)模型，可以簡化人體三維模型生成算法。在本實(shí)施例中，步驟40、衣服三維模型模塊根據(jù)深度攝像機(jī)獲取的人體標(biāo)識(shí)信息生成衣服三維模型，具體可以包括以下步驟步驟401、衣服三維模型模塊根據(jù)外形信息調(diào)整衣服基礎(chǔ)模型的形狀，生成衣服靜態(tài)模型；步驟402、衣服三維模型模塊根據(jù)動(dòng)作信息調(diào)整衣服靜態(tài)模型的位置和動(dòng)作姿態(tài)， 生成衣服動(dòng)態(tài)模型；步驟403、衣服三維模型模塊根據(jù)動(dòng)作信息和衣服動(dòng)態(tài)模型，生成衣服三維模型。通過外形信息調(diào)整衣服基礎(chǔ)模型的形狀，生成的衣服靜態(tài)模型，可以與試衣者的體型相匹配，并根據(jù)動(dòng)作信息調(diào)整衣服靜態(tài)模型的位置和動(dòng)作姿態(tài)省的衣服動(dòng)態(tài)模型，使衣服動(dòng)態(tài)模型可以根據(jù)試衣者的動(dòng)作而處于相應(yīng)的位置，表現(xiàn)相應(yīng)的效果。在本實(shí)施例中，步驟50、三維模型融合模塊分別將人體三維模型模塊生成的人體三維模型和衣服三維模型模塊生成的衣服三維模型相融合，生成試衣三維模型，具體可以包括以下步驟步驟501、三維模型融合模塊將人體三維模型和衣服三維模型組合，生成遮擋三維模型；步驟502、三維模型融合模塊對(duì)遮擋三維模型進(jìn)行渲染；步驟503、三維模型融合模塊將渲染后的遮擋三維模型中的人體三維模型透明化處理，生成試衣三維模型。通過對(duì)衣服模型遮擋處的處理，使試衣三維模型可以真是地表現(xiàn)試衣效果。本發(fā)明實(shí)施例提供的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)及方法，通過深度攝像機(jī)實(shí)時(shí)獲取人體標(biāo)識(shí)信息，并根據(jù)該人體標(biāo)識(shí)信息生成人體三維模型和衣服三維模型，衣服三維模型可以與試衣者的體型相符，而且可以表現(xiàn)出試衣者穿上衣服時(shí)，衣服所表現(xiàn)出的與試衣者身體曲線相對(duì)應(yīng)的效果。并且通過人體三維模型和衣服三維模型的融合處理生成試衣三維模型，使試衣三維模型融合與實(shí)景視頻信息時(shí)，表現(xiàn)出的效果不僅僅是二者的疊加，而是可以與試衣者的人體形態(tài)相結(jié)合，逼真地顯示了試著者的試衣效果。虛擬服裝可以根據(jù)試衣者的動(dòng)作自動(dòng)改變?cè)囈滦Ч?，解決了不同人體轉(zhuǎn)動(dòng)角度和姿態(tài)下的虛擬服裝在試衣者身上的正確疊加顯示，提高了虛擬試衣的效果。 最后應(yīng)說明的是以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解其依然可以對(duì)前述實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換； 而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。
權(quán)利要求
1.一種增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)，其特征在于，包括光學(xué)攝像機(jī)，用于實(shí)時(shí)獲取實(shí)景視頻信息；深度攝像機(jī)，用于實(shí)時(shí)獲取試衣者的人體標(biāo)識(shí)信息；人體三維模型模塊，與所述深度攝像機(jī)連接，用于根據(jù)所述人體標(biāo)識(shí)信息生成人體三維模型；衣服三維模型模塊，與所述深度攝像機(jī)相連，用于根據(jù)所述人體標(biāo)識(shí)信息生成衣服三維模型；三維模型融合模塊，分別與所述人體三維模型模塊和所述衣服三維模型模塊相連，用于將所述人體三維模型和所述衣服三維模型相融合，生成試衣三維模型；實(shí)景融合模塊，分別與所述光學(xué)攝像機(jī)和所述三維模型融合模塊相連，用于將所述試衣三維模型和所述實(shí)景視頻信息相融合，生成試衣視頻信息。
2.根據(jù)權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)，其特征在于，還包括第一校正模塊，與所述光學(xué)攝像機(jī)相連，用于根據(jù)預(yù)設(shè)焦距信息，對(duì)所述光學(xué)攝像機(jī)進(jìn)行標(biāo)定；第二校正模塊，分別與所述光學(xué)攝像機(jī)和所述深度攝像機(jī)相連，用于將所述光學(xué)攝像機(jī)和所述深度攝像機(jī)調(diào)整為同步同視角。
3.根據(jù)權(quán)利要求1或2所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)，其特征在于所述人體標(biāo)識(shí)信息包括外形信息和動(dòng)作信息；相應(yīng)地，所述深度攝像機(jī)包括外形信息捕捉單元和動(dòng)作信息捕捉單元；所述外形信息捕捉單元用于實(shí)時(shí)捕捉所述試衣者的各像素點(diǎn)的深度信息以及所述試衣者的輪廓信息，以形成所述外形信息；所述動(dòng)作信息捕捉單元與所述外形信息捕捉單元相連，用于根據(jù)所述輪廓信息生成骨骼節(jié)點(diǎn)信息，并根據(jù)所述骨骼節(jié)點(diǎn)信息生成所述動(dòng)作信息。
4.根據(jù)權(quán)利要求3所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)，其特征在于，所述人體三維模型包括人體模型調(diào)整單元，用于根據(jù)所述外形信息調(diào)整人體基礎(chǔ)模型的形狀，生成人體靜態(tài)模型；人體模型運(yùn)動(dòng)單元，用于根據(jù)所述動(dòng)作信息調(diào)整所述人體靜態(tài)模型的動(dòng)作，生成所述人體三維模型，以對(duì)所述試衣者進(jìn)行模擬。
5.根據(jù)權(quán)利要求3所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)，其特征在于，所述衣服三維模型包括衣服模型調(diào)整單元，用于根據(jù)所述外形信息調(diào)整衣服基礎(chǔ)模型的形狀，生成衣服靜態(tài)模型；衣服模型運(yùn)動(dòng)單元，用于根據(jù)所述動(dòng)作信息調(diào)整所述衣服靜態(tài)模型的位置和動(dòng)作姿態(tài)，生成衣服動(dòng)態(tài)模型；三維引擎單元，用于根據(jù)所述動(dòng)作信息和所述衣服動(dòng)態(tài)模型，生成所述衣服三維模型。
6.根據(jù)權(quán)利要求3所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)，其特征在于，所述三維模型融合模塊包括組合單元，用于將所述人體三維模型和所述衣服三維模型組合，生成遮擋三維模型；渲染單元，用于對(duì)所述遮擋三維模型進(jìn)行渲染；透明化單元，用于將渲染后的遮擋三維模型中的人體三維模型透明化處理，生成所述試衣三維模型。
7.一種增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法，其特征在于，包括 光學(xué)攝像機(jī)實(shí)時(shí)獲取實(shí)景視頻信息；深度攝像機(jī)實(shí)時(shí)獲取試衣者的人體標(biāo)識(shí)信息；人體三維模型模塊根據(jù)所述深度攝像機(jī)獲取的人體標(biāo)識(shí)信息生成人體三維模型； 衣服三維模型模塊根據(jù)所述深度攝像機(jī)獲取的人體標(biāo)識(shí)信息生成衣服三維模型； 三維模型融合模塊分別將所述人體三維模型模塊生成的所述人體三維模型和所述衣服三維模型模塊生成的所述衣服三維模型相融合，生成試衣三維模型；實(shí)景融合模塊分別將所述衣服三維模型模塊生成的所述試衣三維模型和所述光學(xué)攝像機(jī)獲取的所述實(shí)景視頻信息相融合，生成試衣視頻信息。
8.根據(jù)權(quán)利要求7所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法，其特征在于，所述光學(xué)攝像機(jī)實(shí)時(shí)獲取實(shí)景視頻信息之前，還包括第一校正模塊根據(jù)預(yù)設(shè)焦距信息，對(duì)所述光學(xué)攝像機(jī)進(jìn)行標(biāo)定； 第二校正模塊將所述光學(xué)攝像機(jī)和所述深度攝像機(jī)調(diào)整為同步同視角。
9.根據(jù)權(quán)利要求7或8所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法，其特征在于，所述人體標(biāo)識(shí)信息包括外形信息和動(dòng)作信息；相應(yīng)地，所述深度攝像機(jī)實(shí)時(shí)獲取試衣者的人體標(biāo)識(shí)信息， 包括所述深度攝像機(jī)實(shí)時(shí)捕捉所述試衣者的各像素點(diǎn)的深度信息以及所述試衣者的輪廓信息，以形成所述外形信息；所述深度攝像機(jī)根據(jù)所述輪廓信息生成骨骼節(jié)點(diǎn)信息，并根據(jù)所述骨骼節(jié)點(diǎn)信息生成所述動(dòng)作信息。
10.根據(jù)權(quán)利要求9所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法，其特征在于，所述人體三維模型模塊根據(jù)所述深度攝像機(jī)獲取的人體標(biāo)識(shí)信息生成人體三維模型，包括所述人體三維模型模塊根據(jù)所述外形信息調(diào)整人體基礎(chǔ)模型的形狀，生成人體靜態(tài)模型；所述人體三維模型模塊根據(jù)所述動(dòng)作信息調(diào)整所述人體靜態(tài)模型的動(dòng)作，生成所述人體三維模型，以對(duì)所述試衣者進(jìn)行模擬。
11.根據(jù)權(quán)利要求9所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法，其特征在于，所述衣服三維模型模塊根據(jù)所述深度攝像機(jī)獲取的人體標(biāo)識(shí)信息生成衣服三維模型，包括所述衣服三維模型模塊根據(jù)所述外形信息調(diào)整衣服基礎(chǔ)模型的形狀，生成衣服靜態(tài)模型；所述衣服三維模型模塊根據(jù)所述動(dòng)作信息調(diào)整所述衣服靜態(tài)模型的位置和動(dòng)作姿態(tài)， 生成衣服動(dòng)態(tài)模型；所述衣服三維模型模塊根據(jù)所述動(dòng)作信息和所述衣服動(dòng)態(tài)模型，生成所述衣服三維模型。
12.根據(jù)權(quán)利要求9所述的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣方法，其特征在于，所述三維模型融合模塊分別將所述人體三維模型模塊生成的所述人體三維模型和所述衣服三維模型模塊生成的所述衣服三維模型相融合，生成試衣三維模型，包括所述三維模型融合模塊將所述人體三維模型和所述衣服三維模型組合，生成遮擋三維模型；所述三維模型融合模塊對(duì)所述遮擋三維模型進(jìn)行渲染；所述三維模型融合模塊將渲染后的遮擋三維模型中的人體三維模型透明化處理，生成所述試衣三維模型。
全文摘要
本發(fā)明提供一種增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)及方法，該增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)包括光學(xué)攝像機(jī)、深度攝像機(jī)、人體三維模型模塊、衣服三維模型模塊、三維模型融合模塊和實(shí)景融合模塊。光學(xué)攝像機(jī)實(shí)時(shí)獲取實(shí)景視頻信息。深度攝像機(jī)實(shí)時(shí)獲取試衣者的人體標(biāo)識(shí)信息。人體三維模型模塊根據(jù)人體標(biāo)識(shí)信息生成人體三維模型。衣服三維模型模塊根據(jù)人體標(biāo)識(shí)信息生成衣服三維模型。三維模型融合模塊將人體三維模型和衣服三維模型相融合，生成試衣三維模型。實(shí)景融合模塊將試衣三維模型和實(shí)景視頻信息相融合，生成試衣視頻信息。本發(fā)明提供的增強(qiáng)現(xiàn)實(shí)實(shí)時(shí)虛擬試衣系統(tǒng)及方法，可以逼真地顯示了試著者的試衣效果，提高了虛擬試衣的效果。
文檔編號(hào)G06F19/00GK102156810SQ20111008120
公開日2011年8月17日 申請(qǐng)日期2011年3月30日 優(yōu)先權(quán)日2011年3月30日
發(fā)明者劉勇, 張亮, 梁征, 蘇中謙 申請(qǐng)人:北京觸角科技有限公司