專利名稱：信息處理裝置、顯示控制方法和程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及信息處理裝置、顯示控制方法和程序。
背景技術(shù)：
已經(jīng)提出了通過將衣服的圖像疊加在通過拍攝用戶而產(chǎn)生的圖像上來產(chǎn)生試穿圖像(即，試穿衣服等的圖像)的各種技術(shù)，作為虛擬試穿系統(tǒng)。作為一個不例，第2006-304331號日本特開公報公開了一種將衣服的圖像疊加在用戶身體的圖像上的處理。更具體地講，在第2006-304331號公報中公開的圖像處理服務(wù)器根據(jù)附屬于用戶的身體圖像的諸如身體輪廓數(shù)據(jù)(身高、肩寬等)的信息和圖像中身體的朝向來改變衣服圖像的尺寸并調(diào)整圖像的朝向，然后將衣服圖像疊加在身體圖像上。

發(fā)明內(nèi)容
利用第2006-304331號公報中公開的試穿圖像產(chǎn)生技術(shù)，要疊加的衣服圖像由用戶任意選擇，并自動執(zhí)行疊加處理。作為具體的示例，一旦通過利用移動終端讀取附于衣服的ID或者點擊顯示在顯示器上的衣服圖像來進(jìn)行選擇，就自動產(chǎn)生試穿圖像。然而，在現(xiàn)實中試穿衣服包含用戶更換的動作，因此由不包括這種動作的虛擬試穿系統(tǒng)產(chǎn)生的試穿圖像缺少真實性。另外，以上提及的第2006-304331號公報并未考慮到根據(jù)用戶的動作來產(chǎn)生試穿圖像。出于這個原因，本公開旨在提供一種能夠根據(jù)被攝體的動作來控制衣服和/或配件的穿和/或脫的新穎的改進(jìn)的信息處理裝置、顯示控制方法和程序。根據(jù)本公開，提供了 一種信息處理裝置，包括:動作檢測單元，檢測已拍攝的被攝體的動作；顯示控制單元，根據(jù)動作檢測單元檢測到的動作，控制被覆蓋顯示在被攝體上的虛擬衣服和/或配件的穿和/或脫。根據(jù)本公開，提供了一種顯示控制方法，包括:檢測已拍攝的被攝體的動作；根據(jù)檢測到的動作控制被覆蓋顯示在被攝體上的虛擬衣服和/或配件的穿和/或脫。根據(jù)本公開，提供了一種使計算機(jī)執(zhí)行下述處理的程序:檢測已拍攝的被攝體的動作；和根據(jù)檢測到的動作控制覆蓋顯示在被攝體上的虛擬衣服和/或配件的穿和/或脫。根據(jù)上述的本公開的實施例，能夠根據(jù)被攝體的動作控制衣服和/或配件的穿和/或脫。


圖1是用于解釋根據(jù)本公開的實施例的AR試穿系統(tǒng)的概要的示圖；圖2是用于解釋在通常的虛擬試穿系統(tǒng)中的試穿(疊加處理)時序的示圖；圖3是示出根據(jù)本公開的實施例的信息處理裝置的構(gòu)成的方框圖；圖4是用于解釋真實空間中照相機(jī)與被攝體(subject)之間的位置關(guān)系以及拍攝了被攝體的拍攝圖像的示圖5是用于解釋根據(jù)本公開的實施例的骨骼信息的示圖；圖6是用于解釋虛擬空間中的虛擬照相機(jī)與虛擬衣服之間的位置關(guān)系以及通過投影虛擬衣服而產(chǎn)生的虛擬衣服圖像的示圖；圖7是示出根據(jù)本公開的實施例的用于顯示AR試穿圖像的基本顯示控制處理的流程圖；圖8是示出根據(jù)本公開的實施例的依據(jù)姿勢(gesture)的穿和/或脫控制處理的流程圖；圖9是用于解釋根據(jù)本公開的實施例的依據(jù)有效姿勢的穿控制的示例的示圖；圖10是用于解釋根據(jù)本公開的實施例的依據(jù)有效姿勢的脫控制的示例的示圖；圖11是用于解釋根據(jù)本公開的實施例的依據(jù)有效姿勢的更換控制的示例的示圖；以及圖12是用于解釋根據(jù)本公開的實施例的脫動作的中間進(jìn)展的顯示的示圖。
具體實施例方式在下文中，將參照附圖 詳細(xì)描述本公開的優(yōu)選實施例。要注意的是，在本說明書和附圖中，用相同的標(biāo)號表示具有基本相同的功能和結(jié)構(gòu)的構(gòu)成要素，并且省略對這些構(gòu)成要素的重復(fù)解釋。按照以下指出的順序給出下面的描述。1.根據(jù)本公開的實施例的AR試穿系統(tǒng)的概要2.信息處理裝置的構(gòu)成3.顯示控制3-1.基本顯示控制3-2.依據(jù)姿勢的穿和/或脫控制4.結(jié)論1.根據(jù)本公開的實施例的AR試穿系統(tǒng)的概要近年來,關(guān)注點已經(jīng)集中在稱作增強(qiáng)現(xiàn)實(augmented reality, AR)的技術(shù),AR技術(shù)通過將附加信息覆蓋在真實世界上向用戶呈現(xiàn)這種信息。利用各種形式的虛擬對象(諸如文本、圖標(biāo)和動畫)將通過AR技術(shù)呈現(xiàn)給用戶的信息可視化。AR技術(shù)的主要用途之一為支持用戶在真實世界中的活動。在下面的描述中，將AR技術(shù)應(yīng)用于試穿系統(tǒng)(S卩，用于試穿衣服等的系統(tǒng))。通過與用戶動作一致地顯示覆蓋在身體上的虛擬衣服的圖像，利用AR技術(shù)的試穿系統(tǒng)能夠使用戶實時虛擬地試穿衣服。另外，根據(jù)本公開的實施例的AR試穿系統(tǒng)根據(jù)用戶動作控制虛擬衣服的穿和/或脫并使用戶能夠直觀地穿上和脫下虛擬衣服。在本說明書中要注意的是，表述“穿和/或脫”包括穿或穿上身、脫或從身上脫下以及更換(脫下并穿上)?，F(xiàn)在將參照圖1描述根據(jù)本公開的實施例的AR試穿系統(tǒng)的概要。如圖1所示，根據(jù)本公開的實施例的AR試穿系統(tǒng)I包括信息處理裝置10、照相機(jī)15、傳感器17和顯示裝置19。要注意的是，對安裝AR試穿系統(tǒng)I的場所沒有特別的限制。作為示例，AR試穿系統(tǒng)I可安裝在用戶的家里或者可安裝在商店里。
另外，盡管在圖1中示出的示例中組成AR試穿系統(tǒng)I的多個裝置(即，信息處理裝置10、照相機(jī)15、傳感器17和顯示裝置19)被配置成分離的裝置，但是根據(jù)本實施例的AR試穿系統(tǒng)I的構(gòu)成不限于此。例如，組成AR試穿系統(tǒng)I的多個裝置的任意組合可集成為單個裝置。作為另一示例，組成AR試穿系統(tǒng)I的多個裝置可被包含在智能手機(jī)、PDA (個人數(shù)字助理)、移動電話、移動音頻再現(xiàn)裝置、移動圖像處理裝置或移動游戲機(jī)中。照相機(jī)(圖像拍攝裝置)15拍攝真實空間中存在的物體的圖像。盡管對真實空間中存在的物體沒有特別的限制，但是作為示例，這種物體可為諸如人或動物的有生命物體或者諸如車庫或電視柜的無生命物體。在圖1中示出的示例中，作為真實空間中存在的物體，照相機(jī)15拍攝被攝體A (例如，人)。照相機(jī)15拍攝的圖像(在下文中也稱作“拍攝圖像”)顯示在顯示裝置19上。顯示在顯示裝置19上的拍攝圖像可為RGB圖像。另外，照相機(jī)15將拍攝圖像發(fā)送至信息處理裝置10。傳感器17具有從真實空間檢測參數(shù)并將檢測的數(shù)據(jù)發(fā)送至信息處理裝置10的功能。例如，如果傳感器17由紅外線傳感器構(gòu)成，則傳感器17能夠檢測來自真實空間的紅外波并將與檢測到的紅外線的量一致的電信號作為檢測數(shù)據(jù)提供給信息處理裝置10。作為一個示例，信息處理裝置10能夠根據(jù)檢測數(shù)據(jù)識別真實空間中存在的物體。傳感器17的類型不限于紅外線傳感器。要注意的是，盡管在圖1中示出的示例中檢測數(shù)據(jù)從傳感器17被提供至信息處理裝置10，但是提供給信息處理裝置10的檢測數(shù)據(jù)可為照相機(jī)15拍攝的圖像。信息處理裝置10能夠根據(jù)對真實空間中存在的物體的識別結(jié)果來處理拍攝圖像，諸如通過將虛擬對象疊加在拍攝圖像上和/或使拍攝圖像變形(reshape)。顯示裝置19還能夠顯示由信息處理裝置10處理的圖像。例如，如圖1所示，信息處理裝置10能夠識別真實空間中的被攝體A并實時在顯示裝置19上顯示疊加有衣服圖像的試穿圖像。在這個示例中，用戶的身體是真實空間的視頻，而要試穿的衣服的圖像是通過覆蓋在真實空間的視頻上而顯示的虛擬對象。通過這樣做，AR試穿系統(tǒng)I提供了實時的虛擬試穿間。這里，利用通常的虛擬試穿系統(tǒng)，當(dāng)被攝體已經(jīng)選擇虛擬衣服時自動產(chǎn)生試穿圖像?，F(xiàn)在將參照圖2描述虛擬衣服的通常穿控制。圖2是用于解釋通常虛擬試穿系統(tǒng)的虛擬衣服的穿控制的示圖。如圖2的上部所示，利用通常的虛擬試穿系統(tǒng)，當(dāng)檢測到被攝體A已經(jīng)將他/她的手移動到顯示虛擬衣服30的位置時，選擇虛擬衣服30作為要試穿的虛擬衣服。在與選擇虛擬衣服30基本相同的時間，自動產(chǎn)生并顯示虛擬衣服30疊加在被攝體A上的試穿圖像，如圖2中的下部所示。按照這種方式，利用通常的虛擬試穿系統(tǒng)，與選擇虛擬衣服30基本上同時地自動執(zhí)行疊加有虛擬衣服30的試穿圖像的產(chǎn)生。然而，當(dāng)用戶在現(xiàn)實中試穿衣服時，過程分為兩步，即，選擇衣服，然后更換，這意味著如上所述的與選擇虛擬衣服基本同時地執(zhí)行虛擬衣服的疊加處理是不現(xiàn)實的。出于此原因，利用根據(jù)本公開的實施例的AR試穿系統(tǒng)，檢測被攝體A的動作并根據(jù)檢測到的動作來控制穿和/或脫，以將衣服圖像疊加在拍攝圖像上(即，穿衣服)或者將衣服圖像從試穿圖像分離(即，脫衣服)。作為一個示例，如圖1所示，被攝體A能夠通過執(zhí)行將他的手從他的頭部降至他的軀干的動作來試穿虛擬衣服。按照這種方式，根據(jù)本實施例，由于根據(jù)被攝體A的動作控制穿和/或脫，所以用戶能夠直觀地穿和/或脫虛擬衣服。2.信息處理裝置的構(gòu)成接下來，將參照圖3描述根據(jù)本公開的實施例的實現(xiàn)AR試穿系統(tǒng)的信息處理裝置10的構(gòu)成。如圖3所示，信息處理裝置10包括控制單元100、操作輸入單元120和存儲單元130?？刂茊卧?00包括骨骼位置計算單元101、動作檢測單元103和顯示控制單元105。信息處理裝置10還可以無線連接或經(jīng)導(dǎo)線連接至照相機(jī)15、傳感器17和顯示裝置19。控制單元100對應(yīng)于諸如CPU (中央處理單元)或DSP (數(shù)字信號處理器)的處理器。通過執(zhí)行存儲在存儲單元130或其它存儲介質(zhì)中的程序，控制單元100實現(xiàn)了后面描述的控制單元100的各種功能。要注意的是，組成控制單元100的各個塊可全部包含在同一裝置中或者這些塊中的一些塊可包含在其它裝置(如服務(wù)器)中。存儲單元130利用諸如半導(dǎo)體存儲器或硬盤的存儲介質(zhì)存儲用于信息處理裝置10處理的程序和數(shù)據(jù)。作為一個示例，存儲單元130存儲使計算機(jī)用作控制單元100的程序。例如，存儲單元130還可以存儲供控制單元100使用的數(shù)據(jù)。根據(jù)本實施例的存儲單元130存儲用于衣服和/或配件的三維數(shù)據(jù)作為要顯示的虛擬對象。要注意的是，在本說明書中，表述“衣服和/或配件 ”可包括衣服和配件。這里，表述“配件”包括眼鏡、帽子、腰帶等。操作輸入單元120包括能夠使用戶輸入信息的輸入裝置、輸入控制電路等，其中，輸入裝置諸如為鼠標(biāo)、鍵盤、觸摸面板、一個或多個按鈕、麥克風(fēng)、一個或多個開關(guān)、一個或多個操縱桿或者遙控器，輸入控制電路根據(jù)用戶進(jìn)行的輸入產(chǎn)生輸入信號并輸出到控制單元100。通過對操作輸入單元120進(jìn)行操作，用戶能夠打開和關(guān)閉信息處理裝置10的電源并給出諸如啟動AR試穿系統(tǒng)程序的指令。照相機(jī)15 (圖像拍攝裝置)利用諸如CXD (電荷耦合器件)或CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)的圖像拍攝元件拍攝真實空間來產(chǎn)生拍攝圖像。盡管在本公開的實施例中假定照相機(jī)15是與信息處理裝置10分開構(gòu)造的，但是照相機(jī)15可為信息處理裝置10的一部分。照相機(jī)15還將圖像拍攝過程中使用的照相機(jī)15的設(shè)置信息提供給控制單元100。圖4是用于解釋真實空間中的照相機(jī)15與被攝體A之間的位置關(guān)系以及通過拍攝被攝體A而產(chǎn)生的拍攝圖像A’的示圖。為了易于示出，在圖4中，在被攝體的同一側(cè)示出了焦距freal和在圖像拍攝元件上產(chǎn)生的被攝體A (三維的，具有xyz坐標(biāo))的拍攝圖像A’(二維的，具有xy坐標(biāo))，其中，焦距fMal是從作為照相機(jī)15的鏡頭(未示出)的光學(xué)中心的主點至照相機(jī)15的圖像拍攝元件(也未示出)的距離。如下面將描述的，計算從照相機(jī)15至被攝體A的距離C^al作為深度信息。主要根據(jù)焦距fMal決定照相機(jī)15的視角0Mal。作為照相機(jī)15的設(shè)置信息的示例，照相機(jī)15將焦距fMal(或視角Θ real)和拍攝圖像A’的分辨率(即，像素數(shù))提供給信息處理裝置10。傳感器17具有從真實空間檢測參數(shù)的功能。作為一個示例，如果傳感器17由紅外線傳感器構(gòu)成，則傳感器17能夠檢測來自真實空間的紅外線并將與檢測到的紅外線的量一致的電信號作為檢測數(shù)據(jù)提供給信息處理裝置10。傳感器17的類型不限于紅外線傳感器。要注意的是，如果照相機(jī)15拍攝的圖像作為檢測數(shù)據(jù)被提供給信息處理裝置10，則不需要提供傳感器17。
顯示裝置19是由LCD (液晶顯示器)、OLED (有機(jī)發(fā)光二極管)或CRT (陰極射線管)等構(gòu)成的顯示模塊。盡管在本公開的實施例中設(shè)想了顯示裝置19與信息處理裝置10分開構(gòu)造的配置，但是顯示裝置19可為信息處理裝置10的一部分。接下來，將描述上述控制單元100的功能構(gòu)成。如在前面所描述的，控制單元100包括骨骼位置計算單元101、動作檢測單元103和顯示控制單元105。骨骼位置計算單元101骨骼位置計算單元101根據(jù)檢測數(shù)據(jù)計算在拍攝圖像中出現(xiàn)的身體的骨骼位置。對于計算在拍攝圖像中出現(xiàn)的物體的真實空間中骨骼位置的方法沒有特別的限制。作為一個示例，骨骼位置計算單元101首先識別拍攝圖像中物體所存在的區(qū)域(也被稱作“物體存在區(qū)域”)，并獲取拍攝圖像中的物體的深度信息。然后，骨骼位置計算單元101可根據(jù)物體存在區(qū)域的深度和形式(特征量)識別出現(xiàn)在拍攝圖像中的物體的真實空間中的部位(頭、左肩、右肩、軀干等)并計算各個部位的中心位置作為骨骼位置。這里，骨骼位置計算單元101能夠利用存儲在存儲單元130中的特征量字典將從拍攝圖像決定的特征量與預(yù)先在特征量字典中登記的物體的每個部位的特征量進(jìn)行比較，從而識別包括在拍攝圖像中的物體的部位。可想到使用各種方法來識別物體存在區(qū)域。例如，如果拍攝圖像作為檢測數(shù)據(jù)被提供給信息處理裝置10，則骨骼位置計算單元101可根據(jù)物體出現(xiàn)之前的拍攝圖像與物體出現(xiàn)的拍攝圖像之間的差異來識別物體存在區(qū)域。更具體地講，骨骼位置計算單元101能夠識別物體出現(xiàn)之前的拍攝圖像與物體出現(xiàn)的拍攝圖像之間的差異超過閾值的區(qū)域作為物體存在區(qū)域。作為另一示例，如果傳感器檢測到的參數(shù)已經(jīng)作為檢測數(shù)據(jù)被提供給信息處理裝置10，則骨骼位置計算單元101能夠根據(jù)檢測數(shù)據(jù)識別物體存在區(qū)域。更詳細(xì)地講，骨骼位置計算單元101能夠識別檢測到的紅外線的量超過閾值的區(qū)域作為物體存在區(qū)域?？梢韵氲绞褂酶鞣N方法來獲取拍攝圖像中的物體的深度信息。例如，可以預(yù)先確定照相機(jī)15和物體之間的距離。也就是說，可以設(shè)置如下的限制:物體被補(bǔ)置在與照相機(jī)15相距預(yù)先確定的距離的位置處。如果設(shè)置了這種限制，則骨骼位置計算單元101可以將物體的深度信息(這里，照相機(jī)15和物體之間的距離)當(dāng)作固定值(例如，2m)。骨骼位置計算單元101還能夠根據(jù)傳感器17檢測到的參數(shù)來計算拍攝圖像中的物體的深度信息。更詳細(xì)地講，如果骨骼位置計算單元101從發(fā)射器裝置(未示出)向物體發(fā)射諸如紅外線的光，則將能夠通過分析傳感器17檢測到的光來計算拍攝圖像中的物體的深度信息。作為另一示例，骨骼位置計算單元101能夠根據(jù)傳感器17檢測到的光的相位延遲來計算拍攝圖像中的物體的深度信息。這種方法有時被稱作TOF (時間飛躍法，Time OfFlight)。或者，如果從發(fā)射器裝置(未示出)發(fā)射的光由已知的圖案組成，則骨骼位置計算單元101可通過分析傳感器17檢測到的光構(gòu)成的圖案的失真程度來計算拍攝圖像中的物體的深度信息。要注意的是，具有計算拍攝圖像中的物體的深度信息的功能的圖像拍攝裝置被稱作深度照相機(jī)，并且可通過立體照相機(jī)或激光測距掃描器來實現(xiàn)。骨骼位置計算單元101可從連接到信息處理裝置10的深度照相機(jī)獲取深度信息。
根據(jù)通過上述方法獲取的物體存在區(qū)域的深度和形式(特征量)，骨骼位置計算單元101識別在拍攝圖像中出現(xiàn)的物體的真實空間中的部位(頭、肩等)并計算各個部位的骨骼位置。現(xiàn)在將參照圖5描述骨骼位置計算單元101計算的包括構(gòu)成被攝體A的至少一個部位的骨骼位置的骨骼信息。圖5是用于解釋骨骼信息的示圖。盡管在圖5中作為骨骼信息的一個示例給出了表示構(gòu)成被攝體A的十五個部位的位置的坐標(biāo)BI至B3、B6、B7、B9、B12、B13、B15、B17、B18、B20至B22，但是對包括在骨骼信息中的部位的數(shù)量沒有特別限制。要注意的是，坐標(biāo)BI表示“頭”的坐標(biāo)，坐標(biāo)B2表示“頸”的坐標(biāo)，坐標(biāo)B3表示“軀干”的坐標(biāo)，坐標(biāo)B6表示“右肩”的坐標(biāo)，和坐標(biāo)B7表示“右肘”的坐標(biāo)。另外，坐標(biāo)B9表示“右手”的坐標(biāo)，坐標(biāo)B12表示“左肩”的坐標(biāo)，坐標(biāo)B12表示“左肘”的坐標(biāo)，以及坐標(biāo)B15表示“左手”的坐標(biāo)。坐標(biāo)B17表示“右髖”的坐標(biāo)，坐標(biāo)B18表示“右膝”的坐標(biāo)，坐標(biāo)B20表示“右腳”的坐標(biāo)，以及坐標(biāo)B21表示“左髖”的坐標(biāo)。坐標(biāo)B22表示“左膝”的坐標(biāo)，坐標(biāo)B24表示“左腳”的坐標(biāo)。根據(jù)本實施例的骨骼位置計算單元101如前所述地獲取拍攝圖像中的物體的深度信息，并且作為具體的示例，可從如上所述的深度照相機(jī)獲取深度信息，作為根據(jù)深度而改變濃淡的拍攝圖像(未示出)。動作檢測單元103動作檢測單元103根據(jù)骨骼位置計算單元101計算的骨骼位置隨時間的變化來檢測動作，并且如果已經(jīng)做出有效姿勢，則將檢測到的有效姿勢輸出至顯示控制單元105。動作檢測單元103將檢測到的動作與在預(yù)先存儲在存儲單元130中的姿勢DB (數(shù)據(jù)庫)中登記的姿勢進(jìn)行比較，以確定檢測到的動作是否為有效姿勢。作為一個示例，將把手從頭向軀干移動的動作被登記在姿勢DB中作為指示穿衣服的有效姿勢。還將把手從軀干向頭移動的動作登記在姿勢DB中作為指示脫衣服的有效姿勢。還將被攝體A沿基本水平方向旋轉(zhuǎn)的動作登記在姿勢DB中作為指示衣服的更換(即，脫并穿)的有效姿勢。動作檢測單元103將檢測到的有效姿勢輸出到顯示控制單元105。要注意的是，可通過之前描述的基于骨骼信息的動作檢測或者通過通常被稱作“運動捕捉”的另一技術(shù)來實現(xiàn)對真實空間中的被攝體(例如，人)的動作的檢測。例如，動作檢測單元103可根據(jù)來自于附于被攝體的關(guān)節(jié)的加速度傳感器等的檢測參數(shù)來檢測被攝體的動作。動作檢測單元103還可以通過檢測附于被攝體的標(biāo)記的運動來檢測動作。顯示控制單元105顯示控制單元105執(zhí)行如下的控制:產(chǎn)生在拍攝圖像中出現(xiàn)的被攝體上覆蓋顯示虛擬衣服的AR試穿圖像，并在顯示裝置19上顯示AR試穿圖像。根據(jù)本實施例的顯示控制單元105能夠根據(jù)動作檢測單元103檢測到的動作(指示穿衣服或脫衣服的有效姿勢)控制虛擬衣服的穿和脫。更具體地講，顯示控制單元105根據(jù)被攝體A的姿勢(B卩，坐標(biāo)的按時間順序的變化)控制衣服的穿、脫或更換(即，脫和穿)。這里，將參照圖6描述將覆蓋在拍攝圖像上的虛擬衣服的產(chǎn)生。圖6是用于解釋虛擬空間中的虛擬照相機(jī)25與虛擬衣服C之間的位置關(guān)系以及通過投影(渲染)虛擬衣服C而產(chǎn)生的虛擬衣服圖像C’ (也稱作“虛擬圖像”)的示圖。在圖6中，按照與圖4中示出的通過拍攝真實空間產(chǎn)生拍攝圖像A’的方式相同的方式，渲染的虛擬衣服圖像C’與虛擬衣服在同一側(cè)示出。根據(jù)拍攝真實空間的照相機(jī)15的設(shè)置(內(nèi)部參數(shù))來確定虛擬照相機(jī)25的設(shè)置(內(nèi)部參數(shù))。表述“照相機(jī)的設(shè)置(內(nèi)部參數(shù))”可為例如焦距f、視角Θ和像素數(shù)。顯示控制單元105設(shè)置虛擬照相機(jī)25的設(shè)置，以匹配真實空間的照相機(jī)15 (該處理也被稱作“初始化”)。接下來，根據(jù)拍攝圖像中的物體的深度信息，顯示控制單元105根據(jù)被攝體的骨骼位置將虛擬衣服C布置在與虛擬照相機(jī)25分隔開距離dvirtual的位置處，所述距離dvirtual與從照相機(jī)15到真實空間中的被攝體A的距離Clreal相同。顯示控制單元105可根據(jù)已經(jīng)預(yù)先建模的三維數(shù)據(jù)產(chǎn)生虛擬衣服C。如圖6所示，例如，顯示控制單元105能夠通過由一組三角形的多邊形構(gòu)成虛擬衣服C的表面，以更真實的方式表現(xiàn)虛擬衣服的三維形式。如果被攝體A的骨骼位置隨時間變化，則顯示控制單元105能夠改變虛擬衣服C的位置以追蹤骨骼位置。接下來，顯示控制單元105通過渲染(B卩，投影)三維虛擬衣服C以利用虛擬照相機(jī)25產(chǎn)生二維平面圖像，從而獲取衣服圖像C’(或“虛擬圖像”)。然后，顯示控制單元105可通過顯示覆蓋在拍攝圖像A’(見圖4)上的虛擬衣服圖像C’來產(chǎn)生AR試穿圖像。要注意的是，接下來將在“3.顯示控制”部分中更詳細(xì)地描述顯示控制單元105對AR試穿圖像的顯示控制。這就完成了對實現(xiàn)根 據(jù)本公開實施例的AR試穿系統(tǒng)的信息處理裝置10的構(gòu)成的詳細(xì)描述。接下來，將描述信息處理裝置10對AR試穿圖像的顯示控制。3.顯示控制3-1.基本顯示控制圖7是示出信息處理裝置10執(zhí)行的AR試穿圖像的基本顯示控制處理的流程圖。如圖7所示，首先，在步驟SI 10，顯示控制單元105執(zhí)行初始化，以使虛擬空間中的虛擬照相機(jī)25的設(shè)置與真實空間中的照相機(jī)15的設(shè)置相匹配。接下來，在步驟S113中，骨骼位置計算單元101計算已經(jīng)拍攝的真實空間中的被攝體A的骨骼位置(xyz坐標(biāo))并將骨骼位置輸出至動作檢測單元103和顯示控制單元105。之后，在步驟S116，顯示控制單元115根據(jù)被攝體A的骨骼位置(xyz坐標(biāo))將虛擬衣服C布置在虛擬空間中。接下來，在步驟SI 19，顯示控制單元115執(zhí)行如下控制(AR顯示控制):渲染虛擬衣服C以獲取衣服圖像C’(虛擬圖像)，通過將衣服圖像C’疊加在拍攝圖像A’上來繪制AR試穿圖像，并在顯示裝置19上顯示AR試穿圖像。在步驟S122，信息處理裝置10重復(fù)執(zhí)行步驟S113至S119直到給出結(jié)束指令。通過這樣做，信息處理裝置10能夠提供實時追蹤被攝體A的移動的AR試穿圖像。這就完成了對基本顯示控制處理的描述。另外，根據(jù)本實施例的信息處理裝置10能夠根據(jù)被攝體A的動作改變虛擬衣服的穿和/或脫狀態(tài)?，F(xiàn)在將參照圖8詳細(xì)描述根據(jù)本實施例的根據(jù)姿勢的穿和/脫控制。3-2.根據(jù)姿勢的穿和/或脫控制圖8是示出根據(jù)本實施例的信息處理裝置10執(zhí)行的根據(jù)姿勢的穿和/或脫控制處理的流程圖。圖8中示出的處理示出了根據(jù)圖7中示出的步驟S116至S119的顯示控制執(zhí)行的穿和/或脫控制。首先，在圖8中的步驟S116中，按照與圖7中示出的相同步驟中的處理相同的方式，與被攝體A的骨骼位置一致地將虛擬衣服C布置在虛擬空間中。接下來，在步驟S119，按照與圖7中示出的相同步驟中的處理相同的方式，通過顯示覆蓋在拍攝圖像A’上的通過渲染虛擬衣服C而獲取的衣服圖像C’，在顯示裝置19上顯示基本的AR試穿圖像。接下來，在步驟S125，動作檢測單元103根據(jù)被攝體的手的骨骼位置(坐標(biāo))的按時間順序的變化來檢測姿勢(動作)。之后，在步驟S128，動作檢測單元103確定檢測到的姿勢是否為有效姿勢。在步驟S131，顯示控制單元105根據(jù)由動作檢測單元103確定為有效姿勢的姿勢來控制衣服的穿和脫。這里，表述“衣服的穿和/脫的控制”包括如下的控制:顯示覆蓋在被攝體A上的虛擬衣服(B卩，衣服的“穿”)、刪除在被攝體A上覆蓋顯示的虛擬衣服(B卩，衣服的“脫”)和將在被攝體A上覆蓋顯示的虛擬衣服更換為另一虛擬衣服(B卩，衣服的“更換”)?？梢韵氲街甘疽路拇┖兔摰母鞣N有效姿勢。現(xiàn)在將詳細(xì)描述根據(jù)本公開的實施例的根據(jù)有效姿勢的穿和/或脫控制的多個具體示例。穿控制的示例圖9是用于解釋根據(jù)本實施例的根據(jù)有效穿姿勢的穿控制的示圖。要注意的是，圖9的左側(cè)由已經(jīng)疊加了拍攝圖像和被攝體的骨骼信息的圖像的轉(zhuǎn)變圖組成。如圖9的左邊所示，動作檢測單元103根據(jù)骨骼位置的按時間順序的變化來檢測動作。圖9的右側(cè)由顯示控制單元105在顯示裝置19上顯示的AR試穿圖像的轉(zhuǎn)變圖組成。顯示控制單元105根據(jù)骨骼位置計算單元101計算的骨骼位置(例如圖9中的左邊所示)，顯示覆蓋在被攝體上的虛擬衣服。顯示控制單元105還根據(jù)動作檢測單元103檢測到的諸如圖9中的左邊示出的移動來控制虛擬衣服的穿和脫。如圖9左邊的骨骼位置的轉(zhuǎn)變圖所示，如果被攝體的坐標(biāo)B15 (左手)按時間順序已經(jīng)從頭的坐標(biāo)BI (頭)變化至軀干的坐標(biāo)B3 (軀干)，則動作檢測單元103確定指示穿衣服的有效姿勢。在這種情況下，如圖9右邊的AR試穿圖像的轉(zhuǎn)變圖所示，顯示控制單元105顯示覆蓋在被攝體A上的虛擬衣服C。通過這樣做，能夠?qū)崿F(xiàn)AR試穿間的穿控制，以顯示已經(jīng)穿上虛擬衣服C的AR圖像。要注意的是，被攝體A可以預(yù)先選擇要覆蓋顯示在被攝體A上的虛擬衣服C。盡管對選擇方法沒有特別的限制，但是作為一個示例，可通過執(zhí)行下面的動作來進(jìn)行選擇:將手移動到顯示器上的多個虛擬衣服之中的被攝體想試穿的虛擬衣服所顯示的位置，然后抓握期望的虛擬衣服。另外，如果如圖1所示在被攝體A的兩側(cè)顯示虛擬衣服，則當(dāng)右手已經(jīng)做出穿姿勢時可選擇右邊示出的虛擬衣服，并且當(dāng)左手已經(jīng)做出穿姿勢時可選擇左邊示出的虛擬衣服。要注意的是，在檢測到被攝體A沿水平方向移動作為試穿候選而顯示在顯示裝置19上的虛擬衣服C的姿勢時，顯示控制裝置105可在顯示裝置19上順次地顯示作為候選的其它虛擬衣服。脫控制的示例接下來，將參照圖10描述根據(jù)本實施例的脫控制的一個示例。圖10是用于解釋根據(jù)本實施例的根據(jù)有效脫姿勢的脫控制的示圖。如圖10左邊的骨骼位置的轉(zhuǎn)變圖所示， 如果被攝體的坐標(biāo)B15 (左手)按時間順序已經(jīng)從軀干的坐標(biāo)B3 (軀干)變化至頭的坐標(biāo)BI (頭)，則動作檢測單元103確定指示脫衣服的有效姿勢。在這種情況下，顯示控制單元105停止顯示覆蓋在被攝體A上的虛擬衣服C，如圖10右邊的AR試穿圖像的轉(zhuǎn)變圖所示。通過這樣做，能夠?qū)崿F(xiàn)AR試穿間的脫控制，以顯示已脫去虛擬衣服C的AR圖像。更換控制的示例接下來，將參照圖11描述根據(jù)本實施例的更換控制的一個示例。圖11是用于解釋根據(jù)本實施例的依照有效的更換姿勢的更換控制的示圖。圖11的左邊示出了虛擬試穿之前的狀態(tài)，圖11的右邊示出了根據(jù)沿旋轉(zhuǎn)方向的移動的虛擬試穿之后的狀態(tài)。如圖11的右上部所示，如果動作檢測單元103已經(jīng)檢測到被攝體A沿基本水平方向的順時針旋轉(zhuǎn)，則顯示控制單元105顯示在顯示裝置19的屏幕左邊顯示的虛擬衣服23覆蓋在被攝體A上。如圖11的右下部所示，如果動作檢測單元103已經(jīng)檢測到被攝體A沿基本水平方向的逆時針旋轉(zhuǎn)，則顯示控制單元105顯示在顯示裝置19的屏幕右邊顯示的虛擬衣服25覆蓋在被攝體A上。另外，如果被攝體A在虛擬衣服23被覆蓋顯示在被攝體A上的狀態(tài)下逆時針旋轉(zhuǎn)，則顯示控制單元105執(zhí)行將覆蓋顯示在被攝體A上的虛擬衣服23更換為屏幕右邊顯示的虛擬衣服25的更換控制。以同樣的方式，如果被攝體A在虛擬衣服25被覆蓋顯示在被攝體A的狀態(tài)下順時針旋轉(zhuǎn)，則顯示控制單元105執(zhí)行將覆蓋顯示在被攝體A上的虛擬衣服25更換為屏幕左邊顯示的虛擬衣服23的更換控制。換鞋盡管作為一個示例以上已經(jīng)描述了虛擬衣服的穿和/或脫控制，但是根據(jù)本公開的實施例的AR試穿系統(tǒng)的試穿對象不限于衣服，并且作為示例可為鞋、眼鏡或腰帶。因此，在一些情況下，指示穿和/或脫的有效姿勢將根據(jù)試穿對象而不同。作為一個示例，如果要換鞋，則在檢測到被攝體A搖動他/她的腳的動作時，信息處理裝置10可執(zhí)行顯示虛擬鞋覆蓋在被攝體A的腳上的控制。更具體地講，動作檢測單元103根據(jù)被攝體A的腳的坐標(biāo)B24或B20的按時間順序的變化來檢測腳的周期性移動并確定換鞋的有效姿勢。當(dāng)動作檢測單元103已經(jīng)檢測到換鞋的有效姿勢時，顯示控制單元105執(zhí)行顯示預(yù)先選擇的虛擬鞋覆蓋在被攝體A的腳上的控制。中間進(jìn)展的顯示在上述的所有穿和/或脫控制中，顯示控制單元105可執(zhí)行與穿和/或脫動作的進(jìn)展一致的顯示控制。通過這樣做，能夠給出已經(jīng)識別被攝體A的動作作為有效姿勢的視覺反饋。由于這還使得可以進(jìn)一步增強(qiáng)虛擬試穿間的真實性，所以能夠提供更自然的AR試穿系統(tǒng)?，F(xiàn)在將參照圖12對此進(jìn)行更詳細(xì)的描述。圖12是用于解釋根據(jù)本公開的實施例的脫動作的中間進(jìn)展的顯示的示圖。如在圖12的上部所示，如果表示被攝體A的左手的骨骼位置的坐標(biāo)B15從頭向軀干移動，則如在圖12的下部所示，顯示控制單元105根據(jù)坐標(biāo)B15的位置改變要覆蓋顯示的虛擬衣服的形狀，以呈現(xiàn)出脫衣服的經(jīng)過。顯示控制單元105還可以執(zhí)行在穿和/或脫動作的進(jìn)行過程中改變虛擬衣服的形裝時考慮重力、風(fēng)等影響的更高級的控制。例如，通過呈現(xiàn)出在風(fēng)吹的同時在穿和/或脫動作的過程中虛擬衣服的形狀等如何變化，能夠提供更真實的AR試穿系統(tǒng)。4.結(jié)論如前面所述，利用根據(jù)本公開的實施例的AR試穿系統(tǒng)，通過根據(jù)被攝體的動作控制衣服的穿和/或脫，能夠提供具有更高真實性的自然的AR試穿系統(tǒng)。另外，根據(jù)本實施例，通過根據(jù)穿和/或脫動作的中間進(jìn)展改變虛擬衣服以顯示更換衣服時的進(jìn)展，能夠提供甚至更真實的自然的AR試穿系統(tǒng)。本領(lǐng)域技術(shù)人員應(yīng)該理解的是，根據(jù)設(shè)計要求和其它因素，可想出各種變型、組合、次組合和替換，因為它們都在權(quán)利要求及其等同物的范圍內(nèi)。另外，盡管對上述的AR試穿系統(tǒng)已經(jīng)主要描述了試穿虛擬衣服的示例，但是試穿的物品不限于衣服，而是可以為諸如眼鏡、帽子和腰帶的配件。另外，盡管對上述的AR試穿系統(tǒng)已經(jīng)描述了被攝體為人的情況，但是被攝體不限于人，而是可以為諸如狗或毛的動物。在這種情況下，能夠提供顯示例如覆蓋在拍攝了動物的拍攝圖像上的寵物衣服的圖像的AR試穿系統(tǒng)。另外，本技術(shù)還可以被如下配置。(I)一種信息處理裝置包括:動作檢測單元，檢測已拍攝的被攝體的動作；和顯示控制單元，根據(jù)動作檢測單元檢測到的動作控制被覆蓋顯示在被攝體上的虛擬衣服或配件中的至少一個的穿或脫中的至少一個。(2)根據(jù)(I)所述的信息處理裝置，其中，顯示控制單元與動作檢測單元檢測到的動作的進(jìn)展一致地顯示衣服或配件中的至少一個的穿或脫進(jìn)展中的至少一個。(3)根據(jù)(I)或(2)所述的信息處理裝置，其中，動作檢測單元檢測到穿動作，并且顯示控制單元根據(jù)穿動作顯示虛擬衣服覆蓋在被攝體上。(4)根據(jù)(I)至(3)中任一項所述的信息處理裝置，其中，動作檢測單元檢測到脫動作，并且顯示控制單元根據(jù)脫動作停止顯示在被攝體上覆蓋顯示的虛擬衣服。(5)根據(jù)(I)至(4)中任一項所述的信息處理裝置，其中，動作檢測單元檢測到被攝體沿基本水平方向旋轉(zhuǎn)的旋轉(zhuǎn)動作，并且顯示控制單元根據(jù)檢測到的旋轉(zhuǎn)動作，更換覆蓋顯示在被攝體上的虛擬衣服。(6)根據(jù)(I)至(5)中任一項所述的信息處理裝置，其中，動作檢測單元檢測到被攝體搖晃腳的動作，并且顯示控制單元根據(jù)檢測到的搖晃腳的動作，執(zhí)行更換覆蓋顯示在被攝體的腳上的虛擬鞋的控制。(7)一種顯示控制方法，包括:檢測已拍攝的被攝體的動作；以及根據(jù)檢測到的動作，控制被覆蓋顯示在被攝體上的虛擬衣服或配件中的至少一個的穿或脫中的至少一個。(8)一種使計算機(jī)執(zhí)行下述處理的程序:檢測已拍攝的被攝體的動作；以及根據(jù)檢測到的動作，控制被覆蓋顯示在被攝體上的虛擬衣服或配件中的至少一個的穿或脫中的至少一個。(9)根據(jù)(8)所述的程序，其中，控制穿或脫中的至少一個的處理與檢測到的動作的進(jìn)展一致地顯示衣服或配件中的至少一個的穿或脫進(jìn)展中的至少一個。(10)根據(jù)(8)和(9)中任一項所述的程序，其中，檢測動作的處理檢測到穿動作，并且控制的處理根據(jù)穿動作顯示虛擬衣服覆蓋在被攝體上。(11)根據(jù)(8)至(10)中任一項所述的程序，其中，檢測動作的處理檢測到脫動作，并且控制的處理根據(jù)脫動作停止顯示在被攝體上覆蓋顯示的虛擬衣服。(12)根據(jù)(8)至(11)中任一項所述的程序，其中，檢測動作的處理檢測到被攝體沿基本水平方向旋轉(zhuǎn)的旋轉(zhuǎn)動作，并且控制的處理根據(jù)檢測到的旋轉(zhuǎn)動作更換覆蓋顯示在被攝體上的虛擬衣服。(13)根據(jù)(8)至(12)中任一項所述的程序，其中，檢測動作的處理檢測到被攝體搖晃腳的動作，并且控制的處理根據(jù)檢測到的搖晃腳的動作執(zhí)行更換覆蓋顯示在被攝體的腳上的虛擬鞋的控制。本公開包含與2011年11月9日在日本專利局提交的第JP2011-245303號日本優(yōu)先權(quán)專利申請中所公開的主題相關(guān)的主題，上述專利申請的全部內(nèi)容通過引用包含于此。
權(quán)利要求
1.一種信息處理裝置，包括: 動作檢測單元，檢測已拍攝的被攝體的動作；和 顯示控制單元，根據(jù)動作檢測單元檢測到的動作，控制被覆蓋顯示在被攝體上的虛擬衣服或配件中的至少一個的穿或脫中的至少一個。
2.根據(jù)權(quán)利要求1所述的信息處理裝置， 其中，顯示控制單元與動作檢測單元檢測到的動作的進(jìn)展一致地顯示衣服或配件中的至少一個的穿或脫的至少一個的進(jìn)展。
3.根據(jù)權(quán)利要求1所述的信息處理裝置， 其中，動作檢測單元檢測穿動作，并且 顯示控制單元根據(jù)穿動作顯示虛擬衣服覆蓋在被攝體上。
4.根據(jù)權(quán)利要求1所述的信息處理裝置， 其中，動作檢測單元檢測脫動作，并且 顯示控制單元根據(jù)脫動作停止顯示在被攝體上覆蓋顯示的虛擬衣服。
5.根據(jù)權(quán)利要求1所述的信息處理裝置， 其中，動作檢測單元檢測被攝體沿基本水平方向旋轉(zhuǎn)的旋轉(zhuǎn)動作，并且 顯示控制單元根據(jù)檢測到的旋轉(zhuǎn)動作，更換覆蓋顯示在被攝體上的虛擬衣服。
6.根據(jù)權(quán)利要求1所述的信息處理裝置， 其中，動作檢測單元檢測被攝體搖晃腳的動作，并且 顯示控制單元根據(jù)檢測到的搖晃腳的動作，執(zhí)行更換覆蓋顯示在被攝體的腳上的虛擬鞋的控制。
7.—種顯不控制方法,包括: 檢測已拍攝的被攝體的動作；以及 根據(jù)檢測到的動作，控制被覆蓋顯示在被攝體上的虛擬衣服或配件中的至少一個的穿或脫中的至少一個。
8.一種使計算機(jī)執(zhí)行下述處理的程序: 檢測已拍攝的被攝體的動作；以及 根據(jù)檢測到的動作，控制被覆蓋顯示在被攝體上的虛擬衣服或配件中的至少一個的穿或脫中的至少一個。
9.根據(jù)權(quán)利要求8所述的程序， 其中，控制穿或脫中的至少一個的處理與檢測到的動作的進(jìn)展一致地顯示衣服或配件中的至少一個的穿或脫中的至少一個的進(jìn)展。
10.根據(jù)權(quán)利要求8所述的程序， 其中，檢測動作的處理檢測穿動作，并且 控制的處理根據(jù)穿動作顯示虛擬衣服覆蓋在被攝體上。
11.根據(jù)權(quán)利要求8所述的程序， 其中，檢測動作的處理檢測脫動作，并且 控制的處理根據(jù)脫動作停止顯示在被攝體上覆蓋顯示的虛擬衣服。
12.根據(jù)權(quán)利要求8所述的程序， 其中，檢測動作的處理檢測被攝體沿基本水平方向旋轉(zhuǎn)的旋轉(zhuǎn)動作，并且控制的處理根據(jù)檢測到的旋轉(zhuǎn)動作更換覆蓋顯示在被攝體上的虛擬衣服。
13.根據(jù)權(quán)利要求8所述的程序， 其中，檢測動作的處理檢測被攝體搖晃腳的動作，并且 控制的處理根 據(jù)檢測到的搖晃腳的動作執(zhí)行更換覆蓋顯示在被攝體的腳上的虛擬鞋的控制。
全文摘要
本發(fā)明涉及信息處理裝置、顯示控制方法和程序。提供了一種信息處理裝置，包括動作檢測單元，檢測已拍攝的被攝體的動作；和顯示控制單元，根據(jù)動作檢測單元檢測到的動作，控制被覆蓋顯示在被攝體上的虛擬衣服或配件中的至少一個的穿或脫中的至少一個。
文檔編號G06F19/00GK103218506SQ201210432048
公開日2013年7月24日 申請日期2012年11月2日 優(yōu)先權(quán)日2011年11月9日
發(fā)明者鈴木誠司 申請人:索尼公司