專利名稱：用于通過化妝監(jiān)視提供模擬圖像的系統(tǒng)和方法
技術領域：
本發(fā)明涉及用于獲取數(shù)字圖像以及用于選擇性地且準確地向人 類皮膚施與諸如顏料或涂料之類的一種或多種反射率修改劑
5(reflectance modifying agent)以改善其3見覺美觀度的自動化計算機 控制方法。
背景技術：
現(xiàn)有化妝技術以及它們的缺點
用于修飾皮膚外觀的現(xiàn)有技術包括天然曬黑、人工曬黑，以及有 意施與化妝品。這些現(xiàn)有技術中每一項技術都具有局限性。
典型地，向皮膚施與化妝品主要用手，例如，通過使用刷子、敷 用管子、筆、墊，以及手指。與本發(fā)明的計算機化技術相比，這些施 與方法使得現(xiàn)有技術的化妝不精致，費力、昂貴，并且有時是有害的。
大多數(shù)現(xiàn)有技術的化妝方法都是基于施與不透明的物質。存在一 種對準確施與諸如透明顏料之類的反射率修改劑(RMA)以提供更有 效修飾的外觀的需要。
與計算機控制技術相比，人工化妝品施與方法不準確，并且這種 不準確可能使它們更為低效。例如，大量施與化妝底霜(foundation base)可以導致不美觀的濃妝(caked-on)外觀。另外，人工技術通 常需要很長時間，正如每天早晨上班時在高速公路上所看到的那樣， 人們發(fā)瘋似地利用停車時間來化裝。此外，人工施與化裝品不便宜， 當需要諸如美容師之類的專業(yè)人員的幫助時，就更加昂貴了。而且， 在人工技術中向皮膚施與的材料本身常常就潛在地有害。例如，化妝
的底霜可能導致皮膚干燥，并可能阻礙皮膚的呼吸。用于曬黑的日光 或人造光可能會導致癌癥。
因此，存在一種對準確施與反射率修改劑 (RMA),以對皮膚 外觀進行更有效、更自動化、更快、更便宜、并且更為安全的修飾的 需要。上述交叉引用的美國專利申請?zhí)峁┝?一種針對這一需要的系統(tǒng) 和方法。
在此說明書中，術語"反射率修改劑，，或"RMA"是指對改變 另一種材料的反射率有用的任何化合物。RMA的一些示例有墨水、 顏料、涂料、漂白劑、化學修改劑(chemically altering agent)，及其他可以改變?nèi)说钠つw及其他部位(feature)的反射率的物質。在此說明書中，簡單地使用術語"顏料"和"透明顏料"來代表任何RMA。
化妝品的消費者也需要一種有效技術，能夠允許他們選擇諸如化妝濃淡之類的所期望的化妝美化，直觀了解這些美化對其自身看起來怎樣(例如在計算機顯示器上)，以及將化妝品準確施與到其自身以進行所選的美化。諸如MaryKay.com等網(wǎng)站提供了允許用戶在他們的家庭計算機顯示器上在不同類型的女人的數(shù)字圖像上并且甚至在用戶提交的他們自己的數(shù)字圖像上嘗試不同的化妝模式的虛擬化妝功能。然而，在虛擬化妝中使用的圖像不提供計算高級RMA美化的足夠細節(jié)，也不允許用戶向其自身自動施與在計算機顯示器上數(shù)字選擇的化妝美化。存在一種對能讓用戶利用RMA施與器和計算機顯示器來查看其自身足夠詳細的數(shù)字圖像，使得他們能夠對這些圖像進行虛擬化妝美化，進而能夠自動準確地將RMA施與到自身以實現(xiàn)那些美化的方法的需要。
消費者也需要能讓他們不僅對諸如面部瑕疵之類的單個區(qū)域還能對整個身體進行化妝美化的有效技術。例如，某些人進行自然或者人工曬黑以使得他們的皮膚看起來更加光滑，并由此讓整個身體更為美觀。東亞的消費者常常使用化妝品使他們大部分皮膚看起來更淺。消費者也可能希望進行涉及顏色和肌理(texture)的復雜化妝，以便隱藏缺陷并美化其整個身體的外觀。進行這種整個身體化妝的手動技術可能會特別費力、耗時且昂貴。存在一種能讓用戶對其整個身體進行自動化妝美化的系統(tǒng)和方法的需求。
模擬數(shù)字圖像
在本專利申請中，"模擬圖像"是指模擬真實對象并且可以顯示在計算機化設備上的數(shù)字圖像。對真實對象的模擬是以任何期望的方式來描繪對象，不嚴格限于由有關對象捕捉的照相或視頻數(shù)據(jù)所展現(xiàn)的各個方面。模擬圖像可以表示對象的靜態(tài)圖像或運動中對象的視頻剪輯，并且可以是三維的(3D)。例如，模擬圖像廣泛地用于在計算機屏幕、蜂窩電話、視頻游戲上顯示、在電影的動畫部分中顯示以及在醫(yī)療成像中顯示。
一般地，消費者希望在不同媒體中顯示非常逼真的模擬圖像。此外，他們可能想要模擬圖像表示他們選擇的對象。例如，這些對象可以是消費者自己、他們的朋友、他們的家人或諸如影星之類的他們喜
愛的人物。例如，男孩可能想把他自己的臉放到視頻游戲中的3D戰(zhàn)斗角色上。女人可能想要在計算機設備上顯示她的面部和頭部的模擬3D圖# ,并且對該圖像進行化妝美化，由此她可以虛擬地嘗試不同的化妝效果和發(fā)型。
此外，消費者可能想要以某種方式而美化的更合乎需要的模擬圖像。例如，有人可能想要自己的臉以使其看起來更為年輕和美觀的方式顯示。
現(xiàn)有技術及其缺點
已經(jīng)用多種方式創(chuàng)建模擬圖像。它們可以用手畫然后掃描，拍照或視頻錄制以及可以通過計算機圖形程序創(chuàng)建，以上都是需要特殊技巧的費力技術。
此外，模擬圖像的創(chuàng)建可以通過如下步驟實現(xiàn)使用附接到真實對象上的多個點的傳感器，通常通過多個照相機數(shù)字記錄對象運動，并使用計算機圖形程序來創(chuàng)建其移動和面部表情是基于所記錄對象的移動和面部表情的模擬人物。這樣，卡通人物跳舞或微笑的動畫是可基于真實演員的移動和表情。
在這些過程中使用的計算機圖形程序愈發(fā)能夠將所記錄的有關真實對象的數(shù)據(jù)轉換成模擬圖像。 一個示例是Optasia ,由ImageMatrics，PLC開發(fā)的基于模型的部位識別平臺。Image Mtrics網(wǎng)站上的"Technical White Paper(技術白皮書)"聲明了 "The Optasia enginecan perform rapid model-to-image matching regardless of the modeltype, including those with high- frequency elements such as texture.(Optasia引擎可以在不考慮模型類型的情況下執(zhí)行快速的模型-圖像匹配，其中模型類型包括帶有諸如肌理的高頻元素的模型)"。Optasia .作為三層的體系結構可以用在多個平臺上。所有系統(tǒng)使用1) Optasia核心，以及2)扇區(qū)專用API (例如醫(yī)療圖像分析)。現(xiàn)有知識被包 括在3 )'expert (專家)，層(或模型)中。 然而，此類現(xiàn)有技術具有如下缺點
*它們都是勞動密集的并且要求特殊的技巧以及對許多消費者 而言難以得到的特殊的、通常很麻煩的設備。
它們所產(chǎn)生的模擬圖像具有有限細節(jié)，使得它們看起來不像 消費者想要的那樣逼真。相反，它們趨向于看起來是人工平 滑的，這通常是因為有關對象的數(shù)據(jù)集有限，使得計算機圖 形程序必須用基本量進行猜測和平均以填充模擬圖像的較大 區(qū)域。這些猜測和平均可能要求復雜的算法和大量的計算能 力。例如，上述Optasia的三層方法是復雜的并且計算密集 的。
*它們使得消費者難以用來讓自己模擬喜歡的圖像。
*它們使得消費者難以用來以合乎需要的方式美化模擬圖像。
*此外，它們對許多消費者而言是難以得到的，這些消費者可
能無法獲得昂貴的建模和圖形軟件和設備。 因此，存在一種對自動化妝監(jiān)視和美化系統(tǒng)的需要，該系統(tǒng)對于 消費者而言是容易得到且易于使用的，并且提供高分辨率逼真圖像文 件，所述兔件帶有可用于創(chuàng)建模擬圖像的有關真實對象的豐富幾據(jù)。

發(fā)明內(nèi)容
本發(fā)明滿足了這些及其他需求。以下解釋通過示例而非限制地描 述了本發(fā)明。
本發(fā)明的一個方面是提供帶有可用于創(chuàng)建模擬圖像的有關真實 對象的豐富數(shù)據(jù)的高分辨率逼真圖像文件。
本發(fā)明的一個方面是提供至少一個安裝在RMA施與器上用于 捕捉表面(諸如人體)圖像的廣角照相機。
本發(fā)明的另一個方面是提供一種使用由安裝在RMA施與器上 的至少一個廣角照相機所捕捉的圖像來識別表面(諸如人體)上較大部位的軟件方法。
本發(fā)明的另一個方面是提供一種使用由安裝在RMA施與器上 的施與器頭上的至少一個高分辨率照相機所捕捉的圖像來識別表面 (諸如人體)上較小部位的軟件方法。
本發(fā)明的再一個方面是提供一種使用從捕捉的圖像中識別的較 大和較小部位而在計算機存儲器內(nèi)創(chuàng)建表面(諸如人體)圖的軟件方 法。
本發(fā)明的另 一個方面是提供一種使用計算機存儲器內(nèi)的圖來跟 蹤RMA施與器相對于表面(諸如人體)某一區(qū)域的位置的軟件方法。
本發(fā)明的再一個方面是提供至少一個安裝在RMA施與器上以 識別施與器的加速度變化的加速計。
本發(fā)明的另一個方面是提供一種使用由安裝在RMA施與器上 的至少一個廣角照相機捕捉的圖像以及由安裝在施與器上的加速計 收集的數(shù)據(jù)來識別表面(諸如人體)上較大部位的軟件方法。
本發(fā)明的另一個方面是提供一種使用由安裝在RMA施與器上 的施與器頭上的至少一個高分辨率照相機捕捉的圖像以及由安裝在 施與器上的加速計收集的數(shù)據(jù)來識別表面(諸如人體)上較小部位的 軟件方法。
本發(fā)明的另一個方面是提供一秭使用計算機存儲器內(nèi)的圖以及 由安裝在RMA施與器上的加速計收集的數(shù)據(jù)來跟蹤施與器相對于表 面(諸如人體)某一區(qū)域的位置的軟件方法。
本發(fā)明的一個方面是提供一種利用RMA施與器和顯示對象的 圖像的裝置來進行化妝美化的方法。
本發(fā)明的另一個方面是提供一種讓用戶選擇對象的數(shù)字圖像的 化妝美化并加以顯示的方法。
本發(fā)明的再一個方面是提供一種讓用戶基于對計算機顯示器上 的圖像所做出的選擇而向對象自動施與RMA以實現(xiàn)化妝美化的方 法。
這些及其他方面、特征及優(yōu)點根據(jù)本發(fā)明的系統(tǒng)和方法而實現(xiàn)。依照本發(fā)明，自動化妝品施與器使用至少一個廣角照相機和至少一個 高分辨率照相機來捕捉表面(諸如人體)的圖像。在使用高分辨率照 相機捕捉圖像以識別肌理期間使用差別照明過程。所得的圖像包含有 關對象的顏色、亮度值以及肌理特征的豐富的像素級數(shù)據(jù)。軟件分析 圖像以識別該表面的較大和較小部位并且使用這些部位作為界標以 在計算機存儲器內(nèi)創(chuàng)建相應的圖。隨后，軟件使用該圖來計算對表面 各方面的化妝美化，并且確定施與器的定位，用以準確噴涂
(deposition)化妝品以實現(xiàn)美化。 一個或多個加速計被添加到施與 器上以提供增加圖的精度和施與器定位精度的數(shù)據(jù)。軟件使用圖來提 供"pix-rich (像素豐富)"文件，即同樣是數(shù)據(jù)豐富的有關對象的 高分辨率逼真圖像文件。Pix-rich文件可以被顯示和進一步修改，以 例如在視頻游戲和動畫中用作模擬的靜態(tài)和視頻3D圖像。
依照本發(fā)明，反射率修改劑(RMA)施與器上的施與器頭掃描 用戶的某一區(qū)域，諸如面部。它使用軟件來感測顏色和肌理的各個方 面、繪制區(qū)域圖，并自動計算化妝美化。表示掃描、繪圖和化妝美化 的一個和多個數(shù)字圖像被存儲在計算機存儲器內(nèi)。用戶利用計算機控 件在計算機顯示器上查看原始掃描的一個或多個圖像以及可能的化
妝美化，并且選擇和修改所期望的虛擬化妝美化。接著，用戶利用 RMA施與器上的施與器頭來向實際區(qū)域自.動施與RMA以實現(xiàn)指定 的美化。在該過程期間，區(qū)域上的界標被用于對齊(registration)， 以創(chuàng)建區(qū)域的圖，跟蹤虛擬美化并能夠精確定位施與器頭，以便隨后 用于向該區(qū)域準確施與RMA。


參考附圖僅通過示例的方式對本發(fā)明的下述實施例進行描述，在 附圖中
圖1是例示RMA施與器頭的各個元件以及帶有顯示器和控件的 計算機的框圖2A是例示安裝在RMA施與器上的廣角照相機和加速計的代表性圖示；
圖2B是例示RMA施與器的頂視圖的代表性圖示，其中示出了 RMA施與器的廣角照相機的視野；
圖3是例示用于確定表面(諸如人體)上各部位位置以用于繪圖 和噴涂化妝品的一般步驟的流程圖4是例示施與器頭在皮膚區(qū)域上移動的路徑，由此可以捕捉多 個重疊圖像的代表性圖示；
圖5是例示要求對齊的與本發(fā)明相關聯(lián)的各方面的代表性圖示；
以及
圖6是例示使用施與器頭、計算機顯示器和計算機控件來選擇視 覺化妝美化并施與RMA以便在實際區(qū)域上實現(xiàn)它們的一般步驟的流 程圖。
具體實施例方式
實施例的詳細描述-通過跟蹤較大和較小部位來確定頭的位置 引用的美國專利申請No.11/503，806描述了一種計算才幾控制系統(tǒng) 和方法，所述系統(tǒng)和方法用于掃描人類皮膚和其他部位的區(qū)域并自動 識別該區(qū)域中的不美觀屬性，計算化妝美化，并且典型地通過噴墨打 印自動施與RMA以便對該區(qū)域進行所述美化。
題為"HANDHELD APPARATUS AND METHOD FOR THE AUTOMATED APPLICATION OF COSMETICS AND OTHER SUBSTANCES"的美國專利申請No. 12/028,835描述了具有用于在表 面上移動RMA施與器的凸起接觸裝置(諸如施粉輪(pounce wheel)) 的施與器頭。
本發(fā)明的 一個方面是創(chuàng)建可被顯示并進一 步修改以用作模擬的 靜態(tài)和視頻3D圖像(例如在視頻游戲和動畫中)的豐富圖像文件。 在本專利申請中，pix-ricliTM文件是包含有關對象的顏色、亮度值以 及肌理特征的豐富像素級數(shù)據(jù)的文件。
本發(fā)明包括對系統(tǒng)和方法的革新，所述系統(tǒng)和方法提供對人體上
12較大部位和皮膚區(qū)域上較小部位的定位以及化妝品施與器相對于這 些部位的的定位的有效跟蹤。
用于掃描和施與化妝品的儀器
以下部分解釋了一種掃描表面，計算化妝美化并施與反射率修改
劑(RMA)，同時還可用于提供有關pix-rich文件的數(shù)據(jù)的儀器的一 個實施例。
在圖l中示出的施與器頭2覆蓋了約等于單個電動剃須刀頭的皮 膚區(qū)域。這種大小被證實適合日常與人類面部密切接觸。在有關施與 速度的實施例中，可以在浮動支架(floating mount)上裝配多個施與 器頭2，就像有多個浮動頭組合成單個電動剃須刀那樣。
元件
施與器頭2包括以下元件。
模塑外殼4A和4B具有防水的"O"型橡皮環(huán)，以使得施與器 頭2可以象剃須刀那樣在水龍頭下運轉以方便清潔。噴墨打印機頭8 可以用這種方式維護，而這不是普通打印機的一個可選項。在一個實 施例中，施與器頭2可以"停放，，在臺座上以供存儲，該臺座可以蓋 在施與器頭2頂上。
孕^環(huán)
在一個示例中，施與器頭2通過帶有施粉輪7的浮動環(huán)6在皮膚 上移動，所述施粉輪7是帶有圍繞其外輪緣的點的輪。
點的高度維持與表面的適當距離，用于掃描和噴墨噴涂。施粉輪 7還減少外部光進入施與器基座周圍的量，以避免掃描精度的失準。 此外，施粉輪7上的點限制了施與器頭2與所噴涂的化妝品的接觸， 以免弄臟。由此，當施粉輪7在表面上移動時，它們通常會留下最少 的RMA噴涂物。
施粉輪7應由例如硅橡膠或Teflon (特富龍)之類的耐久、無吸 收性的憎水材料制成，這樣使得它們耐用且不吸收RMA。其高度也 應較低，例如3/16英寸(4.8mm)。使用低高度使得系統(tǒng)接近表面，
13這樣不會有太多的光進入到系統(tǒng)下面。施粉輪7還可以被涂成黑色， 以有助于光的吸收。其寬度應較窄，以進一步減小與RMA接觸的區(qū) 域。它們的點應該不是非常尖銳的，這樣它們將不容易刺破表面，諸 如皮膚。
在一個實施例中，可以將施粉輪7安裝在用作軸的薄線(thin wire )上。
在一個實施例中，可以在浮動環(huán)6的每個邊上安裝十二個施粉輪。
在一個實施例中，使用非接觸靜電擦拭(未示出)來從施粉輪7 上吹掉RMA。 資墨興
非常薄的噴墨頭8適于與皮膚垂直地放入外殼凹槽10。 參^
帶有LED組件13的物鏡12提供了遠心觀察，使得大小與距離 無關，且視野恰好在噴墨頭周圍。它放入外殼凹槽14并有助于保護 鏡頭后的電子元件免受水和污垢。
帶有電子元件的高分辨率照相機模塊16放入外殼凹槽18。在一 個實施例中，高分辨率照相機模塊16可以是用于諸如蜂窩電話的移 動設備的模塊。這些模塊中較新的模塊具有3兆像素及以上。當覆蓋 跨半英寸的區(qū)域時，僅l兆像素的照相機在IO英寸處(25cm)就具 有四倍于人眼分辨率的分辨率。
^徒品容器
可替換的化妝品容器20和墨水僅被示為一個塊，但是它應該具 有視覺吸引力和可保護的設計，因為它就象剃須刀片 一樣是消費者實 際上重復購買的東西。在一個實施例中，化妝品容器20可以包含多 種單獨的RMA顏色，這些顏色可以被混合以實現(xiàn)期望的效果。在另 一個實施例中，它可以包含單種預先混合的RMA顏色以實現(xiàn)期望的 目標顏色或效果。一個實施例中，施與器頭2被附接到以下給出的各個元件。
一個實施例中，需要數(shù)據(jù)和電源線纜22。可以使用USB 2.0 線纜。
#批
需要消費者計算機24?？梢允褂脦缀跞魏握_配置有足夠的磁 盤存儲器、可以用的顯示器和USB端口的較新計算機。
計算機24還可以包括顯示器28和控件29，兩者是本領域技術 人員z^知的。
炎斧
需要在計算機24上運行的軟件26，并且軟件26提供用于掃描 人類部位(諸如皮膚)某一區(qū)域，計算化妝美化，跟蹤對齊以及施與 RMA的功能，這在交叉引用的申請和以下概述中有詳細解釋。
在一個實施例中，軟件26還能讓用戶利用RMA施與器頭2、顯 示器28以及控件29來查看所存儲的有關掃描表面的數(shù)字圖像，這樣 用戶就能夠對這些圖像進行虛擬化妝美化并且能夠向該表面自動精 確地施與RMA以實現(xiàn)那些美化。
廣肩厲初批
在圖2A中的實施例中示出的一個或多個廣角照相機70可以附 接到施與器3上。
在一個實施例中，可以使用六個微型廣角照相機70，每個廣角 照相機70如圖2B所示覆蓋一片視野74，即在施與器頭2以下或周 圍可視區(qū)域的大約60?；蚋螅纱烁采w要掃描的360°表面。
在該實施例中，廣角照相機70被安裝在施與器3的邊上，在一 個或多個圖1所示的施與器頭2周圍并且向外向下看，類似于狼蛛的 提供周圍視覺的八只眼睛的拓樸。圖2A所示的廣角照相機70由此可 以被認為類似于可視元件并用于識別諸如身體表面上的骨結構、嘴唇 和眼睛的較大部位的位置以及施與器3相對于該表面的定位。這種較
附在游在慢的移動可以被表征為提供低頻數(shù)據(jù)。
廣角照相機70所捕捉圖像中的某些重疊可以用于識別較大部位 的位置以及施與器3相對于表面的定位。
在一個實施例中，照相機可以聚焦在反射鏡上以擴展照相機的可 視區(qū)域。例如，360。反射鏡能讓照相機如本領域技術人員公知的那樣 用作廣角照相機。
一個或多個加速計72可用于測量加速度，以便給出對施與器3 的快速移動的極為準確的跟蹤。這種快速移動可以被表征為提供高頻 數(shù)據(jù)。使用加速計72使得能夠相對于正掃描表面的各方面逐幀地跟 蹤施與器3的位置。
例如，可以j吏用本領域j支術人員所7>知的piezo (壓電)加速計。 在一個實施例中，可以在施與器3的邊的周圍4吏用六個piezo加速計 72，以便提供有關沿著施與器的X、 Y和Z軸移動的數(shù)據(jù)，來表示俯 仰(pitch)、側轉(yaw)和側滾，(roll)。
加速計72由此可以^皮i人為類似于內(nèi)部定位感知，諸如人類內(nèi)耳 的定位感知。
操作方法
技術領域：
本發(fā)明需要復雜的軟件方法來管理整個身體表面的準確繪圖，^^ 似于已經(jīng)在游戲和現(xiàn)代動畫中解決的問題。該方法的一般步驟在圖3 中示出。
圖3中的步驟1000 -使用一個或多個廣角照相機來捕捉圖像 在一個實施例中，用戶將圖2A所示的施與器3朝向身體移動以 便與皮膚接觸，并且圖l所示的計算機24從圖2A所示的廣角照相機 70接收表示身體表面的區(qū)域的擴展視圖的曝光。這些曝光向圖1所示 的計算機24饋送示出了諸如眼睛、嘴唇、胸部之類的較大附近部位 以及諸如膝蓋之類的骨駱結構的方向和接近度的地表數(shù)據(jù)(landscape data)，并監(jiān)視肢體的部署和運動。在圖1示出的施與器頭2接觸皮 膚之后，圖2A示出的廣角照相機70繼續(xù)向計算機饋送有關較大部位的所述地表數(shù)據(jù)。
于是，廣角照相機70由此起到類似于Lunar Lander (月球登錄 艙)上繪制月球表面上較大界標的傳感器的作用。
圖3中的步驟1010 -使用一個或多個高分辨率照相機來捕捉圖
逸
在一個實施例中，在圖1示出的施與器頭2接觸皮膚之后，用戶 在皮膚上任何地方上移動施與器頭2，非常類似于使用電動剃須刀。 例如，用戶可以如圖4所示在皮膚區(qū)域302上沿著移動路徑30移動 施與器頭2。
圖1所示的照相機模塊16于是優(yōu)選地至少每10秒捕捉來自圖1 所示的施與器頭2下的圖4所示的皮膚區(qū)域302的重疊圖像。每次捕 捉的圖像的大部分是前次捕捉的重復。例如，捕捉圖4所示的圖像42 、 44和46。
在一個實施例中，來自例如圖1所示蜂鳴器21的聲源的可聽信 號引導用戶完成每個區(qū)域。
在另一個實施例中，在計算機顯示器28上跟蹤施與器頭2的運 動和動作。
在另一個實施例中，用戶總是在諸如前額的上心(top center) 之類的固定點處開始施與器會話、等待蜂音來證實數(shù)據(jù)的采集，并且 以規(guī)定模式從接觸點開始掃描，例如每遍將施與器頭2下移約1/8寬 度以左右來回移動的模式。這樣，軟件26只有保持鎖定位置的簡化 任務，而非跟蹤復雜且任意的無重疊移動的任務。
圖3中的步驟1020 -識別較大部位
在一個實施例中，圖l所示的軟件26分析來自圖2A所示的廣 角照相機70的曝光，與先前存儲在計算機存儲器中(諸如圖1所示 的計算機24的非易失性存儲器中)的較大人類部位的至少一個通配 圖(generic map )相比較。
如本領域技術人員所公知的，這類人類部位通配圖用于游戲和動 畫行業(yè)中。 一個示例是Optasia ,由Image Metrics, Plc開發(fā)的基
17于才莫型的部位識別平臺。Image Metrics網(wǎng)站上的"Technical White Paper (技術白皮書)，，聲明了 "The Optasia engine can perform rapid
model-to-image matching regardless of the model type, including those with high- frequency elements such as texture. ( Optasia引擎可
以在不考慮模型類型的情況下執(zhí)行快速的模型-圖像匹配，其中模型類 型包括帶有諸如肌理的高頻元素的模型。)，，。
于是，軟件26可以從圖2A所示的廣角照相機70接收的數(shù)據(jù)來 識別較大部位的位置。
圖3中的步驟1030 -跟蹤施與器相對于較大部位的定位
圖1所示的軟件26也計算圖2A所示的施與器3相對于其已識 別的較大部位的位置的定位。
由圖2A所示的廣角照相機70得到的視覺定位感知在低頻是精 確的。實際上，由于可以使用平均，所以它在低頻處更為精確。廣角 照相機70可以找出定位并且精確監(jiān)視極為緩慢的移動。
在包括一個或多個圖2A所示的加速計72的實施例中，圖1所 示的軟件26還基于圖2A所示的施與器3的快速移動計算較大部位的 定位以及施與器3的定位。
在該跟蹤過程中，所有的傳感器由此在每次施與器會話期間隨著 視覺測量的精確運動訓練傳感器的增益和偏移量而不斷地細化校準。 這是人類視覺傳感器和定位傳感器之間的關系。
圖2A所示的加速計72對于查找絕對定位(DC )是無用的，但 是它可以精確地跟蹤快速運動，最高到音頻頻率(此處視覺是無用的) 并且實際上可用作話筒。其間存在來自廣角照相機70和來自加速計 72的兩種測量可以交叉的交叉頻率，如同低音用擴音器和高音用擴音 器那樣。在該頻率范圍附近，視覺定位被用于調(diào)整和不斷細化加速計 72的增益和偏移量。在一個實施例中，在該施與器3中，該交叉可以 在約1Hz處。
圖3中的步驟1040 -識別較小部位圖1所示的軟件26分析從高分辨率照相機16捕捉的諸如圖4所示的圖像42、 44和46之類的圖像，并且識別在這些圖像中的界標或"皮膚標志，，。人類部位的許多方面可以用作皮膚標志，例如毛孔、痣、痣痕、細紋、鈹紋、老年斑、曬傷、雀斑、顏色變化、部位的輪廓和諸如腫塊等肌理變化。例如，所捕捉圖像42的擴展視圖42'表示一個皮膚標志的區(qū)別模式毛孔50、在不同位置的另一毛孔52、疤痕54、皺紋56和在再一位置的第三毛孔58。所捕捉圖像46的擴展-f見圖46，表示一個不同的區(qū)別才莫式毛孔60、另一毛孔62、第三毛孔64、癍66和皺紋68。
一般地，基于所掃描的皮膚標志的經(jīng)驗性研究，每種類型的皮膚標志具有可以從掃描數(shù)據(jù)中識別的區(qū)別特征。這些特征的示例在交叉引用的專利申請中有所解釋。
在一個實施例中，圖2A所示的施與器3可以包括多個圖1所示的施與器頭2，并因此利用多個高分辨率照相機16來捕捉可以被分析以識別皮膚標志的圖像。
圖3中的步驟1050 -跟蹤施與器頭相對于較小部位的定位
由上述皮膚標志提供的定位信息能夠讓圖1所示的軟件26保持施與器頭2、圖4所示的皮膚區(qū)域302以及寄存器中的計算機模型。由此，無論風1所示的施與器頭;2是否放置在皮膚上，軟件26都可以跟蹤施與器頭2相對于以下描述的全局圖上的皮膚標記定位在哪里，而所述全局圖是使用所識別的皮膚標志并且在完成包含所有皮膚標志的整個圖之后組裝而成的。
在最差的情況下，軟件26可能必須處理皮膚的較大區(qū)域以找到皮膚標志的非冗余集合以便用于跟蹤。
在包括一個或多個圖2A所示的加速計72的實施例中，圖1所示的軟件26還基于圖2A所示的施與器3的快速移動計算較小部位的定位和施與器頭2的定位。
如上所述，在該跟蹤過程中，所有傳感器由此在每次施與器會話
19期間隨著由視覺測量的準確運動訓練傳感器的增益和偏移量不斷細化校準。這是人類視覺和定位傳感器之間的關系。
圖3中的步驟1060 -在計算機存儲器中創(chuàng)建較大和較小部位的
垔
如在圖5中所示，本發(fā)明的方法需要知道相對于真實皮膚36和其它部位的施與器頭2的定位，以及從真實皮膚36和其它部位到計算機存儲器中的抽象層38的映射，即
*對該皮膚和其它部位建模
*描述美觀選擇
*引導執(zhí)行策略，以及
*跟蹤皮膚和其它部位的外觀的長期改變。
圖l所示的軟件26使用它已識別的較大和較小部位相對于圖2A所示的施與器3的定位來組合掃描表面的全局圖并將其存儲在計算機存儲器內(nèi)，例如圖l所示的計算機24上。此外，可以在每次移動圖2A所示的施與器3來掃描皮膚或其它部位的額外區(qū)域時不斷修訂全局圖，這樣使得皮膚的整個期望區(qū)域的全局圖可以被組裝并通過進一步的掃描來修訂。
在一個實施例中，以周期性的間隔自動存儲全局圖。在另一個實施例中，在每次圖1所示的施與器頭2從掃描表面抬離時存儲全局圖。"由此，全局圖能夠實現(xiàn)在應用程序會話之間甚至幾天之間施與器定位、掃描表面和計算機策略層的對齊。
如果給定一座包括許多街道、房屋和樹木的城市圖片，那么就可以跟蹤該區(qū)域是城市中的什么地方，即使有些房屋改變了并且樹葉換上的秋天的顏色。類似地，在諸如活體皮膚的人類部位的改變(例如顏色改變和新皺紋的出現(xiàn))不會妨礙通過全局圖的總體跟蹤的精度。
在一個實施例中，計算機圖從由圖2A所示的廣角照相機70捕捉的圖像中逐骨且逐關節(jié)地跟蹤人體的骨骼結構。在皮膚表面上的較小部位由其相對于基本骨骼結構的位置來參考而不論骨結構如何移動，這使得即使在身體主動活動期間frexel——或皮膚區(qū)域——相對于該復雜的系統(tǒng)保持恒定定位。
Frexel
在該專利說明書中，術語"frexel"被定義為皮膚的較小的類像 素區(qū)域。frexel可能對應于雀斑或其他皮膚部位的小部分，或者可以 對應于沒有特殊特征的皮膚區(qū)域。frexel由此是指皮膚而非指獨立的 坐標系。術語frexel可用于暗示在3-D表面上而非平坦表面上測量的
圖3中的步驟1070 -計算對部位各方面的化妝美化作用
在一個實施例中，圖1所示的軟件26可以使用在交叉引用的專 利申請中描述的方法來自動計算并(在一個實施例中)顯示對部位的 化妝美化。例如，這些美化作用可用于平滑皮膚、增亮皮膚、遮蓋瑕 瘋以及使得雀斑更輪廓鮮明(crisper)。
此外，軟件26可以基于設計者面容(如晚妝面容或Nicole Kidman的面容)的輸入來執(zhí)行整體美化。在所引用的臨時專利申請 中描述了該技術的 一 個實施例。
這些自動美化可以自動地或響應于用戶選擇完成。
在一個實施例中，.用戶可以指定全部或部分的美化，包括對自動 美化的修改。
圖3中的步驟1080 -確定施與器相對于實際部位的定位
在已計算美化之后，用戶再次將圖2A所示的施與器3移動到要 化妝美化的表面上。圖2A所示的廣角照相機70和圖1所示的高分辨 率照相機16再次捕捉表面的圖像。
軟件26再次識別掃描表面的較大和較小部位以及圖2A所示的 施與器3相對于掃描表面的全局圖中的界標和皮膚標志的定位。由此， 軟件26可以確定施與器相對于實際部位的定位。
在包括一個或多個圖2A中所示的加速計72的實施例中，圖1 中所示的軟件26進一步基于圖2A中所示的施與器3的快速移動來計算較大和較小部位的定位以及施與器3的定位。
圖3中的步驟1090 -向實際部位施與RMA以實現(xiàn)化妝美化
當圖1所示的軟件26確定已為其指定美化的皮膚或其他部位的 某一區(qū)域在噴墨頭8下面時，軟件26就指令噴墨頭8施與包含在化 妝品容器20內(nèi)的RMA以^f更完成美化。
在一個實施例中，可以將施與器頭2在皮膚上移動多遍來噴涂 RMA,直至完成所選的美化。接著在后續(xù)遍數(shù)中不再噴涂RMA。
可以重復掃描、進行虛擬美化以及施與RMA的整個過程直到用 戶滿意為止。
詳細描述-創(chuàng)建Pix-Rich文件
在對上述系統(tǒng)和方法的革新中，為化妝美化創(chuàng)建的詳細的高度精 確的全局圖可以保存為pix-rich文件。這些pix-rich文件接著可以被 移到任何計算機設備上并且可以作為用于任何虛擬顯示的數(shù)字圖像 而械 使用，例如在游戲、動畫、蜂窩電話或醫(yī)療應用中4吏用。例如， 如本領域技術人員所公知的，全局圖中的數(shù)據(jù)平面可以被部分或全部 保存為經(jīng)壓縮的JPEG文件。
用于逼真模擬的更為豐富、更為可操作的數(shù)據(jù)
Pix-Rich文件是一種新的媒體，因為比起掃描圖像或照片的先前 文件中的數(shù)據(jù)，pix-Rich文件提供的有關掃描表面的數(shù)據(jù)在定位信息、 反射率(RGB)和地形(肌理)數(shù)據(jù)方面更為豐富。例如，在交叉引 用的專利申請中解釋的差別照明技術提供了有關掃描表面拓樸的大 量增加的數(shù)據(jù)，這些數(shù)據(jù)示出了有關較大和較小部位的更多信息，從 眼睛和顴骨級直到皮膚毛孔級。此外，因為有關表面小片斷的掃描數(shù) 據(jù)的許多不同幀被放在一起以組裝成全局圖，所以獲取了更多的數(shù) 據(jù)。這進一步提供了有關表面的極高分辨率的數(shù)據(jù)。
結果，pix-Rich文件可以提供有關人類的逼真得多的圖像以用于 模擬圖像，大大減少了過平滑的問題。
因為它們提供了更為豐富的數(shù)據(jù)，所以它們也是電子可動態(tài)操作 的。也就是說，由諸如游戲或動畫應用之類的軟件操縱它們要容易得多，因為這種軟件不必為許多缺少的信息進行猜測和計算，也無需努 力工作辨認部位以創(chuàng)建模擬圖像。 可用性
Pix-Rich圖像潛在地通過上述化妝掃描和應用系統(tǒng)的家庭掃描 實施例而更加可用。 用戶美化
用戶將能夠使用上述化妝掃描和應用系統(tǒng)的家庭掃描實施例來 化妝美化可被保存為pix-rich文件的其自身的圖像。這將有助于用戶 能夠呈現(xiàn)他們想要看到的其自身的模擬圖像。
詳細描述-替換實施例
其他硬件配置
圖1所示的施與器頭2被附接到帶有顯示器28和控件29的單獨 的計算機26上。在另一個實施例中，施與器頭2可以包括其自身是 帶有非易失性存儲器、顯示器和控件的計算機化設備的RMA施與器 元件，由此就不需要單獨的計算機作為附件。
施與RMA之外的其他物質
本發(fā)明的施與器頭2可用于施與RMA之外的其他物質，例如有 醫(yī)療效果的化合物或活體皮膚。 向皮膚之外的其他區(qū)域施與
本發(fā)明的施與器頭2可用于向人類皮膚之外的其他區(qū)域施與 RMA和其他物質。例如，它可以向織物、水果、墻、樹葉和花施與 物質。
全局圖的其他用途
為化妝美化創(chuàng)建的詳細的、高度精確的全局圖可以作為用于任何 虛擬顯示的數(shù)字圖像使用，例如在游戲、動畫、蜂窩電話和醫(yī)療應用 中使用。
實施例的描述-整個身體的化妝美化 操作方法
技術領域：
本發(fā)明的典型用途是對人的面部進行化妝美化，但是也可以向人
23體或其他表面的任何其他區(qū)域進行類似的美化。在以下給出的本發(fā)明 的解釋中，面部被用作特定示例并且進一步表示人體皮膚的任何區(qū)
域、任何人類部位或要美化的任何其他表面。在圖6中示出了該方法 的一般步驟。
圖6中的步驟2000-掃描真實面部
在一個實施例中，用戶將圖1所示的施與器頭2移動到面部的任 何地方，非常類似于使用電動剃須刀。例如，用戶可以如圖4所示在 皮膚區(qū)域302上沿著移動路徑30移動施與器頭2。面部可以是該用戶 或任何其他人的臉。
圖1所示的照相機模塊16于是至少每10秒捕捉來自圖l所示的 施與器頭2下的圖4所示的皮膚區(qū)域302的重疊圖像。每次捕捉的圖 像的大部分是前次捕捉的重復。例如，捕捉圖4所示的圖像42、 44 和46。
在一個實施例中，來自例如圖1所示蜂鳴器21的聲源的可聽信 號引導用戶完成每個區(qū)域。
在另一個實施例中，在計算機顯示器28上跟蹤施與器頭2的運 動和動作。
在另一個實施例中，用戶總是在諸如前額的上心之類的固定點處 開始施與器會話、等待蜂音來證實數(shù)據(jù)的釆集，并且以規(guī)定模式從接 觸點開始掃描，例如每遍將施與器頭2下移約1/8寬度以左右來回移 動的模式。這樣，軟件26只有保持鎖定位置的簡化任務，而非跟蹤 復雜且任意的無重疊移動的任務。
圖6中的步驟2002 -創(chuàng)建面部全局圖
如在圖5中所示，本發(fā)明的方法需要知道相對于真實皮膚36的 施與器頭2的定位，以及從真實皮膚36到計算機存儲器中的抽象層 38的映射，即對該皮膚建模，描述美觀選擇，引導執(zhí)行策略，以及跟 蹤皮膚的外觀的長期改變。
為了跟蹤定位，軟件26分析諸如圖4所示的圖像42、 44和46 之類的面部的捕捉圖像，并且識別這些圖像中的界標或"皮膚標志，，。
24人類部位的許多方面可以用作皮膚標志，例如毛孔、痣、癡痕、細紋、 皺紋、老年斑、曬傷、雀斑、顏色變化、部位的輪廓和諸如腫塊等肌
理變化。例如，所捕捉圖像42的擴展視圖42'表示一個皮膚標志的區(qū) 別才莫式毛孔50、在不同位置的另一毛孔52、疤痕54、皺紋56和在 再一位置的第三毛孔58。所捕捉圖像46的擴展視圖46，表示一個不同 的區(qū)別才莫式毛孔60、另一毛孔62、第三毛孔64、痣66和皺紋68。
圖1所示的軟件26識別諸如圖4所示的42、 44、 46的每個捕捉 圖像內(nèi)的界標的這種區(qū)別模式并且使用它們來組合面部全局圖。此 外，可以在每次移動施與器頭2來掃描皮膚或其它部位的額外區(qū)域時 不斷修訂全局圖，這樣使得面部的整個期望區(qū)域的全局圖可以被組合 并通過進一 步的掃描來修訂。
圖6中的步驟2004 -使用全局圖來確定施與器頭2的位置
由上述皮膚標志提供的定位信息能夠讓圖1所示的軟件26保持 施與器頭2、圖4所示的皮膚區(qū)域302以及寄存器中的計算機模型。 由此，無論施與器頭2是否放置在面部，圖1所示的軟件26都可以 跟蹤施與器頭2相對于全局圖上的皮膚標記定位在哪里，而所述全局 圖是使用所識別的皮膚標志并且在完成包含所有皮膚標志的整個圖 之后組裝而成的。
在最差的情況下，軟件26可能必須處理面部的較大區(qū)域以;找到 皮膚標志的非冗余集合以便用于跟蹤。
圖6中的歩驟2006 -存儲全局圖
一個革新是圖1所示的軟件26將全局圖存儲在計算機24上的非 易失性存儲器中。在一個實施例中，以周期性的間隔自動存儲全局圖。 在另一個實施例中，在每次施與器頭2從面部抬離時存儲全局圖。
由此，全局圖能夠實現(xiàn)在應用程序會話之間甚至幾天之間施與器 頭2的定位、皮膚和計算機策略層的對齊。
如果給定一座包括許多街道、房屋和樹木的城市圖片，那么就可 以跟蹤該區(qū)域是城市中的什么地方，即時有些房屋改變了并且樹葉換 上的秋天的顏色。類似地，諸如顏色改變和新皺紋出現(xiàn)的活體皮膚的改變不會妨礙通過全局圖的總體跟蹤的精度。
圖6的步驟2008-顯示面部數(shù)字圖像
在已存儲全局圖之后，用戶可以使用圖1所示的計算機控件29 在計算機顯示器28上顯示面部的高級代表性圖像。所顯示的圖像是 豐富詳細的數(shù)字圖像。
圖6的步驟2010 -數(shù)字地美化所顯示的面部
用戶于是可以利用圖1所示的計算機控件29對面部的顯示圖像 進行虛擬化妝美化，例如改變著色區(qū)域或實現(xiàn)整體"面容"。軟件26 將虛擬美化與全局圖中適當?shù)钠つw標志相關聯(lián)。
在不同的實施例中，可以自動地以及通過特定的用戶輸入進行虛 擬美化。
在一個實施例中，軟件26可以使用在交叉引用的專利申請中描 述的方法來自動計算并顯示對皮膚區(qū)域302的虛擬化妝美化。例如， 這些美化作用可用于平滑皮膚、增亮皮膚、遮蓋瑕疵以及使得雀斑更 輪廓鮮明。
此外，軟件26可以基于i殳計者面容(如晚妝面容或Nicole Kidman的面容)的輸入來執(zhí)行整體美化。在所引用的臨時申請中描 述了該技術的一個實施例。
這些自動美化可以自動地或響應于用戶選擇完成。
在一個實施例中，用戶可以指定全部或部分的虛擬美化，包括對 自動美化的修改。
圖6中的步驟2012-再次掃描人的真實面部
當用戶已選擇了 一個或多個所期望的虛擬美化之后，用戶再次將 圖1所示的施與器頭2移動到面部。施與器頭2再次捕捉面部圖像。
圖6中的步驟2014-使用全局圖來確定施與器頭2的位置
圖1所示的軟件26分析捕捉圖像中的皮膚標志并將這些皮膚標 志與存儲在全局圖中的皮膚標志相關聯(lián)以確定施與器頭2相對于面部定位。
圖6中的步驟2016-向真實面部施與RMA以完成指定的美化
當圖1所示的軟件26確定已為其指定虛擬美化的面部某一區(qū)域 在噴墨頭8下面時，軟件26就指令噴墨頭8施與包含在化妝品容器 20內(nèi)的RMA以^f更完成美化。
在一個實施例中，可以將施與器頭2在面部移動多趟以噴涂 RMA，直至完成所選的美化。接著在后續(xù)各遍中不再噴涂RMA。
可以重復掃描、進行虛擬美化以及施與RMA的整個過程直到用 戶滿意為止。
其他硬件配置
圖1所示的施與器頭2被附接到帶有顯示器28和控件29的單獨 的計算機26上。在另一個實施例中，施與器頭2可以包括其自身是 帶有非易失性存儲器、顯示器和控件的計算機化設備的RMA施與器 元件，由此就不需要單獨的計算機作為附件。
施與RMA之外的其他物質
本發(fā)明的施與器頭2可用于施與RMA之外的其他物質，例如有 醫(yī)療效果的化合物或活體皮膚。 向皮膚之外的其他區(qū)域施與
本發(fā)明的施與器頭2可用于向人類皮膚之外的其他區(qū)域施與 RMA和其他物質。例如，它可以向織物、水果、墻、樹葉和花施與 物質。
將對本領域技術人員顯而易見的是本發(fā)明的不同實施例可以利 用各種各樣可能的硬件和軟件技術。本發(fā)明的范圍不受上述特定實施 例的限制。
權利要求
1.一種用于儀器的施與器，用于通過施與反射率修改劑改善區(qū)域人類皮膚的視覺美觀，所述施與器包括反射率修改劑施與器頭，包括外殼，噴墨打印機頭，遙測物鏡，多個廣角照相機，至少一個高分辨率照相機，以及反射率修改劑容器。
2. 如權利要求1所述的施與器，還包括 包括多個凸起觸點的浮動環(huán)。
3. 如權利要求1所述的施與器，其中所述遙測物鏡還包括 LED組件。
4. 如權利要求1所述的施與器，其中多個廣角照相機還包括 六個微型廣角照相機，相對于外殼向外和向下瞄準，使得每個廣角照相機具有在所述施與器之下及周圍可視區(qū)域的約60。的視野。
5. 如權利要求1所述的施與器，還包括 至少一個力口速計。
6. —種掃描皮膚區(qū)域的方法，所述方法包括 提供一種設備，所述設備包括多個廣角照相機；以及高分辨率照相^^; 在所述皮膚區(qū)域上移動所述設備； 使用所述高分辨率照相機捕捉第一組圖像； 使用所述廣角照相機捕捉第二組圖像； 從所述第二組圖像識別較大部位； 從所述第一組圖像識別較小部位；跟蹤所述設備相對于所述較大部位和所述較小部位的定位；以及 創(chuàng)建所述較大部位和較小部位的圖。
7. 如權利要求6所述的方法，還包括 計算所述皮膚區(qū)域內(nèi)的化妝美化；確定所述施與器相對于所述較小部位和較大部位的定位；以及 在所述皮膚區(qū)域內(nèi)選擇性地施與反射率修改劑。
8. 如權利要求6所述的方法，其中識別較大部位還包括 基于較大人類部位的通配圖，利用軟件來分析使用一個或多個廣角照相機捕捉的圖像。
9. 如權利要求6所述的方法，還包括 在第一時間生成圖；以及 在第二時間修訂所述圖。
10. 如權利要求6所述的方法，還包括基于骨骼模型來創(chuàng)建所述圖。
11. 如權利要求6所述的方法，還包括 使用至少 一 個加速計來跟蹤所述設備的移動。
12. 如權利要求6所述的方法，其中從所述第一組圖像識別較小 部位還包括識別從包含毛孔、痣、疤痕、細紋、皺紋、老年斑、曬傷、雀斑、 顏色變化、部位輪廓和諸如腫塊的肌理變化的組中選出的較小部位。
13. 如權利要求6所述的方法，還包括將全局圖保存為包括像素級反射和地形數(shù)據(jù)的pix-rich文件。
14. 如權利要求6所述的方法，還包括 操縱所述pix畫rich文件。
15. 如權利要求6所述的方法，其中操縱所述pix-rich文件還包括將所述pix-rich文件用于游戲或動畫。
16. 如權利要求6所述的方法，其中操縱所述pix-rich文件還包化妝美化圖像。
17. 如權利要求6所述的方法，其中在所述主體的一部分上移動 所述i殳備還包括在所述主體的一部分上多遍移動所述設備。
18. 如權利要求6所述方法，還包括 存儲所述圖；以及使用所述圖將所述設備的位置與所述皮膚上的界標相關聯(lián)。
全文摘要
一種使用廣角照相機(70)、高分辨率照相機(16)和差別照明過程來捕捉主體圖像的自動化妝品施與器(2)。軟件(26)分析這些圖像以識別所述對象的較大和較小部位并使用這些部位作為界標，以在計算機存儲器內(nèi)創(chuàng)建具有有關對象顏色、亮度值以及肌理特征的像素級數(shù)據(jù)的高度精確和數(shù)據(jù)豐富的相應的圖。該豐富圖像可用于跟蹤該皮膚上的設備，以便對皮膚進行精確修正、模擬可能的化妝美化并選擇所期望的修正，以及在諸如視頻游戲和動畫之類的其他應用中使用。
文檔編號A61B5/103GK101657155SQ200880009579
公開日2010年2月24日 申請日期2008年2月11日 優(yōu)先權日2007年2月11日
發(fā)明者A·D·埃德加, D·C·伊格爾哈特, 里克·B·耶格爾 申請人:里克·B·耶格爾