用戶的三維表示的生成的制作方法
【專利說明】用戶的H維表示的生成 WW] 背景
[0002] 相對(duì)新近地，人們已經(jīng)利用數(shù)字化身來在計(jì)算機(jī)環(huán)境中表示他們自己。數(shù)字化身 的創(chuàng)建通常通過利用在線特征庫來完成，其中用戶能夠從多個(gè)不同特征中進(jìn)行選擇W生成 一般表示該用戶的化身。例如，與生成用戶的虛擬表示相關(guān)地，用戶可W選擇特定頭形、特 定膚色、預(yù)定義形狀的眉毛等。該過程是相對(duì)耗時(shí)的，并且經(jīng)常導(dǎo)致創(chuàng)建不表示個(gè)體的實(shí)際 外貌的化身。
[0003] 已經(jīng)開發(fā)出用于自動(dòng)生成用戶的虛擬化S維表示的系統(tǒng)。然而，運(yùn)些系統(tǒng)是不準(zhǔn) 確、復(fù)雜和/或昂貴的。例如，已經(jīng)開發(fā)出使用紅-藍(lán)-綠（RGB)視頻流來生成用戶臉部的 虛擬=維模型的系統(tǒng)。用戶被要求在相機(jī)前旋轉(zhuǎn)他或她的頭部，并且基于視頻來生成該用 戶臉部的虛擬=維模型。然而，運(yùn)一系統(tǒng)遭受相對(duì)糟糕的質(zhì)量，因?yàn)樗鼰o法捕捉到在人臉中 找到的有細(xì)微差別的深度。
[0004] 另一示例性系統(tǒng)利用若干激光測量單元來獲取用于生成用戶臉部的虛擬=維表 示的相對(duì)密集的點(diǎn)云。然而，激光測量單元是相對(duì)昂貴的。因此，運(yùn)一系統(tǒng)不適用于普通消 費(fèi)者。此外，運(yùn)一系統(tǒng)不容易被運(yùn)輸?shù)搅硪晃恢?，并且缺乏允許將所得點(diǎn)云變換成可動(dòng)畫化 的化身的底層技術(shù)。 陽005] 概述
[0006] W下是在本文詳細(xì)描述的主題的簡要的概述。本概述不旨在是關(guān)于權(quán)利要求的范 圍的限制。
[0007] 本文描述了設(shè)及利用日用RGB相機(jī)和深度傳感器來W半自治方式生成用戶頭部/ 臉部的相對(duì)準(zhǔn)確的虛擬=維模型的各種技術(shù)。在一示例性實(shí)施例中，運(yùn)一=維模型可被用 作一個(gè)人的虛擬化表示，該虛擬化表示可W在在線/游戲環(huán)境中標(biāo)識(shí)運(yùn)個(gè)人。該=維模型 能夠相對(duì)準(zhǔn)確地表示用戶頭部的形狀、用戶頭部的大小、用戶的膚色W及用戶的臉部特征， 包括眼睛、鼻子、耳朵、臉頰線、嘴己等。
[0008] 為了生成用戶頭部/臉部的相對(duì)準(zhǔn)確的模型，在一時(shí)間范圍內(nèi)從彩色相機(jī)接收多 個(gè)RGB帖，并且在該時(shí)間范圍內(nèi)從深度傳感器接收多個(gè)深度帖。相機(jī)和深度傳感器兩者都 被配置成捕捉用戶頭部/臉部的圖像。對(duì)RGB帖執(zhí)行臉部跟蹤算法W標(biāo)識(shí)在運(yùn)些RGB帖中 捕捉到的臉部中的特征。運(yùn)些特征可包括但不限于：用戶眼睛的中屯、、用戶鼻子的中屯、和用 戶的鼻翼?？苫谏疃忍蚏GB帖中標(biāo)識(shí)的特征來生成點(diǎn)云，其中RGB帖中的特征被映射 到深度帖W定位運(yùn)些特征在=維空間中的位置，并且運(yùn)些特征后續(xù)被用來對(duì)齊深度帖。點(diǎn) 云中的點(diǎn)表示用戶頭部/臉部在運(yùn)些點(diǎn)處的離深度傳感器的相應(yīng)距離。
[0009] 隨后，可使人類頭部形狀的預(yù)先存在的模型變形W適合=維點(diǎn)云（用臉部特征標(biāo) 記）W表示用戶頭部/臉部的形狀。可W對(duì)運(yùn)一=維模型應(yīng)用紋理W使該虛擬=維模型準(zhǔn) 確地表示用戶?？蒞對(duì)RGB帖應(yīng)用降噪和皮膚估計(jì)技術(shù)，W便為用戶的頭部/臉部的虛擬 =維模型提供審美上令人愉快的紋理。例如，可W利用針對(duì)RGB帖的諸如自動(dòng)曝光調(diào)整和 自動(dòng)降噪等技術(shù)來紋理化（tex化rize)用戶的頭部/臉部的=維模型。從RGB帖中生成的 紋理圖然后可被映射到=維模型，W使得臉部和顏色特征在=維模型上適當(dāng)?shù)貙?duì)齊。
[0010] 可利用日用傳感器單元來采用上述技術(shù)。例如，運(yùn)一傳感器單元可W是可W禪合 到諸如游戲控制臺(tái)等計(jì)算設(shè)備的外圍設(shè)備。在另一示例中，傳感器單元可被包括在諸如臺(tái) 式計(jì)算設(shè)備、平板計(jì)算設(shè)備或便攜式電話等計(jì)算設(shè)備中。因此，例如相機(jī)和/或深度傳感器 的分辨率可能相對(duì)較低。然而，利用本文描述的技術(shù)，能夠生成用戶頭部/臉部的相對(duì)準(zhǔn)確 的虛擬=維表示。
[0011] 在閱讀并理解了附圖和描述后，可W明白其他方面。
[0012] 附圖簡述
[0013] 圖1是方便生成用戶頭部/臉部的相對(duì)準(zhǔn)確的虛擬S維模型的示例性系統(tǒng)的功能 框圖。
[0014] 圖2是用于生成用戶頭部/臉部的相對(duì)準(zhǔn)確的虛擬=維模型的模型生成器組件的 功能框圖。
[0015] 圖3是示出用于構(gòu)造用戶頭部/臉部的虛擬S維網(wǎng)格的示例性方法的流程圖。
[0016] 圖4是示出用于生成表示用戶臉部紋理的紋理圖的示例性方法的流程圖。
[0017] 圖5是示出用于構(gòu)造用戶頭部/臉部的相對(duì)準(zhǔn)確的虛擬S維模型的示例性方法的 流程圖。
[001引圖6是示例性計(jì)算系統(tǒng)。
[0019] 詳細(xì)描述
[0020] 現(xiàn)在將參考附圖來描述設(shè)及構(gòu)造用戶的虛擬=維頭部/臉部的各種技術(shù)，在全部 附圖中相同的附圖標(biāo)記表示相同的元素。另外，本文出于解釋的目的示出并描述了各示例 性系統(tǒng)的若干功能框圖；然而可W理解，被描述為由特定系統(tǒng)組件執(zhí)行的功能可W由多個(gè) 組件來執(zhí)行。類似地，例如，一組件可被配置成執(zhí)行被描述為由多個(gè)組件執(zhí)行的功能。另外， 如此處所用的，術(shù)語"示例性"旨在表示用作某些事物的圖示或示例，而不意圖指示優(yōu)選。
[0021] 如本文所使用的，術(shù)語"組件"和"系統(tǒng)"旨在涵蓋被配置有計(jì)算機(jī)可執(zhí)行指令的計(jì) 算機(jī)可讀數(shù)據(jù)存儲(chǔ)，運(yùn)些指令在被處理器執(zhí)行時(shí)使得特定功能得W執(zhí)行。計(jì)算機(jī)可執(zhí)行指 令可包括例程、功能等。還應(yīng)理解，組件或系統(tǒng)可W位于單個(gè)設(shè)備上或分布在若干設(shè)備上。
[0022] 現(xiàn)在參考圖1，示出了方便構(gòu)造用戶頭部/臉部的相對(duì)準(zhǔn)確的虛擬=維模型的示 例性系統(tǒng)100。系統(tǒng)100包括傳感器單元102,該傳感器單元包括捕捉彩色（RGB)圖像的相 機(jī)104和捕捉深度圖像的深度傳感器106。在一示例性實(shí)施例中，相機(jī)104捕捉到的圖像 的分辨率可能相對(duì)較低；諸如舉例而言小于或等于1280個(gè)像素乘960個(gè)像素。例如，相機(jī) 104捕捉到的圖像的分辨率可W是640個(gè)像素乘480個(gè)像素。類似地，深度傳感器106所 生成的深度圖像的分辨率可能相對(duì)較低；諸如舉例而言小于或等于1280個(gè)像素乘960個(gè)像 素。在另一示例中，深度傳感器106所生成的深度圖像的分辨率可W是640個(gè)像素乘480個(gè) 像素。在圖1所示的示例中，相機(jī)104和深度傳感器106被容納在傳感器單元102中。然 而，應(yīng)當(dāng)理解，相機(jī)104和深度傳感器106可被包括在單獨(dú)的外殼中。此外，傳感器單元102 可被包括在可W禪合到計(jì)算設(shè)備的外圍設(shè)備中，諸如禪合到游戲控制臺(tái)的傳感器。在另一 示例性實(shí)施例中，傳感器單元102可被包括在諸如個(gè)人計(jì)算設(shè)備、膝上型計(jì)算設(shè)備、移動(dòng)電 話、平板計(jì)算設(shè)備等計(jì)算設(shè)備中。因此，例如，相機(jī)104可W是web攝像頭。另外，深度傳感 器106可利用任何合適的技術(shù)來生成深度圖像。例如，深度傳感器106可利用基于紅外線 的深度傳感系統(tǒng)、飛行時(shí)間深度傳感系統(tǒng)或任何合適的深度傳感技術(shù)。
[0023] 如圖I所示，相機(jī)104和深度傳感器106被對(duì)齊W便分別捕捉用戶108頭部/臉 部的RGB圖像和深度圖像。例如，對(duì)應(yīng)于相機(jī)104捕捉到的圖像中的用戶108頭部/臉部 的分辨率可低至50個(gè)像素乘50個(gè)像素。類似地，深度傳感器106捕捉到的圖像中的用戶 108頭部/臉部的分辨率可低至100X100個(gè)像素。因此，可W理解，傳感器單元102可W是 日用傳感器單元，W使得相機(jī)104和深度傳感器106可W是相對(duì)不昂貴的、便攜的并且可適 于用戶108的不同環(huán)境。
[0024] 系統(tǒng)100包括接收器組件112,該組件在一時(shí)間范圍內(nèi)接收相機(jī)104捕捉到的多 個(gè)RGB圖像/帖。多個(gè)RGB圖像/帖中的每一個(gè)RGB圖像/帖都包括用戶108頭部/臉部 的圖像。接收器組件110還接收在該時(shí)間范圍內(nèi)深度傳感器106捕捉到的多個(gè)深度圖像/ 帖。類似于RGB圖像/帖，多個(gè)深度圖像/帖中的每一個(gè)深度圖像/帖都包括對(duì)應(yīng)于用戶 108頭部/臉部的深度圖。在一示例性實(shí)施例中，相機(jī)104和深度傳感器106可W與共同的 時(shí)鐘進(jìn)行通信，W使得深度相機(jī)104和深度傳感器106在時(shí)間上彼此同步。因此，相機(jī)104 生成的每一個(gè)RGB圖像/帖在時(shí)間上與深度傳感器106生成的相應(yīng)深度圖像/帖對(duì)齊。在 另一示例性實(shí)施例中，接收器組件110可W被配置成在時(shí)間上使相機(jī)104輸出的RGB帖與 深度傳感器106輸出的深度帖同步。
[0025] 模型生成器組件112與接收器組件110通信并接收同步的相機(jī)104捕捉到的RGB 圖像和深度傳感器106捕捉到的深度圖像。如將在下文中更詳細(xì)地描述的，模型生成器組 件112被配置成至少部分地基于相機(jī)104輸出的RGB帖與深度傳感器106輸出的深度帖來 生成用戶108頭部/臉部的相對(duì)準(zhǔn)確的虛擬=維模型。系統(tǒng)100包括數(shù)據(jù)存儲(chǔ)114,該數(shù)據(jù) 存儲(chǔ)114可保存模型生成器組件112生成的用戶108頭部/臉部的虛擬=維模型116。= 維模型116可W在其中期望虛擬化用戶108頭部/臉部的各種環(huán)境中使用。例如，=維模 型116可被用來表示諸如在線游戲環(huán)境等在線環(huán)境中的用戶108。旨P，S維模型116可被 用作用戶108的化身。另外，S維模型116可被動(dòng)畫化。例如，S維模型116可被用來映射 到用戶表情，運(yùn)使用RGB帖中所標(biāo)識(shí)的特征作為指導(dǎo)。在另一個(gè)示例中，S維模型116可使 用預(yù)定義表情來動(dòng)畫化。在運(yùn)一示例性實(shí)施例中，=維模型116中的特征位置的知識(shí)可W 在動(dòng)畫化該=維模型時(shí)使用。簡而言之，當(dāng)用戶108的頭部/臉部處在相對(duì)于傳感器單元 102的各種不同的可能位置時(shí)，模型生成器組件112可基于相機(jī)104輸出的RGB帖和深度傳 感器106輸出的深度帖來生成=維模型116。在第一示例性實(shí)施例中，用戶108最初可將 她的頭部定向在相對(duì)于傳感器單元102向左偏移大約20° (從用戶的角度）。當(dāng)用戶108 的頭部被運(yùn)樣定位時(shí)，相機(jī)104和深度傳感器106可W分別捕捉用戶108頭部/臉部的多 個(gè)RGB圖像和多個(gè)深度圖像（大約40個(gè)）。隨后，用戶108可W直接看著傳感器單元102。 當(dāng)用戶108的頭部/臉部W運(yùn)一方式定向時(shí)，可由相機(jī)104和深度傳感器106分別捕捉到 大約40個(gè)RGB圖像和40個(gè)深度圖像。之后，用戶可將她的頭部定向在相對(duì)于傳感器單元 102向右偏移大約20° (從用戶的角度），并且可由相機(jī)104和