使用攝像機(jī)和電視監(jiān)視器的三維物體掃描的制作方法
【專利摘要】一種使用攝像機(jī)和電視監(jiān)視器的三維物體掃描。本發(fā)明涉及根據(jù)物體的二維圖像建立該物體的三維模型的方法及其裝置。按照本發(fā)明的建立實(shí)物物體的計(jì)算機(jī)圖形模型的方法包括下列步驟：選擇第一照明圖案；在顯示設(shè)備上顯示所述第一照明圖案以便照亮實(shí)物物體；獲取由所述第一照明圖案所照亮的所述實(shí)物物體的第一圖像，其中，所述第一圖像包括具有陰影值的圖像點(diǎn)；選擇第二照明圖案；在顯示設(shè)備上顯示所述第一照明圖案以便照亮實(shí)物物體；獲取由所述第二照明圖案所照亮的所述實(shí)物物體的第二圖像，其中，所述第二圖像包括具有陰影值的圖像點(diǎn)；確定計(jì)算機(jī)圖形模型的一組模型點(diǎn)中的每個(gè)模型點(diǎn)的候選表面方位，所述確定基于所述第一和第二圖像的圖像點(diǎn)的陰影值。
【專利說明】使用攝像機(jī)和電視監(jiān)視器的三維物體掃描
[0001]本申請(qǐng)為題為“使用攝像機(jī)和電視監(jiān)視器的三維物體掃描”的中國(guó)發(fā)明專利200880013352.3的分案申請(qǐng)。
[0002]相關(guān)申請(qǐng)的交叉引用
[0003]該申請(qǐng)對(duì)2007 年 8 月 17 日提交的題為“3D Object Scanning Using VideoCamera and TV Monitor”的美國(guó)專利申請(qǐng)N0.11/840，813和2007年4月24日提交的題為 “3D Object Scanning Using Video Camera and TV Monitor” 的美國(guó)臨時(shí)專利申請(qǐng)N0.60/913, 793主張優(yōu)先權(quán)，以上申請(qǐng)通過引用并入本申請(qǐng)。
[0004]發(fā)明背景
[0005]本發(fā)明涉及根據(jù)物體的二維圖像建立該物體的三維模型的方法及其裝置。許多計(jì)算機(jī)圖形圖像(computer graphic image)的建立是通過利用一個(gè)場(chǎng)景下的三維模型,從給定的視點(diǎn)數(shù)學(xué)地建模光線的交互。這種過程稱之為繪制(rendering)，其從給定的視點(diǎn)產(chǎn)生場(chǎng)景的二維圖像，并且其類似于拍攝現(xiàn)實(shí)世界場(chǎng)景的照片。當(dāng)場(chǎng)景隨著時(shí)間流逝逐漸變化時(shí)，通過繪制一系列的場(chǎng)景圖像，可以建立動(dòng)畫序列。交互式軟件應(yīng)用程序(諸如游戲和其它教育性或娛樂性的應(yīng)用程序)經(jīng)常使用繪制軟件和硬件以交互幀速率產(chǎn)生計(jì)算機(jī)圖形圖像，從而響應(yīng)用戶的輸入。
[0006]典型地，交互式軟件應(yīng)用程序中的三維模型通過計(jì)算機(jī)圖形藝術(shù)家使用復(fù)雜的三維草圖繪制或者建模應(yīng)用程序產(chǎn)生。另外，雕刻家可以創(chuàng)作物體的實(shí)物(physical)模型，然后通過使用專門的三維掃描儀將其轉(zhuǎn)換為三維計(jì)算機(jī)圖形模型。所有這些技術(shù)都需要專門的硬件、軟件和受過高度訓(xùn)練的藝術(shù)家。由于這種復(fù)雜性，包含在交互式軟件應(yīng)用程序中的三維物體通常僅限于那些由軟件供應(yīng)商或者能訪問三維模型應(yīng)用程序的用戶所提供的三維物體。
[0007]因此，需要一種系統(tǒng)和方法以允許用戶建立實(shí)物物體(physical object)的三維圖形模型用于交互式軟件應(yīng)用程序。進(jìn)一步的需要是在不要求使用建模或者草圖繪制應(yīng)用程序的情況下建立三維計(jì)算機(jī)圖形模型。更進(jìn)一步的需要是使用成本低、廣泛可用的消費(fèi)電子產(chǎn)品來實(shí)現(xiàn)該系統(tǒng)。

【發(fā)明內(nèi)容】

[0008]本發(fā)明的一實(shí)施例包括一種用于建立實(shí)物物體的計(jì)算機(jī)圖形模型的系統(tǒng)。在顯示設(shè)備上顯示的照明圖案(Illumination Pattern)隨之而來照亮了實(shí)物物體。攝像機(jī)獲取一張或多張被照明圖案所照亮的實(shí)物物體的圖像。照明圖案可以包括運(yùn)動(dòng)和多樣性顏色，從而使攝像機(jī)能獲取實(shí)物物體的表面陰影有較大變化的圖像。分析來自所獲取實(shí)物物體的圖像的陰影值以確定該實(shí)物物體上點(diǎn)的表面方位。本發(fā)明一實(shí)施例評(píng)估所獲取的圖像的質(zhì)量和適合性，并可以使用該評(píng)估的結(jié)果來進(jìn)一步選擇合適的要被顯示的照明圖案。照明圖案可以針對(duì)實(shí)物物體的特定的光學(xué)、幾何和物理屬性而設(shè)計(jì)，以增加系統(tǒng)對(duì)不同類型物體的通用性。
[0009]在一實(shí)施例中，根據(jù)由照明圖案所產(chǎn)生的實(shí)物物體的圖像中的每個(gè)陰影值，照明模型確定一個(gè)或多個(gè)候選的表面方位(candidate surface orientation)。可選地,每個(gè)照明圖案的陰影值可以與校準(zhǔn)物體上類似的陰影值相互參照(be crossed referenced),校準(zhǔn)物體具有已知的幾何圖形并且被同一照明圖案照亮。隨著更多的實(shí)物物體圖像和其它的的照明圖案，實(shí)物物體模型上的點(diǎn)的候選表面方位組在減少，直至模型表面能擬合于模型點(diǎn)的表面方位。
[0010]本發(fā)明的實(shí)施例可以為任意目的向應(yīng)用提供實(shí)物物體的模型，包括使用戶能建立和交換定制的虛擬物體，加強(qiáng)對(duì)實(shí)物物體的跟蹤和視頻會(huì)議應(yīng)用。
【專利附圖】

【附圖說明】
[0011]本發(fā)明將參考以下附圖描述，其中:
[0012]圖1示出了根據(jù)本發(fā)明實(shí)施例的用于建立實(shí)物物體的三維計(jì)算機(jī)圖形模型的系統(tǒng)；
[0013]圖2A-2B示出了適合于與本發(fā)明實(shí)施例一起使用的、評(píng)估實(shí)物物體上的點(diǎn)的表面方位的技術(shù)；
[0014]圖3示出了根據(jù)本發(fā)明實(shí)施例的建立三維計(jì)算機(jī)圖形模型的方法；
[0015]圖4A-4D示出了適合于與本發(fā)明實(shí)施例一起使用的照明圖案實(shí)例；
[0016]圖5A-5C示出了適合于與本發(fā)明實(shí)施例一起使用的校準(zhǔn)物體實(shí)例；
[0017]圖6示出了適合于實(shí)現(xiàn)本發(fā)明實(shí)施例的計(jì)算機(jī)系統(tǒng)實(shí)例；以及
[0018]圖7示出了適合于實(shí)現(xiàn)本發(fā)明實(shí)施例的處理器實(shí)例。
【具體實(shí)施方式】
[0019]圖1示出了根據(jù)本發(fā)明實(shí)施例的用于建立實(shí)物物體的三維計(jì)算機(jī)圖形模型的系統(tǒng)100。系統(tǒng)100包括計(jì)算機(jī)設(shè)備105，其可以為任何類型的計(jì)算設(shè)備，包括個(gè)人計(jì)算機(jī)、娛樂用機(jī)頂盒(set-top entertainment)、家用或者便攜式視頻游戲控制臺(tái)、個(gè)人數(shù)字助理、或視頻會(huì)議設(shè)備。設(shè)備105經(jīng)有線接口或者無線接口與攝像機(jī)110連接。在一實(shí)施例中，攝像機(jī)110內(nèi)置于設(shè)備105中。在一替代實(shí)施例中，攝像機(jī)110與設(shè)備105分離。攝像機(jī)110被配置成獲取靜止或者移動(dòng)的圖像并傳送這些圖像到設(shè)備105。在一實(shí)施例中，攝像機(jī)110進(jìn)一步包括一個(gè)或者多個(gè)內(nèi)置光源112，該光源可以有選擇地被激活，以提供可見的或者紅外照明。相似地，攝像機(jī)110可以具有獲取由可見光和/或者紅外光組成的圖像的能力。在一個(gè)典型實(shí)施例中，攝像機(jī)110可以類似于通常應(yīng)用于因特網(wǎng)上或者其它廣域網(wǎng)絡(luò)上的視頻會(huì)議的低成本網(wǎng)絡(luò)攝像頭。
[0020]除攝像機(jī)110之外，系統(tǒng)100還包括顯示設(shè)備115。顯示設(shè)備115可以為使用任何類型顯示技術(shù)的電視或者計(jì)算機(jī)監(jiān)視器，包括陰極射線管、LED、LCD、OLEDjP /或者等離子顯示技術(shù)。設(shè)備105連接于顯示設(shè)備115，以使設(shè)備105所產(chǎn)生的計(jì)算機(jī)圖形圖像和圖案由顯示設(shè)備115顯示。
[0021]系統(tǒng)100的實(shí)施例設(shè)置顯示設(shè)備115，使得由該顯示設(shè)備115所產(chǎn)生的圖像照亮要被掃描的物體120。物體120可以是由用戶所選擇的任何實(shí)物物體。盡管顯示設(shè)備115不是旨在在屏幕或者任何其它物體上投射圖像或者圖案的投影儀，但顯示設(shè)備115在顯示圖像時(shí)，通常有足夠的亮度來附帶照亮物體。[0022]當(dāng)物體120被顯示設(shè)備115所產(chǎn)生的一個(gè)或者多個(gè)圖案所照亮?xí)r，攝像頭110將獲取其圖像。正如以下的詳細(xì)討論，顯示設(shè)備115可以輸出許多不同的照明圖案以建立物體120的準(zhǔn)確模型。另外，用戶能旋轉(zhuǎn)或者移動(dòng)物體120至不同的位置和方位，以至于從所有角度建立物體120的完整模型。通過分析這些圖像，設(shè)備105能建立物體120的三維計(jì)算機(jī)圖形模型。由設(shè)備105或者其它設(shè)備所執(zhí)行的交互式軟件應(yīng)用程序隨后可以將該三維計(jì)算機(jī)圖形模型結(jié)合到它的操作中。
[0023]有許多本領(lǐng)域熟知技術(shù)來根據(jù)一張或多張圖像確定物體的結(jié)構(gòu)或者形狀。一種常用的技術(shù)是根據(jù)響應(yīng)于來自一個(gè)或者多個(gè)光源的照亮的物體的陰影來確定物體表面上的點(diǎn)的方位。圖2A-2B所示為適合與本發(fā)明實(shí)施例一起使用的、評(píng)估實(shí)物物體上的點(diǎn)的表面方位的技術(shù)。
[0024]圖2A示意常用的照明模型200，其基于物體表面在一個(gè)點(diǎn)上的方位規(guī)定該物體上該點(diǎn)的陰影。在照明模型200中，表面207上的點(diǎn)205的陰影是基于表面207上在點(diǎn)205處的法向矢量210和光線矢量215之間的角度，光線矢量215從點(diǎn)205延伸至光源。例如，Phong照明模型基于點(diǎn)積或者矢量210和215之間的角度給點(diǎn)分配漫射陰影值(diffuseshading value)。進(jìn)一步,照明模型200可以讓點(diǎn)205的陰影的一部分基于光線矢量215的反射225和觀察矢量220之間的角度，其中，觀察矢量220從點(diǎn)205延伸至攝像機(jī)或者觀察者。例如，Phong照明模型基于點(diǎn)積或者矢量210和215之間的角度的指數(shù)值分配鏡面陰影值(specular shading value)。
[0025]由于表面上點(diǎn)的陰影基于表面的方位，因此可以根據(jù)陰影值確定表面的方位。通常，來自單一光源的給定陰影值可以對(duì)應(yīng)于多個(gè)可能的表面方位。然而，通過分析來自不同位置的多個(gè)光源的圖像，表面點(diǎn)的候選方位數(shù)量可以通常減少至一個(gè)方位。對(duì)圖像的額外處理以及所得到的提取的表面方位數(shù)據(jù)(諸如噪音減少和其它濾波、背景抽取、輪廓提取、以及網(wǎng)格(mesh)的產(chǎn)生、復(fù)合和簡(jiǎn)化)然后可以被用于構(gòu)建物體的三維計(jì)算機(jī)模型。
[0026]圖2B示意物體250的圖像。通過從不同光源照明物體并分析多個(gè)點(diǎn)上的表面的陰影，可以確定物體表面的方位。矢量域包括矢量255a-255t，其定義物體250表面的法向矢量。本發(fā)明的實(shí)施例擬合表面于矢量域，以定義物體250的計(jì)算機(jī)圖形模型。矢量域255中的矢量數(shù)量以示意目的示出，并且本發(fā)明實(shí)施例可以使用任意數(shù)量的矢量的矢量域來定義物體的模型的表面，其僅受限于攝像機(jī)的分辨率和應(yīng)用程序的需求。
[0027]這種技術(shù)的之前實(shí)施方案在相對(duì)于物體和攝像機(jī)的特定位置上需要專門的光源。通常，這些光源的調(diào)整必須考慮(account for)特定物體的獨(dú)特的拓?fù)涮卣?、物理特征和光學(xué)特征，以建立精確和完整的物體。
[0028]相反，本發(fā)明的實(shí)施例使用顯示設(shè)備所產(chǎn)生的圖像或者圖案作為光源來照亮物體。由于顯示設(shè)備能夠產(chǎn)生復(fù)雜并且變化的圖案(這對(duì)于常規(guī)光源通常是不可能實(shí)現(xiàn)的)，所以本發(fā)明的實(shí)施例可以在不需要用戶對(duì)光源進(jìn)行復(fù)雜的人工調(diào)整的情況下，用于建立多種不同類型物體的模型。
[0029]圖3示意根據(jù)本發(fā)明實(shí)施例的建立三維計(jì)算機(jī)圖形模型的方法300?？蛇x步驟305校準(zhǔn)陰影參數(shù)。在一實(shí)施例中，步驟305在顯示設(shè)備上顯示一個(gè)或者多個(gè)照明圖案，并測(cè)量已知物體的表面上的陰影值以使攝像機(jī)獲取的陰影值與已知的表面方位值匹配。
[0030]步驟310選擇用于顯示的照明圖案。在一實(shí)施例中，系統(tǒng)包括多個(gè)預(yù)先選定的或者算法產(chǎn)生的照明圖案可供選擇。在又一實(shí)施例中，照明圖案可以包括動(dòng)畫，以使攝像機(jī)在光源相對(duì)物體移動(dòng)時(shí)能夠獲取表面陰影的變化。如以下的詳細(xì)討論，每個(gè)照明圖案可以合適地與任何類型的物體一起使用，或者可以設(shè)計(jì)為適合(be tailored to)獲取具有特殊拓?fù)涞?、物理的、?或者光學(xué)的特征的物體的細(xì)節(jié)。在步驟310的初始迭代時(shí)，通常選擇通用的照明圖案。利用這些照明圖案所獲取的作為結(jié)果的圖像以及模型的幾何形狀可以在隨后的迭代步驟310中用于選擇更加特定的照明圖案。
[0031]步驟315顯示所選擇的照明圖案并使用攝像機(jī)來獲取物體表面陰影的一個(gè)或者多個(gè)圖像。在一實(shí)施例中，步驟315使照明圖案與空白圖案交替顯示。涉及兩個(gè)圖案的圖像之間差異將消除或者減少周圍環(huán)境或其它光源對(duì)物體表面陰影的影響。
[0032]步驟320判斷在步驟315所獲得的一個(gè)或者多個(gè)圖像中的物體表面的陰影是否適合用于確定模型的幾何形狀。例如，如果圖像全部是或者幾乎是空白，那么其可能不適合用來提取物體的表面方位。如果物體不能反射足夠來自照明圖案的光(例如如果藍(lán)色的照明圖案投射于綠色的物體上)，那么可產(chǎn)生空白圖像。合適性的其它標(biāo)準(zhǔn)可以包括:是否有較多的圖像噪音，圖像是否清晰并且正確曝光，圖像中物體的輪廓是否相似于從之前圖像產(chǎn)生的輪廓，關(guān)聯(lián)于物體的圖像的一部分是否連續(xù)、或者在圖像的這部分中是否存在許多空白區(qū)域或者間隙，以及陰影是否和其它圖像的陰影相一致。
[0033]如果步驟315所獲取的圖像中的物體陰影不適合用于建立物體模型，則方法300從步驟320返回至步驟310以選擇不同的照明圖案。在一實(shí)施例中，步驟310中運(yùn)用關(guān)于哪些照明圖案產(chǎn)生合適的或者不合適的物體圖像的知識(shí)來選擇一個(gè)合的照明圖案，以獲取物體的其它圖像。例如，如果藍(lán)色的照明圖案導(dǎo)致空白圖像(其意味著物體很少或者幾乎沒有反射藍(lán)光)，則步驟310的實(shí)施例可以將隨后選擇的照明圖案限定在那些包括紅色或者綠色光的照明圖案。
[0034]相反地，如果步驟315所獲取的一個(gè)或多個(gè)圖像包括充分品質(zhì)的物體陰影，方法300將從步驟320執(zhí)行至步驟325。步驟325運(yùn)用步驟315所獲取的圖像中的物體陰影來更新幾何形狀。在一實(shí)施例中，物體的輪廓被確定并且其內(nèi)部分布大量的網(wǎng)格點(diǎn)。使用一個(gè)或者多個(gè)交疊或者靠近每個(gè)網(wǎng)格點(diǎn)的圖像點(diǎn)的陰影值來確定每個(gè)網(wǎng)格點(diǎn)的一個(gè)或者多個(gè)候選表面方位。一個(gè)或者多個(gè)照明模型可以用于根據(jù)陰影值確定候選表面方位。隨著來自不同照明圖案的其他圖像被處理，每個(gè)網(wǎng)格點(diǎn)的候選表面方位值的數(shù)量在減少。
[0035]在一實(shí)施例中，通過初始化每個(gè)網(wǎng)格點(diǎn)減少每個(gè)網(wǎng)格點(diǎn)的候選表面方位值的數(shù)量以包括所有可能表面方位。當(dāng)根據(jù)網(wǎng)格點(diǎn)的照明圖案確定候選表面方位組時(shí)，該表面方位組與網(wǎng)格點(diǎn)的之前候選表面方位的交集(intersection)被確定。然后,該候選表面方位的相交的子集作為網(wǎng)格點(diǎn)的剩余候選表面方位被存儲(chǔ)。來自其它的的照明圖案的其它候選表面方位與方法300的后續(xù)迭代中的網(wǎng)格點(diǎn)剩下的表面方位形成交集。近似和估計(jì)技術(shù)(諸如平均處理和最小二乘法近似)可以被運(yùn)用于解決來自攝像機(jī)的測(cè)量誤差。
[0036]步驟330判斷物體模型幾何形狀是否完全確定。在一實(shí)施例中，如果所有或者大部分的網(wǎng)格點(diǎn)具有單個(gè)剩余候選表面方位，那么步驟330判定物體模型的幾何形狀是充分完整的。在又一實(shí)施例中，任何其它網(wǎng)格點(diǎn)的表面方位可以通過插值確定。一旦網(wǎng)格點(diǎn)的表面方位已經(jīng)被確定，則擬合表面方位的模型表面被定義。模型表面可以使用三角形、多邊形、諸如NURBS的高次曲面(higher-order curved surface)、細(xì)分表面、粒子系統(tǒng)(particle system)、或者本領(lǐng)域所熟知的任何其它的物體幾何形狀的數(shù)學(xué)表示來定義。
[0037]在一個(gè)實(shí)施例中，判斷網(wǎng)格點(diǎn)的至少實(shí)質(zhì)部分的每個(gè)是否與單一候選表面方位相關(guān)聯(lián)。隨后，響應(yīng)于網(wǎng)格點(diǎn)的至少實(shí)質(zhì)部分的每個(gè)與單一候選表面方位相關(guān)聯(lián)的判定，定義適于網(wǎng)格點(diǎn)的實(shí)質(zhì)部分的候選表面方位的所述計(jì)算機(jī)圖形模型的表面。
[0038]如果幾何形狀被完全確定，那么方法300執(zhí)行到步驟335以輸出目標(biāo)模型。否則，方法300返回至步驟310以選擇其它的照明圖案。在一實(shí)施例中，由步驟310后繼迭代所選擇的照明圖案由網(wǎng)格點(diǎn)剩下的候選表面方位的數(shù)量和類型至少部分地確定。
[0039]例如，如果物體的一部分表面可能凸起或者凹陷(基于該表面點(diǎn)的候選表面方位)，則步驟310的實(shí)施例可以選擇照明圖案，該照明圖案被設(shè)計(jì)為辨認(rèn)凸起和凹陷的幾何形狀。例如，如果物體的凸起部分是從下方照亮，則該部分的底部將比該部分的頂部更亮。相反地，如果物體的凹陷部分是從下方照亮，那么，該部分的頂部將比該部分的底部更亮。
[0040]在又一實(shí)施例中，可以指導(dǎo)用戶將物體旋轉(zhuǎn)至新的位置，并重復(fù)步驟310-330以確定攝像機(jī)之前所不能看到的物體的其它部分的幾何形狀。該幾何形狀可以結(jié)合從物體之前的方位所辯識(shí)的物體幾何形狀以從所有角度建立完整的和閉合的物體模型。或者，從一個(gè)或多個(gè)方位所確定的物體幾何形狀可以結(jié)合預(yù)先定義的物體幾何形狀以建立閉合的物體。例如，方法300可以用來確定用戶臉部的幾何形狀。該幾何形狀可以結(jié)合預(yù)先定義的頭部模型。在再一實(shí)施例中，還根據(jù)物體圖像建立結(jié)構(gòu)圖(texture map)或者其它表面陰影信息。在一實(shí)施例中，建立方式為選擇其中一個(gè)圖像或者多個(gè)圖像的組合，消除背景，并且然后投影圖像至模型表面以確定結(jié)構(gòu)的坐標(biāo)。
[0041]本發(fā)明的實(shí)施例可以使用廣泛多樣的不同類型的照明圖案以確定物體表面上的點(diǎn)的方位。通常，照明圖案被設(shè)計(jì)成從物體一個(gè)或者多個(gè)方向投射光線至物體表面。圖4A - 4D示出了適合于與本發(fā)明實(shí)施例一起使用的照明圖案實(shí)例。
[0042]圖4A示意照明圖案400實(shí)例。照明圖案400包括圖案左上角的紅光區(qū)域405、圖案右上角的綠光區(qū)域410、和圖案底端中部的藍(lán)光區(qū)域415。照明圖案400適合與彩色攝像機(jī)一起使用。由于典型的彩色攝像機(jī)能同時(shí)地獲取圖像中的紅、綠、藍(lán)光，照明圖案400使攝像機(jī)可以在單個(gè)圖像的不同位置獲取來自三種不同光源的物體的陰影。在該實(shí)例中，圖像中所有的紅光(即每個(gè)像素的紅色分量)來源于區(qū)域405，圖像中所有的綠光(即每個(gè)像素的綠色分量)來源于區(qū)域410，并且圖像中所有的藍(lán)光(即每個(gè)像素的藍(lán)色分量)來源于區(qū)域415。
[0043]照明圖案400實(shí)例假設(shè)物體表面對(duì)所有顏色的光的反射大約相等。每個(gè)顏色分量的陰影值的比例化(scaling)或者歸一化可以被用于補(bǔ)償以不同的量反射光的不同顏色的物體表面。在又一實(shí)例中，圖4B示意第二種照明圖案420。除了顏色區(qū)域的位置被交換夕卜，照明圖案420與圖案400相似。在照明圖案420中，紅色區(qū)域430位于右上角，綠色區(qū)域435位于底端中部，藍(lán)色區(qū)域位于左上角。通過分別對(duì)比來自區(qū)域405和425的物體陰影、來自區(qū)域410和430的物體陰影、來自區(qū)域415和435的物體陰影，本發(fā)明實(shí)施例可以補(bǔ)償物體對(duì)不同顏色的反射特性。例如，來自區(qū)域405和區(qū)域425的陰影值之比正比于紅色光和藍(lán)色光之間的物體表面反射差的比率。
[0044]除使用顏色之外，照明圖案可以利用運(yùn)動(dòng)(諸如平移和旋轉(zhuǎn))來觀察物體表面陰影的變化以響應(yīng)于光源的移動(dòng)。圖4C示意包括在第一位置和方位的照明三角形445的照明圖案440實(shí)例。圖4D示意包括在不同位置和方位的相似三角形465的照明圖案460實(shí)例。通過獲取當(dāng)三角形在不同位置和方位之間移動(dòng)時(shí)的物體陰影的圖像，就有可能辨認(rèn)物體表面上的點(diǎn)的方位。
[0045]如上所述，表面光反射的陰影或者照明模型可以被用于基于來自光源的點(diǎn)的陰影值確定點(diǎn)的候選表面方位。在又一實(shí)施例中，具有已知表面方位的校準(zhǔn)物體可以被用來改進(jìn)表面方位分析的精確度。在一實(shí)施例中，系統(tǒng)用一個(gè)或多個(gè)照明圖案照亮校準(zhǔn)物體。通過攝像機(jī)獲取在多個(gè)表面點(diǎn)上的校準(zhǔn)物體的表面陰影。因?yàn)闇?zhǔn)物體具有已知的幾何形狀，所以每個(gè)表面點(diǎn)的方位也是已知的。這樣，對(duì)于每個(gè)照明圖案，系統(tǒng)存儲(chǔ)使每個(gè)陰影值與一個(gè)或者多個(gè)候選表面方位相關(guān)聯(lián)的數(shù)據(jù)結(jié)構(gòu)。當(dāng)以同樣的照明圖案分析未知物體時(shí)，表面點(diǎn)的陰影值可以用來從該數(shù)據(jù)結(jié)構(gòu)中查找出一組候選表面方位。
[0046]圖5A — 5C示出了適合于與本發(fā)明實(shí)施例一起使用的校準(zhǔn)物體實(shí)例。圖5A示意由第一照明圖案500照亮的校準(zhǔn)物體實(shí)例。在該實(shí)例中，校準(zhǔn)物體是球形的。如果第一照明圖案以迎面方向照亮校準(zhǔn)物體，則區(qū)域505將具有大致相同的陰影值。由于校準(zhǔn)物體的幾何形狀是已知的，所以區(qū)域505將與一組包括表面法向矢量510a — 5IOh的候選表面方位組510相關(guān)聯(lián)。當(dāng)用同樣的照明圖案分析未知物體時(shí)，其陰影值相似于區(qū)域505的陰影值的任何表面點(diǎn)將被分配以候選表面方位組的部分或全部方位。對(duì)于第一照明圖案，可以為具有其它陰影值的校準(zhǔn)物體表面的其它區(qū)域進(jìn)行相似的分析。
[0047]圖5B示意由第二照明圖案520照亮的同一實(shí)例校準(zhǔn)物體。在該實(shí)例中，第二照明圖案520從側(cè)面照亮校準(zhǔn)物體。校準(zhǔn)物體表面的區(qū)域525將具有大致相同的陰影值。由于校準(zhǔn)物體的幾何形狀是已知的，區(qū)域525將與一組包括表面法向矢量530a — 530h的候選表面方位組530相關(guān)聯(lián)。當(dāng)用同樣的照明圖案分析未知物體時(shí)，其陰影值相似于區(qū)域525的陰影值的任何表面點(diǎn)將被分配以候選表面方位組530的部分或者全部方位。對(duì)于第二照明圖案，可以為具有其它陰影值的校準(zhǔn)物體表面的其它區(qū)域進(jìn)行相似的分析。
[0048]作為特定校準(zhǔn)物體的另一個(gè)選擇，本發(fā)明的實(shí)施例可以使用用戶的臉部特征作為校準(zhǔn)物體。圖5C示意由照明圖案照亮的用戶臉部實(shí)例550。某一用戶臉部特征可具有已知的幾何形狀。例如，鼻尖560、額頭555和眼睛565都大致為球形。該發(fā)明的實(shí)施例可以使用所有或者任一臉部特征上的照明圖案的陰影，使陰影值與候選表面方位相關(guān)聯(lián)。
[0049]使用本發(fā)明實(shí)施例所建立的物體模型可以以多種方式結(jié)合于交互式軟件應(yīng)用程序中。例如，用戶所喜愛的物體模型可以用來裝飾用戶的虛擬空間，或者作為電子禮物給其它用戶。用戶可以把他們的臉加到游戲中的角色上。使用本來領(lǐng)域所熟知的任何繪制(rendering)技術(shù)(包括多邊形光柵化(polygon rasterization)和射線跟蹤繪制(raytracing rendering)技術(shù)),物體模型能被繪制和顯示給用戶。
[0050]在又一實(shí)例中，本發(fā)明的實(shí)施例在視頻會(huì)議應(yīng)用中可以糾正攝像機(jī)的位置。通常，視頻會(huì)議的用戶更多是看視頻屏幕而不是攝像機(jī)。由于在視頻會(huì)議應(yīng)用中攝像機(jī)通常置于屏幕的旁邊或者上面，所以在視頻會(huì)議中用戶難以通過眼睛交流。該發(fā)明的實(shí)施例使用以上所描述的技術(shù)建立用戶的頭部模型。該模型被用于確定攝像機(jī)相對(duì)于用戶的頭部的位置?；谶@些信息，本發(fā)明實(shí)施例的應(yīng)用程序可以將獲取的視頻映射為模型上的結(jié)構(gòu)，并且然后繪制用戶的頭部模型，頭部模型從迎面方向被獲取的視頻結(jié)構(gòu)覆蓋。這樣模擬了用戶直接看著攝像機(jī)的效果。[0051]在再一實(shí)施例中，系統(tǒng)使用從顯示設(shè)備投射的照明圖案以建立物體的初始高分辨率模型。然后，系統(tǒng)可以使用來自顯示設(shè)備的部分的可見照明圖案、或者從與該攝像機(jī)或另一攝像機(jī)關(guān)聯(lián)的光源所投射的可見或紅外照明圖案，以獲取物體的低分辨率模型。低分辨率模型可被應(yīng)用程序用于追蹤物體的位置或者方位的改變，或者用于獲取物體形狀的持續(xù)變化，例如，用戶臉部的表情變化。這些變化可用來修改物體模型的高分辨率版本的位置或者形狀。來自低分辨率模型的信息可用來作為應(yīng)用程序的輸入，例如讓游戲中角色的臉部表情真實(shí)反映用戶的臉部表情、或者讓應(yīng)用程序中的虛擬物體跟隨用戶的實(shí)物物體的運(yùn)動(dòng)。
[0052]圖6示出了適合于用于實(shí)現(xiàn)本發(fā)明實(shí)施例的計(jì)算機(jī)系統(tǒng)1000實(shí)例。圖6是適合于實(shí)現(xiàn)本發(fā)明實(shí)施例的計(jì)算機(jī)系統(tǒng)1000的方塊圖，該計(jì)算機(jī)系統(tǒng)例如是個(gè)人計(jì)算機(jī)、視頻游戲控制臺(tái)、個(gè)人數(shù)字助理或者其它數(shù)字設(shè)備。計(jì)算機(jī)系統(tǒng)1000包括中央處理器(CPU)1005，其用于運(yùn)行軟件應(yīng)用程序，執(zhí)行邏輯功能，和可選的操作系統(tǒng)。CPU1005可以包括一個(gè)或者多個(gè)處理核。內(nèi)存1010存儲(chǔ)CPU1005所使用的應(yīng)用程序和數(shù)據(jù)。存儲(chǔ)器1015為應(yīng)用程序和數(shù)據(jù)提供非易失性存儲(chǔ)，并且其可以包括固定盤驅(qū)動(dòng)器(fixed disk drives)、移動(dòng)盤驅(qū)動(dòng)器(removable disk drives)、閃存、CD-ROM、DVD-ROM、藍(lán)光光盤、HD-DVD 或者其它光學(xué)存儲(chǔ)裝置。用戶輸入設(shè)備1020將來自一個(gè)或多個(gè)用戶的輸入傳輸至計(jì)算機(jī)系統(tǒng)1000，用戶輸入設(shè)備1020的例子可包括鍵盤、鼠標(biāo)、操縱桿、觸控板(touch pad)、觸摸屏,靜態(tài)或者動(dòng)態(tài)攝像機(jī)和/或麥克風(fēng)。網(wǎng)絡(luò)接口 1025允許計(jì)算機(jī)系統(tǒng)1000經(jīng)由電子通信網(wǎng)絡(luò)與其它計(jì)算機(jī)系統(tǒng)通信，并且可以包括在局域網(wǎng)和例如英特網(wǎng)之類的廣域網(wǎng)上的有線或者無線通信。音頻處理器1055用于根據(jù)CPU1005、內(nèi)存1010和/或存儲(chǔ)器1015提供的指令和/或數(shù)據(jù)產(chǎn)生模擬的或者數(shù)字的音頻輸出。計(jì)算機(jī)系統(tǒng)1000的組件包括CPU1005、內(nèi)存1010、數(shù)據(jù)存儲(chǔ)器1015、用戶輸入設(shè)備1020、網(wǎng)絡(luò)接口 1025和音頻處理器1055，這些組件經(jīng)由一條或多條數(shù)據(jù)總線1060連接在一起。在又一實(shí)施例中，靜態(tài)或者攝像機(jī)1065與數(shù)據(jù)總線1060連接。攝像機(jī)1065可以經(jīng)由例如USB或火線(Firewire)接口的外部接口、無線接口或者內(nèi)部接口與數(shù)據(jù)線1065連接。
[0053]圖形子系統(tǒng)1030與數(shù)據(jù)總線1060和計(jì)算機(jī)系統(tǒng)1000的組件進(jìn)一步連接。圖形子系統(tǒng)1030包括圖形處理單元(GPU) 1035和圖形存儲(chǔ)器1040。圖形存儲(chǔ)器1040包括用于存儲(chǔ)輸出圖像的每個(gè)像素的像素?cái)?shù)據(jù)的顯存(例如，幀緩沖器)。圖形存儲(chǔ)器1040可以集成在相同的裝置內(nèi)作為GPU1035，也可以作為單獨(dú)的器件連接于GPU1035，和/或在內(nèi)存1010中實(shí)現(xiàn)?？梢灾苯訌腃PU10005向圖形存儲(chǔ)器1040提供像素?cái)?shù)據(jù)?；蛘?，CPU1005提供定義所需輸出圖像的數(shù)據(jù)和/或指令給GPU1035，GPU1035據(jù)此產(chǎn)生一個(gè)或多個(gè)輸出圖像的像素?cái)?shù)據(jù)。定義所需輸出圖像的數(shù)據(jù)和/或指令可以存儲(chǔ)在內(nèi)存1010和/或圖形存儲(chǔ)器1040中。在一實(shí)施例中，GPU1035包括根據(jù)指令和數(shù)據(jù)為輸出圖像產(chǎn)生像素?cái)?shù)據(jù)的3D繪制能力，其中指令和數(shù)據(jù)定義幾何形狀、照明(lighting)、陰影、結(jié)構(gòu)、運(yùn)動(dòng)和/或場(chǎng)景的攝像機(jī)參數(shù)。GPU1035進(jìn)一步可包括一個(gè)或多個(gè)能執(zhí)行陰影化程序(shader programs)的可編程執(zhí)行單元。
[0054]圖形子系統(tǒng)1030從圖像存儲(chǔ)器1040中周期性地輸出圖像的像素?cái)?shù)據(jù)，以將這些像素?cái)?shù)據(jù)顯示于顯示設(shè)備1050上。顯示設(shè)備1050是任何能夠響應(yīng)于計(jì)算機(jī)系統(tǒng)1000信號(hào)而顯示視覺信息的設(shè)備，其包括CRT、IXD、等離子顯示器、OLED顯示器。計(jì)算機(jī)系統(tǒng)1000能給顯示設(shè)備1050提供模擬或者數(shù)字信號(hào)。
[0055]在本發(fā)明的實(shí)施例中，CPU1005是一個(gè)或多個(gè)具有一個(gè)或多個(gè)處理核的通用微處理器。本發(fā)明的其它實(shí)施例可使用下列一個(gè)或者多個(gè)CPU實(shí)現(xiàn)，該CPU具有特別適合于高度并行和高計(jì)算強(qiáng)度的應(yīng)用(例如媒體和交互娛樂應(yīng)用)的微處理器架構(gòu)。圖7示出了適合于實(shí)現(xiàn)本發(fā)明實(shí)施例的處理器2000實(shí)例。
[0056]處理器2000包括多個(gè)處理器單元，每個(gè)能夠并行執(zhí)行獨(dú)立的程序。處理器2000包括PPE處理器單元2005。PPE處理器單元是CISC、RISC或者本領(lǐng)域所熟知的其它處理器架構(gòu)的通用處理器。在一實(shí)例中，PPE處理器單元2005是64位、多線程RISC架構(gòu)的處理器，例如，PowerPC架構(gòu)。PPE處理器單元2005可以包括分為一級(jí)、二級(jí)或者更多級(jí)的緩存(cache memory) 2007,其暫時(shí)存儲(chǔ)由PPE處理器單元2005所執(zhí)行的數(shù)據(jù)和指令。
[0057]作為附加性能，處理器2000包括多個(gè)SPE處理器單元2010。在該實(shí)例中，處理器2000包括8個(gè)SPE處理器單元2010A — 2010H ;然而，其它實(shí)例的處理器可以包括不同個(gè)數(shù)的SPE處理器單元。SPE處理器單元2010適用于數(shù)據(jù)的流處理。在流處理中，程序在大的數(shù)據(jù)組中的每一項(xiàng)上被重復(fù)地執(zhí)行。為促進(jìn)數(shù)據(jù)流處理，SPE處理器單元2010可以包括指令執(zhí)行單元，其能夠同時(shí)對(duì)多個(gè)數(shù)據(jù)操作數(shù)執(zhí)行SMD指令。SPE處理器單元2010也可包括指令單元，其能夠執(zhí)行用于更通常的處理任務(wù)的單指令、單數(shù)據(jù)(SISD)。
[0058]每個(gè)SPE處理器單元(例如SPE處理器單元2010A)包括本地?cái)?shù)據(jù)和指令存儲(chǔ)器2012A。數(shù)據(jù)和指令可以經(jīng)由DMA單元2014A傳送至和傳送出本地?cái)?shù)據(jù)指令存儲(chǔ)器2012A。DMA單元(例如2014A單元)能夠在沒有處理器監(jiān)督的情況下從每個(gè)SPE處理器單元2010傳送出和傳送進(jìn)數(shù)據(jù)，從而使SPE處理器單元2010能夠不中斷地持續(xù)地處理數(shù)據(jù)。
[0059]數(shù)據(jù)和指令由處理器2000經(jīng)由內(nèi)存和I/O接口 2015進(jìn)行輸入和輸出。數(shù)據(jù)和指令可以經(jīng)由處理器總線2020在內(nèi)存與I/O接口 2015、PPE處理器單元2005和SPE處理器單元2010之間通信。
[0060]為闡明目的，討論了以上計(jì)算機(jī)系統(tǒng)實(shí)例，本發(fā)明實(shí)施例能夠容易地適用于與包括攝像機(jī)以及能夠照明附近物體的任何類型的顯示設(shè)備的任何類型系統(tǒng)一起工作。本領(lǐng)域普通技術(shù)人員可以從說明書和附圖預(yù)想出進(jìn)一步的實(shí)施例。在其它實(shí)施例中，可以方便地做出對(duì)以上所揭示的發(fā)明的組合或者子組合。對(duì)結(jié)構(gòu)的框圖和流程圖歸類以易于理解。然而，應(yīng)當(dāng)理解的是，在當(dāng)前發(fā)明可選擇的實(shí)施例中，方框的組合、新方框的增加、方框的重新排布等都是可預(yù)料的。
[0061]相應(yīng)地，說明書及附圖被認(rèn)為是示意性的而不是限制性的。但是，在不脫離本發(fā)明的精神和權(quán)利要求所闡明范圍的前提下，在其上做出的各種各樣的改進(jìn)或者改動(dòng)被認(rèn)為是顯而易見的。
【權(quán)利要求】
1.一種建立實(shí)物物體的計(jì)算機(jī)圖形模型的方法，該方法包括: 選擇第一照明圖案； 在顯示設(shè)備上顯示所述第一照明圖案以便照亮實(shí)物物體； 獲取由所述第一照明圖案所照亮的所述實(shí)物物體的第一圖像，其中，所述第一圖像包括具有陰影值的圖像點(diǎn)； 選擇第二照明圖案； 在顯示設(shè)備上顯示所述第二照明圖案以便照亮實(shí)物物體； 獲取由所述第二照明圖案所照亮的所述實(shí)物物體的第二圖像，其中，所述第二圖像包括具有陰影值的圖像點(diǎn)； 確定計(jì)算機(jī)圖形模型的一組模型點(diǎn)中的每個(gè)模型點(diǎn)的候選表面方位，所述確定基于所述第一和第二圖像的圖像點(diǎn)的陰影值。
2.如權(quán)利要求1所述的方法，其中所述第一或第二照明圖案包括預(yù)先確定的照明圖案。
3.如權(quán)利要求1所述的方法，其中所述第一或第二照明圖案包括根據(jù)算法生成的圖案。.
4.如權(quán)利要求1所述的方法，其中所述第一或第二照明圖案包括平移或選擇的三角形。
5.如權(quán)利要求1所述的方法，其中，所述第一照明圖案包括不同顏色的區(qū)域。
6.如權(quán)利要求5所述的方法，其中，所述第二照明圖案包括不同顏色的區(qū)域，其中所述顏色區(qū)域的位置與所述第一照明圖案中的顏色區(qū)域的位置互換。
7.如權(quán)利要求1所述的方法，其中，確定一組模型點(diǎn)中的每個(gè)模型點(diǎn)的候選表面方位包括: 將所述第一或第二圖像的陰影值與校準(zhǔn)陰影值匹配，該校準(zhǔn)陰影值得自具有已知幾何形狀并且被第一照明圖案照亮的校準(zhǔn)物體的圖像；以及 根據(jù)所述校準(zhǔn)物體的已知幾何形狀的部分定義第一組候選表面方位，該部分對(duì)應(yīng)所述校準(zhǔn)陰影值。
8.如權(quán)利要求7所述的方法，其中，所述校準(zhǔn)物體是用戶的臉的一部分。
9.如權(quán)利要求7所述的方法，其中，所述校準(zhǔn)物體是球體。
10.如權(quán)利要求1所述的方法，進(jìn)一步包括: 判斷模型點(diǎn)組的至少一部分模型點(diǎn)的每一個(gè)是否與單一候選表面方位相關(guān)聯(lián)；以及響應(yīng)于模型點(diǎn)組的至少一部分模型點(diǎn)的每一個(gè)與單一候選表面方位相關(guān)聯(lián)的判斷，定義適于模型點(diǎn)組的至少一部分模型點(diǎn)的候選表面方位的計(jì)算機(jī)圖形模型的表面。
11.一種建立實(shí)物物體的計(jì)算機(jī)圖形模型的系統(tǒng)，包括: 用于選擇第一照明圖案的裝置； 用于在顯示設(shè)備上顯示所述第一照明圖案以便照亮實(shí)物物體的裝置； 用于獲取由所述第一照明圖案所照亮的所述實(shí)物物體的第一圖像的裝置，其中，所述第一圖像包括具有陰影值的圖像點(diǎn)； 用于選擇第二照明圖案的裝置； 用于在顯示設(shè)備上顯示所述第二照明圖案以便照亮實(shí)物物體的裝置；用于獲取由所述第二照明圖案所照亮的所述實(shí)物物體的第二圖像的裝置，其中，所述第二圖像包括具有陰影值的圖像點(diǎn)； 用于確定計(jì)算機(jī)圖形模型的一組模型點(diǎn)中的每個(gè)模型點(diǎn)的候選表面方位的裝置，所述確定基于所述第一和第二圖像的圖像點(diǎn)的陰影值。
12.如權(quán)利要求11所述的系統(tǒng)，其中所述第一或第二照明圖案包括預(yù)先確定的照明圖案。
13.如權(quán)利要求11所述的系統(tǒng)，其中所述第一或第二照明圖案包括根據(jù)算法生成的圖案。
14.如權(quán)利要求11所述的系統(tǒng)，其中所述第一或第二照明圖案包括平移或選擇的三角形。
15.如權(quán)利要求11所述的系統(tǒng)，其中，所述第一照明圖案包括不同顏色的區(qū)域。
16.如權(quán)利要求15所述的系統(tǒng)，其中，所述第二照明圖案包括不同顏色的區(qū)域，其中所述顏色區(qū)域的位置與所述第一照明圖案中的顏色區(qū)域的位置互換。
17.如權(quán)利要求11所述的系統(tǒng)，其中，用于確定一組模型點(diǎn)中的每個(gè)模型點(diǎn)的候選表面方位的裝置包括: 用于將所述第一或第二圖像的陰影值與校準(zhǔn)陰影值匹配的裝置，該校準(zhǔn)陰影值得自具有已知幾何形狀并且被第一照明圖案照亮的校準(zhǔn)物體的圖像；以及 用于根據(jù)所述校準(zhǔn)物體的已知幾何形狀的部分定義第一組候選表面方位的裝置，該部分對(duì)應(yīng)所述校準(zhǔn)陰影值。
18.如權(quán)利要求17所述的系統(tǒng)，其中，所述校準(zhǔn)物體是用戶的臉的一部分。
19.如權(quán)利要求17所述的系統(tǒng)，其中，所述校準(zhǔn)物體是球體。
20.如權(quán)利要求11所述的系統(tǒng)，進(jìn)一步包括: 用于判斷模型點(diǎn)組的至少一部分模型點(diǎn)的每一個(gè)是否與單一候選表面方位相關(guān)聯(lián)的裝置；以及 裝置，用于響應(yīng)于模型點(diǎn)組的至少一部分模型點(diǎn)的每一個(gè)與單一候選表面方位相關(guān)聯(lián)的判斷，定義適于模型點(diǎn)組的至少一部分模型點(diǎn)的候選表面方位的計(jì)算機(jī)圖形模型的表面。
【文檔編號(hào)】G06T17/00GK103489216SQ201310409656
【公開日】2014年1月1日 申請(qǐng)日期:2008年4月23日 優(yōu)先權(quán)日:2007年4月24日
【發(fā)明者】S.奧斯曼 申請(qǐng)人:索尼電腦娛樂公司