專利名稱：一種人臉三維面形數(shù)字化測(cè)量系統(tǒng)的測(cè)量方法及設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于信息光學(xué)、圖像處理領(lǐng)域，涉及一種基于復(fù)合結(jié)構(gòu)光投影技 術(shù)的人臉三維面形數(shù)字化測(cè)量系統(tǒng)及其方法。
背景技術(shù)：
隨著社會(huì)的進(jìn)步和生活水平的提高，人們對(duì)生活質(zhì)量提出了更高的要 求，特別是對(duì)美的追求日益顯著。整形美容是世界市場(chǎng)范圍內(nèi)正在形成的新
興產(chǎn)業(yè)，美國(guó)整形消費(fèi)年均400億美元，日本、韓國(guó)整形手術(shù)比例是中國(guó)的 兩倍左右。隨著整體健康觀念的形成，中國(guó)醫(yī)學(xué)美容的發(fā)展將快速提升。目 前全國(guó)整形美容目標(biāo)消費(fèi)群總數(shù)估計(jì)為13970萬人，占全國(guó)女性總數(shù)的22 % 。此數(shù)據(jù)隨市場(chǎng)和消費(fèi)者消費(fèi)觀念的成熟將逐年遞增。
由于人們審美水平的提高，對(duì)醫(yī)學(xué)整形美容的效果提出了更高的要求。 在外科整形手術(shù)中，人們大多還是釆用傳統(tǒng)的手工測(cè)量方法來獲取人臉的形 貌特征，測(cè)量精度不高，也不方便，而且容易對(duì)人臉皮膚帶來?yè)p傷。隨著數(shù) 字化時(shí)代的到來，人們渴求一種非接觸、快速、準(zhǔn)確的測(cè)量方法來獲取數(shù)字 化的人臉三維形貌，并希望借助通用計(jì)算機(jī)輔助設(shè)計(jì)等現(xiàn)代化技術(shù)手段來模 擬和設(shè)計(jì)臉部美容的整形方案并檢驗(yàn)效果等等，即將醫(yī)學(xué)整形美容推進(jìn)到數(shù) 字化階段。基于此，本發(fā)明提出了一種基于復(fù)合結(jié)構(gòu)光投影技術(shù)的人臉三維 面形數(shù)字化測(cè)量系統(tǒng)。
目前，基于醫(yī)學(xué)美容的人臉三維輪廓數(shù)字化方法得到了廣泛而深入的研 究，人們提出各種辦法來重建人體臉部的三維面形①《中華醫(yī)學(xué)美容雜志》 2001年第7巻第2期79—82頁(yè)提出利用CT技術(shù)進(jìn)行顱面結(jié)構(gòu)三維可視化
和顱面手術(shù)整形仿真才莫擬的研究；②《華西口腔醫(yī)學(xué)雜志》1991年第5巻 第3期263^265頁(yè)、《計(jì)算機(jī)工程》2007年第33巻第14期1—3頁(yè)提出根 據(jù)容貌正、側(cè)面的兩張二維圖像建立容貌軟組織的計(jì)算機(jī)輔助分析系統(tǒng)，通 過選擇關(guān)鍵特征點(diǎn)，從而得到特定人臉的三維網(wǎng)格模型；③中國(guó)專利申請(qǐng)?zhí)?200610088857.9提出的《基于單張照片的快速人臉建模方法及系統(tǒng)》和中國(guó) 專利申請(qǐng)?zhí)?00610024720.7提出的《由一幅正面圖像實(shí)現(xiàn)快速人臉模型重 建的方法》只使用其中的正面圖像進(jìn)行人臉三維輪廓重建，是對(duì)方法②的一 種簡(jiǎn)化； 《圖像與視覺計(jì)算》2000年第18巻第4期337—343頁(yè)提出了 一種基于立體視覺的三維人臉建模方法，需要計(jì)算左右圖像的對(duì)應(yīng)關(guān)系；⑤ 中國(guó)專利申請(qǐng)?zhí)?2146278.X提出的《融合多視角、多線索二維信息的人臉 三維模型的建立方法》首先用標(biāo)定好的立體攝像機(jī)拍攝人臉從正面逐步轉(zhuǎn)到 側(cè)面的視頻序列，然后從中提取出人臉三維信息；⑥《電子測(cè)量與儀器學(xué)報(bào)》 2007年第21巻第3期9一14頁(yè)提出了 一種借助網(wǎng)格光從兩張二維圖像中測(cè) 量三維人臉曲面的方法；⑦中國(guó)專利申請(qǐng)?zhí)?00710023778.4提出的《基于 虛擬圖像對(duì)應(yīng)的立體^L覺三維人臉建模方法》利用標(biāo)定好的左右攝像機(jī)采集 被測(cè)人臉的立體圖對(duì)，利用其對(duì)應(yīng)關(guān)系重建人臉的三維面形；⑧《中國(guó)醫(yī)學(xué) 影像技術(shù)》2005年第21巻第10期1616—1618頁(yè)、《Journal of US -China Medical Science》2006年第3巻第2期13—18頁(yè)均提出使用基于相移數(shù)字 結(jié)構(gòu)光投影的相位測(cè)量輪廓術(shù)(Phase Measuring Profilometry,簡(jiǎn)稱PMP ) 來獲得人臉三維輪廓數(shù)字化重建，并用于指導(dǎo)醫(yī)生開展整形美容手術(shù)的計(jì)算 機(jī)輔助設(shè)計(jì)及效果評(píng)估。⑨暨南大學(xué)2006年碩士學(xué)位論文《人臉三維測(cè)量 系統(tǒng)在醫(yī)學(xué)測(cè)量中的應(yīng)用》(作者袁芳林)提出利用相位測(cè)量輪廓術(shù)重建 人臉三維模型，并在此基礎(chǔ)上根據(jù)人臉美學(xué)特征進(jìn)行整容設(shè)計(jì)。
從以上這些方法可以看出，目前基于醫(yī)學(xué)美容的人臉三維輪廓數(shù)字化方 法大致可以分為三類①所代表的基于CT技術(shù)的三維重建；②、③、④、 ⑤、◎、⑦所代表的基于被動(dòng)光學(xué)三維傳感方法的三維重建；⑧、(D所代表
的基于相位測(cè)量輪廓術(shù)的主動(dòng)光學(xué)三維傳感方法的三維重建。本發(fā)明提出的 基于復(fù)合結(jié)構(gòu)光投影技術(shù)的人臉三維面形數(shù)字化方法也是屬于主動(dòng)光學(xué)三 維傳感技術(shù)，但較之⑧、⑨所代表的相位測(cè)量輪廓術(shù)有一定的優(yōu)化和改進(jìn)。 在醫(yī)學(xué)整形美容外科手術(shù)中，對(duì)人臉三維形貌特征的精確提取是至關(guān)重
要的。目前比較成熟的方法是基于CT技術(shù)的三維測(cè)量，主要是針對(duì)骨組織 的整形分析，很難獲取人臉軟組織表面的三維形貌特征；基于立體視覺的三 維分析方法一般釆用從不同視角拍攝的人臉二維圖像來處理，容易受到環(huán)境 光線、背景、視角和人臉的姿態(tài)、表情、遮擋等不利因素的影響，因而其測(cè) 量精度很難有進(jìn)一步的提高；基于傳統(tǒng)的手工測(cè)量方法給患者和醫(yī)生都帶來 很大的不便，而且測(cè)量精度不高。因此，迫切需要尋找一種非接觸、快速、 準(zhǔn)確、便捷的測(cè)量方法來提取人臉的三維形貌特征，以提高醫(yī)學(xué)整形美容手 術(shù)的成功率和效果。
現(xiàn)有技術(shù)中，①所代表的基于CT技術(shù)的三維重建方法只能針對(duì)骨組織 的畸變或缺損的情況，在顱面整形以及牙頜面畸形矯治等方面應(yīng)用較多。軟 組織表面形態(tài)是整形美容效果的最直觀、最有說服力的表現(xiàn)形式，而CT技 術(shù)對(duì)于軟組織表面的三維輪廓重建比較困難，尤其是對(duì)于比較復(fù)雜的人臉面 部容貌的三維重建很難實(shí)現(xiàn)。
②、③、④、⑤、◎、⑦所代表的被動(dòng)光學(xué)三維傳感方法采用非結(jié)構(gòu)照 明方式，從一個(gè)或多個(gè)攝像系統(tǒng)獲取的二維圖像中確定距離信息，形成三維 面形數(shù)據(jù)。當(dāng)從一個(gè)攝像系統(tǒng)獲取的二維圖像中確定距離信息時(shí)，必須依賴 有關(guān)物體的形態(tài)、光照條件等先驗(yàn)知識(shí)，如果先驗(yàn)知識(shí)不足就可能產(chǎn)生計(jì)算 上的錯(cuò)誤；從兩個(gè)或多個(gè)攝像系統(tǒng)獲取的不同視覺方向的二維圖像中確定距 離信息，需要進(jìn)行大量的相關(guān)或匹配等運(yùn)算，而且需要對(duì)若干個(gè)攝像機(jī)進(jìn)行 精確標(biāo)定。另夕卜，基于二維圖像的人臉測(cè)量，不可避免受到環(huán)境光線、背景、 視角和人臉的姿態(tài)、表情、遮擋等不利因素的影響，因而其測(cè)量精度很難有 進(jìn)一步的提高，這使得采用單一的二維圖像人臉測(cè)量技術(shù)的應(yīng)用產(chǎn)品難以達(dá)到實(shí)用水準(zhǔn)。因此，；陂動(dòng)光學(xué)三維傳感方法常常用于對(duì)三維目標(biāo)的識(shí)別、理 解以及位置和形態(tài)分析，而大多數(shù)以三維面形測(cè)量為目的三維傳感系統(tǒng)一般 都釆用主動(dòng)光學(xué)三維傳感方式。
主動(dòng)光學(xué)三維傳感方法采用結(jié)構(gòu)光照明方式，具有非接觸、高測(cè)量精度 等特點(diǎn)。由于三維面形對(duì)結(jié)構(gòu)光場(chǎng)的時(shí)間或空間進(jìn)行了調(diào)制，從攜帶有三維 面形信息的觀察光場(chǎng)中，通過適當(dāng)?shù)姆椒ń庹{(diào)得到三維面形數(shù)據(jù)。相位測(cè)量 輪廓術(shù)(PMP)是一種重要的主動(dòng)光學(xué)三維傳感方法，它采用投影正弦光柵 和相移技術(shù)，通過獲取全場(chǎng)條紋的空間信息和一個(gè)條紋周期內(nèi)相移條紋的時(shí) 序信息，重建物體表面的三維輪廓。但是，相位測(cè)量輪廓術(shù)解調(diào)一幅三維輪 廓數(shù)據(jù)，至少需要拍攝三幅相移條紋，影響了測(cè)量的實(shí)時(shí)性，而且測(cè)量過程 中目標(biāo)人臉的微小移動(dòng)或表情變化，都會(huì)直接影響解調(diào)結(jié)果，從而造成較大 的重建誤差。⑧、(D提出了采用數(shù)字光柵投影的快速相移技術(shù)，雖然能在很
短時(shí)間內(nèi)投影和拍:^聶若干幅相移條紋，但相移條紋在快速輪換投影/拍攝時(shí)，
CCD相機(jī)拍攝到的圖像很容易產(chǎn)生拖尾、畸變等現(xiàn)象，因而容易造成較大 的測(cè)量誤差。
因而，現(xiàn)有技術(shù)還有待于改進(jìn)和提高。

發(fā)明內(nèi)容
本發(fā)明的目的在于利用基于復(fù)合結(jié)構(gòu)光投影技術(shù)的主動(dòng)光學(xué)三維傳感 方法來準(zhǔn)確、便捷的測(cè)量人臉的三維面形，從而實(shí)現(xiàn)人臉三維輪廓的數(shù)字化。 本發(fā)明的技術(shù)方案包括
一種人臉三維面形數(shù)字化測(cè)量系統(tǒng)的測(cè)量方法，其中，它包括以下步
驟
用簡(jiǎn)單結(jié)構(gòu)光條紋按照一定規(guī)則疊加形成一幀復(fù)合結(jié)構(gòu)光條紋； 利用數(shù)字投影儀投射復(fù)合結(jié)構(gòu)光條紋至目標(biāo)人臉，并利用CCD攝像機(jī) 采集一幀受人臉高度信息調(diào)制的變形復(fù)合條紋；
計(jì)算變形復(fù)合條紋的二維傅里葉變換，并通過二維帶通濾波、逆傅里葉
變換、灰度校準(zhǔn)等技術(shù)環(huán)節(jié)，從中提取出兩幀具有"相位差的變形條紋；
利用得到的相移條紋，提取出受到目標(biāo)人臉面部輪廓調(diào)制的相位信息， 并通過解調(diào)技術(shù)獲得目標(biāo)人臉的三維高度信息，實(shí)現(xiàn)人臉面部輪廓的數(shù)字化 重建；
對(duì)三維人臉數(shù)據(jù)進(jìn)行特征點(diǎn)分析，利用紋理映射技術(shù)還原臉部的色彩信 息，使之逼近真實(shí)人臉的色彩。
所述的方法，其中所述的復(fù)合結(jié)構(gòu)光條紋的形成方法包括 選取兩幀具有"相位差的同頻正弦條紋光柵；
用兩個(gè)不同頻率的載頻分別調(diào)制與其方向垂直的上述兩幅正弦條紋，形 成二幀調(diào)制后的結(jié)構(gòu)光條紋；
用通用計(jì)算機(jī)將調(diào)制后的二幀結(jié)構(gòu)光條紋進(jìn)行編碼疊加，生成一幀數(shù)字 復(fù)合結(jié)構(gòu)光條紋。
所述的方法，其中所述的兩幀具有"相位差的正弦條紋光柵為<formula>formula see original document page 10</formula> (1)
上式中，c為投影常量；"=0, l為相移因子，"冗代表?xiàng)l紋的初始相
位；少為相位變化方向，簡(jiǎn)稱相位方向；力為正弦光4冊(cè)的基頻。 所述的方法，其中所述的單幀復(fù)合結(jié)構(gòu)光條紋為
<formula>formula see original document page 10</formula>
其中"和6為投影常數(shù)；x為垂直于相位方向，簡(jiǎn)稱垂直方向。 所述的方法，其中所述的利用數(shù)字投影儀投射復(fù)合結(jié)構(gòu)光條紋至目標(biāo) 人臉的步驟為
通過調(diào)整通用計(jì)算機(jī)程序的相關(guān)參數(shù)選擇合適的投影常數(shù)a和b，使復(fù) 合結(jié)構(gòu)光條紋的強(qiáng)度范圍與投影儀的強(qiáng)度范圍達(dá)成一致；
利用通用計(jì)算機(jī)控制數(shù)字投影儀將復(fù)合結(jié)構(gòu)光條紋投射到目標(biāo)人臉。 所述的方法，其中所述利用CCD攝像機(jī)采集的受人臉高度信息調(diào)制
的變形復(fù)合條紋為
iXx，力=or(x，力+ 6《;r，州[c + cos(2;r/" + ^ (;c，力)]cos(2;r/1 x)
+ [c + cos(2;r/(^ + ^j(;c，力+ ;r)〗cos(2;r/2:x;)〉 ( 3 )
其中力是物體表面非均勻反射率，爐"，力表示受物體高度調(diào)制的相 位信息。
所述的方法，其中所述的計(jì)算變形復(fù)合條紋的二維傅里葉變換，對(duì)(3) 式進(jìn)行二維傅里葉變換并化簡(jiǎn)得
=碌")+ |{
- 力，77) + ^ - " -力)+ "(《_ /'，7 + /"〗+ ,+ /',77) + ^ +細(xì)一 /》w (w,7 + /"] + ,—/m) - ^ _》，/7 - /》-"(《- /2,7 + /》]+
,+ /2,")-^ + /2,/7-/"-"(《+ /2,/7 +力)〗} (4)
其中、 、附-/1,")和tK")分別為(2-6 )式中尸"，力、 一，力、 Z , 、 丄6K乂，少)exp[/^(x，:v)]
^"力和2 的二維傅里葉頻譜，"對(duì)應(yīng)著時(shí)域中的相位方
向，即基頻所在的方向；《對(duì)應(yīng)著時(shí)域中的垂直方向，即載頻所在的方向。
所述的方法，其中所述的通過二維帶通濾波、逆傅里葉變換、灰度校
準(zhǔn)等技術(shù)環(huán)節(jié)，從中提取出兩幀具有"相位差的變形條紋；所述變形條紋的
光強(qiáng)分布為
力="尸'0,力+ ^力cos[2;r勿+ p(x，力] 1g2(x,力=or '0，力+ 力cos[2;r/Vy + 力+ ;r] ( 5 )
其中,"力為經(jīng)過灰度校準(zhǔn)之后的非均勻反射率，是一組常量矩陣。 所述的方法，其中所述利用得到的相移條紋，提取出受到目標(biāo)人臉面
部輪廓調(diào)制的相位信息，并通過解調(diào)技術(shù)獲得目標(biāo)人臉的三維高度信息具體
步驟為、
將(5)中的二式相減后得到<formula>formula see original document page 12</formula>(6 )
對(duì)上式沿著y方向進(jìn)行一維傅里葉變換，其頻譜分布表示為<formula>formula see original document page 12</formula>
其中GO") 、 y(x，/7)分別為g(x，力、6,0，力exp[!々0,力]的一維傅里葉語； 選擇合適的濾波窗將基頻分量濾出，對(duì)其進(jìn)行傅里葉逆變換并經(jīng)過解調(diào)
運(yùn)算，得到調(diào)制位相信息伊(U)。
所述的方法，其中在測(cè)量目標(biāo)后方確定一個(gè)參考平面；事先利用上述
所述方法獲得參考平面的調(diào)制位相信息伊。"，力，獲得目標(biāo)人臉的真實(shí)三維高
度分布<formula>formula see original document page 12</formula>
其中A"力代表目標(biāo)人臉的數(shù)字化的三維高度信息；"7表示CCD攝像
機(jī)與數(shù)字投影儀(DLP)之間的夾角參數(shù)，也稱為該光學(xué)測(cè)量裝置的系統(tǒng)參 數(shù)。
所述的方法，其中所述方法可以用于人體其它部位的三維面形數(shù)字化 測(cè)量，包括對(duì)人體乳房的三維面形數(shù)字化測(cè)量。 一種人臉三維面形數(shù)字化測(cè)量系統(tǒng)的設(shè)備，其中，它包括
復(fù)合結(jié)構(gòu)光產(chǎn)生裝置，用以產(chǎn)生筒單結(jié)構(gòu)光條紋，送往通用計(jì)算機(jī)調(diào)制 疊加處理，形成復(fù)合結(jié)構(gòu)光條紋；
數(shù)字投影儀，用于將復(fù)合結(jié)構(gòu)光條故投射到目標(biāo)人臉部及參考平面上；
CCD攝像機(jī)，用于采集人臉高度信息調(diào)制后的變形復(fù)合條紋及參考平 面上的復(fù)合結(jié)構(gòu)條紋；
通用計(jì)算機(jī)，用于將簡(jiǎn)單結(jié)構(gòu)光條紋處理形成復(fù)合結(jié)構(gòu)光條紋；將CCD 攝像機(jī)采集的變形復(fù)合條紋進(jìn)行二維傅里葉變換、二維帶通濾波、逆傅里葉
變換、灰度校準(zhǔn)，提取出兩幀具有"相位差的變形條紋，計(jì)算出受到目標(biāo)人
臉面部輪廓調(diào)制的位相信息；解調(diào)獲得目標(biāo)人臉面形的三維高度分布信息； 參考平面，用于獲得參考平面的調(diào)制位相信息； ' 所述通用計(jì)算機(jī)與所述復(fù)合結(jié)構(gòu)光產(chǎn)生裝置、所述數(shù)字投影儀、所述 ;CCD攝像機(jī)之間通過通訊接口連接。
所述的設(shè)備，其中它還包括紋理映射裝置，與通用計(jì)算機(jī)相連接，用于還
原臉部色彩信號(hào)。
所述的設(shè)備，其中所述的數(shù)字投影儀和CCD攝像機(jī)的鏡頭上設(shè)有近 紅外濾波片。
' 本發(fā)明所提供的非接觸、快速、準(zhǔn)確、便捷的基于復(fù)合結(jié)構(gòu)光投影技術(shù)
的人臉三維面形數(shù)字化測(cè)量系統(tǒng)，為人臉整形美容外科手術(shù)帶來新的測(cè)量方 法和評(píng)估手段，促進(jìn)醫(yī)學(xué)整形美容的數(shù)字化進(jìn)程，并為以后的三維人臉研究 和應(yīng)用打下基礎(chǔ)。


圖1為本發(fā)明復(fù)合結(jié)構(gòu)光條紋的形成圖2為本發(fā)明將復(fù)合結(jié)構(gòu)光條紋投射到目標(biāo)人臉時(shí)，人臉表面的連續(xù)光 強(qiáng)分布尸"，力的二維傅里葉變換F(仁")的二維頻鐠分布俯視圖3為本發(fā)明最終從復(fù)合結(jié)構(gòu)光條紋中提取的一幀含有調(diào)制相位信息 的條紋g"，力沿著Y方向(相位方向)的一維傅里葉變換G"力)的頻譜分布 圖4為本發(fā)明測(cè)量流程圖； 圖5為本發(fā)明測(cè)量光路圖； 圖6為本發(fā)明測(cè)量框圖7為本發(fā)明拍攝到的投影到參考平面的復(fù)合結(jié)構(gòu)光條紋示意圖； 圖8為本發(fā)明受到人臉三維面形調(diào)制的變形結(jié)構(gòu)光條紋示意圖9為本發(fā)明相位分布示意圖10至圖13為本發(fā)明初步試驗(yàn)效果圖。
具體實(shí)施例方式
以下結(jié)合附圖實(shí)施例，說明本發(fā)明提出的利用基于復(fù)合結(jié)構(gòu)光投影技術(shù) 的主動(dòng)光學(xué)三維傳感方法，來準(zhǔn)確、便捷的測(cè)量人臉的三維面形，從而實(shí)現(xiàn) 人臉三維輪廓的數(shù)字化的方法，具體實(shí)現(xiàn)方案如下
復(fù)合結(jié)構(gòu)光投影技術(shù)采用一幀復(fù)合結(jié)構(gòu)光條紋代替?zhèn)鹘y(tǒng)的簡(jiǎn)單條紋投
射，只需投影/拍攝一幀復(fù)合條紋即可重建人臉三維輪廓。復(fù)合結(jié)構(gòu)光產(chǎn)生
裝置是用以產(chǎn)生簡(jiǎn)單結(jié)構(gòu)光條紋，送往通用計(jì)算機(jī)調(diào)制疊加處理，形成復(fù)合
結(jié)構(gòu)光條紋的。所述復(fù)合結(jié)構(gòu)光條紋采用兩個(gè)不同頻率的載頻分別調(diào)制與其
方向垂直的兩幀具有兀相位差的正弦條紋并疊加而形成。其中被調(diào)制的兩幀
具有"相位差的正弦光4冊(cè)為
G" = c + cos( 2;r/Vy+w;r) (1)
上式中，c為投影常量；"=0, 1為相移因子，""代表?xiàng)l紋的初始相
位；y為相位變化方向，簡(jiǎn)稱相位方向(Phase);々為正弦光柵的基頻。由 (1)式可看出，這兩幀具有"相位差的正弦條紋有著相同的頻率力。
用兩個(gè)不同頻率的載頻/'與/2分別對(duì)(l)式的兩幀正弦條紋進(jìn)行調(diào)制，
即進(jìn)行乘法運(yùn)算；然后將得到的兩幀調(diào)制后的條紋進(jìn)行疊加，即進(jìn)行加法運(yùn) 算，如圖1所示，即可得到一幀復(fù)合結(jié)構(gòu)光條紋
/(x，力=fl ++ cos(2;r/V力]cos(2;r/1 x)
+ [c + cos(2;r/Vj; + ;r)]cos(2;r/2 x)} (2)
其中"和6為投影常數(shù)；X為垂直于相位方向，簡(jiǎn)稱垂直方向
(Orthogonal )。
復(fù)合結(jié)構(gòu)光條紋的具體實(shí)現(xiàn)采用通用計(jì)算機(jī)按上述原理進(jìn)行編碼生成 數(shù)字復(fù)合條紋。
選擇合適的投影常熬"和6 ，使復(fù)合結(jié)構(gòu)光條紋的強(qiáng)度范圍與投影儀的 強(qiáng)度范圍達(dá)成一致(通過調(diào)整計(jì)算機(jī)程序的相關(guān)參數(shù)實(shí)現(xiàn))。利用通用計(jì)算
機(jī)控制數(shù)字投影儀(DLP),將復(fù)合結(jié)構(gòu)光條紋投射到目標(biāo)人臉時(shí)，人臉表 面的連續(xù)光強(qiáng)分布可以表示為
<formula>formula see original document page 15</formula>其中巾，力是物體表面非均勻反射率，伊"力表示受物體高度調(diào)制的相 位信息。
此即為攝像機(jī)拍攝到的人臉高度信息調(diào)制的變形復(fù)合條紋。 對(duì)(3)式進(jìn)行二維傅里葉變換并化簡(jiǎn)得
<formula>formula see original document page 15</formula>其中、 v4(") 、 /,，77)和v/(《,")分別為(2陽6 )式中戶"，力、—，力、 ^"力和2 z的二維傅里葉頻i普，"對(duì)應(yīng)著時(shí)域中的相位方
向，即基頻所在的方向；《對(duì)應(yīng)著時(shí)域中的垂直方向，即載頻所在的方向。 其頻鐠分布如圖2示。
分別利用漢寧窗對(duì)兩個(gè)載頻頻譜進(jìn)行二維帶通濾波，對(duì)濾出的頻譜分別 進(jìn)行移中之后，再分別進(jìn)行逆傅里葉變換，取其模，得到兩幀具有"相位差 的正弦條紋圖。對(duì)這兩幀條紋圖進(jìn)行灰度校準(zhǔn)，得到如下的光強(qiáng)分布
<formula>formula see original document page 15</formula>
其中,"力為經(jīng)過灰度校準(zhǔn)之后的非均勻反射率，是一組常量矩陣。二
式相減后得到
<formula>formula see original document page 16</formula> (6 )
對(duì)上式沿著^方向(相位方向)進(jìn)行一維傅里葉變換，其頻譜分布表示
其中<formula>formula see original document page 16</formula><formula>formula see original document page 16</formula>的一維傅里葉錯(cuò)。
其頻譜分布如圖3示。
選擇合適的濾波窗將圖中陰影部分所示的基頻分量濾出，對(duì)其進(jìn)行傅里 葉逆變換并經(jīng)過解調(diào)運(yùn)算，得到調(diào)制位相信息伊"，力。為了確定目標(biāo)人臉的 真實(shí)三維信息，需要在測(cè)量目標(biāo)后方確定一個(gè)參考平面?？梢允孪壤蒙鲜?br> 方法獲得參考平面的調(diào)制位相信息伊。"，力，這樣就可以獲得目標(biāo)人臉的真實(shí) 三維高度分布
<formula>formula see original document page 16</formula>與<formula>formula see original document page 16</formula> (與<formula>formula see original document page 16</formula>其中A(x，力代表目標(biāo)人臉的數(shù)字化的三維高度信息；7表示CCD攝像
機(jī)與數(shù)字投影儀(DLP)之間的夾角參數(shù)，也稱為該光學(xué)測(cè)量裝置的系統(tǒng)參數(shù)。
按照上述測(cè)量原理，工作流程可以描述為l)由幾幀簡(jiǎn)單正弦條紋生成 一幀復(fù)合結(jié)構(gòu)光條紋，經(jīng)投影系統(tǒng)(數(shù)字投影儀)投射到目標(biāo)人臉；2)復(fù) 合結(jié)構(gòu)光條紋(載波信號(hào))的位相受到目標(biāo)人臉三維面形高度分布(調(diào)制信 號(hào))的調(diào)制，得到變形復(fù)合結(jié)構(gòu)光場(chǎng)；3)成像系統(tǒng)(CCD攝像機(jī))將采集 到的變形復(fù)合結(jié)構(gòu)光場(chǎng)送通用計(jì)算機(jī)處理；4)通用計(jì)算機(jī)對(duì)所得的信息進(jìn) 行一系列運(yùn)算處理，得到位相信息；5)根據(jù)位相與高度分布的調(diào)制關(guān)系， 解調(diào)出目標(biāo)人臉三維面形的高度分布。其工作流程如圖4所示。
圖5表示的是測(cè)量光路圖，其中"是CCD攝像機(jī)與數(shù)字投影儀之間的
距離，Z。是CCD攝像機(jī)到參考平面之間的距離。圖6表示測(cè)量框圖。圖7、 圖8表示簡(jiǎn)化的測(cè)量裝置實(shí)物圖，即采用通用計(jì)算機(jī)控制投影儀投射復(fù)合結(jié) 構(gòu)光條紋，利用CCD工業(yè)測(cè)量相機(jī)采集受到人臉三維面形調(diào)制的變形復(fù)合 結(jié)構(gòu)光條紋。
為了說明本發(fā)明提出的人臉三維面形數(shù)字化方法的有效性，我們做了一 個(gè)初步的模擬實(shí)驗(yàn)。實(shí)驗(yàn)采用Panasonic液晶投影儀，型號(hào)為PT-P2500，分 辨率為1024x768。圖像釆集設(shè)備為加拿大Prosilica彩色CCD工業(yè)相機(jī)，型 號(hào)為EC1350C，分辨率為1360x1024，像素尺寸大小為4.65umxl.65um,其 中CCD型號(hào)為Sony ICX205AK,尺寸為1/2";鏡頭采用日本KOWA工業(yè) 鏡頭，型號(hào)為L(zhǎng)M12JCM，焦距為12mm;連接CCD相機(jī)與通用計(jì)算機(jī)的 1394板卡釆用臺(tái)灣KEC，型號(hào)為1582T;參考平面為一白板。測(cè)量系統(tǒng)的 幾4可參數(shù)為丄。=73附附，"=18附附。
采用聯(lián)想臺(tái)式通用計(jì)算機(jī)進(jìn)行程序設(shè)計(jì)及數(shù)據(jù)處理。利用通用計(jì)算機(jī)進(jìn) 行編碼生成復(fù)合結(jié)構(gòu)光條紋時(shí)，兩個(gè)載頻/'和》分別給定為3/40""eAP^、 6/40//"e//^e/,基頻乃為32/600""eAP/xe/。生成的復(fù)合結(jié)構(gòu)光條紋通過數(shù)字 投影儀投射到參考白板上，利用CCD相機(jī)拍攝到的條l圖如圖7所示。
實(shí)驗(yàn)采用的目標(biāo)人臉是一個(gè)白色的人臉模具，圖8為受到人臉模具的三 維面形調(diào)制的變形結(jié)構(gòu)光條紋。采集到的圖像信息通過通用計(jì)算機(jī)處理，得 到的數(shù)字化人臉三維面形的數(shù)據(jù)效果圖見圖8、圖9所示。
本發(fā)明還公開了一人臉三維面形數(shù)字化測(cè)量系統(tǒng)的設(shè)備，它包括所述 復(fù)合結(jié)構(gòu)光產(chǎn)生裝置，用以產(chǎn)生簡(jiǎn)單結(jié)構(gòu)光條紋，送往通用計(jì)算機(jī)調(diào)制疊加 處理，形成復(fù)合結(jié)構(gòu)光條紋；所述數(shù)字投影儀，用于將復(fù)合結(jié)構(gòu)光條紋投射 到目標(biāo)人臉部及參考平面上；所述CCD攝像機(jī)，用于采集人臉高度信息調(diào) 制后的變形復(fù)合條紋及參考平面上的復(fù)合結(jié)構(gòu)條紋；以及所述通用計(jì)算機(jī)， 用于將簡(jiǎn)單結(jié)構(gòu)光條紋處理形成復(fù)合結(jié)構(gòu)光條紋；將CCD攝像機(jī)采集的變 形復(fù)合條紋進(jìn)行二維傅里葉變換、二維帶通濾波、逆傅里葉變換、灰度校準(zhǔn)，
提取出兩幀具有"相位差的變形條紋，計(jì)算出受到目標(biāo)人臉面部輪廓調(diào)制的
位相信息；解調(diào)獲得目標(biāo)人臉面形的三維高度分布信息。
本發(fā)明所述設(shè)備中還釆用用于獲得參考平面的調(diào)制位相信息的參考平 面。所述通用計(jì)算4幾與所述復(fù)合結(jié)構(gòu)光產(chǎn)生裝置、所述數(shù)字投影儀、所述 CCD攝像機(jī)之間通過通訊接口連接。
不同角度的人臉數(shù)字化三維面形分布如圖10至13所示。本發(fā)明還可 以設(shè)置紋理映射裝置，通過對(duì)三維人臉數(shù)據(jù)進(jìn)行特征點(diǎn)分析，利用紋理映射 裝置還原臉部的色彩信息，使之逼近真實(shí)人臉的色彩。
從初步實(shí)驗(yàn)效果圖來看，通過本發(fā)明提出的方法能較便捷、準(zhǔn)確的得到 數(shù)字化三維面形信息，而且成本低廉。今后我們將通過調(diào)整系統(tǒng)參數(shù)、改善 實(shí)驗(yàn)環(huán)境等方法來進(jìn)一步提高其測(cè)量精度。
本發(fā)明提出采用基于復(fù)合結(jié)構(gòu)光投影技術(shù)的主動(dòng)光學(xué)三維傳感方法來 準(zhǔn)確、便捷的測(cè)量人臉的三維面形，從而為人臉三維形貌的數(shù)字化應(yīng)用打下 基礎(chǔ)。該技術(shù)中，我們采用通用計(jì)算機(jī)控制投影儀投射復(fù)合結(jié)構(gòu)光條紋，投 影儀可以看作是白光光源?？紤]到白光投射到人臉可能會(huì)帶來人體的不舒適 感，我們可以將白光光源替換成近紅外光，具體實(shí)現(xiàn)方式是在數(shù)字投影儀 及CCD攝像機(jī)鏡頭前分別加上一片近紅外濾波片，這樣就可以在近紅外光環(huán) 境下投影和拍^t聶，消除白光帶來的不舒適感。
在本發(fā)明提出的人臉三維面形測(cè)量系統(tǒng)的基礎(chǔ)上，可開發(fā)出一套針對(duì)人 臉整形的數(shù)字美容儀，包括光學(xué)測(cè)量裝置以及數(shù)字化人臉整形美容通用計(jì)算 機(jī)輔助設(shè)計(jì)系統(tǒng)軟件。該數(shù)字美容儀將集成光學(xué)測(cè)量、數(shù)據(jù)處理、數(shù)據(jù)結(jié)構(gòu) 設(shè)計(jì)、三維人臉立體圖像顯示與人機(jī)交互操作、曲面編輯、整容方案設(shè)計(jì)、 三維人臉數(shù)據(jù)庫(kù)建立等一系列的功能模塊。數(shù)字美容儀的系統(tǒng)功能的完善將 會(huì)為醫(yī)生和病人帶來極大方便，為人臉整形美容外科手術(shù)帶來新的測(cè)量方法 和評(píng)估手段，促進(jìn)醫(yī)學(xué)整形美容的數(shù)字化進(jìn)程。
本發(fā)明除了可應(yīng)用于人臉數(shù)字美容，身體其它一些部位的整形美容同樣
可以實(shí)現(xiàn)，比如乳房的整形美容，具體實(shí)現(xiàn)方式為利用本發(fā)明中提出的三 維測(cè)量方法精確獲得乳房的數(shù)字化三維信息，然后利用本發(fā)明的系統(tǒng)軟件進(jìn) 行整形設(shè)計(jì)，從而實(shí)現(xiàn)乳房的數(shù)字化整形美容，進(jìn)而指導(dǎo)醫(yī)師實(shí)施手術(shù)，更 好的達(dá)到乳房整形美容的效果，可以極大降低手術(shù)風(fēng)險(xiǎn)。
應(yīng)當(dāng)理解的是，上述針對(duì)具體實(shí)施例的描述較為詳細(xì)，并不能因此而認(rèn) 為是對(duì)本發(fā)明專利保護(hù)范圍的限制，本發(fā)明的專利保護(hù)范圍應(yīng)以所附權(quán)利要 求為準(zhǔn)。
權(quán)利要求
1、一種人臉三維面形數(shù)字化測(cè)量系統(tǒng)的測(cè)量方法，其特征在于，它包括以下步驟用簡(jiǎn)單結(jié)構(gòu)光條紋按照一定規(guī)則疊加形成一幀復(fù)合結(jié)構(gòu)光條紋；利用數(shù)字投影儀投射復(fù)合結(jié)構(gòu)光條紋至目標(biāo)人臉，并利用CCD攝像機(jī)采集一幀受人臉高度信息調(diào)制的變形復(fù)合條紋；計(jì)算變形復(fù)合條紋的二維傅里葉變換，并通過二維帶通濾波、逆傅里葉變換、灰度校準(zhǔn)等技術(shù)環(huán)節(jié)，從中提取出兩幀具有π相位差的變形條紋；利用得到的相移條紋，提取出受到目標(biāo)人臉面部輪廓調(diào)制的相位信息，并通過解調(diào)技術(shù)獲得目標(biāo)人臉的三維高度信息，實(shí)現(xiàn)人臉面部輪廓的數(shù)字化重建；對(duì)三維人臉數(shù)據(jù)進(jìn)行特征點(diǎn)分析，利用紋理映射技術(shù)還原臉部的色彩信息，使之逼近真實(shí)人臉的色彩。
2、 如權(quán)利要求1所述的方法，其特征在于所述的復(fù)合結(jié)構(gòu)光條紋的 形成方法包括選取兩幀具有"相位差的同頻正弦條紋光柵；成二幀調(diào)制后的結(jié)構(gòu)光條紋；用通用計(jì)算^L將調(diào)制后的二幀結(jié)構(gòu)光條紋進(jìn)行編碼疊加，生成一幀數(shù)字 復(fù)合結(jié)構(gòu)光條紋。
3、 如權(quán)利要求2所述的方法，其特征在于，所述的兩幀具有"相位差的正弦條紋光^J"為<formula>formula see original document page 2</formula> (1)上式中，c為投影常量；"=0， l為相移因子，""代表?xiàng)l紋的初始相 位；^為相位變化方向，'簡(jiǎn)稱相位方向；々為正弦光4冊(cè)的基頻。
4、 如權(quán)利要求2所述的方法，其特征在于所述的單幀復(fù)合結(jié)構(gòu)光條 紋為<formula>formula see original document page 3</formula> ( 2 )其中"和6為投影常數(shù)；^為垂直于相位方向，簡(jiǎn)稱垂直方向。
5、 如權(quán)利要求l所述的方法，其特征在于，所述的利用數(shù)字投影儀投 射復(fù)合結(jié)構(gòu)光條紋至目標(biāo)人臉的步驟為通過調(diào)整通用計(jì)算機(jī)程序的相關(guān)參數(shù)選擇合適的投影常數(shù)a和b，使復(fù) 合結(jié)構(gòu)光條紋的強(qiáng)度范圍與投影儀的強(qiáng)度范圍達(dá)成一致；利用通用計(jì)算機(jī)控制數(shù)字投影儀將復(fù)合結(jié)構(gòu)光條紋投射到目標(biāo)人臉。
6、 如權(quán)利要求1所述的方法，其特征在于所述利用CCD攝像機(jī)采集的受人臉高度信息調(diào)制的變形復(fù)合條紋為<formula>formula see original document page 3</formula>( 3 )其中^，力是物體表面非均勻反射率，伊"，力表示受物體高度調(diào)制的相 位信息。
7、 如權(quán)利要求6所述的方法，其特征在于，所述的計(jì)算變形復(fù)合條紋 的二維傅里葉變換，對(duì)(3)式進(jìn)行二維傅里葉變換并化簡(jiǎn)得<formula>formula see original document page 3</formula> (4)其中、爿(《,;7)、附-/1， 7)和^/7)分別為(2-6 )式中、"々，力、 <formula>formula see original document page 4</formula>^巾，力和2 ， ^的二維傅里葉頻i普，"對(duì)應(yīng)著時(shí)域中的相位方向，即基頻所在的方向；《對(duì)應(yīng)著時(shí)域中的垂直方向，即栽頻所在的方向。
8、 如權(quán)利要求7所述的方法，其特征在于所述的通過二維帶通濾波、 逆傅里葉變換、灰度校準(zhǔn)等技術(shù)環(huán)節(jié)，從中提取出兩幀具有"相位差的變形 條紋；所述變形條紋的光強(qiáng)分布為<formula>formula see original document page 4</formula>( 5 )其中 一"力為經(jīng)過灰度校準(zhǔn)之后的非均勻反射率，是一組常量矩陣。
9、 如權(quán)利要求8所述的方法，其特征在于所述利用得到的相移條紋， 提取出受到目標(biāo)人臉面部輪廓調(diào)制的相位信息，并通過解調(diào)技術(shù)獲得目標(biāo)人 臉的三維高度信息具體步驟為、將(5)中的二式相減后得到<formula>formula see original document page 4</formula> (6 )對(duì)上式沿著少方向進(jìn)行一維傅里葉變換，其頻譜分布表示為<formula>formula see original document page 4</formula>(7)其中G(x,T7)、 wO,")分別為g(A力、6r'0，力exp[z伊(x,力]的一維傅里葉錯(cuò)；選擇合適的濾波窗將基頻分量濾出，對(duì)其進(jìn)行傅里葉逆變換并經(jīng)過解調(diào) 運(yùn)算，得到調(diào)制位相信息^"，力。
10、 如權(quán)利要求9所述的方法，其特征在于在測(cè)量目標(biāo)后方確定一個(gè) 參考平面；事先利用上述所述方法獲得參考平面的調(diào)制位相信息P。"，力，獲 得目標(biāo)人臉的真實(shí)三維高度分布<formula>formula see original document page 4</formula>其中A"力代表目標(biāo)人臉的數(shù)字化的三維高度信息；7表示CCD攝像 機(jī)與數(shù)字投影儀(DLP)之間的夾角參數(shù)，也稱為該光學(xué)測(cè)量裝置的系統(tǒng)參數(shù)。
11、 如權(quán)利要求l所述的方法，其特征在于所述方法可以用于人體其 它部位的三維面形^t字化測(cè)量，包括對(duì)人體乳房的三維面形數(shù)字化測(cè)量。
12、 一種人臉三維面形數(shù)字化測(cè)量系統(tǒng)的設(shè)備，其特征在于，它包括 復(fù)合結(jié)構(gòu)光產(chǎn)生裝置，用以產(chǎn)生簡(jiǎn)單結(jié)構(gòu)光條紋，送往通用計(jì)算機(jī)調(diào)制疊加處理，形成復(fù)合結(jié)構(gòu)光條紋；數(shù)字投影儀，用于將復(fù)合結(jié)構(gòu)光條纟丈投射到目標(biāo)人臉部及參考平面上；CCD攝像機(jī)，用于采集人臉高度信息調(diào)制后的變形復(fù)合條紋及參考平 面上的復(fù)合結(jié)構(gòu)條紋；通用計(jì)算機(jī)，用于將簡(jiǎn)單結(jié)構(gòu)光條紋處理形成復(fù)合結(jié)構(gòu)光條紋；將CCD 攝像機(jī)采集的變形復(fù)合條紋進(jìn)行二維傅里葉變換、二維帶通濾波、逆傅里葉 變換、灰度校準(zhǔn)，提取出兩幀具有"相位差的變形條紋，計(jì)算出受到目標(biāo)人 臉面部輪廓調(diào)制的位相信息；解調(diào)獲得目標(biāo)人臉面形的三維高度分布信息；參考平面，用于獲得參考平面的調(diào)制位相信息；所述通用計(jì)算機(jī)與所述復(fù)合結(jié)構(gòu)光產(chǎn)生裝置、所述數(shù)字投影儀、所述 CCD攝像機(jī)之間通過通訊接口連接。
13、 如權(quán)利要求12所述的設(shè)備，其特征在于它還包括紋理映射裝 置，與通用計(jì)算4幾相連接，用于還原臉部色彩信號(hào)。
14、 如權(quán)利要求12所述的設(shè)備，其特征在于所述的數(shù)字投影儀和 CCD攝像機(jī)的鏡頭上設(shè)有近紅外濾波片。
全文摘要
本發(fā)明公開了一種人臉三維面形數(shù)字化測(cè)量系統(tǒng)及其方法。該方法基于復(fù)合結(jié)構(gòu)光投影技術(shù)，復(fù)合結(jié)構(gòu)光條紋由幾個(gè)不同頻率的載頻分別調(diào)制與其方向垂直的幾幀具有相位差的正弦條紋并疊加形成，只需采集一幀人臉調(diào)制的復(fù)合結(jié)構(gòu)光條紋光柵圖像，通過二維傅里葉變換及頻域二維帶通濾波，并進(jìn)行逆傅里葉變換，即可從一幀復(fù)合條紋中提取出幾幀具有相移的簡(jiǎn)單正弦條紋，之后利用相位測(cè)量輪廓術(shù)中的傳統(tǒng)相移技術(shù)來重建目標(biāo)人臉的三維面形。本發(fā)明能方便的獲取準(zhǔn)確的人臉數(shù)字化三維輪廓，為人臉整形美容外科手術(shù)帶來新的測(cè)量方法和評(píng)估手段，促進(jìn)醫(yī)學(xué)整形美容的數(shù)字化進(jìn)程。
文檔編號(hào)A61B5/103GK101347332SQ20081014206
公開日2009年1月21日 申請(qǐng)日期2008年8月22日 優(yōu)先權(quán)日2008年8月22日
發(fā)明者洋 沈, 鄭海榮 申請(qǐng)人:深圳先進(jìn)技術(shù)研究院