專利名稱：用于合成人臉圖像的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于合成人臉的方法和系統(tǒng)，尤其涉及用于基于馬爾科夫網(wǎng)絡(luò)模型 合成人臉圖像的方法和系統(tǒng)。
背景技術(shù)：
人臉識(shí)別技術(shù)的一個(gè)重要應(yīng)用是協(xié)助司法鑒定。例如，從警察局的照片數(shù)據(jù)庫 中自動(dòng)檢索出犯罪嫌疑人可以幫助警方很快縮小犯罪嫌疑人的范圍。但是，在很多情況 下，警方無法得到犯罪嫌疑人的照片。此時(shí)最好的替代品通常是根據(jù)目擊證人描述而所 畫的畫像。因此能夠根據(jù)畫像在照片數(shù)據(jù)庫中自動(dòng)尋找照片變得非常重要。然而，畫像 與照片存在很大的差異，并且產(chǎn)生畫像的心理過程也較為復(fù)雜，因此基于人臉畫像的識(shí) 別比通?；谌四樥掌淖R(shí)別困難得多。很難將畫像與照片這兩種不同類型的數(shù)據(jù)進(jìn)行 匹配。解決上述問題的一個(gè)方法是先把事先存儲(chǔ)在數(shù)據(jù)庫中的人臉照片轉(zhuǎn)換為人臉畫 像，然后將要查詢的人臉畫像與數(shù)據(jù)庫中所轉(zhuǎn)換的人臉畫像相匹配；或者先把要查詢的 人臉畫像轉(zhuǎn)換為人臉照片，然后將所轉(zhuǎn)換的人臉照片與事先存儲(chǔ)在數(shù)據(jù)庫中的人臉照片 相匹配。生成畫像的心理過程很難準(zhǔn)確地用規(guī)則和語法來表達(dá)。畫像與照片的差別主要 存在于兩個(gè)方面紋理和形狀。圖3顯示了人臉照片和畫像的一個(gè)對(duì)比例子。鉛筆在紙 上畫的圖像與照片中人的皮膚有著不同的紋理。為了表達(dá)三維投影信息，在畫像上通常 會(huì)增加一些陰影的紋理。關(guān)于形狀，畫像會(huì)像卡通畫一樣夸張一些臉部突出的特征，從 而引起形狀上的變化。例如，一張人臉有一個(gè)大的鼻子，在畫像上這個(gè)鼻子會(huì)被畫得更 大。近些年已經(jīng)出現(xiàn)了一些用計(jì)算機(jī)生成畫像的系統(tǒng)。它們大多輸出沒有可以表 達(dá)三維投影信息紋理的線條畫像。例如H.Koshimizu，M.Tominaga, T.Fujiwara,和 K.Murakami 在“On Kansei Facial Processing for ComputerizedFacial Caricaturing System PICAS SO” IEEE International Conference on Systems, Man, and Cybernetics, Vol.6, 1999 ( “用于計(jì)算面部漫畫系統(tǒng)PICASSO的Kansei面部處理”，關(guān)于系統(tǒng)制造和控制的 IEEE 國際會(huì)議，1999 年第 6 卷)禾口 S.Iwashita，Y.Takeda，禾口 T.Onisawa 在 “Expressive Facial CaricatureDrawing, ” IEEE International Conference on Fuzzy Systems, Vol.3, 1999 ( “面部表情漫畫繪制”，關(guān)于模糊系統(tǒng)的IEEE國際會(huì)議，1999年第3卷)中都提 出了用計(jì)算機(jī)生成畫像的系統(tǒng)。在這些系統(tǒng)中，首先從照片中提取人臉的形狀，然后根 據(jù)某些規(guī)則對(duì)人臉的形狀進(jìn)行夸張，從而使生成的結(jié)果在形狀上更類似于畫像。然而它 們不是基于機(jī)器學(xué)習(xí)的方法。W.T.Freeman, J.B.Tenenbaum, and Ε.Pasztor, "An Example-BasedApproach to Style Translation for Line Drawings.” Technical Report 11, MERLTechnical Report, Cambridge, MA, Feb. 1999( “基于樣本的線條畫像的風(fēng)格轉(zhuǎn)化方法”，技術(shù)報(bào)，1999年2月)提出了一個(gè)基于訓(xùn)練樣本的系統(tǒng)，它可以將線條的圖像轉(zhuǎn)換成不同的風(fēng)格。 H.Chen, Y.Xu，H.Shum, S.Zhu，and N.Zheng, "Example-Based Facial Sketch Generation with No-parametric Sampling, " in Proceedings of ICCV, 2001 ( “無參量的基于采樣的面 部畫像生成”，ICCV會(huì)議記錄，2001年)提出了一個(gè)基于訓(xùn)練樣本的人臉卡通圖像生成 系統(tǒng)。它也只限于生成線條畫像，并且需要照片和線條畫像在形狀上完全匹配。這些系 統(tǒng)需要利用一些方法，例如活動(dòng)外 觀模型(AAM)提取人臉的形狀。這些線條畫像比那 些具有陰影紋理的畫像缺少表現(xiàn)力。本申請(qǐng)的發(fā)明人在X.Tang，and X.Wang, "Face Sketch Recognition, ” IEEETrans.on CSVT, Vol.14, No.l, January, pp.50-57, 2004 (湯曉鷗 和王曉剛，“面部畫像識(shí)別”，“IEEE Trans.on CSVT"第1期第14卷第50-57頁) 禾口 X.Tang, and X.Wang, "Face Sketch Synthesis and Recognition, ” in Proceedings of ICCV，Nice, France, pp.687-694，Oct.13-16，2003 (湯曉鷗和王曉剛，“面部畫像合成 與識(shí)別”，2003年10月的ICCV學(xué)報(bào)，第687-694頁)中提出了一個(gè)基于主分量變換的人 臉識(shí)別系統(tǒng)。這種系統(tǒng)不只限于線條畫像，而且能夠合成有紋理的畫像。根據(jù)該系統(tǒng)， 如果滿足兩個(gè)條件，由主分量變換轉(zhuǎn)換的畫像將是對(duì)所畫畫像的一個(gè)很好地近似，艮口， (1)人臉圖像能夠通過主分量分析(PCA)從訓(xùn)練集中很好地重構(gòu)；以及(2)照片-畫像 的轉(zhuǎn)換過程能夠被近似成線性。然而，在某些情況下，特別是當(dāng)包括頭發(fā)區(qū)域的時(shí)候， 這些條件很難被滿足。不同人的發(fā)型變化很大，不能很好地由PCA從訓(xùn)練集中重構(gòu)。Q.Liu, X.Tang, H.Jin, H.Lu, and S.Ma, "A NonlinearApproach for FaceSketch Synthesis and Recognition,，，in Proceedings of CVPR，2005 ( “非線性的人臉畫像合成和 識(shí)別的方法”，CVPR學(xué)報(bào)，2005年)提出了一個(gè)非線性的人臉畫像轉(zhuǎn)換和識(shí)別的方法。 但是該方法對(duì)局部的小塊進(jìn)行主分量變換而不是整個(gè)人臉。其缺點(diǎn)是局部小塊是在單一 固定的比例上彼此獨(dú)立轉(zhuǎn)換的，因此無法學(xué)習(xí)一些大的人臉結(jié)構(gòu)，特別是無法學(xué)習(xí)人臉 的形狀。

發(fā)明內(nèi)容
在本發(fā)明申請(qǐng)中提出了一種用于人臉畫像的識(shí)別方法和系統(tǒng)。根據(jù)本發(fā)明申請(qǐng)的人臉畫像生成方法不學(xué)習(xí)整個(gè)人臉結(jié)構(gòu)，因?yàn)檎麄€(gè)人臉結(jié)構(gòu) 太復(fù)雜而不能被很好地轉(zhuǎn)換，而是轉(zhuǎn)換局部的小塊，因?yàn)樗鼈兊慕Y(jié)構(gòu)更加簡單。人臉區(qū) 域被劃分成相互重疊的小塊。在畫像生成過程中，對(duì)于一個(gè)人臉照片上的局部小塊，在 預(yù)先提供的訓(xùn)練集中找到一個(gè)與之相似的照片小塊，然后用訓(xùn)練集中相對(duì)應(yīng)的畫像小塊 來估計(jì)要生成的畫像小塊。該方法所基于的假設(shè)是如果兩個(gè)照片小塊相似，則他們的畫 像小塊也應(yīng)該相似。另外，該方法所基于的另外一個(gè)假設(shè)是兩個(gè)相鄰的轉(zhuǎn)換的畫像小 塊應(yīng)該匹配。小塊的大小決定了所能學(xué)習(xí)的人臉結(jié)構(gòu)的尺度。因此，本發(fā)明用多尺度馬爾科 夫隨機(jī)場學(xué)習(xí)不同比例的人臉結(jié)構(gòu)。這樣根據(jù)本發(fā)明申請(qǐng)的方法聯(lián)合學(xué)習(xí)不同區(qū)域不同 尺度的小塊，而不是像Qliu等提出的非線性的人臉畫像轉(zhuǎn)換和識(shí)別的方法中那樣彼此獨(dú) 立地學(xué)習(xí)他們。一方面，本文公開了一種基于訓(xùn)練集識(shí)別人臉的方法，所述訓(xùn)練集包括多個(gè)圖像小塊對(duì)，所述多個(gè)圖像小塊對(duì)中的每一個(gè)包括一個(gè)第一類型的圖像小塊和一個(gè)第二類 型的圖像小塊，所述方法包括接收第一類型的人臉圖像；將所接收的第一類型的測試人臉圖像分割為多個(gè)圖像小塊；在所述訓(xùn)練集的第一類型的圖像小塊中為從所述第一類型的測試人臉圖像中分 割出的多個(gè)圖像小塊中的每一個(gè)選擇匹配小塊；根據(jù)所選擇的匹配小塊從所述訓(xùn)練集的所述圖像小塊對(duì)中確定與其對(duì)應(yīng)的第二 類型的圖像小塊；以及將確定的第二類型的圖像小塊合成為第二類型的人臉圖像。另一方面，本文公開了基于訓(xùn)練集識(shí)別的人臉的系統(tǒng)，所述訓(xùn)練集包括多個(gè)圖 像小塊對(duì)，所述多個(gè)圖像小塊對(duì)中的每一個(gè)包括一個(gè)第一類型的圖像小塊和一個(gè)第二類 型的圖像小塊，所述系統(tǒng)包括預(yù)處理單元，用于接收一個(gè)第一類型的測試人臉圖像，并將將所接收的第一類 型的人臉圖像分割為多個(gè)圖像小塊；匹配單元，用于在所述訓(xùn)練集的第一類型的圖像小塊中為從所述第一類型的測 試人臉圖像中分割出的多個(gè)圖像小塊中的每一個(gè)選擇一個(gè)匹配小塊；選擇單元，用于根據(jù)所選擇的匹配小塊從所述訓(xùn)練集的所述圖像小塊對(duì)中選擇 與其對(duì)應(yīng)的第二類型的圖像小塊；以及合成單元，用于將選擇的第二類型的圖像小塊合成為第二類型的人臉圖像。在上述的方法和系統(tǒng)中，所述第一類型的人臉圖像為人臉照片，所述第二類型 的人臉圖像為人臉畫像。作為一種選擇，所述第二類型的人臉圖像為人臉畫像，所述第 一類型的人臉圖像為人臉照片。優(yōu)選地，在上述的方法和系統(tǒng)中，根據(jù)所選擇的匹配小塊從所述訓(xùn)練集的所述 圖像小塊對(duì)中選擇與其對(duì)應(yīng)的第二類型的圖像小塊是基于單一尺度馬爾科夫網(wǎng)絡(luò)模型來 實(shí)現(xiàn)的。這樣，一個(gè)畫像小塊不但接收來自于相鄰的小塊信息，還通過置信傳播接收來 自于更遠(yuǎn)小塊的信息。優(yōu)選地，基于多尺度馬爾科夫網(wǎng)絡(luò)模型來實(shí)現(xiàn)。這樣，能夠避免了現(xiàn)有技術(shù)中 采用同一尺度對(duì)小塊大或小會(huì)導(dǎo)致轉(zhuǎn)換結(jié)果中不同的問題。因此，本發(fā)明的方法可以更 好地學(xué)習(xí)大范圍的人臉結(jié)構(gòu)、整體的形狀特征，并且產(chǎn)生更加平滑的結(jié)果。另外，根據(jù)本發(fā)明對(duì)畫像生成方法是基于局部小塊，它不需像主分量變換法一 樣要求人臉由PCA從訓(xùn)練集中很好地重構(gòu)，也不需要照片_畫像的轉(zhuǎn)換過程近似為線性 過程，所以本發(fā)明對(duì)畫像生成方法可以轉(zhuǎn)換更加復(fù)雜的人臉結(jié)構(gòu)，比如說頭發(fā)。然而， 例如現(xiàn)有的主分量變換法很難轉(zhuǎn)換不同的發(fā)型，而頭發(fā)在用于娛樂的人臉畫像轉(zhuǎn)換應(yīng)用 中是重要的特征。對(duì)于識(shí)別任務(wù)來說，在某些情況下，特別是當(dāng)同一個(gè)人的兩個(gè)圖像相 隔很久的時(shí)候，比如幾個(gè)月甚至幾年，頭發(fā)可能不是一個(gè)穩(wěn)定的用于識(shí)別的特征因?yàn)榘l(fā) 型可能發(fā) 生改變。但是在某些情況下，當(dāng)間隔時(shí)間不長的時(shí)候，頭發(fā)仍然是用于識(shí)別的 顯著的特征。當(dāng)警察要求目擊者生成犯罪嫌疑人畫像的時(shí)候，會(huì)要求畫出頭發(fā)。


圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施方式的從人臉照片轉(zhuǎn)換人臉畫像的方法；圖2示出了根據(jù)本發(fā)明另一個(gè)實(shí)施方式的從人臉照片轉(zhuǎn)換人臉畫像的方法；圖3顯示了人臉照片和畫像的一個(gè)對(duì)比例子；圖4示出了人臉區(qū)域被劃分成多個(gè)小塊的例子；圖5示出了從輸入照片上的一個(gè)小塊尋找候選畫像小塊的例子；圖6示出了從訓(xùn)練集中收集候選畫像小塊的例子；圖7示出了單一尺度的馬爾科夫網(wǎng)絡(luò)模型的例子；圖8示出了畫家所畫畫像小塊具有的特征的例子；圖9示出了多尺度馬爾科夫隨機(jī)場的金字塔形結(jié)構(gòu)的例子；圖10示出了在兩個(gè)相鄰重疊畫像小塊之間具有的最小錯(cuò)誤邊界；圖11出了根據(jù)本發(fā)明一個(gè)實(shí)施方式的從人臉照片轉(zhuǎn)換人臉畫像的系統(tǒng)；圖12出了根據(jù)本發(fā)明另一個(gè)實(shí)施方式的從人臉照片轉(zhuǎn)換人臉畫像的系統(tǒng)；圖13示出了來自訓(xùn)練集的圖像對(duì)的例子；圖14示出了人臉畫像的合成結(jié)果的例子；圖15示出了根據(jù)本發(fā)明的方法利用不同次數(shù)置信傳遞之后生成的畫像的例子；圖16示出了用最小均方誤差估計(jì)和最大似然估計(jì)生成畫像的比較的例子；圖17示例性地示出了用單一尺度馬爾科夫隨機(jī)場模型和多尺度馬爾科夫隨機(jī)場 模型合成畫像的比較結(jié)果；圖18示例性地示出了當(dāng)包括頭發(fā)區(qū)域時(shí)，用整體主分量變換和多尺度馬爾科夫 隨機(jī)場模型合成的畫像的比較結(jié)果；圖19示例性地示出了非線性方法和多尺度馬爾科夫隨機(jī)場合成的畫像的比較結(jié) 果；以及圖20示例性地示出了合成人臉照片的結(jié)果。
具體實(shí)施例方式下面將參照附圖描述根據(jù)本發(fā)明申請(qǐng)的基于局部小塊的畫像轉(zhuǎn)換方法。下面雖 然以將人臉照片轉(zhuǎn)換成人臉畫像為例對(duì)本發(fā)明申請(qǐng)的轉(zhuǎn)換方法進(jìn)行了描述，但是，應(yīng)該 理解，簡單地交換照片和畫像的角色，該方法可以很容易地?cái)U(kuò)展到將人臉畫像轉(zhuǎn)換為人 臉照片進(jìn)行識(shí)別的方法。如圖1所示，根據(jù)本發(fā)明一個(gè)實(shí)施方式的從人臉照片轉(zhuǎn)換人臉畫像的方法1000 包括1)對(duì)輸入的人臉照片進(jìn)行預(yù)處理(步驟102) ； 2)將經(jīng)過預(yù)處理的人臉照片上的 小塊與訓(xùn)練集中的照片小塊進(jìn)行匹配(步驟104) ； 3)估計(jì)輸入的人臉照片的畫像小塊 以確定出匹配的畫像小塊(步驟106) ； 4)利用匹配的畫像小塊合成整個(gè)人臉畫像(步 驟108)。此外，根據(jù)本發(fā)明的合成方法還以用來與存儲(chǔ)在數(shù)據(jù)庫中的畫像進(jìn)行識(shí)別匹配 (步驟110)，如圖2所示。下面對(duì)步驟102-110進(jìn)行詳細(xì)描述。1.人臉照片預(yù)處理(步驟102)在步驟102中，對(duì)輸入的人臉照片進(jìn)行幾何校正和顏色空間的變換。具體地， 在該步驟中，所有的照片和畫像進(jìn)行平移，旋轉(zhuǎn)和縮放，以使得它們的兩只眼睛的中心處于固定的位置。這個(gè)簡單的幾何標(biāo)準(zhǔn)化處理將不同圖像上的人臉器官大致校正到相同 的區(qū)域。人臉照片可以是灰度圖像或者彩色圖像。如果人臉照片是彩色的，則首先將人 臉照片的RGB彩色空間轉(zhuǎn)換成Luv彩色空間，因?yàn)長uv空間中的歐幾里德(Euclidean)距 離能與人眼感覺到的色彩變化更好的相關(guān)。此外，在該步驟中還將輸入的人臉照片的臉部區(qū)域劃分成N(N為正整數(shù))個(gè)小 塊X(j = 0，1....N-1)，其中相鄰的小塊彼此重疊。如圖4(a)所示，人臉區(qū)域被劃分成 多個(gè)小塊，從圖4(b)中可以看出，在所劃分的多個(gè)小塊中，相鄰的小塊彼此重疊。2匹配小塊(步驟104)。為了估計(jì)輸入照片小塊y“j = 0，1....N-1)的畫像小塊、，對(duì)于輸入照片上的每 一個(gè)小塊χ在訓(xùn)練集中找到與χ匹配最好的κ(ο < K)個(gè)照片小塊試}f=i。然后，利用在訓(xùn) 練集中與它們各自對(duì)應(yīng)的畫像小塊聞丨/^作為用于估計(jì)與、相對(duì)應(yīng)的生成的畫像小塊的候 選。在這里，訓(xùn)練集包括多個(gè)照片-畫像對(duì)，并且例如是香港中文大學(xué)學(xué)生數(shù)據(jù)庫、 普杜數(shù)據(jù)庫或XM2VTS數(shù)據(jù)庫。假設(shè)如果訓(xùn)練集中的一個(gè)照片上的小塊冗與輸入照片上的小塊χ相似，與冗相對(duì) 應(yīng)的畫像小塊^將被看作是用來估計(jì)、的一個(gè)候選。圖5描述了尋找畫像小塊的過程。 對(duì)于輸入照片上的每一個(gè)小塊y“例如，圖5中用窗口 W2示出的局部小塊)，在訓(xùn)練集 中找到它在一個(gè)照片上的對(duì)應(yīng)位置。因?yàn)槿四槇D像在形狀上不是完全準(zhǔn)確校正好的，因 此，同樣的人臉器官在不同的人臉圖像上可能不位于完全相同的位置，所以不能直接在 訓(xùn)練集的照片(以下簡稱“訓(xùn)練照片”)上與輸入照片上同樣的位置的小塊采樣，而是在 所找到的位置附近設(shè)定一個(gè)尋找的范圍，如圖5中的虛線窗口Wl所示；在這個(gè)搜索范圍 內(nèi)，找到與χ最佳匹配的小塊作為在這個(gè)訓(xùn)練照片上的采樣。在這里，采用兩個(gè)小塊灰度或顏色的Euclidean距離D1^t為匹配量度，如式(1) 所示。
權(quán)利要求
1.用于基于訓(xùn)練集合成人臉圖像的方法，所述訓(xùn)練集包括多個(gè)圖像對(duì)，所述圖像對(duì) 中的每一對(duì)被分割成多個(gè)圖像小塊對(duì)，所述多個(gè)圖像小塊對(duì)中的每一對(duì)包括一個(gè)第一類 型的圖像小塊和一個(gè)第二類型的圖像小塊，所述方法包括接收第一類型的測試人臉圖像；將所接收的第一類型的測試人臉圖像分割為多個(gè)圖像小塊；在所述訓(xùn)練集的第一類型的圖像小塊中，為從所述第一類型的測試人臉圖像中分割 出的多個(gè)圖像小塊中的每一個(gè)選擇匹配小塊；根據(jù)所選擇的匹配小塊從所述訓(xùn)練集的所述圖像小塊對(duì)中確定與其對(duì)應(yīng)的第二類型 的圖像小塊；以及將確定的第二類型的圖像小塊合成為第二類型的人臉圖像。
2.如權(quán)利要求1所述的方法，還包括將所合成的第二類型的人臉圖像與預(yù)定數(shù)據(jù)庫中的第二類型的測試人臉圖像進(jìn)行識(shí) 別匹配。
3.如權(quán)利要求1所述的方法，其中，為從所述第一類型的測試人臉圖像中分割出的多 個(gè)圖像小塊中的每一個(gè)選擇匹配小塊的步驟還包括在所述訓(xùn)練集的第一類型的圖像小塊中為從所述第一類型的人臉圖像中分割出的多 個(gè)圖像小塊中的每一個(gè)選擇多個(gè)候選匹配小塊；以及從所選擇的多個(gè)候選匹配小塊中確定與所分割的多個(gè)測試小塊中的每一個(gè)最佳匹配 的一個(gè)的候選匹配小塊。
4.如權(quán)利要求3所述的方法，其中，在所述訓(xùn)練集的第一類型的圖像小塊中為從所述 第一類型的測試人臉圖像中分割出的多個(gè)圖像小塊中的每一個(gè)選擇多個(gè)候選匹配小塊還 包括在所述訓(xùn)練集的第一類型的圖像中的每一個(gè)上確定與從所述第一類型的測試人臉圖 像中分割出的多個(gè)圖像小塊中的每一個(gè)相對(duì)應(yīng)的位置；以及以所確定的位置為基準(zhǔn)，在所述訓(xùn)練集的第一類型的圖像小塊中的每一個(gè)上設(shè)定一 個(gè)范圍；以及在所設(shè)定的范圍內(nèi)確定所述訓(xùn)練集的第一類型的圖像中的每一個(gè)是否和從所述第一 類型測試的人臉圖像中分割出的多個(gè)圖像小塊中的每一個(gè)匹配，如果匹配，則所匹配的 圖像小塊被選擇為所述候選匹配小塊。
5.如權(quán)利要求4所述的方法，其中，在所設(shè)定的范圍內(nèi)確定所述訓(xùn)練集第一類型的圖 像小塊中的每一個(gè)是否和從所述第一類型的測試人臉圖像中分割出的多個(gè)圖像小塊中的 每一個(gè)匹配的步驟基于單一尺度馬爾科夫網(wǎng)絡(luò)模型實(shí)現(xiàn)。
6.如權(quán)利要求4所述的方法，其中，在所設(shè)定的范圍內(nèi)確定所述訓(xùn)練集的第一類型的 圖像小塊中的每一個(gè)是否和從所述第一類型的人臉圖像中分割出的多個(gè)圖像小塊中的每 一個(gè)匹配的步驟基于多尺度馬爾科夫網(wǎng)絡(luò)模型實(shí)現(xiàn)。
7.如權(quán)利要求1所述的方法，其中，在所述訓(xùn)練集的第一類型的圖像小塊中為從所述 第一類型的人臉圖像中分割出的多個(gè)圖像小塊中的每一個(gè)選擇匹配小塊的步驟包括以單一尺度馬爾科夫網(wǎng)絡(luò)為模型，在所述訓(xùn)練集的第一類型的圖像小塊中為從所述 第一類型的測試人臉圖像中分割出的多個(gè)圖像小塊中的每一個(gè)選擇一個(gè)匹配小塊。
8.如權(quán)利要求1所述的方法，其中，在在所述訓(xùn)練集的第一類型的圖像小塊中為從所 述第一類型的測試人臉圖像中分割出的多個(gè)圖像小塊中的每一個(gè)選擇一個(gè)匹配小塊的步 驟包括以多尺度馬爾科夫網(wǎng)絡(luò)為模型，在所述訓(xùn)練集的第一類型的圖像小塊中為從所述第 一類型測試的人臉圖像中分割出的多個(gè)圖像小塊中的每一個(gè)選擇一個(gè)匹配小塊。
9.如權(quán)利要求1所述的方法，其中，在所述測試圖像多個(gè)分割的圖像小塊中，相鄰的 圖像小塊具有重疊區(qū)域。
10.如權(quán)利要求9所述的方法，其中，在所述訓(xùn)練集的第一類型的圖像小塊之間以及 第二類型的圖像小塊之間分別具有重疊區(qū)域，將確定的第二類型的圖像小塊合成為第二類型的人臉圖像的步驟包括在每兩個(gè)重疊的第二類型的圖像小塊之間確定最小誤差邊界；根據(jù)所確定最小誤差邊界，將所述確定的第二類型的圖像小塊合成為第二類型的人 臉圖像。
11.如權(quán)利要求1-10中任意一項(xiàng)所述的方法，其中，所述第一類型的人臉圖像為人臉 照片，所述第一類型的人臉圖像為人臉畫像。
12.如權(quán)利要求1-10中任意一項(xiàng)所述的方法，其中，所述第一類型的人臉圖像為人臉 畫像，所述第一類型的人臉圖像為人臉照片。
13.用于基于訓(xùn)練集合成人臉圖像的系統(tǒng)，所述訓(xùn)練集多個(gè)圖像對(duì)，所述圖像對(duì)中的 每一對(duì)被分割成多個(gè)圖像小塊對(duì)，所述多個(gè)圖像小塊對(duì)中的每一對(duì)包括一個(gè)第一類型的 圖像小塊和一個(gè)第二類型的圖像小塊，所述系統(tǒng)包括預(yù)處理單元，用于接收一個(gè)第一類型的人臉圖像，并將將所接收的第一類型的人臉 圖像分割為多個(gè)圖像小塊；匹配單元，用于在所述訓(xùn)練集的第一類型的圖像小塊中為從所述第一類型的測試人 臉圖像中分割出的多個(gè)圖像小塊中的每一個(gè)選擇一個(gè)匹配小塊；選擇單元，用于根據(jù)所選擇的第一類型的匹配小塊從所述訓(xùn)練集的所述圖像小塊對(duì) 中選擇與其對(duì)應(yīng)的第二類型的圖像小塊；以及合成單元，用于將選擇的第二類型的圖像小塊合成為第二類型的人臉圖像。
14.如權(quán)利要求13所述的系統(tǒng)，還包括識(shí)別單元，用于將所合成的第二類型的人臉圖 像與預(yù)定數(shù)據(jù)庫中的第二類型的人臉圖像進(jìn)行識(shí)別匹配。
15.如權(quán)利要求11所述的系統(tǒng)，其中，所述匹配單元被配置為執(zhí)行以下步驟而在所述 訓(xùn)練集的第一類型的圖像小塊中為從所述第一類型的測試人臉圖像中分割出的多個(gè)圖像 小塊中的每一個(gè)選擇一個(gè)匹配小塊在所述訓(xùn)練集的第一類型的圖像小塊中為從所述第一類型的側(cè)試人臉圖像中分割出 的多個(gè)圖像小塊中的每一個(gè)選擇多個(gè)候選匹配小塊；以及從所選擇的多個(gè)候選匹配小塊中確定與從所述第一類型的測試人臉圖像中分割出的 多個(gè)小塊中的每一個(gè)最佳匹配的一個(gè)的候選匹配小塊。
16.如權(quán)利要求15所述的系統(tǒng)，其中，在所述訓(xùn)練集的第一類型的圖像小塊中為從所 述第一類型的測試人臉圖像中分割出的多個(gè)圖像小塊中的每一個(gè)選擇多個(gè)候選匹配小塊 還包括在所述訓(xùn)練集的第一類型的圖像小塊中的每一個(gè)上確定與從所述第一類型的測試人 臉圖像中分割出的多個(gè)圖像小塊中的每一個(gè)相對(duì)應(yīng)的位置；以及以所確定的位置為基準(zhǔn)，在所述訓(xùn)練集的第一類型的圖像的每一個(gè)上設(shè)定一個(gè)范圍；在所設(shè)定的范圍內(nèi)確定所述訓(xùn)練集的第一類型的圖像小塊中的每一個(gè)是否和從所述 第一類型的測試人臉圖像中分割出的多個(gè)圖像小塊中的每一個(gè)匹配，如果匹配，則所匹 配的圖像小塊被選擇為所述候選匹配小塊。
17.如權(quán)利要求16所述的系統(tǒng)，其中，所述匹配單元基于單一尺度馬爾科夫網(wǎng)絡(luò)模 型，在所設(shè)定的范圍內(nèi)確定所述訓(xùn)練集第一類型的圖像小塊中的每一個(gè)是否和從所述第 一類型的測試人臉圖像中分割出的多個(gè)圖像小塊中的每一個(gè)匹配。
18.如權(quán)利要求16所述的系統(tǒng)，其中，所述匹配單元基于多尺度馬爾科夫網(wǎng)絡(luò)模型， 在所設(shè)定的范圍內(nèi)確定所述第一類型的圖像小塊中的每一個(gè)是否和從所述第一類型的測 試人臉圖像中分割出的多個(gè)圖像小塊中的每一個(gè)匹配。
19.如權(quán)利要求13所述的系統(tǒng)，其中所述匹配單元基于單一尺度馬爾科夫網(wǎng)絡(luò)模型在 所述訓(xùn)練集的第一類型的圖像小塊中為從所述第一類型的測試人臉圖像中分割出的多個(gè) 圖像小塊中的每一個(gè)選擇一個(gè)匹配小塊。
20.如權(quán)利要求13所述的系統(tǒng)，其中所述匹配單元基于多尺度馬爾科夫網(wǎng)絡(luò)模型在所 述訓(xùn)練集的第一類型的圖像小塊中為從所述第一類型的測試人臉圖像中分割出的多個(gè)圖 像小塊中的每一個(gè)選擇一個(gè)匹配小塊。
21.如權(quán)利要求13所述的系統(tǒng)，其中，在所述預(yù)處理單元分割的多個(gè)圖像小塊中，相 鄰的圖像小塊具有重疊區(qū)域。
22.如權(quán)利要求21所述的系統(tǒng)，其中，在所述訓(xùn)練集的第一類型的圖像小塊之間以及 第二類型的圖像小塊之間分別具有重疊區(qū)域；以及其中，所述合成單元被配置為在每兩個(gè)重疊的第二類型的圖像小塊之間確定最小誤 差邊界；并根據(jù)所確定最小誤差邊界，將所述選擇單元所選擇的第二類型的圖像小塊合 成為第二類型的人臉圖像。
23.如權(quán)利要求13-22中任意一項(xiàng)所述的系統(tǒng)，其中，所述第一類型的人臉圖像為人 臉照片，所述第一類型的人臉圖像為人臉畫像。
24.如權(quán)利要求13-22中任意一項(xiàng)所述的系統(tǒng)，其中，所述第一類型的人臉圖像為人 臉畫像，所述第一類型的人臉圖像為人臉照片。
全文摘要
公開了用于基于訓(xùn)練集合成人臉圖像的方法和系統(tǒng)，其中，訓(xùn)練集包括多個(gè)圖像對(duì)；所述圖像對(duì)中的每一對(duì)被分割成多個(gè)圖像小塊對(duì)，所述多個(gè)圖像小塊對(duì)中的每一對(duì)包括一個(gè)第一類型的圖像小塊和一個(gè)第二類型的圖像小塊。基于訓(xùn)練集的合成人臉圖像的方法包括接收第一類型的測試人臉圖像；將所接收的第一類型的人臉圖像分割為多個(gè)圖像小塊；在所述訓(xùn)練集的第一類型的圖像小塊中為測試圖像上所分割的多個(gè)圖像小塊中的每一個(gè)選擇匹配小塊；根據(jù)所選擇的匹配小塊從所述訓(xùn)練集的所述圖像小塊對(duì)中確定與其對(duì)應(yīng)的第二類型的圖像小塊；以及將確定的第二類型的圖像小塊合成為第二類型的人臉圖像。
文檔編號(hào)G06K9/66GK102013020SQ20091017370
公開日2011年4月13日 申請(qǐng)日期2009年9月8日 優(yōu)先權(quán)日2009年9月8日
發(fā)明者湯曉鷗, 王曉剛 申請(qǐng)人:湯曉鷗, 王曉剛