一種基于實時視頻本征分解的人臉外觀編輯方法
【專利摘要】本發(fā)明公開了一種基于實時視頻本征分解的人臉外觀編輯方法，在視頻播放之前，用戶先在參考人臉圖像的本征albedo層和shading層做編輯；在視頻播放時，這些編輯會被實時傳遞到視頻流的人臉對應(yīng)的層上。該技術(shù)主要分為如下三個步驟：參考人臉圖像的處理、視頻流的實時本征分解、和視頻流的人臉外觀編輯。本發(fā)明首次提出了在實時視頻中進(jìn)行本征分解的技術(shù)，利用此技術(shù)可以在實時視頻中實現(xiàn)多種人臉外觀編輯，如去除人臉皺紋，改變環(huán)境光照，色調(diào)傳遞等。
【專利說明】
-種基于實時視頻本征分解的人臉外觀編輯方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及計算機視頻處理領(lǐng)域，尤其設(shè)及一種對人臉實時視頻流進(jìn)行本征分解 和外觀編輯的方法。
【背景技術(shù)】
[0002] 關(guān)于人臉圖像的編輯已經(jīng)有很多研究工作，如不同人臉的替換（BIT0UK，D.， KUMAR,N.,DHILL0N,S.,BELHUMEUR,P.N.,AND NAYAR,S.K.2008. Face Swapping: Automatically Replacing Faces in Photographs .ACM Trans .Graph. 27,3,39.)和將人 臉變形到更具吸引力的人臉結(jié)構(gòu)化EYVAND，T. ,CO皿N-〇R，D.，DR0R，G. ,AND LISCHINSKI， D.2008.Data-driven enhancement of facial attractiveness.ACM Trans.Graph.27,3, 38.)。和運些改變?nèi)四樀墓ぷ鞑煌?，本發(fā)明的目的是編輯人臉外觀。另一類編輯工作是合成 人臉器官來改變表情（YANG，F(xiàn).，WANG，J.，細(xì)ECHTMAN，E.，B0URDEV，L. ,AND METAXAS, D . 2011 . Expression flow for 3d-aware face component transfer . ACM Trans.Graph.30,4,60.)，但此類工作無法直接用于視頻流。
[0003] 跟本工作更相關(guān)的工作是人臉圖像的化妝。一類方法是使用反射模型擅染彩妝， 該方法需要精細(xì)的人臉幾何和皮膚散射模型的計算(SC肥RBAUM，K .，RITSC肥L，T .，冊化IN， M.，T冊RM''A HLEN,T.，BLANZ，V.,AND SEI呢L，H.-P.2011.Computer-suggested facial makeup.Computer Gra地ics Forum 30,2,485-492.)(HUANG,C.-G.,LIN,W.-C.,HUANG,T.- S.,AND CHUANG,J.-H.2013.Physically-based cosmetic rendering.In Proceedings of I3D'13，190.)。其它方法直接改變圖像的RGB值，如alpha通道混合化IU，L.，XU，H.，XING， J.,LIU,S.,ZHOU,X.,AND YAN,S.2013."wow!you are so beautiful today!".In Proceedings of the 21st ACM International Conference on Multimedia,3-12.)和梯 度編輯（TONG,W.-S. ,TANG,C.-K.，BR0WN，M.S. ,AND XU,Y.-Q.2007.Example-based cosmetic transfer.In Proc.Pacific Gra地ics,211-218.)。由于沒有將圖像進(jìn)行本征分 解，運些方法的可實施的保證真實性的編輯是有限的。2009年的一個工作將人臉圖像分解 成了結(jié)構(gòu)層、細(xì)節(jié)層和色差層（GU0，D. ,AND SIM，T.2009.Digital face make叩 by example. In Proc. IE邸CVPR'09,73-79.)，但是此分解不是準(zhǔn)確的本征分解。
[0004] 在視頻的本征分解方面，因為數(shù)據(jù)量巨大，處理速度很重要。有的技術(shù)假設(shè)視頻的 albedo 時序上為定值而shading 緩慢變化（KONG, N.，GEHLER，P.V. ,AND BLACK, M. J. 2014. Intrinsic video. In Proc.ECCV' 14，360-375.);它的目標(biāo)函數(shù)定義在整個視頻 序列上，計算時間隨著帖數(shù)增加而線性增加，無法實現(xiàn)用戶交互。采用預(yù)計算的查找表的方 法可W實現(xiàn)逐帖的本征分解(BON肥EL，N.，SUNKAVALLI，K.，TOMPKIN，J.，SUN，D.，PARIS，S.， AND PFISTER,H.2014.Interactive intrinsic video editing.ACM Trans.Graph.33,6, 197.)，該查找表記錄了本證分解問題的混合b-lp形式的預(yù)計算的解。使用該方法可W在交 互級別的速度實現(xiàn)視頻本征分解，但是用戶需要在帖中間添加標(biāo)記來改善分解;運就不適 合于實況視頻的應(yīng)用，因為實況視頻需要達(dá)到實時的處理速率。
[0005] 比起逐帖計算完整的分解，有的方法將第一帖的分解擴散到后續(xù)帖（YE, G.， GARCES，E.，LIU，Y.，DAI，Q.，AND GUTIERREZ，D.2014.Intrinsic video and applications .ACM IYans .Gra曲.33,4,80.)。該方法建立了基于時間連續(xù)性和像素屬于哪 個顏色聚類的可能性的概率框架。擴散在視頻流中按正序和反序進(jìn)行，得到高質(zhì)量結(jié)果。但 是該方法的計算速度適用于視頻后處理，不適合實況視頻的處理。本發(fā)明同樣采用了基于 擴散的分解方法，但是利用人臉的結(jié)構(gòu)和近期人臉分析的工具達(dá)到了實時的高精度擴散。
[0006] 近期有?？诘墓ぷ饔糜谟嬎闳四樀谋菊鲌D像估計化I，C.，ZH0U，K. ,AND LIN， S.2014. Intrinsic face image decomposition with human face priors . In Proc.ECCV' 14，218-233.)。該方法使用皮膚反射和人臉幾何作為先驗知識來提升分解正確 率。該方法可W達(dá)到當(dāng)前技術(shù)最好的結(jié)果，但是計算量巨大；而且它只考慮了人臉皮膚區(qū) 域，沒有考慮頭發(fā)和脖子，而運些區(qū)域是本發(fā)明可W編輯的區(qū)域。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提出了一種基于實時視頻本征分解的人 臉外觀編輯方法。本發(fā)明通過建立起視頻流各帖和參考人臉圖像的各個區(qū)域的對應(yīng)關(guān)系， 將離線階段的參考人臉圖像高精度的本征分解傳遞給視頻流各帖，并按照同樣方法將相應(yīng) 的編輯傳遞給各帖，從而可W實現(xiàn)實況視頻的人臉外觀編輯。該發(fā)明首次達(dá)到了視頻的實 時本征分解，并利用人臉的結(jié)構(gòu)特征，取到了比現(xiàn)有視頻分解技術(shù)更好的效果，具有很高的 實用價值。
[0008] 本發(fā)明的目的是通過W下技術(shù)方案實現(xiàn)的，一種基于實時視頻本征分解的人臉外 觀編輯方法，包括W下步驟：
[0009] (1)離線參考人臉圖像的處理:將參考圖像進(jìn)行高質(zhì)量本征分解和區(qū)域分割，計算 各區(qū)域的顏色模型和結(jié)構(gòu)模型，并構(gòu)建a化edo查詢表。
[0010] (2)視頻流的實時本征分解:為視頻流的當(dāng)前帖找出和步驟1得到的參考圖像各區(qū) 域相對應(yīng)的區(qū)域，再利用步驟1的a化edo查詢表傳遞本征值到視頻帖上；
[0011] (3)人臉外觀編輯:根據(jù)步驟2得到的視頻帖與參考圖像的區(qū)域?qū)?yīng)關(guān)系，W及本 征分解的結(jié)果，將在參考圖像的本征層上的編輯傳遞到視頻帖上。
[0012] 本發(fā)明的有益效果是，本發(fā)明通過傳遞參考人臉圖像的區(qū)域分割和本征分解，可 W有效降低視頻流本征分解的計算開銷，大大提高本征分解效率同時保證高準(zhǔn)確度。本發(fā) 明首次提出了針對人臉視頻的實時本征分解和外觀編輯方法，通過將處理對象限制在人 臉，并借助人臉的結(jié)構(gòu)信息，可取得比當(dāng)前技術(shù)更好的效果。本發(fā)明具有通用性強、使用簡 便等優(yōu)點。
【附圖說明】
[0013] 圖1是實時的視頻帖的區(qū)域分割和本征分解圖，從左到右:輸入視頻帖，跟蹤的人 臉特征點，重構(gòu)的人臉幾何，找到對應(yīng)的各區(qū)域，a化edo層和shading層；
[0014] 圖2是色調(diào)傳遞的結(jié)果圖，從左到右依次為:參考圖像和樣本圖像，原始視頻帖，本 發(fā)明在a化edo層上的直方圖匹配方法的結(jié)果，在彩色圖像上的直方圖匹配方法的結(jié)果，另 一種方法的結(jié)果；
[0015] 圖3是平滑a化edo的結(jié)果圖，從上到下依次為：原始視頻帖，在a化edo層進(jìn)行平滑 處理的結(jié)果，在彩色圖像上進(jìn)行平滑處理的結(jié)果；
[0016] 圖4是平滑shading的結(jié)果圖，從上到下依次為：原始視頻帖和用戶施加的局部區(qū) 域約束，在shading層進(jìn)行平滑處理的結(jié)果，改變頭發(fā)a化edo并加上shading層的平滑處理 的結(jié)果；
[0017] 圖5是高光增強的結(jié)果圖，從上到下依次為:原始視頻帖，高光加強的結(jié)果；
[0018] 圖6是高光減弱的結(jié)果圖，從上到下依次為:原始視頻帖，高光減弱的結(jié)果；
[0019] 圖7是改變光照的結(jié)果圖，從左到右依次為:原始視頻帖，本發(fā)明改變光照的結(jié)果， 直接在彩色圖像上改變明暗的結(jié)果。
【具體實施方式】
[0020] 本發(fā)明的核屯、技術(shù)是利用人臉的顏色信息和結(jié)構(gòu)信息為參考圖像的各區(qū)域在視 頻帖中找到對應(yīng)，基于此對應(yīng)，本征a化edo層通過離線構(gòu)建的查詢表被傳遞到了視頻帖中， 完成視頻帖的實施分解。該方法主要分為如下=個主要步驟:離線參考人臉圖像的處理、視 頻流的實時本征分解、W及實況視頻流的人臉外觀編輯。
[0021] 1.離線參考人臉圖像的處理:將參考圖像進(jìn)行高質(zhì)量本征分解和區(qū)域分割，計算 各區(qū)域的顏色模型和結(jié)構(gòu)模型，并構(gòu)建a化edo查詢表；
[0022] 1.1本征分解
[0023] 選擇參考圖像，參考人臉圖像所拍攝的環(huán)境需和視頻流的環(huán)境一致。首先使用 Retinex方法（YE，G. ,GARCES，E. ,LIU，Y. ,DAI，Q. ,AND GUTIERREZ，D. 2014. Intrinsic video and applications.ACM Trans.Gra地.33,4,80.)自動快速地得到一個相對不錯的 本征分解。如果質(zhì)量還需要提高，用戶可W通過交互來改善結(jié)果。
[0024] 1.2圖像區(qū)域分割
[0025] 將參考圖像的像素聚類成超像素，然后迭代合并形成更大的區(qū)域。為了避免陰影 的干擾，在步驟1.1得到的a化edo層進(jìn)行上述編輯。用Si表示參考圖像的第i個超像素。運里 超像素被表示成分割圖G的節(jié)點，在相鄰的超像素之間建立圖的邊。邊的權(quán)重w(si，sj)定義 為超像素的平均a化edo的RGB距離：
[0026] M'〇,'A)= 3(5,)-3的）。
[0027] 其中巧刮是超像素 Si的平均albedo值。對于權(quán)重最小的邊，將它連接的節(jié)點合并 起來，并在一環(huán)領(lǐng)域內(nèi)對圖進(jìn)行更新。該合并過程不停迭代直到最小權(quán)重達(dá)到目標(biāo)闊值Wt。 為了得到具有語義信息的區(qū)域，用戶可W簡單的在圖像上畫一些筆畫來合并區(qū)域。因為目 標(biāo)闊值Wt的值很小，所W運里不需要拆分原區(qū)域。
[0028] 進(jìn)一步將分割區(qū)域按照如下分層結(jié)構(gòu)進(jìn)行組織:a)前景和背景，前景包括頭和上 半身;b)前景中的頭發(fā)、人臉和身體;C)人臉區(qū)域的臉部特征和皮膚。臉部特征包括眼睛、嘴 和眉毛，運些區(qū)域會被單獨編輯;皮膚區(qū)域是指去除臉部特征后的人臉其它區(qū)域。
[0029] 1.3構(gòu)建本征albedo查找表
[0030] 對于步驟1.2得到的分層結(jié)構(gòu)最底層的每個區(qū)域，構(gòu)造本征a化edo查找表，將區(qū)域 的每個顏色映射到對應(yīng)的a化edo值。由于一個區(qū)域包括了一塊具有一致語義的像素，本發(fā) 明假設(shè)一個圖像顏色不會對應(yīng)多個a化edo。但是由于噪聲的存在，參考圖片中有可能還是 會有輕微的不一致性，所W對于一個圖像顏色，本方法在查找表中記錄了它對應(yīng)的平均 a化edo值。在處理視頻流階段，可W根據(jù)查找表有效決定對應(yīng)區(qū)域的像素的a化edo值。
[0031] 對于沒有被表中覆蓋的顏色，找到它在表中K個最近的圖片顏色，使用它們對應(yīng)的 a化edo值的加權(quán)和作為差值結(jié)果。因為在語義一致的區(qū)域，相似的顏色通常不會有差別巨 大的a化edo,所W加權(quán)的差值方法可W給出合理的近似結(jié)果。為了加速視頻運行期間的K個 最近鄰的尋找，本發(fā)明在RGB空間為每個區(qū)域的顏色構(gòu)建了 KD-tree。
[0032] 1.4區(qū)域模型
[0033] 為步驟1.2中分割出來的各區(qū)域構(gòu)造顏色概率模型和結(jié)構(gòu)概率模型，用于在視頻 運行階段為視頻的每一帖找到對應(yīng)的區(qū)域。
[0034] 首先構(gòu)造顏色模型。使用遞增式K-mean方法在RGB空間擬合GMM化趾，Y.，LEE， K.Y.,AND LEE,J.2006. The estimating optimal number of gaussian mixtures based on incremental k-means for speakeridentiiication. International Journal of Information Technology 12,7,13-21.)，該方法可W根據(jù)高斯成員函數(shù)的相互關(guān)系適應(yīng) 性地決定成員數(shù)量。具體來說，對于區(qū)域S，首先為它的像素顏色擬合一個GMM，再為所有其 它區(qū)域的顏色擬合一個GMM。運樣對于一個像素的顏色C，它屬于S的概率Pc(Slc)定義 為：
[0035]
[0036] 其中，Pi(i Ic)是高斯成員函數(shù)i在顏色C處的值，ns和nr分別是區(qū)域S和r的高斯成 員函數(shù)的數(shù)目，歹是sW外的其它區(qū)域?；诖烁怕?，可W定義視頻帖的像素 p(顏色為Cp)屬 于區(qū)域S的顏色一致性能量為：
[0037]
[003引其中Pc(s I Cp)是顏色Cp屬于區(qū)域S的概率，仔|氣,促Cp屬于區(qū)域S的概率屬于其它 區(qū)域T的概率。
[0039] 接著構(gòu)造結(jié)構(gòu)模型。對于參考圖像中的區(qū)域S，計算有向距離場DS，區(qū)域內(nèi)像素的 值為正，區(qū)域外的像素值為負(fù)（BALAN，A.0.，SIGAL，L.，BLACK，M.J.，DAVIS，J.E. ,AND HAUSSECKER,H.W.2007.Detailed human shape and pose from images . In Proc. IEEE CVPR'07,1-8.)。并根據(jù)結(jié)構(gòu)語義或圖像空間的距離挑選一組人臉特征點五'仁基于運些 特征點，條考P計算出一個使用平均值坐標(biāo)(MVC)表達(dá)的特征向量：
[0040]
[0041 ] 其中Ai甚MVC據(jù)佈向畳的笠 i個坐標(biāo)值，Wi根據(jù)W下公式計算：
[0042]
[0043] 其中Vi是L'的第i個特征點的位置，ai(〇<ai<3T)是p在ミ角形[p，vi，Vi+i]的角度。 對于視頻帖，首先使用人臉特征點跟蹤技術(shù)得到當(dāng)前特征點（CA0，C.，H0U，Q. ,AND ZH0U， K.2014.Displaced dynamic expression regression for real-time facial tracking and animation.ACM化曰]13.6阿911.33,4,43.)，接著對于每個視頻帖的像素 p，計算MVC向 量，再轉(zhuǎn)換到參考圖像中得到在參考圖像中的位置，并得到不同區(qū)域的有向距離場的值DS (pS)。運樣，定義視頻帖的像素 P屬于區(qū)域S的結(jié)構(gòu)一致性能量為：
[0044]
[0045] 其中;F是sW外的其它區(qū)域，QS和護(hù)是區(qū)域S和r的有向距離場。
[0046] 2.視頻流的實時本征分解:為視頻流的當(dāng)前帖找出和步驟1得到的參考圖像各區(qū) 域相對應(yīng)的區(qū)域，再利用步驟1的a化edo查詢表傳遞本征值到視頻帖上;流程圖如圖1所示。
[0047] 2.1尋找區(qū)域?qū)?yīng)
[004引視頻帖與參考圖像的區(qū)域?qū)?yīng)通過圖割框架求解(VI肥ET，V. ,AND NARAYANAN, P.2008.Qida cuts:Fast gra地 cuts on the gpu. In IE邸 CVPR Workshops, 1-8.)，圖割 能量函數(shù)的定義為：
[0049] E(g)=Ei(g)巧 r(g)，
[0050] 其中g(shù)代表視頻帖的區(qū)域?qū)?yīng)，Ei(g)代表像素 P屬于當(dāng)前對應(yīng)區(qū)域S的可能性能量 項，Er(g)是平滑項。它們的具體定義如下：
[0051] Ei(pGs)=acEc(pGs)+astEst(pGs)+atEt(pGs)，
[0052] 其中Ei(pGs)是像素 P屬于當(dāng)前對應(yīng)區(qū)域S的可能性能量項，Ec(pGs)是根據(jù)步驟 1.4計算的顏色一致性能量項，Est(pGs)是根據(jù)步驟1.4計算的結(jié)構(gòu)一致性能量項，Et是時 序能量項，具體定義為：
[0化3]
[0化4]其中巧I(Pm)是對前一帖t-1的每個區(qū)域S計算的有向距離場，Pt-I是通過光流算 法（FARNEB..ACK , G . 2003 . Two-frame motion estimation based on polynomial e邱ansion. In Image Analysis. Springer ,363-370.)為像素 P找到的前一帖對應(yīng)的像素。 平滑項Er的定義為：
[0化5]
[0056] 其中N表示相鄰的像素對，g(i)是像素 i當(dāng)前對應(yīng)區(qū)域，如果i在區(qū)域內(nèi)，g(i) = l， 反之為OdCi, C堤i J的顏色值，C是很小的正值，防止被0除的情況發(fā)生。
[0057] 區(qū)域?qū)?yīng)是按照分層的結(jié)構(gòu)，從上到下為每個區(qū)域求解。首先，整個前景從背景中 分割出來;其次，頭發(fā)、臉和身體陸續(xù)從前景區(qū)域中分割出來;最后，臉部特征逐個從人臉區(qū) 域分割出來，剩下的人臉區(qū)域作為皮膚區(qū)域。
[0化引 2.2本征分解傳遞
[0059]得到步驟2.1的各區(qū)域?qū)?yīng)后，對于視頻帖的每個像素，使用步驟1.3得到的對應(yīng) 區(qū)域的a化edo查詢表來計算對應(yīng)的本征a化edo值。如果像素顏色C不在表中，則按照1.3中 的描述，使用KD-tree尋找RGB空間中的K個最近鄰，然后差值得到結(jié)果。給定K個顏色Cl (i = 1，2, ...，K)和它們對應(yīng)的a化edo值ai，顏色C對應(yīng)的a化edo值為：
[0060]
[0061 ]其中G(d)是決定差值權(quán)重的高斯函數(shù)。計算了a化edo后，相應(yīng)的shading值即為S = c/a〇
[0062] 3.人臉外觀編輯:根據(jù)步驟2得到的視頻帖與參考圖像的區(qū)域?qū)?yīng)關(guān)系，W及本征 分解的結(jié)果，將在參考圖像的本征層上的編輯傳遞到視頻帖上。
[0063] 3.1預(yù)處理:平滑區(qū)域樞圖和局部區(qū)域限制
[0064] 為了達(dá)到平滑的編輯效果，通過有效的邊界樞圖方法將之前的二值區(qū)域轉(zhuǎn)化為平 滑的alpha蒙板。為每個二值區(qū)域S生成一個S值圖，將區(qū)域S收縮再放大個nm像素的寬度， 并在該邊框范圍內(nèi)計算遮罩。邊框外的前景和背景像素的al地a值定為1和0,使用它們作為 邊界條件.前W誦討優(yōu)化W下巧擲求値巧巧內(nèi)的al pha值：
[00 化]
[0066] 其中N是邊框內(nèi)的鄰居像素數(shù)目，非方止除零，Cl,Cj是像素 i J的顏色值，ai，aj是i， j 的a Ipha 值。
[0067] 同時編輯時可使用筆畫工具決定編輯的指定區(qū)域，然后系統(tǒng)自動地將該區(qū)域蒙板 映射到=維人臉幾何并投影到紋理空間。在實時編輯時，將該蒙板光柵化到視頻帖中并使 用它來動態(tài)約束可編輯的范圍。
[0068] 經(jīng)過上述預(yù)處理，基于步驟2的視頻帖的實時區(qū)域?qū)?yīng)和本征分解結(jié)果，可W在復(fù) 雜的人像視頻中進(jìn)行一系列人臉外觀編輯。對于視頻帖中當(dāng)前正在編輯的區(qū)域，它的本征 層被單獨更新，然后再和原帖合在一起產(chǎn)生新的視頻帖：
[0069] I*二s*a*a+I(l-a),
[0070] 其中S是shading層，a是a化edo層，I是原視頻帖，I*是更新后視頻帖，a用來控制外 觀編輯的程度。
[0071] 3.2 改變 Albedo 值
[0072] 在HSV顏色空間做簡單的全局更新來編輯a化edo,如旋轉(zhuǎn)色調(diào)輪來偏移色彩，或調(diào) 整飽和度等。選擇在HSV空間進(jìn)行編輯的原因是HSV空間的通道具有語義信息，且它將亮度 信息區(qū)分出來，可W幫助用戶在不影響明暗度的情況下調(diào)整顏色。在a化edo層可W進(jìn)行平 滑處理，去除不想要的臉部紋理細(xì)節(jié)，如雀斑等。一個a化edo平滑的結(jié)果如圖3所示。
[0073] 用戶同樣可W改變a化edo層來匹配其它照片的a化edo,該匹配使用的是和顏色傳 遞（REINHARD'E.，ASHIKHMIN，M.，G00CH，B.,AND SHIRLEY'P.2001.Color transfer between images . IEEE Computer Graphics and Applications 21,5,34-41.)類似的 a化edo傳遞過程。Mbedo的傳遞通過a化edo直方圖的匹配完成。在運行前，在RGB空間為參 考圖像Ir和樣本圖像Ie構(gòu)建a化edo直方圖，然后在顏色的每一維度為兩個直方圖計算累積 分布函數(shù)F，再將樣本圖像的a化edo值ae映射到參考圖像的a化edo值a。使得它們在每一維 度的累積分布一樣:Fe(ae)=Fr(ar)。比起簡單的顏色通道的均勻縮放，基于直方圖的匹配 的方法可W得到更好的結(jié)果，因為該方法可W得到更接近樣本a化edo分布的結(jié)果。圖2展示 了一個a化edo傳遞的結(jié)果。
[0074] 3.3 改變 shading 值
[0075] 用戶可W在shading層做平滑處理來去除不想要的幾何細(xì)節(jié)，如皺紋等。為了避免 平滑效果跨越顏色邊緣，本發(fā)明提出了 a化edo引導(dǎo)的邊緣感知的shading平滑技術(shù)。具體來 說，是使用a化edo層計算的顏色距離作為權(quán)重來在shading層做雙邊濾波。運樣，跨越較大 的a化edo差別的shading邊會得W保留。該編輯和局部區(qū)域限制結(jié)合起來，給用戶提供了基 于筆畫的皺紋去除功能。一個shading平滑的結(jié)果如圖4所示。
[0076] 在shading層施加非線性映射函數(shù)可W改變?nèi)四樀耐庥^材質(zhì)屬性。運樣，可W從視 覺上改變?nèi)四樀姆瓷鋵傩?，使得人臉看起來更光亮，如圖5所示。映射函數(shù)使用了覆蓋整個 明暗區(qū)域(從陰影到高亮)的=個斷點控制的=次樣條曲線表達(dá)，函數(shù)的端點固定在(〇,〇) 和（1，1)。系統(tǒng)中，用戶拖動斷點到任意位置，而系統(tǒng)會自動響應(yīng)生成平滑的插值曲線來控 審Shading層。為了讓臉變得更高亮，中間色調(diào)的明暗值會得到增強來加大高光。為了避免 全局光照的變化，本方法通過平均原始shading層和改變后的shading層來分解出相對的明 暗尺度，并作為額外參數(shù)讓用戶控制。相似的，用戶可W通過降低shading層的非線性映射 曲線的中間色調(diào)值來減少臉部的高光，如圖6所示。
[0077] 使用跟蹤的人臉=維幾何，用戶可W在不同光照條件下擅染人臉來合成新的 shading層。該光照條件在視頻運行期間是動態(tài)可控的。為了實現(xiàn)實時的光照改變，本發(fā)明 將新的光照建模成多個方向光的線性組合，并使用反銀齒的陰影映射技術(shù)生成柔和陰影。 為了計算效率，本發(fā)明認(rèn)為人臉具有均勻的Phong反射，參數(shù)開放給用戶。為了進(jìn)一步減少 人臉幾何和圖像人臉區(qū)域的對齊誤差，本發(fā)明基于卷積椎體的有效解法優(yōu)化了一個拉普拉 斯方程（FARBMAN'Z.，F(xiàn)ATTAL，R. ,AND LISCHINSKI'D.2011.Convolution pyramids.ACM Trans.Gra地.30,6,175.)，將沒對齊的縫隙無縫填滿，運樣就可W將新的陰影層往外擴散 到整個皮膚區(qū)域。組成新光照下的人臉時，本發(fā)明根據(jù)需要保留多少原光照，提供混合參數(shù) 來講新的明暗度加到原明暗度上。圖7給出了一個改變光照的例子。
[007引實施實例
[00巧]發(fā)明人在一臺配備Intel雙核巧中央處理器，NVidia GTX660圖形處理器及16GB內(nèi) 存的機器上實現(xiàn)了本發(fā)明的實施實例。發(fā)明人采用所有在【具體實施方式】中列出的參數(shù)值， 得到了附圖中所示的所有實驗結(jié)果。對于分辨率為640X480的網(wǎng)絡(luò)攝像頭，大部分普通用 戶可W在一分鐘內(nèi)完成交互式分割，而且參考圖像的自動預(yù)處理時間通常為30秒，其中GMM 擬合需要10秒，查詢表的構(gòu)造需要少于20秒。運行階段，系統(tǒng)的處理速度超過了 20帖每秒， 其中處理的內(nèi)容包括人臉跟蹤、基于圖割的不同區(qū)域的對應(yīng)、本征分解和外觀編輯。
[0080]發(fā)明人對各種人臉外觀編輯進(jìn)行了試驗，結(jié)果表明本方法首次能在實況人臉視頻 流中實現(xiàn)高質(zhì)量實時本征分解，并能在實況視頻中進(jìn)行各種實時人臉外觀編輯。
【主權(quán)項】
1. 一種基于實時視頻本征分解的人臉外觀編輯方法，其特征在于，包括如下步驟： (1) 離線參考人臉圖像的處理:將參考圖像進(jìn)行高質(zhì)量本征分解和區(qū)域分割，計算各區(qū) 域的顏色模型和結(jié)構(gòu)模型，并構(gòu)建albedo查詢表。 (2) 視頻流的實時本征分解:為視頻流的當(dāng)前幀找出和步驟1得到的參考圖像各區(qū)域相 對應(yīng)的區(qū)域，再利用步驟1的albedo查詢表傳遞本征值到視頻幀上。 (3) 人臉外觀編輯:根據(jù)步驟2得到的視頻幀與參考圖像的區(qū)域?qū)?yīng)關(guān)系，以及本征分 解的結(jié)果，將在參考圖像的本征層上的編輯傳遞到視頻幀上。2. 根據(jù)權(quán)利要求1所述的基于實時視頻本征分解的人臉外觀編輯方法，其特征在于，所 述步驟1包括如下子步驟： (1.1) 選擇拍攝環(huán)境和視頻流一致的參考圖像，使用自動或交互式方法取得高質(zhì)量的 本征分解結(jié)果。 (1.2) 將參考圖像分割為各個語義區(qū)域，分割后的語義區(qū)域按照分層結(jié)構(gòu)進(jìn)行組織。 (1.3) 為步驟1.2分割出的各區(qū)域構(gòu)造本征albedo查詢表，為像素顏色和albedo值建立 映射。 (1.4) 為步驟1.2分割出的各區(qū)域建立顏色概率模型和結(jié)構(gòu)概率模型，用于運行階段的 視頻幀的區(qū)域?qū)?yīng)。3. 根據(jù)權(quán)利要求1所述的基于實時視頻本征分解的人臉外觀編輯方法，其特征在于，所 述步驟2包括如下子步驟： (2.1) 根據(jù)步驟1.4建立的顏色概率模型和結(jié)構(gòu)概率模型，使用圖割算法框架，找到視 頻幀中和參考圖像各區(qū)域相對應(yīng)的區(qū)域。 (2.2) 根據(jù)步驟1.3得到的各參考區(qū)域的albedo查詢表，基于步驟2.1得到區(qū)域?qū)?yīng)，為 視頻幀的每個區(qū)域，根據(jù)其對應(yīng)參考區(qū)域的albedo查詢表將參考區(qū)域的本征值傳遞到視頻 當(dāng)前幀對應(yīng)的區(qū)域，再根據(jù)albedo值分解顏色信息得到shading值。4. 根據(jù)權(quán)利要求1所述的基于實時視頻本征分解的人臉外觀編輯方法，其特征在于，所 述步驟3包括如下子步驟： (3.1) 編輯前的預(yù)處理，包括平滑區(qū)域摳圖和局部區(qū)域限制。 (3.2) 改變視頻幀的albedo值，包括在HSV空間編輯albedo,平滑albedo和albeo傳遞 等； (3.3) 改變視頻幀的shading值，包括平滑shading，人臉外觀材質(zhì)屬性編輯，改變光照 條件合成新shading層等。
【文檔編號】G06T3/00GK105956995SQ201610244605
【公開日】2016年9月21日
【申請日】2016年4月19日
【發(fā)明人】周昆, 柴蒙磊, 翁彥琳, 陳凱迪, 邵天甲
【申請人】浙江大學(xué), 聯(lián)想(北京)有限公司