一種基于多重網(wǎng)格近似算法的自適應(yīng)區(qū)域感知蒙板生成方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于模式識別與人工智能技術(shù)領(lǐng)域，特別是設(shè)及基于多重網(wǎng)格近似算法的 自適應(yīng)區(qū)域感知蒙板生成方法。
【背景技術(shù)】
[0002] 移動互聯(lián)網(wǎng)社交高速發(fā)展，對人臉美化產(chǎn)品的需求激增。人臉美化相關(guān)算法在學(xué) 術(shù)領(lǐng)域具有相當(dāng)大的研究價值，同時，在現(xiàn)實(shí)生活中也具有廣闊的應(yīng)用前景。非專業(yè)用戶借 助人臉美化系統(tǒng)進(jìn)行肖像美化處理，平面設(shè)計人員借助人臉美化系統(tǒng)進(jìn)行虛擬形象設(shè)計輔 助等。
[0003] 拍攝的肖像照片如果包含比較復(fù)雜的光照條件、背景環(huán)境W及不同的人物姿態(tài)， 人臉美化會遭遇困難。為此，需將人臉圖像上的人臉和背景加 W區(qū)分，并根據(jù)已有的人臉先 驗(yàn)知識，更細(xì)致地將人臉劃分為不同區(qū)域，設(shè)置相應(yīng)的局部處理參數(shù)，進(jìn)行不同程度的處 理。本發(fā)明的目的是設(shè)計能夠根據(jù)人臉特征對不同區(qū)域自動進(jìn)行相應(yīng)的局部處理參數(shù)設(shè)置 的方法。
[0004] 陳伊力和廖文蠢2012年分別在碩±論文"基于數(shù)據(jù)驅(qū)動的人臉美化"和"基于數(shù)據(jù) 驅(qū)動的人臉美化技術(shù)及應(yīng)用開發(fā)"中首先通過對人臉關(guān)鍵特征點(diǎn)進(jìn)行定位，得到能夠標(biāo)識 人臉重要部位輪廓的特征點(diǎn)，并基于特征點(diǎn)對人臉區(qū)域進(jìn)行劃分，最終實(shí)現(xiàn)對不同區(qū)域進(jìn) 行不同程度處理的目的。然而，由于美化處理過程依賴于特征點(diǎn)，當(dāng)人臉邊緣的特征點(diǎn)檢測 不夠準(zhǔn)確時，生成的美化結(jié)果會出現(xiàn)比較明顯處理痕跡，導(dǎo)致美化失敗。為此，利用化rez等 人2003年發(fā)表在ACM IYansactions on Gra地ics上的論文"Poisson image editing"中提 出的泊松圖像編輯算法，對美化圖像進(jìn)行后期處理，W去除不自然的區(qū)域邊緣。盡管如此， 運(yùn)一效果在真實(shí)感和自然程度上還有待提高。Liang等2014年發(fā)表在IE趾transactions on cybernetics的論文('Facial skin beautification using adaptive region-aware masks"中提出基于自適應(yīng)蒙板的美化方法，不僅通過特征點(diǎn)中包含的人臉先驗(yàn)信息粗略地 獲取人臉關(guān)鍵部位(如眼睛，鼻子，嘴己等）的分布，而且通過Canny算子提取到人臉中比較 明顯的邊緣特征。而后再通過編輯傳播模型對其進(jìn)行擴(kuò)散，得到可W控制人臉美化編輯操 作的蒙板。由于蒙板是通過擴(kuò)散算法得來的，因而不會產(chǎn)生明顯的邊緣，使得處理后的圖像 不會有明顯的處理痕跡，但因此帶來了計算量增加，運(yùn)算速度慢的問題。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是提供一種基于多重網(wǎng)格近似算法的自適應(yīng)區(qū)域感知蒙板生成方 法，滿足人臉美化技術(shù)在實(shí)時性和實(shí)用性上的要求，對其核屯、算法蒙板生成過程進(jìn)行自適 應(yīng)區(qū)域感知優(yōu)化和時間復(fù)雜度優(yōu)化，利用多重網(wǎng)格近似算法求解蒙板生成高維線性系統(tǒng)， 保持較好人臉美化效果的同時，顯著降低算法時間復(fù)雜度。
[0006] 本發(fā)明采用的技術(shù)方案如下。
[0007] -種基于多重網(wǎng)格近似算法的自適應(yīng)區(qū)域感知蒙板生成方法，利用多重網(wǎng)格近似 算法求解蒙板生成的高維線性系統(tǒng)，使得優(yōu)化算法效率提升4倍，應(yīng)用于人臉美化處理能滿 足系統(tǒng)實(shí)時性和實(shí)用性要求。
[0008] 所述自適應(yīng)區(qū)域感知蒙板生成方法包括：
[0009] (1 )、自適應(yīng)邊緣保持能量最小化模型定義；
[0010] (2)、多重網(wǎng)格法模型參數(shù)求解；
[0011] (3)、多重網(wǎng)格近似算法優(yōu)化；
[0012] 所述步驟（1)是邊緣保持能量最小化模型定義，其目的是確定自適應(yīng)蒙板生成過 程中的數(shù)學(xué)優(yōu)化原則。本發(fā)明選擇邊緣保持能量最小化模型作為區(qū)域感知自適應(yīng)模板的數(shù) 學(xué)模型，其表達(dá)式為：
[0016] f是一個假定的標(biāo)量函數(shù)，用W描述圖像上的像素值如何調(diào)整，即f (X)表示點(diǎn)X處 調(diào)整后的像素值，可^理解為輸出結(jié)果。1>'(、-)以'(.、-)-^^(叫)'是數(shù)據(jù)項(xiàng)，代表用戶輸入信 乂 息對輸出結(jié)果的限制，其中數(shù)據(jù)項(xiàng)權(quán)重W(X)指明了像素點(diǎn)受約束的程度，其取值為[0，1]， 而g(x)是模型輸入限制，即是人臉的粗略范圍。ZMW，為光滑項(xiàng)，其目的是保證f的梯 度盡可能小，其中L是導(dǎo)向特征圖，使用經(jīng)過取對數(shù)處理的圖像亮度通道作為L。各帶有下標(biāo) 的符號表示偏導(dǎo)數(shù)，即.
。參數(shù)e是一個非常小但不為 零的常數(shù)(例如，可W選取E = Ie-IO),用來防止出現(xiàn)分母為零時出現(xiàn)零除的情況。Ci(X)為隨 圖像空間特性變化的參數(shù)函數(shù)，運(yùn)使得可W利用已有的人臉先驗(yàn)知識對不同區(qū)域設(shè)置不同 的Ct(X)值，從而控制人臉不同區(qū)域的平滑程度。參數(shù)A控制著平滑項(xiàng)整體的比重，當(dāng)A越大， 光滑項(xiàng)的比重就越大，此時圖像趨于平滑，反之，則圖像趨于輸入限制的原始形狀。A的選擇 需要比較細(xì)致，如果A太小，圖像擴(kuò)散不足，邊緣過渡不自然，如果A太大，圖像過于平滑，容 易丟失重要的邊緣信息。可W看出，"邊緣保持模型"是利用導(dǎo)向特征圖來控制輸入信息的 擴(kuò)散程度的，更具體的說，是根據(jù)圖像的亮度圖層的梯度變化來控制的。在L的梯度變化較 小時，擴(kuò)散程度較大，反之，當(dāng)L的梯度變化較大時，擴(kuò)散程度較小，而運(yùn)一擴(kuò)散過程可W通 過A和e兩個參數(shù)進(jìn)行調(diào)節(jié)。I I ? I Ip為P范式，P為范參數(shù)。上述邊緣保持能量最小化模型等 價于如下線性系統(tǒng)的求解:Ax = B,式中
[001 引 Bi=Wigi
[0019] 其中，i J代表圖像中的像素點(diǎn)，N4(i)代表i的四鄰域內(nèi)的點(diǎn)。
[0020] 所述步驟(2)是多重網(wǎng)格法求解模型參數(shù)，其目的是用多重網(wǎng)格方法求解邊緣保 持能量最小化模型參數(shù)，基本操作步驟是:先把問題粗糖化，把原網(wǎng)格投影到一個比較簡單 的新網(wǎng)格上計算，等到快速收斂W后再經(jīng)由插值返回原來的系統(tǒng)。
[0021] 自適應(yīng)感知蒙板等價于形如Ax = B的線性方程，假設(shè)A為nXn矩陣，X和B為nXl矩 陣。那么，最終目的是得至Ijx=A可。定義誤差函數(shù)e(t)=x-x(t)，當(dāng)e(t)小于某個值時，認(rèn)為 X收斂到了合適的值。為了能使用迭代方法，在迭代式求解過程中比較的是相鄰值e^t)=x (t+1) -X (t)。算法步驟包括：1)將A進(jìn)行奇異分解A = D-C; 2)求解:X = D-ICx+D-Ir ; 3)迭代求 解:X (t+1)=擴(kuò)iCx (t) +〇-吃。令M = D-Ic，N=擴(kuò)1，則有X (t+1) = Mx (t) +NB。n 數(shù)值越大，收斂越 緩慢。假設(shè)P(i)，Q = I，2,. . .，n)是原系統(tǒng)有限元基函數(shù)，q(i)(i = l ,2. . .，m，m<n)是粗糖 化網(wǎng)格。一種粗糖化方法是構(gòu)造矩陣H，使P = H ? q，H為mXn矩陣。令A(yù)' =HAHT,x' =化，B' = 皿，則A'x'=B'是一個m維粗略化的網(wǎng)格系統(tǒng)。更加具體來說，對于一個k維的問題，如果k小 于一個指定的維數(shù)，直接用雅克比方法求解。否則，粗略化為更低維度，比如變?yōu)樵瓉淼亩?分之一，最后再通過插值方法變換為原系統(tǒng)的維數(shù)。
[0022] 所述步驟(3)是多重網(wǎng)格近似算法優(yōu)化，其目的是保證模型效果的前提下，提升算 法的處理效率，加速自適應(yīng)感知蒙板生成。
[0023] 首先，本發(fā)明設(shè)計一個開關(guān)，當(dāng)圖片分辨率足夠高時（大于等于1000x1000像素）， 就采用共輛梯度下降法求解線性系統(tǒng)，并且為其設(shè)置比較高的求解精度和迭代次數(shù)。該方 法所需要的內(nèi)存是直接求解方式的40%，使得在一臺普通PC機(jī)上，該算法可W處理超過 2000x2000的大分辨率圖片。
[0024] 共輛梯度下降法的初始化參數(shù)在很大程度上影響著算法收斂速度。在精度為 0.0001，最大迭代次數(shù)不做限制時，處理一張1675巧200的圖片大約需要14分鐘。通過降低 求解的精度(0.01)和最大迭代次數(shù)（100)，處理時間可W下降到十幾秒的級別。但同時，因 為求解結(jié)果非精確解，對于小分辨率圖片，得到的蒙板會有一些區(qū)域值為0,導(dǎo)致最終處理 結(jié)果上出現(xiàn)明顯的黑斑。當(dāng)?shù)螖?shù)不夠多時，類似的缺陷會更加明顯。針對迭代次數(shù)不夠 導(dǎo)致的運(yùn)一缺陷，可W通過增加迭代次數(shù)和求解精度來解決。
[0025] 本發(fā)明采用降采樣矩陣作為粗略化矩陣H。根據(jù)自適應(yīng)邊緣保持能量最小化模型 的等價線性系統(tǒng)定義Ax = B,系統(tǒng)參數(shù)為：
[0027] Bi=Wigi
[0028] 因此，本發(fā)明蒙板生成模型參數(shù)A是一個(mXn) X (mXn)維的矩陣，參數(shù)B是一個 (mXn) Xl維的列向量，其中m，n分別為原始圖像的寬度和高度。粗略化后的線性系統(tǒng)參數(shù) 為：
[0029] B 二曲。wnSampleB
[0030] 乂二 H化…血,,,PkAHdl細(xì)睞 [0031 ]對運(yùn)一系統(tǒng)求得的解為：
[003^ X 二曲。wnSampleX
[003引其中HdownSample表示降采樣矩陣，巧表示降采樣矩陣的逆矩陣，本發(fā)明中用 雙線性插值來完成運(yùn)一操作。最終結(jié)果為巧U該式表示對粗略化系統(tǒng)的求解結(jié) 果進(jìn)行雙線性插值。
[0034] 為了進(jìn)一步簡化操作，減少計算量，本發(fā)明對粗略化過程進(jìn)行了簡化。由于參數(shù)矩 陣A和B是由同一個輸入圖像和導(dǎo)向特征圖得來，本發(fā)明中，輸入圖像和導(dǎo)向特征圖使用同 一張圖像，故將降采樣矩陣直接運(yùn)用于輸入圖像和導(dǎo)向特征圖上，再求得線性系統(tǒng)的近似 粗略化矩陣參數(shù)，進(jìn)而使用稀疏矩陣求解算法求出近似粗略化解X'。
[0035] 本發(fā)明的基本原理是:利用多重網(wǎng)格近似算法求解蒙板生成的高維線性系統(tǒng)并進(jìn) 行優(yōu)化，將降采樣矩陣直接運(yùn)用于輸入圖像和導(dǎo)向特征圖上，再求得線性系統(tǒng)的近似粗略 化矩陣參數(shù)，進(jìn)而使用稀疏矩陣求解算法求出近似粗略化解，使得優(yōu)化算法效率提升4倍， 應(yīng)用于人臉美化處理能滿