視頻人臉卡通動畫生成方法
【技術領域】
[0001] 本發(fā)明屬于圖像處理技術，具體涉及基于人臉視頻生成卡通視頻的生成方法。
【背景技術】
[0002] 目前視頻人臉卡通動畫生成方法主要有關鍵幀插值方法，參數控制方法，肌肉模 型方法，物理模型方法，行為驅動方法。
[0003] 關鍵幀插值方法主要思想是先利用人臉頭部運動或者人臉表情變化的檢測，從大 量視頻圖像幀里獲取最具有代表性的關鍵幀，并對其進行相關的圖像處理，將經過處理的 關鍵幀形成人臉樣本圖像庫，在關鍵幀之間進行插值，得到中間時刻的處理圖像，由此可以 得到處于兩種表情之間的一種新的表情圖像。該算法的適用性很局限，只能對一個人或是 一種類型的人臉模型進行計算，而不能大范圍的創(chuàng)建各種真實的人臉模型。
[0004] 參數控制方法采用了參數化技術，客服了簡單插值的一些限制，通過選取一組獨 立的參數值，經過少量的計算參數的組合就能構造出人臉表情。但參數化方法很容易產生 不自然的表情，而且需要大量的手工調節(jié)去設置參數值。
[0005] 肌肉模型方法的原理是，用多邊形來表示人臉的形狀，然后用肌肉向量通過不同 的函數改變多邊形的頂點位置和運動方向，這樣就可以改變人臉不同區(qū)域的形狀，從而實 現人臉的動畫效果。在向量肌肉模型中，如何按生理學的規(guī)律正確放置肌肉向量是一項非 常困難的工作，不正確的肌肉向量定位，會出現不自然的表情動畫，甚至出現不可能發(fā)生 的表情動畫，因此需要反復實驗來得到比較好的效果。
[0006] 基于物理模型的動畫是將人臉視為一個可變型的彈性體，由彈性矢量單元將人臉 的皮膚層、軟組織、肌肉層和骨骼層的各個節(jié)點鏈接起來，將這些彈性矢量單以不同的方式 組合在一起，就形成可以發(fā)生形變的曲線和可以發(fā)生形變的曲面，然后利用物理模型的方 法模擬肌肉的的運動，通常是采用Newtonian運動方程來模擬人臉的肌肉運動。該方法使 人臉表情動畫更具有真實性，但是人臉模型很復雜，計算量相當的大，不適用于實時處理。
[0007] 行為驅動方法是指通過運動捕捉設備，獲取視頻攝像頭拍攝的人臉運動的數據， 然后用這些運動數據控制計算機生成虛擬的人臉表情運動。為了更好的獲取人臉表情變化 的數據，可以在待跟蹤的人臉上選取特征點，通過對特征點的跟蹤來記錄人臉的運動數據。 根據數據的變化對卡通圖像進行相應的處理形成卡通動畫?，F有的光流法對特征點的跟蹤 準確度不高，尤其當特征點附近的紋理復雜時容易產生漂移，使人臉表情變化的數據產生 錯誤，從而導致卡通人臉的變化與真實人臉的表情變化不一致。

【發(fā)明內容】

[0008] 本發(fā)明的目的是提供一種基于特征點定位的視頻人臉卡通化方法，此方法生成的 卡通動畫視頻較流暢，與輸入人臉的相似性較高，表情模擬逼真，具有較高的實用價值。
[0009] 本發(fā)明的視頻人臉卡通動畫生成方法，包括下列步驟：
[0010] 步驟1 :從輸入視頻選擇一幀正面中性表情人臉圖像作為參考幀，并截取參考幀 的人臉圖像，基于所述人臉圖像的兩眼距離對人臉圖像進行尺寸歸一化；
[0011] 將該人臉圖像轉換為灰度圖像，獲取所述灰度圖像的特征點并保存特征點位置， 所述特征點包括具有標志性的面部輪廓特征點、眉毛輪廓特征點、眼睛輪廓特征點、鼻子輪 廓特征點；根據獲取的眉毛輪廓特征點、眼睛輪廓特征點、鼻子輪廓特征點對所述人臉圖像 中的眉毛、眼睛、鼻子分別進行重疊分塊，且分塊數大于或等于3;在人臉圖像塊庫中為所 有分塊尋找最佳匹配塊，各最佳匹配塊對應在卡通圖像塊庫的卡通塊即為找到的卡通匹配 塊，將卡通匹配塊合成為完整的器官塊，得到參考幀的卡通眉毛、卡通眼睛、卡通鼻子并保 存；
[0012] 以眉毛輪廓特征點為中心，將灰度圖像的眉毛分成M(眉毛輪廓特征點個數）個矩 形塊（矩形塊的大小通?？稍O置為K1*K1的方塊，Kl的取值為7~11)作為初始眉毛模板；
[0013] 基于眼睛輪廓特征點獲取眼睛高度h，并將h分為N段，獲取各段端點的灰度值，并 保存各端端點的灰度值、位置，其中N大于或等于3，
[0014] 卡通面部輪廓直接通過勾勒面部輪廓特征點合成并保存；
[0015] 取得所述灰度圖像中頭發(fā)區(qū)域的掩膜，從而得到參考幀的卡通頭發(fā)部分發(fā)并保 存；
[0016] 步驟2 :查找參考幀的相似幀作為卡通動畫的起始幀；
[0017] 步驟3 :對起始幀及其后續(xù)幀進行人臉卡通畫生成：
[0018] 將當前幀圖像轉換為灰度圖像；
[0019] 基于當前幀眉毛模板獲取當前幀的眉毛輪廓特征點位置，將參考幀的卡通眉毛作 為當前幀的卡通眉毛，并按照特征點位置將卡通眉毛放到當前幀圖像的相應位置，所述當 前幀眉毛模板為：以上一幀眉毛模板作為滑動窗，在當前幀的預設滑動范圍（K2*K2的矩形 范圍，其中Κ2的取值為3~5)內查找與滑動窗的灰度值偏差最小的點，將該點作為新的中 心點，并將滑動窗的中心點移至所屬新的中心點得到當前幀眉毛模板，其中起始幀的上一 幀眉毛模板為M個初始眉毛模板；
[0020] 獲取當前幀的鼻尖點的位置，并計算與參考幀的鼻尖點的位置變化值Τ，將參考幀 的卡通鼻子作為當前幀的卡通鼻子，基于位置變化值T放到當前幀圖像的相應位置；
[0021] 將位置變化值T與參考幀的下眼皮特征點的位置相加，得到當前幀的下眼皮特征 點的位置，基于參考幀的眼睛高度h和分段端點位置，在當前幀查找與N個端點的灰度值最 接近的點，得到當前幀的眼睛高度h'，基于當前幀與參考幀的眼睛特征點的坐標映射，對 參考幀的卡通眼睛進行仿射變換處理，得到當前幀的卡通眼睛，并放到當前幀圖像的相應 位置；
[0022] 將參考幀的卡通面部輪廓、卡通頭發(fā)部分作為當前幀的卡通面部輪廓、卡通頭發(fā) 部分，基于參考幀的各特征點的位置與位置變化值T，將其放到當前幀圖像的相應位置；
[0023] 獲取當前幀具有標志性的嘴巴輪廓特征點，通過勾勒嘴巴輪廓特征點合成嘴巴輪 廓線，得到當前幀的卡通嘴巴輪廓，并按照特征點位置將卡通嘴巴輪廓放到當前幀圖像的 相應位置；
[0024] 對卡通化后的圖像進行上色，生成當前幀的人臉卡通畫。
[0025] 綜上所述，由于采用了上述技術方案，本發(fā)明的有益效果是：提供了一種視頻人臉 卡通化方法，此方法生成的卡通視頻效果較好，速度快。
【附圖說明】
[0026] 本發(fā)明將通過例子并參照附圖的方式說明，其中：
[0027] 圖1:本發(fā)明流程示意圖。
[0028] 圖2 :輸入的測試視頻的截取幀。
[0029] 圖3 :步驟二人臉卡通生成方法合成后的卡通人臉效果圖。
[0030] 圖4 :人臉輪廓原特征點，粗調整后的特征點，細調整后的特征點。
[0031] 圖5 :人臉上色后合成完整的卡通畫效果圖。
[0032] 圖6 :不同表情的幾幀圖像。
[0033] 圖7 :卡通化生成眉毛與變換后的眉毛。
[0034] 圖8 :卡通化生成的眼睛與變換后的眼睛。
[0035] 圖9 :嘴巴不同狀態(tài)時對應的R-G二值圖、R-G二值圖的垂直方向投影圖、Lab二值 圖、嘴巴主要特征點、對應的卡通嘴巴。
[0036] 圖10 :與視頻人臉表情對應的卡通圖。
【具體實施方式】
[0037] 為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面結合實施方式，對