一種實時的人臉交互方法及其系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本公開涉及計算機(jī)圖形圖像處理領(lǐng)域，特別是一種實時的人臉交互方法及其系 統(tǒng)。
【背景技術(shù)】
[0002] 隨著科技的發(fā)展，硬件設(shè)備的性能提升和圖像處理技術(shù)的增強，使得很多攝像頭 設(shè)備可以自身進(jìn)行圖像處理，而其中一些圖像處理可以產(chǎn)生卡通或文字渲染，但是當(dāng)前這 類處理都是基于靜態(tài)圖片，且是通過人工添加卡通或文字渲染，也不能對視頻進(jìn)行實時處 理，更不能進(jìn)行人機(jī)交互。目前大多人機(jī)交互的系統(tǒng)，都是基于語音或者肢體的動作，不能 真實地反映操作者的喜怒哀樂。

【發(fā)明內(nèi)容】

[0003] 針對上述部分問題，本公開提供了一種實時的人臉交互方法及系統(tǒng)，所述方法及 系統(tǒng)能夠通過臉部動作狀態(tài)智能控制視頻中的輸出對象，通過輸出對象真實地反映操作者 的喜怒哀樂等臉部動作變化。
[0004] -種實時的人臉交互方法，所述方法包括下述步驟：
[0005] S100、獲取電子哈哈鏡前的、當(dāng)前用戶的實時視頻；
[0006] S200、基于所述實時視頻獲取視頻幀圖像，對所述視頻幀圖像進(jìn)行人臉檢測識別；
[0007] S300、在人臉檢測識別之后，使用級聯(lián)回歸模型提取人臉特征，并進(jìn)行人臉變形；
[0008] S400、在電子哈哈鏡上實時呈現(xiàn)當(dāng)前用戶人臉變形后的哈哈鏡視覺畫面。
[0009] 基于所述方法，實現(xiàn)了一種實時的人臉交互系統(tǒng)，所述系統(tǒng)包括下述模塊：
[0010] M1 〇〇、視頻獲取模塊:獲取電子哈哈鏡前的、當(dāng)前用戶的實時視頻；
[0011] M200、人臉檢測識別模塊:基于所述實時視頻獲取視頻幀圖像，對所述視頻幀圖像 進(jìn)行人臉檢測識別；
[0012] M300、人臉變形模塊:在人臉檢測識別之后，使用級聯(lián)回歸模型提取人臉特征，并 進(jìn)行人臉變形；
[0013] M400、視覺呈現(xiàn)模塊:在電子哈哈鏡上實時呈現(xiàn)當(dāng)前用戶人臉變形后的哈哈鏡視 覺畫面。
【附圖說明】
[0014] 圖1本公開一個實施例中的方法流程示意圖。
【具體實施方式】
[0015] 在一個基礎(chǔ)的實施例中，提供了一種實時的人臉交互方法，所述方法包括下述步 驟，如圖1所示：
[0016] S100、獲取電子哈哈鏡前的、當(dāng)前用戶的實時視頻；
[0017] S200、基于所述實時視頻獲取視頻幀圖像，對所述視頻幀圖像進(jìn)行人臉檢測識別；
[0018] S300、在人臉檢測識別之后，使用級聯(lián)回歸模型提取人臉特征，并進(jìn)行人臉變形；
[0019] S400、在電子哈哈鏡上實時呈現(xiàn)當(dāng)前用戶人臉變形后的哈哈鏡視覺畫面。
[0020] 在這個實施例中，所述方法可以應(yīng)用于手機(jī)、平板、帶攝像頭的廣告機(jī)、帶攝像頭 的電腦等場合，能夠通過臉部動作狀態(tài)智能控制視頻中的輸出對象，通過輸出對象真實地 反映操作者的喜怒哀樂等臉部動作變化。在通過攝像頭拍攝獲得臉部后，攝像機(jī)拍攝的同 時，就完全實時地對屏幕上的視頻做出同步臉部動作控制效果。比如在捕捉到攝像頭前對 象的眨眼動作，每捕捉到一次，將在視頻輸出時重新生成并實時顯示另一對象同樣的眨眼 動作。攝像頭前對象和重新生成的另一對象可以是人，也可以是動物，或者其他具有臉部的 對象。當(dāng)攝像頭前對象是人，重新生成的另一對象是動物或卡通形象時，就相當(dāng)于把攝像頭 前對象擬動物化或擬卡通化。
[0021] 優(yōu)選的，所述S300中所述使用級聯(lián)回歸模型提取人臉特征包括下述步驟：
[0022] S 3 01、通過自動識別方式確定要提取的特征點的數(shù)量；
[0023] S302、獲取包括眼球中心點、眼角、鼻尖、嘴角9個點在內(nèi)的特征點，并根據(jù)該9個點 的位置關(guān)系評估人臉角度；
[0024] S303、根據(jù)所述人臉角度選擇適合該人臉角度范圍的級聯(lián)回歸模型，將檢測的圖 像作為輸入，獲取人臉特征點。
[0025] 優(yōu)選的，所述S300中所述人臉變形包括下述步驟：
[0026] S311、確定某個要變形五官的特征點，基于確定的特征點及其影響半徑，計算受變 形影響的每個像素點的新位置和新灰度值；
[0027] S312、利用步驟S311中計算得到的每個像素點的新位置和新灰度值更新圖像上相 關(guān)的像素點。
[0028] 在通過攝像頭拍攝獲得人臉后，檢測人臉，并對人臉進(jìn)行跟蹤，對體現(xiàn)五官、人臉 輪廓的特征點進(jìn)行提取，所述特征點的數(shù)量可以是21點，106點，或者是196點。在提取到特 征點后，可以基于多個要變形的五官的特征點，按照不同影響半徑，計算變形區(qū)域像素點的 幾何位置變化，制作出一些變形效果，比如五官的放大縮小，臉型正反三角，方形圓形，嘴角 上揚下垂等等，類似哈哈鏡，可以變成獨眼龍、蛤蟆嘴，大方臉，大鼻子，等等搞笑的結(jié)果。攝 像機(jī)拍攝的同時，就對屏幕上的視頻作出效果，完全實時。
[0029] 這里的變形是指在人臉圖像的一小部分區(qū)域內(nèi)做變形，只改變某些范圍的特征， 但是保持其它區(qū)域不發(fā)生變化。在現(xiàn)有技術(shù)中常用的變形方法有:基于網(wǎng)格的變形，即在圖 像上嵌入一張網(wǎng)格，通過改變網(wǎng)格的形狀實現(xiàn)圖像變形，包括后續(xù)發(fā)展出的自由變形(FFD) 和建立網(wǎng)格的層次結(jié)構(gòu)等;基于特征線的變形，如Beier和Neely等人提出的根據(jù)像素點相 對于圖像中一系列線段的位置而決定變形的方法;基于散亂點插值的變形，即在圖像上指 定一系列點后，用徑向基函數(shù)方法完成指定點對的插值。對后一個問題，主要使用插值技術(shù) 來解決，包括三次卷積、s inc函數(shù)、線性函數(shù)和三次B樣條等。
[0030] 優(yōu)選的，所述步驟S311中新灰度值計算使用雙線性插值進(jìn)行求解，可使變形自然。 設(shè)(x，y)的4個最鄰近像素為A，B，C，D，它們的坐標(biāo)分別為(i，j)，（ i+1，j)，（ i，j+1)，（ i+1，j+ 1)，它們的灰度值分別為g(A)，g(B)，g(C)，g(D)，則插值點(x，y)的灰度值為：
[0031] G(x,y) = (x-i){(y-j)[g(D)-g(B)]+g(B)-(y-j)[g(C)-g(A)]-g(A)} + (y-j)[g (C)-g(A)]-g(A)
[0032]可選的，所述步驟S312中更新使用OpenGL GPU對視頻幀圖像進(jìn)行渲染，加快圖像 更新。使用OpenGL GPU可以能夠幫助得到更加流暢的界面體驗，其處理過程為:像素和頂點 數(shù)據(jù)可以選擇存儲在顯示列表中，我們可以把顯示列表看成是存儲數(shù)據(jù)的媒介，用于加速 渲染速度。頂點數(shù)據(jù)經(jīng)過求值器，產(chǎn)生法向量、紋理坐標(biāo)、點的空間坐標(biāo)等，通過頂點操作和 圖元裝配，生成相應(yīng)的像素信息，進(jìn)行光柵化處理，光柵化是把幾何和像素數(shù)據(jù)轉(zhuǎn)化成片 段，每個片段塊對應(yīng)幀緩沖區(qū)中的一個像素。其中，頂點操作和圖元裝配中又可以細(xì)分出一 條渲染管線，這里稱為頂點處理管線。在光柵化完成后，還可以根據(jù)命令，對每個像素進(jìn)行 處理，最后寫入幀緩沖區(qū)內(nèi)。
[0033]優(yōu)選的，所述自動識別方式根據(jù)檢測到的人臉區(qū)域的清晰度來確定要采集的特征 點的數(shù)量，以滿足實時性的要求。更優(yōu)地，所述人臉區(qū)域的清晰度通過采用圖像模糊檢測方 法來度量。本申請不限制具體的方法，可以采用現(xiàn)有技術(shù)中的適當(dāng)圖像模糊檢測方法。 [0034]可選的，所述自動識別方式考慮實施本公開方法的硬件性能確定，以滿足實時性 的要求。
[0035] 進(jìn)