一種基于特征跟蹤的人臉圖像序列生成方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計算機圖形圖像處理，模式識別技術(shù)領(lǐng)域，涉及視頻中人臉特征點檢 測、人臉特征點形變及網(wǎng)格生成和人臉紋理映射的方法，特別涉及一種基于特征跟蹤的人 臉圖像序列生成方法及裝置。
【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)，社交網(wǎng)站的爆發(fā)式發(fā)展，人際之間通過視頻的交互受到了更多的關(guān) 注，無論是通過PC客戶端，還是通過移動設(shè)備終端(手機，平板電腦）等含攝像頭的硬件產(chǎn) 品，幾乎都能實現(xiàn)用戶之間的視頻交流。這其中的軟件產(chǎn)品主要包括Skype(Mi Cr〇S〇ft)，QQ (Tecent)，F(xiàn)acetime(Apple)等，在傳輸這些視頻流數(shù)據(jù)的時候均會將發(fā)送端實時采集的攝 像頭每一幀圖像通過網(wǎng)絡(luò)發(fā)送到接收端，盡管這其中采用相應(yīng)的編解碼的壓縮算法，但在 某些網(wǎng)絡(luò)低帶寬的使用場景下，給用戶帶來的網(wǎng)絡(luò)流量仍然會相對偏高。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的是為了克服現(xiàn)有人臉視頻序列傳輸技術(shù)的缺陷，解決網(wǎng)絡(luò)低帶寬條 件下人臉視頻序列的傳輸數(shù)據(jù)量大的問題，提出一種基于特征跟蹤的人臉圖像序列生成方 法及裝置，減輕用戶的流量負(fù)擔(dān)和整個網(wǎng)絡(luò)不必要的網(wǎng)絡(luò)負(fù)載。
[0004] 本發(fā)明的思想是改變傳統(tǒng)視頻交流時傳送每一幀圖像的網(wǎng)絡(luò)帶寬消耗大的方式， 只傳送人臉圖像的差異數(shù)據(jù)，使通過網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量大幅降低。
[0005] 本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的：
[0006] -種基于特征跟蹤的人臉圖像序列生成方法，包括以下內(nèi)容：
[0007] 通過實時的跟蹤攝像頭米集人臉圖像序列幀；
[0008] 對每一幀圖像檢測出其中人臉特征點的具體的坐標(biāo)信息；
[0009] 將當(dāng)前圖像幀的特征點數(shù)據(jù)與初始圖像的特征點數(shù)據(jù)的差值高于預(yù)設(shè)變化閾值T 的特征點變化值，通過網(wǎng)絡(luò)傳送到接收方；
[0010]接收端將接收到的圖像特征點的變化值，根據(jù)已經(jīng)保存的初始人臉圖像及人臉特 征點信息，對人臉圖像作紋理重繪，生成對應(yīng)發(fā)送端的實時人臉圖像。
[0011] 作為優(yōu)選，所述人臉特征點在視頻交流時動作較多的部位定義較多。
[0012] 作為優(yōu)選，所述人臉特征點具體的坐標(biāo)信息采用ASM方法提取，并且采用Adaboost 方法提取出人臉的初始區(qū)域作為ASM搜索的初始區(qū)域。
[0013] 作為優(yōu)選，所述人臉特征點的選取通過大量手工標(biāo)注好特征點的人臉圖像樣本作 為訓(xùn)練集，建立人臉形狀統(tǒng)計模型，該模型用于新的（非訓(xùn)練集中的）人臉圖像中的特征點 定位。
[0014] 作為優(yōu)選，所述紋理重繪采用基于Delaunay三角網(wǎng)格的紋理映射實現(xiàn)。
[0015] -種基于特征跟蹤的人臉圖像序列生成裝置，包括發(fā)送端模塊和接收端模塊，發(fā) 送端模塊用于對每一幀攝像頭采集的人臉圖像序列幀進行人臉特征點的具體的坐標(biāo)信息 檢測，并將檢測到的位置變化超過預(yù)設(shè)閾值T的特征點發(fā)送至接收端模塊;接收端模塊用于 根據(jù)接收到的當(dāng)前幀的特征點變化值，根據(jù)已經(jīng)保存的初始人臉圖像及人臉特征點信息， 對人臉圖像作紋理重繪，生成對應(yīng)發(fā)送端當(dāng)前幀的實時人臉圖像。
[0016] 作為優(yōu)選，所述發(fā)送端模塊包括人臉特征點檢測單元和特征點發(fā)送單元，人臉特 征點檢測單元用于按時間先后順序?qū)γ恳粠瑪z像頭采集的人臉圖像序列幀進行人臉特征 點的坐標(biāo)信息檢測，并將檢測到的人臉特征點的坐標(biāo)信息與初始圖像的特征點數(shù)據(jù)求差 值，將高于預(yù)設(shè)變化閾值Τ的特征點變化值輸出;特征點發(fā)送單元用于按時間先后順序?qū)θ?臉特征點檢測單元輸出的每一幀圖像的特征點變化值，通過網(wǎng)絡(luò)傳送到接收端模塊。
[0017] 作為優(yōu)選，所述進行人臉特征點的坐標(biāo)信息檢測采用ASM方法提取，并且采用 Adaboos t方法提取出人臉的初始區(qū)域作為ASM搜索的初始區(qū)域。
[0018] 作為優(yōu)選，所述接收端模塊包括人臉特征點接收單元和人臉圖像重繪單元，人臉 特征點接收單元按時間先后順序接收發(fā)送端模塊發(fā)來的每一幀圖像的特征點變化值并輸 出，人臉圖像重繪單元根據(jù)特征點變化值采用基于Delaunay三角網(wǎng)格的紋理映射對人臉圖 像作紋理重繪，生成對應(yīng)發(fā)送端的實時人臉圖像并顯示。
[0019] 作為優(yōu)選，所述發(fā)送端模塊在處理第一幀圖像時，將該圖像和由該圖像提取的特 征點坐標(biāo)信息發(fā)送到接收端模塊，所述接收端模塊在處理第一幀圖像對應(yīng)的數(shù)據(jù)時，將該 幀圖像及其特征點坐標(biāo)作為初始數(shù)據(jù)進行存儲并用于對后面的圖像進行重繪。
[0020] 有益效果
[0021] 對比現(xiàn)有視頻交流技術(shù)，本發(fā)明極大減少了每一幀人臉圖像傳輸?shù)男畔⒘?，從?有效降低了用戶的流量負(fù)擔(dān)和整個網(wǎng)絡(luò)不必要的網(wǎng)絡(luò)負(fù)載。
【具體實施方式】
[0022] 下面將通過具體實施例對本發(fā)明進行詳細(xì)說明。
[0023] 實施例1
[0024] 考慮到實際視頻聊天的場景中，人臉基本處于正面面向攝像頭的狀態(tài)，而且整個 過程中的頭部在空間上的移動不會特別明顯，本發(fā)明提出的一種基于特征跟蹤的人臉圖像 序列生成方法具體技術(shù)細(xì)節(jié)實現(xiàn)描述如下：
[0025] 1.人臉視頻數(shù)據(jù)的發(fā)送端通過實時的跟蹤攝像頭采集的人臉圖像序列幀，檢測出 每一幀圖像中人臉特征點的具體的坐標(biāo)信息。
[0026] 特征點提取采用主動形狀模型ASM(Active Shape Model)，該模型使用一系列訓(xùn) 練樣本圖像，用一組特征點描述樣本的形狀信息，然后對所有樣本在同一坐標(biāo)系下對齊，利 用主成分分析(PCA)建立物體的形狀的統(tǒng)計學(xué)模型，最后利用建立的模型，通過一組參數(shù)來 逼近當(dāng)前需要匹配對象的形狀，從而定位出目標(biāo)物體。運用ASM，能夠?qū)崟r完成對攝像頭采 集人臉圖像特征點的定位，并且具有一定的魯棒性。
[0027] 在建模過程中，需要定義好人臉特征點，考慮到在視頻交流中，唇部和眼睛，眉毛 的動作會相對較多，則在這些部位多定義特征點。同樣，通過大量手工標(biāo)注好特征點的人臉 圖像樣本訓(xùn)練出一個通用的人臉模型對后續(xù)步驟也具有重要意義。
[0028] 在匹配過程中，為了防止ASM模型在陷入局部最優(yōu)（算法本身的局限），采用 Adaboo st方法提取出人臉的初始區(qū)域作為ASM搜索的初始區(qū)域，這樣既能保證特征點提取 的精確性，同時也提高了匹配的性能。
[0029] 2.發(fā)送端將當(dāng)前圖像幀的特征點數(shù)據(jù)與初始圖像的特征點數(shù)據(jù)差值，通過網(wǎng)絡(luò)傳 送到接收方。
[0030] 每一個數(shù)據(jù)點的數(shù)據(jù)包含其在圖像中的橫縱坐標(biāo)與初始圖像對應(yīng)特征點的數(shù)據(jù) 差值，即每個數(shù)據(jù)點數(shù)據(jù)傳輸格式為:特征點Index，特征點橫坐標(biāo)變化值，特征量縱坐標(biāo)變 化值。實際過程中，對于人臉的微小動作，大部分特征點的變化幅度均不大，對于這些位置 變化不大的特征點，通過設(shè)置一個變化閾值，小于閾值的點認(rèn)為是沒有變化的點，這樣傳輸 每一幀數(shù)據(jù)有效數(shù)據(jù)傳輸量=2*sizeof( doub 1 e) *變化特征點個數(shù)。可見網(wǎng)絡(luò)帶寬在極限 條件可以控制在1KB以下，對比分辨率在480p左右的圖像原始數(shù)據(jù)，數(shù)據(jù)傳輸量能得到有效 的控制。
[0031] 3.接收端將接收到的圖像特征點變化值，并根據(jù)已經(jīng)保存的初始人臉圖像及人臉 特征點信息，對人臉圖像作紋理重繪，生成對應(yīng)發(fā)送端的實時人臉圖像。
[0032]紋理的重繪采用基于Delaunay三角網(wǎng)格的紋理映射，開始時，對得到的初始的人 臉特征點