一種視頻移植換臉的方法
【專利摘要】本發(fā)明公開(kāi)了一種視頻移植換臉的方法，包括步驟：給定兩段帶有人臉的視頻A和視頻B，欲用A視頻中的人臉來(lái)替換B視頻中的人臉；檢測(cè)出視頻A中有人臉的幀，對(duì)視頻中人臉做特征點(diǎn)定位，并將結(jié)果保存在數(shù)據(jù)庫(kù)中；檢測(cè)出視頻B中有人臉的幀，對(duì)視頻中人臉做特征點(diǎn)定位，并根據(jù)所檢測(cè)出的人臉特征點(diǎn)，在視頻A所產(chǎn)生的數(shù)據(jù)庫(kù)中尋找與其最為相似的臉；在利用定位出的人臉的特征點(diǎn)的基礎(chǔ)上，將人臉區(qū)域分成多個(gè)三角區(qū)域，并根據(jù)特征點(diǎn)的坐標(biāo)計(jì)算出所有特征點(diǎn)的目標(biāo)特征點(diǎn)，依據(jù)特征點(diǎn)和目標(biāo)特征點(diǎn)的位置對(duì)人臉劃分的所有三角區(qū)域做仿射變換，再用變形后的視頻A的臉替換掉視頻B的臉；對(duì)人臉邊緣和視頻顏色做出調(diào)整，從而實(shí)現(xiàn)對(duì)視頻內(nèi)容的非線性編輯。
【專利說(shuō)明】
-種視頻移植換臉的方法
技術(shù)領(lǐng)域：
[0001] 本發(fā)明屬于視頻、圖像處理領(lǐng)域，具體設(shè)及一種視頻移植換臉的方法。
【背景技術(shù)】：
[0002] 隨著社交網(wǎng)絡(luò)和智能手機(jī)的普及，人們?cè)絹?lái)越習(xí)慣于用視頻記錄自己的生活，比 如吃飯、旅游或演唱會(huì)等。人們有時(shí)會(huì)想將一張圖片中的臉替換為其他人的臉，先有的 Photoshop等工具可W滿足其需要，但是當(dāng)人們想對(duì)視頻進(jìn)行類似的處理的時(shí)候卻沒(méi)有一 種好的解決方案。現(xiàn)有的視頻編輯方法都是對(duì)視頻的線性編輯，很難滿足大眾的要求，因而 提出一種對(duì)視頻內(nèi)容的非線性編輯方法顯得十分必要。

【發(fā)明內(nèi)容】
：
[0003] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供了一種視頻移植換臉的方法，其能 夠確保用該方法對(duì)整段視頻中的人臉進(jìn)行移植替換，從而滿足大眾對(duì)視頻特別是自拍視頻 的處理要求。
[0004] 為了達(dá)到上述目的，本發(fā)明采用的技術(shù)方案是：
[0005] -種視頻移植換臉的方法，包括W下步驟：
[0006] 1)給定兩段帶有人臉的視頻A和視頻B，欲用A視頻中的人臉來(lái)替換B視頻中的人 臉；
[0007] 2)檢測(cè)出視頻A中有人臉的帖，對(duì)視頻中人臉做特征點(diǎn)定位，并將結(jié)果保存在數(shù)據(jù) 庫(kù)中；
[000引3)檢測(cè)出視頻B中有人臉的帖，對(duì)視頻中人臉做特征點(diǎn)定位，并根據(jù)所檢測(cè)出的人 臉特征點(diǎn)，在視頻A所產(chǎn)生的數(shù)據(jù)庫(kù)中尋找與其最為相似的臉；
[0009] 4)在利用定位出的人臉的特征點(diǎn)的基礎(chǔ)上，將人臉區(qū)域分成多個(gè)=角區(qū)域，并根 據(jù)特征點(diǎn)的坐標(biāo)計(jì)算出所有特征點(diǎn)的目標(biāo)特征點(diǎn)，依據(jù)特征點(diǎn)和目標(biāo)特征點(diǎn)的位置對(duì)人臉 劃分的所有=角區(qū)域做仿射變換，再用變形后的視頻A的臉替換掉視頻B的臉；
[0010] 5)對(duì)人臉邊緣和視頻顏色做出調(diào)整，從而實(shí)現(xiàn)對(duì)視頻內(nèi)容的非線性編輯。
[0011] 本發(fā)明進(jìn)一步的改進(jìn)在于，步驟3)的具體實(shí)現(xiàn)步驟如下：
[001^ 從視頻B得到一帖圖像Iin,假設(shè)Sin表示其檢測(cè)出的人臉特征點(diǎn)的形狀，假設(shè)Xi是圖 像Iin中第i個(gè)特征點(diǎn)的位置，X為第i個(gè)特征點(diǎn)在平均形狀處的位置;依據(jù)下述公式計(jì)算出其 尺度、平移的系數(shù)S，t:
[0013]
[0014] 通過(guò)S，t，對(duì)Sin進(jìn)行尺度，平移歸一化得到Sin'
[0015] S'in=S*Sin+t
[0016] 然后對(duì)歸一化后的Sin'和數(shù)據(jù)庫(kù)中的形狀比較，選用歐式距離，找到其在數(shù)據(jù)庫(kù)中 最為接近的人臉的標(biāo)號(hào)idx:
[0017]
[001引其中，M表示數(shù)據(jù)庫(kù)中有M個(gè)人臉。
[0019] 本發(fā)明進(jìn)一步的改進(jìn)在于，使用Delaunay triangulation方法將臉部依照檢測(cè)出 來(lái)的特征點(diǎn)分為多個(gè)小=角形區(qū)域，得到運(yùn)些=角形區(qū)域后，將對(duì)運(yùn)些=角形進(jìn)行仿射變 換；
[0020] 假設(shè)一對(duì)S角形，其對(duì)應(yīng)的頂點(diǎn)位置為[(Xi，Yi)，（ Xi，y 1) ]，[ (X2，Y2)，（ X2，y2)]，及 [村3八3)，^3,73)]，則對(duì)于^角形中的任意一個(gè)點(diǎn)^，7)滿足下面的方程，求解出其對(duì)應(yīng)的 位置如下：
[0021] Ax+By+CX+D = 0
[0022] 其中
[0023]
[0024] O
[0025] 本發(fā)明進(jìn)一步的改進(jìn)在于，步驟5)中，分=步對(duì)替換的人臉的邊緣和視頻顏色做 出調(diào)整：
[00%]第一步，首先調(diào)整人臉的亮度
[0027]按照下式計(jì)算該人臉中所有像素點(diǎn)的平均亮度：
[002引
[0029] 其中P表示像素點(diǎn)的亮度，F(xiàn)表示人臉區(qū)域；
[0030] 依下式調(diào)整人臉的亮度：
[0031]
[0032] 其中Fd表示位于人臉區(qū)域的所有的像素點(diǎn)；
[0033] 第二步，對(duì)人臉進(jìn)行g(shù)amma仿射變換，將替換的人臉映射為原人臉的[10% ,90% ] 的區(qū)域；
[0034] 第=步，對(duì)人臉邊緣做高斯模糊處理，從而實(shí)現(xiàn)對(duì)視頻內(nèi)容的非線性編輯。
[0035] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：
[0036] 1)傳統(tǒng)的針對(duì)圖片的人臉替換方法需要手工的標(biāo)記出人臉的輪廓，我們的方法可 W通過(guò)人臉特征點(diǎn)定位的方法可W自動(dòng)的實(shí)現(xiàn)運(yùn)一過(guò)程，極大的節(jié)省了各項(xiàng)成本。
[0037] 2)傳統(tǒng)的針對(duì)圖片的人臉替換方法需要人工從一堆要替換中的人臉中選取最相 像的一張臉，而我們的算法可W自動(dòng)的從數(shù)據(jù)庫(kù)中挑選出要替換的人臉最為相近的人臉， 運(yùn)進(jìn)一步的節(jié)省了成本，提高了效率。
[0038] 3)傳統(tǒng)的針對(duì)圖片的人臉替換方法得到替換后的人臉，還需要對(duì)要替換的人臉進(jìn) 行各種形狀上的調(diào)整，極為耗時(shí)，我們的依據(jù)特征點(diǎn)定位的方法可W自動(dòng)的實(shí)現(xiàn)運(yùn)項(xiàng)功能， 進(jìn)一步節(jié)省了成本，提高效率。
[0039] 4)傳統(tǒng)的針對(duì)圖片的人臉替換方法在替換人臉后還需要人手工的調(diào)整人臉的邊 緣及人臉的顏色使得人臉可W融合的更好，我們的方法可W自動(dòng)的實(shí)現(xiàn)運(yùn)一過(guò)程。
[0040] 5)現(xiàn)有的視頻編輯方法，只是從一段視頻里剪輯出一小段或者將幾段視頻合成一 個(gè)視頻的視頻帖重新排列方法。本發(fā)明所說(shuō)的編輯是指視頻畫(huà)面的編輯，效果良好，優(yōu)點(diǎn)突 出。進(jìn)一步地，傳統(tǒng)的視頻編輯方法無(wú)法滿足大眾對(duì)視頻編輯的要求，該發(fā)明采用了視頻內(nèi) 容編輯的方法，確保了視頻編輯的有效性。
【附圖說(shuō)明】：
[0041] 圖1為本發(fā)明的說(shuō)明示意圖。
[0042] 圖2為計(jì)算放射變換矩陣過(guò)程示意圖；其中，圖2(a)為我們要變換成的形狀，圖2 (b)為我們將要進(jìn)行仿射變換的圖像，圖2(c)為我們放射變化后的結(jié)果。
[0043] 圖3為顏色及邊界調(diào)整示意圖；其中，圖3(a)為顏色和邊緣調(diào)整之前的圖像，圖3 (b)為顏色和邊緣調(diào)整之后的圖像。
[0044] 圖4和5為本發(fā)明部分結(jié)果示意圖。其中，圖4中第一列是要替換的人臉，第二列是 選出的與第一列最相似的人臉，第=列是最終替換的結(jié)果。圖5表示本發(fā)明在另外一些視頻 上的結(jié)果示意圖。
【具體實(shí)施方式】：
[0045] 下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。
[0046] 如圖1所示，本發(fā)明一種視頻移植換臉的方法，通過(guò)W下步驟實(shí)現(xiàn)：
[0047] 1.尋找最相似的臉
[0048] 參見(jiàn)附圖1，從視頻B得到一帖圖像Iin,假設(shè)Sin表示其檢測(cè)出的人臉特征點(diǎn)的形 狀。假設(shè)Xi是圖像Iin中第i個(gè)特征點(diǎn)的位置，X為第i個(gè)點(diǎn)在平均形狀處的位置。首先依下述 公式計(jì)算出其尺度，平移的系數(shù)S，t
[0049]
、'
[(K)加]通過(guò)S，t，對(duì)Sin進(jìn)行尺度，平移歸一化得到Sin' .
[0051] in =S ? Sin+t
[0052] 然后對(duì)歸一化后的Sin'和數(shù)據(jù)庫(kù)中的形狀比較，運(yùn)里選用了歐式距離，找到其在數(shù) 據(jù)庫(kù)中最為接近的人臉。
[0化3]
[0054] 運(yùn)里M表示數(shù)據(jù)庫(kù)中有M個(gè)人臉，Si'表示數(shù)據(jù)庫(kù)中存儲(chǔ)的第i個(gè)歸一化后的人臉形 狀。idx表示最終在數(shù)據(jù)庫(kù)中所選取的人臉的標(biāo)號(hào)。
[0055] 2.計(jì)算仿射變換矩陣
[0056] 參見(jiàn)附圖2,運(yùn)里將臉部依照檢測(cè)出來(lái)的特征點(diǎn)分為多個(gè)小=角形區(qū)域，運(yùn)里使用 了Delaunay triangulation方法。得到運(yùn)些S角形區(qū)域后，將對(duì)運(yùn)些S角形進(jìn)行仿射變換。 如附圖2所示，（a)表示要變換成的形狀，（b)表示將要進(jìn)行仿射變換的圖像，（C)表示放射變 化后的結(jié)果。運(yùn)里假設(shè)一對(duì)S角形，其對(duì)應(yīng)的頂點(diǎn)位置為[(Xi，Yi)，（xi，yi)]，[(&，Y2)，（X2, 72)]，及[地術(shù)），^3,73)]，則對(duì)于；角形中的任意一個(gè)點(diǎn)山7)滿足下面的方程，可^求解 出其想對(duì)應(yīng)的位置。
[0057] Ax+By+CX+D = 0 [0化引 其中
[0化9]
[0060]
[0061] 3.顏色及邊緣調(diào)整
[0062] 參見(jiàn)附圖3,（a)是顏色和邊緣調(diào)整之前的圖像，（b)是顏色和邊緣調(diào)整之后的圖 像。運(yùn)里本發(fā)明共分=步來(lái)進(jìn)行調(diào)整。
[0063] 第一步，首先調(diào)整人臉的亮度。通過(guò)計(jì)算該人臉中所有像素點(diǎn)的平均亮度。如下式 所示，其中P表示像素點(diǎn)的亮度，F(xiàn)表示人臉區(qū)域。
[0064]
[0065] 的亮度
[0066]
[0067] 其中Fd表示位于人臉區(qū)域的所有的像素點(diǎn)。
[0068] 第二步，對(duì)人臉進(jìn)行g(shù)amma仿射變換，將替換的人臉映射為原人臉的[10% ,90% ] 的區(qū)域。
[0069] 第=步，對(duì)邊緣做高斯模糊處理，使得人臉能夠融合的更好。
[0070] 附圖4,5是本發(fā)明結(jié)果的示例。圖4,第一列是我們要替換的人臉，第二列是本發(fā)明 選出的與第一列最相似的人臉，第=列是最終替換的結(jié)果。圖5表示本發(fā)明在另外一些視頻 上的結(jié)果。
【主權(quán)項(xiàng)】
1. 一種視頻移植換臉的方法，其特征在于，包括以下步驟： 1) 給定兩段帶有人臉的視頻A和視頻B，欲用A視頻中的人臉來(lái)替換B視頻中的人臉； 2) 檢測(cè)出視頻A中有人臉的幀，對(duì)視頻中人臉做特征點(diǎn)定位，并將結(jié)果保存在數(shù)據(jù)庫(kù) 中； 3) 檢測(cè)出視頻B中有人臉的幀，對(duì)視頻中人臉做特征點(diǎn)定位，并根據(jù)所檢測(cè)出的人臉特 征點(diǎn)，在視頻A所產(chǎn)生的數(shù)據(jù)庫(kù)中尋找與其最為相似的臉； 4) 在利用定位出的人臉的特征點(diǎn)的基礎(chǔ)上，將人臉區(qū)域分成多個(gè)三角區(qū)域，并根據(jù)特 征點(diǎn)的坐標(biāo)計(jì)算出所有特征點(diǎn)的目標(biāo)特征點(diǎn)，依據(jù)特征點(diǎn)和目標(biāo)特征點(diǎn)的位置對(duì)人臉劃分 的所有三角區(qū)域做仿射變換，再用變形后的視頻A的臉替換掉視頻B的臉； 5) 對(duì)人臉邊緣和視頻顏色做出調(diào)整，從而實(shí)現(xiàn)對(duì)視頻內(nèi)容的非線性編輯。2. 根據(jù)權(quán)利要求1所述的一種視頻移植換臉的方法，其特征在于，步驟3)的具體實(shí)現(xiàn)步 驟如下： 從視頻B得到一幀圖像Iin，假設(shè)Sin表示其檢測(cè)出的人臉特征點(diǎn)的形狀，假設(shè)X1是圖像I in 中第i個(gè)特征點(diǎn)的位置，X為第i個(gè)特征點(diǎn)在平均形狀處的位置;依據(jù)下述公式計(jì)算出其尺 度、平移的系數(shù)s，t:通過(guò)s，t，對(duì)Sin進(jìn)行尺度，平移歸一化得到Sin ' S in -S · Sin+t 然后對(duì)歸一化后的Sin'和數(shù)據(jù)庫(kù)中的形狀比較，選用歐式距離，找到其在數(shù)據(jù)庫(kù)中最為 接沂的人瞼的標(biāo)號(hào)其中，M表示數(shù)據(jù)庫(kù)中有M個(gè)人臉。3. 根據(jù)權(quán)利要求1所述的一種視頻移植換臉的方法，其特征在于，步驟4)中，使用 Delaunay triangulation方法將臉部依照檢測(cè)出來(lái)的特征點(diǎn)分為多個(gè)小三角形區(qū)域，得到 這些三角形區(qū)域后，將對(duì)這些三角形進(jìn)行仿射變換； 假設(shè)一對(duì)三角形，其對(duì)應(yīng)的頂點(diǎn)位置為[(X1，Y1)，（X1，y 1)]，[(X2，Y2)，（x2，y2)]，&[(X 3， ￥3)，（13,73)]，則對(duì)于三角形中的任意一個(gè)點(diǎn)（1，7)滿足下面的方程，求解出其對(duì)應(yīng)的位置 如下： Ax+By = +CX+D = 0 其中O4.根據(jù)權(quán)利要求1所述的一種視頻移植換臉的方法，其特征在于，步驟5)中，分三步對(duì) 替換的人臉的邊緣和視頻顏色做出調(diào)整： 第一步，首先調(diào)整人臉的亮度 桉照下式計(jì)筧該人瞼中所有像素點(diǎn)的平均亮度：其中P表示像素點(diǎn)的亮度，F(xiàn)表示人臉區(qū)域； 依下式調(diào)整人臉的亮度：其中Fd表示位于人臉區(qū)域的所有的像素點(diǎn)； 第二步，對(duì)人臉進(jìn)行g(shù)amma仿射變換，將替換的人臉映射為原人臉的[10% ,90% ]的區(qū) 域； 第三步，對(duì)人臉邊緣做高斯模糊處理，從而實(shí)現(xiàn)對(duì)視頻內(nèi)容的非線性編輯。
【文檔編號(hào)】G06T3/00GK106023063SQ201610301352
【公開(kāi)日】2016年10月12日
【申請(qǐng)日】2016年5月9日
【發(fā)明人】王進(jìn)軍, 侯騏麒, 牟倫新
【申請(qǐng)人】西安北升信息科技有限公司