本發(fā)明涉及一種定位方法，尤其涉及一種基于端到端循環(huán)網(wǎng)絡(luò)的面部特征點(diǎn)定位方法。

背景技術(shù)：

面部特征點(diǎn)定位的主要目標(biāo)是根據(jù)輸入的人臉自動(dòng)定位出面部的關(guān)鍵特征點(diǎn)，比如眼睛、鼻子、嘴巴以及面部輪廓等。該技術(shù)廣泛應(yīng)用于人臉識別、表情識別、人臉三維重建以及人臉動(dòng)畫合成等。目前的面部特征點(diǎn)定位方法大多基于深度神經(jīng)網(wǎng)絡(luò)框架。主要方法有：

1)基于級聯(lián)結(jié)構(gòu)或模塊劃分的由粗到精的面部特征點(diǎn)定位。相關(guān)專利：CN105981041A、CN105868769A。其主要技術(shù)手段為：利用多級模型級聯(lián)并以粗到細(xì)的方式執(zhí)行面部特征點(diǎn)定位，逐級精細(xì)化面部特征點(diǎn)的位置。問題和缺點(diǎn)：該類方法對大姿態(tài)人臉的面部特征點(diǎn)定位不魯棒，級聯(lián)或分模塊的框架對初始面部特征點(diǎn)的給定較為敏感，一旦初始面部特征點(diǎn)位置離目標(biāo)位置較遠(yuǎn)，最終特征點(diǎn)的定位將會(huì)離目標(biāo)有較大偏差；其次，級聯(lián)的框架在訓(xùn)練過程中比較容易進(jìn)入較差的局部優(yōu)化點(diǎn)而導(dǎo)致最終模型性能較差。

2)基于多角度的面部特征點(diǎn)定位方法。相關(guān)專利：CN105760836A。其主要技術(shù)手段為：將待檢測圖像輸入人臉角度模型進(jìn)行人臉角度檢測，并調(diào)用相應(yīng)角度的面部特征點(diǎn)定位模型進(jìn)行面部特征點(diǎn)定位。問題和缺點(diǎn)：基于人臉角度的硬分類不一定是最合適面部特征點(diǎn)定位任務(wù)的分類方式，而且這種硬分類方法對處于類別邊界的樣本的面部特征點(diǎn)定位可能不魯棒。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述問題中的不足之處，本發(fā)明提供了一種基于端到端循環(huán)網(wǎng)絡(luò)的面部特征點(diǎn)定位方法。

為了解決以上技術(shù)問題，本發(fā)明采用的技術(shù)方案是：一種基于端到端循環(huán)網(wǎng)絡(luò)的面部特征點(diǎn)定位方法，包括以下步驟：

(1)數(shù)據(jù)準(zhǔn)備階段

(1.1)對RGB圖像集合中的每一張人臉進(jìn)行人工面部特征點(diǎn)標(biāo)注：將所有n個(gè)特征點(diǎn)標(biāo)注記為Sg＝{Lg_1,Lg_2,…,Lg_n}，其中Lg_i＝(xg_i,yg_i)表示第i個(gè)面部特征點(diǎn)在圖像中的坐標(biāo)；

(1.2)將標(biāo)注完成的圖像集合通過人臉檢測器以獲得每一張圖像中的人臉位置，位置信息為：左上角坐標(biāo)(x_min,y_min)以及右下角坐標(biāo)(x_max,y_max)；

然后利用左上角以及右下角坐標(biāo)所形成的矩形區(qū)域裁剪出人臉圖像，最終獲得的N張人臉圖像P及其對應(yīng)的標(biāo)注Sg，該N個(gè)樣本組成的集合記為D＝{(P_1,Sg_1),(P_2,Sg_2),…,(P_N,Sg_N)}；

(2)模型設(shè)計(jì)階段，端到端的模型設(shè)計(jì)如下：

(2.1)將整體模型記為M，由兩部分組成，分別為深度卷積神經(jīng)網(wǎng)絡(luò)A和循環(huán)神經(jīng)網(wǎng)絡(luò)B，模型輸入為人臉圖像P，人臉圖像邊長為d；

(2.2)對輸入的人臉圖像P，利用深度卷積神經(jīng)網(wǎng)絡(luò)A進(jìn)行特征點(diǎn)向量回歸，回歸目標(biāo)為S0＝{L0_1,L0_2,…,L0_n}，其中L0_i＝(x0_i,y0_i)表示第i個(gè)特征點(diǎn)的在圖像上的坐標(biāo)；

(2.3)取出網(wǎng)絡(luò)A某個(gè)卷積層輸出的深度特征圖并記為F，其邊長記為fd；

(2.4)繼承步驟(2.3)中的深度特征圖F并嵌入形狀信息St＝{Lt_1,Lt_2,…,Lt_n}(第一次使用的形狀信息為S0)：以其中一個(gè)特征點(diǎn)Lt_i＝(xt_i,yt_i)為例，計(jì)算該特征點(diǎn)在特征圖F處對應(yīng)的坐標(biāo)L’t_i＝(xt_i*fd/d,yt_i*fd/d)，然后在特征圖F上以L’t_i為中心獲取區(qū)域大小為k*k的特征塊，并將L’t_1,L’t_2,…,L’t_n對應(yīng)的n個(gè)特征塊按列或按行拼接為一個(gè)新的特征圖，稱該新特征圖為內(nèi)嵌形狀信息的深度特征SFt；

(2.5)將步驟(2.4)獲得的內(nèi)嵌形狀信息的深度特征SFt輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)B以回歸面部特征點(diǎn)更新量ΔSt＝{ΔLt_1,ΔLt_2,…,ΔLt_n}，其中ΔLt_i＝(Δxt_i,Δyt_i)表示第i個(gè)特征點(diǎn)的位置更新量，利用ΔSt對St進(jìn)行更新優(yōu)化并獲得更加精準(zhǔn)的面部特征點(diǎn)位置St+1＝St+ΔSt；

(2.6)重復(fù)步驟(2.4)、(2.5)T次以獲得足夠精準(zhǔn)的面部特征點(diǎn)定位ST；

(2.7)將以上步驟統(tǒng)一到一個(gè)整體的端到端的深度神經(jīng)網(wǎng)絡(luò)框架中，進(jìn)行端到端的模型訓(xùn)練；

(3)模型訓(xùn)練階段

(3.1)將步驟(1.2)獲得的帶有面部特征點(diǎn)標(biāo)注的人臉圖像集合D分為訓(xùn)練集T和校驗(yàn)集V；

(3.2)將訓(xùn)練集T輸入到步驟2設(shè)計(jì)的端到端的模型M中利用批次隨機(jī)梯度下降方法進(jìn)行模型訓(xùn)練，導(dǎo)師信號為特征點(diǎn)標(biāo)注Sg＝{Lg_1,Lg_2,…,Lg_n}；利用校驗(yàn)集V驗(yàn)證模型訓(xùn)練效果，即當(dāng)模型在校驗(yàn)集V上獲得較好的面部特征點(diǎn)定位精度并且該精度不能隨著訓(xùn)練過程再提升時(shí)，停止訓(xùn)練；

(3.3)最終訓(xùn)練完成獲得模型M’；

(4)模型測試階段

(4.1)輸入圖像為包含人臉的圖像I；

(4.2)將圖像I輸入人臉檢測器并獲得人臉位置，并利用該人臉位置裁剪圖像I獲得人臉圖像P；

(4.3)將人臉圖像P輸入步驟3.3獲得的模型M’中以得到該人臉的面部特征點(diǎn)定位結(jié)果。

上述步驟(2.4)中內(nèi)嵌形狀信息的深度特征是通繼承神經(jīng)網(wǎng)絡(luò)特征層的特征并嵌入形狀相關(guān)信息而得到。并且，內(nèi)嵌形狀信息的深度特征可以輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)一步優(yōu)化特征點(diǎn)定位結(jié)果。

本發(fā)明將內(nèi)嵌形狀信息的深度特征與循環(huán)神經(jīng)網(wǎng)絡(luò)配合使用，極大地提高了面部特征點(diǎn)定位的精度。此外，本發(fā)明使用繼承的神經(jīng)網(wǎng)絡(luò)特征，模型計(jì)算量將會(huì)極大減少，在保持較好的面部特征定位精度的條件下，能夠達(dá)到超實(shí)時(shí)的面部特征點(diǎn)定位速度。

附圖說明

下面結(jié)合附圖和具體實(shí)施方式對本發(fā)明作進(jìn)一步詳細(xì)的說明。

圖1是本發(fā)明的實(shí)施流程圖。

圖2是本發(fā)明將人臉進(jìn)行標(biāo)注完成后的圖像。

具體實(shí)施方式

如圖1所示，本發(fā)明具體包括以下步驟：

(1)數(shù)據(jù)準(zhǔn)備階段

(1.1)對RGB圖像集合中的每一張人臉進(jìn)行人工面部特征點(diǎn)標(biāo)注：將所有n個(gè)特征點(diǎn)標(biāo)注記為Sg＝{Lg_1,Lg_2,…,Lg_n}(該集合稱為形狀)，其中Lg_i＝(xg_i,yg_i)表示第i個(gè)面部特征點(diǎn)在圖像中的坐標(biāo)；

(1.2)將標(biāo)注完成的圖像集合通過人臉檢測器以獲得每一張圖像中的人臉位置，位置信息為：左上角坐標(biāo)(x_min,y_min)以及右下角坐標(biāo)(x_max,y_max)；

然后利用左上角以及右下角坐標(biāo)所形成的矩形區(qū)域裁剪出人臉圖像(即利用該矩形區(qū)域內(nèi)的像素作為人臉圖像)，最終獲得的N張人臉圖像P及其對應(yīng)的標(biāo)注Sg，該N個(gè)樣本組成的集合記為D＝{(P_1,Sg_1),(P_2,Sg_2),…,(P_N,Sg_N)}；

(2)模型設(shè)計(jì)階段，端到端的模型設(shè)計(jì)如下：

(2.1)將整體模型記為M，由兩部分組成，分別為深度卷積神經(jīng)網(wǎng)絡(luò)A和循環(huán)神經(jīng)網(wǎng)絡(luò)B，模型輸入為人臉圖像P，人臉圖像邊長為d；

(2.2)對輸入的人臉圖像P，利用深度卷積神經(jīng)網(wǎng)絡(luò)A進(jìn)行特征點(diǎn)向量回歸，回歸目標(biāo)為S0＝{L0_1,L0_2,…,L0_n}，其中L0_i＝(x0_i,y0_i)表示第i個(gè)特征點(diǎn)的在圖像上的坐標(biāo)；

(2.3)取出網(wǎng)絡(luò)A某個(gè)卷積層輸出的深度特征圖并記為F，其邊長記為fd；

(2.4)繼承步驟(2.3)中的深度特征圖F并嵌入形狀信息St＝{Lt_1,Lt_2,…,Lt_n}(第一次使用的形狀信息為S0)：以其中一個(gè)特征點(diǎn)Lt_i＝(xt_i,yt_i)為例，計(jì)算該特征點(diǎn)在特征圖F處對應(yīng)的坐標(biāo)L’t_i＝(xt_i*fd/d,yt_i*fd/d)，然后在特征圖F上以L’t_i為中心獲取區(qū)域大小為k*k的特征塊，并將L’t_1,L’t_2,…,L’t_n對應(yīng)的n個(gè)特征塊按列或按行拼接為一個(gè)新的特征圖，稱該新特征圖為內(nèi)嵌形狀信息的深度特征SFt；

(2.5)將步驟(2.4)獲得的內(nèi)嵌形狀信息的深度特征SFt輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)B以回歸面部特征點(diǎn)更新量ΔSt＝{ΔLt_1,ΔLt_2,…,ΔLt_n}，其中ΔLt_i＝(Δxt_i,Δyt_i)表示第i個(gè)特征點(diǎn)的位置更新量，利用ΔSt對St進(jìn)行更新優(yōu)化并獲得更加精準(zhǔn)的面部特征點(diǎn)位置St+1＝St+ΔSt；

(2.6)重復(fù)步驟(2.4)、(2.5)T次以獲得足夠精準(zhǔn)的面部特征點(diǎn)定位ST；

(2.7)將以上步驟統(tǒng)一到一個(gè)整體的端到端的深度神經(jīng)網(wǎng)絡(luò)框架中，進(jìn)行端到端的模型訓(xùn)練；

(3)模型訓(xùn)練階段

(3.1)將步驟(1.2)獲得的帶有面部特征點(diǎn)標(biāo)注的人臉圖像集合D分為訓(xùn)練集T和校驗(yàn)集V；

(3.2)將訓(xùn)練集T輸入到步驟2設(shè)計(jì)的端到端的模型M中利用批次隨機(jī)梯度下降方法進(jìn)行模型訓(xùn)練，導(dǎo)師信號為特征點(diǎn)標(biāo)注Sg＝{Lg_1,Lg_2,…,Lg_n}；利用校驗(yàn)集V驗(yàn)證模型訓(xùn)練效果，即當(dāng)模型在校驗(yàn)集V上獲得較好的面部特征點(diǎn)定位精度并且該精度不能隨著訓(xùn)練過程再提升時(shí)，停止訓(xùn)練；

(3.3)最終訓(xùn)練完成獲得模型M’；

(4)模型測試階段

(4.1)輸入圖像為包含人臉的圖像I；

(4.2)將圖像I輸入人臉檢測器并獲得人臉位置，并利用該人臉位置裁剪圖像I獲得人臉圖像P；

(4.3)將人臉圖像P輸入步驟3.3獲得的模型M’中以得到該人臉的面部特征點(diǎn)定位結(jié)果。

本發(fā)明解決了現(xiàn)有技術(shù)中面部特征點(diǎn)定位速度慢并且精度不足的問題，并提出了一種利用內(nèi)嵌形狀信息深度特征的端到端的循環(huán)網(wǎng)絡(luò)面部特征點(diǎn)定位方法及系統(tǒng)。其中，內(nèi)嵌形狀信息的深度特征是通繼承神經(jīng)網(wǎng)絡(luò)特征層的特征并嵌入形狀相關(guān)信息而得到。該特征可以從神經(jīng)網(wǎng)絡(luò)特征層直接繼承，或者在原始人臉圖像上通過卷積網(wǎng)絡(luò)學(xué)習(xí)而得到。利用內(nèi)嵌形狀信息的深度特征可以極大提升面部特征點(diǎn)定位的精度。此外，如果使用繼承的神經(jīng)網(wǎng)絡(luò)特征，模型計(jì)算量將會(huì)極大減少，在保持較好的面部特征定位精度的條件下，能夠達(dá)到超實(shí)時(shí)的面部特征點(diǎn)定位速度。

本發(fā)明內(nèi)嵌形狀信息的深度特征可以輸入到循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)一步優(yōu)化特征點(diǎn)定位結(jié)果。其中，循環(huán)神經(jīng)網(wǎng)絡(luò)既可以共享網(wǎng)絡(luò)權(quán)重亦可不共享網(wǎng)絡(luò)權(quán)重。其技術(shù)效果可配合內(nèi)嵌形狀信息的深度特征逐步優(yōu)化面部特征點(diǎn)定位結(jié)果。此外，本發(fā)明端到端的面部特征點(diǎn)定位框架可同時(shí)學(xué)習(xí)人臉形狀初始化網(wǎng)絡(luò)、內(nèi)嵌形狀信息的深度特征與循環(huán)神經(jīng)網(wǎng)絡(luò)的參數(shù)。

上述實(shí)施方式并非是對本發(fā)明的限制，本發(fā)明也并不僅限于上述舉例，本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明的技術(shù)方案范圍內(nèi)所做出的變化、改型、添加或替換，也均屬于本發(fā)明的保護(hù)范圍。