本發(fā)明屬于圖像處理技術(shù)領(lǐng)域,特別是涉及一種基于深度學(xué)習(xí)的頭發(fā)分割方法。
背景技術(shù):
圖像分割一直是計(jì)算機(jī)視覺(jué)領(lǐng)域比較重要的一個(gè)分支,現(xiàn)如今應(yīng)用最廣的是一些交互式的分割方法如grabcut等基于圖的分割方法,這些方法需要手動(dòng)指定一部分前背景種子點(diǎn),而手機(jī)設(shè)備上要有好的用戶體驗(yàn)的話要求盡量自動(dòng)化;grabcut等圖割方法僅僅使用顏色信息以及空間信息進(jìn)行分割,缺少高層語(yǔ)義上的分割與理解。
頭發(fā)分割屬于圖像分割中的一種情況,發(fā)型的復(fù)雜性、顏色的多變、紋理的不確定性、亮度的不確定性等使得傳統(tǒng)的圖割的方法并不能很好地分割頭發(fā)。而現(xiàn)有的頭發(fā)分割方法使頭發(fā)分割的效果差,無(wú)法明確的分割出頭發(fā)區(qū)域;無(wú)法實(shí)現(xiàn)自動(dòng)分割,需要人工干預(yù);無(wú)法對(duì)任意分辨率的圖像進(jìn)行頭發(fā)分割;占用內(nèi)存大,運(yùn)行速度慢。
技術(shù)實(shí)現(xiàn)要素:
為了解決上述問(wèn)題,本發(fā)明提出了一種基于深度學(xué)習(xí)的頭發(fā)分割方法,能夠有效避免傳統(tǒng)分割方法的不足,達(dá)到較好的頭發(fā)分割效果,不需要人工干預(yù),實(shí)現(xiàn)自動(dòng)分割;能夠?qū)θ我夥直媛实膱D像進(jìn)行分割;占用內(nèi)存小,運(yùn)行速度快。
為達(dá)到上述目的,本發(fā)明采用的技術(shù)方案是:一種基于深度學(xué)習(xí)的頭發(fā)分割方法,包括步驟:
s100獲取原始圖像;
s200對(duì)原始圖像進(jìn)行人臉檢測(cè),得到人臉關(guān)鍵點(diǎn);
s300利用人臉關(guān)鍵點(diǎn)生成人臉關(guān)鍵部位描述圖;
s400將原始圖像和人臉關(guān)鍵部位描述圖合并,獲得4通道圖像;
s500將所述4通道圖像輸入卷積神經(jīng)網(wǎng)絡(luò)模型,通過(guò)卷積神經(jīng)網(wǎng)絡(luò)模型推斷出每個(gè)像素點(diǎn)是頭發(fā)的概率,從而獲得頭發(fā)概率圖;
s600利用頭發(fā)概率圖對(duì)原始圖像進(jìn)行頭發(fā)分割。
進(jìn)一步的是,步驟s300中,利用人臉關(guān)鍵點(diǎn)建立對(duì)于人臉器官以及輪廓的二值蒙版圖,并由所述二值蒙版圖作為人臉關(guān)鍵部位描述圖。
進(jìn)一步的是,在所述卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程中,通過(guò)人工標(biāo)定多組人臉圖片作為訓(xùn)練樣本訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型。
進(jìn)一步的是,所述卷積神經(jīng)網(wǎng)絡(luò)模型包括卷積層、maxpooling層、unpooling層、add層和softmax層;模型簡(jiǎn)單、占用空間小且運(yùn)算速度快。
進(jìn)一步的是,在所述卷積神經(jīng)網(wǎng)絡(luò)模型的卷積層引入relu激活函數(shù),加快計(jì)算速度。
進(jìn)一步的是,利用頭發(fā)概率圖,通過(guò)最小化能量函數(shù)對(duì)原始圖像進(jìn)行頭發(fā)分割,最小化能量函數(shù)公式為:
其中,yi為推斷的頭發(fā)概率圖,
采用本技術(shù)方案的有益效果:
通過(guò)人臉關(guān)鍵部位描述圖作為卷積神經(jīng)網(wǎng)絡(luò)模型,增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)人頭部區(qū)域的理解能力,從而能夠精確的分割出頭發(fā)區(qū)域;
利用卷積神經(jīng)網(wǎng)絡(luò)模型,能夠加快計(jì)算速度,可以實(shí)現(xiàn)任意分辨率的輸入;
模型結(jié)構(gòu)簡(jiǎn)單,內(nèi)存占用小,適合在手機(jī)上運(yùn)行。
附圖說(shuō)明
圖1為本發(fā)明的一種基于深度學(xué)習(xí)的頭發(fā)分割方法流程示意圖。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步闡述。
在本實(shí)施例中,參見圖1所示,本發(fā)明提出了一種基于深度學(xué)習(xí)的頭發(fā)分割方法,包括步驟:s100-s600。
s100獲取原始圖像irgb,irgb為3通道rgb圖像。
s200對(duì)原始圖像進(jìn)行人臉檢測(cè),得到人臉關(guān)鍵點(diǎn)。
s300利用人臉關(guān)鍵點(diǎn)生成人臉關(guān)鍵部位描述圖。
利用人臉關(guān)鍵點(diǎn)建立對(duì)于人臉器官以及輪廓的二值蒙版圖,并由所述二值蒙版圖作為人臉關(guān)鍵部位描述圖。
s400將原始圖像和人臉關(guān)鍵部位描述圖合并,獲得4通道圖像。
s500將所述4通道圖像輸入卷積神經(jīng)網(wǎng)絡(luò)模型,通過(guò)卷積神經(jīng)網(wǎng)絡(luò)模型推斷出每個(gè)像素點(diǎn)是頭發(fā)的概率,從而獲得頭發(fā)概率圖;
在所述卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過(guò)程中,通過(guò)人工標(biāo)定多組人臉圖片作為訓(xùn)練樣本訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型。
所述卷積神經(jīng)網(wǎng)絡(luò)模型包括卷積層、maxpooling層、unpooling層、add層和softmax層;模型簡(jiǎn)單、占用空間小且運(yùn)算速度快。
在所述卷積神經(jīng)網(wǎng)絡(luò)模型的卷積層引入relu激活函數(shù),加快計(jì)算速度。
卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu):
其中:
blk(in,out,kxk)為:convolution_2d+relu;卷積層的輸入為in個(gè)通道,卷積層輸出為out個(gè)通道,采用kxk大小的核;
unpooling(kxk,stride):采用kxk大小的核,stride為步長(zhǎng);
maxpooling(kxk,stride):采用kxk大小的核,stride為步長(zhǎng)。
具體推斷過(guò)程為:
1.將輸入的4通道圖像經(jīng)過(guò)輸入層:blk(4,32,3x3),得到32通道的特征圖a0;
2.將32通道的特征圖a0經(jīng)過(guò)blk(32,32,3x3),得到32通道的特征圖a1;
3.將32通道的特征圖a1經(jīng)過(guò)maxpooling(4x4,4),得到32通道的特征圖a2;
4.將32通道的特征圖a2經(jīng)過(guò)blk(32,64,3x3),得到64通道的特征圖a3;
5.將64通道的特征圖a3經(jīng)過(guò)maxpooling(2x2,2),得到64通道的特征圖a4;
6.將64通道的特征圖a4經(jīng)過(guò)blk(64,2,3x3),得到2通道的特征圖a5_1;
7.將64通道的特征圖a4經(jīng)過(guò)blk(64,128,3x3),得到128通道的特征圖a5_2;
8.將128通道的特征圖a5_2經(jīng)過(guò)maxpooling(4x4,4),得到128通道的特征圖a6;
9.將128通道的特征圖a6經(jīng)過(guò)blk(128,2,1x1),得到2通道的特征圖a7_1;
10.將128通道的特征圖a6經(jīng)過(guò)blk(128,128,3x3),得到128通道的特征圖a7_2;
11.將128通道的特征圖a7_2依次經(jīng)過(guò)maxpooling(2x2,2)、blk(128,128,1x1)、blk(128,64,3x3)、blk(64,32,3x3)、blk(32,16,3x3)、blk(16,8,5x5)、blk(8,2,7x7)、unpooling(2x2,2)、blk(2,2,3x3),得到2通道的特征圖a8;
12.將2通道的特征圖a8與a7_1相加,得到2通道的特征圖a6_add;
13.將2通道的特征圖a6_add依次經(jīng)過(guò)unpooling(4x4,4)、blk(2,2,5x5),得到2通道的特征圖a6_up;
14.將2通道的特征圖a6_up與a5_1相加,得到2通道的特征圖a5_add;
15.將2通道的特征圖a5_add依次經(jīng)過(guò)unpooling(8x8,8)、blk(2,2,7x7)、softmax,得到2通道的結(jié)果圖a0_1;
16.取結(jié)果圖a0_1的第二個(gè)通道作為最終的輸出,即頭發(fā)概率圖。
s600利用頭發(fā)概率圖對(duì)原始圖像進(jìn)行頭發(fā)分割。
利用頭發(fā)概率圖,通過(guò)最小化能量函數(shù)對(duì)原始圖像進(jìn)行頭發(fā)分割,最小化能量函數(shù)公式為:
其中,yi為推斷的頭發(fā)概率圖,
以上顯示和描述了本發(fā)明的基本原理和主要特征和本發(fā)明的優(yōu)點(diǎn)。本行業(yè)的技術(shù)人員應(yīng)該了解,本發(fā)明不受上述實(shí)施例的限制,上述實(shí)施例和說(shuō)明書中描述的只是說(shuō)明本發(fā)明的原理,在不脫離本發(fā)明精神和范圍的前提下,本發(fā)明還會(huì)有各種變化和改進(jìn),這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書及其等效物界定。