本發(fā)明涉及圖像處理與模式識別領(lǐng)域,尤其涉及一種嘴唇輪廓的分割及特征提取方法。
背景技術(shù):
人臉特征點(diǎn)檢測是人臉識別中的關(guān)鍵技術(shù),其特征點(diǎn)位置定位的準(zhǔn)確性直接影響到識別的精度,而在人臉特征中嘴唇輪廓的定位尤其重要,因此,準(zhǔn)確的定位嘴唇輪廓位置可以大大地提高識別精度。
在提取嘴唇輪廓時(shí),一般有如下方法:一是基于膚色方法,該方法受光照影響大,魯棒性低;二是基于嘴唇模型方法,該方法易受不同說話人口型影響,導(dǎo)致所得嘴唇外輪廓結(jié)果不理想以及算法復(fù)雜、實(shí)時(shí)性低。在嘴唇區(qū)域分割方面,目前已有的較好的方法有snake、神經(jīng)網(wǎng)絡(luò)、基于色彩空間的唇色模型分割法和經(jīng)典輪廓提取方法等。snake方法由于效率較低,不適合應(yīng)用在實(shí)時(shí)系統(tǒng)中;神經(jīng)網(wǎng)絡(luò)由于需要進(jìn)行大量訓(xùn)練,效率較低;基于色彩空間的分割法和輪廓提取算法對圖像質(zhì)量要求較高,適應(yīng)性較差。
由于現(xiàn)有技術(shù)中,在嘴唇輪廓定位、提取方面缺乏高效和準(zhǔn)確性,使得對嘴唇信息的特征提取效能大打折扣,導(dǎo)致最終的識別結(jié)果始終不盡如人意,識別率無法得到保障。
技術(shù)實(shí)現(xiàn)要素:
鑒于上述問題,提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的一種嘴唇輪廓的分割及特征提取方法。
基于上述問題,本發(fā)明實(shí)施例提供了一種嘴唇輪廓的分割方法,包括下述步驟:
從視頻圖像中進(jìn)行人臉檢測,獲取人臉區(qū)域,將人臉垂直區(qū)域的下半?yún)^(qū)域初步確定為嘴唇區(qū)域;
對嘴唇區(qū)域進(jìn)行粗分割:對嘴唇區(qū)域的原始彩色圖像轉(zhuǎn)換為灰度圖像,對灰度圖像進(jìn)行直方圖均衡后再進(jìn)行二值化處理;將原始彩色圖像轉(zhuǎn)換為另兩種彩色圖像,對第一種彩色圖像進(jìn)行直方圖均衡后再進(jìn)行二值化處理,對第二種彩色圖像進(jìn)行圖像分割后再進(jìn)行二值化處理;對上述三次二值化處理結(jié)果進(jìn)行邏輯與運(yùn)算得到二值圖像;
查找左、右嘴角點(diǎn);以兩個(gè)嘴角點(diǎn)為基礎(chǔ),提取上、下嘴唇輪廓邊緣點(diǎn),從而完成對嘴唇輪廓的定位。
在一些可選的實(shí)施例中,將原始彩色圖像轉(zhuǎn)換為另兩種彩色圖像及其處理過程可通過下述方式實(shí)現(xiàn):
將原始彩色圖像轉(zhuǎn)換為hsv彩色圖像和chromatic彩色圖像;
對hsv彩色圖像中的h和s分量進(jìn)行直方圖均衡后再進(jìn)行二值化處理;
根據(jù)chromatic彩色圖像中r分量的不同,對圖像進(jìn)行二值化處理
在一些可選的實(shí)施例中,查找左、右嘴角點(diǎn),可通過下述方式實(shí)現(xiàn):
在二值圖像中找出橫坐標(biāo)最小和最大兩個(gè)黑色像素點(diǎn)作為左、右嘴角的基準(zhǔn)點(diǎn),并記錄兩個(gè)基準(zhǔn)點(diǎn)的坐標(biāo);
在灰度圖像中,以兩個(gè)基準(zhǔn)點(diǎn)為中心分別構(gòu)建左、右兩個(gè)像素區(qū)域,計(jì)算每個(gè)像素點(diǎn)四鄰域灰度值之和,取四鄰域灰度值之和最小的像素點(diǎn)作為左、右嘴角點(diǎn)。
在一些可選的實(shí)施例中,以兩個(gè)嘴角點(diǎn)為基礎(chǔ),提取上、下嘴唇輪廓邊緣點(diǎn),可通過下述方式實(shí)現(xiàn):
查找上、下嘴唇外輪廓邊緣點(diǎn);
根據(jù)嘴唇的開合狀態(tài),判斷是否需要提取上、下嘴唇內(nèi)輪廓邊緣點(diǎn);當(dāng)嘴唇處于閉合狀態(tài),則結(jié)束邊緣點(diǎn)查找,當(dāng)嘴唇處于張開狀態(tài),則繼續(xù)查找上、下嘴唇內(nèi)輪廓邊緣點(diǎn)。
在一些可選的實(shí)施例中,查找上、下嘴唇外輪廓邊緣點(diǎn),可通過下述方式實(shí)現(xiàn):
選取左、右嘴角點(diǎn)之間的橫坐標(biāo),該橫坐標(biāo)所在列即為下嘴唇外輪廓邊緣點(diǎn)所在列;
以橫坐標(biāo)所在列對二值圖像從下向上進(jìn)行列掃描,找到的第一個(gè)黑色像素點(diǎn)即為下嘴唇外輪廓邊緣點(diǎn);
以下嘴唇外輪廓邊緣點(diǎn)所在列對灰度圖像從上向下進(jìn)行列掃描,找到的第一個(gè)灰度值小于該列灰度平均值的像素點(diǎn)即為上嘴唇外輪廓邊緣點(diǎn)。
在一些可選的實(shí)施例中,在查找上、下嘴唇外輪廓邊緣點(diǎn)時(shí),選取左、右嘴角點(diǎn)之間的橫坐標(biāo),可通過下述方式實(shí)現(xiàn):
取左、右嘴角點(diǎn)的橫坐標(biāo)中點(diǎn)作為嘴唇外輪廓邊緣點(diǎn)的橫坐標(biāo),在該橫坐標(biāo)與左、右嘴角點(diǎn)之間分別選取至少兩個(gè)等距離分布的橫坐標(biāo)。
在一些可選的實(shí)施例中,查找上、下嘴唇內(nèi)輪廓邊緣點(diǎn),可通過下述方式實(shí)現(xiàn):
選取左、右嘴角點(diǎn)之間的橫坐標(biāo),該橫坐標(biāo)所在列即為上、下嘴唇內(nèi)輪廓邊緣點(diǎn)所在列;
以橫坐標(biāo)所在列對灰度圖像從圖像高度的1/2處向上進(jìn)行列掃描,找到的第一個(gè)灰度值小于該列灰度平均值的像素點(diǎn)即為上嘴唇內(nèi)輪廓邊緣點(diǎn);
以橫坐標(biāo)所在列對灰度圖像從圖像高度的1/2處向下進(jìn)行列掃描,找到的第一個(gè)灰度值小于該列灰度平均值的像素點(diǎn)即為下嘴唇內(nèi)輪廓邊緣點(diǎn)。
在一些可選的實(shí)施例中,在查找上、下嘴唇內(nèi)輪廓邊緣點(diǎn)時(shí),選取左、右嘴角點(diǎn)之間的橫坐標(biāo),可通過下述方式實(shí)現(xiàn):
取左、右嘴角點(diǎn)的橫坐標(biāo)中點(diǎn)作為嘴唇外輪廓邊緣點(diǎn)的橫坐標(biāo);或者
取左、右嘴角點(diǎn)的橫坐標(biāo)中點(diǎn)作為嘴唇外輪廓邊緣點(diǎn)的橫坐標(biāo),并且在該橫坐標(biāo)與左、右嘴角點(diǎn)之間分別選取至少一個(gè)等距離分布的橫坐標(biāo)。
在一些可選的實(shí)施例中,在完成對嘴唇輪廓的定位之后,還可通過下述步驟進(jìn)行擬合:
基于左、右嘴角點(diǎn)和上嘴唇外輪廓邊緣點(diǎn),以左、右嘴角點(diǎn)之間的橫坐標(biāo)中點(diǎn)為對稱軸,分別向左和向右對上嘴唇進(jìn)行三次曲線擬合,得到兩條共同表示上嘴唇輪廓的三次擬合曲線y1和y2,如下式:
y1=a1x3+b1x2+c1x+d1;
y2=a2x3+b2x2+c2x+d2;
基于左、右嘴角點(diǎn)和下嘴唇外輪廓邊緣點(diǎn),采用二次曲線進(jìn)行擬合,得到一條表示下嘴唇外輪廓的二次擬合曲線y3,如下式:
y3=a3x2+b3x+c3;
基于左、右嘴角點(diǎn)和上、下嘴唇內(nèi)輪廓邊緣點(diǎn),分別采用二次曲線進(jìn)行擬合,得到兩條分別表示上、下嘴唇內(nèi)輪廓的二次擬合曲線y4和y5,如下式:
y4=a4x2+b4x+c4;
y5=a5x2+b5x+c5;
上式中,a1—d1、a2—d2、a3—c3、a4—c4、a5—c5為擬合曲線參數(shù),為任意實(shí)數(shù)。
本發(fā)明實(shí)施例還提供一種嘴唇輪廓的特征提取方法,該方法包括上述嘴唇輪廓的提取方法,還包括:
擬合后,通過如下向量表示嘴唇邊緣輪廓特征:
(a1-a2,b1-b2,c1-c2,a1-a3,b1-b3,c1-c3,a2-a3,b2-b3,c2-c3)
上式中,a1-a2、b1-b2、c1-c2共同表示嘴巴收縮程度,即左、右兩個(gè)嘴角點(diǎn)之間的寬度;a1-a3、b1-b3、c1-c3、a2-a3、b2-b3、c2-c3共同表示嘴巴張開程度,即上下嘴唇邊緣的最大距離。
本發(fā)明實(shí)施例的有益效果包括:
本發(fā)明實(shí)施例提供的嘴唇輪廓的分割及特征提取方法,能夠較為高效、準(zhǔn)確的分割定位,從而能夠更精確的提取出嘴唇輪廓特征,以便更好的應(yīng)用于視覺語言識別系統(tǒng)。
上述說明僅是本發(fā)明技術(shù)方案的概述,為了能夠更清楚了解本發(fā)明的技術(shù)手段,而可依照說明書的內(nèi)容予以實(shí)施,并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂,以下特舉本發(fā)明的具體實(shí)施方式。
附圖說明
通過閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述,各種其他的優(yōu)點(diǎn)和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的,而并不認(rèn)為是對本發(fā)明的限制。而且在整個(gè)附圖中,用相同的參考符號表示相同的部件。在附圖中:
圖1為本發(fā)明實(shí)施例提供的嘴唇輪廓分割方法的流程圖;
圖2為本發(fā)明實(shí)施例提供的嘴唇區(qū)域粗分割的流程圖;
圖3為本發(fā)明實(shí)施例中查找左、右嘴角點(diǎn)的流程圖;
圖4為本發(fā)明實(shí)施例中查找上、下嘴唇輪廓邊緣點(diǎn)的流程圖;
圖5為本發(fā)明實(shí)施例中查找上、下嘴唇外輪廓邊緣點(diǎn)的流程圖;
圖6為本發(fā)明實(shí)施例中查找上、下嘴唇內(nèi)輪廓邊緣點(diǎn)的流程圖。
具體實(shí)施方式
下面將參照附圖更詳細(xì)地描述本公開的示例性實(shí)施例。雖然附圖中顯示了本公開的示例性實(shí)施例,然而應(yīng)當(dāng)理解,可以以各種形式實(shí)現(xiàn)本公開而不應(yīng)被這里闡述的實(shí)施例所限制。相反,提供這些實(shí)施例是為了能夠更透徹地理解本公開,并且能夠?qū)⒈竟_的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。
下面分別結(jié)合附圖,對本發(fā)明實(shí)施例提供的嘴唇輪廓的分割及特征提取方法分別進(jìn)行說明。
本發(fā)明實(shí)施例提供的嘴唇輪廓的分割方法,其流程如圖1所示,包括如下步驟:
s101、從視頻圖像中進(jìn)行人臉檢測,獲取人臉區(qū)域,將人臉垂直區(qū)域的下半?yún)^(qū)域初步確定為嘴唇區(qū)域;
獲取人臉區(qū)域可以從視頻中獲取圖像序列,作為輸入圖像;從圖像中檢測人臉,應(yīng)用opencv人臉檢測技術(shù)對人臉區(qū)域進(jìn)行了定位;
s102、對嘴唇區(qū)域進(jìn)行粗分割:
對嘴唇區(qū)域的原始彩色圖像轉(zhuǎn)換為灰度圖像,對灰度圖像進(jìn)行直方圖均衡后再進(jìn)行二值化處理;將原始彩色圖像轉(zhuǎn)換為另兩種彩色圖像,對第一種彩色圖像進(jìn)行直方圖均衡后再進(jìn)行二值化處理,對第二種彩色圖像進(jìn)行圖像分割后再進(jìn)行二值化處理;對上述三次二值化處理結(jié)果進(jìn)行邏輯與運(yùn)算得到二值圖像;
s103、查找左、右嘴角點(diǎn);以兩個(gè)嘴角點(diǎn)為基礎(chǔ),提取上、下嘴唇的邊緣點(diǎn),從而完成對嘴唇輪廓的定位。
進(jìn)一步地,上述步驟s102可通過下述方法具體實(shí)現(xiàn),其流程圖如圖2所示:
s201、將嘴唇區(qū)域的原始rgb彩色圖像轉(zhuǎn)換為灰度圖像,對灰度圖像進(jìn)行直方圖均衡后再進(jìn)行二值化處理;
s202、將嘴唇區(qū)域的原始rgb彩色圖像轉(zhuǎn)換為hsv彩色圖像,對hsv彩色圖像中的h和s分量進(jìn)行直方圖均衡,通過自適應(yīng)算法確定的閾值對h和s分量進(jìn)行二值化處理;
s203、將嘴唇區(qū)域的原始rgb彩色圖像轉(zhuǎn)換為chromatic彩色圖像,根據(jù)chromatic彩色圖像中r分量的不同,對chromatic彩色圖像進(jìn)行二值化處理;
具體處理過程為:
a.通過式
b.通過式
c.通過fisher變換
式中,r、g、b分別是chromatic彩色圖像中的紅、綠、藍(lán)分量;m、n分別是chromatic彩色圖像中的行數(shù)和列數(shù)。
s204、對上述三次二值化處理結(jié)果進(jìn)行邏輯與運(yùn)算得到二值圖像。
上述步驟s201、s202和s203無先后順序,可以同時(shí)進(jìn)行,也可以按順序進(jìn)行。
進(jìn)一步地,上述步驟s103中查找左、右嘴角點(diǎn)可通過下述方法具體實(shí)現(xiàn),其流程圖如圖3所示:
s301、在二值圖像中找出橫坐標(biāo)最小和最大兩個(gè)黑色像素點(diǎn)作為左、右嘴角的基準(zhǔn)點(diǎn),并記錄兩個(gè)基準(zhǔn)點(diǎn)的坐標(biāo);
s302、在灰度圖像中,以兩個(gè)基準(zhǔn)點(diǎn)為中心分別構(gòu)建左、右兩個(gè)8*8的像素區(qū)域,計(jì)算每個(gè)像素點(diǎn)四鄰域灰度值之和;
本實(shí)施例中,8*8的像素區(qū)域是以基準(zhǔn)點(diǎn)所在行為基準(zhǔn)行,向上擴(kuò)展3行向下擴(kuò)展4行,同時(shí)以該基準(zhǔn)點(diǎn)所在列為基準(zhǔn)列,向左擴(kuò)展3列向右4列,所構(gòu)成的8行8列像素區(qū)域;也可以根據(jù)實(shí)際需求,向上4行向下擴(kuò)展3行以及向左擴(kuò)展4列向右擴(kuò)展3列,或者是其他排列組合方式;本實(shí)施例中,每個(gè)像素點(diǎn)四鄰域灰度值之和指的是該像素點(diǎn)連同其上下左右4個(gè)像素點(diǎn)(共5個(gè)像素點(diǎn))的灰度值的和。
s303、取左側(cè)像素區(qū)域中四鄰域灰度值之和最小的像素點(diǎn)作為左嘴角點(diǎn),取右側(cè)像素區(qū)域中四鄰域灰度值之和最小的像素點(diǎn)作為右嘴角點(diǎn)。
進(jìn)一步地,上述步驟s103中以兩個(gè)嘴角點(diǎn)為基礎(chǔ),提取上、下嘴唇輪廓邊緣點(diǎn)可通過下述方法具體實(shí)現(xiàn),其流程圖如圖4所示:
s401、查找上、下嘴唇外輪廓邊緣點(diǎn);
s402、根據(jù)嘴唇的開合狀態(tài),判斷是否需要提取上、下嘴唇內(nèi)輪廓邊緣點(diǎn);當(dāng)嘴唇處于閉合狀態(tài),則執(zhí)行步驟s404,當(dāng)嘴唇處于張開狀態(tài),則執(zhí)行步驟s403;
s403、繼續(xù)查找上、下嘴唇內(nèi)輪廓邊緣點(diǎn);
s404、結(jié)束邊緣點(diǎn)查找。
進(jìn)一步地,上述步驟s401可通過下述方法具體實(shí)現(xiàn),其流程圖如圖5所示:
s501、選取左、右嘴角點(diǎn)之間的橫坐標(biāo),該橫坐標(biāo)所在列即為下嘴唇外輪廓邊緣點(diǎn)所在列;
取左、右嘴角點(diǎn)的橫坐標(biāo)中點(diǎn)作為嘴唇外輪廓邊緣點(diǎn)的橫坐標(biāo),在該橫坐標(biāo)與左、右嘴角點(diǎn)之間分別選取至少兩個(gè)等距離分布的橫坐標(biāo);本實(shí)施例中,以提取5個(gè)上嘴唇外輪廓邊緣點(diǎn)為例,即:在左、右嘴角點(diǎn)的橫坐標(biāo)中點(diǎn)與左、右嘴角點(diǎn)之間分別選取兩個(gè)橫坐標(biāo),也可以使每個(gè)橫坐標(biāo)之間以及橫坐標(biāo)與左、右嘴角點(diǎn)之間的距離相等或不等。
s502、以橫坐標(biāo)所在列對二值圖像從下向上進(jìn)行列掃描,找到的第一個(gè)黑色像素點(diǎn)即為下嘴唇外輪廓邊緣點(diǎn),最終找到5個(gè)下嘴唇外輪廓邊緣點(diǎn);
s503、以5個(gè)下嘴唇外輪廓邊緣點(diǎn)所在列對灰度圖像從上向下進(jìn)行列掃描,找到的第一個(gè)灰度值小于該列灰度平均值的像素點(diǎn)即為上嘴唇外輪廓邊緣點(diǎn),最終找到5個(gè)上嘴唇外輪廓邊緣點(diǎn)。
在說話過程中,嘴唇會出現(xiàn)兩種狀態(tài),即閉合狀態(tài)和張開狀態(tài);閉合狀態(tài)是不需要提取其內(nèi)輪廓的,而在張開狀態(tài)下,為了提高話語內(nèi)容識別的準(zhǔn)確率,需要精確提取嘴唇的輪廓特征,所以提取其內(nèi)輪廓就成為必要步驟,在這一步中,利用與提取上嘴唇外輪廓邊緣點(diǎn)相似的方法提取上、下嘴唇內(nèi)輪廓邊緣點(diǎn)。上述步驟s403可通過下述方法具體實(shí)現(xiàn),其流程圖如圖6所示:
s601、選取左、右嘴角點(diǎn)之間的橫坐標(biāo),該橫坐標(biāo)所在列即為上、下嘴唇內(nèi)輪廓邊緣點(diǎn)所在列;
由于嘴唇內(nèi)輪廓在說話過程中的變化幅度較小,所以在上、下嘴唇的內(nèi)輪廓可以各提取一個(gè)邊緣點(diǎn)即可,當(dāng)然為了提高精確度,也可以根據(jù)實(shí)際需求提取多個(gè);最簡單快速的方法,是只取左、右嘴角點(diǎn)的橫坐標(biāo)中點(diǎn)作為嘴唇外輪廓邊緣點(diǎn)的橫坐標(biāo)即可;但為了提高精度;當(dāng)需要提取多個(gè)時(shí),則取左、右嘴角點(diǎn)的橫坐標(biāo)中點(diǎn)作為嘴唇外輪廓邊緣點(diǎn)的橫坐標(biāo),并且在該橫坐標(biāo)與左、右嘴角點(diǎn)之間分別選取至少一個(gè)等距離分布的橫坐標(biāo),也可以使每個(gè)橫坐標(biāo)之間以及橫坐標(biāo)與左、右嘴角點(diǎn)之間的距離相等或不等。
s602、以橫坐標(biāo)所在列對灰度圖像從圖像高度的1/2處向上進(jìn)行列掃描,找到的第一個(gè)灰度值小于該列灰度平均值的像素點(diǎn)即為上嘴唇內(nèi)輪廓邊緣點(diǎn);
s603、以橫坐標(biāo)所在列對灰度圖像從圖像高度的1/2處向下進(jìn)行列掃描,找到的第一個(gè)灰度值小于該列灰度平均值的像素點(diǎn)即為下嘴唇內(nèi)輪廓邊緣點(diǎn)。
本發(fā)明實(shí)施例還提供了另一種嘴唇輪廓的提取方法,該方法包括上述任一項(xiàng)的嘴唇輪廓分割方法,還包括對嘴唇輪廓進(jìn)行三次曲線擬合的過程,可采用如下方法具體實(shí)現(xiàn):
s101′、從視頻圖像中進(jìn)行人臉檢測,獲取人臉區(qū)域,將人臉垂直區(qū)域的下半?yún)^(qū)域初步確定為嘴唇區(qū)域;該步驟的具體過程同上述步驟s101,此處不再贅述;
s102′、對嘴唇區(qū)域進(jìn)行粗分割;該步驟的具體過程同上述步驟s102,此處不再贅述;
s103′、查找左、右嘴角點(diǎn);以兩個(gè)嘴角點(diǎn)為基礎(chǔ),提取上、下嘴唇的邊緣點(diǎn),從而完成對嘴唇輪廓的定位;該步驟的具體過程同上述步驟s103,此處不再贅述;
s104′、對嘴唇輪廓進(jìn)行三次曲線擬合。
在研究嘴唇輪廓曲線時(shí),曲線上的點(diǎn)的橫坐標(biāo)和縱坐標(biāo)可以視為研究變量,即變量(x,y),根據(jù)嘴唇輪廓線可以得到一系列成對的數(shù)據(jù)(x1,y1.x2,y2...xm,ym);將這些數(shù)據(jù)描繪在x-y直角坐標(biāo)系中,若發(fā)現(xiàn)這些點(diǎn)在一條曲線附近,可以令這條曲線方程如
y0=a0x3+b0x2+c0x+d0(1)
其中a0、b0、c0、d0是待定的曲線參數(shù),可為任意實(shí)數(shù)。為了建立曲線方程,就要確定四個(gè)參數(shù),根據(jù)最小二乘法的原理,將實(shí)際像素坐標(biāo)信息yi與利用公式(1)的計(jì)算值yj的離差(yi-yj)的平方和∑(yi-yj)2最小為最優(yōu)判斷標(biāo)準(zhǔn)。
令φ=∑(yi-yj)2,把式(1)帶入,當(dāng)求得∑(yi-yj)2最小時(shí),可用函數(shù)φ對四個(gè)參數(shù)求偏導(dǎo)數(shù),令各偏導(dǎo)數(shù)等于零。得到的四個(gè)關(guān)于a0,b0,c0,d0為未知數(shù)的四個(gè)方程,解方程組得出四個(gè)參數(shù)的表達(dá)式,把這四個(gè)參數(shù)帶入式(1),此時(shí)得到的方程就是所需的三次方程。
步驟s104′的具體步驟如下:
基于左、右嘴角點(diǎn)和上嘴唇外輪廓邊緣點(diǎn),以左、右嘴角點(diǎn)之間的橫坐標(biāo)中點(diǎn)為對稱軸,分別向左和向右對上嘴唇進(jìn)行三次曲線擬合,得到兩條共同表示上嘴唇輪廓的三次擬合曲線y1和y2,如下式:
y1=a1x3+b1x2+c1x+d1;
y2=a2x3+b2x2+c2x+d2;
基于左、右嘴角點(diǎn)和下嘴唇外輪廓邊緣點(diǎn),采用二次曲線進(jìn)行擬合,得到一條表示下嘴唇外輪廓的二次擬合曲線y3,如下式:
y3=a3x2+b3x+c3;
基于左、右嘴角點(diǎn)和上、下嘴唇內(nèi)輪廓邊緣點(diǎn),分別采用二次曲線進(jìn)行擬合,得到兩條分別表示上、下嘴唇內(nèi)輪廓的二次擬合曲線y4和y5,如下式:
y4=a4x2+b4x+c4;
y5=a5x2+b5x+c5;
上式中,a1—d1、a2—d2、a3—c3、a4—c4、a5—c5為擬合曲線參數(shù),為任意實(shí)數(shù)。
本發(fā)明實(shí)施例還提供了嘴唇輪廓的特征提取方法,該方法包括上述嘴唇輪廓提取方法,擬合后提取嘴唇輪廓特征,可采用如下方法具體實(shí)現(xiàn):
s101″、從視頻圖像中進(jìn)行人臉檢測,獲取人臉區(qū)域,將人臉垂直區(qū)域的下半?yún)^(qū)域初步確定為嘴唇區(qū)域;
該步驟的具體過程同上述步驟s101,此處不再贅述;
s102″、對嘴唇區(qū)域進(jìn)行粗分割;
該步驟的具體過程同上述步驟s102,此處不再贅述;
s103″、查找左、右嘴角點(diǎn);以兩個(gè)嘴角點(diǎn)為基礎(chǔ),提取上、下嘴唇的邊緣點(diǎn),從而完成對嘴唇輪廓的定位;
該步驟的具體過程同上述步驟s103,此處不再贅述;
s104″、對嘴唇輪廓進(jìn)行三次曲線擬合;
該步驟的具體過程同上述步驟s104′,此處不再贅述
s105″、提取嘴唇輪廓特征,包括曲線參數(shù)特征和幾何特征
擬合后以兩個(gè)嘴角之間的以及嘴巴張開的寬度(上下嘴唇邊緣的最大距離)來表示嘴唇的特征向量。如下式的向量表示嘴唇的邊緣輪廓特征:
(a1-a2,b1-b2,c1-c2,a1-a3,b1-b3,c1-c3,a2-a3,b2-b3,c2-c3)
上式中,曲線參數(shù)特征為三條曲線的方程系數(shù),即(a1,a2,a3,b1,b2,b3,c1,c2,c3);(a1-a2,b1-b2,c1-c2,a1-a3,b1-b3,c1-c3,a2-a3,b2-b3,c2-c3)表示嘴唇輪廓的幾何特征;a1-a2、b1-b2、c1-c2共同表示嘴巴收縮程度,即左、右兩個(gè)嘴角點(diǎn)之間的寬度;a1-a3、b1-b3、c1-c3、a2-a3、b2-b3、c2-c3共同表示嘴巴張開程度(也就是嘴巴張開寬度),即上下嘴唇邊緣的最大距離
上文的描述包括一個(gè)或多個(gè)實(shí)施例的舉例。當(dāng)然,為了描述上述實(shí)施例而描述部件或方法的所有可能的結(jié)合是不可能的,但是本領(lǐng)域普通技術(shù)人員應(yīng)該認(rèn)識到,各個(gè)實(shí)施例可以做進(jìn)一步的組合和排列。因此,本文中描述的實(shí)施例旨在涵蓋落入所附權(quán)利要求書的保護(hù)范圍內(nèi)的所有這樣的改變、修改和變型。此外,就說明書或權(quán)利要求書中使用的術(shù)語“包含”,該詞的涵蓋方式類似于術(shù)語“包括”,就如同“包括,”在權(quán)利要求中用作銜接詞所解釋的那樣。此外,使用在權(quán)利要求書的說明書中的任何一個(gè)術(shù)語“或者”是要表示“非排它性的或者”。
最后應(yīng)當(dāng)說明的是,以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非限制,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解,可以對本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換,而不脫離本發(fā)明技術(shù)方案的精神范圍,其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。