一種唇動(dòng)檢測(cè)方法、裝置及電子設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及唇讀識(shí)別技術(shù)領(lǐng)域，更具體地說，涉及一種唇動(dòng)檢測(cè)方法、裝置及電子設(shè)備。
【背景技術(shù)】
[0002]唇讀識(shí)別技術(shù)是基于計(jì)算機(jī)視覺的，采用計(jì)算機(jī)再現(xiàn)聾人通過唇動(dòng)破解語言規(guī)律讀懂語言的技術(shù)；現(xiàn)已被廣泛應(yīng)用于語音識(shí)別，身份驗(yàn)證，人機(jī)智能接口等領(lǐng)域。唇動(dòng)檢測(cè)是唇讀識(shí)別技術(shù)的一個(gè)關(guān)鍵和首要部分，唇動(dòng)檢測(cè)可通過人臉嘴部區(qū)域的圖像檢測(cè)唇部區(qū)域的運(yùn)動(dòng)狀況。
[0003]目前的唇動(dòng)檢測(cè)方式主要是利用唇色分離算法定位唇形區(qū)域，然后用最小二乘等方法擬合出唇形輪廓曲線，從而通過唇形輪廓曲線識(shí)別出唇部區(qū)域的運(yùn)動(dòng)狀況。發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中發(fā)現(xiàn):由于不同人的唇形和唇色存在差異，且唇型的變化易受環(huán)境光照、臉部運(yùn)動(dòng)和攝像頭距離的影響，因此在復(fù)雜環(huán)境下所擬合出的唇形輪廓曲線并不準(zhǔn)確，這使得最終的唇動(dòng)檢測(cè)結(jié)果并不準(zhǔn)確，容易造成錯(cuò)誤的唇讀識(shí)別。

【發(fā)明內(nèi)容】

[0004]有鑒于此，本發(fā)明實(shí)施例提供一種唇動(dòng)檢測(cè)方法、裝置及電子設(shè)備，以解決現(xiàn)有技術(shù)存在的最終唇動(dòng)檢測(cè)結(jié)果并不準(zhǔn)確，容易造成錯(cuò)誤的唇讀識(shí)別的問題。
[0005]為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供如下技術(shù)方案:
[0006]一種唇動(dòng)檢測(cè)方法，包括:
[0007]確定嘴部區(qū)域圖像的唇部區(qū)域的預(yù)定特征點(diǎn)的位置，通過所確定的預(yù)定特征點(diǎn)的位置確定所述唇部區(qū)域的唇形變化狀態(tài)；
[0008]通過預(yù)先獲得的檢測(cè)嘴部區(qū)域張開閉合狀態(tài)的分類器，確定所述嘴部區(qū)域圖像對(duì)應(yīng)的唇部開閉狀態(tài)，所述分類器通過嘴部區(qū)域圖像的紋理特征訓(xùn)練后獲得；
[0009]結(jié)合所述唇形變化狀態(tài)和所述唇部開閉狀態(tài)確定唇動(dòng)狀態(tài)檢測(cè)結(jié)果。
[0010]其中，所述確定嘴部區(qū)域圖像的唇部區(qū)域的預(yù)定特征點(diǎn)的位置包括:
[0011]獲得預(yù)先設(shè)置的唇部區(qū)域的預(yù)定特征點(diǎn)的初始化位置，通過主動(dòng)形狀模型ASM算法計(jì)算預(yù)定特征點(diǎn)的初始化位置相對(duì)于所述嘴部區(qū)域圖像的唇部區(qū)域的局部灰度模型；
[0012]根據(jù)所述局部灰度模型，對(duì)所述嘴部區(qū)域圖像的唇部區(qū)域的預(yù)定特征點(diǎn)的初始化位置進(jìn)行修正，以使修正后的預(yù)定特征點(diǎn)的位置所對(duì)應(yīng)的局部灰度模型滿足預(yù)定條件，所述修正后的預(yù)定特征點(diǎn)的位置為所要確定的所述預(yù)定特征點(diǎn)的位置；其中，所述預(yù)定特征點(diǎn)的位置包括:所述唇部區(qū)域的內(nèi)唇預(yù)定特征點(diǎn)的位置，和外唇預(yù)定特征點(diǎn)的位置；
[0013]所述通過所確定的預(yù)定特征點(diǎn)的位置確定所述唇部區(qū)域的唇形變化狀態(tài)包括:
[0014]通過所確定的內(nèi)唇和外唇的預(yù)定特征點(diǎn)的位置確定內(nèi)唇寬度和高度,所述寬度和高度的比值反應(yīng)所述唇部區(qū)域的唇形變化狀態(tài)。
[0015]其中，所述分類器的獲得過程包括:
[0016]將嘴部張開圖像作為第一類樣本，提取第一類樣本的紋理特征，及將嘴部閉合圖像作為第二類樣本，提取第二類樣本的紋理特征；
[0017]通過所提取的第一類樣本和第二類樣本的紋理特征，對(duì)第一類樣本和第二類樣本進(jìn)行離線樣本訓(xùn)練，得到檢測(cè)嘴部區(qū)域張開閉合狀態(tài)的分類器。
[0018]其中，所述結(jié)合所述唇形變化狀態(tài)和所述唇部開閉狀態(tài)確定唇動(dòng)狀態(tài)檢測(cè)結(jié)果包括:
[0019]確定所述唇形變化狀態(tài)對(duì)應(yīng)的置信度，及所述唇部開閉狀態(tài)對(duì)應(yīng)的置信度；
[0020]將所述唇形變化狀態(tài)對(duì)應(yīng)的置信度乘以對(duì)應(yīng)的權(quán)重，獲得第一結(jié)果，及將所述唇部開閉狀態(tài)對(duì)應(yīng)的置信度乘以對(duì)應(yīng)的權(quán)重，獲得第二結(jié)果，將所述第一結(jié)果和所述第二結(jié)果做加成處理得到所述唇動(dòng)狀態(tài)檢測(cè)結(jié)果。
[0021]其中，所述方法還包括:
[0022]在得到所述唇動(dòng)狀態(tài)檢測(cè)結(jié)果后，對(duì)所述嘴部區(qū)域圖像進(jìn)行預(yù)設(shè)次數(shù)的唇動(dòng)檢測(cè)，得到與所述預(yù)設(shè)次數(shù)的數(shù)量對(duì)應(yīng)的唇動(dòng)狀態(tài)檢測(cè)結(jié)果；
[0023]結(jié)合所述唇動(dòng)狀態(tài)檢測(cè)結(jié)果，和與所述預(yù)設(shè)次數(shù)的數(shù)量對(duì)應(yīng)的唇動(dòng)狀態(tài)檢測(cè)結(jié)果，將其中符合預(yù)設(shè)條件的唇動(dòng)狀態(tài)檢測(cè)結(jié)果作為最終的唇動(dòng)狀態(tài)檢測(cè)結(jié)果。
[0024]本發(fā)明實(shí)施例還提供一種唇動(dòng)檢測(cè)裝置，包括:
[0025]特征點(diǎn)位置確定模塊，用于確定嘴部區(qū)域圖像的唇部區(qū)域的預(yù)定特征點(diǎn)的位置；
[0026]唇形變化確定模塊，用于通過所確定的預(yù)定特征點(diǎn)的位置確定所述唇部區(qū)域的唇形變化狀態(tài)；
[0027]唇部開閉確定模塊，用于通過預(yù)先獲得的檢測(cè)嘴部區(qū)域張開閉合狀態(tài)的分類器，確定所述嘴部區(qū)域圖像對(duì)應(yīng)的唇部開閉狀態(tài)，所述分類器通過嘴部區(qū)域圖像的紋理特征訓(xùn)練后獲得；
[0028]結(jié)合模塊，用于結(jié)合所述唇形變化狀態(tài)和所述唇部開閉狀態(tài)確定唇動(dòng)狀態(tài)檢測(cè)結(jié)果O
[0029]其中，所述特征點(diǎn)位置確定模塊包括:
[0030]局部灰度模型確定單元，用于獲得預(yù)先設(shè)置的唇部區(qū)域的預(yù)定特征點(diǎn)的初始化位置，通過主動(dòng)形狀模型ASM算法計(jì)算預(yù)定特征點(diǎn)的初始化位置相對(duì)于所述嘴部區(qū)域圖像的唇部區(qū)域的局部灰度模型；
[0031]修正單元，用于根據(jù)所述局部灰度模型，對(duì)所述嘴部區(qū)域圖像的唇部區(qū)域的預(yù)定特征點(diǎn)的初始化位置進(jìn)行修正，以使修正后的預(yù)定特征點(diǎn)的位置所對(duì)應(yīng)的局部灰度模型滿足預(yù)定條件，所述修正后的預(yù)定特征點(diǎn)的位置為所要確定的所述預(yù)定特征點(diǎn)的位置；其中，所述預(yù)定特征點(diǎn)的位置包括:所述唇部區(qū)域的內(nèi)唇預(yù)定特征點(diǎn)的位置，和外唇預(yù)定特征點(diǎn)的位置；
[0032]所述唇形變化確定模塊包括:
[0033]比值確定單元，用于通過所確定的內(nèi)唇和外唇的預(yù)定特征點(diǎn)的位置確定內(nèi)唇寬度和高度，所述寬度和高度的比值反應(yīng)所述唇部區(qū)域的唇形變化狀態(tài)。
[0034]其中，所述裝置還包括:
[0035]分類器獲得模塊，用于將嘴部張開圖像作為第一類樣本，提取第一類樣本的紋理特征，及將嘴部閉合圖像作為第二類樣本，提取第二類樣本的紋理特征；通過所提取的第一類樣本和第二類樣本的紋理特征，對(duì)第一類樣本和第二類樣本進(jìn)行離線樣本訓(xùn)練，得到檢測(cè)嘴部區(qū)域張開閉合狀態(tài)的分類器。
[0036]其中，所述結(jié)合模塊包括:
[0037]置信度確定單元，用于確定所述唇形變化狀態(tài)對(duì)應(yīng)的置信度，及所述唇部開閉狀態(tài)對(duì)應(yīng)的置信度；
[0038]加成處理單元，用于將所述唇形變化狀態(tài)對(duì)應(yīng)的置信度乘以對(duì)應(yīng)的權(quán)重，獲得第一結(jié)果，及將所述唇部開閉狀態(tài)對(duì)應(yīng)的置信度乘以對(duì)應(yīng)的權(quán)重，獲得第二結(jié)果，將所述第一結(jié)果和所述第二結(jié)果做加成處理得到所述唇動(dòng)狀態(tài)檢測(cè)結(jié)果。
[0039]其中，所述裝置還包括:
[0040]預(yù)設(shè)次數(shù)檢測(cè)模塊，用于在得到所述唇動(dòng)狀態(tài)檢測(cè)結(jié)果后，對(duì)所述嘴部區(qū)域圖像進(jìn)行預(yù)設(shè)次數(shù)的唇動(dòng)檢測(cè)，得到與所述預(yù)設(shè)次數(shù)的數(shù)量對(duì)應(yīng)的唇動(dòng)狀態(tài)檢測(cè)結(jié)果；
[0041]最終檢測(cè)結(jié)果確定模塊，用于結(jié)合所述唇動(dòng)狀態(tài)檢測(cè)結(jié)果，和與所述預(yù)設(shè)次數(shù)的數(shù)量對(duì)應(yīng)的唇動(dòng)狀態(tài)檢測(cè)結(jié)果，將其中符合預(yù)設(shè)條件的唇動(dòng)狀態(tài)檢測(cè)結(jié)果作為最終的唇動(dòng)狀態(tài)檢測(cè)結(jié)果。
[0042]本發(fā)明實(shí)施例還提供一種電子設(shè)備，包括上述所述的唇動(dòng)檢測(cè)裝置。
[0043]基于上述技術(shù)方案，本發(fā)明實(shí)施例提供的唇動(dòng)檢測(cè)方法采用唇部區(qū)域的預(yù)定特征點(diǎn)的位置確定所述唇部區(qū)域的唇形變化狀態(tài)，采用通過嘴部區(qū)域圖像的紋理特征訓(xùn)練后獲得的分類器確定所述嘴部區(qū)域圖像對(duì)應(yīng)的唇部開閉狀態(tài)，結(jié)合所述唇形變化狀態(tài)和所述唇部開閉狀態(tài)確定唇動(dòng)狀態(tài)檢測(cè)結(jié)果；本發(fā)明實(shí)施例融合唇部形狀的變化和唇部的紋理特征對(duì)唇動(dòng)狀態(tài)進(jìn)行識(shí)別，可在采用唇部形狀的變化判別唇動(dòng)狀態(tài)時(shí)，由于環(huán)境光照變化、攝像頭距離較遠(yuǎn)易造成唇動(dòng)狀態(tài)誤檢時(shí)，由唇部的紋理特征判別唇動(dòng)狀態(tài)的方式進(jìn)行校正；同時(shí)，采用唇部的紋理特征判別唇動(dòng)狀態(tài)的方式在臉部區(qū)域運(yùn)動(dòng)時(shí)輸出的置信度較低，可由在臉部區(qū)域運(yùn)動(dòng)時(shí)，具有比較魯棒的置信度輸出的由唇部形狀的變化判別唇動(dòng)狀態(tài)的方式來提升，避免發(fā)生唇動(dòng)狀態(tài)漏檢的情況。本發(fā)明實(shí)施例結(jié)合唇部形狀的變化和唇部的紋理特征對(duì)唇動(dòng)狀態(tài)進(jìn)行識(shí)別，可提高唇動(dòng)狀態(tài)檢測(cè)的魯棒性和準(zhǔn)確性，不易受環(huán)境光照、臉部運(yùn)動(dòng)和攝像頭距離的影響。
【附圖說明】
[0044]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0045]圖1為本發(fā)明實(shí)施例提供的唇動(dòng)檢測(cè)方法的流程圖；
[0046]圖2為本發(fā)明實(shí)施例提供的確定唇部區(qū)域的預(yù)定特征點(diǎn)的位置的方法流程圖；
[0047]圖3為本發(fā)明實(shí)施例提供的分類器的獲得方法流程圖；
[0048]圖4為本發(fā)明實(shí)施例提供的確定唇動(dòng)狀態(tài)檢測(cè)結(jié)果的方法流程圖；
[0049]圖5為本發(fā)明實(shí)施例提供的唇動(dòng)檢測(cè)方法的另一流程圖；
[0050]圖6為本發(fā)明實(shí)施例提供的一個(gè)應(yīng)用例的示意圖；
[0051]圖7為本發(fā)明實(shí)施例提供的唇動(dòng)檢測(cè)裝置的結(jié)構(gòu)框圖；
[0052]圖8為本發(fā)明實(shí)施例提供的特征點(diǎn)位置確定模塊的結(jié)構(gòu)框圖；<