一種人臉顯著特征位置標(biāo)定方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種人臉顯著特征位置標(biāo)定方法及系統(tǒng)，包括以下模塊：目標(biāo)圖像采集模塊、眼動(dòng)信息采集模塊、眼動(dòng)信息處理模塊、人臉識(shí)別訓(xùn)練模塊；本發(fā)明的優(yōu)點(diǎn)在于進(jìn)行人臉識(shí)別時(shí)通過眼動(dòng)儀和心理學(xué)實(shí)驗(yàn)來確定人臉顯著特征，大大提高了人臉識(shí)別中人臉顯著特征確定時(shí)的準(zhǔn)確度。
【專利說明】一種人臉顯著特征位置標(biāo)定方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種人臉顯著特征位置標(biāo)定方法及應(yīng)用，尤其涉及一種基于眼動(dòng)儀的人臉顯著特征位置標(biāo)定方法及系統(tǒng)。

【背景技術(shù)】
[0002]眼動(dòng)跟蹤技術(shù)提供了一種可靠、有效、及時(shí)的視覺加工研究方法，目前被廣泛應(yīng)用于廣告產(chǎn)品評(píng)估、用戶行為分析、工效學(xué)研究、航天安全等領(lǐng)域。
[0003]在廣告心理學(xué)研究與應(yīng)用當(dāng)中，眼動(dòng)儀可以將顧客注視廣告時(shí)的眼動(dòng)軌跡記錄下來，通過分析記錄的數(shù)據(jù)，可以清楚地了解顧客注視廣告時(shí)的先后順序，對(duì)畫面的某一部分(分析結(jié)果時(shí)可以劃分興趣區(qū)間)的注視時(shí)間，注視次數(shù)，眼跳距離，瞳孔直徑(面積)變化等。并以此來分析廣告觀看者的心理活動(dòng)，通過對(duì)消費(fèi)者的心理過程和特點(diǎn)的研究，找出用戶感興趣的區(qū)域，設(shè)計(jì)出最能激起消費(fèi)者購買欲的廣告。眼動(dòng)儀是心理學(xué)基礎(chǔ)研究的重要儀器。通常用于記錄人在處理視覺信息時(shí)的眼動(dòng)軌跡特征，廣泛用于注意、視知覺、閱讀等領(lǐng)域的研究。
[0004]中國專利201110403953.9公開了一種基于眼動(dòng)儀實(shí)驗(yàn)數(shù)據(jù)和底層特征的圖像感興趣區(qū)域提取方法，所述方法一方面通過眼動(dòng)儀視點(diǎn)跟蹤實(shí)驗(yàn)數(shù)據(jù)提取出反映人真實(shí)語義的圖像感興趣區(qū)域，即眼動(dòng)ROI ;另一方面通過底層特征帶權(quán)組合的形式提取出一般意義上的圖像感興趣區(qū)域，即特征ROI ;進(jìn)而通過分析特征ROI與眼動(dòng)ROI的相似度找出相似度最高時(shí)的權(quán)重組合，即最佳權(quán)重。利用此權(quán)重提取出的其他同類型圖片的感興趣區(qū)域能夠更加符合用戶的語義需求。
[0005]與上述專利披露方法的不同之處在于，本發(fā)明將眼動(dòng)跟蹤技術(shù)應(yīng)用于人臉顯著特征位置標(biāo)定上。本發(fā)明在用戶對(duì)人臉圖像感興趣區(qū)域的提取方面具有重要應(yīng)用價(jià)值，例如現(xiàn)有人臉識(shí)別技術(shù)大多使用PCA，LDA等方法，這些方法在人臉顯著特征提取時(shí)較為困難，對(duì)于已提取的顯著特征缺乏準(zhǔn)確度，從而會(huì)對(duì)人臉識(shí)別正確率造成較大影響，而本發(fā)明能提高人臉識(shí)別時(shí)人臉顯著特征確定的準(zhǔn)確度，對(duì)改進(jìn)基于視覺的人臉識(shí)別技術(shù)具有重要作用。


【發(fā)明內(nèi)容】

[0006]本發(fā)明所要解決的問題在于針對(duì)上述現(xiàn)有技術(shù)的不足，提供了一種人臉顯著特征位置標(biāo)定方法及系統(tǒng)。
[0007]本發(fā)明的技術(shù)方案為:一種人臉顯著特征位置標(biāo)定系統(tǒng)，包括以下模塊:目標(biāo)圖像采集模塊、眼動(dòng)信息采集模塊、眼動(dòng)信息處理模塊、人臉識(shí)別訓(xùn)練模塊。
[0008]一種上所述的人臉顯著特征位置標(biāo)定系統(tǒng)的標(biāo)定方法，其特征在于，其標(biāo)定方法如下:
1)運(yùn)行程序，連接眼動(dòng)儀，進(jìn)行校準(zhǔn)，打開眼動(dòng)記錄文件；
2)呈現(xiàn)合適的目標(biāo)圖像，例如在本技術(shù)方案中采用的目標(biāo)圖像為足夠樣本數(shù)量、樣本均勻分布各年齡階段的人臉照片掃描圖像，大小相似，男女各半(對(duì)人臉表情等因素進(jìn)行了平衡控制)，在目標(biāo)圖像中隨機(jī)選取一個(gè)；
3)獲取用戶觀察圖像時(shí)的眼動(dòng)信息，通過眼動(dòng)追蹤儀獲取用戶的眼動(dòng)掃描和追蹤數(shù)據(jù)，計(jì)算用戶眼球在圖像的焦點(diǎn)位置；
4)根據(jù)得到的用戶眼球在圖像的焦點(diǎn)位置，分析并提取用戶關(guān)注的人臉顯著特征區(qū)域；
5)對(duì)提取過的人臉顯著特征區(qū)域進(jìn)行遮擋處理；
6)呈現(xiàn)遮擋后的圖像，重復(fù)第3)、4)和5)步多次，依次提取每次用戶關(guān)注的人臉顯著特征區(qū)域，一組實(shí)驗(yàn)結(jié)束；
7)重復(fù)I)至6)步，進(jìn)行多組實(shí)驗(yàn)，并分析實(shí)驗(yàn)結(jié)果，確定用戶進(jìn)行人臉識(shí)別時(shí)的視線關(guān)注特征區(qū)域，分析人類在人臉識(shí)別時(shí)視線關(guān)注的人臉顯著特征；
8)選取第7)步獲得的人臉顯著特征，進(jìn)行人臉識(shí)別訓(xùn)練，在訓(xùn)練集上建立合適的分類模型，例如本技術(shù)方案可選用但不限于支持向量機(jī)(SVM)分類模型，并在特征空間中構(gòu)建最優(yōu)分割超平面，獲取最佳權(quán)重，生成訓(xùn)練模型文件；
9)使用第8)步生成的模型文件，構(gòu)建人臉圖像分類程序，建立人臉識(shí)別系統(tǒng)。
[0009]所述的步驟3)中，通過眼動(dòng)追蹤儀獲取用戶的眼動(dòng)掃描和追蹤數(shù)據(jù)，例如本技術(shù)方案中選取了瞳孔直徑、首次注視時(shí)間、注視時(shí)間、注視次數(shù)、回視時(shí)間、眨眼持續(xù)時(shí)間、眼跳幅度、眼跳時(shí)長(zhǎng)。
[0010]所述的步驟4)中，根據(jù)得到的用戶眼球在圖像上的焦點(diǎn)位置，通過計(jì)算焦點(diǎn)位置所在區(qū)域的激活率來分析用戶關(guān)注的人臉顯著特征區(qū)域；激活率表示用戶對(duì)人臉顯著特征區(qū)域感興趣的概率，當(dāng)該值超過所設(shè)定的閾值時(shí)，該人臉顯著特征區(qū)域?qū)⒈患せ畈⒈惶崛。划?dāng)已經(jīng)激活的人臉顯著特征區(qū)域的激活率低于所設(shè)定的閾值時(shí)，則該人臉顯著特征區(qū)域的激活狀態(tài)被抑制，同時(shí)一個(gè)新的激活區(qū)域?qū)⒈贿x擇。
[0011]當(dāng)被遮擋的人臉顯著特征區(qū)域激活率超過所設(shè)定的閾值時(shí)，則對(duì)其激活狀態(tài)進(jìn)行抑制處理。
[0012]本發(fā)明的優(yōu)點(diǎn)在于進(jìn)行人臉識(shí)別時(shí)通過眼動(dòng)儀和心理學(xué)實(shí)驗(yàn)來確定人臉顯著特征，大大提高了人臉識(shí)別中人臉顯著特征確定時(shí)的準(zhǔn)確度。

【專利附圖】

【附圖說明】
[0013]圖1為本發(fā)明實(shí)施例人臉顯著特征確定過程結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0014]如圖1所示，一種人臉顯著特征位置標(biāo)定系統(tǒng)，包括以下模塊:目標(biāo)圖像采集模塊、眼動(dòng)信息采集模塊、眼動(dòng)信息處理模塊、人臉識(shí)別訓(xùn)練模塊。
[0015]一種上所述的人臉顯著特征位置標(biāo)定系統(tǒng)的標(biāo)定方法，其特征在于，其標(biāo)定方法如下:
1)運(yùn)行程序，連接眼動(dòng)儀，進(jìn)行校準(zhǔn)，打開眼動(dòng)記錄文件；
2)呈現(xiàn)合適的目標(biāo)圖像，例如在本技術(shù)方案中采用的目標(biāo)圖像為足夠樣本數(shù)量、樣本均勻分布各年齡階段的人臉照片掃描圖像，大小相似，男女各半(對(duì)人臉表情等因素進(jìn)行了平衡控制)，在目標(biāo)圖像中隨機(jī)選取一個(gè)；
3)獲取用戶觀察圖像時(shí)的眼動(dòng)信息，通過眼動(dòng)追蹤儀獲取用戶的眼動(dòng)掃描和追蹤數(shù)據(jù)，計(jì)算用戶眼球在圖像的焦點(diǎn)位置；
4)根據(jù)得到的用戶眼球在圖像的焦點(diǎn)位置，分析并提取用戶關(guān)注的人臉顯著特征區(qū)域；
5)對(duì)提取過的人臉顯著特征區(qū)域進(jìn)行遮擋處理；
6)呈現(xiàn)遮擋后的圖像，重復(fù)第3)、4)和5)步多次，依次提取每次用戶關(guān)注的人臉顯著特征區(qū)域，一組實(shí)驗(yàn)結(jié)束；
7)重復(fù)I)至6)步，進(jìn)行多組實(shí)驗(yàn)，并分析實(shí)驗(yàn)結(jié)果，確定用戶進(jìn)行人臉識(shí)別時(shí)的視線關(guān)注特征區(qū)域，分析人類在人臉識(shí)別時(shí)視線關(guān)注的人臉顯著特征；
8)選取第7)步獲得的人臉顯著特征，進(jìn)行人臉識(shí)別訓(xùn)練，在訓(xùn)練集上建立合適的分類模型，例如本技術(shù)方案可選用但不限于支持向量機(jī)(SVM)分類模型，并在特征空間中構(gòu)建最優(yōu)分割超平面，獲取最佳權(quán)重，生成訓(xùn)練模型文件；
9)使用第8)步生成的模型文件，構(gòu)建人臉圖像分類程序，建立人臉識(shí)別系統(tǒng)。
[0016]所述的步驟3)中，通過眼動(dòng)追蹤儀獲取用戶的眼動(dòng)掃描和追蹤數(shù)據(jù)，例如本技術(shù)方案中選取了瞳孔直徑、首次注視時(shí)間、注視時(shí)間、注視次數(shù)、回視時(shí)間、眨眼持續(xù)時(shí)間、眼跳幅度、眼跳時(shí)長(zhǎng)。所述的步驟4)中，根據(jù)得到的用戶眼球在圖像上的焦點(diǎn)位置，通過計(jì)算焦點(diǎn)位置所在區(qū)域的激活率來分析用戶關(guān)注的人臉顯著特征區(qū)域；激活率表示用戶對(duì)人臉顯著特征區(qū)域感興趣的概率，當(dāng)該值超過所設(shè)定的閾值時(shí)，該人臉顯著特征區(qū)域?qū)⒈患せ畈⒈惶崛?；?dāng)已經(jīng)激活的人臉顯著特征區(qū)域的激活率低于所設(shè)定的閾值時(shí)，則該人臉顯著特征區(qū)域的激活狀態(tài)被抑制，同時(shí)一個(gè)新的激活區(qū)域?qū)⒈贿x擇。當(dāng)被遮擋的人臉顯著特征區(qū)域激活率超過所設(shè)定的閾值時(shí)，則對(duì)其激活狀態(tài)進(jìn)行抑制處理。
[0017]目標(biāo)圖像采集模塊:目標(biāo)圖像為足夠樣本數(shù)量、樣本均勻分布各年齡階段的人臉照片掃描圖像，大小相似，男女各半(對(duì)人臉表情等因素進(jìn)行了平衡控制)，在目標(biāo)圖像中隨機(jī)選取一個(gè)；
眼動(dòng)信息采集模塊:通過眼動(dòng)追蹤儀獲取用戶的眼動(dòng)掃描和追蹤數(shù)據(jù)，例如本技術(shù)方案中選取了瞳孔直徑、首次注視時(shí)間、注視時(shí)間、注視次數(shù)、回視時(shí)間、眨眼持續(xù)時(shí)間、眼跳幅度、眼跳時(shí)長(zhǎng)。
[0018]眼動(dòng)信息處理模塊:與眼動(dòng)信息采集模塊相連，根據(jù)得到的用戶眼球在圖像上的焦點(diǎn)位置，通過計(jì)算焦點(diǎn)位置所在區(qū)域的激活率來分析用戶關(guān)注的人臉顯著特征區(qū)域；激活率表示用戶對(duì)人臉顯著特征區(qū)域感興趣的概率，當(dāng)該值超過所設(shè)定的閾值時(shí)，該人臉顯著特征區(qū)域?qū)⒈患せ畈⒈惶崛?；?dāng)已經(jīng)激活的人臉顯著特征區(qū)域的激活率低于所設(shè)定的閾值時(shí)，則該人臉顯著特征區(qū)域的激活狀態(tài)被抑制，同時(shí)一個(gè)新的激活區(qū)域?qū)⒈贿x擇。進(jìn)一步地，當(dāng)被遮擋的人臉顯著特征區(qū)域激活率超過所設(shè)定的閾值時(shí)，則對(duì)其激活狀態(tài)進(jìn)行抑制處理。
[0019]人臉識(shí)別訓(xùn)練模塊:對(duì)采集的人臉顯著特征進(jìn)行人臉識(shí)別訓(xùn)練，在訓(xùn)練集上建立合適的分類模型，例如本技術(shù)方案可選用但不限于支持向量機(jī)(SVM)分類模型，并在特征空間中構(gòu)建最優(yōu)分割超平面，獲取最佳權(quán)重，生成訓(xùn)練模型文件，將生成的模型文件，構(gòu)建人臉圖像分類程序，建立人臉識(shí)別系統(tǒng)。
【權(quán)利要求】
1.一種人臉顯著特征位置標(biāo)定系統(tǒng)，其特征在于，包括以下模塊:目標(biāo)圖像采集模塊、眼動(dòng)信息采集模塊、眼動(dòng)信息處理模塊、人臉識(shí)別訓(xùn)練模塊。
2.一種如權(quán)利要求1所述的人臉顯著特征位置標(biāo)定系統(tǒng)的標(biāo)定方法，其特征在于，其標(biāo)定方法如下: 1)運(yùn)行程序，連接眼動(dòng)儀，進(jìn)行校準(zhǔn)，打開眼動(dòng)記錄文件； 2)呈現(xiàn)合適的目標(biāo)圖像，例如在本技術(shù)方案中采用的目標(biāo)圖像為足夠樣本數(shù)量、樣本均勻分布各年齡階段的人臉照片掃描圖像，大小相似，男女各半(對(duì)人臉表情等因素進(jìn)行了平衡控制)，在目標(biāo)圖像中隨機(jī)選取一個(gè)； 3)獲取用戶觀察圖像時(shí)的眼動(dòng)信息，通過眼動(dòng)追蹤儀獲取用戶的眼動(dòng)掃描和追蹤數(shù)據(jù)，計(jì)算用戶眼球在圖像的焦點(diǎn)位置； 4)根據(jù)得到的用戶眼球在圖像的焦點(diǎn)位置，分析并提取用戶關(guān)注的人臉顯著特征區(qū)域； 5)對(duì)提取過的人臉顯著特征區(qū)域進(jìn)行遮擋處理； 6)呈現(xiàn)遮擋后的圖像，重復(fù)第3)、4)和5)步多次，依次提取每次用戶關(guān)注的人臉顯著特征區(qū)域，一組實(shí)驗(yàn)結(jié)束； 7)重復(fù)I)至6)步，進(jìn)行多組實(shí)驗(yàn)，并分析實(shí)驗(yàn)結(jié)果，確定用戶進(jìn)行人臉識(shí)別時(shí)的視線關(guān)注特征區(qū)域，分析人類在人臉識(shí)別時(shí)視線關(guān)注的人臉顯著特征； 8)選取第7)步獲得的人臉顯著特征，進(jìn)行人臉識(shí)別訓(xùn)練，在訓(xùn)練集上建立合適的分類模型，例如本技術(shù)方案可選用但不限于支持向量機(jī)(SVM)分類模型，并在特征空間中構(gòu)建最優(yōu)分割超平面，獲取最佳權(quán)重，生成訓(xùn)練模型文件； 9)使用第8)步生成的模型文件，構(gòu)建人臉圖像分類程序，建立人臉識(shí)別系統(tǒng)。
3.根據(jù)權(quán)利要求2所述的人臉顯著特征位置標(biāo)定方法，其特征在于:所述的步驟3)中，通過眼動(dòng)追蹤儀獲取用戶的眼動(dòng)掃描和追蹤數(shù)據(jù)，例如本技術(shù)方案中選取了瞳孔直徑、首次注視時(shí)間、注視時(shí)間、注視次數(shù)、回視時(shí)間、眨眼持續(xù)時(shí)間、眼跳幅度、眼跳時(shí)長(zhǎng)。
4.根據(jù)權(quán)利要求2所述的人臉顯著特征位置標(biāo)定方法，其特征在于:所述的步驟4)中，根據(jù)得到的用戶眼球在圖像上的焦點(diǎn)位置，通過計(jì)算焦點(diǎn)位置所在區(qū)域的激活率來分析用戶關(guān)注的人臉顯著特征區(qū)域；激活率表示用戶對(duì)人臉顯著特征區(qū)域感興趣的概率，當(dāng)該值超過所設(shè)定的閾值時(shí)，該人臉顯著特征區(qū)域?qū)⒈患せ畈⒈惶崛?；?dāng)已經(jīng)激活的人臉顯著特征區(qū)域的激活率低于所設(shè)定的閾值時(shí)，則該人臉顯著特征區(qū)域的激活狀態(tài)被抑制，同時(shí)一個(gè)新的激活區(qū)域?qū)⒈贿x擇。
5.根據(jù)權(quán)利要求4所述的人臉顯著特征位置標(biāo)定方法，其特征在于:當(dāng)被遮擋的人臉顯著特征區(qū)域激活率超過所設(shè)定的閾值時(shí)，則對(duì)其激活狀態(tài)進(jìn)行抑制處理。
【文檔編號(hào)】G06K9/62GK104318223SQ201410652586
【公開日】2015年1月28日 申請(qǐng)日期:2014年11月18日 優(yōu)先權(quán)日:2014年11月18日
【發(fā)明者】徐明亮, 傅常順, 楊文壽, 邵彥超, 杜建平, 姬豪杰, 張振京 申請(qǐng)人:新開普電子股份有限公司