本發(fā)明涉及人臉識別，具體為一種人臉識別方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、現(xiàn)有的人臉識別技術(shù)在許多應(yīng)用中已經(jīng)表現(xiàn)出較高的成熟度，廣泛應(yīng)用于安防、支付和智能設(shè)備解鎖等領(lǐng)域。然而，面對化妝前后的人臉變化，這些技術(shù)仍然面臨顯著挑戰(zhàn)。化妝會顯著改變面部的顏色、紋理和特征位置，導(dǎo)致識別系統(tǒng)的準(zhǔn)確性下降。盡管深度學(xué)習(xí)和多模態(tài)數(shù)據(jù)融合技術(shù)有所進(jìn)展，但在處理化妝引起的非線性變化和細(xì)微特征差異方面，現(xiàn)有技術(shù)仍有較大改進(jìn)空間。

2、在現(xiàn)有的研究中，一項公開號為cn109165546b的中國專利提出了一種人臉識別方法及裝置，該方法包括獲取第一人臉圖像，確定該圖像的化妝程度參數(shù)，并據(jù)此確定相應(yīng)的還原參數(shù)，對圖像進(jìn)行處理以生成第二人臉圖像。然后，將第二人臉圖像與預(yù)設(shè)的人臉模板進(jìn)行匹配，若匹配成功，則確認(rèn)第一人臉圖像識別成功?；瘖y程度參數(shù)的確定通過對第一人臉圖像進(jìn)行多尺度分解和高頻分量特征提取來實現(xiàn)，根據(jù)特征點的分布密度確定化妝程度。對應(yīng)的還原參數(shù)通過化妝等級與還原算法之間的映射關(guān)系獲得。該方法依賴于通過化妝程度參數(shù)和還原參數(shù)來還原化妝后的第一人臉圖像。

3、另一項公開號為cn109858392b的中國專利提出了一種用于化妝前后人臉圖像自動識別方法，首先，對人臉數(shù)據(jù)進(jìn)行初步的特征提?。皇褂没诿娌筷P(guān)鍵區(qū)域替換的算法，擴(kuò)充化妝人臉數(shù)據(jù)集，并創(chuàng)建包含多個示例的訓(xùn)練數(shù)據(jù)集。在訓(xùn)練過程中，采用一種利用關(guān)鍵局部區(qū)域特征的輔助學(xué)習(xí)網(wǎng)絡(luò)，提取全局和局部特征，然后通過注意力機(jī)制將這些特征進(jìn)行融合，以獲得最終特征，不斷訓(xùn)練和微調(diào)網(wǎng)絡(luò)，直到網(wǎng)絡(luò)收斂。在測試階段，將待識別的化妝前后人臉數(shù)據(jù)輸入經(jīng)過訓(xùn)練的人臉識別網(wǎng)絡(luò)，提取特征并計算相似度，從而實現(xiàn)識別。

4、還有一項公開號為cn112800819b的中國專利提出了一種人臉識別方法、裝置及電子設(shè)備，首先對獲取到的待處理人臉圖像進(jìn)行預(yù)處理，得到目標(biāo)人臉圖像；接著，根據(jù)目標(biāo)人臉圖像的人臉特征確定妝容關(guān)鍵點，并在預(yù)設(shè)的人臉數(shù)據(jù)庫中選取與目標(biāo)人臉圖像對應(yīng)的標(biāo)準(zhǔn)人臉圖像。然后，基于妝容關(guān)鍵點對標(biāo)準(zhǔn)人臉圖像進(jìn)行渲染，得到化妝人臉圖像；計算目標(biāo)人臉圖像與化妝人臉圖像的相似度，并根據(jù)相似度確定目標(biāo)人臉圖像與化妝人臉圖像是否為同一人。

5、然而，上述方法主要依賴于人臉特征本身，適用于常規(guī)化妝，當(dāng)遇到濃妝或極端化妝時，人臉識別的準(zhǔn)確性往往不夠理想。目前亟需一種面對不同妝容風(fēng)格均能保持高識別準(zhǔn)確率的人臉識別方法。

6、為此，提出一種人臉識別方法、裝置、設(shè)備及存儲介質(zhì)。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種人臉識別方法、裝置、設(shè)備及存儲介質(zhì)，首先采集目標(biāo)對象的露耳正面面部圖像，獲取待檢圖像，并獲取指定群體預(yù)先存儲的第一人臉圖像集和第一人耳圖像集。對待檢圖像進(jìn)行化妝識別，若識別為素顏，計算待檢圖像與第一人臉圖像集的第一最大相似度，若大于閾值則輸出對應(yīng)的人員信息；若識別為化妝，提取骨骼結(jié)構(gòu)特征并計算第二最大相似度，若大于閾值則輸出人員信息。若均未滿足條件，則采集目標(biāo)對象的第二人耳圖像，提取輪廓和位置比例特征，整合得到待測整合人耳特征，并與第一人耳圖像集進(jìn)行匹配，計算第三最大相似度，若大于閾值則輸出人員信息，否則識別為陌生對象并進(jìn)行預(yù)警。該方法通過化妝識別、骨骼結(jié)構(gòu)特征提取和人耳特征整合，實現(xiàn)了準(zhǔn)確的人臉識別和身份驗證。為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

2、一種人臉識別方法，包括：

3、采集目標(biāo)對象的露耳正面面部圖像，得到待檢圖像；

4、獲取指定群體預(yù)先存儲的第一人臉圖像集和第一人耳圖像集；

5、對所述待檢圖像進(jìn)行化妝識別，得到化妝識別結(jié)果，包括化妝和素顏；

6、若所述化妝識別結(jié)果為素顏，根據(jù)所述待檢圖像和所述第一人臉圖像集得到第一最大相似度；若所述第一最大相似度大于第一閾值，輸出所述第一最大相似度對應(yīng)的人員信息；

7、若所述化妝識別結(jié)果為化妝，分別對所述待檢圖像和所述第一人臉圖像集進(jìn)行骨骼結(jié)構(gòu)特征提取，計算第二最大相似度，若所述第二最大相似度大于第二閾值，輸出所述第二最大相似度對應(yīng)的人員信息；否則，采集所述目標(biāo)對象的第二人耳圖像，提取特征，得到待測人耳輪廓特征；提取所述待檢圖像的人耳特征，得到待測人耳位置比例特征；將所述待測人耳輪廓特征和所述待測人耳位置比例特征進(jìn)行整合，得到待測整合人耳特征；根據(jù)所述第一人耳圖像集和所述第一人臉圖像集，得到整合人耳特征集；根據(jù)所述待測整合人耳特征和所述整合人耳特征集，得到第三最大相似度；若所述第三最大相似度大于第三閾值，輸出所述第三最大相似度對應(yīng)的人員信息；否則，將所述目標(biāo)對象識別為陌生對象，進(jìn)行預(yù)警。

8、進(jìn)一步地，所述第一人臉圖像集和所述第一人耳圖像集具體為：

9、所述第一人耳圖像集由若干第一人耳圖像組成，所述第一人耳圖像包括所述指定群體的完整左耳圖像和完整右耳圖像，所述第一人耳圖像包含整只耳朵的輪廓；所述第一人耳圖像通過高分辨率相機(jī)從所述群體的成員的側(cè)面采集；所述第一人臉圖像集包括所述指定群體的素顏露耳正面面部圖像；所述群體的每個成員的姓名與其對應(yīng)的所述第一人臉圖像和所述第一人耳圖像一一對應(yīng)，存儲在數(shù)據(jù)庫中。

10、進(jìn)一步地，對所述待檢圖像進(jìn)行化妝識別，得到所述化妝識別結(jié)果包括：

11、使用unet模型對預(yù)處理后的所述待檢圖像進(jìn)行面部區(qū)域分割，分割為若干關(guān)鍵roi區(qū)域，包括瞳孔、上眼瞼、下眼瞼、唇部、眉毛、鼻子、額頭和面頰，得到每個所述關(guān)鍵roi區(qū)域的分割圖像；使用預(yù)訓(xùn)練的mtcnn模型定位面部的關(guān)鍵點，修正所述關(guān)鍵roi區(qū)域，得到修正roi區(qū)域和每個所述修正roi區(qū)域?qū)?yīng)的修正分割圖像；對所述第一人臉圖像集進(jìn)行相同的預(yù)處理、分割和關(guān)鍵點定位，得到第二修正roi區(qū)域，并計算每個所述第二修正roi區(qū)域的素顏基準(zhǔn)顏色范圍，建立素顏基準(zhǔn)顏色特征數(shù)據(jù)庫；

12、針對每個所述關(guān)鍵roi區(qū)域的所述分割圖像，提取所述分割圖像所有像素點的顏色特征，得到多個roi區(qū)域顏色特征；將每個所述待檢圖像的所述roi區(qū)域顏色特征與所述素顏基準(zhǔn)顏色特征數(shù)據(jù)庫進(jìn)行比較；如果所述待檢圖像的所有所述roi區(qū)域顏色特征均在對應(yīng)的所述素顏基準(zhǔn)顏色范圍內(nèi)，所述化妝識別結(jié)果為素顏，否則所述化妝識別結(jié)果為化妝。

13、進(jìn)一步地，根據(jù)所述待檢圖像和所述第一人臉圖像集得到所述第一最大相似度包括以下步驟：

14、將預(yù)處理后的所述第一人臉圖像集中的每張圖像輸入預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行面部關(guān)鍵點特征提取，得到m個n維的第一關(guān)鍵特征向量；

15、將預(yù)處理后的所述待檢圖像輸入所述卷積神經(jīng)網(wǎng)絡(luò)模型，進(jìn)行面部關(guān)鍵點特征提取，得到n維的第二關(guān)鍵特征向量；

16、分別計算所述第二關(guān)鍵特征向量與m個所述第一關(guān)鍵特征向量之間的相似度，得到m個第一相似度；選擇m個所述第一相似度中的最大值作為所述第一最大相似度。

17、進(jìn)一步地，分別對所述待檢圖像和所述第一人臉圖像集進(jìn)行所述骨骼結(jié)構(gòu)特征提取，計算所述第二最大相似度包括：

18、將預(yù)處理后的所述第一人臉圖像集輸入訓(xùn)練好的面部骨骼輪廓識別模型中，得到m個k維第一輪廓特征向量；

19、將預(yù)處理后的所述待檢圖像輸入訓(xùn)練好的所述面部骨骼輪廓識別模型中，得到k維的第二輪廓特征向量；

20、分別計算所述第二輪廓特征向量與m個所述第一輪廓特征向量之間的相似度，得到m個第二相似度；選擇m個所述第二相似度中的最大值作為所述第二最大相似度；

21、所述面部骨骼輪廓識別模型包括：

22、輸入層，用于接收輸入圖像；

23、面部輪廓分割層，用于使用unet模型對所述輸入圖像進(jìn)行面部區(qū)域的分割，得到面部分割區(qū)域；

24、特征提取層，采用多尺度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，用于從分割出的所述面部分割區(qū)域提取特征；

25、注意力機(jī)制層包括通道注意力模塊和空間注意力模塊，用于引導(dǎo)所述面部骨骼輪廓識別模型關(guān)注輪廓關(guān)鍵區(qū)域，包括顴骨、下頜角、眉骨和鼻梁；

26、特征融合層，用于將來自不同層級和尺度的特征進(jìn)行融合，采用自適應(yīng)加權(quán)機(jī)制；

27、動態(tài)調(diào)整層，包括環(huán)境感知模塊和動態(tài)調(diào)整模塊；所述環(huán)境感知模塊用于實時檢測所述輸入圖像的光照條件和化妝情況；所述動態(tài)調(diào)整模塊用于根據(jù)所述環(huán)境感知模塊的輸出結(jié)果，動態(tài)調(diào)整所述特征提取層和所述特征融合層的參數(shù)；

28、輸出層，用于輸出所述骨骼結(jié)構(gòu)特征。

29、進(jìn)一步地，采集所述目標(biāo)對象的所述第二人耳圖像，提取特征，得到所述待測人耳輪廓特征；提取所述待檢圖像的所述人耳特征，得到所述待測人耳位置比例特征包括：

30、對所述第二人耳圖像進(jìn)行特征提取，得到所述人耳輪廓特征集，包括耳廓輪廓特征、耳蝸結(jié)構(gòu)特征、耳屏特征、對耳屏特征、耳垂特征和紋理特征；

31、使用預(yù)訓(xùn)練的mtcnn模型對所述待檢圖像進(jìn)行檢測，定位人臉關(guān)鍵點；通過關(guān)鍵點檢測模型進(jìn)一步細(xì)化檢測，識別耳部精確關(guān)鍵點，包括耳廓頂部、耳垂、耳屏和對耳屏；基于檢測到的所述精確關(guān)鍵點確定耳朵的預(yù)識別區(qū)域；使用圖像分割技術(shù)對耳朵的所述預(yù)識別區(qū)域進(jìn)行精細(xì)分割，得到耳朵輪廓特征；計算所述耳部精確關(guān)鍵點之間的相對距離和比例，得到耳朵位置比例特征；將所述耳朵輪廓特征和所述耳朵位置比例特征進(jìn)行整合，得到所述待測人耳位置比例特征。

32、進(jìn)一步地，根據(jù)所述待測整合人耳特征和所述整合人耳特征集，得到所述第三最大相似度具體為：

33、所述整合人耳特征集的維度為h；所述整合人耳特征集包括m個h維的整合人耳特征向量；分別計算所述整合人耳特征集與m個所述整合人耳特征向量之間的相似度，得到m個第三相似度；選擇m個所述第三相似度中的最大值作為所述第三最大相似度。

34、此外，為實現(xiàn)上述目的，本發(fā)明還提出一種人臉識別裝置，包括：

35、圖像采集模塊，用于采集目標(biāo)對象的露耳正面面部圖像，得到待檢圖像；

36、圖像獲取模塊，用于獲取指定群體預(yù)先存儲的第一人臉圖像集和第一人耳圖像集；

37、化妝識別模塊，用于對所述待檢圖像進(jìn)行化妝識別，得到化妝識別結(jié)果，包括化妝和素顏；

38、第一最大相似度計算模塊，用于當(dāng)所述化妝識別結(jié)果為素顏時，根據(jù)所述待檢圖像和所述第一人臉圖像集得到第一最大相似度；

39、第二最大相似度計算模塊，用于當(dāng)所述化妝識別結(jié)果為化妝時，分別對所述待檢圖像和所述第一人臉圖像集進(jìn)行骨骼結(jié)構(gòu)特征提取，計算第二最大相似度；

40、第三最大相似度計算模塊，用于當(dāng)所述第二最大相似度小于或等于第二閾值時，采集所述目標(biāo)對象的第二人耳圖像，提取特征，得到待測人耳輪廓特征；提取所述待檢圖像的人耳特征，得到待測人耳位置比例特征；將所述待測人耳輪廓特征和所述待測人耳位置比例特征進(jìn)行整合，得到待測整合人耳特征；根據(jù)所述第一人耳圖像集和所述第一人臉圖像集，得到整合人耳特征集；根據(jù)所述待測整合人耳特征和所述整合人耳特征集，得到第三最大相似度；

41、相似度判斷模塊，用于判斷所述第一最大相似度是否大于第一閾值；判斷所述第二最大相似度是否大于第二閾值；判斷所述第三最大相似度是否大于第三閾值；

42、識別結(jié)果輸出模塊，用于當(dāng)所述第一最大相似度大于所述第一閾值時，輸出所述第一最大相似度對應(yīng)的人員信息；當(dāng)所述第二最大相似度大于所述第二閾值時，輸出所述第二最大相似度對應(yīng)的人員信息；當(dāng)所述第三最大相似度大于所述第三閾值時，輸出所述第三最大相似度對應(yīng)的人員信息；當(dāng)所述第三最大相似度小于或等于所述第三閾值時，將所述目標(biāo)對象識別為陌生對象，進(jìn)行預(yù)警。

43、此外，為實現(xiàn)上述目的，本發(fā)明還提出一種人臉識別設(shè)備，所述設(shè)備至少包括處理器和存儲器，所述處理器用于執(zhí)行存儲器中存儲的計算機(jī)程序時實現(xiàn)如上文所述的方法的步驟。

44、此外，為實現(xiàn)上述目的，本發(fā)明還提出一種人臉識別存儲介質(zhì)，其上存儲有計算機(jī)程序指令，當(dāng)所述計算機(jī)程序指令被電子設(shè)備執(zhí)行時，使得電子設(shè)備實現(xiàn)如上文所述的方法。

45、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：

46、1、本發(fā)明通過使用unet模型對待檢圖像進(jìn)行面部區(qū)域分割，并使用預(yù)訓(xùn)練的mtcnn模型定位和修正關(guān)鍵點，提取這些面部區(qū)域的顏色特征，并將其與素顏基準(zhǔn)顏色特征數(shù)據(jù)庫進(jìn)行比較。由于每個分割的roi區(qū)域都有獨特的顏色特征，通過分別提取這些區(qū)域的顏色特征并與基準(zhǔn)顏色進(jìn)行比較，能夠更有效地區(qū)分化妝和素顏狀態(tài)，為后續(xù)識別奠定基礎(chǔ)，有助于提高人臉識別的精度和準(zhǔn)確性。

47、2、本發(fā)明提出了一種面部骨骼輪廓識別模型，能夠捕捉面部的結(jié)構(gòu)性特征，尤其是在化妝情況下，通過關(guān)注顴骨、下頜角、眉骨和鼻梁這些關(guān)鍵區(qū)域，有效避免化妝對識別結(jié)果的影響；引入注意力機(jī)制層提高了對關(guān)鍵區(qū)域特征的關(guān)注度，增強(qiáng)了特征表示的魯棒性；通過環(huán)境感知模塊實時檢測輸入圖像的光照條件和化妝情況，并由動態(tài)調(diào)整模塊根據(jù)這些信息動態(tài)調(diào)整特征提取層和特征融合層的參數(shù)，確保在不同環(huán)境下的識別效果一致；自適應(yīng)加權(quán)的特征融合層能夠綜合不同層級和尺度的特征，提高了整體特征表示的準(zhǔn)確性和可靠性。該方法通過多層次、多模塊的協(xié)同工作，不受妝容風(fēng)格的約束，顯著提升了人臉識別的準(zhǔn)確性。

48、3、該人臉識別方法通過引入耳朵輪廓特征和位置比例特征，有效提升了識別的準(zhǔn)確性和魯棒性。當(dāng)人臉關(guān)鍵點和輪廓特征識別無法達(dá)到預(yù)期效果時，耳朵特征作為獨立的輔助特征，提供了可靠的識別依據(jù)。利用耳朵的結(jié)構(gòu)性和位置比例特征，避免了化妝、光照變化等因素對識別結(jié)果的干擾，增強(qiáng)了在復(fù)雜條件下的識別能力，顯著提高了在多變環(huán)境下的適應(yīng)性和識別的整體性能。特別是在化妝情況下，通過對耳朵精確關(guān)鍵點和位置比例特征的檢測和計算，有效提升了識別的準(zhǔn)確率和可靠性，在面對不同妝容風(fēng)格時均能保持高識別準(zhǔn)確率。