本申請(qǐng)涉及人臉識(shí)別，更具體的說，是涉及一種人臉識(shí)別模型訓(xùn)練方法、人臉識(shí)別方法、裝置、相關(guān)設(shè)備及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、隨著神經(jīng)網(wǎng)絡(luò)模型在人臉識(shí)別領(lǐng)域的應(yīng)用，采用人臉識(shí)別模型可以提高人臉識(shí)別的準(zhǔn)確度。

2、目前廣泛應(yīng)用的人臉識(shí)別模型主要基于大型通用人臉數(shù)據(jù)集進(jìn)行訓(xùn)練，這些數(shù)據(jù)集通常包含數(shù)量龐大、高分辨率的圖像，且大多數(shù)情況下是在可見光照射下捕獲的清晰無遮擋人臉(又可以稱之為“干凈人臉數(shù)據(jù)”)。雖然這種數(shù)據(jù)環(huán)境確保了模型在通用場(chǎng)景下的高效性能，但同時(shí)也引發(fā)了一些挑戰(zhàn)。當(dāng)面對(duì)現(xiàn)實(shí)世界復(fù)雜多變的異質(zhì)場(chǎng)景時(shí)，例如非約束環(huán)境下的人臉識(shí)別任務(wù)，模型往往需要應(yīng)對(duì)包括但不限于異源成像(如紅外場(chǎng)景)、質(zhì)量較低、人臉有遮擋或光照條件不佳的面部圖像的情況，這些情況可能超出了原有訓(xùn)練集的數(shù)據(jù)特征范圍，從而導(dǎo)致在異質(zhì)人臉場(chǎng)景下識(shí)別準(zhǔn)確率大大降低等。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述問題，提出了本申請(qǐng)以便提供一種人臉識(shí)別模型訓(xùn)練方法、人臉識(shí)別方法、裝置、相關(guān)設(shè)備及計(jì)算機(jī)程序產(chǎn)品，以解決現(xiàn)有人臉識(shí)別模型在異質(zhì)人臉場(chǎng)景下識(shí)別準(zhǔn)確率不高的問題。具體方案如下：

2、第一方面，提供了一種人臉識(shí)別模型訓(xùn)練方法，包括：

3、獲取通用人臉識(shí)別模型，所述通用人臉識(shí)別模型為在通用人臉數(shù)據(jù)集上預(yù)訓(xùn)練后的模型，其包括主干特征提取模塊及人臉屬性分類模塊，所述主干特征提取模塊用于對(duì)輸入的人臉圖像提取身份特征，所述人臉屬性分類模塊用于基于所述身份特征預(yù)測(cè)與所述人臉圖像匹配的身份類型；

4、在所述主干特征提取模塊中添加微調(diào)分支網(wǎng)絡(luò)，所述微調(diào)分支網(wǎng)絡(luò)與所述主干特征提取模塊中的主干網(wǎng)絡(luò)并行相連；

5、在配置的異質(zhì)人臉數(shù)據(jù)集上對(duì)所述通用人臉識(shí)別模型進(jìn)行訓(xùn)練，訓(xùn)練過程凍結(jié)所述主干特征提取模塊中所述主干網(wǎng)絡(luò)的參數(shù)，得到訓(xùn)練后的異質(zhì)人臉識(shí)別模型。

6、在一種可能的設(shè)計(jì)中，在本申請(qǐng)實(shí)施例的第一方面的另一種實(shí)現(xiàn)方式中，還包括：

7、將所述異質(zhì)人臉識(shí)別模型的主干特征提取模塊中主干網(wǎng)絡(luò)所并行相連的微調(diào)分支網(wǎng)絡(luò)的參數(shù)，與并行相連的主干網(wǎng)絡(luò)的參數(shù)進(jìn)行融合，并去除所述微調(diào)分支網(wǎng)絡(luò)，得到結(jié)構(gòu)簡(jiǎn)化后的異質(zhì)人臉識(shí)別模型；

8、其中，在參數(shù)融合前，由主干網(wǎng)絡(luò)與微調(diào)分支網(wǎng)絡(luò)的并行結(jié)構(gòu)對(duì)輸入數(shù)據(jù)進(jìn)行運(yùn)算所得到的運(yùn)算結(jié)果，與參數(shù)融合后由主干網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)進(jìn)行運(yùn)算所得到的運(yùn)算結(jié)果相同。

9、在一種可能的設(shè)計(jì)中，在本申請(qǐng)實(shí)施例的第一方面的另一種實(shí)現(xiàn)方式中，所述主干特征提取模塊采用帶有旁路分支的卷積神經(jīng)網(wǎng)絡(luò)；

10、所述微調(diào)分支網(wǎng)絡(luò)與所述卷積神經(jīng)網(wǎng)絡(luò)中的旁路分支并行連接。

11、在一種可能的設(shè)計(jì)中，在本申請(qǐng)實(shí)施例的第一方面的另一種實(shí)現(xiàn)方式中，所述微調(diào)分支網(wǎng)絡(luò)為與所述旁路分支擁有相同卷積核大小的卷積層。

12、在一種可能的設(shè)計(jì)中，在本申請(qǐng)實(shí)施例的第一方面的另一種實(shí)現(xiàn)方式中，所述主干特征提取模塊采用帶有旁路分支的卷積神經(jīng)網(wǎng)絡(luò)，所述微調(diào)分支網(wǎng)絡(luò)為與所述旁路分支擁有相同卷積核大小的卷積層，且所述微調(diào)分支網(wǎng)絡(luò)與所述卷積神經(jīng)網(wǎng)絡(luò)中的旁路分支并行連接；

13、則，將所述主干特征提取模塊中主干網(wǎng)絡(luò)所并行相連的微調(diào)分支網(wǎng)絡(luò)的參數(shù)，與并行相連的主干網(wǎng)絡(luò)的參數(shù)進(jìn)行融合的過程，包括：

14、將所述微調(diào)分支網(wǎng)絡(luò)的參數(shù)線性疊加到并行連接的所述旁路分支的參數(shù)中，實(shí)現(xiàn)參數(shù)的融合。

15、在一種可能的設(shè)計(jì)中，在本申請(qǐng)實(shí)施例的第一方面的另一種實(shí)現(xiàn)方式中，所述通用人臉識(shí)別模型還包括：

16、圖像預(yù)處理模塊，用于對(duì)輸入的人臉圖像進(jìn)行人臉檢測(cè)，并對(duì)檢測(cè)到的人臉進(jìn)行對(duì)齊，得到對(duì)齊后的標(biāo)準(zhǔn)人臉圖像；

17、所述標(biāo)準(zhǔn)人臉圖像作為所述主干特征提取模塊的輸入。

18、第二方面，提供了一種人臉識(shí)別方法，包括：

19、獲取人臉圖像；

20、將所述人臉圖像輸入配置的異質(zhì)人臉識(shí)別模型，得到所述異質(zhì)人臉識(shí)別模型輸出的人臉識(shí)別結(jié)果；

21、其中，所述異質(zhì)人臉識(shí)別模型為采用本申請(qǐng)前述第一方面中任一項(xiàng)所描述的人臉識(shí)別模型訓(xùn)練方法所得到的模型。

22、第三方面，提供了一種人臉識(shí)別模型訓(xùn)練裝置，包括：

23、通用模型獲取單元，用于獲取通用人臉識(shí)別模型，所述通用人臉識(shí)別模型為在通用人臉數(shù)據(jù)集上預(yù)訓(xùn)練后的模型，其包括主干特征提取模塊及人臉屬性分類模塊，所述主干特征提取模塊用于對(duì)輸入的人臉圖像提取身份特征，所述人臉屬性分類模塊用于基于所述身份特征預(yù)測(cè)與所述人臉圖像匹配的身份類型；

24、模型編輯單元，用于在所述主干特征提取模塊中添加微調(diào)分支網(wǎng)絡(luò)，所述微調(diào)分支網(wǎng)絡(luò)與所述主干特征提取模塊中的主干網(wǎng)絡(luò)并行相連；

25、模型微調(diào)單元，用于在配置的異質(zhì)人臉數(shù)據(jù)集上對(duì)所述通用人臉識(shí)別模型進(jìn)行訓(xùn)練，訓(xùn)練過程凍結(jié)所述主干特征提取模塊中所述主干網(wǎng)絡(luò)的參數(shù)，得到訓(xùn)練后的異質(zhì)人臉識(shí)別模型。

26、第四方面，提供了一種電子設(shè)備，包括：存儲(chǔ)器和處理器；

27、所述存儲(chǔ)器，用于存儲(chǔ)程序；

28、所述處理器，用于執(zhí)行所述程序，實(shí)現(xiàn)前述第一方面中任一項(xiàng)所述的人臉識(shí)別模型訓(xùn)練方法的各個(gè)步驟，或者，實(shí)現(xiàn)前述第二方面的人臉識(shí)別方法的各個(gè)步驟。

29、第五方面，提供了一種可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)前述第一方面中任一項(xiàng)所述的人臉識(shí)別模型訓(xùn)練方法的各個(gè)步驟，或者，實(shí)現(xiàn)前述第二方面的人臉識(shí)別方法的各個(gè)步驟。

30、第六方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)前述第一方面中任一項(xiàng)所述的人臉識(shí)別模型訓(xùn)練方法的各個(gè)步驟，或者，實(shí)現(xiàn)前述第二方面的人臉識(shí)別方法的各個(gè)步驟。

31、借由上述技術(shù)方案，本申請(qǐng)?zhí)峁┝艘环N異質(zhì)人臉識(shí)別模型的訓(xùn)練方法，對(duì)于獲取的在通用人臉數(shù)據(jù)集上預(yù)訓(xùn)練后的通用人臉識(shí)別模型，在異質(zhì)人臉數(shù)據(jù)集上進(jìn)行部分參數(shù)的微調(diào)訓(xùn)練，得到訓(xùn)練后的異質(zhì)人臉識(shí)別模型，能夠提高異質(zhì)人臉場(chǎng)景下的識(shí)別準(zhǔn)確率。

32、此外，為了提高在異質(zhì)人臉數(shù)據(jù)集上模型訓(xùn)練的效率，本申請(qǐng)并未采用全參數(shù)的微調(diào)訓(xùn)練，而是凍結(jié)了通用人臉識(shí)別模型中主干特征提取模塊內(nèi)主干網(wǎng)絡(luò)的參數(shù)，對(duì)新增的微調(diào)分支網(wǎng)絡(luò)等少量參數(shù)進(jìn)行微調(diào)，可以有效提高模型的訓(xùn)練效率。

33、進(jìn)一步地，為了避免或者降低模型出現(xiàn)“災(zāi)難性遺忘”的問題，保證訓(xùn)練后的異質(zhì)人臉識(shí)別模型不會(huì)丟失原有通用人臉數(shù)據(jù)集上的性能，本申請(qǐng)微調(diào)訓(xùn)練過程在原有通用人臉識(shí)別模型基礎(chǔ)上新增了微調(diào)分支網(wǎng)絡(luò)，該微調(diào)分支網(wǎng)絡(luò)與主干特征提取模塊中的主干網(wǎng)絡(luò)并行相連，在異質(zhì)人臉數(shù)據(jù)集上訓(xùn)練時(shí)凍結(jié)主干網(wǎng)絡(luò)的參數(shù)不變，對(duì)微調(diào)分支網(wǎng)絡(luò)的參數(shù)進(jìn)行更新，如此既能夠保留通用人臉識(shí)別模型的核心參數(shù)，又實(shí)現(xiàn)了從通用人臉識(shí)別場(chǎng)景到異質(zhì)人臉識(shí)別場(chǎng)景的高效遷移適應(yīng)，確保訓(xùn)練后的模型在兩種場(chǎng)景下具有較好的識(shí)別性能。

技術(shù)特征：

1.一種人臉識(shí)別模型訓(xùn)練方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述主干特征提取模塊采用帶有旁路分支的卷積神經(jīng)網(wǎng)絡(luò)；

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述微調(diào)分支網(wǎng)絡(luò)為與所述旁路分支擁有相同卷積核大小的卷積層。

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述主干特征提取模塊采用帶有旁路分支的卷積神經(jīng)網(wǎng)絡(luò)，所述微調(diào)分支網(wǎng)絡(luò)為與所述旁路分支擁有相同卷積核大小的卷積層，且所述微調(diào)分支網(wǎng)絡(luò)與所述卷積神經(jīng)網(wǎng)絡(luò)中的旁路分支并行連接；

6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，其特征在于，所述通用人臉識(shí)別模型還包括：

7.一種人臉識(shí)別方法，其特征在于，包括：

8.一種人臉識(shí)別模型訓(xùn)練裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括：存儲(chǔ)器和處理器；

10.一種可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1~6中任一項(xiàng)所述的人臉識(shí)別模型訓(xùn)練方法的各個(gè)步驟，或者，實(shí)現(xiàn)權(quán)利要求7所述的人臉識(shí)別方法的各個(gè)步驟。

11.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1~6中任一項(xiàng)所述的人臉識(shí)別模型訓(xùn)練方法的各個(gè)步驟，或者，實(shí)現(xiàn)權(quán)利要求7所述的人臉識(shí)別方法的各個(gè)步驟。

技術(shù)總結(jié)
本申請(qǐng)公開了一種人臉識(shí)別模型訓(xùn)練方法、人臉識(shí)別方法、裝置、相關(guān)設(shè)備及計(jì)算機(jī)程序產(chǎn)品，對(duì)于獲取的在通用人臉數(shù)據(jù)集上預(yù)訓(xùn)練后的通用人臉識(shí)別模型，在異質(zhì)人臉數(shù)據(jù)集上進(jìn)行部分參數(shù)的微調(diào)訓(xùn)練，提高異質(zhì)人臉場(chǎng)景下的識(shí)別準(zhǔn)確率。訓(xùn)練過程凍結(jié)了通用人臉識(shí)別模型中主干特征提取模塊內(nèi)主干網(wǎng)絡(luò)的參數(shù)，對(duì)新增的微調(diào)分支網(wǎng)絡(luò)等少量參數(shù)進(jìn)行微調(diào)，提高模型的訓(xùn)練效率。同時(shí)，通過設(shè)置新增的微調(diào)分支網(wǎng)絡(luò)與主干網(wǎng)絡(luò)并行相連，訓(xùn)練過程既能保留通用人臉識(shí)別模型的核心參數(shù)，又實(shí)現(xiàn)了從通用人臉識(shí)別場(chǎng)景到異質(zhì)人臉識(shí)別場(chǎng)景的遷移適應(yīng)，確保訓(xùn)練后的模型在兩種場(chǎng)景下具有較好的識(shí)別性能。

技術(shù)研發(fā)人員：林垠,劉昕冉,黃啟東,殷保才,殷兵
受保護(hù)的技術(shù)使用者：科大訊飛股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10