本申請(qǐng)涉及圖像處理技術(shù)，涉及但不限于表情識(shí)別方法及裝置、設(shè)備、存儲(chǔ)介質(zhì)、計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、面部表情識(shí)別(facial?expression?recognition，fer)對(duì)人類(lèi)情緒理解至關(guān)重要。目前的面部表情識(shí)別模型的精度雖然在不斷提升，但是模型的運(yùn)算量也在增加，無(wú)法部署在低成本硬件上。而傳統(tǒng)基于視覺(jué)的面部表情識(shí)別方法因預(yù)處理、特征提取和多階段分類(lèi)等操作導(dǎo)致計(jì)算復(fù)雜且資源消耗大。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)?zhí)峁┑谋砬樽R(shí)別方法及裝置、設(shè)備、存儲(chǔ)介質(zhì)、計(jì)算機(jī)程序產(chǎn)品，能夠降低表情識(shí)別的計(jì)算量。

2、第一方面，本申請(qǐng)實(shí)施例提供一種表情識(shí)別方法，包括：利用第一網(wǎng)絡(luò)模型對(duì)第一圖像進(jìn)行表情識(shí)別，得到表情識(shí)別結(jié)果；所述第一網(wǎng)絡(luò)模型包括骨干網(wǎng)絡(luò)和表情預(yù)測(cè)模塊；其中，所述骨干網(wǎng)絡(luò)，用于對(duì)所述第一圖像進(jìn)行特征提取，得到第一特征圖；所述表情預(yù)測(cè)模塊，用于根據(jù)所述第一特征圖確定所述表情識(shí)別結(jié)果；所述骨干網(wǎng)絡(luò)包括多個(gè)級(jí)聯(lián)的特征提取單元，所述多個(gè)級(jí)聯(lián)的特征提取單元中的至少一個(gè)特征提取單元用于：對(duì)輸入的第二特征圖進(jìn)行降維處理，得到第三特征圖；以及對(duì)所述第三特征圖進(jìn)行線性注意力處理后輸出給下一所述特征提取單元或所述表情預(yù)測(cè)模塊；其中，所述骨干網(wǎng)絡(luò)的最后一個(gè)所述特征提取單元的輸出為所述第一特征圖。

3、第二方面，本申請(qǐng)實(shí)施例提供一種表情識(shí)別裝置，識(shí)別模塊，配置成利用第一網(wǎng)絡(luò)模型對(duì)第一圖像進(jìn)行表情識(shí)別，得到表情識(shí)別結(jié)果；所述第一網(wǎng)絡(luò)模型包括骨干網(wǎng)絡(luò)和表情預(yù)測(cè)模塊；其中，所述骨干網(wǎng)絡(luò)，用于對(duì)所述第一圖像進(jìn)行特征提取，得到第一特征圖；所述表情預(yù)測(cè)模塊，用于根據(jù)所述第一特征圖確定所述表情識(shí)別結(jié)果；所述骨干網(wǎng)絡(luò)包括多個(gè)級(jí)聯(lián)的特征提取單元，所述多個(gè)級(jí)聯(lián)的特征提取單元中的至少一個(gè)特征提取單元用于：對(duì)輸入的第二特征圖進(jìn)行降維處理，得到第三特征圖；以及對(duì)所述第三特征圖進(jìn)行線性注意力處理后輸出給下一所述特征提取單元或所述表情預(yù)測(cè)模塊；其中，所述骨干網(wǎng)絡(luò)的最后一個(gè)所述特征提取單元的輸出為所述第一特征圖。

4、第三方面，本申請(qǐng)實(shí)施例提供一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)本申請(qǐng)實(shí)施例所述的方法。

5、第四方面，本申請(qǐng)實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本申請(qǐng)實(shí)施例提供的所述的方法。

6、第五方面，本申請(qǐng)實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序或指令，所述計(jì)算機(jī)程序或指令被處理器執(zhí)行時(shí)，實(shí)現(xiàn)本申請(qǐng)實(shí)施例提供的所述的方法的步驟。

7、在本申請(qǐng)實(shí)施例中，利用第一網(wǎng)絡(luò)模型對(duì)第一圖像進(jìn)行表情識(shí)別，得到表情識(shí)別結(jié)果；第一網(wǎng)絡(luò)模型中用于特征提取的骨干網(wǎng)絡(luò)包括多個(gè)級(jí)聯(lián)的特征提取單元；其中，特征提取單元用于在對(duì)輸入的特征圖進(jìn)行線性注意力處理之前先對(duì)輸入的特征圖進(jìn)行降維處理。如此，有益于在不損失表情識(shí)別精度的同時(shí)，降低表情識(shí)別的計(jì)算量。

8、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本申請(qǐng)。

技術(shù)特征：

1.一種表情識(shí)別方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)輸入的第二特征圖進(jìn)行降維處理，得到第三特征圖，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)輸入的第二特征圖進(jìn)行降維處理，得到第三特征圖，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對(duì)所述第三特征圖進(jìn)行線性注意力處理后輸出給下一特征提取單元或所述表情預(yù)測(cè)模塊，包括

5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述第三特征圖進(jìn)行線性注意力處理后輸出給下一特征提取單元或所述表情預(yù)測(cè)模塊，包括：

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述第三特征圖進(jìn)行線性注意力處理后輸出給下一特征提取單元或所述表情預(yù)測(cè)模塊，包括：

7.根據(jù)權(quán)利要求4至6任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述第六特征圖，確定第七特征圖，包括：

8.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的方法，其特征在于，所述第一網(wǎng)絡(luò)模型是通過(guò)n次訓(xùn)練過(guò)程訓(xùn)練得到的；其中，第i次訓(xùn)練過(guò)程包括：

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述根據(jù)所述i值、n和第一閾值，確定缺陷樣本的第一數(shù)量，包括：

10.一種表情識(shí)別裝置，其特征在于，所述裝置包括：

11.一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)權(quán)利要求1至9任一項(xiàng)所述的方法。

12.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至9任一項(xiàng)所述的方法。

13.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序或指令，其特征在于，所述計(jì)算機(jī)程序或指令被處理器執(zhí)行時(shí)，實(shí)現(xiàn)權(quán)利要求1至9任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┝艘环N表情識(shí)別方法及裝置、設(shè)備、存儲(chǔ)介質(zhì)、計(jì)算機(jī)程序產(chǎn)品；其中，所述方法包括：利用第一網(wǎng)絡(luò)模型對(duì)第一圖像進(jìn)行表情識(shí)別，得到表情識(shí)別結(jié)果；第一網(wǎng)絡(luò)模型包括骨干網(wǎng)絡(luò)和表情預(yù)測(cè)模塊；其中，骨干網(wǎng)絡(luò)，用于對(duì)第一圖像進(jìn)行特征提取，得到第一特征圖；表情預(yù)測(cè)模塊，用于根據(jù)第一特征圖確定表情識(shí)別結(jié)果；骨干網(wǎng)絡(luò)包括多個(gè)級(jí)聯(lián)的特征提取單元，多個(gè)級(jí)聯(lián)的特征提取單元中的至少一個(gè)特征提取單元用于：對(duì)輸入的第二特征圖進(jìn)行降維處理，得到第三特征圖；以及對(duì)第三特征圖進(jìn)行線性注意力處理后輸出給下一特征提取單元或表情預(yù)測(cè)模塊；其中，骨干網(wǎng)絡(luò)的最后一個(gè)特征提取單元的輸出為第一特征圖。

技術(shù)研發(fā)人員：王鳳
受保護(hù)的技術(shù)使用者：熵基科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10