本發(fā)明涉及情緒識(shí)別領(lǐng)域，特別涉及基于改進(jìn)transformer的幼兒情緒檢測(cè)方法。

背景技術(shù)：

1、幼兒情緒是兒童心理健康發(fā)展的重要指標(biāo)，能夠反映出他們的心理狀態(tài)和社交能力。然而，現(xiàn)有的情緒識(shí)別技術(shù)在幼兒群體中的應(yīng)用存在一定的挑戰(zhàn)和局限。傳統(tǒng)的情緒識(shí)別方法通常依賴于手工設(shè)計(jì)的特征，這些特征在不同情境下的泛化能力較弱，難以應(yīng)對(duì)幼兒復(fù)雜多變的面部表情。此外，幼兒的面部表情往往具有微小且快速變化的特點(diǎn)，傳統(tǒng)方法難以準(zhǔn)確捕捉這些細(xì)微差異。

2、近年來，深度學(xué)習(xí)技術(shù)在圖像處理和情緒識(shí)別領(lǐng)域取得了顯著進(jìn)展。盡管深度學(xué)習(xí)方法能夠自動(dòng)學(xué)習(xí)特征表示，并在成人情緒識(shí)別中表現(xiàn)出色，但在幼兒面部表情識(shí)別中仍存在一些問題：1、基于深度卷積神經(jīng)網(wǎng)絡(luò)的方法雖然具有自動(dòng)特征學(xué)習(xí)能力，但缺乏對(duì)長(zhǎng)程依賴關(guān)系的建模，難以充分挖掘幼兒面部表情的全局信息；2、現(xiàn)有深度卷積神經(jīng)網(wǎng)絡(luò)模型通常采用單一的特征提取器，無法同時(shí)捕獲局部和全局特征，影響了對(duì)幼兒面部細(xì)微表情變化的識(shí)別能力.

3、因此，需要提供基于改進(jìn)transformer的幼兒情緒檢測(cè)方法，用于實(shí)現(xiàn)更加精準(zhǔn)和可靠的幼兒情緒識(shí)別。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供基于改進(jìn)transformer的幼兒情緒檢測(cè)方法，包括：構(gòu)建數(shù)據(jù)集；建立改進(jìn)transformer模型，其中，所述改進(jìn)transformer模型包括改進(jìn)編碼器及改進(jìn)解碼器，所述改進(jìn)編碼器至少包括交叉卷積層，所述改進(jìn)解碼器至少包括編碼器-解碼器注意力機(jī)制；通過所述數(shù)據(jù)集訓(xùn)練并優(yōu)化所述改進(jìn)transformer模型；獲取待檢測(cè)幼兒面部圖像；通過優(yōu)化后的改進(jìn)transformer模型基于所述待檢測(cè)幼兒面部圖像，識(shí)別幼兒情緒。

2、進(jìn)一步地，所述改進(jìn)編碼器至少包括編碼器輸入層、編碼器交叉卷積層以及堆疊的基本編碼器單元，其中，所述基本編碼器單元包括編碼器多頭自注意力機(jī)制層、編碼器前饋神經(jīng)網(wǎng)絡(luò)、編碼器殘差連接和編碼器層歸一化。

3、進(jìn)一步地，所述交叉卷積層包括多個(gè)行方向可分離一維卷積核和多個(gè)列方向可分離一維卷積核。

4、進(jìn)一步地，所述交叉卷積層的卷積運(yùn)算公式為：其中，f′(i,j)為輸出特征圖的第(i,j)個(gè)位置，d(i,j)為輸入的圖像數(shù)據(jù)，d(i-m,j-n)為輸入的圖像數(shù)據(jù)的i-m行和j-n列的局部圖像，wm(i)為作用于第i行的行方向可分離一維卷積核，wn(j)為作用于第j列的列方向可分離一維卷積核，m為輸入的圖像數(shù)據(jù)的行總數(shù)，n為輸入的圖像數(shù)據(jù)的列總數(shù)。

5、進(jìn)一步地，所述改進(jìn)解碼器至少包括解碼器輸入層、堆疊的基本解碼器單元及解碼器輸出層，其中，所述基本解碼器單元包括解碼器多頭自注意力機(jī)制層、編碼器-解碼器注意力機(jī)制層、解碼器前饋神經(jīng)網(wǎng)絡(luò)、解碼器殘差連接和解碼器層歸一化。

6、進(jìn)一步地，所述編碼器-解碼器注意力機(jī)制，包括：計(jì)算解碼器的輸入與編碼器輸出的幼兒面部圖像特征中的每個(gè)位置特征之間的相關(guān)性權(quán)重，其中，所述解碼器的輸入為通過所述解碼器多頭自注意力機(jī)制層對(duì)當(dāng)前輸入序列進(jìn)行處理得到的增強(qiáng)后的序列表示；基于所述相關(guān)性權(quán)重，對(duì)所述幼兒面部圖像特征進(jìn)行加權(quán)求和，生成新的特征表示。

7、進(jìn)一步地，通過以下公式計(jì)算解碼器的輸入與編碼器輸出的幼兒面部圖像特征中的每個(gè)位置特征之間的相關(guān)性權(quán)重：其中，α為相關(guān)性權(quán)重，wq為查詢序列的線性變換矩陣，為鍵序列的線性變換矩陣，dk為注意力維度，v為幼兒面部圖像特征，h為增強(qiáng)后的序列表示。

8、進(jìn)一步地，通過以下公式生成新的特征表示：其中，z為新的特征表示，m為值序列的序列長(zhǎng)度，wv為幼兒面部圖像特征的線性變換矩陣，(v×wv)j表示由v×wv得到的向量中第j個(gè)元素的值。

9、進(jìn)一步地，所述構(gòu)建數(shù)據(jù)集，包括：采集原始幼兒面部表情圖像；對(duì)所述原始幼兒面部表情圖像進(jìn)行預(yù)處理，得到預(yù)處理后的幼兒面部表情圖像，其中，所述預(yù)處理至少包括圖像去噪、圖像增強(qiáng)、圖像裁剪和圖像縮放；為預(yù)處理后的幼兒面部表情圖像賦予情緒類別標(biāo)簽；構(gòu)建訓(xùn)練集、驗(yàn)證集和測(cè)試集。

10、進(jìn)一步地，通過所述數(shù)據(jù)集訓(xùn)練并優(yōu)化所述改進(jìn)transformer模型，包括：重復(fù)執(zhí)行將訓(xùn)練集分批導(dǎo)入所述改進(jìn)transformer模型，獲取所述改進(jìn)transformer模型的預(yù)測(cè)結(jié)果，根據(jù)損失函數(shù)基于所述改進(jìn)transformer模型的預(yù)測(cè)結(jié)果，計(jì)算預(yù)測(cè)損失，采用優(yōu)化算法基于所述預(yù)測(cè)損失對(duì)所述改進(jìn)transformer模型的參數(shù)進(jìn)行更新，直至滿足預(yù)設(shè)訓(xùn)練條件。

11、相比于現(xiàn)有技術(shù)，本發(fā)明提供的基于改進(jìn)transformer的幼兒情緒檢測(cè)方法，至少具備以下有益效果：

12、1、交叉卷積層中可分離的一維卷積核能夠自適應(yīng)地捕獲幼兒面部表情的不同尺度和形狀的局部特征，避免了固定卷積核帶來的限制，從而顯著提高了特征提取能力。同時(shí)，減少了參數(shù)量和計(jì)算量，降低了模型復(fù)雜度。

13、2、編碼器融合了卷積神經(jīng)網(wǎng)絡(luò)和自注意力機(jī)制的優(yōu)勢(shì)，能夠同時(shí)提取局部特征和建模全局依賴關(guān)系，為情緒檢測(cè)任務(wù)提供高質(zhì)量的特征輸入，提高了模型的表達(dá)能力；

14、3、編碼器-解碼器注意力機(jī)制使解碼器能夠獲取當(dāng)前輸入所包含的局部信息，并挖掘出與之最相關(guān)的全局圖像特征，更好地理解輸入在整體語(yǔ)境中的語(yǔ)義，為情緒預(yù)測(cè)提供了豐富的解碼表示，提高了預(yù)測(cè)的準(zhǔn)確性。

技術(shù)特征：

1.基于改進(jìn)transformer的幼兒情緒檢測(cè)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的基于改進(jìn)transformer的幼兒情緒檢測(cè)方法，其特征在于，所述改進(jìn)編碼器至少包括編碼器輸入層、編碼器交叉卷積層以及堆疊的基本編碼器單元，其中，所述基本編碼器單元包括編碼器多頭自注意力機(jī)制層、編碼器前饋神經(jīng)網(wǎng)絡(luò)、編碼器殘差連接和編碼器層歸一化。

3.根據(jù)權(quán)利要求2所述的基于改進(jìn)transformer的幼兒情緒檢測(cè)方法，其特征在于，所述交叉卷積層包括多個(gè)行方向可分離一維卷積核和多個(gè)列方向可分離一維卷積核。

4.根據(jù)權(quán)利要求2所述的基于改進(jìn)transformer的幼兒情緒檢測(cè)方法，其特征在于，所述交叉卷積層的卷積運(yùn)算公式為：

5.根據(jù)權(quán)利要求2所述的基于改進(jìn)transformer的幼兒情緒檢測(cè)方法，其特征在于，所述改進(jìn)解碼器至少包括解碼器輸入層、堆疊的基本解碼器單元及解碼器輸出層，其中，所述基本解碼器單元包括解碼器多頭自注意力機(jī)制層、編碼器-解碼器注意力機(jī)制層、解碼器前饋神經(jīng)網(wǎng)絡(luò)、解碼器殘差連接和解碼器層歸一化。

6.根據(jù)權(quán)利要求5所述的基于改進(jìn)transformer的幼兒情緒檢測(cè)方法，其特征在于，所述編碼器-解碼器注意力機(jī)制，包括：

7.根據(jù)權(quán)利要求6所述的基于改進(jìn)transformer的幼兒情緒檢測(cè)方法，其特征在于，通過以下公式計(jì)算解碼器的輸入與編碼器輸出的幼兒面部圖像特征中的每個(gè)位置特征之間的相關(guān)性權(quán)重：

8.根據(jù)權(quán)利要求7所述的基于改進(jìn)transformer的幼兒情緒檢測(cè)方法，其特征在于，通過以下公式生成新的特征表示：

9.根據(jù)權(quán)利要求1-8中任意一項(xiàng)所述的基于改進(jìn)transformer的幼兒情緒檢測(cè)方法，其特征在于，所述構(gòu)建數(shù)據(jù)集，包括：

10.根據(jù)權(quán)利要求9的基于改進(jìn)transformer的幼兒情緒檢測(cè)方法，其特征在于，通過所述數(shù)據(jù)集訓(xùn)練并優(yōu)化所述改進(jìn)transformer模型，包括：

技術(shù)總結(jié)
本發(fā)明提供基于改進(jìn)Transformer的幼兒情緒檢測(cè)方法，涉及情緒識(shí)別領(lǐng)域，包括：構(gòu)建數(shù)據(jù)集；建立改進(jìn)Transformer模型，其中，改進(jìn)Transformer模型包括改進(jìn)編碼器及改進(jìn)解碼器，改進(jìn)編碼器至少包括交叉卷積層，改進(jìn)解碼器至少包括編碼器?解碼器注意力機(jī)制；通過數(shù)據(jù)集訓(xùn)練并優(yōu)化改進(jìn)Transformer模型；獲取待檢測(cè)幼兒面部圖像；通過優(yōu)化后的改進(jìn)Transformer模型基于待檢測(cè)幼兒面部圖像，識(shí)別幼兒情緒，具有更加精準(zhǔn)和可靠的幼兒情緒識(shí)別的優(yōu)點(diǎn)。

技術(shù)研發(fā)人員：夏江柳,鄭甲,胡曉,溫冬冬,張?jiān)聥?br/>受保護(hù)的技術(shù)使用者：浙江大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19