本發(fā)明涉及水聲信號處理，具體涉及一種大型海洋哺乳動物聲信號分類方法及系統(tǒng)、電子設(shè)備。

背景技術(shù)：

1、目前對于大型海洋哺乳動物聲信號的研究主要包括兩種方式，一種是利用原始的音頻信號波形特征進(jìn)行分類，另一種是基于時(shí)頻特征圖進(jìn)行分類研究。通過時(shí)頻圖對信號進(jìn)行時(shí)頻分析，強(qiáng)調(diào)了頻率分布的重要性，卻丟失了相位信息，這樣就會導(dǎo)致利用特征進(jìn)行聲音的還原時(shí)出現(xiàn)不夠準(zhǔn)確的問題。對于原始波形特征來說，它擁有聲音信號最原始的特征以及保留了其自身的時(shí)間尺度，可以更好的反映出聲音信號的時(shí)域特征。

2、目前針對聲音信號研究中，較少的涉及將時(shí)頻特征譜圖和波形特征這兩種不同特征進(jìn)行融合的處理方法。在分類方法上從主要集中在卷積神經(jīng)網(wǎng)絡(luò)（cnn）、長短時(shí)記憶網(wǎng)絡(luò)（lstm）與transformer等網(wǎng)絡(luò)模型，這些方法分別從不同角度進(jìn)行分析，各有利弊，單純的cnn模型只能提取聲音信號中的局部特征信息，然而對于聲音信號來說，只采用cnn會丟失聲音信號的長期依賴性，對突變信號之間的關(guān)系也難以得到適當(dāng)考慮。雖然，lstm可以處理時(shí)間序列的問題，但是對于數(shù)據(jù)量較大的問題處理速度較慢。

3、因此，現(xiàn)有技術(shù)還有待進(jìn)一步發(fā)展。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服上述技術(shù)不足，提供一種大型海洋哺乳動物聲信號分類方法及系統(tǒng)、電子設(shè)備，以解決現(xiàn)有技術(shù)存在的問題。

2、為達(dá)到上述技術(shù)目的，根據(jù)本發(fā)明的第一方面，本發(fā)明提供了一種大型海洋哺乳動物聲信號分類方法，包括：

3、s100、獲取不同的海洋哺乳動物的聲信號數(shù)據(jù)，并對所述聲信號數(shù)據(jù)進(jìn)行預(yù)處理；

4、s200、根據(jù)預(yù)處理后的聲信號數(shù)據(jù)得到原始波形特征，并利用mel與imel特征提取方法對所述原始波形特征進(jìn)行特征提取，得到所述聲信號數(shù)據(jù)的時(shí)頻特征；

5、s300、將所述時(shí)頻特征和原始波形特征輸入混合注意力網(wǎng)絡(luò)與特征融合模型中進(jìn)行全局特征提取，并利用所述全局特征對所述聲信號數(shù)據(jù)進(jìn)行信號分類。

6、具體的，所述利用mel與imel特征提取方法對所述原始波形特征進(jìn)行特征提取，得到所述聲信號數(shù)據(jù)的時(shí)頻特征，包括：

7、利用mel特征提取方法對原始波形特征進(jìn)行時(shí)頻特征提取，所述mel特征提取方法基于短時(shí)傅里葉變換和mel濾波器組，對原始波形特征的頻率進(jìn)行時(shí)頻分析，得到原始波形特征的mel譜。

8、具體的，所述利用mel與imel對所述原始波形特征進(jìn)行特征提取，得到所述聲信號數(shù)據(jù)的時(shí)頻特征，還包括：

9、利用imel特征提取方法對原始波形特征進(jìn)行時(shí)頻特征提取，所述imel特征提取方法為在進(jìn)行mel特征提取的基礎(chǔ)上加入經(jīng)驗(yàn)?zāi)B(tài)分解，得到原始波形的imel譜。

10、具體的，所述s300包括：

11、s310、利用多模態(tài)特征提取器分別提取所述聲信號數(shù)據(jù)的原始波形特征和時(shí)頻特征；

12、s320、將所述多模態(tài)特征提取器提取的原始波形特征和時(shí)頻特征輸入混合注意力模塊進(jìn)行特征融合，得到混合特征；

13、s330、利用多層感知器對所述混合特征進(jìn)行全局特征提取，并利用所述全局特征對所述聲信號數(shù)據(jù)進(jìn)行分類。

14、具體的，所述利用多模態(tài)特征提取器分別提取所述聲信號數(shù)據(jù)的原始波形特征和時(shí)頻特征，包括：

15、所述多模態(tài)特征提取器包括譜圖網(wǎng)絡(luò)和波形網(wǎng)絡(luò)；

16、所述譜圖網(wǎng)絡(luò)用于提取mel譜和imel譜的特征，所述波形網(wǎng)絡(luò)用于提取原始波形特征。

17、具體的，所述將所述多模態(tài)特征提取器提取的原始波形特征和時(shí)頻特征輸入混合注意力模塊進(jìn)行特征融合，包括：

18、利用混合注意力模塊的多頭注意力機(jī)制將所述原始波形特征和時(shí)頻特征進(jìn)行局部特征融合。

19、具體的，所述將所述多模態(tài)特征提取器提取的原始波形特征和時(shí)頻特征輸入混合注意力模塊進(jìn)行特征融合，還包括：

20、基于所述原始波形特征和時(shí)頻特征的局部特征融合，利用多頭注意力機(jī)制提取特征的全局關(guān)系，進(jìn)行全局特征融合。

21、具體的，所述利用多層感知器對所述混合特征進(jìn)行全局特征提取，并對全局特征進(jìn)行信號分類，包括：

22、所述多層感知器中多層感知器塊的數(shù)量為第一預(yù)設(shè)值，利用多層感知器塊對所述混合特征進(jìn)行全局特征提取，并將所述全局特征輸入分類器中對所述聲信號數(shù)據(jù)進(jìn)行分類。

23、根據(jù)本發(fā)明的第二方面，提供一種大型海洋哺乳動物聲信號分類系統(tǒng)，包括：

24、獲取模塊：用于獲取不同的海洋哺乳動物的聲信號數(shù)據(jù)；

25、控制模塊：用于對所述聲信號數(shù)據(jù)進(jìn)行預(yù)處理，根據(jù)預(yù)處理后的聲信號數(shù)據(jù)得到原始波形特征，并利用mel與imel對所述原始波形特征進(jìn)行特征提取，得到所述聲信號數(shù)據(jù)的時(shí)頻特征；或用于將所述時(shí)頻特征和原始波形特征輸入混合注意力網(wǎng)絡(luò)與特征融合模型中進(jìn)行全局特征提取，以及利用所述全局特征對所述聲信號數(shù)據(jù)進(jìn)行信號分類。

26、根據(jù)本發(fā)明的第三方面，提供一種電子設(shè)備，包括：存儲器；以及處理器，所述存儲器上存儲有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的大型海洋哺乳動物聲信號分類方法。

27、有益效果：

28、本發(fā)明通過利用mel與imel特征提取方法對原始波形特征進(jìn)行特征提取，得到聲信號數(shù)據(jù)的時(shí)頻特征，能夠有效地捕捉到聲信號在頻率域的特征，進(jìn)一步提高了分類的準(zhǔn)確性；將時(shí)頻特征和原始波形特征輸入混合注意力網(wǎng)絡(luò)與特征融合模型中進(jìn)行全局特征提取，并利用全局特征對聲信號數(shù)據(jù)進(jìn)行信號分類，解決了目前缺少將時(shí)頻特征譜圖和波形特征這兩種不同特征進(jìn)行融合的技術(shù)問題，極大的提高了聲信號的分類效率以及分類的準(zhǔn)確率，很大程度上提高了本發(fā)明的智能化程度、可用性和可靠性。

技術(shù)特征：

1.一種大型海洋哺乳動物聲信號分類方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的大型海洋哺乳動物聲信號分類方法，其特征在于，所述利用mel與imel特征提取方法對所述原始波形特征進(jìn)行特征提取，得到所述聲信號數(shù)據(jù)的時(shí)頻特征，包括：

3.根據(jù)權(quán)利要求2所述的大型海洋哺乳動物聲信號分類方法，其特征在于，所述利用mel與imel對所述原始波形特征進(jìn)行特征提取，得到所述聲信號數(shù)據(jù)的時(shí)頻特征，還包括：

4.根據(jù)權(quán)利要求3所述的大型海洋哺乳動物聲信號分類方法，其特征在于，所述s300包括：

5.根據(jù)權(quán)利要求4所述的大型海洋哺乳動物聲信號分類方法，其特征在于，所述利用多模態(tài)特征提取器分別提取所述聲信號數(shù)據(jù)的原始波形特征和時(shí)頻特征，包括：

6.根據(jù)權(quán)利要求4所述的大型海洋哺乳動物聲信號分類方法，其特征在于，所述將所述多模態(tài)特征提取器提取的原始波形特征和時(shí)頻特征輸入混合注意力模塊進(jìn)行特征融合，包括：

7.根據(jù)權(quán)利要求6所述的大型海洋哺乳動物聲信號分類方法，其特征在于，所述將所述多模態(tài)特征提取器提取的原始波形特征和時(shí)頻特征輸入混合注意力模塊進(jìn)行特征融合，還包括：

8.根據(jù)權(quán)利要求4所述的大型海洋哺乳動物聲信號分類方法，其特征在于，所述利用多層感知器對所述混合特征進(jìn)行全局特征提取，并對全局特征進(jìn)行信號分類，包括：

9.一種大型海洋哺乳動物聲信號分類系統(tǒng)，其特征在于，包括：

10.一種電子設(shè)備，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明提供了一種大型海洋哺乳動物聲信號分類方法及系統(tǒng)、電子設(shè)備，包括：獲取不同的海洋哺乳動物的聲信號數(shù)據(jù)，并對所述聲信號數(shù)據(jù)進(jìn)行預(yù)處理；根據(jù)預(yù)處理后的聲信號數(shù)據(jù)得到原始波形特征，并利用Mel與IMel特征提取方法對所述原始波形特征進(jìn)行特征提取，得到所述聲信號數(shù)據(jù)的時(shí)頻特征；將所述時(shí)頻特征和原始波形特征輸入混合注意力網(wǎng)絡(luò)與特征融合模型中進(jìn)行全局特征提取，并利用所述全局特征對所述聲信號數(shù)據(jù)進(jìn)行信號分類，解決了目前缺少將時(shí)頻特征譜圖和波形特征這兩種不同特征進(jìn)行融合的技術(shù)問題，極大的提高了聲信號的分類效率以及分類的準(zhǔn)確率，很大程度上提高了本發(fā)明的智能化程度、可用性和可靠性。

技術(shù)研發(fā)人員：李興順,成霄,曹劍
受保護(hù)的技術(shù)使用者：青島中科研海海洋科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19