本發(fā)明涉及電梯異響和告警音檢測，特別是一種基于深度學(xué)習(xí)的電梯異響和告警音檢測方法及系統(tǒng)。

背景技術(shù)：

1、電梯作為現(xiàn)代高層建筑不可或缺的垂直交通工具，給人們的生活提供極大便利，然而電梯的頻繁使用可能出現(xiàn)各種異常故障導(dǎo)致電梯事故，威脅乘客的生命安全。其中，由于設(shè)備問題、機械振動、門故障等原因可能產(chǎn)生異響，有時還會觸發(fā)電梯報警系統(tǒng)產(chǎn)生告警音。電梯產(chǎn)生異響或告警音表明電梯可能存在故障，需要維保檢修，在沒有監(jiān)測技術(shù)時，只能依靠人工定期巡檢，效率極低，很難及時發(fā)現(xiàn)并處理問題。而通過監(jiān)測技術(shù)自動監(jiān)測電梯異響和告警音，可以及時告知電梯維保部門檢修電梯，消除安全隱患。但是電梯運行環(huán)境復(fù)雜，存在許多干擾聲音，如機械噪聲、環(huán)境噪聲、電子設(shè)備聲等。此外，電梯異響和告警音的類型多樣且可能和正常運行聲音相似，難以分辨。

2、傳統(tǒng)監(jiān)測技術(shù)需要額外安裝硬件設(shè)備進行專用檢測，如專利cn208907833u公開一種方法，通過安裝包含聲音傳感器的檢測裝置針對電梯反繩輪做異響檢測，這種方法只針對局部零部件檢測，具有局限性，且依賴硬件設(shè)備，成本高昂。目前較為便捷的監(jiān)測技術(shù)可以從監(jiān)控設(shè)備獲取音頻信號，進一步提取音頻特征進行檢測。如專利cn112193959a公開了一種電梯異響檢測方法及系統(tǒng)，采集電梯監(jiān)控的音頻數(shù)據(jù)，提取并選擇音頻特征，再根據(jù)檢測模型識別是否發(fā)生異響。盡管該方法降低了對硬件設(shè)備的要求，但采用了多種特征選擇算法和多種檢測模型的融合導(dǎo)致算法流程繁瑣，并且只能識別電梯異響，無法用于檢測告警音。專利cn112960506a公開了一種基于音頻特征的電梯告警音檢測系統(tǒng)，采集電梯監(jiān)控音頻數(shù)據(jù)后構(gòu)造了第一音頻特征和第二音頻特征，第一音頻特征檢測模型采用圖像分類模型vggnet，第二音頻特征檢測模型為深度神經(jīng)網(wǎng)絡(luò)模型。該方法融合了兩個檢測模型，對告警音有較好的識別效果，但仍然比較繁瑣，需要做兩類特征提取及模型融合，且無法適用于電梯異響的監(jiān)測。

技術(shù)實現(xiàn)思路

1、本發(fā)明所提出的方法通過直接采集電梯監(jiān)控中的音頻信號，對音頻做簡單預(yù)處理后，直接輸入集成了特征提取的深度學(xué)習(xí)檢測模型做檢測。模型可以實現(xiàn)對電梯異響、告警音和正常情況的分類檢測，進一步可根據(jù)檢測概率是否超過設(shè)定檢測閾值判斷是否上報監(jiān)測平臺從而實現(xiàn)整個流程。解決了現(xiàn)有技術(shù)對電梯異響和告警音檢測繁瑣且無法同時檢測電梯異響和告警音的問題。

2、本發(fā)明提供如下技術(shù)方案：一種基于深度學(xué)習(xí)的電梯異響和告警音檢測方法，包括如下步驟：

3、s1、采集加速度數(shù)據(jù)，判斷加速度是否超過設(shè)定的加速度閾值以判斷當(dāng)前電梯是否存在異常振動；

4、s2、采集對應(yīng)異常振動開始時間前i秒后j秒，共i+j秒的監(jiān)控視頻數(shù)據(jù)；

5、s3、從監(jiān)控視頻數(shù)據(jù)中獲取音頻信號；

6、s4、對音頻信號進行數(shù)據(jù)預(yù)處理；

7、s5、將預(yù)處理后的音頻信號輸入檢測模型；檢測模型輸出檢測的音頻類型及對應(yīng)的檢測概率；音頻類型包括：電梯異響、告警音或正常；

8、s6、分別判斷電梯異響或告警音的檢測概率是否超過所設(shè)定的檢測概率的閾值，若超過檢測概率的閾值，則將音頻類型及對應(yīng)的檢測概率和對應(yīng)的電梯編號、檢測時間實時上報監(jiān)測平臺。

9、進一步地，數(shù)據(jù)預(yù)處理的步驟如下：

10、去除異常音頻數(shù)據(jù)，指由于采集設(shè)備的問題導(dǎo)致的音頻提取失敗得到的全為0的異常數(shù)據(jù)；

11、1）使用平均混合方法將雙聲道音頻轉(zhuǎn)換成單聲道音頻；平均混合方法指將每一個采樣點的左聲道音頻和右聲道音頻取平均值作為轉(zhuǎn)換后的單聲道音頻；

12、2）判斷單聲道音頻的采樣頻率是否為所設(shè)置的采樣頻率fs；若不是，則進行重采樣，得到采樣頻率為fs的音頻信號，若是，則不做任何操作；

13、3）應(yīng)用滑動窗口分割音頻信號，窗口時長為w，步長為s，末尾時長不足滑動窗口時長的填充0，最終得到一批等時長的子音頻片段；

14、單個子音頻片段，指一段音頻經(jīng)過數(shù)據(jù)預(yù)處理后得到的一批固定時長音頻子片段中的其中一段。

15、經(jīng)過數(shù)據(jù)預(yù)處理后的數(shù)據(jù)維度為(n,fs×w)，其中n為子音頻片段的數(shù)量，n根據(jù)以下公式計算得到：n=ceil((t-w)/s)+1，t為原始音頻時長，w為窗口時長，s為窗口步長，ceil()表示取大于等于括號內(nèi)的數(shù)字的最小整數(shù)。

16、進一步地，檢測模型通過在自制的電梯音頻數(shù)據(jù)集上對開源的音頻分類模型進行模型訓(xùn)練得到；

17、所述的自制電梯音頻數(shù)據(jù)集來源于不同電梯場景下的已標注電梯異響、告警音和正常的音頻數(shù)據(jù)；

18、所述的模型訓(xùn)練是指是在開源的音頻分類模型的基礎(chǔ)上，采用自制電梯音頻數(shù)據(jù)集修改網(wǎng)絡(luò)結(jié)構(gòu)和進行額外的訓(xùn)練，模型的初始參數(shù)來自于開源的音頻分類模型；

19、模型訓(xùn)練后對模型做性能測試，當(dāng)模型測試精度滿足實際使用需求時，可用于模型部署，否則需要進行模型結(jié)構(gòu)和參數(shù)優(yōu)化后重新訓(xùn)練模型，直到滿足實際使用需求；

20、所述實際使用需求指模型在測試集上的檢測準確率達到90%以上。

21、進一步地，檢測模型采用神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)，包括對數(shù)梅爾頻譜特征提取模塊、6個卷積模塊和1個全連接層。

22、進一步地，對數(shù)梅爾頻譜特征提取模塊：將短時傅里葉變換應(yīng)用于音頻信號的時域波形，以計算時頻譜圖；然后經(jīng)過梅爾濾波器組得到對數(shù)梅爾頻譜特征；短時傅里葉變換的窗函數(shù)選取漢明窗，窗口長度為n_windows個采樣點，窗口步長為step，梅爾濾波器組的個數(shù)為n_mels；輸入形狀為（fs×w,）的單個子音頻信號經(jīng)過對數(shù)梅爾頻譜特征提取模塊后形狀變?yōu)?ceil(fs×w/step),n_mels,1)，ceil()表示取大于等于括號內(nèi)的數(shù)字的最小整數(shù)；

23、第一卷積模塊由2個卷積層組成，卷積核大小為3×3，卷積核數(shù)量為n1；在每個卷積層之間使用批歸一化，激活函數(shù)使用relu，隨后應(yīng)用大小為2×2的平均池化層進行下采樣；將維度為(ceil(fs×w/step),n_mels,1)的特征轉(zhuǎn)化為維度為(floor(fs×w/(2×step)),n_mels/2,n1)的特征；floor(x)函數(shù)表示向下取整，即不大于x的最大整數(shù)；

24、第二卷積模塊由2個卷積層組成，卷積核大小為3×3，卷積核數(shù)量為n2；在每個卷積層之間使用批歸一化，激活函數(shù)使用relu，隨后應(yīng)用大小為2×2的平均池化層進行下采樣；將維度為(floor(fs×w/(2×step)),n_mels/2,n1)的特征轉(zhuǎn)化為維度為(floor(fs×w/(4×step)),(n_mels)/4,n2)的特征；

25、第三卷積模塊由2個卷積層組成，卷積核大小為3×3，卷積核數(shù)量為n3；在每個卷積層之間使用批歸一化，激活函數(shù)使用relu，隨后應(yīng)用大小為2×2的平均池化層進行下采樣；維度為(floor(fs×w/(4×step)),n_mels/4,n2)的特征轉(zhuǎn)化為維度為(floor(fs×w/(8×step)),n_mels/8,n3)的特征；

26、第四卷積模塊由2個卷積層組成，卷積核大小為3×3，卷積核數(shù)量為n4；在每個卷積層之間使用批歸一化，激活函數(shù)使用relu，隨后應(yīng)用大小為2×2的平均池化層進行下采樣；將維度為(floor(fs×w/(8×step)),n_mels/8,n3)的特征轉(zhuǎn)化為維度為(floor(fs×w/(16×step)),n_mels/16,n4)的特征；

27、第五卷積模塊由2個卷積層組成，卷積核大小為3×3，卷積核數(shù)量為n5，在每個卷積層之間使用批歸一化，激活函數(shù)使用relu，隨后應(yīng)用大小為2×2的平均池化層進行下采樣；將維度為(floor(fs×w/(16×step)),n_mels/16,n4)的特征轉(zhuǎn)化為維度為(floor(fs×w/(32×step)),n_mels/32,n5)的特征；

28、第六卷積模塊由2個卷積層組成，卷積核大小為3×3，卷積核數(shù)量為n6；在每個卷積層之間使用批歸一化，激活函數(shù)使用relu，隨后應(yīng)用全局池化下采樣及降維處理；將維度為(floor(fs×w/(32×step)),n_mels/32,n6)的特征轉(zhuǎn)化為維度為(n6,)的1維特征；

29、全連接層兩個子層，第一個子層共n6個節(jié)點，激活函數(shù)為relu，第二個子層共3個節(jié)點，經(jīng)過softmax函數(shù)映射得到每種類別的概率值；維度為(n6,)的1維特征經(jīng)過全連接層后得到一個3維向量輸出out=[p1,p2,p3]t，t表示轉(zhuǎn)置；p1、p2、p3分別對應(yīng)電梯異響、告警音和正常的檢測概率。

30、一種基于深度學(xué)習(xí)的電梯異響和告警音檢測系統(tǒng)，包括：

31、第一采集模塊，用于獲取加速度數(shù)據(jù)；

32、第一判斷模塊，用于判斷加速度是否超過設(shè)定的加速度閾值以判斷當(dāng)前電梯是否存在異常振動；

33、第二采集模塊，用于采集對應(yīng)異常振動開始時間前i秒后j秒，共i+j秒的監(jiān)控視頻數(shù)據(jù)；

34、獲取模塊，用于從監(jiān)控視頻數(shù)據(jù)中獲取音頻信號；

35、第一處理模塊，用于對所述音頻信號進行數(shù)據(jù)預(yù)處理；

36、計算模塊，用于將預(yù)處理后的音頻信號輸入檢測模型，檢測模型輸出檢測的音頻類型及對應(yīng)的檢測概率；音頻類型包括：電梯異響、告警音或正常；

37、第二判斷模塊，用于分別判斷電梯異響或告警音的檢測概率是否超過所設(shè)定的檢測概率的閾值，若超過檢測概率的閾值，則將音頻類型及對應(yīng)的檢測概率和對應(yīng)的電梯編號、檢測時間實時上報監(jiān)測平臺。

38、一種電子設(shè)備，包括：

39、一個或多個處理器；

40、存儲器，用于存儲一個或多個程序；

41、當(dāng)所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)上述任一項所述的方法。

42、一種計算機可讀存儲介質(zhì)，其上存儲有計算機指令，該指令被處理器執(zhí)行時實現(xiàn)上述任一項所述方法的步驟。

43、本發(fā)明的有益效果在于：

44、（1）通過采集加速度數(shù)據(jù)和監(jiān)控視頻判斷電梯異響和告警音，無需額外硬件設(shè)備，節(jié)約成本。

45、（2）檢測模型采用深度學(xué)習(xí)方法，基于自制的電梯音頻數(shù)據(jù)集在開源預(yù)訓(xùn)練音頻分類模型基礎(chǔ)上做模型訓(xùn)練得到，具有較強的泛化性能和魯棒性，適用于各種復(fù)雜的電梯場景，對電梯異響和告警音都適用，檢測方法快速、準確。