本技術(shù)涉及扶梯監(jiān)控，具體涉及一種基于多特征數(shù)據(jù)融合決策的扶梯安全監(jiān)控系統(tǒng)和方法。

背景技術(shù)：

1、扶梯是一種在公共場(chǎng)所廣泛使用的交通工具，能夠方便人們?cè)诓煌瑯菍又g快速移動(dòng)。扶梯通過(guò)一系列的梯級(jí)和扶手帶，以固定速度沿傾斜軌道持續(xù)運(yùn)行，當(dāng)乘客踏上梯級(jí)時(shí)，扶梯自動(dòng)將其送往目的地。由于其運(yùn)載能力強(qiáng)、運(yùn)行效率高等優(yōu)點(diǎn)，扶梯已成為大型商場(chǎng)、地鐵站、機(jī)場(chǎng)等場(chǎng)所必不可少的垂直運(yùn)輸設(shè)備。

2、然而，隨著扶梯使用年限的增加，其部件容易出現(xiàn)老化、磨損等問(wèn)題，如梯級(jí)斷裂、扶手松脫、驅(qū)動(dòng)系統(tǒng)故障等，這些問(wèn)題若不能及時(shí)發(fā)現(xiàn)和處理，極易引發(fā)嚴(yán)重的安全事故。同時(shí)，一些乘客在乘坐扶梯時(shí)，可能出現(xiàn)逆行、攀爬、推擠等不安全行為，也會(huì)給自己和他人帶來(lái)傷害風(fēng)險(xiǎn)。因此，如何實(shí)現(xiàn)對(duì)扶梯設(shè)備狀態(tài)和乘客行為的實(shí)時(shí)監(jiān)控，及時(shí)預(yù)警和處置安全隱患，成為確保扶梯運(yùn)行安全必須解決的關(guān)鍵問(wèn)題,

3、目前，常見(jiàn)的扶梯安全保障手段主要有兩種：一種是定期人工檢查，由專(zhuān)業(yè)人員對(duì)扶梯進(jìn)行全面的安全排查和維護(hù)保養(yǎng)；另一種是視頻監(jiān)控，通過(guò)攝像頭記錄扶梯運(yùn)行情況，人工查看視頻畫(huà)面，識(shí)別異常情況。但是，這兩種方式都存在一定局限性：人工檢查周期長(zhǎng)、見(jiàn)效慢，難以發(fā)現(xiàn)早期故障征兆；視頻監(jiān)控依賴人眼識(shí)別危險(xiǎn)，受主觀因素影響大，實(shí)時(shí)性和準(zhǔn)確性無(wú)法保證。因此，亟需一種更加高效、智能、可靠的技術(shù)方案，能夠?qū)崿F(xiàn)扶梯安全隱患的自動(dòng)識(shí)別和主動(dòng)預(yù)警，最大限度避免事故發(fā)生。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)實(shí)施例提供了一種基于多特征數(shù)據(jù)融合決策的扶梯安全監(jiān)控系統(tǒng)和方法，能夠?qū)Ψ鎏轄顟B(tài)進(jìn)行全面評(píng)估和精準(zhǔn)安全監(jiān)控，可以有效降低誤報(bào)率和漏報(bào)率，優(yōu)化維護(hù)策略，提高扶梯設(shè)備運(yùn)行安全性和可靠性。

2、為達(dá)到上述目的，本技術(shù)采用如下技術(shù)方案：

3、第一方面，本技術(shù)實(shí)施例提供了一種基于多特征數(shù)據(jù)融合決策的扶梯安全監(jiān)控系統(tǒng)，包括傳感器、圖像采集設(shè)備、邊緣節(jié)點(diǎn)和云平臺(tái)；

4、所述傳感器設(shè)置在扶梯的關(guān)鍵部位，用于采集扶梯的運(yùn)行狀態(tài)數(shù)據(jù)，所述運(yùn)行狀態(tài)數(shù)據(jù)包含梯級(jí)的振動(dòng)信息、扶手的溫度信息以及驅(qū)動(dòng)系統(tǒng)的噪聲信息，并將所述運(yùn)行狀態(tài)數(shù)據(jù)發(fā)送給所述邊緣節(jié)點(diǎn)；

5、所述圖像采集設(shè)備設(shè)置在扶梯的梯級(jí)和出入口上方，用于采集扶梯視頻圖像，并發(fā)送給所述邊緣節(jié)點(diǎn)；

6、所述邊緣節(jié)點(diǎn)用于接收所述運(yùn)行狀態(tài)數(shù)據(jù)和所述扶梯視頻圖像，對(duì)所述運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行閾值檢測(cè)，將超出閾值范圍的異常運(yùn)行狀態(tài)數(shù)據(jù)發(fā)送給云平臺(tái)，以及用于對(duì)所述扶梯視頻圖像進(jìn)行乘客行為檢測(cè)，在確定乘客存在異常行為時(shí)，將異常行為信息發(fā)送給所述云平臺(tái)；

7、所述云平臺(tái)用于根據(jù)所述異常運(yùn)行狀態(tài)數(shù)據(jù)和所述異常行為信息確定扶梯的健康度特征指標(biāo)，根據(jù)所述健康度特征指標(biāo)計(jì)算扶梯處于多種預(yù)設(shè)健康狀態(tài)下的概率，以及根據(jù)扶梯健康狀態(tài)處于多種預(yù)設(shè)健康狀態(tài)下的概率確定扶梯的綜合健康度，根據(jù)扶梯的綜合健康度對(duì)扶梯進(jìn)行安全監(jiān)控。

8、第二方面，本技術(shù)實(shí)施例提供了一種基于多特征數(shù)據(jù)融合決策的扶梯安全監(jiān)控方法，包括：

9、獲取扶梯的運(yùn)行狀態(tài)數(shù)據(jù)和扶梯視頻圖像，所述運(yùn)行狀態(tài)數(shù)據(jù)包含梯級(jí)的振動(dòng)信息、扶手的溫度信息以及驅(qū)動(dòng)系統(tǒng)的噪聲信息，所述扶梯視頻圖像通過(guò)設(shè)置在扶梯的梯級(jí)和出入口上方的圖像采集設(shè)備采集得到；

10、基于頻譜能量和頻譜熵對(duì)所述運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行閾值檢測(cè)，確定超出閾值范圍的異常運(yùn)行狀態(tài)數(shù)據(jù)；

11、對(duì)所述扶梯視頻圖像進(jìn)行乘客行為檢測(cè)，確定視頻圖像中乘客存在的異常行為信息，所述異常行為信息包含摔倒、逆行和攀爬中的至少一種；

12、根據(jù)所述異常運(yùn)行狀態(tài)數(shù)據(jù)和所述異常行為信息確定扶梯的健康度特征指標(biāo)，所述健康度特征指標(biāo)包含振動(dòng)噪聲相關(guān)指標(biāo)、溫度異常指數(shù)、行為影響系數(shù)、趨勢(shì)指數(shù)和環(huán)境影響系數(shù)；

13、根據(jù)所述健康度特征指標(biāo)計(jì)算扶梯處于多種預(yù)設(shè)健康狀態(tài)下的概率，所述多種預(yù)設(shè)健康狀態(tài)包含正常、輕微異常、中度異常和嚴(yán)重異常，正常、輕微異常、中度異常和嚴(yán)重異常表征的扶梯健康狀態(tài)依次變差；

14、根據(jù)扶梯健康狀態(tài)處于多種預(yù)設(shè)健康狀態(tài)下的概率確定扶梯的綜合健康度，并基于扶梯的綜合健康度對(duì)扶梯進(jìn)行安全監(jiān)控。

15、基于第二方面，在一些實(shí)施例中，所述根據(jù)所述異常運(yùn)行狀態(tài)數(shù)據(jù)和所述異常行為信息確定扶梯的健康度特征指標(biāo)，包括：

16、通過(guò)r＝cov(v,n)/(std(v)*std(n))計(jì)算振動(dòng)數(shù)據(jù)序列和噪聲數(shù)據(jù)序列的皮爾遜相關(guān)系數(shù)，得到振動(dòng)噪聲相關(guān)指標(biāo)r，v為振動(dòng)信息序列，n為噪聲信息序列；其中，振動(dòng)噪聲相關(guān)指標(biāo)r反映振動(dòng)信息和噪聲信息的相關(guān)性強(qiáng)度；

17、通過(guò)tai＝(t-tref)/trange計(jì)算溫度異常指數(shù)tai，t為扶梯的當(dāng)前溫度，tref為扶梯的正常參考溫度，trange為扶手的溫度正常變化范圍；其中，溫度異常指數(shù)tai反映扶梯溫度的異常程度；

18、通過(guò)bic＝σ(wi×bi)計(jì)算行為影響系數(shù)bic，wi為第i種異常行為的權(quán)重，bi是該異常行為的發(fā)生次數(shù)；其中，bic反映乘客異常行為的綜合影響程度；

19、通過(guò)計(jì)算趨勢(shì)指數(shù)ti，xt為運(yùn)行狀態(tài)數(shù)據(jù)的當(dāng)前值，為運(yùn)行狀態(tài)數(shù)據(jù)的歷史平均值，σ為標(biāo)準(zhǔn)差；其中，趨勢(shì)指數(shù)ti反映被監(jiān)測(cè)的運(yùn)行狀態(tài)數(shù)據(jù)的變化趨勢(shì)；

20、通過(guò)eic＝(w1t+w2h+w3l)×s計(jì)算環(huán)境影響系數(shù)eic，t為溫度因子，h為濕度因子，l為負(fù)載因子，s為季節(jié)因子，w1、w2、w3分別為溫度、濕度、負(fù)載的權(quán)重系數(shù)，w1+w2+w3＝1；其中，環(huán)境影響系數(shù)eic反映環(huán)境條件對(duì)扶梯運(yùn)行的影響程度。

21、基于第二方面，在一些實(shí)施例中，所述根據(jù)所述健康度特征指標(biāo)計(jì)算扶梯處于多種預(yù)設(shè)健康狀態(tài)下的概率，包括：

22、確定每種健康度特征指標(biāo)在各種預(yù)設(shè)健康狀態(tài)下的基本概率分配，并基于各種健康度特征指標(biāo)的預(yù)設(shè)權(quán)重對(duì)相應(yīng)的基本概率分配進(jìn)行調(diào)整；

23、根據(jù)調(diào)整后的健康度特征指標(biāo)的基本概率分配計(jì)算沖突度；

24、在所述沖突度小于第一沖突度閾值時(shí)，根據(jù)調(diào)整后的基本概率分配計(jì)算扶梯處于每種預(yù)設(shè)健康狀態(tài)下的概率；

25、在所述沖突度大于等于第一沖突度閾值且小于第二沖突閾值時(shí)，根據(jù)各個(gè)基本概率分配與其他基本概率分配之間的平均沖突度對(duì)各種健康度特征指標(biāo)的預(yù)設(shè)權(quán)重進(jìn)行調(diào)整，直至所述沖突度小于第一沖突度閾值；

26、在所述沖突度大于等于第二沖突閾值時(shí)，生成扶梯異常警報(bào)；其中，第二沖突度閾值大于第一沖突度閾值。

27、基于第二方面，在一些實(shí)施例中，所述確定每種健康度特征指標(biāo)在各種預(yù)設(shè)健康狀態(tài)下的基本概率分配，包括：對(duì)于每種預(yù)設(shè)健康狀態(tài)，基于健康度特征指標(biāo)的數(shù)值確定該健康度特征指標(biāo)在每種預(yù)設(shè)健康狀態(tài)下的基本概率分配的計(jì)算公式，將健康度特征指標(biāo)的數(shù)值代入該計(jì)算公式中計(jì)算得到該健康度特征指標(biāo)在每種預(yù)設(shè)健康狀態(tài)下的基本概率分配；

28、所述根據(jù)調(diào)整后的基本概率分配計(jì)算扶梯處于每種預(yù)設(shè)健康狀態(tài)下的概率，包括：對(duì)于第一預(yù)設(shè)健康狀態(tài)，確定第一事件和第二事件的所有組合，所述第一事件與所述第二事件的交集為第一預(yù)設(shè)健康狀態(tài)，所述第一預(yù)設(shè)健康狀態(tài)為正常、輕微異常、中度異常和嚴(yán)重異常中的一種；對(duì)于第一事件和第二事件的每一組合，將第一事件對(duì)應(yīng)的基本概率分配與第二事件對(duì)應(yīng)的基本概率分配相乘，將第一事件和第二事件的各個(gè)組合對(duì)應(yīng)的乘積相加，得到扶梯處于第一預(yù)設(shè)健康狀態(tài)下的概率。

29、基于第二方面，在一些實(shí)施例中，所述根據(jù)扶梯健康狀態(tài)處于多種預(yù)設(shè)健康狀態(tài)下的概率確定扶梯的綜合健康度，包括：

30、根據(jù)計(jì)算事件a發(fā)生的可信度bel(a)，根據(jù)u(a)＝pl(a)-bel(a)計(jì)算事件a的不確定度區(qū)間u(a)，事件a為扶梯處于正常、輕微異常、中度異常和嚴(yán)重異常中的任一種狀態(tài)，b表示扶梯處于正常、輕微異常、中度異常和嚴(yán)重異常的任一種狀態(tài)；

31、根據(jù)扶梯處于輕微異常、中度異常和嚴(yán)重異常下的三個(gè)概率以及可信度bel(a)確定扶梯的綜合健康度；

32、在可信度bel(a)大于可信度閾值且不確定度區(qū)間u(a)小于不確定區(qū)間閾值時(shí)，執(zhí)行扶梯的綜合健康度對(duì)應(yīng)的扶梯監(jiān)控方案；其中，扶梯監(jiān)控方案包括扶梯狀態(tài)良好無(wú)需干預(yù)、增加檢查頻率、維護(hù)和檢修停運(yùn)。

33、基于第二方面，在一些實(shí)施例中，所述基于頻譜能量和頻譜熵對(duì)所述運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行閾值檢測(cè)，確定超出閾值范圍的異常運(yùn)行狀態(tài)數(shù)據(jù)，包括：

34、通過(guò)快速傅里葉變換對(duì)所述運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行頻譜分析，計(jì)算所述運(yùn)行狀態(tài)數(shù)據(jù)的頻譜能量和頻譜熵；其中，通過(guò)計(jì)算所述運(yùn)行狀態(tài)數(shù)據(jù)的頻譜能量e，通過(guò)計(jì)算所述運(yùn)行狀態(tài)數(shù)據(jù)的頻譜熵h，x(t)為所述運(yùn)行狀態(tài)數(shù)據(jù)；

35、將所述頻譜能量與預(yù)設(shè)頻譜能量范圍進(jìn)行比較，將所述頻譜熵與預(yù)設(shè)頻譜熵范圍進(jìn)行比較；

36、若所述頻譜能量超出所述預(yù)設(shè)頻譜能量范圍，和/或所述頻譜熵超出所述預(yù)設(shè)頻譜熵范圍，則將該運(yùn)行狀態(tài)數(shù)據(jù)作為異常運(yùn)行狀態(tài)數(shù)據(jù)。

37、基于第二方面，在一些實(shí)施例中，在通過(guò)快速傅里葉變換對(duì)所述運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行頻譜分析之前，所述對(duì)所述運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行閾值檢測(cè)，確定超出閾值范圍的異常運(yùn)行狀態(tài)數(shù)據(jù)，還包括：

38、通過(guò)卷積神經(jīng)網(wǎng)絡(luò)從所述運(yùn)行狀態(tài)數(shù)據(jù)中提取用于表征扶梯健康狀態(tài)的局部特征；

39、通過(guò)注意力機(jī)制自適應(yīng)地融合各種扶梯運(yùn)行狀態(tài)數(shù)據(jù)的局部特征，得到扶梯的全局健康狀態(tài)表征；其中，通過(guò)融合各種扶梯運(yùn)行狀態(tài)數(shù)據(jù)的局部特征，得到扶梯的全局健康狀態(tài)表征；v(a)為扶梯的全局健康狀態(tài)表征向量，表示第i個(gè)傳感器采集的數(shù)據(jù)的特征向量，為第i個(gè)傳感器的注意力權(quán)重，n為傳感器的數(shù)量，且為第i個(gè)傳感器采集的數(shù)據(jù)的隱藏表示，u(a)為注意力向量，和為線性變換的預(yù)設(shè)參數(shù)；

40、之后，通過(guò)快速傅里葉變換對(duì)扶梯的全局健康狀態(tài)表征進(jìn)行頻譜分析，計(jì)算扶梯的全局健康狀態(tài)表征的頻譜能量和頻譜熵，并執(zhí)行上述將所述頻譜能量與預(yù)設(shè)頻譜能量范圍進(jìn)行比較，將所述頻譜熵與預(yù)設(shè)頻譜熵范圍進(jìn)行比較的步驟。

41、基于第二方面，在一些實(shí)施例中，所述對(duì)所述扶梯視頻圖像進(jìn)行乘客行為檢測(cè)，確定視頻圖像中乘客存在的異常行為信息，包括：

42、將所述扶梯視頻圖像輸入卷積神經(jīng)圖網(wǎng)絡(luò)，生成特征圖，并基于所述特征圖進(jìn)行人體檢測(cè)；

43、在檢測(cè)到人體后，確定人體的多個(gè)關(guān)鍵點(diǎn)的位置坐標(biāo)；

44、將所述多個(gè)關(guān)鍵點(diǎn)的位置坐標(biāo)映射到扶梯三維空間坐標(biāo)系，得到乘客在扶梯上的位置姿態(tài)；

45、根據(jù)所述位置姿態(tài)確定視頻圖像中乘客存在的異常行為信息；

46、所述根據(jù)所述位置姿態(tài)確定視頻圖像中乘客存在的異常行為信息，包括：基于所述位置姿態(tài)計(jì)算乘客的移動(dòng)速度和平均速度，根據(jù)所述平均速度確定乘客是否存在逆行異常行為；確定所述多個(gè)關(guān)鍵點(diǎn)中的手部關(guān)鍵點(diǎn)和腳部關(guān)鍵點(diǎn)，根據(jù)所述手部關(guān)鍵點(diǎn)和所述腳部關(guān)鍵點(diǎn)在豎直方向坐標(biāo)軸上的坐標(biāo)值確定乘客是否存在攀爬異常行為；確定所述多個(gè)關(guān)鍵點(diǎn)中的頭部關(guān)鍵點(diǎn)和腳部關(guān)鍵點(diǎn)，根據(jù)所述頭部關(guān)鍵點(diǎn)和所述腳部關(guān)鍵點(diǎn)在豎直方向坐標(biāo)軸上的坐標(biāo)值確定乘客是否存在摔倒異常行為；

47、所述根據(jù)所述位置姿態(tài)確定視頻圖像中乘客存在的異常行為信息，包括：構(gòu)建相鄰關(guān)鍵點(diǎn)之間的多個(gè)向量表示，每個(gè)向量表示對(duì)應(yīng)的兩個(gè)關(guān)鍵點(diǎn)為人體同一肢體部位的關(guān)鍵點(diǎn)；若存在兩個(gè)向量表示之間的角度變化大于閾值，則根據(jù)該兩個(gè)向量變化前后的角度和預(yù)設(shè)的異常行為向量角度集合確定異常行為。

48、基于第二方面，在一些實(shí)施例中，在所述對(duì)所述扶梯視頻圖像進(jìn)行乘客行為檢測(cè)，確定視頻圖像中乘客存在的異常行為信息之后，所述方法還包括

49、確定乘客所在的區(qū)域；其中，該區(qū)域包括扶梯的第一區(qū)域、第二區(qū)域和第三區(qū)域，扶梯的第一區(qū)域、第二區(qū)域和第三區(qū)域依次連通且包含整個(gè)扶梯；

50、根據(jù)該異常行為、乘客所在的區(qū)域以及扶梯上乘客的分布情況，生成扶梯控制策略；

51、其中，扶梯控制策略包含：

52、若異常行為為攀爬行為，則控制扶梯減速并發(fā)出警告，若該攀爬行為持續(xù)時(shí)間大于預(yù)設(shè)時(shí)間，則控制扶梯臨時(shí)停止運(yùn)行；

53、在異常行為為摔倒行為時(shí)，若發(fā)生摔倒行為的乘客所在的區(qū)域后面的相鄰區(qū)域存在其他乘客且乘客密度大于密度閾值，或者當(dāng)前時(shí)間位于預(yù)設(shè)時(shí)間段內(nèi)，則控制扶梯停止運(yùn)行；否則，控制扶梯減速并發(fā)出語(yǔ)音警告；其中，區(qū)域后面的區(qū)域基于扶梯運(yùn)行方向確定，扶梯運(yùn)行方向的相反方向?yàn)楹竺妗?/p>

54、本技術(shù)實(shí)施例與現(xiàn)有技術(shù)相比存在的有益效果包括：

55、本技術(shù)實(shí)施例中，首先獲取扶梯的運(yùn)行狀態(tài)數(shù)據(jù)并采集扶梯視頻圖像，通過(guò)邊緣節(jié)點(diǎn)對(duì)運(yùn)行狀態(tài)數(shù)據(jù)進(jìn)行閾值檢測(cè)，將超出閾值范圍的異常運(yùn)行狀態(tài)數(shù)據(jù)發(fā)送給云平臺(tái)，通過(guò)邊緣節(jié)點(diǎn)對(duì)扶梯視頻圖像進(jìn)行乘客行為檢測(cè)，在確定乘客存在異常行為時(shí)，將所述異常行為發(fā)送給云平臺(tái)，云平臺(tái)根據(jù)異常運(yùn)行狀態(tài)數(shù)據(jù)和異常行為信息確定扶梯的健康度特征指標(biāo)，根據(jù)健康度特征指標(biāo)計(jì)算扶梯處于多種預(yù)設(shè)健康狀態(tài)下的概率，以及根據(jù)扶梯健康狀態(tài)處于多種預(yù)設(shè)健康狀態(tài)下的概率確定扶梯的綜合健康度，根據(jù)扶梯的綜合健康度對(duì)扶梯進(jìn)行安全監(jiān)控。

56、本技術(shù)實(shí)施例以傳感器采集的扶梯運(yùn)行狀態(tài)數(shù)據(jù)和扶梯視頻圖像為基礎(chǔ)，根據(jù)異常運(yùn)行狀態(tài)數(shù)據(jù)和異常行為信息確定扶梯的確定健康度特征指標(biāo)，進(jìn)而再計(jì)算扶梯處于多種預(yù)設(shè)健康狀態(tài)下的概率，再根據(jù)扶梯健康狀態(tài)處于多種預(yù)設(shè)健康狀態(tài)下的概率確定扶梯的綜合健康度，從而根據(jù)扶梯的綜合健康度對(duì)扶梯進(jìn)行安全監(jiān)控，實(shí)現(xiàn)了對(duì)扶梯狀態(tài)的全面評(píng)估和精準(zhǔn)安全監(jiān)控，具有自動(dòng)化數(shù)據(jù)采集、智能化狀態(tài)評(píng)估和預(yù)測(cè)性維護(hù)決策能力，可以有效降低誤報(bào)率和漏報(bào)率，優(yōu)化維護(hù)策略，提高扶梯設(shè)備運(yùn)行安全性和可靠性。