本發(fā)明涉及鐵路列車故障圖像智能識(shí)別系統(tǒng)的性能測(cè)試方法，屬于智能識(shí)別模型性能測(cè)試。

背景技術(shù)：

1、隨著技術(shù)的發(fā)展和用戶需求的提高，模型系統(tǒng)的性能測(cè)試變得越來(lái)越重要。

2、為了保證鐵路列車故障圖像智能識(shí)別系統(tǒng)在實(shí)際運(yùn)行中的穩(wěn)定性，除對(duì)其功能、指標(biāo)進(jìn)行測(cè)試外，還要進(jìn)行性能測(cè)試。傳統(tǒng)的模型性能測(cè)試方法由于其局限性，難以適應(yīng)復(fù)雜多變的環(huán)境，存在測(cè)試結(jié)果不夠準(zhǔn)確、測(cè)試過(guò)程繁瑣等問(wèn)題。

3、為此，需要針對(duì)鐵路列車故障圖像智能識(shí)別系統(tǒng)提供一種性能測(cè)試方法。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有方法無(wú)法對(duì)鐵路列車故障圖像智能識(shí)別系統(tǒng)的性能進(jìn)行評(píng)估的問(wèn)題，本發(fā)明提供一種鐵路列車故障圖像智能識(shí)別系統(tǒng)的性能測(cè)試方法。

2、本發(fā)明的一種鐵路列車故障圖像智能識(shí)別系統(tǒng)的性能測(cè)試方法，

3、采集各途經(jīng)車站的不同鐵路列車過(guò)車圖像作為測(cè)試樣本，構(gòu)建性能測(cè)試數(shù)據(jù)集；所述測(cè)試樣本配置列車信息表，包括途經(jīng)車站名稱、過(guò)車時(shí)間、對(duì)應(yīng)列車基本信息及過(guò)車狀態(tài)；

4、采用列車過(guò)站模擬模塊按設(shè)定過(guò)車時(shí)間間隔、過(guò)車列數(shù)及目標(biāo)列車基本信息生成過(guò)車任務(wù)，根據(jù)過(guò)車任務(wù)讀取性能測(cè)試數(shù)據(jù)集中對(duì)應(yīng)的測(cè)試樣本，并將測(cè)試樣本傳送至故障圖像智能識(shí)別系統(tǒng)；

5、在故障圖像智能識(shí)別系統(tǒng)進(jìn)行故障識(shí)別的過(guò)程中，采用性能監(jiān)控模塊監(jiān)測(cè)服務(wù)器和故障圖像智能識(shí)別系統(tǒng)的各項(xiàng)性能指標(biāo)數(shù)據(jù)；

6、采用可視化平臺(tái)將接收到的性能指標(biāo)數(shù)據(jù)實(shí)時(shí)轉(zhuǎn)換為性能指標(biāo)趨勢(shì)圖并進(jìn)行展示，所述性能指標(biāo)趨勢(shì)圖用于圖像智能識(shí)別系統(tǒng)的性能分析。

7、根據(jù)本發(fā)明的鐵路列車故障圖像智能識(shí)別系統(tǒng)的性能測(cè)試方法，所述測(cè)試樣本類型包括正常圖像、缺失圖像、過(guò)大圖像、重復(fù)圖像、過(guò)亮圖像、過(guò)暗圖像、存儲(chǔ)失敗圖像、漏報(bào)圖像、超時(shí)圖像及程序異常圖像。

8、根據(jù)本發(fā)明的鐵路列車故障圖像智能識(shí)別系統(tǒng)的性能測(cè)試方法，所述過(guò)車任務(wù)包括設(shè)置性能測(cè)試數(shù)據(jù)集連接信息、過(guò)車時(shí)間間隔、測(cè)試輪次、列車基本信息讀取路徑；所述列車基本信息存儲(chǔ)在車輛信息表sql文件中。

9、根據(jù)本發(fā)明的鐵路列車故障圖像智能識(shí)別系統(tǒng)的性能測(cè)試方法，列車過(guò)站模擬模塊根據(jù)目標(biāo)列車過(guò)車時(shí)間最小數(shù)據(jù)將列車信息表中當(dāng)前目標(biāo)列車的過(guò)車時(shí)間修改為當(dāng)前系統(tǒng)時(shí)間，將過(guò)車狀態(tài)的默認(rèn)正在接車狀態(tài)修改為接車完畢狀態(tài)，并在列車過(guò)車完成后，將列車信息表中目標(biāo)列車的上報(bào)狀態(tài)由未上報(bào)狀態(tài)修改為已上報(bào)狀態(tài)。

10、根據(jù)本發(fā)明的鐵路列車故障圖像智能識(shí)別系統(tǒng)的性能測(cè)試方法，過(guò)車任務(wù)中通過(guò)查詢車輛信息表sql文件，按設(shè)定輛序并根據(jù)過(guò)車時(shí)間間隔插入測(cè)試樣本；

11、所述列車過(guò)站模擬模塊根據(jù)過(guò)車任務(wù)將對(duì)應(yīng)測(cè)試樣本復(fù)制到ftp服務(wù)器路徑下，供故障圖像智能識(shí)別系統(tǒng)使用；

12、所述列車過(guò)站模擬模塊采用分布式方式執(zhí)行測(cè)試任務(wù)，采用python語(yǔ)言實(shí)現(xiàn)；每個(gè)列車過(guò)站模擬模塊對(duì)應(yīng)不同的服務(wù)器。

13、根據(jù)本發(fā)明的鐵路列車故障圖像智能識(shí)別系統(tǒng)的性能測(cè)試方法，性能監(jiān)控模塊實(shí)時(shí)監(jiān)控故障圖像智能識(shí)別系統(tǒng)腳本，每30秒收集一次服務(wù)器和故障圖像智能識(shí)別系統(tǒng)的各項(xiàng)性能指標(biāo)數(shù)據(jù)；

14、服務(wù)器性能指標(biāo)數(shù)據(jù)包括cpu使用率、gpu使用率、內(nèi)存占用率、gpu頻率、磁盤吞吐量、cpu溫度、gpu溫度和網(wǎng)絡(luò)吞吐量；

15、故障圖像智能識(shí)別系統(tǒng)的性能指標(biāo)數(shù)據(jù)包括軟件程序線程數(shù)和內(nèi)存占用率。

16、根據(jù)本發(fā)明的鐵路列車故障圖像智能識(shí)別系統(tǒng)的性能測(cè)試方法，在故障圖像智能識(shí)別系統(tǒng)進(jìn)行故障識(shí)別的過(guò)程中，采用性能監(jiān)控模塊通過(guò)shell腳本和python腳本實(shí)時(shí)收集各項(xiàng)性能指標(biāo)數(shù)據(jù)；

17、使用iostat命令獲取cpu使用率、磁盤吞吐量和任務(wù)隊(duì)列數(shù)；使用free命令獲取內(nèi)存占用率和緩存占用率；使用nvidia-smi命令獲取gpu使用率、gpu溫度和gpu頻率；使用ps命令獲取故障圖像智能識(shí)別系統(tǒng)的內(nèi)存使用率和程序線程數(shù)；使用sar命令獲取網(wǎng)絡(luò)吞吐量；

18、將性能監(jiān)控模塊的腳本部署至選定服務(wù)器中，設(shè)定性能監(jiān)控模塊為開(kāi)機(jī)自啟動(dòng)，按設(shè)定采樣時(shí)間間隔獲取性能指標(biāo)數(shù)據(jù)，并將性能指標(biāo)數(shù)據(jù)存儲(chǔ)至mysql數(shù)據(jù)庫(kù)中。

19、根據(jù)本發(fā)明的鐵路列車故障圖像智能識(shí)別系統(tǒng)的性能測(cè)試方法，在性能監(jiān)控模塊中，對(duì)各項(xiàng)性能指標(biāo)數(shù)據(jù)設(shè)定告警閾值，當(dāng)采集的性能指標(biāo)數(shù)據(jù)超過(guò)告警閾值時(shí)，產(chǎn)生報(bào)警信號(hào)，并在可視化平臺(tái)上顯示；

20、性能監(jiān)控模塊按設(shè)定時(shí)間步長(zhǎng)檢查故障圖像智能識(shí)別系統(tǒng)的日志腳本程序，當(dāng)日志中出現(xiàn)error或ret≠0時(shí)，將當(dāng)前日志信息發(fā)送至可視化平臺(tái)進(jìn)行顯示，作為故障圖像智能識(shí)別系統(tǒng)問(wèn)題進(jìn)程狀態(tài)的判斷數(shù)據(jù)；

21、性能監(jiān)控模塊實(shí)時(shí)監(jiān)控rabbitmq隊(duì)列消息腳本，使用rabbitmqctl實(shí)時(shí)查看服務(wù)器rabbitmq狀態(tài)及消費(fèi)數(shù)據(jù)，并在可視化平臺(tái)上顯示。

22、根據(jù)本發(fā)明的鐵路列車故障圖像智能識(shí)別系統(tǒng)的性能測(cè)試方法，性能指標(biāo)趨勢(shì)圖為以時(shí)間軸為橫坐標(biāo)，以性能指標(biāo)數(shù)據(jù)項(xiàng)為縱坐標(biāo)的拆線圖；

23、根據(jù)性能指標(biāo)趨勢(shì)圖中服務(wù)器對(duì)應(yīng)的性能指標(biāo)數(shù)據(jù)，分析硬件資源使用情況趨勢(shì)和不同廠家服務(wù)器性能；

24、結(jié)合過(guò)車時(shí)間對(duì)應(yīng)的同時(shí)過(guò)車列車數(shù)量，根據(jù)故障圖像智能識(shí)別系統(tǒng)運(yùn)行對(duì)應(yīng)的性能指標(biāo)趨勢(shì)圖中相應(yīng)性能指標(biāo)數(shù)據(jù)，對(duì)故障圖像智能識(shí)別系統(tǒng)進(jìn)行多維度性能評(píng)估。

25、根據(jù)本發(fā)明的鐵路列車故障圖像智能識(shí)別系統(tǒng)的性能測(cè)試方法，根據(jù)性能指標(biāo)趨勢(shì)圖進(jìn)行圖像智能識(shí)別系統(tǒng)的性能分析包括：

26、根據(jù)內(nèi)存占用率、gpu使用率、磁盤吞吐量和cpu使用率，評(píng)估故障圖像智能識(shí)別系統(tǒng)的性能表現(xiàn)和性能瓶頸；

27、選擇設(shè)定長(zhǎng)時(shí)段的性能指標(biāo)趨勢(shì)圖，評(píng)估故障圖像智能識(shí)別系統(tǒng)的長(zhǎng)時(shí)間運(yùn)行穩(wěn)定性；

28、選擇不同測(cè)試環(huán)境和條件下的性能指標(biāo)趨勢(shì)圖，評(píng)估故障圖像智能識(shí)別系統(tǒng)的可重復(fù)性能。

29、本發(fā)明的有益效果：本發(fā)明方法可用于智能識(shí)別系統(tǒng)發(fā)布前的性能測(cè)試，具有較高的測(cè)試準(zhǔn)確性和測(cè)試效率，能夠確保測(cè)試對(duì)象的穩(wěn)定性，具體為：

30、通過(guò)自動(dòng)生成測(cè)試用例并進(jìn)行實(shí)時(shí)性能分析，能夠更準(zhǔn)確地模擬實(shí)際使用場(chǎng)景，進(jìn)而更可靠地評(píng)估智能識(shí)別系統(tǒng)的性能，具有高準(zhǔn)確性和可靠性。

31、通過(guò)分布式測(cè)試手段，顯著減少人工干預(yù)和測(cè)試執(zhí)行時(shí)間，可節(jié)省時(shí)間和人力資源成本。

32、本發(fā)明方法的設(shè)計(jì)考慮到未來(lái)技術(shù)的發(fā)展和需求的變化，具有很高的靈活性和可擴(kuò)展性，可以與各種形式的鐵路列車故障圖像智能識(shí)別系統(tǒng)的測(cè)試場(chǎng)景和需求相匹配。

33、本發(fā)明方法可以智能化的實(shí)現(xiàn)測(cè)試優(yōu)化，可以根據(jù)測(cè)試結(jié)果調(diào)整測(cè)試參數(shù)和策略，以達(dá)到最佳的測(cè)試效果，從而提高測(cè)試效率和準(zhǔn)確性。

34、本發(fā)明方法可以實(shí)現(xiàn)系統(tǒng)全面的性能評(píng)估，不僅涵蓋服務(wù)器性能測(cè)試，還包括識(shí)別系統(tǒng)本身性能的測(cè)試，根據(jù)測(cè)試結(jié)果可確保系統(tǒng)在各種負(fù)載和環(huán)境下穩(wěn)定運(yùn)行。

35、本發(fā)明方法能夠?qū)崿F(xiàn)智能識(shí)別系統(tǒng)的風(fēng)險(xiǎn)預(yù)測(cè)和預(yù)防，它通過(guò)實(shí)時(shí)性能分析和智能優(yōu)化，提前預(yù)測(cè)潛在的性能問(wèn)題，可指導(dǎo)采取措施進(jìn)行故障預(yù)防，從而降低智能識(shí)別系統(tǒng)發(fā)布后的風(fēng)險(xiǎn)。