一種監(jiān)控上傳文件的方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及的是一種監(jiān)控上傳文件的方法和系統(tǒng)。
【背景技術(shù)】
[0002] 隨著移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展，采用智能終端上網(wǎng)的用戶越來越多，如圖1所示，移 動(dòng)用戶上網(wǎng)記錄查詢分析系統(tǒng)可以實(shí)現(xiàn)移動(dòng)終端3G上網(wǎng)數(shù)據(jù)的存儲(chǔ)和查詢，為用戶提供 上網(wǎng)計(jì)費(fèi)話單憑證，以及為市場營銷提供數(shù)據(jù)支撐。該上網(wǎng)記錄查詢分析系統(tǒng)分為數(shù)據(jù)采 集子系統(tǒng)（省級）以及總部集中化系統(tǒng)，其中總部集中化系統(tǒng)又包括數(shù)據(jù)入庫子系統(tǒng)、數(shù)據(jù) 存儲(chǔ)子系統(tǒng)以及數(shù)據(jù)查詢和分析子系統(tǒng)。
[0003] 數(shù)據(jù)采集子系統(tǒng)通過分光器獲取流經(jīng)SGSN(ServingGPRSSupportNode，服務(wù) GPRS支持節(jié)點(diǎn)）和GGSN(GatewayGPRSSupportNode，網(wǎng)關(guān)GPRS支持節(jié)點(diǎn)）的移動(dòng)終端上 網(wǎng)數(shù)據(jù)流，生成上網(wǎng)記錄文件并通過FTP服務(wù)器發(fā)送給總部數(shù)據(jù)入庫子系統(tǒng)。每個(gè)上網(wǎng)記 錄文件可以包括以下信息中的一種或多種：移動(dòng)終端用戶號碼、終端類型、上網(wǎng)時(shí)間信息、 上網(wǎng)流量信息、上網(wǎng)協(xié)議類型、源地址信息、目的地址信息。
[0004] 數(shù)據(jù)入庫子系統(tǒng)是多臺FTP(FileTransferProtocal，文件傳輸協(xié)議）服務(wù)器， 負(fù)責(zé)接收各個(gè)省上傳來的上網(wǎng)記錄文件，并通過部署在上面的入庫程序?qū)τ涗浳募M(jìn)行解 析，實(shí)時(shí)寫入數(shù)據(jù)存儲(chǔ)子系統(tǒng)。
[0005] 數(shù)據(jù)存儲(chǔ)子系統(tǒng)是由多臺高性能存儲(chǔ)服務(wù)器構(gòu)成的分布式Hadoop集群，用來保 存全國匯總來的近3個(gè)月的上網(wǎng)記錄信息。
[0006] 數(shù)據(jù)查詢和分析子系統(tǒng)除了對全國31個(gè)省的客服人員提供查詢界面，還可以在 其上執(zhí)行MapReduce統(tǒng)計(jì)腳本，為總部經(jīng)分系統(tǒng)提供統(tǒng)計(jì)報(bào)表、上網(wǎng)用戶行為分析等服務(wù)。
[0007] 上網(wǎng)記錄文件作為上網(wǎng)記錄查詢分析系統(tǒng)的數(shù)據(jù)源，該文件上傳的實(shí)時(shí)性和準(zhǔn)確 性直接關(guān)系到上網(wǎng)記錄查詢分析系統(tǒng)的精確程度。例如，網(wǎng)建部需要根據(jù)某一地區(qū)的基站 上網(wǎng)流量作為網(wǎng)絡(luò)建設(shè)的數(shù)據(jù)依據(jù)，如果該地區(qū)的上網(wǎng)記錄文件沒有及時(shí)上傳到數(shù)據(jù)庫則 會(huì)誤導(dǎo)建設(shè)部門的決策。
[0008] 然而，由于數(shù)據(jù)采集子系統(tǒng)是在現(xiàn)網(wǎng)上通過分光實(shí)時(shí)采集數(shù)據(jù)，受制于各省份分 系統(tǒng)網(wǎng)絡(luò)升級、系統(tǒng)割接等客觀情況，經(jīng)常會(huì)發(fā)生采集不到數(shù)據(jù)或者延遲采集的情況。各省 份分系統(tǒng)下屬多個(gè)采集節(jié)點(diǎn)，任何一個(gè)出現(xiàn)故障，就會(huì)導(dǎo)致采集文件的缺失。FTP服務(wù)器由 于需要實(shí)時(shí)進(jìn)行大量文件的上傳、接收，頻繁的讀寫操作使得硬盤損壞在所難免。另外整套 文件上傳的流程中，涉及到的網(wǎng)元環(huán)節(jié)較多，很容易因?yàn)槟扯尉W(wǎng)絡(luò)不通導(dǎo)致文件不能及時(shí) 上傳。
[0009] 目前，通過維護(hù)人員人工監(jiān)控方式進(jìn)行上網(wǎng)記錄文件上傳監(jiān)控，維護(hù)人員定期去 查看FTP服務(wù)器每小時(shí)的日志信息，了解各省在上一個(gè)時(shí)段（比如，上個(gè)小時(shí)）一共上傳了 多少個(gè)文件，通過和歷史同期（比如，上周該時(shí)段）的文件數(shù)進(jìn)行對比來判斷上傳文件的數(shù) 量是否正常，如不正常，則再通過電話聯(lián)系省份分系統(tǒng)采集系統(tǒng)負(fù)責(zé)人進(jìn)行故障排查。
[0010] 但是，人工監(jiān)控上網(wǎng)記錄文件上傳存在以下缺點(diǎn)：
[0011] 1)問題發(fā)現(xiàn)不及時(shí)：很多網(wǎng)絡(luò)故障以及系統(tǒng)割接往往發(fā)生在夜里，維護(hù)人員通常 要等到第二天早晨才能發(fā)現(xiàn)文件沒有上傳過來。
[0012] 2)漏檢空文件：當(dāng)省份分系統(tǒng)采集機(jī)端口發(fā)生故障的時(shí)候，雖然采集不到有效的 上網(wǎng)記錄數(shù)據(jù)，但是仍然可能會(huì)按照程序生成一個(gè)小于lk內(nèi)容為空的記錄文件。所以單純 檢查上傳文件數(shù)量，難以發(fā)現(xiàn)底層故障。
[0013] 3)人工判斷省分采集系統(tǒng)的文件上傳量是否正常，或者辨識省分采集系統(tǒng)是否出 現(xiàn)文件上傳積壓，費(fèi)時(shí)費(fèi)力，而且不精確。

【發(fā)明內(nèi)容】

[0014] 本發(fā)明所要解決的技術(shù)問題是提供一種監(jiān)控上傳文件的方法和系統(tǒng)，能夠自動(dòng)監(jiān) 控?cái)?shù)據(jù)采集子系統(tǒng)的文件上傳處理是否運(yùn)行正常，提高數(shù)據(jù)采集系統(tǒng)故障排查的實(shí)時(shí)性和 準(zhǔn)確性。
[0015] 為了解決上述技術(shù)問題，本發(fā)明提供了一種監(jiān)控上傳文件的方法，該方法包括：
[0016] 獲取統(tǒng)計(jì)時(shí)段內(nèi)數(shù)據(jù)采集子系統(tǒng)的文件上傳信息；
[0017] 根據(jù)獲取的信息判斷所述數(shù)據(jù)采集子系統(tǒng)在所述統(tǒng)計(jì)時(shí)段內(nèi)是否運(yùn)行正常；
[0018] 在判定所述數(shù)據(jù)采集子系統(tǒng)運(yùn)行不正常時(shí)，進(jìn)行告警處理。
[0019] 進(jìn)一步地，該方法還包括下述特點(diǎn)：
[0020] 獲取統(tǒng)計(jì)時(shí)段內(nèi)數(shù)據(jù)采集子系統(tǒng)的文件上傳信息，包括：
[0021] 生成文件接收記錄，所述文件接收記錄中的每一條記錄對應(yīng)一個(gè)文件的上傳信 息；
[0022] 根據(jù)所述文件接收記錄確定統(tǒng)計(jì)時(shí)段內(nèi)數(shù)據(jù)采集子系統(tǒng)的文件上傳情況。
[0023] 進(jìn)一步地，該方法還包括下述特點(diǎn)：
[0024] 所述文件上傳信息包含以下信息的一種或多種：
[0025] 文件的接收時(shí)間信息、上傳文件的服務(wù)器的地址信息、文件大小信息和文件的創(chuàng) 建時(shí)間信息。
[0026] 進(jìn)一步地，該方法還包括下述特點(diǎn)：
[0027] 所述根據(jù)所述文件接收記錄確定統(tǒng)計(jì)時(shí)段內(nèi)數(shù)據(jù)采集子系統(tǒng)的文件上傳情況，包 括：
[0028] 根據(jù)所述文件接收記錄檢查所述數(shù)據(jù)采集子系統(tǒng)在統(tǒng)計(jì)時(shí)段內(nèi)上傳的文件的文 件大小，將所述文件大小小于第一閾值的文件判定為空文件，對空文件的數(shù)量進(jìn)行統(tǒng)計(jì)；和 /或
[0029] 根據(jù)所述文件接收記錄統(tǒng)計(jì)所述數(shù)據(jù)采集子系統(tǒng)在統(tǒng)計(jì)時(shí)段內(nèi)上傳的文件的總 數(shù)；和/或
[0030] 根據(jù)所述文件接收記錄統(tǒng)計(jì)所述數(shù)據(jù)采集子系統(tǒng)在統(tǒng)計(jì)時(shí)段內(nèi)新生成并上傳的 文件的數(shù)量。
[0031] 進(jìn)一步地，該方法還包括下述特點(diǎn)：
[0032] 所述根據(jù)獲取的信息判斷所述數(shù)據(jù)采集子系統(tǒng)在所述統(tǒng)計(jì)時(shí)段內(nèi)是否運(yùn)行正常， 包括：
[0033] 如所述數(shù)據(jù)采集子系統(tǒng)在統(tǒng)計(jì)時(shí)段內(nèi)上傳的空文件數(shù)量超過第二閾值，則判定所 述數(shù)據(jù)采集子系統(tǒng)運(yùn)行異常；和/或
[0034] 如所述數(shù)據(jù)采集子系統(tǒng)在統(tǒng)計(jì)時(shí)段內(nèi)上傳的文件總數(shù)N與所述數(shù)據(jù)采集子系統(tǒng) 在歷史同期內(nèi)上傳的文件總數(shù)的加權(quán)平均值S的差的絕對值|N-S|超過第三閾值，則判定 所述數(shù)據(jù)采集子系統(tǒng)運(yùn)行異常；和/或
[0035] 如所述數(shù)據(jù)采集子系統(tǒng)在統(tǒng)計(jì)時(shí)段內(nèi)新生成并上傳的文件的數(shù)量M與所述數(shù)據(jù) 采集子系統(tǒng)在統(tǒng)計(jì)時(shí)段內(nèi)上傳的文件總數(shù)N的比值M/N的值小于第四閾值，則判定所述數(shù) 據(jù)采集子系統(tǒng)存在文件積壓，屬于運(yùn)行異常。
[0036] 進(jìn)一步地，該方法還