一種數(shù)據(jù)監(jiān)控方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)監(jiān)控技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]隨著公安信息化工程的不斷建設(shè)，以及實際應(yīng)用的成效表明，數(shù)據(jù)質(zhì)量至關(guān)重要。
[0003]眾所周知，信息資源是開展信息化偵查最為重要的支撐條件。但是目前公安網(wǎng)系統(tǒng)里所存儲的信息資源質(zhì)量并不高，公安網(wǎng)上的犯罪信息良莠不齊，質(zhì)量高的和質(zhì)量低的并存。
[0004]簡而言之就是信息污染較嚴(yán)重，即信息資源混入了干擾性、欺騙性和誤導(dǎo)性的信息。雖然近幾年公安信息化建設(shè)取得了很大進(jìn)步，各地區(qū)各警種均建立各種各樣的信息系統(tǒng)，公安工作的基礎(chǔ)數(shù)據(jù)也在日益完善。如:常(暫)住人口信息，機動車信息，各種證照信息，旅館業(yè)信息，以及刑偵部門收集的大量案件、人員、物品信息等。所有這些，都為信息資源的利用奠定了堅實的基礎(chǔ)。但是，在工作中也發(fā)現(xiàn)大量虛假、夸大、重復(fù)、和過時的無用信息，這些垃圾信息與有效信息混雜在一起，降低了網(wǎng)絡(luò)信息資源的可靠性和對有效信息的判斷，嚴(yán)重影響了民警對有效信息的吸收和利用。民警為了獲得有用信息，不得不花大量的時間去閱讀那些無關(guān)的信息，容易導(dǎo)致無功而返。
[0005]主要表現(xiàn)如下:
[0006]1、數(shù)據(jù)錄入隨意性大，應(yīng)采必采、當(dāng)錄必錄的要求不嚴(yán)，致使缺項多、差錯多。
[0007]以案件信息為例，案件信息的不報、漏報、錯報問題就十分突出。如有一個抓如實立案的典型單位，一年間補立年前案件和隱漏案件就多達(dá)1000多起。
[0008]2、不嚴(yán)格遵循數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，或標(biāo)準(zhǔn)修訂滯后，給跨地區(qū)、跨系統(tǒng)數(shù)據(jù)整合、清理帶來很多困難，大量信息冗余。
[0009]目前，隨著各單位各部門之間都開發(fā)了一些專業(yè)軟件系統(tǒng)。但由于不嚴(yán)格遵循數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范，數(shù)據(jù)共享性差，數(shù)據(jù)格式不同，重復(fù)和多余現(xiàn)象經(jīng)常出現(xiàn)。在跨系統(tǒng)數(shù)據(jù)整合時會產(chǎn)生大量的信息冗余，這些多余重復(fù)的無用信息，非但不能給人們以新的認(rèn)識，反而還成為人們認(rèn)識領(lǐng)域的障礙，給信息的甄別帶來困難，讓民警在分析研判時無從著手。
[0010]3、缺乏責(zé)任機制確保數(shù)據(jù)質(zhì)量的約束機制和激勵機制尚不健全。
[0011]特別是前幾年，“各級加快推進(jìn)信息化建設(shè)，經(jīng)常組織開展集中突擊式的信息資源采集，在短時間內(nèi)完成海量數(shù)據(jù)的采集錄入，但由于部分民警的信息化應(yīng)用技能較低、培訓(xùn)學(xué)習(xí)不夠，又缺乏科學(xué)合理的約束機制、考核標(biāo)準(zhǔn)來保證信息采集的質(zhì)量和信息錄入的規(guī)范化，致使部分單位和個人片面追求考核指標(biāo)中的數(shù)據(jù)數(shù)量指標(biāo)，忽視數(shù)據(jù)質(zhì)量，甚至采取一些投機取巧的辦法加大數(shù)據(jù)量，在系統(tǒng)中錄入了大量的垃圾信息；少數(shù)單位仍然存在輔警或聘用人員錄入數(shù)據(jù)的情況，也可能造成錄入數(shù)據(jù)與原始數(shù)據(jù)有所偏差”。

【發(fā)明內(nèi)容】

[0012]為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種數(shù)據(jù)監(jiān)控方法，對多個數(shù)據(jù)庫之間的數(shù)據(jù)表及其數(shù)據(jù)進(jìn)行關(guān)聯(lián)監(jiān)控，通過具體的監(jiān)控規(guī)則達(dá)到監(jiān)控數(shù)據(jù)是否異常的目的，并且能在監(jiān)控報告中直觀地查看監(jiān)控結(jié)果和是否有異常告警信息。
[0013]為解決上述問題，本發(fā)明所采用的技術(shù)方案如下:
[0014]一種數(shù)據(jù)監(jiān)控方法，包括以下步驟:
[0015]步驟A:分別與多個數(shù)據(jù)庫建立連接，以讀取數(shù)據(jù)庫中的數(shù)據(jù)表和數(shù)據(jù)表中的數(shù)據(jù)；
[0016]步驟B:根據(jù)監(jiān)控任務(wù)中的監(jiān)控規(guī)則對數(shù)據(jù)庫中的數(shù)據(jù)表及其數(shù)據(jù)表中的數(shù)據(jù)進(jìn)行監(jiān)控；
[0017]步驟C:完成監(jiān)控任務(wù)后，輸出監(jiān)控報告。
[0018]進(jìn)一步地，監(jiān)控任務(wù)的設(shè)置步驟如下:
[0019]接收針對數(shù)據(jù)表中的字段設(shè)置監(jiān)控規(guī)則的請求；
[0020]將被選擇的字段與被選擇的監(jiān)控規(guī)則進(jìn)行綁定；
[0021]針對綁定后的字段和監(jiān)控規(guī)則生成監(jiān)控任務(wù)；
[0022]其中，監(jiān)控規(guī)則包括同表自查規(guī)則、同表聯(lián)查規(guī)則和異表聯(lián)查規(guī)則中的一種或多種，同表自查規(guī)則為對數(shù)據(jù)表中當(dāng)前被選定的字段中的數(shù)據(jù)進(jìn)行監(jiān)控，同表聯(lián)查規(guī)則為對同一數(shù)據(jù)表中被選定的多個字段中的數(shù)據(jù)之間的關(guān)系進(jìn)行監(jiān)控，異表聯(lián)查規(guī)則為對當(dāng)前數(shù)據(jù)表中被選定的字段中的數(shù)據(jù)與另一數(shù)據(jù)表中被選定的字段中的數(shù)據(jù)之間的關(guān)系進(jìn)行監(jiān)控。
[0023]進(jìn)一步地，將被選擇的字段與被選擇的監(jiān)控規(guī)則進(jìn)行綁定的步驟如下:
[0024]將被選擇的監(jiān)控規(guī)則中的sql語句轉(zhuǎn)換為相應(yīng)的文字描述語句，并將文字描述語句中的參數(shù)設(shè)為可調(diào)參數(shù)，參數(shù)為字段名；
[0025]接收設(shè)置可調(diào)參數(shù)的請求；
[0026]將被選擇的可調(diào)參數(shù)中的內(nèi)容設(shè)為被選擇的字段名；
[0027]將經(jīng)過設(shè)置可調(diào)參數(shù)的文字描述語句再轉(zhuǎn)換為相應(yīng)的sql語句。
[0028]進(jìn)一步地，監(jiān)控任務(wù)的設(shè)置步驟如下:
[0029]接收針對兩個數(shù)據(jù)表設(shè)置監(jiān)控規(guī)則的請求，監(jiān)控規(guī)則為對兩個數(shù)據(jù)表之間的數(shù)據(jù)量一致性進(jìn)行監(jiān)控；
[0030]將兩個被選擇的數(shù)據(jù)表進(jìn)行綁定，兩個被選擇的數(shù)據(jù)表位于同一數(shù)據(jù)庫或者位于不同數(shù)據(jù)庫；
[0031 ] 針對綁定后的兩個數(shù)據(jù)表生成監(jiān)控任務(wù)。
[0032]進(jìn)一步地，監(jiān)控任務(wù)的設(shè)置步驟如下:
[0033]接收針對單個數(shù)據(jù)表設(shè)置監(jiān)控規(guī)則的請求，監(jiān)控規(guī)則為對數(shù)據(jù)表的數(shù)據(jù)增量進(jìn)行監(jiān)控；
[0034]根據(jù)監(jiān)控規(guī)則中所設(shè)置的閾值生成監(jiān)控任務(wù)。
[0035]進(jìn)一步地，在步驟B中，監(jiān)控任務(wù)中包括監(jiān)控任務(wù)執(zhí)行頻率設(shè)置、監(jiān)控任務(wù)執(zhí)行次數(shù)設(shè)置和監(jiān)控任務(wù)執(zhí)行時間設(shè)置；在步驟C中，每完成一次監(jiān)控任務(wù)，便輸出一份監(jiān)控報生口 ο
[0036]進(jìn)一步地，將步驟B中的監(jiān)控規(guī)則標(biāo)記為告警規(guī)則，當(dāng)該監(jiān)控規(guī)則所對應(yīng)的數(shù)據(jù)表或者數(shù)據(jù)不滿足該監(jiān)控規(guī)則，則在步驟C的監(jiān)控報告中生成相應(yīng)的告警信息。
[0037]進(jìn)一步地，在步驟C之后還包括以下步驟:
[0038]步驟D:根據(jù)告警信息所對應(yīng)的數(shù)據(jù)表讀取該數(shù)據(jù)表的負(fù)責(zé)人的聯(lián)系信息，利用聯(lián)系信息向負(fù)責(zé)人發(fā)送告警信息。
[0039]進(jìn)一步地，與數(shù)據(jù)庫建立連接的步驟如下:
[0040]讀取由用戶填入的數(shù)據(jù)庫連接信息；
[0041]根據(jù)數(shù)據(jù)庫類型讀取相應(yīng)的驅(qū)動包；
[0042]利用數(shù)據(jù)庫連接信息和讀取的驅(qū)動包向?qū)?yīng)的數(shù)據(jù)庫發(fā)起連接；
[0043]若連接失敗，則返回連接錯誤信息；
[0044]若連接成功，則讀取該數(shù)據(jù)庫中的表結(jié)構(gòu)信息。
[0045]進(jìn)一步地，數(shù)據(jù)庫連接信息包括:數(shù)據(jù)庫URL、數(shù)據(jù)庫用戶名和數(shù)據(jù)庫密碼。
[0046]相比現(xiàn)有技術(shù)，本發(fā)明的有益效果在于:1、支持多種類型的數(shù)據(jù)庫連接，通過注冊的方式將所需的數(shù)據(jù)表及其數(shù)據(jù)納入監(jiān)控范圍內(nèi)。2、提供三種類型的數(shù)據(jù)監(jiān)控規(guī)則，分別為同表自查規(guī)則、同表聯(lián)查規(guī)則和異表聯(lián)查規(guī)則，通過三種規(guī)則可將所有數(shù)據(jù)庫中的數(shù)據(jù)表的字段進(jìn)行關(guān)聯(lián)監(jiān)控，使監(jiān)控范圍最大化。3、針對三種類型的數(shù)據(jù)監(jiān)控規(guī)則設(shè)定了大量的預(yù)設(shè)監(jiān)控規(guī)則，覆蓋了常見的數(shù)據(jù)完整性、一致性、有效性、唯一性和關(guān)聯(lián)性問題，同時也提供了自定義監(jiān)控規(guī)則的方式供用戶根據(jù)業(yè)務(wù)的需求進(jìn)行規(guī)則的擴(kuò)充和更新。4、除了針對字段的監(jiān)控規(guī)則，還設(shè)有數(shù)據(jù)表之間的數(shù)據(jù)量一致性的監(jiān)控規(guī)則，以及數(shù)據(jù)表的數(shù)據(jù)增量異常的監(jiān)控規(guī)則。5、對于生成的監(jiān)控任務(wù)可以根據(jù)實際業(yè)務(wù)需求對任務(wù)的執(zhí)行頻率、執(zhí)行次數(shù)、執(zhí)行開始時間和執(zhí)行結(jié)束時間等常規(guī)設(shè)置項進(jìn)行設(shè)置。6、對于被標(biāo)記為告警規(guī)則的監(jiān)控規(guī)則，在輸出監(jiān)控報告時也輸出相應(yīng)的告警信息，并且通過告警信息可讀取問題數(shù)據(jù)源頭，還可以將告警信息發(fā)送至相關(guān)的負(fù)責(zé)人，以提醒負(fù)責(zé)人核查問題數(shù)據(jù)。
【附圖說明】
[0047]圖1為本發(fā)明的數(shù)據(jù)監(jiān)控方法的流程圖。
【具體實施方式】
[0048]下面，結(jié)合附圖以及【具體實施方式】，對本發(fā)明做進(jìn)一步描述:
[0049]本發(fā)明的數(shù)據(jù)監(jiān)控方法主要針對不同地區(qū)的不同公安部門所建立的數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)進(jìn)行關(guān)聯(lián)監(jiān)控，目前的公安部門所建立的數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)均由不同的數(shù)據(jù)負(fù)責(zé)人進(jìn)行錄入和管理，會存在數(shù)據(jù)質(zhì)量高低不平的情況，其中可能存在一些虛假、重復(fù)或者過期數(shù)據(jù)，這些數(shù)據(jù)可以理解為垃圾數(shù)據(jù)，與有效數(shù)據(jù)混在一起將大大降低數(shù)據(jù)系統(tǒng)的數(shù)據(jù)可靠性和有效性，嚴(yán)重影響了有效數(shù)據(jù)的利用率，或者有些數(shù)據(jù)并沒有錄入系統(tǒng)，因此公安人員在辦案時，會出現(xiàn)讀取不到相關(guān)數(shù)據(jù)的情況，或者需要花大量時間在混雜了垃圾數(shù)據(jù)的數(shù)據(jù)庫中讀取有效數(shù)據(jù)的過程。因此需要建立一個數(shù)據(jù)監(jiān)控系統(tǒng)，利用其中的數(shù)據(jù)監(jiān)控方法對多個數(shù)據(jù)庫之間的數(shù)據(jù)表及其數(shù)據(jù)進(jìn)行關(guān)聯(lián)監(jiān)控，通過具體的監(jiān)控規(guī)則達(dá)到監(jiān)控數(shù)據(jù)是否異常的目的，并且能在監(jiān)控報告中