本發(fā)明涉及數(shù)據(jù)管理中數(shù)據(jù)質(zhì)量管理，具體涉及一種基于置信區(qū)間的數(shù)據(jù)體量評(píng)估方法。
背景技術(shù)：
：：1、在數(shù)據(jù)分析和數(shù)據(jù)管理中，數(shù)據(jù)體量的正確性對(duì)于確保分析結(jié)果的準(zhǔn)確性和可靠性至關(guān)重要。然而，現(xiàn)有的方法主要依賴于數(shù)據(jù)分析人員的經(jīng)驗(yàn)和直覺(jué)來(lái)判斷數(shù)據(jù)體量是否異常，這種方法極度依賴于數(shù)據(jù)分析人員對(duì)數(shù)據(jù)熟悉程度，當(dāng)數(shù)據(jù)表類目繁多時(shí)，靠人工核驗(yàn)是不可取的。因此，需要一種基于置信區(qū)間的數(shù)據(jù)體量評(píng)估方法和系統(tǒng)解決此問(wèn)題。技術(shù)實(shí)現(xiàn)思路1、鑒于上述問(wèn)題，提出了本發(fā)明以便提供一種克服上述問(wèn)題或者至少部分地解決上述問(wèn)題的一種基于置信區(qū)間的數(shù)據(jù)體量評(píng)估方法。2、為了解決上述技術(shù)問(wèn)題，本申請(qǐng)實(shí)施例公開(kāi)了如下技術(shù)方案：3、第一方面，本發(fā)明實(shí)施例公開(kāi)了一種基于置信區(qū)間的數(shù)據(jù)體量評(píng)估方法，包括：4、s100.確定需要進(jìn)行數(shù)據(jù)體量監(jiān)控的數(shù)據(jù)表t；5、s200.根據(jù)所述數(shù)據(jù)表t，新建數(shù)據(jù)表體量統(tǒng)計(jì)信息表q和數(shù)據(jù)質(zhì)量檢測(cè)表w；6、s300.按第一預(yù)設(shè)規(guī)則獲取數(shù)據(jù)表t在預(yù)設(shè)時(shí)間和預(yù)設(shè)分區(qū)的體量數(shù)據(jù)，并將所述體量數(shù)據(jù)存儲(chǔ)在所述體量統(tǒng)計(jì)信息表q中；7、s400.按第二預(yù)設(shè)規(guī)則對(duì)所述體量統(tǒng)計(jì)信息表q的體量數(shù)據(jù)進(jìn)行監(jiān)測(cè)，將監(jiān)測(cè)結(jié)果返回到數(shù)據(jù)質(zhì)量檢測(cè)表w中；8、s500.根據(jù)所述數(shù)據(jù)質(zhì)量檢測(cè)表w中監(jiān)測(cè)結(jié)果，對(duì)用戶進(jìn)行告警。9、進(jìn)一步地，s200中，所述體量統(tǒng)計(jì)信息表q包含的字段至少包括數(shù)據(jù)庫(kù)實(shí)例名instance、數(shù)據(jù)庫(kù)名db、表名table、分區(qū)pt、行數(shù)len、存儲(chǔ)大小字節(jié)size和記錄日期day。10、進(jìn)一步地，s200中，所述質(zhì)量檢測(cè)表w包含的字段至少包括數(shù)據(jù)庫(kù)實(shí)例名instance、數(shù)據(jù)庫(kù)名db、表名table、分區(qū)pt、質(zhì)量類型q_type、結(jié)果result和記錄日期day。11、進(jìn)一步地，s300中，按第一預(yù)設(shè)規(guī)則獲取數(shù)據(jù)表t在預(yù)設(shè)時(shí)間和預(yù)設(shè)分區(qū)的體量數(shù)據(jù)，具體方法包括：確定數(shù)據(jù)表t待獲取的時(shí)間范圍和分區(qū)范圍t，獲取數(shù)據(jù)表t在t日的pt(分區(qū))＝t的體量數(shù)據(jù)，并將所述體量數(shù)據(jù)存儲(chǔ)到q表中，所述第一預(yù)設(shè)規(guī)則獲取的參數(shù)為全表名和分區(qū)，返回參數(shù)是收集成功或收集失敗。12、進(jìn)一步地，s400中，按第二預(yù)設(shè)規(guī)則對(duì)所述體量統(tǒng)計(jì)信息表q的體量數(shù)據(jù)進(jìn)行監(jiān)測(cè)，具體方法包括：根據(jù)所述體量統(tǒng)計(jì)信息表q，計(jì)算t日數(shù)據(jù)表t的體量基準(zhǔn)值計(jì)算近七日數(shù)據(jù)表t數(shù)據(jù)字節(jié)數(shù)標(biāo)準(zhǔn)差σ；根據(jù)所述體量基準(zhǔn)值和字節(jié)數(shù)標(biāo)準(zhǔn)差σ，得到數(shù)據(jù)體量的置信區(qū)間ci，根據(jù)所述置信區(qū)間ci對(duì)當(dāng)日數(shù)據(jù)體量size進(jìn)行監(jiān)測(cè)。13、進(jìn)一步地，所述體量基準(zhǔn)值計(jì)算公式為：14、15、16、17、其中，表示t日行數(shù)估計(jì)值，表示t日字節(jié)數(shù)估計(jì)值，δ表示近7日數(shù)據(jù)表t每行平均字節(jié)數(shù)，si表示字節(jié)數(shù)，li表示行數(shù)；t-1表示t日的前一日，t-2表是t日的前2日，t-7表是t日的前7日。18、進(jìn)一步地，所述字節(jié)數(shù)標(biāo)準(zhǔn)差σ計(jì)算公式為：19、20、21、其中，t-1表示t日的前一日，t-7表是t日的前7日，si表示字節(jié)數(shù)，μ表示7日數(shù)據(jù)字節(jié)平均值，σ表示字節(jié)數(shù)標(biāo)準(zhǔn)差。22、進(jìn)一步地，所述數(shù)據(jù)體量的置信區(qū)間如果當(dāng)日數(shù)據(jù)體量size落在ci區(qū)間內(nèi)，則判斷該日數(shù)據(jù)體量檢測(cè)通過(guò)，如果數(shù)據(jù)體量則認(rèn)為判斷該日數(shù)據(jù)體量下溢出；如果數(shù)據(jù)體量則認(rèn)為判斷該日數(shù)據(jù)體量上溢出。23、進(jìn)一步地，s500中，根據(jù)所述數(shù)據(jù)質(zhì)量檢測(cè)表w中監(jiān)測(cè)結(jié)果，對(duì)用戶進(jìn)行告警；具體方法包括：當(dāng)所述數(shù)據(jù)質(zhì)量檢測(cè)表w中監(jiān)測(cè)結(jié)果為下溢出時(shí)，判定為數(shù)據(jù)體量監(jiān)控的數(shù)據(jù)表t存在大量空值或數(shù)據(jù)源接入數(shù)據(jù)不完整，對(duì)用戶進(jìn)行告警；當(dāng)所述數(shù)據(jù)質(zhì)量檢測(cè)表w中監(jiān)測(cè)結(jié)果為上溢出時(shí)，判定為存在重復(fù)數(shù)據(jù)，對(duì)用戶進(jìn)行告警。24、第二方面，本發(fā)明實(shí)施例公開(kāi)了一種電子設(shè)備，包括：25、一個(gè)或多個(gè)處理器；26、存儲(chǔ)器，用于存儲(chǔ)一個(gè)或多個(gè)程序；27、當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)所述數(shù)據(jù)體量評(píng)估的方法。28、本發(fā)明實(shí)施例提供的上述技術(shù)方案的有益效果至少包括：29、本發(fā)明公開(kāi)的一種基于置信區(qū)間的數(shù)據(jù)體量評(píng)估方法，其特征在于，包括：確定需要進(jìn)行數(shù)據(jù)體量監(jiān)控的數(shù)據(jù)表t；根據(jù)所述數(shù)據(jù)表t，新建數(shù)據(jù)表體量統(tǒng)計(jì)信息表q和數(shù)據(jù)質(zhì)量檢測(cè)表w；按第一預(yù)設(shè)規(guī)則獲取數(shù)據(jù)表t在預(yù)設(shè)時(shí)間和預(yù)設(shè)分區(qū)的體量數(shù)據(jù)，并將所述體量數(shù)據(jù)存儲(chǔ)在所述體量統(tǒng)計(jì)信息表q中；按第二預(yù)設(shè)規(guī)則對(duì)所述體量統(tǒng)計(jì)信息表q的體量數(shù)據(jù)進(jìn)行監(jiān)測(cè)，將監(jiān)測(cè)結(jié)果返回到數(shù)據(jù)質(zhì)量檢測(cè)表w中；根據(jù)所述數(shù)據(jù)質(zhì)量檢測(cè)表w中監(jiān)測(cè)結(jié)果，對(duì)用戶進(jìn)行告警。本發(fā)明使用行數(shù)和數(shù)據(jù)字節(jié)數(shù)綜合判定數(shù)據(jù)體量是否正常，還能給出數(shù)據(jù)問(wèn)題定位，方法簡(jiǎn)單易于理解和實(shí)施。30、下面通過(guò)附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。技術(shù)特征：1.一種基于置信區(qū)間的數(shù)據(jù)體量評(píng)估方法，其特征在于，包括：2.如權(quán)利要求1所述的一種基于置信區(qū)間的數(shù)據(jù)體量評(píng)估方法，其特征在于，s200中，所述體量統(tǒng)計(jì)信息表q包含的字段至少包括數(shù)據(jù)庫(kù)實(shí)例名instance、數(shù)據(jù)庫(kù)名db、表名table、分區(qū)pt、行數(shù)len、存儲(chǔ)大小字節(jié)size和記錄日期day。3.如權(quán)利要求1所述的一種基于置信區(qū)間的數(shù)據(jù)體量評(píng)估方法，其特征在于，s200中，所述質(zhì)量檢測(cè)表w包含的字段至少包括數(shù)據(jù)庫(kù)實(shí)例名instance、數(shù)據(jù)庫(kù)名db、表名table、分區(qū)pt、質(zhì)量類型q_type、結(jié)果result和記錄日期day。4.如權(quán)利要求1所述的一種基于置信區(qū)間的數(shù)據(jù)體量評(píng)估方法，其特征在于，s300中，按第一預(yù)設(shè)規(guī)則獲取數(shù)據(jù)表t在預(yù)設(shè)時(shí)間和預(yù)設(shè)分區(qū)的體量數(shù)據(jù)，具體方法包括：確定數(shù)據(jù)表t待獲取的時(shí)間范圍和分區(qū)范圍t，獲取數(shù)據(jù)表t在t日的pt(分區(qū))＝t的體量數(shù)據(jù)，并將所述體量數(shù)據(jù)存儲(chǔ)到q表中，所述第一預(yù)設(shè)規(guī)則獲取的參數(shù)為全表名和分區(qū)，返回參數(shù)是收集成功或收集失敗。5.如權(quán)利要求1所述的一種基于置信區(qū)間的數(shù)據(jù)體量評(píng)估方法，其特征在于，s400中，按第二預(yù)設(shè)規(guī)則對(duì)所述體量統(tǒng)計(jì)信息表q的體量數(shù)據(jù)進(jìn)行監(jiān)測(cè)，具體方法包括：根據(jù)所述體量統(tǒng)計(jì)信息表q，計(jì)算t日數(shù)據(jù)表t的體量基準(zhǔn)值計(jì)算近七日數(shù)據(jù)表t數(shù)據(jù)字節(jié)數(shù)標(biāo)準(zhǔn)差σ；根據(jù)所述體量基準(zhǔn)值和字節(jié)數(shù)標(biāo)準(zhǔn)差σ，得到數(shù)據(jù)體量的置信區(qū)間ci，根據(jù)所述置信區(qū)間ci對(duì)當(dāng)日數(shù)據(jù)體量size進(jìn)行監(jiān)測(cè)。6.如權(quán)利要求5所述的一種基于置信區(qū)間的數(shù)據(jù)體量評(píng)估方法，其特征在于，所述體量基準(zhǔn)值計(jì)算公式為：7.如權(quán)利要求6所述的一種基于置信區(qū)間的數(shù)據(jù)體量評(píng)估方法，其特征在于，所述字節(jié)數(shù)標(biāo)準(zhǔn)差σ計(jì)算公式為：8.如權(quán)利要求7所述的一種基于置信區(qū)間的數(shù)據(jù)體量評(píng)估方法，其特征在于，所述數(shù)據(jù)體量的置信區(qū)間如果當(dāng)日數(shù)據(jù)體量size落在ci區(qū)間內(nèi)，則判斷該日數(shù)據(jù)體量檢測(cè)通過(guò)，如果數(shù)據(jù)體量則認(rèn)為判斷該日數(shù)據(jù)體量下溢出；如果數(shù)據(jù)體量則認(rèn)為判斷該日數(shù)據(jù)體量上溢出。9.如權(quán)利要求8所述的一種基于置信區(qū)間的數(shù)據(jù)體量評(píng)估方法，其特征在于，s500中，根據(jù)所述數(shù)據(jù)質(zhì)量檢測(cè)表w中監(jiān)測(cè)結(jié)果，對(duì)用戶進(jìn)行告警；具體方法包括：當(dāng)所述數(shù)據(jù)質(zhì)量檢測(cè)表w中監(jiān)測(cè)結(jié)果為下溢出時(shí)，判定為數(shù)據(jù)體量監(jiān)控的數(shù)據(jù)表t存在大量空值或數(shù)據(jù)源接入數(shù)據(jù)不完整，對(duì)用戶進(jìn)行告警；當(dāng)所述數(shù)據(jù)質(zhì)量檢測(cè)表w中監(jiān)測(cè)結(jié)果為上溢出時(shí)，判定為存在重復(fù)數(shù)據(jù)，對(duì)用戶進(jìn)行告警。10.一種電子設(shè)備，包括：技術(shù)總結(jié)一種基于置信區(qū)間的數(shù)據(jù)體量評(píng)估方法，其特征在于，包括：確定需要進(jìn)行數(shù)據(jù)體量監(jiān)控的數(shù)據(jù)表T；根據(jù)所述數(shù)據(jù)表T，新建數(shù)據(jù)表體量統(tǒng)計(jì)信息表Q和數(shù)據(jù)質(zhì)量檢測(cè)表W；按第一預(yù)設(shè)規(guī)則獲取數(shù)據(jù)表T在預(yù)設(shè)時(shí)間和預(yù)設(shè)分區(qū)的體量數(shù)據(jù)，并將所述體量數(shù)據(jù)存儲(chǔ)在所述體量統(tǒng)計(jì)信息表Q中；按第二預(yù)設(shè)規(guī)則對(duì)所述體量統(tǒng)計(jì)信息表Q的體量數(shù)據(jù)進(jìn)行監(jiān)測(cè)，將監(jiān)測(cè)結(jié)果返回到數(shù)據(jù)質(zhì)量檢測(cè)表W中；根據(jù)所述數(shù)據(jù)質(zhì)量檢測(cè)表W中監(jiān)測(cè)結(jié)果，對(duì)用戶進(jìn)行告警。本發(fā)明使用行數(shù)和數(shù)據(jù)字節(jié)數(shù)綜合判定數(shù)據(jù)體量是否正常，還能給出數(shù)據(jù)問(wèn)題定位，方法簡(jiǎn)單易于理解和實(shí)施。技術(shù)研發(fā)人員：龔浩,張宇,盧嘉垚,李曉聰受保護(hù)的技術(shù)使用者：南斗六星系統(tǒng)集成有限公司技術(shù)研發(fā)日：技術(shù)公布日：2024/12/10