專利名稱：一種自適應(yīng)性的高效處理海量數(shù)據(jù)入庫(kù)的系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明屬于信息技術(shù)領(lǐng)域，具體涉及一種自適應(yīng)性的高效處理海量數(shù)據(jù)入庫(kù)的系統(tǒng)及方法，主要用于提高海量數(shù)據(jù)庫(kù)入庫(kù)性能。
背景技術(shù)：
隨著計(jì)算機(jī)和網(wǎng)絡(luò)通信技術(shù)的飛速發(fā)展，企業(yè)要處理的數(shù)據(jù)爆炸式的增長(zhǎng)，數(shù)據(jù)量都達(dá)到了 TB級(jí)、PB級(jí)。在電信和互聯(lián)網(wǎng)等行業(yè)里，數(shù)據(jù)接入、數(shù)據(jù)入庫(kù)、數(shù)據(jù)應(yīng)用是企業(yè)架構(gòu)的重要組成部分。而數(shù)據(jù)接入、數(shù)據(jù)入庫(kù)是產(chǎn)品前端部署，如何將接入數(shù)據(jù)高效、準(zhǔn)確、及時(shí)入庫(kù)是許多企業(yè)面對(duì)的難題。 按面向?qū)ο蟮牟煌?，從?shù)據(jù)接入的角度出發(fā)可以分為主動(dòng)和被動(dòng)兩種模式。主動(dòng)方式，主動(dòng)通過程序向數(shù)據(jù)庫(kù)服務(wù)器發(fā)送數(shù)據(jù)。被動(dòng)方式，被動(dòng)等待數(shù)據(jù)入庫(kù)服務(wù)器與之建立連接處理接入設(shè)備上數(shù)據(jù)。前者需要額外進(jìn)行搬運(yùn)程序開發(fā)和增加硬件中轉(zhuǎn)服務(wù)器，后者只需數(shù)據(jù)庫(kù)服務(wù)器與數(shù)據(jù)接入設(shè)備建立連接通道。大多數(shù)企業(yè)應(yīng)用后者，在部署時(shí)依據(jù)以往的測(cè)試結(jié)論及經(jīng)驗(yàn)將所有數(shù)據(jù)接入設(shè)備根據(jù)數(shù)據(jù)庫(kù)數(shù)量均勻分配，按照確定的配比數(shù)量，使數(shù)據(jù)接入設(shè)備與數(shù)據(jù)庫(kù)固化形成相互獨(dú)立的數(shù)據(jù)處理通道，提供高效、持續(xù)的數(shù)據(jù)處理能力，如圖I所示。但實(shí)際數(shù)據(jù)在時(shí)間和空間分布上往往具有較大的波動(dòng)性，隨著數(shù)據(jù)壓力的增大，這類系統(tǒng)的問題也逐漸顯現(xiàn)，海量處理性能下降。經(jīng)過一段時(shí)間應(yīng)用后發(fā)現(xiàn)上述系統(tǒng)結(jié)構(gòu)僵化、缺乏靈活性，隨著骨干網(wǎng)技術(shù)飛快發(fā)展POS技術(shù)(Packet over S0NET/SDH的縮寫，這是一種利用S0NET/SDH提供的高速傳輸通道直接傳送IP數(shù)據(jù)包的技術(shù))不斷擴(kuò)容及數(shù)據(jù)量的成倍增加，該配置方案已逐漸落后于系統(tǒng)數(shù)據(jù)處理的需求，僵化的固定配比和數(shù)據(jù)流路徑面對(duì)復(fù)雜的應(yīng)用環(huán)境顯得力不從心。系統(tǒng)的負(fù)載越來越大，忙閑不均造成數(shù)據(jù)處理的壓力在關(guān)鍵位置成倍增加，系統(tǒng)總體性能隨之下降。對(duì)系統(tǒng)造成的性能瓶頸，往往超出用戶能承受的范圍。

發(fā)明內(nèi)容
本發(fā)明的目的是針對(duì)上述問題，提供一種自適應(yīng)性的高效處理海量數(shù)據(jù)入庫(kù)的系統(tǒng)及方法，解決接入設(shè)備與數(shù)據(jù)庫(kù)服務(wù)器固定入庫(kù)配比無法及時(shí)處理TB級(jí)、PB級(jí)海量數(shù)據(jù)的問題，將數(shù)據(jù)入庫(kù)配比活化，實(shí)現(xiàn)海量數(shù)據(jù)入庫(kù)負(fù)載均衡，提高數(shù)據(jù)庫(kù)入庫(kù)性能。為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案—種自適應(yīng)性的高效處理海量數(shù)據(jù)入庫(kù)的系統(tǒng)，包括數(shù)據(jù)接入設(shè)備和與其連接的數(shù)據(jù)庫(kù)服務(wù)器，其特征在于，還包括監(jiān)控裝置和冗余數(shù)據(jù)庫(kù)服務(wù)器；所述監(jiān)控裝置連接所述數(shù)據(jù)接入設(shè)備，包括采集模塊和自適應(yīng)調(diào)度模塊；所述采集模塊負(fù)責(zé)采集并存儲(chǔ)所述數(shù)據(jù)接入設(shè)備中的數(shù)據(jù)積壓狀況信息以及所述冗余數(shù)據(jù)庫(kù)服務(wù)器的運(yùn)行狀態(tài)信息；所述自適應(yīng)調(diào)度模塊連接所述采集模塊，負(fù)責(zé)根據(jù)采集的信息改變數(shù)據(jù)接入與數(shù)據(jù)入庫(kù)配比，并向所述冗余數(shù)據(jù)庫(kù)服務(wù)器發(fā)送任務(wù)調(diào)度指令；所述冗余數(shù)據(jù)庫(kù)服務(wù)器分別連接所述監(jiān)控裝置和所述數(shù)據(jù)接入設(shè)備，用于根據(jù)所述任務(wù)調(diào)度指令輔助所述數(shù)據(jù)庫(kù)服務(wù)器進(jìn)行數(shù)據(jù)入庫(kù)及存儲(chǔ)。進(jìn)一步地，所述采集模塊包括采集器和存儲(chǔ)器，分別用于實(shí)現(xiàn)信息的采集和存儲(chǔ)。
進(jìn)一步地，所述自適應(yīng)調(diào)度模塊包括分析器，用于對(duì)所采集信息的特征值進(jìn)行對(duì)比分析，判斷其是否為有效數(shù)據(jù)，并改變數(shù)據(jù)接入與數(shù)據(jù)入庫(kù)配比；規(guī)則庫(kù)，用于根據(jù)用戶業(yè)務(wù)需要設(shè)定入庫(kù)性能指標(biāo)，對(duì)是否需要所述冗余數(shù)據(jù)庫(kù)服務(wù)器協(xié)助解決數(shù)據(jù)入庫(kù)做出界定；調(diào)度器，用于根據(jù)改變后的數(shù)據(jù)接入與數(shù)據(jù)入庫(kù)配比向所述冗余數(shù)據(jù)庫(kù)服務(wù)器發(fā)送任務(wù)調(diào)度指令。
一種自適應(yīng)性的高效處理海量數(shù)據(jù)入庫(kù)的方法，適用于上述系統(tǒng)，其步驟包括I)設(shè)置與數(shù)據(jù)接入設(shè)備連接的監(jiān)控裝置，以及分別連接所述數(shù)據(jù)接入設(shè)備和所述監(jiān)控裝置的冗余數(shù)據(jù)庫(kù)服務(wù)器；2)所述監(jiān)控裝置采集并存儲(chǔ)所述數(shù)據(jù)接入設(shè)備中的數(shù)據(jù)積壓狀況信息以及所述冗余數(shù)據(jù)庫(kù)服務(wù)器的運(yùn)行狀態(tài)信息，并根據(jù)采集的信息改變數(shù)據(jù)接入與數(shù)據(jù)入庫(kù)配比，向所述冗余數(shù)據(jù)庫(kù)服務(wù)器發(fā)送任務(wù)調(diào)度指令；3)所述冗余數(shù)據(jù)庫(kù)服務(wù)器根據(jù)所述任務(wù)調(diào)度指令輔助數(shù)據(jù)庫(kù)服務(wù)器進(jìn)行數(shù)據(jù)入庫(kù)及存儲(chǔ)。進(jìn)一步地，所述自適應(yīng)調(diào)度模塊對(duì)所采集信息的特征值進(jìn)行對(duì)比分析，判斷其是否為有效數(shù)據(jù)；并根據(jù)用戶業(yè)務(wù)需要設(shè)定入庫(kù)性能指標(biāo)，對(duì)是否需要所述冗余數(shù)據(jù)庫(kù)服務(wù)器協(xié)助解決數(shù)據(jù)入庫(kù)做出界定。進(jìn)一步地，所述任務(wù)調(diào)度指令包括執(zhí)行命令，用于使所述冗余數(shù)據(jù)庫(kù)服務(wù)器根據(jù)改變后的數(shù)據(jù)接入與數(shù)據(jù)入庫(kù)配比輔助數(shù)據(jù)庫(kù)服務(wù)器完成數(shù)據(jù)入庫(kù)；停止命令，用于使所述冗余數(shù)據(jù)庫(kù)服務(wù)器停止數(shù)據(jù)入庫(kù)操作，恢復(fù)原始狀態(tài)以便接收新的指令。本發(fā)明的高效處理海量數(shù)據(jù)入庫(kù)的系統(tǒng)及方法，通過增加監(jiān)控裝置和冗余數(shù)據(jù)庫(kù)服務(wù)器協(xié)助解決數(shù)據(jù)入庫(kù)，將傳統(tǒng)意義上的人工監(jiān)測(cè)、入庫(kù)設(shè)備配比“活化”，解決了現(xiàn)有技術(shù)中數(shù)據(jù)接入設(shè)備與數(shù)據(jù)庫(kù)服務(wù)器固定入庫(kù)配比時(shí)無法及時(shí)處理的大量海量數(shù)據(jù)的問題，強(qiáng)化了海量數(shù)據(jù)處理的靈活性，實(shí)現(xiàn)了海量數(shù)據(jù)入庫(kù)的負(fù)載均衡以及海量數(shù)據(jù)高效、準(zhǔn)確、及時(shí)入庫(kù)的目的，達(dá)到了以變應(yīng)變的效果。本發(fā)明利用有限的設(shè)備充分挖掘系統(tǒng)自身潛力，根據(jù)數(shù)據(jù)量的變化動(dòng)態(tài)改變?nèi)霂?kù)配比使其達(dá)到自動(dòng)感知、判斷、識(shí)別、管理和調(diào)度，變被動(dòng)為主動(dòng)以適應(yīng)數(shù)據(jù)的不斷變化，實(shí)現(xiàn)了數(shù)據(jù)入庫(kù)系統(tǒng)的自動(dòng)控制及管理，使系統(tǒng)整體處理能力得到較大提高，提升了客戶使用的滿意度。


圖I是現(xiàn)有技術(shù)中數(shù)據(jù)入庫(kù)系統(tǒng)的拓?fù)浣Y(jié)構(gòu)示意圖。圖2是實(shí)施例中自適應(yīng)性的高效處理海量數(shù)據(jù)入庫(kù)的系統(tǒng)的拓?fù)浣Y(jié)構(gòu)示意圖。圖3是圖2中監(jiān)控裝置的組成結(jié)構(gòu)示意圖。圖4是實(shí)施例中自適應(yīng)性的高效處理海量數(shù)據(jù)入庫(kù)的方法的步驟流程圖。
具體實(shí)施例方式下面通過具體實(shí)施例并配合附圖，對(duì)本發(fā)明做詳細(xì)的說明。
圖2是本實(shí)施例的自適應(yīng)性的高效處理海量數(shù)據(jù)入庫(kù)的系統(tǒng)的拓?fù)浣Y(jié)構(gòu)示意圖。圖中右邊部分即為現(xiàn)有技術(shù)中數(shù)據(jù)接入、數(shù)據(jù)入庫(kù)、數(shù)據(jù)應(yīng)用的部署模式，也即圖I所示結(jié)構(gòu)。為增加數(shù)據(jù)入庫(kù)的靈活性，本發(fā)明在原有系統(tǒng)(包括數(shù)據(jù)接入設(shè)備、數(shù)據(jù)庫(kù)服務(wù)器等)基礎(chǔ)上增加了監(jiān)控裝置和冗余數(shù)據(jù)庫(kù)服務(wù)器(如圖2左邊所示)。通過監(jiān)控裝置采集數(shù)據(jù)接入設(shè)備的系統(tǒng)資源及性能指標(biāo)，然后對(duì)采集的數(shù)據(jù)的特定值進(jìn)行判斷和識(shí)別預(yù)處理，從而根據(jù)數(shù)據(jù)接入設(shè)備的數(shù)據(jù)量變化，利用冗余的數(shù)據(jù)庫(kù)服務(wù)器作為機(jī)動(dòng)資源，強(qiáng)化原有入庫(kù)模式，改變數(shù)據(jù)接入與數(shù)據(jù)入庫(kù)配比，以實(shí)現(xiàn)接入設(shè)備數(shù)據(jù)量的負(fù)載均衡，實(shí)現(xiàn)數(shù)據(jù)快速、準(zhǔn)確、及時(shí)入庫(kù)。圖3是圖2中監(jiān)控裝置的組成結(jié)構(gòu)示意圖，該監(jiān)控裝置由采集模塊和自適應(yīng)調(diào)度模塊組成。采集模塊負(fù)責(zé)信息采集和存儲(chǔ)，可分成采集器、存儲(chǔ)器兩部分。自適應(yīng)調(diào)度模塊包括分析器、規(guī)則庫(kù)和調(diào)度器，分析器用于對(duì)所采集信息的特征值進(jìn)行對(duì)比分析，判斷其是否為有效數(shù)據(jù)，并改變數(shù)據(jù)接入與數(shù)據(jù)入庫(kù)配比；規(guī)則庫(kù)用于根據(jù)用戶業(yè)務(wù)需要設(shè)定入庫(kù)性能指標(biāo)，對(duì)是否需要冗余數(shù)據(jù)庫(kù)服務(wù)器協(xié)助解決數(shù)據(jù)入庫(kù)做出界定；調(diào)度器用于根據(jù)改 變后的數(shù)據(jù)接入與數(shù)據(jù)入庫(kù)配比向所述冗余數(shù)據(jù)庫(kù)服務(wù)器發(fā)送任務(wù)調(diào)度指令。自適應(yīng)調(diào)度模塊通過分析器、規(guī)則庫(kù)根據(jù)一定的特征值對(duì)采集的數(shù)據(jù)進(jìn)行相關(guān)預(yù)處理分析，從而實(shí)現(xiàn)系統(tǒng)自動(dòng)、判斷、管理，并通過調(diào)度器進(jìn)行任務(wù)分配。冗余數(shù)據(jù)庫(kù)服務(wù)器根據(jù)調(diào)度器指令進(jìn)行業(yè)務(wù)操作及處理，負(fù)責(zé)協(xié)助解決海量數(shù)據(jù)入庫(kù)，提升數(shù)據(jù)入庫(kù)速度。上述特征值包括CPU使用值、系統(tǒng)負(fù)載值、數(shù)據(jù)文件大小值等。根據(jù)規(guī)則庫(kù)判斷監(jiān)測(cè)的數(shù)據(jù)是否有效，在具體實(shí)施時(shí)，可以采集3次信息為一個(gè)集合，然后對(duì)每一次采集的信息和規(guī)則庫(kù)進(jìn)行比對(duì)，減少數(shù)據(jù)偶然性。可以根據(jù)cpu、MEN、loadavage> data指標(biāo)標(biāo)準(zhǔn)特征，依據(jù)指標(biāo)規(guī)則設(shè)定最大值及最小值進(jìn)行判斷，驗(yàn)證采集信息是否屬于數(shù)字格式等，從而判斷采集數(shù)據(jù)是否真實(shí)有效。比如采集數(shù)據(jù)cpu值大于100%、data數(shù)據(jù)大于硬盤大小、MEN大于總內(nèi)存大小、采集數(shù)據(jù)為特殊字符或字母等，取時(shí)間最近一次有效數(shù)據(jù)轉(zhuǎn)入下一個(gè)流程。規(guī)則庫(kù)根據(jù)用戶業(yè)務(wù)需要制定入庫(kù)性能指標(biāo)，默認(rèn)以配置文件方式創(chuàng)建，包括接入設(shè)備積壓指標(biāo)、系統(tǒng)負(fù)載指標(biāo)、CPU使用率指標(biāo)、內(nèi)存占用指標(biāo)、IO指標(biāo)等；進(jìn)而比對(duì)米集的數(shù)據(jù)的特征值與規(guī)則庫(kù)中的上述指標(biāo)，對(duì)是否需要冗余數(shù)據(jù)庫(kù)服務(wù)器協(xié)助解決數(shù)據(jù)入庫(kù)做出界定。圖4為本實(shí)施例的自適應(yīng)性的高效處理海量數(shù)據(jù)入庫(kù)的方法的步驟流程圖。主要步驟包括信息采集、數(shù)據(jù)匯總分析、任務(wù)分配、建立連接、執(zhí)行任務(wù)、完成任務(wù)。下面對(duì)各步驟進(jìn)行詳細(xì)說明I)信息采集如圖4中SI所示，監(jiān)控模塊建立服務(wù)器監(jiān)控連接通道，采集并獲取數(shù)據(jù)接入設(shè)備、冗余數(shù)據(jù)庫(kù)服務(wù)器的性能指標(biāo)。采集器通過監(jiān)控程序的配置需要收集系統(tǒng)服務(wù)器IP，建立連接，配置固定時(shí)間段進(jìn)行信息采集，收集服務(wù)器設(shè)備數(shù)據(jù)大小及積壓情況，包括/DATA(接入設(shè)備存放數(shù)據(jù)路徑)、(PU使用率、MEM (內(nèi)存)占用率、Load average (系統(tǒng)負(fù)載)、磁盤數(shù)據(jù)、數(shù)據(jù)庫(kù)大小等，以及冗余數(shù)據(jù)庫(kù)服務(wù)器的運(yùn)行狀態(tài)。存儲(chǔ)器對(duì)采集信息進(jìn)行存儲(chǔ)。為后續(xù)調(diào)度模塊分析、處理提供參考和依據(jù)。調(diào)度器還負(fù)責(zé)為冗余數(shù)據(jù)庫(kù)服務(wù)器進(jìn)行分組，即將冗余數(shù)據(jù)庫(kù)服務(wù)器對(duì)應(yīng)于特定的數(shù)據(jù)接入設(shè)備。2)數(shù)據(jù)匯總分析
如圖4中S2所示，自適應(yīng)調(diào)度模塊負(fù)責(zé)對(duì)采集的數(shù)據(jù)(來自數(shù)據(jù)接入設(shè)備、數(shù)據(jù)庫(kù)冗余服務(wù)器)的特征值進(jìn)行對(duì)比、分析，獲得監(jiān)測(cè)數(shù)據(jù)之間的變化值；并根據(jù)監(jiān)測(cè)數(shù)據(jù)之間的變化值，判斷每個(gè)所述監(jiān)測(cè)數(shù)據(jù)是否為有效數(shù)據(jù)；將判斷為有效數(shù)據(jù)的監(jiān)測(cè)數(shù)據(jù)根據(jù)業(yè)務(wù)特征規(guī)則庫(kù)進(jìn)行識(shí)別處理，實(shí)現(xiàn)系統(tǒng)自我感知、自動(dòng)調(diào)度、調(diào)整入庫(kù)配比，實(shí)現(xiàn)入庫(kù)活化。分析器得出數(shù)據(jù)接入與數(shù)據(jù)入庫(kù)需要修改的入庫(kù)配比模式，形成任務(wù)優(yōu)先級(jí)。3)任務(wù)分配調(diào)度器根據(jù)任務(wù)優(yōu)先級(jí)進(jìn)行任務(wù)指令調(diào)度分派，向冗余數(shù)據(jù)庫(kù)服務(wù)器發(fā)送執(zhí)行、停止命令a)發(fā)送執(zhí)行命令根據(jù)分析的數(shù)據(jù)結(jié)果，在冗余數(shù)據(jù)庫(kù)服務(wù)器與數(shù)據(jù)接入設(shè)備間建立數(shù)據(jù)連接通 道，完成自適應(yīng)入庫(kù)配比，增加或減少處理數(shù)據(jù)的入庫(kù)服務(wù)器，在系統(tǒng)固定配比無法滿足在新增大量海量數(shù)據(jù)的情況下可以實(shí)現(xiàn)入庫(kù)配比動(dòng)態(tài)靈活調(diào)配，提高入庫(kù)業(yè)務(wù)操作的數(shù)據(jù)處理速度，緩解數(shù)據(jù)積壓。須說明的是，在減少處理數(shù)據(jù)的入庫(kù)服務(wù)器時(shí)，只能減少協(xié)助入庫(kù)的冗余數(shù)據(jù)庫(kù)服務(wù)器，原有數(shù)據(jù)庫(kù)服務(wù)器不能減少。b)發(fā)送停止命令根據(jù)監(jiān)控模塊收集的系統(tǒng)特征值，進(jìn)行業(yè)務(wù)判讀。數(shù)據(jù)接入積壓數(shù)據(jù)小于業(yè)務(wù)特征值時(shí)，自適應(yīng)調(diào)度模塊根據(jù)設(shè)置閥值判斷原有入庫(kù)配比可以處理，即像冗余數(shù)據(jù)庫(kù)服務(wù)器下達(dá)停止協(xié)助指令，退出協(xié)助恢復(fù)原始狀態(tài)，以便接收新的指令，解決新增入庫(kù)任務(wù)。上述閥值即是規(guī)則庫(kù)中的指標(biāo)值，低于閥值認(rèn)為原有系統(tǒng)可以處理，不需要冗余數(shù)據(jù)庫(kù)服務(wù)器輔助完成入庫(kù)操作。3)建立連接、執(zhí)行任務(wù)以及完成任務(wù)如圖3中S3所示，冗余數(shù)據(jù)庫(kù)服務(wù)器安裝客戶端程序，用于接收來自調(diào)度器的調(diào)度指令。該冗余數(shù)據(jù)庫(kù)服務(wù)器負(fù)責(zé)與數(shù)據(jù)接入設(shè)備建立連接通道，保證可以正常讀取原始數(shù)據(jù)存放路徑；以及負(fù)責(zé)接收指令，根據(jù)調(diào)度器輸出的任務(wù)分配指令，調(diào)控入庫(kù)配比，實(shí)現(xiàn)多對(duì)多處理積壓數(shù)據(jù)內(nèi)容，直至調(diào)度程序發(fā)送停止命令使任務(wù)結(jié)束。完成任務(wù)后，監(jiān)控裝置的采集模塊采集冗余數(shù)據(jù)入庫(kù)服務(wù)器的完成狀態(tài)，并等待下次任務(wù)，如圖3中S4所示。下面提供一個(gè)本發(fā)明的應(yīng)用實(shí)例,該實(shí)例以Iinux系統(tǒng)和oracle為基礎(chǔ),具體步驟如下步驟一根據(jù)數(shù)據(jù)接入設(shè)備、冗余數(shù)據(jù)庫(kù)服務(wù)器生成采集配置文件，配置文件包括用戶名、密碼、ip、cpu、men、數(shù)據(jù)文件大小等信息。步驟二 監(jiān)控裝置通過讀取配置文件，確定接入設(shè)備、冗余數(shù)據(jù)庫(kù)服務(wù)器Ip、用戶名、密碼建立連接通道，采集數(shù)據(jù)文件大小、cpu、men、Ioadaverage等信息并進(jìn)行存儲(chǔ)。步驟三通過規(guī)則庫(kù)中特征值，包括cpu使用率、負(fù)載、數(shù)據(jù)大小等，判斷采集的數(shù)據(jù)是否有效，將判斷為有效數(shù)據(jù)的監(jiān)測(cè)數(shù)據(jù)根據(jù)規(guī)則庫(kù)業(yè)務(wù)特征進(jìn)行識(shí)別處理，得出數(shù)據(jù)接入與數(shù)據(jù)入庫(kù)需要修改的入庫(kù)配比模式。步驟四自適應(yīng)調(diào)度模塊根據(jù)上述分析結(jié)果，像冗余數(shù)據(jù)庫(kù)服務(wù)器發(fā)送任務(wù)指令。步驟五冗余數(shù)據(jù)庫(kù)服務(wù)器接收指令，改變數(shù)據(jù)入庫(kù)配比，協(xié)助解決數(shù)據(jù)入庫(kù)緩解數(shù)據(jù)積壓?；蛘呓邮兆赃m應(yīng)調(diào)度模塊的停止指令，等待下次任務(wù)。以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非對(duì)其進(jìn)行限制，本領(lǐng)域的普通技術(shù)人員可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，本發(fā)明的保護(hù)范圍應(yīng) 以權(quán)利要求所述為準(zhǔn)。
權(quán)利要求
1.一種自適應(yīng)性的高效處理海量數(shù)據(jù)入庫(kù)的系統(tǒng)，包括數(shù)據(jù)接入設(shè)備和與其連接的數(shù)據(jù)庫(kù)服務(wù)器，其特征在于，還包括監(jiān)控裝置和冗余數(shù)據(jù)庫(kù)服務(wù)器； 所述監(jiān)控裝置連接所述數(shù)據(jù)接入設(shè)備，包括采集模塊和自適應(yīng)調(diào)度模塊；所述采集模塊負(fù)責(zé)采集并存儲(chǔ)所述數(shù)據(jù)接入設(shè)備中的數(shù)據(jù)積壓狀況信息以及所述冗余數(shù)據(jù)庫(kù)服務(wù)器的運(yùn)行狀態(tài)信息；所述自適應(yīng)調(diào)度模塊連接所述采集模塊，負(fù)責(zé)根據(jù)采集的信息改變數(shù)據(jù)接入與數(shù)據(jù)入庫(kù)配比，并向所述冗余數(shù)據(jù)庫(kù)服務(wù)器發(fā)送任務(wù)調(diào)度指令； 所述冗余數(shù)據(jù)庫(kù)服務(wù)器分別連接所述監(jiān)控裝置和所述數(shù)據(jù)接入設(shè)備，用于根據(jù)所述任務(wù)調(diào)度指令輔助所述數(shù)據(jù)庫(kù)服務(wù)器進(jìn)行數(shù)據(jù)入庫(kù)及存儲(chǔ)。
2.如權(quán)利要求I所述的系統(tǒng)，其特征在于所述采集模塊包括采集器和存儲(chǔ)器，分別用于實(shí)現(xiàn)信息的采集和存儲(chǔ)。
3.如權(quán)利要求I所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)積壓狀況信息包括包括/DATA、(PU使用率、內(nèi)存占用率、系統(tǒng)負(fù)載、磁盤數(shù)據(jù)、數(shù)據(jù)庫(kù)大小。
4.如權(quán)利要求I所述的高效處理海量數(shù)據(jù)入庫(kù)的系統(tǒng)，其特征在于，所述自適應(yīng)調(diào)度模塊包括分析器，用于對(duì)所采集信息的特征值進(jìn)行對(duì)比分析以判斷其是否為有效數(shù)據(jù)，并改變數(shù)據(jù)接入與數(shù)據(jù)入庫(kù)配比；規(guī)則庫(kù)，用于根據(jù)用戶業(yè)務(wù)需要設(shè)定入庫(kù)性能指標(biāo)，對(duì)是否需要所述冗余數(shù)據(jù)庫(kù)服務(wù)器協(xié)助解決數(shù)據(jù)入庫(kù)做出界定；調(diào)度器，用于根據(jù)改變后的數(shù)據(jù)接入與數(shù)據(jù)入庫(kù)配比向所述冗余數(shù)據(jù)庫(kù)服務(wù)器發(fā)送任務(wù)調(diào)度指令。
5.如權(quán)利要求4所述的系統(tǒng)，其特征在于，所述特征值包括CPU使用值、系統(tǒng)負(fù)載值、數(shù)據(jù)文件大小值；所述入庫(kù)性能指標(biāo)包括接入設(shè)備積壓指標(biāo)、負(fù)載指標(biāo)、CPU使用率指標(biāo)、內(nèi)存占用指標(biāo)、IO指標(biāo)。
6.如權(quán)利要求4所述的系統(tǒng)，其特征在于所述調(diào)度器還負(fù)責(zé)為冗余數(shù)據(jù)庫(kù)服務(wù)器分組，將冗余數(shù)據(jù)庫(kù)服務(wù)器對(duì)應(yīng)于特定的數(shù)據(jù)接入設(shè)備。
7.—種自適應(yīng)性的高效處理海量數(shù)據(jù)入庫(kù)的方法，其步驟包括 1)設(shè)立與數(shù)據(jù)接入設(shè)備連接的監(jiān)控裝置，以及分別連接所述數(shù)據(jù)接入設(shè)備和所述監(jiān)控裝置的冗余數(shù)據(jù)庫(kù)服務(wù)器； 2)所述監(jiān)控裝置采集并存儲(chǔ)所述數(shù)據(jù)接入設(shè)備中的數(shù)據(jù)積壓狀況信息以及所述冗余數(shù)據(jù)庫(kù)服務(wù)器的運(yùn)行狀態(tài)信息，并根據(jù)采集的信息改變數(shù)據(jù)接入與數(shù)據(jù)入庫(kù)配比，向所述冗余數(shù)據(jù)庫(kù)服務(wù)器發(fā)送任務(wù)調(diào)度指令； 3)所述冗余數(shù)據(jù)庫(kù)服務(wù)器根據(jù)所述任務(wù)調(diào)度指令輔助數(shù)據(jù)庫(kù)服務(wù)器進(jìn)行數(shù)據(jù)入庫(kù)及存儲(chǔ)。
8.如權(quán)利要求7所述的方法，其特征在于所述監(jiān)控裝置對(duì)所采集信息的特征值進(jìn)行對(duì)比分析，判斷其是否為有效數(shù)據(jù)；并根據(jù)用戶業(yè)務(wù)需要設(shè)定入庫(kù)性能指標(biāo)，對(duì)是否需要所述冗余數(shù)據(jù)庫(kù)服務(wù)器協(xié)助解決數(shù)據(jù)入庫(kù)做出界定。
9.如權(quán)利要求8所述的方法，其特征在于所述特征值包括CPU使用值、系統(tǒng)負(fù)載值、數(shù)據(jù)文件大小值；所述入庫(kù)性能指標(biāo)包括接入設(shè)備積壓指標(biāo)、負(fù)載指標(biāo)、CPU使用率指標(biāo)、內(nèi)存占用指標(biāo)、IO指標(biāo)。
10.如權(quán)利要求7所述的方法，其特征在于，所述任務(wù)調(diào)度指令包括執(zhí)行命令，用于使所述冗余數(shù)據(jù)庫(kù)服務(wù)器根據(jù)改變后的數(shù)據(jù)接入與數(shù)據(jù)入庫(kù)配比輔助數(shù)據(jù)庫(kù)服務(wù)器執(zhí)行數(shù)據(jù)入庫(kù)操作；停止命令，用于使所述冗余數(shù)據(jù)庫(kù)服務(wù)器停止數(shù)據(jù)入庫(kù)操作，恢復(fù)原始狀態(tài)以便接收新 的指令。
全文摘要
本發(fā)明提供一種自適應(yīng)性的高效處理海量數(shù)據(jù)入庫(kù)的系統(tǒng)及方法。該系統(tǒng)包括數(shù)據(jù)接入設(shè)備、數(shù)據(jù)庫(kù)服務(wù)器、監(jiān)控裝置和冗余數(shù)據(jù)庫(kù)服務(wù)器。監(jiān)控裝置采集并存儲(chǔ)數(shù)據(jù)接入設(shè)備中的數(shù)據(jù)積壓狀況信息以及冗余數(shù)據(jù)庫(kù)服務(wù)器的運(yùn)行狀態(tài)信息，并根據(jù)采集的信息改變數(shù)據(jù)接入與數(shù)據(jù)入庫(kù)配比，向冗余數(shù)據(jù)庫(kù)服務(wù)器發(fā)送任務(wù)調(diào)度指令；冗余數(shù)據(jù)庫(kù)服務(wù)器根據(jù)任務(wù)調(diào)度指令輔助數(shù)據(jù)庫(kù)服務(wù)器進(jìn)行數(shù)據(jù)入庫(kù)及存儲(chǔ)。本發(fā)明根據(jù)數(shù)據(jù)量的變化動(dòng)態(tài)改變?nèi)霂?kù)配比使其達(dá)到自動(dòng)感知、判斷、識(shí)別、管理和調(diào)度，實(shí)現(xiàn)了海量數(shù)據(jù)入庫(kù)的負(fù)載均衡以及高效、準(zhǔn)確、及時(shí)入庫(kù)。
文檔編號(hào)H04L12/861GK102904952SQ201210387248
公開日2013年1月30日 申請(qǐng)日期2012年10月12日 優(yōu)先權(quán)日2012年10月12日
發(fā)明者董雪, 火一莽, 翁越龍, 馬楠, 廉喆, 史延濤, 喬贊瑞, 游書明, 孫瑞, 劉超 申請(qǐng)人:北京銳安科技有限公司, 北京市公安局