數(shù)據(jù)實時處理方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)實時處理方法及系統(tǒng)，所述方法應(yīng)用于數(shù)據(jù)實時處理系統(tǒng)中，所述方法包括：獲取源系統(tǒng)數(shù)據(jù)變化信息；按照第一預(yù)設(shè)處理策略實時對所述數(shù)據(jù)變化信息進行第一數(shù)據(jù)處理，形成處理后第一數(shù)據(jù)；將所述第一數(shù)據(jù)裝載到內(nèi)存數(shù)據(jù)庫；基于數(shù)據(jù)處理需求，按照第二預(yù)設(shè)處理策略實時對所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)進行第二數(shù)據(jù)處理，獲得數(shù)據(jù)處理結(jié)果。
【專利說明】
數(shù)據(jù)實時處理方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及信息處理領(lǐng)域的信息處理技術(shù)，尤其涉及一種數(shù)據(jù)實時處理方法及系統(tǒng)。【背景技術(shù)】
[0002]隨著社會信息化的發(fā)展，數(shù)據(jù)(具體如對業(yè)務(wù)經(jīng)營數(shù)據(jù))價值與日倶增，對運營信息分析的及時性要求也不斷提升，要求能通過實時監(jiān)控業(yè)務(wù)受理的數(shù)據(jù)，達到實時分析和實時決策的目的。
[0003]現(xiàn)有的數(shù)據(jù)分析一般包括兩種:
[0004]第一種:原有業(yè)務(wù)系統(tǒng)上直接進行統(tǒng)計分析，可能會占用業(yè)務(wù)系統(tǒng)大量的資源，進而導(dǎo)致對業(yè)務(wù)系統(tǒng)正常運營造成極大影響，分析及時性也難以保證。
[0005]第二種:建設(shè)數(shù)據(jù)倉庫系統(tǒng)用于分析；往往在業(yè)務(wù)系統(tǒng)閑時從數(shù)據(jù)庫表中按日、 按月抽取數(shù)據(jù)，存放在數(shù)據(jù)庫中，能進行復(fù)雜的分析，但是這種基于獨立運行的數(shù)據(jù)庫進行的數(shù)據(jù)處理，實時性不足，導(dǎo)致問題發(fā)現(xiàn)有不同程度的滯后性。
[0006]目前業(yè)界已有一些適用于數(shù)據(jù)同步方法，但現(xiàn)有業(yè)界的數(shù)據(jù)同步方法基本只能滿足將業(yè)務(wù)系統(tǒng)上的數(shù)據(jù)同步到另一個系統(tǒng)，無法支持復(fù)雜的數(shù)據(jù)運算，導(dǎo)致無法做到對業(yè)務(wù)受理數(shù)據(jù)實時分析，發(fā)現(xiàn)問題進行相應(yīng)決策時同樣出現(xiàn)時延性。
[0007]故綜合上述，提供一種響應(yīng)速度快且時延小的數(shù)據(jù)處理方法，是現(xiàn)有技術(shù)亟待解決的問題。
【發(fā)明內(nèi)容】

[0008]有鑒于此，本發(fā)明實施例期望提供一種數(shù)據(jù)實時處理方法及系統(tǒng)，以至少部分解決現(xiàn)有技術(shù)中數(shù)據(jù)處理時延大的問題。
[0009]為達到上述目的，本發(fā)明的技術(shù)方案是這樣實現(xiàn)的:
[0010]本發(fā)明實施例第一方面提供一種數(shù)據(jù)實時處理方法，所述方法應(yīng)用于數(shù)據(jù)實時處理系統(tǒng)中，所述方法包括:
[0011]獲取源系統(tǒng)數(shù)據(jù)變化信息；
[0012]按照第一預(yù)設(shè)處理策略實時對所述數(shù)據(jù)變化信息進行第一數(shù)據(jù)處理，形成處理后第一數(shù)據(jù)；
[0013]將所述第一數(shù)據(jù)裝載到內(nèi)存數(shù)據(jù)庫；
[0014]基于數(shù)據(jù)處理需求，按照第二預(yù)設(shè)處理策略實時對所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)進行第二數(shù)據(jù)處理，獲得數(shù)據(jù)處理結(jié)果。[〇〇15]優(yōu)選地，
[0016]所述獲取源系統(tǒng)數(shù)據(jù)變化信息，包括:
[0017]在所述源系統(tǒng)的數(shù)據(jù)庫日志發(fā)生變化時，獲取發(fā)生變化的所述數(shù)據(jù)庫日志信息；
[0018]實時解析發(fā)生變化的所述數(shù)據(jù)庫日志信息且轉(zhuǎn)換所述發(fā)生變化的所述數(shù)據(jù)庫日志信息的數(shù)據(jù)格式，形成適宜于數(shù)據(jù)流處理的數(shù)據(jù)。
[0019]優(yōu)選地，
[0020]所述按照第一預(yù)設(shè)處理策略實時對所述數(shù)據(jù)變化信息進行第一數(shù)據(jù)處理，形成處理后第一數(shù)據(jù)，包括:
[0021]實時對所述數(shù)據(jù)變化信息進行數(shù)據(jù)清洗和數(shù)據(jù)匯總處理，以規(guī)范化和輕量化裝載到所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)。[0〇22]優(yōu)選地，
[0023]所述實時對所述數(shù)據(jù)變化信息進行數(shù)據(jù)匯總處理，包括:
[0024]對所述數(shù)據(jù)清洗的數(shù)據(jù)，進行輕度匯總處理和/或高度匯總處理；
[0025]其中，所述輕度匯總處理包括以第一時間間隔進行數(shù)據(jù)匯總處理；
[0026]所述高度匯總處理包以第二時間間隔進行數(shù)據(jù)匯總處理；
[0027]所述第一時間間隔不大于所述第二時間間隔。[0〇28]優(yōu)選地，
[0029]所述基于數(shù)據(jù)處理需求，按照第二預(yù)設(shè)處理策略實時對所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)進行第二數(shù)據(jù)處理，獲得數(shù)據(jù)處理結(jié)果，包括:
[0030]基于數(shù)據(jù)的業(yè)務(wù)需求，對所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)進行實時統(tǒng)計、實時分析、 實時監(jiān)控以及實時決策，形成處理結(jié)果。
[0031]優(yōu)選地，
[0032]所述方法還包括以下至少其中之一:
[0033]對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行異常監(jiān)控；
[0034]對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行負載均衡處理；
[0035]對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行路由適配處理。
[0036]優(yōu)選地，
[0037]所述對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行負載均衡處理，包括以下至少其中之一:
[0038]在進行所述第一數(shù)據(jù)處理的各服務(wù)主機之間進行負載均衡；
[0039]在進行所述第二數(shù)據(jù)處理的各服務(wù)主機之間進行負載均衡。
[0040]優(yōu)選地，
[0041]所述對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行路由適配處理，包括:
[0042]建立進行所述第二數(shù)據(jù)處理的服務(wù)主機與指定的服務(wù)請求的路由適配關(guān)系。
[0043]本發(fā)明實施例第二方面提供一種數(shù)據(jù)實時處理系統(tǒng)，所述系統(tǒng)包括:
[0044]數(shù)據(jù)獲取模塊，用于獲取源系統(tǒng)數(shù)據(jù)變化信息；
[0045]第一數(shù)據(jù)處理模塊，用于按照第一預(yù)設(shè)處理策略實時對所述數(shù)據(jù)變化信息進行第一數(shù)據(jù)處理，形成處理后第一數(shù)據(jù)；
[0046]數(shù)據(jù)存儲模塊，用于將所述第一數(shù)據(jù)裝載到所述內(nèi)存數(shù)據(jù)庫；
[0047]第二數(shù)據(jù)處理模塊，用于基于數(shù)據(jù)處理需求，按照第二預(yù)設(shè)處理策略實時對所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)進行第二數(shù)據(jù)處理，獲得數(shù)據(jù)處理結(jié)果。
[0048]優(yōu)選地，
[0049]所述數(shù)據(jù)獲取模塊，包括:
[0050]復(fù)制子模塊，用于在所述源系統(tǒng)的數(shù)據(jù)庫日志發(fā)生變化時，獲取發(fā)生變化的所述數(shù)據(jù)庫日志信息；
[0051]解析子模塊，用于實時解析發(fā)生變化的所述數(shù)據(jù)庫日志信息且轉(zhuǎn)換所述發(fā)生變化的所述數(shù)據(jù)庫日志信息的數(shù)據(jù)格式，形成適宜于數(shù)據(jù)流處理的數(shù)據(jù)。
[0052]優(yōu)選地，
[0053]所述第一數(shù)據(jù)處理模塊，用于實時對所述數(shù)據(jù)變化信息進行數(shù)據(jù)清洗和數(shù)據(jù)匯總處理，以規(guī)范化和輕量化裝載到所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)。[〇〇54]優(yōu)選地，
[0055]所述第二數(shù)據(jù)處理模塊，用于基于數(shù)據(jù)的業(yè)務(wù)需求，對所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)進行實時統(tǒng)計、實時分析、實時監(jiān)控以及實時決策，形成處理結(jié)果。
[0056]優(yōu)選地，
[0057]所述系統(tǒng)還包括系統(tǒng)管理模塊；
[0058]所述系統(tǒng)管理模塊，用于對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行異常監(jiān)控；和/或，對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行負載均衡處理；和/或?qū)λ鰯?shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行路由適配處理。本發(fā)明實施例所述的數(shù)據(jù)實時處理方法，應(yīng)用于獨立于源系統(tǒng)的數(shù)據(jù)實時處理系統(tǒng)，且基于所述數(shù)據(jù)實時處理方法提供了所述數(shù)據(jù)實時處理系統(tǒng)。首先，該數(shù)據(jù)實時處理系統(tǒng)獨立于源系統(tǒng)，從而不會占用源系統(tǒng)的資源，從而對源系統(tǒng)的正常運行影響小。其次，本發(fā)明實施例所述的數(shù)據(jù)實時處理方法及系統(tǒng)，采用內(nèi)存數(shù)據(jù)庫來進行數(shù)據(jù)的存儲，相對于現(xiàn)有技術(shù)中采用磁盤方式存儲數(shù)據(jù)，減少了數(shù)據(jù)寫入磁盤和從磁盤中讀取所占用的時間，且本實施例所述的方法可采用實時處理的流處理技術(shù)來進行上述數(shù)據(jù)處理，顯然數(shù)據(jù)處理周期小，具有延時小及響應(yīng)速度快的優(yōu)點。【附圖說明】
[0059]圖1為本發(fā)明實施例的數(shù)據(jù)實時處理方法的流程示意圖；
[0060]圖2為本發(fā)明實施例所述的數(shù)據(jù)實時處理系統(tǒng)的結(jié)構(gòu)示意圖；
[0061]圖3為本發(fā)明實施例所述的源系統(tǒng)數(shù)據(jù)變化信息的流程示意圖；
[0062]圖4為本發(fā)明實施例所述的第一數(shù)據(jù)處理的流程示意圖；
[0063]圖5為本發(fā)明實施例所述的系統(tǒng)管理流程示意圖?！揪唧w實施方式】
[0064]以下結(jié)合說明書附圖及具體實施例對本發(fā)明的技術(shù)方案做進一步的詳細闡述。
[0065]方法實施例:
[0066]如圖1所示，本實施例提供一種數(shù)據(jù)實時處理方法，所述方法應(yīng)用于數(shù)據(jù)實時處理系統(tǒng)中，所述方法包括:
[0067]步驟S110:獲取源系統(tǒng)數(shù)據(jù)變化信息；
[0068]步驟S120:按照第一預(yù)設(shè)處理策略實時對所述數(shù)據(jù)變化信息進行第一數(shù)據(jù)處理， 形成處理后第一數(shù)據(jù)；
[0069]步驟S130:將所述第一數(shù)據(jù)裝載到內(nèi)存數(shù)據(jù)庫；
[0070]步驟S140:基于數(shù)據(jù)處理需求，按照第二預(yù)設(shè)處理策略實時對所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)進行第二數(shù)據(jù)處理，獲得數(shù)據(jù)處理結(jié)果。
[0071] 所述源系統(tǒng)可以為各種類型的業(yè)務(wù)系統(tǒng)，具體如用于業(yè)務(wù)受理系統(tǒng)、計費系統(tǒng)等。
[0072] 本實施例的數(shù)據(jù)實時處理方法，是應(yīng)用于獨立于所述源系統(tǒng)的專用進行數(shù)據(jù)處理的系統(tǒng)中，這樣在進行數(shù)據(jù)處理過程中，顯然不會占用源系統(tǒng)的資源，從而能夠避免對源系統(tǒng)的運行造成干擾，從而導(dǎo)致源系統(tǒng)執(zhí)行業(yè)務(wù)請求的響應(yīng)速度慢等問題。
[0073]在步驟S110中獲取的數(shù)據(jù)變化信息具體可為源系統(tǒng)的業(yè)務(wù)受理變化日志數(shù)據(jù)等數(shù)據(jù)。
[0074]在步驟S130中，經(jīng)過第一數(shù)據(jù)處理之后的第一數(shù)據(jù)直接裝載到內(nèi)存數(shù)據(jù)庫中。所述內(nèi)存數(shù)據(jù)庫為由內(nèi)存構(gòu)成的數(shù)據(jù)庫，后續(xù)在進行第二數(shù)據(jù)處理時，直接從內(nèi)存數(shù)據(jù)庫獲取數(shù)據(jù)，相對于從磁盤上獲取數(shù)據(jù)、讀取數(shù)據(jù)的速度快很多。若通常數(shù)據(jù)處理也是在服務(wù)主機的內(nèi)存中進行的，將數(shù)據(jù)從內(nèi)存的一個部分迀移到另一個部分的速度是十分快的，或者在進行第一數(shù)據(jù)處理時，直接在內(nèi)存數(shù)據(jù)庫對應(yīng)的內(nèi)存中進行，這樣連內(nèi)存間的數(shù)據(jù)迀移都省略了，顯然提高了減少系統(tǒng)處理步驟和響應(yīng)速度。
[0075] 在具體實現(xiàn)時，當(dāng)所述第一數(shù)據(jù)裝載到所述內(nèi)存數(shù)據(jù)庫中之后，立馬無時間間隔的進行所述第二數(shù)據(jù)處理，顯然這樣可以相對于現(xiàn)有技術(shù)中將數(shù)據(jù)存儲在磁盤中，在進行第二數(shù)據(jù)處理時，還需不僅節(jié)省了將數(shù)據(jù)寫到磁盤的過程、同時還包括將磁盤讀取數(shù)據(jù)的過程；顯然有利于提高數(shù)據(jù)處理實時性，減少延時性。
[0076]此外，在步驟S130中采用內(nèi)存數(shù)據(jù)來存儲所述第一數(shù)據(jù)，利用一些數(shù)據(jù)處理機制，在服務(wù)器宕機時，相對于回復(fù)磁盤數(shù)據(jù)，回復(fù)內(nèi)存內(nèi)的數(shù)據(jù)更為簡單，顯然相對于將第一數(shù)據(jù)寫在磁盤上，能夠提高數(shù)據(jù)可安全性和系統(tǒng)的可靠性。
[0077] 進一步的，所述步驟S110可包括:在所述源系統(tǒng)的數(shù)據(jù)庫日志發(fā)生變化時，獲取發(fā)生變化的所述數(shù)據(jù)庫日志信息；及實時解析發(fā)生變化的所述數(shù)據(jù)庫日志信息且轉(zhuǎn)換所述發(fā)生變化的所述數(shù)據(jù)庫日志信息的數(shù)據(jù)格式，形成適宜于數(shù)據(jù)流處理的數(shù)據(jù)。
[0078]具體如，在步驟S111中主要是實時捕獲源系統(tǒng)的數(shù)據(jù)變化并轉(zhuǎn)化成第一數(shù)據(jù)處理中可識別的數(shù)據(jù)格式如csv數(shù)據(jù)格式。所述步驟S110可包括:從源系統(tǒng)中復(fù)制數(shù)據(jù)，以及對復(fù)制的數(shù)據(jù)進行數(shù)據(jù)解析的步驟。
[0079]實時數(shù)據(jù)復(fù)制可通過數(shù)據(jù)復(fù)制產(chǎn)品GoldenGate讀取外部數(shù)據(jù)庫業(yè)務(wù)受理的日志變化數(shù)據(jù)，如資料數(shù)據(jù)、工單數(shù)據(jù)、歷史數(shù)據(jù)等。所述GoldenGate為復(fù)制數(shù)據(jù)的一個信息處理產(chǎn)品的名稱。
[0080] 數(shù)據(jù)解析可包括:通過采用Java實現(xiàn)的Stream Applicat1n應(yīng)用程序，接收數(shù)據(jù)復(fù)制產(chǎn)品如GoldenGate輸出的數(shù)據(jù)后，對消息數(shù)據(jù)進行相應(yīng)的轉(zhuǎn)換和處理，輸出流處理中能識別的文件格式如csv文件。所述Java為一種程序語言；所述Stream Applicat1n為一種應(yīng)用程序的名稱。所述csv文件為數(shù)據(jù)格式為csv的文件。
[0081] 所述步驟S120可包括:實時對所述數(shù)據(jù)變化信息進行數(shù)據(jù)清洗和數(shù)據(jù)匯總處理， 以規(guī)范化和輕量化裝載到所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)。
[0082] 所述數(shù)據(jù)清洗包括數(shù)據(jù)過濾；所述數(shù)據(jù)過濾包括刪除無關(guān)的數(shù)據(jù)，具體如刪除數(shù)據(jù)中與業(yè)務(wù)請求無關(guān)的數(shù)據(jù)。具體如，刪除日志信息中的文本說明等信息。
[0083] 所述數(shù)據(jù)清晰還包括將數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一編碼和同一度量衡的數(shù)據(jù)，減少后續(xù)進行第二次數(shù)據(jù)過程中數(shù)據(jù)轉(zhuǎn)換和度量衡的轉(zhuǎn)換，以提高后續(xù)處理速度。
[0084]所述實時對所述數(shù)據(jù)變化信息進行數(shù)據(jù)匯總處理，包括:
[0085]對所述數(shù)據(jù)清洗的數(shù)據(jù)，進行輕度匯總處理和/或高度匯總處理；
[0086]其中，所述輕度匯總處理包括以第一時間間隔進行數(shù)據(jù)匯總處理；
[0087]所述高度匯總處理包以第二時間間隔進行數(shù)據(jù)匯總處理；
[0088]所述第一時間間隔不大于所述第二時間間隔。
[0089]數(shù)據(jù)匯總為主要負責(zé)在數(shù)據(jù)清洗的基礎(chǔ)上，將數(shù)據(jù)進行相應(yīng)的匯總工作，從而降低裝載到內(nèi)存數(shù)據(jù)庫的數(shù)據(jù)量，提升系統(tǒng)性能，該模塊提供輕度匯總和高度匯總兩種功能， 輕度匯總指匯總的時間粒度可為秒級，高度匯總指匯總的時間粒度可為分鐘級；數(shù)據(jù)裝載主要提供將高度匯總數(shù)據(jù)裝載到內(nèi)存數(shù)據(jù)庫的功能，實現(xiàn)方式主要是通過調(diào)用內(nèi)存數(shù)據(jù)庫的數(shù)據(jù)裝載應(yīng)用程序編程接口 API實現(xiàn)。通常高度匯總的處理邏輯相對于輕度匯總的處理邏輯更為復(fù)雜。
[0090]所述步驟S140可包括:
[0091]基于數(shù)據(jù)的業(yè)務(wù)需求，對所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)進行實時統(tǒng)計、實時分析、 實時監(jiān)控以及實時決策，形成處理結(jié)果。
[0092]所述業(yè)務(wù)需求可包括業(yè)務(wù)受理需求，是上述數(shù)據(jù)處理需求的一種。
[0093]以下結(jié)合具體應(yīng)用場景對實時統(tǒng)計、實時分析、實時監(jiān)控以及實時決策進行解釋。
[0094]實時統(tǒng)計包括對作為業(yè)務(wù)系統(tǒng)的源系統(tǒng)進行營業(yè)結(jié)賬，繳費等實時的業(yè)務(wù)統(tǒng)計， 且可根據(jù)全體營業(yè)員，營業(yè)廳等維度，進行全量的大批量實時計算，最大限度的滿足運維的統(tǒng)計需要。
[0095]實時分析可包括同一營銷時間內(nèi)各渠道、營業(yè)點的橫向比較分析通報；實時監(jiān)控可有效的管控風(fēng)險，如收入風(fēng)險監(jiān)控，電子渠道交易監(jiān)控，營業(yè)員交易監(jiān)控，促銷監(jiān)控；通過監(jiān)控波動率，敏感信息訪問監(jiān)控等。
[0096]實時決策可包括可以根據(jù)實時分析的分析結(jié)果和分析指導(dǎo)決策和行動，如基于銷售流黃金期有效分析的基礎(chǔ)上，指導(dǎo)為營業(yè)廳資源如人員排班、其他支撐工作，如物流配送時間點合理安排提供依據(jù)，提升廳店效率，實現(xiàn)減員增效。
[0097]本實施例所述方法在上述步驟的基礎(chǔ)上，為了提高系統(tǒng)的可靠性和進一步提高數(shù)據(jù)實時處理系統(tǒng)的響應(yīng)速率，所述方法還包括以下至少其中之一:
[0098]對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行異常監(jiān)控；
[0099]對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行負載均衡處理；
[0100]對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行路由適配處理。
[0101]所述異常監(jiān)控可包括對步驟S110至步驟S140中的數(shù)據(jù)處理進行監(jiān)控，一出現(xiàn)異常立即進行異常排除處理，以保證數(shù)據(jù)實時處理系統(tǒng)的及時性，以免哪一個數(shù)據(jù)處理環(huán)節(jié)中的異常導(dǎo)致數(shù)據(jù)處理及時性下降的現(xiàn)象。
[0102]所述對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行負載均衡處理，包括以下至少其中之一:
[0103]在進行所述第一數(shù)據(jù)處理的各服務(wù)主機之間進行負載均衡；
[0104]在進行所述第二數(shù)據(jù)處理的各服務(wù)主機之間進行負載均衡。
[0105]在本實施例中所述數(shù)據(jù)實時處理系統(tǒng)可分為內(nèi)存數(shù)據(jù)庫以及對數(shù)據(jù)進行處理的處理主機。所述處理主機可用于獲取數(shù)據(jù)、進行第一數(shù)據(jù)處理和第二數(shù)據(jù)處理。在該系統(tǒng)中用于進行數(shù)據(jù)處理的服務(wù)主機可能形成有主機集群。每一個主機集群中可能包括一個或多個服務(wù)主機。每一個服務(wù)主機的負荷可能有輕有重。通過負載均衡，可以將符合重的主機上的數(shù)據(jù)處理轉(zhuǎn)移到負荷輕的主機上進行處理，這樣從整體上能夠提高數(shù)據(jù)處理的及時性。
[0106]所述對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行路由適配處理，包括:
[0107]建立進行所述第二數(shù)據(jù)處理的服務(wù)主機與指定的服務(wù)請求的路由適配關(guān)系。
[0108]路由適配處理通常是針對第二數(shù)據(jù)處理而言的，是一種預(yù)先設(shè)定路由查找的過程，能夠簡化后續(xù)第二數(shù)據(jù)處理過程中從內(nèi)存數(shù)據(jù)庫中數(shù)據(jù)的查詢操作，通過簡化數(shù)據(jù)查詢，能夠再次提高數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)處理速率，降低數(shù)據(jù)處理的延時性。
[0109]設(shè)備實施例:
[0110]如圖2所示，本實施例提供一種數(shù)據(jù)實時處理系統(tǒng)，所述系統(tǒng)包括:
[0111]數(shù)據(jù)獲取模塊110,用于獲取源系統(tǒng)數(shù)據(jù)變化信息；
[0112]第一數(shù)據(jù)處理模塊120,用于按照第一預(yù)設(shè)處理策略實時對所述數(shù)據(jù)變化信息進行第一數(shù)據(jù)處理，形成處理后第一數(shù)據(jù)；
[0113]數(shù)據(jù)存儲模塊130,用于將所述第一數(shù)據(jù)裝載到所述內(nèi)存數(shù)據(jù)庫；
[0114]第二數(shù)據(jù)處理模塊140,用于基于數(shù)據(jù)處理需求，按照第二預(yù)設(shè)處理策略實時對所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)進行第二數(shù)據(jù)處理，獲得數(shù)據(jù)處理結(jié)果。
[0115]本實施例所述的獲取模塊，具體可為各種類型的通信接口，該通信接口與所述源系統(tǒng)之間建立有連接，能夠從源系統(tǒng)接收數(shù)據(jù)。所述通信接口可包括有線或無線的通信接口，所述有線的通信接口可包括電纜接口或光纜接口；所述無線接口可包括接收天線等結(jié)構(gòu)。
[0116]第一數(shù)據(jù)處理模塊120、數(shù)據(jù)存儲模塊130和第二數(shù)據(jù)處理模塊140的具體結(jié)構(gòu)可包括處理器和存儲介質(zhì)；所述存儲介質(zhì)上存儲有可執(zhí)行代碼。所述存儲介質(zhì)與所述處理器通過總線等用戶設(shè)備內(nèi)部的通信接口連接。所述處理器通過執(zhí)行所述可執(zhí)行代碼可以實現(xiàn)處理單元120和生成單元130的功能。所述處理器可以中央處理器CPU、微處理器MCU、數(shù)字信號處理器DSP或可編程陣列PLC等具有信息處理功能的處理器或處理芯片。
[0117]在本實施例中可以對應(yīng)于系統(tǒng)中的服務(wù)主機。所述內(nèi)存數(shù)據(jù)庫可包括系統(tǒng)中各服務(wù)主機上集成的內(nèi)存。
[0118]本實施例所述的數(shù)據(jù)實時處理系統(tǒng)，是與所述源系統(tǒng)相對立的系統(tǒng)，這樣在進行數(shù)據(jù)處理時，顯然不會占用源系統(tǒng)的系統(tǒng)資源，從而能夠避免對源系統(tǒng)的業(yè)務(wù)造成不良影響。在本實施例中第一數(shù)據(jù)裝載在內(nèi)存數(shù)據(jù)庫中，可以減少對磁盤的讀寫次數(shù)，從而提高數(shù)據(jù)處理效率并減少延時性。
[0119]進一步地所述數(shù)據(jù)獲取模塊110,包括:
[0120]復(fù)制子模塊，用于在所述源系統(tǒng)的數(shù)據(jù)庫日志發(fā)生變化時，獲取發(fā)生變化的所述數(shù)據(jù)庫日志信息；
[0121]解析子模塊，用于實時解析發(fā)生變化的所述數(shù)據(jù)庫日志信息且轉(zhuǎn)換所述發(fā)生變化的所述數(shù)據(jù)庫日志信息的數(shù)據(jù)格式，形成適宜于數(shù)據(jù)流處理的數(shù)據(jù)。
[0122]復(fù)制子模塊主要用于采用GoldenGate、DataGuard、SharePlex或PAC等復(fù)制技術(shù)從源數(shù)據(jù)庫中復(fù)制所述數(shù)據(jù)變化信息，具體如從源系統(tǒng)的數(shù)據(jù)庫的業(yè)務(wù)受理請求的變化數(shù)據(jù)，如資料數(shù)據(jù)、工單數(shù)據(jù)、歷史數(shù)據(jù)等，并將獲取的信息傳輸給解析子模塊。在本實施例中，所述數(shù)據(jù)變化信息通?？蔀橹付ǖ淖兓畔?，可以非任意的變化信息。
[0123]所述解析子模塊主要用于采用由Java語言編寫的Stream Applicat1n等應(yīng)用程序來接收父子模塊的傳輸?shù)男畔?，并對這些信息進行相應(yīng)的轉(zhuǎn)換和處理，輸出流處理中能識別的文件，具體如CSV文件格式的文件。
[0124] 可選地所述第一數(shù)據(jù)處理模塊120,用于實時對所述數(shù)據(jù)變化信息進行數(shù)據(jù)清洗和數(shù)據(jù)匯總處理，以規(guī)范化和輕量化裝載到所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)。
[0125]本實施例所述的第一數(shù)據(jù)處理模塊120,又可稱為實時數(shù)據(jù)處理模塊，主要能實現(xiàn)的功能包括數(shù)據(jù)清洗、數(shù)據(jù)匯總以及數(shù)據(jù)裝載等功能。
[0126]所述數(shù)據(jù)清洗和數(shù)據(jù)匯總的相關(guān)描述可以參見方法實施例，具體如，所述第一數(shù)據(jù)處理模塊120,用于對所述數(shù)據(jù)清洗的數(shù)據(jù)，進行輕度匯總處理和/或高度匯總處理；其中，所述輕度匯總處理包括以第一時間間隔進行數(shù)據(jù)匯總處理；所述高度匯總處理包以第二時間間隔進行數(shù)據(jù)匯總處理；所述第一時間間隔不大于所述第二時間間隔。
[0127]在具體實現(xiàn)時，所述數(shù)據(jù)存儲模塊，主要用于采用內(nèi)存數(shù)據(jù)庫作為存儲介質(zhì)，一方面能夠避免數(shù)據(jù)在處理過程中的大數(shù)據(jù)量交易數(shù)據(jù)落地(寫磁盤)對分析性能的影響，保障了處理過程的及時性；另一方面內(nèi)存數(shù)據(jù)庫存儲技術(shù)的高可用機制又確保了在服務(wù)器宕機的時候迅速恢復(fù)并且數(shù)據(jù)不丟失，保障了系統(tǒng)的可靠性。
[0128] 可選地，所述第二數(shù)據(jù)處理模塊140,用于基于數(shù)據(jù)的業(yè)務(wù)需求，對所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)進行實時統(tǒng)計、實時分析、實時監(jiān)控以及實時決策，形成處理結(jié)果。
[0129]本實施例所述的第二數(shù)據(jù)處理模塊140又可稱為實時數(shù)據(jù)應(yīng)用模塊，主要用于內(nèi)存數(shù)據(jù)庫的基礎(chǔ)上，基于業(yè)務(wù)需求構(gòu)建業(yè)務(wù)場景，包括實時統(tǒng)計、實時分析、實時監(jiān)控和實時決策等處理。所述實時統(tǒng)計、實時分析、實時監(jiān)控和實時決策的相關(guān)定義可以參見方法實施例，在此就不重復(fù)了。
[0130]此外，如圖2所示，本實施例所述的系統(tǒng)還包括系統(tǒng)管理模塊；
[0131]所述系統(tǒng)管理模塊150,用于對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行異常監(jiān)控；和/或，對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行負載均衡處理；和/或?qū)λ鰯?shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行路由適配處理。
[0132]此處的系統(tǒng)管理模塊150的具體結(jié)構(gòu)也可以對應(yīng)于服務(wù)主機或服務(wù)主機內(nèi)的處理器或處理芯片等。所述處理器或處理芯片的結(jié)構(gòu)可以參見前述部分，在此就不重復(fù)了。
[0133]所述系統(tǒng)管理模塊150,具體可用于在進行所述第一數(shù)據(jù)處理的各服務(wù)主機之間進行負載均衡；和/或，在進行所述第二數(shù)據(jù)處理的各服務(wù)主機之間進行負載均衡。
[0134]所述系統(tǒng)管理模塊150,還可用于建立進行所述第二數(shù)據(jù)處理的服務(wù)主機與指定的服務(wù)請求的路由適配關(guān)系。
[0135] 綜合上述，本實施例提供了一種數(shù)據(jù)實時處理系統(tǒng)，為上述數(shù)據(jù)實時處理方法提供了硬件支撐，顯然用于對源系統(tǒng)的數(shù)據(jù)分析和決策，不占用源系統(tǒng)的資源、對源系統(tǒng)的正常運行影響小且數(shù)據(jù)分析決策延時小等優(yōu)點。
[0136]以下結(jié)合上述實施例提供幾個具體應(yīng)用示例:
[0137]示例一:
[0138]如圖3所示，本示例為提供一種獲取所述數(shù)據(jù)變化信息的具體方法，具體如下:
[0139]步驟101:外部業(yè)務(wù)受理的數(shù)據(jù)庫日志發(fā)生變化。這里即指上述源系統(tǒng)的數(shù)據(jù)庫日志發(fā)生變化。
[0140]步驟102:數(shù)據(jù)復(fù)制模塊捕獲。此處的數(shù)據(jù)復(fù)制模塊即為上述復(fù)制子模塊。此處的所述捕獲為獲取數(shù)據(jù)變化信息，具體如使用數(shù)據(jù)復(fù)制產(chǎn)品GoldenGate捕獲數(shù)據(jù)庫的Redo Log，獲取變化的業(yè)務(wù)受理數(shù)據(jù)，通過捕獲源庫變化數(shù)據(jù)、跟蹤隊列、數(shù)據(jù)栗分發(fā)、路由壓縮加密和交付目標(biāo)的過程，實現(xiàn)利用極少的系統(tǒng)開支，實時捕獲業(yè)務(wù)受理數(shù)據(jù)庫的變化的日志信息。
[0141]步驟103:栗出隊列文件(trail file)，該步驟由數(shù)據(jù)復(fù)制產(chǎn)品自動實現(xiàn)。
[0142]步驟104:日志解析模塊，通過Java實現(xiàn)的Stream Applicat1n應(yīng)用程序，讀取數(shù)據(jù)復(fù)制產(chǎn)品如GoldenGate栗出的隊列文件(trail file)，對隊列文件進行相應(yīng)的解析和處理。
[0143]步驟105:生成csv格式的數(shù)據(jù)文件，為實時處理模塊提供數(shù)據(jù)輸入。所述csv格式即為上述適宜于數(shù)據(jù)流處理的數(shù)據(jù)格式。所述數(shù)據(jù)流處理為對數(shù)據(jù)處理的一種技術(shù)，具體的如何實現(xiàn)數(shù)據(jù)流處理可以參見現(xiàn)有技術(shù)，在此就不再展開了，總之?dāng)?shù)據(jù)流處理具有數(shù)據(jù)處理延時性小及數(shù)據(jù)處理效率高的優(yōu)點。
[0144]步驟106:實時數(shù)據(jù)獲取流程結(jié)束，交付實時處理模塊。此處的實時處理模塊相當(dāng)于設(shè)備實施例中所述的第一數(shù)據(jù)處理模塊。
[0145]示例二:
[0146]如圖4所示，本示例為提供一種第一數(shù)據(jù)處理的具體方法，可包括:
[0147]步驟1:實時數(shù)據(jù)獲取模塊中的日志解析模塊，通過解析和源系統(tǒng)的處理數(shù)據(jù)庫的變化日志，增量生成csv格式的數(shù)據(jù)文件。此處的日志解析模塊即詳單于上述解析子模塊。
[0148]步驟2:數(shù)據(jù)清洗模塊查詢數(shù)據(jù)清洗、匯總、裝載規(guī)則庫，以獲取數(shù)據(jù)清洗規(guī)則。
[0149]步驟3:數(shù)據(jù)清洗、匯總、裝載規(guī)則庫，返回數(shù)據(jù)清洗模塊中所需查詢的清洗規(guī)則。 此處的清洗規(guī)則為所述第一預(yù)設(shè)處理策略的一部分。
[0150]步驟4:根據(jù)數(shù)據(jù)清洗規(guī)則，對日志解析模塊增量生成csv的業(yè)務(wù)受理數(shù)據(jù)進行一致性檢查，處理無效值和缺失值，對數(shù)據(jù)進行清洗，可使用流處理技術(shù)如StreamBase來進行數(shù)據(jù)清洗。
[0151]步驟5:數(shù)據(jù)匯總模塊查詢數(shù)據(jù)清洗、匯總、裝載規(guī)則庫，以獲取數(shù)據(jù)匯總規(guī)則，所述數(shù)據(jù)匯總規(guī)則也為所述第一預(yù)設(shè)處理策略的組成部分之一。
[0152]步驟6:數(shù)據(jù)清洗、匯總、裝載規(guī)則庫，返回數(shù)據(jù)匯總模塊中所需查詢的匯總規(guī)則。
[0153]步驟7:對已清洗后的數(shù)據(jù)，按數(shù)據(jù)匯總規(guī)則，生成匯總級數(shù)據(jù)，可分為輕度匯總級數(shù)據(jù)和高度匯總級數(shù)據(jù)。
[0154]步驟8:數(shù)據(jù)裝載模塊查詢數(shù)據(jù)清洗、匯總、裝載規(guī)則庫，獲取數(shù)據(jù)裝載規(guī)則。所述數(shù)據(jù)裝載規(guī)則也為所述第一預(yù)設(shè)處理策略的組成部分之一，用于向內(nèi)存數(shù)據(jù)庫裝載數(shù)據(jù)。
[0155]步驟9:數(shù)據(jù)清洗、匯總、裝載規(guī)則庫，返回數(shù)據(jù)裝載模塊中所需查詢的裝載規(guī)則。
[0156]步驟10:根據(jù)數(shù)據(jù)裝載規(guī)則，將數(shù)據(jù)實時到裝載內(nèi)存數(shù)據(jù)庫中
[0157]示例三:
[0158]如圖5所示，本示例為提供一種系統(tǒng)管理方法，可包括:
[0159]步驟s1:從數(shù)據(jù)服務(wù)請求方接收數(shù)據(jù)服務(wù)請求。具體如通過實時監(jiān)控界面，監(jiān)控發(fā)起數(shù)據(jù)服務(wù)請求，可由多個數(shù)據(jù)服務(wù)請求方同時并發(fā)多個數(shù)據(jù)請求服務(wù)。
[0160]步驟s2:采用負載均衡器集群，接收高并發(fā)的數(shù)據(jù)服務(wù)請求，對高并發(fā)的數(shù)據(jù)請求服務(wù)進行服務(wù)均衡，并且集群內(nèi)主機均相互備份，實現(xiàn)高并發(fā)的數(shù)據(jù)服務(wù)請求處理，加快服務(wù)請求響應(yīng)速度。集群內(nèi)的主機的相互備份方式可以采用兩兩互備，也可以是1備多的方式。
[0161]步驟s3:路由適配求mod(所述求mod為求模)后分發(fā)服務(wù)請求。具體如，通過負載均衡器集群對高并發(fā)請求的服務(wù)進行均衡后，將均衡后的請求服務(wù)通過求mod方式。主負載均衡器以主數(shù)據(jù)路由Mod(如路由值0-3,通知規(guī)則配置實現(xiàn)，下同)，備數(shù)據(jù)路由Mod(如路由值4-7,下同)。備負載均衡器以主數(shù)據(jù)路由Mod(4-7)，備數(shù)據(jù)路由Mod(0-3)，分發(fā)給服務(wù)與內(nèi)存數(shù)據(jù)庫集群模塊中的對應(yīng)服務(wù)主機，進行相應(yīng)的服務(wù)請求與服務(wù)主機的適配。
[0162]步驟s4:對每臺服務(wù)主機均配置內(nèi)存數(shù)據(jù)庫，同時以集群方式將所有的服務(wù)主機進行集群，對路由適配模塊分發(fā)的服務(wù)請求，經(jīng)請求認(rèn)證通過后，動態(tài)綁定相應(yīng)的服務(wù)主機進行專門的服務(wù)請求處理，因每臺主機均使用了內(nèi)存數(shù)據(jù)庫，大大提高了數(shù)據(jù)請求服務(wù)的訪問效率，同時由于了多臺集群方式，極大提高了數(shù)據(jù)訪問請求服務(wù)的數(shù)量，實現(xiàn)了真正的高并發(fā)的數(shù)據(jù)實時監(jiān)控。
[0163]步驟s5:向服務(wù)請求方返回請求處理結(jié)果。這里的請求代指上述服務(wù)請求。具體可包括:對數(shù)據(jù)服務(wù)請求的處理結(jié)果，返回到實時監(jiān)控頁面進行展現(xiàn)，將處理結(jié)果提供給各個對應(yīng)的數(shù)據(jù)服務(wù)請求方。
[0164]在本申請所提供的幾個實施例中，應(yīng)該理解到，所揭露的設(shè)備和方法，可以通過其它的方式實現(xiàn)。以上所描述的設(shè)備實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，如:多個單元或組件可以結(jié)合，或可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些接口，設(shè)備或單元的間接耦合或通信連接，可以是電性的、機械的或其它形式的。
[0165]上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可以不是物理單元，即可以位于一個地方，也可以分布到多個網(wǎng)絡(luò)單元上；可以根據(jù)實際的需要選擇其中的部分或全部單元來實現(xiàn)本實施例方案的目的。
[0166]另外，在本發(fā)明各實施例中的各功能單元可以全部集成在一個處理模塊中，也可以是各單元分別單獨作為一個單元，也可以兩個或兩個以上單元集成在一個單元中；上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用硬件加軟件功能單元的形式實現(xiàn)。
[0167]本領(lǐng)域普通技術(shù)人員可以理解:實現(xiàn)上述方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成，前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中，該程序在執(zhí)行時，執(zhí)行包括上述方法實施例的步驟；而前述的存儲介質(zhì)包括:移動存儲設(shè)備、只讀存儲器(ROM，Read-Only Memory)、隨機存取存儲器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
[0168]以上所述，僅為本發(fā)明的【具體實施方式】，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)以所述權(quán)利要求的保護范圍為準(zhǔn)。
【主權(quán)項】
1.一種數(shù)據(jù)實時處理方法，其特征在于，所述方法應(yīng)用于數(shù)據(jù)實時處理系統(tǒng)中，所述方 法包括:獲取源系統(tǒng)數(shù)據(jù)變化信息；按照第一預(yù)設(shè)處理策略實時對所述數(shù)據(jù)變化信息進行第一數(shù)據(jù)處理，形成處理后第一 數(shù)據(jù)；將所述第一數(shù)據(jù)裝載到內(nèi)存數(shù)據(jù)庫；基于數(shù)據(jù)處理需求，按照第二預(yù)設(shè)處理策略實時對所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)進行 第二數(shù)據(jù)處理，獲得數(shù)據(jù)處理結(jié)果。2.根據(jù)權(quán)利要求1所述方法，其特征在于，所述獲取源系統(tǒng)數(shù)據(jù)變化信息，包括:在所述源系統(tǒng)的數(shù)據(jù)庫日志發(fā)生變化時，獲取發(fā)生變化的所述數(shù)據(jù)庫日志信息；所述按照第一預(yù)設(shè)處理策略實時對所述數(shù)據(jù)變化信息進行第一數(shù)據(jù)處理，形成處理后 第一數(shù)據(jù)，包括:實時解析發(fā)生變化的所述數(shù)據(jù)庫日志信息且轉(zhuǎn)換所述發(fā)生變化的所述數(shù)據(jù)庫日志信 息的數(shù)據(jù)格式，形成適宜于數(shù)據(jù)流處理的數(shù)據(jù)。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述按照第一預(yù)設(shè)處理策略實時對所述數(shù)據(jù)變化信息進行第一數(shù)據(jù)處理，形成處理后 第一數(shù)據(jù)，包括:實時對所述數(shù)據(jù)變化信息進行數(shù)據(jù)清洗和數(shù)據(jù)匯總處理，以規(guī)范化和輕量化裝載到所 述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述實時對所述數(shù)據(jù)變化信息進行數(shù)據(jù)匯總處理，包括:對所述數(shù)據(jù)清洗的數(shù)據(jù)，進行輕度匯總處理和/或高度匯總處理；其中，所述輕度匯總處理包括以第一時間間隔進行數(shù)據(jù)匯總處理；所述高度匯總處理包以第二時間間隔進行數(shù)據(jù)匯總處理；所述第一時間間隔不大于所述第二時間間隔。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于數(shù)據(jù)處理需求，按照第二預(yù)設(shè)處理策略實時對所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù) 進行第二數(shù)據(jù)處理，獲得數(shù)據(jù)處理結(jié)果，包括:基于數(shù)據(jù)的業(yè)務(wù)需求，對所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)進行實時統(tǒng)計、實時分析、實時 監(jiān)控以及實時決策，形成處理結(jié)果。6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括以下至少其中之一:對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行異常監(jiān)控；對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行負載均衡處理；對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行路由適配處理。7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行負載均衡處理，包括以下至少其中 之一:在進行所述第一數(shù)據(jù)處理的各服務(wù)主機之間進行負載均衡；在進行所述第二數(shù)據(jù)處理的各服務(wù)主機之間進行負載均衡。8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行路由適配處理，包括:建立進行所述第二數(shù)據(jù)處理的服務(wù)主機與指定的服務(wù)請求的路由適配關(guān)系。9.一種數(shù)據(jù)實時處理系統(tǒng)，其特征在于，所述系統(tǒng)包括:數(shù)據(jù)獲取模塊，用于獲取源系統(tǒng)數(shù)據(jù)變化信息；第一數(shù)據(jù)處理模塊，用于按照第一預(yù)設(shè)處理策略實時對所述數(shù)據(jù)變化信息進行第一數(shù) 據(jù)處理，形成處理后第一數(shù)據(jù)；數(shù)據(jù)存儲模塊，用于將所述第一數(shù)據(jù)裝載到所述內(nèi)存數(shù)據(jù)庫；第二數(shù)據(jù)處理模塊，用于基于數(shù)據(jù)處理需求，按照第二預(yù)設(shè)處理策略實時對所述內(nèi)存 數(shù)據(jù)庫中的第一數(shù)據(jù)進行第二數(shù)據(jù)處理，獲得數(shù)據(jù)處理結(jié)果。10.根據(jù)權(quán)利要求9所述系統(tǒng)，其特征在于，所述數(shù)據(jù)獲取模塊，包括:復(fù)制子模塊，用于在所述源系統(tǒng)的數(shù)據(jù)庫日志發(fā)生變化時，獲取發(fā)生變化的所述數(shù)據(jù) 庫日志信息；解析子模塊，用于實時解析發(fā)生變化的所述數(shù)據(jù)庫日志信息且轉(zhuǎn)換所述發(fā)生變化的所 述數(shù)據(jù)庫日志信息的數(shù)據(jù)格式，形成適宜于數(shù)據(jù)流處理的數(shù)據(jù)。11.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述第一數(shù)據(jù)處理模塊，用于實時對所述數(shù)據(jù)變化信息進行數(shù)據(jù)清洗和數(shù)據(jù)匯總處 理，以規(guī)范化和輕量化裝載到所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù)。12.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述第二數(shù)據(jù)處理模塊，用于基于數(shù)據(jù)的業(yè)務(wù)需求，對所述內(nèi)存數(shù)據(jù)庫中的第一數(shù)據(jù) 進行實時統(tǒng)計、實時分析、實時監(jiān)控以及實時決策，形成處理結(jié)果。13.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括系統(tǒng)管理模塊；所述系統(tǒng)管理模塊，用于對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行異常監(jiān)控；和 /或，對所述數(shù)據(jù)實時處理系統(tǒng)的數(shù)據(jù)實時處理進行負載均衡處理；和/或?qū)λ鰯?shù)據(jù)實時 處理系統(tǒng)的數(shù)據(jù)實時處理進行路由適配處理。
【文檔編號】G06F17/30GK105989163SQ201510095976
【公開日】2016年10月5日
【申請日】2015年3月4日
【發(fā)明人】阮前, 黃啟雄, 陳欻, 李建明
【申請人】中國移動通信集團福建有限公司