歷史數(shù)據(jù)歸檔集成系統(tǒng)及方法
【技術領域】
[0001]本發(fā)明涉及一種數(shù)據(jù)歸檔系統(tǒng)及方法，具體涉及一種歷史數(shù)據(jù)歸檔集成系統(tǒng)以及方法。
【背景技術】
[0002]現(xiàn)有技術中，數(shù)據(jù)庫環(huán)境都基于單個項目獨立建設的，其特點為“煙囪式”，每套數(shù)據(jù)庫服務器都有獨立的存儲和管理工具，相互不能共享資源，形成了一大堆孤立的數(shù)據(jù)庫服務器。會導致以下問題:數(shù)據(jù)庫服務器和存儲設備規(guī)模大而分散，資源利用率低下；數(shù)據(jù)庫環(huán)境的維護難度大，難以適應業(yè)務變化的需求；服務器數(shù)量和管理的總體成本偏高。
[0003]傳統(tǒng)的獨立部署模式導致服務器硬件資源難以合理分配，大部分系統(tǒng)CPU負載在20%以下，某些業(yè)務高峰期空閑主機資源無法做到動態(tài)分配；資源利用率低的同時也導致增加更多的冗余設備。
[0004]隨著企業(yè)信息化的不斷建設，機房資源已經(jīng)成為瓶頸，提升優(yōu)化迫在眉睫；機房空間前期規(guī)劃不足，機房擴建成本昂貴，技術難點多。
[0005]隨著信息系統(tǒng)運行年限越久，業(yè)務量和數(shù)據(jù)量不斷增長，在信息化建設過程中，未考慮數(shù)據(jù)的生命周期，數(shù)據(jù)庫臃腫存在風險；數(shù)據(jù)恢復難度大，周期長，需將歷史數(shù)據(jù)下線分咼。
[0006]因主機、數(shù)據(jù)庫宕機等原因造成的數(shù)據(jù)庫故障無法自動切換，部分應用業(yè)務中斷無法被及時發(fā)現(xiàn)；因主機層面檢修、內(nèi)存擴容等需數(shù)據(jù)庫停機操作無法在線操作，周期長，需要技術人員夜間操作，加大工作量及操作風險，且業(yè)務系統(tǒng)重大版本升級無環(huán)境測試。
[0007]因業(yè)務系統(tǒng)關聯(lián)，導致多個業(yè)務系統(tǒng)從生產(chǎn)數(shù)據(jù)庫重復抽數(shù)，接口冗余，無故增加數(shù)據(jù)庫運行風險，及維護難度；對于數(shù)據(jù)流轉無有效監(jiān)控工具。

【發(fā)明內(nèi)容】

[0008]為了解決上述問題，本發(fā)明提供一種歷史數(shù)據(jù)歸檔集成系統(tǒng)及方法，解決因運行年限增加而導致數(shù)據(jù)庫臃腫的業(yè)務系統(tǒng)來開展歷史數(shù)據(jù)歸檔處理工作，從而遏制系統(tǒng)數(shù)據(jù)指數(shù)級增長的趨勢，降低系統(tǒng)數(shù)據(jù)庫運行風險。
[0009]本發(fā)明提供了如下的技術方案:
[0010]一種歷史數(shù)據(jù)歸檔集成系統(tǒng)，包括生產(chǎn)庫模塊、在線歷史庫模塊、離線歸檔庫模塊、高端分布式存儲模塊和高端分布式存儲模塊；
[0011]所述生產(chǎn)庫模塊作為寫庫，所述在線歷史庫模塊作為讀庫；
[0012]所述生產(chǎn)庫模塊的數(shù)據(jù)實時同步到所述在線歷史庫模塊；
[0013]所述在線歷史庫模塊根據(jù)數(shù)據(jù)的活躍情況將部分數(shù)據(jù)存儲到所述離線歸檔庫模塊；
[0014]所述高端分布式存儲模塊為所述在線歷史數(shù)據(jù)庫提供數(shù)據(jù)存儲；
[0015]所述低端分布式存儲模塊為所述離線歸檔庫模塊提供數(shù)據(jù)存儲。
[0016]優(yōu)選的，所述高端分布式存儲模塊為一高端分布式存儲一體機。
[0017]優(yōu)選的，所述低端分布式存儲模塊為一 PC服務器。
[0018]—種歷史數(shù)據(jù)歸檔集成方法，
[0019]對數(shù)據(jù)進行分類；
[0020]設置生產(chǎn)庫與在線歷史庫實時同步，設置生產(chǎn)庫為讀庫，設置在線歷史庫為寫庫，實現(xiàn)讀寫分離；
[0021]設置離線歸檔數(shù)據(jù)庫，存儲不活躍數(shù)據(jù)；
[0022]分布存儲所述離線歸檔數(shù)據(jù)庫與所述在線歷史庫數(shù)據(jù)。
[0023]優(yōu)選的，所述在線歷史庫采用高端分布式存儲一體機存儲數(shù)據(jù)。
[0024]優(yōu)選的，所述離線數(shù)據(jù)歸檔庫采用PC服務器存儲數(shù)據(jù)。
[0025]進一步的，為所述在線歷史庫設置數(shù)據(jù)庫資源池，所述數(shù)據(jù)庫資源池采用集群的方式管理。
[0026]本發(fā)明的有益效果是:
[0027]1.生產(chǎn)庫與在線歷史庫實時同步，在線歷史庫可用于讀寫分離，分擔生產(chǎn)庫負擔，
一庫多用；
[0028]生產(chǎn)庫與在線歷史庫采用GoldenGate/Streams技術實現(xiàn)生產(chǎn)庫與在線歷史庫的實時同步，生產(chǎn)庫的數(shù)據(jù)變化會實時的同步到在線歷史庫，在線歷史庫可以作為讀庫，生產(chǎn)庫作為寫庫，實現(xiàn)讀寫分離，最大限度的減少生產(chǎn)庫的負擔。在線歷史庫的數(shù)據(jù)是生產(chǎn)庫數(shù)據(jù)的一個超集，在對近年的歷史數(shù)據(jù)進行查詢時，可以直接到在線歷史庫進行查詢，方便歷史數(shù)據(jù)的追溯。目前主流的歸檔解決方案一般把歸檔數(shù)據(jù)作為文件形式存放，當需要查詢歷史數(shù)據(jù)時，需要對歸檔數(shù)據(jù)進行恢復，代價較高。也有些歸檔解決方案支持直接對歸檔的文件進行查詢，例如IBM Optim，但查詢效率非常低，而且需要對查詢功能部分進行二次開發(fā)，成本較高。本發(fā)明采用在線歷史庫和離線歸檔庫實現(xiàn)對數(shù)據(jù)的分級存放，既能保證歷史數(shù)據(jù)的可追溯性，同時也實現(xiàn)了歷史數(shù)據(jù)方便、高效的查詢。
[0029]2.分布式存儲降低硬件成本；
[0030]歷史數(shù)據(jù)的重要特點之一是數(shù)據(jù)量龐大，為了存儲這些海量級的歷史數(shù)據(jù)，需要海量級的存儲解決方案，然而傳統(tǒng)的存儲非常昂貴，且擴展性較差。為了解決這一問題，本發(fā)明采用分布式存儲作為存儲解決方案，分布式存儲的特點是容量巨大、擴展性較高、價格低廉。在線歷史庫和離線歸檔庫對于存儲性能的要求完全不一樣，在線歷史庫需要承擔歷史數(shù)據(jù)查詢或者讀寫分離的工作，對于存儲性能的要求較高，因此本發(fā)明采用公司自主研發(fā)的高端分布式存儲一體機，保證在線歷史庫的高效穩(wěn)定運行。而離線歸檔庫對于存儲的性能要求較低，因此采用自主研發(fā)的分布式存儲技術，用普通PC服務器搭建分布式存儲，大大降低了硬件成本。
[0031]3.在線歷史庫采用數(shù)據(jù)庫資源池技術，降低在線歷史庫的硬件成本，使在線歷史庫高度集成，方便在線歷史庫的管理；
[0032]在線歷史庫能夠很好的解決歷史數(shù)據(jù)查詢問題，但是需要為每一個生產(chǎn)庫搭建一套在線歷史庫，對硬件的需求量較大，因此我們本發(fā)明采用數(shù)據(jù)庫資源池技術，采用池化技術充分利用硬件資源，大大降低對硬件的需要。同時數(shù)據(jù)庫采用集群的方式管理，采用集群軟件對數(shù)據(jù)庫進行管理，降低了管理的難度，提高整個平臺的可維護性。
【附圖說明】
[0033]附圖用來提供對本發(fā)明的進一步理解，并且構成說明書的一部分，與本發(fā)明的實施例一起用于解釋本發(fā)明，并不構成對本發(fā)明的限制。在附圖中:
[0034]圖1是本發(fā)明一個較佳實施例的流程示意圖；
[0035]圖2是本發(fā)明一個較佳實施例數(shù)據(jù)分類示意圖；
[0036]圖3是本發(fā)明一個較佳實施例外部結構示意圖。
【具體實施方式】
[0037]實施例1，如圖1-3所示，本發(fā)明公開一種歷史數(shù)據(jù)歸檔集成系統(tǒng)及方法，在本實施例中，包括如下步驟:
[0038]1、歷