一種數(shù)據(jù)分維度分層次管理的方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)據(jù)分維度分層次管理的方法及系統(tǒng)，屬于計(jì)算機(jī)技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]當(dāng)前，信息技術(shù)和互聯(lián)網(wǎng)技術(shù)的新發(fā)展，帶來(lái)了數(shù)據(jù)的爆發(fā)式增長(zhǎng)，數(shù)據(jù)正在成為驅(qū)動(dòng)經(jīng)濟(jì)增長(zhǎng)和社會(huì)進(jìn)步的重要基礎(chǔ)和戰(zhàn)略資源。不論任何規(guī)模的企業(yè)，無(wú)不每時(shí)每刻都產(chǎn)生著大量的數(shù)據(jù)。隨著企業(yè)信息化的發(fā)展，數(shù)據(jù)的分析和統(tǒng)計(jì)成為了企業(yè)領(lǐng)導(dǎo)層決策的重要因素。由于企業(yè)的業(yè)務(wù)數(shù)據(jù)量的迅猛增長(zhǎng)，數(shù)據(jù)庫(kù)存儲(chǔ)的數(shù)據(jù)量成TB甚至PB級(jí)的數(shù)據(jù)規(guī)模，并且數(shù)據(jù)來(lái)源也更加多元化，如何存儲(chǔ)這些海量數(shù)據(jù)并進(jìn)行快速精準(zhǔn)的數(shù)據(jù)查詢，是傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)無(wú)法全部解決的難題。

【發(fā)明內(nèi)容】

[0003]本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種，對(duì)企業(yè)海量業(yè)務(wù)數(shù)據(jù)進(jìn)行分維度分層次的管理，實(shí)現(xiàn)海量數(shù)據(jù)的收集、存儲(chǔ)和快速精準(zhǔn)的數(shù)據(jù)查詢，提高數(shù)據(jù)分析的效率，為企業(yè)的決策提供及時(shí)準(zhǔn)確的數(shù)據(jù)依據(jù)的數(shù)據(jù)分維度分層次管理的方法及系統(tǒng)。
[0004]本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下:一種數(shù)據(jù)分維度分層次管理的方法，包括以下步驟:
[0005]步驟1:采用至少一種收集方式收集原始數(shù)據(jù)；
[0006]步驟2:將收集到的原始數(shù)據(jù)存入基本表中，在基本表中對(duì)存入數(shù)據(jù)進(jìn)行維度拆分；
[0007]步驟3:將拆分后的原始數(shù)據(jù)根據(jù)維度分別存入多個(gè)維度表，并根據(jù)所有維度表的外鍵和關(guān)鍵字建立事實(shí)表。
[0008]本發(fā)明的有益效果是:對(duì)海量數(shù)據(jù)進(jìn)行分維度分層次的管理，實(shí)現(xiàn)海量數(shù)據(jù)的收集、存儲(chǔ)和快速精準(zhǔn)的數(shù)據(jù)查詢，提高數(shù)據(jù)分析的效率，為企業(yè)的決策提供及時(shí)準(zhǔn)確的數(shù)據(jù)依據(jù)。每一個(gè)事實(shí)表都有一組維度表通過(guò)關(guān)鍵字與之關(guān)聯(lián);事實(shí)表中存儲(chǔ)主要數(shù)據(jù)，只需查詢事實(shí)表就可以查詢到主要信息，而無(wú)需將多個(gè)龐大的基本表進(jìn)行聯(lián)表查詢，同時(shí)維度表一般較小，與事實(shí)表連接時(shí)速度很快，并不影響查詢效率。通過(guò)這種數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，可以極大的提高數(shù)據(jù)查詢效率。
[0009]在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。
[0010]進(jìn)一步，還包括步驟4:將每個(gè)維度表中數(shù)據(jù)根據(jù)不同類別創(chuàng)建視圖，得到數(shù)據(jù)立方體;所有維度表對(duì)應(yīng)多維數(shù)據(jù)立方體。
[0011]采用上述進(jìn)一步方案的有益效果是，事實(shí)表和維度表中存儲(chǔ)了所有數(shù)據(jù)各種維度的詳細(xì)信息，但在根據(jù)用戶需求做數(shù)據(jù)分析并展示數(shù)據(jù)時(shí)，往往只需要部分的數(shù)據(jù)，通過(guò)建立多維度數(shù)據(jù)立方體，可以方便定制數(shù)據(jù)，聚焦特定的數(shù)據(jù)。在實(shí)際應(yīng)用中可以任意抽取多維數(shù)據(jù)立方體中的數(shù)據(jù)用于Web應(yīng)用、手機(jī)APP應(yīng)用、微信應(yīng)用等各種應(yīng)用的數(shù)據(jù)分析展示；從數(shù)據(jù)安全性角度來(lái)看，多維度數(shù)據(jù)立方體是物理上并不存在的虛擬數(shù)據(jù)集，存儲(chǔ)動(dòng)態(tài)的數(shù)據(jù)集合，即便用戶操作數(shù)據(jù)立方體也無(wú)法更改和刪除事實(shí)表和維度表中的數(shù)據(jù)，保障了原始數(shù)據(jù)的安全性。
[0012]進(jìn)一步，所述步驟I具體包括以下步驟:
[0013]步驟1.1:確定數(shù)據(jù)來(lái)源，根據(jù)數(shù)據(jù)來(lái)源和數(shù)據(jù)種類選用不同的收集方式和收集工具;
[0014]步驟1.2:采用選用的收集方式和收集工具收集數(shù)據(jù)。
[0015]進(jìn)一步，所述數(shù)據(jù)來(lái)源包括業(yè)務(wù)系統(tǒng)數(shù)據(jù)、電子表格、系統(tǒng)運(yùn)行日志文件、移動(dòng)終端數(shù)據(jù)、數(shù)據(jù)供應(yīng)商和互聯(lián)網(wǎng)數(shù)據(jù)等。
[0016]進(jìn)一步，所述數(shù)據(jù)種類包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。
[0017]進(jìn)一步，所述收集方式包括手動(dòng)收集和自動(dòng)收集。
[0018]采用上述進(jìn)一步方案的有益效果是，手動(dòng)收集有Web應(yīng)用上傳、遠(yuǎn)程文件傳輸、云存儲(chǔ)等方式。自動(dòng)收集主要采用有ETL工具集收集，運(yùn)用ETL工具從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，進(jìn)行數(shù)據(jù)轉(zhuǎn)換、清洗，并加載數(shù)據(jù)到目標(biāo)數(shù)據(jù)存儲(chǔ)區(qū)。
[0019]進(jìn)一步，所述步驟2具體包括以下步驟:
[0020]步驟2.1:將收集到的原始數(shù)據(jù)存入基本表中；
[0021 ]步驟2.2:對(duì)基本表中的原始數(shù)據(jù)進(jìn)行預(yù)處理、分析和維度拆分，將原始數(shù)據(jù)按維度分組。
[0022]本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下:一種數(shù)據(jù)分維度分層次管理的系統(tǒng)，包括數(shù)據(jù)收集模塊、維度拆分模塊和分表存儲(chǔ)模塊；
[0023]所述數(shù)據(jù)收集模塊用于采用至少一種收集方式收集原始數(shù)據(jù)；
[0024]所述維度拆分模塊用于將收集到的原始數(shù)據(jù)存入基本表中，在基本表中對(duì)存入數(shù)據(jù)進(jìn)行維度拆分；
[0025]所述分表存儲(chǔ)模塊用于將拆分后的原始數(shù)據(jù)根據(jù)維度分別存入多個(gè)維度表，并根據(jù)所有維度表的外鍵和關(guān)鍵字建立事實(shí)表。
[0026]本發(fā)明的有益效果是:每一個(gè)事實(shí)表都有一組維度表通過(guò)關(guān)鍵字與之關(guān)聯(lián)。事實(shí)表中存儲(chǔ)主要數(shù)據(jù)，只需查詢事實(shí)表就可以查詢到主要信息，而無(wú)需將多個(gè)龐大的基本表進(jìn)行聯(lián)表查詢，同時(shí)維度表一般較小，與事實(shí)表連接時(shí)速度很快，并不影響查詢效率。通過(guò)這種數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，可以極大的提高數(shù)據(jù)查詢效率。
[0027]在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。
[0028]進(jìn)一步，還包括立方體模塊；
[0029]所述立方體模塊用于將每個(gè)維度表中數(shù)據(jù)根據(jù)不同類別創(chuàng)建視圖，得到數(shù)據(jù)立方體;所有維度表對(duì)應(yīng)多維數(shù)據(jù)立方體。
[0030]采用上述進(jìn)一步方案的有益效果是，事實(shí)表和維度表中存儲(chǔ)了所有數(shù)據(jù)各種維度的詳細(xì)信息，但在根據(jù)用戶需求做數(shù)據(jù)分析并展示數(shù)據(jù)時(shí)，往往只需要部分的數(shù)據(jù)，通過(guò)建立多維度數(shù)據(jù)立方體，可以方便定制數(shù)據(jù)，聚焦特定的數(shù)據(jù)。在實(shí)際應(yīng)用中可以任意抽取多維數(shù)據(jù)立方體中的數(shù)據(jù)用于Web應(yīng)用、手機(jī)APP應(yīng)用、微信應(yīng)用等各種應(yīng)用的數(shù)據(jù)分析展示；從數(shù)據(jù)安全性角度來(lái)看，多維度數(shù)據(jù)立方體是物理上并不存在的虛擬數(shù)據(jù)集，存儲(chǔ)動(dòng)態(tài)的數(shù)據(jù)集合，即便用戶操作數(shù)據(jù)立方體也無(wú)法更改和刪除事實(shí)表和維度表中的數(shù)據(jù)，保障了原始數(shù)據(jù)的安全性。
[0031]進(jìn)一步，所述數(shù)據(jù)收集模塊包括來(lái)源判斷模塊和收集模塊；
[0032]所述來(lái)源判斷模塊用于確定數(shù)據(jù)來(lái)源，根據(jù)數(shù)據(jù)來(lái)源和數(shù)據(jù)種類選用不同的收集方式和收集工具；
[0033]所述收集模塊用于采用選用的收集方式和收集工具收集數(shù)據(jù)。
【附圖說(shuō)明】
[0034]圖1為本發(fā)明實(shí)施例1所述的一種數(shù)據(jù)分維度分層次管理的方法流程圖；
[0035]圖2為本發(fā)明實(shí)施例1所述的一種數(shù)據(jù)分維度分層次管理的系統(tǒng)結(jié)構(gòu)框圖；
[0036]圖3為本發(fā)明具體示例所述的一種數(shù)據(jù)分維度分層次管理的方法流程圖。
[0037]附圖中，各標(biāo)號(hào)所代表的部件列表如下:
[0038]1、數(shù)據(jù)收集模塊，2、維度拆分模塊，3、分表存儲(chǔ)模塊。
【具體實(shí)施方式】
[0039]以下結(jié)合附圖對(duì)本發(fā)明的原理和特征進(jìn)行描述，所舉實(shí)例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。
[0040]如圖1所示，為本發(fā)明實(shí)施例1所述的一種數(shù)據(jù)分維度分層次管理的方法，包括以下步驟:
[0041 ]步驟I:采用至少一種收集方式收集原始數(shù)據(jù)；
[0042]步驟2:將收集到的原始數(shù)據(jù)存入基本表中，在基本表中對(duì)存入數(shù)據(jù)進(jìn)行維度拆分；
[0043]步驟3:將拆分后的原始數(shù)據(jù)根據(jù)維度分別存入多個(gè)維度表，并根據(jù)所有維度表的外鍵和關(guān)鍵字建立事實(shí)表。
[0044]本發(fā)明實(shí)施例2所述的方法，在實(shí)施例1的基礎(chǔ)上，還包括步驟4:將每個(gè)維度表中數(shù)據(jù)根據(jù)不同類別創(chuàng)建視圖，得到數(shù)據(jù)立方體;所有維度表對(duì)應(yīng)多維數(shù)據(jù)立方體。
[0045]本發(fā)明實(shí)施例3所述的方法，在實(shí)施例1或2的基礎(chǔ)上，所述步驟I具體包括以下步驟:
[0046]步驟1.1:確定數(shù)據(jù)來(lái)源，根據(jù)數(shù)據(jù)來(lái)源和數(shù)據(jù)種類選用不同的收集方式和收集工具;
[0047]步驟1.2:采用選用的收集方式和收集工具收集數(shù)據(jù)。
[0048]本發(fā)明實(shí)施例4所述的方法，在實(shí)施例3的基礎(chǔ)上，所述數(shù)據(jù)來(lái)源包括業(yè)務(wù)系統(tǒng)數(shù)