一種大數(shù)據(jù)系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種計(jì)算機(jī)領(lǐng)域，特別涉及一種大數(shù)據(jù)系統(tǒng)。
【背景技術(shù)】
[0002]大數(shù)據(jù)(big data)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊，當(dāng)前，還沒有一種比較完善的大數(shù)據(jù)系統(tǒng)架構(gòu)。

【發(fā)明內(nèi)容】

[0003]針對上述技術(shù)問題，本發(fā)明提供了一種大數(shù)據(jù)系統(tǒng)，解決了上述技術(shù)問題。
[0004]一方面，本發(fā)明提供了一種大數(shù)據(jù)系統(tǒng)，包括:1個以上數(shù)據(jù)庫，數(shù)據(jù)抽取裝置和數(shù)據(jù)倉庫，其中，數(shù)據(jù)庫存儲用戶的業(yè)務(wù)數(shù)據(jù)，數(shù)據(jù)倉庫通過數(shù)據(jù)抽取裝置與所述I個以上數(shù)據(jù)庫相連接，數(shù)據(jù)抽取裝置將I個以上數(shù)據(jù)庫的數(shù)據(jù)內(nèi)容，進(jìn)行抽取，獲得符合數(shù)據(jù)倉庫格式的數(shù)據(jù)，并將抽取整理后的數(shù)據(jù)發(fā)送到數(shù)據(jù)倉庫中，數(shù)據(jù)倉庫將抽取整理后的數(shù)據(jù)分析和挖掘，獲得有價(jià)值的數(shù)據(jù)。
[0005]本發(fā)明的有益效果:本發(fā)明提供了一種完善的大數(shù)據(jù)系統(tǒng)。
【附圖說明】
[0006]圖1是本發(fā)明的一種大數(shù)據(jù)系統(tǒng)結(jié)構(gòu)示意圖。
[0007]圖中，I，數(shù)據(jù)庫，2，數(shù)據(jù)抽取裝置，3，數(shù)據(jù)倉庫。
【具體實(shí)施方式】
[0008]下面結(jié)合附圖和實(shí)施例對本發(fā)明作進(jìn)一步說明，應(yīng)指出的是，所描述的實(shí)施例僅旨在便于對本發(fā)明的理解，而對其不起任何限定作用。
[0009]下面結(jié)合附圖和【具體實(shí)施方式】對本發(fā)明作進(jìn)一步詳細(xì)的說明。
[0010]如圖1所示，本發(fā)明提供了一種大數(shù)據(jù)系統(tǒng)，包括:數(shù)據(jù)庫1，數(shù)據(jù)抽取裝置2和數(shù)據(jù)倉庫3。
[0011]其中，數(shù)據(jù)庫I存儲用戶的業(yè)務(wù)數(shù)據(jù)，不同的業(yè)務(wù)可以存放到不同的數(shù)據(jù)庫上，也就是說，數(shù)據(jù)庫I可以有多個，數(shù)據(jù)倉庫3通過數(shù)據(jù)抽取裝置2與多個數(shù)據(jù)庫I相連接，數(shù)據(jù)抽取裝置2將多個數(shù)據(jù)庫I的數(shù)據(jù)內(nèi)容，進(jìn)行抽取，獲得符合數(shù)據(jù)倉庫3的數(shù)據(jù)，并將抽取整理后的數(shù)據(jù)發(fā)送到數(shù)據(jù)倉庫3中，數(shù)據(jù)倉庫3根據(jù)分析和挖掘算法，將抽取整理后的數(shù)據(jù)分析和挖掘，獲得有價(jià)值的數(shù)據(jù)。
[0012]下面以具體的例子來介紹該過程。
[0013]數(shù)據(jù)庫I可以包括多個數(shù)據(jù)庫，如債務(wù)人數(shù)據(jù)源，收錄所有債務(wù)人企業(yè)的基本信息、財(cái)務(wù)信息、供應(yīng)商信息及其它相關(guān)信息，為分析債務(wù)人的信用情況提供數(shù)據(jù)支持。債權(quán)人數(shù)據(jù)源，收錄所有債務(wù)人企業(yè)的基本信息、財(cái)務(wù)信息及其它相關(guān)信息，為分析債權(quán)人的信用情況提供數(shù)據(jù)支持。資金提供方數(shù)據(jù)源，收錄所有資金提供方的基本信息、機(jī)構(gòu)設(shè)置情況及其他信息，為分析應(yīng)收賬款債權(quán)憑證的信用情況提供數(shù)據(jù)支持，為預(yù)警應(yīng)收賬款債權(quán)憑證的流動性風(fēng)險(xiǎn)提供支持。應(yīng)收賬款數(shù)據(jù)源，收錄所有應(yīng)收賬款的基本信息(日期、金額、債權(quán)人、債務(wù)人)、融資情況(融資比率、綜合費(fèi)率、抵押擔(dān)保情況)及放款、還款等情況，為預(yù)警應(yīng)收賬款債權(quán)憑證的信用風(fēng)險(xiǎn)提供支持。放款信息數(shù)據(jù)庫，收錄所有應(yīng)收賬款憑證的放款情況，為監(jiān)管、保證應(yīng)收賬款債權(quán)憑證的流動性提供支持。還款信息數(shù)據(jù)庫，收錄所有應(yīng)收賬款憑證的還款信息，為監(jiān)管應(yīng)收賬款債權(quán)憑證的信用質(zhì)量提供支持。供應(yīng)商名錄數(shù)據(jù)源，收錄所有供應(yīng)商情況，為分析某一供應(yīng)商的綜合違約風(fēng)險(xiǎn)提供數(shù)據(jù)支持。內(nèi)部用戶數(shù)據(jù)源，收錄所有內(nèi)部用戶情況，為綜合分析內(nèi)部員工的操作性風(fēng)險(xiǎn)提供數(shù)據(jù)支持。合作銀行數(shù)據(jù)源，收錄所有合作銀行情況，為銀監(jiān)會監(jiān)管銀行提供數(shù)據(jù)支持。非銀行金融機(jī)構(gòu)數(shù)據(jù)源，收錄所有擔(dān)保機(jī)構(gòu)情況，為地方金融辦監(jiān)管地方金融機(jī)構(gòu)提供數(shù)據(jù)支持。保險(xiǎn)公司數(shù)據(jù)源，收錄所有保險(xiǎn)公司情況，為保監(jiān)會監(jiān)管保險(xiǎn)公司提供數(shù)據(jù)支持。交易明細(xì)信息數(shù)據(jù)庫，收錄所有交易的明細(xì)信息，為具體分析交易風(fēng)險(xiǎn)提供數(shù)據(jù)支持。外部用戶數(shù)據(jù)源，收錄所有外部用戶操作日志，為分析異常操作、操作風(fēng)險(xiǎn)提供支持。違約情況數(shù)據(jù)源，收錄所有違約應(yīng)收賬款的信息，為分析應(yīng)收賬款債權(quán)流轉(zhuǎn)業(yè)務(wù)的總體風(fēng)險(xiǎn)提供支持。
[0014]數(shù)據(jù)抽取裝置2執(zhí)行了如下過程:數(shù)據(jù)抽取:從數(shù)據(jù)源中抽取數(shù)據(jù)的過程，第一次抽取對數(shù)據(jù)庫中所有數(shù)據(jù)進(jìn)行抽取，之后可只抽取數(shù)據(jù)庫中新增、修改、刪除的數(shù)據(jù)，通過準(zhǔn)確地捕獲業(yè)務(wù)系統(tǒng)中的變化數(shù)據(jù)，減少對業(yè)務(wù)系統(tǒng)造成的壓力，并實(shí)現(xiàn)業(yè)務(wù)的實(shí)時(shí)監(jiān)控。轉(zhuǎn)換:將數(shù)據(jù)按統(tǒng)一格式進(jìn)行轉(zhuǎn)換，保證數(shù)據(jù)庫構(gòu)架的合理，及數(shù)據(jù)存諸形式的統(tǒng)一。清洗:數(shù)據(jù)清洗指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識別的錯誤的最后一道程序，包括檢查數(shù)據(jù)一致性，處理無效值和缺失值等。因?yàn)閿?shù)據(jù)倉庫中的數(shù)據(jù)是面向某一主題的數(shù)據(jù)的集合，這些數(shù)據(jù)從多個業(yè)務(wù)系統(tǒng)中抽取而來而且包含歷史數(shù)據(jù)，這樣就避免不了有的數(shù)據(jù)是錯誤數(shù)據(jù)、有的數(shù)據(jù)相互之間有沖突，這些錯誤的或有沖突的數(shù)據(jù)顯然是我們不想要的，稱為“臟數(shù)據(jù)”。我們要按照一定的規(guī)則把“臟數(shù)據(jù)”“洗掉”，這就是數(shù)據(jù)清洗。而數(shù)據(jù)清洗的任務(wù)是過濾那些不符合要求的數(shù)據(jù)，將過濾的結(jié)果交給業(yè)務(wù)主管部門，確認(rèn)是否過濾掉還是由業(yè)務(wù)單位修正之后再進(jìn)行抽取。不符合要求的數(shù)據(jù)主要是有不完整的數(shù)據(jù)、錯誤的數(shù)據(jù)、重復(fù)的數(shù)據(jù)三大類。數(shù)據(jù)清洗是與問卷審核不同，錄入后的數(shù)據(jù)清理一般是由計(jì)算機(jī)而不是人工完成。裝載:數(shù)據(jù)裝載是指將轉(zhuǎn)換好的數(shù)據(jù)保存到數(shù)據(jù)倉庫中去。一般情況下，數(shù)據(jù)裝載應(yīng)該在系統(tǒng)完成了更新之后進(jìn)行。如果是第一次對整個數(shù)據(jù)倉庫進(jìn)行裝載，將在裝載工作完成以后建立索引，以減少創(chuàng)建索引時(shí)間；對已運(yùn)行的數(shù)據(jù)倉庫中裝載源系統(tǒng)中已變化的數(shù)據(jù)，采用建設(shè)性合并的裝載方式(輸入的記錄主鍵與已有的記錄的主鍵相匹配，保留已有的記錄，增加輸入的記錄，并標(biāo)記為舊記錄的替代)，也可以采用破壞性合并裝載方式(如果輸入數(shù)據(jù)記錄的主鍵與一條已經(jīng)存在的記錄的主鍵相匹配，用新輸入數(shù)據(jù)更新目標(biāo)記錄數(shù)據(jù)；如果輸入記錄是一條新的記錄，就將這條輸入的記錄添加到目標(biāo)表中)。
[0015]數(shù)據(jù)倉庫3進(jìn)行如下操作:形成分析立方體。具