大數(shù)據(jù)平臺(tái)系統(tǒng)及其運(yùn)行方法
【專利摘要】本發(fā)明公開了大數(shù)據(jù)平臺(tái)系統(tǒng)，包括應(yīng)用層、服務(wù)層、功能層、平臺(tái)層和采集層；采集層包括移動(dòng)終端和互聯(lián)網(wǎng)，大數(shù)據(jù)系統(tǒng)通過這兩個(gè)渠道采集數(shù)據(jù)，通過用戶在移動(dòng)終端和計(jì)算機(jī)等互聯(lián)網(wǎng)工具上的瀏覽記錄、點(diǎn)評(píng)等動(dòng)作搜集數(shù)據(jù)；平臺(tái)層由大數(shù)據(jù)存儲(chǔ)平臺(tái)、大數(shù)據(jù)計(jì)算平臺(tái)和多數(shù)據(jù)中心調(diào)度引擎構(gòu)成，平臺(tái)層提供了大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)。本發(fā)明的系統(tǒng)框架完整，功能齊全，涵蓋互聯(lián)網(wǎng)上的大連數(shù)據(jù)資源，通過大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)、分布式數(shù)據(jù)挖掘運(yùn)行時(shí)系統(tǒng)和智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)實(shí)現(xiàn)了對(duì)數(shù)據(jù)高效、快速的存儲(chǔ)、計(jì)算、整合和調(diào)度，提高了大數(shù)據(jù)平臺(tái)系統(tǒng)的處理能力，且系統(tǒng)能夠穩(wěn)定運(yùn)行。
【專利說明】
大數(shù)據(jù)平臺(tái)系統(tǒng)及其運(yùn)行方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及大數(shù)據(jù)系統(tǒng)技術(shù)領(lǐng)域，尤其涉及大數(shù)據(jù)平臺(tái)系統(tǒng)及其運(yùn)行方法。
【背景技術(shù)】
[0002]大數(shù)據(jù)分析平臺(tái)基于分布式海量數(shù)據(jù)存儲(chǔ)與計(jì)算環(huán)境，提供圖形化交互式數(shù)據(jù)處理和分析工具，豐富的數(shù)據(jù)分析與挖掘算法，以及交互式可視化分析工具，通過互聯(lián)網(wǎng)服務(wù)方式向用戶提供服務(wù)。這種系統(tǒng)實(shí)現(xiàn)策略不僅符合大數(shù)據(jù)應(yīng)用的發(fā)展趨勢(shì)，同時(shí)也滿足中小企業(yè)和個(gè)人用戶對(duì)于數(shù)據(jù)分析系統(tǒng)的可用性、時(shí)效性和低成本等方面的要求。大數(shù)據(jù)分析平臺(tái)所采用的技術(shù)路線和應(yīng)用模式融合了智能分析技術(shù)、高可擴(kuò)展計(jì)算技術(shù)、非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)和軟件即服務(wù)(SaaS)應(yīng)用模式，符合當(dāng)前國(guó)際大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展趨勢(shì)和產(chǎn)業(yè)化應(yīng)用要求。一方面，系統(tǒng)通過互聯(lián)網(wǎng)服務(wù)方式向用戶提供高可用、高易用和一站式的海量數(shù)據(jù)分析服務(wù)，可有效降低企業(yè)應(yīng)用門檻和成本，通過專業(yè)化服務(wù)外包滿足企業(yè)個(gè)性化需求。另一方面，由于是開放架構(gòu)的系統(tǒng)平臺(tái)，商業(yè)用戶和其他軟件提供商可通過系統(tǒng)提供的互聯(lián)網(wǎng)服務(wù)開發(fā)接口(Open API)開發(fā)面向行業(yè)商務(wù)智能應(yīng)用的解決方案，孵化新型咨詢公司、軟件公司和信息服務(wù)公司，有助于形成以平臺(tái)為核心的大數(shù)據(jù)分析產(chǎn)業(yè)生態(tài)環(huán)境。
[0003]然而現(xiàn)有的大數(shù)據(jù)平臺(tái)系統(tǒng)大多功能單一，框架不完善，無法實(shí)現(xiàn)真正的大數(shù)據(jù)處理時(shí)代，為此我們?cè)O(shè)計(jì)出一種大數(shù)據(jù)平臺(tái)系統(tǒng)及其運(yùn)行方法，來解決上述問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中存在的缺點(diǎn)，而提出的大數(shù)據(jù)平臺(tái)系統(tǒng)及其運(yùn)行方法。
[0005]為了實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案:
大數(shù)據(jù)平臺(tái)系統(tǒng)，包括應(yīng)用層、服務(wù)層、功能層、平臺(tái)層和采集層；
采集層包括移動(dòng)終端和互聯(lián)網(wǎng)，大數(shù)據(jù)系統(tǒng)通過這兩個(gè)渠道采集數(shù)據(jù)，通過用戶在移動(dòng)終端和計(jì)算機(jī)等互聯(lián)網(wǎng)工具上的瀏覽記錄、點(diǎn)評(píng)等動(dòng)作搜集數(shù)據(jù)；
平臺(tái)層由大數(shù)據(jù)存儲(chǔ)平臺(tái)、大數(shù)據(jù)計(jì)算平臺(tái)和多數(shù)據(jù)中心調(diào)度引擎構(gòu)成，平臺(tái)層提供了大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，分布式數(shù)據(jù)挖掘運(yùn)行時(shí)系統(tǒng)和智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)，為大數(shù)據(jù)存儲(chǔ)和挖掘提供大數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)，為多區(qū)域智能中心的分析架構(gòu)提供多數(shù)據(jù)中心調(diào)度引擎，為整個(gè)大數(shù)據(jù)分析平臺(tái)提供基礎(chǔ)平臺(tái)支持；
功能層由大數(shù)據(jù)集成、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)管理和大數(shù)據(jù)挖掘構(gòu)成，功能層提供了高可擴(kuò)展性大數(shù)據(jù)挖掘算法，大數(shù)據(jù)安全與隱私保護(hù)技術(shù)，大數(shù)據(jù)安全與隱私保護(hù)技術(shù)和交互式可視化分析技術(shù)，為大數(shù)據(jù)存儲(chǔ)和挖掘提供大數(shù)據(jù)集成、存儲(chǔ)、管理和挖掘功能，提供基本的大數(shù)據(jù)存儲(chǔ)和挖掘功能；
服務(wù)層基于Web和Open API技術(shù)提供大數(shù)據(jù)服務(wù)，為用戶提供基于互聯(lián)網(wǎng)的大數(shù)據(jù)服務(wù)；
應(yīng)用層為由用戶提供應(yīng)用軟件和搜索網(wǎng)站，用戶可通過這兩個(gè)入口使用大數(shù)據(jù)系統(tǒng)的整理的資源和信息。
[0006]優(yōu)選的，所述應(yīng)用層、服務(wù)層、功能層、平臺(tái)層和采集層均通過系統(tǒng)監(jiān)控模塊監(jiān)管。
[0007]優(yōu)選的，所述系統(tǒng)基于硬件、軟件以及互聯(lián)網(wǎng)使用。
[0008]優(yōu)選的，所述系統(tǒng)監(jiān)控模塊與公安監(jiān)管系統(tǒng)連接。
[0009]本發(fā)明還提出了一種大數(shù)據(jù)平臺(tái)系統(tǒng)的運(yùn)行方法，包括以下步驟:
51、系統(tǒng)通過用戶在移動(dòng)終端和計(jì)算機(jī)等互聯(lián)網(wǎng)工具上的瀏覽記錄、點(diǎn)評(píng)等動(dòng)作采集數(shù)據(jù)；
52、數(shù)據(jù)進(jìn)入系統(tǒng)的平臺(tái)層，通過大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，分布式數(shù)據(jù)挖掘運(yùn)行時(shí)系統(tǒng)和智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)、計(jì)算、整合和調(diào)度，提高大規(guī)模、非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)方式，構(gòu)建大數(shù)據(jù)運(yùn)行時(shí)系統(tǒng)以及構(gòu)建基于多智能中心的大數(shù)據(jù)服務(wù)平臺(tái)；
53、數(shù)據(jù)進(jìn)入系統(tǒng)的功能層，通過高可擴(kuò)展性大數(shù)據(jù)挖掘算法實(shí)現(xiàn)TB級(jí)數(shù)據(jù)的建模能力，通過大數(shù)據(jù)安全與隱私保護(hù)技術(shù)確保大數(shù)據(jù)挖掘過程中的數(shù)據(jù)安全，保證用戶的隱私不被泄露，通過分布式工作流引擎研究基于云計(jì)算的分布式工作流調(diào)度、負(fù)載均衡技術(shù)，通過交互式可視化分析技術(shù)實(shí)現(xiàn)大數(shù)據(jù)挖掘的高度人機(jī)交互功能；
54、數(shù)據(jù)進(jìn)入系統(tǒng)的服務(wù)層，構(gòu)建基于Web的大數(shù)據(jù)分析環(huán)境和基于OpenAPI的大數(shù)據(jù)分析模式；
55、至此數(shù)據(jù)處理過程結(jié)束，用戶可通過應(yīng)用軟件和搜索網(wǎng)站使用大數(shù)據(jù)系統(tǒng)的整理的資源和信息。
[0010]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是:本系統(tǒng)框架完整，功能齊全，涵蓋互聯(lián)網(wǎng)上的大連數(shù)據(jù)資源，通過大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)、分布式數(shù)據(jù)挖掘運(yùn)行時(shí)系統(tǒng)和智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)實(shí)現(xiàn)了對(duì)數(shù)據(jù)高效、快速的存儲(chǔ)、計(jì)算、整合和調(diào)度，提高了大數(shù)據(jù)平臺(tái)系統(tǒng)的處理能力，且系統(tǒng)能夠穩(wěn)定運(yùn)行。
【附圖說明】
[0011]圖1為本發(fā)明提出的大數(shù)據(jù)平臺(tái)系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0012]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例。
[0013]參照?qǐng)D1，大數(shù)據(jù)平臺(tái)系統(tǒng)，包括應(yīng)用層、服務(wù)層、功能層、平臺(tái)層和采集層，所述應(yīng)用層、服務(wù)層、功能層、平臺(tái)層和采集層均通過系統(tǒng)監(jiān)控模塊監(jiān)管，所述系統(tǒng)基于硬件、軟件以及互聯(lián)網(wǎng)使用，所述系統(tǒng)監(jiān)控模塊與公安監(jiān)管系統(tǒng)連接；
采集層包括移動(dòng)終端和互聯(lián)網(wǎng)，大數(shù)據(jù)系統(tǒng)通過這兩個(gè)渠道采集數(shù)據(jù)，通過用戶在移動(dòng)終端和計(jì)算機(jī)等互聯(lián)網(wǎng)工具上的瀏覽記錄、點(diǎn)評(píng)等動(dòng)作搜集數(shù)據(jù)；
平臺(tái)層由大數(shù)據(jù)存儲(chǔ)平臺(tái)、大數(shù)據(jù)計(jì)算平臺(tái)和多數(shù)據(jù)中心調(diào)度引擎構(gòu)成，平臺(tái)層提供了大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，分布式數(shù)據(jù)挖掘運(yùn)行時(shí)系統(tǒng)和智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)，為大數(shù)據(jù)存儲(chǔ)和挖掘提供大數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)，為多區(qū)域智能中心的分析架構(gòu)提供多數(shù)據(jù)中心調(diào)度引擎，為整個(gè)大數(shù)據(jù)分析平臺(tái)提供基礎(chǔ)平臺(tái)支持；
功能層由大數(shù)據(jù)集成、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)管理和大數(shù)據(jù)挖掘構(gòu)成，功能層提供了高可擴(kuò)展性大數(shù)據(jù)挖掘算法，大數(shù)據(jù)安全與隱私保護(hù)技術(shù)，大數(shù)據(jù)安全與隱私保護(hù)技術(shù)和交互式可視化分析技術(shù)，為大數(shù)據(jù)存儲(chǔ)和挖掘提供大數(shù)據(jù)集成、存儲(chǔ)、管理和挖掘功能，提供基本的大數(shù)據(jù)存儲(chǔ)和挖掘功能；
服務(wù)層基于Web和Open API技術(shù)提供大數(shù)據(jù)服務(wù)，為用戶提供基于互聯(lián)網(wǎng)的大數(shù)據(jù)服務(wù)；
應(yīng)用層為由用戶提供應(yīng)用軟件和搜索網(wǎng)站，用戶可通過這兩個(gè)入口使用大數(shù)據(jù)系統(tǒng)的整理的資源和信息。
[0014]本發(fā)明還提出了一種大數(shù)據(jù)平臺(tái)系統(tǒng)的運(yùn)行方法，包括以下步驟:
51、系統(tǒng)通過用戶在移動(dòng)終端和計(jì)算機(jī)等互聯(lián)網(wǎng)工具上的瀏覽記錄、點(diǎn)評(píng)等動(dòng)作采集數(shù)據(jù)；
52、數(shù)據(jù)進(jìn)入系統(tǒng)的平臺(tái)層，通過大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，分布式數(shù)據(jù)挖掘運(yùn)行時(shí)系統(tǒng)和智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)、計(jì)算、整合和調(diào)度，提高大規(guī)模、非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)方式，構(gòu)建大數(shù)據(jù)運(yùn)行時(shí)系統(tǒng)以及構(gòu)建基于多智能中心的大數(shù)據(jù)服務(wù)平臺(tái)；
53、數(shù)據(jù)進(jìn)入系統(tǒng)的功能層，通過高可擴(kuò)展性大數(shù)據(jù)挖掘算法實(shí)現(xiàn)TB級(jí)數(shù)據(jù)的建模能力，通過大數(shù)據(jù)安全與隱私保護(hù)技術(shù)確保大數(shù)據(jù)挖掘過程中的數(shù)據(jù)安全，保證用戶的隱私不被泄露，通過分布式工作流引擎研究基于云計(jì)算的分布式工作流調(diào)度、負(fù)載均衡技術(shù)，通過交互式可視化分析技術(shù)實(shí)現(xiàn)大數(shù)據(jù)挖掘的高度人機(jī)交互功能；
54、數(shù)據(jù)進(jìn)入系統(tǒng)的服務(wù)層，構(gòu)建基于Web的大數(shù)據(jù)分析環(huán)境和基于OpenAPI的大數(shù)據(jù)分析模式；
55、至此數(shù)據(jù)處理過程結(jié)束，用戶可通過應(yīng)用軟件和搜索網(wǎng)站使用大數(shù)據(jù)系統(tǒng)的整理的資源和信息。
[0015]以上所述，僅為本發(fā)明較佳的【具體實(shí)施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，根據(jù)本發(fā)明的技術(shù)方案及其發(fā)明構(gòu)思加以等同替換或改變，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.大數(shù)據(jù)平臺(tái)系統(tǒng)，其特征在于，包括應(yīng)用層、服務(wù)層、功能層、平臺(tái)層和采集層； 采集層包括移動(dòng)終端和互聯(lián)網(wǎng)，大數(shù)據(jù)系統(tǒng)通過這兩個(gè)渠道采集數(shù)據(jù)，通過用戶在移動(dòng)終端和計(jì)算機(jī)等互聯(lián)網(wǎng)工具上的瀏覽記錄、點(diǎn)評(píng)等動(dòng)作搜集數(shù)據(jù)； 平臺(tái)層由大數(shù)據(jù)存儲(chǔ)平臺(tái)、大數(shù)據(jù)計(jì)算平臺(tái)和多數(shù)據(jù)中心調(diào)度引擎構(gòu)成，平臺(tái)層提供了大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，分布式數(shù)據(jù)挖掘運(yùn)行時(shí)系統(tǒng)和智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)，為大數(shù)據(jù)存儲(chǔ)和挖掘提供大數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)，為多區(qū)域智能中心的分析架構(gòu)提供多數(shù)據(jù)中心調(diào)度引擎，為整個(gè)大數(shù)據(jù)分析平臺(tái)提供基礎(chǔ)平臺(tái)支持； 功能層由大數(shù)據(jù)集成、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)管理和大數(shù)據(jù)挖掘構(gòu)成，功能層提供了高可擴(kuò)展性大數(shù)據(jù)挖掘算法，大數(shù)據(jù)安全與隱私保護(hù)技術(shù)，大數(shù)據(jù)安全與隱私保護(hù)技術(shù)和交互式可視化分析技術(shù)，為大數(shù)據(jù)存儲(chǔ)和挖掘提供大數(shù)據(jù)集成、存儲(chǔ)、管理和挖掘功能，提供基本的大數(shù)據(jù)存儲(chǔ)和挖掘功能； 服務(wù)層基于Web和Open API技術(shù)提供大數(shù)據(jù)服務(wù)，為用戶提供基于互聯(lián)網(wǎng)的大數(shù)據(jù)服務(wù)； 應(yīng)用層為由用戶提供應(yīng)用軟件和搜索網(wǎng)站，用戶可通過這兩個(gè)入口使用大數(shù)據(jù)系統(tǒng)的整理的資源和信息。2.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)平臺(tái)系統(tǒng)，其特征在于，所述應(yīng)用層、服務(wù)層、功能層、平臺(tái)層和采集層均通過系統(tǒng)監(jiān)控模塊監(jiān)管。3.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)平臺(tái)系統(tǒng)，其特征在于，所述系統(tǒng)基于硬件、軟件以及互聯(lián)網(wǎng)使用。4.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)平臺(tái)系統(tǒng)，其特征在于，所述系統(tǒng)監(jiān)控模塊與公安監(jiān)管系統(tǒng)連接。5.大數(shù)據(jù)平臺(tái)系統(tǒng)的運(yùn)行方法，其特征在于，包括以下步驟: S1、系統(tǒng)通過用戶在移動(dòng)終端和計(jì)算機(jī)等互聯(lián)網(wǎng)工具上的瀏覽記錄、點(diǎn)評(píng)等動(dòng)作采集數(shù)據(jù)； S2、數(shù)據(jù)進(jìn)入系統(tǒng)的平臺(tái)層，通過大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，分布式數(shù)據(jù)挖掘運(yùn)行時(shí)系統(tǒng)和智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)、計(jì)算、整合和調(diào)度，提高大規(guī)模、非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)方式，構(gòu)建大數(shù)據(jù)運(yùn)行時(shí)系統(tǒng)以及構(gòu)建基于多智能中心的大數(shù)據(jù)服務(wù)平臺(tái)； S3、數(shù)據(jù)進(jìn)入系統(tǒng)的功能層，通過高可擴(kuò)展性大數(shù)據(jù)挖掘算法實(shí)現(xiàn)TB級(jí)數(shù)據(jù)的建模能力，通過大數(shù)據(jù)安全與隱私保護(hù)技術(shù)確保大數(shù)據(jù)挖掘過程中的數(shù)據(jù)安全，保證用戶的隱私不被泄露，通過分布式工作流引擎研究基于云計(jì)算的分布式工作流調(diào)度、負(fù)載均衡技術(shù)，通過交互式可視化分析技術(shù)實(shí)現(xiàn)大數(shù)據(jù)挖掘的高度人機(jī)交互功能； S4、數(shù)據(jù)進(jìn)入系統(tǒng)的服務(wù)層，構(gòu)建基于Web的大數(shù)據(jù)分析環(huán)境和基于OpenAPI的大數(shù)據(jù)分析模式； S5、至此數(shù)據(jù)處理過程結(jié)束，用戶可通過應(yīng)用軟件和搜索網(wǎng)站使用大數(shù)據(jù)系統(tǒng)的整理的資源和信息。
【文檔編號(hào)】H04L29/08GK105933461SQ201610562000
【公開日】2016年9月7日
【申請(qǐng)日】2016年7月18日
【發(fā)明人】劉貴全, 葉劍鳴, 印金汝
【申請(qǐng)人】合肥赑歌數(shù)據(jù)科技有限公司