初始加工的數(shù)據(jù)存儲，是對于加工數(shù)據(jù)的第一落地點。
[0030]數(shù)據(jù)分析挖掘平臺，能夠基于大數(shù)據(jù)平臺處理之后的初始數(shù)據(jù)，實現(xiàn)面向應用支撐的數(shù)據(jù)分析模型、挖掘模型的需求提出、模型定義及描述、模型建立、模型訓練、模型發(fā)布等管理與業(yè)務功能，作為數(shù)據(jù)分析挖掘的管理平面。如圖2所示，數(shù)據(jù)分析挖掘平臺上存儲有模型信息、建模人員信息、模型訓練集信息，設置有模型知識庫及用于沉淀結(jié)果數(shù)據(jù)的挖掘集市。
[0031]數(shù)據(jù)網(wǎng)關，作為大數(shù)據(jù)分析挖掘的業(yè)務服務平面，能夠同步Web服務器上的數(shù)據(jù)及模型描述，建立索引；建立數(shù)據(jù)文件(或應用APP)的提取記錄審計；提供用戶、應用APP的合規(guī)性注冊；能夠開通FTP (文件傳輸協(xié)議)服務和Webservice服務。
[0032]如圖2所示，數(shù)據(jù)網(wǎng)關具有如下的功能:(I)統(tǒng)一接入與認證服務:完成數(shù)據(jù)需求、安全設計者等人員的注冊、合法性認證，并支持相關人員完成必要的管理性操作，如對于數(shù)據(jù)人員，完成人員注冊，同時完成數(shù)據(jù)發(fā)布訂閱、服務文件方式以及必要的參數(shù)解析；對于安全人員，完成安全規(guī)則配置以及數(shù)據(jù)審計；(2)離線任務處理:主要完成與數(shù)據(jù)分析挖掘平臺的結(jié)果數(shù)據(jù)的FTP接口對接，將結(jié)果數(shù)據(jù)由該離線任務處理傳遞至FTP服務器(server)上；(3)執(zhí)行監(jiān)控:主要完成離線、在線任務的實時監(jiān)控，為調(diào)度提供監(jiān)控數(shù)據(jù)和依據(jù)；(4)服務代理:主要提供數(shù)據(jù)流轉(zhuǎn)的協(xié)議配置，以及服務接入代理和必要的消息同步和消息觸發(fā)；(5)通用管理:主要完成數(shù)據(jù)網(wǎng)關運行過程中的日志、權(quán)限以及審計結(jié)果的通用性的管理。
[0033]具體而言，于本實施例中，在數(shù)據(jù)分析挖掘平臺開放的基礎上，形成了數(shù)據(jù)分析挖掘的模型知識庫。其中，數(shù)據(jù)分析挖掘模型以文件形式存儲在模型知識庫中。例如，以統(tǒng)計產(chǎn)品與服務解決方案(Statistical Product and Service Solut1ns，SPSS)工具建立的模型文件為Pmml文件，或者數(shù)據(jù)分析挖掘模型封裝為SQL文件或Jar包。此外，數(shù)據(jù)分析挖掘的模型知識庫還記錄模型的關鍵描述，例如需求者、創(chuàng)建者、所需的數(shù)據(jù)、訓練歷史及模型的核心功能描述等信息。其中，若模型符合數(shù)據(jù)分析挖掘平臺運營要求，可以變?yōu)檎降陌l(fā)布狀態(tài)，可供對該模型認可的場景或數(shù)據(jù)應用直接調(diào)用，進入模型運行流程。
[0034]于本實施例中，若模型為周期性運行，則運行時，通過獲取模型數(shù)據(jù)集信息、輸入數(shù)據(jù)集及模型部署算法，再進行算法運算，生成輸出數(shù)據(jù)集后將數(shù)據(jù)服務進行反饋。當數(shù)據(jù)調(diào)用方(例如，數(shù)據(jù)需求方)實時調(diào)用相應模型，數(shù)據(jù)分析挖掘平臺接收服務請求進行權(quán)限鑒別和服務路由后，獲取模型數(shù)據(jù)集信息、輸入數(shù)據(jù)集及模型部署算法，根據(jù)上述信息進行算法運算輸出數(shù)據(jù)集，然后將數(shù)據(jù)封裝后進行反饋。若數(shù)據(jù)調(diào)用方的服務請求的模型為發(fā)布狀態(tài)的模型，則根據(jù)請求信息從模型知識庫中選擇匹配的模型，獲取輸出數(shù)據(jù)集根據(jù)需求進行數(shù)據(jù)裁剪，再將數(shù)據(jù)封裝后進行反饋。
[0035]接下來，以SPSS建立的模型為例，描述其運行的具體流程。其中，通過調(diào)用clemb命令執(zhí)行模型。以下為本次命令行執(zhí)行中傳入的參數(shù)情況。
[0036]./clemb// 執(zhí)行命令
[0037]-server//說明是在服務器端執(zhí)行命令無參數(shù)
[0038]-hostname spss server//ip 例如 132.35.227.93
[0039]-port spss server/Vport 例如 28O53 (spss server 的默認端口)
[0040]-username spss server//主機訪問用戶名例如 mamp
[0041]-password spss server// 主機訪問密碼(與 mamp 配對)例如 bonclq2w3e
[0042]-P: databasenode.password = dw_mamp001// 數(shù)據(jù)庫連接參數(shù)
[0043]-directory被執(zhí)行文件的路徑//即.str文件存放位置例如/home/mamp/upload-mamp/upload
[0044]-stream被執(zhí)行文件名//例如singleCardModle.str該文件名不能為漢字，需要在程序里在上傳文件時做驗證和提示，讓用戶修改該文件名稱為合理的英文名稱
[0045]-execute//執(zhí)行-stream參數(shù)指定的工作流文件無參數(shù)值
[0046]之后，在Java程序中調(diào)用上述命令，具體而言，首先，通過總表保持上述配置參數(shù)，然后從表中讀取參數(shù)拼接字符串為可執(zhí)行的命令行。例如./clemb-server-hostname132.35.227.93-port 28053-username mamp-password bonclq2w3e-P:databasenode.username = dw—mamp-P:databasenode.password = ods_mx-directory/home/mamp/upload-mamp/upLoad-stream singleCardModle.str-execute
[0047]最后，通過以下代碼實現(xiàn)命令行的執(zhí)行。
[0048]try {
[0049]Process process = Runtime.getRuntime ().exec (sb.toString ())；
[0050]exitValue = new Integer (process.waitFor ())；
[0051]}catch(1Except1n e){
[0052]e.printStackTrace ()；
[0053]}catch(InterruptedExcept1n e){
[0054]e.printStackTrace ()；
[0055]}
[0056]return exitValue = = 0 ? true:false ；
[0057]于此，用戶可在數(shù)據(jù)分析挖掘平臺點擊【運行結(jié)果】(離線服務)或【運行并查看結(jié)果】(在線服務)觸發(fā)模型運行命令行的執(zhí)行。
[0058]于本實施例中，當模型運行狀態(tài)完成后，模型運行的結(jié)果數(shù)據(jù)第一落地點在數(shù)據(jù)分析挖掘平臺的挖掘集市中，即模型運行的結(jié)果數(shù)據(jù)當前分布在數(shù)據(jù)分析挖掘平臺上。結(jié)果數(shù)據(jù)在挖掘集市沉淀后推送至數(shù)據(jù)網(wǎng)關。數(shù)據(jù)網(wǎng)關根據(jù)與數(shù)據(jù)分析挖掘平臺同步的所述模型的索引信息、管理信息及結(jié)果數(shù)據(jù)建立數(shù)據(jù)輸出索引。
[0059]其中，管理信息包括數(shù)據(jù)需求方標識信息、模型標識信息、建模人員信息以及模型訓練集信息。索引信息包括模型標識信息、模型運行時間信息以及模型運行輸入集信息。具體而言，管理信息指能夠指揮該模型運行的信息，例如包括數(shù)據(jù)使用人員或組織的ID、模型的ID ;模型運行的數(shù)據(jù)集；模型的描述信息(如，該模型的功能、特征、編碼等)。索引信息例如包括模型ID、該模型的運行時間、該模型運行的輸入集。結(jié)果數(shù)據(jù)為該模型按照指定輸入集運行得到的數(shù)據(jù)。
[0060]于此，數(shù)據(jù)輸出索引建立的具體過程如下:以模型標識信息(模型的ID)為關聯(lián)要素，確定該模型對應的管理信息及索引信息的關聯(lián)，結(jié)果數(shù)據(jù)與模型ID及該模型運行的輸入集的組合一一對應(即:采用同一個模型，運行輸入集相同時結(jié)果數(shù)據(jù)相同)?；诖?，可以在數(shù)據(jù)網(wǎng)關中完整描述該結(jié)果數(shù)據(jù)的完整信息。即，數(shù)據(jù)網(wǎng)關通過建立數(shù)據(jù)輸出索引，確定了模型、模型運行的結(jié)果數(shù)據(jù)、數(shù)據(jù)需求方之間的正確關聯(lián)關系，從而保證正確的數(shù)據(jù)需求方，按照允許的模型規(guī)則，及時獲取該模型所運行的結(jié)果數(shù)據(jù)。即，將目標開放的數(shù)據(jù)準確開放給具備權(quán)限的數(shù)據(jù)需求方。
[0061]于本實施例中，安全管理人員可在數(shù)據(jù)網(wǎng)關完成安全規(guī)則的配置(比如，結(jié)果數(shù)據(jù)的過濾、脫敏及合規(guī)檢查等具體配置)。例如，根據(jù)數(shù)據(jù)需求方在數(shù)據(jù)網(wǎng)關的注冊等級，確定數(shù)據(jù)需求方能夠獲取的結(jié)果數(shù)據(jù)的完整程度。
[0062]若數(shù)據(jù)網(wǎng)關根據(jù)建立的數(shù)據(jù)輸出索引中的模型的管理信息的數(shù)據(jù)需求方標識信息，判斷當前希望使用該模型的結(jié)果數(shù)據(jù)的用戶對該模型沒有使用權(quán)限，則數(shù)據(jù)網(wǎng)關不會向該用戶輸出該模型的結(jié)果數(shù)據(jù)。若當前的數(shù)據(jù)需求方具有相應