用于管理數(shù)據(jù)建模的系統(tǒng)及其方法
【專利摘要】本發(fā)明提供了一種用于管理數(shù)據(jù)建模的方法，包括：(A)建立用于管理數(shù)據(jù)建模的建模項(xiàng)目；(B)在建立的建模項(xiàng)目下，建立至少一個建模計(jì)劃，其中，建模計(jì)劃用于執(zhí)行數(shù)據(jù)建?；顒?；(C)在建立的每個建模計(jì)劃下，配置相應(yīng)的數(shù)據(jù)建?；顒铀婕暗慕Ｈ蝿?wù)，其中，所述建模任務(wù)包括以下項(xiàng)中的至少一個：數(shù)據(jù)輸入任務(wù)、數(shù)據(jù)拼接任務(wù)、特征抽取任務(wù)、模型訓(xùn)練任務(wù)、模型評估任務(wù)、模型應(yīng)用任務(wù)；(D)啟動所述至少一個建模計(jì)劃，并將所述至少一個建模計(jì)劃產(chǎn)生的結(jié)果保存在所述建模項(xiàng)目下。通過上述方式，能夠有效地管理數(shù)據(jù)建模中涉及的處理、數(shù)據(jù)和資源等。
【專利說明】
用于管理數(shù)據(jù)建模的系統(tǒng)及其方法
技術(shù)領(lǐng)域
[0001]本發(fā)明總體地涉及數(shù)據(jù)建模技術(shù)，更具體地涉及用于管理數(shù)據(jù)建模的系統(tǒng)及其方法。
【背景技術(shù)】
[0002]近年來，隨著各領(lǐng)域海量數(shù)據(jù)的產(chǎn)生，數(shù)據(jù)挖掘技術(shù)逐漸得到更為廣泛的應(yīng)用，以便透析數(shù)據(jù)的潛在含義并揭示業(yè)務(wù)的內(nèi)在規(guī)律，從而幫助人們更好地進(jìn)行生產(chǎn)、經(jīng)營等實(shí)踐活動。然而，應(yīng)用數(shù)據(jù)挖掘技術(shù)不僅需要相關(guān)人員具備關(guān)于機(jī)器學(xué)習(xí)或統(tǒng)計(jì)學(xué)習(xí)等方面的專業(yè)知識，而且還需要使用各種格式和內(nèi)容的大量數(shù)據(jù)樣本，因此，在實(shí)踐中常常由于數(shù)據(jù)管理、人員配合、建模水平等問題導(dǎo)致難以高效地進(jìn)行數(shù)據(jù)建模來解決業(yè)務(wù)問題。
[0003]現(xiàn)有技術(shù)中存在一些用于進(jìn)行數(shù)據(jù)建模的系統(tǒng)和裝置，這些系統(tǒng)和裝置能夠幫助用戶完成數(shù)據(jù)建模的運(yùn)算過程，并進(jìn)行相應(yīng)的數(shù)據(jù)分析。然而，現(xiàn)有的系統(tǒng)和裝置僅能單純基于導(dǎo)入的特征進(jìn)行模型訓(xùn)練，并未整合數(shù)據(jù)建模的項(xiàng)目流程，更無法實(shí)現(xiàn)有效的體系化數(shù)據(jù)建模處理。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的示例性實(shí)施例旨在克服現(xiàn)有的數(shù)據(jù)建模系統(tǒng)缺乏體系化建模處理的缺陷。
[0005]根據(jù)本發(fā)明示例性實(shí)施例的一個方面，提供了一種用于管理數(shù)據(jù)建模的方法，包括:(A)建立用于管理數(shù)據(jù)建模的建模項(xiàng)目；(B)在建立的建模項(xiàng)目下，建立至少一個建模計(jì)劃，其中，建模計(jì)劃用于執(zhí)行數(shù)據(jù)建?；顒樱?C)在建立的每個建模計(jì)劃下，配置相應(yīng)的數(shù)據(jù)建?；顒铀婕暗慕Ｈ蝿?wù)，其中，所述建模任務(wù)包括以下項(xiàng)中的至少一個:數(shù)據(jù)輸入任務(wù)、數(shù)據(jù)拼接任務(wù)、特征抽取任務(wù)、模型訓(xùn)練任務(wù)、模型評估任務(wù)、模型應(yīng)用任務(wù)；(D)啟動所述至少一個建模計(jì)劃，并將所述至少一個建模計(jì)劃產(chǎn)生的結(jié)果保存在所述建模項(xiàng)目下。
[0006]在所述方法中，步驟(A)可還包括:在建立的建模項(xiàng)目下指定參與數(shù)據(jù)建模的至少一個用戶，其中，所述至少一個用戶可被設(shè)置為針對建模項(xiàng)目、建模計(jì)劃和/或建模任務(wù)具有各自相應(yīng)的操作權(quán)限。
[0007]在所述方法中，所述至少一個用戶可包括建模項(xiàng)目主用戶和建模項(xiàng)目參與用戶，其中，建模項(xiàng)目主用戶能夠?qū)ｍ?xiàng)目、建模計(jì)劃和/或建模任務(wù)進(jìn)行全部操作，建模項(xiàng)目參與用戶能夠?qū)ｍ?xiàng)目、建模計(jì)劃和/或建模任務(wù)進(jìn)行受限操作。
[0008]在所述方法中，建模項(xiàng)目參與用戶可被設(shè)置為能夠共享建模項(xiàng)目主用戶在建模項(xiàng)目下的系統(tǒng)資源和數(shù)據(jù)資源。
[0009]在所述方法中，在步驟(B)中，可通過復(fù)制已經(jīng)建立的建模計(jì)劃來建立所述至少一個建模計(jì)劃；或者，在步驟(C)中，可通過復(fù)制已經(jīng)建立的建模任務(wù)來配置相應(yīng)的數(shù)據(jù)建?；顒铀婕暗慕Ｈ蝿?wù)。
[0010]在所述方法中，在步驟(C)中，可顯示與建立的建模計(jì)劃相應(yīng)的DAG圖，其中，所述DAG圖可包括用于分別配置建模任務(wù)的交互式結(jié)構(gòu)單元。
[0011]在所述方法中，交互式結(jié)構(gòu)單元可包括以下項(xiàng)之中的至少一個:建模任務(wù)名稱、建模任務(wù)圖標(biāo)、建模任務(wù)配置入口、建模任務(wù)進(jìn)度指示。
[0012]在所述方法中，建模任務(wù)配置入口和建模任務(wù)進(jìn)度指示可以以復(fù)用的方式顯示在交互式結(jié)構(gòu)單元中的相同區(qū)域。
[0013]在所述方法中，在步驟(A)建立的建模項(xiàng)目可以為快速建模項(xiàng)目；并且，在步驟(B)中，可自動在快速建模項(xiàng)目下建立一個快速建模計(jì)劃，在步驟(C)中，可在快速建模計(jì)劃下根據(jù)用戶的輸入操作配置完輸入的數(shù)據(jù)記錄之后，自動配置相應(yīng)的特征抽取任務(wù)和模型訓(xùn)練任務(wù)，并在步驟(D)中，自動啟動快速建模計(jì)劃。
[0014]在所述方法中，可在步驟(C)中，利用預(yù)設(shè)的特征抽取配置項(xiàng)和模型訓(xùn)練參數(shù)來自動配置特征抽取任務(wù)和模型訓(xùn)練任務(wù)，其中，特征抽取配置項(xiàng)可用于限定如何從數(shù)據(jù)記錄抽取預(yù)定特征。
[0015]在所述方法中，可在步驟(C)中，在配置特征抽取任務(wù)時，根據(jù)用戶在用于設(shè)置特征抽取配置項(xiàng)的頁面上執(zhí)行的輸入操作來生成特征抽取配置項(xiàng)，其中，特征抽取配置項(xiàng)可用于限定如何從數(shù)據(jù)記錄抽取預(yù)定特征。
[0016]在所述方法中，用于設(shè)置特征抽取配置項(xiàng)的頁面可以為圖形用戶界面，所述圖形用戶界面可包括用于手動編輯特征抽取配置項(xiàng)的文本編輯界面和/或用于顯示特征抽取配置項(xiàng)的內(nèi)容選項(xiàng)以供用戶選擇的選擇輸入型界面。
[0017]在所述方法中，每種預(yù)定特征的特征抽取配置項(xiàng)可包括來源字段項(xiàng)和處理方法項(xiàng)，來源字段項(xiàng)可用于將所述每種預(yù)定特征所涉及的數(shù)據(jù)記錄的字段限定為來源字段，處理方法項(xiàng)可用于指定對預(yù)先編程為可執(zhí)行代碼的數(shù)據(jù)處理函數(shù)的引用，其中，所述數(shù)據(jù)處理函數(shù)可用于在建模計(jì)劃被啟動時針對由來源字段項(xiàng)限定的來源字段的字段值執(zhí)行用于抽取所述每種預(yù)定特征的數(shù)據(jù)處理以運(yùn)行特征抽取任務(wù)。
[0018]在所述方法中，步驟(D)可還包括:按照預(yù)定百分比或預(yù)定行數(shù)來下載保存的所述至少一個建模計(jì)劃產(chǎn)生的結(jié)果。
[0019]在所述方法中，在步驟(D)中，啟動所述至少一個建模計(jì)劃的模型訓(xùn)練任務(wù)后，在模型訓(xùn)練任務(wù)的執(zhí)行過程中產(chǎn)生的模型系數(shù)可被分布地保存在多個參數(shù)服務(wù)器中。
[0020]所述方法可還包括:(E)將啟動所述至少一個建模計(jì)劃下的模型評估任務(wù)時產(chǎn)生的數(shù)據(jù)模型的評估報告與相應(yīng)的模型訓(xùn)練任務(wù)和/或建模計(jì)劃相對應(yīng)地進(jìn)行顯示。
[0021]在所述方法中，在步驟(C)中，可將模型應(yīng)用任務(wù)配置為手動應(yīng)用方式和/或自動應(yīng)用方式，其中，在手動應(yīng)用方式下，可根據(jù)用戶的操作來啟動模型應(yīng)用，在自動應(yīng)用方式下，可根據(jù)預(yù)設(shè)的時間間隔來啟動模型應(yīng)用。
[0022]根據(jù)本發(fā)明示例性實(shí)施例的另一方面，提供一種用于管理數(shù)據(jù)建模的系統(tǒng)，包括:項(xiàng)目建立模塊，用于建立用于管理數(shù)據(jù)建模的建模項(xiàng)目；計(jì)劃建立模塊，用于在建立的建模項(xiàng)目下，建立至少一個建模計(jì)劃，其中，建模計(jì)劃用于執(zhí)行數(shù)據(jù)建?；顒?任務(wù)配置模塊，用于在建立的每個建模計(jì)劃下，配置相應(yīng)的數(shù)據(jù)建?；顒铀婕暗慕Ｈ蝿?wù)，其中，所述建模任務(wù)包括以下項(xiàng)中的至少一個:數(shù)據(jù)輸入任務(wù)、數(shù)據(jù)拼接任務(wù)、特征抽取任務(wù)、模型訓(xùn)練任務(wù)、模型評估任務(wù)、模型應(yīng)用任務(wù);計(jì)劃啟動模塊，用于啟動所述至少一個建模計(jì)劃，并將所述至少一個建模計(jì)劃產(chǎn)生的結(jié)果保存在所述建模項(xiàng)目下。
[0023]在所述系統(tǒng)中，項(xiàng)目建立模塊可還在建立的建模項(xiàng)目下指定參與數(shù)據(jù)建模的至少一個用戶，其中，所述至少一個用戶可被設(shè)置為針對建模項(xiàng)目、建模計(jì)劃和/或建模任務(wù)具有各自相應(yīng)的操作權(quán)限。
[0024]在所述系統(tǒng)中，所述至少一個用戶可包括建模項(xiàng)目主用戶和建模項(xiàng)目參與用戶，其中，建模項(xiàng)目主用戶能夠?qū)ｍ?xiàng)目、建模計(jì)劃和/或建模任務(wù)進(jìn)行全部操作，建模項(xiàng)目參與用戶能夠?qū)ｍ?xiàng)目、建模計(jì)劃和/或建模任務(wù)進(jìn)行受限操作。
[0025]在所述系統(tǒng)中，建模項(xiàng)目參與用戶可被設(shè)置為能夠共享建模項(xiàng)目主用戶在建模項(xiàng)目下的系統(tǒng)資源和數(shù)據(jù)資源。
[0026]在所述系統(tǒng)中，計(jì)劃建立模塊可通過復(fù)制已經(jīng)建立的建模計(jì)劃來建立所述至少一個建模計(jì)劃;或者，任務(wù)配置模塊可通過復(fù)制已經(jīng)建立的建模任務(wù)來配置相應(yīng)的數(shù)據(jù)建?；顒铀婕暗慕Ｈ蝿?wù)。
[0027]在所述系統(tǒng)中，任務(wù)配置模塊可顯示與建立的建模計(jì)劃相應(yīng)的DAG圖，其中，所述DAG圖可包括用于分別配置建模任務(wù)的交互式結(jié)構(gòu)單元。
[0028]在所述系統(tǒng)中，交互式結(jié)構(gòu)單元可包括以下項(xiàng)之中的至少一個:建模任務(wù)名稱、建模任務(wù)圖標(biāo)、建模任務(wù)配置入口、建模任務(wù)進(jìn)度指示。
[0029]在所述系統(tǒng)中，建模任務(wù)配置入口和建模任務(wù)進(jìn)度指示可以以復(fù)用的方式顯示在交互式結(jié)構(gòu)單元中的相同區(qū)域。
[0030]在所述系統(tǒng)中，由項(xiàng)目建立模塊建立的建模項(xiàng)目可以為快速建模項(xiàng)目；并且，計(jì)劃建立模塊可自動在快速建模項(xiàng)目下建立一個快速建模計(jì)劃，任務(wù)配置模塊可在快速建模計(jì)劃下根據(jù)用戶的輸入操作配置完輸入的數(shù)據(jù)記錄之后，自動配置相應(yīng)的特征抽取任務(wù)和模型訓(xùn)練任務(wù)，并且，計(jì)劃啟動模塊可自動啟動快速建模計(jì)劃。
[0031]在所述系統(tǒng)中，任務(wù)配置模塊可利用預(yù)設(shè)的特征抽取配置項(xiàng)和模型訓(xùn)練參數(shù)來自動配置特征抽取任務(wù)和模型訓(xùn)練任務(wù)，其中，特征抽取配置項(xiàng)可用于限定如何從數(shù)據(jù)記錄抽取預(yù)定特征。
[0032]在所述系統(tǒng)中，任務(wù)配置模塊可在配置特征抽取任務(wù)時，根據(jù)用戶在用于設(shè)置特征抽取配置項(xiàng)的頁面上執(zhí)行的輸入操作來生成特征抽取配置項(xiàng)，其中，特征抽取配置項(xiàng)可用于限定如何從數(shù)據(jù)記錄抽取預(yù)定特征。
[0033]在所述系統(tǒng)中，用于設(shè)置特征抽取配置項(xiàng)的頁面可以為圖形用戶界面，所述圖形用戶界面可包括用于手動編輯特征抽取配置項(xiàng)的文本編輯界面和/或用于顯示特征抽取配置項(xiàng)的內(nèi)容選項(xiàng)以供用戶選擇的選擇輸入型界面。
[0034]在所述系統(tǒng)中，每種預(yù)定特征的特征抽取配置項(xiàng)可包括來源字段項(xiàng)和處理方法項(xiàng)，來源字段項(xiàng)可用于將所述每種預(yù)定特征所涉及的數(shù)據(jù)記錄的字段限定為來源字段，處理方法項(xiàng)可用于指定對預(yù)先編程為可執(zhí)行代碼的數(shù)據(jù)處理函數(shù)的引用，其中，所述數(shù)據(jù)處理函數(shù)可用于在建模計(jì)劃被啟動時針對由來源字段項(xiàng)限定的來源字段的字段值執(zhí)行用于抽取所述每種預(yù)定特征的數(shù)據(jù)處理以運(yùn)行特征抽取任務(wù)。
[0035]在所述系統(tǒng)中，計(jì)劃啟動模塊可還按照預(yù)定百分比或預(yù)定行數(shù)來下載保存的所述至少一個建模計(jì)劃產(chǎn)生的結(jié)果。
[0036]在所述系統(tǒng)中，在計(jì)劃啟動模塊啟動所述至少一個建模計(jì)劃的模型訓(xùn)練任務(wù)后，在模型訓(xùn)練任務(wù)的執(zhí)行過程中產(chǎn)生的模型系數(shù)可被分布地保存在多個參數(shù)服務(wù)器中。
[0037]所述系統(tǒng)可還包括:呈現(xiàn)模塊，用于將啟動所述至少一個建模計(jì)劃下的模型評估任務(wù)時產(chǎn)生的數(shù)據(jù)模型的評估報告與相應(yīng)的模型訓(xùn)練任務(wù)和/或建模計(jì)劃相對應(yīng)地進(jìn)行顯不O
[0038]在所述系統(tǒng)中，任務(wù)配置模塊可將模型應(yīng)用任務(wù)配置為手動應(yīng)用方式和/或自動應(yīng)用方式，其中，在手動應(yīng)用方式下，可根據(jù)用戶的操作來啟動模型應(yīng)用，在自動應(yīng)用方式下，可根據(jù)預(yù)設(shè)的時間間隔來啟動模型應(yīng)用。
[0039]根據(jù)本發(fā)明示例性實(shí)施例的另一方面，提供一種用于管理數(shù)據(jù)建模的計(jì)算裝置，包括存儲部件和處理器，存儲部件中存儲有計(jì)算機(jī)可執(zhí)行指令集合，當(dāng)所述計(jì)算機(jī)可執(zhí)行指令集合被所述處理器執(zhí)行時，執(zhí)行下述步驟:(A)建立用于管理數(shù)據(jù)建模的建模項(xiàng)目；(B)在建立的建模項(xiàng)目下，建立至少一個建模計(jì)劃，其中，建模計(jì)劃用于執(zhí)行數(shù)據(jù)建?；顒?；(C)在建立的每個建模計(jì)劃下，配置相應(yīng)的數(shù)據(jù)建?；顒铀婕暗慕Ｈ蝿?wù)，其中，所述建模任務(wù)包括以下項(xiàng)中的至少一個:數(shù)據(jù)輸入任務(wù)、數(shù)據(jù)拼接任務(wù)、特征抽取任務(wù)、模型訓(xùn)練任務(wù)、模型評估任務(wù)、模型應(yīng)用任務(wù)；(D)啟動所述至少一個建模計(jì)劃，并將所述至少一個建模計(jì)劃產(chǎn)生的結(jié)果保存在所述建模項(xiàng)目下。
[0040]在所述計(jì)算裝置中，步驟(A)可還包括:在建立的建模項(xiàng)目下指定參與數(shù)據(jù)建模的至少一個用戶，其中，所述至少一個用戶可被設(shè)置為針對建模項(xiàng)目、建模計(jì)劃和/或建模任務(wù)具有各自相應(yīng)的操作權(quán)限。
[0041 ]在所述計(jì)算裝置中，所述至少一個用戶可包括建模項(xiàng)目主用戶和建模項(xiàng)目參與用戶，其中，建模項(xiàng)目主用戶能夠?qū)ｍ?xiàng)目、建模計(jì)劃和/或建模任務(wù)進(jìn)行全部操作，建模項(xiàng)目參與用戶能夠?qū)ｍ?xiàng)目、建模計(jì)劃和/或建模任務(wù)進(jìn)行受限操作。
[0042]在所述計(jì)算裝置中，建模項(xiàng)目參與用戶可被設(shè)置為能夠共享建模項(xiàng)目主用戶在建模項(xiàng)目下的系統(tǒng)資源和數(shù)據(jù)資源。
[0043]在所述計(jì)算裝置中，在步驟(B)中，可通過復(fù)制已經(jīng)建立的建模計(jì)劃來建立所述至少一個建模計(jì)劃；或者，在步驟(C)中，可通過復(fù)制已經(jīng)建立的建模任務(wù)來配置相應(yīng)的數(shù)據(jù)建模活動所涉及的建模任務(wù)。
[0044]在所述計(jì)算裝置中，在步驟(C)中，可顯示與建立的建模計(jì)劃相應(yīng)的DAG圖，其中，所述DAG圖可包括用于分別配置建模任務(wù)的交互式結(jié)構(gòu)單元。
[0045]在所述計(jì)算裝置中，交互式結(jié)構(gòu)單元可包括以下項(xiàng)之中的至少一個:建模任務(wù)名稱、建模任務(wù)圖標(biāo)、建模任務(wù)配置入口、建模任務(wù)進(jìn)度指示。
[0046]在所述計(jì)算裝置中，建模任務(wù)配置入口和建模任務(wù)進(jìn)度指示可以以復(fù)用的方式顯示在交互式結(jié)構(gòu)單元中的相同區(qū)域。
[0047]在所述計(jì)算裝置中，在步驟(A)建立的建模項(xiàng)目可以為快速建模項(xiàng)目；并且，在步驟(B)中，可自動在快速建模項(xiàng)目下建立一個快速建模計(jì)劃，在步驟(C)中，可在快速建模計(jì)劃下根據(jù)用戶的輸入操作配置完輸入的數(shù)據(jù)記錄之后，自動配置相應(yīng)的特征抽取任務(wù)和模型訓(xùn)練任務(wù)，并在步驟(D)中，自動啟動快速建模計(jì)劃。
[0048]在所述計(jì)算裝置中，在步驟(C)中，可利用預(yù)設(shè)的特征抽取配置項(xiàng)和模型訓(xùn)練參數(shù)來自動配置特征抽取任務(wù)和模型訓(xùn)練任務(wù)，其中，特征抽取配置項(xiàng)可用于限定如何從數(shù)據(jù)記錄抽取預(yù)定特征。
[0049]在所述計(jì)算裝置中，在步驟(C)中，可在配置特征抽取任務(wù)時，根據(jù)用戶在用于設(shè)置特征抽取配置項(xiàng)的頁面上執(zhí)行的輸入操作來生成特征抽取配置項(xiàng)，其中，特征抽取配置項(xiàng)可用于限定如何從數(shù)據(jù)記錄抽取預(yù)定特征。
[0050]在所述計(jì)算裝置中，用于設(shè)置特征抽取配置項(xiàng)的頁面可以為圖形用戶界面，所述圖形用戶界面可包括用于手動編輯特征抽取配置項(xiàng)的文本編輯界面和/或用于顯示特征抽取配置項(xiàng)的內(nèi)容選項(xiàng)以供用戶選擇的選擇輸入型界面。
[0051]在所述計(jì)算裝置中，每種預(yù)定特征的特征抽取配置項(xiàng)可包括來源字段項(xiàng)和處理方法項(xiàng)，來源字段項(xiàng)可用于將所述每種預(yù)定特征所涉及的數(shù)據(jù)記錄的字段限定為來源字段，處理方法項(xiàng)可用于指定對預(yù)先編程為可執(zhí)行代碼的數(shù)據(jù)處理函數(shù)的引用，其中，所述數(shù)據(jù)處理函數(shù)可用于在建模計(jì)劃被啟動時針對由來源字段項(xiàng)限定的來源字段的字段值執(zhí)行用于抽取所述每種預(yù)定特征的數(shù)據(jù)處理以運(yùn)行特征抽取任務(wù)。
[0052]在所述計(jì)算裝置中，步驟(D)可還包括:按照預(yù)定百分比或預(yù)定行數(shù)來下載保存的所述至少一個建模計(jì)劃產(chǎn)生的結(jié)果。
[0053]在所述計(jì)算裝置中，在步驟(D)中，啟動所述至少一個建模計(jì)劃的模型訓(xùn)練任務(wù)后，在模型訓(xùn)練任務(wù)的執(zhí)行過程中產(chǎn)生的模型系數(shù)可被分布地保存在多個參數(shù)服務(wù)器中。
[0054]在所述計(jì)算裝置中，當(dāng)所述計(jì)算機(jī)可執(zhí)行指令集合被所述處理器執(zhí)行時，可還執(zhí)行下述步驟:(E)將啟動所述至少一個建模計(jì)劃下的模型評估任務(wù)時產(chǎn)生的數(shù)據(jù)模型的評估報告與相應(yīng)的模型訓(xùn)練任務(wù)和/或建模計(jì)劃相對應(yīng)地進(jìn)行顯示。
[0055]在所述計(jì)算裝置中，在步驟(C)中，可將模型應(yīng)用任務(wù)配置為手動應(yīng)用方式和/或自動應(yīng)用方式，其中，在手動應(yīng)用方式下，可根據(jù)用戶的操作來啟動模型應(yīng)用，在自動應(yīng)用方式下，可根據(jù)預(yù)設(shè)的時間間隔來啟動模型應(yīng)用。
[0056]在根據(jù)本發(fā)明示例性實(shí)施例的用于管理數(shù)據(jù)建模的系統(tǒng)及其方法中，不僅能夠幫助用戶完成數(shù)據(jù)建模的過程，而且能夠有效地進(jìn)行體系化的數(shù)據(jù)處理、流程處理和/或模型處理，從而真正幫助用戶基于大數(shù)據(jù)技術(shù)來找到解決實(shí)際問題的方式。
【附圖說明】
[0057]從下面結(jié)合附圖對本發(fā)明實(shí)施例的詳細(xì)描述中，本發(fā)明的這些和/或其它方面和優(yōu)點(diǎn)將變得更加清楚并更容易理解，其中:
[0058]圖1示出根據(jù)本發(fā)明示例性實(shí)施例的數(shù)據(jù)建模管理系統(tǒng)的框圖；
[0059]圖2示出根據(jù)本發(fā)明示例性實(shí)施例的數(shù)據(jù)建模管理方法的流程圖；
[0060]圖3示出根據(jù)本發(fā)明示例性實(shí)施例的建模計(jì)劃的配置頁面的示例；
[0061]圖4示出根據(jù)本發(fā)明示例性實(shí)施例的交互式結(jié)構(gòu)單元的操作項(xiàng)列表的示例；
[0062]圖5A示出根據(jù)本發(fā)明示例性實(shí)施例的用于配置特征抽取任務(wù)的圖形用戶界面的示例；
[0063]圖5B示出根據(jù)本發(fā)明示例性實(shí)施例的在圖5A的左側(cè)區(qū)域中的單個字段被用戶選擇的同時，向用戶顯示處理方法列表的部分圖形用戶界面的示例；
[0064]圖5C示出根據(jù)本發(fā)明示例性實(shí)施例的在圖5A的左側(cè)區(qū)域中的多個字段被用戶選擇的同時，向用戶顯示處理方法列表的部分圖形用戶界面的示例；
[0065]圖6示出根據(jù)本發(fā)明示例性實(shí)施例的具有能夠?qū)μ卣鞒槿∨渲庙?xiàng)進(jìn)行文本編輯的區(qū)域的示例性圖形用戶界面的示例；
[0066]圖7示出根據(jù)本發(fā)明示例性實(shí)施例的用于下載結(jié)果文件的頁面的示例；
[0067]圖8示出根據(jù)本發(fā)明示例性實(shí)施例的用于新建建模項(xiàng)目的頁面的示例；
[0068]圖9示出根據(jù)本發(fā)明示例性實(shí)施例的用于快速建模的頁面的示例。
【具體實(shí)施方式】
[0069]為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對本發(fā)明的示例性實(shí)施例作進(jìn)一步詳細(xì)說明。
[0070]本發(fā)明的示例性實(shí)施例提出了一種管理數(shù)據(jù)建模的系統(tǒng)，該系統(tǒng)可全部通過計(jì)算機(jī)程序以軟件方式來實(shí)現(xiàn)，也可由專門的硬件裝置來實(shí)現(xiàn)，還可通過軟硬件結(jié)合的方式來實(shí)現(xiàn)。在所述系統(tǒng)中，不僅能夠幫助用戶完成數(shù)據(jù)建模的過程，而且能夠有效地進(jìn)行體系化的數(shù)據(jù)處理、流程處理和/或模型處理，從而真正幫助用戶基于大數(shù)據(jù)技術(shù)來找到解決實(shí)際問題的方式。
[0071]圖1示出根據(jù)本發(fā)明示例性實(shí)施例的數(shù)據(jù)建模管理系統(tǒng)的框圖。具體說來，所述數(shù)據(jù)建模管理系統(tǒng)提出了一種基于“建模項(xiàng)目-建模計(jì)劃-建模任務(wù)”的處理體系結(jié)構(gòu)，其中，建模項(xiàng)目所針對的是數(shù)據(jù)建模管理，而建模計(jì)劃為建模項(xiàng)目下可啟動的建?；顒樱摻；顒由婕爸辽僖粋€建模任務(wù)(例如，數(shù)據(jù)輸入任務(wù)、數(shù)據(jù)拼接任務(wù)、特征抽取任務(wù)、模型訓(xùn)練任務(wù)、模型評估任務(wù)、模型應(yīng)用任務(wù))，使得每啟動一次建?；顒樱赐瓿闪艘粋€或多個完整數(shù)據(jù)建模過程和/或部分?jǐn)?shù)據(jù)建模過程，這樣的數(shù)據(jù)建模過程所產(chǎn)生的中間結(jié)果數(shù)據(jù)和/或最終結(jié)果數(shù)據(jù)可被保存在所述建模項(xiàng)目之下。
[0072]如圖1所示，項(xiàng)目建立模塊10用于建立用于管理數(shù)據(jù)建模的建模項(xiàng)目。例如，可針對預(yù)定的建模目標(biāo)、建模小組、建模數(shù)據(jù)源等來建立相應(yīng)的建模項(xiàng)目。這里，所述建模項(xiàng)目可根據(jù)用戶的指示而建立，使得用戶可在建模項(xiàng)目下實(shí)現(xiàn)對數(shù)據(jù)、流程、參與用戶和/或模型等的管理。
[0073]計(jì)劃建立模塊20用于在建立的建模項(xiàng)目下，建立至少一個建模計(jì)劃，其中，建模計(jì)劃用于執(zhí)行數(shù)據(jù)建?；顒?。這里，建模計(jì)劃指的是建模項(xiàng)目下可啟動的數(shù)據(jù)建?；顒?，該數(shù)據(jù)建?；顒由婕爸辽僖粋€建模任務(wù)(例如，數(shù)據(jù)輸入任務(wù)、數(shù)據(jù)拼接任務(wù)、特征抽取任務(wù)、模型訓(xùn)練任務(wù)、模型評估任務(wù)、模型應(yīng)用任務(wù)等)，使得每啟動一次建?；顒樱磮?zhí)行了一個或多個完整數(shù)據(jù)建模過程和/或部分?jǐn)?shù)據(jù)建模過程，從而完成了對至少一個建模環(huán)節(jié)的嘗試性工作。這些嘗試性工作的過程和/或結(jié)果會被保存在建模項(xiàng)目之下。
[0074]任務(wù)配置模塊30用于在建立的每個建模計(jì)劃下，配置相應(yīng)的數(shù)據(jù)建模活動所涉及的建模任務(wù)，其中，所述建模任務(wù)可包括以下項(xiàng)中的至少一個:數(shù)據(jù)輸入任務(wù)、數(shù)據(jù)拼接任務(wù)、特征抽取任務(wù)、模型訓(xùn)練任務(wù)、模型評估任務(wù)、模型應(yīng)用任務(wù)。
[0075]具體說來，數(shù)據(jù)輸入任務(wù)用于輸入進(jìn)行模型訓(xùn)練的原始數(shù)據(jù)資源;數(shù)據(jù)拼接任務(wù)用于在必要時將原始數(shù)據(jù)資源的相同或不同輸入表的特定字段進(jìn)行拼接以得到可從中抽取特征的數(shù)據(jù)記錄;特征抽取任務(wù)用于從數(shù)據(jù)記錄抽取出模型訓(xùn)練用的特征和目標(biāo)值;模型訓(xùn)練任務(wù)用于基于抽取的特征以及相應(yīng)的目標(biāo)值訓(xùn)練出模型;模型評估任務(wù)用于利用測試數(shù)據(jù)來進(jìn)行模型效果的評估;模型應(yīng)用任務(wù)用于將新的數(shù)據(jù)樣本應(yīng)用于訓(xùn)練出的模型以得到預(yù)測結(jié)果。
[0076]應(yīng)注意，根據(jù)本發(fā)明的示例性實(shí)施例，能夠配置的建模任務(wù)可包括上述建模任務(wù)中的一個或多個，而并不限制所有建模任務(wù)均需處于可配置的狀態(tài)。
[0077]這里，任務(wù)配置模塊30可在每個建模計(jì)劃下配置一個或多個建模任務(wù)，這些配置的建模任務(wù)可構(gòu)成一個或多個完整數(shù)據(jù)建模過程和/或部分?jǐn)?shù)據(jù)建模過程，使得每個建模計(jì)劃被啟動時，該建模計(jì)劃下相應(yīng)配置的建模任務(wù)得以執(zhí)行。
[0078]計(jì)劃啟動模塊40用于啟動所述至少一個建模計(jì)劃，并將所述至少一個建模計(jì)劃產(chǎn)生的結(jié)果保存在所述建模項(xiàng)目下。這里，計(jì)劃啟動模塊40可逐條和/或批量啟動所建立的至少一個建模計(jì)劃，當(dāng)建模計(jì)劃被啟動時，其下所配置的建模任務(wù)即按照預(yù)定的順序得以執(zhí)行并產(chǎn)生相應(yīng)的執(zhí)行結(jié)果，相應(yīng)地，計(jì)劃啟動模塊40可將與各個建模任務(wù)相應(yīng)的執(zhí)行結(jié)果保存在建模計(jì)劃之下，從而建模項(xiàng)目下可保存有相關(guān)的各個建模計(jì)劃產(chǎn)生的中間結(jié)果和/或最終結(jié)果。
[0079]在現(xiàn)有的數(shù)據(jù)建模系統(tǒng)中，僅能夠針對單次數(shù)據(jù)建模的流程，按照數(shù)據(jù)的輸入和輸出來進(jìn)行各步驟的配置。然而，數(shù)據(jù)建模技術(shù)涉及非常強(qiáng)的專業(yè)知識，其處理的數(shù)據(jù)和涉及的運(yùn)算均十分復(fù)雜，因此，用戶(例如，業(yè)務(wù)人員)在操作現(xiàn)有的建模系統(tǒng)時很難直接獲得較好的建模效果，更無法有效地對建模流程進(jìn)行調(diào)整或改進(jìn)，導(dǎo)致難以方便地利用數(shù)據(jù)建模技術(shù)來解決實(shí)際問題。
[0080]根據(jù)本發(fā)明的示例性實(shí)施例，通過執(zhí)行配置有一個或多個建模任務(wù)的建模計(jì)劃，并將各建模任務(wù)的執(zhí)行結(jié)果保存在建模計(jì)劃之下，可在同一建模項(xiàng)目下進(jìn)行多次完整建模實(shí)驗(yàn)或不同環(huán)節(jié)的階段性建模實(shí)驗(yàn)，并利用各個實(shí)驗(yàn)結(jié)果或?qū)嶒?yàn)配置來有效地調(diào)整或改進(jìn)數(shù)據(jù)建模項(xiàng)目。
[0081]以下參照圖2來描述根據(jù)本發(fā)明示例性實(shí)施例的數(shù)據(jù)建模管理方法。這里，作為示例，圖2所示的方法可由圖1所示的數(shù)據(jù)管理系統(tǒng)來執(zhí)行，應(yīng)注意，還可通過特定配置的計(jì)算裝置來執(zhí)行圖2所示的方法。
[0082]如圖所示，在步驟SlO中，由項(xiàng)目建立模塊10建立用于管理數(shù)據(jù)建模的建模項(xiàng)目，如上所述，在建立的建模項(xiàng)目下，可進(jìn)一步建立可啟動的建模計(jì)劃，其中，建模計(jì)劃涉及一個或多個建模任務(wù)，相應(yīng)地，建模計(jì)劃被啟動后產(chǎn)生的結(jié)果被保存在其所屬的建模項(xiàng)目之下。
[0083]這里，作為示例，項(xiàng)目建立模塊10可檢測用戶在項(xiàng)目管理頁面中點(diǎn)擊“新建項(xiàng)目”選項(xiàng)卡的操作，并根據(jù)用戶的點(diǎn)擊操作來創(chuàng)建新的建模項(xiàng)目。此外，可選地，項(xiàng)目建立模塊10可根據(jù)用戶的操作對建立的建模項(xiàng)目進(jìn)行項(xiàng)目配置，例如，項(xiàng)目參與用戶配置、項(xiàng)目可用數(shù)據(jù)配置等。
[0084]這里，作為優(yōu)選方式，可在新建的建模項(xiàng)目下指定參與數(shù)據(jù)建模的至少一個用戶，其中，所述至少一個用戶被設(shè)置為針對建模項(xiàng)目、建模計(jì)劃和/或建模任務(wù)具有各自相應(yīng)的操作權(quán)限。如上所述，根據(jù)本發(fā)明的示例性實(shí)施例，每個建模項(xiàng)目下建立有能夠獨(dú)立啟動的建模計(jì)劃，并且，每個建模計(jì)劃下可配置各自的一個或多個建模任務(wù)，因此，通過這種方式，不僅可實(shí)現(xiàn)多用戶協(xié)同建模，而且，各用戶在協(xié)同建模時，還可在同一個建模項(xiàng)目下相對獨(dú)立地操作，從而進(jìn)一步確保各用戶在協(xié)作時的獨(dú)立性和借鑒性。
[0085]例如，參與建模項(xiàng)目的至少一個用戶可包括建模項(xiàng)目主用戶和建模項(xiàng)目參與用戶，其中，建模項(xiàng)目主用戶能夠?qū)ｍ?xiàng)目、建模計(jì)劃和/或建模任務(wù)進(jìn)行全部操作，建模項(xiàng)目參與用戶能夠?qū)ｍ?xiàng)目、建模計(jì)劃和/或建模任務(wù)進(jìn)行受限操作。
[0086]如上所述，項(xiàng)目建立模塊10可根據(jù)用戶的指示來建立相應(yīng)的建模項(xiàng)目，在這種情況下，作為示例，可將指示建立建模項(xiàng)目的用戶指定為建模項(xiàng)目主用戶，并且，可將建模項(xiàng)目主用戶所擁有的至少一部分?jǐn)?shù)據(jù)資源分配到建模項(xiàng)目之下，此外，還可將建模項(xiàng)目主用戶的至少一部分系統(tǒng)資源(例如，運(yùn)算資源、存儲資源等)分配到建模項(xiàng)目之下。也就是說，由建模項(xiàng)目主用戶來承擔(dān)建模項(xiàng)目的各種開銷。相應(yīng)地，建模項(xiàng)目參與用戶可被設(shè)置為能夠共享建模項(xiàng)目主用戶在建模項(xiàng)目下的系統(tǒng)資源和數(shù)據(jù)資源。這里，建模項(xiàng)目參與用戶的共享權(quán)限可由建模項(xiàng)目主用戶來指定，也可由系統(tǒng)默認(rèn)設(shè)置。作為示例，只有建模項(xiàng)目主用戶被配置為有權(quán)刪除或修改已經(jīng)建立的建模項(xiàng)目及其配置項(xiàng)，例如，可對建模項(xiàng)目整體進(jìn)行刪除或修改、對建模項(xiàng)目可使用的原始數(shù)據(jù)資源(例如，輸入表)進(jìn)行刪除、修改或增加等。此外，可允許建模項(xiàng)目參與用戶對建模項(xiàng)目的結(jié)果(例如，中間結(jié)果(如，樣本表)或最終結(jié)果(如，訓(xùn)練出的模型))進(jìn)行處理，但禁止其對建模項(xiàng)目本身或其配置項(xiàng)進(jìn)行任何處理。
[0087]可以看出，根據(jù)本發(fā)明的示例性實(shí)施例，建模項(xiàng)目主用戶能夠通過建模項(xiàng)目來實(shí)現(xiàn)數(shù)據(jù)建模的資源配置與人員調(diào)配。例如，項(xiàng)目建立模塊10可根據(jù)建模項(xiàng)目主用戶的指示來修改建模項(xiàng)目的配置(包括數(shù)據(jù)資源、系統(tǒng)資源或參與人員等)、刪除建立的建模項(xiàng)目等。
[0088]在步驟S20中，由計(jì)劃建立模塊20在建立的建模項(xiàng)目下，建立至少一個建模計(jì)劃，其中，建模計(jì)劃用于執(zhí)行數(shù)據(jù)建?；顒?。如上所述，建模計(jì)劃作為可啟動的對象，在啟動時所執(zhí)行的數(shù)據(jù)建?；顒涌杀灰暈橐淮谓?shí)驗(yàn)，該建模實(shí)驗(yàn)可對應(yīng)于完整的數(shù)據(jù)建模過程，也可對應(yīng)于一部分?jǐn)?shù)據(jù)建模過程。
[0089]這里，作為示例，在所述建立的建模項(xiàng)目的頁面之中，可顯示有已經(jīng)建立的建模計(jì)劃的列表，此外，還設(shè)置有諸如“新建計(jì)劃”的按鈕，當(dāng)用戶點(diǎn)擊該“新建計(jì)劃”按鈕時，計(jì)劃建立模塊20可新建一個空白的建模計(jì)劃，并將其添加到所述列表中。
[0090]作為另一示例，可通過復(fù)制已經(jīng)建立的建模計(jì)劃來建立所述至少一個建模計(jì)劃。例如，在所述建立的建模項(xiàng)目的頁面之中，可顯示有已經(jīng)建立的建模計(jì)劃的列表，在列表中所列出的每一個建模計(jì)劃旁邊，可設(shè)置有諸如“復(fù)制計(jì)劃”的按鈕。當(dāng)用戶點(diǎn)擊該“復(fù)制計(jì)劃”按鈕時，相應(yīng)的建模計(jì)劃的配置內(nèi)容被復(fù)制。
[0091]此外，還可在當(dāng)前建模計(jì)劃的配置頁面中進(jìn)行復(fù)制。圖3示出根據(jù)本發(fā)明示例性實(shí)施例的建模計(jì)劃的配置頁面的示例，例如，可在圖3所示的頁面上設(shè)置用于復(fù)制建模計(jì)劃的操作項(xiàng)(例如，圖標(biāo)、按鈕等)，并根據(jù)用戶對所述操作項(xiàng)執(zhí)行的操作來復(fù)制當(dāng)前建模計(jì)劃的配置內(nèi)容。
[0092]這里，作為示例，所述配置內(nèi)容可包括建模計(jì)劃下的所有建模任務(wù)的相關(guān)配置項(xiàng)，作為優(yōu)選方式，計(jì)劃建立模塊20可按照預(yù)設(shè)的命名規(guī)則對復(fù)制后的建模計(jì)劃名稱、建模任務(wù)名稱、輸出表名稱、模型名稱等自動重新命名。
[0093]作為示例，復(fù)制后得到的建模計(jì)劃可默認(rèn)地被建立在相同的建模項(xiàng)目之下，在這種情況下，當(dāng)用戶點(diǎn)擊用于復(fù)制特定建模計(jì)劃的操作項(xiàng)(例如，圖標(biāo)、按鈕等)之后，在該建模計(jì)劃所屬的建模項(xiàng)目下可自動顯示復(fù)制后得到的新的建模計(jì)劃。
[0094]這里，計(jì)劃建立模塊20可根據(jù)各個用戶的指示分別建立各自的建模計(jì)劃，這里，作為示例，對于建立的建模計(jì)劃，可僅允許建模項(xiàng)目主用戶和/或建立所述建模計(jì)劃的建模項(xiàng)目參與用戶對所述建模計(jì)劃進(jìn)行修改、刪除等操作，此外，也可允許所有用戶對所述建模計(jì)劃進(jìn)行修改、刪除等操作。
[0095]在步驟S30中，由任務(wù)配置模塊30在建立的每個建模計(jì)劃下，配置相應(yīng)的數(shù)據(jù)建?；顒铀婕暗慕Ｈ蝿?wù)，其中，所述建模任務(wù)包括以下項(xiàng)中的至少一個:數(shù)據(jù)輸入任務(wù)、數(shù)據(jù)拼接任務(wù)、特征抽取任務(wù)、模型訓(xùn)練任務(wù)、模型評估任務(wù)、模型應(yīng)用任務(wù)。
[0096]這里，能夠進(jìn)行配置的建模任務(wù)可以是數(shù)據(jù)輸入任務(wù)、數(shù)據(jù)拼接任務(wù)、特征抽取任務(wù)、模型訓(xùn)練任務(wù)、模型評估任務(wù)、模型應(yīng)用任務(wù)之中的任意一種或任意多種的組合，相應(yīng)地，數(shù)據(jù)建?；顒铀婕暗慕Ｈ蝿?wù)可以是至少一個能夠進(jìn)行配置的建模任務(wù)。
[0097]作為示例，可將能夠進(jìn)行配置的建模任務(wù)設(shè)置為僅包括特征抽取任務(wù)和模型訓(xùn)練任務(wù)兩者。在這種情況下，可在特征抽取任務(wù)中配置如何從作為原始數(shù)據(jù)資源的輸入表的數(shù)據(jù)記錄直接抽取出訓(xùn)練樣本的特征和目標(biāo)值。此外，在需要進(jìn)行模型評估和模型應(yīng)用的情況下，可在模型被訓(xùn)練出來之后獨(dú)立地進(jìn)行模型評估(即，模型評估獨(dú)立于建模計(jì)劃而執(zhí)行)，類似地，模型應(yīng)用也可獨(dú)立于建模計(jì)劃，使得模型訓(xùn)練和模型應(yīng)用可在獨(dú)立的兩個平臺中分別運(yùn)行。
[0098]作為另一示例，可將能夠進(jìn)行配置的建模任務(wù)設(shè)置為包括上述六項(xiàng)建模任務(wù):數(shù)據(jù)輸入任務(wù)、數(shù)據(jù)拼接任務(wù)、特征抽取任務(wù)、模型訓(xùn)練任務(wù)、模型評估任務(wù)、模型應(yīng)用任務(wù)。這里，在各個建模任務(wù)下可配置與所述建模任務(wù)相關(guān)的任何參數(shù)或項(xiàng)目。作為示例，在數(shù)據(jù)輸入任務(wù)中可配置一個或多個原始數(shù)據(jù)資源;在數(shù)據(jù)拼接任務(wù)中可配置針對原始數(shù)據(jù)資源的輸入表進(jìn)行字段拼接以得到數(shù)據(jù)記錄的方式;在特征抽取任務(wù)中可配置如何從數(shù)據(jù)記錄得到訓(xùn)練樣本的特征和目標(biāo)值(即，樣本表)；在模型訓(xùn)練任務(wù)中可配置模型算法、模型大小、訓(xùn)練輪數(shù)、學(xué)習(xí)率等模型訓(xùn)練參數(shù);在模型評估任務(wù)中可配置評估指標(biāo)等參數(shù);在模型應(yīng)用任務(wù)中可配置應(yīng)用方式、結(jié)果數(shù)據(jù)下載等項(xiàng)目。
[0099]應(yīng)注意，以上僅作為示例，實(shí)踐中，可根據(jù)需要在數(shù)據(jù)輸入任務(wù)、數(shù)據(jù)拼接任務(wù)、特征抽取任務(wù)、模型訓(xùn)練任務(wù)、模型評估任務(wù)、模型應(yīng)用任務(wù)之中選出任意組合來作為能夠進(jìn)行配置的建模任務(wù)，并適應(yīng)性地調(diào)整具體配置內(nèi)容。
[0100]這里，作為示例，任務(wù)配置模塊30可根據(jù)用戶在每個建模計(jì)劃的頁面之中執(zhí)行的操作來配置所述建模計(jì)劃下的各個建模任務(wù)。例如，可通過設(shè)置在所述頁面中的用于新建各個建模任務(wù)的選項(xiàng)卡來建立新的建模任務(wù)，并在與新建的建模任務(wù)相應(yīng)的配置頁面中完成對所述建模任務(wù)的具體配置。
[0101]作為優(yōu)選方式，根據(jù)本發(fā)明的示例性實(shí)施例，可通過體現(xiàn)建模計(jì)劃流程的方式，以良好的交互來實(shí)現(xiàn)對建模任務(wù)的配置。具體說來，任務(wù)配置模塊30可顯示與建立的建模計(jì)劃相應(yīng)的DAG圖，其中，所述DAG圖包括用于分別配置建模任務(wù)的交互式結(jié)構(gòu)單元。上述DAG圖可被顯示在建模計(jì)劃的頁面之中，所述頁面中還可設(shè)置有用于新建各種建模任務(wù)的按鈕。作為示例，當(dāng)用戶點(diǎn)擊這樣的按鈕時，會直接進(jìn)入相應(yīng)的建模任務(wù)配置頁面，在用戶在建模任務(wù)配置頁面中完成對新建的建模任務(wù)的具體配置之后，DAG圖上可顯示與該建模任務(wù)相應(yīng)的交互式結(jié)構(gòu)單元。作為另一示例，當(dāng)用戶點(diǎn)擊上述按鈕時，可首先在DAG圖上顯示與新建的建模任務(wù)相應(yīng)的交互式結(jié)構(gòu)單元，此時，可通過在交互式單元上執(zhí)行操作來完成對該建模任務(wù)的具體配置。
[0102]作為示例，在圖3所示的頁面中可包括根據(jù)本發(fā)明示例性實(shí)施例的與當(dāng)前的建模計(jì)劃相應(yīng)的DAG圖，該DAG圖可包括用于分配配置各個建模任務(wù)的交互式結(jié)構(gòu)單元。
[0103]這里，為了增強(qiáng)建模任務(wù)配置的交互性，可將交互式結(jié)構(gòu)單元設(shè)計(jì)為包括以下項(xiàng)之中的至少一個:建模任務(wù)名稱、建模任務(wù)圖標(biāo)、建模任務(wù)配置入口、建模任務(wù)進(jìn)度指示。
[0104]以圖3所示的“數(shù)據(jù)拼接任務(wù)I”交互式結(jié)構(gòu)單元為例，其上從左到右依次顯示有建模任務(wù)圖標(biāo)、建模任務(wù)名稱和建模任務(wù)配置入口。這里，建模任務(wù)配置入口作為進(jìn)入建模任務(wù)配置頁面的入口。
[0105]作為示例，建模任務(wù)配置入口可被設(shè)計(jì)為用于直接進(jìn)入建模任務(wù)配置頁面的按鈕，當(dāng)用戶點(diǎn)擊這樣的按鈕時，可進(jìn)入建模任務(wù)配置頁面以對建模任務(wù)進(jìn)行具體配置或?qū)Ｈ蝿?wù)的已有配置進(jìn)行修改。
[0106]此外，作為另一示例，建模任務(wù)配置入口可被設(shè)計(jì)為用于展示操作項(xiàng)列表的按鈕，這里，所述列表除了包括用于進(jìn)入建模任務(wù)配置頁面的操作項(xiàng)(例如，“修改”)之外，還可附加地包括其它操作項(xiàng)，以便有效地完成建模計(jì)劃下的相關(guān)操作。例如，可在列表中進(jìn)一步包括用于復(fù)制當(dāng)前建模任務(wù)的操作項(xiàng)、用于新建下游建模任務(wù)的操作項(xiàng)和用于刪除當(dāng)前建模任務(wù)的操作項(xiàng)等。
[0107]圖4示出根據(jù)本發(fā)明示例性實(shí)施例的交互式結(jié)構(gòu)單元的操作項(xiàng)列表的示例。具體說來，當(dāng)用戶點(diǎn)擊圖3所示的交互式結(jié)構(gòu)單元“特征拼接任務(wù)I”上的建模任務(wù)配置入口時，可如圖4所示在交互式結(jié)構(gòu)單元“特征拼接任務(wù)I”附近顯示相應(yīng)的操作項(xiàng)列表，該列表中可包括諸如修改(用于修改當(dāng)前建模任務(wù)的配置內(nèi)容)、復(fù)制(用于復(fù)制當(dāng)前建模任務(wù))、特征抽取(用于新建下游的特征抽取任務(wù))、模型訓(xùn)練(用于新建下游的模型訓(xùn)練任務(wù))、刪除(用于刪除當(dāng)前建模任務(wù))等操作項(xiàng)，從而用戶可通過點(diǎn)擊各個操作項(xiàng)來針對建模任務(wù)執(zhí)行相應(yīng)的配置或其他操作。
[0108]交互式結(jié)構(gòu)單元中還可包括建模任務(wù)進(jìn)度指示，用于在啟動建模計(jì)劃時指示交互式結(jié)構(gòu)單元所表示的建模任務(wù)的運(yùn)行進(jìn)度。這里，作為優(yōu)選方式，建模任務(wù)配置入口和建模任務(wù)進(jìn)度指示以復(fù)用的方式顯示在交互式結(jié)構(gòu)單元中的相同區(qū)域。
[0109]如圖3所示，在啟動建模計(jì)劃之后，當(dāng)運(yùn)行到交互式結(jié)構(gòu)單元所代表的建模任務(wù)(例如，模型訓(xùn)練任務(wù))時，該交互式結(jié)構(gòu)單元上的建模任務(wù)配置入口轉(zhuǎn)換為建模任務(wù)進(jìn)度指示。作為示例，所述建模任務(wù)進(jìn)度指示可按照百分比的形式來指示建模任務(wù)的運(yùn)行進(jìn)度。在建模任務(wù)運(yùn)行成功或運(yùn)行失敗之后，所述建模任務(wù)進(jìn)度指示會再次轉(zhuǎn)換為建模任務(wù)配置入口。也就是說，在建模任務(wù)尚未運(yùn)行以及建模任務(wù)運(yùn)行完畢(即，運(yùn)行成功或失敗)時，交互式結(jié)構(gòu)單元上顯示的是建模任務(wù)配置入口，以便對相應(yīng)的建模任務(wù)進(jìn)行配置或其它操作。而在建模任務(wù)運(yùn)行期間，交互式結(jié)構(gòu)單元上顯示的是建模任務(wù)進(jìn)度指示，一方面指示建模任務(wù)的運(yùn)行進(jìn)度，另一方面也可禁止對建模任務(wù)進(jìn)行配置等操作。這里，作為優(yōu)選方式，為了進(jìn)一步區(qū)分出處于尚未運(yùn)行、運(yùn)行失敗和運(yùn)行成功的建模任務(wù)，可利用交互式結(jié)構(gòu)單元的填充樣式來進(jìn)行區(qū)分。例如，關(guān)于尚未運(yùn)行的建模任務(wù)，其交互式結(jié)構(gòu)單元內(nèi)可不填充任何內(nèi)容(例如，顏色區(qū)域)；對于運(yùn)行成功的建模任務(wù)，其交互式結(jié)構(gòu)單元內(nèi)可填充有預(yù)定內(nèi)容(例如，綠色區(qū)域)；而對于運(yùn)行失敗的建模任務(wù)，其交互式結(jié)構(gòu)單元內(nèi)可填充有另一種預(yù)定內(nèi)容(例如，紅色區(qū)域)。此外，作為示例，對于運(yùn)行中的建模任務(wù)，其交互式結(jié)構(gòu)單元內(nèi)可按照建模任務(wù)進(jìn)度指示的百分比來填充內(nèi)容。
[0110]可以看出，上述交互式結(jié)構(gòu)單元能夠有效地表達(dá)建模任務(wù)的屬性、運(yùn)行狀態(tài)，也能夠有效地對相應(yīng)的建模任務(wù)進(jìn)行配置或操作，增強(qiáng)了用戶體驗(yàn)。
[0111]此外，作為示例，在步驟S30中，可通過復(fù)制已經(jīng)建立的建模任務(wù)來配置相應(yīng)的數(shù)據(jù)建?；顒铀婕暗慕Ｈ蝿?wù)。例如，可在圖4所示的頁面中設(shè)置用于復(fù)制建模任務(wù)的操作項(xiàng)(例如，列表中的“復(fù)制”選項(xiàng)等)，并根據(jù)用戶對所述操作項(xiàng)執(zhí)行的操作來復(fù)制相應(yīng)建模任務(wù)的配置內(nèi)容。這里，作為示例，所述配置內(nèi)容可包括該建模任務(wù)的相關(guān)配置項(xiàng)，作為優(yōu)選方式，任務(wù)配置模塊30可按照預(yù)設(shè)的命名規(guī)則對復(fù)制后的建模任務(wù)名稱、輸出表名稱、模型名稱等自動重新命名。
[0112]作為示例，復(fù)制后得到的建模任務(wù)可默認(rèn)地被配置在相同的建模計(jì)劃之下，在這種情況下，當(dāng)用戶選擇用于復(fù)制建模任務(wù)的操作項(xiàng)(例如，列表中的“復(fù)制”選項(xiàng)等)之后，在其所屬的建模計(jì)劃下可自動顯示復(fù)制后得到的建模任務(wù)。作為示例，在DAG圖顯示的建模計(jì)劃的整個流程中，該建模任務(wù)可被顯示在與被復(fù)制的建模任務(wù)相同階段的位置，即，兩者接續(xù)于同一個上游建模任務(wù)。
[0113]這里，任務(wù)配置模塊30可根據(jù)各個用戶的指示分別配置各自的建模任務(wù)，這里，作為示例，對于配置的建模任務(wù)，可僅允許建模項(xiàng)目主用戶和/或配置所述建模任務(wù)的建模項(xiàng)目參與用戶對所述建模任務(wù)進(jìn)行修改、刪除等操作，此外，也可允許所有用戶對所述建模任務(wù)進(jìn)行修改、刪除等操作。
[0114]進(jìn)一步地，根據(jù)本發(fā)明的示例性實(shí)施例，可根據(jù)用戶的手動操作來實(shí)現(xiàn)特征工程(feature engi neering)，具體說來，可根據(jù)用戶的輸入來配置特征抽取任務(wù)，以將數(shù)據(jù)記錄通過數(shù)據(jù)轉(zhuǎn)換和定義來形成能夠代表待確定問題的訓(xùn)練用特征。
[0115]例如，任務(wù)配置模塊30在配置特征抽取任務(wù)時，可根據(jù)用戶在用于設(shè)置特征抽取配置項(xiàng)的頁面上執(zhí)行的輸入操作來生成特征抽取配置項(xiàng)，其中，特征抽取配置項(xiàng)用于限定如何從數(shù)據(jù)記錄抽取預(yù)定特征。
[0116]在建模計(jì)劃下配置的建模任務(wù)包括數(shù)據(jù)拼接任務(wù)的情況下，上述數(shù)據(jù)記錄可來源于數(shù)據(jù)拼接任務(wù)的輸出；在建模計(jì)劃下配置的建模任務(wù)僅包括數(shù)據(jù)輸入任務(wù)而不包括數(shù)據(jù)拼接任務(wù)的情況下，上述數(shù)據(jù)記錄可直接來源于數(shù)據(jù)輸入任務(wù)的輸出；在建模計(jì)劃下配置的建模任務(wù)既不包括數(shù)據(jù)輸入任務(wù)也不包括數(shù)據(jù)拼接任務(wù)的情況下，上述數(shù)據(jù)記錄可直接來源于用戶在特征抽取任務(wù)中配置的作為原始數(shù)據(jù)資源的輸入表。
[0117]具體說來，每種預(yù)定特征的特征抽取配置項(xiàng)可包括來源字段項(xiàng)和處理方法項(xiàng)，來源字段項(xiàng)用于將所述每種預(yù)定特征所涉及的數(shù)據(jù)記錄的字段限定為來源字段，處理方法項(xiàng)用于指定對預(yù)先編程為可執(zhí)行代碼的數(shù)據(jù)處理函數(shù)的引用，其中，所述數(shù)據(jù)處理函數(shù)用于在建模計(jì)劃被啟動時針對由來源字段項(xiàng)限定的來源字段的字段值執(zhí)行用于抽取所述每種預(yù)定特征的數(shù)據(jù)處理以運(yùn)行特征抽取任務(wù)。
[0118]相應(yīng)地，用于設(shè)置特征抽取配置項(xiàng)的頁面可以為圖形用戶界面，所述圖形用戶界面包括用于手動編輯特征抽取配置項(xiàng)的文本編輯界面和/或用于顯示特征抽取配置項(xiàng)的內(nèi)容選項(xiàng)以供用戶選擇的選擇輸入型界面。
[0119]下面結(jié)合附圖描述根據(jù)本發(fā)明實(shí)施例的由用戶通過圖形用戶界面來配置特征抽取任務(wù)的示例。應(yīng)注意，這里的圖形用戶界面僅作為示例，本發(fā)明還可采用任何其它形式的輸入界面。作為示例，通過所述界面設(shè)置的特征抽取配置項(xiàng)可用于形成相應(yīng)的配置文件以便后續(xù)從所述配置文件中讀取各個特征抽取配置項(xiàng)，也可將通過所述界面設(shè)置的特征抽取配置項(xiàng)直接應(yīng)用于特征抽取主程序而無需生成任何配置文件。
[0120]圖5A示出根據(jù)本發(fā)明示例性實(shí)施例的用于配置特征抽取任務(wù)的圖形用戶界面200的示例，其中，輸入表201bank basic data可指示銀行的原始數(shù)據(jù)，目標(biāo)值202y指示訓(xùn)練樣本的目標(biāo)值，輸出表203bankdata_out指示抽取出的特征表。
[0121]在上述圖形用戶界面200中，可至少顯示有數(shù)據(jù)記錄的能夠作為來源字段的各個字段以及設(shè)置的預(yù)定特征的特征抽取配置項(xiàng)。此外，作為示例，還可顯示其它關(guān)于數(shù)據(jù)源或數(shù)據(jù)輸出的信息。具體說來，如圖5A所示，左側(cè)區(qū)域示出輸入表中數(shù)據(jù)記錄的各個字段，包括字段名稱204和字段屬性205;右側(cè)區(qū)域示出配置特征的配置頁面，作為示例，該配置頁面可包括用于顯示特征抽取配置項(xiàng)的內(nèi)容選項(xiàng)以供手動選擇的選擇輸入型界面，其中，每一行針對一個特定的特征，相應(yīng)地配置了該特征的來源項(xiàng)206、處理方法207和特征名208。
[0122]作為示例，可根據(jù)用戶對左側(cè)區(qū)域顯示的各個字段的設(shè)置操作，相應(yīng)地在右側(cè)區(qū)域顯示用戶設(shè)置的各個特征配置項(xiàng)目。在一個示例中，用戶可手動編輯右側(cè)區(qū)域顯示的配置項(xiàng)目。
[0123]具體說來，可首先在圖形用戶界面上(例如，左側(cè)區(qū)域)顯示數(shù)據(jù)記錄的各個字段，當(dāng)用戶選中(例如，通過點(diǎn)擊來選中)某個或某些顯示的字段時，在配置頁面中將用戶選中的字段設(shè)置為設(shè)置的來源字段，并在所述來源字段被選擇的同時，將處理方法列表顯示在圖形用戶界面上，這里，作為示例，處理方法列表可被顯示在用戶選擇的來源字段附近以便于用戶從中選擇將在配置頁面中顯示的處理方法;這里，在所述處理方法列表中，所有處理方法可均處于激活狀態(tài);或者，可僅包括能夠應(yīng)用于選中的來源字段項(xiàng)的處理方法;或者，可包括全部處理方法但將能夠應(yīng)用的處理方法顯示為激活狀態(tài)而將無法應(yīng)用的處理方法顯示為禁用狀態(tài)。
[0124]圖5B示出在左側(cè)區(qū)域中的單個字段(例如，“age”字段)301被用戶選擇的同時，向用戶顯示處理方法列表302的部分圖形用戶界面300的示例。例如，當(dāng)用戶點(diǎn)擊“age”字段301時，右側(cè)在“age”字段的附近彈出處理方法列表302供選擇。在處理方法列表302中可列出所有的處理方法，并將用戶當(dāng)前選擇的處理方法高亮顯示。此外，還可僅在處理方法列表302中顯示能夠應(yīng)用于選擇的“age”字段的處理方法，或者，在處理方法列表302中僅將能夠應(yīng)用于選擇的“age”字段的處理方法進(jìn)行激活(例如，顯示為可選狀態(tài)或突出顯示狀態(tài))而將其它處理方法顯示為禁止?fàn)顟B(tài)。
[0125]圖5C示出在左側(cè)區(qū)域中的多個字段401、402、403被用戶選擇的同時，向用戶顯示處理方法列表404的部分圖形用戶界面400的示例。這表示，用戶可在左側(cè)選取一個以上的來源字段401、402和403，相應(yīng)地，可彈出處理方法列表404，供用戶選取對這些來源字段應(yīng)用的處理方法。類似地，可采用適當(dāng)?shù)姆绞絹韽棾鎏幚矸椒斜?04，并且，處理方法列表404可不必包括所有的處理方法，相應(yīng)地，可根據(jù)左側(cè)選擇的來源字段而動態(tài)地調(diào)整在處理方法列表404中顯示的處理方法。
[0126]除了上述顯示特征抽取配置項(xiàng)的內(nèi)容選項(xiàng)以供手動選擇(例如，通過鼠標(biāo)點(diǎn)擊的方式)的選擇輸入型界面之外，還可以采用其它形式的用于設(shè)置特征抽取配置項(xiàng)的界面，例如，用于手動編輯配置文件的文本編輯界面，使得用戶能夠直接在文本編輯界面中編寫“配置文件”，由于配置文件本身具有內(nèi)容上的重復(fù)性，可通過文本編輯操作(例如，復(fù)制、粘貼、拖動等)來快速完成“配置文件”的編寫。
[0127]圖6示出了具有能夠?qū)μ卣鞒槿∨渲庙?xiàng)進(jìn)行文本編輯的區(qū)域的示例性圖形用戶界面500。圖形用戶界面500的左側(cè)與圖5B和圖5C所示的圖形用戶界面具有類似性，只是圖形用戶界面500的右側(cè)區(qū)域示出用于手動編輯配置文件的文本編輯界面501，用戶可以在文本編輯界面501中手動編輯特征抽取配置項(xiàng)目，包括配置特征項(xiàng)名稱、來源字段項(xiàng)、處理方法項(xiàng)等。通過文本編輯界面中執(zhí)行的文本編輯操作(例如、復(fù)制、粘貼、拖動等)，用戶能夠高效率進(jìn)行特征抽取配置項(xiàng)目的設(shè)置。
[0128]上述兩種圖形用戶界面可同時顯示在屏幕上，也可根據(jù)用戶的選擇而單獨(dú)顯示在屏幕上，例如，響應(yīng)于用戶的界面切換操作輸入在文本編輯界面和選擇輸入型界面之間切換(顯示切換或激活切換)，在切換前界面下的特征抽取配置項(xiàng)設(shè)置結(jié)果被同步地顯示到切換后的界面下。相應(yīng)地，用戶可利用兩種配置界面在操作上的便利性，更有效地設(shè)置多個特征抽取方式，例如，用戶可首先在選擇輸入型界面中通過點(diǎn)擊等選擇輸入方式完成代表性的特征抽取配置，然后切換到文本編輯界面下，由于之前設(shè)置的結(jié)果會同步地顯示在文本編輯界面中，用戶可結(jié)合復(fù)制粘貼等操作快速地完成大量特征的抽取項(xiàng)設(shè)置。
[0129]在現(xiàn)有的數(shù)據(jù)建模領(lǐng)域中，為了能夠基于大量的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行模型訓(xùn)練、測試或應(yīng)用，往往需要在特征工程階段耗費(fèi)較多的人力，例如，需要編程人員預(yù)先針對特定的特征抽取規(guī)則編寫每一種特征的提取代碼。相應(yīng)地，在諸如建模平臺等供客戶使用的建模產(chǎn)品中，往往需要輸入建模平臺的已經(jīng)是提取出的訓(xùn)練數(shù)據(jù)(即，提取好的特征向量)，而用戶難以靈活地設(shè)置或調(diào)整關(guān)于特征抽取的對象和規(guī)則，使得建模平臺的使用受到限制。然而，根據(jù)本發(fā)明的示例性實(shí)施例，可通過上述方式來方便地配置特征抽取任務(wù)，充分?jǐn)U展了數(shù)據(jù)建模的應(yīng)用性。
[0130]進(jìn)一步地，根據(jù)本發(fā)明的示例性實(shí)施例，在配置模型應(yīng)用任務(wù)時，可將模型應(yīng)用任務(wù)配置為手動應(yīng)用方式和/或自動應(yīng)用方式，其中，在手動應(yīng)用方式下，根據(jù)用戶的操作來啟動模型應(yīng)用，在自動應(yīng)用方式下，根據(jù)預(yù)設(shè)的時間間隔來啟動模型應(yīng)用。
[0131]這里，作為示例，可在用于配置模型應(yīng)用的頁面中，配置普通的模型批量預(yù)估應(yīng)用或定時自動運(yùn)行的模型批量預(yù)估應(yīng)用，其應(yīng)用結(jié)果可以通過接口形式調(diào)用或者下載。
[0132]具體說來，在手動應(yīng)用配置中，可輸入或修改模型應(yīng)用的名稱，例如“2015年用戶信貸風(fēng)控建模應(yīng)用”。
[0133]此外，可根據(jù)用戶的選擇來確定將應(yīng)用于訓(xùn)練出的模型的模型應(yīng)用數(shù)據(jù)的來源，例如，可用數(shù)據(jù)表、HDFS(Hadoc)P分布式文件系統(tǒng))數(shù)據(jù)源、本地文件等。在應(yīng)用數(shù)據(jù)的來源被確定之后，可向用戶展示相應(yīng)的可選數(shù)據(jù)的列表，以供用戶從中選擇出模型應(yīng)用數(shù)據(jù)。
[0134]除此之外，還可根據(jù)用戶的操作來確定向用戶展示的模型應(yīng)用結(jié)果包含模型應(yīng)用數(shù)據(jù)的哪些表項(xiàng)(即，原始字段或相關(guān)特征)。例如，可向用戶提供關(guān)于表項(xiàng)選擇的彈出框，其中，包括“保留全表項(xiàng)結(jié)果”和“自定義表項(xiàng)結(jié)果”這兩個項(xiàng)目。當(dāng)用戶選擇“自定義表項(xiàng)結(jié)果”時，可向用戶顯示模型應(yīng)用數(shù)據(jù)的所有表項(xiàng)(包括模型所預(yù)測出的目標(biāo)值)，以供用戶從中勾選出最終顯示的表項(xiàng)，其中，預(yù)測出的目標(biāo)值可默認(rèn)為輸出表項(xiàng)且不可修改，其余表項(xiàng)可被勾選或撤銷勾選。此外，還可設(shè)置“反選”按鈕，以用于對選擇結(jié)果進(jìn)行反轉(zhuǎn)。
[0135]進(jìn)一步地，還可根據(jù)用戶的操作來確定模型應(yīng)用結(jié)果的輸出排序。這里，作為示例，可向用戶提供關(guān)于輸出排序的三種選擇按鈕，例如，“原順序”、“按預(yù)測值升序”、“按預(yù)測值降序”等。
[0136]此外，在定時應(yīng)用配置中，除了上述項(xiàng)目之外，還可進(jìn)一步根據(jù)用戶的輸入來設(shè)置“定時應(yīng)用任務(wù)運(yùn)行的周期”、“定時的計(jì)時開始時間”和“定時的結(jié)束方式”等項(xiàng)目。這里，定時的結(jié)束時間可被設(shè)置為“一直運(yùn)行”、“當(dāng)完成預(yù)定次數(shù)的模型預(yù)測后結(jié)束”、具體的結(jié)束時間等。
[0137]通過定時應(yīng)用的配置方式，能夠有效地?cái)U(kuò)展預(yù)測模型的應(yīng)用場景，特別適用于預(yù)測模型的在線應(yīng)用。
[0138]再次參照圖2，在步驟S40，由計(jì)劃啟動模塊40啟動所建立的至少一個建模計(jì)劃，并將所述至少一個建模計(jì)劃產(chǎn)生的結(jié)果保存在所述建模項(xiàng)目下。這里，當(dāng)計(jì)劃啟動模塊40啟動所述至少一個建模計(jì)劃之中的某個建模計(jì)劃時，該建模計(jì)劃下所配置的建模任務(wù)被依次執(zhí)行，并獲得了相應(yīng)的中間結(jié)果數(shù)據(jù)和/或最終結(jié)果數(shù)據(jù)，例如，數(shù)據(jù)拼接任務(wù)被執(zhí)行時所獲得的完整輸入表、特征抽取任務(wù)被執(zhí)行時所獲得的訓(xùn)練用樣本表、模型訓(xùn)練任務(wù)被執(zhí)行時所獲得的預(yù)測模型、模型評估任務(wù)被執(zhí)行時所獲得的評估報告、模型應(yīng)用任務(wù)被執(zhí)行時所獲得的預(yù)測結(jié)果等。這些結(jié)果數(shù)據(jù)均可被保存在建模計(jì)劃之下，從而便于在其所屬的建模項(xiàng)目下進(jìn)行統(tǒng)一的處理。
[0139]如上所述，作為示例，在所述建立的建模項(xiàng)目的頁面之中，可顯示有已經(jīng)建立的建模計(jì)劃的列表，其中，在每個建模計(jì)劃的附近，可提供用于“啟動建模計(jì)劃”的按鈕。通過這種方式，用戶可在建模項(xiàng)目的頁面下選擇將要啟動的建模計(jì)劃。
[0140]或者，可在與建立的建模計(jì)劃相應(yīng)的DAG圖頁面中設(shè)置用于啟動當(dāng)前建模計(jì)劃的按鈕，從而當(dāng)用戶按下該按鈕時，計(jì)劃啟動模塊40啟動當(dāng)前的建模計(jì)劃，以依次執(zhí)行DAG中配置好的各個建模任務(wù)。
[0141]這里，在步驟S40中，啟動所述至少一個建模計(jì)劃的模型訓(xùn)練任務(wù)后，在模型訓(xùn)練任務(wù)的執(zhí)行過程中產(chǎn)生的模型系數(shù)可被分布地保存在多個參數(shù)服務(wù)器中。通過這種方式，可進(jìn)一步提尚t旲型訓(xùn)練的能力。
[0142]此外，還可按照預(yù)定百分比或預(yù)定行數(shù)來下載保存的所述至少一個建模計(jì)劃產(chǎn)生的結(jié)果。例如，模型應(yīng)用任務(wù)被執(zhí)行時將產(chǎn)生預(yù)測結(jié)果文件。圖7示出根據(jù)本發(fā)明示例性實(shí)施例的用于下載結(jié)果文件的頁面的示例。對此，當(dāng)用戶在建模項(xiàng)目的頁面或當(dāng)前建模計(jì)劃的頁面中點(diǎn)擊用于下載結(jié)果文件的按鈕時，可向用戶顯示如圖7所示的彈出框，以便用戶選擇下載全部結(jié)果數(shù)據(jù)還是下載全部結(jié)果數(shù)據(jù)的前多少行數(shù)據(jù)。應(yīng)注意，圖7顯示的頁面僅作為示例而非限制，例如，根據(jù)本發(fā)明的示例性實(shí)施例，還可選擇下載全部結(jié)果數(shù)據(jù)中的預(yù)定百分比的結(jié)果數(shù)據(jù)。
[0143]此外，圖2所述的方法可還包括:將啟動所述至少一個建模計(jì)劃下的模型評估任務(wù)時產(chǎn)生的數(shù)據(jù)模型的評估報告與相應(yīng)的模型訓(xùn)練任務(wù)和/或建模計(jì)劃相對應(yīng)地進(jìn)行顯示。具體說來，根據(jù)本發(fā)明的示例性實(shí)施例，可將數(shù)據(jù)模型的評估報告的顯示入口設(shè)置為對應(yīng)于所述數(shù)據(jù)模型所屬的模型訓(xùn)練任務(wù)和/或建模計(jì)劃，通過這種方式，用戶可以在查看模型的評估報告之后方便地調(diào)整模型訓(xùn)練任務(wù)或建模計(jì)劃下的其它相關(guān)建模任務(wù)。
[0144]以上結(jié)合圖2描述了根據(jù)本發(fā)明示例性實(shí)施例進(jìn)行數(shù)據(jù)建模管理的示例?？梢钥闯?，根據(jù)本發(fā)明的示例性實(shí)施例，不僅能夠幫助用戶完成數(shù)據(jù)建模的過程，而且能夠有效地進(jìn)行體系化的數(shù)據(jù)處理、流程處理和/或模型處理，從而真正幫助用戶基于大數(shù)據(jù)技術(shù)來找到解決實(shí)際問題的方式。
[0145]優(yōu)選地，在根據(jù)本發(fā)明示例性實(shí)施例的建模體系下，可以有效地配置快速建模的過程，使得對建模過程并不熟悉的用戶能夠快速得到期望的數(shù)據(jù)模型。
[0146]具體說來，在步驟SlO建立的建模項(xiàng)目為快速建模項(xiàng)目。這里，可根據(jù)用戶對“快速建模項(xiàng)目”選項(xiàng)卡的選擇來建立快速建模項(xiàng)目。
[0147]圖8示出根據(jù)本發(fā)明示例性實(shí)施例的用于新建建模項(xiàng)目的頁面。作為示例，在圖8所示的頁面下，當(dāng)用戶點(diǎn)擊“快速建?！卑粹o或“快速建?！边x項(xiàng)卡時，會建立一個快速建模項(xiàng)目。
[0148]相應(yīng)地，在快速建模項(xiàng)目被建立之后，在步驟S20中，自動在快速建模項(xiàng)目下建立一個快速建模計(jì)劃，在步驟S30中，在快速建模計(jì)劃下根據(jù)用戶的輸入操作配置完輸入的數(shù)據(jù)記錄之后，自動配置相應(yīng)的特征抽取任務(wù)和模型訓(xùn)練任務(wù)，并在步驟S40中，自動啟動快速建模計(jì)劃。
[0149]作為示例，在步驟S30，可向用戶提供用于直接選擇輸入表的操作入口，以便用戶選擇快速建模下的原始訓(xùn)練數(shù)據(jù)及其中的目標(biāo)值。在用戶配置好輸入的數(shù)據(jù)記錄之后，可利用預(yù)設(shè)的特征抽取配置項(xiàng)和模型訓(xùn)練參數(shù)來自動配置特征抽取任務(wù)和模型訓(xùn)練任務(wù)，其中，特征抽取配置項(xiàng)用于限定如何從數(shù)據(jù)記錄抽取預(yù)定特征。
[0150]這里，可預(yù)先將特征抽取配置項(xiàng)設(shè)置為使用默認(rèn)的處理方法(例如，直接抽取)對輸入表的所有表項(xiàng)(即，字段)進(jìn)行處理以得到樣本的各個特征，此外，可采用預(yù)先設(shè)定的模型訓(xùn)練參數(shù)來配置模型訓(xùn)練任務(wù)，也可通過分析輸入的數(shù)據(jù)記錄的特點(diǎn)來適應(yīng)性地自動設(shè)置模型訓(xùn)練參數(shù)。
[0151]作為優(yōu)選方式，用戶還可在快速建模過程中選擇手動設(shè)置模型訓(xùn)練參數(shù)。具體說來，可將默認(rèn)方式設(shè)置為利用預(yù)設(shè)的模型訓(xùn)練參數(shù)來配置模型訓(xùn)練任務(wù)，但是用戶也可選擇自行設(shè)置模型訓(xùn)練參數(shù)，并手動設(shè)置期望的模型訓(xùn)練參數(shù)。
[0152]圖9示出根據(jù)本發(fā)明示例性實(shí)施例的用于快速建模的頁面的示例。具體說來，在圖9所示的快速建模頁面中，用戶可通過選擇“更多設(shè)置”來對模型訓(xùn)練參數(shù)進(jìn)行手動設(shè)置，否貝1J，則可針對輸入表和目標(biāo)值，按照預(yù)定的特征抽取配置項(xiàng)和模型訓(xùn)練參數(shù)進(jìn)行模型訓(xùn)練。
[0153]應(yīng)注意，上述數(shù)據(jù)建模管理系統(tǒng)可完全依賴計(jì)算機(jī)程序的運(yùn)行來實(shí)現(xiàn)相應(yīng)的功能，即，各個模塊與計(jì)算機(jī)程序的功能架構(gòu)中與各步驟相應(yīng)，使得整個系統(tǒng)通過專門的軟件包(例如，Iib庫)而被調(diào)用，以實(shí)現(xiàn)相應(yīng)的數(shù)據(jù)建模管理功能。
[0154]另一方面，圖1所示的各個模塊也可以通過硬件、軟件、固件、中間件、微代碼或其任意組合來實(shí)現(xiàn)。當(dāng)以軟件、固件、中間件或微代碼實(shí)現(xiàn)時，用于執(zhí)行相應(yīng)操作的程序代碼或者代碼段可以存儲在諸如存儲介質(zhì)的計(jì)算機(jī)可讀介質(zhì)中，使得處理器可通過讀取并運(yùn)行相應(yīng)的程序代碼或者代碼段來執(zhí)行相應(yīng)的操作。
[0155]這里，本發(fā)明的示例性實(shí)施例還可以實(shí)現(xiàn)為計(jì)算裝置，該計(jì)算裝置包括存儲部件和處理器，存儲部件中存儲有計(jì)算機(jī)可執(zhí)行指令集合，當(dāng)所述計(jì)算機(jī)可執(zhí)行指令集合被所述處理器執(zhí)行時，執(zhí)行上述數(shù)據(jù)建模管理方法。
[0156]具體說來，所述計(jì)算裝置可以部署在服務(wù)器或客戶端中，也可以部署在分布式網(wǎng)絡(luò)環(huán)境中的節(jié)點(diǎn)裝置上。此外，所述計(jì)算裝置可以是PC計(jì)算機(jī)、平板裝置、個人數(shù)字助理、智能手機(jī)、web應(yīng)用或其它能夠執(zhí)行上述指令集合的裝置。
[0157]這里，所述計(jì)算裝置并非必須是單個的計(jì)算裝置，還可以是任何能夠單獨(dú)或聯(lián)合執(zhí)行上述指令(或指令集)的裝置或電路的集合體。計(jì)算裝置還可以是集成控制系統(tǒng)或系統(tǒng)管理器的一部分，或者可被配置為與本地或遠(yuǎn)程(例如，經(jīng)由無線傳輸)以接口互聯(lián)的便攜式電子裝置。
[0158]在所述計(jì)算裝置中，處理器可包括中央處理器(CPU)、圖形處理器(GPU)、可編程邏輯裝置、專用處理器系統(tǒng)、微控制器或微處理器。作為示例而非限制，處理器還可包括模擬處理器、數(shù)字處理器、微處理器、多核處理器、處理器陣列、網(wǎng)絡(luò)處理器等。
[0159]上述數(shù)據(jù)建模管理方法中所描述的某些操作可通過軟件方式來實(shí)現(xiàn)，某些操作可通過硬件方式來實(shí)現(xiàn)，此外，還可通過軟硬件結(jié)合的方式來實(shí)現(xiàn)這些操作。
[0160]處理器可運(yùn)行存儲在存儲部件之一中的指令或代碼，其中，所述存儲部件還可以存儲數(shù)據(jù)。指令和數(shù)據(jù)還可經(jīng)由網(wǎng)絡(luò)接口裝置而通過網(wǎng)絡(luò)被發(fā)送和接收，其中，所述網(wǎng)絡(luò)接口裝置可采用任何已知的傳輸協(xié)議。
[0161]存儲部件可與處理器集成為一體，例如，將RAM或閃存不知在集成電路微處理器等之內(nèi)。此外，存儲部件可包括獨(dú)立的裝置，諸如，外部盤驅(qū)動、存儲陣列或任何數(shù)據(jù)庫系統(tǒng)可使用的其它存儲裝置。存儲部件和處理器可在操作上進(jìn)行耦合，或者可例如通過I/o端口、網(wǎng)絡(luò)連接等互相通信，使得處理器能夠讀取存儲在存儲部件中的文件。
[0162]此外，所述計(jì)算裝置還可包括視頻顯示器(諸如，液晶顯示器)和用戶交互接口(諸如，鍵盤、鼠標(biāo)、觸摸輸入裝置等)。計(jì)算裝置的所有組件可經(jīng)由總線和/或網(wǎng)絡(luò)而彼此連接。
[0163]上述數(shù)據(jù)建模管理方法所涉及的操作可被描述為各種互聯(lián)或耦合的功能塊或功能示圖。然而，這些功能塊或功能示圖可被均等地集成為單個的邏輯裝置或按照非確切的邊界進(jìn)行操作。
[0164]具體說來，如上所述，根據(jù)本發(fā)明示例性實(shí)施例的用于管理數(shù)據(jù)建模的計(jì)算裝置可包括存儲部件和處理器，存儲部件中存儲有計(jì)算機(jī)可執(zhí)行指令集合，當(dāng)所述計(jì)算機(jī)可執(zhí)行指令集合被所述處理器執(zhí)行時，執(zhí)行下述步驟:(A)建立用于管理數(shù)據(jù)建模的建模項(xiàng)目；
(B)在建立的建模項(xiàng)目下，建立至少一個建模計(jì)劃，其中，建模計(jì)劃用于執(zhí)行數(shù)據(jù)建模活動；
(C)在建立的每個建模計(jì)劃下，配置相應(yīng)的數(shù)據(jù)建?；顒铀婕暗慕Ｈ蝿?wù)，其中，所述建模任務(wù)包括以下項(xiàng)中的至少一個:數(shù)據(jù)輸入任務(wù)、數(shù)據(jù)拼接任務(wù)、特征抽取任務(wù)、模型訓(xùn)練任務(wù)、模型評估任務(wù)、模型應(yīng)用任務(wù)；(D)啟動所述至少一個建模計(jì)劃，并將所述至少一個建模計(jì)劃產(chǎn)生的結(jié)果保存在所述建模項(xiàng)目下。
[0165]應(yīng)注意，以上已經(jīng)結(jié)合圖2描述了根據(jù)本發(fā)明示例性實(shí)施例的數(shù)據(jù)建模管理方法的各處理細(xì)節(jié)，這里將不再贅述計(jì)算裝置執(zhí)行各步驟時的處理細(xì)節(jié)。
[0166]以上已經(jīng)描述了本發(fā)明的各示例性實(shí)施例，應(yīng)理解，上述描述僅是示例性的，并非窮盡性的，并且本發(fā)明也不限于所披露的各示例性實(shí)施例。在不偏離本發(fā)明的范圍和精神的情況下，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說許多修改和變更都是顯而易見的。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求的范圍為準(zhǔn)。
【主權(quán)項(xiàng)】
1.一種用于管理數(shù)據(jù)建模的方法，包括: (A)建立用于管理數(shù)據(jù)建模的建模項(xiàng)目； (B)在建立的建模項(xiàng)目下，建立至少一個建模計(jì)劃，其中，建模計(jì)劃用于執(zhí)行數(shù)據(jù)建?；顒?； (C)在建立的每個建模計(jì)劃下，配置相應(yīng)的數(shù)據(jù)建?；顒铀婕暗慕Ｈ蝿?wù)，其中，所述建模任務(wù)包括以下項(xiàng)中的至少一個:數(shù)據(jù)輸入任務(wù)、數(shù)據(jù)拼接任務(wù)、特征抽取任務(wù)、模型訓(xùn)練任務(wù)、模型評估任務(wù)、模型應(yīng)用任務(wù)； (D)啟動所述至少一個建模計(jì)劃，并將所述至少一個建模計(jì)劃產(chǎn)生的結(jié)果保存在所述建模項(xiàng)目下。2.如權(quán)利要求1所述的方法，其中，步驟(A)還包括:在建立的建模項(xiàng)目下指定參與數(shù)據(jù)建模的至少一個用戶，其中，所述至少一個用戶被設(shè)置為針對建模項(xiàng)目、建模計(jì)劃和/或建模任務(wù)具有各自相應(yīng)的操作權(quán)限。3.如權(quán)利要求1所述的方法，其中，在步驟(B)中，通過復(fù)制已經(jīng)建立的建模計(jì)劃來建立所述至少一個建模計(jì)劃；或者，在步驟(C)中，通過復(fù)制已經(jīng)建立的建模任務(wù)來配置相應(yīng)的數(shù)據(jù)建?；顒铀婕暗慕Ｈ蝿?wù)。4.如權(quán)利要求1所述的方法，其中，在步驟(C)中，顯示與建立的建模計(jì)劃相應(yīng)的DAG圖，其中，所述DAG圖包括用于分別配置建模任務(wù)的交互式結(jié)構(gòu)單元。5.如權(quán)利要求1所述的方法，其中，在步驟(A)建立的建模項(xiàng)目為快速建模項(xiàng)目；并且，在步驟(B)中，自動在快速建模項(xiàng)目下建立一個快速建模計(jì)劃，在步驟(C)中，在快速建模計(jì)劃下根據(jù)用戶的輸入操作配置完輸入的數(shù)據(jù)記錄之后，自動配置相應(yīng)的特征抽取任務(wù)和模型訓(xùn)練任務(wù)，并在步驟(D)中，自動啟動快速建模計(jì)劃。6.如權(quán)利要求1所述的方法，其中，在步驟(C)中，在配置特征抽取任務(wù)時，根據(jù)用戶在用于設(shè)置特征抽取配置項(xiàng)的頁面上執(zhí)行的輸入操作來生成特征抽取配置項(xiàng)，其中，特征抽取配置項(xiàng)用于限定如何從數(shù)據(jù)記錄抽取預(yù)定特征。7.如權(quán)利要求6所述的方法，其中，用于設(shè)置特征抽取配置項(xiàng)的頁面為圖形用戶界面，所述圖形用戶界面包括用于手動編輯特征抽取配置項(xiàng)的文本編輯界面和/或用于顯示特征抽取配置項(xiàng)的內(nèi)容選項(xiàng)以供用戶選擇的選擇輸入型界面。8.如權(quán)利要求1所述的方法，其中，在步驟(C)中，將模型應(yīng)用任務(wù)配置為手動應(yīng)用方式和/或自動應(yīng)用方式，其中，在手動應(yīng)用方式下，根據(jù)用戶的操作來啟動模型應(yīng)用，在自動應(yīng)用方式下，根據(jù)預(yù)設(shè)的時間間隔來啟動模型應(yīng)用。9.一種用于管理數(shù)據(jù)建模的系統(tǒng)，包括:項(xiàng)目建立模塊，用于建立用于管理數(shù)據(jù)建模的建模項(xiàng)目；計(jì)劃建立模塊，用于在建立的建模項(xiàng)目下，建立至少一個建模計(jì)劃，其中，建模計(jì)劃用于執(zhí)行數(shù)據(jù)建?；顒?任務(wù)配置模塊，用于在建立的每個建模計(jì)劃下，配置相應(yīng)的數(shù)據(jù)建?；顒铀婕暗慕Ｈ蝿?wù)，其中，所述建模任務(wù)包括以下項(xiàng)中的至少一個:數(shù)據(jù)輸入任務(wù)、數(shù)據(jù)拼接任務(wù)、特征抽取任務(wù)、模型訓(xùn)練任務(wù)、模型評估任務(wù)、模型應(yīng)用任務(wù);計(jì)劃啟動模塊，用于啟動所述至少一個建模計(jì)劃，并將所述至少一個建模計(jì)劃產(chǎn)生的結(jié)果保存在所述建模項(xiàng)目下。10.—種用于管理數(shù)據(jù)建模的計(jì)算裝置，包括存儲部件和處理器，存儲部件中存儲有計(jì)算機(jī)可執(zhí)行指令集合，當(dāng)所述計(jì)算機(jī)可執(zhí)行指令集合被所述處理器執(zhí)行時，執(zhí)行下述步驟: (A)建立用于管理數(shù)據(jù)建模的建模項(xiàng)目； (B)在建立的建模項(xiàng)目下，建立至少一個建模計(jì)劃，其中，建模計(jì)劃用于執(zhí)行數(shù)據(jù)建?；顒?； (C)在建立的每個建模計(jì)劃下，配置相應(yīng)的數(shù)據(jù)建?；顒铀婕暗慕Ｈ蝿?wù)，其中，所述建模任務(wù)包括以下項(xiàng)中的至少一個:數(shù)據(jù)輸入任務(wù)、數(shù)據(jù)拼接任務(wù)、特征抽取任務(wù)、模型訓(xùn)練任務(wù)、模型評估任務(wù)、模型應(yīng)用任務(wù)； (D)啟動所述至少一個建模計(jì)劃，并將所述至少一個建模計(jì)劃產(chǎn)生的結(jié)果保存在所述建模項(xiàng)目下。
【文檔編號】G06F17/30GK105843873SQ201610157875
【公開日】2016年8月10日
【申請日】2016年3月18日
【發(fā)明人】康執(zhí)璽, 田楓
【申請人】北京物思創(chuàng)想科技有限公司