本發(fā)明涉及計(jì)算機(jī)技術(shù)應(yīng)用領(lǐng)域，尤其涉及一種加快特征工程衍生指標(biāo)構(gòu)建的方法和系統(tǒng)。

背景技術(shù)：

1、在數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)領(lǐng)域，特征工程是模型構(gòu)建過程中至關(guān)重要的一步。目前，特征工程主要依賴以下幾種方法：

2、(1)數(shù)據(jù)科學(xué)家根據(jù)對(duì)數(shù)據(jù)和業(yè)務(wù)的理解，手工設(shè)計(jì)和構(gòu)建衍生指標(biāo)。這種方法靈活性高，但效率低下，尤其在處理大規(guī)模數(shù)據(jù)集時(shí)。

3、(2)通過編寫腳本(如python、r等)自動(dòng)生成部分衍生指標(biāo)，盡管提高了效率，但仍需要大量的手工調(diào)整和驗(yàn)證。

4、(3)目前也有一些數(shù)據(jù)處理工具(如sql、excel、pandas等)提供了部分自動(dòng)化支持，但這些工具使用起來功能具有局限性，難以滿足復(fù)雜場(chǎng)景下的需求。

5、由上可知，現(xiàn)有技術(shù)在進(jìn)行特征工程時(shí)，手工構(gòu)建衍生指標(biāo)效率低下，尤其在大規(guī)模數(shù)據(jù)集上非常耗時(shí)。自動(dòng)化程度低，現(xiàn)有工具功能單一，難以應(yīng)對(duì)復(fù)雜數(shù)據(jù)處理需求。手工構(gòu)建過程中容易引入人為錯(cuò)誤，影響模型性能和穩(wěn)定性。缺乏對(duì)不同數(shù)據(jù)類型和業(yè)務(wù)場(chǎng)景的適應(yīng)性，限制了應(yīng)用范圍。

6、目前針對(duì)現(xiàn)有特征工程技術(shù)中存在的效率低下、自動(dòng)化程度不足、易出錯(cuò)以及缺乏適應(yīng)性的問題，尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)中的不足，提供一種加快特征工程衍生指標(biāo)構(gòu)建的方法和系統(tǒng)，以解決現(xiàn)有特征工程技術(shù)中存在的效率低下、自動(dòng)化程度不足、易出錯(cuò)以及缺乏適應(yīng)性的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案是：

3、第一方面，本發(fā)明提供一種加快特征工程衍生指標(biāo)構(gòu)建的系統(tǒng)，包括：自動(dòng)特征衍生模塊、特征選擇模塊和模型評(píng)估模塊，其中，自動(dòng)特征衍生模塊，用于通過識(shí)別接收到的數(shù)據(jù)的數(shù)據(jù)類型分配對(duì)應(yīng)的運(yùn)算規(guī)則，并依據(jù)運(yùn)算規(guī)則對(duì)數(shù)據(jù)進(jìn)行計(jì)算，得到特征數(shù)據(jù)；特征選擇模塊，用于通過算法從特征數(shù)據(jù)中選擇對(duì)模型性能提升作用最大的衍生指標(biāo)；模型評(píng)估模塊，用于依據(jù)衍生指標(biāo)進(jìn)行機(jī)器學(xué)習(xí)模型的訓(xùn)練，并對(duì)機(jī)器學(xué)習(xí)模型的訓(xùn)練進(jìn)行評(píng)估，得到評(píng)估結(jié)果。

4、在其中一些實(shí)施例中，自動(dòng)特征衍生模塊包括：數(shù)據(jù)識(shí)別單元，用于根據(jù)接收到的至少一個(gè)數(shù)據(jù)進(jìn)行數(shù)據(jù)類型的識(shí)別，得到各數(shù)據(jù)的數(shù)據(jù)類型；規(guī)則分配單元，用于根據(jù)識(shí)別到的數(shù)據(jù)類型分配對(duì)應(yīng)的運(yùn)算規(guī)則；運(yùn)算單元，用于依據(jù)運(yùn)算規(guī)則對(duì)數(shù)據(jù)類型的數(shù)據(jù)進(jìn)行運(yùn)算，得到衍生指標(biāo)；特征組合單元，用于將衍生指標(biāo)進(jìn)行特征組合，生成特征數(shù)據(jù)。

5、在其中一些實(shí)施例中，數(shù)據(jù)類型包括：數(shù)值類型、時(shí)間類型和分類型。

6、在其中一些實(shí)施例中，特征選擇模塊包括：篩選單元，用于計(jì)算特征數(shù)據(jù)與目標(biāo)變量的相關(guān)性，篩選相關(guān)性高的特征數(shù)據(jù)；計(jì)算單元，用于依據(jù)信息增益方法計(jì)算相關(guān)性高的特征數(shù)據(jù)對(duì)目標(biāo)變量的預(yù)測(cè)能力，得到評(píng)估特征的重要性；特征選擇單元，用于依據(jù)重要性和相關(guān)性從特征數(shù)據(jù)中進(jìn)行篩選，得到最優(yōu)的特征子集，將最優(yōu)的特征子集確定為對(duì)模型性能提升作用最大的衍生指標(biāo)。

7、在其中一些實(shí)施例中，可選的，模型評(píng)估模塊包括：評(píng)估單元，用于依據(jù)衍生指標(biāo)進(jìn)行機(jī)器學(xué)習(xí)模型的訓(xùn)練，評(píng)估機(jī)器學(xué)習(xí)模型的性能參數(shù)；驗(yàn)證單元，用于通過交叉驗(yàn)證方法評(píng)估模型的穩(wěn)定性和泛化能力，得到評(píng)估結(jié)果。

8、在其中一些實(shí)施例中，該系統(tǒng)還包括：結(jié)果展示模塊和用戶界面模塊，其中，結(jié)果展示模塊，用于展示衍生指標(biāo)和衍生指標(biāo)對(duì)模型的性能影響；用戶界面模塊，用于提供數(shù)據(jù)上傳界面、規(guī)則自定義界面和規(guī)則可視化界面。

9、第二方面，本發(fā)明提供一種加快特征工程衍生指標(biāo)構(gòu)建的方法，應(yīng)用于加快特征工程衍生指標(biāo)構(gòu)建的系統(tǒng)，包括：通過識(shí)別接收到的數(shù)據(jù)的數(shù)據(jù)類型分配對(duì)應(yīng)的運(yùn)算規(guī)則，并依據(jù)運(yùn)算規(guī)則對(duì)數(shù)據(jù)進(jìn)行計(jì)算，得到特征數(shù)據(jù)；通過算法從特征數(shù)據(jù)中選擇對(duì)模型性能提升作用最大的衍生指標(biāo)；依據(jù)衍生指標(biāo)進(jìn)行機(jī)器學(xué)習(xí)模型的訓(xùn)練，并對(duì)機(jī)器學(xué)習(xí)模型的訓(xùn)練進(jìn)行評(píng)估，得到評(píng)估結(jié)果。

10、在其中一些實(shí)施例中，通過識(shí)別接收到的數(shù)據(jù)的數(shù)據(jù)類型分配對(duì)應(yīng)的運(yùn)算規(guī)則，并依據(jù)運(yùn)算規(guī)則對(duì)數(shù)據(jù)進(jìn)行計(jì)算，得到特征數(shù)據(jù)包括：根據(jù)接收到的至少一個(gè)數(shù)據(jù)進(jìn)行數(shù)據(jù)類型的識(shí)別，得到各數(shù)據(jù)的數(shù)據(jù)類型；根據(jù)識(shí)別到的數(shù)據(jù)類型分配對(duì)應(yīng)的運(yùn)算規(guī)則；依據(jù)運(yùn)算規(guī)則對(duì)數(shù)據(jù)類型的數(shù)據(jù)進(jìn)行運(yùn)算，得到衍生指標(biāo)；將衍生指標(biāo)進(jìn)行特征組合，生成特征數(shù)據(jù)。

11、在其中一些實(shí)施例中，數(shù)據(jù)類型包括：數(shù)值類型、時(shí)間類型和分類型。

12、在其中一些實(shí)施例中，通過算法從特征數(shù)據(jù)中選擇對(duì)模型性能提升作用最大的衍生指標(biāo)包括：計(jì)算特征數(shù)據(jù)與目標(biāo)變量的相關(guān)性，篩選相關(guān)性高的特征數(shù)據(jù)；依據(jù)信息增益方法計(jì)算相關(guān)性高的特征數(shù)據(jù)對(duì)目標(biāo)變量的預(yù)測(cè)能力，得到評(píng)估特征的重要性；依據(jù)重要性和相關(guān)性從特征數(shù)據(jù)中進(jìn)行篩選，得到最優(yōu)的特征子集，將最優(yōu)的特征子集確定為對(duì)模型性能提升作用最大的衍生指標(biāo)。

13、本發(fā)明采用以上技術(shù)方案，通過自動(dòng)特征衍生模塊，用于通過識(shí)別接收到的數(shù)據(jù)的數(shù)據(jù)類型分配對(duì)應(yīng)的運(yùn)算規(guī)則，并依據(jù)運(yùn)算規(guī)則對(duì)數(shù)據(jù)進(jìn)行計(jì)算，得到特征數(shù)據(jù)；特征選擇模塊，用于通過算法從特征數(shù)據(jù)中選擇對(duì)模型性能提升作用最大的衍生指標(biāo)；模型評(píng)估模塊，用于依據(jù)衍生指標(biāo)進(jìn)行機(jī)器學(xué)習(xí)模型的訓(xùn)練，并對(duì)機(jī)器學(xué)習(xí)模型的訓(xùn)練進(jìn)行評(píng)估，得到評(píng)估結(jié)果，與現(xiàn)有技術(shù)相比，具有如下技術(shù)效果：提升了衍生指標(biāo)的生成速度、準(zhǔn)確性和模型性能。

技術(shù)特征：

1.一種加快特征工程衍生指標(biāo)構(gòu)建的系統(tǒng)，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的加快特征工程衍生指標(biāo)構(gòu)建的系統(tǒng)，其特征在于，所述自動(dòng)特征衍生模塊包括：

3.根據(jù)權(quán)利要求2所述的加快特征工程衍生指標(biāo)構(gòu)建的系統(tǒng)，其特征在于，所述數(shù)據(jù)類型包括：數(shù)值類型、時(shí)間類型和分類型。

4.根據(jù)權(quán)利要求1或2所述的加快特征工程衍生指標(biāo)構(gòu)建的系統(tǒng)，其特征在于，所述特征選擇模塊包括：

5.根據(jù)權(quán)利要求4所述的加快特征工程衍生指標(biāo)構(gòu)建的系統(tǒng)，其特征在于，所述模型評(píng)估模塊包括：

6.根據(jù)權(quán)利要求1所述的加快特征工程衍生指標(biāo)構(gòu)建的系統(tǒng)，其特征在于，所述系統(tǒng)還包括：結(jié)果展示模塊和用戶界面模塊，其中，

7.一種加快特征工程衍生指標(biāo)構(gòu)建的方法，其特征在于，應(yīng)用于加快特征工程衍生指標(biāo)構(gòu)建的系統(tǒng)，包括：

8.根據(jù)權(quán)利要求7所述的加快特征工程衍生指標(biāo)構(gòu)建的方法，其特征在于，所述通過識(shí)別接收到的數(shù)據(jù)的數(shù)據(jù)類型分配對(duì)應(yīng)的運(yùn)算規(guī)則，并依據(jù)所述運(yùn)算規(guī)則對(duì)所述數(shù)據(jù)進(jìn)行計(jì)算，得到特征數(shù)據(jù)包括：

9.根據(jù)權(quán)利要求8所述的加快特征工程衍生指標(biāo)構(gòu)建的方法，其特征在于，所述數(shù)據(jù)類型包括：數(shù)值類型、時(shí)間類型和分類型。

10.根據(jù)權(quán)利要求7或8所述的加快特征工程衍生指標(biāo)構(gòu)建的方法，其特征在于，所述通過算法從所述特征數(shù)據(jù)中選擇對(duì)模型性能提升作用最大的衍生指標(biāo)包括：

技術(shù)總結(jié)
本發(fā)明涉及一種加快特征工程衍生指標(biāo)構(gòu)建的方法和系統(tǒng)，加快特征工程衍生指標(biāo)構(gòu)建的系統(tǒng)包括：自動(dòng)特征衍生模塊，用于通過識(shí)別接收到的數(shù)據(jù)的數(shù)據(jù)類型分配對(duì)應(yīng)的運(yùn)算規(guī)則，并依據(jù)運(yùn)算規(guī)則對(duì)數(shù)據(jù)進(jìn)行計(jì)算，得到特征數(shù)據(jù)；特征選擇模塊，用于通過算法從特征數(shù)據(jù)中選擇對(duì)模型性能提升作用最大的衍生指標(biāo)；模型評(píng)估模塊，用于依據(jù)衍生指標(biāo)進(jìn)行機(jī)器學(xué)習(xí)模型的訓(xùn)練，并對(duì)機(jī)器學(xué)習(xí)模型的訓(xùn)練進(jìn)行評(píng)估，得到評(píng)估結(jié)果。其優(yōu)點(diǎn)在于，提升了衍生指標(biāo)的生成速度、準(zhǔn)確性和模型性能。

技術(shù)研發(fā)人員：杜福增
受保護(hù)的技術(shù)使用者：上海旭榮網(wǎng)絡(luò)科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/11/14