本發(fā)明屬于人工智能領(lǐng)域，具體涉及一種基于低代碼的多模態(tài)大模型構(gòu)建方法。

背景技術(shù)：

1、目前主流的低代碼大模型平臺(tái)主要依靠開源社區(qū)及開源平臺(tái)，這些開源平臺(tái)和項(xiàng)目為開發(fā)者提供了靈活的工具和框架，使他們能夠更輕松地利用大型語(yǔ)言模型的能力，構(gòu)建各種應(yīng)用程序。盡管這些平臺(tái)各有側(cè)重，但它們共同促進(jìn)了大模型在低代碼環(huán)境中的應(yīng)用和普及。

2、hugging?face提供了一個(gè)強(qiáng)大的開源庫(kù)，用于處理自然語(yǔ)言處理（nlp）任務(wù)。雖然其本身不是一個(gè)低代碼平臺(tái)，但hugging?face通過簡(jiǎn)單api和豐富的預(yù)訓(xùn)練模型庫(kù)使得開發(fā)者能夠輕松集成和使用大語(yǔ)言模型。結(jié)合一些低代碼工具，可以大大簡(jiǎn)化nlp模型的開發(fā)和部署。lobe是由微軟支持的一個(gè)開源項(xiàng)目，旨在通過簡(jiǎn)單的拖放界面幫助用戶訓(xùn)練機(jī)器學(xué)習(xí)模型。雖然目前主要支持圖像分類，但其低代碼的開發(fā)理念和界面設(shè)計(jì)為未來可能擴(kuò)展到大模型的應(yīng)用提供了基礎(chǔ)。haystack一個(gè)用于構(gòu)建問答系統(tǒng)的開源框架，支持使用大語(yǔ)言模型（如bert、roberta等）來處理自然語(yǔ)言查詢。它提供了簡(jiǎn)化的接口和工具，使開發(fā)者能夠快速構(gòu)建和部署基于大模型的問答系統(tǒng)。

3、傳統(tǒng)多模態(tài)大模型雖然在實(shí)踐中取得了很大的成功，通常在處理非結(jié)構(gòu)化數(shù)據(jù)（如圖像、文本、語(yǔ)音）時(shí)表現(xiàn)優(yōu)異，但在結(jié)構(gòu)化數(shù)據(jù)（如表格數(shù)據(jù)）上的表現(xiàn)不如專門設(shè)計(jì)用于處理結(jié)構(gòu)化數(shù)據(jù)的模型。這就限制了在需要同時(shí)處理結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用場(chǎng)景中的效果。結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)往往需要不同的特征表示方法，多模態(tài)模型需要能夠有效地整合不同數(shù)據(jù)類型的特征表示，以提高其在多模態(tài)任務(wù)中的性能。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明目的是提供了一種基于低代碼的多模態(tài)大模型構(gòu)建方法，提高了多模態(tài)大模型對(duì)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的處理性能。

2、本發(fā)明為實(shí)現(xiàn)上述目的，通過以下技術(shù)方案實(shí)現(xiàn)：

3、第一方面，一種基于低代碼的多模態(tài)大模型構(gòu)建方法，包括以下步驟：

4、s1：獲取多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；

5、s2：構(gòu)建結(jié)構(gòu)化數(shù)據(jù)處理模塊，所述結(jié)構(gòu)化數(shù)據(jù)處理模塊包括表合并模塊、模型流程構(gòu)建模塊和結(jié)構(gòu)化數(shù)據(jù)對(duì)齊模塊，所述結(jié)構(gòu)化數(shù)據(jù)經(jīng)過表合并模塊進(jìn)行表合并操作，得到特征寬表，所述特征寬表經(jīng)過模型流程構(gòu)建模塊，得到所述特征寬表的決策結(jié)果，將所述決策結(jié)果連同所述特征寬表中的特征屬性一起輸入到結(jié)構(gòu)化數(shù)據(jù)對(duì)齊模塊，得到對(duì)齊的結(jié)構(gòu)化數(shù)據(jù)；

6、s3：構(gòu)建非結(jié)構(gòu)化數(shù)據(jù)處理模塊，所述非結(jié)構(gòu)化數(shù)據(jù)處理模塊包括目標(biāo)檢測(cè)模塊和非結(jié)構(gòu)化數(shù)據(jù)對(duì)齊模塊，所述非結(jié)構(gòu)化數(shù)據(jù)經(jīng)過目標(biāo)檢測(cè)模塊進(jìn)行特征提取，得到所述非結(jié)構(gòu)化數(shù)據(jù)的特征表示，將所述特征表示輸入到非結(jié)構(gòu)化數(shù)據(jù)對(duì)齊模塊，得到對(duì)齊的非結(jié)構(gòu)化數(shù)據(jù)；

7、s4：將所述對(duì)齊的結(jié)構(gòu)化數(shù)據(jù)和對(duì)齊的非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用到底座大模型中，完成多模態(tài)大模型的構(gòu)建。

8、進(jìn)一步地，所述步驟s1中結(jié)構(gòu)化數(shù)據(jù)為數(shù)據(jù)表，非結(jié)構(gòu)化數(shù)據(jù)為圖片。

9、進(jìn)一步地，所述步驟s2中的表合并模塊，采用pyspark表合并技術(shù)，將pyspark作為低代碼平臺(tái)的可視化算子，對(duì)該算子進(jìn)行基于sql的可視化編輯，完成表合并操作，得到特征寬表，具體包括：

10、pyspark可視化：采用pyspark算子可視化技術(shù)對(duì)所述結(jié)構(gòu)化數(shù)據(jù)進(jìn)行預(yù)處理，pyspark算子提供統(tǒng)一的dataframe?api接口，實(shí)現(xiàn)表合并操作，通過可視化sql與pyspark將多個(gè)表組成新的結(jié)構(gòu)化數(shù)據(jù)表格，即特征寬表；

11、所述pyspark算子的過程實(shí)現(xiàn)中，采用union操作進(jìn)行表合并，union操作用于將兩個(gè)或多個(gè)數(shù)據(jù)集合并為一個(gè)新的數(shù)據(jù)集，所述數(shù)據(jù)集為rdd、dataframe形式。

12、進(jìn)一步地，所述步驟s2中的模型流程構(gòu)建模塊具體包括：通過自動(dòng)化特征工程的方式來構(gòu)建automl的流程，所述自動(dòng)化特征工程包括自動(dòng)化特征組合算子，所述自動(dòng)化特征組合算子用于對(duì)所述特征寬表進(jìn)行特征組合分析，生成基于組合方法產(chǎn)生的特征，并評(píng)估所述產(chǎn)生的特征的重要性,最終得到所述特征寬表的決策結(jié)果。

13、進(jìn)一步地，所述基于組合方法為combine函數(shù)，所述自動(dòng)化特征組合算子使用分桶技術(shù)。

14、進(jìn)一步地，所述步驟s2中的結(jié)構(gòu)化數(shù)據(jù)對(duì)齊模塊，采用nl2sql技術(shù)將結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域下的自然語(yǔ)言轉(zhuǎn)化為關(guān)系型數(shù)據(jù)庫(kù)中的可執(zhí)行的結(jié)構(gòu)化查詢語(yǔ)言，得到對(duì)齊的結(jié)構(gòu)化數(shù)據(jù)。

15、進(jìn)一步地，所述步驟s3中的目標(biāo)檢測(cè)模塊，采用預(yù)訓(xùn)練的swin?transformer對(duì)所述非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行特征提取得到所述特征表示，所述非結(jié)構(gòu)化數(shù)據(jù)對(duì)齊模塊采用clip模型對(duì)所述特征表示中文本特征和圖像特征進(jìn)行對(duì)齊，得到對(duì)齊的非結(jié)構(gòu)化數(shù)據(jù)。

16、進(jìn)一步地，所述預(yù)訓(xùn)練的swin?transformer采用公開的coco數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。

17、第二方面，一種用于基于低代碼的多模態(tài)大模型構(gòu)建的裝置，包括：

18、數(shù)據(jù)獲取單元：用于獲取多模態(tài)數(shù)據(jù)；

19、第一構(gòu)建單元：用于構(gòu)建結(jié)構(gòu)化數(shù)據(jù)處理模塊，所述結(jié)構(gòu)化數(shù)據(jù)處理模塊包括表合并模塊、模型流程構(gòu)建模塊和結(jié)構(gòu)化數(shù)據(jù)對(duì)齊模塊，所述結(jié)構(gòu)化數(shù)據(jù)經(jīng)過表合并模塊進(jìn)行表合并操作，得到特征寬表，所述特征寬表經(jīng)過模型流程構(gòu)建模塊，得到所述特征寬表的決策結(jié)果，將所述決策結(jié)果連同所述特征寬表中的特征屬性一起輸入到結(jié)構(gòu)化數(shù)據(jù)對(duì)齊模塊，得到對(duì)齊的結(jié)構(gòu)化數(shù)據(jù)；

20、第二構(gòu)建單元：用于構(gòu)建非結(jié)構(gòu)化數(shù)據(jù)處理模塊，所述非結(jié)構(gòu)化數(shù)據(jù)處理模塊包括目標(biāo)檢測(cè)模塊和非結(jié)構(gòu)化數(shù)據(jù)對(duì)齊模塊，所述非結(jié)構(gòu)化數(shù)據(jù)經(jīng)過目標(biāo)檢測(cè)模塊進(jìn)行特征提取，得到所述非結(jié)構(gòu)化數(shù)據(jù)的特征表示，將所述特征表示輸入到非結(jié)構(gòu)化數(shù)據(jù)對(duì)齊模塊，得到對(duì)齊的非結(jié)構(gòu)化數(shù)據(jù)；

21、第三構(gòu)建單元：用于將所述對(duì)齊的結(jié)構(gòu)化數(shù)據(jù)和對(duì)齊的非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用到底座大模型中，完成多模態(tài)大模型的構(gòu)建。

22、第三方面，一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)第一方面所述基于低代碼的多模態(tài)大模型構(gòu)建方法的步驟。

23、第四方面，一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)第一方面所述基于低代碼的多模態(tài)大模型構(gòu)建方法的步驟。

24、本發(fā)明的效果在于：通過構(gòu)建結(jié)構(gòu)化數(shù)據(jù)處理模塊和非結(jié)構(gòu)化數(shù)據(jù)處理模塊，將pyspark表合并技術(shù)、automl和nl2sql整合在結(jié)構(gòu)化數(shù)據(jù)處理模塊中，實(shí)現(xiàn)了結(jié)構(gòu)化數(shù)據(jù)對(duì)齊，將swin?transformer和clip模型整合在非結(jié)構(gòu)化數(shù)據(jù)處理模塊中，實(shí)現(xiàn)了非結(jié)構(gòu)化數(shù)據(jù)的對(duì)齊，提高了多模態(tài)大模型在多模態(tài)任務(wù)中的性能。

技術(shù)特征：

1.一種基于低代碼的多模態(tài)大模型構(gòu)建方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述基于低代碼的多模態(tài)大模型構(gòu)建方法，其特征在于，所述步驟s1中結(jié)構(gòu)化數(shù)據(jù)為數(shù)據(jù)表，非結(jié)構(gòu)化數(shù)據(jù)為圖片。

3.根據(jù)權(quán)利要求1所述基于低代碼的多模態(tài)大模型構(gòu)建方法，其特征在于，所述步驟s2中的表合并模塊，采用pyspark表合并技術(shù)，將pyspark作為低代碼平臺(tái)的可視化算子，對(duì)該算子進(jìn)行基于sql的可視化編輯，完成表合并操作，得到特征寬表，具體包括：

4.根據(jù)權(quán)利要求1所述基于低代碼的多模態(tài)大模型構(gòu)建方法，其特征在于，所述步驟s2中的模型流程構(gòu)建模塊具體包括：

5.根據(jù)權(quán)利要求1所述基于低代碼的多模態(tài)大模型構(gòu)建方法，其特征在于，所述步驟s2中的結(jié)構(gòu)化數(shù)據(jù)對(duì)齊模塊，采用nl2sql技術(shù)將結(jié)構(gòu)化數(shù)據(jù)領(lǐng)域下的自然語(yǔ)言轉(zhuǎn)化為關(guān)系型數(shù)據(jù)庫(kù)中的可執(zhí)行的結(jié)構(gòu)化查詢語(yǔ)言，得到對(duì)齊的結(jié)構(gòu)化數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述基于低代碼的多模態(tài)大模型構(gòu)建方法，其特征在于，所述步驟s3中的目標(biāo)檢測(cè)模塊，采用預(yù)訓(xùn)練的swin?transformer對(duì)所述非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行特征提取得到所述特征表示，所述非結(jié)構(gòu)化數(shù)據(jù)對(duì)齊模塊采用clip模型對(duì)所述特征表示中文本特征和圖像特征進(jìn)行對(duì)齊，得到對(duì)齊的非結(jié)構(gòu)化數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述基于低代碼的多模態(tài)大模型構(gòu)建方法，其特征在于，所述預(yù)訓(xùn)練的swin?transformer采用公開的coco數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練。

8.一種用于基于低代碼的多模態(tài)大模型構(gòu)建的裝置，其特征在于，包括：

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述基于低代碼的多模態(tài)大模型構(gòu)建方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述基于低代碼的多模態(tài)大模型構(gòu)建方法的步驟。

技術(shù)總結(jié)
本發(fā)明涉及一種基于低代碼的多模態(tài)大模型構(gòu)建方法，屬于人工智能領(lǐng)域。其包括以下步驟：S1：獲取多模態(tài)數(shù)據(jù)，所述多模態(tài)數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)；S2：構(gòu)建結(jié)構(gòu)化數(shù)據(jù)處理模塊，所述結(jié)構(gòu)化數(shù)據(jù)經(jīng)過結(jié)構(gòu)化數(shù)據(jù)處理模塊，得到對(duì)齊的結(jié)構(gòu)化數(shù)據(jù)；S3：構(gòu)建非結(jié)構(gòu)化數(shù)據(jù)處理模塊，所述非結(jié)構(gòu)化數(shù)據(jù)經(jīng)過非結(jié)構(gòu)化數(shù)據(jù)處理模塊，得到對(duì)齊的非結(jié)構(gòu)化數(shù)據(jù)；S4：將所述對(duì)齊的結(jié)構(gòu)化數(shù)據(jù)和對(duì)齊的非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用到底座大模型中。本發(fā)明通過將PySpark表合并技術(shù)、AutoML和NL2SQL整合在結(jié)構(gòu)化數(shù)據(jù)處理模塊中，實(shí)現(xiàn)了結(jié)構(gòu)化數(shù)據(jù)的對(duì)齊，將Swin?Transformer和CLIP模型整合在非結(jié)構(gòu)化數(shù)據(jù)處理模塊中，實(shí)現(xiàn)了非結(jié)構(gòu)化數(shù)據(jù)的對(duì)齊，提高了多模態(tài)大模型在多模態(tài)任務(wù)中的性能。

技術(shù)研發(fā)人員：王安煒,王濤,劉志杰,展春蕾,武彬,張超,呂京元,韓冰
受保護(hù)的技術(shù)使用者：山東捷構(gòu)信息科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19