本發(fā)明涉及數(shù)據(jù)平臺領域，尤其涉及一種基于人工智能的混合數(shù)據(jù)平臺。

背景技術：

1、隨著信息技術的飛速發(fā)展，數(shù)據(jù)的規(guī)模和復雜性不斷增加，傳統(tǒng)的數(shù)據(jù)處理平臺已經(jīng)難以滿足日益增長的需求，其背景技術主要包括以下幾個方面：

2、數(shù)據(jù)量的急劇增長

3、在當今數(shù)字化時代，各個領域都在不斷產(chǎn)生大量的數(shù)據(jù)，互聯(lián)網(wǎng)企業(yè)每天要處理海量的用戶行為數(shù)據(jù)、交易數(shù)據(jù)和日志數(shù)據(jù)，科研機構在進行科學研究時也會收集大量的實驗數(shù)據(jù)和觀測數(shù)據(jù)，據(jù)統(tǒng)計，全球數(shù)據(jù)總量每兩年就會翻一番，數(shù)據(jù)的增長速度遠遠超過了存儲和處理能力的提升速度。

4、數(shù)據(jù)類型的多樣性

5、數(shù)據(jù)不僅數(shù)量龐大，而且類型也越來越多樣化，除了傳統(tǒng)的結構化數(shù)據(jù)，還包括大量的半結構化數(shù)據(jù)和非結構化數(shù)據(jù)。

6、不同類型的數(shù)據(jù)需要不同的處理方法和技術，傳統(tǒng)的數(shù)據(jù)平臺往往難以有效地整合和處理這些多樣化的數(shù)據(jù)。

7、傳統(tǒng)數(shù)據(jù)平臺的局限性

8、數(shù)據(jù)存儲和處理能力有限：傳統(tǒng)的數(shù)據(jù)平臺通常采用關系型數(shù)據(jù)庫或數(shù)據(jù)倉庫來存儲數(shù)據(jù)，這些技術在處理大規(guī)模數(shù)據(jù)時存在性能瓶頸。關系型數(shù)據(jù)庫的擴展性較差，難以應對數(shù)據(jù)量的快速增長；數(shù)據(jù)倉庫雖然能夠進行大規(guī)模數(shù)據(jù)的存儲和分析，但對于非結構化數(shù)據(jù)的處理能力有限。

9、此外，傳統(tǒng)的數(shù)據(jù)平臺在處理實時數(shù)據(jù)和流數(shù)據(jù)時也存在困難，難以滿足對數(shù)據(jù)實時性要求較高的應用場景。

10、數(shù)據(jù)整合和分析困難：傳統(tǒng)的數(shù)據(jù)平臺往往只能處理單一類型的數(shù)據(jù)，難以有效地整合和分析來自不同數(shù)據(jù)源的多樣化數(shù)據(jù)，同時，傳統(tǒng)的數(shù)據(jù)平臺在進行數(shù)據(jù)分析時通常需要專業(yè)的數(shù)據(jù)分析人員進行復雜的sql查詢和編程，對于普通用戶來說門檻較高。

11、缺乏智能化分析能力：傳統(tǒng)的數(shù)據(jù)平臺主要提供數(shù)據(jù)存儲和基本的數(shù)據(jù)分析功能，缺乏智能化的分析能力。

12、因此，有必要提供一種基于人工智能的混合數(shù)據(jù)平臺解決上述技術問題。

技術實現(xiàn)思路

1、本發(fā)明提供一種基于人工智能的混合數(shù)據(jù)平臺，解決了傳統(tǒng)的混合數(shù)據(jù)平臺的數(shù)據(jù)存儲和處理能力有限和數(shù)據(jù)整合和分析困難的問題。

2、為解決上述技術問題，本發(fā)明提供的一種基于人工智能的混合數(shù)據(jù)平臺，包括：

3、混合數(shù)據(jù)平臺，所述混合數(shù)據(jù)平臺包括本體論層級模塊、邏輯層級模塊、分析層級模塊、操作層級模塊、解釋層級模塊和語言層級模塊；

4、所述本體論層級模塊用于原數(shù)據(jù)、領域知識、數(shù)據(jù)處理、算法和數(shù)據(jù)建模；

5、所述邏輯層級模塊用于數(shù)據(jù)管理；

6、所述分析層級模塊用于層級整合；

7、所述操作層級模塊用于數(shù)據(jù)收集、數(shù)據(jù)預處理、數(shù)據(jù)傳輸、數(shù)據(jù)聚合、數(shù)據(jù)儲存、數(shù)據(jù)分析和數(shù)據(jù)解釋。

8、優(yōu)選的，所述語言層級模塊用于各種本體論概念的屬性構成基于案例的語法。

9、優(yōu)選的，所述解釋層級模塊用于基于本體論、邏輯和分析層級上的因果依賴關系及其邏輯的表示，以及操作層級上數(shù)據(jù)處理結果，生成合理的解釋。

10、優(yōu)選的，所述邏輯層級模塊通過指定控制數(shù)據(jù)管理操作執(zhí)行的啟發(fā)規(guī)則，引用所述本體論層級模塊的概念和個體。

11、優(yōu)選的，所述數(shù)據(jù)預處理包括數(shù)據(jù)清洗、數(shù)據(jù)轉換、數(shù)據(jù)降維和數(shù)據(jù)集成，所述數(shù)據(jù)清洗包括處理缺失值和處理異常值，所述數(shù)據(jù)轉換包括標準化、歸一化和對數(shù)轉換，所述數(shù)據(jù)降維包括主成分分析和奇異值分解，所述數(shù)據(jù)集成包括實體識別和數(shù)據(jù)沖突解決。

12、優(yōu)選的，所述處理缺失值博包括刪除法和填充法，所述填充法通過均值填充、中位數(shù)填充和最頻繁值填充。

13、優(yōu)選的，所述處理異常值包括蓋帽法和箱線圖法，所述箱線圖法利用箱線圖來識別異常值。

14、優(yōu)選的，所述數(shù)據(jù)建模包括模型選擇、數(shù)據(jù)劃分、超參數(shù)調(diào)整、模型集成和正規(guī)化，所述模型選擇包括考慮問題類型和評估模型性能，所述數(shù)據(jù)劃分包括訓練、驗證和測試集與交叉驗證，所述超參數(shù)調(diào)整包括網(wǎng)格搜索、隨機搜索和貝葉斯優(yōu)化。

15、優(yōu)選的，所述考慮問題類型包括分類問題、回歸問題和聚類問題。

16、優(yōu)選的，所述回歸問題用于對預測連續(xù)數(shù)值的任務。

17、與相關技術相比較，本發(fā)明提供的一種基于人工智能的混合數(shù)據(jù)平臺具有如下有益效果：

18、本發(fā)明提供一種基于人工智能的混合數(shù)據(jù)平臺，

19、原數(shù)據(jù)方面：確保了數(shù)據(jù)的源頭可靠性，為后續(xù)的數(shù)據(jù)處理和分析提供了最基礎的素材，可以從不同的渠道收集各種類型的原始數(shù)據(jù)，豐富了數(shù)據(jù)的多樣性，為更全面的分析和建模提供了可能；

20、領域知識方面：引入領域知識可以為數(shù)據(jù)處理和建模提供專業(yè)的指導，例如在醫(yī)療領域，醫(yī)生的專業(yè)知識可以幫助平臺更好地理解醫(yī)學數(shù)據(jù)的含義和價值，提高疾病診斷和治療方案推薦的準確性；

21、數(shù)據(jù)處理方面：明確了數(shù)據(jù)處理的方向和方法，通過整合各種數(shù)據(jù)處理技術，如清洗、轉換、歸一化等，可以提高數(shù)據(jù)的質(zhì)量和可用性；

22、算法和數(shù)據(jù)建模方面：提供了豐富的算法選擇和建模方法，能夠根據(jù)不同的問題和數(shù)據(jù)特點選擇最合適的算法和模型，提高模型的準確性和泛化能力；

23、數(shù)據(jù)管理方面：實現(xiàn)了對數(shù)據(jù)的高效組織和管理，包括數(shù)據(jù)的存儲、檢索、更新等，可以確保數(shù)據(jù)的安全性和完整性，防止數(shù)據(jù)丟失和損壞；

24、層級整合方面：有效地整合了不同層級的數(shù)據(jù)和信息，實現(xiàn)了從原始數(shù)據(jù)到最終分析結果的無縫連接，可以避免數(shù)據(jù)在不同層級之間的傳遞和轉換過程中的損失和錯誤，提高數(shù)據(jù)的一致性和準確性；

25、數(shù)據(jù)收集方面：能夠從多種數(shù)據(jù)源收集數(shù)據(jù)，包括傳感器、數(shù)據(jù)庫、文件系統(tǒng)、網(wǎng)絡等，豐富了數(shù)據(jù)的來源和類型，可以實時或定期收集數(shù)據(jù)，確保數(shù)據(jù)的及時性和新鮮度；

26、數(shù)據(jù)預處理方面：通過數(shù)據(jù)清洗、轉換、歸一化等處理，可以去除數(shù)據(jù)中的噪聲和異常值，提高數(shù)據(jù)的質(zhì)量和可用性，可以將不同格式的數(shù)據(jù)轉換為統(tǒng)一的格式，方便后續(xù)的分析和處理；

27、數(shù)據(jù)傳輸方面：確保了數(shù)據(jù)在不同模塊和系統(tǒng)之間的快速、安全傳輸，可以采用加密技術和數(shù)據(jù)壓縮技術，提高數(shù)據(jù)傳輸?shù)男屎桶踩裕?/p>

28、數(shù)據(jù)聚合方面：將分散的數(shù)據(jù)進行整合和匯總，形成更有價值的信息，可以通過數(shù)據(jù)融合、關聯(lián)分析等技術，發(fā)現(xiàn)數(shù)據(jù)之間的潛在關系和規(guī)律；

29、數(shù)據(jù)儲存方面：提供了可靠的數(shù)據(jù)存儲解決方案，包括分布式存儲、云存儲等，可以確保數(shù)據(jù)的安全性和持久性，防止數(shù)據(jù)丟失和損壞；

30、數(shù)據(jù)分析方面：利用各種數(shù)據(jù)分析技術，如統(tǒng)計分析、機器學習、深度學習等，從數(shù)據(jù)中提取有價值的信息和知識，可以發(fā)現(xiàn)數(shù)據(jù)中的潛在模式和趨勢，為決策提供支持；

31、數(shù)據(jù)解釋方面：對數(shù)據(jù)分析結果進行解釋和說明，使得用戶能夠理解數(shù)據(jù)的含義和價值，可以幫助用戶更好地利用數(shù)據(jù)分析結果進行決策，提高決策的科學性和合理性。

技術特征：

1.一種基于人工智能的混合數(shù)據(jù)平臺，其特征在于，包括：

2.根據(jù)權利要求1所述的基于人工智能的混合數(shù)據(jù)平臺，其特征在于，所述語言層級模塊用于各種本體論概念的屬性構成基于案例的語法。

3.根據(jù)權利要求1所述的基于人工智能的混合數(shù)據(jù)平臺，其特征在于，所述解釋層級模塊用于基于本體論、邏輯和分析層級上的因果依賴關系及其邏輯的表示，以及操作層級上數(shù)據(jù)處理結果，生成合理的解釋。

4.根據(jù)權利要求1所述的基于人工智能的混合數(shù)據(jù)平臺，其特征在于，所述邏輯層級模塊通過指定控制數(shù)據(jù)管理操作執(zhí)行的啟發(fā)規(guī)則，引用所述本體論層級模塊的概念和個體。

5.根據(jù)權利要求1所述的基于人工智能的混合數(shù)據(jù)平臺，其特征在于，所述數(shù)據(jù)預處理包括數(shù)據(jù)清洗、數(shù)據(jù)轉換、數(shù)據(jù)降維和數(shù)據(jù)集成，所述數(shù)據(jù)清洗包括處理缺失值和處理異常值，所述數(shù)據(jù)轉換包括標準化、歸一化和對數(shù)轉換，所述數(shù)據(jù)降維包括主成分分析和奇異值分解，所述數(shù)據(jù)集成包括實體識別和數(shù)據(jù)沖突解決。

6.根據(jù)權利要求5所述的基于人工智能的混合數(shù)據(jù)平臺，其特征在于，所述處理缺失值博包括刪除法和填充法，所述填充法通過均值填充、中位數(shù)填充和最頻繁值填充。

7.根據(jù)權利要求5所述的基于人工智能的混合數(shù)據(jù)平臺，其特征在于，所述處理異常值包括蓋帽法和箱線圖法，所述箱線圖法利用箱線圖來識別異常值。

8.根據(jù)權利要求1所述的基于人工智能的混合數(shù)據(jù)平臺，其特征在于，所述數(shù)據(jù)建模包括模型選擇、數(shù)據(jù)劃分、超參數(shù)調(diào)整、模型集成和正規(guī)化，所述模型選擇包括考慮問題類型和評估模型性能，所述數(shù)據(jù)劃分包括訓練、驗證和測試集與交叉驗證，所述超參數(shù)調(diào)整包括網(wǎng)格搜索、隨機搜索和貝葉斯優(yōu)化。

9.根據(jù)權利要求8所述的基于人工智能的混合數(shù)據(jù)平臺，其特征在于，所述考慮問題類型包括分類問題、回歸問題和聚類問題。

10.根據(jù)權利要求9所述的基于人工智能的混合數(shù)據(jù)平臺，其特征在于，所述回歸問題用于對預測連續(xù)數(shù)值的任務。

技術總結
本發(fā)明提供一種基于人工智能的混合數(shù)據(jù)平臺，包括：混合數(shù)據(jù)平臺，混合數(shù)據(jù)平臺包括本體論層級模塊、邏輯層級模塊、分析層級模塊、操作層級模塊、解釋層級模塊和語言層級模塊；本體論層級模塊用于原數(shù)據(jù)、領域知識、數(shù)據(jù)處理、算法和數(shù)據(jù)建模；邏輯層級模塊用于數(shù)據(jù)管理；分析層級模塊用于層級整合；操作層級模塊用于數(shù)據(jù)收集、數(shù)據(jù)預處理、數(shù)據(jù)傳輸、數(shù)據(jù)聚合、數(shù)據(jù)儲存、數(shù)據(jù)分析和數(shù)據(jù)解釋。本發(fā)明提供的一種基于人工智能的混合數(shù)據(jù)平臺，原數(shù)據(jù)方面：確保了數(shù)據(jù)的源頭可靠性，為后續(xù)的數(shù)據(jù)處理和分析提供了最基礎的素材，可以從不同的渠道收集各種類型的原始數(shù)據(jù)，豐富了數(shù)據(jù)的多樣性，為更全面的分析和建模提供了可能。

技術研發(fā)人員：陳日明,戴家強
受保護的技術使用者：戴家強
技術研發(fā)日：
技術公布日：2024/12/26