本發(fā)明屬于數(shù)據(jù)處理，具體涉及一種基于多源數(shù)據(jù)整合的數(shù)據(jù)開發(fā)方法及平臺。

背景技術(shù)：

1、隨著信息技術(shù)的快速發(fā)展和互聯(lián)網(wǎng)的普及，各行各業(yè)積累了海量的多源數(shù)據(jù)。這些數(shù)據(jù)來源廣泛，異構(gòu)性強(qiáng)，涵蓋了結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)。例如，傳感器數(shù)據(jù)、社交媒體數(shù)據(jù)、地理空間數(shù)據(jù)和商務(wù)交易數(shù)據(jù)。這些數(shù)據(jù)在格式、結(jié)構(gòu)、語義等方面存在顯著差異，導(dǎo)致數(shù)據(jù)整合和處理變得復(fù)雜而具有挑戰(zhàn)性。

2、在面對如此龐大的多源異構(gòu)數(shù)據(jù)時，傳統(tǒng)的數(shù)據(jù)處理和分析方法已經(jīng)顯得力不從心，傳統(tǒng)數(shù)據(jù)處理和分析方法為基于結(jié)構(gòu)化數(shù)據(jù)的處理技術(shù)，例如，關(guān)系數(shù)據(jù)庫管理系統(tǒng)（rdbms）、數(shù)據(jù)倉庫和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)。傳統(tǒng)數(shù)據(jù)處理和分析方法依賴于固定的數(shù)據(jù)模型和嚴(yán)格的數(shù)據(jù)結(jié)構(gòu)，適用于處理結(jié)構(gòu)化數(shù)據(jù)，如表格形式的數(shù)據(jù)。然而，面對多源異構(gòu)數(shù)據(jù)（包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)），傳統(tǒng)方法在數(shù)據(jù)整合、處理和分析方面存在顯著的局限性。這包括無法有效處理數(shù)據(jù)來源的多樣性、格式的差異、以及跨域協(xié)同分析的需求。因此，傳統(tǒng)的數(shù)據(jù)處理和分析方法在應(yīng)對多源異構(gòu)數(shù)據(jù)的整合和處理時，無法實(shí)現(xiàn)采集數(shù)據(jù)的跨域協(xié)同分析，導(dǎo)致所采集的多源異構(gòu)數(shù)據(jù)整合困難，不利于任務(wù)調(diào)度和數(shù)據(jù)分析。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述問題，本發(fā)明提供了一種基于多源數(shù)據(jù)整合的數(shù)據(jù)開發(fā)方法及平臺，旨在通過創(chuàng)新性的步驟和算法，實(shí)現(xiàn)數(shù)據(jù)的高效整合、處理、分析和應(yīng)用，提升數(shù)據(jù)開發(fā)和利用的整體水平，為用戶提供了強(qiáng)有力的決策支持和風(fēng)險管理工具。

2、本發(fā)明所述的一種基于多源數(shù)據(jù)整合的數(shù)據(jù)開發(fā)方法，包括以下步驟：

3、s10、收集多源異構(gòu)數(shù)據(jù)并進(jìn)行預(yù)處理，得到多源初始數(shù)據(jù)；

4、s20、基于統(tǒng)一的標(biāo)識符和數(shù)據(jù)模型，對多源初始數(shù)據(jù)進(jìn)行多模態(tài)整合，并從多模態(tài)整合的多源初始數(shù)據(jù)中提取不同數(shù)據(jù)源的初始特征，形成初步特征集；

5、s30、根據(jù)收集的多源異構(gòu)數(shù)據(jù)以及對應(yīng)的初步特征集建立事件樹，其中，定義事件樹中的各個節(jié)點(diǎn)表征不同類型的數(shù)據(jù)特征，并分析事件樹中的路徑；

6、s40、消除事件樹中的冗余節(jié)點(diǎn)和路徑，識別事件樹中的目標(biāo)路徑和節(jié)點(diǎn)，得到優(yōu)化后的事件樹；

7、s50、基于優(yōu)化后的事件樹對實(shí)時采集的多源數(shù)據(jù)進(jìn)行挖掘，根據(jù)建立的風(fēng)險評估模型對實(shí)時采集的多源數(shù)據(jù)分析，將得到風(fēng)險預(yù)測結(jié)果實(shí)際的風(fēng)險事件進(jìn)行對比分析，通過用戶接口進(jìn)行數(shù)據(jù)訪問和操作。

8、作為本發(fā)明的進(jìn)一步方案，s10具體為：

9、根據(jù)確定的數(shù)據(jù)源收集多源異構(gòu)數(shù)據(jù)；

10、將數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)正態(tài)分布，并換為統(tǒng)一時間格式；

11、按時間格式合并收集的多源異構(gòu)數(shù)據(jù)，組織成統(tǒng)一的初始數(shù)據(jù)集。

12、作為本發(fā)明的進(jìn)一步方案，s20中，對多源初始數(shù)據(jù)進(jìn)行多模態(tài)整合，包括以下步驟：

13、根據(jù)初始數(shù)據(jù)集的時間格式確定唯一標(biāo)識每個實(shí)體的標(biāo)識符，其中，該標(biāo)識符包括id和時間戳；

14、根據(jù)構(gòu)建的統(tǒng)一數(shù)據(jù)模型將初始數(shù)據(jù)集的統(tǒng)一標(biāo)識符進(jìn)行對齊，根據(jù)數(shù)據(jù)取平均的融合規(guī)則對沖突數(shù)據(jù)進(jìn)行權(quán)重計(jì)算；

15、將對齊后的數(shù)據(jù)按照統(tǒng)一數(shù)據(jù)模型進(jìn)行整合，使用數(shù)據(jù)取平均的融合規(guī)則剔除沖突數(shù)據(jù)，生成整合后的數(shù)據(jù)集。

16、作為本發(fā)明的進(jìn)一步方案，根據(jù)數(shù)據(jù)取平均的融合規(guī)則對沖突數(shù)據(jù)進(jìn)行權(quán)重計(jì)時，包括以下步驟：

17、遍歷所有數(shù)據(jù)記錄，根據(jù)每個實(shí)體的標(biāo)識符，將具有相同標(biāo)識符但不同值的記錄標(biāo)記為沖突數(shù)據(jù)；

18、基于數(shù)據(jù)源的可信度為每個數(shù)據(jù)源分配一個初始權(quán)重，使用加權(quán)平均處理沖突數(shù)據(jù)，相同標(biāo)識符的沖突數(shù)據(jù)，計(jì)算加權(quán)平均值；

19、使用滑動窗口根據(jù)數(shù)據(jù)源的歷史表現(xiàn)調(diào)整權(quán)重；其中，加權(quán)平均值為：

20、，

21、式中，為加權(quán)平均后的數(shù)據(jù)值，為第個數(shù)據(jù)源的值，為數(shù)據(jù)源的對應(yīng)的數(shù)據(jù)源權(quán)重，為數(shù)據(jù)源的數(shù)量；其中，各個數(shù)據(jù)源的權(quán)重加和為1，即：。

22、作為本發(fā)明的進(jìn)一步方案，s20中，從多模態(tài)整合的多源初始數(shù)據(jù)中提取不同數(shù)據(jù)源的初始特征，形成初步特征集，包括以下步驟：

23、從整合后的數(shù)據(jù)集中提取時間特征、統(tǒng)計(jì)特征和頻域特征；

24、將提取的時間特征、統(tǒng)計(jì)特征和頻域特征進(jìn)行特征變換，將特征值轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布，將不同數(shù)據(jù)源提取的特征進(jìn)行拼接，形成初步特征集。

25、作為本發(fā)明的進(jìn)一步方案，將提取的時間特征、統(tǒng)計(jì)特征和頻域特征進(jìn)行特征變換時，包括：

26、將特征值轉(zhuǎn)換為標(biāo)準(zhǔn)正態(tài)分布；

27、不同數(shù)據(jù)源提取的特征按統(tǒng)一順序拼接成一個長的特征向量；

28、其中，個數(shù)據(jù)源，各自提取的特征向量每個為，則拼接后的特征向量為：

29、，

30、式中，為拼接后的完整特征向量，為數(shù)據(jù)源提取的特征向量；

31、其中，每個特征進(jìn)行特征變換時：

32、，

33、式中，為特征的均值，為特征的標(biāo)準(zhǔn)差，為標(biāo)準(zhǔn)化后的特征值，轉(zhuǎn)化為標(biāo)準(zhǔn)正態(tài)分布，其中，均值為0，標(biāo)準(zhǔn)差為1。

34、作為本發(fā)明的進(jìn)一步方案，s30具體為：

35、根據(jù)多源異構(gòu)數(shù)據(jù)以及提取的初步特征集定義事件樹的根節(jié)點(diǎn)、分支和節(jié)點(diǎn)；

36、從根節(jié)點(diǎn)開始，逐層增加節(jié)點(diǎn)，定義節(jié)點(diǎn)之間的條件關(guān)系和轉(zhuǎn)移規(guī)則，建立節(jié)點(diǎn)之間的關(guān)系；

37、定義事件樹中分類特征節(jié)點(diǎn)、連續(xù)特征節(jié)點(diǎn)、時間特征節(jié)點(diǎn)和空間特征節(jié)點(diǎn)的數(shù)據(jù)特征，分析確定事件樹中從根節(jié)點(diǎn)到葉節(jié)點(diǎn)的路徑，構(gòu)建形成事件樹。

38、作為本發(fā)明的進(jìn)一步方案，s40具體為：

39、通過分析節(jié)點(diǎn)和路徑的頻次、特征相似性、以及路徑貢獻(xiàn)度，識別冗余節(jié)點(diǎn)和路徑；

40、通過特征聚類對重復(fù)的節(jié)點(diǎn)進(jìn)行合并，通過最短路徑保留關(guān)鍵路徑；

41、根據(jù)gini系數(shù)進(jìn)行篩選，識別目標(biāo)路徑和節(jié)點(diǎn)；

42、將冗余節(jié)點(diǎn)和路徑移除后，重新構(gòu)建優(yōu)化后的事件樹。

43、作為本發(fā)明的進(jìn)一步方案，根據(jù)gini系數(shù)進(jìn)行篩選時，通過gini系數(shù)計(jì)算路徑，其中：

44、，

45、式中，為路徑的gini系數(shù)，為路徑中第個類別的概率。

46、作為本發(fā)明的進(jìn)一步方案，根據(jù)建立的風(fēng)險評估模型對實(shí)時采集的多源數(shù)據(jù)分析，基于優(yōu)化后的事件樹，應(yīng)用預(yù)先建立的風(fēng)險評估模型對實(shí)時數(shù)據(jù)進(jìn)行分析，得出風(fēng)險評分和風(fēng)險等級，其中，風(fēng)險評分計(jì)算公式為：

47、，

48、式中，為特征的權(quán)重，基于模型訓(xùn)練確定；實(shí)際風(fēng)險事件獲取時，收集實(shí)際發(fā)生的風(fēng)險事件數(shù)據(jù)，作為對比分析的數(shù)據(jù)源，通過統(tǒng)計(jì)分析對比預(yù)測結(jié)果與實(shí)際風(fēng)險事件進(jìn)行對比分析，優(yōu)化風(fēng)險評估模型。

49、本發(fā)明還提供了一種基于多源數(shù)據(jù)整合的數(shù)據(jù)開發(fā)平臺，用于實(shí)現(xiàn)上述方法，所述平臺包括：

50、數(shù)據(jù)收集模塊：用于收集來自不同來源的多源異構(gòu)數(shù)據(jù)，并對這些數(shù)據(jù)進(jìn)行預(yù)處理，以形成多源初始數(shù)據(jù)；

51、數(shù)據(jù)整合模塊：基于統(tǒng)一的標(biāo)識符和數(shù)據(jù)模型，對預(yù)處理后的多源初始數(shù)據(jù)進(jìn)行多模態(tài)整合，并從中提取出不同數(shù)據(jù)源的初始特征，形成初步特征集；

52、事件樹構(gòu)建模塊：根據(jù)收集的多源異構(gòu)數(shù)據(jù)及其初步特征集，構(gòu)建事件樹，事件樹中的各節(jié)點(diǎn)表征不同類型的數(shù)據(jù)特征，用于分析事件樹中的路徑；

53、事件樹優(yōu)化模塊：用于消除事件樹中的冗余節(jié)點(diǎn)和路徑，識別目標(biāo)路徑和節(jié)點(diǎn)，從而得到優(yōu)化后的事件樹；

54、實(shí)時數(shù)據(jù)挖掘模塊：基于優(yōu)化后的事件樹，對實(shí)時采集的多源數(shù)據(jù)進(jìn)行挖掘，分析這些數(shù)據(jù)并通過風(fēng)險評估模型進(jìn)行風(fēng)險預(yù)測；

55、風(fēng)險評估模塊：用于對實(shí)時采集的多源數(shù)據(jù)進(jìn)行分析，通過建立的風(fēng)險評估模型進(jìn)行風(fēng)險預(yù)測，并將預(yù)測結(jié)果與實(shí)際的風(fēng)險事件進(jìn)行對比分析；

56、用戶接口模塊：提供用戶接口，用于數(shù)據(jù)訪問和操作，使用戶能夠查看和操作數(shù)據(jù)分析結(jié)果；

57、數(shù)據(jù)存儲模塊：用于存儲多源異構(gòu)數(shù)據(jù)、初步特征集、事件樹及優(yōu)化后的事件樹、實(shí)時采集的數(shù)據(jù)、風(fēng)險評估模型和分析結(jié)果。

58、本發(fā)明的數(shù)據(jù)開發(fā)平臺通過整合多源異構(gòu)數(shù)據(jù)，利用事件樹進(jìn)行數(shù)據(jù)分析和風(fēng)險評估，提供實(shí)時的數(shù)據(jù)挖掘和用戶交互功能，提升了數(shù)據(jù)分析的準(zhǔn)確性和效率。

59、與現(xiàn)有技術(shù)相比較而言，本發(fā)明提出的一種基于多源數(shù)據(jù)整合的數(shù)據(jù)開發(fā)方法及平臺，具有以下有益效果：

60、1.數(shù)據(jù)整合與處理效率高：通過收集多源異構(gòu)數(shù)據(jù)并進(jìn)行預(yù)處理，形成多源初始數(shù)據(jù)，利用統(tǒng)一的標(biāo)識符和數(shù)據(jù)模型，實(shí)現(xiàn)了多模態(tài)數(shù)據(jù)的高效整合，不僅提高了數(shù)據(jù)處理的效率，還確保了數(shù)據(jù)的一致性和完整性；

61、2.特征提取精準(zhǔn)：從多源初始數(shù)據(jù)中提取不同數(shù)據(jù)源的初始特征，形成初步特征集，使得數(shù)據(jù)分析過程中能夠聚焦于關(guān)鍵特征，減少了無關(guān)數(shù)據(jù)的干擾，提高了特征提取的精準(zhǔn)度；

62、3.事件樹分析直觀：通過構(gòu)建事件樹，將不同類型的數(shù)據(jù)特征以節(jié)點(diǎn)的形式進(jìn)行表征，并分析事件樹中的路徑，使得數(shù)據(jù)分析過程更加直觀；事件樹清晰地展示了各數(shù)據(jù)特征之間的關(guān)系和影響路徑，便于理解和分析；

63、4.冗余消除和優(yōu)化：事件樹優(yōu)化模塊能夠有效消除冗余節(jié)點(diǎn)和路徑，識別目標(biāo)路徑和節(jié)點(diǎn)，得到優(yōu)化后的事件樹；這一過程提高了事件樹的簡潔性和邏輯性，減少了無效信息的干擾，提升了數(shù)據(jù)分析的效率和準(zhǔn)確性；

64、5.實(shí)時數(shù)據(jù)挖掘與風(fēng)險評估：基于優(yōu)化后的事件樹，對實(shí)時采集的多源數(shù)據(jù)進(jìn)行挖掘和分析，通過風(fēng)險評估模型進(jìn)行風(fēng)險預(yù)測，實(shí)現(xiàn)了對實(shí)時數(shù)據(jù)的動態(tài)監(jiān)控和快速響應(yīng)。這使得平臺能夠及時發(fā)現(xiàn)潛在風(fēng)險并采取相應(yīng)的措施，提高了風(fēng)險管理的有效性。

65、綜上所述，本發(fā)明通過多源數(shù)據(jù)的高效整合、精準(zhǔn)特征提取、直觀事件樹分析、冗余信息消除和優(yōu)化、實(shí)時數(shù)據(jù)挖掘與風(fēng)險評估、用戶友好接口設(shè)計(jì)以及安全可靠的數(shù)據(jù)存儲，顯著提高了數(shù)據(jù)分析的準(zhǔn)確性、效率和實(shí)用性，為用戶提供了強(qiáng)有力的決策支持和風(fēng)險管理工具。