本技術(shù)涉及信息，具體涉及一種跨網(wǎng)信息識別與分類方法及系統(tǒng)。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，數(shù)據(jù)流量預(yù)計將會以前所未有的速度增長。在這一背景下，跨網(wǎng)信息的識別與分類成為大數(shù)據(jù)處理的關(guān)鍵挑戰(zhàn)之一，尤其是在實時性和準(zhǔn)確性方面的要求日益增高。

2、目前的數(shù)據(jù)處理系統(tǒng)常常需要在處理能力和成本之間找到平衡點。一方面，處理龐大數(shù)據(jù)集需要昂貴的計算資源和存儲容量；另一方面，為了保持高效率，數(shù)據(jù)精度和質(zhì)量需要被犧牲。為了實現(xiàn)高精度的數(shù)據(jù)分析，研究人員需要開發(fā)新的算法和模型。

3、在企業(yè)數(shù)據(jù)管理和檔案管理等方面,由于企業(yè)異構(gòu)系統(tǒng)之間的數(shù)據(jù)交換和共享越來越頻繁,跨網(wǎng)信息的識別和分類也面臨著新的挑戰(zhàn)。例如,在電子檔案管理中,需要對來自不同渠道、不同格式的文檔進(jìn)行統(tǒng)一分類和管理；在客戶關(guān)系管理中，需要將來自社交網(wǎng)絡(luò)、呼叫中心等多個渠道的客戶互動數(shù)據(jù)整合在一起,進(jìn)行用戶畫像和行為分析。這就要求識別分類算法能夠有效應(yīng)對跨網(wǎng)環(huán)境下的數(shù)據(jù)多樣性和動態(tài)變化。

4、現(xiàn)有技術(shù)中，存在諸如apache?kafka和apache?flink的數(shù)據(jù)流處理框架，它們在大數(shù)據(jù)處理、實時性和可擴(kuò)展性方面有顯著優(yōu)勢，但當(dāng)面對高速、動態(tài)變化的數(shù)據(jù)流時，其跨網(wǎng)信息的復(fù)雜性要求分類算法具備強(qiáng)大的泛化能力。這是因為數(shù)據(jù)的分布在不同上下文中變化巨大，常規(guī)的分類算法無法適應(yīng)這些變化，導(dǎo)致分類精度下降。

技術(shù)實現(xiàn)思路

1、鑒于此，本技術(shù)提供一種跨網(wǎng)信息識別與分類方法及系統(tǒng)，通過神經(jīng)網(wǎng)絡(luò)投影方案，特別是利用relu激活函數(shù)的兩層神經(jīng)網(wǎng)絡(luò)來近似一維wasserstein梯度流，從而實現(xiàn)對數(shù)據(jù)分布的有效擬合，解決了現(xiàn)有技術(shù)無法應(yīng)對高速、動態(tài)變化的數(shù)據(jù)流時識別和分類精度下降的問題，提升了識別和分類精度。

2、本技術(shù)提供一種跨網(wǎng)信息識別與分類方法，包括：

3、云服務(wù)器集群獲取實時的跨網(wǎng)信息；

4、對所述跨網(wǎng)信息進(jìn)行初步識別及預(yù)分類；

5、構(gòu)建并訓(xùn)練雙層神經(jīng)網(wǎng)絡(luò)模型，利用訓(xùn)練后的雙層神經(jīng)網(wǎng)絡(luò)模型來擬合所述跨網(wǎng)信息的一維瓦塞爾斯坦wasserstein梯度流；

6、基于擬合結(jié)果，對所述跨網(wǎng)信息的初步識別及預(yù)分類結(jié)果進(jìn)行校正。

7、可選地，構(gòu)建并訓(xùn)練雙層神經(jīng)網(wǎng)絡(luò)模型，利用雙層神經(jīng)網(wǎng)絡(luò)模型來擬合所述跨網(wǎng)信息的一維wasserstein梯度流，包括：

8、構(gòu)建雙層神經(jīng)網(wǎng)絡(luò)模型，初始化所述雙層神經(jīng)網(wǎng)絡(luò)模型的參數(shù)；

9、獲取數(shù)據(jù)訓(xùn)練集，所述數(shù)據(jù)訓(xùn)練集展示了不同數(shù)據(jù)特征之間的wasserstein距離；

10、基于所述數(shù)據(jù)訓(xùn)練集對所述雙層神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；

11、基于所述跨網(wǎng)信息，建立一維wasserstein空間中的概率分布模型；

12、基于所述一維wasserstein空間中的概率分布模型，利用訓(xùn)練后的所述雙層神經(jīng)網(wǎng)絡(luò)模型計算一維wasserstein梯度流的近似解。

13、可選地，利用訓(xùn)練后的所述雙層神經(jīng)網(wǎng)絡(luò)模型計算一維wasserstein梯度流的近似解，包括：

14、獲取所述一維wasserstein空間中的拉格朗日映射函數(shù)；

15、利用訓(xùn)練后的所述雙層神經(jīng)網(wǎng)絡(luò)模型執(zhí)行所述拉格朗日映射函數(shù)的近似計算，并檢查計算結(jié)果中數(shù)據(jù)分布的擬合情況；

16、通過梯度下降方法優(yōu)化所述雙層神經(jīng)網(wǎng)絡(luò)模型參數(shù)的參數(shù)。

17、可選地，利用訓(xùn)練后的所述雙層神經(jīng)網(wǎng)絡(luò)模型執(zhí)行所述拉格朗日映射函數(shù)的近似計算，并檢查計算結(jié)果中數(shù)據(jù)分布的擬合情況，包括：

18、利用訓(xùn)練后的所述雙層神經(jīng)網(wǎng)絡(luò)模型對拉格朗日映射函數(shù)進(jìn)行近似計算，并輸出近似計算結(jié)果；

19、計算近似計算結(jié)果與實際分布之間的wasserstein距離，以便判斷檢查計算結(jié)果中數(shù)據(jù)分布的擬合質(zhì)量。

20、可選地，構(gòu)建雙層神經(jīng)網(wǎng)絡(luò)模型，初始化所述雙層神經(jīng)網(wǎng)絡(luò)模型的參數(shù)，包括：

21、使用relu激活函數(shù)設(shè)計包含輸入層、一個或多個隱藏層以及輸出層的雙層神經(jīng)網(wǎng)絡(luò)；

22、確定每層的神經(jīng)元個數(shù)，其中，輸入層神經(jīng)元的數(shù)量等于特征數(shù)量，輸出層神經(jīng)元數(shù)對應(yīng)分類任務(wù)的類別數(shù)或回歸任務(wù)的輸出；

23、根據(jù)訓(xùn)練任務(wù)選擇交叉熵?fù)p失或均方誤差損失函數(shù)；

24、選擇一個用于調(diào)整網(wǎng)絡(luò)權(quán)重的sgd優(yōu)化器或adam優(yōu)化器；

25、設(shè)置批次batch大小、學(xué)習(xí)率以及正則化項。

26、可選地，基于所述數(shù)據(jù)訓(xùn)練集對所述雙層神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，包括：

27、初始化網(wǎng)絡(luò)權(quán)重；

28、計算在所述初始化網(wǎng)絡(luò)權(quán)重下的預(yù)測輸出；

29、使用所述交叉熵?fù)p失或均方誤差損失函數(shù)評估預(yù)測和真實標(biāo)簽之間的誤差；

30、計算損失相對于在所述初始化網(wǎng)絡(luò)權(quán)重下的梯度；

31、利用所述sgd優(yōu)化器或adam優(yōu)化器更新網(wǎng)絡(luò)權(quán)重。

32、可選地，基于所述跨網(wǎng)信息，建立一維wasserstein空間中的概率分布模型，包括：

33、定義一維wasserstein空間；

34、利用最大似然估計或貝葉斯來估計一維wasserstein空間中分布參數(shù)的概率；

35、依次計算相鄰分布參數(shù)的概率分布之間的wasserstein距離。

36、可選地，對所述跨網(wǎng)信息進(jìn)行初步識別及預(yù)分類，包括：

37、采用spark?streaming對所述跨網(wǎng)信息進(jìn)行處理，以便捕獲實時數(shù)據(jù)流；

38、設(shè)計離散流的轉(zhuǎn)換邏輯，對所述實時數(shù)據(jù)流進(jìn)行預(yù)處理；

39、利用預(yù)訓(xùn)練的機(jī)器學(xué)習(xí)模型對預(yù)處理后的所述實時數(shù)據(jù)流進(jìn)行初步識別和預(yù)分類。

40、可選地，基于擬合結(jié)果，對所述跨網(wǎng)信息的初步識別及預(yù)分類結(jié)果進(jìn)行校正，包括：

41、基于所述擬合結(jié)果，將所述跨網(wǎng)信息的識別和分類結(jié)果進(jìn)行更新。

42、本技術(shù)實施例還提供一種跨網(wǎng)信息識別與分類系統(tǒng)，包括：

43、云服務(wù)器集群獲取實時的跨網(wǎng)信息；

44、對所述跨網(wǎng)信息進(jìn)行初步識別及預(yù)分類；

45、構(gòu)建并訓(xùn)練雙層神經(jīng)網(wǎng)絡(luò)模型，利用訓(xùn)練后的雙層神經(jīng)網(wǎng)絡(luò)模型來擬合所述跨網(wǎng)信息的一維瓦塞爾斯坦wasserstein梯度流；

46、基于擬合結(jié)果，對所述跨網(wǎng)信息的初步識別及預(yù)分類結(jié)果進(jìn)行校正。

47、本技術(shù)實施例提供一種跨網(wǎng)信息識別與分類方法及系統(tǒng)，通過神經(jīng)網(wǎng)絡(luò)模型，在模型訓(xùn)練過程中引入跨網(wǎng)環(huán)境下的多種數(shù)據(jù)，使得模型具有更好的適應(yīng)性和泛化能力。此外，使用基于relu激活函數(shù)的雙層神經(jīng)網(wǎng)絡(luò)來近似wasserstein梯度流的拉格朗日映射函數(shù)，可以擴(kuò)展現(xiàn)有模型的能力，以更好地理解和處理新穎的數(shù)據(jù)分布。因此，通過在模型中編碼這類分布信息，能夠?qū)π碌臄?shù)據(jù)模式作出快速反應(yīng)，從而提高信息識別與分類的精準(zhǔn)度和質(zhì)量。本技術(shù)實施例不僅可以廣泛應(yīng)用于企業(yè)數(shù)據(jù)管理、電子檔案管理、客戶關(guān)系管理等領(lǐng)域，幫助企業(yè)更好地整合和利用分散在不同系統(tǒng)和網(wǎng)絡(luò)中的信息資源,實現(xiàn)數(shù)據(jù)價值最大化。而且,本技術(shù)實施例還可以用于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)等動態(tài)復(fù)雜的跨網(wǎng)環(huán)境,提升對實時數(shù)據(jù)流的處理和分析能力。