本申請涉及數(shù)據(jù)處理，具體涉及一種數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)：

1、分布式集群存儲在當(dāng)前大數(shù)據(jù)多種場景下(如高性能、視頻監(jiān)控、廣電媒資等)廣泛應(yīng)用。分布式文件系統(tǒng)中存在海量數(shù)據(jù)，大數(shù)據(jù)計(jì)算的前提是組織、存儲海量數(shù)據(jù)。分布式系統(tǒng)中如何快速、準(zhǔn)確地存儲元數(shù)據(jù)信息直接影響元數(shù)據(jù)操作性能。基于此，急需提出一種元數(shù)據(jù)路徑信息存儲方法，以便于快速、準(zhǔn)確地存儲元數(shù)據(jù)信息。

技術(shù)實(shí)現(xiàn)思路

1、本申請?zhí)峁┮环N數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)，旨在解決如何快速、準(zhǔn)確地存儲元數(shù)據(jù)信息。

2、一方面，本申請?zhí)峁┮环N數(shù)據(jù)處理方法，所述方法包括：

3、通過預(yù)置的目標(biāo)網(wǎng)關(guān)獲取監(jiān)控告警系統(tǒng)批次推送的第一監(jiān)控?cái)?shù)據(jù)，該第一監(jiān)控?cái)?shù)據(jù)是所述監(jiān)控告警系統(tǒng)基于預(yù)先獲取的任務(wù)日志確定的；

4、在所述目標(biāo)網(wǎng)關(guān)內(nèi)的內(nèi)存中對所述第一監(jiān)控?cái)?shù)據(jù)進(jìn)行去重處理，得到去重后的初始元數(shù)據(jù)；

5、基于所述初始元數(shù)據(jù)，確定符合目標(biāo)存儲要求的目標(biāo)元數(shù)據(jù)；

6、將所述目標(biāo)元數(shù)據(jù)存儲至預(yù)置的目標(biāo)數(shù)據(jù)庫中。

7、在本申請一種可能的實(shí)現(xiàn)方式中，所述基于所述初始元數(shù)據(jù)，確定符合目標(biāo)存儲要求的目標(biāo)元數(shù)據(jù)，包括：

8、確定預(yù)置的緩存中是否存在所述初始元數(shù)據(jù)；

9、若所述緩存中存在所述初始元數(shù)據(jù)，則確定所述初始元數(shù)據(jù)不符合目標(biāo)存儲要求；

10、若所述緩存中不存在所述初始元數(shù)據(jù)，則確定所述初始元數(shù)據(jù)符合目標(biāo)存儲要求，并將所述初始元數(shù)據(jù)作為目標(biāo)元數(shù)據(jù)。

11、在本申請一種可能的實(shí)現(xiàn)方式中，所述緩存中的數(shù)據(jù)以位數(shù)組結(jié)構(gòu)保存，所述確定預(yù)置的緩存中是否存在所述初始元數(shù)據(jù)，包括：

12、獲取所述初始元數(shù)據(jù)在所述位數(shù)組中的偏移量，并將所述偏移量作為所述初始元數(shù)據(jù)的數(shù)組下標(biāo)；

13、基于所述數(shù)組下標(biāo)，確定預(yù)置的緩存中是否存在所述初始元數(shù)據(jù)。

14、在本申請一種可能的實(shí)現(xiàn)方式中，預(yù)置的目標(biāo)數(shù)據(jù)庫包括目標(biāo)配置模型，所述將所述目標(biāo)元數(shù)據(jù)存儲至預(yù)置的目標(biāo)數(shù)據(jù)庫中，包括：

15、將所述目標(biāo)元數(shù)據(jù)中的每個元數(shù)據(jù)作為一個目標(biāo)頂點(diǎn)的頂點(diǎn)數(shù)據(jù)；

16、將所述頂點(diǎn)數(shù)據(jù)寫入所述目標(biāo)配置模型中。

17、在本申請一種可能的實(shí)現(xiàn)方式中，所述目標(biāo)配置模型包括時間屬性，在將所述目標(biāo)頂點(diǎn)寫入預(yù)置的目標(biāo)數(shù)據(jù)庫的目標(biāo)配置模型中之后，所述方法還包括：

18、對所述時間屬性添加索引。

19、在本申請一種可能的實(shí)現(xiàn)方式中，在將所述目標(biāo)元數(shù)據(jù)存儲至預(yù)置的目標(biāo)數(shù)據(jù)庫中之后，所述方法還包括：

20、基于所述目標(biāo)元數(shù)據(jù)和預(yù)置的關(guān)系模型，確定任務(wù)信息圖譜。

21、在本申請一種可能的實(shí)現(xiàn)方式中，所述基于所述目標(biāo)元數(shù)據(jù)和預(yù)置的關(guān)系模型，確定任務(wù)信息圖譜，包括：

22、通過預(yù)置的關(guān)系模型，將所述目標(biāo)元數(shù)據(jù)封裝成點(diǎn)和邊的圖形數(shù)據(jù)；

23、將所述圖形數(shù)據(jù)寫入預(yù)置的圖數(shù)據(jù)庫。

24、另一方面，本申請?zhí)峁┮环N數(shù)據(jù)處理裝置，所述裝置包括：

25、第一推送單元，用于通過預(yù)置的目標(biāo)網(wǎng)關(guān)獲取監(jiān)控告警系統(tǒng)批次推送的第一監(jiān)控?cái)?shù)據(jù)，該第一監(jiān)控?cái)?shù)據(jù)是所述監(jiān)控告警系統(tǒng)基于預(yù)先獲取的任務(wù)日志確定的；

26、第一去重單元，用于在所述目標(biāo)網(wǎng)關(guān)內(nèi)的內(nèi)存中對所述第一監(jiān)控?cái)?shù)據(jù)進(jìn)行去重處理，得到去重后的初始元數(shù)據(jù)；

27、第一確定單元，用于基于所述初始元數(shù)據(jù)，確定符合目標(biāo)存儲要求的目標(biāo)元數(shù)據(jù)；

28、第一存儲單元，用于將所述目標(biāo)元數(shù)據(jù)存儲至預(yù)置的目標(biāo)數(shù)據(jù)庫中。

29、在本申請一種可能的實(shí)現(xiàn)方式中，所述第一確定單元，具體包括：

30、第二確定單元，用于確定預(yù)置的緩存中是否存在所述初始元數(shù)據(jù)；

31、第三確定單元，用于若所述緩存中存在所述初始元數(shù)據(jù)，則確定所述初始元數(shù)據(jù)不符合目標(biāo)存儲要求；

32、第四確定單元，用于若所述緩存中不存在所述初始元數(shù)據(jù)，則確定所述初始元數(shù)據(jù)符合目標(biāo)存儲要求，并將所述初始元數(shù)據(jù)作為目標(biāo)元數(shù)據(jù)。

33、在本申請一種可能的實(shí)現(xiàn)方式中，所述緩存中的數(shù)據(jù)以位數(shù)組結(jié)構(gòu)保存，所述第二確定單元，具體用于：

34、獲取所述初始元數(shù)據(jù)在所述位數(shù)組中的偏移量，并將所述偏移量作為所述初始元數(shù)據(jù)的數(shù)組下標(biāo)；

35、基于所述數(shù)組下標(biāo)，確定預(yù)置的緩存中是否存在所述初始元數(shù)據(jù)。

36、在本申請一種可能的實(shí)現(xiàn)方式中，預(yù)置的目標(biāo)數(shù)據(jù)庫包括目標(biāo)配置模型，所述第一存儲單元，具體用于：

37、將所述目標(biāo)元數(shù)據(jù)中的每個元數(shù)據(jù)作為一個目標(biāo)頂點(diǎn)的頂點(diǎn)數(shù)據(jù)；

38、將所述頂點(diǎn)數(shù)據(jù)寫入所述目標(biāo)配置模型中。

39、在本申請一種可能的實(shí)現(xiàn)方式中，所述目標(biāo)配置模型包括時間屬性，在將所述目標(biāo)頂點(diǎn)寫入預(yù)置的目標(biāo)數(shù)據(jù)庫的目標(biāo)配置模型中之后，所述裝置還用于：

40、對所述時間屬性添加索引。

41、在本申請一種可能的實(shí)現(xiàn)方式中，在將所述目標(biāo)元數(shù)據(jù)存儲至預(yù)置的目標(biāo)數(shù)據(jù)庫中之后，所述裝置還包括：

42、第五確定單元，用于基于所述目標(biāo)元數(shù)據(jù)和預(yù)置的關(guān)系模型，確定任務(wù)信息圖譜。

43、在本申請一種可能的實(shí)現(xiàn)方式中，所述第五確定單元，具體用于：

44、通過預(yù)置的關(guān)系模型，將所述目標(biāo)元數(shù)據(jù)封裝成點(diǎn)和邊的圖形數(shù)據(jù)；

45、將所述圖形數(shù)據(jù)寫入預(yù)置的圖數(shù)據(jù)庫。

46、另一方面，本申請還提供一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括：

47、一個或多個處理器；

48、存儲器；以及

49、一個或多個應(yīng)用程序，其中所述一個或多個應(yīng)用程序被存儲于所述存儲器中，并配置為由所述處理器執(zhí)行以實(shí)現(xiàn)所述的數(shù)據(jù)處理方法。

50、另一方面，本申請還提供一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器進(jìn)行加載，以執(zhí)行所述的數(shù)據(jù)處理方法中的步驟。

51、有益效果：

52、本申請實(shí)施例通過由預(yù)置的目標(biāo)網(wǎng)關(guān)獲取監(jiān)控告警系統(tǒng)批次推送的第一監(jiān)控?cái)?shù)據(jù)，該第一監(jiān)控?cái)?shù)據(jù)是所述監(jiān)控告警系統(tǒng)基于預(yù)先獲取的任務(wù)日志確定的；在所述目標(biāo)網(wǎng)關(guān)內(nèi)的內(nèi)存中對所述第一監(jiān)控?cái)?shù)據(jù)進(jìn)行去重處理，得到去重后的初始元數(shù)據(jù)；基于所述初始元數(shù)據(jù)，確定符合目標(biāo)存儲要求的目標(biāo)元數(shù)據(jù)；將所述目標(biāo)元數(shù)據(jù)存儲至預(yù)置的目標(biāo)數(shù)據(jù)庫中。如此，在存儲元數(shù)據(jù)之前，分別對第一監(jiān)控?cái)?shù)據(jù)進(jìn)行了兩次去重，提高了數(shù)據(jù)存儲的準(zhǔn)確性，另外，通過批次處理數(shù)據(jù)，提高了數(shù)據(jù)處理效率，提高了數(shù)據(jù)存儲效率。

技術(shù)特征：

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述基于所述初始元數(shù)據(jù)，確定符合目標(biāo)存儲要求的目標(biāo)元數(shù)據(jù)，包括：

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理方法，其特征在于，所述緩存中的數(shù)據(jù)以位數(shù)組結(jié)構(gòu)保存，所述確定預(yù)置的緩存中是否存在所述初始元數(shù)據(jù)，包括：

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，預(yù)置的目標(biāo)數(shù)據(jù)庫包括目標(biāo)配置模型，所述將所述目標(biāo)元數(shù)據(jù)存儲至預(yù)置的目標(biāo)數(shù)據(jù)庫中，包括：

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)處理方法，其特征在于，所述目標(biāo)配置模型包括時間屬性，在將所述目標(biāo)頂點(diǎn)寫入預(yù)置的目標(biāo)數(shù)據(jù)庫的目標(biāo)配置模型中之后，所述方法還包括：

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，在將所述目標(biāo)元數(shù)據(jù)存儲至預(yù)置的目標(biāo)數(shù)據(jù)庫中之后，所述方法還包括：

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理方法，其特征在于，所述基于所述目標(biāo)元數(shù)據(jù)和預(yù)置的關(guān)系模型，確定任務(wù)信息圖譜，包括：

8.一種數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：

9.一種計(jì)算機(jī)設(shè)備，其特征在于，所述計(jì)算機(jī)設(shè)備包括：

10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，其上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器進(jìn)行加載，以執(zhí)行權(quán)利要求1至7任一項(xiàng)所述的數(shù)據(jù)處理方法中的步驟。

技術(shù)總結(jié)
本申請?zhí)峁┮环N數(shù)據(jù)處理方法、裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)，該方法通過由預(yù)置的目標(biāo)網(wǎng)關(guān)獲取監(jiān)控告警系統(tǒng)批次推送的第一監(jiān)控?cái)?shù)據(jù)，該第一監(jiān)控?cái)?shù)據(jù)是所述監(jiān)控告警系統(tǒng)基于預(yù)先獲取的任務(wù)日志確定的；在所述目標(biāo)網(wǎng)關(guān)內(nèi)的內(nèi)存中對所述第一監(jiān)控?cái)?shù)據(jù)進(jìn)行去重處理，得到去重后的初始元數(shù)據(jù)；基于所述初始元數(shù)據(jù)，確定符合目標(biāo)存儲要求的目標(biāo)元數(shù)據(jù)；將所述目標(biāo)元數(shù)據(jù)存儲至預(yù)置的目標(biāo)數(shù)據(jù)庫中。如此，在存儲元數(shù)據(jù)之前，分別對第一監(jiān)控?cái)?shù)據(jù)進(jìn)行了兩次去重，提高了數(shù)據(jù)存儲的準(zhǔn)確性，另外，通過批次處理數(shù)據(jù)，提高了數(shù)據(jù)處理效率，提高了數(shù)據(jù)存儲效率。

技術(shù)研發(fā)人員：陳鴿劍,孟騰飛,陳思兆,莊洋,李翠平
受保護(hù)的技術(shù)使用者：順豐科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10