本發(fā)明涉及數(shù)據(jù)處理，尤其是涉及一種數(shù)據(jù)的處理方法、裝置及電子設(shè)備。

背景技術(shù)：

1、儲能系統(tǒng)在運(yùn)行時，會生成巨量的日志數(shù)據(jù)，技術(shù)工程師可通過對日志數(shù)據(jù)進(jìn)行解析，了解儲能系統(tǒng)的運(yùn)行狀況。出于安全考慮，儲能系統(tǒng)中的設(shè)備普遍都不會接入外網(wǎng)，所以日志數(shù)據(jù)一般由技術(shù)工程師定期處理后發(fā)回遠(yuǎn)端進(jìn)行分析統(tǒng)計，日志數(shù)據(jù)都處于批量離線的狀態(tài)。

2、針對日志數(shù)據(jù)的解析，目前主要的解析方案包括：技術(shù)工程師選取預(yù)設(shè)的候選范式化模板，然后將儲能系統(tǒng)的日志數(shù)據(jù)與該候選范式化模板進(jìn)行格式匹配，以對日志數(shù)據(jù)進(jìn)行解析。然而，在此過程中，如果候選范式化模板與日志數(shù)據(jù)不匹配，則需要人工對候選范式化模板進(jìn)行更正或更新處理，最終人工標(biāo)定出與日志數(shù)據(jù)匹配的日志模板，進(jìn)而通過日志模板解析日志數(shù)據(jù)。而當(dāng)日志數(shù)據(jù)每次更新時，都需要人工來重新標(biāo)定日志模板，導(dǎo)致數(shù)據(jù)處理過程效率低，無法實現(xiàn)自動化處理，不夠智能。并且，解析后的數(shù)據(jù)未做進(jìn)一步優(yōu)化處理，導(dǎo)致數(shù)據(jù)中存在過多的冗余信息，浪費存儲空間，也不利于數(shù)據(jù)傳輸。

技術(shù)實現(xiàn)思路

1、本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。

2、為此，本發(fā)明的一個目的在于提出一種數(shù)據(jù)的處理方法，該方法針對巨量日志數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析，并自動匹配合適的目標(biāo)日志模板文件，無需人工參與和更改日志模板，提高了處理過程的智能性，并且根據(jù)數(shù)據(jù)特性，對日志數(shù)據(jù)進(jìn)行過濾、去冗余處理和壓縮，使得到的壓縮日志文件里不存在過多的冗余信息，利于節(jié)省存儲空間，提高數(shù)據(jù)傳輸效率。

3、為此，本發(fā)明的第二個目的在于提出一種數(shù)據(jù)的處理裝置。

4、為此，本發(fā)明的第三個目的在于提出一種電子設(shè)備。

5、為此，本發(fā)明的第四個目的在于提出一種計算機(jī)可讀存儲介質(zhì)。

6、為了實現(xiàn)上述目的，本發(fā)明第一方面實施例提出了一種數(shù)據(jù)的處理方法，包括以下步驟：根據(jù)目標(biāo)日志模板文件對日志數(shù)據(jù)進(jìn)行過濾，得到動態(tài)數(shù)據(jù)部分，對所述動態(tài)數(shù)據(jù)部分創(chuàng)建變量對象；分析所述變量對象是否發(fā)生變化；若是，則記錄發(fā)生變化的變量對象對應(yīng)的動態(tài)數(shù)據(jù)，否則，記錄所述變量對象的基礎(chǔ)信息；將記錄的動態(tài)數(shù)據(jù)和/或基礎(chǔ)信息進(jìn)行壓縮，得到壓縮日志文件。

7、根據(jù)本發(fā)明實施例的數(shù)據(jù)的處理方法，根據(jù)目標(biāo)日志模板文件對日志數(shù)據(jù)進(jìn)行過濾，得到動態(tài)數(shù)據(jù)部分，對動態(tài)數(shù)據(jù)部分創(chuàng)建變量對象，分析變量對象是否發(fā)生變化，若是，則記錄發(fā)生變化的變量對象對應(yīng)的動態(tài)數(shù)據(jù)，否則，記錄變量對象的基礎(chǔ)信息，最后將記錄的動態(tài)數(shù)據(jù)和/或基礎(chǔ)信息進(jìn)行壓縮，得到壓縮日志文件。由此，本發(fā)明可針對巨量日志數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析，并自動匹配合適的目標(biāo)日志模板文件，無需人工參與和更改日志模板，提高了處理過程的智能性，并且根據(jù)數(shù)據(jù)特性，對日志數(shù)據(jù)進(jìn)行過濾、去冗余處理和壓縮，使得到的壓縮日志文件里不存在過多的冗余信息，從而利于節(jié)省存儲空間，同時提高數(shù)據(jù)傳輸效率。

8、另外，本發(fā)明上述實施例的數(shù)據(jù)的處理方法，還可以具有如下附加的技術(shù)特征：

9、在一些實施例中，在根據(jù)目標(biāo)日志模板文件對日志數(shù)據(jù)進(jìn)行過濾之前，還包括：接收所述日志數(shù)據(jù)，根據(jù)所述日志數(shù)據(jù)的類型選取所述目標(biāo)日志模板文件。

10、在一些實施例中，根據(jù)所述日志數(shù)據(jù)的類型選取日志模板文件，包括：判斷是否存在與所述日志數(shù)據(jù)的類型匹配的日志模板文件；若是，則將匹配的所述日志模板文件作為所述目標(biāo)日志模板文件；否則，構(gòu)建新的日志模板文件，以作為所述目標(biāo)日志模板文件。

11、在一些實施例中，構(gòu)建新的日志模板文件，包括：獲取所述日志數(shù)據(jù)中的多個單位數(shù)據(jù)；對多個所述單位數(shù)據(jù)進(jìn)行解析處理，生成規(guī)則集；根據(jù)所述規(guī)則集生成所述新的日志模板文件。

12、在一些實施例中，對多個所述單位數(shù)據(jù)進(jìn)行解析處理，包括：對每個所述單位數(shù)據(jù)進(jìn)行離散處理，得到數(shù)字內(nèi)容部分和非數(shù)字內(nèi)容部分；分別對所述數(shù)字內(nèi)容部分和非數(shù)字內(nèi)容部分進(jìn)行統(tǒng)計分析；根據(jù)統(tǒng)計分析結(jié)果生成對應(yīng)的規(guī)則，所述規(guī)則具有唯一標(biāo)識；根據(jù)得到的多個所述單位數(shù)據(jù)對應(yīng)的規(guī)則生成所述規(guī)則集。

13、在一些實施例中，對每個所述單位數(shù)據(jù)進(jìn)行離散處理，包括：識別所述單位數(shù)據(jù)中的數(shù)字內(nèi)容和非數(shù)字內(nèi)容；將所述數(shù)字內(nèi)容和非數(shù)字內(nèi)容進(jìn)行隔離。

14、在一些實施例中，在將所述數(shù)字內(nèi)容和非數(shù)字內(nèi)容進(jìn)行隔離之后，還包括：根據(jù)預(yù)設(shè)關(guān)鍵詞對隔離后的非數(shù)字內(nèi)容進(jìn)行詞頻統(tǒng)計，根據(jù)統(tǒng)計結(jié)果對所述非數(shù)字內(nèi)容進(jìn)行排序。

15、在一些實施例中，對所述非數(shù)字內(nèi)容部分進(jìn)行統(tǒng)計分析，包括：識別所述非數(shù)字內(nèi)容部分中動態(tài)變化的內(nèi)容和不變的內(nèi)容；將所述所述非數(shù)字內(nèi)容部分中動態(tài)變化的內(nèi)容進(jìn)行匯總，生成第一宏定義集，并對所述第一宏定義集進(jìn)行標(biāo)識；將所述非數(shù)字內(nèi)容部分中不變的內(nèi)容添加至預(yù)設(shè)的初始日志模板文件中。

16、在一些實施例中，對所述數(shù)字內(nèi)容部分進(jìn)行統(tǒng)計分析，包括：識別所述數(shù)字內(nèi)容部分中動態(tài)變化的內(nèi)容和不變的內(nèi)容；將所述所述數(shù)字內(nèi)容部分中動態(tài)變化的內(nèi)容進(jìn)行匯總，生成第二宏定義集，并對所述第二宏定義集進(jìn)行標(biāo)識；將所述數(shù)字內(nèi)容部分中不變的內(nèi)容添加至預(yù)設(shè)的初始日志模板文件中。

17、在一些實施例中，根據(jù)所述規(guī)則集生成所述新的日志模板文件，包括：將所述規(guī)則集轉(zhuǎn)換成預(yù)設(shè)格式的模板文件，得到所述新的日志模板文件。

18、在一些實施例中，所述單位數(shù)據(jù)包括所述日志數(shù)據(jù)中的至少一行數(shù)據(jù)。

19、在一些實施例中，在判斷存在與所述日志數(shù)據(jù)的類型匹配的日志模板文件之后，還包括：根據(jù)所述日志模板文件對所述日志數(shù)據(jù)進(jìn)行解析；若日志數(shù)據(jù)中存在不能解析的數(shù)據(jù)部分，則根據(jù)所述不能解析的數(shù)據(jù)部分生成新的規(guī)則集；根據(jù)所述新的規(guī)則集對所述日志模板文件進(jìn)行更新，并將更新后的日志模板文件作為所述目標(biāo)日志模板文件。

20、在一些實施例中，所述日志數(shù)據(jù)的類型與所述目標(biāo)日志模板文件之間具有對應(yīng)關(guān)系，所述對應(yīng)關(guān)系為預(yù)先標(biāo)定得到。

21、在一些實施例中，對所述動態(tài)數(shù)據(jù)部分創(chuàng)建變量對象，包括：對所述動態(tài)數(shù)據(jù)部分的數(shù)據(jù)分別創(chuàng)建變量對象，并將各數(shù)據(jù)與變量對象進(jìn)行一一對應(yīng)映射。

22、在一些實施例中，對所述動態(tài)數(shù)據(jù)部分的數(shù)據(jù)分別創(chuàng)建變量對象，包括：將所述動態(tài)數(shù)據(jù)部分的數(shù)據(jù)對應(yīng)的內(nèi)容作為對應(yīng)的所述變量對象。

23、在一些實施例中，目標(biāo)日志模板文件還包括多個時間區(qū)間，所述方法還包括：記錄每條規(guī)則生成的時間。

24、在一些實施例中，所述基礎(chǔ)信息包括：所述變量對象對應(yīng)的數(shù)據(jù)所在規(guī)則的標(biāo)識和生成時間。

25、在一些實施例中，通過哈夫曼算法對記錄的動態(tài)數(shù)據(jù)和/或基礎(chǔ)信息進(jìn)行壓縮，得到所述壓縮日志文件。

26、在一些實施例中，在得到壓縮日志文件數(shù)據(jù)之后，還包括：存儲所述壓縮日志文件并標(biāo)識所述壓縮日志文件中的目標(biāo)日志模板文件。

27、在一些實施例中，在得到壓縮日志文件數(shù)據(jù)之后，還包括：將所述壓縮日志文件傳輸至數(shù)據(jù)還原裝置；所述數(shù)據(jù)還原裝置根據(jù)所述目標(biāo)日志模板文件對所述壓縮日志文件進(jìn)行解壓和還原處理，輸出所述日志數(shù)據(jù)。

28、在一些實施例中，在所述數(shù)據(jù)還原裝置根據(jù)所述目標(biāo)日志模板文件對所述壓縮日志文件進(jìn)行解壓和還原處理之前，還包括：將選取的所述目標(biāo)日志模板文件同步發(fā)送至數(shù)據(jù)還原裝置。

29、在一些實施例中，在輸出所述日志數(shù)據(jù)之后，還包括：根據(jù)設(shè)定篩選條件從所述日志數(shù)據(jù)中查找目標(biāo)數(shù)據(jù)。

30、在一些實施例中，所述設(shè)定篩選條件包括：設(shè)定內(nèi)容、設(shè)定標(biāo)識、設(shè)定關(guān)鍵詞、設(shè)定時間段、設(shè)定時間點、設(shè)定宏定義信息中的至少一個。

31、為了實現(xiàn)上述目的，本發(fā)明第二方面實施例提出了一種數(shù)據(jù)的處理裝置，包括：過濾模塊，用于根據(jù)所述目標(biāo)日志模板文件對所述日志數(shù)據(jù)進(jìn)行過濾，得到動態(tài)數(shù)據(jù)部分，對所述動態(tài)數(shù)據(jù)部分創(chuàng)建變量對象；分析模塊，用于分析所述變量對象是否發(fā)生變化；記錄模塊，用于當(dāng)所述變量對象發(fā)生變化時，記錄發(fā)生變化的變量對象對應(yīng)的動態(tài)數(shù)據(jù)，以及當(dāng)所述變量對象是未發(fā)生變化時，記錄所述變量對象的基礎(chǔ)信息；壓縮模塊，用于將記錄的動態(tài)數(shù)據(jù)和/或基礎(chǔ)信息進(jìn)行壓縮，得到壓縮日志文件。

32、根據(jù)本發(fā)明實施例的數(shù)據(jù)的處理裝置，根據(jù)目標(biāo)日志模板文件對日志數(shù)據(jù)進(jìn)行過濾，得到動態(tài)數(shù)據(jù)部分，對動態(tài)數(shù)據(jù)部分創(chuàng)建變量對象，分析變量對象是否發(fā)生變化，若是，則記錄發(fā)生變化的變量對象對應(yīng)的動態(tài)數(shù)據(jù)，否則，記錄變量對象的基礎(chǔ)信息，最后將記錄的動態(tài)數(shù)據(jù)和/或基礎(chǔ)信息進(jìn)行壓縮，得到壓縮日志文件。由此，本發(fā)明可針對巨量日志數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析，并自動匹配合適的目標(biāo)日志模板文件，無需人工參與和更改日志模板，提高了處理過程的智能性，并且根據(jù)數(shù)據(jù)特性，對日志數(shù)據(jù)進(jìn)行過濾、去冗余處理和壓縮，使得到的壓縮日志文件里不存在過多的冗余信息，從而利于節(jié)省存儲空間，同時提高數(shù)據(jù)傳輸效率。

33、為了實現(xiàn)上述目的，本發(fā)明第三方面實施例提出了一種電子設(shè)備，該電子設(shè)備包括如本發(fā)明上述第二方面實施例所述的數(shù)據(jù)的處理裝置；或者，該電子設(shè)備包括：處理器、存儲器、存儲在所述存儲器上并可在所述處理器上運(yùn)行的數(shù)據(jù)的處理程序，所述數(shù)據(jù)的處理程序被所述處理器執(zhí)行時實現(xiàn)如本發(fā)明上述第一方面實施例所述的數(shù)據(jù)的處理方法。

34、根據(jù)本發(fā)明實施例的電子設(shè)備，根據(jù)目標(biāo)日志模板文件對日志數(shù)據(jù)進(jìn)行過濾，得到動態(tài)數(shù)據(jù)部分，對動態(tài)數(shù)據(jù)部分創(chuàng)建變量對象，分析變量對象是否發(fā)生變化，若是，則記錄發(fā)生變化的變量對象對應(yīng)的動態(tài)數(shù)據(jù)，否則，記錄變量對象的基礎(chǔ)信息，最后將記錄的動態(tài)數(shù)據(jù)和/或基礎(chǔ)信息進(jìn)行壓縮，得到壓縮日志文件。由此，本發(fā)明可針對巨量日志數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析，并自動匹配合適的目標(biāo)日志模板文件，無需人工參與和更改日志模板，提高了處理過程的智能性，并且根據(jù)數(shù)據(jù)特性，對日志數(shù)據(jù)進(jìn)行過濾、去冗余處理和壓縮，使得到的壓縮日志文件里不存在過多的冗余信息，從而利于節(jié)省存儲空間，同時提高數(shù)據(jù)傳輸效率。

35、為了實現(xiàn)上述目的，本發(fā)明第四方面實施例提出了一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)上存儲有數(shù)據(jù)的處理程序，所述數(shù)據(jù)的處理程序被處理器執(zhí)行時實現(xiàn)如本發(fā)明上述第一方面實施例所述數(shù)據(jù)的處理方法。

36、根據(jù)本發(fā)明實施例的計算機(jī)可讀存儲介質(zhì)，其上存儲的數(shù)據(jù)的處理程序被處理器執(zhí)行時，可根據(jù)目標(biāo)日志模板文件對日志數(shù)據(jù)進(jìn)行過濾，得到動態(tài)數(shù)據(jù)部分，對動態(tài)數(shù)據(jù)部分創(chuàng)建變量對象，分析變量對象是否發(fā)生變化，若是，則記錄發(fā)生變化的變量對象對應(yīng)的動態(tài)數(shù)據(jù)，否則，記錄變量對象的基礎(chǔ)信息，最后將記錄的動態(tài)數(shù)據(jù)和/或基礎(chǔ)信息進(jìn)行匯總并壓縮，得到壓縮日志文件。由此，本發(fā)明可針對巨量日志數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析，并自動匹配合適的目標(biāo)日志模板文件，無需人工參與和更改日志模板，提高了處理過程的智能性，并且根據(jù)數(shù)據(jù)特性，對日志數(shù)據(jù)進(jìn)行過濾、去冗余處理和壓縮，使得到的壓縮日志文件里不存在過多的冗余信息，從而利于節(jié)省存儲空間，同時提高數(shù)據(jù)傳輸效率。

37、本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。