本發(fā)明涉及數(shù)據(jù)存儲(chǔ)，特別是涉及一種待處理數(shù)據(jù)庫的數(shù)據(jù)處理方法、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、目前，在進(jìn)行數(shù)據(jù)處理和存儲(chǔ)時(shí)會(huì)先讀取發(fā)送過來的數(shù)據(jù)源，例如結(jié)構(gòu)化的數(shù)據(jù)表，為了防止在大量數(shù)據(jù)存儲(chǔ)時(shí)出現(xiàn)亂碼的情況，主流的存儲(chǔ)協(xié)議都要對(duì)數(shù)據(jù)類型也做存儲(chǔ)，存儲(chǔ)為tag-length-value的形式，也即tlv形式，tag對(duì)應(yīng)數(shù)據(jù)的字段和類型信息，length為數(shù)據(jù)內(nèi)容的長度，value為具體的數(shù)據(jù)內(nèi)容，因此大量級(jí)數(shù)據(jù)源在存儲(chǔ)時(shí)會(huì)占用更大的存儲(chǔ)空間。由于中文和英文的字節(jié)數(shù)不一致，在不同數(shù)據(jù)表中，采用的編程語言的不同，以及數(shù)據(jù)表中的中文和英文的占比，都會(huì)影響字節(jié)數(shù)的大小，僅考慮字節(jié)數(shù)的大小來確定是否對(duì)數(shù)據(jù)源進(jìn)行壓縮存儲(chǔ)是不全面的，因此，如何確定數(shù)據(jù)源的存儲(chǔ)優(yōu)先級(jí)來判斷是否對(duì)數(shù)據(jù)源進(jìn)行壓縮處理是亟需解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：

2、一種待處理數(shù)據(jù)庫的數(shù)據(jù)處理方法，所述方法包括如下步驟：

3、s100，獲取到待處理數(shù)據(jù)庫的屬性信息；所述待處理數(shù)據(jù)庫的屬性信息包括：待處理數(shù)據(jù)庫的編程語言類型、待處理數(shù)據(jù)庫的字段名稱、字段名稱對(duì)應(yīng)的類型、記錄數(shù)量。

4、s200，根據(jù)待處理數(shù)據(jù)庫的屬性信息，確定出待處理數(shù)據(jù)庫的優(yōu)先級(jí)f。

5、在s200中步驟還包括如下步驟；

6、s201，從所述待處理數(shù)據(jù)庫的屬性信息中獲取到待處理數(shù)據(jù)庫的字段名稱內(nèi)中文字符數(shù)量和英文字符數(shù)量。

7、s202，基于所述待處理數(shù)據(jù)庫的屬性信息中待處理數(shù)據(jù)庫的編程語言類型，確定出待處理數(shù)據(jù)庫的字段名稱中每一中文字符大小和每一英文字符大小。

8、s203，基于所述待處理數(shù)據(jù)庫的屬性信息中字段名稱對(duì)應(yīng)的類型，確定出每一字段名稱下的記錄大小。

9、s204，根據(jù)字段名稱內(nèi)中文字符數(shù)量和英文字符數(shù)量、每一中文字符大小和每一英文字符大小，以及每一字段名稱下的記錄大小，確定出待處理數(shù)據(jù)庫的優(yōu)先級(jí)f。

10、其中，待處理數(shù)據(jù)庫的優(yōu)先級(jí)f符合如下條件：

11、f=w1×f1×d1+w2×f2×d2+∑hg=1w3g×f3g，其中，h為待處理數(shù)據(jù)庫的字段名稱數(shù)量，w1為字段名稱內(nèi)中文字符權(quán)重，w2為字段名稱內(nèi)英文字符權(quán)重，w3g為待處理數(shù)據(jù)庫的第g個(gè)字段名稱下的記錄權(quán)重，f1為待處理數(shù)據(jù)庫的字段名稱內(nèi)中文字符數(shù)量，f2為待處理數(shù)據(jù)庫的字段名稱內(nèi)英文字符數(shù)量，f3g是指第g個(gè)字段名稱下的記錄大小，d1為待處理數(shù)據(jù)庫的字段名稱內(nèi)每一中文字符大小，d2為待處理數(shù)據(jù)庫的字段名稱內(nèi)每一英文字符大小。

12、s300，根據(jù)待處理數(shù)據(jù)庫的優(yōu)先級(jí)f，對(duì)待處理數(shù)據(jù)庫中數(shù)據(jù)采取對(duì)應(yīng)的處理措施。

13、本發(fā)明還提供了一種非瞬時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有至少一條指令或至少一段程序，所述至少一條指令或所述至少一段程序由處理器加載并執(zhí)行以實(shí)現(xiàn)上述的待處理數(shù)據(jù)庫的數(shù)據(jù)處理方法。

14、本發(fā)明還提供了一種電子設(shè)備，包括處理器和上述的非瞬時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

15、本發(fā)明與現(xiàn)有技術(shù)相比具有明顯的有益效果，借由上述技術(shù)方案，本發(fā)明提供的一種待處理數(shù)據(jù)庫的數(shù)據(jù)處理方法可達(dá)到相當(dāng)?shù)募夹g(shù)進(jìn)步性及實(shí)用性，并具有產(chǎn)業(yè)上的廣泛利用價(jià)值，其至少具有以下有益效果：

16、本發(fā)明提供了一種待處理數(shù)據(jù)庫的數(shù)據(jù)處理方法，首先獲取待處理數(shù)據(jù)庫的編程語言類型、待處理數(shù)據(jù)庫的字段名稱、字段名稱對(duì)應(yīng)的類型、記錄數(shù)量，并根據(jù)獲取到的上述信息計(jì)算得到待處理數(shù)據(jù)庫的優(yōu)先級(jí)，根據(jù)優(yōu)先級(jí)對(duì)來待處理數(shù)據(jù)庫中數(shù)據(jù)采取對(duì)應(yīng)的處理措施，在計(jì)算優(yōu)先級(jí)時(shí)，考慮到字段中的中文和英文占據(jù)的字節(jié)數(shù)量是不一致的，且同一中文或同一英文在不同編程語言類型中占據(jù)的字節(jié)數(shù)量也可能是不一致的，因此在計(jì)算時(shí)引入不同編程語言類型以及中英文數(shù)量的情況，從而來得到合理的存儲(chǔ)優(yōu)先級(jí)，也即，對(duì)于不同編程語言類型的多個(gè)待處理數(shù)據(jù)庫，對(duì)應(yīng)有相同的優(yōu)先級(jí)判斷標(biāo)準(zhǔn)，根據(jù)獲取到的優(yōu)先級(jí)能夠合理地確定出是否要進(jìn)行后續(xù)的編碼和壓縮處理，通過壓縮處理從而適用于大量級(jí)的數(shù)據(jù)存儲(chǔ)。

技術(shù)特征：

1.一種待處理數(shù)據(jù)庫的數(shù)據(jù)處理方法，其特征在于，所述方法包括如下步驟：

2.根據(jù)權(quán)利要求1所述的待處理數(shù)據(jù)庫的數(shù)據(jù)處理方法，其特征在于，w1符合如下條件：

3.根據(jù)權(quán)利要求2所述的待處理數(shù)據(jù)庫的數(shù)據(jù)處理方法，其特征在于，w2符合如下條件：

4.根據(jù)權(quán)利要求2所述的待處理數(shù)據(jù)庫的數(shù)據(jù)處理方法，其特征在于，w3g符合如下條件：

5.根據(jù)權(quán)利要求1所述的待處理數(shù)據(jù)庫的數(shù)據(jù)處理方法，其特征在于，s300步驟還包括如下步驟：

6.根據(jù)權(quán)利要求5所述的待處理數(shù)據(jù)庫的數(shù)據(jù)處理方法，其特征在于，通過如下步驟獲取λ：

7.根據(jù)權(quán)利要求5所述的待處理數(shù)據(jù)庫的數(shù)據(jù)處理方法，其特征在于，s303步驟包括如下步驟：

8.根據(jù)權(quán)利要求5所述的待處理數(shù)據(jù)庫的數(shù)據(jù)處理方法，其特征在于，s304步驟包括如下步驟：

9.一種非瞬時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有至少一條指令或至少一段程序，其特征在于，所述至少一條指令或所述至少一段程序由處理器加載并執(zhí)行以實(shí)現(xiàn)如權(quán)利要求1-8中任意一項(xiàng)所述的待處理數(shù)據(jù)庫的數(shù)據(jù)處理方法。

10.一種電子設(shè)備，其特征在于，包括處理器和權(quán)利要求9所述的非瞬時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

技術(shù)總結(jié)
本發(fā)明涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，特別是涉及一種待處理數(shù)據(jù)庫的數(shù)據(jù)處理方法、電子設(shè)備及存儲(chǔ)介質(zhì)，所述方法包括：獲取待處理數(shù)據(jù)庫的編程語言類型、待處理數(shù)據(jù)庫的字段名稱、字段名稱對(duì)應(yīng)的類型、記錄數(shù)量，并根據(jù)獲取到的上述信息計(jì)算得到待處理數(shù)據(jù)庫的優(yōu)先級(jí)，根據(jù)優(yōu)先級(jí)對(duì)來待處理數(shù)據(jù)庫中數(shù)據(jù)采取對(duì)應(yīng)的處理措施；可知，本發(fā)明根據(jù)獲取到的優(yōu)先級(jí)能夠合理地確定出是否要進(jìn)行后續(xù)的編碼和壓縮處理，通過壓縮處理從而適用于大量級(jí)的數(shù)據(jù)存儲(chǔ)。

技術(shù)研發(fā)人員：張靜雅,張帥,陳鋼,羅義華
受保護(hù)的技術(shù)使用者：北京云真信科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10