一種應(yīng)用于分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及分布式存儲(chǔ)技術(shù)領(lǐng)域，特別涉及一種應(yīng)用于分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理系統(tǒng)及方法。
【背景技術(shù)】
[0002]隨著大規(guī)模的數(shù)據(jù)存儲(chǔ)應(yīng)用的發(fā)展需要，傳統(tǒng)的集中式存儲(chǔ)系統(tǒng)由于采用集中的存儲(chǔ)服務(wù)器來存放數(shù)據(jù)，存在可靠性和安全性較低的確定，無法適應(yīng)時(shí)代的發(fā)展。而分布式存儲(chǔ)系統(tǒng)由于采用多臺(tái)分散的存儲(chǔ)服務(wù)器來分擔(dān)存儲(chǔ)負(fù)荷，不僅提高了系統(tǒng)的可靠性和安全性，還有利于人們根據(jù)實(shí)際的應(yīng)用需要，對(duì)已有的多臺(tái)存儲(chǔ)服務(wù)器進(jìn)行數(shù)量上的擴(kuò)展。
[0003]然而，現(xiàn)有的分布式存儲(chǔ)系統(tǒng)在接收到源數(shù)據(jù)后，通常是對(duì)源數(shù)據(jù)進(jìn)行直接的存儲(chǔ)，由于源數(shù)據(jù)可能存在的數(shù)據(jù)容量大、安全性要求較高和容易出現(xiàn)數(shù)據(jù)錯(cuò)誤等問題，如果不預(yù)先對(duì)源數(shù)據(jù)進(jìn)行整合處理便進(jìn)行存儲(chǔ)，可能會(huì)導(dǎo)致存儲(chǔ)下來的數(shù)據(jù)出現(xiàn)存取速度低、安全性低等問題，并由此降低系統(tǒng)的擴(kuò)展性。
[0004]綜上所述可以看出，如何實(shí)現(xiàn)對(duì)數(shù)據(jù)的整合處理以提高數(shù)據(jù)的存取速度、安全性和系統(tǒng)擴(kuò)展性是目前亟待解決的問題。

【發(fā)明內(nèi)容】

[0005]有鑒于此，本發(fā)明的目的在于提供一種應(yīng)用于分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理系統(tǒng)及方法，實(shí)現(xiàn)了對(duì)數(shù)據(jù)的整合處理，從而提高了數(shù)據(jù)的存取速度、安全性和系統(tǒng)擴(kuò)展性。其具體方案如下:
[0006]—種應(yīng)用于分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理系統(tǒng)，包括系統(tǒng)整合器和數(shù)據(jù)處理器，所述數(shù)據(jù)處理器包括數(shù)據(jù)存儲(chǔ)模塊、容錯(cuò)編碼模塊、數(shù)據(jù)壓縮模塊和加密解密模塊；其中，
[0007]所述系統(tǒng)整合器，用于為用戶提供整合策略選擇接口，以獲取用戶通過所述整合策略選擇接口，從預(yù)設(shè)策略數(shù)據(jù)庫中選擇的系統(tǒng)整合策略；所述系統(tǒng)整合策略用于規(guī)定所述數(shù)據(jù)處理器中各個(gè)模塊之間對(duì)待處理數(shù)據(jù)進(jìn)行處理的先后順序；
[0008]所述數(shù)據(jù)存儲(chǔ)模塊、所述容錯(cuò)編碼模塊、所述數(shù)據(jù)壓縮模塊和所述加密解密模塊，用于依據(jù)所述系統(tǒng)整合策略中規(guī)定的對(duì)數(shù)據(jù)進(jìn)行處理的先后順序，依次對(duì)待處理數(shù)據(jù)進(jìn)行相應(yīng)的處理。
[0009]優(yōu)選的，當(dāng)用戶通過所述整合策略選擇接口選定的系統(tǒng)整合策略為第一整合策略時(shí)，則，
[0010]所述加密解密模塊，用于對(duì)待處理數(shù)據(jù)進(jìn)行加密處理；
[0011]所述容錯(cuò)編碼模塊，用于對(duì)所述加密解密模塊進(jìn)行所述加密處理后得到的數(shù)據(jù)進(jìn)行容錯(cuò)編碼處理；
[0012]所述數(shù)據(jù)存儲(chǔ)模塊，用于對(duì)所述容錯(cuò)編碼模塊進(jìn)行所述容錯(cuò)編碼處理后得到的數(shù)據(jù)進(jìn)行分布式存儲(chǔ)處理，得到N1個(gè)數(shù)據(jù)塊，N1為正整數(shù)；
[0013]所述數(shù)據(jù)壓縮模塊，用于分別對(duì)所述N1個(gè)數(shù)據(jù)塊中的每一個(gè)數(shù)據(jù)塊進(jìn)行數(shù)據(jù)壓縮處理，相應(yīng)地得到N1個(gè)壓縮數(shù)據(jù)塊。
[0014]優(yōu)選的，當(dāng)用戶通過所述整合策略選擇接口選定的系統(tǒng)整合策略為第二整合策略時(shí)，則，
[0015]所述數(shù)據(jù)壓縮模塊，用于對(duì)待處理數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮處理；
[0016]所述加密解密模塊，用于對(duì)所述數(shù)據(jù)壓縮模塊進(jìn)行所述數(shù)據(jù)壓縮處理后得到的數(shù)據(jù)進(jìn)行加密處理；
[0017]所述容錯(cuò)編碼模塊，用于對(duì)所述加密解密模塊進(jìn)行所述加密處理后得到的數(shù)據(jù)進(jìn)行容錯(cuò)編碼處理；
[0018]所述數(shù)據(jù)存儲(chǔ)模塊，用于對(duì)所述容錯(cuò)編碼模塊進(jìn)行所述容錯(cuò)編碼處理后得到的數(shù)據(jù)進(jìn)行分布式存儲(chǔ)處理，得到N2個(gè)數(shù)據(jù)塊，N2為正整數(shù)。
[0019]優(yōu)選的，當(dāng)用戶通過所述整合策略選擇接口選定的系統(tǒng)整合策略為第三整合策略時(shí)，則，
[0020]所述加密解密模塊，用于對(duì)待處理數(shù)據(jù)進(jìn)行加密處理；
[0021]所述數(shù)據(jù)壓縮模塊，用于對(duì)所述加密解密模塊進(jìn)行所述加密處理后得到的數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮處理；
[0022]所述容錯(cuò)編碼模塊，用于對(duì)所述數(shù)據(jù)壓縮模塊進(jìn)行所述數(shù)據(jù)壓縮處理后得到的數(shù)據(jù)進(jìn)行容錯(cuò)編碼處理；
[0023]所述數(shù)據(jù)存儲(chǔ)模塊，用于對(duì)所述容錯(cuò)編碼模塊進(jìn)行所述容錯(cuò)編碼處理后得到的數(shù)據(jù)進(jìn)行分布式存儲(chǔ)處理，得到N3個(gè)數(shù)據(jù)塊，N3為正整數(shù)。
[0024]優(yōu)選的，當(dāng)用戶通過所述整合策略選擇接口選定的系統(tǒng)整合策略為第四整合策略時(shí)，則，
[0025]所述容錯(cuò)編碼模塊，用于對(duì)待處理數(shù)據(jù)進(jìn)行容錯(cuò)編碼處理；
[0026]所述數(shù)據(jù)存儲(chǔ)模塊，用于對(duì)所述容錯(cuò)編碼模塊進(jìn)行所述容錯(cuò)編碼處理后得到的數(shù)據(jù)進(jìn)行分布式存儲(chǔ)處理，得到N4個(gè)數(shù)據(jù)塊，N4為正整數(shù)；
[0027]所述加密解密模塊，用于分別對(duì)所述N4個(gè)數(shù)據(jù)塊中的每一個(gè)數(shù)據(jù)塊進(jìn)行加密處理，相應(yīng)地得到N4個(gè)加密數(shù)據(jù)塊；
[0028]所述數(shù)據(jù)壓縮模塊，用于分別對(duì)所述N4個(gè)加密數(shù)據(jù)塊中的每一個(gè)加密數(shù)據(jù)塊進(jìn)行數(shù)據(jù)壓縮處理，相應(yīng)地得到N4個(gè)壓縮數(shù)據(jù)塊。
[0029]優(yōu)選的，當(dāng)用戶通過所述整合策略選擇接口選定的系統(tǒng)整合策略為第五整合策略時(shí)，則，
[0030]所述容錯(cuò)編碼模塊，用于對(duì)待處理數(shù)據(jù)進(jìn)行容錯(cuò)編碼處理；
[0031]所述數(shù)據(jù)存儲(chǔ)模塊，用于對(duì)所述容錯(cuò)編碼模塊進(jìn)行所述容錯(cuò)編碼處理后得到的數(shù)據(jù)進(jìn)行分布式存儲(chǔ)處理，得到N5個(gè)數(shù)據(jù)塊，N5為正整數(shù)；
[0032]所述數(shù)據(jù)壓縮模塊，用于分別對(duì)所述N5個(gè)數(shù)據(jù)塊中的每一個(gè)數(shù)據(jù)塊進(jìn)行數(shù)據(jù)壓縮處理，相應(yīng)地得到N5個(gè)壓縮數(shù)據(jù)塊；
[0033]所述加密解密模塊，用于分別對(duì)所述N5個(gè)壓縮數(shù)據(jù)塊中的每一個(gè)壓縮數(shù)據(jù)塊進(jìn)行加密處理，相應(yīng)地得到N5個(gè)加密數(shù)據(jù)塊。
[0034]優(yōu)選的，當(dāng)用戶通過所述整合策略選擇接口選定的系統(tǒng)整合策略為第六整合策略時(shí)，則，
[0035]所述數(shù)據(jù)壓縮模塊，用于對(duì)待處理數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮處理；
[0036]所述容錯(cuò)編碼模塊，用于對(duì)所述數(shù)據(jù)壓縮模塊進(jìn)行所述數(shù)據(jù)壓縮處理后得到的數(shù)據(jù)進(jìn)行容錯(cuò)編碼處理；
[0037]所述數(shù)據(jù)存儲(chǔ)模塊，用于對(duì)所述容錯(cuò)編碼模塊進(jìn)行所述容錯(cuò)編碼處理后得到的數(shù)據(jù)進(jìn)行分布式存儲(chǔ)處理，得到N6個(gè)數(shù)據(jù)塊，N6為正整數(shù)；
[0038]所述加密解密模塊，用于分別對(duì)所述N6個(gè)數(shù)據(jù)塊中的每一個(gè)數(shù)據(jù)塊進(jìn)行加密處理，相應(yīng)地得到N6個(gè)加密數(shù)據(jù)塊。
[0039]本發(fā)明還公開了一種應(yīng)用于分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，包括:
[0040]為用戶提供整合策略選擇接口，以獲取用戶通過所述整合策略選擇接口，從預(yù)設(shè)策略數(shù)據(jù)庫中選擇的系統(tǒng)整合策略；所述系統(tǒng)整合策略用于規(guī)定預(yù)設(shè)的四種數(shù)據(jù)處理技術(shù)中各種數(shù)據(jù)處理技術(shù)對(duì)待處理數(shù)據(jù)進(jìn)行處理的先后順序；
[0041]利用所述四種數(shù)據(jù)處理技術(shù)，并依據(jù)所述系統(tǒng)整合策略中規(guī)定的對(duì)數(shù)據(jù)進(jìn)行處理的先后順序，依次對(duì)待處理數(shù)據(jù)進(jìn)行相應(yīng)的處理；
[0042]其中，所述四種數(shù)據(jù)處理技術(shù)包括分布式存儲(chǔ)技術(shù)、容錯(cuò)編碼技術(shù)、數(shù)據(jù)壓縮技術(shù)和加密解密技術(shù)；所述分布式存儲(chǔ)技術(shù)用于對(duì)數(shù)據(jù)進(jìn)行分布式存儲(chǔ)處理，所述容錯(cuò)編碼技術(shù)用于對(duì)數(shù)據(jù)進(jìn)行容錯(cuò)編碼處理，所述數(shù)據(jù)壓縮技術(shù)用于對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮處理，所述加密解密技術(shù)用于對(duì)數(shù)據(jù)進(jìn)行加密處理或解密處理。
[0043]優(yōu)選的，所述系統(tǒng)整合策略為第一整合策略、第二整合策略、第三整合策略、第四整合策略、第五整合策略和第六整合策略中的任意一種整合策略。
[0044]優(yōu)選的，所述第一整合策略規(guī)定的先后順序?yàn)橐来螌?duì)待處理數(shù)據(jù)進(jìn)行加密處理、容錯(cuò)編碼處理、分布式存儲(chǔ)處理和數(shù)據(jù)壓縮處理；
[0045]所述第二整合策略規(guī)定的先后順序?yàn)橐来螌?duì)待處理數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮處理、加密處理、容錯(cuò)編碼處理和分布式存儲(chǔ)處理；
[0046]所述第三整合策略規(guī)定的先后順序?yàn)橐来螌?duì)待處理數(shù)據(jù)進(jìn)行加密處理、數(shù)據(jù)壓縮處理、容錯(cuò)編碼處理和分布式存儲(chǔ)處理；
[0047]所述第四整