本發(fā)明涉及云存儲(chǔ)技術(shù)領(lǐng)域，更具體地說(shuō)，涉及一種基于云儲(chǔ)存的直接糾刪碼優(yōu)化方法，還涉及一種基于云儲(chǔ)存的直接糾刪碼優(yōu)化系統(tǒng)。

背景技術(shù)：

在計(jì)算機(jī)技術(shù)高速發(fā)展的今天，數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)，云存儲(chǔ)系統(tǒng)的數(shù)據(jù)存儲(chǔ)的速度越來(lái)越倍受關(guān)注，其中，糾刪碼作為存儲(chǔ)系統(tǒng)容錯(cuò)的主要方式越來(lái)越受到重視。

糾刪碼的前端存在一個(gè)緩存池，數(shù)據(jù)先寫(xiě)入緩存池中，滿足一定條件后數(shù)據(jù)會(huì)從緩存池中轉(zhuǎn)移到糾刪池中，而不是有數(shù)據(jù)寫(xiě)入時(shí)直接寫(xiě)入糾刪池中。在云存儲(chǔ)系統(tǒng)直接糾刪碼中，取消了前端的緩存池，其實(shí)現(xiàn)原理為先將源數(shù)據(jù)讀到內(nèi)存中，再將隊(duì)列中所有的操作應(yīng)用到內(nèi)存的源數(shù)據(jù)上，操作應(yīng)用完成后，最后進(jìn)行完全覆蓋寫(xiě)入，存在數(shù)據(jù)重復(fù)寫(xiě)入的情況。

因此，如何避免直接糾刪碼中大量數(shù)據(jù)重復(fù)寫(xiě)入，提高寫(xiě)入效率是本領(lǐng)域技術(shù)人員急需要解決的技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種基于云儲(chǔ)存的直接糾刪碼優(yōu)化方法，能夠避免直接糾刪碼中大量數(shù)據(jù)重復(fù)寫(xiě)入，提高寫(xiě)入效率。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于云儲(chǔ)存的直接糾刪碼優(yōu)化方法，包括：

接收客戶端發(fā)送的操作，判斷所述操作是否為正確操作，如果是，將所述操作寫(xiě)入隊(duì)列；

遍歷所述隊(duì)列中的所有操作并記錄所述操作的數(shù)據(jù)范圍信息，將所述操作以及所述數(shù)據(jù)范圍信息分別進(jìn)行合并；

根據(jù)合并后的數(shù)據(jù)范圍信息判斷合并后的操作是否為對(duì)齊操作，如果是，則生成對(duì)齊操作事務(wù)；

將所述對(duì)齊操作事務(wù)提交至云存儲(chǔ)系統(tǒng)中進(jìn)行數(shù)據(jù)落盤(pán)，完成數(shù)據(jù)寫(xiě)入。

優(yōu)選的，在上述基于云儲(chǔ)存的直接糾刪碼優(yōu)化方法中，

如果所述合并后的操作不是所述對(duì)齊操作，則生成完全覆蓋寫(xiě)操作事務(wù)；

將所述完全覆蓋寫(xiě)操作事務(wù)提交至云存儲(chǔ)系統(tǒng)中進(jìn)行數(shù)據(jù)落盤(pán)，完成數(shù)據(jù)寫(xiě)入。

優(yōu)選的，在上述基于云儲(chǔ)存的直接糾刪碼優(yōu)化方法中，所述將所述對(duì)齊操作事務(wù)提交至云存儲(chǔ)系統(tǒng)中進(jìn)行數(shù)據(jù)落盤(pán)，完成數(shù)據(jù)寫(xiě)入，之后還包括：將數(shù)據(jù)寫(xiě)入成功結(jié)果反饋至所述客戶端。

優(yōu)選的，在上述基于云儲(chǔ)存的直接糾刪碼優(yōu)化方法中，所述將數(shù)據(jù)寫(xiě)入成功結(jié)果反饋至所述客戶端之后，還包括：

將客戶端發(fā)送的所述操作從所述客戶端中刪除。

本發(fā)明還提供了一種基于云儲(chǔ)存的直接糾刪碼優(yōu)化系統(tǒng)，包括：

預(yù)處理模塊，用于接收客戶端發(fā)送的操作，判斷所述操作是否為正確操作，如果是，將所述操作寫(xiě)入隊(duì)列；

合并模塊，用于遍歷所述隊(duì)列中的所有操作并記錄所述操作的數(shù)據(jù)范圍信息，將所述操作以及所述數(shù)據(jù)范圍信息分別進(jìn)行合并；

判斷模塊，用于根據(jù)合并后的數(shù)據(jù)范圍信息判斷合并后的操作是否為對(duì)齊操作，如果是，則生成對(duì)齊操作事務(wù)；

提交模塊，用于將所述對(duì)齊操作事務(wù)提交至云存儲(chǔ)系統(tǒng)中進(jìn)行數(shù)據(jù)落盤(pán)，完成數(shù)據(jù)寫(xiě)入。

優(yōu)選的，在上述基于云儲(chǔ)存的直接糾刪碼優(yōu)化系統(tǒng)中，所述判斷模塊還用于如果所述合并后的操作不是所述對(duì)齊操作，則生成完全覆蓋寫(xiě)操作事務(wù)；

將所述完全覆蓋寫(xiě)操作事務(wù)提交至云存儲(chǔ)系統(tǒng)中進(jìn)行數(shù)據(jù)落盤(pán)，完成數(shù)據(jù)寫(xiě)入。

優(yōu)選的，在上述基于云儲(chǔ)存的直接糾刪碼優(yōu)化系統(tǒng)中，還包括：

反饋模塊，用于將數(shù)據(jù)寫(xiě)入成功結(jié)果反饋至所述客戶端。

優(yōu)選的，在上述基于云儲(chǔ)存的直接糾刪碼優(yōu)化系統(tǒng)中，還包括：

刪除模塊，用于將客戶端發(fā)送的所述操作從所述客戶端中刪除。

從上述技術(shù)方案可以看出，本發(fā)明所提供的一種基于云儲(chǔ)存的直接糾刪碼優(yōu)化方法，包括：接收客戶端發(fā)送的操作，判斷所述操作是否為正確操作，如果是，將所述操作寫(xiě)入隊(duì)列；遍歷所述隊(duì)列中的所有操作并記錄所述操作的數(shù)據(jù)范圍信息，將所述操作以及所述數(shù)據(jù)范圍信息分別進(jìn)行合并；根據(jù)合并后的數(shù)據(jù)范圍信息判斷合并后的操作是否為對(duì)齊操作，如果是，則生成對(duì)齊操作事務(wù)；將所述對(duì)齊操作事務(wù)提交至云存儲(chǔ)系統(tǒng)中進(jìn)行數(shù)據(jù)落盤(pán)，完成數(shù)據(jù)寫(xiě)入。

直接糾刪碼讀取磁盤(pán)的上的源有數(shù)據(jù)到內(nèi)存中，再將客戶端發(fā)送來(lái)的操作應(yīng)用到內(nèi)存中的源數(shù)據(jù)上，由于現(xiàn)有技術(shù)中即優(yōu)化前的方法是將內(nèi)存中所有數(shù)據(jù)，所有數(shù)據(jù)包括源數(shù)據(jù)和操作附帶的數(shù)據(jù)以完全覆蓋的形式寫(xiě)入磁盤(pán)上，此方法重復(fù)寫(xiě)入了源數(shù)據(jù)。而本發(fā)明提供的方法，首先判斷了客戶端的操作是否是糾刪碼條帶對(duì)齊，如果操作是糾刪碼條帶對(duì)齊，僅僅將操作附帶的數(shù)據(jù)以追加寫(xiě)的形式寫(xiě)入磁盤(pán)，即將糾刪碼條帶對(duì)齊的數(shù)據(jù)寫(xiě)入磁盤(pán)，而避免了源數(shù)據(jù)的重復(fù)寫(xiě)入，從而提高了數(shù)據(jù)寫(xiě)入的效率。

將隊(duì)列中的操作遍歷，并記錄所述操作的數(shù)據(jù)范圍信息，將所述操作以及所述數(shù)據(jù)范圍信息分別進(jìn)行合并，由于將操作合并，即一次可以處理多個(gè)操作，提高處理效率。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例提供的一種基于云儲(chǔ)存的直接糾刪碼優(yōu)化方法示意圖；

圖2為本發(fā)明實(shí)施例提供的一種基于云儲(chǔ)存的直接糾刪碼優(yōu)化系統(tǒng)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

請(qǐng)參閱圖1，圖1為本發(fā)明實(shí)施例提供的一種基于云儲(chǔ)存的直接糾刪碼優(yōu)化方法示意圖。

在一種具體的實(shí)施方式中，提供了一種基于云儲(chǔ)存的直接糾刪碼優(yōu)化方法，包括：

步驟S1：接收客戶端發(fā)送的操作，判斷所述操作是否為正確操作，如果是，將所述操作寫(xiě)入隊(duì)列；

云存儲(chǔ)系統(tǒng)的服務(wù)器收到客戶端發(fā)送的操作，首先對(duì)這些操作進(jìn)行預(yù)處理，判斷所述操作是否為正確操作，例如判斷這些操作的參數(shù)是否正確，是否是重復(fù)的操作或者是否存在可以忽略的操作，或者對(duì)這些操作的參數(shù)進(jìn)行處理，如果操作不滿足預(yù)設(shè)條件，則直接返回給客戶端；如果滿足條件，則壓入隊(duì)列中。

步驟S2：遍歷所述隊(duì)列中的所有操作并記錄所述操作的數(shù)據(jù)范圍信息，將所述操作以及所述數(shù)據(jù)范圍信息分別進(jìn)行合并；

遍歷所述隊(duì)列中的所有操作，將隊(duì)列中的操作先應(yīng)用到內(nèi)存中，記錄所述操作的數(shù)據(jù)范圍信息，直到遍歷處理完成隊(duì)列中所有的操作，之后將操作以及所述數(shù)據(jù)范圍信息進(jìn)行合并。

步驟S3：根據(jù)合并后的數(shù)據(jù)范圍信息判斷合并后的操作是否為對(duì)齊操作，如果是，則生成對(duì)齊操作事務(wù)；

其中，云存儲(chǔ)系統(tǒng)中所有的操作都會(huì)封裝成對(duì)應(yīng)的事務(wù)來(lái)處理，這樣能夠保證該操作應(yīng)用完成，或者并未進(jìn)行應(yīng)用，不會(huì)出現(xiàn)應(yīng)用一般的情況。對(duì)齊操作事務(wù)就是對(duì)齊操作執(zhí)行單元，具有原子性，對(duì)齊操作為了保證其原子性都會(huì)封裝成對(duì)應(yīng)的事務(wù)。

步驟S4：將所述對(duì)齊操作事務(wù)提交至云存儲(chǔ)系統(tǒng)中進(jìn)行數(shù)據(jù)落盤(pán)，完成數(shù)據(jù)寫(xiě)入。

其中，根據(jù)判斷結(jié)果將內(nèi)存中的數(shù)據(jù)生成相應(yīng)的事務(wù)，提交給云存儲(chǔ)系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)的落盤(pán)，完成數(shù)據(jù)寫(xiě)入，數(shù)據(jù)的落盤(pán)即文件系統(tǒng)緩存中的數(shù)據(jù)真正的寫(xiě)到硬盤(pán)上。

在上述實(shí)施方式的基礎(chǔ)上，如果所述合并后的操作不是所述對(duì)齊操作，則生成完全覆蓋寫(xiě)操作事務(wù)；

將所述完全覆蓋寫(xiě)操作事務(wù)提交至云存儲(chǔ)系統(tǒng)中進(jìn)行數(shù)據(jù)落盤(pán)，完成數(shù)據(jù)寫(xiě)入。

直接糾刪碼讀取磁盤(pán)的上的源有數(shù)據(jù)到內(nèi)存中，再將客戶端發(fā)送來(lái)的操作應(yīng)用到內(nèi)存中的源數(shù)據(jù)上，由于現(xiàn)有技術(shù)中即優(yōu)化前的方法是將內(nèi)存中所有數(shù)據(jù)，所有數(shù)據(jù)包括源數(shù)據(jù)和操作附帶的數(shù)據(jù)以完全覆蓋的形式寫(xiě)入磁盤(pán)上，此方法重復(fù)寫(xiě)入了源數(shù)據(jù)。而本發(fā)明提供的方法，首先判斷了客戶端的操作是否是糾刪碼條帶對(duì)齊，如果操作是糾刪碼條帶對(duì)齊，僅僅將操作附帶的數(shù)據(jù)以追加寫(xiě)的形式寫(xiě)入磁盤(pán)，即將糾刪碼條帶對(duì)齊的數(shù)據(jù)寫(xiě)入磁盤(pán)，而避免了源數(shù)據(jù)的重復(fù)寫(xiě)入，從而提高了數(shù)據(jù)寫(xiě)入的效率。

將隊(duì)列中的操作遍歷，并記錄所述操作的數(shù)據(jù)范圍信息，將所述操作以及所述數(shù)據(jù)范圍信息分別進(jìn)行合并，由于將操作合并，即一次可以處理多個(gè)操作，提高處理效率。

進(jìn)一步的，在上述基于云儲(chǔ)存的直接糾刪碼優(yōu)化方法中，所述將所述對(duì)齊操作事務(wù)提交至云存儲(chǔ)系統(tǒng)中進(jìn)行數(shù)據(jù)落盤(pán)之后，還包括：

將數(shù)據(jù)寫(xiě)入成功結(jié)果反饋至所述客戶端。

進(jìn)一步的，為了減少數(shù)據(jù)處理量，加快數(shù)據(jù)處理速度，在上述基于云儲(chǔ)存的直接糾刪碼優(yōu)化方法中，所述將所述對(duì)齊操作結(jié)果反饋至所述客戶端之后，還包括：

將客戶端發(fā)送的所述操作從所述客戶端中刪除。

其中，落盤(pán)成功后會(huì)將列表中的客戶端請(qǐng)求操作的結(jié)果反饋給客戶端，并從列表中刪除客戶端的請(qǐng)求操作，完成與客戶端整個(gè)通信過(guò)程。

如圖2所示，圖2為本發(fā)明實(shí)施例提供的一種基于云儲(chǔ)存的直接糾刪碼優(yōu)化系統(tǒng)示意圖。

本發(fā)明還提供了一種基于云儲(chǔ)存的直接糾刪碼優(yōu)化系統(tǒng)，包括：

預(yù)處理模塊100，用于接收客戶端發(fā)送的操作，判斷所述操作是否為正確操作，如果是，將所述操作寫(xiě)入隊(duì)列；

合并模塊200，用于遍歷所述隊(duì)列中的所有操作并記錄所述操作的數(shù)據(jù)范圍信息，將所述操作以及所述數(shù)據(jù)范圍信息分別進(jìn)行合并；

判斷模塊300，用于根據(jù)合并后的數(shù)據(jù)范圍信息判斷合并后的操作是否為對(duì)齊操作，如果是，則生成對(duì)齊操作事務(wù)；

提交模塊400，用于將所述對(duì)齊操作事務(wù)提交至云存儲(chǔ)系統(tǒng)中進(jìn)行數(shù)據(jù)落盤(pán)，完成數(shù)據(jù)寫(xiě)入。

進(jìn)一步的，在上述基于云儲(chǔ)存的直接糾刪碼優(yōu)化系統(tǒng)中，

所述判斷模塊300還用于如果所述合并后的操作不是所述對(duì)齊操作，則生成完全覆蓋寫(xiě)操作事務(wù)；

所述提交模塊400還用于將所述完全覆蓋寫(xiě)操作事務(wù)提交至云存儲(chǔ)系統(tǒng)中進(jìn)行數(shù)據(jù)落盤(pán)，完成數(shù)據(jù)寫(xiě)入。

進(jìn)一步的，在上述基于云儲(chǔ)存的直接糾刪碼優(yōu)化系統(tǒng)中，還包括：

反饋模塊，用于將數(shù)據(jù)寫(xiě)入成功結(jié)果反饋至所述客戶端。

進(jìn)一步的，在上述基于云儲(chǔ)存的直接糾刪碼優(yōu)化系統(tǒng)中，還包括：

刪除模塊，用于將客戶端發(fā)送的所述操作從所述客戶端中刪除。

本說(shuō)明書(shū)中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說(shuō)明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似部分互相參見(jiàn)即可。

對(duì)所公開(kāi)的實(shí)施例的上述說(shuō)明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專業(yè)技術(shù)人員來(lái)說(shuō)將是顯而易見(jiàn)的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開(kāi)的原理和新穎特點(diǎn)相一致的最寬的范圍。