增量數(shù)據(jù)同步方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)同步技術(shù)，特別涉及一種增量數(shù)據(jù)同步方法和裝置。
【背景技術(shù)】
[0002] 在信息時代，數(shù)據(jù)作為一種資源，其永久存儲、安全性及有效性，在各個領(lǐng)域都具 有重要的意義，直接影響著數(shù)據(jù)使用者的業(yè)務(wù)持續(xù)性。重要數(shù)據(jù)的丟失將直接導(dǎo)致業(yè)務(wù)中 斷，并帶來巨大的損失。為了提高數(shù)據(jù)的可靠性，現(xiàn)有技術(shù)通常采用數(shù)據(jù)同步技術(shù)，將數(shù)據(jù) 傳輸?shù)疆惖剡M(jìn)行備份，當(dāng)某一處數(shù)據(jù)出現(xiàn)丟失或故障時，可以利用備份繼續(xù)提供服務(wù)，或?qū)?數(shù)據(jù)進(jìn)行恢復(fù)。
[0003]目前，數(shù)據(jù)同步方法主要涉及完全同步方法和增量同步方法，完全同步方法是主 設(shè)備將數(shù)據(jù)全部傳輸?shù)絺溆迷O(shè)備，增量同步方法是主設(shè)備將發(fā)生變化的數(shù)據(jù)傳輸?shù)絺溆迷O(shè) 備。實(shí)際使用表明，這兩種同步方法都存在不足。完全同步方法由于傳輸數(shù)據(jù)量大，因此完 全同步過程需要占用大量的網(wǎng)絡(luò)資源，同時需要花費(fèi)較多的時間，同步效率低。增量同步方 法雖然不像完全同步方法那樣占用大量的網(wǎng)絡(luò)帶寬，但由于需要對原始文件與修改文件做 大量計(jì)算，且計(jì)算復(fù)雜度較高，因此增量同步過程需要占用大量的計(jì)算資源，嚴(yán)重影響系統(tǒng) 性能。

【發(fā)明內(nèi)容】

[0004] 為了解決上述技術(shù)問題，本發(fā)明提供一種增量數(shù)據(jù)同步方法和裝置，有效克服現(xiàn) 有同步方法占用大量網(wǎng)絡(luò)資源和占用大量計(jì)算資源的缺陷，提高同步效率。
[0005] 為了達(dá)到本發(fā)明目的，本發(fā)明提供了一種增量數(shù)據(jù)同步方法，包括：
[0006] 以N字節(jié)為單位，將修改文件拆分成若干個數(shù)據(jù)塊；
[0007] 計(jì)算得到每個數(shù)據(jù)塊的弱哈希值和強(qiáng)哈希值，生成修改文件哈希表；
[0008] 將原始文件與修改文件哈希表進(jìn)行比對，根據(jù)匹配數(shù)據(jù)塊偏移值集合得到修改文 件的增量數(shù)據(jù)，進(jìn)行增量數(shù)據(jù)同步。
[0009] 進(jìn)一步地，所述計(jì)算得到每個數(shù)據(jù)塊的弱哈希值和強(qiáng)哈希值具體為：對每個數(shù)據(jù) 塊進(jìn)行弱校驗(yàn)和與強(qiáng)校驗(yàn)和計(jì)算，得到每個數(shù)據(jù)塊的弱校驗(yàn)和與強(qiáng)校驗(yàn)和，對每個弱校驗(yàn) 和與強(qiáng)校驗(yàn)和進(jìn)行哈希計(jì)算，得到每個數(shù)據(jù)塊的弱哈希值和強(qiáng)哈希值。
[0010] 進(jìn)一步地，所述弱校驗(yàn)和計(jì)算采用adler-32算法，所述強(qiáng)校驗(yàn)和計(jì)算采用MD5哈 希算法。
[0011] 進(jìn)一步地，所述將原始文件與修改文件哈希表進(jìn)行比對，根據(jù)匹配數(shù)據(jù)塊偏移值 集合得到修改文件的增量數(shù)據(jù)，進(jìn)行增量數(shù)據(jù)同步，具體為：
[0012] 設(shè)置偏移值M= 1，創(chuàng)建匹配數(shù)據(jù)塊偏移值集合；
[0013] 在原始文件中提取第M字節(jié)到第M+N-1字節(jié)作為比對數(shù)據(jù)塊；
[0014] 對所述比對數(shù)據(jù)塊進(jìn)行弱校驗(yàn)和與哈希計(jì)算，得到弱哈希值；將所述弱哈希值與 修改文件哈希表進(jìn)行比對；
[0015] 若匹配不成功，設(shè)置偏移值M=M+1，重新執(zhí)行提取比對數(shù)據(jù)塊步驟；
[0016] 若匹配成功，對所述比對數(shù)據(jù)塊進(jìn)行強(qiáng)校驗(yàn)和與哈希計(jì)算，得到強(qiáng)哈希值；將所述 強(qiáng)哈希值與修改文件哈希表進(jìn)行比對；
[0017] 若匹配不成功，設(shè)置偏移值M=M+1，重新執(zhí)行提取比對數(shù)據(jù)塊步驟；
[0018] 若匹配成功，將所述偏移值M添加到所述匹配數(shù)據(jù)塊偏移值集合中，設(shè)置偏移值M =M+N，重新執(zhí)行提取比對數(shù)據(jù)塊步驟；
[0019] 原始文件所有字節(jié)比對完成后，根據(jù)所述匹配數(shù)據(jù)塊偏移值集合得到修改文件的 增量數(shù)據(jù)，進(jìn)行增量數(shù)據(jù)同步。
[0020] 進(jìn)一步地，將所述弱哈希值或強(qiáng)哈希值與修改文件哈希表進(jìn)行比對具體為：將所 述比對數(shù)據(jù)塊的弱哈希值或強(qiáng)哈希值與修改文件哈希表中的每個弱哈希值或強(qiáng)哈希值進(jìn) 行比對，判斷是否存在匹配項(xiàng)，存在匹配項(xiàng)則匹配成功，不存在匹配項(xiàng)則匹配不成功。
[0021] 為了達(dá)到本發(fā)明目的，本發(fā)明還提供了一種增量數(shù)據(jù)同步裝置，包括主設(shè)備和備 用設(shè)備，所述主設(shè)備包括拆分模塊、計(jì)算模塊和同步模塊，其中，
[0022] 拆分模塊，用于以N字節(jié)為單位，將修改文件拆分成若干個數(shù)據(jù)塊；
[0023] 計(jì)算模塊，用于計(jì)算得到每個數(shù)據(jù)塊的弱哈希值和強(qiáng)哈希值，生成修改文件哈希 表，并將所述修改文件哈希表發(fā)送給備用設(shè)備；
[0024] 同步模塊，用于根據(jù)所述備用設(shè)備發(fā)送的匹配數(shù)據(jù)塊偏移值集合得到修改文件的 增量數(shù)據(jù)，進(jìn)行增量數(shù)據(jù)同步。
[0025] 進(jìn)一步地，所述計(jì)算得到每個數(shù)據(jù)塊的弱哈希值和強(qiáng)哈希值具體為：對每個數(shù)據(jù) 塊進(jìn)行弱校驗(yàn)和與強(qiáng)校驗(yàn)和計(jì)算，得到每個數(shù)據(jù)塊的弱校驗(yàn)和與強(qiáng)校驗(yàn)和，對每個弱校驗(yàn) 和與強(qiáng)校驗(yàn)和進(jìn)行哈希計(jì)算，得到每個數(shù)據(jù)塊的弱哈希值和強(qiáng)哈希值。
[0026] 進(jìn)一步地，所述弱校驗(yàn)和計(jì)算采用adler-32算法，所述強(qiáng)校驗(yàn)和計(jì)算采用MD5哈 希算法。
[0027] 進(jìn)一步地，所述備用設(shè)備包括提取模塊、比對模塊和集合模塊，其中，
[0028] 提取模塊，用于在原始文件中提取第M字節(jié)到第M+N-1字節(jié)作為比對數(shù)據(jù)塊，將所 述比對數(shù)據(jù)塊發(fā)送給比對模塊，M為偏移值；
[0029] 比對模塊，與所述主設(shè)備的計(jì)算模塊連接，用于接收所述計(jì)算模塊發(fā)送的修改文 件哈希表；與所述提取模塊連接，用于計(jì)算所述比對數(shù)據(jù)塊的弱哈希值，將所述弱哈希值與 修改文件哈希表進(jìn)行比對；若匹配不成功，將偏移值M向后移動一個字節(jié)，重新執(zhí)行提取模 塊，若匹配成功，計(jì)算所述比對數(shù)據(jù)塊的強(qiáng)哈希值，將所述強(qiáng)哈希值與修改文件哈希表進(jìn)行 比對；若匹配不成功，將偏移值M向后移動一個字節(jié)，重新執(zhí)行提取模塊，若匹配成功，將所 述偏移值發(fā)送給集合模塊，將偏移值向后移動N個字節(jié)，重新執(zhí)行提取模塊；
[0030] 集合模塊，與所述比對模塊連接，用于將接收的偏移添加到匹配數(shù)據(jù)塊偏移值集 合中；原始文件所有字節(jié)比對完成后，將所述匹配數(shù)據(jù)塊偏移值集合發(fā)送給主設(shè)備的同步 豐旲塊。
[0031] 進(jìn)一步地，計(jì)算所述比對數(shù)據(jù)塊的弱哈希值或強(qiáng)哈希值，將所述弱哈希值或強(qiáng)哈 希值與修改文件哈希表進(jìn)行比對具體為：對所述比對數(shù)據(jù)塊進(jìn)行弱校驗(yàn)或強(qiáng)校驗(yàn)計(jì)算得到 弱校驗(yàn)和或強(qiáng)校驗(yàn)和，對所述弱校驗(yàn)和或強(qiáng)校驗(yàn)和進(jìn)行哈希計(jì)算得到比對數(shù)據(jù)塊的弱哈希 值或強(qiáng)哈希值，將所述比對數(shù)據(jù)塊的弱哈希值或強(qiáng)哈希值與修改文件哈希表中的每個弱哈 希值或強(qiáng)哈希值進(jìn)行比對，判斷是否存在匹配項(xiàng)，存在匹配項(xiàng)則匹配成功，不存在匹配項(xiàng)則 匹配不成功。
[0032] 本發(fā)明提供了一種增量數(shù)據(jù)同步方法和裝置，先將修改文件劃分成多個數(shù)據(jù)塊， 并計(jì)算每個數(shù)據(jù)塊的摘要信息，然后將原始文件中比對數(shù)據(jù)塊的摘要信息與修改文件每個 數(shù)據(jù)塊的摘要信息進(jìn)行比對，計(jì)算出修改文件的增量數(shù)據(jù)，進(jìn)行增量數(shù)據(jù)的同步，實(shí)現(xiàn)主設(shè) 備與備用設(shè)備之間的數(shù)據(jù)同步。由于僅同步增量數(shù)據(jù)，同步數(shù)據(jù)量少，因此本發(fā)明方案有效 克服了現(xiàn)有完全同步方法占用大量網(wǎng)絡(luò)資源的缺陷。由于增量數(shù)據(jù)的計(jì)算使用高效的校驗(yàn) 方法，計(jì)算量小，計(jì)算復(fù)雜度低，計(jì)算效率高，且具有很好的時間復(fù)雜度，因此本發(fā)明方案有 效克服了現(xiàn)有增量同步方法占用大量計(jì)算資源的缺陷，提高了同步效率。進(jìn)一步地，本發(fā)明 增量數(shù)據(jù)的計(jì)算與數(shù)據(jù)內(nèi)容無關(guān)，適用于各種類型的文件，可廣泛應(yīng)用到各類型文件系統(tǒng) 的文件同步中。
[0033] 本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變 得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過在說明書、權(quán)利 要求書以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。
【附圖說明】
[0034] 附圖用來提供對本發(fā)明技術(shù)方案的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本 申請的實(shí)施例一起用于解釋本發(fā)明的技術(shù)方案，并不構(gòu)成對本發(fā)明技術(shù)方案的限制。
[0035] 圖1為本發(fā)明增量數(shù)據(jù)同步方法的處理流程圖；
[0036] 圖2為本發(fā)明增量數(shù)據(jù)同步裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0037] 為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下文中將結(jié)合附圖對本發(fā)明 的實(shí)施例進(jìn)行詳細(xì)說明。需要說明的是