-1) L異或運算。而第二個校驗數(shù)據(jù)塊是泛對角線上 k個數(shù)據(jù)塊的異或得到,也需要化-DL異或運算。所W RDP的編碼復雜度是最優(yōu)的。 W67] CRS編碼,有一個稱為W的分組數(shù)量,未經過任何優(yōu)化的編碼需要大約 - 1)1 bit異或計算,由于經過優(yōu)化,平均每個校驗數(shù)據(jù)塊的異或計算量可W達到大約 但實際上因為W > logzn,通常有W > 4(n > 9),所W編碼時,每個校驗數(shù) '4 據(jù)塊的異或運算要大于化-1)L。CRS的編碼復雜度沒有達到最優(yōu)。
[0068] 對于BRS碼,系統(tǒng)總共有(n-k)個校驗數(shù)據(jù)塊,每個校驗數(shù)據(jù)塊是k個原始數(shù)據(jù)塊 通過異或運算得到。因此,計算每個校驗數(shù)據(jù)塊編碼需要化-DL異或運算。BRS的編碼復 雜度也是最優(yōu)的。
[0069] 2. 3. 2解碼計算復雜度
[0070] RDP碼是通過迭代解碼的,本身不設及有限域計算。假設原始數(shù)據(jù)塊故障的數(shù)量為 r (r《2),那重構時所需要的異或計算量為r化-1) L bit。
[0071] CRS使用了二進制矩陣,避免了有限域計算,加快了計算速度。但解碼由二進制矩 陣決定,平均解碼時的異或數(shù)量是大約^ ^的-1化biL由于通常w〉3, CRS碼也無法做到解 碼最優(yōu)。
[0072] BRS碼像畑P碼一樣,也是通過迭代解碼的,本身不設及有限域計算。假設原始數(shù) 據(jù)塊故障的數(shù)量為r,(r《n-k),那重構時所需要的異或計算量就是r化-1) L。
[0073] 2. 3. 3更新計算復雜度
[0074] DRP雖然編碼和解碼都能達到最優(yōu),但更新時卻比較麻煩。每當原始數(shù)據(jù)有1個 bit改變時,按行異或得到的校驗數(shù)據(jù)塊只需要更新1個bit,而按泛對角線異或得到的校 驗數(shù)據(jù)塊需要依賴原始數(shù)據(jù)塊和按行異或得到的校驗數(shù)據(jù)塊,它需要更新2個bit。所W每 次更新化it時,平均每個校驗數(shù)據(jù)塊需要更新1.化it。
[00巧]CRS的編碼過程經過優(yōu)化,但更新過程卻很難優(yōu)化。CRS的更新復雜度和它的二 進制生成矩陣緊密聯(lián)系在一起。平均來說,每次更新化it,每個校驗數(shù)據(jù)塊需要更新大約
[0076] BRS的更新過程跟它的編碼過程差不多。在編碼時,因為原始數(shù)據(jù)的每一個bit只 需要引用一次,如果原始數(shù)據(jù)中有一個bit發(fā)生了改變,每個校驗數(shù)據(jù)塊中只需要對應地 改變1個bit就能完成更新。相比于畑P和CRS,BRS有著更優(yōu)越的更新復雜度。同時,BRS 已經達到了最優(yōu)的更新復雜度。
[0077] 下面是本文引用的編碼的復雜度比較
[0079] BRS碼相比傳統(tǒng)里德所羅口碼,最大的優(yōu)勢在于其大大減小了編解碼過程中計算 復雜度,使用了簡單易于實施的異或運算,并且避免了有限域復雜的運算。傳統(tǒng)里德所羅口 碼的構造基于有限域GF(q),編解碼過程中設計到的有限域加法、減法W及乘法。有限域的 運算雖然理論研究比較成熟,但實際運用起來比較繁瑣、時間消耗大,明顯不能符合當今分 布式存儲系統(tǒng)快速可靠的設計指標。BRS碼則不同,編解碼的運算僅僅限于快速的異或運 算,大大提高了數(shù)據(jù)上傳和下載的速率,很大程度上減少了系統(tǒng)操作復雜度(如元數(shù)據(jù)更 新、更新后的數(shù)據(jù)廣播等)。在實際的分布式存儲系統(tǒng)中具有很高的應用價值和發(fā)展?jié)摿Α?BRS碼不僅擁有最優(yōu)的編解碼速度,同時也擁有最快的更新速度。面對龐大的數(shù)據(jù)量更新, BRS能W最快的速度完成更新,在最短的時間內完成任務,節(jié)省時間和資源,既能減少成本 的消耗又能達到一種良好的用戶體驗。
[0080] BRS碼可W保證像其他的里德所羅口碼結點存儲數(shù)據(jù)量小。BRS碼還具有的MDS 屬性能讓系統(tǒng)能夠容納多個結點故障,而不引起數(shù)據(jù)的丟失。同時BRS碼可W實現(xiàn)結點精 確修復,即系統(tǒng)修復后的數(shù)據(jù)與結點丟失的數(shù)據(jù)完全一致,運使得BRS碼易于實施、修復及 更新代價低。
[0081] W上內容是結合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細說明,不能認定 本發(fā)明的具體實施只局限于運些說明。對于本發(fā)明所屬技術領域的普通技術人員來說,在 不脫離本發(fā)明構思的前提下,還可W做出若干簡單推演或替換,都應當視為屬于本發(fā)明的 保護范圍。
【主權項】
1. 一種基于二進制域里德所羅口碼度inaryReed-Solomon Code,簡為BRS碼)的數(shù)據(jù) 編解碼方法,其特征在于:包括W下步驟:(A)原始數(shù)據(jù)構建二進制域里德所羅口碼;度)更 新二進制域里德所羅口碼;似重構二進制域里德所羅口碼;所述步驟(A)、步驟做W及 步驟(C)中的運算均采用異或運算。2. 根據(jù)權利要求1所述的基于二進制域里德所羅口碼的數(shù)據(jù)編解碼 方法,其特征在于:所述原始數(shù)據(jù)包括k個長度為L bit原始的數(shù)據(jù)塊,記 為Si= S i,A,2. . . Si,L, i = 0, 1,2,. . .,k-1 ;校驗數(shù)據(jù)塊IHa通過如下方式給 出:巧,二相(/^)巧5徊)史…巧&_1(心);校驗數(shù)據(jù)塊m。唯一的標識符為 原。=(咕,'"I",…,/拍)=(0, 2幻,…,(A -1)幻),幻二化1,2…?," 't ' 1.;原始的數(shù)據(jù)塊和 校驗數(shù)據(jù)塊是線性獨立的;原始的數(shù)據(jù)塊被存放在系統(tǒng)結點中,校驗數(shù)據(jù)塊被存放在校驗 結點中。3. 根據(jù)權利要求2所述的基于二進制域里德所羅口碼的數(shù)據(jù)編解碼方法,其 特征在于:所述步驟(A)中進一步包括:(Al)原始數(shù)據(jù)分塊,將原始數(shù)據(jù)B平均分 割成k個數(shù)據(jù)塊,每個數(shù)據(jù)塊有化it數(shù)據(jù),記為S= (S。,Si,...,Ski) ;(A2)構建校 驗數(shù)據(jù)塊 M = (m。,nil,...,Hin k 1),照r 二完方y(tǒng) 二化 1,喪-1 ' 其中,f/:表 示在原始數(shù)據(jù)塊S,前面添加的"0"的比特數(shù),從而形成校驗數(shù)據(jù)塊nil;其中為 (咕,/f,與',/記)二(0,幻,.2",…,(/( _ 1 )£/),W 二 0,1,…,巧 _/( _ 1. ; (A3)節(jié)點存儲數(shù)據(jù)進 行分發(fā),將原始數(shù)據(jù)塊和校驗數(shù)據(jù)塊共計n塊發(fā)送到n個節(jié)點上;每個結點存儲數(shù)據(jù),結點 Ni (i = 0, 1,. . .,n-1)存儲的數(shù)據(jù)為 s〇, Si, S2,. . .,Sk 1,m〇, mi, m2,. . .,m。k 1,校驗數(shù)據(jù)塊通過 異或運算獲取。4. 根據(jù)權利要求1所述的基于二進制域里德所羅口碼的數(shù)據(jù)編解碼方法,其特征在 于:所述步驟度)中進一步包括:度1)新的原始數(shù)據(jù)塊分塊,將更新后的文件進行分塊,分 成新的k個原始數(shù)據(jù)塊;度2)將新的原始數(shù)據(jù)塊和對應的舊的原始數(shù)據(jù)塊進行比較,算出 每個塊的變化量;度3)判斷每個塊是不是發(fā)生改變,若發(fā)生改變,每個校驗數(shù)據(jù)塊根據(jù)冗 余符號,在對應的位置上加上變化量,完成編碼的更新;若沒有發(fā)生改變則不進行任何操 作。5. 根據(jù)權利要求1所述的基于二進制域里德所羅口碼的數(shù)據(jù)編解碼方法,其特征在 于:所述步驟(C)中進一步包括:收集任意k個結點上的原始數(shù)據(jù)塊和/或校驗數(shù)據(jù)塊,通 過循環(huán)迭代進行異或計算完成解碼。
【專利摘要】本發(fā)明涉及分布式存儲系統(tǒng)領域,尤其涉及一種基于二進制域里德所羅門碼(Binary?Reed-Solomon?Code,簡為BRS碼)的數(shù)據(jù)編解碼方法,包括以下步驟:(A)原始數(shù)據(jù)構建二進制域里德所羅門碼;(B)更新二進制域里德所羅門碼;(C)重構二進制域里德所羅門碼;所述步驟(A)、步驟(B)以及步驟(C)中的運算均采用異或運算。本發(fā)明的有益效果是:通過該方法大大提高了數(shù)據(jù)上傳和下載的速率,很大程度上減少了系統(tǒng)操作復雜度(如元數(shù)據(jù)更新、更新后的數(shù)據(jù)廣播等);在實際的分布式存儲系統(tǒng)中具有很高的應用價值和發(fā)展?jié)摿Α?br>【IPC分類】H03M13/15, H04L29/08
【公開號】CN105518996
【申請?zhí)枴緾N201480038232
【發(fā)明人】李揮, 侯韓旭, 陳俊, 朱兵, 李碩彥
【申請人】深圳賽思鵬科技發(fā)展有限公司
【公開日】2016年4月20日
【申請日】2014年12月16日
【公告號】WO2016058262A1