專利名稱：通過流緩存實現網間數據傳輸加速的方法
技術領域：
本發(fā)明為一種網間加速技術，特別涉及一種通過減少冗余數據傳輸，提高 網間數據傳輸速度，通過流緩存實現網間數據傳輸加速的方法。背*技術目前，由于網絡的無可便利性，越來越多的企業(yè)和個人通過網絡進行協調辦公和業(yè)務往來。網絡間傳lF的數據量急劇增加，為此需要更高的帶寬以 滿足需求。盡管當前申請互聯網帶寬的費用趨向便宜，但畢竟internet總的帶 寬資源有限，如果不采取一定手段，仍無法保證核心應用對WAN帶寬資源的 需求。另外，隨著新一代無線通信的發(fā)展，更多的企業(yè)和個人趨向于無線辦 公。與有線網絡相比，無線網絡帶寬缺乏尤為明顯，嚴重影響企業(yè)和個人辦 公效率。據統計，廣域網上傳輸數據中，70%左右的數據為冗余信息，理論上說， 70%左右的數據完全沒必要在廣域網傳輸。因此，若采用某壓縮方法，而該方 法可減少70%數據的網上傳輸，則能大幅提高帶寬利用率，降低網絡運營成 本，提高辦事效率。就目前技術來看，絕大多數網絡設備采用lzo及其變形流壓縮算法。該算 法能有效壓縮居于文本文檔或數據庫等信息熵小的數據，但其也存在明顯缺 陷由于其只能在較小數據區(qū)間內壓縮，故壓縮比率不高。另外，其對已被 壓縮的數據包蒼白無力(比如rar， jpg圖像等)，因此提高帶寬利用率相當有 限。發(fā)明內容本發(fā)明的目的在于克服上述現有技術中的不足之處，提供一種通過特征 提取方法快速識別網絡輸入數據，并依據數據流倉庫將重復的數據替換成有設備會將編碼翻譯回原來的數據，從而減少了在 廣域網上傳輸的數據量。由于數據流倉庫很大(可通過硬盤保存，幾百兆到 幾百千GB不等)，可保存比通常壓縮方法更多的重復模式。因此，可在數據 流庫中找到絕大多數的冗余信息，大幅降低網絡數據傳it量，提高帶寬利用 率的一種通過流緩存實現網間數據傳輸加速的方法。 本發(fā)明的目的可以通過以下措施來達到這種通過流緩存實現網間數據傳輸加速的方法，其特殊之處在于，它包 括壓縮流程和解壓縮流程所述壓縮流程，包括以下步驟(1) 、初始化(步驟101);(2) 、提取待壓縮的數據包特征值涉驟102);(3) 、判斷數據流間的匹配是否完畢(步驟103);(4) 、若步驟103的判斷結果為否，則進一步判斷剩余未參加計算的特征 值大于設定值涉驟104);(5) 、若步驟103的判斷結果為是，則經"將數據包保存至數據流倉庫，將數據包中各特征值在數據流倉庫的位置保存至hash文件桶中"(步驟111)、 "在數據包前添加未匹配編碼頭,輸出編碼包"(步驟1112)至完畢(步驟113); (6諾步驟104的判斷結果為是，貝搬據設定值的連續(xù)特征值計算hash桶 號A(步驟105);(7)若步驟104的判斷結果為否，則經"將數據包保存至數據流倉庫,將數 據包中各^K正值在數據流倉庫的位置保存至hash文件桶中"(步驟111)、"在 數據包前添加未匹配編碼頭,輸出編碼包"(步驟U12)至完畢(步驟113);(8涉驟105獲取hash表桶號A的內容，得到在數據流倉庫中的位置B涉 驟1()6);(9)從數據流倉庫位置B開始讀出若干字節(jié)，并保存至一臨時緩沖區(qū)(步驟 103);(IO)尋找臨時緩沖區(qū)與帶壓縮數據包最佳匹配(步驟]08);(U)判斷是否找到匹配(步驟109);的若步驟104的判斷結果為否，則返回步驟103;(B)若步驟104的判斷結果為是，則將編碼包類型設為匹配類型,將匹配結 果編碼輸出(步驟110); W完畢(步驟113);所述解壓縮流程，包括以下步驟 的初始化(步驟201); 腸判斷編碼類型是否未匹配(步驟202); (L力若步驟202的判斷結果為否，則經"根據匹配位置和長度從數據流倉庫 中還原數據包"至"輸出還原數據包完畢"(步驟210);鵬若步驟202的判斷結果為是，則去掉編碼頭，還原數據包(步驟203); 妙將數據包保存至數據流倉庫(步驟204); 鵬取數據包特征值(步驟205);(21) 根據設定值的連續(xù)特征值計算hash桶號A(步驟206);(22) 將數據包中各特征值在數據流倉庫的位置保存至hash文件桶A中(步 驟207);(23) 判斷剩余未參加計算的特征值大于設定值涉驟208);(24) 若步驟208的判斷結果為否，則返回步驟206;(25諾步驟208的判斷結果為是，則輸出還原數據包完畢涉驟210)。本發(fā)明的目的還可以通過以下措施來達到所述步驟101進一步包括以下步驟 (1 )在網關上啟用一個或一個以上的待壓縮編碼模塊，確定所需的資源 大小和相關參數并將其保存至采用配置文件格式配置文件中，配置文件格式 采用但不限于xml、 mml、 ini格式存儲；(2)與對端解壓端對應模塊進行數據初始化同步，包括數據流倉庫大小、數據流倉庫的數據校驗，以保^E壓縮端、解壓端兩邊數據流倉庫的內容 絕對一致，從而使解碼端能根據編碼結果正確還原數據。 所述步驟201進一步包括以下步驟與對端壓縮端對應模塊進行數據初始化同步，包括數據流倉庫大小、 數據流倉庫的數據校驗，以保證壓縮端、解壓端兩邊數據流倉庫的內容絕對 一致，從而使解碼端能根據編碼結果正確還原數據。所述步驟102進一步包括以下步驟(1) 提取數據包特征值，并按其在數據包的出現的順序形成一個特征流； 其中特征值為ascii碼0~255中事先侯取的若干個值，但候選的特征值個數一 定少于255個(步驟1021);(2) 在已提取的特征流中，依次順序利用若干特征值計算出一個hash桶號， 具體采用多少特征值計算可自定義，計算方法可采用但不限于crc32等其他 hash碰撞率較低的算法;若特征流剩余為參與計算特征值個數不足以計算hash 桶號，則跳至設定值涉驟1022);所述步驟1021候選特征值的方法包括以下步驟假設以asdi碼值為3， 5， 7， 11四個字符為候選特征值。某個數據包內 容ascii碼值顯示如下(斜體顯示的字符為特征值)1， 5， '3， 8， 9， 112， 121， 1， 5， 7， 6，仏，3， 234， 7，……，5， 1， 則提取的特征流如下5， 3， 5， 7， 11， 3， 7， ......， 5， 3.........。所述步驟106進一步包括以下步驟U)根據計算出的hash桶號，從hash表中獲得該桶內容，桶的內容為已保 存從前某個數據包某特征值在數據流倉庫中的位置;為提高讀寫hash表速度， 可采用但不限于內存映射方式(步驟1061);(2)若步驟(步驟1061)判斷該桶內容為空，則返回步驟1022。所述步驟1061的hash桶計算原理及桶內容與數據流倉間的關系，則進一 步包括以下步^聚若利用提取的特征值5， 3， 5， 7四個值計算出的hash桶號 為1000 ，而數據流倉庫保存該數據包第一個字節(jié)的位置在9000 ，則保存到hash 表桶1000中的內容為該數據包特征值5在數據流倉庫中的位置，即9001,如 圖3所示。所述步驟109進一步包括以下步驟利用讀出的數據流和待壓縮數據包 輸入到匹配搜索模塊進行模式匹配，找出其盡可能多的匹配；模式匹配算法 可采用但不限于kmp、 bm算法；若找到匹配，則輸出匹配位置和長度，并跳 至設定值+1。本發(fā)明具有如下優(yōu)點1. 從壓縮比率看，由于本發(fā)明采用的數據倉庫很大，能產生極高的壓縮 比率，因此能大幅減少帶寬占用，提高帶寬使用率。2. 從壓縮對象看，本發(fā)明能壓縮包括rar、 jpg等壓縮格式的所有類型的數據，因此應用廣泛。3. 從壓縮處理時間看，本發(fā)明采用基于特征提取的搜索方法，能有效減少搜索匹配消耗的時間，提高了壓縮效率。


圖l是本發(fā)明的壓縮流程圖。 圖2是本發(fā)明的解壓流程圖。圖3是本發(fā)明hash桶計算原理及桶內容與數據流倉庫間關系的示意圖。
具體實施方式
本發(fā)明下面將結合附圖作進一步詳述該通過流緩存實現網間數據傳輸加速的方法，包括壓縮流程和解壓縮流程請參閱圖l所示，所述壓縮流程，包括以下步驟(1) 、初始化，包括(步驟101);① 在網關上啟用一個或一個以上的待壓縮編碼模塊，確定所需的資源大 小和相關參數并將其保存至采用配置文件格式配置文件中，配置文件格式采用但不限于xml、 mml、 ini格式存儲；② 與對端解壓端對應+莫塊進行數據初始化同步，包括數據流倉庫大小、 數據流倉庫的數據校驗，以保證壓縮端、解壓端兩邊數據流倉庫的內容絕對 一致，從而使解碼端能根據編碼結果正確還原數據；(2) 、提取待壓縮的數據包特征值，包括(步驟102);① 提取數據包特征值，并按其在數據包的出現的順序形成一個特征流；其中特征值為ascii碼0~255中事先侯取的若干個值，但候選的特征值個數一 定少于255個(步驟1021);所述步驟1021候選特征值的方法包括以下步驟假設以asdi碼值為3， 5， 7， 11四個字符為候選特征值。某個數據包內 容ascii碼《直顯示如下(斜體顯示的字符為特征值)1， 5， ，3， 8， 9， 112， 121， 1， 5， 7， 6，仏，3， 234， 7， ......， 5， 1，, …；則提取的特征流如下5， 3， 5， 7， 11， 3， 7，……，5， 3.........。② 在已提取的特征流中，依次順序利用若干特征值計算出一個hash桶號， 具體采用多少特征值計算可自定義，計算方法可采用但不限于crc32等其他 hash碰撞率較低的算法;若特征流剩余為參與計算特征值個數不足以計算hash 桶號，貝U跳至7(步驟1022);(3) 、判斷數據流間的匹配是否完畢(步驟103);(4) 、若步驟103的判斷結果為否，則進一步判斷剩余未參加計算的特征 值大于7(步驟104);(5) 、若步驟103的判斷結果為是，則經"將數據包保存至數據流倉庫，將數據包中各特征值在數據流倉庫的位置保存至hash文件桶中"(步驟11])、 "在數據包前添加未匹配編碼頭,輸出編碼包"(步驟1U2)至完畢(步驟113); (6)若步驟104的判斷結果為是，則根據7個的連續(xù)特征值計算hash桶號 A(歩驟105);(7諾步驟104的判斷結果為否，貝輕"將數據包保存至數據流倉庫,將數 據包中各特征值在數據流倉庫的位置保存至hash文件桶中"(步驟111)、"在 數據包前添加未匹配編碼頭，輸出編碼包"(步驟1112)至完畢(步驟113);(8) 步驟105獲取hash表桶號A的內容，得到在數據流倉庫中的位置B (步 驟106);所述步驟106進一步包括以下步驟① 根據計算出的hash桶號，從hash表中獲得該桶內容，桶的內容為已保 存從前某個數據包某f寺征值在數據流倉庫中的位置;為提高讀寫hash表速度， 可采用但不限于內存映射方式(步驟1061);② 若步驟(步驟1061)判斷該桶內容為空，則返回步驟1022。 所述步驟1061的hash桶計算原理及桶內容與數據流倉間的關系，則進一步包括以下步驟若利用提取的特征值5， 3， 5， 7四個值計算出的hash桶號 為1000 ，而數據流倉庫保存該數據包第一個字節(jié)的位置在9000 ，則保存到hash 表桶1000中的內容為該數據包特征值5在數據流倉庫中的位置，即9001;如 圖3所示。(9) 從數據流倉庫位置B開始讀出若干字節(jié)，并保存至一臨時緩沖區(qū)(步驟 103);(H尋找臨時緩沖區(qū)與帶壓縮數據包最佳匹配涉驟108); (U)判斷是否找到匹配(步驟109);所述步驟109進一步包括以下步驟利用讀出的數據流和待壓縮數據包 輸入到匹配搜索模塊進行模式匹配，找出其盡可能多的匹配；模式匹配算法 可采用但不限于kmp、 bm算法；若找到匹配，則輸出匹配位置和長度，并至&,若步驟104的判斷結果為否，貝腿回步驟103; 若步驟104的判斷結果為是，則將編碼包類型設為匹配類型，將匹配結 果編碼輸出(步驟UO); a4完畢(步驟113);請參閱圖2所示，所述解壓縮流程，包括以下步驟(^初始化(步驟201);所述步驟201進一步包括以下步驟與對端壓縮端對應模塊進行數據初始化同步，包括數據流倉庫大小、 數據流倉庫的數據校驗，以保證壓縮端、解壓端兩邊數據流倉庫的內容絕對 一致，從而使解碼端能根據編碼結果正確還原數據；的判斷編碼類型是否未匹配(步驟202);肪若步驟202的判斷結果為否，則經"根據匹配位置和長度從數據流倉 庫中還原數據包"至"輸出還原數據包完畢"(步驟210);胸若步驟202的判斷結果為是，則去掉編碼頭,還原數據包(步驟203);妙將數據包保存至數據流倉庫(步驟204); 幼提取數據包特征值(步驟205);(21) 根據7個連續(xù)特征值計算hash桶號A(步驟206);(22) 將數據包中各特征值在數據流倉庫的位置保存至hash文件桶A中(步 驟207);(23) 判斷剩余未參加計算的f爭征值大于7(步驟208);(24) 若步驟208的判斷結果為否，則返回步驟206;(25) 若步驟208的判斷結果為是，則輸出還原數據包完畢(步驟210)。 以上所述僅為本發(fā)明的較佳實施例，凡依本發(fā)明權利要求范圍所做的均等變化與修飾，皆應屬本發(fā)明權利要求的涵蓋范圍。
權利要求
1. 一種通過流緩存實現網間數據傳輸加速的方法，其特征在于，它包括壓縮流程和解壓縮流程所述壓縮流程，包括以下步驟(1)、初始化(步驟101)；(2)、提取待壓縮的數據包特征值(步驟102)；(3)、判斷數據流間的匹配是否完畢(步驟103)；(4)、若步驟103的判斷結果為否，則進一步判斷剩余未參加計算的特征值大于設定值(步驟104)；(5)、若步驟103的判斷結果為是，則經“將數據包保存至數據流倉庫，將數據包中各特征值在數據流倉庫的位置保存至hash文件桶中”(步驟111)、“在數據包前添加未匹配編碼頭，輸出編碼包”(步驟1112)至完畢(步驟113)；(6)若步驟104的判斷結果為是，則根據設定值的連續(xù)特征值計算hash桶號A(步驟105)；(7)若步驟104的判斷結果為否，則經“將數據包保存至數據流倉庫，將數據包中各特征值在數據流倉庫的位置保存至hash文件桶中”(步驟111)、“在數據包前添加未匹配編碼頭，輸出編碼包”(步驟1112)至完畢(步驟113)；(8)步驟105獲取hash表桶號A的內容，得到在數據流倉庫中的位置B(步驟106)；(9)從數據流倉庫位置B開始讀出若干字節(jié)，并保存至一臨時緩沖區(qū)(步驟103)；(10)尋找臨時緩沖區(qū)與帶壓縮數據包最佳匹配(步驟108)；(11)判斷是否找到匹配(步驟109)；(12)若步驟104的判斷結果為否，則返回步驟103；(13)若步驟104的判斷結果為是，則將編碼包類型設為匹配類型，將匹配結果編碼輸出(步驟110)；(14)完畢(步驟113)；所述解壓縮流程，包括以下步驟(15)初始化(步驟201)；(16)判斷編碼類型是否未匹配(步驟202)；(17)若步驟202的判斷結果為否，則經“根據匹配位置和長度從數據流倉庫中還原數據包”至“輸出還原數據包完畢”(步驟210)；(18)若步驟202的判斷結果為是，則去掉編碼頭，還原數據包(步驟203)；(19)將數據包保存至數據流倉庫(步驟204)；(20)提取數據包特征值(步驟205)；(21)根據設定值的連續(xù)特征值計算hash桶號A(步驟206)；(22)將數據包中各特征值在數據流倉庫的位置保存至hash文件桶A中(步驟207)；(23)判斷剩余未參加計算的特征值大于設定值(步驟208)；(24)若步驟208的判斷結果為否，則返回步驟206；(25)若步驟208的判斷結果為是，則輸出還原數據包完畢(步驟210)。
2、 根據權利要求l所述通過流緩存實現網間數據傳輸加速的方法，其特征 在于，所述步驟101進一步包括以下步驟(])在網關上啟用一個或一個以上的待壓縮編碼模塊，確定所需的資源大 小和相關參數并將其保存至采用配置文件格式配置文件中，配置文件格式采用 但不限于xml、 mml、 ini格式存儲；(2)與對端解壓端對應模塊進行數據初始化同步，包括數據流倉庫大小、 數據流倉庫的數據校驗，以保證壓縮端、解壓端兩邊數據流倉庫的內容絕對一 致，從而使解碼端能根據編碼結果正確還原數據。
3、 根據權利要求l所述通過流緩存實現網間數據傳輸加速的方法，其特征 在于，所述步驟201進一步包括以下步驟與對端壓縮端對應模塊進行數據初始化同步，包括數據流倉庫大小、數 據流倉庫的數據校驗，以保證壓縮端、解壓端兩邊數據流倉庫的內容絕對一致， 從而使解碼端能根據編碼結果正確還原數據。
4、根據權利要求l所述通過流緩存實現網間數據傳輸加速的方法，其特征 在于，所述步驟]02進一步包括以下步驟(1) 提取數據包特征值，并按其在數據包的出現的順序形成一個特征流；其 中特征值為ascii碼0~255中事先侯取的若干個值，但候選的特征值個數一定少 于255個(步驟1021);(2) 在已提取的特征流中，依次順序利用若干特征值計算出一個hash桶號， 具體采用多少特征值計算可自定義，計算方法可采用但不限于crc32等其它hash 碰撞率較低的算法;若特征流剩余為參與計算特征值個數不足以計算hash桶號， 則跳至設定值(步驟1022) q
5、 根據權利要求4所述通過流緩存實現網間數據傳輸加速的方法，其特征 在于所述步驟]021候選特征值的方法包括以下步驟假設以asdi碼值為3， 5， 7， 1]四個字符為候選特征值， 某個數據包內容ascii碼值顯示如下(斜體顯示的字符為特征值)1， 5， ，3， 8， 9， 112， 121， 1， 5， 7， 6，』J， 3， 234， 7， ......， 5， 1， 3".;則提取的特征流如下5， 3， 5， 7， 11， 3， 7， ......， 5， 3.........。
6、 根據權利要求l所述通過流緩存實現網間數據傳輸加速的方法，其特征 在于，所述步驟106進一步包括以下步驟(l)根據計算出的hash桶號，從hash表中獲得該桶內容，桶的內容為已保存 從前某個數據包某特征值在數據流倉庫中的位置；為提高讀寫hash表速度，可 采用但不限于內存映像方式(步驟1061);(2)若步驟(步驟1061)判斷該桶內容為空，則返回步驟022。
7、 根據權利要求6所述通過流緩存實現網間數據傳輸加速的方法，其特征 在于所述步驟1061的hash桶計算原理及桶內容與數據流倉間的關系，則進一 步包括以下步驟若利用提取的特征值5， 3， 5， 7四個值計箅出的hash桶號為 1000，而數據流倉庫保存該數據包第一個字節(jié)的位置在9000，則保存到hash表 桶1000中的內容為該數據包特征值5在數據流倉庫中的位置，即9001。
8、 根據權利要求l所述通過流緩存實現網間數據傳輸加速的方法，其特征 在于，所述步驟109進一步包括以下步驟利用讀出的數據流和待壓縮數據包 輸入到匹配搜索模塊進行模式匹配，找出其盡可能多的匹配；模式匹配算法可 采用但不限于kmp、 bm算法；若找到匹配，則輸出匹配位置和長度，并跳至設 定值+1。
全文摘要
本發(fā)明涉及一種通過減少冗余數據傳輸，提高網間數據傳輸速度，通過流緩存實現網間數據傳輸加速的方法。本發(fā)明包括兩大部分壓縮編碼部分和解壓縮部分。其中壓縮部分由用于提取數據包特征的特征提取模塊，根據特征計算hash桶位置的模塊，用于將壓縮結果編碼模塊，用于保存已傳輸過的數據流倉庫，用于保存某個數據流在數據流倉庫中位置的hash表，以及尋找匹配的匹配搜索模塊組成。解壓縮部分由解碼模塊，提取數據包特征的特征提取模塊，根據特征計算hash桶位置的模塊，用于保存已傳輸過的數據流倉庫，用于保存某個數據流在數據流倉庫中位置的hash表組成。
文檔編號H04L29/06GK101262493SQ200810065189
公開日2008年9月10日 申請日期2008年1月14日 優(yōu)先權日2008年1月14日
發(fā)明者趙輝宇 申請人:深圳市深信服電子科技有限公司