一種基于均勻采樣的網(wǎng)絡(luò)冗余流量識(shí)別方法
【專利摘要】本發(fā)明公開了一種基于均勻采樣的網(wǎng)絡(luò)冗余流量識(shí)別方法，通過(guò)特征指紋均勻采樣：按固定大小的窗口連續(xù)滑動(dòng)，選取窗口內(nèi)最大的特征指紋作為采樣特征指紋存入特征指紋庫(kù)；以及采樣特征指紋動(dòng)態(tài)跟蹤：查找特征指紋庫(kù)識(shí)別冗余數(shù)據(jù)塊的過(guò)程中，更新特征指紋庫(kù)中匹配的特征指紋指向(映射于)緩沖區(qū)中匹配的數(shù)據(jù)包負(fù)載，以防止緩沖區(qū)刷新過(guò)程清除特征指紋庫(kù)中高頻冗余數(shù)據(jù)包負(fù)載映射的特征指紋，保持冗余流量識(shí)別的可持續(xù)性。
【專利說(shuō)明】一種基于均勻采樣的網(wǎng)絡(luò)冗余流量識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于網(wǎng)絡(luò)流量管理【技術(shù)領(lǐng)域】，更為具體地講，涉及一種基于均勻采樣的網(wǎng) 絡(luò)冗余流量識(shí)別方法，用于識(shí)別網(wǎng)絡(luò)流量中的冗余部分。
【背景技術(shù)】
[0002] 受用戶興趣模型驅(qū)動(dòng)，邊緣網(wǎng)絡(luò)中具有相同興趣的用戶訪問(wèn)相似或相同主題的網(wǎng) 絡(luò)資源必然造成大量重復(fù)數(shù)據(jù)傳輸，形成特定鏈路相關(guān)的冗余流量。冗余流量的存在不僅 損耗鏈路帶寬資源利用率，而且影響用戶訪問(wèn)網(wǎng)絡(luò)資源的體驗(yàn)感，在一定程度上打擊用戶 積極性。
[0003] 有效識(shí)別網(wǎng)絡(luò)中的冗余流量是研究冗余流量成因和其帶來(lái)的一系列并發(fā)問(wèn)題的 關(guān)鍵。傳統(tǒng)的WEB緩存技術(shù)基于對(duì)象層識(shí)別冗余流量，但是不同應(yīng)用需要重新設(shè)計(jì)對(duì)應(yīng)的 緩存細(xì)節(jié)，缺乏應(yīng)用的靈活性。
[0004] 近年來(lái)，基于數(shù)據(jù)包層的MODP、MAXP、SAMPBYTE和DYNABYTE方法陸續(xù)被提出，而 且也取得了較好的識(shí)別效率。其中MODP基于Rabin多項(xiàng)式方法計(jì)算連續(xù)數(shù)據(jù)分塊指紋并 按指紋值取模為〇的策略采樣特征指紋，存在采樣不均勻和零采樣缺陷。MXP基于固定大 小的窗口均勻分塊選擇最大值作為采樣特征指紋，克服了 MODP采樣不均勻問(wèn)題，但是不能 很好地跟蹤真實(shí)流量中高頻冗余數(shù)據(jù)塊的動(dòng)態(tài)特征。SAMPBYTE和DYNABYTE從統(tǒng)計(jì)學(xué)角度 出發(fā)，通過(guò)訓(xùn)練樣本選擇冗余塊的典型代表首字符作為采樣特征。DYNABYTE的實(shí)現(xiàn)細(xì)節(jié)較 SAMPBYTE增加了采樣特征的動(dòng)態(tài)調(diào)整功能，在一定程度上實(shí)現(xiàn)了對(duì)真實(shí)流量中高頻冗余塊 的動(dòng)態(tài)跟蹤能力。但是，SAMPBYTE和DYNABYTE基于樣本訓(xùn)練選擇特征指紋的方案受樣本 數(shù)據(jù)選擇的影響較大，部署的靈活性受限。以上方法在均勻采樣和高頻冗余塊動(dòng)態(tài)跟蹤兩 方面都沒(méi)能很好地同時(shí)兼顧。
【發(fā)明內(nèi)容】
[0005] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于均勻采樣的網(wǎng)絡(luò)冗余流量 識(shí)別方法，在解決真實(shí)網(wǎng)絡(luò)環(huán)境中冗余流量的識(shí)別問(wèn)題的同時(shí)，兼顧特征指紋的均勻采樣 和商頻幾余塊動(dòng)態(tài)跟蹤的能力，以提商幾余流量識(shí)別的有效性和識(shí)別率。
[0006] 為實(shí)現(xiàn)上述目的，本發(fā)明基于均勻采樣的網(wǎng)絡(luò)冗余流量識(shí)別方法，其特征在于，包 括以下步驟：
[0007] (1)、特征指紋均勻采樣
[0008] I. 1)、對(duì)接收的第一個(gè)數(shù)據(jù)包負(fù)載tp t2, t3. . . tn，按Q大小的滑動(dòng)窗口，從起始位 置滑動(dòng)，一個(gè)字節(jié)為步進(jìn)，對(duì)該數(shù)據(jù)包負(fù)載進(jìn)行劃分，得到連續(xù)的大小為Q的n_ Q+1個(gè)數(shù) 據(jù)塊 ti，L，tg，. . .，tg，h，. . .，t^+i、tn-。+1，tn-。+2，tn-。+3，. . .，tn，其中，I!為數(shù)據(jù)包 負(fù)載字節(jié)數(shù)；
[0009] 1. 2)、對(duì)n-Q+1個(gè)Q大小的數(shù)據(jù)塊，按Rabin多項(xiàng)式，計(jì)算數(shù)據(jù)塊映射的特征指 紋，數(shù)據(jù)塊與特征指紋映射關(guān)系依次為：
[0010] H1 = RF(t1, t2, t3, . . . , tfi) = (tiP0-1+^0-2+. . . +tfi^p^tfiP^modM
[0011] H2 = RF(t2, t3, t4, . . . , tfi+1) = ((RF(t1, t2, t3. . . t￡2)-t1p￡2_1)*p+t￡2+1p°)modM (I)
[0012] ......
[0013] Hn_q +1 - RF (tn_fi+1, tn_fi+2, tn_fi+3, . . . , tn)- ((RF(tn_￡j, tn-￡2+D tn_￡j+2，? ? ? , tn-i) tn_￡jP 0 *p+tnp°) modM
[0014] 其中，氏、H2、…、Hn_n+1為n-Q+1個(gè)數(shù)據(jù)塊對(duì)應(yīng)的特征指紋，mod為求余數(shù)運(yùn)算， M為常數(shù)，根據(jù)具體情況確定，RF表示映射運(yùn)算；
[0015] 首先按公式（1)計(jì)算數(shù)據(jù)塊t2, t3, ? ? ?，映射的特征指紋氏，然后根據(jù)查找 表T，以單字節(jié)心元素值作為查找索引，得到的值，i = l，2，...，n-Q ;最后按照 公式（1)，計(jì)算出數(shù)據(jù)塊t2, 七3，七4，? ? ?，t q+1、? ? ?、tn-Q+i, tn-q+2, tn-Q+3, ? ? ?，tn 的特征指紋 H2,. . .，Hn_n+1，其中，查找表T包括0?255的查找索引，每個(gè)查找索引對(duì)應(yīng)的輸出值為該查 找索引與Psw的乘積；
[0016] 1. 3)、步驟1. 2)得到的特征指紋進(jìn)行順序排列，形成特征指紋序列 HpH2,... ,H1^1 ;按w大小的滑動(dòng)窗口，從起始位置滑動(dòng)，一個(gè)特征指紋為步進(jìn)，對(duì)特征指紋 序列H1, H2, ...，進(jìn)行劃分，每次滑動(dòng)都選取滑動(dòng)窗口內(nèi)最大值作為采樣特征指紋存入 特征指紋庫(kù)中，至最后一個(gè)滑動(dòng)窗口，完成輸入數(shù)據(jù)包的特征指紋采樣；
[0017] 不同滑動(dòng)窗口因重疊部分選中同一采樣特征指紋時(shí)，只存入第一次選中的采樣特 征指紋；
[0018] ⑵、采樣特征指紋動(dòng)態(tài)跟蹤
[0019] 2. 1)、建立一個(gè)緩沖區(qū)，將輸入的第一個(gè)數(shù)據(jù)包負(fù)載存入，并將特征指紋庫(kù)中的采 樣特征指紋映射于第一個(gè)數(shù)據(jù)包負(fù)載；
[0020] 2. 2)、對(duì)接收的第二個(gè)數(shù)據(jù)包負(fù)載，首先存入緩沖區(qū)，然后按照步驟（1)中的方法 提取到采樣特征指紋，并逐個(gè)在特征指紋庫(kù)中進(jìn)行匹配，并進(jìn)行動(dòng)態(tài)跟蹤：如果匹配到采樣 特征指紋，則將特征指紋庫(kù)中匹配到的采樣特征指紋映射于第二個(gè)數(shù)據(jù)包負(fù)載，如果沒(méi)有 匹配到，則將提取的采樣特征指紋存入特征指紋庫(kù)中，并映射于第二個(gè)數(shù)據(jù)包負(fù)載；
[0021] 2. 3)、對(duì)隨后接收的數(shù)據(jù)包負(fù)載，按照步驟2. 2)方法進(jìn)行處理；當(dāng)緩沖區(qū)中數(shù)據(jù) 包負(fù)載存滿后，采用先進(jìn)先出（First In First 0ut，F(xiàn)IF0)的老化機(jī)制刷新緩沖區(qū)，以便存 儲(chǔ)后續(xù)達(dá)到的數(shù)據(jù)包負(fù)載，刷新時(shí)，特征指紋庫(kù)中映射于被移出數(shù)據(jù)包負(fù)載的采樣特征指 紋被清除；
[0022] (3)、冗余流量識(shí)別
[0023] 對(duì)于步驟（2)中提取的采樣特征指紋，如果在特征指紋中匹配成功，則采用最大 內(nèi)容匹配法，依據(jù)采樣特征指紋對(duì)應(yīng)的數(shù)據(jù)塊，對(duì)接收的數(shù)據(jù)包負(fù)載與映射于緩存區(qū)中的 數(shù)據(jù)包負(fù)載進(jìn)行匹配，并輸出匹配字節(jié)數(shù)即冗余數(shù)據(jù)塊大小；
[0024] 統(tǒng)計(jì)出單位時(shí)間各個(gè)冗余數(shù)據(jù)塊大小之和，得到冗余流量大小即識(shí)別出冗余流 量。
[0025] 本發(fā)明的發(fā)明目的是這樣實(shí)現(xiàn)的：
[0026] 本發(fā)明基于均勻采樣的網(wǎng)絡(luò)冗余流量識(shí)別方法，通過(guò)特征指紋均勻采樣：按固定 大小的窗口連續(xù)滑動(dòng)，選取窗口內(nèi)最大的特征指紋作為采樣特征指紋存入特征指紋庫(kù)；以 及采樣特征指紋動(dòng)態(tài)跟蹤：查找特征指紋庫(kù)識(shí)別冗余數(shù)據(jù)塊的過(guò)程中，更新特征指紋庫(kù)中 匹配的特征指紋指向（映射于）緩沖區(qū)中匹配的數(shù)據(jù)包負(fù)載，以防止緩沖區(qū)刷新過(guò)程清除 特征指紋庫(kù)中高頻冗余數(shù)據(jù)包負(fù)載映射的特征指紋，保持冗余流量識(shí)別的可持續(xù)性。
[0027] 與現(xiàn)有技術(shù)相比，本發(fā)明具有以下四個(gè)方面的有益效果：
[0028] (1)、本發(fā)明基于連續(xù)滑動(dòng)窗口的特征指紋均勻采樣具有較強(qiáng)的區(qū)間代表性，保障 本發(fā)明對(duì)冗余流量識(shí)別的有效性；
[0029] (2)、本發(fā)明采樣特征指紋動(dòng)態(tài)跟蹤解決了緩沖區(qū)老化（刷新）帶來(lái)的采樣特征指 紋失效問(wèn)題，有效保障對(duì)高頻冗余數(shù)據(jù)塊的動(dòng)態(tài)跟蹤和可持續(xù)性識(shí)別，進(jìn)一步提高冗余流 量識(shí)別率；
[0030] (3)、本發(fā)明面向數(shù)據(jù)包層處理對(duì)象，不受應(yīng)用層協(xié)議限制，具有較高的應(yīng)用靈活 性；
[0031] (4)、本發(fā)明無(wú)需樣本訓(xùn)練，采用的特征指紋均勻采樣和動(dòng)態(tài)跟蹤方法可以自適應(yīng) 任意網(wǎng)絡(luò)節(jié)點(diǎn)環(huán)境，部署靈活。
【專利附圖】
【附圖說(shuō)明】
[0032] 圖1是本發(fā)明基于均勻采樣的網(wǎng)絡(luò)冗余流量識(shí)別方法一種【具體實(shí)施方式】流程圖；
[0033] 圖2是數(shù)據(jù)包負(fù)載劃分?jǐn)?shù)據(jù)塊及特征指紋映射示意圖；
[0034] 圖3是特征指紋均勻采樣示意圖；
[0035] 圖4是最大內(nèi)容匹配流程圖；
[0036] 圖5是冗余流量識(shí)別輸出的記錄格式圖；
[0037] 圖6是特征指紋動(dòng)態(tài)跟蹤示意圖；
[0038] 圖7校園網(wǎng)負(fù)載速率和識(shí)別的冗余流量比例示意圖
【具體實(shí)施方式】
[0039] 下面結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】進(jìn)行描述，以便本領(lǐng)域的技術(shù)人員更好地 理解本發(fā)明。需要特別提醒注意的是，在以下的描述中，當(dāng)已知功能和設(shè)計(jì)的詳細(xì)描述也許 會(huì)淡化本發(fā)明的主要內(nèi)容時(shí)，這些描述在這里將被忽略。
[0040] 圖1是本發(fā)明基于均勻采樣的網(wǎng)絡(luò)冗余流量識(shí)別方法一種【具體實(shí)施方式】流程圖。
[0041] 在本實(shí)施例中，如圖1所示，首先，對(duì)輸入數(shù)據(jù)包負(fù)載按預(yù)先設(shè)定的固定大小Q劃 分為連續(xù)數(shù)據(jù)塊。數(shù)據(jù)包負(fù)載有n字節(jié)，即ti，t2, t3. . . tn，那么可以劃分n-Q+1個(gè)連續(xù)的 t" 1^2，ts, ? ? ?，1^2，ts, 1^4，? ? ?，--?、tn-Q+i，tn-q+2, tnm, ? ? ?，tn〇
[0042] 然后，按Rabin多項(xiàng)式計(jì)算每個(gè)數(shù)據(jù)塊對(duì)應(yīng)的特征指紋Hx，x G [1，n-Q+1]即氏、 H2.....Hn^1，圖2給出了特征指紋與數(shù)據(jù)塊的映射關(guān)系。
[0043] 對(duì)于第一個(gè)數(shù)據(jù)塊h，t2, t3, . . .，映射的特征指紋氏，按公式（1)計(jì)算。對(duì)于第2 個(gè)及以后的數(shù)據(jù)塊特征指紋計(jì)算，則先根據(jù)查找表T，以單字節(jié)&元素值作為查找索引，得 到的值，i = 1，2,. . .，n-Q ;最后按照公式（1)，計(jì)算出數(shù)據(jù)塊t2, t3, t4,. . .，U1、…、 tn^+1，tn_n+3,. . .，tn的特征指紋H2,. . .，Hn_n+1，其中，查找表T包括0?255的查找索 弓丨，每個(gè)查找索引對(duì)應(yīng)的輸出值為該查找索引與Psw的乘積，這樣可以大大提高計(jì)算效率。
[0044] 在本實(shí)施例中，為方便計(jì)算p取值2, M取值0x100000000即十進(jìn)制4294967296， 以限定計(jì)算的特征指紋取值在32比特位范圍內(nèi)。
[0045] 圖3是特征指紋均勻采樣示意圖。
[0046] 在本實(shí)施例中，如圖3所示，得到的特征指紋進(jìn)行順序排列，形成特征指紋序列 HpH2, ... ,H1^1 ;按w大小的滑動(dòng)窗口，從起始位置滑動(dòng)，一個(gè)特征指紋為步進(jìn)，對(duì)特征指紋 序列H1, H2, ...，進(jìn)行劃分，每次滑動(dòng)都選取滑動(dòng)窗口內(nèi)最大值作為采樣特征指紋存入 特征指紋庫(kù)中，至最后一個(gè)滑動(dòng)窗口，完成輸入數(shù)據(jù)包的特征指紋采樣。
[0047] 對(duì)于第一個(gè)數(shù)據(jù)包負(fù)載采樣得到的采樣特征指紋存入特征指紋庫(kù)，第一個(gè)數(shù)據(jù)包 負(fù)載存入建立的緩沖區(qū)，并將特征指紋庫(kù)中的采樣特征指紋映射于第一個(gè)數(shù)據(jù)包負(fù)載。 [0048] 對(duì)于第二個(gè)或隨后接收的數(shù)據(jù)包負(fù)載在存入緩沖區(qū)的同時(shí)，對(duì)其采樣得到的采樣 特征指紋與特征指紋庫(kù)的采樣特征指紋進(jìn)行匹配，如果匹配到，則將特征指紋庫(kù)中匹配到 的采樣特征指紋映射于第二個(gè)數(shù)據(jù)包負(fù)載，如果沒(méi)有匹配到，則將提取的采樣特征指紋存 入特征指紋庫(kù)中，并映射于第二個(gè)數(shù)據(jù)包負(fù)載。
[0049] 同時(shí)，如果匹配到，則對(duì)接收的數(shù)據(jù)包負(fù)載與映射與緩存區(qū)中的數(shù)據(jù)包負(fù)載進(jìn)行 匹配，并輸出匹配字節(jié)數(shù)即冗余數(shù)據(jù)塊大小，以進(jìn)一步識(shí)別冗余流量。具體而言，最大內(nèi)容 匹配法對(duì)采樣特征指紋對(duì)應(yīng)（關(guān)聯(lián)）的數(shù)據(jù)塊在接收的數(shù)據(jù)包負(fù)載與映射于緩存區(qū)中的數(shù) 據(jù)包負(fù)載的位置開始進(jìn)行匹配，這樣不僅可以有效解決Rabin多項(xiàng)式計(jì)算特征指紋潛在的 哈希沖突問(wèn)題，還能盡最大努力識(shí)別更多字節(jié)成分的冗余流量，在一定程度上改善以固定 數(shù)據(jù)塊大小方式識(shí)別冗余流量的識(shí)別效率。最大內(nèi)容匹配按圖4所示的流程執(zhí)行，包括以 下步驟：
[0050] 3. 1)、對(duì)齊特征指紋庫(kù)中，采樣特征指紋對(duì)應(yīng)（關(guān)聯(lián)）的數(shù)據(jù)塊映射于緩存區(qū)的左 右邊界位置；
[0051] 3. 2)、檢查緩沖區(qū)對(duì)齊左右邊界限定范圍內(nèi)的數(shù)據(jù)是否和當(dāng)前待匹配數(shù)據(jù)塊內(nèi)容 完全匹配；
[0052] 3. 3)、如果匹配，則繼續(xù)執(zhí)行后續(xù)匹配過(guò)程，否則結(jié)束最大內(nèi)容匹配流程；
[0053] 3. 4)、按字節(jié)依次匹配對(duì)齊后緩沖區(qū)左邊界以左數(shù)據(jù)和當(dāng)前待匹配數(shù)據(jù)塊左邊界 以左數(shù)據(jù)，直到匹配失??；
[0054] 3. 5)、按字節(jié)依次匹配對(duì)齊后緩沖區(qū)右邊界以右數(shù)據(jù)和當(dāng)前待匹配數(shù)據(jù)塊右邊界 以右數(shù)據(jù)，直到匹配失??；
[0055] 3. 6)、累計(jì)步驟3. 4)、步驟3. 5)左右擴(kuò)展的字節(jié)數(shù)和當(dāng)前待匹配數(shù)據(jù)塊已匹配字 節(jié)數(shù)，得到成功匹配的匹配字節(jié)數(shù)即冗余數(shù)據(jù)塊大小。
[0056] 本發(fā)明冗余流量識(shí)別基于最大內(nèi)容匹配環(huán)節(jié)輸出的記錄進(jìn)行統(tǒng)計(jì)分析完成，輸出 的記錄格式如圖5所示。每條記錄代表成功識(shí)別的一個(gè)冗余數(shù)據(jù)塊，其中的Ien字段表示 滿足特征指紋匹配和最大內(nèi)容匹配后計(jì)算的冗余數(shù)據(jù)塊字節(jié)數(shù)，sec字段表示該數(shù)據(jù)塊所 屬數(shù)據(jù)包精確到秒的捕獲時(shí)間。通過(guò)這兩個(gè)字段信息即可統(tǒng)計(jì)網(wǎng)絡(luò)流量中每秒存在的冗余 流量大小。記錄中其他字段可應(yīng)用于更復(fù)雜的冗余流量屬性分析。
[0057] 接下來(lái)，檢查緩沖區(qū)是否有足夠的剩余空間存儲(chǔ)當(dāng)前待處理的數(shù)據(jù)包負(fù)載。如果 剩余空間不夠，則按設(shè)定的大小以先進(jìn)先出（FIFO)的老化機(jī)制刷新緩沖區(qū)，預(yù)留足夠的緩 沖區(qū)空間。隨后，將數(shù)據(jù)包負(fù)載存入預(yù)留的緩沖區(qū)。
[0058] 最后，執(zhí)行采樣特征指紋動(dòng)態(tài)跟蹤：
[0059] A、如果匹配到采樣特征指紋，則將特征指紋庫(kù)中匹配到的采樣特征指紋映射于第 二個(gè)或隨后接收的數(shù)據(jù)包負(fù)載，如果沒(méi)有匹配到，則將提取的采樣特征指紋存入特征指紋 庫(kù)中，并映射于第二個(gè)或隨后接收的數(shù)據(jù)包負(fù)載；
[0060] B、對(duì)隨后接收的數(shù)據(jù)包負(fù)載，按照步驟2. 2)方法進(jìn)行處理；當(dāng)緩沖區(qū)中數(shù)據(jù)包負(fù) 載存滿后，采用先進(jìn)先出（First In First 0ut，F(xiàn)IF0)的老化機(jī)制刷新緩沖區(qū)，以便存儲(chǔ)后 續(xù)達(dá)到的數(shù)據(jù)包負(fù)載，刷新時(shí)，特征指紋庫(kù)中映射于被移出數(shù)據(jù)包負(fù)載的采樣特征指紋被 清除。
[0061] 本發(fā)明采用固定大小的緩沖區(qū)存儲(chǔ)待識(shí)別冗余流量的數(shù)據(jù)包負(fù)載，特征指紋庫(kù)中 的每個(gè)采樣特征指紋映射于緩沖區(qū)中對(duì)應(yīng)數(shù)據(jù)包的特定偏移位置。隨著緩沖區(qū)內(nèi)數(shù)據(jù)包負(fù) 載的不斷累積，緩沖區(qū)滿后采用先進(jìn)先出（First In First Out, FIFO)的老化機(jī)制刷新特 定大小的老化緩沖區(qū)，預(yù)留新的空間用于存儲(chǔ)后續(xù)達(dá)到的數(shù)據(jù)包負(fù)載。刷新老化緩沖區(qū)的 同時(shí)特征指紋庫(kù)中映射于該區(qū)段的數(shù)據(jù)包負(fù)載將失效，也會(huì)同步從特征指紋庫(kù)中清除該數(shù) 據(jù)包負(fù)載關(guān)聯(lián)的所有特征指紋。
[0062] 圖6所示的特征指紋動(dòng)態(tài)跟蹤示意圖解決了老化緩沖區(qū)刷新過(guò)程中可能會(huì)清除 部分高頻冗余數(shù)據(jù)塊可識(shí)別特征指紋的缺陷問(wèn)題。實(shí)際的動(dòng)態(tài)跟蹤過(guò)程通過(guò)迭代更新特征 指紋庫(kù)中已匹配的才特征指紋映射于最新識(shí)別的數(shù)據(jù)包起始位置，即使老化機(jī)制清除了指 紋庫(kù)中特征指紋先前映射的數(shù)據(jù)區(qū)也不會(huì)嚴(yán)重影響后續(xù)高頻冗余數(shù)據(jù)塊的識(shí)別，這樣，對(duì) 特征指紋庫(kù)中每個(gè)用于匹配的采樣特征指紋實(shí)施動(dòng)態(tài)跟蹤，保持本發(fā)明對(duì)高頻冗余數(shù)據(jù)塊 的動(dòng)態(tài)跟蹤和可持續(xù)識(shí)別能力。
[0063] 圖6所示當(dāng)緩沖區(qū)存儲(chǔ)m個(gè)數(shù)據(jù)包后即將進(jìn)入老化環(huán)節(jié)刷新緩沖區(qū)。特征指紋庫(kù) 中的采樣特征指紋Hs3最初映射于緩沖區(qū)中數(shù)據(jù)包負(fù)載1，通過(guò)不斷迭代最終映射于數(shù)據(jù)包 m+1。盡管FIFO老化機(jī)制刷新數(shù)據(jù)包負(fù)載1、數(shù)據(jù)包負(fù)載2和數(shù)據(jù)包負(fù)載3所在的緩沖區(qū)區(qū) 間范圍，也不會(huì)影響本發(fā)明方法識(shí)別數(shù)據(jù)包m+1中映射于采樣特征指紋Hs3的數(shù)據(jù)塊。
[0064] 為了說(shuō)明本發(fā)明的有益效果，下面設(shè)計(jì)了一組對(duì)比實(shí)驗(yàn)，比較了基于最大值采樣 特征指紋的MXP方法和本發(fā)明方法對(duì)冗余流量的識(shí)別能力。
[0065] 表1是本次對(duì)比實(shí)驗(yàn)的樣本數(shù)據(jù)，樣本集A、B、C取自校園網(wǎng)某接入鏈路2013年 11月13日至2013年11月15日三天上午10點(diǎn)到11點(diǎn)之間的雙向不間斷進(jìn)出流量，樣本 集D、E取自校園網(wǎng)某綜合樓鏈路2013年11月16日至2013年11月17日兩天下午2點(diǎn)到 3點(diǎn)之間的雙向不間斷進(jìn)出流量。
【權(quán)利要求】
1. 一種基于均勻采樣的網(wǎng)絡(luò)冗余流量識(shí)別方法，其特征在于，包括以下步驟： (1) 、特征指紋均勻采樣 1. 1)、對(duì)接收的第一個(gè)數(shù)據(jù)包負(fù)載h，t2, t3. . . tn，按Q大小的滑動(dòng)窗口，從起始位置滑 動(dòng)，一個(gè)字節(jié)為步進(jìn)，對(duì)該數(shù)據(jù)包負(fù)載進(jìn)行劃分，得到連續(xù)的大小為Q的n-Q+1個(gè)數(shù)據(jù)塊 ti，L，tg，? ? ?，t。、L，tg，1^4，? ? ?，t。+1、? ? ?、tn-。+1，tn-。+2，tnm，? ? ?，tn，其中，n 為數(shù)據(jù)包負(fù)載 字節(jié)數(shù)； 1. 2)、對(duì)n- Q +1個(gè)數(shù)據(jù)塊的數(shù)據(jù)塊，按Rabin多項(xiàng)式，計(jì)算數(shù)據(jù)塊映射的特征指紋，數(shù) 據(jù)塊與特征指紋映射關(guān)系依次為： Hj = RF(t1, t2, t3,. . . , tfi) = (t1p￡2_1+t2p￡2_2+. . . +t￡2_1p1+t￡2p°)mod M H2 = RF(t2, t3, t4, . . . , tfi+1) = ((RF(t1, t2, t3. . . tfi)-tjp0-1) *p+tfi+1p°)mod M (1) Hn-fi+i - RF (tn_fi+1, tn_fi+2, tn_fi+3,..., tn) - ((RF(tn_fi, tn_fi+1, tn_fi+2,..., tn-i)_tn_￡2pfi 〇 *p+tnp°)mod M 其中，1?、…、Hn_n+1為n-Q+1個(gè)數(shù)據(jù)塊對(duì)應(yīng)的特征指紋； 首先按公式（1)計(jì)算數(shù)據(jù)塊懷t2, t3,. . .，映射的特征指紋氏，然后根據(jù)查找表T， 以單字節(jié)&元素值作為查找索引，得到tiP^1的值，i = 1，2,…，n-Q ;最后按照公式（1)， 計(jì)算出數(shù)據(jù)塊 t2, t3, t4, ? ? ?，tfi+1、…、tn_fi+1, tn_fi+2, tn_fi+3，…，tn 的特征指紋 H2，…，Hn_fi+1, 其中，查找表T包括0?255的查找索引，每個(gè)查找索引對(duì)應(yīng)的輸出值為該查找索引與p^1的乘積； 1. 3)、步驟1. 2)得到的特征指紋進(jìn)行順序排列，形成特征指紋序列氏，H2，…，;按 w大小的滑動(dòng)窗口，從起始位置滑動(dòng)，一個(gè)特征指紋為步進(jìn)，對(duì)特征指紋序列氏，H2，…， 進(jìn)行劃分，每次滑動(dòng)都選取滑動(dòng)窗口內(nèi)最大值作為采樣特征指紋存入特征指紋庫(kù)中，至最 后一個(gè)滑動(dòng)窗口，完成輸入數(shù)據(jù)包的特征指紋采樣； 不同滑動(dòng)窗口因重疊部分選中同一采樣特征指紋時(shí)，只存入第一次選中的采樣特征指 紋； (2) 、采樣特征指紋動(dòng)態(tài)跟蹤 2.1)、建立一個(gè)緩沖區(qū)，將輸入的第一個(gè)數(shù)據(jù)包負(fù)載存入，并將特征指紋庫(kù)中的采樣特 征指紋映射于第一個(gè)數(shù)據(jù)包負(fù)載； 2. 2)、對(duì)接收的第二個(gè)數(shù)據(jù)包負(fù)載，首先存入緩沖區(qū)，然后按照步驟（1)中的方法提取 到采樣特征指紋，并逐個(gè)在特征指紋庫(kù)中進(jìn)行匹配，并進(jìn)行動(dòng)態(tài)跟蹤：如果匹配到采樣特征 指紋，則將特征指紋庫(kù)中匹配到的采樣特征指紋映射于第二個(gè)數(shù)據(jù)包負(fù)載，如果沒(méi)有匹配 至IJ，則將提取的采樣特征指紋存入特征指紋庫(kù)中，并映射于第二個(gè)數(shù)據(jù)包負(fù)載； 2. 3)、對(duì)隨后接收的數(shù)據(jù)包負(fù)載，按照步驟2. 2)方法進(jìn)行處理；當(dāng)緩沖區(qū)中數(shù)據(jù)包負(fù) 載存滿后，采用先進(jìn)先出（First In First Out，F(xiàn)IFO)的老化機(jī)制刷新緩沖區(qū)，以便存儲(chǔ)后 續(xù)達(dá)到的數(shù)據(jù)包負(fù)載，刷新時(shí)，特征指紋庫(kù)中映射于被移出數(shù)據(jù)包負(fù)載的采樣特征指紋被 清除； (3) 、冗余流量識(shí)別 對(duì)于步驟（2)中提取的采樣特征指紋，如果在特征指紋中匹配成功，則采樣最大內(nèi)容 匹配法，依據(jù)采樣特征指紋對(duì)應(yīng)的數(shù)據(jù)塊，對(duì)接收的數(shù)據(jù)包負(fù)載與映射于緩存區(qū)中的數(shù)據(jù) 包負(fù)載進(jìn)行匹配，并輸出匹配字節(jié)數(shù)即冗余數(shù)據(jù)塊大??； 統(tǒng)計(jì)出單位時(shí)間各個(gè)冗余數(shù)據(jù)塊大小之和，得到冗余流量大小即識(shí)別出冗余流量。
2.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)冗余流量識(shí)別方法，其特征在于，步驟1.2)中所述的p 取值為2，M取值為0x100000000即十進(jìn)制4294967296,以限定計(jì)算的特征指紋取值在32比 特位范圍內(nèi)。
【文檔編號(hào)】H04L12/801GK104394091SQ201410730071
【公開日】2015年3月4日 申請(qǐng)日期:2014年12月4日 優(yōu)先權(quán)日:2014年12月4日
【發(fā)明者】邢玲, 何燕玲, 馬強(qiáng), 楊國(guó)海 申請(qǐng)人:西南科技大學(xué)