通過主動學(xué)習(xí)方法構(gòu)建互聯(lián)網(wǎng)應(yīng)用特征識別數(shù)據(jù)庫的方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及智能管道技術(shù)領(lǐng)域，尤其涉及一種通過主動學(xué)習(xí)方法構(gòu)建互聯(lián)網(wǎng)應(yīng)用特征識別數(shù)據(jù)庫的方法及系統(tǒng)。
【背景技術(shù)】
[0002]應(yīng)用特征識別在智能管道、網(wǎng)絡(luò)安全等領(lǐng)域應(yīng)用很廣，一般通過調(diào)用應(yīng)用特征庫對流經(jīng)的數(shù)據(jù)流量進(jìn)行識別，但由于互聯(lián)網(wǎng)應(yīng)用協(xié)議變化比較大而且有相當(dāng)多的應(yīng)用并不遵循RFC等標(biāo)準(zhǔn)要求，因此應(yīng)用特征庫如果不能快速更新就直接用于識別應(yīng)用時，識別率不尚。
[0003]現(xiàn)有技術(shù)中，應(yīng)用特征庫均是通過人工整理方法給出的，由于技術(shù)的差異，在使用深度包檢測功能時，都存在著更新應(yīng)用特征庫慢、不能檢測出所有的應(yīng)用流量等問題。

【發(fā)明內(nèi)容】

[0004]本發(fā)明為克服上述現(xiàn)有技術(shù)所述的至少一種缺陷(不足)，首先提出一種通過主動學(xué)習(xí)方法構(gòu)建互聯(lián)網(wǎng)應(yīng)用特征識別數(shù)據(jù)庫的方法。該方法對互聯(lián)網(wǎng)中應(yīng)用的特征可實現(xiàn)動態(tài)的學(xué)習(xí)，具有操作靈活，可擴展性好，部署容易的特點，應(yīng)用特征數(shù)據(jù)庫中的特征數(shù)據(jù)具有實時性，實現(xiàn)一點構(gòu)建，全網(wǎng)通用。
[0005]本發(fā)明還提出一種通過主動學(xué)習(xí)方法構(gòu)建互聯(lián)網(wǎng)應(yīng)用特征識別數(shù)據(jù)庫的系統(tǒng)。
[0006]為了實現(xiàn)上述目的，本發(fā)明的技術(shù)方案如下:
一種通過主動學(xué)習(xí)方法構(gòu)建互聯(lián)網(wǎng)應(yīng)用特征識別數(shù)據(jù)庫的方法，包括以下步驟:
1)樣本獲取:在互聯(lián)網(wǎng)上部署模擬器，模擬器安裝模擬訪問指定的互聯(lián)網(wǎng)應(yīng)用的軟件，按預(yù)先定義的軟件向互聯(lián)網(wǎng)應(yīng)用發(fā)起主動訪問，獲取應(yīng)用運行時的協(xié)議交互過程，然后通過報文的捉取模塊，獲取應(yīng)用運行過程中協(xié)議報文固定的標(biāo)志位字段，提取報文固定特征位生成對互聯(lián)網(wǎng)應(yīng)用的交互特征樣本；
2)訓(xùn)練學(xué)習(xí):通過機器學(xué)習(xí)方法對訓(xùn)練樣本訓(xùn)練學(xué)習(xí)，得到互聯(lián)網(wǎng)應(yīng)用特征模型；
3)生成特征庫:利用特征模型對模擬器采集的后續(xù)報文進(jìn)行處理，將實時得到的應(yīng)用特征條目寫入/更新特征數(shù)據(jù)庫。
[0007]本發(fā)明公開的通過主動學(xué)習(xí)方法構(gòu)建應(yīng)用特征識別數(shù)據(jù)庫的方法，通過模擬的虛擬客戶端，向真實的互聯(lián)網(wǎng)應(yīng)用發(fā)起交互訪問，獲取協(xié)議交互特征，再通過協(xié)議特征提取單元，將協(xié)議交互特征轉(zhuǎn)化為應(yīng)用特征記錄，并寫入應(yīng)用特征識別數(shù)據(jù)庫。本發(fā)明對互聯(lián)網(wǎng)應(yīng)用的特征可實現(xiàn)動態(tài)的學(xué)習(xí)，操作靈活，可擴展性好，部署容易，應(yīng)用特征數(shù)據(jù)庫中的特征數(shù)據(jù)具有實時性，實現(xiàn)一點構(gòu)建，全網(wǎng)通用。
[0008]優(yōu)選的，所述步驟1)中獲取的應(yīng)用特征包括IP地址、URL、端口和元素。
[0009]—種通過主動學(xué)習(xí)方法構(gòu)建互聯(lián)網(wǎng)應(yīng)用特征識別數(shù)據(jù)庫的系統(tǒng)，其特征在于，包括模擬器主動訪問單元、樣本生成單元、機器學(xué)習(xí)單元和流處理單元； 所述模擬器主動訪問單元:虛擬機中集成有互聯(lián)網(wǎng)協(xié)議訪問工具，模擬用戶的訪問行為對互聯(lián)網(wǎng)應(yīng)用網(wǎng)站進(jìn)行訪問，并處理互聯(lián)網(wǎng)網(wǎng)站返回的結(jié)果；
所述樣本生成單元:用于監(jiān)聽虛擬機主動訪問單元與互聯(lián)網(wǎng)應(yīng)用之間交互的數(shù)據(jù)報文，按照預(yù)先定義的特征數(shù)據(jù)提取規(guī)則，提取出數(shù)據(jù)報文中固定的標(biāo)志位字段中的關(guān)鍵特征信息，生成對互聯(lián)網(wǎng)應(yīng)用的交互特征樣本；
所述機器學(xué)習(xí)單元，通過機器學(xué)習(xí)方法對訓(xùn)練樣本訓(xùn)練學(xué)習(xí)，得到互聯(lián)網(wǎng)應(yīng)用特征模型。
[0010]所述流處理單元:利用特征模型對模擬器采集的后續(xù)報文進(jìn)行處理，將實時得到的應(yīng)用特征條目寫入/更新特征數(shù)據(jù)庫。
[0011]與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是:
本發(fā)明提出的特征采集是采用部署在互聯(lián)網(wǎng)上的的模擬器實現(xiàn)，與現(xiàn)有采集端無關(guān)，生成的特征數(shù)據(jù)庫可直接替換現(xiàn)有特征庫或者插入現(xiàn)有特征庫供識別設(shè)備使用。本發(fā)明還可作為第三方數(shù)據(jù)庫提供給運營商網(wǎng)內(nèi)的應(yīng)用識別設(shè)備使用，能夠幫助運營商區(qū)分傳輸管道內(nèi)傳輸?shù)母黝惢ヂ?lián)網(wǎng)應(yīng)用分布的情況、帶寬占用等情況，從而幫助運營商制定更加合理的流量套餐；可以為客戶提供個性化的增值服務(wù)，幫助客戶分析其購買帶寬的利用情況，幫助客戶減少在流量分析、網(wǎng)絡(luò)管理及網(wǎng)絡(luò)安全方面的投資。
【附圖說明】
[0012]圖1為采用本發(fā)明方法實現(xiàn)應(yīng)用特征庫自動構(gòu)建的示意圖。
[0013]圖2為本發(fā)明系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實施方式】
[0014]附圖僅用于示例性說明，不能理解為對本專利的限制；為了更好說明本實施例，附圖某些部件會有省略、放大或縮小，并不代表實際產(chǎn)品的尺寸；
對于本領(lǐng)域技術(shù)人員來說，附圖中某些公知結(jié)構(gòu)及其說明可能省略是可以理解的。下面結(jié)合附圖和實施例對本發(fā)明的技術(shù)方案做進(jìn)一步的說明。
[0015]如圖1，一種通過主動學(xué)習(xí)方法構(gòu)建互聯(lián)網(wǎng)應(yīng)用特征識別數(shù)據(jù)庫的方法，包括以下步驟:
1)樣本獲取:在互聯(lián)網(wǎng)上部署模擬器，模擬器安裝模擬訪問指定的互聯(lián)網(wǎng)應(yīng)用的軟件，按預(yù)先定義的軟件向互聯(lián)網(wǎng)應(yīng)用發(fā)起主動訪問，獲取應(yīng)用運行時的協(xié)議交互過程，然后通過報文的捉取模塊，獲取應(yīng)用運行過程中協(xié)議報文固定的標(biāo)志位字段，提取報文固定特征位生成對互聯(lián)網(wǎng)應(yīng)用的交互特征樣本；
2)訓(xùn)練學(xué)習(xí):通過機器學(xué)習(xí)方法對訓(xùn)練樣本訓(xùn)練學(xué)習(xí)，得到互聯(lián)網(wǎng)應(yīng)用特征模型；
3)生成特征庫:利用特征模型對模擬器采集的后續(xù)報文進(jìn)行處理，將實時得到的應(yīng)用特征條目寫入/更新特征數(shù)據(jù)庫。
[0016]本發(fā)明公開的通過主動學(xué)習(xí)方法構(gòu)建應(yīng)用特征識別數(shù)據(jù)庫的方法，通過模擬的虛擬客戶端，向真實的互聯(lián)網(wǎng)應(yīng)用發(fā)起交互訪問，獲取協(xié)議交互特征，再通過協(xié)議特征提取單元，將協(xié)議交互特征轉(zhuǎn)化為應(yīng)用特征記錄，并寫入應(yīng)用特征識別數(shù)據(jù)庫。本發(fā)明對互聯(lián)網(wǎng)應(yīng)用的特征可實現(xiàn)動態(tài)的學(xué)習(xí)，操作靈活，可擴展性好，部署容易，應(yīng)用特征數(shù)據(jù)庫中的特征數(shù)據(jù)具有實時性，實現(xiàn)一點構(gòu)建，全網(wǎng)通用。
[0017]如圖2，一種通過主動學(xué)習(xí)方法構(gòu)建互聯(lián)網(wǎng)應(yīng)用特征識別數(shù)據(jù)庫的系統(tǒng)，其特征在于，包括模擬器主動訪問單元、樣本生成單元、機器學(xué)習(xí)單元和流處理單元；
所述模擬器主動訪問單元:虛擬機中集成有互聯(lián)網(wǎng)協(xié)議訪問工具，模擬用戶的訪問行為對互聯(lián)網(wǎng)應(yīng)用網(wǎng)站進(jìn)行訪問，并處理互聯(lián)網(wǎng)網(wǎng)站返回的結(jié)果；
所述樣本生成單元:用于監(jiān)聽虛擬機主動訪問單元與互聯(lián)網(wǎng)應(yīng)用之間交互的數(shù)據(jù)報文，按照預(yù)先定義的特征數(shù)據(jù)提取規(guī)則，提取出數(shù)據(jù)報文中固定的標(biāo)志位字段中的關(guān)鍵特征信息，生成對互聯(lián)網(wǎng)應(yīng)用的交互特征樣本；
所述機器學(xué)習(xí)單元，通過機器學(xué)習(xí)方法對訓(xùn)練樣本訓(xùn)練學(xué)習(xí)，得到互聯(lián)網(wǎng)應(yīng)用特征模型。
[0018]所述流處理單元:利用特征模型對模擬器采集的后續(xù)報文進(jìn)行處理，將實時得到的應(yīng)用特征條目寫入/更新特征數(shù)據(jù)庫。
[0019]本發(fā)明提出的特征采集是采用部署在互聯(lián)網(wǎng)上的的虛擬機實現(xiàn)，與現(xiàn)有采集端無關(guān)，生成的特征數(shù)據(jù)庫可直接替換現(xiàn)有特征庫或者插入現(xiàn)有特征庫供識別設(shè)備使用。
[0020]目前由于DPI技術(shù)在網(wǎng)絡(luò)上大量使用，對應(yīng)用識別準(zhǔn)確性要求越來越高了，目前采用特征庫匹配的DPI設(shè)備占據(jù)大多數(shù)，大部分設(shè)備需要更新特征庫來保證設(shè)備具備高的識別準(zhǔn)確性，否則，會因為互聯(lián)網(wǎng)應(yīng)用協(xié)議的變化而導(dǎo)致識別率下降，因此，運營商就有使用第三方特征庫對設(shè)備特征庫進(jìn)行更新的需求。
[0021]本發(fā)明提出一種可以自動學(xué)習(xí)生成特征庫的方法，通過該方法，可以構(gòu)建出最新的特征庫條目，通過人工或者自動的方式，對DPI設(shè)備現(xiàn)有的特征庫進(jìn)行在線更新，使得采用了 DPI技術(shù)的設(shè)備，能夠保持全網(wǎng)識別能力的一致性，并且能夠跟上移動互聯(lián)網(wǎng)快速更新的特點，使得識別準(zhǔn)確性得以保持甚至提高。
[0022]本發(fā)明還可作為第三方數(shù)據(jù)庫提供給運營商網(wǎng)內(nèi)的應(yīng)用識別設(shè)備使用，能夠幫助運營商區(qū)分傳輸管道內(nèi)傳輸?shù)母黝惢ヂ?lián)網(wǎng)應(yīng)用分布的情況、帶寬占用等情況，從而幫助運營商制定更加合理的流量套餐；可以為客戶提供個性化的增值服務(wù)，幫助客戶分析其購買帶寬的利用情況，幫助客戶減少在流量分析、網(wǎng)絡(luò)管理及網(wǎng)絡(luò)安全方面的投資。
[0023]顯然，本發(fā)明的上述實施例僅僅是為清楚地說明本發(fā)明所作的舉例，而并非是對本發(fā)明的實施方式的限定。對于所屬領(lǐng)域的普通技術(shù)人員來說，在上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明權(quán)利要求的保護(hù)范圍之內(nèi)。
【主權(quán)項】
1.一種通過主動學(xué)習(xí)方法構(gòu)建應(yīng)用特征識別數(shù)據(jù)庫的方法，其特征在于，包括以下步驟: 1)樣本獲取:在互聯(lián)網(wǎng)上部署模擬器，模擬器安裝模擬訪問指定的互聯(lián)網(wǎng)應(yīng)用的軟件，按預(yù)先定義的軟件向互聯(lián)網(wǎng)應(yīng)用發(fā)起主動訪問，獲取應(yīng)用運行時的協(xié)議交互過程，然后通過報文的捉取模塊，獲取應(yīng)用運行過程中協(xié)議報文固定的標(biāo)志位字段，提取報文固定特征位生成對互聯(lián)網(wǎng)應(yīng)用的交互特征樣本； 2)訓(xùn)練學(xué)習(xí):通過機器學(xué)習(xí)方法對訓(xùn)練樣本訓(xùn)練學(xué)習(xí)，得到互聯(lián)網(wǎng)應(yīng)用特征模型； 3)生成特征庫:利用特征模型對模擬器采集的后續(xù)報文進(jìn)行處理，將實時得到的應(yīng)用特征條目寫入/更新特征數(shù)據(jù)庫。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟I)中獲取的應(yīng)用特征包括IP地址、URL、端口和元素。3.—種通過主動學(xué)習(xí)方法構(gòu)建互聯(lián)網(wǎng)應(yīng)用特征識別數(shù)據(jù)庫的系統(tǒng)，其特征在于，包括模擬器主動訪問單元、樣本生成單元、機器學(xué)習(xí)單元和流處理單元； 所述模擬器主動訪問單元:虛擬機中集成有互聯(lián)網(wǎng)協(xié)議訪問工具，模擬用戶的訪問行為對互聯(lián)網(wǎng)應(yīng)用網(wǎng)站進(jìn)行訪問，并處理互聯(lián)網(wǎng)網(wǎng)站返回的結(jié)果； 所述樣本生成單元:用于監(jiān)聽虛擬機主動訪問單元與互聯(lián)網(wǎng)應(yīng)用之間交互的數(shù)據(jù)報文，按照預(yù)先定義的特征數(shù)據(jù)提取規(guī)則，提取出數(shù)據(jù)報文中固定的標(biāo)志位字段中的關(guān)鍵特征信息，生成對互聯(lián)網(wǎng)應(yīng)用的交互特征樣本； 所述機器學(xué)習(xí)單元，通過機器學(xué)習(xí)方法對訓(xùn)練樣本訓(xùn)練學(xué)習(xí)，得到互聯(lián)網(wǎng)應(yīng)用特征模型； 所述流處理單元:利用特征模型對模擬器采集的后續(xù)報文進(jìn)行處理，將實時得到的應(yīng)用特征條目寫入/更新特征數(shù)據(jù)庫。
【專利摘要】本發(fā)明公開一種通過主動學(xué)習(xí)方法構(gòu)建互聯(lián)網(wǎng)應(yīng)用特征識別數(shù)據(jù)庫的方法及系統(tǒng)，方法包括：在互聯(lián)網(wǎng)上部署客戶端模擬器，主動向互聯(lián)網(wǎng)應(yīng)用發(fā)起交互訪問，獲取應(yīng)用運行時的協(xié)議交互過程報文，提取報文固定特征位生成對互聯(lián)網(wǎng)應(yīng)用的交互特征樣本，通過機器學(xué)習(xí)方法對訓(xùn)練樣本訓(xùn)練學(xué)習(xí)，得到互聯(lián)網(wǎng)應(yīng)用特征模型，對模擬器采集的后續(xù)報文進(jìn)行處理，將實時得到的應(yīng)用特征條目寫入/更新特征數(shù)據(jù)庫。該方法對互聯(lián)網(wǎng)中應(yīng)用的特征可實現(xiàn)動態(tài)的學(xué)習(xí)，有操作靈活，可擴展性好，部署容易的特點，應(yīng)用特征數(shù)據(jù)庫中的特征數(shù)據(jù)有實時性，實現(xiàn)一點構(gòu)建，全網(wǎng)通用。
【IPC分類】G06F17/30
【公開號】CN105279230
【申請?zhí)枴緾N201510588327
【發(fā)明人】譚彥, 李元新, 龍云亮, 鄧博存, 梁志禧
【申請人】廣東順德中山大學(xué)卡內(nèi)基梅隆大學(xué)國際聯(lián)合研究院, 廣東順德中卡云網(wǎng)絡(luò)科技有限公司
【公開日】2016年1月27日
【申請日】2015年9月16日