本技術(shù)涉及網(wǎng)絡(luò)入侵檢測(cè),特別是涉及一種基于深度強(qiáng)化學(xué)習(xí)和k聚類的物聯(lián)網(wǎng)網(wǎng)絡(luò)入侵檢測(cè)方法、設(shè)備、介質(zhì)及產(chǎn)品。
背景技術(shù):
1、物聯(lián)網(wǎng)是“物與物相連的互聯(lián)網(wǎng)”,物聯(lián)網(wǎng)通過互聯(lián)網(wǎng)將各種物體(如傳感器、智能設(shè)備等)連接起來,時(shí)刻感知處理物體的狀態(tài)信息變化,最終實(shí)現(xiàn)對(duì)物體的智能化管理、監(jiān)控等一系列自動(dòng)化操作。物聯(lián)網(wǎng)規(guī)模的不斷擴(kuò)大使得物聯(lián)網(wǎng)的網(wǎng)絡(luò)安全問題日益突出。如何保證物聯(lián)網(wǎng)安全,保障物聯(lián)網(wǎng)的高速發(fā)展,為人們進(jìn)一步提供安全、可靠、智能、高效的服務(wù)是目前亟待解決的問題。入侵檢測(cè)作為一種主動(dòng)防御手段,通過對(duì)當(dāng)前環(huán)境進(jìn)行主動(dòng)的實(shí)時(shí)檢測(cè),對(duì)當(dāng)前環(huán)境中的惡意行為進(jìn)行報(bào)警并采取進(jìn)一步相應(yīng)措施,對(duì)提升物聯(lián)網(wǎng)網(wǎng)絡(luò)與信息安全起著至關(guān)重要的作用,已成為當(dāng)前的研究熱點(diǎn)問題。
2、當(dāng)前物聯(lián)網(wǎng)的網(wǎng)絡(luò)入侵檢測(cè)領(lǐng)域中,研究人員已進(jìn)行了大量研究工作并取得了一定的效果。隨著人工智能技術(shù)的發(fā)展,ids效率進(jìn)一步提高。適用于網(wǎng)絡(luò)入侵檢測(cè)的人工智能技術(shù)范圍非常廣泛,各種類型的機(jī)器學(xué)習(xí)技術(shù),如隨機(jī)森林、主成分分析方法、支持向量機(jī)方法等已廣泛用于檢測(cè)網(wǎng)絡(luò)中的異常行為模式。然而傳統(tǒng)機(jī)器學(xué)習(xí)存在誤報(bào)率高、檢測(cè)率低,數(shù)據(jù)量大導(dǎo)致檢測(cè)困難等問題。
3、并且,目前物聯(lián)網(wǎng)應(yīng)用領(lǐng)域非常廣泛,廣泛的應(yīng)用場(chǎng)景意味著物聯(lián)網(wǎng)的網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)和網(wǎng)絡(luò)通信過程會(huì)愈發(fā)復(fù)雜,且隨著網(wǎng)絡(luò)技術(shù)以及人工智能技術(shù)的發(fā)展,網(wǎng)絡(luò)攻擊手段也在不斷進(jìn)步。在復(fù)雜的物聯(lián)網(wǎng)網(wǎng)絡(luò)環(huán)境下,面對(duì)同樣不斷迭代更新的網(wǎng)絡(luò)攻擊手段,高準(zhǔn)確性是當(dāng)前物聯(lián)網(wǎng)網(wǎng)絡(luò)下入侵檢測(cè)技術(shù)的主要挑戰(zhàn)之一。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)的目的是提供一種物聯(lián)網(wǎng)網(wǎng)絡(luò)入侵檢測(cè)方法、設(shè)備、介質(zhì)及產(chǎn)品,可有效提高對(duì)物聯(lián)網(wǎng)網(wǎng)絡(luò)入侵檢測(cè)的準(zhǔn)確度,提升入侵檢測(cè)性能。
2、為實(shí)現(xiàn)上述目的,本技術(shù)提供了如下方案:
3、第一方面,本技術(shù)提供了一種物聯(lián)網(wǎng)網(wǎng)絡(luò)入侵檢測(cè)方法,包括:
4、根據(jù)網(wǎng)絡(luò)流量特征數(shù)據(jù)和網(wǎng)絡(luò)流量預(yù)測(cè)值構(gòu)建訓(xùn)練數(shù)據(jù)集,其中,所述網(wǎng)絡(luò)流量特征數(shù)據(jù)是通過對(duì)物聯(lián)網(wǎng)的網(wǎng)絡(luò)通信數(shù)據(jù)進(jìn)行特征提取后得到的數(shù)據(jù),所述網(wǎng)絡(luò)流量預(yù)測(cè)值是利用數(shù)字孿生技術(shù)對(duì)所述網(wǎng)絡(luò)流量特征數(shù)據(jù)進(jìn)行處理后得到的數(shù)據(jù);
5、采用k聚類算法對(duì)所述訓(xùn)練數(shù)據(jù)集進(jìn)行處理,獲得難分樣本集;
6、從所述訓(xùn)練數(shù)據(jù)集中選取一當(dāng)前時(shí)刻狀態(tài),并利用貪婪策略選擇所述當(dāng)前時(shí)刻狀態(tài)下所對(duì)應(yīng)的當(dāng)前時(shí)刻動(dòng)作,其中,所述當(dāng)前時(shí)刻狀態(tài)表征當(dāng)前時(shí)刻下的所述網(wǎng)絡(luò)流量特征數(shù)據(jù)和所述網(wǎng)絡(luò)流量預(yù)測(cè)值,所述當(dāng)前時(shí)刻動(dòng)作表征當(dāng)前時(shí)刻所述物聯(lián)網(wǎng)遭到入侵或者當(dāng)前時(shí)刻所述物聯(lián)網(wǎng)正常;
7、計(jì)算執(zhí)行所述當(dāng)前時(shí)刻動(dòng)作后獲得的當(dāng)前時(shí)刻獎(jiǎng)勵(lì),并獲取下一時(shí)刻狀態(tài),其中,所述當(dāng)前時(shí)刻獎(jiǎng)勵(lì)是根據(jù)獎(jiǎng)勵(lì)系數(shù)確定的,其中,所述獎(jiǎng)勵(lì)系數(shù)是通過第一判斷結(jié)果確定得到的系數(shù),所述第一判斷結(jié)果為表征當(dāng)前時(shí)刻下的所述網(wǎng)絡(luò)流量特征數(shù)據(jù)和所述網(wǎng)絡(luò)流量預(yù)測(cè)值屬于所述難分樣本集的結(jié)果,或者當(dāng)前時(shí)刻下的所述網(wǎng)絡(luò)流量特征數(shù)據(jù)和所述網(wǎng)絡(luò)流量預(yù)測(cè)值不屬于所述難分樣本集的結(jié)果;
8、根據(jù)所述當(dāng)前時(shí)刻狀態(tài)、所述當(dāng)前時(shí)刻動(dòng)作、所述當(dāng)前時(shí)刻獎(jiǎng)勵(lì)和所述下一時(shí)刻狀態(tài),構(gòu)建狀態(tài)轉(zhuǎn)移四元組,并將所述狀態(tài)轉(zhuǎn)移四元組存儲(chǔ)至經(jīng)驗(yàn)回放池中;
9、從所述經(jīng)驗(yàn)回放池中選擇若干個(gè)所述狀態(tài)轉(zhuǎn)移四元組作為訓(xùn)練樣本,訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)模型;
10、根據(jù)訓(xùn)練好的所述深度學(xué)習(xí)網(wǎng)絡(luò)模型,預(yù)測(cè)所述物聯(lián)網(wǎng)是否遭到入侵。
11、可選地,所述網(wǎng)絡(luò)流量特征數(shù)據(jù)包括:每秒的網(wǎng)絡(luò)流個(gè)數(shù)、每秒傳輸?shù)臄?shù)據(jù)包數(shù)目、每秒傳輸?shù)臄?shù)據(jù)包頭部總字節(jié)數(shù)、每秒傳輸?shù)臄?shù)據(jù)包頭部平均字節(jié)數(shù)、每秒傳輸?shù)臄?shù)據(jù)包頭部字節(jié)數(shù)標(biāo)準(zhǔn)差、每秒傳輸?shù)臄?shù)據(jù)包報(bào)文總字節(jié)數(shù)、每秒傳輸?shù)臄?shù)據(jù)包報(bào)文平均字節(jié)數(shù)、每秒傳輸?shù)臄?shù)據(jù)包報(bào)文字節(jié)數(shù)標(biāo)準(zhǔn)差、每秒前向傳輸?shù)臄?shù)據(jù)包數(shù)目、每秒前向傳輸?shù)臄?shù)據(jù)包頭部總字節(jié)數(shù)、每秒前向傳輸?shù)臄?shù)據(jù)包頭部平均字節(jié)數(shù)、每秒前向傳輸?shù)臄?shù)據(jù)包頭部字節(jié)數(shù)標(biāo)準(zhǔn)差、每秒前向傳輸?shù)臄?shù)據(jù)包報(bào)文總字節(jié)數(shù)、每秒前向傳輸?shù)臄?shù)據(jù)包報(bào)文平均字節(jié)數(shù)、每秒前向傳輸?shù)臄?shù)據(jù)包報(bào)文字節(jié)數(shù)標(biāo)準(zhǔn)差、每秒反向傳輸?shù)臄?shù)據(jù)包數(shù)目、每秒反向傳輸?shù)臄?shù)據(jù)包頭部總字節(jié)數(shù)、每秒反向傳輸?shù)臄?shù)據(jù)包頭部平均字節(jié)數(shù)、每秒反向傳輸?shù)臄?shù)據(jù)包頭部字節(jié)數(shù)標(biāo)準(zhǔn)差、每秒反向傳輸?shù)臄?shù)據(jù)包報(bào)文總字節(jié)數(shù)、每秒反向傳輸?shù)臄?shù)據(jù)包報(bào)文平均字節(jié)數(shù)、每秒反向傳輸?shù)臄?shù)據(jù)包報(bào)文字節(jié)數(shù)標(biāo)準(zhǔn)差、每秒tcp數(shù)據(jù)包數(shù)目、每秒tcp數(shù)據(jù)包頭部總字節(jié)數(shù)、每秒tcp數(shù)據(jù)包頭部平均字節(jié)數(shù)、每秒tcp數(shù)據(jù)包頭部字節(jié)數(shù)標(biāo)準(zhǔn)差、每秒tcp數(shù)據(jù)包報(bào)文總字節(jié)數(shù)、每秒tcp數(shù)據(jù)包報(bào)文平均字節(jié)數(shù)、每秒tcp數(shù)據(jù)包報(bào)文字節(jié)數(shù)標(biāo)準(zhǔn)差、每秒udp數(shù)據(jù)包數(shù)目、每秒udp數(shù)據(jù)包頭部總字節(jié)數(shù)、每秒udp數(shù)據(jù)包報(bào)文總字節(jié)數(shù)、每秒udp數(shù)據(jù)包報(bào)文平均字節(jié)數(shù)、每秒udp數(shù)據(jù)包報(bào)文字節(jié)數(shù)標(biāo)準(zhǔn)差、數(shù)據(jù)包的平均時(shí)間間隔、數(shù)據(jù)包的標(biāo)準(zhǔn)時(shí)間間隔、前向數(shù)據(jù)包的平均時(shí)間間隔、前向數(shù)據(jù)包的標(biāo)準(zhǔn)時(shí)間間隔和ack標(biāo)記數(shù)量。
12、可選地,在執(zhí)行步驟“根據(jù)網(wǎng)絡(luò)流量特征數(shù)據(jù)和網(wǎng)絡(luò)流量預(yù)測(cè)值構(gòu)建訓(xùn)練數(shù)據(jù)集”之前,所述物聯(lián)網(wǎng)網(wǎng)絡(luò)入侵檢測(cè)方法還包括:
13、對(duì)所述網(wǎng)絡(luò)流量特征數(shù)據(jù)和所述網(wǎng)絡(luò)流量預(yù)測(cè)值進(jìn)行歸一化處理。
14、可選地,采用k聚類算法對(duì)所述訓(xùn)練數(shù)據(jù)集進(jìn)行處理,獲得難分樣本集,具體包括:
15、從所述訓(xùn)練數(shù)據(jù)集中隨機(jī)選擇一個(gè)樣本作為初始聚類中心;
16、計(jì)算所述訓(xùn)練數(shù)據(jù)集中所有樣本到所述初始聚類中心之間的第一距離;
17、根據(jù)所述第一距離計(jì)算每個(gè)樣本被選為聚類中心的概率;
18、根據(jù)所述概率選擇預(yù)若干個(gè)新的初始聚類中心,作為第一聚類中心;
19、計(jì)算每個(gè)所述樣本與各個(gè)所述第一聚類中心之間的第二距離;
20、根據(jù)所述第二距離對(duì)所述樣本劃分為對(duì)應(yīng)的簇;
21、計(jì)算每個(gè)簇中所有樣本點(diǎn)的平均值,并將所述平均值作為新的第一聚類中心,返回步驟“計(jì)算每個(gè)所述樣本與各個(gè)所述第一聚類中心之間的第二距離”;
22、當(dāng)滿足預(yù)設(shè)的迭代條件后,獲得聚類結(jié)果;
23、根據(jù)所述聚類結(jié)果確定攻擊樣本集和良性樣本集;
24、根據(jù)所述攻擊樣本集和所述良性樣本集確定所述難分樣本集。
25、可選地,所述當(dāng)前時(shí)刻獎(jiǎng)勵(lì)的表達(dá)式為:
26、
27、
28、其中,rt(st,at)為當(dāng)前t時(shí)刻獎(jiǎng)勵(lì);st為當(dāng)前t時(shí)刻狀態(tài);at為當(dāng)前t時(shí)刻動(dòng)作;λ(t)為當(dāng)前t時(shí)刻的獎(jiǎng)勵(lì)系數(shù);r為基礎(chǔ)獎(jiǎng)勵(lì);hi為難分樣本集;υ為難分樣本獎(jiǎng)勵(lì)系數(shù)。
29、可選地,所述深度學(xué)習(xí)網(wǎng)絡(luò)模型為dqn網(wǎng)絡(luò)。
30、可選地,所述深度學(xué)習(xí)網(wǎng)絡(luò)模型的損失函數(shù)的表達(dá)式為:
31、l(θ)=e[rt+γmaxq(st+1,at+1,θ′)-q(st,at,θ)]2;
32、其中,rt為當(dāng)前t時(shí)刻獎(jiǎng)勵(lì);γ為獎(jiǎng)勵(lì)衰減因子;q(st+1,at+1,θ′)為所述dqn網(wǎng)絡(luò)中的目標(biāo)網(wǎng)絡(luò)在t+1時(shí)刻狀態(tài)下執(zhí)行動(dòng)作后計(jì)算的q值;st+1為t+1時(shí)刻狀態(tài);θ′為目標(biāo)網(wǎng)絡(luò)參數(shù);q(st,at,θ)為所述dqn網(wǎng)絡(luò)中的q網(wǎng)絡(luò)在當(dāng)前t時(shí)刻狀態(tài)下執(zhí)行動(dòng)作后計(jì)算的q值;st為當(dāng)前t時(shí)刻狀態(tài);at為當(dāng)前t時(shí)刻動(dòng)作;θ為q網(wǎng)絡(luò)參數(shù)。
33、第二方面,本技術(shù)提供了一種計(jì)算機(jī)設(shè)備,包括:存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)上述第一方面中任一項(xiàng)所述的一種物聯(lián)網(wǎng)網(wǎng)絡(luò)入侵檢測(cè)方法。
34、第三方面,本技術(shù)提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面中任一項(xiàng)所述的一種物聯(lián)網(wǎng)網(wǎng)絡(luò)入侵檢測(cè)方法。
35、第四方面,本技術(shù)提供了一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序,該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面中任一項(xiàng)所述的一種物聯(lián)網(wǎng)網(wǎng)絡(luò)入侵檢測(cè)方法。
36、根據(jù)本技術(shù)提供的具體實(shí)施例,本技術(shù)公開了以下技術(shù)效果:
37、本技術(shù)提供了一種物聯(lián)網(wǎng)網(wǎng)絡(luò)入侵檢測(cè)方法、設(shè)備、介質(zhì)及產(chǎn)品,通過引入數(shù)字孿生技術(shù)感知和預(yù)測(cè)網(wǎng)絡(luò)流量數(shù)據(jù),結(jié)合網(wǎng)絡(luò)流量特征數(shù)據(jù)構(gòu)建訓(xùn)練數(shù)據(jù)集,然后對(duì)訓(xùn)練數(shù)據(jù)集中的難分樣本利用k聚類算法進(jìn)行標(biāo)記,最后通過控制深度學(xué)習(xí)網(wǎng)絡(luò)模型的獎(jiǎng)勵(lì)值來提高對(duì)難分樣本的檢測(cè)準(zhǔn)確性,從整體上實(shí)現(xiàn)高精度的入侵檢測(cè)。