本技術(shù)涉及網(wǎng)絡(luò)安全，尤其涉及一種基于威脅情報的社工釣魚郵件檢測系統(tǒng)及方法。

背景技術(shù)：

1、隨著數(shù)字化轉(zhuǎn)型建設(shè)的推進(jìn)，網(wǎng)絡(luò)安全和數(shù)據(jù)安全越來越重要，惡意網(wǎng)絡(luò)釣魚郵件對網(wǎng)絡(luò)安全的威脅極大。

2、現(xiàn)有常用的釣魚郵件檢測方法為基于中間代理檢測的網(wǎng)頁郵件安全防護(hù)方法，圖1為基于中間代理檢測的網(wǎng)頁郵件安全防護(hù)邏輯視圖，如圖1所示，該方法對內(nèi)網(wǎng)用戶的網(wǎng)頁和郵件交互處理流程如下：

3、(1)如果內(nèi)網(wǎng)用戶向外網(wǎng)發(fā)起明文郵件訪問，需要經(jīng)過中間代理檢測模塊；

4、(2)中間代理檢測模塊在確定是明文連接后，作為代理服務(wù)端與內(nèi)網(wǎng)用戶建立明文連接；

5、(3)同時中間代理檢測模塊作為客戶端采用ssl加密，向外網(wǎng)郵件服務(wù)器建立ssl密文連接并發(fā)起請求；

6、(4)外網(wǎng)網(wǎng)頁和郵件服務(wù)器通過ssl密文將響應(yīng)返回給中間代理檢測模塊，中間代理檢測模塊在ssl解密后將明文內(nèi)容發(fā)給內(nèi)網(wǎng)用戶；

7、(5)如果內(nèi)網(wǎng)用戶向外網(wǎng)發(fā)起ssl加密的郵件訪問，需要經(jīng)過中間代理檢測模塊；

8、(6)中間檢測代理模塊會周期性的向微型ssl證書服務(wù)發(fā)起ssl請求連接；

9、(7)微型ssl證書服務(wù)與中間代理檢測模塊在ssl協(xié)商過程中，會向中間代理檢測模塊發(fā)送證書；

10、(8)中間代理檢測模塊檢驗上述證書是否被替換，如果被替換則證明發(fā)生了ssl中間人攻擊，阻斷當(dāng)前郵件訪問請求；

11、(9)如果證書沒有替換，則放行內(nèi)網(wǎng)用戶的郵件訪問，郵件服務(wù)器發(fā)送安全加密的響應(yīng)內(nèi)容給內(nèi)網(wǎng)用戶。

12、現(xiàn)有技術(shù)的缺點如下：

13、(1)防御局限性：中間代理通常會使用規(guī)則和模式匹配來檢測威脅，這可能會導(dǎo)致漏報或誤報。它們可能無法應(yīng)對新興的、未知的威脅，除非不斷更新規(guī)則和簽名。

14、(2)單一點故障：中間代理是網(wǎng)絡(luò)中的單一點，如果代理出現(xiàn)故障或受到攻擊，整個郵件流量都會受到影響。這可能導(dǎo)致郵件延遲或中斷。

15、(3)不適用于端到端加密郵件：對于端到端加密的郵件，中間代理通常無法查看郵件內(nèi)容，因此無法對其進(jìn)行有效的檢查和篩選。

16、(4)對于高級威脅的限制：某些高級威脅和攻擊可能會繞過中間代理的檢查，因為攻擊者不斷演化并尋找新的方式來規(guī)避檢測。

技術(shù)實現(xiàn)思路

1、本技術(shù)旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

2、為此，本技術(shù)的第一個目的在于提出一種基于威脅情報的社工釣魚郵件檢測系統(tǒng)。

3、本技術(shù)的第二個目的在于提出一種基于威脅情報的社工釣魚郵件檢測方法。

4、為達(dá)上述目的，本技術(shù)第一方面實施例提出了一種基于威脅情報的社工釣魚郵件檢測系統(tǒng)，包括客戶端和服務(wù)端，其中，客戶端包括：

5、郵件網(wǎng)關(guān)，用于捕獲傳入或傳出的郵件流量，并從捕獲的郵件流量中提取出動態(tài)樣本提交給沙箱，并生成靜態(tài)威脅ioc特征指標(biāo)；

6、沙箱，用于執(zhí)行動態(tài)樣本包含的操作，并生成動態(tài)威脅樣本iob行為指標(biāo)；

7、客戶端，用于對靜態(tài)威脅ioc特征指標(biāo)和動態(tài)威脅樣本iob行為指標(biāo)進(jìn)行融合，形成整體威脅情報信息，并將整體威脅情報信息上報至服務(wù)端；

8、服務(wù)端包括：

9、威脅情報安全運營與監(jiān)測分析模塊，用于對整體威脅情報信息進(jìn)行處理，確定真實威脅情報，并將其存儲在威脅情報倉庫；

10、郵件安全聯(lián)防預(yù)警模塊，用于定時拉取威脅情報倉庫的數(shù)據(jù)，并將拉取的數(shù)據(jù)共享至客戶端進(jìn)行威脅聯(lián)防預(yù)警。

11、本技術(shù)實施例的基于威脅情報的社工釣魚郵件檢測系統(tǒng)，通過在本地部署郵件網(wǎng)關(guān)和多場景智能沙箱，依托“云端”威脅情報共享平臺進(jìn)行專家運營，協(xié)同聯(lián)動重要行業(yè)單位，實時開展惡意樣本特征、惡意url、異常行為等威脅情報的聯(lián)動共享，能夠?qū)崿F(xiàn)：

12、(1)有效防御社工釣魚攻擊，切斷黑客利用釣魚攻擊獲取內(nèi)網(wǎng)攻擊跳板的通道，全面防護(hù)郵件系統(tǒng)安全，保護(hù)數(shù)據(jù)安全。

13、(2)填補當(dāng)前國內(nèi)防御社工釣魚情報領(lǐng)域數(shù)據(jù)的空白，并建設(shè)了一整套完整的情報生產(chǎn)、運營、消費的數(shù)據(jù)運營體系。

14、(3)有效解決實戰(zhàn)對抗過程中企業(yè)人員郵件安全意識參差不齊問題，通過威脅及時預(yù)警實現(xiàn)自動化應(yīng)對郵件釣魚及惡意程序攻擊，利用情報運營機(jī)制達(dá)到“一點監(jiān)控、全網(wǎng)預(yù)警”的防護(hù)效果。

15、可選地，在本技術(shù)的一個實施例中，客戶端，具體用于：

16、按照預(yù)設(shè)的標(biāo)準(zhǔn)對整體威脅情報信息進(jìn)行處理，得到待上報數(shù)據(jù)，并按照規(guī)定的編碼和格式進(jìn)行定義接入和數(shù)據(jù)上報。

17、可選地，在本技術(shù)的一個實施例中，威脅情報安全運營與監(jiān)測分析模塊接入至少一個數(shù)據(jù)源，威脅情報安全運營與監(jiān)測分析模塊，還用于采集威脅情報數(shù)據(jù)，其中，采集威脅情報數(shù)據(jù)，包括：

18、接收接入數(shù)據(jù)源通過加密網(wǎng)絡(luò)傳輸協(xié)議傳入的數(shù)據(jù)，其中，數(shù)據(jù)包括標(biāo)準(zhǔn)化報警日志信息和客戶端上報的威脅情報信息；

19、對接收的數(shù)據(jù)進(jìn)行歸類，并對每一類數(shù)據(jù)創(chuàng)建對應(yīng)的采集適配器，通過對采集適配器進(jìn)行統(tǒng)一調(diào)度和策略控制，完成分布式日志數(shù)據(jù)采集；

20、對整體威脅情報信息進(jìn)行處理，確定真實威脅情報，包括在線實時分析、離線分析和人工輔助分析。

21、可選地，在本技術(shù)的一個實施例中，在線實時分析，包括：

22、通過flume的分布式agent節(jié)點實時接入分布式消息隊列kafka，獲取實時數(shù)據(jù)；

23、將實時數(shù)據(jù)通過etl抽取、轉(zhuǎn)換后加載至hdfs分布式文件系統(tǒng)中；

24、通過規(guī)則模型庫同步實時數(shù)據(jù)，以進(jìn)行規(guī)則和模型優(yōu)化；

25、基于flink實時處理kafka/hdfs中的數(shù)據(jù)，通過規(guī)則匹配、模型比對、場景與聚類分析生成真實威脅情報數(shù)據(jù)；

26、威脅情報安全運營與監(jiān)測分析模塊，還用于：

27、利用應(yīng)用層服務(wù)框架對真實威脅情報數(shù)據(jù)進(jìn)行調(diào)度，將其存儲至威脅情報倉庫。

28、可選地，在本技術(shù)的一個實施例中，離線分析，包括：

29、對歷史數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理后的歷史數(shù)據(jù)，并將預(yù)處理后的歷史數(shù)據(jù)存儲至數(shù)據(jù)倉庫；

30、將來自不同類型的信息整合至數(shù)據(jù)倉庫，并關(guān)聯(lián)至分析平臺；

31、使用數(shù)據(jù)挖掘和分析技術(shù)，在分析平臺對數(shù)據(jù)倉庫中整合的數(shù)據(jù)進(jìn)行分析，得到分析結(jié)果；

32、根據(jù)已知的威脅情報數(shù)據(jù)訓(xùn)練檢測模型，并通過檢測模型對預(yù)處理后的歷史數(shù)據(jù)進(jìn)行檢測，得到檢測結(jié)果；

33、根據(jù)分析結(jié)果和檢測結(jié)果，識別潛在的威脅信息，得到離線分析結(jié)果；

34、對離線分析結(jié)果進(jìn)行人工研判分析，形成安全事件錄入事件模型倉庫。

35、可選地，在本技術(shù)的一個實施例中，人工輔助分析，包括：

36、將數(shù)據(jù)進(jìn)行歸一化和標(biāo)準(zhǔn)化，得到標(biāo)準(zhǔn)數(shù)據(jù)；

37、使用自動化工具和技術(shù)對標(biāo)準(zhǔn)數(shù)據(jù)篩選和過濾，確定潛在的威脅信息；

38、通過人工判斷真實威脅信息。

39、可選地，在本技術(shù)的一個實施例中，威脅情報安全運營與監(jiān)測分析模塊，還用于：

40、通過大規(guī)模預(yù)訓(xùn)練語言模型對郵件文本內(nèi)容進(jìn)行向量編碼，并通過無監(jiān)督學(xué)習(xí)對模型進(jìn)行訓(xùn)練，在訓(xùn)練時從向量中學(xué)習(xí)文本語義模式，實現(xiàn)模型的增量優(yōu)化；

41、使用spark?sql接入至少一個數(shù)據(jù)源，獲取分布式日志數(shù)據(jù)；

42、通過spark?sql執(zhí)行sql查詢，對每個數(shù)據(jù)源中的對應(yīng)數(shù)據(jù)進(jìn)行關(guān)聯(lián)，形成威脅數(shù)據(jù)記錄；

43、基于威脅數(shù)據(jù)記錄，根據(jù)不同維度、不同威脅描述信息形成檢測安全事件的檢測規(guī)則；

44、通過攻擊組織特征建立已有攻擊組織關(guān)聯(lián)，形成攻擊組織指紋庫，并生成攻擊組織識別策略；

45、將可信度、活躍度均大于閾值的源情報數(shù)據(jù)和經(jīng)過情報分析模型重新組裝的情報實時添加到熱情報數(shù)據(jù)庫中；

46、對準(zhǔn)確且有效的情報數(shù)據(jù)標(biāo)記有效時間，并對誤報情報數(shù)據(jù)下調(diào)可信度并優(yōu)化產(chǎn)生此情報的分析模型；

47、根據(jù)不同類型的情報在實際檢測現(xiàn)場環(huán)境中的觸發(fā)概率，動態(tài)調(diào)整情報檢測規(guī)則的時間有效性；

48、郵件安全聯(lián)防預(yù)警模塊，還用于將策略、規(guī)則、模型下發(fā)至客戶端進(jìn)行威脅聯(lián)防預(yù)警。

49、可選地，在本技術(shù)的一個實施例中，定時拉取威脅情報倉庫的數(shù)據(jù)，并將拉取的數(shù)據(jù)共享至客戶端進(jìn)行威脅聯(lián)防預(yù)警，包括：

50、使用身份驗證和授權(quán)令牌驗證對客戶端的訪問權(quán)限進(jìn)行驗證，確定授權(quán)客戶端；

51、根據(jù)授權(quán)客戶端的訂閱情況，從威脅情報倉庫中提取相應(yīng)的威脅情報數(shù)據(jù)；

52、對提取的威脅情報數(shù)據(jù)進(jìn)行分類歸并、加密壓縮處理，得到處理后的威脅情報數(shù)據(jù)；

53、通過加密網(wǎng)絡(luò)傳輸協(xié)議將處理后的威脅情報數(shù)據(jù)共享至待對應(yīng)的授權(quán)客戶端。

54、為達(dá)上述目的，本發(fā)明第二方面實施例提出了一種基于威脅情報的社工釣魚郵件檢測方法，包括：

55、通過社工釣魚郵件檢測系統(tǒng)對郵件進(jìn)行檢測，將檢測郵件分為威脅郵件和非威脅郵件，其中，非威脅郵件包括警惕郵件和正常郵件；

56、通過社工釣魚郵件檢測系統(tǒng)對檢測出的威脅郵件和/或警惕郵件添加警示信息，并將威脅郵件和/或非威脅郵件投遞至郵件服務(wù)器，通過郵件服務(wù)器發(fā)送至用戶收件箱。

57、本技術(shù)附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本技術(shù)的實踐了解到。