基于偽造發(fā)件人的垃圾郵件檢測與過濾方法
【專利摘要】本發(fā)明涉及互聯(lián)網(wǎng)【技術(shù)領(lǐng)域】，具體公開了一種基于偽造發(fā)件人的垃圾郵件檢測與過濾方法。本發(fā)明包括步驟：啟動郵件監(jiān)聽系統(tǒng)；接收郵件；提取郵件頭；初始化發(fā)件人郵件域集合S_DN；從From字段中解析出發(fā)件人郵件域MD；從Received字段中解析出發(fā)件人郵件域DN；垃圾郵件判定：如果MD∈S_DN，則判定該郵件為垃圾郵件；如果MD∈S_DN，則為正常郵件。本發(fā)明實現(xiàn)了有效檢測與過濾偽造發(fā)件人的垃圾郵件，保證正常郵件不會被錯誤過濾，為網(wǎng)絡(luò)管理、網(wǎng)絡(luò)安全監(jiān)控、以及網(wǎng)絡(luò)在線取證提供技術(shù)支持。
【專利說明】基于偽造發(fā)件人的垃圾郵件檢測與過濾方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及互聯(lián)網(wǎng)【技術(shù)領(lǐng)域】，具體公開了一種基于偽造發(fā)件人的垃圾郵件檢測與過濾方法。
【背景技術(shù)】
[0002]電子郵件一直是互聯(lián)網(wǎng)最重要的應(yīng)用之一，早期的電子郵件系統(tǒng)設(shè)計，基于一個基本的假設(shè)，即發(fā)信人是可信的，因而很少考慮郵件系統(tǒng)的安全性。隨著互聯(lián)網(wǎng)的迅速發(fā)展，電子郵件系統(tǒng)越來越普及，隨之而來的就是越來越嚴(yán)重的安全性問題，其中最主要的就是垃圾郵件的泛濫，絕大多數(shù)郵箱每天都會收到大量的垃圾郵件，給社會、集體和個人帶來巨大的損失和不便。如何有效防止垃圾郵件已經(jīng)成了擺在當(dāng)前郵件系統(tǒng)面前的最為嚴(yán)峻的問題。目前人們想盡了一切辦法與垃圾郵件進行斗爭，如黑白名單技術(shù)、過濾技術(shù)、增強認(rèn)證技術(shù)等。然而垃圾郵件仍然呈不斷上升的趨勢。
[0003]現(xiàn)有電子郵件系統(tǒng)所存在的諸多安全問題歸根到底是由于缺乏對發(fā)信人的源地址進行認(rèn)證所造成的，現(xiàn)有基于SMTP協(xié)議和客戶/服務(wù)器模式的電子郵件系統(tǒng)采用類似路由器的轉(zhuǎn)發(fā)機制，服務(wù)器無法驗證最初發(fā)送者的身份或源地址的真實性，導(dǎo)致垃圾郵件泛
YmL ο
[0004]面對兇猛的垃圾郵件，人們采取各種手段，希望能有效遏制垃圾郵件，但收效不大。
[0005]垃圾郵件的過濾包括郵件客戶端過濾和郵件服務(wù)器端過濾兩種途徑。一般用戶所使用的郵件客戶端軟件，比如Out look Express、FoxMail和自由軟件Mozilla Mail等,都有過濾垃圾郵件的功能，這實際上是對用戶已經(jīng)接受下來的郵件進行過濾，一般都可以按照發(fā)件人和主題設(shè)置過濾條件，好處是由接收者決定什么是垃圾郵件，是否刪除。壞處是這要將所有郵件接收到本地進行，會耗費用戶的帶寬和精力，對撥號用戶，問題尤為嚴(yán)重。服務(wù)器端的過濾軟件，比如著名的Spamassassin,是通過對郵件文本進行復(fù)雜的貝葉斯分析，對郵件中一些符合垃圾郵件特點的文本特征打分，超過某個標(biāo)準(zhǔn)分就判斷為垃圾郵件，這些過濾軟件再加上對郵件服務(wù)器端進行一些設(shè)置，就可以在服務(wù)器端對垃圾郵件進行標(biāo)記、轉(zhuǎn)發(fā)、存檔甚至刪除。這樣做的好處是，由郵件服務(wù)器對付垃圾郵件，用戶不必親自動手，垃圾郵件在服務(wù)器端就被阻擋，不會再收到用戶本地計算機的信箱中。但是，這對過濾軟件的要求很高，要求誤判率要盡可能低，因為用戶一般寧愿接收10份垃圾郵件也不愿被服務(wù)器誤刪除一份正常的郵件。另外，道高一尺，魔高一丈，面對各種過濾系統(tǒng)，垃圾郵件制造者總會想出各種應(yīng)對辦法。比如，垃圾郵件發(fā)送者經(jīng)常會針對過濾軟件的打分系統(tǒng)，在郵件里隨機放置一些無意義的詞匯，用html語言排版為白底白字，這樣用戶不會看到，但卻可以干擾過濾郵件的打分系統(tǒng)。
[0006]除了用戶端和服務(wù)器端的過濾，更高級的對付垃圾郵件的技術(shù)還包括雅虎提出的Domain Key 和 Eric Raymond 提出的 Sender Policy Framwork(SPF)等。
[0007]事實上，上述解決方案不可能從根本杜絕垃圾郵件的泛濫，垃圾郵件制造者如此猖狂的根本原因在于目前還沒有辦法對其身份與地址進行認(rèn)證與追蹤的機制，Domain Key和SPF雖然也具有一定程度的認(rèn)證與追蹤機制，但它只能認(rèn)證到郵件域，而不能認(rèn)證到郵件發(fā)送人。
[0008]事實上，垃圾郵件制造者的主要目的是向郵件接收人推送廣告及其它信息，無需收件人進行回復(fù)，同時為了躲避各種過濾手段，每次都臨時隨機構(gòu)造一個虛假的發(fā)信人地址發(fā)送郵件，使得黑白名單技術(shù)與基于內(nèi)容與特征的過濾技術(shù)失效，我們稱這類垃圾郵件為偽造發(fā)件人的垃圾郵件(Faked Sender of Spam, FSpam)。
[0009]針對垃圾郵件的特點及現(xiàn)有垃圾郵件檢測與過濾方法存在的問題，本發(fā)明實現(xiàn)了一種基于偽造發(fā)件人的垃圾郵件檢測與過濾方法，該方法通過分析郵件頭(Header)中相關(guān)字段所記錄的郵件傳輸過程的詳細(xì)信息，如發(fā)信人的郵件地址、發(fā)信人的郵件域、以及郵件在傳輸過程中所經(jīng)過的郵件服務(wù)器等信息，從而準(zhǔn)確地判斷出偽造發(fā)件人的垃圾郵件。該方法能有效檢測與過濾虛偽造發(fā)件人的垃圾郵件，同時能保證正常郵件不會被錯誤過濾，該方法廣泛應(yīng)用于網(wǎng)絡(luò)管理、安全監(jiān)控、網(wǎng)絡(luò)行為分析等領(lǐng)域。

【發(fā)明內(nèi)容】

[0010]本發(fā)明的目的在于:實現(xiàn)有效檢測與過濾偽造發(fā)件人的垃圾郵件，保證正常郵件不會被錯誤過濾，為網(wǎng)絡(luò)管理、網(wǎng)絡(luò)安全監(jiān)控、以及網(wǎng)絡(luò)在線取證提供技術(shù)支持。
[0011]為了實現(xiàn)上述發(fā)明目的，本發(fā)明采用的技術(shù)方案如下:
[0012]本發(fā)明所采用的技術(shù)原理在于:
[0013]郵件頭中的From字段記錄了郵件發(fā)送人的Emai I地址MA(格式為MC0MD，MD為郵件域的名稱，MC為發(fā)件人在該郵件域內(nèi)的賬號名)，此外郵件頭中還有一個或多個Received字段，它記錄了郵件在投遞過程中所經(jīng)過的郵件服務(wù)器的域名(DN)或IP地址。如圖1所示是一封正常郵件的部分郵件頭信息，郵件頭中的From字段記錄了郵件發(fā)送人的Email地址(MA):springeriscientific-direct.net,表明郵件發(fā)送人來自郵件域(MD):scientific_direct.net,其賬號名(MC)為springer。在正常郵件中，可以在Received字段中發(fā)現(xiàn)與MD相同的DN,例如在圖1所示的例子中，我們會發(fā)現(xiàn)MD = DN =scientific-direct, net。
[0014]對于偽造發(fā)件人的垃圾郵件FSpam而言，垃圾郵件發(fā)送者為了逃避檢測與追蹤，總是偽造發(fā)信人地址，這樣就會出現(xiàn)MD與DN不相同的異常情況，反而成了檢測與過濾FSpam的基本依據(jù)。如圖2所示為一封典型的FSpam的郵件頭,不難看出,From字段中的郵件域MD與Received字段中的DN不相同。
[0015]依據(jù)上述技術(shù)原理，基于偽造發(fā)件人的垃圾郵件檢測與過濾方法，包括步驟:
[0016]1、啟動郵件監(jiān)聽系統(tǒng)；
[0017]2、接收郵件；
[0018]3、提取郵件頭；
[0019]4、初始化發(fā)件人郵件域集合S_DN ；
[0020]5、從From字段中解析出發(fā)件人郵件域MD ;
[0021]6、從Received字段中解析出發(fā)件人郵件域DN ；
[0022]7、垃圾郵件判定:如果MD e S_DN,則判定該郵件為垃圾郵件；如果MD e S_DN,則為正常郵件。
[0023]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是:
[0024]UAFSpam能夠準(zhǔn)確地檢測出虛假垃圾郵件，同時能夠保證正常郵件不會被錯誤過濾；
[0025]2、AFSpam為插件形式，運行效率高，兼容多種郵件系統(tǒng)，安裝部署與卸載都非常方便，不影響郵件系統(tǒng)正常工作；
[0026]3、提供應(yīng)用編程接口 AP1，可以方便地與入侵檢測系統(tǒng)、攻擊源追蹤系統(tǒng)、在線取證系統(tǒng)等安全管理與安全監(jiān)控系統(tǒng)實現(xiàn)數(shù)據(jù)交換與信息通信。
【專利附圖】

【附圖說明】
[0027]圖1為正常郵件頭代碼格式示意圖；
[0028]圖2為偽造發(fā)件人的垃圾郵件頭代碼格式示意圖；
[0029]圖3為FSpam檢測/過濾引擎在Qmail郵件系統(tǒng)中的方位示意圖；
[0030]圖4為FSpam系統(tǒng)結(jié)構(gòu)示意圖；
[0031]圖5為FSpam測試環(huán)境示意圖；
[0032]圖6為FSpam測試結(jié)果示意圖。
【具體實施方式】
[0033]下面結(jié)合【具體實施方式】對本發(fā)明的上述
【發(fā)明內(nèi)容】
作進一步的詳細(xì)描述。
[0034]但不應(yīng)將此理解為本發(fā)明上述主題的范圍僅限于下述實施例。在不脫離本發(fā)明上述技術(shù)思想情況下，根據(jù)本領(lǐng)域普通技術(shù)知識和慣用手段，做出各種替換和變更，均應(yīng)包括在本發(fā)明的范圍內(nèi)。
[0035]實施例
[0036]由于不同的郵件系統(tǒng)在實現(xiàn)細(xì)節(jié)上并未嚴(yán)格遵循電子郵件的相關(guān)協(xié)議與標(biāo)準(zhǔn)如RFC822等，以及郵件系統(tǒng)自身的配置差錯，在具體實施FSpam的檢測與過濾時可能會遇到一些技術(shù)性問題。比如，有些非標(biāo)準(zhǔn)郵件系統(tǒng)發(fā)送郵件時，在Received字段中寫入的不是域名而是IP地址；另外，有些郵件系統(tǒng)支持虛擬郵件域(即一個郵件系統(tǒng)同時管理多個郵件域)，發(fā)送郵件時寫入Received字段中的郵件域ND不一定是From字段中的郵件域MD。這樣就可能給FSpam的檢測帶來一些操作上的困難，出現(xiàn)誤殺正常郵件的可能。對于上述問題，可以通過DNS正向查詢、反向解析以及通過NSL00KUP查詢MX記錄等技術(shù)手段得到較好的解決。
[0037]本實施例列舉的基于偽造發(fā)件人的垃圾郵件檢測與過濾方法，包括如下步驟:
[0038]1、FSpam檢測/過濾引擎AFSpam的部署；
[0039]郵件系統(tǒng)具體實現(xiàn)FSpam的檢測與過濾時，需要選擇一個最佳的切入點。本發(fā)明以Qmai I郵件系統(tǒng)為例加以說明。如圖3所示，郵件系統(tǒng)處理的郵件包括4種:
[0040](I)從外部郵件域發(fā)往其它外部郵件域但需要經(jīng)過本郵件服務(wù)器進行中轉(zhuǎn)的郵件；
[0041](2)從外部郵件域發(fā)往本域的郵件；
[0042](3)從本域發(fā)往外部郵件域的郵件；[0043](4)從本域發(fā)往本域的郵件。
[0044]檢測/過濾引擎必須能處理所有這些郵件，因此，虛假發(fā)信人垃圾郵件的檢測與處理的最佳位置應(yīng)該是在郵件隊列中進行。本發(fā)明將FSpam檢測/過濾引擎以插件的形式安裝部署在Qmai I郵件系統(tǒng)的qmai 1-queue與qmai卜send之間,這樣不會影響原有系統(tǒng)結(jié)構(gòu)，安裝、移除都很方便，運行效率也很高。
[0045]2、FSpam檢測/過濾引擎AFSpam的體系結(jié)構(gòu)與實施流程。
[0046]具體實施過程中，在一臺Linux操作系統(tǒng)Cent0S6.0上安裝部署了 Qmail郵件服務(wù)器系統(tǒng)，并將FSpam檢測/過濾引擎AFSpam以插件的形式安裝部署在Qmail郵件系統(tǒng)的qmai卜queue (負(fù)責(zé)處理郵件隊列)與qmai卜send(負(fù)責(zé)發(fā)送經(jīng)過qmai 1-queue處理后的郵件隊列)之間，使得郵件服務(wù)器可以正常工作而不受AFSpam引擎的影響。
[0047]AFSpam引擎的體系結(jié)構(gòu)如圖4所示,主要包括郵件頭解析、FSpam檢測引擎、FSpam過濾、FSpam追蹤、FSpam分析/統(tǒng)計以及可視化輸出等模塊。實施過程主要包括以下步驟(如圖4中的虛框內(nèi)部所示):
[0048](I)郵件系統(tǒng)啟動后自動啟動FSpam檢測/過濾引擎AFSpam，開始監(jiān)聽郵件系統(tǒng)，并進行初始化工作:
[0049](2)郵件頭解析模塊從來自郵件隊列qmail-queue中郵件的郵件頭中的相關(guān)字段如From、Received等中提取出MD、MC、DN信息,然后提交給AFSpam檢測引擎進行處理；
[0050](3)FSA檢測引擎接收來自郵件頭解析模塊中提取出的MD、MC、DN等信息，作為輸入信息調(diào)用FSA檢測算法判定是否為FSpam ；
[0051](4)垃圾郵件的判斷與處理:
[0052]①如果判定為正常郵件，則將郵件提交給qmail-send進行正常投遞；
[0053]②如果判定為FSpam,則AFSpam過濾模塊根據(jù)用戶事先設(shè)定的規(guī)則對FSpam進行過濾，目前本系統(tǒng)支持的過濾形式包括:打上[FSpam]標(biāo)簽，然后放行；直接丟棄該郵件。
[0054](5)FSpam追蹤。當(dāng)郵件被判定為FSpam郵件時,本系統(tǒng)還提供了一個FSpam追蹤功能，結(jié)合FSpam分析/統(tǒng)計模塊用以進一步追查郵件的源頭。比如，如果大量FSpam郵件來自同一個郵件服務(wù)器，則此郵件服務(wù)器為垃圾郵件發(fā)送器，通知郵件服務(wù)器守護進程tcpserver/inetd拒絕來自該郵件服務(wù)器的SMTP連接請求。
[0055]實驗例
[0056]FSpam檢測/過濾弓丨擎AFSpam的性能測試
[0057]為了驗證FSpam檢測/過濾器的功能,設(shè)計了如圖5所示的FSpam過濾對比實驗:
[0058]1、通過FSpam發(fā)送平臺向收件人I iuwuOcernet.edu.cn隨機發(fā)送一些FSpam郵件與正常郵件
[0059]2、郵件服務(wù)器cernet.edu.cn上未部署FSpam檢測/過濾器Ant1-FSpam,并且cernet.edu.cn郵件服務(wù)器自動將發(fā)往I iuwuOcernet.edu.cn的郵件轉(zhuǎn)發(fā)給I iuwuOvhost.galaxy, edu.cn
[0060]3、在郵件服務(wù)器vhost.galaxy, edu.cn上部署了 FSpam檢測過濾器Ant1-FSASpam0
[0061]4、如果Ant1-FSpam檢測過濾系統(tǒng)工作正常,那么IiuwuOcernet.edu.cn的郵箱中將接收到所有來自FSpam發(fā)送器所發(fā)送的郵件,而liuwu@vhost.galaxy, edu.cn的郵箱中只能接收到FSpam發(fā)送器所發(fā)送的正常郵件。那么，通過對比IiuwuOcernet.edu.cn與Iiuwuivhost.galaxy, edu.cn中的郵件就可判定FSpam檢測過濾系統(tǒng)Ant1-FSASpam是否正
常工作。
[0062]圖6所示為測試結(jié)果，其中:
[0063]FSpam 檢測率=liuwuivhost.galaxy, edu.cn 收到的郵件數(shù)量 / 發(fā)送的 FSpam 數(shù)量X 100%，即正確檢測出FSpam郵件的比率。
[0064]誤判率=(I iuwuOvhost.galaxy, edu.cn收到的郵件數(shù)量-正常郵牛數(shù)量)/正常郵件數(shù)量X 100%，即將正常郵件誤判為FSpam郵件的比率。
[0065]實驗表明，AFSpam能夠準(zhǔn)確地檢測出虛假垃圾郵件，同時能夠呆證正常郵件不會被錯誤過濾。
【權(quán)利要求】
1.基于偽造發(fā)件人的垃圾郵件檢測與過濾方法，其特征在于，包括步驟: 啟動郵件監(jiān)聽系統(tǒng)； 接收郵件； 提取郵件頭； 初始化發(fā)件人郵件域集合S_DN ； 從From字段中解析出發(fā)件人郵件域MD ； 從Received字段中解析出發(fā)件人郵件域DN ； 垃圾郵件判定:如果MD e S_DN，則判定該郵件為垃圾郵件；如果MD e S_DN，則為正常郵件。
【文檔編號】H04L29/06GK103716335SQ201410030188
【公開日】2014年4月9日 申請日期:2014年1月12日 優(yōu)先權(quán)日:2014年1月12日
【發(fā)明者】劉武, 唐再良, 文永革, 趙永馳 申請人:綿陽師范學(xué)院