對來自網絡的訪問請求產生黑名單的系統和方法
【技術領域】
[0001]本發(fā)明涉及一種對來自網絡的訪問請求產生黑名單的系統和方法，使得可以對來自網絡的訪問請求進行限制。
【背景技術】
[0002]傳統的負載平衡器(Load Balancer)，如采用Iinux下HaProxy的配置，用于讀取來自網絡的每一個HTTP請求中所包含的cookies或URL解釋，并且基于這些信息重寫報頭并將HTTP請求發(fā)往后端服務器群，使得后端服務器群中各服務器達到流量、資源占用的平衡狀態(tài)。但是，傳統的負載平衡器不會自動對網絡的流量進行濾過檢查，不能對攻擊流量進行限流或丟棄。
[0003]在現有技術中，已知有基于流量清洗技術通過偵測TCP分組來實現針對ICMP/TCP/UDP流攻擊進行防護的，通過重發(fā)TCP/UDP分組來實現。這種已知方案僅對TCP/UDP層的分組有效，它對于預防需解密的開放式系統互聯參考模型(OSI)第7層應用層的HTTP流攻擊無能為力。
[0004]一種想法是根據對訪問URL做統計，根據單位時間訪問量如QPS來限制訪問請求。針對一個大型網站訪問URL的統計通常消耗很多內存。一般來說，對于數據項IP地址、用戶標識(USERID)、統一資源定位符(URL)等的任何一個組合，需要記錄與該組合相關聯的每一個訪問的時間戳(timestamp)。
[0005]在現有技術中，當需要計算QPS時，將各個時間點過濾或排序，既費時又耗內存。

【發(fā)明內容】

[0006]本發(fā)明的目的是提供一種對來自網絡的訪問請求產生黑名單的系統和方法，使得可以對來自網絡的訪問請求進行限制。
[0007]根據本發(fā)明的一個方面，提供一種對來自網絡的訪問請求產生黑名單的系統，包括:接收部分，所述接收部分按預定的請求時間間隔向聚集器請求統計結果，并接收來自所述聚集器的統計結果，其中所述統計結果給出了在預定統計時長內累計的包含有預定義統計數據項組合的UDP報文數量，每個UDP報文是根據解析相應訪問請求而產生；生成部分，所述生成部分根據所接收的統計結果和預定義規(guī)則生成訪問請求的黑名單；監(jiān)聽部分，該監(jiān)聽部分以異步方式把所述黑名單加載至負載均衡器。
[0008]根據本發(fā)明的另一方面，提供一種對來自網絡的訪問請求產生黑名單的方法，包括:按預定的請求時間間隔向聚集器請求統計結果，并接收來自所述聚集器的統計結果，其中所述統計結果給出了在預定統計時長內累計的包含有預定義統計數據項組合的UDP報文數量，每個UDP報文是根據解析相應訪問請求而產生；根據所接收的統計結果和預定義規(guī)則生成訪問請求的黑名單；以異步方式把所述黑名單加載至負載均衡器。
[0009]根據本發(fā)明，其中以異步方式把所述黑名單加載至負載均衡器包括:監(jiān)聽負載均衡器的請求，當負載均衡器發(fā)起請求時，獲取黑名單，并把黑名單發(fā)送給所述負載均衡器。
[0010]根據本發(fā)明，其中所述聚集器包括多臺彼此獨立運行的聚集機，各臺聚集機分別進行所述的統計。本發(fā)明的方法還包括從所述多臺聚集機分別接收統計結果，并根據所述分別接收的統計結果產生匯總的統計結果。并且所述黑名單根據所述匯總的統計結果和所述預定義規(guī)則生成。
[0011]根據本發(fā)明的方法，還包括，利用設置了針對各預定目的域名的單位時間請求量閥值和處理動作的配置文件，根據所述統計結果計算對應所述預定義統計數據項組合的訪問請求的單位時間訪問量，當該訪問量超過了其目的域名對應的單位時間訪問量閥值時，則建立相應的黑名單記錄，該記錄包括該訪問請求的目的域名、用戶名和客戶端IP以及相應的處理動作，并且所產生的黑名單記錄被加入所述黑名單，從而產生當前的黑名單。
[0012]根據本發(fā)明，其中所述單位時間請求量是每秒查詢率QPS值。
【附圖說明】
[0013]下面將參考附圖詳細地描述本發(fā)明的實施例，其中:
[0014]圖1是根據本發(fā)明的用于對來自網絡的訪問請求進行限制的系統的結構圖；
[0015]圖2是根據本發(fā)明的對來自網絡的訪問請求產生黑名單的系統的示例性匯總器的組成框圖示例。
【具體實施方式】
[0016]本發(fā)明提供了利用統計信息產生黑名單，從而對來自網絡的訪問請求進行限制的系統和方法。
[0017]一個訪問請求，如來自因特網的HTTP請求，包括如下數據項:該訪問用戶要訪問的目的域名(host);用戶請求的通用資源標示符(uri);用戶名(uid);客戶端IP地址(cip)等。
[0018]根據本發(fā)明，提供一種對來自網絡的訪問請求進行限制的系統，該系統包括負載均衡器、聚集器和匯總器。
[0019]所述負載均衡器接收來自所述網絡的訪問請求，把所接收的每個訪問請求解析成一個UDP報文，并且把UDP報文傳送給聚集器。
[0020]所述聚集器根據預定義統計數據項組合和預定義統計時長對接收到的UDP報文進行統計，并且根據匯總器的請求向其發(fā)送統計結果。所述統計結果給出了在當前的預定義統計時長內累計的包含有所述預定義統計數據項組合的UDP報文數量。
[0021]所述匯總器按照預定的請求時間間隔向所述聚集器請求統計結果，接收來自所述聚集器的統計結果，根據所接收的統計結果和預定義規(guī)則生成訪問請求的黑名單，并且根據所述負載均衡器的請求把黑名單發(fā)送給所述負載均衡器，其中所述黑名單定義了對相應訪問請求的處理動作。
[0022]所述負載均衡器根據當前黑名單確定對所接收的每個訪問請求的處理動作。
[0023]下面結合具體實施例詳細描述根據本發(fā)明實施例的用于對來自網絡的訪問請求進行限制的系統。但應該理解，具體實施例僅用于理解本發(fā)明的精神和具體實現，但本發(fā)明并不受限于特定的實施例。
[0024]圖1示出根據本發(fā)明用于對來自網絡的訪問請求進行限制實施例的系統100，該系統100包括3個模塊:
[0025]負載均衡器101，
[0026]聚集器102，和
[0027]匯總器103。
[0028]負載均衡器101接收來自網絡的訪問請求，如來自因特網的HTTP請求，并將接收的訪問請求解析成UDP報文，再將UDP報文傳輸給聚集器。
[0029]UDP報文因其資源消耗小、處理速度快等優(yōu)勢可以大大減小負載均衡器的額外開銷。UDP協議不屬于連接型協議，所以會存在一定的報文丟失現象。但這種丟失在可控誤差范圍之內，對系統的健碩性影響可忽略。
[0030]聚集器可包括多臺聚集機。多臺聚集機水平獨立擴展，即每臺聚集機是獨立部署和運行的，它們相互之間沒有影響和依賴。如果聚集器處理能力不能滿足需要，可以增加機器，再部署新的聚集機。這樣可以較好地滿足大交通流量的需要。
[0031]負載均衡器101把每個UDP報文傳輸至一臺選定的聚集機。各臺聚集機分別進行所述統計。
[0032]根據本發(fā)明的一個實施例，負載均衡器101用逐個輪詢的方式向多臺聚集機發(fā)UDP報文。例如，第一個UDP包發(fā)給第一臺聚集機，第二個UDP包發(fā)給第二臺聚集機，依次把生成的UDP包按順序發(fā)給各聚集機。當給最后一臺聚集機發(fā)送過過UDP包之后，再重新向第一臺聚集機發(fā)送。
[0033]每臺聚集機按照預定義統計規(guī)則或條件，如預定義的統計數據項組合、預定義的統計時間間隔等，對接收到的UDP報文進行統計分析。
[0034]聚集機接收UDP報文并且解析UDP報文。UDP報文中包含了用戶的HTTP訪問請求的信息:用戶訪問的目的域名(host)、用戶請求的通用資源標示符(uri)、用戶名(uid)、客戶端IP地址(cip)等。
[0035]然后，聚集機針對同一個目的域名(相同的host)、同一來源(相同的uid，相同的cip)的訪問請求數量作統計，進而可計算出此來源的訪問請求量。
[0036]如果在限定的時間段，如最近60秒或最近5分鐘，考察上述統計訪問請求量，那么可得出此來源的單位時間請求量，如通過訪問請求量除以該時間段的時長來獲得QPS值。QPS是指每秒查詢率，是對一個特定的查詢服務器在規(guī)定時間內所處理流量多少的衡量標準，在因特網上，作為域名系統服務