本發(fā)明涉及一種核密度估計離群點的檢測方法，特別是涉及一種基于分布式數(shù)據(jù)流的核密度估計離群點的檢測方法。

背景技術：

對于流式處理數(shù)據(jù)進行核密度估計的時候，由于數(shù)據(jù)量很大，在實際的環(huán)境中往往都是分布式的方式進行存儲，這個時候由于分布式的環(huán)境復雜，各個節(jié)點之間的網(wǎng)絡通信的阻塞，帶寬不均衡等原因，可以造成局部或則某個節(jié)點的數(shù)據(jù)分布的核密度估計離群點對于整體節(jié)點的分布而言是正常節(jié)點。那么這樣基于局部的判斷就是無效的。這個時候對于應該把局部數(shù)據(jù)匯聚到主節(jié)點作為整體的樣本數(shù)據(jù)參與計算。但是由于數(shù)據(jù)量特別大，我采用采樣的方式進行計算，采樣的方式采用兩種窗口方式進行采樣。通過不斷的迭代來減小誤差來達到離群點的檢測。

技術實現(xiàn)要素：

本發(fā)明所要解決的技術問題是提供一種基于分布式數(shù)據(jù)流的核密度估計離群點的檢測方法，其能夠通過hash方式進行分布式存儲，讓數(shù)據(jù)盡量的分布均勻，采用滑動窗口采樣的方式進行計算，減少了計算量，減少離群點檢測的誤差。

本發(fā)明是通過下述技術方案來解決上述技術問題的：一種基于分布式數(shù)據(jù)流的核密度估計離群點的檢測方法，其包括以下步驟：

步驟一，對流式數(shù)據(jù)集通過hash方式進行分布式存儲，讓數(shù)據(jù)盡量的分布均勻；

步驟二，根據(jù)多粒度偏差因子定義新的核密度，并在其基礎上給出了一種新的離群點定義，它的主要思想是對每個點周圍的數(shù)據(jù)分布密度進行估計，以此判斷其離群度，具有對參數(shù)依賴小的特點，然后在這個新離群點定義的基礎上定義新的核函數(shù)，用此核函數(shù)做密度估計；

步驟三，滑動窗口對局部節(jié)點的數(shù)據(jù)進行采樣；

步驟四，對采樣的數(shù)據(jù)進行總體的核密度估計，并記錄離群點；

步驟五，最后不斷的迭代以上步驟實現(xiàn)最小誤差收斂，結束進程。

優(yōu)選地，所述步驟三采用兩種滑動窗口對局部節(jié)點的數(shù)據(jù)進行采樣，一、最新達到的n個樣本數(shù)據(jù)，二、某段時間內達到的樣本數(shù)據(jù)。

本發(fā)明的積極進步效果在于：本發(fā)明能夠對于核估計函數(shù)的重新定義，重新估計樣本離群點；對于大量整體樣本的計算采用滑動窗口采樣的方式進行計算，而不是全體數(shù)據(jù)的計算，減少了計算量；通過迭代方式的方式重復抽樣局部節(jié)點數(shù)據(jù)可以達到概率上的收斂。

附圖說明

圖1為本發(fā)明的流程圖。

具體實施方式

下面結合附圖給出本發(fā)明較佳實施例，以詳細說明本發(fā)明的技術方案。

如圖1所示，本發(fā)明基于分布式數(shù)據(jù)流的核密度估計離群點的檢測方法包括以下步驟：

步驟一，對流式數(shù)據(jù)集通過hash(散列)方式進行分布式存儲，讓數(shù)據(jù)盡量的分布均勻；

步驟二，根據(jù)多粒度偏差因子定義新的核密度，并在其基礎上給出了一種新的離群點定義，它的主要思想是對每個點周圍的數(shù)據(jù)分布密度進行估計，以此判斷其離群度，具有對參數(shù)依賴小的特點，然后在這個新離群點定義的基礎上定義新的核函數(shù)，用此核函數(shù)做密度估計；

步驟三，滑動窗口對局部節(jié)點的數(shù)據(jù)進行采樣；

步驟四，對采樣的數(shù)據(jù)進行總體的核密度估計，并記錄離群點；

步驟五，最后不斷的迭代以上步驟實現(xiàn)最小誤差收斂，結束進程。

所述步驟三采用兩種滑動窗口對局部節(jié)點的數(shù)據(jù)進行采樣，一、最新達到的n個樣本數(shù)據(jù)，二、某段時間內達到的樣本數(shù)據(jù)。n為自然數(shù)。

以上所述的具體實施例，對本發(fā)明的解決的技術問題、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。