本申請涉及網(wǎng)絡(luò)技術(shù)領(lǐng)域,特別是涉及一種判斷數(shù)據(jù)異常方法和設(shè)備。
背景技術(shù):
企業(yè)或者在線系統(tǒng)一段時間內(nèi)的運營情況會反映在一些關(guān)鍵數(shù)據(jù)上,因此對數(shù)據(jù)的監(jiān)控與預(yù)警是企業(yè)決策的重要依據(jù)之一,比如:企業(yè)的營業(yè)收入、現(xiàn)金流量等數(shù)據(jù)和系統(tǒng)的訪問流量、平均訪問延遲等數(shù)據(jù)如果出現(xiàn)異常,會對企業(yè)的正常生產(chǎn)運營和系統(tǒng)的服務(wù)質(zhì)量產(chǎn)生較大影響,需要決策層及時進(jìn)行反應(yīng)與處理。當(dāng)前數(shù)據(jù)的監(jiān)控數(shù)據(jù)基本上都會以數(shù)據(jù)的形式進(jìn)行存儲,如何有效地對數(shù)據(jù)異常性進(jìn)行分析與判定,防止數(shù)據(jù)噪音帶來的誤報并提供準(zhǔn)確的預(yù)警信息是一個亟需有效解決的問題,而有了有效的數(shù)據(jù)預(yù)警機(jī)制,決策層可以更快地對于公司或者在線系統(tǒng)的運營狀況進(jìn)行反應(yīng),提升效益。
在現(xiàn)有技術(shù)中主要是利用專家模型或者曲線模型來進(jìn)行數(shù)據(jù)預(yù)警,比如:
專家模型:通過專家的經(jīng)驗與分析,制定一個閾值,如果數(shù)據(jù)的一些統(tǒng)計量滿足該閾值(如半年度凈利潤率低于3%),則進(jìn)行預(yù)警;曲線模型:利用小波分解方法對數(shù)據(jù)在一段時間范圍內(nèi)的變化曲線進(jìn)行分解,獲得反應(yīng)短期隨機(jī)性因素和長期趨勢性因素的兩類子曲線。通過對兩類子曲線分別進(jìn)行分析,判斷是否需要進(jìn)行預(yù)警。
在實現(xiàn)本申請的過程中,發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在以下技術(shù)問題:
通過專家模型進(jìn)行預(yù)警完全依賴于專家制定的閾值,,并沒有通過具體的數(shù)據(jù)來進(jìn)行分析,主觀性過強(qiáng),并且制定的閾值并不完全準(zhǔn)確;通過曲線模型進(jìn)行預(yù)警,這種方法容易受到噪音的影響,并且分解出來的子曲線與業(yè)務(wù)相關(guān)性不大,可解釋性不強(qiáng)。
技術(shù)實現(xiàn)要素:
本申請?zhí)峁┮环N判斷數(shù)據(jù)異常方法和設(shè)備,以使所述設(shè)備終端對數(shù)據(jù)進(jìn)行預(yù)警。
為了達(dá)到上述目的,本申請?zhí)峁┝艘环N判斷數(shù)據(jù)異常的方法,其特征在于,所述方法包括:
設(shè)備終端根據(jù)預(yù)設(shè)的時間劃分方法將獲取的數(shù)據(jù)所對應(yīng)的時間劃分為兩個相鄰的時間區(qū)間;
所述設(shè)備終端根據(jù)所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分;
所述設(shè)備終端根據(jù)預(yù)設(shè)檢驗次數(shù)對所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分進(jìn)行置換檢驗;
所述設(shè)備終端根據(jù)預(yù)設(shè)檢驗次數(shù)的置換檢驗的結(jié)果判斷獲取的數(shù)據(jù)是否存在異常。
所述設(shè)備終端根據(jù)所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分,具體為:
所述設(shè)備終端根據(jù)公式:MXY=median{|X-Y|2}確定所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù);其中,MXY表示兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù);X表示一個時間區(qū)間的數(shù)據(jù)集合;Y表示另一個時間區(qū)間的數(shù)據(jù)集合;
所述設(shè)備終端根據(jù)所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù)確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分。
所述設(shè)備終端根據(jù)所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù)確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分,具體為:
所述設(shè)備終端根據(jù)公式:Score=2MXY-MXX-MXY,確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分;
其中,MXX表示一個時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù);MYY表示另一個時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù)。
所述設(shè)備終端根據(jù)預(yù)設(shè)檢驗次數(shù)對所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分進(jìn)行置換檢驗,具體為:
所述設(shè)備終端將所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)進(jìn)行隨機(jī)置換;
所述設(shè)備終端根據(jù)隨機(jī)置換后的所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)確定隨機(jī)置換后的所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分;
所述終端設(shè)備判斷隨機(jī)置換前所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分大于預(yù)設(shè)檢驗次數(shù)的隨機(jī)置換后的所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分的比例是否在置信區(qū)間內(nèi)。
在所述設(shè)備終端判斷出獲取的數(shù)據(jù)存在異常后,所述方法還包括:
所述設(shè)備終端將獲取的數(shù)據(jù)存在異常的時間點確定為預(yù)警時間點;
所述設(shè)備終端判斷預(yù)警時間點前后的時間區(qū)間的中位數(shù)的大小變化;
如果變大,所述設(shè)備終端進(jìn)行數(shù)據(jù)異常是提高的預(yù)警;
如果變小,所述設(shè)備終端進(jìn)行數(shù)據(jù)異常是降低的預(yù)警。
一種設(shè)備終端,其特征在于,所述設(shè)備包括:
劃分模塊,用于根據(jù)預(yù)設(shè)的時間劃分方法將獲取的數(shù)據(jù)所對應(yīng)的時間劃分為兩個相鄰的時間區(qū)間;
評分模塊,用于根據(jù)所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分;
置換檢驗?zāi)K,用于根據(jù)預(yù)設(shè)檢驗次數(shù)對所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分進(jìn)行置換檢驗;
判斷模塊,用于根據(jù)預(yù)設(shè)檢驗次數(shù)的置換檢驗的結(jié)果判斷獲取的數(shù)據(jù)是否存在異常。
所述評分模塊根據(jù)公式:MXY=median{|X-Y|2}確定所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù);其中,MXY表示兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù);X表示一個時間區(qū)間的數(shù)據(jù)集合;Y表示另一個時間區(qū)間的數(shù)據(jù)集合;
所述評分模塊根據(jù)所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù)確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分。
所述評分模塊根據(jù)所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù)確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分,具體為:
所述評分模塊根據(jù)公式:Score=2MXY-MXX-MYY,確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分;
其中,MXX表示一個時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù);MYY表示另一個時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù)。
所述置換模塊,具體用于:
將所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)進(jìn)行隨機(jī)置換;
根據(jù)隨機(jī)置換后的所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)確定隨機(jī)置換后的所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分;
判斷隨機(jī)置換前所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分大于預(yù)設(shè)檢驗次數(shù)的隨機(jī)置換后的所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分的比例是否在置信區(qū)間內(nèi)。
所述設(shè)備還包括:
確定模塊,在所述判斷模塊判斷出獲取的數(shù)據(jù)存在異常后,用于將獲取的數(shù)據(jù)存在異常的時間點確定為預(yù)警時間點;
中位數(shù)判斷模塊,在所述預(yù)警確定模塊根據(jù)所述異常點確定對應(yīng)的預(yù)警時間點后,用于判斷預(yù)警時間點前后的時間區(qū)間的中位數(shù)的大小變化;
如果變大,所述設(shè)備終端進(jìn)行數(shù)據(jù)異常是提高的預(yù)警;
如果變小,所述設(shè)備終端進(jìn)行數(shù)據(jù)異常是降低的預(yù)警。
本申請中基于獲取的數(shù)據(jù)在其對應(yīng)的時間上的變化,通過將獲取的數(shù)據(jù)對應(yīng)的時間劃分為兩個相鄰的時間區(qū)間并得到所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分,同時將兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)進(jìn)行隨機(jī)置換對置換前所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分進(jìn)行多次置換檢驗,如果置換檢驗的結(jié)果符合要求則能夠確定出獲取的數(shù)據(jù)中是否存在異常,以對數(shù)據(jù)進(jìn)行預(yù)警。本申請是根據(jù)實際的數(shù)據(jù)來確定對數(shù)據(jù)進(jìn)行預(yù)警,提高了預(yù)警效果,并且,本申請中獲取的數(shù)據(jù)是否存在異常是通過兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分得到的,不易受到噪音的影響,具有較好的抗噪性。
附圖說明
為了更清楚地說明本申請或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對本申請或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單的介紹,顯而易見地,下面描述中的附圖僅僅是本申請的一些實施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本申請實施例中的一種判斷數(shù)據(jù)異常方法流程圖;
圖2為本申請實施例中的一種某商品銷售數(shù)據(jù)與時間的示意圖;
圖3為本申請實施例中的一種預(yù)警時間點圖形化的流程圖;
圖4為本申請實施例中的一種預(yù)警時間點圖形化的示意圖;
圖5為本申請實施例中的一種設(shè)備終端結(jié)構(gòu)示意圖。
具體實施方式
下面將結(jié)合本申請中的附圖,對本申請中的技術(shù)方案進(jìn)行清楚、完整的描述,顯然,所描述的實施例是本申請的一部分實施例,而不是全部的實施例?;诒旧暾堉械膶嵤├绢I(lǐng)域普通技術(shù)人員獲得的其他實施例,都屬于本申請保護(hù)的范圍。
如圖1所示,為本申請一種判斷數(shù)據(jù)異常方法,所述方法包括以下步驟:步驟101,設(shè)備終端根據(jù)預(yù)設(shè)的時間劃分方法將獲取的數(shù)據(jù)所對應(yīng)的時間劃分為兩個相鄰的時間區(qū)間。
具體的,例如:獲取的數(shù)據(jù)所對應(yīng)的時間為2014年11月1日-2014年11月30日,預(yù)設(shè)的時間劃分方法為以天為單位,從前向后依次選取時間區(qū)間分割點,形成多個兩個相鄰的時間區(qū)間,以2014年11月1日為開始形成的多個兩個相鄰的時間區(qū)間為:[11月1日;11月2日-11月30日]、[11月1日-11月2日;11月3日-11月30日]、……、[11月1日-11月29日;11月30日]等多個兩個相鄰的時間區(qū)間,其中,11月1日和11月2日-11月30日為一組兩個相鄰的時間區(qū)間。
步驟102,所述設(shè)備終端根據(jù)所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分。
所述設(shè)備終端根據(jù)所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合確定所述兩個 相鄰的時間區(qū)間的數(shù)據(jù)差異評分,具體為:
所述設(shè)備終端根據(jù)公式:MXY=median{|X-Y|2}確定所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù);其中,MXY表示兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù);X為兩個相鄰的時間區(qū)間中的一個時間區(qū)間的數(shù)據(jù)集合;Y為兩個相鄰的時間區(qū)間中的另一個時間區(qū)間的數(shù)據(jù)集合;
所述設(shè)備終端根據(jù)所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù)確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分。
所述數(shù)據(jù)集合中的數(shù)據(jù)的前后排列順序是根據(jù)所述數(shù)據(jù)對應(yīng)的時間的先后順序進(jìn)行排列的,例如:11月2日-11月5日所對應(yīng)的數(shù)據(jù)分別為5、4、6、8、2,劃分的時間區(qū)間為:11月1日-11月2日和11月3日-11月5日,那么X的數(shù)據(jù)集合為[5、4],Y的數(shù)據(jù)集合為[6、8、2],進(jìn)一步的,所述數(shù)據(jù)集合中的數(shù)據(jù)是向量數(shù)據(jù),向量的方向是以時間的先后順序為方向的。
所述設(shè)備終端根據(jù)所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù)確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分,具體為:
所述設(shè)備終端根據(jù)公式:Score=2MXY-MXX-MYY,確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分;其中,MXX表示一個時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù);MYY表示另一個時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù)。
具體的,以時間區(qū)間為11月1日-11月2日和11月3日-11月5日為例,MXY時11月1日-11月2日與11月3日-11月5日的數(shù)據(jù)差異評分,MXX為11月1日-11月2日的數(shù)據(jù)內(nèi)部的差異評分,MYY為11月3日-11月5日的數(shù)據(jù)內(nèi)部的差異評分。
步驟103,所述設(shè)備終端根據(jù)預(yù)設(shè)檢驗次數(shù)對所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分進(jìn)行置換檢驗。
所述設(shè)備終端根據(jù)預(yù)設(shè)檢驗次數(shù)對所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分進(jìn)行置換檢驗來衡量所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分是否顯著、可信。
所述設(shè)備終端根據(jù)預(yù)設(shè)檢驗次數(shù)對所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分進(jìn)行置換檢驗,具體為:
所述設(shè)備終端將所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)進(jìn)行隨機(jī)置換;
具體的,所述設(shè)備終端隨機(jī)抽取兩個數(shù)據(jù)集合中相同數(shù)目的任意個數(shù)的數(shù)據(jù),并隨機(jī)安放在任意的位置。
所述設(shè)備終端根據(jù)隨機(jī)置換后的所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)確定隨機(jī)置換后的所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分;
具體的,所述設(shè)備終端根據(jù)公式:MXY=median{|X-Y|2}確定置換后的所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù),并根據(jù)公式:Score=2MXY-MXX-MYY,確定置換后的所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分。
所述終端設(shè)備判斷隨機(jī)置換前所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分大于預(yù)設(shè)檢驗次數(shù)的隨機(jī)置換后的所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分的比例是否在置信區(qū)間內(nèi)。
具體的,例如:預(yù)設(shè)檢驗次數(shù)為10次,預(yù)設(shè)的置信區(qū)間為90%-100%,在得到10次隨機(jī)置換后的所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分后,所述終端設(shè)備判斷隨機(jī)置換前所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分大于隨機(jī)置換后所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分的個數(shù),如果所述隨機(jī)置換前所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分比9個或所有的隨機(jī)置換后所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分都大,那么表示所述隨機(jī)置換前所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分顯著,可信度高。
步驟104,所述設(shè)備終端根據(jù)預(yù)設(shè)檢驗次數(shù)的置換檢驗的結(jié)果判斷獲取的數(shù)據(jù)是否存在異常。
具體的,所述設(shè)備終端根據(jù)多次的置換檢驗?zāi)軌蚺袛喑霾町愒u分是否顯著,如果顯著,則表明獲取的數(shù)據(jù)存在異常;如果不顯著,則表明獲取的數(shù)據(jù)不存在異常,則不需要進(jìn)行預(yù)警,并結(jié)束。
在所述設(shè)備終端判斷出獲取的數(shù)據(jù)存在異常后,所述方法還包括:
所述設(shè)備終端將獲取的數(shù)據(jù)存在異常的時間點確定為預(yù)警時間點;
所述設(shè)備終端判斷預(yù)警時間點前后的時間區(qū)間的中位數(shù)的大小變化;
如果變大,所述設(shè)備終端進(jìn)行數(shù)據(jù)異常是提高的預(yù)警;
如果變小,所述設(shè)備終端進(jìn)行數(shù)據(jù)異常是降低的預(yù)警。
具體的,如果置換檢驗的結(jié)果在置換區(qū)間內(nèi),表明劃分獲取的數(shù)據(jù)的時間點前后的數(shù)據(jù)存在明顯變化,所述設(shè)備終端將獲取的數(shù)據(jù)對應(yīng)的時間劃分為兩個相鄰的時間區(qū)間的時間點確定為預(yù)警時間點,即數(shù)據(jù)異常點,所述設(shè)備終端根據(jù)所述預(yù)警時間點來進(jìn)行后續(xù)的處理。
在所述設(shè)備終端根據(jù)所述異常點確定對應(yīng)的預(yù)警時間點后,所述方法還包括:
所述設(shè)備終端判斷預(yù)警時間點前后的時間區(qū)間的中位數(shù)的大小變化;
如果變大,所述設(shè)備終端進(jìn)行數(shù)據(jù)異常是提高的預(yù)警;
如果變小,所述設(shè)備終端進(jìn)行數(shù)據(jù)異常是降低的預(yù)警。
具體的,所述設(shè)備終端根據(jù)預(yù)設(shè)的時間劃分方法判定出多個預(yù)警時間點,將獲取數(shù)據(jù)所對應(yīng)的圖形分割為多個相鄰的區(qū)間,計算得到各個區(qū)間的中位數(shù),所述設(shè)備終端判斷每個預(yù)警時間點前后時間區(qū)間的中位數(shù)的大小,如果預(yù)警時間點前面的中位數(shù)大于后面的中位數(shù),表示該相鄰的區(qū)間的中位數(shù)對應(yīng)的數(shù)據(jù)按照時間順序有提升,所述設(shè)備終端進(jìn)行數(shù)據(jù)的異常變化是提高的預(yù)警,以保證后續(xù)的操作;如果預(yù)警時間點前面的中位數(shù)小于后面的中位數(shù),表示該相鄰的區(qū)間的中位數(shù)對應(yīng)的數(shù)據(jù)按照時間順序有下降,所述設(shè)備終端進(jìn)行數(shù)據(jù)的異常變化是降低的預(yù)警,以保證后續(xù)的操作。
本申請中基于獲取的數(shù)據(jù)在其對應(yīng)的時間上的變化,通過將獲取的數(shù)據(jù)對應(yīng)的時間劃分為兩個相鄰的時間區(qū)間并得到所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分,同時將兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)進(jìn)行隨機(jī)置換對置換前所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分進(jìn)行多次置換檢驗,如果置換檢驗的結(jié)果符合要求則能夠確定出獲取的數(shù)據(jù)中存在異常,以對數(shù)據(jù)進(jìn)行預(yù)警。本申請是根據(jù)實際的數(shù)據(jù)來確定對數(shù)據(jù)進(jìn)行預(yù)警,提高了預(yù)警效果,并且,本申請中獲取的數(shù)據(jù)是否存在異常是通過兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分得到的,不易受到噪音的影響,具有較好的抗噪性。
為了進(jìn)一步闡述本申請的技術(shù)思想,現(xiàn)結(jié)合具體的應(yīng)用場景,如:“雙 十一”左右某商品銷量的變化,對本申請的技術(shù)方案進(jìn)行說明,其中時間和商品銷量(數(shù)據(jù))的對應(yīng)關(guān)系如圖2所示。
具體的,預(yù)警時間點圖形化的流程如圖3所示,如果時間劃分方法是一天為單位,按照時間的先后順序選取劃分間隔點,依次將所有的時間進(jìn)行劃分,劃分后的兩兩相鄰的時間區(qū)間為:[20141108;20141109-20141113]、[20141108-20141109;20141110-20141113]、[20141108-20141110;20141111-20141113]、[20141108-20141111;20141112-20141113]、[20141108-20141112;201411103],其中,以[20141108-20141109;20141110-20141113]為例來進(jìn)行說明,X為區(qū)間:20141108-20141109,Y為區(qū)間:20141110-20141113,X和Y為相鄰區(qū)間,然后計算相鄰區(qū)間之間的數(shù)據(jù)差異評分。
具體的,X集合為:[30、36],Y集合為:[39、203、102、30],根據(jù)公式:MXY=median{|X-Y|2}確定出X集合與Y集合的差異集合的中位數(shù),然后在根據(jù)公式:Score=2MXY-MXX-MYY得到X與Y的數(shù)據(jù)差異評分。
所述設(shè)備終端進(jìn)行置換檢驗判斷所述數(shù)據(jù)差異評分是否具有顯著性。
具體的,如果預(yù)設(shè)的檢測次數(shù)為10次,每次隨機(jī)置換掉一個數(shù)據(jù),所述設(shè)備終端得到每次置換的X與Y的數(shù)據(jù)差異評分,置換后的X與Y的數(shù)據(jù)差異評分一共有10個,假如10個置換后的數(shù)據(jù)差異評分分別為:1、3、5、7、9、2、4、6、8、10。
如果置信區(qū)間為90%,假如置換前X與Y的數(shù)據(jù)差異評分為9或大于9的其他數(shù)值,那么,置換前的數(shù)據(jù)差異評分滿足顯著性,那么,X區(qū)間與Y區(qū)間的劃分時間點就確定為預(yù)警時間點,并輸出該預(yù)警時間點,假如置換前X與Y的數(shù)據(jù)差異評分為8或小于8的其他數(shù)值,那么就不能確定出預(yù)警時間點。
所述設(shè)備終端判斷是否枚舉完劃分出來的所有的相鄰區(qū)間,如果沒有枚舉完,則繼續(xù)判斷沒有枚舉的相鄰區(qū)間的數(shù)據(jù)差異評分是否具有顯著性,如果枚舉完畢則判斷確定出來的預(yù)警時間點前后相鄰的時間區(qū)間的中位數(shù)的大小,來降低數(shù)據(jù)異常的預(yù)警還是提高數(shù)據(jù)異常的預(yù)警。
具體的,假如枚舉完畢所有劃分出來的所有的相鄰區(qū)間后發(fā)現(xiàn)根據(jù)[20141108-20141110;20141111-20141113]和[20141108-20141112;20141113]計算得到置換前的X與Y的數(shù)據(jù)差異評分大于置換后的X與Y的數(shù)據(jù)差異評分,即[20141108-20141110;20141111-20141113]和[20141108-20141112;20141113]的數(shù)據(jù)差異性得分異常顯著、可信度高,所述設(shè)備就能夠確定出兩個預(yù)警時間點,并輸出兩個所述預(yù)警時間進(jìn)行圖形化展示如圖4所示。
所述設(shè)備終端判斷時間區(qū)間[20141108-20141110]與[20141111-20141113]的中位數(shù)的大小,區(qū)間[20141108-20141110]的中位數(shù)為36,區(qū)間[20141111-20141113]的中位數(shù)為102,所述設(shè)備終端進(jìn)行數(shù)據(jù)異常提高的預(yù)警;
所述設(shè)備終端判斷時間區(qū)間[20141108-20141112]與[20141113]的中位數(shù)的大小,區(qū)間[20141108-20141112]的中位數(shù)為39,區(qū)間[20141113]的中位數(shù)為30,所述設(shè)備終端進(jìn)行數(shù)據(jù)異常降低的預(yù)警。
基于與上述方法同樣的申請構(gòu)思,本申請還提出了一種設(shè)備終端,如圖5所述,該設(shè)備包括:
劃分模塊51,用于根據(jù)預(yù)設(shè)的時間劃分方法將獲取的數(shù)據(jù)所對應(yīng)的時間劃分為兩個相鄰的時間區(qū)間;
評分模塊52,用于根據(jù)所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分;
置換檢驗?zāi)K53,用于根據(jù)預(yù)設(shè)檢驗次數(shù)對所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分進(jìn)行置換檢驗;
判斷模塊54,用于根據(jù)預(yù)設(shè)檢驗次數(shù)的置換檢驗的結(jié)果判斷獲取的數(shù)據(jù)是否存在異常。
所述評分模塊根據(jù)公式:MXY=median{|X-Y|2}確定所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù);其中,MXY表示兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù);X表示一個時間區(qū)間的數(shù)據(jù)集合;Y表示另一個時間區(qū)間的數(shù)據(jù)集合;
所述評分模塊根據(jù)所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù) 確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分。
所述評分模塊根據(jù)所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù)確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分,具體為:
所述評分模塊根據(jù)公式:Score=2MXY-MXX-MYY,確定所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分;
其中,MXX表示一個時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù);MYY表示另一個時間區(qū)間內(nèi)的數(shù)據(jù)集合差異的中位數(shù)。
所述置換模塊,具體用于:
將所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)進(jìn)行隨機(jī)置換;
根據(jù)隨機(jī)置換后的所述兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)確定隨機(jī)置換后的所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分;
判斷隨機(jī)置換前所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分大于預(yù)設(shè)檢驗次數(shù)的隨機(jī)置換后的所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分的比例是否在置信區(qū)間內(nèi)。
所述設(shè)備還包括:
確定模塊,在所述判斷模塊判斷出獲取的數(shù)據(jù)存在異常后,用于將獲取的數(shù)據(jù)存在異常的時間點確定為預(yù)警時間點;
中位數(shù)判斷模塊,在所述預(yù)警確定模塊根據(jù)所述異常點確定對應(yīng)的預(yù)警時間點后,用于判斷預(yù)警時間點前后的時間區(qū)間的中位數(shù)的大小變化;
如果變大,所述設(shè)備終端進(jìn)行數(shù)據(jù)異常是提高的預(yù)警;
如果變小,所述設(shè)備終端進(jìn)行數(shù)據(jù)異常是降低的預(yù)警。
本申請中基于獲取的數(shù)據(jù)在其對應(yīng)的時間上的變化,通過將獲取的數(shù)據(jù)對應(yīng)的時間劃分為兩個相鄰的時間區(qū)間并得到所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分,同時將兩個相鄰的時間區(qū)間內(nèi)的數(shù)據(jù)進(jìn)行隨機(jī)置換對置換前所述兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評分進(jìn)行多次置換檢驗,如果置換檢驗的結(jié)果符合要求則能夠確定出獲取的數(shù)據(jù)中是否存在異常,以對數(shù)據(jù)進(jìn)行預(yù)警。本申請是根據(jù)實際的數(shù)據(jù)來確定對數(shù)據(jù)進(jìn)行預(yù)警,提高了預(yù)警效果,并且,本申請中獲取的數(shù)據(jù)是否存在異常是通過兩個相鄰的時間區(qū)間的數(shù)據(jù)差異評 分得到的,不易受到噪音的影響,具有較好的抗噪性。
通過以上的實施方式的描述,本領(lǐng)域的技術(shù)人員可以清楚地了解到本申請可借助軟件加必需的通用硬件平臺的方式來實現(xiàn),當(dāng)然也可以通過硬件,但很多情況下前者是更佳的實施方式?;谶@樣的理解,本申請的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)中,包括若干指令用以使得一臺終端設(shè)備(可以是手機(jī),個人計算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本申請各個實施例所述的方法。
以上所述僅是本申請的優(yōu)選實施方式,應(yīng)當(dāng)指出,對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說,在不脫離本申請原理的前提下,還可以做出若干改進(jìn)和潤飾,這些改進(jìn)和潤飾也應(yīng)視本申請的保護(hù)范圍。
本領(lǐng)域技術(shù)人員可以理解實施例中的裝置中的模塊可以按照實施例描述進(jìn)行分布于實施例的裝置中,也可以進(jìn)行相應(yīng)變化位于不同于本實施例的一個或多個裝置中。上述實施例的模塊可以集成于一體,也可以分離部署;可以合并為一個模塊,也可以進(jìn)一步拆分成多個子模塊。上述本申請實施例序號僅僅為了描述,不代表實施例的優(yōu)劣。
以上公開的僅為本申請的幾個具體實施例,但是,本申請并非局限于此,任何本領(lǐng)域的技術(shù)人員能思之的變化都應(yīng)落入本申請的保護(hù)范圍。