專利名稱：一種基于云平臺的局部加權(quán)線性回歸預(yù)測運算的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及云平臺領(lǐng)域，特別涉及一種基于云平臺的局部加權(quán)線性回歸預(yù)測運算的方法。
背景技術(shù)：
在調(diào)查研究的基礎(chǔ)上，對事物的未來進(jìn)行科學(xué)的分析，研究其發(fā)展變化的規(guī)律性叫做預(yù)測分析。實際生活中，某些現(xiàn)象的發(fā)展和變化取決于若干因素的影響?；谶@些影響因素的主次關(guān)系與變化規(guī)律等要素，將其進(jìn)行統(tǒng)計、分析和運算從而通過數(shù)學(xué)方法進(jìn)行的實際預(yù)測，常用的方式就包括有線性回歸算法。局部加權(quán)線性回歸算法，簡稱LWLR算法，就是應(yīng)用在預(yù)測分析中一種常見的算法。該算法的主要思想是先去一定數(shù)量的局部數(shù)據(jù)，然后再通過這部分局部數(shù)據(jù)集中擬合多項式回歸曲線，由此觀察得到數(shù)據(jù)在局部表現(xiàn)出來的規(guī)律和趨勢。不過該算法運算量非常巨大，特別是所運算的局部數(shù)據(jù)數(shù)目龐大的時候，單機(jī)計算的時間可能達(dá)到幾天甚至更長。隨著智能電網(wǎng)技術(shù)的建設(shè)和發(fā)展，LWLR算法也多在其中發(fā)揮作用。智能電網(wǎng)旨在改造原有電網(wǎng)各環(huán)節(jié)，而實現(xiàn)更加環(huán)保、高效的現(xiàn)代化電力系統(tǒng)。同時，智能電網(wǎng)的建設(shè)中， 數(shù)據(jù)量也發(fā)生爆炸式的增長。傳統(tǒng)的單機(jī)計算實現(xiàn)LWLR算法的缺陷就在于，它對海量數(shù)據(jù)的處理能力已經(jīng)遠(yuǎn)不能滿足智能電網(wǎng)中的實際需要。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明主要目的是提供一種基于云平臺的局部加權(quán)線性回歸預(yù)測運算的方法，來解決大量數(shù)據(jù)運算過程中執(zhí)行效率降低的問題。本發(fā)明所述方法，具體技術(shù)方案如下—種基于云平臺的局部加權(quán)線性回歸預(yù)測運算的方法，其特征在于，所述方法將局部加權(quán)線性回歸預(yù)測運算構(gòu)建在映射簡化計算框架之下，該方法包括以下步驟確定帶預(yù)測點，映射簡化計算框架將待運算的數(shù)據(jù)點劃分到多個節(jié)點儲存在云平臺上；各節(jié)點同時開始對劃分到本節(jié)點上的待運算數(shù)據(jù)點進(jìn)行運算，采用臨近算法計算數(shù)據(jù)點與待測點的距離，找到帶運算數(shù)據(jù)點中距離符合第一閾值的數(shù)據(jù)點，第一閾值的范圍預(yù)先設(shè)定；將每個節(jié)點上找到的符合第一閾值的數(shù)據(jù)點集中，并對數(shù)據(jù)點中數(shù)據(jù)進(jìn)行加權(quán)處理，利用加權(quán)處理后的數(shù)據(jù)值計算出回歸系數(shù)，代入到回歸方程，計算出的回歸方程的解即為預(yù)測值。所述映射簡化計算框架將帶運算數(shù)據(jù)點劃分到節(jié)點具體為映射計算框架估算數(shù)據(jù)總量以及算法對系統(tǒng)內(nèi)存的消耗量，計算出需劃分節(jié)點的個數(shù)。
優(yōu)選的，所述將每個節(jié)點上找到的符合第一閾值的數(shù)據(jù)點集中進(jìn)一步包括將所有符合第一閾值的數(shù)據(jù)點集中以后，再從中進(jìn)一步篩選出符合第二閾值的數(shù)據(jù)點，第二閾值的范圍預(yù)先設(shè)定。所述對數(shù)據(jù)點進(jìn)行加權(quán)處理具體為利用混合高斯模型計算各數(shù)據(jù)點的權(quán)重。其特征在于，所述計算數(shù)據(jù)點與待測點的距離具體為將數(shù)據(jù)點與待測點數(shù)據(jù)分成用戶ID、時間、溫度和天氣四個維度，分別計算數(shù)據(jù)點與待測點四個維度的距離，在計算四個維度距離的和，即為數(shù)據(jù)點與待測點的距離。所述對用戶ID信息數(shù)據(jù)距離的計算具體為數(shù)據(jù)點與待測點相同ID信息距離為0，不同ID信息距離為無窮大。所述對時間信息數(shù)據(jù)距離的計算具體為以預(yù)定時長為單位的時間數(shù)據(jù)，制定周期環(huán)形模式計算距離，取數(shù)據(jù)點與待測點時間數(shù)據(jù)在周期環(huán)上最近的距離。所述預(yù)定時長為月、星期、日或小時，并設(shè)定月周期環(huán)周長為30，星期周期環(huán)周長為7，日周期環(huán)周長為24，小時周期環(huán)周長為60。所述對時間溫度數(shù)據(jù)距離的計算具體為數(shù)據(jù)點與待測點溫度數(shù)值間差值即為數(shù)據(jù)距離。所述對天氣信息數(shù)據(jù)距離的計算具體為將天氣信息劃分為有雨和無雨兩種情況，設(shè)定有雨距離為1，無雨距離為0。通過以上技術(shù)方案可知，本發(fā)明存在的有益效果為，通過映射簡化計算框架將大量數(shù)據(jù)分成若干節(jié)點同時進(jìn)行局部加權(quán)線性回歸預(yù)測運算，從而成倍數(shù)縮短了計算時間， 實現(xiàn)了高效處理海量數(shù)據(jù)，滿足了目前階段業(yè)務(wù)需要。


圖1 局部加權(quán)線性回歸預(yù)測運算主要步驟流程圖。圖2 =MapReduce計算框架之下局部加權(quán)線性回歸預(yù)測運算的方法具體實施例流程圖。
具體實施例方式本發(fā)明提供一種基于云平臺的局部加權(quán)線性回歸預(yù)測運算的方法，即基于云平臺實現(xiàn)LWLR預(yù)測算法的方法。通過將LWLR算法構(gòu)建在云平臺的映射計算框架中，利用映射簡化計算框架將海量數(shù)據(jù)劃分節(jié)點并行運算，從而提高效率。映射簡化計算框架即MapReduce 計算框架。下面將結(jié)合附圖對本發(fā)明的技術(shù)方案進(jìn)行完整描述。而所描述的實施例僅僅是本發(fā)明中部分實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有經(jīng)過創(chuàng)造性勞動情況下得出的其他實施方式，同樣屬于本發(fā)明保護(hù)的范圍。本發(fā)明所述方法為確定待測點，MapReduce計算框架將待運算的數(shù)據(jù)點劃分到多個節(jié)點儲存在云平臺上，各節(jié)點同時對劃分到本節(jié)點的數(shù)據(jù)點進(jìn)行運算，利用鄰近算法(k-Nearest
4Neighbor)即KNN算法在各節(jié)點中找出待測點附近的數(shù)據(jù)點，假設(shè)找到的數(shù)據(jù)點個數(shù)為K 個；KNN算法找出待測點附近數(shù)據(jù)點的過程，占用了整個過程中絕大部分的計算量。在目前達(dá)到ITB級別數(shù)據(jù)為特征空間的前提下，待預(yù)測點需要與特征空間中的每個數(shù)據(jù)點點計算距離，找到與待預(yù)測點距離最小的K個點，所以計算量十分巨大。在Map階段，MapReduce計算框架根據(jù)算法對系統(tǒng)內(nèi)存的消耗量，確定并行節(jié)點的劃分?jǐn)?shù)量。例如=MapReduce計算框架將ITB的數(shù)據(jù)分成10 ±夬，每塊100GB，分別存儲在云平臺的10個節(jié)點上，Map階段實現(xiàn)計算待預(yù)測點與每個數(shù)據(jù)塊中的所有的點最近的K個點， 而各個節(jié)點的計算同時進(jìn)行，所以通過這一過程使得計算速度提高了 10倍。在Reduce階段，將Map階段得出的每個節(jié)點得出的K個鄰近數(shù)據(jù)點的數(shù)據(jù)集合起來，再進(jìn)一步篩選，得出全部數(shù)據(jù)當(dāng)中與待測點距離最近的K個數(shù)據(jù)點。之后對找到的K個數(shù)據(jù)點做加權(quán)處理，根據(jù)數(shù)據(jù)點到待測點的距離，計算每個數(shù)據(jù)點的權(quán)重，在具體實施例中采用混合高斯模型計算權(quán)重；對加權(quán)后的數(shù)據(jù)點，計算回歸系數(shù)，將得出的回歸系數(shù)代入回歸方程，最終通過回歸方程得出的值即為LWLR算法中預(yù)測的待測點數(shù)據(jù)。參照圖1所示。上述數(shù)據(jù)點與待測點的數(shù)據(jù)包含四個維度，分別是用戶ID、時間、溫度和天氣。分別計算二者之間四個維度上的距離，再對四個距離求和即為數(shù)據(jù)點與待測點的距離。對于四個維度上距離的計算，有以下處理規(guī)則對用戶ID編號的處理為，待測點與數(shù)據(jù)點相同的用戶ID編號距離為0，不同的用戶ID編號距離為無窮大；對時間的處理為，針對一年十二個月，一星期七天，一天24小時等循環(huán)周期性時間單位，做環(huán)形處理，例如，月份環(huán)設(shè)定1-12供12個點，星期環(huán)設(shè)1-7供7個點，單日環(huán)設(shè) 0-23供24個點，待測點與數(shù)據(jù)點時間距離即為環(huán)上兩點間的最近距離；數(shù)據(jù)點與待測點溫度數(shù)值間差值即為數(shù)據(jù)距離；將天氣信息劃分為有雨和無雨兩種情況，設(shè)定有雨距離為1，無雨距離為0。參照圖2，假設(shè)將所有數(shù)據(jù)點劃分到10個節(jié)點上，如利用時間、溫度以及以用戶往用電量信息等數(shù)據(jù)，通過上述方法預(yù)測得出未來某一時間某范圍內(nèi)用戶的用電量，其過程為1、Map階段，將數(shù)據(jù)劃分節(jié)點，各節(jié)點同時開始計算，在各個節(jié)點內(nèi)分別找到與M 距離最近的K個鄰近點，距離的計算方式為D = D1+D2+D3+D4，其中D為總距離，01，02，03， D4分別為用戶ID、時間、溫度，天氣這四個分量之間的距離。Dl的計算方式為若兩個數(shù)據(jù)點的用戶ID相同則Dl = 0，否則Dl為無窮大；02 = (1(11+(1(12+(1(13+(1(14，其中(1(11，(1(12，(1(13，(1(14分別為年份、月份、日、小時，(1(11為年份之差，dd2，dd 3，dd4都是按照上述圓環(huán)模式來計算距離，環(huán)的周長分別為12，30，24 ； D3按照數(shù)值方式進(jìn)行計算距離；D4把天氣的有雨、無雨兩個值分別對應(yīng)1和0，然后計算距罔；2、Reduce階段，將各個Map階段獲得K個鄰近數(shù)據(jù)點與M之間的距離進(jìn)行比較， 取它們中間最小的K個，并記錄最小距離對應(yīng)的K個數(shù)據(jù)點；3、使用混合高斯模型計算K個數(shù)據(jù)點各自的權(quán)重，計算回歸系數(shù)，代入回歸方程，回歸方程為y = a0+alxl+a2x2+a 3x3+a4x4，其中xl、x2、x3和x4為用戶ID、時間、溫度、天氣四個因素轉(zhuǎn)換成距離之后的初始數(shù)值，a 0、a Ua 2、a 3與a4為計算得出的回歸系數(shù)， 求出y即預(yù)測結(jié)果，即用戶在未來時間的用電量。綜上所述，本發(fā)明提供了一種基于云平臺的局部加權(quán)線性回歸預(yù)測運算的方法。 本發(fā)明的特點在于，通過MapReduce計算框架，將LWLR算法中計算量最大的部分劃分為多個節(jié)點并行計算，提高運算效率，縮短計算時間，以滿足目前階段的業(yè)務(wù)需求。以上所述僅是本發(fā)明的優(yōu)選實施方案，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)該視為本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種基于云平臺的局部加權(quán)線性回歸預(yù)測運算的方法，其特征在于，所述方法將局部加權(quán)線性回歸預(yù)測運算構(gòu)建在映射簡化計算框架之下，該方法包括以下步驟確定帶預(yù)測點，映射簡化計算框架將待運算的數(shù)據(jù)點劃分到多個節(jié)點儲存在云平臺上；各節(jié)點同時開始對劃分到本節(jié)點上的待運算數(shù)據(jù)點進(jìn)行運算，采用臨近算法計算數(shù)據(jù)點與待測點的距離，找到帶運算數(shù)據(jù)點中距離符合第一閾值的數(shù)據(jù)點，第一閾值的范圍預(yù)先設(shè)定；將每個節(jié)點上找到的符合第一閾值的數(shù)據(jù)點集中，并對數(shù)據(jù)點中數(shù)據(jù)進(jìn)行加權(quán)處理， 利用加權(quán)處理后的數(shù)據(jù)值計算出回歸系數(shù)，代入到回歸方程，計算出的回歸方程的解即為預(yù)測值。
2.根據(jù)權(quán)利要求1所述方法，其特征在于，所述映射簡化計算框架將帶運算數(shù)據(jù)點劃分到節(jié)點具體為映射計算框架估算數(shù)據(jù)總量以及算法對系統(tǒng)內(nèi)存的消耗量，計算出需劃分節(jié)點的個數(shù)。
3.根據(jù)權(quán)利要求1所述方法，其特征在于，所述將每個節(jié)點上找到的符合第一閾值的數(shù)據(jù)點集中進(jìn)一步包括將所有符合第一閾值的數(shù)據(jù)點集中以后，再從中進(jìn)一步篩選出符合第二閾值的數(shù)據(jù)點，第二閾值的范圍預(yù)先設(shè)定。
4.根據(jù)權(quán)利要求1所述方法，其特征在于，所述對數(shù)據(jù)點進(jìn)行加權(quán)處理具體為 利用混合高斯模型計算各數(shù)據(jù)點的權(quán)重。
5.根據(jù)權(quán)利要求1-4中任意一項所述方法，其特征在于，所述計算數(shù)據(jù)點與待測點的距離具體為將數(shù)據(jù)點與待測點數(shù)據(jù)分成用戶ID、時間、溫度和天氣四個維度，分別計算數(shù)據(jù)點與待測點四個維度的距離，在計算四個維度距離的和，即為數(shù)據(jù)點與待測點的距離。
6.根據(jù)權(quán)利要求5所述方法，其特征在于，所述對用戶ID信息數(shù)據(jù)距離的計算具體為數(shù)據(jù)點與待測點相同ID信息距離為0，不同ID信息距離為無窮大。
7.根據(jù)權(quán)利要求5所述方法，其特征在于，所述對時間信息數(shù)據(jù)距離的計算具體為 以預(yù)定時長為單位的時間數(shù)據(jù)，制定周期環(huán)形模式計算距離，取數(shù)據(jù)點與待測點時間數(shù)據(jù)在周期環(huán)上最近的距離。
8.根據(jù)權(quán)利要求7所述方法，其特征在于所述預(yù)定時長為月、星期、日或小時，并設(shè)定月周期環(huán)周長為30，星期周期環(huán)周長為7，日周期環(huán)周長為24，小時周期環(huán)周長為60。
9.根據(jù)權(quán)利要求5所述方法，其特征在于，所述對時間溫度數(shù)據(jù)距離的計算具體為 數(shù)據(jù)點與待測點溫度數(shù)值間差值即為數(shù)據(jù)距離。
10.根據(jù)權(quán)利要求5所述方法，其特征在于，所述對天氣信息數(shù)據(jù)距離的計算具體為 將天氣信息劃分為有雨和無雨兩種情況，設(shè)定有雨距離為1，無雨距離為0。
全文摘要
本發(fā)明公開了一種基于云平臺的局部加權(quán)線性回歸預(yù)測運算的方法，運用映射簡化計算框架對海量數(shù)據(jù)進(jìn)行局部加權(quán)線性回歸預(yù)測運算，步驟包括確定帶預(yù)測點，映射簡化計算框架將待運算的數(shù)據(jù)點劃分到多個節(jié)點儲存在云平臺上；各節(jié)點同時開始對劃分到本節(jié)點上的待運算數(shù)據(jù)點進(jìn)行運算，找到帶運算數(shù)據(jù)點中距離符合第一閾值的數(shù)據(jù)點；對符合第一閾值的數(shù)據(jù)點中數(shù)據(jù)進(jìn)行加權(quán)處理，利用加權(quán)處理后的數(shù)據(jù)值計算出回歸系數(shù)，代入到回歸方程，計算出的回歸方程的解即為預(yù)測值。
文檔編號G06Q10/04GK102509177SQ20111035694
公開日2012年6月20日 申請日期2011年11月11日 優(yōu)先權(quán)日2011年11月11日
發(fā)明者劉建明, 呂厚雷, 張素香, 栗寧, 王繼業(yè), 王風(fēng)雨, 趙丙鎮(zhèn), 閆愛梅 申請人:北京國電通網(wǎng)絡(luò)技術(shù)有限公司, 國網(wǎng)信息通信有限公司