專利名稱：一種基于支持向量機(jī)的參數(shù)自適應(yīng)的運(yùn)動(dòng)預(yù)測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)人工智能技術(shù)領(lǐng)域，具體涉及一種基于支持向量機(jī)的參數(shù)自 適應(yīng)的運(yùn)動(dòng)預(yù)測(cè)方法。
背景技術(shù)：
運(yùn)動(dòng)預(yù)測(cè)是指對(duì)歷史數(shù)據(jù)進(jìn)行建模分析總結(jié)出運(yùn)動(dòng)規(guī)律對(duì)未來的運(yùn)動(dòng)軌跡進(jìn)行 提前預(yù)測(cè)，在很多領(lǐng)域得到重要的研究和應(yīng)用，如機(jī)器人運(yùn)動(dòng)控制、移動(dòng)目標(biāo)搜索跟 蹤、視頻圖像處理和壓縮、成像系統(tǒng)的穩(wěn)像技術(shù)、地震天氣預(yù)測(cè)和移動(dòng)網(wǎng)絡(luò)用戶位置預(yù) 測(cè)等。而支持向量機(jī)是現(xiàn)今用于建模學(xué)習(xí)實(shí)現(xiàn)預(yù)測(cè)的有效工具。支持向量機(jī)(Support Vector Machine, SVM)是I97O年代Vapnik結(jié)合統(tǒng)計(jì)理論
的VC維數(shù)理論和最小風(fēng)險(xiǎn)化原則提出的機(jī)器學(xué)習(xí)新方法，該方法針對(duì)有限小樣本信息仍 然具有很好的泛化能力。SVM其實(shí)是一個(gè)凸二次規(guī)劃問題，解決了神經(jīng)網(wǎng)絡(luò)的過學(xué)習(xí)和 陷于局部最優(yōu)解的難題，同時(shí)由于采用了核函數(shù)將數(shù)據(jù)向高維空間映射，將非線性問題 轉(zhuǎn)換成線性的二次規(guī)劃問題，有效地克服了維數(shù)災(zāi)難。支持向量機(jī)，在模式識(shí)別(字符 識(shí)別、文本自動(dòng)分類和人臉檢測(cè)等)、圖像分類和檢索、函數(shù)逼近、時(shí)間序列預(yù)測(cè)、故障 識(shí)別和預(yù)測(cè)、信息安全、電力系統(tǒng)電力電子和控制論領(lǐng)域都得到廣泛應(yīng)用。然而SVM的性能很大程度上取決于參數(shù)的選擇，因此核參數(shù)的準(zhǔn)確選擇是SVM 精準(zhǔn)預(yù)測(cè)的關(guān)鍵步驟，也是SVM的研究領(lǐng)域的熱點(diǎn)和難點(diǎn)。早期遺傳算法、混沌算法和 人工免疫方法都相繼用到參數(shù)自適應(yīng)優(yōu)化，但是這些算法不僅復(fù)雜而且準(zhǔn)確率和適用性 上都有針對(duì)性，沒有普適性，沒有得到廣泛應(yīng)用和認(rèn)可，大多仍采用高精度低效率的網(wǎng) 格搜索和交叉驗(yàn)證(Cross Validation，CV)相結(jié)合的方法來實(shí)現(xiàn)支持向量機(jī)參數(shù)優(yōu)化。本 發(fā)明提出了一種啟發(fā)式的近似直線搜索方法來尋找到最優(yōu)的支持向量機(jī)參數(shù)。

發(fā)明內(nèi)容
本發(fā)明提供了一種基于支持向量機(jī)的參數(shù)自適應(yīng)的運(yùn)動(dòng)預(yù)測(cè)方法，該方法運(yùn)算 效率和運(yùn)算精度均較高。一種基于支持向量機(jī)的參數(shù)自適應(yīng)的運(yùn)動(dòng)預(yù)測(cè)方法，包括(1)根據(jù)預(yù)測(cè)模型的需要建立SVM標(biāo)準(zhǔn)動(dòng)態(tài)序列數(shù)據(jù)格式，確定連續(xù)數(shù)據(jù)個(gè)數(shù) k和預(yù)測(cè)時(shí)間間隔大小m，將得到的N個(gè)隨時(shí)間變化的顫振位移樣本數(shù)據(jù)轉(zhuǎn)換為SVM標(biāo) 準(zhǔn)動(dòng)態(tài)序列數(shù)據(jù)格式，并對(duì)數(shù)據(jù)極值歸一化，得到的極值歸一化值一致加上小數(shù)ω，最 后得到處理后的樣本數(shù)據(jù)；(2)對(duì)經(jīng)步驟(1)得到處理后的樣本數(shù)據(jù)，在SVM參數(shù)對(duì)數(shù)空間坐標(biāo)系 [C’ Y']網(wǎng)格中用最小均方誤差原則進(jìn)行三像素寬度直線搜索訓(xùn)練，找到最優(yōu)參數(shù)對(duì) [C*Y*],該最優(yōu)參數(shù)對(duì)所對(duì)應(yīng)的模型即為最優(yōu)預(yù)測(cè)模型；具體步驟為(i)對(duì)網(wǎng)格中心點(diǎn)處45度方向上的若干近鄰點(diǎn)和中心點(diǎn)進(jìn)行SVM訓(xùn)練預(yù)測(cè)，其 中交叉驗(yàn)證誤差最小點(diǎn)，即為近似直線的一個(gè)端點(diǎn)A；
3
(ii)對(duì)網(wǎng)絡(luò)兩個(gè)鄰邊上的點(diǎn)進(jìn)行SVM訓(xùn)練預(yù)測(cè)，搜索得到的最小交叉驗(yàn)證誤差 點(diǎn)即為近似直線的另一個(gè)端點(diǎn)B ；(iii)計(jì)算由端點(diǎn)A和端點(diǎn)B確定的直線的斜率，在該條直線的上下三個(gè)像素寬 度的范圍內(nèi)搜索訓(xùn)練，得到交叉驗(yàn)證誤差最小的點(diǎn)，即為最優(yōu)參數(shù)對(duì)[C、'];(3)先實(shí)時(shí)采樣k個(gè)顫振位移，組成k個(gè)寬度的動(dòng)態(tài)窗口，并按同步驟⑴中的 方法進(jìn)行歸一化處理，然后一致加上ω，用步驟(2)得到的最優(yōu)預(yù)測(cè)模型來預(yù)測(cè)m個(gè)時(shí) 刻后的顫振位移，輸出預(yù)測(cè)值；進(jìn)行下一次預(yù)測(cè)時(shí)，將動(dòng)態(tài)窗口的每一個(gè)數(shù)據(jù)往前移一 位，同時(shí)將實(shí)時(shí)采樣到的這個(gè)時(shí)刻的顫振數(shù)據(jù)填入動(dòng)態(tài)窗口最后一位，用步驟(2)中求 得的最優(yōu)預(yù)測(cè)模型進(jìn)行預(yù)測(cè)，如此反復(fù)數(shù)據(jù)采樣更新動(dòng)態(tài)窗口實(shí)現(xiàn)連續(xù)實(shí)時(shí)預(yù)測(cè)，并輸 出預(yù)測(cè)值；輸出的預(yù)測(cè)值都需要反歸一化處理得到實(shí)際的顫振位移預(yù)測(cè)值；上述步驟中ω滿足0.005《ω《0.02。本發(fā)明采用交叉驗(yàn)證方法(cross validation，CV)來進(jìn)一步提高SVM訓(xùn)練預(yù)測(cè)的
精度，交叉驗(yàn)證方法是將樣本測(cè)試數(shù)據(jù)分成η個(gè)子集，每個(gè)子集輪流作為測(cè)試集，η-1個(gè) 子集一起作為訓(xùn)練集進(jìn)行η次訓(xùn)練預(yù)測(cè)分析，比較η次的預(yù)測(cè)結(jié)果找到最好的預(yù)測(cè)模型， 因此SVM評(píng)價(jià)指標(biāo)采用的是交叉驗(yàn)證誤差(CV-error)。本發(fā)明首先通過對(duì)大量的回歸樣本數(shù)據(jù)用高準(zhǔn)確率的網(wǎng)格搜索方法進(jìn)行 基于最小CV-error判斷準(zhǔn)則的各種不同條件的SVM訓(xùn)練預(yù)測(cè)試驗(yàn)，得到大量的 [C’ Y' ]-Err0r(網(wǎng)格交叉誤差分布圖)，如圖3所示網(wǎng)格上每個(gè)點(diǎn)代表一個(gè)參數(shù)對(duì) [C’ Y']，該點(diǎn)的顏色深淺代表該點(diǎn)對(duì)應(yīng)CV-error大小，越深誤差越小。對(duì)這些網(wǎng) 格交差誤差分布圖分析發(fā)現(xiàn)支持向量機(jī)的主要參數(shù)懲罰因子C和核寬度Y的參數(shù)對(duì) [C’ Y']呈現(xiàn)好區(qū)近似直線規(guī)律。該規(guī)律是指支持向量機(jī)回歸參數(shù)對(duì)[C’ Y']在對(duì) 數(shù)坐標(biāo)系網(wǎng)格上存在一個(gè)以網(wǎng)格中心點(diǎn)作為中心向網(wǎng)格固定角(右下角)方向輻射的呈彗 星狀的好區(qū)，如圖3所示，該彗星狀好區(qū)的SVM訓(xùn)練預(yù)測(cè)結(jié)果精確度都比較高，訓(xùn)練精 度越高對(duì)應(yīng)的CV-error值越小，網(wǎng)格的顏色越深，好區(qū)精度更高的點(diǎn)分布近似為有一定 寬度的直線，如圖4所示，該近似直線的一個(gè)端點(diǎn)在[C’ Y']網(wǎng)格中心點(diǎn)附近，另一 端點(diǎn)在網(wǎng)格的兩鄰邊上。支持向量機(jī)(SVM)主要用來解決分類問題和回歸問題，其中回歸問題最后可以 等價(jià)轉(zhuǎn)換為分類問題來求解。SVM回歸問題解決的核心思想是通過映射函數(shù)Ψ (X)將原 本呈非線性規(guī)律分布的數(shù)據(jù)映射到高維空間，非線性問題轉(zhuǎn)換為二次線性規(guī)劃問題，如

圖1所示，圓點(diǎn)和方點(diǎn)分別代表兩類樣本，將在二維空間中尋找橢圓曲線轉(zhuǎn)換為在三維 空間尋找平面的線性問題。解決這個(gè)線性問題便是尋找最優(yōu)超平面，最優(yōu)超平面不僅使 各類數(shù)據(jù)分割開來，而且保證分類間隔最大，如圖2所示，H為分類平面，HI、H2分別 為平行于分類平面并距離各類樣本最近的平面，這兩個(gè)平面的距離叫做分類間隔。對(duì)于線性可分問題，設(shè)給定的訓(xùn)練集為{(X1; Yl), (X2, y2)，…，(Xn，
yn)},其中X1=Oc1, χ2,…，xk) e Rn,為輸入向量，即樣本的k個(gè)屬性，輸出向量為
Y1 e (-1，1)，即兩類yi= 1和％ = -1。如果該訓(xùn)練集可以被一個(gè)超平面線性劃分，假
設(shè)該超平面為W · X+b = 0,其中W · X為兩個(gè)向量的內(nèi)積，則該最優(yōu)超平面能使得所
有的點(diǎn)到該平面的距離之和最小，或者分類間隔最大，分類間隔可以表示為R，Il Il2表
4示二階范數(shù)，即求解最大間隔超平面的優(yōu)化問題。 對(duì)于回歸問題，目標(biāo)函數(shù)表示為f(X) = W · Ψ (X)+b，考慮到SVM的學(xué)習(xí)性 能和泛化能力，引入松弛變量ξ和懲罰因子C，并采用Vapnik提出的ε不敏感損失函數(shù) 作為判斷函數(shù)，ε是指超平面可以水平移動(dòng)的范圍，也就是容許的最大分類錯(cuò)誤范圍為 2ε，這個(gè)區(qū)域(誤差e小于O的誤差e忽略不計(jì)，否則將誤差e用懲罰因子C作為權(quán) 重系數(shù)加入到目標(biāo)函數(shù)中，懲罰因子越大，誤差增大引起的目標(biāo)函數(shù)值的增大量越多， 優(yōu)化難度加大。最大間隔超平面優(yōu)化問題表述為
權(quán)利要求
1.一種基于支持向量機(jī)的參數(shù)自適應(yīng)的運(yùn)動(dòng)預(yù)測(cè)方法，包括(1)根據(jù)預(yù)測(cè)模型的需要建立SVM標(biāo)準(zhǔn)動(dòng)態(tài)序列數(shù)據(jù)格式，確定連續(xù)數(shù)據(jù)個(gè)數(shù)k和 預(yù)測(cè)時(shí)間間隔大小m，將得到的N個(gè)隨時(shí)間變化的顫振位移樣本數(shù)據(jù)轉(zhuǎn)換為SVM標(biāo)準(zhǔn)動(dòng) 態(tài)序列數(shù)據(jù)格式，并對(duì)數(shù)據(jù)極值歸一化，得到的極值歸一化值一致加上小數(shù)ω，最后得 到處理后的樣本數(shù)據(jù)；(2)對(duì)經(jīng)步驟(1)得到的處理后的樣本數(shù)據(jù)，在SVM參數(shù)對(duì)數(shù)空間坐標(biāo)系[C’Y'] 網(wǎng)格中用最小均方誤差原則進(jìn)行三像素寬度直線搜索訓(xùn)練，找到最優(yōu)參數(shù)對(duì)[C、']，該 最優(yōu)參數(shù)對(duì)所對(duì)應(yīng)的模型即為最優(yōu)預(yù)測(cè)模型；(3)先實(shí)時(shí)采樣k個(gè)顫振位移，組成k個(gè)寬度的動(dòng)態(tài)窗口，并按同步驟(1)中的方法 進(jìn)行歸一化處理，然后一致加上ω，用步驟(2)得到的最優(yōu)預(yù)測(cè)模型來預(yù)測(cè)m個(gè)時(shí)刻后 的顫振位移，輸出預(yù)測(cè)值；進(jìn)行下一次預(yù)測(cè)時(shí)，將動(dòng)態(tài)窗口的每一個(gè)數(shù)據(jù)往前移一位， 同時(shí)將實(shí)時(shí)采樣到的這個(gè)時(shí)刻的顫振數(shù)據(jù)填入動(dòng)態(tài)窗口最后一位，用步驟(2)中求得的 最優(yōu)預(yù)測(cè)模型進(jìn)行預(yù)測(cè)，如此反復(fù)數(shù)據(jù)采樣更新動(dòng)態(tài)窗口實(shí)現(xiàn)連續(xù)實(shí)時(shí)預(yù)測(cè)，并輸出預(yù) 測(cè)值；輸出的預(yù)測(cè)值都需要反歸一化處理得到實(shí)際的顫振位移預(yù)測(cè)值；上述步驟中ω滿足0.005<ω<0.02ο
2.根據(jù)權(quán)利要求1所述的基于支持向量機(jī)的參數(shù)自適應(yīng)的運(yùn)動(dòng)預(yù)測(cè)方法，其特征在 于，所述的最優(yōu)參數(shù)對(duì)[C' Y *]的獲得步驟為(i)對(duì)網(wǎng)格中心點(diǎn)處45度方向上的若干近鄰點(diǎn)和中心點(diǎn)進(jìn)行SVM訓(xùn)練預(yù)測(cè)，其中交 叉驗(yàn)證誤差最小點(diǎn)，即為近似直線的一個(gè)端點(diǎn)A；(ii)對(duì)網(wǎng)絡(luò)兩個(gè)鄰邊上的點(diǎn)進(jìn)行SVM訓(xùn)練預(yù)測(cè)，搜索得到的最小交叉驗(yàn)證誤差點(diǎn)即 為近似直線的另一個(gè)端點(diǎn)B;(iii)計(jì)算由端點(diǎn)A和端點(diǎn)B確定的直線的斜率，在該條直線的上下三個(gè)像素寬度的 范圍內(nèi)搜索訓(xùn)練，得到交叉驗(yàn)證誤差最小的點(diǎn)，即為最優(yōu)參數(shù)對(duì)[C、']。
3.根據(jù)權(quán)利要求1所述的基于支持向量機(jī)的參數(shù)自適應(yīng)的運(yùn)動(dòng)預(yù)測(cè)方法，其特征在 于，所述的ω取0.01。
4.根據(jù)權(quán)利要求1所述的基于支持向量機(jī)的參數(shù)自適應(yīng)的運(yùn)動(dòng)預(yù)測(cè)方法，其特征在 于，所述的SVM訓(xùn)練預(yù)測(cè)過程中使用的核函數(shù)為徑向基核函數(shù)，所述的徑向基核函數(shù)中 參數(shù)ε取恒定值0.01。
全文摘要
本發(fā)明公開了一種基于支持向量機(jī)的參數(shù)自適應(yīng)的運(yùn)動(dòng)預(yù)測(cè)方法，包括(1)將樣本數(shù)據(jù)轉(zhuǎn)化為SVM訓(xùn)練預(yù)測(cè)的標(biāo)準(zhǔn)動(dòng)態(tài)序列數(shù)據(jù)格式，并對(duì)數(shù)據(jù)極值歸一化，得到的極值歸一化值后加上小數(shù)ω；(2)在對(duì)數(shù)空間坐標(biāo)系網(wǎng)格中用最小均方誤差原則進(jìn)行三像素寬度直線搜索，找到最優(yōu)參數(shù)組合，得到最優(yōu)預(yù)測(cè)模型；(3)實(shí)時(shí)采樣顫振數(shù)據(jù)，采樣k個(gè)顫振位移，用步驟(2)得到的最優(yōu)預(yù)測(cè)模型進(jìn)行SVM實(shí)時(shí)預(yù)測(cè)得到顫振位移。本發(fā)明的基于支持向量機(jī)的參數(shù)自適應(yīng)的運(yùn)動(dòng)預(yù)測(cè)方法，計(jì)算精度和計(jì)算效率非常高，可以用于各種基于SVM的回歸擬合和預(yù)測(cè)領(lǐng)域，不僅能摒棄以往人為調(diào)整參數(shù)的繁瑣，還能同時(shí)滿足精度和效率的要求，很好地實(shí)現(xiàn)了自動(dòng)化智能化。
文檔編號(hào)G06N5/04GK102024180SQ20101060169
公開日2011年4月20日 申請(qǐng)日期2010年12月23日 優(yōu)先權(quán)日2010年12月23日
發(fā)明者馮華君, 龐紅霞, 徐之海, 李奇 申請(qǐng)人:浙江大學(xué)