專利名稱：時(shí)序預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及例如進(jìn)行根據(jù)輸入的數(shù)值(數(shù)據(jù))預(yù)測(cè)將來(lái)發(fā)生的數(shù)值的預(yù)測(cè)處理的 時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置。特別是涉及用于實(shí)現(xiàn)預(yù)測(cè)精度進(jìn)一步提高的裝置。
背景技術(shù)：
為了對(duì)近來(lái)要發(fā)生的事情有所準(zhǔn)備，或檢測(cè)出異于正常的事件的發(fā)生，需要將 隨著時(shí)間流逝而持續(xù)地發(fā)生變化的股價(jià)、交通量、通信流量等表示為數(shù)值，并對(duì)按時(shí)序 表示該數(shù)值的數(shù)據(jù)、即時(shí)序數(shù)據(jù)進(jìn)行處理，對(duì)將來(lái)要發(fā)生的數(shù)值進(jìn)行精確地預(yù)測(cè)。為了 基于這樣的時(shí)序數(shù)據(jù)預(yù)測(cè)將來(lái)的值(預(yù)測(cè)值)，而存在有制作ARMA模型這樣的數(shù)學(xué)模 型、神經(jīng)網(wǎng)絡(luò)這樣的模型，并使用所制作的模型進(jìn)行學(xué)習(xí)(模型校正)的模型學(xué)習(xí)器等。
眾所周知通過(guò)使用這樣的神經(jīng)網(wǎng)絡(luò)，能夠進(jìn)行難以在現(xiàn)有的諾依曼型計(jì)算機(jī)中 進(jìn)行的靈活的信息處理，目前為止提出有各種形式的使用了神經(jīng)網(wǎng)絡(luò)的裝置。
例如提出有以下方法向由輸入層、中間層、輸出層和承接層構(gòu)成的神經(jīng)網(wǎng)絡(luò) 輸入過(guò)去及現(xiàn)在的時(shí)序圖案，通過(guò)反向傳播法進(jìn)行學(xué)習(xí)，使用學(xué)習(xí)完畢的神經(jīng)網(wǎng)絡(luò)進(jìn)行 時(shí)序預(yù)測(cè)的方法(例如，參照專利文獻(xiàn)1)。
而且，還存在以下裝置，通過(guò)使用神經(jīng)網(wǎng)絡(luò)這樣的模型學(xué)習(xí)器，還將時(shí)序數(shù)據(jù) 作為學(xué)習(xí)數(shù)據(jù)分成多個(gè)解析級(jí)別(頻率成分)，并基于各解析級(jí)別進(jìn)行預(yù)測(cè)、合計(jì)這樣的 方法，預(yù)測(cè)將來(lái)值的裝置(例如，參照專利文獻(xiàn)2)。
專利文獻(xiàn)1 日本特開(kāi)平06-175998號(hào)公報(bào)(圖1)
專利文獻(xiàn)2 日本特開(kāi)平11-21四47號(hào)公報(bào)(圖1)
上述專利文獻(xiàn)1所記載的方法是僅使用時(shí)序數(shù)據(jù)進(jìn)行學(xué)習(xí)來(lái)預(yù)測(cè)將來(lái)值的方 法。因此，在針對(duì)具有時(shí)刻都在復(fù)雜變化的特性的時(shí)序數(shù)據(jù)的預(yù)測(cè)模型中，由于用于學(xué) 習(xí)的特征量較少因此無(wú)法形成高精度的學(xué)習(xí)模型。其結(jié)果，降低了對(duì)伴隨復(fù)雜變化的時(shí) 序數(shù)據(jù)的預(yù)測(cè)精度。
另一方面，在專利文獻(xiàn)2中，將時(shí)序數(shù)據(jù)分成幾個(gè)頻率成分，按各頻率成分學(xué) 習(xí)預(yù)測(cè)模型。因此，能夠比專利文獻(xiàn)1那樣的僅單純地使用時(shí)序數(shù)據(jù)進(jìn)行學(xué)習(xí)時(shí)實(shí)現(xiàn)預(yù) 測(cè)精度的提高。
但是，由于針對(duì)在時(shí)序數(shù)據(jù)中進(jìn)行的所有的解析級(jí)別設(shè)置的各學(xué)習(xí)器，分別獨(dú) 立地進(jìn)行預(yù)測(cè)因此無(wú)法在解析級(jí)別之間進(jìn)行預(yù)測(cè)的學(xué)習(xí)。發(fā)明內(nèi)容
因此，希望實(shí)現(xiàn)能夠使解析級(jí)別間的運(yùn)算處理結(jié)果協(xié)作來(lái)進(jìn)行高精度的預(yù)測(cè)值 的計(jì)算的時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置。
本發(fā)明涉及的時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置，其處理按時(shí)序表示了預(yù)測(cè)對(duì)象的數(shù) 值的時(shí)序數(shù)據(jù)，計(jì)算出數(shù)值的預(yù)測(cè)值，該時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置具備輸入單元， 其被輸入對(duì)時(shí)序數(shù)據(jù)進(jìn)行多重分辨率解析所得到的、表示多個(gè)解析級(jí)別的特征的值，作為解析數(shù)據(jù)；以及運(yùn)算處理單元，其具有輸入層處理部，該輸入層處理部在計(jì)算預(yù)測(cè)值 時(shí)，基于多個(gè)解析級(jí)別中最高解析級(jí)別的解析數(shù)據(jù)進(jìn)行運(yùn)算處理，將處理后的結(jié)果的數(shù) 據(jù)與次高解析級(jí)別的解析數(shù)據(jù)一起進(jìn)行運(yùn)算處理，并從最高解析級(jí)別到最低解析級(jí)別， 對(duì)基于上位解析級(jí)別中運(yùn)算處理的結(jié)果的數(shù)據(jù)和下位解析級(jí)別中的解析數(shù)據(jù)進(jìn)行運(yùn)算處理。
根據(jù)本發(fā)明，針對(duì)多重分辨率解析預(yù)測(cè)對(duì)象的時(shí)序數(shù)據(jù)而得到的多個(gè)解析級(jí)別 的解析數(shù)據(jù)，運(yùn)算處理單元對(duì)上位的解析級(jí)別的運(yùn)算結(jié)果和一個(gè)下位的解析級(jí)別的解析 數(shù)據(jù)進(jìn)行運(yùn)算處理，由于按照從最高的解析級(jí)別到最低的解析級(jí)別的順序進(jìn)行處理，因 此基于用于恢復(fù)時(shí)序數(shù)據(jù)涉及的原信號(hào)的數(shù)學(xué)式將上位解析級(jí)別的處理結(jié)果應(yīng)用于下面 的解析級(jí)別的運(yùn)算處理來(lái)進(jìn)行預(yù)測(cè)所涉及的處理，從而能夠提高預(yù)測(cè)值的精度。


圖1是時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置的構(gòu)成圖。
圖2是用于表示延遲處理部126的處理的圖。
圖3是表示Haar函數(shù)涉及的縮放函數(shù)的圖。
圖4是表示用于分解處理的母小波的圖。
圖5是用于說(shuō)明小波系數(shù)的計(jì)算順序的圖。
圖6是表示神經(jīng)元的示意圖。
圖7是表示預(yù)測(cè)值的比較結(jié)果的圖。
圖8是計(jì)算與實(shí)際觀測(cè)值之間的均方誤差的圖。
附圖符號(hào)說(shuō)明
100時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置；110:輸入單元；120:運(yùn)算處理單元； 121 輸入層處理部；122:頻率解析輸入層處理部；123:相關(guān)數(shù)據(jù)輸入層處理部； 124 中間層處理部；125:輸出層處理部；1 :延遲處理部；130:輸出單元具體實(shí)施方式
實(shí)施方式1
圖1是表示本發(fā)明的實(shí)施方式1涉及的時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置的構(gòu)成的圖。 本實(shí)施方式的時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置(以下簡(jiǎn)單地稱為裝置)100由輸入單元110、運(yùn) 算處理單元120和輸出單元130構(gòu)成。
輸入單元110配置為能夠由運(yùn)算處理單元120對(duì)從例如外部裝置(未圖示)發(fā)送 來(lái)的信號(hào)中包含的數(shù)據(jù)進(jìn)行處理。在此，在本實(shí)施方式中，基于多重分辨率解析(MRA) 對(duì)預(yù)測(cè)對(duì)象的時(shí)序數(shù)據(jù)進(jìn)行頻率解析處理(分解處理)，并將生成的一個(gè)或多個(gè)解析級(jí)別 中的解析數(shù)據(jù)等輸入到輸入單元110。多重分辨率解析是用于，例如用函數(shù)表示數(shù)值在時(shí) 間上的變化，基于多個(gè)尺度階段性地分解該函數(shù)(解析級(jí)別)，來(lái)抽出具有怎樣的特征的 解析。在本實(shí)施方式中，是輸入使用了小波的頻率解析結(jié)果、即小波系數(shù)的數(shù)據(jù)(以下 稱為小波系數(shù))wa)i wa)i作為解析數(shù)據(jù)。而且，輸入與進(jìn)行多重分辨率解析時(shí)使用的 最高的解析級(jí)別涉及的縮放系數(shù)的數(shù)據(jù)(以下稱為最高縮放系數(shù))sa)i以及時(shí)序數(shù)據(jù)具有 相關(guān)關(guān)系的相關(guān)數(shù)據(jù)nt。4
運(yùn)算處理單元120基于輸入單元110的處理的數(shù)據(jù)計(jì)算出預(yù)測(cè)值。本實(shí)施方式的 運(yùn)算處理單元120為基于神經(jīng)網(wǎng)絡(luò)的模型進(jìn)行預(yù)測(cè)值計(jì)算的處理的模型學(xué)習(xí)器，該神經(jīng) 網(wǎng)絡(luò)的模型是基于過(guò)去的時(shí)序數(shù)據(jù)通過(guò)學(xué)習(xí)處理等進(jìn)行了校正的神經(jīng)網(wǎng)絡(luò)的模型。神經(jīng) 網(wǎng)絡(luò)例如是將構(gòu)成腦的神經(jīng)細(xì)胞(神經(jīng)元)模型化、網(wǎng)絡(luò)化而構(gòu)成的處理機(jī)構(gòu)。因此， 在本實(shí)施方式的運(yùn)算處理單元120中，概念上是將多個(gè)神經(jīng)元進(jìn)行網(wǎng)絡(luò)連接，基于從輸 入單元110輸入的數(shù)據(jù)，在神經(jīng)元間發(fā)送/接收運(yùn)算結(jié)果，并且在輸出單元130輸出最終 的運(yùn)算結(jié)果。
另外，在本實(shí)施方式中，裝置通過(guò)反向傳播進(jìn)行學(xué)習(xí)。在該學(xué)習(xí)時(shí)，計(jì)算運(yùn)算 處理單元120計(jì)算出的預(yù)測(cè)值和正確應(yīng)答數(shù)據(jù)y表示的值的誤差。然后，針對(duì)模型中表 示的各個(gè)神經(jīng)元計(jì)算所期待的神經(jīng)元的輸出值與實(shí)際輸出值的差等，求得局部誤差。進(jìn) 行調(diào)整在計(jì)算預(yù)測(cè)值的過(guò)程中神經(jīng)元按照與經(jīng)過(guò)的順序相反的順序進(jìn)行運(yùn)算處理時(shí)的輸 入量的處理，以使該局部誤差變小。
為了實(shí)現(xiàn)以上那樣的模型形成，本實(shí)施方式的運(yùn)算處理單元120具有輸入層處 理部121、中間層處理部124、輸出層處理部125以及多個(gè)延遲處理部126。
輸入層處理部121還具有頻率解析輸入層處理部122和相關(guān)數(shù)據(jù)輸入層處理部 123。頻率解析輸入層處理部122基于各解析級(jí)別的小波系數(shù)和最高縮放系數(shù)進(jìn)行運(yùn)算處 理。此時(shí)，將對(duì)解析級(jí)別高(頻率低)的小波系數(shù)等進(jìn)行運(yùn)算處理的結(jié)果與位于一個(gè)下 位的解析級(jí)別的較低(頻率高)的小波系數(shù)一起進(jìn)行運(yùn)算處理。因此，如圖1所示，在 與解析級(jí)別相同數(shù)量的神經(jīng)元中進(jìn)行運(yùn)算。而且，相關(guān)數(shù)據(jù)輸入層處理部123基于頻率 解析輸入層處理部122的運(yùn)算處理的數(shù)據(jù)和來(lái)自輸入單元110的相關(guān)數(shù)據(jù)nt進(jìn)行運(yùn)算處 理。關(guān)于輸入層處理部121的運(yùn)算處理的內(nèi)容詳見(jiàn)后述。
[20在]本實(shí)施方式中，中間層處理部IM基于延遲處理部1 存儲(chǔ)保持的、輸 入層處理部121的運(yùn)算處理涉及的規(guī)定數(shù)量的數(shù)據(jù)進(jìn)行運(yùn)算處理。而且，輸出層處理部 125基于中間層處理部124的運(yùn)算處理涉及的數(shù)據(jù)進(jìn)行運(yùn)算，并進(jìn)行向輸出單元130輸出 的處理。
[21]圖2是用于表示延遲處理部126的處理的圖。延遲處理部126進(jìn)行臨時(shí)存 儲(chǔ)保持所輸入的數(shù)據(jù)的處理。在此，延遲處理部126具有若輸入新的數(shù)據(jù)時(shí)則溢出最舊 的數(shù)據(jù)(從存儲(chǔ)保持對(duì)象溢出)的先入先出(FIFO FirstInFirstOut)的構(gòu)造。因此，能 夠存儲(chǔ)保持規(guī)定數(shù)量(過(guò)去的規(guī)定時(shí)間量)的數(shù)據(jù)。在本實(shí)施方式中，例如各延遲處理 部1 能夠存儲(chǔ)保持用于運(yùn)算處理單元120計(jì)算時(shí)刻t+Ι的預(yù)測(cè)值而進(jìn)行的各神經(jīng)元的運(yùn) 算處理所必須的量的數(shù)據(jù)。
[22]關(guān)于上述那樣的運(yùn)算處理單元120的各處理部，能夠由各自不同的專業(yè)設(shè)備 (硬件)構(gòu)成，但也可以由以CPU(Central Processing Unit)為中心的運(yùn)算控制單元(計(jì)算機(jī))構(gòu)成硬件，將各部進(jìn)行處理的處理順序預(yù)先程序化，從而由軟件、固件等構(gòu)成。并 且，也可通過(guò)執(zhí)行程序進(jìn)行的處理來(lái)實(shí)現(xiàn)上述各部進(jìn)行的處理。這些程序涉及的數(shù)據(jù)例 如預(yù)先存儲(chǔ)于存儲(chǔ)單元(未圖示)。而且，雖未特別限定，但例如也可由一個(gè)運(yùn)算處理 裝置(元件)構(gòu)成神經(jīng)元，通過(guò)通信線路等連接多個(gè)運(yùn)算處理裝置來(lái)構(gòu)成運(yùn)算處理單元 120。在此在本實(shí)施方式中，以下對(duì)將各神經(jīng)元作為進(jìn)行運(yùn)算處理的一個(gè)單位的裝置(元 件)的情況進(jìn)行說(shuō)明。
[23]而且，輸出單元130在預(yù)測(cè)處理時(shí)，運(yùn)算處理單元120將作為運(yùn)算結(jié)果計(jì)算 出的預(yù)測(cè)值作為信號(hào)向例如外部裝置(未圖示)輸出。
[24]接下來(lái)，說(shuō)明本實(shí)施方式的裝置100的動(dòng)作。首先，在裝置100的前段中， 基于進(jìn)行了采樣、量化等的時(shí)序數(shù)據(jù)，在多重分辨率解析中進(jìn)行小波變換，計(jì)算出每個(gè) 解析級(jí)別的小波系數(shù)、縮放系數(shù)。關(guān)于解析結(jié)果和源信號(hào)(函數(shù))之間的關(guān)系，若將計(jì) 算出的最高的解析級(jí)別設(shè)為L(zhǎng)、將源信號(hào)設(shè)為f(t)，則可以用下式(1)來(lái)表示。
[25](數(shù)學(xué)式 1)L
f ( t)=2 g ·( t)+ f , ( t)…(1)j = l
在此，&如下式(2)所示，是小波系數(shù)Wp和母小波A、k的合成函數(shù)。而且， ⑶式的fUt)是解析級(jí)別L的縮放系數(shù)和解析級(jí)別L的母小波U^k的合成函數(shù)。
(數(shù)學(xué)式2)
S j( t) =Σ Wjk · Φ j>k(t)(2)
f ! =^l,k(t)…(3)k
圖3是表示Haar函數(shù)涉及的縮放函數(shù)的圖。在本實(shí)施方式中在小波中使用Haar 函數(shù)進(jìn)行說(shuō)明。關(guān)于縮放函數(shù)，0<U<1時(shí)將u設(shè)為1，其他情況設(shè)為u = 0。
圖4是表示用于分解處理的母小波的圖。圖4示意地表示了 Haar函數(shù)的母小 波。小波系數(shù)是基于母小波和時(shí)序數(shù)據(jù)計(jì)算出內(nèi)積，并用縮放系數(shù)除所計(jì)算出的。如圖 4所示，通過(guò)改變母小波的周期寬度生成不同的解析級(jí)別的母小波，并針對(duì)各解析級(jí)別計(jì) 算出小波系數(shù)。
圖5是用于說(shuō)明小波系數(shù)的計(jì)算順序的圖。在圖5中對(duì)解析級(jí)別1的小波系數(shù) 的計(jì)算進(jìn)行說(shuō)明。例如將時(shí)刻t-7 t中的丨1，3，5，11，12，13，0，1丨這樣8個(gè)值的 數(shù)據(jù)作為時(shí)序數(shù)據(jù)。解析級(jí)別1的小波系數(shù)是計(jì)算出母小波(-1，1)的內(nèi)積后用縮放系 數(shù)除所計(jì)算出的。而且，沿時(shí)間方向滑動(dòng)計(jì)算小波系數(shù)。例如時(shí)序數(shù)據(jù)(1，3)和母小 波(1，-1)的內(nèi)積是IX (-D+3X1 = 2。由于縮放系數(shù)是2"2，所以小波系數(shù)為2"2 = 1.4142(圖5中的W(1Y3)。以下，對(duì)于(5，11)、(12，13)、(0，1)同樣分別計(jì)算出小 波系數(shù)。如上所述，在解析級(jí)別1中，計(jì)算出{w(1\_3 = 1.4142，Wai1^2 = 4.2426, w(1)M =0.7071，Wa), = 0.7071}四個(gè)小波系數(shù)。在此，在本實(shí)施方式中，Wa),表示基于時(shí)刻t 的小波系數(shù)。
而且，解析級(jí)別2的小波系數(shù)通過(guò)計(jì)算出2倍周期的母小波(-1，-1，1，1)與 時(shí)序數(shù)據(jù)的4個(gè)數(shù)據(jù)的內(nèi)積，用該解析級(jí)別的縮放系數(shù)2除所計(jì)算出的。
如上所述，包含前段裝置計(jì)算出的各解析級(jí)別的小波系數(shù)和最高縮放系數(shù)的信 號(hào)被輸入到輸入單元110。輸入單元110處理信號(hào)后將數(shù)據(jù)發(fā)送到運(yùn)算處理單元120。對(duì) 相關(guān)數(shù)據(jù)nt也進(jìn)行同樣的信號(hào)處理并發(fā)送。各延遲處理部1 存儲(chǔ)保持上述那樣發(fā)送來(lái) 的數(shù)據(jù)。在此，例如存儲(chǔ)保持從時(shí)刻t開(kāi)始基于過(guò)去的規(guī)定時(shí)間量的時(shí)序數(shù)據(jù)計(jì)算出的規(guī) 定數(shù)量的小波系數(shù)或最高縮放系數(shù)。而且，也存儲(chǔ)保持規(guī)定數(shù)量的相關(guān)數(shù)據(jù)。
輸入層處理部121的頻率解析輸入層處理部122基于各延遲處理部1 存儲(chǔ)保持 的規(guī)定數(shù)量的小波系數(shù)或最高縮放系數(shù)進(jìn)行運(yùn)算處理。此時(shí)，頻率解析輸入層處理部122 如上所述進(jìn)行基于解析級(jí)別和相同數(shù)量的神經(jīng)元的運(yùn)算處理。
圖6是表示神經(jīng)元的示意圖。在此，對(duì)神經(jīng)元中的運(yùn)算處理進(jìn)行說(shuō)明。如圖6 所示，各神經(jīng)元具有數(shù)據(jù)輸入部、運(yùn)算部、輸出部。在圖6的神經(jīng)元中，例如計(jì)算對(duì)解 析級(jí)別L的從時(shí)刻t開(kāi)始經(jīng)過(guò)規(guī)定時(shí)間量的小波系數(shù)WaV W(L)m, Wwi^2, W(L)i_3> Wwm 分別乘以權(quán)重系數(shù)11(、、h(L)M, 11(、_2、11(、_3、IiaY4的總和4。然后，將總和4代入例 如預(yù)先設(shè)定的S形函數(shù)那樣的傳遞函數(shù)f中進(jìn)行閾值的處理，從而計(jì)算出輸出值0l。若用 數(shù)學(xué)式表示以上內(nèi)容則由下式(4)來(lái)表示。在本實(shí)施方式中，輸出值O1為基于時(shí)刻t的 神經(jīng)元的輸出值，由各神經(jīng)元進(jìn)行這樣的運(yùn)算處理。
(數(shù)學(xué)式3)
權(quán)利要求
1.一種時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置，其處理按時(shí)序表示了預(yù)測(cè)對(duì)象的數(shù)值的時(shí)序數(shù) 據(jù)，計(jì)算出所述數(shù)值的預(yù)測(cè)值，所述時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置的特征在于，具備輸入單元，其被輸入對(duì)所述時(shí)序數(shù)據(jù)進(jìn)行多重分辨率解析所得到的、表示多個(gè)解析 級(jí)別的特征的值，作為解析數(shù)據(jù)；以及運(yùn)算處理單元，其具有輸入層處理部，該輸入層處理部在計(jì)算所述預(yù)測(cè)值時(shí)，基于 所述多個(gè)解析級(jí)別中最高解析級(jí)別的解析數(shù)據(jù)進(jìn)行運(yùn)算處理，將處理后的結(jié)果的數(shù)據(jù)與 次高解析級(jí)別的解析數(shù)據(jù)一起進(jìn)行運(yùn)算處理，并從最高解析級(jí)別到最低解析級(jí)別，對(duì)基 于上位解析級(jí)別中運(yùn)算處理的結(jié)果的數(shù)據(jù)和所述下位解析級(jí)別中的解析數(shù)據(jù)進(jìn)行運(yùn)算處 理。
2.根據(jù)權(quán)利要求1所述的時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置，其特征在于，所述運(yùn)算處理單元還具有一個(gè)或多個(gè)延遲處理部，用于存儲(chǔ)保持過(guò)去的規(guī)定數(shù)量 的、輸入到所述輸入單元的數(shù)據(jù)。
3.根據(jù)權(quán)利要求1或2所述的時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置，其特征在于，所述運(yùn)算處 理單元還具有中間層處理部，其基于所述輸入層處理部處理的結(jié)果的數(shù)據(jù)進(jìn)行運(yùn)算處理；以及輸出層處理部，其基于該中間層處理部處理的結(jié)果的數(shù)據(jù)進(jìn)行運(yùn)算處理，并輸出所 述預(yù)測(cè)值。
4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置，其特征在于，所述多重分辨率解析是使用了小波的頻率解析，基于頻率越低的小波的信號(hào)得到的所述解析數(shù)據(jù)，其解析級(jí)別越高。
5.根據(jù)權(quán)利要求4所述的時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置，其特征在于，作為所述解析數(shù)據(jù)具有小波系數(shù)。
6.根據(jù)權(quán)利要求5所述的時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置，其特征在于，在所述輸入單元，還被輸入有所述最高解析級(jí)別中縮放系數(shù)的數(shù)據(jù)，作為所述解析 數(shù)據(jù)，所述運(yùn)算處理單元，基于所述最高解析級(jí)別的小波系數(shù)的數(shù)據(jù)和所述縮放系數(shù)的數(shù) 據(jù)進(jìn)行所述運(yùn)算處理。
7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置，其特征在于，在所述輸入單元，還被輸入有與所述解析數(shù)據(jù)相關(guān)的相關(guān)數(shù)據(jù)，所述輸入層處理部還基于到所述最低解析級(jí)別所處理的結(jié)果的數(shù)據(jù)和所述相關(guān)數(shù) 據(jù)，進(jìn)行運(yùn)算處理。
全文摘要
本發(fā)明提供一種時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置，能夠在解析級(jí)別間進(jìn)行協(xié)作并能夠進(jìn)行高精度的預(yù)測(cè)值計(jì)算。在處理按時(shí)序表示預(yù)測(cè)對(duì)象的數(shù)值的時(shí)序數(shù)據(jù)，并計(jì)算出數(shù)值的預(yù)測(cè)值的時(shí)序數(shù)據(jù)預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)裝置中具備輸入單元，將對(duì)時(shí)序數(shù)據(jù)進(jìn)行多重分辨率解析所得到的、表示多個(gè)解析級(jí)別的特征的值作為解析數(shù)據(jù)輸入；運(yùn)算處理單元，具有輸入層處理部，該輸入層處理部在計(jì)算預(yù)測(cè)值時(shí)，基于多個(gè)解析級(jí)別中最高解析級(jí)別的解析數(shù)據(jù)進(jìn)行運(yùn)算處理，將處理結(jié)果的數(shù)據(jù)與次高解析級(jí)別的解析數(shù)據(jù)一起進(jìn)行運(yùn)算處理，并從最高解析級(jí)別到最低解析級(jí)別對(duì)基于某解析級(jí)別的解析數(shù)據(jù)進(jìn)行運(yùn)算處理的結(jié)果的數(shù)據(jù)和位于某解析級(jí)別下位的解析級(jí)別的解析數(shù)據(jù)進(jìn)行運(yùn)算處理。
文檔編號(hào)G06N3/02GK102024178SQ20101028068
公開(kāi)日2011年4月20日 申請(qǐng)日期2010年9月10日 優(yōu)先權(quán)日2009年9月16日
發(fā)明者伊加田惠志 申請(qǐng)人:沖電氣工業(yè)株式會(huì)社