本發(fā)明涉及人工智能領(lǐng)域，具體涉及一種前饋序列記憶神經(jīng)網(wǎng)絡(luò)及其構(gòu)建方法和系統(tǒng)。

背景技術(shù)：

人工神經(jīng)網(wǎng)絡(luò)是從微觀結(jié)構(gòu)與功能上對(duì)人腦神經(jīng)系統(tǒng)的模擬而建立起來的一類模型，具有模擬人的部分形象思維的能力，其特點(diǎn)主要是具有非線性特征、學(xué)習(xí)能力和自適應(yīng)性，是實(shí)現(xiàn)人工智能的重要途徑，它是由簡單信息處理單元互聯(lián)組成的網(wǎng)絡(luò)，能接受并處理信息，網(wǎng)絡(luò)的信息處理由單元之間的相互作用來實(shí)現(xiàn)，具體處理信息時(shí)，通過將問題表達(dá)為處理單元之間的連接權(quán)重來處理。近年來，神經(jīng)網(wǎng)絡(luò)在人機(jī)交互的應(yīng)用系統(tǒng)中起到了至關(guān)重要的作用，如基于深度神經(jīng)網(wǎng)絡(luò)的語音識(shí)別系統(tǒng)，基于深度神經(jīng)網(wǎng)絡(luò)的語音合成系統(tǒng)等，現(xiàn)有的神經(jīng)網(wǎng)絡(luò)如前饋神經(jīng)網(wǎng)絡(luò)在進(jìn)行信息處理時(shí)，實(shí)現(xiàn)的是固定的輸入到固定輸出的映射關(guān)系，每個(gè)時(shí)刻的樣本是獨(dú)立計(jì)算的，不能有效利用訓(xùn)練數(shù)據(jù)的長時(shí)信息；現(xiàn)有的神經(jīng)網(wǎng)絡(luò)在處理具有時(shí)序依賴性的數(shù)據(jù)時(shí)，經(jīng)常得不到很好的效果，所述具有時(shí)序依賴性的數(shù)據(jù)指數(shù)據(jù)與之?dāng)?shù)據(jù)之間存在前后依賴的關(guān)系，如語音識(shí)別時(shí)，為了提升識(shí)別的準(zhǔn)確率，經(jīng)常需要考慮語音數(shù)據(jù)的上下文信息。因此，為了使神經(jīng)網(wǎng)絡(luò)有效利用訓(xùn)練數(shù)據(jù)的長時(shí)信息，研究人員提出了具有記憶功能的遞歸神經(jīng)網(wǎng)絡(luò)，這種神經(jīng)網(wǎng)絡(luò)采用雙向循環(huán)反饋的結(jié)構(gòu)來實(shí)現(xiàn)記憶功能，使得該遞歸神經(jīng)網(wǎng)絡(luò)可以利用訓(xùn)練數(shù)據(jù)的長時(shí)信息。但是，該遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)較復(fù)雜，訓(xùn)練網(wǎng)絡(luò)參數(shù)時(shí)，經(jīng)常存在不穩(wěn)定性；并且，具有雙向循環(huán)反饋的網(wǎng)絡(luò)結(jié)構(gòu)在對(duì)訓(xùn)練數(shù)據(jù)實(shí)現(xiàn)記憶功能時(shí)，需要等數(shù)據(jù)輸入結(jié)束后，根據(jù)反饋信息來實(shí)現(xiàn)記憶，在信息處理效率較高的應(yīng)用系統(tǒng)中無法使用，尤其是實(shí)時(shí)信息處理系統(tǒng)，經(jīng)常需要用戶等待較長的時(shí)間，降低了用戶體驗(yàn)效果。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供一種前饋序列記憶神經(jīng)網(wǎng)絡(luò)及其構(gòu)建方法和系統(tǒng)，解決在有效利用訓(xùn)練數(shù)據(jù)的長時(shí)信息的前提下，現(xiàn)有神經(jīng)網(wǎng)絡(luò)無法保證信息處理效率的問題，以提高用戶體驗(yàn)效果。

為此，本發(fā)明實(shí)施例提供如下技術(shù)方案：

一種前饋序列記憶神經(jīng)網(wǎng)絡(luò)包括至少三層的多個(gè)節(jié)點(diǎn)，第一層為輸入層，最后一層為輸出層，其它位于輸入層和輸出層之間的多個(gè)節(jié)點(diǎn)組成至少一個(gè)隱層，層與層之間的節(jié)點(diǎn)是全連接的，每一個(gè)隱層都包含一個(gè)記憶塊，隱層與記憶塊共同構(gòu)成雙向前饋序列記憶神經(jīng)網(wǎng)絡(luò)fsmn層，其中，當(dāng)前隱層的記憶塊的輸入為當(dāng)前隱層的輸出，當(dāng)前隱層的記憶塊的輸出為下一層的一個(gè)輸入，所述記憶塊用于存儲(chǔ)當(dāng)前幀輸入數(shù)據(jù)的歷史信息和未來信息，所述歷史信息為當(dāng)前幀輸入數(shù)據(jù)之前幀的特征序列，所述未來信息為當(dāng)前幀輸入數(shù)據(jù)之后幀的特征序列。

優(yōu)選地，所述前饋序列記憶神經(jīng)網(wǎng)絡(luò)還包括：

各雙向fsmn層都相應(yīng)存在一個(gè)長短時(shí)記憶lstm層，同一層的雙向fsmn層和lstm層共同構(gòu)成雙向長短時(shí)前饋序列記憶神經(jīng)網(wǎng)絡(luò)lsfsmn層，其中，當(dāng)前l(fā)stm層的輸入為輸入層的輸出或上一lstm層、上一隱層以及上一隱層的記憶塊的輸出，當(dāng)前l(fā)stm層的輸出為下一隱層和下一lstm層的一個(gè)輸入，其中，所述lstm層用于記憶歷史信息，所述雙向fsmn層用于記憶未來信息。

優(yōu)選地，所述前饋序列記憶神經(jīng)網(wǎng)絡(luò)還包括：位于雙向fsmn疊層和所述輸出層之間的全連接疊層，其中，所述全連接疊層的輸入端和所述雙向fsmn疊層的輸出端相連接，所述全連接疊層的輸出端和所述輸出層的輸入端相連接，所述全連接疊層包括至少一個(gè)全連接層，所述雙向fsmn疊層包括至少一個(gè)雙向fsmn層；或者

位于雙向lsfsmn疊層和所述輸出層之間的全連接疊層，其中，所述全連接疊層的輸入端和所述雙向lsfsmn疊層的輸出端相連接，所述全連接疊層的輸出端和所述輸出層的輸入端相連接，所述全連接疊層包括至少一個(gè)全連接層，所述雙向lsfsmn疊層包括至少一個(gè)雙向lsfsmn層。

一種前饋序列記憶神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法，包括：

收集大量訓(xùn)練數(shù)據(jù)，并提取所述訓(xùn)練數(shù)據(jù)的特征序列；

構(gòu)建前饋序列記憶神經(jīng)網(wǎng)絡(luò)；

利用所述訓(xùn)練數(shù)據(jù)的特征序列對(duì)構(gòu)建的前饋序列記憶神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)取值。

優(yōu)選地，所述構(gòu)建前饋序列記憶神經(jīng)網(wǎng)絡(luò)包括：

確定前饋序列記憶神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)；

根據(jù)確定的前饋序列記憶神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定所述特征序列的變換方法及相應(yīng)前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)。

優(yōu)選地，所述前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)包括以下一種或多種：歷史信息權(quán)重、未來信息權(quán)重、當(dāng)前隱層與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前隱層的記憶塊與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)隱層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)lstm層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前隱層與下個(gè)lstm層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前隱層的記憶塊與下個(gè)lstm層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前l(fā)stm層與當(dāng)前l(fā)stm層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前全連接層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前雙向fsmn層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)全連接層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前全連接層與輸出層的連接權(quán)重矩陣及權(quán)重偏置。

優(yōu)選地，對(duì)于包括雙向fsmn疊層的前饋序列記憶神經(jīng)網(wǎng)絡(luò)，所述根據(jù)確定的前饋序列記憶神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定所述特征序列的變換方法及相應(yīng)前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)包括：

由輸入層輸入所述訓(xùn)練數(shù)據(jù)的特征序列，進(jìn)入所述雙向fsmn疊層；

各雙向fsmn層的隱層對(duì)輸入特征序列進(jìn)行特征變換，并由記憶塊保存當(dāng)前幀訓(xùn)練數(shù)據(jù)的歷史信息和未來信息；

利用所述歷史信息權(quán)重和所述未來信息權(quán)重對(duì)訓(xùn)練數(shù)據(jù)的歷史信息和未來信息進(jìn)行融合，獲取每幀訓(xùn)練數(shù)據(jù)的融合特征序列，作為當(dāng)前隱層的記憶塊的輸出特征序列；

利用所述當(dāng)前隱層與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、所述當(dāng)前隱層的記憶塊與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置對(duì)所述當(dāng)前隱層的輸出特征序列和該隱層記憶塊的輸出特征序列進(jìn)行變換，獲取下一隱層的輸出特征序列；

以最后一個(gè)隱層的輸出和\或該隱層記憶塊的輸出作為輸出層的輸入，進(jìn)行變換獲取輸出層的輸出結(jié)果。

優(yōu)選地，對(duì)于包括雙向lsfsmn疊層的前饋序列記憶神經(jīng)網(wǎng)絡(luò)，所述根據(jù)確定的前饋序列記憶神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定所述特征序列的變換方法及相應(yīng)前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)包括：

由輸入層輸入所述訓(xùn)練數(shù)據(jù)的特征序列，進(jìn)入雙向lsfsmn疊層；

由lsfsmn層的雙向fsmn層的隱層和lstm層對(duì)輸入特征序列進(jìn)行特征變換，并由lstm層保存當(dāng)前幀訓(xùn)練數(shù)據(jù)的歷史信息，記憶塊保存當(dāng)前幀訓(xùn)練數(shù)據(jù)的未來信息；

利用所述當(dāng)前隱層與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、所述當(dāng)前隱層的記憶塊與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)lstm層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前隱層與下個(gè)lstm層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前l(fā)stm層與當(dāng)前l(fā)stm層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前隱層的記憶塊與下個(gè)lstm層的連接權(quán)重矩陣與權(quán)重偏置對(duì)所述當(dāng)前隱層的輸出特征序列、當(dāng)前隱層的記憶塊的輸出特征序列及當(dāng)前l(fā)stm層的輸出特征序列進(jìn)行變換，獲取下一隱層和下一lstm層的輸出特征序列；

以最后一個(gè)隱層的輸出和\或該隱層記憶塊的輸出及最后一個(gè)lstm層的輸出作為輸出層的輸入，進(jìn)行變換獲取輸出層的輸出結(jié)果。

優(yōu)選地，對(duì)于包括全連接疊層的前饋序列記憶神經(jīng)網(wǎng)絡(luò)，所述方法還包括：

當(dāng)訓(xùn)練數(shù)據(jù)的特征序列從雙向fsmn層或雙向lsfsmn層進(jìn)入全連接層時(shí)，利用當(dāng)前雙向fsmn層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置或當(dāng)前雙向fsmn層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)隱層的連接權(quán)重矩陣與權(quán)重偏置，對(duì)當(dāng)前雙向fsmn層或雙向lsfsmn層的輸出特征進(jìn)行變換，獲取全連接層的輸出特征序列；

當(dāng)訓(xùn)練數(shù)據(jù)的特征序列進(jìn)入所述全連接層之后，利用所述當(dāng)前全連接層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置對(duì)當(dāng)前全連接層的輸出特征序列進(jìn)行變換，獲取下一全連接層的輸出特征序列；

當(dāng)訓(xùn)練數(shù)據(jù)的特征序列由全連接層進(jìn)入輸出層時(shí)，利用當(dāng)前全連接層與輸出層的連接權(quán)重矩陣及權(quán)重偏置對(duì)當(dāng)前全連接層的輸出特征進(jìn)行變換，獲取輸出層的輸出特征序列。

一種前饋序列記憶神經(jīng)網(wǎng)絡(luò)的構(gòu)建系統(tǒng)，包括：

提取模塊，用于收集大量訓(xùn)練數(shù)據(jù)，并提取所述訓(xùn)練數(shù)據(jù)的特征序列；

構(gòu)建模塊，用于構(gòu)建前饋序列記憶神經(jīng)網(wǎng)絡(luò)；

訓(xùn)練模塊，用于利用所述訓(xùn)練數(shù)據(jù)的特征序列對(duì)構(gòu)建的前饋序列記憶神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)取值。

優(yōu)選地，所述構(gòu)建模塊包括：

結(jié)構(gòu)確定單元，用于確定前饋序列記憶神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)；

參數(shù)確定單元，用于根據(jù)確定的前饋序列記憶神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定所述特征序列的變換方法及相應(yīng)前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)。

優(yōu)選地，所述前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)包括以下一種或多種：歷史信息權(quán)重、未來信息權(quán)重、當(dāng)前隱層與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前隱層的記憶塊與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)隱層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)lstm層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前隱層與下個(gè)lstm層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前隱層的記憶塊與下個(gè)lstm層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前l(fā)stm層與當(dāng)前l(fā)stm層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前全連接層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前雙向fsmn層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)全連接層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前全連接層與輸出層的連接權(quán)重矩陣及權(quán)重偏置。

優(yōu)選地，對(duì)于包括雙向fsmn疊層的前饋序列記憶神經(jīng)網(wǎng)絡(luò)，所述參數(shù)確定單元包括：

第一輸入子單元，用于由輸入層輸入所述訓(xùn)練數(shù)據(jù)的特征序列，進(jìn)入所述 雙向fsmn疊層；

第一變換子單元，用于各雙向fsmn層的隱層對(duì)輸入特征序列進(jìn)行特征變換，并由記憶塊保存當(dāng)前幀訓(xùn)練數(shù)據(jù)的歷史信息和未來信息；

特征融合子單元，用于利用所述歷史信息權(quán)重和所述未來信息權(quán)重對(duì)訓(xùn)練數(shù)據(jù)的歷史信息和未來信息進(jìn)行融合，獲取每幀訓(xùn)練數(shù)據(jù)的融合特征序列，作為當(dāng)前隱層的記憶塊的輸出特征序列；

第二變換子單元，用于利用所述當(dāng)前隱層與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、所述當(dāng)前隱層的記憶塊與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置對(duì)所述當(dāng)前隱層的輸出特征序列和該隱層記憶塊的輸出特征序列進(jìn)行變換，獲取下一隱層的輸出特征序列；

第三變換子單元，用于以最后一個(gè)隱層的輸出和\或該隱層記憶塊的輸出作為輸出層的輸入，進(jìn)行變換獲取輸出層的輸出結(jié)果。

優(yōu)選地，對(duì)于包括雙向lsfsmn疊層的前饋序列記憶神經(jīng)網(wǎng)絡(luò)，所述參數(shù)確定單元包括：

第二輸入子單元，用于由輸入層輸入所述訓(xùn)練數(shù)據(jù)的特征序列，進(jìn)入雙向lsfsmn疊層；

第四變換子單元，用于由lsfsmn層的雙向fsmn層的隱層和lstm層對(duì)輸入特征序列進(jìn)行特征變換，并由lstm層保存當(dāng)前幀訓(xùn)練數(shù)據(jù)的歷史信息，記憶塊保存當(dāng)前幀訓(xùn)練數(shù)據(jù)的未來信息；

第五變換子單元，用于利用所述當(dāng)前隱層與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、所述當(dāng)前隱層的記憶塊與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)lstm層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與當(dāng)前l(fā)stm層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前隱層與下個(gè)lstm層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前隱層的記憶塊與下個(gè)lstm層的連接權(quán)重矩陣與權(quán)重偏置對(duì)所述當(dāng)前隱層的輸出特征序列、當(dāng)前隱層的記憶塊的輸出特征序列及當(dāng)前l(fā)stm層的輸出特征序列進(jìn)行變換，獲取下一隱層和下一lstm層的輸出特征序列。

第六變換子單元，用于以最后一個(gè)隱層的輸出和\或該隱層記憶塊的輸出及最后一個(gè)lstm層的輸出作為輸出層的輸入，進(jìn)行變換獲取輸出層的輸出 結(jié)果。

優(yōu)選地，對(duì)于包括全連接疊層的前饋序列記憶神經(jīng)網(wǎng)絡(luò)，所述參數(shù)確定單元還包括：

第七變換子單元，用于當(dāng)訓(xùn)練數(shù)據(jù)的特征序列從雙向fsmn層或雙向lsfsmn層進(jìn)入全連接層時(shí)，利用當(dāng)前雙向fsmn層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置或當(dāng)前雙向fsmn層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)隱層的連接權(quán)重矩陣與權(quán)重偏置，對(duì)當(dāng)前雙向fsmn層或雙向lsfsmn層的輸出特征進(jìn)行變換，獲取全連接層的輸出特征序列；

第八變換子單元，用于當(dāng)訓(xùn)練數(shù)據(jù)的特征序列進(jìn)入所述全連接層之后，利用所述當(dāng)前全連接層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置對(duì)當(dāng)前全連接層的輸出特征序列進(jìn)行變換，獲取下一全連接層的輸出特征序列；

第九變換子單元，用于當(dāng)訓(xùn)練數(shù)據(jù)的特征序列由全連接層進(jìn)入輸出層時(shí)，利用當(dāng)前全連接層與輸出層的連接權(quán)重矩陣及權(quán)重偏置對(duì)當(dāng)前全連接層的輸出特征進(jìn)行變換，獲取輸出層的輸出特征序列。

本發(fā)明實(shí)施例提供的前饋序列記憶神經(jīng)網(wǎng)絡(luò)及其構(gòu)建方法和系統(tǒng)，該神經(jīng)網(wǎng)絡(luò)包括記憶塊，通過該記憶塊可以存儲(chǔ)每幀輸入信息的歷史信息和未來信息，以利用訓(xùn)練數(shù)據(jù)的長時(shí)信息，進(jìn)而提升該神經(jīng)網(wǎng)絡(luò)處理信息數(shù)據(jù)的能力，并且該過程無需通過雙向循環(huán)反饋，使得本發(fā)明提供的前饋序列記憶神經(jīng)網(wǎng)絡(luò)在有效利用訓(xùn)練數(shù)據(jù)的長時(shí)信息的前提下保證信息處理效率，提高了用戶體驗(yàn)效果。

進(jìn)一步地，為了提升神經(jīng)網(wǎng)絡(luò)的記憶能力，本發(fā)明還提供了另一種網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)中各雙向fsmn層都相應(yīng)存在一個(gè)長短時(shí)記憶lstm層，同一層的雙向fsmn層和lstm層共同構(gòu)成雙向長短時(shí)前饋序列記憶神經(jīng)網(wǎng)絡(luò)lsfsmn層，利用lstm層來記憶每幀訓(xùn)練數(shù)據(jù)的歷史信息，利用fsmn層來記憶每幀訓(xùn)練數(shù)據(jù)的未來信息，有效提升了前饋序列記憶神經(jīng)網(wǎng)絡(luò)的記憶能力，進(jìn)而提升該神經(jīng)網(wǎng)絡(luò)處理信息數(shù)據(jù)的能力。

附圖說明

為了更清楚地說明本申請(qǐng)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明中記載的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是現(xiàn)有技術(shù)中前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；

圖2是根據(jù)本發(fā)明實(shí)施例提供的前饋序列記憶神經(jīng)網(wǎng)絡(luò)的第一種結(jié)構(gòu)示意圖；

圖3是根據(jù)本發(fā)明實(shí)施例提供的雙向fsmn層的一種時(shí)序展開結(jié)構(gòu)示意圖；

圖4是根據(jù)本發(fā)明實(shí)施例提供的前饋序列記憶神經(jīng)網(wǎng)絡(luò)的第二種結(jié)構(gòu)示意圖；

圖5是根據(jù)本發(fā)明實(shí)施例提供的前饋序列記憶神經(jīng)網(wǎng)絡(luò)的第三種結(jié)構(gòu)示意圖；

圖6是根據(jù)本發(fā)明實(shí)施例提供的前饋序列記憶神經(jīng)網(wǎng)絡(luò)的第四種結(jié)構(gòu)示意圖；

圖7是根據(jù)本發(fā)明實(shí)施例提供的一種前饋序列記憶神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法的流程圖；

圖8是根據(jù)本發(fā)明實(shí)施例提供的前饋序列記憶神經(jīng)網(wǎng)絡(luò)的構(gòu)建系統(tǒng)的一種結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明實(shí)施例的方案，下面結(jié)合附圖和實(shí)施例方式對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說明。以下實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對(duì)本發(fā)明的限制。

為了更好地理解本發(fā)明，下面首先對(duì)現(xiàn)有技術(shù)中主要的神經(jīng)網(wǎng)絡(luò)進(jìn)行簡介，現(xiàn)有神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的一種為前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如圖1所示，該結(jié)構(gòu)具體包括輸入層、隱層及輸出層，每層由很多節(jié)點(diǎn)構(gòu)成，層與層之間的節(jié)點(diǎn)是全連接的，同一層節(jié)點(diǎn)之間沒有連接；另一種常用的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為遞歸神經(jīng)網(wǎng)絡(luò) 結(jié)構(gòu)，具體包括輸入層、隱層及輸出層，每層由很多節(jié)點(diǎn)構(gòu)成，隱層采用雙向循環(huán)反饋結(jié)構(gòu)。但是前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)由于同一層節(jié)點(diǎn)之間沒有連接，在進(jìn)行信息處理時(shí)，實(shí)現(xiàn)的是固定的輸入到固定輸出的映射關(guān)系，每個(gè)時(shí)刻的樣本是獨(dú)立計(jì)算的。不能有效利用訓(xùn)練數(shù)據(jù)的長時(shí)信息，大大降低了信息處理的能力；遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由于采用雙向循環(huán)反饋的結(jié)構(gòu)來實(shí)現(xiàn)記憶功能，網(wǎng)絡(luò)結(jié)構(gòu)較復(fù)雜，對(duì)訓(xùn)練數(shù)據(jù)實(shí)現(xiàn)記憶功能時(shí)，需要等數(shù)據(jù)輸入結(jié)束后，根據(jù)反饋信息來實(shí)現(xiàn)記憶，在信息處理效率較高的應(yīng)用系統(tǒng)中無法使用，尤其是實(shí)時(shí)信息處理系統(tǒng)，經(jīng)常需要用戶等待較長的時(shí)間，降低了用戶體驗(yàn)效果。

本發(fā)明提供的前饋序列記憶神經(jīng)網(wǎng)絡(luò)由于每一個(gè)雙向fsmn層都包含一個(gè)記憶塊，該記憶塊用于存儲(chǔ)每幀輸入數(shù)據(jù)的歷史信息和未來信息，該歷史信息和未來信息能體現(xiàn)數(shù)據(jù)的長時(shí)信息，有效提升神經(jīng)網(wǎng)絡(luò)處理信息數(shù)據(jù)的能力，并且該網(wǎng)絡(luò)結(jié)構(gòu)不需要采用雙向循環(huán)反饋的結(jié)構(gòu)，而是采用記憶塊來實(shí)現(xiàn)記憶功能，從而提高信息處理的效率。為了更好的理解本發(fā)明的技術(shù)方案和技術(shù)效果，以下將結(jié)合流程圖和具體的實(shí)施例進(jìn)行詳細(xì)的描述。

如圖2至圖6所示，是本發(fā)明實(shí)施例提供的前饋序列記憶神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖：

實(shí)施例一

一種前饋序列記憶神經(jīng)網(wǎng)絡(luò)包括至少三層的多個(gè)節(jié)點(diǎn)，第一層為輸入層，最后一層為輸出層，其它位于輸入層和輸出層之間的多個(gè)節(jié)點(diǎn)組成至少一個(gè)隱層，層與層之間的節(jié)點(diǎn)是全連接的，還包括：每一個(gè)隱層都包含一個(gè)記憶塊，隱層與記憶塊共同構(gòu)成雙向前饋序列記憶神經(jīng)網(wǎng)絡(luò)fsmn層，其中，當(dāng)前隱層的記憶塊的輸入為當(dāng)前隱層的輸出，當(dāng)前隱層記憶塊的輸出為下一隱層的一個(gè)輸入，所述記憶塊用于存儲(chǔ)每幀輸入數(shù)據(jù)的歷史信息和未來信息，所述歷史信息為當(dāng)前幀輸入數(shù)據(jù)之前幀的特征序列，所述未來信息為當(dāng)前幀輸入數(shù)據(jù)之后幀的特征序列，如圖2所示。需要說明的是，現(xiàn)有技術(shù)中前饋神經(jīng)網(wǎng)絡(luò)的同一層節(jié)點(diǎn)之間沒有連接，而本發(fā)明提供的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，各fsmn層的隱層都與本層的記憶塊相連接，使得該記憶塊可以存儲(chǔ)每幀輸入數(shù)據(jù)的歷史信息和未來信息。

在實(shí)際應(yīng)用中，雙向fsmn疊層可以由至少一個(gè)雙向fsmn層，如包含2個(gè)或3個(gè)，具體可以根據(jù)實(shí)際應(yīng)用需求設(shè)定，所述記憶塊由多個(gè)節(jié)點(diǎn)構(gòu)成，該記憶塊中存儲(chǔ)的每幀輸入數(shù)據(jù)的歷史信息和未來信息等，具體存儲(chǔ)多少幀歷史信息和未來信息可以根據(jù)實(shí)際應(yīng)用或經(jīng)驗(yàn)值等設(shè)定，一種雙向fsmn層的時(shí)序展開結(jié)構(gòu)如圖3所示，該雙向fsmn層存儲(chǔ)當(dāng)前幀輸入數(shù)據(jù)之前2幀的歷史信息，未存儲(chǔ)未來信息。該示意圖僅為說明本實(shí)施例，不能被解釋為對(duì)本發(fā)明的限定，例如，該雙向fsmn層的記憶塊可以存儲(chǔ)當(dāng)前幀輸入數(shù)據(jù)之前5幀的歷史信息，并存儲(chǔ)當(dāng)前幀輸入數(shù)據(jù)之后5幀的未來信息，在此不再列舉。

實(shí)施例二

一種前饋序列記憶神經(jīng)網(wǎng)絡(luò)，如實(shí)施例一所述，所不同的是，在本實(shí)施例中，為了提升神經(jīng)網(wǎng)絡(luò)處理信息數(shù)據(jù)的能力，所述雙向fsmn疊層替換為雙向lsfsmn疊層，各雙向lsfsmn層由同一層的雙向fsmn層和lstm層共同構(gòu)成，其中，所述lstm層用于記憶歷史信息，所述雙向fsmn層用于記憶未來信息。該神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)輸入數(shù)據(jù)的記憶能力優(yōu)于實(shí)施例一提供的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

一種前饋序列記憶神經(jīng)網(wǎng)絡(luò)包括至少三層的多個(gè)節(jié)點(diǎn)，第一層為輸入層，最后一層為輸出層，其它位于輸入層和輸出層之間的多個(gè)節(jié)點(diǎn)組成至少一個(gè)隱層，層與層之間的節(jié)點(diǎn)是全連接的，每一個(gè)隱層都包含一個(gè)記憶塊，隱層與記憶塊共同構(gòu)成雙向前饋序列記憶神經(jīng)網(wǎng)絡(luò)fsmn層，其中，當(dāng)前隱層的記憶塊的輸入為當(dāng)前隱層的輸出，當(dāng)前隱層記憶塊的輸出為下一層的一個(gè)輸入，所述記憶塊用于存儲(chǔ)當(dāng)前幀輸入數(shù)據(jù)的歷史信息和未來信息，所述歷史信息為當(dāng)前幀輸入數(shù)據(jù)之前幀的特征序列，所述未來信息為當(dāng)前幀輸入數(shù)據(jù)之后幀的特征序列；所述前饋序列記憶神經(jīng)網(wǎng)絡(luò)還包括：各雙向fsmn層都相應(yīng)存在一個(gè)長短時(shí)記憶lstm層，同一層的雙向fsmn層和lstm層共同構(gòu)成雙向長短時(shí)前饋序列記憶神經(jīng)網(wǎng)絡(luò)lsfsmn層，其中，當(dāng)前l(fā)stm層的輸入為輸入層的輸出或上一lstm層、上一隱層以及上一隱層的記憶塊的輸出，當(dāng)前l(fā)stm層的輸出為下一隱層和下一lstm層的一個(gè)輸入，其中，所述lstm 層用于記憶歷史信息，所述雙向fsmn層用于記憶未來信息，所述雙向lsfsmn疊層包括至少一個(gè)雙向lsfsmn層，如圖4所示。

實(shí)施例三

一種前饋序列記憶神經(jīng)網(wǎng)絡(luò)，如實(shí)施例一所述，所不同的是，在本實(shí)施例中，為了提升神經(jīng)網(wǎng)絡(luò)處理信息數(shù)據(jù)的能力，該神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)還包括全連接疊層。該神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的信息處理能力優(yōu)于實(shí)施例一提供的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，且信息處理效率不會(huì)明顯下降。

一種前饋序列記憶神經(jīng)網(wǎng)絡(luò)包括至少三層的多個(gè)節(jié)點(diǎn)，第一層為輸入層，最后一層為輸出層，其它位于輸入層和輸出層之間的多個(gè)節(jié)點(diǎn)組成至少一個(gè)隱層，層與層之間的節(jié)點(diǎn)是全連接的，每一個(gè)隱層都包含一個(gè)記憶塊，隱層與記憶塊共同構(gòu)成雙向前饋序列記憶神經(jīng)網(wǎng)絡(luò)fsmn層，其中，當(dāng)前隱層的記憶塊的輸入為當(dāng)前隱層的輸出，當(dāng)前隱層記憶塊的輸出為下一層的一個(gè)輸入，所述記憶塊用于存儲(chǔ)當(dāng)前幀輸入數(shù)據(jù)的歷史信息和未來信息，所述歷史信息為當(dāng)前幀輸入數(shù)據(jù)之前幀的特征序列，所述未來信息為當(dāng)前幀輸入數(shù)據(jù)之后幀的特征序列；此外，所述前饋序列記憶神經(jīng)網(wǎng)絡(luò)還包括：位于雙向fsmn疊層和所述輸出層之間的全連接疊層，其中，所述全連接疊層的輸入端和所述雙向fsmn疊層的輸出端相連接，所述全連接疊層的輸出端和所述輸出層的輸入端相連接，所述全連接疊層包括至少一個(gè)全連接層，所述雙向fsmn疊層包括至少一個(gè)雙向fsmn層，如圖5所示。

優(yōu)選地，全連接疊層為2至3層，該全連接疊層可以進(jìn)一步提升神經(jīng)網(wǎng)絡(luò)的信息處理能力并且不會(huì)造成效率降低的問題。

實(shí)施例四

一種前饋序列記憶神經(jīng)網(wǎng)絡(luò)，如實(shí)施例一所述，所不同的是，在本實(shí)施例中，為了提升神經(jīng)網(wǎng)絡(luò)處理信息數(shù)據(jù)的能力，所述雙向fsmn疊層替換為雙向lsfsmn疊層，各雙向lsfsmn層由同一層的雙向fsmn層和lstm層共同構(gòu)成，其中，所述lstm層用于記憶歷史信息，所述雙向fsmn 層用于記憶未來信息；此外，該神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)還包括全連接疊層。該神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的信息處理能力最優(yōu)，但是信息處理效率略低于實(shí)施例一至三。

一種前饋序列記憶神經(jīng)網(wǎng)絡(luò)包括至少三層的多個(gè)節(jié)點(diǎn)，第一層為輸入層，最后一層為輸出層，其它位于輸入層和輸出層之間的多個(gè)節(jié)點(diǎn)組成至少一個(gè)隱層，層與層之間的節(jié)點(diǎn)是全連接的，每一個(gè)隱層都包含一個(gè)記憶塊，隱層與記憶塊共同構(gòu)成雙向前饋序列記憶神經(jīng)網(wǎng)絡(luò)fsmn層，其中，當(dāng)前隱層的記憶塊的輸入為當(dāng)前隱層的輸出，當(dāng)前隱層記憶塊的輸出為下一層的一個(gè)輸入，所述記憶塊用于存儲(chǔ)當(dāng)前幀輸入數(shù)據(jù)的歷史信息和未來信息，所述歷史信息為當(dāng)前幀輸入數(shù)據(jù)之前幀的特征序列，所述未來信息為當(dāng)前幀輸入數(shù)據(jù)之后幀的特征序列，各雙向fsmn層都相應(yīng)存在一個(gè)長短時(shí)記憶lstm層，同一層的雙向fsmn層和lstm層共同構(gòu)成雙向長短時(shí)前饋序列記憶神經(jīng)網(wǎng)絡(luò)lsfsmn層，其中，當(dāng)前l(fā)stm層的輸入為輸入層的輸出或上一lstm層、上一隱層以及上一隱層的記憶塊的輸出，當(dāng)前l(fā)stm層的輸出為下一隱層和下一lstm層的一個(gè)輸入，其中，所述lstm層用于記憶歷史信息，所述雙向fsmn層用于記憶未來信息；該神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)還包括位于雙向lsfsmn疊層和所述輸出層之間的全連接疊層，其中，所述全連接層的輸入端和所述雙向lsfsmn疊層的輸出端相連接，所述全連接疊層的輸出端和所述輸出層的輸入端相連接，所述全連接疊層包括至少一個(gè)全連接層，所述雙向lsfsmn疊層包括至少一個(gè)雙向lsfsmn層，如圖6所示。

本發(fā)明實(shí)施例提供的前饋序列記憶神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，在神經(jīng)網(wǎng)絡(luò)的隱層額外增加了一個(gè)記憶塊，該記憶塊用于保存每幀訓(xùn)練數(shù)據(jù)的歷史信息和未來信息，有效提升了神經(jīng)網(wǎng)絡(luò)處理信息數(shù)據(jù)的能力。進(jìn)一步地，所述前饋序列記憶神經(jīng)網(wǎng)絡(luò)還包括lstm疊層，利用記憶塊保存每幀訓(xùn)練數(shù)據(jù)的未來信息，利用lstm保存每幀訓(xùn)練數(shù)據(jù)的歷史信息，進(jìn)一步提升了神經(jīng)網(wǎng)絡(luò)處理信息數(shù)據(jù)的能力。

相應(yīng)地，本發(fā)明還提供了一種前饋序列記憶神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法，該構(gòu)建方法的流程圖如圖7所示，包括：

步驟s01，收集大量訓(xùn)練數(shù)據(jù)，并提取所述訓(xùn)練數(shù)據(jù)的特征序列。

在本實(shí)施例中，所述訓(xùn)練數(shù)據(jù)可以為語音數(shù)據(jù)、文本數(shù)據(jù)、或圖像數(shù)據(jù)等，具體可以根據(jù)應(yīng)用需求確定。

以語音數(shù)據(jù)為例，提取訓(xùn)練數(shù)據(jù)的特征時(shí)，首先需要對(duì)每句語音數(shù)據(jù)進(jìn)行分幀處理，得到語音幀序列；然后提取各語音幀的語音特征，所述語音特征，可以是感知線性預(yù)測(cè)系數(shù)(perceptuallinearpredictive，plp)，它是受人的聽覺系統(tǒng)研究成果推動(dòng)而導(dǎo)出的聲學(xué)特征，當(dāng)然也可以是filterbank特征、梅爾頻率倒譜系數(shù)(melfrequencycepstrumcoefficient，mfcc)、線性預(yù)測(cè)系數(shù)(linearpredictioncoefficient，lpc)等語音特征等。具體提取方法與現(xiàn)有技術(shù)相同。

步驟s02，構(gòu)建前饋序列記憶神經(jīng)網(wǎng)絡(luò)。

在本實(shí)施例中，所述構(gòu)建前饋序列記憶神經(jīng)網(wǎng)絡(luò)可以包括：確定前饋序列記憶神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)；根據(jù)確定的前饋序列記憶神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定所述特征序列的變換方法及相應(yīng)前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)。其中，所述前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)可以包括以下一種或多種：歷史信息權(quán)重、未來信息權(quán)重、當(dāng)前隱層與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前隱層的記憶塊與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)隱層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)lstm層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前隱層與下個(gè)lstm層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前隱層的記憶塊與下個(gè)lstm層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前l(fā)stm層與當(dāng)前l(fā)stm層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前全連接層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前雙向fsmn層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)全連接層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前全連接層與輸出層的連接權(quán)重矩陣及權(quán)重偏置。

在一個(gè)具體實(shí)施例中，前饋序列記憶神經(jīng)網(wǎng)絡(luò)由三部分構(gòu)成，即輸入層、雙向fsmn疊層及輸出層，雙向fsmn疊層至少包括一個(gè)雙向fsmn層；每層包含多個(gè)節(jié)點(diǎn)，如2048個(gè)，雙向fsmn層包含記憶塊，所述記憶塊用來保存每幀訓(xùn)練數(shù)據(jù)的歷史信息和未來信息，記憶的歷史信息和未來信息的幀數(shù)可以根據(jù)實(shí)際應(yīng)用確定，如一條訓(xùn)練數(shù)據(jù)共t幀，第t幀訓(xùn)練數(shù)據(jù)的歷史信息可 以指第t幀之前一幀或多幀訓(xùn)練數(shù)據(jù)，即第1幀到第t-1幀的一幀或多幀訓(xùn)練數(shù)據(jù)，未來信息可以指第t幀之生一幀或多幀訓(xùn)練數(shù)據(jù)，即第t+1到幀到第t幀的一幀或多幀訓(xùn)練數(shù)據(jù)，記憶塊存儲(chǔ)的歷史信息和未來信息的幀數(shù)可以根據(jù)實(shí)際應(yīng)用確定。輸入層為訓(xùn)練數(shù)據(jù)提取的特征序列，輸出層為每幀訓(xùn)練數(shù)據(jù)所屬的數(shù)據(jù)單元，以語音數(shù)據(jù)為例，所述數(shù)據(jù)單元可以為隱馬爾可夫模型的狀態(tài)、音素單元或音節(jié)單元等。

對(duì)于包括雙向fsmn疊層的前饋序列記憶神經(jīng)網(wǎng)絡(luò)，所述根據(jù)確定的前饋序列記憶神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定所述特征序列的變換方法及相應(yīng)前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)包括：

首先，由輸入層輸入所述訓(xùn)練數(shù)據(jù)的特征序列，進(jìn)入所述雙向fsmn疊層，其中，所述聲學(xué)特征序列使用x表示，其中x＝{x1,x2,...,xt,...,xt}，xt表示輸入層輸入的第t幀訓(xùn)練數(shù)據(jù)的特征；

然后，各雙向fsmn層的隱層對(duì)輸入特征序列進(jìn)行特征變換，并由記憶塊保存每幀訓(xùn)練數(shù)據(jù)的歷史信息和未來信息，其中輸入層的輸出特征序列作為雙向fsmn層的輸入特征序列，雙向fsmn層對(duì)輸入特征序列進(jìn)行特征變換，在特征變換的過程中使用記憶塊保存每幀訓(xùn)練數(shù)據(jù)的歷史信息和未來信息。例如訓(xùn)練數(shù)據(jù)的特征序列經(jīng)過第l個(gè)雙向fsmn層，第l個(gè)雙向fsmn層的隱層的輸出特征序列使用表示，表示第l個(gè)隱層的第t幀輸出特征，dl為第l個(gè)隱層的節(jié)點(diǎn)數(shù)目，第l個(gè)隱層的特征序列變換方法與現(xiàn)有技術(shù)相同，在此不再詳述，隱層輸出的每幀特征的歷史信息和未來信息通過記憶塊保存，將隱層的輸出特征序列作為該層記憶塊的輸入特征序列；

接著，利用所述歷史信息權(quán)重和所述未來信息權(quán)重對(duì)訓(xùn)練數(shù)據(jù)的歷史信息和未來信息進(jìn)行融合，獲取每幀訓(xùn)練數(shù)據(jù)的融合特征序列，作為當(dāng)前隱層的記憶塊的輸出特征序列；其中，記憶塊的輸出特征序列使用表示，表示第l個(gè)隱層的記憶塊的第t幀輸出特征，記憶塊保存信息時(shí)，首先將當(dāng)前隱層輸出的特征序列作為該雙向fsmn層的記憶塊的輸入特征序列；然后以幀為單位，將每幀輸入特征的歷史信息和未來信息進(jìn)行融合，得到當(dāng)前幀的融合特征；最后將每幀訓(xùn)練數(shù)據(jù)的歷史信息和未來信息融合后的 特征保存到記憶塊中，作為每幀訓(xùn)練數(shù)據(jù)的融合特征，具體融合方法如式(1)所示：

其中，為在第l個(gè)雙向fsmn層的記憶塊中第t幀特征歷史信息和未來信息的融合特征，作為記憶塊的輸出特征，為在第l個(gè)雙向fsmn層的記憶塊中第t幀特征的第i個(gè)歷史信息，為在第l個(gè)雙向fsmn層的記憶塊中第t幀特征的第j個(gè)未來信息，表示兩個(gè)向量對(duì)應(yīng)維度元素間的乘法操作符，n1、n2分別表示記憶塊的第t幀特征的歷史信息和未來信息記憶的幀數(shù)，具體可以根據(jù)實(shí)際應(yīng)用設(shè)置；歷史信息權(quán)重表示第t幀特征第i個(gè)歷史信息的權(quán)重，a^l為dlxn1的矩陣，將a^l稱為正向權(quán)重；未來信息權(quán)重表示第t幀特征第j個(gè)未來信息的權(quán)重，b^l為dlxn2的矩陣，將b^l稱為反向權(quán)重，所述正向權(quán)重和反向權(quán)重為前饋序列記神經(jīng)網(wǎng)絡(luò)的參數(shù)，可以通過大量數(shù)據(jù)訓(xùn)練得到，通過正向權(quán)重和反向權(quán)重的作用，使得雙向fsmn層可以保存每幀訓(xùn)練數(shù)據(jù)的歷史信息和未來信息；如圖3為n1＝2，n2＝0時(shí)，第l個(gè)雙向fsmn層的時(shí)序展開結(jié)構(gòu)；需要說明的是，現(xiàn)有技術(shù)中可以采用雙向循環(huán)反饋結(jié)構(gòu)來實(shí)現(xiàn)記憶功能，但是需要在一個(gè)輸入信號(hào)的所有幀都處理完成后，才能獲取歷史信息，并且該歷史信息包括最后一幀之前所有幀歷史信息，使得現(xiàn)有雙向循環(huán)反饋結(jié)構(gòu)的信息處理效率較低，尤其不能應(yīng)用在實(shí)時(shí)交互的情景中，例如，用戶必須等系統(tǒng)將一個(gè)輸入信息的所有幀都處理完成后，才能給出輸出結(jié)果，當(dāng)存在較長的輸入信息時(shí)，用戶需要等待的時(shí)間較長；而本發(fā)明提供的記憶塊存儲(chǔ)的每幀輸入信息的歷史信息和未來信息的幀數(shù)可以預(yù)先設(shè)定，例如獲取當(dāng)前幀之前3幀或5幀歷史信息、當(dāng)前幀之后3幀或5幀未來信息等，這樣，不必等一個(gè)輸入信息的所有幀都處理完成后才能獲得每幀輸入信息的歷史信息或未來信息，當(dāng)設(shè)定的歷史信息和/或未來信息的幀數(shù)較少時(shí)，用戶使用過程中甚至感覺不到信息處理過程的耗時(shí)，能夠大大提高信息處理效率，提升客戶使用的滿意度；

然后，利用所述當(dāng)前隱層與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、所述當(dāng)前隱層的記憶塊與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置對(duì)所述當(dāng)前隱層的輸 出特征序列和該隱層記憶塊的輸出特征序列進(jìn)行變換，獲取下一隱層的輸出特征序列；其中，將記憶塊的輸出特征序列與記憶塊所在雙向fsmn層的隱層的輸出特征序列一起作為下一雙向fsmn層的隱層的輸入特征序列，則下一雙向fsmn層的隱層的輸出特征序列為對(duì)輸入特征序列進(jìn)行變換后的特征序列，具體可以通過激活函數(shù)對(duì)輸入特征序列進(jìn)行變換，如將第l個(gè)雙向fsmn層的隱層的輸出特征序列及第l個(gè)雙向fsmn層的記憶塊的輸出特征序列作為第l+1個(gè)雙向fsmn層的隱層的輸入，得到的第l+1個(gè)隱層輸出特征序列的變換方法如式(2)所示：

其中，為第l+1個(gè)雙向fsmn層的隱層輸出的第t幀特征，w^l為第l個(gè)雙向fsmn層的隱層與第l+1個(gè)隱層的連接權(quán)重矩陣，為第l個(gè)雙向fsmn層的記憶塊與第l+1個(gè)雙向fsmn層的隱層的連接權(quán)重矩陣，b^l為權(quán)重偏置，w^l、及b^l為前饋序列記憶神經(jīng)網(wǎng)絡(luò)參數(shù)，具體可根據(jù)大量數(shù)據(jù)訓(xùn)練得到，f為激活函數(shù)，如激活函數(shù)為relu時(shí)，f(x)＝max{0,x}，當(dāng)然也可以為其它激活函數(shù)，本案不作限定。

最終，以最后一個(gè)隱層的輸出和該隱層記憶塊的輸出作為輸出層的輸入，進(jìn)行變換獲取輸出層的輸出結(jié)果；其中，輸出層的預(yù)測(cè)目標(biāo)為每幀訓(xùn)練數(shù)據(jù)所屬的數(shù)據(jù)單元，具體變換方法同現(xiàn)有技術(shù)，激活函數(shù)為softmax函數(shù)。

在另一個(gè)實(shí)施例中，不同于上一個(gè)實(shí)施例，前饋序列記憶神經(jīng)網(wǎng)絡(luò)由四部分構(gòu)成，即輸入層、雙向fsmn疊層、全連接疊層及輸出層，其中雙向fsmn疊層包括至少一個(gè)雙向fsmn層，全連接疊層包括至少一個(gè)全連接層，具體結(jié)構(gòu)參考實(shí)施例三，當(dāng)訓(xùn)練數(shù)據(jù)的特征序列從雙向fsmn層進(jìn)入全連接層時(shí)，利用當(dāng)前雙向fsmn層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置對(duì)當(dāng)前雙向fsmn層的輸出特征進(jìn)行變換，獲取全連接層的輸出特征序列；當(dāng)訓(xùn)練數(shù)據(jù)的特征序列進(jìn)入所述全連接層之后，利用所述當(dāng)前全連接層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置對(duì)當(dāng)前全連接層的輸出特征序列進(jìn)行變換，獲取下一全連接層的輸出特征序列；當(dāng)訓(xùn)練數(shù)據(jù)的特征序列由全連接層進(jìn)入輸出層時(shí)，利用當(dāng)前全連接層與輸出層的連接權(quán)重矩陣及權(quán)重偏置對(duì)當(dāng)前全連接層的 輸出特征進(jìn)行變換，獲取輸出層的輸出特征序列。具體的，特征序列經(jīng)過雙向fsmn疊層進(jìn)入全連接疊層，所述全連接層與雙向fsmn層的區(qū)別在于，全連接層沒有記憶塊，當(dāng)特征序列從雙向fsmn疊層進(jìn)入全連接疊層時(shí)(即最后一個(gè)雙向fsmn層進(jìn)入第一個(gè)全連接層時(shí))，特征序列的變換方法如式(2)所示，當(dāng)特征序列在全連接疊層內(nèi)傳遞時(shí)，特征序列的變換不需要考慮記憶塊。以第m個(gè)全連接層(可以為現(xiàn)有技術(shù)中的隱層)和第m+1個(gè)全連接層為例，特征序列在全連接層之間的變換方法如式(3)所示：

其中，為第m+1個(gè)全連接層(隱層)的輸出特征，為第m個(gè)隱層的輸出特征，作為第m+1個(gè)隱層的輸入特征，w^m為第m個(gè)隱層與第m+1個(gè)隱層之間的連接權(quán)重矩陣，b^m為權(quán)重偏置，w^m和b^m為前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)，f為激活函數(shù)，所述激活函數(shù)與雙向fsmn層的激活函數(shù)相同。最后，特征序列經(jīng)過全連接疊層進(jìn)入輸出層，輸出層的預(yù)測(cè)目標(biāo)為每幀訓(xùn)練數(shù)據(jù)所屬的數(shù)據(jù)單元，具體變換方法如式(3)所示，激活函數(shù)為softmax函數(shù)。

在其它實(shí)施例中，前饋序列記憶神經(jīng)網(wǎng)絡(luò)由四部分構(gòu)成，即輸入層、雙向lsfsmn疊層、全連接疊層及輸出層，其中雙向lsfsmn疊層包括至少一個(gè)雙向lsfsmn層，所述雙向lsfsmn層由雙向fsmn層及l(fā)stm層構(gòu)成，具體結(jié)構(gòu)參考實(shí)施例四，其中，所述lstm(longshorttermmemory)層用來記憶每幀訓(xùn)練數(shù)據(jù)的歷史信息，所述fsmn層用來記憶每幀訓(xùn)練數(shù)據(jù)的未來信息，各lsfsmn層之間進(jìn)行特征序列的變換時(shí)，不僅將當(dāng)前雙向fsmn層的隱層的輸出特征序列、該隱層記憶塊的輸出特征序列及l(fā)stm層的輸出特征序列作為下一個(gè)雙向lsfsmn層的隱層的輸入特征序列，同時(shí)還將當(dāng)前雙向fsmn層的隱層的輸出特征序列、該隱層記憶塊的輸出特征序列及l(fā)stm層的輸出特征序列作為下一個(gè)雙向lsfsmn層的lstm層的輸入特征序列，需要說明的是，lstm層的輸出特征序列同時(shí)可以作為自己的輸入特征序列，當(dāng)特征序列從雙向lsfsmn疊層進(jìn)入到全連接疊層時(shí)，只需要將雙向lsfsmn層的lstm層的輸出特征序列、雙向fsmn層的隱層的輸出特征序列及該隱層記憶塊的輸出特征序列作為第一個(gè)全連接層的輸入特征序列。

在實(shí)際應(yīng)用中，所述根據(jù)確定的前饋序列記憶神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定所述特征序列的變換方法及相應(yīng)前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)包括：

首先，由輸入層輸入所述訓(xùn)練數(shù)據(jù)的特征序列，進(jìn)入雙向lsfsmn疊層；

然后，由lsfsmn層的雙向fsmn層的隱層和lstm層對(duì)輸入特征序列進(jìn)行特征變換，并由lstm層保存每幀訓(xùn)練數(shù)據(jù)的歷史信息，記憶塊保存每幀訓(xùn)練數(shù)據(jù)的未來信息；

接著，利用所述當(dāng)前隱層與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、所述當(dāng)前隱層的記憶塊與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)隱層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)lstm層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與當(dāng)前l(fā)stm層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前隱層與下個(gè)lstm層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前隱層的記憶塊與下個(gè)lstm層的連接權(quán)重矩陣與權(quán)重偏置對(duì)所述當(dāng)前隱層的輸出特征序列、當(dāng)前隱層的記憶塊的輸出特征序列及當(dāng)前l(fā)stm層的輸出特征序列進(jìn)行變換，獲取下一雙向lsfsmn層的隱層和lstm層的輸出特征序列；

然后，當(dāng)訓(xùn)練數(shù)據(jù)的特征序列從雙向lsfsmn層進(jìn)入全連接層時(shí)，利用當(dāng)前雙向fsmn層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)隱層的連接權(quán)重矩陣與權(quán)重偏置，對(duì)當(dāng)前雙向lsfsmn層的輸出特征進(jìn)行變換，獲取全連接層的輸出特征序列；

接著，當(dāng)訓(xùn)練數(shù)據(jù)的特征序列進(jìn)入所述全連接層之后，利用所述當(dāng)前全連接層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置對(duì)當(dāng)前全連接層的輸出特征序列進(jìn)行變換，獲取下一全連接層的輸出特征序列；

最終，當(dāng)訓(xùn)練數(shù)據(jù)的特征序列由全連接層進(jìn)入輸出層時(shí)，利用當(dāng)前全連接層與輸出層的連接權(quán)重矩陣及權(quán)重偏置對(duì)當(dāng)前全連接層的輸出特征進(jìn)行變換，獲取輸出層的輸出特征序列。其中，輸出層的預(yù)測(cè)目標(biāo)為每幀訓(xùn)練數(shù)據(jù)所屬的數(shù)據(jù)單元，具體變換方法如式(3)所示，激活函數(shù)為softmax函數(shù)。

步驟s03，利用所述訓(xùn)練數(shù)據(jù)的特征序列對(duì)構(gòu)建的前饋序列記憶神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)取值。

在本實(shí)施例中，具體訓(xùn)練方法與現(xiàn)有技術(shù)相同，如利用誤差反向傳播算法 (bp)對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，具體可以采用交叉熵準(zhǔn)則對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，提高每幀訓(xùn)練數(shù)據(jù)的分類正確率，當(dāng)訓(xùn)練數(shù)據(jù)較多時(shí)，一般采用固定迭代次數(shù)對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，如固定10次迭代，具體迭代時(shí)，前四次迭代學(xué)習(xí)速率可以不變，從第五次迭代開始，每次學(xué)習(xí)速率減半；當(dāng)訓(xùn)練數(shù)據(jù)較少時(shí)，可以通過計(jì)算分類錯(cuò)誤率來調(diào)整學(xué)習(xí)速率，當(dāng)分類錯(cuò)誤率的變化較小時(shí)，則認(rèn)為網(wǎng)絡(luò)參數(shù)已經(jīng)收斂，停止迭代。

需要說明的是，當(dāng)訓(xùn)練結(jié)束后，得到該神經(jīng)網(wǎng)絡(luò)的各參數(shù)。利用該神經(jīng)網(wǎng)絡(luò)進(jìn)行語音識(shí)別等實(shí)際應(yīng)用中，特征序列的轉(zhuǎn)換過程同建模過程，在此不再詳述，并且在使用中可以繼續(xù)優(yōu)化該神經(jīng)網(wǎng)絡(luò)的各參數(shù)。

在本發(fā)明實(shí)施例中，利用所述訓(xùn)練數(shù)據(jù)的特征序列對(duì)構(gòu)建的前饋序列記憶神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)取值，可以根據(jù)實(shí)際應(yīng)用中對(duì)神經(jīng)網(wǎng)絡(luò)信息處理能力的要求的高低，構(gòu)建不同的前饋序列記憶神經(jīng)網(wǎng)絡(luò)，并針對(duì)不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定前饋序列神經(jīng)網(wǎng)絡(luò)的參數(shù)。例如對(duì)信息處理能力要求高，但是對(duì)速度要求不高的場(chǎng)景中，可以采用實(shí)施例二或四提供的網(wǎng)絡(luò)結(jié)構(gòu)并進(jìn)行訓(xùn)練；而對(duì)信息處理能力要求較高，但是對(duì)速度要求高的場(chǎng)景中，可以采用實(shí)施例一或?qū)嵤├峁┑木W(wǎng)絡(luò)結(jié)構(gòu)并進(jìn)行訓(xùn)練。

此外，本發(fā)明還提供了一種前饋序列記憶神經(jīng)網(wǎng)絡(luò)的其構(gòu)建系統(tǒng)，如圖8所示：

一種前饋序列記憶神經(jīng)網(wǎng)絡(luò)的構(gòu)建系統(tǒng)，包括：

提取模塊901，用于收集大量訓(xùn)練數(shù)據(jù)，并提取所述訓(xùn)練數(shù)據(jù)的特征序列；

構(gòu)建模塊902，用于構(gòu)建前饋序列記憶神經(jīng)網(wǎng)絡(luò)；

訓(xùn)練模塊903，用于利用所述訓(xùn)練數(shù)據(jù)的特征序列對(duì)構(gòu)建的前饋序列記憶神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)取值。

在本實(shí)施例中，所述構(gòu)建模塊902包括：

結(jié)構(gòu)確定單元，用于確定前饋序列記憶神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)；

參數(shù)確定單元，用于根據(jù)確定的前饋序列記憶神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定所述特征序列的變換方法及相應(yīng)前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)。

其中，所述前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)包括以下一種或多種：歷史信息權(quán)重、未來信息權(quán)重、當(dāng)前隱層與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前 隱層的記憶塊與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)隱層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)lstm層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前隱層與下個(gè)lstm層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前隱層的記憶塊與下個(gè)lstm層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前l(fā)stm層與當(dāng)前l(fā)stm層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前全連接層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前雙向fsmn層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)全連接層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前全連接層與輸出層的連接權(quán)重矩陣及權(quán)重偏置。

在實(shí)際應(yīng)用中，對(duì)于包括雙向fsmn疊層的前饋序列記憶神經(jīng)網(wǎng)絡(luò)，所述參數(shù)確定單元包括：

第一輸入子單元，用于由輸入層輸入所述訓(xùn)練數(shù)據(jù)的特征序列，進(jìn)入所述雙向fsmn疊層；

第一變換子單元，用于各雙向fsmn層的隱層對(duì)輸入特征序列進(jìn)行特征變換，并由記憶塊保存每幀訓(xùn)練數(shù)據(jù)的歷史信息和未來信息；

特征融合子單元，用于利用所述歷史信息權(quán)重和所述未來信息權(quán)重對(duì)訓(xùn)練數(shù)據(jù)的歷史信息和未來信息進(jìn)行融合，獲取每幀訓(xùn)練數(shù)據(jù)的融合特征序列，作為當(dāng)前隱層的記憶塊的輸出特征序列；

第二變換子單元，用于利用所述當(dāng)前隱層與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、所述當(dāng)前隱層的記憶塊與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置對(duì)所述當(dāng)前隱層的輸出特征序列和該隱層記憶塊的輸出特征序列進(jìn)行變換，獲取下一隱層的輸出特征序列；

第三變換子單元，用于以最后一個(gè)隱層的輸出和\或該隱層記憶塊的輸出作為輸出層的輸入，進(jìn)行變換獲取輸出層的輸出結(jié)果。

此外，對(duì)于包括雙向lsfsmn疊層的前饋序列記憶神經(jīng)網(wǎng)絡(luò)，所述參數(shù)確定單元包括：

第二輸入子單元，用于由輸入層輸入所述訓(xùn)練數(shù)據(jù)的特征序列，進(jìn)入雙向lsfsmn疊層；

第四變換子單元，用于由lsfsmn層的雙向fsmn層的隱層和lstm層 對(duì)輸入特征序列進(jìn)行特征變換，并由lstm層保存每幀訓(xùn)練數(shù)據(jù)的歷史信息，記憶塊保存每幀訓(xùn)練數(shù)據(jù)的未來信息；

第五變換子單元，用于利用所述當(dāng)前隱層與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、所述當(dāng)前隱層的記憶塊與下個(gè)隱層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)隱層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)lstm層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與當(dāng)前l(fā)stm層的轉(zhuǎn)換矩陣及權(quán)重偏置、當(dāng)前隱層與下個(gè)lstm層的連接權(quán)重矩陣與權(quán)重偏置、當(dāng)前隱層的記憶塊與下個(gè)lstm層的連接權(quán)重矩陣與權(quán)重偏置對(duì)所述當(dāng)前隱層的輸出特征序列、當(dāng)前隱層的記憶塊的輸出特征序列及當(dāng)前l(fā)stm層的輸出特征序列進(jìn)行變換，獲取下一隱層和下一lstm層的輸出特征序列。

第六變換子單元，用于以最后一個(gè)隱層的輸出和\或該隱層記憶塊的輸出及最后一個(gè)lstm層的輸出作為輸出層的輸入，進(jìn)行變換獲取輸出層的輸出結(jié)果。

進(jìn)一步地，對(duì)于包括全連接疊層的前饋序列記憶神經(jīng)網(wǎng)絡(luò)，所述參數(shù)確定單元還包括：

第七變換子單元，用于當(dāng)訓(xùn)練數(shù)據(jù)的特征序列從雙向fsmn層或雙向lsfsmn層進(jìn)入全連接層時(shí)，利用當(dāng)前雙向fsmn層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置或當(dāng)前雙向fsmn層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置、當(dāng)前l(fā)stm層與下個(gè)隱層的連接權(quán)重矩陣與權(quán)重偏置，對(duì)當(dāng)前雙向fsmn層或雙向lsfsmn層的輸出特征進(jìn)行變換，獲取全連接層的輸出特征序列；

第八變換子單元，用于當(dāng)訓(xùn)練數(shù)據(jù)的特征序列進(jìn)入所述全連接層之后，利用所述當(dāng)前全連接層與下個(gè)全連接層的連接權(quán)重矩陣及權(quán)重偏置對(duì)當(dāng)前全連接層的輸出特征序列進(jìn)行變換，獲取下一全連接層的輸出特征序列；

第九變換子單元，用于當(dāng)訓(xùn)練數(shù)據(jù)的特征序列由全連接層進(jìn)入輸出層時(shí)，利用當(dāng)前全連接層與輸出層的連接權(quán)重矩陣及權(quán)重偏置對(duì)當(dāng)前全連接層的輸出特征進(jìn)行變換，獲取輸出層的輸出特征序列。

當(dāng)然，該系統(tǒng)還可以進(jìn)一步包括存儲(chǔ)模塊(未圖示)，用于保存特征序列、及相應(yīng)神經(jīng)網(wǎng)絡(luò)的參數(shù)等信息。這樣，以方便對(duì)待處理信息進(jìn)行計(jì)算機(jī)自動(dòng)處 理，并存儲(chǔ)處理結(jié)果相關(guān)信息等。

本發(fā)明實(shí)施例提供的前饋序列記憶神經(jīng)網(wǎng)絡(luò)的構(gòu)建系統(tǒng)，通過提取模塊901收集大量訓(xùn)練數(shù)據(jù)，并提取所述訓(xùn)練數(shù)據(jù)的特征序列，然后利用構(gòu)建模塊902構(gòu)建前饋序列記憶神經(jīng)網(wǎng)絡(luò)，其中，前饋序列記憶神經(jīng)網(wǎng)絡(luò)針對(duì)不同的應(yīng)用場(chǎng)景可以采用不同的前饋序列記憶神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，最終，通過訓(xùn)練模塊903利用所述訓(xùn)練數(shù)據(jù)的特征序列對(duì)構(gòu)建的前饋序列記憶神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到前饋序列記憶神經(jīng)網(wǎng)絡(luò)的參數(shù)取值。使得本發(fā)明提供的構(gòu)建系統(tǒng)可以根據(jù)實(shí)際應(yīng)用中對(duì)神經(jīng)網(wǎng)絡(luò)信息處理能力的要求等，構(gòu)建不同的前饋序列記憶神經(jīng)網(wǎng)絡(luò)，并針對(duì)不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)確定前饋序列神經(jīng)網(wǎng)絡(luò)的參數(shù)，以滿足用戶的需求。

本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，各個(gè)實(shí)施例之間相同相似的部分互相參見即可，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處。尤其，對(duì)于系統(tǒng)實(shí)施例而言，由于其基本相似于方法實(shí)施例，所以描述得比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。以上所描述的系統(tǒng)實(shí)施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性勞動(dòng)的情況下，即可以理解并實(shí)施。

以上對(duì)本發(fā)明實(shí)施例進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體實(shí)施方式對(duì)本發(fā)明進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及設(shè)備；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。