神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和設(shè)備以及識(shí)別方法和設(shè)備的制造方法【專利摘要】本發(fā)明提供一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和設(shè)備以及識(shí)別方法和設(shè)備。所述神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備接收數(shù)據(jù)并基于通過從包括在神經(jīng)網(wǎng)絡(luò)中的多個(gè)隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)所獲得的剩余隱藏節(jié)點(diǎn)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，參考隱藏節(jié)點(diǎn)將之前時(shí)間間隔中的值保持到之后時(shí)間間隔?！緦＠f明】神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和設(shè)備以及識(shí)別方法和設(shè)備[0001]本申請(qǐng)要求于2015年2月23日提交到韓國(guó)知識(shí)產(chǎn)權(quán)局的第10-2015-0025077號(hào)韓國(guó)專利申請(qǐng)的權(quán)益，針對(duì)所有目的，該韓國(guó)專利申請(qǐng)的全部公開通過引用合并于此。
技術(shù)領(lǐng)域：
[0002]以下描述涉及一種神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法和設(shè)備。以下描述還涉及一種識(shí)別方法和設(shè)備?！?br>背景技術(shù)：
】[0003]近來，正在積極地進(jìn)行將人的模式識(shí)別方法應(yīng)用到實(shí)際的計(jì)算機(jī)以解決將輸入模式分類為預(yù)定組的問題的研究。作為一個(gè)示例，正在通過基于數(shù)學(xué)表達(dá)式對(duì)人的生物神經(jīng)細(xì)胞的特征進(jìn)行建模來進(jìn)行關(guān)于人工神經(jīng)網(wǎng)絡(luò)的研究。為了執(zhí)行上述建模，人工神經(jīng)網(wǎng)絡(luò)可使用模擬人的學(xué)習(xí)能力的算法。基于學(xué)習(xí)算法，人工神經(jīng)網(wǎng)絡(luò)可產(chǎn)生輸入模式與輸出模式之間的映射，產(chǎn)生映射還可被表示為人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力。此外，響應(yīng)于在之前的學(xué)習(xí)處理中未使用的新的輸入模式，人工神經(jīng)網(wǎng)絡(luò)可具有泛化能力，以基于學(xué)習(xí)結(jié)果輸出相對(duì)準(zhǔn)確的輸出?！?br/>發(fā)明內(nèi)容】[0004]提供本【
發(fā)明內(nèi)容】來以簡(jiǎn)化的形式介紹對(duì)在下面的【具體實(shí)施方式】中進(jìn)一步描述的構(gòu)思的選擇。本【
發(fā)明內(nèi)容】不意在標(biāo)識(shí)所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不意在用來幫助確定所要求保護(hù)的主題的范圍。[0005]在一個(gè)總體方面，一種使用學(xué)習(xí)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法包括：從神經(jīng)網(wǎng)絡(luò)中的多個(gè)隱藏節(jié)點(diǎn)選擇參考隱藏節(jié)點(diǎn)；基于通過從所述多個(gè)隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)所獲得的剩余隱藏節(jié)點(diǎn)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，參考隱藏節(jié)點(diǎn)將之前時(shí)間間隔中的值保持到之后時(shí)間間隔。[0006]選擇步驟可包括：針對(duì)每個(gè)時(shí)間間隔從所述多個(gè)隱藏節(jié)點(diǎn)隨機(jī)選擇參考隱藏節(jié)點(diǎn)。[0007]參考隱藏節(jié)點(diǎn)可將在之前時(shí)間間隔中的相應(yīng)參考隱藏節(jié)點(diǎn)中包括的長(zhǎng)期記憶值保持到之后時(shí)間間隔。[0008]參考隱藏節(jié)點(diǎn)可阻止從包括相應(yīng)參考隱藏節(jié)點(diǎn)的隱藏層的下層輸入的值。[0009]參考隱藏節(jié)點(diǎn)可阻止輸出到包括相應(yīng)參考隱藏節(jié)點(diǎn)的隱藏層的上層的值。[0010]剩余隱藏節(jié)點(diǎn)可連接到其它時(shí)間間隔的隱藏節(jié)點(diǎn)，其中，所述其它時(shí)間間隔包括之前時(shí)間間隔和之后時(shí)間間隔。[0011]學(xué)習(xí)數(shù)據(jù)可包括：包括語(yǔ)音數(shù)據(jù)、圖像數(shù)據(jù)、生物數(shù)據(jù)和手寫數(shù)據(jù)中的至少一個(gè)的序列數(shù)據(jù)。[0012]訓(xùn)練步驟可包括：基于訓(xùn)練結(jié)果更新包括在神經(jīng)網(wǎng)絡(luò)中的連接權(quán)重。[0013]所述神經(jīng)網(wǎng)絡(luò)可以是包括多個(gè)隱藏層的遞歸神經(jīng)網(wǎng)絡(luò)。[0014]在另一總體方面，一種識(shí)別方法包括：接收序列數(shù)據(jù)；使用包括多個(gè)隱藏節(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)識(shí)別序列數(shù)據(jù)，其中，所述多個(gè)隱藏節(jié)點(diǎn)包括當(dāng)前時(shí)間間隔之前的時(shí)間間隔中的相應(yīng)隱藏節(jié)點(diǎn)的值以及基于所述相應(yīng)隱藏節(jié)點(diǎn)的值將被傳送到當(dāng)前時(shí)間間隔的概率計(jì)算的值，其中，神經(jīng)網(wǎng)絡(luò)基于通過從所述多個(gè)隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)所獲得的剩余隱藏節(jié)點(diǎn)被訓(xùn)練。[0015]在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，可針對(duì)每個(gè)時(shí)間間隔從所述多個(gè)隱藏節(jié)點(diǎn)隨機(jī)選擇參考隱藏節(jié)點(diǎn)。[0016]在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，參考隱藏節(jié)點(diǎn)可將之前時(shí)間間隔中的值保持到之后時(shí)間間隔。[0017]在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，剩余隱藏節(jié)點(diǎn)可連接到其它時(shí)間間隔的隱藏節(jié)點(diǎn)。[0018]在另一總體方面，一種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括程序，所述程序包括指令以使計(jì)算機(jī)執(zhí)行以上提出的第一方法。[0019]在另一總體方面，一種用于使用學(xué)習(xí)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的設(shè)備，所述設(shè)備包括：接收器，被配置為接收學(xué)習(xí)數(shù)據(jù)；訓(xùn)練器，被配置為基于通過從包括在神經(jīng)網(wǎng)絡(luò)中的多個(gè)隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)所獲得的剩余隱藏節(jié)點(diǎn)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，參考隱藏節(jié)點(diǎn)將之前時(shí)間間隔中的值保持到之后時(shí)間間隔。[0020]可針對(duì)每個(gè)時(shí)間間隔從所述多個(gè)隱藏節(jié)點(diǎn)隨機(jī)選擇并排除參考隱藏節(jié)點(diǎn)。[0021]參考隱藏節(jié)點(diǎn)可保持在之前時(shí)間間隔中的相應(yīng)參考隱藏節(jié)點(diǎn)中包括的長(zhǎng)期記憶值。[0022]參考隱藏節(jié)點(diǎn)可阻止從包括相應(yīng)參考隱藏節(jié)點(diǎn)的隱藏層的下層輸入的值。[0023]參考隱藏節(jié)點(diǎn)可阻止輸出到包括相應(yīng)參考隱藏節(jié)點(diǎn)的隱藏層的上層的值。[0024]在另一總體方面，一種識(shí)別設(shè)備包括：接收器，被配置為接收序列數(shù)據(jù)；識(shí)別器，被配置為使用包括多個(gè)隱藏節(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)識(shí)別序列數(shù)據(jù)，其中，所述多個(gè)隱藏節(jié)點(diǎn)包括當(dāng)前時(shí)間間隔之前的時(shí)間間隔中的相應(yīng)隱藏節(jié)點(diǎn)的值以及基于所述相應(yīng)隱藏節(jié)點(diǎn)的值將被傳送到當(dāng)前時(shí)間間隔的概率計(jì)算的值，其中，神經(jīng)網(wǎng)絡(luò)基于通過從所述多個(gè)隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)所獲得的剩余隱藏節(jié)點(diǎn)被訓(xùn)練。[0025]在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，可針對(duì)每個(gè)時(shí)間間隔從所述多個(gè)隱藏節(jié)點(diǎn)隨機(jī)選擇參考隱藏節(jié)點(diǎn)。[0026]在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，參考隱藏節(jié)點(diǎn)可將之前時(shí)間間隔中的值保持到之后時(shí)間間隔。[0027]在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，剩余隱藏節(jié)點(diǎn)可連接到其它時(shí)間間隔的隱藏節(jié)點(diǎn)。[0028]在另一總體方面，一種使用學(xué)習(xí)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法包括：基于通過從多個(gè)隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)所獲得的剩余隱藏節(jié)點(diǎn)在第一時(shí)間間隔中訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，從神經(jīng)網(wǎng)絡(luò)中的多個(gè)隱藏節(jié)點(diǎn)選擇參考隱藏節(jié)點(diǎn)；在之后時(shí)間間隔中訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，參考隱藏節(jié)點(diǎn)將之前時(shí)間間隔中的值保持到之后時(shí)間間隔。[0029]在第一時(shí)間間隔中訓(xùn)練神經(jīng)網(wǎng)絡(luò)的步驟可包括：針對(duì)每個(gè)時(shí)間間隔從所述多個(gè)隱藏節(jié)點(diǎn)隨機(jī)選擇參考隱藏節(jié)點(diǎn)。[0030]參考隱藏節(jié)點(diǎn)可將在之前時(shí)間間隔中的相應(yīng)參考隱藏節(jié)點(diǎn)中包括的長(zhǎng)期記憶值保持到之后時(shí)間間隔。[0031]參考隱藏節(jié)點(diǎn)可阻止從包括相應(yīng)參考隱藏節(jié)點(diǎn)的隱藏層的下層輸入的值。[0032]參考隱藏節(jié)點(diǎn)可阻止輸出到包括相應(yīng)參考隱藏節(jié)點(diǎn)的隱藏層的上層的值。[0033]剩余隱藏節(jié)點(diǎn)可連接到包括之前時(shí)間間隔和之后時(shí)間間隔的其它時(shí)間間隔的隱藏節(jié)點(diǎn)。[0034]訓(xùn)練步驟可包括：基于訓(xùn)練結(jié)果更新包括在神經(jīng)網(wǎng)絡(luò)中的連接權(quán)重。[0035]從以下【具體實(shí)施方式】、附圖和權(quán)利要求，其它特征和方面將是清楚的?！靖綀D說明】[0036]圖1示出神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備的示例。[0037]圖2示出訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程的示例。[0038]圖3示出訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程的另一示例。[0039]圖4示出更新包括在隱藏層中的隱藏節(jié)點(diǎn)的值的過程以及基于該過程的學(xué)習(xí)算法的示例。[0040]圖5示出識(shí)別設(shè)備的示例。[0041]圖6示出在基于預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)執(zhí)行的識(shí)別期間確定隱藏節(jié)點(diǎn)的值的過程的示例。[0042]圖7示出神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的示例。[0043]圖8示出識(shí)別方法的示例。[0044]貫穿附圖和【具體實(shí)施方式】，相同的參考標(biāo)號(hào)表示相同的元件。附圖可不必成比例，并且為了清楚、說明和方便起見，可夸大附圖中元件的相對(duì)尺寸、比例和繪示?！揪唧w實(shí)施方式】[0045]提供以下詳細(xì)描述來幫助讀者獲得對(duì)在此描述的方法、設(shè)備和/或系統(tǒng)的全面理解。然而，在此描述的方法、設(shè)備和/或系統(tǒng)的各種改變、修改及等同物對(duì)本領(lǐng)域的普通技術(shù)人員而言將是清楚的。在此描述的操作的順序僅是示例，并不限于在此闡述的順序，而是除了必需按特定順序發(fā)生的操作之外，在此描述的操作的順序可如本領(lǐng)域普通技術(shù)人員將清楚的那樣改變。此外，為了更加清楚和簡(jiǎn)明，可省略對(duì)本領(lǐng)域的普通技術(shù)人員公知的功能和構(gòu)造的描述。[0046]在此描述的特征可以以不同的形式來實(shí)現(xiàn)，并且不應(yīng)被解釋為限于在此描述的示例。相反地，提供在此描述的示例，使得本公開將是全面而完整的，并且在此描述的示例將向本領(lǐng)域的普通技術(shù)人員傳達(dá)本公開的全部范圍。[0047]圖1示出神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備100。[0048]神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備100訓(xùn)練神經(jīng)網(wǎng)絡(luò)，例如，人工神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是，例如，使用通過使用經(jīng)由適當(dāng)?shù)倪B接線連接的許多人工神經(jīng)元來模擬生物系統(tǒng)的計(jì)算能力的硬件和/或軟件所實(shí)施的識(shí)別模型。[0049]在以上提及的神經(jīng)網(wǎng)絡(luò)中，神經(jīng)元潛在地是具有對(duì)生物神經(jīng)元的功能進(jìn)行建模的簡(jiǎn)化功能的人工神經(jīng)元。在這樣的示例中，人工神經(jīng)元潛在地通過具有連接權(quán)重的連接線互相連接。這里，連接權(quán)重是連接線的預(yù)定值并還被稱為，例如，連接強(qiáng)度。神經(jīng)網(wǎng)絡(luò)使用人工神經(jīng)元來執(zhí)行人的認(rèn)知功能或?qū)W習(xí)處理。人工神經(jīng)元還被稱為，例如，作為神經(jīng)網(wǎng)絡(luò)的單位元件的節(jié)點(diǎn)。[0050]在一個(gè)示例中，神經(jīng)網(wǎng)絡(luò)包括多個(gè)層。例如，神經(jīng)網(wǎng)絡(luò)包括：輸入層、隱藏層和輸出層。輸入層接收輸入以執(zhí)行學(xué)習(xí)，并將接收的輸入傳送到隱藏層。輸出層基于從隱藏層的節(jié)點(diǎn)接收的信號(hào)產(chǎn)生神經(jīng)網(wǎng)絡(luò)的輸出。隱藏層位于輸入層與輸出層之間，并將通過輸入層傳送的學(xué)習(xí)數(shù)據(jù)改變?yōu)槿菀最A(yù)測(cè)的值。例如，包括在輸入層中的節(jié)點(diǎn)與包括在隱藏層中的節(jié)點(diǎn)通過具有連接權(quán)重的連接線互相連接，包括在隱藏層中的節(jié)點(diǎn)與包括在輸出層中的節(jié)點(diǎn)通過具有連接權(quán)重的連接線互相連接。在這樣的示例中，輸入層、隱藏層和輸出層中的每個(gè)包括多個(gè)節(jié)點(diǎn)。[0051]在一個(gè)示例中，神經(jīng)網(wǎng)絡(luò)包括多個(gè)隱藏層。包括多個(gè)隱藏層的這樣的神經(jīng)網(wǎng)絡(luò)還被稱為，例如，深度神經(jīng)網(wǎng)絡(luò)。這樣的深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練還被稱為，例如，深度學(xué)習(xí)。包括在隱藏層中的節(jié)點(diǎn)還被稱為，例如，隱藏節(jié)點(diǎn)。此外，在一個(gè)示例中，之前時(shí)間間隔中的隱藏節(jié)點(diǎn)的輸出連接到當(dāng)前時(shí)間間隔的隱藏節(jié)點(diǎn)。此外，在一個(gè)示例中，當(dāng)前時(shí)間間隔中的隱藏節(jié)點(diǎn)的輸出連接到之后時(shí)間間隔的隱藏節(jié)點(diǎn)。這樣的連接允許節(jié)點(diǎn)互相交互并允許在整個(gè)網(wǎng)絡(luò)傳播節(jié)點(diǎn)之間的關(guān)系。具有包括在不同時(shí)間間隔中并互相遞歸連接的隱藏節(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)還被稱為，例如，遞歸神經(jīng)網(wǎng)絡(luò)。[0052]神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備100通過監(jiān)督學(xué)習(xí)處理來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。監(jiān)督學(xué)習(xí)處理是例如這樣的方法：將學(xué)習(xí)數(shù)據(jù)和與學(xué)習(xí)數(shù)據(jù)相應(yīng)的輸出數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)并更新連接線的連接權(quán)重，以輸出適當(dāng)和/或期望的與學(xué)習(xí)數(shù)據(jù)相應(yīng)的輸出數(shù)據(jù)。這里，在一個(gè)示例中，學(xué)習(xí)數(shù)據(jù)是指：神經(jīng)網(wǎng)絡(luò)能夠用作用于得到將使神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)正確模式識(shí)別的適當(dāng)權(quán)重和連接的基礎(chǔ)的一組訓(xùn)練數(shù)據(jù)。例如，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備100基于反向傳播學(xué)習(xí)技術(shù)和適當(dāng)?shù)牡聽査?guī)則來更新人工神經(jīng)元之間的連接權(quán)重。[0053]例如，反向傳播學(xué)習(xí)技術(shù)是這樣的方法：通過正演計(jì)算處理來估計(jì)學(xué)習(xí)數(shù)據(jù)的誤差，并沿從神經(jīng)元的輸出層開始向神經(jīng)元的隱藏層和神經(jīng)元的輸入層的反方向傳播估計(jì)的誤差，從而調(diào)整涉及到減小誤差的神經(jīng)元之間的連接權(quán)重。當(dāng)按照輸入層、隱藏層和輸出層的順序分類數(shù)據(jù)時(shí)神經(jīng)網(wǎng)絡(luò)被處理。在反向傳播學(xué)習(xí)中，按照輸出層、隱藏層和輸入層的順序沿反方向更新連接權(quán)重。[0054]參照?qǐng)D1，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備100包括：接收器110和訓(xùn)練器120。在一個(gè)示例中，使用硬件模塊實(shí)施神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備1〇〇。例如，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備1〇〇包括在各種類型的計(jì)算裝置和/或系統(tǒng)中，例如，智能電話、平板計(jì)算機(jī)、膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、電視機(jī)、可穿戴裝置、安全系統(tǒng)和智能家居系統(tǒng)。然而，這些僅是計(jì)算裝置的示例，并不意在作為限制。[0055]在圖1的示例中，接收器110接收學(xué)習(xí)數(shù)據(jù)。例如，學(xué)習(xí)數(shù)據(jù)包括：包括語(yǔ)音數(shù)據(jù)、圖像數(shù)據(jù)、生物數(shù)據(jù)和手寫數(shù)據(jù)中的至少一個(gè)的序列數(shù)據(jù)。即，學(xué)習(xí)數(shù)據(jù)包括用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)以更好地識(shí)別之后示例的一序列的示例。[0056]在圖1的示例中，訓(xùn)練器120從學(xué)習(xí)數(shù)據(jù)提取特征值。例如，訓(xùn)練器120從語(yǔ)音數(shù)據(jù)提取隨時(shí)間變化的相對(duì)變化，并基于提取的特征值訓(xùn)練神經(jīng)網(wǎng)絡(luò)。因此，語(yǔ)音數(shù)據(jù)基于預(yù)定時(shí)間單位被劃分，劃分的結(jié)果被輸入到神經(jīng)網(wǎng)絡(luò)作為學(xué)習(xí)數(shù)據(jù)。通過以這樣的方式處理語(yǔ)音數(shù)據(jù)，可將學(xué)習(xí)數(shù)據(jù)用作用于處理將來數(shù)據(jù)的基礎(chǔ)。[0057]在這樣的示例中，訓(xùn)練器120基于通過從包括在神經(jīng)網(wǎng)絡(luò)中的多個(gè)隱藏節(jié)點(diǎn)排除至少一個(gè)參考隱藏節(jié)點(diǎn)而獲得的剩余隱藏節(jié)點(diǎn)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。因此，剩余隱藏節(jié)點(diǎn)、輸入層的節(jié)點(diǎn)和輸出層的節(jié)點(diǎn)都包括在一個(gè)學(xué)習(xí)模式中。神經(jīng)網(wǎng)絡(luò)是例如具有包括在不同時(shí)間間隔中并互相連接的隱藏節(jié)點(diǎn)的遞歸神經(jīng)網(wǎng)絡(luò)，并且還包括多個(gè)隱藏層。在這樣的示例中，在連續(xù)的時(shí)間間隔中，隱藏節(jié)點(diǎn)的輸出值被輸入到之后時(shí)間間隔中的隱藏層。[0058]在圖1的示例中，訓(xùn)練器120從多個(gè)隱藏節(jié)點(diǎn)隨機(jī)選擇至少一個(gè)參考隱藏節(jié)點(diǎn)。當(dāng)輸入相同的學(xué)習(xí)數(shù)據(jù)時(shí)，訓(xùn)練器120針對(duì)每個(gè)時(shí)間間隔隨機(jī)選擇至少一個(gè)參考隱藏節(jié)點(diǎn)。因此，通過使用這樣的方法，訓(xùn)練器120基于針對(duì)每個(gè)時(shí)間間隔的不同學(xué)習(xí)模式來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。[0059]參考隱藏節(jié)點(diǎn)是指，例如，從訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理排除的隱藏節(jié)點(diǎn)。參考隱藏節(jié)點(diǎn)與上層的節(jié)點(diǎn)之間的連接被忽略，例如，通過在訓(xùn)練處理期間不考慮這樣的連接。例如，當(dāng)訓(xùn)練時(shí)，參考隱藏節(jié)點(diǎn)阻止輸出到上層的值。在此示例中，上層意在指示：沿網(wǎng)絡(luò)的最后輸出的方向，相對(duì)于包括相應(yīng)參考隱藏節(jié)點(diǎn)的隱藏層來說，在節(jié)點(diǎn)分層中設(shè)置得更高的另一隱藏層或輸出層。因此，當(dāng)在訓(xùn)練中考慮參考隱藏節(jié)點(diǎn)與上層的節(jié)點(diǎn)之間的連接時(shí)，參考隱藏節(jié)點(diǎn)的輸出不被輸入到上層的節(jié)點(diǎn)，或者參考隱藏節(jié)點(diǎn)將"〇"值或另一適當(dāng)?shù)目罩递敵龅缴蠈拥墓?jié)點(diǎn)。[0060]因此，如以上討論，在學(xué)習(xí)處理期間，當(dāng)前時(shí)間間隔的參考隱藏節(jié)點(diǎn)與不同于當(dāng)前時(shí)間間隔的時(shí)間間隔的隱藏節(jié)點(diǎn)之間的連接被忽略。然而，在此示例中，仍可潛在地保持參考隱藏節(jié)點(diǎn)與和不同于當(dāng)前時(shí)間間隔的時(shí)間間隔中的參考隱藏節(jié)點(diǎn)相應(yīng)的隱藏節(jié)點(diǎn)之間的連接。以下，還意圖使用術(shù)語(yǔ)"自相應(yīng)隱藏節(jié)點(diǎn)"來指示與不同于當(dāng)前時(shí)間間隔的時(shí)間間隔中的參考隱藏節(jié)點(diǎn)相應(yīng)的隱藏節(jié)點(diǎn)。因此，參考隱藏節(jié)點(diǎn)將之前時(shí)間間隔中的自相應(yīng)隱藏節(jié)點(diǎn)的值傳送到之后時(shí)間間隔中的對(duì)應(yīng)的自相應(yīng)隱藏節(jié)點(diǎn)。例如，參考隱藏節(jié)點(diǎn)與另一時(shí)間間隔中的自相應(yīng)隱藏節(jié)點(diǎn)之間的連接權(quán)重可以是"1"。由于參考隱藏節(jié)點(diǎn)被隨機(jī)選擇并且還從每個(gè)時(shí)間間隔被排除，因此在各個(gè)示例中，在其它時(shí)間間隔中的自相應(yīng)隱藏節(jié)點(diǎn)被適當(dāng)?shù)剡x擇為相應(yīng)時(shí)間間隔的參考隱藏節(jié)點(diǎn)或不被選擇為相應(yīng)時(shí)間間隔的參考隱藏節(jié)點(diǎn)。[0061]在這樣的示例中，通過從多個(gè)隱藏節(jié)點(diǎn)排除至少一個(gè)參考隱藏節(jié)點(diǎn)所獲得的剩余隱藏節(jié)點(diǎn)連接到其它時(shí)間間隔的隱藏節(jié)點(diǎn)。[0062]當(dāng)基于一組學(xué)習(xí)數(shù)據(jù)執(zhí)行的訓(xùn)練結(jié)束時(shí)，如果需要，則訓(xùn)練器120可選擇地基于另一組學(xué)習(xí)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。[0063]因此，訓(xùn)練器120考慮基于學(xué)習(xí)數(shù)據(jù)執(zhí)行的訓(xùn)練的結(jié)果，更新應(yīng)用于神經(jīng)網(wǎng)絡(luò)的連接權(quán)重。訓(xùn)練器120通過將從神經(jīng)網(wǎng)絡(luò)的輸出層輸出的輸出值與期望基于學(xué)習(xí)數(shù)據(jù)獲得的期望值進(jìn)行比較來計(jì)算誤差。因此，訓(xùn)練器120調(diào)整應(yīng)用于神經(jīng)網(wǎng)絡(luò)的連接權(quán)重以減小計(jì)算的誤差。訓(xùn)練器120基于針對(duì)訓(xùn)練處理指定的預(yù)設(shè)學(xué)習(xí)次數(shù)，控制神經(jīng)網(wǎng)絡(luò)重復(fù)學(xué)習(xí)包括在學(xué)習(xí)數(shù)據(jù)的組中的所有序列數(shù)據(jù)。[0064]圖2示出訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程的示例。[0065]圖2示出與針對(duì)每個(gè)時(shí)間戳的預(yù)定神經(jīng)網(wǎng)絡(luò)相應(yīng)的學(xué)習(xí)模式240、250和260。在圖2中，呈現(xiàn)特定連接線以指定神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法。為了更加便于描述和簡(jiǎn)明，基于包括在當(dāng)前時(shí)間間隔T的學(xué)習(xí)模式250中的參考隱藏節(jié)點(diǎn)252和256提供以下描述。在圖2的示例中，從學(xué)習(xí)模式排除的參考隱藏節(jié)點(diǎn)由實(shí)心圓指示。[0066]在圖2的示例中，學(xué)習(xí)模式240是之前時(shí)間間隔T-1的學(xué)習(xí)模式，學(xué)習(xí)模式250是當(dāng)前時(shí)間間隔T的學(xué)習(xí)模式，學(xué)習(xí)模式260是之后時(shí)間間隔T+1的學(xué)習(xí)模式。與之前時(shí)間間隔T-1、當(dāng)前時(shí)間間隔T和之后時(shí)間間隔T+1相應(yīng)的各個(gè)學(xué)習(xí)模式240、250和260被用于學(xué)習(xí)處理。[0067]在圖2的示例中，神經(jīng)網(wǎng)絡(luò)包括輸入層210、隱藏層220和輸出層230。在此示例中，輸入層210是序列數(shù)據(jù)作為學(xué)習(xí)數(shù)據(jù)被輸入到的底層。隱藏層220是設(shè)置在輸入層210與輸出層230之間的中間層。輸出層230是呈現(xiàn)輸入到輸入層210的序列數(shù)據(jù)的輸出值的頂層。例如，輸入層210、隱藏層220和輸出層230中的每個(gè)包括多個(gè)節(jié)點(diǎn)。包括在隱藏層220中的節(jié)點(diǎn)還被稱為，例如，隱藏節(jié)點(diǎn)。[0068]按照流經(jīng)神經(jīng)網(wǎng)絡(luò)的信息，神經(jīng)網(wǎng)絡(luò)沿經(jīng)過輸入層210、隱藏層220和輸出層230的方向被連接。當(dāng)學(xué)習(xí)數(shù)據(jù)被輸入到輸入層210的節(jié)點(diǎn)時(shí)，學(xué)習(xí)數(shù)據(jù)通過在輸入層210的節(jié)點(diǎn)中執(zhí)行的變換被傳送到隱藏節(jié)點(diǎn)，從而在輸出層230中產(chǎn)生輸出值。為了更加清楚和簡(jiǎn)明，圖2示出一個(gè)隱藏層（例如，隱藏層220)。然而，示例不限于此，因?yàn)樯窠?jīng)網(wǎng)絡(luò)潛在地包括多個(gè)隱藏層，而非僅單個(gè)隱藏層。[0069]神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備將序列數(shù)據(jù)輸入到神經(jīng)網(wǎng)絡(luò)的輸入層210,并訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使得序列數(shù)據(jù)的適當(dāng)?shù)姆诸惤Y(jié)果從神經(jīng)網(wǎng)絡(luò)的輸出層230輸出。由神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備訓(xùn)練的神經(jīng)網(wǎng)絡(luò)是，例如，不同時(shí)間間隔的隱藏節(jié)點(diǎn)通常彼此連接以提供最穩(wěn)健的分類性能的遞歸神經(jīng)網(wǎng)絡(luò)。當(dāng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，包括在隱藏層中的隱藏節(jié)點(diǎn)連接到之后時(shí)間間隔的隱藏節(jié)點(diǎn)。例如，當(dāng)前時(shí)間間隔T的隱藏節(jié)點(diǎn)的輸出值被輸入到之后時(shí)間間隔T+1的隱藏節(jié)點(diǎn)。[0070]例如，在學(xué)習(xí)序列數(shù)據(jù)的處理中，由神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備基于多個(gè)隱藏節(jié)點(diǎn)被部分忽略的學(xué)習(xí)模式訓(xùn)練神經(jīng)網(wǎng)絡(luò)。在這樣的示例中，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備從隱藏節(jié)點(diǎn)隨機(jī)選擇將被排除或忽略的參考隱藏節(jié)點(diǎn)。[0071]作為一個(gè)示例，當(dāng)輸入一項(xiàng)序列數(shù)據(jù)時(shí)，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備在每個(gè)時(shí)間間隔從隱藏節(jié)點(diǎn)選擇參考隱藏節(jié)點(diǎn)。一旦被選擇，選擇的參考隱藏節(jié)點(diǎn)從基于這一項(xiàng)序列數(shù)據(jù)執(zhí)行的全部過程被排除。由于選擇的參考隱藏節(jié)點(diǎn)從學(xué)習(xí)處理中的所有時(shí)間間隔被排除，所以需要除選擇的數(shù)據(jù)之外的額外項(xiàng)序列數(shù)據(jù)，從而呈現(xiàn)剩余數(shù)據(jù)，以使選擇的參考隱藏節(jié)點(diǎn)被訓(xùn)練。因此，足以訓(xùn)練所有隱藏節(jié)點(diǎn)的時(shí)間量由于對(duì)額外訓(xùn)練數(shù)據(jù)的需求而潛在地增加。[0072]作為另一示例，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備針對(duì)每個(gè)時(shí)間間隔從多個(gè)隱藏節(jié)點(diǎn)隨機(jī)選擇參考隱藏節(jié)點(diǎn)。由于針對(duì)每個(gè)時(shí)間間隔隨機(jī)選擇將從學(xué)習(xí)處理排除的參考隱藏節(jié)點(diǎn)，因此在之前時(shí)間間隔中被選擇為參考隱藏節(jié)點(diǎn)并從學(xué)習(xí)處理排除的隱藏節(jié)點(diǎn)在當(dāng)前時(shí)間間隔中潛在地不被選擇為參考隱藏節(jié)點(diǎn)，從而在當(dāng)前時(shí)間間隔中參與學(xué)習(xí)處理。通過每次使用一項(xiàng)序列數(shù)據(jù)，許多隱藏節(jié)點(diǎn)以這種方式被訓(xùn)練。當(dāng)在之前時(shí)間間隔中被選擇為參考隱藏節(jié)點(diǎn)并從學(xué)習(xí)處理排除的隱藏節(jié)點(diǎn)在當(dāng)前時(shí)間間隔中未被排除并被訓(xùn)練時(shí)，相應(yīng)隱藏節(jié)點(diǎn)隨后在當(dāng)前時(shí)間間隔中具有有意義的值。因此，相應(yīng)隱藏節(jié)點(diǎn)能夠保持在相應(yīng)隱藏節(jié)點(diǎn)被選擇為在直到當(dāng)前時(shí)間間隔的時(shí)間間隔中的參考隱藏節(jié)點(diǎn)之前確定的值，從而參與學(xué)習(xí)處理。例如，為了針對(duì)每個(gè)時(shí)間間隔隨機(jī)選擇參考隱藏節(jié)點(diǎn)，相應(yīng)隱藏節(jié)點(diǎn)的值潛在地需要在多個(gè)時(shí)間間隔期間被保持，以調(diào)整給定節(jié)點(diǎn)被選擇為隱藏的時(shí)間間隔。以下，參照?qǐng)D2的學(xué)習(xí)模式240至260提供相關(guān)描述。[0073]參照?qǐng)D2的示例，從學(xué)習(xí)模式240至260中的每個(gè)隨機(jī)選擇并排除不同的參考隱藏節(jié)點(diǎn)。[0074]在圖2的示例中，在當(dāng)前時(shí)間間隔T的學(xué)習(xí)模式250中，設(shè)置在隱藏層兩端的節(jié)點(diǎn)被選擇為將被排除在考慮之外的參考隱藏節(jié)點(diǎn)252和256。參考隱藏節(jié)點(diǎn)252將之前時(shí)間間隔T-1中的值保持到之后時(shí)間間隔T+1。例如，學(xué)習(xí)模式240的隱藏節(jié)點(diǎn)242、學(xué)習(xí)模式250的參考隱藏節(jié)點(diǎn)252和學(xué)習(xí)模式260的隱藏節(jié)點(diǎn)262具有相同的值。在此示例中，隱藏節(jié)點(diǎn)或參考隱藏節(jié)點(diǎn)的值指示相應(yīng)節(jié)點(diǎn)的長(zhǎng)期記憶值。長(zhǎng)期記憶值指示由相應(yīng)節(jié)點(diǎn)在多個(gè)時(shí)間間隔期間保持的值。這樣的長(zhǎng)期記憶值是用作代替從下層傳送的值或傳送到上層的值的替代的值。[0075]類似地，參考隱藏節(jié)點(diǎn)256將之前時(shí)間間隔T-1的值保持到之后時(shí)間間隔T+1。例如，學(xué)習(xí)模式240的隱藏節(jié)點(diǎn)246、學(xué)習(xí)模式250的參考隱藏節(jié)點(diǎn)256和學(xué)習(xí)模式260的參考隱藏節(jié)點(diǎn)266潛在地都具有相同的值。由于參考隱藏節(jié)點(diǎn)266包括在學(xué)習(xí)模式260中，所以參考隱藏節(jié)點(diǎn)256將相同的值保持到下一個(gè)之后時(shí)間間隔T+2。[0076]當(dāng)前時(shí)間間隔T中的學(xué)習(xí)模式250的隱藏節(jié)點(diǎn)254指示通過從多個(gè)隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)252和256所獲得的剩余隱藏節(jié)點(diǎn)。隱藏節(jié)點(diǎn)254潛在地連接到其它時(shí)間間隔的隱藏節(jié)點(diǎn)。例如，隱藏節(jié)點(diǎn)254連接到之前時(shí)間間隔T-1中的學(xué)習(xí)模式240的隱藏節(jié)點(diǎn)。隱藏節(jié)點(diǎn)254還連接到之后時(shí)間間隔T+1中的學(xué)習(xí)模式260的隱藏節(jié)點(diǎn)。雖然隱藏節(jié)點(diǎn)254連接到學(xué)習(xí)模式260的參考隱藏節(jié)點(diǎn)266,但是參考隱藏節(jié)點(diǎn)266忽略從隱藏節(jié)點(diǎn)254接收的值并保持學(xué)習(xí)模式250的參考隱藏節(jié)點(diǎn)256的值。[0077]圖3示出訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過程的另一示例。[0078]參照?qǐng)D3的示例，在神經(jīng)網(wǎng)絡(luò)中，包括在輸入層310、隱藏層320和輸出層330中的多個(gè)節(jié)點(diǎn)彼此連接。在圖3中，實(shí)線表示這樣的連接，所述連接是節(jié)點(diǎn)正常彼此連接的連接，虛線表示使得節(jié)點(diǎn)之間的連接被忽略的連接，點(diǎn)劃線表示使得相應(yīng)隱藏節(jié)點(diǎn)的值還在之后時(shí)間間隔中被保持的連接。[0079]在圖3的示例中，學(xué)習(xí)模式340指示之前時(shí)間間隔T-1中的學(xué)習(xí)模式，學(xué)習(xí)模式350指示當(dāng)前時(shí)間間隔T中的學(xué)習(xí)模式，學(xué)習(xí)模式360指示之后時(shí)間間隔T+1中的學(xué)習(xí)模式。[0080]在之前時(shí)間間隔T-1中，隱藏節(jié)點(diǎn)344從隱藏節(jié)點(diǎn)342、344和346中被選擇為參考隱藏節(jié)點(diǎn)。在此示例中，隱藏節(jié)點(diǎn)344還被稱為，例如，參考隱藏節(jié)點(diǎn)344。在這樣的示例中，參考隱藏節(jié)點(diǎn)344與相應(yīng)于上層的輸出層330的節(jié)點(diǎn)之間的連接被忽略。例如，參考隱藏節(jié)點(diǎn)344阻止輸出到相應(yīng)于上層的輸出層330的值。[0081]針對(duì)與其它時(shí)間間隔的節(jié)點(diǎn)的連接，在參考隱藏節(jié)點(diǎn)344與包括在當(dāng)前時(shí)間間隔T的隱藏層中的節(jié)點(diǎn)之間的連接實(shí)質(zhì)上被忽略時(shí)，參考隱藏節(jié)點(diǎn)344與當(dāng)前時(shí)間間隔T中的相應(yīng)于參考隱藏節(jié)點(diǎn)344的隱藏節(jié)點(diǎn)354之間的連接被保持。因此，之前時(shí)間間隔T-1中的參考隱藏節(jié)點(diǎn)344的值被相應(yīng)地保持到當(dāng)前時(shí)間間隔T。在這樣的示例中，保持的值是，例如，相應(yīng)的長(zhǎng)期記憶值。[0082]然而，在一個(gè)示例中，參考隱藏節(jié)點(diǎn)344與相應(yīng)于下層的輸入層310的節(jié)點(diǎn)之間的連接不被忽略。由于參考隱藏節(jié)點(diǎn)344代替使用輸入的值而忽略從輸入層310輸入的值，因此參考隱藏節(jié)點(diǎn)344阻止從輸入層310輸入的值。[0083]在之前時(shí)間間隔T-1中，通過從隱藏節(jié)點(diǎn)342、344和346排除參考隱藏節(jié)點(diǎn)344所獲得的剩余隱藏節(jié)點(diǎn)（例如，隱藏節(jié)點(diǎn)342和346)連接到當(dāng)前時(shí)間間隔T的隱藏節(jié)點(diǎn)352、354和356以及相應(yīng)于上層的輸出層330的節(jié)點(diǎn)。[0084]在當(dāng)前時(shí)間間隔T中，隱藏節(jié)點(diǎn)352和354從隱藏節(jié)點(diǎn)352、354和356被選擇為參考隱藏節(jié)點(diǎn)。在此示例中，隱藏節(jié)點(diǎn)352和354還被稱為，例如，參考隱藏節(jié)點(diǎn)352和354。因此，參考隱藏節(jié)點(diǎn)352和354與相應(yīng)于上層的輸出層的節(jié)點(diǎn)的連接被忽略。在這樣的示例中，參考隱藏節(jié)點(diǎn)352和354阻止輸出到相應(yīng)于上層的輸出層的值。[0085]如所討論的，針對(duì)與其它時(shí)間間隔的節(jié)點(diǎn)的連接，在參考隱藏節(jié)點(diǎn)352與之后時(shí)間間隔T+1中的隱藏層的隱藏節(jié)點(diǎn)之間的連接實(shí)質(zhì)上被忽略時(shí)，參考隱藏節(jié)點(diǎn)352與之后時(shí)間間隔T+1中的相應(yīng)于參考隱藏節(jié)點(diǎn)352的隱藏節(jié)點(diǎn)362的連接被保持。在此示例中，參考隱藏節(jié)點(diǎn)352連接到之前時(shí)間間隔T-1中的隱藏節(jié)點(diǎn)。例如，在同時(shí)忽略其它隱藏節(jié)點(diǎn)（例如，隱藏節(jié)點(diǎn)344和346)的值時(shí)，參考隱藏節(jié)點(diǎn)352保持之前時(shí)間間隔T-1中的與節(jié)點(diǎn)本身相應(yīng)的隱藏節(jié)點(diǎn)342的值。因此，當(dāng)前時(shí)間間隔T中的參考隱藏節(jié)點(diǎn)352將之前時(shí)間間隔T-1中的值保持到之后時(shí)間間隔T+1。[0086]類似地，參考隱藏節(jié)點(diǎn)354也將之前時(shí)間間隔T-1中的隱藏節(jié)點(diǎn)344的值保持到之后時(shí)間間隔T+1。[0087]然而，參考隱藏節(jié)點(diǎn)352和354與相應(yīng)于下層的輸入層的節(jié)點(diǎn)的連接不被忽略。由于參考隱藏節(jié)點(diǎn)352和354代替使用輸入的值而忽略從輸入層輸入的值，因此參考隱藏節(jié)點(diǎn)352和354阻止從輸入層輸入的值。[0088]在當(dāng)前時(shí)間間隔T中，通過從隱藏節(jié)點(diǎn)352、354和356排除參考隱藏節(jié)點(diǎn)352和354所獲得的剩余隱藏節(jié)點(diǎn)（例如，隱藏節(jié)點(diǎn)356)連接到之后時(shí)間間隔T+1的隱藏節(jié)點(diǎn)362、364和366以及上層的節(jié)點(diǎn)。[0089]圖4示出更新包括在隱藏層中的隱藏節(jié)點(diǎn)400的值的過程以及基于這樣的過程的學(xué)習(xí)算法的示例。[0090]在本示例中，由神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備訓(xùn)練的神經(jīng)網(wǎng)絡(luò)是例如基于長(zhǎng)短期記憶（LSTM)的遞歸神經(jīng)網(wǎng)絡(luò)。與其它類型的神經(jīng)網(wǎng)絡(luò)相比，基于LSTM的遞歸神經(jīng)網(wǎng)絡(luò)通過使用三個(gè)門提尚具有相對(duì)長(zhǎng)的序列的序列數(shù)據(jù)的識(shí)別率。[0091]圖4示出包括在神經(jīng)網(wǎng)絡(luò)的隱藏層中的隱藏節(jié)點(diǎn)400。在圖4的示例中，隱藏節(jié)點(diǎn)400包括：輸入門410、忽略門（forgetgate)420、胞元（cell)430和輸出門440。[0092]在圖4的示例中，輸入門410控制從包括隱藏節(jié)點(diǎn)400的隱藏層的下層傳送的值。當(dāng)輸入門410的輸出值是"0"時(shí)，隱藏節(jié)點(diǎn)400忽略從下層傳送的值?？扇缫韵碌仁?所示計(jì)算輸入門410的輸出值bf。[0093]等式1[0096]在以上等式1中，af表示輸入到輸入門410的值，xf表示從當(dāng)前時(shí)間間隔的下層傳送的值，Wll表示施加于xf的權(quán)重。此外，bff1表示之前時(shí)間間隔中的自相應(yīng)隱藏節(jié)點(diǎn)的輸出值，whl表示施加于的權(quán)重。此外，S^1表示之前時(shí)間間隔中胞元430的輸出值，Wd表示施加于S^1的權(quán)重。此外，f()表示門的激活函數(shù)。最后，I表示包括在下層中的節(jié)點(diǎn)數(shù)，H表示包括在包括隱藏節(jié)點(diǎn)400的隱藏層中的節(jié)點(diǎn)數(shù)，C表示包括在隱藏節(jié)點(diǎn)400中的包括胞元430的胞元數(shù)。[0097]在圖4的示例中，忽略門420控制從之前時(shí)間間隔中的隱藏節(jié)點(diǎn)傳送的值。當(dāng)忽略門420的輸出值是"0"時(shí)，隱藏節(jié)點(diǎn)400忽略從之前時(shí)間間隔中的隱藏節(jié)點(diǎn)傳送的值。例如，如以下等式2所示計(jì)算忽略門420的輸出值bk[0098]等式2[0101]在等式2中，a:|表示輸入到忽略門420的值，Wi#、Wh0和wt0分別表示施加于bt1和sp的權(quán)重。[0102]例如，如上所示，當(dāng)隱藏節(jié)點(diǎn)400被選擇為將被排除的參考隱藏節(jié)點(diǎn)時(shí)，忽略門420輸出"1"。[0103]胞元430包括隱藏節(jié)點(diǎn)400的記憶值。如以下等式3所示計(jì)算胞元430的輸出值s|〇[0104]等式3[0107]在等式3中，af表示輸入到胞元430的值，Wl。和wh。分別表示施加于xf和bf1的權(quán)重。此外，g()表示胞元輸入激活函數(shù)。[0108]當(dāng)隱藏節(jié)點(diǎn)400被選擇為將被排除的參考隱藏節(jié)點(diǎn)時(shí)，輸入到胞元430的值是"0"，忽略門420的輸出值:b:f是"1"。在圖4的示例中，胞元430的輸出值s|與在之前時(shí)間間隔中胞元的輸出值相同。因此，當(dāng)隱藏節(jié)點(diǎn)400被選擇為參考隱藏節(jié)點(diǎn)時(shí)，隱藏節(jié)點(diǎn)400將之前時(shí)間間隔中的值保持到之后時(shí)間間隔。[0109]在圖4的示例中，輸出門440控制傳送到包括隱藏節(jié)點(diǎn)400的隱藏層的上層的值。當(dāng)輸出門440的輸出值是"0"時(shí)，隱藏節(jié)點(diǎn)400不將隱藏節(jié)點(diǎn)400的輸出值傳送到上層。例如，如以下等式4所示計(jì)算輸出門440的輸出值。[0110]等式4/MC[0111]'??二::.1.j.1[0112]4=/(4)[0113]在等式4中，表示輸入到輸出門440的值，wiu、whjpw分別表示施加到bfrhPsg的權(quán)重。[0114]此外，如以下等式5所示計(jì)算隱藏節(jié)點(diǎn)400的最終輸出值tt。[0115]等式5[0116]!>|=兒力(4)[0117]在等式5中，h()表示胞元輸出激活函數(shù)。[0118]基于輸入到神經(jīng)網(wǎng)絡(luò)的輸入層的序列數(shù)據(jù)通過輸出層輸出輸出值并因此與通過神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)的正向傳遞相應(yīng)的示例，提供上述討論以描述隱藏節(jié)點(diǎn)的狀態(tài)。通過經(jīng)過神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)的正向傳遞，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備更新每個(gè)隱藏節(jié)點(diǎn)的值。此外，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備基于從輸出層輸出的輸出值估計(jì)誤差。[0119]神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備沿從輸出層經(jīng)隱藏層到輸入層的反方向傳播估計(jì)的誤差，并更新連接權(quán)重以減小誤差。這樣的傳播還被稱為，例如，反向傳遞。在這樣的示例中，沿時(shí)間上的反方向以及沿從輸出層經(jīng)隱藏層到輸入層的反方向執(zhí)行傳播。當(dāng)執(zhí)行正向傳遞時(shí)，t(時(shí)間）的值增大，從而使用時(shí)間上的正方向。相反地，當(dāng)執(zhí)行反向傳遞時(shí)，t的值減小，從而使用時(shí)間上的反方向。[0120]例如，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備定義目標(biāo)函數(shù)以測(cè)量當(dāng)前設(shè)置的連接權(quán)重的優(yōu)化率?；谀繕?biāo)函數(shù)的結(jié)果，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備連續(xù)改變連接權(quán)重并重復(fù)執(zhí)行訓(xùn)練。目標(biāo)函數(shù)是，例如，用于計(jì)算基于學(xué)習(xí)數(shù)據(jù)實(shí)際從神經(jīng)網(wǎng)絡(luò)輸出的輸出值與期望被輸出的期望值之間的誤差的誤差函數(shù)。因此，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備可更新連接權(quán)重以減小誤差函數(shù)的值。[0121]在反向傳遞中，如以下等式6所示定義輸入到隱藏節(jié)點(diǎn)400的值和輸入到胞元430的值[0122]等式6[0123][0124]在等式6中，0表示目標(biāo)函數(shù)。此外，在一個(gè)示例中，0表示神經(jīng)網(wǎng)絡(luò)中的交叉熵誤差信號(hào)。[0125]如以下等式7所示計(jì)算從上層輸入到隱藏節(jié)點(diǎn)400的值[0126]等式7[0127][0128]在等式7中，S|表示從當(dāng)前時(shí)間間隔中的上層傳送的值，iff1表示從之后時(shí)間間隔中的自相應(yīng)隱藏節(jié)點(diǎn)輸出的值，wjPw別表示施加于％和6th+1的權(quán)重。此外，K表示包括在上層中的節(jié)點(diǎn)數(shù)。[0129]當(dāng)隱藏節(jié)點(diǎn)400被選擇為將被排除的參考隱藏節(jié)點(diǎn)時(shí)，隱藏節(jié)點(diǎn)400忽略輸入到隱藏節(jié)點(diǎn)400的值。[0130]如以下等式8所示計(jì)算從輸出門440輸出的值8^。[0131]等式8[0132]4-/(4)"(4)4c^'i[0133]此外，如以下等式9所示計(jì)算輸入到胞元430的值和從胞元430輸出的值^([0134]等式9[0135]=心的父)#+！.十叫4(〇f銷果集涵輿[0136]<^.rf街沒批其它[0137]在等式9中，e$+1::表示輸入到之后時(shí)間間隔中的自相應(yīng)隱藏節(jié)點(diǎn)的胞元的值，5f+1表示從之后時(shí)間間隔中的自相應(yīng)隱藏節(jié)點(diǎn)的輸入門410輸出的值，S|+1表示從之后時(shí)間間隔中的自相應(yīng)隱藏節(jié)點(diǎn)的忽略門420輸出的值。[0138]當(dāng)隱藏節(jié)點(diǎn)400被選擇為將被排除的參考隱藏節(jié)點(diǎn)時(shí)，胞元430輸出"0"。[0139]如以下等式10所示計(jì)算從忽略門420輸出的值。[0140]等式10/Qf如果單武丟棄[。141]其它vml[0142]當(dāng)隱藏節(jié)點(diǎn)400被選擇為將被排除的參考隱藏節(jié)點(diǎn)時(shí)，忽略門420輸出"0"。[0143]如以下等式11所示計(jì)算從隱藏節(jié)點(diǎn)400輸出的值$。:[0144]等式11G[0145]^：:-/'(a；)Yi9i<4M[0146]如上所述，神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備通過反向傳播學(xué)習(xí)方法更新包括在神經(jīng)網(wǎng)絡(luò)中的節(jié)點(diǎn)的連接權(quán)重。[0147]圖5示出識(shí)別設(shè)備500。[0148]參照?qǐng)D5的示例，識(shí)別設(shè)備500包括：接收器510和識(shí)別器520。識(shí)別設(shè)備500具有各種各樣的潛在應(yīng)用。例如，識(shí)別設(shè)備500可被用于諸如語(yǔ)音識(shí)別、圖像識(shí)別、身體狀態(tài)識(shí)別和手寫識(shí)別的領(lǐng)域。然而，這些僅是識(shí)別領(lǐng)域的示例，并不應(yīng)被視為限制。識(shí)別設(shè)備500潛在地通過使用硬件模塊被實(shí)施。例如，識(shí)別設(shè)備500包括在各種計(jì)算設(shè)備和/或系統(tǒng)中，諸如，例如，智能電話、平板計(jì)算機(jī)、膝上型計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、電視機(jī)、可穿戴裝置、安全系統(tǒng)和智能家居系統(tǒng)。[0149]接收器510接收序列數(shù)據(jù)。序列數(shù)據(jù)是，例如，具有時(shí)間性和順序的語(yǔ)音數(shù)據(jù)、圖像數(shù)據(jù)、生物數(shù)據(jù)和手寫數(shù)據(jù)。[0150]識(shí)別器520識(shí)別基于預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)輸入的序列數(shù)據(jù)。作為潛在地被識(shí)別的示例，識(shí)別器520從輸入的語(yǔ)音數(shù)據(jù)識(shí)別句子或單詞，并從圖像識(shí)別對(duì)象。此外，識(shí)別器520潛在地通過分析生物信號(hào)（例如，心電圖（ECG)和腦電圖（EEG))識(shí)別用戶身體狀態(tài)，或通過分析用戶動(dòng)作識(shí)別輸入的手寫。作為另一示例，識(shí)別器520被應(yīng)用于脫氧核糖核酸（DNA)序列裝置以從監(jiān)視的信號(hào)估計(jì)恰當(dāng)?shù)腄NA序列。[0151]在一個(gè)示例中，識(shí)別器520從序列數(shù)據(jù)提取特征值并將提取的特征值輸入到分類器，從而輸出由分類器得到的序列數(shù)據(jù)的分析結(jié)果或識(shí)別結(jié)果。[0152]由識(shí)別器520使用的預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)包括多個(gè)隱藏節(jié)點(diǎn)。多個(gè)隱藏節(jié)點(diǎn)包括當(dāng)前時(shí)間間隔之前的時(shí)間間隔中的相應(yīng)隱藏節(jié)點(diǎn)的值，還包括基于所述相應(yīng)隱藏節(jié)點(diǎn)的值將被傳送到當(dāng)前時(shí)間間隔中的概率所計(jì)算的值。將參照?qǐng)D6提供關(guān)于計(jì)算多個(gè)隱藏節(jié)點(diǎn)的值的過程的描述。[0153]在此示例中，預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)基于通過從多個(gè)隱藏節(jié)點(diǎn)排除至少一個(gè)參考隱藏節(jié)點(diǎn)所獲得的剩余隱藏節(jié)點(diǎn)被訓(xùn)練（如以上進(jìn)一步的描述）。當(dāng)訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)，針對(duì)每個(gè)時(shí)間間隔從多個(gè)隱藏節(jié)點(diǎn)隨機(jī)選擇并排除參考隱藏節(jié)點(diǎn)。參考隱藏節(jié)點(diǎn)將之前時(shí)間間隔中的值保持到之后時(shí)間間隔。如所討論的，剩余隱藏節(jié)點(diǎn)連接到其它時(shí)間間隔的隱藏節(jié)點(diǎn)。[0154]圖6示出在基于預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)執(zhí)行的識(shí)別期間確定隱藏節(jié)點(diǎn)的值的過程的示例。[0155]圖6示出針對(duì)每個(gè)時(shí)間戳的預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的識(shí)別模式610、620和630。在圖6中，一些連接線在圖6中被示出以描述基于預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的識(shí)別方法。為了更加便于描述和簡(jiǎn)明，基于包括在當(dāng)前時(shí)間間隔T的學(xué)習(xí)模式630中的隱藏節(jié)點(diǎn)636提供以下描述。在訓(xùn)練處理期間，針對(duì)由識(shí)別設(shè)備使用的神經(jīng)網(wǎng)絡(luò)，基于具有P值的概率排除包括在神經(jīng)網(wǎng)絡(luò)中的隱藏節(jié)點(diǎn)。[0156]在圖6的示例中，識(shí)別模式630是當(dāng)前時(shí)間間隔T的學(xué)習(xí)模式，識(shí)別模式620是第一之前時(shí)間間隔T-1的學(xué)習(xí)模式，識(shí)別模式610是第二之前時(shí)間間隔T-2的學(xué)習(xí)模式。[0157]識(shí)別設(shè)備基于當(dāng)前時(shí)間間隔T之前的時(shí)間間隔中的相應(yīng)隱藏節(jié)點(diǎn)的值以及所述相應(yīng)隱藏節(jié)點(diǎn)的值將被傳送到當(dāng)前時(shí)間間隔T的概率來確定當(dāng)前時(shí)間間隔T中的隱藏節(jié)點(diǎn)636的值。[0158]作為示例，隱藏節(jié)點(diǎn)626未被排除，從而第一之前時(shí)間間隔T-1中的隱藏節(jié)點(diǎn)626的值（例如，A)被傳送到隱藏節(jié)點(diǎn)636。因此，隱藏節(jié)點(diǎn)626的值將被傳送到隱藏節(jié)點(diǎn)636的概率是"1_P"。[0159]隱藏節(jié)點(diǎn)626代替隱藏節(jié)點(diǎn)616而被排除，從而第二之前時(shí)間間隔T-2中的隱藏節(jié)點(diǎn)616的值（例如，B)被傳送到隱藏節(jié)點(diǎn)636。因此，隱藏節(jié)點(diǎn)616的值將被傳送到隱藏節(jié)點(diǎn)636的概率是"p(l-p)"。[0160]為了將第三之前時(shí)間間隔中的隱藏節(jié)點(diǎn)的值C傳送到隱藏節(jié)點(diǎn)636,排除隱藏節(jié)點(diǎn)616和626,而不排除第三之前時(shí)間間隔中的隱藏節(jié)點(diǎn)。因此，C將被傳送到隱藏節(jié)點(diǎn)636的概率是"p2(l-p)"。[0161]基于上述方法，當(dāng)前時(shí)間間隔T中的隱藏節(jié)點(diǎn)636具有"AX(1-p)+BXp(1-p)+CXp2(l-p)+..."的值。在此示例中，與隱藏節(jié)點(diǎn)636的計(jì)算結(jié)果相應(yīng)的值指示長(zhǎng)期記憶值。因此，長(zhǎng)期記憶值是代替從下層傳送的值和傳送到上層的值而在多個(gè)時(shí)間間隔期間由隱藏節(jié)點(diǎn)保持的值。[0162]圖7示出神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的示例。[0163]此外，圖7是示出神經(jīng)網(wǎng)絡(luò)訓(xùn)練設(shè)備的操作方法的流程圖。參照?qǐng)D7的示例，神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法包括：在操作710,從包括在神經(jīng)網(wǎng)絡(luò)中的多個(gè)隱藏節(jié)點(diǎn)選擇至少一個(gè)參考隱藏節(jié)點(diǎn)；在操作720,基于通過從多個(gè)隱藏節(jié)點(diǎn)排除至少一個(gè)參考隱藏節(jié)點(diǎn)所獲得的剩余隱藏節(jié)點(diǎn)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。[0164]由于參照?qǐng)D1至圖4提供的描述也在這里適用，因此，為了更加清楚和簡(jiǎn)明，將省略針對(duì)圖7的重復(fù)描述。[0165]圖8示出識(shí)別方法的示例。[0166]此外，圖8是示出識(shí)別設(shè)備的操作方法的流程圖。參照?qǐng)D8的示例，識(shí)別方法包括：在操作810,接收序列數(shù)據(jù)；在操作820,基于包括多個(gè)隱藏節(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)識(shí)別序列數(shù)據(jù)。在此示例中，多個(gè)隱藏節(jié)點(diǎn)包括當(dāng)前時(shí)間間隔之前的時(shí)間間隔中的相應(yīng)隱藏節(jié)點(diǎn)的值，以及基于所述相應(yīng)隱藏節(jié)點(diǎn)的值將被傳送到當(dāng)前時(shí)間間隔的概率所計(jì)算的值。由此基于通過從多個(gè)隱藏節(jié)點(diǎn)排除至少一個(gè)參考隱藏節(jié)點(diǎn)所獲得的剩余隱藏節(jié)點(diǎn)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。[0167]由于參照?qǐng)D1至圖6提供的描述也在這里適用，因此，為了更加清楚和簡(jiǎn)明，將省略針對(duì)圖8的重復(fù)描述。[0168]在呈現(xiàn)的示例的一方面，可通過基于排除部分隱藏節(jié)點(diǎn)的學(xué)習(xí)模式訓(xùn)練神經(jīng)網(wǎng)絡(luò)，在遞歸神經(jīng)網(wǎng)絡(luò)中獲得整體效果并有效減少訓(xùn)練時(shí)間。[0169]在呈現(xiàn)的示例的另一方面，由于從學(xué)習(xí)處理排除的參考隱藏節(jié)點(diǎn)將之前時(shí)間間隔中的值保持到之后時(shí)間間隔，因此可將排除方法應(yīng)用于基于LSTM的遞歸神經(jīng)網(wǎng)絡(luò)。[0170]在呈現(xiàn)的示例的另一方面，可通過基于代替所有隱藏節(jié)點(diǎn)的部分隱藏節(jié)點(diǎn)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，防止神經(jīng)網(wǎng)絡(luò)與將被識(shí)別的實(shí)際目標(biāo)過度適應(yīng)（例如，過度擬合），所述過度適應(yīng)潛在地導(dǎo)致對(duì)實(shí)際目標(biāo)的識(shí)別率的降低。[0171]在呈現(xiàn)的示例的另一方面，可基于部分隱藏節(jié)點(diǎn)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，從而解決由訓(xùn)練的結(jié)果導(dǎo)致的隱藏節(jié)點(diǎn)的連接權(quán)重彼此相似的互適應(yīng)問題。[0172]執(zhí)行參照?qǐng)D1至圖8在此描述的操作的圖1至圖8所示的設(shè)備、單元、模塊、裝置和其它組件通過硬件組件被實(shí)施。硬件組件的示例包括控制器、傳感器、產(chǎn)生器、驅(qū)動(dòng)器和本領(lǐng)域普通技術(shù)人員已知的任何其它電子組件。在一個(gè)示例中，硬件組件通過一個(gè)或多個(gè)處理器或計(jì)算機(jī)被實(shí)施。處理器或計(jì)算機(jī)通過一個(gè)或多個(gè)處理元件（例如，邏輯門陣列、控制器和算術(shù)邏輯單元）、數(shù)字信號(hào)處理器、微型計(jì)算機(jī)、可編程邏輯控制器、現(xiàn)場(chǎng)可編程門陣列、可編程邏輯陣列、微處理器或本領(lǐng)域普通技術(shù)人員已知的能夠以限定的方式響應(yīng)并執(zhí)行指令以實(shí)現(xiàn)期望結(jié)果的任何其它裝置或裝置的組合被實(shí)施。在一個(gè)示例中，處理器或計(jì)算機(jī)包括或連接到存儲(chǔ)由處理器或計(jì)算機(jī)執(zhí)行的指令或軟件的一個(gè)或多個(gè)存儲(chǔ)器。例如，由處理器或計(jì)算機(jī)實(shí)施的硬件組件執(zhí)行指令或軟件（例如，操作系統(tǒng)（0S)和在0S上運(yùn)行的一個(gè)或多個(gè)軟件應(yīng)用），以執(zhí)行這里針對(duì)圖1至圖8描述的操作。硬件組件還響應(yīng)于指令或軟件的執(zhí)行來訪問、操作、處理、創(chuàng)建并存儲(chǔ)數(shù)據(jù)。為了簡(jiǎn)明，可在在此描述的示例的描述中使用單數(shù)術(shù)語(yǔ)"處理器"或"計(jì)算機(jī)"，但是在其它示例中，使用多個(gè)處理器或多個(gè)計(jì)算機(jī)，或者處理器或計(jì)算機(jī)包括多個(gè)處理元件或多種類型的處理元件，或者包括兩者。在一個(gè)示例中，硬件組件包括多個(gè)處理器，在另一示例中，硬件組件包括處理器和控制器。硬件組件具有不同處理配置中的任何一個(gè)或多個(gè)，不同處理配置的示例包括單個(gè)處理器、獨(dú)立處理器、并行處理器、單指令單數(shù)據(jù)（SISD)多處理、單指令多數(shù)據(jù)（SHffi)多處理、多指令單數(shù)據(jù)(MISD)多處理和多指令多數(shù)據(jù)（M頂D)多處理。[0173]由上述執(zhí)行指令或軟件以執(zhí)行在此描述的操作的處理器或計(jì)算機(jī)來執(zhí)行圖1至圖8所示的執(zhí)行針對(duì)圖1至圖8在此描述的操作的方法。[0174]用于控制處理器或計(jì)算機(jī)實(shí)施硬件組件并執(zhí)行如上所述的方法的指令或軟件被寫為計(jì)算機(jī)程序、代碼段、指令或它們的任何組合，以獨(dú)立地或共同地指示或配置處理器或計(jì)算機(jī)作為用于執(zhí)行由硬件組件執(zhí)行的操作和如上所述的方法的機(jī)器或?qū)Ｓ糜?jì)算機(jī)進(jìn)行操作。在一個(gè)示例中，指令或軟件包括由處理器或計(jì)算機(jī)直接執(zhí)行的機(jī)器代碼，例如，由編譯器產(chǎn)生的機(jī)器代碼。在另一示例中，指令或軟件包括由處理器或計(jì)算機(jī)使用解釋器執(zhí)行的更高級(jí)代碼。本領(lǐng)域的普通編程技術(shù)人員可基于附圖中示出的框圖和流程圖以及說明書中的對(duì)應(yīng)描述容易地編寫指令或軟件，其中，附圖中示出的框圖和流程圖以及說明書中的對(duì)應(yīng)描述公開了用于執(zhí)行由硬件組件執(zhí)行的操作和如上所述的方法的算法。[0175]用于控制處理器或計(jì)算機(jī)實(shí)施硬件組件并執(zhí)行如上所述的方法的指令或軟件以及任何關(guān)聯(lián)的數(shù)據(jù)、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu)被記錄、存儲(chǔ)或固定在一個(gè)或多個(gè)非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中或上。非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)的示例包括只讀存儲(chǔ)器（ROM)、隨機(jī)存取存儲(chǔ)器（RAM)、閃存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-RLTH、BD-RE、磁帶、軟盤、磁光數(shù)據(jù)存儲(chǔ)裝置、光學(xué)數(shù)據(jù)存儲(chǔ)裝置、硬盤、固態(tài)盤和本領(lǐng)域普通技術(shù)人員已知的能夠以非暫時(shí)性方式存儲(chǔ)指令或軟件以及任何關(guān)聯(lián)的數(shù)據(jù)、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu)并將指令或軟件以及任何關(guān)聯(lián)的數(shù)據(jù)、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu)提供給處理器或計(jì)算機(jī)使得處理器或計(jì)算機(jī)可執(zhí)行指令的任何裝置。在一個(gè)示例中，指令或軟件以及任何關(guān)聯(lián)的數(shù)據(jù)、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu)分布在聯(lián)網(wǎng)的計(jì)算機(jī)系統(tǒng)中，從而由處理器或計(jì)算機(jī)以分布方式存儲(chǔ)、訪問并執(zhí)行指令和軟件以及任何關(guān)聯(lián)的數(shù)據(jù)、數(shù)據(jù)文件和數(shù)據(jù)結(jié)構(gòu)。[0176]僅作為非詳盡的說明，在此描述的終端/裝置/單元可以是移動(dòng)裝置（例如，蜂窩電話、智能電話、可穿戴智能裝置（諸如戒指、手表、眼鏡、手鏈、腳鏈、腰帶、項(xiàng)鏈、耳飾、頭帶、頭盔或嵌入在衣服中的裝置）、便攜式個(gè)人計(jì)算機(jī)（PC)(例如，膝上型計(jì)算機(jī)、筆記本、小型筆記本、上網(wǎng)本或超便攜移動(dòng)PC(UMPC))、平板PC(tablet)、平板手機(jī)、個(gè)人數(shù)字助理(PDA)、數(shù)碼相機(jī)、便攜式游戲機(jī)、MP3播放器、便攜式/個(gè)人多媒體播放器（PMP)、手持電子書、全球定位系統(tǒng)（GPS)導(dǎo)航裝置或傳感器）或固定裝置（例如，臺(tái)式PC、高清電視（HDTV)、DVD播放器、藍(lán)光播放器、機(jī)頂盒或家用電器）或能夠進(jìn)行無線通信或網(wǎng)絡(luò)通信的任何其它移動(dòng)或固定裝置。在一個(gè)示例中，可穿戴裝置是被設(shè)計(jì)為可直接安裝在用戶的身體上的裝置，例如，眼鏡或手鏈。在另一示例中，可穿戴裝置是使用附著裝置安裝在用戶的身體上的任何裝置，例如，使用臂帶附著于用戶的手臂或使用掛帶懸掛于用戶的頸部的智能電話或平板。[0177]雖然本公開包括特定示例，但是，對(duì)本領(lǐng)域的普通技術(shù)人員而言將清楚的是：在不脫離權(quán)利要求及其等同物的精神和范圍的情況下，可在這些示例中在形式和細(xì)節(jié)上進(jìn)行各種改變。在此描述的示例應(yīng)僅被理解為描述性意義，而不是為了限制的目的。每個(gè)示例中的特征或方面的描述應(yīng)被理解為可應(yīng)用于其它示例中的類似特征或方面。如果以不同的順序執(zhí)行所描述的技術(shù)和/或如果所描述的系統(tǒng)、架構(gòu)、裝置或電路中的組件以不同的方式來組合和/或由其它組件或他們的等同物來替換或補(bǔ)充，則可獲得合適的結(jié)果。因此，本公開的范圍不是由【具體實(shí)施方式】限定，而是由權(quán)利要求及其等同物限定，并且在權(quán)利要求及其等同物的范圍內(nèi)的所有變化應(yīng)被解釋為包括在本公開中?！局鳈?quán)項(xiàng)】1.一種使用學(xué)習(xí)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，所述方法包括：從神經(jīng)網(wǎng)絡(luò)中的多個(gè)隱藏節(jié)點(diǎn)選擇參考隱藏節(jié)點(diǎn)；基于通過從所述多個(gè)隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)所獲得的剩余隱藏節(jié)點(diǎn)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，參考隱藏節(jié)點(diǎn)將之前時(shí)間間隔中的值保持到之后時(shí)間間隔。2.如權(quán)利要求1所述的方法，其中，選擇步驟包括：針對(duì)每個(gè)時(shí)間間隔從所述多個(gè)隱藏節(jié)點(diǎn)隨機(jī)選擇參考隱藏節(jié)點(diǎn)。3.如權(quán)利要求1所述的方法，其中，參考隱藏節(jié)點(diǎn)將在之前時(shí)間間隔中的相應(yīng)參考隱藏節(jié)點(diǎn)中包括的長(zhǎng)期記憶值保持到之后時(shí)間間隔。4.如權(quán)利要求1所述的方法，其中，參考隱藏節(jié)點(diǎn)阻止從包括相應(yīng)參考隱藏節(jié)點(diǎn)的隱藏層的下層輸入的值。5.如權(quán)利要求1所述的方法，其中，參考隱藏節(jié)點(diǎn)阻止輸出到包括相應(yīng)參考隱藏節(jié)點(diǎn)的隱藏層的上層的值。6.如權(quán)利要求1所述的方法，其中，剩余隱藏節(jié)點(diǎn)連接到其它時(shí)間間隔的隱藏節(jié)點(diǎn)，其中，所述其它時(shí)間間隔包括之前時(shí)間間隔和之后時(shí)間間隔。7.如權(quán)利要求1所述的方法，其中，學(xué)習(xí)數(shù)據(jù)包括：包括語(yǔ)音數(shù)據(jù)、圖像數(shù)據(jù)、生物數(shù)據(jù)和手寫數(shù)據(jù)中的至少一個(gè)的序列數(shù)據(jù)。8.如權(quán)利要求1所述的方法，其中，訓(xùn)練步驟包括：基于訓(xùn)練結(jié)果更新包括在神經(jīng)網(wǎng)絡(luò)中的連接權(quán)重。9.如權(quán)利要求1所述的方法，其中，所述神經(jīng)網(wǎng)絡(luò)是包括多個(gè)隱藏層的遞歸神經(jīng)網(wǎng)絡(luò)。10.-種識(shí)別方法，包括：接收序列數(shù)據(jù)；使用包括多個(gè)隱藏節(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)識(shí)別序列數(shù)據(jù)，其中，所述多個(gè)隱藏節(jié)點(diǎn)包括當(dāng)前時(shí)間間隔之前的時(shí)間間隔中的相應(yīng)隱藏節(jié)點(diǎn)的值以及基于所述相應(yīng)隱藏節(jié)點(diǎn)的值將被傳送到當(dāng)前時(shí)間間隔的概率計(jì)算的值，其中，神經(jīng)網(wǎng)絡(luò)基于通過從所述多個(gè)隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)所獲得的剩余隱藏節(jié)點(diǎn)被訓(xùn)練。11.如權(quán)利要求10所述的識(shí)別方法，其中，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，針對(duì)每個(gè)時(shí)間間隔從所述多個(gè)隱藏節(jié)點(diǎn)隨機(jī)選擇參考隱藏節(jié)點(diǎn)。12.如權(quán)利要求10所述的識(shí)別方法，其中，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，參考隱藏節(jié)點(diǎn)將之前時(shí)間間隔中的值保持到之后時(shí)間間隔。13.如權(quán)利要求10所述的識(shí)別方法，其中，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，剩余隱藏節(jié)點(diǎn)連接到其它時(shí)間間隔的隱藏節(jié)點(diǎn)。14.一種用于使用學(xué)習(xí)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的設(shè)備，所述設(shè)備包括：接收器，被配置為接收學(xué)習(xí)數(shù)據(jù)；訓(xùn)練器，被配置為基于通過從包括在神經(jīng)網(wǎng)絡(luò)中的多個(gè)隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)所獲得的剩余隱藏節(jié)點(diǎn)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，參考隱藏節(jié)點(diǎn)將之前時(shí)間間隔中的值保持到之后時(shí)間間隔。15.如權(quán)利要求14所述的設(shè)備，其中，針對(duì)每個(gè)時(shí)間間隔從所述多個(gè)隱藏節(jié)點(diǎn)隨機(jī)選擇并排除參考隱藏節(jié)點(diǎn)。16.如權(quán)利要求14所述的設(shè)備，其中，參考隱藏節(jié)點(diǎn)保持在之前時(shí)間間隔中的相應(yīng)參考隱藏節(jié)點(diǎn)中包括的長(zhǎng)期記憶值。17.如權(quán)利要求14所述的設(shè)備，其中，參考隱藏節(jié)點(diǎn)阻止從包括相應(yīng)參考隱藏節(jié)點(diǎn)的隱藏層的下層輸入的值。18.如權(quán)利要求14所述的設(shè)備，其中，參考隱藏節(jié)點(diǎn)阻止輸出到包括相應(yīng)參考隱藏節(jié)點(diǎn)的隱藏層的上層的值。19.一種識(shí)別設(shè)備，包括：接收器，被配置為接收序列數(shù)據(jù)；識(shí)別器，被配置為使用包括多個(gè)隱藏節(jié)點(diǎn)的神經(jīng)網(wǎng)絡(luò)識(shí)別序列數(shù)據(jù)，其中，所述多個(gè)隱藏節(jié)點(diǎn)包括當(dāng)前時(shí)間間隔之前的時(shí)間間隔中的相應(yīng)隱藏節(jié)點(diǎn)的值以及基于所述相應(yīng)隱藏節(jié)點(diǎn)的值將被傳送到當(dāng)前時(shí)間間隔的概率計(jì)算的值，其中，神經(jīng)網(wǎng)絡(luò)基于通過從所述多個(gè)隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)所獲得的剩余隱藏節(jié)點(diǎn)被訓(xùn)練。20.如權(quán)利要求19所述的識(shí)別設(shè)備，其中，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，針對(duì)每個(gè)時(shí)間間隔從所述多個(gè)隱藏節(jié)點(diǎn)隨機(jī)選擇參考隱藏節(jié)點(diǎn)。21.如權(quán)利要求19所述的識(shí)別設(shè)備，其中，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，參考隱藏節(jié)點(diǎn)將之前時(shí)間間隔中的值保持到之后時(shí)間間隔。22.如權(quán)利要求19所述的識(shí)別設(shè)備，其中，在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的處理中，剩余隱藏節(jié)點(diǎn)連接到其它時(shí)間間隔的隱藏節(jié)點(diǎn)。23.-種使用學(xué)習(xí)數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，所述方法包括：基于通過從多個(gè)隱藏節(jié)點(diǎn)排除參考隱藏節(jié)點(diǎn)所獲得的剩余隱藏節(jié)點(diǎn)在第一時(shí)間間隔中訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，從神經(jīng)網(wǎng)絡(luò)中的多個(gè)隱藏節(jié)點(diǎn)選擇參考隱藏節(jié)點(diǎn)；在之后時(shí)間間隔中訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其中，參考隱藏節(jié)點(diǎn)將之前時(shí)間間隔中的值保持到之后時(shí)間間隔?！疚臋n編號(hào)】G06N3/08GK105913121SQ201510810225【公開日】2016年8月31日【申請(qǐng)日】2015年11月20日【發(fā)明人】柳尚賢,文太燮【申請(qǐng)人】三星電子株式會(huì)社