本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，尤其是涉及基于本地訓(xùn)練的深度學(xué)習(xí)系統(tǒng)和方法。

背景技術(shù)：

傳統(tǒng)的模式識(shí)別方法手工選取特征費(fèi)時(shí)費(fèi)力，需要啟發(fā)式專業(yè)知識(shí)，很大程度上靠經(jīng)驗(yàn)和運(yùn)氣，而淺層學(xué)習(xí)的人工神經(jīng)網(wǎng)絡(luò)具有一定的局限性，比較容易過(guò)擬合，參數(shù)比較難調(diào)整，并且訓(xùn)練速度慢，在層次上比較少(小于等于3)的情況下效果并不顯著。然而，目前已有的基于云端的訓(xùn)練方式需要借助于互聯(lián)網(wǎng)，不能實(shí)時(shí)進(jìn)行處理，通用性差。如何能更加靈活方便地對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練成為了亟待解決的問(wèn)題

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明的目的在于提供基于本地訓(xùn)練的深度學(xué)習(xí)系統(tǒng)和方法，實(shí)現(xiàn)了在本地完成訓(xùn)練過(guò)程，不依賴于網(wǎng)絡(luò)，隨時(shí)隨地，方便小巧，通用性強(qiáng)。

第一方面，本發(fā)明實(shí)施例提供了一種基于本地訓(xùn)練的深度學(xué)習(xí)系統(tǒng)，包括：采集單元、邏輯控制單元、本地訓(xùn)練單元和識(shí)別單元；

所述采集單元，與所述邏輯控制單元相連接，用于采集原始信號(hào)，并將所述原始信號(hào)發(fā)送給所述邏輯控制單元；

所述邏輯控制單元，與所述本地訓(xùn)練單元通過(guò)通用接口相連接，用于將所述原始信號(hào)發(fā)送給所述本地訓(xùn)練單元，并接收所述本地訓(xùn)練單元發(fā)送的權(quán)值參數(shù)，將所述權(quán)值參數(shù)、所述原始信號(hào)和初始化信息發(fā)送給所述識(shí)別單元；

所述本地訓(xùn)練單元，用于根據(jù)所述原始信號(hào)得到本地訓(xùn)練樣本，對(duì)所述本地訓(xùn)練樣本進(jìn)行前向傳播過(guò)程和反向傳播過(guò)程得到所述權(quán)值參數(shù)，并將所述權(quán)值參數(shù)發(fā)送給所述邏輯控制單元；

所述識(shí)別單元，與所述邏輯控制單元相連接，用于根據(jù)所述權(quán)值參數(shù)和所述原始信號(hào)進(jìn)行前向傳播過(guò)程得到特征向量，根據(jù)所述特征向量得到判定結(jié)果，并將所述判定結(jié)果發(fā)送給所述邏輯控制單元。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第一種可能的實(shí)施方式，其中，所述本地訓(xùn)練單元包括前向傳播電路和反向傳播電路；

所述前向傳播電路，用于對(duì)所述本地訓(xùn)練樣本進(jìn)行所述前向傳播過(guò)程，其中，所述前向傳播過(guò)程包括卷積計(jì)算、池化計(jì)算和全連接計(jì)算，并根據(jù)計(jì)算結(jié)果得到各層殘差、各層權(quán)值參數(shù)，將所述各層殘差、所述各層權(quán)值參數(shù)發(fā)送給所述反向傳播電路；

所述反向傳播電路，用于通過(guò)最小化所述殘差調(diào)整所述權(quán)值參數(shù)以進(jìn)行所述反向傳播過(guò)程，并得到所述權(quán)值參數(shù)。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第二種可能的實(shí)施方式，其中，所述本地訓(xùn)練單元與所述邏輯控制單元通過(guò)USB接口或Ethernet接口相連接。

結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面的第三種可能的實(shí)施方式，其中，所述本地訓(xùn)練單元為現(xiàn)場(chǎng)可編程門陣列FPGA或圖形處理器GPU。

結(jié)合第一方面的第一種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面的第四種可能的實(shí)施方式，其中，所述前向傳播電路和反向傳播電路均采用并行電路進(jìn)行計(jì)算。

第二方面，本發(fā)明實(shí)施例提供了一種基于本地訓(xùn)練的深度學(xué)習(xí)方法，包括：

采集原始信號(hào)；

對(duì)所述原始信號(hào)進(jìn)行本地訓(xùn)練，得到權(quán)值參數(shù)；

對(duì)所述原始信號(hào)和所述權(quán)值參數(shù)進(jìn)行編碼處理，得到特征向量；

根據(jù)所述特征向量得到判定結(jié)果。

結(jié)合第二方面，本發(fā)明實(shí)施例提供了第二方面的第一種可能的實(shí)施方式，其中,所述將所述原始信號(hào)進(jìn)行本地訓(xùn)練，得到權(quán)值參數(shù)包括：

對(duì)所述原始信號(hào)進(jìn)行歸一化預(yù)處理得到統(tǒng)一格式的本地訓(xùn)練樣本；

判斷對(duì)所述原始信號(hào)的采樣是否結(jié)束；

如果未結(jié)束，則繼續(xù)采集所述原始信號(hào)；

如果結(jié)束，則根據(jù)所述本地訓(xùn)練樣本計(jì)算所述權(quán)值參數(shù)。

結(jié)合第二方面的第一種可能的實(shí)施方式，本發(fā)明實(shí)施例提供了第二方面的第二種可能的實(shí)施方式，其中，所述根據(jù)所述本地訓(xùn)練樣本計(jì)算所述權(quán)值參數(shù)包括：

對(duì)所述本地訓(xùn)練樣本進(jìn)行前向傳播過(guò)程計(jì)算得到各層殘差、各層權(quán)值參數(shù)和分類精度；

對(duì)所述殘差和所述權(quán)值參數(shù)進(jìn)行反向傳播過(guò)程計(jì)算，并判斷所述分類精度是否達(dá)到預(yù)設(shè)閾值；

如果未達(dá)到所述預(yù)設(shè)閾值，則根據(jù)調(diào)整后的權(quán)值參數(shù)進(jìn)行迭代計(jì)算，直到所述分類精度達(dá)到所述預(yù)設(shè)閾值。

結(jié)合第二方面，本發(fā)明實(shí)施例提供了第二方面的第三種可能的實(shí)施方式，其中，所述將所述原始信號(hào)和所述權(quán)值參數(shù)進(jìn)行編碼處理，得到特征向量包括：

生成初始化信息；

將所述權(quán)值參數(shù)、所述原始信號(hào)和所述初始化信息進(jìn)行編碼轉(zhuǎn)換；

對(duì)所述編碼轉(zhuǎn)換后的權(quán)值參數(shù)進(jìn)行存儲(chǔ)，并根據(jù)所述編碼轉(zhuǎn)換后的初始化信息分配計(jì)算資源；

將所述編碼轉(zhuǎn)換后的權(quán)值參數(shù)和所述編碼轉(zhuǎn)換后的原始信號(hào)進(jìn)行卷積計(jì)算、池化計(jì)算和全連接計(jì)算得到所述特征向量。

結(jié)合第二方面，本發(fā)明實(shí)施例提供了第二方面的第四種可能的實(shí)施方式，其中，所述根據(jù)所述特征向量得到判定結(jié)果包括：

通過(guò)將所述特征向量輸入分類器中進(jìn)行分類得到所述判定結(jié)果；

或者；

通過(guò)將所述特征向量與指定的對(duì)比向量進(jìn)行比較得到相似度。

本發(fā)明提供基于本地訓(xùn)練的深度學(xué)習(xí)系統(tǒng)和方法，首先，由采集單元將采集到的原始信號(hào)發(fā)送給邏輯控制單元，邏輯控制單元用于將原始信號(hào)發(fā)送給本地訓(xùn)練單元后，本地訓(xùn)練單元將原始信號(hào)作為本地訓(xùn)練樣本，并對(duì)其進(jìn)行前向傳播過(guò)程和反向傳播過(guò)程得到權(quán)值參數(shù)，將權(quán)值參數(shù)發(fā)送給邏輯控制單元，然后，邏輯控制單元對(duì)權(quán)值參數(shù)進(jìn)行接收，并將權(quán)值參數(shù)、原始信號(hào)和初始化信息發(fā)送給識(shí)別單元，最后，識(shí)別單元根據(jù)權(quán)值參數(shù)和原始信號(hào)進(jìn)行前向傳播過(guò)程得到特征向量，根據(jù)特征向量得到判定結(jié)果，最終將判定結(jié)果發(fā)送給邏輯控制單元。本發(fā)明實(shí)現(xiàn)了在本地完成訓(xùn)練過(guò)程，不依賴于網(wǎng)絡(luò)，隨時(shí)隨地，方便小巧，通用性強(qiáng)。

本發(fā)明的其他特征和優(yōu)點(diǎn)將在隨后的說(shuō)明書中闡述，并且，部分地從說(shuō)明書中變得顯而易見，或者通過(guò)實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)在說(shuō)明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來(lái)實(shí)現(xiàn)和獲得。

為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能更明顯易懂，下文特舉較佳實(shí)施例，并配合所附附圖，作詳細(xì)說(shuō)明如下。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明具體實(shí)施方式或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)具體實(shí)施方式或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施方式，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例提供的基于本地訓(xùn)練的深度學(xué)習(xí)系統(tǒng)結(jié)構(gòu)示意圖；

圖2為本發(fā)明實(shí)施例提供的識(shí)別單元結(jié)構(gòu)示意圖；

圖3為本發(fā)明實(shí)施例提供的本地訓(xùn)練單元結(jié)構(gòu)示意圖；

圖4為本發(fā)明實(shí)施例提供的基于本地訓(xùn)練的深度學(xué)習(xí)方法流程圖。

圖標(biāo)：

10-采集單元；20-邏輯控制單元；30-本地訓(xùn)練單元；31-前向傳播電路；32-反向傳播電路；40-識(shí)別單元；41-權(quán)值存儲(chǔ)模塊；42-特征提取模塊；43-判定模塊；44-接口模塊。

具體實(shí)施方式

為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

目前，已有的基于云端的訓(xùn)練方式需要借助于互聯(lián)網(wǎng)，不能實(shí)時(shí)進(jìn)行處理，通用性差，基于此，本發(fā)明實(shí)施例提供的基于本地訓(xùn)練的深度學(xué)習(xí)系統(tǒng)和方法，可以實(shí)現(xiàn)在本地完成訓(xùn)練過(guò)程，不依賴于網(wǎng)絡(luò)，隨時(shí)隨地，方便小巧，通用性強(qiáng)。

為便于對(duì)本實(shí)施例進(jìn)行理解，首先對(duì)本發(fā)明實(shí)施例所公開的基于本地訓(xùn)練的深度學(xué)習(xí)系統(tǒng)進(jìn)行詳細(xì)介紹。

圖1為本發(fā)明實(shí)施例提供的基于本地訓(xùn)練的深度學(xué)習(xí)系統(tǒng)結(jié)構(gòu)示意圖。

參照?qǐng)D1，基于本地訓(xùn)練的深度學(xué)習(xí)系統(tǒng)包括：采集單元10、邏輯控制單元20、本地訓(xùn)練單元30和識(shí)別單元40；

采集單元10，與邏輯控制單元20相連接，用于采集原始信號(hào)，并將原始信號(hào)發(fā)送給邏輯控制單元；

邏輯控制單元20，與本地訓(xùn)練單元30相連接，用于將原始信號(hào)發(fā)送給本地訓(xùn)練單元30，并接收本地訓(xùn)練單元30發(fā)送的權(quán)值參數(shù)，將權(quán)值參數(shù)、原始信號(hào)和初始化信息發(fā)送給識(shí)別單元40；

本地訓(xùn)練單元30，用于根據(jù)原始信號(hào)得到本地訓(xùn)練樣本，對(duì)本地訓(xùn)練樣本進(jìn)行前向傳播過(guò)程和反向傳播過(guò)程得到權(quán)值參數(shù)，并將權(quán)值參數(shù)發(fā)送給邏輯控制單元20；

識(shí)別單元40，與邏輯控制單元20相連接，用于根據(jù)權(quán)值參數(shù)和原始信號(hào)進(jìn)行前向傳播過(guò)程得到特征向量，根據(jù)特征向量得到判定結(jié)果，并將判定結(jié)果發(fā)送給所述邏輯控制單元20。

根據(jù)本發(fā)明的示例性實(shí)施例，本地訓(xùn)練單元包括前向傳播電路31和反向傳播電路32；

前向傳播電路31，用于對(duì)本地訓(xùn)練樣本進(jìn)行前向傳播過(guò)程計(jì)算，其中，前向傳播過(guò)程包括卷積計(jì)算、池化計(jì)算和全連接計(jì)算，并根據(jù)計(jì)算結(jié)果得到各層殘差、各層權(quán)值參數(shù)，將各層殘差、各層權(quán)值參數(shù)發(fā)送給反向傳播電路32；

具體地，前向傳播電路31用于計(jì)算本地訓(xùn)練樣本通過(guò)深度神經(jīng)網(wǎng)絡(luò)輸出的結(jié)果。該電路可以采用與識(shí)別單元的特征向量計(jì)算過(guò)程原理一致，因此可以采用相同的電路設(shè)計(jì)方式，甚至采用電路復(fù)用的方式實(shí)現(xiàn)。

反向傳播電路32，用于通過(guò)最小化殘差調(diào)整權(quán)值參數(shù)以進(jìn)行反向傳播過(guò)程得到權(quán)值參數(shù)，將權(quán)值參數(shù)發(fā)送給邏輯控制單元20。

具體地，反向傳播電路32采用反向傳播算法，通過(guò)實(shí)現(xiàn)最小化殘差來(lái)調(diào)整網(wǎng)絡(luò)參數(shù)。

根據(jù)本發(fā)明的示例性實(shí)施例，本地訓(xùn)練單元30與邏輯控制單元20通過(guò)USB接口或Ethernet接口相連接。

具體地，邏輯控制單元可以為計(jì)算機(jī)，不同于訓(xùn)練單元在云端的情況，本地訓(xùn)練單元可以通過(guò)USB接口或Ethernet接口與計(jì)算機(jī)相連接，但并不限于這兩種接口形式，還可以為USB-C或Firewire(火線)等通用接口，可移動(dòng)性強(qiáng)，小巧便利。

根據(jù)本發(fā)明的示例性實(shí)施例，本地訓(xùn)練單元30可以是，但不限于，例如FPGA(Field－Programmable Gate Array，現(xiàn)場(chǎng)可編程邏輯門陣列)或GPU(Graphics Processing Unit，圖形處理器)。

具體地，本地訓(xùn)練單元可采用并行性能較高、功耗較低的嵌入式設(shè)備FPGA或GPU實(shí)現(xiàn)。

根據(jù)本發(fā)明的示例性實(shí)施例，前向傳播電路31和反向傳播電路32均采用并行電路進(jìn)行計(jì)算。

具體地，本地訓(xùn)練單元的電路設(shè)計(jì)具有高并行性，前向傳播過(guò)程中的卷積計(jì)算與池化計(jì)算過(guò)程，因?yàn)橥粚拥哪硞€(gè)神經(jīng)元的計(jì)算結(jié)果不影響其他神經(jīng)元的計(jì)算，因此均可采用并行電路同時(shí)計(jì)算；反向傳播過(guò)程中，每一層的神經(jīng)元的權(quán)值偏導(dǎo)數(shù)的計(jì)算結(jié)果不影響其他神經(jīng)元的計(jì)算，因此均可采用并行電路同時(shí)計(jì)算。

圖2為本發(fā)明實(shí)施例提供的識(shí)別單元結(jié)構(gòu)示意圖。

參照?qǐng)D2，識(shí)別單元40包括權(quán)值存儲(chǔ)模塊41、特征提取模塊42、判定模塊43和接口模塊44；

接口模塊44，與判定模塊43相連接，用于接收權(quán)值參數(shù)、原始信號(hào)和初始化信息，將初始化信息和原始信號(hào)發(fā)送給特征提取模塊42，以及將權(quán)值參數(shù)發(fā)送給權(quán)值存儲(chǔ)模塊41；

具體地，接口模塊44接收來(lái)自邏輯控制單元20的輸入，如原始信號(hào)、權(quán)值參數(shù)、初始化信息，并將其轉(zhuǎn)換為本地總線所能接收的編碼格式；此外，還需將判定結(jié)果轉(zhuǎn)換為通用格式傳輸給邏輯控制單元20。并且，接口模塊44通過(guò)USB、Ethernet、USB-C或Firewire等通用接口實(shí)現(xiàn)與邏輯控制單元的連接

權(quán)值存儲(chǔ)模塊41，與特征提取模塊42相連接，用于存儲(chǔ)權(quán)值參數(shù)，并將權(quán)值參數(shù)發(fā)送給特征提取模塊42；

具體地，權(quán)值存儲(chǔ)模塊41接收接口模塊44發(fā)送的權(quán)值參數(shù)并進(jìn)行存儲(chǔ)，這里，該權(quán)值參數(shù)為訓(xùn)練好的權(quán)值參數(shù)；權(quán)值存儲(chǔ)模塊41可采用現(xiàn)有掉電保持存儲(chǔ)介質(zhì)，如SD，MicroSD等存儲(chǔ)訓(xùn)練好的權(quán)值；采用高速訪問(wèn)存儲(chǔ)介質(zhì)，如Onchip RAM，SDRAM(Synchronous Dynamic Random Access Memory，同步動(dòng)態(tài)隨機(jī)存儲(chǔ)器)實(shí)現(xiàn)。

特征提取模塊42，與判定模塊43相連接，用于根據(jù)初始化信息分配計(jì)算資源，并根據(jù)權(quán)值參數(shù)、原始信號(hào)的得到特征向量，將特征向量發(fā)送給判定模塊43；

具體地，特征提取模塊42通過(guò)卷積層和池化層組成的卷積神經(jīng)網(wǎng)絡(luò)，提取到特征向量，可采用并行性能較高、功耗較低的嵌入式設(shè)備，如FPGA(Field－Programmable Gate Array，現(xiàn)場(chǎng)可編程邏輯門陣列)和GPU(Graphics Processing Unit，圖像處理器)實(shí)現(xiàn)。

判定模塊43，與接口模塊44相連接，用于根據(jù)特征向量得到判定結(jié)果，并將最終得到的判定結(jié)果發(fā)送給接口模塊44，以使接口模塊44將判定結(jié)果發(fā)送給邏輯控制單元20。

具體地，判定模塊43可以根據(jù)不同的應(yīng)用類型來(lái)選擇其算法，如果任務(wù)是分類，例如文字識(shí)別，則需要將特征向量作為輸入，通過(guò)分類器輸出判定結(jié)果；如果任務(wù)是比較，例如人臉識(shí)別，則將特征向量和指定的特征向量進(jìn)行比較，輸出是相似度?？刹捎貌⑿行阅茌^高、功耗較低的嵌入式設(shè)備FPGA或GPU實(shí)現(xiàn)。

本發(fā)明提供基于本地訓(xùn)練的深度學(xué)習(xí)系統(tǒng)，首先，由采集單元將采集到的原始信號(hào)發(fā)送給邏輯控制單元，邏輯控制單元用于將原始信號(hào)發(fā)送給本地訓(xùn)練單元后，本地訓(xùn)練單元將原始信號(hào)作為本地訓(xùn)練樣本，并對(duì)其進(jìn)行前向傳播過(guò)程和反向傳播過(guò)程得到權(quán)值參數(shù)，將權(quán)值參數(shù)發(fā)送給邏輯控制單元，然后，邏輯控制單元對(duì)權(quán)值參數(shù)進(jìn)行接收，并將權(quán)值參數(shù)、原始信號(hào)和初始化信息發(fā)送給識(shí)別單元，最后，識(shí)別單元根據(jù)權(quán)值參數(shù)和原始信號(hào)進(jìn)行前向傳播過(guò)程得到特征向量，根據(jù)特征向量得到判定結(jié)果，最終將判定結(jié)果發(fā)送給邏輯控制單元。本發(fā)明實(shí)現(xiàn)了在本地完成訓(xùn)練過(guò)程，不依賴于網(wǎng)絡(luò)，隨時(shí)隨地，方便小巧，通用性強(qiáng)。

圖4為本發(fā)明實(shí)施例提供的基于本地訓(xùn)練的深度學(xué)習(xí)方法流程圖。

參照?qǐng)D4，該基于本地訓(xùn)練的深度學(xué)習(xí)方法包括如下步驟：

步驟S101，采集原始信號(hào)；

其中，由采集單元利用現(xiàn)有相機(jī)、話筒等設(shè)備對(duì)圖像、語(yǔ)音等信號(hào)進(jìn)行原始信號(hào)的采集。

步驟S102，將原始信號(hào)進(jìn)行本地訓(xùn)練，得到權(quán)值參數(shù)；

其中，邏輯控制單元將采集信號(hào)作為本地訓(xùn)練樣本，通過(guò)USB、Ethernet、USB-C或Firewire等通用接口等通用接口發(fā)送給本地訓(xùn)練單元，由本地訓(xùn)練單元對(duì)本地訓(xùn)練樣本進(jìn)行本地訓(xùn)練可以得到權(quán)值參數(shù)。

步驟S103，將原始信號(hào)和權(quán)值參數(shù)進(jìn)行編碼處理，得到特征向量；

其中，邏輯控制單元將權(quán)值參數(shù)、原始信號(hào)和初始化信息發(fā)送給識(shí)別單元，由識(shí)別單元對(duì)原始信號(hào)和權(quán)值參數(shù)進(jìn)行編碼處理，得到特征向量。

步驟S104，根據(jù)特征向量得到判定結(jié)果。

其中，識(shí)別單元根據(jù)特征向量得到判定結(jié)果，這里，識(shí)別單元中的判定模塊可以根據(jù)不同的應(yīng)用類型來(lái)選擇其算法，如果任務(wù)是分類，例如文字識(shí)別，則需要將特征向量作為輸入，通過(guò)分類器輸出判定結(jié)果；如果任務(wù)是比較，例如人臉識(shí)別，則將特征向量和指定的特征向量進(jìn)行比較，輸出是相似度。

根據(jù)本發(fā)明的示例性實(shí)施例，將原始信號(hào)進(jìn)行本地訓(xùn)練，得到權(quán)值參數(shù)包括：對(duì)原始信號(hào)進(jìn)行歸一化預(yù)處理得到統(tǒng)一格式的本地訓(xùn)練樣本；

判斷對(duì)原始信號(hào)的采樣是否結(jié)束，如果結(jié)束，則繼續(xù)采集原始信號(hào)，如果未結(jié)束，則根據(jù)本地訓(xùn)練樣本計(jì)算權(quán)值參數(shù)；

根據(jù)本發(fā)明的示例性實(shí)施例，根據(jù)本地訓(xùn)練樣本計(jì)算權(quán)值參數(shù)包括：

對(duì)本地訓(xùn)練樣本進(jìn)行前向傳播計(jì)算和網(wǎng)絡(luò)誤差損失計(jì)算得到各層殘差、各層權(quán)值參數(shù)和分類精度；

通過(guò)最小化殘差調(diào)整權(quán)值參數(shù)，并判斷分類精度是否達(dá)到預(yù)設(shè)閾值；

如果未達(dá)到預(yù)設(shè)閾值，則根據(jù)調(diào)整后的權(quán)值參數(shù)進(jìn)行迭代計(jì)算，直到分類精度達(dá)到預(yù)設(shè)閾值。

具體地，如果分類精度到達(dá)預(yù)設(shè)閾值，則輸出權(quán)值參數(shù)，并將權(quán)值參數(shù)保存到權(quán)值數(shù)據(jù)庫(kù)。

根據(jù)本發(fā)明的示例性實(shí)施例，將原始信號(hào)和權(quán)值參數(shù)進(jìn)行編碼處理，得到特征向量包括：

生成初始化信息；

將權(quán)值參數(shù)、原始信號(hào)和初始化信息進(jìn)行編碼轉(zhuǎn)換；

對(duì)編碼轉(zhuǎn)換后的權(quán)值參數(shù)進(jìn)行存儲(chǔ)，并根據(jù)編碼轉(zhuǎn)換后的初始化信息分配計(jì)算資源；

將編碼轉(zhuǎn)換后的權(quán)值參數(shù)和編碼轉(zhuǎn)換后的原始信號(hào)進(jìn)行卷積計(jì)算、池化計(jì)算和全連接計(jì)算得到特征向量。

具體地，由邏輯控制單元生成初始化信息，由識(shí)別單元將權(quán)值參數(shù)、原始信號(hào)和初始化信息進(jìn)行編碼轉(zhuǎn)換，并進(jìn)行計(jì)算得到特征向量。識(shí)別單元中的特征提取模塊采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)提取原始信號(hào)特征，特征提取過(guò)程經(jīng)過(guò)卷積、池化、全連接三種計(jì)算的多次組合，將輸入的原始信號(hào)轉(zhuǎn)變?yōu)樘卣飨蛄枯敵?。卷積計(jì)算、池化計(jì)算和全連接計(jì)算的計(jì)算方法如下：

卷積計(jì)算如公式(1)所示：

其中，l表示層數(shù)，j表示卷積核編號(hào)，i表示輸入層編號(hào)，M_j為選擇的輸入層集合，β為偏置系數(shù)，f為激活函數(shù)，通常為tanh或sigmoid等非線性函數(shù)。

池化計(jì)算如公式(2)所示：

其中，l表示層數(shù)，j表示n*n大小的池化窗口編號(hào)，β為偏置系數(shù)，f為激活函數(shù)，通常為tanh或sigmoid等非線性函數(shù)，down()為降采樣函數(shù)，通常為取平均值或最大值。

另外，全連接計(jì)算為輸入節(jié)點(diǎn)與輸出節(jié)點(diǎn)之間全部按照權(quán)值參數(shù)建立全連接映射。

根據(jù)本發(fā)明的示例性實(shí)施例，根據(jù)特征向量得到判定結(jié)果包括：

通過(guò)將特征向量輸入分類器中進(jìn)行分類得到判定結(jié)果；

或者；

通過(guò)將特征向量與指定的對(duì)比向量進(jìn)行比較得到相似度。

具體地，以上步驟的執(zhí)行主體為識(shí)別單元。

本發(fā)明實(shí)施例提供的基于本地訓(xùn)練的深度學(xué)習(xí)方法，與上述實(shí)施例提供的基于本地訓(xùn)練的深度學(xué)習(xí)系統(tǒng)具有相同的技術(shù)特征，所以也能解決相同的技術(shù)問(wèn)題，達(dá)到相同的技術(shù)效果。方法包括采集原始信號(hào)；將原始信號(hào)進(jìn)行本地訓(xùn)練，得到權(quán)值參數(shù)；將原始信號(hào)和權(quán)值參數(shù)進(jìn)行編碼處理，得到特征向量；根據(jù)特征向量得到判定結(jié)果。本發(fā)明實(shí)現(xiàn)了自動(dòng)識(shí)別、檢測(cè)、定位、感知、理解等功能，可針對(duì)圖像、視頻、語(yǔ)音及其他數(shù)據(jù)進(jìn)行處理，具有很強(qiáng)的通用性，相比于云端訓(xùn)練的系統(tǒng)，滿足隨時(shí)訓(xùn)練的需求，更加方便，功耗更低，具有移動(dòng)性。

需要說(shuō)明的是，如果采用云端訓(xùn)練的方法，則云端訓(xùn)練單元?jiǎng)t應(yīng)包括服務(wù)器和并行計(jì)算模塊；服務(wù)器，用于接收原始信號(hào)，并根據(jù)原始信號(hào)進(jìn)行云端訓(xùn)練得到權(quán)值參數(shù)，將權(quán)值參數(shù)發(fā)送給邏輯控制單元；并行計(jì)算模塊，用于對(duì)云端訓(xùn)練的過(guò)程進(jìn)行并行加速。因此，采用嵌入式的方式實(shí)現(xiàn)本地訓(xùn)練可以擺脫對(duì)網(wǎng)絡(luò)的依賴，隨時(shí)隨地實(shí)時(shí)處理任務(wù)需求，不需要客戶二次開發(fā)算法和應(yīng)用軟件，大大提高了通用性，只需要USB接口即可實(shí)現(xiàn)本地訓(xùn)練單元與通用計(jì)算機(jī)的連接，對(duì)于使用者來(lái)講更加便利。

本發(fā)明實(shí)施例所提供的基于本地訓(xùn)練的深度學(xué)習(xí)方法以及系統(tǒng)的計(jì)算機(jī)程序產(chǎn)品，包括存儲(chǔ)了程序代碼的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述程序代碼包括的指令可用于執(zhí)行前面方法實(shí)施例中所述的方法，具體實(shí)現(xiàn)可參見方法實(shí)施例，在此不再贅述。

所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡(jiǎn)潔，上述描述的系統(tǒng)和裝置的具體工作過(guò)程，可以參考前述方法實(shí)施例中的對(duì)應(yīng)過(guò)程，在此不再贅述。

另外，在本發(fā)明實(shí)施例的描述中，除非另有明確的規(guī)定和限定，術(shù)語(yǔ)“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是固定連接，也可以是可拆卸連接，或一體地連接；可以是機(jī)械連接，也可以是電連接；可以是直接相連，也可以通過(guò)中間媒介間接相連，可以是兩個(gè)元件內(nèi)部的連通。對(duì)于本領(lǐng)域的普通技術(shù)人員而言，可以具體情況理解上述術(shù)語(yǔ)在本發(fā)明中的具體含義。

所述功能如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括：U盤、移動(dòng)硬盤、只讀存儲(chǔ)器(ROM，Read-Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM，Random Access Memory)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。

在本發(fā)明的描述中，需要說(shuō)明的是，術(shù)語(yǔ)“中心”、“上”、“下”、“左”、“右”、“豎直”、“水平”、“內(nèi)”、“外”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系，僅是為了便于描述本發(fā)明和簡(jiǎn)化描述，而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作，因此不能理解為對(duì)本發(fā)明的限制。此外，術(shù)語(yǔ)“第一”、“第二”、“第三”僅用于描述目的，而不能理解為指示或暗示相對(duì)重要性。

最后應(yīng)說(shuō)明的是：以上所述實(shí)施例，僅為本發(fā)明的具體實(shí)施方式，用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制，本發(fā)明的保護(hù)范圍并不局限于此，盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，其依然可以對(duì)前述實(shí)施例所記載的技術(shù)方案進(jìn)行修改或可輕易想到變化，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改、變化或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明實(shí)施例技術(shù)方案的精神和范圍，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)所述以權(quán)利要求的保護(hù)范圍為準(zhǔn)。