本發(fā)明涉及圖像處理領(lǐng)域，更具體地涉及一種基于神經(jīng)網(wǎng)絡(luò)的計(jì)算方法及裝置。

背景技術(shù)：

神經(jīng)網(wǎng)絡(luò)(Neural Networks，NNs)也稱為人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks，ANNs)或連接模型(Connection Model)，是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。神經(jīng)網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量計(jì)算節(jié)點(diǎn)之間相互連接的關(guān)系，從而達(dá)到處理信息的目的。

神經(jīng)網(wǎng)絡(luò)在語音識(shí)別、文字識(shí)別、以及圖像視頻識(shí)別等許多領(lǐng)域中已經(jīng)有了廣泛而成功的應(yīng)用。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)采用雙精度或單精度浮點(diǎn)數(shù)乘/加計(jì)算作為基本計(jì)算單元，然而，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)的算法架構(gòu)會(huì)導(dǎo)致大計(jì)算量需求、高內(nèi)存(或顯存)占用、以及高帶寬要求等問題，不僅對(duì)硬件的要求較高，還會(huì)造成成本的增加。

技術(shù)實(shí)現(xiàn)要素：

考慮到上述問題而提出了本發(fā)明。本發(fā)明提供了一種基于神經(jīng)網(wǎng)絡(luò)的計(jì)算方法，該方法對(duì)硬件的要求較低，從而能夠節(jié)約成本。

根據(jù)本發(fā)明的第一方面，提供了一種基于神經(jīng)網(wǎng)絡(luò)的計(jì)算方法，包括：

獲取張量形式的原始圖像；

對(duì)所述張量形式的原始圖像進(jìn)行定點(diǎn)計(jì)算；

基于所述定點(diǎn)計(jì)算的輸出數(shù)據(jù)，產(chǎn)生圖像熱力圖；以及

基于所述圖像熱力圖對(duì)所述原始圖像進(jìn)行標(biāo)注。

示例性地，所述對(duì)所述張量形式的原始圖像進(jìn)行定點(diǎn)計(jì)算，包括：

所述神經(jīng)網(wǎng)絡(luò)中的每一個(gè)計(jì)算節(jié)點(diǎn)執(zhí)行以下操作：

對(duì)輸入數(shù)據(jù)進(jìn)行卷積操作；

對(duì)所述卷積操作的卷積輸出進(jìn)行線性計(jì)算；

對(duì)所述線性計(jì)算的結(jié)果進(jìn)行低位寬定點(diǎn)化；

其中，所述神經(jīng)網(wǎng)絡(luò)中的第一個(gè)計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)為所述張量形式的原始圖像，所述神經(jīng)網(wǎng)絡(luò)中的除所述第一個(gè)計(jì)算節(jié)點(diǎn)之外的其他計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)為前一個(gè)計(jì)算節(jié)點(diǎn)的低位寬定點(diǎn)化的結(jié)果。

示例性地，所述線性計(jì)算為浮點(diǎn)線性計(jì)算。

示例性地，所述浮點(diǎn)線性計(jì)算表示為：y＝k×X+b，

其中，X為定點(diǎn)數(shù)，k、b和y為浮點(diǎn)數(shù)，X表示所述卷積輸出，y表示所述浮點(diǎn)線性計(jì)算的結(jié)果，k和b為預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)。

示例性地，所述對(duì)所述線性計(jì)算的結(jié)果進(jìn)行低位寬定點(diǎn)化，包括：

根據(jù)所述浮點(diǎn)線性計(jì)算的結(jié)果與第一定點(diǎn)判決閾值之間的大小關(guān)系，確定所述低位寬定點(diǎn)化的結(jié)果，

其中，所述第一定點(diǎn)判決閾值為預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)，且所述第一定點(diǎn)判決閾值大于0。

示例性地，所述線性計(jì)算為定點(diǎn)線性計(jì)算。

示例性地，所述定點(diǎn)線性計(jì)算表示為：Y’＝X’+B，

其中，X’＝N×X，X、X’、Y’、B和N均為定點(diǎn)數(shù)，N為預(yù)設(shè)的正整數(shù)，X表示所述卷積輸出，Y’表示所述定點(diǎn)線性計(jì)算的結(jié)果，B表示定點(diǎn)位移參數(shù)。

示例性地，所述對(duì)所述線性計(jì)算的結(jié)果進(jìn)行低位寬定點(diǎn)化，包括：

根據(jù)所述定點(diǎn)線性計(jì)算的結(jié)果與第二定點(diǎn)判決閾值之間的大小關(guān)系，確定所述低位寬定點(diǎn)化的結(jié)果。

示例性地，在所述對(duì)所述卷積操作的卷積輸出進(jìn)行線性計(jì)算之前，還包括：

根據(jù)預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)，確定所述定點(diǎn)位移參數(shù)和所述第二定點(diǎn)判決閾值。

示例性地，所述對(duì)輸入數(shù)據(jù)進(jìn)行卷積操作，包括：

對(duì)所述輸入數(shù)據(jù)進(jìn)行以低位寬定點(diǎn)乘加為基礎(chǔ)單元的卷積操作。

示例性地，所述定點(diǎn)計(jì)算的輸出數(shù)據(jù)為所述神經(jīng)網(wǎng)絡(luò)中的最后一個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行定點(diǎn)計(jì)算所得到的低位寬定點(diǎn)化的結(jié)果。

根據(jù)本發(fā)明的第二方面，提供了一種基于神經(jīng)網(wǎng)絡(luò)的計(jì)算裝置，包括：

獲取模塊，用于獲取張量形式的原始圖像；

計(jì)算模塊，用于對(duì)所述張量形式的原始圖像進(jìn)行定點(diǎn)計(jì)算；

熱力圖產(chǎn)生模塊，用于基于所述定點(diǎn)計(jì)算的輸出數(shù)據(jù)，產(chǎn)生圖像熱力圖；以及

圖像標(biāo)注模塊，用于基于所述圖像熱力圖對(duì)所述原始圖像進(jìn)行標(biāo)注。

示例性地，所述計(jì)算模塊包括卷積子模塊，線性計(jì)算子模塊和定點(diǎn)化模塊，

針對(duì)所述神經(jīng)網(wǎng)絡(luò)中的每一個(gè)計(jì)算節(jié)點(diǎn)：

所述卷積子模塊，用于對(duì)輸入數(shù)據(jù)進(jìn)行卷積操作；

所述線性計(jì)算子模塊，用于對(duì)所述卷積操作的卷積輸出進(jìn)行線性計(jì)算；

所述定點(diǎn)化模塊，用于對(duì)所述線性計(jì)算的結(jié)果進(jìn)行低位寬定點(diǎn)化；

其中，所述神經(jīng)網(wǎng)絡(luò)中的第一個(gè)計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)為所述張量形式的原始圖像，所述神經(jīng)網(wǎng)絡(luò)中的除所述第一個(gè)計(jì)算節(jié)點(diǎn)之外的其他計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)為前一個(gè)計(jì)算節(jié)點(diǎn)的低位寬定點(diǎn)化的結(jié)果。

示例性地，所述線性計(jì)算為浮點(diǎn)線性計(jì)算。

示例性地，所述浮點(diǎn)線性計(jì)算表示為：y＝k×X+b，

其中，X為定點(diǎn)數(shù)，k、b和y為浮點(diǎn)數(shù)，X表示所述卷積輸出，y表示所述浮點(diǎn)線性計(jì)算的結(jié)果，k和b為預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)。

示例性地，所述定點(diǎn)化模塊，用于：

根據(jù)所述浮點(diǎn)線性計(jì)算的結(jié)果與第一定點(diǎn)判決閾值之間的大小關(guān)系，確定所述低位寬定點(diǎn)化的結(jié)果，

其中，所述第一定點(diǎn)判決閾值為預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)，且所述第一定點(diǎn)判決閾值大于0。

示例性地，所述線性計(jì)算為定點(diǎn)線性計(jì)算。

示例性地，所述定點(diǎn)線性計(jì)算表示為：Y’＝X’+B，

其中，X’＝N×X，X、X’、Y’、B和N均為定點(diǎn)數(shù)，N為預(yù)設(shè)的正整數(shù)，X表示所述卷積輸出，Y’表示所述定點(diǎn)線性計(jì)算的結(jié)果，B表示定點(diǎn)位移參數(shù)。

示例性地，所述定點(diǎn)化子模塊，用于：

根據(jù)所述定點(diǎn)線性計(jì)算的結(jié)果與第二定點(diǎn)判決閾值之間的大小關(guān)系，確定所述低位寬定點(diǎn)化的結(jié)果。

示例性地，所述線性計(jì)算子模塊，還用于：

在對(duì)所述卷積操作的卷積輸出進(jìn)行線性計(jì)算之前，根據(jù)預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)，確定所述定點(diǎn)位移參數(shù)和所述第二定點(diǎn)判決閾值。

示例性地，所述卷積子模塊，用于：

對(duì)所述輸入數(shù)據(jù)進(jìn)行以低位寬定點(diǎn)乘加為基礎(chǔ)單元的卷積操作。

示例性地，所述定點(diǎn)計(jì)算的輸出數(shù)據(jù)為所述神經(jīng)網(wǎng)絡(luò)中的最后一個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行定點(diǎn)計(jì)算所得到的低位寬定點(diǎn)化的結(jié)果。

第二方面所述的該裝置能夠用于實(shí)現(xiàn)前述第一方面的基于神經(jīng)網(wǎng)絡(luò)的計(jì)算方法。

根據(jù)本發(fā)明的第三方面，提供了一種計(jì)算機(jī)芯片，該計(jì)算機(jī)芯片包括處理器和存儲(chǔ)器。所述存儲(chǔ)器存儲(chǔ)有指令代碼，所述處理器用于執(zhí)行所述指令代碼，且當(dāng)所述處理器執(zhí)行指令代碼時(shí)，能夠?qū)崿F(xiàn)前述第一方面所述的基于神經(jīng)網(wǎng)絡(luò)的計(jì)算方法。

本發(fā)明實(shí)施例提出的采用定點(diǎn)化方法實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的計(jì)算的方法，由于采用了定點(diǎn)計(jì)算，計(jì)算量小，占用資源少，從而對(duì)硬件的要求較低。

附圖說明

通過結(jié)合附圖對(duì)本發(fā)明實(shí)施例進(jìn)行更詳細(xì)的描述，本發(fā)明的上述以及其它目的、特征和優(yōu)勢(shì)將變得更加明顯。附圖用來提供對(duì)本發(fā)明實(shí)施例的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中，相同的參考標(biāo)號(hào)通常代表相同部件或步驟。

圖1是本發(fā)明實(shí)施例的電子設(shè)備的一個(gè)示意性框圖；

圖2是本發(fā)明實(shí)施例的基于神經(jīng)網(wǎng)絡(luò)的計(jì)算方法的一個(gè)示意性流程圖；

圖3是本發(fā)明實(shí)施例的基于神經(jīng)網(wǎng)絡(luò)的計(jì)算方法的另一個(gè)示意性流程圖；

圖4是本發(fā)明實(shí)施例的基于神經(jīng)網(wǎng)絡(luò)的計(jì)算方法的另一個(gè)示意性流程圖；

圖5是本發(fā)明實(shí)施例的基于神經(jīng)網(wǎng)絡(luò)的計(jì)算裝置的一個(gè)示意性框圖；

圖6是本發(fā)明實(shí)施例的基于神經(jīng)網(wǎng)絡(luò)的計(jì)算裝置的另一個(gè)示意性框圖。

具體實(shí)施方式

為了使得本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更為明顯，下面將參照附圖詳細(xì)描述根據(jù)本發(fā)明的示例實(shí)施例。顯然，所描述的實(shí)施例僅僅是本發(fā)明的一部分實(shí)施例，而不是本發(fā)明的全部實(shí)施例，應(yīng)理解，本發(fā)明不受這里描述的示例實(shí)施例的限制。基于本發(fā)明中描述的本發(fā)明實(shí)施例，本領(lǐng)域技術(shù)人員在沒有付出創(chuàng)造性勞動(dòng)的情況下所得到的所有其它實(shí)施例都應(yīng)落入本發(fā)明的保護(hù)范圍之內(nèi)。

傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)的一般算法架構(gòu)如下：(1)將輸入圖片提取成張量的形式，傳入已經(jīng)訓(xùn)練好的浮點(diǎn)計(jì)算神經(jīng)網(wǎng)絡(luò)。(2)浮點(diǎn)計(jì)算神經(jīng)網(wǎng)絡(luò)中的每一個(gè)計(jì)算節(jié)點(diǎn)，通過以浮點(diǎn)乘加為基礎(chǔ)單元的卷積操作，并將浮點(diǎn)計(jì)算結(jié)果傳送至下一層計(jì)算節(jié)點(diǎn)。(3)經(jīng)過多層的計(jì)算節(jié)點(diǎn)運(yùn)算后，最終神經(jīng)網(wǎng)絡(luò)的輸出層產(chǎn)生圖像分割熱力圖(heatmap)，然后在其基礎(chǔ)上對(duì)原圖進(jìn)行相關(guān)標(biāo)注。然而，這樣的架構(gòu)往往導(dǎo)致大計(jì)算量需求、高內(nèi)存(或顯存)占用、以及高帶寬要求等問題，從而對(duì)硬件實(shí)現(xiàn)大規(guī)模神經(jīng)網(wǎng)絡(luò)提出了很高的要求。

本發(fā)明實(shí)施例提出了一種采用定點(diǎn)化方法實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的計(jì)算的方法，由于采用了定點(diǎn)計(jì)算，計(jì)算量小，占用資源少，從而對(duì)硬件的要求較低。

本發(fā)明實(shí)施例可以應(yīng)用于電子設(shè)備，圖1所示為本發(fā)明實(shí)施例的電子設(shè)備的一個(gè)示意性框圖。圖1所示的電子設(shè)備10包括一個(gè)或多個(gè)處理器102、一個(gè)或多個(gè)存儲(chǔ)裝置104、輸入裝置106、輸出裝置108、圖像傳感器110以及一個(gè)或多個(gè)非圖像傳感器114，這些組件通過總線系統(tǒng)112和/或其它形式互連。應(yīng)當(dāng)注意，圖1所示的電子設(shè)備10的組件和結(jié)構(gòu)只是示例性的，而非限制性的，根據(jù)需要，所述電子設(shè)備也可以具有其他組件和結(jié)構(gòu)。

所述處理器102可以包括中央處理單元(Central Processing Unit，CPU)1021和/或圖像處理單元(Graphics Processing Unit，GPU)1022，或者包括具有數(shù)據(jù)處理能力和/或指令執(zhí)行能力的其它形式的處理單元，例如現(xiàn)場(chǎng)可編程門陣列(Field－Programmable Gate Array，F(xiàn)PGA)或進(jìn)階精簡(jiǎn)指令集機(jī)器(Advanced RISC(Reduced Instruction Set Computer)Machine，ARM)等，并且處理器102可以控制所述電子設(shè)備10中的其它組件以執(zhí)行期望的功能。

所述存儲(chǔ)裝置104可以包括一個(gè)或多個(gè)計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品可以包括各種形式的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，例如易失性存儲(chǔ)器1041和/或非易失性存儲(chǔ)器1042。所述易失性存儲(chǔ)器1041例如可以包括隨機(jī)存取存儲(chǔ)器(Random Access Memory，RAM)和/或高速緩沖存儲(chǔ)器(cache)等。所述非易失性存儲(chǔ)器1042例如可以包括只讀存儲(chǔ)器(Read-Only Memory，ROM)、硬盤、閃存等。在所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上可以存儲(chǔ)一個(gè)或多個(gè)計(jì)算機(jī)程序指令，處理器102可以運(yùn)行所述程序指令，以實(shí)現(xiàn)各種期望的功能。在所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中還可以存儲(chǔ)各種應(yīng)用程序和各種數(shù)據(jù)，例如所述應(yīng)用程序使用和/或產(chǎn)生的各種數(shù)據(jù)等。

所述輸入裝置106可以是用戶用來輸入指令的裝置，并且可以包括鍵盤、鼠標(biāo)、麥克風(fēng)和觸摸屏等中的一個(gè)或多個(gè)。

所述輸出裝置108可以向外部(例如用戶)輸出各種信息(例如圖像或聲音)，并且可以包括顯示器、揚(yáng)聲器等中的一個(gè)或多個(gè)。

所述圖像傳感器110可以拍攝用戶期望的圖像(例如照片、視頻等)，并且將所拍攝的圖像存儲(chǔ)在所述存儲(chǔ)裝置104中以供其它組件使用。

當(dāng)注意，圖1所示的電子設(shè)備10的組件和結(jié)構(gòu)只是示例性的，盡管圖1示出的電子設(shè)備20包括多個(gè)不同的裝置，但是根據(jù)需要，其中的一些裝置可以不是必須的，其中的一些裝置的數(shù)量可以更多等等，本發(fā)明對(duì)此不限定。

圖2是本發(fā)明實(shí)施例的基于神經(jīng)網(wǎng)絡(luò)的計(jì)算方法的一個(gè)示意性流程圖，圖2所示的方法包括：

S101，獲取張量形式的原始圖像。

具體地，張量形式的原始圖像，可以通過在普通RGB圖像(例如來自光學(xué)傳感器的RGB圖像)上提取特征張量得到。其中，在得到張量形式的原始圖像后，再將該張量形式的原始圖像傳入已經(jīng)訓(xùn)練好的定點(diǎn)計(jì)算神經(jīng)網(wǎng)絡(luò)進(jìn)行處理。其中，原始圖像也可以稱為輸入圖像。圖像可以為圖片(例如視頻幀)或連續(xù)的視頻。

也就是說，S101是指：已經(jīng)訓(xùn)練好的定點(diǎn)計(jì)算神經(jīng)網(wǎng)絡(luò)獲取張量形式的原始圖像。

本發(fā)明實(shí)施例中，已經(jīng)訓(xùn)練好的定點(diǎn)計(jì)算神經(jīng)網(wǎng)絡(luò)中包括預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)、以及卷積操作所需的參數(shù)等。其中，預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)包括后續(xù)所涉及的k、b、t0、t1….等。

S102，對(duì)所述張量形式的原始圖像進(jìn)行定點(diǎn)計(jì)算。

神經(jīng)網(wǎng)絡(luò)中包括多個(gè)(此處指至少兩個(gè))計(jì)算節(jié)點(diǎn)。

具體地，S102中，所述神經(jīng)網(wǎng)絡(luò)中的每一個(gè)計(jì)算節(jié)點(diǎn)執(zhí)行以下操作：對(duì)輸入數(shù)據(jù)進(jìn)行卷積操作；對(duì)所述卷積操作的卷積輸出進(jìn)行線性計(jì)算；對(duì)所述線性計(jì)算的結(jié)果進(jìn)行低位寬定點(diǎn)化。其中，所述神經(jīng)網(wǎng)絡(luò)中的第一個(gè)計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)為所述張量形式的原始圖像，所述神經(jīng)網(wǎng)絡(luò)中的除所述第一個(gè)計(jì)算節(jié)點(diǎn)之外的其他計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)為前一個(gè)計(jì)算節(jié)點(diǎn)的低位寬定點(diǎn)化的結(jié)果。

也就是說，每一個(gè)計(jì)算節(jié)點(diǎn)均執(zhí)行：卷積操作、線性計(jì)算操作和定點(diǎn)化操作。

這里，可以將計(jì)算節(jié)點(diǎn)得到的低位寬定點(diǎn)化的結(jié)果稱為該計(jì)算節(jié)點(diǎn)的輸出數(shù)據(jù)。從而，所述神經(jīng)網(wǎng)絡(luò)中的除所述第一個(gè)計(jì)算節(jié)點(diǎn)之外的其他計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)為前一個(gè)計(jì)算節(jié)點(diǎn)的輸出數(shù)據(jù)。

神經(jīng)網(wǎng)絡(luò)中的所有計(jì)算節(jié)點(diǎn)可以包括第一個(gè)計(jì)算節(jié)點(diǎn)(也可以稱為起始計(jì)算節(jié)點(diǎn))、中間計(jì)算節(jié)點(diǎn)和最后一個(gè)計(jì)算節(jié)點(diǎn)。其中，第一個(gè)計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)為所述張量形式的原始圖像的數(shù)據(jù)。中間計(jì)算節(jié)點(diǎn)和最后一個(gè)計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)為前一個(gè)計(jì)算節(jié)點(diǎn)的輸出數(shù)據(jù)。其中，第一個(gè)計(jì)算節(jié)點(diǎn)和中間計(jì)算節(jié)點(diǎn)將得到的輸出數(shù)據(jù)給下一個(gè)計(jì)算節(jié)點(diǎn)。

其中，對(duì)輸入數(shù)據(jù)進(jìn)行卷積操作，可以包括：對(duì)輸入數(shù)據(jù)進(jìn)行以低位寬定點(diǎn)乘加為基礎(chǔ)單元的卷積操作。這樣，采用定點(diǎn)乘加能夠減小計(jì)算量，減少資源占用，而采用低位寬定點(diǎn)乘加能夠進(jìn)一步減小計(jì)算量，并進(jìn)一步減少資源占用。

其中，對(duì)所述卷積操作的卷積輸出進(jìn)行線性計(jì)算，包括：對(duì)卷積輸出進(jìn)行浮點(diǎn)線性計(jì)算或定點(diǎn)線性計(jì)算。

示例性地，以線性計(jì)算為浮點(diǎn)線性計(jì)算為例，S102中，所述神經(jīng)網(wǎng)絡(luò)中的每一個(gè)計(jì)算節(jié)點(diǎn)執(zhí)行以下操作：對(duì)輸入數(shù)據(jù)進(jìn)行卷積操作；對(duì)所述卷積操作的卷積輸出進(jìn)行浮點(diǎn)線性計(jì)算；對(duì)所述浮點(diǎn)線性計(jì)算的結(jié)果進(jìn)行低位寬定點(diǎn)化；將所述低位寬定點(diǎn)化的結(jié)果作為輸出數(shù)據(jù)。其中，所述神經(jīng)網(wǎng)絡(luò)中的第一個(gè)計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)為所述張量形式的原始圖像，所述神經(jīng)網(wǎng)絡(luò)中的除所述第一個(gè)計(jì)算節(jié)點(diǎn)之外的其他計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)為前一個(gè)計(jì)算節(jié)點(diǎn)的輸出數(shù)據(jù)。

其中，對(duì)所述卷積操作的卷積輸出進(jìn)行浮點(diǎn)線性計(jì)算，可以包括：根據(jù)y＝k×X+b計(jì)算浮點(diǎn)線性計(jì)算的結(jié)果。

也就是說，浮點(diǎn)線性計(jì)算可以表示為：y＝k×X+b。其中，X為定點(diǎn)數(shù)，k、b和y為浮點(diǎn)數(shù)，X表示所述卷積輸出，y表示所述浮點(diǎn)線性計(jì)算的結(jié)果，k和b為預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)。也就是說，其中的k和b是已經(jīng)訓(xùn)練好的定點(diǎn)計(jì)算神經(jīng)網(wǎng)絡(luò)的參數(shù)，可以從該訓(xùn)練好的定點(diǎn)計(jì)算神經(jīng)網(wǎng)絡(luò)中已經(jīng)得到的。由此可見，這樣便可以根據(jù)卷積輸出X計(jì)算得到浮點(diǎn)線性計(jì)算的結(jié)果y。

其中，對(duì)所述浮點(diǎn)線性計(jì)算的結(jié)果進(jìn)行低位寬定點(diǎn)化，可以包括：根據(jù)所述浮點(diǎn)線性計(jì)算的結(jié)果與第一定點(diǎn)判決閾值之間的大小關(guān)系，確定所述低位寬定點(diǎn)化的結(jié)果。其中，所述第一定點(diǎn)判決閾值為預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)，且所述第一定點(diǎn)判決閾值大于0。其中，與k和b一樣，第一定點(diǎn)判決閾值也是已經(jīng)訓(xùn)練好的定點(diǎn)計(jì)算神經(jīng)網(wǎng)絡(luò)的參數(shù)，可以從該已經(jīng)訓(xùn)練好的定點(diǎn)計(jì)算神經(jīng)網(wǎng)絡(luò)直接得到。

第一定點(diǎn)判決閾值可以表示為t0、t1、t2、…。第一定點(diǎn)判決閾值的數(shù)量可以由定點(diǎn)化的位數(shù)進(jìn)行確定。例如，若定點(diǎn)化至2比特(bit)，則第一定點(diǎn)判決閾值的數(shù)量為1個(gè)，可以表示為t0。

舉例來說，可以將低位寬定點(diǎn)化的結(jié)果表示為Y。若定點(diǎn)化至2比特(bit)，且第一定點(diǎn)判決閾值可以表示為t0。則確定低位寬定點(diǎn)化的結(jié)果Y的方法可以為：

若y滿足y≤-t0，則確定Y＝0；若y滿足-t0<y<0，則確定Y＝1；若y滿足0≤y<t0，則確定Y＝2；若y滿足y≥t0，則確定Y＝3。

可理解，若將一個(gè)計(jì)算節(jié)點(diǎn)的低位寬定點(diǎn)化的結(jié)果表示為Y，即該計(jì)算節(jié)點(diǎn)的輸出數(shù)據(jù)為Y，則Y同時(shí)也是下一個(gè)計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)X。

該過程可以示意性地如圖3所示。并且，其中的定點(diǎn)卷積部分可以用定點(diǎn)整數(shù)計(jì)算模塊來實(shí)現(xiàn)；其中的k×X+b部分和定點(diǎn)化部分可以用浮點(diǎn)數(shù)計(jì)算模塊來實(shí)現(xiàn)。

示例性地，以線性計(jì)算為定點(diǎn)線性計(jì)算為例，S102中，所述神經(jīng)網(wǎng)絡(luò)中的每一個(gè)計(jì)算節(jié)點(diǎn)執(zhí)行以下操作：對(duì)輸入數(shù)據(jù)進(jìn)行卷積操作；對(duì)所述卷積操作的卷積輸出進(jìn)行定點(diǎn)線性計(jì)算；對(duì)所述定點(diǎn)線性計(jì)算的結(jié)果進(jìn)行低位寬定點(diǎn)化；將所述低位寬定點(diǎn)化的結(jié)果作為輸出數(shù)據(jù)。其中，所述神經(jīng)網(wǎng)絡(luò)中的第一個(gè)計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)為所述張量形式的原始圖像，所述神經(jīng)網(wǎng)絡(luò)中的除所述第一個(gè)計(jì)算節(jié)點(diǎn)之外的其他計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)為前一個(gè)計(jì)算節(jié)點(diǎn)的輸出數(shù)據(jù)。

其中，對(duì)所述卷積操作的卷積輸出進(jìn)行定點(diǎn)線性計(jì)算，可以包括：根據(jù)Y’＝X’+B計(jì)算浮點(diǎn)線性計(jì)算的結(jié)果。

也就是說，定點(diǎn)線性計(jì)算可以表示為：Y’＝X’+B。其中，X’＝N×X，X、X’、Y’、B和N均為定點(diǎn)數(shù)，N為預(yù)設(shè)的正整數(shù)，X表示所述卷積輸出，Y’表示所述定點(diǎn)線性計(jì)算的結(jié)果，B表示定點(diǎn)位移參數(shù)。

其中，對(duì)所述定點(diǎn)線性計(jì)算的結(jié)果進(jìn)行低位寬定點(diǎn)化，可以包括：根據(jù)所述定點(diǎn)線性計(jì)算的結(jié)果與第二定點(diǎn)判決閾值之間的大小關(guān)系，確定所述低位寬定點(diǎn)化的結(jié)果。

在該計(jì)算過程中所使用的定點(diǎn)位移參數(shù)和第二定點(diǎn)判決閾值可以是根據(jù)預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)進(jìn)行確定的?？梢?，在所述對(duì)所述卷積操作的卷積輸出進(jìn)行定點(diǎn)線性計(jì)算之前，還可以包括：根據(jù)預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)，確定所述定點(diǎn)位移參數(shù)和所述第二定點(diǎn)判決閾值。在一個(gè)示例中，通過枚舉法根據(jù)預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)確定所述定點(diǎn)位移參數(shù)和所述第二定點(diǎn)判決閾值。枚舉法相對(duì)于其他方法更加簡(jiǎn)單易行，可以節(jié)省編程時(shí)間。

將預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)表示為k、b、t0、t1、t2、…，其中，各個(gè)參數(shù)的物理含義如前所述。將定點(diǎn)位移參數(shù)表示為B，將第二定點(diǎn)判決閾值表示為T0、T1、…。則可以基于k、b、t0、t1、t2、…，按照一定的算法得到合適的B、T0、T1、T2、…。例如，可以進(jìn)行枚舉或遍歷等，從而確定合適的B、T0、T1、T2…。

以N＝4，且定點(diǎn)化至2比特為例，此時(shí)預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)表示為k、b、t0，如下示出了一種通過枚舉法確定B和T0的計(jì)算程序：

這樣，便可以得到定點(diǎn)位移參數(shù)B和第二定點(diǎn)判決閾值T0、T1…。舉例來說，可以將低位寬定點(diǎn)化的結(jié)果表示為Y。若定點(diǎn)化至2比特(bit)，且第二定點(diǎn)判決閾值可以表示為T0。則確定低位寬定點(diǎn)化的結(jié)果Y的方法可以為：

若Y’滿足Y’≤-T0，則確定Y＝0；若Y’滿足-T0<Y’<0，則確定Y＝1；若Y’滿足0≤Y’<T0，則確定Y＝2；若Y’滿足Y’≥T0，則確定Y＝3。

即，若X’+B≤-T0，則確定Y＝0；若-T0<X’+B<0，則確定Y＝1；若0≤X’+B<T0，則確定Y＝2；若X’+B≥T0，則確定Y＝3。

可理解，若將一個(gè)計(jì)算節(jié)點(diǎn)的低位寬定點(diǎn)化的結(jié)果表示為Y，即該計(jì)算節(jié)點(diǎn)的輸出數(shù)據(jù)為Y，則Y同時(shí)也是下一個(gè)計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)X。

該過程可以示意性地如圖4所示。并且，其中的定點(diǎn)卷積部分、X’+B部分和定點(diǎn)化部分可以用定點(diǎn)整數(shù)計(jì)算模塊來實(shí)現(xiàn)?？梢姡搶?shí)施例中，只需要通過n個(gè)整數(shù)參數(shù)(即B、T0、T1…)，就可以完全通過定點(diǎn)整數(shù)計(jì)算實(shí)現(xiàn)浮點(diǎn)線性計(jì)算以及2×n值化和log₂(2×n)位寬定點(diǎn)化的功能。由此可以實(shí)現(xiàn)整個(gè)低位寬神經(jīng)網(wǎng)絡(luò)計(jì)算節(jié)點(diǎn)均能夠采用定點(diǎn)整數(shù)計(jì)算模塊來實(shí)現(xiàn)。

應(yīng)注意，本發(fā)明實(shí)施例中，計(jì)算節(jié)點(diǎn)的輸出路數(shù)(output channel)可以為一路或多路。如果輸出路數(shù)為多路，則針對(duì)于其中的每一路均執(zhí)行上述的操作，即多路之間進(jìn)行并行操作。并且，可以理解，在輸出路數(shù)為多路時(shí)，采用浮點(diǎn)線性計(jì)算比采用定點(diǎn)線性計(jì)算所需要占用的硬件資源要多。

應(yīng)注意，本發(fā)明實(shí)施例中大寫字母X、Y、X’、Y’、B、T0、T1…均表示定點(diǎn)數(shù)，小寫字母x、y、k、b、t0、t1…均表示浮點(diǎn)數(shù)。另外，N和n表示正整數(shù)。

S103，基于所述定點(diǎn)計(jì)算的輸出數(shù)據(jù)，產(chǎn)生圖像熱力圖。

其中，定點(diǎn)計(jì)算的輸出數(shù)據(jù)為所述神經(jīng)網(wǎng)絡(luò)中的最后一個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行定點(diǎn)計(jì)算所得到的低位寬定點(diǎn)化的結(jié)果。即為所述神經(jīng)網(wǎng)絡(luò)中的最后一個(gè)計(jì)算節(jié)點(diǎn)的輸出數(shù)據(jù)Y。

具體地，在經(jīng)過S102中多層計(jì)算節(jié)點(diǎn)的運(yùn)算之后，可以根據(jù)最后一個(gè)計(jì)算節(jié)點(diǎn)的輸出數(shù)據(jù)Y，在神經(jīng)網(wǎng)絡(luò)的輸出層產(chǎn)生圖像熱力圖。

S104，基于所述圖像熱力圖對(duì)所述原始圖像進(jìn)行標(biāo)注。

由此可見，本發(fā)明實(shí)施例提出了一種對(duì)神經(jīng)網(wǎng)絡(luò)的參數(shù)、中間表示、以及基本計(jì)算單元進(jìn)行低位寬定點(diǎn)化的方法，該方法對(duì)硬件的要求較低。

本發(fā)明實(shí)施例所示的基于神經(jīng)網(wǎng)絡(luò)的計(jì)算方法可以由電子設(shè)備的現(xiàn)場(chǎng)可編程門陣列(Field-Programmable Gate Array，F(xiàn)PGA)執(zhí)行。

圖5是本發(fā)明實(shí)施例的基于神經(jīng)網(wǎng)絡(luò)的計(jì)算裝置的一個(gè)示意性框圖。圖5所示的裝置50包括獲取模塊501、計(jì)算模塊502、熱力圖產(chǎn)生模塊503和圖像標(biāo)注模塊504。

獲取模塊501，用于獲取張量形式的原始圖像。

計(jì)算模塊502，用于對(duì)所述張量形式的原始圖像進(jìn)行定點(diǎn)計(jì)算。

熱力圖產(chǎn)生模塊503，用于基于所述定點(diǎn)計(jì)算的輸出數(shù)據(jù)，產(chǎn)生圖像熱力圖。以及

圖像標(biāo)注模塊504，用于基于所述圖像熱力圖對(duì)所述原始圖像進(jìn)行標(biāo)注。

示例性地，如圖6所示，計(jì)算模塊包括卷積子模塊5021，線性計(jì)算子模塊5022和定點(diǎn)化模塊5023。針對(duì)所述神經(jīng)網(wǎng)絡(luò)中的每一個(gè)計(jì)算節(jié)點(diǎn)：卷積子模塊5021，用于對(duì)輸入數(shù)據(jù)進(jìn)行卷積操作；線性計(jì)算子模塊5022，用于對(duì)所述卷積操作的卷積輸出進(jìn)行線性計(jì)算；定點(diǎn)化模塊5023，用于對(duì)所述線性計(jì)算的結(jié)果進(jìn)行低位寬定點(diǎn)化。其中，所述神經(jīng)網(wǎng)絡(luò)中的第一個(gè)計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)為所述張量形式的原始圖像，所述神經(jīng)網(wǎng)絡(luò)中的除所述第一個(gè)計(jì)算節(jié)點(diǎn)之外的其他計(jì)算節(jié)點(diǎn)的輸入數(shù)據(jù)為前一個(gè)計(jì)算節(jié)點(diǎn)的低位寬定點(diǎn)化的結(jié)果。

可選地，作為一種實(shí)現(xiàn)方式，所述線性計(jì)算為浮點(diǎn)線性計(jì)算。

示例性地，所述浮點(diǎn)線性計(jì)算可以表示為：y＝k×X+b。其中，X為定點(diǎn)數(shù)，k、b和y為浮點(diǎn)數(shù)，X表示所述卷積輸出，y表示所述浮點(diǎn)線性計(jì)算的結(jié)果，k和b為預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)。

示例性地，定點(diǎn)化模塊5023，可以用于：根據(jù)所述浮點(diǎn)線性計(jì)算的結(jié)果與第一定點(diǎn)判決閾值之間的大小關(guān)系，確定所述低位寬定點(diǎn)化的結(jié)果。其中，所述第一定點(diǎn)判決閾值為預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)，且所述第一定點(diǎn)判決閾值大于0。

可選地，作為另一種實(shí)現(xiàn)方式，所述線性計(jì)算為定點(diǎn)線性計(jì)算。

示例性地，所述定點(diǎn)線性計(jì)算可以表示為：Y’＝X’+B。其中，X’＝N×X，X、X’、Y’、B和N均為定點(diǎn)數(shù)，N為預(yù)設(shè)的正整數(shù)，X表示所述卷積輸出，Y’表示所述定點(diǎn)線性計(jì)算的結(jié)果，B表示定點(diǎn)位移參數(shù)。

示例性地，定點(diǎn)化子模塊5023，可以用于：根據(jù)所述定點(diǎn)線性計(jì)算的結(jié)果與第二定點(diǎn)判決閾值之間的大小關(guān)系，確定所述低位寬定點(diǎn)化的結(jié)果。

示例性地，線性計(jì)算子模塊5022，還可以用于：在對(duì)所述卷積操作的卷積輸出進(jìn)行線性計(jì)算之前，根據(jù)預(yù)先訓(xùn)練好的浮點(diǎn)參數(shù)，確定所述定點(diǎn)位移參數(shù)和所述第二定點(diǎn)判決閾值。

示例性地，卷積子模塊5021，可以用于：對(duì)所述輸入數(shù)據(jù)進(jìn)行以低位寬定點(diǎn)乘加為基礎(chǔ)單元的卷積操作。

示例性地，所述定點(diǎn)計(jì)算的輸出數(shù)據(jù)為所述神經(jīng)網(wǎng)絡(luò)中的最后一個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行定點(diǎn)計(jì)算所得到的低位寬定點(diǎn)化的結(jié)果。

圖5和圖6所示的裝置50能夠用于實(shí)現(xiàn)前述圖2至圖4所示的基于神經(jīng)網(wǎng)絡(luò)的計(jì)算方法。示例性地，裝置50可以為FPGA。

另外，本發(fā)明實(shí)施例還提供了另一種基于神經(jīng)網(wǎng)絡(luò)的計(jì)算裝置，該裝置可以包括處理器和存儲(chǔ)器，其中，存儲(chǔ)器用于存儲(chǔ)指令代碼，處理器執(zhí)行該指令代碼時(shí)，可以實(shí)現(xiàn)前述圖2至圖4所示的基于神經(jīng)網(wǎng)絡(luò)的計(jì)算方法。

另外，本發(fā)明實(shí)施例還提供了一種電子設(shè)備，該電子設(shè)備可以包括圖5或圖6所示的裝置50。

本發(fā)明實(shí)施例提出的采用定點(diǎn)化方法實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的計(jì)算的方法，即本發(fā)明實(shí)施例提出了神經(jīng)網(wǎng)絡(luò)定點(diǎn)化方法，該方法由于采用了定點(diǎn)計(jì)算，計(jì)算量小，占用資源少，從而對(duì)硬件的要求較低。

盡管這里已經(jīng)參考附圖描述了示例實(shí)施例，應(yīng)理解上述示例實(shí)施例僅僅是示例性的，并且不意圖將本發(fā)明的范圍限制于此。本領(lǐng)域普通技術(shù)人員可以在其中進(jìn)行各種改變和修改，而不偏離本發(fā)明的范圍和精神。所有這些改變和修改意在被包括在所附權(quán)利要求所要求的本發(fā)明的范圍之內(nèi)。

本領(lǐng)域普通技術(shù)人員可以意識(shí)到，結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、或者計(jì)算機(jī)軟件和電子硬件的結(jié)合來實(shí)現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。

在本申請(qǐng)所提供的幾個(gè)實(shí)施例中，應(yīng)該理解到，所揭露的設(shè)備和方法，可以通過其它的方式實(shí)現(xiàn)。例如，以上所描述的設(shè)備實(shí)施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)設(shè)備，或一些特征可以忽略，或不執(zhí)行。

在此處所提供的說明書中，說明了大量具體細(xì)節(jié)。然而，能夠理解，本發(fā)明的實(shí)施例可以在沒有這些具體細(xì)節(jié)的情況下實(shí)踐。在一些實(shí)例中，并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對(duì)本說明書的理解。

類似地，應(yīng)當(dāng)理解，為了精簡(jiǎn)本發(fā)明并幫助理解各個(gè)發(fā)明方面中的一個(gè)或多個(gè)，在對(duì)本發(fā)明的示例性實(shí)施例的描述中，本發(fā)明的各個(gè)特征有時(shí)被一起分組到單個(gè)實(shí)施例、圖、或者對(duì)其的描述中。然而，并不應(yīng)將該本發(fā)明的方法解釋成反映如下意圖：即所要求保護(hù)的本發(fā)明要求比在每個(gè)權(quán)利要求中所明確記載的特征更多的特征。更確切地說，如相應(yīng)的權(quán)利要求書所反映的那樣，其發(fā)明點(diǎn)在于可以用少于某個(gè)公開的單個(gè)實(shí)施例的所有特征的特征來解決相應(yīng)的技術(shù)問題。因此，遵循具體實(shí)施方式的權(quán)利要求書由此明確地并入該具體實(shí)施方式，其中每個(gè)權(quán)利要求本身都作為本發(fā)明的單獨(dú)實(shí)施例。

本領(lǐng)域的技術(shù)人員可以理解，除了特征之間相互排斥之外，可以采用任何組合對(duì)本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的所有特征以及如此公開的任何方法或者設(shè)備的所有過程或單元進(jìn)行組合。除非另外明確陳述，本說明書(包括伴隨的權(quán)利要求、摘要和附圖)中公開的每個(gè)特征可以由提供相同、等同或相似目的的替代特征來代替。

此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實(shí)施例包括其它實(shí)施例中所包括的某些特征而不是其它特征，但是不同實(shí)施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實(shí)施例。例如，在權(quán)利要求書中，所要求保護(hù)的實(shí)施例的任意之一都可以以任意的組合方式來使用。

本發(fā)明的各個(gè)部件實(shí)施例可以以硬件實(shí)現(xiàn)，或者以在一個(gè)或者多個(gè)處理器上運(yùn)行的軟件模塊實(shí)現(xiàn)，或者以它們的組合實(shí)現(xiàn)。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以在實(shí)踐中使用微處理器或者數(shù)字信號(hào)處理器(DSP)來實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的物品分析設(shè)備中的一些模塊的一些或者全部功能。本發(fā)明還可以實(shí)現(xiàn)為用于執(zhí)行這里所描述的方法的一部分或者全部的裝置程序(例如，計(jì)算機(jī)程序和計(jì)算機(jī)程序產(chǎn)品)。這樣的實(shí)現(xiàn)本發(fā)明的程序可以存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上，或者可以具有一個(gè)或者多個(gè)信號(hào)的形式。這樣的信號(hào)可以從因特網(wǎng)網(wǎng)站上下載得到，或者在載體信號(hào)上提供，或者以任何其他形式提供。

應(yīng)該注意的是上述實(shí)施例對(duì)本發(fā)明進(jìn)行說明而不是對(duì)本發(fā)明進(jìn)行限制，并且本領(lǐng)域技術(shù)人員在不脫離所附權(quán)利要求的范圍的情況下可設(shè)計(jì)出替換實(shí)施例。在權(quán)利要求中，不應(yīng)將位于括號(hào)之間的任何參考符號(hào)構(gòu)造成對(duì)權(quán)利要求的限制。單詞“包含”不排除存在未列在權(quán)利要求中的元件或步驟。位于元件之前的單詞“一”或“一個(gè)”不排除存在多個(gè)這樣的元件。本發(fā)明可以借助于包括有若干不同元件的硬件以及借助于適當(dāng)編程的計(jì)算機(jī)來實(shí)現(xiàn)。在列舉了若干裝置的單元權(quán)利要求中，這些裝置中的若干個(gè)可以是通過同一個(gè)硬件項(xiàng)來具體體現(xiàn)。單詞第一、第二、以及第三等的使用不表示任何順序?？蓪⑦@些單詞解釋為名稱。

以上所述，僅為本發(fā)明的具體實(shí)施方式或?qū)唧w實(shí)施方式的說明，本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。