基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)方法及裝置的制造方法
【專利摘要】本發(fā)明公開了一種基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)方法和裝置，用于恢復(fù)將原始圖像輸入具有N層卷積和降采樣的卷積神經(jīng)網(wǎng)絡(luò)所獲得的特征在所述原始圖像上的空間信息，其中N為整數(shù)并且N≥1。所述方法包括從K等于N開始，依次根據(jù)所述特征在第K層特征圖上的分布重建出所述特征在第K?1層特征圖上的分布，其中K為整數(shù)并且0＜K≤N。本發(fā)明以按元素乘以設(shè)定權(quán)重的方式來實現(xiàn)去卷積重建而不涉及卷積運算，并且設(shè)定權(quán)重的設(shè)置充分考慮了各層卷積核在獲得特征的過程中對原始圖像上各元素的影響，能夠大大降低去卷積重建計算的復(fù)雜度，同時又能保證較高的重建結(jié)果準(zhǔn)確度。
【專利說明】
基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)方法及裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于計算機視覺領(lǐng)域，涉及基于卷積神經(jīng)網(wǎng)絡(luò)的圖像處理，尤其涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)方法。
【背景技術(shù)】
[0002]基于卷積神經(jīng)網(wǎng)絡(luò)的圖像識別、物體檢測已經(jīng)成為目前計算機視覺領(lǐng)域內(nèi)精度最高的技術(shù)。通常，使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識別的大致流程包括:首先，用海量圖像樣本訓(xùn)練用于圖像分類或識別的卷積神經(jīng)網(wǎng)絡(luò)，學(xué)習(xí)其參數(shù)；當(dāng)卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練完畢之后，如圖1所示，將一幅待識別圖像輸入該卷積神經(jīng)網(wǎng)絡(luò)，經(jīng)過層層的“卷積”和“降采樣(pooling)”得到一系列小的特征圖，并通過將這些特征圖一維化成為向量之后輸入已有分類器(比如SVM，Support Vector Machine，支持向量機)來進(jìn)行識別。
[0003]其中，層層“卷積”和“降采樣”將使得最后輸出的特征在原始圖像上的空間信息丟失了。然而，從以往的經(jīng)驗來看，在進(jìn)行圖像分類、識別、檢測等工作時，特征的空間信息是非常重要的。如果能恢復(fù)出基于卷積神經(jīng)網(wǎng)絡(luò)獲得的特征在原始圖像上的空間信息，相關(guān)領(lǐng)域的識別、檢測精度會得到進(jìn)一步的提升。因此，有必要恢復(fù)基于卷積神經(jīng)網(wǎng)絡(luò)獲得的特征的空間信息。
[0004]并且，目前已提出通過迭代反復(fù)進(jìn)行去降采樣(unpooling)和去卷積重建，來確定原始圖像中與基于卷積神經(jīng)網(wǎng)絡(luò)獲得的某個特征相對應(yīng)的感受野。其中，所謂去降采樣，是前向卷積神經(jīng)網(wǎng)絡(luò)中降采樣的逆過程，即把降采樣之后得到的小圖恢復(fù)成大圖的過程；而所謂去卷積重建，是前向卷積神經(jīng)網(wǎng)絡(luò)中卷積的逆過程，即把通過卷積運算得到的特征圖恢復(fù)成卷積前的樣子的過程。
[0005]與去降采樣相比，去卷積重建的運算復(fù)雜度明顯更高，并且對重建結(jié)果的準(zhǔn)確度影響更大。目前已提出使用稀疏優(yōu)化的方法來進(jìn)行去卷積重建的計算，具體可參見非專利文獻(xiàn)I。然而，雖然稀疏優(yōu)化算法的重建結(jié)果較為準(zhǔn)確，但是計算的時間復(fù)雜度依然很高，對實時性要求較高的圖像識別、物體檢測的適用性不是很好。因此，目前還提出以卷積核的轉(zhuǎn)置近似為該卷積核的逆進(jìn)行去卷積重建的方法，具言之，將前向卷積過程中相應(yīng)的卷積核取轉(zhuǎn)置之后，與通過去降采樣得到的特征圖進(jìn)行卷積，具體內(nèi)容可參見非專利文獻(xiàn)2。然而，使用轉(zhuǎn)置卷積核的方法雖然能夠降低計算復(fù)雜度，但是重建結(jié)果不夠精確。
[0006]引證f件列表_7] 非專利文獻(xiàn)
[0008]1、Zeilerj M.，Taylor, G.，and Fergus, R.Adaptive deconvolut1nal networksfor mid and high level feature learning.1n ICCVj 2011.
[0009]2、Matthew D.Zei Ierj Rob Fergus.Visualizing and UnderstandingConvolut1nal Networks.1n ECCVj2014.
【發(fā)明內(nèi)容】

[0010]摶術(shù)問題
[0011]有鑒于此，本發(fā)明要解決的技術(shù)問題是，如何快速、準(zhǔn)確地恢復(fù)基于卷積神經(jīng)網(wǎng)絡(luò)獲得的特征在原始圖像上的空間信息。
_2] 解決方案
[0013]根據(jù)本發(fā)明的一個方面，提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)方法，用于恢復(fù)將原始圖像輸入具有N層卷積和降采樣的卷積神經(jīng)網(wǎng)絡(luò)所獲得的特征在所述原始圖像上的空間信息，其中N為整數(shù)并且N多1，該方法包括:從K等于N開始，依次根據(jù)所述特征在第K層特征圖上的分布重建出所述特征在第K-1層特征圖上的分布，其中K為整數(shù)并且O < K < N，所述特征在第O層特征圖上的分布表示所述特征在所述原始圖像上的空間信息；并且，根據(jù)所述特征在第K層特征圖上的分布重建出所述特征在第K-1層特征圖上的分布包括:對所述特征在第K層特征圖上的分布進(jìn)行去降采樣，以得到所述特征在第K層特征圖上的去降采樣分布；獲取所述去降采樣分布中的每一關(guān)注元素及所述每一關(guān)注元素的值；分別針對每一關(guān)注元素執(zhí)行以下操作:確定關(guān)注元素對應(yīng)的第K-1層特征圖中的區(qū)域；將所述第K-1層特征圖中的該區(qū)域內(nèi)的元素置為與所述關(guān)注元素的值相對應(yīng)的值，并將除該區(qū)域之外的其它區(qū)域中的元素置為非關(guān)注元素的值；就賦值后的所述第K-1層特征圖中的所述關(guān)注元素對應(yīng)的區(qū)域按元素乘以設(shè)定權(quán)重以得到所述關(guān)注元素在第K-1層特征圖上的子分布；其中所述設(shè)定權(quán)重根據(jù)預(yù)存儲的從第K-1層特征圖通過卷積運算得到第K層特征圖時所采用的卷積核生成；將所有關(guān)注元素各自在第K-1層特征圖上的子分布進(jìn)行疊加以生成所述特征在第K-1層特征圖上的分布。
[0014]對于上述空間信息恢復(fù)方法，在一種可能的實現(xiàn)方式中，在根據(jù)所述特征在第N層特征圖上的分布重建出所述特征在第N-1層特征圖上的分布之前，還包括:將所述特征的值初始化。
[0015]對于上述空間信息恢復(fù)方法，在一種可能的實現(xiàn)方式中，所述關(guān)注元素的值非空或非零。
[0016]根據(jù)本發(fā)明的另一個方面，提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)裝置，用于恢復(fù)將原始圖像輸入具有N層卷積和降采樣的卷積神經(jīng)網(wǎng)絡(luò)所獲得的特征在所述原始圖像上的空間信息，其中N為整數(shù)并且N ^ 1，該空間信息恢復(fù)裝置從K等于N開始，依次根據(jù)所述特征在第K層特征圖上的分布重建出所述特征在第K-1層特征圖上的分布，其中K為整數(shù)并且O < K < N，所述特征在第O層特征圖上的分布表示所述特征在所述原始圖像上的空間信息；并且，所述空間信息恢復(fù)裝置包括:去降采樣模塊，被配置對所述特征在第K層特征圖上的分布進(jìn)行去降采樣，以得到所述特征在第K層特征圖上的去降采樣分布；重建模塊，與所述去降采樣模塊連接，并且被配置為，獲取所述去降采樣分布中的每一關(guān)注元素及所述每一關(guān)注元素的值；分別針對每一關(guān)注元素執(zhí)行以下操作:確定關(guān)注元素對應(yīng)的第K-1層特征圖中的區(qū)域；將所述第K-1層特征圖中的該區(qū)域內(nèi)的元素置為與所述關(guān)注元素的值相對應(yīng)的值，并將除該區(qū)域之外的其它區(qū)域中的元素置為非關(guān)注元素的值；就賦值后的所述第K-1層特征圖中的所述關(guān)注元素對應(yīng)的區(qū)域按元素乘以設(shè)定權(quán)重以得到所述關(guān)注元素在第K-1層特征圖上的子分布；其中所述設(shè)定權(quán)重根據(jù)預(yù)存儲的從第K-1層特征圖通過卷積運算得到第K層特征圖時所采用的卷積核生成；以及加法模塊，與所述重建模塊以及所述去降采樣模塊連接，被配置為將通過所述重建模塊獲得的所有關(guān)注元素各自在第K-1層特征圖上的子分布進(jìn)行疊加，并將相加所得到的結(jié)果作為所述特征在第K-1層特征圖上的分布輸出至所述去降采樣模塊。
[0017]對于上述空間信息恢復(fù)裝置，在一種可能的實現(xiàn)方式中，還包括初始化模塊，與所述去降采樣模塊連接，被配置為將所述特征的值初始化作為所述特征在第N層特征圖上的分布輸出至所述去降采樣模塊。
[0018]對于上述空間信息恢復(fù)裝置，在一種可能的實現(xiàn)方式中，所述關(guān)注元素的值非空或非零。
[0019]有益效果
[0020]通過主要考慮各層卷積核在獲得特征的過程中對原始圖像上各元素的影響，并在去卷積重建中與關(guān)注的特征相關(guān)地按元素累計不同卷積核的影響，來恢復(fù)關(guān)注的特征在原始圖像上的空間信息，根據(jù)本發(fā)明實施例的基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)方法能夠大大降低去卷積重建計算的復(fù)雜度，同時又能保證較高的重建結(jié)果準(zhǔn)確度。
[0021]根據(jù)下面參考附圖對示例性實施例的詳細(xì)說明，本發(fā)明的其它特征及方面將變得清楚。
【附圖說明】
[0022]包含在說明書中并且構(gòu)成說明書的一部分的附圖與說明書一起示出了本發(fā)明的示例性實施例、特征和方面，并且用于解釋本發(fā)明的原理。
[0023]圖1示出現(xiàn)有技術(shù)使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識別的示意圖；
[0024]圖2示出根據(jù)本發(fā)明實施例的基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)方法的流程圖；
[0025]圖3示出圖2中步驟S250的具體實現(xiàn)的流程圖；
[0026]圖4示出根據(jù)本發(fā)明實施例的基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)方法的二維應(yīng)用例的示意圖；
[0027]圖5示出根據(jù)本發(fā)明實施例的基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)方法的三維應(yīng)用例的示意圖；
[0028]圖6示出根據(jù)本發(fā)明實施例的基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)裝置的結(jié)構(gòu)框圖。
【具體實施方式】
[0029]如【背景技術(shù)】部分所述，本發(fā)明希望解決的技術(shù)問題主要是如何快速、準(zhǔn)確地恢復(fù)基于卷積神經(jīng)網(wǎng)絡(luò)獲得的特征在原始圖像上的空間信息。為了解決該技術(shù)問題，本發(fā)明人經(jīng)反復(fù)研究發(fā)現(xiàn)，基于卷積神經(jīng)網(wǎng)絡(luò)獲得的任一特征都是由原始圖像上的像素層層疊加各層卷積核中的權(quán)重計算得到的，從而獨創(chuàng)性地想到，可使用一種不涉及卷積運算的新方法來完成上述去卷積重建步驟。該方法的基本思想是，在去卷積重建的運算中，主要考慮從本層特征圖通過卷積運算得到下一層特征圖時所使用的卷積核對關(guān)注特征的影響，并通過與關(guān)注特征相關(guān)地按元素將不同卷積核的影響相加。使用這樣的去卷積重建步驟與傳統(tǒng)的去降采樣迭代進(jìn)行，最后能夠在原始圖像上完全重建出關(guān)注特征的空間信息。
[0030]以下將參考附圖詳細(xì)說明本發(fā)明的各種示例性實施例、特征和方面。附圖中相同的附圖標(biāo)記表示功能相同或相似的元件。盡管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪制附圖。
[0031]在這里專用的詞“示例性”意為“用作例子、實施例或說明性”。這里作為“示例性”所說明的任何實施例不必解釋為優(yōu)于或好于其它實施例。
[0032]另外，為了更好的說明本發(fā)明，在下文的【具體實施方式】中給出了眾多的具體細(xì)節(jié)。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，沒有某些具體細(xì)節(jié)，本發(fā)明同樣可以實施。在一些實例中，對于本領(lǐng)域技術(shù)人員熟知的方法、手段、元件和電路未作詳細(xì)描述，以便于凸顯本發(fā)明的主旨。
[0033]本發(fā)明的基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)方法用于恢復(fù)將原始圖像輸入具有N層卷積和降采樣的卷積神經(jīng)網(wǎng)絡(luò)所獲得的特征在所述原始圖像上的空間信息，其中N為整數(shù)并且I。該恢復(fù)方法主要包括:從K等于N開始，依次根據(jù)所述特征在第K層特征圖上的分布重建出所述特征在第K-1層特征圖上的分布，其中K為整數(shù)并且O < K < N，第O層特征圖即為原始圖像，所述特征在第O層特征圖上的分布表示所述特征在所述原始圖像上的空間信息。
[0034]并且，根據(jù)所述特征在第K層特征圖上的分布重建出所述特征在第K-1層特征圖上的分布包括:對所述特征在第K層特征圖上的分布進(jìn)行去降采樣，以得到所述特征在第K層特征圖上的去降采樣分布；獲取所述去降采樣分布中的每一關(guān)注元素及所述每一關(guān)注元素的值；分別針對每一關(guān)注元素執(zhí)行以下操作:確定關(guān)注元素對應(yīng)的第K-1層特征圖中的區(qū)域；將所述第K-1層特征圖中的該區(qū)域內(nèi)的元素置為與所述關(guān)注元素的值相對應(yīng)的值，并將除該區(qū)域之外的其它區(qū)域中的元素置為非關(guān)注元素的值；就賦值后的所述第K-1層特征圖中的所述關(guān)注元素對應(yīng)的區(qū)域按元素乘以設(shè)定權(quán)重以得到所述關(guān)注元素在第K-1層特征圖上的子分布；其中所述設(shè)定權(quán)重根據(jù)預(yù)存儲的從第K-1層特征圖通過卷積運算得到第K層特征圖時所采用的卷積核生成；將所有關(guān)注元素各自在第K-1層特征圖上的子分布進(jìn)行疊加以生成所述特征在第K-1層特征圖上的分布。
[0035]通過上述方法，最后能夠在原始圖像上完全重建出關(guān)注特征的空間信息。在上述方法中，以按元素乘以設(shè)定權(quán)重的方式(將在下文詳細(xì)說明)來實現(xiàn)去卷積重建而不涉及卷積運算，并且設(shè)定權(quán)重的設(shè)置充分考慮了各層卷積核在獲得特征的過程中對原始圖像上各元素的影響。因此，根據(jù)本發(fā)明實施例的基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)方法能夠大大降低去卷積重建計算的復(fù)雜度，同時又能保證較高的重建結(jié)果準(zhǔn)確度。
[0036]在一種可能的實現(xiàn)方式中，可以參考圖2示出的流程圖來說明根據(jù)本發(fā)明實施例的基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)方法。如圖2所示，該空間信息恢復(fù)方法主要包括:
[0037]步驟S210、確定要恢復(fù)空間信息的特征，并作為關(guān)注特征；
[0038]步驟S230、設(shè)定 K = N;
[0039]步驟S240、對關(guān)注特征在第K層特征圖上的分布進(jìn)行去降采樣，以得到該特征在第K層特征圖上的去降采樣分布；
[0040]步驟S250、針對該特征在第K層特征圖上的去降采樣分布進(jìn)行不涉及卷積運算的去卷積重建，以得到該特征在第K-1層特征圖上的分布；
[0041]步驟S260、判斷K的值是否大于I ;并且，在K大于I的情況下，執(zhí)行步驟S270、將K-1的值賦予K，然后返回執(zhí)行步驟S240 ;在1(不大于I的情況下，執(zhí)行步驟S280、將關(guān)注特征在第O層特征圖上的分布確定為該特征在原始圖像上的空間信息，也即關(guān)注特征的空間信息恢復(fù)完成。
[0042]在一種可能的實現(xiàn)方式中，在步驟S210和步驟S230之間還可以包括步驟S220、將所述關(guān)注特征的值初始化，一般情況下將關(guān)注特征的值初始化為1，但在關(guān)注特征的真實值較小例如為0.0004的情況下，為了保證計算的準(zhǔn)確度，也可以將關(guān)注特征初始化為其它值例如10000，待將關(guān)注特征恢復(fù)至原始圖像后，將該關(guān)注特征對應(yīng)于原始圖像的相關(guān)區(qū)域中的各元素均除以該初始化的值。另外，如果在運算過程中造成關(guān)注元素的數(shù)值變小而使得準(zhǔn)確度下降，也可以將關(guān)注特征初始化為例如10000等較大的值。
[0043]然而，執(zhí)行步驟S220以對關(guān)注特征進(jìn)行初始化不是必須的，可以以關(guān)注特征的真實值進(jìn)行處理，如果需要針對各個關(guān)注特征所恢復(fù)出的分布進(jìn)行數(shù)值比對或針對這些具體數(shù)值進(jìn)行其它后續(xù)處理，則可以在各關(guān)注特征恢復(fù)至原始圖像后，分別對各關(guān)注特征對應(yīng)于原始圖像的相關(guān)區(qū)域中的各元素均除以對應(yīng)的關(guān)注特征的真實值。另外，如果只是為了顯示關(guān)注特征在原始圖像上的對應(yīng)區(qū)域中各元素的相對強弱，也就是僅恢復(fù)出關(guān)注特征在原始圖像上的分布，而不關(guān)注各個關(guān)注特征所恢復(fù)出的分布的具體數(shù)值，則也可以不執(zhí)行步驟S220，而以關(guān)注特征的真實值執(zhí)行后續(xù)的步驟。
[0044]上述步驟S240為去降采樣的過程，在一種可能的實現(xiàn)方式中，可以采用傳統(tǒng)的去降采樣算法，通過將原始圖像輸入具有N層卷積和降采樣的卷積神經(jīng)網(wǎng)絡(luò)獲得特征的過程中進(jìn)行降采樣時所保存的采樣位置等信息來實現(xiàn)，其中降采樣可以包括最大值采樣(max-pooling)等。
[0045]上述步驟S250為去卷積重建步驟，對于該步驟的具體實現(xiàn)將在下文結(jié)合圖3來說明。該去卷積重建步驟S250主要考慮各層卷積核在獲得特征的過程中對原始圖像上各元素的影響，并在去卷積重建中與關(guān)注的特征相關(guān)地按元素累計不同卷積核的影響，而不涉及真正的卷積運算，根據(jù)本實施例的空間信息恢復(fù)方法能夠大大降低去卷積重建計算的復(fù)雜度，同時又能保證較高的重建結(jié)果準(zhǔn)確度。
[0046]對于上述步驟S260?S280，需要解釋的是，如果K大于1，則根據(jù)所述關(guān)注特征在第K-1層特征圖上的分布重建出該特征在第K-2層特征圖上的分布，依次反復(fù)進(jìn)行，直到根據(jù)該關(guān)注特征在第I層特征圖上的分布重建出該關(guān)注特征在第O層特征圖上的分布，則該關(guān)注特征在原始圖像上的空間信息的恢復(fù)完成。
[0047]在一種可能的實現(xiàn)方式中，如圖3所示，圖2中步驟S250的具體實現(xiàn)可以包括以下步驟:
[0048]步驟S310、確定關(guān)注特征在第K層特征圖上的去降采樣分布所包括的關(guān)注元素個數(shù)M，并獲取所述去降采樣分布中的每一關(guān)注元素及所述每一關(guān)注元素的值；
[0049]步驟S320、設(shè)定 m = I ;
[0050]步驟S330、在第K-1層特征圖上確定與第m關(guān)注元素對應(yīng)的區(qū)域；
[0051]步驟S340、將第K-1層特征圖中上述區(qū)域內(nèi)的元素置為與該第m關(guān)注元素的值相對應(yīng)的值、而將除該區(qū)域之外的其它區(qū)域中的元素置為非關(guān)注元素的值，以在根據(jù)關(guān)注特征在第K-1層特征圖重建該關(guān)注特征在第K-2層特征圖時忽略在第K-1層特征圖中的其它區(qū)域中的元素；其中，關(guān)注元素表示在去卷積重建過程中有意義的元素，在以數(shù)值編碼的方式對特征圖中的元素進(jìn)行編碼的情況下，該關(guān)注元素可以為非零元素，而將非關(guān)注元素賦值為零，在其它以非數(shù)值編碼的方式對特征圖中的元素編碼時，則可以將非空的元素作為關(guān)注元素，而將非關(guān)注元素賦值為空，例如可以將字母A等設(shè)置為空元素來作為非關(guān)注元素的值。對于如何設(shè)置非關(guān)注元素的值，可以根據(jù)實際情況靈活掌握，只要能夠?qū)⒎顷P(guān)注元素與非空或非零的關(guān)注元素區(qū)分即可；
[0052]步驟S350、將如上設(shè)置的第K-1層特征圖中的所述關(guān)注元素對應(yīng)的區(qū)域按元素乘以(element-wise multiplicat1n)設(shè)定權(quán)重，以得到所述第m關(guān)注元素在第K-1層特征圖上的子分布；其中，該設(shè)定權(quán)重可以根據(jù)預(yù)存儲的從第K-1層特征圖通過卷積運算得到第K特征圖時所采用的卷積核生成；
[0053]步驟S360、判斷m是否小于M ;并且，在m小于M的情況下，表示關(guān)注特征在第K層特征圖上的去降采樣分布所包括的關(guān)注元素尚有部分未處理，則執(zhí)行步驟S370、將m+1的值賦予m，然后返回執(zhí)行步驟S330 ;在m不小于M的情況下，表示所有關(guān)注元素均已處理，則執(zhí)行步驟S380、將所述M個關(guān)注元素各自在第K-1層特征圖上的子分布進(jìn)行疊加，并將疊加所得到的結(jié)果作為所述關(guān)注特征在第K-1層特征圖上的分布。
[0054]其中，步驟S330至步驟S350為去卷積重建過程的關(guān)鍵步驟，在一種可能的具體實現(xiàn)方式中，假設(shè)第K-1層特征SFK1[fK1(i,j)](0^i,j^4)通過與3 X 3的卷積核C [c (i，j)] (O彡i，j彡2)進(jìn)行卷積運算得到第K層特征圖FK[fK(i，j)] (O彡i，j彡2)。
[0055]則步驟S330可以通過以下步驟實現(xiàn):假設(shè)第m關(guān)注元素為第K層特征圖上的元素 fK (2，I)，則根據(jù)卷積運算規(guī)則，fK (2，I) = fK ! (2，I) X c (0，O) +fK ! (2，2) X c (0，I) +fK 工(2，3) X c (0,2)+fK !(3,1) X c (1,0)+fK !(3,2) X c (1,1)+fK ! (3, 3) X c (1,2)+fK !(4,1) X c (2,
0)+fK I (4，2) X c (2，I) +fK I (4，3) X c (2，2)。由此可以確定在第K-1層特征圖上與該第m關(guān)注元素 fK (2，I)對應(yīng)的區(qū)域為由 fK 丨(2，I)、fK 丨(2，2)、fK 丨(2，3)、fK 丨(3，I)、fK 丨(3，2)、fK 丨(3，3)、fK1(4，l)、fKi(4，2)和 fK1(4，3)所組成的 3X3 的區(qū)域。
[0056]步驟S340可以通過以下步驟實現(xiàn):將在步驟S330中確定的3 X 3的區(qū)域中的所有元素(即 fK ! (2，I)、fK ! (2，2)、fK ! (2，3)、fK ! (3，I)、fK ! (3，2)、fK ! (3，3)、fK I (4，I)、fK ! (4，2)和fK1(4，3))置為該第m關(guān)注元素&(2，I)的值，而將第K-1層特征圖中的除此之外的其它元素置為非關(guān)注元素的值。在重新賦值后的第K-1層特征圖Fk Jfli/ (i，j)](0<i，j 彡 4)的 3X3 的區(qū)域中，fK1’ (2，l)、fK1，(2，2)、fK1，(2，3)、fK1，(3，l)、fK1，(3,2),fK1’ (3，3)、fK1，(4，l)、fK1，(4,2)和 fK1’ (4，3)均等于 fK (2，I)的值。
[0057]步驟S350可以通過以下步驟實現(xiàn):在步驟S340中重新賦值后的上述3 X 3的區(qū)域中，按元素乘以設(shè)定權(quán)重，這里假設(shè)設(shè)定權(quán)重為從第K-1層特征圖通過卷積運算得到第K層特征圖中所使用的卷積核C [c (i，j) ] (O < i，j < 2)，則所述第m關(guān)注元素在第K-1層特征圖上的子分布為:在上述3X3的區(qū)域中的元素分別為& / (2,1) Xc(0，0)、fK1 ’ (2,2) Xe (O,
1)、fK1’(2，3) Xc(0，2)、fK / (3,1) Xc(LO), fK / (3，2) X c (1，I)、fK / (3，3)Xc(l，2)、fK1’ (4，l)Xc(2，0)、fK1，(4，2) Xc(2，l)、fK / (4，3) X c (2，2)，而其它區(qū)域中的元素仍然為非關(guān)注元素的值。
[0058]通過對上述步驟S350的說明，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解按元素相乘的具體含義，即將兩個矩陣的對應(yīng)的元素分別相乘。具體地，假設(shè)矩陣A[a(i，j)]按元素乘以矩陣B[b(i，j)]得到矩陣D[d(i，j)]，其中矩陣A和B的大小相同，則矩陣D的大小也與A和B相同，并且 d(i，j) = a(i，j) Xb(i，j)。
[0059]需要說明的是，在步驟S350中，可以根據(jù)從第K-1層特征圖通過卷積運算得到第K層特征圖中所使用的卷積核，來設(shè)置在根據(jù)所述特征在第K層特征圖上的分布重建出所述特征在第K-1層特征圖上的分布中所使用的所述設(shè)定權(quán)重。例如如上所述，直接將上述卷積核中的各權(quán)重對應(yīng)于上述區(qū)域的各元素設(shè)置為設(shè)定權(quán)重。另外，也可以將與上述卷積核中的各權(quán)重對應(yīng)于上述區(qū)域的各元素呈一定比例關(guān)系的值設(shè)置為設(shè)定權(quán)重。具體如何設(shè)定，用戶完全可根據(jù)實際應(yīng)用場景靈活掌握，只要能夠體現(xiàn)卷積核對相關(guān)特征的影響即可。
[0060]這里以5X5的第K-1層特征圖通過與3X3的卷積核進(jìn)行卷積運算得到3X3的第K層特征圖的大小為例，對本發(fā)明實施例的去卷積重建步驟進(jìn)行了說明。然而，在將原始圖像輸入具有N層卷積和降采樣的卷積神經(jīng)網(wǎng)絡(luò)獲得特征的過程中進(jìn)行卷積時，可能存在如下情況:先通過周圍補零的方式將第K-1層特征圖擴(kuò)大為7X7，再進(jìn)行卷積運算以得到5X5的第K層特征圖。本領(lǐng)域技術(shù)人員應(yīng)能理解，在這種情況下，進(jìn)行去卷積重建的步驟與上述以5X5的第K-1層特征圖通過與3X3的卷積核進(jìn)行卷積運算得到3X3的第K層特征圖的大小為例具體說明的步驟S330至步驟S350類似，這里不再做詳細(xì)說明。
[0061]另外，對于其它尺寸的特征圖或者使用其它尺寸的卷積核的去卷積重建步驟也可以參考上述說明，這里也不再做重復(fù)說明。
[0062]這樣，通過主要考慮各層卷積核在獲得特征的過程中對原始圖像上各元素的影響，并在去卷積重建中與關(guān)注的特征相關(guān)地按元素累計不同卷積核的影響，來恢復(fù)關(guān)注的特征在原始圖像上的空間信息，根據(jù)本發(fā)明實施例的基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)方法能夠大大降低去卷積重建計算的復(fù)雜度，同時又能保證較高的重建結(jié)果準(zhǔn)確度。
[0063]如圖4所示的為本發(fā)明實施例的基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)方法在二維圖像中的一個應(yīng)用例。在本應(yīng)用例中，已通過上述步驟S210?步驟S260得到關(guān)注特征在第K層特征圖上的分布，這里對從關(guān)注特征在第K層特征圖上的分布得到關(guān)注特征在第K-1層特征圖上的分布進(jìn)行詳細(xì)說明。
[0064]首先通過步驟S240、對關(guān)注特征在第K層特征圖上的分布進(jìn)行去降采樣，得到該特征在第K層特征圖上的去降采樣分布。如圖4所示，最右側(cè)的特征圖為已經(jīng)進(jìn)行了去降采樣之后的第K層特征圖，也即該圖表示關(guān)注特征在第K層特征圖上的去降采樣分布，其中，兩個圓點代表所述去降采樣分布所包括的兩個關(guān)注元素。實際上，關(guān)注元素可能不止兩個，這里僅以將去降采樣分布包括的兩個關(guān)注元素恢復(fù)到第K-1層特征圖為例。
[0065]然后進(jìn)行步驟S310、確定關(guān)注特征在第K層特征圖上的去降采樣分布所包括的關(guān)注元素個數(shù)M(在本應(yīng)用例中，M = 2)，并獲取所述去降采樣分布中的每一關(guān)注元素及所述每一關(guān)注元素的值。接著，針對關(guān)注特征在第K層特征圖上的去降采樣分布所包括的一個關(guān)注元素，在第K-1層特征圖上確定與該關(guān)注元素對應(yīng)的區(qū)域、例如圖中虛線框所示的區(qū)域。其中，該確定步驟可以參考上述對步驟S330的說明來實現(xiàn)。即如果假設(shè)從第K-1層特征圖通過卷積運算得到第K層特征圖中所使用的卷積核的大小為3X3，則在第K-1層特征圖上與該關(guān)注元素對應(yīng)的區(qū)域大小也為3X3，并且該區(qū)域中的各元素與該3X3的卷積核中對應(yīng)元素相乘之后再相加得到的值即為第K層的關(guān)注元素的值。
[0066]然后，將該區(qū)域外的所有元素的值置為非關(guān)注元素的值，將該區(qū)域內(nèi)的所有元素置為上述關(guān)注元素的值(具體可參考上述對步驟S340的說明)，在該區(qū)域中用設(shè)定的矩陣進(jìn)行對應(yīng)元素相乘，并用相乘的結(jié)果替換該區(qū)域中對應(yīng)元素的值(即上文解釋的按元素相乘)。其中，該設(shè)定的矩陣即為上述步驟S350所說的設(shè)定權(quán)重，可以為從第K-1層特征圖通過卷積運算得到第K層特征圖中所使用的卷積核，也可以為根據(jù)上述卷積核自定義的函數(shù)，只要能夠體現(xiàn)卷積核中的各元素對相關(guān)特征的影響權(quán)重就可以。
[0067]對于關(guān)注特征在第K層特征圖上的去降采樣分布所包括的另外一個關(guān)注元素同樣進(jìn)行上述操作，然后將這兩個關(guān)注元素在第K-1層特征圖上的子分布疊加，并將疊加所得到的結(jié)果作為所述關(guān)注特征在第K-1層特征圖上的分布。
[0068]接下來，對于所述關(guān)注特征在第K-1層特征圖上的分布，先通過步驟S240進(jìn)行去降采樣得到所述關(guān)注特征在第K-1層特征圖上的去降采樣分布，然后參照上述步驟S310至步驟S380得到所述關(guān)注特征在第K-2層特征圖上的分布。如此依次反復(fù)進(jìn)行，直到獲得所述關(guān)注特征在第O層特征圖、即原始圖像上的分布、即空間信息為止。
[0069]如上文已說明的那樣，在本應(yīng)用例中，將第K層特征圖中的關(guān)注元素進(jìn)行去降采樣得到第K層特征圖上的去降采樣分布的方法，可以采用傳統(tǒng)的去降采樣算法，通過將原始圖像輸入具有N層卷積和降采樣的卷積神經(jīng)網(wǎng)絡(luò)獲得特征的過程中進(jìn)行降采樣時所保存的采樣位置等信息來實現(xiàn)。
[0070]在一種可能的實現(xiàn)方式中，為了針對各個關(guān)注特征所恢復(fù)出的分布進(jìn)行數(shù)值比對或針對這些具體數(shù)值進(jìn)行其它后續(xù)處理的方便，還可以在根據(jù)關(guān)注特征在第N層特征圖上的分布重建出該關(guān)注特征在第N-1層特征圖上的分布之前，將該關(guān)注特征的值初始化、例如設(shè)為I。
[0071]需要說明的是，將關(guān)注特征的值初始化為I不是必須的，在關(guān)注特征的真實值較小或者在運算過程中造成關(guān)注元素的數(shù)值變小的情況下，為了保證計算的準(zhǔn)確度，也可以將關(guān)注特征初始化為其它值，待將關(guān)注特征恢復(fù)至原始圖像后，將該關(guān)注特征對應(yīng)于原始圖像的相關(guān)區(qū)域中的各元素均除以該初始化的值。
[0072]這樣，通過主要考慮各層卷積核在獲得特征的過程中對原始圖像上各元素的影響，并在去卷積重建中與關(guān)注的特征相關(guān)地按元素累計不同卷積核的影響，來恢復(fù)關(guān)注的特征在原始圖像上的空間信息，根據(jù)本發(fā)明上述二維圖像的應(yīng)用例的空間信息恢復(fù)方法不涉及卷積運算，因此能夠保證較高的重建結(jié)果準(zhǔn)確度，并且相比稀疏優(yōu)化算法而言，又能夠大大降低去卷積重建計算的復(fù)雜度。
[0073]如圖5所示的為根據(jù)本發(fā)明一實施例的基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)方法在三維圖像中的一個應(yīng)用例。與二維圖像的應(yīng)用例不同的是，在三維圖像的應(yīng)用例中，特征圖和卷積核都是三維的，因此，關(guān)注特征對應(yīng)到上一層特征圖中的區(qū)域為三維立方體。
[0074]具體地，與二維圖像的應(yīng)用例類似地，在本三維圖像的應(yīng)用例中，已通過上述步驟S210?步驟S260得到關(guān)注特征在第K層特征圖上的分布，也就是“去降采樣”和“去卷積重建”過程已經(jīng)進(jìn)行到了第K層。這里對從關(guān)注特征在第K層特征圖上的分布得到關(guān)注特征在第K-1層特征圖上的分布進(jìn)行詳細(xì)說明。
[0075]與二維應(yīng)用例的具體重建步驟類似地，首先，通過步驟S240、對關(guān)注特征在第K層特征圖上的分布進(jìn)行去降采樣，得到該特征在第K層特征圖上的去降采樣分布。如圖5所示，最右側(cè)表示已經(jīng)進(jìn)行了去降采樣之后的第K層特征圖。實際上，可以將三維的第K層特征圖看成是多組二維特征圖，這里僅示出兩組二維特征圖，其余用省略號表示。僅以將三維的第K層特征圖中的兩組二維特征圖恢復(fù)到第K-1層特征圖為例。
[0076]然后，針對三維的第K層特征圖中的一組二維特征圖中所包括的所有關(guān)注元素，在第K-1層的特征圖上確定與這所有的關(guān)注元素對應(yīng)的區(qū)域(對應(yīng)于上述步驟S330)，這里以3個關(guān)注元素(在圖5中以圓點A、B、C表示)為例，則在第K-1層的特征圖上與這3個關(guān)注元素對應(yīng)的區(qū)域例如可以是以圖5中虛線框示出的3個三維立方體。即如圖5所示，關(guān)注元素A對應(yīng)三維立方體A，關(guān)注元素B對應(yīng)三維立方體B，關(guān)注元素C對應(yīng)三維立方體Co其中，如果假設(shè)從第K-1層特征圖通過卷積運算得到第K層特征圖中所使用的卷積核的大小為3X3X9，則在第K-1層特征圖上與這3個關(guān)注元素對應(yīng)的區(qū)域大小都為3X3X9，并且三維立方體A、B、C中的各元素分別與該3X3X9的卷積核中對應(yīng)元素相乘之后再相加得到的值分別為關(guān)注元素A、B、Co
[0077]然后，以關(guān)注元素A為例，將三維立方體A之外的元素置為非關(guān)注元素的值，將三維立方體A內(nèi)的元素置為關(guān)注元素A的值(對應(yīng)于上述步驟S340)，并且在三維立方體A內(nèi)按元素乘以不同的三維權(quán)重矩陣(對應(yīng)于上述步驟S350)。其中，三維情況的按元素相乘的計算與二維情況的類似，也是將兩個矩陣的對應(yīng)的元素分別相乘。具體地，假設(shè)三維矩陣a [a α，j，k)]按元素乘以三維矩陣B [b α，j，k)]得到三維矩陣D [d α，j，k)]，其中三維矩陣A和B的大小相同，則三維矩陣D的大小也與A和B相同，并且d(i，j，k) =a(i，j，k) Xb (i，j，k) ο
[0078]另外，該三維權(quán)重矩陣可以為從第K-1層特征圖通過卷積運算得到第K層特征圖中所使用的卷積核，也可以為根據(jù)上述卷積核自定義的函數(shù)。事實上，用戶完全可根據(jù)實際應(yīng)用場景靈活設(shè)置，只要能夠體現(xiàn)卷積核中的各元素對相關(guān)特征的影響權(quán)重就可以。對關(guān)注元素B和C進(jìn)行與關(guān)注元素A相同的處理，實際上，這三個關(guān)注元素的上述處理可同時進(jìn)行。
[0079]對于三維的第K層特征圖中的另外一組二維特征圖中所包括的所有關(guān)注元素，同樣進(jìn)行上述處理步驟，然后將這兩組二維特征圖在第K-1層特征圖上的子分布相加，即得到關(guān)注特征在第K-1層特征圖上的分布。
[0080]接下來，參考上述步驟S310至步驟S380根據(jù)關(guān)注特征在該第K_1層特征圖上的分布，重建出該關(guān)注特征在第K-2層特征圖上的分布。如此依次反復(fù)進(jìn)行，直到獲得該關(guān)注特征在第O層特征圖、即原始圖像上的分布為止。
[0081]在一種可能的實現(xiàn)方式中，與二維圖像的應(yīng)用例類似地，為了針對各個關(guān)注特征所恢復(fù)出的分布進(jìn)行數(shù)值比對或針對這些具體數(shù)值進(jìn)行其它后續(xù)處理的方便，還可以在根據(jù)特征在第N層特征圖上的分布重建出該特征在第N-1層特征圖上的分布之前，將該特征的值初始化、例如設(shè)為I。另外，與二維圖像的應(yīng)用例類似地，可以采用傳統(tǒng)的去降采樣算法，將第K層特征圖中的關(guān)注元素進(jìn)行去降采樣得到第K層特征圖上的去降采樣分布。
[0082]這樣，通過主要考慮各層卷積核在獲得特征的過程中對原始圖像上各元素的影響，并在去卷積重建中與關(guān)注的特征相關(guān)地按元素累計不同卷積核的影響，來恢復(fù)關(guān)注的特征在原始圖像上的空間信息，根據(jù)本發(fā)明上述三維圖像的應(yīng)用例的空間信息恢復(fù)方法不涉及卷積運算，因此能夠保證較高的重建結(jié)果準(zhǔn)確度，并且相比稀疏優(yōu)化算法而言，由能夠大大降低去卷積重建計算的復(fù)雜度。
[0083]本發(fā)明的基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)裝置用于恢復(fù)將原始圖像輸入具有N層卷積核降采樣卷積神經(jīng)網(wǎng)絡(luò)所獲得的特征在所述原始圖像上的空間信息，其中N為整數(shù)并且N多I。該空間信息恢復(fù)裝置從K等于N開始，依次根據(jù)所述特征在第K層特征圖上的分布重建出所述特征在第K-1層特征圖上的分布，其中K為整數(shù)并且O < K < N，所述特征在第O層特征圖上的分布表示所述特征在所述原始圖像上的空間信息。
[0084]具體地，圖6示出了根據(jù)本發(fā)明一實施例的基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)裝置的結(jié)構(gòu)框圖，圖中的箭頭方向示出了該空間信息恢復(fù)裝置各部件之間的信號或數(shù)據(jù)流向。并且，如圖6所示，所述空間信息恢復(fù)裝置包括:
[0085]去降采樣模塊610，其被配置為對所述特征在第K層特征圖上的分布進(jìn)行去降采樣，以得到所述特征在第K層特征圖上的去降采樣分布；
[0086]重建模塊620，與去降米樣模塊610連接，并且被配置為，獲取所述去降米樣分布中的每一關(guān)注元素及所述每一關(guān)注元素的值；分別針對每一關(guān)注元素執(zhí)行以下操作:確定關(guān)注元素對應(yīng)的第K-1層特征圖中的區(qū)域；將所述第K-1層特征圖中的該區(qū)域內(nèi)的元素置為與所述關(guān)注元素的值相對應(yīng)的值，并將除該區(qū)域之外的其它區(qū)域中的元素置為非關(guān)注元素的值；就賦值后的所述第K-1層特征圖中的所述關(guān)注元素對應(yīng)的區(qū)域按元素乘以設(shè)定權(quán)重以得到所述關(guān)注元素在第K-1層特征圖上的子分布；其中所述設(shè)定權(quán)重根據(jù)預(yù)存儲的從第K-1層特征圖通過卷積運算得到第K層特征圖時所采用的卷積核生成；以及
[0087]加法模塊630，與重建模塊620以及去降采樣模塊610連接，被配置為將通過所述重建模塊獲得的所有關(guān)注元素各自在第K-1層特征圖上的子分布進(jìn)行疊加，并將相加所得到的結(jié)果作為所述特征在第K-1層特征圖上的分布輸出至去降采樣模塊610。
[0088]其中，在一種可能的實現(xiàn)方式中，所述關(guān)注元素的值非空或非零。去降采樣模塊610的具體實現(xiàn)機理可以參照實施例1中步驟S240以及對該步驟進(jìn)行的去降采樣過程的說明；重建模塊620以及加法模塊630的實現(xiàn)機理可以參照實施例1中所述的步驟S250、步驟S310?步驟S380以及在二維應(yīng)用例和三維應(yīng)用例中對去卷積重建過程的示例。
[0089]在一種可能的實現(xiàn)方式中，該空間信息恢復(fù)裝置還包括初始化模塊640，與去降采樣模塊610連接，被配置為將所述特征的值初始化作為所述特征在第N層特征圖上的分布輸出至去降采樣模塊610。初始化模塊640的具體實現(xiàn)機理可以參照上述方法實施例中對關(guān)注特征的初始化的說明。
[0090]這樣，通過主要考慮各層卷積核在獲得特征的過程中對原始圖像上各元素的影響，并在去卷積重建中與關(guān)注的特征相關(guān)地按元素累計不同卷積核的影響，來恢復(fù)關(guān)注的特征在原始圖像上的空間信息，根據(jù)本發(fā)明實施例的空間信息恢復(fù)裝置能夠大大降低去卷積重建計算的復(fù)雜度，同時又能保證較高的重建結(jié)果準(zhǔn)確度。
[0091]以上所述，僅為本發(fā)明的【具體實施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。
【主權(quán)項】
1.一種基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)方法，用于恢復(fù)將原始圖像輸入具有N層卷積和降采樣的卷積神經(jīng)網(wǎng)絡(luò)所獲得的特征在所述原始圖像上的空間信息，其中N為整數(shù)并且N多I，其特征在于，包括: 從K等于N開始，依次根據(jù)所述特征在第K層特征圖上的分布重建出所述特征在第K-1層特征圖上的分布，其中K為整數(shù)并且O < K < N，所述特征在第O層特征圖上的分布表示所述特征在所述原始圖像上的空間信息； 并且，根據(jù)所述特征在第K層特征圖上的分布重建出所述特征在第K-1層特征圖上的分布包括: 對所述特征在第K層特征圖上的分布進(jìn)行去降采樣，以得到所述特征在第K層特征圖上的去降采樣分布； 獲取所述去降采樣分布中的每一關(guān)注元素及所述每一關(guān)注元素的值； 分別針對每一關(guān)注元素執(zhí)行以下操作:確定關(guān)注元素對應(yīng)的第K-1層特征圖中的區(qū)域；將所述第K-1層特征圖中的該區(qū)域內(nèi)的元素置為與所述關(guān)注元素的值相對應(yīng)的值，并將除該區(qū)域之外的其它區(qū)域中的元素置為非關(guān)注元素的值；就賦值后的所述第K-1層特征圖中的所述關(guān)注元素對應(yīng)的區(qū)域按元素乘以設(shè)定權(quán)重以得到所述關(guān)注元素在第K-1層特征圖上的子分布；其中所述設(shè)定權(quán)重根據(jù)預(yù)存儲的從第K-1層特征圖通過卷積運算得到第K層特征圖時所采用的卷積核生成； 將所有關(guān)注元素各自在第K-1層特征圖上的子分布進(jìn)行疊加以生成所述特征在第K-1層特征圖上的分布。2.根據(jù)權(quán)利要求1所述的空間信息恢復(fù)方法，其特征在于，在根據(jù)所述特征在第N層特征圖上的分布重建出所述特征在第N-1層特征圖上的分布之前，還包括:將所述特征的值初始化。3.根據(jù)權(quán)利要求1或2所述的空間信息恢復(fù)方法，其特征在于，所述關(guān)注元素的值非空或非零。4.一種基于卷積神經(jīng)網(wǎng)絡(luò)所獲得特征的空間信息恢復(fù)裝置，用于恢復(fù)將原始圖像輸入具有N層卷積和降采樣的卷積神經(jīng)網(wǎng)絡(luò)所獲得的特征在所述原始圖像上的空間信息，其中N為整數(shù)并且N多I，其特征在于， 該空間信息恢復(fù)裝置從K等于N開始，依次根據(jù)所述特征在第K層特征圖上的分布重建出所述特征在第K-1層特征圖上的分布，其中K為整數(shù)并且O < K < N，所述特征在第O層特征圖上的分布表示所述特征在所述原始圖像上的空間信息； 并且，所述空間信息恢復(fù)裝置包括: 去降采樣模塊，被配置對所述特征在第K層特征圖上的分布進(jìn)行去降采樣，以得到所述特征在第K層特征圖上的去降采樣分布； 重建模塊，與所述去降采樣模塊連接，并且被配置為，獲取所述去降采樣分布中的每一關(guān)注元素及所述每一關(guān)注元素的值；分別針對每一關(guān)注元素執(zhí)行以下操作:確定關(guān)注元素對應(yīng)的第K-1層特征圖中的區(qū)域；將所述第K-1層特征圖中的該區(qū)域內(nèi)的元素置為與所述關(guān)注元素的值相對應(yīng)的值，并將除該區(qū)域之外的其它區(qū)域中的元素置為非關(guān)注元素的值；就賦值后的所述第K-1層特征圖中的所述關(guān)注元素對應(yīng)的區(qū)域按元素乘以設(shè)定權(quán)重以得到所述關(guān)注元素在第K-1層特征圖上的子分布；其中所述設(shè)定權(quán)重根據(jù)預(yù)存儲的從第K-1層特征圖通過卷積運算得到第K層特征圖時所采用的卷積核生成；以及 加法模塊，與所述重建模塊以及所述去降采樣模塊連接，被配置為將通過所述重建模塊獲得的所有關(guān)注元素各自在第K-1層特征圖上的子分布進(jìn)行疊加，并將相加所得到的結(jié)果作為所述特征在第K-1層特征圖上的分布輸出至所述去降采樣模塊。5.根據(jù)權(quán)利要求4所述的空間信息恢復(fù)裝置，其特征在于，還包括初始化模塊，與所述去降采樣模塊連接，被配置為將所述特征的值初始化作為所述特征在第N層特征圖上的分布輸出至所述去降采樣模塊。6.根據(jù)權(quán)利要求4或5所述的空間信息恢復(fù)裝置，其特征在于，所述關(guān)注元素的值非空或非零。
【文檔編號】G06N3/02GK106033594SQ201510106624
【公開日】2016年10月19日
【申請日】2015年3月11日
【發(fā)明人】黃郁馳
【申請人】日本電氣株式會社