本發(fā)明屬于光學(xué)非視域成像，特別提出一種基于深度學(xué)習(xí)的被動(dòng)式非視域成像方法及裝置。

背景技術(shù)：

1、非視域成像技術(shù)可對(duì)直線視場(chǎng)之外的區(qū)域進(jìn)行光學(xué)探測(cè)及成像，該技術(shù)通過(guò)利用場(chǎng)景中的中繼反射面獲取信息，經(jīng)由特定算法求解，實(shí)現(xiàn)繞過(guò)障礙成像。這一技術(shù)將光學(xué)成像范圍由全視場(chǎng)擴(kuò)展為超視場(chǎng)，在導(dǎo)航及自動(dòng)駕駛、災(zāi)難救援、內(nèi)窺醫(yī)療診斷等領(lǐng)域具有巨大應(yīng)用潛力。

2、非視域成像技術(shù)按照是否使用主動(dòng)光源對(duì)隱藏場(chǎng)景進(jìn)行可控制的照明分為主動(dòng)式與被動(dòng)式兩個(gè)類(lèi)別。其中主動(dòng)式方法具有硬件設(shè)備成本高、系統(tǒng)搭建復(fù)雜、成像采集時(shí)間長(zhǎng)、風(fēng)險(xiǎn)性高、隱蔽性差等缺點(diǎn)；被動(dòng)式方法可以有效規(guī)避上述缺點(diǎn)，但由于探測(cè)階段獲取信息較少，使得成像計(jì)算過(guò)程具有較強(qiáng)的不適定性，導(dǎo)致成像質(zhì)量和泛化性較差，對(duì)于成像場(chǎng)景往往存在特殊要求或限制。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是為克服已有技術(shù)的不足之處，提出一種基于深度學(xué)習(xí)的被動(dòng)式非視域成像方法及裝置。本發(fā)明利用深度學(xué)習(xí)實(shí)現(xiàn)被動(dòng)式非視域成像，對(duì)于成像場(chǎng)景無(wú)任何特殊限制，并可提高成像距離，從而大幅提升被動(dòng)式非視域成像的泛用性。

2、本發(fā)明第一方面實(shí)施例提出一種基于深度學(xué)習(xí)的被動(dòng)式非視域成像方法，包括：

3、在被動(dòng)式非視域成像場(chǎng)景中，利用相機(jī)采集由自發(fā)光物體投射的投影圖像在中介墻面上產(chǎn)生的散射圖像；

4、將所述散射圖像輸入預(yù)設(shè)的成像神經(jīng)網(wǎng)絡(luò)，所述成像神經(jīng)網(wǎng)絡(luò)輸出所述投影圖像的成像結(jié)果；其中，所述成像神經(jīng)網(wǎng)絡(luò)由一對(duì)具有對(duì)稱(chēng)結(jié)構(gòu)的編碼器和解碼器組成；所述編碼器由依次連接的9層下采樣單元組成，所述解碼器由依次連接的9層上采樣單元組成。

5、在本發(fā)明的一個(gè)具體實(shí)施例中，所述投影圖像為像素?cái)?shù)小于等于所述自發(fā)光物體最大像素?cái)?shù)的正方形二值圖像。

6、在本發(fā)明的一個(gè)具體實(shí)施例中，在所述將所述散射圖像輸入預(yù)設(shè)的成像神經(jīng)網(wǎng)絡(luò)之前，所述方法還包括：

7、將所述散射圖像采樣為所述成像神經(jīng)網(wǎng)絡(luò)設(shè)定的輸入尺寸。

8、在本發(fā)明的一個(gè)具體實(shí)施例中，所述編碼器的每層下采樣單元中包含用于實(shí)現(xiàn)下采樣的二維卷積層、用于控制模型內(nèi)部參數(shù)穩(wěn)定的批量歸一化層和用于引入非線性的激活函數(shù)；所述解碼器的每層上采樣單元中包含用于實(shí)現(xiàn)上采樣的二維反卷積層、用于控制模型內(nèi)部參數(shù)穩(wěn)定的批量歸一化層、用于增強(qiáng)特征融合的跳躍連接和用于引入非線性的激活函數(shù)。

9、在本發(fā)明的一個(gè)具體實(shí)施例中，還包括：

10、所述成像神經(jīng)網(wǎng)絡(luò)初始輸入大小為512×512的散射圖像，經(jīng)過(guò)第一下采樣單元后輸出大小為256×256、特征數(shù)為4的圖像進(jìn)入第二下采樣單元；經(jīng)過(guò)第二下采樣單元后輸出大小為128×128、特征數(shù)為4的圖像進(jìn)入第三下采樣單元；經(jīng)過(guò)第三下采樣單元后輸出大小為64×64、特征數(shù)為8的圖像進(jìn)入第四下采樣單元；經(jīng)過(guò)第四下采樣單元后輸出大小為32×32、特征數(shù)為16的圖像進(jìn)入第五下采樣單元；經(jīng)過(guò)第五下采樣單元后輸出大小為16×16、特征數(shù)為32的圖像進(jìn)入第六下采樣單元；經(jīng)過(guò)第六下采樣單元后輸出大小為8×8、特征數(shù)為32的圖像進(jìn)入第七下采樣單元；經(jīng)過(guò)第七下采樣單元后輸出大小為4×4、特征數(shù)為32的圖像進(jìn)入第八下采樣單元；經(jīng)過(guò)第八下采樣單元后輸出大小為2×2、特征數(shù)為32的圖像進(jìn)入第九下采樣單元；經(jīng)過(guò)第九下采樣單元后輸出大小為1×1、特征數(shù)為32的圖像進(jìn)入第一上采樣單元；經(jīng)過(guò)第一上采樣單元后輸出大小為2×2、特征數(shù)為32的圖像，該圖像與第八下采樣單元輸出的圖像跳躍連接，沿特征維度拼接成大小為2×2、特征數(shù)為64的圖像進(jìn)入第二上采樣單元；經(jīng)過(guò)第二上采樣單元后輸出大小為4×4、特征數(shù)為32的圖像，該圖像與第七下采樣單元輸出圖像跳躍連接，沿特征維度拼接成大小為4×4、特征數(shù)為64的圖像進(jìn)入第三上采樣單元；經(jīng)過(guò)第三上采樣單元后輸出大小為8×8、特征數(shù)為32的圖像，該圖像與第六下采樣單元輸出圖像跳躍連接，沿特征維度拼接成大小為8×8、特征數(shù)為64的圖像進(jìn)入第四上采樣單元；經(jīng)過(guò)第四上采樣單元后輸出大小為16×16、特征數(shù)為32的圖像，該圖像與第五下采樣單元輸出圖像跳躍連接，沿特征維度拼接成大小為16×16、特征數(shù)為64的圖像進(jìn)入第五上采樣單元；經(jīng)過(guò)第五上采樣單元后輸出大小為32×32、特征數(shù)為16的圖像，該圖像與第四下采樣單元輸出圖像跳躍連接，沿特征維度拼接成大小為32×32、特征數(shù)為32的圖像進(jìn)入第六上采樣單元；經(jīng)過(guò)第六上采樣單元后輸出大小為64×64、特征數(shù)為8的圖像，該圖像與第三下采樣單元輸出圖像跳躍連接，沿特征維度拼接成大小為64×64、特征數(shù)為16的圖像進(jìn)入第七上采樣單元；經(jīng)過(guò)第七上采樣單元后輸出大小為128×128、特征數(shù)為4的圖像，該圖像與第二下采樣單元輸出圖像跳躍連接，沿特征維度拼接成大小為128×128、特征數(shù)為8的圖像進(jìn)入第八上采樣單元；經(jīng)過(guò)第八上采樣單元后輸出大小為256×256、特征數(shù)為4的圖像，該圖像與第一下采樣單元輸出圖像跳躍連接，沿特征維度拼接成大小為256×256、特征數(shù)為8的圖像進(jìn)入第九上采樣單元；經(jīng)過(guò)第九上采樣單元后輸出大小為512×512、特征數(shù)為4的圖像進(jìn)入所述成像神經(jīng)網(wǎng)絡(luò)的讀出層；所述讀出層輸出大小為512×512、特征數(shù)為1的圖像，即為最終的成像結(jié)果。

11、在本發(fā)明的一個(gè)具體實(shí)施例中，還包括：

12、每層下采樣單元中均包含卷積核大小為4×4、滑動(dòng)步長(zhǎng)為2的卷積層和leakyrelu激活函數(shù)；其中，所述第二下采樣單元至所述第八下采樣單元中還包含批量歸一化層；

13、每層上采樣單元中均包含卷積核大小為4×4、滑動(dòng)步長(zhǎng)為2的反卷積層、批量歸一化層、relu激活函數(shù)；其中，所述第一上采樣單元至所述第三上采樣單元中還使用概率為0.5的dropout；

14、所述讀出層中包含卷積核大小為1×1的卷積層和sigmoid函數(shù)。

15、在本發(fā)明的一個(gè)具體實(shí)施例中，在所述將所述散射圖像輸入預(yù)設(shè)的成像神經(jīng)網(wǎng)絡(luò)之前，所述方法還包括：

16、訓(xùn)練所述成像神經(jīng)網(wǎng)絡(luò)；

17、所述訓(xùn)練所述成像神經(jīng)網(wǎng)絡(luò)包括：

18、1)在所述被動(dòng)式非視域成像場(chǎng)景中，利用所述自發(fā)光物體投影多張真值圖像，通過(guò)所述相機(jī)獲取每張真值圖像在所述中介墻面上生成的散射圖像；其中，所述多張真值圖像具有相同特征；

19、2)將每張真值圖像與對(duì)應(yīng)散射圖像采樣為所述成像神經(jīng)網(wǎng)絡(luò)設(shè)定的尺寸以組成一個(gè)訓(xùn)練樣本，其中該訓(xùn)練樣本的輸入為尺寸調(diào)整后的散射圖像，真值標(biāo)簽為對(duì)應(yīng)的尺寸調(diào)整后的真值圖像；所有訓(xùn)練樣本組成訓(xùn)練集；

20、3)構(gòu)建所述成像神經(jīng)網(wǎng)絡(luò)；

21、4)利用步驟2)得到的訓(xùn)練集訓(xùn)練所述成像神經(jīng)網(wǎng)絡(luò)，得到訓(xùn)練完畢的所述成像神經(jīng)網(wǎng)絡(luò)。

22、本發(fā)明第二方面實(shí)施例提出一種基于深度學(xué)習(xí)的被動(dòng)式非視域成像裝置，包括：

23、散射圖像采集模塊，用于在被動(dòng)式非視域成像場(chǎng)景中，利用相機(jī)采集由自發(fā)光物體投射的投影圖像在中介墻面上產(chǎn)生的散射圖像；

24、成像模塊，用于將所述散射圖像輸入預(yù)設(shè)的成像神經(jīng)網(wǎng)絡(luò)，所述成像神經(jīng)網(wǎng)絡(luò)輸出所述投影圖像的成像結(jié)果；其中，所述成像神經(jīng)網(wǎng)絡(luò)由一對(duì)具有對(duì)稱(chēng)結(jié)構(gòu)的編碼器和解碼器組成；所述編碼器由依次連接的9層下采樣單元組成，所述解碼器由依次連接的9層上采樣單元組成。

25、本發(fā)明第三方面實(shí)施例提出一種電子設(shè)備，包括：

26、至少一個(gè)處理器；以及，與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；

27、其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被設(shè)置為用于執(zhí)行上述一種基于深度學(xué)習(xí)的被動(dòng)式非視域成像方法。

28、本發(fā)明第四方面實(shí)施例提出一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行上述一種基于深度學(xué)習(xí)的被動(dòng)式非視域成像方法。

29、本發(fā)明的特點(diǎn)及有益效果：

30、本發(fā)明對(duì)于非視域成像任務(wù)中不可抵達(dá)的隱藏空間(自隱蔽目標(biāo)至中繼墻面)無(wú)任何特殊限制，僅使用數(shù)據(jù)驅(qū)動(dòng)方法降低問(wèn)題不適定性，大幅提升被動(dòng)非視域成像的實(shí)用性和泛用性。此外，本發(fā)明中將相機(jī)至中繼墻面的距離由傳統(tǒng)方法的1-2m提升至10m，進(jìn)一步拓展了非視域成像的應(yīng)用場(chǎng)景。在高精度時(shí)序控制下，本發(fā)明可實(shí)現(xiàn)高速自動(dòng)化數(shù)據(jù)采集，極大地方便了獲取神經(jīng)網(wǎng)絡(luò)訓(xùn)練所需的大量實(shí)驗(yàn)數(shù)據(jù)；同時(shí)在網(wǎng)絡(luò)訓(xùn)練完成后，能夠以相同速度實(shí)現(xiàn)實(shí)時(shí)高速成像，且成像效果優(yōu)異。

31、本發(fā)明主要優(yōu)勢(shì)如下：

32、傳統(tǒng)被動(dòng)式非視域成像方法在隱藏目標(biāo)和中介墻面間引入遮擋物，從而降低成像問(wèn)題的病態(tài)程度。然而，高質(zhì)量成像要求遮擋盡量復(fù)雜，而高泛化性要求遮擋盡量簡(jiǎn)單、任意，甚至無(wú)遮擋，兩者間存在難以避免的權(quán)衡。相反，本發(fā)明采用深度學(xué)習(xí)方法可有效規(guī)避這一問(wèn)題。

33、使用深度學(xué)習(xí)的成像方法對(duì)非視域區(qū)域無(wú)任何附加限制，對(duì)于屏幕(隱藏目標(biāo))的擺放距離、角度，傳輸過(guò)程中是否存在遮擋、散射，固定的背景光是否均勻，觀測(cè)中繼墻面是否平整等條件均無(wú)特定要求。本發(fā)明能夠充分提取和利用這些隱式環(huán)境信息，甚至環(huán)境越是復(fù)雜，可利用的信息就越多，問(wèn)題的病態(tài)程度也越小，越有利于成像。由于非視域探測(cè)實(shí)際應(yīng)用時(shí)中繼墻面后隱藏區(qū)域往往是未知或難以進(jìn)入的，限制該區(qū)域滿足特定要求并不合理，本發(fā)明不對(duì)其進(jìn)行限制更符合現(xiàn)實(shí)場(chǎng)景，能夠有效提升該技術(shù)的應(yīng)用范圍和實(shí)用價(jià)值；

34、本發(fā)明采用端到端的神經(jīng)網(wǎng)絡(luò)中包含了額外場(chǎng)景先驗(yàn)信息，且無(wú)需對(duì)這些信息進(jìn)行顯式求解和表達(dá)，可以在不具體掌握先驗(yàn)的情況下直接利用先驗(yàn)效果，相比于傳統(tǒng)方法更加直接高效，且能夠避免近似建模產(chǎn)生的誤差。