本發(fā)明屬于光子信號(hào)檢測及計(jì)算成像領(lǐng)域，具體涉及基于單光子探測器和類腦計(jì)算方法在開放復(fù)雜動(dòng)態(tài)場景(例如空基平臺(tái))下的場景信息智能探測和感知技術(shù)及其應(yīng)用。

背景技術(shù)：

1、傳統(tǒng)的幀成像技術(shù)在復(fù)雜動(dòng)態(tài)場景中的應(yīng)用受到限制(例如高空高速空基平臺(tái))，特別是在極弱光條件下或需要高時(shí)空分辨率、超動(dòng)態(tài)散射信息處理的情況下表現(xiàn)不佳。單光子計(jì)算成像技術(shù)因其高靈敏度和對(duì)單個(gè)光子進(jìn)行處理的能力，為解決這些問題提供了全新的途徑。然而，現(xiàn)有的單光子計(jì)算成像方法在處理極低信噪比，遠(yuǎn)距離復(fù)雜動(dòng)態(tài)場景的時(shí)候仍然面臨眾多挑戰(zhàn)，特別是在對(duì)場景信息進(jìn)行智能探測和感知方面的能力需要進(jìn)一步提升。

2、例如現(xiàn)有單光子計(jì)算成像方法極易受到噪聲影響，計(jì)算速度較慢，泛化能力差且其性能高度依賴于成像設(shè)備的參數(shù)和特定的場景信息(“abayesian?based?deepunrolling?algorithm?for?single-photon?lidar?systems,”ieee?journal?of?selectedtopics?in?signal?processing,vol.16,no.4,pp.762-774,2022.)。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有技術(shù)存在的上述問題，本發(fā)明提出了一種基于類腦單光子計(jì)算成像的場景反射率和深度圖重建方法。

2、本發(fā)明的具體技術(shù)方案為：一種基于類腦單光子計(jì)算成像的場景反射率和深度圖重建方法，包括以下步驟：

3、s1、構(gòu)建基于大腦非目標(biāo)導(dǎo)向背景噪聲抑制機(jī)理的神經(jīng)網(wǎng)絡(luò)分支(nto)，用于去除單光子三維信號(hào)中的噪聲；

4、s2、構(gòu)建基于大腦目標(biāo)導(dǎo)向自適應(yīng)信息選擇機(jī)理的神經(jīng)網(wǎng)絡(luò)分支(to)，用于從去噪后的單光子三維數(shù)據(jù)中重建出場景的反射率圖和深度圖；

5、s3、建立自上而下的top-down任務(wù)控制信號(hào)流(t)，將top-down任務(wù)，即對(duì)恢復(fù)場景的反射率圖或恢復(fù)場景的深度圖這兩個(gè)任務(wù)分別用向量(0,1)和(1,0)表示；通過兩個(gè)全連接層將表征top-down任務(wù)的向量(0,1)或(1,0)映射成與步驟s1得到的神經(jīng)網(wǎng)絡(luò)分支的某一層特征圖(nto1)維度相同的特征圖t1，并將nto1和t1進(jìn)行相加得到經(jīng)過top-down任務(wù)信號(hào)調(diào)制后的特征圖；

6、s4、將步驟s3得到的特征圖和步驟s2得到的神經(jīng)網(wǎng)絡(luò)to分支的同一層的、具有相同維度的特征圖(to1)進(jìn)行相乘((nto1+t1)*to1)。

7、s5、對(duì)雙分支神經(jīng)網(wǎng)絡(luò)(nto分支和to分支)進(jìn)行訓(xùn)練；測試時(shí)，同時(shí)輸入單光子三維數(shù)據(jù)和向量(0,1)或單光子三維數(shù)據(jù)和向量(1,0)；

8、最后的輸出結(jié)果為：從to分支輸出場景反射率圖或深度圖，從nto分支輸出去噪后的單光子三維數(shù)據(jù)。

9、進(jìn)一步地，所述步驟s1中的nto分支和步驟s2中的to分支的神經(jīng)網(wǎng)絡(luò)具體實(shí)現(xiàn)方法為：使用模擬的視覺神經(jīng)元的動(dòng)態(tài)感受野模塊(drf)對(duì)輸入的單光子三維數(shù)據(jù)進(jìn)行特征提取，用于表征三維光子數(shù)據(jù)在空間和時(shí)間兩個(gè)維度上的局部和非局部依賴關(guān)系，分別得到經(jīng)過drf模塊處理后的三維特征圖。

10、進(jìn)一步地，所述步驟s2中的to分支和步驟s1中的nto分支采用完全相同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，包含一個(gè)由3d卷積計(jì)算，對(duì)經(jīng)過drf模塊處理后的三維特征圖進(jìn)行時(shí)間維度上的壓縮變換，以及空間維度上的特征圖的上采樣和下采樣多尺度操作的編解碼器架構(gòu)；其中，步驟s1中的nto分支輸出的是去噪后的三維光子數(shù)據(jù)，而步驟s2中的to分支同時(shí)輸出場景的反射率圖和深度圖。

11、進(jìn)一步地，所述步驟s1中的nto分支和步驟s2中的to分支采用的drf模塊的計(jì)算方法包括將輸入的三維光子數(shù)據(jù)特征圖f∈rn×n×t在時(shí)間維度上切分成前后大小相同的兩個(gè)三維特征圖，其中，n表示三維光子數(shù)據(jù)的長或?qū)?，t表示時(shí)間維度的大小，r表示實(shí)數(shù)集合；并分別對(duì)兩個(gè)三維特征圖在時(shí)間維度上進(jìn)行壓縮操作得到兩張二維的特征圖；然后對(duì)壓縮后的特征圖使用drf機(jī)制進(jìn)行卷積運(yùn)算處理，用于表征單光子數(shù)據(jù)在空間維度上的局部和非局部依賴關(guān)系；最后將經(jīng)過drf處理后的二維特征圖進(jìn)行維度擴(kuò)增得到與輸入的原始三維特征圖維度大小相同的三維特征圖，并和輸入的原始三維特征圖進(jìn)行相加，輸出得到經(jīng)過drf模塊處理后的最終的三維特征圖結(jié)果v：

12、v＝expansion(drf(compression(f)))+f?(1)

13、其中，compression()表示對(duì)特征圖的維度壓縮操作，drf()表示模擬視覺神經(jīng)元的動(dòng)態(tài)感受野構(gòu)建的特征提取操作，expansion()表示對(duì)特征圖的維度擴(kuò)增操作。

14、進(jìn)一步地，所述步驟s3具體實(shí)現(xiàn)方法為：將自上而下的top-down任務(wù)控制信號(hào)即目標(biāo)是恢復(fù)場景的反射率圖或目標(biāo)是恢復(fù)場景的深度圖分別編碼為向量(0,1)或(1,0)，然后使用兩個(gè)全連接層將向量映射成三維特征圖t1，將t1和nto分支某一層特征圖nto1相加，得到特征圖c。

15、進(jìn)一步地，nto分支的特征圖nto1是nto網(wǎng)絡(luò)中的任一層，只要t1和nto1特征圖的維度一致即可。

16、進(jìn)一步地，所述步驟s4具體實(shí)現(xiàn)方法為：將步驟s3得到的特征圖c和步驟s2得到的神經(jīng)網(wǎng)絡(luò)to分支的同一層的、具有相同維度的特征圖(to1)進(jìn)行相乘，從而實(shí)現(xiàn)同時(shí)使用top-down任務(wù)信號(hào)和底層注意力機(jī)制對(duì)目標(biāo)導(dǎo)向的神經(jīng)網(wǎng)絡(luò)分支to的調(diào)控。

17、進(jìn)一步的，所述步驟s5具體實(shí)現(xiàn)方法為：采用隨機(jī)化的二值交叉訓(xùn)練策略對(duì)雙分支神經(jīng)網(wǎng)絡(luò)在訓(xùn)練集數(shù)據(jù)上進(jìn)行訓(xùn)練；

18、當(dāng)輸入的任務(wù)向量為(0,1)時(shí)，網(wǎng)絡(luò)的目標(biāo)是使得模型輸出場景的反射率圖，具體采用kl散度、l2范數(shù)以及ssim來分別度量目標(biāo)導(dǎo)向的神經(jīng)網(wǎng)絡(luò)分支to輸出的三維光子數(shù)據(jù)和訓(xùn)練數(shù)據(jù)集提供的三維光子數(shù)據(jù)的ground?truth之間的概率分布差異dkl、目標(biāo)導(dǎo)向的神經(jīng)網(wǎng)絡(luò)分支to輸出的二維反射率圖和訓(xùn)練數(shù)據(jù)集提供的反射率圖的ground?truth之間的平均絕對(duì)誤差l1、二維反射率圖和訓(xùn)練數(shù)據(jù)集提供的反射率圖的ground?truth之間的結(jié)構(gòu)相似度lssim；用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的總的損失函數(shù)為：

19、lr＝dkl+lssim+l1?(2)

20、當(dāng)輸入的任務(wù)向量為(1,0)時(shí)，網(wǎng)絡(luò)的目標(biāo)是使得模型輸出場景的深度圖，具體采用kl散度、l2范數(shù)以及全變分損失來分別度量目標(biāo)導(dǎo)向的神經(jīng)網(wǎng)絡(luò)分支to輸出的三維光子數(shù)據(jù)和訓(xùn)練數(shù)據(jù)集提供的三維光子數(shù)據(jù)的ground?truth之間的概率分布差異dkl、目標(biāo)導(dǎo)向的神經(jīng)網(wǎng)絡(luò)分支to輸出的二維深度圖和訓(xùn)練數(shù)據(jù)集提供的深度圖的ground?truth之間的均方誤差l2、對(duì)網(wǎng)絡(luò)輸出的二維反射率圖進(jìn)行保平滑性的正則項(xiàng)約束ltv；用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的總的損失函數(shù)為：

21、ld＝dkl+l2+λltv?(3)

22、其中，λ表示全變分損失的系數(shù)。

23、最后，采用如公式(2)和(3)所示的損失函數(shù)對(duì)雙分支神經(jīng)網(wǎng)絡(luò)進(jìn)行隨機(jī)化的二值交叉訓(xùn)練，直到神經(jīng)網(wǎng)絡(luò)模型收斂。

24、本發(fā)明的有益效果：本發(fā)明的基于類腦單光子計(jì)算成像的場景反射率和深度圖重建方法通過模擬大腦目標(biāo)導(dǎo)向的和非目標(biāo)導(dǎo)向的背景噪聲抑制機(jī)理，有效提升現(xiàn)有基于深度學(xué)習(xí)的單光子計(jì)算成像算法的精度和魯棒性，以及在不同噪聲環(huán)境下的泛化性，增強(qiáng)后續(xù)計(jì)算機(jī)視覺目標(biāo)檢測、識(shí)別、跟蹤任務(wù)的性能，能夠提升信息探測和感知能力的精度、魯棒性、泛化性。