本發(fā)明涉及圖像數(shù)據(jù)處理及圖像增強(qiáng)，具體的說是一種霧天場(chǎng)景下的圖像深度補(bǔ)全方法。

背景技術(shù)：

1、深度獲取是計(jì)算機(jī)視覺中一項(xiàng)關(guān)鍵的基礎(chǔ)問題，它能夠精確感知圖像中的幾何結(jié)構(gòu)，是許多下游應(yīng)用（如場(chǎng)景重建、三維目標(biāo)識(shí)別、自動(dòng)駕駛和機(jī)器人導(dǎo)航等）的基礎(chǔ)和關(guān)鍵。特別是在自動(dòng)駕駛和機(jī)器人導(dǎo)航的應(yīng)用中，大多數(shù)場(chǎng)景是室外環(huán)境。對(duì)于室外場(chǎng)景，目前主流且可靠的深度獲取方式是使用激光雷達(dá)。然而，高精度的激光雷達(dá)設(shè)備價(jià)格昂貴，一個(gè)64線掃描的激光雷達(dá)只能提供大約5％致密度的深度圖。并且，在霧天場(chǎng)景下，由于霧對(duì)激光信號(hào)的散射和衰減，以及散射造成的信號(hào)噪聲增加，都會(huì)加重激光雷達(dá)采集生成的深度圖的稀疏性，從而直接影響到應(yīng)用系統(tǒng)的安全性和可靠性。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明針對(duì)上述方案中存在的問題，提供了一種霧天場(chǎng)景下的圖像深度補(bǔ)全方法，以期能夠通過圖像深度補(bǔ)全生成密集深度圖，彌補(bǔ)霧天場(chǎng)景下激光雷達(dá)采集到的深度圖稀疏的問題，從而增強(qiáng)深度信息的適用性和有效性，使深度圖在更多應(yīng)用中得以利用。

2、本發(fā)明為達(dá)到上述發(fā)明目的，采用如下技術(shù)方案：

3、本發(fā)明一種霧天場(chǎng)景下的圖像深度補(bǔ)全方法的特點(diǎn)在于，包括如下步驟：

4、a、使用攝像頭采集目標(biāo)場(chǎng)景的第g張圖像，且的維度為，其中，表示圖像的高度，表示圖像的寬度，表示圖像的通道數(shù)；

5、使用激光雷達(dá)同步采集目標(biāo)場(chǎng)景的第g個(gè)點(diǎn)云信息，并生成第g張稀疏深度圖，且的維度為，其中，1表示稀疏深度圖的通道數(shù)；

6、b、隨機(jī)生成取值范圍為[0.1,1]的第g個(gè)消光系數(shù)，并建立霧天大氣散射模型，從而利用所述霧天大氣散射模型對(duì)進(jìn)行模擬，得到以為標(biāo)簽的霧天圖像，進(jìn)而生成霧天模擬圖像集；

7、c、搭建圖像消光系數(shù)預(yù)測(cè)網(wǎng)絡(luò)，并輸入霧天模擬圖像集后，利用adam優(yōu)化算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到最優(yōu)圖像消光系數(shù)預(yù)測(cè)模型；

8、d、搭建雙分支主干的深度補(bǔ)全網(wǎng)絡(luò)，用于對(duì)和進(jìn)行特征提取和融合處理，得到第g個(gè)密集深度圖；

9、e、基于和構(gòu)建平均絕對(duì)誤差損失，從而利用adam優(yōu)化算法對(duì)所述雙分支主干的深度補(bǔ)全網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并計(jì)算以更新網(wǎng)絡(luò)參數(shù)，直到收斂為止，從而得到最優(yōu)的雙分支主干的深度補(bǔ)全網(wǎng)絡(luò)模型，用于輸出對(duì)應(yīng)圖像的密集深度圖。

10、本發(fā)明所述的一種霧天場(chǎng)景下的圖像深度補(bǔ)全方法的特點(diǎn)也在于，所述c包括：

11、c1、搭建圖像消光系數(shù)預(yù)測(cè)網(wǎng)絡(luò)，依次包括：q個(gè)下采樣塊、t個(gè)全連接層；其中，所述第q級(jí)下采樣塊由第q級(jí)多層二維卷積層和第q級(jí)下采樣層組成；

12、所述第q級(jí)多層二維卷積層包括：y個(gè)二維卷積層，y個(gè)批歸一化層及y個(gè)relu激活函數(shù)層，其中，第y個(gè)二維卷積層的卷積核大小為,y=1,2,…,y；

13、當(dāng)q=1時(shí)，輸入第q級(jí)下采樣塊中進(jìn)行處理，輸出第q級(jí)下采樣特征圖；

14、當(dāng)q=2,3,…,q時(shí)，將第q-1級(jí)下采樣特征圖輸入第q級(jí)下采樣塊中進(jìn)行處理，并得到第q級(jí)下采樣特征圖；從而由第q級(jí)下采樣塊得最終輸出第q級(jí)下采樣特征圖；

15、經(jīng)過t個(gè)全連接層的處理后，輸出消光系數(shù)的預(yù)測(cè)值；

16、c2、基于和消光系數(shù)的真實(shí)值建立均方誤差損失，從而利用adam優(yōu)化算法對(duì)圖像消光系數(shù)預(yù)測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并計(jì)算以更新網(wǎng)絡(luò)參數(shù)，直至收斂為止，從而得到最優(yōu)圖像消光系數(shù)預(yù)測(cè)模型。

17、進(jìn)一步的，所述c1中的消光系數(shù)的預(yù)測(cè)值是按如下過程得到：

18、當(dāng)t=1時(shí)，輸入第t級(jí)全連接層中進(jìn)行處理，輸出第t級(jí)特征圖；

19、當(dāng)t=2,3,…,t-1時(shí)，將第t-1級(jí)特征圖輸入第t級(jí)全連接層中進(jìn)行處理，并得到第t級(jí)特征圖；

20、當(dāng)t=t時(shí)，將第t-1級(jí)特征圖輸入第t級(jí)全連接層中進(jìn)行處理，從而輸出消光系數(shù)的預(yù)測(cè)值；

21、進(jìn)一步的，所述d中的深度補(bǔ)全網(wǎng)絡(luò)是由結(jié)構(gòu)相同的第一主干和第二主干組成；其中，任一主干依次包括：第一卷積層、z級(jí)殘差塊、z個(gè)反卷積層、第二卷積層；其中，第z級(jí)殘差塊包括：第z級(jí)霧卷積層，第z級(jí)批歸一化層、第z級(jí)relu激活函數(shù)；

22、d1、第一主干中的第一卷積層對(duì)和進(jìn)行特征提取處理，得到第g個(gè)初始卷積特征圖，且的維度為，其中，表示的通道數(shù)；

23、d2、第一主干中的z級(jí)殘差塊對(duì)進(jìn)行處理，得到第z級(jí)殘差特征圖：

24、d3、將依次輸入z個(gè)反卷積層中進(jìn)行反卷積處理，得到第g個(gè)反卷積特征圖；

25、d4、第一主干中的第二卷積層對(duì)進(jìn)行特征提取處理，得到第g個(gè)第一主干密集深度圖，且的維度為，其中，表示的通道數(shù)；

26、d5、第二主干按照d1-d4的過程對(duì)和進(jìn)行特征提取和融合處理，從而得到第g個(gè)第二主干密集深度圖，且的維度為，其中，表示的通道數(shù)；

27、d6、將和在通道維度上進(jìn)行拼接后，獲得新的第g個(gè)密集深度圖。

28、進(jìn)一步的，所述d2包括：

29、當(dāng)z=1時(shí)，將作為第z-1個(gè)模塊的輸入并輸出殘差特征圖，并輸入第一主干的第z級(jí)霧卷積層中，從而利用式(1)得到第g個(gè)第z級(jí)全局對(duì)比度特征：

30、(1)

31、式(1)中，表示上位置為的像素值，表示上位置為的像素值；

32、第z級(jí)霧卷積層將劃分為個(gè)圖像塊，并利用式(2)得到第g個(gè)第z級(jí)第d個(gè)圖像塊的局部對(duì)比度特征：

33、(2)

34、式(2)中，表示被劃分為圖像塊的行數(shù)，表示被劃分為圖像塊的列數(shù)，且m=n；表示每一個(gè)圖像塊的高度，且，表示每一個(gè)圖像塊的寬度，且；表示上位置為的像素值；表示上位置為的像素值；

35、第z級(jí)霧卷積層利用式(3)得到第g個(gè)第z級(jí)全局熵特征：

36、(3)

37、式(3)中，表示中像素的亮度值；表示在位置處，亮度值為的概率，并有：

38、(4)

39、式(4)中，為狄拉克函數(shù)；

40、第z級(jí)霧卷積層利用式(5)得到第g個(gè)第z級(jí)原始圖像特征：

41、(5)

42、式(5)中，表示周邊環(huán)境固有大氣光a映射的的圖像背景；表示中的任一像素點(diǎn)的位置，為位置的透射率，并有：

43、(6)

44、式(6)中，表示位置處的場(chǎng)景深度，為消光系數(shù)預(yù)測(cè)模型輸出的霧天圖像的消光系數(shù)；

45、當(dāng)z=2,3,…,z時(shí)，將作為第z級(jí)殘差塊的輸入，并得到相應(yīng)輸出的第g個(gè)殘差特征圖；從而由第z級(jí)殘差塊得到最終輸出的第g個(gè)殘差特征圖，且的維度為，其中，表示的通道數(shù)。

46、進(jìn)一步的，所述d3包括：

47、當(dāng)z=1時(shí)，第z級(jí)反卷積層對(duì)進(jìn)行處理，輸出第g個(gè)第z級(jí)反卷積特征圖：

48、當(dāng)z=2,3,…,z時(shí)，所述第z級(jí)反卷積層利用式(7)對(duì)第g個(gè)第z-1級(jí)反卷積特征圖和第g個(gè)第z-z級(jí)殘差特征圖進(jìn)行殘差連接處理，并得到第g個(gè)第z級(jí)反卷積特征圖；從而由第z級(jí)反卷積層得到最終輸出的第g個(gè)第z級(jí)反卷積特征圖，且的維度為，其中，表示的高度，表示的寬度，表示的通道數(shù)；

49、(7)。

50、本發(fā)明一種電子設(shè)備，包括存儲(chǔ)器以及處理器的特點(diǎn)在于，所述存儲(chǔ)器用于存儲(chǔ)支持處理器執(zhí)行所述一種霧天場(chǎng)景下的圖像深度補(bǔ)全方法的程序，所述處理器被配置為用于執(zhí)行所述存儲(chǔ)器中存儲(chǔ)的程序。

51、本發(fā)明一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序的特點(diǎn)在于，?所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行所述一種霧天場(chǎng)景下的圖像深度補(bǔ)全方法的步驟。

52、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：

53、1.本發(fā)明針對(duì)激光雷達(dá)采集生成的深度圖較為稀疏，并且，在霧天場(chǎng)景下，由于霧對(duì)激光信號(hào)的散射和衰減，以及散射造成的信號(hào)噪聲增加，會(huì)加重激光雷達(dá)采集生成的深度圖的稀疏性的問題，提出了一種霧天場(chǎng)景下的圖像深度補(bǔ)全方法：通過建立雙分支主干的深度補(bǔ)全網(wǎng)絡(luò)，使用圖像引導(dǎo)深度補(bǔ)全方法，對(duì)原始稀疏深度圖進(jìn)行補(bǔ)全，從而生成密集深度圖。此方法能夠利用rgb圖像豐富的紋理信息引導(dǎo)稀疏深度圖的補(bǔ)全，從而大幅提升稀疏深度圖的實(shí)用性和適用范圍，為計(jì)算機(jī)視覺、自動(dòng)駕駛、機(jī)器人導(dǎo)航等領(lǐng)域提供更準(zhǔn)確和完整的三維信息。

54、2.?本發(fā)明通過使用霧天大氣散射模型將晴天圖像模擬為霧天圖像，從而生成霧天模擬圖像集。這種模擬方法，相對(duì)于直接采集霧天場(chǎng)景下的圖像，具有成本低、效率高、參數(shù)可控、場(chǎng)景一致性好、安全性高等優(yōu)勢(shì)。此方法能夠適用于大規(guī)模數(shù)據(jù)集的生成和模型的魯棒性測(cè)試，能夠在實(shí)際采集困難或不安全的情況下，為研究和應(yīng)用提供有力支持。