本技術(shù)涉及底層視覺(jué)，特別涉及一種基于混合視覺(jué)傳感器的運(yùn)動(dòng)去模糊方法及裝置。

背景技術(shù)：

1、圖像運(yùn)動(dòng)去模糊作為一個(gè)長(zhǎng)期存在的挑戰(zhàn)性問(wèn)題，在自動(dòng)駕駛、移動(dòng)攝影、視頻監(jiān)控等領(lǐng)域具有重要應(yīng)用。基于傳統(tǒng)cis(cmos?image?sensor，cmos傳感器)的圖像幀的圖像去模糊算法發(fā)展迅速，然而傳統(tǒng)圖像幀范式在低光和高速運(yùn)動(dòng)場(chǎng)景下常常性能有所下降，其本質(zhì)原因在于相機(jī)這一傳感器無(wú)法有效收集這些極端情況下的場(chǎng)景信息，阻礙算法的正常工作。

2、近年來(lái)，基于事件相機(jī)的計(jì)算機(jī)視覺(jué)任務(wù)正快速發(fā)展，事件相機(jī)作為受生物啟發(fā)的神經(jīng)形態(tài)傳感器，其輸出的事件流具有極高的時(shí)間分辨率與極大的動(dòng)態(tài)范圍，在低光高速場(chǎng)景下依然表現(xiàn)良好，有助于解決極端場(chǎng)景下的各類計(jì)算機(jī)視覺(jué)任務(wù)。evs(eventvision?sensor,事件視覺(jué)傳感器)具有高時(shí)域分辨率、高動(dòng)態(tài)范圍、低冗余和低功耗等優(yōu)勢(shì)。由于evs的微秒級(jí)低延遲，可以從事件中捕獲必要的運(yùn)動(dòng)信息，以幫助減輕cis幀中的運(yùn)動(dòng)模糊，為高速運(yùn)動(dòng)等極端場(chǎng)景下的目標(biāo)運(yùn)動(dòng)去模糊提供了一種全新的解決方案。當(dāng)前的運(yùn)動(dòng)去模糊方法主要存在以下三類技術(shù)。

3、其中，(1)去模糊數(shù)據(jù)集：目前基于事件的去模糊數(shù)據(jù)集主要為仿真合成的，例如，利用esim事件仿真器對(duì)圖像數(shù)據(jù)進(jìn)行事件流合成。由于事件相機(jī)發(fā)展較晚，當(dāng)前僅有少部分包含真實(shí)事件流的數(shù)據(jù)集，例如，利用圖像與事件傳感器組成雙目結(jié)構(gòu)來(lái)獲得真實(shí)場(chǎng)景圖像和事件流的真實(shí)數(shù)據(jù)集blurdvs和reblur，然而當(dāng)前基于事件的去模糊數(shù)據(jù)集通常是從低空間分辨率的相機(jī)(如，davis346，346×260)或使用分束器的雙目相機(jī)系統(tǒng)收集的，需要人工將cis和evs進(jìn)行空間對(duì)齊和時(shí)間的同步。

4、(2)單圖像去模糊算法：傳統(tǒng)的基于單圖像幀的運(yùn)動(dòng)去模糊方法旨在從模糊圖像中重建清晰銳利的圖像。一些早期的方法采用經(jīng)典的圖像反卷積算法并引入額外的先驗(yàn)(例如總變分)來(lái)減少重建圖像的病態(tài)。最近，基于深度學(xué)習(xí)的方法通過(guò)直接學(xué)習(xí)模糊圖像到清晰圖像的映射，取得了更好的性能。如，通過(guò)設(shè)計(jì)多級(jí)架構(gòu)來(lái)逐步學(xué)習(xí)空間細(xì)節(jié)和高級(jí)上下文信息，利用簡(jiǎn)單的非線性無(wú)激活網(wǎng)絡(luò)，通過(guò)去除非線性激活函數(shù)來(lái)提高重建性能。最新的基于transformer的模型，通過(guò)設(shè)計(jì)多頭注意力和前饋網(wǎng)絡(luò)來(lái)捕獲遠(yuǎn)程像素交互來(lái)提高去模糊算法的效果。

5、(3)圖像與事件流混合傳感器的去模糊算法：近年來(lái)，基于事件的運(yùn)動(dòng)去模糊由于evs的高時(shí)間分辨率而引起了廣泛的關(guān)注?；谏疃葘W(xué)習(xí)的運(yùn)動(dòng)去模糊方法顯著提高了事件流引導(dǎo)下的去模糊性能。例如，通過(guò)基于事件的二重積分模型來(lái)學(xué)習(xí)模糊圖像，事件和清晰幀之間的映射關(guān)系，從而比基于幀的方法獲得更準(zhǔn)確的細(xì)節(jié)。通過(guò)設(shè)計(jì)自監(jiān)督去模糊網(wǎng)絡(luò)，預(yù)測(cè)事件的光流來(lái)利用模糊一致性和光度一致性。設(shè)計(jì)應(yīng)用于網(wǎng)絡(luò)多個(gè)層次的跨模態(tài)注意力模塊，該模塊允許關(guān)注事件分支的相關(guān)特征，以提高去模糊效果?；陔p向遞歸網(wǎng)絡(luò)，根據(jù)圖像和事件的時(shí)間接近度自適應(yīng)地混合圖像和事件中的信息。

6、然而，相關(guān)技術(shù)中去模糊數(shù)據(jù)集尚缺乏一個(gè)真實(shí)場(chǎng)景下時(shí)空對(duì)齊的圖像和事件流混合數(shù)據(jù)集來(lái)作為算法的訓(xùn)練集和評(píng)測(cè)基準(zhǔn)，具有局限性；單圖像去模糊算法僅由單幀數(shù)據(jù)驅(qū)動(dòng)，缺乏運(yùn)動(dòng)信息，導(dǎo)致恢復(fù)重建性能有限；圖像與事件流混合傳感器的去模糊算法中假設(shè)圖像具有與事件相同的空間和時(shí)間尺度，當(dāng)圖像和事件具有不同尺度時(shí)，無(wú)法處理真實(shí)場(chǎng)景，降低圖像運(yùn)動(dòng)去模糊的適用性和準(zhǔn)確性，亟待改善。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供一種基于混合視覺(jué)傳感器的運(yùn)動(dòng)去模糊方法及裝置，以解決相關(guān)技術(shù)中缺乏運(yùn)動(dòng)信息，導(dǎo)致恢復(fù)重建性能有限，并且當(dāng)圖像和事件具有不同尺度時(shí)，無(wú)法處理真實(shí)場(chǎng)景，降低圖像運(yùn)動(dòng)去模糊的適用性和準(zhǔn)確性等問(wèn)題。

2、本技術(shù)第一方面實(shí)施例提供一種基于混合視覺(jué)傳感器的運(yùn)動(dòng)去模糊方法，包括以下步驟：建立滿足第一預(yù)設(shè)分辨率條件的混合視覺(jué)傳感器去模糊數(shù)據(jù)集；基于所述混合視覺(jué)傳感器去模糊數(shù)據(jù)集，學(xué)習(xí)目標(biāo)圖像的空間隱式表達(dá)特征和目標(biāo)事件的時(shí)間隱式表示特征；將所述空間隱式表達(dá)特征和所述時(shí)間隱式表示特征進(jìn)行特征混合處理，得到時(shí)空域特征，并利用所述時(shí)空域特征對(duì)所述目標(biāo)圖像進(jìn)行運(yùn)動(dòng)去模糊處理，以獲得滿足第二預(yù)設(shè)分辨率條件的清晰圖像。

3、可選地，在本技術(shù)的一個(gè)實(shí)施例中，所述建立滿足第一預(yù)設(shè)分辨率條件的混合視覺(jué)傳感器去模糊數(shù)據(jù)集，包括：確定不同空間分辨率和曝光時(shí)間的各種室內(nèi)和室外的目標(biāo)場(chǎng)景；建立所述目標(biāo)場(chǎng)景中滿足所述第一預(yù)設(shè)分辨率條件的所述混合視覺(jué)傳感器去模糊數(shù)據(jù)集。

4、可選地，在本技術(shù)的一個(gè)實(shí)施例中，所述學(xué)習(xí)目標(biāo)圖像的空間隱式表達(dá)特征和目標(biāo)事件的時(shí)間隱式表示特征，包括：學(xué)習(xí)目標(biāo)圖像中任一空間尺度的空間對(duì)應(yīng)關(guān)系，以得到所述目標(biāo)圖像的空間隱式表達(dá)特征；建立目標(biāo)事件中任一時(shí)間尺度的時(shí)間對(duì)應(yīng)關(guān)系，以得到所述目標(biāo)事件的時(shí)間隱式表示特征。

5、可選地，在本技術(shù)的一個(gè)實(shí)施例中，所述學(xué)習(xí)目標(biāo)圖像中任一空間尺度的空間對(duì)應(yīng)關(guān)系，得到所述目標(biāo)圖像的空間隱式表達(dá)特征，包括：采集所述目標(biāo)圖像所需的目標(biāo)分辨率特征，并將所述目標(biāo)分辨率特征添加至圖像特征，得到添加后的圖像特征；將所述添加后的圖像特征轉(zhuǎn)換為連續(xù)特征表示，以得到所述空間隱式表達(dá)特征。

6、可選地，在本技術(shù)的一個(gè)實(shí)施例中，所述建立目標(biāo)事件中任一時(shí)間尺度的時(shí)間對(duì)應(yīng)關(guān)系，得到所述目標(biāo)事件的時(shí)間隱式表示特征，包括：基于目標(biāo)時(shí)間感知事件選擇，獲得雙向事件選擇特征；將所述雙向時(shí)間選擇特征進(jìn)行目標(biāo)時(shí)間分組位移處理，以獲得時(shí)間位移特征；利用所述時(shí)間位移特征和目標(biāo)混合特征獲得所述時(shí)間隱式表示特征。

7、本技術(shù)第二方面實(shí)施例提供一種基于混合視覺(jué)傳感器的運(yùn)動(dòng)去模糊裝置，包括：建立模塊，用于建立滿足第一預(yù)設(shè)分辨率條件的混合視覺(jué)傳感器去模糊數(shù)據(jù)集；學(xué)習(xí)模塊，用于基于所述混合視覺(jué)傳感器去模糊數(shù)據(jù)集，學(xué)習(xí)目標(biāo)圖像的空間隱式表達(dá)特征和目標(biāo)事件的時(shí)間隱式表示特征；處理模塊，用于將所述空間隱式表達(dá)特征和所述時(shí)間隱式表示特征進(jìn)行特征混合處理，得到時(shí)空域特征，并利用所述時(shí)空域特征對(duì)所述目標(biāo)圖像進(jìn)行運(yùn)動(dòng)去模糊處理，以獲得滿足第二預(yù)設(shè)分辨率條件的清晰圖像。

8、可選地，在本技術(shù)的一個(gè)實(shí)施例中，所述建立模塊包括：確定單元，用于確定不同空間分辨率和曝光時(shí)間的各種室內(nèi)和室外的目標(biāo)場(chǎng)景；建立單元，用于建立所述目標(biāo)場(chǎng)景中滿足所述第一預(yù)設(shè)分辨率條件的所述混合視覺(jué)傳感器去模糊數(shù)據(jù)集。

9、可選地，在本技術(shù)的一個(gè)實(shí)施例中，所述學(xué)習(xí)模塊包括：學(xué)習(xí)單元，用于學(xué)習(xí)目標(biāo)圖像中任一空間尺度的空間對(duì)應(yīng)關(guān)系，以得到所述目標(biāo)圖像的空間隱式表達(dá)特征；建立單元，用于建立目標(biāo)事件中任一時(shí)間尺度的時(shí)間對(duì)應(yīng)關(guān)系，以得到所述目標(biāo)事件的時(shí)間隱式表示特征。

10、可選地，在本技術(shù)的一個(gè)實(shí)施例中，所述學(xué)習(xí)單元包括：第一確定子單元，用于采集所述目標(biāo)圖像所需的目標(biāo)分辨率特征，并將所述目標(biāo)分辨率特征添加至圖像特征，得到添加后的圖像特征；第二確定子單元，用于將所述添加后的圖像特征轉(zhuǎn)換為連續(xù)特征表示，以得到所述空間隱式表達(dá)特征。

11、可選地，在本技術(shù)的一個(gè)實(shí)施例中，所述建立單元包括：第一獲取子單元，用于基于目標(biāo)時(shí)間感知事件選擇，獲得雙向事件選擇特征；第二獲取子單元，用于將所述雙向時(shí)間選擇特征進(jìn)行目標(biāo)時(shí)間分組位移處理，以獲得時(shí)間位移特征；第三獲取子單元，用于利用所述時(shí)間位移特征和目標(biāo)混合特征獲得所述時(shí)間隱式表示特征。

12、本技術(shù)第三方面實(shí)施例提供一種電子設(shè)備，包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序，以實(shí)現(xiàn)如上述實(shí)施例所述的基于混合視覺(jué)傳感器的運(yùn)動(dòng)去模糊方法。

13、本技術(shù)第四方面實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上的基于混合視覺(jué)傳感器的運(yùn)動(dòng)去模糊方法。

14、本技術(shù)第五方面實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被執(zhí)行時(shí)，以用于實(shí)現(xiàn)如上的基于混合視覺(jué)傳感器的運(yùn)動(dòng)去模糊方法。

15、本技術(shù)實(shí)施例可以基于滿足第一分辨率條件的混合視覺(jué)傳感器去模糊數(shù)據(jù)集，學(xué)習(xí)目標(biāo)圖像的空間隱式表達(dá)特征和目標(biāo)事件的時(shí)間隱式表示特征，將空間隱式表達(dá)特征和時(shí)間隱式表示特征進(jìn)行特征混合處理，得到時(shí)空域特征，并利用時(shí)空域特征對(duì)目標(biāo)圖像進(jìn)行運(yùn)動(dòng)去模糊處理，以獲得滿足第二分辨率條件的清晰圖像，從而恢復(fù)清晰的圖像內(nèi)容，有效的提升了圖像運(yùn)動(dòng)去模糊的高效性和準(zhǔn)確性。由此，解決了缺乏運(yùn)動(dòng)信息，導(dǎo)致恢復(fù)重建性能有限，并且當(dāng)圖像和事件具有不同尺度時(shí)，無(wú)法處理真實(shí)場(chǎng)景，降低圖像運(yùn)動(dòng)去模糊的適用性和準(zhǔn)確性等問(wèn)題。

16、本技術(shù)附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本技術(shù)的實(shí)踐了解到。