本技術(shù)涉及圖像，尤其涉及前景分割方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、傳統(tǒng)的單任務(wù)前景分割模型，為了獲取單個(gè)任務(wù)域內(nèi)的特性，往往設(shè)計(jì)出復(fù)雜精巧的網(wǎng)絡(luò)結(jié)構(gòu)和定制的訓(xùn)練方式，導(dǎo)致這些模型缺乏在前景分割領(lǐng)域的泛化能力。此外，這些模型傾向于過擬合到特定任務(wù)的數(shù)據(jù)分布中。作為對比，當(dāng)前用于解決前景分割多個(gè)任務(wù)的通用模型，會從獲取多個(gè)任務(wù)之間的共性的角度出發(fā)，提取諸如頻率、多尺度、紋理和邊緣等低級別的特征；但是，這樣的方式容易忽略不同任務(wù)之間的特性，無法準(zhǔn)確辨析不同任務(wù)之間的側(cè)重點(diǎn)。判別式網(wǎng)絡(luò)面臨著無法同時(shí)兼顧任務(wù)表現(xiàn)和任務(wù)泛化性的困境。另外，一些基于擴(kuò)散模型的方法借助其生成圖像的能力，從一個(gè)生成的視角來解決分割的任務(wù)；但是，受限于擴(kuò)散模型原本模型的復(fù)雜龐大的網(wǎng)絡(luò)架構(gòu)，以及對分割任務(wù)下去噪機(jī)制的不當(dāng)適配，使這類方法性能表現(xiàn)遠(yuǎn)遜之前的方法。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)的主要目的在于提供一種前景分割方法、裝置、設(shè)備及存儲介質(zhì)，旨在解決現(xiàn)有技術(shù)中前景分割模型在執(zhí)行前景分割任務(wù)時(shí)，無法同時(shí)保證精確性和泛化性的技術(shù)問題。

2、為實(shí)現(xiàn)上述目的，本技術(shù)提出一種前景分割方法，所述前景分割方法包括：

3、將各樣本訓(xùn)練圖像的中間態(tài)掩碼輸入至待訓(xùn)練分割模型中的對齊條件提取網(wǎng)絡(luò)進(jìn)行對齊，確定各樣本訓(xùn)練圖像的多個(gè)對齊條件表征，所述對齊條件提取網(wǎng)絡(luò)由圖像嵌入模塊、中間態(tài)掩碼對齊模塊以及多階級聯(lián)編碼模塊組成；

4、將各樣本訓(xùn)練圖像的多個(gè)對齊條件表征輸入至所述待訓(xùn)練分割模型中的雙向級聯(lián)融合去噪網(wǎng)絡(luò)進(jìn)行去噪，得到目標(biāo)前景分割模型，所述雙向級聯(lián)融合去噪網(wǎng)絡(luò)包括下采樣單元和上采樣單元，所述下采樣單元中的多個(gè)漸進(jìn)融合單元之間建立了級聯(lián)流和融合流；

5、將待分割前景圖像輸入至所述目標(biāo)前景分割模型，得到所述待分割前景圖像的前景分割掩碼。

6、在一實(shí)施例中，所述將各樣本訓(xùn)練圖像的中間態(tài)掩碼輸入至待訓(xùn)練分割模型中的對齊條件提取網(wǎng)絡(luò)進(jìn)行對齊，確定各樣本訓(xùn)練圖像的多個(gè)對齊條件表征的步驟包括：

7、將各樣本訓(xùn)練圖像的中間態(tài)掩碼和各樣本訓(xùn)練圖像輸入至待訓(xùn)練分割模型中的對齊條件提取網(wǎng)絡(luò)，通過對齊條件提取網(wǎng)絡(luò)中的圖像嵌入模塊對各樣本訓(xùn)練圖像進(jìn)行處理，得到多個(gè)第一處理圖像；

8、通過所述對齊條件提取網(wǎng)絡(luò)中的中間態(tài)掩碼對齊模塊根據(jù)各第一處理圖像和各樣本訓(xùn)練圖像的中間態(tài)掩碼進(jìn)行對齊，得到各樣本訓(xùn)練圖像的待編碼特征；

9、通過所述對齊條件提取網(wǎng)絡(luò)中的多階級聯(lián)編碼模塊對各樣本訓(xùn)練圖像的待編碼特征進(jìn)行編碼，得到各樣本訓(xùn)練圖像的多個(gè)對齊條件表征。

10、在一實(shí)施例中，所述通過所述對齊條件提取網(wǎng)絡(luò)中的中間態(tài)掩碼對齊模塊根據(jù)各第一處理圖像和各樣本訓(xùn)練圖像的中間態(tài)掩碼進(jìn)行對齊，得到各樣本訓(xùn)練圖像的待編碼特征的步驟包括：

11、通過所述對齊條件提取網(wǎng)絡(luò)中的中間態(tài)掩碼對齊模塊根據(jù)各第一處理圖像的圖像維度分別對各樣本訓(xùn)練圖像的中間態(tài)掩碼進(jìn)行嵌入操作，得到各樣本訓(xùn)練圖像的嵌入特征；

12、對各樣本訓(xùn)練圖像的嵌入特征和各第一處理圖像進(jìn)行展平操作，得到各樣本訓(xùn)練圖像的第一特征序列和第二特征序列；

13、根據(jù)各樣本訓(xùn)練圖像的第一特征序列和第二特征序列進(jìn)行融合對齊，得到各樣本訓(xùn)練圖像的待編碼特征。

14、在一實(shí)施例中，所述根據(jù)各樣本訓(xùn)練圖像的第一特征序列和第二特征序列進(jìn)行融合對齊，得到各樣本訓(xùn)練圖像的待編碼特征的步驟包括：

15、通過所述中間態(tài)掩碼對齊模塊中的多個(gè)投影層對各樣本訓(xùn)練圖像的第一特征序列和第二特征序列進(jìn)行融合操作，得到各樣本訓(xùn)練圖像的融合特征序列；

16、通過所述中間態(tài)掩碼對齊模塊中的多層感知機(jī)和激活層對各樣本訓(xùn)練圖像的融合特征序列進(jìn)行對齊，得到各樣本訓(xùn)練圖像的融合對齊特征；

17、將經(jīng)過所述中間態(tài)掩碼對齊模塊中的上投影層的各樣本訓(xùn)練圖像的融合對齊特征和各第一處理圖像進(jìn)行殘差連接，得到各樣本訓(xùn)練圖像的待編碼特征。

18、在一實(shí)施例中，所述將各樣本訓(xùn)練圖像的多個(gè)對齊條件表征輸入至所述待訓(xùn)練分割模型中的雙向級聯(lián)融合去噪網(wǎng)絡(luò)進(jìn)行去噪，得到目標(biāo)前景分割模型的步驟包括：

19、將各樣本訓(xùn)練圖像的多個(gè)對齊條件表征輸入至所述待訓(xùn)練分割模型中的雙向級聯(lián)融合去噪網(wǎng)絡(luò)，通過所述雙向級聯(lián)融合去噪網(wǎng)絡(luò)中的級聯(lián)流將各樣本訓(xùn)練圖像的多個(gè)對齊條件表征，按照第一預(yù)設(shè)方向進(jìn)行融合，輸出各樣本訓(xùn)練圖像的級聯(lián)特征；

20、通過所述雙向級聯(lián)融合去噪網(wǎng)絡(luò)中的融合流根據(jù)各樣本訓(xùn)練圖像的級聯(lián)特征和各樣本訓(xùn)練圖像的中間態(tài)掩碼，輸出各樣本訓(xùn)練圖像的特征映射；

21、將各樣本訓(xùn)練圖像的特征映射輸入至所述級聯(lián)融合去噪網(wǎng)絡(luò)中的上采樣單元進(jìn)行特征恢復(fù)，得到目標(biāo)前景分割網(wǎng)絡(luò)。

22、在一實(shí)施例中，所述通過所述雙向級聯(lián)融合去噪網(wǎng)絡(luò)中的融合流根據(jù)各樣本訓(xùn)練圖像的級聯(lián)特征和各樣本訓(xùn)練圖像的中間態(tài)掩碼，輸出各樣本訓(xùn)練圖像的特征映射的步驟包括：

23、通過所述雙向級聯(lián)融合去噪網(wǎng)絡(luò)中的融合流對各樣本訓(xùn)練圖像的中間態(tài)掩碼進(jìn)行下采樣，得到各樣本訓(xùn)練圖像的中間狀態(tài)；

24、對各樣本訓(xùn)練圖像的中間狀態(tài)和各樣本訓(xùn)練圖像的級聯(lián)特征進(jìn)行融合，得到各樣本訓(xùn)練圖像的嵌入表征；

25、對各樣本訓(xùn)練圖像的嵌入表征和時(shí)間步長進(jìn)行逐步融合，得到各樣本訓(xùn)練圖像對應(yīng)的單元層輸出；

26、根據(jù)各樣本訓(xùn)練圖像對應(yīng)的單元層輸出和各樣本訓(xùn)練圖像的嵌入表征，得到各樣本訓(xùn)練圖像的特征映射。

27、在一實(shí)施例中，所述將各樣本訓(xùn)練圖像的多個(gè)中間態(tài)掩碼輸入至待訓(xùn)練分割模型中的對齊條件提取網(wǎng)絡(luò)進(jìn)行對齊，確定各樣本訓(xùn)練圖像的多個(gè)對齊條件表征的步驟之前，還包括：

28、獲取各樣本訓(xùn)練圖像及各樣本訓(xùn)練圖像的真值掩碼；

29、在隨機(jī)選擇的時(shí)間步下對各樣本訓(xùn)練圖像的真值掩碼進(jìn)行前向加噪，得到各樣本訓(xùn)練圖像的中間態(tài)掩碼。

30、此外，為實(shí)現(xiàn)上述目的，本技術(shù)還提出一種前景分割裝置，所述前景分割裝置包括：

31、對齊模塊，用于將各樣本訓(xùn)練圖像的中間態(tài)掩碼輸入至待訓(xùn)練分割模型中的對齊條件提取網(wǎng)絡(luò)進(jìn)行對齊，確定各樣本訓(xùn)練圖像的多個(gè)對齊條件表征，所述對齊條件提取網(wǎng)絡(luò)由圖像嵌入模塊、中間態(tài)掩碼對齊模塊以及多階級聯(lián)編碼模塊組成；

32、去噪模塊，用于將各樣本訓(xùn)練圖像的多個(gè)對齊條件表征輸入至所述待訓(xùn)練分割模型中的雙向級聯(lián)融合去噪網(wǎng)絡(luò)進(jìn)行去噪，得到目標(biāo)前景分割模型，所述雙向級聯(lián)融合去噪網(wǎng)絡(luò)包括下采樣單元和上采樣單元，所述下采樣單元中的多個(gè)漸進(jìn)融合單元之間建立了級聯(lián)流和融合流；

33、分割模塊，用于將待分割前景圖像輸入至所述目標(biāo)前景分割模型，得到所述待分割前景圖像的前景分割掩碼。

34、此外，為實(shí)現(xiàn)上述目的，本技術(shù)還提出一種前景分割設(shè)備，所述設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如上文所述的前景分割方法的步驟。

35、此外，為實(shí)現(xiàn)上述目的，本技術(shù)還提出一種存儲介質(zhì)，所述存儲介質(zhì)為計(jì)算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的前景分割方法的步驟。

36、此外，為實(shí)現(xiàn)上述目的，本技術(shù)還提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的前景分割方法的步驟。

37、本技術(shù)通過將各樣本訓(xùn)練圖像的中間態(tài)掩碼輸入至待訓(xùn)練分割模型中的對齊條件提取網(wǎng)絡(luò)進(jìn)行對齊，確定各樣本訓(xùn)練圖像的多個(gè)對齊條件表征，所述對齊條件提取網(wǎng)絡(luò)由圖像嵌入模塊、中間態(tài)掩碼對齊模塊以及多階級聯(lián)編碼模塊組成；將各樣本訓(xùn)練圖像的多個(gè)對齊條件表征輸入至所述待訓(xùn)練分割模型中的雙向級聯(lián)融合去噪網(wǎng)絡(luò)進(jìn)行去噪，得到目標(biāo)前景分割模型，所述雙向級聯(lián)融合去噪網(wǎng)絡(luò)包括下采樣單元和上采樣單元，所述下采樣單元中的多個(gè)漸進(jìn)融合單元之間建立了級聯(lián)流和融合流；將待分割前景圖像輸入至所述目標(biāo)前景分割模型，得到所述待分割前景圖像的前景分割掩碼。通過上述方式，基于掩碼擴(kuò)散過程中間態(tài)的對齊模塊以提升多任務(wù)泛化能力，基于前序去噪結(jié)果自回歸式地指導(dǎo)后續(xù)去噪過程的自舉策略以逐步改善采樣質(zhì)量，基于雙向特征級聯(lián)融合的u型去噪網(wǎng)絡(luò)架構(gòu)實(shí)現(xiàn)對多級指導(dǎo)條件精確接收和高效處理，使目標(biāo)前景分割模型具有卓越的性能和跨任務(wù)的泛化能力，保證了在前景分割任務(wù)中能夠同時(shí)保證精確性和泛化性的困境。