本發(fā)明涉及一種三維重建方法，特別涉及一種基于深度生成模型的顆粒狀多孔介質(zhì)圖像三維重建方法，屬于三維圖像重建。

背景技術(shù)：

1、顆粒狀多孔介質(zhì)由各種形狀和大小不同的顆粒堆積而成，對(duì)于科學(xué)和實(shí)際工程的各個(gè)領(lǐng)域具有重要意義，包括巖石、土壤、陶瓷、合金材料等。顆粒的形態(tài)特征和空間分布對(duì)整個(gè)多孔介質(zhì)系統(tǒng)的宏觀物理特性，如孔隙度、滲透率、彈性等有著重要的影響。因此，研究顆粒狀多孔介質(zhì)微觀結(jié)構(gòu)，模擬真實(shí)顆粒組分的幾何形態(tài)，具有重要的理論和實(shí)踐價(jià)值。

2、通常來說，獲取顆粒狀多孔介質(zhì)三維圖像的方法分為直接成像和數(shù)值模擬兩類方法。雖然近年來隨著科學(xué)的進(jìn)步，成像設(shè)備的精度越來越高，但是用這種方法獲取三維圖像不僅操作復(fù)雜、耗時(shí)長(zhǎng)并且價(jià)格也十分昂貴；而對(duì)多孔介質(zhì)物理特性的研究需要大量代表性的樣本，由于數(shù)值模擬的方法能夠以真實(shí)三維圖像為參考，重建出符合真實(shí)預(yù)期的樣本，使用該方法重建能夠避免大量的采集過程。

3、關(guān)于顆粒狀多孔介質(zhì)圖像的三維重建，比較主流的方法是將顆粒組分視為單獨(dú)的個(gè)體進(jìn)行離散建模，然而這些方法有一定的弊端，如將顆粒幾何形狀進(jìn)行了簡(jiǎn)化，這會(huì)影響重建結(jié)果的準(zhǔn)確度，并且重建時(shí)間隨著顆粒數(shù)目和顆粒的復(fù)雜度的增加快速增長(zhǎng)。因此，基于真實(shí)圖像實(shí)現(xiàn)準(zhǔn)確且快速的三維重建仍是需要重點(diǎn)關(guān)注和解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就在于為了解決上述問題而提供一種基于生成對(duì)抗網(wǎng)絡(luò)的顆粒狀多孔介質(zhì)圖像三維重建方法。

2、本發(fā)明通過以下技術(shù)方案來實(shí)現(xiàn)上述目的：

3、基于深度生成模型的顆粒狀多孔介質(zhì)圖像三維重建方法，包括以下步驟：

4、(1)對(duì)二值顆粒狀多孔介質(zhì)ct序列圖像進(jìn)行預(yù)處理，構(gòu)建訓(xùn)練和測(cè)試數(shù)據(jù)集；

5、(2)設(shè)計(jì)基于變分自編碼器和生成對(duì)抗網(wǎng)絡(luò)的二維圖像重建三維圖像的網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)結(jié)構(gòu)包括編碼器e、生成器g和一個(gè)多尺度鑒別器d，d由三個(gè)結(jié)構(gòu)相同的鑒別器d1、d2、d3組成；

6、(3)設(shè)計(jì)基于模式分布的約束函數(shù)目的是對(duì)重建圖像的形態(tài)特征進(jìn)行約束；

7、(4)設(shè)計(jì)網(wǎng)絡(luò)編碼器的損失函數(shù)目的是使得編碼器提取二維圖像的特征信息并將二維圖像從像素空間映射到隱向量空間，生成相應(yīng)的特征向量；

8、(5)設(shè)計(jì)gan損失函數(shù)，目的是約束生成器生成的重建圖像接近真實(shí)三維圖像的統(tǒng)計(jì)和形態(tài)特征；

9、(6)基于上述的數(shù)據(jù)集、網(wǎng)絡(luò)和損失函數(shù)，進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，直到重建結(jié)果符合真實(shí)預(yù)期，獲得圖像三維重建的模型，基于該模型完成對(duì)二維顆粒狀多孔介質(zhì)圖像的三維重建。

10、上述方法的基本原理如下：

11、傳統(tǒng)的生成對(duì)抗網(wǎng)絡(luò)從一個(gè)噪聲向量重建出目標(biāo)圖像，該噪聲向量不包含任何關(guān)于訓(xùn)練圖像的信息，訓(xùn)練往往不太穩(wěn)定，結(jié)果的準(zhǔn)確性也有待提高。對(duì)于顆粒狀多孔介質(zhì)而言，由于其二維圖像在實(shí)踐中更容易獲取，因此期望能夠利用生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)二維圖像到三維結(jié)構(gòu)的快速端到端重建。由于變分自編碼器能夠有效提取圖像特征信息，利用變分自編碼器中的編碼器可以將二維圖像從像素空間轉(zhuǎn)換到隱向量空間，為生成器提供先驗(yàn)信息。針對(duì)重建結(jié)果的多樣性問題，需要引入變量來保證網(wǎng)絡(luò)模型能夠生成不同的結(jié)果。為了保證生成結(jié)果能夠再現(xiàn)真實(shí)的顆粒形態(tài)，需要設(shè)計(jì)約束形態(tài)特征的代價(jià)函數(shù)。

12、具體地，上述方案中，步驟(2)所述的網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)包括編碼器e、生成器g和由三個(gè)鑒別器d1、d2、d3組成的多尺度鑒別器d；編碼器e和生成器g構(gòu)成變分自編碼器網(wǎng)絡(luò)，生成器g和多尺度鑒別器d構(gòu)成生成對(duì)抗網(wǎng)絡(luò)；編碼器e將二維圖像x編碼成潛向量zenc，該向量與符合標(biāo)準(zhǔn)正態(tài)分布的高斯噪聲向量znoise連接合并，輸入至生成器g；生成器g將輸入向量解碼生成預(yù)測(cè)的三維結(jié)構(gòu)g(zenc,znoise)；三個(gè)鑒別器d1、d2、d3擁有相同的網(wǎng)絡(luò)結(jié)構(gòu)，記原始訓(xùn)練圖像的三維尺寸為n×n×n，三個(gè)鑒別器分別負(fù)責(zé)鑒別三維尺寸為n×n×n、的圖像。

13、上述方案中，步驟(3)所述的，為了使重建的三維結(jié)構(gòu)更加接近真實(shí)三維結(jié)構(gòu)的形態(tài)特征，設(shè)計(jì)的基于模式分布的約束函數(shù)其定義為：

14、

15、其中||·||2為2范數(shù)，ypattern表示目標(biāo)三維圖像的模式分布，(g(zenc,znoise))pattern表示生成的三維圖像的模式分布；圖像的模式分布計(jì)算過程如下：①用一個(gè)權(quán)重固定的卷積核逐點(diǎn)掃描圖像，得到所有的模式，每個(gè)模式經(jīng)過卷積操作后以十進(jìn)制數(shù)的形式呈現(xiàn)；②計(jì)算每個(gè)模式出現(xiàn)的次數(shù)并歸一化到0～1，得到圖像的模式分布；模式分布的計(jì)算主要針對(duì)二值圖像，由于神經(jīng)網(wǎng)絡(luò)的輸出可能有除了0和255灰度值以外的值，在模式分布的計(jì)算過程中，需要通過設(shè)定一個(gè)閾值對(duì)生成圖像做二值化處理，然后再進(jìn)行模式的提取和后續(xù)的計(jì)算。

16、上述方案中，步驟(4)所述的編碼器損失函數(shù)其定義為：

17、

18、其中，描述的是生成的三維圖像的低層二維圖像與輸入二維圖像的像素差異，描述的是編碼器的輸出向量的分布與標(biāo)準(zhǔn)正態(tài)分布的差異，用kullback-leibler散度來度量，λrec和λkl分別表示損失和的權(quán)重。

19、上述方案中，步驟(5)所述的gan損失函數(shù)，具體分為鑒別器損失函數(shù)和生成器損失函數(shù)定義如下：

20、

21、

22、其中，y1表示尺寸為n×n×n的原始目標(biāo)三維圖像，y2和y3分別表示對(duì)y1進(jìn)行一次和兩次下采樣得到的三維圖像，y2和y3的尺寸分別為和同理，(g(zenc,znoise))1表示生成器生成的尺寸為n×n×n的三維圖像，(g(zenc,znoise))2和(g(zenc,znoise))3表示對(duì)應(yīng)的尺寸分別為和的下采樣三維圖像；多尺度鑒別器d輸出的鑒別結(jié)果是三個(gè)鑒別器d1、d2、d3針對(duì)對(duì)應(yīng)尺寸三維圖像鑒別結(jié)果的加權(quán)平均值。

23、上述方案中，步驟(6)所述的總損失函數(shù)由各項(xiàng)損失加權(quán)求和計(jì)算得到，定義為：

24、

25、其中，λgan和λpattern分別表示損失和的權(quán)重。

技術(shù)特征：

1.基于深度生成模型的顆粒狀多孔介質(zhì)圖像三維重建方法，其特征在于包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于深度生成模型的顆粒狀多孔介質(zhì)圖像三維重建方法，其特征在于步驟(2)所述的網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)包括編碼器e、生成器g和由三個(gè)鑒別器d1、d2、d3組成的多尺度鑒別器d；編碼器e和生成器g構(gòu)成變分自編碼器網(wǎng)絡(luò)，生成器g和多尺度鑒別器d構(gòu)成生成對(duì)抗網(wǎng)絡(luò)；編碼器e將二維圖像x編碼成潛向量zenc，該向量與符合標(biāo)準(zhǔn)正態(tài)分布的高斯噪聲向量znoise連接合并，輸入至生成器g；生成器g將輸入向量解碼生成預(yù)測(cè)的三維結(jié)構(gòu)g(zenc,znoise)；三個(gè)鑒別器d1、d2、d3擁有相同的網(wǎng)絡(luò)結(jié)構(gòu)，記原始訓(xùn)練圖像的三維尺寸為n×n×n，三個(gè)鑒別器分別負(fù)責(zé)鑒別三維尺寸為n×n×n、的圖像。

3.根據(jù)權(quán)利要求1所述的基于深度生成模型的顆粒狀多孔介質(zhì)圖像三維重建方法，其特征在于步驟(3)所述中，為了使重建的三維結(jié)構(gòu)更加接近真實(shí)三維結(jié)構(gòu)的形態(tài)特征，設(shè)計(jì)基于模式分布的約束函數(shù)lpattern，其定義為：

4.根據(jù)權(quán)利要求1所述的基于深度生成模型的顆粒狀多孔介質(zhì)圖像三維重建方法，其特征在于步驟(4)所述的編碼器損失函數(shù)其定義為：

5.根據(jù)權(quán)利要求1所述的基于深度生成模型的顆粒狀多孔介質(zhì)圖像三維重建方法，其特征在于步驟(5)所述的gan損失函數(shù)具體分為鑒別器損失函數(shù)和生成器損失函數(shù)定義如下：

6.根據(jù)權(quán)利要求1所述的基于深度生成模型的顆粒狀多孔介質(zhì)圖像三維重建方法，其特征在于步驟(6)所述的總損失函數(shù)由各項(xiàng)損失加權(quán)求和計(jì)算得到，定義為：

技術(shù)總結(jié)
本發(fā)明公開了基于深度生成模型的顆粒狀多孔介質(zhì)圖像三維重建方法，主要包括如下步驟：對(duì)二值顆粒狀多孔介質(zhì)CT序列圖像進(jìn)行預(yù)處理，構(gòu)建實(shí)驗(yàn)數(shù)據(jù)集；設(shè)計(jì)基于變分自編碼器和生成對(duì)抗網(wǎng)絡(luò)的二維圖像重建三維圖像的網(wǎng)絡(luò)結(jié)構(gòu)；設(shè)計(jì)基于模式分布的約束函數(shù)，以約束重建圖像的形態(tài)特征；設(shè)計(jì)編碼器損失函數(shù)，以提取二維圖像的特征信息；設(shè)計(jì)GAN損失函數(shù)，使生成結(jié)果接近真實(shí)圖像的統(tǒng)計(jì)和形態(tài)特征；基于上述的數(shù)據(jù)集、網(wǎng)絡(luò)和損失函數(shù)，進(jìn)行網(wǎng)絡(luò)的訓(xùn)練，直到重建結(jié)果符合真實(shí)預(yù)期，獲得圖像三維重建的模型，基于該模型完成二維顆粒狀多孔介質(zhì)圖像的三維重建。本發(fā)明可以準(zhǔn)確快速地對(duì)二維圖像進(jìn)行三維重建，在石油地質(zhì)等領(lǐng)域有重要的應(yīng)用價(jià)值。

技術(shù)研發(fā)人員：滕奇志,殷蓉燕,熊淑華,何海波,吳小強(qiáng),吳曉紅,王正勇
受保護(hù)的技術(shù)使用者：四川大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10