本公開涉及三維模型檢索相關，具體地說，是涉及一種基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索方法及系統(tǒng)。

背景技術：

1、本部分的陳述僅僅是提供了與本公開相關的背景技術信息，并不必然構(gòu)成在先技術。

2、三維模型檢索在計算機視覺、計算機圖形學和虛擬現(xiàn)實等領域備受關注，其擁有廣泛的應用范圍，包括自動駕駛、醫(yī)學成像、3d打印和場景重建。在三維模型檢索過程中，使用特征提取器分別獲取檢索對象和三維模型的特征，然后通過比較這些特征來評估它們的相似度。當提供一個檢索對象時，三維模型檢索的目標是找到與之匹配的三維模型，得到相應的檢索結(jié)果。三維模型檢索中，三維模型是指用于檢索和識別的真實物理對象或虛擬物體的三維表示。例如，三維模型可以是通過掃描、建?；驕y量得到的物體三維數(shù)據(jù)，包含幾何形狀、表面細節(jié)等；具體的一種三維模型可以是通過制圖軟件如cad繪制的三維模型圖。

3、在三維模型檢索的研究中，按照表示模型所需要數(shù)據(jù)格式的不同，其可以分為基于點云、基于體素、基于多視圖、基于網(wǎng)格的方法這四種方法?；邳c云的三維模型檢索由于點云的數(shù)據(jù)具有不規(guī)則和無序的特性，使用深度學習技術提取點云的三維模型特征?；隗w素的三維模型檢索利用體素單元集合對三維模型近似表達，其使用3d卷積神經(jīng)網(wǎng)絡來提取體素數(shù)據(jù)；基于多視圖的三維模型檢索利用虛擬相機來獲取多視角三維模型的視圖投影，將三維模型轉(zhuǎn)變?yōu)槎鄠€二維視圖。使用基于多視圖的三維模型檢索可以利用成熟的圖像識別框架，因此基于多視圖的三維模型檢索方法被認為目前性能較好的方法。

4、發(fā)明人在研究中發(fā)現(xiàn)，現(xiàn)有基于多視圖的三維模型檢索存在視圖多導致計算量大，特征聚合效果較低，聚合過程中丟失關鍵特征，多視圖特征聚合會損失過多特征等問題。

技術實現(xiàn)思路

1、本公開為了解決上述問題，提出了一種基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索方法及系統(tǒng)，提高多視圖三維模型檢索之間的特征聚合效果，降低多視圖特征聚合過程中丟失關鍵特征，提高檢索精度；提出了更加有效的多視圖特征聚合方法來進行三維模型的檢索，以此來提高三維模型檢索準確率，使得檢索結(jié)果更準確可靠。

2、為了實現(xiàn)上述目的，本公開采用如下技術方案：

3、本公開第一方面提供了基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索方法，包括如下步驟：

4、獲取待檢索三維模型對應的多視圖，包括光照多視圖、深度多視圖與厚度多視圖；

5、對光照多視圖、深度多視圖進行融合并提取特征，基于特征的相似度自適應設置權重參數(shù)，調(diào)整特征重要度得到第一層特征描述符；

6、對厚度多視圖進行特征提取并計算特征之間的相似度，取出最大相似度的視圖通過空間注意力機制處理，得到第二層特征描述符；

7、第一層特征描述符與第二層特征描述符基于特征描述符的特征得分進行加權融合，經(jīng)過全連接層得到三維模型的分類類別。

8、本公開第二方面提供了基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索系統(tǒng)，包括：

9、數(shù)據(jù)獲取模塊：被配置為獲取待檢索三維模型對應的多視圖，包括光照多視圖、深度多視圖與厚度多視圖；

10、第一特征融合模塊：被配置為對光照多視圖、深度多視圖進行融合并提取特征，基于特征的相似度自適應設置權重參數(shù)，調(diào)整特征重要度得到第一層特征描述符；

11、第二特征融合模塊：被配置為對厚度多視圖進行特征提取并計算特征之間的相似度，取出最大相似度的視圖通過空間注意力機制處理，得到第二層特征描述符；

12、分類類別識別模塊：被配置為第一層特征描述符與第二層特征描述符基于特征描述符的特征得分進行加權融合，經(jīng)過全連接層得到三維模型的分類類別。

13、一種電子設備，包括存儲器和處理器以及存儲在存儲器上并在處理器上運行的計算機指令，所述計算機指令被處理器運行時，完成本公開第一方面所述的基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索方法中的步驟。

14、一種計算機可讀存儲介質(zhì)，用于存儲計算機指令，所述計算機指令被處理器執(zhí)行時，完成本公開第一方面所述的基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索方法中的步驟。

15、與現(xiàn)有技術相比，本公開的有益效果為：

16、本公開中，對不同的視圖采用了不同的并行處理分支，將光照多視圖深度多視圖進行采用一個處理分支，基于相似度能夠自適應得到權重參數(shù)，從而識別特征的重要度；同時，將厚度多視圖采用單獨分支處理；將兩個處理分支融合基于相似性得分進行加權融合，進一步對特征重要度進行識別；兩次進行重要度參數(shù)的自動更新，能夠提取出重要度更高的特征，作為判斷識別用特征，從而提高分類檢索的準確性；同時不同處理分支中進行了特征融合，各個分支特征也進行了融合，實現(xiàn)了多級特征融合，進一步提高了三維模型分類的準確性。

17、本公開的優(yōu)點以及附加方面的優(yōu)點將在下面的具體實施例中進行詳細說明。

技術特征：

1.基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索方法，其特征在于，包括如下步驟：

2.如權利要求1所述的基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索方法，其特征在于，第一層特征描述符的確定方法，包括如下步驟：

3.如權利要求2所述的基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索方法，其特征在于：對得到的光照深度多視圖初始特征描述符采用余弦相似度，計算相似度；

4.如權利要求2所述的基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索方法，其特征在于：權重矩陣的生成方法，具體的，針對得到的相似性得分，找到最小的相似性得分，將每個相似性得分減去最小的相似性得分值，作為權重參數(shù)。

5.如權利要求1所述的基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索方法，其特征在于：第二層特征描述符的確定方法，包括如下步驟：

6.如權利要求5所述的基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索方法，其特征在于：將第一層特征描述符，以及第二層特征描述符基于特征描述符的特征得分加權融合，具體的，包括如下步驟：

7.如權利要求1所述的基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索方法，其特征在于，還包括構(gòu)建基于雙重參數(shù)融合網(wǎng)絡的檢索模型時間多視圖三維模型檢索方法過程，包括第一分支網(wǎng)絡、第二分支網(wǎng)絡、加權融合模塊以及全連接層；

8.基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索系統(tǒng)，其特征在于，包括：

9.一種電子設備，其特征在于，包括存儲器和處理器以及存儲在存儲器上并在處理器上運行的計算機指令，所述計算機指令被處理器運行時，完成權利要求1-7任一項所述的基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索方法中的步驟。

10.一種計算機可讀存儲介質(zhì)，其特征在于，用于存儲計算機指令，所述計算機指令被處理器執(zhí)行時，完成權利要求1-7任一項所述的基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索方法中的步驟。

技術總結(jié)
本公開涉及三維模型檢索技術領域，提出了一種基于雙重參數(shù)融合網(wǎng)絡的多視圖三維模型檢索方法及系統(tǒng)，包括如下步驟：獲取待檢索三維模型對應的多視圖；對光照多視圖、深度多視圖進行融合并提取特征，基于特征的相似度自適應設置權重參數(shù)，調(diào)整特征重要度得到第一層特征描述符；對厚度多視圖進行特征提取并計算特征之間的相似度，取出最大相似度的視圖通過空間注意力機制處理，得到第二層特征描述符；第一層特征描述符與第二層特征描述符基于特征描述符的特征得分進行加權融合，經(jīng)過全連接層得到三維模型的分類類別；本公開能夠提高多視圖三維模型檢索之間的特征聚合效果，降低多視圖特征聚合過程中丟失關鍵特征，提高檢索精度。

技術研發(fā)人員：牛冬梅,張承宇,韓小凡,刁振宇,聶慧佳,馬菽嫻
受保護的技術使用者：濟南大學
技術研發(fā)日：
技術公布日：2024/12/10