本發(fā)明屬于三維點云質量評估，具體而言，涉及一種基于最優(yōu)視角選擇和多模態(tài)融合的點云質量評估方法。

背景技術：

1、點云作為表示3d模型或場景的主流格式之一，已廣泛應用于增強現(xiàn)實和虛擬現(xiàn)實、交互式多媒體、自動駕駛、游戲等領域。然而，在采集、壓縮和傳輸過程中，點云容易產(chǎn)生失真和變形。這些失真不僅會導致數(shù)據(jù)錯誤，還會影響用戶在相關應用中的視覺感知。因此，點云質量評估(point?cloud?quality?assessment,pcqa)對于確保用戶體驗質量至關重要。

2、根據(jù)在質量評估過程中對參考點云的使用程度，點云客觀質量評估可分為全參考質量評估、半?yún)⒖假|量評估和無參考質量評估。然而，在實際應用中，原始點云的全部或部分信息通常是不可用的，因此，僅利用失真點云的無參考質量評估方法得到了廣泛研究。無參考質量評估方法可以進一步分為基于點的方法和基于投影的方法。

3、基于點的方法直接從3d模型中提取逐點特征，但由于點云通常非常復雜且由大量點組成，因此開發(fā)基于點的pcqa方法難度較大，很難有效地提取質量感知特征。而基于投影的方法則首先從多個視點將點云投影到2d空間，然后對生成的投影圖像應用傳統(tǒng)的圖像質量評估(iqa)方法以獲得最終的質量得分。2d圖像包含豐富的紋理和語義信息，但高度依賴于視點；而3d點云對幾何變形更敏感，并且具有視點不變性。然而，現(xiàn)有的無參考點云質量評估方法沒有充分結合3d點云和2d投影的信息，導致其性能不理想。

4、因此，如何利用多模態(tài)信息來評估點云質量是目前亟待解決的關鍵問題。

5、通道注意力機制是通過對特征圖的不同通道進行加權，可以動態(tài)調整每個通道的重要性，從而提升特征表達能力。在點云和圖像融合過程中，不同的通道可能包含不同類型的有用信息，可以通過通道注意力機制可以有效捕捉并強化這些信息。因此，多模態(tài)融合學習是有可行性的。

6、而最優(yōu)視角的選擇網(wǎng)絡給點云多模態(tài)融合學習提供了2d點云表示，為網(wǎng)絡提供了更豐富的幾何信息和紋理細節(jié)，因此，最優(yōu)視角有助于提高點云質量評估的準確性和可靠性。

技術實現(xiàn)思路

1、本發(fā)明的目的是在于提供一種基于最優(yōu)視角選擇和多模態(tài)融合的點云質量評估方法。該方法通過最優(yōu)視角選擇網(wǎng)絡預測出點云的四個最佳視角，沿著這四個最佳視角方向進行投影，得到點云的2d投影圖像；然后將點云劃分為多個補??；接下來通過圖像編碼器和點編碼器對2d投影圖像和補丁進行特征提?。唤又猛ǖ雷⒁饬C制來建模和融合多模態(tài)質量感知信息，最后經(jīng)過質量回歸網(wǎng)絡得到點云的最終分數(shù)。

2、為達到上述目的，本發(fā)明提供一種基于最優(yōu)視角選擇和多模態(tài)融合的點云質量評估方法，包括以下步驟：

3、s1：對參考點云采樣1000個視角，并分別計算每個視角的四種視角質量指標，并選擇具有最高視角質量指標的視角作為ground?truth；

4、s2：失真點云經(jīng)過最優(yōu)視角選擇網(wǎng)絡，獲得失真點云的四個最優(yōu)視角；

5、s3：獲得四個最優(yōu)視角下對應的點云的2d投影圖像；

6、s4：將失真點云分成多個補??；

7、s5：將點云2d投影圖像和補丁經(jīng)過各自的特征提取分支網(wǎng)絡進行特征提取，獲得點云2d投影圖像和補丁特征；

8、s6：將點云2d投影圖像和補丁特征進行線性變換處理；

9、s7：使用通道注意力機制對經(jīng)過線性變換后的特征進行融合；

10、s8：融合后的特征經(jīng)過質量回歸網(wǎng)絡得到失真點云的分數(shù)。

11、進一步，在所述步驟s1中，具體的步驟如下：

12、s11：對參考點云p′使用fibonacci球面采樣方法在單位球面s2上均勻采樣1000個視角

13、s12：對于每個采樣視角，將點云渲染成2d圖像之后，計算每個視角下的四種視角質量指標：視點熵(ve)、可見性比例(vr)、視角kl散度(vkl)和視角互信息(vmi)。然后，將視角質量指標歸一化到[0,1]范圍內，并選擇具有最高視角質量指標的視角作為groundtruth。

14、進一步，在所述步驟s2中，具體步驟如下：

15、s21：使用蒙特卡洛卷積神經(jīng)網(wǎng)絡(mccnn)對失真點云進行特征提取，特征提取網(wǎng)絡有四個卷積層，每個層的卷積半徑分別是0.05，0.2，0.3和最終得到一個2048維的特征表示；

16、s22：通過四個并行的多層感知器(mlp)，每個感知器有三層，大小分別是1024、256和3，每個感知器輸出一個視角向量

17、s23：計算每個mlp網(wǎng)絡預測的視角與真實視角之間的余弦相似性損失。

18、進一步，在步驟s3中，使用open3d包沿著步驟s22中得到的四個視角向量對點云進行渲染，并生成相應的點云2d投影圖像(i1，i2，i3，i4)。

19、進一步，在所述步驟s4中，對失真點云p，采用最遠點采樣來獲得nδ個錨點，對于每個錨點，利用最近鄰算法找到錨點周圍的ns個鄰近點，并以此構建局部補丁。其中，nδ＝6，ns＝2048。

20、進一步，在所述步驟s5中，具體步驟如下：

21、s51：將s3中得到的點云2d投影圖像，經(jīng)過resnet50，進行特征提取，得到點云的2d特征表示

22、s52：將s4中得到的補丁，經(jīng)過pointnet++，進行特征提取，得到點云的3d特征表示

23、進一步，在所述步驟s6中，具體步驟如下：

24、s61：將點云的2d特征表示分別逐元素平均得到特征向量同時將點云3d特征表示逐元素平均得到特征向量

25、s62：將特征向量和進行線性投影操作，投影到相同維度，分別記為和

26、進一步，在所述步驟s7中，使用通道注意機制融合s62中的和以整合多模態(tài)質量感知信息，生成一個融合后的特征向量。具體步驟如下：

27、s71：將和輸入squeeze?and?concat(spc)模塊，以獲取通道方向的多尺度特征圖fspc；

28、s72：使用seweight模塊提取不同尺度特征圖的注意力，并得到通道方向的注意力向量wse；

29、s73：通過softmax函數(shù)對通道方向的注意力向量進行重新校準，從而獲得多尺度通道的重新校準權重w′se；

30、s74：將重新校準的權重與相應的特征圖進行逐元素相乘，得到多尺度特征信息frefined。

31、進一步，在所述步驟s8中，將s7中得到的融合后的特征向量，輸入到質量回歸網(wǎng)絡中，獲得最終的質量分數(shù)。具體步驟如下：

32、s81：使用兩個全連接層將質量特征frefined回歸為預測質量分數(shù)；

33、s82：對于質量評估任務，不僅關注預測質量值的準確性，而且還重視質量排名。因此，采用的損失函數(shù)包括兩部分：均方誤差(mse)和秩誤差。

34、本發(fā)明與現(xiàn)有技術相比的優(yōu)點在于：

35、(1)本發(fā)明提出一種無參考的點云質量評估方法。該方法是基于多模態(tài)特征學習的，既考慮了點云2d結構特征，又考慮了3d空間信息。

36、(2)本發(fā)明通過最優(yōu)視角選擇方法，得到一個新穎的實現(xiàn)點云2d表示的方法。通過選取具有最高視角質量指標的視角，能夠有效地將點云的三維信息轉換為二維表示。這種表示不僅保留了點云的幾何特性，還增強了視覺可解釋性。

37、(3)本發(fā)明結合了通道注意力機制，在多模態(tài)特征融合過程中，對特征圖的不同通道進行加權，動態(tài)調整每個通道的重要性。通過有效捕捉并強化點云和圖像的有用信息，提升了特征表達能力。

38、在某種程度上，本發(fā)明的其他優(yōu)點和目標將在隨后的說明書中進行闡述。并且通過對下文的考察研究，本發(fā)明的優(yōu)勢對本領域技術人員而言是顯而易見的。本發(fā)明的目標和其他優(yōu)點可以通過下面的說明書來實現(xiàn)和獲得。