本發(fā)明屬于深度學(xué)習(xí)、點(diǎn)云幾何壓縮，具體涉及一種基于高效采樣與優(yōu)化熵模型的點(diǎn)云端到端壓縮方法。

背景技術(shù)：

1、無(wú)論是稠密點(diǎn)云還是稀疏點(diǎn)云，都是由數(shù)百萬(wàn)個(gè)乃至數(shù)千萬(wàn)個(gè)點(diǎn)的幾何信息與屬性信息組成，加之點(diǎn)云中的點(diǎn)結(jié)構(gòu)不具備拓?fù)溥B接，往往無(wú)序、稀疏地分布于三維空間中，導(dǎo)致三維點(diǎn)云的壓縮難以直接采用傳統(tǒng)的圖像或視頻編碼技術(shù)來(lái)實(shí)現(xiàn)。因此，在無(wú)法大量擴(kuò)展存儲(chǔ)資源和網(wǎng)絡(luò)帶寬的情況下，如何減少點(diǎn)云數(shù)據(jù)體積，加速點(diǎn)云數(shù)據(jù)的檢索和查詢，實(shí)現(xiàn)在有限資源下的高效率傳輸是一項(xiàng)巨大的挑戰(zhàn)。

2、當(dāng)前現(xiàn)有的方法都是使用基于學(xué)習(xí)的點(diǎn)云幾何壓縮技術(shù)，該技術(shù)與傳統(tǒng)的壓縮方法相比，可以更準(zhǔn)確地重構(gòu)點(diǎn)云的形狀和拓?fù)浣Y(jié)構(gòu)，且該技術(shù)采用端到端的訓(xùn)練方法，可直接利用原始點(diǎn)云數(shù)據(jù)進(jìn)行編碼和解碼。但目前大部分基于學(xué)習(xí)的點(diǎn)云幾何壓縮方法忽略了點(diǎn)云數(shù)據(jù)的高效采樣和多種上下文信息的使用，導(dǎo)致在壓縮過程中無(wú)法有效處理幾何冗余。高效采樣模塊與優(yōu)化熵模塊的引入，可以從原始點(diǎn)云中提取有效數(shù)據(jù)，提升編碼過程的采樣效率，并對(duì)量化后的殘差特征進(jìn)行準(zhǔn)確估計(jì)，優(yōu)化潛在特征重建的失真率，實(shí)現(xiàn)點(diǎn)云數(shù)據(jù)低冗余、高效率的壓縮。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有技術(shù)的不足，通過進(jìn)一步提取關(guān)鍵點(diǎn)和提高速率失真性能，實(shí)現(xiàn)點(diǎn)云數(shù)據(jù)高效、快速的壓縮編碼的目的，本發(fā)明采用如下的技術(shù)方案：

2、一種基于高效采樣與優(yōu)化熵模型的點(diǎn)云端到端壓縮方法，包括如下步驟：

3、步驟1：對(duì)原始點(diǎn)云進(jìn)行網(wǎng)格回歸，再經(jīng)網(wǎng)格量化和算術(shù)編碼得到帶有網(wǎng)格信息的比特流，通過算術(shù)解碼和網(wǎng)格還原得到重構(gòu)后的網(wǎng)格，并對(duì)其進(jìn)行網(wǎng)格到點(diǎn)云的轉(zhuǎn)換，生成預(yù)測(cè)點(diǎn)云；

4、步驟2：對(duì)輸入的原始點(diǎn)云進(jìn)行神經(jīng)圖采樣；構(gòu)造每個(gè)點(diǎn)的局部圖，其圖中心點(diǎn)通過點(diǎn)動(dòng)態(tài)濾波器以聚合特征屬性，然后，執(zhí)行基于注意的采樣來(lái)選擇點(diǎn)的子集，以很好地表示輸入點(diǎn)；

5、步驟3：將預(yù)測(cè)點(diǎn)云和經(jīng)過神經(jīng)圖采樣后的原始點(diǎn)云進(jìn)行特征提取，得到多尺度稀疏張量，并使用坐標(biāo)編碼得到坐標(biāo)比特流，之后經(jīng)過特征映射，以獲取預(yù)測(cè)點(diǎn)云的映射特征，基于映射特征和所述特征提取的特征，通過特征減法得到殘差特征；

6、步驟4：將殘差特征輸入非對(duì)稱空間信道熵，通過分組可變形動(dòng)態(tài)核，對(duì)殘差特征的各分組進(jìn)行不同的偏移和向量投影，以增強(qiáng)模塊的表達(dá)能力，獲取潛在變量，然后將潛在變量沿著信道維度分組，每組除第一組外均從前面各組捕獲幫助性空間上下文，有效利用空間信息來(lái)減少冗余，以優(yōu)化殘差特征；

7、步驟5：從網(wǎng)格比特流中經(jīng)過算術(shù)解碼還原網(wǎng)格，然后進(jìn)行網(wǎng)格到點(diǎn)云的轉(zhuǎn)換，生成預(yù)測(cè)點(diǎn)云，再將預(yù)測(cè)點(diǎn)云經(jīng)特征提取后進(jìn)行特征映射，最后將映射特征結(jié)合解碼出的坐標(biāo)和經(jīng)過非對(duì)稱空間信道熵模塊后恢復(fù)的殘差特征，得到原始點(diǎn)云的特征，這些特征被送入特征傳播模塊用于重建原始點(diǎn)云。

8、進(jìn)一步地，所述步驟1包括如下步驟：

9、步驟1.1：通過結(jié)合幾何變化和表面變形來(lái)建模的網(wǎng)格回歸模塊，利用預(yù)訓(xùn)練pointnet++網(wǎng)絡(luò)和概率對(duì)應(yīng)關(guān)聯(lián)模塊，得到預(yù)測(cè)參數(shù)，再經(jīng)網(wǎng)格量化并編碼到比特流中，參數(shù)包括但不限于姿態(tài)、形狀、旋轉(zhuǎn)、平移和性別；

10、步驟1.2：為了確保編碼器和解碼器完全同步，從網(wǎng)格操作塊的量化參數(shù)中還原對(duì)齊的網(wǎng)格，然后通過泊松盤采樣算法將重構(gòu)后的網(wǎng)格進(jìn)行網(wǎng)格到點(diǎn)云的轉(zhuǎn)換，生成一個(gè)形狀相似的預(yù)測(cè)點(diǎn)云。

11、進(jìn)一步地，所述步驟2包括如下步驟：

12、步驟2.1：局部圖構(gòu)造；利用k近鄰算法構(gòu)造每個(gè)點(diǎn)的k近鄰圖，得到空間k近鄰圖特征，對(duì)于具有屬性的原始點(diǎn)云，基于空間域中k近鄰指數(shù)，在特征域中得到每個(gè)點(diǎn)的k近鄰圖屬性，將k近鄰圖屬性和空間k近鄰圖特征連接用于特征嵌入，得到聚合的局部幾何特征；

13、步驟2.2：圖特征嵌入；基于k近鄰圖構(gòu)建動(dòng)態(tài)濾波，用于側(cè)重局部空間關(guān)系建模，將點(diǎn)與卷積對(duì)應(yīng)，再進(jìn)行特征嵌入，得到基于點(diǎn)的自適應(yīng)卷積；

14、步驟2.3：基于注意的采樣；對(duì)于圖特征嵌入的輸出，選擇具有可微操作的代表子集，并利用基于注意力的方法，選擇原始點(diǎn)云的點(diǎn)子集，以獲取最具采樣價(jià)值的點(diǎn)。

15、進(jìn)一步地，所述步驟2.1中，獲取一組具有n個(gè)點(diǎn)的三維點(diǎn)云幾何圖形x’=?{?xi’∈r3，i?=?1,···,n}，xi’=（xi，yi，zi）表示每個(gè)點(diǎn)的三維坐標(biāo)，對(duì)于n×3矩陣的輸入點(diǎn)云，構(gòu)造有向k近鄰圖g?=（v，e）表示局部點(diǎn)云結(jié)構(gòu)，v?=?{1,···,n}，用于表示頂點(diǎn)和邊，vi表示xi’的鄰集，通過構(gòu)造k近鄰圖，得到點(diǎn)云的n×k×6的局部結(jié)構(gòu)，其包含空間域中每個(gè)點(diǎn)的三維坐標(biāo)和邊緣特征；對(duì)于具有屬性n×fi的原始點(diǎn)云，fi表示輸入特征通道，基于空間域中的k近鄰指數(shù)，在特征域中得到每個(gè)點(diǎn)的k近鄰圖屬性n×k×fi，最后，將k近鄰圖屬性n×k×fi和空間k近鄰圖特征n×k×6連接用于特征嵌入。

16、進(jìn)一步地，所述步驟2.2中，為了在特征域中自適應(yīng)地提取潛在表示，首先基于輸入的k近鄰圖生成點(diǎn)動(dòng)態(tài)濾波器，將鄰居信息聚合到中心點(diǎn)；然后將點(diǎn)動(dòng)態(tài)濾波器應(yīng)用于輸入的k近鄰圖，輸出動(dòng)態(tài)濾波結(jié)果，動(dòng)態(tài)濾波側(cè)重于局部空間關(guān)系建模，每個(gè)點(diǎn)有1個(gè)卷積；最后使用全連接層進(jìn)行特征嵌入，將局部結(jié)構(gòu)和幾何變化作為潛在特征，并執(zhí)行兩次以提高特征嵌入能力。

17、進(jìn)一步地，所述步驟2.3中，對(duì)于圖特征嵌入輸出，n表示特定點(diǎn)云的點(diǎn)數(shù)，fo表示輸出特征通道的數(shù)量，目標(biāo)是選擇具有可微操作的代表子集，其中輸出點(diǎn)數(shù)采樣到n/4，并利用基于注意力的多示例學(xué)習(xí)池化方法（mil），通過選擇原始點(diǎn)云的一個(gè)點(diǎn)子集，實(shí)現(xiàn)最具采樣價(jià)值點(diǎn)的獲取，池化輸出被表述為：

18、q=?softmax(ωpt)

19、其中，q表示一個(gè)由元素產(chǎn)生的標(biāo)準(zhǔn)化分?jǐn)?shù)加權(quán)的平均值，ω表示一個(gè)可學(xué)習(xí)的權(quán)重參數(shù)，softmax表示歸一化函數(shù)，上標(biāo)t表示轉(zhuǎn)置符號(hào)。

20、進(jìn)一步地，所述步驟3包括如下步驟：

21、步驟3.1：特征提取；基于稀疏卷積來(lái)保留關(guān)鍵點(diǎn)特征，模之間的中間結(jié)果用稀疏張量表示；稀疏張量x僅使用坐標(biāo)特征對(duì)保存非零元素，每個(gè)非零三維坐標(biāo)(xi，yi，zi)∈c，對(duì)應(yīng)相關(guān)的特征fi∈f，使得有豐富的上下文準(zhǔn)確表示，通過只對(duì)非零元素應(yīng)用卷積濾波，稀疏卷積顯著降低了計(jì)算復(fù)雜度和內(nèi)存使用，在三維空間中的稀疏卷積計(jì)算公式如下：

22、

23、其中，cin和cout表示輸入和輸出坐標(biāo)，w i表示第 i個(gè)點(diǎn)的核的權(quán)重，集合n3表示具有任意形狀的三維核，其子集包含cin中與當(dāng)前三維坐標(biāo)u的偏移，c表示坐標(biāo)集，f表示特征集；

24、特征提取中的每個(gè)下采樣塊包括一個(gè)串行卷積、vrn單元和另一個(gè)串行卷積層，串行卷積用于減少點(diǎn)的數(shù)量，而隨后的卷積層用于改進(jìn)提取的特征以獲得最佳性能；vrn單元位于兩個(gè)卷積層之間，利用跳躍連接來(lái)減輕訓(xùn)練過程中的信息損失，并采用不同內(nèi)核大小的并行卷積層，即1×1×1或3×3×3，來(lái)捕獲不同范圍內(nèi)的特征；通過對(duì)這些降采樣塊進(jìn)行疊加，特征提取模塊輸出多尺度稀疏張量，包括坐標(biāo)和特征，形成了整個(gè)點(diǎn)云的潛在表示，因此，提取的特征可以以少量的輸出坐標(biāo)作為必要的信息，以減少所需的位，并使用坐標(biāo)編碼器對(duì)這些坐標(biāo)進(jìn)行無(wú)損編碼；

25、步驟3.2：特征映射；將提取的特征從預(yù)測(cè)點(diǎn)云轉(zhuǎn)換為原始點(diǎn)云的坐標(biāo)，該過程以一種從粗到細(xì)的方式完成，每個(gè)尺度都包含一個(gè)來(lái)自特征提取器的主稀疏張量和來(lái)自前一個(gè)塊的輔助稀疏張量的分層連接，為此，前面的塊利用了一個(gè)類似于特征提取模塊的分層卷積層；最后使用廣義稀疏轉(zhuǎn)置卷積層，對(duì)預(yù)測(cè)點(diǎn)云的連接特征在原始點(diǎn)云的降尺度坐標(biāo)上進(jìn)行卷積，該過程被表示為：

26、

27、其中， s表示原始點(diǎn)云，下標(biāo) t表示預(yù)測(cè)點(diǎn)云， l表示尺度，表示預(yù)測(cè)點(diǎn) t在尺度 l的主稀疏張量，表示預(yù)測(cè)點(diǎn) t在尺度 l的輔助稀疏張量，表示連接操作，函數(shù)g(·)表示在目標(biāo)坐標(biāo)上卷積層執(zhí)行的操作；在對(duì)坐標(biāo)進(jìn)行卷積運(yùn)算后，輸出稀疏張量包括原始點(diǎn)云的坐標(biāo)和最后一個(gè)尺度的預(yù)測(cè)點(diǎn)云的映射特征。

28、步驟3.3：特征減法；在獲得預(yù)測(cè)點(diǎn)云的映射特征后，直接進(jìn)行特征級(jí)減法，通過計(jì)算提取的特征與作為運(yùn)動(dòng)映射特征的之間的特征級(jí)殘差，減少了像素域內(nèi)基于光流的運(yùn)動(dòng)補(bǔ)償引起的預(yù)測(cè)誤差，該過程表示為：

29、

30、其中，表示最后一個(gè)尺度中的殘差特征。

31、進(jìn)一步地，所述步驟4包括如下步驟：

32、步驟4.1：在編碼過程中，將輸入特征x發(fā)送到具有學(xué)習(xí)參數(shù)的編碼器 ga，然后得到潛在表示y，并將潛在表示y和方差μ之間的量化殘差編碼到比特流中，為了用算術(shù)編碼對(duì)y、μ進(jìn)行編碼，用 q(·)進(jìn)行量化操作；然后在解碼過程中，解碼器 gs將解碼后的延遲轉(zhuǎn)換為重構(gòu)特征，同時(shí)利用下面的動(dòng)態(tài)空間聚合和非對(duì)稱空間信道熵增強(qiáng)殘差特征壓縮總體框架，以進(jìn)一步提高速率失真性能；

33、步驟4.2：大多數(shù)現(xiàn)有的方法使用堆疊卷積或基于窗口的自注意來(lái)進(jìn)行轉(zhuǎn)換編碼，它們只能在一個(gè)固定的空間范圍內(nèi)聚合特征，因此提出通過可變形核來(lái)實(shí)現(xiàn)自適應(yīng)空間聚合，但是盲目引入可變形卷積可能會(huì)消耗更多的計(jì)算資源，首先設(shè)計(jì)一個(gè)高效、穩(wěn)定的動(dòng)態(tài)殘余塊組，使用深度卷積來(lái)分別生成內(nèi)容自適應(yīng)的核偏移量和調(diào)制權(quán)值；再將輸入特征分成幾組，并在每一組內(nèi)共享調(diào)制的核權(quán)值，這樣不僅能保持可變形卷積的優(yōu)點(diǎn)，也不會(huì)增加計(jì)算負(fù)擔(dān)；

34、步驟4.3：通過在超先驗(yàn)部分將潛在表示y編碼為邊信息并引入動(dòng)態(tài)核來(lái)聚合全局先驗(yàn)分布，強(qiáng)化了廣義熵模型的全局上下文表達(dá)；此外設(shè)計(jì)非對(duì)稱空間信道熵變換，將潛在變量y沿著信道維度分組，提取信道上下文，并從各組中提取空間上下文，每組除第一組外均從前面各組捕獲幫助性空間上下文，前兩組使用四階段空間上下文，后面組使用兩階段空間上下文有效利用空間信息來(lái)減少冗余，結(jié)合超先驗(yàn)中全局上下文信息，最終通過分布參數(shù)估計(jì)來(lái)優(yōu)化殘差特征。

35、進(jìn)一步地，所述步驟4.1中，殘差特征壓縮總體框架如下：

36、

37、

38、

39、其中，x和表示輸入和解壓縮的特征， ga和 gs分別表示分析和合成變換，和分別表示分析變換網(wǎng)絡(luò)和合成變換網(wǎng)絡(luò)的學(xué)習(xí)參數(shù)， q(·)表示量化操作。

40、進(jìn)一步地，所述步驟4.2中，可變形核來(lái)實(shí)現(xiàn)自適應(yīng)空間聚合方法表述為：

41、

42、其中， g表示分裂組的數(shù)量，、表示第 g個(gè)子組內(nèi)共享調(diào)制的核權(quán)值和附加的學(xué)習(xí)偏移量， f(·)表示特征圖，表示特征圖對(duì)應(yīng)卷積核中心，表示對(duì)應(yīng)卷積核每個(gè)位置的相對(duì)坐標(biāo)；

43、最后再使用一個(gè)網(wǎng)絡(luò)來(lái)投射該特征，其表述為：

44、

45、其中，conv1×1(·)表示1×1的卷積操作，gelu(·)表示激活函數(shù)。

46、本發(fā)明的優(yōu)勢(shì)和有益效果在于：

47、本發(fā)明公開了一種基于高效采樣與優(yōu)化熵模型的點(diǎn)云端到端壓縮方法。利用局部圖的構(gòu)造、圖特征嵌入和基于注意的采樣設(shè)計(jì)神經(jīng)圖采樣模塊，將其嵌入到編碼過程中的特征提取網(wǎng)絡(luò)，采用多模塊堆疊的方式來(lái)提取原始點(diǎn)云的潛在關(guān)鍵點(diǎn)，有效提升了采樣效率；非對(duì)稱空間信道熵模塊利用可變形動(dòng)態(tài)核擴(kuò)展空間聚合能力，并將潛在變量沿著信道維度分組，在保持編碼效率的同時(shí)減少了統(tǒng)計(jì)冗余。以上兩個(gè)模塊的加入實(shí)現(xiàn)了最具采樣價(jià)值點(diǎn)的獲取和分布參數(shù)估計(jì)的有效優(yōu)化，從而實(shí)現(xiàn)海量點(diǎn)云數(shù)據(jù)的端到端壓縮。