本公開涉及一組先進的視頻編碼技術。更具體地,本公開涉及使用重復頂點的網格頂點位置壓縮的方法和系統(tǒng)。
背景技術:
1、先進的三維(3d)世界呈現(xiàn)能夠實現(xiàn)更加沉浸式的交互和溝通形式。然而,為了在3d呈現(xiàn)中實現(xiàn)逼真感,3d模型變得越來越復雜,與創(chuàng)建和使用這些3d模型相關聯(lián)的數(shù)據量也變得相當可觀。3d網格被廣泛用于3d建模沉浸式內容。
2、3d網格可以由體積對象(volumetric?object)表面的多個多邊形組成。網格可以由描述體積對象表面的多個多邊形組成。每個多邊形可以由其在3d空間中的頂點和這些頂點如何連接的信息來限定,稱為連通性信息(connectivity?information)。這種映射通常由一組參數(shù)坐標來描述,稱為xyz坐標。在一些實施例中,頂點屬性(如顏色、法線等)還可以與網格頂點相關聯(lián)。通過利用以2d屬性映射將網格參數(shù)化的映射信息,屬性也可以與網格的表面相關聯(lián)。這種映射通??梢允褂靡唤M參數(shù)坐標來描述,這些參數(shù)坐標被稱為uv坐標或紋理坐標,并與網格頂點相關聯(lián)。2d屬性映射可用于存儲如紋理、法線、位移等的高分辨率屬性信息。這類信息可用于各種目的,例如紋理映射(texture?mapping)和著色(shading)。
3、由于動態(tài)網格序列可能具有大量隨時間變化的信息,因此動態(tài)網格序列可能需要大量數(shù)據。因此,需要有效的壓縮技術來存儲和傳輸這種內容。
4、雖然之前開發(fā)了網格壓縮標準ic、meshgrid、famc來處理具有恒定連通性和時變幾何的動態(tài)網格和頂點屬性。然而,這些標準沒有考慮時變屬性映射和連通性信息。
5、此外,對于體積采集技術來說,生成恒定連通性的動態(tài)網格也是具有挑戰(zhàn)性的,尤其是在實時約束條件下。現(xiàn)有標準不支持這種類型的動態(tài)網格內容。
技術實現(xiàn)思路
1、根據實施例,可以提供一種用于處理視頻編碼的方法、裝置和存儲計算機指令的非暫時性計算機可讀介質。
2、根據一個實施例,過程可以包括:接收至少一個三維(3d)內容的體積數(shù)據;使用映射函數(shù)確定所述體積數(shù)據的第一幀中的一個或多個重復頂點的第一集合,其中,所述一個或多個重復頂點包括所述第一幀中的多個頂點的頂點索引,所述第一幀中的多個頂點與參考幀中的相應參考頂點具有相同的映射;在所述第一集合中確定一個或多個不可跳過的重復頂點的第二集合,其中,所述一個或多個不可跳過的重復頂點包括所述第一集合中的在所述第一幀和所述參考幀中不具有相同位置的頂點,以及其中,所述第二集合包括所述一個或多個不可跳過的重復頂點相對于所述第一集合中相應頂點的位置的索引;以及用信號發(fā)送所述第二集合和所述第二集合中的頂點的數(shù)目。
3、根據一個實施例,裝置可以包括:至少一個存儲器,被配置為存儲程序代碼;以及至少一個處理器,被配置為讀取程序代碼并按照程序代碼的指示進行操作。所述程序代碼可以包括:接收代碼,被配置為使所述至少一個處理器接收至少一個三維(3d)內容的體積數(shù)據;第一確定代碼,被配置為使所述至少一個處理器使用映射函數(shù)確定所述體積數(shù)據的第一幀中的一個或多個重復頂點的第一集合,其中,所述一個或多個重復頂點包括所述第一幀中的多個頂點的頂點索引,所述第一幀中的多個頂點與參考幀中的相應參考頂點具有相同的映射;第二確定代碼,被配置為使所述至少一個處理器在所述第一集合中確定一個或多個不可跳過的重復頂點的第二集合,其中,所述一個或多個不可跳過的重復頂點包括所述第一集合中的在所述第一幀和所述參考幀中不具有相同位置的頂點,以及其中,所述第二集合包括所述一個或多個不可跳過的重復頂點相對于所述第一集合中相應頂點的位置的索引;以及信令代碼,被配置為使至少一個處理器用信號發(fā)送所述第二集合和所述第二集合中的頂點的數(shù)目。
4、根據一個實施例,存儲指令的非暫時性計算機可讀介質可以包括一個或多個指令,當由用于視頻編碼的裝置的一個或多個處理器執(zhí)行該指令時,使得一個或多個處理器:接收至少一個三維3d內容的體積數(shù)據;使用映射函數(shù)確定所述體積數(shù)據的第一幀中的一個或多個重復頂點的第一集合,其中,所述一個或多個重復頂點包括所述第一幀中的多個頂點的頂點索引,所述第一幀中的多個頂點與參考幀中的相應參考頂點具有相同的映射;在所述第一集合中確定一個或多個不可跳過的重復頂點的第二集合,其中,所述一個或多個不可跳過的重復頂點包括所述第一集合中的在所述第一幀和所述參考幀中不具有相同位置的頂點,以及其中,所述第二集合包括所述一個或多個不可跳過的重復頂點相對于所述第一集合中相應頂點的位置的索引;以及用信號發(fā)送所述第二集合和所述第二集合中的頂點的數(shù)目。
1.一種視頻編碼的方法,所述方法由至少一個處理器執(zhí)行,所述方法包括:
2.根據權利要求1所述的方法,其中,使用固定長度編碼對所述第二集合中的頂點的數(shù)目進行編碼。
3.根據權利要求2所述的方法,其中,所述固定長度為b+1比特的長度,其中b是小于、等于或大于log2(s)的整數(shù),其中s是所述第一集合中的頂點的數(shù)目。
4.根據權利要求1所述的方法,其中,使用固定長度編碼對所述第二集合進行編碼。
5.根據權利要求4所述的方法,其中,所述固定長度為b+1比特的長度,其中b是小于、等于或大于log2(s-2)的整數(shù),其中s是所述第一集合中的頂點的數(shù)目。
6.根據權利要求1所述的方法,其中,所述方法還包括:
7.根據權利要求6所述的方法,其中,所述與頂點統(tǒng)計相關的一個或多個條件包括以下其中一項:
8.一種視頻編碼的裝置,所述裝置包括:
9.根據權利要求8所述的裝置,其中,使用固定長度編碼對所述第二集合中的頂點的數(shù)目進行編碼。
10.根據權利要求9所述的裝置,其中,所述固定長度為b+1比特的長度,其中b是小于、等于或大于log2(s)的整數(shù),其中s是所述第一集合中的頂點的數(shù)目。
11.根據權利要求8所述的裝置,其中,使用固定長度編碼對所述第二集合進行編碼。
12.根據權利要求11所述的裝置,其中,所述固定長度為b+1比特的長度,其中b是小于、等于或大于log2(s-2)的整數(shù),其中s是所述第一集合中的頂點的數(shù)目。
13.根據權利要求8所述的裝置,其中,所述程序代碼還包括:
14.根據權利要求13所述的裝置,其中,所述與頂點統(tǒng)計相關的一個或多個條件包括以下其中一項:
15.一種非暫時性計算機可讀介質,其上存儲有程序,所述程序使至少一個處理器執(zhí)行以下操作:
16.根據權利要求15所述的非暫時性計算機可讀介質,其中,使用固定長度編碼對所述第二集合中的頂點的數(shù)目進行編碼。
17.根據權利要求16所述的非暫時性計算機可讀介質,其中,所述固定長度為b+1比特的長度,其中b是小于、等于或大于log2(s)的整數(shù),其中s是所述第一集合中的頂點的數(shù)目。
18.根據權利要求15所述的非暫時性計算機可讀介質,其中,使用固定長度編碼對所述第二集合進行編碼。
19.根據權利要求18所述的非暫時性計算機可讀介質,其中,所述固定長度為b+1比特的長度,其中b是小于、等于或大于log2(s-2)的整數(shù),其中s是所述第一集合中的頂點的數(shù)目。
20.根據權利要求15所述的非暫時性計算機可讀介質,其中,所存儲的程序代碼還使所述至少一個處理器: