提供3d查找表編碼以用于色域可伸縮性的系統(tǒng)和方法
【專利說明】提供3D查找表編碼W用于色域可伸縮性的系統(tǒng)和方法
[0001] 相關申請的交叉引用
[0002] 本申請要求2013年1月7日提交的申請?zhí)枮?1/880,715的美國臨時專利申請的權 益，該申請的內容通過引用的方式結合于此。
【背景技術】
[0003] S維（3D)查找表化UT)可W由配色者（colorist)從顏色分級過程來生成，或者可 W由編碼器估計（例如，使用一個顏色空間中的原始信號W及另一顏色空間中的相應信 號）?？赡苄枰诒忍亓髦袑?D LUT從編碼器發(fā)送給解碼器，從而使得解碼器可W在層間處 理期間應用色域轉換過程(例如相同的色域轉換過程）。
[0004] 3D LUT的信令開銷是顯著的，運是因為表格的尺寸可W很大。例如，采樣位深可W 是8比特，并且單位八分區(qū)（octant)大小可W是16xl6xl6(例如顏色空間可W被劃分為 16x16x16八分區(qū)的表示），并且由此，在3D LUT表格中可W存在17x17x17項。3D LUT的每個 項可W具有3個分量。因此，總的未壓縮表格大小可W是117,912(17x17x17x3x8)比特，其可 W產生顯著的信令開銷。由于運一數(shù)量的開銷，3D LUT可能必須W序列級別被用信號發(fā)送， 運是因為，例如，單個圖片可能不能承擔得起運樣的開銷。W序列級別，序列中的每個圖片 可W使用相同的3D LUT，其可W產生次優(yōu)選色域轉換和/或可W將增強層編碼效率降級。配 色者可W(由于藝術產品因素)逐個圖片或逐個場景改變色域，并且3D LUT的運種圖片級信 令可能是高效色域預測所需的。

【發(fā)明內容】

[0005] 提供了用于改進S維(3D)查找表(LUT)編碼和/或減小3D LUT的表格大小(例如編 碼表示的比特大?。┑南到y(tǒng)和方法。例如，可W提供用于顏色空間分割的與3D LUT相關聯(lián)的 八分區(qū)，并且可W對于八分區(qū)相關聯(lián)的八叉樹(octree)執(zhí)行編碼。所述八分區(qū)中的一個或 多個八分區(qū)可W是非統(tǒng)一八分區(qū)。八分區(qū)的參數(shù)可W被降低的精度有損編碼。3D LUT可W 包括頂點。所述八分區(qū)中的一個或多個八分區(qū)可W更粗糖，從而使得鄰近的頂點之間具有 更大的距離。
[0006] 所述八分區(qū)還可W提供分級樹結構的3D數(shù)據，該分級樹結構的3D數(shù)據可W被在八 叉樹中被組織W用于編碼?？蒞應用W下至少一者:八叉樹可W包括多個層，八叉樹中的每 個節(jié)點可W表示所述八分區(qū)中的一個八分區(qū)，或者每個節(jié)點可W從根引用。此外，所述八分 區(qū)中的一個或多個八分區(qū)可W在一個或多個層被分離和/或至少一個八分區(qū)被分割成子八 分區(qū)。3D LUT中的頂點中的一個頂點可W屬于和/或對應于可表示八叉樹中的不同層處的 八分區(qū)的一個或多個節(jié)點?？蒞執(zhí)行八叉樹的編碼，例如通過遞歸調用和執(zhí)行編碼八分區(qū) 函數(shù)來對3D LUT中的與其相關聯(lián)的節(jié)點和頂點按照層優(yōu)先遍歷順序進行編碼。也可W用信 號發(fā)送3D LUT(例如基于序列和/或圖片級別）。
【附圖說明】
[0007] 圖I顯示了具有一個或多個層(例如N個層)的可伸縮視頻編碼系統(tǒng)的框圖。
[0008] 圖2顯示了用于使用多視角視頻編碼(MVC)進行立體(例如2-視角）視頻編碼的時 間和/或層間預測。
[0009] 圖3顯示了 Cffi顏色分辨率中的81'.709化01^)與81'.2020(1]皿1^)之間的顏色初步 比較。
[0010] 圖4A-4B分別顯示了針對BT. 709色域與P3色域之間的終端用戶的視覺差異。
[0011] 圖5描繪了使用圖片級層間預測（ILP)的色域可伸縮性(CGS)編碼。
[0012]圖6顯示了針對8比特YUV信號的3D查找表。
[001引圖7顯示了S線性3D LUT。
[0014] 圖8顯示了用于3D LUT編碼的八叉樹。
[001引圖9A-9B分別顯示了具有兩層的全局3D LUT和具有S層的圖片級3D LUT，其中具 有S層的圖片級3D LUT可W從較粗糖的具有兩層的全局3D LUT進行預測。
[0016] 圖IOA描繪了示例性通信系統(tǒng)的圖示，在該系統(tǒng)中可W實施一個或多個公開的實 施方式。
[0017] 圖IOB描繪了示例性無線發(fā)射/接收單元(WT抓)的系統(tǒng)圖，該WTRU可W用于圖IOA 所示的通信系統(tǒng)內；
[0018] 圖IOC描繪了示例性無線電接入網和示例性核屯、網的系統(tǒng)圖，該示例性無線電接 入網和示例性核屯、網可W用于圖IOA所示的通信系統(tǒng)內；
[0019] 圖IOD描繪了另一示例性無線電接入網和另一示例性核屯、網的系統(tǒng)圖，該另一示 例性無線電接入網和另一示例性核屯、網可W用于圖IOA所示的通信系統(tǒng)內；
[0020] 圖IOE描繪了另一示例性無線電接入網和另一示例性核屯、網的系統(tǒng)圖，該另一示 例性無線電接入網和另一示例性核屯、網可W用于圖IOA所示的通信系統(tǒng)內。
【具體實施方式】
[0021] 現(xiàn)今的視頻數(shù)據可W通過有線網絡和無線網絡的組合來傳送，運可能進一步使得 潛在的傳輸信道特征復雜。在運種情景下，可伸縮視頻編碼的前提可W提供有吸引力的方 案來改進異構網絡上在具有不同性能的設備上運行的視頻應用的體驗質量。例如，可伸縮 視頻編碼可W對W最充分表示(例如時間分辨率、空間分辨率、質量等)的信號進行編碼(例 如一次），但是可W使能根據由特定客戶端設備上運行的某些應用所使用的特定速率和/或 表示從視頻流的子集進行解碼。帶寬和存儲與非可伸縮方案相比可W得到節(jié)約。國際視頻 標準，例如M陽G-2視頻、H. 263、MPEG4視覺和/或H. 264可W具有支持一些可伸縮性模式的工 具和/或簡檔。
[0022] 圖1顯示了一種簡單的基于塊的混合可伸縮視頻編碼系統(tǒng)的框圖。由層1(基層)表 示的空間/時間信號分辨率可W通過輸入視頻信號的下采樣來生成。在隨后的編碼階段中， 量化器(Ql)的合適設置可W導致產生某個質量級別的基本信息。為了更高效地對隨后的較 高層進行編碼，在對隨后的層進行編碼/解碼時可W使用基層重建Yl，該基層重建Yl可W接 近較高層分辨率級別。上采樣單元可W執(zhí)行將基層重建信號上采樣到層2的分辨率。下采樣 和上采樣可W貫穿層（1，2…N)執(zhí)行，和/或下采樣和上采樣率可W根據兩個給定層之間的 可伸縮性的尺寸而不同。在圖1的系統(tǒng)中，對于給定的較高層(2 < n < N)，差分信號可W通過 從當前層n信號減去上采樣的較低層信號(例如層n-1信號)來生成。由此獲得的差分信號可 W被編碼。如果由兩層（例如nl和n2)表示的視頻信號可W具有相同的空間分辨率，則相應 的下采樣和上采樣操作可W繞過。給定層n(l含n含N)或多層可W在不使用來自較高層的解 碼信息的情況下被解碼。但是，如圖1中的系統(tǒng)所提供的，對除了基層之外的每個層的殘差 信號（即兩層之間的差分信號）的編碼的依賴有時會引起視覺假象，由于例如對殘差信號進 行量化和/或規(guī)范化而限制其動態(tài)范圍和/或在對殘差進行編碼期間執(zhí)行的另外的量化。一 些或所有較高層編碼器可W采用運動估計和運動補償預測來作為編碼模式。但是，殘差信 號中的運動估計和補償可能不同于常規(guī)運動估計，并且可能傾向于視覺假象。為了使得運 種視覺假象最小化，可W提供和/或使用精細殘差量化，W及共同量化，例如對殘差信號進 行量化和/或規(guī)范化與在對殘差進行編碼期間執(zhí)行的另外的量化之間的共同量化，由此增 加了系統(tǒng)復雜度。
[0023] 可伸縮視頻編碼（SVC)可W是H.264的擴展，H. 264可W使能傳輸和解碼部分比特 流，W便提供具有較低時間或空間分辨率或降低的保真度的視頻服務，同時在給定部分比 特流的速率的情況下維持相對高的重建質量。SVC的一個設計特征可W是單回路解碼。單回 路解碼可W指代W下事實：svc解碼器可W在正被解碼的層設置一個運動補償回路，并且可 能不必在一個或多個其他較低層設置一個或多個運動補償回路。例如，比特流可W包括2 層，例如層1(基層)和層2(增強層）。如果解碼器希望重建層2視頻，則解碼的圖片緩存器和 運動補償預測可W被設置用于層2,而不是用于層1(例如層2可W依賴的基層）。因此，SVC可 能不需要和/或使用來自較低層的參考圖片來完全重建，例如，由此降低解碼器處的計算復 雜度和存儲需求。
[0024] 單回路解碼可W由約束的層間紋理預測實現(xiàn)，其中，對于給定層中的當前塊，如果 相應的低層塊可W W內模式編碼(運也可W稱為約束內預測），則可W允許來自較低層的空 間文理預測。例如，當較低層塊可W W內模式編碼時，可W被重建，而無需運動補償操作和 解碼的圖片緩存。為了改進增強層的率失真效率，SVC可W使用另外的層間預測技術，例如 來自較低層的運動矢量預測、殘差預測、模式預測等等。雖然SVC的單回路解碼特征可W降 低解碼器處的計算復雜度和存儲器需求，但是由于嚴重依賴于塊級層間預測方法來實現(xiàn)滿 意的性能，可能會增加實施復雜度。此外，為了補償施加單回路解碼約束引起的性能損失， 可能會增加編碼器設計和計算復雜度來實現(xiàn)所需性能。對交錯的內容進行編碼可能不被 SVC很好地支持，運會影響廣播產業(yè)對它的采用。因此，SVC編碼器和解碼器設計及系統(tǒng)實施 的復雜度會引起市場中的SVC采用受限。
[0025] 多視角視頻編碼(MVC)可W是可提供視角可伸縮性的H.264的另一擴展。在視角可 伸縮性中，基層比特流可W被解碼W創(chuàng)建常規(guī)的2D視頻，并且另外的增強層可W被解碼W 重建同一視頻信號的其他視角表示。當視角可W被合并在一起并且由合適的3D顯示器顯示 時，用戶可W體驗到具有合適的深度感知的3D視頻。圖2可W提供使用MVC的示例性預測結 構來用左視角(層1)和右視角(層2)對立體視頻進行編碼。0中的左視角視頻可W用IBBP預 測結構進行編碼。右視角視頻可W用PBBB預測結構進行編碼。在右視角中，被分配有左視角 中的第一 I圖片的第一圖片可W被編碼為P圖片。右視角中的其他圖片可W采用來自右視角 中的時間參考的第一預測和來自左視角中的層間參考的第二預測而被編碼為B圖片。
[0026] 可使用3加艮鏡的立體3D TV可W用于在家欣賞3D內容(例如電影、體育直播等等）。 不像SVC, MVC可W不支持單回路解碼特征。如圖2所示，右視角(層2)視頻的解碼可能需要左 視角(層1)中的圖片(例如所有或整個圖片)可用，從而使得運動補償回路可W在兩個視角/ 層中得到支持。但是，MVC可W具有的設計優(yōu)點是其可W包括高級語法改變，并且可W不包 括對H.264/AVC的塊級改變。運會使得實施更容易，運是因為潛在的MVC編碼器/解碼器邏輯 可W保持相同、可W被容易地復制、和/或片/圖片級的參考圖片可能需要被正確地配置W 使能MVC。運與近年來3D視頻內容（例如主要是3D電影產生和3D體育直播廣播）的爆發(fā)相禪 合，會使得MVC或允許MVC能夠與SVC相比得到更大的商業(yè)成功。通過擴展O中的示例來執(zhí)行 多視角中的層間預測，MVC也可W支持多于兩個視角的編碼。
[0027] 在3D視頻編碼中，例如，也可W提供和/或使用MPEG帖兼容(MFC)編碼。例如，如運 里所述，3D內容可W是立體3D視頻，其可W包括兩個視角例如左視角和右視角。立體3D內容 傳遞可W通過將兩個視角封裝/復用成一個帖（因此名稱、帖兼容)和/或用現(xiàn)有標準(例如 H.264/AVC)來壓縮和傳送封裝視頻。在接收機側，在解碼之后，帖可W被解封裝并且顯示為 兩個視角。視角的運種復用可W在時域或空域執(zhí)行。兩個視角可W用兩個因子中的一個因 子進行空間下采樣并且用不同的布置封裝(例如當在空域執(zhí)行W維持相同的圖片大小時