改進的屏幕內容和混合內容編碼的制作方法
【專利摘要】一種裝置，包括處理器，用于：獲取包括圖像的混合內容視頻，所述圖像包括計算機生成屏幕內容(screen content，SC)和自然內容(natural content，NC)；將所述圖像分區(qū)為SC區(qū)域和NC區(qū)域；以及通過使用SC編碼工具對所述SC區(qū)域進行編碼和使用NC編碼工具對所述NC區(qū)域進行編碼來對所述圖像進行編碼；以及與所述處理器連接的發(fā)射器，其中，所述發(fā)射器用于向客戶端設備傳輸數據，所述數據包括所述編碼后的圖像和分區(qū)的邊界指示。
【專利說明】改進的屏幕內容和混合內容編碼
[0001] 相關申請案交叉申請
[0002] 本申請要求2014年3月 13 日由Thorsten Laude、Ma;rco Munderloh和Joern Ostermann遞交的發(fā)明名稱為"改進的屏幕內容和混合內容編碼（Improved Screen Content And Mixed Content Codingr 的第61/952,160號美國臨時專利申請案和2015年3 月11 日由Thorsten Laude、Ma;rco Munderloh和Joern Ostermann遞交的發(fā)明名稱為。改進 的屏幕內容和混合內容編碼（Improved Screen Content And Mixed Content Coding)"的 第14/645,136號美國專利申請案的在先申請優(yōu)先權，運兩個在先申請的全部內容W引入的 方式并入本文本中。
[0003] 關于由聯(lián)邦政府贊助研究或開發(fā)的聲明
[0004] 不適用
[0005] 參考縮微膠片附錄
[0006] 不適用
【背景技術】
[0007] 隨著云服務的近期發(fā)展及智能手機和平板電腦等移動設備部署為內容顯示設備， 新出現(xiàn)的情況是:計算機生成的內容在一個設備上生成但使用第二設備來顯示。此外，可要 求運種設備來同時顯示相機采集內容和計算機生成內容，從而導致需要顯示混合內容。相 機采集內容和計算機生成內容的特征在邊緣銳度、不同顏色的數量、壓縮等方面有顯著差 異。用于顯示視頻采集內容的視頻編碼和解碼機制在顯示計算機生成內容時效果不好，反 之亦然。例如，嘗試使用用于顯示視頻采集內容的視頻編碼和解碼機制來顯示計算機生成 內容可導致顯示的計算機生成內容的那一部分編碼失真、模糊、文件過大等(反之亦然）。

【發(fā)明內容】

[000引在一項實施例中，本發(fā)明包括一種裝置，所述裝置包括處理器，用于：獲取包括圖 像的混合內容視頻，所述圖像包括計算機生成屏幕內容（screen content，SC)和自然內容 (natural content，NC);將所述圖像分區(qū)為SC區(qū)域和NC區(qū)域；W及通過使用SC編碼工具對 所述SC區(qū)域進行編碼和使用NC編碼工具對所述NC區(qū)域進行編碼來對所述圖像進行編碼；W 及與所述處理器連接的發(fā)射器，其中，所述發(fā)射器用于向客戶端設備傳輸數據，所述數據包 括所述編碼后的圖像和分區(qū)的邊界指示。
[0009]在另一項實施例中，本發(fā)明包括一種在客戶端設備處對混合內容視頻進行解碼的 方法，所述方法包括:接收包括編碼后混合內容視頻的比特流，所述混合內容視頻包括圖 像，其中，每個圖像包括SC和NC;在所述比特流中接收包括所述SC內容的SC區(qū)域與包括所述 NC內容的NC區(qū)域之間的分區(qū)邊界的指示;對所述分區(qū)邊界界定的所述SC區(qū)域進行解碼，其 中，對所述SC區(qū)域進行解碼包括使用SC編碼工具；對所述分區(qū)邊界界定的所述NC區(qū)域進行 解碼，其中，對所述NC區(qū)域進行解碼包括使用與所述SC編碼工具不同的NC編碼工具；W及將 所述解碼后的SC區(qū)域和所述解碼后的NC區(qū)域作為解碼后的混合內容視頻轉發(fā)給顯示器。
[0010] 在另一項實施例中，本發(fā)明包括一種計算機程序產品，所述計算機程序產品包括 存儲在非瞬時性計算機可讀介質上的計算機可執(zhí)行指令，從而當所述計算機可執(zhí)行指令由 處理器執(zhí)行時，使網元(network element,肥)執(zhí)行W下操作：獲取包括圖像的混合內容視 頻，所述圖像包括SC和NC，將所述圖像分區(qū)為SC區(qū)域和NC區(qū)域;將所述SC區(qū)域中的圖像數據 編碼為至少一個SC子流;將所述NC區(qū)域中的圖像數據編碼為至少一個NC子流；W及通過發(fā) 射器將所述子流傳輸給客戶端設備，W便重新組合為所述混合內容視頻。
[0011] 結合附圖和權利要求書，可W從下文的詳細描述中更清楚地理解運些和其它特 征。
【附圖說明】
[0012] 為了更透徹地理解本發(fā)明，現(xiàn)參閱結合附圖和【具體實施方式】而描述的W下簡要說 明，其中的相同參考標號表示相同部分。
[001 ：3 ]圖1示出了包括SC和NC的示例性混合內容視頻；
[0014] 圖2為用于編碼和發(fā)送混合內容視頻的網絡的實施例的示意圖；
[0015] 圖3為在網絡中充當節(jié)點的NE的實施例的示意圖；
[0016] 圖4為編碼和發(fā)送混合內容視頻的方法的實施例的流程圖；
[0017] 圖5為將混合內容視頻按多個專用子流進行編碼和發(fā)送的方法的實施例的流程 圖；
[0018] 圖6為解碼混合內容視頻的方法的實施例的流程圖；
[0019] 圖7為量化參數(quantization parameter,QP)管理的方法的實施例的示意圖；
[0020] 圖8示出了包括SC和NC的另一種示例性混合內容視頻；
[0021] 圖9為與混合內容視頻相關聯(lián)的示例性分區(qū)信息的示意圖；
[0022] 圖10示出了包括SC的SC分割圖像的實施例；
[0023] 圖11示出了包括NC的NC分割圖像的實施例。
【具體實施方式】
[0024] 首先應理解，盡管下文提供一項或多項實施例的說明性實施例，但所公開的系統(tǒng) 和/或方法可使用任何數目的技術來實施，無論該技術是當前已知還是現(xiàn)有的。本發(fā)明決不 應限于下文所說明的說明性實施例、附圖和技術，包括本文所說明并描述的示例性設計和 實施例，而是可在所附權利要求書的范圍W及其等效物的完整范圍內修改。
[0025] 下面的本發(fā)明使用了多個術語，在實施例中，運些術語解釋如下：片：帖中獨立編 碼/解碼的空間不同的區(qū)域;片頭:用于發(fā)送與特定片相關聯(lián)的信息的數據結構;編碼區(qū)塊： 帖中獨立編碼/解碼的不同空間的矩形區(qū)域，形成劃分整個圖像的運種區(qū)域的網格的一部 分；塊：樣本的MxN(Μ列乘WN行）陣列或變換系數的MxN陣列；最大編碼單元（largest coding unit,LCU)網格一一用于將像素塊劃分為用于視頻編碼的宏塊的網格結構;編碼單 元(coding unit,CU):亮度樣本編碼塊、具有Ξ個樣本陣列的圖像的兩個對應的色度樣本 編碼塊，或黑白圖像或使用Ξ個單獨色彩平面和語法結構進行編碼的圖像的樣本編碼塊， 其中色彩平面和語法結構用于對樣本進行編碼；圖像參數集（picture parameter set, PPS):包含適用于零個或多個整體編碼后的圖像的語法元素的語法結構，由在每個片斷頭 部中發(fā)現(xiàn)的語法元素確定。序列參數集（Sequence化rameter Set,SPS):包含適用于零個 或多個整體編碼后的視頻序列的語法元素的語法結構，由在PPS中發(fā)現(xiàn)的語法元素的內容 確定，PPS由在每個片斷頭部中發(fā)現(xiàn)的語法元素引用;預測單元(prediction unit,PU):亮 度樣本預測塊、具有Ξ個色度樣本陣列的圖像的兩個對應預測塊，或黑白圖像或使用Ξ個 單獨的色彩平面和語法結構進行編碼的圖像的樣本預測塊，其中色彩平面和語法結構用于 對預測塊樣本進行預測；補充增強信息（supplemental enhancement information，SEI): 可插入到視頻比特流中W增強視頻的使用的額外信息；亮度:指示圖像樣本的明亮度的信 息；色度：指示圖像樣本的顏色的信息，其可用紅色差色度分量(red difference chroma component,Cr)和藍色差色度分量（blue difference chroma component,化）來描述；QP: 包括指示樣本的量化的信息的參數，其中，量化表示將一系列值壓縮為單個值。
[0026] 發(fā)生混合內容視頻的一個可能場景是：應用在遠端服務器上運行，要向本地用戶 工作站轉發(fā)顯示輸出。另外一個示例性場景是:將智能手機或平板電腦屏幕復制到電視設 備的屏幕，W允許用戶在比移動設備屏幕更大的屏幕上觀看電影。運些場景需要高效傳輸 SC，即應當在遵守現(xiàn)有傳輸系統(tǒng)給定的數據速率限制的同時能夠呈現(xiàn)視覺質量足夠好的SC 信號。運個挑戰(zhàn)的示例性方案為:使用視頻編碼技術來壓縮SC，例如，通過使用像運動圖像 專家組（Moving Pictures E邱ert Group,MPEG)版本2(MPEG version two,MPEG-2)、MPEG 版本4(MPEG version four,MPEG-4)、高級視頻編碼(Advanced Video Coding，AVC)、高效 率視頻編碼化igh Efficien巧Video Coding,皿VC)等視頻編碼標準。開發(fā)皿VC的目的是 壓縮相機采集內容等NC，導致NC的壓縮性能較好而SC的壓縮性能較差。
[0027] 值得注意的是，除了其它屬性，NC和SC信號的特征在邊緣銳度、不同顏色的數量等 方面有顯著差異。因此，一些SC編碼(SC coding，SCC)方法可能在NC上表現(xiàn)不好，一些肥VC 編碼工具可能在SC上表現(xiàn)不好。例如，HEVC編碼器要么呈現(xiàn)SC的效果非常差，編碼失真嚴 重，例如文本模糊和邊緣模糊，要么W很高的比特率呈現(xiàn)SC視頻，使得SC的呈現(xiàn)質量高。在 使用SCC機制對整個帖進行編碼的情況下，運種機制在SC上表現(xiàn)良好，但在描述NC信號時表 現(xiàn)較差。運個挑戰(zhàn)的一個解決方案是:如果序列/圖像只包含SC或NC，則按序列和/或圖像層 級啟用或禁用SCC工具和/或常規(guī)編碼工具。然而，運種方法對包括自然和屏幕內容兩者的 混合內容不適用。
[0028] 本文公開的是用于改善屏幕內容和混合內容編碼W支持高效且質量穩(wěn)定地顯示 混合視頻內容的各種機制。將混合視頻內容分區(qū)為NC區(qū)域和SC區(qū)域。使用NC專用編碼工具 對NC區(qū)域進行編碼，使用SC專用編碼工具對SC區(qū)域進行編碼。此外，通過對不同區(qū)域采用不 同的QP，可低于SC區(qū)域的分辨率對NC區(qū)域進行編碼，便于減小文件大小而不會降低SC 區(qū)域的質量。將分區(qū)信息和編碼后的混合內容視頻一起發(fā)送給客戶端，使得客戶端分別對 每個區(qū)域進行解碼。編碼實體(例如服務器)也可指示客戶端為每個區(qū)域啟用/禁用編碼工 具，降低了在解碼時的處理要求(例如，在不需要時可關閉不需要用的編碼工具）。在替代實 施例中，將每個區(qū)域(例如NC區(qū)域或SC區(qū)域)編碼在視頻流的不同比特流/子流中。然后，客 戶端可對每個比特流進行編碼，并組合區(qū)域W創(chuàng)建NC和SC內容的合成圖像。
[0029] 圖1示出了包括SC 120和NC 110的混合內容視頻100的實施例。視頻序列為組成視 頻流的時間部分的多個相關圖像。圖像還可指帖或圖片?；旌蟽热菀曨l100示出了視頻序列 中的單個圖像。SC 120為SC的示例，SC是作為計算機程序或應用的界面而生成的視覺輸出。 例如，sc可包括web瀏覽器窗口、文本編輯界面、郵件程序界面、圖表、圖等等。sc通常包括銳 化邊緣和相對少的通常選擇用來對比的顏色。NC 110為NC的一個示例。NC是視頻記錄設備 采集的視覺輸出或生成的用來模擬采集的視頻的計算機圖形。例如，NC包括諸如體育比賽、 電影、電視內容、網絡視頻等真實世界圖像。NC還包括計算機圖像影像(computer graphi CS imagery，CGI)，用于模擬諸如視頻比賽輸出、基于CGI的電影等真實世界影像。因為NC顯示 或模擬真實世界圖像，所WNC包括模糊邊緣和相對較多的顏色，相鄰顏色有細微改變?？煽?出的是，混合內容視頻100,在視頻100上普遍使用設計用于NC的編碼工具會導致SC 120的 性能較差。此外，在混合內容視頻100上普遍使用設計用于SC的編碼工具會導致NC 110的性 能較差。應注意，如本文使用的術語編碼工具包括用于對內容進行編碼的編碼工具和用于 對內容進行解碼的解碼工具兩者。
[0030] 圖2為網絡200的實施例的示意圖，網絡200用于編碼和發(fā)送混合內容視頻，例如， 混合內容視頻100。網絡200包括視頻源221、服務器211和客戶端201。視頻源221生成NC和SC 兩者，并將它們轉發(fā)給服務器211進行編碼。在替代實施例中，視頻源221可包括多個節(jié)點， 運些節(jié)點可不直接連接。在另一替代實施例中，視頻源221與服務器211可位于相同位置。例 如，視頻源221可包括：用于記錄和流式傳輸實時視頻的視頻相機，W及用于流式傳輸與記 錄的視頻相關聯(lián)的演示幻燈片的計算機。作為另一實施例，視頻源221可W是用于將附接顯 示器的內容轉發(fā)給服務器211的計算機、手機、平板電腦等。不管在哪一個實施例，都會將SC 內容和NC內容轉發(fā)給服務器211進行編碼并分發(fā)給客戶端201。
[0031] 服務器211可為用于如本文所述的混合視頻內容的任何設備。作為非限制性示例， 服務器211可位于如圖2所示的云網絡中，可作為專用服務器位于家庭/辦公室中，或可包括 視頻源221。不管在哪一個實施例中，服務器211都會接收混合內容視頻，將視頻的帖和/或 帖的子部分分區(qū)為一個或多個SC區(qū)域和一個或多個NC區(qū)域。服務器211通過對SC區(qū)域使用 SC編碼工具和對NC區(qū)域使用NC工具來分別對SC區(qū)域和NC區(qū)域進行編碼。此外，可分別修改 SC區(qū)域和NC區(qū)域的分辨率W優(yōu)化視頻的文件大小和分辨率質量。例如，在文件大小上，壓縮 NC比壓縮SC的效果好，因為NC視頻通常比SC視頻復雜的多。因此，可大幅度壓縮NC視頻而不 大幅度壓縮SC視頻，運可減少文件大小而不過分降低SC視頻的質量。服務器211用于向客戶 端201傳輸編碼后的混合視頻內容。在一項實施例中，視頻內容可作為帖的比特流傳輸，每 個帖包括SC編碼區(qū)域和NC編碼區(qū)域。在另一項實施例中，將SC區(qū)域編碼在SC子流中，將NC區(qū) 域編碼在NC子流中。然后，將子流傳輸給客戶端201W組合成合成圖像。在任一實施例中，月良 務器211用于向客戶端201傳輸數據W幫助客戶端201對混合視頻內容進行解碼。傳輸給客 戶端201的數據包括指示每個SC和NC區(qū)域的邊界的分區(qū)信息。該數據還可包括每個區(qū)域要 啟用或禁用的編碼工具的隱式或顯式指示。該數據還可包括每個區(qū)域的QP，其中，QP描述每 個區(qū)域的壓縮。
[0032] 客戶端201可是用于接收和解碼混合內容視頻的任何設備?？蛻舳?01還可用于顯 示解碼后的內容。例如，客戶端201可是連接到電視的機頂盒、計算機、手機、平板電腦等?？?戶端201接收編碼后的混合視頻內容，基于從服務器接收到的數據(例如，分區(qū)信息、編碼工 具信息、QP等）對混合視頻內容進行解碼，并轉發(fā)解碼后的混合視頻內容W向終端用戶顯 示。根據實施例，客戶端201基于分區(qū)信息對每個帖的每個區(qū)域進行解碼，或基于分區(qū)信息 對各個子流進行解碼并將來自各個子流的區(qū)域組成合成圖像。
[0033] 通過將混合內容視頻分區(qū)為SC區(qū)域和NC區(qū)域，可W通過給關聯(lián)區(qū)域使用最合適的 機制來單獨對各個區(qū)域進行編碼。運種分區(qū)解決了同一圖像中的NC區(qū)域和SC區(qū)域的圖像處 理要求不同的問題。分區(qū)和單獨處理每個區(qū)域緩解了對使用非常復雜的編碼系統(tǒng)來同時處 理NC和SC圖像數據的需求。存在多種機制來劃分區(qū)域、傳輸分區(qū)數據、啟用/禁用編碼工具， 指示量化和向客戶端201轉發(fā)編碼后的混合視頻內容，運在下文中有更詳細的論述。
[0034] 圖3是肥300的實施例的示意圖，肥300在網絡中作為節(jié)點，諸如服務器211、客戶 端201和/或視頻源221，并用于對混合內容視頻100等混合內容視頻進行編碼和/或解碼。肥 300可在單個節(jié)點中實現(xiàn)，或者肥300的功能可在網絡中的多個節(jié)點實現(xiàn)。本領域技術人員 將認識到，術語肥包括各種設備，其中肥300僅僅是一個示例。包括肥300是為了論述清 楚，而絕非意在將本發(fā)明的應用限制為特定肥實施例或一類肥實施例。至少一些在本發(fā)明 中描述的特征/方法可在肥300等網絡裝置或組件中實現(xiàn)。例如，本發(fā)明中的特征/方法可 使用硬件、固件和/或安裝W在硬件上運行的軟件來實現(xiàn)。肥300可為通過網絡傳送的帖的 任何設備，例如交換機、路由器、網橋、服務器、客戶端、視頻采集設備等。如圖3所示，肥300 可W包括收發(fā)器(Tx/Rx)310,其可W是發(fā)射器、接收器或它們的組合。Tx/Rx 310可禪合到 多個下行端口320(例如，下行接口）W傳輸和/或接收來自其它節(jié)點的帖，并且Tx/Rx 310可 禪合到多個上行端口 350 (例如，上行接口）W傳輸和/或接收來自其它節(jié)點的帖。處理器330 可禪合到Tx/Rx31〇W處理帖和/或確定向哪些節(jié)點發(fā)送帖。處理器330可包括一個或多個多 核處理器和/或存儲設備332,其可充當數據存儲、緩沖區(qū)等。處理器330可實現(xiàn)為通用處理 器，或可為一個或多個專用集成電路(a卵lication specific integrated circuit,ASIC) 和/或數字信號處理器(digital si即al processor,DSP)的一部分。處理器330可包括混合 內容編碼模塊334，其可根據實施例執(zhí)行方法400、500、600和/或700。在一項實施例中，混合 內容編碼模塊334對SC和NC區(qū)域進行分區(qū)，基于分區(qū)對混合內容視頻進行編碼，將分區(qū)信 息、編碼工具信息、量化信息和/或編碼后的視頻發(fā)送給客戶端。在另一項實施例中，混合內 容編碼模塊334基于分區(qū)和從服務器接收到的相關信息接收和解碼混合視頻內容。在一項 替代實施例中，混合內容編碼模塊334可實現(xiàn)為存儲在存儲器332的指令，例如，其可作為計 算機程序產品由處理器330來執(zhí)行。在另一替代實施例中，混合內容編碼模塊334可在單獨 的肥上實現(xiàn)。下行端口 320和/或上行端口 350可包含電和/或光傳輸和/或接收部件。
[0035] 可理解，通過將可執(zhí)行指令編程和/或加載到肥300中，處理器330、混合內容編碼 模塊334、下行端口 320、Tx/Rx 310、存儲器332和/或上行端口 350中的至少一個會發(fā)生改 變，將NE 300部分轉換為具有本發(fā)明所提出的新穎功能的特定機器或裝置，例如，多核轉發(fā) 架構。對電子工程和軟件工程領域來說，通過將可執(zhí)行軟件加載到計算機而可實現(xiàn)的功能 可通過公知的設計規(guī)則轉換為硬件實現(xiàn)是基本的。決定使用軟件還是硬件來實施一個概念 通常取決于設計穩(wěn)定性及要生產的單元數量而不是取決于軟件領域轉換至硬件領域中所 設及的任何問題。通常，還會經常變化的設計可優(yōu)選在軟件中實現(xiàn)，因為硬件實現(xiàn)的重制比 軟件設計的重制更昂貴。通常，穩(wěn)定的及會大量生產的設計可優(yōu)選在在ASIC運樣的中硬件 中實現(xiàn)，因為通過硬件實現(xiàn)大量生產要比軟件實現(xiàn)便宜。設計可能經常W軟件形式進行開 發(fā)與測試，隨后通過該領域熟知的設計規(guī)則轉換為對軟件的指令進行硬連線的專用集成電 路中的等效硬件實現(xiàn)。由新的ASIC控制的機器是特定機器或裝置，同樣地，編程過的電腦 和/或加載了可執(zhí)行指令的計算機也可視為特定機器或裝置。
[0036] 圖4是編碼和傳輸混合內容視頻100等混合內容視頻的方法400的實施例的流程 圖。方法400可由服務器211和/或肥300等網絡設備來實現(xiàn)，并可開始于從接收要編碼為混 合內容視頻的視頻內容。例如，在步驟401中，從視頻源221接收包括NC和SC的混合內容視頻 信號。在步驟403中，將視頻分區(qū)為NC區(qū)域和SC區(qū)域。可基于從NC視頻圖像的視頻信號源接 收到的數據和/或基于從創(chuàng)建SC圖像的處理器接收到的數據作出分區(qū)決定，運些數據指示 NC和SC在帖內的位置。在替代實施例中，方法400在分區(qū)前可檢查帖W確定SC和NC位置。
[0037] 可W使用多個機制來對NC區(qū)域和SC區(qū)域進行分區(qū)。例如，可將區(qū)域分區(qū)成方形區(qū) 域或矩形區(qū)域。在一項實施例中，使用像素坐標來描述分區(qū)的邊界。作為示例，坐標可通過 NC區(qū)域、SC區(qū)域或兩者的左上角和右下角位置的水平和垂直分量來表示。在其它示例中，坐 標通過NC區(qū)域、SC區(qū)域或兩者的左下角和右上角位置的水平和垂直分量來表示。在另一項 實施例中，每個圖像被量化為網格，其中兩個點之間的最小距離大于完整像素距離，諸如對 應于HEVC宏塊的LCU網格或用于預測性編碼的CU網格。然后使用網格坐標來描述分區(qū)的邊 界。坐標可通過NC區(qū)域、SC區(qū)域或兩者的左上角和右下角位置的水平和垂直分量來表示。作 為其它示例，坐標也可通過NC區(qū)域、SC區(qū)域或兩者的左下角和右上角位置的水平和垂直分 量來表示不同的分區(qū)可能性由信令開銷與區(qū)域邊界的精度之間的平衡點決定。如果使用了 準確的坐標來描述區(qū)域的大小，則可在圖像中SC結束W及NC開始的位置準確地設置分區(qū)的 邊界。但是，考慮到編碼工具可能按塊操作，所W分區(qū)可應用于使分區(qū)邊界與相關編碼工具 使用的塊大小相匹配。如果區(qū)域的邊界僅可在一個較大的網格上表示，例如為LCU或CU大小 的幾倍，那么SC區(qū)域在區(qū)域邊界處可包含NC的一些行和/或列，反之亦然。另一方面，網格較 大會引入更少的信令開銷。
[0038] 作為另一示例，可將運些區(qū)域分區(qū)為任意形狀的區(qū)域。如果區(qū)域具有任意的形狀， 那么它們可更好地適應帖的內容。然而，任意形狀作為語法元素的描述比矩形或正方形形 狀的區(qū)域需要更多的數據。在采用任意形狀的區(qū)域時，可W將運些區(qū)域映射到正方形或矩 形網格。運種映射可支持使用基于塊的編碼工具。如果NC和/或SC區(qū)域在諸如LCU網格等網 格上表示，那么，當LCU的某些子CU屬于SC區(qū)域而同一LCU的其它子CU屬于NC區(qū)域時，也可應 用運一映射過程。例如，當塊的至少一個樣本包括N別寸、當塊的所有樣本都包括N別寸，或當 塊中NC樣本與SC樣本的比率比超過預定闊值(例如百分之屯十五，百分之五十，百分之二十 五等)時，塊可理解為被映射的NC區(qū)域的一部分。在其它示例中，當塊的至少一個樣本包含 S別寸、當塊的所有樣本都包括S別寸，或當在塊中SC樣本與NC樣本的比率超過預定闊值(例如 百分之屯十五，百分之五十，百分之二十五，等）時，塊可理解為被映射的SC區(qū)域的一部分。 此外，可使用小型塊，例如4X4塊，和/或細的基于非像素的網格，W更好地適應區(qū)域邊界， W便減少不正確地映射到NC或SC區(qū)域的樣本的數目。
[0039] 分區(qū)還可跨越多個帖使用。例如，分區(qū)可在序列的編碼開始時創(chuàng)建，并對整個序列 保持有效而不改變。分區(qū)還可在序列的編碼開始時創(chuàng)建并保持有效，直到需要新分區(qū)，例 如，由于事件(例如，調整混合視頻內容的窗口大?。?、時間到期和/或在編碼完預定數量的 帖后。分區(qū)實施例的實施是基于效率與復雜度之間的平衡。最有效的分區(qū)方案可能設及在 同一時間將每個整帖分區(qū)。將分區(qū)限制在每個帖的小區(qū)域可允許提升編碼并行化。
[0040] 在步驟405中，基于分區(qū)使用NC工具對NC區(qū)域進行編碼。在步驟407中，基于分區(qū)使 用SC工具對SC區(qū)域進行編碼。有些NC工具可能對SC區(qū)域無益，有些SC工具可能對NC區(qū)域無 益。因此，基于不同編碼工具分別對NC區(qū)域和sc區(qū)域進行編碼。此外，大多數sc區(qū)域可W非 常有效地進行編碼，但描述NC區(qū)域需要的比特率可能要高得多。為了符合相關傳輸或存儲 系統(tǒng)的數據速率要求，可能需要減少混合視頻內容比特流的數據速率?？紤]到人在SC和NC 編碼誤差的認知上的視覺感知系統(tǒng)的特性，在編碼期間降低數據速率可分別應用于NC和SC 區(qū)域。例如，微小的質量下降在SC區(qū)域可能感知得到，但在NC區(qū)域卻感知不到。因此，可通過 對不同區(qū)域使用不同質量的表示來對圖像的NC和SC區(qū)域進行編碼。在一項實施例中，NC和 SC區(qū)域可使用不同的QP。作為一個具體示例，NC區(qū)域使用的QP可比SC區(qū)域的高，導致NC區(qū)域 的量化比SC區(qū)域的粗糖。由于NC區(qū)域中的大量顏色和陰影，NC區(qū)域可負責混合內容視頻的 總數據速率的主要部分。運樣，NC區(qū)域使用較高的QP而SC區(qū)域使用較低的QP可顯著降低混 合內容視頻的總數據速率，同時保持SC區(qū)域中的高視覺質量和NC區(qū)域中的合理的高感知視 覺質量。還可應用其它機制來實現(xiàn)NC和SC區(qū)域的不同質量的表示。例如，每個NC和/或SC區(qū) 域可使用不同的QP值，而不是所有NC區(qū)域使用一個QP值，所有SC區(qū)域使用一個QP值。此外， SC和/或NC區(qū)域的每個色度分量可使用不同的QP偏移。
[0041] 在步驟409中，將編碼后的混合內容視頻、分區(qū)信息、編碼工具信息和量化信息傳 輸給客戶端W進行解碼。存在用于發(fā)送分區(qū)信息的多個實施例。例如，SC區(qū)域分區(qū)、NC區(qū)域 分區(qū)或兩者可作為比特流的一部分與編碼后的混合視頻內容一起傳輸。對于每個圖片/圖 像、序列的每個片、序列的每個編碼區(qū)塊、序列的每個塊(例如，每個LCU或CU)和/或每個任 意形狀的區(qū)域，無論何時分區(qū)發(fā)生變化，分區(qū)信息都可在序列的開始處發(fā)送。一旦確定了 SC 區(qū)域和NC區(qū)域，它們就可作為編碼后的混合內容視頻比特流的一部分發(fā)送。在各種實施例 中，分區(qū)信息、編碼工具信息和/或量化信息可作為視頻圖像參數集(picture parameter set, PPS)、序列參數集（sequence parameter set, SPS)、片頭、CU層信息、預測單元 (prediction unit,PU)層信息、編碼樹單元（coding tree unit,TU)層信息的一部分發(fā)送 和/或在補充增強信息（supplement! enhancement information,沈I)消息中發(fā)送。還可 使用其它分區(qū)形式，例如通過角位置與區(qū)域的寬度和高度一起指定NC和/或SC的角。使用前 一圖像的NC和/或SC區(qū)域來預測后續(xù)圖像的NC和/或SC區(qū)域可減少信令開銷。例如，所有的 NC和/或SC區(qū)域可從先前的圖像復制；可顯式地發(fā)送一些NC和/或SC區(qū)域，同時從先前的圖 像復制一些NC和/或SC區(qū)域;或可發(fā)送前一圖像的NC和/或SC區(qū)域與當前圖像的NC和/或SC 區(qū)域之間的相對變化(例如，當NC和/或SC區(qū)域的位置和/或大小發(fā)生變化）。
[0042] 在一些實施例中，客戶端可基于分區(qū)信息隱式地確定使用哪些編碼工具(例如，用 于SC區(qū)域的SC工具和用于NC區(qū)域的NC工具）。在另一項實施例中，使用編碼工具信息的信令 來在客戶端禁用和/或啟用NC區(qū)域和/或SC區(qū)域的編碼工具。在某些情況下，啟用或禁用編 碼工具的決定可不僅僅基于圖像的樣本是屬于NC區(qū)域還是SC區(qū)域運一判定。例如，當NC和/ 或SC區(qū)域是任意形狀時，啟用/禁用編碼工具的信令可有益。當應用于任意形狀的區(qū)域時， 基于塊的編碼工具可應用于區(qū)域邊界的兩側，使得工具為NC和SC所用?？蛻舳丝赡軟]有足 夠的信息來確定區(qū)域是使用SC編碼工具還是NC編碼工具。因此，區(qū)域要啟用/禁用的編碼工 具可由客戶端顯式地發(fā)送或隱式地確定。然后，客戶端可基于編碼工具信息和/或基于分區(qū) 信息來啟用或禁用區(qū)域的編碼工具。作為另一示例，當禁用了圖像的特定區(qū)域的特定編碼 工具時，降低了編碼步驟405和/或407處的復雜度。降低編碼步驟的復雜度可降低成本、功 耗和延遲，有益于編碼器(例如服務器）的其它屬性。例如，可通過限制不利于特定SC和/或 NC區(qū)域的特定內容的模式決策過程和速率失真優(yōu)化來降低編碼復雜度，運可能需要信令。 此外，一些模式決策過程和速率失真優(yōu)化可能從來都不利于特定類型的內容，并且可隱式 地確定或可發(fā)送。例如，可禁用所有SC區(qū)域的變換編碼方法并可禁用所有NC區(qū)域的調色板 編碼方法。作為另一個示例，可向NC區(qū)域和/或SC區(qū)域發(fā)送不同的色度采樣格式。
[0043] 還可采用與發(fā)送分區(qū)信息和/或編碼工具信息大體上類似的方式來向客戶端發(fā)送 量化信息。例如，NC和/或SC區(qū)域的不同QP值可隱式地推斷或作為混合內容視頻比特流的一 部分發(fā)送。SC和/或NC區(qū)域的QP值可作為PPS、SPS、片頭、CU層信息、PU層信息、TU層信息的一 部分發(fā)送和/或作為SEI消息發(fā)送。
[0044] 通過傳輸如本文所述的編碼后的混合內容視頻、分區(qū)信息、編碼工具信息和量化 信息，方法400可在編碼時分別處理每個SC區(qū)域和NC區(qū)域，W創(chuàng)建高效編碼后的混合視頻內 容比特流，該混合視頻內容比特流可由客戶端設備進行解碼。
[0045] 應注意，描述方法400的步驟是為了簡化論述。然而，應理解，可W在連續(xù)的循環(huán)中 執(zhí)行方法400來對作為視頻序列一部分的多個圖像進行編碼。此外，方法400的步驟可W不 按順序執(zhí)行，取決于實施例。例如，為了帖的精細分區(qū)，步驟403可在一個循環(huán)中多次執(zhí)行； 當對多個帖采用分區(qū)時，步驟403可在多個循環(huán)中執(zhí)行一次。此外，步驟405和407可按順序 執(zhí)行或并行執(zhí)行。此外，傳輸步驟409可在所有的編碼完成后開始或與方法400的其它步驟 并行開始，運取決于實施例。因此，圖4所描述的方法400的順序應視為說明性的而非限制性 的。
[0046] 圖5是在多個專用子流中編碼和發(fā)送混合內容視頻100等混合內容視頻的方法500 的實施例的流程圖。方法500可由服務器211等服務器使用，并且與方法400基本上類似（因 此在相似的條件下實現(xiàn)），但混合內容視頻圖像的每個區(qū)域使用了專用的比特流。運種比特 流在本文中稱為子流。在步驟501中，采用與步驟401基本上類似的方式來接收混合內容視 頻。在步驟503中，將視頻圖像分區(qū)為包含NC區(qū)域的NC圖像和包含SC區(qū)域的SC圖像。例如，采 用與步驟403基本上類似的方式將每個圖像分區(qū)為NC區(qū)域和SC區(qū)域。每個NC區(qū)域分割為NC 圖像，每個SC區(qū)域分割為SC圖像。在步驟505中，使用NC編碼工具將NC圖像編碼為一個或多 個NC子流。在步驟507中，使用SC編碼工具將SC圖像編碼為一個或多個SC子流。在步驟509 中，將NC子流和SC子流傳輸給客戶端，例如客戶端201，W采用與步驟409類似的方式將子流 和子流的分區(qū)信息、編碼工具信息和量化信息一起進行解碼。
[0047] 與方法400-樣，方法500可部署在多個實施例中。例如，單個NC子流可用于所有NC 區(qū)域，而單個SC子流可用于所有SC區(qū)域。另外，可將NC區(qū)域和/或SC區(qū)域中的每一個進一步 細分，使得每個子區(qū)域被分配給單獨的子流。此外，例如通過基于量化、使用的編碼工具等 將運些子區(qū)域分組，某些子區(qū)域可在子流中組合，而其它子區(qū)域被分配給專用的子流。通過 將每個混合內容圖像分割為多個圖像，每個分割后的圖像可分別編碼，然后發(fā)送到客戶端， W組合成合成圖像。
[0048] 在一項實施例中，在步驟505和/或507中，可對每個子流進行編碼，W具有不同的 分辨率。例如，子流的分辨率可分別對應于相應的NC和SC區(qū)域的大小?？墒褂米恿骱?或掩 碼的分辨率來定義子流應如何在解碼器處合成W產生輸出。在步驟509中，可例如通過使用 MPEG-4場景的二進制格式(MPEG-4Bina巧化rmat for Scenes，BIFS)和/或MPEG輕量級應 用場景表示（MPEG Li曲twei曲t A卵lication Scene Representation，LASeR)等協(xié)議將分 辨率和/或掩碼作為分區(qū)信息來傳輸。在另一項實施例中，所有的子流可采用相同的分辨 率，運可使子流在客戶端/解碼器處的組合更容易。在運種情況下，可通過應用指示哪些區(qū) 域應從哪個子流中提取的掩碼來組合子流。區(qū)域提取后可進行區(qū)域的合成W得到最終圖 像。
[0049] 在將多個區(qū)域編碼為多個子流的實施例中，某些區(qū)域可能不是一直包括圖像內 容，例如，當在混合內容視頻序列期間調整窗口大小、關閉窗口時。在運種情況下，相關的子 流可能不是一直攜帶圖像數據。為了確保適當的解碼，可分配和/或發(fā)送定義的值/默認值 來幫助解碼器將子流組合成正確的合成圖像。例如，當子流不包括映射內容時，在步驟505 和/或507中，可給相關樣本分配固定值(例如0)，其可代表統(tǒng)一的顏色(例如綠色）。在解碼 期間，可使用固定值/顏色作為掩碼信息。
[0050] 作為另一項實施例，在編碼步驟505和/或507期間，可將具有映射內容的區(qū)域擴展 到無映射內容的區(qū)域。例如，當子流中區(qū)域的大小和/或位置未與相關聯(lián)的編碼系統(tǒng)的CU或 塊網格對齊的時候，可采用運一實施例。因此，為便于解碼，運些區(qū)域可W擴展到相關聯(lián)的 網格。此外，當內容區(qū)域是非矩形的，可將內容區(qū)域擴展為矩形形狀的區(qū)域。擴展可設及復 制有映射內容的區(qū)域的邊緣樣本和/或基于有映射內容區(qū)域的樣本的插值。還可使用定向 擴張方法。例如，可應用皿VC帖內預測方法來將具有映射內容的區(qū)域擴展到沒有映射內容 的區(qū)域。
[0051] 應注意，NC區(qū)域可包括先前編碼的內容，如已通過其它視頻編碼標準壓縮的已接 收內容。例如，NC區(qū)域的第一部分可包括第一軟件窗口中的壓縮視頻，而壓縮圖像(例如，聯(lián) 合圖像專家組(陸otogra地ic E邱erts Group,肝EG))可W第二窗口中顯示。對先前已編碼 的內容進行再編碼可能會導致負效率W及數據丟失增加。因此，包含先前已編碼材料的區(qū) 域可將原始壓縮比特流用于與運些區(qū)域相關聯(lián)的子流。
[0052] 圖6是對混合內容視頻100等混合內容視頻進行解碼的方法600的實施例的流程 圖。方法600可由客戶端201等客戶端使用，并且在(例從如服務器211)接收到編碼后的混合 內容視頻時開始。在步驟601中，從例如服務器211接收編碼后的混合內容視頻、分區(qū)信息、 編碼工具信息和/或量化信息作為步驟409或509的結果。在步驟603中，基于分區(qū)信息指示 的邊界通過使用編碼工具信息指示的SC編碼工具W及基于SC區(qū)域的量化信息對SC區(qū)域進 行解碼。例如，可通過在步驟601中接收的分區(qū)信息確定每個區(qū)域的位置和大小。可通過顯 式編碼工具信息確定或基于分區(qū)信息隱式地確定要啟用和/或禁用的編碼工具。然后，可基 于SC區(qū)域的位置/大小(例如，分區(qū)邊界）W及基于在步驟601中接收到的任何量化/QP值通 過將所確定/發(fā)送的編碼工具應用于SC區(qū)域來對SC區(qū)域進行解碼。在步驟605中，基于分區(qū) 信息指示的邊界通過使用編碼工具信息指示的NC編碼(NC coding,NCC)工具W及基于NC區(qū) 域的量化信息，采用與步驟603基本上類似的方式對NC區(qū)域進行解碼。在SC區(qū)域和NC區(qū)域在 多個專用子流中接收的實施例中，步驟603和605還包括:基于分區(qū)信息將每個圖像的解碼 后區(qū)域組合成合成圖像。在步驟607中，向顯示器轉發(fā)解碼后的混合視頻內容。與方法400和 500-樣，方法600的步驟可不按順序執(zhí)行和/或根據需要并行執(zhí)行來對所接收的視頻進行 解碼。
[0053] 為了進一步闡明方法400、500和600中的分區(qū)信息信令、編碼工具信令和/或量化 信令，應注意，例如，基于解碼器處的信令、信號分析等，解碼器(例如，客戶端201)可知曉信 號中的不同內容類型（例如，NC和/或sc)和圖像中NC和/或sc區(qū)域的位置。要在解碼器處啟 用/禁用的編碼工具是基于顯式信令或隱式地基于指示SC區(qū)域和NC區(qū)域的分區(qū)信息。當編 碼工具被禁用時，解碼器可能不會在與相關聯(lián)的比特流和/或子流中得到與被禁用的編碼 工具相關聯(lián)的語法元素。例如，解碼器可能會禁用SC區(qū)域內的塊的變換編碼。具體地， transfo;rm_skip_f lag[xO] [yO] kick]可能不會存在于相關聯(lián)的比特流中，但對區(qū)域內的 一些或所有顏色分量來說，可由解碼器推斷為1。陣列索引x〇，y〇指定考慮的變換塊的左上 角亮度樣本相對于圖像的左上角亮度樣本的位置(x〇，y〇)。陣列索引cldx指定顏色分量的 指標，例如，對于亮度等于0,對于化等于1，對于Cr等于2。解碼器還可使用與NC和SC區(qū)域相 關聯(lián)的不同色度采樣格式。色度采樣格式使用符號J:a:b，其中J指示采樣區(qū)域(例如，在像 素、網格坐標中等等)的寬度，a指示采樣區(qū)域的第一行中色度樣本的數目，b指示J的第一行 和J的第二行之間的色度樣本的變化次數。4:2:0采樣格式可足W滿足人類視覺感知系統(tǒng)對 NC的需求和能力，而4:4:4采樣格式可用于SC。在一項實施例中，4:4:4采樣格式可用于圖像 的SC區(qū)域，4:2:0采樣格式可用于圖像的NC區(qū)域。色度采樣格式可由解碼器基于分區(qū)信息隱 式地確定，或者可作為一種編碼工具信息來接收。運種色度采樣格式信息可作為PPS、SPS、 片頭、CU層信息、PU層信息、TU層信息的一部分發(fā)送和/或在SEI消息中發(fā)送。
[0化4]圖7是QP管理方法的實施例的示意圖700,其可與方法400、500和/或600-起使用。 如上所述，對于NC和/或SC區(qū)域，可發(fā)送不同的QP值作為量化信息。解碼器可從左到右(或反 之似及從上到下(或反之閑圖像進行解碼。因為SC區(qū)域可包圍NC區(qū)域(或反之），所W客戶 端201等解碼器在區(qū)域間移動時可能需要反復改變QP值。例如，在步驟603和605中，在區(qū)域 之間移動時，可通過重新建立先前使用的QP值來改進解碼。圖700包含內容711(例如NC內 容)和內容713(例如SC內容）。內容711和713需要不同的QP值W進行適當的解碼。解碼時，解 碼器可首先對前一區(qū)域701進行解碼，接著是當前區(qū)域703,然后是下一區(qū)域705。一旦完成 對前一區(qū)域701的解碼，可存儲前一區(qū)域701的QP值作為下一區(qū)域705的QP值的預測值，因為 區(qū)域701和705都包括同一內容區(qū)域中的內容713。然后，在當前區(qū)域的解碼期間，可使用當 前區(qū)域703的QP值。在當前區(qū)域703完成時，解碼器可重新建立在前一量化組/內容區(qū)域(按 解碼順序）中使用的最后一個QP值(例如，前一區(qū)域701的)作為下一個量化組/內容區(qū)域(按 解碼順序）中的QP值的預測值。此外，還可在對下一區(qū)域705進行解碼之前存儲當前區(qū)域703 的QP值，運可允許在解碼器返回到內容711時重新建立當前區(qū)域703的QP值。通過重新建立 內容區(qū)域之間的QP值，解碼器在內容區(qū)域之間移動時可在QP值之間進行切換。
[0055]如上文所述，可使用多個機制來發(fā)送和/或推斷分區(qū)信息和量化信息。本文公開了 可用于發(fā)送運類信息的具體示例性實施例。表1描述了可用于通過由D.Flynn等人起草的 肥VC范圍擴展文本規(guī)范：草案6(皿VC Range Extensions text specification:化aft 6) 在片頭中發(fā)送與NC區(qū)域相關的分區(qū)信息的具體源代碼，該規(guī)范W引入的方式并入本文本 中。
[0化引 表1
[0化9] 如表1所示，nc_areas_enabletflag可設置為等于1指為片啟用了發(fā)送NC區(qū)域， nc_areas_enabled_f lag可設置為等于0，指沒有為片發(fā)送NC區(qū)域。numbe;r_nc_areas_ minusl加1可指為片發(fā)送的NC區(qū)域的數目。nc_area_left_list_entry[i]可指第i個NC區(qū)域 的左上角像素的水平位置。nc_areas_top_list_entry[i]可指第i個NC區(qū)域的左上角像素 的垂直位置。nc_area_width_list_en1:ry[i]可指第i個NC區(qū)域的寬度。nc_area_hei曲t_ list_entry[i]可指第i個NC區(qū)域的高度。
[0060] 表2描述了可用于通過皿VC范圍擴展文本規(guī)范:草案6(皿VC Range Extensions text specification:化aft 6)在片頭發(fā)送與SC區(qū)域相關的分區(qū)信息的具體源代碼。
[0061]

[0063] 表 2
[0064] 如表2所示，sc_areas_enabled_flag可設置為等于1，指為片啟用了發(fā)送SC區(qū)域。 sc_areas_enabled_f lag可設置為等于0，指沒有為片發(fā)送SC區(qū)域。numbe;r_sc_areas_ minusl加1可指為片發(fā)送的SC區(qū)域的數目。sc_area_left_list_entry[i]可指第i個SC區(qū)域 的左上角像素的水平位置。sc_areas_top_list_entry[i]可定第i個SC區(qū)域的左上角像素 的垂直位置。sc_area_width_list_en1:ry[i]可指第i個SC區(qū)域的寬度。sc_area_hei曲t_ list_entry[i]可指第i個SC區(qū)域的高度。
[00化]表3描述了可用于通過皿VC范圍擴展文本規(guī)范：草案6(皿VC Range Extensions textspecification:化aft6)將與NC/SC區(qū)域相關的分區(qū)信息作為CU語法的一部分來發(fā) 送的具體源代碼。
[0066]
[0067]表 3
[006引如表3所示，cu_nc_area_f lag可設置為等于1，指當前CU屬于NC區(qū)域。州_nc_area_ flag可設置為等于0,指當前CU屬于SC區(qū)域。
[0069] 表4描述了可用于通過皿VC范圍擴展文本規(guī)范:草案6(皿VC Range Extensions text specification:化aft 6)將與NC/SC區(qū)域相關的QP信息作為PPS的一部分來發(fā)送的具 體源代碼。
[0072] 表 4
[0073] 如表4所示，pps_nc_qp_offset可指定用于推導NC區(qū)域的量化參數的偏移值。片的 初始NC區(qū)域QP值SliceNcQpY按如下推導：SliceNc如Y = 26+init_qp_minus26+slice_qp_ de 11:a+pps_nc_qp_of fset。也可使用類似的過程來指定SC片的QP值。
[0074] 表5描述了可結合皿VC范圍擴展文本規(guī)范：草案6(肥VC Range Extensions text specification:化aft 6)使用的量化參數的推導過程。
[0077] 表 5
[0078] 應注意，在表1至表5中使用了具體的參數/功能，為了清楚和簡潔起見，其中一些 參數/功能在此不再重復。不過，運類參數/功能在皿VC范圍擴展文本規(guī)范：草案6(皿VC Range Extensions text specification:draft 6)中有進一步論述。
[0079] 圖8示出了包括SC 820和NC 810的另一示例性混合內容視頻800。混合內容視頻 800可基本上類似于混合視頻內容100,是作為可通過使用本文所述的機制根據方法400、 500和/或600進行編碼/解碼的視頻圖像的具體示例而示出。例如，混合內容視頻800可在步 驟401或501中接收，并在步驟403或503中分區(qū)。SC 820和NC 810可基本上類似于SC 120和 NC 110。
[0080] 圖9為與混合內容視頻800相關聯(lián)的分區(qū)信息900的示意圖。在分區(qū)后，混合內容視 頻800包括NC區(qū)域910和SC區(qū)域920。如圖8至圖9所示，NC區(qū)域910是準確描述NC 810的多邊 形非矩形區(qū)域，sc區(qū)域920是準確描述的sc 820的多邊形非矩形區(qū)域。可認為NC區(qū)域910和 SC區(qū)域920是任意的。因此，如上所述，區(qū)域910和920可被編碼為任意區(qū)域、映射到網格和/ 或細分為額外的子區(qū)域(例如，多個矩形區(qū)域）。例如，在步驟409和/或509中，向客戶端(例 如，客戶端201)發(fā)送包括NC區(qū)域910和SC區(qū)域920的分區(qū)信息900 W支持解碼，在步驟601中， 客戶端接收分區(qū)信息900?；诜謪^(qū)信息900,客戶端可W對混合內容視頻800進行解碼。 [0081 ]圖10示出了包括SC 1020的SC分割圖像1000的實施例，SC 1020可為基于分區(qū)信息 900的SC區(qū)域920的混合視頻內容800的SC 820等。SC分割圖像1000可通過步驟503和507創(chuàng) 建。SC分割圖像1000僅包括編碼后的SC 820,而NC 810替換為掩碼1010,掩碼1010可包括固 定值(例如0)、固定顏色(例如綠色)或其它掩碼數據。因此，將掩碼1010應用于SCW外的NC， W允許將SC編碼到SC分割圖像1000中。一旦被編碼，可在SC子流中將SC分割圖像1000傳輸 給解碼器(例如，客戶端201)。
[0082] 圖11示出了包括NC 1110的NC分割圖像1100的實施例，NC 1110可為基于分區(qū)信息 900的NC區(qū)域910的混合視頻內容800的NC 810等。SC分割圖像可通過步驟503和505創(chuàng)建。SC 分割圖像1000僅包括編碼后的NC 810,而SC 810替換為掩碼1120,掩碼1120可包括固定值 (例如0)、固定顏色(例如綠色)或其它掩碼數據。因此，將掩碼1120應用于NCW外的SC，W允 許將NC編碼到NC分割圖像1100中。一旦被編碼，可在NC子流中將NC分割圖像1100傳輸給解 碼器(例如，客戶端201)。應注意，掩碼1010和1120可基本上類似或者可包括不同的固定值、 顏色或掩碼數據。在接收到SC分割圖像1000、NC分割圖像1100和分區(qū)信息900(例如，在步驟 601中）后，解碼器/客戶端可對SC和NC區(qū)域進行解碼，并將它們組合成相當于混合內容視頻 800的合成圖像(例如，在步驟603和605中）。然后，在步驟607中，可將合成圖像轉發(fā)給顯示 器W便用戶觀看。
[0083] 雖然本發(fā)明多個具體實施例，但應當理解，所公開的系統(tǒng)和方法也可通過其它多 種具體形式體現(xiàn)，而不會脫離本發(fā)明的精神或范圍。本發(fā)明的示例應被視為說明性而非限 制性的，且本發(fā)明并不限于本文本所給出的細節(jié)。例如，各種元件或部件可W在另一系統(tǒng)中 組合或合并，或者某些特征可W省略或不實施。
[0084] 此外，在不脫離本發(fā)明的范圍的情況下，各種實施例中描述和說明為離散或單獨 的技術、系統(tǒng)和方法可W與其它系統(tǒng)、模塊、技術或方法進行組合或合并。展示或論述為彼 此禪合或直接禪合或通信的其它項也可W采用電方式、機械方式或其它方式通過某一接 口、設備或中間部件間接地禪合或通信。其它變更、替換、更替示例對本領域技術人員而言 是顯而易見的，均不脫離此處公開的精神和范圍。
【主權項】
1. 一種裝置，其特征在于，包括： 處理器，用于： 獲取包括圖像的混合內容視頻，所述圖像包括計算機生成屏幕內容（screen content， SC)和自然內容(natural content，NC); 將所述圖像分區(qū)為SC區(qū)域和NC區(qū)域；以及 通過使用SC編碼工具對所述SC區(qū)域進行編碼和使用NC編碼工具對所述NC區(qū)域進行編 碼來對所述圖像進行編碼；以及 與所述處理器連接的發(fā)射器，所述發(fā)射器用于向客戶端設備傳輸數據， 其中，所述數據包括所述編碼后的圖像和所述圖像的分區(qū)的邊界指示。2. 根據權利要求1所述的裝置，其特征在于，所述SC內容包括計算機應用生成的圖像內 容，所述NC內容包括圖像記錄設備采集的圖像內容或圖像記錄設備采集的計算機生成圖像 內容的仿真圖像內容。3. 根據權利要求1所述的裝置，其特征在于，所述對所述圖像進行編碼包括應用量化參 數(quantization parameter，QP)來減少傳輸所述圖像所需的帶寬，應用于第一圖像的SC 區(qū)域的SC QP值與應用于所述第一圖像的NC區(qū)域的NC QP值不同。4. 根據權利要求3所述的裝置，其特征在于，所述NC QP值大于所述SC QP值，使得所述 NC區(qū)域的質量相比于所述SC區(qū)域的質量有所下降。5. 根據權利要求1所述的裝置，其特征在于，每個圖像包括一組子部分，以及傳輸每個 圖像中每個子部分的分區(qū)邊界的指示。6. 根據權利要求1所述的裝置，其特征在于，所述分區(qū)邊界的指示指示了所述SC區(qū)域的 大小和位置以及所述NC區(qū)域的大小和位置。7. 根據權利要求1所述的裝置，其特征在于，所述分區(qū)邊界的指示包括指示分區(qū)邊界的 像素坐標。8. 根據權利要求1所述的裝置，其特征在于，所述圖像通過量化為網格的坐標描述，所 述分區(qū)邊界的指示包括所述網格上的坐標，所述坐標指示所述分區(qū)邊界。9. 根據權利要求1所述的裝置，其特征在于，所述SC區(qū)域和NC區(qū)域中的至少一個包括非 矩形形狀，所述對所述圖像進行分區(qū)包括:將所述非矩形形狀映射到矩形網格，所述矩形網 格描述包括所述非矩形形狀的關聯(lián)圖像。10. 根據權利要求1所述的裝置，其特征在于，所述圖像中的至少一個包括子部分，所述 子部分包括至少一個NC像素和至少一個SC像素，所述對所述圖像進行分區(qū)包括：當NC內容 像素與SC內容像素的比率超過預定閾值時，將所述子部分映射到NC區(qū)域。11. 根據權利要求1所述的裝置，其特征在于，在圖像參數集(picture parameter set， PPS)、序列參數集（sequence parameter set，SPS)、片頭、編碼單元（coding unit，CU)數 據、預測單元（prediction unit，PU)數據、補充增強信息（supplemental enhancement inf ormat i on，SEI)消息或它們的組合中傳輸所述分區(qū)邊界的指示。12. 根據權利要求1所述的裝置，其特征在于，在所述圖像的序列的開始處傳輸所述分 區(qū)邊界的指示，所述指示描述所述序列的分區(qū)邊界。13. 根據權利要求12所述的裝置，其特征在于，圖像之間的分區(qū)邊界會發(fā)生改變，所述 數據包括描述相對于前一指示的變化的后續(xù)指示。14. 一種在客戶端設備處對混合內容視頻進行解碼的方法，其特征在于，所述方法包 括： 接收包括編碼后混合內容視頻的比特流，所述混合內容視頻包括圖像，其中，每個圖像 包括計算機生成屏幕內容（screen content，SC)和自然內容(natural content，NC); 在所述比特流中接收包括所述SC內容的SC區(qū)域與包括所述NC內容的NC區(qū)域之間的分 區(qū)的邊界指示； 對所述分區(qū)邊界界定的所述SC區(qū)域進行解碼，其中，對所述SC區(qū)域進行解碼包括使用 SC編碼工具； 對所述分區(qū)邊界界定的所述NC區(qū)域進行解碼，其中，對所述NC區(qū)域進行解碼包括使用 與所述SC編碼工具不同的NC編碼工具；以及 將所述解碼后的SC區(qū)域和所述解碼后的NC區(qū)域作為解碼后的混合內容視頻轉發(fā)給顯 示器。15. 根據權利要求14所述的方法，其特征在于，還包括:在所述比特流中接收所述SC區(qū) 域中要使用的所述SC編碼工具的指示和在所述NC區(qū)域中要使用的所述NC編碼工具的指示。16. 根據權利要求14所述的方法，其特征在于，還包括:在所述比特流中接收所述SC區(qū) 域中要禁用的NC編碼工具的指示和在所述NC區(qū)域中要禁用的SC編碼工具的指示。17. 根據權利要求14所述的方法，其特征在于，基于所述分區(qū)邊界隱式地選擇所述SC編 碼工具和所述NC編碼工具。18. 根據權利要求14所述的方法，其特征在于，對于所述SC區(qū)域，所述SC編碼工具使用 第一色度采樣格式;對于所述NC區(qū)域，所述NC編碼工具使用第二色度采樣格式;所述第一色 度采樣格式不同于所述第二色度采樣格式。19. 一種計算機程序產品，其特征在于，包括存儲在非瞬時性計算機可讀介質上的計算 機可執(zhí)行指令，從而當所述計算機可執(zhí)行指令由處理器執(zhí)行時，使網元(network element， NE)執(zhí)行以下操作： 獲取包括圖像的混合內容視頻，所述圖像包括計算機生成屏幕內容（screen content， SC)和自然內容(natural content，NC)，將所述圖像分區(qū)為包括SC的SC圖像和包括NC的NC 圖像； 將所述SC圖像編碼為至少一個SC子流； 將所述NC圖像編碼為至少一個NC子流；以及 通過發(fā)射器將所述子流傳輸給客戶端設備，以便重新組合成所述混合內容視頻。20. 根據權利要求19所述的計算機程序產品，其特征在于，每個圖像包括多個SC區(qū)域和 多個NC區(qū)域，將每個區(qū)域的圖像數據編碼為不同的專用子流，所述區(qū)域的所述專用子流使 用不同的圖像分辨率。21. 根據權利要求19所述的計算機程序產品，其特征在于，所述將所述SC圖像編碼為SC 子流還包括對所述SC以外的圖像數據使用掩碼。22. 根據權利要求19所述的計算機程序產品，其特征在于，所述將所述NC圖像編碼為NC 子流還包括對所述NC以外的圖像數據使用掩碼。23. 根據權利要求19所述的計算機程序產品，其特征在于，所述將所述SC圖像編碼為子 流還包括:在將所述SC圖像編碼為所述子流之前，將分區(qū)后的SC區(qū)域和相關內容擴展到預 定大小。24.根據權利要求19所述的計算機程序產品，其特征在于，所述將所述NC圖像編碼為子 流還包括:在將所述NC圖像編碼為所述子流之前，將分區(qū)后的NC區(qū)域和相關內容擴展到預 定大小。
【文檔編號】H04N19/00GK106063263SQ201580010315
【公開日】2016年10月26日
【申請日】2015年3月12日
【發(fā)明人】索斯滕·勞德, 馬可·莫德蘭, 約恩·奧斯特曼
【申請人】華為技術有限公司