本發(fā)明涉及一種用于色度重構(gòu)的方法和裝置以及用于執(zhí)行該方法的計算機(jī)程序產(chǎn)品。

背景

在許多專業(yè)應(yīng)用中，需要在視頻墻上可視化大量視頻源以提供對情形的概覽。一些示例包括視頻監(jiān)控、復(fù)雜工業(yè)過程(例如，石油精煉、發(fā)電廠)或網(wǎng)絡(luò)(電力網(wǎng))。在過去，由于涉及延遲和質(zhì)量的高要求，此類專業(yè)可視化系統(tǒng)經(jīng)常使用專用硬件和網(wǎng)絡(luò)來實現(xiàn)。然而，存在結(jié)合現(xiàn)有消費級硬件以通過允許從視頻墻/控制室到任何網(wǎng)絡(luò)和設(shè)備以及來自任何網(wǎng)絡(luò)和設(shè)備的視頻內(nèi)容共享來降低成本和/或增加功能的日益增長的需求。

在色度子采樣中，對色彩信息，即色度的編碼可以用比對亮度信息，即亮度的編碼更低的分辨率來做出。該方法利用以下事實：人類眼睛對亮度差異的感知比對色彩差異的感知更敏感。標(biāo)示可以是yuv，其中y表示亮度/明度分量，而u和v表示色度/色彩分量。例如，對于每分量8位，全分辨率將會是4:4:4，而4:2:0已經(jīng)減少了色彩信息，后者需要更少的數(shù)據(jù)存儲和/或帶寬。

在諸如控制室等需要高分辨率的環(huán)境中可視化的視頻內(nèi)容可包括來自相機(jī)的“自然”視頻以及諸如圖形、地圖、電子表格等人造內(nèi)容的組合。具有人造內(nèi)容的應(yīng)用通常需要非常高的質(zhì)量。圖1解說了yuv4:2:0色度子采樣被實現(xiàn)用于單詞“dec”形式的人造屏幕內(nèi)容時的情況。圖1a)示出了其中字母“d”的具有相同色彩和亮度的部分用條紋圖案標(biāo)記的原始圖像。圖1b)示出了其中“d”的相應(yīng)部分的色彩和亮度已變成多個不同水平的經(jīng)重構(gòu)圖像，每一水平用不同的圖案指示。圖1c)示出了原始圖形以使得1c)的左側(cè)圖像對應(yīng)于1a)并且1c)的右側(cè)圖像對應(yīng)于1b)。

用于高效的硬件加速視頻編碼的專用硬件通?？捎糜趛uv4:2:0配置文件[1][2]。高效視頻編碼(hevc)[3]壓縮標(biāo)準(zhǔn)的第一版本支持yuv4:2:0子采樣。這些工具能一起產(chǎn)生用于yuv4:2:0子采樣的高效且經(jīng)濟(jì)的解決方案。

然而，用于yuv4:4:4配置文件的硬件加速視頻編碼仍不可用。由此，對yuv4:4:4子采樣的支持不得不用非加速硬件以及較低效和功耗軟件來一起提供。此外，由于低需求，啟用yuv4:4:4的硬件和軟件實現(xiàn)相比于只支持yuv4:2:0配置文件的實現(xiàn)是昂貴的。

使用亮度和色度之間的分量間相關(guān)的現(xiàn)有自適應(yīng)上采樣技術(shù)在[4]和[5]中提出。這些技術(shù)被設(shè)計成用于自然內(nèi)容，并且不考慮屏幕內(nèi)容的特定特性(例如，非連續(xù)銳邊、附近像素中的均勻色彩)。

he等人在[6]中介紹的向?qū)綀D像濾波器是邊緣保留式平滑濾波器。該技術(shù)的應(yīng)用可以是例如邊緣知悉式平滑、細(xì)節(jié)增強(qiáng)和hdr壓縮。專利申請gb2516110a公開了一種基于向?qū)綀D像濾波的方法，其中亮度分量被用作用以重構(gòu)色度分量的向?qū)D像。該方法取決于這兩者之間的協(xié)方差。向?qū)綀D像濾波器能夠?qū)J邊從亮度分量轉(zhuǎn)變成色度分量。然而，當(dāng)未檢測到協(xié)方差時，該濾波器將僅僅平滑色度分量。這對于自然內(nèi)容而言是良好的屬性，但它可能引入人造屏幕內(nèi)容的不想要的偽像。圖2示出a)作為人造屏幕內(nèi)容的對向?qū)缴戎貥?gòu)濾波器的輸入、b)來自同一濾波器的輸出，以及c)原始輸入。a)和b)中的條紋圖案指示無梯度域，即每一條紋域具有相同的色彩和強(qiáng)度?？梢钥吹捷敵鰣D像b)中的該域被減少，由此梯度量已增加，這導(dǎo)致邊緣看上去較不銳利。

在專利申請gb2516110a中，結(jié)果可通過在編碼流中提供附加信息來優(yōu)化。該流中也可包括關(guān)于如何減少上文提及的偽像的信息。但向流添加該信息導(dǎo)致帶寬使用增加。

us2010/214472(tomonaga)公開了一種用于改進(jìn)圖形圖像的倍線(例如，sd到hd)的方法。圖形內(nèi)容在亮度分量方面具有比自然內(nèi)容更銳利的邊緣。由于常見的倍線濾波器被設(shè)計成用于自然內(nèi)容，因此這些濾波器將在圖形內(nèi)容的邊緣周圍引入新偽像。這引入了圖像降級。通過分析亮度直方圖，在峰值周圍檢測到并移除噪聲。需要亮度直方圖檢測器。

ep2495963a2(toshiba)公開了一種用于通過檢測視頻信號的類型來自動轉(zhuǎn)換視頻信號的方法。轉(zhuǎn)換只在視頻信號中不存在正確格式時完成。視頻被轉(zhuǎn)換成具有比正確格式的色彩采樣點更少數(shù)目的色彩采樣點的另一格式。

us2008/0036792a1(qualcomm)公開了一種通過查看圖像中的相鄰像素的對稱性和強(qiáng)度來改進(jìn)上采樣的方法。強(qiáng)度被用來適配內(nèi)插濾波器的變體。

us2009/0324079a1(yuan)公開了一種用于對單個幀中的自然和圖形內(nèi)容使用多個濾波器的方法。該方法還使用運動向量信息來在多個幀之間共享上下文。

us2011/0181778a1(komaki)公開了一種在降噪的同時對薄膜材料中的視頻信號進(jìn)行上采樣的方法。

發(fā)明概述

本發(fā)明尋求提供一種用于重構(gòu)經(jīng)子采樣的人造屏幕內(nèi)容的方法和裝置?？扇芜x地，可使用加速硬件。

在本發(fā)明的一個實施例中，提供了一種用于使用可以是硬件加速解碼器的解碼器和上采樣濾波器來預(yù)測色度值的方法，該方法包括以下步驟：使該解碼器向上采樣濾波器提供圖像幀，所述圖像幀包括亮度和色度分量，使上采樣濾波器定義所述圖像幀的子集，以及對所述子集應(yīng)用至少一個分析算法以獲得子集內(nèi)容類型，以及選擇至少一個重構(gòu)算法來例如通過使用亮度分量的值來重構(gòu)該子集的色度分量，其中對該至少一個重構(gòu)算法的選擇取決于子集內(nèi)容類型。由于內(nèi)容類型被獲得，因此重構(gòu)算法可被選為適合該內(nèi)容類型。該算法無需同時處置多個內(nèi)容類型，由此重構(gòu)可以變得非常高效。

在該方法中，分析算法和/或重構(gòu)算法檢測亮度分量是否可被用作用于重構(gòu)色度分量的向?qū)А?/p>

在本發(fā)明的另一實施例中，提供了根據(jù)上述內(nèi)容的用于來進(jìn)行色度預(yù)測的方法，其中分析算法包括調(diào)查上文提及的子集中的至少兩個亮度分量是否具有相同值的步驟。如果情況如此，則對應(yīng)的色度分量(具有與亮度分量相同的坐標(biāo))被設(shè)為彼此相等。色度值然后可通過使用上采樣濾波器來重構(gòu)。該方法可標(biāo)識其中許多分量具有相同值的內(nèi)容，例如人造屏幕內(nèi)容。然后可選擇專用重構(gòu)算法來提高效率。

在本發(fā)明的另一實施例中，提供了根據(jù)上述內(nèi)容的用于進(jìn)行色度預(yù)測的方法，其中分析算法包括調(diào)查色度子集是否具有與亮度子集基本上相同的結(jié)構(gòu)或基本上相逆的結(jié)構(gòu)的步驟。如果情況如此，則可能通過以下操作來重構(gòu)色度值：

用最小和最大的經(jīng)子采樣亮度分量來歸一化全分辨率亮度分量并且線性地將其縮放成經(jīng)子采樣色度分量。該方法可以在不存在足夠的具有相同值的相鄰亮度分量的情況下(例如，在存在梯度的情況下)使用。然后可選擇專用重構(gòu)算法來提高效率。

在本發(fā)明的另一實施例中，提供了根據(jù)上述內(nèi)容的方法，其中子集的最小大小是全色度分辨率下的2乘2個像素。該子集可以被重復(fù)移動以使得最終整個幀被分析和重構(gòu)。

在本發(fā)明的另一實施例中，提供了用于預(yù)測色度值的裝置，包括：被布置成接收和提供圖像幀的解碼器，所述圖像幀包括亮度和色度分量；以及，被布置成從解碼器接收圖像幀的上采樣單元，所述上采樣單元包括用于執(zhí)行重構(gòu)的上采樣濾波器，其中對于圖像幀的每一子集，所選重構(gòu)算法取決于該子集的內(nèi)容類型。

該裝置被適配成使得分析算法和重構(gòu)算法檢測亮度分量是否可被用作用于重構(gòu)色度分量的向?qū)?。對于該檢測，使用移動窗口并且還使用至少兩個分量(亮度和色度)。

在本發(fā)明的另一實施例中，提供了包括攜帶指令的機(jī)器可讀介質(zhì)的計算機(jī)程序產(chǎn)品，這些指令在由處理器執(zhí)行時使處理器執(zhí)行以上各方法中的任一種方法。

附圖簡述

圖1示出了其中糟糕質(zhì)量是可見的經(jīng)重構(gòu)的人造屏幕內(nèi)容的示例。

圖2示出了向?qū)綖V波器如何在圖像中的邊緣周圍進(jìn)行平滑的示例。

圖3示出了本發(fā)明的實施例的概覽。

圖4以a)圖形形式和b)矩陣形式示出了本發(fā)明的實施例。

圖5用l、r和c矩陣中的數(shù)值示出了本發(fā)明的實施例。

圖6示出了通過a)常規(guī)方法和b)本發(fā)明的實施例來作出的色度經(jīng)重構(gòu)圖像的細(xì)節(jié)。

詳細(xì)描述

本發(fā)明將針對特定實施例且參考一些附圖進(jìn)行描述，但是本發(fā)明不限于此，而是只通過權(quán)利要求限定。所描述的附圖只是示意性的而非限制性的。

此外，說明書中和權(quán)利要求中的術(shù)語第一、第二、第三等用于在類似的元素之間進(jìn)行區(qū)分，而不一定用于描述順序或時間次序。這些術(shù)語在適當(dāng)?shù)那闆r下可以互換，并且本發(fā)明的實施例可以按與本文所描述或闡示的順序不同的其它順序操作。

而且，本說明書和權(quán)利要求書中的術(shù)語頂部、底部、之上、之下等是出于描述目的而使用的，且不一定用于描述相對位置。所使用的這些術(shù)語在適當(dāng)?shù)那闆r下可以互換，并且本文描述的本發(fā)明的實施例可以在與本文所描述或闡示的定向不同的其它定向中操作。權(quán)利要求中所使用的術(shù)語“包括”不應(yīng)被解釋為限于此后列出的手段；它不排除其他元件或步驟。它需要被解釋為指定所陳述的特征、整數(shù)、步驟或組件的存在，但不排除一個或多個其他特征、整數(shù)、步驟或組件，或其群組的存在或添加。由此，表達(dá)式“包括裝置a和b的設(shè)備”的范圍不應(yīng)限于僅僅由組件a和b組成的設(shè)備。這意味著關(guān)于本發(fā)明，設(shè)備的僅有相關(guān)組件是a和b。類似地，將要注意到也在說明書和權(quán)利要求書中使用的術(shù)語“耦合”不應(yīng)被解釋為僅限于直接連接。由此，表達(dá)式“耦合到設(shè)備b的設(shè)備a”不應(yīng)被限于其中設(shè)備a的輸出直接連接到設(shè)備b的輸入的設(shè)備或系統(tǒng)。該表達(dá)式意指在a的輸出與b的輸入之間存在可以是包括其它設(shè)備或裝置的路徑的路徑。

對軟件的引用可涵蓋可由處理器直接或間接執(zhí)行的用任何語言的任何類型的程序。

對邏輯、硬件、處理器或電路的引用可涵蓋集成到任何程度且不限于通用處理器、數(shù)字信號處理器、asci、fpga、分立組件或晶體管邏輯門等的任何種類的邏輯或模擬電路。

本發(fā)明的實施例尋求提供一種用于可任選地使用加速硬件來重構(gòu)經(jīng)子采樣的人造屏幕內(nèi)容的方法和裝置。下文中給出的示例是為了闡示而提供的，并且不應(yīng)被視作是限制性的。

圖3示出了本發(fā)明的實施例。所提出的用于重構(gòu)色度分量的方法可被設(shè)計成在不修改編碼器的情況下在解碼器后使用。原始流a可以例如通過截屏來捕捉并且在必要時被轉(zhuǎn)換成yuv4:4:4視頻流。為了允許使用常規(guī)編碼器，該流可由編碼器設(shè)備中的子采樣濾波器來子采樣為流b。編碼器然后可以用yuv4:2:0子采樣配置文件(如hevc/h.265主配置文件)來對流進(jìn)行編碼。無需在經(jīng)編碼視頻流c中包括任何附加信息。在通過網(wǎng)絡(luò)進(jìn)行傳輸后，視頻流c’可由符合標(biāo)準(zhǔn)(例如，可任選的硬件加速)解碼器來解碼。這可生成可被用作對色度重構(gòu)的輸入的視頻流d。在圖3中，具有實線的步驟涉及幀處理，而條文線指的是塊處理。

圖4a)示出了覆蓋6×3個亮度像素1(僅指示3個像素)以及2×2個經(jīng)子采樣色度像素2(僅指示2個像素)的滑動輸入窗口3。輸出窗口4包括全分辨率的4個亮度像素1(僅指示1個像素)。圖4b)將滑動輸入窗口示為矩陣。輸入矩陣l表示亮度分量li,j，矩陣r表示經(jīng)子采樣色度分量ri,j，而矩陣c表示(未知的)全分辨率色度分量ci,j。

本發(fā)明的色度重構(gòu)算法可基于編碼設(shè)備的子采樣濾波器以及色度像素位置。該算法還可適配其它子采樣濾波器和/或色度像素位置。對于色度重構(gòu)，每一幀可以用可以獨立地在任何方向上移動的滑動輸入窗口3來分析。大窗口大小具有較低的跨分量相關(guān)概率。最小滑動輸入窗口3應(yīng)至少具有經(jīng)子采樣色度分量中的2×2個像素。為了在亮度分量中定義匹配的滑動輸入窗口，濾波器和色度像素位置應(yīng)被計及。由于四接頭濾波器對輸出c0,0使用四個位置(例如，r0,0、r1,0、r2,0和r3,0)，因此全分辨率分量的窗口大小可以是6乘3個像素。每一窗口具有四個輸出像素r2,1、r2,2、r3,1和r3,2。

為了決定這些像素是否表示人造屏幕內(nèi)容，每一幀可通過在該幀上滑動窗口并分兩步評估像素來分析。這可重復(fù)直到該幀中的所有像素都已被分析。優(yōu)選地，滑動輸入窗口始終是相同的大小，該大小不變。在該方法中，分析算法和重構(gòu)算法檢測亮度分量是否可被用作用于重構(gòu)色度分量的向?qū)Аτ谠摍z測，使用移動窗口并且還使用至少兩個分量(例如，亮度和色度)。

步驟1：

第一個步驟調(diào)查以下是否為真：如果兩個像素具有相同的亮度值，則這兩個像素也具有相同的色度值是高度可能的。

該步驟對于屏幕內(nèi)容產(chǎn)生肯定結(jié)果，因為具有均勻色彩的大量像素可位于滑動窗口中。

表格i

表i示出了像素的等式1中的部分lm,n＝lm,n為真(即，窗口中的(i,j)和(m,n)處的像素具有相同的亮度值)的概率p(l)。p(c/l)是像素的等式1作為一個整體為真(即，(i,j)和(m,n)處的像素具有相同的亮度值和相同的色度值)的概率。表格的上半部分包括人造屏幕內(nèi)容，而表格的下半部分包括自然屏幕內(nèi)容?？梢钥吹綄τ谌嗽炱聊粌?nèi)容p(l)和p(c/l)的值非常高，而對于自然內(nèi)容這些值非常低。由此，人造屏幕內(nèi)容可以從自然屏幕內(nèi)容中標(biāo)識出。為了確定經(jīng)重構(gòu)值，等式1可以與在編碼器中被用來對色度像素進(jìn)行子采樣的公式進(jìn)行組合以使得獲得用于經(jīng)重構(gòu)色度值ci,j的等式(2)到(5)：

在將ci,j轉(zhuǎn)換成無符號整數(shù)8位值時，δi,j補償舍入誤差，并且范圍可以是[-0:5；0:5]。注意，對于如同圖3中的系統(tǒng)，如果上采樣濾波器具有與在解碼器之前使用的子采樣濾波器相同的類型，則可獲得最優(yōu)色度重構(gòu)(在解碼器之后進(jìn)行)。

步驟1只能在存在足夠的具有相等色度值的像素以使得公式能被簡化和求解時才提供解。注意，像素r2,1和r3,1未被考慮用于計算經(jīng)子采樣色度像素值。這些像素應(yīng)具有與來自列0或2的像素相等的亮度像素值。例如，當(dāng)使用梯度(例如，滑動窗口中的更多色彩)時，該假設(shè)無法決定有效解，并且該假設(shè)的輸出無法被使用。引入能為這些情形提供解的第二步驟。

步驟2：

第二個步驟調(diào)查以下是否為真：色度分量具有與亮度分量相同或相逆的結(jié)構(gòu)。色度分量還應(yīng)具有亮度分量的最小和最大值之間的值。當(dāng)色度和亮度分量之間存在類似結(jié)構(gòu)時，當(dāng)亮度分量增大時色度分量增大或者對于相逆情形減小。

圖5用原始色度分量r、作為原始色度分量r的子采樣版本的(原始)亮度分量l和c的數(shù)值示出了示例。步驟1的結(jié)果將為假，因為不存在足夠的具有相等亮度值的像素來對等式(2)到(5)求解。還可以看到原始色度分量r具有與亮度分量l相逆的紋理。當(dāng)d中不存在結(jié)構(gòu)(即，max(d)＝min(d))時，步驟2的結(jié)果將為假，并且將使用另一常規(guī)方法來進(jìn)行重構(gòu)。

首先，計算亮度分量l的子采樣版本d。這可根據(jù)以下等式以與編碼器中所使用的子采樣濾波器相似的方式完成：

表達(dá)式7示出了對于圖5中的值計算d的數(shù)字結(jié)果。經(jīng)子采樣亮度分量d然后可以在其最小值和最大值之間被歸一化為nd。

d和nd兩者都可被計算為浮點數(shù)，由此不存在舍入誤差。然而，色度分量c包括整數(shù)值，從而使得結(jié)果可具有舍入誤差δi,j。因此，將在考慮可能的舍入誤差的情況下為nc計算兩個極值：

步驟2將在來自歸一化的亮度分量的所有元素都在歸一化的色度分量元素的范圍中的情況下具有肯定結(jié)果：

注意，對于給定示例而言并非如此，因為0.564不在0.400和0.485之間。

步驟2將在兩個分量中的紋理相似時具有肯定結(jié)果。

在(13)的肯定結(jié)果的情形中，色度分量r’可以如下重構(gòu)：用經(jīng)子采樣亮度分量的最小值和最大值來歸一化(全分辨率)亮度分量并且線性地將其縮放成經(jīng)子采樣色度分量：

r′＝(nl·(max(c)-min(c)))+min(c).(13)

在(13)的否定結(jié)果的情形中，還可測試逆歸一化：

如果這保持為真(如同在數(shù)值示例中)，則亮度結(jié)構(gòu)可被逆變換成經(jīng)子采樣色度分量。

r′＝max(c)-(nl·(max(c)-min(c)))(16)

在該示例中，如果r’被舍入，則除了r’5,2之外的所有像素都具有與圖5中的輸入r中的相同的經(jīng)重構(gòu)值。該偏離(159而不是160)是由c中的舍入誤差導(dǎo)致的。更重要的是在亮度分量的向?qū)聦ι确至康牧己眉y理重構(gòu)。等式13和17將檢測亮度和色度分量是否不共享類似紋理。在該情形中，將使用不具有亮度向?qū)У某Ｒ?guī)上采樣濾波器。

示例

所提出的方法用hevc范圍擴(kuò)展的常見測試條件中所使用的不同序列來驗證。使用兩組測試序列，第一組是屏幕內(nèi)容序列：cad波形、pcb布局、ppt-doc、絞線隧穿和視頻會議。第二組包含相機(jī)捕捉到的自然內(nèi)容：人群流、交通、籠中鳥、和服和公園風(fēng)景。原始序列是yuv4:4:4序列。對于有損壓縮，使用具有具備qp值12、17、22和27的超高層(sht)配置的hm16.2參考編解碼器(“hm16.2”是用于hevc編解碼器的標(biāo)準(zhǔn)測試模型)?！皅p”是定義編碼質(zhì)量的量化參數(shù)(值越低，質(zhì)量越高)。使用主層qp配置沒有附加價值，因為來自壓縮偽像的質(zhì)量降級在考慮本文中的范圍的專業(yè)應(yīng)用中是不可接受的。

色度分量的改進(jìn)使用psnr和結(jié)構(gòu)化similarity(ssim)[7]來客觀地測量。然而，客觀的質(zhì)量改進(jìn)對于屏幕內(nèi)容而言并非始終是清楚的指示。這主要是因為psnr基于全幀的均方差(mse)，而屏幕內(nèi)容偽像通常位于可能不均勻地分布在整個幀中的銳邊周圍。結(jié)果，主觀質(zhì)量增益有時甚至可以用小psnr增益來標(biāo)識。ssim試圖通過假定在空間上接近的像素之間的強(qiáng)依賴性來估計感知到的誤差。在該用例中，這將提供更好的客觀質(zhì)量度量。改進(jìn)被主觀驗證，并且將提供一些可視示例。

示例：無損壓縮

表iia提供了將標(biāo)準(zhǔn)hevc/h.265提出的色度上采樣用作基準(zhǔn)或“錨”的無損壓縮yuv4:2:0比特流的psnr色度結(jié)果。使用本發(fā)明的方法的結(jié)果被稱為“提案”。對于屏幕內(nèi)容，改進(jìn)在0.51db(對于視頻會議序列)最多到3.11db改進(jìn)(對于cad波形序列)的范圍內(nèi)，且所有測試序列上的均值為1.68db。同一配置的ssim結(jié)果可以在表iib中找到。這些結(jié)果示出與psnr結(jié)果相同的趨勢。cad波形序列提供了0.128的最佳ssim色度增益，而針對屏幕內(nèi)容序列測得0.051的平均ssim色度增益。雖然序列cad波形、pcb布局、ppt-doc在錨版本中具有非常不同的ssim結(jié)果，但在所提出的方法中它們?nèi)继峁┘s0.925的ssim。

表ii

圖6闡示了通過a)錨和b)提案獲得的pcb布局序列的重構(gòu)。提案示出了完美重構(gòu)，而錨提供了具有較少細(xì)節(jié)的經(jīng)平滑輸出。對于自然內(nèi)容，結(jié)果的范圍從0.01db的損失(對于人群流序列)到0.29db的損失(對于籠中鳥序列)。對于自然內(nèi)容序列，ssim色度的平均損失是0.003。對于所測試的序列，該損失是相當(dāng)微不足道的，由此無需對內(nèi)容進(jìn)行分類以決定是否激活所提出的倍線濾波器的算法，這是相當(dāng)大的優(yōu)點。

本發(fā)明涉及一種具有處理能力的用于預(yù)測色度值的裝置。該裝置可包括一個或多個微處理器、處理器、控制器、或中央處理單元(cpu)和/或圖形處理單元(gpu)，并且可被適配成通過用軟件(即，一個或多個計算機(jī)程序)編程來執(zhí)行其相應(yīng)功能。該裝置可具有存儲器(諸如非瞬態(tài)計算機(jī)可讀介質(zhì)、ram和/或rom)、操作系統(tǒng)、可任選的顯示器(諸如固定格式顯示器)、數(shù)據(jù)輸入設(shè)備(諸如鍵盤、指點設(shè)備(諸如“鼠標(biāo)”))、用于與其它設(shè)備通信的串行或并行端口、用于連接到任一網(wǎng)絡(luò)的網(wǎng)卡和連接。

軟件可被包含在計算機(jī)程序產(chǎn)品中，該計算機(jī)程序產(chǎn)品被適配成在軟件被加載到相應(yīng)的一個或多個設(shè)備上并且在一個或多個處理引擎(諸如微處理器、asic、fpga等)上執(zhí)行時執(zhí)行以下功能：

利用解碼器和上采樣濾波器來預(yù)測色度值，

使解碼器向上采樣濾波器提供圖像幀，所述圖像幀包括亮度和色度分量，

使上采樣濾波器定義所述圖像幀的子集，

以及對所述子集應(yīng)用至少一個分析算法以獲得子集內(nèi)容類型，以及

選擇至少一個重構(gòu)算法來重構(gòu)該子集的色度分量，其中對該至少一個重構(gòu)算法的選擇取決于子集內(nèi)容類型，子集的最小大小是全色度分辨率下的2乘2個像素。

軟件可被包含在計算機(jī)程序產(chǎn)品中，該計算機(jī)程序產(chǎn)品被適配成在軟件被加載到相應(yīng)的一個或多個設(shè)備上并且在一個或多個處理引擎(諸如微處理器、asic、fpga等)上執(zhí)行時執(zhí)行以下功能：

用硬件加速解碼器來解碼，和/或

用亮度分量的值來重構(gòu)色度分量，和/或

分析算法包括調(diào)查上文提及的子集中的至少兩個亮度分量是否具有相同的值的步驟。

軟件可被包含在計算機(jī)程序產(chǎn)品中，該計算機(jī)程序產(chǎn)品被適配成在軟件被加載到相應(yīng)的一個或多個設(shè)備上并且在一個或多個處理引擎(諸如微處理器、asic、fpga等)上執(zhí)行時執(zhí)行以下功能：

分析算法包括調(diào)查色度子集是否具有與亮度子集相同或基本上相同的結(jié)構(gòu)或者相同或基本上相逆的結(jié)構(gòu)的步驟，和/或

重構(gòu)算法包括實現(xiàn)上采樣算法的公式的步驟，其中為了使相鄰亮度分量相等，將相應(yīng)的色度分量布置為相等。

軟件可被包含在計算機(jī)程序產(chǎn)品中，該計算機(jī)程序產(chǎn)品被適配成在軟件被加載到相應(yīng)的一個或多個設(shè)備上并且在一個或多個處理引擎(諸如微處理器、asic、fpga等)上執(zhí)行時執(zhí)行以下功能：

重構(gòu)算法包括用最小和最大的經(jīng)子采樣亮度分量來歸一化全分辨率亮度分量并且線性地將其縮放成經(jīng)子采樣色度分量的步驟，和/或

上文提及的子集的位置被重復(fù)移動以使得最終整個幀被分析和重構(gòu)。

上述任一軟件可被實現(xiàn)為已經(jīng)被編譯用于解碼器中的處理引擎的計算機(jī)程序產(chǎn)品。計算機(jī)程序產(chǎn)品可被存儲在非瞬態(tài)信號存儲介質(zhì)(諸如光盤(cd-rom或dvd-rom)、數(shù)字磁帶、磁盤、固態(tài)存儲器(諸如usb閃存)、rom等)上。

參考文獻(xiàn)

[1]apple,“apple-ipadair-technicalspecifications,”https://www.apple.com/ipad-air/specs/,2014年,[在線；訪問19-2014年8月]。

[2]google,“supportedmediaformats,androiddevelopers,”http://developer.android.com/guide/appendix/media-formats.html,2014,[在線；訪問19-2014年8月]。

[3]g.j.sullivan,j.-r.ohm,w.-j.han和t.wiegand,“overviewofthehighefficiencyvideocoding(hevc)standard,”circuitsandsystemsforvideotechnology,ieee學(xué)報,第22卷,第12篇,第1649–1668頁,2012年。

[4]y.itoh和t.ono,“up-samplingofycbcr4:2:0imageexploitinginter-colorcorrelationinrgbdomain,”consumerelectronics,ieee學(xué)報,第55卷,第4篇,第2204–2210頁,2009年11月。

[5]m.zhao,p.m.hofman和g.dehaan,“content-adaptiveup-scalingofchrominanceusingclassificationofluminanceandchrominancedata,”電子成像2004，internationalsocietyforopticsandphotonics,2004年,第721–730頁。

[6]k.he,j.sun和x.tang,“guidedimagefiltering,”ieeetransactionsonpatternanalysisandmachineintelligence,第35卷,第6篇,第1397–1409頁,2013年。

[7]zhouwang,a.c.bovik,h.r.sheikh和e.p.simoncelli,“imagequalityassessment:fromerrorvisibilitytostructuralsimilarity,”imageprocessing,ieee學(xué)報,第13卷,第4篇,第600–612頁,2004年4月。