使用較低分辨率流的視頻編碼的制作方法
【專(zhuān)利說(shuō)明】
【背景技術(shù)】
[0001]過(guò)去，稱(chēng)為“超分辨率”的技術(shù)已在衛(wèi)星成像中被用來(lái)提高所捕捉圖像的分辨率超過(guò)圖像捕捉元件的固有分辨率。這可以在衛(wèi)星(或其某個(gè)部件)移動(dòng)對(duì)應(yīng)于像素的幾分之一的量的情況下實(shí)現(xiàn)，從而捕捉在空間上重疊的樣本。在重疊區(qū)中，可以通過(guò)例如通過(guò)求平均而在與該區(qū)重疊的兩個(gè)或更多較低分辨率樣本的值之間進(jìn)行外推來(lái)生成較高分辨率樣本。較高分辨率樣本尺寸是重疊區(qū)的尺寸，并且較高分辨率樣本的值是外推值。
[0002]該構(gòu)思在圖1中示意性地圖示出?？紤]具有單個(gè)正方形像素P的衛(wèi)星的情況，其從地面上的IkmX Ikm的區(qū)域捕捉樣本。如果衛(wèi)星然后移動(dòng)，使得被像素捕捉的區(qū)域在平行于像素P的邊緣中的一個(gè)的方向上移位半公里，并且然后獲取另一樣本，則衛(wèi)星于是具有覆蓋寬度0.5km的重疊區(qū)P’的兩個(gè)可用樣本。隨著此過(guò)程的發(fā)展，在移位的方向上以0.5km間隔獲取樣本，并且潛在地還執(zhí)行垂直于原始移位偏移半個(gè)像素的連續(xù)掃描，有可能構(gòu)建0.5 kmX0.5 km而不是IkmX Ikm分辨率的圖像。將認(rèn)識(shí)到的是本示例是出于說(shuō)明性目的給出的一一還有可能構(gòu)建精細(xì)得多的分辨率，并且從更復(fù)雜的運(yùn)動(dòng)模式這樣做。
[0003]最近，已提出超分辨率的概念以便在視頻編碼中使用。存在其兩個(gè)潛在應(yīng)用。第一個(gè)類(lèi)似于上文所述情形一一如果用戶(hù)的照相機(jī)在幀之間在物理上移位對(duì)應(yīng)于非整數(shù)像素(例如因?yàn)槠涫鞘殖质秸障鄼C(jī))的量，并且此運(yùn)動(dòng)可以被檢測(cè)到(例如，使用運(yùn)動(dòng)估計(jì)算法)，則有可能通過(guò)在其中兩個(gè)幀的像素部分地重疊的像素樣本之間進(jìn)行外推而創(chuàng)建具有比照相機(jī)的圖像捕捉元件的固有分辨率更高的分辨率的圖像。
[0004]第二潛在應(yīng)用是故意地降低每個(gè)幀的分辨率，并且在幀之間引入人為移位(與由于照相機(jī)的實(shí)際運(yùn)動(dòng)而引起的移位相反)。這使得能夠降低每幀的位速率。參考圖2，比方說(shuō)照相機(jī)捕捉某個(gè)較高分辨率的像素P’(可能在初始量化級(jí)之后)。每個(gè)幀F(xiàn)中的該分辨率下的編碼將招致某個(gè)位速率。在某個(gè)時(shí)間t處的第一幀F(xiàn)(t)中，編碼器因此創(chuàng)建具有尺寸P的像素的幀的較低分辨率版本，并且在較低分辨率下將這些進(jìn)行發(fā)射和編碼。例如，在圖2中，通過(guò)對(duì)四個(gè)較高分辨率像素的值進(jìn)行平均來(lái)創(chuàng)建每個(gè)較低分辨率像素。在后續(xù)幀F(xiàn) (t+Ι)中，編碼器做同樣的事，但是光柵移位較低分辨率像素中的一個(gè)的幾分之一，在所示的示例中例如在水平和垂直方向上的半個(gè)像素。在解碼器處，然后可以通過(guò)在兩個(gè)幀的較低分辨率樣本的重疊區(qū)之間進(jìn)行外推來(lái)再次地重新創(chuàng)建較高分辨率像素尺寸P’。更復(fù)雜的移位模式也是可能的。例如，該模式可在第一幀中的第一位置處開(kāi)始，然后使光柵在第二幀中水平地移位半個(gè)(較低分辨率)像素，然后使光柵在第三幀中在垂直方向上移位半個(gè)像素，然后在第四幀中在水平方向上返回半個(gè)像素，然后在垂直方向上返回以從第一位置起重復(fù)該循環(huán)。在這種情況下，存在四個(gè)樣本可用于在解碼器處針對(duì)要重構(gòu)的每個(gè)較高分辨率像素而在該四個(gè)樣本之間進(jìn)行外推。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的實(shí)施例接收包括多個(gè)幀的視頻信號(hào)作為輸入，每個(gè)幀包括多個(gè)較高分辨率樣本。針對(duì)幀中的各每一個(gè)，生成各幀的多個(gè)不同投影。每個(gè)投影包括表不在較低分辨率下的各幀的多個(gè)較低分辨率樣本，其中，不同投影的較低分辨率樣本表;^各幀的較高分辨率樣本的不同但重疊的群組。通過(guò)對(duì)各幀中的每一個(gè)的投影進(jìn)行編碼來(lái)對(duì)視頻信號(hào)進(jìn)行編碼。
[0006]本發(fā)明的另外的實(shí)施例接收包括多個(gè)幀的視頻信號(hào)，每個(gè)幀包括多個(gè)不同投影，其中，每個(gè)投影包括多個(gè)較低分辨率樣本。不同投影的較低分辨率樣本表不各幀的不同但重疊的部分。通過(guò)對(duì)各幀中的每一個(gè)的投影進(jìn)行解碼來(lái)將視頻信號(hào)解碼。生成表示在較高分辨率下的各幀中的每一個(gè)的較高分辨率樣本。對(duì)于這樣生成的每個(gè)較高分辨率，這是通過(guò)從來(lái)自各幀的不同投影的較低分辨率樣本中的一些之間的重疊區(qū)形成較高分辨率樣本而完成的。在從投影生成之后在較高分辨率下將視頻信號(hào)輸出到屏幕。
[0007]可以將各種實(shí)施例體現(xiàn)為編碼系統(tǒng)、解碼系統(tǒng)或?qū)⒃诰幋a器或解碼器側(cè)運(yùn)行的計(jì)算機(jī)程序代碼，或者可實(shí)施為方法。可在計(jì)算機(jī)可讀介質(zhì)上體現(xiàn)計(jì)算機(jī)程序。計(jì)算機(jī)可讀可以是有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
【附圖說(shuō)明】
[0008]為了更好地理解各種實(shí)施例并示出其如何可以付諸實(shí)現(xiàn)，以示例的方式對(duì)附圖進(jìn)行參考，在所述附圖中:
圖1是超分辨率方案的示意性表示，
圖2是超分辨率方案的另一示意性表示，
圖3是通信系統(tǒng)的示意性框圖，
圖4是編碼器的示意性框圖，
圖5是解碼器的示意性框圖，
圖6是編碼系統(tǒng)的示意性表示，
圖7是解碼系統(tǒng)的示意性表示，
圖8是包括多個(gè)流的已編碼視頻信號(hào)的示意性表示，
圖9是要編碼的視頻信號(hào)的示意性表示，
圖10是要編碼的視頻信號(hào)的另一示意性表示，以及圖11是運(yùn)動(dòng)矢量與超分辨率移位的加法的示意性表示。
【具體實(shí)施方式】
[0009]超分辨率的原始用途是人為地提高所捕捉圖像的分辨率超過(guò)捕捉設(shè)備的固有分辨率。如所討論的，稍后提出了供在視頻傳輸中使用以故意地降低每幀的分辨率，從而減小位速率的思想。
[0010]本發(fā)明的實(shí)施例并不是集中于這些用途中的任一個(gè)，而是尋找用于超分辨率技術(shù)的第三應(yīng)用:即，將給定幀劃分成多個(gè)不同的較低分辨率“投影”，可以從該多個(gè)不同的較低分辨率“投影”重構(gòu)幀的較高分辨率版本。每個(gè)投影是與原始幀相比具有較低分辨率的同一幀的版本。同一幀的每個(gè)不同投影的較低分辨率樣本在幀內(nèi)具有相對(duì)于彼此的不同空間對(duì)準(zhǔn)，使得不同投影的較低分辨率樣本重疊但并不重合。例如，每個(gè)投影基于定義較低分辨率樣本的尺寸和形狀的同一光柵網(wǎng)格，但是在不同投影中的每一個(gè)中光柵被施加以不同的偏移或“移位”，該移位在相對(duì)于光柵定向的水平和/或垂直方向上是較低分辨率樣本尺寸的幾分之一。
[0011]在圖9和10中示意性地示出了示例。在頁(yè)面的頂部處圖示的是要編碼的視頻信號(hào)，包括多個(gè)幀F(xiàn)，每個(gè)幀F(xiàn)表示處于連續(xù)時(shí)刻...t-1、t、t+Ι、...的視頻圖像(其中，作為幀索引來(lái)測(cè)量時(shí)間，并且t是任何的任意時(shí)間點(diǎn))。
[0012]給定幀F(xiàn)(t)包括由圖9中的點(diǎn)網(wǎng)格線(xiàn)所示的較高分辨率光柵定義的多個(gè)較高分辨率樣本S’。光柵是網(wǎng)格結(jié)構(gòu)，該網(wǎng)格結(jié)構(gòu)在被施加于幀時(shí)將其劃分成樣本，每個(gè)樣本由網(wǎng)格的相應(yīng)單元定義。請(qǐng)注意，樣本不一定意味著具有與圖像捕捉元件的物理像素相同尺寸的樣本，也不是將在其上面輸出視頻的屏幕的物理像素尺寸。例如，可以在甚至更高的分辨率下捕捉樣本，并且然后向下量化以產(chǎn)生樣本S’。
[0013]將同一幀F(xiàn)(t)分成多個(gè)不同投影(a)至(d)。同一幀F(xiàn)(t)的投影中的每一個(gè)包括通過(guò)將較低分辨率光柵施加于幀而定義的多個(gè)較低分辨率樣本S，如覆蓋在圖9中的較高分辨率網(wǎng)格上的實(shí)線(xiàn)所圖示的。再次地，光柵是在施加于幀時(shí)將其劃分成樣本的網(wǎng)格結(jié)構(gòu)。每個(gè)較低分辨率樣本S表示一組較高分辨率樣本S’，分組取決于較低分辨率光柵的網(wǎng)格間距和對(duì)準(zhǔn)，每個(gè)樣本由網(wǎng)格的相應(yīng)單元定義。網(wǎng)格優(yōu)選地是正方形或矩形網(wǎng)格，較低分辨率樣本優(yōu)選地在形狀方面是正方形或矩形的(如較高分辨率樣本一樣)，但不一定必須是這種情況。在所示示例中，每個(gè)較低分辨率樣本S覆蓋四個(gè)較高分辨率樣本S’的各二乘二正方形。另一示例將是十六的四乘四正方形。
[0014]每個(gè)較低分辨率樣本S表示各組較高分辨率樣本S’(每個(gè)較低分辨率樣本覆蓋整體數(shù)個(gè)較高分辨率樣本)。優(yōu)選地，通過(guò)將較高分辨率樣本的值組合、最優(yōu)選地通過(guò)求平均、諸如均值或加權(quán)均值(但不排除更復(fù)雜的關(guān)系)來(lái)確定較低分辨率樣本S的值。替換地，可以通過(guò)取較高分辨率樣本中的典型的一個(gè)的值或?qū)^高分辨率值的典型子集進(jìn)行平均來(lái)確定較低分辨率的值。
[0015]第一投影(a)中的較低分辨率樣本的網(wǎng)格在幀F(xiàn)(t)內(nèi)、即在幀的平面中具有某個(gè)、第一對(duì)準(zhǔn)。作為參考，在這里將其稱(chēng)為(0，O)的移位。然后將同一幀F(xiàn)(t)的每個(gè)另一投影(b)至(d)所形成的較低分辨率樣本的網(wǎng)格在幀的平面中移位各自不同的量。針對(duì)每個(gè)連續(xù)投影，該移位是在水平或垂直方向上的較低分辨率樣本尺寸的幾分之一。在所示示例中，在第二投影(b)中，將較低分辨率網(wǎng)格向右移位半個(gè)(較低分辨率)樣本，即相對(duì)于參考位置(0，O)的(+?, O)的移位。在第三投影(c)中，將較低分辨率網(wǎng)格向下移位另一半個(gè)樣本，即相對(duì)于第二移位的(0，+?)的移位或者相對(duì)于參考位置的(+?, +?)的移位。在第四投影中，將較低分辨率網(wǎng)格向左移位另一半個(gè)樣本，即相對(duì)于第三投影的O)的移位或相對(duì)于參考位置的(0，+幻。這些移位一起構(gòu)成移位模式。
[0016]在圖9中，這通過(guò)參考第一投影(a)的較低分辨率樣本S(m，η)來(lái)舉例說(shuō)明，其中，m和η分別是水平