] 圖17描述了0編解碼器;
[007引圖18描述了0編解碼器;
[0079] 圖19描述了OM編解碼器;W及
[0080] 圖20描述了OM編解碼器。
【具體實(shí)施方式】
[OOW] 本發(fā)明提供了一種用于視頻壓縮的新技術(shù),其不同于如H. 264的標(biāo)準(zhǔn)的MPEG方 法,其利用先進(jìn)的計(jì)算機(jī)視覺和數(shù)學(xué)方法從編碼器和解碼器的視頻分析中獲益。例如,運(yùn)動(dòng) 領(lǐng)域的計(jì)算和物體識(shí)別,詳見參考文獻(xiàn)[1]和[7],可被用于重構(gòu)在編碼器和解碼器中的視 頻。
[0082] 圖9中描述了新的通用編解碼器(Codec)的示意圖。該編解碼器包括兩個(gè)主要 部分;編碼器巧ncoder)和解碼器值ecoder)。編碼器1000將視頻Y壓縮為比特流炬it Stream) 1100,并且解碼器1200將比特流解壓縮為重構(gòu)視頻Y。從編碼器輸出且輸入到解碼 器的比特流1100代表了壓縮的視頻。比特流可W被存儲(chǔ)在磁盤上或通過網(wǎng)絡(luò)被傳輸。貫 穿W下描述,Y和巧;均被稱為"視頻"。需要注意的是,Y是如上所述的剪輯的組成部分。
[0083] 在下文中,參見圖10描述編碼器1000,參見圖11描述比特流1100并且參見圖12 描述解碼器1200。
[0084] 編碼器1000具有如下S個(gè)階段;
[0085]第一階段StageI化)巧巧化下的N個(gè)迭代;
[0086] 定義Y。?Y。則視頻Yk是對(duì)迭代k= 0,…,N-1的輸入,而視頻YW是迭代k= 0,…,N-1的輸出。該里,視頻Yw是視頻Yk的較低分辨率的粗趟呈現(xiàn)。較低分辨率意味 著要么空間較低分辨率,時(shí)間較低分辨率,或空間和時(shí)間均較低的分辨率。將該樣的降低視 頻分辨率的操作稱為收縮(Shrink)操作。該樣的迭代的次數(shù),即N,是由編碼器確定的。
[0087]第二階段StageII(抗巧巧壓縮(Compress)和解壓縮值ecompress)操作。壓縮 操作是指如在專利[1]中所討論的用于壓縮視頻的任何方法。解壓縮操作是指從壓縮視頻 重構(gòu)原始視頻的相反的操作。令Yw表示第一階段巧)之后所得的視頻,則用Fw表示壓縮的 視頻,用表示解壓縮的視頻。值得注意的是,視頻是由壓縮方法的質(zhì)量限制的視頻Yw的重構(gòu)。在無(wú)損壓縮的情況下,重構(gòu)的視頻?N與Yw將是完全一樣的。然而,在實(shí)踐中,壓縮 過程是有損的,并且與Yw是不同的。通常,壓縮越強(qiáng),則視頻越是不同,而且越是存在失 真。好的壓縮方法在保持重構(gòu)的視頻的觀看質(zhì)量的同時(shí),盡量減少壓縮視頻的大小。進(jìn)一 步需要注意的是,壓縮視頻町被包括在比特流1100中。
[00蝴第S階段StageIII化)巧巧第一恢復(fù)(raise)操作,該操作包括如下N個(gè)反過來 的迭代:
[0089]在迭代k=N-1,…,0中,來自W前的迭代(或k=N-1的情況下的階段)的重 構(gòu)的視頻tk+l是輸入,而輸出是重構(gòu)的視頻,其與視頻Yk是相同的分辨率(空間和時(shí) 間)。因此,最終的視頻^3是最初的視頻Y。的重構(gòu),詳見上述第一階段巧)。
[0090] 為了獲得&,執(zhí)行W下的步驟:
[0091] 1)首先,將視頻&+1調(diào)整為與視頻Yk相同的分辨率的、較高分辨率的視頻4。將 恢復(fù)視頻分辨率的此操作稱為擴(kuò)展巧xpand)操作。
[0092] 2)接下來,計(jì)算視頻Yk和擴(kuò)展的視頻Ck?之間的殘差(resi化al)Rk。將計(jì)算殘差 的此操作稱為結(jié)式化esultant)操作。
[0093] 3)最后,將結(jié)式Rk壓縮為Ek。該里,再次通過壓縮,意思是如在上面的第二階段 巧)所討論的任何有效的壓縮方法。將壓縮殘差的操作稱之為編碼巧ncode)操作。進(jìn)一步 注意的是,壓縮的殘差Ek被包括在比特流1100中。
[0094] 編碼器的接下來的步驟模擬在解碼器進(jìn)行的操作:
[0095] 4)將壓縮的殘差Ek解壓縮為重構(gòu)的殘差.反k。將解壓縮被壓縮的殘差的該種操作 稱之為解碼值ecode)操作。
[0096] 5)將擴(kuò)展的視頻Gk與重構(gòu)的殘差巧k進(jìn)行合并W獲得重構(gòu)的視頻將擴(kuò)展的視 頻與重構(gòu)的殘差進(jìn)行合并的該種操作稱之為聚合(Assemble)操作。該聚合操作在某種意 義上是結(jié)式操作的反向操作。
[0097] 比特流1100包含W下組成部分:
[009引 Ctrl,編碼器已知的但解碼器未知的額外信息,其是為解壓縮所述比特流所需的。 例如,由編碼器確定的迭代的次數(shù)N,是Ctrl的一部分。還值得注意的是,Ctrl是W壓縮的 形式被發(fā)送。
[0099] 壓縮的視頻Fn。
[0100] 壓縮的殘差;Ek,k=N-1,…,0。
[0101] 解碼器1200具有如下兩個(gè)階段;
[0102] 第一階段StageI(D)巧巧化理(Process)和解壓縮值ecompress)操作。處理操 作取回(retrieve)Ctrl信息并設(shè)置必要的參數(shù),諸如解碼所需的例如迭代次數(shù)N。解壓縮 操作將町解壓縮為視頻正如在編碼器的第二階段巧)中做得那樣。
[0103] 第二階段StageII(D)巧巧第二恢復(fù)操作,該操作巧巧化下N個(gè)反過來的迭代;
[0104] 在迭代k=N-l,…,0中,來自W前的迭代(或k=N-l的情況下的階段)的重 構(gòu)的視頻而^+1是輸入,而輸出是重構(gòu)的視頻"?k。該被W下面的方式進(jìn)行(也可參見編碼器 的第=階段巧)):
[0105] 1)使用解碼操作,W將壓縮的殘差Ek解壓縮為重構(gòu)的殘差巧k。
[0106] 2)使用聚合操作,W將擴(kuò)展的視頻Ck與重構(gòu)的殘差.反k:進(jìn)行合并W獲得重構(gòu)的視 頻而。
[0107] 為了進(jìn)一步闡明本發(fā)明,在此描述通用編解碼器的一些可能的實(shí)施方式。它們是 M編解碼器、0編解碼器化及0M編解碼器。然而,值得注意的是,許多其他實(shí)施方式也是可 能的,并且不排除該些例子。
[010引不例一;多小波(M)編解碼器
[0109] M編解碼器是由如在圖13的單元1310中描述的、所謂的DMWT濾波器的nik個(gè)多小 波濾波器的相應(yīng)的集合所管理的。下面解釋其作用。
[0110] 在編碼器1000中:
[01川第一階段stageI(抗在巧代k= 0,…,N-1中,收縮操作是由低通分析濾波器 A。?來確定的。也就是說,將濾波器A應(yīng)用至YkW獲得Yw,參見圖13的單元1320。
[011引 第二階段StageII化)巧W前一樣。
[011引 第S階段StageIII化)在巧代k=N-1,…,0中;
[0114] 1)擴(kuò)展操作是由低通合成濾波器S。?來確定的。也就是說,1)將濾波器S。?應(yīng) 用至.樂k+iW獲得Gk,參見圖13的單元1330。
[0115] 2)結(jié)式操作是由化? 1高通分析濾波器
【主權(quán)項(xiàng)】
1. 一種編碼視頻的方法,包括: 接收視頻; 對(duì)接收的視頻執(zhí)行收縮操作,所述收縮操作包括: 從所述視頻創(chuàng)建第一較低分辨率視頻;以及 依次地創(chuàng)建另外的N-I個(gè)較低分辨率視頻,另外的較低分辨率視頻中的每一個(gè)都是從 前一個(gè)較低分辨率視頻創(chuàng)建的; 壓縮最低分辨率視頻; 通過解壓縮最低分辨率壓縮視頻來創(chuàng)建最低分辨率重構(gòu)視頻; 對(duì)最低分辨率重構(gòu)視頻執(zhí)行第一恢復(fù)操作,所述第一恢復(fù)操作包括依次地創(chuàng)建N個(gè)較 高分辨率重構(gòu)視頻,較高分辨率重構(gòu)視頻中的每一個(gè)都是從前一個(gè)較低分辨率重構(gòu)視頻通 過以下步驟來創(chuàng)建的: 從較低分辨率重構(gòu)視頻創(chuàng)建較高分辨率視頻; 計(jì)算相應(yīng)的較低分辨率視頻和創(chuàng)建的較高分辨率視頻之間的殘差; 壓縮所計(jì)算出的殘差; 解壓縮被壓縮的殘差;以及 將解壓縮的殘差與創(chuàng)建的較高分辨率視頻合并,以生成相應(yīng)的較高分辨率重構(gòu)視頻; 以及 提供比特流,所述比特流包括最低分辨率壓縮視頻、壓縮的殘差以及包括N的控制信 息。
2. 根據(jù)權(quán)利要求1所述的方法,其中,所述比特流包括低通分析濾波器,并且其中,創(chuàng) 建較低分辨率視頻包括將低通