專利名稱：一種基于分形和h.264的雙目立體視頻壓縮與解壓縮方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻壓縮編碼領(lǐng)域，涉及雙目立體視頻的壓縮編碼，在保證峰值信噪比PSNR基本保持不變的前提下，極大地降低了運算復(fù)雜度和提高壓縮比，為雙目立體視頻編碼的實時性應(yīng)用奠定了基礎(chǔ)，進(jìn)一步提高了分形視頻壓縮編碼的性能。
背景技術(shù)：
與以往的視頻編碼標(biāo)準(zhǔn)相比，H. 264具有更好的壓縮性能以及面向網(wǎng)絡(luò)傳輸?shù)摹坝押眯浴?。H. 264優(yōu)秀的壓縮性能是多種新技術(shù)產(chǎn)生效果的積累所致(參見 Wiegand T Sullivan, G J Bjontegard G,et al. Overview of the H. 264/AVCvideo coding standard[J]·IEEE Transaction on Circuits and Systems VideoTechnology, 2003，13 (7) :560-576.)，(參見 Richardson E G. H. 264 and MPEG-4video compression video coding for next generation multimedia[M]. Johnffiley&Sons, 2003.)，包括4X4的整數(shù)變換、多種宏塊分割模式、多參考幀和1/4像素精度的運動補償?shù)?。新技術(shù)的應(yīng)用使其具有更高的編碼性能，但隨之而來的是運算復(fù)雜度的大幅度增加。近年來陸續(xù)提出了許多對其進(jìn)行簡化和優(yōu)化的方法。在以往的研究中多是從幀間宏塊分割模式選擇(參見聞俊海，楊鼎才，王喜民.H. 264幀間模式快速預(yù)測方法研究[J].微處理機，2010，31 (1) :67-70.)，(參見 L. Yang, Y. Keman, J. Li, S. L1. An effectivevariable block-size early termination algorithm for H. 264video coding[J].1EEETransactions on Circuits and Systems for Video Technology, 2005, 15(6):784-788.)和運動估計(參見 E. A. Al Qaralleh, T. -S. Chang. Fast variable block size motionestimation by adaptive early termination[J].1EEE Transactions on Circuits andSystems for Video Technology，2006，16 (8) : 1021-1026.)，(參見李桂菊，劉剛，梁靜秋.H. 264快速運動估計方法的改進(jìn)[J]·光學(xué)精密工程，2010，18(11) :2489-2496.)，預(yù)測模式選擇(參見 Y. H. Moon, G. Y. Kimj J. H. Kim. An improved early detection algorithmfor all-zero blocks in H. 264 video encoding[J].1EEE Transactions on Circuitsand Systems for Video Technology, 2005，15 (8) : 1053-1057.)，(參見 J. You, W. Kimj J.Jeong. 16X 16macroblock partition size prediction for H. 264 P slices [J].1EEETransactions on Consumer Electronics, 2006，52(4) : 1377-1383.)等方面對 Η. 264 中消耗時間最多的幀間預(yù)測環(huán)節(jié)進(jìn)行分析和改進(jìn)，可以達(dá)到降低編碼復(fù)雜度的效果，但是有進(jìn)一步提1 的可能性。分形理論最初由Mandelbrot于上世紀(jì)70年代提出(參見Benuu B. Mandelbrot.The Fractal Geometry of Nature[M]. New York:W. H. Freeman and Company，1982.)。分形編碼的數(shù)學(xué)基礎(chǔ)是迭代函數(shù)系統(tǒng)(IFS)理論。Barnsley首先將分形編碼用于交互式圖像壓縮(參見 Michael F. Barnsley, A lan D. Sloan. A better way to compress image [J].Byte Magazine，1988，13(1) :215-233. ) Jacqain提出了全自動的分形圖像壓縮方法(參見 Arnaud E. Jacquin. A novel fractal blocking-coding technique for digitalimage[A].1EEE International Conference on Acoustics, Speech and Signal Processing[C], 1990，4:2225-2228.),(參見 Arnaud E. Jacquin. Fractal image coding:areview [J]. Proceeding of the IEEE, 1993，81 (10) : 1451-1465.),該方法米用基于圖像分塊的方式以局部的仿射變換代替全局的仿射變換。之后，F(xiàn)isher利用四叉樹改進(jìn)了這一方法(參見 Y. Fisher. Fractal Image Compression [J]. Fractals, 1994, 2 (3) : 347-361.),(參見 Y. Fisher, E. ff. Jacobs.1mage compression:A study the iterated transformmethod [J]. Signal Processing, 1992，29 (3)，251-263.),(參見 Y. Fisher. FractalImage Compression:Theory and application to digital images [M]. NewYork: Spring-Verlag, 1995，55-77.)，大大提高了編碼效率，并成為目前分形圖像編碼中的主流方法。在此基礎(chǔ)之上，一些學(xué)者和研究人員把分形圖像壓縮的方法應(yīng)用到視頻序列的壓縮上。Meiqing Wang等提出了綜合基于數(shù)據(jù)立方體和基于幀的分形視頻壓縮方法(參見 Meiqing Wang, Cho1-Hong La1. A hybrid fractal video compression method[J].Computers&Mathematics with Applications, 2005，50 (3-4):611-621.),(參見 MeiqingWang, Zhehuang Huang, Cho1-Hong La1. Matching search in fractal video compressionand its parallel implementation in distributed computing environments[J].Applied Mathematical Modeling, 2006，30 (8) :677-687.),(參見 Meiqing Wang, RongLiu, Cho1-Hong La1. Adaptive partition and hybrid method in fractal videocompression[J]. Computers&Mathematics with Applications, 2006, 51 (11):1715-1726·)。其中最為經(jīng)典和影響較大的參見(C. S. Kim，R.C. Kim, S. U. Lee. Fractal coding ofvideo sequence using circular prediction mapping and noncontractive interframemapping [J].1EEE Transactions on Image Processing, 1998，7 (4) : 601-605. X 該方法米用類似于標(biāo)準(zhǔn)視頻編碼方法所采用的運動估計/補償技術(shù)，該方法利用了相鄰幀之間的時間強相關(guān)性，對視頻序列壓縮取得了較好的效果。在CPM和NCIM中，子塊域中的每個圖像塊都由來自相鄰幀相同大小的 父塊域通過運動補償?shù)玫?。CPM和NCM兩者間最大的不同在于CPM在解碼的過程中需要具備收斂性，而NCIM不需要。但是在循環(huán)預(yù)測編碼(CPM)方法中，為了保證起始幀經(jīng)過自身的循環(huán)解碼能夠近似收斂到原來的圖像，壓縮過程需要經(jīng)過復(fù)雜變換、搜索和迭代等，壓縮時間和圖像質(zhì)量難以達(dá)到要求。目前典型的分形圖像和視頻壓縮方法的運算量很大，編碼速度較慢，并且解碼的質(zhì)量有待提高，使得分形圖像和視頻壓縮方法還需要進(jìn)一步的改進(jìn)和提高。隨著多媒體技術(shù)的不斷發(fā)展，多視點視頻因其具有單目視頻無法比擬的優(yōu)越性漸漸成為研究的熱點。而雙目立體視頻是多視點視頻中應(yīng)用最為廣泛的一種形式，它增加了場景的深度信息，使欣賞到的圖像有強烈的現(xiàn)實感和逼真感，可以應(yīng)用于立體電視，遠(yuǎn)程教育，遠(yuǎn)程工業(yè)控制，遠(yuǎn)程醫(yī)學(xué)診斷和虛擬現(xiàn)實等眾多領(lǐng)域(參見A Schertz. Source codingof stereoscopic television pictures[A]. Proceedings of the IEEE InternationalConference on Image Processing and its Applications[C]. Maastricht, TheNetherlands, 1992,462-464)。雙目立體視頻是利用人眼睛的雙目視差原理，雙目各自獨立地接收來自同一場景的特定攝像點的左右圖像，左眼看偏左的圖像，右眼看偏右的圖像，形成雙目視差，大腦能得到圖像的深度信息，使欣賞到的圖像有強烈深度感、逼真感，觀眾能欣賞到超強的立體視覺效果。但是相對于單目視頻，雙目立體視頻系統(tǒng)必須傳輸和存儲翻番的數(shù)據(jù)量，所以必須對其進(jìn)行有效地壓縮。(參見Shigang Wang, Xuejun Wang, HexinChen.Stereoscopic video compression coding based on H. 264[J]. Chinese Journal ofStereology and Image Analysis, 2008, 13 (I):11-16)在雙目立體視頻編碼過程中，不但要考慮各通道內(nèi)前后幀圖像之間的時域相關(guān)性和幀內(nèi)圖像的空域相關(guān)性，還要充分利用通道之間的空域相關(guān)性進(jìn)行編碼。前者可以利用運動補償預(yù)測(MCP)去除冗余，后者可以采用視差補償預(yù)測(DCP)去除通道間冗余。DCP與MCP相比要復(fù)雜的多，其中的關(guān)鍵技術(shù)是視差匹配。Michael E. Lukaces是雙目立體視頻編碼的早期研究者，他探索了將視差補償(DC-based)(指使用雙目視差關(guān)系在兩幅圖像之間建立對應(yīng))用于從雙目立體視頻序列中的一個視頻序列預(yù)測另一個視頻序列，并提出了多種基于視差補償?shù)姆椒?參見Lukacs M E. Predictivecoding of mult1-viewpoint image sets [A].1EEE International Conference onAcoustics, Speech and Signal Processing[C]，1986，521-524)。Perkins 將基于視差補償?shù)姆椒w納為一種條件編碼方法，對于無損編碼來說是最優(yōu)的，對于有損編碼則是次優(yōu)的(參見 Perkins M G. Data compression of stereo pairs [J].1EEE Transactions on Communications, 1992, 40 (4) : 684-696)。Tzovaras等人提出了視差估計的分層塊匹配以及運動視差雙向補償方法，稱之為聚合估計(參見Tzovaras D, Grammalidis N, Strintzis MG.Object-based coding of stereoscopic image sequences using joint 3D motion/disparity segmentation[A]. Proceedings of SPIE:Visual Communication and ImageProcessing[C]，1995, 1678-1689)。另外Franich還提出了基于通用塊匹配方法的視差估計方法，并引入一種平滑檢測手段來評價視差匹配好壞(參見Franich R E H, LagendijkR L, Biemond J. Stereo-enhanced displacement estimation by genetic blockmatching[A]. Proceedings of SPIE:Volume 2094-Visual Communications and ImageProcessing[C]· Cambridge, MA, USA, 1993，362-371)。Siram Sethuramn 以及 M. Siegel等人提出了基于視差和運動的可變塊四叉樹多分辨率分割方法，針對基于MPEG視頻編碼標(biāo)準(zhǔn)的雙目立體視頻 流的編碼，按在解碼端是否有合成中間視圖的需要，提出了兩個雙目立體視頻流的混合分辨率編碼方法(參見Sethuraman S，Siegel M ff, Jordan A
G.Segmentation based coding of stereoscopic image sequences[A]. Proceedings ofSPIE:Volume 2668-Digital Video Compression:Algorithms and Technologies[C].San Jose, CA，USA, 1996,420-429)。常用的雙目立體視頻編碼方案有獨立MCP (MotionCompensated Prediction)編碼，層間 DCP (Disparity Compensated Prediction)編碼和MCP與DCP相結(jié)合編碼。其中在MCP與DCP相結(jié)合編碼中，基本層采用獨立MCP編碼，增強層采用MCP與DCP兩種方式進(jìn)行預(yù)測，從中選擇誤差較小的一種作為預(yù)測結(jié)果。

發(fā)明內(nèi)容
本發(fā)明提出了一種基于分形和H. 264雙目立體視頻壓縮與解壓縮方法。其中以左通道為基本層和右通道為增強層分別進(jìn)行編碼。首先對左目的起始幀(I幀)采用基于
H.264的幀內(nèi)預(yù)測編碼，濾波后得到重建幀(作為基本層和增強層的相關(guān)幀的參考幀)，然后對左目的P幀進(jìn)行塊運動補償預(yù)測(MCP)編碼，計算與子塊域和父塊域相關(guān)子塊的像素和與像素平方和，同時計算分?jǐn)?shù)像素內(nèi)插值對應(yīng)塊的像素和、像素平方和，在前一幀重建幀搜索窗中尋找最相似的匹配塊，記錄塊每次最匹配過程的分形參數(shù)，將分形參數(shù)分別代入壓縮迭代函數(shù)系統(tǒng)中得到P幀的預(yù)測幀，濾波后得到重建幀。右通道作為增強層，起始幀采用視差補償預(yù)測(DCP)的方式從基本層的I幀進(jìn)行預(yù)測；而P幀采用MCP和DCP兩種方式，選擇誤差最小的作為預(yù)測結(jié)果進(jìn)行編碼。利用熵編碼CALCV壓縮I幀和P幀的殘差幀和利用有符號指數(shù)哥倫布編碼壓縮分形參數(shù)。一種基于分形和H. 264的雙目立體視頻壓縮編碼方法，包括以下步驟步驟一如果是右目，轉(zhuǎn)到步驟六。如果是左目，若是P幀，轉(zhuǎn)到步驟二 ;若是I幀(第一幀必須為I幀，其它幀可以設(shè)置是否為I幀)，采用基于H. 264的幀內(nèi)預(yù)測編碼方式，對于每個當(dāng)前塊在各種可能的預(yù)測方式中選擇具有最小代價的預(yù)測模式存儲，完成所有塊的預(yù)測后可以得到I幀的預(yù)測幀。通過原始幀和預(yù)測幀之差得到編碼端殘差幀。殘差圖像的數(shù)據(jù)經(jīng)過DCT、量化之后的系數(shù)進(jìn)行Zig-Zag掃描，然后用熵編碼CALVC進(jìn)行編碼寫入碼流。預(yù)測幀和解碼端殘差幀之和濾波后得到重建圖像(可作為參考幀)。判斷當(dāng)前幀是否為最后一幀，如果是最后一幀則結(jié)束編碼，如果不是最后一幀則返回步驟一開始下一幀的編碼。所述I幀為視頻序列起始幀或者視頻序列中只進(jìn)行幀內(nèi)編碼的圖像幀。步驟二 若是左目的P幀，用常規(guī)分形的運動補償預(yù)測(MCP)編碼，在進(jìn)行塊匹配之前，首先對該幀進(jìn)行互不重疊的宏塊劃分，然后計算這些宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，以及左目前一幀重建圖像即參考幀中，按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，同時計算分?jǐn)?shù)像素內(nèi)插值對應(yīng)塊的像素和、像素平方和，轉(zhuǎn)到步驟三。所述P幀為視頻序列中通過其它已編碼幀進(jìn)行預(yù)測的圖像幀；所述將當(dāng)前幀劃分為固定大小的互不重疊的圖像塊稱為宏塊；所述將當(dāng)前宏塊進(jìn)行樹狀劃分得到的塊稱為小塊；所述當(dāng)前幀為正在進(jìn)行壓縮的幀，所述參考幀為當(dāng)前幀的已經(jīng)編碼并重建的前一幀；所述當(dāng)前幀所有塊的集合稱為子塊域；所述前一幀的所有塊的集合稱為父塊域；所述塊DCT變換中的塊采用固定大小模式。步驟三依次對當(dāng)前幀的 所有宏塊進(jìn)行編碼，在參考幀的搜索窗內(nèi)首先對該宏塊進(jìn)行塊匹配；在進(jìn)行子塊與父塊的匹配過程中，子塊的位置作為父塊的起始搜索點，父塊的大小與子塊的大小相同。利用基于運動矢量場的自適應(yīng)六邊形搜索方法，然后利用分?jǐn)?shù)像素塊匹配，搜索分?jǐn)?shù)像素內(nèi)插值對應(yīng)小塊處的RMS點，搜索出最佳的匹配誤差RMS。如果匹配誤差RMS小于開始設(shè)定的閾值Y，保存當(dāng)前的迭代函數(shù)系統(tǒng)系數(shù)即IFS系數(shù)，轉(zhuǎn)入步驟五得到本塊的重建塊；否則，依次按照樹狀結(jié)構(gòu)對該塊進(jìn)行劃分，并對各個劃分得到的小塊利用分?jǐn)?shù)像素塊匹配和基于運動矢量場的自適應(yīng)六邊形搜索方法，分別計算匹配誤差RMS，如果RMS小于設(shè)定閾值Y，則停止劃分并記錄該小塊IFS系數(shù)，轉(zhuǎn)入步驟五得到本塊的重建塊；否則繼續(xù)劃分，直到將當(dāng)前塊劃分為預(yù)先設(shè)定的最小塊，記錄IFS系數(shù)；轉(zhuǎn)入步驟五得到本塊的重建塊；所述搜索窗為在參考幀中的矩形搜索區(qū)域；所述IFS系數(shù)包括父塊位置(X，y)和比例因子S、偏移因子ο ;如果當(dāng)前幀所有的宏塊都已編碼完畢，所有的重建塊組成重建圖像(即下一幀的參考幀)。如果且是左目，則轉(zhuǎn)到步驟四；若是右目，則執(zhí)行步驟七。步驟四殘差圖像的數(shù)據(jù)經(jīng)過DCT、量化之后的系數(shù)進(jìn)行Zig-Zag掃描，然后用熵編碼CALVC進(jìn)行編碼寫入碼流。如果是P幀則還要對所有IFS系數(shù)進(jìn)行有符號指數(shù)哥倫布編碼。判斷當(dāng)前幀是否為最后一幀，如果是最后一幀結(jié)束編碼；否則，返回步驟一繼續(xù)處理下一幀圖像。
步驟五通過保存的IFS系數(shù)代入解碼方程計算得到預(yù)測值，由原始塊和預(yù)測塊之差得到編碼端殘差塊，再將預(yù)測塊和解碼端殘差塊之和得到重建塊。注解碼端殘差塊是由編碼端殘差塊經(jīng)過DCT變換、量化、反量化和反DCT變換得到的。轉(zhuǎn)回步驟三編碼下一宏塊。步驟六對右目圖像，首先進(jìn)行互不重疊的宏塊劃分，然后計算這些宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，以及右目前一幀重建圖像參考幀，按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，同時計算分?jǐn)?shù)像素內(nèi)插值對應(yīng)塊的像素和、像素平方和，以減少塊匹配過程中的重復(fù)計算，轉(zhuǎn)到步驟三。步驟七計算左目中對應(yīng)幀圖像的參考幀，按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，同時計算分?jǐn)?shù)像素內(nèi)插值對應(yīng)塊的像素和、像素平方和，以減少塊匹配過·程中的重復(fù)計算。轉(zhuǎn)到步驟八。步驟八首先對與當(dāng)前子塊位置相同的父塊進(jìn)行塊匹配，得到RMS，并保存迭代函數(shù)系統(tǒng)系數(shù)，該系數(shù)包括父塊與子塊的相對位移矢量(X，y)，比例因子S和偏移因子O ;依次對當(dāng)前幀的所有宏塊進(jìn)行編碼，在父塊域中的搜索窗內(nèi)首先對該宏塊進(jìn)行塊匹配；在進(jìn)行子塊與父塊的匹配過程中，子塊的位置作為父塊的起始搜索點，父塊的大小與子塊的大小相同并轉(zhuǎn)入步驟九，執(zhí)行完步驟九返回之后，如果所得的匹配誤差RMS小于開始設(shè)定的閾值Y，則保存當(dāng)前的迭代函數(shù)系統(tǒng)系數(shù)即IFS系數(shù)，轉(zhuǎn)入步驟八編碼下一宏塊；否則，依次按照樹狀結(jié)構(gòu)對該塊進(jìn)行劃分，并對各個劃分得到的小塊分別轉(zhuǎn)入步驟九，執(zhí)行完步驟九返回之后計算匹配誤差RMS，如果RMS小于設(shè)定閾值Y，則停止劃分并記錄該小塊IFS系數(shù)，轉(zhuǎn)入步驟八編碼下一宏塊；否則繼續(xù)劃分，直到將當(dāng)前塊劃分為預(yù)先設(shè)定的最小塊，轉(zhuǎn)入步驟九計算RMS，執(zhí)行完步驟九返回之后記錄IFS系數(shù)，轉(zhuǎn)入步驟八編碼下一宏塊；最后與步驟六所得結(jié)果比較，選擇誤差最小的作為預(yù)測結(jié)果；所述搜索窗為在參考幀中的矩形搜索區(qū)域；所述IFS系數(shù)包括父塊位置(X，y)和比例因子S、偏移因子0 ;如果當(dāng)前幀所有的宏塊都已編碼完畢，則轉(zhuǎn)到步驟十；步驟九充分利用分?jǐn)?shù)像素塊匹配和視差分布約束條件將上一個視差估計矢量作為為當(dāng)前幀的搜索中心，在水平方向沿初始點的右側(cè)進(jìn)行搜索，在搜索過程中進(jìn)行跳躍式搜索；點匹配完之后，向右間隔三個點進(jìn)行搜索，進(jìn)行比較，直到找到最小的RMS ;然后對分?jǐn)?shù)像素位置進(jìn)行相同的操作，比較得到更小的RMS，結(jié)束DCP搜索過程；步驟十殘差圖像的數(shù)據(jù)經(jīng)過DCT、量化之后的系數(shù)進(jìn)行Zig-Zag掃描，然后用熵編碼CALVC進(jìn)行編碼寫入碼流。如果是P幀則還要對所有IFS系數(shù)進(jìn)行有符號指數(shù)哥倫布編碼；判斷當(dāng)前幀是否為最后一幀，如果是最后一幀結(jié)束編碼；否則，返回步驟一繼續(xù)處理下一幀圖像。所述一種基于分形和H. 264的雙目立體視頻壓縮編碼方法，處理的視頻序列為YUV格式，分別對3個分量中的每個采用上述十個步驟進(jìn)行處理。所述步驟三中對宏塊采用樹狀劃分，塊匹配采用匹配誤差準(zhǔn)則，子塊與父塊的匹配誤差RMS為
權(quán)利要求
1.一種基于分形和H. 264的雙目立體視頻壓縮編碼方法，其特征在于左目I幀采用基于H. 264的幀內(nèi)預(yù)測進(jìn)行編碼，P幀采用分形的MCP方法編碼；右目首幀采用視差補償預(yù)測(DCP)的方式從基本層的I幀進(jìn)行預(yù)測，其它幀采用右目前一幀為參考幀的分形MCP方法和左目相同幀號的幀為參考幀進(jìn)行分形的DCP方法選擇最優(yōu)進(jìn)行預(yù)測編碼；殘差幀經(jīng)過 DCT變換、量化之后使用熵編碼CALVC寫入碼流；P幀形成的分形參數(shù)使用有符號指數(shù)哥倫布編碼寫入碼流；具體步驟如下步驟一如果是右目，轉(zhuǎn)到步驟六。如果是左目，若是P幀，轉(zhuǎn)到步驟二 ；若是I幀(第一幀必須為I幀，其它幀可以設(shè)置是否為I幀)，采用基于H. 264的幀內(nèi)預(yù)測編碼方式，對于每個當(dāng)前塊在各種可能的預(yù)測方式中選擇具有最小代價的預(yù)測模式存儲，完成所有塊的預(yù)測后可以得到I幀的預(yù)測幀。通過原始幀和預(yù)測幀之差得到編碼端殘差幀。殘差圖像的數(shù)據(jù)經(jīng)過DCT、量化之后的系數(shù)進(jìn)行Zig-Zag掃描，然后用熵編碼CALVC進(jìn)行編碼寫入碼流。預(yù)測幀和解碼端殘差幀之和濾波后得到重建圖像(可作為參考幀)。判斷當(dāng)前幀是否為最后一幀，如果是最后一幀則結(jié)束編碼，如果不是最后一幀則返回步驟一開始下一幀的編碼。所述 I幀為視頻序列起始幀或者視頻序列中只進(jìn)行幀內(nèi)編碼的圖像幀。步驟二 若是左目的P幀，用常規(guī)分形的運動補償預(yù)測(MCP)編碼，在進(jìn)行塊匹配之前， 首先對該幀進(jìn)行互不重疊的宏塊劃分，然后計算這些宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，以及左目前一幀重建圖像即參考幀中，按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，同時計算分?jǐn)?shù)像素內(nèi)插值對應(yīng)塊的像素和、像素平方和，轉(zhuǎn)到步驟三。所述P幀為視頻序列中通過其它已編碼幀進(jìn)行預(yù)測的圖像幀；所述宏塊為將當(dāng)前幀劃分為固定大小的互不重疊的圖像塊；所述小塊為將當(dāng)前宏塊進(jìn)行樹狀劃分得到的塊；所述當(dāng)前幀為正在進(jìn)行壓縮的幀，所述參考幀為本目或相鄰目中已經(jīng)編碼并重建的一幀；所述當(dāng)前幀所有塊的集合稱為子塊域；所述前一幀的所有塊的集合稱為父塊域；所述塊DCT變換中的塊采用固定大小模式。步驟三依次對當(dāng)前幀的所有宏塊進(jìn)行編碼，在參考幀的搜索窗內(nèi)首先對該宏塊進(jìn)行塊匹配；在進(jìn)行子塊與父塊的匹配過程中，子塊的位置作為父塊的起始搜索點，父塊的大小與子塊的大小相同。利用基于運動矢量場的自適應(yīng)六邊形搜索方法，然后利用分?jǐn)?shù)像素塊匹配，搜索分?jǐn)?shù)像素內(nèi)插值對應(yīng)小塊處的RMS點，搜索出最佳的匹配誤差RMS。如果匹配誤差RMS小于開始設(shè)定的閾值Y，保存當(dāng)前的迭代函數(shù)系統(tǒng)系數(shù)即IFS系數(shù)，轉(zhuǎn)入步驟五得到本塊的重建塊；否則，依次按照樹狀結(jié)構(gòu)對該塊進(jìn)行劃分，并對各個劃分得到的小塊利用分?jǐn)?shù)像素塊匹配和基于運動矢量場的自適應(yīng)六邊形搜索方法，分別計算匹配誤差RMS，如果 RMS小于設(shè)定閾值Y，則停止劃分并記錄該小塊IFS系數(shù)，轉(zhuǎn)入步驟五得到本塊的重建塊； 否則繼續(xù)劃分，直到將當(dāng)前塊劃分為預(yù)先設(shè)定的最小塊，記錄IFS系數(shù)；轉(zhuǎn)入步驟五得到本塊的重建塊；所述搜索窗為在參考幀中的矩形搜索區(qū)域；所述IFS系數(shù)包括父塊位置(X，y) 和比例因子S、偏移因子ο;如果當(dāng)前幀所有的宏塊都已編碼完畢，所有的重建塊組成重建圖像(可作為參考幀)。如果且是左目，則轉(zhuǎn)到步驟四；若是右目，則執(zhí)行步驟七。步驟四殘差圖像的數(shù)據(jù)經(jīng)過DCT、量化之后的系數(shù)進(jìn)行Zig-Zag掃描，然后用熵編碼 CALVC進(jìn)行編碼寫入碼流。如果是P幀則還要對所有IFS系數(shù)進(jìn)行有符號指數(shù)哥倫布編碼。 判斷當(dāng)前幀是否為最后一幀，如果是最后一幀結(jié)束編碼；否則，返回步驟一繼續(xù)處理下一幀圖像。步驟五通過保存的IFS系數(shù)代入解碼方程計算得到預(yù)測值，由原始塊和預(yù)測塊之差得到編碼端殘差塊，再將預(yù)測塊和解碼端殘差塊之和得到重建塊。注解碼端殘差塊是由編碼端殘差塊經(jīng)過DCT變換、量化、反量化和反DCT變換得到的。轉(zhuǎn)回步驟三編碼下一宏塊。步驟六對右目圖像，首先進(jìn)行互不重疊的宏塊劃分，然后計算這些宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，以及右目前一幀重建圖像參考幀，按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，同時計算分?jǐn)?shù)像素內(nèi)插值對應(yīng)塊的像素和、像素平方和，以減少塊匹配過程中的重復(fù)計算，轉(zhuǎn)到步驟三；步驟七計算左目中對應(yīng)幀圖像的參考幀，按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，同時計算分?jǐn)?shù)像素內(nèi)插值對應(yīng)塊的像素和、像素平方和，以減少塊匹配過程中的重復(fù)計算。轉(zhuǎn)到步驟八。步驟八首先對與當(dāng)前子塊位置相同的父塊進(jìn)行塊匹配，得到RMS，并保存迭代函數(shù)系統(tǒng)系數(shù)，該系數(shù)包括父塊與子塊的相對位移矢量(X，y)，比例因子s和偏移因子ο ;依次對當(dāng)前幀的所有宏塊進(jìn)行編碼，在父塊域中的搜索窗內(nèi)首先對該宏塊進(jìn)行塊匹配；在進(jìn)行子塊與父塊的匹配過程中，子塊的位置作為父塊的起始搜索點，父塊的大小與子塊的大小相同并轉(zhuǎn)入步驟九，執(zhí)行完步驟九返回之后，如果所得的匹配誤差RMS小于開始設(shè)定的閾值Y， 則保存當(dāng)前的迭代函數(shù)系統(tǒng)系數(shù)即IFS系數(shù)，轉(zhuǎn)入步驟八編碼下一宏塊；否則，依次按照樹狀結(jié)構(gòu)對該塊進(jìn)行劃分，并對各個劃分得到的小塊分別轉(zhuǎn)入步驟九，執(zhí)行完步驟九返回之后計算匹配誤差RMS，如果RMS小于設(shè)定閾值Y，則停止劃分并記錄該小塊IFS系數(shù)，轉(zhuǎn)入步驟八編碼下一宏塊；否則繼續(xù)劃分，直到將當(dāng)前塊劃分為預(yù)先設(shè)定的最小塊，轉(zhuǎn)入步驟九計算RMS，執(zhí)行完步驟九返回之后記錄IFS系數(shù)，轉(zhuǎn)入步驟八編碼下一宏塊；最后與步驟六所得結(jié)果比較，選擇誤差最小的作為預(yù)測結(jié)果；所述搜索窗為在參考幀中的矩形搜索區(qū)域； 所述IFS系數(shù)包括父塊位置(X，y)和比例因子S、偏移因子ο ;如果當(dāng)前幀所有的宏塊都已編碼完畢，則轉(zhuǎn)到步驟十；步驟九充分利用分?jǐn)?shù)像素塊匹配和視差分布約束條件將上一個視差估計矢量作為為當(dāng)前幀的搜索中心，在水平方向沿初始點的右側(cè)進(jìn)行搜索，在搜索過程中進(jìn)行跳躍式搜索；點匹配完之后，向右間隔三個點進(jìn)行搜索，進(jìn)行比較，直到找到最小的RMS ;然后對分?jǐn)?shù)像素位置進(jìn)行相同的操作，比較得到更小的RMS，結(jié)束DCP搜索過程；步驟十殘差圖像的數(shù)據(jù)經(jīng)過DCT、量化之后的系數(shù)進(jìn)行Zig-Zag掃描，然后用熵編碼 CALVC進(jìn)行編碼寫入碼流。如果是P幀則還要對所有IFS系數(shù)進(jìn)行有符號指數(shù)哥倫布編碼； 判斷當(dāng)前幀是否為最后一幀，如果是最后一幀結(jié)束編碼；否則，返回步驟一繼續(xù)處理下一幀圖像。
2.根據(jù)權(quán)利要求1所述一種基于分形和H.264的雙目立體視頻壓縮編碼方法，其特征在于處理的視頻序列為YUV格式，分別對3個分量中的每個采用上述十個步驟進(jìn)行處理。
3.根據(jù)權(quán)利要求1所述一種基于分形和H.264的雙目立體視頻壓縮編碼方法，其特征在于所述步驟三中基于運動矢量場的自適應(yīng)六邊形搜索方法，充分根據(jù)分形編碼的特點， 具體如下I)在小十字模式中的五個搜索點中搜索最小匹配誤差所在點；應(yīng)用塊匹配準(zhǔn)則搜索， 如果最小匹配誤差點在小十字模式的中心，此時即得到最終要求的最佳匹配誤差；否則，轉(zhuǎn)入步驟2)；2)以步驟I)搜索到的最小匹配誤差點為中心構(gòu)造新的小十字模式，應(yīng)用塊匹配準(zhǔn)則， 搜尋3個新的搜索點；再搜索最小匹配誤差點，如果搜索到的最小匹配誤差點在小十字模式的中心，即得到最終要求的最佳匹配誤差；否則，進(jìn)入步驟3)；3)搜索大十字模式3個還沒有搜索到的點，應(yīng)用塊匹配準(zhǔn)則，搜索新的最小匹配誤差點，以作為下一步搜索的中心；4)以上一步的最小匹配誤差點為中心，構(gòu)造六邊形搜索模式，應(yīng)用塊匹配準(zhǔn)則搜索，找出新的最小匹配誤差點，如果該點在六邊形的中心，進(jìn)入步驟5);否則，繼續(xù)步驟4)，直到最小匹配誤差點在六邊形的中心；5)以步驟4)所搜索到的位于六邊形的中心的最小匹配誤差點為中心，構(gòu)造小十字搜索模式，應(yīng)用塊匹配準(zhǔn)則搜索，找出最小匹配誤差點，即得到最終要求的最佳匹配誤差。
4.根據(jù)權(quán)利要求1所述一種基于分形和H.264的雙目立體視頻壓縮編碼方法，其特征在于所述步驟四中P幀中分形系數(shù)的編碼包括以下三個步驟.1)如果當(dāng)前塊是處于左目I幀后的第一個P幀內(nèi)，且是P幀的第一塊，則按照有符號的指數(shù)哥倫布編碼方式編碼預(yù)測P幀所產(chǎn)生的所有分形系數(shù)；.2)如果當(dāng)前塊是處于左目I幀后的第一個P幀內(nèi)，但是不是P幀的第一塊，則編碼當(dāng)前塊與前一塊的分形系數(shù)之差。如果當(dāng)前塊與前一塊的預(yù)測方式不同，則按照4X4塊的劃分方式編碼；.3)如果當(dāng)前塊不是處于左目I幀后的第一個P幀內(nèi)，則編碼當(dāng)前塊與前一幀相同位置塊的分形系數(shù)之差。如果兩者的預(yù)測方式不同，則按照4X4塊的劃分方式編碼；.4)如果當(dāng)前塊是處于右目的幀內(nèi)，則編碼當(dāng)前塊與中間目相同位置塊的分形系數(shù)之差。如果兩者的預(yù)測方式不同，則按照4X4塊的劃分方式編碼。
5.根據(jù)權(quán)利要求1所述一種基于分形和H.264的雙目立體視頻壓縮編碼方法，其特征在于所述步驟六中對宏塊采用樹狀劃分，塊匹配采用匹配誤差準(zhǔn)則，子塊與父塊的匹配誤差RMS為
6.根據(jù)權(quán)利要求1所述一種基于分形和H. 264的雙目立體視頻壓縮編碼方法，其特征在于所述步驟九中視差分布約束條件如下，以右目為例I)外極線約束；對于左目中的圖像上的一點，通過相對定向參數(shù)找出右目中的圖像上與其對應(yīng)的極線，其對應(yīng)點在上述極線上搜索；對于平行系統(tǒng)的視差搜索，只需沿掃描線， 進(jìn)行χ方向的搜索即可；最佳匹配點位于偏振線上即水平線上；在立體平行攝像系統(tǒng)中，沿水平方向進(jìn)行DCP搜索；兩攝像機在同一時刻觀看空間同一特征點P (χ。，y。，z。)，在左目中的圖像和右目中的圖像的坐標(biāo)分別為 Pleft= (cleft, Yleft)，Pright= (Xright, Yright);其中點 P(x。，y。，Zc)與兩個光心所確定的平面稱為偏振平面，偏振平面與左右圖像的交線稱為偏振線；由幾何關(guān)系得到，其中 f表示攝像機的焦距，B為兩攝像機的投影中心連線的距離，即基線距，z。為世界坐標(biāo)系下特征點P的Z坐標(biāo)
7.一種基于分形和H. 264的雙目立體視頻解壓縮方法，包含以下步驟步驟1:首先從碼流信息中讀入系統(tǒng)信息，包括壓縮幀數(shù)，每幀圖像的寬和高，I幀壓縮質(zhì)量和插入I幀的間隔；步驟I1:判斷是否為左目，如果不是轉(zhuǎn)入步驟V，如果是則判斷解碼幀是否為I幀，若是I幀轉(zhuǎn)入步驟III，否則轉(zhuǎn)入步驟IV ；步驟II1:對于I幀，讀入碼流得到I幀的殘差幀數(shù)據(jù)，經(jīng)過反量化和反變換得到解碼端殘差幀，再與解碼端預(yù)測幀進(jìn)行相加濾波之后得到重建幀，幀數(shù)加一轉(zhuǎn)入步驟珊;步驟IV :對于P幀，計算左目前一幀中按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，然后從碼流中讀入該幀所有宏塊的劃分方式、每一個小塊的迭代函數(shù)系統(tǒng)系數(shù)和殘差幀數(shù)據(jù)，其中由各迭代函數(shù)系統(tǒng)系數(shù)分別計算出解碼端的預(yù)測塊形成解碼端的預(yù)測幀，殘差幀數(shù)據(jù)經(jīng)過反量化和反變換得到解碼端殘差幀。解碼端殘差幀與預(yù)測幀之和經(jīng)過濾波后得到重建幀。;步驟V :從碼流中讀入右目信息，包括每塊的劃分方式，每一個小塊的迭代函數(shù)系統(tǒng)系數(shù)和殘差幀數(shù)據(jù)、參考幀號；計算右目前一幀和左目對應(yīng)幀中按照設(shè)定步長劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，由各迭代函數(shù)系統(tǒng)系數(shù)分別計算出解碼端的預(yù)測塊形成解碼端的預(yù)測幀，殘差幀數(shù)據(jù)經(jīng)過反量化和反變換得到解碼端殘差幀。解碼端殘差幀與預(yù)測幀之和經(jīng)過濾波得到重建幀。轉(zhuǎn)入步驟VI ；步驟V1:判斷此時所有幀是否都已解碼，若都解碼完畢，結(jié)束解碼過程，否則轉(zhuǎn)入步驟II。
8.根據(jù)權(quán)利要求7所述一種基于分形和H.264的雙目立體視頻解壓縮方法，其特征在于對于每一個宏塊進(jìn)行解壓縮時，首先判斷該宏塊在編碼時的劃分方式，對于每一個子塊，首先在父塊域找到與該子塊相對應(yīng)的區(qū)域，然后利用下面的公式獲得該子塊的像素值，Ti=S · dj+o (5)其中A為待解碼子塊的像素值，Cli為父塊域中的像素值，s為比例因子，ο為偏移因子。
9.根據(jù)權(quán)利要求7所述一種基于分形和H.264的雙目立體視頻解壓縮方法，其特征在于在基于分形和H. 264的雙目分形視頻解壓縮方法過程中，左目用常規(guī)單目的運動補償預(yù)測(MCP)編碼，右目的每個圖像塊通過運動補償預(yù)測(MCP)和視差補償預(yù)測(DCP)兩種方式進(jìn)行預(yù)測，從中選擇誤差較小的一種作為預(yù)測結(jié)果。
10.根據(jù)權(quán)利要求7所述一種基于分形和H.264的雙目立體視頻解壓縮方法，其特征在于處理的視頻序列為YUV格式，分別對3個分量中的每個采用上述六個步驟進(jìn)行處理。
全文摘要
本發(fā)明提出了一種基于分形和H.264的雙目立體視頻壓縮與解壓縮方法。首先對左目的起始幀(I幀)采用基于H.264的幀內(nèi)預(yù)測編碼，濾波后得到重建幀(可作為參考幀)，然后對左目的P幀進(jìn)行塊運動補償預(yù)測(MCP)編碼，記錄塊每次最匹配過程的分形參數(shù)，將分形參數(shù)分別代入壓縮迭代函數(shù)系統(tǒng)中得到P幀的預(yù)測幀，濾波后得到重建幀。右通道的起始幀采用視差補償預(yù)測(DCP)的方式從基本層的I幀進(jìn)行預(yù)測；而P幀采用MCP和DCP兩種方式，選擇誤差最小的作為預(yù)測結(jié)果進(jìn)行編碼。利用熵編碼CALCV壓縮I幀和P幀的殘差幀和利用有符號指數(shù)哥倫布編碼壓縮分形參數(shù)。
文檔編號H04N7/32GK103051894SQ20121040245
公開日2013年4月17日 申請日期2012年10月22日 優(yōu)先權(quán)日2012年10月22日
發(fā)明者祝世平, 張玲, 李麗蕓 申請人:北京航空航天大學(xué)