專利名稱：一種快速的雙目立體視頻分形壓縮與解壓縮方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻壓縮編碼領(lǐng)域，涉及雙目立體視頻的壓縮編碼，在保證峰值信噪比PSNR基本保持不變的前提下，極大地降低了運(yùn)算復(fù)雜度和提高壓縮比，為雙目立體視頻編碼的實(shí)時(shí)性應(yīng)用奠定了基礎(chǔ)，進(jìn)一步提高了分形視頻壓縮編碼的性能。
背景技術(shù)：
分形理論最初由Mandelbrot于上世紀(jì)70年代提出(參見Benoit B. Mandelbrot. The Fractal Geometry of Nature[M]. New York H. Freeman and Company,1982.)。 分形編碼的數(shù)學(xué)基礎(chǔ)是迭代函數(shù)系統(tǒng)(IFS)理論。Barnsley首先將分形編碼用于交互式圖像壓縮(參見 Michael F. Barns ley, Alan D. Sloan. A better way to compress image [J]. Byte Magazine，1988，13 (1) :215_233.)。Jacqain 提出了全自動(dòng)的分形圖像壓縮方法(參見 Arnaud E. Jacquin. A novel fractal blocking-coding technique for digital image[C]. IEEE International Conference on Acoustics，Speech and Signal Processing,1990，4 2225~2228.)，(參見 Arnaud Ε.Jacquin. Fractal image coding a review[J]. Proceeding of the IEEE，1993，81 (10) :1451_1465.)，該方法釆用基于圖像分塊的方式以局部的仿射變換代替全局的仿射變換。之后，F(xiàn)isher利用四叉樹改進(jìn)了這一方法(參見 Y. Fisher. Fractal Image Compression [J]. Fractals，1994，2 (3) 347-361.)，(參見 Y. Fisher，E. W. Jacobs. Image compression :A study the iterated transform method[J]. Signal Processing，1992，29 (3)，251-263.)，(參見 Y.Fisher. Fractal Image Compression Theory and application to digital images[M]. New York =Spring-Verlag, 1995，55-77.)，大大提高了編碼效率，并成為目前分形圖像編碼中的主流方法。 在此基礎(chǔ)之上，一些學(xué)者和研究人員把分形圖像壓縮的方法應(yīng)用到視頻序列的壓縮上。Meiqing Wang等提出了綜合基于數(shù)據(jù)立方體和基于幀的分形視頻壓縮方法(參見 Meiqing Wang, Choi-Hong Lai. A hybrid fractal video compression method[J]. Computers Mathematics with Applications，2005，50 (3-4) :611_62L)，(參見 Meiqing Wang,Zhehuang Huang，Choi—Hong Lai. Matching search in fractal video compression and its parallel implementation in distributed computing environments[J]. Applied Mathematical Modeling,2006,30 (8) :677-687.), ( # B Meiqing Wang, Rong Liu, Choi-Hong Lai. Adaptive partition and hybrid method in fractal video compression[J]. Computers & Mathematics with Applications，2006，51(11) 1715-1726.) ο 其中最為經(jīng)典和影響較大的參見(C.S.Kim，R.C.Kim，S. U. Lee. Fractal coding of video sequence using circular prediction mapping and noncontractive interframe mapping[J]. IEEE Transactions on Image Processing，1998，7(4) 601-605.)。該方法采用類似于標(biāo)準(zhǔn)視頻編碼方法所采用的運(yùn)動(dòng)估計(jì)/補(bǔ)償技術(shù)，該方法利用了相鄰幀之間的時(shí)間強(qiáng)相關(guān)性，對(duì)視頻序列壓縮取得了較好的效果。在CPM和NCIM中，子塊域中的每個(gè)圖像塊都由來(lái)自相鄰幀相同大小的父塊域通過(guò)運(yùn)動(dòng)補(bǔ)償?shù)玫健PM和NCIM 兩者間最大的不同在于CPM在解碼的過(guò)程中需要具備收斂性，而NCIM不需要。但是在循環(huán)預(yù)測(cè)編碼(CPM)方法中，為了保證起始幀經(jīng)過(guò)自身的循環(huán)解碼能夠近似收斂到原來(lái)的圖像，壓縮過(guò)程需要經(jīng)過(guò)復(fù)雜變換、搜索和迭代等，壓縮時(shí)間和圖像質(zhì)量難以達(dá)到要求。目前典型的分形圖像和視頻壓縮方法的運(yùn)算量很大，編碼速度較慢，并且解碼的質(zhì)量有待提高， 使得分形圖像和視頻壓縮方法還需要進(jìn)一步的改進(jìn)和提高。
隨著多媒體技術(shù)的不斷發(fā)展，多視點(diǎn)視頻因其具有單目視頻無(wú)法比擬的優(yōu)越性漸漸成為研究的熱點(diǎn)。而雙目立體視頻是多視點(diǎn)視頻中應(yīng)用最為廣泛的一種形式，它增加了場(chǎng)景的深度信息，使欣賞到的圖像有強(qiáng)烈的現(xiàn)實(shí)感和逼真感，可以應(yīng)用于立體電視，遠(yuǎn)程教育，遠(yuǎn)程工業(yè)控制，遠(yuǎn)程醫(yī)學(xué)診斷和虛擬現(xiàn)實(shí)等眾多領(lǐng)域(參見A Schertz. Source coding of stereoscopic television pictures[C]. Proceedings of the IEEE International Conference on Image Processing and its Applications. Maastricht, The Netherlands，1992，462-464)。雙目立體視頻是利用人眼睛的雙目視差原理，雙目各自獨(dú)立地接收來(lái)自同一場(chǎng)景的特定攝像點(diǎn)的左右圖像，左眼看偏左的圖像，右眼看偏右的圖像，形成雙目視差，大腦能得到圖像的深度信息，使欣賞到的圖像有強(qiáng)烈深度感、逼真感，觀眾能欣賞到超強(qiáng)的立體視覺(jué)效果。但是相對(duì)于單目視頻，雙目立體視頻系統(tǒng)必須傳輸和存儲(chǔ)翻番的數(shù)據(jù)量，所以必須對(duì)其進(jìn)行有效地壓縮。(參見Shigang Wang,Xuejun Wang,Hexin Chen.Stereoscopic video compression coding based on H. 264[J]. Chinese Journal of Stereology and Image Analysis,2008,13 (1) :11_16)在雙目立體視頻編碼過(guò)程中，不但要考慮各通道內(nèi)前后幀圖像之間的時(shí)域相關(guān)性和幀內(nèi)圖像的空域相關(guān)性，還要充分利用通道之間的空域相關(guān)性進(jìn)行編碼。前者可以利用運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(MCP)去除冗余，后者可以采用視差補(bǔ)償預(yù)測(cè)(DCP)去除通道間冗余。DCP 與MCP相比要復(fù)雜的多，其中的關(guān)鍵技術(shù)是視差匹配。Michael Ε. Lukaces是雙目立體視頻編碼的早期研究者，他探索了將視差補(bǔ)償(DC-based)(指使用雙目視差關(guān)系在兩幅圖像之間建立對(duì)應(yīng))用于從雙目立體視頻序列中的一個(gè)視頻序列預(yù)測(cè)另一個(gè)視頻序列，并提出了多種基于視差補(bǔ)償?shù)姆椒?參見 Lukacs M E. Predictive coding of multi-viewpoint image sets[C]. IEEE International Conference on Acoustics, Speech and Signal Processing, 1986，521-524)。Perkins將基于視差補(bǔ)償?shù)姆椒w納為一種條件編碼方法，對(duì)于無(wú)損編碼來(lái)說(shuō)是最優(yōu)的，對(duì)于有損編碼則是次優(yōu)的(參見Perkins M G. Data compression of stereo pairs[J]. IEEE Transactions on Communications,1992,40(4) 684-696)。Tzovaras等人提出了視差估計(jì)的分層塊匹配以及運(yùn)動(dòng)視差雙向補(bǔ)償方法，稱之為聚合估計(jì)(參見 Tzovaras D，Grammalidis N, Strintzis M G. Object-based coding of stereoscopic image sequences using joint 3D motion/disparity segmentation[C]. Proceedings of SPIE :Visual Communication and Image Processing，1995，1678-1689)。 另外Franich還提出了基于通用塊匹配算法的視差估計(jì)方法，并引入一種平滑檢測(cè)手段來(lái) if ^EKlifif ( Franch R E H, Lagendijk R L, Biemond J. Stereo-enhanced displacement estimation by genetic block matching[C]. Proceedings of SPIE Volume 2094-Visual Communications and Image Processing. Cambridge, MA, USA, 1993, 362-371)。Siram Sethuramn以及M. Siegel等人提出了基于視差和運(yùn)動(dòng)的可變塊四叉樹多分辨率分割方法，針對(duì)基于MPEG視頻編碼標(biāo)準(zhǔn)的雙目立體視頻流的編碼，按在解碼端是否有合成中間視圖的需要，提出了兩個(gè)雙目立體視頻流的混合分辨率編碼方法(參見 Sethuraman S, SiegelM W, Jordan A G. Segmentation based coding of stereoscopic image sequences[C]. Proceedings of SPIE :Volume 2668-Digital Video Compression Algorithms and Technologies. San Jose，CA，USA，1996，420-429)。常用的雙目立體視頻編碼方案有獨(dú)立 MCP(Motion Compensated Prediction)編碼，層間 DCP(Disparity Compensated Prediction)編碼和MCP與DCP相結(jié)合編碼。其中在MCP與DCP相結(jié)合編碼中，基本層采用獨(dú)立MCP編碼，增強(qiáng)層采用MCP與DCP兩種方式進(jìn)行預(yù)測(cè)，從中選擇誤差較小的一種作為預(yù)測(cè)結(jié)果。本專利申請(qǐng)人已于2010年10月申請(qǐng)了兩個(gè)有關(guān)分形雙目視頻編碼的專利一種基于分形的雙目立體視頻壓縮編解碼方法(201010522161. 9 CN 101980538 A)和一種基于對(duì)象和分形的雙目立體視頻壓縮編解碼方法(201010522152. X CN 101980537 A)。本發(fā)明與上述公開文獻(xiàn)不同在于1)利用了預(yù)搜索限定條件；2)利用了分?jǐn)?shù)像素塊匹配；3)利用了基于運(yùn)動(dòng)矢量場(chǎng)的自適應(yīng)六邊形搜索算法；4)DCP編碼方式時(shí)，充分利用視差分布約束條件；5)解碼中，利用了去方塊環(huán)路濾波。因此，編碼性能有了很大的改善和提高。

發(fā)明內(nèi)容
本發(fā)明提出了一種快速的雙目立體視頻分形壓縮與解壓縮方法，在編碼中以左通道為基本層，采用單獨(dú)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)方式(MCP)進(jìn)行編碼，首先對(duì)左目的起始幀采用塊 DCT變換編碼，對(duì)左目的非I幀進(jìn)行塊運(yùn)動(dòng)估計(jì)/補(bǔ)償編碼，計(jì)算與子塊域和父塊域相關(guān)子塊的像素和與像素平方和，同時(shí)計(jì)算分?jǐn)?shù)像素內(nèi)插值對(duì)應(yīng)塊的像素和、像素平方和，然后進(jìn)行預(yù)搜索限制條件判斷，并在前一幀搜索窗中利用分?jǐn)?shù)像素塊匹配和基于運(yùn)動(dòng)矢量場(chǎng)的自適應(yīng)六邊形搜索算法尋找最相似的匹配塊。右通道為增強(qiáng)層，采用MCP加視差補(bǔ)償預(yù)測(cè)方式(DCP)進(jìn)行編碼，選擇誤差最小的作為預(yù)測(cè)結(jié)果。在進(jìn)行DCP編碼方式時(shí)，充分利用分?jǐn)?shù)像素塊匹配和視差分布約束條件。在解碼過(guò)程中利用去方塊環(huán)路濾波進(jìn)行解碼。一種快速的雙目立體視頻分形壓縮方法，包括以下步驟步驟一對(duì)于左目，首先判斷是否為I幀，若是I幀，則對(duì)該幀進(jìn)行互不重疊的固定大小的塊劃分，對(duì)每一個(gè)圖像塊分別采用基于塊DCT變換的I幀幀內(nèi)圖像壓縮方法，對(duì)圖像進(jìn)行單獨(dú)編碼和解碼，轉(zhuǎn)到步驟十一；否則，轉(zhuǎn)到步驟二 ；所述I幀為視頻序列起始幀或者視頻序列中只進(jìn)行幀內(nèi)編碼的圖像幀；所述將當(dāng)前幀劃分為固定大小的互不重疊的圖像塊稱為宏塊；所述將當(dāng)前宏塊進(jìn)行樹狀劃分得到的塊稱為小塊；所述當(dāng)前幀為正在進(jìn)行壓縮的幀，所述參考幀為當(dāng)前幀的已經(jīng)編碼并重建的前一幀；所述當(dāng)前幀所有塊的集合稱為子塊域；所述前一幀的所有塊的集合稱為父塊域；所述塊DCT變換中的塊采用固定大小模式； 對(duì)于右目，轉(zhuǎn)到步驟七；步驟二 若左目為非I幀，用常規(guī)單目的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(MCP)編碼，對(duì)該幀進(jìn)行互不重疊的宏塊劃分，然后計(jì)算這些宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和， 以及左目前一幀重建圖像即參考幀中，按照設(shè)定步長(zhǎng)劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，同時(shí)計(jì)算分?jǐn)?shù)像素內(nèi)插值對(duì)應(yīng)塊的像素和、像素平方和，轉(zhuǎn)到步驟三；
步驟三依次對(duì)當(dāng)前幀的所有宏塊進(jìn)行編碼，在父塊域中的搜索窗內(nèi)首先對(duì)該宏塊進(jìn)行塊匹配；在進(jìn)行子塊與父塊的匹配過(guò)程中，子塊的位置作為父塊的起始搜索點(diǎn)，父塊的大小與子塊的大小相同，轉(zhuǎn)到步驟四；步驟四利用基于運(yùn)動(dòng)矢量場(chǎng)的自適應(yīng)六邊形搜索算法，然后利用分?jǐn)?shù)像素塊匹配，搜索分?jǐn)?shù)像素內(nèi)插值對(duì)應(yīng)小塊處的RMS點(diǎn)，搜索出最佳的匹配誤差RMS，轉(zhuǎn)到步驟五；步驟五預(yù)搜索限制條件判斷對(duì)于特定的子塊，若與父塊對(duì)應(yīng)值滿足預(yù)搜索限制條件，則轉(zhuǎn)到步驟六；否則直接保存當(dāng)前的迭代函數(shù)系統(tǒng)系數(shù)即IFS系數(shù)，轉(zhuǎn)入步驟三編碼下一宏塊；步驟六如果匹配誤差RMS小于開始設(shè)定的閾值Y，保存當(dāng)前的迭代函數(shù)系統(tǒng)系數(shù)即IFS系數(shù)，轉(zhuǎn)入步驟三編碼下一宏塊；否則，依次按照樹狀結(jié)構(gòu)對(duì)該塊進(jìn)行劃分，并對(duì)各個(gè)劃分得到的小塊利用分?jǐn)?shù)像素塊匹配和基于運(yùn)動(dòng)矢量場(chǎng)的自適應(yīng)六邊形搜索算法，分別計(jì)算匹配誤差RMS，如果RMS小于設(shè)定閾值Y，則停止劃分并記錄該小塊IFS系數(shù)，轉(zhuǎn)入步驟三編碼下一宏塊；否則繼續(xù)劃分，直到將當(dāng)前塊劃分為預(yù)先設(shè)定的最小塊，記錄IFS系數(shù)；轉(zhuǎn)入步驟三編碼下一宏塊；所述搜索窗為在參考幀中的矩形搜索區(qū)域；所述IFS系數(shù)包括父塊位置(x，y)和比例因子s、偏移因子0 ；如果當(dāng)前幀所有的宏塊都已編碼完畢，且是左目，則轉(zhuǎn)到步驟十一；若是右目，則執(zhí)行步驟八；步驟七對(duì)右目圖像，首先進(jìn)行互不重疊的宏塊劃分，然后計(jì)算這些宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，以及右目前一幀重建圖像參考幀，按照設(shè)定步長(zhǎng)劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，同時(shí)計(jì)算分?jǐn)?shù)像素內(nèi)插值對(duì)應(yīng)塊的像素和、像素平方和，以減少塊匹配過(guò)程中的重復(fù)計(jì)算，轉(zhuǎn)到步驟三；步驟八計(jì)算左目中對(duì)應(yīng)幀圖像參考幀，按照設(shè)定步長(zhǎng)劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，同時(shí)計(jì)算分?jǐn)?shù)像素內(nèi)插值對(duì)應(yīng)塊的像素和、像素平方和，以減少塊匹配過(guò)程中的重復(fù)計(jì)算，轉(zhuǎn)到步驟九；步驟九首先對(duì)與當(dāng)前子塊位置相同的父塊進(jìn)行塊匹配，得到RMS，并保存迭代函數(shù)系統(tǒng)系數(shù)，該系數(shù)包括父塊與子塊的相對(duì)位移矢量(X，y)，比例因子S和偏移因子O;依次對(duì)當(dāng)前幀的所有宏塊進(jìn)行編碼，在父塊域中的搜索窗內(nèi)首先對(duì)該宏塊進(jìn)行塊匹配；在進(jìn)行子塊與父塊的匹配過(guò)程中，子塊的位置作為父塊的起始搜索點(diǎn)，父塊的大小與子塊的大小相同并轉(zhuǎn)入步驟十，執(zhí)行完步驟十返回之后，如果所得的匹配誤差RMS小于開始設(shè)定的閾值Y，則保存當(dāng)前的迭代函數(shù)系統(tǒng)系數(shù)即IFS系數(shù)，轉(zhuǎn)入步驟九編碼下一宏塊；否則，依次按照樹狀結(jié)構(gòu)對(duì)該塊進(jìn)行劃分，并對(duì)各個(gè)劃分得到的小塊分別轉(zhuǎn)入步驟十，執(zhí)行完步驟十返回之后計(jì)算匹配誤差RMS，如果RMS小于設(shè)定閾值Y，則停止劃分并記錄該小塊IFS系數(shù)，轉(zhuǎn)入步驟九編碼下一宏塊；否則繼續(xù)劃分，直到將當(dāng)前塊劃分為預(yù)先設(shè)定的最小塊，轉(zhuǎn)入步驟十計(jì)算RMS，執(zhí)行完步驟十返回之后記錄IFS系數(shù)，轉(zhuǎn)入步驟九編碼下一宏塊；最后與步驟六所得結(jié)果比較，選擇誤差最小的作為預(yù)測(cè)結(jié)果；所述搜索窗為在參考幀中的矩形搜索區(qū)域；所述IFS系數(shù)包括父塊位置(X，y)和比例因子s、偏移因子ο ；如果當(dāng)前幀所有的宏塊都已編碼完畢，則轉(zhuǎn)到步驟十一；步驟十充分利用分?jǐn)?shù)像素塊匹配和視差分布約束條件將上一個(gè)視差估計(jì)矢量作為當(dāng)前幀的搜索中心，在水平方向沿初始點(diǎn)的右側(cè)進(jìn)行搜索，在搜索過(guò)程中進(jìn)行跳躍式搜索；點(diǎn)匹配完之后，向右間隔三個(gè)點(diǎn)進(jìn)行搜索，進(jìn)行比較，直到找到最小的RMS ；同時(shí)對(duì)分?jǐn)?shù)像素位置進(jìn)行相同的操作，比較得到更小的RMS，結(jié)束DCP搜索過(guò)程；步驟十一對(duì)所有IFS系數(shù)進(jìn)行Huffman編碼，降低IFS系數(shù)數(shù)據(jù)的統(tǒng)計(jì)冗余；判斷當(dāng)前幀是否為最后一幀，如果是最后一幀結(jié)束編碼；否則，返回步驟一繼續(xù)處理下一幀圖像。所述一種快速的雙目立體視頻分形壓縮方法，處理的視頻序列為YUV格式，分別對(duì)3個(gè)分量中的每個(gè)采用上述十一個(gè)步驟進(jìn)行處理。所述步驟四中分?jǐn)?shù)像素塊匹配，包括以下三個(gè)步驟1)對(duì)參考幀中搜索區(qū)域內(nèi)的像素進(jìn)行內(nèi)插形成一個(gè)更高分辨率的區(qū)域；2)在內(nèi)插區(qū)域進(jìn)行整數(shù)像素和半像素位置搜索找到最佳匹配；3)用匹配塊的仿射變換來(lái)替代當(dāng)前塊。所述步驟四中基于運(yùn)動(dòng)矢量場(chǎng)的自適應(yīng)六邊形搜索算法，充分根據(jù)分形編碼的特點(diǎn)，具體如下1)在小十字模式中的五個(gè)搜索點(diǎn)中搜索最小匹配誤差所在點(diǎn)；應(yīng)用塊匹配準(zhǔn)則搜索，如果最小匹配誤差點(diǎn)在小十字模式的中心，此時(shí)即得到最終要求的最佳匹配誤差；否則，轉(zhuǎn)入步驟2)；2)以步驟1)搜索到的最小匹配誤差點(diǎn)為中心構(gòu)造新的小十字模式，應(yīng)用塊匹配準(zhǔn)則，搜尋3個(gè)新的搜索點(diǎn)；再搜索最小匹配誤差點(diǎn)，如果搜索到的最小匹配誤差點(diǎn)在小十字模式的中心，即得到最終要求的最佳匹配誤差；否則，進(jìn)入步驟3)；3)搜索大十字模式3個(gè)還沒(méi)有搜索到的點(diǎn)，應(yīng)用塊匹配準(zhǔn)則，搜索新的最小匹配誤差點(diǎn)，以作為下一步搜索的中心；4)以上一步的最小匹配誤差點(diǎn)為中心，構(gòu)造六邊形搜索模式，應(yīng)用塊匹配準(zhǔn)則搜索，找出新的最小匹配誤差點(diǎn)，如果該點(diǎn)在六邊形的中心，進(jìn)入步驟5)；否則，繼續(xù)步驟4)， 直到最小匹配誤差點(diǎn)在六邊形的中心；5)以步驟4)所搜索到的位于六邊形的中心的最小匹配誤差點(diǎn)為中心，構(gòu)造小十字搜索模式，應(yīng)用塊匹配準(zhǔn)則搜索，找出最小匹配誤差點(diǎn)，即得到最終要求的最佳匹配誤差。所述步驟五中預(yù)搜索限制條件為以下形式，其中，bi為子塊的像素值， 為父塊的
像素值
權(quán)利要求
1. 一種快速的雙目立體視頻分形壓縮方法，其特征在于具體步驟如下 步驟一對(duì)于左目，首先判斷起始幀是否為I幀，若是I幀，則對(duì)該幀進(jìn)行互不重疊的固定大小的塊劃分，對(duì)每一個(gè)圖像塊分別采用基于塊DCT變換的I幀幀內(nèi)圖像壓縮方法，對(duì)圖像進(jìn)行單獨(dú)編碼和解碼，轉(zhuǎn)到步驟十一；否則，轉(zhuǎn)到步驟二 ；所述I幀為視頻序列起始幀或者視頻序列中只進(jìn)行幀內(nèi)編碼的圖像幀；所述將當(dāng)前幀劃分為固定大小的互不重疊的圖像塊稱為宏塊；所述將當(dāng)前宏塊進(jìn)行樹狀劃分得到的塊稱為小塊；所述當(dāng)前幀為正在進(jìn)行壓縮的幀，所述參考幀為當(dāng)前幀的已經(jīng)編碼并重建的前一幀；所述當(dāng)前幀所有塊的集合稱為子塊域；所述前一幀的所有塊的集合稱為父塊域；所述塊DCT變換中的塊采用固定大小模式；對(duì)于右目，轉(zhuǎn)到步驟七；步驟二 若左目為非I 幀，用常規(guī)單目的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(MCP)編碼，對(duì)該幀進(jìn)行互不重疊的宏塊劃分，然后計(jì)算這些宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，以及左目前一幀重建圖像即參考幀中，按照設(shè)定步長(zhǎng)劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，同時(shí)計(jì)算分?jǐn)?shù)像素內(nèi)插值對(duì)應(yīng)塊的像素和、像素平方和，轉(zhuǎn)到步驟三；步驟三依次對(duì)當(dāng)前幀的所有宏塊進(jìn)行編碼，在父塊域中的搜索窗內(nèi)首先對(duì)該宏塊進(jìn)行塊匹配；在進(jìn)行子塊與父塊的匹配過(guò)程中，子塊的位置作為父塊的起始搜索點(diǎn)，父塊的大小與子塊的大小相同，轉(zhuǎn)到步驟四；步驟四利用基于運(yùn)動(dòng)矢量場(chǎng)的自適應(yīng)六邊形搜索算法，然后利用分?jǐn)?shù)像素塊匹配，搜索分?jǐn)?shù)像素內(nèi)插值對(duì)應(yīng)小塊處的RMS點(diǎn)，搜索出最佳的匹配誤差RMS，轉(zhuǎn)到步驟五；步驟五預(yù)搜索限制條件判斷對(duì)于特定的子塊，若與父塊對(duì)應(yīng)值滿足預(yù)搜索限制條件，則轉(zhuǎn)到步驟六；否則直接保存當(dāng)前的迭代函數(shù)系統(tǒng)系數(shù)即IFS系數(shù)，轉(zhuǎn)入步驟三編碼下一宏塊；步驟六如果匹配誤差RMS小于開始設(shè)定的閾值Y，保存當(dāng)前的迭代函數(shù)系統(tǒng)系數(shù)即 IFS系數(shù)，轉(zhuǎn)入步驟三編碼下一宏塊；否則，依次按照樹狀結(jié)構(gòu)對(duì)該塊進(jìn)行劃分，并對(duì)各個(gè)劃分得到的小塊利用分?jǐn)?shù)像素塊匹配和基于運(yùn)動(dòng)矢量場(chǎng)的自適應(yīng)六邊形搜索算法，分別計(jì)算匹配誤差RMS，如果RMS小于設(shè)定閾值Y，則停止劃分并記錄該小塊IFS系數(shù)，轉(zhuǎn)入步驟三編碼下一宏塊；否則繼續(xù)劃分，直到將當(dāng)前塊劃分為預(yù)先設(shè)定的最小塊，記錄IFS系數(shù)； 轉(zhuǎn)入步驟三編碼下一宏塊；所述搜索窗為在參考幀中的矩形搜索區(qū)域；所述IFS系數(shù)包括父塊位置(X，y)和比例因子s、偏移因子ο;如果當(dāng)前幀所有的宏塊都已編碼完畢，且是左目，則轉(zhuǎn)到步驟十一；若是右目，則執(zhí)行步驟八；步驟七對(duì)右目圖像，首先進(jìn)行互不重疊的宏塊劃分，然后計(jì)算這些宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，以及右目前一幀重建圖像參考幀，按照設(shè)定步長(zhǎng)劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，同時(shí)計(jì)算分?jǐn)?shù)像素內(nèi)插值對(duì)應(yīng)塊的像素和、像素平方和，以減少塊匹配過(guò)程中的重復(fù)計(jì)算，轉(zhuǎn)到步驟三；步驟八計(jì)算左目中對(duì)應(yīng)幀圖像的參考幀，按照設(shè)定步長(zhǎng)劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，同時(shí)計(jì)算分?jǐn)?shù)像素內(nèi)插值對(duì)應(yīng)塊的像素和、像素平方和，以減少塊匹配過(guò)程中的重復(fù)計(jì)算，轉(zhuǎn)到步驟九；步驟九首先對(duì)與當(dāng)前子塊位置相同的父塊進(jìn)行塊匹配，得到RMS，并保存迭代函數(shù)系統(tǒng)系數(shù)，該系數(shù)包括父塊與子塊的相對(duì)位移矢量(x，y)，比例因子s和偏移因子ο ；依次對(duì)當(dāng)前幀的所有宏塊進(jìn)行編碼，在父塊域中的搜索窗內(nèi)首先對(duì)該宏塊進(jìn)行塊匹配；在進(jìn)行子塊與父塊的匹配過(guò)程中，子塊的位置作為父塊的起始搜索點(diǎn)，父塊的大小與子塊的大小相同并轉(zhuǎn)入步驟十，執(zhí)行完步驟十返回之后，如果所得的匹配誤差RMS小于開始設(shè)定的閾值Y， 則保存當(dāng)前的迭代函數(shù)系統(tǒng)系數(shù)即IFS系數(shù)，轉(zhuǎn)入步驟九編碼下一宏塊；否則，依次按照樹狀結(jié)構(gòu)對(duì)該塊進(jìn)行劃分，并對(duì)各個(gè)劃分得到的小塊分別轉(zhuǎn)入步驟十，執(zhí)行完步驟十返回之后計(jì)算匹配誤差RMS，如果RMS小于設(shè)定閾值Y，則停止劃分并記錄該小塊IFS系數(shù)，轉(zhuǎn)入步驟九編碼下一宏塊；否則繼續(xù)劃分，直到將當(dāng)前塊劃分為預(yù)先設(shè)定的最小塊，轉(zhuǎn)入步驟十計(jì)算RMS，執(zhí)行完步驟十返回之后記錄IFS系數(shù)，轉(zhuǎn)入步驟九編碼下一宏塊；最后與步驟六所得結(jié)果比較，選擇誤差最小的作為預(yù)測(cè)結(jié)果；所述搜索窗為在參考幀中的矩形搜索區(qū)域； 所述IFS系數(shù)包括父塊位置(X，y)和比例因子s、偏移因子ο ；如果當(dāng)前幀所有的宏塊都已編碼完畢，則轉(zhuǎn)到步驟十一；步驟十充分利用分?jǐn)?shù)像素塊匹配和視差分布約束條件將上一個(gè)視差估計(jì)矢量作為為當(dāng)前幀的搜索中心，在水平方向沿初始點(diǎn)的右側(cè)進(jìn)行搜索，在搜索過(guò)程中進(jìn)行跳躍式搜索；點(diǎn)匹配完之后，向右間隔三個(gè)點(diǎn)進(jìn)行搜索，進(jìn)行比較，直到找到最小的RMS ；然后對(duì)分?jǐn)?shù)像素位置進(jìn)行相同的操作，比較得到更小的RMS，結(jié)束DCP搜索過(guò)程；步驟十一對(duì)所有IFS系數(shù)進(jìn)行Huffman編碼，降低IFS系數(shù)數(shù)據(jù)的統(tǒng)計(jì)冗余；判斷當(dāng)前幀是否為最后一幀，如果是最后一幀結(jié)束編碼；否則，返回步驟一繼續(xù)處理下一幀圖像。
2.根據(jù)權(quán)利要求1所述的一種快速的雙目立體視頻分形壓縮方法，其特征在于處理的視頻序列為YUV格式，分別對(duì)3個(gè)分量中的每個(gè)采用上述十一個(gè)步驟進(jìn)行處理。
3.根據(jù)權(quán)利要求1所述的一種快速的雙目立體視頻分形壓縮方法，其特征在于所述步驟四中分?jǐn)?shù)像素塊匹配，包括以下步驟1)對(duì)參考幀中搜索區(qū)域內(nèi)的像素進(jìn)行內(nèi)插形成一個(gè)更高分辨率的區(qū)域；2)在內(nèi)插區(qū)域進(jìn)行整數(shù)像素和半像素位置搜索找到最佳匹配；3)用匹配塊的仿射變換來(lái)替代當(dāng)前塊。
4.根據(jù)權(quán)利要求1所述的一種快速的雙目立體視頻分形壓縮方法，其特征在于所述步驟四中基于運(yùn)動(dòng)矢量場(chǎng)的自適應(yīng)六邊形搜索算法，充分根據(jù)分形編碼的特點(diǎn)，具體如下1)在小十字模式中的五個(gè)搜索點(diǎn)中搜索最小匹配誤差所在點(diǎn)；應(yīng)用塊匹配準(zhǔn)則搜索， 如果最小匹配誤差點(diǎn)在小十字模式的中心，此時(shí)即得到最終要求的最佳匹配誤差；否則，轉(zhuǎn)入步驟2)；2)以步驟1)搜索到的最小匹配誤差點(diǎn)為中心構(gòu)造新的小十字模式，應(yīng)用塊匹配準(zhǔn)則， 搜尋3個(gè)新的搜索點(diǎn)；再搜索最小匹配誤差點(diǎn)，如果搜索到的最小匹配誤差點(diǎn)在小十字模式的中心，即得到最終要求的最佳匹配誤差；否則，進(jìn)入步驟3)；3)搜索大十字模式3個(gè)還沒(méi)有搜索到的點(diǎn)，應(yīng)用塊匹配準(zhǔn)則，搜索新的最小匹配誤差點(diǎn)，以作為下一步搜索的中心；4)以上一步的最小匹配誤差點(diǎn)為中心，構(gòu)造六邊形搜索模式，應(yīng)用塊匹配準(zhǔn)則搜索，找出新的最小匹配誤差點(diǎn)，如果該點(diǎn)在六邊形的中心，進(jìn)入步驟5)；否則，繼續(xù)步驟4)，直到最小匹配誤差點(diǎn)在六邊形的中心；5)以步驟4)所搜索到的位于六邊形的中心的最小匹配誤差點(diǎn)為中心，構(gòu)造小十字搜索模式，應(yīng)用塊匹配準(zhǔn)則搜索，找出最小匹配誤差點(diǎn)，即得到最終要求的最佳匹配誤差。
5.根據(jù)權(quán)利要求1所述的一種快速的雙目立體視頻分形壓縮方法，其特征在于所述步驟五中預(yù)搜索限制條件為以下形式，其中，h為子塊的像素值，Bi為父塊的像素值
6.根據(jù)權(quán)利要求1所述的一種快速的雙目立體視頻分形壓縮方法，其特征在于所述步驟六中對(duì)宏塊采用樹狀劃分，塊匹配采用匹配誤差準(zhǔn)則，子塊與父塊的匹配誤差RMS為
7.根據(jù)權(quán)利要求1所述的一種快速的雙目立體視頻分形壓縮方法，其特征在于所述步驟十中視差分布約束條件如下1)外極線約束對(duì)于左目中的圖像上的一點(diǎn)，通過(guò)相對(duì)定向參數(shù)找出右目中的圖像上與其對(duì)應(yīng)的極線，其對(duì)應(yīng)點(diǎn)在上述極線上搜索；對(duì)于平行系統(tǒng)的視差搜索，只需沿掃描線，進(jìn)行χ方向的搜索即可；最佳匹配點(diǎn)位于偏振線上即水平線上；在立體平行攝像系統(tǒng)中，沿水平方向進(jìn)行DCP搜索；兩攝像機(jī)在同一時(shí)刻觀看空間同一特征點(diǎn)P (χ。，Jc, ζ。)，在左目中的圖像和右目中的圖像的坐標(biāo)分別Spleft= (Xleft，Yleft) ,Pright= (Xright，Yright)；其中點(diǎn) P(x。，y。，z。)與兩個(gè)光心所確定的平面稱為偏振平面，偏振平面與左右圖像的交線稱為偏振線；由幾何關(guān)系得到，其中f表示攝像機(jī)的焦距，B為兩攝像機(jī)的投影中心連線的距離，即基線距，zc為世界坐標(biāo)系下特征點(diǎn)P的Z坐標(biāo)
8.一種快速的雙目立體視頻分形解壓縮方法，包含以下步驟步驟I 首先讀入左目壓縮信息，包括壓縮幀數(shù)，每幀圖像的寬和高，I幀壓縮質(zhì)量和插入I幀的間隔；步驟II 判斷解碼幀是否為I幀，若是I幀轉(zhuǎn)入步驟III，否則轉(zhuǎn)入步驟IV ； 步驟III 對(duì)于I幀，從壓縮文件中讀入碼流進(jìn)行解碼，幀數(shù)加一轉(zhuǎn)入步驟VIII ； 步驟IV 對(duì)于非I幀，計(jì)算左目前一幀中按照設(shè)定步長(zhǎng)劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和；步驟V 讀入右目壓縮信息，包括壓縮幀數(shù)，每幀圖像的寬和高，I幀壓縮質(zhì)量和插入I 幀的間隔；計(jì)算右目前一幀和左目對(duì)應(yīng)幀中按照設(shè)定步長(zhǎng)劃分的所有宏塊以及經(jīng)樹狀劃分得到的小塊的像素和、像素平方和，轉(zhuǎn)入步驟VI ；步驟VI 從對(duì)應(yīng)的壓縮文件中讀入塊的劃分信息和Huffman碼流，從而得到該幀所有宏塊的劃分方式和每一個(gè)小塊的迭代函數(shù)系統(tǒng)系數(shù)，轉(zhuǎn)入步驟VII ；步驟VII 采用去方塊環(huán)路濾波方法首先對(duì)邊界的類型進(jìn)行判斷，定義參數(shù)塊邊緣強(qiáng)度，針對(duì)不同強(qiáng)度的塊邊緣，選擇的濾波器和所需要濾波的像素點(diǎn)數(shù)也不一樣，如果為幀內(nèi)編碼且為宏塊邊界，則采用強(qiáng)濾波；若不是幀內(nèi)編碼且不是宏塊邊界，仿射塊邊界采用一級(jí)濾波，非仿射塊邊界不需要濾波；其他情況采用二級(jí)濾波；最后按照每一宏塊進(jìn)行解碼；步驟VIII 判斷此時(shí)所有幀是否都已解碼，若都解碼完畢，結(jié)束解碼過(guò)程，否則轉(zhuǎn)入步驟II。
9.根據(jù)權(quán)利要求8所述的一種快速的雙目立體視頻分形解壓縮方法，其特征在于對(duì)于每一個(gè)宏塊進(jìn)行解壓縮時(shí)，首先判斷該宏塊在編碼時(shí)的劃分方式，對(duì)于每一個(gè)子塊，首先在父塊域找到與該子塊相對(duì)應(yīng)的區(qū)域，然后利用下面的公式獲得該子塊的像素值，Ti = S* di+o(7)其中A為待解碼子塊的像素值，di為父塊域中的像素值，S為比例因子，O為偏移因子。
10.根據(jù)權(quán)利要求8所述的一種快速的雙目立體視頻分形解壓縮方法，所述步驟VII中的塊邊緣強(qiáng)度用BS表示；其中，Pc/ ,Q0' ,P1' ,Q1'表示濾波后的像素值，PwPnQc^Q1表示原始的像素值，不同的BS和對(duì)應(yīng)的濾波器如下BS = 3時(shí)，需要進(jìn)行強(qiáng)濾波，濾波器表示為
11.根據(jù)權(quán)利要求8所述的一種快速的雙目立體視頻分形解壓縮方法，其特征在于在快速的雙目分形視頻解壓縮方法過(guò)程中，左目用常規(guī)單目的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(MCP)編碼，右目的每個(gè)圖像塊通過(guò)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(MCP)和視差補(bǔ)償預(yù)測(cè)(DCP)兩種方式進(jìn)行預(yù)測(cè)，從中選擇誤差較小的一種作為預(yù)測(cè)結(jié)果。
12.根據(jù)權(quán)利要求8所述的一種快速的雙目立體視頻分形解壓縮方法，其特征在于處理的視頻序列為YUV格式，分別對(duì)3個(gè)分量中的每個(gè)采用上述八個(gè)步驟進(jìn)行處理。
全文摘要
本發(fā)明提出了一種快速的雙目立體視頻分形壓縮與解壓縮方法，在編碼中以左通道為基本層，采用單獨(dú)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)方式(MCP)進(jìn)行編碼，首先對(duì)左目的起始幀采用塊DCT變換編碼，對(duì)左目的非I幀進(jìn)行塊運(yùn)動(dòng)估計(jì)/補(bǔ)償編碼，計(jì)算與子塊域和父塊域相關(guān)子塊的像素和與像素平方和，同時(shí)計(jì)算分?jǐn)?shù)像素內(nèi)插值對(duì)應(yīng)塊的像素和、像素平方和，然后進(jìn)行預(yù)搜索限制條件判斷，并在前一幀搜索窗中利用分?jǐn)?shù)像素塊匹配和基于運(yùn)動(dòng)矢量場(chǎng)的自適應(yīng)六邊形搜索算法尋找最相似的匹配塊。右通道為增強(qiáng)層，采用MCP加視差補(bǔ)償預(yù)測(cè)方式(DCP)進(jìn)行編碼，選擇誤差最小的作為預(yù)測(cè)結(jié)果。在進(jìn)行DCP編碼方式時(shí)，充分利用分?jǐn)?shù)像素塊匹配和視差分布約束條件。在解碼過(guò)程中利用去方塊環(huán)路濾波進(jìn)行解碼。
文檔編號(hào)H04N7/50GK102316323SQ20111018875
公開日2012年1月11日 申請(qǐng)日期2011年7月6日 優(yōu)先權(quán)日2011年7月6日
發(fā)明者侯仰拴, 王再闊, 祝世平, 陳菊嬙 申請(qǐng)人:北京航空航天大學(xué)