一種基于視點(diǎn)合成的立體圖像垂直視差消除方法
【專利摘要】本發(fā)明公開(kāi)了一種基于視點(diǎn)合成的消除立體圖像垂直視差的方法。本發(fā)明按順序可以分為四個(gè)步驟：（1）對(duì)原始立體圖像進(jìn)行傳統(tǒng)方式的外極線校正，得到初始校正后的立體圖像；（2）對(duì)初始校正后的立體圖像進(jìn)行立體匹配，得到對(duì)應(yīng)的水平視差圖；（3）根據(jù)投影關(guān)系，計(jì)算得到對(duì)應(yīng)于原始立體圖像的水平視差圖和垂直視差圖；（4）基于原始立體圖像的水平視差圖和垂直視差圖，進(jìn)行視點(diǎn)合成，得到校正后的立體圖像。本發(fā)明的主要特點(diǎn)是引入視點(diǎn)合成技術(shù)，在消除立體圖像的垂直視差的同時(shí)，減小校正過(guò)程帶來(lái)的投影失真。
【專利說(shuō)明】一種基于視點(diǎn)合成的立體圖像垂直視差消除方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于視點(diǎn)合成的立體圖像垂直視差消除方法。
【背景技術(shù)】
[0002]3D電影近年來(lái)得到了快速發(fā)展。一般而言，3D電影可通過(guò)計(jì)算機(jī)動(dòng)畫(huà)合成、2D轉(zhuǎn)3D技術(shù)以及立體相機(jī)拍攝三種方式獲得，其中通過(guò)立體相機(jī)拍攝是未來(lái)3D電影發(fā)展的主流。立體相機(jī)通常由左右兩個(gè)相機(jī)構(gòu)成，它們被設(shè)計(jì)成光軸平行配置的形式。然而，由于機(jī)械對(duì)齊的精度問(wèn)題，拍攝得到的立體圖像或視頻無(wú)法做到完全對(duì)齊。當(dāng)立體攝像機(jī)鏡頭需要拉伸時(shí)，左右兩個(gè)相機(jī)之間的動(dòng)作不同步使得對(duì)齊問(wèn)題變得更加復(fù)雜。這些都造成了最終得到的立體圖像或視頻左右視圖之間或多或少存在垂直視差。Mayhew曾對(duì)7部商業(yè)3D影片中的70個(gè)立體視頻幀進(jìn)行過(guò)評(píng)估，發(fā)現(xiàn)只有6個(gè)(占8.5% )視頻幀是不需要進(jìn)行校正的。垂直視差的存在是造成觀看者頭暈、眼脹等視覺(jué)疲勞現(xiàn)象的主要原因之一，因而探尋通過(guò)對(duì)3D電影進(jìn)行后期校正來(lái)消除垂直視差的理論和方法具有重要意義。
[0003]消除垂直視差的過(guò)程在計(jì)算機(jī)視覺(jué)中被稱為“外極線校正”，通常是指對(duì)兩幅圖像各進(jìn)行一次投影變換，使得變換后的兩幅圖像所對(duì)應(yīng)的對(duì)極線位于圖像的同一條掃描線上。立體圖像的外極線校正方法可分為相機(jī)已標(biāo)定情況下的校正和未標(biāo)定情況下的校正兩種。對(duì)于相機(jī)已標(biāo)定情況而言，左右兩個(gè)相機(jī)的內(nèi)外參數(shù)已知，可以通過(guò)構(gòu)造變換矩陣的方法來(lái)實(shí)現(xiàn)外極線校正。但是運(yùn)用這種方法的前提是在3D影片拍攝前必須對(duì)立體相機(jī)進(jìn)行標(biāo)定，否則該方法就失效了。對(duì)于現(xiàn)實(shí)中大多數(shù)3D影片而言，相機(jī)參數(shù)是無(wú)法獲取的，在這種情況下，只能運(yùn)用未標(biāo)定情況的方法。
[0004]對(duì)于未標(biāo)定情況下的外極線校正，目前已存在多種方法，這些方法大多是針對(duì)計(jì)算機(jī)視覺(jué)應(yīng)用而提出的，即使校正結(jié)果存在變形，也不會(huì)對(duì)三維重構(gòu)產(chǎn)生較大的影像。然而，對(duì)于3D電影而言，我們必須考慮校正后的影片呈現(xiàn)給觀眾的視覺(jué)效果，也就必須使校正后的圖像幀不能產(chǎn)生太大的畸變。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)的不足，提供一種基于視點(diǎn)合成的立體圖像垂直視差消除方法。
[0006]本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的:一種基于視點(diǎn)合成的立體圖像垂直視差消除方法，包括以下步驟:
[0007](I)采集原始立體圖像的左視圖1l和右視圖1k ;
[0008](2)輸入原始立體圖像的左視圖k和右視圖1k，對(duì)其進(jìn)行傳統(tǒng)方式的外極線校正，得到經(jīng)過(guò)初始校正后的立體圖像左視圖1i和右視圖1?，并記錄下分別施加在左視圖和右視圖上變換矩陣I；和Tk ；
[0009](3)對(duì)經(jīng)過(guò)初始校正后的立體圖像左視圖1i和右視圖1tk進(jìn)行立體匹配，得到對(duì)應(yīng)的水平視差圖Di和Dtk ；[0010](4)根據(jù)投影關(guān)系，計(jì)算得到對(duì)應(yīng)于左視圖k的水平視差圖Dm和垂直視差圖Dm以及對(duì)應(yīng)于右視圖1k的水平視差圖Dhk以及垂直視差圖Dvk，通過(guò)以下步驟實(shí)現(xiàn):
[0011](4.1)對(duì)左視圖中的任意一點(diǎn)九，經(jīng)過(guò)變換IY得到經(jīng)過(guò)初始校正后的左視圖1TL中的對(duì)應(yīng)點(diǎn)Pu = Tl.Pp點(diǎn)Pu的坐標(biāo)值一般為非整數(shù)，通過(guò)做雙線性插值，在視差圖DTl中得到對(duì)應(yīng)于Pu位置的視差值(T1 ◎
[0012](4.2)記k中的點(diǎn)Pu的齊次坐標(biāo)為Pu = [xTU yTL, 1]τ，則它在相對(duì)應(yīng)的右視圖1te 中的對(duì)應(yīng)點(diǎn) P? 為:ftR =[xTL.Jtl*1]1 °
[0013](4.3)將點(diǎn)ρτκ經(jīng)過(guò)對(duì)應(yīng)于Tk的逆變換Tr1投影回右視圖1k得到點(diǎn)Ps =V./%，
從而建立起了左視圖L中的點(diǎn)1?和右視圖1k中的點(diǎn)Pk之間的對(duì)應(yīng)關(guān)系，即和Pk是一對(duì)匹配點(diǎn)。
[0014](4.4)記Pl和Pk的坐標(biāo)值分別為[Χ?，Κ]1Π [知，yK]T，可以根據(jù)下式計(jì)算得到對(duì)應(yīng)于Plj的水平視差值dHI；和垂直視差值dVIj:
[0015]dHL = xl_xEj dVL = yL~yE
[0016](4.5)對(duì)左視圖L中的每一點(diǎn)施加上述過(guò)程，可以得到對(duì)應(yīng)于左視圖L的水平視差圖Dh1j和垂直視差圖Dvij。
[0017](4.6)同理，對(duì)右視圖1k施加上述過(guò)程，可以計(jì)算得到對(duì)應(yīng)于右視圖1k的水平視
差圖Dhr以及垂直視差圖Dvr。
[0018](5)基于原立體圖像的左右視圖1l和In，以及相應(yīng)的水平和垂直視差圖DHl、Dvl>DHK、Dvk，進(jìn)行視點(diǎn)合成，得到新的右視圖20%包括以下步驟:
[0019](5.1)采用反向映射的機(jī)制，即對(duì)于新的右視圖《上的每一個(gè)點(diǎn)Ρ，記它的坐
標(biāo)值為[Ο?+Ι ,根據(jù)由IL和IR的水平及垂直視差圖Dm、Dvl, Dhe, Dvk所確定的投影關(guān)系，分別L和Ik上尋找各自的對(duì)應(yīng)點(diǎn)P ^ L&P\,包括以下步驟:
[0020](a)設(shè)Ρ'點(diǎn)在左視圖込中的對(duì)應(yīng)點(diǎn)為口\，為了達(dá)到消除垂直視差的目的，需要
以滿足水平視差約束為條件，在k中進(jìn)行搜索。記P’ L的坐標(biāo)值為，要求其X軸坐標(biāo)值須滿足下面的關(guān)系式:
【權(quán)利要求】
1.一種基于視點(diǎn)合成的立體圖像垂直視差消除方法，其特征在于，該方法包括以下步驟: (1)采集原始立體圖像的左視圖k和右視圖1k； (2)輸入原始立體圖像的左視圖k和右視圖1k，對(duì)其進(jìn)行傳統(tǒng)方式的外極線校正，得到經(jīng)過(guò)初始校正后的立體圖像左視圖1i和右視圖1?，并記錄下分別施加在左視圖和右視圖上變換矩陣I；和Tk ； (3)對(duì)經(jīng)過(guò)初始校正后的立體圖像左視圖\和右視圖1tk進(jìn)行立體匹配，得到對(duì)應(yīng)的水平視差圖Dix和Dtr ； (4)根據(jù)投影關(guān)系，計(jì)算得到對(duì)應(yīng)于左視圖k的水平視差圖Dm和垂直視差圖DVy以及對(duì)應(yīng)于右視圖1k的水平視差圖Dhk以及垂直視差圖Dvk ； (5)基于原立體圖像的左右視圖1l和Ικ，以及相應(yīng)的水平和垂直視差圖DHL、DVL、DHK、DVK，進(jìn)行視點(diǎn)合成，得到新的右視圖1『，原始立體圖像的左視圖L和新的右視圖ΙT*已經(jīng)消除了垂直視差，構(gòu)成了新的立體圖像。
2.根據(jù)權(quán)利要求1所述的一種基于視點(diǎn)合成的立體圖像垂直視差消除方法，其特征在于，所述的步驟(4)中計(jì)算得到對(duì)應(yīng)于左視圖k的水平視差圖Dm和垂直視差圖DVy以及對(duì)應(yīng)于右視圖1k的水平視差圖Dhk以及垂直視差圖Dvk，通過(guò)以下步驟來(lái)實(shí)現(xiàn): (4.1)對(duì)左視圖L中的任意一點(diǎn)九，經(jīng)過(guò)變換IY得到經(jīng)過(guò)初始校正后的左視圖L中的對(duì)應(yīng)點(diǎn)Pu = Tl.pL ;點(diǎn)pTL的坐標(biāo)值一般為非整數(shù)，通過(guò)做雙線性插值，在視差圖De中得到對(duì)應(yīng)于Ptl位置的視差值A(chǔ)ft ο (4.2)記K中的點(diǎn)Pu的齊次坐標(biāo)為Pu = [xTL, yTL, 1]τ，則它在相對(duì)應(yīng)的右視圖1tk中的對(duì)應(yīng)點(diǎn) Ptr 為:Pm — _? (4.3)將點(diǎn)ρτκ經(jīng)過(guò)對(duì)應(yīng)于Tk的逆變換!；1投影回右視圖1k得到點(diǎn)=Tr'-/;TR *從而建立起了左視圖L中的點(diǎn)1?和右視圖1k中的點(diǎn)Pk之間的對(duì)應(yīng)關(guān)系，即和Pk是一對(duì)匹配占.(4.4)記九和巧的坐標(biāo)值分別為[^，1]7和[xK，yJT，可以根據(jù)下式計(jì)算得到對(duì)應(yīng)于Pl的水平視差值dHI；和垂直視差值dVIj:
cW — xl_xr，dVL — Yl-Yr ; (4.5)對(duì)左視圖L中的每一點(diǎn)施加上述過(guò)程，可以得到對(duì)應(yīng)于左視圖L的水平視差圖Dhl和垂直視差圖Dvii ； (4.6)同理，對(duì)右視圖1k施加上述過(guò)程，可以計(jì)算得到對(duì)應(yīng)于右視圖1k的水平視差圖Dhe以及垂直視差圖Dvr。
3.根據(jù)權(quán)利要求1所述的一種基于視點(diǎn)合成的立體圖像垂直視差消除方法，其特征在于，所述的步驟(5)中視點(diǎn)合成的方法，包括以下步驟: (5.1)采用反向映射的機(jī)制，即對(duì)于新的右視圖?*上的每一個(gè)點(diǎn)/?T，記它的坐標(biāo)值為|>；r，J；r]T，根據(jù)由和Ik的水平及垂直視差圖Dm、Dvl, Dhe, Dvk所確定的投影關(guān)系，分別込和Ik上尋找各自的對(duì)應(yīng)點(diǎn)P\及P’ κ ;(5.2)在找到了新的右視圖上的點(diǎn)PnewR在左右視圖上各自的對(duì)應(yīng)點(diǎn)Ρ'L, Ρ’R后，比較這二點(diǎn)的水平視差值，將視差值大的點(diǎn)投影得到PnewR ； (5.3)對(duì)合成新右視圖ΙnewR中空白點(diǎn)進(jìn)行修補(bǔ)。
4.根據(jù)權(quán)利要求3所述的視點(diǎn)合成方法，其特征在于，所述的步驟(5.1)在IL和IR上尋找各自的對(duì)應(yīng)點(diǎn)p'L及P’ R,包括以下步驟: (5.1.1)設(shè)JC點(diǎn)在左視圖1l中的對(duì)應(yīng)點(diǎn)為P’,為了達(dá)到消除垂直視差的目的,需要以滿足水平視差約束為條件，在込中進(jìn)行搜索，記P’ L的坐標(biāo)值為
【文檔編號(hào)】H04N13/00GK103945207SQ201410166939
【公開(kāi)日】2014年7月23日 申請(qǐng)日期:2014年4月24日 優(yōu)先權(quán)日:2014年4月24日
【發(fā)明者】杜歆, 鄒瀧, 朱云芳 申請(qǐng)人:浙江大學(xué)