本發(fā)明涉及裸眼3D顯示技術(shù)，具體涉及一種裸眼3D增強(qiáng)現(xiàn)實(shí)互動(dòng)展示系統(tǒng)及其展示方法。
背景技術(shù)：
：人類生活在一個(gè)立體的世界中，利用立體視覺機(jī)制來感知這個(gè)立體世界。為了表達(dá)這個(gè)世界，人們已提出并發(fā)展了很多方式，其中圖像是最直觀的表達(dá)方式。然而，目前大多數(shù)顯示設(shè)備只能實(shí)現(xiàn)2D(二維)顯示，可表達(dá)出場景的內(nèi)容卻忽略了深度信息，因此人們只能通過平時(shí)生活中所累積的經(jīng)驗(yàn)以及2D圖像中的陰影等信息去判斷物體間的前后位置關(guān)系。在信息化、數(shù)字化的時(shí)代，隨著社會(huì)的發(fā)展，2D顯示逐漸不能滿足人類的需求，3D(三維)顯示已成為顯示研究人員的新研究目標(biāo)，成為顯示領(lǐng)域的新發(fā)展趨勢。隨著人們對(duì)3D顯示的研究不斷深入，已提出各種技術(shù)實(shí)現(xiàn)了多種3D顯示方式。其中，多視點(diǎn)光柵式3D顯示器可讓多名觀看者在較大觀看視角內(nèi)同時(shí)裸眼觀看到立體圖像，感受震撼的視覺體驗(yàn)，從而備受關(guān)注。相比于助視3D顯示器，它擺脫了助視設(shè)備的限制；相比于其他裸視3D顯示器，它具有結(jié)構(gòu)簡單、亮度高、數(shù)據(jù)量相對(duì)較小以及與現(xiàn)有的平板顯示器兼容等優(yōu)點(diǎn)。光柵3D顯示根據(jù)所采用的光柵材料的不同分為狹縫光柵3D顯示和柱透鏡光柵3D顯示，前者是基于狹縫光柵不透光部分對(duì)光線的遮擋作用來使得左右眼分別看到對(duì)應(yīng)的左右視差圖像，后者則是利用柱透鏡的折射作用使得左右眼分別看到左右視差圖像。隨著計(jì)算機(jī)技術(shù)的發(fā)展，增強(qiáng)現(xiàn)實(shí)技術(shù)(AugmentedReality，簡稱為AR)能夠?qū)⒂?jì)算機(jī)生成的物體疊加到現(xiàn)實(shí)景物上，以便使它們一起出現(xiàn)在使用者的視場中。AR技術(shù)在軍事、機(jī)械、游戲娛樂、醫(yī)療，教育和文化遺產(chǎn)復(fù)原等領(lǐng)域均具有更廣闊的發(fā)展前景。但是，增強(qiáng)現(xiàn)實(shí)雖然實(shí)現(xiàn)了虛擬和現(xiàn)實(shí)的融合，但是其顯示方式基本上還停留在2D顯示或助視設(shè)備上。助視設(shè)備限制了人們隨時(shí)隨地觀看3D顯示的需求，并且尤其不適用于商場、機(jī)場等人流量密集的場所。技術(shù)實(shí)現(xiàn)要素：為了解決以上現(xiàn)有技術(shù)中存在的問題，本專利提出了基于裸眼3D顯示的增強(qiáng)現(xiàn)實(shí)互動(dòng)展示系統(tǒng)及其展示方法，可以實(shí)現(xiàn)無需佩戴助視設(shè)備，便能看到三維的虛擬與現(xiàn)實(shí)的融合，并可以借助互動(dòng)單元，使觀看者能與裸眼3D合成單元中的虛擬物體進(jìn)行交互，極大增加了顯示設(shè)備的趣味性和吸引性。本發(fā)明的一個(gè)目的在于提出一種裸眼3D增強(qiáng)現(xiàn)實(shí)互動(dòng)展示系統(tǒng)。本發(fā)明的裸眼3D增強(qiáng)現(xiàn)實(shí)互動(dòng)展示系統(tǒng)包括：光學(xué)采集單元、三維渲染單元、互動(dòng)單元、裸眼3D合成單元和裸眼3D顯示單元；其中，互動(dòng)單元連接至三維渲染單元；光學(xué)采集單元和三維渲染單元共同連接至裸眼3D合成單元；裸眼3D合成單元連接至裸眼3D顯示單元；互動(dòng)單元獲取觀看者的動(dòng)作姿態(tài)，并發(fā)送指令至三維渲染單元；三維渲染單元接收指令對(duì)三維虛擬物體或場景進(jìn)行實(shí)時(shí)渲染，獲得渲染圖像；光學(xué)采集單元采集實(shí)際場景的不同視角的實(shí)際相機(jī)圖像，并與三維渲染單元的渲染圖像一起傳到裸眼3D合成單元；裸眼3D合成單元將實(shí)際相機(jī)圖像進(jìn)行投影畸變校正，并與渲染圖像進(jìn)行疊加，得到視差圖像，并按照裸眼3D顯示單元的物理結(jié)構(gòu)進(jìn)行視差圖像合成；裸眼3D合成單元將合成的視差圖像輸出至裸眼3D顯示單元中進(jìn)行三維顯示。光學(xué)采集單元包括多目實(shí)際相機(jī)和數(shù)據(jù)采集單元，多目實(shí)際相機(jī)連接至數(shù)據(jù)采集單元，數(shù)據(jù)采集單元采集多目實(shí)際相機(jī)的數(shù)據(jù)，再將獲得數(shù)據(jù)傳輸至裸眼3D合成單元。多目實(shí)際相機(jī)，構(gòu)成立體相機(jī)陣列，從不同角度拍攝裸眼3D顯示單元正前方的實(shí)際場景，從而獲取到不同視角的實(shí)際相機(jī)圖像。多目實(shí)際相機(jī)的硬件和軟件參數(shù)均保持一致，硬件參數(shù)主要包括采集芯片(如CCD、CMOS)、相機(jī)電路和鏡頭的規(guī)格參數(shù)等，軟件參數(shù)包括分辨率、曝光時(shí)間、白平衡、顏色校正、圖像裁剪區(qū)域和Bayer(貝葉耳)轉(zhuǎn)換類型等，這些參數(shù)均需保持一致，這樣才能在裸眼3D顯示單元上實(shí)現(xiàn)較好的合成效果。其中，實(shí)際相機(jī)采用立體相機(jī)，多目實(shí)際相機(jī)以會(huì)聚式結(jié)構(gòu)排布，各實(shí)際相機(jī)的光心位于同一水平線上，光軸位于同一平面內(nèi)，并且相鄰的實(shí)際相機(jī)的間距相等，各實(shí)際相機(jī)的光軸相交于位于立體相機(jī)陣列前的一點(diǎn)，稱之為會(huì)聚點(diǎn)。若采用偶數(shù)個(gè)實(shí)際相機(jī)，則會(huì)聚點(diǎn)位于中間兩個(gè)實(shí)際相機(jī)的光心連線的中垂線上；若采用奇數(shù)個(gè)相機(jī)，則會(huì)聚點(diǎn)位于中間的實(shí)際相機(jī)的光軸上。為了降低整體系統(tǒng)的運(yùn)行耗時(shí)，提高系統(tǒng)幀率，本發(fā)明中的數(shù)據(jù)采集單元采用多線程相機(jī)采集方案，即通過調(diào)用多核CPU來并行采集實(shí)際相機(jī)的數(shù)據(jù)，再將獲得的數(shù)據(jù)送往裸眼3D合成單元進(jìn)行加速合成，從而在很大程度上提高了系統(tǒng)運(yùn)行幀率。三維渲染單元中，存儲(chǔ)了三維虛擬物體或場景和預(yù)設(shè)規(guī)則路徑。首先通過測量實(shí)際相機(jī)的位置、角度等參數(shù)，創(chuàng)建與實(shí)際相機(jī)數(shù)量相同的虛擬相機(jī)，并調(diào)整虛擬相機(jī)的參數(shù)使其與實(shí)際相機(jī)的參數(shù)保持一致，每一個(gè)實(shí)際相機(jī)對(duì)應(yīng)一個(gè)參數(shù)相同的虛擬相機(jī)。接下來，基于互動(dòng)單元的觸發(fā)指令或操控指令，虛擬相機(jī)對(duì)三維虛擬物體或場景進(jìn)行實(shí)時(shí)渲染，得到多幅渲染圖像，渲染圖像為帶透明通道的渲染紋理，即紋理中無三維虛擬物體或場景的位置均為透明通道，這是為了接下來的與實(shí)際相機(jī)拍攝的實(shí)際相機(jī)圖像進(jìn)行疊加。其中，三維虛擬物體或場景的出現(xiàn)是基于互動(dòng)單元進(jìn)行觸發(fā)和響應(yīng)，當(dāng)互動(dòng)單元發(fā)出觸發(fā)指令時(shí)，三維渲染單元觸發(fā)特定三維物體或場景按照預(yù)設(shè)規(guī)則或者路徑出現(xiàn)，多個(gè)虛擬相機(jī)進(jìn)行實(shí)時(shí)渲染得到渲染圖像，以便與實(shí)際相機(jī)采集的圖像進(jìn)行疊加；當(dāng)互動(dòng)單元發(fā)出操控指令時(shí)，三維渲染單元中的三維虛擬物體，如動(dòng)物等，根據(jù)操控指令進(jìn)行相應(yīng)動(dòng)作姿勢的響應(yīng)，多個(gè)虛擬相機(jī)進(jìn)行實(shí)時(shí)渲染得到渲染圖像，以便與實(shí)際相機(jī)采集的圖像進(jìn)行疊加。一個(gè)虛擬相機(jī)得到的渲染圖像與相對(duì)應(yīng)的實(shí)際相機(jī)拍攝的實(shí)際相機(jī)圖像相對(duì)應(yīng)?；?dòng)單元是指人機(jī)交互系統(tǒng)，通過與三維渲染單元連接協(xié)同工作，給三維渲染單元提供觸發(fā)和響應(yīng)指令；包括紅外投影儀、紅外攝像頭和分析處理器，分析處理器對(duì)紅外投影儀的光源進(jìn)行控制編碼；紅外投影儀主動(dòng)投射近紅外光譜，照射到觀看者和實(shí)際場景中，光譜發(fā)生扭曲，形成隨機(jī)的反射斑點(diǎn)；紅外攝像頭采集紅外影像；分析處理器分析紅外攝像頭采集的紅外影像，然后逐幀生成準(zhǔn)確的場景深度影像，并計(jì)算出觀看者的骨骼節(jié)點(diǎn)信息；分析處理器通過信號(hào)傳輸線連接至三維渲染單元，根據(jù)觀看者所處位置、姿勢或動(dòng)作，對(duì)三維渲染單元發(fā)布觸發(fā)指令或操控指令。裸眼3D合成單元獲取光學(xué)采集單元的實(shí)際相機(jī)圖像，和三維渲染單元的實(shí)時(shí)渲染圖像；實(shí)際相機(jī)數(shù)量為K，相應(yīng)的虛擬相機(jī)的數(shù)量也為K，則傳到裸眼3D合成單元的圖像數(shù)量為2K，即K幅實(shí)際相機(jī)圖像和K幅渲染圖像。獲取到圖像后，首先要對(duì)實(shí)際相機(jī)的實(shí)際相機(jī)圖像進(jìn)行投影畸變校正，因?yàn)閷?shí)際裝配過程中難免會(huì)引入誤差，由于多目實(shí)際相機(jī)之間的俯仰角不相等，會(huì)導(dǎo)致采集的圖像出現(xiàn)很大的偏差，因此需要對(duì)多目實(shí)際相機(jī)拍攝得到的實(shí)際相機(jī)圖像進(jìn)行投影畸變校正；投影畸變校正后的K幅實(shí)際相機(jī)圖像，與K幅渲染圖像進(jìn)行疊加，遍歷整幅圖像，當(dāng)渲染圖像為透明通道時(shí)，則顯示實(shí)際相機(jī)圖像；當(dāng)渲染圖像為非透明通道時(shí)，則顯示渲染圖像；疊加后，得到K幅實(shí)際相機(jī)與虛擬相機(jī)的混合圖像，這K幅混合圖像用于裸眼3D顯示的視差圖像；然后將K幅視差圖像按照裸眼3D顯示單元物體特性進(jìn)行圖像合成，將合成圖像輸出至裸眼3D顯示單元。裸眼3D顯示單元包括2D顯示屏和光柵，裸眼3D顯示單元將不同視差圖像的光線在空間中進(jìn)行分開，并使其在最佳觀看距離處進(jìn)行會(huì)聚，來實(shí)現(xiàn)不同視差圖像的空間分離，當(dāng)觀看者的左右眼分別看到不同視差圖像時(shí)，根據(jù)大腦的融合作用，便會(huì)在大腦中形成立體視覺。光柵為狹縫光柵或者為柱鏡光柵。本發(fā)明的另一個(gè)目的在于提供一種基于裸眼3D顯示的增強(qiáng)現(xiàn)實(shí)互動(dòng)展示方法。本發(fā)明的基于裸眼3D顯示的增強(qiáng)現(xiàn)實(shí)互動(dòng)展示方法，包括以下步驟：1)前期調(diào)試光學(xué)采集單元；2)互動(dòng)單元獲取觀看者所處位置、姿勢或動(dòng)作，并發(fā)送指令至三維渲染單元；3)三維渲染單元接收指令對(duì)三維虛擬物體或場景進(jìn)行實(shí)時(shí)渲染，獲得渲染圖像；4)光學(xué)采集單元采集實(shí)際場景的不同視角的實(shí)際相機(jī)圖像，并與三維渲染單元的渲染圖像一起傳輸至裸眼3D合成單元；5)裸眼3D合成單元獲取光學(xué)采集單元的實(shí)際相機(jī)圖像，和三維渲染單元的實(shí)時(shí)的渲染圖像，將實(shí)際相機(jī)圖像進(jìn)行投影畸變校正，并與渲染圖像進(jìn)行疊加得到視差圖像，然后按照裸眼3D顯示單元的物理結(jié)構(gòu)進(jìn)行視差圖像合成；6)裸眼3D合成單元將合成的視差圖像輸出至裸眼3D顯示單元中進(jìn)行三維顯示。其中，在步驟1)中，前期調(diào)試光學(xué)采集單元包括以下步驟：a)多目實(shí)際相機(jī)的硬件和軟件參數(shù)均保持一致；b)多目實(shí)際相機(jī)以會(huì)聚式結(jié)構(gòu)排布，各實(shí)際相機(jī)的光心位于同一水平線上，光軸位于同一平面內(nèi)；c)相鄰的實(shí)際相機(jī)的間距相等；d)各實(shí)際相機(jī)的光軸相交于位于立體相機(jī)陣列前的一點(diǎn)，稱之為會(huì)聚點(diǎn)。在步驟2)中，互動(dòng)單元獲取觀看者的動(dòng)作姿態(tài)，并發(fā)送指令至三維渲染單元，包括以下步驟：a)分析處理器對(duì)紅外投影儀的光源進(jìn)行控制編碼；紅外投影儀主動(dòng)投射近紅外光譜，照射到觀看者和實(shí)際場景中，光譜發(fā)生扭曲，形成隨機(jī)的反射斑點(diǎn)；b)紅外攝像頭采集紅外影像；分析處理器分析紅外攝像頭采集的紅外影像，然后逐幀生成準(zhǔn)確的場景深度影像，并計(jì)算出人物的骨骼節(jié)點(diǎn)信息；c)分析處理器通過信號(hào)傳輸線連接至三維渲染單元，根據(jù)觀看者所處位置、姿勢或動(dòng)作，對(duì)三維渲染單元發(fā)布觸發(fā)指令或操控指令。在步驟3)中，三維渲染單元獲得渲染圖像，包括以下步驟：a)通過測量實(shí)際相機(jī)的硬件參數(shù)和軟件參數(shù)，創(chuàng)建與實(shí)際相機(jī)數(shù)量相同的虛擬相機(jī)，并調(diào)整虛擬相機(jī)的參數(shù)使其與多目實(shí)際相機(jī)的參數(shù)保持一致，每一個(gè)實(shí)際相機(jī)對(duì)應(yīng)一個(gè)參數(shù)相同的虛擬相機(jī)；b)基于互動(dòng)單元的觸發(fā)指令或操控指令，虛擬相機(jī)對(duì)三維虛擬物體或場景進(jìn)行實(shí)時(shí)渲染，得到多幅渲染圖像，渲染圖像為帶透明通道的渲染紋理，即紋理中無虛擬物體或場景的位置均為透明通道；當(dāng)互動(dòng)單元發(fā)出觸發(fā)指令時(shí)，三維渲染單元觸發(fā)特定三維物體或場景按照預(yù)設(shè)規(guī)則或者路徑出現(xiàn)，多個(gè)虛擬相機(jī)進(jìn)行實(shí)時(shí)渲染得到渲染圖像，以便與實(shí)際相機(jī)采集的圖像進(jìn)行疊加；當(dāng)互動(dòng)單元發(fā)出操控指令時(shí)，三維渲染單元中的三維虛擬物體，根據(jù)操控指令進(jìn)行相應(yīng)動(dòng)作姿勢的響應(yīng)，多個(gè)虛擬相機(jī)進(jìn)行實(shí)時(shí)渲染得到渲染圖像，以便與實(shí)際相機(jī)采集的圖像進(jìn)行疊加。在步驟4)中，采用多線程相機(jī)采集方案，即數(shù)據(jù)采集單元通過調(diào)用多核CPU來并行采集實(shí)際相機(jī)的數(shù)據(jù)，再將獲得的數(shù)據(jù)送往裸眼3D合成單元進(jìn)行加速合成。在步驟5)中，裸眼3D合成單元將實(shí)際相機(jī)圖像進(jìn)行投影畸變校正，包括以下步驟：a)對(duì)圖像進(jìn)行投影變換：[x'y'1]＝[xy1]×T(1)其中，(x,y)為基準(zhǔn)圖像的任意點(diǎn)的位置坐標(biāo)，(x',y')為該任意點(diǎn)對(duì)應(yīng)到未校正圖像的點(diǎn)的位置坐標(biāo)，用基準(zhǔn)圖像中的多個(gè)點(diǎn)坐標(biāo)來確定未校正圖像的相應(yīng)點(diǎn)的坐標(biāo)，然后將未校正圖像進(jìn)行投影畸變校正；公式(1)中的T為投影變換矩陣，大小為3×3矩陣，可表示為：T=t11t12t13t21t22t23t31t321---(2)]]>b)將公式(1)化簡為：x′=t11x+t12y+t13t31x+t32y+1y′=t21x+t22y+t23t31x+t32y+1]]>c)找到基準(zhǔn)圖像與未校正圖像的4組對(duì)應(yīng)點(diǎn)，建立8個(gè)方程，將T求解出來，根據(jù)公式(1)對(duì)實(shí)際相機(jī)圖像進(jìn)行投影畸變校正，基準(zhǔn)圖像指位于立體相機(jī)陣列中心的實(shí)際相機(jī)拍攝得到的實(shí)際相機(jī)圖像，對(duì)于奇數(shù)個(gè)實(shí)際相機(jī)，基準(zhǔn)圖像指位于中心的實(shí)際相機(jī)拍攝的實(shí)際相機(jī)圖像；對(duì)于偶數(shù)個(gè)實(shí)際相機(jī)，選中心兩個(gè)實(shí)際相機(jī)中的任意一個(gè)拍攝的實(shí)際相機(jī)圖像；未校正圖像指與基準(zhǔn)圖像相比存在畸變的未校正的實(shí)際相機(jī)圖像。在步驟5)中，投影畸變校正后的實(shí)際相機(jī)圖像與渲染圖像進(jìn)行疊加得到視差圖像，包括以下步驟：投影畸變校正后的實(shí)際相機(jī)圖像，與對(duì)應(yīng)的渲染圖像進(jìn)行疊加，遍歷整幅圖像，當(dāng)渲染圖像為透明通道時(shí)，則顯示實(shí)際相機(jī)圖像；當(dāng)渲染圖像為非透明通道時(shí)，則顯示渲染圖像；疊加后得到用于裸眼3D顯示單元的視差圖像。在步驟5)中，按照裸眼3D顯示單元的物理結(jié)構(gòu)進(jìn)行視差圖像合成包括：將K幅視差圖像按照裸眼屏的物體特性進(jìn)行圖像合成，下面給出視差圖像與裸眼3D顯示單元的2D顯示屏的子像素的映射關(guān)系公式：Q=(k+koff-3ltanα)modXXK---(3)]]>其中，Q表示每個(gè)子像素與視差圖像的映射值，k和l為子像素的圖像坐標(biāo)，以左上角為零點(diǎn)；α為光柵相對(duì)于豎直方向的夾角，X為一個(gè)光柵水平周期所占的子像素個(gè)數(shù)，K為視點(diǎn)數(shù)，koff為顯示屏左上角距離下一個(gè)光柵周期左邊界的子像素個(gè)數(shù)，mod()為取余函數(shù)。本發(fā)明的優(yōu)點(diǎn)：本發(fā)明在光學(xué)采集單元采用多目實(shí)際相機(jī)構(gòu)成立體相機(jī)陣列，拍攝得到實(shí)際場景的多角度的實(shí)際相機(jī)圖像，互動(dòng)單元根據(jù)觀看者所處位置、姿勢或動(dòng)作，對(duì)三維渲染單元發(fā)布觸發(fā)和操控指令，三維渲染單元對(duì)三維虛擬物體和場景進(jìn)行實(shí)時(shí)渲染，并與實(shí)際相機(jī)圖像一起傳輸至裸眼3D合成單元，進(jìn)行圖像疊加，得到實(shí)際相機(jī)圖像與渲染圖像的混合圖像作為視差圖像，輸出至裸眼3D顯示單元中進(jìn)行三維顯示；觀看者就能從裸眼3D合成單元上看到自己及所處的實(shí)際場景的三維立體顯示效果，不僅如此，還混合著三維虛擬物體與實(shí)際場景的疊加，并且，觀看者還可以與三維虛擬物體進(jìn)行交互，大大增加了裸眼3D顯示單元的趣味性，更容易吸引人們的注意力；本發(fā)明實(shí)現(xiàn)無需佩戴助視設(shè)備，便能看到三維的虛擬與現(xiàn)實(shí)的融合，并可以借助互動(dòng)單元，使觀看者能與裸眼3D合成單元中的展示的虛擬物體進(jìn)行交互，極大增加了顯示設(shè)備的趣味性和吸引性。附圖說明圖1為本發(fā)明的基于裸眼3D顯示的增強(qiáng)現(xiàn)實(shí)互動(dòng)展示系統(tǒng)的結(jié)構(gòu)框圖；圖2為本發(fā)明的基于裸眼3D顯示的增強(qiáng)現(xiàn)實(shí)互動(dòng)展示系統(tǒng)的會(huì)聚式結(jié)構(gòu)排布的多目實(shí)際相機(jī)的俯視圖；圖3為本發(fā)明的基于裸眼3D顯示的增強(qiáng)現(xiàn)實(shí)互動(dòng)展示系統(tǒng)的光學(xué)系統(tǒng)的側(cè)視圖，其中，(a)為原理圖，(b)為五目實(shí)際相機(jī)的實(shí)施例圖；圖4為本發(fā)明的基于裸眼3D顯示的增強(qiáng)現(xiàn)實(shí)互動(dòng)展示方法的一個(gè)實(shí)施例的動(dòng)物觸發(fā)控制邏輯圖；圖5為根據(jù)本發(fā)明的基于裸眼3D顯示的增強(qiáng)現(xiàn)實(shí)互動(dòng)展示方法進(jìn)行投影畸變校正的示意圖。具體實(shí)施方式下面結(jié)合附圖，通過具體實(shí)施例，進(jìn)一步闡述本發(fā)明。如圖1所示，本發(fā)明的裸眼3D增強(qiáng)現(xiàn)實(shí)互動(dòng)展示系統(tǒng)包括：光學(xué)采集單元、三維渲染單元、互動(dòng)單元、裸眼3D合成單元和裸眼3D顯示單元；其中，互動(dòng)單元連接至三維渲染單元；光學(xué)采集單元和三維渲染單元共同連接至裸眼3D合成單元；裸眼3D合成單元連接至裸眼3D顯示單元。1.裸眼3D顯示單元：包括2D顯示屏和光柵，2D顯示屏為P1.667的LED三合一顯示屏，分辨率為1920×1080，顯示屏尺寸為3.2m×1.8m，最佳觀看距離為4m，視點(diǎn)數(shù)為5。2.光學(xué)采集單元：本實(shí)施例中，五目實(shí)際相機(jī)采用工業(yè)相機(jī)，保證硬件參數(shù)和軟件參數(shù)一致，光學(xué)采集單元中的工業(yè)相機(jī)和鏡頭的規(guī)格分別如下所示：表1相機(jī)規(guī)格參數(shù)表表2鏡頭規(guī)格參數(shù)表如圖2所示，光學(xué)采集單元構(gòu)成立體相機(jī)陣列，以會(huì)聚式結(jié)構(gòu)排布，各實(shí)際相機(jī)的光心位于同一水平線上，光軸位于同一平面內(nèi)，并且相鄰的實(shí)際相機(jī)的間距相等，各實(shí)際相機(jī)的光軸相交于位于立體相機(jī)陣列前的一點(diǎn)，稱之為會(huì)聚點(diǎn)。采用奇數(shù)個(gè)相機(jī)，則會(huì)聚點(diǎn)位于中間的實(shí)際相機(jī)的光軸上。如圖3(a)所示，多目相機(jī)架設(shè)在裸眼3D顯示單元正上方，高度為h，相機(jī)在豎直方向上的視場角為FOV，會(huì)聚點(diǎn)O到相機(jī)光心所在直線的距離為Z0，稱之為會(huì)聚距離。ZA為實(shí)際場景中的實(shí)際物體距離實(shí)際相機(jī)的最近距離，若實(shí)際物體離實(shí)際相機(jī)更近，則實(shí)際物體在多目實(shí)際相機(jī)中的視差量將超過人眼的融合范圍。觀看者假設(shè)身高為h0，最佳觀看距離為H。FOV值等鏡頭參數(shù)及相機(jī)高度、俯仰角等參數(shù)需要根據(jù)實(shí)際環(huán)境和顯示屏分辨率等進(jìn)行設(shè)計(jì)選型。如圖3(b)所示，在本實(shí)施例中，根據(jù)裸眼3D顯示單元的規(guī)格尺寸以及雙目融合能力，計(jì)算相鄰的實(shí)際相機(jī)的間距為3.3cm，會(huì)聚距離Z0為5m，最近物體距離ZA為2.64m，CMOS實(shí)際使用像素點(diǎn)數(shù)為1920×1080，那么實(shí)際相機(jī)在豎直方向上的視場角約為42°，相機(jī)架在離地面2.5m的高度，相機(jī)光軸與地面的夾角調(diào)至為25.4°。3.互動(dòng)單元：互動(dòng)單元采用紅外投影儀和紅外攝像頭對(duì)觀看者的位置、姿勢等進(jìn)行檢測。當(dāng)觀看者走到最佳觀看距離處附近，這里的設(shè)計(jì)值為3～5m，紅外攝像頭會(huì)返回裸眼3D合成單元前有人的信號(hào)。當(dāng)裸眼3D合成單元前方3～5m范圍內(nèi)無人，則會(huì)返回裸眼3D合成單元前無人的信號(hào)。當(dāng)該范圍內(nèi)的觀看者伸手想觸摸虛擬物體時(shí)，則返回伸手的信號(hào)?；?dòng)單元會(huì)實(shí)時(shí)檢測觀看者的當(dāng)前狀態(tài)，并將狀態(tài)信號(hào)傳給三維渲染單元。4.三維渲染單元：當(dāng)三維渲染單元接收到互動(dòng)單元發(fā)過來的指令時(shí)，會(huì)根據(jù)相應(yīng)的指令觸發(fā)或操控相應(yīng)的狀態(tài)。當(dāng)收到當(dāng)前無人的信號(hào)，會(huì)啟動(dòng)計(jì)時(shí)器，當(dāng)?shù)竭_(dá)指定時(shí)間后，會(huì)出現(xiàn)一個(gè)虛擬動(dòng)物(如豹子)從虛擬樹林中走出來，三維虛擬物體的行走路徑是控制在觀看者與裸眼3D顯示單元之間，即圖3中2.38m～4m的范圍內(nèi)，以防止與實(shí)際人物發(fā)生穿幫。當(dāng)收到當(dāng)前有人的信號(hào)時(shí)，會(huì)觸發(fā)下一個(gè)動(dòng)物(如梅花鹿)從樹林中走出來，并會(huì)走到屏幕中間停留，做一些吃草、四顧張望的動(dòng)作。此時(shí)，觀看者從裸眼3D顯示單元中看到的仿佛自己身前真有一只實(shí)際的梅花鹿一樣，此時(shí)若觀看者忍不住想試圖去摸摸梅花鹿，則會(huì)被互動(dòng)單元檢測到，回傳一個(gè)伸手信號(hào)，三維渲染單元會(huì)觸發(fā)梅花鹿產(chǎn)生驚慌跑開的動(dòng)作，從而與觀看者產(chǎn)生強(qiáng)烈的互動(dòng)。三維虛擬物體的觸發(fā)控制邏輯，如圖4所示。三維渲染單元中，創(chuàng)建五目虛擬相機(jī)，虛擬相機(jī)參數(shù)需與光學(xué)采集單元中的五目實(shí)際相機(jī)的參數(shù)保持一致，這樣才能保證三維虛擬物體和實(shí)際場景空間，如地面等能夠很好的吻合，才不會(huì)出現(xiàn)動(dòng)物視角不正確、或者動(dòng)物沒有踩在地面上的問題。五目虛擬相機(jī)渲染后的圖像以渲染紋理的方式實(shí)時(shí)傳輸?shù)铰阊?D合成單元中。5.裸眼3D合成單元裸眼3D合成單元接收到五目實(shí)際相機(jī)采集的實(shí)際相機(jī)圖像后，首先對(duì)實(shí)際相機(jī)圖像進(jìn)行投影畸變校正，這里以中心相機(jī)即第3個(gè)相機(jī)為基準(zhǔn)相機(jī)，將兩邊的四個(gè)相機(jī)的原始圖像以此中心相機(jī)拍攝的實(shí)際相機(jī)圖像為基準(zhǔn)圖像進(jìn)行圖像投影畸變校正。以從左數(shù)第2個(gè)相機(jī)和中心相機(jī)為例，第2個(gè)和第3個(gè)相機(jī)拍攝的原始圖像存在非常嚴(yán)重的垂直畸變，這是因?yàn)橄鄼C(jī)的俯仰角調(diào)整誤差所致。以第2個(gè)實(shí)際相機(jī)拍攝的原始圖像作為未校正圖像，第3個(gè)實(shí)際相機(jī)拍攝的原始圖像作為基準(zhǔn)圖像，投影畸變校正是從第2個(gè)和第3個(gè)相機(jī)拍攝的原始圖像中找四組對(duì)應(yīng)點(diǎn)，代入到公式(2)中，計(jì)算出第2個(gè)相機(jī)的投影變換矩陣為：T=1.009-0.0100.2010.0050.99620.2530.0000.0001.000]]>然后，根據(jù)公式(1)，如圖5所示，[x'y'1]＝[xy1]×T(1)對(duì)第2個(gè)相機(jī)的實(shí)際相機(jī)圖像進(jìn)行投影畸變校正。接下來，將校正后的實(shí)際相機(jī)圖像與渲染圖像，根據(jù)虛擬相機(jī)的渲染圖像的透明通道為權(quán)重進(jìn)行疊加，當(dāng)渲染圖像中某個(gè)像素為透明通道時(shí)，則對(duì)應(yīng)的位置圖像顯示實(shí)際相機(jī)圖像；當(dāng)為非透明通道時(shí)，則對(duì)應(yīng)的位置圖像顯示渲染圖像。處理過后，得到5幅疊加的視差圖像。然后根據(jù)裸眼3D合成原理進(jìn)行視差圖像合成，最后將合成后的圖像送到裸眼3D顯示單元進(jìn)行顯示。那么，觀看者就能從裸眼3D顯示單元上看到自己及所處的實(shí)際場景的三維立體顯示效果，不僅如此，還混合著三維虛擬物體與實(shí)際場景的疊加，并且，觀看者還可以與虛擬物體進(jìn)行交互，大大增加了裸眼3D顯示單元的趣味性，更容易吸引人們的注意力。最后需要注意的是，公布實(shí)施例的目的在于幫助進(jìn)一步理解本發(fā)明，但是本領(lǐng)域的技術(shù)人員可以理解：在不脫離本發(fā)明及所附的權(quán)利要求的精神和范圍內(nèi)，各種替換和修改都是可能的。因此，本發(fā)明不應(yīng)局限于實(shí)施例所公開的內(nèi)容，本發(fā)明要求保護(hù)的范圍以權(quán)利要求書界定的范圍為準(zhǔn)。當(dāng)前第1頁1 2 3