專(zhuān)利名稱(chēng)：三維投影顯示器的制作方法
技術(shù)領(lǐng)域：
三維顯示系統(tǒng)，其包括投影顯示系統(tǒng)以及自動(dòng)立體三維顯示器。
背景技術(shù)：
包含多個(gè)投影儀的顯示系統(tǒng)即用于二維(2D)顯示系統(tǒng)又用于三維 (3D)顯示系統(tǒng)。用于制造3D顯示器的顯示系統(tǒng)具有多種形式。 一種形 式使用多個(gè)投影儀在投影屏幕上產(chǎn)生平鋪的高分辨率圖像，然后將大量 透鏡放在屏幕前方，每個(gè)透鏡被布置來(lái)為屏幕的一小部分成像。經(jīng)常以 單軸透鏡狀排列來(lái)布置這一系統(tǒng)內(nèi)的透鏡。然后，由于透鏡的作用，觀 察者會(huì)根據(jù)他的觀察點(diǎn)看到一套不同的像素，因此為適當(dāng)投射的圖像數(shù) 據(jù)呈現(xiàn)了類(lèi)似于3D的外觀。該方法不依賴(lài)多個(gè)投影儀，但是受益于它們 所提供的附加像素?cái)?shù)。
3D圖形也可以通過(guò)布置多個(gè)與屏幕相關(guān)的投影儀形成，以使得觀看 屏幕不同部分的觀察者能看到來(lái)自不同投影儀的圖像組成部分，各組成
部分互相配合從而達(dá)到3D效果。這并不需要大量透鏡且能夠達(dá)到較好的 3D效果，因?yàn)楹铣蓤D像能夠具有一個(gè)明顯的深度同時(shí)只是在不同的觀察 點(diǎn)看起來(lái)不同。投影儀越多取得的效果越好，因?yàn)檫@提供了更大的視角 以及更自然的3D圖像。常規(guī)地，隨著投影儀數(shù)量的增加，這樣的顯示器 的圖像渲染(render)要求對(duì)于一個(gè)系統(tǒng)而言變得非常高，從而導(dǎo)致對(duì) 可獲得質(zhì)量造成了經(jīng)濟(jì)限制。同樣，隨著投影儀數(shù)量的增加，與每個(gè)其 他投影儀相關(guān)的各個(gè)投影儀安裝變得更困難。
這些系統(tǒng)執(zhí)行的渲染在概念上相對(duì)簡(jiǎn)單，但是要求相對(duì)大量的處理 資源，因?yàn)橥ㄟ^(guò)使用位于視見(jiàn)約束體(viewing-volume)中的虛擬圖像生 成相機(jī)來(lái)渲染要在每個(gè)投影儀上顯示的數(shù)據(jù)，從該視見(jiàn)約束體可以看到 自動(dòng)立體圖像。虛擬圖像生成相機(jī)是一個(gè)點(diǎn)，從該點(diǎn)進(jìn)行渲染。在光線 追蹤術(shù)語(yǔ)中該點(diǎn)是假定所有光線從其散發(fā)的點(diǎn)，并且通常代表從其觀察 圖像的點(diǎn)。對(duì)于自動(dòng)立體顯示器，通常為視見(jiàn)約束體內(nèi)的幾個(gè)虛擬圖像 生成相機(jī)位置執(zhí)行渲染，正如本段前面所述的，這是計(jì)算量繁重的任務(wù)。


將參考如下的說(shuō)明性圖例附圖、僅僅通過(guò)實(shí)例的方式詳細(xì)描述不同 的實(shí)施方案，其中，
附圖l表示投影系統(tǒng)的圖，三維投影顯示器可以根據(jù)該投影系統(tǒng)來(lái)
實(shí)現(xiàn)；
附圖2表示可以設(shè)置在附圖1的投影系統(tǒng)內(nèi)的投影儀的截頭錐體，
以及 一 個(gè)渲染圖像信息的說(shuō)明性實(shí)施例；
附圖3和4表示系統(tǒng)空間內(nèi)的點(diǎn)p，其被投影穿過(guò)點(diǎn)p，從而顯示在
對(duì)于觀察者來(lái)說(shuō)正確的空間位置；
附圖5表示一包括曲面屏幕的三維投影顯示器實(shí)施方案；以及 附圖6表示三維投影系統(tǒng)產(chǎn)生的某些圖像可能發(fā)生的失真效應(yīng)。
具體實(shí)施例方式
附圖1表示投影系統(tǒng)，三維投影顯示器可以根據(jù)該投影系統(tǒng)來(lái)實(shí)現(xiàn)。 投影系統(tǒng)是單水平視差(HP0)系統(tǒng)，盡管在此處公開(kāi)的工作原理可以用 于其他系統(tǒng)。多個(gè)投影儀1均被布置為將圖像投影到屏幕2上。屏幕2 具有散射特性，使得在水平面內(nèi)散射角非常小，大約1.5° ,然而在垂 直面內(nèi)散射角卻相對(duì)大很多，大約60° 。
布置投影儀1,使得兩個(gè)相鄰的投影儀和屏幕之間的角度6不大于 屏幕2的水平面散射角。這種布置保證，位于屏幕2的另一側(cè)的觀察者 3不會(huì)看出圖像內(nèi)的任何間隙，該間隙不能被投影儀l中的至少一臺(tái)照 亮。
無(wú)需以任何高精度將投影儀1關(guān)于彼此或關(guān)于屏幕排列成一行。能 夠執(zhí)行校準(zhǔn)步驟(下面描述)來(lái)補(bǔ)償投影儀定位或者光學(xué)不規(guī)則性，以 及補(bǔ)償屏幕中的不規(guī)則性。
由多個(gè)聯(lián)網(wǎng)計(jì)算機(jī)組成的計(jì)算機(jī)集群(computer cluster)可用于執(zhí) 行待顯示圖像的圖像處理或者渲染?？墒褂酶鄬?zhuān)用硬件，這能夠降低 所需獨(dú)立計(jì)算機(jī)的數(shù)量。每臺(tái)計(jì)算機(jī)4可包含處理器、存儲(chǔ)器以及具有 一個(gè)或多個(gè)輸出接口的消費(fèi)者層面的顯卡。顯卡的每一個(gè)接口可連接到 一臺(tái)獨(dú)立投影儀?？膳渲糜?jì)算機(jī)4中的一臺(tái)作為其余計(jì)算機(jī)的主控制器。光線從投影儀1被投射向屏幕2。為 投影儀l中的每一臺(tái)示出了獨(dú)立的一條光線，盡管實(shí)際上每一臺(tái)投影儀 會(huì)從它的投影截頭錐體范圍內(nèi)的一柵格像素發(fā)射投影。所示每一條光線 5被導(dǎo)引使其產(chǎn)生顯示圖像內(nèi)的單一顯示點(diǎn)，例如點(diǎn)7。該顯示點(diǎn)不在屏 幕2的表面上，而是在觀察者看來(lái)好像處于屏幕2前方的某一距離處。 每個(gè)投影儀1可被配置為將相應(yīng)于圖像或者圖像的一部分的光線發(fā)射到 屏幕2的不同部分。如果圖像是根據(jù)投影儀透視圖或者屏幕上顯示的失 真圖像進(jìn)行顯示的，這會(huì)導(dǎo)致投影儀偏差。在一實(shí)施方案中，待顯示的 3D物體的頂點(diǎn)以下述方式被操作或被預(yù)失真從而校正投影偏差。
根據(jù)一實(shí)施方式，3D圖像的顯示以如下方式進(jìn)行
1. 包括3D圖像信息的應(yīng)用數(shù)據(jù)作為一系列頂點(diǎn)由主計(jì)算機(jī)接收。例 如，這些信息可以是來(lái)自諸如AUTOCAD等的CAD軟件包的信息，或者可 以是從多個(gè)相機(jī)提取的場(chǎng)景信息。主計(jì)算機(jī)(或者過(guò)程)通過(guò)網(wǎng)絡(luò)將數(shù) 據(jù)發(fā)送到渲染計(jì)算機(jī)(或過(guò)程)。
2. 每個(gè)渲染過(guò)程接收頂點(diǎn)(信息)并且為其分配的投影儀中每一個(gè)進(jìn) 行渲染，補(bǔ)償由于投影偏差或系統(tǒng)附加到圖像中的失真產(chǎn)生的某些視覺(jué) 效應(yīng)。也可以通過(guò)在渲染光線之前處理圖像信息來(lái)補(bǔ)償視覺(jué)效應(yīng)。
3. —旦將3D數(shù)據(jù)適當(dāng)?shù)赝队暗斤@卡的2D幀緩沖區(qū)內(nèi)，應(yīng)用更多的 校準(zhǔn)數(shù)據(jù)以通過(guò)對(duì)預(yù)失真頂點(diǎn)的進(jìn)一步操作或處理來(lái)校正投影儀、鏡面 (mirror)和屏幕表面的偏差。
可以對(duì)組成3D圖像的頂點(diǎn)進(jìn)行自定義處理，該自定義處理需要考慮
投影截頭錐體的特性。系統(tǒng)內(nèi)每一個(gè)投影儀的渲染(或者"相機(jī)")截頭 錐體與實(shí)體投影儀的截頭錐體可能不同。每一個(gè)投影儀i可被安裝得訪
問(wèn)屏幕背面的整個(gè)高度(即，它覆蓋了頂端區(qū)域和底端區(qū)域)。由于屏幕 的HP0特性，渲染截頭錐體可被布置為使得每一個(gè)截頭錐體的原點(diǎn)在ZX 平面內(nèi)與其相關(guān)的投影儀共面，并且它的方向在YZ平面內(nèi)由選擇的觀察 者位置確定。
附圖2表示可以設(shè)置在附圖1的投影系統(tǒng)中的投影儀的截頭錐體， 以及渲染圖像信息的一個(gè)說(shuō)明性實(shí)施例。示出屏幕2的一部分，以及"理 想的"渲染截頭錐體8 (陰影線區(qū)域)，和實(shí)體投影儀截頭錐體9。投影 儀截頭錐體9通常由與"理想的"投影儀位置IO偏離的投影儀產(chǎn)生。注意，理想的投影儀位置10與實(shí)際位置10，在ZX平面內(nèi)共面。
可以選擇渲染截頭錐體的范圍，以使得所有可能的光線都由相應(yīng)的 實(shí)體投影儀重復(fù)。在一實(shí)施方案中，系統(tǒng)空間內(nèi)的渲染截頭錐體與屏幕 的實(shí)體訪問(wèn)部分相交。
實(shí)體投影儀的某些偏差，如旋轉(zhuǎn)和垂直偏差，由校準(zhǔn)和圖像翹曲來(lái) 校正，后面會(huì)進(jìn)行描述。
再看附圖1，可以看出，通過(guò)在投影儀l組的旁邊放置鏡面11，多
個(gè)虛擬投影儀12由投影儀截頭錐體的反射部分形成。這樣達(dá)到增加投影 儀數(shù)量的效果，因此增加了觀察者3觀察圖像6的視見(jiàn)約束體尺寸。通 過(guò)為鏡像的(mirrored)實(shí)體投影儀計(jì)算實(shí)際投影截頭錐體和虛擬投影截 頭錐體，將局部校正截頭錐體投射到屏幕上。例如， 一實(shí)施方案包括自 動(dòng)立體顯示器，每個(gè)計(jì)算機(jī)(4)的顯卡幀緩沖區(qū)可并列裝載兩個(gè)渲染圖 像。渲染圖像的分界線與鏡面邊沿對(duì)齊。
為校正前述HP0失真，并且為沿各個(gè)視點(diǎn)向觀察者呈現(xiàn)幾何準(zhǔn)確的 自然空間，可以在渲染前針對(duì)圖像幾何進(jìn)行操作或者進(jìn)行預(yù)失真。為了 而限定觀察者關(guān)于屏幕的位置以進(jìn)行完全準(zhǔn)確的失真校正，可提供眼球 的任意運(yùn)動(dòng)。
對(duì)于多觀察者多視點(diǎn)自動(dòng)立體系統(tǒng)，不可能同時(shí)追蹤每個(gè)觀察者。 因此，如果把觀察者的地置限定在最常見(jiàn)位置，就接受了一個(gè)折中辦法。 在一實(shí)施方案中，選擇處于視見(jiàn)約束體的中心的視覺(jué)深度。但是，該方 法允許觀察者位置的實(shí)時(shí)更新，例如通過(guò)改變系統(tǒng)的如下數(shù)學(xué)表達(dá)式中 的坐標(biāo)。
當(dāng)從外部3D應(yīng)用程序顯示圖像時(shí)，重要的是真實(shí)地表示眼空間(或 者應(yīng)用程序空間)，這包括保留中心視點(diǎn)并產(chǎn)生透視正確的物體。
系統(tǒng)的數(shù)學(xué)表達(dá)式將用戶(hù)視點(diǎn)(從外部應(yīng)用程序)定義為被映射到 眼的中心軸線上(即，沿著眼空間的Z軸)。使得用戶(hù)的主視點(diǎn)類(lèi)似于應(yīng) 用程序的，并且使用戶(hù)有能力通過(guò)在視覺(jué)約束體內(nèi)四處移動(dòng)來(lái)環(huán)視所顯 示的物體。
在進(jìn)一步限定系統(tǒng)的數(shù)學(xué)表達(dá)式時(shí)，確定了一個(gè)4x4矩陣MA,其中認(rèn)
為矩陣MA能夠?qū)?yīng)用程序的眼空間變換到應(yīng)用程序的投影儀空間。 一旦 處于投影儀空間內(nèi)，設(shè)投影矩陣PA表示進(jìn)入應(yīng)用程序同種剪切空間的投
8目前我們通過(guò)應(yīng)用眼投影逆矩陣P^而"未投影"到顯示眼空間之 內(nèi)，且使用眼變換逆矩陣M纟進(jìn)一步映射到系統(tǒng)空間內(nèi)。 一旦進(jìn)入系統(tǒng)空 間，可以應(yīng)用一般變換矩陣T，例如允許將應(yīng)用程序約束在顯示器的子
約束體(sub-volume)內(nèi)。渲染相機(jī)變換矩陣Mp可以用來(lái)映射到投影儀空 間用于幾何預(yù)失真。
對(duì)投影儀空間中的幾何結(jié)構(gòu)進(jìn)行操作或進(jìn)行預(yù)失真，然后我們執(zhí)行 幻視投影HZPP進(jìn)入我們的相機(jī)幻視同種剪切空間。幻視變換可以表示為<formula>formula see original document page 9</formula>
括號(hào)內(nèi)的符號(hào)可被理解為表示圖像的翻轉(zhuǎn)或者跳動(dòng)。在一實(shí)施方案 中，翻轉(zhuǎn)圖像以補(bǔ)償投影儀的投影模式。
應(yīng)用程序空間內(nèi)的同種點(diǎn)P = 〈Px,Py,Pz,i〉，在映射到歸 一化設(shè)備坐標(biāo)
前，可以表示為<formula>formula see original document page 9</formula>
其中D(x,y,z;E)表示隨投影儀空間內(nèi)的點(diǎn)坐標(biāo)以及眼位置而變化的操 作或者預(yù)失真，如下所述。
附圖3和4表示在給定的投影儀顯示圖像前可能在對(duì)圖像執(zhí)行操作 時(shí)所進(jìn)行的計(jì)算。投影儀13可以被配置為發(fā)射光線形成點(diǎn)P，該點(diǎn)p在
屏幕14后部的近距離處。觀察3D圖像的點(diǎn)p的觀察者看到在點(diǎn)16處穿 過(guò)屏幕14的光線15。
發(fā)射光線17以構(gòu)成點(diǎn)p的投影儀13可以不直接將光線導(dǎo)向點(diǎn)p, 而是導(dǎo)向屏幕14的一部分一一此處對(duì)觀察者看起來(lái)是點(diǎn)p (即，穿過(guò)點(diǎn) p，)。可以對(duì)光線17進(jìn)行操作以為點(diǎn)p提供一些預(yù)失真，從而補(bǔ)償投影 儀視點(diǎn)和觀察者視點(diǎn)之間的差異。構(gòu)成3D圖像的所有點(diǎn)，或者頂點(diǎn)，都 可以進(jìn)行類(lèi)似的操作。盡管如此，仍應(yīng)該理解，除了構(gòu)成3D圖像的點(diǎn)之 外，屏幕14上的所有剩余點(diǎn)，可以不作改變或者不進(jìn)行類(lèi)似的操作。
為了在投影儀空間內(nèi)預(yù)失真點(diǎn)p，可能確定YZ平面內(nèi)從投影儀原點(diǎn) 到眼原點(diǎn)的距離d，并找出投影儀光線與屏幕的交點(diǎn)的Z坐標(biāo)Zp。
在給定深度z處，點(diǎn)p在投影儀空間內(nèi)高度^的視圖(eye' s view),被映射到穿過(guò)屏幕上的公共點(diǎn)的目標(biāo)高度yp。然而，由于屏幕的HPO性 質(zhì)，投影點(diǎn)p，在對(duì)觀察者來(lái)說(shuō)出現(xiàn)正確的位置。
進(jìn)一步參考附圖4，可以看出，對(duì)于給定的投影儀光線，基于眼睛 的高度Ey和X軸旋轉(zhuǎn)Ep可以算出投影儀原點(diǎn)的有效高度Py以及方向。
因此，可以算出點(diǎn)的預(yù)失真高度yp:
Yp-[丄^]，(公式3)
附圖5表示一包括曲面屏幕的三維投影顯示器的實(shí)施方案。當(dāng)使用 曲面屏幕時(shí)，可以處理投影坐標(biāo)以校正失真。在一實(shí)施方案中，可以從 特定光線(由等式^ =,定義的)與屏幕的交點(diǎn)確定^的值。
如上所述，通用變換矩陣T可以用來(lái)為視見(jiàn)約束體的不同區(qū)域提供 獨(dú)立的圖像信息。例如，獨(dú)立的圖像信息可以包括從觀察區(qū)域的一半可 視的一圖像和從觀察區(qū)域的另一半可視的第二圖像。替代地，獨(dú)立的圖 像信息可被安排以使得向位于第一位置的觀察者投影第一圖像，以及向 位于第二位置的觀察者投影第二圖像。可以通過(guò)采用頭部跟蹤裝置對(duì)觀 察者位置進(jìn)行追蹤，并且通過(guò)對(duì)對(duì)應(yīng)追蹤位置的矩陣T的值做適當(dāng)變化， 當(dāng)觀察者在觀察區(qū)域內(nèi)移動(dòng)時(shí)，每個(gè)觀察者會(huì)保持他們選定的適當(dāng)圖像 的4見(jiàn)點(diǎn)。
這里公開(kāi)的不同實(shí)施方案中的投影儀和屏幕可以被定位而不考慮極 度的位置精確性?？赡軋?zhí)行軟件校準(zhǔn)步驟以使得投影儀位置和方向的偏 差可能得到補(bǔ)償，諸如可以在附圖2中位置10和IO，之間的差異中看到 得偏差。再注意，渲染截頭錐體原點(diǎn)可以在ZX平面中與投影儀截頭錐體 共面。在一實(shí)施方案中，通過(guò)如下步驟執(zhí)行校準(zhǔn)
1. 將一張透明薄板放在屏幕上方，在該薄板上已經(jīng)印刷有參考網(wǎng)格 線；
2. 對(duì)于第一投影儀，安排計(jì)算機(jī)，該計(jì)算機(jī)控制該投影儀顯示預(yù)編 程的網(wǎng)格圖案；
3. 調(diào)整顯示參數(shù)，諸如投影截頭錐體在x和y軸上的范圍和曲率， 使得顯示的網(wǎng)格與印刷的網(wǎng)格緊密對(duì)齊；
4. 將所作的與投影儀相關(guān)的調(diào)整范圍存儲(chǔ)在一校準(zhǔn)文件中；并且
5. 對(duì)系統(tǒng)中每一個(gè)投影儀重復(fù)步驟2到4。
如此產(chǎn)生的校準(zhǔn)文件包含校準(zhǔn)數(shù)據(jù)，該校準(zhǔn)數(shù)據(jù)可在預(yù)失真渲染階段之前和之后用來(lái)給預(yù)失真圖像數(shù)據(jù)施加變換，從而對(duì)先前確定的位置 和方向偏差進(jìn)行補(bǔ)償。
還可以執(zhí)行進(jìn)一 步的校準(zhǔn)階段以修正投影儀之間不同的顏色和亮度
表示?？梢酝ㄟ^(guò)對(duì)每一個(gè)像素應(yīng)用RGB加權(quán)，在犧牲動(dòng)態(tài)范圍(dynamic range)的條件下，修正投影儀圖像上顏色和亮度的不一致。
其他實(shí)施方案能夠利用現(xiàn)代顯卡的其他功能，同時(shí)仍然能夠產(chǎn)生實(shí) 時(shí)的移動(dòng)顯示。例如，前面重點(diǎn)描述的幾何預(yù)失真可被加強(qiáng)以包括對(duì)非 線性光學(xué)器件的全處理?，F(xiàn)代顯卡能夠在頂點(diǎn)處理階段利用紋理圖，這 樣允許對(duì)非常復(fù)雜和不完美的光學(xué)器件計(jì)算離線修正。這種光學(xué)器件的 實(shí)例包括曲面鏡和徑向透鏡失真。
不同的實(shí)施方案在許多不同的領(lǐng)域有所應(yīng)用。這些包括，但不限于， 諸如MRI/NMR、立體光刻、PET掃描、CAT掃描等的體數(shù)據(jù)(volume data ), 以及來(lái)自CAD/CAM、 3D游戲、動(dòng)畫(huà)制作等的3D計(jì)算機(jī)幾何。多個(gè)2D數(shù) 據(jù)源也可以通過(guò)將它們映射到在3D體內(nèi)任意深度的平面而得以顯示。
不同實(shí)施方案的進(jìn)一步應(yīng)用包括將計(jì)算機(jī)生成圖像替換為來(lái)自多個(gè) 攝像機(jī)的圖像，以實(shí)現(xiàn)具有實(shí)況重播的真正"自動(dòng)立體3D電視"。通過(guò) 在不同的位置使用多個(gè)相機(jī)，或者將一個(gè)相機(jī)及時(shí)移動(dòng)到不同的位置建 立圖像，可收集場(chǎng)景的多個(gè)視圖。這些獨(dú)立視圖用于提取深度信息。為 了重新生成該3D視頻，數(shù)據(jù)會(huì)攜帶前面重點(diǎn)描述的正確的預(yù)失真信息以 偽視覺(jué)方式重新投影。深度信息收集的其他方式也可用于完善 (compliment)多視頻圖4象，如激光測(cè)距和其他3D照相才支術(shù)。
隨著成本相對(duì)較低的可編程圖形硬件的出現(xiàn)，已經(jīng)在每臺(tái)計(jì)算機(jī)的 顯卡中在圖像處理單元(GPU)的頂點(diǎn)處理階段內(nèi)成功實(shí)現(xiàn)圖像的預(yù)失真。 通過(guò)預(yù)失真每個(gè)頂點(diǎn)，片斷的后續(xù)內(nèi)插接近預(yù)失真的目標(biāo)量?？赡茉谡?個(gè)幾何結(jié)構(gòu)中設(shè)置足夠數(shù)量的、非常均勻間隔的頂點(diǎn)，以保證合成圖像 被正確渲染。通過(guò)將每個(gè)頂點(diǎn)的預(yù)失真切換到GPU上，可以以非常大的 3D數(shù)據(jù)集達(dá)到實(shí)時(shí)幀頻。
某些系統(tǒng)展示偽影(image art if act),這些偽影將自身顯示為彎曲 現(xiàn)象，如附圖6a所示。這種現(xiàn)象可能發(fā)生在具有這樣的元素的圖像內(nèi)， 即，該元素從視見(jiàn)約束體的前端延伸到后端，或者該元素在屏幕任何一 側(cè)占據(jù)視見(jiàn)約束體的主要部分。這種現(xiàn)象主要發(fā)生在透視投影用于圖像渲染的情況下。
某一實(shí)施方案包括具有一個(gè)或多個(gè)沒(méi)影點(diǎn)(vanishing point)的透
視投影。通過(guò)將投影更改為正交投影一一正交投影不存在沒(méi)影點(diǎn)(或者
也可能認(rèn)為在無(wú)限遠(yuǎn)處實(shí)際上存在所有沒(méi)影點(diǎn))，彎曲現(xiàn)象可能會(huì)有所減
弱。但是，這會(huì)導(dǎo)致物體本身的非自然外觀。
同一物體不同部分的投影能夠根據(jù)物體的每一部分與屏幕的視距而
調(diào)整。例如，顯示物體的離屏幕很近的那些部分可以采用透視投影顯示， 而離屏幕最遠(yuǎn)的那些部分可以采用正交投影顯示，中間部分采用透視投 影和正交投影的某種組合顯示。隨著物體視距的增加，投影方法的這種 變化可能逐漸發(fā)生，因此取得更令人滿意的圖像。附圖6b表示經(jīng)過(guò)操作 的圖像，彎曲有所減弱。
目前的投影被稱(chēng)作投影儀空間圖像生成(PS IG )，因?yàn)椴煌瑢?shí)施方案 實(shí)現(xiàn)了從投影儀的觀察點(diǎn)來(lái)渲染，與面向觀察者的渲染相反。以表示了 3D物體的形式接收?qǐng)D像信息。對(duì)圖像信息操作，以補(bǔ)償與一個(gè)或多個(gè)投 影儀相關(guān)的投影儀偏差。通過(guò)將投影儀透視變換為觀察區(qū)域透視來(lái)補(bǔ)償 投影儀偏差。相應(yīng)于操作后的圖像信息的光線從一個(gè)或多個(gè)投影儀中的 每一個(gè)投射出來(lái)穿過(guò)屏幕到達(dá)觀察區(qū)。
實(shí)際上，PSIG方法執(zhí)行從投影儀的圖像渲染，在與投影儀同一位置 布置虛擬圖像生成視點(diǎn)或者虛擬相機(jī)，其在光線追蹤術(shù)語(yǔ)中稱(chēng)為觀察者 眼或相機(jī)眼。當(dāng)然，這并不意味著，合成圖像的實(shí)際視點(diǎn)與投影儀在同 一位置一一術(shù)語(yǔ)"虛擬圖像生成視點(diǎn)"可以指為圖像計(jì)算或渲染目的所 取的有效視點(diǎn)。這與合成圖像的觀察者的實(shí)際視點(diǎn)形成對(duì)比，因?yàn)橛^察 者視點(diǎn)通常由光線追蹤應(yīng)用程序完成。虛擬相機(jī)的實(shí)際位置可能正好與 投影儀位置處于相同位置，或者也許處于與實(shí)際投影儀位置相對(duì)較近的 位置，這種情況下考慮到位置差異可能使用校正因子。通過(guò)減少(近乎 零)渲染后的信息變換操作，簡(jiǎn)化了相機(jī)到投影儀的映射階段。
因此，此處描述了高質(zhì)量的但卻大量減少對(duì)處理功率的需求的自動(dòng) 立體圖像的生成，用于渲染待投影的圖像。要從投影儀一側(cè)投射到達(dá)屏 幕，并穿過(guò)屏幕到達(dá)虛擬觀察者的正確光線，可被計(jì)算以產(chǎn)生待顯示的 幾何精確圖像。已經(jīng)發(fā)現(xiàn)，這種光線追蹤方法允許在一次操作中就能夠 渲染來(lái)自單個(gè)投影儀的圖像幀。這與從屏幕的觀察者側(cè)的渲染形成對(duì)比，
12后者會(huì)導(dǎo)致所需數(shù)學(xué)運(yùn)算量的數(shù)量級(jí)增加。
在此公開(kāi)的不同實(shí)施方案被描述為是在單水平視差(HP0)自動(dòng)成像 投影系統(tǒng)上完成的。盡管通過(guò)對(duì)投影系統(tǒng)和渲染軟件的配置進(jìn)行適當(dāng)?shù)?變化，不同實(shí)施方案可能用于單垂直視差系統(tǒng)，或者所需的全視差系統(tǒng)。
為不同實(shí)施方案提供的屏幕可適用于HPO,通過(guò)使其漫射角不對(duì)稱(chēng) 的方式。從投影儀投射到屏幕上的光線在垂直平面內(nèi)散射廣泛，大約為 60°，以提供較大的視角，但是在水平面內(nèi)散射相對(duì)較窄。通常水平散射 可能大約為1.5', 2°或3°，盡管角度可被調(diào)整以使其適應(yīng)給定系統(tǒng)設(shè)計(jì)參 數(shù)。該散射特性表示，系統(tǒng)能夠非常精確的控制由投影儀所發(fā)射的光線 的傳播方向，并且以此方式系統(tǒng)能夠在大空間內(nèi)為觀察者的每個(gè)眼睛提 供不同的圖像從而產(chǎn)生3D效果。屏幕的散射角可根據(jù)其他參數(shù)選定，諸 如使用的投影儀數(shù)量，選定的最優(yōu)視距，以及投影儀之間的間隔。較大 量的投影儀，或者互相間隔較近的投影儀，通常使用具有較小散射角的 屏幕。這會(huì)得到更高質(zhì)量的圖像，但卻以更多的投影儀或者更小的視見(jiàn) 約束體為代價(jià)。屏幕可以是透射的或反射的。盡管這里描述的不同的實(shí) 施方案考慮使用透射屏幕，也可以使用反射式屏幕。
當(dāng)使用具有單水平視差(HP0)特性的屏幕材料時(shí)，可能注意到某些 失真。對(duì)于所有的HPO系統(tǒng)，這些失真為常見(jiàn)的，這些失真含有缺乏正 確垂直透視的圖像。這些效果包括物體按透視法縮短，以及在眼睛的垂 直移動(dòng)下物體的視追蹤。
在另一實(shí)施方案中，屏幕由在至少一個(gè)軸上具有狹小散射角的材料 組成。自動(dòng)立體圖像在屏幕上顯示?？梢圆贾靡粋€(gè)或多個(gè)投影儀從不同 角度照亮屏幕。
由于與觀察者空間圖像生成系統(tǒng)相比處理能量的減少，復(fù)雜實(shí)時(shí)計(jì) 算機(jī)動(dòng)畫(huà)制作的顯示成為可能，同時(shí)也能夠利用價(jià)格相對(duì)低廉的現(xiàn)成計(jì) 算機(jī)系統(tǒng)。可能包含現(xiàn)場(chǎng)視頻流，這也開(kāi)啟了適當(dāng)相機(jī)系統(tǒng)的運(yùn)用以生 成3D自動(dòng)立體電^L系統(tǒng)。
由一個(gè)或多個(gè)投影儀接收的圖像信息可能包括與待顯示物體的形狀 相關(guān)的信息，還可能包括與顏色，紋理，亮度級(jí)或者其他任何可被顯示 的特征相關(guān)的信息。
可以以表示3D物體的形式接收?qǐng)D像信息。將圖像信息分配給一臺(tái)或多臺(tái)與一個(gè)或多個(gè)投影儀相關(guān)聯(lián)的處理器。在一實(shí)施方案中，每一個(gè)投 影儀與不同的處理器相關(guān)聯(lián)，并且每一臺(tái)處理器被配置為處理或渲染圖 像信息的一部分。 一個(gè)或多個(gè)投影儀中每一個(gè)都被配置為將一個(gè)投影截 頭錐體內(nèi)的圖像投影到屏幕上。對(duì)每一個(gè)投影儀截頭錐體內(nèi)被投影圖像 的不同部分進(jìn)行渲染來(lái)表示整個(gè)圖像的預(yù)定視圖。來(lái)自 一個(gè)或多個(gè)投影 儀中每一個(gè)的圖像合并起來(lái)以在視見(jiàn)約束體內(nèi)產(chǎn)生自動(dòng)立體圖像。在一 實(shí)施方案中，對(duì)給定投影儀所執(zhí)行的渲染使用了與圖像投影儀處于同一 位置的虛擬圖像生成相機(jī)。
注意為了本說(shuō)明書(shū)的目的，所述一個(gè)或多個(gè)投影儀可以由具有光 源、某種空間光線調(diào)節(jié)器(SLM)和透鏡的常規(guī)的、現(xiàn)成的投影儀系統(tǒng)構(gòu) 成。替換地，所述一個(gè)或多個(gè)投影儀可以由獨(dú)立光學(xué)孔徑構(gòu)成，該光學(xué) 孔徑具有與鄰近光學(xué)孔徑共用的SLM。光源和SLM可能重合。
該說(shuō)明書(shū)中使用的部分術(shù)語(yǔ)詞匯表 *應(yīng)用程序空間。映射成我們的顯示內(nèi)容的外部應(yīng)用程序的眼空間。 *自動(dòng)立體。無(wú)需特殊透鏡的雙目差別(以及潛在的移動(dòng)視差) *相機(jī)空間。參見(jiàn)投影儀空間。 *眼空間。自然空間內(nèi)觀察者的坐標(biāo)系。 *全視差(FP)。表示在水平和垂直維度的視差。
*截頭錐體(復(fù)數(shù)frusta )。投射體；通常類(lèi)似于切去頂端的正方形棱 錐(四面體)。
*同種剪切空間(HCS)。透視投影到立方體內(nèi)之后的坐標(biāo)系。 *同種坐標(biāo)。四維的向量表示，其中第四分量為w坐標(biāo)。 *單水平視差(HPO)。僅表示在水平面的視差 *物體空間。其中限定3D物體的本地坐標(biāo)系。 *投影儀空間。渲染或"相機(jī)"坐標(biāo)系。
*系統(tǒng)幾何。系統(tǒng)屬性，其包括組成部分、投影截頭錐體和屏幕幾何
圖形的相對(duì)位置和方向。 *系統(tǒng)空間。其中限定顯示硬件的坐標(biāo)系。
*視見(jiàn)約束體。其中用戶(hù)能夠看到由顯示系統(tǒng)所生成的圖像的區(qū)域。
(通常由特定的視野和可用的深度范圍剪裁。) *虛擬投影儀。(例如)側(cè)鏡內(nèi)的投影儀的映像，其中部分截頭錐體好像來(lái)自投影儀圖像。
自然空間。其中限定所有3D物體和相應(yīng)物體空間的整體坐標(biāo)系。
權(quán)利要求
1.一種方法，其包括以表示三維(3D)物體的形式接收?qǐng)D像信息；對(duì)接收到的圖像信息進(jìn)行操作，以通過(guò)將3D物體的投影儀透視圖變換為觀察區(qū)域透視圖，來(lái)補(bǔ)償與一個(gè)或多個(gè)投影儀相關(guān)聯(lián)的投影儀偏差；以及從一個(gè)或多個(gè)投影儀中的每一個(gè)，投射與操作后的圖像信息相對(duì)應(yīng)的光線穿過(guò)屏幕到達(dá)觀察區(qū)域。
2. 根據(jù)權(quán)利要求1所述的方法，其中由一個(gè)或多個(gè)虛擬相機(jī)對(duì)接收 到的圖像信息進(jìn)行操作，所述虛擬相機(jī)和所述一個(gè)或多個(gè)投影儀位于屏 幕的同側(cè)。
3. 根據(jù)權(quán)利要求1所述的方法，其中投影儀偏差包括在所述一個(gè)或 多個(gè)投影儀之間的位置差異、方向差異或者光學(xué)差異中的一個(gè)或多個(gè)。
4. 根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括在將光線投射穿過(guò)屏幕 前從鏡面反射光線，以產(chǎn)生至少一個(gè)虛擬截頭錐體。
5. 根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括將觀察區(qū)域分割為獨(dú)立 的子區(qū)域，其中與每一個(gè)子區(qū)域相關(guān)聯(lián)的圖像可以不受其他子區(qū)域的控 制。
6. 根據(jù)權(quán)利要求1所述的方法，其中根據(jù)3D物體的不同部分離屏幕 的視距，由不同的投影儀投影所述圖像信息。
7. 根據(jù)權(quán)利要求6所述的方法，其中3D物體的離圖像相對(duì)較近的部 分采用透視投影儀顯示，3D物體的離圖像相對(duì)較遠(yuǎn)的部分采用正交投影 儀顯示。
8. 根據(jù)權(quán)利要求6所述的方法，進(jìn)一步包括根據(jù)從物體部分離屏幕 的視距來(lái)改變物體部分的投影參數(shù)。
9. 一種系統(tǒng)，其包括屏幕；多個(gè)投影儀，其被配置為用光線照亮屏幕，所述光線形成三維(3D) 物體以顯示在觀察區(qū)域內(nèi)；以及一個(gè)或多個(gè)處理器，其被配置為生成與3D物體相關(guān)聯(lián)的圖像信息， 所述圖像信息被校正以通過(guò)將3D物體的投影儀透視圖變換為觀察區(qū)域透視圖來(lái)補(bǔ)償多個(gè)投影儀的投影儀誤差。
10. 根據(jù)權(quán)利要求9所述的系統(tǒng)，進(jìn)一步包括一個(gè)或多個(gè)虛擬相機(jī)， 其與多個(gè)投影儀位于屏幕的同側(cè)，所述一個(gè)或多個(gè)虛擬相機(jī)被配置為對(duì) 圖像信息進(jìn)行操作。
11. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其中投影儀偏差包括在所述多個(gè)投 影儀之間的位置差異、方向差異或者光學(xué)差異中的一個(gè)或多個(gè)。
12. 根據(jù)權(quán)利要求9所述的系統(tǒng)，進(jìn)一步包括鏡面，其被配置為向屏 幕反射光線，從而增加觀察區(qū)域的視見(jiàn)約束體尺寸。
13. 根據(jù)權(quán)利要求12所述的系統(tǒng)，其中所述一個(gè)或多個(gè)處理器生成 兩個(gè)渲染圖像，所述兩個(gè)渲染圖像在鏡面邊沿的任何一邊對(duì)齊。
14. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述屏幕被配置為在至少一個(gè) 軸線上具有寬散射角。
15. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述屏幕被配置為在至少一個(gè) 軸線上具有窄散射角。
16. 根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述屏幕是曲面的。
17. 根據(jù)權(quán)利^"求9所述的系統(tǒng)，其中所述一個(gè)或多個(gè)處理器被配置 為補(bǔ)償與所述多個(gè)投影儀中每一個(gè)相關(guān)聯(lián)的投影儀偏差。
18. 根據(jù)權(quán)利要求17所述的系統(tǒng)，進(jìn)一步包括一個(gè)或多個(gè)攝像機(jī)， 其被配置為提供由所述一個(gè)或多個(gè)處理器操作的圖像信息。
19. 一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有指令，其中當(dāng)由至少一個(gè)設(shè)備 執(zhí)行指令時(shí)，所述指令用來(lái)以表示3D物體的形式接收待顯示的圖像信息； 將至少部分圖像信息分配給大量投影儀中的每一個(gè)； 渲染圖像信息的不同部分，以將每一個(gè)投影儀的截頭錐體內(nèi)的已分 配圖像投影；渲染所述不同部分前對(duì)圖像信息進(jìn)行操作以補(bǔ)償投影儀偏差； 從對(duì)應(yīng)每一個(gè)投影儀的不同角度照亮屏幕；并且 將已分配圖像合并成視見(jiàn)約束體內(nèi)自動(dòng)立體圖像的預(yù)定視圖。
20. 根據(jù)權(quán)利要求19所述的計(jì)算機(jī)可讀介質(zhì)，其中使用與每個(gè)投影 儀位置相同的虛擬圖像生成相機(jī)來(lái)對(duì)已分配圖像進(jìn)行渲染。
21. 根據(jù)權(quán)利要求19所述的計(jì)算機(jī)可讀介質(zhì)，其中用于對(duì)已分配圖像進(jìn)行渲染的虛擬圖像生成視點(diǎn)與每個(gè)投影儀位于同 一位置或鄰近位 置。
22. 根據(jù)權(quán)利要求19所述的計(jì)算機(jī)可讀介質(zhì)，其中所述屏幕被配置 為使得來(lái)自每個(gè)投影儀的光線穿過(guò)屏幕以形成視見(jiàn)約束體內(nèi)的自動(dòng)立體 圖像。
23. 根據(jù)權(quán)利要求19所述的計(jì)算機(jī)可讀介質(zhì)，其中對(duì)圖像信息進(jìn)行 操作產(chǎn)生虛擬截頭錐體，其與投影儀的截頭錐體偏移并共面，已分配圖 像好像源自所述虛擬截頭錐體內(nèi)。
24. —種系統(tǒng)，其包括 用于散射光線的裝置；用于投射光線到所述用于散射光線的裝置的裝置，所述光線形成三 維(3D)物體以顯示在觀察區(qū)域內(nèi)；以及用于產(chǎn)生與3D物體相關(guān)聯(lián)的圖像信息的裝置，所述圖像信息被校正 以通過(guò)將3D物體的顯示透視變換為觀察區(qū)域透視來(lái)補(bǔ)償所述用于投射 光線的裝置的失真。
25. 根據(jù)權(quán)利要求24所述的系統(tǒng)，進(jìn)一步包括與所述用于投射光線 的裝置同樣位于所述用于散射光線的裝置同一側(cè)的一個(gè)或多個(gè)虛擬相 機(jī)，所述一個(gè)或多個(gè)虛擬相機(jī)被配置為對(duì)圖像信息進(jìn)行操作。
26. 根據(jù)權(quán)利要求24所述的系統(tǒng)，其中失真包括所述用于投射光線 的裝置的位置差異、方向差異或者光學(xué)差異中的一個(gè)或多個(gè)。
27. 根據(jù)權(quán)利要求24所述的系統(tǒng)，進(jìn)一步包括用于向所述用于散射 光線的裝置反射光線的裝置，從而增加觀察區(qū)域的視見(jiàn)約束體尺寸。
28. 根據(jù)權(quán)利要求27所述的系統(tǒng)，其中所述用于產(chǎn)生圖像信息的裝 置生成兩個(gè)渲染圖像，所述兩個(gè)渲染圖像在用于反射光線的裝置的邊沿 的任何一邊都對(duì)齊。
29. 根據(jù)權(quán)利要求24所述的系統(tǒng)，其中所述用于投射光線的裝置包 括獨(dú)立投影儀，并且所述用于產(chǎn)生圖像信息的裝置包括獨(dú)立處理器，所 述處理器被配置為補(bǔ)償與獨(dú)立投影儀中的每一個(gè)相關(guān)聯(lián)的失真。
30. 根據(jù)權(quán)利要求29所述的系統(tǒng)，進(jìn)一步包括一個(gè)或多個(gè)用于記錄 由所述用于投射光線的裝置操作的圖 <象信息的裝置。
全文摘要
一種顯示系統(tǒng)包括屏幕及多個(gè)投影儀，所述投影儀被配置為用光線照亮屏幕。光線形成三維(3D)物體以顯示在觀察區(qū)域。該系統(tǒng)進(jìn)一步包括一個(gè)或多個(gè)處理器，其被配置為產(chǎn)生與3D物體相關(guān)聯(lián)的圖像信息。圖像信息被校正以通過(guò)將3D物體的投影儀透視圖變換為觀察區(qū)域透視圖從而補(bǔ)償多個(gè)投影儀的投影儀偏差。
文檔編號(hào)H04N13/00GK101558655SQ200780044345
公開(kāi)日2009年10月14日 申請(qǐng)日期2007年11月29日 優(yōu)先權(quán)日2006年11月29日
發(fā)明者克里斯托佛·保羅·威爾遜, 安東·德布拉爾, 考林·大衛(wèi)·卡梅倫 申請(qǐng)人:F.珀斯扎特胡有限公司