裸眼多視真三維顯示系統(tǒng)的校正系統(tǒng)及實現(xiàn)方法
【專利摘要】本發(fā)明公開一種裸眼多視真三維顯示系統(tǒng)的校正系統(tǒng)及實現(xiàn)方法，其中，校正系統(tǒng)包括：圖像采集裝置、固定裝置和處理裝置，所述圖像采集裝置位于裸眼多視真三維顯示系統(tǒng)的屏幕內側，用于通過逆向采集的方式采集投影陣列中每個投影單元的投影圖像；所述固定裝置與所述圖像采集裝置相連，用于將所述圖像采集裝置固定在屏幕內側；所述處理裝置用于接收所述圖像采集裝置采集到的投影圖像，進行校正預處理后，計算并根據(jù)投影變換系數(shù)矩陣對每個的投影單元的投影圖像進行逐幀校正，使校正后的圖像重合在同一塊矩形屏幕上。本發(fā)明從背面逆向自動采集每個投影單元投影出的原始圖像進行校正，且每次校正不需要再調整圖像采集裝置位置，使用便捷，易于商業(yè)化。
【專利說明】裸眼多視真三維顯示系統(tǒng)的校正系統(tǒng)及實現(xiàn)方法

【技術領域】
[0001] 本發(fā)明涉及真三維顯示領域，特別涉及一種基于投影陣列的裸眼多視真三維顯示 系統(tǒng)的校正系統(tǒng)及實現(xiàn)方法。

【背景技術】
[0002] 真三維顯示技術可以同時為多個觀眾提供具有三維觀感的物體或場景。裸眼多視 真三維顯示技術作為真三維顯示技術的一個重要發(fā)展領域，已被國內外研究人員作為重點 進行研究。裸眼多視真三維顯示技術提供了符合人眼自然觀察習慣的三維感知特征提示 (Cue)，同時以投影陣列為主的顯示方式簡化了系統(tǒng)內顯示部件中機械部件和顯示屏幕的 設計，增加了顯示復雜紋理和大尺度真彩色三維內容的技術可能性，使顯示系統(tǒng)更接近目 前商用的平面顯示器。
[0003] 具體而言，基于投影陣列的裸眼多視真三維顯示技術的基本概念如圖1所示（圖 中以三個投影單元的情況為例進行說明）：假設三個觀察位置觀察到的圖像分別為1〇〇、 101、102,具有各向異性全息膜的屏幕103分別接收來自三個不同位置投影單元投影出的 三幅圖像104、105、106,這三幅圖像每幅依次分別由Al、Bl、Cl，A2、B2、C2, A3、B3、C3三條 圖像帶組成。由于各向異性全息膜表面具有特殊的微結構，使得不同方向投影過來的光線 透過全息膜后會各自沿著不同的方向傳播。這樣理想情況下，可以使104、105、106這三幅 投影圖像經過屏幕103后重組的三幅圖像100、101、102中的每幅依次分別由A1、B2、C3，A2、 B3、Cl，A3、B1、C2組成，這樣如果事先準備好Al、B1、Cl，A2、B2、C2，A3、B3、C3這三幅投影 圖像的內容，使得觀察到的Al、B2、C3，A2、B3、Cl，A3、B1、C2這三幅重組后圖能準確地反應 出被渲染物體或者場景在該位置應該被觀察到的景象時，即可在觀察者腦海中產生觀察到 物體或場景三維信息的感知。
[0004] 實際情況下，由于向屏幕103投影圖像的投影單元所處位置不同，即使三幅圖中 心點與103重合，其實際投影圖像107、108、109呈現(xiàn)不規(guī)則四邊形，都無法與103的矩形區(qū) 域重合，且互相之間亦無法互相重合，如圖2左邊所示，這樣無法滿足裸眼多視真三維顯示 的圖像生成條件。
[0005] 因此需要引入校正系統(tǒng)，使其投影出的圖像成為能夠互相重合的矩形104、105、 106,且其分別都與屏幕103的矩形區(qū)域相吻合，如圖2右邊所示。
[0006] -般而言，校正系統(tǒng)采用游離于系統(tǒng)之外的外置圖像采集裝置，設置在觀眾所站 位置對投影單元原始圖像采集后進行校正，每次校正需要調整圖像采集裝置的位置，如圖3 所示。而隨著真三維顯示技術的快速發(fā)展和真三維顯示技術理論成果轉化的市場化要求， 迫切需要一種適用于裸眼多視真三維顯示系統(tǒng)且易于集成的緊湊型校正系統(tǒng)。


【發(fā)明內容】

[0007] 本發(fā)明要解決的技術問題就是克服現(xiàn)有技術的校正系統(tǒng)游離于裸眼多視真三維 顯示系統(tǒng)之外，且每次校正需要調整圖像采集裝置的位置的問題，提供一種內置一體化的 校正系統(tǒng)及實現(xiàn)方法，以滿足市場化需求。
[0008] 為了解決上述問題，本發(fā)明提供一種裸眼多視真三維顯示系統(tǒng)的校正系統(tǒng)，包括： 圖像采集裝置、固定裝置和處理裝置，其中，
[0009] 所述圖像采集裝置位于裸眼多視真三維顯示系統(tǒng)的屏幕內側，用于通過逆向采集 的方式采集投影陣列中每個投影單元的投影圖像；
[0010] 所述固定裝置與所述圖像采集裝置相連，用于將所述圖像采集裝置固定在屏幕內 側；
[0011] 所述處理裝置與所述圖像采集裝置和投影陣列相連，用于接收所述圖像采集裝置 采集到的投影圖像，進行校正預處理后，計算每個投影單元的投影變換系數(shù)矩陣，根據(jù)投影 變換系數(shù)矩陣對每個的投影單元的投影圖像進行逐幀校正，使校正后的圖像重合在裸眼多 視真三維顯示系統(tǒng)的屏幕上。
[0012] 優(yōu)選地，當所述裸眼多視真三維顯示系統(tǒng)采用依靠反射鏡折疊光路的緊湊式小空 間布局時，所述圖像采集裝置設置在裸眼多視真三維顯示系統(tǒng)的屏幕下方邊緣處，朝向位 于裸眼多視真三維顯示系統(tǒng)后側的反射鏡，用于采集投影陣列通過反射鏡投影到屏幕上的 投影圖像。
[0013] 優(yōu)選地，當所述裸眼多視真三維顯示系統(tǒng)采用不翻折光路的布局時，所述圖像采 集裝置設置在投影陣列一側，朝向屏幕。
[0014] 優(yōu)選地，當所述裸眼多視真三維顯示系統(tǒng)采用不翻折光路的布局時，所述處理裝 置進一步用于，進行預處理時，對采集到的投影圖像進行左右翻轉處理。
[0015] 優(yōu)選地，當所述裸眼多視真三維顯示系統(tǒng)采用依靠反射鏡折疊光路的緊湊式小空 間布局時，所述處理裝置進一步用于，進行預處理時，對采集到的投影圖像進行上下翻轉和 左右翻轉處理。
[0016] 優(yōu)選地，所述處理裝置進一步用于，進行預處理時，對采集到的投影圖像進行直方 圖均衡化或采集多幅圖像再進行亮度均一化處理。
[0017] 為了解決上述問題，本發(fā)明還提供一種裸眼多視真三維顯示系統(tǒng)的校正系統(tǒng)的實 現(xiàn)方法，包括：
[0018] 圖像采集裝置通過逆向采集的方式采集投影陣列中每個投影單元的投影圖像，發(fā) 送至處理裝置；
[0019] 所述處理裝置將接收到的投影圖像進行校正預處理，然后計算每個投影單元的投 影變換系數(shù)矩陣，根據(jù)投影變換系數(shù)矩陣對每個的投影單元的投影圖像進行逐幀校正，使 校正后的圖像重合在裸眼多視真三維顯示系統(tǒng)的屏幕上。
[0020] 優(yōu)選地，當所述裸眼多視真三維顯示系統(tǒng)采用不翻折光路的布局時，所述處理裝 置將接收到的投影圖像進行校正預處理的步驟包括：
[0021 ] 對采集到的投影圖像進行左右翻轉處理。
[0022] 優(yōu)選地，當所述裸眼多視真三維顯示系統(tǒng)采用依靠反射鏡折疊光路的緊湊式小空 間布局時，所述處理裝置將接收到的投影圖像進行校正預處理的步驟包括：
[0023] 對采集到的投影圖像進行上下翻轉和左右翻轉處理。
[0024] 優(yōu)選地，所述處理裝置將接收到的投影圖像進行校正預處理的步驟還包括：
[0025] 對采集到的投影圖像進行直方圖均衡化或采集多幅圖像再進行亮度均一化處理。
[0026] 本發(fā)明將外置的校正系統(tǒng)移入系統(tǒng)內部固定位置，從背面逆向自動采集每個投影 單元投影出的原始圖像進行校正，且每次校正不需要再調整圖像采集裝置位置，使用便捷， 易于商業(yè)化。

【專利附圖】

【附圖說明】
[0027] 圖1是由投影陣列提供圖像的一種典型裸眼三維顯示原理示意圖；
[0028] 圖2是基于投影陣列的裸眼多視真三維校正示意圖；
[0029] 圖3現(xiàn)有技術的基于投影陣列的裸眼多視真三維顯示系統(tǒng)的外置分立式校正系 統(tǒng)示意圖；
[0030] 圖4是本發(fā)明實施例一的基于投影陣列的裸眼多視真三維顯示系統(tǒng)的內置一體 化校正系統(tǒng)示意圖；
[0031] 圖5是本發(fā)明實施例二的基于投影陣列的裸眼多視真三維顯示系統(tǒng)的內置一體 化校正系統(tǒng)示意圖；
[0032] 圖6是校正角點數(shù)據(jù)對示意圖；
[0033] 圖7是校正像素重新定位示意圖。

【具體實施方式】
[0034] 下文中將結合附圖對本發(fā)明的實施例進行詳細說明。需要說明的是，在不沖突的 情況下，本申請中的實施例及實施例中的特征可以相互任意組合。
[0035] 投影單元中的投影儀投影出的圖像是隨著光程增大而擴展的，因此若投影鏡頭平 面與投影屏幕平面不平行，則投影圖像會發(fā)生畸變，由矩形變成不規(guī)則矩形。因此需要增加 校正系統(tǒng)對投影單元的圖像進行逐個校正。校正系統(tǒng)需要知道每個投影單元投影出的未 經校正圖像和屏幕實際位置關系，再以屏幕所在矩形為標準將投影圖像校正到與其完全吻 合。
[0036] 校正系統(tǒng)中一般包含一個圖像采集裝置、固定圖像采集裝置的固定裝置和處理裝 置，圖像采集裝置采集投影圖像，處理裝置根據(jù)采集到的投影圖像識別出屏幕四個角點，并 判斷出其在投影圖像中的坐標，即可利用圖像坐標系中四個邊角的坐標和屏幕四個邊角在 圖像坐標系中的坐標，通過投影變換算法將不規(guī)則的四邊形投影圖像變換到規(guī)則的投影屏 幕矩形中。由于屏幕四個邊角在空間中的位置固定，所以不同投影單元按照上面方法進行 校正，最終得到的校正后投影圖像不僅和屏幕所在矩形吻合，互相之間也相互吻合，即達到 圖2右邊的效果。
[0037] 如圖3所示，一般圖像采集裝置采集用于識別屏幕角點的投影圖像時被置于系統(tǒng) 屏幕的正前方，這樣進行校正時方便調整，采集圖像。但每次需要采集時，需要重新設置調 整校正系統(tǒng)；且校正系統(tǒng)游離于整個系統(tǒng)之外，無法集成成為一體。
[0038] 本發(fā)明提出一種裸眼多視真三維顯示系統(tǒng)的內置一體化校正系統(tǒng)，在系統(tǒng)內部設 置攝像頭，合理利用系統(tǒng)內部有限的空間，在不干涉投影光路的前提下，以從內向外的拍攝 路徑獲取每個投影儀投影出的大致重合在顯示屏幕上的四邊形區(qū)域，運用投影陣列校正算 法將每個投影單元投影出的不規(guī)則矩形校正為能夠全部準確重合在顯示屏幕上的規(guī)則矩 形，以解決前述裸眼多視真三維顯示系統(tǒng)中的幾個問題。
[0039] 本發(fā)明將校正系統(tǒng)置于整個系統(tǒng)內部，在不遮擋內部投影陣列光路的情況下，從 內部反向采集圖像，如圖4和圖5所示，本發(fā)明實施例的校正系統(tǒng)包括：圖像采集裝置200、 固定裝置205和處理裝置（圖中未示出），其中，圖像采集裝置200位于裸眼多視真三維顯 示系統(tǒng)的屏幕103內側，通過逆向采集的方式采集投影陣列中每個投影單元的投影圖像； 固定裝置205與圖像采集裝置200相連，將圖像采集裝置200固定在屏幕103內側；處理裝 置與圖像采集裝置200和投影陣列202相連，接收圖像采集裝置200采集到的投影圖像，進 行校正預處理后，計算每個投影單元的投影變換系數(shù)矩陣，根據(jù)投影變換系數(shù)矩陣對每個 的投影單元的投影圖像進行逐幀校正，使校正后的圖像重合在同一塊矩形屏幕103上。
[0040] 其中，圖像采集裝置200 -般指小型攝像頭，通過USB或網線與處理裝置相連。處 理裝置可以是電腦或者其他處理平臺。
[0041] 實施例一
[0042] 如圖4所示，系統(tǒng)為了達到較高的裸眼三維多視顯示效果，采用依靠反射鏡折疊 光路的緊湊式小空間布局，即在裸眼多視真三維顯示系統(tǒng)201中增加反射鏡203,圖4中給 出了反射鏡203 -個典型的放置位置。
[0043] 系統(tǒng)201內部狹小的空間會限制內置式的校正系統(tǒng)的擺放位置，一般難以使圖像 采集裝置200直接對準屏幕103進行校正圖像的采集而不遮擋投影陣列202的成像光路。 因此可以考慮利用反射鏡203折疊采集路徑，這樣也可以方便地將圖像采集裝置固定在系 統(tǒng)201的邊緣，不對投影陣列202的成像路徑產生遮擋。圖4給出了一種典型的集成化的 裸眼多視真三維顯示系統(tǒng)中內置式校正系統(tǒng)的固定方式：圖像采集裝置200固定在裸眼多 視真三維顯示系統(tǒng)的屏幕下方邊緣處，固定裝置205可以通過螺絲和系統(tǒng)201外殼進行連 接，并把圖像采集裝置200朝向位于系統(tǒng)201后側的反射鏡203,用于采集投影陣列202通 過反射鏡203投影到103上的投影圖像，同時圖像采集裝置200和固定裝置205不會對投 影陣列202的成像光路產生遮擋。
[0044] 實施例二
[0045] 如圖5所示，裸眼多視真三維顯示系統(tǒng)采用不翻折光路的布局，系統(tǒng)占用較大空 間，使投影陣列202在不翻折光路的情況下進行投影顯示，此時校正系統(tǒng)中的固定裝置205 可以將采集裝置200置于投影陣列202的一側，朝向屏幕103,以獲得足夠的距離采集到投 影到屏幕103上的校正圖像。
[0046] 在這兩種采集方式下，校正系統(tǒng)的采集方向是從系統(tǒng)201內部向外進行逆向采 集，同時在緊湊布局下圖像還經過了鏡像，因此需要對原始圖像進行校正預處理，再按照之 前的校正步驟進行校正。
[0047] 具體地，裸眼多視真三維顯示系統(tǒng)的校正系統(tǒng)的實現(xiàn)方法，包括如下步驟：
[0048] 圖像采集裝置200通過逆向采集的方式采集投影陣列202中每個投影單元的投影 圖像，發(fā)送至處理裝置；
[0049] 所述處理裝置將接收到的投影圖像進行校正預處理，然后計算每個投影單元的投 影變換系數(shù)矩陣，根據(jù)投影變換系數(shù)矩陣對每個的投影單元的投影圖像進行逐幀校正，使 校正后的圖像重合在裸眼多視真三維顯示系統(tǒng)的屏幕上。
[0050] 我們所采用的校正算法需要知道每個投影單元投影出的未經校正圖像和屏幕實 際位置關系，這里采用屏幕的四個角點和圖像邊緣的四個角點作為比較的參照點組。如圖 6所示，以投影圖像的坐標系XY為基準，那么未經校正的投影圖像邊緣四個角點Iu = 1， 2,3,4的坐標(^|.5，||)51 = 152,354按照逆時針方向排序分別為：
[0051]

【權利要求】
1. 一種裸眼多視真三維顯示系統(tǒng)的校正系統(tǒng)，包括：圖像采集裝置、固定裝置和處理 裝置，其特征在于， 所述圖像采集裝置位于裸眼多視真三維顯示系統(tǒng)的屏幕內側，用于通過逆向采集的方 式采集投影陣列中每個投影單元的投影圖像； 所述固定裝置與所述圖像采集裝置相連，用于將所述圖像采集裝置固定在屏幕內側； 所述處理裝置與所述圖像采集裝置和投影陣列相連，用于接收所述圖像采集裝置采集 到的投影圖像，進行校正預處理后，計算每個投影單元的投影變換系數(shù)矩陣，根據(jù)投影變換 系數(shù)矩陣對每個的投影單元的投影圖像進行逐幀校正，使校正后的圖像重合在裸眼多視真 三維顯示系統(tǒng)的屏幕上。
2. 如權利要求1所述的校正系統(tǒng)，其特征在于， 當所述裸眼多視真三維顯示系統(tǒng)采用依靠反射鏡折疊光路的緊湊式小空間布局時，所 述圖像采集裝置設置在裸眼多視真三維顯示系統(tǒng)的屏幕下方邊緣處，朝向位于裸眼多視真 三維顯示系統(tǒng)后側的反射鏡，用于采集投影陣列通過反射鏡投影到屏幕上的投影圖像。
3. 如權利要求1所述的校正系統(tǒng)，其特征在于， 當所述裸眼多視真三維顯示系統(tǒng)采用不翻折光路的布局時，所述圖像采集裝置設置在 投影陣列一側，朝向屏幕。
4. 如權利要求1所述的校正系統(tǒng)，其特征在于， 當所述裸眼多視真三維顯示系統(tǒng)采用不翻折光路的布局時，所述處理裝置在進行預處 理時，對采集到的投影圖像進行左右翻轉處理。
5. 如權利要求1所述的校正系統(tǒng)，其特征在于， 當所述裸眼多視真三維顯示系統(tǒng)采用依靠反射鏡折疊光路的緊湊式小空間布局時，所 述處理裝置在進行預處理時，對采集到的投影圖像進行上下翻轉和左右翻轉處理。
6. 如權利要求1?5中任意一項所述的校正系統(tǒng)，其特征在于， 所述處理裝置在進行預處理時，對采集到的投影圖像進行直方圖均衡化或采集多幅圖 像再進行亮度均一化處理。
7. -種裸眼多視真三維顯示系統(tǒng)的校正系統(tǒng)的實現(xiàn)方法，包括： 圖像采集裝置通過逆向采集的方式采集投影陣列中每個投影單元的投影圖像，發(fā)送至 處理裝置； 所述處理裝置將接收到的投影圖像進行校正預處理，然后計算每個投影單元的投影變 換系數(shù)矩陣，根據(jù)投影變換系數(shù)矩陣對每個的投影單元的投影圖像進行逐幀校正，使校正 后的圖像重合在裸眼多視真三維顯示系統(tǒng)的屏幕上。
8. 如權利要求7所述的實現(xiàn)方法，其特征在于， 當所述裸眼多視真三維顯示系統(tǒng)采用不翻折光路的布局時，所述處理裝置將接收到的 投影圖像進行校正預處理的步驟包括： 對采集到的投影圖像進行左右翻轉處理。
9. 如權利要求7所述的實現(xiàn)方法，其特征在于， 當所述裸眼多視真三維顯示系統(tǒng)采用依靠反射鏡折疊光路的緊湊式小空間布局時，所 述處理裝置將接收到的投影圖像進行校正預處理的步驟包括： 對采集到的投影圖像進行上下翻轉和左右翻轉處理。
10.如權利要求8或9所述的實現(xiàn)方法，其特征在于， 所述處理裝置將接收到的投影圖像進行校正預處理的步驟還包括： 對采集到的投影圖像進行直方圖均衡化或采集多幅圖像再進行亮度均一化處理。
【文檔編號】G09G3/00GK104299548SQ201410594570
【公開日】2015年1月21日 申請日期:2014年10月29日 優(yōu)先權日:2014年10月29日
【發(fā)明者】張趙行, 耿征, 李托拓, 曹煊, 張驍 申請人:中國科學院自動化研究所