一種雙目視覺自由立體顯示系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更具體地，涉及一種雙目視覺自由立體顯示系統(tǒng)。
【背景技術(shù)】
[0002]隨著科技的進步，數(shù)字多媒體技術(shù)也不斷發(fā)展，如今3D視頻應用已出現(xiàn)在人們的生活中，例如在娛樂領(lǐng)域、軍事領(lǐng)域及醫(yī)療領(lǐng)域等都能見其身影。觀看一般立體視頻時，人們需要佩戴紅藍眼鏡或偏振光眼鏡等輔助設(shè)備，當觀看者觀看久了會產(chǎn)生疲勞感，限制了立體視頻顯示技術(shù)的推廣應用。
[0003]所謂自由立體顯示技術(shù)，是指觀看者在不需要任何輔助設(shè)備的條件下，直接觀察顯示器屏幕就能感知立體感的一種技術(shù)，即裸眼3D技術(shù)。自由立體顯示系統(tǒng)主要包括視頻信息的采集、編碼、傳輸和顯示這幾個步驟?，F(xiàn)有的自由立體顯示系統(tǒng)在顯示端需要多個視點的信息，這樣在觀看范圍內(nèi)，觀看者左右眼能接收到兩幅具有視差的圖像，經(jīng)過大腦的融合處理從而感知到立體感。
[0004]自由立體顯示系統(tǒng)對實時性要求高，如何做到實時的顯示是一難點?，F(xiàn)有的自由立體顯示系統(tǒng)不能完全做到真正的實時顯示，都是先將采集好的視頻利用PC軟件的處理方式提取場景的深度信息，接著由深度信息生成立體視頻并保存，最后對生成的立體視頻進行播放。這種方式不能很好實現(xiàn)對場景信息的實時采集。而且常用的提取場景深度信息的方法以及由深度信息生成立體視頻的方法都是比較耗時的，采用通用PC軟件處理方式很難保證立體視頻的實時性。

【發(fā)明內(nèi)容】

[0005]針對現(xiàn)有技術(shù)的缺陷，并從成本和實用性方面考慮，本發(fā)明提供一種雙目視覺自由立體顯示系統(tǒng)，利用雙目相機對現(xiàn)實場景進行采集，將采集得到的視頻經(jīng)由接口轉(zhuǎn)換電路輸出給FPGA加速電路，利用FPGA加速電路對采集到的視頻數(shù)據(jù)逐幀地進行立體匹配、多視點生成及立體圖像合成，并將合成的立體圖像輸出到自由立體顯示器進行顯示。本發(fā)明利用FPGA支持并行和流水處理的特性，對立體匹配、多視點生成、立體圖像合成這些耗時的操作進行加速處理，以達到實時的自由立體顯示，使觀看者在不需要任何輔助設(shè)備的條件下，可以在自由立體顯示器前方的較大范圍內(nèi)觀看到連續(xù)、流暢的立體視頻。實驗驗證本發(fā)明顯示1920 X 1080分辨率的立體視頻的幀速約為每秒30幀。
[0006]本發(fā)明提供一種雙目視覺自由立體顯示系統(tǒng)，包括:
[0007](權(quán)I)。
[0008]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點:
[0009](I)利用雙目相機對自然場景進行采集，接著將采集到的視頻數(shù)據(jù)進行立體匹配處理得出視差信息，最后由基于深度圖像的繪制(Depth-1mage-Based Rendering，DIBR)技術(shù)實現(xiàn)多視點的繪制，為自由立體顯示提供多視點信息，采用這樣的處理方法降低了系統(tǒng)的傳輸帶寬、存儲空間以及成本；
[0010](2)充分利用FPGA支持并行和流水處理的特性，將一些處理比較耗時的操作(例如立體匹配、多視點繪制及立體視頻的合成)采用硬件來進行加速處理，大大提高系統(tǒng)處理速度，實現(xiàn)立體視頻的實時顯示；
[0011](3)系統(tǒng)的集成性高，利用FPGA實現(xiàn)整個與自由立體顯示相關(guān)的處理，通過提供相應的視頻數(shù)據(jù)，就能得到用于顯示的立體視頻；
[0012](4)系統(tǒng)的實用性好，相比其他加速方法(例如采用GPU)，F(xiàn)PGA不僅能實現(xiàn)并行處理，同時也降低系統(tǒng)的功耗，利用本發(fā)明進行自由立體顯示比較方便。
【附圖說明】
[0013]圖1是本發(fā)明一種雙目視覺自由立體顯示系統(tǒng)結(jié)構(gòu)示意圖；
[0014]圖2是本發(fā)明FPGA加速電路的硬件結(jié)構(gòu)框圖；
[0015]圖3是本發(fā)明FPGA邏輯處理流程圖；
[0016]圖4是本發(fā)明FPGA解析LVDS差分信號的硬件實現(xiàn)圖；
[0017]圖5是本發(fā)明立體匹配處理流程圖；
[0018]圖6是本發(fā)明生成一幅虛視圖的處理流程圖；
[0019]圖7是本發(fā)明合成立體圖的處理流程圖。
【具體實施方式】
[0020]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。
[0021]圖1所示為本發(fā)明實施例的雙目視覺自由立體顯示系統(tǒng)的結(jié)構(gòu)示意圖，包括雙目相機1、接口轉(zhuǎn)換電路2、FPGA加速電路3及自由立體顯示器4。雙目相機I對現(xiàn)實場景進行采集，并將左右相機采集到的視頻通過HDMI接口傳輸?shù)浇涌谵D(zhuǎn)換電路2。接口轉(zhuǎn)換電路2包括HDMI接口、微控制器及LVDS接口。接口轉(zhuǎn)換電路2的微控制器從HDMI接口接收視頻，依據(jù)HDMI傳輸協(xié)議格式解析出其中所包含的視頻數(shù)據(jù)，并按照LVDS傳輸協(xié)議格式將視頻數(shù)據(jù)通過LVDS接口輸出到FPGA加速電路3 JPGA加速電路3接收視頻數(shù)據(jù)并逐幀進行處理，將合成的立體視頻輸出到自由立體顯示器4進行顯示。
[0022]圖2所示為本發(fā)明實施例的FPGA加速電路3的結(jié)構(gòu)框圖。FPGA加速電路3包括信號輸入接口、信號輸出接口、處理器模塊、存儲模塊及電源模塊。信號輸入接口接收的信號包括LVDS差分信號組及12V電源信號，其中LVDS差分信號組用于傳輸視頻數(shù)據(jù)，12電源輸入信號用于給FPGA加速電路3提供外部輸入電源。信號輸出接口輸出的信號與信號輸入接口類似，將LVDS差分信號組及12V電源信號傳輸給自由立體顯示器4。處理器模塊包括FPGA處理器、時鐘電路及JTAG接口電路，其中，F(xiàn)PGA處理器用于一系列計算并生成立體視頻，具體包括:雙目視頻數(shù)據(jù)解析、左右圖像校正、立體匹配、多視點生成、立體圖像合成和立體視頻數(shù)據(jù)包裝;時鐘電路用于給FPGA處理器提供50M的外部時鐘信號輸入;JTAG接口電路用于FPAG處理器邏輯功能的調(diào)試和升級。在本發(fā)明實施例中，F(xiàn)PGA處理器選用Xilinx公司XC6SLX150或者類似的芯片，采用有源晶振SG8002CE芯片為FPGA處理器提供50M時鐘信號，也可以采用其他類似的有源晶振實現(xiàn)。存儲模塊包括DDR2存儲器及配置FLASH，其中DDR2存儲器用于緩存視頻數(shù)據(jù)以方便處理;配置FLASH用于存儲FPGA處理器的配置數(shù)據(jù)，在系統(tǒng)上電時，F(xiàn)PGA處理器能自動從配置FLASH中讀取配置數(shù)據(jù)從而進行處理。在本發(fā)明實施例中，設(shè)計配置電路時采用主模式中的SPI配置模式，采用M25P128這款SPI FLASH芯片，其容量為128M，也可以采用其他類似的FLASH芯片實現(xiàn);DDR2存儲器選用MT47H64M16HR-25E這款DDR2芯片，其容量為1Gb，也可以采用其他類似的DDR2芯片實現(xiàn)。電源模塊包括12V轉(zhuǎn)5V電路、5V轉(zhuǎn)1.2V和
2.5V電路、5V轉(zhuǎn)3.3V和1.8V電路、1.8V轉(zhuǎn)0.9V電路，通過這些轉(zhuǎn)換電路得到FPGA加速電路3各個模塊工作所需要的電壓。在本發(fā)明實施例中，首先將信號輸入接口輸入進來的12V電壓轉(zhuǎn)換成5V電壓，接著將5V電壓分別轉(zhuǎn)換成3.3V、2.5V、1.8V和1.2V，最后將1.8V轉(zhuǎn)換成0.9V。在本發(fā)明實施例中，12V轉(zhuǎn)5V電路采用TPS54326PWP電源轉(zhuǎn)換芯片，也可以采用類似的芯片實現(xiàn);5V轉(zhuǎn)2.5￥和1.2V電路采用LTC3546電源轉(zhuǎn)換芯片，也可以采用類似的芯片實現(xiàn);5V轉(zhuǎn)
3.3V和1.8V電路采用LT3501電源轉(zhuǎn)換芯片，也可以采用類似的芯片實現(xiàn)；1.8V轉(zhuǎn)0.9V電路采用LTC3413電源轉(zhuǎn)換芯片，也可以采用類似的芯片實現(xiàn)。
[0023]圖3所示為本發(fā)明實施例的FPGA處理器進行邏輯處理的流程圖。FPGA處理器接收視頻數(shù)據(jù)并逐幀進行處理，每幀數(shù)據(jù)由雙目相機拍攝得到的數(shù)據(jù)組成，即拍攝得到的左右兩幅圖像數(shù)據(jù)，其步驟如下:
[0024]步驟I從信號輸入接口接收LVDS差分信號組，解析出其中的視頻數(shù)據(jù)。本發(fā)明實施例中LVDS傳輸采用24位雙像素模式，總共有2路差分信號，每路各包括4對數(shù)據(jù)差分信號和一對時鐘差分信號。圖4所示為本發(fā)明實施例的FPGA解析LVDS差分信號組的硬件實現(xiàn)圖。因兩路LVDS差分信號的時鐘信號是同步的，沒有相位偏移，因此在圖4中只標出一對時鐘差分信號，即CLK+和CLK-。每一對數(shù)據(jù)差分信號在一個時鐘周期內(nèi)，能傳輸7比特數(shù)據(jù)。LVDS差分信號經(jīng)過接收器后轉(zhuǎn)換成TTL電平信號，在實現(xiàn)時可將FPGA處理器內(nèi)部的1資源配置成接收器。接收解析模塊的輸入時鐘頻率CLK_0UT是差分時鐘接收器的輸出時鐘CLK_IN的7倍。當有數(shù)據(jù)到來時，接收解析模塊在接下來7個時鐘周期的每一個時鐘周期輸出從端口 AO?A7傳輸來的比特數(shù)據(jù)，即第一個時鐘周期內(nèi)將接收到的8比特數(shù)據(jù)分別從DO?D7這8個端口輸出，第二個時鐘周期內(nèi)將接收到的8比特數(shù)據(jù)分別從D8?D15這8個端口輸出，同理在接下來時鐘周期內(nèi)從相應的端口輸出數(shù)據(jù)直到第7個時鐘周期。
[0025]步驟2逐幀地對視頻數(shù)據(jù)進行立體圖像對校正操作。因雙目相機的兩相機沒有絕對的水平放置，拍攝得到的左右圖