基于sopc的雙目視頻拼裝置及雙目視頻拼接方法
【專利摘要】本發(fā)明的基于SOPC的雙目視頻拼接裝置，包括以NiosII軟核處理器為核心的SOPC系統(tǒng)，其一對CMOS圖像傳感器通過FPGA端口與一對雙目視頻采集模塊分別連接；一對雙目視頻采集模塊一起連接雙目視頻存儲模塊；雙目視頻存儲模塊輸出端的一路經(jīng)特征提取協(xié)處理器與雙目視頻輸出模塊相連接，另一路與雙目視頻顯示模塊相連接；雙目視頻輸出模塊還分別連接NiosII處理器和上位機，雙目視頻顯示模塊還連接VGA顯示器。本發(fā)明的雙目視頻拼接方法，通過歐氏距離法對特征點進行粗匹配，然后使用KNN法提出部分誤匹配點，最后采用RANSAC計算出單應性矩陣，再經(jīng)由柱面空間轉(zhuǎn)換及線型加權融合，實現(xiàn)一幀雙目視頻數(shù)據(jù)的實時拼接。
【專利說明】基于SOPC的雙目視頻拼裝置及雙目視頻拼接方法
【技術領域】
[0001 ] 本發(fā)明涉及雙目視覺技術，具體是一種基于SOPC的雙目視頻拼接裝置及雙目視頻拼接方法。
【背景技術】
[0002]雙目視覺技術作為機器視覺的重要組成部分，一直是視頻拼接、工業(yè)檢測及三維重建等領域的研究熱點。近年來隨著雙目視覺技術的不斷發(fā)展，基于視頻采集卡與上位機的傳統(tǒng)解決方案由于成本高、通用性差、處理速度慢等缺點已無法滿足用戶需求，尤其在雙目視頻采集傳輸部分，無論是采用輪詢還是時分復用的方式，現(xiàn)有的設計方法都無法滿足系統(tǒng)在同步性和實時性上的設計要求。
[0003]專利文件“一種基于SOPC的雙路視頻融合處理裝置及其融合方法”(專利號CN102523389A)提出了一種通過SOPC系統(tǒng)實現(xiàn)雙路視頻融合的方法，但是其仍然使用傳統(tǒng)的設計方法，沒有將FPGA的并行性和SOPC在可編程性上的優(yōu)勢發(fā)揮出來，同步性及實時性無法保證，雙路視頻融合僅使用雙線性插值法，融合效果不佳。
[0004]現(xiàn)階段雙目視頻拼接裝置大多上位機參與處理，無法實現(xiàn)真正意義上的嵌入式雙目視頻拼接裝置，且又上位機軟件實現(xiàn)視頻拼接算法，執(zhí)行效率不高，在實時性和拼接效果上無法平衡。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的旨在解決上述技術缺陷。為此，本發(fā)明的第一個目的在于提出一種以FPGA為核心基于SOPC的雙目視頻拼接裝置，該裝置通過NiosII軟核處理器控制以Avalon-MM模塊形式封裝的各功能模塊，將采集到的雙路視頻數(shù)據(jù)實時拼接并顯示。
[0006]本發(fā)明的基于SOPC的雙目視頻拼接裝置，包括視頻采集裝置、視頻融合裝置、視頻傳輸裝置和上位機，其特征在于:一對CMOS圖像傳感器通過FPGA端口與一對雙目視頻采集模塊分別連接；一對雙目視頻采集模塊一起連接雙目視頻存儲模塊；雙目視頻存儲模塊輸出端的一路經(jīng)特征提取協(xié)處理器與雙目視頻輸出模塊相連接，另一路與雙目視頻顯示模塊相連接；雙目視頻輸出模塊還分別連接NiosII處理器和上位機，雙目視頻顯示模塊還連接VGA顯示器。
[0007]其中，雙目視頻采集模塊主要包括CMOS圖像傳感器初始化控制器與Avalon流模式視頻采集控制器，二者通過Avalon總線連接。一對雙目視頻采集模塊分別連接至一對CMOS圖像傳感器CM0S_1和CM0S_2對應的DMA控制器DMA_1和DMA_2。
[0008]所述的雙目視頻顯示模塊主要包括VGA顯示時序發(fā)生器和緩存數(shù)據(jù)的異步FIFO，二者通過Avalon總線連接；VGA顯示時序發(fā)生器通過D/A轉(zhuǎn)換芯片連接VGA顯示器。
[0009]所述的雙目視頻輸出模塊主要包括異步FIFO緩存器和與之連接的Avalon流模式視頻輸出控制器。將USB芯片通過FPGA端口與雙目視頻輸出模塊連接，設置USB芯片為Slave FIFO從機模式。[0010]所述的雙目視頻存儲模塊主要是以兩片SDRAM為核心的與之對應的兩組DMA控制器DMA_1和DMA_2。雙目視頻存儲模塊通過FPGA端口與兩片SDRAM相連。
[0011]所述的特征提起協(xié)處理器包括低通濾波模塊及其后順序連接的求導計算模塊、興趣值計算及鄰域非極大值抑制模塊；
[0012]低通濾波器模塊采用改進后的模塊:
[0013]
【權利要求】
1.基于SOPC的雙目視頻拼接裝置，包括視頻采集裝置、視頻融合裝置、視頻傳輸裝置和上位機，其特征在于:一對CMOS圖像傳感器通過FPGA端口與一對雙目視頻采集模塊分別連接；一對雙目視頻采集模塊一起連接雙目視頻存儲模塊；雙目視頻存儲模塊輸出端的一路經(jīng)特征提取協(xié)處理器與雙目視頻輸出模塊相連接，另一路與雙目視頻顯示模塊相連接；雙目視頻輸出模塊還分別連接NiosII處理器和上位機，雙目視頻顯示模塊還連接VGA顯示器。
2.根據(jù)權利要求1的裝置，其特征在于:一對雙目視頻采集模塊分別連接至一對CMOS圖像傳感器CM0S_1和CM0S_2對應的DMA控制器DMA_1和DMA_2 ;雙目視頻采集模塊主要包括CMOS圖像傳感器初始化控制器與Avalon流模式視頻采集控制器,二者通過Avalon總線連接。
3.根據(jù)權利要求1的裝置，其特征在于:雙目視頻顯示模塊主要包括VGA顯示時序發(fā)生器和緩存數(shù)據(jù)的異步FIFO，二者通過Avalon總線連接；VGA顯示時序發(fā)生器通過D/A轉(zhuǎn)換芯片連接VGA顯示器。
4.根據(jù)權利要求1的裝置，其特征在于 fUSB芯片通過FPGA端口與雙目視頻輸出模塊連接，設置USB芯片為Slave FIFO從機模式；雙目視頻輸出模塊主要包括異步FIFO緩存器和與之連接的Avalon流模式視頻輸出控制器。
5.根據(jù)權利要求1的裝置，其特征在于:雙目視頻存儲模塊通過FPGA端口與兩片SDRAM相連；雙目視頻存儲模塊主要是以兩片SDRAM為核心的與之對應的兩組DMA控制器DMA_1 和 DMA_2。
6.根據(jù)權利要求1的裝置，其特征在于:特征提起協(xié)處理器包括低通濾波模塊及其后順序連接的求導計算模塊、興趣值計算及鄰域非極大值抑制模塊；低通濾波器模塊采用改進后的模塊:
7.基于SOPC的雙目視頻拼接方法，其特征在于，包括: A)雙目視頻配準，首先通過歐氏距離法對特征點進行粗匹配，然后使用KNN法踢出部分誤匹配點，最后采用RANSAC計算出單應性矩陣；B)雙目視頻空間轉(zhuǎn)換，將多張待拼接的圖像投影到一個圓柱面上，并且以柱面圖像的形式存儲，得到統(tǒng)一坐標空間的柱面圖像，然后將柱面序列圖像進行拼接，構(gòu)成一幅完整柱面全景圖； C)雙目視頻融合，采用線性漸變?nèi)诤纤惴ǎ谥丿B區(qū)域，依據(jù)權值相加，從一幅圖像均勻過渡到另一幅圖像。
8.根據(jù)權利要求7的方法，其特征在于，在步驟A)歐氏距離法計算各特征點之間的歐式距離，計算式為:
9.根據(jù)權利要求7的方法，其特征在于，在步驟B)，所述雙目視頻空間轉(zhuǎn)換是，按下式將圖像投影到以攝像機焦距為半徑的柱面上，
10.根據(jù)權利要求7的方法，其特征在于，在步驟C)，所述線性漸變?nèi)诤纤惴ㄊ?假設相鄰圖像I1, I2在區(qū)間[XpX2]上重疊，重疊區(qū)域中的對應點為I1(Xj)和I2(x，y)，賦予兩個點不同的權重系數(shù)，權重系數(shù)f(x，y)為:
【文檔編號】H04N5/262GK103442180SQ201310377399
【公開日】2013年12月11日 申請日期:2013年8月27日 優(yōu)先權日:2013年8月27日
【發(fā)明者】歐陽寧, 張彤, 莫建文, 首照宇, 呂東歡, 袁華, 陳利霞 申請人:桂林電子科技大學