一種基于dsp的嵌入式全景立體球視覺(jué)圖像采集系統(tǒng)的制作方法
【專(zhuān)利摘要】一種基于DSP的嵌入式全景立體球視覺(jué)圖像采集系統(tǒng)，屬于機(jī)器視覺(jué)領(lǐng)域。本發(fā)明是為基于魚(yú)眼鏡頭的全景立體球視覺(jué)系統(tǒng)提供一套嵌入式4路圖像采集和處理系統(tǒng)，該系統(tǒng)包括4路魚(yú)眼鏡頭及其分別對(duì)應(yīng)的CMOS圖像傳感器，以及FPGA模塊和DSP模塊。處理器采用高速的DSP（digital?singnal?processor），圖像傳感器采用CMOS，使用FPGA管理和修正圖像數(shù)據(jù)，實(shí)現(xiàn)一次拍攝，同時(shí)采集4路數(shù)據(jù)。同時(shí)其數(shù)據(jù)的預(yù)處理、畸變校正、匹配等預(yù)算都在改嵌入式系統(tǒng)中運(yùn)行，具有體積小、便攜、功耗低、運(yùn)算速度快等顯著特點(diǎn)。
【專(zhuān)利說(shuō)明】一種基于DSP的嵌入式全景立體球視覺(jué)圖像采集系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于機(jī)器視覺(jué)領(lǐng)域，涉及全景立體視覺(jué)系統(tǒng)中的圖像數(shù)據(jù)采集和處理。具體是基于DSP (digital singnal processor)構(gòu)建嵌入式多路圖像采集和處理系統(tǒng)，同時(shí)獲取多路相關(guān)圖像數(shù)據(jù)。
【背景技術(shù)】
[0002]全景視覺(jué)是機(jī)器視覺(jué)的一個(gè)重要分支，它無(wú)須視覺(jué)系統(tǒng)的機(jī)械回轉(zhuǎn)或掃描即可將全部視場(chǎng)內(nèi)的上、下、左、右、前、后景物一眼看遍。由于其具有幾乎無(wú)盲區(qū)信息采集的顯著特點(diǎn)，因此全景視覺(jué)有著廣泛的應(yīng)用需求，如輔助駕駛、安全監(jiān)控、文化娛樂(lè)等。當(dāng)前，全景視覺(jué)的構(gòu)成主要是使用多個(gè)同種視覺(jué)傳感器構(gòu)成一定結(jié)構(gòu)的組合式視覺(jué)系統(tǒng)，采集多路圖像數(shù)據(jù)，再經(jīng)由處理器分析計(jì)算后形成全景圖像。常用的全景視覺(jué)系統(tǒng)包括多路相機(jī)或者圖像傳感器，為提高圖像精度，其鏡頭采用常規(guī)的工業(yè)鏡頭。但由于常規(guī)鏡頭視場(chǎng)較小，為形成相鄰傳感器之間的圖像區(qū)域交疊，需要使用的相機(jī)數(shù)量較多，通常在8只以上。
[0003]魚(yú)眼鏡頭是一種大視場(chǎng)、短焦距的特殊廣角鏡頭，大廣角的魚(yú)眼鏡頭可以實(shí)現(xiàn)180° X 180°視場(chǎng)范圍內(nèi)的信息。所以采用魚(yú)眼鏡頭構(gòu)建全景立體球視覺(jué)系統(tǒng)可以有效減少相機(jī)的數(shù)量，相對(duì)于傳統(tǒng)的全景系統(tǒng)具有結(jié)構(gòu)簡(jiǎn)單、體積更小的優(yōu)勢(shì)。經(jīng)過(guò)分析和計(jì)算得知，利用4個(gè)成90°對(duì)稱(chēng)分布的大廣角魚(yú)眼鏡頭就可以獲取360° X360°的全景信息。如圖1所示，利用四個(gè)魚(yú)眼鏡頭水平放置，保持光心在同一水平面上，相鄰兩鏡頭夾角為90°。由于魚(yú)眼鏡頭視場(chǎng)較大，相鄰鏡頭之間的視場(chǎng)區(qū)域相互交疊，這樣不僅可以保證空間內(nèi)任意位置上的物點(diǎn)至少會(huì)在兩個(gè)魚(yú)眼鏡頭中成像，從而滿(mǎn)足了立體視覺(jué)的條件；并且可以獲得360° X360°全球域視場(chǎng)內(nèi)的圖像信息，真正實(shí)現(xiàn)了無(wú)盲區(qū)全景球視覺(jué)觀測(cè)。結(jié)合雙目視覺(jué)技術(shù)和圖像匹配技術(shù)，就可以計(jì)算出圖像之間的相互關(guān)聯(lián)，從而得到視場(chǎng)中的空間立體信息，從而獲取360° X360°全球域的圖像信息和空間信息，也就是獲得全景球視覺(jué)息。
[0004]魚(yú)眼鏡頭在具有視場(chǎng)區(qū)域大的優(yōu)點(diǎn)，同時(shí)也具有圖像畸變大的缺點(diǎn)，所以在獲取全景信息時(shí)首先需要對(duì)圖像進(jìn)行濾波、畸變校正等一系列預(yù)處理工作，計(jì)算量比較大。同時(shí)考慮到全景視覺(jué)采集時(shí)的方便和易用性，其數(shù)據(jù)計(jì)算和匹配最好能夠脫離計(jì)算機(jī)系統(tǒng)而采用嵌入式系統(tǒng)實(shí)現(xiàn)。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是解決基于魚(yú)眼鏡頭的全景立體球視覺(jué)系統(tǒng)的圖像采集和處理問(wèn)題，提供一種基于DSP的嵌入式全景立體球視覺(jué)圖像采集系統(tǒng)。
[0006]本發(fā)明提供的基于DSP的嵌入式全景立體球視覺(jué)圖像采集系統(tǒng)包括:
[0007]4路魚(yú)眼鏡頭及其分別對(duì)應(yīng)的CMOS圖像傳感器，以及FPGA模塊和DSP模塊；4路同型號(hào)的CMOS圖像傳感器分別焊接在4塊驅(qū)動(dòng)電路板上，然后通過(guò)柔性數(shù)據(jù)線(xiàn)連接到FPGA模塊。4路CMOS的光軸分布在一個(gè)平面上，分別按照0°、90°、180°、270°等4個(gè)角度，正面向外放置并固定在基座上，并保證0°和180°的CMOS光軸重合；90°和270°的光軸重合。CMOS接收由DSP模塊通過(guò)I2C總線(xiàn)發(fā)出的控制信號(hào)，CMOS的輸出數(shù)據(jù)通過(guò)柔性數(shù)據(jù)線(xiàn)傳輸?shù)紽PGA模塊中。由于采用了柔性數(shù)據(jù)線(xiàn)連接CMOS和FPGA模塊，所以CMOS驅(qū)動(dòng)電路板的位置易于安裝和調(diào)整。FPGA模塊和DSP模塊安裝在同一塊驅(qū)動(dòng)電路板上，兩者之間采用板內(nèi)數(shù)據(jù)和控制線(xiàn)連接。
[0008]4個(gè)CMOS彩色圖像傳感器型號(hào)為MT9T001，分別焊接在對(duì)應(yīng)的驅(qū)動(dòng)電路板上，輸入輸出信號(hào)為柔性通訊線(xiàn)纜連接到FPGA模塊上。圖像數(shù)據(jù)從CMOS輸出后，進(jìn)入FPGA模塊，在FPGA中進(jìn)行預(yù)處理后送入DSP，從而完成圖像的采集工作。圖像的處理主要在DSP中進(jìn)行，整個(gè)過(guò)程脫離計(jì)算機(jī)運(yùn)行。為提高FPGA的數(shù)據(jù)容量，F(xiàn)PGA帶RAM，用來(lái)緩存圖像數(shù)據(jù)；DSP同樣自帶RAM，用來(lái)緩存自己的數(shù)據(jù)，同時(shí)還采用FLASH存儲(chǔ)固化程序和數(shù)據(jù)，采用網(wǎng)路同外界通訊。
[0009]本發(fā)明的優(yōu)點(diǎn)和有益效果:
[0010]為解決基于魚(yú)眼鏡頭的全景球視覺(jué)系統(tǒng)的圖像采集和處理問(wèn)題，本發(fā)明采用高速DSP+FPGA的嵌入式系統(tǒng)同時(shí)采集和處理4路魚(yú)眼鏡頭的彩色圖像，整個(gè)過(guò)程完全脫離了傳統(tǒng)的計(jì)算機(jī)。其優(yōu)點(diǎn)在于:基于嵌入式系統(tǒng)構(gòu)建全景立體球視覺(jué)圖像采集和處理系統(tǒng)，脫離計(jì)算機(jī)系統(tǒng)存在，結(jié)構(gòu)簡(jiǎn)單、體積小、重量輕、成本低。同整個(gè)系統(tǒng)不需要回轉(zhuǎn)結(jié)構(gòu)，一次采集就可以同時(shí)獲取4路魚(yú)眼鏡頭圖像數(shù)據(jù)，從而計(jì)算獲得360° X 360°全球域的全景信肩、O
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0011]圖1是4只魚(yú)眼鏡頭安裝示意圖。
[0012]圖2是系統(tǒng)模塊框圖。
【具體實(shí)施方式】
[0013]如圖2所示基于DSP的嵌入式全景立體球視覺(jué)圖像采集系統(tǒng)，該系統(tǒng)主要由4路魚(yú)眼鏡頭及其分別對(duì)應(yīng)的CMOS圖像傳感器，以及FPGA模塊和DSP模塊構(gòu)成。4路同型號(hào)的CMOS圖像傳感器分別焊接在4塊驅(qū)動(dòng)電路板上，然后通過(guò)柔性數(shù)據(jù)線(xiàn)同時(shí)連接到FPGA模塊上。4路CMOS的光軸分布在一個(gè)平面上，分別按照0°、90°、180°、270°等4個(gè)角度正面向外放置并固定在基座上，并保證0°和180°的CMOS光軸重合；90°和270°的光軸重
八
口 ο
[0014]CMOS接收由DSP模塊通過(guò)I2C總線(xiàn)發(fā)出的控制信號(hào)，CMOS的輸出數(shù)據(jù)通過(guò)柔性數(shù)據(jù)線(xiàn)傳輸?shù)紽PGA模塊中。FPGA模塊和DSP模塊安裝在一塊驅(qū)動(dòng)電路板上，兩者之間采用板內(nèi)互聯(lián)線(xiàn)路。為提高FPGA的數(shù)據(jù)容量，F(xiàn)PGA帶RAM，用來(lái)緩存圖像數(shù)據(jù)。DSP同樣自帶RAM，用來(lái)緩存自己的數(shù)據(jù)，同時(shí)還采用FLASH存儲(chǔ)固化程序和數(shù)據(jù)，采用網(wǎng)路同外界通訊。
[0015]本發(fā)明處理器采用TI公司的高速DSP (TMS320C6657),圖像傳感器采用型號(hào)為MT9T001的CM0S，分辨率為2048X1536像素，邏輯部分采用Altera公司的Stratix IV系列高端FPGA進(jìn)行控制。高分辨率的彩色圖像數(shù)據(jù)由CMOS輸出后送入由FPGA的外置RAM中，由FPGA對(duì)其進(jìn)行時(shí)序整理和圖像的預(yù)處理，主要是圖像的濾波、色彩校正等。預(yù)處理完成后，再經(jīng)過(guò)DSP的高速數(shù)據(jù)口送入DSP控制的外部存儲(chǔ)器中，就實(shí)現(xiàn)了圖像的采集。[0016]系統(tǒng)的工作過(guò)程
[0017]系統(tǒng)上電后，程序由FLASH中載入到DSP中，實(shí)現(xiàn)程序的自舉和啟動(dòng)，隨后開(kāi)始運(yùn)行，具體為:
[0018]1)DSP程序啟動(dòng)后，對(duì)自身的寄存器進(jìn)行配置，然后采用I2C總線(xiàn)對(duì)CMOS的工作模式、寬門(mén)寬度、增益進(jìn)行配置，最后對(duì)FPGA的工作方式進(jìn)行配置。
[0019]2) CMOS配置成內(nèi)部觸發(fā)方式，也就是平時(shí)處于等待狀態(tài)，收到一個(gè)DSP發(fā)出的觸發(fā)信號(hào)后才開(kāi)始采集，采集完一幀圖像后重新處于等待狀態(tài)。
[0020]3)啟動(dòng)TCP/IP網(wǎng)絡(luò)協(xié)議棧，為外部設(shè)備連接做好準(zhǔn)備。
[0021]4) DSP利用I2C總線(xiàn)控制CMOS的圖像采集，先觸發(fā)第一個(gè)CMOS的圖像采集，在FPGA中進(jìn)行Bayer解碼、白平衡校正、彩色增強(qiáng)和畸變校正后，把圖像送入RAM中，同時(shí)給DSP發(fā)出完成信號(hào)。DSP收到信號(hào)后啟動(dòng)圖像傳輸，把FPGA所外掛的RAM中的數(shù)據(jù)讀入DSP的外部RAM中，完成一個(gè)CMOS的圖像采集。依次啟動(dòng)第2、3、4個(gè)CMOS的圖像采集，最終采集完所有CMOS的圖像數(shù)據(jù)。
[0022]4)利用CMOS的幀同步信號(hào)作為圖像同步信號(hào)，標(biāo)識(shí)一幀圖像，低電平有效。數(shù)據(jù)采樣時(shí)鐘采用CMOS的輸出時(shí)鐘，上升沿采樣。
[0023]5) DSP和CMOS之間的通訊采用I2C總線(xiàn)，用來(lái)發(fā)送CMOS的配置信息，同時(shí)也用來(lái)發(fā)送命令信息，如觸發(fā)一幀圖像等。
[0024]6)采集完4幀圖像數(shù)據(jù)有序存放在DSP的外置RAM中，隨后就可以由DSP進(jìn)行相關(guān)的全景視覺(jué)算法分析和處理了，例如特征點(diǎn)提取、圖像拼接、圖像匹配、立體重建等。
【權(quán)利要求】
1.一種基于DSP的嵌入式全景立體球視覺(jué)圖像采集系統(tǒng)，其特征在于該系統(tǒng)主要包括4路魚(yú)眼鏡頭及其分別對(duì)應(yīng)的CMOS圖像傳感器，以及FPGA模塊和DSP模塊；4路同型號(hào)的CMOS圖像傳感器分別焊接在4塊驅(qū)動(dòng)電路板上，然后通過(guò)柔性數(shù)據(jù)線(xiàn)連接到FPGA模塊上；4路CMOS的光軸分布在一個(gè)平面上，分別按照0°、90°、180°、270°四個(gè)角度，正面向外放置并固定在基座上，且保證O°和180°的CMOS光軸重合；90°和270°的光軸重合；CMOS接收由DSP模塊通過(guò)I2C總線(xiàn)發(fā)出的控制信號(hào)，CMOS的輸出數(shù)據(jù)通過(guò)柔性數(shù)據(jù)線(xiàn)傳輸?shù)紽PGA模塊中；FPGA模塊和DSP模塊安裝在同一塊驅(qū)動(dòng)電路板上，兩者之間采用板內(nèi)互聯(lián)線(xiàn)路。
2.根據(jù)權(quán)利要求1所述的基于DSP的嵌入式全景立體球視覺(jué)圖像采集系統(tǒng)，其特征在于，為提高FPGA的數(shù)據(jù)容量，F(xiàn)PGA帶RAM，用來(lái)緩存圖像數(shù)據(jù)；DSP同樣自帶RAM，用來(lái)緩存自己的數(shù)據(jù)，同時(shí)還采用FLASH存儲(chǔ)固化程序和數(shù)據(jù)，采用網(wǎng)路同外界通訊。
【文檔編號(hào)】H04N5/232GK103888751SQ201410089789
【公開(kāi)日】2014年6月25日 申請(qǐng)日期:2014年3月12日 優(yōu)先權(quán)日:2014年3月12日
【發(fā)明者】朱均超, 張寶峰, 韓芳芳, 焦英魁, 萬(wàn)麗 申請(qǐng)人:天津理工大學(xué)