基于fpga的多路視頻拼接方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及及圖像處理與視頻處理技術(shù)領(lǐng)域，尤其是多路視頻拼接方法及裝置。
【背景技術(shù)】
[0002]隨著數(shù)字視頻技術(shù)的快速發(fā)展以及人們安防意識(shí)不斷的增強(qiáng)，視頻監(jiān)控在通信、廣播、消費(fèi)類電子和醫(yī)療等領(lǐng)域，都有廣泛的應(yīng)用。如今人們對(duì)監(jiān)控的要求越來越苛刻，希望能從監(jiān)控中得到更多的信息，但往往受到硬件設(shè)備的限制，無法得到滿足?，F(xiàn)在攝像機(jī)的種類越來越多，清晰度越來越高，但是對(duì)一個(gè)攝像頭來說，它還是存在難以克服的困難。雖然現(xiàn)在市場(chǎng)上也有些魚眼全景攝像頭，但是這種鏡頭獲得的視頻容易產(chǎn)生畸變，而且這種攝像頭自身的視頻分別率比較低。因此為了獲得高分辨率的大場(chǎng)景信息，克服普通攝像頭視野小，分辨率低的缺點(diǎn)，需要尋找一種針對(duì)大場(chǎng)面、大場(chǎng)景監(jiān)控的解決方案，其中采用多路攝像頭實(shí)現(xiàn)全景視頻監(jiān)控是目前比較常見的一種做法。
[0003]視頻圖像拼接技術(shù)在不同的領(lǐng)域中得到了充分的應(yīng)用，比如視頻監(jiān)控、計(jì)算機(jī)視覺、工業(yè)檢驗(yàn)和機(jī)器人等領(lǐng)域。多個(gè)攝像機(jī)能夠同時(shí)獲取兩路或者三路的視頻圖像，且兩個(gè)相鄰的攝像機(jī)的視角重疊比例適當(dāng)，再通過查找圖像特征和特征值配準(zhǔn)的方法計(jì)算出兩幅圖像之間的單應(yīng)性矩陣，最后將各路圖像縫合成廣視角的圖像。大部分同型號(hào)的不同攝像頭性能是有微小差異的，在相同的環(huán)境下得到的圖像色彩也會(huì)不同，而實(shí)際應(yīng)用中受光線視角的影響，攝像機(jī)在同一時(shí)刻獲得的圖像是有明顯視覺差的，從而導(dǎo)致最后得到的拼接圖像的效果達(dá)不到用戶的要求。因此對(duì)視頻預(yù)處理以及圖像拼接算法的深入研究，有助于對(duì)采集的圖像進(jìn)行校正歸一，以減少合成視頻的差異性。
[0004]一般的嵌入式視頻處理平臺(tái)都是采用DSP+ARM或者FPGA+DSP這種架構(gòu)，然而在這種體系框架下視頻處理開發(fā)是相當(dāng)復(fù)雜，而且整個(gè)平臺(tái)的設(shè)計(jì)成本很高。所以現(xiàn)在一些FPGA公司推出了一些可擴(kuò)展平臺(tái)硬件芯片，內(nèi)部不僅集成了 ARM內(nèi)核的雙核處理器，而且芯片自身也帶有大量的可編程邏輯門陣列資源。在該架構(gòu)下，整個(gè)系統(tǒng)內(nèi)部的數(shù)據(jù)傳輸帶寬能滿足需求，而且能充分利用芯片內(nèi)部的FPGA邏輯資源的并行數(shù)據(jù)處理能力。

【發(fā)明內(nèi)容】

[0005]為了克服現(xiàn)有多路視頻拼接方法及裝置的結(jié)構(gòu)復(fù)雜、成本較高、實(shí)時(shí)性較差的不足，本發(fā)明提供了一種結(jié)構(gòu)簡(jiǎn)單、降低成本、實(shí)時(shí)性良好的基于FPGA的多路視頻拼接方法及
目.ο
[0006]為了解決上述技術(shù)問題采用的技術(shù)方案為:
[0007]—種基于FPGA的多路視頻拼接方法，所述方法包括如下步驟:
[0008]步驟一，多路HD-SDI攝像頭將圖像數(shù)據(jù)傳輸給通過硬件解碼電路轉(zhuǎn)化為差分?jǐn)?shù)字信號(hào)，然后通過FPGA吉比特接收模塊接收后，經(jīng)過圖像降采樣以及中值濾波后傳給DDR3存儲(chǔ)器進(jìn)行緩存，且各路圖像都有自己的緩存；
[0009]步驟二，從各路圖像采集的DDR3存儲(chǔ)器中讀入圖像，并計(jì)算圖像的harris角點(diǎn)特征，并將角點(diǎn)特征存入DDR3存儲(chǔ)器當(dāng)中的特征緩沖區(qū)中，并計(jì)算角點(diǎn)特征的相似度，再按照相似度大小進(jìn)行排序，排序后將數(shù)據(jù)存入新的相似角點(diǎn)特征區(qū)域；
[0010]步驟三，從相似角點(diǎn)特征區(qū)域選好四對(duì)配對(duì)的特征點(diǎn)，然后計(jì)算需要投影的圖像的單應(yīng)性矩陣，將需要投影變換的那副圖像中的其他配對(duì)點(diǎn)都通過投影變換到另一副圖像中，統(tǒng)計(jì)配對(duì)點(diǎn)的個(gè)數(shù)，判斷點(diǎn)的重合點(diǎn)的個(gè)數(shù)是否符合設(shè)定的閾值，如果符合就得到最優(yōu)匹配點(diǎn)，如果不符合，那么就重復(fù)當(dāng)前步驟，并計(jì)算結(jié)果單應(yīng)性矩陣；
[0011]步驟四，從DDR3存儲(chǔ)器中讀取原始圖像，按照單應(yīng)性矩陣計(jì)算，將另一幅圖像的數(shù)據(jù)投影到不動(dòng)的圖像平面上，并對(duì)重疊區(qū)域的圖像各像素進(jìn)行調(diào)整，最終得到合成的圖像，并存入DDR3存儲(chǔ)器的緩沖區(qū)進(jìn)行存儲(chǔ)，再由控制器中傳到顯示緩存區(qū)中；
[0012]步驟五，從步驟四得到的拼接圖像，傳遞給外部的顯示器進(jìn)行顯示。
[0013]一種基于FPGA的多路視頻拼接裝置，所述裝置包括多個(gè)HD-SDI攝像頭、多個(gè)視頻硬件解碼電路，高清數(shù)字視頻采集模塊，視頻預(yù)處理模塊、DDR3控制模塊、特征點(diǎn)提取模塊、特征點(diǎn)篩選模塊、圖像融合模塊、圖像單應(yīng)性矩陣計(jì)算模塊和輸出控制模塊；
[0014]所述HD-SDI攝像頭，與所述視頻硬件解碼電路個(gè)數(shù)相同，并且每個(gè)攝像頭都有一個(gè)單獨(dú)的硬件解碼電路；
[0015]所述高清數(shù)字視頻采集模塊，與多個(gè)所述視頻硬件解碼電路、視頻預(yù)處理模塊相連接；
[0016]所述DDR3控制模塊，包括DDR3控制器和DDR3存儲(chǔ)器，并且所述DDR控制器與視頻預(yù)處理模塊、特征點(diǎn)提取模塊、特征點(diǎn)篩選模塊、圖像融合模塊和輸出控制模塊連接；
[0017]所述特征點(diǎn)匹配模塊，與所述特征點(diǎn)提取模塊，特征點(diǎn)篩選模塊相連接；
[0018]所述高清數(shù)字視頻采集模塊用于實(shí)現(xiàn)視頻信息的輸入;所述DDR3控制器用于控制DDR3存儲(chǔ)器的讀取，所述DDR3存儲(chǔ)器用于存儲(chǔ)視頻圖像和計(jì)算的中間值;所述視頻預(yù)處理模塊用于對(duì)圖像進(jìn)行色彩調(diào)整;所述特征點(diǎn)提取模塊用于計(jì)算圖像的特征點(diǎn)位置和特征描述向量;所述特征點(diǎn)匹配模塊用于計(jì)算匹配的特征點(diǎn)對(duì);所述特征點(diǎn)篩選模塊用于對(duì)匹配特征點(diǎn)進(jìn)行篩選得到最優(yōu)的匹配特征點(diǎn)對(duì);所述圖像單應(yīng)性矩陣計(jì)算模塊根據(jù)最優(yōu)匹配特征點(diǎn)計(jì)算圖像單應(yīng)性矩陣;所述圖像融合模塊根據(jù)圖像單應(yīng)性矩陣對(duì)多幅圖像拼接;所述輸出控制模塊用于控制圖像的輸出和顯示。
[0019]進(jìn)一步，所述HD-SDI攝像頭和視頻硬件解碼電路各為2個(gè)。
[0020]再進(jìn)一步，所述DDR3存儲(chǔ)器包括拼接圖像緩存區(qū)域、特征點(diǎn)緩存區(qū)域、相似角點(diǎn)特征緩存區(qū)域和單應(yīng)性矩陣緩存區(qū)域。
[0021 ]所述視頻預(yù)處理模塊包括:
[0022]視頻串行解析單元，用于通過吉比特收發(fā)器接收串行視頻信號(hào)存入像素點(diǎn)緩存中，轉(zhuǎn)化為并行視頻信號(hào)；
[0023]降采樣單元，用于通過并行視頻信號(hào)，將其視頻數(shù)據(jù)的降為原信號(hào)的四分之一，并傳入下一級(jí)；
[0024]色彩調(diào)整單元，用于從降采樣單元中讀入視頻像素，進(jìn)行色彩矩陣的變換；
[0025]視頻傳輸單元，用于從各路的色彩矩陣單元中讀取數(shù)據(jù)然后存入DDR3存儲(chǔ)器中拼接圖像緩存區(qū)中。
[0026]所述特征點(diǎn)提取模塊包括:
[0027]灰度計(jì)算單元，用于根據(jù)地址計(jì)算分配單元讀取采集的圖像像素點(diǎn)，轉(zhuǎn)化為灰度值，并存入DDR3存儲(chǔ)器灰度圖像緩存區(qū)域中；
[0028]harris特征向量查找單元，用于從所述DDR3存儲(chǔ)器中讀取灰度圖像像素值，計(jì)算各個(gè)像素的在橫縱方向上的變化率，判斷計(jì)算結(jié)果值是否超過設(shè)定閾值，如果屬于harris特征值，就將特征值存入所述DDR3存儲(chǔ)器特征點(diǎn)緩存區(qū)域中；
[0029]特征點(diǎn)篩選單元，用于按照特征點(diǎn)的變化率進(jìn)行排序，取前面1000個(gè)特征點(diǎn)作為兩幅圖像的對(duì)比特征向量，并存入所述DDR3特征點(diǎn)緩存區(qū)域。
[0030]所述特征點(diǎn)匹配模塊包括:
[0031]特征相似度計(jì)算單元，用于讀取有效特征點(diǎn)存儲(chǔ)區(qū)的特征向量，并計(jì)算兩幅圖像之間的特征向量之間的相似度，并刷選出最為相似的特征向量對(duì)，并存入所述DDR3存儲(chǔ)器匹配點(diǎn)緩存區(qū)中；
[0032]單應(yīng)性矩陣計(jì)算單元，用于讀取兩幅圖形中的四對(duì)特征匹配點(diǎn)，然后通過單應(yīng)性矩陣