基于多gpu高速互聯(lián)的全景攝像機(jī)成像裝置與方法
【專利摘要】本發(fā)明提出一種基于多GPU高速互聯(lián)的全景攝像機(jī)成像裝置與方法。該裝置由4路廣角雙目攝像機(jī)構(gòu)成，這4路廣角雙目攝像機(jī)以兩兩90°夾角排列在同一水平面上，每一組廣角雙目攝像機(jī)中都裝有CPU、GPU處理各自的采集圖像，并將各GPU通過(guò)PCI?E進(jìn)行互聯(lián)，實(shí)現(xiàn)圖像間的數(shù)據(jù)快速交互，高效的完成高分辨率圖像的拼接融合，快速獲取無(wú)縫拼接雙目立體全景視頻，實(shí)現(xiàn)高分辨率雙目立體全景視頻的實(shí)時(shí)觀看。
【專利說(shuō)明】
基于多GPU高速互聯(lián)的全景攝像機(jī)成像裝置與方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，特指一種基于多GPU高速互聯(lián)的全景攝像機(jī)成像裝 置與方法。
【背景技術(shù)】
[0002] 全景圖像、全景視頻的獲取是計(jì)算機(jī)視覺(jué)的重要問(wèn)題之一。狹義的全景是指能夠 覆蓋360° X 180°視域空間的全景圖，而實(shí)際應(yīng)用中的全景圖像是指超過(guò)人的雙眼正常視角 (水平90°，垂直70°)的各類全景圖，是一種能覆蓋大范圍場(chǎng)景的寬視角圖像。應(yīng)用中比較典 型的全景圖由：平面全景圖、柱面全景圖、球面全景圖、多面體全景圖。全景視頻由連續(xù)的全 景圖序列構(gòu)成，全景視頻可以讓我們實(shí)時(shí)的獲取動(dòng)態(tài)全景信息。
[0003] 全景圖像、全景視頻在很多領(lǐng)域都有重要應(yīng)用，如消費(fèi)娛樂(lè)、藝術(shù)領(lǐng)域、交通領(lǐng)域、 安防領(lǐng)域。全景圖像的獲取方法有多種，可以通過(guò)像魚眼鏡頭一樣的特殊鏡頭來(lái)獲取大視 角的全景圖，也可以通過(guò)單個(gè)相機(jī)旋轉(zhuǎn)一周得到序列圖，并把這些序列圖拼接得到全景圖， 還可以通過(guò)多個(gè)攝像機(jī)獲取不同視角的圖像，并把這些不同視角的圖像拼接成全景圖像。 其中常見(jiàn)的一種方法是通過(guò)多個(gè)攝像機(jī)獲取不同視角的圖像，然后通過(guò)圖像拼接將不同視 角的圖像拼接融合為一幅無(wú)縫的全景圖。全景圖像拼接流程主要步驟包括：圖像采集、圖像 預(yù)處理、圖像變換及配準(zhǔn)、圖像融合、全景圖生成。目前，圖像拼接技術(shù)主要是針對(duì)靜態(tài)圖像 的。圖像拼接對(duì)輸入圖像的質(zhì)量和相對(duì)位置都要求較高，而且圖像拼接過(guò)程中，圖像配準(zhǔn)以 及圖像融合會(huì)涉及到大量數(shù)據(jù)計(jì)算，難以實(shí)現(xiàn)實(shí)時(shí)處理，動(dòng)態(tài)全景視頻實(shí)時(shí)拼接是目前面 臨的一個(gè)技術(shù)難點(diǎn)。

【發(fā)明內(nèi)容】

[0004] 針對(duì)現(xiàn)有技術(shù)存在的缺陷，本發(fā)明提出一種基于多GPU尚速互聯(lián)的全景攝像機(jī)成 像裝置與方法。該裝置由4路廣角雙目攝像機(jī)構(gòu)成，這4路廣角雙目攝像機(jī)以兩兩90°夾角排 列在同一水平面上，每一組廣角雙目攝像機(jī)中都裝有CPU(Central Processing Unit，中央 處理器）、GPU(Graphic Processing Unit，圖形處理器)處理各自的采集圖像，并將各GPU通 過(guò)PCI-E(PCI-Express，總線接口）進(jìn)行互聯(lián)，實(shí)現(xiàn)圖像間的數(shù)據(jù)快速交互，高效的完成高分 辨率圖像的拼接融合，實(shí)時(shí)獲取動(dòng)態(tài)全景視頻。
[0005] 本發(fā)明的技術(shù)方案是：
[0006] 一種基于多GPU高速互聯(lián)的全景攝像機(jī)成像裝置，包括4路廣角雙目攝像機(jī)，分別 為第一路廣角雙目攝像機(jī)，第二路廣角雙目攝像機(jī)、第三路廣角雙目攝像機(jī)和第四路廣角 雙目攝像機(jī)，4路廣角雙目攝像機(jī)均內(nèi)置有獨(dú)立的中央處理器和圖像處理器，各攝像機(jī)能夠 單獨(dú)控制和處理各攝像機(jī)采集的圖像以及視頻;其中第一路廣角雙目攝像機(jī)的第一中央處 理器與第二路廣角雙目攝像機(jī)的第二中央處理器、第三路廣角雙目攝像機(jī)的第三中央處理 器以及第四路廣角雙目攝像機(jī)的第四中央處理器連接實(shí)現(xiàn)對(duì)這三路廣角雙目攝像機(jī)其中 央處理器的控制，各路廣角雙目攝像機(jī)內(nèi)的中央處理器與圖像處理器之間通過(guò)PCI-E互聯(lián) 實(shí)現(xiàn)其內(nèi)部的數(shù)據(jù)交互，各路廣角雙目攝像機(jī)之間的圖像處理器之間通過(guò)PCI-E互聯(lián)實(shí)現(xiàn) 各路廣角雙目攝像機(jī)之間的數(shù)據(jù)交互。圖像處理器GHJ主要負(fù)責(zé)數(shù)據(jù)量大的并行數(shù)據(jù)處理。 本發(fā)明中，4路GPU分別對(duì)4路廣角雙目攝像機(jī)采集的視頻幀進(jìn)行畸變矯正與柱面正投影運(yùn) 算處理，同時(shí)，通過(guò)PCI-E互聯(lián)，各GPU之間通過(guò)交互數(shù)據(jù)共同完成圖像拼接融合，得到全景 圖。
[0007] 一種基于多GPU高速互聯(lián)的全景攝像機(jī)成像裝置的工作過(guò)程如下：
[0008] 各路廣角雙目攝像機(jī)將各自采集到的圖像通過(guò)各路廣角雙目攝像機(jī)內(nèi)置的CPU控 制傳輸?shù)街付ǖ木彺鎱^(qū)中，然后在各路廣角雙目攝像機(jī)中CPU通過(guò)PCI-E與GPU進(jìn)行數(shù)據(jù)交 互，控制GPU對(duì)緩存區(qū)中的圖像進(jìn)行畸變矯正、投影，最后，各路廣角雙目攝像機(jī)的GPU與GPU 之間通過(guò)PCI-E互聯(lián)交互數(shù)據(jù)，共同協(xié)作完成圖像拼接融合處理，得到無(wú)縫拼接的全景圖 像。
[0009] 本發(fā)明中，4路廣角雙目攝像機(jī)由4路高分辨率廣角雙目攝像機(jī)構(gòu)成。4路廣角雙目 攝像機(jī)以一點(diǎn)為中心且處于同一水平面x〇z上，4路廣角雙目攝像機(jī)的拍攝角度繞垂直該水 平面xOz的y軸旋轉(zhuǎn)得到，4路廣角雙目攝像機(jī)兩兩之間的夾角為90°。廣角雙目攝像機(jī)的水 平視場(chǎng)角為150°，豎直視場(chǎng)角為85°，拍攝視頻分辨率約為4k(3840X2160像素），相鄰兩路 廣角雙目攝像機(jī)拍攝的視頻之間視場(chǎng)角的重疊夾角為60°，四路廣角雙目攝像機(jī)拍攝的視 頻拼接后得到360度柱面全景雙目立體視頻。
[0010] 基于上述的成像裝置。本發(fā)明還提供一種基于多GPU高速互聯(lián)的全景攝像機(jī)成像 方法，包括以下步驟：
[0011] (1)通過(guò)第一中央處理器為4路廣角雙目攝像機(jī)的左攝像頭和有攝像頭分別分配 一塊對(duì)應(yīng)塊緩存區(qū)，將4路廣角雙目攝像機(jī)采集的8路視頻幀分別存儲(chǔ)在對(duì)應(yīng)分配的緩存區(qū) 中，并對(duì)各廣角雙目攝像機(jī)其左邊攝像頭拍攝的左視頻和右邊攝像頭拍攝的右視頻分別進(jìn) 行左右標(biāo)記；
[0012] (2)判斷4路廣角雙目攝像機(jī)對(duì)應(yīng)的各個(gè)緩沖區(qū)是否都有新的視頻幀到達(dá)，如果 是，轉(zhuǎn)入(3 )，如果否，等待所有新視頻幀；
[0013] (3)采用同心圓標(biāo)定法對(duì)4路廣角雙目攝像機(jī)的每一幀進(jìn)行畸變矯正；
[0014] (4)由（3)畸變矯正之后，通過(guò)柱面正投影將畸變矯正后的視頻幀投影到以攝像機(jī) 焦距為半徑的圓柱面上；
[0015] 其具體方法為:對(duì)畸變校正后的視頻幀以攝像機(jī)的焦距f為半徑進(jìn)行柱面正投影， 柱面正投影公式為：
[0016]
[0017] 其中（x，y)為畸變矯正后視頻幀上的任意一像素點(diǎn)，（V，/)為柱面正投影變換后 視頻幀上對(duì)應(yīng)的像素點(diǎn)，W和Η為視頻幀的寬度和高度，f為攝像機(jī)的像素焦距，即投影圓柱 面的半徑。
[0018] (5)對(duì)投影變換后的左視頻幀和右視頻幀分別進(jìn)行圖像配準(zhǔn)，并計(jì)算出投影變換 矩陣；
[0019] 其具體步驟為：1)提取左視頻幀和右視頻幀圖像重疊部分的SIFT特征；2)對(duì)提取 出的SIFT特征利用k-d tree和BBF算法進(jìn)行特征匹配查找，并根據(jù)最近鄰和次近鄰距離比 值進(jìn)行初步篩選，得到初匹配特征點(diǎn)；3)最后利用RANSAC算法篩選匹配點(diǎn)，得到精確匹配特 征點(diǎn)，并計(jì)算出投影變換矩陣；
[0020] (6)根據(jù)投影變換矩陣，將4路廣角雙目攝像頭中各自左邊攝像頭拍攝的4路左視 頻同步幀兩兩拼接，得到左視全景視頻幀，將4路廣角雙目攝像頭各自右邊攝像頭拍攝的4 路右視頻同步幀兩兩拼接，得到右視全景視頻幀，對(duì)左視全景視頻幀和右視全景視頻幀分 別進(jìn)行圖像融合，消除由不同攝像機(jī)拍攝引起的色彩差異及圖像疊加時(shí)產(chǎn)生的拼接縫，得 到左右視頻幀的全景視頻幀；
[0021] 其中以左視頻同步幀的相鄰兩幀圖像拼接融合為例:將拼接處相鄰兩幀右邊的圖 像幀經(jīng)過(guò)步驟(5)中求得的投影變換矩陣變換得到一個(gè)新圖像，兩幀拼接圖像融合得到的 目標(biāo)圖像由三部分構(gòu)成:拼接重合區(qū)域左邊部分的圖像完全取自相鄰兩幀拼接圖左邊幀的 原圖像；中間拼接重疊區(qū)域是相鄰兩幀拼接圖的加權(quán)平均;拼接區(qū)域右邊的部分取自右邊 圖像經(jīng)過(guò)矩陣變換后的新圖像。以此同樣的方法可以實(shí)現(xiàn)右視頻同步幀的相鄰兩幀圖像拼 接融合。加權(quán)平均的具體過(guò)程為先計(jì)算出兩幀圖像拼接區(qū)域的寬度，設(shè)dl，d2分別是兩幀圖 像重疊區(qū)域中的點(diǎn)到重疊區(qū)域左邊界和右邊界的距離，pixellmgl和pixelimg2分別為右圖 像幀和左圖像幀重疊區(qū)域的像素點(diǎn)像素值，重疊區(qū)域的各像素點(diǎn)的像素值計(jì)算公式為：
[0022]
[0023] 通過(guò)以上方法就可以實(shí)現(xiàn)拼接圖像間的平滑過(guò)渡。
[0024] (7)輸出圖像融合后的左右視頻幀，并通過(guò)柱面反投影重新構(gòu)造出觀看視角相對(duì) 應(yīng)的左右平面視頻幀。
[0025] 其具體方法為:通過(guò)柱面反投影算法把觀看視角對(duì)應(yīng)的無(wú)縫拼接視頻幀還原成平 面視圖，柱面反投影算法為：
[0026]
[0027] 其中（x，y)為矯止后視頻幀上的仕蒽像索點(diǎn)，U' )為柱面正投影變換后視頻幀 上的像素點(diǎn)，W和Η為視頻幀的寬度和高度，f為攝像機(jī)的像素焦距，即投影圓柱面的半徑。 [0028] (8)重復(fù)步驟(2)~(7)。
[0029]本發(fā)明提出的一種基于多GPU高速互聯(lián)的全景攝像機(jī)成像裝置與方法具有以下有 點(diǎn)：4路雙目攝像機(jī)都擁有獨(dú)立的CPU、GPU、VHJ處理各自的高分辨率視頻幀數(shù)據(jù)，并通過(guò) PCI-E將各GPU互聯(lián)，快速獲取無(wú)縫拼接雙目立體全景視頻，實(shí)現(xiàn)高分辨率雙目立體全景視 頻的實(shí)時(shí)觀看。
【附圖說(shuō)明】
[0030] 圖1是本發(fā)明提出的成像裝置擺放結(jié)構(gòu)示意圖；
[0031] 圖2是GPU互聯(lián)示意圖；
[0032 ]圖3是四路雙目立體左、右視頻幀全景拼接示意圖；
[0033]圖4是本發(fā)明提出的成像方法的流程圖；
[0034]圖5是GPU互聯(lián)加速示意圖。
【具體實(shí)施方式】
[0035]下面結(jié)合具體實(shí)施例，對(duì)本發(fā)明一種基于多GPU高速互聯(lián)的全景攝像機(jī)成像裝置 與方法做詳細(xì)的描述。
[0036]本發(fā)明提出的一種基于多GPU高速互聯(lián)的全景攝像機(jī)成像裝置，包括4路廣角雙目 攝像機(jī)，分別為第一路廣角雙目攝像機(jī)1，第二路廣角雙目攝像機(jī)2、第三路廣角雙目攝像機(jī) 3和第四路廣角雙目攝像機(jī)4，四路廣角雙目攝像機(jī)的擺放位置如圖1所示。4路廣角雙目攝 像機(jī)以〇點(diǎn)為中心，且處于同一水平面x〇z上，各攝像機(jī)繞垂直該水平面xOz的y軸旋轉(zhuǎn)，4路 廣角雙目攝像機(jī)兩兩之間的夾角為90°，各攝像機(jī)的拍攝角度與xOz平面垂直。廣角雙目攝 像機(jī)的水平視場(chǎng)角為150°，豎直視場(chǎng)角為85°，拍攝視頻分辨率約為4k(3840X2160像素）， 相鄰兩路攝像機(jī)拍攝的視頻之間視場(chǎng)角的重疊夾角為60°，四路視頻拼接后得到360度柱面 全景雙目立體視頻。
[0037] 因?yàn)槊恳宦冯p目攝像機(jī)拍攝的視頻分辨率都非常高，普通攝像機(jī)不能做到實(shí)時(shí)處 理，本發(fā)明對(duì)4路攝像機(jī)都配置有獨(dú)立的CPU、GPU處理各自的視頻數(shù)據(jù)，并通過(guò)PCI-E將4個(gè) GPU互聯(lián)，傳遞不同視頻之間的顏色，亮度信息，實(shí)現(xiàn)左右同步視頻幀之間的快速融合，GPU 互聯(lián)示意圖如圖2所示，四路CPU分別控制4路GPU(GPU1、GPU2、GPU3、GPU4)，通過(guò)PCI-E總線 進(jìn)行連接，相互之間實(shí)現(xiàn)數(shù)據(jù)的交互。四路雙目立體左、右視頻幀拼接示意圖如圖3所示。4 路廣角雙目攝像機(jī)均內(nèi)置有獨(dú)立的中央處理器和圖像處理器，各攝像機(jī)能夠單獨(dú)控制和處 理各攝像機(jī)采集的圖像以及視頻;其中第一路廣角雙目攝像機(jī)的第一中央處理器CPU1與第 二路廣角雙目攝像機(jī)的第二中央處理器CPU2、第三路廣角雙目攝像機(jī)的第三中央處理器 CPU3以及第四路廣角雙目攝像機(jī)的第四中央處理器CPU4連接實(shí)現(xiàn)對(duì)這三路廣角雙目攝像 機(jī)其中央處理器的控制，各路廣角雙目攝像機(jī)內(nèi)的中央處理器與圖像處理器之間通過(guò)PCI-E互聯(lián)實(shí)現(xiàn)其內(nèi)部的數(shù)據(jù)交互，各路廣角雙目攝像機(jī)之間的圖像處理器之間通過(guò)PCI-E互聯(lián) 實(shí)現(xiàn)各路廣角雙目攝像機(jī)之間的數(shù)據(jù)交互。
[0038] 傳統(tǒng)的圖像拼接方法基本都是通過(guò)CPU來(lái)實(shí)現(xiàn)的，運(yùn)算速度低，即使是雙核的CPU 所能承受的最大線程只能用個(gè)位數(shù)來(lái)計(jì)算，幾個(gè)線程就能夠完全充滿CPU的運(yùn)算空間，對(duì)于 高分辨率圖像的實(shí)時(shí)處理是不可能實(shí)現(xiàn)的，所以本發(fā)明提出通過(guò)4路GPU互聯(lián)來(lái)高效的完成 視頻圖像的拼接融合。GPU的全稱為Graphics Process Unit，即圖像處理單元。GPU在硬件 設(shè)計(jì)上與CPU有很大的區(qū)別，GPU專門針對(duì)計(jì)算敏感、高速并行計(jì)算場(chǎng)合設(shè)計(jì)，使用了比CPU 多得多得晶體管來(lái)進(jìn)行數(shù)據(jù)的處理和運(yùn)算，GPU可以并行運(yùn)行大量線程。在圖像拼接融合過(guò) 程中，因?yàn)閿?shù)據(jù)計(jì)算密集，所以將這些運(yùn)算交給GPU處理，主要包括對(duì)每一幀待拼接視頻幀 進(jìn)行圖像矯正，圖像投影變換以及圖像融合。如在圖像矯正過(guò)程中，需要完成每一幀圖像的 拼接需要對(duì)4路雙目攝像機(jī)拍攝的8幅尺寸為3840 X 2160的圖像數(shù)據(jù)進(jìn)行計(jì)算，如果交給 CPU處理，只能依次遍歷每一幅的每一個(gè)像素進(jìn)行矯正。因?yàn)橄袼刂g的運(yùn)算是相互獨(dú)立 的，交給GPU來(lái)處理，將數(shù)據(jù)計(jì)算交給大量的線程并行處理大大加快了執(zhí)行速度。
[0039]本發(fā)明提供的一種基于多GHJ高速互聯(lián)的全景攝像機(jī)成像方法，流程圖如圖4所 示，其具體流程如下所述。
[0040]首先，通過(guò)第一中央處理器為4路廣角雙目攝像機(jī)的左攝像頭和有攝像頭分別分 配一塊對(duì)應(yīng)塊緩存區(qū)，將4路廣角雙目攝像機(jī)采集的8路視頻幀分別存儲(chǔ)在對(duì)應(yīng)分配的緩存 區(qū)中，并對(duì)各廣角雙目攝像機(jī)其左邊攝像頭拍攝的左視頻和右邊攝像頭拍攝的右視頻分別 進(jìn)行左右標(biāo)記。
[0041 ]第二步，判斷4路廣角雙目攝像機(jī)對(duì)應(yīng)的各個(gè)緩沖區(qū)是否都有新的視頻幀到達(dá)，當(dāng) 各緩存區(qū)都有新視頻幀的時(shí)候，對(duì)這些視頻幀進(jìn)行拼接處理;如果否，等待所有新視頻幀。 [0042]第三步，采用同心圓標(biāo)定法對(duì)4路廣角雙目攝像機(jī)的每一幀進(jìn)行畸變矯正。
[0043]因?yàn)橐曨l是由廣角鏡頭拍攝的，而廣角鏡頭使用的是凸透鏡，會(huì)存在桶形畸變的 問(wèn)題，離鏡頭中心越遠(yuǎn)，折射效果越強(qiáng)，拍出的照片會(huì)以鏡頭中心為圓心，呈圓形向外擴(kuò)展 失真，故需要進(jìn)行畸變矯正處理。假設(shè)原圖像中某一點(diǎn)(X，y)發(fā)生畸變后成像點(diǎn)坐標(biāo)為(Y， y7 ) ,?
，其中P = l+kr2，r，k是通過(guò)攝像機(jī)標(biāo)定方法計(jì)算出的畸變系數(shù)?；兂C正 就是對(duì)圖像上發(fā)生形變的點(diǎn)進(jìn)行重新計(jì)算，將其還原到原本所在的位置上。
[0044]第四步，畸變矯正之后對(duì)校正后的視頻幀以相機(jī)的焦距f為半徑進(jìn)行柱面正投影。 [0045]柱面正投影公式為：
[0046]
[0047]其中（x，y)為矯正后視頻幀上的任意像素點(diǎn)，)為柱面正投因變換后視頻幀 上的像素點(diǎn)，W和Η為視頻幀的寬度和高度，f為攝像機(jī)的像素焦距，即投影圓柱面的半徑。
[0048] 第五步，對(duì)投影后的視頻幀根據(jù)其重疊部分進(jìn)行圖像配準(zhǔn)，目前常用的圖像匹配 算法是基于特征匹配的圖像配準(zhǔn)算法。這些特征包括特征點(diǎn)，邊緣特征，區(qū)域特征等，當(dāng)兩 圖像之間重合區(qū)域越大時(shí)，有效特征點(diǎn)會(huì)越多，越容易配準(zhǔn)，當(dāng)重合區(qū)域?yàn)?0 % -50 %時(shí)，匹 配效果較好。本發(fā)明的重疊區(qū)域?yàn)?0°，能夠快速精準(zhǔn)的進(jìn)行匹配。圖像配準(zhǔn)的具體步驟為： 1)提取圖像重疊部分的SIFT特征；2)對(duì)提取出的SIFT特征利用k-d tree和BBF算法進(jìn)行特 征匹配查找，并根據(jù)最近鄰和次近鄰距離比值進(jìn)行初步篩選，得到初匹配特征點(diǎn)；3)最后利 用RANSAC算法篩選匹配點(diǎn)，得到精確匹配特征點(diǎn)，并計(jì)算出變換矩陣。
[0049] 第六步，根據(jù)投影變換矩陣，將4路廣角雙目攝像頭中各自左邊攝像頭拍攝的4路 左視頻同步幀兩兩拼接，得到左視全景視頻幀，將4路廣角雙目攝像頭各自右邊攝像頭拍攝 的4路右視頻同步幀兩兩拼接，得到右視全景視頻幀，對(duì)左視全景視頻幀和右視全景視頻幀 分別進(jìn)行圖像融合，消除由不同攝像機(jī)拍攝引起的色彩差異及圖像疊加時(shí)產(chǎn)生的拼接縫， 得到左右視頻幀的全景視頻幀。
[0050] 視頻拍攝時(shí)由于空間光照等因素的影像，在色彩上會(huì)出現(xiàn)明暗不均勻等現(xiàn)象，這 樣拼接好的全景視頻幀會(huì)出現(xiàn)明顯的拼接縫，而且整幅圖的顏色也不協(xié)調(diào)，需要對(duì)拼接的 視頻幀作圖像融合處理，以消除色差和拼接縫，得到無(wú)縫拼接的全景視頻幀。常用的圖像融 合的方法有均值疊加法，加權(quán)平均法、多段融合法以及亮度調(diào)和法。
[0051] 本發(fā)明中采用加權(quán)平均法，其中左視頻同步幀的相鄰兩幀圖像拼接融合方法和右 視頻同步幀的相鄰兩幀圖像拼接融合方法是相同的。以左視頻同步幀的相鄰兩幀圖像拼接 融合為例，其方法為:將拼接處相鄰兩幀右邊的圖像幀經(jīng)過(guò)S5中求得的投影變換矩陣變換 得到一個(gè)新圖像，兩幀拼接圖像融合得到的目標(biāo)圖像由三部分構(gòu)成:拼接重合區(qū)域左邊部 分的圖像完全取自相鄰兩幀拼接圖左邊幀的原圖像；中間拼接重疊區(qū)域是相鄰兩幀拼接圖 的加權(quán)平均;拼接區(qū)域右邊的部分取自右邊圖像經(jīng)過(guò)矩陣變換后的新圖像。。
[0052] 加權(quán)平均的具體過(guò)程為先計(jì)算出拼接區(qū)域的寬度，設(shè)dl，d2分別是重疊區(qū)域中的 點(diǎn)到重疊區(qū)域左邊界和右邊界的距離，pixellmgl和pixelimg2分別為右圖像和左圖像重疊 區(qū)域的像素點(diǎn)像素值，重疊區(qū)域的各像素點(diǎn)的像素值計(jì)算公式為：
[0053]
[0054]通過(guò)以上方法就可以實(shí)現(xiàn)拼接圖像間的平滑過(guò)渡。
[0055]第七步，輸出全景視頻幀的觀看部分，通過(guò)柱面反投影算法把觀看視角對(duì)應(yīng)的無(wú) 縫拼接視頻幀還原成平面視圖，進(jìn)行觀看。
[0056]柱面反投影算法為：
[0057]
[0058]其中（x，y)為矯正后視頻幀上的任意像素點(diǎn)，)為柱面正投因變換后視頻幀 上的像素點(diǎn)，W和Η為視頻幀的寬度和高度，f為攝像機(jī)的像素焦距，即投影圓柱面的半徑。 [0059] GPU互聯(lián)加速處理如圖5所示。在處理過(guò)程中，視頻幀的矯正，柱面投影運(yùn)算以及圖 像融合都是通過(guò)4路雙目攝像機(jī)的GPU互聯(lián)加速處理的，圖像配準(zhǔn)是在CPU中完成的。
[0060]以上包含了本發(fā)明優(yōu)選實(shí)施例的說(shuō)明，這是為了詳細(xì)說(shuō)明本發(fā)明的技術(shù)特征，并 不是想要將
【發(fā)明內(nèi)容】
限制在實(shí)施例所描述的具體形式中，依據(jù)本
【發(fā)明內(nèi)容】
主旨進(jìn)行的其他 修改和變型也受本專利保護(hù)。本
【發(fā)明內(nèi)容】
的主旨是由權(quán)利要求書所界定，而非由實(shí)施例的 具體描述所界定。
【主權(quán)項(xiàng)】
1. 一種基于多GPU高速互聯(lián)的全景攝像機(jī)成像裝置，其特征在于:包括4路廣角雙目攝 像機(jī)，分別為第一路廣角雙目攝像機(jī)，第二路廣角雙目攝像機(jī)、第三路廣角雙目攝像機(jī)和第 四路廣角雙目攝像機(jī)，4路廣角雙目攝像機(jī)均內(nèi)置有獨(dú)立的中央處理器和圖像處理器，各攝 像機(jī)能夠單獨(dú)控制和處理各攝像機(jī)采集的圖像以及視頻;其中第一路廣角雙目攝像機(jī)的第 一中央處理器與第二路廣角雙目攝像機(jī)的第二中央處理器、第三路廣角雙目攝像機(jī)的第三 中央處理器以及第四路廣角雙目攝像機(jī)的第四中央處理器連接實(shí)現(xiàn)對(duì)這三路廣角雙目攝 像機(jī)其中央處理器的控制，各路廣角雙目攝像機(jī)內(nèi)的中央處理器與圖像處理器之間通過(guò) PCI-E互聯(lián)實(shí)現(xiàn)其內(nèi)部的數(shù)據(jù)交互，各路廣角雙目攝像機(jī)之間的圖像處理器之間通過(guò)PCI-E 互聯(lián)實(shí)現(xiàn)各路廣角雙目攝像機(jī)之間的數(shù)據(jù)交互。2. 根據(jù)權(quán)利要求1所述的基于多GHJ高速互聯(lián)的全景攝像機(jī)成像裝置，其特征在于：各 路廣角雙目攝像機(jī)將各自采集到的圖像通過(guò)各路廣角雙目攝像機(jī)內(nèi)置的CHJ控制傳輸?shù)街?定的緩存區(qū)中，然后在各路廣角雙目攝像機(jī)中CPU通過(guò)PCI-E與GPU進(jìn)行數(shù)據(jù)交互，控制GPU 對(duì)緩存區(qū)中的圖像進(jìn)行畸變矯正、投影，最后，各路廣角雙目攝像機(jī)的GHJ與GPU之間通過(guò) PCI-E互聯(lián)交互數(shù)據(jù)，共同協(xié)作完成圖像拼接融合處理，得到無(wú)縫拼接的全景圖像。3. 根據(jù)權(quán)利要求1所述的基于多GPU高速互聯(lián)的全景攝像機(jī)成像裝置，其特征在于:4路 廣角雙目攝像機(jī)由4路高分辨率廣角雙目攝像機(jī)構(gòu)成，4路廣角雙目攝像機(jī)以一點(diǎn)為中心且 處于同一水平面xOz上，4路廣角雙目攝像機(jī)的拍攝角度繞垂直該水平面xOz的y軸旋轉(zhuǎn)得 到，4路廣角雙目攝像機(jī)兩兩之間的夾角為90°。4. 根據(jù)權(quán)利要求3所述的基于多GHJ高速互聯(lián)的全景攝像機(jī)成像裝置，其特征在于：各 廣角雙目攝像機(jī)的水平視場(chǎng)角為150°，豎直視場(chǎng)角為85°，拍攝視頻分辨率為3840 X 2160像 素，相鄰兩路廣角雙目攝像機(jī)拍攝的視頻之間視場(chǎng)角的重疊夾角為60°。5. -種基于多GRJ高速互聯(lián)的全景攝像機(jī)成像方法，其特征在于，包括以下步驟：51. 通過(guò)第一中央處理器為4路廣角雙目攝像機(jī)的左攝像頭和有攝像頭分別分配一塊 對(duì)應(yīng)塊緩存區(qū)，將4路廣角雙目攝像機(jī)采集的8路視頻幀分別存儲(chǔ)在對(duì)應(yīng)分配的緩存區(qū)中， 并對(duì)各廣角雙目攝像機(jī)其左邊攝像頭拍攝的左視頻和右邊攝像頭拍攝的右視頻分別進(jìn)行 左右標(biāo)記；52. 判斷4路廣角雙目攝像機(jī)對(duì)應(yīng)的各個(gè)緩沖區(qū)是否都有新的視頻幀到達(dá)，如果是，轉(zhuǎn) 入S3，如果否，等待所有新視頻幀；53. 采用同心圓標(biāo)定法對(duì)4路廣角雙目攝像機(jī)的每一幀進(jìn)行畸變矯正；54. 由S3畸變矯正之后，通過(guò)柱面正投影將畸變矯正后的視頻幀投影到以攝像機(jī)焦距 為半徑的圓柱面上；55. 對(duì)投影變換后的左視頻幀和右視頻幀分別進(jìn)行圖像配準(zhǔn)，并計(jì)算出投影變換矩陣；56. 根據(jù)投影變換矩陣，將4路廣角雙目攝像頭中各自左邊攝像頭拍攝的4路左視頻同 步幀兩兩拼接，得到左視全景視頻幀，將4路廣角雙目攝像頭各自右邊攝像頭拍攝的4路右 視頻同步幀兩兩拼接，得到右視全景視頻幀，對(duì)左視全景視頻幀和右視全景視頻幀分別進(jìn) 行圖像融合，消除由不同攝像機(jī)拍攝引起的色彩差異及圖像疊加時(shí)產(chǎn)生的拼接縫，得到左 右視頻幀的全景視頻幀； S7 .輸出圖像融合后的左右視頻幀的全景視頻幀，并通過(guò)柱面反投影重新構(gòu)造出觀看 視角相對(duì)應(yīng)的左右平面視頻幀； S8.重復(fù)步驟S2~S7。6. 根據(jù)權(quán)利要求5所述的基于多GPU高速互聯(lián)的全景攝像機(jī)成像方法，其特征在于，步 驟S4中，對(duì)畸變校正后的視頻幀以攝像機(jī)的焦距f為半徑進(jìn)行柱面正投影，柱面正投影公式 為：其中（x，y)為畸變矯正后視頻幀上的任意一像素點(diǎn)，（V ,y')為柱面正投影變換后視頻 幀上對(duì)應(yīng)的像素點(diǎn)，W和H為視頻幀的寬度和高度，f為攝像機(jī)的像素焦距，即投影圓柱面的 半徑。7. 根據(jù)權(quán)利要求5所述的基于多GHJ高速互聯(lián)的全景攝像機(jī)成像方法，其特征在于，步 驟S5的方法為：1)提取左視頻幀和右視頻幀中圖像重疊部分的SIFT特征；2)對(duì)提取出的 SIFT特征利用k-dtree和BBF算法進(jìn)行特征匹配查找，并根據(jù)最近鄰和次近鄰距離比值進(jìn)行 初步篩選，得到初匹配特征點(diǎn)；3)最后利用RANSAC算法篩選匹配點(diǎn)，得到精確匹配特征點(diǎn)， 并計(jì)算出投影變換矩陣。8. 根據(jù)權(quán)利要求5所述的基于多GHJ高速互聯(lián)的全景攝像機(jī)成像方法，其特征在于，步 驟S6中，左視頻同步幀的相鄰兩幀圖像拼接融合方法為:將拼接處相鄰兩幀右邊的圖像幀 經(jīng)過(guò)S5中求得的投影變換矩陣變換得到一個(gè)新圖像，兩幀拼接圖像融合得到的目標(biāo)圖像由 三部分構(gòu)成:拼接重合區(qū)域左邊部分的圖像完全取自相鄰兩幀拼接圖左邊幀的原圖像；中 間拼接重疊區(qū)域是相鄰兩幀拼接圖的加權(quán)平均;拼接區(qū)域右邊的部分取自右邊圖像經(jīng)過(guò)矩 陣變換后的新圖像。9. 根據(jù)權(quán)利要求8所述的基于多GHJ高速互聯(lián)的全景攝像機(jī)成像方法，其特征在于，步 驟S6中，加權(quán)平均的方法為:先計(jì)算出兩幀圖像拼接區(qū)域的寬度，設(shè)dl，d2分別是兩幀圖像 重疊區(qū)域中的點(diǎn)到重疊區(qū)域左邊界和右邊界的距離，PixelImgl和pixelimg2分別為右圖像 幀和左圖像幀重疊區(qū)域的像素點(diǎn)像素值，重疊區(qū)域的各像素點(diǎn)的像素值計(jì)算公式為：10. 根據(jù)權(quán)利要求5所述的基于多GPU高速互聯(lián)的全景攝像機(jī)成像方法，其特征在于，步 驟S7中，柱面反投影算法為：其中（x，y)為矯正后視頻幀上的任意像素點(diǎn)，,y')為柱面正投影變換后視頻幀上的 像素點(diǎn)，W和H為視頻幀的寬度和高度，f為攝像機(jī)的像素焦距，即投影圓柱面的半徑。
【文檔編號(hào)】H04N13/02GK105933695SQ201610493416
【公開(kāi)日】2016年9月7日
【申請(qǐng)日】2016年6月29日
【發(fā)明人】羅文峰
【申請(qǐng)人】深圳市優(yōu)象計(jì)算技術(shù)有限公司