，則重新執(zhí)行步驟1)至6); 8) 針對后續(xù)視頻流中的每一幀視頻圖像重復(fù)步驟7); 所述步驟2)和7)在GPU端運(yùn)行；其它步驟是在系統(tǒng)的CPU端運(yùn)行。2. 根據(jù)權(quán)利要求1所述的基于GPU與CPU協(xié)同計算的礦井多攝像機(jī)視頻融合方法，其 特征是：所述的圖像特征提取：使用SIFT或SURF算法進(jìn)行特征提取，先對畸變校正后的視 頻幀圖像構(gòu)建高斯金字塔，然后得到相應(yīng)的高斯差分金字塔，求得高斯差分金字塔中的極 值點(diǎn)，之后進(jìn)行關(guān)鍵點(diǎn)精確定位，得到各攝像機(jī)獲取的幀圖像的特征點(diǎn)；最后，用特征向量 對每一個特征點(diǎn)進(jìn)行特征描述；0 (X，y) =tarT1((L(X，y+1)-L(X，y-1)) /(L(x+1，y)-L(x-1，y))) (2) 公式（16)與公式（17)中的m(x，y)與0 (x，y)是特征點(diǎn)的梯度模值與方向；利用關(guān)鍵 點(diǎn)的模值與方向生成關(guān)鍵點(diǎn)特征向量，最終得到的特征點(diǎn)用128維的特征向量表示；SURF 算法是對SIFT算法的一種改進(jìn)，首先構(gòu)建Hessian矩陣，然后構(gòu)建圖像的尺度空間，檢測尺 度空間中的極值點(diǎn)作為特征點(diǎn)并精確定位，最終得到64維的特征向量表示。3.根據(jù)權(quán)利要求1所述的基于GPU與CPU協(xié)同計算的礦井多攝像機(jī)視頻融合方法，其 特征是：所述的視頻幀圖像配準(zhǔn)，具體步驟如下： I. 1.特征匹配 前面部分已經(jīng)提取得到了圖像特征點(diǎn)集合，本部分介紹圖像配準(zhǔn)的特征點(diǎn)匹配與變換 矩陣求解；對于待匹配的兩幅圖像，其各自的特征點(diǎn)已經(jīng)以特征向量的形式存儲在數(shù)組中， 特征點(diǎn)匹配就是找到兩圖像重疊區(qū)域中匹配的特征點(diǎn)，通過這些特征點(diǎn)的匹配關(guān)系得到一 個變換矩陣；使用的索引數(shù)據(jù)結(jié)構(gòu)是Kd-tree結(jié)構(gòu)，Kd-tree特征匹配主要有兩個步驟： 步驟一：構(gòu)建Kd-tree數(shù)據(jù)結(jié)構(gòu)； 輸入：Data_set數(shù)據(jù)點(diǎn)集；輸出：Kd樹，類型為Kd-tree; (1) 如果Data_set數(shù)據(jù)點(diǎn)集為空，則返回空的Kd樹； (2) 計算數(shù)據(jù)點(diǎn)集所有特征向量每一維的方差，找到方差最大的值對應(yīng)的維度，該維度 的序號就是split的取值； (3) 在split值對應(yīng)的維度，將所有數(shù)據(jù)點(diǎn)重新排序，找到處于中間的數(shù)據(jù)點(diǎn)，該數(shù)據(jù) 點(diǎn)就是最初的dom_elt，并在數(shù)據(jù)集中減去dom_elt; (4) 數(shù)據(jù)集中split域?qū)?yīng)的維度值小于dom_elt的向量被分到左子空間，即left; split域?qū)?yīng)的維度值大于dom_elt的向量被分到右子空間，即right; (5) 對左子空間和右子空間遞歸調(diào)用Kd-tree構(gòu)建算法； 步驟二：在Kd-tree上進(jìn)行最鄰近查找； 通過以上兩個步驟，就得到了Kd-tree數(shù)據(jù)結(jié)構(gòu)，最終獲取所有特征點(diǎn)最鄰近的4個特 征點(diǎn)； 1. 2.計算變換矩陣 得到匹配的特征點(diǎn)對之后，使用隨機(jī)采樣一致性RANSAC算法去除錯配的特征點(diǎn)對，利 用正確匹配的特征點(diǎn)即內(nèi)點(diǎn)求得相應(yīng)的投影變換矩陣應(yīng)，隨機(jī)采樣一致性RANSAC算法具體過程如下： (1) 從特征點(diǎn)對中隨機(jī)抽選一個RANSAC樣本，即4個特征點(diǎn)對； (2) 根據(jù)這些抽取的RANSAC樣本計算變換矩陣M; (3) 將目標(biāo)圖像的特征點(diǎn)經(jīng)M矩陣變換，找到滿足一定誤差范圍的特征點(diǎn)集，返回特征 點(diǎn)集的個數(shù)； (4) 比較求得的新的特征點(diǎn)集與最優(yōu)一致集中元素的個數(shù)，如果新求的特征點(diǎn)集元素 個數(shù)多，就更新原來的最優(yōu)一致集； (5) 計算新的最優(yōu)一致集的錯誤率，若該錯誤率大于設(shè)定的最小錯誤率就返回（1);否 貝IJ，結(jié)束算法。 1. 3.驗(yàn)證變換矩陣 對兩兩圖像間是否存在匹配關(guān)系，使用幾何一致的RANSAC內(nèi)點(diǎn)和在重疊區(qū)域內(nèi)，不一 致的隨機(jī)采樣一致性RANSAC外點(diǎn)來驗(yàn)證；驗(yàn)證模型通過比較正確匹配產(chǎn)生的內(nèi)點(diǎn)和錯誤 匹配產(chǎn)生的外點(diǎn)的概率來進(jìn)行驗(yàn)證； 對于一幅給定的圖像，重疊區(qū)域內(nèi)總的匹配特征數(shù)為nf，內(nèi)點(diǎn)為ni;圖像是否有效匹配 通過二進(jìn)制變量me{0, 1}表示；第i個匹配特征點(diǎn)f(i)e{0, 1}是否為內(nèi)點(diǎn)被假定為獨(dú) 立的貝努利分布，以便于內(nèi)點(diǎn)總數(shù)服從貝努利分布：其中，P1是可以正確匹配圖像時特征點(diǎn)為內(nèi)點(diǎn)的概率，口〇是不能實(shí)現(xiàn)圖像匹配時 特征點(diǎn)為內(nèi)點(diǎn)的概率；/1'""表示特征匹配點(diǎn)變量的集合{f(1),i= 1，2,. . .，nf}，內(nèi)點(diǎn)數(shù) B(.)是貝努利分布，表示如下：本發(fā)明選P1=0.6,Ptl=0. 1，使用貝葉斯規(guī)則計算正確圖像匹配的先驗(yàn)概率，如果滿 足沖"]i>A,,m，則實(shí)現(xiàn)圖像自動匹配。4.根據(jù)權(quán)利要求1所述的基于GPU與CPU協(xié)同計算的礦井多攝像機(jī)視頻融合方法，其 特征是：所述的多攝像機(jī)變換參數(shù)調(diào)整：實(shí)現(xiàn)圖像的正確匹配之后，使用光束平差法解決 相機(jī)旋轉(zhuǎn)角0:、02、0 3和焦距f?參數(shù)問題，以下詳述具體過程； 已匹配的圖像一個接一個被添加到捆綁調(diào)節(jié)器，最佳匹配圖像在每一步被添 加，新圖像用與最佳匹配圖像具有相同的旋轉(zhuǎn)和焦距長度初始化，然后相機(jī)參數(shù)使用 Levenberg-Marquardt(L-M)算法被更新，L-M算法是介于牛頓法與梯度下降法之間的一種 非線性優(yōu)化方法； 使用的L-M算法中要優(yōu)化的目標(biāo)函數(shù)是一種抗總差平方投影誤差；即每個特征點(diǎn)被投 影到所有與它匹配的圖像中，并且平方圖像距離的總和依據(jù)相機(jī)參數(shù)最小化；考慮到對應(yīng) 關(guān)系(Uik表示在圖像i第k個特征點(diǎn)的位置），殘差表示為 ^ =ui-Pij (7)其中對應(yīng)到Ui15的點(diǎn)pJ是對 應(yīng)于Wk點(diǎn)從圖像j到圖像i的投影誤差函數(shù)是所有圖像抗差剩余誤差的和，表示如下：其中n是總的圖像數(shù)，I(i)是和圖像i匹配的圖像集，f(i，j)是圖像i和圖像j的特 征匹配集；使用Huber魯棒性誤差函數(shù)，如下所示：5. 根據(jù)權(quán)利要求1所述的基于GPU與CPU協(xié)同計算的礦井多攝像機(jī)視頻融合方法，其 特征是：所述的自動全景校直：使用前一步驟的圖像配準(zhǔn)提供了攝像機(jī)間的相對旋轉(zhuǎn)和焦 距等參數(shù)，但是對于選定的世界坐標(biāo)系而言仍有一個未知的3D旋轉(zhuǎn)；對于每一幅圖像，如 果簡單的假設(shè)R=I，通常會發(fā)現(xiàn)現(xiàn)在輸出的全景圖中有波狀效應(yīng)，真正的相機(jī)不會是完全 水平且沒有傾斜的；本發(fā)明修正這種波形的輸出，并且通過利用人們通常拍攝全景圖方式 的啟發(fā)式算法自動校直全景圖； 相機(jī)的參數(shù)X向量即水平軸位于一個平面；通過找到相機(jī)參數(shù)X向量的協(xié)方差矩陣的 零向量，可以找到"向上的向量"u，包含相機(jī)的中心和視距，如下：垂直向上的向量u，即在呈現(xiàn)的結(jié)構(gòu)中進(jìn)行整體旋轉(zhuǎn)，非常有效的從輸出全景圖中消除 了波狀效應(yīng)。6. 根據(jù)權(quán)利要求1所述的基于GPU與CPU協(xié)同計算的礦井多攝像機(jī)視頻融合方法，其 特征是：所述的增益補(bǔ)償：增益補(bǔ)償是解決光度測量參數(shù)，即圖像間的總增益；通過相似的 方式建立模型，對所有圖像定義一個誤差函數(shù)，誤差函數(shù)是所有重疊像素的增益歸一化輕 度誤差的和，表示如下：其中g(shù)i，是增益，R(i，j)是圖像i和圖像j的重疊區(qū)域；每個重疊區(qū)域的平均值Iu來近似I(Ui)，如下表示：簡化了計算，并給那些圖像間錯誤配準(zhǔn)的外點(diǎn)提供了魯棒性；有一個預(yù)先條件保持增 益一致，調(diào)整后的誤差函數(shù)表示如下：其中Nij= |R(i，j)I與圖像i和j間重疊部分的像素數(shù)量相等，參數(shù)〇，〇 g分別是 歸一化強(qiáng)度誤差和增益的標(biāo)準(zhǔn)偏差，選擇〇 N= 10.O(Ie{〇... 255})，〇 g= 0. 1 ;這是一 個增益參數(shù)g的二次目標(biāo)函數(shù)，在封閉的形式中設(shè)置導(dǎo)數(shù)趨于0。7. 根據(jù)權(quán)利要求1所述的基于GPU與CPU協(xié)同計算的礦井多攝像機(jī)視頻融合方法，其 特征是：所述的多波段融合：每個圖像中沿一條射線的每個樣值即像素會有相同的強(qiáng)度， 它們會相交，但現(xiàn)實(shí)并非如此；由于一些未建模的影響，即使在增益補(bǔ)償后，圖像邊緣仍然 可見，如圖像邊緣暗淡即朝圖像邊緣方向強(qiáng)度降低，由于光中心不必要的移動引起的視差 效果，攝像頭的錯誤建模、徑向畸變等引起的微小的定位誤； 從前面的步驟中，考慮到已知的匹配，有n幅圖像IiUyMie{l...n})可以被表示 在一個共同的球形坐標(biāo)系1\0，(6)中；為了從多個圖像中合并信息，為每個圖像分配一個 加權(quán)函數(shù)W(x,y) = ? (X) ? (y)，其中《 (X)從中心1到邊緣0線性變化；加權(quán)函數(shù)在球形 坐標(biāo)系，（0，(6)內(nèi)重新采樣，融合的一種簡單方法是計算沿著每條射線，使用這些加權(quán)函 數(shù)的圖像強(qiáng)度的加權(quán)總和；如下所示其中Iling(0，(6)是使用線性融合形成的復(fù)合球面圖像，可是如果有小的匹配錯誤， 這種方法會引起高頻細(xì)節(jié)模糊；為了防止這種情況，使用Burt和Adelson的多波段融合算 法，在一個很大的范圍空間內(nèi)融合低頻率，在一個小的范圍內(nèi)融合高頻率。
【專利摘要】一種基于GPU與CPU協(xié)同計算的礦井多攝像機(jī)視頻融合方法，屬于礦井多攝像機(jī)視頻融合方法。本發(fā)明構(gòu)建了GPU與CPU協(xié)同計算模型，緩解現(xiàn)有視頻融合方法實(shí)時性差的現(xiàn)狀；利用相鄰視頻源間重疊區(qū)域的特征自動匹配，確定視頻源的相對位置關(guān)系，不需提前指定攝像機(jī)位置，實(shí)現(xiàn)自動整合；并捆綁調(diào)整估計相機(jī)參數(shù)與自動校直，解決融合后全景圖像變形問題；并采用了曝光補(bǔ)償與多波段融合方法，最終生成超高分辨率大視角的礦井采(掘)工作面大場景實(shí)時整體視頻，對提高煤礦開采工作效率與保障煤礦安全生產(chǎn)發(fā)揮重要作用。優(yōu)點(diǎn)：多攝像機(jī)視頻融合技術(shù)充分利用現(xiàn)在煤礦的攝像機(jī)，生成礦井采(掘)工作面全景視頻，減少設(shè)備投入，提高煤礦生產(chǎn)的安全性。
【IPC分類】G06T3/00, G06K9/00, G06K9/62, H04N7/18, G06T7/00
【公開號】CN104966063
【申請?zhí)枴緾N201510338689
【發(fā)明人】姚睿, 夏士雄, 牛強(qiáng), 周勇, 陳朋朋, 王重秋
【申請人】中國礦業(yè)大學(xué)
【公開日】2015年10月7日
【申請日】2015年6月17日