其中對應到Ufk的點Pyk是對應于Ufk點從圖像j到圖像i的投影
[0061]
(23)
[0062] 誤差函數(shù)是所有圖像抗差剩余誤差的和，表示如下：
[0063]
(24)
[0064] 其中n是總的圖像數(shù)，I(i)是和圖像i匹配的圖像集，f(i，j)是圖像i和圖像j 的特征匹配集；
[00化]使用化ber魯椿性誤差函數(shù)，如下所示：
[0066]
(25)
[0067] 所述的自動全景校直：使用前一步驟的圖像配準提供了攝像機間的相對旋轉(zhuǎn)和焦 距等參數(shù)，但是對于選定的世界坐標系而言仍有一個未知的3D旋轉(zhuǎn)；對于每一幅圖像，如 果簡單的假設(shè)R=I，通常會發(fā)現(xiàn)現(xiàn)在輸出的全景圖中有波狀效應，真正的相機不會是完全 水平且沒有傾斜的；本發(fā)明修正該種波形的輸出，并且通過利用人們通常拍攝全景圖方式 的啟發(fā)式算法自動校直全景圖；
[0068] 相機的參數(shù)X向量即水平軸位于一個平面；通過找到相機參數(shù)X向量的協(xié)方差矩 陣的零向量，可W找到"向上的向量"U，包含相機的中屯、和視距，如下：
[00 例
(26)
[0070] 垂直向上的向量U，即在呈現(xiàn)的結(jié)構(gòu)中進行整體旋轉(zhuǎn)，非常有效的從輸出全景圖中 消除了波狀效應；
[0071] 所述的增益補償；增益補償是解決光度測量參數(shù)，即圖像間的總增益；通過相似 的方式建立模型，對所有圖像定義一個誤差函數(shù)，誤差函數(shù)是所有重疊像素的增益歸一化 輕度誤差的和，表示如下：
[0072]
(27)
[007引其中g(shù)i，gj.是增益，R(i，如是圖像i和圖像j的重疊區(qū)域海個重疊區(qū)域的平均值lij來近似I(U1)，如下表示；
[0074]
(2巧
[0075] 簡化了計算，并給那些圖像間錯誤配準的外點提供了魯椿性；有一個預先條件保 持增益一致，調(diào)整后的誤差函數(shù)表示如下：
[0076]
(29)
[0077] 其中Nu=IR(i，j)I與圖像i和j間重疊部分的像素數(shù)量相等，參數(shù)。N和。g分 別是歸一化強度誤差和增益的標準偏差，選擇0W= 10. 0(IE{〇. . . 255})，0g= 0. 1 ;該 是一個增益參數(shù)g的二次目標函數(shù)，在封閉的形式中設(shè)置導數(shù)趨于0。
[007引所述的多波段融合；每個圖像中沿一條射線的每個樣值即像素會有相同的強度， 它們會相交，但現(xiàn)實并非如此；由于一些未建模的影響，即使在增益補償后，圖像邊緣仍然 可見，如圖像邊緣暗淡即朝圖像邊緣方向強度降低，由于光中屯、不必要的移動引起的視差 效果，攝像頭的錯誤建模、徑向崎變等引起的微小的定位誤；
[0079] 從前面的步驟中，考慮到已知的匹配，有n幅圖像Ii(x，y)(iG 可W被 表示在一個共同的球形坐標系Ii( 9, 4)中；為了從多個圖像中合并信息，為每個圖像分配 一個加權(quán)函數(shù)W(x,y) = ? (X) ? (y)，其中《 (X)從中屯、1到邊緣0線性變化；加權(quán)函數(shù)在 球形坐標系r(0, 4)內(nèi)重新采樣，融合的一種簡單方法是計算沿著每條射線，使用該些加 權(quán)函數(shù)的圖像強度的加權(quán)總和；如下所示
[0080]
(30)
[00川其中I"n6at( 0，4)是使用線性融合形成的復合球面圖像，可是如果有小的匹配錯 誤，該種方法會引起高頻細節(jié)模糊；為了防止該種情況，使用郵的和4(1613011的多波段融合 算法，在一個很大的范圍空間內(nèi)融合低頻率，在一個小的范圍內(nèi)融合高頻率。
[0082] 有益效果；由于采用了上述方案，本發(fā)明構(gòu)建了GPU與CPU協(xié)同計算模型，緩解現(xiàn) 有視頻融合方法實時性差的現(xiàn)狀；利用相鄰視頻源間重疊區(qū)域的特征自動匹配，確定視頻 源的相對位置關(guān)系，不需提前指定攝像機位置，實現(xiàn)自動整合；并捆綁調(diào)整估計相機參數(shù)與 自動校直，解決融合后全景圖像變形問題；并采用了曝光補償與多波段融合方法，最終生成 超高分辨率大視角的礦井采（掘）工作面大場景實時整體視頻，對提高煤礦開采工作效率 與保障煤礦安全生產(chǎn)發(fā)揮重要作用。
[0083] 將多視頻融合技術(shù)應用到了礦井綜掘工作面的監(jiān)控中，解決了礦井全景成像的難 題。在此基礎(chǔ)之上，該發(fā)明利用統(tǒng)一計算設(shè)備架構(gòu)（CUDA)的并行計算能力，合理得將GPU和 CPU結(jié)合，充分地保證了視頻融合的實時性和準確性；采用了自動全景融合的手段，系統(tǒng)會 根據(jù)攝像機獲取的圖像信息自動找出最佳的融合序列，因此不需要預先知道攝像頭的相對 位置關(guān)系；該發(fā)明還使用了捆綁調(diào)整估計相機參數(shù)與自動校直，解決了融合后全景圖像變 形問題；并采用了曝光補償與多波段融合方法，最終生成超高分辨率大視角的礦井采（掘） 工作面大場景實時整體視頻，解決了礦井綜掘工作面單攝像機視角有限及全景變形的問 題；達到了本發(fā)明的目的。
[0084] 優(yōu)點；多攝像機視頻融合技術(shù)充分利用現(xiàn)在煤礦的攝像機，生成礦井采（掘）工作 面全景視頻，減少設(shè)備投入，提高煤礦生產(chǎn)的安全性。
【附圖說明】：
[0085] 圖1是本發(fā)明的融合方法流程圖。
[0086] 圖2a正常拍攝視角下的示意圖。
[0087] 圖化拍攝視角發(fā)生傾斜情況下的示意圖。
[008引圖2c拍攝視角發(fā)生旋轉(zhuǎn)情況下的示意圖。
【具體實施方式】
[0089] 實施例1 ;該礦井多攝像機視頻融合方法：針對礦井綜掘工作面的特殊工作環(huán)境 要求，構(gòu)建GPU與CPU協(xié)同計算模型；利用攝像機獲得的圖像信息自動識別正確的圖像序 列；利用捆綁調(diào)整相機參數(shù)求解統(tǒng)一融合平面，分解單攝像機視頻帖圖像，在多波段對視頻 進行融合，最終實現(xiàn)高分辨率與高帖率的礦井綜掘工作面全景視頻；
[0090] 調(diào)度中屯、獲取多個井下攝像機視頻信號；對各攝像機獲取的視頻信號進行處理， 根據(jù)視角的不同及傳感器的差異對存在重合區(qū)域的多組視頻圖像序列進行重新融合，組成 一組配準的分辨率高的無縫視頻圖像序列，生成視頻中的每幅圖像包含所有視頻序列在同 一時刻捕獲的部分采煤面圖像數(shù)據(jù)的寬視角大型圖像；
[0091] 具體步驟如下：
[0092] 1)獲取每路視頻源的圖像，對圖像帖進行緩存；
[0093] 2)圖像特征提?。簩γ恳环鶊D像提取尺度不變特征轉(zhuǎn)換（SIFT)特征/加速的魯 椿特征（SURF);
[0094] 3)視頻帖圖像配準；找到圖像變換矩陣，主要包括=個步驟：
[0095] a)特征匹配；使用k-d樹算法為每個特征點找到k個最鄰近的匹配特征點；
[0096] b)選擇m個候選匹配圖像，它們與要匹配的圖像有最多的特征匹配點；
[0097] C)計算變換矩陣；使用隨機采樣一致性（RANSAC)算法找到圖像對應間的變換矩 陣H;
[009引d)驗證變換矩陣；使用概率模型驗證圖像匹配的變換矩陣；
[0099] 4)多攝像機變換參數(shù)調(diào)整：對已匹配的圖像使用光束平差法獲取相機的旋轉(zhuǎn)角 0 1、0 2、0 3和焦距f等參數(shù)，將多個單攝像機圖像變換到統(tǒng)一的融合平面上；
[0100] 5)自動全景校直；去除正確匹配序列中的圖像間的波狀效應，并記錄自動校直參 數(shù)；
[0101] 6)增益補償；對已匹配后序列中的圖像進行曝光補償，并記錄補償參數(shù)；
[0102] 將1)至6)過程中產(chǎn)生的變換矩陣、多攝像機變換參數(shù)、自動校直參數(shù)、增益補償 參數(shù)等保存到緩存區(qū)中；
[0103] 7)多波段融合；加載視頻帖緩沖隊列中的圖像及緩存區(qū)中的參數(shù)，若參數(shù)加載成 功，則對圖像序列分解多波段，進行全景融合，若參數(shù)加載失敗，則重新執(zhí)行步驟1)至6);
[0104] 8)針對后續(xù)視頻流中的每一帖視頻圖像重復步驟7);
[01化]所述步驟2)和7)在GPU端運行；其它步驟是在系統(tǒng)的CPU端運行。
[0106] 進一步說明如下：
[0107] 所述的圖像特征提取：使用SIFT或SURF算法進行特征提取，先對崎變校正后的視 頻帖圖像構(gòu)建高斯金字塔，然后得到相應的高斯差分金字塔，求得高斯差分金字塔中的極 值點，之后進行關(guān)鍵點精確定位，得到各攝像機獲取的帖圖像的特征點；最后，用特征向量 對每一個特征點進行特征描述；
[010 引
[0109] 0(X,y) =tan_i((L(X,y+1)-L(X,y-1)) /(L(X+1,y)-L(X-1,y))) (32)
[0110] 公式（16)與公式（17)中的m(x，y)與0 (x，y)是特征點的梯度模值與方向；利用 關(guān)鍵點的模值與方向生成關(guān)鍵點特征向量，最終得到的特征點用128維的特征向量表示； SURF算法是對SIFT算法的一種改進，首先構(gòu)建化ssian矩陣，然后構(gòu)建圖像的尺度空間，檢 測尺度空間中的極值點作為特征點并精確定位，最終得到64維的特征向量表示；
[0111] 所述的視頻帖圖像配準，具體步驟如下：
[0112] 1.1.特征匹配
[0113] 前面部分已經(jīng)提取得到了圖像特征點集合，本部分介紹圖像配準的特征點匹配與 變換矩陣求解；對于待匹配的兩幅圖像，其各自的特征點已經(jīng)W特征向量的形式存儲在數(shù) 組中，特征點匹配就是找到兩圖像重疊區(qū)域中匹配的特征點，通過該些特征點的匹配關(guān)系 得到一個變換矩陣；使用的索引數(shù)據(jù)結(jié)構(gòu)是Kd-tree結(jié)構(gòu)，Kd-tree特征匹配主要有兩個步 驟：
[0114] 步驟一：構(gòu)建Kd-tree數(shù)據(jù)結(jié)構(gòu)；
[01巧]輸入；Data_set數(shù)據(jù)點集；輸出；Kd樹，類型為