一種視頻圖像拼接方法及裝置制造方法
【專利摘要】本發(fā)明實施例公開了一種視頻圖像拼接方法及裝置，方法包括：獲取相鄰的兩個視頻幀以及攝像機拍攝所述兩個視頻幀時的位置信息；根據(jù)所述位置信息和視頻幀信息分別確定所述兩個視頻幀的匹配區(qū)域，將位于所述匹配區(qū)域的圖像作為待匹配圖像；對所述待匹配圖像進行特征提??；根據(jù)所提取的特征對所述兩個視頻幀的待匹配圖像進行特征匹配；根據(jù)匹配結(jié)果對所述兩個視頻幀進行拼接與融合，能提高視頻圖像拼接的速度和精度，能避免對GPS位置信息的過度依賴，能使圖像拼接過程更加穩(wěn)定。
【專利說明】一種視頻圖像拼接方法及裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理【技術(shù)領(lǐng)域】，具體涉及視頻圖像處理技術(shù)，尤其涉及一種視頻 圖像拼接方法及裝置。

【背景技術(shù)】
[0002] 現(xiàn)有技術(shù)中，目前常用的視頻圖像拼接方法主要有基于區(qū)域的圖像拼接方法和基 于特征的圖像拼接方法?；趨^(qū)域的圖像拼接方法又可分為基于空間像素匹配的拼接算法 和基于頻域的拼接算法；基于特征的拼接方法主要根據(jù)采取采集特征的不同進行區(qū)分，t匕 如早期的輪廓特征以及后來出現(xiàn)的SIFT特征、SURF特征、0RB特征等。
[0003] 基于區(qū)域的圖像拼接方法中，基于像素匹配的拼接算法，主要通過兩幅圖像像素 間的灰度關(guān)系來確定圖像間的變化參數(shù)。早期的匹配方法是通過在相鄰重疊部分進行平 移，然后比較兩幅圖像的匹配度，需要測試所有的平移情況。這種方法運算量極大，而且不 能解決旋轉(zhuǎn)和尺度變換問題。還有采用基于金字塔結(jié)構(gòu)的多分辨率匹配進行最優(yōu)匹配搜 索，可以在一定程度上解決尺度變換問題，但是對于旋轉(zhuǎn)問題解決的不理想。基于頻域的拼 接方法，是通過對兩幅圖像做二維離散傅里葉變換，通過頻域內(nèi)的相關(guān)關(guān)系反變換得到空 間域的相關(guān)關(guān)系。
[0004] 基于特征的圖像拼接方法，這種方法不是利用圖像的全部信息，而是首先在圖像 中提取特征，通過比較兩幅圖像的特征得到圖像間的變化關(guān)系。采用輪廓提取的方法，首先 對圖像進行卷積增強，檢測圖像中像素符號變化的點（過零點）作為邊界點，提取輪廓后進 行特征描述。采用SIFT (Scale Invariant and Feature Transform),這種方法首先通過建 立拉普拉斯金字塔來消除尺度變化的影響，然后在尺度空間內(nèi)進行特征檢測，并根據(jù)關(guān)鍵 點鄰域的梯度方向確定特征點的方向，進而解決尺度及旋轉(zhuǎn)問題。對于基于特征點的圖像 拼接算法，對拼接質(zhì)量及速度影響最大的主要在與特征選取，隨后出現(xiàn)的SURF特征、0RB特 征等都在保證一定質(zhì)量的情況下更加側(cè)重速度的提升。
[0005] 目前視頻圖像拼接普遍依賴于無人機遙測數(shù)據(jù)的解析，例如經(jīng)緯度、高度、速度、 俯仰、橫滾等信息，需要參考這些數(shù)據(jù)來執(zhí)行圖像匹配操作，而實際飛行中遙測數(shù)據(jù)可能與 視頻不同步，或出現(xiàn)某些無人機遙測數(shù)據(jù)無法獲取的情況，導(dǎo)致傳統(tǒng)的視頻圖像拼接方法 無法實現(xiàn)真正的實時拼接。因此，現(xiàn)有技術(shù)在追求拼接精度時很難達到實時的效果，而在追 求實時的情況下對于上述復(fù)雜情況考慮不周全，難以兼顧精度和速度。
[0006] 以無人機領(lǐng)域為例，我國目前無人機應(yīng)用發(fā)展迅速，無論是軍用還是民用領(lǐng)域，無 人機的行業(yè)應(yīng)用日益擴展和深入發(fā)展，比如軍事目標搜尋、石油管道監(jiān)測、電力巡線、林業(yè) 防火預(yù)警、農(nóng)業(yè)調(diào)查等。在這些行業(yè)應(yīng)用中，無人機作為一種遙感應(yīng)用的延伸平臺，視頻數(shù) 據(jù)采集及視頻數(shù)據(jù)處理是遙感數(shù)據(jù)分析的基礎(chǔ)，而能夠得到實時拼接的視頻信息將非常有 助于數(shù)據(jù)實時分析。
[0007] 雖然技術(shù)人員已經(jīng)從多種不同的方向?qū)σ曨l圖像拼接技術(shù)進行了不同程度的改 進與優(yōu)化，但是，目前的視頻圖像拼接方法仍然普遍存在如下問題：
[0008] (1)現(xiàn)有技術(shù)采用的特征大都很難達到實時的效果，ORB特征雖然能夠得到較好 的實時效果，但是對于拼接連續(xù)性及尺度變換效果較差。
[0009] (2)現(xiàn)有技術(shù)存在過度依賴GPS位置信息的情況，可能導(dǎo)致拼接完全失敗。


【發(fā)明內(nèi)容】

[0010] 有鑒于此，本發(fā)明實施例提供一種視頻圖像拼接方法及裝置，以實現(xiàn)實時、快速、 穩(wěn)定的圖像拼接。
[0011] 本發(fā)明實施例采用以下技術(shù)方案：
[0012] 第一方面，本發(fā)明實施例提供了一種視頻圖像拼接方法，包括：
[0013] 獲取相鄰的兩個視頻幀以及攝像機拍攝所述兩個視頻幀時的位置信息；
[0014] 根據(jù)所述位置信息分別確定所述兩個視頻幀的匹配區(qū)域，將位于所述匹配區(qū)域的 圖像作為待匹配圖像；
[0015] 對所述待匹配圖像進行特征提?。?br> [0016] 根據(jù)所提取的特征對所述兩個視頻幀的待匹配圖像進行特征匹配；
[0017] 根據(jù)匹配結(jié)果對所述兩個視頻幀進行拼接與融合。
[0018] 第二方面，本發(fā)明實施例還提供了一種視頻圖像拼接裝置，包括：
[0019] 視頻幀及位置信息獲取單元，用于獲取相鄰的兩個視頻幀以及攝像機拍攝所述兩 個視頻幀時的位置信息；
[0020] 匹配圖像確定單元，用于根據(jù)所述位置信息分別確定所述兩個視頻幀的匹配區(qū) 域，將位于所述匹配區(qū)域的圖像作為待匹配圖像；
[0021] 特征提取單元，用于對所述待匹配圖像進行特征提??；
[0022] 特征匹配單元，用于根據(jù)所提取的特征對所述兩個視頻幀的待匹配圖像進行特征 匹配；
[0023] 圖像拼接單元，用于根據(jù)匹配結(jié)果對所述兩個視頻幀進行拼接與融合。
[0024] 本發(fā)明實施例提出的技術(shù)方案的有益技術(shù)效果是：
[0025] 本發(fā)明實施例通過獲取相鄰的兩個視頻幀以及攝像機拍攝所述兩個視頻幀時的 位置信息，根據(jù)所述位置信息分別確定所述兩個視頻幀的匹配區(qū)域并獲取待匹配圖像，進 行特征提取，根據(jù)所提取的特征對所述兩個視頻幀的待匹配圖像進行特征匹配，根據(jù)匹配 結(jié)果對所述兩個視頻幀進行拼接與融合，能利用GPS信息作為輔助信息尋找可能的匹配區(qū) 域，解除了后續(xù)過程對GPS位置信息的過度依賴，使得圖像拼接過程更加穩(wěn)定。

【專利附圖】

【附圖說明】
[0026] 為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對本發(fā)明實施例描述中所 需要使用的附圖作簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施 例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)本發(fā)明實施 例的內(nèi)容和這些附圖獲得其他的附圖。
[0027] 圖1是本發(fā)明具體實施例一所述的視頻圖像拼接方法流程圖；
[0028] 圖2是本發(fā)明具體實施例一所述的采用的FREAK算子的采樣結(jié)構(gòu)示意圖；
[0029] 圖3是本發(fā)明具體實施例二所述的視頻圖像拼接方法流程圖；
[0030] 圖4是本發(fā)明具體實施例三所述的視頻圖像拼接裝置的結(jié)構(gòu)框圖。

【具體實施方式】
[0031] 為使本發(fā)明解決的技術(shù)問題、采用的技術(shù)方案和達到的技術(shù)效果更加清楚，下面 將結(jié)合附圖對本發(fā)明實施例的技術(shù)方案作進一步的詳細描述，顯然，所描述的實施例僅僅 是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域技術(shù)人員在 沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0032] 下面結(jié)合附圖并通過【具體實施方式】來進一步說明本發(fā)明的技術(shù)方案。
[0033] 實施例一
[0034] 圖1是本實施例所述的視頻圖像拼接方法流程圖。如圖1所示，本實施例所述的 視頻圖像拼接方法包括：
[0035] 步驟S101、獲取相鄰的兩個視頻幀以及攝像機拍攝所述兩個視頻幀時的位置信 息。
[0036] 視頻圖像拼接通常針對該視頻中前后連續(xù)的兩個視頻幀進行。由于相互連續(xù)的兩 個視頻幀之間的變化最小，相同的圖像信息量最大，因此，通過連續(xù)視頻幀進行視頻拼接能 夠取得較好的拼接效果，而且處理較為簡單。本實施例中，除獲取相鄰的兩個視頻幀之外還 獲取在拍攝所述相鄰兩個視頻幀中的第一個視頻幀時攝像機所在的位置信息。該位置信息 將在后續(xù)步驟中用于確定匹配區(qū)域，在此不再贅述。另外，需要指出的是，這里的位置信息 可以是GPS信息，也可以是其他定位系統(tǒng)提供的位置信息，如中國的北斗定位系統(tǒng)、歐空局 的伽利略定位系統(tǒng)、俄羅斯的定位系統(tǒng)等等，本發(fā)明對此不作限制。
[0037] 步驟S102、根據(jù)所述位置信息分別確定所述兩個視頻幀的匹配區(qū)域，將位于所述 匹配區(qū)域的圖像作為待匹配圖像。
[0038] 在該步驟中，利用上一步驟S101中得到的所述位置信息（如GPS信息）分別在兩 個視頻幀中尋找匹配區(qū)域以作為待匹配圖像。例如，可以根據(jù)所述位置信息在兩個視頻幀 中查找存在相互重疊的區(qū)域，這類區(qū)域在兩個視頻幀中同時存在，因此，可以作為待匹配的 圖像。其中，所述位置信息能夠指示出存在重疊的大概區(qū)域，從而縮小了特征提取與匹配的 范圍，能夠大幅提高特征提取與匹配的效率和精度，降低了后續(xù)操作的計算量，有助于實時 計算的實現(xiàn)和速度的提升。
[0039] 上述根據(jù)位置信息在兩個視頻幀圖像中確定匹配區(qū)域的前提是兩幅圖像的分辨 率相同或者非常近似。如果兩幅圖像的分辨率存在較大差別，那么僅僅考慮位置信息可能 不夠全面。對于實際大小相同的區(qū)域，其顯示出來的尺寸還取決于分辨率的大小。也就是 說，僅僅根據(jù)上述位置信息確定的匹配區(qū)域由于圖像分辨率的不同反映到圖像上會存在較 大區(qū)別。為了克服這種現(xiàn)象，上述在根據(jù)位置信息確定匹配區(qū)域時還可以進一步考慮圖像 的分辨率信息，結(jié)合圖像分辨率信息以及所述位置信息得到的匹配區(qū)域更加準確。
[0040] 步驟S103、對所述待匹配圖像進行特征提取。
[0041] 在所述相鄰兩個視頻幀中確定了待匹配圖像后，即可在這兩個待匹配圖像中提取 特征以用于后續(xù)的特征匹配。
[0042] 特征提取可以采用SIFT、SURF等多種方法。但是對于這些算法的不能很好地滿足 實時的要求。為了進一步提高計算速度，本發(fā)明采用多尺度AGAST檢測子和FREAK二進制 描述子執(zhí)行所述特征提取。其中，多尺度AGAST檢測子的檢測速度約為SIFT的1 %，約為 SURF檢測子的16 %，檢測速度上得到了很大的提升。
[0043] 另外，構(gòu)建FREAK二進制描述子來提取FREAK特征。FREAK特征基于人眼視網(wǎng)膜 神經(jīng)分布，如圖2所示，采用FREAK算子的采樣結(jié)構(gòu)示意圖。FREAK特征采樣模式類似視網(wǎng) 膜神經(jīng)細胞接受區(qū)域的分布，每個圓圈代表一個可接受區(qū)域。通過如圖2所示的幾十個可 接受區(qū)域，得到上千對區(qū)域?qū)涂梢詷?gòu)建一個高維描述子。為了進一步降低計算量，可以通 過BRISK描述子中引進的空間距離策略去除一些沒用的區(qū)域?qū)?。但是，通過這種方法得到 的區(qū)域?qū)赡芨呦嚓P(guān)缺少區(qū)分度。這里采用0RB方法去除冗余區(qū)域?qū)Γㄟ^訓(xùn)練數(shù)據(jù)獲取 最好的區(qū)域?qū)?。具體方法如下所示：
[0044] a.將提取的關(guān)鍵點用來建立矩陣。每行對應(yīng)一個關(guān)鍵點，描述子是通過在圖2中 的視網(wǎng)膜的采樣模式中選取所有可能的采樣對。
[0045] b.計算每列的均值。變化程度較大的特征有認為是有區(qū)分度的特征，變化最大的 二進制分布均值為0.5。
[0046] c.根據(jù)變化量對列進行排序。
[0047] d.保留最好的列（例如均值0. 5)，將選擇的列反復(fù)的加在剩下的低相關(guān)的列上。
[0048] 在得到的最佳接收區(qū)域?qū)Φ幕A(chǔ)上，通過閾值化接收區(qū)域?qū)?yīng)的高斯核得到二進 制描述子F :
[0049]

【權(quán)利要求】
1. 一種視頻圖像拼接方法，其特征在于，包括： 獲取相鄰的兩個視頻幀以及攝像機拍攝所述兩個視頻幀時的位置信息； 根據(jù)所述位置信息分別確定所述兩個視頻幀的匹配區(qū)域，將位于所述匹配區(qū)域的圖像 作為待匹配圖像； 對所述待匹配圖像進行特征提取； 根據(jù)所提取的特征對所述兩個視頻幀的待匹配圖像進行特征匹配； 根據(jù)匹配結(jié)果對所述兩個視頻幀進行拼接與融合。
2. 如權(quán)利要求1所述的方法，其特征在于，根據(jù)所述位置信息分別確定所述兩個視頻 幀的匹配區(qū)域具體包括： 對所述兩個視頻幀，按照所述位置信息以及圖像分辨率確定重疊區(qū)域，將所述重疊區(qū) 域作為所述兩個視頻幀的匹配區(qū)域。
3. 如權(quán)利要求1或2所述的方法，其特征在于，所述位置信息為GPS信息。
4. 如權(quán)利要求1所述的方法，其特征在于，對所述待匹配圖像進行特征提取具體包括： 構(gòu)建多尺度AGAST檢測子，以及構(gòu)建FREAK二進制描述子，根據(jù)所述AGAST檢測子和 FREAK二進制描述子對所述待匹配圖像進行特征提取。
5. 如權(quán)利要求4所述的方法，其特征在于，構(gòu)建FREAK二進制描述子還包括通過ORB算 法去除冗余區(qū)域?qū)Α?br> 6. 如權(quán)利要求4所述的方法，其特征在于，根據(jù)所述AGAST檢測子和FREAK二進制描述 子對所述待匹配圖像進行特征提取具體包括： 先根據(jù)FREAK二進制描述子的粗特征部分進行初步匹配，再根據(jù)FREAK二進制描述子 的精細特征部分進行進一步匹配。
7. -種視頻圖像拼接裝置，其特征在于，包括： 視頻幀及位置信息獲取單元，用于獲取相鄰的兩個視頻幀以及攝像機拍攝所述兩個視 頻幀時的位置信息； 匹配圖像確定單元，用于根據(jù)所述位置信息分別確定所述兩個視頻幀的匹配區(qū)域，將 位于所述匹配區(qū)域的圖像作為待匹配圖像； 特征提取單元，用于對所述待匹配圖像進行特征提??； 特征匹配單元，用于根據(jù)所提取的特征對所述兩個視頻幀的待匹配圖像進行特征匹 配； 圖像拼接單元，用于根據(jù)匹配結(jié)果對所述兩個視頻幀進行拼接與融合。
8. 如權(quán)利要求7所述的裝置，其特征在于，所述匹配圖像確定單元，用于具體用于： 對所述兩個視頻幀，按照所述位置信息以及圖像分辨率確定重疊區(qū)域，將所述重疊區(qū) 域作為所述兩個視頻幀的匹配區(qū)域，將位于所述匹配區(qū)域的圖像作為待匹配圖像。
9. 如權(quán)利要求7或8所述的裝置，其特征在于，所述位置信息為GPS信息。
10. 如權(quán)利要求7所述的裝置，其特征在于，所述特征提取單元具體用于： 構(gòu)建多尺度AGAST檢測子，以及構(gòu)建FREAK二進制描述子，根據(jù)所述AGAST檢測子和 FREAK二進制描述子對所述待匹配圖像進行特征提取。
11. 如權(quán)利要求10所述的裝置，其特征在于，所述特征提取單元還用于：在構(gòu)建FREAK 二進制描述子時還包括通過ORB算法去除冗余區(qū)域?qū)Α?br> 12.如權(quán)利要求10所述的裝置，其特征在于，所述特征提取單元具體用于： 先根據(jù)FREAK二進制描述子的粗特征部分進行初步匹配，再根據(jù)FREAK二進制描述子 的精細特征部分進行進一步匹配。
【文檔編號】G06T7/00GK104282005SQ201410482746
【公開日】2015年1月14日 申請日期:2014年9月19日 優(yōu)先權(quán)日:2014年9月19日
【發(fā)明者】楊鶴猛, 張巍, 燕正亮, 張拯寧, 王兵, 陳鵬, 李銳海, 郭晶云, 閆志揚, 陳艷芳, 周筑博, 張東萍 申請人:天津航天中為數(shù)據(jù)系統(tǒng)科技有限公司, 南方電網(wǎng)科學(xué)研究院有限責(zé)任公司