基于視頻序列影像的地理場(chǎng)景全景圖快速生成方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及地理信息可視化、數(shù)字圖像處理、計(jì)算機(jī)視覺(jué)等領(lǐng)域，尤其涉及一種基 于視頻序列影像快速生成地理場(chǎng)景全景圖的方法。
【背景技術(shù)】
[0002] 視頻序列由于具有時(shí)空屬性、信息量大、分辨率高、表達(dá)直觀等特點(diǎn)，已經(jīng)快速成 為普適化的、社會(huì)化的地理信息來(lái)源和建模分析與表達(dá)手段。全景圖像讓人們快速獲取周 圍的位置信息，因此將環(huán)繞拍攝的360°視頻序列拼接成視野范圍更大的全景圖像，不僅能 全方位地表達(dá)地理場(chǎng)景的完整性，使人們更直觀的了解視頻序列的整體內(nèi)容，同時(shí)能減少 視頻序列的時(shí)空冗余度。
[0003] -些商業(yè)公司已開(kāi)發(fā)了相關(guān)產(chǎn)品，如Google公司開(kāi)發(fā)的Google Street View，通 過(guò)使用特殊的裝置，和已標(biāo)定好的專(zhuān)業(yè)相機(jī)來(lái)拍攝街道的多視角視頻，并將其拼接成全景 圖像；Grey Point公司開(kāi)發(fā)的Ladybug多視角視頻拍攝裝置，同樣采用位置固定且已標(biāo)定 好的專(zhuān)業(yè)相機(jī)，公司配套提供的SDK能將拍攝好的視頻序列拼接生成全景圖像。但是這些 商業(yè)公司所開(kāi)發(fā)的專(zhuān)業(yè)視頻全景裝置的價(jià)格太高，且不利于普通用戶(hù)將環(huán)繞拍攝的360° 視頻序列拼接成全景圖像。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明提出了一種基于視頻序列影像的地理場(chǎng)景全景圖快速生成方法，該方法采 用多線程并行方式對(duì)視頻序列進(jìn)行格網(wǎng)分塊，建立分塊下關(guān)鍵點(diǎn)的局部搜索策略來(lái)控制匹 配搜索區(qū)域，在匹配過(guò)程中，通過(guò)減少關(guān)鍵點(diǎn)的數(shù)目來(lái)提高匹配搜索效率，從而實(shí)現(xiàn)視頻序 列的快速配準(zhǔn)與全景圖像的無(wú)縫拼接，減少了視頻序列拼接的時(shí)間，提高了拼接效率，尤其 對(duì)高分辨率視頻序列拼接成全景圖像有很好的效果，能適應(yīng)于普通用戶(hù)拍攝的視頻序列拼 接成全景圖像。
[0005] 為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：
[0006] 基于視頻序列影像的地理場(chǎng)景全景圖快速生成方法，包括如下步驟：
[0007] 1)對(duì)視頻幀圖像進(jìn)行格網(wǎng)劃分成不同的子圖像，并建立連續(xù)視頻幀之間各子圖像 塊的一一對(duì)應(yīng)關(guān)系；
[0008] 2)采用分塊多線程并行策略對(duì)各子圖像進(jìn)行關(guān)鍵點(diǎn)檢測(cè)，并對(duì)檢測(cè)的關(guān)鍵點(diǎn)進(jìn)行 過(guò)濾，保留少量關(guān)鍵點(diǎn)作為待匹配點(diǎn)；在各關(guān)聯(lián)子圖像間建立匹配搜索，提取各子圖像間的 匹配點(diǎn)對(duì)；
[0009] 3)將各子圖像間的匹配點(diǎn)對(duì)進(jìn)行合并，利用合并后的匹配點(diǎn)集來(lái)計(jì)算各視頻幀的 幾何拼接參數(shù)；
[0010] 4)利用各視頻幀的幾何拼接參數(shù)，將視頻序列的各幀圖像進(jìn)行拼接，得到一幅全 景圖像；
[0011] 5)為避免攝像機(jī)在拍攝過(guò)程中產(chǎn)生的抖動(dòng)，構(gòu)建全局旋轉(zhuǎn)矩陣來(lái)修正彎曲的全景 圖，使最后輸出的全景圖更符合客觀世界的表達(dá)。
[0012] 所述步驟2)的具體過(guò)程如下：
[0013] (2-1)采用分塊多線程并行方式對(duì)各子圖像進(jìn)行關(guān)鍵點(diǎn)檢測(cè)；
[0014] (2-2)對(duì)所有關(guān)鍵點(diǎn)計(jì)算其局部信息熵值，并進(jìn)行熵值過(guò)濾，保留熵值較大的前η 個(gè)關(guān)鍵點(diǎn)用于特征匹配；
[0015] (2-3)在各關(guān)聯(lián)子圖像間提取有效匹配點(diǎn)對(duì)，為確保子塊匹配的準(zhǔn)確性，采用對(duì)稱(chēng) 匹配方法進(jìn)行子圖像間匹配；
[0016] (2-4)由于噪聲和移動(dòng)目標(biāo)存在，匹配集合中會(huì)存在誤匹配點(diǎn)，最后采用 RANSAC (Random Sample Consensus，隨機(jī)抽樣一致性）方法剔除誤匹配點(diǎn)；
[0017] (2-5)在各關(guān)聯(lián)子圖像間，對(duì)剔除過(guò)濾后的關(guān)鍵點(diǎn)建立子圖像對(duì)的匹配對(duì)應(yīng)關(guān)系， 提取有效匹配點(diǎn)對(duì)。
[0018] 所述步驟3)的具體過(guò)程如下：
[0019] (3-1)將提取的各子圖像間的匹配點(diǎn)對(duì)進(jìn)行合并，作為兩個(gè)圖像之間的匹配對(duì)；
[0020] (3-2)根據(jù)匹配對(duì)，計(jì)算圖像間單應(yīng)矩陣變換，估計(jì)攝像機(jī)參數(shù)及圖像的旋轉(zhuǎn)變換 與平移。
[0021] 所述步驟4)的具體過(guò)程如下：
[0022] (4-1)利用步驟3)所求得的圖像間的幾何拼接參數(shù)，對(duì)所有視頻幀圖像進(jìn)行圖像 配準(zhǔn)；
[0023] (4-2)將配準(zhǔn)后的圖像投影至圓柱面上，通過(guò)圖像融合來(lái)消除圖像間的色調(diào)差異， 最后輸出修正后的全景圖像。
[0024] 相比于現(xiàn)有技術(shù)，本發(fā)明所述的方法具有如下特點(diǎn)：
[0025] 1、對(duì)視頻幀圖像進(jìn)行分塊，并建立子圖像間的一一對(duì)應(yīng)關(guān)系，嚴(yán)格控制對(duì)應(yīng)圖像 間的匹配搜索區(qū)域，并采用圖像分塊多線程并行策略來(lái)加快匹配搜索速度；
[0026] 2、通過(guò)構(gòu)建全局旋轉(zhuǎn)矩陣，修正波浪狀全景圖像，該方法適合普通用戶(hù)拍攝的視 頻拼接成全景圖像。
[0027] 因此，本發(fā)明能適應(yīng)于使用普通手持?jǐn)z像機(jī)對(duì)地理場(chǎng)景進(jìn)行旋轉(zhuǎn)拍攝視頻序列拼 接成全景圖像，拼接速度快，對(duì)拍攝過(guò)程中出現(xiàn)的抖動(dòng)進(jìn)行了處理，避免拼接后的全景圖產(chǎn) 生變形，是一種適應(yīng)于任意地理場(chǎng)景的通用全景拼接方法。
【附圖說(shuō)明】
[0028] 圖1是本發(fā)明方法的流程圖；
[0029] 圖2是本發(fā)明實(shí)施例的圖像分塊與多線程并行匹配策略；
[0030] 圖3是本發(fā)明實(shí)施例的波浪狀全景圖像；
[0031] 圖4是本發(fā)明實(shí)施例的柱面投影；
[0032] 圖5是本發(fā)明實(shí)施例的修正后的全景圖像。
【具體實(shí)施方式】
[0033] 下面結(jié)合附圖和實(shí)施例作進(jìn)一步詳細(xì)說(shuō)明。
[0034] 如
[0035] 圖1所示，基于視頻序列影像的地理場(chǎng)景全景圖快速生成方法，該方法包括以下 四個(gè)部分：
[0036] 步驟1對(duì)輸入的視頻序列的圖像進(jìn)行格網(wǎng)分塊，建立子圖像間的對(duì)應(yīng)關(guān)系后，采 用多線程并行優(yōu)化策略對(duì)子圖像進(jìn)行特征提取與匹配；
[0037] 步驟2合并子圖像匹配集合；
[0038] 步驟3根據(jù)匹配特征點(diǎn)對(duì)計(jì)算圖像拼接幾何參數(shù)；
[0039] 步驟4視頻序列圖像融合；
[0040] 本實(shí)施例的具體實(shí)施步驟如下：
[0041] 步驟1對(duì)輸入的視頻序列的圖像進(jìn)行格網(wǎng)分塊，建立子圖像間的對(duì)應(yīng)關(guān)系后進(jìn)行 子圖像的特征提取與匹配；
[0042] (1-1)逐幀讀取視頻序列中連續(xù)兩幀圖像A和B，對(duì)A和B進(jìn)行MXN的格網(wǎng)分塊。
[0043] (1-2)采用多線程并行策略（如圖2所示）對(duì)各子圖像采用ORB算法進(jìn)行關(guān)鍵點(diǎn) 檢測(cè)；
[0044] (1-3)對(duì)所有關(guān)鍵點(diǎn)計(jì)算其局部信息熵值降序排列，選擇η個(gè)熵值較大的關(guān)鍵點(diǎn) 用于圖像特征匹配。計(jì)算方法如下：
[0045] (1)為每一個(gè)關(guān)鍵點(diǎn)設(shè)置興趣區(qū)域，通常設(shè)置為以關(guān)鍵點(diǎn)為中心的3 X 3或5 X 5鄰 域，為考慮計(jì)算速度，將鄰域范圍設(shè)置為3 X 3。
[0046] (2)計(jì)算3X3鄰域內(nèi)關(guān)鍵點(diǎn)的局部熵。設(shè)圖像塊的灰度函數(shù)為f(x，y)，且 f(x，y)彡0,則有：
[0047]
[0048]
[0049] 其中：Plj是像素在圖像塊i，j位置的概率。
[0050] (4)重復(fù)2~3直到每個(gè)關(guān)鍵點(diǎn)的局部熵計(jì)算完為止。
[0051] (1-4)采用對(duì)稱(chēng)匹配方法對(duì)子圖像進(jìn)行特征匹配。
[0052] (1-5)由于噪聲和移動(dòng)目標(biāo)存在，匹配集合中會(huì)存在誤匹配點(diǎn)，根據(jù)極線原理，兩 個(gè)對(duì)應(yīng)的關(guān)鍵點(diǎn)分布在各自的極線上，表