像平面不同極軸方向圖像序列進(jìn)行超分辨率重建的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像配準(zhǔn)和超分辨率重建領(lǐng)域，特別是像平面不同極軸方向的圖像序 列進(jìn)行超分辨率重建的方法。
【背景技術(shù)】
[0002] 在隨著通信技術(shù)、高清電視等的發(fā)展，人們對圖像的分辨率要求越來越高。而在航 拍等遠(yuǎn)距離成像過程中，由于成像系統(tǒng)傳感器尺寸、光照等各方面的限制，得到的圖像分辨 率較低，圖像質(zhì)量較差，不能滿足人們的需要。
[0003] 增加圖像分辨率最直接的方法就是提高采集設(shè)備傳感器密度，但這會顯著的增加 成本。在計算機視覺技術(shù)日益普及的今天，采集設(shè)備傳感器的極點是固定的，因而可以采用 旋轉(zhuǎn)采集設(shè)備等方法，拍攝一組圖像序列，使得該圖像序列的極軸間互有夾角，利用軟件方 法進(jìn)行超分辨率重建，提高圖像分辨率，為圖像的后續(xù)使用提供便利。

【發(fā)明內(nèi)容】

[0004] 發(fā)明目的：本發(fā)明所要解決的技術(shù)問題是針對航拍等遠(yuǎn)距離成像不能滿足高分辨 率要求，提供像平面不同極軸方向圖像序列進(jìn)行超分辨率重建的方法，從而使得圖像分辨 率得到提高。
[0005] 為了解決上述技術(shù)問題，本發(fā)明公開了像平面不同極軸方向圖像序列進(jìn)行超分辨 率重建的方法，包括以下步驟：
[0006] 步驟一，拍攝一組焦距相同極軸方向不同的低分辨率圖像序列，從中任意選擇一 副圖像作為參考圖像，對圖像序列進(jìn)行預(yù)處理；
[0007] 步驟二，利用尺度不變特征變換算法計算參考圖像與其余圖像的匹配點對；
[0008] 步驟三，使用隨機抽樣一致性算法消除錯誤匹配點對，并計算參考圖像與其余未 選定圖像之間的映射關(guān)系；
[0009] 步驟四，使用最大后驗概率方法進(jìn)行超分辨率重建。
[0010] 本發(fā)明中，優(yōu)選地，所述步驟一中的圖像可以通過采集設(shè)備在與像平面平行的平 面內(nèi)繞著光軸旋轉(zhuǎn)獲得，從圖像序列中任取一幅作為參考圖像：
[0011] 步驟（11)，對圖像序列進(jìn)行降噪等預(yù)處理。
[0012] 本發(fā)明中，優(yōu)選地，所述步驟二包括以下步驟：
[0013] 步驟（21)，圖像金字塔是一系列以金字塔形狀排列的分辨率逐漸降低的圖像集 合。計算圖像金字塔中相鄰尺度圖像的差分，得到高斯差分尺度空間。每一幅高斯差分圖 像的一個像素點，將其與它所在圖像以及它所在圖像上下層鄰近的像素點比較，判斷其是 否為候選特征點。
[0014] 步驟（22)，通過擬合三維二次函數(shù)以精確確定特征點的位置和尺度，同時去除低 對比度的特征點和不穩(wěn)定的邊緣響應(yīng)點；
[0015] 步驟（23)，為每個特征點計算一個方向，利用特征點鄰域像素的梯度方向分布特 性為每個特征點指定方向參數(shù)，使算子具備旋轉(zhuǎn)不變性；
[0016] 步驟（24)，將坐標(biāo)軸旋轉(zhuǎn)為特征點方向，對特征點周圍圖像區(qū)域分塊，計算塊內(nèi)梯 度直方圖，生成具有獨特性的向量；
[0017] 步驟（25)，計算參考圖像和其余圖像序列中各特征點的特征向量間的歐式距離， 根據(jù)歐式距離判定兩幅圖像中的特征點是否匹配。
[0018] 本發(fā)明中，優(yōu)選地，所述步驟三包括以下步驟：
[0019] 步驟（31)，隨機抽取部分匹配點對，估計參數(shù)模型，使用隨機抽樣一致性算法，消 除錯誤的匹配點對；
[0020] 步驟（32)，利用最小二乘法計算參考圖像與其余圖像之間的映射關(guān)系；
[0021] 本發(fā)明中，優(yōu)選地，所述步驟四包括以下步驟：
[0022] 步驟（41)，確定觀測模型，假定像平面不同極軸方向圖像序列的像素是由對應(yīng)的 一組高分辨率圖像像素加權(quán)得到的；
[0023] 步驟（42)，以參考圖像的插值結(jié)果作為初值，結(jié)合梯度法求解MP算子目標(biāo)函數(shù)， 進(jìn)行迭代計算獲得高分辨圖像。
[0024] 本發(fā)明的原理是根據(jù)采集的像平面不同極軸方向的圖像序列，首先任意選擇一副 圖像作為參考圖像，對圖像序列進(jìn)行預(yù)處理。其次，檢測尺度空間極值點、確定特征點的位 置和尺度、為每個特征點分配方向、用一個特征向量描述特征點。然后根據(jù)參考圖像和其余 圖像之間特征點的特征向量之間的歐式距離判斷是否匹配。使用隨機抽樣一致性算法，除 去誤匹配的點，并計算參考圖像與其余圖像的映射關(guān)系。最后，使用最大后驗概率方法進(jìn)行 超分辨率重建。
[0025] 有益效果：本發(fā)明通過軟件方法進(jìn)行圖像處理，在對像平面不同極軸方向圖像序 列進(jìn)行采集后，即可快速準(zhǔn)確重建出分辨率較高的目標(biāo)圖像。本發(fā)明在航拍等遠(yuǎn)距離成像 中有廣泛的應(yīng)用前景。
【附圖說明】
[0026] 下面結(jié)合附圖和【具體實施方式】對本發(fā)明做更進(jìn)一步的具體說明，本發(fā)明的上述和 /或其他方面的優(yōu)點將會變得更加清楚。
[0027] 圖1是本發(fā)明產(chǎn)生的DOG空間示意圖。
[0028] 圖2是本發(fā)明尺度空間下極值點所需要比較的點的示意圖。
[0029] 圖3是本發(fā)明鄰域梯度方向圖。
[0030] 圖4是本發(fā)明特征點特征向量示意圖。
[0031] 圖5是本發(fā)明方法簡化流程圖。
【具體實施方式】：
[0032] 本發(fā)明，核心思路是利用尺度不變特征變換計算參考圖像和其余圖像的匹配點 對，使用隨機抽樣一致性算法消除錯誤匹配點對，并計算參考圖像與其余未選定圖像之間 的映射關(guān)系，最后使用最大后驗概率方法進(jìn)行超分辨率重建。
[0033] 如圖5所示，本發(fā)明公開了像平面不同極軸方向圖像序列進(jìn)行超分辨率重建的方 法，包括以下步驟：
[0034] 步驟一，通過改變采集設(shè)備在與像平面平行的平面內(nèi)旋轉(zhuǎn)獲得極軸方向不同的圖 像序列，并從中任意選擇一副圖像作為參考圖像。在進(jìn)行分辨率重建之前，對所有圖像進(jìn)行 去噪等預(yù)處理。
[0035] 步驟二，利用尺度不變特征變換算法計算參考圖像與其余圖像的匹配點對：尺度 空間極值檢測，進(jìn)行特征點定位，為每個特征點分配方向、用一個特征向量描述特征點，根 據(jù)參考圖像和其余圖像之間特征點的特征向量之間的歐式距離判斷是否匹配；
[0036] 所述步驟二包括以下步驟：步驟21，一副二維圖像的尺度空間定義為：
[0037] L(x，y，〇 ) = G(x，y，〇 )*1 (X，y)， (I)
[0038] 其中，
【主權(quán)項】
1.像平面不同極軸方向圖像序列進(jìn)行超分辨率重建的方法，其特征在于，包括以下步 驟： 步驟一，拍攝像平面相同但極軸方向不同的圖像序列，從中選出一幅作為參考圖像，對 圖像序列進(jìn)彳丁預(yù)處理； 步驟二，利用尺度不變特征變換算法計算參考圖像與其余圖像的匹配點對； 步驟三，使用隨機抽樣一致性算法消除錯誤匹配點對，并利用最小二乘法計算參考圖 像與其余未選定圖像之間的映射關(guān)系； 步驟四，使用最大后驗概率方法進(jìn)行超分辨率重建； 所述步驟一包括以下步驟： 步驟（11)，拍攝像平面相同但極軸方向不同的圖像序列，任選一副圖像作為參考圖 像； 步驟（12)，對圖像序列進(jìn)行降噪等圖像預(yù)處理； 所述步驟二包括以下步驟： 步驟（21)，尺度空間極值檢測：搜索所有尺度上的圖像位置。通過高斯微分函數(shù)檢測 潛在的尺度、旋轉(zhuǎn)不變的特征點； 步驟（22)，特征點定位：在每個候選的位置上，通過一個擬合精細(xì)的模型來確定位置 和尺度，依據(jù)穩(wěn)定程度選擇特征點； 步驟（23)，方向確定：基于圖像局部的梯度方向，為每個特征點分配方向； 步驟（24)，特征點描述：對特征點周圍圖像區(qū)域分塊，計算塊內(nèi)梯度直方圖，生成具有 獨特性的向量； 步驟（25)特征點匹配：計算參考圖像和其余圖像序列中個特征點的特征向量間的歐 式距離，根據(jù)歐式距離判定兩幅圖像之間的特征點是否匹配； 所述步驟三包括以下步驟： 步驟（31)，隨機抽取部分匹配點對，估計參數(shù)模型，使用隨機抽樣一致性算法，消除錯 誤的匹配點對； 步驟（32)，利用最小二乘法計算參考圖像與其余圖像之間的映射關(guān)系； 所述步驟四包括以下步驟： 步驟（41)，確定觀測模型，假定像平面不同極軸方向圖像序列的像素是由一組對應(yīng)的 高分辨率圖像像素加權(quán)得到的； 步驟（42)，以參考圖像的插值結(jié)果作為初值，結(jié)合梯度法求解MP算子目標(biāo)函數(shù)，確定 最優(yōu)步長，進(jìn)行迭代計算，獲得高分辨圖像。
【專利摘要】本發(fā)明公開了像平面不同極軸方向圖像序列進(jìn)行超分辨率重建的方法，包括以下步驟：步驟一，拍攝一組焦距相同極軸方向不同的低分辨率圖像序列，從中選定一副圖像作為參考圖像，并對圖像序列進(jìn)行預(yù)處理；步驟二，利用尺度不變特征變換(Scale Invariant Feature Transform，SIFT)算法獲得參考圖像與其余圖像之間的匹配點對；步驟三，使用隨機抽樣一致性算法消除錯誤匹配點，并利用最小二乘法計算參考圖像與其余未選定圖像之間的映射關(guān)系；步驟四，使用最大后驗概率方法(Maximum a Posteriori，MAP)進(jìn)行超分辨率重建。本發(fā)明利用亞像素精度圖像配準(zhǔn)法，對低分辨率的像平面不同極軸方向圖像序列進(jìn)行重建，能夠提高目標(biāo)圖像的分辨率，具有一定的創(chuàng)新性。
【IPC分類】G06T3-40
【公開號】CN104700359
【申請?zhí)枴緾N201510129940
【發(fā)明人】袁杰, 儲哲琦, 陳勁松, 沈慶宏, 都思丹
【申請人】南京大學(xué)
【公開日】2015年6月10日
【申請日】2015年3月20日