一種機載超分辨率圖像重建裝置及重建方法
【專利摘要】本發(fā)明涉及航空圖像獲取【技術領域】，公開了一種機載超分辨率圖像重建裝置及重建方法，該機載超分辨率圖像重建裝置包括：傳感器輸入模塊、圖像處理及輸出模塊；其中，所述傳感器輸入模塊包括：成像鏡頭組、光線分束器及轉動控制結構、第一圖像傳感器件、第二圖像傳感器件、模數轉換器以及同步信號發(fā)生器；所述圖像處理及輸出模塊包括：嵌入式圖像處理與控制核心電路、存儲單元、視頻及超分辨率照片的無線傳輸電路、無線鏈路以及地面站信號接收及顯示設備。本發(fā)明的解決了傳統(tǒng)基于多幀圖像的超分辨率方法計算量大，成像質量差的問題，為航空領域獲取高清超分辨率圖像提供了一種可行的辦法。
【專利說明】一種機載超分辨率圖像重建裝置及重建方法

【技術領域】
[0001]本發(fā)明涉及航空圖像獲取【技術領域】，特別涉及一種機載超分辨率圖像重建裝置及 重建方法。

【背景技術】
[0002] 由于現有一些設備成像能力的限制、復雜的航空環(huán)境等的影響，獲得的圖像或序 列往往存在一定的降質或退化，如變形、模糊、含噪等。常用的改善圖像質量的技術主要有： 圖像降噪、圖像復原、圖像增強、圖像插值等圖像處理技術，這些方法只能在一定程度上改 善圖像視覺效果，無法真正提高圖像的分辨率。
[0003] 目前，提高圖像分辨率的直接方法有提高光學系統(tǒng)性能、提高CCD傳感器密度、提 高芯片尺寸等硬件性能，其共有的缺點是價格昂貴、體積和重量增加，在機載光電設備上應 用尤其受限，因此研究機載超分辨率成像技術顯得尤為重要。超分辨率圖像重建的主要方 法有：一種是基于圖像插值的方式，該方式一般是將低分辨率圖像序列投影到高分辨率圖 像網格，根據領域加權的方式重建網格上的高分辨率像素點信息；一種是基于多幀圖像重 建的方式，該方式首先根據參考圖像估計其它圖像的亞像素位移量，估計圖像模糊因子，并 建立超分辨率重建模型，根據先驗約束通過迭代的方式求得最終高分辨率圖像；一種是基 于學習的超分辨率重建方式，該方式通過學習樣本建立索引庫，通過尋找相似索引塊的方 式重建高分辨率圖像。
[0004] 現有技術存在以下問題：
[0005] 基于圖像插值的方式只部分改善了圖像視覺效果，容易產生"邊緣模糊"和"棱效 應";基于多幀圖像重建的方式，其重建效果嚴重依賴于運動估計精度，而現有的算法很難 達到亞像素級估計精度，尤其是復雜航空環(huán)境下；基于學習的超分辨率重建方式，其硬件性 能要求高，運算效率低，重建效果與學習樣本息息相關?？傊?，上述方法目前還無法滿足機 載光電設備的需求。


【發(fā)明內容】

[0006] 為了解決復雜航空環(huán)境下的超分辨率圖像重建難題，本發(fā)明在研究現有算法基礎 上，提供了一種機載超分辨率圖像重建裝置及重建方法。
[0007] 本發(fā)明的技術方案具體如下：
[0008] 一種機載超分辨率圖像重建裝置，包括：傳感器輸入模塊、圖像處理及輸出模塊； 其中，
[0009] 所述傳感器輸入模塊包括：成像鏡頭組、光線分束器及轉動控制結構、第一圖像傳 感器件、第二圖像傳感器件、模數轉換器以及同步信號發(fā)生器；
[0010] 所述圖像處理及輸出模塊包括：嵌入式圖像處理與控制核心電路、輸入存儲單元、 輸出存儲單元、視頻及超分辨率照片的無線傳輸電路、無線鏈路以及地面站信號接收及顯 示設備； toon]機載航拍環(huán)境下，目標場景經過成像鏡頭組后，可通過光線分束器及轉動控制結 構將同一場景分成雙路成像，在同步信號發(fā)生器的控制下，第一圖像傳感器件和第二圖像 傳感器件可得到同視場不同空間分辨率的圖像，兩路圖像傳感器經過模數轉換器將模擬圖 像信號轉換為數字圖像信號并輸出；嵌入式圖像處理與控制核心電路可將接收到的兩路信 號分別緩存到輸入存儲單元中，以對多幅輸入的圖像進行相位重建，并利用重建得到的多 相組線性組合重建得到超分辨率的數字圖像，將結果存入輸出存儲單元中；原始圖像序列 和超分辨率的數字圖像在嵌入式圖像處理與控制核心電路的控制下，可通過視頻及超分辨 率照片的無線傳輸電路和無線鏈路將圖像數據輸出給地面站信號接收及顯示設備，用于數 據分析顯示和進一步處理。
[0012] 在上述技術方案中，所述光線分束器及轉動控制結構包括：
[0013] 光線分束器、轉動控制連接件和機械卡口；其中，轉動控制連接件可自由收起或放 下光線分束器：當放下光線分束器時，機械卡口用于固定光線分束器，使其傾角成45度角， 達到均勻分光的效果；當收起光線分束器時，光線分束器與第一圖像傳感器件平行，使其傾 角成90度角，光線全部照射到第二圖像傳感器件上，以提高成像信噪比。
[0014] 在上述技術方案中，所述第一圖像傳感器件和第二圖像傳感器件具有相同靶面尺 寸、不同空間分辨率，且第一圖像傳感器件的分辨率低于第二圖像傳感器件的分辨率；假設 第一圖像傳感器件的像元尺寸為cXc，第二圖像傳感器件的像元尺寸為dXd，重建倍數為 I，則其像元尺寸滿足。
[0015] 在上述技術方案中，在機載振動環(huán)境下，第一圖像傳感器件和第二圖像傳感器件 可同時得到參考圖像。
[0016] 在上述技術方案中，所述嵌入式圖像處理與控制核心電路包括：控制單元、分塊單 元、圖像預處理單元、圖像相位分解單元、超分辨率重建單元以及圖像后處理單元；其中，
[0017] 所述控制單元用于控制光線分束器收起和放下；
[0018] 所述圖像預處理單元對輸入圖像先做中值濾波處理，再完成圖像的快速運動估 計，估計精度為像素級；
[0019] 所述分塊單元可將完成初級處理的圖像根據運動估計量，按匹配區(qū)域分塊，并建 立索引；
[0020] 所述圖像相位分解單元可對全部子塊做相位分解，并按索引存入相應存儲單元；
[0021] 所述超分辨率重建單元對索引塊建立超分辨率重建方程組，并求解方程組的最小 二乘解；根據最小二乘解和索引塊重建超分辨率圖像的多相組，由相位合成得到超分辨率 的初始估計圖像，再根據圖像盲卷積原理去除圖像模糊獲得超分辨率的最終圖像；
[0022] 所述圖像后處理單元對得到的超分辨率的最終圖像去噪和去模糊，并輸出；
[0023] 圖像傳感器可在控制單元的協(xié)調下，輸出低分辨率圖像序列；經圖像預處理單元 完成初級處理再輸出給分塊單元；由分塊單元建立圖像索引塊輸出給圖像相位分解單元； 由圖像分解單元按索引塊完成圖像塊的相位分解；由超分辨率重建單元對圖像塊分解相位 合成得到超分辨率的初始估計圖像；最終經圖像后處理單元處理輸出。
[0024] 在上述技術方案中，超分辨率重建過程中第二圖像傳感器件采集的圖像序列在嵌 入式圖像處理與控制核心電路的控制下，可通過視頻及超分辨率照片的無線傳輸電路和無 線鏈路將圖像數據輸出給地面站，用于數據分析顯示和進一步處理；超分辨率重建獲得高 分辨率圖像處理完畢后也通過上述方法傳送給地面站，用于數據分析顯示和進一步處理。
[0025] 一種機載超分辨率圖像重建方法，該方法包括以下步驟：
[0026] (1)采用特定的圖像傳感器像元分布，在機載隨機振動環(huán)境下，先利用光線分束器 獲得同視場不同空間分辨率的參考圖像ApBi，后收起光線分束器，通過第二圖像傳感器件 獲取同視場的連續(xù)圖像序列B2，…，Bn ;
[0027] (2)利用多相分解原理，將第一圖像傳感器件獲取的參考圖像\和第二圖像傳感 器件獲取的圖像序列&，…，B n分解并構建三層相位映射重建模型；
[0028] (3)按塊重建高分辨率圖像的多相組，并利用多相組的線性組合得到初始估計的 高分辨率圖像；
[0029] (4)對初始估計的高分辨率圖像根據盲卷積原理去除圖像模糊獲得超分辨率的最 終圖像；
[0030] (5)將重建的超分辨率圖像和第二圖像傳感器件的圖像序列通過無線輸出裝置傳 輸給地面接收站。
[0031] 本發(fā)明具有如下優(yōu)點：
[0032] (1)只需在采集參考圖像時放下光線分束器，其它情形下，收起光線分束器，這樣 能最大限度的保證第二圖像傳感器件的圖像質量。
[0033] (2)采用簡單的相位分解算法，不需要亞像素精度的運動估計和復雜的迭代反投 影過程，在航空復雜環(huán)境下，能有效利用多幀圖像間的隨機振動帶來的隨機位移，高效完成 超分辨率圖像重建。
[0034]本發(fā)明具有廣泛地市場應用前景，如工控、安監(jiān)、醫(yī)療與消費等，尤其適用于遙感 偵察、精密制導、戰(zhàn)場環(huán)境監(jiān)測等航空軍事應用中。

【專利附圖】

【附圖說明】
[0035] 下面結合附圖和【具體實施方式】對本發(fā)明作進一步詳細說明。
[0036] 圖1為整體結構示意圖；
[0037]圖2為光線分束器控制及圖像采集處理示意圖；
[0038] 圖3為重建算法框架示意圖；
[0039]其中，圖像}w的各相位圖可由圖像序列的相位線性組合得到，由此建立 線性方程組，由最小二乘估計算法求的線性方程組的各系數；根據第二圖像傳感器件獲得 的圖像序列和以上求得的相位重建系數線性組合上采樣得到高分辨率的相位重建圖像；將 相位重建結果做引導濾波并求其空間梯度，最后通過空間梯度構建控制核，由控制核回歸 技術去除圖像模糊和噪聲得到最終的超分辨率圖像。這是圖像作為整體實現超分辨率重建 的流程，在實際操作過程中，為了提高重建精度，通過所述分塊單元建立圖像索引庫，利用 參考圖像的圖像塊和對應的索引塊序列按上述方法實現超分辨率重建。
[0040]圖4為第一圖像傳感器件的靶面尺寸、像元尺寸及像元分布示意圖；
[0041] 其中，第一圖像傳感器件的靶面尺寸為L1XL2 ;像元感光區(qū)尺寸為clXcl ;相鄰 像元的中心距離為c2Xc2。
[0042]圖5為第二圖像傳感器件的像元尺寸、靶面尺寸及像元分布示意圖；
[0043]其中，第二圖像傳感器件的靶面尺寸為L1XL2,與第一圖像傳感器件的靶面尺寸 相同；像元感光區(qū)尺寸為dlXdl ;相鄰像元的中心距離為d2Xd2。假設重建倍數為〗，則

【權利要求】
1· 一種機載超分辨率圖像重建裝置，其特征在于，包括：傳感器輸入模塊（a)、圖像處 理及輸出模塊（b);其中， 所述傳感器輸入模塊（a)包括：成像鏡頭組（1)、光線分束器及轉動控制結構（2)、第一 圖像傳感器件（3)、第二圖像傳感器件（5)、模數轉換器（6)以及同步信號發(fā)生器 （4); 所述圖像處理及輸出模塊（b)包括：嵌入式圖像處理與控制核心電路（7)、輸入存儲單 元⑶、輸出存儲單元⑶、視頻及超分辨率照片的無線傳輸電路（10)、無線鏈路（11)以及 地面站信號接收及顯示設備（12); 機載航拍環(huán)境下，目標場景經過成像鏡頭組（1)后，可通過光線分束器及轉動控制結 構（2)將同一場景分成雙路成像，在同步信號發(fā)生器（4)的控制下，第一圖像傳感器件（3) 和第二圖像傳感器件（5)可得到同視場不同空間分辨率的圖像，兩路圖像傳感器經過模數 轉換器（6)將模擬圖像信號轉換為數字圖像信號并輸出；嵌入式圖像處理與控制核心電路 (7)可將接收到的兩路信號分別緩存到輸入存儲單元（8)中，以對多幅輸入的圖像進行相 位重建，并利用重建得到的多相組線性組合重建得到超分辨率的數字圖像，將結果存入輸 出存儲單元（9)中；原始圖像序列和超分辨率的數字圖像在嵌入式圖像處理與控制核心電 路（7)的控制下，可通過視頻及超分辨率照片的無線傳輸電路 （10)和無線鏈路（n)將圖 像數據輸出給地面站信號接收及顯示設備（12)，用于數據分析顯示和進一步處理。
2.根據權利要求1所述的機載超分辨率圖像重建裝置，其特征在于，所述光線分束器 及轉動控制結構（2)包括： 光線分束器（2b)、轉動控制連接件（2C)和機械卡口（2a);其中，轉動控制連接件 （2c) 可自由收起或放下光線分束器（2b):當放下光線分束器時，機械卡口（2a)用于固定光線分 束器（2b)，使其傾角成45度角，達到均勻分光的效果；當收起光線分束器時，光線分束器與 第一圖像傳感器件（ 3)平行，使其傾角成9〇度角，光線全部照射到第二圖像傳感器件（5) 上，以提尚成像^[旨噪比。
3·根據權利要求1所述的機載超分辨率圖像重建裝置，其特征在于，所述第一圖像傳 感器件（3)和第二圖像傳感器件（5)具有相同靶面尺寸、不同空間分辨率，且第一圖像傳感 器件⑶的分辨率低于第二圖像傳感器件（5)的分辨率；假設第一圖像傳感器件⑶的像 元尺寸為cXc，第二圖像傳感器件（5)的像元尺寸為dXd，重建倍數為I，則其像元尺寸滿 足雀一 。
4.根據權利要求1所述的機載超分辨率圖像重建裝置，其特征在于，在機載振動環(huán)境 下，第一圖像傳感器件（3)和第二圖像傳感器件（5)可同時得到參考圖像。
5·根據權利要求1所述的機載超分辨率圖像重建裝置，其特征在于，所述嵌入式圖像 處理與控制核心電路（7)包括：控制單元（7a)、分塊單元（7b)、圖像預處理單元（7c)、圖像 相位分解單元（7d)、超分辨率重建單元 （7e)以及圖像后處理單元（7f);其中， 所述控制單元（7a)用于控制光線分束器收起和放下； 所述圖像預處理單元（7c)對輸入圖像先做中值濾波處理，再完成圖像的快速運動估 計，估計精度為像素級； 所述分塊單元C7b)可將完成初級處理的圖像根據運動估計量，按匹配區(qū)域分塊，并建 立索引； 所述圖像相位分解單元（7d)可對全部子塊做相位分解，并按索引存入相應存儲單元； 所述超分辨率重建單元（7e)對索引塊建立超分辨率重建方程組，并求解方程組的最 小二乘解；根據最小二乘解和索引塊重建超分辨率圖像的多相組，由相位合成得到超分辨 率的初始估計圖像，再根據圖像盲卷積原理去除圖像模糊獲得超分辨率的最終圖像； 所述圖像后處理單元（7f)對得到的超分辨率的最終圖像去噪和去模糊，并輸出； 圖像傳感器可在控制單元（7a)的協(xié)調下，輸出低分辨率圖像序列；經圖像預處理單元 (7c)完成初級處理再輸出給分塊單元（7b);由分塊單元（7b)建立圖像索引塊輸出給圖像 相位分解單元（7d);由圖像分解單元（7d)按索引塊完成圖像塊的相位分解；由超分辨率重 建單元（7e)對圖像塊分解相位合成得到超分辨率的初始估計圖像；最終經圖像后處理單 元（7f)處理輸出。
6. 根據權利要求5所述的機載超分辨率圖像重建裝置，其特征在于，超分辨率重建過 程中第二圖像傳感器件（5)采集的圖像序列在嵌入式圖像處理與控制核心電路（7)的控制 下，可通過視頻及超分辨率照片的無線傳輸電路（10)和無線鏈路（11)將圖像數據輸出給 地面站，用于數據分析顯示和進一步處理；超分辨率重建獲得高分辨率圖像處理完畢后也 通過上述方法傳送給地面站，用于數據分析顯示和進一步處理。
7. -種機載超分辨率圖像重建方法，其特征在于，該方法包括以下步驟： (1) 采用特定的圖像傳感器像元分布，在機載隨機振動環(huán)境下，先利用光線分束器獲得 同視場不同空間分辨率的參考圖像Ap Bi，后收起光線分束器，通過第二圖像傳感器件獲取 同視場的連續(xù)圖像序列Β2，···，Bn ; (2) 利用多相分解原理，將第一圖像傳感器件獲取的參考圖像\和第二圖像傳感器件 獲取的圖像序列&，…，Bn分解并構建三層相位映射重建模型； (3) 按塊重建高分辨率圖像的多相組，并利用多相組的線性組合得到初始估計的高分 辨率圖像； (4) 對初始估計的高分辨率圖像根據盲卷積原理去除圖像模糊獲得超分辨率的最終圖 像； (5) 將重建的超分辨率圖像和第二圖像傳感器件的圖像序列通過無線輸出裝置傳輸給 地面接收站。
【文檔編號】G06T5/50GK104217412SQ201410446682
【公開日】2014年12月17日 申請日期:2014年9月3日 優(yōu)先權日:2014年9月3日
【發(fā)明者】劉晶紅, 何林陽, 李剛 申請人:中國科學院長春光學精密機械與物理研究所