本發(fā)明涉及一種基于Sandroid衛(wèi)星平臺空間清晰成像的方法及系統(tǒng)，涉及Sandroid衛(wèi)星平臺和相機陣列，屬于圖像處理和天基衛(wèi)星成像領(lǐng)域。

背景技術(shù)：

Sandroid衛(wèi)星是以Android手機集群作為核心處理部件的微小衛(wèi)星。它利用現(xiàn)貨Android手機作為基本部件，通過高速互聯(lián)組成集群結(jié)構(gòu)，運行定制的Android操作系統(tǒng)，實現(xiàn)功能裁減和安全性增強，形成可靠和容錯的分布式計算平臺，向上提供完整的應用開發(fā)工具鏈，支持星務管理和各種航天應用。Sandroid同樣具有體積小、成本低、生產(chǎn)周期短、造價低廉，運算能力和存儲能力非常強大等優(yōu)點。Sandroid衛(wèi)星成像載荷質(zhì)量非常小，大概是傳統(tǒng)成像載荷的幾十分之一乃至幾千分之一，成像效果遠遠低于傳統(tǒng)成像載荷。

衛(wèi)星空間成像特別是空間目標成像，由于其物理局限性與成像條件的限制，得到的圖像質(zhì)量往往又不盡如人意，獲取的圖像信息中有用的部分很少。會存在著高動態(tài)范圍、模糊、低分辨率等影響圖像質(zhì)量的問題，使得成像目標的識別能力低下，難以進行識別。傳統(tǒng)的提高空間成像的方法是提高衛(wèi)星相機硬件如傳感器，鏡頭等，這產(chǎn)生了昂貴的費用(高達數(shù)億美元)，有著很長的生產(chǎn)周期，這使得清晰的空間成像問題成為一個大的挑戰(zhàn)。

為了能實現(xiàn)Sandroid衛(wèi)星空間清晰成像，計算攝影技術(shù)是一個很好的途徑。計算攝影學是一門將計算機視覺、數(shù)字信號處理、圖形學等深度交叉的新興學科，旨在結(jié)合計算、數(shù)字傳感器、光學系統(tǒng)和智能光照等技術(shù)，從成像機理上改進傳統(tǒng)相機，并將硬件設(shè)計與軟件計算能力有機結(jié)合，突破經(jīng)典成像模型和數(shù)字相機的局限性，增強或者擴展傳統(tǒng)數(shù)字相機的數(shù)據(jù)采集能力，全方位地捕捉真實世界的場景信息。利用計算攝影學與Sandroid衛(wèi)星高性能計算平臺實現(xiàn)Sandroid衛(wèi)星空間清晰成像，充分利用Sandroid系統(tǒng)的強大計算能力和算法來使得空間成像更好，最終實現(xiàn)在空間系統(tǒng)下用更小更便宜的相機獲取更好的圖像。在空間成像的高動態(tài)范圍成像、場景中物體運動而產(chǎn)生的成像模糊和超高分辨率等方向來提高空間成像的質(zhì)量。

相機陣列在2004年首次被斯坦福大學提出，基本思想是利用廉價的相機陣列來獲取和高配置相機一樣的圖像拍照效果，采用多個小鏡頭來代替一個大鏡頭的拍攝效果，最終實現(xiàn)用更便宜的相機設(shè)備獲得高質(zhì)量的圖像。相機陣列是通過在空間的一定排布來同時抓取一系列視角略有差別的圖像，從而重新融合得到高質(zhì)量的照片。此后，相機陣列的發(fā)展得到了很大的發(fā)展，比如利用相機陣列得到廣角照片，利用相機陣列提高分辨率得到高動態(tài)范圍的照片等應用。

由于傳統(tǒng)提高空間成像的方法是提高衛(wèi)星相機硬件如傳感器，鏡頭等，這產(chǎn)生了昂貴的費用(高達數(shù)億美元)，有著很長的生產(chǎn)周期，而本發(fā)明通過廉價的手機相機結(jié)合軟件處理實現(xiàn)高質(zhì)量的空間圖像，克服了硬件實現(xiàn)周期長、費用昂貴等現(xiàn)有技術(shù)的不足。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明結(jié)合Sandroid衛(wèi)星平臺和相機陣列，提供一種基于Sandroid衛(wèi)星平臺空間清晰成像的方法及系統(tǒng)，旨在從高動態(tài)范圍成像、去模糊、超高分辨率成像三個方面來實現(xiàn)空間清晰成像，進而克服現(xiàn)有硬件實現(xiàn)周期長、費用昂貴等現(xiàn)有技術(shù)的不足，實現(xiàn)用更小更輕更便宜的衛(wèi)星相機獲得高質(zhì)量的空間圖像。

為此，本發(fā)明的原理：

(一)在Sandroid衛(wèi)星上搭建手機相機陣列，將n²個android手機相機按照n*n的陣列結(jié)構(gòu)安裝到mU立方星的一個面上。在對天成像的過程是在太陽同步軌道400km到600km之間(太陽光可以提供合適的光照條件和合適的太陽能力來給手機衛(wèi)星充電)使用自旋穩(wěn)定方式控制衛(wèi)星姿態(tài)，使得每次使用n²個手機相機同時對天拍照，得到同一時刻目標的圖像序列。對于n²個手機拍攝的圖像采用主從式進行處理，每次會通過Sandroid衛(wèi)星控制中心將一個手機作為主手機，另外n²-1個作為從手機，將從手機的照片傳到主手機上進行圖像的處理。

(二)對得到的圖像序列分別進行高動態(tài)、去模糊分、超高分辨率模塊的處理，最終得到清晰的圖像，具體如下：

(1)高動態(tài)范圍圖像處理過程是首先對相機陣列采集到的n²張低動態(tài)范圍圖像作對齊處理，然后根據(jù)對齊后的圖像以及圖像的曝光值實時估算相機的響應函數(shù)，并且通過響應函數(shù)的逆函數(shù)將圖像信息由圖像域映射到照度域，最后將照度域圖像按照一定的權(quán)重合成為高動態(tài)范圍圖像。高動態(tài)范圍圖像指的是圖像所容納場景的動態(tài)范圍超過了傳統(tǒng)相機單張圖像容納的動態(tài)范圍，圖像本身的位寬還是8bit。動態(tài)范圍的定義是相機所能拍攝的最亮點與最暗點之間的比值，所以是與相機相關(guān)的一個數(shù)值。

(2)將上一步驟得到的高動態(tài)范圍的圖像分別和陣列采集到的n²張圖像組成n²組圖像，作為去模糊的輸入。去模糊具體為輸入兩張圖像，判斷兩張圖像尺寸是否在設(shè)定的閾值尺寸范圍，如果圖像尺寸在閾值尺寸范圍，直接對這兩張圖像實施去運動模糊處理過程；如果圖像尺寸超過預先設(shè)定的閾值尺寸范圍，則分別將兩張圖像調(diào)整到閾值尺寸范圍，然后對調(diào)整尺寸后的兩張圖像實施去運動模糊處理過程。圖像去運動模糊處理主要過程主要包括圖像全局對齊和色彩映射兩個處理步驟。最后輸出處理后的圖像。

(3)將去模糊處理的n²張圖像作為一個低分辨率圖像序列，作為超高分辨率處理過程的輸入，然后對得到的圖像序列進行歸一化矯正，將不同序號相機拍攝的圖像標準化映射到同一個像平面上，然后針對具體視差，進行一個視差補償?shù)某C正，最后應用適合于空間成像情景的參數(shù)的超高分辨率算法，得到一個高分辨率(HR)圖像。

本發(fā)明具體技術(shù)解決方案：一種基于Sandroid衛(wèi)星平臺空間清晰成像的方法，在圖像數(shù)據(jù)的采集上，通過搭建手機相機陣列來獲取低質(zhì)量圖像序列，具體的搭建過程是將n²個android手機相機按照n*n的陣列結(jié)構(gòu)，其中n是大于等于2的正整數(shù)，安裝到mU的立方星的一個面上，其中m是大于等于1的正整數(shù),1U為10cm*10cm*10cm，從而完成了在Sandroid衛(wèi)星上搭建手機相機陣列，在得到低質(zhì)量圖像序列數(shù)據(jù)以后，進行圖像數(shù)據(jù)處理，圖像數(shù)據(jù)處理包括依次進行高動態(tài)范圍處理、去模糊處理和超高分辨率處理，最后得到一個高質(zhì)量的圖像。

所述獲取質(zhì)量圖像序列過程為：在對天成像的過程中，在太陽同步軌道400km到600km之間使用自旋穩(wěn)定方式控制Sandroid衛(wèi)星姿態(tài)，使得每次使用n²個手機相機同時對天拍照，得到同一時刻目標的圖像序列；對于n²個手機拍攝的圖像采用主從式進行處理，每次會通過Sandroid衛(wèi)星控制中心將一個手機作為主手機，另外n²-1個作為從手機，將從手機的照片傳到主手機上進行圖像的處理。

所述依次進行高動態(tài)范圍處理、去模糊處理、超高分辨率處理，從而得到高質(zhì)量的圖像過程為：首先設(shè)置手機相機陣列中每個相機的不同參數(shù)，得到圖像序列以后，進行高動態(tài)范圍處理，得到一張高動態(tài)范圍的圖像；將這張高動態(tài)的圖像分別和原始n²張圖像組成n²組圖像作為去模糊處理的輸入，進行去模糊處理，進而得到n²張圖像；n²張圖像作為超高分辨率處理的輸入，進行圖像超分處理，從而構(gòu)成超高分辨率處理的輸入圖像序列，最終得到一個高質(zhì)量的圖像。

所述在高動態(tài)范圍處理的過程為：首先，利用n²個相機同時拍攝照片，得到某個場景同一時刻的n²張不同曝光值的圖像；由于同一時刻的照片，不存在動態(tài)場景的問題，直接進行高動態(tài)范圍圖像融合，融合過程為，首先利用圖像本身的數(shù)據(jù)恢復n²個相機的平均響應函數(shù)；然后通過響應函數(shù)將圖像轉(zhuǎn)換到照度域作處理，相比于圖像本身數(shù)據(jù)描述的色彩信息，照度域的光照度能夠更好的反映原始場景；最后由帽函數(shù)、圖像對比度以及噪點預測算法共同確定融合過程中的權(quán)重，并且利用權(quán)重值將照度域圖像融合為高動態(tài)范圍圖像。

所述去模糊實現(xiàn)過程如下：輸入兩張圖像，一張高動態(tài)范圍圖像和一張原始圖像，判斷兩張圖像尺寸是否在設(shè)定的閾值尺寸范圍，如果第一張圖像和第二張圖像的最大尺寸都處于預先設(shè)定的閾值尺寸范圍，則無需調(diào)整圖像尺寸，否則將超過閾值尺寸范圍的圖像調(diào)整到閾值尺寸范圍內(nèi)；對調(diào)整尺寸后的兩張圖像的曝光度進行判斷，計算兩張輸入圖像的平均灰度值，比較兩個計算出來的灰度平均值，如果第一張圖像的平均灰度值大于第二張圖像的平均灰度值，則第一張圖像為曝光時間較長的圖像，否則第二張圖像為曝光時間較長的圖像，將兩張圖像進行全局對齊，然后將兩張圖像分割為若干個小的區(qū)域，再將第二張圖像的每個小的區(qū)域的色彩通過色彩映射函數(shù)映射到第一張圖像上，輸出處理后的第一張圖像；對于n²組兩張圖像，分別是原始的n²張低質(zhì)量清晰度圖像和高動態(tài)范圍圖像組合而成n²組圖像，同時進行n²次去模糊處理，從而得到n²張去模糊后的圖像，構(gòu)成超高分辨率處理的輸入圖像序列。

超高分辨率處理在超分辨率(SR)圖像數(shù)據(jù)的過程中，已經(jīng)進行過高動態(tài)和去模糊的處理，不需要再進行去模糊的操作，具體過程為：將去模糊得到的圖像序列作為輸入，然后對得到的圖像序列進行歸一化矯正，將不同序號相機拍攝的圖像標準化映射到同一個像平面上，然后針對具體視差，進行一個視差補償?shù)某C正，最后應用適合于空間成像情景的參數(shù)的超高分辨率算法，最終得到一個具有超高分辨率的高質(zhì)量圖像。

一種基于Sandroid衛(wèi)星平臺空間清晰成像的系統(tǒng)，包括：手機相機陣列、Sandroid衛(wèi)星的控制中心和圖像處理模塊；手機相機陣列由上所述的n²個Android手機搭建而成，可以拍攝圖像序列，是圖像處理模塊的數(shù)據(jù)來源；控制中心是可以用來控制各種相機陣列的操作參數(shù)，使得相機陣列在不同的情景下設(shè)置不同的參數(shù)，同時控制中心也用來控制圖像的處理模塊來發(fā)出圖像的一個處理命令；圖像處理模塊是處理手機相機陣列傳下來的多張圖像數(shù)據(jù)，來根據(jù)控制中心發(fā)出來的命令進行不同的圖像恢復處理，包括高動態(tài)范圍、去模糊、超高分辨率處理，最后得到一個高質(zhì)量的圖像。

本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點在于：

(1)本發(fā)明利用廉價的手機相機，組合手機相機陣列，具有造價低、生產(chǎn)周期短的優(yōu)點。

(2)本發(fā)明充分利用Sandroid衛(wèi)星超強的星上計算能力，結(jié)合手機相機陣列，提出了一種實現(xiàn)清晰空間成像方案，對于空間成像存在的成像質(zhì)量問題提出了一個全新的解決方案，并且具有體積小、造價低、周期短等特點，最終實現(xiàn)用更小更輕更便宜的衛(wèi)星相機獲得高質(zhì)量的空間圖像。

(3)本發(fā)明能夠從高動態(tài)、去模糊、超高分辨率三個方面進行圖像的恢復，對于空間成像的這三個方面的嚴重問題得到了充分全面的考慮，恢復的圖像也將能提供更多的內(nèi)容。

附圖說明

圖1為Sandroid衛(wèi)星搭建手機相機陣列的平臺；

圖2為手機相機建模圖；

圖3為總體系統(tǒng)原理框圖；

圖4為系統(tǒng)總體方案的流程圖；

圖5為高動態(tài)處理流程圖；

圖6為去模糊處理流程圖；

圖7為超高分辨率處理流程圖。

具體實施方式

下面結(jié)合說明書附圖，對本發(fā)明的具體實施方式做詳細描述。

圖1展示的是在mU(2U)的Sandroid衛(wèi)星上安裝n²(這里n＝2，即n²＝4)個Android手機的硬件平臺示意圖，下邊針對兩個主要方面進行詳細介紹。

(1)Sandroid立方體衛(wèi)星基于NanoEye平臺，包括電源模塊、載荷、通信模塊、磁驅(qū)動繞桿式天線、太陽能電池板、姿態(tài)控制系統(tǒng)和努比亞Z7主板。在Sandroid衛(wèi)星上嵌套4個2W功率的Android手機，從而實現(xiàn)了Android手機的高計算能力，這也使得它不同于傳統(tǒng)的立方體衛(wèi)星。在Android手機相機鏡頭安裝的時候，將按照2*2的陣列結(jié)構(gòu)進行安裝。

(2)在實際n²＝4個手機拍攝圖像的時候，需要在同一時刻對同一目標進行拍攝，得到一系列相同的圖像序列，所以針對手機相機安裝特點，使用的操作是：在對天成像的過程是在太陽同步軌道400km到600km之間(太陽光可以提供合適的光照條件和合適的太陽能力來給手機衛(wèi)星充電)使用自旋穩(wěn)定方式控制衛(wèi)星姿態(tài)，使得每次使用n²＝4個手機同時對天拍照，得到同一時刻目標的圖像序列。

圖2展示的是手機相機陣列在采集數(shù)據(jù)以及處理數(shù)據(jù)時的一個模型框架圖，下面具體陳述：

對于4個手機拍攝的圖像采用主從式進行處理，每次會通過Sandroid衛(wèi)星控制中心將一個手機作為主手機，另外3個作為從手機，將從手機的照片傳到主手機上進行圖像的處理。處理模型框架如圖五所示。

圖3展示的是總體成像系統(tǒng)原理框圖，具體描述如下：

總體系統(tǒng)原理框圖展示了空間成像系統(tǒng)由手機相機陣列、Sandroid衛(wèi)星控制中心、圖像處理模塊三部分構(gòu)成。手機相機陣列由上所述的4個Android手機搭建而成，可以拍攝圖像序列，是圖像處理模塊的數(shù)據(jù)來源?？刂浦行氖强梢杂脕砜刂聘鞣N相機陣列的操作參數(shù)，使得相機陣列在不同的情景下設(shè)置不同的參數(shù)，同時控制中心也可以來控制圖像的處理模塊來發(fā)出圖像的一個處理命令。圖像處理模塊是處理手機相機陣列傳下來的多張圖像數(shù)據(jù)，來根據(jù)控制中心發(fā)出來的命令進行不同的圖像恢復處理：比如高動態(tài)范圍、去模糊、超高分辨率等處理。

圖4展示的是系統(tǒng)總體方案的流程圖，下面具體闡述：

根據(jù)設(shè)計的Sandroid平臺上的Android手機相機陣列，整個流程圖是首先利用相機陣列拍攝不同曝光值和參數(shù)的4張圖像，采集同一時刻同一目標的圖像數(shù)據(jù)，得到一個圖像陣列，判斷圖像是否符合要求。然后依次執(zhí)行高動態(tài)、去模糊以及超分辨率的算法進行圖像的恢復，最終得到高質(zhì)量清晰的圖像。處理的過程如下：對輸入的圖像序列，進行高動態(tài)范圍處理，得到一張高動態(tài)范圍的圖像；將這張圖像和原始4張圖像作為4張圖像為去模糊處理的輸入，進行去模糊處理，進而得到4張圖像；4張圖像作為超高分辨率處理的輸入，進行超分辨率處理，最終得到一個高質(zhì)量的圖像。

圖5展示的是高動態(tài)范圍成像程序的流程圖，具體陳述為：

(1)使用4臺相機拍攝同一目標同一時刻的四張照片，4張照片的曝光度依次遞增。由于4張照片為同一時刻拍攝的，所以不存在動態(tài)場景問題，可以直接作為輸入數(shù)據(jù)進行處理。

(2)由(1)拍攝的圖像恢復平均相機相應函數(shù)。恢復過程為一個曲線擬合的過程。具體的，由相機的成像模型以及輸入圖像的像素點和曝光量信息得到最小二乘法目標函數(shù)。對于照片中的每個像素點，目標函數(shù)可以轉(zhuǎn)化為一個超定方程。通過奇異值分解(SVD)獲得超定方程的解，也就是相機響應函數(shù)。

(3)由(2)中得到的響應函數(shù)針對每幅圖像作處理，得到對應的照度域圖像。具體的，直接將輸入圖像的像素值以及對應的曝光量代入相應函數(shù)，即可得到照度域圖像。

(4)利用圖像評價函數(shù)對(1)中的圖像做處理，得到對應的權(quán)重映射圖像。具體的，權(quán)重映射圖像反應了原始圖像每個像素點在構(gòu)成高動態(tài)圖像的過程中的重要程度。圖像評價函數(shù)包含三個部分：

(a)帽函數(shù)：是一個中間大兩端小的函數(shù)，能夠有效的避免相機響應函數(shù)兩端陡峭引起的誤差。

(b)對比度：利用拉普拉斯濾波器獲取圖像中的邊緣以及紋理信息，給這些點較高權(quán)重可以有效保留圖像的細節(jié)。

(c)噪點預測：通過噪點預測算法判斷像素點是否為噪聲點，如果是噪聲點則直接將權(quán)重設(shè)置為零。

(5)由(3)中的照度域圖像與由(4)中的權(quán)重映射圖像相結(jié)合，融合得到高動態(tài)范圍圖像。具體的，以權(quán)重映射圖像中每個像素點的值為權(quán)重，對照度域圖像的每個像素點做加權(quán)求和處理，最終得到高動態(tài)范圍圖像。

圖6是動態(tài)去模糊的流程圖，具體步驟闡述：

(1)將上一步得到的高動態(tài)范圍圖像分別和原始4張圖像組成4組圖像，進行4次去模糊處理，每一組的兩張圖像作為去模糊的輸入。

(2)判斷兩張圖像尺寸是否在設(shè)定的閾值尺寸范圍，如果第一張圖像和第二張圖像的最大尺寸都處于預先設(shè)定的閾值尺寸范圍，則無需調(diào)整圖像尺寸，否則需要將超過閾值尺寸范圍的圖像調(diào)整到閾值尺寸范圍內(nèi)。

(3)對調(diào)整尺寸后的圖像的曝光度進行判斷，計算兩張輸入圖像的平均灰度值，比較兩個計算出來的灰度平均值，如果第一張圖像的平均灰度值大于第二張圖像的平均灰度值，則第一張圖像為曝光時間較長的圖像，否則第二張圖像為曝光時間較長的圖像。

(4)將兩張不同曝光度的圖像進行全局對齊，設(shè)置搜索區(qū)域，搜索偏移和搜索步長，對兩張圖像進行搜索，計算兩張圖像的灰度絕對誤差，將絕對誤差最小的位置設(shè)置為當前搜索的最優(yōu)對齊方式，并將該位置標記為下次搜索的起始點，從當前最優(yōu)對齊位置加上搜索偏移，繼續(xù)搜索，直到兩張圖像搜索完成。

(5)然后將兩張圖像分割為若干個小的區(qū)域，依據(jù)如下映射方程設(shè)計色彩映射表：

$g\left(C_t\right)={\mathrm{\μ}}_s+\frac{{\mathrm{\σ}}_s}{{\mathrm{\σ}}_t}(C_t-{\mathrm{\μ}}_t)$

其中，g(C_t)為進行色彩映射后的第一張圖像的像素色彩，C_t為第二張圖像對應區(qū)域的像素色彩，μ_s和μ_t分別代表第一張圖像和第二張圖像的平均灰度值，σ_s和σ_t分別代表第一張圖像和第二張圖像的色彩標準差。

(6)將第一張圖像和第二張圖像分別從它們的原始色彩空間轉(zhuǎn)換到1αβ色彩空間，計算兩張圖像各個顏色通道的均值和方差，設(shè)計一個基于顏色通道均值和方差的映射表，根據(jù)映射表將第二張圖像的色彩映射到第一張圖像上，將第一張圖像從1αβ色彩空間轉(zhuǎn)換到其原始色彩空間。

(7)輸出處理后的第一張圖像。

圖7是超高分辨率處理圖像數(shù)據(jù)的一個流程圖，具體步驟闡述：

(1)通過去模糊處理得到的n²張圖像，作為一個低分辨率(LR)的圖像序列，作為超分辨率處理的輸入。

(2)對圖像進行標準化的處理，把不同的低分辨率(LR)圖像進行一個矯正，歸一化到同一個像平面上。

(3)通過超高分辨率SR算法進行圖像的融合，在超分算法的迭代融合過程中，設(shè)置合適的參數(shù)，得到一個比其他單個圖像分辨率都高的高分辨率(HR)圖像。SR技術(shù)依據(jù)的表達式為：

y_i＝D_iB_iM_ix+r_i,i的范圍為：1≤i≤p

其中的i表示圖像序號，p表示總的圖像張數(shù)，M_i表示一個運動導致的歪曲矩陣，B_i表示模糊矩陣，D_i表示下采樣矩陣，r_i表示噪聲向量。通過不同矩陣的作用于高分辨率(HR)圖像x，可以得到一系列的超低分辨率圖像y_i。

總之，本發(fā)明充分利用Sandroid衛(wèi)星超強的星上計算能力，以及相機陣列的思想，從高動態(tài)范圍、去模糊、超高分辨率三個方面來實現(xiàn)空間清晰成像，該方法是一個系統(tǒng)的設(shè)計，解決空間清晰成像問題，對于空間成像存在的成像質(zhì)量問題提出了一個全新的解決方案，并且具有體積小、造價低、周期短等特點，最終實現(xiàn)用更小更輕更便宜的衛(wèi)星相機獲得高質(zhì)量的空間圖像。

本發(fā)明未詳細闡述部分屬于本領(lǐng)域技術(shù)人員的公知技術(shù)。

以上所述，僅為本發(fā)明中的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應涵蓋在本發(fā)明的包含范圍之內(nèi)，因此，本發(fā)明的保護范圍應該以權(quán)利要求書的保護范圍為準。