基于SoPC的遙感全色圖像切片輻射校正和幾何糾正實(shí)現(xiàn)方法
【專利摘要】本發(fā)明提供一種基于SoPC的遙感全色圖像切片輻射校正和幾何糾正實(shí)現(xiàn)方法，具體步驟如下：步驟一、原始遙感CCD圖像數(shù)據(jù)經(jīng)過切片提取后，切片圖像數(shù)據(jù)通過FMC接口傳輸給邏輯部分中的緩存FIFO；輔助數(shù)據(jù)由串口傳輸至ARM然后緩存至DDR；輻射校正系數(shù)以文件的形式存儲(chǔ)于SD卡；步驟二、緩存于FIFO中數(shù)據(jù)輸出，利用輻射校正系數(shù)完成對(duì)其輻射校正，輻射校正后的結(jié)果存入BRAM，最后存入片外存儲(chǔ)器DDR中；步驟三、雙核ARM對(duì)輻射校正后的切片圖像的提取區(qū)域的四個(gè)頂點(diǎn)進(jìn)行定位解算，然后經(jīng)過投影、重采樣完成無控幾何糾正；步驟四、返回校正結(jié)果。該方法能夠在SoPC上實(shí)現(xiàn)CCD原始數(shù)據(jù)輻射校正和幾何糾正，具有很好實(shí)時(shí)性和穩(wěn)定性。
【專利說明】
基于SoPC的遙感全色圖像切片輻射校正和幾何糾正實(shí)現(xiàn)方法
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于光學(xué)遙感圖像預(yù)處理技術(shù)領(lǐng)域，具體涉及一種基于SoPC的遙感全色圖像切片輻射校正和幾何糾正實(shí)現(xiàn)方法。
【背景技術(shù)】
[0002]遙感數(shù)據(jù)的預(yù)處理主要目的是糾正原始圖像中的幾何與輻射變形，即通過對(duì)圖像獲取過程中產(chǎn)生的變形、扭曲、輻射噪聲等的校正，從而得到一個(gè)盡可能在幾何和輻射上反映景物真實(shí)信息的影像。
[0003]張春紅等在文章《星載海量遙感數(shù)據(jù)在軌智能預(yù)處理與傳輸控制技術(shù)研究》中提出采用了 DSP+FPGA的架構(gòu)實(shí)現(xiàn)輻射校正和幾何糾正，但是其設(shè)計(jì)復(fù)雜度較高、開發(fā)難度大。SoPC系統(tǒng)具有集成度高、靈活性大、功耗低、開發(fā)周期短的優(yōu)勢(shì)，包括軟件設(shè)計(jì)和硬件設(shè)計(jì)兩部分。2013年Xilinx公司推出的新一代Zynq-7000系列可編程邏輯器件將ARM處理器和28nm可編程邏輯資源集成在同一片芯片里，以可擴(kuò)展處理器平臺(tái)的形式為系統(tǒng)開發(fā)人員提供了新的設(shè)計(jì)思路和設(shè)計(jì)理念。系統(tǒng)層面的軟硬件協(xié)同設(shè)計(jì)的方式使遙感圖像切片的預(yù)處理硬件實(shí)現(xiàn)具有可裁剪、可擴(kuò)充、可配置、易升級(jí)的特點(diǎn)。
[0004]由于數(shù)據(jù)量大、計(jì)算復(fù)雜度高等原因，目前遙感數(shù)據(jù)的預(yù)處理主要是在CPU/GPU上完成，在應(yīng)急、救災(zāi)等要求實(shí)時(shí)性和便攜性高的應(yīng)用需求上存在局限性，而Zynq-7000平臺(tái)適合數(shù)據(jù)量大、可流水的處理任務(wù)，同時(shí)在計(jì)算性能上也有較好的表現(xiàn)。

【發(fā)明內(nèi)容】

[0005]本發(fā)明為了實(shí)現(xiàn)遙感全色圖像切片輻射校正和幾何糾正系統(tǒng)小型化、低功耗、便攜式設(shè)計(jì)，提出了一種基于SoPC的遙感全色圖像切片輻射校正和幾何糾正實(shí)現(xiàn)方法，該方法能夠在FPGA+雙核ARM(SoPC)上實(shí)現(xiàn)CCD原始數(shù)據(jù)輻射校正和幾何糾正，具有很好實(shí)時(shí)性和穩(wěn)定性。
[0006]實(shí)現(xiàn)本發(fā)明的技術(shù)方案如下:
[0007]—種基于SoPC的遙感全色圖像切片輻射校正和幾何糾正實(shí)現(xiàn)方法，具體步驟如下:
[0008]步驟一、遙感數(shù)據(jù)接收與輻射校正系數(shù)讀取
[0009]原始遙感CCD圖像數(shù)據(jù)經(jīng)過切片提取后，切片圖像數(shù)據(jù)通過FMC接口傳輸給邏輯部分(PL)中的緩存FIFO;輔助數(shù)據(jù)由串口傳輸至ARM然后緩存至DDR;輻射校正系數(shù)以文件的形式存儲(chǔ)于SD卡，系統(tǒng)啟動(dòng)后ARM將存儲(chǔ)于SD卡中的輻射校正系數(shù)讀出通過DMA傳輸至校正系數(shù)緩存模塊中；
[0010]步驟二、輻射校正
[0011]緩存于FIFO中數(shù)據(jù)輸出，利用輻射校正系數(shù)完成對(duì)其輻射校正，輻射校正后的結(jié)果存入BRAM，最后存入片外存儲(chǔ)器DDR中；
[0012]步驟三、幾何校正
[0013]雙核ARM對(duì)輻射校正后的切片圖像的提取區(qū)域的四個(gè)頂點(diǎn)進(jìn)行定位解算，然后經(jīng)過投影、重采樣完成無控幾何糾正；
[0014]步驟四、返回校正結(jié)果
[0015]經(jīng)輻射校正和幾何糾正后的切片圖像數(shù)據(jù)以文件的形式存入DDR，然后經(jīng)千兆以太網(wǎng)接口上傳至PC機(jī)。
[0016]進(jìn)一步地，本發(fā)明所述步驟二的具體過程為:
[0017]，201，緩存FIFO每個(gè)周期輸出一個(gè)切片圖像數(shù)據(jù)，輸出數(shù)據(jù)經(jīng)過一個(gè)定點(diǎn)轉(zhuǎn)浮點(diǎn)IP核轉(zhuǎn)換為浮點(diǎn)數(shù)；
[0018]202，所述浮點(diǎn)數(shù)與中的輻射校正系數(shù)進(jìn)行相應(yīng)計(jì)算，從而得到輻射校正的輸出結(jié)果；
[0019]203，輻射校正的輸出結(jié)果經(jīng)過一個(gè)浮點(diǎn)轉(zhuǎn)定點(diǎn)IP核轉(zhuǎn)換為8位定點(diǎn)數(shù)并由DP_BRAM_D 緩存。
[0020]204，重復(fù)步驟201-203，直到切片圖像中的每一個(gè)像素點(diǎn)處理完畢，隨后由ARMDMA將其搬運(yùn)至DDR中存儲(chǔ)。
[0021]205，重復(fù)步驟201-204，直到每一個(gè)切片圖像數(shù)據(jù)校正完畢。
[0022]進(jìn)一步地，本發(fā)明所述步驟三的具體過程為:
[0023]301，由ARM雙核對(duì)輻射校正后的切片圖像的9個(gè)角點(diǎn)利用嚴(yán)密幾何成像模型進(jìn)行定位解算；
[0024]302，由ARM雙核對(duì)輻射校正后的切片圖像的9個(gè)角點(diǎn)進(jìn)行高斯投影；
[0025]303，通過9個(gè)角點(diǎn)位置及其高斯投影，采用最小二乘法由ARM CPUO計(jì)算多項(xiàng)式系數(shù)a和b，幾何校正后圖像與原始圖像對(duì)應(yīng)關(guān)系如下式所示:
[0026]X = ao+aiX+a2Y+a3X2+a4XY+a5Y2[0027 ] y = bo+biX+b2Y+b3X2+b4XY+b5Y2
[0028]其中，a= ao?as和b = bo?bs表示多項(xiàng)式系數(shù)，(x，y)表示幾何校正后圖像像點(diǎn)坐標(biāo)，(X，Y)表示原始圖像像點(diǎn)坐標(biāo)；
[0029]304,QdPQ1寄存器載入[I X Y]，QjPQ5分別載入系數(shù)a和b，Q沖的X和Y與Qo的元素分別相乘結(jié)果存入92和93，將Q2第一二個(gè)元素賦給Q1，第三個(gè)元素賦值為I; Q1中的元素與Q4中的元素相乘的結(jié)果存儲(chǔ)于Qo中，Q3中的元素與Q5中的元素相乘的結(jié)果存儲(chǔ)于Q2中，將Qo與Q2中對(duì)應(yīng)元素相加；
[0030]305，采用雙線性插值法對(duì)304得到的結(jié)果進(jìn)行亮度重采樣，最終輸出幾何校正后的結(jié)果。
[0031]有益效果
[0032]第一，本發(fā)明基于SoPC系統(tǒng)完成遙感圖像切片輻射校正及無控幾何糾正，以較低的設(shè)計(jì)難度完成了單芯片遙感圖像切片的預(yù)處理，縮小了遙感圖像預(yù)處理系統(tǒng)體積，具有較好的實(shí)時(shí)性和便攜性。
[0033]第二，本發(fā)明基于ARM雙核處理器設(shè)計(jì)，由于遙感圖像切片尺寸小，則通過對(duì)定位九個(gè)角點(diǎn)后采用多項(xiàng)式擬合的方法直接對(duì)圖像糾正。根據(jù)該算法可并行特點(diǎn)合理分配計(jì)算任務(wù)，由雙核ARM并行執(zhí)行切片圖像九個(gè)角點(diǎn)的定位解算，相比于單核處理方式實(shí)時(shí)性得到有效提尚。
[0034]第三，本發(fā)明進(jìn)行間接法糾正時(shí)充分利用NEON計(jì)算速度快、可并行化的特點(diǎn)，采用NEON協(xié)處理器對(duì)一般多項(xiàng)式糾正變換加速，實(shí)時(shí)性得到有效提高。
【附圖說明】
[0035]圖1為SoPC遙感圖像切片輻射校正及幾何糾正系統(tǒng)架構(gòu)圖；
[0036]圖2為雙核ARM實(shí)現(xiàn)遙感圖像切片輻射校正及幾何糾正流程圖；
[0037]圖3為NEON協(xié)處理器二階一般多項(xiàng)式計(jì)算流程。
【具體實(shí)施方式】
[0038]下面結(jié)合附圖對(duì)本發(fā)明方法的實(shí)施方式做詳細(xì)說明。
[0039]一種基于SoPC的遙感全色圖像切片輻射校正和幾何糾正實(shí)現(xiàn)方法，其具體實(shí)施過程如下:
[0040]步驟一、遙感數(shù)據(jù)接收與輻射校正系數(shù)讀取
[0041]原始遙感CCD圖像數(shù)據(jù)經(jīng)過切片提取后，切片圖像數(shù)據(jù)通過FMC接口傳輸給邏輯部分(PL)中的緩存FIFO;輔助數(shù)據(jù)由串口傳輸至ARM然后緩存至DDR;輻射校正系數(shù)以文件的形式存儲(chǔ)于SD卡中，系統(tǒng)啟動(dòng)后ARM將存儲(chǔ)于SD卡中的輻射校正系數(shù)讀出通過DMA傳輸至校正系數(shù)緩存模塊中；
[0042]具體過程為:
[0043](I)輻射校正采用系數(shù)法，校正公式為:
[0044]y =Ax+B
[0045]其中，7表示校正結(jié)果，X表示輸入探元響應(yīng)值，A、B為輻射校正系數(shù)。
[0046](2)系統(tǒng)啟動(dòng)之后，ARM讀取存儲(chǔ)在SD卡中的輻射校正系數(shù)并存入DDR中，輻射校正系數(shù)為A和B均為12288*32位浮點(diǎn)數(shù)。
[0047](3)ARM通過串口接收尺寸大小為8192*8192*8位的切片圖像所在CCD探元的位置信息，然后ARM將相應(yīng)探元的8192*8192*32位輻射校正系數(shù)A和B通過DMA傳輸至校正系數(shù)緩存模塊，最后系統(tǒng)進(jìn)入接收數(shù)據(jù)狀態(tài)。
[0048](4)系統(tǒng)通過FMC接口接收切片數(shù)據(jù)并存入緩存模塊FIF0_8K中，F(xiàn)IF0_8K的深度為4096，設(shè)置輸入為32位寬輸出設(shè)置為8位。
[0049]步驟二、輻射校正
[0050]緩存于FIFO中數(shù)據(jù)輸出，利用輻射校正系數(shù)完成對(duì)其輻射校正，輻射校正后的結(jié)果存入BRAM，最后存入片外存儲(chǔ)器DDR中；具體過程為:
[0051 ] (I)模塊FIF0_8K每個(gè)周期輸出一個(gè)數(shù)據(jù)，輸出數(shù)據(jù)經(jīng)過一個(gè)定點(diǎn)轉(zhuǎn)浮點(diǎn)IP核轉(zhuǎn)換為浮點(diǎn)數(shù)。
[0052](2)該浮點(diǎn)數(shù)與DP_BRAM_A中的校正系數(shù)A相乘后的結(jié)果與DP_BRAM_B中的校正系數(shù)B相加，從而得到輻射校正的輸出結(jié)果。
[0053](3)輻射校正輸出結(jié)果經(jīng)過一個(gè)浮點(diǎn)轉(zhuǎn)定點(diǎn)IP核轉(zhuǎn)換為8位定點(diǎn)數(shù)并由DP_BRAM_D緩存。
[0054](4)重復(fù)該步驟中的1)2)3)，直到一行8192個(gè)像素點(diǎn)處理完畢，隨后由ARM DMA將其搬運(yùn)至DDR中存儲(chǔ)。
[0055](5)重復(fù)該步驟中的1)2)3)4)，直到8192行數(shù)據(jù)校正完畢。
[0056]步驟三、幾何糾正
[0057]雙核ARM對(duì)切片圖像的提取區(qū)域的四個(gè)頂點(diǎn)進(jìn)行定位解算，然后經(jīng)過投影、重采樣完成無控幾何糾正；
[0058]其中，步驟一已將該8192*8192尺寸的切片所對(duì)應(yīng)的輔助數(shù)據(jù)由串口(波特率設(shè)置為115200)傳輸至ARM，然后緩存至DDR。
[0059](I)由ARM雙核對(duì)切片圖像的9個(gè)角點(diǎn)利用嚴(yán)密幾何成像模型進(jìn)行定位解算，ARMCPUO解算點(diǎn)0、3、6、1，ARM CPUl解算點(diǎn)2、5、8、4、7。
[0060](2)由ARM雙核對(duì)切片圖像的9個(gè)角點(diǎn)進(jìn)行高斯投影。ARM CPUO計(jì)算點(diǎn)O、3、6、I，ARMCPUl計(jì)算點(diǎn)2、5、8、4、7。
[0061](3)采用基于二階一般多項(xiàng)式的遙感圖像糾正，幾何校正后圖像與原始圖像對(duì)應(yīng)關(guān)系由該二階一般多項(xiàng)式表述。通過9個(gè)角點(diǎn)及其高斯投影采用最小二乘法由ARM CPUO計(jì)算多項(xiàng)式系數(shù)a和b。一般多項(xiàng)式糾正變換公式為:
[0062 ] X = ao+aiX+a2Y+a3X2+a4XY+a5Y2[0063 ] y = bo+biX+b2Y+b3X2+b4XY+b5Y2
[0064](4)采用間接法糾正方案，參照?qǐng)D2，由ARM CPUO對(duì)左邊進(jìn)行間接糾正，由ARM CPUl對(duì)右邊進(jìn)行間接糾正；
[0065](5) 二階一般多項(xiàng)式變換計(jì)算(X，y)由NEON完成，參照?qǐng)D3。圖中QDF分別表示128(4*32)位、64位、32位浮點(diǎn)向量寄存器，QoQ1寄存器載入[I X Y]，0405載入系數(shù)a或b分別對(duì)應(yīng)圖中相應(yīng)位置，Qi中的X和Y與Qo的元素分別相乘結(jié)果存入Q2Q3，將Q2第一二個(gè)元素賦給Qi，第三個(gè)元素賦值為I ,Q1Q3分別與Q4Q5相乘得到多項(xiàng)式所有元素，將所有元素相加得到最終結(jié)果。
[0066](6)采用雙線性插值法進(jìn)行亮度重采樣。重復(fù)步驟三中的5-7得到幾何校正后的輸出結(jié)果。
[0067]步驟四、返回校正結(jié)果
[0068]經(jīng)輻射校正和幾何糾正后的切片圖像數(shù)據(jù)以dat文件的形式存入DDR，經(jīng)千兆以太網(wǎng)接口上傳至PC機(jī)。
【主權(quán)項(xiàng)】
1.一種基于SoPC的遙感全色圖像切片輻射校正和幾何糾正實(shí)現(xiàn)方法，其特征在于，具體步驟如下: 步驟一、遙感數(shù)據(jù)接收與輻射校正系數(shù)讀取 原始遙感CCD圖像數(shù)據(jù)經(jīng)過切片提取后，切片圖像數(shù)據(jù)通過FMC接口傳輸給邏輯部分中的緩存FIFO;輔助數(shù)據(jù)由串口傳輸至ARM然后緩存至DDR;輻射校正系數(shù)以文件的形式存儲(chǔ)于SD卡，系統(tǒng)啟動(dòng)后ARM將存儲(chǔ)于SD卡中的輻射校正系數(shù)讀出通過DMA傳輸至校正系數(shù)緩存模塊； 步驟二、輻射校正 緩存于FIFO中數(shù)據(jù)輸出，利用輻射校正系數(shù)完成對(duì)其輻射校正，輻射校正后的結(jié)果存入BRAM，最后存入片外存儲(chǔ)器DDR中； 步驟三、幾何校正 雙核ARM對(duì)輻射校正后的切片圖像的提取區(qū)域的四個(gè)頂點(diǎn)進(jìn)行定位解算，然后經(jīng)過投影、重采樣完成無控幾何糾正； 步驟四、返回校正結(jié)果 經(jīng)輻射校正和幾何糾正后的切片圖像數(shù)據(jù)以文件的形式存入DDR，然后經(jīng)千兆以太網(wǎng)接口上傳至PC機(jī)。2.根據(jù)權(quán)利要求1所述基于SoPC的遙感全色圖像切片輻射校正和幾何糾正實(shí)現(xiàn)方法，其特征在于，所述步驟二的具體過程為: .201，緩存FIFO每個(gè)周期輸出一個(gè)切片圖像數(shù)據(jù)，輸出數(shù)據(jù)經(jīng)過一個(gè)定點(diǎn)轉(zhuǎn)浮點(diǎn)IP核轉(zhuǎn)換為浮點(diǎn)數(shù)；. 202，所述浮點(diǎn)數(shù)與中的輻射校正系數(shù)進(jìn)行校正計(jì)算，從而得到輻射校正的輸出結(jié)果； . 203，輻射校正的輸出結(jié)果經(jīng)過一個(gè)浮點(diǎn)轉(zhuǎn)定點(diǎn)IP核轉(zhuǎn)換為8位定點(diǎn)數(shù)并由DP_BRAM_D緩存； . 204，重復(fù)步驟201-203，直到切片圖像中的每一個(gè)像素點(diǎn)處理完畢，隨后由ARM DMA將其搬運(yùn)至DDR中存儲(chǔ)； . 205，重復(fù)步驟201-204，直到每一個(gè)切片圖像數(shù)據(jù)校正完畢。3.根據(jù)權(quán)利要求1所述基于SoPC的遙感全色圖像切片輻射校正和幾何糾正實(shí)現(xiàn)方法，其特征在于，所述步驟三的具體過程為: .301，由ARM雙核對(duì)輻射校正后的切片圖像的9個(gè)角點(diǎn)利用嚴(yán)密幾何成像模型進(jìn)行定位解算； . 302，由ARM雙核對(duì)輻射校正后的切片圖像的9個(gè)角點(diǎn)進(jìn)行高斯投影； . 303，通過9個(gè)角點(diǎn)位置及其高斯投影，采用最小二乘法由ARM CPUO計(jì)算多項(xiàng)式系數(shù)a和b，幾何校正后圖像與原始圖像對(duì)應(yīng)關(guān)系如下式所示:X = ao+aiX+a2Y+a3X2+a4XY+a5Y2y = bo+biX+b2Y+b3X2+b4XY+b5Y2 其中，a = ao?as和b = bo?bs表示多項(xiàng)式系數(shù)，(x，y)表示幾何校正后圖像像點(diǎn)坐標(biāo)，(X，Y)表示原始圖像像點(diǎn)坐標(biāo)； .304，00和&寄存器載入[I X Y]，QdPQ5寄存器分別載入多項(xiàng)式系數(shù)a和b，Q沖的X和Y與Q0的元素分別相乘結(jié)果存入寄存器92和93，將Q2第一二個(gè)元素賦給Q1，第三個(gè)元素賦值為I;Qi中的元素與Q4中的元素相乘的結(jié)果存儲(chǔ)于Qo中，Q3中的元素與Q5中的元素相乘的結(jié)果存儲(chǔ)于Q2中，將Qo與Q2中對(duì)應(yīng)元素相加；.305，采用雙線性插值法對(duì)304得到的結(jié)果進(jìn)行亮度重采樣，最終輸出幾何校正后的結(jié)果O
【文檔編號(hào)】G06T5/00GK106023099SQ201610313400
【公開日】2016年10月12日
【申請(qǐng)日】2016年5月12日
【發(fā)明人】陳禾, 劉文超, 陳亮, 閆宇松, 齊保貴, 王鵬林
【申請(qǐng)人】北京理工大學(xué)