一種氣動光學效應(yīng)校正識別一體化實時處理的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于航天技術(shù)與圖像處理相結(jié)合的交叉科學技術(shù)領(lǐng)域，具體涉及一種氣動光學效應(yīng)校正識別一體化實時處理系統(tǒng)和方法。
【背景技術(shù)】
[0002]二十世界末以來，高超聲速飛行器逐漸成為航空航天領(lǐng)域的重要發(fā)展方向。無論是在高科技產(chǎn)業(yè)，還是在經(jīng)濟領(lǐng)域都具有極高的戰(zhàn)略意義，主要體現(xiàn)在洲際飛行器以及空天飛機等飛行器的大力發(fā)展。但是由于飛行器的高速性帶來的嚴酷的成像環(huán)境使得成像傳感器成像品質(zhì)劣化，信噪比、信雜比大幅降低，探測距離大幅下降；此外飛行器的高速運動導致處理器在完成探測處理時間間隔更短，對有限的處理能力提出了更加嚴峻的挑戰(zhàn)。所以超高聲速飛行器的發(fā)展還面臨著這樣一系列的氣動光學效應(yīng)問題以及對應(yīng)的校正算法計算相當復雜的難題。
[0003]氣動光學效應(yīng)主要包括氣動光學傳輸效應(yīng)和氣動熱輻射效應(yīng)。氣動光學傳輸效應(yīng)通常是指帶有光學成像探測系統(tǒng)的高速飛行器在大氣層內(nèi)飛行時，光學頭罩與來流之間形成復雜的流場，對光學成像探測系統(tǒng)造成除熱輻射外的光學波前傳輸畸變或傳輸干擾，弓丨起被觀測對象圖像的偏移、抖動、模糊；而氣動熱輻射效應(yīng)指的是在高溫高壓氣體的影響下，原本光學特性均勻的窗口外形將產(chǎn)生畸變，并且在內(nèi)部形成了折射率梯度分布，當平面波入射到畸變窗口時，出射后的等光程波面偏離了理想波面，波面發(fā)生畸變，從而導致成像模糊。
[0004]目前已經(jīng)具備相應(yīng)的氣動光學傳輸效應(yīng)校正算法以及氣動熱輻射效應(yīng)校正算法，但還沒有同時具備這兩種校正算法，帶有識別功能并且具有體積小、重量輕、功耗低、處理速度快以及結(jié)構(gòu)明確等特點的實時處理系統(tǒng)。

【發(fā)明內(nèi)容】

[0005]針對現(xiàn)有技術(shù)的以上缺陷或不足，本發(fā)明提出了一種氣動光學效應(yīng)校正識別一體化實時處理系統(tǒng)及方法，有效解決了飛行器高速飛行條件下要求處理器在完成探測處理時間間隔短的問題。本發(fā)明同時具備硬件系統(tǒng)的結(jié)構(gòu)設(shè)計和算法軟件系統(tǒng)的流程設(shè)計，主要針對氣動光學效應(yīng)退化圖像的去噪、氣動熱輻射校正、氣動光學傳輸效應(yīng)校正以及目標檢測與識別的實時處理展開，并采取任務(wù)分配和多核并行的處理方式，使得整個系統(tǒng)的實時性大大提升。
[0006]為實現(xiàn)上述目的，本發(fā)明提出了一種氣動光學效應(yīng)校正識別一體化實時處理系統(tǒng)，其特征在于，所述系統(tǒng)包括FPGA模塊、多核主處理器DSP、多個協(xié)處理器ASIC及紅外圖像非均勻性校正片上系統(tǒng)SoC:
[0007]所述FPGA模塊，與所述多核主處理器DSP相連，用于接收并緩存氣動光學效應(yīng)退化圖像數(shù)據(jù)及接收處理后的圖像數(shù)據(jù)以及對應(yīng)的圖像信息；
[0008]所述多核主處理器DSP，與FPGA模塊相連，用于讀取FPGA模塊端退化圖像信息及接收退化圖像數(shù)據(jù)，并通過調(diào)用紅外圖像非均勻性校正片上系統(tǒng)SoC及多個協(xié)處理器ASIC對退化圖像數(shù)據(jù)進行全圖熱輻射校正、去噪、傳輸效應(yīng)校正及目標檢測、識別，并將處理后的圖像數(shù)據(jù)以及對應(yīng)的圖像信息發(fā)送給FPGA模塊；
[0009]所述多個協(xié)處理器ASIC，用于對按其功能劃分，分別用于對圖像的預(yù)處理、算法的加速處理以及目標檢測與識別；
[0010]所述紅外圖像非均勻性校正片上系統(tǒng)SoC，用于對退化的紅外圖像數(shù)據(jù)進行非均勻性校正。
[0011 ] 作為進一步優(yōu)選的，所述多核主處理器DSP包括CoreO?Core7:
[0012]所述Core7，與FPGA模塊相連，一方面用于讀取FPGA模塊圖像信息并創(chuàng)建相應(yīng)大小的圖像緩沖區(qū)，并將緩沖區(qū)的信息發(fā)送至FPGA模塊；另一方面用于接收FPGA模塊寫入相應(yīng)圖像緩沖區(qū)的退化圖像數(shù)據(jù)并通知CoreO進行后續(xù)的圖像數(shù)據(jù)處理;還用于接收處理后的圖像數(shù)據(jù)及圖像信息并將其發(fā)送給FPGA模塊；
[0013]所述CoreO，一方面用于對接收到的退化圖像數(shù)據(jù)，先通過調(diào)用校正SoC對其進行非均勻性校正，然后通過調(diào)用多個協(xié)處理器ASIC進行全圖熱輻射校正、去噪、傳輸效應(yīng)校正以及目標檢測。
[0014]作為進一步優(yōu)選的，所述CoreO可通過OpenMP來引導CoreO?Core6對退化圖像數(shù)據(jù)進行并行處理。
[0015]作為進一步優(yōu)選的，所述多個協(xié)處理器ASIC具體包括FFT運算ASIC、旋轉(zhuǎn)ASIC、多級濾波ASIC及標記ASIC。
[0016]作為進一步優(yōu)選的，所述FPGA模塊、多核主處理器DSP、多個協(xié)處理器ASIC及紅外圖像非均勻性校正片上系統(tǒng)SoC均可配有擴展存儲器，所述FPGA模塊、多核主處理器DSP以及紅外圖像非均勻性校正片上系統(tǒng)SoC還可配置有掉電不易失FLASH器件。
[0017]按照本發(fā)明的另一方面，提出了一種氣動光學效應(yīng)校正識別一體化實時處理方法，其特征在于，所述方法包括:
[0018](I)利用FPGA模塊接收并緩存氣動光學效應(yīng)退化圖像數(shù)據(jù)；
[0019](2)多核主處理器DSP讀取FPGA模塊端退化圖像信息，并接收退化圖像數(shù)據(jù)；
[0020](3)多核主處理器DSP調(diào)用紅外圖像非均勻性校正片上系統(tǒng)SoC及多個協(xié)處理器ASIC對圖像數(shù)據(jù)進行全圖熱輻射校正、去噪、傳輸效應(yīng)校正及目標檢測；
[0021](4)多核主處理器DSP將處理后的圖像數(shù)據(jù)以及圖像信息發(fā)送給FPGA模塊。
[0022]作為進一步優(yōu)選的，所述步驟(3)具體包括:
[0023](3.1)所述多核主處理器DSP的Core7，讀取FPGA模塊退化圖像信息并創(chuàng)建相應(yīng)大小的圖像緩沖區(qū)，并將緩沖區(qū)的信息發(fā)送至FPGA模塊；
[0024](3.2)所述Core7接收FPGA模塊寫入圖像緩沖區(qū)的退化圖像數(shù)據(jù)并通知CoreO進行后續(xù)的圖像數(shù)據(jù)處理；
[0025](3.3)所述CoreO對接收到的退化圖像數(shù)據(jù)，先通過調(diào)用校正SoC對其進行非均勻性校正，然后通過調(diào)用多個協(xié)處理器ASIC進行全圖熱輻射校正、去噪、傳輸效應(yīng)校正以及目標檢測；
[0026](3.4)所述Core7將處理后圖像數(shù)據(jù)及圖像信息發(fā)送給FPGA模塊。
[0027]作為進一步優(yōu)選的，所述CoreO可通過OpenMP來引導CoreO?Core6對圖像數(shù)據(jù)進行并行處理。
[0028]作為進一步優(yōu)選的，所述多個協(xié)處理器ASIC具體包括FFT運算ASIC、旋轉(zhuǎn)ASIC、多級濾波ASIC及標記ASIC。
[0029]作為進一步優(yōu)選的，所述目標檢測具體包括:
[0030]首先，多核主處理器DSP通過FPGA模塊將處理后的圖像數(shù)據(jù)傳送到多級濾波ASIC進行多級濾波操作，然后將濾波后的結(jié)果傳送到標記ASIC對圖像進行標記，最終將標記結(jié)果送回DSP進行特征提取以及目標形心跟蹤處理。
[0031]總體而言，按照本發(fā)明點的以上技術(shù)方案與現(xiàn)有技術(shù)相比，主要具備以下的技術(shù)優(yōu)點:
[0032]1、本發(fā)明系統(tǒng)包括紅外圖像的非均勻性校正、旋轉(zhuǎn)、圖像去噪、氣動熱輻射效應(yīng)校正、氣動光學傳輸效應(yīng)校正以及目標識別等過程，其中圖像非均勻性校正、旋轉(zhuǎn)以及目標識別過程中的多級濾波和標記均采用自主研發(fā)設(shè)計的專用ASIC來處理，顯著提升了整個系統(tǒng)的實時性；
[0033]2、此外，本發(fā)明系統(tǒng)及方法中多核主處理器DSP主導退化圖像數(shù)據(jù)處理過程的執(zhí)行，且對任務(wù)進行合理分配并采用多核并行的方式執(zhí)行，大大縮短了退化圖像的處理時間；同時，本發(fā)明中的FPGA模塊充當系統(tǒng)互連的角色，將各個單元合理的連接到一塊形成整個系統(tǒng)的閉環(huán)，進一步提高了系統(tǒng)的穩(wěn)定性。
[0034]3、按照本發(fā)明提出的氣動光學效應(yīng)校正識別一體化實時處理系統(tǒng)和方法，能有效的解決氣動光學效應(yīng)問題以及飛行器高速飛行條件下要求處理器在完成探測處理時間間隔短的問題，且未存在過多的計算復雜度，便于操控，因而具有一定的可實施性及實用推廣價值。
【附圖說明】
[0035]圖1為氣動校正識別一體化處理系統(tǒng)的硬件系統(tǒng)結(jié)構(gòu)框圖；
[0036]圖2為專用FFT運算ASIC(FFT8092V1.0)的整體框圖；
[0037]圖3為標記ASIC的系統(tǒng)框圖；
[0038]圖4為多級濾波ASIC的系統(tǒng)框圖；
[0039]圖5為校正SoC的系統(tǒng)框圖；
[0040]圖6為旋轉(zhuǎn)ASIC的互連框圖；
[0041 ]圖7為氣動光學效應(yīng)校正軟件框圖；
[0042]圖8為熱輻射效應(yīng)校正算法流程及任務(wù)分配圖；
[0043]圖9為圖像去噪算法流程及任務(wù)分配圖；
[0044]圖10(a)為氣動光學傳輸效應(yīng)校正算法的外迭代流程圖；
[0045]圖10(b)為氣動光學傳輸效應(yīng)校正算法的點擴展函數(shù)(PSF)估計流程圖；
[0046]圖10(c)為氣動光學傳輸效應(yīng)校正算法的目標圖像估計流程圖；
[0047]圖10(d)為氣動光學傳輸效應(yīng)校正算法任務(wù)分配圖；
[0048]圖11為DSP多核調(diào)度圖；
[0049]圖12(a)為DSP Core7處理流程圖；
[0050]圖12(b)為DSP CoreO?Core6處理流程圖； [0051 ]圖13為目標識別流程圖。
【具體實施方式】
[0052]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0053]硬件系統(tǒng):
[0054](I)硬件系統(tǒng)的核心器件為一顆TI公司生產(chǎn)的TMS320C6678多核主處理器DSP，一顆XILINX公司生產(chǎn)的Kintex7FPGA模塊;ASIC均采用的是自主研發(fā)的芯片，包括一顆專用FFT(Fast Fourier Transform)運算的ASIC(FFT8192V1.0)、一顆紅外圖像非均勾性校正片上系統(tǒng)SoC、一顆旋轉(zhuǎn)ASIC、一顆多級濾波AISC以及一顆標記ASIC。每顆器件根據(jù)需求均配有擴展存儲器，此外FPGA模塊、DSP以及SoC還配置有掉電不易失的FLASH器件，便于程序的固化。
[0055](2)在本發(fā)明中DSP作為主處理器，控制算法流程;ASIC作為協(xié)處理器，校正SoC和旋轉(zhuǎn)ASIC用在圖像預(yù)處理方面，多級濾波ASIC和標記ASIC用在目標檢測和識別方面，專用FFT運算ASIC則用來計算消耗較大的FFT運算;FPGA主要用來做接口設(shè)計。DSP與FPGA之間采用一組4XSR10(Serial Rapid I/O)進行數(shù)據(jù)傳輸;DSP與FFT運算ASIC之間采用并行輸入輸出總線進行數(shù)據(jù)傳輸并通過I2C總線或同步串口的方式對其工作方式進行設(shè)置。
[0056](3)圖像數(shù)據(jù)通過LVDS(Low Voltage Differential Signaling)信號接口進入FPGA模塊，F(xiàn)PGA模塊先對對數(shù)據(jù)進行緩存，由于紅外相機的成像因素，需要通過調(diào)用校正SoC對紅外圖像進行非均