專利名稱：一種消像移成像的實時自適應處理方法
技術領域：
本發(fā)明涉及圖像獲取技術，具體指一種高速運動小目標運動補償消像移成 像的自適應實時處理方法，它應用于對遠處快速運動小目標高可靠性信息的獲 取。
背景技術：
高速運動小目標是紅外圖像獲取的一個重要目標，近年來也在可見光圖像中得到應用。對該類目標成像具有目標尺寸較小(約不足lm)、成像距離遠(數 公里)、成像背景相對單一且變化較慢、目標運動速度特別快(最高可達lkm/s)、 目標成像所占像元不少于4X4個等特征。傳統(tǒng)的成像方法一般空間分辨率較 低，對像移模糊不敏感，基本上只需滿足目標監(jiān)視的要求。而為了獲取該運動 目標的高可靠性信息，實現對其的清晰成像，則需保證在積分時間內目標運動 像移不能超出1個瞬時視場，而假定目標成像占有4 X 4個像元，目標尺寸0.5m， 成像相對運動速度為lkm/s，積分時間為5ms，則在積分時間內目標將移動了 40個像素，這樣采用傳統(tǒng)的成像方法則存在嚴重的像移模糊問題。同時由于目 標運動速度非常快，根據上述的目標運動速度，假定探測器像元數為lkXlk， 則目標橫向穿過視場的時間僅為125ms，為了保證系統(tǒng)能捕獲到目標進行像移 補償成像，則系統(tǒng)的實時處理性要求顯得尤為重要。傳統(tǒng)的消像移成像方式有很多，如普通DC運動模式采用的曝光控制，航 測相機采用的光機方式驅動相機或探測器運動補償、TDI方式的電子學運動補 償、北京凌云光視數字圖像技術有限公司在2007年申請的專利航空全幀轉移 型面陣CCD相機像移補償方法(專利申請?zhí)?00710117666.5)所述的電子學像移補償等，但目前這些像移補償方式主要面對分辨率不是很高或目標運動特 性完全已知的情況，如航測或同步彈道攝影等，它們一般只需將運動補償方向 調整為與目標像運動方向一致，并提前設定好像移運動補償參數適時開啟即 可，而圖像數據則直接回傳，不存在在線實時圖像處理，對于遠處高速運動的 小目標且目標軌跡和速度未知的情況尚不能很好地自適應處理和響應。目前具 有實時在線自適應處理機制的成像系統(tǒng)主要應用于目標監(jiān)視的任務，其面向的 對象大多為點目標或運動速度較慢的固定目標，它們在成像平面上的運動速度 并不高，基本不存在目標輕易逃離出視場或成像中像移完全模糊的情況。綜上 所述，對于速度未知的高速運動小目標的清晰成像目前還沒有較好的在線實時 自適應處理的解決方法。 發(fā)明內容本發(fā)明的目的在于提供一種高速運動小目標消像移成像的實時自適應處 理方法，通過自適應調整像移補償機制來消除目標高速相對運動帶來的像移模 糊的影響。本發(fā)明方法是在如圖3所示的高速運動小目標成像系統(tǒng)上來實現的。整個 成像系統(tǒng)安裝在一個具有較高精度的二維跟蹤指向轉臺4上，該裝置首先利用 二維跟蹤指向轉臺4運行分行掃描目標搜索模式，光學信號通過成像光學系統(tǒng) 1進入大面陣焦平面探測器3實現圖像獲取，實時處理系統(tǒng)5對探測器3獲取 的圖像進行處理找到目標并獲取消像移成像運動補償量，進而控制高精度二維 消像移壓電傾斜鏡2進行像移補償，同時控制二維跟蹤指向轉臺4的指向將目 標保持在成像視場中，從而實現對高速運動小目標的清晰成像。 本發(fā)明方法的流程圖如圖l所示，其實時處理的主要步驟包括 A.采用相關雙尺度濾波對獲取的存在運動模糊的圖像進行遍歷實現圖像濾波預處理，移除緩變的背景獲得目標增強圖像；B.采用相鄰像元累加的算法對可能目標像元進行記錄，提取出亮度超過背景亮度一定閾值的可能目標像元，同時抑制隨機噪聲的影響；c.對可能目標像元的位i進行歸類，記錄下候選目標的個數及每個目標的外形、大小、中心位置及亮度等信息；D. 按A、 B、 C步驟連續(xù)獲取3幀存在可能目標的圖像，采用幀間相關的 辦法對相對位置固定的從背景中提取的部分偽目標進行移除，并根據目 標的多幀運動一致性原則挑選出需跟蹤的目標；E. 針對步驟D選擇出來的目標，根據成像的幀頻、探測器像元尺寸、像移 補償鏡的安裝位置等特性，計算出跟蹤成像的像移補償量，發(fā)送給控制 器進行像移補償成像。上述步驟采用FPGA+DSP硬件實現。實時處理系統(tǒng)硬件實現框圖如圖2 所示，系統(tǒng)啟動后，FPGA產生探測器驅動時序進行圖像獲取，并讀取探測器 輸出的數據進行圖像濾波預處理與可能目標像元提取，將提取出的可能目標通 過DSP的EMIF 口發(fā)送給DSP作進一步處理，即上述的步驟A和B; DSP對 接收到的可能目標像元進行歸類，在連續(xù)獲取了 3幀具有目標的圖像后運行幀 間相關偽目標移除算法找出目標并進行運動一致性檢測，估算出目標的位置和 成像所需的運動補償量，并通過DSP的GPIO 口將這些信息發(fā)送給二維指向轉 臺與高精度二維壓電傾斜鏡控制其進行像移補償成像，即上述的步驟C、 D、 E。在步驟A: FPGA的目標增強濾波處理采用通用的相關雙尺度濾波算法， 即對原始圖像采用尺度為SXS的高通濾波算子進行小尺度濾波完成對具有高 頻特性的小目標的保護，S的取值范圍為1 5之間的奇數；同時原始圖像采用 尺度為LXL的平滑濾波算子進行大尺度濾波實現圖像背景的估計，其中L的選擇范圍在5~9之間取奇數,且L>S;將雙尺度濾波得到的圖像進行減操作， 即得到了背景移除后的目標增強圖像，同時還抑制了隨機噪聲。在步驟B: FPGA對存在的可能目標像元進行檢測實際上是在對圖像進行遍 歷濾波的同時實現的，它對圖像象元的4X4鄰域進行累加，若某個像元鄰域 亮度累加的值超過了給定的閾值，則認為是可能存在目標，記錄下其位置和亮 度值。其中給定的閾值為大尺度濾波得到的背景估計值的1.2 2倍之間選取， 具體數值的選擇根據實際應用的目標與背景特性來定。經過FPGA的上述操 作，若沒有檢測到可能的目標像元，則丟棄圖像并繼續(xù)進行圖像獲取，否則將 記錄下來的亮點發(fā)送給DSP作進一步處理。在步驟C:經過FPGA的檢測后，DSP需對檢測出來的為數不多的可能目標 像元作進一步處理。DSP首先對這些可能目標像元進行循環(huán)檢測歸類，計算出 圖像中共有的可能目標數目，即若記錄的某些目標像元位置相鄰，則將其歸為 同一個可能目標。待歸類完成后記錄可能目標的個數，并統(tǒng)計出每個可能目標 類的中心位置、亮度均值、占有的象元數及X和Y方向分別延伸的象元個數等 信息。在步驟D:系統(tǒng)若連續(xù)獲取了3幀(幀號N-1 N+1)含有目標亮點的圖像， 則DSP采用幀間相關的算法進行偽目標移除與目標軌跡一致性檢測。首先以第 N-l和第N幀的歸類后可能目標中中心點位置X和Y方向均最小的目標為原點， 計算出其它目標中心點與該點的相對位置；然后比較這兩幀，若對于它們的大 部分可能目標(不少于可能目標數目的一半)其X和Y方向的相對位置誤差均 在Nf (取0~4)個像元內，則認為這些可能目標均為背景中的偽目標并記錄下 它們的位置，否則則挑選與原來設定的原點的X位置相差最小的象元為原點， 繼續(xù)進行上述操作，直到可以移除一半以上的偽目標為止，若挑選了所有像元為原點仍然不能移除偽目標，則將第N-1幀丟棄，繼續(xù)讀取第N+2幀。同上述 方法對第N幀和第N+l幀進行偽目標査詢，并將三幀中兩次記錄的偽目標均移 除，經過這一操作可以移除大部分的偽目標。若剩余的可能目標仍然不止1個， 則選取三幀的剩余可能目標中亮度差別不超過均值的20%、所占像元數差別不 超過Np (取0~8)個、目標在X和Y方向的象元延伸長度的差別均不超過Nxyl (取0~4)的目標為候選目標組，判斷它在三幀中的運動一致性，若某組候選 目標的運動位置差別在X與Y方向均不超過Nxy2 (取0 4)個像元，則斷定它 為系統(tǒng)搜索的目標，否則若沒有類似的目標，則丟棄第N-l幀繼續(xù)進行第N+2 幀的分析直到找到目標為止。參數Nf、 Np、 Nxyl、 Nxy2根據判斷嚴格程度取 值，按從嚴至松順序，各參數從小到大進行取值。在步驟E: DSP在針對搜索出來的目標，計算出目標像移在X和Y方向的平 均運動速度，即第N+l幀與第N-l幀目標位置差/(2—貞周期)，單位為像元/s。 假定像移速度在X方向和Y方向分別為Sx和Sy，探測器像元間隔距離為AX A um2， 二維壓電傾斜掃描鏡的鏡面中心與探測器感光單元的距離為H um，則二維 壓電傾斜掃描鏡的運動補償速度在X方向為SxXA/2H rad/s，在Y方向為Sy XA/2H rad/s。本方法的優(yōu)點在于1. 系統(tǒng)采用運算復雜度低的算法可以滿足實時性和準確性的要求，適于對 高速劃過成像視場進行處理。其中相關雙尺度濾波算法和鄰域累加的方 法可以較好地移除變化不大的背景并判斷出可能的目標象元，而采用多 幀相關的算法可以較準確地移除背景中相對位置不變的偽目標，并根據 一致性檢驗可以準確地檢測出高速運動的小目標。2. 實時處理硬件系統(tǒng)采用FPGA與DSP相結合的方式，既可以充分發(fā)揮FPGA硬件處理在圖像遍歷濾波方面速度快的特性，又可以發(fā)揮DSP指令運算頻率高的優(yōu)點，它們互相配合一起完成圖像的遍歷濾波、目標搜 索與軌跡估算等數據處理工作，從而很好地滿足系統(tǒng)實時處理的要求。


圖1是實時處理系統(tǒng)工作流程圖。圖2為實時處理系統(tǒng)硬件框圖。 圖3是高速運動小目標成像系統(tǒng)； 圖中， 1-成像光學系統(tǒng)；2- 二維像移補償壓電傾斜鏡；3- 焦平面探測器；4- 二維跟蹤指向轉臺；5- 實時處理與控制機構。具體實施方法根據說明書中所述的實時自適應處理方法，它實現平臺的結構示意圖如圖3 所示，平臺由成像光學系統(tǒng)l、 二維像移補償壓電傾斜鏡2、焦平面探測器3、 二維跟蹤指向轉臺4和實時處理與控制機構5構成，其中成像光學系統(tǒng)1采用普通的光學望遠鏡，口徑為150mm，焦距1800mm， F 數為12，分辨率〈1"，系統(tǒng)瞬時視場為8urad，總視場0. 47°;二維像移補償壓電傾斜鏡2采用四支點XY軸傾斜平臺，其閉環(huán)傾斜角度可 達土2mrad，分辨率達0. 05urad，鏡面直徑為50mm，閉環(huán)線性度0. 2%，共振頻 率3. 3KHz，其鏡面與焦平面的距離H為50mm;大面陣焦平面探測器3采用具有全局快門的單色面陣CMOS器件，其面陣大 小為lkXlk，響應波長為400 1000nm，像元尺寸為14umX 14um，幀頻20fps，積分時間可控制達US量級；二維跟蹤指向轉臺4采用具有俯仰旋轉和方位旋轉的普通二維轉臺，方位旋轉角度為(T360度，轉速0.57s、。/s,精度<0.05°，俯仰旋轉角度為0°~90°， 轉速0.57s 4。/s，精度〈0.r，負載達200Kg。實時處理系統(tǒng)的硬件結構如圖2所示，它由FPGA+DSP的實時圖像處理與識 別模塊和高精度二維控制器構成，其中FPGA邏輯單元數為12060LEs，內置2 個PLL和234Kbits RAM，外部時鐘為40腿z;選擇的定點DSP外部時鐘為50MHz， 運算頻率為600腿z，具有GPIO接口和32位的EMIF接口 ，程序存儲在Flash 中。實時處理算法中，選擇大尺度平滑濾波的濾波尺度L=7，加權值均為1; 小尺度濾波的尺度為S二3，中心點加權值為4，鄰域加權值為l;可能目標象元 判斷閾值為背景亮度估計的1.5倍，在偽目標移除時，判斷是否具有偽目標特 性的位置誤差Nf取為2個像元，判斷目標類似的亮度差取為20%，目標外形所 占象元差不超過Np=6個像元，目標象元在X和Y方向的延伸等的差別均不超 過Nxyl^2個像元，在判斷目標運動一致性時，其運動量之差在X與Y方向均 不超過Nxy2二2個像元。
權利要求
1. 一種消像移成像的實時自適應處理方法，其特征在于該方法包括以下步驟A.采用相關雙尺度濾波對獲取的存在運動模糊的圖像進行遍歷實現圖像濾波預處理，移除緩變的背景獲得目標增強圖像；B.采用相鄰像元累加的算法對可能目標像元進行記錄，提取出亮度超過背景亮度一定閾值的可能目標像元，同時抑制隨機噪聲的影響；C.對可能目標像元的位置進行歸類，記錄下候選目標的個數及每個目標的外形、大小、中心位置及亮度等信息；D.按A、B、C步驟連續(xù)獲取3幀存在可能目標的圖像，采用幀間相關的辦法對相對位置固定的從背景中提取的部分偽目標進行移除，并根據目標的多幀運動一致性原則挑選出需跟蹤的目標；E.針對步驟D選擇出來的目標，根據成像的幀頻、探測器像元尺寸、像移補償鏡的安裝位置等特性，計算出跟蹤成像的像移補償量，發(fā)送給控制器進行像移補償成像。
2.根據權利要求1所述的一種消像移成像的實時自適應處理方法，其特征 在于所說的步驟A采用相關雙尺度濾波算法，對原始圖像SXS小尺度濾波 的S的取值范圍為1 5之間的奇數；對LXL的大尺度濾波的L的取值范圍為 5 9之間的奇數，且L〉S。
3.根據權利要求l所述的一種消像移成像的實時自適應處理方法，其特 征在于在所說的步驟C中，可能存在目標的判斷閾值為大尺度濾波得到的背 景估計值的1.2 2倍。
4.根據權利要求1所述的一種消像移成像的實時自適應處理方法，其特征在于在所說的步驟D中，偽目標的移除按以下方法進行a. 以第N-l和第N幀的歸類后可能目標中中心點位置X和Y方向均最小的目標為原點，計算出其它目標中心點與該點的相對位置；然后比較這兩幀，若對于它們的大部分可能目標的X和Y方向的相對位置誤差均在設定的誤差范圍Nf內，則認為這些可能目標均為背景中的偽目標并記錄下它們的位置，否則則挑選與原來設定的原點的X位置相差最小的象元為原點，繼續(xù)進行上述操作，直到可以移除一半以上的偽目標為止，若挑選了所有像元為原點仍然不能移除 偽目標，則將第N-1幀丟棄，繼續(xù)讀取第N+2幀，同上述方法對第N幀和第N+l 幀進行偽目標查詢，并將三幀中兩次記錄的偽目標均移除；b. 經過a方法操作可以移除大部分的偽目標，若剩余的可能目標仍然不止1個，則選取三幀的剩余可能目標中亮度差別不超過均值的20%、所占像元數差別不超過Np個像元、目標在X和Y方向的象元延伸長度的差別均不超過 Nxyl的目標為候選目標組，判斷它在三幀中的運動一致性，若某組候選目標的運動差別在X與Y方向均不超過Nxy2個像元，則斷定它為系統(tǒng)搜索的目標，否則若沒有類似的目標，則丟棄第N-l幀繼續(xù)進行第N+2幀的分析直到找到目 標為止；其中參數Nf、 Nxyl、 Nxy2在0 4個像元范圍內取值，參數Np在0~8個像元范圍內取值，各參數根據判斷嚴格程度取值，按從嚴至松順序，各參數從小到大進行取值。
5.根據權利要求l所述的一種消像移成像的實時自適應處理方法，其特征在于所說的消像移成像的實時自適應處理方法采用FPGA+DSP硬件實時處理來實現。
全文摘要
本發(fā)明公開了一種消像移成像的實時自適應處理方法，它是一種高速運動小目標成像系統(tǒng)中消像移成像的實時自適應處理方法。該方法可自動搜索找到并指向高速運動中的小目標，以FPGA和DSP作為實時在線處理平臺，采用算法復雜度較低的圖像增強與幀間相關識別算法，去除偽目標的影響獲取目標的運動特性，以驅動高精度二維壓電傾斜鏡完成成像自適應運動補償，實現對高相對運動速度小目標的清晰成像。
文檔編號G06T5/00GK101276463SQ200810035329
公開日2008年10月1日 申請日期2008年3月28日 優(yōu)先權日2008年3月28日
發(fā)明者雷 丁, 鑫 蔣 申請人:中國科學院上海技術物理研究所