專利名稱：針對運動模糊核空間移變的tdiccd圖像復原方法
技術(shù)領(lǐng)域：
本發(fā)明涉及TDICCD成像領(lǐng)域和計算機圖像處理技術(shù)，尤其涉及數(shù)字圖像去模糊的方法。
背景技術(shù)：
TDICCD (time delay and integration charge coupled device)成像器件具有分
辨率高，靈敏度高，信噪比高等優(yōu)點，所以廣泛的應(yīng)用于各種成像場合，尤其是在航空航天等遙感領(lǐng)域。但是它并不能解決當裝載成像設(shè)備的平臺有顫振干擾時圖像退化的問題。而
且，TDICCD推掃成像的工作方式，圖像仍有清晰度下降的問題，圖像行與行之間還會出現(xiàn)疊加和錯位的可能。對于模糊核已知的圖像復原算法，已有很多經(jīng)典的優(yōu)秀算法，如RL、維納濾波、總體變分正則化等算法，近年也涌現(xiàn)出很多抑制復原圖中的振鈴現(xiàn)象的算法，總的來說，在模糊核準確的情況下，各種方法都能取得不錯的效果。但這些算法都不能直接用于復原TDICCD圖像，因為這些方法都是基于一幅圖像只有一個模糊核的假設(shè)，而對于TDICCD圖像來說，每行圖像在曝光積分過程中經(jīng)歷的運動形式都有可能不同，它們的模糊核也就可能不同。此外，由于顫振運動的累加，TDICCD圖像行與行之間還會有形變的問題，這個問題在面陣圖像中也是不會出現(xiàn)的。

發(fā)明內(nèi)容
本發(fā)明提出的針對有運動模糊核空間移變的TDICCD圖像復原方法，方法基于
TDICCD成像的特性，對其在有平臺顫振運動干擾情況下的圖像退化機理進行深入研究，提
出逐行復原圖像的策略，結(jié)合位移曲線插值、改進的PSF求解方法、整像素形變校正、圖像
去模糊算法，得到了一種能處理任意形式運動的TDICCD圖像復原算法。 —種針對運動模糊核空間移變的TDICCD圖像復原方法，包括如下步驟 1、一種針對運動模糊核空間移變的TDICCD圖像復原方法，其特征在于包括如下
步驟 1)將像移探測設(shè)備測得的TDICCD相機在成像期間的運動軌跡進行插值擬合，得到插值擬合后的運動軌跡； 2)根據(jù)像移探測設(shè)備和TDICCD曝光積分在時序上的對應(yīng)關(guān)系，從插值擬合后的運動軌跡中提取TDICCD圖像時序中每一行像素在其曝光積分期間的運動軌跡段；
3)從步驟(2)得到的運動軌跡段中提取出當前行像素的整像素形變量和模糊核；并在TDICCD圖像中定位出包含當前行像素信息的待恢復像素塊； 4)將步驟(3)得到的與當前行像素相對應(yīng)的待恢復像素塊及模糊核代入標準RL算法，對TDICCD圖像中每一行像素進行恢復運算，得到復原后的每一行像素；
所述的標準RL算法迭代過程如下
及
<formula>formula see original document page 3</formula>
其中 (g)為巻積運算； Bi為待恢復的模糊像素塊； hi表示TDICCD圖像中第i行像素的模糊核 《O,力-A(-y,-:c); x、 y表示模糊核中各像素的坐標值； t表示迭代次數(shù)； Ii,t表示圖像復原過程中經(jīng)過t次迭代后得到的第i行復原像素；
i表示TDICCD圖像中像素行的索引； 5)對步驟4)得到的復原后的每一行像素進行重組，得到復原的TDICCD圖像。
本發(fā)明中，所述的像移探測設(shè)備測得的TDICCD相機在成像期間的運動軌跡由若干TDICCD相機位置坐標點組成，所述的插值擬合采用低通濾波插值方式，根據(jù)插值的倍數(shù)，在相鄰的TDICCD相機位置坐標點間插入零值后用低通濾波器在頻率域進行濾波；濾波后的序列進行離散傅里葉反變換得到插值擬合后的運動軌跡。 上述的像移探測是現(xiàn)有技術(shù)，且有很多不同的方法，如ValeriTchemykh等人實現(xiàn)的平臺搭載光學相關(guān)器獲取像移的方法，它的像移探測頻率可以達到400次每秒(參考文獻Tchemykh V， Dyblenko S， JanschekK. Optical Correlator-Based System for theReal Time Analysis of ImageMotion in the Focal Earth Observation Camera[J].Proceedings of SPIE 2000,4113:23-31)。還有浙江大學徐之海等人提出的通過處理高速相機獲取的數(shù)字圖像，得到像移的方法，像移探測頻率可以達到1000次每秒(參考文獻徐之海，陳躍庭，王琦，等.面陣空間相機穩(wěn)像補償研究[J].紅外與激光工程，2007，35(5):593-596)。 步驟3)中提取模糊核的方法包括 將步驟2)得到的運動軌跡段進行插值放大，其中放大倍數(shù)為k，得到放大后的運動軌跡段； 在放大后的運動軌跡段中將原離散點用直線連接起來，然后給直線所經(jīng)過點賦予權(quán)重值，權(quán)重值等于該直線所經(jīng)過的所有點的數(shù)量的倒數(shù)，得到用于表征理想點源的運動和駐留時間的加權(quán)移動路徑； 用該理想點源巻積所述的加權(quán)移動路徑得到理想點源的能量擴散分布 將能量擴散分布圖縮小k倍得到模糊核。 本發(fā)明基于TDICCD推掃成像的特點，對TDICCD模糊圖像進行逐行復原。在復原一行像素時，包括了校正形變和去模糊兩個步驟，形變通過整像素移位校正，模糊通過求取模糊核，代入RL圖像復原算法去除。以下對本發(fā)明方法詳細說明 步驟1)中，采用現(xiàn)有技術(shù)的高速像移探測設(shè)備，如光纖陀螺、加速度計、高速相機等，可以得知的在TDICCD相機成像過程中承載TDICCD相機的平臺的顫動位移序列，通過這個序列用低通濾波法插值擬合出插值擬合后的運動軌跡； 利用TDICCD相機拍攝得到的TDICCD圖像的模糊過程可用如下的數(shù)學模型表述
二 & + W,. 其中，Bi表示待復原的第i行像素所對應(yīng)的模糊像素塊(因為一行像素經(jīng)過模糊核巻積后，數(shù)據(jù)會擴散到相鄰行的像素上)，Ii表示以第i行原像素，h表示第i行的模糊核，(g)表示巻積運算，&表示第i行的噪聲。模糊核已知的情況下，圖像復原算法中Bi和hi是已知的，Ii是待求項。 從上面的式子中可以看出TDICCD圖像復原和面陣圖像最大的不同就在于TDICCD每行的模糊核都有可能不同，所以不能用面陣圖像復原中一個模糊核的處理方式。另外，由于位置探測設(shè)備的反饋頻率受限，為了使得到每行圖像在曝光積分過程中對應(yīng)的描述運動軌跡的坐標點更多，本發(fā)明首先對位置探測設(shè)備反饋的坐標數(shù)據(jù)進行插值，以細化平臺顫振的軌跡，提高hi的精度。 步驟2)中再根據(jù)像移探測設(shè)備和TDICCD曝光積分在時序上的對應(yīng)關(guān)系，由步驟1)的插值擬合后的運動軌跡得到TDICCD圖像待復原行在其積分時間內(nèi)的運動軌跡段。
由于TDICCD圖像是由若干行像素構(gòu)成，而且這些不同行的像素是在不同的時刻曝光積分得到，所以它們的模糊核一般來說是不一樣的。所以在對TDICCD圖像進行復原時，本發(fā)明提出需要對所有行的像素分別進行復原，即逐行處理。 步驟3)是從步驟2)得到的運動軌跡段中提取出當前行像素的整像素形變量和模糊核PSF (point spread function點擴散函數(shù))；并在TDICCD圖像中定位出包含當前行像素信息的待恢復像素塊，由于成像過程中的運動，一行像素的信息已經(jīng)擴散到一塊像素上了，因此需要找出這個像素塊才能對這行像素進行復原，即找出待恢復像素塊。而通過這一步，也相當于修正了 TDICCD圖像的整像素形變。 模糊核由運動軌跡段得到，它們的區(qū)別在于前者等同于點擴散函數(shù)(PSF)，是描述能量的分布狀況，而后者只是單純的軌跡，要從軌跡得到點擴散函數(shù)(PSF)，還必須從軌跡中提取出理想點(在數(shù)字成像領(lǐng)域一般認為是傳感器的一個像素點)在空間位置的駐留時間信息，即加權(quán)路徑，才能換算成相對能量。這里提到的理想點是由點擴散函數(shù)衍生出的一個概念，點擴散函數(shù)經(jīng)?？梢栽谠u價光學鏡頭性能時看到，它的定義是假設(shè)空間上的一個理想點光源在經(jīng)過這個鏡頭后，擴散開的光斑函數(shù)。在數(shù)字圖像處理領(lǐng)域，圖像的最小分辨力就是傳感器的一個像元大小，所以，本發(fā)明中的理想點就是原圖像尺度下的一個像元。
在本發(fā)明中，加權(quán)路徑和模糊核之間的換算關(guān)系為理想點巻積加權(quán)路徑，結(jié)果為即為模糊核。這樣能使求得的模糊核較為平滑，更加符合實際情況。 由運動軌跡段求取模糊核的具體過程為將步驟2)得到的運動軌跡段進行插值放大，其中放大倍數(shù)為k，得到放大后的運動軌跡段； 在放大后的運動軌跡段中將原離散點用直線連接起來，然后給直線所經(jīng)過點賦予權(quán)重值，權(quán)重值等于該直線所經(jīng)過的所有點的數(shù)量的倒數(shù)，得到用于表征理想點源(在數(shù)字成像領(lǐng)域一般認為是傳感器的一個像素點)的運動和駐留時間的加權(quán)移動路徑；
用該理想點源巻積所述的加權(quán)移動路徑得到理想點源的能量擴散分布 將能量擴散分布圖縮小k倍得到模糊核。 通過以上步驟，已經(jīng)精確的求得了第i行TDICCD圖像對應(yīng)的模糊核^，當平臺的顫振幅值不大，圖像的形變沒有超出模糊核的大小時，可以直接把模糊核h代入恢復算法進行恢復，復原該行圖像。但是當形變大于模糊核時，由于此時按順序取出的像素塊已不包含i行數(shù)據(jù)，所以，在這種情況下，發(fā)明提出先校正整像素形變，再用模糊核hi反巻積復原圖像。
校正一行像素的整像素形變的操作很簡單，首先找到這行像素對應(yīng)的運動軌跡段的中心位置，將中心位置取整后就是該行像素的整像素形變量，然后根據(jù)整像素形變量和模糊核的大小在模糊圖中找到待復原行像素所在的模糊像素塊Bi，這樣整像素形變得到了校正，模糊像素塊Bi也已經(jīng)找出來。而亞像素形變可以認為是一種模糊，可以通過步驟4)反巻積消除。 步驟4)是一個逐行復原的過程，用步驟3)得到的當前行像素的模糊像素塊和模糊核，代入RL(Richardson-Lucy)圖像復原算法，去除由于成像過程中平臺顫振引起模糊；直到歷遍所有行的像素，即完成了所有行像素的復原。
所述的標準RL算法迭代過程如下
<formula>formula see original document page 6</formula> 其中 0為巻積運算； Bi為待恢復的模糊像素塊； hi表示TDICCD圖像中第i行像素的模糊核 <formula>formula see original document page 6</formula>
x、 y表示模糊核中各像素的坐標值； t表示迭代次數(shù)； Ii,t表示圖像復原過程中經(jīng)過t次迭代后得到的第i行復原像素； 最后對復原后的每一行像素進行重組，得到復原的TDICCD圖像。 本發(fā)明對TDICCD圖像復原有很強的針對性，在高速位置探測設(shè)備的支持下，能對任意形式運動造成的圖像退化和模糊進行恢復，得到清晰無形變的復原圖像。適用于衛(wèi)星遙感、飛機航拍等TDICCD成像領(lǐng)域。


圖1為本發(fā)明方法流程圖。 圖2 (a)為本發(fā)明初始的TDICCD相機運動軌跡圖，圖中橫坐標表示TDICCD相機在x方向的位移量，縱坐標表示TDICCD相機在y方向的位移量； 圖2 (b)為圖2 (a)的運動軌跡經(jīng)過插值擬合后的TDICCD相機運動軌跡圖； 圖2(c)為圖2(b)中i區(qū)域運動軌跡段求得的模糊核圖像； 圖3為本發(fā)明從運動軌跡段中求解模糊核的流程圖； 圖4(a)為在TDICCD推掃方向有顫振時的模糊圖像； 圖4(b)為圖4(a)經(jīng)本發(fā)明處理后的圖像； 圖5(a)為在垂直TDICCD推掃方向有顫振時的模糊圖像； 圖5 (b)為圖5 (a)經(jīng)本發(fā)明處理后的圖像； 圖6(a)為在推掃及垂直推掃兩個方向都有顫振時的模糊圖像； 圖6(b)為圖6(a)經(jīng)本發(fā)明處理后的圖像。
具體實施例方式
如附圖1所示為本發(fā)明方法的流程圖，以下做詳細說明 將像移探測設(shè)備測得的TDICCD相機在成像期間的運動軌跡進行插值擬合，得到插值擬合后的運動軌跡； 參見附圖2 (a)，本發(fā)明像移探測設(shè)備反饋的TDICCD相機在成像期間的運動軌跡，
其中每兩點之間的時間間隔一致，虛線代表軌跡運動的方向，對軌跡坐標進行插值，具體的
步驟為根據(jù)插值的倍數(shù)，在軌跡坐標原始序列點間插入相應(yīng)個數(shù)的零值；用設(shè)計的低通
濾波器在頻率域?qū)Σ迦肓阒岛蟮男蛄羞M行濾波；再對濾波后的序列進行離散傅里葉反變換
得到如附圖2(b)所示的插值后的序列。插值后的序列具有原數(shù)據(jù)不變，插值點的均方誤差
最小的特點。在進行插值的步驟中，x， y軸坐標是分開獨立進行插值的。 2)根據(jù)像移探測設(shè)備和TDICCD曝光積分在時序上的對應(yīng)關(guān)系，從插值擬合后的
運動軌跡中提取TDICCD圖像時序中每一行像素在其曝光積分期間的運動軌跡段； 假設(shè)如圖2(a)、圖2(b)中i區(qū)域所圈定的范圍就是第i行像素曝光時間內(nèi)的運動
軌跡段。 3)從步驟(2)得到的運動軌跡段中提取出當前行像素的整像素形變量和模糊核；并在TDICCD圖像中定位出包含當前行像素信息的待恢復像素塊； 由這條運動軌跡段，可以提取出第i行圖像的形變量和模糊核。如圖2 (a)、圖2 (b)中的情況，整像素型變量是(1， -15)像素，通過它從模糊TDICCD圖像中找到包含i行圖像的模糊像素塊Bi (因為一行像素經(jīng)過模糊后，數(shù)據(jù)會擴散到相鄰行的像素上)，這一步校正了形變。而模糊核也以(1，-15)為中心計算，結(jié)果如圖2(c)所示。 模糊核的具體計算方法的流程圖如圖3所示，首先，因為要從運動軌跡得到點擴散函數(shù)(PSF)，必須先從軌跡中提取出速度信息，換算成點源在軌跡上駐留時間，所以本發(fā)明先對輸入的運動軌跡(path)進行插值放大，放大倍數(shù)k選擇在20 100之間，得到放大后的運動軌跡(large—pathl)，然后在放大后的運動軌跡(large_pathl)中將原來的離散點用直線連接起來，接著給直線所經(jīng)過點賦予權(quán)重值，權(quán)重值等于兩點間的直線所經(jīng)過點的數(shù)量的倒數(shù)，這樣就將點源在這個點上駐留的時間用它的權(quán)值表示了出來，得到這條表征理想點的運動和駐留時間的加權(quán)移動路徑(large_path2)之后，本發(fā)明用數(shù)字圖像中的理想點，即一個像素(放大前的一個像素，在large—path就是kXk的矩陣)，巻積加權(quán)移動路徑(large_path2)，得到理想點的能量擴散分布圖。最后將點源的能量擴散分布圖按先前的放大倍數(shù)k縮放成原尺寸，得到PSF，也即該運動所對應(yīng)的模糊核。 4)到此，已求得了反巻積所需要的模糊像素塊Bi，模糊核hi，就可以選擇代入標準RL算法去模糊，對TDICCD圖像中每一行像素進行恢復運算，得到復原后的每一行像素，標準RL算法迭代過程如下
及
=々,
其中
(g)為巻積運算；
h表示TDICCD圖像中第i行像素的模糊核《0，力=/ ;(-;/,—x);
x、 y表示模糊核中各像素的坐標值；
t表示迭代次數(shù)； Ii,t表示圖像復原過程中經(jīng)過t次迭代后得到的第i行復原像素；
i表示TDICCD圖像中像素行的索引； 5)對步驟4)得到的復原后的每一行像素進行重組，得到復原的TDICCD圖像。
已有針對TDICCD圖像的復原算法雖然也提出模糊核空間移變的概念，但是仍然 假設(shè)移變時模糊核形狀不變，所以只能處理像TDICCD推掃速度失配等規(guī)律運動導致的圖 像退化。而本發(fā)明在高速位置探測設(shè)備的支持下通過逐行計算模糊核，逐行恢復的方式，能 有效處理任意形式運動弓I起的模糊，復原出一幅清晰的圖像。 為了進一步說明本發(fā)明的效果，可參見圖4(a) 圖6(b)，其中圖4(a)為在 TDICCD推掃方向有顫振時的模糊圖像；圖4(b)為圖4(a)經(jīng)本發(fā)明處理后的圖像。
圖5(a)為在垂直TDICCD推掃方向有顫振時的模糊圖像；圖5(b)為圖5(a)經(jīng)本 發(fā)明處理后的圖像。 圖6(a)為在推掃及垂直推掃兩個方向都有顫振時的模糊圖像；圖6(b)為圖6(a)
經(jīng)本發(fā)明處理后的圖像。 從4(a) 圖6(b)中可以看出 通過本發(fā)明方法進行的圖像復原，模糊地圖像明顯清晰，可以處理各類顫振干擾。
權(quán)利要求
一種針對運動模糊核空間移變的TDICCD圖像復原方法，其特征在于包括如下步驟1)將像移探測設(shè)備測得的TDICCD相機在成像期間的運動軌跡進行插值擬合，得到插值擬合后的運動軌跡；2)根據(jù)像移探測設(shè)備和TDICCD曝光積分在時序上的對應(yīng)關(guān)系，從插值擬合后的運動軌跡中提取TDICCD圖像時序中每一行像素在其曝光積分期間的運動軌跡段；3)從步驟(2)得到的運動軌跡段中提取出當前行像素的整像素形變量和模糊核；并在TDICCD圖像中定位出包含當前行像素信息的待恢復像素塊；4)將步驟(3)得到的與當前行像素相對應(yīng)的待恢復像素塊及模糊核代入標準RL算法，對TDICCD圖像中每一行像素進行恢復運算，得到復原后的每一行像素；所述的標準RL算法迭代過程如下 <mrow><msub> <mi>I</mi> <mrow><mi>i</mi><mo>,</mo><mi>t</mi><mo>+</mo><mn>1</mn> </mrow></msub><mo>=</mo><msub> <mi>I</mi> <mrow><mi>i</mi><mo>,</mo><mi>t</mi> </mrow></msub><mo>[</mo><msubsup> <mi>h</mi> <mi>i</mi> <mo>*</mo></msubsup><mo>&CircleTimes;</mo><mfrac> <msub><mi>B</mi><mi>i</mi> </msub> <mrow><mo>(</mo><msub> <mi>I</mi> <mrow><mi>i</mi><mo>,</mo><mi>t</mi> </mrow></msub><mo>&CircleTimes;</mo><msub> <mi>h</mi> <mi>i</mi></msub><mo>)</mo> </mrow></mfrac><mo>]</mo> </mrow>其中為卷積運算；Bi為待恢復的模糊像素塊；hi表示TDICCD圖像中第i行像素的模糊核 <mrow><msubsup> <mi>h</mi> <mi>i</mi> <mo>*</mo></msubsup><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>=</mo><msub> <mi>h</mi> <mi>i</mi></msub><mrow> <mo>(</mo> <mo>-</mo> <mi>y</mi> <mo>,</mo> <mo>-</mo> <mi>x</mi> <mo>)</mo></mrow><mo>;</mo> </mrow>x、y表示模糊核中各像素的坐標值；t表示迭代次數(shù)；Ii，t表示圖像復原過程中經(jīng)過t次迭代后得到的第i行復原像素；i表示TDICCD圖像中像素行的索引；5)對步驟4)得到的復原后的每一行像素進行重組，得到復原的TDICCD圖像。F2009101547397C00012.tif
2. 如權(quán)利要求1所述的TDICCD圖像復原方法，其特征在于所述的像移探測設(shè)備測得 的TDICCD相機在其成像期間的運動軌跡由若干TDICCD相機位置坐標點組成，所述的插值 擬合采用低通濾波插值方式，根據(jù)插值的倍數(shù)，在相鄰的TDICCD相機位置坐標點間插入零 值后用低通濾波器在頻率域進行濾波；濾波后的序列進行離散傅里葉反變換得到插值擬合 后的運動軌跡。
3. 如權(quán)利要求1所述的TDICCD圖像復原方法，其特征在于步驟3)中提取模糊核的 方法包括將步驟2)得到的運動軌跡段進行插值放大，其中放大倍數(shù)為k，得到放大后的運動軌 跡段；在放大后的運動軌跡段中將原離散點用直線連接起來，然后給直線所經(jīng)過點賦予權(quán)重 值，權(quán)重值等于該直線所經(jīng)過的所有點的數(shù)量的倒數(shù)，得到用于表征理想點源的運動和駐 留時間的加權(quán)移動路徑；用該理想點源巻積所述的加權(quán)移動路徑得到理想點源的能量擴散分布圖；將能量擴散分布圖縮小k倍得到模糊核。
全文摘要
本發(fā)明公開了一種針對運動模糊核空間移變的TDICCD圖像復原方法，將位置探測設(shè)備測得的TDICCD相機的運動軌跡進行插值擬合，從插值擬合后的運動軌跡中提取TDICCD圖像時序中每一行像素在其曝光積分期間的運動軌跡段；從運動軌跡段中提取出當前行像素的整像素形變量和模糊核；并在TDICCD圖像中定位出包含當前行像素信息的待恢復像素塊；將步驟與當前行像素相對應(yīng)的待恢復像素塊及模糊核代入標準RL算法，對每一行像素進行恢復運算，得到復原后的每一行像素并進行重組，得到復原的TDICCD圖像。本發(fā)明能對任意形式運動造成的圖像退化和模糊進行恢復，得到清晰無形變的復原圖像。
文檔編號G06T5/00GK101742050SQ200910154739
公開日2010年6月16日 申請日期2009年12月3日 優(yōu)先權(quán)日2009年12月3日
發(fā)明者馮華君, 吳家谷, 徐之海, 李奇, 鄭珍珍 申請人:浙江大學