紅外線成像中圖像失真的校正的制作方法
【專利說明】紅外線成像中圖像失真的校正
[0001]相關(guān)申請的交叉引用
[0002]本專利申請主張申請?zhí)枮?1/672，153，申請日為2012年7月16日的美國專利申請的權(quán)益和優(yōu)先權(quán)，其在此通過弓I用而全文包含在本申請中。
[0003]本申請是一篇申請?zhí)枮?3/437，645、申請日為2012年4月2日、專利名稱為“紅外線分辨率和對比度增強(qiáng)與融合”的美國專利申請的延續(xù)部分，該美國專利申請13/437，645是另一篇申請?zhí)枮?3/105,765、申請日為2011年5月11日、專利名稱為“紅外線分辨率和對比度增強(qiáng)與融合”的美國專利申請的延續(xù)部分，這篇美國專利申請13/105，765又是另一篇申請?zhí)枮镻CT/EP2011/056432、申請日為2011年4月21日、專利名稱為“紅外線分辨率和對比度增強(qiáng)與融合”的國際專利申請的延續(xù)，以上所有的專利申請通過引用而全部包含在本申請中。
[0004]國際專利申請PCT/EP2011/056432主張一篇申請?zhí)枮?1/473，207、申請日為2011年4月8日、專利名稱為“紅外線分辨率和對比度增強(qiáng)與融合”的美國臨時專利申請的權(quán)益，其通過引用而全部包含在本申請中。
[0005]國際專利申請PCT/EP2011/056432是一篇申請?zhí)枮?2/766，739、申請日為2010年4月23日、專利名稱為“紅外線分辨率和對比度增強(qiáng)與融合”的美國專利申請的延續(xù)，其通過引用而全部包含在本申請中。
技術(shù)領(lǐng)域
[0006]一般地，本發(fā)明的實(shí)施例涉及使用紅外線裝置進(jìn)行紅外線成像的校正。
[0007]更具體地說，本申請的不同實(shí)施例涉及紅外線成像中失真的校正，其中例如通過至少一個成像系統(tǒng)或者部件的物理方面，包括在紅外線裝置中的捕捉的圖像中引入了失真，其中該至少一個成像系統(tǒng)被用于捕捉圖像，舉例來說，諸如例如紅外線圖像和可見光圖像。
【背景技術(shù)】
[0008]紅外線產(chǎn)品或者紅外線裝置，諸如紅外線攝像頭，如今常常與要求最低限度保持生產(chǎn)成本聯(lián)系在一起。
[0009]由于紅外線或者紅外線裝置的光學(xué)器件的成本正成為整個紅外線成像設(shè)備成本中越來越大的一部分，光學(xué)器件正成為生產(chǎn)商想要尋求更加廉價的解決方案的領(lǐng)域。舉例來說，這可以通過減少包含在光學(xué)系統(tǒng)中的光學(xué)元件，諸如透鏡的數(shù)量，或者使用便宜的透鏡而不是昂貴的、更高質(zhì)量的透鏡來實(shí)現(xiàn)。
[0010]然而，如今許多具有低成本光學(xué)系統(tǒng)的紅外線成像設(shè)備也具有短焦距，導(dǎo)致在紅外線裝置的使用時捕捉的紅外線圖像中引入了失真。更高成本的透鏡可被設(shè)計用于減少失真，但是在另一方面，成像設(shè)備的價格會更高。此外，校正失真的傳統(tǒng)圖像處理技術(shù)一般不解決存在于在紅外線成像和/或在紅外線圖像和可視光(VL)圖像的圖像合并的背景下的失真冋題。
[0011]因此，在紅外線裝置中仍會存在實(shí)現(xiàn)失真校正的需要，以適合于在這樣的裝置中出現(xiàn)的特定問題。此外，仍然存在用一種有成本效率的方法來實(shí)現(xiàn)這樣的失真校正的需要。
[0012]現(xiàn)有技術(shù)
[0013]見于美國專利申請，發(fā)明人為川崎(Kawasaki)，公開號為US2009/208136A1，公開的現(xiàn)有技術(shù)的一個實(shí)例，公開了處理具有失真的圖像數(shù)據(jù)。
[0014]現(xiàn)有技術(shù)的另一個實(shí)例被公開在格里本(K.T Gribbon)等人(et.al.)著作的文獻(xiàn)“使用雙線性插值法的桶形失真校正算法的實(shí)時現(xiàn)場可編程邏輯門陣列(FPGA)實(shí)現(xiàn)”中。該方法適合于校正關(guān)于所描述的場景的桶形失真。
[0015]見于發(fā)明人為斯特蘭德馬爾(Strandemar)等人(et.al.)的國際專利W02009/008812的現(xiàn)有技術(shù)的另一個實(shí)例，公開了基于與圖像化的場景的距離進(jìn)行待混合圖像的準(zhǔn)直的方法。
[0016]然而，這些公開物沒有一個涉及存在于紅外線成像中和/或在紅外線圖像與可見光圖像(VL)的圖像合并背景下的失真問題，或者涉及使用類似本發(fā)明的實(shí)施例的方法解決這類問題的任何嘗試。

【發(fā)明內(nèi)容】

[0017]本發(fā)明的實(shí)施例消除了上面描述的問題或者至少使之減少到最低限度。這通過根據(jù)附加的權(quán)利要求所述的設(shè)備、方法和裝置來實(shí)現(xiàn)。
[0018]依照一個或者多個實(shí)施例，針對使用紅外線裝置校正紅外線成像的系統(tǒng)和方法被公開。舉例來說，對于一個或者多個實(shí)施例，系統(tǒng)和方法可實(shí)現(xiàn)在紅外線裝置使用時所捕捉的紅外線圖像中的失真校正。
[0019]根據(jù)本發(fā)明的一個或者多個實(shí)施例，以本文公開的系統(tǒng)和方法為形式，為了校正呈現(xiàn)在使用紅外線裝置捕捉的圖像中的失真，該系統(tǒng)和方法通過使用包括在所述紅外線裝置中的第一成像系統(tǒng)捕捉第一圖像被執(zhí)行；并且基于一個預(yù)設(shè)的失真關(guān)系來校正所述圖像中第一的圖像失真。
[0020]根據(jù)一個或者多個實(shí)施例，捕捉圖像包括使用第一成像系統(tǒng)捕捉第一圖像。
[0021]根據(jù)一個或者多個實(shí)施例，校正圖像失真包括基于所述預(yù)設(shè)的失真關(guān)系來校正與觀察到的實(shí)景有關(guān)的第一圖像中的圖像失真。
[0022]根據(jù)一個或者多個實(shí)施例，所述第一成像系統(tǒng)是紅外線成像系統(tǒng)并且所述第一圖像是使用所述紅外線成像系統(tǒng)捕捉的紅外線圖像。
[0023]根據(jù)一個或者多個實(shí)施例，所述失真關(guān)系表示在所述第一圖像中由所述紅外線裝置的所述第一成像系統(tǒng)所引起的失真。
[0024]根據(jù)一個或者多個實(shí)施例，捕捉圖像包括捕捉第一圖像。
[0025]根據(jù)一個或者多個實(shí)施例，使用第二成像系統(tǒng)捕捉第二圖像并且關(guān)聯(lián)第一和第二圖像。
[0026]根據(jù)一個或者多個實(shí)施例，使用第一成像系統(tǒng)捕捉的所述第一圖像是使用紅外線成像系統(tǒng)捕捉的紅外線圖像，并且使用第二圖像系統(tǒng)捕捉的所述第二圖像是使用可見光成像系統(tǒng)捕捉的可見光圖像。
[0027]根據(jù)一個或者多個實(shí)施例，校正圖像失真包括基于所述預(yù)設(shè)的失真關(guān)系去校正與第二圖像有關(guān)的第一圖像中的圖像失真。
[0028]根據(jù)一個或者多個實(shí)施例，所述失真關(guān)系表示在所述第一圖像中由所述第一成像系統(tǒng)所引起的失真，在所述第二圖像中由所述第二成像系統(tǒng)所引起的失真，以及在所述第一圖像中由所述第一成像系統(tǒng)所引起的失真和在所述第二圖像中由所述第二成像系統(tǒng)所引起的失真之間的關(guān)系。
[0029]根據(jù)一個或者多個實(shí)施例，進(jìn)一步包括使用包括在所述紅外線裝置中的第二成像系統(tǒng)捕捉第二圖像，其中:所述失真關(guān)系表示由所述紅外線裝置的所述第一和/或第二成像系統(tǒng)所引起的失真；以及所述第一圖像的圖像失真的校正包括基于所述預(yù)設(shè)的失真關(guān)系來校正與第二圖像有關(guān)的圖像失真。
[0030]根據(jù)一個或者多個實(shí)施例，進(jìn)一步包括基于所述預(yù)設(shè)的失真關(guān)系來校正與第一圖像有關(guān)的第二圖像的圖像失真。
[0031]根據(jù)一個或者多個實(shí)施例，第一成像系統(tǒng)是紅外線成像系統(tǒng)，據(jù)此第一圖像是紅外線圖像，以及第二成像系統(tǒng)是可見光成像系統(tǒng)，據(jù)此第二圖像是可見光圖像；第一成像系統(tǒng)是可見光成像系統(tǒng)據(jù)此第一圖像是可見光圖像以及第二成像系統(tǒng)是紅外線成像系統(tǒng)據(jù)此第二圖像是紅外線圖像；第一和第二成像系統(tǒng)是兩個不同的紅外線成像系統(tǒng)以及第一和第二圖像是使用第一和第二紅外線成像系統(tǒng)分別捕捉的紅外線圖像；或者第一和第二成像系統(tǒng)是兩個不同的可見光成像系統(tǒng)以及第一和第二圖像是使用第一和第二可見光成像系統(tǒng)分別捕捉的可見光圖像。
[0032]根據(jù)一個或者多個實(shí)施例，第一成像系統(tǒng)是紅外線成像系統(tǒng)據(jù)此第一圖像是紅外線圖像，以及第二成像系統(tǒng)是可見光成像系統(tǒng)據(jù)此第二圖像是可見光圖像；第一成像系統(tǒng)是可見光成像系統(tǒng)據(jù)此第一圖像是可見光圖像以及第二成像系統(tǒng)是紅外線成像系統(tǒng)據(jù)此第二圖像是紅外線圖像；第一和第二成像系統(tǒng)是兩個不同的紅外線成像系統(tǒng)以及第一和第二圖像是使用第一和第二紅外線成像系統(tǒng)分別捕捉的紅外線圖像；或者第一和第二成像系統(tǒng)是兩個不同的可見光成像系統(tǒng)以及第一和第二圖像是使用第一和第二可見光成像系統(tǒng)分別捕捉的可見光圖像。
[0033]根據(jù)一個或者多個實(shí)施例，所述預(yù)設(shè)的失真關(guān)系是以失真映射或者查找表的形式表示的。
[0034]根據(jù)一個或者多個實(shí)施例，失真映射或者查找表基于一個或者多個有失真行為的模型。
[0035]根據(jù)一個或者多個實(shí)施例，所述失真的校正包括分別在X方向和y方向?qū)⑤斎雸D像的像素坐標(biāo)映射至校正過的輸出圖像的像素坐標(biāo)。
[0036]根據(jù)一個或者多個實(shí)施例，該計算出的映射關(guān)系至少部分取決于以旋轉(zhuǎn)偏差和/或平移偏差為形式的失真。
[0037]根據(jù)一個或者多個實(shí)施例，該方法進(jìn)一步包括將所述第一和第二圖像結(jié)合至合成圖像中。
[0038]根據(jù)一個或者多個實(shí)施例，合成圖像是添加了可見光圖像數(shù)據(jù)的紅外線圖像的對比度增強(qiáng)的版本。
[0039]根據(jù)一個或者多個實(shí)施例，該方法進(jìn)一步包括通過對準(zhǔn)紅外線圖像和可見光圖像獲取合成圖像，以及確定可見光圖像分辨率值和紅外線圖像分辨率值實(shí)質(zhì)上相同并且合成紅外線圖像和可見光圖像。
[0040]根據(jù)一個或者多個實(shí)施例，合成所述第一和第二圖像進(jìn)一步包括通過抽取可見光圖像的高空間頻率內(nèi)容來處理可見光圖像。
[0041]根據(jù)一個或者多個實(shí)施例，合成所述第一和第二圖像進(jìn)一步包括處理紅外線圖像以減少在紅外線圖像中和/或使紅外線圖像模糊的噪聲。
[0042]根據(jù)一個或者多個實(shí)施例，合成所述第一和第二圖像進(jìn)一步包括將高分辨率噪聲添加至合成圖像中。
[0043]根據(jù)一個或者多個實(shí)施例，合成所述第一和第二圖像進(jìn)一步包括將捕捉的可見光圖像和紅外線圖像的抽取的高空間頻率內(nèi)容合成至合成圖像中。
[0044]根據(jù)一個或者多個實(shí)施例，該方法進(jìn)一步包括通信數(shù)據(jù)，該數(shù)據(jù)包括經(jīng)由數(shù)據(jù)通信接口關(guān)聯(lián)圖像至外部元件。
[0045]根據(jù)一個或者多個實(shí)施例，該方法進(jìn)一步包括在集成在或者耦合于熱成像裝置內(nèi)的顯示器上顯示關(guān)聯(lián)的圖像。
[0046]根據(jù)一個或者多個實(shí)施例，該方法可以在硬件中，例如在一個現(xiàn)場可編程邏輯門陣列(FPGA)中，來實(shí)施。根據(jù)方法實(shí)施例，失真校正映射可被預(yù)設(shè)并且被放置在查找表(LUT)中。通過使用該查找表(LUT)以及像素值的插值，相比于計算在運(yùn)行時的數(shù)值，在沒有顯著降低精度的情況下，可減少硬件設(shè)計的復(fù)雜性。
[0047]根據(jù)一個實(shí)施例，提供了一種用于捕捉圖像并且用于校正呈現(xiàn)在所述圖像中的失真的紅外線(IR)裝置，該裝置包括:至少一個用于捕捉紅外線圖像的紅外線成像系統(tǒng)和/或至少一個用于捕捉可見光圖像的可見光成像系統(tǒng)；用于儲存表示由所述紅外線裝置的一個或者多個成像系統(tǒng)所引起的失真的預(yù)設(shè)的失真函數(shù)的存儲器；以及被配置為在所述的紅外線裝置的運(yùn)行過程中從所述存儲器接收檢索所述預(yù)設(shè)的失真關(guān)系的處理單元，其中該處理單元進(jìn)一步被配置為在所述紅外線裝置運(yùn)行過程中使用所述預(yù)設(shè)的失真關(guān)系去校正所述捕捉的一個或者多個圖像的失真，該處理器進(jìn)一步被配置為:使用包括在所述紅外線裝置中的成像系統(tǒng)捕捉圖像，并且基于預(yù)設(shè)的失真關(guān)系校正在所述圖像中的圖像失真。
[0048]根據(jù)一個或者多個實(shí)施例，該處理單元適合于執(zhí)行在此公開的所有的或者部分的各種方法。
[0049]通過本文所描述的實(shí)施例獲取的有益效果，是為了使得使用紅外線裝置或者紅外線攝像頭的光學(xué)系統(tǒng)具有更低的成本，是由于一些失真被允許存在。通常地，可使用更少的透鏡元件大大地減少生產(chǎn)成本。本發(fā)明的實(shí)施例還可以使用單透鏡的解決方案大大地改進(jìn)輸出結(jié)果。根據(jù)其中減少光學(xué)元件數(shù)量的實(shí)施例，通過根據(jù)本文所描述的實(shí)施例的圖像處理反而能獲取高圖像質(zhì)量；或者在紅外線裝置或者紅外線攝像頭的運(yùn)行過程中，或者在使用這樣的紅外線裝置或者紅外線攝像頭捕捉的圖像的后續(xù)處理過程中。據(jù)此，本文公開的實(shí)施例的進(jìn)一步的突出效果是包含在成像系統(tǒng)中，尤其是紅外線成像系統(tǒng)中，的光學(xué)器件的成本可被減少，同時維持或者增強(qiáng)輸出圖像質(zhì)量，或者可選地，在不增加光學(xué)器件成本的情況下，增強(qiáng)圖像質(zhì)量。
[0050]含有使用不同的成像系統(tǒng)，例如紅外線成像系統(tǒng)和可見光成像系統(tǒng)，捕捉的圖像的合成圖像，例如融合，的紅外線成像中出現(xiàn)的特定的問題是，這些圖像必須被對準(zhǔn)為了使合成結(jié)果滿足目視判讀和測量相關(guān)性。發(fā)明人已經(jīng)意識到通過省去執(zhí)行關(guān)于實(shí)景或者外部參照物的失真校正的步驟以降低計算復(fù)雜性，而是根據(jù)本文呈現(xiàn)的不同實(shí)施例來執(zhí)行彼此相關(guān)的圖像的失真校正，以更加資源效率的方式能夠執(zhí)行失真校正，滿足輸出質(zhì)量。換句話說，根據(jù)本文所描述的實(shí)施例，失真校正不必進(jìn)一步地關(guān)于實(shí)景或者外部參照物“完善”。因此，相比于先前運(yùn)算上更加昂貴的方案，失真校正可以以一個有成本和資源效率的方式執(zhí)行。
[0051]通過本發(fā)明的實(shí)施例可以實(shí)現(xiàn)進(jìn)一步的突出效果，是實(shí)現(xiàn)待被合成的圖像的改進(jìn)準(zhǔn)直，據(jù)此在合成后還渲染更高質(zhì)量的圖像，例如更清晰的圖像。
[0052]此外，由于所涉及的計算在運(yùn)算上的花費(fèi)并不昂貴，在紅外線裝置的操作過程中，本發(fā)明的實(shí)施例可實(shí)時執(zhí)行。此外，本發(fā)明的實(shí)施例可使用現(xiàn)場可編程邏輯門陣列(FPGA)或者其他類型的有限的或者功能性的專業(yè)處理單元執(zhí)行。
[0053]通常地，紅外線圖像具有比可見光圖像更低的分辨率，并且因此具有比對于可見光圖像來說運(yùn)算上更不昂貴的校正的像素值失真的計算。因此，這可以是校正與可見光圖像相關(guān)的紅外線圖像的失真的好處。然而，取決于使用的成像系統(tǒng)，對于一些實(shí)施例來說反過來也可能是成立的。此外，由于紅外線圖像相比于，例如可見光圖像，通常更加模糊，或者換句話說包括以邊界和輪廓為形式的更低的對比度，向下采樣和使用內(nèi)插的值可在不存在任何可見光催化的情形下被用于紅外線圖像。正如本文所呈現(xiàn)的，本發(fā)明的實(shí)施例，其中從兩個不同的成像系統(tǒng)得到的圖像被提及，還可涉及第一和第二圖像關(guān)于其他圖像的部分校
IHo
[0054]在現(xiàn)有技術(shù)中知曉的任何合適的插值方法，取決于諸如例如如果焦點(diǎn)在質(zhì)量成本或者運(yùn)算成本上的情形中，可根據(jù)本發(fā)明的實(shí)施例被用于插值。
[0055]正如本文所描述的，方法和裝置的實(shí)施例進(jìn)一步解決了校正以由包括在紅外線裝置中的各自成像系統(tǒng)所引起的旋轉(zhuǎn)和/或平移為形式的失真的問題。
[0056]根據(jù)實(shí)施例，提供了具有適合于執(zhí)行所有或者部分的本文公開的方法的各種實(shí)施例的處理器的計算機(jī)系統(tǒng)。
[0057]根據(jù)實(shí)施例，提供了計算機(jī)可讀媒介，其上儲存有適合于控制用來執(zhí)行所有或者部分的本文公開的方法的各種實(shí)施例的處理器的非臨時性信息。
[0058]本發(fā)明的范圍被上述權(quán)利要求所定義，成為這個
【發(fā)明內(nèi)容】
的一部分供參考。通過考慮下文的一個或者多個實(shí)施例的詳細(xì)描述，本發(fā)明的實(shí)施例的更加完整的理解和其中額外優(yōu)點(diǎn)的啟示將被給予給那些本領(lǐng)域的技術(shù)人員。被首先簡略地描述的附加圖片可作為參考。
【附圖說明】
[0059]現(xiàn)在通過參考附圖，將更加詳細(xì)地描述本發(fā)明的實(shí)施例，其中:
[0060]圖1為根據(jù)本發(fā)明的實(shí)施例所述的紅外線(IR)裝置的示意圖；
[0061]圖2a和圖2b示出了根據(jù)實(shí)施例所述的圖像失真校正的實(shí)例；
[0062]圖3a和圖3b示出了根據(jù)實(shí)施例所述的失真校正方法的流程圖；
[0063]圖4示出了根據(jù)實(shí)施例所述的失真校正的流程視圖；
[0064]圖5是根據(jù)實(shí)施例所述的方法的流程圖；
[0065]圖6示出了依照公開的實(shí)施例所述，從紅外線圖像和可視光(VL)圖像中去獲取合成圖像的方法的流程圖；
[0066]圖7示出了依照公開的實(shí)施例所述，包括諸如觸屏之類的交互式顯示器、圖像顯示器部位以及使用戶能夠進(jìn)行輸入的控制裝置的輸入設(shè)備的實(shí)例；
[0067]圖8a舉例說明了依照公開的實(shí)施例所述，在沒有啟用視場角跟蹤功能的情況下，可見光成像系統(tǒng)和紅外線成像系統(tǒng)的視場角；
[0068]圖Sb說明了依照公開的實(shí)施例所述，當(dāng)啟用視場角跟蹤功能時，經(jīng)處理的可見光圖像和經(jīng)處理的紅外線圖像的實(shí)例，描繪或者表示捕捉視圖的基本上相同的子集；
[0069]圖9示出了依照公開的實(shí)施例所述，顯示圖像數(shù)據(jù)和信息的顯示電子設(shè)備，圖像數(shù)據(jù)和信息包含紅外線圖像、可見光圖像或者關(guān)聯(lián)紅外線數(shù)據(jù)和可見光數(shù)據(jù)的合成圖像；
[0070]圖1Oa說明了依照公開的實(shí)施例所述，在沒有失真校正的情況下，合成第一失真圖像和第二失真圖像的方法；
[0071]圖1Ob說明了依照公開的實(shí)施例，在啟用失真校正功能的情況下，合成第一失真圖像和第二失真圖像的方法；
[0072]通過參照下文的詳細(xì)描述可以最充分地理解本發(fā)明的實(shí)施例和它們的優(yōu)點(diǎn)。應(yīng)該明白的是，在附圖中以相同的引用標(biāo)號標(biāo)注相同的元件。
【具體