用于執(zhí)行投影圖像到檢測(cè)到的紅外線(ir)輻射信息的對(duì)準(zhǔn)的方法和系統(tǒng)的制作方法
【專利摘要】一種利用熱成像布置(10)基于從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射把紅外線(IR)輻射信息的可見(jiàn)表示呈現(xiàn)到所述觀察的現(xiàn)實(shí)世界場(chǎng)景上的方法，其中熱成像布置(10)包括紅外線(IR)成像系統(tǒng)(18)、可見(jiàn)光成像系統(tǒng)(14)和可見(jiàn)光投影系統(tǒng)(22)。
【專利說(shuō)明】用于執(zhí)行投影圖像到檢測(cè)到的紅外線(IR)輻射信息的對(duì)準(zhǔn)的方法和系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般而言涉及，依賴于檢測(cè)到的來(lái)自對(duì)象場(chǎng)景的紅外線(IR)輻射信息，圖像到觀察的場(chǎng)景上的投影。更具體而言，本發(fā)明涉及投影圖像到檢測(cè)到的紅外線(IR)輻射信息的對(duì)準(zhǔn)。

【背景技術(shù)】
[0002]在紅外線(IR)成像或熱成像的場(chǎng)中，常見(jiàn)的是利用IR成像系統(tǒng)，也稱為熱成像布置，例如以IR相機(jī)的形式，捕捉從觀察的場(chǎng)景發(fā)射的IR輻射，并且把IR輻射信息處理成通常在系統(tǒng)的顯示器上向用戶示出的可見(jiàn)光圖像。
[0003]與此相關(guān)的問(wèn)題是成像系統(tǒng)的用戶難以區(qū)分并分析什么在顯示器上示出，因?yàn)榇鞩R輻射信息的圖像常常具有低分辨率并且顯示單元通常相當(dāng)小。
[0004]IR成像系統(tǒng)的用戶可以選擇保存一個(gè)或多個(gè)圖像并且把它們傳送到另一單元，諸如計(jì)算機(jī)，用于隨后顯示。以這種方式，這一個(gè)或多個(gè)圖像可以在更大的顯示器上呈現(xiàn)。但是，這導(dǎo)致從IR輻射被檢測(cè)到的時(shí)刻到檢測(cè)到的信息向用戶呈現(xiàn)的時(shí)刻的延遲，換句話說(shuō)，檢測(cè)到的信息的分析不能在現(xiàn)場(chǎng)執(zhí)行。此外，用戶難以回顧性地把顯示在計(jì)算機(jī)上的信息關(guān)聯(lián)到IR輻射檢測(cè)已經(jīng)執(zhí)行的現(xiàn)實(shí)世界場(chǎng)景。
[0005]在IR相機(jī)和典型用例中，操作人員會(huì)想通過(guò)檢測(cè)對(duì)象的不同點(diǎn)或部分的溫度來(lái)分析觀察的場(chǎng)景中一個(gè)或多個(gè)對(duì)象或表面的特點(diǎn)。操作人員捕捉IR圖像，然后比較場(chǎng)景的IR圖像與現(xiàn)實(shí)世界場(chǎng)景。在這個(gè)過(guò)程中，操作人員必須通過(guò)比較在通常小的IR相機(jī)顯示器上顯示的內(nèi)容與現(xiàn)實(shí)世界場(chǎng)景來(lái)把圖像信息翻譯或解釋成現(xiàn)實(shí)，以便理解顯示器上的圖像信息如何關(guān)聯(lián)到現(xiàn)實(shí)世界場(chǎng)景，其中會(huì)存在必然的努力、錯(cuò)誤源和延遲。
[0006]有些相關(guān)技術(shù)通過(guò)提供IR檢測(cè)器或IR相機(jī)和可見(jiàn)光投影機(jī)的組合來(lái)解決這些問(wèn)題，使得更大的可見(jiàn)圖像能夠在現(xiàn)場(chǎng)顯示，例如，該可見(jiàn)圖像投影到觀察的場(chǎng)景的平表面上。這種相關(guān)技術(shù)設(shè)計(jì)成依賴于IR輻射生成可見(jiàn)光圖像并且把IR輻射的可見(jiàn)解釋直接投影到觀察的場(chǎng)景上。由此使得有可能與觀察的場(chǎng)景更緊密關(guān)聯(lián)地使用IR輻射信息。
[0007]隨著技術(shù)發(fā)展以及更小構(gòu)造部件可以獲得，小尺寸投影設(shè)備的生產(chǎn)變得日益普通。因此，這種“小型化”投影儀可以例如結(jié)合手持式設(shè)備，諸如具有成像能力或成像系統(tǒng)的移動(dòng)通信設(shè)備，使用。這種發(fā)展也使得生產(chǎn)具有投影儀的手持式IR相機(jī)更可行。但是，在相關(guān)技術(shù)中，仍然需要開(kāi)發(fā)用于集成IR相機(jī)和投影機(jī)的方法。
[0008]由于IR圖像形式的IR信息的捕捉以及作為IR圖像可見(jiàn)表示的可見(jiàn)圖像的投影是由不同且物理上分離的部件執(zhí)行的，因此部件的光軸通常彼此有一定距離并且稱為視差的光學(xué)現(xiàn)象將發(fā)生。為了補(bǔ)償視差誤差，圖像必須對(duì)準(zhǔn)。按照慣例，對(duì)準(zhǔn)是通過(guò)成像系統(tǒng)中的光學(xué)元件，例如對(duì)焦透鏡或分束器，的調(diào)節(jié)來(lái)實(shí)現(xiàn)的。利用成像系統(tǒng)中光學(xué)或其它物理元件的對(duì)準(zhǔn)需要成像系統(tǒng)中的空間并且會(huì)難以適合。此外，成像系統(tǒng)中附加或經(jīng)過(guò)特別改裝的元件的包括造成更高的生產(chǎn)成本。
[0009]相關(guān)技術(shù)的例子
[0010]公開(kāi)IR檢測(cè)器和可見(jiàn)光投影儀的結(jié)合的相關(guān)技術(shù)的例子在以下文檔中找到。
[0011]授予Cannamela的專利公開(kāi)US 2008/0224041 Al公開(kāi)了用于現(xiàn)實(shí)世界場(chǎng)景上的表面下異常檢測(cè)和圖像投影的方法和裝置。根據(jù)該公開(kāi)內(nèi)容的各方面，該方法包括利用檢測(cè)器確定在觀察的場(chǎng)景中表面之后一個(gè)位置的表面下異常的存在并且生成代表該異常的信號(hào)表示。該信號(hào)被發(fā)送到投影儀、轉(zhuǎn)換成該異常的可見(jiàn)表示并且投影到該表面上的其中該表面下異常在其后面存在的該表面上的位置處。
[0012]授予Qinetiq的專利公開(kāi)US 7，579，592 B2公開(kāi)了照明和成像系統(tǒng)及方法。根據(jù)該公開(kāi)內(nèi)容的各方面，熱手電筒包括IR相機(jī)和可見(jiàn)光發(fā)射器，布置成利用可見(jiàn)光照亮熱對(duì)象。IR信息轉(zhuǎn)換成可見(jiàn)光并且可見(jiàn)光投影到場(chǎng)景上。這個(gè)文檔公開(kāi)了利用分束器進(jìn)行對(duì)準(zhǔn)的解決方案。
[0013]公開(kāi)視差補(bǔ)償和/或圖像對(duì)準(zhǔn)的相關(guān)技術(shù)的例子在以下文檔中找到。
[0014]在相機(jī)顯示器登記可見(jiàn)光相機(jī)模塊和紅外線相機(jī)模塊的獨(dú)立視場(chǎng)的方法和裝置在授予Johnson等人的文檔US 2006/0289772 Al中找到。US 2006/0289772 Al的登記需要諸如霍爾效應(yīng)傳感器的傳感器。該文檔只公開(kāi)了顯示在數(shù)字顯示器上的圖像之間的對(duì)準(zhǔn)，并且沒(méi)有公開(kāi)投影設(shè)備的使用。
[0015]文檔EP 2107799 Al FLIR Systems AB公開(kāi)了具有分別用于記錄IR圖像和可見(jiàn)圖像的兩個(gè)光學(xué)系統(tǒng)以及激光指示器的IR相機(jī)。與可見(jiàn)圖像和IR圖像之間的位移相關(guān)的一個(gè)或多個(gè)參數(shù)用來(lái)確定IR圖像中激光點(diǎn)相對(duì)于可見(jiàn)圖像中檢測(cè)到的位置的位移。該公開(kāi)內(nèi)容的目的是通過(guò)在數(shù)字顯示器上顯示的圖像的對(duì)準(zhǔn)來(lái)確定激光點(diǎn)在紅外線圖像中的位置，并且沒(méi)有公開(kāi)投影設(shè)備的使用。
[0016]因此，存在對(duì)IR輻射信息的可見(jiàn)表示到檢測(cè)到的IR信息的改進(jìn)對(duì)準(zhǔn)的需求。
[0017]發(fā)明目的
[0018]本發(fā)明的目標(biāo)是提供組合的IR成像設(shè)備和可見(jiàn)光投影儀，其具有IR輻射信息的可見(jiàn)表示到檢測(cè)到的紅外線(IR)輻射信息的改進(jìn)對(duì)準(zhǔn)。
[0019]本發(fā)明的更多目標(biāo)是解決以下部分問(wèn)題:
[0020]-如何提供包括檢測(cè)到的從現(xiàn)實(shí)世界場(chǎng)景發(fā)射的IR輻射的可見(jiàn)表示的投影圖像到所述檢測(cè)到的IR輻射的改進(jìn)對(duì)準(zhǔn)。
[0021]-如何以低成本提供用于執(zhí)行上述改進(jìn)對(duì)準(zhǔn)的成像系統(tǒng)。
[0022]-如何在投影到與可見(jiàn)光投影儀的光軸不正交的表面上時(shí)使能改進(jìn)的對(duì)準(zhǔn)。
[0023]-如何在投影到不平的表面上時(shí)使能改進(jìn)的對(duì)準(zhǔn)。
[0024]-如何在可見(jiàn)光投影儀的光學(xué)系統(tǒng)和IR成像系統(tǒng)之間的相對(duì)距離未知時(shí)使能改進(jìn)的對(duì)準(zhǔn)。
[0025]-如何在與IR成像系統(tǒng)結(jié)合提供可見(jiàn)光投影儀的靈活使用時(shí)，例如在可見(jiàn)光投影儀和IR成像系統(tǒng)是獨(dú)立部件時(shí)，使能改進(jìn)的對(duì)準(zhǔn)。
[0026]本發(fā)明的一種或多種實(shí)施例解決或至少最小化以上提到的問(wèn)題。


【發(fā)明內(nèi)容】

[0027]根據(jù)示例性實(shí)施例，本發(fā)明便于讓用戶向觀察的現(xiàn)實(shí)世界場(chǎng)景登記IR輻射信息。
[0028]根據(jù)更多的示例性實(shí)施例，本發(fā)明提供IR輻射的可見(jiàn)光投影，該輻射是從具有一個(gè)或多個(gè)對(duì)象的觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射并利用IR檢測(cè)器捕捉的，其中可見(jiàn)光投影被投影到觀察的現(xiàn)實(shí)世界場(chǎng)景、一個(gè)或多個(gè)對(duì)象上。
[0029]根據(jù)另一種示例性實(shí)施例，本發(fā)明提供與在其上投影的觀察的現(xiàn)實(shí)世界場(chǎng)景、一個(gè)或多個(gè)對(duì)象正確對(duì)準(zhǔn)的可見(jiàn)光投影。
[0030]根據(jù)本發(fā)明的一方面，提供了利用熱成像布置基于從觀察的現(xiàn)實(shí)世界發(fā)射的紅外線(IR)輻射把紅外線(IR)輻射信息的可見(jiàn)表示呈現(xiàn)到所述現(xiàn)實(shí)世界場(chǎng)景上的方法，其中熱成像布置包括紅外線(IR)成像系統(tǒng)、可見(jiàn)光成像系統(tǒng)(14)和可見(jiàn)光投影系統(tǒng)，其中紅外線(IR)輻射信息的可見(jiàn)表示與從所述觀察的現(xiàn)實(shí)世界發(fā)射的紅外線(IR)輻射對(duì)準(zhǔn)呈現(xiàn)，該方法包括步驟:根據(jù)第一視場(chǎng)檢測(cè)從所述觀察的現(xiàn)實(shí)世界發(fā)射的紅外線(IR)輻射，或者更具體地說(shuō)是基于檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射來(lái)捕捉紅外線(IR)輻射信息；以紅外線(IR)圖像的形式創(chuàng)建所述檢測(cè)到的紅外線(IR)輻射的可見(jiàn)表示；根據(jù)第二視場(chǎng)把可見(jiàn)光圖案投影到所述觀察的現(xiàn)實(shí)世界場(chǎng)景上，其中第二視場(chǎng)至少部分地重疊第一視場(chǎng)；根據(jù)第三視場(chǎng)捕捉所述觀察的現(xiàn)實(shí)世界場(chǎng)景的可見(jiàn)光圖像，包括所述投影的可見(jiàn)光，該第三視場(chǎng)至少部分地重疊第一和/或第二視場(chǎng)；在所述捕捉到的可見(jiàn)光圖像中檢測(cè)所述投影的可見(jiàn)光圖案；確定可見(jiàn)光圖像中投影的可見(jiàn)光圖案像素坐標(biāo)和可見(jiàn)光圖像中的像素坐標(biāo)之間以像素為單位的像素位移d(pix vis)，其中，如果可見(jiàn)光成像系統(tǒng)和可見(jiàn)光投影系統(tǒng)對(duì)準(zhǔn)，則投影的可見(jiàn)光圖案將出現(xiàn)；基于檢測(cè)到的投影的可見(jiàn)光圖案和可見(jiàn)光圖像之間的像素位移d(pix vis)，確定IR圖像和可見(jiàn)光圖像之間的像素位移d(pix IE);基于所述確定的像素位移(1(_ IK)，把所述檢測(cè)到的紅外線(IR)輻射的所述可見(jiàn)光表示，換句話說(shuō)是所述IR圖像，對(duì)準(zhǔn)到檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射；以及通過(guò)根據(jù)第二視場(chǎng)與檢測(cè)到的從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的IR輻射對(duì)準(zhǔn)地把它投影到所述現(xiàn)實(shí)世界場(chǎng)景上來(lái)呈現(xiàn)所述對(duì)準(zhǔn)的IR圖像。
[0031]根據(jù)本發(fā)明的另一方面，提供了基于從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射把紅外線(IR)輻射信息的可見(jiàn)表示呈現(xiàn)到觀察的現(xiàn)實(shí)世界場(chǎng)景上的熱成像布置，其中紅外線(IR)輻射信息的可見(jiàn)表示與從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的所述紅外線(IR)輻射對(duì)準(zhǔn)呈現(xiàn)，該布置包括:紅外線(IR)成像系統(tǒng)(18)，用于根據(jù)第一視場(chǎng)檢測(cè)從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射；處理器，適于把由紅外線(IR)成像系統(tǒng)檢測(cè)到的紅外線(IR)輻射數(shù)據(jù)變換成圖像數(shù)據(jù)，由此創(chuàng)建紅外線(IR)圖像；該布置還包括可見(jiàn)光投影系統(tǒng)，適于根據(jù)第二視場(chǎng)把可見(jiàn)光圖案投影到所述觀察的現(xiàn)實(shí)世界場(chǎng)景上，其中第二視場(chǎng)至少部分地重疊第一視場(chǎng)；以及可見(jiàn)光成像系統(tǒng)，適于根據(jù)第三視場(chǎng)捕捉所述觀察的現(xiàn)實(shí)世界場(chǎng)景的可見(jiàn)光圖像，包括所述投影的可見(jiàn)光圖案，其中第三視場(chǎng)至少部分地重疊第一和/或第二視場(chǎng)；所述處理器還適于在所述捕捉到的可見(jiàn)光圖像中檢測(cè)所述可見(jiàn)光圖案；確定可見(jiàn)光圖像中投影的可見(jiàn)光圖案像素坐標(biāo)和可見(jiàn)光圖像中的像素坐標(biāo)之間以像素為單位的像素位移(1(_ vis)，其中，如果可見(jiàn)光成像系統(tǒng)和可見(jiàn)光投影系統(tǒng)對(duì)準(zhǔn)，則投影的可見(jiàn)光圖案將出現(xiàn)；基于檢測(cè)到的投影的可見(jiàn)光圖案和可見(jiàn)光圖像之間的像素位移士_&)，確定紅外線(IR)圖像和可見(jiàn)光圖像之間的像素位移d(pix IE);基于所述像素位移d(pix IK)，把所述紅外線(IR)圖像對(duì)準(zhǔn)到檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射；并且通過(guò)根據(jù)第二視場(chǎng)與檢測(cè)到的從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射對(duì)準(zhǔn)地把它投影到所述現(xiàn)實(shí)世界場(chǎng)景上來(lái)呈現(xiàn)所述對(duì)準(zhǔn)的紅外線(IR)圖像。
[0032]根據(jù)本發(fā)明的不同方面，還提供了計(jì)算機(jī)系統(tǒng)，該計(jì)算機(jī)系統(tǒng)具有處理器，適于執(zhí)行發(fā)明性方法實(shí)施例的任何步驟或功能；計(jì)算機(jī)可讀介質(zhì)，在其上存儲(chǔ)適于控制處理器執(zhí)行發(fā)明性方法實(shí)施例的任何步驟或功能的非暫時(shí)性信息；包括代碼部分的計(jì)算機(jī)程序產(chǎn)品，其中代碼部分適于控制處理器執(zhí)行發(fā)明性方法實(shí)施例的任何步驟或功能；和/或包括配置數(shù)據(jù)的計(jì)算機(jī)程序產(chǎn)品，其中配置數(shù)據(jù)適于配置現(xiàn)場(chǎng)可編程門陣列(FPGA)執(zhí)行發(fā)明性方法實(shí)施例的任何步驟或功能。
[0033]以下進(jìn)一步描述的本發(fā)明的不同實(shí)施例提供了 IR輻射信息的可見(jiàn)表示到檢測(cè)到的紅外線(IR)輻射信息的改進(jìn)對(duì)準(zhǔn)的優(yōu)點(diǎn)。
[0034]本發(fā)明的一種或多種實(shí)施例包括利用熱成像布置(10)基于從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射把紅外線(IR)輻射信息的可見(jiàn)表示呈現(xiàn)到所述觀察的現(xiàn)實(shí)世界場(chǎng)景上的方法，其中熱成像布置(10)包括紅外線(IR)成像系統(tǒng)(18)、可見(jiàn)光成像系統(tǒng)
(14)和可見(jiàn)光投影系統(tǒng)(22)，該方法包括步驟:
[0035]根據(jù)所述紅外線(IR)成像系統(tǒng)(18)的第一視場(chǎng)，基于檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射來(lái)捕捉紅外線(IR)輻射信息；
[0036]以紅外線(IR)圖像的形式創(chuàng)建所述檢測(cè)到的紅外線(IR)輻射的可見(jiàn)表示；
[0037]根據(jù)所述可見(jiàn)光投影系統(tǒng)(22)的第二視場(chǎng)，把可見(jiàn)光圖案投影到所述觀察的現(xiàn)實(shí)世界場(chǎng)景上，所述第二視場(chǎng)至少部分地重疊所述第一視場(chǎng)；
[0038]根據(jù)所述可見(jiàn)光成像系統(tǒng)(14)的第三視場(chǎng)，捕捉所述觀察的現(xiàn)實(shí)世界場(chǎng)景的可見(jiàn)光圖像，所述場(chǎng)景包括所述投影的可見(jiàn)光圖案，所述第三視場(chǎng)至少部分地重疊第一和/或第二視場(chǎng)；
[0039]檢測(cè)所述捕捉到的可見(jiàn)光圖像中所述投影的可見(jiàn)光圖案；
[0040]依賴于所述可見(jiàn)光成像系統(tǒng)(14)和所述可見(jiàn)光投影系統(tǒng)(22)之間的預(yù)定關(guān)系，檢測(cè)可見(jiàn)光圖像中的像素坐標(biāo)中所述檢測(cè)到的可見(jiàn)光圖案的像素坐標(biāo)和所述投影的可見(jiàn)光圖案的計(jì)算出的像素坐標(biāo)之間的像素位移(d(pix vis))，其中，如果可見(jiàn)光成像系統(tǒng)和可見(jiàn)光投影系統(tǒng)對(duì)準(zhǔn)，則投影的可見(jiàn)光圖案將出現(xiàn)；
[0041]依賴于所述紅外線(IR)成像系統(tǒng)(18)和所述可見(jiàn)光投影系統(tǒng)(22)之間的預(yù)定關(guān)系，基于檢測(cè)到的投影的可見(jiàn)光圖案和可見(jiàn)光圖像之間的像素位移d(pix vis)，確定定紅外線(IR)圖像中的像素坐標(biāo)中紅外線(IR)圖像和可見(jiàn)光圖像之間的像素位移d(pixIK)；
[0042]基于所述像素位移d(pix IK)，把所述紅外線(IR)圖像對(duì)準(zhǔn)到檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射 '及
[0043]通過(guò)根據(jù)第二視場(chǎng)，與檢測(cè)到的從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的IR輻射對(duì)準(zhǔn)地把它投影到所述現(xiàn)實(shí)世界場(chǎng)景上來(lái)呈現(xiàn)所述對(duì)準(zhǔn)的紅外線(IR)圖像。
[0044]本發(fā)明的一種或多種實(shí)施例包括基于從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射把紅外線(IR)輻射信息的可見(jiàn)表示呈現(xiàn)到所述觀察的現(xiàn)實(shí)世界場(chǎng)景上的熱成像布置(10)，該布置(10)包括:
[0045]紅外線(IR)成像系統(tǒng)(18)，用于根據(jù)第一視場(chǎng)檢測(cè)從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射；
[0046]處理器(13)，適于根據(jù)所述紅外線(IR)成像系統(tǒng)(18)的第一視場(chǎng)基于檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射來(lái)捕捉紅外線(IR)輻射信息，由此以紅外線(IR)圖像的形式創(chuàng)建所述檢測(cè)到的紅外線(IR)輻射的可見(jiàn)表示；
[0047]可見(jiàn)光投影系統(tǒng)(22)，適于根據(jù)第二視場(chǎng)把可見(jiàn)光圖案和/或圖像投影到所述觀察的現(xiàn)實(shí)世界場(chǎng)景上，其中第二視場(chǎng)至少部分地重疊第一視場(chǎng)；
[0048]可見(jiàn)光成像系統(tǒng)(14)，適于根據(jù)第三視場(chǎng)捕捉所述觀察的現(xiàn)實(shí)世界場(chǎng)景的可見(jiàn)光圖像，其中第三視場(chǎng)至少部分地重疊第一和/或第二視場(chǎng)；
[0049]所述處理器(13)還適于:
[0050]根據(jù)所述可見(jiàn)光投影系統(tǒng)(22)的第二視場(chǎng)把可見(jiàn)光圖案投影到所述觀察的現(xiàn)實(shí)世界場(chǎng)景上，其中所述第二視場(chǎng)至少部分地重疊所述第一視場(chǎng)；
[0051]根據(jù)所述可見(jiàn)光成像系統(tǒng)(14)的第三視場(chǎng)捕捉所述觀察的現(xiàn)實(shí)世界場(chǎng)景的可見(jiàn)光圖像，所述場(chǎng)景包括所述投影的可見(jiàn)光圖案，其中所述第三視場(chǎng)至少部分地重疊第一和/或第二視場(chǎng)；
[0052]在所述捕捉到的可見(jiàn)光圖像中檢測(cè)所述可見(jiàn)光圖案；
[0053]依賴于所述可見(jiàn)光成像系統(tǒng)(14)和所述可見(jiàn)光投影系統(tǒng)(22)之間的預(yù)定關(guān)系，確定在可見(jiàn)光圖像中的像素坐標(biāo)中所述檢測(cè)到的可見(jiàn)光圖案的像素坐標(biāo)和所述投影的可見(jiàn)光圖案的計(jì)算出的像素坐標(biāo)之間的像素位移(d(pix vis))，其中，如果可見(jiàn)光成像系統(tǒng)和可見(jiàn)光投影系統(tǒng)對(duì)準(zhǔn)，則投影的可見(jiàn)光圖案將出現(xiàn)；
[0054]依賴于所述紅外線(IR)成像系統(tǒng)(18)和所述可見(jiàn)光投影系統(tǒng)(22)之間的預(yù)定關(guān)系，基于檢測(cè)到的投影的可見(jiàn)光圖案和可見(jiàn)光圖像之間的所述像素位移d(pix vis)，確定紅外線(IR)圖像中像素坐標(biāo)中的紅外線(IR)圖像和可見(jiàn)光圖像之間的像素位移d(pixIK)；
[0055]基于所述像素位移d(pix IE)，把所述IR圖像對(duì)準(zhǔn)到檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射；并且
[0056]通過(guò)根據(jù)第二視場(chǎng)與檢測(cè)到的從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的IR輻射對(duì)準(zhǔn)地把它投影到所述現(xiàn)實(shí)世界場(chǎng)景上來(lái)呈現(xiàn)所述對(duì)準(zhǔn)的紅外線(IR)圖像。
[0057]此外，以下優(yōu)點(diǎn)是通過(guò)本發(fā)明的實(shí)施例實(shí)現(xiàn)的:
[0058]-實(shí)現(xiàn)了投影圖像到所述檢測(cè)到的IR輻射的改進(jìn)對(duì)準(zhǔn)，其中投影圖像包括檢測(cè)到的從現(xiàn)實(shí)世界場(chǎng)景發(fā)射的所述IR輻射的可見(jiàn)表示。
[0059]-用于執(zhí)行上述改進(jìn)對(duì)準(zhǔn)的成像系統(tǒng)以低成本提供。
[0060]-在投影到與可見(jiàn)光投影儀的光軸不正交的表面上時(shí)實(shí)現(xiàn)了改進(jìn)的對(duì)準(zhǔn)。
[0061]-在投影到不平的表面上時(shí)實(shí)現(xiàn)了改進(jìn)的對(duì)準(zhǔn)。
[0062]-甚至在可見(jiàn)光投影儀的光學(xué)系統(tǒng)和IR成像系統(tǒng)之間的相對(duì)距離未知時(shí)都獲得了改進(jìn)的對(duì)準(zhǔn)。
[0063]-在結(jié)合IR成像系統(tǒng)提供可見(jiàn)光投影儀的靈活使用時(shí)，例如在可見(jiàn)光投影儀和IR成像系統(tǒng)是獨(dú)立部件時(shí)，實(shí)現(xiàn)了改進(jìn)的對(duì)準(zhǔn)。

【專利附圖】

【附圖說(shuō)明】
[0064]以下參考附圖通過(guò)示例實(shí)施例進(jìn)一步描述本發(fā)明，其中:
[0065]圖1A-1C示出了根據(jù)本發(fā)明不同示例性實(shí)施例的熱成像布置的示意圖。
[0066]圖2示出了根據(jù)本發(fā)明實(shí)施例、與觀察的場(chǎng)景相關(guān)的熱成像布置的三個(gè)光學(xué)系統(tǒng)的布置的示意圖。
[0067]圖3A根據(jù)由本發(fā)明實(shí)施例使其成為可能的示例性用例示出了用在與可見(jiàn)光投影儀的光軸不正交的表面上的IR成像系統(tǒng)的光學(xué)系統(tǒng)的示意圖。
[0068]圖3B根據(jù)由本發(fā)明實(shí)施例使其成為可能的另一個(gè)示例性用例示出了用在不平表面上的熱成像布置的光學(xué)系統(tǒng)的示意圖。
[0069]圖3C示出了一個(gè)示例性實(shí)施例，其中熱成像布置的投影儀的光軸OA斜著落到場(chǎng)景中的表面上。
[0070]圖4A是根據(jù)實(shí)施例示出生產(chǎn)期間校準(zhǔn)/對(duì)準(zhǔn)的框圖。
[0071]圖4B是根據(jù)實(shí)施例示出自校準(zhǔn)/對(duì)準(zhǔn)的框圖。
[0072]圖5是根據(jù)本發(fā)明的實(shí)施例、執(zhí)行投影圖像到檢測(cè)到的IR輻射信息的對(duì)準(zhǔn)的方法的流程圖。
[0073]圖6是根據(jù)實(shí)施例示出操作期間調(diào)節(jié)/對(duì)準(zhǔn)的框圖。
[0074]圖7是根據(jù)實(shí)施例的不同模式的示意性概述。
[0075]圖8是根據(jù)實(shí)施例示出校準(zhǔn)的/對(duì)準(zhǔn)的熱成像布置的操作的框圖。

【具體實(shí)施方式】
[0076]介紹
[0077]因此，本發(fā)明的實(shí)施例涉及用于IR(紅外線)成像，也稱為熱成像，的解決方案，其中，代替或者除就像具有IR成像布置，或熱成像布置，的常見(jiàn)情況那樣的顯示器布置上的間接視圖之外，紅外線圖像也利用可見(jiàn)光的投影實(shí)時(shí)地或者近乎實(shí)時(shí)地疊加到現(xiàn)實(shí)世界場(chǎng)景上。這意味著用戶可以使用他或她自己的正常視覺(jué)來(lái)觀察現(xiàn)實(shí)世界場(chǎng)景，其中投影到場(chǎng)景上的可見(jiàn)光使得用戶更容易解釋和/或分析所觀察的場(chǎng)景。例如，投影的可見(jiàn)光可以突出觀察的場(chǎng)景中感興趣的對(duì)象或區(qū)域。
[0078]根據(jù)本發(fā)明的實(shí)施例，提供了利用熱成像布置10基于從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的IR輻射把IR輻射信息的可見(jiàn)表示呈現(xiàn)到觀察的現(xiàn)實(shí)世界場(chǎng)景上的方法和布置，其中熱成像布置10包括IR成像系統(tǒng)18、可見(jiàn)光成像系統(tǒng)14和可見(jiàn)光投影系統(tǒng)22。
[0079]根據(jù)本發(fā)明的實(shí)施例，提供了利用熱成像布置(10)基于從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的IR輻射來(lái)呈現(xiàn)紅外線(IR)輻射信息的可見(jiàn)表示的方法和熱成像布置(10)，其中熱成像布置10包括IR成像系統(tǒng)18、可見(jiàn)光成像系統(tǒng)14和可見(jiàn)光投影系統(tǒng)22。
[0080]根據(jù)本發(fā)明的實(shí)施例，紅外線(IR)輻射信息的可見(jiàn)表示與從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的所述紅外線(IR)輻射對(duì)準(zhǔn)呈現(xiàn)。
[0081]根據(jù)實(shí)施例，IR成像系統(tǒng)18適于根據(jù)第一視場(chǎng)檢測(cè)從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射。
[0082]根據(jù)實(shí)施例，提供了根據(jù)本領(lǐng)域中本身已知的方法，例如，以本領(lǐng)域技術(shù)人員將理解的一種或多種常規(guī)方式，檢測(cè)從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射的方法。
[0083]根據(jù)實(shí)施例，處理器(13)適于把由紅外線(IR)成像系統(tǒng)18檢測(cè)到的紅外線(IR)輻射數(shù)據(jù)變換成可見(jiàn)表示，由此創(chuàng)建紅外線(IR)圖像。以這種方式，檢測(cè)到的紅外線(IR)信息的可見(jiàn)表示被創(chuàng)建。
[0084]根據(jù)一種或多種實(shí)施例，熱成像布置包括可見(jiàn)光成像系統(tǒng)14，并且其中對(duì)準(zhǔn)包括例如如下使用所述可見(jiàn)光成像系統(tǒng)。
[0085]根據(jù)實(shí)施例，提供了用于根據(jù)本領(lǐng)域中本身已知的方法，例如，以本領(lǐng)域技術(shù)人員將理解的一種或多種常規(guī)方式，把由紅外線(IR)成像系統(tǒng)(18)檢測(cè)到的紅外線(IR)輻射數(shù)據(jù)變換成圖像數(shù)據(jù)的方法。
[0086]根據(jù)實(shí)施例，可見(jiàn)光投影系統(tǒng)(22)適于根據(jù)第二視場(chǎng)把可見(jiàn)光圖案投影到觀察的現(xiàn)實(shí)世界場(chǎng)景上，其中第二視場(chǎng)至少部分地重疊第一視場(chǎng)。
[0087]根據(jù)實(shí)施例，可見(jiàn)光成像系統(tǒng)(14)適于根據(jù)第三視場(chǎng)捕捉觀察的現(xiàn)實(shí)世界場(chǎng)景的可見(jiàn)光圖像，包括所述投影的可見(jiàn)光圖案，其中第三視場(chǎng)至少部分地重疊第一和/或第二視場(chǎng)。
[0088]根據(jù)實(shí)施例，處理器13還適于在所述捕捉到的可見(jiàn)光圖像中檢測(cè)所述投影的可見(jiàn)光圖案；確定可見(jiàn)光圖像中在投影的可見(jiàn)光圖案的像素坐標(biāo)與可見(jiàn)光圖像中的像素坐標(biāo)之間以像素為單位的像素位移d(pix vis)，其中如果可見(jiàn)光成像系統(tǒng)和可見(jiàn)光投影系統(tǒng)對(duì)準(zhǔn)，則投影的可見(jiàn)光將出現(xiàn)；基于投影的可見(jiàn)光圖案和可見(jiàn)光圖像之間的像素位移d(pix vis)，確定IR圖像和可見(jiàn)光圖像之間的像素位移d(pix IE);并且基于所述像素位移d(pix IK)，把所述檢測(cè)到的紅外線(IR)輻射的所述可見(jiàn)光表示，也稱為紅外線(IR)圖像，對(duì)準(zhǔn)到檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射；通過(guò)根據(jù)第二視場(chǎng)把它與檢測(cè)到的從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的IR輻射對(duì)準(zhǔn)地投影到所述現(xiàn)實(shí)世界場(chǎng)景上來(lái)呈現(xiàn)它。
[0089]根據(jù)實(shí)施例，處理器13還適于:
[0090]-基于捕捉到的可見(jiàn)光圖像中預(yù)定點(diǎn)之間的像素距離來(lái)計(jì)算第二視場(chǎng)；
[0091]-確定所述紅外線(IR)成像系統(tǒng)(18)的光軸0Α3和可見(jiàn)光成像系統(tǒng)(14)的光軸OAl的視差距離校準(zhǔn)參數(shù)Co-3-l和定點(diǎn)誤差校準(zhǔn)參數(shù)C1-3-1 ；
[0092]-確定所述可見(jiàn)光投影系統(tǒng)(22)的光軸0Α2和可見(jiàn)光成像系統(tǒng)(14)的光軸OAl的視差距離校準(zhǔn)參數(shù)Co-2-l和定點(diǎn)誤差校準(zhǔn)參數(shù)C1-2-1 ;及
[0093]-確定所述可見(jiàn)光投影系統(tǒng)(22)的光軸0Α2和所述紅外線(IR)成像系統(tǒng)(18)的光軸0Α3的視差距離校準(zhǔn)參數(shù)Co-2-3和定點(diǎn)誤差校準(zhǔn)參數(shù)C1-2-3。
[0094]在一種實(shí)施例中，用于第一光學(xué)系統(tǒng)的第一光軸和第二光學(xué)系統(tǒng)的第二光軸的視差距離校準(zhǔn)參數(shù)依賴于第二光學(xué)系統(tǒng)的視場(chǎng)以及第一光學(xué)系統(tǒng)和第二光學(xué)系統(tǒng)之間的視差距離；其中，用于第一光學(xué)系統(tǒng)的第一光軸和第二光學(xué)系統(tǒng)的第二光軸的定點(diǎn)誤差校準(zhǔn)參數(shù)依賴于像素位移、用于第一光學(xué)系統(tǒng)的第一光軸和第二光學(xué)系統(tǒng)的第二光軸的所述視差距離校準(zhǔn)參數(shù)以及所獲得的從第一光學(xué)系統(tǒng)到觀察的現(xiàn)實(shí)世界場(chǎng)景的距離值z(mì)。
[0095]在一種實(shí)施例中，在所述捕捉到的可見(jiàn)光圖像中檢測(cè)所述投影的可見(jiàn)光圖案的步驟是基于該距離值執(zhí)行的。
[0096]在一種實(shí)施例中，執(zhí)行檢測(cè)包括在捕捉到的可見(jiàn)光圖像中由距離值z(mì)和捕捉到的可見(jiàn)光圖像中一個(gè)位置之間的預(yù)定關(guān)系給出的位置開(kāi)始檢測(cè)。
[0097]在一種實(shí)施例中，距離值z(mì)是作為預(yù)定值獲得的。
[0098]在一種實(shí)施例中，所述距離值z(mì)是通過(guò)傳感器獲得的(470)。
[0099]在一種實(shí)施例中，確定紅外線(IR)圖像和可見(jiàn)光圖像之間的像素位移d(pix IE)是依賴于像素位移(1(_ IK)、檢測(cè)到的投影的可見(jiàn)光圖案和可見(jiàn)光圖像之間的像素位移(d(pixvis))以及距離值Z之間的預(yù)定關(guān)系而執(zhí)行的。
[0100]在一種實(shí)施例中，該預(yù)定關(guān)系是形式為查找表的映射函數(shù)。
[0101]在一種實(shí)施例中，該方法的步驟是投影可見(jiàn)光圖案、捕捉可見(jiàn)光圖像、在所述捕捉到的可見(jiàn)光圖像中進(jìn)行檢測(cè)、確定像素位移(1(_ IK)，以及在熱成像布置(10)的操作過(guò)程中對(duì)準(zhǔn)并持續(xù)地呈現(xiàn)所述對(duì)準(zhǔn)的紅外線(IR)圖像。
[0102]在一種實(shí)施例中，從熱成像布置(10)到觀察的場(chǎng)景中多于一個(gè)點(diǎn)的多于一個(gè)距離可以被獲得并轉(zhuǎn)變成距離圖。
[0103]在一種實(shí)施例中，呈現(xiàn)所述對(duì)準(zhǔn)的紅外線(IR)圖像包括依賴于距離圖的距離來(lái)適配所述對(duì)準(zhǔn)的紅外線(IR)圖像的像素的投影。
[0104]在一種實(shí)施例中，適配像素的投影包括依賴于距離圖的距離而以變化的密度投影像素。
[0105]在一種實(shí)施例中，密度變化，使得，如果到所述對(duì)準(zhǔn)的紅外線(IR)圖像的像素要投影到其上的點(diǎn)i的距離Zi超過(guò)預(yù)設(shè)閾值，則像素更稀疏地投影。
[0106]在一種實(shí)施例中，該方法還包括:
[0107]-在檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射中檢測(cè)熱點(diǎn)，-通過(guò)把所述對(duì)準(zhǔn)的紅外線(IR)圖像投影到所述現(xiàn)實(shí)世界場(chǎng)景上來(lái)呈現(xiàn)它，其中對(duì)準(zhǔn)的紅外線(IR)圖像中包括檢測(cè)到的熱點(diǎn)的部分利用與對(duì)準(zhǔn)的紅外線(IR)圖像中不包括檢測(cè)到的熱點(diǎn)的部分不同的顏色或光強(qiáng)度投影。
[0108]根據(jù)實(shí)施例，處理器13還適于從IR熱成像布置10取得到觀察的場(chǎng)景的距離z。根據(jù)更多實(shí)施例，處理器13適于基于取得的距離z來(lái)確定檢測(cè)到的投影的可見(jiàn)光和可見(jiàn)光圖像之間的像素位移d(pix vis);和/或基于檢測(cè)到的投影的可見(jiàn)光和可見(jiàn)光圖像之間的像素位移d(pix vis)以及取得的距離z來(lái)確定IR圖像和可見(jiàn)光圖像之間的像素位移d(pix IK)。
[0109]根據(jù)實(shí)施例，可見(jiàn)光投影系統(tǒng)(22)還適于通過(guò)與檢測(cè)到的從場(chǎng)景發(fā)射的IR輻射對(duì)準(zhǔn)地把檢測(cè)到的紅外線(IR)輻射的對(duì)準(zhǔn)的可見(jiàn)表示，換句話說(shuō)是IR圖像，投影到所述現(xiàn)實(shí)世界場(chǎng)景上來(lái)呈現(xiàn)它。
[0110]根據(jù)實(shí)施例，IR輻射信息的可見(jiàn)表示與從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的IR輻射對(duì)準(zhǔn)地呈現(xiàn)。呈現(xiàn)方法的實(shí)施例在以下聯(lián)系圖5進(jìn)一步描述。
[0111]適用于這個(gè)目的的布置包括三個(gè)光學(xué)系統(tǒng)，即，IR成像系統(tǒng)、可見(jiàn)光成像系統(tǒng)和可見(jiàn)光投影系統(tǒng)。在不同的實(shí)施例中，這三個(gè)光學(xué)系統(tǒng)或者組裝成一個(gè)集成的熱成像布置，或者設(shè)計(jì)成具有作為獨(dú)立部件的投影儀。在投影儀是獨(dú)立部件的情況下，它可以適于可分離地附連到包括其它光學(xué)系統(tǒng)的組件或外罩或者適于與其它光學(xué)系統(tǒng)物理地分開(kāi)操作。
[0112]熱成像布置的所有部件/單元都，例如，通過(guò)直接連接、有線連接、無(wú)線連接通信耦合。
[0113]熱成像布置的光學(xué)系統(tǒng)具有不同的視場(chǎng)(FOV)。為了實(shí)現(xiàn)根據(jù)本發(fā)明的對(duì)準(zhǔn)，熱成像布置的光學(xué)系統(tǒng)必須放置成使得每個(gè)光學(xué)系統(tǒng)的FOV至少部分地與另兩個(gè)光學(xué)系統(tǒng)的FOV重疊。
[0114]由于熱成像布置的光學(xué)系統(tǒng)不具有相同的光軸，因此視差誤差將發(fā)生。為了補(bǔ)償視差誤差，圖像必須對(duì)準(zhǔn)。
[0115]在執(zhí)行根據(jù)本發(fā)明的對(duì)準(zhǔn)所需的計(jì)算中使用的有些信息可以在相機(jī)的校準(zhǔn)過(guò)程中確定，如以下更詳細(xì)地描述的。
[0116]集成設(shè)備實(shí)施例
[0117]圖1A示出了根據(jù)本發(fā)明第一種實(shí)施例的系統(tǒng)的示例圖，其中集成的熱成像布置10包括三個(gè)光學(xué)系統(tǒng)14、18和22。根據(jù)實(shí)施例，光學(xué)系統(tǒng)14、18、22包括在組件12中。前兩個(gè)光學(xué)系統(tǒng)是包括用于光的可見(jiàn)頻譜的可見(jiàn)光傳感器陣列16的可見(jiàn)光成像系統(tǒng)14，和包括用于光的紅外線頻譜的IR傳感器陣列20的IR成像系統(tǒng)18。組件12中包括的第三個(gè)光學(xué)系統(tǒng)是可見(jiàn)光投影系統(tǒng)22或者有可能是適于投影諸如紫外線的(UV)通常不可見(jiàn)波長(zhǎng)區(qū)域的光的光投影系統(tǒng)。根據(jù)這種實(shí)施例，三個(gè)光學(xué)系統(tǒng)14、18和22具有固定的安裝，在各自的光軸0A1、0A3、0A2之間具有已知的相對(duì)距離和角度，如通過(guò)作為一種對(duì)準(zhǔn)的校準(zhǔn)確定的，例如在熱成像布置的生產(chǎn)過(guò)程中執(zhí)行的。熱成像布置10的光學(xué)系統(tǒng)安裝成使得每個(gè)光學(xué)系統(tǒng)的FOV至少部分地分別與另兩個(gè)光學(xué)系統(tǒng)的FOV重疊，如在圖2所示的實(shí)施例中說(shuō)明的。
[0118]可分離附連部件實(shí)施例
[0119]圖1B示出了根據(jù)本發(fā)明第二種實(shí)施例的系統(tǒng)的示意圖，其中熱成像布置10包括三個(gè)光學(xué)系統(tǒng)14、18和22。兩個(gè)成像系統(tǒng)14、18具有固定的安裝，在各自的光軸0A1、0A3 (Cf圖2)之間具有已知的相對(duì)距離和角度，如通過(guò)校準(zhǔn)/對(duì)準(zhǔn)確定的，例如在熱成像布置的生產(chǎn)過(guò)程中執(zhí)行的。根據(jù)實(shí)施例，可見(jiàn)光成像系統(tǒng)14和IR成像系統(tǒng)18包括在組件12中。根據(jù)這種實(shí)施例，投影系統(tǒng)22是適于通過(guò)附連特征25A和25B可分離附連到熱成像布置10的獨(dú)立部件。附連特征25A在投影系統(tǒng)22上提供并且適于安裝(fit)到在熱成像布置10上提供的對(duì)應(yīng)附連特征25B。根據(jù)實(shí)施例，在附連時(shí)，投影系統(tǒng)22經(jīng)以下進(jìn)一步解釋的通信接口 21和對(duì)應(yīng)的通信接口 27通信耦合到熱成像布置10的處理器13。根據(jù)不同的實(shí)施例，通信接口 21可以集成在投影系統(tǒng)22或附連特征25A任何一個(gè)當(dāng)中、在其中實(shí)現(xiàn)或者耦合到其，而通信接口 27可以集成在成像系統(tǒng)14或18、組件12、處理器13或附連特征25B任何一個(gè)當(dāng)中、在其中實(shí)現(xiàn)或者耦合到其。
[0120]根據(jù)實(shí)施例，當(dāng)附連特征25A、25B彼此附連時(shí)，可見(jiàn)光投影系統(tǒng)22將定位成關(guān)于IR成像系統(tǒng)18和可見(jiàn)光成像系統(tǒng)14分別具有某個(gè)距離和角度。根據(jù)實(shí)施例，附連特征25A、25B可以包括錐形工具插入其中的插座、插孔，和/或通過(guò)以下的選擇彼此附連:通過(guò)螺紋，其中特征25A、25B之一擰到另一個(gè)當(dāng)中，通過(guò)把特征25A、25B之一安裝(fit)、扣或按到另一個(gè)當(dāng)中，通過(guò)使用磁力，或者通過(guò)使用任何其它合適類型的緊固或附連機(jī)制。附連特征放置并設(shè)計(jì)成使得在每次附連特征彼此附連時(shí)一邊的可見(jiàn)光頭像系統(tǒng)22與另一邊的IR成像系統(tǒng)18和可見(jiàn)光成像系統(tǒng)14之間的所述距離和角度將基本上相同，具有最小的錯(cuò)誤邊際。通過(guò)確保在熱成像布置的生產(chǎn)期間組合光學(xué)系統(tǒng)的放置基本上在每次IR成像被使用時(shí)都相同，可見(jiàn)光投影系統(tǒng)22與可見(jiàn)光成像系統(tǒng)14和IR成像系統(tǒng)18之間的視差誤差，諸如視差距離和定點(diǎn)誤差，分別可以從生產(chǎn)得知、在生產(chǎn)過(guò)程中校準(zhǔn)/對(duì)準(zhǔn)，或者在使用過(guò)程中近似。
[0121]當(dāng)部件附連時(shí)，熱成像布置10的光學(xué)系統(tǒng)14、18、22定位成使得每個(gè)光學(xué)系統(tǒng)的FOV都至少部分地與另兩個(gè)光學(xué)系統(tǒng)的FOV重疊，如圖2中示例的。
[0122]獨(dú)立部件實(shí)施例
[0123]圖1C示出了根據(jù)本發(fā)明第三種實(shí)施例的系統(tǒng)的示意圖，其中熱成像布置10包括三個(gè)光學(xué)系統(tǒng)14、18、22。兩個(gè)成像系統(tǒng)14、18具有固定的安裝，在各自的光軸之間具有已知的相對(duì)距離和角度，如從生產(chǎn)得知或者在生產(chǎn)過(guò)程中校準(zhǔn)的。根據(jù)實(shí)施例，可見(jiàn)光成像系統(tǒng)14和IR成像系統(tǒng)18包括在組件12中。根據(jù)這種實(shí)施例，投影系統(tǒng)22是適于在操作期間與熱成像布置10的其它部件物理地分開(kāi)放置并且有可能處于遠(yuǎn)處的獨(dú)立部件。投影系統(tǒng)22經(jīng)以下進(jìn)一步解釋的通信接口 21通信耦合到處理器13。
[0124]在根據(jù)這第三種實(shí)施例的操作中，投影系統(tǒng)22應(yīng)當(dāng)放置成使得其FOV至少部分地與IR成像系統(tǒng)和可見(jiàn)光成像系統(tǒng)的FOV重疊。為了實(shí)現(xiàn)或幫助實(shí)現(xiàn)至少部分重疊的F0V，投影儀可以適于投影可見(jiàn)光的預(yù)定指導(dǎo)投影，例如，以諸如圖案的可識(shí)別特征的形式，以便引導(dǎo)用戶把投影系統(tǒng)22放在把其投影FOV投到用戶要觀察的場(chǎng)景或?qū)ο笊系倪@種位置。
[0125]更多的系統(tǒng)體系架構(gòu)細(xì)節(jié)
[0126]參考圖1A-1C中所示的全部實(shí)施例，根據(jù)實(shí)施例，成像系統(tǒng)14、18包括一個(gè)或多個(gè)透鏡、用于調(diào)節(jié)透鏡的控制設(shè)備、適于捕捉來(lái)自觀察的場(chǎng)景的進(jìn)入輻射并耦合到一個(gè)或多個(gè)處理器13的傳感器16、20，其中處理器13具有適于處理從傳感器16、20接收到的圖像數(shù)據(jù)并且控制系統(tǒng)不同部件的功能的處理特征?？蛇x地，熱成像布置10包括耦合到處理器13并適于顯示圖像數(shù)據(jù)的顯示器23。可選地，熱成像布置10包括配置為向用戶顯示信息并獲得用戶輸入信息的圖形用戶接口(GUI)。
[0127]根據(jù)不同的實(shí)施例，包括或不包括可見(jiàn)光投影系統(tǒng)22的熱成像布置10可以是手持式的，適于固定安裝，例如為了監(jiān)督目的或維護(hù)調(diào)查，或者適于在使用期間安裝在架子上。
[0128]根據(jù)實(shí)施例，熱成像布置10還包括用于存儲(chǔ)由熱成像布置10登記或處理的數(shù)據(jù)的存儲(chǔ)器15，以及用于輸入命令和/或控制信號(hào)的一個(gè)或多個(gè)控制設(shè)備19的選擇，例如，交互式顯示器、操縱桿和/或記錄/下壓按鈕，以及至少一個(gè)圖形接口 21，例如，有線或無(wú)線連接、IRDA、藍(lán)牙、USB、FireWire等。響應(yīng)于輸入命令和/或控制信號(hào)，處理器13控制熱成像布置10的不同部分的功能。
[0129]根據(jù)不同的實(shí)施例，投影系統(tǒng)22可以包括投影儀29，例如，以激光投影儀、液晶顯示器(LCD)投影儀、數(shù)字光處理(DLP)投影儀或本領(lǐng)域已知的任何其它合適類型的投影儀的形式。
[0130]激光投影儀在許多應(yīng)用中都會(huì)是合適的，因?yàn)榧す馔队皟x通常具有高景深，由此圖像或數(shù)據(jù)到任何種類投影表面上的投影都可以進(jìn)行。通常，其銳度、顏色空間和對(duì)比度高于其它投影技術(shù)例如LCD或DLP投影儀的銳度、顏色空間和對(duì)比度。
[0131]熱成像布置10還可以包括本領(lǐng)域中本身已知的激光指示器，在圖中沒(méi)有示出。這種激光指示器可以在本發(fā)明性概念中用來(lái)例如投影可見(jiàn)光。根據(jù)實(shí)施例，可見(jiàn)光可以作為形式為受限圖案(limited pattern)的可識(shí)別特征來(lái)投影，該受限圖案包括投影系統(tǒng)的視場(chǎng)，下文中也表示為F0VpMj，中所包括的全部或部分像素。
[0132]聯(lián)系圖2-8，以下描述視差補(bǔ)償、校準(zhǔn)和對(duì)準(zhǔn)的實(shí)施例。
[0133]用例實(shí)施例
[0134]在操作中，根據(jù)實(shí)施例，操作人員把手持式熱成像布置10指向觀察的現(xiàn)實(shí)世界場(chǎng)景，該場(chǎng)景可以例如包括管道、墻壁、地板、天花板或者對(duì)調(diào)查感興趣的任何其它一個(gè)或多個(gè)目標(biāo)表面或?qū)ο?，并且，直接看到投影到觀察的現(xiàn)實(shí)世界場(chǎng)景上的被發(fā)射或檢測(cè)的IR輻射的可見(jiàn)表示，其中以該可見(jiàn)表示在與對(duì)應(yīng)檢測(cè)到的IR輻射的發(fā)射方向相同的方向上被投影的方式，該可見(jiàn)表示與觀察的現(xiàn)實(shí)世界場(chǎng)景對(duì)準(zhǔn)。例如，如果場(chǎng)景包括熱點(diǎn)，例如過(guò)熱的電氣元件，則用戶將看到投影到該檢測(cè)到的熱點(diǎn)上的光，例如光是指示該檢測(cè)到的熱點(diǎn)溫度高的顏色或光強(qiáng)度的。根據(jù)實(shí)施例，投影到熱點(diǎn)上的光可以是紅色，通常用于代表色階上的熱溫度，或者，如果灰度級(jí)值用于投影，則光可以是高強(qiáng)度光。如對(duì)本領(lǐng)域技術(shù)人員很顯然的，對(duì)于在觀察的現(xiàn)實(shí)世界場(chǎng)景中檢測(cè)到的熱、IR或溫度信息的范圍，任何合適的可見(jiàn)表示都可以使用。
[0135]根據(jù)以下進(jìn)一步描述的不同實(shí)施例，用戶可以使用熱成像布置來(lái)在觀察的場(chǎng)景中照亮或突出或指明興趣，或者在檢測(cè)到異常時(shí)接收形式為投影到場(chǎng)景上的可見(jiàn)警報(bào)的告目O
[0136]根據(jù)另一種實(shí)施例，用戶可以使用熱成像布置來(lái)取得到觀察的場(chǎng)景的距離。從熱成像布置到觀察的場(chǎng)景的距離在下文中將被稱為z，其中z是指示從熱成像布置到觀察的場(chǎng)景的距離的參數(shù)。
[0137]根據(jù)實(shí)施例，距離參數(shù)z的值可以例如通過(guò)利用與已知參數(shù)和/或使熱成像布置能夠進(jìn)行取得的參數(shù)的關(guān)系進(jìn)行計(jì)算來(lái)取得，例如以下給出的等式2的關(guān)系。根據(jù)備選實(shí)施例，以本身已知的方式，距離參數(shù)值z(mì)可以通過(guò)使用兩個(gè)可見(jiàn)光傳感器、通過(guò)IR圖像中激光點(diǎn)的檢測(cè)、通過(guò)對(duì)焦透鏡的位置或者通過(guò)集成在熱成像布置中或耦合到其的距離傳感器的使用來(lái)取得。
[0138]為了讓熱成像布置作為距測(cè)儀工作，通過(guò)利用與已知參數(shù)和/或使熱成像布置能夠進(jìn)行取得的參數(shù)的關(guān)系進(jìn)行計(jì)算來(lái)取得，熱成像布置必須首先被校準(zhǔn)/對(duì)準(zhǔn)。以下描述備選的校準(zhǔn)/對(duì)準(zhǔn)實(shí)施例。
[0139]根據(jù)實(shí)施例，操作人員可以選擇利用包括在一個(gè)或多個(gè)控制設(shè)備19中的輸入特征激活對(duì)準(zhǔn)功能。根據(jù)另一種實(shí)施例，對(duì)準(zhǔn)功能是在熱成像布置10啟動(dòng)的時(shí)候被自動(dòng)激活的。
[0140]根據(jù)其中可見(jiàn)光投影系統(tǒng)22是如在圖1B中示例的可分離附連部件并且目前沒(méi)有附連到手持式熱成像布置10的實(shí)施例，操作人員在使用之前把可見(jiàn)光投影系統(tǒng)22附連到手持式熱成像布置10。
[0141]根據(jù)備選實(shí)施例，其中可見(jiàn)光投影系統(tǒng)22和手持式熱成像布置10要用作物理上分離的部件，操作人員把可見(jiàn)光投影系統(tǒng)22放到相對(duì)于手持式熱成像布置10的合適位置，確信投影系統(tǒng)22指向要調(diào)查的感興趣的目標(biāo)表面或?qū)ο?，即，觀察的現(xiàn)實(shí)世界場(chǎng)景。通過(guò)適于投影例如作為圖案或符號(hào)的可識(shí)別特征的形式的可見(jiàn)光的預(yù)定指導(dǎo)投影的可見(jiàn)光投影系統(tǒng)22，操作人員有可能被指引著把可見(jiàn)光投影儀指向要調(diào)查的感興趣的目標(biāo)表面或?qū)ο?。根?jù)實(shí)施例，可見(jiàn)光可以作為形式為受限圖案的可識(shí)別特征來(lái)投影，其中該受限圖案包括投影系統(tǒng)的視場(chǎng)(FOVpmP中所包括的全部或部分像素。這種投影可以例如在可見(jiàn)光投影系統(tǒng)22被開(kāi)啟時(shí)自動(dòng)激活，或者被控制成通過(guò)來(lái)自操作人員的輸入而激活。操作人員可以利用例如集成在可見(jiàn)光投影系統(tǒng)22中或耦合到其的輸入設(shè)備(圖中未示出)或者熱成像布置10的控制設(shè)備19來(lái)提供輸入，由此處理器13把來(lái)自控制設(shè)備19的輸入信號(hào)翻譯成經(jīng)接口 21傳送到可見(jiàn)光投影系統(tǒng)22的控制信號(hào)，以便控制所述指導(dǎo)投影的激活?？梢?jiàn)光投影系統(tǒng)22通過(guò)有線或無(wú)線連接通信耦合到熱成像布置的處理器，例如經(jīng)通信接口 21和27通信。
[0142]根據(jù)實(shí)施例，熱成像布置10的IR成像系統(tǒng)18檢測(cè)從觀察的場(chǎng)景發(fā)射的IR輻射并且利用包括在IR成像系統(tǒng)18中的IR傳感器陣列20捕捉所述IR輻射。在IR傳感器陣列20中，進(jìn)入的IR輻射被轉(zhuǎn)換成包括IR輻射數(shù)據(jù)的IR輻射信號(hào)。捕捉到的IR輻射數(shù)據(jù)從IR傳感器陣列20發(fā)送到處理器13，其中檢測(cè)到的IR輻射數(shù)據(jù)被變換成形式為IR圖像的圖像數(shù)據(jù)的可見(jiàn)表示。根據(jù)實(shí)施例，IR圖像傳送到熱成像系統(tǒng)10的顯示器23并且呈現(xiàn)給設(shè)備的操作人員。但是，根據(jù)本發(fā)明的方法實(shí)施例，IR圖像在相機(jī)顯示器上的顯示是可選的。
[0143]根據(jù)實(shí)施例，可見(jiàn)光投影系統(tǒng)22被處理器13控制成把可見(jiàn)光投影到觀察的現(xiàn)實(shí)世界場(chǎng)景上。根據(jù)實(shí)施例，可見(jiàn)光可以作為形式為受限圖案或符號(hào)的可識(shí)別特征來(lái)投影，其中該受限圖案或符號(hào)包括可見(jiàn)光投影系統(tǒng)22視場(chǎng)(F0Vp_)中所包括的全部或部分像素。根據(jù)實(shí)施例，投影是與IR輻射信息的捕捉和處理并行執(zhí)行的，但不必在相同的時(shí)刻。
[0144]根據(jù)實(shí)施例，本發(fā)明語(yǔ)境下的圖案或符號(hào)是由至少一個(gè)像素并且優(yōu)選地多于一個(gè)像素，通常是多個(gè)像素，組成的形狀或分布，這種形狀或分布可以很容易地與在觀察的場(chǎng)景的圖像中可能出現(xiàn)的任何東西區(qū)分。例如，在優(yōu)選實(shí)施例中，符號(hào)不是單個(gè)像素或組合到一起的幾個(gè)像素的形式，因?yàn)閱蝹€(gè)像素或小的像素組會(huì)與在圖像中出現(xiàn)的噪聲混淆。本發(fā)明的符號(hào)可以具有可以被人眼識(shí)別的對(duì)象的形狀，諸如花、星星或者人知道的任何其它對(duì)象?；蛘?，它可以具有不能被人解釋為某個(gè)對(duì)象但是很容易被人眼和/或數(shù)據(jù)處理器識(shí)別的形狀或分布。類似地，本發(fā)明語(yǔ)境下的圖案也是由很容易地與在觀察的場(chǎng)景的圖像中可能出現(xiàn)的任何東西以及與噪聲區(qū)分的多于一個(gè)像素(通常是多個(gè)像素)組成的。根據(jù)實(shí)施例，符號(hào)或圖案可以具有人已知的對(duì)象的形狀或者使其很容易被人眼和/或數(shù)據(jù)處理器識(shí)別的任何其它合適的形狀或分布。根據(jù)實(shí)施例，被可見(jiàn)光投影設(shè)備22投影的圖案僅僅就是FOVproj中所包括的像素的全部或選定部分。在這種情況下，基于投影的可見(jiàn)光的強(qiáng)度，圖案可以在包括該圖案的可見(jiàn)光圖像中被識(shí)別或認(rèn)出。其中可見(jiàn)光被投影的像素有可能具有比可見(jiàn)光圖像剩余像素更高的強(qiáng)度。
[0145]根據(jù)實(shí)施例，在預(yù)定符號(hào)或圖案投影期間，可見(jiàn)光成像系統(tǒng)14被處理器13控制成利用可見(jiàn)光成像系統(tǒng)14中所包括的可見(jiàn)光傳感器陣列16捕捉進(jìn)入的可見(jiàn)光。在可見(jiàn)光傳感器陣列16中，進(jìn)入的可見(jiàn)光被轉(zhuǎn)換成包括可見(jiàn)光數(shù)據(jù)的可見(jiàn)光信號(hào)。捕捉到的可見(jiàn)光數(shù)據(jù)從可見(jiàn)光傳感器陣列16發(fā)送到處理器13，其中可見(jiàn)光數(shù)據(jù)被變換成可見(jiàn)光圖像。由于可見(jiàn)光傳感器陣列16的傳感器元件對(duì)可見(jiàn)光的波長(zhǎng)敏感，因此可見(jiàn)光投影系統(tǒng)22的反射光可以在可見(jiàn)圖像中通過(guò)其畫面元素，即，像素，檢測(cè)到。畫面元素可以是例如CXD(電荷耦合設(shè)備)。由此，捕捉到的可見(jiàn)光圖像包括被投影到其上的預(yù)定符號(hào)或圖案疊加的現(xiàn)實(shí)世界場(chǎng)景的可見(jiàn)表示。
[0146]根據(jù)實(shí)施例，在捕捉到包括被預(yù)定符號(hào)或圖案疊加的現(xiàn)實(shí)世界場(chǎng)景的可見(jiàn)表示的圖像之后，該圖像被發(fā)送到處理器13，其中處理器13執(zhí)行圖像中預(yù)定符號(hào)或圖案的檢測(cè)。圖像中符號(hào)或圖案的檢測(cè)可以利用本領(lǐng)域中本身已知的任何合適的檢測(cè)方法來(lái)執(zhí)行，例如特征提取、模板匹配、分割、邊緣檢測(cè)、薄化、相似性測(cè)量、遮蔽、過(guò)濾或者通過(guò)使用差異圖像。
[0147]根據(jù)其中符號(hào)或圖案檢測(cè)要利用差異圖像執(zhí)行的實(shí)施例，可見(jiàn)光成像系統(tǒng)14還被處理器13控制成，在與包括觀察的現(xiàn)實(shí)世界場(chǎng)景和預(yù)定符號(hào)或圖案的圖像被捕捉的時(shí)刻接近的一個(gè)時(shí)刻，捕捉?jīng)]有投影到其上的預(yù)定符號(hào)或圖案的同一個(gè)觀察的現(xiàn)實(shí)世界場(chǎng)景的圖像。哪個(gè)圖像先捕捉和哪個(gè)圖像后捕捉?jīng)]有關(guān)系。優(yōu)選地，這兩個(gè)圖像是圖像幀序列中兩個(gè)相繼的圖像幀。彼此緊密相繼地捕捉圖像的原因是觀察的現(xiàn)實(shí)世界場(chǎng)景通常從第一個(gè)圖像幀到第二個(gè)圖像幀不會(huì)改變太多，這意味著圖像的現(xiàn)實(shí)世界圖像部分將基本相同。此夕卜，在其中熱成像布置10是手持式的實(shí)施例中，如果圖像是緊密相繼捕捉的，例如作為圖像幀序列中兩個(gè)連續(xù)的圖像幀，則由用戶造成的布置的任何搖晃或移動(dòng)將很小。由此，當(dāng)處理器13從還包括投影的符號(hào)或圖案的圖像減去只包括觀察的現(xiàn)實(shí)世界場(chǎng)景的表示的圖像時(shí)，將獲得只包括投影的符號(hào)或圖案的差異圖像。以這種方式，觀察的現(xiàn)實(shí)世界場(chǎng)景中存在的任何符號(hào)或圖案，例如墻上的壁紙上的圖案，不會(huì)被熱成像布置10錯(cuò)誤地檢測(cè)為符號(hào)或圖案。
[0148]IR信息的可見(jiàn)表示，也稱為IR圖像，從處理器13發(fā)送到可見(jiàn)光投影系統(tǒng)22。可見(jiàn)光投影系統(tǒng)22還被處理器13控制成把IR信息的可見(jiàn)表示投影到現(xiàn)實(shí)世界場(chǎng)景上，使得檢測(cè)到的IR輻射的可見(jiàn)光表示與進(jìn)入的，或者捕捉到的，IR輻射對(duì)準(zhǔn)，并且在與對(duì)應(yīng)捕捉到的IR輻射發(fā)射的方向相同的方向投影到現(xiàn)實(shí)世界場(chǎng)景上。為了實(shí)現(xiàn)這種對(duì)準(zhǔn)，傳感器13使用檢測(cè)到的符號(hào)或圖案上的信息連同生產(chǎn)過(guò)程中取得的信息、生產(chǎn)中的校準(zhǔn)，和/或熱成像布置10操作期間的校準(zhǔn)或調(diào)整。對(duì)準(zhǔn)實(shí)施例以下進(jìn)一步詳細(xì)描述。
[0149]表示檢測(cè)到的紅外線(IR)輻射并識(shí)別區(qū)域，例如，對(duì)象
[0150]根據(jù)本發(fā)明的實(shí)施例，熱成像布置10的操作人員將經(jīng)歷上述事件被實(shí)時(shí)地立刻執(zhí)行，這意味著操作人員把熱成像布置10指向觀察的包括例如感興趣表面或?qū)ο蟮默F(xiàn)實(shí)世界場(chǎng)景，并且直接看到被發(fā)射并檢測(cè)的投影到觀察的現(xiàn)實(shí)世界場(chǎng)景上的IR輻射的可見(jiàn)表示，其中以該可見(jiàn)表示在與對(duì)應(yīng)檢測(cè)到的IR輻射從其發(fā)射的方向相同的方向上被投影的方式，該可見(jiàn)表示與場(chǎng)景對(duì)準(zhǔn)。IR信息的可見(jiàn)表示通常是顏色或者灰度級(jí)，其代表IR信息的可見(jiàn)表示被投影到的觀察的現(xiàn)實(shí)世界場(chǎng)景，諸如表面或?qū)ο?，的不同熱屬性。利用本發(fā)明的對(duì)準(zhǔn)方法，投影到現(xiàn)實(shí)世界場(chǎng)景上的可見(jiàn)表示將在對(duì)應(yīng)檢測(cè)到的IR輻射從其發(fā)射的方向被投影。例如，形式為紅外線(IR)圖像的所述檢測(cè)到的紅外線(IR)輻射的可見(jiàn)表示的投影被執(zhí)行，使得檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射的不同熱屬性得以表示。關(guān)于此的例子是，如果代表低熱值或溫度的IR輻射在觀察的現(xiàn)實(shí)世界場(chǎng)景的某個(gè)部分中被檢測(cè)到，則根據(jù)例如選定的色階或灰度級(jí)值范圍，可見(jiàn)光投影系統(tǒng)22將把具有代表所述低熱或溫度值的顏色或灰度級(jí)值的光投影到觀察的現(xiàn)實(shí)世界場(chǎng)景的這個(gè)部分之上。
[0151]在一種實(shí)施例中，觀察的現(xiàn)實(shí)世界場(chǎng)景中檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射偏離周圍區(qū)域的區(qū)域可以被檢測(cè)到，其例如有關(guān)于觀察的現(xiàn)實(shí)世界場(chǎng)景中的對(duì)象。在一種實(shí)施例中，這種偏離是通過(guò)比較以下來(lái)檢測(cè)的:該區(qū)域中檢測(cè)到的紅外線(IR)輻射和與周圍區(qū)域有關(guān)的檢測(cè)到的紅外線(IR)輻射(例如，檢測(cè)到的紅外線(IR)輻射的緊挨著在周圍的部分或者檢測(cè)到的紅外線(IR)輻射的全部)的均值。例如，以其熱值或溫度的形式，檢測(cè)到具有比周圍區(qū)域的平均的檢測(cè)到的紅外線(IR)輻射低的檢測(cè)到的紅外線(IR)輻射的區(qū)域有時(shí)候被稱為檢測(cè)到“冷點(diǎn)”，這可以指示該區(qū)域例如絕緣不良，或者暴露給水泄漏或者凝結(jié)的形成，并且由此具有增加的被水損壞的風(fēng)險(xiǎn)。例如，以其熱值或溫度的形式，檢測(cè)到具有比周圍區(qū)域的平均的檢測(cè)到的紅外線(IR)輻射高的檢測(cè)到的紅外線(IR)輻射的區(qū)域有時(shí)候被稱為檢測(cè)到“熱點(diǎn)”，這可以指示例如該區(qū)域包括過(guò)熱的部件并且具有增加的著火的風(fēng)險(xiǎn)。如果使用從用于低溫的藍(lán)色到用于高溫的紅色變化的、代表觀察的現(xiàn)實(shí)世界場(chǎng)景的檢測(cè)到的紅外線(IR)輻射的色階，則現(xiàn)實(shí)世界場(chǎng)景中的冷點(diǎn)通常有被可見(jiàn)光投影系統(tǒng)22投影到其上的藍(lán)色光，而現(xiàn)實(shí)世界場(chǎng)景中的熱點(diǎn)通常有被可見(jiàn)光投影系統(tǒng)22投影到其上的紅色光。由此，即使是在操作人員把IR成像系統(tǒng)10指向的表面的另一側(cè)上引起低的或高的熱或溫度值，也使得操作人員能夠與場(chǎng)景對(duì)準(zhǔn)地直接在現(xiàn)實(shí)世界場(chǎng)景中看到他或她正在調(diào)查的熱點(diǎn)和冷點(diǎn)。
[0152]上述紅區(qū)域和藍(lán)區(qū)域僅僅是作為例子。任何色階、灰度級(jí)或者其它合適的可見(jiàn)表示都可以被可見(jiàn)光投影系統(tǒng)22用來(lái)表示檢測(cè)到的不同IR輻射水平。例如，不同的IR輻射水平可以由不同的圖案或光強(qiáng)度表示。
[0153]IR圖像與投影的IR圖像的對(duì)準(zhǔn)
[0154]如果可見(jiàn)光投影系統(tǒng)22的FOV完全包括在IR成像系統(tǒng)18的FOV中，則可見(jiàn)光投影系統(tǒng)22可以將依據(jù)檢測(cè)到的UR輻射水平的選定的可見(jiàn)表示的可見(jiàn)光投影到現(xiàn)實(shí)世界場(chǎng)景的在可見(jiàn)光投影系統(tǒng)22的整個(gè)FOV內(nèi)的那些部分上?；蛘?，如果可見(jiàn)光投影系統(tǒng)22的FOV只部分地與IR成像系統(tǒng)18的FOV重疊，則可見(jiàn)光投影儀可以把可見(jiàn)光投影到位于兩個(gè)系統(tǒng)的FOV的重疊部分內(nèi)的場(chǎng)景部分上。或者，可見(jiàn)光投影系統(tǒng)22只把可見(jiàn)光投影到從其檢測(cè)到高于、低于或者在某個(gè)選定的溫度值或區(qū)間之間的IR輻射并且位于兩個(gè)系統(tǒng)的FOV的重疊部分中的現(xiàn)實(shí)世界場(chǎng)景的部分上。可見(jiàn)光投影系統(tǒng)22應(yīng)當(dāng)把光投影到重疊FOV的哪些部分上的其它選擇也可以被考慮。例如，利用IR成像系統(tǒng)10的輸入特征，可見(jiàn)光可以投影到由操作人員指示的感興趣的區(qū)域上，或者通過(guò)在處理器13中實(shí)現(xiàn)的對(duì)象檢測(cè)特征投影到在圖像中檢測(cè)到的對(duì)象上。根據(jù)圖2中說(shuō)明的實(shí)施例，可見(jiàn)光成像系統(tǒng)14具有最大F0V, IR成像系統(tǒng)18具有第二大FOV并且投影系統(tǒng)22具有最小F0V。但是，依賴于諸如價(jià)格、性能和終端客戶需求之類的條件，F(xiàn)OV尺寸的任何其它關(guān)系都是可以想到的。
[0155]由于投影的可見(jiàn)光與檢測(cè)到的從現(xiàn)實(shí)世界場(chǎng)景發(fā)射的IR輻射對(duì)準(zhǔn)并且在檢測(cè)到的IR輻射從其發(fā)射的方向投影，因此將沒(méi)有可見(jiàn)光投影到現(xiàn)實(shí)世界場(chǎng)景中不在IR成像系統(tǒng)18和可見(jiàn)光投影系統(tǒng)22這兩個(gè)系統(tǒng)的FOV中的部分上。
[0156]根據(jù)實(shí)施例，本文所述本發(fā)明的不同方面可以在滿足警報(bào)條件時(shí)提供警報(bào)，由此通知或提醒用戶，例如，指示檢測(cè)到某種可能的異常。警報(bào)可以是用戶可見(jiàn)的或者可聽(tīng)的。
[0157]根據(jù)實(shí)施例，如果滿足一個(gè)或多個(gè)以下標(biāo)準(zhǔn)，則投影系統(tǒng)22可以被例如處理器13控制成把對(duì)準(zhǔn)的可見(jiàn)光投影到場(chǎng)景上:檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射的一個(gè)或多個(gè)部分具有高于預(yù)設(shè)閾值限制的檢測(cè)值；檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射的一個(gè)或多個(gè)部分具有低于預(yù)設(shè)閾值限制的檢測(cè)值；檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射的一個(gè)或多個(gè)部分具有在預(yù)設(shè)區(qū)間內(nèi)的檢測(cè)值；或者觀察的場(chǎng)景的一個(gè)或多個(gè)部分具有在預(yù)設(shè)區(qū)間之外的測(cè)量值。
[0158]根據(jù)實(shí)施例，測(cè)量值可以關(guān)于檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射、溫度或熱信息、效率或功率(W，ff/m2)、濕度或水分，例如作為百分比來(lái)指示的。
[0159]根據(jù)實(shí)施例，以上提到的標(biāo)準(zhǔn)是警報(bào)標(biāo)準(zhǔn)，要提醒用戶已經(jīng)檢測(cè)到可能的偏離或異常。作為例子，標(biāo)準(zhǔn)可以是檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射的全部或部分高于預(yù)定義的閾值。
[0160]根據(jù)實(shí)施例，用于控制投影的一個(gè)或多個(gè)標(biāo)準(zhǔn)可以由用戶通過(guò)例如利用一個(gè)或多個(gè)控制設(shè)備19的輸入來(lái)預(yù)設(shè)或選擇。
[0161]根據(jù)實(shí)施例，投影系統(tǒng)22被控制成通過(guò)以下提供警報(bào):
[0162]-如果投影儀已經(jīng)在投影:閃爍、增加亮度、調(diào)節(jié)投影顏色和/或只把可見(jiàn)光投影到圖像中滿足所述一個(gè)或多個(gè)標(biāo)準(zhǔn)的一個(gè)或多個(gè)部分上，
[0163]-如果投影儀不在投影:開(kāi)始把可見(jiàn)光投影到圖像中滿足所述一個(gè)或多個(gè)標(biāo)準(zhǔn)的一個(gè)或多個(gè)部分上或者投影到整個(gè)觀察的場(chǎng)景上，由此提醒用戶已經(jīng)檢測(cè)到可能的偏離或異常。
[0164]根據(jù)不同的實(shí)施例，警報(bào)可以通過(guò)可見(jiàn)光投影儀系統(tǒng)22的使用來(lái)提供，例如，當(dāng)滿足以上的一個(gè)或多個(gè)報(bào)警條件時(shí)，如果可見(jiàn)光投影系統(tǒng)22還沒(méi)有投影，則通過(guò)控制可見(jiàn)光投影系統(tǒng)22開(kāi)始投影，或者，如果它已經(jīng)投影到觀察的現(xiàn)實(shí)世界場(chǎng)景上，則開(kāi)始閃光或閃爍。
[0165]換句話說(shuō)，根據(jù)實(shí)施例，可見(jiàn)光投影儀系統(tǒng)22可以被控制成通過(guò)以下提供警報(bào):
[0166]-如果投影系統(tǒng)22已經(jīng)在投影:閃爍、增加亮度、調(diào)節(jié)投影顏色和/或只把可見(jiàn)光投影到圖像中滿足所述一個(gè)或多個(gè)標(biāo)準(zhǔn)的一個(gè)或多個(gè)部分上，
[0167]-如果投影系統(tǒng)22不在投影:開(kāi)始把可見(jiàn)光投影到圖像中滿足所述一個(gè)或多個(gè)標(biāo)準(zhǔn)的一個(gè)或多個(gè)部分上或者投影到整個(gè)觀察的場(chǎng)景上，由此提醒用戶已經(jīng)檢測(cè)到可能的偏離或異常。
[0168]根據(jù)其它實(shí)施例，通過(guò)開(kāi)始把光投影或閃爍到與報(bào)警條件有關(guān)的被識(shí)別區(qū)域或者與該被識(shí)別區(qū)域非常近的與該被識(shí)別區(qū)域有關(guān)的區(qū)域上，可見(jiàn)光投影系統(tǒng)22可以適于突出那個(gè)被識(shí)別區(qū)域。根據(jù)不同的實(shí)施例，被投影的可見(jiàn)光可以包括任何合適顏色、顏色范圍、灰度級(jí)范圍和/或強(qiáng)度的光并且以任何合適的尺寸、形狀和/或圖案呈現(xiàn)。
[0169]根據(jù)另一種實(shí)施例，熱成像系統(tǒng)10可以包括一個(gè)或多個(gè)揚(yáng)聲器單元并且適于提供形式為可聽(tīng)信號(hào)的警報(bào)。
[0170]視場(chǎng)(FOV)和視差誤差
[0171]圖2說(shuō)明了表示為角度α的圖1熱成像布置10的可見(jiàn)光成像系統(tǒng)14的視場(chǎng)(FOV)，表示為角度β的紅外線成像系統(tǒng)18的F0V，以及表示為角度Y的可見(jiàn)光投影系統(tǒng)22的F0V。這三個(gè)光學(xué)系統(tǒng)14、18和22的光軸分別示為虛線0Α1、0Α3和0Α2。
[0172]有兩個(gè)因素對(duì)不同成像系統(tǒng)產(chǎn)生的圖像和/或投影的相對(duì)位移起作用。首先，成像系統(tǒng)14、18和22之間的相應(yīng)距離造成圖像的位移，也稱為視差距離，這個(gè)位移在儀表中是恒定的，例如P(p_vis)，但是隨著到對(duì)象的距離增加而像素個(gè)數(shù)減少，例如dpix vis。其次，不同成像系統(tǒng)14、18、22的光軸0A1、0A3、0A2通常不是完美平行。它們之間的相應(yīng)角度造成位移，也稱為定點(diǎn)誤差或方向性誤差，這在儀表中隨著到對(duì)象的距離而變但是像素個(gè)數(shù)是恒定的。定點(diǎn)誤差，或者說(shuō)方向性誤差，是由兩個(gè)光學(xué)系統(tǒng)之間的角度與期望的角度相比的差造成的，并且由于構(gòu)造不準(zhǔn)確而發(fā)生。例如，當(dāng)可見(jiàn)光成像系統(tǒng)14和IR成像系統(tǒng)18在生產(chǎn)過(guò)程中被組裝時(shí)，對(duì)于每個(gè)熱成像布置10，它們將不以完全相同的方式組裝。細(xì)小的差異將發(fā)生，并由此發(fā)生方向性誤差。
[0173]根據(jù)實(shí)施例，如在本文中所使用的，術(shù)語(yǔ)“視差誤差”包括由成像子系統(tǒng)之間的距離和光軸之間的角度造成的組合的像素位移。
[0174]如在圖2中可以看到的，在投影系統(tǒng)22的光軸0A2和可見(jiàn)光成像系統(tǒng)14的光軸OAl之間存在視差距離P(p_vis)，并且在投影系統(tǒng)22的光軸0A2和IR成像系統(tǒng)18的光軸0A3之間存在另一個(gè)視差距離P(p-1K)。
[0175]視差距離P(p_vis)造成由可見(jiàn)光投影系統(tǒng)22投影的可見(jiàn)圖像和由可見(jiàn)光成像系統(tǒng)14捕捉的圖像之間的像素位移。這個(gè)像素位移在下文中表示為d(pixvis)。
[0176]視差距離P(p_IK)造成由可見(jiàn)光投影系統(tǒng)22投影的可見(jiàn)圖像和由IR成像系統(tǒng)18捕捉的IR圖像之間的像素位移。這個(gè)像素位移在下文中表示為d(pix IK)。
[0177]如對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)很顯然的，在可見(jiàn)光成像系統(tǒng)14的光軸OAl和IR成像系統(tǒng)18的0Α3之間還存在另一個(gè)視差距離P(vis_IK)，從而造成由可見(jiàn)光成像系統(tǒng)14捕捉的圖像和由IR成像系統(tǒng)18捕捉的IR圖像之間的像素位移。根據(jù)本發(fā)明的所有實(shí)施例，可見(jiàn)光成像系統(tǒng)14和IR成像系統(tǒng)18集成在組件12中，由此視差距離P(vis_IK)從生產(chǎn)得知并且可以在熱成像布置10的校準(zhǔn)/對(duì)準(zhǔn)或操作期間進(jìn)行補(bǔ)償。
[0178]在一種實(shí)施例中，圖2中所示的像素位移d(pix vis)和d(pix IE)可以作為距離z(x,y)的函數(shù)憑經(jīng)驗(yàn)來(lái)確定，其中這個(gè)距離代表從熱成像布置10到觀察的一個(gè)或多個(gè)現(xiàn)實(shí)世界對(duì)象或場(chǎng)景上的點(diǎn)選擇的每一個(gè)的距離，例如，在熱成像布置10的生產(chǎn)或校準(zhǔn)期間。根據(jù)實(shí)施例，結(jié)合可見(jiàn)光投影系統(tǒng)22和可見(jiàn)光成像系統(tǒng)14之間的視差距離P(p-Vis)，距離Z可以描述為到場(chǎng)景中代表被捕捉可見(jiàn)圖像中檢測(cè)到投影圖案的具體坐標(biāo)的部分的距離。
[0179]由此，在一種實(shí)施例中，作為從熱成像布置10到觀察的場(chǎng)景的距離z的函數(shù)的像素位移的確定可以利用本身已知的方法分別對(duì)可見(jiàn)光成像系統(tǒng)14和IR成像系統(tǒng)18執(zhí)行。
[0180]根據(jù)實(shí)施例，作為距離z的函數(shù)確定的像素位移存儲(chǔ)在熱成像布置10的存儲(chǔ)器中，例如，存儲(chǔ)器存儲(chǔ)15中，并且可以用來(lái)在操作期間補(bǔ)償視差誤差。
[0181]根據(jù)實(shí)施例，距離z是相對(duì)于圖像中代表觀察的現(xiàn)實(shí)世界場(chǎng)景的預(yù)定坐標(biāo)，諸如圖像的中心、圖像的角落或者圖像中任何其它合適的坐標(biāo)，確定的。
[0182]熱成像布置10的光學(xué)系統(tǒng)之間相應(yīng)的視差距離P(p_vis)、P(p_IK)和定點(diǎn)誤差，或者說(shuō)方向性誤差，可以用來(lái)估計(jì)用于作為到觀察的現(xiàn)實(shí)世界場(chǎng)景的距離的函數(shù)的位移的關(guān)系，例如等式或曲線。這種等式或曲線可以存儲(chǔ)在熱成像布置10中的存儲(chǔ)器中，例如存儲(chǔ)器存儲(chǔ)15中，并且可以用來(lái)在操作期間通過(guò)把確定的距離映射到相關(guān)視差距離等式或曲線來(lái)補(bǔ)償視差誤差。
[0183]如前面所提到的，投影的預(yù)定可見(jiàn)光符號(hào)或圖案通常由多于一個(gè)像素，通常是多個(gè)像素，組成。由此，該符號(hào)或圖案比如果只一個(gè)像素/一個(gè)點(diǎn)用于確定距離的話更可靠地確定。此外，由于該符號(hào)或圖案具有很容易與觀察的場(chǎng)景的圖像中可能出現(xiàn)的任何東西區(qū)分的形狀或分布并且可以具有人已知的對(duì)象的形狀或者使其很容易被數(shù)據(jù)處理器識(shí)別的任何其它合適形狀或分布，而單個(gè)像素會(huì)與圖像中存在的其它對(duì)象或噪聲混淆。
[0184]對(duì)準(zhǔn)
[0185]如以上所解釋的，儀表中的視差距離P(p_vis)造成由可見(jiàn)光投影系統(tǒng)22投影的可見(jiàn)圖像和由可見(jiàn)光成像系統(tǒng)14捕捉的圖像之間的像素位移d(pix vis)，并且，視差距離P(p_IK)造成由可見(jiàn)光投影系統(tǒng)22投影的可見(jiàn)圖像和由IR成像系統(tǒng)18捕捉的IR圖像之間的像素位移d(pix IK)。如對(duì)本領(lǐng)域技術(shù)人員很顯然的，通常在可見(jiàn)光成像系統(tǒng)14和IR成像系統(tǒng)18之間也有視差距離，從而造成由不同光學(xué)系統(tǒng)捕捉的圖像之間的第三個(gè)像素位移。這個(gè)視差距離和像素位移在圖2中未示出。
[0186]根據(jù)實(shí)施例，處理器13布置成對(duì)由光學(xué)系統(tǒng)14、18、22中任何一個(gè)或全部捕捉的圖像和/或由光學(xué)系統(tǒng)14、18、22中任何一個(gè)或全部投影的光執(zhí)行對(duì)準(zhǔn)。
[0187]為了能夠?qū)⒗每梢?jiàn)光投影系統(tǒng)22投影到觀察的場(chǎng)景上的可見(jiàn)光與從觀察的場(chǎng)景發(fā)射、被IR成像系統(tǒng)18檢測(cè)并變換成IR圖像的IR輻射對(duì)準(zhǔn)，投影的可見(jiàn)光和檢測(cè)到的IR輻射之間的位移必須計(jì)算或近似，并且進(jìn)行補(bǔ)償。根據(jù)以下給出的不同實(shí)施例，這個(gè)位移的計(jì)算或近似是在熱成像布置10的生產(chǎn)期間的校準(zhǔn)/對(duì)準(zhǔn)、其操作期間的自校準(zhǔn)/對(duì)準(zhǔn)或自調(diào)節(jié)/對(duì)準(zhǔn)當(dāng)中執(zhí)行的。
[0188]生產(chǎn)期間的校準(zhǔn)/對(duì)準(zhǔn)
[0189]根據(jù)圖1A中所說(shuō)明的實(shí)施例，可見(jiàn)光成像系統(tǒng)14、IR成像系統(tǒng)18和可見(jiàn)光投影系統(tǒng)22全都組裝在集成的熱成像布置10中，例如集成在組件12中，在不同的光學(xué)設(shè)備14、18、22，光軸0A1、0A3、0A2之間分別具有已知的視差距離。
[0190]根據(jù)這種實(shí)施例，熱成像布置可以在熱成像布置(10)的生產(chǎn)或制造中被校準(zhǔn)/對(duì)準(zhǔn)。在這種校準(zhǔn)/對(duì)準(zhǔn)期間，所有視差距離都是已知的，因?yàn)楣廨S0A1、0A3、0A2之間的距離是已知的。在生產(chǎn)期間執(zhí)行校準(zhǔn)時(shí)已知的其它參數(shù)是:可見(jiàn)光成像系統(tǒng)14的視場(chǎng)(FOVvis)；IR成像系統(tǒng)18的視場(chǎng)(FOVik);到觀察的場(chǎng)景的距離z ;以及利用可見(jiàn)光成像系統(tǒng)14捕捉的圖像和利用IR成像系統(tǒng)18捕捉的圖像的圖像坐標(biāo)之間的變換，或映射函數(shù)，f(z)，該函數(shù)是z的函數(shù)。
[0191]根據(jù)實(shí)施例，距離z是相對(duì)于圖像中的預(yù)定坐標(biāo)確定的，諸如圖像的中心、圖像的角落或者圖像中任何其它合適的坐標(biāo)。
[0192]生產(chǎn)校準(zhǔn)方法的實(shí)施例包括以下在圖4A中說(shuō)明的步驟:
[0193]步驟410:利用可見(jiàn)光投影系統(tǒng)22，根據(jù)第二視場(chǎng)，把可見(jiàn)光圖案投影到觀察的現(xiàn)實(shí)世界場(chǎng)景上，其中第二視場(chǎng)至少部分地重疊IR成像系統(tǒng)的第一視場(chǎng)。
[0194]根據(jù)實(shí)施例，投影的可見(jiàn)光可以是諸如圖案或符號(hào)的可識(shí)別特征的形式。
[0195]步驟420:利用可見(jiàn)光成像系統(tǒng)14，根據(jù)第三視場(chǎng)捕捉觀察的現(xiàn)實(shí)世界場(chǎng)景的可見(jiàn)光圖像，包括投影的可見(jiàn)光圖案，其中第三視場(chǎng)至少部分地重疊第一和/或第二視場(chǎng)。
[0196]根據(jù)實(shí)施例，捕捉到兩個(gè)可見(jiàn)光圖像，其中一個(gè)包括場(chǎng)景和投影的可見(jiàn)光，而另一個(gè)包括場(chǎng)景但不包括投影的可見(jiàn)光。換句話說(shuō)，在捕捉到其中一個(gè)圖像時(shí)，投影設(shè)備把可見(jiàn)光投影到場(chǎng)景上，但在捕捉到另一個(gè)圖像時(shí)不投影。通過(guò)減去捕捉到的圖像，獲得包括投影的可見(jiàn)光但不包括觀察的場(chǎng)景的差異圖像。
[0197]步驟430:在可見(jiàn)光圖像中，或者如果在步驟420中已經(jīng)獲得差異圖像的情況下在差異圖像中，檢測(cè)投影的可見(jiàn)光圖案。
[0198]根據(jù)實(shí)施例，在到觀察的場(chǎng)景的距離z和捕捉到的可見(jiàn)光圖像中投影的可見(jiàn)光將出現(xiàn)的位置之間存在已知的預(yù)定關(guān)系。因此，距離z可以在可選步驟485中用作對(duì)于投影的可見(jiàn)光檢測(cè)的輸入。由此，由于檢測(cè)在可見(jiàn)光圖像最有可能的位置，或坐標(biāo)，開(kāi)始，因此獲得更高效的檢測(cè)。
[0199]步驟440:基于捕捉到的可見(jiàn)光圖像，計(jì)算由可見(jiàn)光投影系統(tǒng)22投影的光和由可見(jiàn)光成像系統(tǒng)14捕捉的圖像之間的像素位移d(pix vis)。換句話說(shuō)，如果可見(jiàn)光成像系統(tǒng)14和可見(jiàn)光投影系統(tǒng)22對(duì)準(zhǔn)，例如從生產(chǎn)校準(zhǔn)/對(duì)準(zhǔn)或自校準(zhǔn)/對(duì)準(zhǔn)得知，則確定可見(jiàn)光圖像中投影的可見(jiàn)光圖案像素坐標(biāo)和可見(jiàn)光圖像中該投影的可見(jiàn)光將出現(xiàn)的像素坐標(biāo)之間以像素為單位的位移d


(pix vis) °

像素位移d
(pix vis)

的例子在圖2中示出。
[0200]如對(duì)本領(lǐng)域技術(shù)人員很顯然的，依賴于條件，像素位移可以例如表示為分成X方向分量和I方向分量(dx

(pix vis)，dy (pis vis) )或者表示為極坐標(biāo)。
[0201]步驟450:如果還未知，則計(jì)算投影儀的FOV，F(xiàn)OVprojo
[0202]由于可見(jiàn)光成像系統(tǒng)的FOV，F(xiàn)OVvis，是已知的，因此FOVproj可以基于包括投影的可見(jiàn)光的捕捉到的可見(jiàn)光圖像，或差異圖像，以下列方式來(lái)計(jì)算，其中投影的可見(jiàn)光可以表示為區(qū)域、可識(shí)別特征、圖案或符號(hào):
[0203]根據(jù)實(shí)施例，已知FOVpraj的百分之多少由，例如X或y方向中，投影區(qū)域、特征、圖案或符號(hào)中兩個(gè)或更多個(gè)預(yù)定點(diǎn)之間的距離表示。在包括投影的可見(jiàn)光區(qū)域、特征、圖案或符號(hào)的捕捉到的可見(jiàn)光圖像中，確定投影的可見(jiàn)光區(qū)域、特征、圖案或符號(hào)的預(yù)定點(diǎn)之間的像素距離。由于可見(jiàn)光圖像的以像素為單位的分辨率是已知的，因此可見(jiàn)光圖像的百分比，并且由此由投影的可見(jiàn)光區(qū)域、特征、圖案或符號(hào)的兩個(gè)點(diǎn)之間的距離表示的FOVvis的百分t匕，可以基于所述像素距離來(lái)確定。通過(guò)知道FOVvis并進(jìn)一步知道分別代表投影的可見(jiàn)光區(qū)域、特征、圖案或符號(hào)的預(yù)定點(diǎn)之間距離的FOVvis和FOVimy.的百分比之間的關(guān)系，可以確定 FOVproj。
[0204]步驟460:確定形式為校準(zhǔn)參數(shù)Ctl和C1的校準(zhǔn)參數(shù)。
[0205]校準(zhǔn)參數(shù)C。是關(guān)于所比較的兩個(gè)光學(xué)系統(tǒng)的光軸，例如光軸0A1、0A2，之間視差距離的理論常量。根據(jù)實(shí)施例，C0表示為(長(zhǎng)度單位X像素個(gè)數(shù))。
[0206]校準(zhǔn)參數(shù)C1關(guān)于定點(diǎn)，或方向性，誤差。換句話說(shuō)，C1關(guān)于所比較的兩個(gè)光學(xué)系統(tǒng)的光軸，例如光軸0A1、0A2，之間的角度。根據(jù)實(shí)施例，C1以像素為單位來(lái)表示。
[0207]根據(jù)實(shí)施例，校準(zhǔn)參數(shù)以下列方式確定:
「0?081= f ImvVlsr
[0208]丨。鳴―-t(等式”
[0209]其中表示為長(zhǎng)度單位的、到觀察的現(xiàn)實(shí)世界場(chǎng)景的距離Z是已知的，并且d(pix vis)是以像素為單位表示的像素位移，如在步驟440計(jì)算的。
[0210]如對(duì)本領(lǐng)域技術(shù)人員很顯然的，依賴于條件，校準(zhǔn)參數(shù)可以例如表示為分成X方向分量和I方向分量(Ctlx, c0y)，(Ctlx, c0y),或者表示為極坐標(biāo)。
[0211]步驟490:校準(zhǔn)熱成像布置的光學(xué)系統(tǒng)，或者換句話說(shuō)，補(bǔ)償在步驟460確定的視差誤差，或像素位移和定點(diǎn)誤差。
[0212]在步驟490的計(jì)算之后，由投影系統(tǒng)22產(chǎn)生的投影將和由IR成像系統(tǒng)18捕捉的IR輻射對(duì)準(zhǔn)。換句話說(shuō)，在步驟490之后，熱成像布置準(zhǔn)備好操作，并且根據(jù)實(shí)施例，可以進(jìn)一步在操作期間用作距離傳感器。
[0213]根據(jù)實(shí)施例，上述校準(zhǔn)過(guò)程被執(zhí)行多次，例如兩次或三次，以便確保適當(dāng)?shù)男?zhǔn)。
[0214]校準(zhǔn)的或?qū)?zhǔn)的熱成像布置的操作的實(shí)施例在圖8中說(shuō)明。
[0215]自校準(zhǔn)
[0216]根據(jù)另一種實(shí)施例，熱成像布置適于自校準(zhǔn)/對(duì)準(zhǔn)，一邊的可見(jiàn)光投影系統(tǒng)22與另一邊的可見(jiàn)光成像系統(tǒng)14和IR成像系統(tǒng)18之間的視差距離可以分別近似。
[0217]根據(jù)在圖1B中示出并在部分“可分離附連的部件實(shí)施例”中進(jìn)一步描述的這種實(shí)施例，附連特征25A在投影系統(tǒng)22上提供并適于安裝到在IR成像系統(tǒng)10上提供的對(duì)應(yīng)附連特征25B，使得投影系統(tǒng)22可以附連到IR成像系統(tǒng)18并從其分離。這種附連特征可以例如形成為與固定到投影系統(tǒng)的第一耦合部分25A和固定到IR成像系統(tǒng)的第二耦合部分25B的附連耦合。當(dāng)附連時(shí)，根據(jù)實(shí)施例，可見(jiàn)光投影系統(tǒng)22定位成關(guān)于IR成像系統(tǒng)18和可見(jiàn)光成像系統(tǒng)14分別有視差距離和定點(diǎn)誤差，基本上在每次附連特征彼此附連時(shí)都相同，具有最小的誤差邊際。
[0218]根據(jù)實(shí)施例，熱成像布置是自校準(zhǔn)/對(duì)準(zhǔn)的。在這種自校準(zhǔn)期間，以下參數(shù)從熱成像布置生產(chǎn)中的校準(zhǔn)期間的校準(zhǔn)/對(duì)準(zhǔn)得知:可見(jiàn)光成像系統(tǒng)14和IR成像系統(tǒng)18之間的視差距離和定點(diǎn)誤差；可見(jiàn)光成像系統(tǒng)14的視場(chǎng)(FOVvis) ; IR成像系統(tǒng)18的視場(chǎng)(FOVik)；以及利用可見(jiàn)光成像系統(tǒng)14捕捉到的圖像和利用IR成像系統(tǒng)18捕捉到的圖像的圖像坐標(biāo)之間的變換，或映射函數(shù)，f(z)，該函數(shù)是到觀察的場(chǎng)景的距離z的函數(shù)。根據(jù)實(shí)施例，自校準(zhǔn)的目的是估計(jì)視差距離校準(zhǔn)參數(shù)、定點(diǎn)誤差校準(zhǔn)參數(shù)以及，如果還未知的話，還有投影系統(tǒng)22的視場(chǎng)(FOVpraj)。
[0219]用于自校準(zhǔn)的方法實(shí)施例包括以下步驟，在圖4B中說(shuō)明:
[0220]步驟410、420、440、450和490對(duì)應(yīng)于以上關(guān)于圖4A給出的相同步驟。
[0221]除輸入距離z的可選步驟485之外，步驟430對(duì)應(yīng)于上述步驟430，因?yàn)榫嚯xz不是早先知道或預(yù)定的。相反，距離z是通過(guò)在步驟470中測(cè)量來(lái)確定的，例如，通過(guò)距離傳感器或飛行時(shí)間傳感器。根據(jù)實(shí)施例，距離z在步驟480中輸入或反饋到步驟430的投影的可見(jiàn)光區(qū)域、特征、圖案或符號(hào)的檢測(cè)，由此提供更智能或高效的區(qū)域、特征、圖案或符號(hào)檢測(cè)，如以上對(duì)步驟430所描述的。
[0222]根據(jù)實(shí)施例，上述校準(zhǔn)過(guò)程被執(zhí)行多于一次，例如兩次或三次，以便確保適當(dāng)?shù)男?zhǔn)。
[0223]校準(zhǔn)的或?qū)?zhǔn)的熱成像布置的操作的實(shí)施例在圖8中說(shuō)明。
[0224]校準(zhǔn)的熱成像布置的操作
[0225]一旦熱成像布置已經(jīng)根據(jù)以上關(guān)于圖4A和4B給出的任何實(shí)施例校準(zhǔn)/對(duì)準(zhǔn)，該布置就準(zhǔn)備好操作。在操作中，熱成像布置將以相同的方式工作，而不管校準(zhǔn)是在生產(chǎn)中還是使用期間執(zhí)行，如圖7所說(shuō)明的。
[0226]根據(jù)以上給出的方法實(shí)施例的實(shí)施例，已經(jīng)在生產(chǎn)中校準(zhǔn)/對(duì)準(zhǔn)的熱成像布置，以及自校準(zhǔn)/對(duì)準(zhǔn)的熱成像布置，都在步驟490之后校準(zhǔn)或?qū)?zhǔn)。在步驟490中的校準(zhǔn)/對(duì)準(zhǔn)之后，由投影系統(tǒng)22產(chǎn)生的投影將與由IR成像系統(tǒng)18捕捉的IR輻射對(duì)準(zhǔn)。換句話說(shuō)，在步驟490之后，熱成像布置準(zhǔn)備好操作，并且，根據(jù)實(shí)施例，在操作期間進(jìn)一步用來(lái)確定到觀察的場(chǎng)景的距離，即，執(zhí)行距離傳感器的功能。根據(jù)實(shí)施例，熱成像布置可以用來(lái)利用以下關(guān)系確定到觀察的場(chǎng)景的距離:

Ca
[0227]I =(等式 2)
[0228]其中參數(shù)對(duì)應(yīng)于以上等式I的參數(shù)。
[0229]如對(duì)本領(lǐng)域技術(shù)人員很顯然的，依賴于條件，等式2的所有參數(shù)都可以例如表示為分成X方向分量和I方向分量，或者表示為極坐標(biāo)。
[0230]如對(duì)本領(lǐng)域技術(shù)人員很顯然的，如果等式的剩余參數(shù)已知，則等式2的關(guān)系可以代替地用來(lái)確定參數(shù)Ct^ C1, Z或d(pix vis)中任何一個(gè)。
[0231]在操作中，根據(jù)圖8中所示的實(shí)施例，通過(guò)獲得或取得到觀察的一個(gè)或多個(gè)對(duì)象或場(chǎng)景的距離z，校準(zhǔn)的/對(duì)準(zhǔn)的熱成像布置產(chǎn)生到觀察的場(chǎng)景上的可見(jiàn)光投影，其與從觀察的場(chǎng)景發(fā)射并被熱成像布置的IR成像系統(tǒng)的IR傳感器接收的IR輻射對(duì)準(zhǔn)；如上所述，基于距離z和在生產(chǎn)中或自校準(zhǔn)期間確定的校準(zhǔn)參數(shù)Ctl和C1確定像素位移dpix vis，并且該方法實(shí)施例包括以下步驟:
[0232]步驟810:利用IR成像系統(tǒng)18，根據(jù)第一視場(chǎng)檢測(cè)從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的IR輻射，并且創(chuàng)建形式為IR圖像的檢測(cè)到的IR輻射的可見(jiàn)表示。通常，檢測(cè)到的IR輻射到達(dá)IR成像系統(tǒng)18的IR傳感器陣列20，具有確定的第一視場(chǎng)。
[0233]步驟820:取得從熱成像布置10到觀察的現(xiàn)實(shí)世界場(chǎng)景或?qū)ο蟮木嚯xz。
[0234]根據(jù)實(shí)施例，距離z可以例如通過(guò)利用與已知參數(shù)和/或使熱成像布置能夠進(jìn)行取得的參數(shù)的關(guān)系的計(jì)算來(lái)取得，例如以上給出的等式2的關(guān)系。根據(jù)備選實(shí)施例，距離z可以通過(guò)使用集成到熱成像布置中或耦合到其的距離傳感器來(lái)取得。在一個(gè)例子中，距離是通過(guò)使用兩個(gè)可見(jiàn)光傳感器、IR圖像中激光點(diǎn)的檢測(cè)、對(duì)焦透鏡的位置或者通過(guò)使用集成到熱成像布置中或耦合到其的距離傳感器以本身已知的方式取得的。
[0235]根據(jù)實(shí)施例，取得的距離z用作對(duì)步驟830的輸入。
[0236]步驟830:計(jì)算由可見(jiàn)光投影系統(tǒng)22根據(jù)第一視場(chǎng)投影的可見(jiàn)圖像與作為根據(jù)第一視場(chǎng)檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射的可見(jiàn)表示的、由IR成像系統(tǒng)18捕捉的IR圖像之間的像素位移dpix IRO
[0237]根據(jù)實(shí)施例，作為到觀察的一個(gè)或多個(gè)對(duì)象或場(chǎng)景的距離的函數(shù)，像素位移dpix IE和像素位移dpix vis之間的關(guān)系從生產(chǎn)或校準(zhǔn)得知，其中像素位移dpix vis是由可見(jiàn)光投影系統(tǒng)22投影的可見(jiàn)圖像與由可見(jiàn)光成像系統(tǒng)14捕捉的可見(jiàn)光圖像之間的像素位移。描述這種關(guān)系的一種方式是:
[0238]dpix IE = f (dpix vis, z)(等式 3)
[0239]根據(jù)實(shí)施例，該關(guān)系是映射函數(shù)，例如表示為查找表，其中，基于取得的距離z的值，用于dpix vis的每個(gè)值具有用于dpix IE的對(duì)應(yīng)值。為了簡(jiǎn)化，每個(gè)位移在這里都公式化為一個(gè)值dpix vis或dpix IK。但是，位移可以包括多于一個(gè)分量。通常，對(duì)于圖像，位移是關(guān)于X分量和I分量來(lái)描述的，例如以矢量(例如，dxpix vis, dypix vis)的形式,或者作為極坐標(biāo)。
[0240]根據(jù)上述實(shí)施例，距離是從步驟820得知的。因此，為了確定dpix IE,我們首先需要知道dpixvis。如果位移dpixvis還不知道，則，如上所述，它可以利用已知的參數(shù)CdP C1以及等式2中給出的關(guān)系來(lái)確定。
[0241]當(dāng)dpix vis已知或被確定時(shí)，根據(jù)以上給出的任何實(shí)施例，像素位移dpix 11(通過(guò)使用等式3的關(guān)系來(lái)確定。
[0242]步驟840:把IR圖像呈現(xiàn)到觀察的場(chǎng)景上，與觀察的場(chǎng)景對(duì)準(zhǔn)。換句話說(shuō)，把IR圖像呈現(xiàn)到觀察的場(chǎng)景上，與從觀察的圖像發(fā)射的IR輻射對(duì)準(zhǔn)。
[0243]對(duì)準(zhǔn)IR圖像
[0244]根據(jù)實(shí)施例，通過(guò)補(bǔ)償在步驟830確定的像素位移dpixIK，IR圖像對(duì)準(zhǔn)到觀察的場(chǎng)景，或者換句話說(shuō)對(duì)準(zhǔn)到從觀察的場(chǎng)景發(fā)射的IR輻射?？梢栽跓岢上癫贾?0的處理器13中或者在集成在熱成像布置10的任何部件中或與其耦合的另一處理器中執(zhí)行這種對(duì)準(zhǔn)或補(bǔ)償。
[0245]根據(jù)實(shí)施例，把對(duì)準(zhǔn)的IR圖像呈現(xiàn)到觀察的場(chǎng)景上包括把對(duì)準(zhǔn)的IR圖像傳送到可見(jiàn)光投影系統(tǒng)22并且利用可見(jiàn)光投影系統(tǒng)22把對(duì)準(zhǔn)的IR圖像投影到觀察的場(chǎng)景上。
[0246]根據(jù)備選實(shí)施例，把對(duì)準(zhǔn)的IR圖像呈現(xiàn)到觀察的場(chǎng)景上包括把IR圖像傳送到可見(jiàn)光投影系統(tǒng)22、利用集成在可見(jiàn)光投影系統(tǒng)22中或與其耦合的處理器對(duì)準(zhǔn)IR圖像，并且利用可見(jiàn)光投影系統(tǒng)22把對(duì)準(zhǔn)的IR圖像投影到觀察的場(chǎng)景上。
[0247]根據(jù)實(shí)施例，F(xiàn)0VP_小于F0VIK。根據(jù)這種實(shí)施例，可見(jiàn)光投影系統(tǒng)22將不適于顯示整個(gè)IR圖像。因此，獲得IR圖像中對(duì)應(yīng)于FOVpraj的部分，例如，通過(guò)從IR圖像選擇、裁剪或切割所述部分，然后投影到觀察的現(xiàn)實(shí)世界場(chǎng)景上。
[0248]根據(jù)實(shí)施例，通過(guò)補(bǔ)償在步驟830確定的像素位移dpix IE, IR圖像對(duì)準(zhǔn)到觀察的場(chǎng)景，或者換句話說(shuō)對(duì)準(zhǔn)到從觀察的場(chǎng)景發(fā)射的IR輻射。這種對(duì)準(zhǔn)，或補(bǔ)償，可以在熱成像布置10的處理器13中，或者在集成在熱成像布置10的任何部件中或與其耦合的另一處理器中，執(zhí)行。
[0249]根據(jù)實(shí)施例，把對(duì)準(zhǔn)的IR圖像呈現(xiàn)到觀察的場(chǎng)景上包括把對(duì)準(zhǔn)的IR圖像傳送到可見(jiàn)光投影系統(tǒng)22并且利用可見(jiàn)光投影系統(tǒng)22把對(duì)準(zhǔn)的IR圖像投影到觀察的場(chǎng)景上。
[0250]根據(jù)備選實(shí)施例，把對(duì)準(zhǔn)的IR圖像呈現(xiàn)到觀察的場(chǎng)景上包括把IR圖像傳送到可見(jiàn)光投影系統(tǒng)22、利用集成在可見(jiàn)光投影系統(tǒng)22中或與其耦合的處理器對(duì)準(zhǔn)IR圖像，并且利用可見(jiàn)光投影系統(tǒng)22把對(duì)準(zhǔn)的IR圖像投影到觀察的場(chǎng)景上。
[0251]在一種實(shí)施例中，可見(jiàn)光投影系統(tǒng)22的FOV完全包括在IR成像系統(tǒng)18的FOV中。根據(jù)這種實(shí)施例，把IR圖像對(duì)準(zhǔn)到檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射包括基于像素位移dpix 11；和FOVpraj獲得IR圖像中對(duì)應(yīng)于FOVpraj的部分，例如，通過(guò)從IR圖像選擇、裁剪或切割所述部分。
[0252]根據(jù)一種實(shí)施例，可見(jiàn)光投影系統(tǒng)22的FOV只部分重疊IR成像系統(tǒng)18的F0V。根據(jù)這種實(shí)施例，把IR圖像對(duì)準(zhǔn)到檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射包括獲得IR圖像中位于兩個(gè)系統(tǒng)的FOV的重疊部分之內(nèi)的部分。
[0253]根據(jù)一種實(shí)施例，把IR圖像對(duì)準(zhǔn)到檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射還包括獲得對(duì)應(yīng)檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射滿足條件的IR圖像的部分，其中的條件是例如高于閾值、低于閾值或者在區(qū)間內(nèi)。
[0254]根據(jù)一種實(shí)施例，把IR圖像對(duì)準(zhǔn)到檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射還包括基于由熱成像布置(10)的操作人員利用IR成像系統(tǒng)的輸入特征指示的區(qū)域，或者基于在處理器13中實(shí)現(xiàn)的對(duì)象檢測(cè)特征，獲得IR圖像的部分，從而把IR圖像的部分檢測(cè)為對(duì)象。
[0255]根據(jù)圖2中說(shuō)明的實(shí)施例，可見(jiàn)光成像系統(tǒng)14具有最大F0V，IR成像系統(tǒng)18具有第二大FOV并且投影系統(tǒng)22具有最小F0V。但是，依賴于諸如價(jià)格、性能和終端客戶需求之類的條件，F(xiàn)OV尺寸的任何其它關(guān)系都是可以想到的。
[0256]自調(diào)節(jié)
[0257]根據(jù)另一種實(shí)施例，熱成像布置是自調(diào)節(jié)或自對(duì)準(zhǔn)的，或者換句話說(shuō)在操作中自我調(diào)節(jié)或?qū)?zhǔn)。
[0258]在操作中，根據(jù)實(shí)施例，熱成像布置通過(guò)以下與從觀察的場(chǎng)景發(fā)射的IR輻射對(duì)準(zhǔn)地產(chǎn)生到觀察的場(chǎng)景上的可見(jiàn)光投影:利用熱成像布置的IR成像系統(tǒng)的IR傳感器接收從觀察的場(chǎng)景發(fā)射的IR輻射；把接收到的IR輻射轉(zhuǎn)換成形式為IR圖像的可見(jiàn)表示；獲得或取得從熱成像布置到觀察的一個(gè)或多個(gè)對(duì)象或場(chǎng)景的距離z ;確定像素位移dpix vis;把像素位移dpix vis轉(zhuǎn)換成像素位移dpix IE;通過(guò)補(bǔ)償像素位移dpix IE來(lái)對(duì)準(zhǔn)IR圖像；并且把對(duì)準(zhǔn)的IR圖像投影到觀察的場(chǎng)景上，由此與從場(chǎng)景發(fā)射的IR輻射對(duì)準(zhǔn)地獲得IR圖像到場(chǎng)景上的呈現(xiàn)。
[0259]根據(jù)實(shí)施例，一邊的可見(jiàn)光投影系統(tǒng)22分別與另一邊的可見(jiàn)光成像系統(tǒng)14和IR成像系統(tǒng)18之間的視差距離和定點(diǎn)誤差都是未知的，因?yàn)榭梢?jiàn)光投影系統(tǒng)22是與其它光學(xué)系統(tǒng)14、18物理地分開(kāi)的部件，離光學(xué)系統(tǒng)14、18有未知且不恒定的距離。這種實(shí)施例在圖1C中示出并且以上在部分“獨(dú)立部件實(shí)施例”中進(jìn)一步描述。
[0260]在操作過(guò)程中的這種自調(diào)節(jié)、自對(duì)準(zhǔn)或?qū)?zhǔn)期間，以下參數(shù)從生產(chǎn)得知:可見(jiàn)光成像系統(tǒng)14和IR成像系統(tǒng)18之間的視差距離和定點(diǎn)誤差；可見(jiàn)光成像系統(tǒng)14的視場(chǎng)(FOVvis) ;IR成像系統(tǒng)18的視場(chǎng)(FOVik);以及利用可見(jiàn)光成像系統(tǒng)14捕捉的圖像和利用IR成像系統(tǒng)18捕捉的圖像的圖像坐標(biāo)之間的變換，或映射函數(shù)，f (z)，該函數(shù)是到觀察的場(chǎng)景的距離z的函數(shù)。根據(jù)實(shí)施例，自對(duì)準(zhǔn)的目的是估計(jì)視差距離、定點(diǎn)誤差和投影系統(tǒng)22的視場(chǎng)(FOVproj)，以便能夠進(jìn)行熱成像布置的不同光學(xué)系統(tǒng)的對(duì)準(zhǔn)。
[0261]參考圖4B，說(shuō)明了方法的實(shí)施例。步驟410、420、430、440、450、470和480對(duì)應(yīng)于以上關(guān)于圖4B給出的相同步驟。自調(diào)節(jié)的實(shí)施例還包括在圖6中說(shuō)明的以下步驟:
[0262]步驟610:利用以上在等式3中示出的、從生產(chǎn)得知的可見(jiàn)光成像系統(tǒng)14捕捉的圖像和利用IR成像系統(tǒng)18捕捉的圖像的圖像坐標(biāo)之間的變換或映射函數(shù)，把由可見(jiàn)光投影系統(tǒng)22投影的光和由可見(jiàn)光成像系統(tǒng)14捕捉的圖像之間X和y方向計(jì)算出的像素位移(dx(pix vis)，dy(pix vis))，轉(zhuǎn)換成由可見(jiàn)光投影系統(tǒng)22投影的光和由IR成像系統(tǒng)18捕捉的圖像之間X和y方向的像素位移(dx
(pix IR)，dy (pix IR))，。
[0263]步驟620:與從觀察的場(chǎng)景接收到的IR輻射對(duì)準(zhǔn)地呈現(xiàn)，或投影，可見(jiàn)光。
[0264]根據(jù)實(shí)施例，步驟620包括把形式為IR圖像信號(hào)的IR圖像從處理器13傳送到可見(jiàn)光投影系統(tǒng)22，由此可見(jiàn)光投影系統(tǒng)22的投影儀29把重新采樣的IR圖像數(shù)據(jù)投影到現(xiàn)實(shí)世界場(chǎng)景上。由此，IR圖像數(shù)據(jù)與現(xiàn)實(shí)世界場(chǎng)景對(duì)準(zhǔn)地投影，換句話說(shuō)，IR圖像數(shù)據(jù)在對(duì)應(yīng)檢測(cè)到的IR輻射信號(hào)從其發(fā)射的方向中投影。
[0265]與已經(jīng)在生產(chǎn)中校準(zhǔn)/對(duì)準(zhǔn)或者在操作期間自校準(zhǔn)的熱成像布置形成對(duì)比，上述自對(duì)準(zhǔn)不導(dǎo)致熱成像布置的校準(zhǔn)。相反，自對(duì)準(zhǔn)，或自調(diào)節(jié)，是在操作期間通過(guò)步驟610的轉(zhuǎn)換或映射持續(xù)執(zhí)行的。
[0266]根據(jù)實(shí)施例，上述校準(zhǔn)被執(zhí)行多于一次，例如兩次或三次，以便確保適當(dāng)?shù)恼{(diào)節(jié)。
[0267]呈現(xiàn)/投影實(shí)施例
[0268]在圖5中，示出了利用紅外線(IR)熱成像布置10基于從現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射把紅外線(IR)輻射信息的可見(jiàn)表示呈現(xiàn)到觀察的現(xiàn)實(shí)世界場(chǎng)景上的方法實(shí)施例，其中紅外線(IR)熱成像布置10包括紅外線(IR)成像系統(tǒng)18、可見(jiàn)光成像系統(tǒng)14和可見(jiàn)光投影系統(tǒng)22，其中紅外線(IR)輻射信息的可見(jiàn)表示與從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的所述紅外線(IR)輻射對(duì)準(zhǔn)呈現(xiàn)。
[0269]根據(jù)圖5，呈現(xiàn)，或投影，方法實(shí)施例包括以下步驟:
[0270]步驟502:根據(jù)第一視場(chǎng)，利用IR成像系統(tǒng)18檢測(cè)從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的IR輻射。通常，檢測(cè)到的IR輻射到達(dá)IR成像系統(tǒng)18的IR傳感器陣列20，具有確定的第一視場(chǎng)。
[0271]步驟504:以IR圖像的形式，產(chǎn)生檢測(cè)到的IR輻射的可見(jiàn)表示。
[0272]步驟506:根據(jù)第二視場(chǎng)，利用可見(jiàn)光投影系統(tǒng)22把可見(jiàn)光圖案投影到觀察的現(xiàn)實(shí)世界場(chǎng)景上，其中第二視場(chǎng)至少部分地重疊IR成像系統(tǒng)的第一視場(chǎng)。
[0273]通常，可見(jiàn)光經(jīng)具有確定的第二視場(chǎng)的可見(jiàn)光投影系統(tǒng)22投影到現(xiàn)實(shí)世界場(chǎng)景上。兩個(gè)光學(xué)系統(tǒng)18、22關(guān)于彼此對(duì)準(zhǔn)，使得第一和第二視場(chǎng)至少部分地重疊。換句話說(shuō)，光學(xué)系統(tǒng)18、22定位成具有相互視差或相對(duì)距離。
[0274]當(dāng)投影的可見(jiàn)光圖案可以包括至少一個(gè)并且優(yōu)選地少量像素，例如2-15個(gè)像素，或者它可以包括更大量像素時(shí)，投影的可見(jiàn)光圖案可以構(gòu)成符號(hào)或任何其它可識(shí)別的特征。根據(jù)實(shí)施例，投影的可見(jiàn)光可以是區(qū)域、可識(shí)別特征、圖案或符號(hào)的形式。
[0275]步驟508:根據(jù)第三視場(chǎng)，利用可見(jiàn)光成像系統(tǒng)14捕捉觀察的現(xiàn)實(shí)世界場(chǎng)景的可見(jiàn)光圖像，包括投影的可見(jiàn)光，其中第三視場(chǎng)至少部分地重疊第一和/或第二視場(chǎng)。
[0276]步驟510:在捕捉到的可見(jiàn)光圖像中檢測(cè)投影的可見(jiàn)光圖案。
[0277]根據(jù)實(shí)施例，投影的可見(jiàn)光可以是區(qū)域、可識(shí)別特征、圖案或符號(hào)的形式。
[0278]在可選的步驟512中，取得從熱成像布置10到觀察的場(chǎng)景的距離z。
[0279]根據(jù)實(shí)施例，距離z依賴于可見(jiàn)光成像系統(tǒng)和可見(jiàn)光投影儀之間的預(yù)定位移。根據(jù)實(shí)施例，取得到觀察的現(xiàn)實(shí)世界場(chǎng)景上被檢測(cè)到的可見(jiàn)光符號(hào)或圖案照亮的每個(gè)點(diǎn)的距離。根據(jù)實(shí)施例，取得到的距離用來(lái)形成距離圖。
[0280]根據(jù)不同的實(shí)施例，這一個(gè)或多個(gè)距離可以早就知道、通過(guò)使用集成在熱成像布置中或耦合到其的距離傳感器來(lái)確定、通過(guò)使用熱成像布置作為距離傳感器來(lái)確定、通過(guò)利用與已知參數(shù)和/或使得熱成像布置能夠進(jìn)行取得的參數(shù)的關(guān)系，例如等式2的關(guān)系，來(lái)計(jì)算。根據(jù)備選實(shí)施例，距離z可以通過(guò)以本身已知的方式使用兩個(gè)可見(jiàn)光傳感器、IR圖像中激光點(diǎn)的檢測(cè)、對(duì)焦透鏡的位置或者通過(guò)使用集成在熱成像布置中或耦合到其的距離傳感器來(lái)取得。
[0281]步驟514:確定檢測(cè)到的可見(jiàn)光圖案和可見(jiàn)光圖像之間的像素位移d(pix vis)。
[0282]根據(jù)實(shí)施例，這可以描述為確定捕捉到的可見(jiàn)光圖像中檢測(cè)到的可見(jiàn)光圖案，例如由可見(jiàn)光投影系統(tǒng)22投影并由可見(jiàn)光成像系統(tǒng)(14)捕捉的圖像中的區(qū)域、特征或符號(hào)，的一個(gè)或多個(gè)選定坐標(biāo)與可見(jiàn)光圖像中如果可見(jiàn)光成像系統(tǒng)和可見(jiàn)光投影系統(tǒng)對(duì)準(zhǔn)則投影的可見(jiàn)光將出現(xiàn)的坐標(biāo)之間的距離。
[0283]在一種非限制性例子中，如果可見(jiàn)光成像系統(tǒng)和可見(jiàn)光投影系統(tǒng)對(duì)準(zhǔn)則投影的可見(jiàn)光將出現(xiàn)的坐標(biāo)是圖像中預(yù)定的坐標(biāo)，諸如圖像的中心、圖像的角落或者可見(jiàn)光圖像中任何其它合適的坐標(biāo)。
[0284]根據(jù)其中距離z已經(jīng)在可選步驟512中取得的實(shí)施例，檢測(cè)到的投影的可見(jiàn)光和可見(jiàn)光圖像之間的像素位移d(pix vis)是基于取得的距離z確定的。
[0285]步驟514還包括基于檢測(cè)到的投影的可見(jiàn)光和可見(jiàn)光圖像之間的像素位移d(pixvis)確定IR圖像和可見(jiàn)光圖像之間的像素位移d(pix IK)。
[0286]根據(jù)其中距離z已經(jīng)在可選步驟512中取得的實(shí)施例，IR圖像和可見(jiàn)光圖像之間的像素位移d(pix IE)是基于像素位移d(pix vis)和取得的距離z確定的。
[0287]根據(jù)實(shí)施例，像素位移d(pix IE)是利用聯(lián)系以上等式3給出的關(guān)系確定的。
[0288]步驟516:基于所述像素位移d(pixIK)，把檢測(cè)到的IR輻射信息的可見(jiàn)光表示，換句話說(shuō)是IR圖像，對(duì)準(zhǔn)到檢測(cè)到的從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的IR輻射信息。
[0289]根據(jù)實(shí)施例，檢測(cè)到的IR信息的可見(jiàn)表示以IR圖像的形式表示，并且對(duì)準(zhǔn)是通過(guò)根據(jù)在步驟514中確定的像素位移信息調(diào)節(jié)IR圖像信息來(lái)執(zhí)行的。
[0290]步驟518:利用可見(jiàn)光投影系統(tǒng)22，與檢測(cè)到的從場(chǎng)景發(fā)射的IR輻射對(duì)準(zhǔn)，通過(guò)把對(duì)準(zhǔn)的可見(jiàn)表示，例如以IR圖像的形式，投影到觀察的現(xiàn)實(shí)世界場(chǎng)景上來(lái)呈現(xiàn)對(duì)準(zhǔn)的檢測(cè)到的IR輻射信息的可見(jiàn)表示。
[0291]根據(jù)實(shí)施例，步驟518包括把形式為IR圖像信號(hào)的IR圖像從處理器13傳送到可見(jiàn)光投影系統(tǒng)22，由此可見(jiàn)光投影系統(tǒng)22的投影儀29把重新采樣的IR圖像數(shù)據(jù)投影到現(xiàn)實(shí)世界場(chǎng)景上。由此，IR圖像數(shù)據(jù)與現(xiàn)實(shí)世界場(chǎng)景對(duì)準(zhǔn)地投影，換句話說(shuō)，IR圖像數(shù)據(jù)在對(duì)應(yīng)檢測(cè)到的IR輻射信息從其發(fā)射的方向中投影。
[0292]根據(jù)實(shí)施例，根據(jù)本文所述任何實(shí)施例的步驟502至518都可以執(zhí)行多于一次，根據(jù)實(shí)施例，步驟502至518可以執(zhí)行適當(dāng)多次，以確保沒(méi)有與測(cè)量相關(guān)的誤差的適當(dāng)對(duì)準(zhǔn)。根據(jù)實(shí)施例，步驟502至518可以在投影期間重復(fù)執(zhí)行，例如根據(jù)預(yù)定的速率，其中該速率可以依賴于光學(xué)系統(tǒng)14、18或22之一的幀速率。
[0293]投影到不平的表面上
[0294]在圖2，現(xiàn)實(shí)世界場(chǎng)景被說(shuō)明為平的表面200。但是，IR成像系統(tǒng)10的用戶分析的一個(gè)或多個(gè)對(duì)象或者場(chǎng)景很少是由與可見(jiàn)光投影儀22的光軸完美正交的平表面組成的。
[0295]在圖3A中，示出了在不與可見(jiàn)光投影儀22的光軸正交的表面上使用的IR成像系統(tǒng)的光學(xué)系統(tǒng)。圖3A的表面關(guān)于可見(jiàn)光投影系統(tǒng)22的光軸在一個(gè)維度中傾斜。但是，該表面也可以關(guān)于可見(jiàn)光投影系統(tǒng)22的光軸在兩個(gè)維度中傾斜。在IR成像系統(tǒng)10的使用過(guò)程中，這將例如涉及操作人員使用設(shè)備10把檢測(cè)到的IR輻射信息的可見(jiàn)表示投影到被調(diào)查的發(fā)熱地板上。由于操作人員站在地板上，因此這使得他或她難以把設(shè)備10保持成使投影系統(tǒng)22的光軸與地板正交。
[0296]這種示例性實(shí)施例在圖3C中進(jìn)一步說(shuō)明，其中，以在兩個(gè)維度中傾斜的方向，作為例子是坐標(biāo)系統(tǒng)330的X和z方向，投影系統(tǒng)22的光軸0A(圖中未示出)斜著落在被調(diào)查的表面中，在這個(gè)例子中是地板310。
[0297]根據(jù)以下進(jìn)一步描述的方法，不平表面310的例子在圖3B中示出，對(duì)其也可以有利地使用本發(fā)明的不同實(shí)施例，尤其是對(duì)于其中從熱成像布置(10)到觀察的場(chǎng)景中多于一個(gè)點(diǎn)的幾個(gè)距離如下所述被取得的本發(fā)明實(shí)施例。圖3B的不平表面310是這種表面可能看起來(lái)像什么樣子的一個(gè)例子。由于表面是現(xiàn)實(shí)世界對(duì)象的表面，因此任何3D形狀都是可能的，包括平表面部分、彎曲部分和/或浮雕部分的任意組合。
[0298]在圖3A和3B中，示出了具有光軸OA和有角度V的FOV的光學(xué)系統(tǒng)300。在圖3A和3B中只示出了一個(gè)光學(xué)系統(tǒng)，而不是如圖2中所示的全部三個(gè)光學(xué)系統(tǒng)。這僅僅是為了繪圖的簡(jiǎn)化。在以下的解釋中，光學(xué)系統(tǒng)300可以交替地代表可見(jiàn)光成像系統(tǒng)光學(xué)系統(tǒng)14、IR成像系統(tǒng)18或者可見(jiàn)光投影儀22。
[0299]距離映射
[0300]如以上在步驟512中描述的，聯(lián)系圖5，多于一個(gè)距離值，S卩，從熱成像布置(10)到觀察的場(chǎng)景中多于一個(gè)點(diǎn)的多個(gè)距離可以被取得或計(jì)算并轉(zhuǎn)變成距離圖，其中距離圖中每個(gè)值對(duì)應(yīng)于取得的從熱成像布置10到觀察的場(chǎng)景中的一個(gè)點(diǎn)的距離值。該距離圖也可以被稱為距離圖像。
[0301]根據(jù)實(shí)施例，距離圖使IR圖像能夠投影到觀察的現(xiàn)實(shí)世界場(chǎng)景上，以便與包括在觀察的現(xiàn)實(shí)世界場(chǎng)景中離熱成像布置(10)處于不同距離或深度的一個(gè)或多個(gè)對(duì)象對(duì)準(zhǔn)，因?yàn)椋蕾囉诰嚯x圖，對(duì)準(zhǔn)的IR圖像的每個(gè)投影像素可以適于被投影。
[0302]根據(jù)示例性實(shí)施例，依賴于距離圖和預(yù)設(shè)的條件，通過(guò)利用變化的密度適配對(duì)準(zhǔn)的IR圖像的每個(gè)投影像素，IR圖像作為可見(jiàn)光圖案投影到觀察的現(xiàn)實(shí)世界場(chǎng)景上，與包括在觀察的現(xiàn)實(shí)世界場(chǎng)景中離熱成像布置(10)處于不同距離或深度的一個(gè)或多個(gè)對(duì)象對(duì)準(zhǔn)。例如，如果距離圖中取得的從熱成像布置(10)到像素要投影到其上的一個(gè)或多個(gè)對(duì)象或場(chǎng)景的點(diǎn)i的距離Zi超過(guò)預(yù)設(shè)的閾值，則熱成像布置可以適于更稀疏地投影像素。以這種方式，為場(chǎng)景中靠近熱成像布置10的投影部分提供更詳細(xì)的投影?；蛘?，如果距離Zi超過(guò)預(yù)設(shè)的閾值，則熱成像布置10可以代替地適于更密集地投影像素，由此對(duì)場(chǎng)景中遠(yuǎn)離熱成像布置10的投影部分提供更詳細(xì)的投影。根據(jù)第三種示例性實(shí)施例，當(dāng)距離Zi在某個(gè)區(qū)間之內(nèi)時(shí)，熱成像布置10可以適于更稀疏或密集地投影像素?？梢杂幸粋€(gè)或多個(gè)區(qū)間和/或閾值。區(qū)間和/或閾值可以預(yù)定義并存儲(chǔ)在熱成像布置10的存儲(chǔ)器15中或者由熱成像布置10的操作人員利用包括在與熱成像布置10的接口介質(zhì)21通信耦合的一個(gè)或多個(gè)控制設(shè)備19中的輸入特征選擇并輸入。
[0303]為了實(shí)現(xiàn)上述投影適配，根據(jù)實(shí)施例，依賴于描述要投影的像素分布的預(yù)定義或操作人員輸入的一個(gè)或多個(gè)區(qū)間間隔、一個(gè)或多個(gè)閾值或其它值，處理器13的圖像處理特征可以重新采樣IR圖像數(shù)據(jù)。在IR圖像數(shù)據(jù)的對(duì)準(zhǔn)，例如重新采樣，之后，重新采樣的IR圖像以IR圖像信號(hào)的形式從處理器傳送到可見(jiàn)光投影系統(tǒng)22?？梢?jiàn)光投影系統(tǒng)22的投影儀29把重新采樣的IR圖像數(shù)據(jù)投影到現(xiàn)實(shí)世界場(chǎng)景上。由此，IR圖像數(shù)據(jù)與現(xiàn)實(shí)世界場(chǎng)景對(duì)準(zhǔn)投影，換句話說(shuō)，IR圖像數(shù)據(jù)在對(duì)應(yīng)檢測(cè)出的IR輻射信息從其發(fā)射的方向中投影。
[0304]根據(jù)示例性實(shí)施例，依賴于距離圖，通過(guò)適配具有變化尺寸的對(duì)準(zhǔn)IR圖像的每個(gè)投影像素，IR圖像作為可見(jiàn)光圖案與觀察的現(xiàn)實(shí)世界場(chǎng)景中所包括的離熱成像布置10處于不同距離的一個(gè)或多個(gè)對(duì)象對(duì)準(zhǔn)地投影到觀察的現(xiàn)實(shí)世界場(chǎng)景上。使得投影儀29能夠把更大的像素投影到現(xiàn)實(shí)世界場(chǎng)景中被發(fā)現(xiàn)處于由距離圖表示的離熱成像布置(10)更大取得距離，即，離操作人員更大距離，的點(diǎn)上，并且當(dāng)取得的由距離圖表示的距離更小時(shí)，是更小的或正常尺寸的像素。根據(jù)另一種實(shí)施例，投影儀還適于，作為檢測(cè)到的到現(xiàn)實(shí)世界場(chǎng)景的距離的函數(shù)，增加/減小投影的像素的尺寸，例如，具有線性依賴性。
[0305]以這種方式，當(dāng)在觀察的現(xiàn)實(shí)世界場(chǎng)景中位于離熱成像布置(10)不同距離的對(duì)象處投影時(shí)，對(duì)熱成像布置(10)的操作人員來(lái)說(shuō)，像素看起來(lái)尺寸將更相似。特別地，通過(guò)要投影的像素的適配后的頻率(稀疏或密集)和/或振幅(小或大)，使得到不平和/或與可見(jiàn)光投影儀的光軸不正交的表面上能夠有對(duì)準(zhǔn)的投影。例如，如果操作人員把IR成像系統(tǒng)10指向操作人員站在其上的發(fā)熱地板或者指向操作人員前面建筑物的墻壁，則有可能該表面將不與可見(jiàn)光投影系統(tǒng)22的光軸正交。
[0306]如上所述，根據(jù)不同的示例性實(shí)施例，投影儀22可以包括激光投影儀、液晶顯示器(LCD)、數(shù)字光處理器(DLP)投影儀或者本領(lǐng)域中已知的任何其它合適類型的投影儀。
[0307]根據(jù)有些實(shí)施例，激光投影儀的使用會(huì)是有利的選擇，因?yàn)榧す馔队皟x具有高景深，這在不平的表面上給出好的投影結(jié)果。
[0308]本文中所使用的用于投影儀的不同等效術(shù)語(yǔ)包括可見(jiàn)光投影儀、可見(jiàn)光圖案投影儀、可見(jiàn)圖像/成像投影儀，從這些術(shù)語(yǔ)，投影儀的目的和功能應(yīng)當(dāng)很容易理解。
[0309]投影的可見(jiàn)光圖案的檢測(cè)/捕捉
[0310]如以上提到的，可見(jiàn)光投影儀22投影可見(jiàn)光圖案，其中可見(jiàn)光圖案可以是在由可見(jiàn)光成像系統(tǒng)14捕捉的圖像中檢測(cè)到的區(qū)域或預(yù)定可識(shí)別特征的形式，例如符號(hào)或圖案的形式。投影可以包括FOVproj中所包括的全部或部分像素，并且可以具有或者不具有人或計(jì)算機(jī)可識(shí)別的形式。為了簡(jiǎn)化，要檢測(cè)的投影的可見(jiàn)光在下面被描述為圖案或符號(hào)。
[0311]圖像中符號(hào)或圖案的檢測(cè)可以利用本領(lǐng)域中本身已知的任何合適的檢測(cè)方法來(lái)執(zhí)行，例如特征提取、模板匹配、分割、邊緣檢測(cè)、薄化、相似性測(cè)量、遮蔽、強(qiáng)度閾值化或過(guò)濾。
[0312]根據(jù)非計(jì)算昂貴的示例性實(shí)施例，現(xiàn)實(shí)世界場(chǎng)景的第一和第二圖像是利用可見(jiàn)光成像系統(tǒng)14緊密相繼捕捉的，同時(shí)可見(jiàn)光投影系統(tǒng)22在短時(shí)間內(nèi)“閃爍”預(yù)定的可識(shí)別特征，例如以符號(hào)或圖案的形式。例如，在第二圖像被捕捉之前，預(yù)定的符號(hào)或圖案利用可見(jiàn)光投影儀22投影到現(xiàn)實(shí)世界場(chǎng)景上，其中可見(jiàn)光成像系統(tǒng)14的FOV至少部分地與可見(jiàn)光投影儀22的FOV重疊。由此，第二圖像包括基本上與第一圖像相同的場(chǎng)景，但是增加了投影的圖案。根據(jù)這種實(shí)施例，控制投影系統(tǒng)22激活的處理器13把投影和可見(jiàn)光成像系統(tǒng)14執(zhí)行的圖像捕捉同步。這使得可見(jiàn)光成像系統(tǒng)14能夠捕捉兩個(gè)連續(xù)的幀，其中一幀包括疊加到觀察的現(xiàn)實(shí)世界場(chǎng)景上的投影符號(hào)或圖案的至少部分，而另一幀包括現(xiàn)實(shí)世界場(chǎng)景的相同視圖，但沒(méi)有投影。通過(guò)從第二圖像減去第一圖像，獲得包括檢測(cè)到的符號(hào)或圖案的差異圖像。如果場(chǎng)景本身當(dāng)中包含更多信息，或“噪聲”，則這種示例性圖案提取方法可以例如有利地使用。
[0313]更多實(shí)施例
[0314]在一種實(shí)施例中，如果可見(jiàn)光投影儀22把可見(jiàn)光圖案投影到應(yīng)當(dāng)焦點(diǎn)對(duì)準(zhǔn)的某個(gè)對(duì)象上，則取得的距離參數(shù)z對(duì)應(yīng)于焦距。因此，這個(gè)信息可以用于熱成像布置10的精確聚焦。
[0315]根據(jù)示例性實(shí)施例，可見(jiàn)光圖像投影儀22是激光投影設(shè)備。激光投影設(shè)備是沒(méi)有焦點(diǎn)的，這意味著對(duì)焦透鏡具有固定在其超焦距的焦點(diǎn)。不是用確定正確焦距并把透鏡設(shè)置到那個(gè)焦點(diǎn)的方法，無(wú)焦點(diǎn)的透鏡依賴于景深產(chǎn)生可接受清晰度的圖像。因此，激光投影設(shè)備不需要聚焦。根據(jù)其它示例性實(shí)施例，根據(jù)條件，任何其它適當(dāng)類型的投影設(shè)備都可以使用。
[0316]根據(jù)實(shí)施例，提供了具有處理器的計(jì)算機(jī)系統(tǒng)，該處理器適于執(zhí)行以上給出的實(shí)施例的任何步驟或功能。
[0317]根據(jù)本發(fā)明的實(shí)施例，提供了計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)用于執(zhí)行上述任何實(shí)施例的方法的非暫時(shí)性信息。
[0318]根據(jù)更多實(shí)施例，提供了計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)用于執(zhí)行上述任何方法實(shí)施例的非暫時(shí)性信息。
[0319]根據(jù)實(shí)施例，用戶可以捕捉觀察的場(chǎng)景的可見(jiàn)光圖像，同時(shí)把可見(jiàn)光投影到場(chǎng)景上，與從觀察的場(chǎng)景發(fā)射的IR輻射對(duì)準(zhǔn)，并且保存捕捉到的圖像用于以后觀看或用于傳送到另一處理單元，諸如計(jì)算機(jī)，供將來(lái)分析和存儲(chǔ)。
[0320]在備選實(shí)施例中，所公開(kāi)的對(duì)準(zhǔn)方法可以由諸如通信耦合到熱成像布置的PC和/或?qū)ｉT適于執(zhí)行本發(fā)明方法步驟的FPGA-單元和/或包含根據(jù)聯(lián)系圖2描述的通用處理單元2的計(jì)算設(shè)備來(lái)實(shí)現(xiàn)。計(jì)算設(shè)備還可以包括存儲(chǔ)器15和/或顯示單元3。
[0321]更多優(yōu)點(diǎn)
[0322]根據(jù)本文所述本發(fā)明的實(shí)施例，可見(jiàn)光到觀察的現(xiàn)實(shí)世界場(chǎng)景上的投影是在現(xiàn)場(chǎng)實(shí)時(shí)地或者近乎實(shí)時(shí)地(實(shí)況)，或者換句話說(shuō)是實(shí)況，執(zhí)行的，由此使用戶更容易解釋和分析觀察的現(xiàn)實(shí)世界場(chǎng)景，因?yàn)樵谟^察的現(xiàn)實(shí)世界場(chǎng)景上向用戶直接呈現(xiàn)了相關(guān)信息。由于可見(jiàn)光信息，包括從觀察的現(xiàn)實(shí)世界場(chǎng)景接收到的IR輻射的可見(jiàn)表示，實(shí)時(shí)地或者近乎實(shí)時(shí)地(實(shí)況)投影到所述觀察的現(xiàn)實(shí)世界場(chǎng)景上，因此用戶不需要為了關(guān)聯(lián)接收到的IR輻射信息與他或她在觀察的現(xiàn)實(shí)世界場(chǎng)景中看到的內(nèi)容而把目光從觀察的現(xiàn)實(shí)世界場(chǎng)景轉(zhuǎn)向別處。此外，根據(jù)本發(fā)明的實(shí)施例，可見(jiàn)光投影到觀察的現(xiàn)實(shí)世界場(chǎng)景上，與觀察的現(xiàn)實(shí)世界場(chǎng)景對(duì)準(zhǔn)，或者換句話說(shuō)與從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的IR輻射對(duì)準(zhǔn)，由此進(jìn)一步幫助用戶把投影的可見(jiàn)光信息和觀察的現(xiàn)實(shí)世界場(chǎng)景關(guān)聯(lián)并且還方便觀察的/被調(diào)查的觀察的現(xiàn)實(shí)世界場(chǎng)景的解釋和分析。
【權(quán)利要求】
1.一種利用熱成像布置(10)基于從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射把紅外線(IR)輻射信息的可見(jiàn)表示呈現(xiàn)到所述觀察的現(xiàn)實(shí)世界場(chǎng)景上的方法，其中熱成像布置(10)包括紅外線(IR)成像系統(tǒng)(18)、可見(jiàn)光成像系統(tǒng)(14)和可見(jiàn)光投影系統(tǒng)(22)， 該方法包括步驟: -根據(jù)所述紅外線(IR)成像系統(tǒng)(18)的第一視場(chǎng)，基于檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射捕捉紅外線(IR)輻射信息； -以紅外線(IR)圖像的形式創(chuàng)建所述檢測(cè)到的紅外線(IR)輻射的可見(jiàn)表示； -根據(jù)所述可見(jiàn)光投影系統(tǒng)(22)的第二視場(chǎng)把可見(jiàn)光圖案投影到所述觀察的現(xiàn)實(shí)世界場(chǎng)景上，其中所述第二視場(chǎng)至少部分地重疊所述第一視場(chǎng)； -根據(jù)所述可見(jiàn)光成像系統(tǒng)(14)的第三視場(chǎng)捕捉所述觀察的現(xiàn)實(shí)世界場(chǎng)景的可見(jiàn)光圖像，所述場(chǎng)景包括所述投影的可見(jiàn)光圖案，所述第三視場(chǎng)至少部分地重疊第一視場(chǎng)和/或第二視場(chǎng)； -檢測(cè)所述捕捉到的可見(jiàn)光圖像中的所述投影的可見(jiàn)光圖案； -依賴于所述可見(jiàn)光成像系統(tǒng)(14)和所述可見(jiàn)光投影系統(tǒng)(22)之間的預(yù)定關(guān)系，確定在可見(jiàn)光圖像中的像素坐標(biāo)中所述檢測(cè)到的可見(jiàn)光圖案的像素坐標(biāo)和計(jì)算出的所述投影的可見(jiàn)光圖案的像素坐標(biāo)之間的像素位移(d(pix vis))，其中，如果可見(jiàn)光成像系統(tǒng)和可見(jiàn)光投影系統(tǒng)對(duì)準(zhǔn)，則投影的可見(jiàn)光圖案將出現(xiàn)； -依賴于所述紅外線(IR)成像系統(tǒng)(18)和所述可見(jiàn)光投影系統(tǒng)(22)之間的預(yù)定關(guān)系，基于檢測(cè)到的投影的可見(jiàn)光圖案和可見(jiàn)光圖像之間的所述像素位移d(pix vis)，確定在紅外線(IR)圖像中的像素坐標(biāo)中紅外線(IR)圖像和可見(jiàn)光圖像之間的像素位移d(pixIK)；-基于所述像素位移d(pixIK)，把所述紅外線(IR)圖像對(duì)準(zhǔn)到檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射； 及 -通過(guò)根據(jù)第二視場(chǎng)與檢測(cè)到的從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的IR輻射對(duì)準(zhǔn)地把所述對(duì)準(zhǔn)的紅外線(IR)圖像投影到所述現(xiàn)實(shí)世界場(chǎng)景上來(lái)呈現(xiàn)所述對(duì)準(zhǔn)的紅外線(IR)圖像。
2.如權(quán)利要求1所述的方法，還包括取得從熱成像布置到觀察的場(chǎng)景的距離z，及 -基于取得的距離z，確定檢測(cè)到的投影的可見(jiàn)光和可見(jiàn)光圖像之間的像素位移d(pixvis) ? 和/或 -基于檢測(cè)到的投影的可見(jiàn)光和可見(jiàn)光圖像之間的像素位移(1(_ vis)以及取得的距離z，確定IR圖像和可見(jiàn)光圖像之間的像素位移d(pix IK)。
3.如前面任何一項(xiàng)權(quán)利要求所述的方法，還包括: -如果第一視場(chǎng)等于第三視場(chǎng)，則在可見(jiàn)光投影儀中接收IR圖像中全部像素的紅外線(IR)圖像像素信息； -如果第一視場(chǎng)小于第三視場(chǎng)，則在可見(jiàn)光投影儀中接收IR圖像中對(duì)應(yīng)于包括在第一視場(chǎng)中的場(chǎng)景部分的像素的紅外線(IR)圖像像素信息；或者 -如果第一視場(chǎng)大于第三視場(chǎng)，則在可見(jiàn)光投影儀中接收IR圖像中全部像素的紅外線(IR)圖像像素信息并且還把接收到的信息重新縮放成可見(jiàn)光投影設(shè)備的分辨率。
4.如權(quán)利要求2所述的方法，其中距離ζ是通過(guò)使用校準(zhǔn)后的熱成像布置(10)作為測(cè)距儀來(lái)取得的。
5.如權(quán)利要求2所述的方法，其中距離ζ是通過(guò)使用集成在熱成像布置(10)中或耦合到其的距離傳感器來(lái)取得的。
6.如前面任何一項(xiàng)權(quán)利要求所述的方法，其中熱成像布置是在生產(chǎn)期間校準(zhǔn)的。
7.如權(quán)利要求1-5中任何一項(xiàng)所述的方法，其中熱成像布置是在使用期間自校準(zhǔn)的。
8.如權(quán)利要求1-5中任何一項(xiàng)所述的方法，其中熱成像布置適于在操作期間自調(diào)節(jié)。
9.如前面任何一項(xiàng)權(quán)利要求所述的方法，其中取得多于一個(gè)距離并且所述多于一個(gè)距離用來(lái)創(chuàng)建距離圖或距離圖像。
10.如前面任何一項(xiàng)權(quán)利要求所述的方法，其中所述距離圖或距離圖像的距離用來(lái)在不同的深度對(duì)準(zhǔn)IR圖像的可見(jiàn)表示和觀察的現(xiàn)實(shí)世界，因?yàn)椋蕾囉诰嚯x圖，每個(gè)投影的像素能夠被適配為在正確的距離被投影。
11.如權(quán)利要求9或10任何一項(xiàng)所述的方法,還包括: -依賴于距離圖或距離圖像的距離以及預(yù)設(shè)的條件，以變化的密度投影像素。
12.如權(quán)利要求9-11中任何一項(xiàng)所述的方法，其中通過(guò)取得多于一個(gè)距離Zi來(lái)使能到不平的表面或?qū)ο蠡蛘咚霈F(xiàn)實(shí)世界場(chǎng)景中與所述可見(jiàn)光投影儀(22)的光軸不正交的表面上的投影對(duì)準(zhǔn)。
13.如前面任何一項(xiàng)權(quán)利要求所述的方法，還包括補(bǔ)償視差距離和方向性誤差的步驟。
14.如權(quán)利要求13所述的方法，其中所述補(bǔ)償是通過(guò)生產(chǎn)期間或使用期間可見(jiàn)光成像系統(tǒng)和可見(jiàn)光圖像投影設(shè)備的校準(zhǔn)來(lái)實(shí)現(xiàn)的。
15.如前面任何一項(xiàng)權(quán)利要求所述的方法，其中該方法還包括，依賴于一個(gè)或多個(gè)對(duì)象的熱屬性，檢測(cè)場(chǎng)景中一個(gè)或多個(gè)對(duì)象的步驟。
16.如權(quán)利要求15所述的方法，其中一個(gè)或多個(gè)檢測(cè)到的對(duì)象當(dāng)中每一個(gè)都具有以以下方式之一與周圍環(huán)境偏離的溫度模式: -檢測(cè)到的對(duì)象的平均溫度低于其緊挨著的周圍環(huán)境的平均溫度；或者 -檢測(cè)到的對(duì)象的平均溫度高于其緊挨著的周圍環(huán)境的平均溫度。
17.如權(quán)利要求15或16任何一項(xiàng)所述的方法，其中只有代表一個(gè)或多個(gè)檢測(cè)到的對(duì)象的檢測(cè)的紅外線(IR)輻射的可見(jiàn)光被投影到場(chǎng)景上。
18.一種基于從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射把紅外線(IR)輻射信息的可見(jiàn)表示呈現(xiàn)到所述現(xiàn)實(shí)世界場(chǎng)景上的熱成像布置(10)，該布置(10)包括: -紅外線(IR)成像系統(tǒng)(18)，用于根據(jù)第一視場(chǎng)檢測(cè)從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射； -處理器(13)，適于根據(jù)所述紅外線(IR)成像系統(tǒng)(18)的第一視場(chǎng)基于檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射來(lái)捕捉紅外線(IR)輻射信息，由此以紅外線(IR)圖像的形式創(chuàng)建所述檢測(cè)到的紅外線(IR)輻射的可見(jiàn)表示； -可見(jiàn)光投影系統(tǒng)(22)，適于根據(jù)第二視場(chǎng)把可見(jiàn)光圖案和/或圖像投影到所述觀察的現(xiàn)實(shí)世界場(chǎng)景上，其中第二視場(chǎng)至少部分地重疊第一視場(chǎng)； -可見(jiàn)光成像系統(tǒng)(14)，適于根據(jù)第三視場(chǎng)捕捉所述觀察的現(xiàn)實(shí)世界場(chǎng)景的可見(jiàn)光圖像，其中第三視場(chǎng)至少部分地重疊第一和/或第二視場(chǎng)； -所述處理器(13)還適于: ?根據(jù)所述可見(jiàn)光投影系統(tǒng)(22)的第二視場(chǎng)把可見(jiàn)光圖案投影到所述觀察的現(xiàn)實(shí)世界場(chǎng)景上，所述第二視場(chǎng)至少部分地重疊所述第一視場(chǎng)； ?根據(jù)所述可見(jiàn)光成像系統(tǒng)(14)的第三視場(chǎng)捕捉所述觀察的現(xiàn)實(shí)世界場(chǎng)景的可見(jiàn)光圖像，所述場(chǎng)景包括所述投影的可見(jiàn)光圖案，其中所述第三視場(chǎng)至少部分地重疊第一視場(chǎng)和/或第二視場(chǎng)； ?檢測(cè)所述捕捉到的可見(jiàn)光圖像中的所述投影的可見(jiàn)光圖案； ?依賴于所述可見(jiàn)光成像系統(tǒng)(14)和所述可見(jiàn)光投影系統(tǒng)(22)之間的預(yù)定關(guān)系，確定在可見(jiàn)光圖像中的像素坐標(biāo)中所述檢測(cè)到的可見(jiàn)光圖案的像素坐標(biāo)和計(jì)算出的所述投影的可見(jiàn)光圖案的像素坐標(biāo)之間的像素位移(d(pix vis))，其中，如果可見(jiàn)光成像系統(tǒng)和可見(jiàn)光投影系統(tǒng)對(duì)準(zhǔn)，則投影的可見(jiàn)光圖案將出現(xiàn)； ?依賴于所述紅外線(IR)成像系統(tǒng)(18)和所述可見(jiàn)光投影系統(tǒng)(22)之間的預(yù)定關(guān)系，基于檢測(cè)到的投影的可見(jiàn)光圖案和可見(jiàn)光圖像之間的像素位移d(pix vis)，確定在紅外線(IR)圖像中的像素坐標(biāo)中紅外線(IR)圖像和可見(jiàn)光圖像之間的所述像素位移d(pix IK)；?基于所述像素位移d(pixIK)，把所述紅外線(IR)圖像對(duì)準(zhǔn)到檢測(cè)到的從所述觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的紅外線(IR)輻射； ?以及通過(guò)根據(jù)第二視場(chǎng)，與檢測(cè)到的從觀察的現(xiàn)實(shí)世界場(chǎng)景發(fā)射的IR輻射對(duì)準(zhǔn)地把所述對(duì)準(zhǔn)的紅外線(IR)圖像投影到所述現(xiàn)實(shí)世界場(chǎng)景上來(lái)呈現(xiàn)所述對(duì)準(zhǔn)的紅外線(IR)圖像。
19.如前一權(quán)利要求所述的熱成像布置，其中處理器(13)還包括用于執(zhí)行如權(quán)利要求1-17中任何一項(xiàng)所述的方法的步驟的特征。
20.如權(quán)利要求18和19任何一項(xiàng)所述的熱成像布置，其中處理器是現(xiàn)場(chǎng)可編程門陣列(FPGA)或者可利用硬件描述語(yǔ)言(HDL)配置的另一處理設(shè)備。
21.一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)了適于控制處理器執(zhí)行如權(quán)利要求1-17所述的任何步驟或功能的非暫時(shí)性信息。
22.—種計(jì)算機(jī)程序產(chǎn)品，包括: -代碼部分，適于控制處理器執(zhí)行如權(quán)利要求1-17所述的任何步驟或功能；和/或-配置數(shù)據(jù)，適于配置現(xiàn)場(chǎng)可編程門陣列(FPGA)執(zhí)行如權(quán)利要求1-17所述的任何步驟或功能。
【文檔編號(hào)】H04N5/33GK104272717SQ201380022069
【公開(kāi)日】2015年1月7日 申請(qǐng)日期:2013年2月28日 優(yōu)先權(quán)日:2012年2月29日
【發(fā)明者】K·斯特蘭德瑪, H·喬森 申請(qǐng)人:前視紅外系統(tǒng)股份公司