本發(fā)明涉及一種圖像處理裝置、一種圖像處理方法以及一種程序。

背景技術(shù)：

在相關(guān)技術(shù)中，由紅外相機捕獲的圖像已經(jīng)用于駕駛輔助和其他用途。具體而言，通過使用近紅外線或短波紅外線來捕獲圖像可以獲得相對清晰的圖像，甚至在諸如晚上或惡劣天氣等較差條件下也是如此。一般而言，通過接收來自相機發(fā)射的紅外線的反射光來捕獲近紅外線或短波紅外線的圖像(例如，參見專利文獻1)。

引文列表

專利文獻

專利文獻1：jp2009-130709a

技術(shù)實現(xiàn)要素：

技術(shù)問題

一般而言，需要提供不受干擾影響的穩(wěn)定圖像，以便將紅外圖像呈現(xiàn)給用戶或者用于執(zhí)行識別處理，諸如，基于紅外圖像的人識別或物體識別。

因此，本公開提出能夠提供穩(wěn)定的紅外圖像的一種新穎且改良的圖像處理裝置、一種圖像處理方法以及一種程序。

問題的解決方案

根據(jù)本公開，提供一種圖像處理裝置，其包括：獲取單元，其獲取紅外圖像；以及控制單元，其可變地控制由獲取單元獲取的紅外圖像的目標波長，并且取決于目標波長控制紅外圖像的灰度。

根據(jù)本公開，提供一種圖像處理方法，其包括：由圖像處理裝置獲取紅外圖像；可變地控制所獲取的紅外圖像的目標波長；以及取決于目標波長控制紅外圖像的灰度。

根據(jù)本公開，提供一種程序，所述程序使控制圖像處理裝置的計算機起到下列項的作用：獲取單元，其獲取紅外圖像；以及控制單元，其可變地控制由獲取單元獲取的紅外圖像的目標波長，并且取決于目標波長控制紅外圖像的灰度。

本發(fā)明的有益效果

根據(jù)本公開，有可能提供如上文所述的穩(wěn)定紅外圖像。

應(yīng)注意，上述效果未必是限制性的。連同或代替上述效果，可以實現(xiàn)本說明書中描述的任何效果或者可從本說明書中得到的其他效果。

附圖說明

[圖1]圖1是示出取決于波長的紅外(ir)圖像的各種用途的說明性圖解。

[圖2]圖2是示出通過使用具有特定波長的紅外線而獲得的紅外圖像的特定實例的說明性圖解。

[圖3]圖3是示出通過使用具有與圖2的實例不同的波長的紅外線而獲得的紅外圖像的特定實例的說明性圖解。

[圖4]圖4是示出根據(jù)本公開的實施例的圖像處理裝置的硬件配置的特定實例的說明性圖解。

[圖5]圖5是示出根據(jù)本公開的實施例的圖像處理裝置的邏輯功能配置的特定實例的說明性圖解。

[圖6]圖6是示出發(fā)射的紅外線的目標波長的切換的特定實例的說明性圖解。

[圖7]圖7是示出發(fā)射的紅外線的目標波長的切換的特定實例的說明性圖解。

[圖8]圖8是示出針對多個波長候選中的每個提前確定的濾波器系數(shù)的濾波器系數(shù)表的特定實例的說明性圖解。

[圖9]圖9是示出針對多個波長候選和參考波長的組合中的每個提前確定的濾波器系數(shù)的濾波器系數(shù)表的特定實例的說明性圖解。

[圖10]圖10是示出用于由轉(zhuǎn)換單元執(zhí)行的濾波器計算的濾波器的濾波器抽頭的特定實例的說明性圖解。

[圖11]圖11是示出根據(jù)本公開的實施例的由圖像處理裝置執(zhí)行的處理流程的特定實例的流程圖。

[圖12]圖12是示出根據(jù)本公開的實施例的由圖像處理裝置執(zhí)行的像素值轉(zhuǎn)換處理流程的特定實例的流程圖。

[圖13]圖13是示出根據(jù)第一更改實例的由圖像處理裝置執(zhí)行的處理流程的特定實例的流程圖。

[圖14]圖14是示出根據(jù)第二更改實例的由圖像處理裝置執(zhí)行的像素值轉(zhuǎn)換處理流程的特定實例的流程圖。

具體實施方式

在下文中，將參考附圖詳細描述本公開的一個或多個實施例。在本說明書和附圖中，用相同的參考編號表示基本上具有相同功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且省略這些結(jié)構(gòu)元件的重復(fù)說明。

將按下列順序給出描述。

1.前言

2.根據(jù)本公開的實施例的圖像處理裝置

2-1.硬件配置

2-2.功能配置

2-3.操作

2-3.更改實例

3.總結(jié)

<1.前言>

圖1是示出取決于波長的紅外(ir)圖像的各種用途的說明性圖解。圖1的水平方向?qū)?yīng)于紅外線的波長，并且波長從左側(cè)到右側(cè)增加。波長等于或小于0.7μm的光束是可見光束，并且人類視覺能感覺到這個可見光束。波長在0.7μm到1.0μm范圍內(nèi)的紅外線被分類成近紅外線(nir)。近紅外線可以用于夜視、透視、光通信和測距。波長在1.0μm到2.5μm范圍內(nèi)的紅外線被分類成短波紅外線(swir)。短波紅外線也可以用于夜視和透視。使用近紅外線或短波紅外線的夜視裝置首先將紅外線發(fā)射到附近，并且接收發(fā)射光，從而獲得紅外圖像。波長在2.5μm到4.0μm范圍內(nèi)的紅外線被分類成中波紅外線(mwir)。由于物質(zhì)獨有的吸收光譜出現(xiàn)在中波紅外線的波長范圍內(nèi)，因此，中波紅外線可以用于識別物質(zhì)。中波紅外線也可以用于熱成像。波長等于或大于4.0μm的紅外線被分類成遠紅外線(fir)。遠紅外線可以用于夜視、熱成像和加熱。來自物質(zhì)的黑體輻射發(fā)射的紅外線對應(yīng)于遠紅外線。因此，使用遠紅外線的夜視裝置可以通過捕獲來自物質(zhì)的黑體輻射而獲得紅外圖像，無需發(fā)射紅外線。圖1中示出的波長范圍的邊界值只是實例。將紅外線分類的邊界值有各種定義，并且在任何定義下都可以實現(xiàn)之后將描述的根據(jù)本公開的技術(shù)的優(yōu)點。

圖1中例示的各種類型的紅外線之中的nir和swir用于在諸如晚上或惡劣天氣等較差條件下獲得清晰的圖像。代表性用途之一是車載裝置，并且nir或swir圖像為駕駛員提供補充視圖，諸如，夜晚視圖、后視圖或周圍視圖。nir或swir圖像也可以用于識別可包括諸如行人、路標或障礙物等物體的主題，并且將駕駛輔助信息呈現(xiàn)給駕駛員。一般而言，捕獲nir或swir圖像的紅外相機在成像時將紅外線發(fā)射到附近，如上文所述。

然而，在多個紅外相機同時捕獲圖像的場景下，從某一相機發(fā)射的紅外線可能對其他相機捕獲的圖像產(chǎn)生干擾。當(dāng)兩個相向的車輛同時用相同的目標波長捕獲紅外圖像時，例如，存在所捕獲的圖像中強烈地捕獲了從對方車輛發(fā)射的光的風(fēng)險，并且難以區(qū)分圖像中最初捕獲到的周圍物體。專利文獻1提議將從單獨車輛的紅外相機發(fā)射的紅外線和由相機接收的紅外線的偏振方向限制在特定方向，以便消除此類風(fēng)險。然而，只限制偏振方向?qū)嶋H上僅僅避免了只有約3個相機的圖像捕獲的競爭(例如，縱向、橫向和傾斜方向上的偏振)。

因此，已經(jīng)考慮使這些紅外相機使用相互不同的目標波長的方法，以便在更多紅外相機同時捕獲圖像的場景下避免圖像捕獲的競爭。屬于nir或swir的紅外線的波長區(qū)域可以分成至少十個或更多類型的目標波長，但取決于成像裝置的配置。因此，與基于偏振方向分開的情況相比，在基于目標波長分開的情況下，有可能以并行的方式捕獲圖像而沒有使更多的紅外相機彼此競爭。這樣的方法也可用于在人群中由智能手機捕獲紅外圖像的場景，以及在許多車輛行駛的繁忙道路上由車載裝置進行的圖像捕獲。

假設(shè)多個紅外相機也在移動，那么有必要隨時間推移而動態(tài)地切換單獨相機的目標波長，以便適當(dāng)?shù)胤珠_紅外相機。當(dāng)目標波長切換時，切換之前和之后的紅外圖像的灰度(表示例如陰影或色調(diào)的像素值的大小)中可能出現(xiàn)不自然的變化。

圖2和圖3是示出通過使用具有相互不同的波長的紅外線而獲得的紅外圖像的特定實例的說明性圖解。在圖2和圖3中，應(yīng)用于相應(yīng)部分的圖案的差異表示像素值的差異。圖2中示出的紅外圖像im01是由車輛中設(shè)置的紅外相機對在道路上行駛的該車輛的正面成像獲得的。紅外圖像im01的目標波長是1.8μm。可以假設(shè)下列情況：通過使用波長為1.8μm的紅外線來捕獲圖像的迎面而來的汽車c1隨后進入上述紅外相機的視角中，所述波長與上述目標波長相同，如圖3所示。在這種情況下，有可能通過切換上述紅外相機的目標波長來防止由迎面而來的汽車c1發(fā)射的發(fā)射光b1被上述紅外相機執(zhí)行的圖像捕獲而獲得的紅外圖像強烈地捕獲。在一個實例中，圖3中示出的紅外圖像im01的目標波長是0.8μm。紅外圖像im02中沒有強烈地捕獲從迎面而來的汽車c1發(fā)射的波長為1.8μm的光b1。然而，如可以從圖2與圖3之間的比較理解，在切換上述紅外相機的目標波長之前和之后，紅外圖像的灰度中出現(xiàn)了不自然的變化?；叶鹊倪@種意外變化也破壞了圖像的穩(wěn)定性，并且不利地影響用戶對物體的視覺識別或者后面的識別處理中的人或物體的識別。因此，本說明書中將提議能夠提供更穩(wěn)定的紅外圖像的機制。

<2.根據(jù)本公開的實施例的圖像處理裝置>

[2-1.硬件配置]

首先將描述根據(jù)本公開的實施例的圖像處理裝置1的硬件配置實例。圖4是示出根據(jù)本公開的實施例的圖像處理裝置1的硬件配置的特定實例的說明性圖解。如圖4所示，圖像處理裝置1包括紅外相機102、輸入接口104、存儲器106、顯示器108、通信接口110、存儲設(shè)備112、處理器114和總線116。

(紅外相機)

紅外相機102是通過使用紅外線來捕獲圖像并且獲得原始圖像的成像模塊。紅外相機102具有感測紅外線的成像元件的隊列和將紅外光發(fā)射到裝置的附近的發(fā)光元件。例如，紅外相機102通過響應(yīng)于諸如用戶輸入等觸發(fā)或以定期的方式從發(fā)光元件發(fā)射紅外線并且接收由物體或其背景反射的紅外線來獲得原始圖像。由紅外相機102獲得的一系列的原始圖像形成視頻圖像。由紅外相機102獲得的原始圖像可以是已經(jīng)經(jīng)過初步處理(諸如，信號放大或去噪)的圖像。

例如，紅外相機102可以具有光學(xué)濾波器，所述光學(xué)濾波器只讓波長屬于特定通頻帶的紅外線穿過。在這種情況下，成像元件接收已經(jīng)穿過光學(xué)濾波器的紅外線。在之后描述的實例中，光學(xué)濾波器是能夠可變地控制通頻帶的可變?yōu)V波器?？梢酝ㄟ^操作(旋轉(zhuǎn)、移動等)具有通過膜的基底來改變可變?yōu)V波器的通頻帶，所述通過膜(例如)取決于位置而傳輸具有不同波長的光。除了紅外線之外，紅外相機102還可以檢測可見光。發(fā)光元件以包括目標波長的輻射頻帶來發(fā)射紅外線。發(fā)光元件的輻射頻帶由之后將描述的控制單元152控制。

(輸入接口)

輸入接口104由用戶用來操作圖像處理裝置1或?qū)⑿畔⑤斎氲綀D像處理裝置1。例如，輸入接口104可以包括輸入裝置，諸如，觸摸傳感器、小鍵盤、按鈕或開關(guān)。輸入接口104可以包括用于聲音輸入的麥克風(fēng)和聲音識別模塊。輸入接口104可以包括接收由用戶從遠程裝置選擇的命令的遠程控制模塊。

(存儲器)

存儲器106是存儲介質(zhì)，可以包括隨機存取存儲器(ram)和只讀存儲器(rom)。存儲器106耦合到處理器114，并且存儲用于由處理器114執(zhí)行處理的程序和數(shù)據(jù)。

(顯示器)

顯示器108是具有用于顯示圖像的屏幕的顯示模塊。例如，顯示器108可以是液晶顯示器(lcd)或有機發(fā)光二極管(oled)。

(通信接口)

通信接口110是在圖像處理裝置1與其他裝置之間中繼通信的模塊。通信接口110根據(jù)任意無線通信協(xié)議或有線通信協(xié)議來建立通信連接。

(存儲設(shè)備)

存儲設(shè)備112是積累可以包括紅外圖像的圖像數(shù)據(jù)或者存儲可以用于紅外圖像數(shù)據(jù)的數(shù)據(jù)庫的存儲裝置。存儲設(shè)備112中嵌入存儲介質(zhì)，諸如，半導(dǎo)體存儲器或硬盤。本說明書中描述的程序和數(shù)據(jù)可以從圖像處理裝置1外部的數(shù)據(jù)源(例如，數(shù)據(jù)服務(wù)器、網(wǎng)絡(luò)存儲設(shè)備或外部存儲器)獲取。

(處理器)

處理器114是處理模塊，諸如，中央處理單元(cpu)或數(shù)字信號處理器(dsp)。處理器114使通過執(zhí)行存儲器106或另一存儲介質(zhì)中存儲的程序來操作從而提供更穩(wěn)定的紅外圖像的功能。

(總線)

總線116將紅外相機102、輸入接口104、存儲器106、顯示器108、通信接口110、存儲設(shè)備112和處理器114連接到彼此。

[2-2.功能配置]

在前一部分中，描述了根據(jù)本公開的實施例的圖像處理裝置1的硬件配置。接下來，將參考圖5到圖10來描述根據(jù)本公開的實施例的圖像處理裝置1的邏輯功能配置。

圖5是示出通過使圖4中示出的圖像處理裝置1的部件彼此協(xié)同工作而實現(xiàn)的邏輯功能配置的實例的框圖。如圖5所示，圖像處理裝置1包括控制單元152、獲取單元154、存儲單元156和轉(zhuǎn)換單元158。

(控制單元)

控制單元152控制圖像處理裝置1的紅外圖像的成像、圖像處理、顯示和記錄。例如，控制單元152使轉(zhuǎn)換單元158轉(zhuǎn)換由紅外相機102捕獲的紅外圖像的灰度(如有必要的話)，并且使顯示器108在其屏幕上顯示具有經(jīng)過穩(wěn)定的灰度的圖像。替代于在屏幕上顯示紅外圖像(或除此之外)，控制單元152可以輸出紅外圖像以便在之后的階段進行處理，這在附圖中未示出。本文中描述的之后階段的處理可以包括用于識別人(行人等)或者識別物體(另一車輛、路標、障礙物等)的識別處理，以用于駕駛輔助或提供安全信息?？刂茊卧?52可以使存儲單元156存儲具有經(jīng)過穩(wěn)定的灰度的圖像。

在實施例中，控制單元152可變地控制將由獲取單元154獲取的紅外圖像的目標波長，以便避免圖像因多個紅外相機同時捕獲圖像而變得不穩(wěn)定。控制單元152可以基于(例如)經(jīng)由通信接口110從其他裝置接收的信息來識別在圖像處理裝置1的附近使用的紅外線的波長。本文中描述的其他裝置可以是具有單獨紅外相機的其他圖像處理裝置(例如，車載裝置)，或者可以是集中地管理(例如)特定區(qū)域中的成像操作的管理裝置(例如，路邊裝置)?？刂茊卧?52可以通過分析獲取單元154所獲取的紅外圖像來識別在附近使用的紅外線的波長。當(dāng)獲取單元154中設(shè)置的目標波長與附近使用的紅外線的波長一致，或者與附近使用的紅外線的波長的類似程度使得紅外線不利地影響彼此時，控制單元152切換將由獲取單元154獲取的紅外圖像的目標波長。通常，目標波長可以從提前存儲在存儲單元156中的多個波長候選中選擇。

在第一實例中，紅外圖像的目標波長的可變控制由控制單元152切換設(shè)于紅外相機102中的光學(xué)濾波器的通頻帶來執(zhí)行。在第一實例中，控制單元152使光學(xué)濾波器(可變?yōu)V波器)的基底進行操作，使得具有切換之后的目標波長的紅外線穿過濾波器的通過膜，并且入射在成像元件上。

在第二實例中，紅外圖像的目標波長的可變控制由控制單元152使獲取單元154將目標波長的分量與通過對物體成像而獲得的原始圖像分開來執(zhí)行。在第二實例中，原始圖像從感測相互不同的波長分量(不僅可以包括紅外分量而且包括可見光分量)的多個成像元件的隊列輸出。已知的是，由于波長分量影響彼此，因此，多個波長分量與此原始圖像的像素值混合。因此，獲取單元154通過對原始圖像去馬賽克并且響應(yīng)于來自控制單元152的指令而執(zhí)行預(yù)定濾波器計算來將目標波長的分量與原始圖像分開，其中多個波長分量混合。

第一實例和第二實例可以組合。在這種情況下，獲取單元154基于已經(jīng)穿過紅外相機102的光學(xué)濾波器的紅外線來將目標波長的波長分量與原始圖像分開。通過這種方式，有可能獲取紅外圖像，其中不同于目標波長并且對應(yīng)于干擾的波長的分量減少。

此外，控制單元152取決于目標波長設(shè)置控制紅外線從紅外相機102的發(fā)射。具體而言，控制單元152使紅外相機102的發(fā)光元件以包括目標波長的輻射頻帶發(fā)射紅外線，所述目標頻帶被設(shè)置成不同于附近使用的波長。圖6和圖7是示出所發(fā)射的紅外線的目標波長的切換的特定實例的說明性圖解。在圖6的實例中，目標波長是從十個波長候選l1到l10中選擇的單個波長。例如，目標波長在時間t1處是波長l5，并且發(fā)光元件發(fā)射具有目標波長l5的紅外線。即使附近的裝置在從時間t1到時間t2的期間內(nèi)發(fā)射具有從l1到l4或從l6到l10中的任何波長的紅外線，由獲取單元154獲取的紅外圖像也不受發(fā)射影響。之后，目標波長在時間t2處變成波長l1。即使附近的裝置在時間t2之后的特定期間內(nèi)發(fā)射具有波長l5的紅外線，由獲取單元154獲取的紅外圖像也不受發(fā)射影響。

目標波長不限于圖6中的實例，并且可以包括多個波長，而不是單個波長。在圖7的實例中，目標波長是從十個波長候選l1到l10中選擇的三個波長。例如，目標波長在時間處t3是l2、l5和l10，并且多個發(fā)光元件分別發(fā)射具有目標波長l2、l5和l10的紅外線。之后，目標波長在時間t4處變成波長l1、l3和l8。多個發(fā)光元件在時間t4處分別發(fā)射具有目標波長l1、l3和l8的紅外線。替代于使多個發(fā)光元件同時發(fā)射具有相互不同目標波長的紅外線，每一單個發(fā)光元件可以相繼發(fā)射具有相互不同目標波長的紅外線。

在實施例中，控制單元152取決于目標波長控制紅外圖像的灰度。具體而言，當(dāng)目標波長不同于參考波長時，控制單元152控制紅外圖像的灰度，以便減少紅外圖像的灰度從以參考波長獲取的圖像的變化。例如，控制單元152通過使轉(zhuǎn)換單元158使用取決于目標波長的轉(zhuǎn)換控制信息來轉(zhuǎn)換紅外圖像的像素值而控制紅外圖像的灰度。之后將詳細描述由轉(zhuǎn)換單元158執(zhí)行的紅外圖像的像素值的轉(zhuǎn)換。

參考波長可以提前定義。控制單元152可以動態(tài)地設(shè)置參考波長。例如，在開始捕獲一系列圖像(也就是，視頻圖像)時的目標波長可以自動地設(shè)置為參考波長。參考波長可以由用戶經(jīng)由用戶接口進行設(shè)置。例如，控制單元152可以經(jīng)由輸入接口104和顯示器108提供用戶接口，以用于允許用戶從提前存儲在存儲單元中的參考波長的多個候選中選擇參考波長。參考波長的設(shè)置值存儲在存儲單元156中。不僅在切換目標波長時，而且在改變參考波長時，控制單元152可以取決于改變之后的參考波長調(diào)整紅外圖像的灰度。

(獲取單元)

獲取單元154獲取紅外圖像并且將獲取的紅外圖像輸出到轉(zhuǎn)換單元158。在上述第一實例中，獲取單元154獲取紅外相機102獲得的原始圖像作為紅外圖像。本文中描述的原始圖像是這樣的圖像：其中紅外相機102的光學(xué)濾波器已經(jīng)大大減少了具有目標波長之外的波長的分量。由于當(dāng)目標波長切換時，光學(xué)濾波器的通頻帶切換到對應(yīng)于新目標波長的頻帶，因此，獲取單元154可以獲取具有新目標波長的紅外圖像。

在上述第二實例中，獲取單元154通過將目標波長的分量與紅外相機102獲取的原始圖像分開來獲取具有目標波長的紅外圖像。例如，獲取單元154通過對紅外相機102所獲取的原始圖像去馬賽克并且執(zhí)行預(yù)定濾波器計算來將目標波長的分量與原始圖像分開，其中多個波長分量混合。例如，濾波器計算的參數(shù)可以通過學(xué)習(xí)處理而提前確定。

獲取單元154可以獲取存儲在存儲設(shè)備112中的紅外圖像。獲取單元154可以經(jīng)由通信接口110從另一裝置獲取紅外圖像。由獲取單元154獲取的紅外圖像可以是已經(jīng)經(jīng)過初步處理(諸如，信號放大和去噪)的圖像。獲取單元154可以對來自壓縮并編碼的編碼流的紅外圖像進行解碼。

(存儲單元)

存儲單元156存儲在轉(zhuǎn)換單元158執(zhí)行紅外圖像的像素值的轉(zhuǎn)換以及控制單元152執(zhí)行各種控制時將參考的數(shù)據(jù)。

例如，存儲單元156存儲目標波長和參考波長的設(shè)置值。目標波長和參考波長的設(shè)置值可以被控制單元152改變。存儲單元156提前存儲可以被控制單元152選作目標波長或參考波長的多個波長候選。

存儲在存儲單元156中的用于轉(zhuǎn)換像素值的數(shù)據(jù)可以包括針對目標波長的多個波長候選中的每個提前確定的濾波器系數(shù)。圖8是示出針對多個波長候選中的每個提前確定的濾波器系數(shù)的濾波器系數(shù)表的特定實例的說明性圖解。圖8中的實例基于下列假設(shè)：用于轉(zhuǎn)換像素值的濾波器由圍繞聚焦像素p5的3×3網(wǎng)格形狀的空間濾波器抽頭p1到p9形成，如圖10所示。圖8中示出的濾波器系數(shù)表50存儲針對目標波長的第i個波長候選li將乘以第j個濾波器抽頭pj的濾波器系數(shù)值kj,i。濾波器系數(shù)表50用于參考波長固定的實例。圖10中示出的濾波器抽頭僅僅是實例。當(dāng)然可以使用更多或更少的濾波器抽頭，或者可以使用具有不同像素位置的濾波器抽頭。濾波器抽頭的配置可以根據(jù)目標波長而不同。

圖9是示出針對多個波長候選和參考波長的組合中的每個提前確定的濾波器系數(shù)的濾波器系數(shù)表的特定實例的說明性圖解。圖9中的實例也基于下列假設(shè)：用于轉(zhuǎn)換像素值的濾波器由圍繞聚焦像素p5的3×3網(wǎng)格形狀的空間濾波器抽頭p1到p9形成，如圖10所示。圖9中示出的濾波器系數(shù)表60存儲針對目標波長的第i個波長候選li和第k個波長候選lk(i≠k)將乘以第j個濾波器抽頭pj的濾波器系數(shù)值kj,i,k。濾波器系數(shù)表60用于參考波長可變的實例。

圖8和圖9中示出的濾波器系數(shù)可以(例如)通過學(xué)習(xí)處理而提前確定。在用于確定濾波器系數(shù)的先前學(xué)習(xí)中，準備大量成對的目標波長的多個波長候選的紅外圖像和對應(yīng)的教示圖像。本文中描述的對應(yīng)教示圖像可以提前經(jīng)過調(diào)整以具有與當(dāng)以參考波長對相同物體成像時所獲得的紅外圖像的灰度級類似的灰度級的圖像(教示圖像可以是具有參考波長的紅外圖像本身)。隨后，根據(jù)諸如boosting等現(xiàn)有算法或支持向量機來確定用于將相應(yīng)紅外圖像的灰度級轉(zhuǎn)換成類似于具有參考波長的紅外圖像的灰度級的濾波器系數(shù)。

此外，存儲單元156可以存儲由獲取單元154獲取的紅外圖像或者具有由轉(zhuǎn)換單元158轉(zhuǎn)換的像素值的紅外圖像。

(轉(zhuǎn)換單元)

轉(zhuǎn)換單元158通過使用取決于目標波長的轉(zhuǎn)換控制信息來轉(zhuǎn)換紅外圖像的像素值。例如，轉(zhuǎn)換控制信息包括濾波器系數(shù)的集合。那么，轉(zhuǎn)換單元158通過使用從存儲單元156獲取的濾波器系數(shù)在紅外圖像上執(zhí)行濾波器計算來轉(zhuǎn)換紅外圖像的像素值。

具體而言，轉(zhuǎn)換單元158通過針對紅外圖像的相應(yīng)聚焦像素構(gòu)建如圖19所示的濾波器抽頭并且將存儲在濾波器系數(shù)表50或濾波器系數(shù)表60中的濾波器系數(shù)應(yīng)用于濾波器抽頭來執(zhí)行濾波器計算。例如，當(dāng)在參考波長固定的實例中，目標波長是l3時，轉(zhuǎn)換單元158可以將濾波器系數(shù)表50中示出的濾波器系數(shù)k1,3到k9,3用于濾波器計算。當(dāng)在參考波長可變的實例中，目標波長和參考波長分別是l2和l1時，轉(zhuǎn)換單元158可以將濾波器系數(shù)表60中示出的濾波器系數(shù)k1,2,1到k9,2,1用于濾波器計算。

轉(zhuǎn)換單元158輸出紅外圖像，其中由于對控制單元152和存儲單元156的濾波器計算，已經(jīng)轉(zhuǎn)換了像素值。當(dāng)目標波長等于參考波長時，轉(zhuǎn)換單元158不轉(zhuǎn)換紅外圖像的像素值。在這種情況下，轉(zhuǎn)換單元158可以將從獲取單元154輸入的紅外圖像直接輸出到控制單元152和存儲單元156。轉(zhuǎn)換單元158可以只轉(zhuǎn)換紅外圖像的一部分的像素值。例如，轉(zhuǎn)換單元158可以使紅外圖像中的用戶關(guān)注的特定區(qū)域中的灰度穩(wěn)定(例如，成像出行人的活體區(qū)域或者成像出另一車輛等的物體區(qū)域)，方式是只轉(zhuǎn)換該特定區(qū)域中的像素值。

[2-3.操作]

接下來，將參考圖11到圖12來描述根據(jù)本公開的實施例的由圖像處理裝置1執(zhí)行的處理流程。

圖11是示出根據(jù)本公開的實施例的由圖像處理裝置1執(zhí)行的處理流程的特定實例的流程圖。如圖11所示，控制單元152首先確定在該時點設(shè)置的目標波長是否要切換成另一波長(步驟s102)。如果確定要切換目標波長(步驟s102/是)，那么控制單元152改變目標波長的設(shè)置值(步驟s104)。例如，控制單元152可以切換紅外相機102的光學(xué)濾波器的通頻帶，或者可以改變將由獲取單元154分開的波長分量的設(shè)置。相反，如果確定波長不要切換(步驟s102/否)，那么跳過步驟s104。接下來，控制單元152使紅外相機102以包括目標波長的輻射頻帶發(fā)射紅外線(步驟s106)。隨后，獲取單元154獲取具有目標波長的紅外圖像(步驟s108)并且將紅外圖像輸出到轉(zhuǎn)換單元158。接下來，控制單元152確定目標波長是否不同于參考波長(步驟s110)。如果確定目標波長并非不同于參考波長(步驟s110/否)，那么轉(zhuǎn)換單元158將由獲取單元154獲取的紅外圖像輸出到控制單元152和存儲單元156，而無需轉(zhuǎn)換紅外圖像的像素值。相反，如果確定目標波長不同于參考波長(步驟s110/是)，那么轉(zhuǎn)換單元158執(zhí)行像素值轉(zhuǎn)換處理(步驟s112)。隨后，轉(zhuǎn)換單元158將已經(jīng)減少因目標波長的變化而產(chǎn)生的灰度變化的紅外圖像輸出到控制單元152和存儲單元156。之后，在下一幀上重復(fù)上述處理。

圖12是示出圖11中的步驟s112中執(zhí)行的像素值轉(zhuǎn)換處理流程的特定實例的流程圖。如圖12所示，轉(zhuǎn)換單元158首先從存儲單元156中獲取與該時點的目標波長的設(shè)置值(以及如有必要的話，參考波長的設(shè)置值)對應(yīng)的濾波器系數(shù)的集合(步驟s152)。接下來，轉(zhuǎn)換單元158選擇紅外圖像中的一個像素作為聚焦像素(步驟s154)，并且通過使用濾波器系數(shù)而在聚焦像素上執(zhí)行濾波器計算(步驟s156)。隨后，如果還有尚未完成像素值轉(zhuǎn)換的像素(步驟s158/否)，那么轉(zhuǎn)換單元158選擇下一像素作為聚焦像素并且在該聚焦像素上重復(fù)上述處理。相反，如果已經(jīng)對所有的像素完成像素值轉(zhuǎn)換(步驟s158/是)，那么像素值轉(zhuǎn)換處理結(jié)束。

根據(jù)上述實施例，控制單元152可變地控制由獲取單元154獲取的紅外圖像的目標波長，以便不同于在附近發(fā)射的紅外線的波長。這防止從其他紅外相機發(fā)射的紅外線被所獲得的紅外圖像捕獲。根據(jù)本公開的實施例的圖像處理裝置1，控制單元152取決于目標波長控制紅外圖像的灰度。這使得可能將更穩(wěn)定的紅外圖像呈現(xiàn)給用戶或者輸出更穩(wěn)定的紅外圖像以供之后的階段處理，而不會受諸如切換目標波長等干擾的影響。

根據(jù)上述實施例，控制單元152控制紅外圖像的灰度，以便在目標波長不同于參考波長時減少紅外圖像的灰度從以參考波長獲取的圖像的變化。這可以抑制用戶對物體的視覺識別或者后面的識別處理中的人或物體識別的不利影響，而這種不利影響是由目標波長切換之后和之后的灰度的意外變化造成的。

根據(jù)某一實施例，控制單元152通過使轉(zhuǎn)換單元158使用取決于目標波長的轉(zhuǎn)換控制信息來轉(zhuǎn)換紅外圖像的像素值而控制紅外圖像的灰度。因此，即使當(dāng)在目標波長切換之前和之后獲得的紅外圖像的灰度意外變化時，也有可能在圖像獲取之后減小該變化。根據(jù)轉(zhuǎn)換像素值的這種方法，有可能以相對低的成本來實施控制灰度的機制，因為不需要光學(xué)或機械地控制成像模塊來控制灰度。

在某一實例中，轉(zhuǎn)換單元158通過使用經(jīng)由學(xué)習(xí)處理而提前確定的濾波器系數(shù)在紅外圖像中執(zhí)行濾波器計算來轉(zhuǎn)換紅外圖像的像素值。因此，歸因于在轉(zhuǎn)換之后對灰度的控制，有可能提供圖像內(nèi)容失真較少的合理紅外圖像。

在某一實例中，轉(zhuǎn)換單元158將針對多個相應(yīng)波長候選而提前確定的濾波器系數(shù)用于濾波器計算。與動態(tài)計算轉(zhuǎn)換控制信息的方法相比，這使得轉(zhuǎn)換單元158在目標波長被切換時能夠更快速地獲取濾波器系數(shù)。因此，轉(zhuǎn)換單元158有可能以更少的延遲來轉(zhuǎn)換像素值。

在某一實例中，轉(zhuǎn)換單元158將針對多個波長候選和參考波長的組合中的每個而提前確定的濾波器系數(shù)用于濾波器計算。這使得轉(zhuǎn)換單元158甚至在不僅目標波長而且參考波長被動態(tài)切換時能夠更快速地獲取適當(dāng)?shù)臑V波器系數(shù)并且轉(zhuǎn)換紅外圖像的像素值，從而在轉(zhuǎn)換之后提供合理的紅外圖像。

[2-4.更改實例]

這部分將描述上述實施例的一些更改實例。

(第一更改實例)

第一更改實例是與控制紅外圖像的灰度的方法相關(guān)的更改實例。在第一更改實例中，轉(zhuǎn)換單元158可以從圖像處理裝置1的配置中省略。

在第一更改實例中，控制單元152通過取決于目標波長而控制在紅外相機處接收的紅外線的量來控制紅外圖像的灰度。具體而言，當(dāng)目標波長被切換時，控制單元152基于變化之后的設(shè)置值的目標波長來確定紅外相機102的控制量，并且基于所確定的控制量使紅外相機102對物體成像。例如，由控制單元152確定的紅外相機102的控制量可以是紅外相機102的曝光時間的調(diào)整量或者是由紅外相機102發(fā)射的紅外線的強度量。此類控制量可以針對目標波長的每個候選(或者目標波長與參考波長的候選之間的每個組合)而提前確定，以便減少紅外圖像的灰度變化，并且此類控制量可以存儲在存儲單元156中。獲取單元143將所獲取的紅外圖像輸出到控制單元152和存儲單元156。

下文將參考圖13來描述根據(jù)第一更改實例的由圖像處理裝置1執(zhí)行的處理流程。

圖13是示出根據(jù)第一更改實例的由圖像處理裝置1執(zhí)行的處理流程的特定實例的流程圖。如圖13所示，控制單元152首先確定在該時點設(shè)置的目標波長是否要切換成另一波長(步驟s102)。如果確定要切換目標波長(步驟s102/是)，那么控制單元152改變目標波長的設(shè)置值(步驟s104)。相反，如果確定目標波長不要切換(步驟s102/否)，那么跳過步驟s104。接下來，控制單元152確定目標波長是否不同于參考波長(步驟s210)。如果確定目標波長不同于參考波長(步驟s210/是)，那么控制單元152取決于目標波長(或者目標波長和參考波長的組合)確定紅外相機102的控制量(步驟s212)。相反，如果確定目標波長并非不同于參考波長(步驟s210/否)，那么跳過步驟s212。接下來，如有必要的話，控制單元152使紅外相機102根據(jù)在步驟s212中確定的控制量來發(fā)射紅外線(步驟s206)，并且使獲取單元154通過紅外相機102的圖像捕獲來獲取紅外圖像(步驟s208)。隨后，獲取單元154將所獲取的紅外圖像輸出到控制單元152和存儲單元156。之后，在下一幀上重復(fù)上述處理。

根據(jù)第一更改實例，控制單元152通過取決于目標波長而控制在成像單元處接收的紅外線的量來控制紅外圖像的灰度，如上文所述。因此，有可能在不需要之后轉(zhuǎn)換像素值的情況下減小用于紅外相機的圖像捕獲的紅外線的目標波長切換之前和之后的灰度的變化。

(第二更改實例)

前一部分中描述了紅外圖像的像素值由使用濾波器系數(shù)的濾波器計算進行轉(zhuǎn)換的實例。在第二更改實例中，紅外圖像的相應(yīng)像素值由更簡單的方法轉(zhuǎn)換。

在第二更改實例中，取決于目標波長的轉(zhuǎn)換控制信息包括共同應(yīng)用于多個像素的單個轉(zhuǎn)換放大率，并且轉(zhuǎn)換單元158通過將紅外圖像的相應(yīng)像素值乘以轉(zhuǎn)換放大率來轉(zhuǎn)換紅外圖像的相應(yīng)像素值。例如，轉(zhuǎn)換單元158基于目標波長切換之前和之后的灰度平均值的比率來計算轉(zhuǎn)換放大率。相反，轉(zhuǎn)換放大率可以針對目標波長的每個候選(或者目標波長和參考波長的候選的每個組合)而提前確定。

下文將描述根據(jù)第二更改實例的由圖像處理裝置1執(zhí)行的處理流程。根據(jù)第二更改實例的由圖像處理裝置1執(zhí)行的處理流程不同于上文在像素值轉(zhuǎn)換處理中參考圖11描述的處理流程(步驟s112)。下文將參考圖14來描述根據(jù)第二更改實例的由圖像處理裝置1執(zhí)行的像素值轉(zhuǎn)換處理流程。

圖14是示出根據(jù)第二更改實例的像素值轉(zhuǎn)換處理流程的特定實例的流程圖。如圖14所示，轉(zhuǎn)換單元158首先(例如)通過計算目標波長切換之前(或者過去以參考波長捕獲的圖像)的灰度平均值與切換之后的灰度平均值之間的比率來計算轉(zhuǎn)換放大率(步驟s252)。接下來，轉(zhuǎn)換單元158選擇紅外圖像中的一個像素作為聚焦像素(步驟s154)，并且通過將聚焦像素的像素值乘以轉(zhuǎn)換放大率來計算轉(zhuǎn)換之后的聚焦像素的像素值(步驟s256)。隨后，如果還有尚未完成像素值轉(zhuǎn)換的像素(步驟s158/否)，那么轉(zhuǎn)換單元158選擇下一像素作為聚焦像素并且在該聚焦像素上重復(fù)上述處理。相反，如果已經(jīng)對所有的像素完成像素值轉(zhuǎn)換(步驟s158/是)，那么像素值轉(zhuǎn)換處理結(jié)束。

根據(jù)第二更改實例，轉(zhuǎn)換控制信息包括通常將應(yīng)用于多個像素的單個轉(zhuǎn)換放大率，并且轉(zhuǎn)換單元158通過將紅外圖像的相應(yīng)像素值乘以轉(zhuǎn)換放大率來轉(zhuǎn)換紅外圖像的相應(yīng)像素值，如上文所述。因此，有可能在不需要復(fù)雜處理(諸如，初步學(xué)習(xí)處理或使用大量濾波器抽頭的濾波器計算)的情況下簡單地控制紅外圖像的灰度。此外，由于不必提前存儲具有相對大量信息的濾波器系數(shù)，因此，可以節(jié)省存儲器。

<3.總結(jié)>

根據(jù)本公開的實施例，有可能提供不受干擾影響的穩(wěn)定紅外圖像，同時防止從其他紅外相機發(fā)射的紅外線被紅外圖像捕獲，如上文所述。

本說明書中描述的由每個設(shè)備實施的一系列控制過程可以由軟件、硬件或者軟件和硬件的組合實現(xiàn)。構(gòu)成此類軟件的程序可以提前存儲在設(shè)于每個設(shè)備的內(nèi)部或外部的(例如)存儲介質(zhì)(非瞬時介質(zhì))上。作為一個實例，在由計算機執(zhí)行期間，此類程序?qū)懭氲絩am(隨機存取存儲器)中并且由諸如cpu等處理器執(zhí)行。

應(yīng)注意，本說明書中參考流程圖描述的處理不必按照流程圖中示出的順序執(zhí)行。一些處理步驟可以并行執(zhí)行。另外，可以采用一些額外步驟，或者可以省略一些處理步驟。

上文已參考附圖描述了本公開的優(yōu)選實施例，然而本公開不限于上述實例。所屬領(lǐng)域的技術(shù)人員可在所附權(quán)利要求書的范圍內(nèi)找出各種變化和修改，并且應(yīng)理解，它們自然都在本公開的技術(shù)范圍內(nèi)。

另外，本說明書中描述的效果僅僅是說明性或例示效果，而不是限制性的。也就是說，連同或代替上述效果，根據(jù)本公開的技術(shù)可實現(xiàn)所屬領(lǐng)域的技術(shù)人員從本說明書的描述中明白的其他效果。

另外，本技術(shù)也可配置如下：

(1)

一種圖像處理裝置，其包括：

獲取單元，其獲取紅外圖像；以及

控制單元，其可變地控制由所述獲取單元獲取的所述紅外圖像的目標波長，并且取決于所述目標波長控制所述紅外圖像的灰度。

(2)

根據(jù)(1)所述的圖像處理裝置，

其中所述控制單元控制所述紅外圖像的所述灰度，以便在所述目標波長不同于參考波長時，減少所述紅外圖像的所述灰度從以所述參考波長獲取的圖像的變化。

(3)

根據(jù)(2)所述的圖像處理裝置，其還包括：

轉(zhuǎn)換單元，其轉(zhuǎn)換由所述獲取單元獲取的所述紅外圖像的像素值，

其中所述控制單元通過使所述轉(zhuǎn)換單元使用取決于所述目標波長的轉(zhuǎn)換控制信息來轉(zhuǎn)換所述紅外圖像的所述像素值而控制所述紅外圖像的所述灰度。

(4)

根據(jù)(3)所述的圖像處理裝置，

其中所述轉(zhuǎn)換控制信息包括濾波器系數(shù)，并且

所述轉(zhuǎn)換單元通過使用所述濾波器系數(shù)在由所述獲取單元獲取的所述紅外圖像上執(zhí)行濾波器計算來轉(zhuǎn)換所述紅外圖像的所述像素值。

(5)

根據(jù)(4)所述的圖像處理裝置，

其中所述轉(zhuǎn)換單元使用通過學(xué)習(xí)處理提前確定的所述濾波器系數(shù)來執(zhí)行所述濾波器計算。

(6)

根據(jù)(3)所述的圖像處理裝置，

其中所述轉(zhuǎn)換控制信息包括共同應(yīng)用于多個像素的單個轉(zhuǎn)換放大率，并且

所述轉(zhuǎn)換單元通過將由所述獲取單元獲取的所述紅外圖像的所述像素值中的每個乘以所述轉(zhuǎn)換放大率來轉(zhuǎn)換所述紅外圖像的所述像素值中的每個。

(7)

根據(jù)(3)到(6)中任一項所述的圖像處理裝置，

其中所述控制單元從多個波長候選中選擇所述目標波長，并且

所述圖像處理裝置還包括存儲單元，所述存儲單元存儲針對所述多個波長候選中的每個提前確定的所述轉(zhuǎn)換控制信息。

(8)

根據(jù)(7)所述的圖像處理裝置，

其中所述存儲單元存儲用于所述多個波長候選和所述參考波長的組合中的每個的所述轉(zhuǎn)換控制信息。

(9)

根據(jù)(2)所述的圖像處理裝置，其還包括：

成像單元，其通過接收紅外線來對物體進行成像，

其中所述獲取單元獲取由所述成像獲得的原始圖像作為所述紅外圖像，并且

所述控制單元通過取決于所述目標波長而控制在所述成像單元處接收的紅外線的量來控制所述紅外圖像的所述灰度。

(10)

根據(jù)(1)到(9)中任一項所述的圖像處理裝置，其還包括：

成像單元，其通過接收已經(jīng)穿過光學(xué)濾波器的紅外線來對物體進行成像，

其中所述獲取單元獲取由所述成像獲得的原始圖像作為所述紅外圖像，并且

所述控制單元通過切換所述光學(xué)濾波器的通頻帶來可變地控制由所述獲取單元獲取的所述紅外圖像的所述目標波長。

(11)

根據(jù)(1)到(8)中任一項所述的圖像處理裝置，

其中所述獲取單元通過將所述目標波長的分量與通過對物體進行成像而獲得的原始圖像分開來獲取所述紅外圖像。

(12)

一種圖像處理方法，其包括：

由圖像處理裝置獲取紅外圖像；

可變地控制所述獲取的紅外圖像的目標波長；以及

取決于所述目標波長控制所述紅外圖像的灰度。

(13)

一種程序，其使控制圖像處理裝置的計算機起到下列項的作用：

獲取單元，其獲取紅外圖像；以及

控制單元，其可變地控制由所述獲取單元獲取的所述紅外圖像的目標波長，并且取決于所述目標波長控制所述紅外圖像的灰度。

參考標號列表

1圖像處理裝置

102紅外相機

104輸入接口

106存儲器

108顯示器

110通信接口

112存儲設(shè)備

114處理器

116總線

152控制單元

154獲取單元

156存儲單元

158轉(zhuǎn)換單元。