本發(fā)明涉及用于皮膚檢測(cè)的設(shè)備、系統(tǒng)和方法。

背景技術(shù)：

人的生命體征，例如心率(hr)、呼吸率(rr)或者動(dòng)脈血氧飽和度(spo2)，用作人的當(dāng)前狀態(tài)的指示器并且用作嚴(yán)重醫(yī)學(xué)事件的強(qiáng)大的預(yù)測(cè)器。出于該原因，生命體征在住院患者和門診患者護(hù)理設(shè)施中、在家或者在另外的健康、休閑和健身設(shè)施中被廣泛地監(jiān)測(cè)。

測(cè)量生命體征的一種方式是體積描記術(shù)。體積描記術(shù)通常涉及對(duì)器官或身體部分的體積改變的測(cè)量，并且尤其涉及對(duì)由于隨著每次心跳行進(jìn)通過(guò)對(duì)象的身體的心血管脈搏波造成的體積改變的探測(cè)。

光電體積描記(ppg)是光學(xué)測(cè)量技術(shù)，其估計(jì)感興趣區(qū)域或體積的光反射率或透射率的時(shí)變改變。ppg基于這樣的原理：血液與周圍組織相比吸收更多的光，因此隨著每次心跳的血液體積中的變化相應(yīng)地影響透射率或者反射率。除了關(guān)于心率的信息之外，ppg波形能夠包括可歸因于諸如呼吸的另外的生理現(xiàn)象的信息。通過(guò)評(píng)估在不同波長(zhǎng)(通常是紅色或者紅外的)處的透射率和/或反射率，能夠確定血氧飽和度。

近來(lái)，已經(jīng)引入了非接觸式、遠(yuǎn)程ppg(rppg)設(shè)備(也稱為相機(jī)rppg裝置)以用于非侵?jǐn)_的測(cè)量。遠(yuǎn)程ppg利用遠(yuǎn)離感興趣對(duì)象設(shè)置的光源，或者一般地，輻射源。類似地，探測(cè)器，例如相機(jī)或光子探測(cè)器，也能夠遠(yuǎn)離感興趣對(duì)象設(shè)置。因此，遠(yuǎn)程光電體積描記系統(tǒng)和設(shè)備被視為非侵?jǐn)_的并且非常適于醫(yī)學(xué)以及非醫(yī)學(xué)日常應(yīng)用。該技術(shù)規(guī)范對(duì)需要生命體征監(jiān)測(cè)的具有極端皮膚敏感性的患者(諸如具有極端脆弱皮膚的新生兒重癥監(jiān)護(hù)室(nicu)患者或早產(chǎn)兒)尤其具有明顯的優(yōu)勢(shì)。

verkruysse等人的“remoteplethysmographicimagingusingambientlight”，opticsexpress，16(26)，2008年12月22日，第21434-21445頁(yè)，展示了能夠使用環(huán)境光和常規(guī)消費(fèi)者水平的相機(jī)使用紅、綠、藍(lán)顏色通道來(lái)遠(yuǎn)程地測(cè)量光電體積描記信號(hào)。

wieringa等人的“contactlessmultiplewavelengthphotoplethysmographicimaging:afirststeptoward"spo2camera"technology”，ann.biomed.eng.33，1034-1041(2005)，公開了一種用于基于對(duì)在不同波長(zhǎng)處的體積描記信號(hào)的測(cè)量來(lái)對(duì)組織中的動(dòng)脈氧飽和度進(jìn)行非接觸式成像的遠(yuǎn)程ppg系統(tǒng)。所述系統(tǒng)包括單色cmos相機(jī)以及具有三個(gè)不同波長(zhǎng)的led的光源。相機(jī)在三個(gè)不同波長(zhǎng)處順序地采集對(duì)象的三個(gè)視頻。脈搏率能夠根據(jù)在單個(gè)波長(zhǎng)處的視頻來(lái)確定，然而為了確定氧飽和度需要在不同波長(zhǎng)處的至少兩個(gè)視頻。所述測(cè)量在暗室中執(zhí)行，每次使用僅一個(gè)波長(zhǎng)。

除了完全不接觸的優(yōu)點(diǎn)之外，相機(jī)(一般被稱為成像設(shè)備)提供2d信息，其允多點(diǎn)和大區(qū)域測(cè)量，并且常常包含額外的場(chǎng)景信息。不像利用接觸式傳感器，接觸式傳感器依賴于在特定測(cè)量點(diǎn)/區(qū)域上的正確放置，被用于使用rppg技術(shù)測(cè)量脈搏信號(hào)的區(qū)域是從實(shí)際圖像確定的。因此，在任何照射條件下都可靠的對(duì)皮膚區(qū)域的準(zhǔn)確檢測(cè)變?yōu)榛谙鄼C(jī)的rppg設(shè)備和方法的處理鏈中的至關(guān)重要的部分。

當(dāng)前，存在對(duì)于皮膚區(qū)域的可靠檢測(cè)和跟蹤已知的兩種主要方案。

一種方案基于皮膚顏色(基于rgb的)檢測(cè)和分割。根據(jù)該方案的方法在檢測(cè)和跟蹤具有皮膚顏色的區(qū)域這兩方面是快速的。然而，它們對(duì)于環(huán)境光顏色的改變不是魯棒的，環(huán)境光顏色的變化將改變從皮膚區(qū)域反射的光的顏色，并且不能夠在低照射條件下或者在黑暗中檢測(cè)皮膚區(qū)域。此外，這樣的方法不能夠始終將皮膚與具有相同顏色的其他對(duì)象區(qū)分開。

另一種方案基于提取的ppg信號(hào)(基于ppg的)。根據(jù)該方案的方法在區(qū)分真實(shí)皮膚區(qū)域與具有相同皮膚顏色的其他對(duì)象的區(qū)域方面是更為魯棒的。該方案也能夠被用于分割所述皮膚區(qū)域，所述皮膚區(qū)域具有更強(qiáng)的ppg信號(hào)(最為周期性的信號(hào))。然而，所述方案的可靠性取決于ppg信號(hào)提取的魯棒性，因此，其受對(duì)象的運(yùn)動(dòng)以及血液灌注水平影響。因此，如果脈搏信號(hào)不是周期性的或者是微弱的，則基于相機(jī)的系統(tǒng)將難以檢測(cè)所分割的皮膚區(qū)域。此外，所述方案也是計(jì)算上昂貴的。

應(yīng)當(dāng)注意到，不僅僅在基于rppg技術(shù)的生命體征監(jiān)測(cè)的領(lǐng)域中對(duì)皮膚區(qū)域的檢測(cè)感興趣，而且還在其他技術(shù)領(lǐng)域中，例如，在使用相機(jī)技術(shù)以識(shí)別玩家的姿態(tài)的遠(yuǎn)程游戲應(yīng)用、面部檢測(cè)、安全(使用監(jiān)視相機(jī)對(duì)人的魯棒的檢測(cè)以及對(duì)佩戴面罩的人的檢測(cè)或者在相機(jī)配準(zhǔn)中將真實(shí)面部與逼真面罩區(qū)別開)等領(lǐng)域中，對(duì)皮膚區(qū)域的檢測(cè)感興趣。

wo2014/012070a1公開了一種嬰兒監(jiān)測(cè)系統(tǒng)，其包括紅外成像模塊、可見(jiàn)光相機(jī)、處理器、顯示器、通信模塊、以及存儲(chǔ)器。所述監(jiān)測(cè)系統(tǒng)可以使用被封裝在便攜式或可安裝殼體中的、被配置為要被定位用于遠(yuǎn)程監(jiān)測(cè)嬰兒的紅外成像模塊，來(lái)捕獲包括嬰兒的至少部分視圖的場(chǎng)景的熱圖像?？梢栽跓釄D像上執(zhí)行各種熱圖像處理和分析操作，以生成與嬰兒相關(guān)的監(jiān)測(cè)信息。所述監(jiān)測(cè)信息可以包括向護(hù)理提供者主動(dòng)地提供警告的各種警報(bào)以及場(chǎng)景的用戶可查看的圖像。所述監(jiān)測(cè)信息可以被呈現(xiàn)在遠(yuǎn)程地定位的外部設(shè)備或顯示器處，以供護(hù)理提供者方便地查看。

us2013/0215928a1公開了一種用于確定患者或?qū)ο蟮纳眢w溫度的方法，在該方法中，無(wú)接觸式紅外溫度計(jì)被手動(dòng)地定位到諸如靶標(biāo)區(qū)域處的點(diǎn)，并且通過(guò)激活所述溫度計(jì)，使得其測(cè)量患者的內(nèi)部溫度，并且經(jīng)由溫度計(jì)并針對(duì)預(yù)定時(shí)間間隔來(lái)讀取來(lái)自靶標(biāo)區(qū)域的紅外輻射的強(qiáng)度。所述靶標(biāo)區(qū)域是人類或動(dòng)物患者的身體表面，其選自包括以下項(xiàng)的身體位置的組：篩竇、眼角、睜開的眼瞼或閉合的眼瞼。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種允許對(duì)皮膚的可靠、準(zhǔn)確并且快速的檢測(cè)的設(shè)備和對(duì)應(yīng)的方法以及系統(tǒng)，特別是用于在用于檢測(cè)對(duì)象的生命體征的設(shè)備和方法中使用。

在本發(fā)明的第一方面中，提出了一種用于皮膚檢測(cè)的設(shè)備，包括：

-熱傳感器輸入部，其用于獲得場(chǎng)景的熱傳感器數(shù)據(jù)，

-光傳感器輸入部，其用于獲得所述場(chǎng)景的光傳感器數(shù)據(jù)，以及

-評(píng)估單元，其用于分析所獲得的熱傳感器數(shù)據(jù)和所獲得的光傳感器數(shù)據(jù)，并且用于基于所述分析來(lái)檢測(cè)所述場(chǎng)景內(nèi)的皮膚區(qū)域，其中，所述評(píng)估單元被配置為：

-選擇所述熱傳感器數(shù)據(jù)中具有在預(yù)定范圍中的數(shù)據(jù)值的第一空間區(qū)域，

-選擇所述光傳感器數(shù)據(jù)中具有在預(yù)定范圍中的數(shù)據(jù)值的第二空間區(qū)域，

-通過(guò)確定來(lái)自所述光傳感器數(shù)據(jù)的光電體積描記ppg信號(hào)并且選擇所述光傳感器數(shù)據(jù)中具有最高ppg信號(hào)強(qiáng)度和/或具有最強(qiáng)脈動(dòng)性的第三和/或第四空間區(qū)域來(lái)選擇所述第三和/或第四空間區(qū)域，和/或選擇光傳感器數(shù)據(jù)中具有相鄰像素的色度值和/或強(qiáng)度值的最高空間均勻度的第五空間區(qū)域，并且

-將所述第一和第二空間區(qū)域與所述第三、第四和第五空間區(qū)域中的一個(gè)或多個(gè)相關(guān)以檢測(cè)皮膚區(qū)域。

在本發(fā)明的另一方面中，提出了一種對(duì)應(yīng)的方法。

在本發(fā)明的又一方面中，提出了一種系統(tǒng)，包括：

-熱傳感器，其用于采集場(chǎng)景的熱傳感器數(shù)據(jù)，

-光傳感器，其用于采集所述場(chǎng)景的光傳感器數(shù)據(jù)，以及

-如在本文中所公開的設(shè)備，其用于基于所采集的熱傳感器數(shù)據(jù)和所采集的光傳感器數(shù)據(jù)來(lái)進(jìn)行所述場(chǎng)景內(nèi)的皮膚檢測(cè)。

在本發(fā)明的又一方面中，提供了一種包括程序代碼單元的計(jì)算機(jī)程序，所述程序代碼單元用于，當(dāng)所述計(jì)算機(jī)程序由計(jì)算機(jī)執(zhí)行時(shí)，使所述計(jì)算機(jī)執(zhí)行如本文中所公開的方法的步驟，并且提供了一種在其中存儲(chǔ)有計(jì)算機(jī)程序產(chǎn)品的非瞬態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，所述計(jì)算機(jī)程序產(chǎn)品當(dāng)由計(jì)算機(jī)執(zhí)行時(shí)，使在本文中所公開的方法的步驟被執(zhí)行。

在從屬權(quán)利要求中限定了本發(fā)明的優(yōu)選實(shí)施例。應(yīng)當(dāng)理解，所請(qǐng)求保護(hù)的方法、系統(tǒng)、計(jì)算機(jī)程序和介質(zhì)與所請(qǐng)求保護(hù)的并且如在從屬權(quán)利要求中所定義的設(shè)備具有相似和/或相同的優(yōu)選實(shí)施例。

本發(fā)明利用熱相機(jī)技術(shù)，尤其是在長(zhǎng)波紅外相機(jī)技術(shù)中。當(dāng)今，以消費(fèi)者價(jià)格水平可獲得緊湊的熱相機(jī)，諸如flir系統(tǒng)有限公司的lepton相機(jī)模塊，其例如能夠與消費(fèi)者移動(dòng)設(shè)備集成。盡管這樣的消費(fèi)者水平熱相機(jī)不能夠提供與專用相機(jī)相同的空間和熱學(xué)分辨率，但是其性能將足以區(qū)分熱和冷的對(duì)象。此外，熱相機(jī)也能夠提供關(guān)于溫度的空間分布的信息，由于皮膚溫度的改變與局部血流的改變之間的關(guān)系，其能夠被用于選擇具有期望的更高水平的ppg脈動(dòng)性的區(qū)域。

本發(fā)明提供了組合熱成像(優(yōu)選使用低成本熱傳感器(優(yōu)選提供二維熱成像數(shù)據(jù)作為熱傳感器數(shù)據(jù)))與rgb或ir(紅外)成像的設(shè)備、方法和系統(tǒng)，用于對(duì)一個(gè)或多個(gè)皮膚檢測(cè)(也被稱為感興趣區(qū)域roi)的魯棒檢測(cè)以及優(yōu)選地跟蹤，尤其用于ppg信號(hào)的提取，從所述ppg信號(hào)可以導(dǎo)出一個(gè)或多個(gè)生命體征。由于熱傳感器將檢測(cè)任何熱的對(duì)象(即，不僅僅是皮膚)，因而魯棒的皮膚檢測(cè)不能夠僅依賴于熱成像。因此，本發(fā)明提出了獨(dú)特的方法來(lái)組合熱成像與基于rgb(和/或ir)和/或基于ppg的技術(shù)，以用于對(duì)皮膚roi的魯棒的選擇，并且在優(yōu)選實(shí)施例中，用于將roi分割為可能具有高的ppg脈動(dòng)性的區(qū)域。

所述評(píng)估單元被配置為選擇所述熱傳感器數(shù)據(jù)中具有在預(yù)定范圍中的數(shù)據(jù)值的第一空間區(qū)域、選擇所述光傳感器數(shù)據(jù)中具有在預(yù)定范圍中的數(shù)據(jù)值的第二空間區(qū)域、并且將所述第一空間數(shù)據(jù)與所述第二空間數(shù)據(jù)相關(guān)以檢測(cè)皮膚區(qū)域。優(yōu)選地，所述評(píng)估單元被配置為選擇所述熱傳感器數(shù)據(jù)中具有在人類皮膚的正常溫度范圍(具體在30℃到42℃的范圍中)中的數(shù)據(jù)值的第一空間區(qū)域，并且選擇所述光傳感器數(shù)據(jù)中具有在針對(duì)皮膚的典型范圍中的數(shù)據(jù)值的第二空間區(qū)域。因此，對(duì)(一個(gè)或多個(gè))皮膚區(qū)域的檢測(cè)基于由相應(yīng)的傳感器直接采集的數(shù)據(jù)。針對(duì)皮膚典型的光傳感器數(shù)據(jù)的數(shù)據(jù)值的范圍例如能夠針對(duì)所述光傳感器工作的特定顏色空間來(lái)定義。例如，針對(duì)rgb傳感器，皮膚顏色范圍將是在紅(r)和藍(lán)(b)和綠(g)之間20個(gè)點(diǎn)差異，g盡可能接近中間(例如，75％r、65％g、55％b)。針對(duì)較暗的皮膚，數(shù)值將更高，針對(duì)更為黃色的皮膚，將存在下降的藍(lán)色值等。針對(duì)其他顏色空間(例如yuv)，所述皮膚顏色范圍將以類似的方式來(lái)定義，即，作為通道中的每個(gè)中的閾值的組合。

在另一選項(xiàng)中，所述評(píng)估單元被配置為選擇所述熱傳感器數(shù)據(jù)中具有在預(yù)定范圍中的數(shù)據(jù)值的第一空間區(qū)域，以確定來(lái)自光傳感器數(shù)據(jù)的光電體積描記ppg信號(hào)，選擇具有最高ppg信號(hào)強(qiáng)度的光傳感器數(shù)據(jù)的第三空間區(qū)域，并且將所述第一空間區(qū)域和所述第三空間區(qū)域相關(guān)以檢測(cè)皮膚區(qū)域。因此，對(duì)(一個(gè)或多個(gè))皮膚區(qū)域的檢測(cè)不僅僅基于由相應(yīng)傳感器直接采集的數(shù)據(jù)，而且還基于從其導(dǎo)出的數(shù)據(jù)，亦即，ppg信號(hào)以及ppg信號(hào)的相應(yīng)信號(hào)強(qiáng)度，如果要從檢測(cè)到的(一個(gè)或多個(gè))皮膚區(qū)域獲得生命體征，則這是特別有用的。

在又一選項(xiàng)中，所述評(píng)估單元被配置為選擇所述熱傳感器數(shù)據(jù)中具有在預(yù)定范圍中的數(shù)據(jù)值的第一空間區(qū)域，確定來(lái)自光傳感器數(shù)據(jù)的光電體積描記ppg信號(hào)，選擇具有最強(qiáng)脈動(dòng)性的光傳感器數(shù)據(jù)的第四空間區(qū)域，并且將所述第一空間區(qū)域與所述第四空間區(qū)域相關(guān)以檢測(cè)皮膚區(qū)域。同樣地，在該實(shí)施例中，對(duì)(一個(gè)或多個(gè))皮膚區(qū)域的檢測(cè)不僅僅基于由相應(yīng)傳感器直接采集的數(shù)據(jù)，而且還基于從其導(dǎo)出的數(shù)據(jù)，亦即，ppg信號(hào)以及ppg信號(hào)的相應(yīng)脈動(dòng)性，如果要從檢測(cè)到的(一個(gè)或多個(gè))皮膚區(qū)域獲得生命體征，則這是特別有用的。

在又一選項(xiàng)中，所述評(píng)估單元被配置為選擇所述熱傳感器數(shù)據(jù)中具有在預(yù)定范圍中的數(shù)據(jù)值的第一空間區(qū)域，選擇所述光傳感器數(shù)據(jù)中具有相鄰像素的色度值和/或強(qiáng)度值的最高空間均勻度的第五空間區(qū)域，并且將所述第一空間區(qū)域和所述第五空間區(qū)域相關(guān)以檢測(cè)皮膚區(qū)域。再次，在該實(shí)施例中，對(duì)(一個(gè)或多個(gè))皮膚區(qū)域的檢測(cè)不僅僅基于由相應(yīng)傳感器直接采集的數(shù)據(jù)，而且還基于從其導(dǎo)出的數(shù)據(jù)，亦即，基于色度值和/或強(qiáng)度值的均勻度。

根據(jù)本發(fā)明的實(shí)施例，不僅僅將兩個(gè)空間區(qū)域相關(guān)，而且以不同方式選擇的另外的空間區(qū)域可以被相關(guān)以進(jìn)一步增加皮膚區(qū)域檢測(cè)的可靠性和魯棒性。相應(yīng)地，所述評(píng)估單元被配置為選擇所述光傳感器數(shù)據(jù)中具有在預(yù)定范圍中的數(shù)據(jù)值的第二空間區(qū)域，并且將所述第一和第二空間區(qū)域與所述第三、第四和第五空間區(qū)域中的一個(gè)或多個(gè)相關(guān)以檢測(cè)皮膚區(qū)域。

所述皮膚區(qū)域檢測(cè)可以被應(yīng)用到各種應(yīng)用中。優(yōu)選的應(yīng)用是在檢測(cè)對(duì)象(尤其是人)的生命體征中使用。因此，在實(shí)施例中，所述設(shè)備還包括生命體征檢測(cè)器，其用于基于來(lái)自所述圖像序列內(nèi)的檢測(cè)到的皮膚區(qū)域的圖像信息來(lái)檢測(cè)場(chǎng)景內(nèi)的對(duì)象的生命體征。所述生命體征優(yōu)選地是通過(guò)使用已知遠(yuǎn)程ppg技術(shù)來(lái)獲得的，或者是根據(jù)由脈動(dòng)引起的皮膚區(qū)域的運(yùn)動(dòng)獲得的。呼吸信息，例如呼吸率，也可以根據(jù)由呼吸引起的皮膚(例如，胸壁或腹部區(qū)域)的移動(dòng)獲得。

更進(jìn)一步地，在實(shí)施例中，所述評(píng)估單元被配置為在分析之前將所獲得的熱傳感器數(shù)據(jù)與所獲得的光傳感器數(shù)據(jù)空間地對(duì)齊。該對(duì)齊例如可以通過(guò)使用圖像處理技術(shù)(例如已知配準(zhǔn)算法)來(lái)數(shù)字地執(zhí)行。該實(shí)施例尤其使得能夠利用熱傳感器來(lái)補(bǔ)充現(xiàn)有設(shè)備，例如用于通過(guò)使用來(lái)自相機(jī)的遠(yuǎn)程采集的圖像數(shù)據(jù)來(lái)獲得對(duì)象的生命體征，以增加皮膚檢測(cè)的魯棒性，然后，通過(guò)使用遠(yuǎn)程ppg技術(shù)來(lái)根據(jù)所述皮膚檢測(cè)導(dǎo)出生命體征。

存在用于獲得熱傳感器數(shù)據(jù)和光傳感器數(shù)據(jù)的各種實(shí)施例。在現(xiàn)實(shí)的實(shí)現(xiàn)方式中，所述熱傳感器包括長(zhǎng)波相機(jī)單元，其用于采集長(zhǎng)波紅外譜中的熱圖像，并且所述光傳感器包括成像單元，例如相機(jī)，其用于采集可見(jiàn)光譜和/或紅外光譜中的圖像。

本發(fā)明優(yōu)選被用在通過(guò)使用遠(yuǎn)程ppg技術(shù)的生命體征采集的背景中。出于該目的，所述成像單元優(yōu)選地被配置為隨時(shí)間采集場(chǎng)景的圖像序列，并且所述設(shè)備還包括生命體征檢測(cè)器，其用于基于來(lái)自所述圖像序列內(nèi)的檢測(cè)到的皮膚區(qū)域的圖像信息來(lái)檢測(cè)對(duì)象的生命體征。因此，所提出的皮膚區(qū)域的檢測(cè)可以一次地或連續(xù)地用于在生命體征的采集期間檢測(cè)和/或跟蹤皮膚區(qū)域。

附圖說(shuō)明

參考下文描述的實(shí)施例，本發(fā)明的這些和其他方面將變得顯而易見(jiàn)并將得以闡述。在附圖中：

圖1示出了根據(jù)本發(fā)明的系統(tǒng)和設(shè)備的第一實(shí)施例的示意圖，

圖2示出了根據(jù)本發(fā)明的設(shè)備的第二實(shí)施例的示意圖，

圖3示出了根據(jù)本發(fā)明的設(shè)備的第三實(shí)施例的示意圖，并且

圖4示出了根據(jù)本發(fā)明的方法的實(shí)施例的流程圖。

具體實(shí)施方式

圖1示出了根據(jù)本發(fā)明的包括用于皮膚檢測(cè)的設(shè)備14的系統(tǒng)1的第一實(shí)施例的示意圖。系統(tǒng)1包括用于采集場(chǎng)景的熱傳感器數(shù)據(jù)的熱傳感器10。在該范例中，所述場(chǎng)景包括，躺在例如醫(yī)院病房或其他健康護(hù)理設(shè)施中的床3上的患者2，但是也可以是例如躺在保育箱/取暖器中的新生兒或早產(chǎn)嬰兒的環(huán)境，或者是在家或在不同環(huán)境中的人。系統(tǒng)1還包括用于采集所述場(chǎng)景的光傳感器數(shù)據(jù)的光傳感器12。進(jìn)一步地，系統(tǒng)1包括用于基于所采集的熱傳感器數(shù)據(jù)和所采集的光傳感器數(shù)據(jù)來(lái)進(jìn)行場(chǎng)景內(nèi)的皮膚檢測(cè)的設(shè)備14。

熱傳感器10可以是用于采集長(zhǎng)波圖像(也被稱為熱分析圖)的長(zhǎng)波紅外相機(jī)，如例如被用在紅外測(cè)溫、熱成像和熱視頻中。這樣的熱傳感器10尤其檢測(cè)電磁譜的紅外范圍(大致7μm到14μm)中的輻射，并且產(chǎn)生該輻射的圖像。

光傳感器12可以是用于采集所述場(chǎng)景的圖像(在下文中也被稱為rgb圖像，其應(yīng)當(dāng)被理解為可見(jiàn)光和/或紅外光的波長(zhǎng)范圍中的圖像)的成像單元。所述成像單元尤其是相機(jī)(也被稱為檢測(cè)單元或者基于相機(jī)的或遠(yuǎn)程ppg傳感器)，其被配置為獲得所述場(chǎng)景的圖像，優(yōu)選地包括患者2的皮膚區(qū)域4。光傳感器12能夠是熱傳感器10的一部分或者是單獨(dú)的設(shè)備/單元。在用于獲得患者2的生命體征的設(shè)備的應(yīng)用中，皮膚區(qū)域4優(yōu)選地是面部的區(qū)域，諸如臉頰或前額，但是也可以是具有可見(jiàn)皮膚表面的身體的另一區(qū)域，諸如手或臂。

通過(guò)成像捕獲的圖像幀尤其可以對(duì)應(yīng)于借助于例如(數(shù)字)相機(jī)中的模擬或數(shù)字光傳感器所捕獲的視頻序列。這樣的相機(jī)通常包括光傳感器，諸如cmos或ccd傳感器，其還可以在特定譜范圍(可見(jiàn)，nir)中操作或者提供針對(duì)不同譜范圍的信息，尤其使得能夠提取ppg信號(hào)。所述相機(jī)可以提供模擬或數(shù)字信號(hào)。所述圖像幀包括具有相關(guān)聯(lián)的像素值的多個(gè)圖像像素。特別地，所述圖像幀包括表示利用光傳感器的不同的光敏元件所捕獲的光強(qiáng)度值的像素。這些光敏元件可以是在特定譜范圍中敏感的(即，表示特定的顏色)。所述圖像幀包括表示人的皮膚部分的至少一些圖像像素。由此，圖像像素可以對(duì)應(yīng)于光探測(cè)器的一個(gè)光敏元件以及其(模擬或數(shù)字)輸出，或者可以基于多個(gè)光敏元件的組合(例如，通過(guò)分箱)來(lái)確定。類似地，由所述熱相機(jī)獲得的所述熱圖像可以是隨時(shí)間捕獲的熱圖像的時(shí)間序列，優(yōu)選并行于所述成像單元的圖像采集。

熱傳感器10和光傳感器12優(yōu)選被集成到公共設(shè)備中，優(yōu)選使得其具有大致相同的光路。單光路確保了在熱圖像和可見(jiàn)光圖像中的像素被空間地對(duì)齊。在其他實(shí)施例中，熱傳感器10和光傳感器12被實(shí)施為單獨(dú)的單元，并且所獲得的數(shù)據(jù)的對(duì)齊是通過(guò)圖像處理技術(shù)來(lái)實(shí)現(xiàn)的。

設(shè)備14包括：熱傳感器輸入部15，其用于獲得所述場(chǎng)景的熱傳感器數(shù)據(jù)；光傳感器輸入部16，其用于獲得所述場(chǎng)景的光傳感器數(shù)據(jù)；以及評(píng)估單元17，其用于分析所獲得的熱傳感器數(shù)據(jù)和所獲得的光傳感器數(shù)據(jù)，并且用于基于所述分析來(lái)檢測(cè)所述場(chǎng)景內(nèi)的皮膚區(qū)域。優(yōu)選地，所述熱傳感器數(shù)據(jù)是從熱傳感器10直接獲得的，并且所述光傳感器數(shù)據(jù)是從光傳感器12直接獲得的，并且同樣地，(一個(gè)或多個(gè))皮膚區(qū)域的檢測(cè)是即時(shí)(onthefly)執(zhí)行的。然而，在其他實(shí)施例中，由相應(yīng)傳感器采集的所述熱傳感器數(shù)據(jù)和所述光傳感器數(shù)據(jù)可以被緩存以用于稍后的使用和評(píng)估，從而設(shè)備14從緩存或其他存儲(chǔ)介質(zhì)獲得。

設(shè)備14還可以包括：控制器，其用于控制系統(tǒng)1的其他元件；以及用戶接口，諸如鍵盤和/或顯示器，其用于輸入用于控制設(shè)備1的命令和/或用于輸出諸如所獲得的生命體征的所生成的信息。更進(jìn)一步地，設(shè)備14優(yōu)選地包括生命體征檢測(cè)器18，其用于基于來(lái)自由光傳感器12采集的圖像序列內(nèi)的檢測(cè)到的皮膚區(qū)域的圖像信息來(lái)檢測(cè)場(chǎng)景內(nèi)的對(duì)象的生命體征。

單元15至18可以被配置為專用硬件元件，但是也可以被配置為被相應(yīng)地編程的處理器或計(jì)算機(jī)。設(shè)備14可以被配置為包括所有其元件和單元的集成設(shè)備，例如，在公共殼體(例如，在熱傳感器10和光傳感器12的公共殼體中)中或者作為分布式設(shè)備，如在圖1中所示的，其中，所述元件和單元可以是分布式的，即，被實(shí)施為被布置在不同位置處的單獨(dú)的元件和單元。

在圖2上示出了根據(jù)本發(fā)明的系統(tǒng)1’和設(shè)備14’的另一實(shí)施例的示意圖。熱傳感器10和光傳感器12從(公共)相機(jī)11獲得數(shù)據(jù)。由第一選擇單元171在所述熱圖像上選擇具有對(duì)應(yīng)于溫度的特定范圍的值的像素。例如，該范圍能夠在30℃與42℃之間。所選擇的像素將不僅僅對(duì)應(yīng)于皮膚區(qū)域，而且還對(duì)應(yīng)于具有相同溫度的其他表面。例如，人的襯衫上的像素將大致具有與皮膚像素相同的溫度。因此，僅僅基于熱成像對(duì)皮膚像素的選擇不是足夠可靠的。

第二選擇單元172處理從光傳感器12獲得的圖像，以選擇光像素(例如，rgb像素和/或紅外像素)，其值適配對(duì)應(yīng)于皮膚像素的值的預(yù)先選擇的范圍。

在相關(guān)單元173中，對(duì)在第一和第二選擇單元171、172中選擇的熱圖像和rgb圖像中的相鄰像素或像素區(qū)域執(zhí)行空間相關(guān)，以檢測(cè)(定義)感興趣區(qū)域(roi)作為皮膚區(qū)域。僅那些相鄰的像素，其對(duì)應(yīng)于熱學(xué)和rgb傳感器兩者的標(biāo)準(zhǔn)，將被認(rèn)為是皮膚區(qū)域。根據(jù)該(這些)皮膚區(qū)域，能夠使用rppg技術(shù)通過(guò)生命體征檢測(cè)單元18來(lái)導(dǎo)出生命體征。

在本發(fā)明的另外的實(shí)施例中，rgb圖像通過(guò)ppg提取算法來(lái)處理，以選擇具有時(shí)間信號(hào)的空間框，其滿足ppg信號(hào)的期望的性質(zhì)。具體地，所述rgb圖像在塊分割單元174中被分成塊，并且通過(guò)基于塊的ppg提取單元175從所述塊提取ppg信號(hào)。第三選擇單元176選擇具有最強(qiáng)ppg信號(hào)強(qiáng)度的空間框。在該實(shí)施例中，相關(guān)單元173被配置為對(duì)熱圖像和rgb圖像中的像素以及由第三選擇單元176選擇的像素的相鄰像素或區(qū)域執(zhí)行空間相關(guān)，以檢測(cè)(定義)roi作為皮膚區(qū)域。

在本發(fā)明的另一實(shí)施例中，所組合的熱成像和rgb成像被應(yīng)用于選擇可能具有強(qiáng)ppg信號(hào)的區(qū)域。那些區(qū)域?qū)?yīng)于熱圖像的具有更高值的一些像素。然而，并非所有“高溫度”像素對(duì)應(yīng)于具有強(qiáng)的提取的ppg信號(hào)的位置。例如，被定位為靠近眼睛和嘴的熱學(xué)像素具有更高的幅度。盡管嘴唇將具有更高的血液灌注，ppg信號(hào)的脈動(dòng)性將不會(huì)高。從圍繞眼睛和嘴的皮膚區(qū)域提取的ppg信號(hào)將會(huì)噪聲很多并且不是可靠的。與此同時(shí)，從臉頰提取的ppg信號(hào)將由于皮膚區(qū)域的均勻性而是強(qiáng)的。

因此，如在圖3中示意性所示的所提出的系統(tǒng)1”和設(shè)備14”的另一實(shí)施例中，在相關(guān)單元173中，從熱圖像選擇的像素的框優(yōu)選與從rgb圖像選擇的像素進(jìn)行比較?；谄湓谏群?或強(qiáng)度中、優(yōu)選在色度和強(qiáng)度兩者中的空間均勻度，在第四選擇單元177選擇相鄰rgb像素作為候選。第四選擇單元177尤其在色度分量(針對(duì)rgb)和/或在強(qiáng)度(針對(duì)ir傳感器)方面具有像素的空間均勻值的分段。以這種方式，圍繞嘴、眼睛、頭發(fā)的像素將在分割單元178中從具有期望的強(qiáng)的ppg信號(hào)的roi中拒絕。

在本發(fā)明的又一實(shí)施例中，熱傳感器和rgb傳感器不共享相同的光路。在這種情況下，可以使用圖像處理技術(shù)數(shù)字地執(zhí)行對(duì)來(lái)自熱傳感器和rgb傳感器的圖像的對(duì)齊。該實(shí)施例允許通過(guò)將具有熱相機(jī)的擴(kuò)展單元添加到常規(guī)用于采集rgb圖像并且從中導(dǎo)出生命體征的現(xiàn)有相機(jī)設(shè)備來(lái)構(gòu)建生命體征相機(jī)系統(tǒng)。

本發(fā)明優(yōu)選被應(yīng)用在rppg的領(lǐng)域中，用于采集人的生命體征。因此，由成像單元(被用作光傳感器)獲得的圖像不僅僅被用于如上文所解釋的檢測(cè)皮膚區(qū)域，而且從檢測(cè)到(并且優(yōu)選跟蹤的，也是通過(guò)使用本發(fā)明)的皮膚區(qū)域，導(dǎo)出ppg信號(hào)，所述ppg信號(hào)被用于導(dǎo)出人的生命體征，諸如心跳、spo2等。光傳感器12至少在(一個(gè)或多個(gè))波長(zhǎng)或波長(zhǎng)范圍處敏感，其中，所述場(chǎng)景被照射(通過(guò)環(huán)境光和/或通過(guò)照射)，但是也可以針對(duì)其他波長(zhǎng)敏感，特別是，如果為獲得期望的生命體征而需要。此外，評(píng)估單元17可以被配置為從光傳感器數(shù)據(jù)選擇適當(dāng)?shù)牟ㄩL(zhǎng)，以檢測(cè)(一個(gè)或多個(gè))皮膚區(qū)域，并且如果期望的話，使用rppg技術(shù)和/或通過(guò)分析周期性運(yùn)動(dòng)從檢測(cè)到的(一個(gè)或多個(gè))皮膚區(qū)域?qū)С?一個(gè)或多個(gè))生命體征，以獲得諸如呼吸率的呼吸信息。

在本發(fā)明的另一實(shí)施例中，所提出的針對(duì)皮膚檢測(cè)的分析能夠與針對(duì)皮膚檢測(cè)的另一方法進(jìn)行組合，例如，如一般已知的，從所述皮膚區(qū)域反射的結(jié)構(gòu)化的光的色度或時(shí)間脈動(dòng)性的分析。

圖4示出了根據(jù)本發(fā)明的用于皮膚檢測(cè)的方法的實(shí)施例的流程圖。在第一步驟s10中，獲得場(chǎng)景的熱傳感器數(shù)據(jù)。在第二步驟s12中(其優(yōu)選與第一步驟s10同時(shí)地)，獲得所述場(chǎng)景的光傳感器數(shù)據(jù)。在第三步驟s14中，分析所獲得的熱傳感器數(shù)據(jù)和所獲得的光傳感器數(shù)據(jù)。最終，在第四步驟s16中，基于所述分析在所述場(chǎng)景內(nèi)檢測(cè)皮膚區(qū)域。任選地，在第五步驟s18中，基于來(lái)自圖像序列(表示光傳感器數(shù)據(jù))內(nèi)的檢測(cè)到的皮膚區(qū)域的圖像信息在所述場(chǎng)景內(nèi)檢測(cè)對(duì)象的生命體征。所述方法可以包括另外的步驟，并且可以被修改，如以上針對(duì)所述設(shè)備的各種實(shí)施例所解釋并且如在本文中所公開的。

所提出的設(shè)備和方法能夠被用于對(duì)ppg相關(guān)的生命體征(例如，心跳、spo2、呼吸)的連續(xù)、非侵?jǐn)_的監(jiān)測(cè)，并且能夠被用在nicu、手術(shù)室、或普通病房。所提出的設(shè)備和方法也能夠被用于個(gè)人健康監(jiān)測(cè)。一般而言，本發(fā)明能夠被用在需要在場(chǎng)景的圖像中檢測(cè)皮膚并且尤其需要將其與非皮膚進(jìn)行區(qū)分的所有應(yīng)用中。

盡管已經(jīng)在附圖和前面的描述中詳細(xì)例示和描述了本發(fā)明，但這樣的例示和描述應(yīng)當(dāng)被認(rèn)為是例示性或示范性的，而非限制性的。本發(fā)明不限于公開的實(shí)施例。本領(lǐng)域技術(shù)人員通過(guò)研究附圖、公開內(nèi)容以及權(quán)利要求書，在實(shí)踐請(qǐng)求保護(hù)的本發(fā)明時(shí)能夠理解并且實(shí)現(xiàn)對(duì)所公開的實(shí)施例的其他變型。

在權(quán)利要求書中，詞語(yǔ)“包括”不排除其他元件或步驟，并且詞語(yǔ)“一”或“一個(gè)”不排除多個(gè)。單個(gè)處理器或其他單元可以完成權(quán)利要求書中所記載的若干個(gè)項(xiàng)目的功能。盡管在互不相同的從屬權(quán)利要求中記載了特定措施，但是這并不指示不能有利地使用這些措施的組合。

計(jì)算機(jī)程序可以存儲(chǔ)/分布在與其它硬件一起或作為其它硬件的部分來(lái)提供的合適(非瞬態(tài))介質(zhì)中，例如光存儲(chǔ)介質(zhì)或固態(tài)介質(zhì)，但也可以用其它形式來(lái)發(fā)布，例如經(jīng)由互聯(lián)網(wǎng)或者其它有線或無(wú)線電信系統(tǒng)。

權(quán)利要求書中的任何附圖標(biāo)記都不應(yīng)被解釋為對(duì)范圍的限制。