專利名稱:個體檢測器和共入檢測設備的制作方法
技術區(qū)域本發(fā)明涉及用于分離地檢測檢測區(qū)域中的一個或多個物理對象的個體檢測器、和配備有該個體檢測器的跟進(tailgate)檢測設備。
背景技術:
前沿入口/出口管理系統(tǒng)通過利用生物測定信息而使得精確識別成為可能,但是存在一種即使基于該高技術仍然妨礙安全的簡單方法。也就是說,當經(jīng)認證許可的個體(例如雇員、居民等)通過解鎖的門進入時,在門打開的同時由所謂“跟進”允許闖入。
日本專利公開第2004-124497號中描述的現(xiàn)有技術系統(tǒng)通過計算人的三維剪影(silhouettes)的數(shù)目而檢測跟進。基于物理對象存在于與兩個或多個視點對應的體積的公共區(qū)域(可視外殼)內的理論,通過體積交集方法而在計算機上虛擬實現(xiàn)該剪影。也就是說,該方法使用兩個或多個相機,并將從每個相機的輸出獲得的二維剪影虛擬投影在實空間上,并然后形成與整個物理對象周圍的形狀對應的三維剪影。
然而,在以上系統(tǒng)中,由于體積交集方法而需要使用兩個或多個相機。該系統(tǒng)也用兩個相機之一捕獲人臉,并由于體積交集方法需要將檢測區(qū)域(一個或多個物理對象)放置在每一相機的視野范圍內,所以當人臉或正面在該視野范圍內時,系統(tǒng)不能形成三維剪影??紤]到此,在檢測區(qū)域中跟隨一個或多個物理對象的移動軌跡變得很難。盡管可通過再添加一個相機來解決該問題,但是這導致系統(tǒng)的成本和安裝區(qū)域的增大。具體來說,隨著門的數(shù)目的增加,相機的數(shù)目也顯著增加。
此外,當三維剪影由重疊物理對象組成時,體積交集方法存在另一個問題,因為其不具備用于分離重疊物理對象的技術。通過利用與一個物理對象對應的參考尺寸,現(xiàn)有技術系統(tǒng)可以檢測到兩個或多個物理對象重疊的狀態(tài),但是系統(tǒng)不能分辨別人和行李重疊的狀態(tài)與兩個或多個人重疊的狀態(tài)。前者無需給出報警,而后者需要給出報警。另外,現(xiàn)有技術系統(tǒng)通過計算先前記錄的背景圖像和當前圖像之間的差別,而去除噪聲,但是即使可能去除例如墻、植物等一個或多個靜態(tài)物理對象(下面稱為“靜態(tài)噪聲”),系統(tǒng)仍然不能去除例如行李、手推車等一個或多個動態(tài)物理對象(下面稱為“動態(tài)噪聲”)。
發(fā)明內容
因此,本發(fā)明的第一目的在于分離地檢測檢測區(qū)域中的一個或多個物理對象,而無需增加用于檢測一個或多個物理對象的組成元件的數(shù)目。
本發(fā)明的第二目的在于辨別人和動態(tài)噪聲重疊的狀態(tài)與兩個或多個人重疊的狀態(tài)。
本發(fā)明的個體檢測器包括景深(range)圖像傳感器和對象檢測級(stage)。景深圖像傳感器被安排為面對檢測區(qū)域,并生成景深圖像。當該區(qū)域中存在一個或多個物理對象時,該景深圖像的每一圖像元素分別包括到所述一個或多個物理對象的每一距離值。基于該傳感器生成的景深圖像,該對象檢測級分離地檢測該區(qū)域中的所述一個或多個物理對象。
在該結構中,由于基于該傳感器生成的景深圖像而分離地檢測該檢測區(qū)域中的一個或多個物理對象,所以可分離地檢測該區(qū)域中的一個或多個物理對象,而無需增加用于檢測一個或多個物理對象的組成元件(傳感器)的數(shù)目。
在本發(fā)明的替換實施例中,該景深圖像傳感器被安排為向下面對下面的所述檢測區(qū)域。所述對象檢測級基于從所述景深圖像中獲得的要檢測的一個或多個物理對象的特定或每一高度(altitude)的一部分的數(shù)據(jù),而分離地檢測在所述區(qū)域中要檢測的一個或多個物理對象。
在該結構中,例如,可能在不出現(xiàn)動態(tài)噪聲的高度檢測物理對象的一部分,或者檢測要檢測的每一物理對象的規(guī)定部分。結果,可辨別人和動態(tài)噪聲重疊的狀態(tài)以及兩個或多個人重疊的狀態(tài)。
在本發(fā)明的另一替換實施例中,所述對象檢測級基于作為從所述傳感器先前獲得的景深圖像的背景景深圖像和從所述傳感器獲得的當前景深圖像之間的差值,而生成前景景深圖像,并基于該前景景深圖像而分離地檢測作為在所述區(qū)域中要檢測的所述一個或多個物理對象的一個或多個人。根據(jù)本發(fā)明,由于前景景深圖像不包括靜態(tài)噪聲,所以可去除靜態(tài)噪聲。
在本發(fā)明的另一替換實施例中,所述對象檢測級通過從所述當前景深圖像的每一圖像元素中提取特定圖像元素,而生成所述前景景深圖像。該特定圖像元素是當距離差大于規(guī)定距離閾值時提取的,而該距離差是通過從所述背景景深圖像的對應圖像元素中減去所述當前景深圖像的圖像元素而獲得的。
在該結構中,由于可能從與背景景深圖像對應的位置去除位于前方位置后面的與規(guī)定距離閾值對應的距離處的一個或多個物理對象,所以當規(guī)定的距離閾值被設置為適當值時,去除了動態(tài)噪聲(例如行李、手推車等)。結果,可辨別人和動態(tài)噪聲重疊的狀態(tài)以及兩個或多個人重疊的狀態(tài)。
在本發(fā)明的另一替換實施例中,所述景深圖像傳感器具有相機結構,其被構造為具有光學系統(tǒng)、和被安排為經(jīng)由該光學系統(tǒng)而面對該檢測區(qū)域的二維感光陣列。基于相對于所述景深圖像傳感器先前記錄的相機校準數(shù)據(jù),所述對象檢測級將取決于所述相機結構的所述前景景深圖像的相機坐標系變換為直角坐標系,并由此生成代表所述物理對象的存在/不存在的每一位置的直角坐標變換圖像。
在本發(fā)明的另一替換實施例中,所述對象檢測級將所述直角坐標變換圖像的直角坐標系變換為在實空間中虛擬設置的世界坐標系,并由此生成世界坐標變換圖像,其將所述物理對象的存在/不存在的每一位置描繪(represents)為實際位置和實際維數(shù)。
在該結構中,基于例如俯角、傳感器的位置等數(shù)據(jù),例如通過旋轉、平移等,而將直角坐標變換圖像的直角坐標系變換為世界坐標系,從而可能將世界坐標變換圖像中的一個或多個物理對象的數(shù)據(jù)處理為實際位置和實際維數(shù)(距離、尺寸)。
在本發(fā)明的另一替換實施例中,所述對象檢測級通過平行投影而將所述世界坐標換變圖像投影在規(guī)定平面上,以在所述世界坐標變換圖像中生成包括從所述規(guī)定平面看到的每一圖像元素的平行投影圖像。
在該結構中,可能通過生成平行投影圖像而降低世界坐標變換圖像的數(shù)據(jù)量。另外,例如,當該平面為天花板一方的水平面時,可從該平行投影圖像中分離地提取要檢測的一個或多個人的數(shù)據(jù)。當該平面為垂直面時,可從該平行投影圖像中獲得每一人的側臉的二維剪影,并所以如果使用與該剪影對應的圖案,則可基于該平行投影圖像而檢測一個或多個人。
在本發(fā)明的另一替換實施例中,所述對象檢測級從所述世界坐標變換圖像中提取與一個或多個物理對象的一部分對應的采樣數(shù)據(jù),并識別該數(shù)據(jù)是否對應于基于人的分區(qū)(region)先前記錄的參考數(shù)據(jù),從而分別辨別與該采樣數(shù)據(jù)對應的一個或多個物理對象是否是一個或多個人。
在該結構中,由于參考數(shù)據(jù)基本上起到從中去除了靜態(tài)噪聲和動態(tài)噪聲(例如行李、手推車等)的世界坐標變換圖像中的具有人的特征的數(shù)據(jù)的作用,所以可能在檢測區(qū)域中分離地檢測一個或多個人。
在本發(fā)明的另一替換實施例中,所述對象檢測級從所述平行投影圖像中提取與所述一個或多個物理對象的一部分對應的采樣數(shù)據(jù),并識別該數(shù)據(jù)是否對應于基于人的分區(qū)先前記錄的參考數(shù)據(jù),從而分別辨別與該采樣數(shù)據(jù)對應的一個或多個物理對象是否是一個或多個人。
在該結構中,由于人的分區(qū)(輪廓)的參考數(shù)據(jù)基本上起到從中去除了靜態(tài)噪聲和動態(tài)噪聲(例如行李、手推車等)的平行投影圖像中的具有人的特征的數(shù)據(jù)的作用,所以可能在檢測區(qū)域中分離地檢測一個或多個人。
在本發(fā)明的另一替換實施例中,所述采樣數(shù)據(jù)包括在所述世界坐標變換圖像中虛擬描繪的一個或多個物理對象的一部分的體積或寬度、深度和高度的比率。所述參考數(shù)據(jù)是基于一個或多個人的分區(qū)而先前記錄的,該參考數(shù)據(jù)是關于所述分區(qū)的體積或寬度、深度和高度的比率的值或取值范圍。根據(jù)本發(fā)明,可能檢測該檢測區(qū)域中的人數(shù)。
在本發(fā)明的另一替換實施例中,所述采樣數(shù)據(jù)包括在所述平行投影圖像中虛擬描繪的一個或多個物理對象的一部分的面積或寬度和深度的比率。所述參考數(shù)據(jù)是基于一個或多個人的分區(qū)而先前記錄的,該參考數(shù)據(jù)是關于所述分區(qū)的面積或寬度和深度的比率的值或取值范圍。根據(jù)本發(fā)明,可能檢測該檢測區(qū)域中的人數(shù)。
在本發(fā)明的另一替換實施例中,所述采樣數(shù)據(jù)包括在所述世界坐標變換圖像中虛擬描繪的一個或多個物理對象的一部分的三維圖案。所述參考數(shù)據(jù)是基于一個或多個人的分區(qū)而先前記錄的至少一個三維圖案。
在該結構中,例如,通過對于參考數(shù)據(jù)選擇和設置從人肩到頭的三維圖案,可能檢測該檢測區(qū)域中的人數(shù),并消除人手的移動造成的影響。此外,通過對于參考數(shù)據(jù)選擇和設置人頭的三維圖案,可能分離地檢測一個或多個人,而不管每個人的體形如何。
在本發(fā)明的另一替換實施例中,所述采樣數(shù)據(jù)包括在所述平行投影圖像中虛擬描繪的一個或多個物理對象的一部分的二維圖案。所述參考數(shù)據(jù)是基于一個或多個人的分區(qū)而先前記錄的至少一個二維圖案。
在該結構中,例如,通過對于參考數(shù)據(jù)選擇和設置人肩和頭之間的二維輪廓圖案,可能檢測該檢測區(qū)域中的人數(shù),并消除人手的移動造成的影響。此外,通過對于參考數(shù)據(jù)選擇和設置人頭的二維輪廓圖案,可能分離地檢測一個或多個人,而不管每個人的體形如何。
在本發(fā)明的另一替換實施例中,所述景深圖像傳感器還包括光源,其朝向所述檢測區(qū)域發(fā)射經(jīng)強度調制的光,該傳感器除了生成所述景深圖像之外,還基于每個圖像元素的所接收的光的強度而生成強度圖像。所述對象檢測級基于所述直角坐標變換圖像而提取與所述一個或多個物理對象的一部分對應的采樣數(shù)據(jù),并基于所述強度圖像而辨別是否存在比對應于所述采樣數(shù)據(jù)的一個或多個物理對象的一部分的規(guī)定強度低的一個或多個部分。在該結構中,可能檢測低于規(guī)定強度的一個或多個物理對象的一部分。
在本發(fā)明的另一替換實施例中,所述景深圖像傳感器還包括光源,其朝向所述檢測區(qū)域發(fā)射經(jīng)強度調制的紅外光,該傳感器除了生成所述景深圖像之外,還基于來自所述區(qū)域的所述紅外光而生成所述紅外光的強度圖像。所述對象檢測級基于所述世界坐標變換圖像而提取與所述一個或多個物理對象的一部分對應的采樣數(shù)據(jù),并基于所述強度圖像而識別來自與所述采樣數(shù)據(jù)對應的每一物理對象的一部分的所述紅外光的平均強度是否低于規(guī)定強度,從而分別辨別與所述采樣數(shù)據(jù)對應的每一物理對象的一部分是否是人頭。在該結構中,由于人頭上的頭發(fā)對紅外光的反射系數(shù)通常比人肩對紅外光的反射系數(shù)低,所以可檢測人頭。
在本發(fā)明的另一替換實施例中,所述對象檢測級基于辨別為人的物理對象的數(shù)目,而將所述平行投影圖像中辨別為人的每一物理對象的一部分的位置分配為群集(cluster)的分量,并然后基于通過群集的K平均值算法獲得的所劃分的域(domains)而驗證所述物理對象的數(shù)目。在該結構中,可能驗證被辨別為人的物理對象的數(shù)目,并此外可估計人的位置。
在本發(fā)明的另一替換實施例中,所述對象檢測級通過從所述景深圖像的每一圖像元素中提取特定圖像元素,而生成前景景深圖像,并基于該前景景深圖像而分離地檢測作為在所述區(qū)域中要檢測的一個或多個物理對象的一個或多個人。當所述景深圖像的圖像元素的距離值小于規(guī)定距離閾值時,提取所述特定圖像元素。
在該結構中,由于可能檢測景深圖像傳感器的位置和遠離傳感器的前方位置(與規(guī)定距離閾值對應的距離)之間的物理對象,所以當規(guī)定距離閾值被設置為適當值時,可辨別人與動態(tài)噪聲(例如行李、手推車等)重疊的狀態(tài)以及兩個或多個人重疊的狀態(tài)。
在本發(fā)明的另一替換實施例中,所述對象檢測級識別具有所述景深圖像的距離值分布的最小值的圖像元素周圍的景深圖像是否對應于基于人的分區(qū)而先前記錄的特定形狀和特定形狀的尺寸,并然后分別辨別與具有所述最小值的圖像元素周圍的景深圖像對應的一個或多個物理對象是否是一個或多個人。
在該結構中,可能辨別人與動態(tài)噪聲(例如行李、手推車等)重疊的狀態(tài)以及兩個或多個人重疊的狀態(tài)。
在本發(fā)明的另一替換實施例中,所述對象檢測級根據(jù)所述景深圖像的每一距離值而生成分布圖像,并基于該分布圖像而分離地檢測所述檢測區(qū)域中的一個或多個物理對象。當在所述檢測區(qū)域中存在一個或多個物理對象時,所述分布圖像包括一個或多個分布域。所述分布域由所述景深圖像中的具有比規(guī)定距離閾值低的距離值的每一圖像元素構成。所述規(guī)定距離閾值是通過將規(guī)定距離值添加到所述景深圖像的每一距離值的最小值而獲得的。
在該結構中,由于可能檢測要在檢測區(qū)域中檢測的一個或多個人頭,所以可辨別人與動態(tài)噪聲(例如行李、手推車等)重疊的狀態(tài)以及兩個或多個人重疊的狀態(tài)。
本發(fā)明的跟進檢測設備包括所述個體檢測器和跟進檢測級。所述景深圖像傳感器連續(xù)生成所述景深圖像。根據(jù)跟進警告,所述跟進檢測級分離地跟隨用所述對象檢測級檢測的一個或多個人的移動軌跡。并且當兩個或多個人沿著規(guī)定方向向/從所述檢測區(qū)域移動時,所述跟進檢測級檢測跟進發(fā)生以發(fā)送報警信號。
在該結構中,由于當兩個或多個人沿著規(guī)定方向向/從所述檢測區(qū)域移動時發(fā)送報警信號,所以可防止跟進。另外,即使檢測到多個人,但是當兩個或多個人沒有沿著規(guī)定方向向/從所述檢測區(qū)域移動時,也不發(fā)送報警信號,并所以可防止錯誤報警。
本發(fā)明的另一跟進檢測設備包括所述個體檢測器和跟進檢測級。所述景深圖像傳感器連續(xù)生成所述景深圖像。所述跟進檢測級監(jiān)視用所述對象檢測級檢測的一個或多個人的進入和離開、以及進入和離開的每一方向。并且當兩個或多個人在跟進警衛(wèi)設置的規(guī)定時間內沿著規(guī)定方向向/從所述檢測區(qū)域移動時,所述跟進檢測級檢測跟進發(fā)生以發(fā)送報警信號。
在該結構中,由于當兩個或多個人沿著規(guī)定方向向/從所述檢測區(qū)域移動時發(fā)送報警信號,所以可防止跟進。另外,即使檢測到多個人,但是當兩個或多個人沒有沿著規(guī)定方向向/從所述檢測區(qū)域移動時,也不發(fā)送報警信號,并所以可防止錯誤報警。
現(xiàn)在將更詳細地描述本發(fā)明的優(yōu)選實施例。根據(jù)以下詳細描述和附圖,本發(fā)明的其他特征和優(yōu)點將變得更好理解,其中圖1示出了根據(jù)本發(fā)明的裝備有跟進檢測設備的第一實施例的管理系統(tǒng);圖2示出了圖1的管理系統(tǒng)所要管理的房門的附近;圖3是從跟進檢測設備的景深圖像傳感器獲得的景深圖像或前景景深圖像的每一圖像元素的三維圖;圖4A示出了檢測區(qū)域中的狀態(tài)的示例;圖4B示出了圖4A的景深圖像;圖4C示出了由圖4B的景深圖像生成的前景景深圖像;圖5示出了從該前景景深圖像生成的直角坐標變換圖像和平行投影圖像;圖6示出了從平行投影圖像中提取的每一分區(qū);圖7A示出了圖6中所提取的分區(qū)的示例;圖7B示出了圖6中所提取的分區(qū)的示例;圖8A示出了圖6中所提取的分區(qū)的示例;圖8B示出了先前記錄的圖案的示例;圖8C示出了先前記錄的圖案的另一示例;圖9示出了從三維直角坐標變換圖像或三維世界坐標變換圖像獲得的每一水平截面(horizontal section)圖像;圖10A示出了基于頭的橫截面和頭上的頭發(fā)而檢測的頭的位置;
圖10B示出了基于頭的橫截面和頭上的頭發(fā)而檢測的頭的位置;圖11是形成對象檢測級和跟進檢測級的CPU所執(zhí)行的流程圖;圖12是CPU執(zhí)行的流程圖;圖13示出了根據(jù)本發(fā)明的跟進檢測設備的第二實施例中的對象檢測級所執(zhí)行的群集(clustering)處理;圖14是根據(jù)本發(fā)明的跟進檢測設備的第三實施例中的對象檢測級的操作的示例圖;圖15是根據(jù)本發(fā)明的跟進檢測設備的第四實施例中的對象檢測級的操作的示例圖;圖16是根據(jù)本發(fā)明的跟進檢測設備的第五實施例中的跟進檢測級的操作的示例圖;圖17是根據(jù)本發(fā)明的跟進檢測設備的第六實施例中的景深圖像傳感器的結構圖;圖18是圖17的景深圖像傳感器的操作的示例圖;圖19A示出了與圖17的景深圖像傳感器的一個感光部件對應的域;圖19B示出了與圖17的景深圖像傳感器的一個感光部件對應的域;圖20是圖17的景深圖像傳感器中的電荷拾取單元的示例圖;圖21是根據(jù)本發(fā)明的跟進檢測設備的第七實施例中的景深圖像傳感器的操作的示例圖;圖22A是圖21的景深圖像傳感器的操作的示例圖;圖22B是圖21的景深圖像傳感器的操作的示例圖;圖23A示出了圖21的景深圖像傳感器的替換實施例;和圖23B示出了圖21的景深圖像傳感器的替換實施例。
具體實施例方式
圖1示出了根據(jù)本發(fā)明的第一實施例的裝備有跟進檢測設備的管理系統(tǒng)。
圖1和2所示的管理系統(tǒng)包括至少一個跟進檢測設備1、安全設備2和至少在要管理的房間的每個門20處的輸入設備3,并且還包括控制設備4,用于與每個跟進檢測設備1、每個安全設備2和每個輸入設備3通信。然而,不限于入口管理系統(tǒng),本發(fā)明的管理系統(tǒng)可以是入口/出口管理系統(tǒng)。
安全設備2是具有自動鎖功能的的電子鎖,并根據(jù)來自控制設備4的解鎖控制信號而對門20進行解鎖。在鎖上門20后,電子鎖將關閉通知信號發(fā)送到控制設備4。
在替換示例中,安全設備2是自動門系統(tǒng)中的打開/關閉控制設備。該打開/關閉控制設備根據(jù)來自控制設備4的打開或關閉控制信號而分別打開或關閉門20。在關閉門20之后,該設備將關閉通知信號發(fā)送到控制設備4。
輸入設備3是位于門20外面的相鄰墻上的卡讀取器,并讀出ID卡的ID信息而將其發(fā)送到控制設備4。在該管理系統(tǒng)是入口/出口管理系統(tǒng)的情況下,另一輸入設備3(例如卡讀取器)也位于門20里面的要管理的房間的墻壁上。
該控制設備4被構造有CPU以及存儲各自先前注冊的ID信息、程序等的存儲設備,并執(zhí)行該系統(tǒng)的整體控制。
例如,當來自輸入設備3的ID信息符合先前存儲在存儲設備中的ID信息時,該設備4將解鎖控制信息發(fā)送到對應的安全設備2,并還將進入許可信息發(fā)送到對應的跟進檢測設備1。此外,當從安全設備2接收到關閉通知信號時,該設備4將進入禁止信號發(fā)送到對應的跟進檢測設備1。
在安全設備2是打開/關閉控制設備的替換示例中,當來自輸入設備3的ID信息符合先前存儲在存儲設備中的ID信息時,該設備4將打開控制信號發(fā)送到對應的打開/關閉控制設備,并在規(guī)定時間之后將關閉控制信號發(fā)送到對應的打開/關閉控制設備。此外,當從打開/關閉控制設備接收到關閉通知信號時,該設備4將進入禁止信號發(fā)送到對應的跟進檢測設備1。
另外,當從跟進檢測設備1接收到報警信號時,設備4執(zhí)行規(guī)定的處理,例如通知管理員、延長相機(未示出)的操作時間等。在接收到該報警信號之后,如果執(zhí)行了規(guī)定的放行(release)過程或經(jīng)過了規(guī)定的時間,則設備4將放行信號發(fā)送到對應的跟進檢測設備1。
跟進檢測設備1包括個體檢測器,其構造有景深圖像傳感器10、對象檢測級16、跟進檢測級17和報警級18。對象檢測級16和跟進檢測級17包括CPU、和存儲有程序的存儲設備等。
景深圖像傳感器10被安排為向下面對下面的檢測區(qū)域A1,并連續(xù)生成景深圖像。當區(qū)域A1中存在一個或多個物理對象時,景深圖像中的每一圖像元素分別包括到一個或多個物理對象的每一距離值,如圖3所示。例如,當人B1和手推車C1存在于檢測區(qū)域中時,獲得圖4B所示的景深圖像D1。
在第一實施例中,傳感器10包括光源(未示出),其朝向區(qū)域A1發(fā)射經(jīng)強度調制的紅外光,并具有相機結構(未示出),其構造有光學系統(tǒng)和經(jīng)由該光學系統(tǒng)而被安排為面對區(qū)域A1的二維感光陣列,其中該光學系統(tǒng)具有鏡頭、紅外光透射濾光片等。此外,基于來自區(qū)域A1的紅外光,具有相機結構的傳感器10生成除了景深圖像之外的紅外光的強度圖像。
對象檢測級16基于從利用傳感器10生成的景深圖像獲得的、要檢測的一個或多個人的特定或每一高度中的部分(分區(qū)),而分別檢測作為區(qū)域A1中要檢測的一個或多個物理對象的一個或多個人。因此,如下所示,對象檢測級16執(zhí)行每一處理。
在第一處理中,如圖4C所示,對象檢測級16基于作為從傳感器10先前獲得的景深圖像的背景景深圖像D0和從傳感器10獲得的當前景深圖像D1之間的差值,而生成前景景深圖像D2。在門20關閉的情況下,捕獲背景景深圖像D0。除此之外,背景景深圖像可包括時間和空間方向上的平均距離值,從而抑制距離值的離差。
作為對第一處理的進一步擴展,通過從當前景深圖像的每一圖像元素中提取特定圖像元素,而生成前景景深圖像。當從背景景深圖像的對應圖像元素中減去當前景深圖像的圖像元素所獲得的距離差大于規(guī)定的距離閾值時,提取該特定圖像元素。在該情況下,因為前景景深圖像不包括靜態(tài)噪聲,所以去除了靜態(tài)噪聲。另外,因為可能從與背景景深圖像對應的位置去除以下這樣的一個或多個物理對象,該物理對象位于前方位置后面的與規(guī)定距離閾值對應的距離處,所以當規(guī)定的距離閾值被設置為適當值時,如圖4C所示去除了作為動態(tài)噪聲的手推車C1。此外,即使門20打開,也去除了門20后面的物理對象。所以,可辨別人與動態(tài)噪聲(例如手推車C1、門20后的物理對象等)重疊的狀態(tài)以及兩個或多個人重疊的狀態(tài)。
在第二處理中,如圖5所示,對象檢測級16將取決于相機結構的前景景深圖像D2的相機坐標系變換為基于相對于傳感器10先前記錄的相機校準數(shù)據(jù)(例如照片元素間距(pitch)、鏡頭信息等)的三維直角坐標系(x,y,z)。由此,該級16生成代表物理對象的存在/不存在的每一位置的直角坐標變換圖像E1。也就是說,直角坐標變換圖像E1的每一圖像元素(xi,xj,xk)由“真”或“假”代表,其中“真”示出了物理對象的存在,而“假”示出了物理對象的不存在。
在第二處理的替換示例中,在前景景深圖像的圖像元素對應于“真”的情況下,如果圖像元素的值小于可變高度的閾值,則使得與該圖像元素對應的直角坐標變換圖像的圖像元素為“假”。因此,可能自適應地去除低于可變高度的閾值的高度的動態(tài)噪聲。
在第三處理中,對象檢測級16基于先前記錄的相機校準數(shù)據(jù)(例如照片元素間距的實際距離、俯角、傳感器10的位置等),通過旋轉、平移等,而將直角坐標變換圖像的直角坐標系變換為在實空間中虛擬設置的三維世界坐標系。由此,該級16生成世界坐標變換圖像,其將物理對象的存在/不存在的每一位置描繪為實際位置和實際維數(shù)。在該情況下,可能將世界坐標變換圖像中的一個或多個物理對象的數(shù)據(jù)處理為實際位置和實際維數(shù)(距離、尺寸)。
在第四處理中,對象檢測級16通過平行投影將該世界坐標變換圖像投影在例如水平面、垂直面等的規(guī)定平面上。由此,該級16生成平行投影圖像,其包括該世界坐標變換圖像中的從規(guī)定平面看到的每一圖像元素。在第一實施例中,如圖5所示,平行投影圖像F1包括從天花板一方的水平面看到的每一圖像元素,并且示出了要檢測的物理對象的每一圖像元素存在于最大高度的位置處。
在第五處理中,如圖6所示,對象檢測級16從平行投影圖像F1中提取與對象檢測區(qū)域A2中的一個或多個物理對象的部分(團塊(Blob))對應的采樣數(shù)據(jù),并然后執(zhí)行標記任務。然后,該級16指定采樣數(shù)據(jù)(一個或多個物理對象的一部分)的一個或多個位置(例如一個或多個重心位置)。在該采樣數(shù)據(jù)重疊在該區(qū)域A2的邊界上的情況下,該級可進行處理,使得該數(shù)據(jù)屬于該區(qū)域A2內部和外部的各區(qū)域中的大區(qū)域。在圖6的例子中,與區(qū)域A2外部的人B2對應的采樣數(shù)據(jù)被排除在外。在該情況下,由于僅可提取對象提取區(qū)域A2內的一個或多個物理對象的一部分,所以可能去除由例如玻璃門內的反射等引起的動態(tài)噪聲,并且適于要管理的房間的個體檢測也是可能的。
然后并行執(zhí)行第六處理和第七處理。在第六和第七處理中,對象檢測級16基于一個或多個人的分區(qū)而識別第五處理中所提取的采樣數(shù)據(jù)是否對應于先前記錄的參考數(shù)據(jù),從而分別辨別與采樣數(shù)據(jù)對應的每一物理對象是否是人。
在第六處理中,如圖7A和7B所示,采樣數(shù)據(jù)包括平行投影圖像中虛擬描繪的一個或多個物理對象的一部分的面積S、或者寬度和深度的比率。該比率是包括一個或多個物理對象的一部分的外接方形的寬度W和深度D的比率(W∶D)。該參考數(shù)據(jù)是基于一個或多個人的分區(qū)而先前記錄的,并且是關于該分區(qū)的面積或寬深比的值或取值范圍。因此,可能檢測該檢測區(qū)域A1中的對象提取區(qū)域A2中的人的數(shù)目。
在第七處理中,如圖8A所示,采樣數(shù)據(jù)包括平行投影圖像中虛擬描繪的一個或多個物理對象的一部分的二維圖案。參考數(shù)據(jù)是基于一個或多個人的分區(qū)而先前記錄的至少一個二維圖案,如圖8B和8C所示。在第一實施例中,利用圖8B和8C所示的圖案,并且如果通過圖案匹配獲得的相關值大于規(guī)定值,則添加與這些圖案對應的人的數(shù)目。因此,例如,通過為該參考數(shù)據(jù)選擇和設置人的肩膀和頭之間的每一圖案,可能檢測該檢測區(qū)域中的人的數(shù)目,并可消除人手的移動的影響。此外,通過為該參考數(shù)據(jù)選擇和設置人頭的二維輪廓圖案,可分離地檢測一個或多個人,而不管每個人的體形如何。
在第一實施例中,當?shù)诹幚碇杏嬎愕娜说臄?shù)目與第七處理中的相同時,以下處理返回到第一處理。另一方面,當兩者不同時,進一步執(zhí)行第八到第十一處理。
在第八處理中,對象檢測級16通過從三維直角坐標變換圖像或三維世界坐標變換圖像的每一圖像元素中提取規(guī)定平面上的每一圖像元素,而生成橫截面圖像。如圖9所示,從第一處理中的距離閾值的高度上面的每一高度(例如10cm)處,提取水平面上的每一圖像元素,并由此生成水平橫截面圖像G1-G5。并且只要生成了水平橫截面圖像,該對象檢測級16就從該水平橫截面圖像中提取與一個或多個物理對象的一部分對應的采樣數(shù)據(jù),并進行存儲。
在第九處理中,對象檢測級16識別第八處理中所提取的采樣數(shù)據(jù)是否對應于基于一個或多個人的分區(qū)而先前記錄的參考數(shù)據(jù),從而分別辨別與該采樣數(shù)據(jù)對應的每一物理對象是否是人。采樣數(shù)據(jù)是在水平橫截面圖像中虛擬描繪的一個或多個物理對象的一部分的橫截面。參考數(shù)據(jù)是關于一個或多個人的頭的橫截面的值或取值范圍。只要生成了水平橫截面圖像,對象檢測級16就識別采樣數(shù)據(jù)是否變得小于參考數(shù)據(jù)。當采樣數(shù)據(jù)變得小于參考數(shù)據(jù)(G4和G5)時,該級把最大高度的采樣數(shù)據(jù)當作與人頭對應的數(shù)據(jù)。
在第十處理中,只要在水平橫截面圖像的高度達到規(guī)定高度之后生成了水平橫截面圖像,對象檢測級16就識別與采樣數(shù)據(jù)對應的來自每一物理對象的一部分的紅外光的平均強度是否低于規(guī)定強度,并然后分別辨別與采樣數(shù)據(jù)對應的每一物理對象的一部分是否是人頭。當與采樣數(shù)據(jù)對應的一個或多個物理對象的一部分是一個或多個人頭時,將該采樣數(shù)據(jù)當作與一個或多個人頭對應的數(shù)據(jù)。由于人頭上的頭發(fā)對于紅外光的反射系數(shù)通常低于人肩的反射系數(shù),所以當規(guī)定強度被設置為適當值時,可檢測到人頭。
在第十一處理中,如圖10A所示,如果在第九處理中辨別的最大高度處的人B3的頭的位置B31與在第十處理中辨別的人B3的頭的位置B32彼此相同,則該對象檢測級16判斷該人B3筆直站立并且在頭上有頭發(fā)。相反,如圖10A和10B所示,如果僅通過第九處理辨別最大高度處的人B4的頭的位置B41,則該對象檢測級16判斷該人B4筆直站立并且在頭上沒有頭發(fā)或者戴了帽子。如圖10B所示,如果僅通過第十處理辨別人B5的頭的位置B52,則該級判斷該人B5傾斜站立并且在頭上有頭發(fā)。該對象檢測級16然后合計人的數(shù)目。
在從控制設備4接收到進入許可信號之后,圖1的跟進檢測級17基于通過對象檢測級16檢測的人的數(shù)目,而檢測是否發(fā)生了跟進。在第一實施例中,如果通過對象檢測級16檢測的人的數(shù)目為兩個或更多,則跟進檢測級17檢測到跟進發(fā)生,并將報警信號發(fā)送到該設備4和報警級18,直到從該設備4接收到放行信號為止。另外,如果跟進檢測級17沒有將報警信號發(fā)送到該設備4和報警級18,則該級在從控制設備4接收到進入禁止信號之后轉移到待令模式。報警級18在從跟進檢測級17接收到報警信號的同時給出報警。
現(xiàn)在解釋第一實施例的操作。在待令模式中,當輸入設備3讀取IC卡的ID信息時,設備3將ID信息發(fā)送到控制設備4。該設備4然后證明該ID信息是否與先前記錄的ID信息相符。當兩者彼此相符時,設備4將進入許可信號和解鎖控制信號分別發(fā)送到對應的跟進檢測設備1和對應的安全設備2。因此,攜帶該ID卡的人可打開門20,以進入要管理的房間。
現(xiàn)在參考圖11和12來解釋跟進檢測設備1從控制設備4接收到進入許可信號之后的操作。在跟進檢測設備1中,利用景深圖像傳感器10生成景深圖像和紅外光的強度圖像(見圖11的S10)。
對象檢測級16然后基于該景深圖像、背景景深圖像和距離閾值而生成前景景深圖像(S11),從前景景深圖像中生成直角坐標變換圖像(S12),從直角坐標變換圖像中生成世界坐標變換圖像(S13),并從世界坐標變換圖像中生成平行投影圖像(S14)。該級16然后從該平行投影圖像中提取每一物理對象的一部分(輪廓)的數(shù)據(jù)(采樣數(shù)據(jù))(S15)。
在步驟S16,對象檢測級16基于參考數(shù)據(jù)(關于人的參考分區(qū)的面積和比率的值或取值范圍)而辨別與該采樣數(shù)據(jù)(輪廓的面積和比率)對應的物理對象是否是人。如果將任何物理對象辨別為人(S16的“是”),則該級16在步驟S17中計算在對象提取區(qū)域A2內的人的數(shù)目(N1)。而且,如果沒有物理對象被辨別為人(S16的“否”),則該級在步驟S18計數(shù)零作為N1。
在步驟S19,對象檢測級16還基于參考數(shù)據(jù)(人的參考分區(qū)的圖案)而辨別與該采樣數(shù)據(jù)(輪廓的圖案)對應的物理對象是否是人。如果將任何物理對象辨別為人(S19的“是”),則該級16在步驟S20中計算在對象提取區(qū)域A2內的人的數(shù)目(N2)。而且,如果沒有物理對象被辨別為人(S19的“否”),則該級在步驟S21計數(shù)零作為N2。
然后,跟進檢測級17辨別N1和N2是否彼此一致(S22)。如果N1和N2彼此一致(S22的“是”),則該級17在步驟S23中基于N1或N2而檢測是否發(fā)生跟進。另外,相反的話(S22的“否”),則對象檢測級16進行到圖12的步驟S30。
當檢測到發(fā)生跟進時(S23的“是”)時,跟進檢測級17將報警信號發(fā)送到控制設備4和報警級18,直到從設備4接收到放行信號為止(S24-S25)。因此,報警級18給出報警。在跟進檢測級17從設備4接收到放行信號之后,跟進檢測設備1返回到待令模式。
在檢測到?jīng)]有發(fā)生跟進時(S23的“否”)時,如果跟進檢測級17從控制設備4接收到進入禁止信號(S26的“是”),則跟進檢測設備1返回到待令模式。另外,相反的話(S26的“否”),返回到步驟S10。
在圖12的步驟30,對象檢測級16從第一處理中與距離閾值對應的高度中生成水平橫截面圖像。然后在步驟S31,該級16從水平橫截面圖像中提取每一物理對象的一部分(橫截面的輪廓)的數(shù)據(jù)(采樣數(shù)據(jù))。在步驟S32,基于參考數(shù)據(jù)(關于人頭的橫截面的值或取值范圍),該級辨別與該采樣數(shù)據(jù)(輪廓的面積)對應的物理對象的一部分是否是人頭,并由此檢測人頭的位置(M1)。然后,如果生成了所有水平橫截面圖像(S33的“是”),則該級16進行到步驟S35,否則(S33的“否”),則返回到步驟S30。
另外,在步驟S34,對象檢測級16基于強度圖像和規(guī)定的強度而檢測每一人頭的位置(M2),并然后進行到步驟S35。
在步驟S35,對象檢測級16比較M1和M2。如果它們相同(S36的“是”),則在步驟S37,該級檢測到人筆直站立并且在頭部具有頭發(fā)。否則(S36的“否”),如果僅檢測M1(S38的“是”),則在步驟S39,該級16檢測到人筆直站立并且在頭部沒有頭發(fā)。否則(S38的“否”),如果僅檢測M2(S40的“是”),則在步驟S41,該級16檢測到人歪著頭并且在頭部具有頭發(fā)。否則(S40的“否”),則該級在步驟S42沒有檢測到人。
該對象檢測級16然后在步驟S43合計人的數(shù)目,并返回到圖11的步驟S23。
在替換實施例中,跟進檢測設備1位于門20的外面。在該情況下,當輸入設備3讀取ID卡的ID信息從而將其發(fā)送到待令模式中的控制設備4時,控制設備4激活該跟進檢測設備1。如果在門20外面發(fā)生跟進情況,則跟進檢測設備1將報警信號發(fā)送到控制設備4和報警級18,并且控制設備4基于來自跟進檢測設備1的報警信號來保持鎖住門20,而不管ID卡的ID信息如何。因此,可防止跟進。如果在門20外面沒有發(fā)生跟進情況,則控制設備4將解鎖控制信號發(fā)送到安全設備2。因此,攜帶有ID卡的人可打開門20,而進入要管理的房間。
圖13示出了根據(jù)本發(fā)明的跟進檢測設備的第二實施例中的對象檢測級的操作的示例圖。第二實施例的對象檢測級和第一實施例的對象檢測級一樣執(zhí)行第一處理到第七處理。并且作為第二實施例的特性,在第七處理之后,當?shù)诹幚碇杏嬎愕娜说臄?shù)目N1與第七處理中計算的人的數(shù)目N2不同時,該級執(zhí)行K平均值算法的群集任務。
也就是說,第二實施例的對象檢測級根據(jù)辨別為人的物理對象的數(shù)目,而將平行投影圖像中的辨別為人的每一物理對象的一部分的位置分配給群集的分量,并然后通過群集的K平均值算法而驗證以上辨別為人的物理對象的數(shù)目。
例如,利用N1和N2中的較大的一個作為群集劃分數(shù)目的初始值。該對象檢測級通過K平均值算法而獲得每一劃分的域,以計算其劃分的域的面積。并且當人的所劃分的域的面積和先前記錄的面積之間的差值等于或小于規(guī)定閾值時,該級通過將所劃分的域當作人的分區(qū)而進行計算。當該差值大于規(guī)定閾值時,對象檢測級增加或減小劃分數(shù)目的初始值,以再次執(zhí)行K平均值算法。根據(jù)K平均值算法,可估計每個人的位置。
圖14是根據(jù)本發(fā)明的跟進檢測設備的第三實施例中的對象檢測級的操作的示例圖。
如圖14所示,第三實施例的對象檢測級從來自景深圖像傳感器10的景深圖像的每一圖像元素中提取特定圖像元素(代替第一實施例的每一處理),并由此生成前景景深圖像D20。當景深圖像的圖像元素的距離值小于規(guī)定距離閾值時,提取該特定圖像元素。基于該前景景深圖像D20,對象檢測級分離地檢測作為該檢測區(qū)域中要檢測的一個或多個物理對象的一個或多個人。在圖14的示例中,由各自具有小于規(guī)定距離閾值的距離值的圖像元素構成黑色部分,而由各自具有大于規(guī)定距離閾值的距離值的圖像元素構成白色部分。
在第三實施例中,可能檢測在景深圖像傳感器的位置和遠離該傳感器的前方位置(與規(guī)定距離閾值對應的距離)之間的物理對象。所以,當規(guī)定距離閾值被設置為適當值時,可辨別人與動態(tài)噪聲(例如,行李、手推車等)重疊的狀態(tài)以及兩個或多個人重疊的狀態(tài)。在圖14的例子中,可能分離地檢測該檢測區(qū)域中的人肩上面的分區(qū)B6和人頭的分區(qū)B7。
圖15是根據(jù)本發(fā)明的跟進檢測設備的第四實施例中的對象檢測級的操作的示例圖。
如圖15所示,第四實施例的對象檢測級從景深圖像傳感器10生成的景深圖像的每一距離值中生成分布圖像J(代替第一實施例的每一處理)。并且該級識別分布圖像J中的一個或多個分布域是否對應于基于人的分區(qū)先前記錄的數(shù)據(jù),從而分別辨別與分布圖像J中的一個或多個分布域對應的每一物理對象是否是人。當一個或多個物理對象存在于該檢測區(qū)域中時,該分布圖像包括一個或多個分布域。由景深圖像中的具有低于規(guī)定距離閾值的距離值的每一圖像元素構成該分布域。將規(guī)定距離值(例如典型面長的大約半值)添加到景深圖像的每一距離值的最小值中,而獲得該規(guī)定距離閾值。
在圖15的例子中,分布圖像J是二值圖像,其中黑色部分是分布域,而白色部分由景深圖像中大于規(guī)定距離值的每一距離值構成。由于分布圖像J是二值圖像,所以先前記錄的數(shù)據(jù)是人的分區(qū)的輪廓的面積或直徑,或者在利用圖案匹配的情況下,是從人頭的輪廓獲得的形狀(例如圓圈等)的圖案。
在第四實施例中,由于檢測了在檢測區(qū)域中要檢測的一個或多個人頭,所以可辨別人與動態(tài)噪聲(例如,行李、手推車等)重疊的狀態(tài)以及兩個或多個人重疊的狀態(tài)。在圖15的例子中,可能分離地檢測該檢測區(qū)域中的每一人頭B8和B9。
圖16是根據(jù)本發(fā)明的跟進檢測設備的第五實施例中的對象檢測級的操作的示例圖。
如圖16所示,第五實施例的跟進檢測設備根據(jù)跟進警告而分離地跟隨用對象檢測級檢測的一個或多個人的移動軌跡。并且當兩個或多個人沿規(guī)定方向向/從檢測區(qū)域移動時,該級檢測跟進的發(fā)生,并將報警信號發(fā)送到控制設備4和報警級18。在圖16中,20是自動門。
在第五實施例中,該規(guī)定方向被設置為在門20旁邊越過檢測區(qū)域A1的邊界而移動到檢測區(qū)域A1內的方向。例如,如圖16所示,由于一個人的移動軌跡B11、B11和B13以及另一人的移動軌跡B21和B22類似地對應于該規(guī)定方向,所以發(fā)送報警信號。在該情況下,可在時間點B13和B22上判斷每個人的移動軌跡,并在該時間點上發(fā)送報警信號。另外,基于從人B1走過門到人B2走過門的時間,而定義用于跟進警告的特定時間(例如2秒)。例如,該特定時間也可被設置為從自動門20打開到其關閉的時間。
在第五實施例中,當兩個或多個人在門20旁邊越過檢測區(qū)域A1的邊界而移動到檢測區(qū)域A1內時,發(fā)送報警信號,并所以可立即檢測跟進。另外,即使檢測到多個人,但是當兩個或多個人沒有沿規(guī)定方向移動到檢測區(qū)域時,也不發(fā)送報警信號,并所以可防止假報警。
在替換實施例中,跟進檢測設備1位于門20外面。在該情況下,該規(guī)定方向被設置為在門20旁邊從檢測區(qū)域向檢測區(qū)域的邊界移動的方向。
圖17示出了根據(jù)本發(fā)明的跟進檢測設備的第六實施例中的景深圖像10傳感器。第六實施例的景深圖像傳感器10包括光源11、光學系統(tǒng)12、光檢測元件12、傳感器控制級14和圖像構造級15,并可在以上每一實施例中被利用。
為了確保光強度,光源11被構造為具有例如安排在平面上的紅外LED陣列、半導體激光器和發(fā)散透鏡等。如圖18所示,該源調制紅外光的強度K1,使得其根據(jù)來自傳感器控制級14的調制信號而以恒定的周期周期性地改變,并然后將經(jīng)過強度調制的紅外光發(fā)射到檢測區(qū)域。然而,經(jīng)過強度調制的紅外光的強度波形不限于正弦波形,而可以是例如三角波、鋸齒波等的形狀。
光學系統(tǒng)12是接收光學系統(tǒng),并被構造有例如鏡頭、紅外光透射濾光片等。并且該系統(tǒng)將來自檢測區(qū)域的紅外光會聚到光檢測元件13的接收面(每一感光單元131)中。例如,該系統(tǒng)12被安排為使其光軸與光檢測元件13的接收面正交。
光檢測元件13形成在半導體器件中,并包括感光單元131、敏感度控制單元132、電荷集合(integration)單元133和電荷拾取單元134。每一感光單元131、每一敏感度控制單元132和每一電荷集合單元133構成二維感光陣列,作為被安排為經(jīng)由光學系統(tǒng)12面對該檢測區(qū)域的接收面。
如圖19A和19B所示,半導體襯底中的雜質摻雜型半導體層13a將每一感光單元131形成為例如100×100二維感光陣列的感光元件。該單元131以對應敏感度控制單元132控制的感光敏感度,而生成響應于來自檢測區(qū)域的紅外光量的數(shù)量的電荷。例如,半導體層13a為n型,并且所生成的電荷來自電子。
當光學系統(tǒng)12的光軸與接收面成直角時,如果光軸以及接收面的垂直(長度)方向和水平(寬度)方向的兩個軸被設置為直角坐標系的三個軸,并且原點被設置為該系統(tǒng)12的中心,則每一感光單元131然后生成響應于來自由方位角和仰角(elevation)指明的方向的光量的數(shù)量的電荷。當在檢測區(qū)域中存在一個或多個物理對象時,從光源11發(fā)射的紅外光在物理對象上被反射并然后被感光單元131接收。因此,感光單元131接收圖18所示延遲了相位ψ的強度調制后的紅外光,并然后生成響應于其強度K2的數(shù)量的電荷,該相位ψ對應于感光單元131和物理對象之間的往返距離。該強度調制后的紅外光被表示為K2·sin(ωt-ψ)+B(算式1)其中ω是角頻率,而B是環(huán)境光分量。
該敏感度控制單元132被構造有通過絕緣膜(氧化膜)13e而成層形成在半導體層13a的表面上的控制電極13b。并且該單元132根據(jù)來自傳感器控制級14的敏感度控制信號而控制對應感光單元131的敏感度。在圖19A和19B中,沿左右方向的控制電極13B的寬度尺寸被設置為大約1μm。控制電極13B和絕緣膜13e由相對于光源11的紅外光半透明的材料形成。如圖19A和19B所示,敏感度控制單元132由對于對應感光單元131的多個(例如五個)控制電極構成。例如,當所生成的電荷來自電子時,電壓(+V,0V)被施加到每一控制電極13B作為敏感度控制信號。
電荷集合單元133包括響應于施加到對應每一控制電極13b的敏感度控制信號而改變的勢阱(耗盡層)13c。并且單元133捕獲并集合在勢阱13c附近的電子(e)。沒有集合在電荷集合單元133中的電子通過與空穴重組而消失。所以,通過利用敏感度控制信號改變勢阱13c的分區(qū)尺寸,可能控制光檢測元件13的感光敏感度。例如,圖19A的狀態(tài)下的敏感度高于圖19B的狀態(tài)下的敏感度。
例如,如圖20所示,電荷拾取單元134與幀傳遞(frame transferFT)類型的CCD圖像傳感器具有類似的結構。在由感光單元131形成的圖像拾取分區(qū)L1和該分區(qū)L1下一個的遮光存儲分區(qū)L2中,連續(xù)集合在每一垂直(長度)方向上的半導體層13a被用作電荷沿垂直方向的傳遞路徑。該垂直方向對應于圖19A和19B的左右方向。
電荷拾取單元134被構造有存儲分區(qū)L2、每一傳遞路徑、和水平傳遞部分13d,該水平傳遞部分13d是CCD,并從每一傳遞路徑的一端接收電荷,從而沿著水平方向傳遞每一電荷。在垂直消隱周期期間,一次執(zhí)行從圖像拾取分區(qū)L1到存儲分區(qū)L2的電荷傳遞。也就是說,在電荷集合在勢阱13c中之后,與敏感度控制信號的電壓圖案不同的電壓圖案被施加到每一控制電極13b作為垂直傳遞信號,從而沿著該垂直方向傳遞在勢阱13c中集合的電荷。對于從水平傳遞部分13d到圖像構造級15的傳遞,在水平周期期間,水平傳遞信號被提供到水平傳遞部分13d,并且傳遞一個水平線的電荷。在替換實施例中,水平傳遞部分沿著正常方向將電荷傳遞到圖19A和19B的平面。
傳感器控制級14是操作定時控制電路,并控制光源11、每一敏感度控制單元132和電荷拾取單元134的操作定時。也就是說,由于用于上述往返距離的光的傳輸時間是例如毫微秒級別的非常短的時間,所以傳感器控制級14為光源11提供特定調制頻率(例如20MHz)的調制信號,以控制強度調制后的紅外光的強度的改變定時。
傳感器控制級14也為每一控制電極13b施加電壓(+V,0V)作為敏感度控制信號,并由此將光檢測元件13的敏感度改變?yōu)楦呙舾卸然虻兔舾卸取?br>
此外,傳感器控制級14在垂直消隱周期期間為每一控制電極13b提供垂直傳遞信號,并在一個水平周期期間為水平傳遞部分13d提供水平傳遞信號。
圖像構造級15被構造有例如CPU、用于存儲程序等的存儲設備等。并且該級15基于來自光檢測元件13的信號而構造景深圖像和強度圖像。
現(xiàn)在解釋傳感器控制級14和圖像構造級15的操作原理。圖18的相位(相差)Ψ對應于光檢測元件13的接收面和檢測區(qū)域中的物理對象之間的往返距離。所以,通過計算該相位Ψ,可能計算到該物理對象的距離??筛鶕?jù)以上(算式1)表明的曲線的時間積分值(例如,周期TW中的積分值Q0、Q1、Q2和Q3)來計算相位Ψ。時間積分值(接收的光的數(shù)量)Q0、Q1、Q2和Q3分別取相位0°、90°、180°和270°的起始點。Q0、Q1、Q2和Q3的瞬時值q0、q1、q2和q3分別由以下算式給出q0=K2·sin(-Ψ)+B=-K2·sin(Ψ)+Bq1=K2·sin(π/2-Ψ)+B=K2·cos(Ψ)+Bq2=K2·sin(π-Ψ)+B=K2·sin(Ψ)+Bq3=K2·sin(3π/2-Ψ)+B=-K2·cos(Ψ)+B。所以,由以下(算式2)給出相位Ψ,并也在該時間積分值的情況下,可由以下(算式2)獲得相位Ψ。
Ψ=tan-1{(q2-q0)/(q1-q3)}(算式2)在強度調制紅外光的一個周期期間,感光單元131中生成的電荷少,并因此傳感器控制級14控制光檢測元件13的敏感度,從而將在強度調制紅外光的周期期間在感光單元131中生成的電荷集合到電荷集合單元133中。相位Ψ和物理對象的反射系數(shù)在強度調制紅外光的各周期中幾乎不改變。所以,例如,當與時間積分值Q0對應的電荷被集合在電荷集合單元133中時,光檢測元件13的敏感度在與Q0對應的期限期間升高,而光檢測元件13的敏感度在排除該期限的時間周期期間降低。
如果感光單元131生成與所接收的光量成比例的電荷,則當電荷集合單元133集合電荷Q0時,集合了與αQ0+β(Q1+Q2+Q3)+βQx成比例的電荷,其中α是與Q0到Q3對應的期限中的敏感度,β是排除了該期限的時間周期中的敏感度,而Qx是在排除了用于獲得Q0、Q1、Q2和Q3的期限的時間周期中接收的光量。類似地,當電荷集合單元133集合了電荷Q2時,集合了與αQ2+β(Q1+Q2+Q3)+βQx成比例的電荷。由于Q2-Q0=(α-β)(Q2-Q0)并且Q1-Q3=(α-β)(Q1-Q3),所以(Q2-Q0)/(Q1-Q3)理論上成為與(算式2)相同的值,而不管是否混合了不期望的電荷。所以,即使混合了不期望的電荷,要計算的相位Ψ仍成為相同值。
在與強度調制紅外光的周期對應的時間周期之后,為了拾取在每一電荷集合單元133中集合的電荷,傳感器控制級14在垂直消隱周期中將垂直傳遞信號提供到每一控制電極13B,并在一個水平周期中將水平傳遞信號提供到水平傳遞部分13d。
另外,因為Q0-Q3代表物理對象的亮度,所以Q0-Q3的附加值或平均值對應于紅外光的強度圖像(灰度圖像)中的強度(濃度)值。所以,圖像構造級15可根據(jù)Q0-Q3構造景深圖像和強度圖像。此外,通過根據(jù)Q0-Q3構造景深圖像和強度圖像,可能獲得相同位置處的距離值和強度值。該圖像構造級15借助于(算式2)根據(jù)Q0-Q3而計算距離值,并根據(jù)每一距離值而構造景深圖像。在該情況下,可根據(jù)每一距離值來計算檢測區(qū)域的三維信息,從而根據(jù)該三維信息來構造景深圖像。由于強度圖像包括Q0-Q3的平均值作為強度值,所以可能消除來自光源11的光的影響。
圖21是根據(jù)本發(fā)明的跟進檢測設備的第七實施例中的景深圖像傳感器的操作的示例圖。
作為第六實施例的景深圖像傳感器的對比,第七實施例的景深圖像傳感器利用兩個感光單元作為一個像素,并在調制信號的一個周期內生成與Q0-Q3對應的兩種電荷。
如果在一個感光單元131中生成與Q0-Q3對應的電荷,則與視線方向有關的分辨率變高,但是存在時滯的問題,而如果在四個感光單元中生成與Q0-Q3對應的電荷,則該時滯變小,但是與視線方向有關的分辨率變低。
在第七實施例中,如圖22A和22B所示,為了解決上述問題而利用兩個感光單元作為一個像素。在第六實施例的圖19A和19B中,盡管在感光單元131中生成電荷,但是兩側的兩個控制電極起到形成勢壘的作用,從而防止電荷向外流到相鄰感光單元131。在第七實施例中,由于借助于任何感光單元131在相鄰感光單元131的勢阱之間形成勢壘,所以對于每一感光單元提供三個控制電極,從而對于一個單元提供六個控制電極13b-1、13b-2、13b-3、13b-4、13b-5和13b-6。
現(xiàn)在解釋第七實施例的操作。在圖22A中,電壓+V(規(guī)定正電壓)被施加到每一控制電極13b-1、13b-2、13b-3和13b-5,而電壓0V被施加到每一控制電極13b-4和13b-6。在圖22B中,電壓+V被施加到每一控制電極13b-2、13b-4、13b-5和13b-6,而電壓0V被施加到每一控制電極13b-1和13b-3。只要調制信號的相位移位到相反相位(180°),這些電壓圖案就交替改變。而且,在另一時間周期中,電壓+V被施加到每一控制電極13b-2和13b-5,而電壓0V被施加到剩余的每一控制電極。因此,例如,如圖21所示,光檢測元件可通過圖22A的電壓圖案而生成與Q0對應的電荷,并通過圖22B的電壓圖案而生成與Q2對應的電荷。另外,由于電壓+V總是被施加到每一控制電極13b-2和13b-5,所以與Q0對應的電荷和與Q2對應的電荷被集合和保持。類似地,如果利用圖22A和22B的兩個電壓圖案,并且這兩個電壓圖案的施加定時移位了90°,則與Q1對應的電荷和與Q3對應的電荷可被集合和保持。
在用于生成與Q0和Q2對應的電荷的期限與用于生成與Q1和Q3對應的電荷的期限之間,電荷從圖像拾取分區(qū)L1被傳遞到存儲分區(qū)L2。也就是說,當與Q0對應的電荷被存儲在與控制電極13b-1、13b-2和13b-3對應的勢阱13c中,并且與Q2對應的電荷也被存儲在與控制電極13b-4、13b-5和13b-6對應的勢阱13c中時,與Q0和Q2對應的電荷被拾取。并且然后,當與Q1對應的電荷被存儲在與控制電極13b-1、13b-2和13b-3對應的勢阱13c中,并且與Q3對應的電荷也被存儲在與控制電極13b-4、13b-5和13b-6對應的勢阱13c中時,與Q1和Q3對應的電荷被拾取。通過重復該操作,可通過兩個讀出操作拾取與Q0-Q3對應的電荷,并通過利用所拾取的電荷可計算相位Ψ。例如,當要求每秒30幀的圖像時,用于生成與Q0和Q2對應的電荷的期限和用于生成與Q1和Q3對應的電荷的期限的期限和成為比1/60秒短的時間周期。
在替換實施例中,如圖23A所示,電壓+V被施加到每一控制電極13b-1、13b-2和13b-3,+V和0V之間的電壓被施加到控制電極13b-5,而電壓0V被施加到每一控制電極13b-4和13b-6。另一方面,如圖23B所示,+V和0V之間的電壓被施加到控制電極13b-2,電壓+V被施加到每一控制電極13b-4、13b-5和13b-6,而電壓0V被施加到每一控制電極13b-1和13b-3。由此,主要用于生成電荷的勢阱比主要用于保持電荷的勢阱更深,并由此在與施加0V電壓的每一控制電極對應的分區(qū)中生成的電荷容易地流到更深的勢阱中。所以,可能降低流入保持電荷的勢阱中的噪聲分量。
盡管已參考其特定優(yōu)選實施例而描述了本發(fā)明,但是本領域普通技術人員可進行各種修改和變形,而不脫離本發(fā)明的真實精神和范圍。
例如,在第六和第七實施例中,可利用與隔行傳遞(interline transferIT)或幀隔行傳遞(FIT)類型類似的構造,來代替與FT類型的CCD圖像傳感器類似的構造。
權利要求
1.一種個體檢測器,包括景深圖像傳感器,被安排為面對檢測區(qū)域并生成景深圖像,當在所述區(qū)域中存在一個或多個物理對象時,該景深圖像的每一圖像元素分別包括到所述一個或多個物理對象的每一距離值;和對象檢測級,用于基于由所述傳感器生成的景深圖像,而分離地檢測所述區(qū)域中的所述一個或多個物理對象。
2.根據(jù)權利要求1的個體檢測器,其中所述景深圖像傳感器被安排為向下面對下面的所述檢測區(qū)域;和所述對象檢測級基于要檢測的一個或多個物理對象的特定或每一高度的一部分的數(shù)據(jù),而分離地檢測在所述區(qū)域中要檢測的一個或多個物理對象,該數(shù)據(jù)是從所述景深圖像中獲得的。
3.根據(jù)權利要求2的個體檢測器,其中所述對象檢測級基于作為從所述傳感器先前獲得的景深圖像的背景景深圖像和從所述傳感器獲得的當前景深圖像之間的差值,而生成前景景深圖像,并基于該前景景深圖像而分離地檢測作為在所述區(qū)域中要檢測的所述一個或多個物理對象的一個或多個人。
4.根據(jù)權利要求3的個體檢測器,其中所述對象檢測級通過從所述當前景深圖像的每一圖像元素中提取特定圖像元素,而生成所述前景景深圖像,該特定圖像元素是當距離差大于規(guī)定距離閾值時提取的,而該距離差是通過從所述背景景深圖像的對應圖像元素中減去所述當前景深圖像的圖像元素而獲得的。
5.根據(jù)權利要求4的個體檢測器,其中所述景深圖像傳感器具有相機結構,其被構造為具有光學系統(tǒng)、和被安排為經(jīng)由該光學系統(tǒng)而面對所述檢測區(qū)域的二維感光陣列;和所述對象檢測級基于相對于所述景深圖像傳感器先前記錄的相機校準數(shù)據(jù),而將取決于所述相機結構的所述前景景深圖像的相機坐標系變換為直角坐標系,并由此生成代表所述物理對象的存在/不存在的每一位置的直角坐標變換圖像。
6.根據(jù)權利要求5的個體檢測器,其中所述所述對象檢測級將所述直角坐標變換圖像的直角坐標系變換為在實空間中虛擬設置的世界坐標系,并由此生成世界坐標變換圖像,其將所述物理對象的存在/不存在的每一位置描繪為實際位置和實際維數(shù)。
7.根據(jù)權利要求6的個體檢測器,其中所述對象檢測級通過平行投影而將所述世界坐標變換圖像投影在規(guī)定平面上,以在所述世界坐標變換圖像中生成包括從所述平面看到的每一圖像元素的平行投影圖像。
8.根據(jù)權利要求6的個體檢測器,其中所述對象檢測級從所述世界坐標變換圖像中提取與一個或多個物理對象的一部分對應的采樣數(shù)據(jù),并識別該數(shù)據(jù)是否對應于基于人的分區(qū)先前記錄的參考數(shù)據(jù),從而分別辨別與該采樣數(shù)據(jù)對應的每一物理對象是否是人。
9.根據(jù)權利要求7的個體檢測器,其中所述對象檢測級從所述平行投影圖像中提取與所述一個或多個物理對象的一部分對應的采樣數(shù)據(jù),并識別該數(shù)據(jù)是否對應于基于人的分區(qū)先前記錄的參考數(shù)據(jù),從而分別辨別與該采樣數(shù)據(jù)對應的每一物理對象是否是人。
10.根據(jù)權利要求8的個體檢測器,其中所述采樣數(shù)據(jù)包括在所述世界坐標變換圖像中虛擬描繪的一個或多個物理對象的一部分的體積或寬度、深度和高度的比率;和所述參考數(shù)據(jù)是基于一個或多個人的分區(qū)而先前記錄的,該參考數(shù)據(jù)是關于所述分區(qū)的體積或寬度、深度和高度的比率的值或取值范圍。
11.根據(jù)權利要求9的個體檢測器,其中所述采樣數(shù)據(jù)包括在所述平行投影圖像中虛擬描繪的一個或多個物理對象的一部分的面積或寬度和深度的比率;和所述參考數(shù)據(jù)是基于一個或多個人的分區(qū)而先前記錄的,該參考數(shù)據(jù)是關于所述分區(qū)的面積或寬度和深度的比率的值或取值范圍。
12.根據(jù)權利要求8的個體檢測器,其中所述采樣數(shù)據(jù)包括在所述世界坐標變換圖像中虛擬描繪的一個或多個物理對象的一部分的三維圖案;和所述參考數(shù)據(jù)是基于一個或多個人的分區(qū)而先前記錄的至少一個三維圖案。
13.根據(jù)權利要求9的個體檢測器,其中所述采樣數(shù)據(jù)包括在所述平行投影圖像中虛擬描繪的一個或多個物理對象的一部分的二維圖案;和所述參考數(shù)據(jù)是基于一個或多個人的分區(qū)而先前記錄的至少一個二維圖案。
14.根據(jù)權利要求5的個體檢測器,其中所述景深圖像傳感器還包括光源,其朝向所述檢測區(qū)域發(fā)射經(jīng)強度調制的光,該傳感器除了生成所述景深圖像之外,還基于每個圖像元素的所接收的光的強度而生成強度圖像;和所述對象檢測級基于所述直角坐標變換圖像而提取與所述一個或多個物理對象的一部分對應的采樣數(shù)據(jù),并基于所述強度圖像而辨別是否存在比對應于所述采樣數(shù)據(jù)的每一物理對象的一部分的規(guī)定強度低的部分。
15.根據(jù)權利要求6的個體檢測器,其中所述景深圖像傳感器還包括光源,其朝向所述檢測區(qū)域發(fā)射經(jīng)強度調制的紅外光,該傳感器除了生成所述景深圖像之外,還基于來自所述區(qū)域的所述紅外光而生成所述紅外光的強度圖像;和所述對象檢測級基于所述世界坐標變換圖像而提取與所述一個或多個物理對象的一部分對應的采樣數(shù)據(jù),并基于所述強度圖像而識別來自與所述采樣數(shù)據(jù)對應的每一物理對象的一部分的所述紅外光的平均強度是否低于規(guī)定強度,從而分別辨別與所述采樣數(shù)據(jù)對應的每一物理對象的一部分是否是人頭。
16.根據(jù)權利要求8的個體檢測器,其中所述對象檢測級基于辨別為人的物理對象的數(shù)目,而將所述平行投影圖像中的辨別為人的每一物理對象的一部分的位置分配給群集的分量,并然后基于通過群集的K平均值算法獲得的劃分的域而驗證所述物理對象的數(shù)目。
17.根據(jù)權利要求9的個體檢測器,其中所述對象檢測級基于辨別為人的物理對象的數(shù)目,而將所述平行投影圖像中的辨別為人的每一物理對象的一部分的位置分配給群集的分量,并然后基于通過群集的K平均值算法獲得的劃分的域而驗證所述物理對象的數(shù)目。
18.根據(jù)權利要求2的個體檢測器,其中所述對象檢測級通過從所述景深圖像的每一圖像元素中提取特定圖像元素,而生成前景景深圖像,并基于該前景景深圖像而分離地檢測作為在所述區(qū)域中要檢測的一個或多個物理對象的一個或多個人;當所述景深圖像的圖像元素的距離值小于規(guī)定距離閾值時,提取所述特定圖像元素。
19.根據(jù)權利要求2的個體檢測器,其中所述對象檢測級識別具有所述景深圖像的距離值分布的最小值的圖像元素周圍的景深圖像是否對應于基于人的分區(qū)而先前記錄的特定形狀和特定形狀的尺寸,并然后分別辨別與具有所述最小值的圖像元素周圍的景深圖像對應的每一物理對象是否是人。
20.根據(jù)權利要求2的個體檢測器,其中所述對象檢測級根據(jù)所述景深圖像的每一距離值而生成分布圖像,并基于該分布圖像而分離地檢測所述檢測區(qū)域中的一個或多個物理對象,當在所述檢測區(qū)域中存在一個或多個物理對象時,所述分布圖像包括一個或多個分布域,所述分布域由具有比所述景深圖像中的規(guī)定距離閾值低的距離值的每一圖像元素構成,所述規(guī)定距離閾值是通過將規(guī)定距離值添加到所述景深圖像的每一距離值的最小值而獲得的。
21.一種跟進檢測設備,包括權利要求2的個體檢測器和跟進檢測級,其中所述景深圖像傳感器連續(xù)生成所述景深圖像;和所述跟進檢測級根據(jù)跟進警告而分離地跟隨用所述對象檢測級檢測的一個或多個人的移動軌跡;并當兩個或多個人沿著規(guī)定方向向/從所述檢測區(qū)域移動時,檢測到跟進發(fā)生以發(fā)送報警信號。
22.一種跟進檢測設備,包括權利要求2的個體檢測器和跟進檢測級,其中所述景深圖像傳感器連續(xù)生成所述景深圖像;和所述跟進檢測級監(jiān)視用所述對象檢測級檢測的一個或多個人的進入和離開、以及進入和離開的每一方向;并當兩個或多個人在跟進警衛(wèi)設置的規(guī)定時間內沿著規(guī)定方向向/從所述檢測區(qū)域移動時,檢測到跟進發(fā)生以發(fā)送報警信號。
全文摘要
一種個體檢測器包括距離圖像傳感器和對象檢測裝置。該距離圖像傳感器被安排為面對檢測區(qū)域并生成距離圖像。當在該區(qū)域中存在一個或多個物理對象時,該距離圖像的每一圖像元素包括到一個或多個物理對象的每一距離值。根據(jù)由傳感器生成的距離圖像,該對象檢測裝置單獨地檢測該區(qū)域中的一個或多個物理對象。因此,可能檢測該檢測區(qū)域中的一個或多個物理對象,而不增加用于檢測一個或多個物理對象的組成元件的數(shù)目。
文檔編號H04N7/18GK1950722SQ20058001396
公開日2007年4月18日 申請日期2005年7月29日 優(yōu)先權日2004年7月30日
發(fā)明者松田啟史, 藤井裕之, 類家直哉 申請人:松下電工株式會社