專利名稱：：面部特征點檢測裝置、面部特征點檢測方法及其程序的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種根據(jù)面部圖像檢測出規(guī)定的特征點的面部特征點檢測裝置、面部特征點檢測方法及其程序。
背景技術(shù)：
：已有基于面部圖像判斷眼睛的狀態(tài)、并測定該人的視線方向、推測該人的覺醒程度的方法。為了判斷眼睛的狀態(tài)，需要正確檢測面部圖像的眼部。還有，當(dāng)判斷車輛駕駛員的狀態(tài)時，需要實時檢測面部的特征點。例如，在專利文獻(xiàn)l中，記載有提取駕駛員的眼睛位置、檢測覺醒度降低等的技術(shù)。在專利文獻(xiàn)l的技術(shù)中，在最初l幀的圖像中，以眼睛的中心為基礎(chǔ)，確定眼睛存在區(qū)域的橫方向?qū)挾群涂v方向?qū)挾龋O(shè)定眼睛的存在區(qū)域，通過從下1幀圖像開始，利用眼睛的存在區(qū)域，進(jìn)行遮蔽處理，從而作為與存在區(qū)域的框線不接觸的標(biāo)記(label)，只提取眼睛。通過在眼睛的存在區(qū)域的追蹤確認(rèn)，限定提取范圍，從而能夠進(jìn)行高速提取處理。還有，在專利文獻(xiàn)2中，記載有在檢測人的眨眼時、不容易受到照明條件或作為對象的人的面部形貌等個人差別的影響的技術(shù)。在專利文獻(xiàn)2的技術(shù)中，在l維邊緣圖像中，計算邊緣值具有正方向的極大值的點P、邊緣值具有負(fù)方向的極小值(絕對值大)的點M。作為檢索的初始位置，確定點P0和M0。確定正的極值點向上方、負(fù)的極值點向下方進(jìn)行檢索的檢索區(qū)間，以便從各自的檢索初始位置起，檢索更外側(cè)的邊緣極值點。在檢索區(qū)間內(nèi)，判斷邊緣值的符號是否發(fā)生反轉(zhuǎn)。由于點M0和點M1之間的邊緣值總是負(fù)值，因此以點P1和點M1為新的出發(fā)點，循環(huán)進(jìn)行檢索。在P1的上方，和M1的下方，由于沒有新的邊緣極值點，因此將點P1和點Ml作為邊界點A、B。然后，對邊界點A、B之間的距離進(jìn)行計數(shù)，將其作為眼瞼的開度。[專利文獻(xiàn)l]日本專利特開平7-181012號公報[專利文獻(xiàn)2]日本專利特開平7-313459號公報在專利技術(shù)l的技術(shù)中，對于2值化的圖像，對不與要提取的判斷對象發(fā)生接觸的規(guī)定區(qū)域進(jìn)行遮蔽處理，并加以標(biāo)記。但是，在利用圖像的2值化的方法中，受到照明條件變化或面部形貌等個人差別的影響，有時難以正確檢測判斷對象的特征量。還有，在專利技術(shù)2的技術(shù)中，基于1維邊緣圖像的濃淡變化的極值,從多個基準(zhǔn)線上的極值點，提取候選檢測對象。因此，在例如要檢測眼睛時，可能會將黑痣等作為候選進(jìn)行提取，從而受到面部形貌等個人差別的影響。
發(fā)明內(nèi)容本發(fā)明考慮到上述狀況，其目的在于提供一種即使存在外部亂光或面部形貌等個人差別，也能夠根據(jù)面部圖像高精度地檢測特征點的裝置。為實現(xiàn)上述目的，與本發(fā)明的第1觀點有關(guān)的面部特征點檢測裝置的特征在于具有圖像獲取機(jī)構(gòu)，其獲取面部圖像；邊緣計算機(jī)構(gòu)，其根據(jù)上述面部圖像計算出表示某方向的亮度變化的邊緣值；和檢測對象判斷機(jī)構(gòu)，其針對將上述邊緣計算機(jī)構(gòu)計算出的按每個像素的邊緣值與上述面部圖像的像素對應(yīng)地排列的邊緣圖像，利用以規(guī)定形狀選擇的像素的集合即圖像窗口進(jìn)行掃描，對與上述圖像窗口內(nèi)的像素對應(yīng)的上述邊緣值乘以上述圖像窗口的按每個像素的規(guī)定值并進(jìn)行相加的加權(quán)和為最大的上述圖像窗口的位置判斷為存在檢測對象的檢測位置。上述圖像窗口也可由在上述邊緣圖像的掃描中彼此的位置關(guān)系固定的多個部分窗口構(gòu)成，所述多個部分窗口的每一個是以規(guī)定形狀選擇的像素的集合，上述檢測對象判斷機(jī)構(gòu)也可將與上述多個部分窗口的各個像素對應(yīng)的上述邊緣值的加權(quán)和的所有上述部分窗口的總和為最大的上述圖像窗口的位置判斷為存在檢測對象的檢測位置。優(yōu)選地，上述邊緣計算機(jī)構(gòu)計算出水平邊緣圖像和垂直邊緣圖像，上述水平邊緣圖像是將表示水平方向的亮度變化的水平方向邊緣值與上述面部圖像的像素對應(yīng)地排列的圖像，上述垂直邊緣圖像是將表示垂直方向的亮度變化的垂直方向邊緣值與上述面部圖像的像素對應(yīng)地排列的圖像，上述圖像窗口包括水平邊緣窗口和垂直邊緣窗口，上述水平邊緣窗口是掃描上述水平邊緣圖像的以規(guī)定形狀選擇的像素的集合，上述垂直邊緣窗口是掃描上述垂直邊緣圖像的以規(guī)定形狀選擇的像素的集合，上述水平邊緣窗口和上述垂直邊緣窗口在上述邊緣圖像的掃描中彼此的位置關(guān)系固定，上述檢測對象判斷機(jī)構(gòu)將對應(yīng)于上述水平邊緣窗口的像素的上述水平方向邊緣值的加權(quán)和、與對應(yīng)于上述垂直邊緣窗口的像素的上述垂直方向邊緣值的加權(quán)和的總和為最大的上述圖像窗口的位置判斷為存在檢測對象的檢測位置。另外，也可具有噪聲除去機(jī)構(gòu)，其從上述邊緣圖像中除去上述邊緣值的絕對值具有規(guī)定閾值以上的值的像素連續(xù)的個數(shù)小于規(guī)定值的邊緣。尤其是上述檢測對象為眼睛，上述垂直邊緣窗口與瞼的垂直邊緣對應(yīng)，上述水平邊緣窗口與外眼角或內(nèi)眼角的水平邊緣對應(yīng)。優(yōu)選地，與外眼角和內(nèi)眼角分別對應(yīng)的2個上述水平邊緣窗口分別配置在上述垂直邊緣窗口的兩側(cè)下部。與本發(fā)明的第2觀點有關(guān)的面部特征點檢測方法的特征在于包括根據(jù)面部圖像計算出表示某方向的亮度變化的邊緣值的邊緣計算步驟；和針對將上述邊緣計算步驟中計算出的按每個像素的邊緣值與上述面部圖像的像素對應(yīng)地排列的邊緣圖像，利用以規(guī)定形狀選擇的像素的集合即圖像窗口進(jìn)行掃描，對與上述圖像窗口內(nèi)的像素對應(yīng)的上述邊緣值乘以上述圖像窗口的按每個像素的規(guī)定值并相加的加權(quán)和為最大的上述圖像窗口的位置判斷為存在檢測對象的檢測位置的檢測對象判斷步驟。與本發(fā)明的第3觀點有關(guān)的面部特征點檢測程序的特征在于使計算機(jī)作為如下機(jī)構(gòu)發(fā)揮功能根據(jù)面部圖像計算出表示某方向的亮度變化的邊緣值的邊緣計算機(jī)構(gòu)；和針對將上述邊緣計算機(jī)構(gòu)計算出的按每個像素的邊緣值與上述面部圖像的像素對應(yīng)地排列的邊緣圖像，利用以規(guī)定形狀選擇的像素的集合即圖像窗口進(jìn)行掃描，對與上述圖像窗口內(nèi)的像素對應(yīng)的上述邊緣值乘以上述圖像窗口的按每個像素的規(guī)定值并相加的加權(quán)和為最大的上述圖像窗口的位置判斷為存在檢測對象的檢測位置的檢測對象判斷機(jī)構(gòu)。利用本發(fā)明的面部特征點檢測裝置，即使存在外部亂光或面部形貌等個人差別，也能夠根據(jù)面部圖像高精度地檢測特征點。圖1是表示與本發(fā)明的實施方式有關(guān)的眼部檢測裝置的方框圖。圖2是表示本發(fā)明的一個實施方式的眼部檢測裝置的邏輯結(jié)構(gòu)的方框圖。圖3是表示圖1所示的計算機(jī)的結(jié)構(gòu)的方框圖。圖4是表示確定面部圖像的區(qū)域的數(shù)據(jù)的例子的圖。圖5是表示鼻孔搜索區(qū)域的例子的圖。圖6是表示眼睛搜索區(qū)域的例子的圖。圖7A是表示縱向邊緣檢測用算符的例子的圖。圖7B是表示橫向邊緣檢測用算符的例子的圖。圖7C是表示縱向連續(xù)的濃淡差的例子的圖。圖7D是表示橫向連續(xù)的濃淡差的例子的圖。圖8是示意性表示眼睛搜索區(qū)域的原圖像的例子的圖。圖9A是表示眼睛搜索區(qū)域的垂直方向邊緣的檢測例的圖。圖9B是表示眼睛搜索區(qū)域的水平方向邊緣的檢測例的圖。圖9C是表示從圖9A的垂直方向邊緣中、除去濃淡差小的邊緣的結(jié)果的圖。圖9D是表示從圖9B的水平方向邊緣中、除去濃淡差小的邊緣的結(jié)果的圖。圖9E是表示從圖9C的垂直方向邊緣中、除去短邊緣的結(jié)果的圖。圖9F是表示從圖9D的水平方向邊緣中、除去短邊緣的結(jié)果的圖。圖IO是重疊表示垂直方向邊緣和水平方向邊緣的圖。圖11是說明圖像窗口掃描和特征點檢測的圖。圖12是表示利用分解圖像窗口的垂直邊緣窗口進(jìn)行掃描的圖。圖13是表示利用分解圖像窗口的水平邊緣窗口進(jìn)行掃描的圖。圖14是表示圖像窗口的不同的例子的圖。圖15是表示檢測下瞼時的圖像窗口的例子的圖。圖16是表示所檢測的上瞼和下瞼的垂直方向邊緣的圖。圖17是表示面部特征點檢測處理的動作的一個例子的流程圖。符號說明l一眼部檢測裝置(面部特征點檢測裝置)，2—攝像機(jī)(圖像獲取機(jī)構(gòu))，5—數(shù)據(jù)保持部，6—圖像窗口，7L、7R—水平邊緣窗口，8—垂直邊緣窗口，IO—計算機(jī)，12—圖像存儲器，13—外部存儲部，14一控制部(圖像獲取機(jī)構(gòu)、邊緣計算機(jī)構(gòu)、檢測對象判斷機(jī)構(gòu))、15—主存儲部，16—發(fā)送接收部(圖像獲取機(jī)構(gòu))，21—圖像輸入部，22—眼睛搜索區(qū)域設(shè)定部，23—邊緣計算部(邊緣計算機(jī)構(gòu))，24—邊緣標(biāo)記部(噪聲除去機(jī)構(gòu))，25—圖像窗口掃描部(檢測對象判斷機(jī)構(gòu))，26—特征位置判斷部(檢測對象判斷機(jī)構(gòu))，51—面部圖像數(shù)據(jù)，52—面部區(qū)域*眼睛搜索區(qū)域數(shù)據(jù)，53—水平*垂直邊緣數(shù)據(jù)，54—候選邊緣數(shù)據(jù)，55—圖像窗口數(shù)據(jù)，56—掃描記分?jǐn)?shù)據(jù)具體實施方式以下，參照附圖詳細(xì)說明本發(fā)明的實施方式。另外，圖中同一或相等部分采用同一符號來表示，不重復(fù)進(jìn)行說明。圖l是表示與本發(fā)明的一個實施方式有關(guān)的眼部檢測裝置1的結(jié)構(gòu)的方框圖。本實施方式的眼部檢測裝置1具有拍攝駕駛員的面部并生成面部圖像的攝像機(jī)2、對駕駛員的面部進(jìn)行照明的照明光源3、檢測駕駛員的眼部的計算機(jī)10、和與計算機(jī)10連接的顯示裝置4。另外，顯示裝置4并不是必需的結(jié)構(gòu)要素，如果不需要顯示面部圖像、檢測結(jié)果和判定結(jié)果，則不一定需要設(shè)置顯示裝置4。攝像機(jī)2利用例如CCD(ChargeCoupledDevice)等，將透鏡的成象轉(zhuǎn)換為電信號，輸出按每個像素進(jìn)行數(shù)字化后的圖像數(shù)據(jù)。攝像機(jī)2獲取例如駕駛員的面部的灰度圖像。利用攝像機(jī)2生成的圖像數(shù)據(jù)不僅包括駕駛員的面部，還包括其背景等。顯示裝置4由LCD(LiquidCrystalDisplay)或CRT(CathodeRayTube)等構(gòu)成，顯示根據(jù)以攝像機(jī)2拍攝的面部圖像生成的2值化圖像等。計算機(jī)10對利用攝像機(jī)2獲取的圖像數(shù)據(jù)進(jìn)行處理，檢測面部的左右兩端位置、上下位置?；谠摍z測的左右兩端位置、上下位置，設(shè)定搜索眼部的區(qū)域(眼部搜索區(qū)域)。然后，檢測眼睛搜索區(qū)域的上下瞼。圖2是表示本發(fā)明的一個實施方式的眼部檢測裝置1的邏輯結(jié)構(gòu)的方框圖。眼部檢測裝置l由攝像機(jī)2、圖像輸入部21、眼睛搜索區(qū)域設(shè)定部22、邊緣計算部23、邊緣標(biāo)記部24、圖像窗口掃描部25、特征位置判斷部26、瞼判斷部27、顯示處理部28、數(shù)據(jù)保持部5、和顯示裝置4等構(gòu)成。數(shù)據(jù)保持部5中存儲有面部圖像數(shù)據(jù)5K面部區(qū)域*眼睛搜索區(qū)域數(shù)據(jù)52、水平.垂直邊緣數(shù)據(jù)53、候選邊緣數(shù)據(jù)54、圖像窗口數(shù)據(jù)55和掃描記分?jǐn)?shù)據(jù)56。眼部檢測裝置1根據(jù)面部圖像檢測出眼部的上瞼和下瞼對。圖3是表示眼部檢測裝置1的物理結(jié)構(gòu)的一個例子的方框圖。如圖3所示，計算機(jī)10具有發(fā)送接收部16、圖像存儲器12、外部存儲部13、控制部14、主存儲部15、顯示控制裝置17、和光源控制裝置18。圖像存儲器12、外部存儲部13、主存儲部15、發(fā)送接收部16、顯示控制裝置17和光源控制裝置18均通過內(nèi)部總線11，與控制部14連接?？刂撇?4由CPU(CentralProcessingUnit)等構(gòu)成，根據(jù)存儲在外部存儲部13中的程序，執(zhí)行圖像輸入部21、眼睛搜索區(qū)域設(shè)定部22、邊緣計算部23、邊緣標(biāo)記部24、圖像窗口掃描部25、特征位置判斷部26、瞼判斷部27和顯示處理部28的處理。通過控制部14和在其上運行的程序，來實現(xiàn)圖像輸入部21、眼睛搜索區(qū)域設(shè)定部22、邊緣計算部23、邊緣標(biāo)記部24、圖像窗口掃描部25、特征位置判斷部26、瞼判斷部27和顯示處理部28。主存儲部15由RAM(Random-AccessMemory)等構(gòu)成。用于控制部14的工作區(qū)域。數(shù)據(jù)保持部5作為存儲區(qū)域的構(gòu)造體，被存儲保持在圖像存儲器12和主存儲部15的一部分中。外部存儲部13由閃速存儲器、硬盤、DVD(DigitalVersatileDisc)、DVD隱RAM(DigitalVersatileDiscRandom-AccessMemory)、DVD-RW(DigitalVersatileDiscRewritable)等非易失性存儲器構(gòu)成，預(yù)先存儲讓控制部14進(jìn)行上述處理的程序。還有，根據(jù)控制部14的指示，向控制部14供給該程序的數(shù)據(jù)，并存儲從控制部14供給的數(shù)據(jù)。例如，有時在外9部存儲部13存放時間序列圖像數(shù)據(jù)。發(fā)送接收部16由調(diào)制解調(diào)器或網(wǎng)絡(luò)終端裝置、以及與這些裝置連接的串行接口或LAN(LocalAreaNetwork)接口、或NTSC接口等構(gòu)成。控制部14經(jīng)由發(fā)送接收部16，從攝像機(jī)2輸入圖像數(shù)據(jù)。圖像存儲器12存儲攝像機(jī)2所生成的、經(jīng)由發(fā)送接收部16輸入的圖像數(shù)據(jù)。顯示控制裝置17在控制部14的控制下，對顯示裝置4進(jìn)行控制。光源控制裝置18控制照明光源3的開燈、關(guān)燈等。控制部14通過運行存放在外部存儲部13中的程序，對通過攝像機(jī)2獲取的圖像數(shù)據(jù)進(jìn)行處理，檢測出面部的兩端位置、上下位置，并基于該檢測出的兩端位置、上下位置，設(shè)定眼部搜索區(qū)域。然后，在眼部搜索區(qū)域中，計算出表示圖像的水平方向和垂直方向的亮度的變化的邊緣，根據(jù)邊緣數(shù)據(jù)檢測上下瞼?；氐綀D2，說明眼部檢測裝置1的各部分的作用。攝像機(jī)2拍攝面部圖像。圖像輸入部21每隔一定時間間隔，從攝像機(jī)2輸入時間序列的圖像數(shù)據(jù)，并將其作為面部圖像數(shù)據(jù)51存儲在數(shù)據(jù)保持部5中。眼睛搜索區(qū)域設(shè)定部22從面部圖像數(shù)據(jù)51中提取出面部區(qū)域，在面部區(qū)域中設(shè)定眼睛搜索區(qū)域。在提取面部區(qū)域時，例如，根據(jù)面部圖像計算出面部輪廓的邊緣?；蛘撸部梢酝ㄟ^面部輪廓的圖形匹配，提取面部輪廓。通過在面部輪廓范圍內(nèi)從上起檢測眉的邊緣、從下起檢測嘴巴下部的邊緣，設(shè)定面部區(qū)域。然后，例如，利用基于統(tǒng)計數(shù)據(jù)的比率，在面部區(qū)域中設(shè)定眼睛搜索區(qū)域。圖4表示面部區(qū)域F和眼睛搜索區(qū)域E的例子。眼睛搜索區(qū)域設(shè)定部22將設(shè)定的面部區(qū)域F和眼睛搜索區(qū)域E作為面部區(qū)域眼睛搜索區(qū)域數(shù)據(jù)52，存儲在數(shù)據(jù)保持部5中。另外，也可以檢測出容易檢測的特征部分、例如鼻孔，基于鼻孔的位置，設(shè)定眼睛搜索區(qū)域E。例如，可以從眉起取從鼻孔的上部到眉的距離乘以規(guī)定比率后的長度，在面部輪廓的中央取面部輪廓的寬度乘以規(guī)定比率后的長度，作為眼睛搜索區(qū)域E。通過設(shè)定眼睛搜索區(qū)域E，可以提高眼部檢測的效率。圖5是表示鼻孔搜索區(qū)域N的例子的圖。圖5中一點劃線所包圍的范圍表示鼻孔搜索區(qū)域N。例如，面部區(qū)域F的高為H、寬為W時，在從嘴巴下部位置M向上2/16H的位置、橫方向為面部區(qū)域F的中央處，將高為9/16H和寬為6/16W的長方形區(qū)域設(shè)定為鼻孔搜索區(qū)域N。圖6是表示眼部搜索區(qū)域E的例子的圖。圖6中一點劃線所包圍的2個長方形表示眼睛搜索區(qū)域E。例如，面部區(qū)域?qū)挒閃時，將眼睛搜索區(qū)域E之一設(shè)為高0.35W和寬為0.26W的長方形。而且，從鼻孔的重心Cn上面0.08W起，且左右以鼻孔的重心Cn為中心間隔0.13W，設(shè)置2個長方形，將其設(shè)定為眼睛搜索區(qū)域E。外部存儲部13如圖4或圖6所示，存放有在存放在主存儲部15中的面部圖像中的、確定面部范圍F的數(shù)據(jù)、確定假定存在眼睛和眉的圖像的眼睛搜索區(qū)域E的數(shù)據(jù)、以及用于掃描邊緣圖像并檢測面部的特征點的瞼等的圖像窗口數(shù)據(jù)55。圖7A至圖7D為說明邊緣計算用的固定數(shù)據(jù)的例的圖。外部存儲部13如圖7A和圖7B所示，存放有水平方向邊緣檢測用和垂直方向邊緣檢測用佐貝爾過濾器(V—X》:7^f》夕)的算符。本發(fā)明中，將圖像中沿水平方向其亮度從明到暗、或者從暗到明發(fā)生變化的連續(xù)點稱為水平方向邊緣。水平方向邊緣的點大致在縱方向連續(xù)，故也可稱為縱向邊緣。還有，將沿垂直方向其亮度從明到暗、或者從暗到明發(fā)生變化的連續(xù)點稱為垂直方向邊緣。垂直方向邊緣的點大致在橫方向連續(xù)，故也可稱為橫向邊緣。圖7A所示的水平方向邊緣(縱向邊緣)檢測用佐貝爾過濾器是用于提取圖7C所示的縱方向連續(xù)的濃淡差的邊界(邊緣)的算符。圖7B所示的垂直方向邊緣(橫向邊緣)檢測用佐貝爾過濾器是用于提取圖7D所示的橫方向連續(xù)的濃淡差的邊界(邊緣)的算符。對水平方向邊緣檢測用佐貝爾過濾器的各數(shù)值乘以相對應(yīng)的像素的亮度值后合計得到的值作為位于過濾器中央的像素的水平方向邊緣值。同樣，對垂直方向邊緣檢測用佐貝爾過濾器的各數(shù)值乘以相對應(yīng)的像素的亮度值后合計得到的值作為位于過濾器中央的像素的垂直方向邊緣值。邊緣值在該方向的亮度變化大的部分，其絕對值變大。亮度的變化小的部分，其絕對值小。沒有亮度變化的部分，其邊緣值為O。g卩，邊緣值在某個方向相當(dāng)于亮度的偏微分。只要能夠表示某個方向的亮度變化的程度，邊緣值也可以是采用圖7A或圖7B的佐貝爾過濾器的運算以外的方法求得的數(shù)值。可以對圖像的各像素運算水平方向邊緣值和垂直方向邊緣值。將各像素的水平方向邊緣值按照原圖像的像素的排列進(jìn)行排列后的圖像稱為水平邊緣圖像。將各像素的垂直方向邊緣值按照原圖像的像素進(jìn)行排列后的圖像稱為垂直邊緣圖像。邊緣值并不局限于圖像的水平方向或垂直方向，也可以是畫面的任意方向的亮度變化。例如，可以將朝圖像的右上45度方向的亮度變化、或朝圖像的右下45度方向的亮度變化作為邊緣值進(jìn)行計算。當(dāng)在2個方向取邊緣值時，希望取相互正交的方向的亮度變化。由于圖像通常是利用分割成水平和垂直的格子的像素排列來表示，因此邊緣值也按照水平方向和垂直方向2個方向進(jìn)行計算。當(dāng)利用圖7A的水平方向邊緣檢測用佐貝爾過濾器時，圖像的從左向右的亮度從明到暗變化的像素的水平方向邊緣值為正，從暗到明變化的像素的水平方向邊緣值為負(fù)。從左向右從明到暗變化的像素中，水平方向邊緣值在規(guī)定值以上的點稱為縱向正邊緣。還有，從左向右從暗到明變化的像素中，水平方向邊緣值在規(guī)定值以上的點稱為縱向負(fù)邊緣。當(dāng)利用圖7B的垂直方向邊緣檢測用佐貝爾過濾器時，圖像的從上向下的亮度從明到暗變化的像素的垂直方向邊緣值為正，從暗到明變化的像素的垂直方向邊緣值為負(fù)。從上向下從明到暗變化的像素中，垂直方向邊緣值在規(guī)定值以上的點稱為橫正邊緣。還有，從上向下從暗到明變化的像素中，垂直方向邊緣值在規(guī)定值以上的點稱為橫向負(fù)邊緣。邊緣計算部23利用例如圖7A和圖7B所示的過濾器，根據(jù)眼睛搜索區(qū)域E計算出水平邊緣圖像和垂直邊緣圖像。圖8是示意性表示眼睛搜索區(qū)域E的原圖像的例子的圖。在圖8中，利用斜線表示圖像的暗區(qū)域。作為舉例，圖8表示出現(xiàn)上瞼的影子的情況。圖9A表示根據(jù)眼睛搜索區(qū)域E的原圖像計算的垂直方向邊緣的例子。圖9B表示根據(jù)眼睛搜索區(qū)域E的原圖像計算出的水平方向邊緣的例子。在圖9A中，利用橫向正邊緣A表示從上向下從明到暗變化的點，利用橫向負(fù)邊緣B表示從上向下從暗到明變化的點。在橫向正邊緣A中，主要的部分稱為上瞼候選。在橫向負(fù)邊緣B中，主要的部分稱為下瞼候選。另外，計算眉的上下邊緣、上瞼的影子(或者眼影(eyeshadow))的下邊緣、虹彩的下邊緣等作為垂直方向邊緣。在圖9B中，利用縱向正邊緣C表示從左向右從明到暗變化的點，利用縱向負(fù)邊緣D表示從左向右從暗到明變化的點。由于在上瞼的兩端出現(xiàn)縱向邊緣(水平方向邊緣)，上瞼大致從左起由縱向正邊緣C、橫向正邊緣A、縱向負(fù)邊緣D構(gòu)成。由于在下瞼處出現(xiàn)橫向負(fù)邊緣B(垂直方向邊緣)，而基本上不出現(xiàn)縱向邊緣(水平方向邊緣)。由于在圖7B中，眼睛搜索區(qū)域E在橫向取的較寬，因此面部輪廓也出現(xiàn)縱向邊緣。另夕卜，計算眼窩的影子、上瞼的影子(或者眼影)、虹彩的左右邊緣等作為水平方向邊緣。邊緣計算部23還從計算的邊緣中，除去濃淡差(構(gòu)成水平方向/垂直方向邊緣的像素的、水平方向/垂直方向的邊緣值的差)小于規(guī)定值的邊緣。與圖9A和圖9B相對應(yīng)，圖9C和圖9D表示分別除去濃淡差小的邊緣后的圖。邊緣計算部23將所計算的水平方向邊緣和垂直方向的邊緣作為水平垂直邊緣數(shù)據(jù)53，存儲在數(shù)據(jù)保持部5中。邊緣標(biāo)記部24從水平垂直邊緣數(shù)據(jù)53中，除去邊緣值的絕對值具有在規(guī)定閾值以上的像素連續(xù)的個數(shù)小于規(guī)定值(連續(xù)點數(shù))的邊緣。這里，所謂除去邊緣，相當(dāng)于將該像素的邊緣值設(shè)定為0(沒有亮度變化的點)。還有，將規(guī)定長度以上連續(xù)的點作為邊緣進(jìn)行分組。圖9E是表示從圖9C的垂直方向邊緣進(jìn)行瞼邊緣標(biāo)記處理后的結(jié)果的圖。圖9F是表示從圖9D的水平方向邊緣中、進(jìn)行瞼邊緣標(biāo)記處理后的結(jié)果的圖。通過在邊緣圖像中除去作為噪聲的短邊緣點，能夠更正確地進(jìn)行后述的利用圖像窗口的掃描處理和最大值的判斷。邊緣標(biāo)記部24將迸行了噪聲除去處理的水平垂直邊緣圖像的數(shù)據(jù)作為候選邊緣數(shù)據(jù)54存儲在數(shù)據(jù)保持部5中。在圖9E和圖9F中，刪除了短邊緣。在候選邊緣數(shù)據(jù)54中，作為一個整體的邊緣，對連續(xù)的點進(jìn)《亍^H己。圖io是重疊表示進(jìn)行了瞼邊緣標(biāo)記處理的結(jié)果的垂直方向邊緣和水平方向邊緣的圖。表示在兩側(cè)存在縱向正邊緣C和縱向負(fù)邊緣D的橫向正邊緣A其確實是上瞼候選。圖像窗口掃描部25利用以規(guī)定形狀選擇的像素的集合即圖像窗口，對候選邊緣數(shù)據(jù)54(或者，水平垂直邊緣數(shù)據(jù)53)進(jìn)行掃描，計算出對圖像窗口內(nèi)的像素對應(yīng)的邊緣值乘以圖像窗口的按每個像素的規(guī)定值并相加的加權(quán)和。逐個像素地移動圖像窗口，每次移動時，計算出圖像窗口中包含的像素的加權(quán)和?；趹?yīng)該檢測的面部特征點的性質(zhì)，設(shè)定與邊緣值相乘的規(guī)定值即加權(quán)系數(shù)。加權(quán)系數(shù)在圖像窗口內(nèi)為固定值，例如可以為l、或者-1。或者，也可以在圖像窗口內(nèi)按每個像素不同的值。加權(quán)系數(shù)在全部像素中為1時，加權(quán)和為圖像窗口內(nèi)的像素的邊緣值的和。加權(quán)系數(shù)在全部像素中為-1時，加權(quán)和為將圖像窗口內(nèi)的像素的邊緣值進(jìn)行符號反轉(zhuǎn)后相加的值。圖像窗口有時由掃描水平邊緣圖像的水平邊緣窗口、和掃描垂直邊緣圖像的垂直邊緣窗口構(gòu)成。在掃描時，水平邊緣窗口和垂直邊緣窗口具有固定的位置關(guān)系。此時，圖像窗口掃描部25對與水平邊緣窗口內(nèi)的像素對應(yīng)的水平方向邊緣值乘以水平邊緣窗口的按每個像素的規(guī)定值并相加的加權(quán)和、和與垂直邊緣窗口內(nèi)的像素對應(yīng)的垂直方向邊緣值乘以垂直邊緣窗口的按每個像素的規(guī)定值并相加的加權(quán)和之和作為整體的加權(quán)和(總和)。圖像窗口掃描部25將計算出的加權(quán)和或總和作為掃描記分?jǐn)?shù)據(jù)56，存儲在數(shù)據(jù)保持部5中。特征位置判斷部26將圖像窗口掃描部25計算為加權(quán)和(或總和)中取最大值的圖像窗口的位置判斷為存在作為檢測對象的特征點的位置。圖11至圖13為說明圖像窗口掃描和特征點檢測的圖。圖11至圖13放大表示圖IO的長方形R所包圍的區(qū)域。圖像窗口由水平邊緣窗口7L、7R、與垂直邊緣窗口8構(gòu)成。圖像窗口掃描部25保持固定的水平邊緣窗口7L及7R、與垂直邊緣窗口8的位置關(guān)系，對水平垂直邊緣圖像進(jìn)行掃描。在圖11中，利用2點劃線表示加權(quán)和的總和為最大的圖像窗口的位置。圖12表示利用分解圖像窗口的垂直邊緣窗口進(jìn)行掃描。利用垂直邊緣窗口8掃描垂直邊緣圖像，為了表示與水平邊緣窗口7L、7R具有固定的位置關(guān)系，利用虛線表示這些窗口。在圖12中，利用2點劃線表示加權(quán)和的總和為最大的垂直邊緣窗口8的位置。為了檢測上瞼的橫向正邊緣，垂直邊緣窗口8的加權(quán)系數(shù)為例如固定的值"1"。由于橫向負(fù)邊緣的邊緣值為負(fù)，因此垂直邊緣窗口8中不會成為最大。這樣，不會檢測出圖12的橫向負(fù)邊緣B。只有垂直邊緣窗口8單獨存在時的加權(quán)和的最大值有可能成為以圖12的2點劃線所示位置的稍下方。只有垂直邊緣窗口8單獨存在時，有時不能確定水平方向的位置。圖13表示利用分解圖像窗口的水平邊緣窗口進(jìn)行掃描。利用水平邊緣窗口7L、7R掃描垂直邊緣圖像，為了表示與垂直邊緣窗口8具有固定的位置關(guān)系，利用虛線表示垂直邊緣窗口8。在圖13中，利用2點劃線表示加權(quán)和的總和為最大的水平邊緣窗口7L、7R的位置。為了檢測上瞼的縱向正邊緣C，水平邊緣窗口7L的加權(quán)系數(shù)為例如固定的值"l"。為了檢測上瞼的縱向負(fù)邊緣D，水平邊緣窗口7R的加權(quán)系數(shù)為例如固定的值"-l"。因此，如圖13的2點劃線所示，水平邊緣窗口7L位于縱向正邊緣C、水平邊緣窗口7R位于縱向負(fù)邊緣D時，加權(quán)和為最大。只有水平窗口Whl、7R單獨存在時，加權(quán)和的最大值可能位于離幵圖13的2點劃線所示的位置稍向上方處，但可以從與垂直窗口Wv的關(guān)系，確定總和的最大值的位置。圖11為將圖12的垂直邊緣圖像與圖13的水平邊緣圖像重疊在一起的圖。如前所述，水平邊緣窗口7L、7R與垂直邊緣窗口8保持固定的位置關(guān)系，分別掃描水平邊緣圖像和垂直邊緣圖像，將加權(quán)和的總和為最大的圖像窗口的位置作為檢測位置。其結(jié)果，例如，將圖11的2點劃線所示的圖像窗口的位置判斷為上瞼的位置。圖14是表示圖像窗口的不同的例子的圖。在圖像窗口中，水平邊緣窗口7L、7R不需要與垂直邊緣窗口8接觸，只要具有固定的相互位置關(guān)系，像素可以重復(fù)，也可以分開。在圖14中，表示水平邊緣窗口7L、7R與垂直邊緣窗口8的像素出現(xiàn)重復(fù)的例子。圖像窗口也可以不是由以長方形選擇的像素的集合即部分窗口所構(gòu)成。可以對應(yīng)所檢測的特征點來確定圖像窗口的形狀。例如，可以為圓弧的一部分或這些圓弧的集合、或者為統(tǒng)計確定的像素的圖案。還有，也可以基于應(yīng)該檢測的面部的特征點的性質(zhì)來設(shè)定加權(quán)系數(shù)。圖15是表示檢測下瞼時的圖像窗口的例子的圖。由于在下瞼處基本上不出現(xiàn)水平方向邊緣，因此可以掃描垂直邊緣圖像。例如，以圖15所示的圖像窗口6來掃描垂直邊緣圖像，判斷圖15中2點劃線所示的、加權(quán)和為最大的位置。如果檢測出上瞼位置，也可以進(jìn)一步限定利用檢測下瞼的圖像窗口6進(jìn)行掃描的范圍。如上說明所示，可以確定上瞼和下瞼的位置。圖16表示所檢測的上瞼和下瞼的垂直方向邊緣A、B。瞼判斷部27根據(jù)位于上瞼和下瞼的位置的邊緣的數(shù)據(jù)來判斷眼睛的開閉度。顯示處理部28將檢測結(jié)果的上下瞼與面部輪廓一起顯示在顯示裝置4上。從上下瞼的開閉度推定駕駛員的覺醒度，當(dāng)判斷為打瞌睡時，也可以在顯示裝置4顯示警告(包括音響等)。還有，也可以在推定視線的方向時，利用上下瞼數(shù)據(jù)。接著，說明眼部檢測裝置1的動作。另外，眼部檢測裝置I的動作由控制部14與攝像機(jī)2、發(fā)送接收部16、圖像存儲器12、外部存儲部13和主存儲部15協(xié)同進(jìn)行。圖17是表示面部特征點檢測處理的動作的一個例子的流程圖。控制部14經(jīng)由發(fā)送接收部16，輸入來自攝像機(jī)2的面部圖像(步驟S1)。然后，如前所述，設(shè)定面部區(qū)域，在面部區(qū)域中設(shè)定眼睛搜索區(qū)域(步驟S2)?？刂撇?4在所設(shè)定的眼睛搜索區(qū)域內(nèi)，計算水平方向邊緣和垂直方向邊緣(步驟S3)?？刂撇?4對于所計算的水平方向邊緣和垂直方向邊緣，進(jìn)行分組，進(jìn)行刪除小于規(guī)定長度(連續(xù)點數(shù))的邊緣等的瞼邊緣標(biāo)記處理(步驟S4)。還有，初始設(shè)定圖像窗口在邊緣圖像內(nèi)的位置。接著，控制部14計算出對與水平邊緣窗口內(nèi)的像素對應(yīng)的水平方向邊緣值乘以水平邊緣窗口的按每個像素的規(guī)定值并相加的加權(quán)和、與垂直邊緣窗口內(nèi)的像素對應(yīng)的垂直方向邊緣值乘以垂直邊緣窗口的按每個像素的規(guī)定值并相加的加權(quán)和，計算其總和(步驟S5)。將計算的總和作為在該圖像窗口的位置的值進(jìn)行存儲?？刂撇?4讓圖像窗口移動1個像素(步驟S6)。判斷圖像窗口是否在搜索區(qū)域內(nèi)，如果在搜索區(qū)域內(nèi)(步驟S7:是)，則回到步驟S5，計算圖像窗口的加權(quán)和的總和。如果圖像窗口不在搜索區(qū)域內(nèi)(步驟S7:否)，則將圖像窗口移到下一行(步驟S8)。然后，如果圖像窗口在搜索區(qū)域內(nèi)(步驟S9:是)，則從圖像窗口的加權(quán)和的計算(步驟S5)開始重復(fù)進(jìn)行。將圖像窗口移到下一行(步驟S8)，如果圖像窗口不在搜索區(qū)域內(nèi)(步驟S9:否)，則檢測特征點的位置(步驟SIO)。g卩，將在步驟S5計算的加權(quán)和的總和中、取最大值的圖像窗口的位置判斷為特征點的檢測位置。提取出位于該圖像窗口位置的水平方向邊緣和/或垂直方向邊緣作為構(gòu)成特征點的邊緣。利用本發(fā)明的眼部檢測裝置1，即使在外部亂光照射下、或出現(xiàn)面部形貌等個人差別，也能夠根據(jù)面部圖像數(shù)據(jù)高精度地檢測眼睛。在本實施方式中，以瞼檢測為例進(jìn)行了說明。但通過與應(yīng)檢測的對象相對應(yīng)，設(shè)定圖像窗口和加權(quán)系數(shù)，能夠利用本發(fā)明的方法，檢測瞼以外的特征點。即使在搜索特征點的面部圖像中含有噪聲成分，通過除去作為噪聲成分的小于規(guī)定值的邊緣線，可以在某種程度上除去噪聲，從而能夠進(jìn)一步正確地判斷特征點的位置。在本實施方式中，將加權(quán)和為最大的圖像窗口的位置判斷為檢測對象存在的檢測位置，但并不限定與此，也可以在各窗口內(nèi)確定邊緣的最大值，基于邊緣數(shù)的最大值等，判斷檢測對象存在的檢測位置。另外，上述硬件結(jié)構(gòu)和流程圖為一個例子，可以進(jìn)行任意變更和修正。另外，進(jìn)行由控制部14、發(fā)送接收部16、圖像存儲器12、外部存儲部13和主存儲部15等構(gòu)成的眼部檢測裝置1的處理的中心部分可以不依賴專用的系統(tǒng)，而采用通常的計算機(jī)系統(tǒng)來實現(xiàn)。例如，也可以將進(jìn)行上述動作的計算機(jī)程序存放在計算機(jī)能夠讀取的存儲媒介(軟盤、CD-ROM、DVD-ROM等)中進(jìn)行發(fā)布，通過將該計算機(jī)程序安裝到計算機(jī)中，構(gòu)成執(zhí)行上述處理的眼部檢測裝置1。還有，也可以將該計算機(jī)程序存放在因特網(wǎng)等通信網(wǎng)絡(luò)上的服務(wù)器裝置具有的存儲裝置中，通常的計算機(jī)系統(tǒng)通過下載等實現(xiàn)眼部檢測裝置1。還有，在OS(OperatingSystem)與應(yīng)用程序分擔(dān)、或者OS與應(yīng)用程序協(xié)同實現(xiàn)上述眼部檢測裝置1的功能時，也可以只將應(yīng)用程序部分存放在存儲媒體或存儲裝置中。還有，也可以在載波中疊加計算機(jī)程序，經(jīng)由通信網(wǎng)絡(luò)進(jìn)行分發(fā)。例如，也可以在通信網(wǎng)絡(luò)上的廣告板(BBS,BulletinBoardSystem)上發(fā)布上述計算機(jī)程序，經(jīng)由網(wǎng)絡(luò)，分發(fā)上述計算機(jī)程序。然后，啟動該計算機(jī)程序，在OS控制下，與其他應(yīng)用程序一樣運行，進(jìn)行上述處理。權(quán)利要求1.一種面部特征點檢測裝置，具有圖像獲取機(jī)構(gòu)，其獲取面部圖像；邊緣計算機(jī)構(gòu)，其根據(jù)上述面部圖像計算出表示某方向的亮度變化的邊緣值；和檢測對象判斷機(jī)構(gòu)，其針對將上述邊緣計算機(jī)構(gòu)計算出的按每個像素的邊緣值與上述面部圖像的像素對應(yīng)地排列的邊緣圖像，利用以規(guī)定形狀選擇的像素的集合即圖像窗口進(jìn)行掃描，對與上述圖像窗口內(nèi)的像素對應(yīng)的上述邊緣值乘以上述圖像窗口的按每個像素的規(guī)定值并進(jìn)行相加的加權(quán)和為最大的上述圖像窗口的位置判斷為存在檢測對象的檢測位置。2.根據(jù)權(quán)利要求1所述的面部特征點檢測裝置，其特征在于上述圖像窗口由在上述邊緣圖像的掃描中彼此的位置關(guān)系固定的多個部分窗口構(gòu)成，所述多個部分窗口的每一個是以規(guī)定形狀選擇的像素的集合，上述檢測對象判斷機(jī)構(gòu)將與上述多個部分窗口的各個像素對應(yīng)的上述邊緣值的加權(quán)和的所有上述部分窗口的總和為最大的上述圖像窗口的位置判斷為存在檢測對象的檢測位置。3.根據(jù)權(quán)利要求2所述的面部特征點檢測裝置，其特征在于上述邊緣計算機(jī)構(gòu)計算出水平邊緣圖像和垂直邊緣圖像，上述水平邊緣圖像是將表示水平方向的亮度變化的水平方向邊緣值與上述面部圖像的像素對應(yīng)地排列的圖像，上述垂直邊緣圖像是將表示垂直方向的亮度變化的垂直方向邊緣值與上述面部圖像的像素對應(yīng)地排列的圖像，上述圖像窗口包括水平邊緣窗口和垂直邊緣窗口，上述水平邊緣窗口是掃描上述水平邊緣圖像的以規(guī)定形狀選擇的像素的集合，上述垂直邊緣窗口是掃描上述垂直邊緣圖像的以規(guī)定形狀選擇的像素的集合，上述水平邊緣窗口和上述垂直邊緣窗口在上述邊緣圖像的掃描中彼此的位置關(guān)系固定，上述檢測對象判斷機(jī)構(gòu)將對應(yīng)于上述水平邊緣窗口的像素的上述水平方向邊緣值的加權(quán)和、與對應(yīng)于上述垂直邊緣窗口的像素的上述垂直方向邊緣值的加權(quán)和的總和為最大的上述圖像窗口的位置判斷為存在檢測對象的檢測位置。4.根據(jù)權(quán)利要求3所述的面部特征點檢測裝置，其特征在于上述檢測對象為眼睛，上述垂直邊緣窗口與瞼的垂直邊緣對應(yīng)，上述水平邊緣窗口與外眼角或內(nèi)眼角的水平邊緣對應(yīng)。5.根據(jù)權(quán)利要求4所述的面部特征點檢測裝置，其特征在于與外眼角和內(nèi)眼角分別對應(yīng)的2個上述水平邊緣窗口分別配置在上述垂直邊緣窗口的兩側(cè)下部。6.根據(jù)權(quán)利要求l一5中任一項所述的面部特征點檢測裝置，其特征在于具有噪聲除去機(jī)構(gòu)，其從上述邊緣圖像中除去上述邊緣值的絕對值具有規(guī)定閾值以上的值的像素連續(xù)的個數(shù)小于規(guī)定值的邊緣。7.—種面部特征點檢測方法，包括根據(jù)面部圖像計算出表示某方向的亮度變化的邊緣值的邊緣計算步驟；禾口針對將上述邊緣計算步驟中計算出的按每個像素的邊緣值與上述面部圖像的像素對應(yīng)地排列的邊緣圖像，利用以規(guī)定形狀選擇的像素的集合即圖像窗口進(jìn)行掃描，對與上述圖像窗口內(nèi)的像素對應(yīng)的上述邊緣值乘以上述圖像窗口的按每個像素的規(guī)定值并相加的加權(quán)和為最大的上述圖像窗口的位置判斷為存在檢測對象的檢測位置的檢測對象判斷步驟。8.—種程序，使計算機(jī)作為如下機(jī)構(gòu)發(fā)揮功能根據(jù)面部圖像計算出表示某方向的亮度變化的邊緣值的邊緣計算機(jī)構(gòu)；禾口針對將上述邊緣計算機(jī)構(gòu)計算出的按每個像素的邊緣值與上述面部圖像的像素對應(yīng)地排列的邊緣圖像，利用以規(guī)定形狀選擇的像素的集合即圖像窗口進(jìn)行掃描，對與上述圖像窗口內(nèi)的像素對應(yīng)的上述邊緣值乘以上述圖像窗口的按每個像素的規(guī)定值并相加的加權(quán)和為最大的上述圖像窗口的位置判斷為存在檢測對象的檢測位置的檢測對象判斷機(jī)構(gòu)。全文摘要本發(fā)明提供一種即使存在外部亂光或個人差別，也能夠提供根據(jù)面部圖像高精度地檢測特征點的裝置。利用攝像機(jī)(2)和圖像輸入部(21)獲取面部圖像數(shù)據(jù)(51)。邊緣計算部(23)根據(jù)面部圖像數(shù)據(jù)(51)，計算出表示水平方向的亮度變化的水平方向邊緣值、或表示垂直方向的亮度變化的垂直方向邊緣值。圖像窗口掃描部(25)針對將邊緣計算部(23)計算的按每個像素的水平方向或垂直方向的邊緣值與面部圖像的像素對應(yīng)地排列的邊緣圖像，利用以規(guī)定形狀選擇的像素的集合即圖像窗口進(jìn)行掃描，對圖像窗口內(nèi)的像素對應(yīng)的邊緣值乘以圖像窗口的按每個像素的規(guī)定值并相加加權(quán)和作為掃描記分?jǐn)?shù)據(jù)(56)。特征位置判斷部(26)將加權(quán)和為最大的上述圖像窗口的位置判斷為存在檢測對象的檢測位置。文檔編號G06K9/00GK101266648SQ20081008338公開日2008年9月17日申請日期2008年3月13日優(yōu)先權(quán)日2007年3月13日發(fā)明者吉永敬彥,大上健一,小島真一,蜷川勇二,足立淳,鈴木智晴,高橋健太郎,魚住重康申請人:愛信精機(jī)株式會社;豐田自動車株式會社