眼部檢測(cè)裝置、方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及車輛等的操作者的眼部檢測(cè)裝置、方法。
【背景技術(shù)】
[0002] 近年來(lái)，根據(jù)所拍攝到的靜態(tài)圖像或動(dòng)態(tài)圖像，識(shí)別人臉的人臉識(shí)別技術(shù)的開(kāi)發(fā) 正在進(jìn)展。提出了如下裝置：在車輛中，通過(guò)檢測(cè)操作者的眨眼的動(dòng)作，來(lái)檢知心不在焉地 開(kāi)車或打瞌睡駕駛，并對(duì)操作者發(fā)出警告。
[0003]例如，專利文獻(xiàn)1所記載的裝置，逐次拍攝包括駕駛員的左眼區(qū)域（窗）的圖像， 根據(jù)最新的圖像與前一幅圖像的比較來(lái)決定圖像間的亮度的差分超過(guò)規(guī)定值的區(qū)域，并算 出亮度增加的區(qū)域與亮度減少的區(qū)域的面積之差。該時(shí)序數(shù)據(jù)與規(guī)定的眨眼圖案進(jìn)行比 較，由此提取駕駛員的眨眼動(dòng)作，并執(zhí)行用于防止打瞌睡的處置。即，該裝置以單眼的區(qū)域 為基準(zhǔn)來(lái)檢測(cè)眨眼動(dòng)作。因此，在人臉移動(dòng)了的情況下，眼睛的位置及形狀變化，成為檢測(cè) 的基準(zhǔn)的區(qū)域也同樣變化。為此，難以精確地捕捉到成為檢測(cè)的基準(zhǔn)的區(qū)域，眨眼動(dòng)作的誤 檢測(cè)頻發(fā)。
[0004] 另外，專利文獻(xiàn)2所記載的眼瞼檢測(cè)裝置，提取拍攝圖像間的差分超過(guò)規(guī)定值的 區(qū)域（差分區(qū)域）中面積最大的區(qū)域，從該差分區(qū)域中檢測(cè)眼瞼，進(jìn)而根據(jù)眼瞼的變化來(lái)檢 測(cè)眨眼動(dòng)作。該裝置從圖像中提取與駕駛員的人臉相接觸的矩形的區(qū)域，并捕捉該區(qū)域在 多幅圖像間的差分區(qū)域，由此檢測(cè)眨眼動(dòng)作。即，為了檢測(cè)眨眼而進(jìn)行比較的區(qū)域以人臉的 輪廓為基準(zhǔn)來(lái)確定。
[0005]在此，在駕駛員確認(rèn)后視鏡的情況下，拍攝圖像中的人臉的角度在相對(duì)于車輛行 進(jìn)方向的橫擺（偏航）方向等上變化。為此，成為眨眼的檢測(cè)對(duì)象的矩形的區(qū)域的形狀及 大小會(huì)發(fā)生變化，眼睛以外的區(qū)域即鼻子、眉毛、臉端部（face end)等中也產(chǎn)生差分區(qū)域。 面積變化最大的差分區(qū)域在眼睛以外的情況下，眼睛以外的區(qū)域例如臉端、眉毛等會(huì)被誤 檢測(cè)為眼睛。即，在專利文獻(xiàn)2所記載的裝置中，以人臉的輪廓為基準(zhǔn)來(lái)設(shè)定眼瞼檢測(cè)所用 的區(qū)域，因此在人臉的輪廓大幅地變化的情況下，容易發(fā)生誤檢測(cè)。
[0006]這樣，在以往的裝置中，在駕駛員的臉部伴有運(yùn)動(dòng)的情況下，發(fā)生誤檢測(cè)。
[0007] 專利文獻(xiàn)
[0008] 專利文獻(xiàn)1:日本特開(kāi)2000-040148號(hào)公報(bào)（專利第3012226號(hào)）
[0009]專利文獻(xiàn) 2 :US2008/0212850
[0010] 如上所述，在專利文獻(xiàn)1的裝置中，基于僅單眼的區(qū)域而檢測(cè)眨眼，因此伴隨著人 臉整體的運(yùn)動(dòng)，檢測(cè)所用的區(qū)域變化，容易發(fā)生眨眼的誤檢測(cè)。另外，專利文獻(xiàn)2的裝置以 人臉的輪廓為基準(zhǔn)而設(shè)定眨眼的檢測(cè)所用的區(qū)域，因此同樣地伴隨著人臉整體的運(yùn)動(dòng)，容 易發(fā)生誤檢測(cè)。

【發(fā)明內(nèi)容】

[0011] 本發(fā)明是鑒于上述的課題而做出的，本發(fā)明的目的在于，提供即使在人臉移動(dòng)了 的情況下也能夠正確地檢測(cè)駕駛員的眨眼動(dòng)作的眼部檢測(cè)裝置、方法。
[0012] 本發(fā)明所涉及的眼部檢測(cè)裝置具有：輸入單元，輸入每隔規(guī)定的時(shí)間所拍攝到的 人臉的圖像；提取單元，基于包括鼻子在內(nèi)的特征點(diǎn)，從所述圖像中提取眼睛搜索區(qū)域；對(duì) 應(yīng)關(guān)聯(lián)單元，基于第一時(shí)間的所述特征點(diǎn)與第二時(shí)間的所述特征點(diǎn)的位置的比較的結(jié)果， 將第一時(shí)間的所述眼睛搜索區(qū)域與第二時(shí)間的所述眼睛搜索區(qū)域相對(duì)應(yīng)關(guān)聯(lián)；決定單元， 基于對(duì)應(yīng)關(guān)聯(lián)的所述第一及第二時(shí)間的所述眼睛搜索區(qū)域，從所述第一及第二時(shí)間的眼睛 搜索區(qū)域中決定眼部區(qū)域的單元。
[0013] 所述對(duì)應(yīng)關(guān)聯(lián)單元，基于第一時(shí)間的所述眼睛搜索區(qū)域與第二時(shí)間的所述眼睛搜 索區(qū)域的對(duì)應(yīng)關(guān)聯(lián)，決定所述第一及第二時(shí)間的眼睛搜索區(qū)域之間的位置偏差量。
[0014] 所述對(duì)應(yīng)關(guān)聯(lián)單元，將第一時(shí)間的所述眼睛搜索區(qū)域作為模板，對(duì)第二時(shí)間的所 述眼睛搜索區(qū)域執(zhí)行模板匹配。
[0015] 所述提取單元，基于第一及第二時(shí)間的所述眼睛搜索區(qū)域內(nèi)的至少一個(gè)像素的亮 度的差，修正第一時(shí)間或第二時(shí)間的所述眼睛搜索區(qū)域的亮度。
[0016] 所述決定單元具備差分圖像作成單元，該差分圖像作成單元對(duì)于第一時(shí)間的所述 眼睛搜索區(qū)域與第二時(shí)間的所述眼睛搜索區(qū)域中的所述對(duì)應(yīng)關(guān)聯(lián)的每個(gè)像素，算出亮度的 差分值。
[0017] 所述決定單元，在所述對(duì)應(yīng)關(guān)聯(lián)的眼睛搜索區(qū)域中，將相對(duì)位置滿足規(guī)定條件的 一對(duì)區(qū)域決定為眼部區(qū)域。
[0018] 所述決定單元還具備三值化處理單元，該三值化處理單元將所述差分值三值化。
[0019] 所述決定單元，基于所述眼睛搜索區(qū)域內(nèi)的產(chǎn)生了差分的區(qū)域的總數(shù)，來(lái)決定是 否檢測(cè)眼部區(qū)域。
[0020] 所述決定單元，基于所述眼睛搜索區(qū)域內(nèi)的產(chǎn)生了差分的各區(qū)域的總面積，來(lái)決 定是否檢測(cè)眼部區(qū)域。
[0021] 還提供一種眼部檢測(cè)方法，具有：
[0022] 輸入每隔一定時(shí)間拍攝到的人臉的圖像并基于包括鼻子的特征點(diǎn)而從所述圖像 中提取眼睛搜索區(qū)域的步驟；
[0023] 基于第一時(shí)間的所述特征點(diǎn)與第二時(shí)間的所述特征點(diǎn)的位置的比較的結(jié)果，將第 一時(shí)間的所述眼睛搜索區(qū)域與第二時(shí)間的所述眼睛搜索區(qū)域?qū)?yīng)關(guān)聯(lián)的步驟；
[0024] 基于所述對(duì)應(yīng)關(guān)聯(lián)的第一及第二時(shí)間的所述眼睛搜索區(qū)域而從所述第一及第二 時(shí)間的眼睛搜索區(qū)域中決定眼部區(qū)域的步驟。
[0025] 發(fā)明的效果
[0026] 根據(jù)本發(fā)明，眼睛搜索區(qū)域基于包括鼻子的特征點(diǎn)而決定，并基于第一時(shí)間的特 征點(diǎn)與第二時(shí)間的特征點(diǎn)的位置的比較，將第一時(shí)間的眼睛搜索區(qū)域與第二時(shí)間的眼睛搜 索區(qū)域?qū)?yīng)關(guān)聯(lián)。基于對(duì)應(yīng)關(guān)聯(lián)的第一及第二時(shí)間的眼睛搜索區(qū)域，從第一及第二時(shí)間的 眼睛搜索區(qū)域中決定眼部區(qū)域。即使在人臉的朝向變化了的情況下，鼻子的形狀變化也比 較小。另外，鼻子位于人臉中心附近，因此即使在人臉旋轉(zhuǎn)了的情況下，鼻子與眼部的相對(duì) 位置的變化也較小。
[0027] 通過(guò)以鼻子為基準(zhǔn)來(lái)決定眼睛搜索區(qū)域，即使在人臉構(gòu)成的形狀變化了的情況 下，也能夠正確地檢測(cè)眼部位置。
[0028] 另外，基于第一時(shí)間的眼睛搜索區(qū)域與第二時(shí)間的眼睛搜索區(qū)域的對(duì)應(yīng)關(guān)聯(lián)而決 定第一及第二時(shí)間的眼睛搜索區(qū)域之間的位置偏差量，由此能夠正確地提取眼部區(qū)域。
[0029] 另外，根據(jù)本發(fā)明，以第一時(shí)間的眼睛搜索區(qū)域?yàn)槟０鍋?lái)執(zhí)行第二時(shí)間的眼睛搜 索區(qū)域模板匹配，所以能夠進(jìn)行正確的位置偏差修正。
[0030] 根據(jù)本發(fā)明，提取眼睛搜索區(qū)域的單元基于第一及第二時(shí)間的眼睛搜索區(qū)域內(nèi)的 至少一個(gè)像素的亮度的差，修正第一時(shí)間或第二時(shí)間的眼睛搜索區(qū)域的亮度，所以能夠高 速地執(zhí)行修正幀間的亮度的差的處理。
[0031] 根據(jù)本發(fā)明，算出眼睛搜索區(qū)域的平均亮度，并基于平均亮度而修正眼睛搜索區(qū) 域的圖像的亮度，因此即使在第一時(shí)間和第二時(shí)間，周圍的照明變化了的情況下，也能夠進(jìn) 行眼部區(qū)域的恰當(dāng)?shù)臎Q定。
[0032] 另外，根據(jù)本發(fā)明，在對(duì)應(yīng)關(guān)聯(lián)的眼睛搜索區(qū)域中，將相對(duì)位置滿足規(guī)定條件的一 對(duì)區(qū)域決定為眼部區(qū)域。人的眼睛在水平方向的距離處于規(guī)定的范圍且垂直方向的高度大 致一致，因此通過(guò)對(duì)水平方向及垂直方向的位置進(jìn)行比較，能夠正確地決定眼部區(qū)域。
[0033] 另外，本發(fā)明具備三值化處理單元，該三值化處理單元按第一時(shí)間的眼睛搜索區(qū) 域與第二時(shí)間的眼睛搜索區(qū)域的對(duì)應(yīng)關(guān)聯(lián)的每個(gè)像素而算出亮度的差分值，并使所述差分 值三值化。通過(guò)使對(duì)應(yīng)關(guān)聯(lián)的每個(gè)像素的差分值三值化，能夠正確地辨別眼睛搜索區(qū)域內(nèi) 的、亮度變化較少的區(qū)域、從亮變化為暗的區(qū)域、從暗變化為亮的區(qū)域。因此，能夠正確地檢 測(cè)眼瞼閉合的情況和眼瞼睜開(kāi)的情況。
[0034] 本發(fā)明基于眼睛搜索區(qū)域內(nèi)的產(chǎn)生了差分的區(qū)域的總數(shù)而決定是否檢測(cè)眼部區(qū) 域。另外，基于眼睛搜索區(qū)域內(nèi)的產(chǎn)生了差分的各區(qū)域的總面積而決定是否檢測(cè)眼睛區(qū)域。 由此，即使在駕駛員使用眼鏡等的情況下，也能夠?qū)⒃肼暥嗟膱D像排除在外，所以能夠恰當(dāng) 地決定眼部區(qū)域。
【附圖說(shuō)明】
[0035] 圖1是本發(fā)明的實(shí)施方式所涉及的眼部檢測(cè)裝置的車輛搭載圖。
[0036] 圖2是本發(fā)明的實(shí)施方式所涉及的眼部檢測(cè)裝置的概略框圖。
[0037] 圖3是本發(fā)明的實(shí)施方式所涉及的眼部檢測(cè)裝置的功能框圖。
[0038] 圖4是本發(fā)明的實(shí)施方式所涉及的拍攝部4的拍攝圖像的例子。
[0039] 圖5是從圖4提取到的眼睛搜索區(qū)域71的例子。
[0040] 圖6A、6B是本發(fā)明的實(shí)施方式所涉及的拍攝部4的拍攝圖像的亮度的波動(dòng)的例 子，其中，圖6A表示車輛2剛剛通過(guò)隧道的出口后的眼睛搜索區(qū)域71，圖6B表示車輛2從 隧道的入口剛剛進(jìn)入到隧道后的眼睛搜索區(qū)域71。
[0041] 圖7是本發(fā)明的實(shí)施方式所涉及的差分圖像的例子。
[0042] 圖8是本發(fā)明的實(shí)施方式所涉及的差分圖像的濃度直方圖的例子。
[0043] 圖9是本發(fā)明的實(shí)施方式所涉及的三值化圖像的例子。
[0044] 圖10是按面積從大到小的順序?qū)Ρ景l(fā)明的實(shí)施方式所涉及的三值化圖像內(nèi)的差 分區(qū)域進(jìn)行編號(hào)的例子。
[0045] 圖11A、11B是本發(fā)明的實(shí)施方式所涉及的三值化圖像的噪聲的例子，其中，圖11A 表示駕駛員戴著眼鏡的情況下的眼睛搜索區(qū)域71，圖11B表示圖11A的三值化圖像。
[0046] 圖12是對(duì)本發(fā)明的實(shí)施方式所涉及的三值化圖像的兩個(gè)區(qū)域進(jìn)行比較的例子。
[0047] 圖13是對(duì)本發(fā)明的實(shí)施方式所涉及的眼部檢測(cè)方法的概略處理進(jìn)行表示的流程 圖。
[0048] 圖14是本發(fā)明的實(shí)施方式所涉及的幀拍攝的詳細(xì)流程圖。
[0049] 圖15是本發(fā)明的實(shí)施方式所涉及的位置偏差修正處理的詳細(xì)流程。
[0050] 圖16是本發(fā)明的實(shí)施方式所涉及的差分圖像作成處理的詳細(xì)流程。
[0051] 圖17是將本發(fā)明的實(shí)施方式所涉及的差分圖像三值化的詳細(xì)流程。
[0052] 圖18是本發(fā)明的實(shí)施方式所涉及的眼部區(qū)域決定的前處理的詳細(xì)流程。
[0053] 圖19是本發(fā)明的實(shí)施方式所涉及的場(chǎng)面的有效/無(wú)效判斷處理的詳細(xì)流程。
[0054] 圖20是本發(fā)明的實(shí)施方式所涉及的眼部檢測(cè)處理的詳細(xì)流程。
[0055] 附圖標(biāo)記說(shuō)明
[0056] 100眼部檢測(cè)裝置
[0057] 2 車輛
[0058] 4拍攝部
[0059] 6數(shù)據(jù)處理部 [0060] 12眼睛搜索區(qū)域部
[0061] 14位置偏差修正部
[0062] 16差分圖像作成部
[0063] 18三值化處理部
[0064] 22場(chǎng)面判斷部
[0065] 24眼部檢測(cè)部
[0066] 42攝影機(jī)
[0067] 44控制部
[0068] 60 運(yùn)算部（CPU)
[