本發(fā)明涉及一種對(duì)獲取的影像進(jìn)行分析的技術(shù)，且特別是一種凝視分析方法與裝置。

背景技術(shù)：

隨著電子技術(shù)的發(fā)展，影像捕獲裝置已經(jīng)廣泛地見于各種電子裝置中，例如手持裝置、筆記本電腦或電子廣告牌中。配合軟件算法，電子裝置可以對(duì)獲取的影像進(jìn)行凝視分析，以判斷所獲取的影像中的人是否凝視著特定目標(biāo)，并據(jù)此執(zhí)行相關(guān)指令，例如指示目標(biāo)播放特定信息。

目前有凝視分析技術(shù)是采用角膜反射法取得瞳孔中心位置與紅外線反射點(diǎn)的相對(duì)位置來判斷人的視線方向，以藉此判斷人是否凝視著特定目標(biāo)，然而，此種作法需要紅外線輔助，且紅外線離人的眼睛太近，會(huì)有安全性的疑慮。除此之外，此種作法除了需使用高分辨率的影像捕獲裝置外，還有容易因光照而影響分析的準(zhǔn)確率。

另外一種凝視分析技術(shù)是找出內(nèi)外側(cè)眼角，并定位眼球范圍后，檢測(cè)虹膜中心以將其配對(duì)到虹膜邊界模型相對(duì)應(yīng)的位置，從而判斷人是否凝視著特定目標(biāo)。此種作法需要預(yù)先地儲(chǔ)存眼睛模塊，并進(jìn)行復(fù)雜的模型比對(duì)。

再一種凝視分析技術(shù)是記錄瞳孔的影像，并經(jīng)過復(fù)雜的校正與驗(yàn)證程序，以判斷人是否凝視著特定目標(biāo)。

又一種凝視分析技術(shù)是使用電極作為傳感器，并將電極貼附在人臉的皮膚上來感測(cè)眼睛周圍的肌肉運(yùn)動(dòng)行為，以測(cè)量眼睛的水平與垂直的動(dòng)作，并藉此判斷人是否凝視著特定目標(biāo)。

前述凝視分析技術(shù)各有不同的缺點(diǎn)，如需額外輔助裝置、會(huì)受光線影響、需進(jìn)行復(fù)雜的比對(duì)、校正或驗(yàn)證等。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供一種凝視分析方法，其步驟如下。在影像中檢測(cè)到人臉時(shí)，根據(jù)人臉的人臉角度以及人眼角度計(jì)算凝視角度，并判斷凝視角度是否位于第一特定范圍，其中人眼角度依據(jù)左眼虹膜與左眼鞏膜的信息以及右眼虹膜與右眼鞏膜的信息獲得。在凝視角度位于該第一特定范圍時(shí)，計(jì)算焦距以及人臉與目標(biāo)之間的間隔距離的差異值是否位于第二特定范圍，根據(jù)差異值是否位于第二特定范圍的判斷結(jié)果以判斷目標(biāo)是否被凝視，其中焦距依據(jù)左眼虹膜與左眼鞏膜的信息以及右眼虹膜與右眼鞏膜的信息獲得。

本發(fā)明實(shí)施例提供一種凝視分析裝置，其包括一個(gè)以上的電路，以執(zhí)行上述凝視分析方法。

據(jù)此，本發(fā)明實(shí)施例提供的凝視分析方法與裝置是根據(jù)左右眼的虹膜與鞏膜的信息來判斷人眼是否凝視目標(biāo)，因此，相較于先前技術(shù)，其不易受到光照影響，且計(jì)算復(fù)雜度較低，甚至其不需要采用高分辨率的鏡頭與紅外線的輔助，故成本低廉。

為使能更進(jìn)一步了解本發(fā)明的特征及技術(shù)內(nèi)容，請(qǐng)參閱以下有關(guān)本發(fā)明的詳細(xì)說明與附圖，但是此等說明與附圖僅用來說明本發(fā)明，而非對(duì)本發(fā)明的保護(hù)范圍作任何的限制。

附圖說明

圖1是本發(fā)明實(shí)施例的人眼凝視目標(biāo)的示意圖。

圖2是本發(fā)明實(shí)施例的凝視分析裝置的方塊圖。

圖3是本發(fā)明實(shí)施例的凝視分析方法的流程圖。

圖4A是本發(fā)明實(shí)施例的人眼直視前方物體的示意圖。

圖4B是本發(fā)明實(shí)施例的人眼凝視旁邊物體的示意圖。

圖4C是本發(fā)明實(shí)施例的人眼凝視無窮遠(yuǎn)處的示意圖。

圖5是本發(fā)明實(shí)施例的人眼凝視目標(biāo)的人眼角度示意圖。

圖6是本發(fā)明實(shí)施例的人眼凝視目標(biāo)的焦距的示意圖。

圖7是本發(fā)明實(shí)施例通過人臉面積計(jì)算人臉與目標(biāo)的間隔距離的示意圖。

具體實(shí)施方式

在下文將參看附圖更充分地描述各種例示性實(shí)施例，在附圖中展示一些例示性實(shí)施例。然而，本發(fā)明概念可能以許多不同形式來體現(xiàn)，且不應(yīng)解釋為限于本文中所闡述的例示性實(shí)施例。確切而言，提供此等例示性實(shí)施例使得本發(fā)明將為詳盡且完整，且將向本領(lǐng)域技術(shù)人員充分傳達(dá)本發(fā)明概念的范疇。在諸圖式中，可為了清楚而夸示層及區(qū)的大小及相對(duì)大小。類似數(shù)字始終指示類似組件，且本文中所使用的術(shù)語“或”視實(shí)際情況可能包括相關(guān)聯(lián)之列出項(xiàng)目中之任一者或者多者之所有組合。

本發(fā)明實(shí)施例提供一種凝視分析方法與裝置，且所述凝視分析方法與裝置會(huì)計(jì)算人臉角度與人眼角度，以判斷人眼的凝視方向?yàn)樘囟ǚ较?，其中人眼角度是透過左眼虹膜與左眼鞏膜的信息以及右眼虹膜與右眼鞏膜 的信息所獲得，所述左眼虹膜與左眼鞏膜的信息可以是左眼虹膜于影像中的長(zhǎng)度(以像素為單位)與左眼鞏膜之左右部分于影像中的長(zhǎng)度，且右眼虹膜與右眼鞏膜的信息是右眼虹膜于影像中的長(zhǎng)度與右眼鞏膜之左右部分于影像中的長(zhǎng)度。接著，所述凝視分析方法與裝置還會(huì)進(jìn)一步判斷人眼是否凝視著特定方向上的特定目標(biāo)，以及計(jì)算凝視特定目標(biāo)的時(shí)間，以進(jìn)一步地判斷人眼是否持續(xù)地凝視特定目標(biāo)，并藉此執(zhí)行相關(guān)指令。

在此請(qǐng)注意，于本發(fā)明實(shí)施例中，人眼角度是透過左眼與右眼的鞏膜與虹膜所占據(jù)的比例關(guān)系而獲得。舉例來說，本發(fā)明其中一個(gè)實(shí)施例是透過左眼的左邊與右邊鞏膜的長(zhǎng)度差與左眼與右眼總長(zhǎng)度的第一比例與右眼的右邊與左邊鞏膜的長(zhǎng)度差與左眼與右眼總長(zhǎng)度的第二比例來獲得人眼角度。

另外，判斷人眼是否凝視著特定方向上的特定目標(biāo)是透過判斷人眼的焦距與人臉及目標(biāo)之間的間隔距離之差異值是否位于特定范圍內(nèi)來決定，其中人眼的焦距相關(guān)于左眼與右眼的鞏膜與虹膜之間的關(guān)系。舉例來說，本發(fā)明其中一個(gè)實(shí)施例是先依據(jù)左眼的左邊鞏膜所占鞏膜的第三比例決定左眼的眼球中心相對(duì)于焦點(diǎn)的左眼角度，以及依據(jù)右眼的右邊鞏膜所占鞏膜的第四比例決定右眼的眼球中心相對(duì)于焦點(diǎn)的右眼角度后，再依據(jù)左眼角度、右眼角度與左右眼的兩眼球中心點(diǎn)之間的距離得到焦距。

請(qǐng)參照?qǐng)D1，圖1是本發(fā)明實(shí)施例的人眼凝視目標(biāo)的示意圖。于圖1中，電子裝置11本身為目標(biāo)，且用來判斷人10是否凝視電子裝置11。電子裝置11配置有凝視分析裝置，以判斷人凝視電子裝置11本身，并對(duì)應(yīng)地執(zhí)行相關(guān)的指令，例如播放特定信息給人10。于本發(fā)明實(shí)施例中，電子裝置11本身為廣告廣告牌，然而，本發(fā)明并不限制于此。電子裝置11于其他實(shí)施例中，亦可以是筆記本電腦或其他具有影像捕獲裝置的裝置。于其他實(shí)施例中，電子裝置11本身亦可以不為目標(biāo)，目標(biāo)可以是某種特定的對(duì)象，例如演講者或者特定販賣物品等等。以下將進(jìn)一步地介紹凝視分析裝置的細(xì)節(jié)。

請(qǐng)參照?qǐng)D2，圖2是本發(fā)明實(shí)施例的凝視分析裝置的方塊圖。凝視分析裝置2透過一個(gè)以上的電路組成，且包括影像捕獲裝置20、人臉檢測(cè)裝置21、人臉角度計(jì)算裝置22、人眼角度計(jì)算裝置23、凝視角度判斷裝置24、凝視目標(biāo)判斷裝置25、計(jì)時(shí)裝置26與指示裝置27。影像捕獲裝置20電性連接人臉檢測(cè)裝置21，人臉檢測(cè)裝置21電性連接人臉角度計(jì)算裝置22，人臉角度計(jì)算裝置22電性連接人眼角度計(jì)算裝置23，且人眼角度計(jì)算裝置23電性連接凝視角度判斷裝置24。凝視角度判斷裝置24電性連接凝視目標(biāo)判斷裝置25與影像捕獲裝置20，凝視目標(biāo)判斷裝置25電性連接計(jì)時(shí)裝置26與影像捕獲裝置20，且計(jì)時(shí)裝置26電性連接指示裝置27與影像捕獲裝置20。凝視分析裝置2用以執(zhí)行凝視分析方法，且各組件的功能與作用將介紹如下。

接著，請(qǐng)同時(shí)參照?qǐng)D2與圖3，圖3是本發(fā)明實(shí)施例的凝視分析方法的流程圖。首先，在步驟S30中，影像捕獲裝置20會(huì)獲取影像，并將獲取的影像送至人臉檢測(cè)裝置21。接著，在步驟S31中，人臉檢測(cè)裝置21會(huì)對(duì)影像進(jìn)行人臉檢測(cè)，以判斷影像中是否有人臉，其中判斷人臉是否存在于影像中，系可以采用馬可夫模型人臉檢測(cè)方式來實(shí)現(xiàn)。然而，本發(fā)明并不限制上述檢測(cè)人臉的實(shí)現(xiàn)方式。倘若檢測(cè)到影像中有人臉，則人臉檢測(cè)裝置21將影像送給人臉角度計(jì)算裝置22，以執(zhí)行步驟S32；倘若未檢測(cè)到影像中有人臉，則人臉檢測(cè)裝置21指示影像捕獲裝置20繼續(xù)執(zhí)行步驟S30。

在步驟S32中，人臉角度計(jì)算裝置22會(huì)根據(jù)影像中的人臉計(jì)算出人臉角度A_face，人臉角度A_face包括人臉的水平偏轉(zhuǎn)角A_horizontal以及垂直仰角A_vertical，其中計(jì)算人臉角度A_face的方式，系取得影像中人臉中眼睛與嘴巴位置，并參考頭部型態(tài)模型來實(shí)現(xiàn)。然而，本發(fā)明并不限制上述計(jì)算人臉角度A_face的實(shí)現(xiàn)方式。另外，在本發(fā)明實(shí)施例中，步驟S32亦可以僅計(jì)算出人臉的水平偏轉(zhuǎn)角A_horizontal，而不計(jì)算垂直仰角A_vertical，亦即人臉角度 A_face僅包括人臉的水平偏轉(zhuǎn)角A_horizontal。在人臉角度計(jì)算裝置22計(jì)算完人臉角度A_face后，會(huì)將影像送給人眼角度計(jì)算裝置23。

接著，在步驟S33中，人眼角度計(jì)算裝置23依據(jù)影像計(jì)算人眼角度A_eye，且人眼角度A_eye是透過左眼與右眼的鞏膜與虹膜所占據(jù)的比例關(guān)系而獲得。以下將說明其中一種透過左眼與右眼的鞏膜與虹膜所占據(jù)的比例關(guān)系來計(jì)算人眼角度A_eye的實(shí)現(xiàn)方式，然而，本發(fā)明并不限制于此種實(shí)現(xiàn)方式。

請(qǐng)參照?qǐng)D4A，圖4A是本發(fā)明實(shí)施例的人眼直視前方物體的示意圖。于圖4A中，當(dāng)人眼直視前方物體OBJ時(shí)，其人眼角度A_eye等于0度，故理論上左眼左邊鞏膜部份401的長(zhǎng)度L_LE與左眼右邊鞏膜部份403的長(zhǎng)度R_LE的差值應(yīng)該等于右眼右邊鞏膜部份413的長(zhǎng)度R_RE與右眼左邊鞏膜部份411的長(zhǎng)度L_RE的差值，亦即，L_LE-R_LE＝R_RE-L_RE。

請(qǐng)參照?qǐng)D4B，圖4B是本發(fā)明實(shí)施例的人眼凝視旁邊物體的示意圖。于圖4B中，當(dāng)人眼凝視旁邊物體OBJ時(shí)，其人眼角度A_eye不為0度，故理論上左眼左邊鞏膜部份401的長(zhǎng)度L_LE與左眼右邊鞏膜部份403的長(zhǎng)度R_LE的差值應(yīng)該不等于右眼右邊鞏膜部份413的長(zhǎng)度R_RE與右眼左邊鞏膜部份411的長(zhǎng)度L_RE的差值，亦即，L_LE-R_LE≠R_RE-L_RE。

請(qǐng)參照?qǐng)D4C，圖4C是本發(fā)明實(shí)施例的人眼凝視無窮遠(yuǎn)處的示意圖。于圖4C中，當(dāng)人眼凝視無窮遠(yuǎn)處時(shí)，理論上左眼左邊鞏膜部份401的長(zhǎng)度L_LE與左眼右邊鞏膜部份403的長(zhǎng)度R_LE的差值應(yīng)該等于右眼左邊鞏膜部份411的長(zhǎng)度L_RE與右眼右邊鞏膜部份413的長(zhǎng)度R_RE的差值，亦即，L_LE-R_LE＝L_RE-R_RE。此時(shí)焦距在無窮遠(yuǎn)處，故無須計(jì)算焦距，而人眼角度A_eye可視情況來決定是否計(jì)算。

請(qǐng)參照?qǐng)D5，圖5是本發(fā)明實(shí)施例的人眼凝視目標(biāo)的人眼角度示意圖。人眼角度A_eye為左右眼之中心點(diǎn)M的法線以及左右眼之中心點(diǎn)M與目標(biāo) OBJ之間聯(lián)機(jī)的角度，針對(duì)三種情況，直視、極限地往左方看與極限地往右方看，其人眼角度A_eye分別為0、-90與90度，歸納出其中一種可以實(shí)現(xiàn)計(jì)算人眼角度A_eye的公式如下：

假設(shè)當(dāng)人眼直視前方物體OBJ時(shí)，長(zhǎng)度L_LE、B_LE(左眼虹膜402的長(zhǎng)度)、R_LE、L_RE、B_RE(右眼虹膜412的長(zhǎng)度)與R_RE的比例為1：2：1：1：2：1，此時(shí)，A_eye＝sin^-1(0/4)＝0度。當(dāng)極限地往左方看時(shí)，長(zhǎng)度L_LE、B_LE、R_LE、L_RE、B_RE與R_RE的比例為0：1：1：0：1：1，此時(shí)，A_eye＝sin^-1(-4/4)＝-90度。當(dāng)極限地往右方看時(shí)，長(zhǎng)度L_LE、B_LE、R_LE、L_RE、B_RE與R_RE的比例為1：1：0：1：1：0，此時(shí)，A_eye＝sin^-1(4/4)＝90度。

簡(jiǎn)單地說，于本發(fā)明其中一個(gè)實(shí)施例中，人眼角度A_eye的計(jì)算是透過左眼的左邊與右邊鞏膜的長(zhǎng)度差(L_LE-R_LE)與左眼與右眼總長(zhǎng)度(L_LE+B_LE+R_LE+L_RE+B_RE+R_RE)的比例與右眼的右邊與左邊鞏膜的長(zhǎng)度差(R_RE-L_RE)與左眼與右眼總長(zhǎng)度(L_LE+B_LE+R_LE+L_RE+B_RE+R_RE)的比例來獲得。然而，上述僅是其中一種實(shí)現(xiàn)方式，其并非用以限制本發(fā)明。

請(qǐng)繼續(xù)參照?qǐng)D2與圖3，在人眼角度計(jì)算裝置23依據(jù)影像計(jì)算人眼角度A_eye后，影像與計(jì)算出來的人眼角度A_eye及是否凝視無窮遠(yuǎn)處的信息被送到凝視角度判斷裝置24。于步驟S34中，若人眼非凝視無窮遠(yuǎn)處，則凝視角度判斷裝置24會(huì)計(jì)算人眼角度A_eye與人臉角度A_face的之角度和作為凝視角度，并進(jìn)一步地判斷凝視角度是否位于第一特定范圍，其中第一特定范圍為一個(gè)角度范圍。舉例來說，第一特定范圍包括水平偏轉(zhuǎn)角度范圍為±5度與垂直仰角角度范圍為40～50度。

當(dāng)凝視角度位非于第一特定范圍時(shí)，則表示人眼未凝視目標(biāo)，故凝視角度判斷裝置24指示影像捕獲裝置20繼續(xù)執(zhí)行步驟S30；當(dāng)凝視角度位 于第一特定范圍時(shí)，則表示人眼凝視目標(biāo)，故凝視角度判斷裝置24將影像傳送給凝視目標(biāo)判斷裝置25，以執(zhí)行步驟S35。在步驟S35中，凝視目標(biāo)判斷裝置25先計(jì)算焦距MF與人臉與目標(biāo)之間的間隔距離L，再計(jì)算焦距MF與間隔距離L的差異值(MF-L)，接著，再判斷此差異值是否位于第二特定范圍內(nèi)，其中第二特定范圍為±D個(gè)單位距離的距離范圍，亦即判斷“-D≦(MF-L)≦D”是否為真。以下將進(jìn)一步說明，計(jì)算焦距與間隔距離的實(shí)現(xiàn)方式。

請(qǐng)參照?qǐng)D6，圖6是本發(fā)明實(shí)施例的人眼凝視目標(biāo)的焦距的示意圖。如圖6所示，左右眼注視著焦點(diǎn)F，且人眼之焦距MF相關(guān)于左眼與右眼的鞏膜與虹膜之間的關(guān)系。于此實(shí)施例中，更進(jìn)一步地說，左眼眼球中心A與焦點(diǎn)F之間聯(lián)機(jī)AF與左眼眼球中心A與焦點(diǎn)F之間聯(lián)機(jī)AM形成的左眼角度A_(eye)L可以由左眼的左邊鞏膜所占鞏膜的比例(L_LE/(L_LE+R_LE))決定，亦即，A_(eye)L＝180°·(L_LE/(L_LE+R_LE))，同樣地，右眼眼球中心B與焦點(diǎn)F之間聯(lián)機(jī)BF與左眼眼球中心B與焦點(diǎn)F之間聯(lián)機(jī)BM形成的左眼角度A_(eye)R可以由左眼的左邊鞏膜所占鞏膜的比例(R_RE/(L_RE+R_RE))決定，亦即，A_(eye)R＝180°·(R_RE/(L_RE+R_RE))。

接著，透過正弦定理，依據(jù)左眼角度A_(eye)L、右眼角度A_(eye)R與左右眼的兩眼球中心點(diǎn)之間的距離AB便可以得到焦距MF。詳細(xì)地說，透過正弦定理可以先獲得，左眼眼球中心A到焦點(diǎn)的距離AF與右眼眼球中心B到焦點(diǎn)的距離BF，然后透過距離AB、AF、BF便能得到焦距MF。

正弦定理所衍生的關(guān)系式可以表示如下：

透過上述關(guān)系，可以求得距離AB、AF。另外，焦距MF的計(jì)算方式是透過三角形中線定理，其計(jì)算方式如下：

接著，請(qǐng)參照?qǐng)D7，圖7是本發(fā)明實(shí)施例透過人臉面積計(jì)算人臉與目標(biāo)的間隔距離的示意圖。于圖7中，人臉的面積為人臉寬度W與人臉高度H的乘積。一般來說，影像中的人臉面積(W·H)越大，表示人臉與目標(biāo)OBJ之間隔距離L越小，相反地，影像中的人臉面積(W·H)越小，表示人臉與目標(biāo)OBJ之間隔距離L越大。因此，可以將人臉面積的倒數(shù)1/(W·H)乘上一個(gè)特定數(shù)值來獲得人臉與目標(biāo)OBJ之間隔距離L。

當(dāng)焦距MF與間隔距離L的差異值(MF-L)并未位于第二特定范圍內(nèi)時(shí)，則凝視目標(biāo)判斷裝置25會(huì)指示影像捕獲裝置20繼續(xù)執(zhí)行步驟S30；當(dāng)焦距MF與間隔距離L的差異值(MF-L)位于第二特定范圍內(nèi)時(shí)，則凝視目標(biāo)判斷裝置25指示計(jì)時(shí)裝置26執(zhí)行步驟S36。

于步驟S36中，計(jì)時(shí)裝置26計(jì)算凝視角度位于第一特定范圍且焦距MF與間隔距離L的差異值(MF-L)位于第二特定范圍內(nèi)的持續(xù)或累積時(shí)間，以獲得人眼凝視目標(biāo)的凝視時(shí)間，并判斷凝視時(shí)間是否大于特定值(例如T個(gè)單位時(shí)間)，以判斷人眼是否持續(xù)凝視目標(biāo)。若判斷凝視時(shí)間未大于特定值，則計(jì)時(shí)裝置26指示影像捕獲裝置20繼續(xù)執(zhí)行步驟S30；若判斷凝視時(shí)間大于特定值，則計(jì)時(shí)裝置26命令指示裝置27執(zhí)行步驟S37。于步驟S37中，指示裝置27執(zhí)行相應(yīng)指令以通知其他硬件或裝置執(zhí)行對(duì)應(yīng)的動(dòng)作。

綜合以上所述，本發(fā)明實(shí)施例提供的凝視分析方法與裝置是根據(jù)左右眼之虹膜與鞏膜的信息來判斷人眼是否凝視目標(biāo)，因此，相較于先前技術(shù)， 其不易受到光照影響，且計(jì)算復(fù)雜度較低，甚至其不需要采用高分辨率的鏡頭與紅外線的輔助，故成本低廉。

以上所述，僅為本發(fā)明最佳的具體實(shí)施例，但本發(fā)明的特征并不局限于此，任何本領(lǐng)域技術(shù)人員在本發(fā)明的領(lǐng)域內(nèi)，可輕易思及之變化或修飾，皆可涵蓋在以下本案的保護(hù)范圍內(nèi)。

【符號(hào)說明】

10：人

11：電子裝置

2：凝視分析裝置

20：影像捕獲裝置

21：人臉檢測(cè)裝置

22：人臉角度計(jì)算裝置

23：人眼角度計(jì)算裝置

24：凝視角度判斷裝置

25：凝視目標(biāo)判斷裝置

26：計(jì)時(shí)裝置

27：指示裝置

401：左眼左邊鞏膜部份

402：左眼虹膜

403：左眼右邊鞏膜部份

411：右眼左邊鞏膜部份

412：右眼虹膜

413：右眼右邊鞏膜部份

A_eye：人眼角度

S30～S37：步驟流程

M：左右眼之中心點(diǎn)

A_(eye)L：左眼角度

A_(eye)R：右眼角度

A：左眼眼球中心

B：右眼眼球中心

F：焦點(diǎn)

OBJ：目標(biāo)

L_LE、B_LE、R_LE、L_RE、B_RE、R_RE：長(zhǎng)度

L：間隔距離

W：人臉寬度

H：人臉高度