本發(fā)明涉及電子技術(shù)領(lǐng)域,尤其涉及一種識(shí)別控制方法以及裝置。
背景技術(shù):
隨著智能終端的普及,越來越多的人會(huì)通過使用如手機(jī)、臺(tái)式電腦、平板電腦等終端來看文檔或看圖片。以臺(tái)式電腦為例,用戶在閱讀文檔時(shí),可以通過滑動(dòng)鼠標(biāo)以控制屏幕中的文檔進(jìn)行翻頁;再以手機(jī)為例,用戶在看圖片時(shí),可以通過滑動(dòng)屏幕以翻看下一張圖片。由此可見,雖然不同的終端有著不同的控制方式,但它們卻都有一個(gè)相同的閱讀方式,即用戶眼睛始終注視著處于固定位置的屏幕,使用戶頭部無需移動(dòng)即可實(shí)現(xiàn)閱讀,但當(dāng)用戶長(zhǎng)時(shí)間以這種固定且單一的閱讀方式進(jìn)行閱讀時(shí),有可能會(huì)給身體帶來健康隱患。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明實(shí)施例提供一種識(shí)別控制方法以及裝置,可改善基于智能終端的閱讀方式,以避免給身體帶來健康隱患。
本發(fā)明實(shí)施例提供了一種識(shí)別控制方法,包括:
當(dāng)獲取到人臉圖像數(shù)據(jù)時(shí),生成與所述人臉圖像數(shù)據(jù)對(duì)應(yīng)的圖像深度數(shù)據(jù);
提取所述圖像深度數(shù)據(jù)中的人臉特征信息,并對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤;
當(dāng)根據(jù)所追蹤的所述人臉特征信息識(shí)別出人臉運(yùn)動(dòng)方向時(shí),根據(jù)所述人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制。
相應(yīng)地,本發(fā)明實(shí)施例還提供了一種識(shí)別控制裝置,包括:
生成模塊,用于當(dāng)獲取到人臉圖像數(shù)據(jù)時(shí),生成與所述人臉圖像數(shù)據(jù)對(duì)應(yīng)的圖像深度數(shù)據(jù);
提取追蹤模塊,用于提取所述圖像深度數(shù)據(jù)中的人臉特征信息,并對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤;
第一控制模塊,用于當(dāng)根據(jù)所追蹤的所述人臉特征信息識(shí)別出人臉運(yùn)動(dòng)方 向時(shí),根據(jù)所述人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制。
本發(fā)明實(shí)施例通過生成與所獲取到的人臉圖像數(shù)據(jù)對(duì)應(yīng)的圖像深度數(shù)據(jù),并提取圖像深度數(shù)據(jù)中的人臉特征信息,以對(duì)人臉特征信息進(jìn)行實(shí)時(shí)追蹤,使得可以在根據(jù)所追蹤的人臉特征信息識(shí)別出人臉運(yùn)動(dòng)方向時(shí),根據(jù)人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制,由此可見,用戶可以通過頭部的各種運(yùn)動(dòng)方向以控制當(dāng)前應(yīng)用執(zhí)行各種閱讀操作,從而不僅豐富了基于智能終端的閱讀方式,也避免給長(zhǎng)時(shí)間進(jìn)行閱讀的用戶帶來健康隱患。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本發(fā)明實(shí)施例提供的一種識(shí)別控制方法的流程示意圖;
圖2是本發(fā)明實(shí)施例提供的另一種識(shí)別控制方法的流程示意圖;
圖3是本發(fā)明實(shí)施例提供的一種識(shí)別控制裝置的結(jié)構(gòu)示意圖;
圖4是本發(fā)明實(shí)施例提供的一種提取追蹤模塊的結(jié)構(gòu)示意圖;
圖5是本發(fā)明實(shí)施例提供的一種第一控制模塊的結(jié)構(gòu)示意圖;
圖6是本發(fā)明實(shí)施例提供的另一種識(shí)別控制裝置的結(jié)構(gòu)示意圖;
圖7是本發(fā)明實(shí)施例提供的一種智能終端的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
請(qǐng)參見圖1,是本發(fā)明實(shí)施例提供的一種識(shí)別控制方法的流程示意圖,所述方法可以包括:
S101,當(dāng)獲取到人臉圖像數(shù)據(jù)時(shí),生成與所述人臉圖像數(shù)據(jù)對(duì)應(yīng)的圖像深 度數(shù)據(jù);
具體的,智能終端可以通過前置攝像頭實(shí)時(shí)捕捉終端屏幕前方的圖像,當(dāng)所述智能終端所捕捉到的圖像包含人臉圖像數(shù)據(jù)時(shí),所述智能終端可以生成與所述人臉圖像數(shù)據(jù)對(duì)應(yīng)的圖像深度數(shù)據(jù)。其中,所述圖像深度數(shù)據(jù)可以存儲(chǔ)每個(gè)像素所用的位數(shù),也可以用于量度圖像的色彩分辨率。生成所述圖像深度數(shù)據(jù)的方法可以為單目深度估計(jì)方法或雙目深度估計(jì)方法或其它現(xiàn)有的深度估計(jì)算法,這里不再進(jìn)行贅述。
S102,提取所述圖像深度數(shù)據(jù)中的人臉特征信息,并對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤;
具體的,在生成所述圖像深度數(shù)據(jù)后,所述智能終端通過對(duì)所述圖像深度數(shù)據(jù)進(jìn)行邊緣檢測(cè)、噪聲閾值處理,以逐點(diǎn)掃描所述深度圖像數(shù)據(jù)的像素,可以提取所述圖像深度數(shù)據(jù)中的人臉特征信息,所述人臉特征信息可以包括人臉輪廓信息以及人臉中的各個(gè)主要面部器官特征信息。提取所述人臉特征信息后,可以根據(jù)所述人臉特征信息分析出人臉相對(duì)于終端屏幕的位置、以及人臉中的各個(gè)主要面部器官相對(duì)于終端屏幕的位置,以開始對(duì)所述人臉特征信息對(duì)應(yīng)的人臉位置進(jìn)行實(shí)時(shí)追蹤,由于前置攝像頭是實(shí)時(shí)捕捉終端屏幕前方的圖像,所以實(shí)時(shí)追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置也是實(shí)時(shí)更新的,即所述智能終端可以實(shí)時(shí)追蹤用戶臉部動(dòng)作。
S103,當(dāng)根據(jù)所追蹤的所述人臉特征信息識(shí)別出人臉運(yùn)動(dòng)方向時(shí),根據(jù)所述人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制;
具體的,在對(duì)所述人臉特征信息對(duì)應(yīng)的人臉位置進(jìn)行實(shí)時(shí)追蹤的過程中,若用戶的頭部往某個(gè)方向運(yùn)動(dòng),則所述智能終端可以根據(jù)所追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置識(shí)別出人臉運(yùn)動(dòng)方向,其中,對(duì)所述人臉運(yùn)動(dòng)方向的具體識(shí)別過程可以為:通過圖像相減法對(duì)比相鄰兩幀畫面的像素差異,可以找到每一幀畫面中的人臉位置,再根據(jù)每一幀畫面的人臉位置識(shí)別出人臉移動(dòng)的整個(gè)運(yùn)動(dòng)過程,從而可以進(jìn)一步根據(jù)該運(yùn)動(dòng)過程識(shí)別出人臉運(yùn)動(dòng)方向,其中,用于識(shí)別所述人臉運(yùn)動(dòng)方向的起始位置始終為初始人臉位置,所述初始人臉位置為用戶臉部正對(duì)終端屏幕時(shí)的人臉位置。例如,若所述智能終端追蹤到的用戶頭部的運(yùn)動(dòng)過程為用戶頭部從所述初始人臉位置往右轉(zhuǎn)動(dòng)45度后再轉(zhuǎn)回到所述初始人臉位置,則可以識(shí)別出人臉運(yùn)動(dòng)方向?yàn)橛疫?。所述智能終端確定出所述 人臉運(yùn)動(dòng)方向后,可以在預(yù)設(shè)的人臉控制映射表中查找出所述人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令,并根據(jù)所述控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制。其中,所述人臉控制映射表包括多個(gè)人臉運(yùn)動(dòng)方向以及多個(gè)控制指令,每個(gè)人臉運(yùn)動(dòng)方向均分別對(duì)應(yīng)一個(gè)控制指令。例如,所述人臉控制映射表包括2個(gè)人臉運(yùn)動(dòng)方向(向左和向右)以及2個(gè)控制指令(上一頁和下一頁),其中,向左的人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令為上一頁,向右的人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令為下一頁,因此,當(dāng)所述智能終端識(shí)別出人臉運(yùn)動(dòng)方向?yàn)橄蛴視r(shí),可以將當(dāng)前閱讀的電子文檔跳轉(zhuǎn)至下一頁。
本發(fā)明實(shí)施例通過生成與所獲取到的人臉圖像數(shù)據(jù)對(duì)應(yīng)的圖像深度數(shù)據(jù),并提取圖像深度數(shù)據(jù)中的人臉特征信息,以對(duì)人臉特征信息進(jìn)行實(shí)時(shí)追蹤,使得可以在根據(jù)所追蹤的人臉特征信息識(shí)別出人臉運(yùn)動(dòng)方向時(shí),根據(jù)人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制,由此可見,用戶可以通過頭部的各種運(yùn)動(dòng)方向以控制當(dāng)前應(yīng)用執(zhí)行各種閱讀操作,從而不僅豐富了基于智能終端的閱讀方式,也避免給長(zhǎng)時(shí)間進(jìn)行閱讀的用戶帶來健康隱患。
請(qǐng)參見圖2,是本發(fā)明實(shí)施例提供的另一種識(shí)別控制方法的流程示意圖,所述方法可以包括:
S201,當(dāng)獲取到人臉圖像數(shù)據(jù)時(shí),生成與所述人臉圖像數(shù)據(jù)對(duì)應(yīng)的圖像深度數(shù)據(jù);
具體的,智能終端可以通過前置攝像頭實(shí)時(shí)捕捉終端屏幕前方的圖像,當(dāng)所述智能終端所捕捉到的圖像包含人臉圖像數(shù)據(jù)時(shí),所述智能終端可以生成與所述人臉圖像數(shù)據(jù)對(duì)應(yīng)的圖像深度數(shù)據(jù)。其中,所述圖像深度數(shù)據(jù)可以存儲(chǔ)每個(gè)像素所用的位數(shù),也可以用于量度圖像的色彩分辨率。生成所述圖像深度數(shù)據(jù)的方法可以為單目深度估計(jì)方法或雙目深度估計(jì)方法或其它現(xiàn)有的深度估計(jì)算法,這里不再進(jìn)行贅述。
S202,提取所述圖像深度數(shù)據(jù)中的人臉特征信息,并檢測(cè)所述人臉特征信息是否與預(yù)設(shè)的記憶特征信息相匹配;
具體的,在生成所述圖像深度數(shù)據(jù)后,所述智能終端通過對(duì)所述圖像深度數(shù)據(jù)進(jìn)行邊緣檢測(cè)、噪聲閾值處理,以逐點(diǎn)掃描所述深度圖像數(shù)據(jù)的像素,可以提取所述圖像深度數(shù)據(jù)中的人臉特征信息,所述人臉特征信息可以包括人臉輪廓信息以及人臉中的各個(gè)主要面部器官特征信息。進(jìn)一步的,所述智能終端 還可以繼續(xù)檢測(cè)所述人臉特征信息是否與預(yù)設(shè)的記憶特征信息相匹配。其中,所述記憶特征信息是由所述智能終端預(yù)先存儲(chǔ)于記憶數(shù)據(jù)庫(kù)的記憶特征信息,所述記憶數(shù)據(jù)庫(kù)可以包括多個(gè)記憶特征信息,所述記憶數(shù)據(jù)庫(kù)中的多個(gè)記憶特征信息是由所述智能終端預(yù)先通過前置攝像頭采集多個(gè)用戶臉部的不同角度所獲得的,即所述記憶數(shù)據(jù)庫(kù)包括多個(gè)用戶分別在多個(gè)角度下的臉部特征,一個(gè)臉部特征即為一個(gè)記憶特征信息。因此,檢測(cè)所述人臉特征信息是否與預(yù)設(shè)的記憶特征信息相匹配的具體過程可以為:判斷所述記憶數(shù)據(jù)庫(kù)中是否存在與提取到的所述人臉特征信息相同的記憶特征信息。
可選的,所提取到的所述人臉特征信息和所述記憶特征信息還可以包括虹膜信息,由于虹膜具有唯一性的特點(diǎn),所以檢測(cè)所述人臉特征信息是否與預(yù)設(shè)的記憶特征信息相匹配的過程也可以為:判斷所述記憶數(shù)據(jù)庫(kù)中是否存在與提取到的虹膜信息相同的記憶特征信息。
S203,確定所述人臉特征信息為非法信息,并發(fā)送非法用戶操作提示信息;
具體的,若S202檢測(cè)出所述人臉特征信息與預(yù)設(shè)的記憶特征信息不匹配,即所述記憶數(shù)據(jù)庫(kù)中不存在與所述人臉特征信息相同的記憶特征信息,則可以確定所述人臉特征信息為非法信息,并發(fā)送非法用戶操作提示信息,并且不會(huì)開始對(duì)該人臉特征信息對(duì)應(yīng)的人臉位置進(jìn)行追蹤。
S204,確定所述人臉特征信息為合法信息,并對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤;
具體的,若S202檢測(cè)出所述人臉特征信息與預(yù)設(shè)的記憶特征信息相匹配,則可以確定所述人臉特征信息為合法信息,此時(shí),可以根據(jù)所述人臉特征信息分析出人臉相對(duì)于終端屏幕的位置、以及人臉中的各個(gè)主要面部器官相對(duì)于終端屏幕的位置,以開始對(duì)所述人臉特征信息對(duì)應(yīng)的人臉位置進(jìn)行實(shí)時(shí)追蹤,由于前置攝像頭是實(shí)時(shí)捕捉終端屏幕前方的圖像,所以實(shí)時(shí)追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置也是實(shí)時(shí)更新的,即所述智能終端可以實(shí)時(shí)追蹤用戶臉部動(dòng)作。
S205,當(dāng)檢測(cè)出所追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置從初始人臉位置開始移動(dòng)時(shí),根據(jù)所追蹤的所述人臉特征信息查找移動(dòng)后的人臉位置;所述初始人臉位置是指人臉正對(duì)終端屏幕的位置;
具體的,在S204中,所述智能終端開始對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤 后,可以在實(shí)時(shí)追蹤過程中實(shí)時(shí)檢測(cè)人臉位置是否發(fā)生移動(dòng),當(dāng)檢測(cè)出所追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置從初始人臉位置開始移動(dòng)時(shí),所述智能終端可以根據(jù)所追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置識(shí)別出人臉移動(dòng)的整個(gè)運(yùn)動(dòng)過程,并將整個(gè)運(yùn)動(dòng)過程中移動(dòng)至離所述初始人臉位置最遠(yuǎn)的位置確定為移動(dòng)后的人臉位置。其中,識(shí)別整個(gè)運(yùn)動(dòng)過程的方法可以為:通過圖像相減法對(duì)比相鄰兩幀畫面的像素差異,可以找到每一幀畫面中的人臉位置,再根據(jù)每一幀畫面的人臉位置識(shí)別出人臉移動(dòng)的整個(gè)運(yùn)動(dòng)過程。例如,若用戶的頭部從所述初始人臉位置向左轉(zhuǎn)動(dòng)70度后再轉(zhuǎn)回至所述初始人臉位置,則所述智能終端可以識(shí)別出用戶的頭部向左轉(zhuǎn)至70度時(shí)的人臉位置為最遠(yuǎn)的位置,所以所述智能終端可以將用戶的頭部向左轉(zhuǎn)至70度時(shí)的人臉位置確定為所述移動(dòng)后的人臉位置。
S206,計(jì)算所述初始人臉位置與所述移動(dòng)后的人臉位置之間的移動(dòng)距離;
具體的,可以在所述初始人臉位置上選擇出第一測(cè)量點(diǎn),并在所述移動(dòng)后的人臉位置上選擇出第二測(cè)量點(diǎn),所述第一測(cè)量點(diǎn)可以為人臉中的任意一個(gè)器官的位置,所述第二測(cè)量點(diǎn)也可以為人臉中的任意一個(gè)器官的位置,且第一測(cè)量點(diǎn)和第二測(cè)量點(diǎn)分別對(duì)應(yīng)相同器官的位置。再計(jì)算所述第一測(cè)量點(diǎn)和所述第二測(cè)量點(diǎn)之間的測(cè)試距離,并將所述測(cè)試距離作為所述初始人臉位置與所述移動(dòng)后的人臉位置之間的移動(dòng)距離。
S207,當(dāng)所述移動(dòng)距離超過預(yù)設(shè)的長(zhǎng)度閾值時(shí),根據(jù)所述初始人臉位置與所述移動(dòng)后的人臉位置識(shí)別出人臉運(yùn)動(dòng)方向;
具體的,當(dāng)所述移動(dòng)距離超過預(yù)設(shè)的長(zhǎng)度閾值時(shí),可以根據(jù)所述初始人臉位置與所述移動(dòng)后的人臉位置識(shí)別出人臉運(yùn)動(dòng)方向,即可以根據(jù)識(shí)別出的人臉移動(dòng)的整個(gè)運(yùn)動(dòng)過程確定人臉運(yùn)動(dòng)方向,其中,所述人臉移動(dòng)的整個(gè)運(yùn)動(dòng)過程的運(yùn)動(dòng)起始點(diǎn)為所述初始人臉位置,因此,可以將所述移動(dòng)后的人臉位置相對(duì)于所述初始人臉位置的方向,確定為所述人臉運(yùn)動(dòng)方向。例如,所述移動(dòng)后的人臉位置處于所述初始人臉位置的右邊,則確定所述人臉運(yùn)動(dòng)方向?yàn)橛疫叀.?dāng)所述移動(dòng)距離沒有超過預(yù)設(shè)的長(zhǎng)度閾值時(shí),說明用戶可能是不小心轉(zhuǎn)動(dòng)一點(diǎn)頭部,此時(shí),無需識(shí)別人臉運(yùn)動(dòng)方向,并繼續(xù)對(duì)人臉位置進(jìn)行實(shí)時(shí)追蹤。
S208,在預(yù)設(shè)的人臉控制映射表中查找出所述人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令,并根據(jù)所述控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制;
具體的,所述智能終端確定出所述人臉運(yùn)動(dòng)方向后,可以在預(yù)設(shè)的人臉控制映射表中查找出所述人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令,并根據(jù)所述控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制。其中,所述人臉控制映射表包括多個(gè)人臉運(yùn)動(dòng)方向以及多個(gè)控制指令,每個(gè)人臉運(yùn)動(dòng)方向均分別對(duì)應(yīng)一個(gè)控制指令。例如,所述人臉控制映射表包括2個(gè)人臉運(yùn)動(dòng)方向(向左和向右)以及2個(gè)控制指令(上一頁和下一頁),其中,向左的人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令為上一頁,向右的人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令為下一頁,因此,當(dāng)所述智能終端識(shí)別出人臉運(yùn)動(dòng)方向?yàn)橄蛴視r(shí),可以將當(dāng)前閱讀的電子文檔跳轉(zhuǎn)至下一頁。
可選的,在所述智能終端實(shí)時(shí)追蹤所述人臉特征信息對(duì)應(yīng)的人臉位置的過程中,還可以實(shí)時(shí)判斷所追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置是否處于預(yù)設(shè)的正常觀看區(qū)域;若判斷為是,則確定用戶觀看狀態(tài)為正常觀看狀態(tài),并控制本終端處于屏幕點(diǎn)亮狀態(tài);若判斷為否,則確定用戶觀看狀態(tài)為非觀看狀態(tài),并當(dāng)為所述非觀看狀態(tài)的持續(xù)時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第一時(shí)長(zhǎng)閾值時(shí),控制本終端進(jìn)入待機(jī)狀態(tài);
具體的,所述預(yù)設(shè)的正常觀看區(qū)域包括用戶視線可以看到屏幕的各個(gè)人臉位置,所以當(dāng)判斷出所追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置處于預(yù)設(shè)的正常觀看區(qū)域時(shí),說明用戶是可以看到屏幕中的內(nèi)容,因此,可以確定用戶觀看狀態(tài)為正常觀看狀態(tài),在持續(xù)為所述正常觀看狀態(tài)的過程中,所述智能終端可以持續(xù)控制本終端處于屏幕點(diǎn)亮狀態(tài),同時(shí)在持續(xù)為所述正常觀看狀態(tài)的過程中,所述智能終端也實(shí)時(shí)追蹤所述人臉特征信息對(duì)應(yīng)的人臉位置。當(dāng)判斷出所追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置不處于預(yù)設(shè)的正常觀看區(qū)域時(shí),說明用戶是無法看到屏幕中的內(nèi)容,因此,可以確定用戶觀看狀態(tài)為非觀看狀態(tài),此時(shí),所述智能終端可以累積持續(xù)為非觀看狀態(tài)的時(shí)長(zhǎng),若持續(xù)為所述非觀看狀態(tài)的時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第一時(shí)長(zhǎng)閾值,說明用戶已經(jīng)沒有在觀看當(dāng)前屏幕或用戶已經(jīng)離開前置攝像頭所能捕捉的范圍,從而所述智能終端可以進(jìn)一步控制本終端進(jìn)入待機(jī)狀態(tài),以避免所述智能終端的功耗白白浪費(fèi)。
可選的,當(dāng)為所述正常觀看狀態(tài)的持續(xù)時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第二時(shí)長(zhǎng)閾值時(shí),發(fā)送休息提示信息,并暫停對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤;
具體的,為了避免用戶持續(xù)過長(zhǎng)時(shí)間觀看屏幕中的內(nèi)容,所述智能終端可以預(yù)先設(shè)置一個(gè)第二時(shí)長(zhǎng)閾值,并當(dāng)為所述正常觀看狀態(tài)的持續(xù)時(shí)長(zhǎng)達(dá)到預(yù)設(shè) 的第二時(shí)長(zhǎng)閾值時(shí),發(fā)送休息提示信息,以提醒用戶需要暫停觀看屏幕并進(jìn)行運(yùn)動(dòng)或休息,同時(shí),所述智能終端也將暫停對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤,以避免所述智能終端的功耗白白浪費(fèi)。例如,當(dāng)用戶根據(jù)自身情況設(shè)置所述第二時(shí)長(zhǎng)閾值為1小時(shí),那么當(dāng)每當(dāng)所述智能終端檢測(cè)出用戶觀看狀態(tài)為所述正常觀看狀態(tài)的持續(xù)時(shí)長(zhǎng)達(dá)到1小時(shí)時(shí),即可發(fā)出所述休息提示信息,并暫停對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤。
本發(fā)明實(shí)施例通過生成與所獲取到的人臉圖像數(shù)據(jù)對(duì)應(yīng)的圖像深度數(shù)據(jù),并提取圖像深度數(shù)據(jù)中的人臉特征信息,以對(duì)人臉特征信息進(jìn)行實(shí)時(shí)追蹤,使得可以在根據(jù)所追蹤的人臉特征信息識(shí)別出人臉運(yùn)動(dòng)方向時(shí),根據(jù)人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制,由此可見,用戶可以通過頭部的各種運(yùn)動(dòng)方向以控制當(dāng)前應(yīng)用執(zhí)行各種閱讀操作,從而不僅豐富了基于智能終端的閱讀方式,也避免給長(zhǎng)時(shí)間進(jìn)行閱讀的用戶帶來健康隱患;而且通過實(shí)時(shí)檢測(cè)用戶觀看狀態(tài),可以在檢測(cè)出用戶沒有觀看屏幕或用戶觀看屏幕時(shí)長(zhǎng)達(dá)到臨界值時(shí),暫停對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤,不僅可以避免用戶出現(xiàn)過長(zhǎng)時(shí)間的閱讀,也可以避免終端的功耗白白浪費(fèi)。
請(qǐng)參見圖3,是本發(fā)明實(shí)施例提供的一種識(shí)別控制裝置1的結(jié)構(gòu)示意圖,所述識(shí)別控制裝置1可以包括:生成模塊10、提取追蹤模塊20、第一控制模塊30;
所述生成模塊10,用于當(dāng)獲取到人臉圖像數(shù)據(jù)時(shí),生成與所述人臉圖像數(shù)據(jù)對(duì)應(yīng)的圖像深度數(shù)據(jù);
具體的,所述生成模塊10可以通過前置攝像頭實(shí)時(shí)捕捉終端屏幕前方的圖像,當(dāng)所捕捉到的圖像包含人臉圖像數(shù)據(jù)時(shí),所述生成模塊10可以生成與所述人臉圖像數(shù)據(jù)對(duì)應(yīng)的圖像深度數(shù)據(jù)。其中,所述圖像深度數(shù)據(jù)可以存儲(chǔ)每個(gè)像素所用的位數(shù),也可以用于量度圖像的色彩分辨率。生成所述圖像深度數(shù)據(jù)的方法可以為單目深度估計(jì)方法或雙目深度估計(jì)方法或其它現(xiàn)有的深度估計(jì)算法,這里不再進(jìn)行贅述。
所述提取追蹤模塊20,用于提取所述圖像深度數(shù)據(jù)中的人臉特征信息,并對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤;
具體的,在所述生成模塊10生成所述圖像深度數(shù)據(jù)后,所述提取追蹤模塊20通過對(duì)所述圖像深度數(shù)據(jù)進(jìn)行邊緣檢測(cè)、噪聲閾值處理,以逐點(diǎn)掃描所述深度圖像數(shù)據(jù)的像素,可以提取所述圖像深度數(shù)據(jù)中的人臉特征信息,所述人臉 特征信息可以包括人臉輪廓信息以及人臉中的各個(gè)主要面部器官特征信息。提取所述人臉特征信息后,所述提取追蹤模塊20可以進(jìn)一步根據(jù)所述人臉特征信息分析出人臉相對(duì)于終端屏幕的位置、以及人臉中的各個(gè)主要面部器官相對(duì)于終端屏幕的位置,以開始對(duì)所述人臉特征信息對(duì)應(yīng)的人臉位置進(jìn)行實(shí)時(shí)追蹤,由于前置攝像頭是實(shí)時(shí)捕捉終端屏幕前方的圖像,所以實(shí)時(shí)追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置也是實(shí)時(shí)更新的,即所述提取追蹤模塊20可以實(shí)時(shí)追蹤用戶臉部動(dòng)作。
所述第一控制模塊30,用于當(dāng)根據(jù)所追蹤的所述人臉特征信息識(shí)別出人臉運(yùn)動(dòng)方向時(shí),根據(jù)所述人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制;
具體的,在對(duì)所述人臉特征信息對(duì)應(yīng)的人臉位置進(jìn)行實(shí)時(shí)追蹤的過程中,若用戶的頭部往某個(gè)方向運(yùn)動(dòng),則所述第一控制模塊30可以根據(jù)所追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置識(shí)別出人臉運(yùn)動(dòng)方向,其中,對(duì)所述人臉運(yùn)動(dòng)方向的具體識(shí)別過程可以為:通過圖像相減法對(duì)比相鄰兩幀畫面的像素差異,可以找到每一幀畫面中的人臉位置,再根據(jù)每一幀畫面的人臉位置識(shí)別出人臉移動(dòng)的整個(gè)運(yùn)動(dòng)過程,從而可以進(jìn)一步根據(jù)該運(yùn)動(dòng)過程識(shí)別出人臉運(yùn)動(dòng)方向,其中,用于識(shí)別所述人臉運(yùn)動(dòng)方向的起始位置始終為初始人臉位置,所述初始人臉位置為用戶臉部正對(duì)終端屏幕時(shí)的人臉位置。例如,若所述提取追蹤模塊20追蹤到的用戶頭部的運(yùn)動(dòng)過程為用戶頭部從所述初始人臉位置往右轉(zhuǎn)動(dòng)45度后再轉(zhuǎn)回到所述初始人臉位置,則所述第一控制模塊30可以識(shí)別出人臉運(yùn)動(dòng)方向?yàn)橛疫?。所述第一控制模塊30確定出所述人臉運(yùn)動(dòng)方向后,可以進(jìn)一步根據(jù)所述人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制。
進(jìn)一步的,再請(qǐng)參見圖4,是本發(fā)明實(shí)施例提供的一種提取追蹤模塊20的結(jié)構(gòu)示意圖,所述提取追蹤模塊20可以包括:提取檢測(cè)單元201、確定追蹤單元202、確定發(fā)送單元203;
所述提取檢測(cè)單元201,用于提取所述圖像深度數(shù)據(jù)中的人臉特征信息,并檢測(cè)所述人臉特征信息是否與預(yù)設(shè)的記憶特征信息相匹配;
具體的,所述提取檢測(cè)單元201在提取所述圖像深度數(shù)據(jù)中的人臉特征信息后,還可以繼續(xù)檢測(cè)所述人臉特征信息是否與預(yù)設(shè)的記憶特征信息相匹配。其中,所述記憶特征信息是由所述智能終端預(yù)先存儲(chǔ)于記憶數(shù)據(jù)庫(kù)的記憶特征信息,所述記憶數(shù)據(jù)庫(kù)可以包括多個(gè)記憶特征信息,所述記憶數(shù)據(jù)庫(kù)中的多個(gè) 記憶特征信息是由所述智能終端預(yù)先通過前置攝像頭采集多個(gè)用戶臉部的不同角度所獲得的,即所述記憶數(shù)據(jù)庫(kù)包括多個(gè)用戶分別在多個(gè)角度下的臉部特征,一個(gè)臉部特征即為一個(gè)記憶特征信息。因此,所述提取檢測(cè)單元201檢測(cè)所述人臉特征信息是否與預(yù)設(shè)的記憶特征信息相匹配的具體過程可以為:判斷所述記憶數(shù)據(jù)庫(kù)中是否存在與提取到的所述人臉特征信息相同的記憶特征信息。
可選的,所提取到的所述人臉特征信息和所述記憶特征信息還可以包括虹膜信息,由于虹膜具有唯一性的特點(diǎn),所以所述提取檢測(cè)單元201檢測(cè)所述人臉特征信息是否與預(yù)設(shè)的記憶特征信息相匹配的過程也可以為:判斷所述記憶數(shù)據(jù)庫(kù)中是否存在與提取到的虹膜信息相同的記憶特征信息。
所述確定追蹤單元202,用于若檢測(cè)出所述人臉特征信息與預(yù)設(shè)的記憶特征信息相匹配,則確定所述人臉特征信息為合法信息,并對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤;
具體的,若所述提取檢測(cè)單元201檢測(cè)出所述人臉特征信息與預(yù)設(shè)的記憶特征信息相匹配,則所述確定追蹤單元202可以確定所述人臉特征信息為合法信息,并可以根據(jù)所述人臉特征信息分析出人臉相對(duì)于終端屏幕的位置、以及人臉中的各個(gè)主要面部器官相對(duì)于終端屏幕的位置,以開始對(duì)所述人臉特征信息對(duì)應(yīng)的人臉位置進(jìn)行實(shí)時(shí)追蹤,由于前置攝像頭是實(shí)時(shí)捕捉終端屏幕前方的圖像,所以實(shí)時(shí)追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置也是實(shí)時(shí)更新的,即所述確定追蹤單元202可以實(shí)時(shí)追蹤用戶臉部動(dòng)作。
所述確定發(fā)送單元203,用于若檢測(cè)出所述人臉特征信息與預(yù)設(shè)的記憶特征信息不匹配,則確定所述人臉特征信息為非法信息,并發(fā)送非法用戶操作提示信息;
具體的,若所述提取檢測(cè)單元201檢測(cè)出所述人臉特征信息與預(yù)設(shè)的記憶特征信息不匹配,即所述記憶數(shù)據(jù)庫(kù)中不存在與所述人臉特征信息相同的記憶特征信息,則所述確定發(fā)送單元203可以確定所述人臉特征信息為非法信息,并發(fā)送非法用戶操作提示信息,并且不會(huì)開始對(duì)該人臉特征信息對(duì)應(yīng)的人臉位置進(jìn)行追蹤。通過檢查所述人臉特征信息的合法性,可以使所述智能終端僅被具有合法性的用戶使用,從而可以更好的保證所述智能終端的安全性。
進(jìn)一步的,再請(qǐng)參見圖5,是本發(fā)明實(shí)施例提供的一種第一控制模塊30的結(jié)構(gòu)示意圖,所述第一控制模塊30可以包括:查找單元301、計(jì)算單元302、 方向識(shí)別單元303、控制單元304;
所述查找單元301,用于當(dāng)檢測(cè)出所追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置從初始人臉位置開始移動(dòng)時(shí),根據(jù)所追蹤的所述人臉特征信息查找移動(dòng)后的人臉位置;所述初始人臉位置是指人臉正對(duì)終端屏幕的位置;
具體的,所述查找單元301可以在實(shí)時(shí)追蹤人臉位置的過程中實(shí)時(shí)檢測(cè)人臉位置是否發(fā)生移動(dòng),當(dāng)檢測(cè)出所追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置從初始人臉位置開始移動(dòng)時(shí),所述查找單元301可以根據(jù)所追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置識(shí)別出人臉移動(dòng)的整個(gè)運(yùn)動(dòng)過程,并將整個(gè)運(yùn)動(dòng)過程中移動(dòng)至離所述初始人臉位置最遠(yuǎn)的位置確定為移動(dòng)后的人臉位置。其中,識(shí)別整個(gè)運(yùn)動(dòng)過程的方法可以為:通過圖像相減法對(duì)比相鄰兩幀畫面的像素差異,可以找到每一幀畫面中的人臉位置,再根據(jù)每一幀畫面的人臉位置識(shí)別出人臉移動(dòng)的整個(gè)運(yùn)動(dòng)過程。例如,若用戶的頭部從所述初始人臉位置向左轉(zhuǎn)動(dòng)70度后再轉(zhuǎn)回至所述初始人臉位置,則所述查找單元301可以識(shí)別出用戶的頭部向左轉(zhuǎn)至70度時(shí)的人臉位置為最遠(yuǎn)的位置,因此,所述查找單元301可以將用戶的頭部向左轉(zhuǎn)至70度時(shí)的人臉位置確定為所述移動(dòng)后的人臉位置。
所述計(jì)算單元302,用于計(jì)算所述初始人臉位置與所述移動(dòng)后的人臉位置之間的移動(dòng)距離;
具體的,所述計(jì)算單元302可以在所述初始人臉位置上選擇出第一測(cè)量點(diǎn),并在所述移動(dòng)后的人臉位置上選擇出第二測(cè)量點(diǎn),所述第一測(cè)量點(diǎn)可以為人臉中的任意一個(gè)器官的位置,所述第二測(cè)量點(diǎn)也可以為人臉中的任意一個(gè)器官的位置,且第一測(cè)量點(diǎn)和第二測(cè)量點(diǎn)分別對(duì)應(yīng)相同器官的位置。所述計(jì)算單元302再計(jì)算所述第一測(cè)量點(diǎn)和所述第二測(cè)量點(diǎn)之間的測(cè)試距離,并將所述測(cè)試距離作為所述初始人臉位置與所述移動(dòng)后的人臉位置之間的移動(dòng)距離。
所述方向識(shí)別單元303,用于當(dāng)所述移動(dòng)距離超過預(yù)設(shè)的長(zhǎng)度閾值時(shí),根據(jù)所述初始人臉位置與所述移動(dòng)后的人臉位置識(shí)別出人臉運(yùn)動(dòng)方向;
具體的,當(dāng)所述移動(dòng)距離超過預(yù)設(shè)的長(zhǎng)度閾值時(shí),所述方向識(shí)別單元303可以根據(jù)所述初始人臉位置與所述移動(dòng)后的人臉位置識(shí)別出人臉運(yùn)動(dòng)方向,即可以根據(jù)識(shí)別出的人臉移動(dòng)的整個(gè)運(yùn)動(dòng)過程確定人臉運(yùn)動(dòng)方向,其中,所述人臉移動(dòng)的整個(gè)運(yùn)動(dòng)過程的運(yùn)動(dòng)起始點(diǎn)為所述初始人臉位置,因此,所述方向識(shí)別單元303可以將所述移動(dòng)后的人臉位置相對(duì)于所述初始人臉位置的方向,確 定為所述人臉運(yùn)動(dòng)方向。例如,所述移動(dòng)后的人臉位置處于所述初始人臉位置的右邊,則所述方向識(shí)別單元303可以確定所述人臉運(yùn)動(dòng)方向?yàn)橛疫?。?dāng)所述移動(dòng)距離沒有超過預(yù)設(shè)的長(zhǎng)度閾值時(shí),說明用戶可能是不小心轉(zhuǎn)動(dòng)一點(diǎn)頭部,此時(shí),無需識(shí)別人臉運(yùn)動(dòng)方向,并繼續(xù)對(duì)人臉位置進(jìn)行實(shí)時(shí)追蹤。
所述控制單元304,用于在預(yù)設(shè)的人臉控制映射表中查找出所述人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令,并根據(jù)所述控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制。
具體的,所述方向識(shí)別單元303確定出所述人臉運(yùn)動(dòng)方向后,所述控制單元304可以在預(yù)設(shè)的人臉控制映射表中查找出所述人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令,并根據(jù)所述控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制。其中,所述人臉控制映射表包括多個(gè)人臉運(yùn)動(dòng)方向以及多個(gè)控制指令,每個(gè)人臉運(yùn)動(dòng)方向均分別對(duì)應(yīng)一個(gè)控制指令。例如,所述人臉控制映射表包括2個(gè)人臉運(yùn)動(dòng)方向(向左和向右)以及2個(gè)控制指令(上一頁和下一頁),其中,向左的人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令為上一頁,向右的人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令為下一頁,因此,當(dāng)所述方向識(shí)別單元303識(shí)別出人臉運(yùn)動(dòng)方向?yàn)橄蛴視r(shí),所述控制單元304可以將當(dāng)前閱讀的電子文檔跳轉(zhuǎn)至下一頁。
本發(fā)明實(shí)施例通過生成與所獲取到的人臉圖像數(shù)據(jù)對(duì)應(yīng)的圖像深度數(shù)據(jù),并提取圖像深度數(shù)據(jù)中的人臉特征信息,以對(duì)人臉特征信息進(jìn)行實(shí)時(shí)追蹤,使得可以在根據(jù)所追蹤的人臉特征信息識(shí)別出人臉運(yùn)動(dòng)方向時(shí),根據(jù)人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制,由此可見,用戶可以通過頭部的各種運(yùn)動(dòng)方向以控制當(dāng)前應(yīng)用執(zhí)行各種閱讀操作,從而不僅豐富了基于智能終端的閱讀方式,也避免給長(zhǎng)時(shí)間進(jìn)行閱讀的用戶帶來健康隱患。
請(qǐng)參見圖6,是本發(fā)明實(shí)施例提供的另一種識(shí)別控制裝置1的結(jié)構(gòu)示意圖,所述識(shí)別控制裝置1可以包括上述圖3對(duì)應(yīng)實(shí)施例中的生成模塊10、提取追蹤模塊20、第一控制模塊30,進(jìn)一步的,所述識(shí)別控制裝置1還可以包括:判斷模塊40、第二控制模塊50、暫停模塊60;
所述判斷模塊40,用于實(shí)時(shí)判斷所追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置是否處于預(yù)設(shè)的正常觀看區(qū)域;
所述第二控制模塊50,用于若所述判斷模塊40判斷為是,則確定用戶觀看狀態(tài)為正常觀看狀態(tài),并控制本終端處于屏幕點(diǎn)亮狀態(tài);
所述第二控制模塊50,還用于若所述判斷模塊40判斷為否,則確定用戶觀 看狀態(tài)為非觀看狀態(tài),并當(dāng)為所述非觀看狀態(tài)的持續(xù)時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第一時(shí)長(zhǎng)閾值時(shí),控制本終端進(jìn)入待機(jī)狀態(tài);
具體的,所述預(yù)設(shè)的正常觀看區(qū)域包括用戶視線可以看到屏幕的各個(gè)人臉位置,所以當(dāng)所述判斷模塊40判斷出所追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置處于預(yù)設(shè)的正常觀看區(qū)域時(shí),說明用戶是可以看到屏幕中的內(nèi)容,因此,所述第二控制模塊50可以確定用戶觀看狀態(tài)為正常觀看狀態(tài),并且在持續(xù)為所述正常觀看狀態(tài)的過程中,所述第二控制模塊50可以持續(xù)控制本終端處于屏幕點(diǎn)亮狀態(tài),同時(shí)在持續(xù)為所述正常觀看狀態(tài)的過程中,所述提取追蹤模塊20也實(shí)時(shí)追蹤所述人臉特征信息對(duì)應(yīng)的人臉位置。當(dāng)所述判斷模塊40判斷出所追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置不處于預(yù)設(shè)的正常觀看區(qū)域時(shí),說明用戶是無法看到屏幕中的內(nèi)容,因此,所述第二控制模塊50可以確定用戶觀看狀態(tài)為非觀看狀態(tài),此時(shí),所述第二控制模塊50可以累積持續(xù)為非觀看狀態(tài)的時(shí)長(zhǎng),若持續(xù)為所述非觀看狀態(tài)的時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第一時(shí)長(zhǎng)閾值,說明用戶已經(jīng)沒有在觀看當(dāng)前屏幕或用戶已經(jīng)離開前置攝像頭所能捕捉的范圍,從而所述第二控制模塊50可以進(jìn)一步控制本終端進(jìn)入待機(jī)狀態(tài),以避免所述智能終端的功耗白白浪費(fèi)。
所述暫停模塊60,用于當(dāng)為所述正常觀看狀態(tài)的持續(xù)時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第二時(shí)長(zhǎng)閾值時(shí),發(fā)送休息提示信息,并暫停對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤。
具體的,為了避免用戶持續(xù)過長(zhǎng)時(shí)間觀看屏幕中的內(nèi)容,所述暫停模塊60可以預(yù)先設(shè)置一個(gè)第二時(shí)長(zhǎng)閾值,并當(dāng)為所述正常觀看狀態(tài)的持續(xù)時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第二時(shí)長(zhǎng)閾值時(shí),所述暫停模塊60發(fā)送休息提示信息,以提醒用戶需要暫停觀看屏幕并進(jìn)行運(yùn)動(dòng)或休息,同時(shí),所述暫停模塊60也將暫停對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤,以避免所述智能終端的功耗白白浪費(fèi)。例如,當(dāng)用戶根據(jù)自身情況設(shè)置所述第二時(shí)長(zhǎng)閾值為1小時(shí),那么當(dāng)每當(dāng)檢測(cè)出用戶觀看狀態(tài)為所述正常觀看狀態(tài)的持續(xù)時(shí)長(zhǎng)達(dá)到1小時(shí)時(shí),所述暫停模塊60即可發(fā)出所述休息提示信息,并暫停對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤。
本發(fā)明實(shí)施例通過生成與所獲取到的人臉圖像數(shù)據(jù)對(duì)應(yīng)的圖像深度數(shù)據(jù),并提取圖像深度數(shù)據(jù)中的人臉特征信息,以對(duì)人臉特征信息進(jìn)行實(shí)時(shí)追蹤,使得可以在根據(jù)所追蹤的人臉特征信息識(shí)別出人臉運(yùn)動(dòng)方向時(shí),根據(jù)人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制,由此可見,用戶可以通過頭部的各種 運(yùn)動(dòng)方向以控制當(dāng)前應(yīng)用執(zhí)行各種閱讀操作,從而不僅豐富了基于智能終端的閱讀方式,也避免給長(zhǎng)時(shí)間進(jìn)行閱讀的用戶帶來健康隱患;而且通過實(shí)時(shí)檢測(cè)用戶觀看狀態(tài),可以在檢測(cè)出用戶沒有觀看屏幕或用戶觀看屏幕時(shí)長(zhǎng)達(dá)到臨界值時(shí),暫停對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤,不僅可以避免用戶出現(xiàn)過長(zhǎng)時(shí)間的閱讀,也可以避免終端的功耗白白浪費(fèi)。
請(qǐng)參見圖7,是本發(fā)明實(shí)施例提供的一種智能終端的結(jié)構(gòu)示意圖。如圖7所示,所述智能終端1000可以包括:至少一個(gè)處理器1001,例如CPU,至少一個(gè)網(wǎng)絡(luò)接口1004,用戶接口1003,存儲(chǔ)器1005,至少一個(gè)通信總線1002。其中,通信總線1002用于實(shí)現(xiàn)這些組件之間的連接通信。其中,用戶接口1003可以包括顯示屏(Display)、鍵盤(Keyboard),可選用戶接口1003還可以包括標(biāo)準(zhǔn)的有線接口、無線接口。網(wǎng)絡(luò)接口1004可選的可以包括標(biāo)準(zhǔn)的有線接口、無線接口(如WI-FI接口)。存儲(chǔ)器1005可以是高速RAM存儲(chǔ)器,也可以是非不穩(wěn)定的存儲(chǔ)器(non-volatile memory),例如至少一個(gè)磁盤存儲(chǔ)器。存儲(chǔ)器1005可選的還可以是至少一個(gè)位于遠(yuǎn)離前述處理器1001的存儲(chǔ)裝置。如圖7所示,作為一種計(jì)算機(jī)存儲(chǔ)介質(zhì)的存儲(chǔ)器1005中可以包括操作系統(tǒng)、網(wǎng)絡(luò)通信模塊、用戶接口模塊以及設(shè)備控制應(yīng)用程序。
在圖7所示的智能終端1000中,用戶接口1003主要用于為用戶提供輸入的接口,獲取用戶輸出的數(shù)據(jù);而處理器1001可以用于調(diào)用存儲(chǔ)器1005中存儲(chǔ)的設(shè)備控制應(yīng)用程序,并具體執(zhí)行以下步驟:
當(dāng)獲取到人臉圖像數(shù)據(jù)時(shí),生成與所述人臉圖像數(shù)據(jù)對(duì)應(yīng)的圖像深度數(shù)據(jù);
提取所述圖像深度數(shù)據(jù)中的人臉特征信息,并對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤;
當(dāng)根據(jù)所追蹤的所述人臉特征信息識(shí)別出人臉運(yùn)動(dòng)方向時(shí),根據(jù)所述人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制。
在一個(gè)實(shí)施例中,所述處理器1001在執(zhí)行提取所述圖像深度數(shù)據(jù)中的人臉特征信息,并對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤時(shí),具體執(zhí)行以下步驟:
提取所述圖像深度數(shù)據(jù)中的人臉特征信息,并檢測(cè)所述人臉特征信息是否與預(yù)設(shè)的記憶特征信息相匹配;
若檢測(cè)出所述人臉特征信息與預(yù)設(shè)的記憶特征信息相匹配,則確定所述人臉特征信息為合法信息,并對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤;
若檢測(cè)出所述人臉特征信息與預(yù)設(shè)的記憶特征信息不匹配,則確定所述人臉特征信息為非法信息,并發(fā)送非法用戶操作提示信息。
在一個(gè)實(shí)施例中,所述處理器1001在執(zhí)行當(dāng)根據(jù)所追蹤的所述人臉特征信息識(shí)別出人臉運(yùn)動(dòng)方向時(shí),根據(jù)所述人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制時(shí),具體執(zhí)行以下步驟:
當(dāng)檢測(cè)出所追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置從初始人臉位置開始移動(dòng)時(shí),根據(jù)所追蹤的所述人臉特征信息查找移動(dòng)后的人臉位置;所述初始人臉位置是指人臉正對(duì)終端屏幕的位置;
計(jì)算所述初始人臉位置與所述移動(dòng)后的人臉位置之間的移動(dòng)距離;
當(dāng)所述移動(dòng)距離超過預(yù)設(shè)的長(zhǎng)度閾值時(shí),根據(jù)所述初始人臉位置與所述移動(dòng)后的人臉位置識(shí)別出人臉運(yùn)動(dòng)方向;
在預(yù)設(shè)的人臉控制映射表中查找出所述人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令,并根據(jù)所述控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制。
在一個(gè)實(shí)施例中,所述處理器1001還可以執(zhí)行以下步驟:
實(shí)時(shí)判斷所追蹤的所述人臉特征信息對(duì)應(yīng)的人臉位置是否處于預(yù)設(shè)的正常觀看區(qū)域;
若判斷為是,則確定用戶觀看狀態(tài)為正常觀看狀態(tài),并控制本終端處于屏幕點(diǎn)亮狀態(tài);
若判斷為否,則確定用戶觀看狀態(tài)為非觀看狀態(tài),并當(dāng)為所述非觀看狀態(tài)的持續(xù)時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第一時(shí)長(zhǎng)閾值時(shí),控制本終端進(jìn)入待機(jī)狀態(tài)。
在一個(gè)實(shí)施例中,所述處理器1001還可以執(zhí)行以下步驟:
當(dāng)為所述正常觀看狀態(tài)的持續(xù)時(shí)長(zhǎng)達(dá)到預(yù)設(shè)的第二時(shí)長(zhǎng)閾值時(shí),發(fā)送休息提示信息,并暫停對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤。
本發(fā)明實(shí)施例通過生成與所獲取到的人臉圖像數(shù)據(jù)對(duì)應(yīng)的圖像深度數(shù)據(jù),并提取圖像深度數(shù)據(jù)中的人臉特征信息,以對(duì)人臉特征信息進(jìn)行實(shí)時(shí)追蹤,使得可以在根據(jù)所追蹤的人臉特征信息識(shí)別出人臉運(yùn)動(dòng)方向時(shí),根據(jù)人臉運(yùn)動(dòng)方向?qū)?yīng)的控制指令對(duì)當(dāng)前應(yīng)用進(jìn)行控制,由此可見,用戶可以通過頭部的各種運(yùn)動(dòng)方向以控制當(dāng)前應(yīng)用執(zhí)行各種閱讀操作,從而不僅豐富了基于智能終端的閱讀方式,也避免給長(zhǎng)時(shí)間進(jìn)行閱讀的用戶帶來健康隱患;而且通過實(shí)時(shí)檢測(cè)用戶觀看狀態(tài),可以在檢測(cè)出用戶沒有觀看屏幕或用戶觀看屏幕時(shí)長(zhǎng)達(dá)到臨界 值時(shí),暫停對(duì)所述人臉特征信息進(jìn)行實(shí)時(shí)追蹤,不僅可以避免用戶出現(xiàn)過長(zhǎng)時(shí)間的閱讀,也可以避免終端的功耗白白浪費(fèi)。
本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程,是可以通過計(jì)算機(jī)程序來指令相關(guān)的硬件來完成,所述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中,該程序在執(zhí)行時(shí),可包括如上述各方法的實(shí)施例的流程。其中,所述的存儲(chǔ)介質(zhì)可為磁碟、光盤、只讀存儲(chǔ)記憶體(Read-Only Memory,ROM)或隨機(jī)存儲(chǔ)記憶體(Random Access Memory,RAM)等。
以上所揭露的僅為本發(fā)明較佳實(shí)施例而已,當(dāng)然不能以此來限定本發(fā)明之權(quán)利范圍,因此依本發(fā)明權(quán)利要求所作的等同變化,仍屬本發(fā)明所涵蓋的范圍。