自然光下基于投影映射校正和注視點(diǎn)補(bǔ)償?shù)囊暰€跟蹤方法
【專利摘要】本發(fā)明公開了自然光下基于投影映射校正和注視點(diǎn)補(bǔ)償?shù)囊暰€跟蹤方法，該方法首先提取雙眼虹膜中心和眼睛內(nèi)外角點(diǎn)、嘴角點(diǎn)特征，其次由眼睛內(nèi)外角點(diǎn)與嘴角點(diǎn)構(gòu)成的矩形計(jì)算與頭部處于標(biāo)定位置時(shí)的矩形信息之間的投影映射關(guān)系，進(jìn)而對(duì)虹膜中心位置以及眼睛內(nèi)外角點(diǎn)位置進(jìn)行投影映射校正，消除頭部運(yùn)動(dòng)帶來的影響；接著，由經(jīng)校正后的左右眼虹膜中心，分別與左右眼睛內(nèi)外角點(diǎn)構(gòu)成4個(gè)向量，結(jié)合多項(xiàng)式映射模型得到實(shí)時(shí)注視點(diǎn)，最后通過支持向量回歸模型進(jìn)行注視點(diǎn)補(bǔ)償。本發(fā)明為自然光下的視線跟蹤提供了一種能降低頭部運(yùn)動(dòng)影響，精度高的解決方法。
【專利說明】
自然光下基于投影映射校正和注視點(diǎn)補(bǔ)償?shù)囊暰€跟蹤方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及視線跟蹤技術(shù)領(lǐng)域，具體設(shè)及自然光下基于投影映射校正和注視點(diǎn)補(bǔ) 償?shù)囊暰€跟蹤方法。
【背景技術(shù)】
[0002] 視線跟蹤改變了人類與機(jī)器設(shè)備互動(dòng)的方式，成為新技術(shù)或系統(tǒng)創(chuàng)意的源頭，拓 展了多種信息系統(tǒng)的用途，是目前人機(jī)交互研究的重要領(lǐng)域。
[0003] 視線跟蹤方法主要分為接觸式方法和非接觸式方法。基于攝像的非接觸式方法對(duì) 用戶更為友好，具有自然和直接的優(yōu)勢(shì)，是目前視線跟蹤作為人機(jī)交互方式研究的主流方 向?；跀z像的非接觸視線跟蹤方法中，自然光下的視線跟蹤算法無需其他輔助光源，能更 好的進(jìn)行推廣應(yīng)用。然而，該方法的主要難點(diǎn)在于：（1)在沒有輔助紅外光源下圖像存在光 照變化W及低對(duì)比度的情況下，如何精確的提取眼動(dòng)特征信息；（2)在沒有普爾欽斑點(diǎn)輔助 下，尋找能代表眼睛運(yùn)動(dòng)且具有魯棒性的眼動(dòng)向量；（3)解決頭部運(yùn)動(dòng)下眼動(dòng)向量隨之變化 導(dǎo)致無法準(zhǔn)確的進(jìn)行注視點(diǎn)估計(jì)問題。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明公開了一種自然光下基于投影映射校正和注視點(diǎn)補(bǔ)償?shù)囊暰€跟蹤方法，在 自然光源下，通過提取虹膜中屯、、眼睛內(nèi)外角點(diǎn)W及嘴角點(diǎn)，建立基于虹膜與眼角點(diǎn)信息到 屏幕注視點(diǎn)的映射模型。該方法能有效消除頭部自由運(yùn)動(dòng)對(duì)視線估計(jì)結(jié)果的影響，同時(shí)硬 件需求上只需一個(gè)單目攝像頭，提高了普通攝像頭下的視線跟蹤的精度和實(shí)時(shí)性。
[0005] 本發(fā)明通過W下技術(shù)方案來實(shí)現(xiàn)：
[0006] -種自然光下基于投影映射校正的視線跟蹤方法，該方法需要一個(gè)普通攝像頭， 無需額外光源輔助，包含步驟:（1)攝像機(jī)采集圖像，進(jìn)行人臉定位和眼動(dòng)信息提取。
[0007] (2)眼動(dòng)信息校正:通過眼睛角點(diǎn)，嘴角點(diǎn)信息計(jì)算投影映射矩陣，對(duì)虹膜中屯、、眼 睛內(nèi)外角點(diǎn)位置進(jìn)行校正。
[000引（3)初步注視點(diǎn)估計(jì):利用經(jīng)校正后的虹膜中屯、位置、眼睛內(nèi)外角點(diǎn)位置構(gòu)成二維 眼動(dòng)向量，并建立二維眼動(dòng)向量到屏幕注視點(diǎn)的映射關(guān)系，根據(jù)實(shí)時(shí)的二維向量計(jì)算出實(shí) 時(shí)屏幕注視點(diǎn)。
[0009] (4)注視點(diǎn)補(bǔ)償:采用支持向量回歸模型進(jìn)行注視點(diǎn)補(bǔ)償，修正頭部運(yùn)動(dòng)帶來的注 視點(diǎn)偏差，從而得到最終的注視點(diǎn)估計(jì)結(jié)果。
[0010] 上述方法中，所述步驟(1)中包括：
[0011] a.采用基于Adaboost的人臉檢測(cè)算法的對(duì)采集圖像進(jìn)行人臉定位，其次采用基于 局部二進(jìn)制特征回歸方法(Face Alignment via Regressing Local Binary Fea1:ures)確 定眼睛內(nèi)、外角點(diǎn)W及嘴角點(diǎn)的感興趣區(qū)域；
[0012] b.依據(jù)不同角點(diǎn)特征的具體生理形狀分別進(jìn)行精確定位，通過化St角點(diǎn)檢測(cè)和篩 選方法得到眼睛內(nèi)角點(diǎn)和嘴角點(diǎn)定位，并采用曲線擬合方法定位眼睛外角點(diǎn)；
[0013] c.根據(jù)眼睛內(nèi)外角點(diǎn)位置確定眼睛圖像，接著提取眼睛圖像的梯度特征，定位虹 膜捜索起始點(diǎn)；其次，從捜索起始點(diǎn)出發(fā)，通過滑動(dòng)窗口對(duì)虹膜邊緣進(jìn)行捜索，最后根據(jù)楠 圓擬合方法定位虹膜中屯、。上述方法中，所述步驟(2)中包括：
[0014] W距離屏幕中點(diǎn)設(shè)定距離處的位置點(diǎn)為頭部標(biāo)定位置，記頭部處于頭部標(biāo)定位置 且正面注視屏幕時(shí)獲取的人臉圖像為標(biāo)定圖像，計(jì)算根據(jù)所述步驟（1)定位到的眼睛外角 點(diǎn)和嘴角點(diǎn)位置與標(biāo)定圖像中對(duì)應(yīng)的特征點(diǎn)位置之間的投影映射矩陣，利用該投影映射矩 陣對(duì)實(shí)時(shí)獲取的眼睛內(nèi)外角點(diǎn)位置、虹膜中屯、位置進(jìn)行校正。
[0015] 上述方法中，所述步驟(3)中包括：
[0016] a.根據(jù)所述步驟(2)校正后的左右虹膜中屯、位置，分別與校正后的左右眼睛內(nèi)外 角點(diǎn)位置構(gòu)成4個(gè)眼動(dòng)向量，疊加后得到校正后的二維眼動(dòng)向量；
[0017] b.頭部在標(biāo)定位置處?kù)o止不動(dòng)時(shí)，眼睛注視屏幕上的標(biāo)定點(diǎn)，計(jì)算校正后的二維 眼動(dòng)向量，根據(jù)該向量與標(biāo)定點(diǎn)的對(duì)應(yīng)關(guān)系計(jì)算多項(xiàng)式映射模型的參數(shù);實(shí)時(shí)獲取校正后 的二維眼動(dòng)向量，結(jié)合多項(xiàng)式映射模型，計(jì)算出初步注視點(diǎn)估計(jì)結(jié)果。
[0018] 上述方法中，所述步驟(4)中包括：
[0019] 訓(xùn)練支持向量回歸模型，輸入為眼睛內(nèi)角點(diǎn)間線段中點(diǎn)在圖像上的坐標(biāo)與標(biāo)定圖 像相同點(diǎn)的偏移，左右眼內(nèi)外角點(diǎn)間在圖像上的距離與標(biāo)定圖像對(duì)應(yīng)的眼睛內(nèi)外角點(diǎn)間距 離的比值W及圖像上內(nèi)角點(diǎn)間的連線與標(biāo)定圖像內(nèi)角點(diǎn)間連線之間的角度差;輸出為對(duì)應(yīng) 的注視點(diǎn)估計(jì)結(jié)果與真實(shí)標(biāo)定點(diǎn)間的位移偏差;利用支持向量回歸模型進(jìn)行注視點(diǎn)補(bǔ)償， 從而得到最終的注視點(diǎn)估計(jì)結(jié)果。本發(fā)明的優(yōu)點(diǎn)與積極效果在于：
[0020] 1.自然光下缺乏有效的參考點(diǎn)，雙眼數(shù)據(jù)代表了眼睛運(yùn)動(dòng)信息。本發(fā)明采用左右 眼虹膜中屯、和眼睛內(nèi)外角點(diǎn)構(gòu)造眼動(dòng)向量，能更有效的代表眼動(dòng)信息。利用滑動(dòng)窗口捜索 方法定位虹膜邊緣，提高了虹膜中屯、定位的精度。
[0021] 2.本發(fā)明通過投影映射校正方法對(duì)虹膜中屯、等特征點(diǎn)位置進(jìn)行校正，同時(shí)采用支 持向量回歸模型進(jìn)行注視點(diǎn)補(bǔ)償，能有效降低頭部運(yùn)動(dòng)對(duì)眼動(dòng)特征的影響，視線跟蹤方法 具有更好的抗頭部運(yùn)動(dòng)干擾能力。
[0022] 3.該方法計(jì)算量少，硬件只需要一個(gè)攝像頭。
【附圖說明】
[0023] 圖1是本發(fā)明實(shí)施方式中顯示屏與攝像頭的布置示意圖。
[0024] 圖2是本發(fā)明實(shí)施方式中視線跟蹤方法的流程示意圖。
[0025] 圖3是本發(fā)明實(shí)施方式中滑動(dòng)窗口示意圖。
[0026] 圖4a、圖4b是本發(fā)明實(shí)施方式中屏幕上的兩種標(biāo)定點(diǎn)分布圖。
【具體實(shí)施方式】
[0027] 下面結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】作進(jìn)一步說明。
[0028] 如圖1，本發(fā)明硬件配置上需要一個(gè)普通攝像頭，位于屏幕中屯、正上方，實(shí)時(shí)地捕 捉人臉圖像。
[0029] 如圖2,本發(fā)明的具體實(shí)施步驟如下：
[0030] 步驟一、實(shí)時(shí)采集圖像，提取眼動(dòng)特征信息；
[0031 ] 步驟二、動(dòng)態(tài)眼動(dòng)向量校正；
[0032] 步驟Ξ、構(gòu)造多項(xiàng)式映射模型；
[0033] 步驟四、訓(xùn)練注視點(diǎn)補(bǔ)償模型進(jìn)行注視點(diǎn)計(jì)算。
[0034] 其中步驟一的具體實(shí)施為：
[0035] 1.人臉特征點(diǎn)初定位
[0036] 從攝像頭獲取人臉圖像，采用基于局部二進(jìn)制特征的形狀回歸方法（Face Alignment via Regressing Local Binary Fea1:ures)進(jìn)行人臉特征點(diǎn)的初定位，得到眼 睛輪廓、嘴角點(diǎn)的初步位置。其次，在初步定位的基礎(chǔ)上，分別得到眼睛區(qū)域和嘴己區(qū)域作 為定位感興趣區(qū)域。
[0037] 2.眼動(dòng)特征提取
[003引眼動(dòng)特征信息為眼睛內(nèi)角點(diǎn)特征，眼睛外角點(diǎn)特征，嘴角點(diǎn)特征W及虹膜中屯、。具 體實(shí)施步驟為：
[0039] 2.1眼睛內(nèi)角點(diǎn)定位
[0040] 首先由初定位得到的眼睛內(nèi)角點(diǎn)候選點(diǎn)確定內(nèi)角點(diǎn)感興趣區(qū)域，對(duì)該區(qū)域進(jìn)行 FAST角點(diǎn)檢測(cè)得到角點(diǎn)候選點(diǎn)；本發(fā)明認(rèn)為候選點(diǎn)聚集處的點(diǎn)更有可能為眼角點(diǎn)，根據(jù)每 個(gè)候選點(diǎn)周圍的候選點(diǎn)個(gè)數(shù)進(jìn)行篩選，并依據(jù)眼角點(diǎn)在眼睛中的相對(duì)位置關(guān)系，快速精確 的定位到眼睛內(nèi)角點(diǎn)。
[0041 ] 2.2眼睛外角點(diǎn)定位
[0042]首先通過自適應(yīng)闊值分割分離出眼睛與背景區(qū)域，從而提取到眼睛輪廓。對(duì)上下 眼睛輪廓進(jìn)行曲線擬合，并計(jì)算兩條曲線擬合的交點(diǎn)，靠左邊的交點(diǎn)即為眼睛外角點(diǎn)定位。 [00創(chuàng) 2.3嘴角點(diǎn)定位
[0044] 首先提取嘴己區(qū)域圖像在Lab色彩空間中的a分量，分割出嘴唇區(qū)域。其次，確定嘴 唇區(qū)域最左和最右的點(diǎn)為嘴角點(diǎn)初步位置，并對(duì)該區(qū)域進(jìn)行0TSU分割，對(duì)分割后的圖像進(jìn) 行局部角點(diǎn)檢測(cè)，進(jìn)行孤立點(diǎn)濾除后，認(rèn)為候選點(diǎn)最左或最右的候選點(diǎn)為嘴角點(diǎn)位置。
[0045] 2.4虹膜中屯、定位
[0046] 在部分光照下，虹膜與鞏膜間的對(duì)比并不是很明顯，傳統(tǒng)的邊緣檢測(cè)算子難W精 確檢測(cè)出虹膜邊緣。其次，光照變化也導(dǎo)致二值化方法難W完整的分割出虹膜區(qū)塊。因而， 本發(fā)明提出一種基于滑動(dòng)窗口的虹膜邊緣捜索的方法，能在眼睛運(yùn)動(dòng)和姿態(tài)變化的情況下 定位到虹膜邊緣，從而得到虹膜中屯、定位。
[0047] a.捜索起始點(diǎn)定位
[0048] 首先提取原眼睛圖像的紅色分量圖像，并對(duì)該圖像進(jìn)行形態(tài)學(xué)的開操作W減少反 射光斑的影響;其次，計(jì)算圖像預(yù)處理后的眼睛圖像的梯度特征，并尋找最多梯度向量經(jīng)過 的點(diǎn)，設(shè)為捜索起始點(diǎn)。由于該方法直接通過梯度特征進(jìn)行計(jì)算，在圖像模糊、眼睛變形嚴(yán) 重等情況均能得到很好的定位結(jié)果。
[0049] b.虹膜邊緣捜索與虹膜中屯、定位
[0050] 如附圖3所示構(gòu)造滑動(dòng)窗口，由兩個(gè)連續(xù)的同樣大小的矩形構(gòu)成，分別表示左窗口 1、右窗口 2，表示滑動(dòng)窗口 3的中屯、?；瑒?dòng)窗口從虹膜梯度中屯、出發(fā)，向四周出發(fā)捜索虹膜邊 緣。根據(jù)眼角點(diǎn)間的連線可W判斷眼睛的旋轉(zhuǎn)角度θ〇,從而設(shè)置虹膜輪廓的捜索范圍，避開 上下眼險(xiǎn)遮擋的部分，W免造成輪廓擬合誤差。
[0051]統(tǒng)計(jì)窗口內(nèi)的像素平均值，并定義滑動(dòng)窗口的能量：
[0化2]
[0053] 其中，IiW及。(i = l，2，..N，j = l，2，..N)分別為左右窗口的像素點(diǎn)的像素值，N為 窗口中的像素點(diǎn)個(gè)數(shù)。Θ為當(dāng)前滑動(dòng)窗口捜索方向。設(shè)定捜索方向后，從捜索起始點(diǎn)出發(fā)，得 到捜索窗口的能量函數(shù)曲線。尋找該函數(shù)曲線的最大波峰，即虹膜邊緣位置。
[0054] 利用滑動(dòng)窗口捜索到虹膜的精確輪廓點(diǎn)集后，通過最小二乘法進(jìn)行楠圓擬合，楠 圓中屯、即為虹膜中屯、位置。
[0055] 其中步驟二的具體實(shí)施步驟為：
[0056] 1.基于雙眼數(shù)據(jù)的眼動(dòng)向量構(gòu)造
[0057] 首先根據(jù)左右虹膜中屯、與左右內(nèi)外角點(diǎn)一共構(gòu)成4個(gè)眼動(dòng)向量，構(gòu)成的向量集： [0化引
[0059] 其中，vii和voi分別表示左眼虹膜中屯、Ii與左眼內(nèi)外角點(diǎn)位置Cii，C〇i構(gòu)成的眼動(dòng)向 量，Vir和Vnr分別表示右眼虹膜中屯、Ir與右眼內(nèi)外角點(diǎn)位置Cir，Cnr構(gòu)成的眼動(dòng)向量。在頭部 自由運(yùn)動(dòng)的情況，眼睛隨著頭部運(yùn)動(dòng)而運(yùn)動(dòng)，直接由眼角點(diǎn)與虹膜中屯、構(gòu)成的向量也隨之 發(fā)生變化。因此，本發(fā)明采用雙眼數(shù)據(jù)構(gòu)造新型眼動(dòng)向量來表征注視點(diǎn)，并通過對(duì)雙眼數(shù)據(jù) 的校正來消除不同頭部姿勢(shì)帶來的影響。雙眼數(shù)據(jù)構(gòu)成的眼動(dòng)向量如下式所示：
[0060]
[0061 ] 2.動(dòng)態(tài)眼動(dòng)向量校正
[0062] 在視線估計(jì)的過程中，頭部深度運(yùn)動(dòng)會(huì)導(dǎo)致眼睛圖像出現(xiàn)形變，偏轉(zhuǎn)、旋轉(zhuǎn)、俯仰 運(yùn)動(dòng)會(huì)導(dǎo)致眼睛圖像出現(xiàn)旋轉(zhuǎn)W及形變，通過眼睛圖像提取的眼動(dòng)向量在頭部運(yùn)動(dòng)的情況 下直接進(jìn)行注視點(diǎn)映射會(huì)造成較大的誤差。因而，本發(fā)明提出一種基于投影映射的方法對(duì) 眼動(dòng)向量進(jìn)行動(dòng)態(tài)校正。
[0063] 首先，根據(jù)步驟一實(shí)時(shí)捕捉的人臉圖像提取的眼角點(diǎn)、嘴角點(diǎn)特征點(diǎn)4個(gè)點(diǎn)在圖像 坐標(biāo)系的坐標(biāo)。記實(shí)時(shí)捕捉的特征點(diǎn)坐標(biāo)為(xi，yi)，頭部處于頭部標(biāo)定位置且正面注視屏 幕時(shí)獲取的人臉圖像上特征點(diǎn)的坐標(biāo)為(X2，y2)，二者存在投影映射關(guān)系如下：
[0064]
[0065] 其中，S同樣為參數(shù)，Hp為3 X 3矩陣，記為：
[0066]
[0067] 對(duì)矩陣Hp進(jìn)行歸一化，使得h33 = 1，則可得：
[006引
[0069] 則實(shí)時(shí)捕捉的特征點(diǎn)坐標(biāo)可W通過如下公式進(jìn)行映射校正：
[0070]
[0071] 將實(shí)時(shí)捕捉的眼睛外角點(diǎn)W及嘴角點(diǎn)4個(gè)特征點(diǎn)與對(duì)應(yīng)的頭部處于頭部標(biāo)定位置 且正面注視屏幕時(shí)獲取的人臉圖像上特征點(diǎn)位置代入上式，構(gòu)成8個(gè)線性方程。因而，通過 求解方程，可W計(jì)算得當(dāng)前頭部位置姿態(tài)時(shí)，對(duì)應(yīng)于標(biāo)定位置時(shí)的投影變換矩陣Hp。則頭部 運(yùn)動(dòng)后虹膜中屯、在圖像上成像的位置同樣可W根據(jù)投影變換矩陣Hp進(jìn)行校正：
[0072]
[0073] 根據(jù)上式計(jì)算出校正后的虹膜中屯、位置I，if。其中，符號(hào)?代表特征點(diǎn)或眼動(dòng)向 量I經(jīng)投影映射校正后的結(jié)果。因此，同理可W得到眼睛內(nèi)角點(diǎn)、外角點(diǎn)在標(biāo)定位置處的位 置，則校正后的眼動(dòng)向量可W表示為：
[0074]
[0075] 同時(shí)，由于校正后的眼睛內(nèi)外角點(diǎn)與標(biāo)定位置相同，即內(nèi)外角點(diǎn)的距離保持不變。 因而，在保持信息不變的情況，可W將本發(fā)明眼動(dòng)向量簡(jiǎn)化為：
[0076]
[0077] 即得到校正后的眼動(dòng)向量。
[0078] 其中步驟Ξ的具體實(shí)施步驟為：
[0079] 1.如附圖4a所示設(shè)置屏幕上3X3的9個(gè)點(diǎn)作為標(biāo)定點(diǎn)。其次，選取帶標(biāo)定的映射函 數(shù)如下：
[0080]
[0081]其中（Vx，Vy)為校正后的眼動(dòng)向量，（Px，Py)為注視點(diǎn)估計(jì)結(jié)果，ai(i = 0，l，...7)， bi(i = 0,l,. . .6)共15個(gè)未知參數(shù)。
[0082] 2.用戶分別注視9個(gè)標(biāo)定點(diǎn)，通過步驟一實(shí)時(shí)提取眼動(dòng)特征，并通過步驟二構(gòu)造眼 動(dòng)向量并進(jìn)行校正。每個(gè)標(biāo)定點(diǎn)提取的眼動(dòng)向量可W分別構(gòu)造2個(gè)等式方程，共18個(gè)方程， 通過最小二乘法進(jìn)行參數(shù)求解。
[0083] 其中步驟四的具體實(shí)施步驟為：
[0084] 經(jīng)過校正后的眼動(dòng)向量進(jìn)行多項(xiàng)式映射后得到的估計(jì)結(jié)果與實(shí)際注視點(diǎn)位置間 存在偏差，該偏差與頭部運(yùn)動(dòng)有關(guān)。本發(fā)明采用支持向量回歸來補(bǔ)償運(yùn)個(gè)誤差。輸入樣本向 量X=[Vx，Vy，Mx，My，Rl，Rr，目Δ]，輸出向量為Y=[Yx，Yy]。其中，V=(Vx，Vy)為校正后的眼動(dòng)向 量，M=(Mx，My)為內(nèi)角點(diǎn)間線段中點(diǎn)在圖像上的坐標(biāo)與標(biāo)定位置相同點(diǎn)的偏移，Ri和Rr分別 為左右眼內(nèi)外角點(diǎn)間在圖像上的距離與標(biāo)定圖像對(duì)應(yīng)的眼睛內(nèi)外角點(diǎn)間距離的比值。Θλ為 圖像上內(nèi)角點(diǎn)間的連線與標(biāo)定圖像內(nèi)角點(diǎn)間連線之間的角度差。
[0085] 1.訓(xùn)練數(shù)據(jù)構(gòu)造。
[0086] 如附圖4b所示，實(shí)驗(yàn)者在注視屏幕中指定的標(biāo)定點(diǎn)時(shí)，在保持注視同一個(gè)點(diǎn)的同 時(shí)進(jìn)行頭部運(yùn)動(dòng)，根據(jù)步驟一實(shí)時(shí)采集特征信息，并構(gòu)成輸入樣本向量X。與此同時(shí)，根據(jù)步 驟二通過對(duì)眼動(dòng)向量進(jìn)行校正，進(jìn)而通過步驟Ξ獲取的多項(xiàng)式映射模型得到注視點(diǎn)估計(jì) 值，其與真實(shí)的坐標(biāo)值的位移偏差為（A X，Δ y)。分別構(gòu)造兩個(gè)訓(xùn)練集：{(XI，Δ XI)，…，（Xi, Δχi)，…，（XN，ΔχN)}，{(Xl，Δyl)，...，（Xi，Δyi)，...，（XN，ΔyN)}。其中，Xi(i = l，2，...，N) 為不同的樣本向量，（A Xi，Δ yi) ( i = 1，2，. . .，N)為不同樣本向量對(duì)應(yīng)的注視點(diǎn)位移偏差。N 為樣本個(gè)數(shù)。兩個(gè)訓(xùn)練集分別進(jìn)行訓(xùn)練。
[0087] 2.模型參數(shù)選擇。本發(fā)明的支持向量回歸模型采用RBF徑向基函數(shù)，能對(duì)復(fù)雜關(guān)系 進(jìn)行回歸。其次，采用網(wǎng)格捜索法進(jìn)行參數(shù)尋找，主要捜素參數(shù)為平衡參數(shù)C，損失函數(shù)參數(shù) eW及核參數(shù)丫。
[008引3.分別根據(jù)兩個(gè)訓(xùn)練集進(jìn)行支持向量回歸訓(xùn)練，得到最優(yōu)的回歸模型，通過實(shí)時(shí) 的輸入向量X可W計(jì)算得相應(yīng)的注視點(diǎn)補(bǔ)償偏移量(Yx，Yy)。
[0089] 4.注視點(diǎn)估計(jì)。經(jīng)過步驟Ξ的多項(xiàng)式映射方程計(jì)算的注視點(diǎn)估計(jì)值為(Px，Py)，與 注視點(diǎn)補(bǔ)償模型計(jì)算所得的偏移量(Yx，Yy)疊加，則最終的注視點(diǎn)估計(jì)結(jié)果為：
[0090] (Sx，Sy) = (Px，Py) + ^，Yy)。
【主權(quán)項(xiàng)】
1. 自然光下基于投影映射校正和注視點(diǎn)補(bǔ)償?shù)囊暰€跟蹤方法，其特征在于該方法需要 一個(gè)普通攝像頭，無需額外光源輔助，具體包含以下步驟： (1) 攝像機(jī)采集圖像，進(jìn)行人臉定位和眼動(dòng)信息提?。? (2) 眼動(dòng)信息校正:通過眼睛角點(diǎn)和嘴角點(diǎn)信息計(jì)算投影映射矩陣，對(duì)虹膜中心、眼睛 內(nèi)外角點(diǎn)位置進(jìn)行校正； (3) 初步注視點(diǎn)估計(jì):利用經(jīng)校正后的虹膜中心位置、眼睛內(nèi)外角點(diǎn)位置構(gòu)成二維眼動(dòng) 向量，并建立二維眼動(dòng)向量到屏幕注視點(diǎn)的映射關(guān)系，根據(jù)實(shí)時(shí)的二維向量計(jì)算出實(shí)時(shí)屏 幕注視點(diǎn)； (4) 注視點(diǎn)補(bǔ)償:采用支持向量回歸模型進(jìn)行注視點(diǎn)補(bǔ)償，修正頭部運(yùn)動(dòng)帶來的注視點(diǎn) 偏差，從而得到最終的注視點(diǎn)估計(jì)結(jié)果。2. 根據(jù)權(quán)利要求1所述的自然光下基于投影映射校正和注視點(diǎn)補(bǔ)償?shù)囊暰€跟蹤方法， 其特征在于所述步驟(1)中包括： a. 采用基于Adaboost的人臉檢測(cè)算法的對(duì)采集圖像進(jìn)行人臉定位，其次采用基于局 部二進(jìn)制特征回歸方法確定眼睛內(nèi)、外角點(diǎn)以及嘴角點(diǎn)的感興趣區(qū)域； b. 依據(jù)不同角點(diǎn)特征的具體生理形狀分別進(jìn)行精確定位，通過Fast角點(diǎn)檢測(cè)和篩選 方法得到眼睛內(nèi)角點(diǎn)和嘴角點(diǎn)定位，并采用曲線擬合方法定位眼睛外角點(diǎn)； c. 根據(jù)眼睛內(nèi)外角點(diǎn)位置確定眼睛圖像，接著提取眼睛圖像的梯度特征，定位虹膜搜 索起始點(diǎn)；其次，從搜索起始點(diǎn)出發(fā)，通過滑動(dòng)窗口對(duì)虹膜邊緣進(jìn)行搜索，最后根據(jù)橢圓擬 合方法定位虹膜中心。3. 根據(jù)權(quán)利要求2所述的自然光下基于投影映射校正和注視點(diǎn)補(bǔ)償?shù)囊暰€跟蹤方法， 其特征在于所述步驟(2)中包括： 以距離屏幕中點(diǎn)設(shè)定距離處的位置點(diǎn)為頭部標(biāo)定位置，記頭部處于頭部標(biāo)定位置且正 面注視屏幕時(shí)獲取的人臉圖像為標(biāo)定圖像，計(jì)算根據(jù)所述步驟（1)定位到的眼睛外角點(diǎn)和 嘴角點(diǎn)位置與標(biāo)定圖像中對(duì)應(yīng)的特征點(diǎn)位置之間的投影映射矩陣，利用該投影映射矩陣對(duì) 實(shí)時(shí)獲取的眼睛內(nèi)外角點(diǎn)位置、虹膜中心位置進(jìn)行校正。4. 根據(jù)權(quán)利要求3所述的自然光下基于投影映射校正和注視點(diǎn)補(bǔ)償?shù)囊暰€跟蹤方法， 其特征在于所述步驟(3)中包括： a. 根據(jù)所述步驟(2)校正后的左右虹膜中心位置，分別與校正后的左右眼睛內(nèi)外角點(diǎn) 位置構(gòu)成4個(gè)眼動(dòng)向量，疊加后得到校正后的二維眼動(dòng)向量； b. 頭部在標(biāo)定位置處?kù)o止不動(dòng)時(shí)，眼睛注視屏幕上的標(biāo)定點(diǎn)，計(jì)算校正后的二維眼動(dòng) 向量，根據(jù)該向量與標(biāo)定點(diǎn)的對(duì)應(yīng)關(guān)系計(jì)算多項(xiàng)式映射模型的參數(shù);實(shí)時(shí)獲取校正后的二 維眼動(dòng)向量，結(jié)合多項(xiàng)式映射模型，計(jì)算出初步注視點(diǎn)估計(jì)結(jié)果。5. 根據(jù)權(quán)利要求4所述的自然光下基于投影映射校正和注視點(diǎn)補(bǔ)償?shù)囊暰€跟蹤方法， 其特征在于，其特征在于所述步驟(4)中包括： 訓(xùn)練支持向量回歸模型，輸入為眼睛內(nèi)角點(diǎn)間線段中點(diǎn)在圖像上的坐標(biāo)與標(biāo)定圖像相 同點(diǎn)的偏移，左右眼內(nèi)外角點(diǎn)間在圖像上的距離與標(biāo)定圖像對(duì)應(yīng)的眼睛內(nèi)外角點(diǎn)間距離的 比值以及圖像上內(nèi)角點(diǎn)間的連線與標(biāo)定圖像內(nèi)角點(diǎn)間連線之間的角度差;輸出為對(duì)應(yīng)的注 視點(diǎn)估計(jì)結(jié)果與真實(shí)標(biāo)定點(diǎn)間的位移偏差;利用支持向量回歸模型進(jìn)行注視點(diǎn)補(bǔ)償，從而 得到最終的注視點(diǎn)估計(jì)結(jié)果。
【文檔編號(hào)】G06K9/00GK106066696SQ201610409478
【公開日】2016年11月2日
【申請(qǐng)日】2016年6月8日 公開號(hào)201610409478.9, CN 106066696 A, CN 106066696A, CN 201610409478, CN-A-106066696, CN106066696 A, CN106066696A, CN201610409478, CN201610409478.9
【發(fā)明人】秦華標(biāo), 胡大正, 卓林海
【申請(qǐng)人】華南理工大學(xué)