專利名稱：視線追蹤系統(tǒng)中的基于粒子濾波的瞳孔跟蹤方法
技術領域：
視線追蹤系統(tǒng)中的基于粒子濾波的瞳孔跟蹤方法，屬于人機交互領域，特別涉及
人機交互系統(tǒng)中的人臉特征檢測與跟蹤方法。
背景技術：
視線追蹤技術是利用機械、電子、光學等各種檢測手段獲取受試者當前"注視方向"的技術，按照系統(tǒng)構(gòu)成和采用的檢測方法可以粗略劃分為侵入式和非侵入式兩種。在人機交互和疾病診斷兩個領域有著廣泛的應用，如助殘，虛擬現(xiàn)實，認知障礙診斷，車輛輔助駕駛，人因分析等。用于診斷的視線追蹤系統(tǒng)可以采用侵入式以達到更高的精度。用于交互的視線追蹤系統(tǒng)除了對精度，魯棒性，實時性的要求以外，需要最大程度的減少或消除對使用者的干擾。隨著數(shù)字化技術、計算機視覺、人工智能技術的迅速發(fā)展，基于數(shù)字視頻分析(Vi deoOculogr即hic， V0G)的非侵入式視線追蹤技術成為當前熱點研究方向。
視線追蹤技術利用眼球轉(zhuǎn)動時相對位置不變的某些眼部結(jié)構(gòu)和特征作為參照，在位置變化特征和這些不變特征之間提取視線(line of sight/point of regard,L0S/P0R)變化參數(shù)，然后通過幾何模型或映射模型獲取視線方向。因此，基于V0G的視線追蹤技術分為視線特征參數(shù)提取和視線估計模型建立兩個組成部分。VOG視線追蹤原理圖如圖1所示。VOG系統(tǒng)利用外部攝像機獲取人臉和人眼圖像，通過圖像處理與分析，提取眼部特征點并計算視線參數(shù)。然后根據(jù)人眼成像模型或映射模型，將視線參數(shù)換算成視線三維數(shù)據(jù)，從而估算出視線的方向或落點位置。 人眼特征提取是視線追蹤的必要過程和前提，特征提取的質(zhì)量直接關系到視線估計的精度。根據(jù)上述視線追蹤方法的不同，提取的特征分為以下幾類(a)瞳孔中心與角膜反射的向量；(b)角膜反射矩陣；(c)虹膜的橢圓邊界。VOG系統(tǒng)普遍使用瞳孔-角膜反射方法。 瞳孔-角膜反射方法的精確性與穩(wěn)定性可以通過設置與攝像機鏡頭同軸的近紅外(IR)光源得到進一步提高，其產(chǎn)生的"亮瞳"現(xiàn)象如圖2所示。由于采用亮暗瞳差分方案，瞳孔特征相對突出，便于在整幅臉部圖像中快速捕捉眼睛和在眼部圖像中精細準確的分割瞳孔。亮暗瞳差分方案一般過程如下控制光源交替亮暗，產(chǎn)生亮瞳和暗瞳隔幀交替出現(xiàn)的視頻序列。利用相鄰亮瞳和暗瞳圖像做差分消除背景的影響，在閾值化后的差分圖像中檢測瞳孔。 由上述可見，VOG視線追蹤系統(tǒng)的參數(shù)提取過程很大程度的依賴于瞳孔的定位。以上以瞳孔定位為基礎的參數(shù)提取過程是在相鄰兩幀中完成的，可以在接下來的視頻序列中重復進行以上的參數(shù)提取過程，得到實時的視線參數(shù)。但是這樣做有下面兩點問題(a)每次在整幅圖像中搜索瞳孔，效率低，時間長，影響系統(tǒng)的實時性。(b)由于沒有使用瞳孔的歷史信息，所以使瞳孔定位的魯棒性差，對外部光照、眼睛角度、眨眼等情況的適應性差，不能滿足系統(tǒng)的魯棒性要求。所以在初始幀中對瞳孔進行定位以后，需要在接下來的視頻序列中對瞳孔進行跟蹤。
4
傳統(tǒng)的眼睛的跟蹤方法主要有卡爾曼濾波方法、均值漂移跟蹤算法、組合卡爾曼 濾波與均值漂移方法等。 卡爾曼濾波方法是通過參數(shù)化的手段來對目標的非線性運動進行近似估計，主要 缺點是對系統(tǒng)的濾波誤差，測量誤差等要求較為嚴格，在不能達到這些要求的情況下，跟蹤 可能會不穩(wěn)定甚至完全失敗。 均值漂移跟蹤算法，以其計算量小，對目標變形、旋轉(zhuǎn)變化適應性強等特點得到普 遍的重視和廣泛的研究。均值漂移算法有兩個基本版本Camshift算法和標準Meanshift 算法，這兩種算法都以顏色直方圖為目標表示模型，通過迭代求解加權(quán)圖的"質(zhì)心"來跟蹤 目標。組合卡爾曼濾波與均值漂移，相繼被用于瞳孔跟蹤。 這些傳統(tǒng)的眼睛的跟蹤方法主要是利用眼睛在外觀與形狀上與人臉其它部分的 差別來進行跟蹤。眼睛如黑色的瞳孔，白色的鞏膜，圓形的虹膜，眼角，眼睛的形狀等特點可 以用來區(qū)分人眼與其他對象，但由于閉眼，眨眼，眼睛大小和位置的可變性，不同的照明條 件，人臉的的方向等原因，這些眼睛的特點將減小甚至消失。

發(fā)明內(nèi)容
用于實時視線追蹤系統(tǒng)的瞳孔跟蹤需要滿足以下幾點要求(a)由于采用的是灰 度圖像，所以必須充分利用亮瞳和暗瞳兩個通道的圖像信息，以增加跟蹤的魯棒性。(b)由
于瞳孔尺寸較小，所以必須選擇一種能充分區(qū)分前景和背景的目標模型，以減小背景對目
標模型的干擾。(c)狀態(tài)轉(zhuǎn)移方程必須體現(xiàn)瞳孔的運動規(guī)律。 為滿足上述要求，本發(fā)明采用一種基于偽彩色圖的粒子濾波瞳孔跟蹤算法。工作 創(chuàng)新點主要體現(xiàn)在以下幾個方面(a)利用亮暗瞳現(xiàn)象，建立三通道偽彩色圖(TCPCM)的概 念，并將其引入瞳孔跟蹤過程，TCPCM充分利用了各通道信息，瞳孔特征明顯，瞳孔區(qū)域的色 彩明顯與人臉其它部位不同，提高了跟蹤的穩(wěn)定性與精確性。(b)建立一種符合瞳孔形態(tài)特 征和變化規(guī)律的瞳孔目標模型，充分區(qū)分前景和背景，減小了背景對目標模型的干擾。(c) 建立一種體現(xiàn)瞳孔運動規(guī)律的狀態(tài)轉(zhuǎn)移方程，充分考慮了瞳孔狀態(tài)變化的各種情況，對瞳
孔的位置和形狀都能進行有效的預測。 本發(fā)明的具體步驟包括第一步，通過控制光源，交替亮暗，產(chǎn)生亮瞳和暗瞳圖像， 對輸入的亮瞳圖像、暗瞳圖像和差分圖像進行特征參數(shù)提??；第二步，記錄目標模型，建立 一種用于跟蹤的瞳孔模型，目標模型包括9個狀態(tài)變量，分別為瞳孔橢圓的中心，瞳孔橢圓 的長軸和短軸，瞳孔橢圓長軸與垂直方向的角度，瞳孔橢圓分別在水平方向和垂直方向的 運動速度，瞳孔橢圓尺度的變化率，瞳孔橢圓長軸與垂直方向角度的變化率；第三步，進行 跟蹤初始化，計算目標區(qū)域的直方圖，初始化粒子狀態(tài)，計算出每個粒子的初始權(quán)值，開始 基于三通道偽彩色圖的瞳孔跟蹤；第四步，粒子選擇，對三通道偽彩色圖中的粒子集合，按 照權(quán)值分布，隨機選擇出N個狀態(tài)，N大于0，構(gòu)成粒子狀態(tài)集合；第五步，粒子傳播，建立一 種體現(xiàn)瞳孔運動規(guī)律的狀態(tài)轉(zhuǎn)移方程，對粒子狀態(tài)進行預測，得到新時刻的粒子集合；第六 步，粒子觀測，對每個粒子的直方圖進行計算，計算出每個粒子的權(quán)重；第七步，最后對目標 狀態(tài)進行估計，根據(jù)每個粒子的加權(quán)平均作為最后的估計，計算得到估計目標的直方圖，計 算出目標概率權(quán)重，如果概率權(quán)重大于指定閾值，則認為跟蹤成功，按照更新比例a更新 目標狀態(tài)，如果估計目標的概率權(quán)重不大于閾值，則認為跟蹤失敗，不更新目標狀態(tài)。本發(fā)明的整個方法流程如圖3所示。 上述步驟中，本發(fā)明建立三通道偽彩色圖(TCPCM)的概念，因為采用的是灰度圖 像，所以必須充分利用亮瞳和暗瞳兩個通道的圖像信息，以增加跟蹤的魯棒性。從亮瞳圖像 和暗瞳圖像以及兩者做差得到差分圖像可以看出，瞳孔的灰度圖像與臉部其他特征點的灰 度比較相近，特征不明顯，區(qū)分度較低。三通道偽彩色圖充分利用了各通道信息，瞳孔特征 較明顯，瞳孔區(qū)域的色彩明顯與人臉其他部位不同，提高了跟蹤的穩(wěn)定性與精確性。亮瞳圖 像如圖2所示，暗瞳圖像如圖4所示，差分圖像如圖5所示。 上述步驟中，在記錄目標模型時，本發(fā)明根據(jù)瞳孔的形態(tài)特征，建立一種用于跟蹤 的瞳孔橢圓模型。將瞳孔狀態(tài)用9個狀態(tài)變量描述，其中包括瞳孔的橢圓中心，瞳孔橢圓 的長軸與短軸，瞳孔橢圓長軸與垂直方向的角度，瞳孔橢圓分別在水平方向和垂直方向的 運動速度，瞳孔橢圓的尺度變化率和瞳孔橢圓長軸與垂直方向角度的變化率。瞳孔的9個 狀態(tài)變量詳盡的描述了瞳孔的位置，這樣的目標模型能充分區(qū)分前景和背景，以減小背景 對目標模型的干擾。 上述步驟中，本發(fā)明根據(jù)瞳孔的運動特征，建立一種體現(xiàn)瞳孔運動規(guī)律的狀態(tài)轉(zhuǎn) 移方程。根據(jù)狀態(tài)轉(zhuǎn)移方程對粒子進行預測，可以充分考慮瞳孔狀態(tài)變化的各種情況，對瞳 孔的位置和狀態(tài)都能進行有效的預測。 與現(xiàn)有技術相比，本發(fā)明具有如下優(yōu)點(l)本發(fā)明建立了三通道偽彩色圖的概 念，并將其引入瞳孔跟蹤過程。三通道偽彩色圖充分利用了各通道信息，瞳孔特征較明顯， 瞳孔區(qū)域的色彩明顯與人臉其他部位不同，提高了跟蹤的穩(wěn)定性與精確性。(2)本發(fā)明建立 了一種用于跟蹤的瞳孔模型。這個目標模型能充分區(qū)分前景和背景，減小了背景對目標模 型的干擾。(3)本發(fā)明建立一種體現(xiàn)瞳孔運動規(guī)律的狀態(tài)轉(zhuǎn)移方程，充分考慮了瞳孔狀態(tài)變 化的各種情況，對瞳孔的位置和狀態(tài)都能進行有效的預測。


圖1是V0G視線追蹤原理圖 圖2是V0G視線追蹤系統(tǒng)使用瞳孔_角膜反射方法，設置與攝像機同軸的近紅外
光源，產(chǎn)生的"亮瞳"圖像 圖3是瞳孔跟蹤算法流程圖 圖4是暗瞳圖像 圖5是差分圖像 圖6是TCPCM三通道偽彩色圖 圖7是初始化粒子狀態(tài)圖
具體實施例方式
下面結(jié)合附圖對本發(fā)明的具體實施過程做進一步的說明。 本發(fā)明提供一種基于偽彩色圖的粒子濾波瞳孔跟蹤算法。工作創(chuàng)新點主要體現(xiàn)在 以下幾個方面(a)針對亮暗瞳現(xiàn)象，提出三通道偽彩色圖(TCPCM)的概念，并將其引入瞳 孔跟蹤過程。(b)提出一種符合瞳孔形態(tài)特征和變化規(guī)律的瞳孔目標模型。(c)提出一種 體現(xiàn)瞳孔運動規(guī)律的狀態(tài)轉(zhuǎn)移方程。
1.特征參數(shù)提取 首先判斷亮瞳和暗瞳圖像，通過控制光源，交替亮暗，產(chǎn)生亮瞳和暗瞳隔幀交替出
現(xiàn)的視頻序列，獲取相鄰兩幀圖像后要判斷哪幀是亮瞳哪幀是暗瞳，準確穩(wěn)定地區(qū)分亮瞳
和暗瞳圖像是整個參數(shù)提取過程正常運行的前提，接下來對亮瞳和暗瞳圖像采用雙閾值法
進行濾波，然后，對差分圖像做進一步濾波，得到瞳孔區(qū)域，然后搜索眼睛區(qū)域，校驗眼睛區(qū)
域的合理性，并檢測差分圖像眼睛區(qū)域中的邊緣，在暗瞳圖像中，在眼睛區(qū)域附近基于灰度
搜索普爾欽斑，然后求質(zhì)心定位普爾欽斑中心，并進行邊緣濾波，接下來橢圓擬合定位瞳孔
中心，最后進行瞳孔中心到普爾欽斑中心向量合理性校驗。 2.記錄目標模型 本發(fā)明根據(jù)瞳孔的形態(tài)特征，提出一種用于跟蹤的瞳孔模型。瞳孔狀態(tài)由9個狀
態(tài)變量描述，其中包括瞳孔橢圓的中心，瞳孔橢圓的長軸和短軸，瞳孔橢圓長軸與垂直方
向的角度，瞳孔橢圓分別在水平方向和垂直方向的運動速度，瞳孔橢圓尺度的變化率，瞳孔
橢圓長軸與垂直方向角度的變化率。瞳孔的9個狀態(tài)變量詳盡的描述了瞳孔的位置，這樣
的目標模型能充分區(qū)分前景和背景，以減小背景對目標模型的干擾。 3.跟蹤初始化 本發(fā)明提出基于三通道偽彩色圖(Three-channel pseudo-color m即，TCPCM)的
瞳孔跟蹤，TCPCM定義如下
7T尸CM = {巧|=為a p'〗=; 《a ;7; = }
p、j，p j，p j分別為TCPCM的三個通道上的像素點，pbij為亮瞳圖像的像素點，pbij 為暗瞳圖像的像素點，blobij為差分圖像濾波后瞳孔圖像的像素點。三通道偽彩色圖充分 利用了各通道信息，瞳孔特征較明顯，瞳孔區(qū)域的色彩明顯與人臉其他部位不同，提高了跟 蹤的穩(wěn)定性與精確性。TCPCM三通道偽彩色圖如圖6所示。 初始化過程中，首先計算目標區(qū)域的直方圖，直方圖是計算相似度的依據(jù)，本發(fā)明 采用等灰度線距離作為衡量瞳孔像素點重要性加權(quán)的依據(jù)，等灰度線距離相同的點在一條 橢圓曲線上，瞳孔橢圓輪廓線的等灰度線距離等于1，向瞳孔中心點方向等灰度線距離逐漸 減小，直至為O，等灰度線距離越小，像素權(quán)值越大。然后初始化粒子狀態(tài)，在瞳孔附近隨機 撒下75個粒子，計算出每個粒子的初始權(quán)值。初始化粒子狀態(tài)圖如圖7所示。
4.粒子選擇 從初始化粒子狀態(tài)中，按照權(quán)值分布，隨機選出75個狀態(tài)，權(quán)重越高的粒子被選
中的機會越大，往往被重復選擇，而權(quán)重低的粒子在選擇過程中被淘汰。 5.粒子傳播 根據(jù)瞳孔運動方程對粒子狀態(tài)進行檢測，提出一種體現(xiàn)瞳孔運動規(guī)律的狀態(tài)轉(zhuǎn)移 方程，
其中vt—丄和vt—,噪聲向量，<formula>formula see original document page 8</formula> 根據(jù)此狀態(tài)轉(zhuǎn)移方程對粒子進行預測，可以充分考慮瞳孔狀態(tài)變化的各種情況， 瞳孔位置的9個狀態(tài)變量變化情況可進行如下描述這一時刻瞳孔的橢圓中心位置等于上 一時刻的瞳孔橢圓中心位置與瞳孔運動位移之和，這一時刻的瞳孔橢圓的長軸(或短軸) 等于上一時刻的長軸(或短軸)與橢圓尺度變化之和，瞳孔橢圓長軸與垂直方向的角度等 于上一時刻的角度與角度變化之和，其他狀態(tài)變量基本不變，但對粒子狀態(tài)進行預測時都 要將噪聲向量考慮在內(nèi)。
6.粒子觀測 對每個粒子的直方圖進行計算，從而計算出每個粒子的權(quán)重。直方圖越相似，權(quán)重 就越高。 7.目標概率權(quán)重估計 對目標狀態(tài)進行估計，再計算得到估計目標的直方圖，從而得到估計目標的概率 權(quán)重，如果估計目標的概率權(quán)重大于閾值，則認為跟蹤成功，按照更新比例a更新目標狀 態(tài)，如果估計目標的概率權(quán)重不大于閾值，則認為跟蹤失敗，不更新目標狀態(tài)。
權(quán)利要求
視線追蹤系統(tǒng)中的基于粒子濾波的瞳孔跟蹤方法，其特征在于步驟一對輸入的亮瞳圖像、暗瞳圖像和差分圖像進行特征參數(shù)提??；步驟二記錄目標模型，建立用于跟蹤的瞳孔模型；步驟三進行跟蹤初始化，開始基于三通道偽彩色圖的瞳孔跟蹤；步驟四粒子選擇，對三通道偽彩色圖中的粒子集合，按照權(quán)值分布，隨機選擇出N個狀態(tài)，N大于0，構(gòu)成粒子狀態(tài)集合；步驟五粒子傳播，建立一種體現(xiàn)瞳孔運動規(guī)律的狀態(tài)轉(zhuǎn)移方程，對粒子狀態(tài)進行預測，得到新時刻的粒子集合；步驟六粒子觀測，計算出每個粒子的權(quán)重；步驟七最后對目標狀態(tài)進行估計根據(jù)每個粒子的加權(quán)平均作為最后的估計，計算得到估計目標的直方圖，計算出目標概率權(quán)重，如果概率權(quán)重大于指定閾值，則認為跟蹤成功，按照更新比例α更新目標狀態(tài)；如果估計目標的概率權(quán)重不大于閾值，則認為跟蹤失敗，不更新目標狀態(tài)。
2. 如權(quán)利要求l所述的跟蹤方法，其特征在于所述的亮瞳與暗瞳圖像通過控制光源， 交替亮暗，產(chǎn)生亮瞳和暗瞳圖像。
3. 如權(quán)利要求1所述的跟蹤方法，其特征在于所述的特征參數(shù)包括瞳孔橢圓的中心， 瞳孔橢圓的長軸和短軸，瞳孔橢圓長軸與垂直方向的角度，瞳孔橢圓分別在水平方向和垂 直方向的運動速度，瞳孔橢圓尺度的變化率，瞳孔橢圓長軸與垂直方向角度的變化率9個 狀態(tài)變量，所述的特征參數(shù)提取為從亮瞳圖像和暗瞳圖像做差得到差分圖像，對亮瞳和暗 瞳圖像采用雙閾值法進行濾波，對差分圖像做進一步濾波，得到瞳孔區(qū)域；搜索眼睛區(qū)域， 校驗眼睛區(qū)域的合理性，并檢測差分圖像眼睛區(qū)域中的邊緣，在暗瞳圖像中，在眼睛區(qū)域附 近基于灰度搜索普爾欽斑，然后求質(zhì)心定位普爾欽斑中心，并進行邊緣濾波，接下來橢圓擬 合定位瞳孔中心，最后進行瞳孔中心到普爾欽斑中心向量合理性校驗。
4. 如權(quán)利要求l所述的跟蹤方法，其特征在于所述的目標模型包括9個狀態(tài)變量，分 別為瞳孔橢圓的中心，瞳孔橢圓的長軸和短軸，瞳孔橢圓長軸與垂直方向的角度，瞳孔橢圓 分別在水平方向和垂直方向的運動速度，瞳孔橢圓尺度的變化率，瞳孔橢圓長軸與垂直方 向角度的變化率。
5. 如權(quán)利要求l所述的跟蹤方法，其特征在于所述的初始化過程，首先計算目標區(qū)域 的直方圖，采用等灰度線距離作為衡量瞳孔像素點重要性加權(quán)的依據(jù)，等灰度線距離相同 的點在一條橢圓曲線上，瞳孔橢圓輪廓線的等灰度線距離等于1，向瞳孔中心點方向等灰度 線距離逐漸減小，直至為O，等灰度線距離越小，像素權(quán)值越大；然后初始化粒子狀態(tài)，在瞳 孔附近隨機撒下N個粒子，計算出每個粒子的初始權(quán)值；所述的基于三通道偽彩色圖的瞳孔跟蹤為rc尸CM = i p)=雞a = m a =歸〃}p、j， p j， p j分別為TCPCM的三個通道上的像素點，pbij為亮瞳圖像的像素點，pbij為 暗瞳圖像的像素點，blobij為差分圖像濾波后瞳孔圖像的像素點。
6. 如權(quán)利要求1所述的跟蹤方法，其特征在于所述的粒子選擇為從初始化粒子狀態(tài) 中，按照權(quán)值分布，隨機選出N個狀態(tài)，權(quán)重越高的粒子被選中的機會越大，往往被重復選擇，而權(quán)重低的粒子在選擇過程中被淘汰。
7.如權(quán)利要求1所述的跟蹤方法，其特征在于所述的體現(xiàn)瞳孔運動規(guī)律的狀態(tài)轉(zhuǎn)移 方程為■STATES ={(慮《，0)|血《=顛<,+dH(血e'",0)l廳《=+其中vt—工和vt—,為噪聲向量，1000000001000000001000000001000000001000000001000000000100000000010000000001瞳孔位置的9個狀態(tài)變量變化情況進行如下描述這一時刻瞳孔的橢圓中心位置等于 上一時刻的瞳孔橢圓中心位置與瞳孔運動位移之和，這一時刻的瞳孔橢圓的長軸等于上一 時刻的長軸與橢圓尺度變化之和，這一時刻的瞳孔橢圓的短軸等于上一時刻的短軸與橢圓 尺度變化之和，瞳孔橢圓長軸與垂直方向的角度等于上一時刻的角度與角度變化之和，其 他狀態(tài)變量基本不變，但對粒子狀態(tài)進行預測時都要將噪聲向量考慮在內(nèi)。
8.如權(quán)利要求1所述的跟蹤方法，其特征在于所述的粒子觀測為對每個粒子的直方 圖進行計算，從而計算出每個粒子的權(quán)重，直方圖越相似，權(quán)重就越高。
全文摘要
本發(fā)明采用一種視線追蹤系統(tǒng)中的基于粒子濾波的瞳孔跟蹤方法，屬于人機交互領域。針對現(xiàn)有紅外圖像中瞳孔跟蹤效果較差的問題，本發(fā)明建立一種三通道偽彩色圖(TCPCM)的概念，TCPCM充分利用了各通道信息，使瞳孔特征明顯，提高了跟蹤的穩(wěn)定性與精確性。針對背景對瞳孔跟蹤過程中的干擾問題，建立一種符合瞳孔形態(tài)特征和變化規(guī)律的瞳孔目標模型，充分區(qū)分前景和背景，減小了背景對目標模型的干擾。針對瞳孔位置和形態(tài)預測效果較差的問題，本發(fā)明建立一種體現(xiàn)瞳孔運動規(guī)律的狀態(tài)轉(zhuǎn)移方程，充分考慮了瞳孔狀態(tài)變化的各種情況，對瞳孔的位置和形狀都能進行有效的預測。本發(fā)明通過高質(zhì)量的特征檢測及跟蹤，使開發(fā)的視線追蹤系統(tǒng)的精度達到了滿足實時人機交互的水平。
文檔編號G06T7/00GK101699510SQ200910090639
公開日2010年4月28日 申請日期2009年9月2日 優(yōu)先權(quán)日2009年9月2日
發(fā)明者常寧, 張瓊, 張闖, 張鵬翼, 王志良, 胡濤, 遲建男 申請人:北京科技大學