眼睛圖像處理設(shè)備和方法
【技術(shù)領(lǐng)域】
[0001] 本申請涉及一種眼睛圖像處理設(shè)備和方法，更具體地講，涉及一種通過對齊不同 視線狀態(tài)下的眼睛圖像來分析眼睛運動信息的眼睛圖像處理設(shè)備和方法。
【背景技術(shù)】
[0002] 如何對視線方向變化造成的眼睛運動信息進行描述是視線位置估計系統(tǒng)中的需 要解決的一個重要問題。合理有效地對眼睛運動信息進行分析描述，可W去除眼睛圖像中 的無效信息，提高圖像對齊W及基于圖像信息的視線應(yīng)用的精度和效率。盡管已經(jīng)有一些 相關(guān)研究工作，但是基于圖像信息來利用計算機視覺方法對眼睛視線估計依然面臨著許多 難題，最重要的問題就是如何進行眼睛圖像對齊和如何對眼睛運動信息進行描述。
[0003] 目前已有的視線估計算法中采用的眼睛對齊算法主要是基于內(nèi)外眼角點作為基 準(zhǔn)的方法，但是送種方法嚴重依賴于眼角點的提取精度。首先，相比于內(nèi)眼角點，外眼角點 并不容易精確提取。其次，當(dāng)眼球和眼皮運動時，眼角的形狀會發(fā)生劇烈的改變，因此眼角 點的提取需要事先儲存大量的樣本W(wǎng)滿足送種外觀形狀的變化。
[0004] 此外，目前的視線估計算法中也并沒有特定地對眼睛運動信息進行分析和特征提 取。通常采用的方法是直接對眼睛圖像進行平均分塊，計算每一子塊圖像的灰度均值或其 他圖像特征來對眼睛圖像進行描述。然而，該類方法沒有將視線水平和垂直運動造成眼睛 圖像變化的影響分開，使得圖像特征信息變化不能有效地描述送兩種運動模式。

【發(fā)明內(nèi)容】

[0005] 根據(jù)本發(fā)明的一方面，提供了一種眼睛圖像處理設(shè)備，所述設(shè)備包括；提取單元， 用于從拍攝的圖像提取不同視線狀態(tài)下的眼睛圖像；基準(zhǔn)線確定單元，用于確定眼睛圖像 的垂直基準(zhǔn)線和水平基準(zhǔn)線；對齊單元，用于使用確定的垂直基準(zhǔn)線和水平基準(zhǔn)線，使不同 視線狀態(tài)下的眼睛圖像在垂直方向和水平方向上對齊。
[0006] 所述基準(zhǔn)線確定單元可包括；垂直基準(zhǔn)線確定單元，用于對提取單元提取的眼睛 圖像的灰度圖像進行垂直方向的投影，并從垂直方向的投影結(jié)果確定垂直基準(zhǔn)線；水平基 準(zhǔn)線確定單元，用于從提取單元提取的眼睛圖像確定內(nèi)眼角點的位置，并將經(jīng)過內(nèi)眼角點 的位置的垂線確定為水平基準(zhǔn)線。
[0007] 所述垂直基準(zhǔn)線確定單元可對提取單元提取的眼睛圖像的灰度圖像進行水平方 向的投影和垂直方向的投影，對水平方向的投影結(jié)果進行歸一化，將水平方向的歸一化投 影結(jié)果作為先驗概率對垂直方向的投影結(jié)果進行歸一化，從所述垂直方向的歸一化投影結(jié) 果確定垂直基準(zhǔn)線。
[0008] 所述水平基準(zhǔn)線確定單元可從眼睛圖像確定內(nèi)眼角區(qū)域，使用內(nèi)眼角區(qū)域附近的 皮膚像素建立皮膚模型，基于所述皮膚模型將內(nèi)眼角區(qū)域分割為皮膚區(qū)域和眼睛區(qū)域，并 將眼睛區(qū)域中靠近眉必的位置確定為內(nèi)眼角點的位置。
[0009] 所述眼睛圖像處理設(shè)備還可包括；響應(yīng)區(qū)域產(chǎn)生單元，用于使用對齊的眼睛圖像 產(chǎn)生眼睛的水平運動響應(yīng)圖或眼睛的垂直運動響應(yīng)圖；運動特征分析單元，用于從眼睛的 水平運動響應(yīng)圖或垂直運動響應(yīng)圖提取眼睛的運動特征。
[0010] 所述響應(yīng)區(qū)域產(chǎn)生單元可基于均值差分法或主成分分析法，使用對齊的眼睛圖像 產(chǎn)生眼睛的水平運動響應(yīng)圖或垂直運動響應(yīng)圖。
[0011] 根據(jù)本發(fā)明的另一方面，提供了一種眼睛圖像處理方法，所述方法包括：從拍攝的 圖像提取不同視線狀態(tài)下的眼睛圖像；確定眼睛圖像的垂直基準(zhǔn)線和水平基準(zhǔn)線；使用確 定的垂直基準(zhǔn)線和水平基準(zhǔn)線，使不同視線狀態(tài)下的眼睛圖像在垂直方向和水平方向上對 齊。
[0012] 確定眼睛圖像的垂直基準(zhǔn)線和水平基準(zhǔn)線的步驟可包括：對提取的眼睛圖像的灰 度圖像進行垂直方向的投影，并從垂直方向的投影結(jié)果確定垂直基準(zhǔn)線；從提取的眼睛圖 像確定內(nèi)眼角點的位置，并將經(jīng)過內(nèi)眼角點的位置的垂線確定為水平基準(zhǔn)線。
[0013] 確定眼睛圖像的垂直基準(zhǔn)線的步驟可包括：對提取的眼睛圖像的灰度圖像進行垂 直方向的投影和水平方向的投影；對水平方向的投影結(jié)果進行歸一化；將水平方向的歸一 化投影結(jié)果作為先驗概率對垂直方向的投影結(jié)果進行歸一化；從垂直方向的歸一化投影結(jié) 果確定垂直基準(zhǔn)線。
[0014] 確定眼睛圖像的水平基準(zhǔn)線的步驟可包括：從眼睛圖像確定內(nèi)眼角區(qū)域；使用內(nèi) 眼角區(qū)域附近的皮膚像素建立皮膚模型；基于所述皮膚模型將內(nèi)眼角區(qū)域分割為皮膚區(qū)域 和眼睛區(qū)域；將眼睛區(qū)域靠近眉必的位置確定為內(nèi)眼角點的位置，并將經(jīng)過內(nèi)眼角點的位 置的垂線確定為水平基準(zhǔn)線。
[0015] 所述眼睛圖像處理方法還可包括；使用對齊的眼睛圖像產(chǎn)生眼睛的水平運動響應(yīng) 圖或眼睛的垂直運動響應(yīng)圖；從眼睛的水平運動響應(yīng)圖或垂直運動響應(yīng)圖提取眼睛的運動 特征。
[0016] 可基于均值差分法或主成分分析法，使用對齊的眼睛圖像產(chǎn)生眼睛的水平運動響 應(yīng)圖或垂直運動響應(yīng)圖。
[0017] 有益效果
[0018] 通過應(yīng)用根據(jù)本發(fā)明的示例性實施例的眼睛圖像處理設(shè)備和方法，能夠更精確地 對齊不同視線狀態(tài)下的眼睛圖像，從而更準(zhǔn)確有效地對眼睛運動信息進行分析描述。
【附圖說明】
[0019] 通過下面結(jié)合附圖對本發(fā)明的示例性實施例進行的描述，本發(fā)明的上述和其他目 的和特點將會變得更加清楚，其中：
[0020] 圖1是示出根據(jù)本發(fā)明的示例性實施例的眼睛圖像處理設(shè)備的框圖；
[0021] 圖2是示出根據(jù)本發(fā)明的示例性實施例的獲取不同視線狀態(tài)下的眼睛圖像的示 意性示圖；
[0022] 圖3是示出根據(jù)本發(fā)明的示例性實施例的眼睛圖像的垂直基準(zhǔn)線和水平基準(zhǔn)線 的W意圖；
[0023] 圖4是示出根據(jù)本發(fā)明的示例性實施例的基準(zhǔn)線確定單元的詳細配置示圖；
[0024] 圖5是示出通過根據(jù)本發(fā)明的示例性實施例的基準(zhǔn)線確定單元確定垂直基準(zhǔn)線 的W意圖；
[00巧]圖6是示出通過根據(jù)本發(fā)明的示例性實施例的基準(zhǔn)線確定單元確定水平基準(zhǔn)線 的W意圖；
[0026] 圖7是示出根據(jù)本發(fā)明的示例性實施例的另一眼睛圖像處理設(shè)備的框圖；
[0027] 圖8是不出根據(jù)本發(fā)明的不例性實施例的水平運動響應(yīng)圖和垂直運動響應(yīng)圖； [002引圖9是示出根據(jù)本發(fā)明的示例性實施例的眼睛圖像處理方法的流程圖；
[0029] 圖10是示出使用根據(jù)本發(fā)明的眼睛圖像處理方法對齊眼睛圖像的結(jié)果與使用現(xiàn) 有的算法對齊眼睛圖像的結(jié)果之間的對比。
[0030] 在附圖中，相同的附圖標(biāo)號將被理解為是指相同的部件。
【具體實施方式】
[0031] 提供W下參照附圖進行的描述W幫助全面理解由權(quán)利要求及其等同物限定的本 發(fā)明的示例性實施例。所述描述包括各種特定細節(jié)W幫助理解，但送些細節(jié)被認為僅是示 例性的。因此，本領(lǐng)域的普通技術(shù)人員將認識到；在不脫離本發(fā)明的范圍和精神的情況下， 可對送里描述的實施例進行各種改變和修改。此外，為了清楚和簡明，可省略已知功能和構(gòu) 造的描述。
[0032] 圖1是示出根據(jù)本發(fā)明的示例性實施例的眼睛圖像處理設(shè)備100的框圖。
[0033] 如圖1所示，根據(jù)本發(fā)明的示例性實施例的眼睛圖像處理設(shè)備100包括；提取單元 110、基準(zhǔn)線確定單元120和對齊單元130。
[0034] 所述提取單元110可從拍攝的圖像提取不同視線狀態(tài)下的眼睛圖像。在本發(fā)明的 示例性實施例中，所述不同的視線狀態(tài)可指眼睛注視顯示器上的不同位置時的視線狀態(tài)。 例如，如圖2所示，可在顯示器上設(shè)置4個標(biāo)定點，當(dāng)用戶將視線依次集中于所述4個標(biāo)定 點時，用戶的視線會由于送4個標(biāo)定點的位置不同而具有不同的視線狀態(tài)，因此可通過諸 如相機（例如，設(shè)置在顯示器上的相機）的圖像采集設(shè)備拍攝用戶分別注視送4個標(biāo)定點 時的圖像，從而可從拍攝的圖像獲取用戶的不同視線狀態(tài)下的眼睛圖像。應(yīng)理解，標(biāo)定點的 數(shù)量可根據(jù)需要來確定而不限于4個。
[0035] 在獲取了眼睛圖像之后，基準(zhǔn)線確定單元120可確定每個眼睛圖像的垂直基準(zhǔn)線 和水平基準(zhǔn)線。圖3是示出根據(jù)本發(fā)明的示例性實施例的眼睛圖像的垂直基準(zhǔn)線和水平基 準(zhǔn)線的示意圖。在本發(fā)明的示例性實施例中，眼睛圖像的垂直基準(zhǔn)線可W是如圖3中所示 的與眼睛的上眼皮或下眼皮平行相切的直線，眼睛圖像的水平基準(zhǔn)線可W是如圖3中所示 的經(jīng)過內(nèi)眼角點所在位置的垂線。
[0036] W下將結(jié)合圖4至圖6詳細說明根據(jù)本發(fā)明的示例性實施例的基準(zhǔn)線確定單元 120確定水平基準(zhǔn)線和垂直基準(zhǔn)線的操作。
[0037] 圖4是示出根據(jù)本發(fā)明的示例性實施例的基準(zhǔn)線確定單元120的詳細配置示圖。 圖5是示出通過根據(jù)本發(fā)明的示例性實施例的基準(zhǔn)線確定單元120確定垂直基準(zhǔn)線的示意 圖。圖6是示出通過根據(jù)本發(fā)明的示例性實施例的基準(zhǔn)線確定單元120確定水平基準(zhǔn)線的 示意圖。
[0038] 如圖4中所示，根據(jù)本發(fā)明的示例性實施例的基準(zhǔn)線確定單元120可包括垂直基 準(zhǔn)線確定單元210和水平基準(zhǔn)線確定單元210。
[0039] 在本發(fā)明的實施例中，所述垂直基準(zhǔn)線確定單元210可對提取單元110提取的眼 睛圖像的灰度圖像進行垂直方向的投影和/或水平方向的投影，并可從垂直方向的投影結(jié) 果確定垂直基準(zhǔn)線。
[0040] 對眼睛圖像的灰度圖像進行水平方向的投影是指按列方向?qū)ρ劬D像的灰度圖 像中的每列像素的灰度值進行累加，對眼睛圖像的灰度圖像進行垂直方向的投影是指按行 方向?qū)ρ劬D像的灰度圖像中的每行像素的灰度值進行累加。優(yōu)選地，在本發(fā)明的示例性 實施例中，在對眼睛圖像的灰度圖像進行垂直方向的投影和水平方向的投影之前，可對眼 睛圖像的灰度圖像進行反色處理（即，