本發(fā)明涉及圖像處理，特別是指一種基于可見光的視線跟蹤系統(tǒng)的虹膜分割與邊緣檢測方法及裝置。

背景技術(shù)：

1、虹膜是位于角膜以及晶狀體之間的眼球壁中間層的扁平圓形薄膜，是眼球的視覺特征。由于虹膜的紋理隨著時(shí)間的推移是穩(wěn)定的，虹膜一直是用于身份識別的重要生物特征之一，廣泛應(yīng)用于民生、智能安全以及智能交通領(lǐng)域。此外，由于虹膜受折射的影響較小，并且尺寸基本保持不變，因此虹膜一直是視線跟蹤和眼動分析研究中的一個(gè)重要特征。虹膜的精確檢測決定了眼動跟蹤的性能，對于眼動交互、人因分析相關(guān)領(lǐng)域的應(yīng)用具有重要意義。

2、目前受深度學(xué)習(xí)研究熱潮的影響，提出了很多基于卷積神經(jīng)網(wǎng)絡(luò)的虹膜分割方法，對于不同用戶不同場景下，虹膜分割準(zhǔn)確性存在差異，分割準(zhǔn)確性無法滿足視線跟蹤系統(tǒng)的應(yīng)用需求；基于卷積神經(jīng)網(wǎng)絡(luò)的虹膜分割方法只預(yù)測虹膜掩模，忽略對虹膜中心以及邊緣進(jìn)行定位；現(xiàn)存在的大多數(shù)虹膜邊緣檢測方法采用圓形來擬合虹膜，但只有當(dāng)相機(jī)的光軸穿過空間圓形目標(biāo)的中心并垂直于空間圓形目標(biāo)所在的平面時(shí)，空間圓形目標(biāo)才被成像為圓形，導(dǎo)致擬合虹膜準(zhǔn)確性較差；現(xiàn)有虹膜邊緣檢測方法需要同時(shí)檢測瞳孔和虹膜特征，或者定位出瞳孔后再檢測虹膜，不適用于瞳孔和虹膜對比低的情況。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)存在的基于卷積神經(jīng)網(wǎng)絡(luò)方法分割準(zhǔn)確性無法滿足視線跟蹤系統(tǒng)的應(yīng)用需求；采用圓形來擬合虹膜，導(dǎo)致擬合虹膜準(zhǔn)確性較差以及現(xiàn)有虹膜邊緣檢測方法需要同時(shí)檢測瞳孔和虹膜特征，或者定位出瞳孔后再檢測虹膜，不適用于瞳孔和虹膜對比低的情況的技術(shù)問題，本發(fā)明實(shí)施例提供了一種基于可見光的視線跟蹤系統(tǒng)的虹膜分割與邊緣檢測方法及裝置。所述技術(shù)方案如下：

2、一方面，提供了一種基于可見光的視線跟蹤系統(tǒng)的虹膜分割與邊緣檢測方法，該方法由基于可見光的視線跟蹤系統(tǒng)的虹膜分割與邊緣檢測設(shè)備實(shí)現(xiàn)，該方法包括：

3、s1、獲取人臉圖像；采用mediapipe人臉面部網(wǎng)格模型對所述人臉圖像進(jìn)行檢測，獲得人眼地標(biāo)以及虹膜地標(biāo)；

4、s2、根據(jù)所述人眼地標(biāo)檢測，采用二次曲線擬合方法，確定所述人臉圖像的眼瞼區(qū)域；根據(jù)所述人臉圖像的眼瞼區(qū)域，構(gòu)建范圍約束；

5、s3、根據(jù)所述虹膜地標(biāo)，對所述人臉圖像的虹膜區(qū)域進(jìn)行檢測，獲得虹膜圖像；

6、s4、對所述虹膜圖像進(jìn)行預(yù)處理，獲得預(yù)處理后的虹膜圖像；

7、s5、采用填充方法，對所述預(yù)處理后的虹膜圖像進(jìn)行填充處理，獲得填充后的虹膜圖像；

8、s6、采用輪廓檢測方法對所述填充后的虹膜圖像進(jìn)行檢測，獲得虹膜邊緣點(diǎn)；

9、s7、采用所述范圍約束對所述虹膜邊緣點(diǎn)進(jìn)行篩選，獲得篩選后的虹膜邊緣點(diǎn)；

10、s8、根據(jù)所述篩選后的虹膜邊緣點(diǎn)，采用橢圓對虹膜邊緣進(jìn)行擬合，獲得擬合結(jié)果；根據(jù)所述擬合結(jié)果，獲得虹膜橢圓的特征參數(shù)。

11、可選地，所述s1的mediapipe人臉面部網(wǎng)格模型，用于提供468個(gè)點(diǎn)位的人臉點(diǎn)云數(shù)據(jù)；其中，468個(gè)點(diǎn)位的人臉點(diǎn)云數(shù)據(jù)包括：16個(gè)人眼地標(biāo)和5個(gè)虹膜地標(biāo)；其中，

12、所述16個(gè)人眼地標(biāo)，用于確定上下眼瞼的信息；

13、所述5個(gè)虹膜地標(biāo)，用于確定虹膜的區(qū)域。

14、可選地，所述s4的對所述虹膜圖像進(jìn)行預(yù)處理，獲得預(yù)處理后的虹膜圖像，包括：

15、s41、對所述虹膜圖像進(jìn)行灰度處理，獲得灰度的虹膜圖像；

16、s42、采用直方圖均衡化方法，對灰度的虹膜圖像進(jìn)行處理，獲得直方圖均衡化的虹膜圖像；

17、s43、采用二值化方法，對直方圖均衡化的虹膜圖像進(jìn)行處理，獲得二值化后的虹膜圖像；采用形態(tài)學(xué)重建方法對二值化后的虹膜圖像進(jìn)行腐蝕以及膨脹處理，獲得預(yù)處理后的虹膜圖像。

18、可選地，所述s5的填充方法，包括：形態(tài)學(xué)重建方法以及基于亮斑位置直接填充方法。

19、可選地，所述s5的采用填充方法，對所述預(yù)處理后的虹膜圖像進(jìn)行填充處理，獲得填充后的虹膜圖像，包括：

20、當(dāng)亮斑位于虹膜特征內(nèi)部時(shí)，采用形態(tài)學(xué)重建方法，對所述預(yù)處理后的虹膜圖像進(jìn)行填充處理，獲得填充后的虹膜圖像；或者，

21、當(dāng)亮斑位于虹膜邊緣上時(shí)，采用基于亮斑位置直接填充方法，對所述預(yù)處理后的虹膜圖像進(jìn)行填充處理，獲得填充后的虹膜圖像。

22、可選地，所述s7的采用所述范圍約束對所述虹膜邊緣點(diǎn)進(jìn)行篩選之外，還包括采用中心約束以及形狀約束對所述虹膜邊緣點(diǎn)進(jìn)行篩選。

23、可選地，所述s8的虹膜橢圓的特征參數(shù)，包括：虹膜的橢圓的中心、虹膜的橢圓長短軸以及虹膜的橢圓傾角。

24、另一方面，提供了一種基于可見光的視線跟蹤系統(tǒng)的虹膜分割與邊緣檢測裝置，該裝置應(yīng)用于基于可見光的視線跟蹤系統(tǒng)的虹膜分割與邊緣檢測方法，該裝置包括：

25、獲取與檢測單元，用于獲取人臉圖像；采用mediapipe人臉面部網(wǎng)格模型對所述人臉圖像進(jìn)行檢測，獲得人眼地標(biāo)以及虹膜地標(biāo)；

26、構(gòu)建單元，用于根據(jù)所述人眼地標(biāo)檢測，采用二次曲線擬合方法，確定所述人臉圖像的眼瞼區(qū)域；根據(jù)所述人臉圖像的眼瞼區(qū)域，構(gòu)建范圍約束；

27、第一檢測單元，用于根據(jù)所述虹膜地標(biāo)，對所述人臉圖像的虹膜區(qū)域進(jìn)行檢測，獲得虹膜圖像；

28、預(yù)處理單元，用于對所述虹膜圖像進(jìn)行預(yù)處理，獲得預(yù)處理后的虹膜圖像；

29、填充單元，用于采用填充方法，對所述預(yù)處理后的虹膜圖像進(jìn)行填充處理，獲得填充后的虹膜圖像；

30、第二檢測單元，用于采用輪廓檢測方法對所述填充后的虹膜圖像進(jìn)行檢測，獲得虹膜邊緣點(diǎn)；

31、篩選單元，用于采用所述范圍約束對所述虹膜邊緣點(diǎn)進(jìn)行篩選，獲得篩選后的虹膜邊緣點(diǎn)；

32、擬合與獲取單元，用于根據(jù)所述篩選后的虹膜邊緣點(diǎn)，采用橢圓對虹膜邊緣進(jìn)行擬合，獲得擬合結(jié)果；根據(jù)所述擬合結(jié)果，獲得虹膜橢圓的特征參數(shù)。

33、可選地，所述mediapipe人臉面部網(wǎng)格模型，用于提供468個(gè)點(diǎn)位的人臉點(diǎn)云數(shù)據(jù)；其中，468個(gè)點(diǎn)位的人臉點(diǎn)云數(shù)據(jù)包括：16個(gè)人眼地標(biāo)和5個(gè)虹膜地標(biāo)；其中，

34、所述16個(gè)人眼地標(biāo)，用于確定上下眼瞼的信息；

35、所述5個(gè)虹膜地標(biāo)，用于確定虹膜的區(qū)域。

36、可選地，所述預(yù)處理單元，用于：

37、對所述虹膜圖像進(jìn)行灰度處理，獲得灰度的虹膜圖像；

38、采用直方圖均衡化方法，對灰度的虹膜圖像進(jìn)行處理，獲得直方圖均衡化的虹膜圖像；

39、采用二值化方法，對直方圖均衡化的虹膜圖像進(jìn)行處理，獲得二值化后的虹膜圖像；采用形態(tài)學(xué)重建方法對二值化后的虹膜圖像進(jìn)行腐蝕以及膨脹處理，獲得預(yù)處理后的虹膜圖像。

40、可選地，所述填充方法，包括：形態(tài)學(xué)重建方法以及基于亮斑位置直接填充方法。

41、可選地，所述填充單元，用于：

42、當(dāng)亮斑位于虹膜特征內(nèi)部時(shí)，采用形態(tài)學(xué)重建方法，對所述預(yù)處理后的虹膜圖像進(jìn)行填充處理，獲得填充后的虹膜圖像；或者，

43、當(dāng)亮斑位于虹膜邊緣上時(shí)，采用基于亮斑位置直接填充方法，對所述預(yù)處理后的虹膜圖像進(jìn)行填充處理，獲得填充后的虹膜圖像。

44、可選地，采用所述范圍約束對所述虹膜邊緣點(diǎn)進(jìn)行篩選之外，還包括采用中心約束以及形狀約束對所述虹膜邊緣點(diǎn)進(jìn)行篩選。

45、可選地，所述虹膜橢圓的特征參數(shù)，包括：虹膜的橢圓的中心、虹膜的橢圓長短軸以及虹膜的橢圓傾角。

46、另一方面，提供一種基于可見光的視線跟蹤系統(tǒng)的虹膜分割與邊緣檢測設(shè)備，所述基于可見光的視線跟蹤系統(tǒng)的虹膜分割與邊緣檢測設(shè)備包括：處理器；存儲器，所述存儲器上存儲有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)如上述基于可見光的視線跟蹤系統(tǒng)的虹膜分割與邊緣檢測方法中的任一項(xiàng)方法。

47、另一方面，提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，所述存儲介質(zhì)中存儲有至少一條指令，所述至少一條指令由處理器加載并執(zhí)行以實(shí)現(xiàn)上述基于可見光的視線跟蹤系統(tǒng)的虹膜分割與邊緣檢測方法中的任一項(xiàng)方法。

48、本發(fā)明實(shí)施例提供的技術(shù)方案帶來的有益效果至少包括：

49、本發(fā)明實(shí)施例首先獲取人臉圖像；采用mediapipe人臉面部網(wǎng)格模型對人臉圖像進(jìn)行檢測，獲得人眼地標(biāo)以及虹膜地標(biāo)；根據(jù)人眼地標(biāo)檢測，采用二次曲線擬合方法，確定人臉圖像的眼瞼區(qū)域；根據(jù)人臉圖像的眼瞼區(qū)域，構(gòu)建范圍約束；根據(jù)虹膜地標(biāo)，對人臉圖像的虹膜區(qū)域進(jìn)行檢測，獲得虹膜圖像；其次，對虹膜圖像進(jìn)行預(yù)處理，獲得預(yù)處理后的虹膜圖像；采用填充方法，對預(yù)處理后的虹膜圖像進(jìn)行填充處理，獲得填充后的虹膜圖像；采用輪廓檢測方法對填充后的虹膜圖像進(jìn)行檢測，獲得虹膜邊緣點(diǎn)；最后，采用范圍約束、中心約束以及形狀約束對虹膜邊緣點(diǎn)進(jìn)行篩選，獲得篩選后的虹膜邊緣點(diǎn)；根據(jù)篩選后的虹膜邊緣點(diǎn)，采用橢圓對虹膜邊緣進(jìn)行擬合，獲得擬合結(jié)果；根據(jù)擬合結(jié)果，獲得虹膜橢圓的特征參數(shù)。

50、本發(fā)明實(shí)施例采用mediapipe人臉網(wǎng)格模型檢測人眼地標(biāo)和虹膜地標(biāo)，利用檢測的人眼地標(biāo)確定上下眼瞼的位置，通過多項(xiàng)式擬合得到上下眼瞼的二次曲線，能夠排除上下眼瞼區(qū)域的非虹膜點(diǎn)，避免眼瞼特征被誤判成虹膜特征，影響虹膜分割的準(zhǔn)確度；根據(jù)上下眼瞼的二次曲線構(gòu)建范圍約束，可濾除非虹膜邊緣點(diǎn)；針對系統(tǒng)光源和自然環(huán)境光在角膜上產(chǎn)生的亮斑的位置位于虹膜特征內(nèi)部以及虹膜邊緣上，分別提出采用基于形態(tài)學(xué)重建的孔洞填充方法和基于亮斑位置直接填充方法填充亮斑；由于虹膜易受睫毛以及眼瞼遮擋的影響，根據(jù)眼瞼曲線設(shè)置了范圍約束；根據(jù)范圍約束、中心約束和形狀約束區(qū)分真正的虹膜邊緣點(diǎn)和非虹膜邊緣點(diǎn)；對真正的虹膜邊緣點(diǎn)進(jìn)行擬合，以提取準(zhǔn)確的虹膜特征參數(shù)，用于視線跟蹤。采用本發(fā)明可提高虹膜分割的準(zhǔn)確性以及提高虹膜特征參數(shù)檢測的精度。