本發(fā)明涉及視覺追蹤，尤其涉及一種基于眼成像及眼動(dòng)追蹤實(shí)現(xiàn)健康篩查的多模態(tài)識(shí)別裝置。

背景技術(shù)：

1、眼部成像技術(shù)在健康篩查和疾病診斷中發(fā)揮著重要作用。然而，傳統(tǒng)的眼部成像設(shè)備通常需要專業(yè)醫(yī)生進(jìn)行操作和解讀，且存在使用復(fù)雜、昂貴、需要患者前往醫(yī)院等問題。目前，一些眼部成像技術(shù)已經(jīng)在醫(yī)療領(lǐng)域得到廣泛應(yīng)用。虹膜成像技術(shù)通過采集虹膜圖像并提取其特征，可以實(shí)現(xiàn)個(gè)體身份的快速識(shí)別。眼表圖像和眼底圖像則提供了關(guān)于眼部結(jié)構(gòu)和病變的重要信息，可以用于眼部疾病的早期檢測和診斷。此外，眼動(dòng)追蹤及眼位圖像可以評(píng)估眼球運(yùn)動(dòng)的正常性，幫助判斷眼位異常和斜視等疾病。然而，傳統(tǒng)眼動(dòng)追蹤及眼部成像設(shè)備存在著一些問題，例如成本昂貴、體積龐大、使用不便、專業(yè)知識(shí)要求高等，限制了其在健康篩查中的應(yīng)用。

2、例如，糖尿病篩查會(huì)應(yīng)用到眼底圖像采集技術(shù)，通常關(guān)注視網(wǎng)膜血管異常、滲漏和出血，以及黃斑區(qū)變化等?，F(xiàn)有視網(wǎng)膜攝影時(shí)，需要患者保持頭部的穩(wěn)定性，不能亂動(dòng)，眼睛也必須注視特定目標(biāo)。在多角度拍攝時(shí)，還需要用戶跟隨操作人員的引導(dǎo)變換注視目標(biāo)，比較考驗(yàn)操作人員的專業(yè)度，以及與患者的配合度。對(duì)于弱視、斜視的篩查會(huì)應(yīng)用到眼動(dòng)追蹤技術(shù)，通常根據(jù)眼動(dòng)的數(shù)據(jù)進(jìn)行分析。

3、眼底圖像采集通常采用專業(yè)的設(shè)備，例如專業(yè)的眼底相機(jī)或光學(xué)相干斷層掃描儀(oct)，分辨率要達(dá)到10兆像素以上，但隨著技術(shù)進(jìn)步，普通的單反相機(jī)就能滿足眼底圖像采集的分辨要求，專業(yè)級(jí)的單反甚至都在30兆像素往上，市面上的眼動(dòng)追蹤設(shè)備的相機(jī)，也普遍出現(xiàn)了10兆往上的分辨率，配合可見光補(bǔ)光系統(tǒng)，眼底圖像采集出現(xiàn)了脫離專業(yè)場景，向更便民、更靈活、更智能方向轉(zhuǎn)變的可能。

4、因此，有必要提供一種基于眼成像及眼動(dòng)追蹤實(shí)現(xiàn)健康篩查的多模態(tài)識(shí)別裝置，以實(shí)現(xiàn)便捷的健康篩查和遠(yuǎn)程診斷。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于眼成像及眼動(dòng)追蹤實(shí)現(xiàn)健康篩查的多模態(tài)識(shí)別裝置，以實(shí)現(xiàn)便捷的健康篩查和遠(yuǎn)程診斷。

2、根據(jù)本發(fā)明的一方面，提供一種基于眼成像及眼動(dòng)追蹤實(shí)現(xiàn)健康篩查的多模態(tài)識(shí)別裝置，包括供患者使用的桌面端和與所述桌面端信息交互并供醫(yī)生使用的遠(yuǎn)程端，所述桌面端包括：

3、第一語音單元，與所述遠(yuǎn)程端建立語音交互；

4、第一屏顯單元，與所述第一語音單元電性連接，并面向患者；

5、圖像采集單元，設(shè)于所述第一屏顯單元內(nèi)，并沿第一方向采集患者眼部的圖像信息，所述圖像信息包括：虹膜圖像、眼表圖像、眼底圖像、眼位圖像；

6、第一控制單元，根據(jù)所述虹膜圖像實(shí)時(shí)識(shí)別用戶身份，根據(jù)所述眼表圖像、所述眼底圖像、所述眼位圖像判斷用戶的健康狀態(tài)。

7、更優(yōu)地，所述眼底圖像包括：黃斑特征；

8、所述眼位圖像包括：瞳孔特征；

9、所述第一控制單元在所述眼位圖像的瞳孔上標(biāo)記第一追蹤點(diǎn)，在所述眼底圖像的黃斑上標(biāo)記第二追蹤點(diǎn)，且根據(jù)所述第一追蹤點(diǎn)追蹤患者眼球的轉(zhuǎn)動(dòng)，并以所述第二追蹤點(diǎn)為對(duì)焦點(diǎn)控制圖像采集單元自動(dòng)對(duì)焦。

10、更優(yōu)地，所述第一追蹤點(diǎn)為所述瞳孔的幾何中心點(diǎn)，所述第二追蹤點(diǎn)為黃斑的幾何中心點(diǎn)，

11、所述第一控制單元根據(jù)所述第一追蹤點(diǎn)定位瞳孔在眼球圖像中的位置，以追蹤眼球轉(zhuǎn)動(dòng)的角度，并以第二追蹤點(diǎn)作為對(duì)焦點(diǎn)，控制圖像采集單元自動(dòng)調(diào)焦。

12、更優(yōu)地，所述桌面端還包括：

13、補(bǔ)光單元，包括紅外光燈和可見光燈；

14、第一屏顯單元包括：第一顯示屏，第一顯示屏正對(duì)用戶的一面所在的延伸平面記為第一基準(zhǔn)面，

15、沿第一方向觀察，第一追蹤點(diǎn)為患者正視第一顯示屏?xí)r的瞳孔的幾何中心在第一基準(zhǔn)面上的投影，紅外光燈的中點(diǎn)在第一基準(zhǔn)面上的投影記為第一標(biāo)記點(diǎn)，可見光燈在第一基準(zhǔn)面上的投影記為第二標(biāo)記點(diǎn)，所述第一標(biāo)記點(diǎn)位于第一追蹤點(diǎn)上方，所述第二標(biāo)記點(diǎn)與所述第一追蹤點(diǎn)位于同一水平線上。

16、更優(yōu)地，所述第一顯示屏包括：

17、正常顯示單元，配置于所述第一顯示屏的一部分顯示區(qū)域；

18、屏下顯示單元，配置于所述第一顯示屏的另一部分顯示區(qū)域；

19、所述圖像采集單元包括：

20、屏下攝像頭，設(shè)置于所述屏下顯示單元背離患者的一側(cè)，并沿第一方向采集眼球圖像和眼底圖像。

21、更優(yōu)地，與第一方向相垂直的方向記為第二方向，與第一基準(zhǔn)面相垂直并與第二方向相垂直的面記為第二基準(zhǔn)面；

22、沿第二方向觀察，第一追蹤點(diǎn)為患者正視第一顯示屏?xí)r的瞳孔的幾何中心在第二基準(zhǔn)面上的投影，第二追蹤點(diǎn)為患者正視第一顯示屏?xí)r黃斑的幾何中心在第二基準(zhǔn)面上的投影；

23、所述第一控制單元根據(jù)所述眼球圖像建立眼球模型，通過邊緣檢測法獲得眼球中心在第二基準(zhǔn)面中的位置，屏下攝像頭的中點(diǎn)在第二基準(zhǔn)面上的投影記為第三標(biāo)記點(diǎn)，所述眼球中心與第三標(biāo)記點(diǎn)位于同一水平線上。

24、更優(yōu)地，所述桌面端還包括：

25、透鏡組件，位于所述第一顯示屏背離所述屏下攝像頭的一側(cè)，且沿遠(yuǎn)離所述顯示屏的方向，所述透鏡組件依次包括：

26、線性偏振片，與所述第一顯示屏背離所述屏下攝像頭的一側(cè)相貼合；

27、第一透鏡，間隔設(shè)置于所述線性偏振片背離所述第一顯示屏的一側(cè)；

28、第二透鏡，間隔設(shè)置于所述第一透鏡背離所述第一顯示屏的一側(cè)；

29、紅外增透反射偏振片，用于反射和通過可見光的偏振光，并通過紅外光，且位于所述第二透鏡靠近所述第一顯示屏的一側(cè)；

30、所述紅外光燈發(fā)出的紅外光線照射于瞳孔，并經(jīng)所述透鏡組件反射至屏顯攝像頭；所述可見光燈發(fā)出的可見光線照射于眼球，并經(jīng)所述透鏡組件反射至屏顯攝像頭。

31、更優(yōu)地，所述遠(yuǎn)程端包括：

32、第二屏顯單元，接收并播放所述眼球圖像和眼底圖像；

33、第二語音單元，與所述桌面端建立語音交互；

34、第二控制單元，分別與所述第二屏顯單元、第二語音單元、以及桌面端建立信號(hào)連接；

35、患者正視所述屏下攝像頭時(shí)，醫(yī)生通過所述第二控制單元在所述眼底圖像上標(biāo)定黃斑的幾何中心點(diǎn)作為第二追蹤點(diǎn)；

36、患者移動(dòng)眼球時(shí)，第一控制單元根據(jù)所述第一追蹤點(diǎn)追蹤眼球的轉(zhuǎn)動(dòng)，并以第二追蹤點(diǎn)作為對(duì)焦點(diǎn)控制所述屏下攝像頭自動(dòng)對(duì)焦；

37、當(dāng)醫(yī)生要拍攝黃斑以外的其他視網(wǎng)膜區(qū)域時(shí)，通過第二控制單元在所述眼底圖像上標(biāo)定第三追蹤點(diǎn)，所述第二控制單元以所述第三追蹤點(diǎn)為對(duì)焦點(diǎn)控制所述屏下攝像頭自動(dòng)對(duì)焦。

38、更優(yōu)地，當(dāng)患者移動(dòng)眼球，且醫(yī)生要拍攝黃斑意外的其他視網(wǎng)膜區(qū)域時(shí)，

39、以眼球中心與移動(dòng)后的第一追蹤點(diǎn)的連線為光軸，以第三追蹤點(diǎn)與第一追蹤點(diǎn)的連線為視軸，以眼球中心與屏下攝像頭中心之間的連線為基準(zhǔn)軸重建眼球模型；

40、沿所述第一方向觀察，當(dāng)醫(yī)生在所述眼底圖像上標(biāo)定第三追蹤點(diǎn)時(shí)，根據(jù)所述第三追蹤與所述第二追蹤點(diǎn)的相對(duì)位置，沿所述第二方向觀察，所述第二控制單元在所述眼球模型中定位所述第三追蹤點(diǎn)在視網(wǎng)膜上的位置，所述第二控制單元根據(jù)所述第三追蹤點(diǎn)在視網(wǎng)膜上的位置控制所述屏下攝像頭自動(dòng)對(duì)焦。

41、本發(fā)明具有如下有益效果：

42、通過采集患者的虹膜圖像，進(jìn)行實(shí)時(shí)的虹膜識(shí)別和身份認(rèn)證，確?；颊呤冀K是同一人，提高了健康篩查的有效性。通過采集患者的眼表圖像、眼底圖像和眼位圖像，從多個(gè)模態(tài)對(duì)患者的健康狀況進(jìn)行分析，確保健康篩查的多樣性和準(zhǔn)確性。

43、通過瞳孔作為第一追蹤點(diǎn)，黃斑作為第二追蹤點(diǎn)，確保在進(jìn)行眼底圖像采集時(shí)，黃斑區(qū)域能夠保持清晰的成像，提高圖像的質(zhì)量和可用性，尤其提高了對(duì)糖尿病病癥的判斷。