本發(fā)明涉及人工智能領(lǐng)域，具體為一種基于卷積神經(jīng)網(wǎng)絡(luò)的屈光度計(jì)算方法及系統(tǒng)。

背景技術(shù)：

1、近視不僅造成視力的持續(xù)下降和可能導(dǎo)致的眼部并發(fā)癥，而且長期的近視會(huì)使眼球持續(xù)拉長，從而增加患視網(wǎng)膜病變、黃斑變性等嚴(yán)重眼病的風(fēng)險(xiǎn)；特別是高度近視，更可能導(dǎo)致視網(wǎng)膜脫落、白內(nèi)障等，這些條件不僅會(huì)嚴(yán)重影響視力，甚至可能導(dǎo)致完全失明。此外，近視還會(huì)影響個(gè)人的學(xué)習(xí)、工作和生活質(zhì)量，需要長期依賴眼鏡或隱形眼鏡來矯正視力。

2、判斷是否近視通常通過幾種方法：視力檢查、屈光檢查等。視力檢查是最基本的方法，通過閱讀視力表來評估視力水平，簡便快捷，但不能提供近視的詳細(xì)程度。屈光檢查則可以通過儀器測定眼睛的屈光狀態(tài)，更準(zhǔn)確地診斷近視度數(shù)和其他屈光異常，但需要專業(yè)設(shè)備和操作人員。屈光檢查是利用紅外led燈照射人眼，會(huì)在眼瞳上形成明暗不同的圖案，也即新月圖，新月圖的面積大小、黑白比例、灰度分布代表了人眼近視、遠(yuǎn)視、散光、軸位等視力信息。

3、目前對于屈光度的檢測大多是采用傳統(tǒng)的圖像處理方法，這些算法不僅會(huì)要求工業(yè)級別的成像設(shè)備，還會(huì)要求性能很高的中央處理器。利用紅外偏心攝影驗(yàn)光原理，采集大量不同屈光度狀態(tài)下的雙眼特征圖譜，再通過基于多層卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法可以計(jì)算得到屈光度，然而，不同于常規(guī)的圖像分類或者目標(biāo)檢測，屈光度檢查中會(huì)拍攝多張圖像，這些圖像中都含有屈光度相關(guān)的信息，如何對這些圖像進(jìn)行處理得到屈光度信息是亟待解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問題，本發(fā)明提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的雙目屈光度計(jì)算方法，所述方法包括以下步驟：

2、獲取一個(gè)周期內(nèi)不同燈組點(diǎn)亮?xí)r拍攝的眼部圖像，對每個(gè)所述眼部圖像進(jìn)行語義分割得到眼瞳圖，按照燈組序列中燈組亮燈順序構(gòu)建和燈組序列對應(yīng)的眼瞳圖序列，進(jìn)而得到多個(gè)序列；按照眼瞳圖在所述序列中的順序?qū)⒀弁珗D輸入到對應(yīng)的基于卷積的主干網(wǎng)絡(luò)中進(jìn)行特征提取得到一個(gè)一維向量，將一個(gè)眼瞳圖序列對應(yīng)的多個(gè)一維向量拼接為一個(gè)特征序列，將所有特征序列拼接為特征矩陣；

3、將所述特征矩陣增加一列學(xué)習(xí)向量和一行學(xué)習(xí)向量，將維度擴(kuò)展后的所述特征矩陣輸入到vit模型中，所述vit模型中有偶數(shù)個(gè)編碼器依次連接，對每個(gè)編碼器的輸出進(jìn)行轉(zhuǎn)置，將轉(zhuǎn)置后的向量作為下一個(gè)編碼器的輸入，獲取所述vit模型輸出的特征矩陣的第一行和第一列；

4、將所述第一行和第一列分別輸入到兩個(gè)檢測頭中并進(jìn)一步通過兩個(gè)檢測頭的輸出獲得屈光度的值。

5、優(yōu)選地，所述方法還包括訓(xùn)練過程，所述訓(xùn)練過程具體為：

6、將訓(xùn)練樣本輸入到模型中得到vit模型輸出的第一行和第一列，將第一行輸入到第一檢測頭中，計(jì)算第一損失值；將第一列輸入到第二檢測頭，計(jì)算第二損失值；獲取第一損失值和第二損失值的最大值，利用所述最大值進(jìn)行反向傳播更新模型參數(shù)；

7、對于每個(gè)批次的訓(xùn)練樣本執(zhí)行上述操作多次，直到第一損失值和第二損失值變化小于預(yù)設(shè)值。

8、優(yōu)選地，所述利用所述最大值進(jìn)行反向傳播更新模型參數(shù)，具體為：

9、保持非所述最大值的檢測頭的參數(shù)不變，從所述最大值對應(yīng)的檢測頭進(jìn)行反向傳播更新模型參數(shù)。

10、優(yōu)選地，所述對每個(gè)所述眼部圖像進(jìn)行語義分割得到眼瞳圖，具體為：

11、對所述眼部圖像進(jìn)行二值化，獲取二值化區(qū)域中面積最大且值最大的區(qū)域；

12、獲取所述區(qū)域中邊界曲率在預(yù)設(shè)范圍內(nèi)的邊界，對所述邊界進(jìn)行圓形擬合，得到圓形的中心點(diǎn)和半徑；

13、判斷以所述中心點(diǎn)為圓心、以半徑的四分之一為半徑的圓形區(qū)域是否存在亮斑，如果存在，則根據(jù)所述中心點(diǎn)和所述半徑從所述眼部圖像中提取眼瞳圖。

14、優(yōu)選地，所述通過兩個(gè)檢測頭的輸出獲得屈光度的值，具體為：

15、獲取兩個(gè)檢測頭輸出的屈光度的誤差，若誤差大于閾值，則提示重新拍攝圖像；否則，輸出將兩個(gè)檢測頭的輸出的平均值作為屈光度的值。

16、優(yōu)選地，所述按照眼瞳圖在所述序列中的順序?qū)⒀弁珗D輸入到對應(yīng)的基于卷積的主干網(wǎng)絡(luò)中進(jìn)行特征提取得到一個(gè)一維向量，具體為：

17、預(yù)先設(shè)置三個(gè)主干網(wǎng)絡(luò)并對三個(gè)主干網(wǎng)絡(luò)進(jìn)行編號，其中，所述三個(gè)主干網(wǎng)絡(luò)的深度隨著編號的增大而增大，且所述三個(gè)主干網(wǎng)絡(luò)輸出的一維向量尺寸隨著編號的增大而增大；

18、獲取眼瞳圖在所述序列中的順序號，將眼瞳圖輸入到編號為所述順序號的主干網(wǎng)絡(luò)中，得到一個(gè)一維向量。

19、此外，本發(fā)明還提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的雙目屈光度計(jì)算系統(tǒng)，所述系統(tǒng)包括以下模塊：

20、特征提取模塊，用于獲取一個(gè)周期內(nèi)不同燈組點(diǎn)亮?xí)r拍攝的眼部圖像，對每個(gè)所述眼部圖像進(jìn)行語義分割得到眼瞳圖，按照燈組序列中燈組亮燈順序構(gòu)建和燈組序列對應(yīng)的眼瞳圖序列，進(jìn)而得到多個(gè)序列；按照眼瞳圖在所述序列中的順序?qū)⒀弁珗D輸入到對應(yīng)的基于卷積的主干網(wǎng)絡(luò)中進(jìn)行特征提取得到一個(gè)一維向量，將一個(gè)眼瞳圖序列對應(yīng)的多個(gè)一維向量拼接為一個(gè)特征序列，將所有特征序列拼接為特征矩陣；

21、編碼模塊，用于將所述特征矩陣增加一列學(xué)習(xí)向量和一行學(xué)習(xí)向量，將維度擴(kuò)展后的所述特征矩陣輸入到vit模型中，所述vit模型中有偶數(shù)個(gè)編碼器依次連接，對每個(gè)編碼器的輸出進(jìn)行轉(zhuǎn)置，將轉(zhuǎn)置后的向量作為下一個(gè)編碼器的輸入，獲取所述vit模型輸出的特征矩陣的第一行和第一列；

22、解碼模塊，用于將所述第一行和第一列分別輸入到兩個(gè)檢測頭中并進(jìn)一步通過兩個(gè)檢測頭的輸出獲得屈光度的值。

23、優(yōu)選地，所述系統(tǒng)還包括訓(xùn)練模塊，所述訓(xùn)練模塊具體為：

24、將訓(xùn)練樣本輸入到模型中得到vit模型輸出的第一行和第一列，將第一行輸入到第一檢測頭中，計(jì)算第一損失值；將第一列輸入到第二檢測頭，計(jì)算第二損失值；獲取第一損失值和第二損失值的最大值，利用所述最大值進(jìn)行反向傳播更新模型參數(shù)；

25、對于每個(gè)批次的訓(xùn)練樣本執(zhí)行上述操作多次，直到第一損失值和第二損失值變化小于預(yù)設(shè)值。

26、優(yōu)選地，所述利用所述最大值進(jìn)行反向傳播更新模型參數(shù)，具體為：

27、保持非所述最大值的檢測頭的參數(shù)不變，從所述最大值對應(yīng)的檢測頭進(jìn)行反向傳播更新模型參數(shù)。

28、優(yōu)選地，所述對每個(gè)所述眼部圖像進(jìn)行語義分割得到眼瞳圖，具體為：

29、對所述眼部圖像進(jìn)行二值化，獲取二值化區(qū)域中面積最大且值最大的區(qū)域；

30、獲取所述區(qū)域中邊界曲率在預(yù)設(shè)范圍內(nèi)的邊界，對所述邊界進(jìn)行圓形擬合，得到圓形的中心點(diǎn)和半徑；

31、判斷以所述中心點(diǎn)為圓心、以半徑的四分之一為半徑的圓形區(qū)域是否存在亮斑，如果存在，則根據(jù)所述中心點(diǎn)和所述半徑從所述眼部圖像中提取眼瞳圖。

32、優(yōu)選地，所述通過兩個(gè)檢測頭的輸出獲得屈光度的值，具體為：

33、獲取兩個(gè)檢測頭輸出的屈光度的誤差，若誤差大于閾值，則提示重新拍攝圖像；否則，輸出將兩個(gè)檢測頭的輸出的平均值作為屈光度的值。

34、優(yōu)選地，所述按照眼瞳圖在所述序列中的順序?qū)⒀弁珗D輸入到對應(yīng)的基于卷積的主干網(wǎng)絡(luò)中進(jìn)行特征提取得到一個(gè)一維向量，具體為：

35、預(yù)先設(shè)置三個(gè)主干網(wǎng)絡(luò)并對三個(gè)主干網(wǎng)絡(luò)進(jìn)行編號，其中，所述三個(gè)主干網(wǎng)絡(luò)的深度隨著編號的增大而增大，且所述三個(gè)主干網(wǎng)絡(luò)輸出的一維向量尺寸隨著編號的增大而增大；

36、獲取眼瞳圖在所述序列中的順序號，將眼瞳圖輸入到編號為所述順序號的主干網(wǎng)絡(luò)中，得到一個(gè)一維向量。

37、最后，本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如上所述的方法。

38、針對在進(jìn)行屈光度計(jì)算時(shí)，輸入圖像多的問題，本發(fā)明采用人工智能的方式，對多個(gè)眼瞳圖像進(jìn)行特征提取，然后根據(jù)燈組中亮燈順序?qū)ρ弁珗D的影響，采用不同的主干網(wǎng)絡(luò)，對于燈組中靠近中心點(diǎn)的燈亮?xí)r拍攝的圖像采用淺層主干網(wǎng)絡(luò)提取特征，對于燈組中遠(yuǎn)離中心點(diǎn)的燈亮?xí)r拍攝的圖像采用深層主干網(wǎng)絡(luò)提取特征，而且不同主干網(wǎng)絡(luò)提取的特征的長度不同，對于遠(yuǎn)離中心的燈亮?xí)r提取更多的特征，進(jìn)而在保證計(jì)算速度的同時(shí)能夠提取到盡可能多的特征。

39、此外，對于提取的特征在注意力計(jì)算時(shí)，讓注意力不僅關(guān)注到不同燈組亮?xí)r各個(gè)眼瞳圖特征，而且通過不斷轉(zhuǎn)置特征矩陣，在下一個(gè)注意力計(jì)算時(shí)讓注意力集中到對距離中心不同距離的燈亮?xí)r采集的圖像的特征，提高了特征融合的效果。