一種基于雙目視覺的眼底圖像處理方法
【專利摘要】本發(fā)明公開了一種基于雙目視覺的眼底圖像處理方法，屬于眼底圖像處理領(lǐng)域，具體涉及一種眼底圖像立體匹配方法。該方法首先將眼底劃分為若干區(qū)域，用眼底相機(jī)拍攝眼底各區(qū)域不同角度的兩張圖像，再將拍攝同一區(qū)域不同角度的兩張圖像進(jìn)行立體匹配得到該區(qū)域的立體圖像，最后拼接各區(qū)域的立體圖像得到全部眼底立體圖像，從而具有對拍攝深度弧形的像機(jī)標(biāo)定具有很好的魯棒性，獲得連續(xù)、完整、清晰的視網(wǎng)膜立體圖像的效果。
【專利說明】—種基于雙目視覺的眼底圖像處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于眼底圖像處理領(lǐng)域，具體涉及一種眼底圖像立體匹配方法。
【背景技術(shù)】
[0002]隨著眼底照相機(jī)在醫(yī)學(xué)診斷視網(wǎng)膜脫落中的廣泛應(yīng)用，對眼底圖像的立體成像要求也越來越高。目前，我們對眼底圖像的立體成像采用的主要技術(shù)是:首先拍攝二位眼底圖像，再對原始圖像進(jìn)行預(yù)處理，然后建立各拍攝圖像二維到三維的映射關(guān)系，最后在VTK(visualization toolkit:視覺化工具函式庫,主要用于三維計(jì)算機(jī)圖形學(xué)、圖像處理和可視化)環(huán)境下實(shí)現(xiàn)視網(wǎng)膜圖像的三維立體呈現(xiàn)。在文獻(xiàn):《基于可控旋轉(zhuǎn)的像機(jī)高精度標(biāo)定技術(shù)》，ACTA OPTICA SINICA，2010.5，姜廣文等，提出了一種可控旋轉(zhuǎn)的星級自標(biāo)定方法，該方法首先分別以標(biāo)定橫坐標(biāo)軸和縱坐標(biāo)軸為等效焦距在針孔模型中實(shí)現(xiàn)對像機(jī)的標(biāo)定，其世界坐標(biāo)和圖像坐標(biāo)的關(guān)系與旋轉(zhuǎn)角度差，云臺旋轉(zhuǎn)量有關(guān)，再通過控制像機(jī)圍繞光心或光心附近按照定步長旋轉(zhuǎn)兩圈，拍攝不同區(qū)域的眼底圖像，將等效焦距與其他參數(shù)分離出來，求解精確的等效焦距。該種方法有一些局限性，主要體現(xiàn)在以下幾方面:1.在對圖像進(jìn)行預(yù)處理時(shí)，因?yàn)榕臄z角度不精確導(dǎo)致一些角度的偏移，致使眼底某些區(qū)域的信息缺失；
2.數(shù)據(jù)采集時(shí)間太長，攝影放大率允差(±7%)較大以及視場角的不穩(wěn)定性，導(dǎo)致效率低下；3.二維到三維建立映射關(guān)系固定，可能對某些點(diǎn)的伸縮比例不一致，導(dǎo)致三維圖像失真；4.在VTK顯示中，采用點(diǎn)顯示，當(dāng)放大時(shí)導(dǎo)致信息不連續(xù)，拍攝圖像精度低。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的是針對【背景技術(shù)】的不足改進(jìn)設(shè)計(jì)一種基于雙目視覺的眼底圖像處理方法，達(dá)到對拍攝深度弧形的像機(jī)標(biāo)定具有很好的魯棒性，獲的連續(xù)、完整、清晰的視網(wǎng)膜立體圖像的目的。
[0004]本發(fā)明一種基于雙目視覺的眼底圖像處理方法的技術(shù)方案為通過將眼底劃分為若干區(qū)域，用眼底相機(jī)拍攝眼底各區(qū)域不同角度的兩張圖像，再將拍攝同一區(qū)域不同角度的兩張圖像進(jìn)行立體匹配得到該區(qū)域的立體圖像，最后拼接各區(qū)域的立體圖像得到全部眼底立體圖像，由此實(shí)現(xiàn)發(fā)明目的。因此本發(fā)明方法包括如下步驟:
[0005]步驟1.結(jié)合眼底照相機(jī)的成像原理對眼底相機(jī)進(jìn)行標(biāo)定；
[0006]步驟2.將眼底劃分為若干區(qū)域，按照標(biāo)定眼底相機(jī)的方法獲取眼底各區(qū)域兩張不同角度包含相同區(qū)域的圖像；
[0007]步驟3.將步驟2得到兩張相同區(qū)域不同角度的眼底圖像進(jìn)行彩色相似立體匹配，得到該區(qū)域的立體圖像；
[0008]步驟4:采用以上相同方法得到包含深度信息三維眼底各區(qū)域立體圖像，將得到的眼底各區(qū)域的立體圖像進(jìn)行拼接配準(zhǔn)，得到完整的眼底立體圖像。
[0009]步驟一具體過程如下:
[0010]步驟1-1:選擇帶有弧形網(wǎng)格曲線的平板作為眼底照相機(jī)標(biāo)定板；[0011]步驟1-2:對標(biāo)定板拍攝一張照片，將眼底相機(jī)沿其所在平行于標(biāo)定板的平面旋轉(zhuǎn)一定角度拍攝另一張照片；
[0012]步驟1-3:選取兩幅圖像中位于標(biāo)定板上同一位置的網(wǎng)格交叉點(diǎn)，將其作為圖像特征點(diǎn)，然后由計(jì)算機(jī)建立圖像坐標(biāo)系、世界坐標(biāo)系及兩坐標(biāo)系關(guān)于旋轉(zhuǎn)量、平移量、視網(wǎng)膜深度弧度量的關(guān)系；
[0013]步驟1-4:建立兩幅圖像中表示標(biāo)定板相同區(qū)域相對世界坐標(biāo)的平移量、旋轉(zhuǎn)量、視網(wǎng)膜深度弧度量的 對應(yīng)關(guān)系。
[0014]標(biāo)定眼底相機(jī)時(shí)沿其所在平行于標(biāo)定板的平面旋轉(zhuǎn)15度拍攝另一張圖像。
[0015]步驟2具體步驟如下:
[0016]步驟2-1:將眼底平均劃分為若干個(gè)扇形區(qū)域；
[0017]步驟2-2:拍攝一張包含相鄰兩個(gè)區(qū)域的圖像；
[0018]步驟2-3:旋轉(zhuǎn)一個(gè)區(qū)域的角度，拍攝另外一張包含相鄰兩個(gè)區(qū)域的圖像；
[0019]步驟2-4:剪切出兩張圖像中拍攝到眼底相同區(qū)域的部分，得到兩張眼底相同區(qū)域不同角度的圖像。
[0020]將眼底平均劃分為24個(gè)扇形區(qū)域，拍攝完一張圖像后，相機(jī)旋轉(zhuǎn)15度拍攝另一張圖像。
[0021]步驟3具體過程如下:
[0022]步驟3-1:選取步驟2拍攝到圖像中大小適當(dāng)?shù)膮^(qū)域作為獲取鄰近灰度值相似點(diǎn)的標(biāo)準(zhǔn)窗；
[0023]步驟3-2:兩幅圖像中各取一個(gè)標(biāo)準(zhǔn)窗，以到標(biāo)準(zhǔn)窗中心點(diǎn)距離作為變量計(jì)算標(biāo)準(zhǔn)窗內(nèi)各像素點(diǎn)對中心點(diǎn)灰度貢獻(xiàn)權(quán)值，計(jì)算出中心點(diǎn)灰度值表示該標(biāo)準(zhǔn)窗灰度值k，再計(jì)算兩標(biāo)準(zhǔn)窗的灰度差Λ k ；
[0024]步驟3-3:計(jì)算出步驟3-2選出的兩標(biāo)準(zhǔn)窗的色差因子σ ;
[0025]步驟3-4:最后計(jì)算匹配約束P= σ.Λ k,采用以上方式依次計(jì)算兩幅圖像中任意兩個(gè)標(biāo)準(zhǔn)窗的匹配約束，選出兩幅圖像中各自最匹配的標(biāo)準(zhǔn)窗，進(jìn)行立體匹配，然后利用全局最優(yōu)計(jì)算平滑不連續(xù)區(qū)域，最后合成致密的視差圖，得到各區(qū)域立體圖像。
[0026]選取步驟2拍得到圖像中大小為3X3像素陣列為標(biāo)準(zhǔn)窗。
[0027]步驟4具體過程如下:
[0028]步驟4-1:把兩相鄰區(qū)域立體圖像的拼接邊劃分為若干標(biāo)準(zhǔn)窗，采用步驟3的方式計(jì)算出這兩幅圖像中拼接邊上任意兩個(gè)標(biāo)準(zhǔn)窗的匹配約束P= σ.Λ k，將兩幅圖像中最匹配的兩個(gè)標(biāo)準(zhǔn)窗進(jìn)行一一對應(yīng)；
[0029]步驟4-2:忽略未對應(yīng)的標(biāo)準(zhǔn)窗，按照拼接邊標(biāo)準(zhǔn)窗一一對應(yīng)的關(guān)系將兩幅立體圖像拼接；
[0030]步驟4-3:采用VTK (用于三維計(jì)算機(jī)圖形學(xué)、圖像處理和可視化的軟件)對拼接好的眼底立體圖像進(jìn)行顯示。
[0031]本發(fā)明將眼底劃分為若干區(qū)域，用眼底相機(jī)拍攝眼底進(jìn)行拍攝，得到各區(qū)域不同角度的兩張照片，再將得到的同一區(qū)域不同角度的兩張照片進(jìn)行立體匹配得到該區(qū)域的立體圖像，最后拼接各區(qū)域的立體圖像得到全部眼底立體圖像，從而具有對拍攝深度弧形的像機(jī)標(biāo)定具有很好的魯棒性，獲的連續(xù)、完整、清晰的視網(wǎng)膜立體圖像的效果?！緦＠綀D】

【附圖說明】
[0032]圖1為本發(fā)明一種眼底照相機(jī)針對深度弧度系數(shù)示意圖；
[0033]圖2為本發(fā)明相機(jī)拍攝眼底區(qū)域示意圖；
[0034]圖3為本發(fā)明的RGB彩色空間示意圖。
[0035]圖1中:α為弧度，h為深度；
[0036]圖2中:實(shí)線區(qū)域?yàn)榈谝淮闻臄z的眼底區(qū)域，虛線區(qū)域?yàn)橄鄼C(jī)旋轉(zhuǎn)15度后拍攝的眼底區(qū)域，陰影區(qū)域?yàn)閮纱握障嘀睾蠀^(qū)域。
【具體實(shí)施方式】
[0037]本發(fā)明的基本思想是設(shè)計(jì)一種基于雙目視覺的眼底圖像處理方法，采用基于可控旋轉(zhuǎn)的相機(jī)自標(biāo)定針孔模型的弧形標(biāo)定完善眼底照相機(jī)自標(biāo)定，然后采用彩色相似性的深度約束找到最佳匹配點(diǎn)實(shí)現(xiàn)對眼底圖像的立體匹配。將雙目視覺立體匹配應(yīng)用在眼底照相機(jī)的圖像處理方向，以便獲的連續(xù)、完整、清晰的視網(wǎng)膜立體圖像。
[0038]眼底照相機(jī)自標(biāo)定的具體實(shí)施方法:
[0039]步驟1.結(jié)合眼底照相機(jī)的成像原理對眼底相機(jī)進(jìn)行標(biāo)定；
[0040]步驟1-1:選擇帶有弧形網(wǎng)格曲線的平板作為眼底照相機(jī)標(biāo)定板；
[0041]步驟1-2:對標(biāo)定板拍攝一張照片，將眼底相機(jī)沿其所在平行于標(biāo)定板的平面旋轉(zhuǎn)15度拍攝另一張照片；
[0042]步驟1-3:選取兩幅圖像中位于標(biāo)定板上同一位置的網(wǎng)格交叉點(diǎn)，將其作為圖像特征點(diǎn)，然后由計(jì)算機(jī)建立圖像坐標(biāo)系(x，y，z)、世界坐標(biāo)系(X，Y，Z)及兩坐標(biāo)系關(guān)于旋轉(zhuǎn)量、平移量、視網(wǎng)膜深度弧度量的關(guān)系；
[0043]步驟1-4:建立兩幅圖像中表示標(biāo)定板相同區(qū)域相對世界坐標(biāo)的平移量、旋轉(zhuǎn)量、視網(wǎng)膜深度弧度量的 對應(yīng)關(guān)系。
[0044]步驟2.將眼底劃分為若干區(qū)域，按照標(biāo)定眼底相機(jī)的方法獲取眼底各區(qū)域兩張相不同角度的圖像；
[0045]步驟2-1:將眼底平均劃分為24個(gè)扇形區(qū)域；
[0046]步驟2-2:拍攝一張包含相鄰兩個(gè)區(qū)域的圖像；
[0047]步驟2-3:旋轉(zhuǎn)一個(gè)區(qū)域的角度(15度)，拍攝另外一張包含相鄰兩個(gè)區(qū)域的圖像；
[0048]步驟2-4:剪切出兩張圖像中拍攝到眼底相同區(qū)域的部分，得到兩張眼底相同區(qū)域不同角度的圖像。
[0049]步驟3.將步驟2得到兩張相同區(qū)域不同角度的眼底圖像進(jìn)行彩色相似立體匹配，最后合成致密的視差圖；
[0050]步驟3-1:選取步驟2拍攝到圖像中像素大小為3X3的區(qū)域作為獲取鄰近灰度值相似點(diǎn)的標(biāo)準(zhǔn)窗；
[0051]步驟3-2:兩幅圖像中各取一個(gè)標(biāo)準(zhǔn)窗，以到標(biāo)準(zhǔn)窗中心點(diǎn)距離作為變量計(jì)算標(biāo)準(zhǔn)窗內(nèi)各像素點(diǎn)對中心點(diǎn)灰度貢獻(xiàn)權(quán)值，計(jì)算出中心點(diǎn)灰度值表示該標(biāo)準(zhǔn)窗灰度值k，再計(jì)算兩標(biāo)準(zhǔn)窗的灰度差Λ k，
【權(quán)利要求】
1.一種基于雙目視覺的眼底圖像處理方法，該方法包括: 步驟1.結(jié)合眼底照相機(jī)的成像原理對眼底相機(jī)進(jìn)行標(biāo)定； 步驟2.將眼底劃分為若干區(qū)域，按照標(biāo)定眼底相機(jī)的方法獲取眼底各區(qū)域兩張不同角度包含相同區(qū)域的圖像； 步驟3.將步驟2得到兩張相同區(qū)域不同角度的眼底圖像進(jìn)行彩色相似立體匹配，得到該區(qū)域的立體圖像； 步驟4:采用以上相同方法得到包含深度信息三維眼底各區(qū)域立體圖像，將得到的眼底各區(qū)域的立體圖像進(jìn)行拼接配準(zhǔn)，得到完整的眼底立體圖像。
2.如權(quán)利要求1所述的一種基于雙目視覺的眼底圖像處理方法，其特征在于步驟I的具體步驟為: 步驟1-1:選擇帶有弧形網(wǎng)格曲線的平板作為眼底照相機(jī)標(biāo)定板； 步驟1-2:對標(biāo)定板拍攝一張照片，將眼底相機(jī)沿其所在平行于標(biāo)定板的平面旋轉(zhuǎn)一定角度拍攝另一張照片； 步驟1-3:選取兩幅圖像中位于標(biāo)定板上同一位置的網(wǎng)格交叉點(diǎn)，將其作為圖像特征點(diǎn)，然后由計(jì)算機(jī)建立圖像坐標(biāo)系、世界坐標(biāo)系及兩坐標(biāo)系關(guān)于旋轉(zhuǎn)量、平移量、視網(wǎng)膜深度弧度量的關(guān)系； 步驟1-4:建立兩幅圖像中表示標(biāo)定板相同區(qū)域相對世界坐標(biāo)的平移量、旋轉(zhuǎn)量、視網(wǎng)膜深度弧度量的一一對應(yīng)關(guān)系。
3.如權(quán)利要求1所述的一種基于雙目視覺的眼底圖像處理方法，其特征在于步驟2的具體步驟為: 步驟2-1:將眼底平均劃分為若干個(gè)扇形區(qū)域； 步驟2-2:拍攝一張包含相鄰兩個(gè)區(qū)域的圖像； 步驟2-3:旋轉(zhuǎn)一個(gè)區(qū)域的角度，拍攝另外一張包含相鄰兩個(gè)區(qū)域的圖像； 步驟2-4:剪切出兩張圖像中拍攝到眼底相同區(qū)域的部分，得到兩張眼底相同區(qū)域不同角度的圖像。
4.如權(quán)利要求1所述的一種基于雙目視覺的眼底圖像處理方法，其特征在于步驟3的具體過程為: 步驟3-1:選取步驟2拍攝到圖像中大小適當(dāng)?shù)膮^(qū)域作為獲取鄰近灰度值相似點(diǎn)的標(biāo)準(zhǔn)窗； 步驟3-2:兩幅圖像中各取一個(gè)標(biāo)準(zhǔn)窗，以到標(biāo)準(zhǔn)窗中心點(diǎn)距離作為變量計(jì)算標(biāo)準(zhǔn)窗內(nèi)各像素點(diǎn)對中心點(diǎn)灰度貢獻(xiàn)權(quán)值，計(jì)算出中心點(diǎn)灰度值表示該標(biāo)準(zhǔn)窗灰度值k，再計(jì)算兩標(biāo)準(zhǔn)窗的灰度差Λ k ； 步驟3-3:計(jì)算出步驟3-2選出的兩標(biāo)準(zhǔn)窗的色差因子σ ; 步驟3-4:最后計(jì)算匹配約束P=。.Λ k，采用以上方式依次計(jì)算兩幅圖像中任意兩個(gè)標(biāo)準(zhǔn)窗的匹配約束，選出兩幅圖像中各自最匹配的標(biāo)準(zhǔn)窗，進(jìn)行立體匹配，然后利用全局最優(yōu)計(jì)算平滑不連續(xù)區(qū)域，最后合成致密的視差圖，得到各區(qū)域立體圖像。
5.如權(quán)利要求1所述的一種基于雙目視覺的眼底圖像處理方法，其特征在于步驟4的具體過程為: 步驟4-1:把兩相鄰區(qū)域立體圖像的拼接邊劃分為若干標(biāo)準(zhǔn)窗，采用步驟3的方式計(jì)算出這兩幅圖像中拼接邊上任意兩個(gè)標(biāo)準(zhǔn)窗的匹配約束P= σ.Λ k，將兩幅圖像中最匹配的兩個(gè)標(biāo)準(zhǔn)窗進(jìn)行對應(yīng)； 步驟4-2:忽略未對應(yīng)的標(biāo)準(zhǔn)窗，按照拼接邊標(biāo)準(zhǔn)窗一一對應(yīng)的關(guān)系將兩幅立體圖像拼接；步驟4-3:采用VTK (用于三維計(jì)算機(jī)圖形學(xué)、圖像處理和可視化的軟件)對拼接好的眼底立體圖像進(jìn)行顯示。
6.如權(quán)利要求2所述的一種基于雙目視覺的眼底圖像處理方法，其特征在于標(biāo)定眼底相機(jī)時(shí)沿其所在平行于標(biāo)定板的平面旋轉(zhuǎn)15度拍攝另一張圖像。
7.如權(quán)利要求3所述的一種基于雙目視覺的眼底圖像處理方法，其特征在于將眼底平均劃分為24個(gè)扇形區(qū)域，拍攝完一張圖像后，相機(jī)旋轉(zhuǎn)15度拍攝另一張圖像。
8.如權(quán)利要求4所述的一種基于雙目視覺的眼底圖像處理方法，其特征在于選取步驟2拍得到圖像中大小為3X3像 素陣列為標(biāo)準(zhǔn)窗。
【文檔編號】G06T7/00GK103871061SQ201410097911
【公開日】2014年6月18日 申請日期:2014年3月17日 優(yōu)先權(quán)日:2014年3月17日
【發(fā)明者】李科, 魯翠欣, 張俊 申請人:電子科技大學(xué)