專利名稱：顯微鏡下全景深大幅圖片的拼接方法
技術(shù)領(lǐng)域：
本發(fā)明是涉及一種三維表面的圖像拼接方法，特別是涉及到利用普通光學(xué)顯微鏡通過連續(xù)拍攝物體視頻或序列圖進行三維拼接的顯微鏡下全景深大幅圖片的拼接方法。
背景技術(shù)：
由于顯微鏡物鏡景深有限，且隨著放大倍數(shù)的增大景深會相應(yīng)減小。圖1、圖2是顯微鏡成像的原理圖。由圖1可以清楚地看到，物體的像平面并不一定與圖像采集裝置的感應(yīng)面重合，這樣獲取的圖像可能是模糊的像；由圖1看到，物體由于其本身有一定的深度，而顯微鏡聚焦深度有限，只有分布在景深內(nèi)的部分才能清楚成像，其他位置的物體成模糊的像，在顯微鏡下面一般的待測物體難以全部聚焦，所以無法在某一觀測位置得到能夠全面反映物體表面信息的圖像。目前，國內(nèi)外已經(jīng)有學(xué)者針對這種情況使用這種情況提出使用在同一位置通過在豎直方向移動攝像頭拍攝一序列圖片通過重構(gòu)得到該位置的可以反映所有在焦距內(nèi)信息的全景深圖片。
另一方面由于顯微鏡是觀測微觀物體的工具，它的視野范圍十分有限，在同一時間只能觀測到一個小的區(qū)域，對于比較大的物體或者大一點的區(qū)域本發(fā)明就無法從顯微鏡中直接得到它的全貌。針對這種情況，一般的方法是采用計算機將相鄰區(qū)域小圖片拼接大幅圖片，這樣就可以在計算機或打印文檔中觀測到物體的全貌。但是這種拼接方法沒有考慮到物體景深的問題，如果直接應(yīng)用到顯微鏡上面就有可能發(fā)生只有在景深范圍內(nèi)聚焦的地方是清晰而不聚焦的地方都是模糊的情況，如果每次移動位置進行采集時都對顯微鏡進行重新聚焦，就會因為由于調(diào)焦，相同位置的圖片在兩次調(diào)焦的過程中會發(fā)生變化，導(dǎo)致無法準(zhǔn)確的拼接到位。即使拼接位置沒有錯誤，也會因為兩幅圖片的重疊部分不一致導(dǎo)致拼接圖片也會產(chǎn)生失真。目前主要使用的拼接方法都是在同一水平面對物體圖像進行采集然后拼接而成的方法，這樣得不到物體表面不聚焦位置的信息，由于顯微鏡在高倍數(shù)觀察的情況下的景深更為狹窄，所以在高倍數(shù)觀測時丟失信息的現(xiàn)象更為嚴(yán)重。

發(fā)明內(nèi)容
為了克服普通光學(xué)顯微鏡的功能上的限制，克服現(xiàn)有技術(shù)中通過拼接技術(shù)采集微觀物體大圖片方法中的缺陷，本發(fā)明的目的是提供一種結(jié)合計算機技術(shù)運用圖像處理方法，通過對在同一區(qū)域下的連續(xù)拍攝的不同景深的視頻或序列圖像進行物體表面信息重構(gòu)，得到?jīng)]有景深限制的全景深圖片，然后再對相鄰區(qū)域的全景深圖片進行拼接，得到能夠反映待測物體表面全貌的大幅全景深圖片，是一種應(yīng)用在顯微鏡下獲取反映物體完整表面信息的全景深大幅圖片的拼接方法。
為了實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是首先在顯微鏡下利用微觀物體同一區(qū)域不同景深的序列圖像，使用計算機圖像處理技術(shù)重構(gòu)成能夠反映該區(qū)域所有聚焦范圍內(nèi)信息和背景信息的全景深重構(gòu)圖片，然后對相鄰區(qū)域的全景深重構(gòu)圖片進行拼接，最終得到能夠反映微觀物體表面和背景全部信息的大幅全景深重構(gòu)圖片。
本發(fā)明的有益效果是克服了現(xiàn)有圖像拼接技術(shù)中的不足，全面反映了顯微鏡下微觀物體表面的完整信息。


圖1為散焦圖像的形成示意圖。
圖2為具有一定高度的物體的成像范圍示意圖。
圖3為本發(fā)明顯微鏡及其鏡頭移動三方向示意圖。
圖4為本發(fā)明實施例1的系統(tǒng)工作流程圖。
圖5為本發(fā)明實施例1的豎直方向重構(gòu)算法流程圖。
圖6為本發(fā)明求新增部分布爾代數(shù)算法示意圖，深色部分為新增部分。
圖7為本發(fā)明基于域值的清晰度劃分方法示意圖。
圖8為本發(fā)明實施例2的處理流程圖。
圖9為本發(fā)明實施例3的處理流程圖。
圖10為本發(fā)明七點平滑后的單點聚焦函數(shù)評價曲線構(gòu)成圖。
圖11為本發(fā)明實施例4的處理流程圖。
圖12為本發(fā)明序列中單點聚焦評價函數(shù)曲線圖。
圖13為本發(fā)明七點平滑后的單點聚焦函數(shù)評價曲線圖。
圖14為本發(fā)明相鄰圖拼接條件圖。
圖15為本發(fā)明相鄰圖片拼接方法圖。
圖中1-物體、2-透鏡、3-圖像采集設(shè)備感應(yīng)面、4-像平面、5-光軸、6-有一定高度的物體。
具體實施例方式
下面結(jié)合附圖和實例對本發(fā)明進一步說明。
本發(fā)明首先在顯微鏡下利用微觀物體同一區(qū)域不同景深的序列圖像，使用計算機圖像處理技術(shù)重構(gòu)成能夠反映該區(qū)域所有聚焦范圍內(nèi)信息和背景信息的全景深重構(gòu)圖片，然后對相鄰區(qū)域的全景深重構(gòu)圖片進行拼接，最終得到能夠反映微觀物體表面和背景全部信息的大幅全景深重構(gòu)圖片。
實施例1本發(fā)明使用普通光學(xué)顯微鏡和計算機以及圖像采集設(shè)備(攝像頭，圖像采集卡等)。在將顯微鏡下通過攝像頭和采集卡采集到的序列圖象在計算機上進行圖像處理(見附圖4)。本方法的基本流程是首先確定采集圖片的大小范圍，豎直方向移動范圍，顯微鏡放大倍數(shù)等等初始化條件，啟動作業(yè)流程開始采集圖片，每一幅圖片首先判斷它是在豎直方向還是在水平方向移動，如果是豎直方向移動，就對豎直方向方向上面采集到的不同景深的小幅圖片進行重構(gòu)，重構(gòu)成為全景深的小幅圖片。如果是在水平方向上面移動就將豎直方向重構(gòu)的相連區(qū)域的全景深圖片進行拼接，其具體步驟為第一步對豎直方向方向使用基于清晰度域值的全景深圖的重構(gòu)方法(見附圖5)，對同一區(qū)域下不同景深的圖片進行重構(gòu)，得到可以反映該區(qū)域全部表面信息以及背景信息的全景深圖片。
首先使用梯度算子對圖片進行卷積，如果某一點的卷積值大于域值，則認(rèn)為它在聚焦范圍內(nèi)，將其保留并且設(shè)置標(biāo)志位取這點在該幀圖像的像素作為重構(gòu)圖像的像素。如果到該點所有序列圖像都沒有大于域值的圖片，則可以認(rèn)為它是背景，取最后一幅圖像或特定位置圖像的像素作為重構(gòu)圖像在該點的取值。
梯度算子計算公式見公式(1)梯度算子有一階算子，二階算子和其他算子，算子模版可以選擇2*2到100*100范圍，可以在不同的場合進行選擇。
一階算子▿f(x,y)=|∂f(x,y)∂x|+|∂f(x,y)∂y|---(1)]]>保留像素的計算方法F(i,j)=Σx-i-Ni-NΣy=j-Ni+N▿f(x,y)]]>如果f(x，y)＞T(2)二階算子
▿2f(x,y)|∂2f(x,y)∂2x2|+|∂2f(x,y)∂2y2|---(3)]]>保留像素的計算方法F(i,j)=Σx-i-Ni-NΣy=j-Ni+N▿2f(x,y)]]>如果2f(x，y)＞T(4)通過公式1-4可以得到當(dāng)前幀的在聚焦范圍內(nèi)的所有點，然后使用當(dāng)前景深二值圖標(biāo)記出當(dāng)前幀在聚焦范圍內(nèi)的所有點；使用累計部分二值圖標(biāo)記已經(jīng)存儲過的在景深范圍內(nèi)的所有點的二值圖；使用累積部分彩色圖存儲已經(jīng)存儲過的在景深范圍內(nèi)的所有點的彩色圖；使用新增部分二值圖存儲當(dāng)前幀比以前在景深范圍內(nèi)新增點二值圖；使用新增部分彩色圖存儲當(dāng)前幀比以前在景深范圍內(nèi)的新增點的彩色圖。這些圖片在初始化中全部置為0。
重構(gòu)算法流程參照圖5，首先是找出所有在拍攝過程中可以聚焦的點，透過不斷地對圖像序列進行清晰度分析找到這些點，然后通過布爾代數(shù)運算將這些點重構(gòu)到累積部分彩色圖上面(參照圖5子程序A)。
在算法中使用了三種布爾代數(shù)運算，“或”運算，“與”運算以及求新增部分的布爾代數(shù)運算。
“或”運算在這里用了二值圖與二值圖的“或”運算以及二值圖與彩色圖的“或”運算，“或”運算的表達公式是AYB。
“與”運算在這里用了二值圖與二值圖的“與”運算以及二值圖與彩色圖的“與”運算，“與”運算的表達公式是AIB新增部分的布爾運算公式見公式(5)，主要用于提取當(dāng)前幀A比累積部分B多出來的那部分新增圖像的點(見圖6)。
{x:(x∉AI B)I(x∈B)}]]>(5)找到所有聚焦的點之后，還要將在序列中沒有聚焦過的部分作為背景加入到最后的重構(gòu)圖片中，參照圖5子程序B，就可以得到完整的反映該區(qū)域所有聚焦法圍內(nèi)信息和背景信息的全景深重構(gòu)圖片。
第二步將相鄰全景深小幅圖片橫向拼接為全景深大幅圖片顯微鏡的視野比較小，無法一次采集到大視野的圖片，同時對于大目標(biāo)圖像需要把各個部分的圖像拼接到一塊，才能形成一個整體.所以拼接是另一個關(guān)鍵.如圖14所示對圖片的拼接必須滿足-W＜w＜W，w是兩副圖片寬度位移，W是圖片寬度；-W＜h＜H，h是兩副圖片高度位移，H是圖片高度。如果不滿足上述條件，圖片無法進行拼接。
在第一步本發(fā)明已經(jīng)將一個區(qū)域的不同景深圖片重構(gòu)成為了一個沒有景深限制的圖片，下面的工作就是將這些重構(gòu)的小圖片在水平方向拼接成為可以反映圖像整體的大圖片。在實施過程中本發(fā)明采取，當(dāng)相連的兩個區(qū)域的豎直方向去景深重構(gòu)完成后，就對這兩幅圖片進行拼接，然后對下一塊相鄰的區(qū)域進行豎直方向重構(gòu)，再將下一塊相鄰區(qū)域的全景深合成圖片與前面拼接好的圖片再進行拼接，流程見圖15。
為了實現(xiàn)兩幅相鄰圖的拼接，本發(fā)明利用圖像匹配技術(shù)，所謂圖像匹配是指把兩個從同一景物采集下來的兩幅圖像在空間上面進行對準(zhǔn)，以確定這兩幅圖之間相對平移的過程.對于兩幅存在重疊的相鄰圖像，如果在其中一幅圖像的重疊區(qū)選取一小塊區(qū)域作基準(zhǔn)圖，然后到另一幅圖像中尋找匹配點.就可以確定二者間的平移關(guān)系，也就可以通過坐標(biāo)變化實現(xiàn)二者的拼接.在這里本發(fā)明選取灰度相關(guān)性匹配策略作為拼接方法。
設(shè)基準(zhǔn)圖T(T的大小為K*L)疊放在參考圖S(S的大小為M*N)上平移，基準(zhǔn)圖T覆蓋下的搜尋圖稱為子圖，使用卷積計算S，T，在點i，j上面的卷積，在搜尋范圍內(nèi)確定卷積值最大的位置，就是拼接位置。
R(i,j)=Σm=1KΣn=1LSi,j(m,n)*T(m,n)---(6)]]>[x，y]＝{i，j|max(R(i，j))}(7)
公式(6)與子圖S’的相關(guān)系數(shù)，R(i，j)在0，1之間取值，并且僅在S(i，j)與T(i，j)全等時取值為最大值1，根據(jù)相似性原理R(i，j)取值越大，兩者越相似，所以本發(fā)明在這里取滿足R(i，j)取最大值的(i，j)為正確的匹配位置。
找到匹配位置后就可以對兩幅圖進行拼接，拼接的主要問題是針對邊緣重疊部分的處理，對重疊部分的處理有多種方法可取，但由于光照或其他因素的影響，兩幅圖片重疊部分不一定完全相同造成拼接不平滑，或者流失部分信息。可以取前一幅圖的部分作為重疊部分圖，也可以區(qū)后一幅圖的部分作為重疊部分圖像，這兩種方法都會舍去某幅圖的全部重疊部分的信息。另外還可以將兩幅圖象重疊部分進行均值計算，同時保留兩幅圖像的部分信息，但是這種方法會造成重疊部分的模糊，嚴(yán)重時會丟失重疊部分的高頻信息。在這里為了盡量利用前后兩幅圖的信息，并且不丟失圖片信息，本發(fā)明采用取重疊部分中點作為分割點，在中點前面的圖片保留前一幅圖的重疊部分，中點后面的保留后一幅圖的重疊部分(見圖15)，這樣就可以構(gòu)成一幅完整的拼接圖片。
實施例2在實施例1第一步中由于并不是所有在焦距范圍內(nèi)的所有點都可以取之大于閾值，有些區(qū)域由于光照等因素，周圍比較平滑，這樣在清晰度的計算中就沒有點大于閾值，計算機就認(rèn)為它是背景，而取了不清晰的點來作為最終結(jié)果，另一方面就是因為圖像采集中存在部分噪音，使得不在聚焦范圍內(nèi)的點的梯度算子計算結(jié)果大于閾值，這樣計算機會認(rèn)為該店為聚焦范圍的點而錯誤的保留下來。
一般來說，相似位置的區(qū)域的點有相似的聚焦特性，所以可以通過參考周圍像素點的因素通過二值形態(tài)學(xué)來修正上述兩種誤差。在對通過梯度算子被閾值劃分得到的二值圖進行膨脹，腐蝕，連接等二值形態(tài)學(xué)的處理。去掉二值圖中的孤點、漏洞。可使得聚焦判別更為準(zhǔn)確(見附圖8)。
腐蝕集合A被集合B腐蝕，其定義為xB+xA (8)膨脹集合A被集合B膨脹，其定義為x(-B+x)IA≠φ (9)首先對前面由閾值分割出來的二值圖進行腐蝕，去掉噪聲孤點，再對其進行膨脹，去掉在聚焦范圍中的漏洞，然后再次進行腐蝕還原到原來聚焦范圍的大小。使用模版和腐蝕或膨脹次數(shù)可取1-20之間，模版的大小可取2×2-100×100，模版形狀可以為正方形、長方形、菱形、圓形、以及其他不規(guī)則圖形。
實施例3實施例2雖然對實施例1的第一步進行了改進，但是還是可能會出現(xiàn)漏洞或者噪聲，并且還要針對圖片設(shè)計腐蝕膨脹的模版，在操作中會比較麻煩，所以在這里引入尋找最高清晰點的全景深圖的重構(gòu)方法。
重構(gòu)方法的算法流程參考附圖9，首先將所拍攝的全部序列圖片保存下來，等到豎直方向移動完畢后，對每一幅圖像是用梯度算子(公式10，12)進行卷積運算，并且將在每個點的卷積值記錄在與原點相對應(yīng)的位置上。卷積計算完畢后，取一點在所有序列上的卷積值生成聚焦清晰圖曲線(圖12)，從圖中可以看到直接計算出來的曲線有很多毛刺和噪聲，所以需要對其進行曲線平滑處理(圖8)。由于顯微鏡鏡頭的運動是緩慢的直線運定，所以圖片是由散焦到聚焦，再由聚焦到散焦，聚焦清晰度曲線是由低到高在由高到低，最高處為其聚焦的中心，所以本發(fā)明取序列中最大值所在的位置，認(rèn)為移動過程中在這一幀是最為聚焦的，保留該點的像素作為全景深圖片其中一點(公式10-13)。
梯度算子有一階算子(公式10)，二階算子(公式12)和其他算子，可以在不同的場合進行選擇。
一階算子▿f(x,y)=|∂f(x,y)∂x|+|∂f(x,y)∂y|---(10)]]>保留像素的計算方法F(i,j)=Σx-i-Ni-NΣy=j-Ni+NMf(x,y)]]>如果Mf(x，y)＝max(f(x，y，z))(11)二階算子▿2f(x,y,z)|∂2f(x,y,z)∂2x2|+|∂2f(x,y,z)∂2y2|---(12)]]>保留像素的計算方法F(i,j)=Σx-i-Ni-NΣy=j-Ni+NMf(x,y)]]>如果Mf(x，y)＝max(2f(x，y，z)) (13)實施例4在實施例3中對單獨點在序列上面的清晰度曲線進行了平滑，消除了曲線上面的毛刺和噪聲，為了進一步考慮到物體表圖像相鄰像素在空間上面也是相鄰的，有相似的聚焦特性，本發(fā)明使用中值或均值濾波算子對在公式(10)(12)計算得出的F(i，j)高度信息圖像進行卷積運算，濾除奇異點，進一步消除誤差，最終得到準(zhǔn)確的高度信息圖，然后映射到與之高度對應(yīng)的序列圖像像素，轉(zhuǎn)換成為單幅全景深圖，算法流程參照附圖11。這樣就可以使聚焦定位更加準(zhǔn)確，缺點是計算量大，內(nèi)存要求大，運算速度稍慢。但是在實際操作過程中，顯微鏡在豎直方向移動后要進行水平移動，可以選擇在這時對圖片進行豎直方向重構(gòu)，不會影響流程工作速度。
權(quán)利要求
1.一種顯微鏡下全景深大幅圖片的拼接方法，該方法首先在顯微鏡下利用微觀物體同一區(qū)域不同景深的序列圖像，使用計算機圖像處理技術(shù)重構(gòu)成能夠反映該區(qū)域所有聚焦范圍內(nèi)信息和背景信息的全景深重構(gòu)圖片，然后對相鄰區(qū)域的全景深重構(gòu)圖片進行拼接，最終得到能夠反映微觀物體表面和背景全部信息的大幅全景深重構(gòu)圖片。
2.如權(quán)利要求1所述的顯微鏡下全景深大幅圖片的拼接方法，其特征在于首先確定采集圖片的大小范圍，豎直方向移動范圍，顯微鏡放大倍數(shù)等等初始化條件，啟動作業(yè)流程開始采集圖片，每一幅圖片首先判斷它是在豎直方向還是在水平方向移動，如果是豎直方向移動，這對豎直方向方向上面采集到的不同景深的小幅圖片拼接，拼接成為該區(qū)域全景深的小幅圖片；如果是在水平方向上面移動，這將剛剛拼接好的全景深圖片與之相鄰的全景深圖片進行水平拼接。
3.如權(quán)利要求2所述的顯微鏡下全景深大幅圖片的拼接方法，其特征在于該方法的步驟是第一步對豎直方向使用基于清晰度域值的全景深圖的重構(gòu)方法，對同一區(qū)域下處于不同景深的圖片進行重構(gòu)，得到可以反映該區(qū)域全部表面信息以及背景信息的全景深圖片；第二步將相鄰區(qū)域的全景深小幅圖片水平拼接為全景深大幅圖片。
4.如權(quán)利要求3所述的顯微鏡下全景深圖片的拼接方法，其特征在于首先對由清晰度域值分割出來的二值圖進行腐蝕，去掉噪聲孤點；再對其進行膨脹，去掉在聚焦范圍中的漏洞，然后再次進行腐蝕還原到原來聚焦范圍的大小。使用模版和腐蝕或膨脹次數(shù)可取1-20之間，模版的大小可取2×2-100×100，模版形狀可以為正方形、長方形、菱形、圓形、以及其他不規(guī)則圖形。
5.如權(quán)利要求2所述的顯微鏡下全景深圖片的拼接方法，其特征在于首先將所拍攝的全部序列圖片保存下來，等到豎直方向移動完畢后，對序列中每一幅圖像是用梯度算子進行卷積運算，并且將在每個點的卷積值記錄在與原點相對應(yīng)的位置上。全部圖像卷積計算完畢后，取一點在所有序列上的卷積值生成聚焦清晰度曲線，直接繪制出來的曲線有很多毛刺和噪聲，對其進行曲線平滑處理，取序列中最大值所在的位置，認(rèn)為移動過程中在這一幀是最為聚焦的，保留該位置相對應(yīng)的像素作為全景深圖片其中一點。
6.如權(quán)利要求5所述的顯微鏡下全景深圖片的拼接方法，其特征在于使用中值或均值濾波算子對高度信息圖像進行卷積運算，濾除奇異點，進一步消除誤差，最終得到準(zhǔn)確的高度信息圖，然后映射到與高度對應(yīng)的序列圖像像素，轉(zhuǎn)換成為單幅全景深圖。
全文摘要
本發(fā)明涉及一種顯微鏡下全景深大幅圖片的拼接方法，該方法首先在顯微鏡下利用微觀物體同一區(qū)域不同景深的序列圖像，使用計算機圖像處理技術(shù)重構(gòu)成能夠反映該區(qū)域所有聚焦范圍內(nèi)信息和背景信息的全景深重構(gòu)圖片，然后對相鄰區(qū)域的全景深重構(gòu)圖片進行拼接，最終得到能夠反映微觀物體表面和背景全部信息的大幅全景深重構(gòu)圖片。本發(fā)明的有益效果是，克服了現(xiàn)有拼接技術(shù)中的不足，全面反映了顯微鏡下微觀物體表面的完整信息。
文檔編號G06F17/00GK1715987SQ20051001892
公開日2006年1月4日 申請日期2005年6月16日 優(yōu)先權(quán)日2005年6月16日
發(fā)明者嚴(yán)新平, 呂植勇, 蕭漢梁, 何曉昀, 吳青, 趙輝, 李大光 申請人:武漢理工大學(xué)