專利名稱：顯微視覺下多焦面物體成像的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機視覺及圖像處理領(lǐng)域，尤其涉及一種顯微視覺下多焦面物體成像的方法。
背景技術(shù)：
在對微小物體進行視覺檢測時，由于微小物體的深度遠(yuǎn)遠(yuǎn)大于顯微相機的景深，從而導(dǎo)致通過顯微相機的一次聚焦無法得到整個物體的清晰圖像?，F(xiàn)有的多焦面圖像融合方法大多是采用小波變換的方法。該方法在多焦面圖像融合上有著較好的效果，但是沒有給出獲取物體在三維空間的深度信息的方法。

發(fā)明內(nèi)容
(一 )要解決的技術(shù)問題為解決上述的一個或多個問題，本發(fā)明提供了一種顯微視覺下多焦面物體成像的方法，以得到物體在三維空間的深度信息。( 二 )技術(shù)方案根據(jù)本發(fā)明的一個方面，提供了一種顯微視覺下多焦面物體成像的方法，包括將相機沿著主光軸方向移動，采集若干幅多焦面物體的圖像，構(gòu)成圖像序列，該若干幅圖像記錄多焦面物體成像由模糊至清晰、再至模糊的過程；對圖像序列中的各圖像進行校準(zhǔn)，使各圖像對應(yīng)的多焦面物體所在表面的區(qū)域相同；對圖像序列中的每一幅圖像，將其劃分為m行η列的子區(qū)域，并對每一子區(qū)域圖像進行清晰度評價，得到每一子區(qū)域圖像的清晰度評價函數(shù)值；對于每一子區(qū)域，找出其清晰度評價函數(shù)值最大時對應(yīng)的圖像序號，得到此時相機相對物體的位置，通過相機相對物體的位置信息得到該子區(qū)域在三維空間的深度信息。(三)有益效果從上述技術(shù)方案可以看出，本發(fā)明顯微視覺下多焦面物體成像的方法具有以下有益效果(I)利用圖像序列在垂直方向上進行相同子區(qū)域比較，能夠快速定位物體該區(qū)域的深度信息；(2)采用Sobel算子對圖像進行清晰度評價，相比快速傅里葉變換的方法有效提高了計算速度；(3)通過物體的多焦面圖像進行重新組合得到物體的二維圖像，圖像清晰度高，效
果顯著。


圖I為本發(fā)明實施例顯微視覺下多焦面物體成像方法的流程圖；圖2為本發(fā)明實施例顯微視覺下多焦面物體成像方法中顯微相機采集圖像過程的不意圖3為本發(fā)明實施例顯微視覺下多焦面物體成像方法中圖像校準(zhǔn)過程的示意圖；圖4為本發(fā)明實施例顯微視覺下多焦面物體成像方法中圖像劃分為m行η列子區(qū)域的不意圖；圖5Α-圖5Τ顯微相機在從初始位置開始，采集的20幅經(jīng)過校準(zhǔn)后的圖像；圖6經(jīng)過本發(fā)明實施例顯微視覺下多焦面物體成像方法處理的物體表面的三維圖像；圖7經(jīng)過本發(fā)明實施例顯微視覺下多焦面物體成像方法處理后的二維清晰圖像；圖8經(jīng)過本發(fā)明實施例顯微視覺下多焦面物體成像方法得到的最終二維圖像。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進一步詳細(xì)說明。需要說明的是，在附圖或說明書描述中，相似或相同的部分都使用相同的圖號。附圖中未繪示或描述的實現(xiàn)方式，為所屬技術(shù)領(lǐng)域中普通技術(shù)人員所知的形式。另外，雖然本文可提供包含特定值的參數(shù)的示范，但應(yīng)了解，參數(shù)無需確切等于相應(yīng)的值，而是可在可接受的誤差容限或設(shè)計約束內(nèi)近似于相應(yīng)的值。此外，以下實施例中提到的方向用語，例如“上”、“下”、“前”、“后”、“左”、“右”等，僅是參考附圖的方向。因此，使用的方向用語是用來說明并非用來限制本發(fā)明。為了得到微小物體在三維空間的深度信息和完整清晰圖像，本發(fā)明提出一種顯微視覺下多焦面物體成像的方法。該方法利用顯微相機拍攝微小物體表面在不同焦面上的圖像，然后通過對相機與物體的位置信息及拍攝的圖像序列進行綜合處理，獲得物體在三維空間上的深度信息及物體清晰的二維圖像。圖I為根據(jù)本發(fā)明實施例顯微視覺下多焦面物體成像方法的流程圖。如圖I所示，本實施例顯微視覺下多焦面物體成像方法包括下述步驟步驟Α，如圖2所示，將顯微相機的鏡頭與放置微小物體的載物臺平行放置。然后調(diào)節(jié)相機的位置，使相機遠(yuǎn)離物體，當(dāng)相機所成物體的像的各個區(qū)域均較模糊的時候，停止移動相機，將此位置作為相機的初始位置。采集相機初始位置時物體的圖像。然后將相機沿著主光軸方向靠近物體，并且每次移動的距離相同。每移動一次便用相機采集一次物體的圖像。直到相機所成物體的像的各個區(qū)域又變得較模糊時，停止移動相機。這樣就會得到圖像序列。圖像序列的序號分別對應(yīng)相機相對物體不同的位置；相機采集圖像過程需注意(I)微相機的鏡頭需與放置物體的載物臺平行放置；(2)盡量保證物體成像于圖像的中間部位；(3)相機在起始位置時，物體的像的各個區(qū)域均較模糊；(4)相機沿著主光軸方向靠近物體，并且每次移動的距離相同，每次移動的距離盡量等于相機景深的距離。步驟B，對圖像序列進行校準(zhǔn)，校準(zhǔn)的目的是為了使序號不同的圖像中的相同區(qū)域成的像對應(yīng)相同。通過以圖像的中心為中心做矩形，圖像的中心即為矩形的中心。獲得矩形區(qū)域的圖像。在相機初始位置對應(yīng)的圖像選取的矩形要盡量包含整個物體，并且保證矩形的邊離圖像的邊有一定的距離。在相機逐漸靠近物體時，我們在圖像上選取的矩形區(qū)域中心不變，但是長寬要按一定的規(guī)律增加。圖像序列中相鄰兩圖像，矩形區(qū)域長寬的增加量可以用公式Ad = d2hnAz/ -(^η Δ z) ^ d2hn Δ z/d/近似計算。其中d2代表像距,(I1代表相機在起始位置時的物距，η代表相機移動的次數(shù)，h代表物體上的點到光軸的垂直距離，Λ ζ代表相機每次移動的距離。在上述參數(shù)未知或無法準(zhǔn)確測定時，長寬的增加量可以采用相鄰兩幅圖像中相同圖像點在各自圖像中的位置坐標(biāo)來近似確定。寬的增加量可以用兩位置的橫坐標(biāo)差的絕對值的2倍近似，高的增加量可以用兩位置的縱坐標(biāo)差的絕對值的2倍近似。下面結(jié)合圖3具體說明步驟 步驟BI，確定相機初始位置矩形區(qū)域的圖像，該矩形區(qū)域的圖像要包含整個物體，并且保證矩形的邊離原圖像的邊有一定的距離。步驟Β2，圖3中最外層的虛線框為相機采集的原圖像，最內(nèi)層的黑點為圖像的中心，矩形框R1為在相機初始位置拍攝的圖像上選取的矩形區(qū)域的圖像，R2為在相機沿著主光軸方向移動一次后拍攝的圖像上選取的矩形區(qū)域，R2的長寬較R1的長寬都有所增加，長寬的增加量可以采用相鄰兩幅圖像中相同像點在各自圖像中的位置不同來近似確定。例如圖3中pointl點在平面I (即相機位于初始位置時拍攝的圖像平面)中的位置坐標(biāo)為(x，y)，對應(yīng)在平面2 (即相機沿著靠近物體的方向移動一次后拍攝的圖像平面)中的坐標(biāo)為, I')，則平面2中選取的矩形區(qū)域要比在平面I選取的矩形區(qū)域的寬長2i =2(x' -x)個像素，平面2中選取的矩形區(qū)域要比在平面I選取的矩形區(qū)域的高長2j =2(y' _y)個像素。其他圖像序列的中矩形區(qū)域采取相同的方法選取。步驟B3，將序列矩形區(qū)域的圖像按雙線性插值的方法變換成與初始位置圖像對應(yīng)的矩形區(qū)域的圖像大小相同。步驟C，將校準(zhǔn)后的每幅圖像劃分為m行η列的子區(qū)域。校準(zhǔn)后的圖像的劃分一般采用子區(qū)域面積相等的方式，也可根據(jù)物體表面情況，采用子區(qū)域面積不等的方式劃分。下面采用的是等面積劃分方法。劃分方法如圖4所示。圖4中PiQu]表示相機沿著主光軸方向移動i-Ι次后對應(yīng)的圖像面(校準(zhǔn)后的圖像面)的第k行j列子區(qū)域。計算所有圖像平面的所有子區(qū)域的清晰度評價函數(shù)值。其中，清晰度評價函數(shù)的定義方式為I)選擇Sobel算子，其X方向圖像差分對應(yīng)的濾波器系數(shù)為[_101 ；-202 ;_101]，其I方向圖像差分對應(yīng)的濾波器系數(shù)為[-1-2-1 ；000 ；121]。2)對圖像進行X方向圖像差分獲得差分后圖像，即用X方向圖像差分對應(yīng)的濾波器與圖像進行卷積。3)對圖像進行y方向圖像差分獲得差分后圖像，即用y方向圖像差分對應(yīng)的濾波器與圖像進行卷積。4)計算差分后的兩圖像相同位置的兩像素值的平方根，得到新的圖像。5)計算新圖像中大于指定閾值的像素值的總和，將總和作為清晰度評價函數(shù)值。步驟D，相機的景深Λ L = 2Fu δ f (u-f) / [f4-F2 δ 2 (u-f)2]，u為對焦距離、f為鏡頭焦距、S為彌散圓直徑、D為光圈直徑、V為像距。由上式可知，當(dāng)相機的鏡頭焦距f、彌散圓直徑S、光圈直徑D、及景深Λ L為定值時，則對焦距離u為定值。因此我們可以通過圖像表面不同子區(qū)域的清晰度來判斷該子區(qū)域是否在此時相機的對焦平面上。下面結(jié)合圖4具體說明物體表面不同子區(qū)域深度值的獲取過程。步驟D1，通過比較校準(zhǔn)后的圖像序列相同子區(qū)域的清晰度評價函數(shù)值，找出子區(qū)域的清晰度評價函數(shù)值最大時對應(yīng)的圖像的序號。即比較區(qū)域Pi[lu]中k，j相同而i不同時對應(yīng)的清晰度評價函數(shù)值。步驟D2，找出清晰度評價函數(shù)值最大時，對應(yīng)的i。通過圖像子區(qū)域?qū)?yīng)清晰度評價函數(shù)值最大的圖像序列的圖像序號，以及相機每移動一次的距離，可以獲得在三維空間中物體圖像不同子區(qū)域高度相差的實際距離。例如，若區(qū)域Pm，2]清晰度評價函數(shù)值最大時，對應(yīng)的i = 15，Pi[1；9]清晰度評價函數(shù)值最大時，對應(yīng)的i = 8，則圖像中第一行第二列子區(qū)域與第一行第九列子區(qū)域在對應(yīng)到實際物體上的深度差為7 Λ z，其中Λ ζ為相機每次運動的實際距離。 步驟Ε，將圖像序列的清晰度評價函數(shù)值最大的子區(qū)域拼接成一幅完整圖像。步驟F，由于拼接后的圖像會產(chǎn)生子區(qū)域與子區(qū)域之間的交界處非均勻銜接問題，因此我們對拼接后的圖像進行均值濾波，濾波算子選為[1/9 1/9 1/9； 1/9 1/9 1/9 ； 1/91/9 1/9]，由于均值濾波會對圖像產(chǎn)生模糊效應(yīng)，因此采用直方圖均衡化的方法對均值濾波后的圖像進行圖像增強處理。這樣獲得最終的清晰二維圖像?；诒景l(fā)明所提供的算法，我們用橡皮擦作為測試物體。我們把橡皮擦切割成包含上下兩平面，橡皮擦兩平面之間的距離為約為3毫米，由于人工切割的原因，使得兩平面并非非常平整，會有起伏，兩平面表面貼有印有文字紋理的紙片。用顯微相機拍攝橡皮擦的圖像序列，進行圖像融合及立體分層。下面說明一下實施步驟第一步將橡皮擦放在載物臺，使有文字紋理的一側(cè)，正對相機。使相機遠(yuǎn)離物體，當(dāng)相機所成的物體的像的各個區(qū)域均較模糊的時候，停止移動相機，將此位置作為相機的初始位置。采集相機初始位置時物體的圖像。然后將相機沿著主光軸方向靠近物體，每次移動的距離為500um。每移動一次便用相機采集一次物體的圖像。直到相機所成的物體的像的各個區(qū)域又變的較模糊時，停止移動相機。采集的圖像經(jīng)校準(zhǔn)之后如圖5A-圖5T所示。其中圖5A為相機在初始位置時采集的圖像對應(yīng)的校準(zhǔn)圖像，圖5T為相機在終止位置時采集的圖像對應(yīng)的校準(zhǔn)圖像。第二步將校準(zhǔn)后的每幅圖像劃分為12行16列的子區(qū)域。計算所有圖像平面的所有子區(qū)域的清晰度評價函數(shù)值。第三步比較圖像序列相同子區(qū)域的清晰度評價函數(shù)值，找出子區(qū)域的清晰度評價函數(shù)值最大時對應(yīng)的圖像的序號。表I所示為各個子區(qū)域?qū)?yīng)的圖像的序列數(shù)，序號為O的圖像是相機位于初始位置時拍攝的圖像，序號為I的圖像是相機移動一次后拍攝的圖像。
權(quán)利要求
1.一種顯微視覺下多焦面物體成像的方法，其特征在于，包括 步驟A，將相機沿著主光軸方向移動，采集若干幅所述多焦面物體的圖像，構(gòu)成圖像序列，該若干幅圖像記錄所述多焦面物體成像由模糊至清晰、再至模糊的過程； 步驟B，對所述圖像序列中的各圖像進行校準(zhǔn)，使各圖像對應(yīng)的多焦面物體所在表面的區(qū)域相同； 步驟C，對所述圖像序列中的每一幅圖像，將其劃分為m行η列的子區(qū)域，并對每一子區(qū)域圖像進行清晰度評價，得到每一子區(qū)域圖像的清晰度評價函數(shù)值； 步驟D，對于每一子區(qū)域，找出其清晰度評價函數(shù)值最大時對應(yīng)的圖像序號，得到此時相機相對物體的位置，通過相機相對物體的位置信息得到該子區(qū)域在三維空間的深度信息
2.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟A中，將相機以等步長的方式由遠(yuǎn)及近沿主光軸方向移動。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述步長等于所述相機的景深。
4.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟B包括 步驟BI，以相機遠(yuǎn)離所述多焦面物體的位置為初始位置，在該初始位置對應(yīng)的圖像上選取矩形區(qū)域的初始圖像； 步驟Β2，矩形區(qū)域中心不變，以計算長寬增加量的方式，對于除該初始位置外的其他位置的圖像進行校準(zhǔn)，校準(zhǔn)后的圖像與所述初始圖像對應(yīng)的多焦面物體所在表面的區(qū)域相同。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述步驟Β2中，長寬的增加量采用以下方式確定 獲取該兩相同圖像點在待校準(zhǔn)圖像和初始圖像上的坐標(biāo)值U丨,1')和(X，y)； 所述待校準(zhǔn)圖像相對初始圖像的寬增加值為2(x' -x)個像素；所述待校準(zhǔn)圖像相對初始圖像的高增加值為2 (y' _y)個像素。
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述步驟B2之后還包括 步驟B3，將矩形區(qū)域的圖像序列按雙線性插值的方法變換成與初始位置圖像對應(yīng)的矩形區(qū)域的圖像大小相同。
7.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述步驟C中，對子區(qū)域圖像進行清晰度評價，得到該子區(qū)域圖像的清晰度評價函數(shù)值包括 步驟Cl，選擇Sobel算子，其X方向圖像差分對應(yīng)的濾波器系數(shù)為[-101 ；-202 ;_101]，其y方向圖像差分對應(yīng)的濾波器系數(shù)為[-1-2-1 ；000 ；121]； 步驟C2，對該子區(qū)域圖像進行X方向圖像差分獲得差分后圖像，即用X方向圖像差分對應(yīng)的濾波器與圖像進行卷積； 步驟C3，對該子區(qū)域圖像進行y方向圖像差分獲得差分后圖像，即用y方向圖像差分對應(yīng)的濾波器與圖像進行卷積； 步驟C4，計算差分后的兩該子區(qū)域圖像相同位置的兩像素值的平方根，得到新的圖像； 步驟C5，計算新圖像中大于指定閾值的像素值的總和，將總和作為該子區(qū)域的清晰度評價函數(shù)值。
8.根據(jù)權(quán)利要求I所述的方法，其特征在于， 在步驟C中，以PifcJ表示相機沿著主光軸方向移動i-Ι次后對應(yīng)的圖像面的第k行j列子區(qū)域； 在步驟D中，對于清晰度評價函數(shù)值最大時對應(yīng)的圖像序號分別為I1和i2的兩子區(qū)域，其深度差為Δ z,其中Λ ζ為相機每次運動的距離。
9.根據(jù)權(quán)利要求I至8中任一項所述的方法，其特征在于，所述步驟D之后還包括 步驟Ε，將圖像序列中清晰度評價函數(shù)值最大的子區(qū)域，拼接成一幅完整圖像。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述步驟E之后還包括 步驟F，對拼接的完整圖像進行均值濾波和圖像增強處理，獲得最終的二維圖像。
全文摘要
本發(fā)明提供了一種顯微視覺下多焦面物體成像的方法，包括將相機沿著主光軸方向移動，采集若干幅多焦面物體的圖像，構(gòu)成圖像序列，該若干幅圖像記錄多焦面物體成像由模糊至清晰、再至模糊的過程；對圖像序列中的各圖像進行校準(zhǔn)，使各圖像對應(yīng)的多焦面物體所在表面的區(qū)域相同；對圖像序列中的每一幅圖像，將其劃分為m行n列的子區(qū)域，并對每一子區(qū)域圖像進行清晰度評價，得到每一子區(qū)域圖像的清晰度評價函數(shù)值；對于每一子區(qū)域，找出其清晰度評價函數(shù)值最大時對應(yīng)的圖像序號，得到此時相機相對物體的位置，通過相機相對物體的位置信息得到該子區(qū)域在三維空間的深度信息。本發(fā)明能夠快速定位物體該區(qū)域的深度信息。
文檔編號G06T5/50GK102968792SQ20121042238
公開日2013年3月13日 申請日期2012年10月29日 優(yōu)先權(quán)日2012年10月29日
發(fā)明者王欣剛, 徐德, 張正濤, 尹英杰, 白明然 申請人:中國科學(xué)院自動化研究所