本發(fā)明屬于計算機視覺領域，具體涉及一種掃描電子顯微鏡成像系統(tǒng)的建模方法。

背景技術：

隨著納米科技的發(fā)展，在生命科學、材料科學、質(zhì)量檢測與控制等領域，對微納尺度下樣品進行視覺測量、反饋和操縱的需求越來越大。掃描電子顯微鏡(SEM)在圖像獲取和采集有著其公認的優(yōu)勢，例如：具有較大的景深、納米尺度級別的分辨率、易用性高并且放大倍率可由低倍(10×)到高倍(高達50000倍)調(diào)節(jié)，掃描電子顯微鏡(SEM)廣泛應用在圖像獲取和采集的應用場景中。然而，由于掃描電子顯微鏡(SEM)是被以可視化為目的進行設計和制造的，在度量尺度方面并無優(yōu)勢。因此，對其進行成像建模便成為不可或缺的技術環(huán)節(jié)。

L.Reimer曾指出SEM的成像過程可以近似為透視投影過程[L.Reimer.Scanning Electron Microscopy:Physics of Image Formation and Microanalysis.Measurement Science and Technology.2000,11(12):1826]。在此模型中，圖像的像素點對應的空間直線都會會聚在空間中的一點，基于此幾何約束，Tasi[Tsai R.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses.IEEE Journal on Robotics and Automation,1987,3(4):323-344.]，張正友[Zhang Z.A flexible new technique for camera calibration.IEEE Transactions on pattern analysis and machine intelligence,2000,22(11):1330-1334.]等人的經(jīng)典的透視模型建模方法均可用于對掃描電子顯微鏡(SEM)進行建模標定。最近的研究表明：當掃描電子顯微鏡(SEM)成像系統(tǒng)的放大倍數(shù)較低時，視場和視角較大，可使用透視投影模型對成像系統(tǒng)進行建模；而當放大倍數(shù)較大時，視場和視角均非常小，掃描電子顯微鏡(SEM)成像系統(tǒng)的成像過程近似為平行投影過程，此時采用透視投影模型會存在嚴重的模型誤差。部分研究單位此時使用平行投影進行建模。如，MA Sutton[M.Sutton,N.Li,D.Garcia,N.Cornille,J.Orteu,S.McNeill,H.Schreier,X.Li,A.Reynolds.Scanning Electron Microscopy for Quantitative Small and Large Deformation Measurements Part Ii:Experimental Validation for Magnifications from 200 to 10,000.Experimental mechanics.2007,47(6):789-804]認為在200×到1000×之間時候，選擇透視模型較好。同時，TU Berlin[O.Sinram,M.Ritter,S.Kleindick,A.Schertel,H.Hohenberg,J.Albertz.Calibration of an Sem,Using a Nano Positioning Tilting Table and a Microscopic Calibration Pyramid.INTERNATIONAL ARCHIVES OF PHOTOGRAMMETRY REMOTE SENSING AND SPATIAL INFORMATION SCIENCES.2002,34(5):210-215]的研究表明，這個臨界的數(shù)值應該在500×，即在500×以下的時候用透視模型建模，500×以上時候采用平行投影模型。但是，上述的建模方法均為離散建模方法，即針對不同的放大倍率分別利用透視或者平行投影模型對掃描電子顯微鏡(SEM)進行建模，但是，利用掃描電子顯微鏡(SEM)對某一樣品進行基于視覺的三維重建時，既需要有整體形貌又需要有局部的細節(jié)，這便要求在同一測量場景下對不同的放大倍率進行建模標定。這為實際的使用帶來極大困難。

綜上所述，現(xiàn)有掃描電子顯微鏡(SEM)成像模型在實際應用中仍存在著許多壁壘。因此，需要開發(fā)一種確實可行的針對掃描電子顯微鏡(SEM)的成像模型和其對應的模型解算方法。

技術實現(xiàn)要素：

針對現(xiàn)有技術的以上缺陷或改進需求，本發(fā)明提供了一種掃描電子顯微鏡(SEM)成像系統(tǒng)的建模方法，該方法基于掃描電子顯微鏡(SEM)成像系統(tǒng)的模型參數(shù)隨著放大倍率連續(xù)性變化原理，建立了基于掃描電子顯微鏡(SEM)成像系統(tǒng)的模型參數(shù)與放大倍率之間的函數(shù)映射，在此基礎上建立了成像模型以及對成像模型的關鍵參數(shù)進行解算。

為實現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種掃描電子顯微鏡(SEM)成像系統(tǒng)的建模方法，其包括如下步驟：

S1：建立掃描電子顯微鏡的放大倍率m與在該放大倍率下掃描電子顯微鏡成像系統(tǒng)成像模型矩陣K間的關系，進而推算獲得成像模型，所述成像模型如下：

其中，分別為圖像平面上像素點的齊次坐標和像素點在三維空間中對應的空間點的齊次坐標，A表示掃描電子顯微鏡的內(nèi)部參數(shù)矩陣，[R T]表示掃描電子顯微鏡的外部參數(shù)矩陣，K為所述掃描電子顯微鏡(SEM)成像系統(tǒng)放大倍率下成像模型矩陣，即像素點的齊次坐標和在三維空間中對應的空間點的齊次坐標的映射關系，s表示尺度縮放因子，m為掃描電子顯微鏡(SEM)的任一放大倍率，(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))表示利用徑向基算子表達的模型矩陣K的11個參數(shù)。

S2：解算模型矩陣K，獲得成像系統(tǒng)的模型。

進一步的，步驟S1中，建立掃描電子顯微鏡(SEM)的放大倍率m與在該放大倍率下掃描電子顯微鏡(SEM)成像系統(tǒng)成像模型矩陣K間的關系，進而推算獲得成像模型的具體過程如下：

對于掃描電子顯微鏡圖像平面上任意一個像素點齊次坐標(為齊次坐標形式)在三維空間中對應點映射關系可表達為：

其中，分別為圖像平面上像素點的齊次坐標和在三維空間中對應的空間點的齊次坐標。K表示成像模型矩陣，即兩者的映射關系，A表示掃描電子顯微鏡的內(nèi)部參數(shù)矩陣，[R T]表示掃描電子顯微鏡的外部參數(shù)矩陣，s表示尺度縮放因子。

采用了徑向基算子來表達掃描電子顯微鏡放大倍率m和系統(tǒng)成像模型矩陣K的關系，具體的，將系統(tǒng)成像模型矩陣K的11個參數(shù)分別用掃描電子顯微鏡放大倍率m作為變元的徑向基算子表示如下：

其中，(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))表示利用徑向基算子表達的模型矩陣的11個參數(shù)，其中，對于(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))中的一個算子表達k(m)，如下：

其中，c_i(i＝1...P)為隨機選取的樣本放大倍率，P表示樣品放大倍率的個數(shù)。|.|表示絕對值，φ為徑向基算子的核函數(shù)，a₀,a₁與w₁,w₂,…,w_P均為徑向基算子待求系數(shù)。

所述的徑向基算子的核函數(shù)φ為高斯函數(shù)φ(r)＝exp(-β²r²)或者multi-quadricsφ(r)＝(β²+r²)^1/2，其中，β為形狀參數(shù)，r為|m-c_i|的簡寫。

對于(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))中的一個算子表達k(m)的矩陣形式為:

其中，徑向基算子待求系數(shù)a＝(a₀,a₁)與w＝(w₁,w₂,…,w_P)合并表示為h_wa，稱之為系數(shù)矩陣，Φ(m)＝[φ(|m-c₁|),φ(|m-c₂|),...,φ(|m-c_P|)]表示核函數(shù)矩陣，p(m)＝(1,m)。

則對于掃描電子顯微鏡放大倍率m所對應的系統(tǒng)成像模型矩陣K的11個參數(shù)可表示為：

其中，是指k_n(m)對應的系數(shù)矩陣，n＝1,...,11。

繼續(xù)進行推算，可表示為：

其中，為本發(fā)明掃描電子顯微鏡成像模型的中待解算矩陣，稱之為參數(shù)矩陣。

則，對于一個給定的樣品放大倍率集合c_i(i＝1...P)、模型矩陣H_wa以及徑向基因子核函數(shù)矩陣Φ(m)、掃描電子顯微鏡(SEM)成像系統(tǒng)成像模型矩陣K的11個參數(shù)可表示如下：

K＝(k₁(m),...,k₁₁(m))＝(Φ(m) p(m))H_wa

其中，Φ(m)＝[φ(|m-c₁|),φ(|m-c₂|),...,φ(|m-c_P|)]表示核函數(shù)矩陣，p(m)＝(1,m)。

進一步的，解算參數(shù)矩陣H_wa的具體過程如下：

首先，根據(jù)成像系統(tǒng)的視場范圍選擇設定尺寸的標定物和放大倍率集合{m＝m₁,...m_N}，N表示放大倍率的個數(shù)，在放大倍率集合范圍內(nèi)選擇P組樣本放大倍率{c＝c₁,...c_P}，在每個所選的樣本放大倍率下拍攝一幅標定物的圖像，稱為標定圖像，提取標定圖像圓心之后可得到多組圓心的像素坐標以及該多組圓心的像素坐標分別對應的三維空間坐標以及對應的放大倍率m，用于解算參數(shù)矩陣H_wa。

根據(jù)徑向基因子核函數(shù)和樣本放大倍率集合{c＝c₁,...c_P}，計算對應的核函數(shù)矩陣Φ(m)及a＝(a₀,a₁)。對于掃描電子顯微鏡圖像平面上任意一個像素點(為齊次坐標形式)在三維空間中對應點映射關系可表達為：

其中，K表示成像模型矩陣，s表示尺度縮放因子，進一步的上式可表示為：

其中，～表示算式兩邊進行設定縮放后尺度一致性。上式兩側(cè)同時對做外積運算：

其中，為的反對稱矩陣。對上式應用克羅內(nèi)克(Kronecker)積對進行展開：

其中，vec(K)表示矩陣K的向量化，它是把K的所有列堆疊起來所形成的列向量(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))^T，表示克羅內(nèi)克(Kronecker)積。將矩陣前11列組合簡寫為Q,最后一個列簡寫為b可以有：

將矩陣利用進行展開，可得：

Q[(Φ(m) p(m))H_wa]^T＝b

應用克羅內(nèi)克(Kronecker)積對Q[(Φ(m) p(m))H_wa]^T＝b進一步進行展開得：

其中，vec(H_wa)表示矩陣H_wa的向量化，它是把H_wa的所有列堆起來所形成的列向量，表示克羅內(nèi)克(Kronecker)積，R(m)表示(Φ(m) p(m))。

對于一個掃描電子顯微鏡成像系統(tǒng)，假設存在N組放大倍率，放大倍率集合{m＝m₁,...m_N}，則由可得：

上式的解空間即可解算參數(shù)矩陣H_wa，并由式K＝(k₁(m),...,k₁₁(m))＝(Φ(m) p(m))H_wa來解算模型矩陣K。

本發(fā)明提供一種掃描電子顯微鏡成像模型及模型解算方法，該方法基于掃描電子顯微鏡(SEM)成像系統(tǒng)的模型參數(shù)隨著放大倍率的連續(xù)性變化原理，建立了基于掃描電子顯微鏡(SEM)成像系統(tǒng)的模型參數(shù)與放大倍率之間的函數(shù)映射，最終建立了成像模型以及成像模型的解算算法。

總體而言，通過本發(fā)明所構思的以上技術方案與現(xiàn)有技術相比，能夠取得下列有益效果：

此方法與透視模型(小孔成像模型)、平行投影模型等傳統(tǒng)相機參數(shù)化模型相比，建立了模型參數(shù)隨著放大倍率變化而變化的映射聯(lián)系，解決了臨界放大倍率模糊不清、離散倍率模式不利于應用的問題，使得實際應用變?yōu)楝F(xiàn)實。

附圖說明

圖1為本發(fā)明實施例提供的掃描電子顯微鏡系統(tǒng)模型示意圖；

圖2為本發(fā)明實施例提供的掃描電子顯微鏡系統(tǒng)建模流程圖；

圖3為本發(fā)明實施例提供的典型不同倍率下標定圖像，圖3(a)、圖3(b)、圖3(c)以及圖3(d)分別是標定物放大倍數(shù)為75倍、100倍、150倍以及300倍的圖像。

具體實施方式

為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術特征只要彼此之間未構成沖突就可以相互組合。

圖1為本發(fā)明實施例提供的掃描電子顯微鏡系統(tǒng)模型示意圖，如圖1所示，定義掃面電子顯微鏡1的放大倍率集合為{m＝m₁,...m_N}，不同放大倍率對應的模型參數(shù)矩陣2為{K₁,...K_N},3為本發(fā)明提供的隨倍率變化的模型參數(shù)矩陣K。定義掃描電子顯微鏡圖像上一點像素坐標為該像素點對應的三維空間坐標為該像素點對應的放大倍率為m。

本發(fā)明所提供的掃描電子顯微鏡的建模方法如下：

建立掃描電子顯微鏡(SEM)的放大倍率m與在該放大倍率下掃描電子顯微鏡(SEM)成像系統(tǒng)成像模型矩陣K間的關系，進而推算獲得成像模型，所述成像模型如下：

其中，分別為圖像平面上像素點的齊次坐標和在三維空間中該像素點對應的空間點的齊次坐標，A表示掃描電子顯微鏡的內(nèi)部參數(shù)矩陣，[R T]表示掃描電子顯微鏡的外部參數(shù)矩陣，s表示尺度縮放因子。m為掃描電子顯微鏡(SEM)的任一放大倍率，K為所述掃描電子顯微鏡(SEM)成像系統(tǒng)放大倍率m下成像模型矩陣，即像素點的齊次坐標和在三維空間中對應的空間點的齊次坐標的映射關系。

其中，(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))表示利用徑向基算子表達的模型矩陣K的11個參數(shù)。

本發(fā)明所提供的掃描電子顯微鏡建模的核心思路便是基于掃描電子顯微鏡(SEM)成像系統(tǒng)的模型參數(shù)隨著放大倍率連續(xù)性變化原理，建立了基于掃描電子顯微鏡(SEM)成像系統(tǒng)的成像模型矩陣K與放大倍率m之間的函數(shù)映射，在此基礎上建立了成像模型以及對成像模型進行了解算。

本發(fā)明采用了徑向基算子來表達放大倍率m和掃描電子顯微鏡(SEM)成像系統(tǒng)的成像模型矩陣K的關系，徑向基算子是一種數(shù)學領域的插值算法，詳見如下文獻：Buhmann M D.Radial basis functions:theory and implementations[M].Cambridge university press,2003.。具體的，將掃描電子顯微鏡(SEM)成像系統(tǒng)模型參數(shù)K的11個參數(shù)分別用放大倍率m作為變元的徑向基算子來表示如下：

其中，表示掃描電子顯微鏡(SEM)成像系統(tǒng)成像模型矩陣K。(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))表示利用徑向基算子表達的所述的11個參數(shù)。

其中，對于(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))中的一個算子表達k(m)，如下：

其中，c_i(i＝1...P)為隨機選取的樣本放大倍率，P表示樣品放大倍率的個數(shù)。|.|表示絕對值，φ為徑向基算子的核函數(shù)，a₀,a₁與w₁,w₂,…,w_P均為徑向基算子待求系數(shù)。

所述的徑向基算子的核函數(shù)φ為高斯函數(shù)φ(r)＝exp(-β²r²)或者multi-quadricsφ(r)＝(β²+r²)^1/2，其中，β為形狀參數(shù)，r為|m-c_i|的簡寫。

本發(fā)明中應用高斯核函數(shù)和multi-quadrics(中文：多重二次曲面函數(shù))函數(shù)均可獲得良好的效果。

對于(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))中的一個算子表達k(m)的矩陣形式為:

其中，徑向基算子待求系數(shù)a＝(a₀,a₁)與w＝(w₁,w₂,…,w_P)合并表示為h_wa，稱之為系數(shù)矩陣，Φ(m)＝[φ(|m-c₁|),φ(|m-c₂|),...,φ(|m-c_P|)]表示核函數(shù)矩陣，p(m)＝(1,m)。

綜上，對于掃描電子顯微鏡放大倍率m所對應的成像模型矩陣K的11個參數(shù)可表示為：

其中，是指k_n(m)對應的系數(shù)矩陣，n＝1,...,11。

進一步進行數(shù)學換算，可表示為：

其中，為本發(fā)明通用成像模型的中待標定矩陣，稱之為參數(shù)矩陣。

因此，對于一個給定的樣品放大倍率集合c_i(i＝1...P)、參數(shù)矩陣H_wa以及徑向基因子核函數(shù)矩陣Φ(m)，掃描電子顯微鏡(SEM)成像系統(tǒng)成像模型矩陣K的11個參數(shù)可表示如下：

K＝(k₁(m),...,k₁₁(m))＝(Φ(m) p(m))H_wa

其中，Φ(m)＝[φ(|m-c₁|),φ(|m-c₂|),...,φ(|m-c_P|)]表示核函數(shù)矩陣，p(m)＝(1,m)。

圖2為本發(fā)明實施例提供的復雜成像系統(tǒng)標定流程圖，如圖2所示，本發(fā)明所提供的一種成像系統(tǒng)的通用成像模型的標定方法為求解模型矩陣K的方法(標定即為求解模型矩陣K)，其具體步驟如下：

第一步，根據(jù)成像系統(tǒng)的視場范圍選擇設定尺寸的標定物和放大倍率集合{m＝m₁,...m_N}，本發(fā)明采用的一種標定物如圖3，其為一種典型標定物，其中，圖3(a)、圖3(b)、圖3(c)以及圖3(d)分別是標定物放大倍數(shù)為75倍、100倍、150倍以及300倍的圖像。在放大集合范圍內(nèi)選擇P組樣本放大倍率{c＝c₁,...c_P}，在每個所選的樣本放大倍率下拍攝一幅標定物的圖像，稱為標定圖像，提取標定圖像圓心之后可得到多組圓心的像素坐標以及該多組圓心的像素坐標分別對應的三維空間坐標以及對應的放大倍率m，用于解算H_wa矩陣。

第二步，選擇徑向基因子核函數(shù)(本發(fā)明實施中，以高斯核函數(shù)和multi-quadrics作為徑向基因子核函數(shù)為宜)，根據(jù)徑向基因子核函數(shù)和樣本放大倍率集合{c＝c₁,...c_P}，計算對應的核函數(shù)矩陣Φ(m)及p(m)＝(1,m)。

第三步，求解參數(shù)矩陣H_wa，本發(fā)明采用如下流程求解H_wa：對于掃描電子顯微鏡圖像平面上任意一個像素點(為齊次坐標形式)在三維空間中對應點映射關系可表達為：

其中，K表示成像模型矩陣，s表示尺度縮放因子，進一步的上式可表示為：

其中，～表示算式兩邊進行一定縮放后尺度一致性。

上式兩側(cè)同時對做外積運算：

其中，為的反對稱矩陣。對上式應用克羅內(nèi)克(Kronecker)積對進行展開：

其中，vec(K)表示矩陣K的向量化，它是把K的所有列堆疊起來所形成的列向量(k₁(m),k₂(m),k₃(m),...,k₁₀(m),k₁₁(m))^T，表示克羅內(nèi)克(Kronecker)積。將矩陣前11列組合簡寫為Q,最后一個列簡寫為b可以有：

將矩陣利用式進行展開，可得：

Q[(Φ(m) p(m))H_wa]^T＝b

應用克羅內(nèi)克(Kronecker)積對Q[(Φ(m) p(m))H_wa]^T＝b進行展開得：

其中，vec(H_wa)表示矩陣H_wa的向量化，它是把H_wa的所有列堆起來所形成的列向量，表示克羅內(nèi)克(Kronecker)積，R(m)表示(Φ(m)p(m))。

對于一個掃描電子顯微鏡成像系統(tǒng)，放大倍率集合{m＝m₁,...m_N}假設存在N組放大倍率，則由可得：

上式的解空間即可解算參數(shù)矩陣H_wa。

第四步，解算模型矩陣K。求解參數(shù)矩陣H_wa后，由式K＝(k₁(m),...,k₁₁(m))＝(Φ(m) p(m))H_wa來解算模型矩陣K。

本發(fā)明提供一種掃描電子顯微鏡成像模型及模型解算方法，該方法基于掃描電子顯微鏡(SEM)成像系統(tǒng)的模型參數(shù)隨著放大倍率連續(xù)性變化的原理，建立了基于掃描電子顯微鏡(SEM)成像系統(tǒng)的模型參數(shù)與放大倍率之間的函數(shù)映射，最終建立了成像模型以及成像模型的解算算法。

本領域的技術人員容易理解，以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。