專利名稱：利用自動成像設(shè)備來聚焦到樣本上的方法
技術(shù)領(lǐng)域：
本發(fā)明的領(lǐng)域大體涉及電子成像系統(tǒng)的領(lǐng)域，更具體地，涉及計算機控制的顯微成像系統(tǒng)和其中使用的聚焦系統(tǒng)。
背景技術(shù)：
在病理學(xué)領(lǐng)域中，經(jīng)常需要為潛在的病態(tài)或疾病狀態(tài)而檢查組織樣品。在一些情況下，組織或其他生物材料的樣品被嵌入在嵌入介質(zhì)中并被切割為多個非常薄的切片 (slice)。之后這些切片被放置在諸如載玻片的樣品固定器上用于隨后的成像和分析。在其他應(yīng)用中，在基于液體的制備中，將細胞或其他生物材料轉(zhuǎn)移到載玻片上。例如，可以從目標(biāo)位置(例如，組織)上刮下細胞，并可選地在液體溶液中沖洗這些細胞。可替換地，可從體液(例如，尿液)中直接獲得細胞。可以將細胞直接轉(zhuǎn)移到載玻片，例如，可以將血液樣品直接涂在載玻片上。還開發(fā)了一種自動裝置用來在載玻片上獲得和放置細胞。例如， ThinPrep 系統(tǒng)(摩洛哥莫爾伯勒Cytyc公司)對包含細胞懸浮體的液體進行過濾。然后將過濾器上累積的細胞薄層轉(zhuǎn)移到載玻片上用于隨后的處理和觀察。越來越多地，自動成像或掃描系統(tǒng)被用來拍攝樣品的數(shù)字圖像。然后，病理學(xué)家或其他受訓(xùn)技術(shù)人員可以為該組織中潛在的病態(tài)或疾病狀態(tài)對數(shù)字圖像進行分析。自動成像系統(tǒng)經(jīng)常采用計算機控制的顯微鏡，這種顯微鏡利用自動控制的鏡臺和光學(xué)部件來獲取樣品的一個或多個聚焦圖像。例如，該系統(tǒng)可以被用于獲得載玻片上所制備的整個樣品的圖像?？商鎿Q地(或相結(jié)合地)，該系統(tǒng)可以獲得感興趣區(qū)域或特定區(qū)域的一個或多個放大圖像。為了獲得樣品或樣品放大區(qū)域的高質(zhì)量圖像，該系統(tǒng)必須能夠迅速聚焦到該樣品或該區(qū)域上。這種需求提出了多種技術(shù)挑戰(zhàn)。在觀察圖像時，人類可以立即識別出其是否處于聚焦?fàn)顟B(tài)或未處于聚焦?fàn)顟B(tài)。計算機化的系統(tǒng)對待這種任務(wù)有困難。給出同一對象在不同聚焦高度的兩幅圖像，計算機操作的聚焦系統(tǒng)能夠識別出聚焦得更好的那副圖像。然而，只給出一幅圖像的話，計算機就難以自動評價聚焦質(zhì)量。此外，計算機難以確定所成像的焦平面距理想聚焦高度或最佳聚焦高度有多遠。評估一幅圖像的聚焦質(zhì)量的多種現(xiàn)有方法都利用了傅立葉變換。在沒有噪聲時， 聚焦較差的圖像將不包含特定頻率之上的傅立葉信號。該截止頻率的位置將給出基本結(jié)構(gòu)的尺度。不幸的是，實際的圖像包含噪聲，且其限制了傅立葉變換的有效性。基于傅立葉變換的方法對具有低信噪比(SNR)的圖像效果較差。而且，所使用的傅立葉變換方法計算強度大，需要加強的計算硬件和軟件。在自動顯微鏡學(xué)中，計算機一般通過改變聚焦高度、獲取每個高度處的圖像來找出樣品內(nèi)給定位置的最佳焦平面。利用各種“自動聚焦函數(shù)”之一來計算所獲取的每幅圖像的評分；評分最高的圖像對應(yīng)于理想的聚焦高度。因為自動聚焦函數(shù)的值依賴于視野中的對象，所以這些函數(shù)可僅用于判斷一幅圖像相對于同一對象的另一幅圖像的質(zhì)量，而不作出絕對的質(zhì)量評價。一類自動聚焦函數(shù)基于圖像差來運算。未聚焦的圖像在彼此靠近的多個像素之間通常只有輕微的差異，這是因為點擴展函數(shù)(PSF)在多個像素中分配給每個像素強度，使它們模糊并平均了它們的灰度級。多種不同類型的圖像差已被用作圖像的相對聚焦質(zhì)量的測值。例如，Brenner提出使用所有像素及距兩個點遠的其相鄰點之間的平方差之禾口。參見,例如,Brenner等人的An Automated Microscope For Cytological Research, J. Histochem. Cytochem. 24，100-111(1971)。由于計算機控制的成像系統(tǒng)改變聚焦高度同時獲得載玻片的圖像，Brenner函數(shù)已被用作聚焦質(zhì)量的評判標(biāo)準(zhǔn)?，F(xiàn)有方法對在多個聚焦高度獲取的圖像的Brenner函數(shù)評分進行比較。圖像聚焦質(zhì)量的確定依賴于對一個聚焦高度的視野的Brenner函數(shù)評分與一個不同聚焦高度的同一視野的Brermer函數(shù)評分進行比較。Brermer函數(shù)評分是圖像中的基本結(jié)構(gòu)的測值。處于聚焦的圖像具有高的Brenner函數(shù)評分，并且相比于未聚焦的圖像包含更小尺度的基本結(jié)構(gòu)。相反，未聚焦的圖像具有低的Brenner函數(shù)評分，并且不包含小尺度的基本結(jié)構(gòu)。由于該聚焦高度從理想高度以上變到理想高度以下，所以Brenner函數(shù)開始處于較低值，圖像在理想聚焦高度進入聚焦時Brenner函數(shù)達到峰值，并在失去聚焦時Brermer函數(shù)減小。繪制時相對于聚焦高度的Brermer函數(shù)的形狀是鐘形曲線?？梢酝ㄟ^最初將聚焦高度恰好設(shè)置在鏡臺之上并以(例如)幾微米的增量使成像光學(xué)器件逐步接近樣品來實現(xiàn)一種更簡單的自動聚焦方法。繼續(xù)進行該過程直到Brenner 評分達到最大值。找出峰值聚焦高度需要對在多個連續(xù)聚焦高度處獲得的多個圖像的 Brenner評分進行比較。然而，在必須處理大批量樣品的許多醫(yī)學(xué)成像應(yīng)用中，頻繁地執(zhí)行這種自動聚焦將需要相當(dāng)長的時間。理想地，自動成像系統(tǒng)將只需要每個視野的一幅圖像， 但是該系統(tǒng)仍必須具有一些確保圖像質(zhì)量的方法。檢查單幅圖像的聚焦質(zhì)量的高效且精確的方法將僅當(dāng)這種成像系統(tǒng)確定不可接受給定圖像的聚焦質(zhì)量時才允許這種成像系統(tǒng)獲取額外的自動聚焦圖像，從而使效率最大化而不引入降低精確性的風(fēng)險。

發(fā)明內(nèi)容
在一個實施例中，一種用于確定生物樣本的數(shù)字圖像的聚焦質(zhì)量的方法包括利用樣本成像設(shè)備來獲得樣本的數(shù)字圖像。該數(shù)字圖像包括多個像素。計算該圖像中的小尺度基本結(jié)構(gòu)(texture)的測值。例如，可以通過對整個數(shù)字圖像上相鄰像素對的平均值的差求平方來測量圖像中的小尺度基本結(jié)構(gòu)。接下來，計算該圖像中的大尺度基本結(jié)構(gòu)的測值?？梢酝ㄟ^對整個數(shù)字圖像上相鄰三個像素的平均值的差求平方來測量大尺度基本結(jié)構(gòu)。然后，基于對小尺度基本結(jié)構(gòu)的測值和大尺度基本結(jié)構(gòu)的測值的比較來建立圖像聚焦質(zhì)量的估計。在一個實施例中，一種用于確定生物樣本的數(shù)字圖像的聚焦質(zhì)量的方法包括以下步驟利用樣本成像設(shè)備來獲得樣本的數(shù)字圖像，該數(shù)字圖像包括多個像素。通過對數(shù)字圖像中相鄰像素對的平均值的差求平方并對一組像素上的平方差求和來計算高分辨率 Brenner評分。通過對數(shù)字圖像中相鄰三個像素的平均值的差求平方并對一組像素上的平方差求和來計算低分辨率Brenner評分。然后，計算高分辨率Brenner評分除以低分辨率Brenner評分或者低分辨率Brermer評分除以高分辨率Brermer評分的比值。如在本文中所使用的，比值可以用于指，高分辨率基本結(jié)構(gòu)評分除以低分辨率基本結(jié)構(gòu)評分，或者可替換地，低分辨率基本結(jié)構(gòu)評分除以高分辨率基本結(jié)構(gòu)評分。然后，基于所計算出的比值來建立表示聚焦質(zhì)量的聚焦評分。該聚焦評分可以包括(例如)估計的距理想聚焦高度的位移。在另一個實施例中，一種使樣本成像設(shè)備聚焦的方法包括以下步驟利用樣本成像設(shè)備來獲得樣本的數(shù)字圖像，該數(shù)字圖像包括多個像素。通過對數(shù)字圖像中相鄰像素對的平均值的差求平方并對一組像素的平方差求和來計算高分辨率Brenner評分。通過對數(shù)字圖像中相鄰三個像素的平均值的差求平方并對一組像素上的平方差求和來計算低分辨率Brermer評分。計算高分辨率Brermer評分與低分辨率Brermer評分的比值。然后，基于該比值來調(diào)整樣本成像設(shè)備的焦距。該聚焦方法可以包括額外的步驟獲取樣本的一幅或多幅數(shù)字圖像并重新計算 Brenner評分或Brenner比值以評價聚焦的改善?？梢垣@得額外的數(shù)字圖像并對該數(shù)字圖像進行分析，直到焦平面位于或接近于最佳的或正確的聚焦高度。因為作為聚焦高度的函數(shù)的Brenner評分是鐘形曲線(取冪的二次函數(shù))，所以可以利用聚焦評分的對數(shù)上的反拋物插值法根據(jù)三個或更多個點來估計曲線的峰值位置。在又一實施例中，一種對樣本固定器上包含的樣本的數(shù)字圖像執(zhí)行質(zhì)量檢查的方法包括以下步驟獲得樣本的數(shù)字圖像，該數(shù)字圖像包括多個像素。通過對數(shù)字圖像中相鄰像素對的平均值的差求平方并對一組像素上的平方差求和來計算高分辨率Brenner評分。通過對數(shù)字圖像中相鄰三個像素的平均值的差求平方并對數(shù)字圖像中一組像素上的平方差求和來計算低分辨率Brenner評分。接下來，計算低分辨率Brenner評分與高分辨率 Brenner評分的比值。基于計算出的比值來接受或拒絕該數(shù)字圖像。當(dāng)聚焦質(zhì)量被確定為不滿意時，自動成像系統(tǒng)可以立即調(diào)整聚焦并獲取新的圖像，或者可以繼續(xù)成像，但是如果聚焦較差的圖像數(shù)目超過給定閾值則對整幅圖像重新進行處理。在另一實施例中，一種利用自動成像設(shè)備來聚焦到樣本上的方法包括以下步驟 利用成像設(shè)備在不同聚焦高度處獲得樣本的三幅數(shù)字圖像。數(shù)字圖像由多個像素構(gòu)成。為這三幅數(shù)字圖像中的每一幅計算Brenner自動聚焦評分。使一個取冪的二次函數(shù)擬合于通過三個聚焦高度和相應(yīng)的圖像Brenner評分構(gòu)成的(x，y)點?；跀M合于數(shù)據(jù)的函數(shù)在新的聚焦高度處獲取新的圖像。為該新圖像計算新的Brenner評分。在新的(例如，改進的) 不同聚焦高度獲取額外的圖像，直到達到理想聚焦高度。當(dāng)然，當(dāng)成像設(shè)備感測到其處于理想聚焦高度(例如，+/_位移值)的近程之內(nèi)時，可以停止該過程。


現(xiàn)在將使用附圖利用額外說明和細節(jié)來描述和闡述本發(fā)明的實施例，在附圖中圖1示意性地示出了示例性樣本成像設(shè)備。圖2A是小尺度基本結(jié)構(gòu)(例如，兩個像素的塊)的Brenner評分的計算的圖表表示。圖2B是大尺度基本結(jié)構(gòu)(例如，三個像素的塊)的Brenner評分的計算的圖表表示。圖3是作為距理想聚焦高度的位移的函數(shù)的小尺度(高分辨率)Brenner評分與大尺度(低分辨率)Brenner評分的比值的散布圖。該散布圖數(shù)據(jù)是從12，000幅圖像中獲得的，這些圖像是在三十個載玻片的測試組中獲取的。圖4是示出預(yù)定位移相比于圖3的12，000幅圖像的實際位移的均方根誤差的曲線圖。圖5是示出在距初始高度0微米、-4微米、及-8微米的偏移量處獲得的Brermer 評分的曲線圖(實心數(shù)據(jù)點)。虛線是僅利用這三個數(shù)據(jù)點計算出的最佳擬合?？招臄?shù)據(jù)點代表在一微米增量移動處獲得的額外的Brenner評分。
具體實施例方式圖1示出了根據(jù)本發(fā)明一個實施例的示例性樣本成像設(shè)備32。該圖像處理設(shè)備32 包括第一光學(xué)系統(tǒng)38和可相對于第一光學(xué)系統(tǒng)移動的載玻片鏡臺40。設(shè)置了觀察站36，并且觀察站包括第二光學(xué)系統(tǒng)44，并且經(jīng)由服務(wù)器34將觀察站連接到圖像處理系統(tǒng)32。內(nèi)部的計算機系統(tǒng)46對第一光學(xué)系統(tǒng)38進行控制并與服務(wù)器34進行通信。第一光學(xué)系統(tǒng)38包括電子照相機48 (諸如CXD照相機48)和顯微鏡50。優(yōu)選地， 顯微鏡50是自動顯微鏡。自動顯微鏡50可以包括諸如自動聚焦機構(gòu)M的特征部件，該特征部件用來提供在顯微鏡50的光路51中定位的載玻片10的一個區(qū)域的快速、精確的成像。第一光學(xué)系統(tǒng)38可以包括一個或多個透鏡系統(tǒng)52。照明器42可以為載玻片10上放置的樣本14提供照明，并且一般可以從鏡臺40的下面給載玻片10照明。鏡臺40響應(yīng)于來自內(nèi)部計算機系統(tǒng)46的適當(dāng)命令，將樣本載玻片10運送到并處于顯微鏡50的光路51之內(nèi)。在一個實施例中，機器人載玻片輸送裝置64可以在接收到來自計算機系統(tǒng)46的適當(dāng)命令時，將樣本載玻片10從保存載玻片的盒子移動到可移動鏡臺 40用于對該樣本中的細胞進行成像，并在成像之后將載玻片移動回該盒子。載玻片固定器 65在鏡臺40上以精確的位置和方向來對載玻片10重復(fù)進行固定地且可移動地定位?？梢酝ㄟ^一個或多個鏡臺電動機56來使鏡臺40機動化并給鏡臺供電。鏡臺40可以安裝在軸承58上，而軸承又安裝到顯微鏡50的基座59上。在一個實施例中，鏡臺40可在χ-y平面上移動。在一個實施例中，與可移動鏡臺40通信的接口控制器60可以提供載玻片10相對于顯微鏡50的觀察區(qū)域和光路51的精確受控的移動。接口控制器60通過將來自計算機系統(tǒng)46的命令轉(zhuǎn)換為適當(dāng)信號來對鏡臺電動機56進行控制，其中，該適當(dāng)信號使電動機56 將鏡臺40移動到預(yù)定位置。定位編碼器62可以檢測鏡臺40的精確位置，向計算機系統(tǒng)46 產(chǎn)生代表該鏡臺的移動或位置的脈沖。如本領(lǐng)域中所知的，可以由計算機46對這些脈沖進行解碼以識別鏡臺40在成像站坐標(biāo)系統(tǒng)中的位置。圖像處理系統(tǒng)32可以包括可選的條形碼讀取器66，該讀取器被定位為，一旦通過機器人載玻片輸送裝置64將載玻片10運送到可移動鏡臺40或手動裝載了載玻片，則觀察載玻片包含條形碼的那個區(qū)域。圖像處理系統(tǒng)32可以包括標(biāo)記器68，標(biāo)記器在可能有不正常細胞的樣本的感興趣區(qū)域中自動放置點、標(biāo)記、或其他可見記號。觀察站36經(jīng)由服務(wù)器；34連接到圖像處理系統(tǒng)32，并且觀察站可以位于遠處。觀察站36包括第二光學(xué)系統(tǒng)44。第二光學(xué)系統(tǒng)44可以包括第一光學(xué)系統(tǒng)38的任意特征部件或全部特征部件。在一個實施例中，第二光學(xué)系統(tǒng)44包括顯微鏡50，該顯微鏡連接到可移動鏡臺，并且該顯微鏡適于人類操作者用來在視覺上檢查由圖像處理系統(tǒng)32所標(biāo)識的感興趣區(qū)域。在操作過程中，圖像處理系統(tǒng)32對放置了細胞學(xué)樣本14的載玻片10執(zhí)行最初的觀察和拍攝，以對樣本14進行初步評價。圖像處理系統(tǒng)32對載玻片上潛在最相關(guān)的那些感興趣區(qū)域的位置進行識別用于細胞學(xué)技士和病理學(xué)者的隨后觀看。為了防止巴氏涂片屏中的假負讀數(shù)，在該初步拍攝過程中由圖像處理系統(tǒng)32所識別的區(qū)域位置必須精確到可接受的誤差容限之內(nèi)。在掃描過程期間對載玻片進行不正確的操縱或定位會導(dǎo)致所識別區(qū)域位置的誤差以及隨后在觀察站36處的誤讀。有關(guān)圖像處理系統(tǒng)32的操作的其他細節(jié)可以在第7，006，674號美國專利中找到。 本文所描述的該方法可以和用于圖像生物樣本的其他圖像處理系統(tǒng)一起使用。在本發(fā)明的一個實施例中，提供了一種方法，該方法用于對利用圖像處理系統(tǒng)32 所獲得的數(shù)字圖像的聚焦質(zhì)量進行確定。該方法首先包括獲得樣本14的數(shù)字圖像。數(shù)字圖像可以利用照相機48來獲取。樣本14的數(shù)字圖像由像素100的陣列構(gòu)成。圖2A和圖 2B示出了該數(shù)字圖像內(nèi)的相鄰像素100的一部分。該圖像內(nèi)的每個像素100均可以由代表該特定像素的強度或亮度的8位(例如，字節(jié))來表示。每個像素的值都與當(dāng)快門打開時撞擊照相機48的相應(yīng)倉(bin)的光子數(shù)目成線性比例。例如，在八位系統(tǒng)中，每個像素100 都被分配代表該像素的亮度或強度的256個可能值之一。在這點上，該成像系統(tǒng)對8位灰度級圖像進行分析。根據(jù)本發(fā)明的一個實施例，通過計算高分辨率Brenner評分(BRhk)來獲得該數(shù)字圖像的高分辨率基本結(jié)構(gòu)。通過對該數(shù)字圖像內(nèi)的相鄰像素對的平均值的差求平方并對像素組100的平方差求和來計算高分辨率Brenner評分。高分辨率Brenner評分可以利用等式1來計算，其中，rows和cols是該圖像中的行數(shù)和列數(shù)，以及Pi，j是行i列 j中的像素值。在圖2A中可視地給出了該等式。
權(quán)利要求
1.一種利用自動成像設(shè)備來聚焦到樣本上的方法，所述方法包括(a)利用所述成像設(shè)備在不同聚焦高度處獲得所述樣本的三幅數(shù)字圖像，所述數(shù)字圖像包括多個像素；(b)為所述三幅數(shù)字圖像中的每一幅計算Brenner自動聚焦評分；(c)使一個取冪的二次函數(shù)擬合于由所述三個聚焦高度和相應(yīng)的圖像Brenner評分所構(gòu)成的(X，y)點；(d)基于步驟(c)的所述函數(shù)移動到新的聚焦高度，獲取新的圖像，并且計算所述新的圖像的所述Brermer評分；以及(e)重復(fù)步驟(d)，直到達到理想聚焦高度。
2.根據(jù)權(quán)利要求1所述的方法，其中，在根據(jù)之前的數(shù)據(jù)點計算出的所述擬合函數(shù)的峰處獲取每幅新圖像。
3.根據(jù)權(quán)利要求2所述的方法，其中，當(dāng)擬合函數(shù)高度處于之前的函數(shù)高度估計的特定閾值之內(nèi)時達到理想聚焦高度，其中，所述擬合函數(shù)高度是在將新的數(shù)據(jù)點結(jié)合到所述擬合中時估計出的。
4.根據(jù)權(quán)利要求1所述的方法，其中，僅利用目前為止找到的具有最高評分的數(shù)據(jù)點、 具有最接近于且低于所述目前為止找到的具有最高評分的數(shù)據(jù)點的聚焦高度的數(shù)據(jù)點、以及具有最接近于且高于所述目前為止找到的具有最高評分的數(shù)據(jù)點的聚焦高度的數(shù)據(jù)點， 來計算所述擬合函數(shù)。
5.根據(jù)權(quán)利要求4所述的方法，其中，利用每一步將所述聚焦高度調(diào)整到盡可能接近于所述擬合函數(shù)的峰同時距目前為止檢查過的所有聚焦高度至少保持一個特定距離的高度。
6.根據(jù)權(quán)利要求4所述的方法，其中，當(dāng)擬合中所使用的三個點全部處于相對于彼此的特定距離之內(nèi)時，達到所述理想聚焦高度。
全文摘要
一種利用自動成像設(shè)備來聚焦到樣本上的方法，所述方法包括(a)利用所述成像設(shè)備在不同聚焦高度處獲得所述樣本的三幅數(shù)字圖像，所述數(shù)字圖像包括多個像素；(b)為所述三幅數(shù)字圖像中的每一幅計算Brenner自動聚焦評分；(c)使一個取冪的二次函數(shù)擬合于由所述三個聚焦高度和相應(yīng)的圖像Brenner評分所構(gòu)成的(x，y)點；(d)基于步驟(c)的所述函數(shù)移動到新的聚焦高度，獲取新的圖像，并且計算所述新的圖像的所述Brenner評分；以及(e)重復(fù)步驟(d)，直到達到理想聚焦高度。
文檔編號G02B21/24GK102176245SQ201110120109
公開日2011年9月7日 申請日期2007年11月27日 優(yōu)先權(quán)日2006年12月11日
發(fā)明者邁克爾·扎赫尼塞爾 申請人:西泰克公司