專利名稱：把樣本的不同區(qū)域分類到相應類別的方法和設備的制作方法
技術(shù)領域：
本發(fā)明涉及分類組織樣本。
背景技術(shù)：
通過經(jīng)驗已經(jīng)開發(fā)了顯色染色技術(shù)(Chromogenic staining technique)使組織 樣本內(nèi)的各種組成部分產(chǎn)生視覺對比度。染色技術(shù)和協(xié)議能夠在不同的組織組成部分中產(chǎn) 生染料的混合物，并且使用顯微鏡和其他的成像設備，人類觀察者已經(jīng)學會了區(qū)分特定的 組成部分特有的這些染色圖案?？梢蕴囟ㄓ诨瘜W分子的某部分和/或分子結(jié)構(gòu)排列的現(xiàn)代 定標染色方法能夠產(chǎn)生被染色的組織，在所述組織中，兩個或更多個顯色或熒光著色在空 間上明顯地重疊。實際上，因為這多個著色事實上局限于樣本中的公共結(jié)構(gòu)內(nèi)，或者因為由 于制備方法所致，樣本內(nèi)包含一個著色的結(jié)構(gòu)與包含不同著色的第二結(jié)構(gòu)重疊，能夠?qū)е?所觀察到的重疊。在任一情況中，區(qū)分多個著色的存在和相對分布以及它們所局限于的結(jié) 構(gòu)很困難，特別是當被采用的著色具有類似的光譜吸收和/或發(fā)射特性時更是如此。在其中時常發(fā)生組織樣本的染色和檢查的領域中，例如病理學和細胞學中，被染 色的樣本經(jīng)常被使用顯微鏡或其他成像設備執(zhí)行樣本的視覺檢查的人類研究者根據(jù)一個 或更多個標準進行分類。例如，為了突出樣本中細胞間在特定細胞器、結(jié)構(gòu)或分子標靶上的 差別，一種樣本可能被利用多種染料染色。包含不同類型細胞的樣本可以被用不同的染料 處理，以便在視覺上區(qū)分細胞類型的數(shù)量、空間分布和形態(tài)。然后，樣本可以被根據(jù)一個或 更多個標準分類，所述標準例如其中存在不同類型的化學或生物結(jié)構(gòu)。為了針對特定樣本 類別提供不同類型的分類信息，已開發(fā)了多種多樣的染色協(xié)議。作為對有時單調(diào)乏味的組織樣本人工檢查和分類過程的替代方案，在使樣本分類 自動化的努力中可以采用機器視覺方法。

發(fā)明內(nèi)容
總的來說，在第一方面，本發(fā)明特征是一種方法，所述方法包括基于包括一個或更 多個圖像的圖像堆棧將樣本的不同部分分類到相應類別。例如，所述樣本可以是組織切片。所述方法的實施例可以包括下列特征中的任何一個。所述方法還可以包括把樣本的光譜圖像集合分解為解混和圖像集合，其中，所述 解混和圖像集合的每一個成員對應于來自樣本中的不同成分的光譜貢獻，并且其中，用于 分類的圖像堆棧中的圖像包括一個或更多個解混和圖像。例如，用于分類的圖像堆棧中的 圖像可以包括一些或全部的解混和圖像。分類可以包括(i)在圖像堆棧內(nèi)定位采樣窗口，以便選擇圖像堆棧的一部分用 于分類，其中，被選擇的部分包括多個像素；(ii)把被選擇的部分分類到幾個類別其中之一，其中，被選擇部分中的每一個像素均臨時分類為具有和被選擇的部分相同的類別；
(iii)平移采樣窗口以便選擇圖像堆棧的第二部分用于分類，并把第二部分分類到幾個類 別其中之一，其中，第二部分中的每一個像素均被臨時分類為具有和第二部分相同的類別；
(iv)針對圖像堆棧的額外部分重復所述平移和分類，直到至少圖像堆棧中的一些像素已經(jīng) 被多次臨時分類為被采樣窗口選擇的不同部分的一部分為止；和(ν)，基于其多次臨時分 類，把已經(jīng)被多次臨時分類的至少一些像素中的每一個分類到幾個類別其中之一。被采樣 窗口選擇的不同部分可以包括相同數(shù)量的像素，并且被采樣窗口選擇的所述不同部分中的 至少一些可以彼此重疊。每一個像素的臨時分類可以被表述為指示像素被臨時分類到每一 個類別的次數(shù)的直方圖，并且每一個像素的最終分類可以對應于其最經(jīng)常被臨時分類到的 類別。至少一些像素被臨時分類的次數(shù)可以大于2并且不大于采樣窗口中的像素數(shù)量。例 如，至少一些像素被臨時分類的次數(shù)可以等于采樣窗口中的像素數(shù)量。此外，圖像堆?？梢?只包括一個圖像。圖像堆?？梢园ǘ嘤谌齻€光譜圖像，并且分類可以包括基于光譜圖像集合把圖 像堆棧的不同區(qū)域分類到相應類別，其中，每一個區(qū)域包括多個像素，所以每一個分類既涉 及光譜信息也涉及空間信息。所述方法還可以包括基于樣本的光譜圖像集合產(chǎn)生復合圖像，其中，集合中的兩 個或更多個不同光譜圖像的空間強度被不同地加權(quán)和組合以產(chǎn)生復合圖像，并且其中，圖 像堆棧中的一個或更多個圖像包含所述復合圖像。例如，光譜圖像集合可以包括η個圖像， 并且用于分類的圖像堆棧中的一個或更多個圖像可以包括少于η個圖像。通過根據(jù)隨光譜 波長單調(diào)地變化的函數(shù)對集合中的兩個或更多個不同光譜圖像的空間強度進行加權(quán)能夠 產(chǎn)生復合圖像。加權(quán)函數(shù)可以是隨著光譜波長線性變化的斜坡函數(shù)。另外，兩個或更多個 不同光譜圖像的空間強度可以被根據(jù)隨著光譜波長非單調(diào)變化的函數(shù)進行加權(quán)。例如，加 權(quán)函數(shù)可以包含隨著光譜波長單調(diào)變化的第一部分和隨著光譜波長單調(diào)變化的第二部分， 其中，加權(quán)函數(shù)的第一和第二部分的斜率具有相反的符號(例如，加權(quán)函數(shù)可以是高斯函 數(shù))?？梢赃x擇加權(quán)函數(shù)以增強從兩個或更多個不同的光譜圖像貢獻給復合圖像的特征之 間的對比度。此外，圖像堆棧中的一個或更多個圖像可以包括兩個或更多個復合圖像。在任何一個方法中，可以使用神經(jīng)網(wǎng)絡用于分類。把樣本的不同區(qū)域分類到不同 類別可以包括標識圖像堆棧的對應于各個類別中的每一個的被選擇區(qū)域，基于被選擇的 區(qū)域訓練神經(jīng)網(wǎng)絡識別這些類別，和，把訓練過的神經(jīng)網(wǎng)絡應用于圖像堆棧的額外區(qū)域。神 經(jīng)網(wǎng)絡的輸入可以是特征向量，具有一個或更多個基于計算至少一個空間灰度級依賴矩陣 的元素。另外，或除此以外還有，神經(jīng)網(wǎng)絡的輸入可以是特征向量，具有一個或更多個基于 計算二維傅立葉變換的元素。在某些實施例中，圖像堆棧中的一個或更多個圖像可以包括一個或更多個光譜圖 像。例如，光譜圖像可以是根據(jù)不同的發(fā)射光譜指數(shù)的樣本發(fā)射的圖像。另外，光譜圖像可 以是根據(jù)不同的導致發(fā)射的樣本照射光譜指數(shù)的樣本發(fā)射的圖像。此外，用于分類的輸入 信息可以既包括光譜信息也包括空間信息。樣本可以包括具有不同的吸收和發(fā)射光譜的成 分。此外，樣本區(qū)域被分類的類別數(shù)量可以等于樣本中不同的光譜貢獻者的數(shù)量。例如，不 同的光譜共享者可以是化學染料或者熒光標記。在某些實施例中，圖像堆?？梢园≧GB圖像。
而且，在某些實施例中，還可以包括產(chǎn)生示出樣本的被分類區(qū)域的輸出圖像。此 外，任一方法還可以包括獲取圖像堆棧中的一個或更多個圖像。例如，可以通過測量透射過 樣本或從樣本反射的光來獲取圖像。也可以通過測量來自樣本的熒光發(fā)射獲取圖像?？偟膩碚f，在另一方面，本發(fā)明的特征是一種方法，所述方法包括(i)在圖像堆 棧內(nèi)定位采樣窗口，以便選擇圖像堆棧的一部分用于分類，其中，圖像堆棧包含一個或更 多個圖像，并且被選擇的部分包含多個像素；(ii)把被選擇的部分分類到幾個類別其中 之一，其中，被選擇部分中的每一個像素均被臨時分類為具有和被選擇部分相同的類別；
(iii)平移采樣窗口以便選擇圖像堆棧的第二部分用于分類，并把第二部分分類到幾個類 別其中之一，其中，第二部分中的每一個像素均被臨時分類為具有和第二部分相同的類別；
(iv)針對圖像堆棧的額外部分重復所述平移和分類，直到圖像堆棧中的至少一些像素已 經(jīng)被多次臨時分類為被采樣窗口選擇的不同部分的一部分為止；和(ν)基于其多次臨時分 類，把已經(jīng)被多次臨時分類的至少一些像素中的每一個分類到幾個類別其中之一。所述方法的實施例可以包括前述方面的任何一個或者適于本方法的其他方法的 特征?？偟膩碚f，在另一個方面，本發(fā)明特征是設備，所述設備包括存儲導致處理器執(zhí)行 前述方法中的任何一個的程序的計算機可讀介質(zhì)。總的來說，在另一個方面，本發(fā)明特征是設備，所述設備包括用于獲取樣本的一 個或更多個圖像的裝置；和，電子處理器，用于基于所獲取的圖像分析圖像堆棧，并被配置 成基于如前述方法中的任何一個中給出的圖像堆棧把樣本的不同部分分類到相應類別。所述設備的實施例可以包括下列特征中的任何一個。用于獲取樣本的一個或更多個圖像的裝置可以包括用于從樣本獲取光譜分辨發(fā) 射圖像的裝置。用于獲取樣本的一個或更多個圖像的裝置可以包括用于從樣本獲取對應于 樣本的不同光譜照射的圖像的裝置?？偟膩碚f，在另一方面，本發(fā)明特征是設備，所述設備包括用于獲取樣本的一個 或更多個光譜圖像的光學系統(tǒng)；和，電子處理器，用于基于所獲取的光譜圖像分析圖像堆 棧，并被配置成基于如前述方法中的任何一個中給出的圖像堆棧把樣本的不同部分分類到 相應類別。具體來講，按照本發(fā)明的第一方面，提供了一種分類方法，用于把樣本的不同區(qū)域 分類到相應類別，該方法包含把樣本的光譜圖像集合分解為解混和圖像集合，其中解混和 圖像集合的每一個成員對應于來自樣本中不同成分的光譜貢獻；基于包含樣本的一個或 更多個圖像的圖像堆棧，把樣本的不同區(qū)域分類到相應類別，其中，用于分類的圖像堆棧中 的圖像包含一個或更多個解混和圖像。按照本發(fā)明的第二方面，提供了一種分類設備，用于把樣本的不同區(qū)域分類到相 應類別，該設備包含用于獲取包含樣本的一個或更多個圖像的圖像堆棧的裝置；和電子 處理器，該電子處理器包含用于把樣本的光譜圖像集合分解為解混和圖像集合的裝置，其 中解混和圖像集合的每一個成員對應于來自樣本中不同成分的光譜貢獻；用于基于包含樣 本的一個或更多個圖像的圖像堆棧把樣本的不同區(qū)域分類到相應類別的裝置，其中，用于 分類的圖像堆棧中的圖像包含一個或更多個解混和圖像。按照本發(fā)明的第三方面，提供了一種分類方法，用于把樣本的不同區(qū)域分類到相應類別，該方法包含基于從圖像堆棧中提取的多個解混和樣本圖像，把樣本的不同區(qū)域分 類到相應類別，其中解混和樣本圖像中的每個解混和樣本圖像對應于來自樣本中不同成分 的光譜貢獻；以及其中圖像堆棧包含樣本的四個或更多個光譜圖像。除非另外定義，否則這里使用的所有技術(shù)和科學術(shù)語具有和本發(fā)明所屬技術(shù)領域 的普通技術(shù)人員一般理解的相同的含義。在這里通過引用所包含的文檔和本說明書沖突的 情況下，本說明書為準。在下面的描述和附圖中給出了本發(fā)明的一個或更多個實施例的細節(jié)。從描述、附 圖以及權(quán)利要求，本發(fā)明的其他特征、目的和優(yōu)點將會清晰。


圖1是用于獲得樣本光譜圖像并對樣本分類的系統(tǒng)的示意圖。圖2是示出在分類樣本時涉及的步驟的流程圖。圖3是示出在訓練執(zhí)行樣本分類的神經(jīng)網(wǎng)絡時涉及的步驟的流程圖。圖4是示出針對特定類別所選擇的感興趣的區(qū)域的示意圖。圖5是示出把樣本圖像在頻率空間的空間傅立葉變換分割為更小區(qū)域的集合的 示意圖。圖6是示出在優(yōu)化訓練過的神經(jīng)網(wǎng)絡時涉及的步驟的流程圖。圖7是示出在利用訓練過的神經(jīng)網(wǎng)絡分類樣本時涉及的步驟的流程圖。圖8是示出為分類所選擇的樣本圖像區(qū)域的示意圖。圖9示出了空間灰度級依賴矩陣的計算。圖10A-10I示出了這里所公開的分類技術(shù)被應用于真實樣本數(shù)據(jù)的例子。圖11是神經(jīng)網(wǎng)絡的一部分的示意圖。相同的參考符號在各個圖中指示相同的元素。
具體實施例方式概述在這里公開的方法和系統(tǒng)可以被用來根據(jù)樣本的圖像上出現(xiàn)的光譜和/或結(jié)構(gòu) 特征對多種多樣的生物或其他樣本進行分類。分類方法至少包括一些被使用機器視覺 (machine vision)算法和技術(shù)以自動方式執(zhí)行的步驟。樣本的圖像集合被獲得，并且可以 在被提交給自動分類器之前被變換。圖像集合的變換可以包括數(shù)學變換，例如從強度到光 密度的轉(zhuǎn)換；光譜解混和操作，復合圖像的計算；以及形成可以只包括可用樣本圖像的子 集的分類數(shù)據(jù)集合。然后，分類數(shù)據(jù)集合被提交給基于機器的分類器，它可以是神經(jīng)網(wǎng)絡或 者另外類型的分類器。圖像像素可以被多次分類，并且基于每一個像素的多次分類的分布 來執(zhí)行最終分類?？梢詾橄到y(tǒng)操作員顯示示出樣本的被不同地分類的區(qū)域的圖像。分類信 息也可以被用作輸入來指引例如激光捕獲顯微解剖的自動過程，或者其他的圖像引導的過 程。分類方法是數(shù)學的，所以在范圍上是普遍的，并且只要期望分類就可以應用，與用 來獲取圖像的設備或方法或者樣本的性質(zhì)無關(guān)。分類方法可以被用來分類多種多樣的樣 本，包括利用一個或更多個吸收染色被染色的樣本和包括熒光標記的樣本。熒光標記可以
7包括從外部來源被引入樣本的化學標記；另外，標記可以是樣本固有的(例如內(nèi)生自發(fā)體 熒光或者例如綠色熒光蛋白質(zhì)和紅色熒光蛋白質(zhì)的熒光蛋白質(zhì))。分類方法也可以被用來 分類包含各種發(fā)光物種和結(jié)構(gòu)的樣本?？梢栽诳梢姽?、紅外或紫外范圍獲得圖像。分類方 法不局限于用于樣本吸收或樣本發(fā)射的圖像，而是也可以用來分類采用多種多樣的測量或 對比機制可視化樣本的圖像，包括但不限于偏振光、樣本雙折射、彈性或非彈性光散射，或 者熒光壽命。分類方法也可以被用來對利用例如X射線透射或散射、磁共振、中子散射或正 電子發(fā)射的非光學手段成像的樣本進行分類。簡而言之，分類方法可以被用來在期望圖像 分類的任何背景中對樣本區(qū)域進行分類。而且，這些圖像可以是除了顯微圖像以外的圖像。 例如，這些圖像可以是在遙感應用中捕獲的宏觀圖像(macroscopic image) 0如上所述，可 以在光學上或通過其他手段檢測這些圖像。如這里所使用的，術(shù)語“分類(classifying) ”指標識樣本圖像的共享公共特性集 合的不同區(qū)域，其中，該過程中至少一些步驟被電子部件以自動方式執(zhí)行。公共特性集合可 以包括例如信號強度、形狀、光譜和構(gòu)造特征。標識樣本圖像中的這些區(qū)域?qū)嶋H上標識了樣 本中的對應區(qū)域共享公共特征集合，并且更一般地，基于其對這些特征的表達，該樣本區(qū)域 是特定已知狀態(tài)或類型。分類過程中的至少一些步驟被電子部件以自動方式執(zhí)行。例如， 在很多實施例中，包括圖像的光譜解混和、產(chǎn)生復合圖像和把圖像區(qū)域分類到一個或更多 個類別的步驟由電子部件執(zhí)行。但是，在其他步驟中可以發(fā)生某些操作員干預。具體來說， 在一些實施例中，例如選擇對應于各個類別的用于訓練基于機器的分類器的參考區(qū)域的步 驟可以由系統(tǒng)操作員人工執(zhí)行。在某些實施例中，樣本的光譜圖像被“解混和”為每一個均對應于樣本的相應組分 的光譜指數(shù)的圖像。然后這些解混和圖像可以由分類器處理。使用解混和圖像作為分類器 的輸入可以提高分類的效率和/或準確性。在某些實施例中，在分類之前，可以從光譜圖像產(chǎn)生一個或更多個復合圖像。如稍 后更詳細地說明的那樣，復合圖像一般包括“打平的”光譜信息；即，復合圖像包含被編碼為 樣本的空間強度圖像中的變化的光譜信息。使用復合圖像作為分類器的輸入可以提高分類 的效率和/或準確性。在某些實施例中，分類可能涉及使用采樣窗口來首先分類窗口內(nèi)的像素，跟著是 隨后平移該采樣窗口以便繼續(xù)進行分類。平移比窗口的尺寸小，所以像素被多次分類。每 一個像素的最終分類則基于初始分類的統(tǒng)計分布。該技術(shù)使得使用足夠大的采樣窗口能夠 識別指示特定類別的空間特征，而由于較小尺度的平移，仍舊提供高分辨率?？偟膩碚f，這里所公開的分類方法能夠被用來對光譜圖像集合中的特征進行分 類，所述光譜圖像集合包括樣本的彩色(RGB)圖像；或者，所述方法可被用于其中樣本圖像 不包含光譜信息(即灰度階或單色圖像)的樣本分類。用于獲取圖像和后續(xù)分類的設備圖1是示出用于獲得樣本的多個光譜分辨圖像并用于分類樣本的系統(tǒng)100的示意 圖。光源102為調(diào)光光學裝置104提供光122。光122可以是非相干光，例如從燈絲光源 產(chǎn)生的光；或者，光122可以是相關(guān)光，例如由激光器產(chǎn)生的光。光122可以是連續(xù)波(CW) 或者時間門控(time-gated)(即脈沖)光。此外，可以在被選擇的電磁頻譜部分中提供光 122。例如，光122可以具有落入紫外、可見光、紅外或其他頻譜區(qū)域內(nèi)的中心波長和/或波長分布。調(diào)光光學裝置(light conditioning optics) 104可以被配置成以多種方式變換 光122。例如，調(diào)光光學裝置104可以在光譜上過濾光122，以便提供在被選擇的頻譜波長 區(qū)域中的輸出光。另外，或者此外還有，調(diào)光光學裝置可以調(diào)整光122的空間分布和光122 的時間性質(zhì)。利用調(diào)光光學裝置104的元件的動作，從光122產(chǎn)生了入射光124。入射光124被引導入射在固定于照明載物臺(illumination stage) 106上的樣本 108上。載物臺106可以提供緊固樣本108的裝置，例如裝配夾或者其他的夾持設備。另 外，載物臺106可以包括可移動導軌或者引帶(belt)，其上安裝了多個樣本108。驅(qū)動器機 制可以被配置成移動導軌以便一次一個地連續(xù)地平移所述多個樣本通過載物臺106上的 照明區(qū)域，入射光124打在所述照明區(qū)域上。載物臺106還可以包括用于相對于照明載物 臺106的固定位置平移樣本的平移軸和機制。平移機制可以被人工操作(例如螺紋桿)，或 者，可以通過電氣致動自動地移動(例如馬達驅(qū)動器、壓電致動器)。響應于入射光124，從樣本108出現(xiàn)了被發(fā)射光126?？梢砸栽S多方式產(chǎn)生被發(fā)射 光126。例如，在一些實施例中，被發(fā)射光126對應于透射過樣本108的入射光124的一部 分。在其他的實施例中，被發(fā)射光126對應于從樣本108反射的入射光的124的一部分。在 更進一步的實施例中，入射光124可以被樣本108吸收，并且被發(fā)射光126對應于來自樣本 108的響應于入射光124的熒光發(fā)射。在更進一步的實施例中，樣本108可以發(fā)光，并且即 使不存在入射光124也可以產(chǎn)生被發(fā)射光126。在一些實施例中，被發(fā)射光126可以包括通 過前述機制中的兩種或更多種產(chǎn)生的光。在很多實施例中，樣本108是生物樣本，例如組織切片(例如用于病理學的樣本， 或者細胞學研究中的細胞懸液或涂片)，或者組織培養(yǎng)中的活細胞或者固定細胞。在一些 實施例中，樣本108可以是動物(例如老鼠)，單個細菌或者其他的微生物、細菌或者其他菌 落、胚胎、卵母細胞、包括種籽或子實的植物，或者，樣本108可以是非生物實體。集光光學裝置(Light collecting optics) 110被定位成接收來自樣本108的被 發(fā)射光126。集光光學裝置110可以被配置成例如在光126發(fā)散時使被發(fā)射光126準直。 集光光學裝置110也可以被配置成在光譜上過濾被發(fā)射光126。例如，為了將通過上面討論 的機制其中之一出現(xiàn)的一部分被發(fā)射光126與通過其他過程出現(xiàn)的光隔離，過濾操作是有 用的。此外，集光光學裝置110可以被配置成針對實施例中的具體目的修改被發(fā)射光126 的空間和/或時間屬性。集光光學裝置110把被發(fā)射光126變換為輸出光128，輸出光128 入射在檢測器112上。檢測器112包括一個或更多個元件，例如被配置成檢測輸出光128的C⑶傳感器。 在實施例中，檢測器112可以被配置成測量光128的空間和/或時間和/或光譜屬性。檢 測器112產(chǎn)生對應于輸出光128的電信號，并通過電氣通信線路130傳遞到電子控制系統(tǒng) 114。電子控制系統(tǒng)114包括處理器116、顯示設備118，以及用戶接口 120。除了接收 對應于檢測器112檢測到的輸出光128的信號以外，控制系統(tǒng)114還發(fā)送電氣信號到檢測 器112來調(diào)整檢測器112的各種屬性。例如，如果檢測器112包括CXD傳感器，則控制系統(tǒng) 114可以發(fā)送電氣信號到檢測器112來控制該CXD傳感器的曝光時間、活動區(qū)域、增益設置 以及其他性質(zhì)。
電子控制系統(tǒng)114還通過電氣通信線路132、134、136和138分別與光源102、調(diào)光 光學裝置104、照明載物臺106和集光光學裝置110進行通信。控制系統(tǒng)114向系統(tǒng)100的 這些元件中的每一個提供電氣信號來調(diào)整這些元件各種屬性。例如，提供給光源102的電 氣信號可以被用來調(diào)整光122的強度、波長、重復率或其他屬性。提供給調(diào)光光學裝置104 和集光光學裝置110的信號可以包括例如用于配置調(diào)整光的空間性質(zhì)的設備(例如空間光 調(diào)制器)的信號和用于配置光譜過濾設備的信號。例如，提供給照明載物臺106的信號可 供用于把樣本108相對于載物臺106的定位和/或用于移動樣本進入載物臺106上的照明 位置?？刂葡到y(tǒng)114包括用戶接口 120，用于顯示系統(tǒng)屬性和參數(shù)，并用于顯示捕獲的樣 本108的圖像。提供了用戶接口 120以便輔助操作員與系統(tǒng)100進行交互作用并控制系統(tǒng) 100。處理器116包括用于存儲使用檢測器112捕獲的圖像數(shù)據(jù)的存儲設備，并且也包括具 體實施給處理器116的指令的計算機軟件，所述計算機軟件導致處理器116執(zhí)行例如上面 所討論的那些控制功能。此外，軟件指令導致處理器116在數(shù)學上操縱被檢測器112捕獲 的圖像，并根據(jù)原始圖像和被操縱過的圖像中的任何一個或者兩者來執(zhí)行分類樣本108的 步驟。隨后更詳細地討論分類步驟。在很多實施例中，系統(tǒng)100被配置成獲得樣本108的多個光譜圖像。所述多個光 譜圖像可以對應于以各種被選擇的光波長照明樣本108，并檢測透射過樣本108或被樣本 108反射的光的強度。另外，所述多個光譜圖像可以對應于以具有類似的光譜屬性的光照明 樣本108并收集樣本108的多個圖像，每一個圖像均對應于被發(fā)射光126的不同波長。調(diào) 光光學裝置104和集光光學裝置110中的光譜過濾元件一般用來獲取光譜分辨數(shù)據(jù)。在一些實施例中，可以依次收集樣本108的圖像，在接連的被捕獲圖像之間調(diào)整 光學部件(例如濾光器)的配置。在其他實施例中，可以使用被配置成檢測多個樣本視圖 的檢測系統(tǒng)同時捕獲多個圖像。例如，檢測系統(tǒng)可以被配置成把對應于不同的照明或發(fā)射 波長的不同樣本視圖投射到例如CCD照相機的檢測器上，所述多個視圖可以被同時捕獲。在一些實施例中，調(diào)光光學裝置104包括可調(diào)光譜過濾器元件，例如濾色輪或者 液晶光譜過濾器。過濾器元件可以被配置成使用不同光波長帶提供樣本108的照明。光 源102可以提供具有較寬的光譜波長成分分布的光122。這個較寬波長分布的被選擇區(qū)域 通過調(diào)光光學裝置104中的過濾器元件允許作為入射光124通過并且直接入射在樣本108 上。透射過樣本108的光126的圖像被檢測器112記錄。隨后，調(diào)光光學裝置104中的過 濾器通帶波長被改變，以便提供具有不同波長的入射光124，并且透射過樣本108的光126 的圖像(并對應于入射光124的新波長)被記錄。通過采用具有多個產(chǎn)生不同波長的光的 源元件的光源102，并交替地打開和關(guān)閉不同的源器件以提供具有不同波長的入射光124， 也可以記錄類似的光譜分辨圖像集合。如前面所討論的那樣，來自樣本108的被發(fā)射光126也可以對應于從樣本108 反射的入射光124。此外，如果樣本包括熒光化學結(jié)構(gòu)，則被發(fā)射光126可以對應于來自 樣本108的熒光發(fā)射。對于某些樣本，被發(fā)射光126可以包括來自多個來源的貢獻(即 透射和熒光)，并且調(diào)光光學裝置110中的光譜過濾元件可以被用來分離這些信號貢獻 (contribution)?？偟膩碚f，調(diào)光光學裝置104和集光光學裝置110都包括可配置的光譜過濾器元件。因此，在樣本108的激發(fā)側(cè)(例如通過調(diào)光光學裝置104)上或者在樣本108的發(fā)射側(cè) (例如通過集光光學裝置110)上，或者在兩側(cè)上，都可以提供光譜分辨。在任何一種情況 下，收集樣本108的多個光譜分辨圖像的結(jié)果是“圖像堆棧(image stack) ”，其中，堆棧中 的每一個圖像均是樣本的對應于特定波長的二維圖像。在概念上，該圖像集合可以被可視 化為形成三維矩陣，其中，矩陣維度中的兩個是每一個圖像的空間長度和寬度，并且第三個 矩陣維度是光譜波長(發(fā)射或激發(fā))，圖像對應于該光譜波長。由于這個原因，該光譜分辨 圖像集合可以被稱為圖像的“光譜立方(spectral cube) ”。如這里所使用的那樣，在這樣的 圖像集合(或者圖像堆?；蚬庾V立方)中的像素指示每一個圖像的公共空間位置。因此， 在圖像集合中的像素包括和處于對應于該像素的空間位置的每一個圖像相關(guān)聯(lián)的值。根據(jù)手中樣本的要求，可以采用技術(shù)上已知的其他獲取光譜圖像的配置。雖然上面描述的每一個光譜圖像一般指示特定的波長或者波長范圍(例如光譜 帶)，更一般地，每一個光譜圖像可以對應于光譜指數(shù)，所述光譜指數(shù)可以包括一個或更多 個波長帶，或者某個復雜的光譜分布。例如，通過使用光譜梳狀過濾器可以產(chǎn)生這樣的圖 像。一般地，圖像立方將包括幾個光譜圖像，例如10個或更多。但是，在某些實施例中，圖像 立方可以包括更少的圖像，例如，只有兩個或三個光譜圖像。一個這樣的例子是紅-綠-藍 (red-green-blue,RGB)彩色圖像，其中，每一個像素均包括和紅色、綠色和藍色中的每一個 的強度相關(guān)聯(lián)的值。這些信息可以被作為單個彩色圖像而非作為單獨圖像的集合顯示；但 是，信息內(nèi)容和圖像集合中的相同，因此，我們都使用表述“光譜圖像”來指示這兩個情況。在某些實施例中，用于分類的圖像也可以包括偽彩色圖像，以及單色或灰度階圖 像。獲取一個或更多個圖像以后，樣本108被系統(tǒng)100根據(jù)各個圖像的形狀、強度、光 譜和/或構(gòu)造特征分類。實踐中，在某些實施例中，首先針對多個樣本記錄圖像，并且為方 便計，樣本的分類被推遲到較晚的時間。為了準確地分類立方所對應的樣本，并非需要分析光譜立方的所有圖像。在某些 實施例中，通過只檢查光譜立方圖像的子集實現(xiàn)了準確性足夠高的分類。此外，在某些實 施例中，在分析之前，光譜分辨圖像可以在光譜上被解混和(即分解為對應于光譜本征態(tài) 集合的圖像集合)。某些實施例包括額外的步驟，其中，通過從光譜立方和/或光譜解混和 圖像的集合選擇的多個圖像的數(shù)學組合，產(chǎn)生了一個或更多個復合圖像。除了光譜立方圖 像和光譜解混和圖像以外還有，或者排除了光譜立方圖像和光譜解混和圖像，樣本的分類 可以被基于復合圖像執(zhí)行。光譜解混和圖2是示出在分類樣本時涉及的步驟的流程圖200。步驟202包括獲得如上面所 討論的樣本的一個或更多個圖像的集合(例如光譜立方)。步驟204是可選的，它包括在光 譜上解混和光譜立方中的一些或全部圖像以便產(chǎn)生解混和的圖像集合(即使“解混和光譜 立方”)。光譜解混和是一種定量地分離圖像中從光譜上不同的來源產(chǎn)生的貢獻的技術(shù)。例 如，樣本可以包含三種不同類型的結(jié)構(gòu)，每一種均用不同染料標記。這三種不同的染料每一 個均可以具有不同的吸收光譜。一般，在染料被使用之前，染料的各個吸收光譜是已知的， 或者它們可以被測量。在最一般的情況下，照明下的樣品的圖像將包含來自三種染料中每 一種的光譜貢獻。例如，在包含多個不同的熒光標記的樣本中出現(xiàn)類似的狀況，所述多個熒光標記中的每一個均對被測量的熒光發(fā)射有貢獻。光譜解混和把一個或更多個包括來自多個光譜來源的貢獻的圖像分解為成分圖 像(“解混和圖像”)的集合，所述成分圖像對應于來自樣本內(nèi)的每一個光譜實體的貢獻。因 此，如果樣本包括三種不同的染料，每一個均特定于具體的結(jié)構(gòu)實體，則樣本的圖像可以被 分離為三個解混和圖像，每一個解混和圖像反映出主要僅來自這些染料其中之一的貢獻。解混和過程本質(zhì)上對應于把圖像分解為光譜本征態(tài)集合。在很多實施例中，如上 面所討論的那樣，本征態(tài)事先已知。在其他的實施例中，有時候可以使用例如主要成分分析 的技術(shù)確定本征態(tài)。在任何一種情況下，一旦本征態(tài)已經(jīng)被標識，則通過計算對應于每一個 本征態(tài)在整個圖像中的相對權(quán)重的值的集合，通常作為系數(shù)矩陣，可以把圖像分解。然后， 可以分離出各本征態(tài)中每一個的貢獻以產(chǎn)生解混和圖像集合。作為一個例子，通過以不同的激發(fā)波長λ &照明樣本，針對該樣本可以測量一系列具有χ和y坐標的二維圖像。如上所述，這些二維圖像可以被組合形成 三維圖像立方I (x，y，k)，其中，圖像立方的前兩個指標代表坐標方向，并且第三個指標是對 應于照明光波長的光譜指標。為了簡潔的目的，假設樣本的每一個圖像均包含來自兩個不 同的光譜來源FUk)和GUk)的光譜貢獻，則三維圖像立方I(x，y，k)中的值可以由S(x,y,k) =a(x, y) · F ( λ k)+b (χ, y) 'G(Ak)(1)給出，其中，Xk用來表示給定波長(或者波長帶)。函數(shù)a(x，y)和b(x，y)描述 來自樣本中兩個不同的光譜來源的光譜貢獻的空間豐度(spatial abundance) 0根據(jù)等式(1)，在三維圖像立方中任意位置(即在任意二維像素坐標，以及在特定 照明波長)的凈信號是兩個貢獻之和，由每一個的相對豐度加權(quán)。這可以被表述為I(Xk) = aFUk)+bGUk)(2)函數(shù)F和G可以被稱作系統(tǒng)的“光譜本征態(tài)”，因為它們對應于樣本中光譜來源的 純凈光譜，所述光譜被以不同的比例組合以產(chǎn)生測量的樣本光譜圖像。因此，樣本光譜是對 應于來自兩個光譜來源的單獨貢獻的加權(quán)疊加。如果光譜F(Xk)和G(Xk)已知(或者可以被推導)，假設光譜I包括至少兩個元 素(即假設人們具有至少兩個波長λ k的數(shù)據(jù))，則等式(2)可以被逆過來求解a和b。等 式⑵可以被以矩陣形式重寫為I = EA，所以A = E-1I(3)其中，A是具有分量a和b的列向量，并且E是其列為光譜本征態(tài)的矩陣，即[F G]。使用等式(3)，可以使用測量的樣本光譜圖像計算在特定像素位置純粹來自來源 F和純粹來自來源G的對圖像的貢獻?？梢葬槍Ρ槐贿x擇圖像上的每一個像素重復該過程 (即遍及I中值χ和y的范圍)以產(chǎn)生只包括來自來源F的貢獻的樣本圖像和只包括來自 來源G的貢獻的另一個樣本圖像。在上面的討論中，光譜來源的數(shù)量是二(即F和G)。但是，總的來說，解混和技術(shù) 不限于任何特定的來源數(shù)量。例如，樣本一般可以包含m個不同的光譜來源。如果在該波 長收集數(shù)據(jù)的波長數(shù)量是n，即k = 1. . . n，則矩陣E是nXm矩陣而非如上面討論中的nX2 矩陣。然后，可以以和上面描述相同的方式采用解混和算法來隔離圖像中每一個像素位置 處來自m個光譜本征態(tài)中的每一個的具體貢獻。
可能限制該算法在來自不同光譜本征態(tài)的貢獻之間進行區(qū)分的能力的一個因素 是本征態(tài)之間光譜差別的程度。兩個光譜，例如光譜本征態(tài)I1和I2之間的相關(guān)性，可以由 光譜角度θ描述，其中，
(4) 兩個成員的θ較小的光譜集合不容易被分離到其成分。在物理上很容易理解這 種情況的原因如果兩個光譜僅僅略微不同，則更難確定每一個的相對豐度?？梢允褂煤芏嗉夹g(shù)來測量或估計光譜來源F和G (以及其他光譜來源，其中樣本包 括多于兩個)的純凈光譜?？偟膩碚f，可以使用任何產(chǎn)生足夠準確的光譜本征態(tài)的方法。某 些樣本可能包含例如染料、熒光標記或其他化學分子部分的光譜來源，對于所述光譜來源， 在公開的參考資料中存在已知的光譜可用。另外，有可能使用一個或更多個測量系統(tǒng)直接 測量來源成分的光譜。在某些樣本中，可以已知樣本的特定區(qū)域包括唯一一個特定光譜來 源，并且該來源的光譜可以被從只在樣本的被標識區(qū)域上進行的測量中提取。各種數(shù)據(jù)分析技術(shù)可被用于為光譜解混和確定成分光譜，例如基本成分分析 (principal component analysis，PCA)，它標識來自圖像立方的大多數(shù)正交光譜本征向 量，并產(chǎn)生示出遍及圖像每一個本征向量的權(quán)重的樂譜圖像(score image) 0這可以被結(jié) 合其他的數(shù)學處理完成，并且存在其他的用于標識低維數(shù)光譜向量的已知技術(shù)，例如投影 追蹤，一禾中在 L Jimenez 禾口 D. Landgrebe，“ Hyperspectral Data Analysis and Feature Reduction Via ProjectionPursuit〃 ， IEEE Transactions on Geoscience and Remote Sensing，Vol. 37,No. 6，pp. 2653-2667，November 1999 中描述的技術(shù)，其整個內(nèi)容通過引用 被包含于此。其他的技術(shù)包括例如獨立成分分析(ind印endent component analysis, ICA) 禾口端成員檢狽Ij算法(end-member detection algorithm)。這些技術(shù)一般不很適于生命科學中的應用。例如，某些技術(shù)被針對包含具有密集 光譜形狀和嚴格定義的窄尖峰的光譜的光譜成像數(shù)據(jù)集合優(yōu)化。在某些技術(shù)中，與用于分 析的各個光譜特征和尖峰相比，光譜范圍較大。該尖峰的存在，或者尖峰的比例，可以被用 來分類要被分離的“端成員”。不幸的是，生物樣本中的成分一般不具有這樣嚴格定義的窄 尖峰。這些技術(shù)中的一些產(chǎn)生涉及在原始圖像立方內(nèi)某處的純凈形式中存在的光譜的 圖像。在生命科學中的很多情況下，在圖像立方中存在的信號光譜是成分的混和物。如果 感興趣的成分不在原始圖像立方中某處的純凈形式中，則這些技術(shù)將不可能產(chǎn)生準確代表 感興趣的成分的豐度的圖像。存在有時候叫做“凸包(convex-hull) ”算法的某些技術(shù)，即使在圖像中的純凈形 式中不存在真正的端成員，它們也估計真正的端成員是什么樣的；但是，有效性依賴于圖像 立方中的信號光譜有多接近端成員?？杀挥脕硖崛」庾V本征態(tài)(或其表示)而無需所有本征態(tài)的先驗知識的一個技術(shù) 涉及考慮給定像素的信號光譜I ( λ k)，并從其減去最大量的第一光譜來源F ( λ k)而留下在 所有光譜頻道中正定(positive definite)的剩余信號。即，人們可以把每一個像素的所 謂的“剩余光譜” Ua (Xk)定義為
(5)
然后在每一個光譜頻道中選擇符合Ua (Xk)具有非負值的參數(shù)a的最大值。然后， 作為結(jié)果的光譜隊^》被用作信號光譜，排除了由于第一光譜來源F所致的貢獻。人們也 可以不基于上面列出的嚴格的非負標準而基于某個相關(guān)的包含較小的負分布的標準確定 參數(shù)a，以反映對諸如測量系統(tǒng)中的散粒噪聲或檢測器噪聲的考慮。用于去除最大量的光譜 來源F的優(yōu)化標準的額外例子包括使用不同的誤差函數(shù)。另外，人們也可以尋求提取由于第二光譜來源G所致的對被測光譜的貢獻。和等 式(5)類似，每一個像素的剩余光譜可以被計算為UbUk) = lUk)_bFUk)(6)其中，人們在每一個光譜頻道中選擇符合Ub(Xk)具有非負值的參數(shù)b的最大值。剩余技術(shù)可以被擴展到樣本的一個或更多個額外成分的光譜已知并且人們想要 去除它們對信號的貢獻的情況。在這些情況下，基于額外的光譜并符合在每一個光譜頻道 中正剩余，剩余光譜被寫成從被觀測的信號減去每一個這種成分的貢獻。在Richard Levenson 等的名 為“"SPECTRAL IMAGING OF BI0L0GICALSAMPLES”PCT專利申請W02005/040769中描述了額外的光譜解混和技術(shù)，其內(nèi) 容通過引用被包含于此。為了這里公開的光譜解混和技術(shù)有效地分離樣本圖像中由于不同的光譜本征態(tài) 所致的貢獻，等式(1)至少應該近似正確。即，測量的光譜數(shù)據(jù)應該被近似描述為加權(quán)本 征態(tài)的線性疊加。這種近似對于很多樣本和光譜測量技術(shù)，特別是暗場測量技術(shù)成立。例 如，從樣本內(nèi)的熒光或發(fā)光化學標記產(chǎn)生的樣本圖像一般滿足線性假設。但是，在某些情況 下，例如對于某些亮場測量技術(shù)，可能不滿足線性假設。例如，當捕獲從透射過包括光吸收 成分的樣本的照明光產(chǎn)生的圖像時，等式(1)中的線性假設可能不正確。相反，被測量的光 的強度可以指數(shù)依賴于光吸收成分的濃度減小。在這種情況下，在解混和技術(shù)可以被使用 之前，首先圖像的變換可能是必要的。作為一個例子，對于在透射模式中測量的樣本圖像， 被測量的圖像強度可以被變換為光密度(例如通過應用對數(shù)函數(shù))以便應用線性解混和技 術(shù)。例如，在 Paul J. Cronin 和 Peter J. Miller 于 2002 年 8 月 23 日遞交的名為“SPECTRAL IMAGING”的No. 10/226，592美國申請(公開號US 2003/0081204A1)中進一步描述了光密 度技術(shù)，其整個內(nèi)容通過引用被包含于此。光譜解混和操作(例如逆矩陣技術(shù)和剩余技術(shù))以及圖像數(shù)據(jù)變換操作(例如在 適當情況下把被測量的圖像強度轉(zhuǎn)換為光密度)可以由例如電子控制系統(tǒng)114通過處理器 116執(zhí)行。這些操作可以包括由系統(tǒng)操作員執(zhí)行的人工干預和配置步驟，或者，系統(tǒng)100可 以被配置成以自動方式執(zhí)行這些操作。復合圖像上面描述的解混和技術(shù)的應用從多光譜數(shù)據(jù)集合提供了解混和圖像集合?，F(xiàn)在返 回圖2，在流程圖200中的第二個可選步驟中，步驟206包括使用光譜立方圖像和/或解混 和光譜立方圖像產(chǎn)生一個或更多個復合圖像。產(chǎn)生復合圖像作為把光譜信息“打平”或壓 縮為二維灰度階圖像的手段。換句話說，就圖像數(shù)據(jù)的3D光譜矩陣來說，產(chǎn)生復合圖像大 致對應于把來自兩個或更多個層的信息壓縮或打包為單個層。由于光譜立方和解混和光譜 立方圖像數(shù)據(jù)都可以被使用，所以該技術(shù)在概念上可以包括把來自不同光譜立方的多個層 打包為單個層。
14
作為一個例子，考慮圖像的3D光譜立方，其中，每一個圖像具有寬度χ、高度y和對 應于波長Xk的指標k。如果在立方中存在總共N個不同的圖像(即在N個不同的波長記 錄的數(shù)據(jù))，則如先前描述的那樣，光譜立方I可以被表示為矩陣I (x，y，k)。壓縮來自光譜 立方中兩個或更多個圖像的光譜信息以生成復合圖像C等同于把圖像層加在一起。在某 些實施例中，在把這些層加在一起之前，每一個層均被根據(jù)加權(quán)函數(shù)f(k)縮放。然后，根據(jù)
η=(7)
k=m執(zhí)行光譜壓縮操作，所述操作從光譜圖像立方的第m到第η層產(chǎn)生復合圖像C(x， y)。加權(quán)函數(shù)f(k) 一般被選擇成強調(diào)復合圖像中的不同光譜特征；即，為了在從對復合圖 像中的總強度分布有貢獻的光譜立方的不同層產(chǎn)生的特征之間生成對比。為了產(chǎn)生期望的對比度可以選擇多種多樣的加權(quán)函數(shù)。總的來說，在某些實施例 中，為f(k)選擇單調(diào)增加或者減小的函數(shù)，例如線性斜坡函數(shù)或者反曲函數(shù)。在其他的實 施例中，f(i)可以是雙斜坡函數(shù)(即減小到一個點然后增大，或者增大到一個點然后減小) 或者另外的函數(shù)，例如一個或更多個高斯函數(shù)。加權(quán)函數(shù)一般可以被按需選擇，并且可以被 應用到一批樣本，或者可以在分類之前針對每一個樣本個別選擇。系統(tǒng)100可以包括存儲 用于特定類型的樣本的加權(quán)函數(shù)的存儲介質(zhì)，所以可以按需要再次調(diào)用適于經(jīng)受分類的樣 本的加權(quán)函數(shù)。步驟208包括選擇要被分類的圖像集合?？偟膩碚f，可以選擇來自光譜圖像立方、 解混和光譜圖像立方(如果計算了)以及復合圖像(如果計算了)的任何或者全部圖像用 于分類分析。例如，在某些實施例中，使用復合圖像和光譜圖像立方或解混和光譜立方圖像 的較小子集能夠?qū)崿F(xiàn)高準確程度樣本分類。這具有以下優(yōu)點在其上運算分類算法的總數(shù) 據(jù)集合被大大減小，提高了完成樣本分類的速度。在某些其他的實施例中，來自解混和光譜立方的圖像可以被用于樣本分類。圖像 可以被傳遞給分類算法，并且可以(雖然不總是)伴隨著一個或更多個復合圖像。在某些實施例中，多于三個光譜圖像可被用于樣本分類。圖像可以被從光譜圖像 立方取出，或者，如果計算了，可以被從解混和光譜圖像立方取出。當樣本包括多于三個不 同的光譜貢獻者時，這種技術(shù)可能特別有益。例如，樣本可以包含四種不同的染色或者染 料，或者四種不同的熒光標記。在其他的實施例中，彩色RGB圖像或者單個平面圖像可被用于樣本分類。單個平 面圖像可以是窄帶的或者全色的。分類總的來說，分類器是把樣本分配到幾個輸出類別其中之一的機制或者規(guī)則集合， 并且它可以是任何線性或者非線性分類器。線性分類器包括最小二乘距離、馬哈拉諾比斯 距離(mahalanobis distance)，以及其他距離。這些可以使用，但是分類器最好是例如神經(jīng) 網(wǎng)絡、遺傳算法的機器學習算法，或者支持向量機。但是，經(jīng)常優(yōu)選神經(jīng)網(wǎng)絡，并且貫穿后續(xù) 討論神經(jīng)網(wǎng)絡將被用作例子。神經(jīng)網(wǎng)絡一般被應用于一個或更多個區(qū)域，每一個區(qū)域一般對應于圖像堆棧(如 上所述，圖像堆?？梢园ㄒ粋€或更多個圖像)中的幾個像素(例如2X2像素集合，或者 16 X 16像素集合，等等)。當在圖像堆棧中存在多于一個圖像時，每一個像素將包括和每一個圖像相關(guān)聯(lián)的值。給定的被分類區(qū)域中的所有像素的值形成了潛在地可以被應用于神經(jīng) 網(wǎng)絡的輸入信息的基礎。因為每一個區(qū)域均包括幾個像素，所以當圖像堆棧包括復合圖像 和/或多個光譜圖像時，神經(jīng)網(wǎng)絡可用的輸入信息既包括空間信息也包括光譜信息。神經(jīng)網(wǎng)絡具有一個或更多個輸入結(jié)點，它通過所述輸入結(jié)點接收關(guān)于要被分類的 區(qū)域的信息。輸入被叫作“特征向量”，其中，特征向量的每一個元素對應于神經(jīng)網(wǎng)絡的特定 輸入結(jié)點。特征向量的元素是被分類區(qū)域中的一個或更多個像素處的信號值的函數(shù)。下面 進一步描述用于產(chǎn)生特征向量的適當函數(shù)的例子。神經(jīng)網(wǎng)絡也將具有幾個輸出結(jié)點，每一個均對應于區(qū)域可能被指定到的類別。當 給定區(qū)域的特征向量被應用于神經(jīng)網(wǎng)絡時，輸出結(jié)點的值對應于該區(qū)域應該被分配到給定 類別的程度。神經(jīng)網(wǎng)絡最好被訓練得使輸出結(jié)點值對于任何給定的特征向量是二態(tài)的，只 有一個輸出結(jié)點產(chǎn)生非零值(并指示該區(qū)域應該被分配到的類別)。如下面更詳細地描述的那樣，神經(jīng)網(wǎng)絡被訓練并且可以進一步被優(yōu)化以減小有效 且準確的分類所必需的輸入結(jié)點的數(shù)量。在很多實施例中，使用解混和圖像和/或一個或 更多個復合圖像可以導致輸入結(jié)點數(shù)量的減少，因而在分類未知樣本的區(qū)域時的效率更 高。在某些實施例中采用的神經(jīng)網(wǎng)絡的拓撲是雙極的，盡管二叉類型或者其他神經(jīng)網(wǎng)絡類 型也可以被有效地使用。使用反向傳播(back propagation)方法訓練神經(jīng)網(wǎng)絡，在訓練 算法中包括動量。在某些實施例中網(wǎng)絡的激活函數(shù)是雙極反曲函數(shù)；也可以使用其他的激 活函數(shù)。在實施例中，網(wǎng)絡通常包括0、1或2個隱藏層，所述隱藏層是具有輸入結(jié)點的第 一層和具有輸出結(jié)點的最后層之間的層，盡管額外的隱藏層是可能的。每個隱藏層任意從 1到15個結(jié)點是常見的，盡管仍可以使用額外的結(jié)點。網(wǎng)絡的輸入層使用在樣本圖像上標 識的空間和光譜構(gòu)造特征作為輸入。輸出層包括許多輸出結(jié)點，等于被標識的類別的數(shù)量Nc。圖11是示出可在這里公開的分類方法中使用的神經(jīng)網(wǎng)絡的例子的示意圖。該網(wǎng) 絡包括輸入層、一個隱藏層和輸出層。神經(jīng)網(wǎng)絡的輸入是特征向量fm，并且結(jié)點之間的耦合 強度由Yu值給定。神經(jīng)網(wǎng)絡的輸出是和圖像或者圖像堆棧相關(guān)聯(lián)的類別。在組織樣本圖像的處理中使用的網(wǎng)絡的典型拓撲參數(shù)包括一個具有5個結(jié)點的 隱藏層、0. 2的學習參數(shù)，以及0. 5的動量因子。例如，在ChristopherM. Bishop的“Neural Networks for Pattern Recognition”(牛津大學出版社，1995)中描述了神經(jīng)網(wǎng)絡的結(jié)構(gòu)。再次參考圖2，在選擇了樣本將被根據(jù)其分類的圖像集合(“分類圖像集合”)之 后，步驟210包括使用來自分類圖像集合的圖像訓練分類器。在給出新類型的樣本供分類分析時，神經(jīng)網(wǎng)絡被訓練。例如，通過顯示設備118，可 以向系統(tǒng)操作員提供針對特定樣本重新訓練現(xiàn)有網(wǎng)絡的選擇。隨后將更詳細地討論訓練神 經(jīng)網(wǎng)絡的過程。在訓練過基于神經(jīng)網(wǎng)絡的分類器之后，步驟212包括把分類圖像集合提交給分類 器。分類器一般根據(jù)分類圖像集合中的樣本圖像上存在的構(gòu)造和光譜特征分類樣本的部 分。后面給出在分類例程中涉及的步驟的細節(jié)。最后，步驟214包括產(chǎn)生樣本的分類輸出。分類輸出可以包括例如一個或更多個 圖像，所述圖像被構(gòu)建成示出樣本被不同地分類的區(qū)域之間的對比度。另外，或者此外還有，分類輸出可以包括指示樣本中存在或不存在特定元素(即被染色或標記的結(jié)構(gòu))的警 告聲音或者消息。輸出也可以包括指示在樣本中存在的區(qū)域類型、其相對豐度以及描述樣 本的其他數(shù)字參數(shù)的數(shù)值數(shù)據(jù)。訓練神經(jīng)網(wǎng)絡圖3是流程圖300，包括用于訓練神經(jīng)網(wǎng)絡分類器的步驟。第一個步驟302包括確 定在圖像堆棧中尋找的類別的數(shù)量N。。在很多實施例中，類別的數(shù)量被選擇成對應于在樣 本內(nèi)預期或者搜尋的不同狀態(tài)的數(shù)量。這可以大于圖像集合中的光譜平面的數(shù)量，或者它 可以更小。例如，樣本可以被利用三種不同的染料染色，或者利用三種不同的熒光標記來標 記。在這樣的樣本中，人們可以根據(jù)樣本的結(jié)構(gòu)和性質(zhì)尋求標識三個不同的類別N。，或者兩 個，或者五個?；跇颖镜钠渌矫?，例如信號強度、形狀和構(gòu)造，分類器能夠解析比光譜平 面的數(shù)量更多的類別N。。第二個步驟304包括在樣本圖像其中之一上針對每一個類別選擇至少一個感興 趣的訓練區(qū)域(region of interest, R0I)(假設從一個圖像到下一個圖像，每一個類別的 ROI的像素空間坐標(x，y)相同)。訓練ROI被已知對應于相應類別，并且為神經(jīng)網(wǎng)絡算法 提供了參考來允許其確定每一個類別公有的特定光譜和空間特征，以便幫助分類判決。例 如，在某些實施例中，通過經(jīng)顯示設備118和用戶接口 120與系統(tǒng)操作員的交互作用，動態(tài) 地發(fā)生ROI的選擇。第三個步驟306包括選擇子采樣窗口尺寸。子采樣窗口被用來以更精細的細節(jié)層 次檢查每一個被選擇的R0I。在很多實施例中，子采樣窗口尺寸被選擇得小于所有ROI的 平均長度和寬度，但是大于ROI內(nèi)的單個像素。子采樣窗口寬度也經(jīng)常被選擇成具有是2 的倍數(shù)的寬度和長度，因為如果變量間隔是2的倍數(shù)，則在ROI的子采樣區(qū)域上運算的傅立 葉方法能夠利用FFT算法。在實施例中，典型的子采樣窗口尺寸包括4X4個像素、8X8個 像素、16X16個像素和32X32個像素，盡管多種多樣的窗口尺寸也是可能的，包括這里沒 有明確地列出的窗口尺寸。而且，雖然當前描述的實施例假設每一個圖像的數(shù)據(jù)被針對二 維的正方柵格表示，但是其他的實施例可以包括不同的數(shù)據(jù)表示和對應的窗口以及ROI尺 寸。例如，數(shù)據(jù)可以被在六邊柵格或者某個其他形狀上表示。接下來的一系列步驟涉及在每一個被標識的類別上進行的操作。按次序分析每一 個類別。步驟308包括選擇對應于當前選擇的類別的R0I。步驟310包括通過利用選擇的 子采樣窗口對ROI子采樣來檢查ROI。圖4更詳細地示出了子采樣過程。被選擇的ROI 400 被子采樣窗口 402子采樣，子采樣窗口 402在供分析的ROI 400內(nèi)選擇了部分圖像像素。返回圖3，步驟312包括為ROI的每一個子采樣區(qū)域計算并存儲特征向量。特征向 量包括從ROI的子采樣像素計算的數(shù)的集合作為元素。每一個被計算的特征向量均對應于 針對被適當?shù)赜柧毜纳窠?jīng)網(wǎng)絡將輸出對應于被選擇的類別的分類的特征向量。特征向量的 元素一般對應于具體的構(gòu)造分析特征，所述特征提供了樣本圖像內(nèi)的區(qū)域的基礎。為了提供ROI的充分可區(qū)分的描述，可以計算很多不同的數(shù)值量。例如，在某 些實施例中，對應于針對特定類別被選擇的ROI的特征向量對于圖像堆棧中的每一個圖 像可以包括10個不同的計算，從而導致了 IONi個元素，其中，Ni是圖像堆棧中的圖像的 數(shù)量。所述10個計算中的前四個可以是從空間灰度階依賴矩陣(spatial gray level dependency matrices, SGLDM)獲取的構(gòu)造分析特征，所述矩陣也被稱為并發(fā)矩陣。例如，在 R. M. Haralick、K. Shanmugam 禾口 I. Dinstein 的“"Textural features for image classification" (IEEETrans. Syst, Man, Cybern. ， vol. SMC-3, pp. 610-621,1973)中 了這種矩陣。SGLDM是圖像(或其一部分)的空間直方圖，它量化了圖像內(nèi)的灰度階值的 分布。例如，可以從二階聯(lián)合條件概率密度S0 (I，j|d，θ)的估計計算SGLDM。這個條件 概率密度的每一個值均表示具有灰度階值i的像素在由θ描述的方向上距離具有灰度階 值j的像素d個像素。如果圖像包括Ng個灰度階，則可以生成NiXNi矩陣S0 (i，j|d，θ)。 作為選擇，針對所選擇的距離d，該矩陣可以被在一組方向θ上求和。例如，在某些實施例 中，可以選擇單個方向θ =0。在其他的實施例中，可以采用例如四個方向θ =0、45°、 90和135°?？偟膩碚f，對于特定ROI中的構(gòu)造特征分析，可以選擇任意數(shù)量的方向。在某些實施例中，對于分析，距離d固定在特定值。例如，距離d可以固定在1個 像素的值。在其他的實施例中，依賴于具體的構(gòu)造特征的性質(zhì)可以使用一系列距離?？偟?來說，距離d和方向θ可以被看作為了保證神經(jīng)網(wǎng)絡的更高準確性分類性能而被調(diào)整的參 數(shù)。例如，利用四個方向θ和一個像素的單個固定距離d，SGLDM可以被計算為每一 個ROI中四個方向上并發(fā)矩陣之和。然后，可以從每一個SGLDM計算構(gòu)造特征。例如，可 以從每一個SGLDM計算的四個不同的構(gòu)造特征包括能量(E)、熵(S)、局部均勻性(H)和慣 量(R)。慣量值也被稱作“對比度”。則在這個例子中，對于每一個R0I，角度θ集合的四個 SGLDM特征可以如下計算
Ng-I Ng-I2(8)
(■=0 J=Q Ng-i Ng-I
S = Σ Σ So(^J I d)\og[Se{i,j \d)} (9)
/=0 j=0
NgNgι
η=ΣΣ、^seH,j\d) (10)
M) J=O i^rV-J) Ng-I Ng-I
R=TjZii-Jf se(hj\d)(11)
i=0 j=0其中，S0(i，j|d)對應于針對距離d的SGLDM的第(i，j)個元素。對每一個圖像 片，所計算的值E、S、H和R可以被存儲為對應于當前選擇的類別的ROI的特征向量中的前 4N個元素。作為一個例子，在圖9中示出了圖像的2 X 2區(qū)域902。該區(qū)域包括4個像素，每一 個像素均具有從1到4的整數(shù)強度級(即Ng = 4)。因此，二階聯(lián)合條件概率密度矩陣S0 (i， j|d, θ)是4X4矩陣904。為了估算矩陣904的數(shù)值元素，可以選擇特定的d和θ值。例 如，選擇θ = 0對應于沿著區(qū)域902的行估算概率。選擇d = 1對應于估算區(qū)域902中被 分隔開1個單元的元素(即相鄰元素)的概率。在圖9中示出了對于區(qū)域902選擇θ = 0和d = 1，概率矩陣904的元素的值。在區(qū)域902中，像素(1，1)具有強度值1。和像素(1，1)相關(guān)，在距離d= 1和角 度θ = 0的是具有強度值3的像素(1，2)。因此，在矩陣904中位置(3，1)處的概率值是 1。區(qū)域902中的像素(2，1)具有強度值1。和像素(2，1)相關(guān)，在距離d = 1和角度θ = 0的是具有強度值2的像素(2，2)。因此，在矩陣904中位置(2，1)處的概率值是1。在某些實施例中，針對ROI的特征向量中的每一個圖像片的接下來的四個計算可以被從ROI的 復數(shù)2D傅立葉變換的量值導出。例如，2D傅立葉變換可以被計算(例如，如果子采樣窗口 的寬度和長度是2的倍數(shù)，則使用2D FFT算法)，并且量值數(shù)據(jù)被存儲在矩陣中，其中，DC 頻率分量由頻域中坐標軸的原點表示。圖5是子采樣ROI的示意圖，針對所述子采樣ROI 計算了 2D傅立葉變換。然后，基于頻率內(nèi)容，2D傅立葉變換數(shù)據(jù)集合可以被劃分為四個同 心區(qū)域502、504、506和508。例如，最外面的區(qū)域502表示具有最高空間頻率內(nèi)容的樣本圖 像部分。每一個區(qū)域502、504、506和508中的空間頻率的量值可以被積分，并對總信號量 值歸一化。積分的量值形成了 ROI特征向量中接下來的四個元素，并且每一個均對應于一 定空間頻率范圍內(nèi)傅立葉變換信號的百分比?？偟膩碚f，在實施例中，空間傅立葉變換數(shù)據(jù)可以被分割為任意數(shù)量的被選擇頻 率區(qū)域(受空間Nyquist極限限制)并且這些區(qū)域的積分強度對應于圖像的構(gòu)造特征。這 些構(gòu)造特征中的一些或全部可以被包含在ROI的特征向量中。在當前的確定特征向量的例子中剩余的兩個計算可以被從一階像素統(tǒng)計導出。例 如，第九和第十個計算可以對應于ROI內(nèi)的像素值的平均和標準差?？偟膩碚f，其他統(tǒng)計測 量作為特征向量元素也可能是有用的。這些量可以被從一階或者更高階的統(tǒng)計測量導出 (例如，從像素值的統(tǒng)計分布的二階矩導出的像素值的方差)。再次參考圖3，計算對應于當前選擇的類別的特征向量的每一個元素之后，特征向 量被存儲。接下來跟著是邏輯判決314。如果所有N。個類別的特征向量已經(jīng)被計算和存儲， 則采取后續(xù)的神經(jīng)網(wǎng)絡訓練步驟，以步驟318開始。反之，如果特征向量還未被計算，則在 步驟316中把類別指示器i遞增，這等同于選擇新類別及其相關(guān)聯(lián)的R0I，并且在步驟308 開始新選擇的類別的分析。當被標識類別的所有特征向量已經(jīng)被計算，序列中接下來的步驟是步驟318，它包 括選擇所計算的特征向量序列用作對應于在步驟302中標識的N。個類別的訓練向量。訓練 向量集合可以包括對應于每一個類別的不同ROI的多個向量。但是，應該注意確保在步驟 318中每一個被標識的類別向訓練集合貢獻相同數(shù)量的不同訓練向量。為了確保針對樣本 圖像中的不同的類別以公正的方式訓練神經(jīng)網(wǎng)絡，平衡序列集合中不同訓練向量的相對豐 度很重要。在步驟320中，訓練向量集合被提交給基于神經(jīng)網(wǎng)絡的分類器供分類。向量以隨 機順序被逐個分類，并且針對每一個向量，神經(jīng)網(wǎng)絡給出該向量屬于什么類別的輸出估計， 并且這被與對應于該向量的實際已知類別對照。網(wǎng)絡輸出和實際類別之間的差別叫做誤 差。然后，網(wǎng)絡被使用例如梯度下降反向傳播或者其他的誤差調(diào)整技術(shù)的方法進行調(diào)整， 所述方法調(diào)整網(wǎng)絡值并產(chǎn)生減小的誤差值。當所有的訓練ROI已經(jīng)被網(wǎng)絡分配，則在步驟 322中可以由操作員人工地或者通過計算指示例如什么樣百分比的ROI被正確分類的分數(shù) 自動地確定分類準確性。邏輯步驟324包括基于訓練ROI的分類準確性的判決。如果準確性高于選擇的閾 值(例如在某些實施例中它可以被設置為100%準確性)，則神經(jīng)網(wǎng)絡被視為已被適當?shù)赜?練，并且訓練序列在步驟326完成。但是，如果準確性落在選擇的閾值以下，則重復涉及訓 練ROI的分類的步驟。即，像在步驟318中那樣準備訓練向量，并且神經(jīng)網(wǎng)絡對這些ROI的
19測試分類再次開始。向量可以是在初始訓練中使用的同一集合，或者可以是不同的向量集 合。只要誤差網(wǎng)絡調(diào)整持續(xù)提高分類準確性，則單個集合上的重復訓練是有成效的。在很 多實施例中，在第一個訓練ROI集合上實現(xiàn)100%準確性。但是，如果期望，則成功訓練的閾 值可以被設置得低于100%。如果針對訓練ROI人們不具備類別識別的完善知識，或者如果 樣本自身高度可變并且采用了各種各樣的訓練R0I，則這可能發(fā)生。優(yōu)化神經(jīng)網(wǎng)絡成功訓練基于神經(jīng)網(wǎng)絡的分類器以后，作為選擇，網(wǎng)絡可以被針對用來分類樣本 圖像的特征的數(shù)量優(yōu)化。以這種方式優(yōu)化網(wǎng)絡能夠提高分類操作的效率和速度。圖6是流程圖600，它包括在優(yōu)化訓練過的神經(jīng)網(wǎng)絡時涉及的可選的一系列步驟。 第一個步驟602包括產(chǎn)生隨機的訓練向量序列來測試神經(jīng)網(wǎng)絡的性能。和從前一樣，訓練 向量序列被構(gòu)建成對應于先前標識的N。個類別存在相等數(shù)量的向量。步驟604包括選擇神經(jīng)網(wǎng)絡分類特征的數(shù)量Nf。一開始，Nf的值一般由針對所有 圖像平面計算的所有特征組成，它是特征向量中的元素的數(shù)量。優(yōu)化序列的后續(xù)迭代可能 根據(jù)神經(jīng)網(wǎng)絡的分類性能減小Nf的值。在步驟606中，在步驟602中產(chǎn)生的隨機的向量序列被提交給神經(jīng)網(wǎng)絡供分類。 各個向量的分類由訓練過的神經(jīng)網(wǎng)絡以符合前面討論的方式執(zhí)行。針對每一個ROI計算特 征向量(例如基于ROI中的一個或更多個子采樣窗口)，并且ROI被根據(jù)各種被標識類別的 已知特征向量分配到特定類別。在步驟608中，通過視覺檢查(例如由操作員)或者通過 計算正確的分類結(jié)果的比例來確定分類準確性分數(shù)。為了評估Nf個特征中每一個相對于神經(jīng)網(wǎng)絡性能的重要性，在步驟610中計算j 個分類特征中的每一個的平均特征值μ r例如，平均特征值的計算可以通過計算對應于特 定類別的特征向量中的元素的平均值來完成。在執(zhí)行μ^的計算時特征向量中的元素可以 被同樣地或不同地加權(quán)。在進一步的步驟612中，神經(jīng)網(wǎng)絡考慮下的總共Nj個特征中的每一個特征j的加 權(quán)貢獻％被根據(jù) 計算，其中，Yk值是神經(jīng)網(wǎng)絡中結(jié)點到結(jié)點耦合常數(shù)。使用等式(12)，可以估算 每一個特征(它一般對應于類別)的加權(quán)貢獻。在步驟614中，具有最小加權(quán)貢獻Ws的分 類特征s被標識為“最弱”分類特征，并被從神經(jīng)網(wǎng)絡所考慮的分類特征集合中去除。在步驟616和618中，根據(jù)先前討論的過程產(chǎn)生新的隨機訓練向量序列，并且訓練 向量被修改過的神經(jīng)網(wǎng)絡分類，所述神經(jīng)網(wǎng)絡現(xiàn)在包括少了一個的特征。在向量的分類以 后確定分類準確性分數(shù)。在邏輯步驟620中，分類準確性分數(shù)被與選擇的準確性閾值對照。如果準確性分 數(shù)高于該閾值，則認為被去除的特征足夠不重要以至于它可以被從神經(jīng)網(wǎng)絡的考慮中永遠 去除。在步驟622中神經(jīng)網(wǎng)絡分類特征Nj的數(shù)量被減小1，并且邏輯流程返回步驟610，在 步驟610中，針對神經(jīng)網(wǎng)絡中新減小的分類特征集合計算新的平均特征值。在某些實施例 中，在邏輯流程返回步驟610之前，神經(jīng)網(wǎng)絡可以被重新訓練以適應更小的特征數(shù)量。這個 步驟不是必須的，但是在某些實施例中可以被采用以提高分類的準確性和/和速度。
20
如果準確性分數(shù)低于選擇的閾值，則被去除的特征s被認為畢竟是重要的，并在 步驟624中被重新導入神經(jīng)網(wǎng)絡。這在步驟626中完成了網(wǎng)絡的優(yōu)化，則網(wǎng)絡準備好供在 基于圖像集合分類樣本時使用。如果在優(yōu)化過程中去除了對應于給定輸入圖像平面的所有特征，則輸入平面是冗 余的，并且為了提供分類信號無需被獲取。如果出于其他目的不需要該平面，則通過在進一 步的測量中不獲取這種平面能夠獲得進一步的效率上的提高。確定哪些圖像平面是必須的 可以在設計測量協(xié)議時被進行一次；或者，在例如樣本變化性的因素可能導致什么樣的圖 像平面在進行分類時是必須的或有幫助的設置中，在它可以在隨時間發(fā)展的基礎上被進行 和/或復驗。使用訓練過的神經(jīng)網(wǎng)絡分類圖7中示出了樣本被根據(jù)其圖像堆棧分類的過程。該圖包括流程圖700，它示出了 分類過程中的一系列步驟。在步驟702中，選擇樣本的特定圖像堆棧用于分類，并且在步驟 704中，選擇圖像堆棧內(nèi)區(qū)域的數(shù)量的凡用于分析。在某些實施例中，被選擇的區(qū)域是整個 圖像的子集。在其他的實施例中，可以選擇整個圖像用于分析。被選擇用于分析的圖像堆?？梢园ㄒ粋€或更多個圖像。在圖像堆棧中的圖像可 以包括一個或更多個原始頻譜圖像、一個或更多個復合圖像，和/或一個或更多個解混和 圖像。例如，在某些實施例中，圖像堆?？梢园ㄒ粋€復合圖像來提供光譜和空間信息以及 一個灰度階圖像來提供空間信息。在其他的實施例中，例如，圖像堆?？梢园ń饣旌蛨D像 集合。此外，在某些實施例中，例如，分類可以只被應用到只包含空間(沒有光譜)信息的 單個圖像。在任何情況下，預料到被選擇的圖像堆棧的類型訓練神經(jīng)網(wǎng)絡。在步驟706中，選擇子采樣窗口的長度1和寬度W。如先前所討論的那樣，子采樣 窗口的長度和寬度一般被選擇得小于被選擇用于分析的 個區(qū)域中的每一個的平均長度 和寬度。此外，步驟706包括選擇窗口偏移增量Δ1和Aw。偏移增量用來在樣本圖像的 分類區(qū)域上平移子采樣窗口以便確保區(qū)域中的每一個像素至少被分類一次。在某些實施例 中，Δ1和Aw的值分別都被選擇得小于1和w，所以至少一些像素被多次分類，因為每一次 把子采樣窗口平移到新的位置均在新窗口內(nèi)剩下部分前一窗口的像素。在步驟708中，在步驟704中選擇的區(qū)域其中之一被提交給訓練過(作為選擇，優(yōu) 化過)的神經(jīng)網(wǎng)絡用于分類。在步驟710中執(zhí)行該窗區(qū)域中的像素的分類。分類過程是迭 代的過程，其中，在被選擇區(qū)域內(nèi)的像素可以被臨時多次分配到一個分類。如圖8所示，該 過程通過在被選擇的區(qū)域800內(nèi)定位子采樣窗口 802開始。子采樣窗口 802在χ方向具有 長度1，在y方向具有寬度W。偏移增量Δ1和分別小于子采樣窗口的長度和寬度。在子采樣窗口的第一位置，使用先前討論的方法，窗口內(nèi)的每一個圖像像素均被 神經(jīng)網(wǎng)絡基于全部窗口區(qū)域的分類分配了臨時分類。臨時像素分類可以被存儲在像素直方 圖中供將來參考。這對應于步驟710。再次參考圖7，基于區(qū)域的子采樣是否完成，下一個 步驟是邏輯判定712。如果區(qū)域的子采樣未完成，則子采樣窗口被沿χ和y方向分別平移了 增量Δ1和AW，如步驟714中所示。然后，落入新的子采樣窗口位置內(nèi)的圖像像素在步驟 710中像從前一樣被分類。在圖8的下面部分示意性地示出了該過程，其中，窗口 802a表示子采樣窗口的第 一個位置，并且窗口 802b表示平移以后窗口的第二個位置。然后像從前一樣進行神經(jīng)網(wǎng)絡對第二窗口 802b內(nèi)的像素的分類。注意，落入陰影區(qū)域804內(nèi)的像素被第二次分類，因為 它們既位于窗口 802a內(nèi)也位于窗口 802b內(nèi)。圖像像素的多次分類是這里所公開的方法的 某些實施例的具體特征。再次返回圖7中的步驟710，各個像素的分類被再次存儲在像素直方圖中，然后， 子采樣窗口被再次平移，并且針對新的窗口位置分類過程重新開始?？梢葬槍Ρ贿x擇的窗 口平移數(shù)量指定重復由步驟710到步驟714組成的這個迭代過程，以建立像素分類直方圖。注意，雖然圖8把和步驟714相關(guān)聯(lián)的平移描繪為既具有增量Δ 1也具有增量 Aw，但是這并非必要。例如，在某些實施例中，平移可以水平掃描，當跨過所選擇區(qū)域的每 一個水平掃描完成時，跟著是垂直平移，反之亦然。在某些實施例中，例如，每一個平移將對 應于單個像素的步進，并且跨區(qū)域的平移一般將導致每一個像素被分類了采樣窗口中的像 素數(shù)量那么多次。此外，在其他的實施例中，平移無需是順次的。例如，在選擇的圖像區(qū)域 中，窗口平移可以是系統(tǒng)性的或者隨機的，盡管在某些實施例中，在分類過程終止之前必須 被滿足的額外約束規(guī)定被選擇區(qū)域內(nèi)的所有像素至少應該被分類一次，并且最好是多次。 但是，這樣的約束是可選的，無需被強加。一旦被選擇圖像區(qū)域的子采樣完成，則邏輯判決 716基于是否樣本圖像堆棧的所有被選擇區(qū)域已經(jīng)被臨時分類(例如，針對被選擇圖像堆 棧的被選擇區(qū)域中的每一個像素已經(jīng)給出了臨時分類的直方圖)來確定動作的過程。如果 有剩余的未被分類的區(qū)域，則在步驟718中遞增計數(shù)器i (等同于選擇未被分類區(qū)域其中 之一)并且被選擇區(qū)域的分類在流程圖700的步驟708處開始。另外，如果樣本圖像的每一個區(qū)域已經(jīng)被臨時分類，則初始分類過程完成并且控 制轉(zhuǎn)到步驟722，在步驟722中，基于每一個像素的累積直方圖數(shù)據(jù)執(zhí)行最終像素分類步 驟。由于像素可以被多次分類的事實所致，特定像素的分類直方圖中的記錄可能不都相同， 并且像素可以被臨時分類到多于一個類別?？梢允褂枚喾N多樣的算法從直方圖數(shù)據(jù)為特定像素確立分類。例如，給定像素的 最終分類可以是該像素最頻繁地被分配到的類別。另外，可以使用直方圖中的統(tǒng)計信息的 更復雜的分析來分配最終分類。例如，像素的分類可以被確立為該像素的分類分布的平均 值、中值或模。另外，更先進的統(tǒng)計方法，例如模糊邏輯或貝葉斯邏輯(Bayesian logic)，可 以被應用于直方圖數(shù)據(jù)以確定每一個圖像像素的分類。在某些實施例中，直方圖(histogram)數(shù)據(jù)可被用來根據(jù)分類“標志”樣本的特定 區(qū)域。例如，如果特定像素的直方圖數(shù)據(jù)甚至包括單個實例，其中，該像素被分類為屬于特 定類別，則可以采取步驟確保該像素被確定地標識?？梢援a(chǎn)生警告信息或者聲音，或者，可 以顯示為方便識別將被標識像素高亮的樣本圖像。當針對例如病原或癌細胞的有害因子或 結(jié)構(gòu)的存在性檢查組織樣本時，標志技術(shù)可能特別有用。 最終步驟724包括基于步驟722的最終分類，或者更具體地，基于在較早步驟中產(chǎn) 生的臨時像素分類直方圖數(shù)據(jù)產(chǎn)生樣本的分類圖。分類圖可以包括例如被分類區(qū)域被高亮 以提高對比度的樣本圖像。在某些實施例中，分類圖可以包括樣本的多個圖像，其中，每一 個圖像屬于被神經(jīng)網(wǎng)絡標識的特定類別的樣本的那些部分。分類圖也可以包括指定被分類 樣本區(qū)域的數(shù)值數(shù)據(jù)和諸如樣本內(nèi)各種類別的分布和相對豐度的統(tǒng)計信息。當被分類區(qū)域 對應于樣本內(nèi)的不同結(jié)構(gòu)、化學或生物實體時，這種信息特別有用。例如，分類圖像圖可以 在顯示設備118上顯示，并且可以由電子控制系統(tǒng)114以電子形式存儲在存儲介質(zhì)上。分類圖的產(chǎn)生完成了分類過程，并且一般為多種多樣的樣本產(chǎn)生了準確的類別數(shù)據(jù)。光學系統(tǒng)部件系統(tǒng)100可以包括多種多樣的用于捕獲在后續(xù)分類算法中使用的樣本圖像的光 學元件和設備。光源102可以是非相干光源，例如白熾燈、熒光燈，或者二極管。光源102也 可以是相干源，例如激光源，并且相關(guān)源可以提供連續(xù)波(CW)或脈沖光。光源102可以包 含用于產(chǎn)生具有一個范圍波長的光的多個光源元件(例如多個二極管)。當由光源102產(chǎn) 生的光是脈沖的時(即時間門控的)，可以根據(jù)從電子控制系統(tǒng)114通過通信線路132提供 給光源102的控制信號操縱光脈沖的各種屬性。光源102也可以包括各種光學元件，例如 透鏡、反射鏡、波片和非線性晶體，它們都可以被用來產(chǎn)生具有所選擇特性的光。總的來說， 光源102包括被配置成提供具有期望的光譜、空間屬性以及在某些實施例中的時間屬性的 光的光學元件和設備。調(diào)光光學裝置104和集光光學裝置110可以包括各種光學元件，用于操縱入射在 感興趣的樣本上和從其發(fā)射的光的屬性。例如，調(diào)光光學裝置104和集光光學裝置110均可 以包括光譜過濾器元件，用于從入射和被發(fā)射光中選擇特定波長帶。光譜過濾器元件可以 包括例如安裝在過濾器上的干涉過濾器。在某些實施例中，可以使用基于液晶掩模的可調(diào) 過濾器元件來改變?nèi)肷浠虮话l(fā)射光的光譜屬性。基于液晶的設備可以由電子控制系統(tǒng)114 通過通信線路134和138控制。調(diào)光光學裝置104和集光光學裝置110也可以包括例如空間光掩模、空間光調(diào)制 器和光脈沖整形器的元件，以便操縱入射在樣本上和從其發(fā)射的光的空間分布?？臻g光調(diào) 制器和其他自適應設備也可以由電子控制系統(tǒng)114通過通信線路134和138控制。最后，調(diào)光光學裝置104和集光光學裝置110可以包括其他的常見光學元件，例如 反射鏡、透鏡、分束器、波片，等等，被配置成把所選擇的特性傳遞到入射或被發(fā)射光?？偟膩碚f，檢測器112包括一個或更多個被配置成檢測和捕獲樣本發(fā)射的光作為 樣本的多個圖像的測量設備。檢測器112可以包括例如CCD陣列和光電倍增管的設備以及 其相應的控制系統(tǒng)，用于捕獲圖像?？偟膩碚f，檢測器112中的自適應光學設備可以由電子 控制系統(tǒng)114通過通信線路130控制。軟件可以使用標準的編程技術(shù)把上面結(jié)合各種用于收集、處理、分析、解釋和顯示信 息的方法描述的步驟實施在計算機程序中。這些成像被設計成在可編程計算機上或?qū)ｉT設 計的集成電路上執(zhí)行，所述計算機或?qū)ｉT設計的集成電路均包含電子處理器、數(shù)據(jù)存儲系 統(tǒng)(包括存儲器和/或存儲元件)、至少一個輸入設備，以及至少一個輸出設備，例如顯示 器或打印機。程序代碼被應用于輸入數(shù)據(jù)(例如來自檢測器的圖像)以執(zhí)行這里描述的功 能并產(chǎn)生輸出信息(例如，示出樣本圖像的分類區(qū)域的圖像，關(guān)于樣本成分的統(tǒng)計信息，等 等)，所述輸出信息被應用于一個或更多個輸出設備。每一個這種計算機程序均可以被實施 在高層次過程或面向?qū)ο缶幊陶Z言中，或者匯編語言或機器語言中。此外，語言可以是編譯 或解釋語言。每一個這種計算機程序可以被存儲在計算機可讀存儲介質(zhì)上(例如CD-ROM 或磁帶)，所述介質(zhì)在被計算機讀取時能夠?qū)е掠嬎銠C中的處理器執(zhí)行這里描述的分析和 控制功能。例子
下面的例子旨在示范這里公開的系統(tǒng)和方法，決不應該被理解為限制后續(xù)權(quán)利要 求的范圍。圖IOA示出了被根據(jù)本公開方法中的某一個分類的老鼠血液樣本的例子。血 液樣本包括4個類別背景1002、老鼠細胞1004、單核白細胞1006和多形核中性粒細胞 (polymorphonuclear neutrophils, PMN) 1008。對應于透射過樣本的入射光的光譜圖像集 合被收集，并被從測量的強度變換為光密度(optical densities,0D) 0作為結(jié)果的變換圖 像形成了圖像數(shù)據(jù)的光譜立方。光譜圖像立方被解混和為對應于血液樣本的紅色成分1010和藍色成分1012的單 獨圖像，如圖10B中所示。圖10C和圖10D示出了這個光譜解混和操作的結(jié)果。圖10C示 出了對應于紅色成分1010的解混和圖像的例子，并且圖10D示出了對應于藍色成分1012 的解混和光譜圖像的例子。解混和步驟以后，由用作加權(quán)函數(shù)的線性斜坡函數(shù)產(chǎn)生復合平面，以使解混和平 面和復合平面形成3-平面堆棧。接著，在圖像堆棧上選擇訓練區(qū)域，并根據(jù)所選擇的訓練 區(qū)域訓練基于神經(jīng)網(wǎng)絡的分類器。圖10E示出了疊加在樣本圖像上的被選擇的訓練區(qū)域。 訓練神經(jīng)網(wǎng)絡包括計算和被標識的訓練區(qū)域相關(guān)的特征。在圖10F中示出了這個用于訓練 區(qū)域的過程的擴展視圖。圖10F的左側(cè)示出了包括被選擇的訓練區(qū)域的樣本圖像的擴展區(qū) 域的視圖。在圖10F的右側(cè)，被選擇的訓練區(qū)域已經(jīng)被子采樣，并且子采樣窗口被疊加在 區(qū)域上。然后，使用基于訓練過的神經(jīng)網(wǎng)絡的分類器分類圖像的剩余區(qū)域。結(jié)果在圖10G 中示出。對應于背景類別1002、紅細胞類別1004、單核白細胞類別1006和PMN類別1008 的圖像特征都被使用基于神經(jīng)網(wǎng)絡的分類器準確地確定和標識。在另一個例子中，從光譜圖像的同一圖像立方產(chǎn)生了 3-平面RGB圖像，并且RGB 圖像的被選擇區(qū)域被用來訓練和優(yōu)化神經(jīng)網(wǎng)絡。通過對藍色中的所有光譜帶求和形成藍色 平面、對綠色中的所有光譜帶求和形成綠色平面和對紅色中的所有光譜帶求和形成紅色平 面，產(chǎn)生了這個RGB圖像。結(jié)果模擬了如果場景被用常規(guī)RGB照相機成像將導致的內(nèi)容。然 后，使用被訓練和優(yōu)化過的神經(jīng)網(wǎng)絡分類復合圖像的剩余部分。圖10H示出了 RGB圖像，并 且圖101示出了被執(zhí)行的分類操作的結(jié)果。對應于背景類別1002、紅細胞類別1004、單核 白細胞類別1006和PMN類別1008的圖像特征都被使用基于神經(jīng)網(wǎng)絡的分類器準確地確定 和標識。這里公開的自動化方法提供了用于分類血液樣本的有效手段。已經(jīng)描述了本發(fā)明的許多實施例。盡管如此，將會理解不偏離本發(fā)明的精神和范 圍可以做出各種修改。因此，其他的實施例在下列權(quán)利要求的范圍內(nèi)。本申請要求由Richard Levenson 和 Clifford C. Hoyt 在 2005 年 1 月 27 日遞交 的名為“用于分類被標記的病理學和細胞學組織切片的方法”的No. 60/647，729號美國臨 時專利申請的優(yōu)先權(quán)，該申請的全部內(nèi)容通過引用被包含于此。
2權(quán)利要求
一種分類方法，用于把樣本的不同區(qū)域分類到相應類別，該方法包含把樣本的光譜圖像集合分解為解混和圖像集合，其中解混和圖像集合的每一個成員對應于來自樣本中不同成分的光譜貢獻；基于包含樣本的一個或更多個圖像的圖像堆棧，把樣本的不同區(qū)域分類到相應類別，其中，用于分類的圖像堆棧中的圖像包含一個或更多個解混和圖像。
2.如權(quán)利要求1所述的分類方法，其中用于分類的圖像堆棧中的圖像包含兩個或更多 個解混和圖像。
3.如權(quán)利要求1或2所述的分類方法，其中神經(jīng)網(wǎng)絡被用于分類。
4.如權(quán)利要求中的任何一個所述的方法，其中圖像堆棧中的一個或更多個圖像包含一 個或更多個光譜圖像。
5.如權(quán)利要求1或2所述的分類方法，其中圖像堆棧只包含一個圖像。
6.如權(quán)利要求1或2所述的分類方法，還包含產(chǎn)生示出樣本的被分類區(qū)域的輸出圖像。
7.如權(quán)利要求1或2所述的分類方法，還包含獲取圖像堆棧中的一個或更多個圖像。
8.如權(quán)利要求7所述的分類方法，其中通過測量透射過樣本或從樣本反射的光來獲取 圖像。
9.如權(quán)利要求7所述的分類方法，其中通過測量來自樣本的熒光發(fā)射獲取圖像。
10.如權(quán)利要求1所述的分類方法，其中樣本包含具有不同的吸收光譜的成分。
11.如權(quán)利要求1所述的分類方法，其中樣本包含具有不同發(fā)射光譜的成分。
12.如權(quán)利要求1或2所述的分類方法，其中，樣本是組織切片。
13.如權(quán)利要求10所述的分類方法，其中所述成分包含化學染料和熒光標記中的至少 之一。
14.如權(quán)利要求11所述的分類方法，其中所述成分包含化學染料和熒光標記中的至少之一。
15.如權(quán)利要求3所述的分類方法，其中把樣本的不同區(qū)域分類到相應類別包含標識 對應于各個類別中的每一個的圖像堆棧的被選擇區(qū)域，基于被選擇的區(qū)域訓練神經(jīng)網(wǎng)絡識 別這些類別，和把訓練過的神經(jīng)網(wǎng)絡應用于圖像堆棧的額外區(qū)域。
16.如權(quán)利要求3所述的分類方法，其中對于神經(jīng)網(wǎng)絡的輸入信息包含特征向量，該特 征向量具有一個或更多個基于計算圖像堆棧中對應的圖像之一的至少一個并發(fā)矩陣的元ο
17.如權(quán)利要求3所述的分類方法，其中對于神經(jīng)網(wǎng)絡的輸入信息包含特征向量，該特 征向量具有一個或更多個基于計算圖像堆棧中對應的一個圖像的二維傅立葉變換的元素。
18.如權(quán)利要求4所述的分類方法，其中光譜圖像是根據(jù)不同的用于發(fā)射的光譜指數(shù) 的樣本發(fā)射的圖像。
19.如權(quán)利要求4所述的分類方法，其中光譜圖像是根據(jù)不同的導致發(fā)射的樣本的照 射光譜指數(shù)的樣本發(fā)射的圖像。
20.一種分類設備，用于把樣本的不同區(qū)域分類到相應類別，該設備包含 用于獲取包含樣本的一個或更多個圖像的圖像堆棧的裝置；和電子處理器，該電子處理器包含用于把樣本的光譜圖像集合分解為解混和圖像集合的裝置，其中解混和圖像集合的每一個成員對應于來自樣本中不同成分的光譜貢獻；用于基于包含樣本的一個或更多個圖像的圖像堆棧把樣本的不同區(qū)域分類到相應類 別的裝置，其中，用于分類的圖像堆棧中的圖像包含一個或更多個解混和圖像。
21.如權(quán)利要求21所述的分類設備，其中用于獲取包含樣本的一個或更多個圖像的圖 像堆棧的裝置包含用于從樣本獲取光譜分辨發(fā)射圖像的裝置。
22.如權(quán)利要求21所述的分類設備，其中用于獲取包含樣本的一個或更多個圖像的圖 像堆棧的裝置包含用于從樣本獲取對應于樣本的不同光譜照射的圖像的裝置。
23.如權(quán)利要求21所述的分類設備，其中用于獲取包含樣本的一個或更多個圖像的圖 像堆棧的裝置包含一光學系統(tǒng)，并且其中樣本的一個或更多個圖像包含樣本的一個或更多 個光譜圖像。
24.一種分類方法，用于把樣本的不同區(qū)域分類到相應類別，該方法包含基于從圖像堆棧中提取的多個解混和樣本圖像，把樣本的不同區(qū)域分類到相應類別，其中解混和樣本圖像中的每個解混和樣本圖像對應于來自樣本中不同成分的光譜貢 獻；以及其中圖像堆棧包含樣本的四個或更多個光譜圖像。
25.如權(quán)利要求24所述的分類方法，還包含產(chǎn)生示出樣本的被分類區(qū)域的輸出圖像。
26.如權(quán)利要求24所述的分類方法，其中神經(jīng)網(wǎng)絡被用于分類，并且其中，對于神經(jīng)網(wǎng) 絡的輸入信息包含特征向量，該特征向量具有一個或更多個基于計算用于對應的一個解混 和圖像的至少一個并發(fā)矩陣的元素，并且具有一個或更多個用于圖像堆棧中相應一個圖像 的二維傅立葉變換的元素。
全文摘要
公開了分類方法和分類設備，用于把樣本的不同區(qū)域分類到相應類別，其中分類方法包含把樣本的光譜圖像集合分解為解混和圖像集合，其中解混和圖像集合的每一個成員對應于來自樣本中不同成分的光譜貢獻；基于包含樣本的一個或更多個圖像的圖像堆棧，把樣本的不同區(qū)域分類到相應類別，其中，用于分類的圖像堆棧中的圖像包含一個或更多個解混和圖像。
文檔編號G06K9/00GK101916359SQ20101016448
公開日2010年12月15日 申請日期2006年1月27日 優(yōu)先權(quán)日2005年1月27日
發(fā)明者克利福德·C·霍伊特, 柯克·W·戈西奇, 理查德·利文森 申請人:劍橋研究和儀器設備股份有限公司