專利名稱：用于組織的增強的病理學測定和多分析物檢測的多模態(tài)對比和明場背景再現(xiàn)的制作方法
技術領域：
本公開內(nèi)容涉及提供組織切片的對比以進行病理學測定的方法。
背景技術：
可將常規(guī)組織學染色的組織切片的顯微鏡臨床檢查用于評估診斷意義的形態(tài)學模式和組織結構。熟練醫(yī)生可觀察這樣的組織學染色的組織切片來進行診斷以及設計和評估治療。由使用典型染色的這樣的圖像提供的結構的對比是熟悉的，并且允許醫(yī)生致カ于解釋解剖學和形態(tài)學組織切片的特征和異常，而不是試圖說明染色方法如何顯現(xiàn)與她的醫(yī)療訓練和經(jīng)驗相關的特征。正在開發(fā)有希望增強可由醫(yī)生獲得的關于有價值的活組織檢查材料和存檔組織樣品的相關診斷信息的附加組織成像技木。例如，熒光顯微鏡檢查法可用于檢測專門的分子標記，但基于熒光的圖像通常缺乏在利用蘇木精和伊紅(H&E)染色和使用明場顯微鏡觀察的組織中發(fā)現(xiàn)的熟悉的結構和解剖學背景信息。雖然基于熒光的圖像提供了用于確認和表征疾病狀態(tài)的有用的分子信息，但常規(guī)組織學染色切片仍然是對組織的病理學測定所必需的。通常，必須制備和評估通過樣品的連續(xù)組織切片。一般而言，連續(xù)的切片包括常規(guī)H&E染色的切片和針對診斷分子標記的(一個或多個)專門染色的切片。比較連續(xù)切片不僅僅増加了評估所必需的費用和時間，其可能難以或不可能使在ー個切片中發(fā)現(xiàn)的特征與在另ー個切片中發(fā)現(xiàn)的特征發(fā)生關聯(lián)。連續(xù)切片也可在染色過程流水線中丟失或被破壞。

發(fā)明內(nèi)容
本文中描述的技術提供了方法和設備，所述方法和設備使用多模態(tài)對比來產(chǎn)生以與醫(yī)生訓練和經(jīng)驗相關的方式分割和顯示的互補對比分量以進行病理學分析。此類互補對比模態(tài)可被流式傳輸以顯示允許組織結構的導航、聚焦和放大率的改變。組織切片可包含一種或多種耙向感興趣的特定分子或化學物質(zhì)的探針。提供了可與利用常規(guī)顏色吸收組織學染色(例如蘇木精和伊紅染色(在下文中稱為“H&E”))產(chǎn)生的對比相比較的組織結構的顏色對比。通過ー種或多種公開的方法產(chǎn)生的圖像還可包括使用附加標記以及光學或化學對比模態(tài)顯現(xiàn)的特征。通常，不同組織切片之間有差別的標記的特征的關系變得不是必需的。將圖像呈現(xiàn)于數(shù)字化再現(xiàn)的彩色明場背景中以提供可與在常規(guī)組織學載片(所述載片已被染色以顯現(xiàn)相同結構特征)中產(chǎn)生的圖像外觀相比較的圖像外觀。
在多模態(tài)對比的一些公開的實例中，對比是從就特定分子的標記專門制備的組織的熒光標記和折射率性質(zhì)得到的。這些實例表明透射光暗場折射對比成像與細胞核復染色的同時入射光熒光成像的互補組合，以及多重分子探針的詢問。同時(并行地)或相繼地(連續(xù)地)獲得對應的相關圖像。在一些實例中，可嚴格控制用于在未染色或染色的組織上產(chǎn)生對比的照明波長和檢測波長以促進明確的分割和防止干擾多重探針?？蓪⒂糜诘鞍踪|(zhì)抗原、mRNA表達或DNA的基因重排的分子特定探針定位重疊在樣品結構上。該對比與因通過使用特定的組織學處理保存和解析的組織結構而引起的折射率的變化相關聯(lián)。在典型的實例中，公開的方法提供了基于與熒光復染色組合的組織部分(moieties)的折射率變化的圖像對比以提供分子特定多重探針的彩色病理學背景。實例包括福爾馬林固定的、石蠟包埋的組織和冷凍組織。折射率對比可直接從探針部分和組織的折射或散射特性得到，或從相移的幅度或相移梯度的改變率得到。一些公開的方法包括將熒光染色的樣品暴露于所選的激勵光束以通過熒光染色產(chǎn)生熒光，以及產(chǎn)生對應的熒光圖像。還將相同的樣品暴露于高NA環(huán)狀暗場照明，并且產(chǎn)生代表折射率和光散射部分的變化的對應的暗場圖像。在一些實例中，同時應用熒光激勵 光束暴露和暗場折射照明場暴露，并且并行地獲得互補圖像。在其它實例中，連續(xù)記錄熒光圖像和暗場折射對比圖像。根據(jù)實例的成像設備包括被配置用于產(chǎn)生透射暗場照明場和入射照明熒光激發(fā)光學系統(tǒng)的多模態(tài)光學系統(tǒng)。這些子系統(tǒng)被配置用于產(chǎn)生可被組合用于相關分析的多個互補圖像基于制備的組織的性質(zhì)的折射對比圖像、細胞核復染色的熒光圖像和多個代表可被發(fā)射波長分割的各種分子標記的熒光圖像。耦合至少ー個圖像捕獲裝置以接收暗場和熒光圖像，并且圖像處理器被配置為記錄和處理暗場圖像和熒光圖像，并產(chǎn)生組合圖像。計算機可讀存儲介質(zhì)包括計算機可執(zhí)行指令，其用于接收與對比(其與制備用于病理學檢查的樣品切片的共同部分相關聯(lián))的多個模態(tài)相關聯(lián)的圖像，和重疊對比的多個模態(tài)以產(chǎn)生組合圖像。在一些實例中，圖像處理器被配置為產(chǎn)生基于記錄的折射對比暗場圖像和熒光圖像的組合圖像的偽彩色明場再現(xiàn)。將熒光圖像和暗場折射圖像單獨地著色、組合和反轉(inverted)以在具有與常規(guī)染色相關的對比的明顯的明場背景中產(chǎn)生組合彩色圖像。將有利于直接醫(yī)生解釋的特定彩色映射應用于折射對比圖像、熒光細胞核復染色和特定的熒光探針。隨后將這些圖像組合以產(chǎn)生在明場再現(xiàn)中的組合彩色記錄的圖像。在一些實例中，彩色映射基干與至少ー種顔色吸收組織學染色例如伊紅染色相關聯(lián)的用于病理學測定的優(yōu)選顏色的人感覺的定量測量。在其它實例中，將顏色查找表應用于熒光圖像，其中彩色映射與至少ー種對比顏色-吸收組織學染色例如蘇木精染色相關聯(lián)。在一些實例中，將顏色查找表應用于暗場折射圖像和熒光復染色圖像，以產(chǎn)生圖像，所述圖像具有與在理想的蘇木精和伊紅染色中遇到的那些相比較而言反轉的與互補的色調(diào)相關聯(lián)的對比、反轉的值和反轉的飽和度。在其它實例中，制備光學成像的樣品以使用質(zhì)譜法進ー步成像來提供分子映射(mapping)。在下面參考附圖描述公開的技術的這些和其它特征及方面。


圖I為提供折射對比暗場和基于熒光的圖像二者的代表性成像系統(tǒng)的示意圖。圖2為處理和組合記錄的暗場和基于熒光染色的圖像的方法的示意性方塊圖。圖3為用于從對比的多個模態(tài)產(chǎn)生樣品圖像的代表性方法的示意性方塊圖，其中對比對應于利用蘇木精和伊紅(H&E)染色的病理學測定中使用的對比。圖4A為人前列腺切片的代表性常規(guī)H&E染色的圖像。圖4B為基于暗場折射圖像與在明場背景中再現(xiàn)的熒光復染色圖像的組合的人前列腺切片的多模態(tài)對比圖像。圖5A-5B為利用単色CCD，使用干涉濾光片選擇藍色DAPI熒光波長(圖5A)或更長的波長傳輸?shù)陌祱霾ㄩL(圖5B)進行連續(xù)曝光而記錄的雙照明多模態(tài)對比(折射對比和熒光)圖像。
圖5C為通過將偽彩色的反轉顏色查找表應用于圖5A-5B的圖像和添加反轉顏色圖像獲得的偽彩色圖像。圖為在映射的顏色空間的反轉之后對應于圖5C的圖像的圖像的偽彩色的明場再現(xiàn)。圖6為通過將量子點熒光探針的定位與來自DAPI復染色的福爾馬林固定的石蠟包埋的樣品(也針對折射對比成像)的565 nm和655 nm的峰值發(fā)射波長重疊的明場背景再現(xiàn)圖像。圖7包括用于明場背景顯示的多模態(tài)成像的其它實例圖像。獲得暗場折射對比圖像和DAPI復染色的扁桃體切片的DAPI熒光圖像，將上述圖像重疊，并且將它們再現(xiàn)為圖7(la-3a)中示出的彩色明場圖像。將蛋白質(zhì)特定免疫探針(使用具有565 nm(對于CD20抗原)和655 nm(對于Ki67抗原)處的峰發(fā)射的量子點被定位在突光中)應用于DAPI復染色的扁桃體切片來產(chǎn)生對應的基于免疫探針熒光的圖像。將探針圖像重疊在圖7 (lb-3b)中示出的對比偽彩色(紅色和綠色)中。圖7(lc-3c)示出圖7(la-3a)和圖7 (lb_3b)組合后的圖像。圖8A-8B為其中獲得模擬的明場組織學圖像的附加代表性圖像和使用備選方法組合的熒光探針圖像。圖8A為對使用具有565 nm和655 nm發(fā)射波長的QDot探針的來自DAPI復染色的福爾馬林固定的石蠟包埋的樣品的多模態(tài)偽明場圖像的加性重疊。圖SB為其中從影印H&E再現(xiàn)的圖像減去偽彩色探針圖像的減性(subtractive)重疊。圖9舉例說明用于將H&E的偏好顏色特性映射至折射對比和DAPI熒光以在明場中再現(xiàn)而用于病理學測定的CIEL*a*b*顏色空間的實例。圖10A-10B分別為灰度級折射率對比和DAPI熒光對比圖像。圖10C-10D分別為基于圖10A-10B的圖像的CIEL*a*b*偽彩色伊紅-轉換的和蘇木精-轉換的圖像。圖IOE為通過組合圖10C-10D的經(jīng)過轉換的圖像獲得的合并圖像。圖11為使用單個CCD照相機同時產(chǎn)生并排的折射暗場圖像和基于熒光的圖像的光學系統(tǒng)的不意圖。圖12包括同時獲取和顯示的相同組織切片的并排的折射率(暗場)圖像(A)和DAPI圖像⑶。圖13包括基于圖12的并排圖像的雙色明場再現(xiàn)的重疊圖像(利用偽彩色和圖像反轉)。應注意，該圖像相對于圖12的圖像發(fā)生旋轉。
圖14A-14B為制備用于沉積質(zhì)譜成像標簽的低溫切片的小鼠腎組織樣品的圖像。對比由組織邊緣處的折射和組織自發(fā)熒光(藍色)產(chǎn)生。圖15A-15B為制備用于通過離子化基質(zhì)的沉積進行的質(zhì)譜成像的小鼠腎組織樣品的圖像。自發(fā)熒光看起來為藍色并且與離子化基質(zhì)晶體相關聯(lián)的折射率對比是明顯的。圖16為舉例說明用于本文中描述的設備和方法的計算環(huán)境的示意圖。圖17為多模態(tài)圖像，其提供了在明場中再現(xiàn)的對于兩個探針(一個針對核糖體RNA (青色，虛線黑色箭頭)，另ー個針對HER2 mRNA表達(黒色，實線黑色箭頭))的mRNA原位雜交探測的Calu-3異種移植物的細胞和細胞核背景。圖18為使用雙模態(tài)對比成像的并且以20x放大率在明場背景中呈現(xiàn)的用于病理學測定的前列腺癌的代表性圖像。前列腺癌的突出的核仁和不規(guī)則的生長模式特性非常明 顯。圖19為使用組合折射對比與熒光細胞核復染色并且在明場背景中再現(xiàn)的相同的同時雙模態(tài)方法以40x放大率成像的相同區(qū)域的一部分。
具體實施例方式如本申請和權利要求中所使用的，除非上下文另外明確地指出，否則單數(shù)形式“一”、ー個、和“所指物”包括復數(shù)形式。此外，術語“包括”意指“包含”。本文中描述的系統(tǒng)、設備和方法不應當被解釋為以任何方式限制。作為代替，本公開內(nèi)容針對各種公開的實施例的所有新穎的和非明顯的特征和方面(単獨地和以各種組合以及彼此的子組合)。所公開的系統(tǒng)、方法和設備不限于任何特定方面或特征或其組合，公開的系統(tǒng)、方法和設備也不需要存在任何ー種或多種特定的有利方面或問題得到解決。雖然為了方便陳述以特定的相繼順序描述了ー些公開的方法的操作，但應當理解，除非下文中所闡述的特定語言需要特定的排序，否則該描述方式包括重排。例如，可在某些情況下重排或同時執(zhí)行按順序描述的操作。此外，為了簡單起見，附圖可能不示出其中可將公開的系統(tǒng)、方法和設備與其它系統(tǒng)、方法和設備結合使用的各種方式。此外，描述有時使用術語如“產(chǎn)生”和“提供”來描述公開的方法。這些術語是所執(zhí)行的實際操作的高水平抽象概括。對應于這些術語的實際操作將根據(jù)具體的實現(xiàn)而變化，并且可由本領域普通技術人員中的ー個容易地辨別。為了更好地理解，提供了在本文中參考本公開內(nèi)容的設備或方法給出的操作、科學原理的理論或其它理論描述，并且其無意在范圍上進行限制。所附權利要求中的設備和方法不限于以通過這類操作理論描述的方式起作用的那些設備和方法。引言
組織的互補對比產(chǎn)生的多個模態(tài)可允許在對于受過訓練的醫(yī)生來說熟悉的明場背景中呈現(xiàn)的解剖學和形態(tài)學組織背景的可視化，以及在組織化學中針對特定分子或變異的探針定位。多模態(tài)對比可利用(leverage)多個光-組織以及探針檢測相互作用，只要所提供的信息是互補的。制備用于病理學檢查的組織具有構成的光學活性并且可最優(yōu)化由特定協(xié)議產(chǎn)生的光學性質(zhì)以便當與適當?shù)某上駜x器組合時產(chǎn)生有用的對比性質(zhì)?？赏ㄟ^被設計制造到關于福爾馬林固定的石蠟包埋的以及冷凍的組織的特定組織制備方案(例如在自動化染色協(xié)議中使用的制備方案)中的或在所述制備方案被保存的具有光學活性的組分提供用于非熒光結構的圖像對比?？蓴?shù)字化記錄該增強的光學活性，并且將其以人工明場對比再現(xiàn)以使結構例如細胞外基質(zhì)、核仁和細胞膜可視化并突出顯示所述結構?？蓪⒋祟惪梢暬芰τ糜谠\斷組織的病理學狀況的形態(tài)學特征和異常生長模式。可連續(xù)地或并行地記錄制備的組織的化學性質(zhì)或活性或光學的多個模態(tài)，并且將其數(shù)字化轉換成用于可視化的明場圖像對比，并且在本文中稱為“偽明場”。代表性的成像結構具有病理學重要性并且可被醫(yī)生用于組織篩選和用于癌前和癌癥疾病狀態(tài)的診斷，以及用于其它診斷目的，和用于評估治療效果。在未染色的或專門染色的組織切片中，可在單模對比法例如常規(guī)透射光明場或熒光檢測下使此類形態(tài)學結構和解剖學背景實際不可視?；パa多模態(tài)成像法可產(chǎn)生醫(yī)學上相關的結構信息并且以可容易解釋的形式呈現(xiàn)該信息而無需使用常規(guī)光吸收染色?？苫谑褂茅`組或多組由ー種或多種計算機可讀存儲介質(zhì)提供的計算機可執(zhí)行指令來測量和記錄定量值?？衫眯螒B(tài)學度量來使此類形態(tài)學特性與相同組織中包含的分子信息相關；該方法可幫助不斷努力地將疾病狀況、和預兆分級以及監(jiān)控治療功效。可同時捕獲組織切片的數(shù)字多模態(tài)圖像并且對于互補特征分量使用不同的顔色來再現(xiàn)，且流式傳輸所述圖像，或另外將其存儲或遞送以通過病理學家或其它臨床醫(yī)生進行幾乎實時檢查。此類方法促進基于高度復雜性組織的診斷學發(fā)展和允許利用醫(yī)生有關常規(guī)組織學染色的醫(yī)療培訓和經(jīng)驗?？烧厢槍€別組織切片的分子數(shù)據(jù)，包括來自免疫組織化學、DNA雜交、mRNA雜交探針、外源凝集素和質(zhì)譜及其它分析的數(shù)據(jù)，并且以對于實踐病理學家來說是熟悉和適當?shù)男问娇焖賵蟾?。本文中提供的實例利用多模態(tài)成像策略，所述策略利用雙重照明路徑(以提供具有蛋白質(zhì)結構和DNA復染色的互補對比的圖像)以及用于醫(yī)學診斷和評估的分子特定標記。該實例方法包括暗場折射和熒光對比的組合；使用根據(jù)醫(yī)生對典型組織學染色性質(zhì)的偏好得到的專門的顔色表來數(shù)字化地再現(xiàn)這些互補對比模態(tài)。通過利用這樣的組合，可提供與在使用典型組織學方法例如蘇木精和伊紅(H&E)染色而染色的樣品中獲得的那些相似的組織樣品的多色対比?？赏ㄟ^使用蛋白質(zhì)、脂質(zhì)或碳水化合物抗原、mRNA或DNA的發(fā)光、熒光、散射或吸收探針，用于電荷性質(zhì)或質(zhì)譜成像(IMS)的探針，將此類圖像用于顯現(xiàn)感興趣的區(qū)域以進行進ー步分子分析。本文中舉例說明的多模態(tài)對比照明對比方案可以以與用于常規(guī)組織學方法的普通染色/復染色組合一致的方式提供組織切片的背景信息。為方便起見，被引導向樣品以獲得圖像的光學輻射光束在本文中被稱為激勵光束。在ー些實例中，激勵光束被選擇用于在樣品的ー個或多個部分產(chǎn)生熒光，并且可以處于或可以不處于可見波長。其它激勵光束包括處于可見波長以進行直接觀察的照明光束。激勵光束還可基于其它類型的輻射，包括在其它波長范圍內(nèi)以及帶電粒子束或聲束。在一些實例中，此類方法和設備已被用于福爾馬林固定的石蠟包埋的組織中的熒光原位雜交(FISH)、免疫組織化學(IHC)、和mRNA原位雜交(mRNA_ISH)應用。通過使用用于在組織解剖學結構背景中使探針定位可視的多模態(tài)對比和數(shù)字偽明場再現(xiàn)，在組織上專門地檢測到量子點(QDot)-標記的FISH探針、QDot標記的IHC探針和QDot標記的mRNA-ISH探針。在典型的實例中，組合暗場折射對比圖像、利用熒光細胞核染色獲得的復染色的圖像以及使用熒光QDot檢測成像的ー種或多種探針。下面描述這些和其它實例。代表性的成像系統(tǒng)
在圖I中舉例說明了適當?shù)某上裣到y(tǒng)100的代表性實例。熒光激勵光源102被放置為將激勵光束103沿著軸105遞送至與波長相關的分束器(分色器(dichroic))104。光源102通常是發(fā)光二極管(LED)，金屬鹵化物或其它弧光燈，但可使用其它不相干或相干光源例如激光器。如圖I中所示，分色器104將激勵光束103反射至物鏡106，所述物鏡106轉而將激勵光束103引導至樣品108。在典型的實例中，用ー種或多種響應于激勵光束103而產(chǎn)生熒光的熒光團來選擇性地標記樣品108。一部分熒光被物鏡106收集并且沿著軸113通過分色器104引導至可選的分束器110。分束器110將一部分熒光引導至照相機112以便可在計算機系統(tǒng)130處記錄、觀察或分析樣品圖像。另一部分熒光被引導至目鏡114以基于熒光直接觀察樣品108。此外，可提供快門(shutter) 132或其它光束調(diào)制器以大體上阻止激勵光束103到達樣品108，或者可以控制(通過計算機系統(tǒng)130或手動地)熒光源以便無激勵光束產(chǎn)生。可按方便選擇用于激勵光束的光的波長。通常，激勵光束包括在適合用于在與應用于樣品的任何選擇性標記關聯(lián)的熒光染料或熒光團中產(chǎn)生熒光的波長上或波長范圍內(nèi)的主要光學輻射。激勵光束的典型波長范圍為約300-550 nm之間，但可使用更短的或更長的波長。除了熒光成像系統(tǒng)外，提供了使用環(huán)狀傾斜暗場照明的折射對比成像系統(tǒng)。在圖I的實例中，選擇環(huán)狀傾斜場照明117以便在折射率差異或散射部分在樣品中不存在的情況下，光通量不到達CXD照相機112或目鏡114，并且只有折射率轉變(transition)出現(xiàn)。通過使用具有相同數(shù)值孔徑的(接受角)的不同放大率的物鏡或通過使用次級放大透鏡，可以以多個光學放大率使用用于折射成像的相同照明最優(yōu)化。存在多個基于照明場的折射或散射產(chǎn)生對比的策略。此類折射率對比圖像在本文中稱為“暗場”圖像。這樣放置臺下聚光器系統(tǒng)以將傾斜場照明117遞送至位干與由激勵光束103照明的位置大體上相同的位置處的樣品108。臺下聚光器系統(tǒng)116可引導適當?shù)墓庠蠢鏛ED、齒鶴燈、弧光燈或其它光源以及ー個或多個可產(chǎn)生適當光束的透鏡、鏡子、濾光片、偏振元件、相位板、棱鏡、環(huán)狀物或孔徑。在圖I的實例中，傾斜場照明117通過仔細調(diào)整大小的環(huán)狀物產(chǎn)生，但在其它實例中，可提供用于場照明或點掃描、線掃描、邊緣照明或經(jīng)設計以用產(chǎn)生折射對比的其它策略的不同方法。在圖I的實例中，提供所謂的“暗場”照明，其中只有被樣品108散射或重定向的部分場照明被物鏡106的數(shù)值孔徑收集并且到達照相機112或目鏡114。這樣放置照相機112和目鏡114以便基于透射光的重定向部分形成樣品108的圖像。一般地，可關閉透射照明系統(tǒng)117或需要時使其光源無效，以便可以不依賴于透射照明地觀察或獲取基于熒光的圖像。圖I的實例顯微鏡系統(tǒng)130從而允許同時或相繼地記錄樣品圖像和基于熒光、暗場折射對比或兩者觀察樣品。通過使用透射環(huán)狀傾斜照明(例如圖I中舉例說明的)，可基于具有不同折射率的樣品部分之間的界面和過渡產(chǎn)生對比。一般地，聚光器系統(tǒng)116在配備有透射光源的復式顯微鏡的透射光路徑中包括適當大小的環(huán)狀部118 (并且可被添加至常規(guī)聚光器)。這樣，折射和散射光的結構在圖像中具有可感知的對比而無需使用光吸收彩色染色?？衫美缃t外濾光片或其它濾光片或濾光片的組合對透射照明波長進行光譜過濾，以便可在兩種 照明源同時活動的情況下利用在相同數(shù)據(jù)獲取中在更長的波長下收集的透射對比獲得熒光探針的光譜圖像。通常選擇折射場照明來為記錄提供適當?shù)目梢晥D像，并且所述折射場照明在約400 nm和900 nm之間的波長范圍內(nèi)，但如果需要可使用在該范圍內(nèi)的不同光譜區(qū)域。在其它實例中，使用折射暗場照明，其中將傾斜照明和物鏡置于樣品的同側。
樣品暗場圖像可通過其自身利用ー個或多個濾光片分割熒光、關閉或暫時調(diào)制或以其他方式阻斷激勵光束來獲得。在一些實例中，基于熒光的圖像可利用被調(diào)諧至熒光波長的適當濾光片和被過濾至不同波長范圍的折射對比來獲得；可將這些不同波長范圍分離至不同的傳感器，引導至相同傳感器的不同部分或相繼地被記錄。可通過光譜過濾減少暗場照明至一個或多個熒光圖像或反過來的不期望的貢獻，但關閉暗場照明場或熒光光路徑是可能的。此外，可分別或同時觀察暗場和熒光圖像。照相機112通常是單色電荷耦合元件(CXD)或互補型金屬氧化物半導體(CMOS)照相機，然而可使用其它圖像傳感器例如電子倍增CCD(EMCCD)和增強型CCD(ICCD)傳感器?？墒褂貌ㄩL濾光片、色散元件、相位板、棱鏡、偏振元件、可調(diào)諧光學晶體以及其它光學和電子光學法來改變到達CCD和/或目鏡的光學輻射以便產(chǎn)生ー個或多個在所選波長范圍內(nèi)的對應單色圖像。在一些情況下，可在多個波長接收器(bin)中光譜分辨到達照相機112的熒光，并且獲得對應的多個熒光圖像以進行分析。可利用多個被插入熒光的路徑中的吸收或折射濾光片、棱鏡或衍射光柵執(zhí)行光譜分析。通常，可使用在計算機系統(tǒng)130的控制下的或手動插入的干渉、色散或吸收光學系統(tǒng)實現(xiàn)光譜分辨。雖然圖像可被記錄為具有與接收的光通量強度(來自熒光或其它對比照明模態(tài))相關聯(lián)的值的圖片元素的一、ニ或三維陣列，但如果需要，可以以其它形式和復數(shù)數(shù)據(jù)結構記錄圖像。在本說明書中為方便起見，圖像是指有結構的陣列中的數(shù)據(jù)的2-D映射(mapping)，如由臨床醫(yī)生通過顯微鏡或其它觀察設備所觀察的，并且記錄的圖像是指基于通過CCD或其它圖像傳感器接收的圖像存儲、處理和/或顯示的數(shù)據(jù)值。如上文中所指出的，可基于熒光和透射照明或這兩者獲得多個光譜圖像?？墒占瘓D像的每ー個像素處的光譜信息，并且利用光譜圖像處理軟件分析結果所得的數(shù)據(jù)?？傻玫揭幌盗写聿煌ㄩL(其是可電子地和連續(xù)地選擇的)處的強度的圖像，并且隨后利用經(jīng)設計用于處理這樣的數(shù)據(jù)的分析程序進行評估。在某些實例中，可同時評估來自多個熒光信號和/或光學對比模態(tài)的定量信息。可將圖像傳感器112與包括鍵盤152、處理單元154和顯示器156的計算機系統(tǒng)130耦合。在一些實例中，提供一個或多個附加的用戶輸入設備(例如操縱桿、鼠標或數(shù)字化圖形輸入板)和ー個或多個附加的輸出設備(例如打印機或顯示器)。處理單元154通常包括微處理器和一個或多個用于存儲圖像數(shù)據(jù)和計算機可執(zhí)行指令(以用于圖像或圖像數(shù)據(jù)的記錄、傳輸、分析和處理)的計算機可讀存儲介質(zhì)例如只讀存儲器(ROM)、隨機存取存儲器(RAM)、硬盤、軟盤、光盤或數(shù)字視頻光盤。在典型實例中，將計算機系統(tǒng)100通過有線或無線網(wǎng)絡連接與一個或多個其它計算機系統(tǒng)耦合，并且在一些實例中，將所述計算機系統(tǒng)100耦合至因特網(wǎng)。雖然可在單個計算機系統(tǒng)上進行圖像處理操作，但在ー些實例中，在多個計算系統(tǒng)上處理圖像數(shù)據(jù)或圖像，所述計算系統(tǒng)可被置于普通位置或分布在網(wǎng)絡上。雖然膝上型計算機可以是方便的，但也可將其它計算設備例如臺式計算機、工作站、手持計算機、筆記本計算機或其它設備用于圖像捕獲和處理。在一些實例中，圖像數(shù)據(jù)可被處理，并且可在沒有顯示器的情況下提供樣品評估，并且通過網(wǎng)絡連接(例如通過電子郵件)傳達評估，將其發(fā)送至打印機或使用移動電話網(wǎng)絡將其作為文本或多媒體消息進行遞送。
成像系統(tǒng)100為適當?shù)某上裣到y(tǒng)的ー個實例。在其它實例中，可使用折射或反折射物鏡而不使用物鏡106，可通過重排熒光激勵源102和照相機112以及目鏡114來使用短通濾光片(short pass filter)而非長通濾光片104。在一些實例中，只提供照相機或目鏡來進行圖像記錄或圖像觀察?？墒褂酶郊拥溺R子或棱鏡來使光軸交疊(fold)，這可以是非常方便的?？蓱貌煌氖褂孟辔谎谀！⑾嘁r(phase contrast)、Rotterman對比、傾斜照明対比、Rheinberg對比、干渉差方案、自適應光學器件、激光掃描、時域或頻域壽命成像、結構化照明、光可開關的探針、偏振和各向異性、二次諧波成像、雙光子激發(fā)的多模態(tài)對比的策略和其它策略。為了方便說明未示出樣品定位硬件，并且在許多實例中，可提供利用雙目鏡的雙筒鏡觀察，并且可提供適當?shù)臑V光片和分束器以便不同的圖像輸出接收只與多個對比模態(tài)、偏振狀態(tài)或波長段寬之一關聯(lián)的圖像光通量。通?？商峁└郊拥臑V光片(反射或吸收)以減小到達照相機112或目鏡114的任何激勵光的光度或控制用于觀察或記錄的相對光強度或光譜內(nèi)容。 在圖11中舉例說明了另ー個代表性成像系統(tǒng)。如圖11中所示的，將包括對應于暗場和DAPI圖像的折射調(diào)制通量1102A和DAPI熒光調(diào)制通量1102B的組合圖像光通量1102沿著軸1103通過孔徑1104引導到準直透鏡1105。將準直組合光通量入射到分色鏡1106，所述分色鏡1106將一部分經(jīng)過調(diào)制的光通量(圖11的實例中的DAPI調(diào)制通量1102A)反射至鏡子1108A并且反射至優(yōu)選傳遞DAPI熒光的濾光片1107A。透鏡1110接收DAPI調(diào)制通量并且在C⑶或其它圖像傳感器112的第一部分1112A上形成樣品圖像。分色鏡1106將更長波長的折射調(diào)制光束1102B傳遞至被選擇用于抑制DAPI熒光和相關DAPI激勵光束的濾光片1107B。鏡子1108B將調(diào)制通量1102B引導至透鏡1110，該透鏡1110在CXD 1112的一部分1112B上形成暗場圖像。將CXD 1112與計算機或可在存儲器中存儲來自CXD 1112的圖像數(shù)據(jù)并且將圖像數(shù)據(jù)提供給監(jiān)視器1118或其它顯示器的其它處理設備耦合。通過利用這樣的成像系統(tǒng)，可同時獲得暗場和熒光圖像，并且將其并排顯示為原始圖像或快速地將其拆分成兩個圖像，幾乎實時地將其彩色映射和重疊在監(jiān)視器1118上。圖11的配置僅僅是舉例說明性的，并且樣品調(diào)制折射和熒光光通量可被分開，并且使用更多、更少和不同的組件將其在其它排列中用于圖像形成。圖像在CCD 1112上可以是并排的，或利用計算機1114處理所述圖像，以便可在監(jiān)視器1118上顯示明場再現(xiàn)的背景中的組合2-色重疊。如圖11中所的，多個通量(暗場和DAPI)被從初始光軸轉向,但在其它實例中,可將ー個通量沿著初始軸傳遞，并且對應地放置CCD 1112。可利用不同的透鏡產(chǎn)生暗場和DAPI圖像，可排列所述透鏡以產(chǎn)生共同的放大率或不同的放大率?？商峁└郊拥臑V光片、光源和其它組件，以便可將分子檢測標記和其它組織對比圖像光通量提供給ー個或多個CCD或單個CXD的部分1112A、1112B并且在其中成像。顏色查找表和圖像反轉
圖I的系統(tǒng)允許基于熒光或暗場照明或同時這兩者來進行圖像的多模態(tài)觀察和獲取?？墒褂脠D2中舉例說明的代表性方法處理所獲取的圖像以將樣品特征呈現(xiàn)在共同的背景中。在步驟202中，通常將暗場折射圖像記錄為單色圖像，并且在步驟204中，記錄ー個或多個基于熒光的圖像。這類基于熒光的圖像的數(shù)目可取決于應用于樣品的熒光標記或染料的數(shù)目和類型。這些圖像可使用對應于熒光標記的發(fā)射波長的不同波長段。在一些實例中，不同波長段可以是重疊的、非重疊的或其組合。在步驟204中，可獲得對應于來自對應的熒光團的熒光的一個或多個基于熒光的圖像。可將熒光的適當光譜分割用于獲得多個基于熒光的圖像，所述圖像可顯現(xiàn)不同的樣品特征(所述特征通常取決于與熒光檢測標記關聯(lián)的特定探針)。在獲取圖像后(當獲取每一個圖像時或在已獲取所有或一些圖像后)，可將ー個或多個彩色映射查找表(LUT)應用于步驟206中的單色圖像的強度值以產(chǎn)生偽彩色再現(xiàn)的圖像，并且可在步驟208中重疊這些再現(xiàn)的圖像。在步驟210中反轉所獲取的重疊圖像的色調(diào)、強度或飽和度中的一個或多個或者全部以在明場上產(chǎn)生具有彩色結構的外觀的圖像。在偽彩色LUT的典型應用中，基于灰度級像素強度值向單色圖像的像素分配RGB顏色強度值，并且反之亦然。這樣的反轉也可反轉顏色坐標以產(chǎn)生互補彩色映射。圖像反轉通常將大像素強度值映射至更小的像素強度值。例如，在其中用8個強度值(3-比特的深度)表示像素強度的圖像中，可如表I中所示重新映射強度值。
權利要求
1.一種方法，包括 生成樣品的至少一個第一圖像和至少一個第二圖像，其中所生成的第一和第二圖像包括互補對比圖像參數(shù)；以及 產(chǎn)生對比圖像以用于觀察。
2.權利要求I的方法，還包括通過將所述樣品分別經(jīng)歷第一激勵光束和第二激勵光束來獲得所述至少一個第一圖像和所述至少一個第二圖像。
3.權利要求2的方法，其中組合所述第一和第二圖像以產(chǎn)生組合圖像。
4.權利要求2或3的方法,其中將所述第一和第二激勵光束同時應用于樣品，并且同時獲得相關聯(lián)的對比互補圖像。
5.權利要求1-4中的任一項的方法，還包括并排顯示所述第一和第二圖像。
6.權利要求2所述的方法，還包括顯示所述組合圖像。
7.權利要求2所述的方法，還包括將所述第一和第二對比圖像記錄為對應的記錄圖像。
8.權利要求2-7中的任一項的方法，其中對所述樣品進行熒光染色，并且選擇所述第一光束以通過熒光染色產(chǎn)生熒光，以便所述第一圖像為所述樣品的熒光圖像，并且進一步地其中將所述第二激勵光束應用于樣品以便所述第二圖像為折射暗場圖像。
9.權利要求8的方法，還包括將所述熒光圖像和所述折射暗場圖像記錄為對應的記錄圖像。
10.權利要求9的方法，還包括 將彩色映射應用于所記錄的暗場圖像以產(chǎn)生偽彩色暗場圖像；以及 將所述偽彩色暗場記錄的圖像和所記錄的熒光圖像組合以產(chǎn)生組合的記錄圖像。
11.權利要求10的方法，其中所述彩色映射基于與至少一個吸收染色相關聯(lián)的顏色查找表。
12.權利要求11的方法，其中所述染色為伊紅染色。
13.權利要求10的方法，還包括將顏色查找表應用于所述熒光圖像，其中所述顏色查找表與至少一種吸收染色相關聯(lián)。
14.權利要求13的方法，其中所述熒光基于DAPI熒光，并且與所述熒光圖像相關聯(lián)的顏色查找表基于蘇木精染色。
15.權利要求10的方法，還包括基于所述組合的記錄圖像產(chǎn)生偽明場記錄圖像。
16.權利要求15的方法，還包括將所述顏色查找表應用于所述折射暗場圖像和熒光圖像以便產(chǎn)生具有與蘇木精和伊紅染色相關聯(lián)的圖像對比的圖像。
17.權利要求2的方法，還包括生成所述樣品的質(zhì)譜圖像。
18.—種成像設備，包括 被配置用于產(chǎn)生樣品的第一圖像的第一成像系統(tǒng)；以及 被配置用于產(chǎn)生所述樣品的第二圖像的第二成像系統(tǒng)，其中所述第一和第二圖像為互補圖像。
19.權利要求18的成像設備，其中所述第一成像系統(tǒng)為被配置用于產(chǎn)生作為折射暗場圖像的第一圖像的折射暗場光學系統(tǒng)，并且所述第二成像系統(tǒng)為被配置用于產(chǎn)生作為熒光圖像的第二圖像的熒光光學系統(tǒng)。
20.權利要求18的成像設備，還包括至少一個圖像捕獲裝置，其被耦合以接收所述第一和第二圖像；和圖像處理器，其被配置用于記錄所述第一和第二圖像。
21.權利要求20的成像設備，其中所述圖像處理器被配置用于基于所述第一和第二圖像產(chǎn)生組合圖像。
22.權利要求21的成像設備，其中所述圖像處理器被配置用于將顏色查找表應用于所述第一和第二記錄圖像中的至少一個以基于所述第一和第二記錄圖像中的至少一個的偽彩色再現(xiàn)來產(chǎn)生組合圖像。
23.權利要求22的成像設備，還包括將所述組合圖像再現(xiàn)為偽明場圖像。
24.權利要求23的成像設備，其中所述圖像處理器被配置用于基于與伊紅染色相關聯(lián)的顏色查找表來處理第一圖像并且基于與蘇木精染色相關聯(lián)的顏色查找表來處理第二圖像，其中所述組合圖像基于經(jīng)處理的第一和第二圖像。
25.權利要求20的成像設備，其中所述圖像捕獲裝置被配置用于接收作為并排圖像的所述第一圖像和所述第二圖像。
26.權利要求21的成像設備，其中所述圖像處理器被配置用于重疊所述第一和第二圖像以產(chǎn)生所述組合圖像。
27.權利要求26的成像設備，還包括被配置用于接收和顯示所述組合圖像的顯示器。
28.包括計算機可執(zhí)行指令的至少一個計算機可讀存儲介質(zhì)，所述指令用于 接收與樣品切片的共同部分相關聯(lián)的第一圖像和互補第二圖像；以及 將所述第一與第二圖像組合以產(chǎn)生組合圖像。
29.權利要求28的至少一個計算機可讀存儲介質(zhì)，還包括用于基于所述第一和第二圖像中的至少一個產(chǎn)生偽彩色圖像的計算機可執(zhí)行指令，其中所述組合圖像基于所述至少一個偽彩色圖像。
30.權利要求29的至少一個計算機可讀存儲介質(zhì)，還包括用于反轉組合圖像以產(chǎn)生明場再現(xiàn)的圖像的計算機可執(zhí)行指令。
31.權利要求28的至少一個計算機可讀存儲介質(zhì)，還包括用于接收所述共同樣品切片的質(zhì)譜圖像并且將所述質(zhì)譜圖像包括在所述組合圖像中的計算機可執(zhí)行指令。
32.權利要求28-31中的任一項的至少一個計算機可讀存儲介質(zhì)，其中所述第一圖像和所述第二圖像分別為暗場折射對比圖像和熒光圖像。
33.權利要求32的至少一個計算機可讀存儲介質(zhì)，其中基于與伊紅染色相關聯(lián)的顏色查找表處理所述第一圖像，并且基于與蘇木精染色相關聯(lián)的顏色查找表處理所述第二圖像，其中所述組合圖像基于經(jīng)處理的第一和第二圖像。
34.一種圖像處理器，包括 被配置用于接收至少第一圖像和互補第二圖像的圖像輸入端； 被配置用于接收至少一個顏色查找表的顏色查找表輸入端； 圖像組合器，其被配置用于基于所述至少一個顏色查找表來處理所述第一圖像和所述互補第二圖像中的至少一個且產(chǎn)生偽彩色圖像，以及將所述偽彩色圖像與所述第一圖像和所述第二圖像中的一個組合。
35.權利要求34的圖像處理器，其中所述圖像組合器被配置用于基于所述組合圖像產(chǎn)生明場再現(xiàn)。
36.權利要求35的圖像處理器，其中所述顏色查找表輸入端被配置用于接收與吸收染色相關聯(lián)的第一顏色查找表和與熒光染色相關聯(lián)的第二顏色查找表，并且所述圖像組合器被配置用于分別基于所述第一和第二顏色查找表來處理所述第一和第二圖像，并且其中所述組合圖像基于經(jīng)處理的第一和第二圖像。
37.權利要求36的圖像處理器，其中所述吸收染色為伊紅染色并且所述熒光染色為蘇木精染色。
全文摘要
可將多模態(tài)對比用于產(chǎn)生圖像，可組合和再現(xiàn)所述圖像以產(chǎn)生與在透射白光照明下觀察到的利用波長吸收染色產(chǎn)生的圖像相似的圖像?？墒褂盟O計的著色方案基于用于顯現(xiàn)相同解剖學結構和組織化學的典型對比法來呈現(xiàn)利用其它互補對比模態(tài)獲得的圖像，從而提供與醫(yī)療訓練和經(jīng)驗的相關性。將源自折射率的暗場對比圖像和熒光DAPI復染色圖像組合以產(chǎn)生與利用常規(guī)H&E染色獲得的圖像相似的圖像，以進行病理學解釋。可流式傳輸這樣的多模態(tài)圖像數(shù)據(jù)以進行組織學樣品的現(xiàn)場導航，并且可將其與基因DNA探針的分子定位(FISH)、mRNA表達的位置(mRNA-ISH)和定位在相同組織切片上的免疫組織化學(IHC)探針組合，用于評估和映射制備用于質(zhì)譜成像的組織切片。
文檔編號G01N33/483GK102667473SQ201080046023
公開日2012年9月12日 申請日期2010年10月7日 優(yōu)先權日2009年10月12日
發(fā)明者A.D.納吉, G.佩斯塔諾, J.弗勒利希, K.加沙, M.奧特, P.米勒, R.B.納格勒, W.戴 申請人:文塔納醫(yī)療系統(tǒng)公司