專利名稱：顯微鏡學(xué)中的圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字病理學(xué)領(lǐng)域，具體而言涉及全切片掃描技術(shù)。具體而言本發(fā)明涉及增強(qiáng)/修改數(shù)字顯微鏡圖像的圖像處理方法
背景技術(shù)：
數(shù)字病理學(xué)給組織切片的可視化提供了新的方式，并且實(shí)現(xiàn)了用于分析這些切片的新工作流程。如圖I所圖示，用于數(shù)字病理學(xué)的典型系統(tǒng)I可尤其包括用于掃描諸如組織樣本的樣本的掃描器10并產(chǎn)生其數(shù)字圖像。已經(jīng)提出了很多類型的掃描器，例如ID線性掃描 器，2D陣列掃描器，所謂的時(shí)間延遲積分(TDI)掃描器，等等。該系統(tǒng)可還包括PACS 20 (圖片存檔和通信系統(tǒng))，其用于諸如組織樣本數(shù)字圖像的信息的存檔和通信。該系統(tǒng)可還包括用于執(zhí)行計(jì)算機(jī)實(shí)現(xiàn)指令的計(jì)算系統(tǒng)30，以及存儲器40，例如用于裝載這種指令和諸如圖像數(shù)據(jù)的其他二進(jìn)制信息的緩沖存儲器。該計(jì)算設(shè)備可是處理器、FPGA (完全可編程門陣列)、DSP (數(shù)字信號處理器)，并且該存儲器取決于其在系統(tǒng)中的預(yù)期功能和期望性能，可以尤其是DRAM、SDRAM、SRAM、DDR SDRAM、FRAM、ROM、CD、DVD。如在數(shù)字病理學(xué)領(lǐng)域中所公知的，該計(jì)算設(shè)備通?？捎糜趫D像處理，以及例如用于診斷的圖像分析。在數(shù)字病理學(xué)領(lǐng)域中，圖像處理通常涉及用算法來處理數(shù)字圖像以便修改這一圖像的內(nèi)容。圖像處理因而尤其包括增強(qiáng)圖像的感知質(zhì)量以及將圖像中的圖像與參考圖像配準(zhǔn)的功能。相反，圖像分析算法(例如，用于診斷)將不會修改所研究的數(shù)字圖像的內(nèi)容。實(shí)際上，這一圖像典型地可是已經(jīng)被應(yīng)用了圖像處理算法的圖像。對于信息，一種用于診斷的公知的圖像分析算法的例子是CAD算法(計(jì)算機(jī)輔助診斷)。本發(fā)明具體屬于如上描述的圖像處理的數(shù)字病理學(xué)技術(shù)領(lǐng)域。換言之，本發(fā)明屬于數(shù)字病理學(xué)中的方法和軟件，其制備將要被觀察和/或隨后由諸如CAD算法的圖像分析算法分析的數(shù)字圖像。如前所述，圖像處理算法可被配置為增強(qiáng)圖像對比度，從而操作者可以更好地找出顯示在系統(tǒng)I的屏幕50上的圖像中的感興趣特征。例如，操作者可首先加載圖像以在屏幕上顯示，其示出了通過H&E技術(shù)(蘇木精和曙紅)染色的組織樣本。這一圖像在以下將被稱為HE圖像，其可示出已經(jīng)通過掃描器采集的樣本的整個(gè)區(qū)域或者其一部分。操作者然后可在這一圖像中選擇以下被稱為子區(qū)帶的感興趣區(qū)帶，以便以例如更高的分辨率來顯示該樣本的特定區(qū)域。因此，系統(tǒng)I可包括圖像處理算法，其首先變換數(shù)字圖像的整個(gè)區(qū)域，因而產(chǎn)生樣本的整個(gè)區(qū)域的高分辨率數(shù)字圖像。然后，進(jìn)一步的處理從這一高分辨率圖像中檢索在所述子區(qū)帶中的圖像內(nèi)容，并且將該圖像內(nèi)容顯示在屏幕上。然而，這種圖像處理算法具有的問題在于，通常在數(shù)字病理學(xué)中，數(shù)字圖像的尺寸遠(yuǎn)遠(yuǎn)大于從諸如超聲、MRI、CT、PET或者X射線的其他常用醫(yī)學(xué)成像儀器中采集的數(shù)字圖像的尺寸。因此，在數(shù)字病理學(xué)中，數(shù)字圖像的大尺寸通常需要更密集的運(yùn)算，并且通常導(dǎo)致尤其在顯示速度方面較低的呈現(xiàn)性能。為了解決這種問題，已經(jīng)提出了通過使用例如專門的圖形處理單元(GPU)或者并行結(jié)構(gòu)來優(yōu)化計(jì)算設(shè)備的硬件結(jié)構(gòu)。也已經(jīng)提出 了優(yōu)化圖像處理算法。然而，仍然很難實(shí)現(xiàn)具有合理優(yōu)化的良好性能。除其他外，這種解決方法也需要大量的存儲空間以及尤其在PACS存儲設(shè)備和計(jì)算設(shè)備之間的大帶寬消耗。已經(jīng)提出了對以上提及問題的一種不同的解決方法，其下采樣(降低分辨率)表示樣本整個(gè)區(qū)域的數(shù)字圖像并且給這一新圖像應(yīng)用變換(例如，增強(qiáng)對比度)。然后當(dāng)用戶選擇子區(qū)帶時(shí)，該系統(tǒng)檢索下采樣圖像中這一區(qū)帶的內(nèi)容。即使這一解決方法可提供實(shí)時(shí)性能，但是向病理學(xué)專家顯示的下采樣圖像可能不具有足夠的質(zhì)量。如前所述，圖像處理也涉及圖像配準(zhǔn)，并且此時(shí)以上描述的問題可能再次發(fā)生。作為另一典型例子，病理學(xué)專家可期望觀察HE圖像并且指出相關(guān)的子區(qū)帶(例如，腫瘤區(qū)域)。然后她可能期望制定用不同染色技術(shù)，例如免疫組織化學(xué)(IHC)技術(shù)制備的至少一個(gè)另外的切片，以用于進(jìn)一步分析。可用掃描器對該另外的切片成像以生成IHC數(shù)字圖像。然后病理學(xué)專家可期望在屏幕上觀察到并排的HE和IHC圖像。然而，歸因于切片制備的性質(zhì)并且歸因于數(shù)字化處理，該組織和其特征可能不具有嚴(yán)格相同的形狀、外觀或者空間排列，使得很難在鄰近組織的不同切片上找出同一區(qū)帶。為了使之可能，可能需要圖像配準(zhǔn)。在此應(yīng)當(dāng)注意在本文中圖像配準(zhǔn)指的是計(jì)算空間變換的過程，該空間變換將來自一個(gè)圖像的點(diǎn)映射到另一圖像中的相應(yīng)點(diǎn)上。圖像配準(zhǔn)技術(shù)在數(shù)字病理學(xué)中是已知的，并且通常是基于將這種變換應(yīng)用到每個(gè)所采集的樣本數(shù)字圖像上。然而，要提醒的是數(shù)字顯微鏡圖像通常是與數(shù)字放射圖像有區(qū)別的。數(shù)字顯微鏡圖像的尺寸是這種區(qū)別之一，其在之前已經(jīng)描述。作為另一區(qū)別，除了磁共振(MRI)圖像之外的放射圖像往往生成絕對像素強(qiáng)度(例如，普通的X射線和CT圖像使用亨氏單位，其中空氣是-1000，水是0，并且骨>400)。與MR類似，數(shù)字顯微鏡圖像的像素強(qiáng)度分布取決于通常很難控制的多種因素，其對于整個(gè)圖像或者各掃描之間可能是不一致的。這種因素包括顯微鏡用薄片切片機(jī)切片期間的組織移動、不標(biāo)準(zhǔn)的染色程序、以及在采集期間使用的自動聚焦及其他圖像處理算法。作為另一區(qū)別，放射學(xué)中的多模態(tài)圖像的采集典型地涉及對同一區(qū)帶成像(例如，CT-PET采集同時(shí)捕獲同一解剖區(qū)帶)。數(shù)字顯微鏡成像通過在鄰近組織橫截面上應(yīng)用不同的染色程序——例如免疫組織化學(xué)或者原位雜交(ISH)——而生成多種模態(tài)或者表示。這一采集形式最類似于(雖然仍有區(qū)別)放射圖像的患者內(nèi)配準(zhǔn)。以上說明的三個(gè)區(qū)別(也即，過大的圖像尺寸、非絕對像素強(qiáng)度分布、以及鄰近組織橫截面的多模態(tài)采集)意味著對于全切片顯微鏡學(xué)，數(shù)字顯微鏡圖像，尤其是多模態(tài)圖像的配準(zhǔn)并不是無足輕重的，并且也需要密集運(yùn)算，這限制了數(shù)字病理學(xué)系統(tǒng)在速度方面的性能。此外，雖然以上描述的兩種解決辦法(硬件或者圖像處理算法優(yōu)化，以及下采樣全切片圖像)可用于改進(jìn)數(shù)字病理學(xué)系統(tǒng)的性能，但是這并不足夠。
因而，本發(fā)明期望解決以上提及的問題。

發(fā)明內(nèi)容
具體而言，可能需要具有改進(jìn)的圖像處理性能且優(yōu)選實(shí)時(shí)性能的數(shù)字病理學(xué)系統(tǒng)。進(jìn)一步地，需要這種具有改進(jìn)的圖像配準(zhǔn)性能的數(shù)字病理學(xué)系統(tǒng)。這種系統(tǒng)可尤其能夠提供改進(jìn)的多模態(tài)圖像配準(zhǔn)，從而當(dāng)病理學(xué)專家在圖像(例如，HE圖像)中選擇子區(qū)帶時(shí)，該系統(tǒng)在樣本的另一圖像中，例如在IHC圖像中實(shí)時(shí)地自動顯示相應(yīng)的子區(qū)帶。因此，根據(jù)本發(fā)明提出了一種用于處理表示區(qū)帶中樣本的第一數(shù)字圖像的方法，并且已經(jīng)借助于顯微鏡成像系統(tǒng)從所述樣本采集了所述圖像，包括步驟-檢索所述第一數(shù)字圖像的子區(qū)帶， -對所檢索的子區(qū)帶執(zhí)行變換函數(shù)，所述變換函數(shù)適于修改所述第一數(shù)字圖像的內(nèi)容。進(jìn)一步提出了一種用于處理表示區(qū)帶中樣本的第一數(shù)字圖像的計(jì)算機(jī)程序產(chǎn)品，并且已經(jīng)借助于顯微鏡成像系統(tǒng)從所述樣本采集了所述圖像，所述計(jì)算機(jī)程序產(chǎn)品包括以下指令-檢索所述第一數(shù)字圖像的子區(qū)帶，-對所檢索的子區(qū)帶執(zhí)行變換函數(shù)，所述變換函數(shù)根據(jù)從所述第一數(shù)字圖像的第二分辨率表示導(dǎo)出的至少一個(gè)度量來修改所述子區(qū)帶的內(nèi)容。進(jìn)一步提出了一種包括如上定義的計(jì)算機(jī)程序產(chǎn)品的數(shù)字病理學(xué)系統(tǒng)。因而，在本發(fā)明中不是將變換應(yīng)用于表示樣本被掃描區(qū)域的數(shù)字顯微鏡圖像，而是僅將變換應(yīng)用于這一圖像的高分辨率子區(qū)帶。換言之，根據(jù)需要來僅對高分辨率子區(qū)帶執(zhí)行變換，因而節(jié)約了圖像處理中的大量運(yùn)算，例如緩沖存儲器中的大量存儲空間以及大量帶寬成本。此外，另一優(yōu)點(diǎn)可能在于可在工作流程的稍后期，例如正好在顯示或者分析之前通過用戶選擇特定的變換。根據(jù)實(shí)施例，變換函數(shù)適于增強(qiáng)已選擇的子區(qū)帶中的圖像感知質(zhì)量。例如，用戶可在數(shù)字圖像中選擇子區(qū)帶，可通過用戶接口 60選擇對比度增強(qiáng)函數(shù)，然后該系統(tǒng)可從該數(shù)字圖像檢索高分辨的子區(qū)帶(典型的是其像素內(nèi)容)，將對比度增強(qiáng)函數(shù)應(yīng)用于該子區(qū)帶，并且將這種新的高質(zhì)量圖像顯示在屏幕上。因而，由于這一十分有效的處理技術(shù)，可以以更好的質(zhì)量來實(shí)時(shí)顯示該子區(qū)帶。可使用其他變換函數(shù)，例如應(yīng)用LUT函數(shù)(查找表)、分割方法、格式轉(zhuǎn)換(例如，從RGB顏色空間轉(zhuǎn)換到HSV顏色空間)，等等。根據(jù)進(jìn)一步的實(shí)施例，提供已經(jīng)借助于顯微鏡成像系統(tǒng)從所述樣本采集的第二數(shù)字圖像。使用從這一圖像和從第一數(shù)字圖像導(dǎo)出的度量來計(jì)算變換函數(shù)。應(yīng)當(dāng)注意的是“同一樣本”可指從例如同一塊石蠟獲得的同一生物標(biāo)本。換言之，兩個(gè)相同的樣本可包括基本相同的特征和相同的拓?fù)?。進(jìn)一步的，顯微鏡成像系統(tǒng)與用于獲得第一數(shù)字圖像的系統(tǒng)可是相同或者不同的。為了避免任何疑問，應(yīng)當(dāng)進(jìn)一步注意的是“度量”可定義用于確定適當(dāng)?shù)淖儞Q函數(shù)以修改子區(qū)帶內(nèi)容的任何函數(shù)。該度量可在優(yōu)化處理中使用以確定“最優(yōu)”變換函數(shù)(其中最優(yōu)是相對于度量函數(shù)來定義的)。作為非限制性例子，在本發(fā)明的其中變換函數(shù)執(zhí)行普通變換的實(shí)施例中，一些度量可包括圖像對比度、鄰近區(qū)帶的直方圖分布、邊緣強(qiáng)度，或者焦點(diǎn)估計(jì)。進(jìn)一步的，在本發(fā)明的其中變換函數(shù)執(zhí)行空間變換的實(shí)施例中，一些度量可包括(非窮盡列表)方差和(也被稱為均方誤差)、歸一化互相關(guān)、互信息、或者光流法，等等。在一個(gè)實(shí)施例中，計(jì)算變換函數(shù)包括計(jì)算第一和第二數(shù)字圖像之間的空間變換，該第一和第二數(shù)字圖像優(yōu)選具有比將對其執(zhí)行變換函數(shù)的子區(qū)帶的分辨率更低的分辨率。因而，變換函數(shù)尤其實(shí)現(xiàn)快速圖像配準(zhǔn)，從而稍后可以以良好的空間一致性以及實(shí)時(shí)地觀察到該兩個(gè)圖像的子區(qū)帶。例如，病理學(xué)專家可能期望在HE圖像和IHC圖像之間比較樣本的感興趣區(qū)帶。因而他可能在當(dāng)前于屏幕上觀察的第二數(shù)字圖像(例如，HE圖像)中選擇子區(qū)帶。該系統(tǒng)可計(jì)算將兩個(gè)低分辨率數(shù)字圖像相匹配所需的空間變換、檢索與在HE圖像中選擇的子區(qū)帶對應(yīng)的IHC圖像中的子區(qū)帶(IHC圖像優(yōu)選具有比用于變換計(jì)算的分辨率更高的分辨率)、將空間變換應(yīng)用于從IHC圖像中檢索的子區(qū)帶，并且顯示這一子區(qū)帶連同HE圖像中的相應(yīng)一個(gè)(針對第一子區(qū)帶選定的具有更高分辨率的被選擇的一個(gè))。
在實(shí)施例中，用H&E染色技術(shù)來制備第二數(shù)字圖像并且該第二數(shù)字圖像定義了參考圖像。在實(shí)施例中，用IHC染色技術(shù)來制備第一數(shù)字圖像。在優(yōu)選實(shí)施例中，用H&E染色技術(shù)來制備第二數(shù)字圖像并且用IHC染色技術(shù)來制備第一數(shù)字圖像。這允許操作者看到以及分析來自采用不同染色技術(shù)的兩個(gè)圖像的相應(yīng)子區(qū)帶。所述染色技術(shù)提供了補(bǔ)充信息、強(qiáng)調(diào)不同結(jié)構(gòu)和/或功能性信息。在其他實(shí)施例中，用于第一和第二圖像的染色技術(shù)是相同的，例如用IHC或H&E染色的樣本的兩個(gè)圖像。在實(shí)施例中，確定空間變換包括相對于第二數(shù)字圖像空間對準(zhǔn)第一數(shù)字圖像的步驟。當(dāng)這一實(shí)施例與前面兩個(gè)實(shí)施例相結(jié)合時(shí)，這提供了將具有補(bǔ)充信息的不同染色技術(shù)的相應(yīng)子區(qū)帶可視化的手段。在進(jìn)一步的實(shí)施例中，病理學(xué)專家或者系統(tǒng)在第二數(shù)字圖像中選擇子區(qū)帶，這一子區(qū)帶具有輪廓，并且在檢索第一數(shù)字圖像的子區(qū)帶的步驟之前，該方法包括另外的步驟對所述輪廓執(zhí)行變換函數(shù)以獲得經(jīng)變換的輪廓，該經(jīng)變換的輪廓定義了該第一數(shù)字圖像的子區(qū)帶的輪廓。作為非限制性例子，當(dāng)在屏幕上顯示整個(gè)樣本區(qū)域或者其一部分的HE圖像時(shí)，她可選擇子區(qū)帶以看到這一樣本的特定區(qū)域。該系統(tǒng)計(jì)算HE圖像和IHC圖像之間的空間變換，首先將該變換應(yīng)用于所選擇子區(qū)帶的輪廓，因而獲得經(jīng)變換的輪廓。這一經(jīng)變換輪廓定義了 IHC圖像中的相應(yīng)子區(qū)帶。然后從IHC圖像檢索這一子區(qū)帶的內(nèi)容，對這一內(nèi)容執(zhí)行經(jīng)變換函數(shù)，然后通過例如與HE圖像的相應(yīng)子區(qū)帶并排地來顯示這一內(nèi)容。在實(shí)施例中，通過病理學(xué)專家或者通過系統(tǒng)自動地分別在第一和第二數(shù)字圖像中選擇第一和第二區(qū)域。這兩個(gè)區(qū)域都大于第一子區(qū)帶表示的總區(qū)域。然后空間變換，并且具體而言第一數(shù)字圖像相對于第二數(shù)字圖像的空間對準(zhǔn)，是基于在所述第一和第二區(qū)域中圖像內(nèi)容的比較。這允許在計(jì)算空間變換時(shí)采用來自全部數(shù)字圖像(或者其一部分)的全局信息。全局信息是很重要的，因?yàn)樗鲎訁^(qū)帶可能沒有包含足夠的交疊內(nèi)容來計(jì)算出該變換。
在實(shí)施例中，第一和第二區(qū)域基本等于第二數(shù)字圖像所表示的總區(qū)域。例如，基于樣本的全部掃描區(qū)域來執(zhí)行圖像配準(zhǔn)。并且更優(yōu)選地是所述第一和第二區(qū)域與第一子區(qū)帶交疊。這允許在計(jì)算空間變換時(shí)采用來自樣本全部掃描區(qū)域的全局信息。在進(jìn)一步的實(shí)施例中，從多分辨率圖像數(shù)據(jù)結(jié)構(gòu)中提供每個(gè)數(shù)字圖像。在計(jì)算變換函數(shù)的步驟中，從圖像數(shù)據(jù)結(jié)構(gòu)的低分辨率水平中獲得在其中使用的任何數(shù)字圖像。并且在從圖像檢索子區(qū)帶的步驟中，優(yōu)選從圖像數(shù)據(jù)結(jié)構(gòu)的更高分辨率水平中獲得這一圖像。這提供了對圖像配準(zhǔn)效率的進(jìn)一步改進(jìn)，尤其是因?yàn)樵谳^低分辨率圖像上計(jì)算空間變換要快得多(例如，低分辨率圖像具有比高分辨率圖像更小的圖像尺寸)。此外，如從之前可以理解的，對低分辨率圖像計(jì)算空間變換，但是將其應(yīng)用于高分辨率圖像，生成具有更小運(yùn)算開銷的高質(zhì)量輸出圖像。在進(jìn)一步的實(shí)施例中，變換函數(shù)適于在子區(qū)帶中高亮第一和第二數(shù)字圖像之間的區(qū)別。這允許確定將被顯示或者被進(jìn)一步分析的第一和第二圖像之間的不匹配。在另一實(shí)施例中，可從圖像庫直接獲得第二圖像或者從圖像庫生成第二圖像。然 后可基于從該庫檢索或者生成的第二圖像來計(jì)算變換函數(shù)。這種用法可包括但不限于，使用所檢索的第二圖像的像素?cái)?shù)據(jù)來計(jì)算變換函數(shù)。另一用法可包括使用所檢索的第二圖像的元數(shù)據(jù)(文本或者其他信息)來計(jì)算變換函數(shù)。在通常情況下，可通過例如計(jì)算符合一些檢索條件的圖像的平均來從庫中生成第二圖像。參照下文描述的優(yōu)選實(shí)施例，本發(fā)明的這些和其他方面將變得顯而易見并且得到闡述。


圖I示意性示出了數(shù)字病理學(xué)系統(tǒng)的典型元件；圖2示出了多分辨率圖像數(shù)據(jù)結(jié)構(gòu)的示意性圖示；圖3示出了根據(jù)本發(fā)明實(shí)施例的方法的說明性例子；圖4示出了數(shù)字圖像的顯示，其中通過定義輪廓而選擇子區(qū)帶；圖5示出了根據(jù)本發(fā)明另一實(shí)施例的方法的說明性例子；圖6示出了對同一數(shù)字圖像使用兩種處理方法的比較結(jié)果；圖7圖示了在本發(fā)明實(shí)施例中使用的配準(zhǔn)框架的部件。
具體實(shí)施例方式首先應(yīng)當(dāng)理解，當(dāng)提及圖像時(shí)，術(shù)語“內(nèi)容”指可以從這一圖像中導(dǎo)出的任何類型的信息。這種信息典型地可對應(yīng)于在樣本中存在的某些生物特征，并且典型地可對應(yīng)于從像素?cái)?shù)據(jù)中導(dǎo)出的信息。術(shù)語“變換(動詞)”、“變換函數(shù)”、“變換(名詞)”應(yīng)當(dāng)具有相同的含義。術(shù)語“區(qū)域”可優(yōu)選涉及所研究樣本的物理部分，而術(shù)語“區(qū)帶”或者“子區(qū)帶”可優(yōu)選涉及數(shù)字領(lǐng)域中的圖像的一部分。術(shù)語“子區(qū)帶”應(yīng)當(dāng)限定“區(qū)帶”的一部分。進(jìn)一步地，“提供圖像”應(yīng)包含現(xiàn)有技術(shù)中已知的各種可能性，例如從掃描器、從存儲器、從諸如內(nèi)部網(wǎng)網(wǎng)絡(luò)或者因特網(wǎng)的電信鏈接、從如下文中描述的數(shù)據(jù)結(jié)構(gòu)等接收圖像。
根據(jù)本發(fā)明，術(shù)語掃描器應(yīng)當(dāng)涉及在顯微鏡學(xué)中使用的任何掃描成像設(shè)備，并且尤其在以上介紹部分中提及的那些。根據(jù)本發(fā)明的數(shù)字病理學(xué)系統(tǒng)尤其包括參照圖I主要描述的元件。根據(jù)本發(fā)明的優(yōu)選實(shí)施例，PACS系統(tǒng)20包括多分辨率圖像數(shù)據(jù)結(jié)構(gòu)。這種數(shù)據(jù)結(jié)構(gòu)在現(xiàn)有技術(shù)中是公知的，并且尤其通過DICOM標(biāo)準(zhǔn)來定義。對這種數(shù)據(jù)結(jié)構(gòu)的描述也可以在 DICOM 附錄 145 中找到Whole Slide Microscopic Image IOD and SOP Classes [I]。它們可以被表示為例如如圖2所示。如可以看到的，在這一例子中數(shù)據(jù)結(jié)構(gòu)80可以由金字塔形狀表示。金字塔中的每個(gè)高度相應(yīng)于同一樣本的特定圖像分辨率水平。最高分辨率水平處于金字塔的底部，而最低分辨率是金字塔的頂端，并且可以典型地對應(yīng)于樣本的縮略圖。最高分辨率圖像優(yōu)選由掃描器采集，并且較低水平的每個(gè)圖像可以用掃描器采集，或者根據(jù)現(xiàn)有技術(shù)中公知的算法例如通過應(yīng)用小波變換(尤其見US6711297，US6553141，或者US6925298)從最高分辨率圖像導(dǎo)出。這種小波存儲格式可以有利地容易實(shí)現(xiàn)而不需要額外的存儲空間和/或帶寬。·同樣，如在數(shù)字病理學(xué)領(lǐng)域中所公知的，在這種數(shù)據(jù)結(jié)構(gòu)中的任何水平可以包括不同的圖像塊(由正方形表示，例如正方形SQ)。 數(shù)據(jù)結(jié)構(gòu)可以本地存儲或者在遠(yuǎn)程服務(wù)器上訪問。因此，本發(fā)明的系統(tǒng)包括解碼器70，其提供對這種數(shù)據(jù)結(jié)構(gòu)中處于任何期望圖像分辨率水平的任意期望子區(qū)帶的這種隨機(jī)訪問?，F(xiàn)在在圖3中圖示了根據(jù)本發(fā)明優(yōu)選實(shí)施例的方法的流程圖。本領(lǐng)域技術(shù)人員將意識到所描述的這些步驟以及在本文中描述的本發(fā)明方法的任意其他步驟的順序并不是強(qiáng)制性的，并且可以作出很多適當(dāng)?shù)恼{(diào)整。在步驟100中，在屏幕50上顯示第一數(shù)字圖像，例如示出了樣本或者其一部分的圖像，該樣本已經(jīng)通過H&E染色技術(shù)被染色(這一圖像在下文中被稱為HE圖像)。病理學(xué)專家能夠經(jīng)由用戶接口 60選擇變換函數(shù)，例如圖像對比度增強(qiáng)函數(shù)。通過在步驟101中選擇這一函數(shù)，系統(tǒng)在存儲器一典型地是緩沖存儲器一中加載這一變換函數(shù)的計(jì)算機(jī)指令(步驟102)。這些指令可被存儲在本地存儲器或者遠(yuǎn)程位置，例如遠(yuǎn)程服務(wù)器。病理學(xué)專家也能夠通過在步驟103中在HE圖像中選擇子區(qū)帶而選擇樣本中的感興趣區(qū)域。他典型地可使用諸如鼠標(biāo)的指定設(shè)備并且在屏幕上拖拽圖像選擇以定義子區(qū)帶。在步驟104中，解碼器70在HE圖像的數(shù)據(jù)結(jié)構(gòu)中定位子區(qū)帶，優(yōu)選以對于病理學(xué)專家而言足以觀察他所尋找的所有細(xì)節(jié)的高分辨率。從解碼器檢索子區(qū)帶的內(nèi)容并將其裝載入存儲器(例如，存儲器40 )，典型地是緩沖存儲器。該內(nèi)容典型地是像素?cái)?shù)據(jù)。在步驟105中，計(jì)算設(shè)備30對檢索的子區(qū)帶執(zhí)行所選擇的變換函數(shù)的指令，因而增強(qiáng)了這一子區(qū)帶的對比度。在步驟106中，HE圖像的初始顯示被增強(qiáng)的子區(qū)帶的顯示所替代。當(dāng)然，其他顯示選項(xiàng)也是可能的。作為一非限制性例子，可將HE圖像的顯示保持在屏幕上的較小區(qū)域中，并且可將子區(qū)帶顯示在HE圖像附近屏幕的更大區(qū)域中。病理學(xué)專家因而能夠保持對樣本的全面觀察同時(shí)看到子區(qū)帶中的細(xì)節(jié)。
雖然在以上描述的實(shí)施例中，變換函數(shù)可對應(yīng)于現(xiàn)有技術(shù)中已知的用于諸如對比度增強(qiáng)的圖像質(zhì)量增強(qiáng)的算法，但是也可基于另一數(shù)字圖像來確定變換函數(shù)。例如，其他數(shù)字圖像可定義將要實(shí)現(xiàn)的質(zhì)量性能。例如，其他圖像可是HE圖像，并且可定義第一 HE數(shù)字圖像將要實(shí)現(xiàn)的對比度水平。根據(jù)本發(fā)明的另一優(yōu)選實(shí)施例，從兩個(gè)不同的數(shù)字圖像中導(dǎo)出該變換函數(shù)。在示例性實(shí)施例中，變換被配置為對數(shù)字圖像應(yīng)用空間變換。更精確地，我們將在下文中看到，可使用以下的變換和其組合-剛性變換，其可包括平移、旋轉(zhuǎn)、縮放、裁剪，或者這些的任意期望組合，例如近似(平移+旋轉(zhuǎn)+縮放)和仿射(平移+旋轉(zhuǎn)+縮放+裁到)。-非剛性變換，也被稱為能變形變換，其包括全局剛性(平移+旋轉(zhuǎn))部分加上局部移位或者擾動。有多種可能方式來表示這種變換，包括B-樣條、薄板樣條、彈性模型(例如有限元模型)，以及光流法。 這種變換函數(shù)可以有利地用于如上提及的有效圖像配準(zhǔn)，以下將詳細(xì)描述其非限制性的示例性實(shí)施例。這一實(shí)施例尤其允許對具有諸如H&E和IHC的不同染色技術(shù)的全切片圖像的可視化。進(jìn)一步地，這一實(shí)施例典型地允許將屏幕上的固定圖像(例如，HE圖像)與已經(jīng)及時(shí)采集并因而移動的同一樣本的幾個(gè)其他圖像(例如，IHC圖像)相比較。與之前的給整個(gè)全切片圖像應(yīng)用對準(zhǔn)變換的運(yùn)算密集方法不同，這一實(shí)施例是基于兩步策略，其目的在于滿足運(yùn)算和時(shí)間的限制而不犧牲質(zhì)量。在第一步驟中，確定空間變換。更精確地，通過訪問保存在PACS中的兩個(gè)數(shù)據(jù)結(jié)構(gòu)而檢索完整的HE圖像和至少一個(gè)完整的IHC圖像，它們優(yōu)選都是低分辨率的，并且將它們加載200至緩沖存儲器。該空間變換尤其允許在系統(tǒng)中確定201HE圖像中基本上所有的點(diǎn)與IHC圖像中相應(yīng)點(diǎn)的空間匹配。該變換也尤其允許該兩個(gè)圖像之間的空間對準(zhǔn)。在這一優(yōu)選實(shí)施例中，比較HE和IHC圖像的全部內(nèi)容。進(jìn)一步地，HE圖像定義了參考圖像，諸如IHC圖像的其他圖像應(yīng)當(dāng)相對于該參考圖像空間對準(zhǔn)。然后可以將變換函數(shù)存儲在存儲器中以備后用，或者在該步驟馬上要執(zhí)行的情況下將其保留在緩沖存儲器中。在示例性實(shí)施例的第二步驟中，參考圖4和5，在步驟202中可在HE圖像HEl中選擇子區(qū)帶，因而定義了輪廓，如例如圖4中示出的圍繞特征A的輪廓SUBl。如上所述，可通過病理學(xué)專家本人采用指定設(shè)備，或者通過例如能夠自動識別樣本中將被觀察或者分析的感興趣區(qū)帶的系統(tǒng)來做出這一選擇。在步驟203中，如果必要的話，將在策略的第一步驟中計(jì)算出的空間變換加載至緩沖存儲器，并且在步驟204中針對輪廓SUBl執(zhí)行該空間變換以生成經(jīng)變換的輪廓SUB2。這一經(jīng)變換輪廓SUB2現(xiàn)在定義了 IHC數(shù)字圖像的子區(qū)帶的輪廓SUBIHC，其將被顯示在屏幕上并由病理學(xué)專家觀察。在步驟205中，從IHC圖像數(shù)據(jù)結(jié)構(gòu)中檢索經(jīng)變換輪廓所包圍的子區(qū)帶(典型地是像素?cái)?shù)據(jù))。數(shù)據(jù)結(jié)構(gòu)中的用于檢索這一子區(qū)帶的IHC圖像優(yōu)選具有比為了在步驟I中計(jì)算變換函數(shù)而檢索的完整圖像的分辨率更高的分辨率。
在步驟206中，對所檢索的IHC子區(qū)帶執(zhí)行同樣的空間變換。最后，在步驟207中，將如此計(jì)算的IHC圖像的子區(qū)帶和HE圖像的子區(qū)帶例如并排地一起顯示在屏幕 上以容易比較。圖6B示出了與以下方法(圖6A)相比的根據(jù)這一實(shí)施例的圖像處理方法的結(jié)果其中用對已經(jīng)在步驟202中選定的子區(qū)帶進(jìn)行直接變換的單個(gè)步驟替換步驟204到206。如可以看到的，本發(fā)明的實(shí)施例尤其提供遠(yuǎn)遠(yuǎn)更好的視覺吸引效果。如已經(jīng)提及地，該策略的第二步驟在線執(zhí)行并且允許實(shí)時(shí)操作。具體而言，這一實(shí)施例使得在病理學(xué)專家在HE圖像中選擇子區(qū)帶之后可能實(shí)時(shí)顯示兩個(gè)被配準(zhǔn)的IHC和HE圖像，或者一個(gè)HE圖像和幾個(gè)IHC移動圖像。當(dāng)然，本領(lǐng)域技術(shù)人員將能夠得到這一優(yōu)選實(shí)施例的明顯替代。具體而言，替代于在HE圖像中執(zhí)行子區(qū)帶的選擇，可在至少一個(gè)IHC圖像中做出該選擇，然后將這一圖像定義為參考圖像。 現(xiàn)在將描述使用空間變換的該實(shí)施例的更加詳細(xì)的實(shí)現(xiàn)方式。下文中的術(shù)語觀察區(qū)將指的是在系統(tǒng)的圖像呈現(xiàn)器上被當(dāng)前觀察的圖像區(qū)帶。I.第一步驟配準(zhǔn)配準(zhǔn)階段用于計(jì)算使得多個(gè)移動圖像(在本發(fā)明的意圖中是第一數(shù)字圖像)與固定參考圖像(在本發(fā)明的意圖中是第二數(shù)字圖像)空間對準(zhǔn)的變換。歸因于之前已經(jīng)論述過的數(shù)字顯微鏡圖像的大尺寸，該過程的這一步驟優(yōu)選對低分辨率圖像執(zhí)行。該配準(zhǔn)可被為公式化為優(yōu)化問題，其中相對于參數(shù)坐標(biāo)變換T (x)將代價(jià)函數(shù)C最小化的。該優(yōu)化問題可以表達(dá)如下//'=arg max ('(/ ;
If 11 μ )其中下標(biāo)指示變換參數(shù)，IF是固定參考圖像,并且IM是被應(yīng)用變換的移動圖像。采用迭代優(yōu)化方案來解決在以上方程式中表達(dá)的最小化問題。圖7描繪了配準(zhǔn)框架的部件。分別由部件CFI和CFM來提供任意固定圖像和移動圖像。如可以看到的，迭代優(yōu)化循環(huán)涉及空間變換400，評估固定和經(jīng)變換移動圖像的相似性的度量401，以及調(diào)整變換參數(shù)以將當(dāng)前度量值最小化的優(yōu)化器402。也示出了用于使用當(dāng)前變換來重采樣移動圖像(第一數(shù)字圖像)的內(nèi)插器403，以及用于針對度量計(jì)算獲得(典型為隨機(jī)地)像素樣本的采樣器404。針對通過金字塔部件405計(jì)算出的不同分辨率水平來重復(fù)整個(gè)優(yōu)化過程。將變換參數(shù)從先前的分辨率水平傳送以導(dǎo)致迭代的粗略-精細(xì)過程。針對上述配準(zhǔn)框架中的每個(gè)部件具有很多不同的選項(xiàng)。用于相似性測度的幾種選擇包括方差和(SSD)、歸一化相關(guān)系數(shù)(NCC)、交互信息(MI)，以及Kappa統(tǒng)計(jì)值(KS)。SSD和NCC適于具有相同或者類似像素強(qiáng)度的圖像(也即，相同模態(tài))。相反，MI僅假設(shè)像素強(qiáng)度之間的統(tǒng)計(jì)學(xué)關(guān)系，并且因而適用于多模態(tài)圖像。KS可以用于配準(zhǔn)二進(jìn)制圖像。配準(zhǔn)框架也可實(shí)現(xiàn)多個(gè)變換函數(shù)，每個(gè)具有變化的自由度(μ (mu)的維數(shù))。以下是可能的變化函數(shù)的非限制性列表，并在括號中指出自由度平移(2)、旋轉(zhuǎn)(2)、剛性(平移和旋轉(zhuǎn)，4)、相似性(平移、旋轉(zhuǎn)、以及同向性縮放，5)、仿射(平移、旋轉(zhuǎn)、縮放、以及裁剪，6)、B-樣條能變形(取決于用戶選定的柵格尺寸的可變維度)。各種優(yōu)化方法也是可能的，包括梯度下降法、擬牛頓法、進(jìn)化策略，以及多種隨機(jī)梯度下降方法。
涉及多模態(tài)分析的情況可典型地包括至少一個(gè)H&E染色切片以及一個(gè)或多個(gè)IHC染色切片。例如乳房活檢可用H&E，并且以下的IHC染色ER (雌激素受體)、PgR (黃體酮受體)、HER2 (人類表皮生長因子受體2)，以及Ki-67。由于這對于大部分病理學(xué)情況是普遍的，因此選擇H&E作為固定圖像(本發(fā)明意義中的第二數(shù)字圖像)，并且每個(gè)IHC染色圖像與這一單獨(dú)的參考圖像空間對準(zhǔn)。這一選擇意味著配準(zhǔn)過程僅需要對每個(gè)IHC圖像應(yīng)用一次以允許H&E-IHC和IHC-IHC分析。例如，通過配準(zhǔn)H&E-ER和H&E-HER2，可能——沒有額外運(yùn)算地——觀察到ER-HER2對準(zhǔn)圖像。多模態(tài)數(shù)字全切片顯微鏡圖像的配準(zhǔn)可自動地排除很多以上提及的相似性度量。優(yōu)選的選擇是交互信息(MI)，其一歸因于其統(tǒng)計(jì)學(xué)性質(zhì)一固有地支持不同模態(tài)的圖像。一種可能的實(shí)現(xiàn)方式是對固定和移動圖像的唯一通道(例如，亮度)計(jì)算MI度量，然而將變換函數(shù)應(yīng)用于完整的三通道彩色圖像。給出了度量，那么使用哪一個(gè)優(yōu)化器和采樣器的決策是更加簡單的。當(dāng)使用隨機(jī)選定樣本并且使用運(yùn)算高效的隨機(jī)梯度下降方法(隨機(jī)梯度下降法與確定性方法的區(qū)別在于代價(jià)函數(shù)的導(dǎo)數(shù)是逼近的)時(shí)，已知交互信息將 產(chǎn)生良好的結(jié)果。對于空間變換函數(shù)可能具有不同的選擇。對于運(yùn)算效率和速度，期望只應(yīng)用平移而將固定和移動圖像空間對準(zhǔn)。這種操作需要對觀察區(qū)中可見的像素的要求的簡單修改。然而，歸因于組織在切片制備過程期間可能很容易受到局部變形的事實(shí)，全局平移變換典型地可能難以使得圖像足夠?qū)?zhǔn)。全局剛性變換，雖然改進(jìn)了，但是也可能不具有足夠的自由度來描述局部變形。另一方面，能變形變換可能具有解釋局部擾動所需的自由度，但是不能保證已經(jīng)應(yīng)用正確的逆向扭曲來復(fù)原組織。此外，這些變換類型中的每一個(gè)具有不同的運(yùn)算復(fù)雜性。2.第二步驟在線變換如已經(jīng)敘述的，歸因于數(shù)字全切片圖像的尺寸(大約是15-30GB)，可能很難將整個(gè)圖像加載至存儲器以用于觀察。因此，可有利地采用如之前尤其參照圖2描述的基于塊的金字塔狀數(shù)據(jù)結(jié)構(gòu)，以允許隨機(jī)訪問指定分辨率水平的特定區(qū)帶。不僅這些極端尺寸可能會給觀察造成問題，而且當(dāng)考慮圖像處理和配置方法時(shí)，其也可能會造成問題。當(dāng)然，如所述，一種可能性可能是對整個(gè)數(shù)字圖像應(yīng)用配準(zhǔn)變換。雖然這在技術(shù)上是很簡單的，但是它伴隨著不必要的運(yùn)算開銷在大部分情況下，臨床病理學(xué)專家將僅回顧一些高倍視野區(qū)帶(例如，20x或者40x的縮放系數(shù))。當(dāng)將僅觀察圖像的一部分時(shí)，對整個(gè)這一圖像應(yīng)用變換可能是低效的。此外，處理這一全切片圖像意味著用戶在運(yùn)行時(shí)間中不能選擇應(yīng)當(dāng)應(yīng)用哪種類型的變換函數(shù)(全局剛性、能變形的、局部平移，等等)。為了避免這種問題，僅對當(dāng)前的可見區(qū)帶，也即觀察區(qū)或者所述不同的子區(qū)帶應(yīng)用在先前步驟中計(jì)算出的變換?，F(xiàn)在，可以實(shí)現(xiàn)用于顯示的觀察器從而簡單地將選擇的變換應(yīng)用于觀察區(qū)中的像素。然后該步驟典型地如下(I)由病理學(xué)專家選擇觀察區(qū)，(2)從金字塔數(shù)據(jù)結(jié)構(gòu)中獲得該觀察區(qū)中的像素，(3)變換所請求的像素，(4)顯示經(jīng)變換的像素。遺憾的是，如此做的話，大空間變換函數(shù)將如圖6所示地將所請求的像素移出觀察區(qū)。這一問題在更高分辨率(例如，20x，40x)時(shí)將是最明顯的，因?yàn)樽儞Q的影響也被放大。因此，替代地，再次使用以上描述的根據(jù)本發(fā)明優(yōu)選實(shí)施例的處理。
(I)由病理學(xué)專家選擇觀察區(qū)，(2)通過空間變換來修改該觀察區(qū)，(3)從數(shù)據(jù)結(jié)構(gòu)中獲得經(jīng)修改區(qū)帶中的像素，(4)變換所請求的像素，(5)顯示經(jīng)變換的像素。對所請求子區(qū)帶的修改對于每個(gè)變換類型而言是稍微不同的。在恒等變換的情況下，不修改所請求子區(qū)帶的區(qū)帶。該平移變換僅僅要求通過平移向量來偏移子區(qū)帶的每個(gè)角。在剛性的情況下，變換子區(qū)帶的每個(gè)角點(diǎn)(平移，旋轉(zhuǎn))，并且所請求的區(qū)帶設(shè)置到該經(jīng)變換的點(diǎn)的邊界框。類似地，對于能變形變換的情況，變換位于子區(qū)帶上的多個(gè)等距點(diǎn)，并且所請求的子區(qū)帶設(shè)置到由該經(jīng)變換的點(diǎn)定義的輪廓。與剛性的情況不同，角點(diǎn)不能滿足能變形變換，因?yàn)槟茏冃斡驅(qū)τ谡麄€(gè)子區(qū)帶而言是不一致的。經(jīng)驗(yàn)證明八到十六個(gè)點(diǎn)就足·夠了。此時(shí)，有趣的是描述能變形變換和觀察區(qū)修改的新穎性組合。在全局剛性和能變形變換函數(shù)的情況下，在觀察區(qū)修改之后請求的像素必須經(jīng)受某種內(nèi)插(線性的，雙三次的，等等)。這一內(nèi)插雖然可能以實(shí)時(shí)幀速率來執(zhí)行，但是仍然消耗運(yùn)算資源。此外，如果看作為低通濾波器，那么這種內(nèi)插最終會給源數(shù)據(jù)引入一定程度的平滑。相比之下，簡單的平移避免了這些問題一修改所請求的子區(qū)帶以解釋避免了運(yùn)算和內(nèi)插平滑效果兩者的平移。然而，如前所述，平移遠(yuǎn)遠(yuǎn)不足以解釋局部組織變形。替代于計(jì)算并對全切片圖像應(yīng)用平移(也即，全局的)，可能使用能變形變換來針對當(dāng)前觀察區(qū)提取局部平移。然后可如下計(jì)算出這一 “局部平移”(I)由用戶選擇觀察區(qū)，(2)通過如以上描述的能變形變換來修改該觀察區(qū)，(3)將與原始觀察區(qū)具有相同尺寸的區(qū)帶在經(jīng)修改觀察區(qū)之內(nèi)居中，(4)從數(shù)據(jù)結(jié)構(gòu)中獲得居中區(qū)帶中的像素，(5)顯示所請求的像素。一個(gè)顯而易見的缺點(diǎn)在于該變換不能解釋局部旋轉(zhuǎn)，意味著切片圖像需要(大致的)角對應(yīng)。另一問題在于對于低縮放系數(shù)(例如，當(dāng)全切片圖像適合于觀察區(qū)時(shí))，變換簡化為全局平移。然而，對于高縮放系數(shù)(例如，40x)，變換應(yīng)當(dāng)近似于能變形變換(而沒有旋轉(zhuǎn)分量或者高度局部擾動)。如之前提出的，配準(zhǔn)階段可包括兩個(gè)子步驟第一子步驟計(jì)算剛性變換，第二子步驟使用剛性結(jié)果作為計(jì)算非剛性(能變形)變換的初始值。每個(gè)子步驟可在多個(gè)分辨率水平上計(jì)算，并且將來自先前水平的結(jié)果用作當(dāng)前水平的初始值?？赡芨淖冊谄渖嫌?jì)算配準(zhǔn)的“最終”水平。注意到水平零涉及圖像金字塔的基準(zhǔn)水平(例如，原始掃描的20x圖像)。例如，最終水平六意味著以下(假設(shè)三個(gè)分辨率水平):(I)在水平八計(jì)算剛性變換，(2 )使用結(jié)果來精化水平七的剛性變換，(3)使用結(jié)果來精化水平六的剛性變換，(4)使用來自水平六的剛性變換來計(jì)算水平八的能變形變換，(5)使用結(jié)果來精化水平七的能變形變換，(6)使用結(jié)果來精化水平六的最終能變形變換。實(shí)驗(yàn)似乎表明，特別是在能變形變換的情況下，高分辨率水平(例如，四和五)與低分辨率水平(例如，六和七)相比具有較小的配準(zhǔn)誤差(以及較小的偏差)。同樣，針對低分辨(例如，水平六和七)的配準(zhǔn)過程似乎要比針對高分辨率(例如，水平四和五)的更快。因此看來使用最終水平五或者六在質(zhì)量和速度之間提供了很好的權(quán)衡?；叵氲胶茈y選擇用于配準(zhǔn)整個(gè)數(shù)字顯微鏡圖像的最適合變換。全局平移是快速的，但是難以解釋旋轉(zhuǎn)或者局部變形。全局剛性變換解釋了旋轉(zhuǎn)，但是不能解釋局部變形。非剛性(能變形)變換以大量參數(shù)(也即，速度)為代價(jià)處理了局部擾動。最后，局部平移變換是快速的并且保持了原始圖像質(zhì)量，但是沒有完全解釋組織的變形。實(shí)驗(yàn)似乎表明，能變形變換是最慢的，其中局部平移執(zhí)行起來幾乎與無變換(恒等)一樣快。進(jìn)一步的實(shí)驗(yàn)建議對于所有的縮放系數(shù)，能變形變換要優(yōu)于剛性變換，這繼而也優(yōu)于恒等。另一方面，局部平移方法類似于低縮放系數(shù)下的恒等變換，類似于中等縮放系數(shù)下的剛性變換，并且與高縮放系數(shù)下的能變形變換具有相同的質(zhì)量?？偠灾?，全局剛性變換提供了中等的性能和質(zhì)量。能變形變換提供了最好的質(zhì)量并且對于所有的縮放系數(shù)而言是不變的；然而，其是最慢的(初始運(yùn)算，以及當(dāng)在觀察區(qū)中變換像素時(shí))。盡管能變形變換嘗試著將組織結(jié)構(gòu)和細(xì)胞精確對準(zhǔn)時(shí)，但也要求內(nèi)插，該 內(nèi)插由于平滑而對圖像質(zhì)量具有輕微的負(fù)面影響。局部平移變換具有最好的性能，但是對于初始離線運(yùn)算而言其花費(fèi)與能變形變換相同的時(shí)間。由于它不需要內(nèi)插，因此它提供了良好圖像質(zhì)量以及高縮放系數(shù)下的交疊，但是在低縮放系數(shù)下簡化為全局平移。本發(fā)明的教導(dǎo)很清楚地意在覆蓋以上描述實(shí)施例或者修改的任意組合。雖然已經(jīng)在圖中和前述描述中詳細(xì)圖示和描述了本發(fā)明，但是這種圖示和描述應(yīng)當(dāng)被認(rèn)為是說明性或者示例性的，而不是限制性的；本發(fā)明不限于所公開的實(shí)施例。本領(lǐng)域技術(shù)人員在實(shí)踐所要求的發(fā)明時(shí)，通過對圖、公開內(nèi)容和所附權(quán)利要求的研究，可以理解和實(shí)現(xiàn)對所公開實(shí)施例的其他變型。例如，本發(fā)明包含如下的實(shí)施例，其中可將大型數(shù)字圖像存儲在服務(wù)器上，客戶端提供大型圖像中的至少一個(gè)的交互視圖，以及僅示出這一完整數(shù)字圖像的子區(qū)帶。正好在將該子區(qū)帶顯示在屏幕上之前通過客戶端對這一子區(qū)帶應(yīng)用變換函數(shù)。作為另一例子，可直接從掃描器獲得變換函數(shù)，或者可從變換函數(shù)存儲的遠(yuǎn)程位置將該變換函數(shù)傳送到系統(tǒng)。同樣，雖然以上已經(jīng)描述了 IHC和H&E染色技術(shù)，但是本發(fā)明包含使用諸如熒光學(xué)(例如，熒光原位雜交方法)的其他公知技術(shù)的實(shí)施例。此外，當(dāng)實(shí)現(xiàn)具有第一和第二圖像的本發(fā)明時(shí)，可以考慮兩個(gè)這些染色技術(shù)的任意組合，例如HE圖像與IHC圖像，或者IHC圖像和IHC圖像，或者HE圖像與熒光圖像，等等。在權(quán)利要求中，術(shù)語“包括”不排除其他元件或者步驟，并且不定冠詞“一”或“一個(gè)”不排除多個(gè)。在相互不同的從屬權(quán)利要求中陳述某種措施的這一僅有事實(shí)，并不表示不能將這些措施的組合加以利用。在權(quán)利要求中的任何附圖標(biāo)記不應(yīng)當(dāng)解釋為是對范圍的限制。[1]DIC0M Standards Committee Working Group 26 (Pathology);Supplementl45:Whole Slide Microscopic Image 10D and SOP Classes;NEMA;ftp://medical, nema.org/medical/dicom/supps/supI45_09. pdf
權(quán)利要求
1.一種用于處理表示區(qū)帶中樣本的第一數(shù)字圖像的方法，并且已經(jīng)借助于顯微鏡成像系統(tǒng)(I)從所述樣本采集了所述圖像，并將所述圖像存儲在多分辨率圖像數(shù)據(jù)結(jié)構(gòu)(80)中，所述方法包括步驟 -檢索(104)第一分辨率的所述第一數(shù)字圖像的子區(qū)帶， -對所檢索的子區(qū)帶執(zhí)行(105)變換函數(shù)，所述變換函數(shù)根據(jù)從所述第一數(shù)字圖像的第二分辨率表示中導(dǎo)出的至少一個(gè)度量來修改所述子區(qū)帶的內(nèi)容。
2.如權(quán)利要求I所述的方法，還包括根據(jù)除了從所述第一圖像導(dǎo)出的所述度量之外的從第二數(shù)字圖像導(dǎo)出的至少一個(gè)度量來計(jì)算所述變換函數(shù)的步驟。
3.如權(quán)利要求2所述的方法，其中，所述變換函數(shù)是空間變換。
4.如權(quán)利要求2所述的方法，其中，所述第一和第二數(shù)字圖像表示相同的樣本，并且其中，計(jì)算所述變換函數(shù)包括將所述第一數(shù)字圖像相對于所述第二數(shù)字圖像空間對準(zhǔn)的步驟。
5.如權(quán)利要求2和4中的任意一項(xiàng)所述的方法，還包括在所述第二數(shù)字圖像中選擇子區(qū)帶的步驟，這一子區(qū)帶具有輪廓，并且在檢索所述第一數(shù)字圖像的子區(qū)帶的步驟之前，所述方法包括另外的步驟對所述輪廓執(zhí)行所述變換函數(shù)以獲得定義了所述第一數(shù)字圖像的所述子區(qū)帶的輪廓的經(jīng)變換的輪廓。
6.如權(quán)利要求2到5中的任意一項(xiàng)所述的方法，還包括分別在所述第一數(shù)字圖像和在所述第二數(shù)字圖像中選擇第一和第二區(qū)域的步驟，這兩個(gè)區(qū)域都大于由所述第一子區(qū)帶表示的總區(qū)域，并且其中，基于在所述第一和第二區(qū)域中的內(nèi)容的比較而相對于所述第二數(shù)字圖像對準(zhǔn)所述第一數(shù)字圖像。
7.如權(quán)利要求2到6中的任意一項(xiàng)所述的方法，其中，也從多分辨率圖像數(shù)據(jù)結(jié)構(gòu)來提供所述第二數(shù)字圖像，并且其特征在于，在計(jì)算所述變換函數(shù)的所述步驟中，所述第一和第二數(shù)字圖像在低分辨率，并且其特征在于，所檢索的子區(qū)帶在高分辨率。
8.如權(quán)利要求6和7中的任意一項(xiàng)所述的方法，其中，所述第一和第二區(qū)域基本上等于由所述第二數(shù)字圖像表示的總區(qū)域。
9.如權(quán)利要求6和8中的任意一項(xiàng)所述的方法，其中，所述第一和第二區(qū)域與所述第一子區(qū)帶交疊。
10.如權(quán)利要求2到9中的任意一項(xiàng)所述的方法，其中，所述變換函數(shù)適于在所述子區(qū)帶中高亮所述第一數(shù)字圖像和所述第二數(shù)字圖像之間的區(qū)別。
11.如權(quán)利要求2到10中的任意一項(xiàng)所述的方法，其中，已經(jīng)分別使用第一和第二樣本制備技術(shù)采集了所述第一和第二數(shù)字圖像，這兩個(gè)技術(shù)是不同的。
12.如權(quán)利要求11所述的方法，其中，所述第二數(shù)字圖像的樣本是用H&E染色技術(shù)制備的。
13.如權(quán)利要求11或12所述的方法，其中，所述第一數(shù)字圖像的樣本是用IHC染色技術(shù)或者熒光染色技術(shù)制備的。
14.如權(quán)利要求I所述的方法，其中，所述變換函數(shù)適于增強(qiáng)所述子區(qū)帶的對比度。
15.一種用于處理表示區(qū)帶中樣本的第一數(shù)字圖像(IHC)的計(jì)算機(jī)程序產(chǎn)品，并且已經(jīng)借助于顯微鏡成像系統(tǒng)從所述樣本采集了所述圖像，所述計(jì)算機(jī)程序產(chǎn)品包括以下指令-檢索所述第一數(shù)字圖像(IHC)的子區(qū)帶， -對所檢索的子區(qū)帶(IHC)執(zhí)行變換函數(shù)，所述變換函數(shù)適于修改所述第一數(shù)字圖像的內(nèi)容。
16.如權(quán)利要求15所述的計(jì)算機(jī)程序產(chǎn)品，還包括通過以下方式來計(jì)算所述變換函數(shù)的指令 -提供已經(jīng)借助于顯微鏡成像系統(tǒng)從所述樣本采集的第二數(shù)字圖像(例如，參考圖像HE)， -確定所述第一和第二數(shù)字圖像之間的空間變換。
全文摘要
本發(fā)明屬于數(shù)字病理學(xué)中的圖像處理領(lǐng)域。它尤其提出了一種用于處理表示區(qū)帶中樣本的第一數(shù)字圖像的方法，并且已經(jīng)借助于顯微鏡成像系統(tǒng)(1)從所述樣本采集了所述圖像，并將所述圖像存儲在多分辨率圖像數(shù)據(jù)結(jié)構(gòu)(80)中，包括步驟檢索(104)第一分辨率的所述第一數(shù)字圖像的子區(qū)帶，對所檢索的子區(qū)帶執(zhí)行(105)變換函數(shù)，所述變換函數(shù)根據(jù)從所述第一數(shù)字圖像的第二分辨率表示中得到的至少一個(gè)度量來修改所述子區(qū)帶內(nèi)容。
文檔編號G06T3/00GK102947860SQ201180029310
公開日2013年2月27日 申請日期2011年6月10日 優(yōu)先權(quán)日2010年6月15日
發(fā)明者D·米勒, D·福森, B·胡什肯 申請人:皇家飛利浦電子股份有限公司