1.本發(fā)明涉及一種用于處理顯微圖像的顯微系統(tǒng)及方法。


背景技術(shù)：

2.用戶通常分析由顯微鏡捕獲的圖像(顯微鏡圖像)，為此可以使用部分自動化的處理步驟。例如，機器學(xué)習(xí)算法，特別是深度學(xué)習(xí)算法，用于例如圖像分割、檢測、對象識別、對象分類或圖像分類或圖像到圖像的轉(zhuǎn)換的各種任務(wù)。機器學(xué)習(xí)算法通常包括自由參數(shù)，這些自由參數(shù)是使用訓(xùn)練數(shù)據(jù)自動確定的。然后可以將機器學(xué)習(xí)算法應(yīng)用于顯微鏡圖像，例如為了將圖像分割成樣本區(qū)域和背景區(qū)域。
3.這種機器學(xué)習(xí)算法的一個例子是卷積神經(jīng)網(wǎng)絡(luò)(cnn)，例如，krizevsky.alex在“使用深度卷積神經(jīng)網(wǎng)絡(luò)進行imagenet分類”中的描述；sutskever.ilya、hinton、geoffreye發(fā)表在2012年的第1097-1105頁的“神經(jīng)信息處理系統(tǒng)的進展”。cnn由連續(xù)層組成，該連續(xù)層主要實現(xiàn)卷積和非線性操作。cnn的架構(gòu)由這些層的排列來定義。例如卷積操作的自由參數(shù)是卷積掩碼的值。雖然架構(gòu)是為cnn預(yù)先確定和固定的，但自由參數(shù)是通過例如帶注釋的圖像數(shù)據(jù)(訓(xùn)練數(shù)據(jù))的隨機梯度下降來學(xué)習(xí)的。
4.原則上，顯微鏡可以配備訓(xùn)練完成的模型。或者，顯微鏡也可以配備還沒有訓(xùn)練的模型，然后由顯微鏡用戶/操作員使用他們自己的圖像進行訓(xùn)練。訓(xùn)練后的模型隨后能夠?qū)Σ东@的顯微鏡圖像執(zhí)行處理或分析步驟。
5.然而，經(jīng)常需要不斷改進機器學(xué)習(xí)算法，例如在要檢測新樣本或樣本容器的情況下，這些樣本或樣本容器尚不存在或在模型的原始訓(xùn)練時不可用。原則上，這種額外的訓(xùn)練可以發(fā)生在顯微鏡制造商一方或顯微鏡用戶一方。
6.如果可以將多個顯微鏡用戶的各種訓(xùn)練模型組合成一個特別強大的綜合模型，則訓(xùn)練發(fā)生在顯微鏡用戶一方是有利的。然而，目前還沒有已知的方法可以有效地合并不同的訓(xùn)練好的模型。
7.或者，如果可以將不同顯微鏡用戶捕獲的顯微鏡圖像一起用作訓(xùn)練數(shù)據(jù)，那將是可取的。這需要將不同用戶的顯微鏡圖像傳輸?shù)街醒胛恢茫顼@微鏡制造商。在中央位置，可以使用包含眾多用戶的顯微鏡圖像的訓(xùn)練數(shù)據(jù)來形成綜合模型。然后可以將該綜合模型重新分發(fā)給所有顯微鏡用戶，然后他們將從綜合模型的改進中受益。這種方法需要共享自己的顯微鏡圖像，然而，某些顯微鏡用戶不希望這樣做，或者這些用戶在法律上是禁止的。因此，目前無法使用具有敏感數(shù)據(jù)的顯微鏡圖像來基于不同顯微鏡用戶的數(shù)據(jù)形成綜合模型。為了從圖像中去除敏感信息，原則上敏感圖像區(qū)域可以像素化或渲染噪聲，如ep3188058a1中的描述。然而，這會生成一些圖像，這些圖像的一些圖像區(qū)域沒有信息，因此這些圖像通常不適合用作機器學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)。相比之下，ep3451209a1中所述的方法實現(xiàn)了一定的改進，其中首先通過gan(生成對抗網(wǎng)絡(luò))從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)一種模型，該模型能夠用一般內(nèi)容來替換輸入圖像的信息。如果現(xiàn)在輸入帶有敏感數(shù)據(jù)的圖像，則同樣可以將敏感數(shù)據(jù)替換為一般內(nèi)容來計算輸出圖像。輸出圖像因此可以看起來真實，尤其是沒有
噪聲或像素化。然而，對于這種方法，訓(xùn)練數(shù)據(jù)必須與輸入圖像有足夠的相似度，才能生成逼真的輸出圖像——然而，當(dāng)輸入圖像是偏離之前的訓(xùn)練數(shù)據(jù)的新的顯微鏡圖像時，情況不一定總是如此。然而，正是這種新的顯微鏡圖像示出了當(dāng)前上下文中的特別關(guān)注，例如不同類型的樣本或樣本載體，或者在不同的照明條件下捕獲的圖像，以補充當(dāng)前的訓(xùn)練數(shù)據(jù)。ep3451209a1中針對本技術(shù)的對象所所述的方法的另一個缺點是所生成的圖像內(nèi)容由模型基于已經(jīng)可用的訓(xùn)練數(shù)據(jù)學(xué)習(xí)的一般信息構(gòu)成。因此，圖像內(nèi)容是從已經(jīng)包含統(tǒng)計分布的模型訓(xùn)練中生成的。這降低了生成的輸出圖像作為新訓(xùn)練圖像可以擁有的價值。
8.因此，如何將不同顯微鏡用戶的個人數(shù)據(jù)或模型合并為一個綜合模型而不必披露用戶的敏感信息的問題仍未得到解答。
9.除了所引用的機器學(xué)習(xí)的使用例子之外，本發(fā)明還涉及其他應(yīng)用，其中無需傳輸敏感信息而進行的顯微鏡用戶的圖像數(shù)據(jù)的分析或處理是可能的。


技術(shù)實現(xiàn)要素：

10.可以認(rèn)為本發(fā)明的一個目的是指出一種用于處理顯微圖像的顯微系統(tǒng)和方法，通過該顯微系統(tǒng)和方法可以有效地使用顯微圖像，而不管敏感信息如何。
11.該目的通過具有權(quán)利要求1的特征的方法以及通過具有權(quán)利要求14的特征的顯微系統(tǒng)來實現(xiàn)。
12.在根據(jù)本發(fā)明的用于處理顯微鏡圖像的方法中，至少接收顯微鏡的第一圖像數(shù)據(jù)集。第一圖像數(shù)據(jù)集可以直接由顯微鏡傳輸，也可以預(yù)先用顯微鏡捕獲并從數(shù)據(jù)庫中加載。通過第一計算設(shè)備來至少估計第一生成模型，該第一生成模型所述第一圖像數(shù)據(jù)集。隨后，由第一生成模型生成第一生成的圖像數(shù)據(jù)集并將其傳輸?shù)綌?shù)據(jù)開發(fā)設(shè)備，或者，將第一生成模型傳輸?shù)綌?shù)據(jù)開發(fā)設(shè)備，隨后由所傳輸?shù)牡谝簧赡Ｐ蛠砩傻谝簧傻膱D像數(shù)據(jù)集傳輸。然后通過數(shù)據(jù)開發(fā)設(shè)備來開發(fā)第一生成的圖像數(shù)據(jù)集。
13.本發(fā)明的顯微鏡系統(tǒng)包括第一計算設(shè)備，其被配置為接收顯微鏡的至少第一圖像數(shù)據(jù)集，并估計至少所述第一圖像數(shù)據(jù)集的第一生成模型。顯微鏡系統(tǒng)還包括數(shù)據(jù)開發(fā)設(shè)備，其被配置為開發(fā)第一生成的圖像數(shù)據(jù)集。第一計算設(shè)備被配置為通過第一生成模型生成第一生成的圖像數(shù)據(jù)集并將第一生成的圖像數(shù)據(jù)集傳輸?shù)綌?shù)據(jù)開發(fā)設(shè)備，或者數(shù)據(jù)開發(fā)設(shè)備被配置為接收來自第一計算設(shè)備的第一生成模型，并通過第一生成模型生成第一生成的圖像數(shù)據(jù)集。
14.區(qū)別于僅傳輸所述圖像數(shù)據(jù)的模型，或者替代地，傳輸從該模型生成的數(shù)據(jù)集，通過本發(fā)明，數(shù)據(jù)開發(fā)設(shè)備能夠使用來自圖像數(shù)據(jù)集的信息，而無需將圖像數(shù)據(jù)集本身傳輸?shù)綌?shù)據(jù)開發(fā)設(shè)備。因此，即使在敏感數(shù)據(jù)的情況下也可以獲取和使用信息。此處生成的圖像數(shù)據(jù)不構(gòu)成顯微鏡拍攝的處理后的圖像數(shù)據(jù)(例如，在顯微鏡捕獲的圖像數(shù)據(jù)的清晰度降低或部分圖像在傳輸?shù)綌?shù)據(jù)開發(fā)設(shè)備之前被抑制的場景中)。相反，生成的圖像數(shù)據(jù)可以完全是從生成模型生成的數(shù)據(jù)。如果生成模型在沒有任何圖像數(shù)據(jù)的情況下單獨傳輸，則要傳輸?shù)臄?shù)據(jù)量也可以大大減少。
15.可選實施例
16.根據(jù)本發(fā)明的顯微鏡系統(tǒng)和根據(jù)本發(fā)明的方法的有利變型是從屬權(quán)利要求的目的，并且在以下所述中進行解釋。
17.使用生成圖像數(shù)據(jù)進行機器學(xué)習(xí)算法
18.借助數(shù)據(jù)開發(fā)設(shè)備對第一生成的圖像數(shù)據(jù)集的開發(fā)尤其可以包括將該生成的圖像數(shù)據(jù)集用作機器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)。因此可以針對第一圖像數(shù)據(jù)集的類型適當(dāng)?shù)赜?xùn)練機器學(xué)習(xí)算法，而機器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)不必包括第一圖像數(shù)據(jù)集的原始圖像。特別是，由于現(xiàn)有訓(xùn)練數(shù)據(jù)由生成的圖像數(shù)據(jù)集補充，因此可以通過這種方式改進已訓(xùn)練好的機器學(xué)習(xí)算法。然后可以如此改進，將訓(xùn)練后的機器學(xué)習(xí)算法傳輸?shù)降谝粋€計算設(shè)備和/或其他計算設(shè)備。這允許任何計算設(shè)備從圖像數(shù)據(jù)中受益，而不必公開所述數(shù)據(jù)。
19.當(dāng)至少一個圖像數(shù)據(jù)集分別通過具有各個計算設(shè)備的多個顯微鏡捕獲，并從中分別估算出生成模型時，會產(chǎn)生特定的優(yōu)勢。每個生成模型都生成了各自的生成的圖像數(shù)據(jù)集，其中數(shù)據(jù)開發(fā)設(shè)備共同開發(fā)了生成的圖像數(shù)據(jù)集。如果生成的圖像數(shù)據(jù)集將作為機器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)使用，則可以從不同顯微鏡的圖像數(shù)據(jù)中將信息匯總在一起。如前所述，這是相對于現(xiàn)有技術(shù)的決定性優(yōu)勢。在現(xiàn)有技術(shù)中，在不披露圖像數(shù)據(jù)本身和與之相關(guān)的敏感信息或不因法律障礙阻礙圖像共享的情況下，不可能用不同用戶或顯微鏡的圖像數(shù)據(jù)來訓(xùn)練機器學(xué)習(xí)算法。這個問題可以通過使用生成模型來規(guī)避。
20.例如，機器學(xué)習(xí)算法可以將顯微鏡圖像分割為不同的圖像區(qū)域，特別是樣本容器的圖像區(qū)域和位于其間的沒有樣本的圖像區(qū)域。如果顯微鏡用戶使用新的樣本載體，其上多個樣本容器以新的形狀排列，則機器學(xué)習(xí)算法可能僅錯誤地檢測樣本容器的圖像區(qū)域。首先，生成一個生成模型，該模型可以生成圖像，該圖像中，局部分布和樣本容器的數(shù)量(或樣本容器的數(shù)量的分布)與捕獲的圖像相對應(yīng)。另一方面，不包括樣本本身的視覺細(xì)節(jié)。數(shù)據(jù)開發(fā)設(shè)備現(xiàn)在可以使用生成的圖像數(shù)據(jù)集來訓(xùn)練機器學(xué)習(xí)算法，因此該算法也適用于新的樣本載體。然后可以將如此訓(xùn)練后的機器學(xué)習(xí)算法傳輸給眾多現(xiàn)在可以從改進中受益的顯微鏡用戶。
21.更普遍地說，可以將源自不同顯微鏡或計算設(shè)備的生成的圖像數(shù)據(jù)集訓(xùn)練的機器學(xué)習(xí)算法傳輸?shù)较鄳?yīng)的計算設(shè)備，這些計算設(shè)備尤其可以專用于不同的顯微鏡。
22.由于使用相同生成模型生成的圖像的數(shù)量和用作機器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)可以以可變方式設(shè)置，如果將多個顯微鏡或計算設(shè)備的不同生成模型傳輸?shù)綌?shù)據(jù)開發(fā)設(shè)備，則相對容易避免某些圖像數(shù)據(jù)被過度表示和導(dǎo)致的數(shù)據(jù)偏差。尤其是可以生成來自不同生成模型的不同數(shù)量的圖像，并將其用作訓(xùn)練數(shù)據(jù)。
23.使用生成的圖像數(shù)據(jù)集
24.除了使用生成的圖像數(shù)據(jù)集來訓(xùn)練機器學(xué)習(xí)算法的引用應(yīng)用之外，替代或額外的開發(fā)步驟也是可能的：
25.生成的圖像數(shù)據(jù)集(特別是第一個或每個圖像數(shù)據(jù)集)可以用作(經(jīng)典)圖像處理算法的測試數(shù)據(jù)，該算法在沒有機器學(xué)習(xí)算法的情況下運行。圖像處理算法從生成的圖像數(shù)據(jù)集中生成處理結(jié)果，并且隨后估計處理結(jié)果的質(zhì)量。例如，圖像處理算法可以被配置為定位物鏡或執(zhí)行自動對焦的步驟。質(zhì)量估計可以由操作員或軟件執(zhí)行，特別是經(jīng)過適當(dāng)訓(xùn)練的機器學(xué)習(xí)算法。質(zhì)量度量取決于應(yīng)用，可以是例如圖像清晰度的度量、或連續(xù)局部區(qū)域的形狀的估計，例如是否已在圖像中正確檢測到矩形蓋玻片邊緣的形狀。在此應(yīng)用中，顯微鏡用戶的圖像數(shù)據(jù)可用于估計或改進圖像處理算法，而無需顯微鏡用戶公開自己所捕獲的圖像。
26.使用數(shù)據(jù)開發(fā)設(shè)備開發(fā)第一生成的圖像數(shù)據(jù)集還可以包括估計相關(guān)顯微鏡的質(zhì)量。因此，例如可以在顯微鏡用戶不必共享或顯示由該用戶捕獲的圖像的情況下檢測顯微鏡的不正確設(shè)置，這受到例如法律規(guī)定的限制。質(zhì)量估計可以由人執(zhí)行，部分由軟件執(zhí)行，也可以完全由軟件執(zhí)行。質(zhì)量估計可以將改變顯微鏡設(shè)置的動作指令傳送給顯微鏡的用戶，特別是從數(shù)據(jù)開發(fā)設(shè)備傳送到附屬于顯微鏡的計算設(shè)備。
27.生成模型
28.生成模型可以包括例如生成對抗網(wǎng)絡(luò)(gan)。gan根據(jù)輸入圖像數(shù)據(jù)集來確定/計算生成模型。為此，gan包含兩個神經(jīng)網(wǎng)絡(luò)，也稱為生成器和判別器。生成器接收圖像數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)，以便學(xué)習(xí)從中生成相似的圖像，特別是從輸入噪聲，即輸入隨機特征向量，或從由圖像噪聲組成的輸入圖像。判別器被訓(xùn)練來區(qū)分圖像數(shù)據(jù)集和生成器的圖像?，F(xiàn)有的生成器的目標(biāo)數(shù)量是生成判別器無法與圖像數(shù)據(jù)集的原始圖像區(qū)分開來的圖像。生成器和判別器因此在訓(xùn)練階段相互學(xué)習(xí)。訓(xùn)練階段完成后，生成器可以用作生成模型。由此，生成器或其生成的圖像尤其可以被傳輸?shù)綌?shù)據(jù)開發(fā)設(shè)備。
29.goodfellow、ian等人描述了生成對抗網(wǎng)絡(luò)的基礎(chǔ)知識。發(fā)表于神經(jīng)信息處理系統(tǒng)的進展的2014年的第2672-2680頁的“生成對抗網(wǎng)絡(luò)”中。
30.gan是學(xué)習(xí)算法的一個具體示例，它使用圖像數(shù)據(jù)集作為輸入數(shù)據(jù)來學(xué)習(xí)生成模型的參數(shù)。然而，原則上學(xué)習(xí)算法也可以通過任何優(yōu)化過程(特別是通過神經(jīng)網(wǎng)絡(luò))來確定生成模型的參數(shù)，而不需要所所述的對抗網(wǎng)絡(luò)。同樣，更一般地，每個計算設(shè)備可以包括基于相關(guān)圖像數(shù)據(jù)集來計算相應(yīng)的生成模型的程序(計算機程序)。該程序不一定必須包含機器學(xué)習(xí)算法。
31.計算或估計生成模型可以理解為預(yù)先確定模型框架并且基于圖像數(shù)據(jù)集計算或估計模型的某些參數(shù)。例如，所使用的模型框架可以是生成的生成模型的仿真軟件。模擬軟件可以包括例如熒光體的特性(例如熒光細(xì)胞的密度和大小)作為自由參數(shù)，并且可以被設(shè)計為根據(jù)這些參數(shù)生成類似于這種個體/細(xì)胞的真實顯微鏡圖像的圖像。這些參數(shù)的值可以由仿真軟件基于圖像數(shù)據(jù)集計算/學(xué)習(xí)，或者，可以為用戶提供輸入工具，以便用戶可以手動輸入值并隨后直觀地估計由此生成的圖像是否與圖像數(shù)據(jù)集足夠相似。特別是，仿真軟件可以按照lehmussola、antti等人發(fā)表在ieee醫(yī)學(xué)影像交易的2007年第26卷第7期第1010-1016頁的“用細(xì)胞群模擬熒光顯微鏡圖像的計算框架”中的描述進行設(shè)計。
32.用于確定生成模型的程序還可以包括渲染軟件。諸如渲染軟件之類的渲染軟件被設(shè)計為基于某些參數(shù)和/或3d模型來生成2d圖像。某些參數(shù)或3d模型可以是預(yù)定的或可選擇的。例如，可以預(yù)定或可選擇其捕獲的圖像數(shù)據(jù)集的樣本是拋光樣本。對于拋光樣本，樣本被保持在圓柱形基底中。用戶可以輸入例如圓柱體的尺寸作為自由參數(shù)，然后渲染軟件根據(jù)這些自由參數(shù)計算相應(yīng)的圖像。
33.更一般地，該程序可以基于圖像數(shù)據(jù)集全自動計算生成模型，或者包含一個用戶可以設(shè)置模型參數(shù)的輸入工具。與預(yù)定的框架模型一起，模型參數(shù)可以產(chǎn)生生成模型。例如，可以使用輸入工具輸入某些數(shù)值，例如關(guān)于熒光體的密度、強度和大小。取決于實施例的變型，在這方面可以規(guī)定圖像數(shù)據(jù)集在任何時候都不構(gòu)成用于估計生成模型的程序的輸入。
34.生成模型還可以包括概率模型，例如由cootes.timothyf所述的主動外觀模型；愛
德華茲.加雷斯j、taylor..christopher j，發(fā)表于ieee模式分析與機器智能匯刊的2001年第6期第681-685頁的“主動外觀模型”?；蛘?，它還可以包括混合分布模型(例如，高斯混合模型)。
35.基于圖像數(shù)據(jù)集計算生成模型的程序也可以設(shè)計為對生成的生成模型提供限制，通過該限制生成模型不渲染底層的圖像數(shù)據(jù)集的某些信息。特別是，某些圖像區(qū)域可以被隱藏，例如，降低清晰度或被其他圖像內(nèi)容替換。例如，如果樣本容器的識別是重要的，則可以設(shè)計生成模型以盡可能準(zhǔn)確地渲染樣本容器的邊緣、形狀和數(shù)量，而樣本區(qū)域的圖像內(nèi)容在生成的圖像數(shù)據(jù)中被隱藏或無法被識別。
36.第一或每個計算設(shè)備還可以提供相應(yīng)的注釋工具，用戶可以通過該工具做出與所討論的圖像數(shù)據(jù)集的顯微鏡圖像或圖像分量相關(guān)的注釋。例如，可以通過注釋工具對圖像區(qū)域進行標(biāo)記或分割?？蛇x地，注釋還包括句法，即顯微鏡圖像不僅被分割成不同的區(qū)域，而且還為不同的片段分配了含義，例如，“樣本區(qū)域”、“樣本容器邊緣”和“背景”。目前可以將估計的生成模型配置為同時為生成的圖像數(shù)據(jù)集生成注釋。在上述示例中，生成模型因此還指定了生成的圖像的分割以及可選的片段的句法。
37.在前述實施例的變體中，由生成模型生成的圖像構(gòu)成注釋。例如，生成的圖像可以由片段形成，例如，多個形狀的規(guī)格，這些形狀可選地被分配了含義(例如，“樣本區(qū)域”)。然后，生成的圖像數(shù)據(jù)集由多個注釋形成，可以表示為圖像。類似地，構(gòu)成圖像數(shù)據(jù)集的顯微鏡圖像可以由注釋(特別是二維圖像中的形狀或邊界的指示)生成，例如是由用戶基于捕獲的顯微鏡圖像生成。
38.估計的生成模型所述相關(guān)的圖像數(shù)據(jù)集的特征并不一定意味著使用該生成模型生成的圖像數(shù)據(jù)和圖像數(shù)據(jù)集的原始顯微鏡圖像相似于一個容易被用戶混淆的點。特別是在注釋或分割的示例中，圖像可以在視覺上明顯不同，但在某些信息內(nèi)容方面是相同的，例如在某些圖像片段(例如細(xì)胞核)的形狀、數(shù)量或分布方面。
39.生成模型可以被設(shè)計成能夠生成任意數(shù)量的不同圖像，這些圖像彼此不同，但在某些確定的屬性或參數(shù)方面與圖像數(shù)據(jù)集相對應(yīng)。例如，第一圖像數(shù)據(jù)集的圖像可以在某些對象(例如細(xì)胞成分)的數(shù)量、大小和/或形狀方面具有特定分布，并且生成模型被設(shè)計為生成具有相同分布的不同圖像。
40.一般特征
41.顯微鏡尤其可以理解為光學(xué)顯微鏡或一些其他設(shè)計的測量設(shè)備，顯微鏡被配置為捕獲圖像(顯微鏡圖像)。根據(jù)本發(fā)明的變型實施例，圖像捕獲過程可以形成該方法的一部分，或者該方法從加載已經(jīng)可用的顯微鏡圖像開始。
42.多個顯微鏡圖像一起被稱為圖像數(shù)據(jù)集。第一圖像數(shù)據(jù)集包括源自同一顯微鏡或原則上也可以源自不同顯微鏡的多個顯微鏡圖像。顯微鏡圖像既可以是顯微鏡的概覽圖像，也可以是物鏡圖像，與概覽圖像相比，這些物鏡圖像以更大的放大倍率捕獲。
43.計算設(shè)備可以包括例如個人計算機或一個或多個處理器，特別是作為顯微鏡的一部分。計算設(shè)備也可以被配置為控制顯微鏡，特別是專用于特定的顯微鏡?；蛘?，計算設(shè)備可以由服務(wù)器或基于云的系統(tǒng)形成。不一定需要與顯微鏡建立本地連接或技術(shù)連接；而是如果計算設(shè)備可以從數(shù)據(jù)存儲器中加載圖像數(shù)據(jù)集就足夠了。
44.數(shù)據(jù)開發(fā)設(shè)備可以包括任何計算機、服務(wù)器或基于云的計算系統(tǒng)。特別地，它可以
構(gòu)成與計算設(shè)備通信連接的中央計算單元，例如通過互聯(lián)網(wǎng)?；蛘?，它們之間的數(shù)據(jù)傳輸可以以隔離的方式發(fā)生，無需永久的通信鏈路。術(shù)語“數(shù)據(jù)開發(fā)設(shè)備”和“計算設(shè)備”用于區(qū)分目的，在物理設(shè)計方面不一定存在差異。
45.多個相互獨立的計算設(shè)備將會產(chǎn)生特別的優(yōu)點，例如，不同的用戶使用這些計算設(shè)備捕獲或使用他們各自的圖像數(shù)據(jù)集。在這種情況下，所有計算設(shè)備都可以與數(shù)據(jù)開發(fā)設(shè)備通信并接收，例如與用戶的圖像數(shù)據(jù)集相適配的圖像處理程序，盡管該圖像數(shù)據(jù)集還沒有被傳輸?shù)狡渌嬎阍O(shè)備或數(shù)據(jù)開發(fā)設(shè)備。
46.第一計算設(shè)備的所述可以附加地或替代地也適用于任何其他計算設(shè)備。多個計算設(shè)備原則上可以以相同方式或不同方式形成生成模型；例如，一個計算設(shè)備可以采用gan，另一個可以采用需要用戶輸入?yún)?shù)值的仿真軟件。
47.只要所述的方法步驟暗示順序，也可以在步驟之間插入進一步的過程。特別是，可以進行數(shù)據(jù)處理和數(shù)據(jù)修改的操作；例如，由顯微鏡捕獲的圖像數(shù)據(jù)集不必是原始圖像數(shù)據(jù)，而是圖像數(shù)據(jù)集可以替代地包括已經(jīng)以某種其他方式處理、裁剪、標(biāo)記或使用的圖像。如果生成模型已經(jīng)由計算設(shè)備確定，則還可以在生成模型以修改的形式傳輸?shù)綌?shù)據(jù)開發(fā)設(shè)備之前首先在進一步的處理步驟中修改。類似地，由計算設(shè)備通過生成模型生成的圖像數(shù)據(jù)在被傳輸?shù)綌?shù)據(jù)開發(fā)設(shè)備之前先被處理。
48.本發(fā)明還涉及一種具有命令的計算機程序，當(dāng)該計算機程序由計算機執(zhí)行時，該命令引起根據(jù)本發(fā)明的方法的執(zhí)行。計算機程序尤其可以包括所述的用于生成生成模型的程序。計算機程序可以另外其他命令，通過這些命令來實現(xiàn)數(shù)據(jù)開發(fā)設(shè)備的功能。計算機程序可以通過可以彼此獨立操作的軟件包形成，這些軟件包在不同的計算機上運行，例如在(第一)計算設(shè)備和數(shù)據(jù)開發(fā)設(shè)備上。
49.已經(jīng)被所述為附加裝置特征的本發(fā)明的特征在按預(yù)期實施時也產(chǎn)生根據(jù)本發(fā)明的方法的變體。反過來，顯微系統(tǒng)也可以被配置為執(zhí)行所述的方法變體。
附圖說明
50.下面參考附圖所述本發(fā)明的其他優(yōu)點和特征：
51.圖1是根據(jù)本發(fā)明的示例實施例的顯微系統(tǒng)的示意圖；
52.圖2是根據(jù)本發(fā)明另一示例實施例的顯微鏡系統(tǒng)的示意圖；
53.圖3是根據(jù)本發(fā)明另一示例實施例的顯微鏡系統(tǒng)的示意圖；
54.圖4是根據(jù)本發(fā)明另一示例實施例的顯微鏡系統(tǒng)的示意圖。
具體實施方式
55.下面參照附圖所述不同的示例實施例。通常，相似的元件和以相似方式起作用的元件用相同的附圖標(biāo)記表示。
56.圖1的示例實施例
57.在圖1中示意性地示出了根據(jù)本發(fā)明的顯微鏡系統(tǒng)1的示例實施例。它包括多個顯微鏡，其中示出了第一顯微鏡10和第二顯微鏡11。每個顯微鏡10、11與計算設(shè)備相關(guān)聯(lián)，其中第一計算設(shè)備20和第二計算設(shè)備21在圖1中示出。每個顯微鏡10、11捕獲多個顯微鏡圖像，其中顯微鏡10的顯微鏡圖像被稱為第一圖像數(shù)據(jù)集30，而顯微鏡11的顯微鏡圖像被稱
為第二圖像數(shù)據(jù)集31。計算設(shè)備圖20、21加載相關(guān)圖像數(shù)據(jù)集30、31用于處理和/或顯示給用戶。
58.每個計算設(shè)備20、21說明性地包括圖像處理算法70，該圖像處理算法70包括訓(xùn)練后的機器學(xué)習(xí)算法。相關(guān)圖像處理算法70處理圖像數(shù)據(jù)集30或31，其中該處理的質(zhì)量取決于用于機器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)是否適合所討論的圖像數(shù)據(jù)集30或31。當(dāng)顯微鏡用戶捕獲新的樣本或樣本容器的圖像數(shù)據(jù)集30或31時，情況可能并非如此。
59.通常，使用第一圖像數(shù)據(jù)集30作為附加訓(xùn)練數(shù)據(jù)，計算設(shè)備20可以重新訓(xùn)練機器學(xué)習(xí)算法70，使得機器學(xué)習(xí)算法70隨后能夠更好地處理圖像數(shù)據(jù)集30的類型的圖像。但是，這種經(jīng)過改進的訓(xùn)練機器學(xué)習(xí)算法將僅限于第一計算設(shè)備20。其他計算設(shè)備幾乎無法從中受益。例如，如果第二計算設(shè)備21使用第二圖像數(shù)據(jù)集31以便更好地訓(xùn)練其機器學(xué)習(xí)算法，那么第二計算設(shè)備21只能使用采用第一圖像數(shù)據(jù)集30訓(xùn)練的機器學(xué)習(xí)算法或采用第二圖像數(shù)據(jù)集31訓(xùn)練的機器學(xué)習(xí)算法中的任一個。但是，不可能將兩種不同的訓(xùn)練后的機器學(xué)習(xí)算法有效地合并為一種改進的算法。為了將圖像數(shù)據(jù)集30和圖像數(shù)據(jù)集31都包括在機器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)中，兩個圖像數(shù)據(jù)集30和31通常必須以通用訓(xùn)練數(shù)據(jù)的形式一起使用(特別是通過單個計算設(shè)備)。然而，許多顯微鏡用戶不希望共享或被禁止共享圖像數(shù)據(jù)集30和31，因為它們可能包含敏感信息。這個問題由圖1的示例實施例以下述方式進行解決。
60.每個計算設(shè)備20和21包括可以生成生成模型40、41的相應(yīng)程序80、81。生成模型能夠生成類似于相關(guān)圖像數(shù)據(jù)集30、31的圖像的人工圖像。例如，程序80、81可以包括基于要設(shè)置的參數(shù)模擬顯微鏡圖像的仿真軟件。要設(shè)置的參數(shù)可以涉及例如細(xì)胞核的形狀或排列。程序80、81根據(jù)相關(guān)圖像數(shù)據(jù)集30、31來估計參數(shù)，例如通過使相關(guān)圖像數(shù)據(jù)集30或31的圖像與生成的圖像之間的差異最小化的優(yōu)化過程?；蛘撸部梢杂捎脩糨斎?yún)?shù)。在這種情況下，如此設(shè)置的參數(shù)構(gòu)成生成模型40或41。在本公開中生成模型40被稱為第一生成模型，并且生成模型41被稱為第二生成模型。
61.接下來，生成模型40和41被傳送到數(shù)據(jù)開發(fā)設(shè)備60。使用生成模型40和41，數(shù)據(jù)開發(fā)設(shè)備60可以生成各自的生成圖像數(shù)據(jù)集50和51，它們也被稱為第一生成的圖像數(shù)據(jù)集50和第二生成的圖像數(shù)據(jù)集51。在上述示例中，數(shù)據(jù)開發(fā)設(shè)備60因此包括仿真軟件，該仿真軟件也由計算設(shè)備20和/或計算設(shè)備21使用，并接收由計算設(shè)備20和/或計算設(shè)備21定義的參數(shù)。
62.生成的數(shù)據(jù)集50、51現(xiàn)在可以用作機器學(xué)習(xí)算法的訓(xùn)練數(shù)據(jù)，這種訓(xùn)練后的機器學(xué)習(xí)算法在圖1中由參考符號70'表示。為了保護敏感信息，圖像數(shù)據(jù)集30和31沒有直接或以經(jīng)過處理的形式傳輸?shù)綌?shù)據(jù)開發(fā)設(shè)備60。相反，僅傳輸用于生成人工圖像的模型。數(shù)據(jù)開發(fā)設(shè)備60還可以使用額外的顯微鏡圖像32，這些圖像不是人工生成的圖像，并且特別是沒有被歸類為敏感的進一步的訓(xùn)練數(shù)據(jù)。
63.訓(xùn)練后的機器學(xué)習(xí)算法70'目前被傳送到不同的計算設(shè)備20、21，在此它取代了先前的機器學(xué)習(xí)算法70(圖像處理算法)。多個計算設(shè)備20和21因此可以受益于改進的機器學(xué)習(xí)算法70'，而不需要在它們之間交換相應(yīng)的圖像數(shù)據(jù)集30或31，并且更重要的是，相應(yīng)的圖像數(shù)據(jù)集30或31沒有以任何方式被相關(guān)聯(lián)的計算設(shè)備20或21共享。
64.機器學(xué)習(xí)算法70、70'可以例如是分割算法，該分割算法將輸入圖像分割成某些圖像區(qū)域，并且特別地為相同區(qū)域分配類別，例如“細(xì)胞核”、“細(xì)胞器”、“細(xì)胞質(zhì)
””
或“細(xì)胞
膜”。程序80、81可以將這樣的信息理解為注釋或目標(biāo)量。特別地，程序80、81可以包括輸入工具，用戶可以使用該輸入工具輸入與圖像數(shù)據(jù)集30或31的圖像相關(guān)的注釋。在上述示例中，用戶可以相應(yīng)地手動輸入分段。生成模型40、41現(xiàn)在由程序80、81計算，以便同時為生成的圖像生成相應(yīng)的注釋；即，例如，它生成細(xì)胞質(zhì)和細(xì)胞核的圖像，并生成所指示的細(xì)胞質(zhì)中細(xì)胞核的周長的分割掩模。這因此具有這樣的優(yōu)點，即數(shù)據(jù)開發(fā)設(shè)備60由此不僅可以生成具有生成模型40、41的訓(xùn)練數(shù)據(jù)，而且可以同時生成機器學(xué)習(xí)算法70'用于監(jiān)督學(xué)習(xí)所需的相關(guān)目標(biāo)數(shù)據(jù)?；蛘?，用戶也可以使用數(shù)據(jù)開發(fā)設(shè)備60手動輸入與生成的圖像數(shù)據(jù)集50、51相關(guān)的目標(biāo)數(shù)據(jù)。在更進一步的變體中，也可以進行不需要明確指定目標(biāo)數(shù)量的無監(jiān)督學(xué)習(xí)。
65.在圖1所示的示例實施例的變體中。計算設(shè)備20、21訪問現(xiàn)有圖像數(shù)據(jù)集30、31，從而不需要顯微鏡10、11作為要求保護的系統(tǒng)1的一部分。原則上，單個計算設(shè)備20也足以至少部分地實現(xiàn)所所述的優(yōu)點。此外，計算設(shè)備20、21不必分別專用于顯微鏡10、11。相反，同一計算設(shè)備20還可以從不同的顯微鏡接收多個圖像，這些圖像共同構(gòu)成所所述的圖像數(shù)據(jù)集30，或同一計算設(shè)備20可以接收來自不同顯微鏡的多個圖像數(shù)據(jù)集。
66.生成模型40、41的傳輸旨在意味著至少傳輸特定于對應(yīng)圖像數(shù)據(jù)集30、31的模型參數(shù)。插入模型參數(shù)中的模型框架在數(shù)據(jù)開發(fā)設(shè)備60處已經(jīng)可用，并且不必由計算設(shè)備20、21傳輸。
67.生成的圖像數(shù)據(jù)集50或51中的圖像的數(shù)量與圖像數(shù)據(jù)集30或31中的圖像數(shù)量無關(guān)，并且特別的前者甚至可以高于后者?？梢赃x擇生成的圖像數(shù)據(jù)集50或51中的圖像數(shù)量，以便在訓(xùn)練數(shù)據(jù)內(nèi)設(shè)置相關(guān)圖像數(shù)據(jù)集50、51的權(quán)重。這尤其可以防止某些數(shù)據(jù)的過度表示，該過度表示可能導(dǎo)致機器學(xué)習(xí)算法70'的較差的結(jié)果。
68.在進一步的變體中，相比于機器學(xué)習(xí)算法70、70'，可以使用不需要機器學(xué)習(xí)的經(jīng)典圖像處理算法作為圖像處理算法。在這種情況下，數(shù)據(jù)開發(fā)設(shè)備60使用生成的圖像數(shù)據(jù)集50、51來評估現(xiàn)有圖像處理算法的質(zhì)量；在圖像處理算法的手動更新/改進之后，通過該圖像處理算法能更好地適用于生成的圖像數(shù)據(jù)集50、51的開發(fā)或處理，該更新的圖像處理算法被傳輸?shù)接嬎阍O(shè)備20、21，因此可以使用相同的圖像數(shù)據(jù)集。
69.圖2的示例實施例
70.結(jié)合圖1所述的仿真軟件，是唯一一個可以生成生成模型的程序80、81的示例。前面的一般所述中引用了其他示例，并且可以包括例如gan(生成對抗網(wǎng)絡(luò))，它使用圖像數(shù)據(jù)集30或31作為輸入數(shù)據(jù)，學(xué)習(xí)生成與圖像數(shù)據(jù)集30或31的圖像不同但似乎來自同一分布的人工圖像。
71.圖2中示出的根據(jù)本發(fā)明的顯微鏡系統(tǒng)1的示例性實施例與前述示例實施例的不同之處在于用于生成生成模型的程序80、81包括gan。程序80、81的gan使用顯微鏡圖像進行了預(yù)訓(xùn)練。計算設(shè)備20或21的用戶還可以為圖像數(shù)據(jù)集30或31的每個顯微鏡圖像輸入注釋a。注釋a可以構(gòu)成機器學(xué)習(xí)算法70的目標(biāo)量。注釋尤其可以是顯微鏡圖像的分割，例如將概覽圖像劃分為樣本區(qū)域和背景區(qū)域。注釋a被饋送到程序80、81的gan中。這允許gan學(xué)習(xí)同時生成關(guān)聯(lián)的注釋/目標(biāo)量，作為每個生成的圖像數(shù)據(jù)集50、51的一部分。因此可以潛在地省略數(shù)據(jù)開發(fā)設(shè)備60的用于監(jiān)督學(xué)習(xí)的注釋工作。計算設(shè)備20或21也可以直接使用注釋a連同相關(guān)圖像數(shù)據(jù)集30、31來重新訓(xùn)練機器學(xué)習(xí)算法70或71；計算設(shè)備20或21的用戶也因
此直接受益于該注釋工作。
72.圖2還示出了可選的附加特征，根據(jù)該特征，數(shù)據(jù)開發(fā)設(shè)備60還使用生成的圖像數(shù)據(jù)50、51來預(yù)訓(xùn)練gan。以這種方式訓(xùn)練的gan80'現(xiàn)在被傳輸?shù)接嬎阍O(shè)備20、21，在那里它替換了先前的程序80、81。這允許計算設(shè)備20、21從未來的圖像數(shù)據(jù)集30、31中更好地計算相應(yīng)的生成模型40、41。
73.圖3的示例實施例
74.圖3中示出了根據(jù)本發(fā)明的顯微鏡系統(tǒng)1的另一示例實施例。其與前述示例的不同之處在于生成模型40、41不由計算設(shè)備20、21傳輸。相反，計算設(shè)備20、21自身生成相應(yīng)的生成的圖像數(shù)據(jù)集50、51。這些生成的圖像數(shù)據(jù)集50、51分別確定生成模型40、41。隨后僅將生成的圖像數(shù)據(jù)集50、51傳輸?shù)綌?shù)據(jù)開發(fā)設(shè)備60。
75.可選地，每個計算設(shè)備20、21還可以被配置為生成生成的圖像數(shù)據(jù)集50、51的顯示25或26，并提示用戶釋放或拒絕這些生成的圖像數(shù)據(jù)集50、51的傳輸。從而可以防止與原始圖像數(shù)據(jù)集30或31的敏感信息過于相似的生成的圖像數(shù)據(jù)集50、51被共享。
76.圖4的示例實施例
77.圖4示出了根據(jù)本發(fā)明的顯微鏡系統(tǒng)1的另一示例實施例，其包括具有相關(guān)計算設(shè)備20的單個(或更一般地至少一個)顯微鏡10。計算設(shè)備20生成生成的圖像數(shù)據(jù)集50進行關(guān)于圖3所所述的與數(shù)據(jù)開發(fā)設(shè)備60相同的傳輸。然而，如圖4所示的生成的圖像數(shù)據(jù)集50不用于訓(xùn)練機器學(xué)習(xí)算法。相反，例如由用戶執(zhí)行關(guān)于指示某些不正確顯微鏡設(shè)置的特征是否可在生成的圖像數(shù)據(jù)集50中檢測到的圖像評估。數(shù)據(jù)開發(fā)設(shè)備60或數(shù)據(jù)開發(fā)設(shè)備60的用戶現(xiàn)在可以依據(jù)生成的圖像數(shù)據(jù)集50來生成控制指令75。控制指令75與顯微鏡設(shè)置有關(guān)，且控制指令75被傳輸?shù)接嬎阊b置20。計算裝置20現(xiàn)在可以根據(jù)控制指令75自動改變顯微鏡設(shè)置或提示計算裝置20的用戶去改變顯微鏡10的設(shè)置。通過圖4的示例實施例，尤其可以提供客戶支持，其中數(shù)據(jù)開發(fā)設(shè)備60處的技術(shù)專家可以在計算設(shè)備20端幫助客戶，而技術(shù)專家無需查看客戶所捕獲的顯微鏡圖像。
78.本發(fā)明的所述變體使得不同用戶的顯微鏡圖像的多功能使用成為可能，而無需傳輸用戶的敏感信息。所所述的示例實施例純粹是說明性的，并且在所附權(quán)利要求的范圍內(nèi)其變體是可能的。
79.參考標(biāo)志清單
80.1 顯微鏡系統(tǒng)
81.10 第一顯微鏡
82.11 第二顯微鏡
83.20 第一計算設(shè)備
84.21 第二計算設(shè)備
85.30 第一圖像數(shù)據(jù)集
86.31 第二圖像數(shù)據(jù)集
87.32 圖像/訓(xùn)練數(shù)據(jù)
88.40 第一生成模型
89.41 第二生成模型
90.50 第一生成的圖像數(shù)據(jù)集
91.51 第二生成的圖像數(shù)據(jù)集
92.60 數(shù)據(jù)開發(fā)設(shè)備
93.70，70' 圖像處理算法/機器學(xué)習(xí)算法
94.75 控制指令
95.80，80'，81 用于估計生成模型的程序，例如，通過生成對抗網(wǎng)絡(luò)
96.a 注釋