本發(fā)明涉及一種圖像處理設(shè)備和方法。

背景技術(shù)：

1、檢測(cè)大腦病變和其他異?？梢酝ㄟ^(guò)比較性成像來(lái)完成，其中，先前和當(dāng)前大腦mr圖像被配準(zhǔn)并可以被比較。例如，比較性大腦成像可以被用于跟蹤多發(fā)性硬化癥(ms)患者的進(jìn)展，以便簡(jiǎn)化新白質(zhì)病變的視覺(jué)檢測(cè)。ms患者在患者護(hù)理期間頻繁被掃描，使得基線(xiàn)與后續(xù)圖像之間的差異主要與新白質(zhì)病變有關(guān)。

2、除了類(lèi)似多發(fā)性硬化癥或腦腫瘤的特定疾病領(lǐng)域之外，對(duì)象不頻繁地被掃描。因此，通常，對(duì)象的掃描歷史是稀疏的，即僅針對(duì)對(duì)象的少數(shù)掃描(在本文中也稱(chēng)為“圖像”)是可用的。

3、如果基線(xiàn)圖像與后續(xù)圖像之間的時(shí)間差很大，例如許多年，對(duì)比度差異不僅與異常有關(guān)，而且與正常老化有關(guān)，例如在大腦老化的情況下的正常萎縮或正常血管效應(yīng)。因此，發(fā)現(xiàn)異常是一項(xiàng)困難的任務(wù)，特別是在具有可用圖像之間的相當(dāng)大的時(shí)間差的稀疏掃描歷史的情況下。圖像通?？梢允歉信d趣物體的任何種類(lèi)的圖像，諸如x射線(xiàn)圖像、ct圖像、mr圖像、pet圖像、超聲圖像等。

4、tian?xia等人：“l(fā)earning?to?synthesise?the?ageing?brain?withoutlongitudinal?data"(arxiv.org、cornell?university?library、201olin?librarycornell?university?ithaca、ny?14853、2021年5月11日)公開(kāi)了一種基于深度學(xué)習(xí)的方法，該方法學(xué)習(xí)模擬對(duì)象特異性大腦老化軌跡，而不依賴(lài)于縱向數(shù)據(jù)。該方法綜合了在兩個(gè)因子上調(diào)節(jié)的圖像：年齡和阿爾茨海默病的狀態(tài)。利用對(duì)抗性公式，學(xué)習(xí)大腦外觀(guān)、年齡和ad狀態(tài)的聯(lián)合分布。

5、ravidaniele等人：“degenerative?adversarial?neuroimage?nets?for?brainscan?simulations:application?in?ageing?and?dementia”(medical?image?analysis、oxford?university?press、oxofrd、gb、第75卷、2021年10月14日)公開(kāi)了一種深度學(xué)習(xí)框架，即4d退行性對(duì)抗性神經(jīng)影像網(wǎng)絡(luò)，以生成高分辨率的縱向mri掃描，其基于單個(gè)mri基線(xiàn)掃描和其健康狀態(tài)模擬老化和癡呆中的對(duì)象特異性神經(jīng)退行性疾病。

6、wegmayr?viktor等人：“generative?aging?of?brain?mri?for?earlyprediction?of?mci-ad?conversion”(2019ieee?16th?international?symposium?onbiomedical?imaging(isbi?2019)、ieee、2019年4月8日)公開(kāi)了一種基于廣泛可用的ti加權(quán)mr大腦圖像預(yù)測(cè)輕度認(rèn)知障礙(mci)向阿爾茨海默病(ad)的轉(zhuǎn)變的基于深度學(xué)習(xí)的方法。給定單幅基線(xiàn)圖像，生成合成老化的大腦圖像。老化圖像被傳遞給mci/ad鑒別器，這決定了未來(lái)的疾病狀態(tài)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是在具有可用圖像之間的相當(dāng)大的時(shí)間差的稀疏掃描歷史的情況下如何提高對(duì)異常的檢測(cè)。

2、在本發(fā)明的第一方面中，提出了一種圖像處理設(shè)備，包括：

3、輸入部，其被配置為獲得對(duì)象的感興趣物體的兩幅或更多幅圖像的系列以及所述對(duì)象的所述感興趣物體的參考圖像，其中，輸入圖像已經(jīng)在不同的時(shí)間點(diǎn)處被采集，并且所述參考圖像已經(jīng)在比所述輸入圖像更晚的時(shí)間點(diǎn)處被采集；

4、處理單元，其被配置為：

5、通過(guò)將經(jīng)訓(xùn)練的算法或計(jì)算系統(tǒng)應(yīng)用到所述輸入圖像上來(lái)生成估計(jì)圖像，所述估計(jì)圖像表示估計(jì)時(shí)間點(diǎn)處的所述感興趣物體的估計(jì)表示，所述經(jīng)訓(xùn)練的算法或計(jì)算系統(tǒng)已經(jīng)在多幅訓(xùn)練圖像上進(jìn)行了訓(xùn)練，所述多幅訓(xùn)練圖像示出了在不同時(shí)間點(diǎn)處與所述感興趣物體相同類(lèi)型的物體，以讓所述輸入圖像中示出的所述感興趣物體人工老化期望的時(shí)間段，并且

6、確定所述估計(jì)圖像與所述參考圖像的偏差；以及

7、輸出部，其被配置為輸出所生成的估計(jì)圖像和所確定的偏差。

8、在本發(fā)明的另一方面中，提出了一種系統(tǒng)，包括：

9、圖像采集設(shè)備，其被配置為采集對(duì)象的感興趣物體的兩幅或更多幅輸入圖像的系列以及對(duì)象的感興趣物體的參考圖像，其中，所述輸入圖像在不同的時(shí)間點(diǎn)處被采集，并且所述參考圖像在比所述輸入圖像更晚的第二時(shí)間點(diǎn)處被采集；以及

10、如本文所公開(kāi)的圖像處理設(shè)備。

11、在本發(fā)明的又一方面中，提供了一種對(duì)應(yīng)的圖像處理方法；一種包括的程序代碼模塊計(jì)算機(jī)程序，當(dāng)在計(jì)算機(jī)上執(zhí)行所述計(jì)算機(jī)程序時(shí)所述程序代碼模塊用于使所述計(jì)算機(jī)執(zhí)行本文所公開(kāi)的方法的步驟；以及在其中存儲(chǔ)計(jì)算機(jī)程序產(chǎn)品的非瞬態(tài)計(jì)算機(jī)可讀記錄介質(zhì)，所述計(jì)算機(jī)程序產(chǎn)品在由處理器運(yùn)行時(shí)使得執(zhí)行本文所公開(kāi)的方法。

12、在從屬權(quán)利要求中限定本發(fā)明的優(yōu)選實(shí)施例。應(yīng)當(dāng)理解，所要求保護(hù)的方法、系統(tǒng)、計(jì)算機(jī)程序和介質(zhì)具有與所要求保護(hù)的系統(tǒng)相似和/或相同的優(yōu)選實(shí)施例，特別是如從屬權(quán)利要求中所定義的和如本文所公開(kāi)的。

13、本發(fā)明基于利用經(jīng)訓(xùn)練的算法或計(jì)算系統(tǒng)(例如經(jīng)訓(xùn)練的模型或神經(jīng)網(wǎng)絡(luò))來(lái)生成所述感興趣物體(例如對(duì)象的大腦)的圖像的想法，該圖像“模擬”了在所述感興趣物體經(jīng)歷正常老化而沒(méi)有異常的情況下在期望時(shí)間點(diǎn)處將看起來(lái)如何。例如，如果僅存在對(duì)象的稀疏掃描歷史可用，可以做出對(duì)僅包括健康老化的影響的當(dāng)前假設(shè)后續(xù)圖像的估計(jì)，并且可以確定定量稀疏掃描歷史與健康老化的偏差的度量。因此，所公開(kāi)的設(shè)備、系統(tǒng)和方法可以被用于比較性成像應(yīng)用(例如用于比較性大腦成像)，其中，對(duì)假設(shè)和真實(shí)當(dāng)前圖像的視覺(jué)和/或算法比較僅可以揭示異常而非正常老化的影響。此外，它們可以被用于評(píng)估對(duì)象的掃描歷史的變化是否可以通過(guò)正常老化來(lái)解釋。

14、換句話(huà)說(shuō)，本發(fā)明的想法之一是基于在給定過(guò)去的兩幅或更多幅輸入圖像(在本文中也被稱(chēng)為第一圖像)的情況下的個(gè)體估計(jì)老化軌跡來(lái)估計(jì)當(dāng)前圖像，并且然后計(jì)算與已經(jīng)比輸入圖像更晚采集的真實(shí)圖像(所述參考圖像，在本文中也被稱(chēng)為第二圖像)的差異，優(yōu)選地在當(dāng)前時(shí)間點(diǎn)或至少在最近的過(guò)去，以示出真實(shí)偏差(例如病變或其他異常)并隱藏“正?！崩匣挠绊?。

15、根據(jù)優(yōu)選實(shí)施例，所述處理單元被配置為使用學(xué)習(xí)系統(tǒng)、神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)或u-net-like網(wǎng)絡(luò)作為經(jīng)訓(xùn)練的算法或計(jì)算系統(tǒng)。通常，經(jīng)訓(xùn)練的算法或計(jì)算系統(tǒng)的架構(gòu)或布局不是必需的，但是例如具有已知或常規(guī)架構(gòu)的學(xué)習(xí)系統(tǒng)或神經(jīng)網(wǎng)絡(luò)可以用于計(jì)算第三圖像。

16、在另一實(shí)施例中，由所述處理單元將所述經(jīng)訓(xùn)練的算法或計(jì)算系統(tǒng)應(yīng)用到兩幅或更多幅輸入圖像上包括：分析所述輸入圖像，特別是通過(guò)卷積神經(jīng)網(wǎng)絡(luò)(cnn)來(lái)分析所述兩幅或更多幅輸入圖像，以導(dǎo)出所述感興趣物體的圖像特征；以及基于所導(dǎo)出的圖像特征以及這些種類(lèi)的圖像特征如何隨時(shí)間演變的信息來(lái)生成所述參考圖像，特別是通過(guò)生成器網(wǎng)絡(luò)基于所導(dǎo)出的圖像特征以及這些種類(lèi)的圖像特征如何隨時(shí)間演變的信息來(lái)生成所述參考圖像，所述信息特別是年齡相關(guān)的萎縮。這提供了一種簡(jiǎn)單但有效的方法。cnn利用具有訓(xùn)練權(quán)重的卷積核進(jìn)行操作，但是所述方法純粹是訓(xùn)練/數(shù)據(jù)驅(qū)動(dòng)的。

17、所述處理單元還可以被配置為通過(guò)讓所述輸入圖像中示出的所述感興趣物體老化一時(shí)間段來(lái)生成所述參考圖像，所述時(shí)間段對(duì)應(yīng)于已經(jīng)采集了相應(yīng)輸入圖像的時(shí)間點(diǎn)與已經(jīng)采集了所述參考圖像的時(shí)間點(diǎn)之間的時(shí)間差，特別是已經(jīng)采集了最后的輸入圖像的時(shí)間點(diǎn)與已經(jīng)采集了所述參考圖像的時(shí)間點(diǎn)之間的時(shí)間差。因此，在示例性應(yīng)用中，所述輸入圖像可以被用于生成對(duì)應(yīng)于已經(jīng)采集了所述參考圖像的時(shí)間點(diǎn)的估計(jì)時(shí)間點(diǎn)處的所述估計(jì)圖像。因此，所述參考圖像和所述估計(jì)圖像示出了在已經(jīng)采集了所述輸入圖像的時(shí)間點(diǎn)之后的所述時(shí)間段處的所述感興趣物體，并且因此可以直接進(jìn)行比較以識(shí)別異常。

18、根據(jù)另一實(shí)施例，由所述處理單元將所述經(jīng)訓(xùn)練的算法或計(jì)算系統(tǒng)應(yīng)用到所述兩幅或更多幅第一圖像上包括：分析所述輸入圖像，特別是通過(guò)卷積神經(jīng)網(wǎng)絡(luò)來(lái)分析所述輸入圖像，以導(dǎo)出老化信息，所述老化信息指示所述輸入圖像中示出的所述感興趣物體已經(jīng)在由已經(jīng)采集了所述輸入圖像的不同時(shí)間點(diǎn)所跨越的時(shí)間內(nèi)如何老化；以及基于所導(dǎo)出的老化信息和已經(jīng)采集了所述輸入圖像的時(shí)間點(diǎn)與已經(jīng)采集了所述參考圖像的時(shí)間點(diǎn)之間的時(shí)間差來(lái)生成所述估計(jì)圖像，特別是通過(guò)生成器網(wǎng)絡(luò)基于所導(dǎo)出的老化信息和已經(jīng)采集了所述輸入圖像的時(shí)間點(diǎn)與已經(jīng)采集了所述參考圖像的時(shí)間點(diǎn)之間的時(shí)間差來(lái)生成所述估計(jì)圖像。

19、因此，從所述輸入圖像獲得的老化信息有助于理解在檢查中的特定對(duì)象，特別是其感興趣物體，在過(guò)去是如何由于“正常”老化而已經(jīng)隨時(shí)間變化的，即，可以從所述輸入圖像中獲悉該老化信息。關(guān)于所述輸入圖像的該老化信息和時(shí)間信息，特別是何時(shí)它們已經(jīng)被采集，并且特別是在不同輸入圖像的采集與參考圖像的采集之間已經(jīng)經(jīng)過(guò)多少時(shí)間，然后可以被用于進(jìn)一步改進(jìn)估計(jì)圖像的生成。例如，如果例如最后的輸入圖像(即在所述參考圖像的采集之前采集的最年輕的第一圖像)和參考圖像之間的時(shí)間差很大，則與該時(shí)間差較小的情況相比較，老化的強(qiáng)度/影響通常將更大。在生成估計(jì)圖像時(shí)可以考慮該時(shí)間信息。

20、根據(jù)本發(fā)明，所述處理單元被配置為確定所述參考圖像與所述估計(jì)圖像的偏差，并且所述輸出單元被配置為輸出所確定的偏差。這些偏差然后通常被解釋為異常，而不是正常老化的影響。由此，所述處理單元可以被配置為定量處理和/或定性處理所述偏差(例如相對(duì)于大小、數(shù)目、強(qiáng)度等)，并且所述輸出單元被配置為輸出所確定的定量結(jié)果和/或定性結(jié)果。

21、已經(jīng)采集了相應(yīng)輸入圖像的時(shí)間點(diǎn)與已經(jīng)采集了所述參考圖像的時(shí)間點(diǎn)之間的時(shí)間差以及已經(jīng)采集了相應(yīng)輸入圖像的時(shí)間點(diǎn)與已經(jīng)估計(jì)所述估計(jì)圖像的時(shí)間點(diǎn)之間的時(shí)間差通常是更長(zhǎng)的時(shí)段，例如超過(guò)一周或超過(guò)一個(gè)月或超過(guò)六個(gè)月或超過(guò)一年。該時(shí)間差通常可以取決于所述感興趣物體的多少圖像可用以及已經(jīng)以哪些間隔采集了要比較的圖像。

22、在另一實(shí)施例中，所述處理單元被配置為在生成所述估計(jì)圖像之前執(zhí)行所述輸入圖像與所述參考圖像的配準(zhǔn)，和/或在生成所述估計(jì)圖像之后執(zhí)行所述估計(jì)圖像與所述參考圖像的配準(zhǔn)。這改進(jìn)了異常的比較和檢測(cè)。

23、優(yōu)選地，所述處理單元可以被配置為在多幅訓(xùn)練圖像上訓(xùn)練所述算法或計(jì)算系統(tǒng)，所述訓(xùn)練圖像示出了在不同時(shí)間點(diǎn)處與所述感興趣物體相同類(lèi)型的物體，其中，所述多幅訓(xùn)練圖像包括真實(shí)圖像和/或合成圖像。這樣的訓(xùn)練圖像可以從可用數(shù)據(jù)庫(kù)中取得，或者可以出于訓(xùn)練目的而人工創(chuàng)建。訓(xùn)練優(yōu)選地提前和離線(xiàn)進(jìn)行。估計(jì)圖像的實(shí)際生成和異常的確定，特別是如果由諸如有經(jīng)驗(yàn)的臨床醫(yī)師的用戶(hù)驗(yàn)證，也可以被用于訓(xùn)練。因此，在實(shí)施例中，所計(jì)算的估計(jì)圖像可以連同輸入圖像和參考圖像一起用于訓(xùn)練所述算法或計(jì)算系統(tǒng)。這也可以被用于在實(shí)際使用期間對(duì)算法或計(jì)算系統(tǒng)進(jìn)行微調(diào)。例如，任選的在線(xiàn)學(xué)習(xí)部件，例如作為處理單元的功能，可以被提供用于該微調(diào)。

24、在實(shí)施例中，所述處理單元可以被配置為通過(guò)分析(特別是通過(guò)卷積神經(jīng)網(wǎng)絡(luò))所述多幅訓(xùn)練圖像來(lái)訓(xùn)練所述算法或計(jì)算系統(tǒng)，以導(dǎo)出描述所述物體隨著訓(xùn)練時(shí)間的正常外觀(guān)的圖像特征。由此，圖像特征可以被自動(dòng)確定為用于卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重，使得存在所述圖像的隱空間表示。權(quán)重可以不僅應(yīng)用于編碼部分，而且可以應(yīng)用于解碼部分，即用于從其隱空間表示中重新創(chuàng)建圖像的部分。圖像特征可以包括以下各項(xiàng)中的一項(xiàng)或多項(xiàng)：亮度、紋理、邊緣、邊界、圖案、特性結(jié)構(gòu)或點(diǎn)、均勻性、面積、形狀、大小，或者可以學(xué)習(xí)和用于訓(xùn)練的任何其他特征。這些圖像特征(或特性)中的一個(gè)或多個(gè)的使用使能實(shí)現(xiàn)所公開(kāi)的解決方案的實(shí)際實(shí)施方式。

25、在其他實(shí)施例中，神經(jīng)網(wǎng)絡(luò)的第一層可以包括圖像特征，這意味著卷積濾波器的權(quán)重將構(gòu)成圖像特征。在深度神經(jīng)網(wǎng)絡(luò)中，可以跟隨具有另外的權(quán)重的另外的層，其中，所述權(quán)重不對(duì)應(yīng)于圖像特征。在第一層(圖像特征)與最深層(其可以輸出圖像的隱空間表示)之間，可能存在更多既不對(duì)應(yīng)于隱空間也不對(duì)應(yīng)于圖像空間特征的層和權(quán)重。

26、所述處理單元還可以被配置為在生成第三圖像之前執(zhí)行用于神經(jīng)網(wǎng)絡(luò)的通用訓(xùn)練階段和個(gè)性化階段作為預(yù)處理步驟，其中，所述網(wǎng)絡(luò)的一部分被重新訓(xùn)練，特別是基于來(lái)自感興趣對(duì)象的數(shù)據(jù)。這還改進(jìn)了異常的個(gè)性化檢測(cè)。技術(shù)上，這些權(quán)重彼此沒(méi)有區(qū)別。在通用訓(xùn)練階段中，所述權(quán)重被聯(lián)合優(yōu)化，并且在個(gè)性化階段中，僅使用對(duì)象的圖像作為訓(xùn)練對(duì)來(lái)重新訓(xùn)練權(quán)重的定義子集。這經(jīng)常被表示為在訓(xùn)練的特定周期期間“凍結(jié)”某些權(quán)重，即在個(gè)性化階段期間可以固定/凍結(jié)所述權(quán)重。

27、在實(shí)施例中，為了所述個(gè)性化階段中的重新訓(xùn)練，所述輸入圖像可以被用于基于關(guān)于在檢查中的對(duì)象的信息來(lái)改進(jìn)經(jīng)訓(xùn)練的網(wǎng)絡(luò)，因?yàn)樗鼍W(wǎng)絡(luò)可以因此獲悉該對(duì)象，特別是所述對(duì)象的感興趣物體，過(guò)去已經(jīng)如何老化。因此，重新訓(xùn)練的網(wǎng)絡(luò)可以更好地預(yù)測(cè)該對(duì)象的感興趣物體如何隨時(shí)間老化，并且因此可以生成進(jìn)一步改進(jìn)的估計(jì)圖像，所述圖像更真實(shí)地表示所述估計(jì)時(shí)間點(diǎn)處的老化感興趣物體。

28、例如，在實(shí)施例中，所述處理單元被配置為額外地使用多幅訓(xùn)練圖像中的相應(yīng)圖像的對(duì)象的一個(gè)或多個(gè)個(gè)人特性來(lái)訓(xùn)練所述算法或計(jì)算系統(tǒng)。這樣的個(gè)人特性可以包括年齡、性別、大小、體重、醫(yī)學(xué)史中的一項(xiàng)或多項(xiàng)。

29、通常，本發(fā)明可以在不同的背景下應(yīng)用，并與不同感興趣物體一起使用。一個(gè)應(yīng)用在醫(yī)學(xué)圖像處理領(lǐng)域中，其中，所述感興趣物體是解剖器官，例如大腦或心臟。取決于解剖結(jié)構(gòu)，可以利用進(jìn)一步預(yù)處理步驟，諸如目標(biāo)解剖結(jié)構(gòu)的剛性配準(zhǔn)或分割。