本發(fā)明涉及醫(yī)學成像領域,并且具體而言涉及根據醫(yī)學成像掃描來自動檢測肋骨骨折的方法及裝置。
背景技術:
1、醫(yī)學專業(yè)人員通常獲取醫(yī)學成像以識別患者胸廓中的骨折。醫(yī)學成像(例如計算機斷層成像(ct)掃描)是用于可視化患者的解剖結構的工具,其中,可視化數據用于診斷疾病或損傷。具體地,在創(chuàng)傷環(huán)境下,醫(yī)學人員可以依靠ct掃描形式的醫(yī)學成像數據用于診斷目的,例如對肋骨骨折的檢測。讀取成像掃描,并且更具體地,創(chuàng)傷或急診科掃描是時間緊急的任務,其需要以高注意力來完成以避免忽略關鍵的發(fā)現。在一些情況下,在肋骨骨折可能不清楚的情況下,需要從不同視角(例如,矢狀圖和冠狀圖而不是軸向圖)檢查肋骨,并且需要檢查相鄰肋骨和肺部區(qū)域以尋找潛在適應癥,從而進一步增加檢查時間。
2、對肋骨骨折的診斷需要跟蹤24個單獨肋骨,其中,每個肋骨跨越成像掃描的多個切片。因此,手動檢查是繁瑣且耗時的過程。對肋骨骨折的可靠檢測和診斷具有挑戰(zhàn)性,并且不同類型的骨折在對肋骨骨折的檢測和診斷中可能存在不同的挑戰(zhàn),例如,輕微骨折表現為在皮質骨中的略微不規(guī)則性。
3、在過去幾年中,已經引入了用于自動肋骨骨折檢測的多種方法和以直觀的方式可視化患者胸廓以便簡化人體檢查的方法。然而,這些方法解耦了自動骨折檢測和可視化。
4、已經提出了用于簡化患者的解剖結構和關鍵結構的可視化和評估的若干方法,尤其是靶向胸廓的可視化的那些方法。雖然提供了一些益處,但是當前方法具有不同的基本限制。
5、一種公知的可視化方案是“魚片視圖(filet?view)”或“魚骨視圖”。該視圖基于分割肋骨(例如,使用深度卷積神經網絡),隨后是中心線提取器,其隨后在視場中標記肋骨對。每個肋骨沿著其跡線采樣,從而允許以歸一化和拉直的方式(彎曲平面重新格式化)來可視化每個肋骨和每一個肋骨。這種類型的視圖的一個缺點是,處理每個肋骨的性質獨立地導致肋骨之間的不連續(xù)性,這可能導致來自出現在肋骨形狀中的相鄰肋骨的成像偽影。
6、另一種可視化方案是內臟腔視圖。在該視圖中,應用分割算法(例如,使用基于模型的方法)以根據圓柱形流形(manifold)的變形對胸廓內部進行分割。一旦分割完成,流形可以被展開,并且可以計算接近表面附近的最大強度投影(mip)。該視圖允許用戶在檢查畫面上的連續(xù)可視化方面整體檢查胸廓。這種類型的視圖的缺點之一是不保持相對肋骨長度。展開圓柱形流形的性質不允許正確肋骨長度的可視化。例如,第一肋骨相對于其他肋骨顯得太長。此外,mip可視化的性質可能不允許對細微骨折的檢測。例如,mip可視化可以使得小的肋骨骨折不可見并且在生成的視圖中不可檢測。另一個缺陷是該視圖增加了顯著的不現實扭曲(波浪肋骨),這限制了所生成的內臟腔視圖中的臨床置信度。
7、存在對來自諸如ct圖像的醫(yī)學圖像的自動肋骨骨折檢測的巨大需求,但是自動肋骨骨折檢測是具有挑戰(zhàn)性的任務。由于存儲器和運行時約束,常見的基于深度學習的方法遭受輸入分辨率和感受野尺寸之間的權衡。為了識別細微的肋骨骨折,例如發(fā)絲裂紋,需要高圖像分辨率(例如,1mm各向同性)。然而,由于肋骨骨折經常發(fā)生在相鄰肋骨的相似位置上,因此大的感受野尺寸對于任務同樣有益。此外,從高分辨率的局部斑塊識別胸廓上的骨折的位置是困難的。肋骨的不規(guī)則部分,例如結核菌或胸骨肋骨末端可能被誤解為屈曲或移位的骨折,尤其是第一肋骨和最后的肋骨。當前方法似乎作用于原始圖像定向和提取的局部斑塊,然后將其饋送到卷積神經網絡中。利用這些方法,難以解決任務特定的挑戰(zhàn)。
8、因此,需要一種用于從醫(yī)學成像掃描自動檢測肋骨骨折的創(chuàng)新方案。
技術實現思路
1、本發(fā)明的目的是提供一種用于根據醫(yī)學成像掃描來自動檢測肋骨骨折的方法和裝置。所述技術可以應用于由多個成像系統(tǒng)產生的掃描,所述成像系統(tǒng)包括ct、ct臂、單光子發(fā)射計算機斷層成像ct(spect-ct)、磁共振ct(mr-ct)、正電子發(fā)射斷層成像ct(pet-ct)和磁共振成像(mri)系統(tǒng)。
2、為了解決感受野尺寸和分辨率之間的權衡,技術對經重新格式化的圖像執(zhí)行肋骨骨折檢測,而不是在利用笛卡爾網格的三維(3d)重建圖像體積上進行工作。引入和選擇新的流形視圖作為肋骨骨折檢測模型的輸入。
3、新的流形視圖提供優(yōu)于現有視圖的優(yōu)點。例如,與“魚片視圖”相反,不存在采樣偽影(例如,肋骨副本),并且存在消除可能混淆骨折檢測器的成像特征的強圖像邊緣(例如,在相鄰肋骨或背景之間的分界線處)。與內臟腔視圖相比,肋骨長度的比值不變,并且肋骨位置一致。值得注意的是,新的流形視圖再次是三維體,僅顯示了標準化的基本上更小的圖像中的胸廓。
4、根據本發(fā)明的第一方面,提供了一種圖像處理裝置。所述圖像處理裝置包括映射函數模塊,所述映射函數模塊包括映射函數電路,所述映射函數電路被配置為:接收表示三維診斷圖像的數據;根據所接收的表示所述三維診斷圖像的數據來對肋骨和脊柱進行分割;根據肋骨分割來檢測和標記肋骨中心線;根據脊柱分割來檢測和標記椎骨體中心標志;將所述肋骨中心線和所述椎骨體中心標志的對所接收的表示所述三維診斷圖像的數據相對應的每個三維位置映射到定義的二維流形平面上的二維位置;內插在所述定義的二維流形平面上缺失的三維位置坐標,使所述二維流形平面變形,使得其與所述診斷圖像的三維空間中的所檢測的肋骨中心線和椎骨中心標志對齊;以及生成從二維流形空間到三維圖像空間與所映射和所內插的位置相對應的坐標映射函數,以及相反地生成坐標映射函數。
5、所述圖像處理裝置包括流形生成模塊,所述流形生成模塊包括流形處理電路,所述流形處理電路被配置為:接收所生成的坐標映射函數;根據所述映射函數在由經變形的二維流形平面定義的每個坐標處從所述三維診斷圖像空間對圖像強度進行采樣;從所采樣的圖像強度生成經重新格式化的圖像作為二維流形切片,所述二維流形切片顯示胸廓和脊柱的連續(xù)且拉直的可視化;將所述經變形的二維流形平面沿著其法線方向進行移位;并且重復所述采樣以生成覆蓋完整的三維胸廓可視化的流形切片的堆疊。
6、所述圖像處理裝置包括經訓練的骨折檢測模塊,所述經訓練的骨折檢測模塊包括骨折預測電路系統(tǒng),所述骨折預測電路系統(tǒng)被配置為:接收所生成的流形切片的堆疊作為輸入;使用機器學習或深度學習技術經由經訓練的骨折檢測模型來執(zhí)行骨折預測;并且根據所述經訓練的骨折檢測模型在所生成的覆蓋完整的三維胸廓可視化的流形切片的堆疊的空間中生成示出所預測的骨折的經修正的二維流形視圖。
7、所述圖像處理裝置還包括逆坐標變換模塊,所述逆坐標變換模塊包括逆坐標變換電路系統(tǒng),所述逆坐標變換電路系統(tǒng)被配置為:接收所述映射函數和示出所預測的骨折的所述經修正的二維流形視圖作為輸入;并且將所述所預測的骨折從所述流形切片的所述堆疊映射回表示所述三維診斷圖像的所述數據的所述圖像空間。
8、在本發(fā)明的第二方面中,提供了一種自動檢測肋骨骨折的方法。所述方法包括:接收表示三維診斷圖像的數據;根據所接收的表示所述三維診斷圖像的數據來對肋骨和脊柱進行分割;根據肋骨分割來檢測和標記肋骨中心線;根據脊柱分割來檢測和標記椎骨體中心標志;將所述肋骨中心線和所述椎骨體中心標志的與所接收的表示所述三維診斷圖像的數據相對應的每個三維位置映射到定義的二維流形平面上的二維位置;內插在所述定義的二維流形平面上缺失的三維位置坐標使所述二維流形平面變形,使得其與所述診斷圖像的三維空間中的所檢測的肋骨中心線和椎骨中心標志對齊;生成從二維流形空間到三維圖像空間與所映射和所內插的位置相對應的坐標映射函數并且相反地生成坐標映射函數;接收所生成的坐標映射函數;根據所述映射函數在由所述變形的二維流形平面定義的每個坐標處從所述三維診斷圖像空間對圖像強度進行采樣;根據所采樣的圖像強度來生成經重新格式化的圖像作為二維流形切片,所述二維流形切片顯示胸廓和脊柱的連續(xù)且拉直的可視化;將經變形的二維流形平面沿著其法線方向進行移位并且重復所述采樣以生成覆蓋完整的三維胸廓可視化的流形切片的堆疊;接收所生成的流形切片的堆疊作為到經訓練的骨折檢測模型的輸入;根據機器學習或深度學習技術經由所述經訓練的骨折檢測模型來執(zhí)行骨折預測;根據所述經訓練的骨折檢測模型在所生成的覆蓋完整的三維胸廓可視化的流形切片的堆疊的空間中生成示出所預測的骨折的經修正的二維流形視圖;接收所述映射函數和示出所預測的骨折的所述經修正的二維流形視圖;以及將所述所預測的骨折從所述流形切片的所述堆疊映射回表示所述三維診斷圖像的所述數據的所述圖像空間。
9、在本發(fā)明的第三方面,提供了一種其上存儲有用于使處理電路系統(tǒng)執(zhí)行處理的指令的非瞬態(tài)計算機可讀介質。所述處理包括:接收表示三維診斷圖像的數據;根據所接收的表示所述三維診斷圖像的數據來對肋骨和脊柱進行分割;從肋骨分割檢測和標記肋骨中心線;從脊柱分割檢測和標記椎骨體中心標志;將所述肋骨中心線和所述椎骨體中心標志的與所接收的表示所述三維診斷圖像的數據相對應的每個三維位置映射到定義的二維流形平面上的二維位置;內插在所述定義的二維流形平面上缺失的三維位置坐標,其使所述二維流形平面變形,使得其與所述診斷圖像的三維空間中的所檢測的肋骨中心線和椎骨中心標志對齊;生成從二維流形空間到三維圖像空間并且與所映射和所內插的位置相對應的坐標映射函數,并且相反地生成坐標映射函數;接收所生成的坐標映射函數;根據所述映射函數來在由所述變形的二維流形平面定義的每個坐標處從所述三維診斷圖像空間對圖像強度進行采樣;從所采樣的圖像強度生成經重新格式化的圖像作為二維流形切片,所述二維流形切片顯示胸廓和脊柱的連續(xù)且拉直的可視化;將所述變形的二維流形平面沿著其法線方向進行移位并且重復所述采樣以生成覆蓋完整的三維胸廓可視化的流形切片的堆疊;接收所生成的流形切片的堆疊作為到經訓練的骨折檢測模型的輸入;根據機器學習或深度學習技術經由所述經訓練的骨折檢測模型來執(zhí)行骨折預測;根據所述經訓練的骨折檢測模型在所生成的覆蓋完整的三維胸廓可視化的流形切片的堆疊的空間中生成示出所預測的骨折的經修正的二維流形視圖;接收所述映射函數和示出所預測的骨折的所述經修正的二維流形視圖;以及將所述所預測的骨折從所述流形切片的所述堆疊映射回表示所述三維診斷圖像的所述數據的所述圖像空間。
10、在優(yōu)選實施例中,變換模塊包括變換電路系統(tǒng),所述變換電路系統(tǒng)被配置為:接收所生成的流形切片的堆疊和所述映射函數作為輸入;通過重復使用三維注釋掩?;蛉S注釋標志作為采樣輸入的由所述流形處理電路系統(tǒng)進行的采樣、生成和移位來生成流形切片的經注釋的堆疊;并且通過根據所述映射函數將來自所述三維圖像空間的經注釋的骨折映射到流形切片的三維經注釋的堆疊來生成在所生成的流形切片的堆疊中定義的注釋掩模或注釋標志集合。所述經訓練的骨折檢測模塊接收所生成的流形切片的堆疊和所生成的流形切片的經注釋的堆疊作為輸入以訓練所述經訓練的骨折檢測模型。
11、在本發(fā)明的一個方面中,所述經訓練的骨折檢測模塊接收所生成的流形切片的堆疊和所生成的流形切片的經注釋的堆疊作為輸入以訓練所述經訓練的骨折檢測模型。在優(yōu)選的實施例中,所述經訓練的骨折檢測模型是根據逐切片單發(fā)或基于貼片的模型訓練的。感受野尺寸沿著定義的流形切片的堆疊被調諧,使得在經訓練的骨折檢測模型訓練期間捕獲相鄰肋骨處的骨折。
12、根據本發(fā)明的另一方面,所預測的骨折被示出在流形切片的所述堆疊的空間中或所述診斷圖像的空間中,作為具有相應彩色圖層的標志或逐體素注釋的列表。另外,每肋骨的所預測的骨折的數量被確定并且被示出在流形切片的所述堆疊的空間中或所述診斷圖像的空間中。
13、在本發(fā)明的另一方面,隨后通過分類模型分析所述所預測的骨折。
14、在優(yōu)選實施例中,經由包括薄板樣條的內插技術來執(zhí)行內插所述二維流形上的所述缺失坐標。在本發(fā)明的一個方面中,對所述經訓練的骨折檢測模塊的附加輸入包括來自先前成像掃描的掃描圖像和注釋。