本發(fā)明涉及一種體圖像的注冊(cè)與重疊方法,具體而言,涉及一種錐束計(jì)算機(jī)斷層掃描圖像注冊(cè)與重疊方法。
背景技術(shù):
錐束計(jì)算機(jī)斷層掃描(cbct)圖像是口腔臨床中常用于獲取特定病人的顱面形態(tài)信息的一種體圖像。與傳統(tǒng)的二維放射圖像相比,cbct圖像可以提供病人的完整的三維幾何信息。通過對(duì)比治療前后的cbct圖像,可以對(duì)治療所引起的三維顱面形態(tài)的變化進(jìn)行量化分析。由于病人在治療過程中的機(jī)體組織生長(zhǎng)以及在不同的圖像采集過程中的姿態(tài)變化,在利用治療前后的cbct圖像進(jìn)行治療評(píng)價(jià)以及量化分析之前,必須對(duì)治療前后的三維cbct圖像注冊(cè)與重疊,即,進(jìn)行體圖像的注冊(cè)與重疊。
醫(yī)學(xué)圖像的注冊(cè)與重疊通常用于建立不同的體圖像之間的解剖結(jié)構(gòu)的對(duì)應(yīng)關(guān)系。現(xiàn)有技術(shù)中的三維cbct圖像的注冊(cè)與重疊仍面臨如下挑戰(zhàn):1)體圖像屬于大規(guī)模數(shù)據(jù),僅在中等分辨率的顱面cbct圖像當(dāng)中就包含有百萬(wàn)以上的體素,因此傳統(tǒng)醫(yī)學(xué)圖像注冊(cè)中使用的測(cè)度函數(shù)(例如,互信息以及規(guī)范互相關(guān)等測(cè)度)相對(duì)費(fèi)時(shí)并易于陷入局部極小的情況;2)在顱面cbct圖像所記錄的解剖結(jié)構(gòu)當(dāng)中,一部分結(jié)構(gòu)在治療過程中保持形態(tài)不變,而另一些結(jié)構(gòu)則會(huì)隨時(shí)間而發(fā)生變化,因此在體圖像的注冊(cè)與重疊中需要對(duì)于不同的結(jié)構(gòu)區(qū)別對(duì)待,然而手工地進(jìn)行解剖結(jié)構(gòu)的標(biāo)注耗時(shí)、費(fèi)力并依賴于操作者,因此需要一種有效的標(biāo)注工具用于定義感興趣結(jié)構(gòu)(soi);3)顱面cbct圖像通常由于放射劑量小而圖像分辨率較低且圖像質(zhì)量較差,因而在圖像中,部分骨性結(jié)構(gòu)會(huì)由于與周圍組織的灰度相似而變得模糊,難以在參考cbct圖像和目標(biāo)cbct圖像中確定其對(duì)應(yīng)關(guān)系,因此需要一 種魯棒的對(duì)應(yīng)估計(jì)算法以實(shí)現(xiàn)可靠的cbct圖像的注冊(cè)與重疊。
醫(yī)學(xué)圖像處理領(lǐng)域中的自動(dòng)圖像注冊(cè)與重疊已經(jīng)進(jìn)行了多年的研究。近年來,顱面體圖像的注冊(cè)與重疊大多使用基于體素的各種方法?;バ畔?mutualinformation)是在體圖像的注冊(cè)與重疊方法中經(jīng)常使用的測(cè)度函數(shù),其用于估計(jì)體圖像的統(tǒng)計(jì)灰度并試圖找到使各個(gè)體圖像之間信息最大的空間變換。由于互信息是一個(gè)全局度量,因此用于估計(jì)局部最優(yōu)的變換相對(duì)較難。進(jìn)而,引入了體圖像相位以替代圖像的灰度,通過計(jì)算局部相位的互信息使得結(jié)構(gòu)關(guān)聯(lián)最大化。通常,將顱底部分的體素看作是穩(wěn)定的結(jié)構(gòu)并進(jìn)行剛性注冊(cè)與重疊的方法大多基于互信息測(cè)度函數(shù)。在這些方法中,顱面體圖像在重疊后可用于評(píng)價(jià)下頜區(qū),或者可用于比較頜面手術(shù)中骨骼以及軟組織的形態(tài)變化。一些基于互信息測(cè)度函數(shù)的體圖像注冊(cè)與重疊軟件相繼出現(xiàn),其中mirit軟件用于計(jì)算正頜手術(shù)病人在治療前后的體圖像的剛性注冊(cè);ondemand3d軟件用于計(jì)算基于前顱底的cbct圖像重疊;maxilim軟件用于對(duì)顱底的三維模型進(jìn)行重疊。
此外,基于標(biāo)記的方法也可以用于重疊體圖像并度量顱面結(jié)構(gòu)由于生長(zhǎng)以及治療所造成的變化。標(biāo)記結(jié)合普氏(procrustes)測(cè)度幾乎被用于所有的形態(tài)學(xué)研究。普氏分析以及薄板樣條可用于樣本曲線輪廓的多變量分析,其中以手工的方式選取三維標(biāo)記并計(jì)算普氏幾何變換,以估計(jì)下頜由于生長(zhǎng)與治療所造成的變化。
方向無關(guān)的三維尺度不變特征變換(scaleinvariantfeaturetransform,sift)通常用于臨床ct圖像的注冊(cè)與重疊。例如,stephaneallaire等人于2008年在“2012ieee計(jì)算機(jī)視覺與模式識(shí)別研討會(huì)計(jì)算機(jī)學(xué)會(huì)會(huì)議(computersocietyconferenceoncomputervisionandpatternrecognitionworkshops)”上發(fā)表的題為“fullorientationinvarianceandimprovedfeatureselectivityof3dsiftwithapplicationtomedicalimageanalysis”的文章中,給出了一種針對(duì)醫(yī)療圖像分析應(yīng)用的三維sift方法。
在現(xiàn)有技術(shù)中,通常直接對(duì)原始體圖像中的稠密體素進(jìn)行操作。 由于數(shù)據(jù)量較大且測(cè)度函數(shù)復(fù)雜,因而計(jì)算效率較低。此外,在現(xiàn)有技術(shù)中,對(duì)于感興趣區(qū)域的手工標(biāo)注不僅操作繁復(fù)而且依賴于操作者。在現(xiàn)有的基于標(biāo)記的注冊(cè)與重疊方法中,需要手工操作來定義三維標(biāo)記。另外,在三維描述子的計(jì)算中,方向確定以及梯度直方圖的估計(jì)較為復(fù)雜并且計(jì)算效率較低。
技術(shù)實(shí)現(xiàn)要素:
提出了本發(fā)明的技術(shù)方案,以解決現(xiàn)有技術(shù)中的上述問題之一或其他技術(shù)問題。
根據(jù)本發(fā)明的一個(gè)方面,提供了一種體圖像的注冊(cè)與重疊方法,包括:分別在參考體圖像和目標(biāo)體圖像中提取參考圖像子集和目標(biāo)圖像子集;使用半監(jiān)督學(xué)習(xí)(semi-supervisedlearning)方法分別在參考圖像子集和目標(biāo)圖像子集中定義感興趣結(jié)構(gòu)(soi);計(jì)算參考圖像子集的soi和目標(biāo)圖像子集的soi中的各個(gè)體素的球灰度積分算子;基于球灰度積分算子通過協(xié)同嵌入來求解參考圖像子集與目標(biāo)圖像子集之間的對(duì)應(yīng)關(guān)系;基于得到的對(duì)應(yīng)關(guān)系計(jì)算參考體圖像與目標(biāo)體圖像之間的剛性變換參數(shù);以及將計(jì)算得到的剛性變換參數(shù)應(yīng)用于參考體圖像,并將剛性變換后的參考體圖像與目標(biāo)體圖像重疊。
根據(jù)本發(fā)明的實(shí)施例,分別在參考體圖像和目標(biāo)體圖像中提取參考圖像子集和目標(biāo)圖像子集的步驟可以包括:分別對(duì)參考體圖像和目標(biāo)體圖像進(jìn)行高斯平滑;針對(duì)參考體圖像計(jì)算各階高斯平滑圖像之間的一階參考差分圖像;針對(duì)目標(biāo)體圖像計(jì)算各階高斯平滑圖像之間的一階目標(biāo)差分圖像;提取一階參考差分圖像的局部極值作為參考體圖像的參考圖像子集;以及提取一階目標(biāo)差分圖像的局部極值作為目標(biāo)體圖像的目標(biāo)圖像子集。
根據(jù)本發(fā)明的實(shí)施例,可以針對(duì)參考體圖像和目標(biāo)體圖像分別設(shè)定閾值,并且從提取的參考圖像子集和目標(biāo)圖像子集中去除其灰度值小于閾值的體素。
根據(jù)本發(fā)明的實(shí)施例,在提取參考圖像子集和目標(biāo)圖像子集的步驟之前,所述方法還可以包括利用直方圖匹配算子對(duì)參考體圖像和 目標(biāo)體圖像進(jìn)行處理。
根據(jù)本發(fā)明的實(shí)施例,可以基于預(yù)先輸入的soi的體積先驗(yàn)來使用半監(jiān)督學(xué)習(xí)方法分別在參考圖像子集和目標(biāo)圖像子集中定義soi??梢酝ㄟ^預(yù)先對(duì)屬于不同類型的soi的體素進(jìn)行計(jì)數(shù)得到所述soi的體積先驗(yàn)。
根據(jù)本發(fā)明的實(shí)施例,計(jì)算體素的球灰度積分算子的步驟可以包括:以待計(jì)算的體素作為球心并且以預(yù)定長(zhǎng)度作為半徑形成一個(gè)球,待計(jì)算的體素為球心體素;將形成的球等分成n個(gè)體錐;根據(jù)公式(1)對(duì)n等分后的每個(gè)體錐內(nèi)的體素的灰度進(jìn)行積分:
其中,r表示球的半徑,bj表示第j個(gè)體錐,1≤j≤n,v表示體錐bj所涵蓋的空間中的各個(gè)體素,函數(shù)i(v)返回的值為體素v與球心體素的灰度差,uj,r表示將半徑為r的球等分成n的體錐后,第j個(gè)體錐bj內(nèi)的體素的灰度積分;以及將針對(duì)n個(gè)體錐計(jì)算后的n個(gè)結(jié)果排序,得到n維向量ur=(u1,r,u2,r,……,un,r),其中,ur表示球心體素對(duì)于半徑為r的球的灰度積分。
根據(jù)本發(fā)明的實(shí)施例,計(jì)算體素的球灰度積分算子的步驟還可以包括:以待計(jì)算的體素作為球心選取m個(gè)不同的半徑,得到m組n維向量
根據(jù)本發(fā)明的實(shí)施例,n=40,m=6,ri∈[2,10],其中,ri的單位為體素?cái)?shù)量。
根據(jù)本發(fā)明的實(shí)施例,基于球灰度積分算子通過協(xié)同嵌入來求解參考圖像子集與目標(biāo)圖像子集之間的對(duì)應(yīng)關(guān)系的步驟可以包括:建立與參考圖像子集和目標(biāo)圖像子集對(duì)應(yīng)的圖結(jié)構(gòu)ge(a,ψ),其中,結(jié)點(diǎn)集a為考圖像子集和目標(biāo)圖像子集中的體素,邊連接ψ包含各圖像子集內(nèi)部的連接以及各圖像子集之間的連接;對(duì)于圖結(jié)構(gòu)ge(a,ψ),基于圖像子集的各個(gè)體素之間的歐式距離和與各個(gè)體素對(duì)應(yīng)的球灰度積分算子之間的距離計(jì)算在各圖像子集內(nèi)部連接各個(gè)體素的邊權(quán)值,并且基于與各個(gè)體素對(duì)應(yīng)的球灰度積分算子之間的距離計(jì)算在各圖像子集之間連接各個(gè)體素的邊權(quán)值;基于計(jì)算得到的各個(gè)邊權(quán) 值建立協(xié)同嵌入的目標(biāo)函數(shù);通過對(duì)目標(biāo)函數(shù)進(jìn)行拉普拉斯矩陣特征分解,求得與最小特征值對(duì)應(yīng)的特征向量,即為參考圖像子集和目標(biāo)圖像子集在協(xié)同嵌入的空間中的坐標(biāo);以及在協(xié)同嵌入空間中定義閾值,當(dāng)參考圖像子集中的體素和目標(biāo)圖像子集中的體素在協(xié)同嵌入空間中的距離小于閾值時(shí),認(rèn)定這一對(duì)體素是對(duì)應(yīng)的。
根據(jù)本發(fā)明的實(shí)施例,參考體圖像與目標(biāo)體圖像之間的剛性變換參數(shù)可以包括從參考體圖像變換至目標(biāo)體圖像的旋轉(zhuǎn)矩陣和平移向量。
附圖說明
通過參照附圖對(duì)本發(fā)明構(gòu)思的示例性實(shí)施例進(jìn)行詳細(xì)描述,本發(fā)明構(gòu)思的示例實(shí)施例的上述和其他特征和優(yōu)點(diǎn)將變得更加清楚。附圖旨在描述本發(fā)明構(gòu)思的示例實(shí)施例,而不應(yīng)當(dāng)解釋為限制權(quán)利要求的預(yù)期范圍。在附圖中:
圖1示出了根據(jù)本發(fā)明構(gòu)思的實(shí)施例的體圖像的注冊(cè)與重疊方法的流程圖;以及
圖2a和圖2b示出了根據(jù)本發(fā)明構(gòu)思的實(shí)施例的體圖像的注冊(cè)與重疊方法中使用的球灰度積分算子的示意圖。
具體實(shí)施方式
下面將參照附圖詳細(xì)描述本發(fā)明構(gòu)思的示例性實(shí)施例。
然而,本發(fā)明構(gòu)思可以按照許多不同的形式示例,并且不應(yīng)理解為限于本文所闡述的示例性實(shí)施例。此外,提供這些實(shí)施例是為了使得本公開將是徹底而完整的,并且將向本領(lǐng)域的技術(shù)人員充分地傳達(dá)本發(fā)明構(gòu)思的范圍。在附圖中,相同的附圖標(biāo)記將始終用于指示相同或相似的元件。
應(yīng)當(dāng)理解的是,雖然在本文中使用了術(shù)語(yǔ)第一、第二等來描述各個(gè)元件,然而這些元件不應(yīng)當(dāng)被這些術(shù)語(yǔ)所限定。這些術(shù)語(yǔ)僅用于將一個(gè)元件與另一個(gè)元件區(qū)分開。例如,第一元件可被稱作第二元件,并且類似地,第二元件可被稱作第一元件,而沒有背離本發(fā)明構(gòu)思的 示例實(shí)施例的范圍。如在本文中所使用的那樣,術(shù)語(yǔ)“和/或”包括一個(gè)或多個(gè)所列相關(guān)項(xiàng)目的任意和全部組合。
本文所使用的術(shù)語(yǔ)僅用于描述本文所闡述的示例性實(shí)施例,而非旨在限定本發(fā)明構(gòu)思。如同本文所使用的那樣,除非上下文中另外明確表示,否則單數(shù)形式“一個(gè)”、“一”和“該”也旨在包括復(fù)數(shù)形式。還應(yīng)當(dāng)理解,當(dāng)術(shù)語(yǔ)“包括”、“提供有”和/或“具有”用于示例性實(shí)施例中時(shí),其指示了存在所述特征、整體、步驟、操作、元件和/或部件,但并不排除存在或增加其他一個(gè)或多個(gè)特征、整體、步驟、操作、元件、部件和/或它們的組合。
還應(yīng)當(dāng)注意到,在一些替代實(shí)現(xiàn)方式中,所示出的功能/動(dòng)作會(huì)按照與圖中標(biāo)注的順序不同的方式發(fā)生。例如,連續(xù)示出的兩個(gè)圖實(shí)際上可以基本同時(shí)執(zhí)行,或者有時(shí)可以按照相反的順序執(zhí)行,這取決于所涉及的功能/動(dòng)作。
除非另有說明,否則本文使用的包括說明性術(shù)語(yǔ)或技術(shù)術(shù)語(yǔ)的所有術(shù)語(yǔ)應(yīng)該被理解為具有對(duì)于本領(lǐng)域普通技術(shù)人員之一明顯的含義。另外,在普通詞典中定義并且在以下描述中使用的術(shù)語(yǔ)應(yīng)該被理解為具有與相關(guān)描述中使用的含義等同的含義,并且,除非本文中另有說明,否則所述術(shù)語(yǔ)不應(yīng)被理解為理想的或過于正式的。還應(yīng)當(dāng)認(rèn)識(shí)到,在沒有進(jìn)行特定聲明的情況下,本文所提及的“圖像”為“體圖像”。
圖1示出了根據(jù)本發(fā)明構(gòu)思的實(shí)施例的體圖像的注冊(cè)與重疊方法的流程圖。
參照?qǐng)D1,根據(jù)本發(fā)明構(gòu)思的實(shí)施例的體圖像的注冊(cè)與重疊方法100包括:分別在參考體圖像和目標(biāo)體圖像中提取參考圖像子集和目標(biāo)圖像子集(s110);使用半監(jiān)督學(xué)習(xí)方法分別在參考圖像子集和目標(biāo)圖像子集中定義感興趣結(jié)構(gòu)(s120);計(jì)算參考圖像子集的感興趣結(jié)構(gòu)和目標(biāo)圖像子集的感興趣結(jié)構(gòu)中的各個(gè)體素的球灰度積分算子(s130);基于球灰度積分算子通過協(xié)同嵌入來求解參考圖像子集與目標(biāo)圖像子集之間的對(duì)應(yīng)關(guān)系(s140);基于得到的對(duì)應(yīng)關(guān)系計(jì)算參考體圖像與目標(biāo)體圖像之間的剛性變換參數(shù)(s150);以及將計(jì)算得 到的剛性變換參數(shù)應(yīng)用于參考體圖像,并將剛性變換后的參考體圖像與目標(biāo)體圖像重疊(s160)。
在提取圖像子集的步驟(s110)中,分別從參考體圖像與目標(biāo)圖像中提取各自的圖像子集。參考體圖像和目標(biāo)體圖像可以是錐束計(jì)算機(jī)斷層掃描(cbct)體圖像。
具體而言,可以對(duì)每個(gè)cbct體圖像進(jìn)行高斯平滑,并計(jì)算各階高斯平滑圖像之間的一階差分圖像。也就是說,針對(duì)參考體圖像計(jì)算各階高斯平滑圖像之間的一階參考差分圖像,并且針對(duì)目標(biāo)體圖像計(jì)算各階高斯平滑圖像之間的一階目標(biāo)差分圖像。隨后,分別提取一階參考差分圖像的局部極值和一階目標(biāo)差分圖像的局部極值以構(gòu)成參考圖像子集和目標(biāo)圖像子集,即,從cbct體圖像提取的圖像子集可以由極值位置上的各個(gè)體素進(jìn)行定義。通過從cbct體圖像提取圖像子集,可以極大地降低計(jì)算數(shù)據(jù)的規(guī)模。
根據(jù)本發(fā)明的實(shí)施例,在從cbct體圖像提取圖像子集之前,可以利用直方圖匹配算子對(duì)參考cbct體圖像與目標(biāo)cbct體圖像進(jìn)行處理(s100),如圖1所示。然而,本發(fā)明構(gòu)思不限于此,而是可以利用其他匹配算子對(duì)體圖像進(jìn)行處理,或者不對(duì)體圖像進(jìn)行處理。
此外,由于基于差分圖像的局部極值提取的體素可能位于體圖像背景區(qū)域,從而使得計(jì)算過程不穩(wěn)定,因此,對(duì)于參考cbct體圖像與目標(biāo)cbct體圖像可分別定義閾值,以從提取的圖像子集中去除其灰度值小于預(yù)定閾值的體素。
在定義感興趣結(jié)構(gòu)(soi)的步驟(s120)中,分別針對(duì)參考圖像子集和目標(biāo)圖像子集使用半監(jiān)督學(xué)習(xí)方法。
在口腔臨床應(yīng)用中,體圖像的注冊(cè)與重疊通常會(huì)基于穩(wěn)定的解剖結(jié)構(gòu),例如,前顱底、顴弓等。這些穩(wěn)定的解剖結(jié)構(gòu)構(gòu)成了可以在體圖像的注冊(cè)與重疊方法中使用的soi。利用半監(jiān)督學(xué)習(xí)方法,可以將用戶給定的少量結(jié)構(gòu)標(biāo)記擴(kuò)散到整個(gè)子集。
通過半監(jiān)督學(xué)習(xí)方法,可以使用少量的已標(biāo)記數(shù)據(jù)來訓(xùn)練大量的未標(biāo)記數(shù)據(jù)。半監(jiān)督學(xué)習(xí)介于無監(jiān)督學(xué)習(xí)(即,不使用任何已標(biāo)記的訓(xùn)練數(shù)據(jù))和監(jiān)督學(xué)習(xí)(即,全部使用已標(biāo)記的訓(xùn)練數(shù)據(jù))。研究 表明,通過結(jié)合少量的已標(biāo)記數(shù)據(jù),可以大大提高未標(biāo)記數(shù)據(jù)的學(xué)習(xí)準(zhǔn)確性。
具體而言,首先由用戶對(duì)少量的切面圖像(即,構(gòu)成參考體圖像和目標(biāo)體圖像的切面圖像,其為平面圖像)進(jìn)行標(biāo)記,標(biāo)記的內(nèi)容可以包括soi的起始切面圖像、終止切面圖像以及中間切面圖像。隨后,基于已標(biāo)記的體素,對(duì)圖像子集應(yīng)用半監(jiān)督學(xué)習(xí)方法,使得標(biāo)記可以擴(kuò)散到圖像子集中的所有體素。
對(duì)體素進(jìn)行標(biāo)記的過程即為根據(jù)體素所屬的解剖結(jié)構(gòu)對(duì)該體素進(jìn)行分類的過程。在口腔臨床應(yīng)用中,soi的類型可以包括:前顱底(cb)、左顴弓(zl),右顴弓(zr)以及其它結(jié)構(gòu)(ob)。因此,可以使用cb、zl、zr和ob分別對(duì)體素進(jìn)行標(biāo)記。
本申請(qǐng)的發(fā)明人注意到,在針對(duì)口腔臨床應(yīng)用中的cbct體圖像使用現(xiàn)有技術(shù)中的半監(jiān)督學(xué)習(xí)方法時(shí),會(huì)出現(xiàn)標(biāo)記擴(kuò)散退化的現(xiàn)象,例如,由于soi與其他骨骼或組織緊密相鄰,在使用現(xiàn)有技術(shù)中的半監(jiān)督學(xué)習(xí)方法時(shí),會(huì)使標(biāo)記擴(kuò)散至soi之外的其他骨骼或組織。為了避免標(biāo)記擴(kuò)散退化的出現(xiàn),根據(jù)本發(fā)明的實(shí)施例,在傳統(tǒng)的半監(jiān)督學(xué)習(xí)方法中引入了soi的體積先驗(yàn)(volumepriori)作為邊界約束條件,即,基于預(yù)先輸入的soi的體積先驗(yàn)來使用半監(jiān)督學(xué)習(xí)方法分別在參考cbct體圖像的圖像子集和目標(biāo)cbct體圖像的圖像子集中定義soi??梢酝ㄟ^預(yù)先對(duì)屬于不同類型的soi的體素進(jìn)行計(jì)數(shù)來得到所述soi的體積先驗(yàn)。具體而言,任一類型的soi的體積先驗(yàn)可以表示為屬于該類型的soi的體素?cái)?shù)量與圖像子集的總體素?cái)?shù)量的比值。例如,經(jīng)過預(yù)先統(tǒng)計(jì),屬于前顱底(cb)的體素?cái)?shù)量為ncb,圖像子集的總體素?cái)?shù)量為ntotal,則前顱底的體積先驗(yàn)δcb可以表示為ncb/ntotal。
在對(duì)圖像子集中的所有體素完成標(biāo)記之后,可以選擇圖像子集中屬于某一特定的soi(例如,前顱底、顴弓等)的體素來進(jìn)行重疊參數(shù)的估計(jì)。
在計(jì)算體素的球灰度積分算子的步驟(s130)中,針對(duì)參考圖像子集的soi和目標(biāo)圖像子集的soi中的各個(gè)體素來計(jì)算球灰度積分算子。體素的球灰度積分算子在隨后建立參考圖像子集與目標(biāo)圖像子 集之間的對(duì)應(yīng)關(guān)系(步驟s140)時(shí)可以用作判定兩個(gè)體素(即,參考體圖像中的體素和目標(biāo)體圖像中的體素)是否對(duì)應(yīng)的原始特征空間。使用體素的球灰度積分算子作為原始特征空間,可以描述圖像子集中的體素的空間分布和紋理上下文信息。此外,與現(xiàn)有技術(shù)中的其他可以用作原始特征空間的算子相比,體素的球灰度積分算子的計(jì)算量相對(duì)較小。
圖2a和圖2b示出了根據(jù)本發(fā)明構(gòu)思的實(shí)施例的體圖像的注冊(cè)與重疊方法中使用的球灰度積分算子的示意圖。圖2a以平面圖的方式示意性地示出了對(duì)于不同半徑的球計(jì)算球灰度積分算子,圖2b是示意性地示出了將不同半徑的球n等分后的體錐的透視圖。
參照?qǐng)D2a和圖2b,在計(jì)算體素的球灰度積分算子時(shí),以該體素為球心(以下也稱作“球心體素”)并以r為半徑形成一個(gè)球,并且將所形成的球n(例如,n=40)等分,如圖2b所示。例如,e.b.saff和a.b.j.kuijlaars于1997年12月在“themathematicalintelligencer”第19卷、第5-11頁(yè)上發(fā)表的題為“distributingmanypointsonasphere”的文章中,給出了一種將球面進(jìn)行n等分的方法。
隨后,參照?qǐng)D2a,對(duì)n等分后的每個(gè)體錐內(nèi)的體素的灰度進(jìn)行積分。具體的積分公式參見以下公式(2):
其中,
由于體圖像以離散的方式表示,因此在實(shí)際的計(jì)算過程中,與體錐bj對(duì)應(yīng)的灰度積分可近似表示為以下公式(3):
其中,v表示體錐bj所涵蓋的空間中的各個(gè)體素。
分別計(jì)算與每個(gè)體錐bj(1≤j≤n)對(duì)應(yīng)的灰度積分,并對(duì)計(jì)算后的結(jié)果進(jìn)行排序(例如,由低到高排序或由高到低排序),以避免旋轉(zhuǎn)對(duì)體素特征描述產(chǎn)生的影響。由此,對(duì)于半徑為ri的n等分球, 可以得到n維特征描述向量
根據(jù)本發(fā)明的一個(gè)實(shí)施例,可以選取多個(gè)不同的ri(1≤i≤m)來得到n×m維的特征描述矩陣以作為球心體素的球灰度積分算子。根據(jù)本發(fā)明的一個(gè)實(shí)施例,m可以為6,半徑ri∈[2,10],ri的單位為體素?cái)?shù)量。
以球灰度積分作為算子,可以描述圖像子集中的體素的空間分布以及紋理上下文信息。但是,在這樣的原始特征空間中,對(duì)稱的體素和結(jié)構(gòu)會(huì)引起映射混淆,并且這樣的原始特征空間維度較高。為了避免對(duì)稱體素和結(jié)構(gòu)在原始特征空間中引起的映射混淆,同時(shí)降低特征空間的維度,可以通過協(xié)同嵌入(jointembedding)算法將參考圖像子集和目標(biāo)圖像子集嵌入到維度更低的流形(manifold),并在協(xié)同嵌入空間求解參考圖像子集和目標(biāo)圖像子集的對(duì)應(yīng)關(guān)系。
在此,為了建立有語(yǔ)義的對(duì)應(yīng)關(guān)系,協(xié)同嵌入必須滿足以下兩個(gè)要求:在參考圖像子集和目標(biāo)圖像子集中相似的體素在協(xié)同嵌入空間中必須足夠接近;以及各個(gè)圖像子集的全局結(jié)構(gòu)在協(xié)同嵌入流形后能夠保持。
具體方式為,建立與參考圖像子集sref和目標(biāo)圖像子集star對(duì)應(yīng)的圖結(jié)構(gòu)ge(a,ψ),其中結(jié)點(diǎn)集a為考圖像子集sref和目標(biāo)圖像子集star中的體素,邊連接ψ包含各個(gè)圖像子集內(nèi)部的連接ψintra以及各圖像子集之間的連接ψinter,并且ψ=ψinter∪ψinter。
對(duì)于如此構(gòu)造的圖結(jié)構(gòu)ge(a,ψ),基于圖像子集的各個(gè)體素之間的歐式距離和與各個(gè)體素對(duì)應(yīng)的球灰度積分算子之間的距離計(jì)算在各圖像子集內(nèi)部連接各個(gè)體素的邊權(quán)值wintra,并且基于與各個(gè)體素對(duì)應(yīng)的球灰度積分算子之間的距離計(jì)算在各圖像子集之間連接各個(gè)體素的邊權(quán)值winter。因此,在求解參考圖像子集sref和目標(biāo)圖像子集star的對(duì)應(yīng)關(guān)系時(shí),一方面考慮到圖像子集的各個(gè)體素之間的歐式距離,另一方面考慮到與各個(gè)體素對(duì)應(yīng)的球灰度積分算子之間的距離,即,基于球灰度積分算子通過協(xié)同嵌入來求解參考圖像子集與目標(biāo)圖像子集之間的對(duì)應(yīng)關(guān)系(步驟s140)。
基于計(jì)算得到的各個(gè)邊權(quán)值wintra和winter建立協(xié)同嵌入的目標(biāo)函數(shù)。根據(jù)本發(fā)明的實(shí)施例,目標(biāo)函數(shù)e(f)可以由以下公式(4)表示:
其中,f是將體素從原始特征空間變換到流形的投影函數(shù),sk和sl表示圖像子集sref和目標(biāo)圖像子集star,即,k,l∈{ref,tar}。當(dāng)
通過上述方式構(gòu)建的目標(biāo)函數(shù)e(f)可以滿足協(xié)同嵌入的兩個(gè)要求,即,在參考圖像子集和目標(biāo)圖像子集中相似的體素在協(xié)同嵌入空間中必須足夠接近(即,k≠l的情況);以及各個(gè)圖像子集的全局結(jié)構(gòu)在協(xié)同嵌入流形后能夠保持(即,k=l的情況)。
由于協(xié)同嵌入的目標(biāo)函數(shù)與拉普拉斯特征映射一致,通過對(duì)拉普拉斯矩陣進(jìn)行特征分解,得到與最小特征值對(duì)應(yīng)的特征向量即為參考圖像子集sref和目標(biāo)圖像子集star在協(xié)同嵌入的空間中的坐標(biāo),即,目標(biāo)函數(shù)的最優(yōu)解。
由于參考圖像子集sref和目標(biāo)圖像子集star的定義是獨(dú)立進(jìn)行的,因此不能保證參考圖像子集sref中的體素和目標(biāo)圖像子集star中的體素一一對(duì)應(yīng)??梢栽谇度肟臻g中定義閾值,只有當(dāng)參考圖像子集sref中的體素和目標(biāo)圖像子集star中的體素在嵌入空間中的距離小于該閾值時(shí),才認(rèn)為這一對(duì)體素是對(duì)應(yīng)的。
基于得到的對(duì)應(yīng)關(guān)系,可以計(jì)算參考體圖像與目標(biāo)體圖像之間的剛性變換參數(shù)(s150),即,求解從參考體圖像變換至目標(biāo)體圖像的旋轉(zhuǎn)矩陣和平移向量??梢砸罁?jù)由不同的soi的協(xié)同嵌入所獲取的圖像子集之間的對(duì)應(yīng)關(guān)系來計(jì)算剛性變換參數(shù)。
隨后,可以將計(jì)算得到的剛性變換參數(shù)應(yīng)用于參考體圖像,并將剛性變換后的參考體圖像與目標(biāo)體圖像重疊(s160)。
可以對(duì)重疊后的穩(wěn)定骨結(jié)構(gòu)(例如,前顱底)表面的距離進(jìn)行 計(jì)算,以對(duì)基于協(xié)同嵌入的體圖像重疊的精度進(jìn)行驗(yàn)證。經(jīng)實(shí)驗(yàn)驗(yàn)證,該距離在0.5mm以下,完全可以滿足口腔臨床對(duì)于體圖像重疊的精度要求。
根據(jù)本發(fā)明實(shí)施例的體圖像的注冊(cè)與重疊方法,可以快速有效地對(duì)治療前后的cbct體圖像進(jìn)行剛性注冊(cè)與重疊。通過提取圖像子集,有效地降低了計(jì)算中的數(shù)據(jù)規(guī)模。
此外,本發(fā)明還提出了用于描述圖像子集的旋轉(zhuǎn)無關(guān)的球灰度積分算子,以對(duì)體素的上下文信息進(jìn)行描述。由于球灰度積分算子僅包含線性計(jì)算,從而有效克服傳統(tǒng)三維特征描述中的方向估計(jì)、梯度直方圖等復(fù)雜的計(jì)算。
對(duì)于穩(wěn)定結(jié)構(gòu)(或感興趣結(jié)構(gòu))的標(biāo)注采用了半監(jiān)督學(xué)習(xí)方法(或半監(jiān)督的隨機(jī)游走算法),從而避免了全部由用戶手工交互地進(jìn)行標(biāo)注,降低了對(duì)于操作者的依賴性并減輕了交互繁復(fù)的問題。
提出了基于集協(xié)同嵌入算法來求解圖像子集的對(duì)應(yīng)關(guān)系的方法,其中通過對(duì)協(xié)同嵌入空間中的少數(shù)占優(yōu)分量的操作就可以獲取各圖像子集中的體素之間的對(duì)應(yīng)關(guān)系,與在原始特征空間中進(jìn)行注冊(cè)的計(jì)算相比,可有效降低數(shù)據(jù)維度。同時(shí)在協(xié)同嵌入空間中保持圖像子集的整體結(jié)構(gòu),從而避免了參考體圖像與目標(biāo)體圖像中的對(duì)稱體素或者結(jié)構(gòu)所造成的映射混淆,進(jìn)而實(shí)現(xiàn)可靠重疊。
根據(jù)本發(fā)明實(shí)施例的體圖像的注冊(cè)與重疊方法,有效地克服了依據(jù)傳統(tǒng)方法的體圖像重疊中的計(jì)算量大以及容易陷入局部最小的問題。
各個(gè)示例性實(shí)施例的各種優(yōu)點(diǎn)和效果并不限于上述描述,并且可以通過本公開中的具體實(shí)施例的解釋而易于理解這些優(yōu)點(diǎn)和作用。
雖然上文示出并描述了各個(gè)示例性實(shí)施例,但是本領(lǐng)域的技術(shù)人員將顯而易見,可以做出修改和變化而沒有背離如權(quán)利要求所定義的本發(fā)明構(gòu)思的范圍。