圖像處理裝置及圖像處理方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理裝置及圖像處理方法，特別涉及在多個(gè)圖像之間進(jìn)行對(duì)位的 圖像處理裝置及圖像處理方法。
【背景技術(shù)】
[0002] 在二維或三維的多個(gè)（以下也有稱(chēng)作多張的情況）圖像之間進(jìn)行對(duì)位的技術(shù) 被用在各種領(lǐng)域中，是重要的技術(shù)。例如，在醫(yī)療用圖像的領(lǐng)域中，取得CT(CompUted Tomography)圖像、MR (Magnetic Resonance)圖像、PET (Positron Emission Tomography) 圖像、超聲波圖像等各種三維圖像。對(duì)所取得的各種三維圖像而言，為了能夠?qū)ξ徊⒅睾巷@ 示而利用圖像的對(duì)位技術(shù)。這樣的顯示方法被稱(chēng)作融合圖像顯示，能夠進(jìn)行利用圖像的特 征的顯示。例如，CT圖像適合于顯示詳細(xì)的形狀，PET圖像適合于顯示代謝或血流等身體的 功能。
[0003] 進(jìn)而，在醫(yī)療領(lǐng)域中，為了觀察同一患者的經(jīng)過(guò)，通過(guò)在以時(shí)間序列取得的多張醫(yī) 療用圖像之間進(jìn)行對(duì)位，以時(shí)間序列觀察病變部的狀態(tài)，能夠容易地實(shí)施疾病的有無(wú)及進(jìn) 展?fàn)顩r的診斷。在多個(gè)圖像之間進(jìn)行對(duì)位的情況下，將被固定的圖像稱(chēng)作參照?qǐng)D像，將為了 對(duì)位而被坐標(biāo)變換的圖像稱(chēng)作浮動(dòng)圖像。
[0004] 在多個(gè)圖像之間進(jìn)行對(duì)位的技術(shù)可以分類(lèi)為剛體對(duì)位法和非剛體對(duì)位法。在剛體 對(duì)位方法中，對(duì)圖像進(jìn)行平行移動(dòng)和旋轉(zhuǎn)，實(shí)施圖像的對(duì)位。該方法適合于骨骼等不易變形 的部位的圖像。另一方面，在非剛體對(duì)位法中，對(duì)圖像進(jìn)行包括局部變形的復(fù)雜的變形，求 出圖像之間的對(duì)應(yīng)關(guān)系。因此，適用于對(duì)于在治療計(jì)劃及/或經(jīng)過(guò)觀察中取得的多張醫(yī)療 用圖像的對(duì)位、或者在標(biāo)準(zhǔn)的人體-內(nèi)臟模型與個(gè)別的模型之間進(jìn)行醫(yī)療用圖像之間的對(duì) 位等，其應(yīng)用范圍幅度較大。
[0005] 在通常周知的非剛體對(duì)位法中，在浮動(dòng)圖像上配置控制柵格，通過(guò)使該控制柵格 中的控制點(diǎn)移動(dòng)，使浮動(dòng)圖像變形。在變形后的浮動(dòng)圖像與參照?qǐng)D像之間求出圖像類(lèi)似度， 進(jìn)行基于求出的圖像類(lèi)似度的優(yōu)化計(jì)算，求出控制柵格中的控制點(diǎn)的移動(dòng)量（變形量）。在 此情況下，控制柵格中的控制點(diǎn)間的像素的移動(dòng)量通過(guò)配置在該像素的周?chē)目刂泣c(diǎn)的移 動(dòng)量的插補(bǔ)來(lái)計(jì)算。使用得到的各像素的移動(dòng)量進(jìn)行浮動(dòng)圖像的坐標(biāo)變換，實(shí)施使圖像局 部地變形那樣的對(duì)位。此外，通過(guò)使控制點(diǎn)的間隔即柵格數(shù)變化，能夠?qū)嵤┒嘀胤直媛实淖?形。
[0006] 在專(zhuān)利文獻(xiàn)1中示出了不是使用柵格狀的控制點(diǎn)、而是在浮動(dòng)圖像中將對(duì)應(yīng)于與 參照?qǐng)D像類(lèi)似的部位的界標(biāo)作為控制點(diǎn)來(lái)使用，并使用該控制點(diǎn)將圖像進(jìn)行瓦片（tile) 分割而進(jìn)行變形。在求出局部性的變形的情況下，在分割出的瓦片中追加界標(biāo)，再將瓦片分 割而實(shí)施對(duì)位。
[0007] 現(xiàn)有技術(shù)文獻(xiàn)
[0008] 專(zhuān)利文獻(xiàn)
[0009] 專(zhuān)利文獻(xiàn)1 :特表2007 - 516744號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0010] 發(fā)明要解決的問(wèn)題
[0011] 在上述使用控制柵格的對(duì)位中，控制柵格中的控制點(diǎn)的數(shù)量達(dá)到幾千或幾萬(wàn)左 右。因此，求出各個(gè)控制點(diǎn)的移動(dòng)量的優(yōu)化計(jì)算變得復(fù)雜。因此，對(duì)位的精度依存于控制柵 格中的控制點(diǎn)的初始位置。使用上述剛體對(duì)位法，能夠設(shè)定各個(gè)控制點(diǎn)的大體的初始位置。 但是，在因軟組織或內(nèi)臟的老化等而發(fā)生了復(fù)雜的變形的情況下，剛體對(duì)位法本身有可能 不能適用。因此，難以求出正確的初始位置。
[0012] 此外，在將對(duì)位的結(jié)果進(jìn)行修正的情況下，要求將上述控制柵格中的多個(gè)控制點(diǎn)1 個(gè)點(diǎn)1個(gè)點(diǎn)地向?qū)?yīng)的位置移動(dòng)。該作業(yè)非常繁瑣。
[0013] 另一方面，在專(zhuān)利文獻(xiàn)1所記載的技術(shù)中，在求出復(fù)雜的局部變形的情況下，要求 依次追加界標(biāo)、將瓦片分割的處理。但是，如果通過(guò)分割的處理而瓦片區(qū)域的面積減小，則 在已有的瓦片中，解剖性的部位中的高精度的對(duì)應(yīng)點(diǎn)搜索變困難。此外，在界標(biāo)的依次性的 追加處理中，使用界標(biāo)整體的一致度的確實(shí)的誤對(duì)應(yīng)排除處理也較困難。
[0014] 本發(fā)明的目的是提供一種對(duì)位處理的精度較高的圖像處理裝置及圖像處理方法。
[0015] 本發(fā)明的上述及其他目的和新的特征通過(guò)本說(shuō)明書(shū)的記述及附圖會(huì)變得清楚。
[0016] 用于解決問(wèn)題的手段
[0017] 將本申請(qǐng)所公開(kāi)的發(fā)明中的代表性的技術(shù)方案的概要簡(jiǎn)單說(shuō)明如下。
[0018] 即，為了將浮動(dòng)圖像變形，在浮動(dòng)圖像中設(shè)置控制柵格。此外，從浮動(dòng)圖像和參照 圖像的各自中提取特征點(diǎn)（以下也稱(chēng)作界標(biāo)）。從參照?qǐng)D像和浮動(dòng)圖像的各自中搜索與提 取出的特征點(diǎn)對(duì)應(yīng)的位置的點(diǎn)。使用搜索出的點(diǎn)的位置，設(shè)定設(shè)置在浮動(dòng)圖像中的控制柵 格中的控制點(diǎn)的初始位置。提取出的特征點(diǎn)在參照?qǐng)D像和浮動(dòng)圖像的各自中相互對(duì)應(yīng)（成 對(duì)），在各自的圖像中是特征性的部分。由此，將與相互對(duì)應(yīng)的特征點(diǎn)分別對(duì)應(yīng)的位置（參 照?qǐng)D像和浮動(dòng)圖像中的位置）反映到控制點(diǎn)的初始位置。在為了對(duì)位而將浮動(dòng)圖像變形之 前，能夠?qū)⒖刂泣c(diǎn)配置到更正確的位置，能夠提高對(duì)位的精度。
[0019] 此外，在一技術(shù)方案中，以手動(dòng)進(jìn)行特征點(diǎn)的輸入（編輯）。控制柵格根據(jù)其結(jié)果 變形，能夠?qū)?duì)位的結(jié)果進(jìn)行修正，能夠?qū)崿F(xiàn)修正的容易化。
[0020] 發(fā)明效果
[0021] 根據(jù)一技術(shù)方案，能夠提供一種對(duì)位處理的精度較高的圖像處理裝置及圖像處理 方法。
【附圖說(shuō)明】
[0022] 圖1是表示有關(guān)實(shí)施方式1的圖像處理裝置的邏輯結(jié)構(gòu)的框圖。
[0023] 圖2是表示有關(guān)實(shí)施方式1的圖像處理裝置的硬件結(jié)構(gòu)的框圖。
[0024] 圖3是表示有關(guān)實(shí)施方式1的對(duì)位處理的流程圖。
[0025] 圖4是以三維圖像為例表示有關(guān)實(shí)施方式1的特征點(diǎn)的數(shù)據(jù)構(gòu)造的數(shù)據(jù)構(gòu)造圖。
[0026] 圖5是表示有關(guān)實(shí)施方式1的對(duì)位部的處理的流程圖。
[0027] 圖6是表示有關(guān)實(shí)施方式2的圖像處理裝置的邏輯性的結(jié)構(gòu)的框圖。
[0028] 圖7是表示有關(guān)實(shí)施方式2的關(guān)注區(qū)域提取部的處理的流程圖。
[0029] 圖8的㈧~（C)是表示有關(guān)實(shí)施方式2的圖像處理裝置處理的圖像的例子的說(shuō) 明圖。
[0030] 圖9是表示有關(guān)實(shí)施方式3的圖像處理裝置的邏輯結(jié)構(gòu)的框圖。
[0031] 圖10的㈧及⑶是人體的腹部橫截面層的示意圖。
[0032] 圖11的（A)及（B)是帶有界標(biāo)的人體的腹部橫截面層的示意圖。
[0033] 圖12的（A)及（B)是表示控制柵格與人體的腹部橫截面層的關(guān)系的示意圖。
[0034] 圖13是表示由控制柵格變形后的人體的腹部橫截面層的示意圖。
[0035] 圖14的（A)及（B)是明示采樣點(diǎn)的例子的人體的腹部橫截面層的示意圖。
[0036] 圖15的（A)及（B)是帶有界標(biāo)、控制柵格的人體的腹部橫截面層的示意圖。
[0037] 圖16是表示有關(guān)各實(shí)施方式的對(duì)應(yīng)點(diǎn)對(duì)的數(shù)據(jù)構(gòu)造的數(shù)據(jù)構(gòu)造圖。
【具體實(shí)施方式】
[0038] 以下，基于附圖詳細(xì)地說(shuō)明本發(fā)明的實(shí)施方式。另外，在用來(lái)說(shuō)明實(shí)施方式的全部 圖中，對(duì)于相同部分在原則上賦予相同的標(biāo)號(hào)，其重復(fù)的說(shuō)明省略。
[0039] (實(shí)施方式1)
[0040] 〈概要〉
[0041] 在參照?qǐng)D像和浮動(dòng)圖像各自中，提取相互對(duì)應(yīng)的特征點(diǎn)作為對(duì)。從參照?qǐng)D像和浮 動(dòng)圖像各自中提取這些特征點(diǎn)對(duì)的位置信息，使用提取出的位置信息，決定在對(duì)位處理中 使用的控制柵格中的各控制點(diǎn)的初始位置。由此，能夠更正確地實(shí)施用來(lái)求出控制點(diǎn)的移 動(dòng)量的優(yōu)化計(jì)算。作為其結(jié)果，能夠?qū)崿F(xiàn)穩(wěn)定且高精度的對(duì)位處理。
[0042] 〈結(jié)構(gòu)及動(dòng)作〉
[0043] 圖1是表示有關(guān)實(shí)施方式1的圖像處理裝置的邏輯結(jié)構(gòu)的框圖。在該圖中，11是 參照?qǐng)D像，12是浮動(dòng)圖像。浮動(dòng)圖像12如上述那樣，是在實(shí)施對(duì)位時(shí)被變形的圖像。圖像 處理裝置進(jìn)行參照?qǐng)D像11與浮動(dòng)圖像12之間的對(duì)位。參照?qǐng)D像11和浮動(dòng)圖像12各自的 內(nèi)容根據(jù)進(jìn)行對(duì)位的對(duì)象圖像而變化。為了使說(shuō)明變?nèi)菀祝谠搱D中也表示了參照?qǐng)D像11 和浮動(dòng)圖像12,但作為圖像處理裝置，應(yīng)理解為不包含參照?qǐng)D像和浮動(dòng)圖像。
[0044] 圖像處理裝置具備圖像采樣部13、特征點(diǎn)檢測(cè)及對(duì)應(yīng)建立部14、控制柵格變形部 16、對(duì)位部10及浮動(dòng)圖像變形部17。另外，在該圖中，18表示由圖像處理裝置完成了對(duì)位 的浮動(dòng)圖像。
[0045] 特征點(diǎn)檢測(cè)及對(duì)應(yīng)建立部14將參照?qǐng)D像11和浮動(dòng)圖像12分別接受，提取各個(gè)圖 像中的特征點(diǎn)，從參照?qǐng)D像11和浮動(dòng)圖像12提取與所提取的特征點(diǎn)各自對(duì)應(yīng)的位置。將 提取出的位置的信息作為與提取出的特征點(diǎn)分別對(duì)應(yīng)的點(diǎn)的位置信息（以下也稱(chēng)作對(duì)應(yīng) 點(diǎn)位置信息）15輸出?？刂茤鸥褡冃尾?6使用從特征點(diǎn)檢測(cè)及對(duì)應(yīng)建立部14輸出的對(duì)應(yīng) 點(diǎn)位置信息15使控制柵格變形，決定控制柵格中的控制點(diǎn)的初始位置。將所決定的控制點(diǎn) 的初始位置向?qū)ξ徊?0供給。
[0046] 圖像采樣部13接受參照?qǐng)D像11，提取在圖像類(lèi)似度計(jì)算中使用的參照?qǐng)D像11的 圖像采樣點(diǎn)和采樣數(shù)據(jù)，向?qū)ξ徊?0供給。對(duì)位部10按照從各部接受到的圖像數(shù)據(jù)和控 制柵格實(shí)施對(duì)位，將其結(jié)果向浮動(dòng)圖像變形部17供給。浮動(dòng)圖像變形部17按照被供給的 對(duì)位的結(jié)果將浮動(dòng)圖像12變形，將其結(jié)果作為已對(duì)位浮動(dòng)圖像18輸出。關(guān)于這些動(dòng)作，在 說(shuō)明圖像處理裝置的硬件結(jié)構(gòu)后詳細(xì)地?cái)⑹觥?br>[0047] 圖2是表示有關(guān)實(shí)施方式1的圖像處理裝置的硬件結(jié)構(gòu)的框圖。圖2所示的硬件 結(jié)構(gòu)在以下所述的多個(gè)實(shí)施方式中共同使用。
[0048] 此外，有關(guān)實(shí)施方式的圖像處理裝置能夠安裝到通常的計(jì)算機(jī)上，可以設(shè)置在醫(yī) 療施設(shè)等中?；蛘?，也可以在數(shù)據(jù)中心設(shè)置圖像處理裝置，經(jīng)由網(wǎng)絡(luò)將圖像對(duì)位的結(jié)果向客 戶(hù)端終端發(fā)送。在此情況下，也可以經(jīng)由網(wǎng)絡(luò)從客戶(hù)端終端將要對(duì)位的對(duì)象圖像向數(shù)據(jù)中 心內(nèi)的圖像處理裝置供給。以下，以在設(shè)置在醫(yī)療施設(shè)中的計(jì)算機(jī)中安裝有圖像處理裝置 的情況為例進(jìn)行說(shuō)明。
[0049] 在圖2中，40是CPU(處理器），41是ROM(非易失性存儲(chǔ)器：讀出專(zhuān)用的存儲(chǔ)介 質(zhì)），42是RAM(易失性存儲(chǔ)器：能夠進(jìn)行數(shù)據(jù)的讀寫(xiě)的存儲(chǔ)介質(zhì)），43是存儲(chǔ)裝置，44是圖 像輸入部，45是介質(zhì)輸入部，46是輸入控制部，47是圖像生成部。CPU40、R0M41、RAM42、存 儲(chǔ)裝置43、圖像輸入部44、介質(zhì)輸入部45、輸入控制部46及圖像生成部47通過(guò)數(shù)據(jù)總線 48相互連接。雖然沒(méi)有被特別限制，但設(shè)置在醫(yī)療施設(shè)中的計(jì)算機(jī)具備這些裝置。
[0050] 在R0M41和RAM42中，存儲(chǔ)有為了由計(jì)算機(jī)實(shí)現(xiàn)圖像處理裝置所需要的程序和數(shù) 據(jù)。通過(guò)由