本發(fā)明涉及對(duì)管內(nèi)圖像實(shí)施圖像處理的圖像處理裝置、圖像處理方法和圖像處理程序。
背景技術(shù):
以往,公開了如下技術(shù):根據(jù)內(nèi)窺鏡圖像內(nèi)的邊緣線和邊緣周邊的像素?cái)?shù)據(jù)來(lái)判定該邊緣是否是異常組織的邊緣(例如參照專利文獻(xiàn)1)。在該技術(shù)中,根據(jù)邊緣線所成的弧的內(nèi)側(cè)周邊位置處的像素值梯度向量(像素值降低方向)與邊緣線有無(wú)交叉,判定是否是異常組織的邊緣。具體而言,在像素值梯度向量與邊緣線交叉的情況下判定為息肉,在像素值梯度向量與邊緣線未交叉的情況下判定為正常輪廓。
現(xiàn)有技術(shù)文獻(xiàn)
專利文獻(xiàn)
專利文獻(xiàn)1:日本特開2007-244518號(hào)公報(bào)
技術(shù)實(shí)現(xiàn)要素:
發(fā)明要解決的課題
但是,在內(nèi)窺鏡圖像中的粘膜褶皺邊緣的附近,由于陰影而產(chǎn)生像素值降低,因此,多數(shù)情況下其里側(cè)映出的粘膜面的像素值變高。因此,在僅使用上述專利文獻(xiàn)1所記載的技術(shù)的情況下,即使是正常的粘膜褶皺邊緣,弧的內(nèi)側(cè)周邊位置即里側(cè)映出的粘膜面中的像素值梯度向量與該粘膜褶皺邊緣也交叉,有時(shí)誤判定為異常組織的邊緣。
本發(fā)明是鑒于上述情況而完成的,其目的在于,提供能夠抑制將正常邊緣誤判定為異常、能夠高精度地檢測(cè)異常組織的邊緣的圖像處理裝置、圖像處理方法和圖像處理程序。
用于解決課題的手段
為了解決上述課題并實(shí)現(xiàn)目的,本發(fā)明的圖像處理裝置的特征在于,所述圖像處理裝置具有:深部區(qū)域檢測(cè)部,其在管內(nèi)圖像中檢測(cè)深部區(qū)域;輪廓邊緣提取部,其提取管內(nèi)壁的輪廓邊緣;凸形狀區(qū)域解析部,其對(duì)所述輪廓邊緣中的凸形狀區(qū)域及其凸方向進(jìn)行解析;以及異常區(qū)域檢測(cè)部,其檢測(cè)朝向所述深部區(qū)域的方向凸出的凸形狀區(qū)域作為異常區(qū)域。
本發(fā)明的圖像處理方法的特征在于,所述圖像處理方法包括以下步驟:深部區(qū)域檢測(cè)步驟,在管內(nèi)圖像中檢測(cè)深部區(qū)域;輪廓邊緣提取步驟,提取管內(nèi)壁的輪廓邊緣;凸形狀區(qū)域解析步驟,對(duì)所述輪廓邊緣中的凸形狀區(qū)域及其凸方向進(jìn)行解析;以及異常區(qū)域檢測(cè)步驟,檢測(cè)朝向所述深部區(qū)域的方向凸出的凸形狀區(qū)域作為異常區(qū)域。
本發(fā)明的圖像處理程序的特征在于,所述圖像處理程序使計(jì)算機(jī)執(zhí)行以下步驟:深部區(qū)域檢測(cè)步驟,在管內(nèi)圖像中檢測(cè)深部區(qū)域;輪廓邊緣提取步驟,提取管內(nèi)壁的輪廓邊緣;凸形狀區(qū)域解析步驟,對(duì)所述輪廓邊緣中的凸形狀區(qū)域及其凸方向進(jìn)行解析;以及異常區(qū)域檢測(cè)步驟,檢測(cè)朝向所述深部區(qū)域的方向凸出的凸形狀區(qū)域作為異常區(qū)域。
發(fā)明效果
根據(jù)本發(fā)明,檢測(cè)相對(duì)于管腔深部區(qū)域的方向成為凸形狀的輪廓邊緣區(qū)域作為異常區(qū)域,由此,能夠抑制將正常輪廓邊緣誤檢測(cè)為異常,能夠高精度地檢測(cè)異常區(qū)域。
附圖說(shuō)明
圖1是用于說(shuō)明本發(fā)明的實(shí)施方式的概要的圖。
圖2是示出本發(fā)明的實(shí)施方式1的圖像處理裝置的功能結(jié)構(gòu)的框圖。
圖3是示意地示出本發(fā)明的實(shí)施方式1的圖像處理裝置的凸形狀區(qū)域解析部進(jìn)行的處理的概要的圖。
圖4是示出本發(fā)明的實(shí)施方式1的圖像處理裝置執(zhí)行的處理的概要的流程圖。
圖5是示出本發(fā)明的實(shí)施方式1的圖像處理裝置的管腔深部區(qū)域檢測(cè)部進(jìn)行的處理的概要的流程圖。
圖6是示出本發(fā)明的實(shí)施方式1的圖像處理裝置的凸形狀區(qū)域解析部進(jìn)行的凸形狀區(qū)域解析處理的概要的流程圖。
圖7是示出本發(fā)明的實(shí)施方式1的圖像處理裝置的異常區(qū)域檢測(cè)部進(jìn)行的處理的概要的流程圖。
圖8是示出本發(fā)明的實(shí)施方式1的變形例1的圖像處理裝置所具有的凸形狀區(qū)域解析部的功能結(jié)構(gòu)的框圖。
圖9是示意地示出本發(fā)明的實(shí)施方式1的變形例1的圖像處理裝置的分割部進(jìn)行的輪廓邊緣的分割處理的概要的圖。
圖10是示出本發(fā)明的實(shí)施方式1的變形例1的圖像處理裝置所具有的凸形狀區(qū)域解析部進(jìn)行的處理的概要的流程圖。
圖11是示出本發(fā)明的實(shí)施方式1的變形例2的圖像處理裝置所具有的異常區(qū)域檢測(cè)部的功能結(jié)構(gòu)的框圖。
圖12是示出本發(fā)明的實(shí)施方式1的變形例2的圖像處理裝置所具有的異常區(qū)域檢測(cè)部進(jìn)行的處理的概要的流程圖。
圖13是示出本發(fā)明的實(shí)施方式2的圖像處理裝置的功能結(jié)構(gòu)的框圖。
圖14是示出本發(fā)明的實(shí)施方式2的圖像處理裝置進(jìn)行的處理的概要的流程圖。
圖15是示出本發(fā)明的實(shí)施方式3的圖像處理裝置的功能結(jié)構(gòu)的框圖。
圖16是示出本發(fā)明的實(shí)施方式3的圖像處理裝置進(jìn)行的處理的概要的流程圖。
圖17是示出本發(fā)明的實(shí)施方式4的圖像處理裝置的功能結(jié)構(gòu)的框圖。
圖18是示出本發(fā)明的實(shí)施方式4的圖像處理裝置進(jìn)行的處理的概要的流程圖。
圖19是示出另一個(gè)實(shí)施方式的圖像處理裝置的功能結(jié)構(gòu)的框圖。
圖20是示出另一個(gè)實(shí)施方式的圖像處理裝置進(jìn)行的處理的概要的流程圖。
具體實(shí)施方式
下面,對(duì)用于實(shí)施本發(fā)明的方式(以下稱為“實(shí)施方式”)進(jìn)行說(shuō)明。
圖1是用于說(shuō)明本發(fā)明的實(shí)施方式的概要的圖。具體而言,作為管內(nèi)圖像的一例,圖1是示意地示出由導(dǎo)入到活體內(nèi)并對(duì)活體內(nèi)進(jìn)行觀察的內(nèi)窺鏡拍攝的管腔內(nèi)圖像的圖。通常,內(nèi)窺鏡從傾斜方向?qū)芮粌?nèi)壁的粘膜面進(jìn)行攝像。因此,在由內(nèi)窺鏡拍攝的圖像中,如圖1所示,映出從攝像距離較近的管腔近前的粘膜面到攝像距離較遠(yuǎn)的管腔深部的粘膜面,有時(shí)映出異常區(qū)域?;谡衬ゑ薨櫟妮喞吘壔旧暇哂谐蚺c管腔深部方向相反的一側(cè)凸出的形狀,在異常區(qū)域的輪廓邊緣中產(chǎn)生朝向管腔深部方向凸出的形狀。本實(shí)施方式的圖像處理裝置的特征在于,關(guān)注這些凸形狀的差異來(lái)檢測(cè)異常區(qū)域。另外,由內(nèi)窺鏡拍攝的管腔內(nèi)圖像通常是在各像素位置處針對(duì)r(紅)、g(綠)、b(藍(lán))的各波長(zhǎng)成分具有像素值的彩色圖像,但是不限于此。
(實(shí)施方式1)
圖2是示出本實(shí)施方式1的圖像處理裝置的功能結(jié)構(gòu)的框圖。該圖所示的圖像處理裝置1具有運(yùn)算部2和存儲(chǔ)部3。
運(yùn)算部2具有根據(jù)與攝像距離相關(guān)的信息來(lái)檢測(cè)管腔深部區(qū)域的管腔深部區(qū)域檢測(cè)部21(深部區(qū)域檢測(cè)部的一例)、提取管腔粘膜壁的輪廓邊緣的輪廓邊緣提取部22、對(duì)輪廓邊緣中的凸形狀區(qū)域及其凸方向進(jìn)行解析的凸形狀區(qū)域解析部23、檢測(cè)朝向管腔深部區(qū)域的方向凸出的凸形狀區(qū)域作為異常區(qū)域的異常區(qū)域檢測(cè)部24。
管腔深部區(qū)域檢測(cè)部21具有選擇活體內(nèi)的吸收/散射的程度最低的低吸收波長(zhǎng)成分的低吸收波長(zhǎng)成分選擇部211、將低吸收波長(zhǎng)成分的圖像內(nèi)的邊緣周邊區(qū)域的像素排除的緣周邊區(qū)域排除部212、在將邊緣周邊區(qū)域的像素排除后的低吸收波長(zhǎng)成分的圖像中檢測(cè)像素值相對(duì)較低的區(qū)域的低像素值區(qū)域檢測(cè)部213。
一般情況下,認(rèn)為集中存在由低像素值區(qū)域檢測(cè)部213檢測(cè)到的像素的區(qū)域是管腔深部區(qū)域。管腔深部區(qū)域檢測(cè)部21對(duì)低像素值區(qū)域檢測(cè)部213檢測(cè)到的像素進(jìn)行公知的貼標(biāo)簽處理(參考:cg-arts協(xié)會(huì):數(shù)字圖像處理:181p、貼標(biāo)簽),匯集要連結(jié)的像素作為一個(gè)區(qū)域后,檢測(cè)面積最大的區(qū)域作為管腔深部區(qū)域。
例如在由r、g、b成分構(gòu)成的圖像的情況下,低吸收波長(zhǎng)成分選擇部211選擇與血液的吸收波段分開且波長(zhǎng)較長(zhǎng)的成分、即不容易受到活體內(nèi)的吸收、散射的影響的成分即r成分。低吸收波長(zhǎng)成分選擇部211通過(guò)進(jìn)行這種選擇,能夠抑制由于粘膜表面映出的血管等而引起的像素值降低,能夠得到與和粘膜表面之間的攝像距離最相關(guān)的像素值信息。
邊緣周邊區(qū)域排除部212例如應(yīng)用公知的邊緣提取處理(參考:cg-arts協(xié)會(huì):數(shù)字圖像處理:114p、邊緣提?。?09p、輪廓線檢測(cè))確定邊緣區(qū)域后,對(duì)該邊緣區(qū)域進(jìn)行公知的膨脹處理(參考:cg-arts協(xié)會(huì):數(shù)字圖像處理:179p、收縮/膨脹處理),由此確定周邊區(qū)域并將其排除。邊緣周邊區(qū)域排除部212通過(guò)排除邊緣周邊區(qū)域,能夠排除如由于粘膜褶皺而在輪廓邊緣周邊產(chǎn)生的陰影部分那樣、可能誤檢測(cè)為管腔深部的粘膜(照明光不容易到達(dá)而低吸收波長(zhǎng)成分的像素值降低的粘膜)的區(qū)域。
低像素值區(qū)域檢測(cè)部213在將邊緣周邊區(qū)域排除后的低吸收波長(zhǎng)成分的圖像內(nèi)檢測(cè)像素值相對(duì)較低的規(guī)定面積比例的像素。另外,低像素值區(qū)域檢測(cè)部213也可以在將邊緣周邊區(qū)域排除后的低吸收波長(zhǎng)成分的圖像內(nèi)檢測(cè)具有閾值以下的像素值的像素,該閾值是根據(jù)該圖像內(nèi)的像素所取的像素值范圍而設(shè)定的。
輪廓邊緣提取部22選擇活體內(nèi)的吸收、散射的程度最低的低吸收波長(zhǎng)成分(例如r成分),對(duì)該波長(zhǎng)成分的圖像進(jìn)行邊緣提取處理。該邊緣提取處理也能夠應(yīng)用上述公知的邊緣提取處理。輪廓邊緣提取部22通過(guò)選擇低吸收波長(zhǎng)成分,不會(huì)將粘膜表面的血管等的邊緣誤提取為輪廓邊緣。另外,本實(shí)施方式1中的輪廓邊緣提取處理例如還能夠應(yīng)用日本特開2014-104293號(hào)公報(bào)所公開的輪廓邊緣提取法、日本特開2012-11137號(hào)公報(bào)所公開的求出三維像素值信息并對(duì)其應(yīng)用邊緣提取處理的方法。
凸形狀區(qū)域解析部23具有在輪廓邊緣中檢測(cè)呈弧形狀的區(qū)域的弧形狀區(qū)域檢測(cè)部231、計(jì)算檢測(cè)到的弧形狀區(qū)域的凸方向的弧形狀凸方向計(jì)算部232。圖3是示意地示出凸形狀區(qū)域解析部23進(jìn)行的處理的概要的圖。在圖像中存在圖3所示的波形的輪廓邊緣的情況下,弧形狀區(qū)域檢測(cè)部231依次檢測(cè)弧形狀區(qū)域并作為3個(gè)凸形狀區(qū)域進(jìn)行解析,凸形狀區(qū)域解析部23分別求出3個(gè)凸形狀區(qū)域的凸方向。
弧形狀區(qū)域檢測(cè)部231具有進(jìn)行貼標(biāo)簽使得待連結(jié)的輪廓邊緣成為相同標(biāo)簽的貼標(biāo)簽部231a、根據(jù)相同標(biāo)簽的輪廓邊緣內(nèi)的像素進(jìn)行基于穩(wěn)健(robust)估計(jì)的弧形狀(=凸形狀)區(qū)域檢測(cè)的穩(wěn)健估計(jì)部231b、判定檢測(cè)為弧形狀區(qū)域的區(qū)域以外的輪廓邊緣區(qū)域的面積與規(guī)定閾值的大小的反復(fù)控制部231c。
貼標(biāo)簽部231a利用要連結(jié)的像素彼此匯集后級(jí)的弧形狀區(qū)域的檢測(cè)中作為處理對(duì)象的輪廓邊緣像素。貼標(biāo)簽部231a例如進(jìn)行上述公知的貼標(biāo)簽處理。由此,能夠?qū)崿F(xiàn)檢測(cè)精度的提高和處理速度的提高。
穩(wěn)健估計(jì)部231b例如隨機(jī)提取相同標(biāo)簽的輪廓邊緣內(nèi)的像素中的至少3點(diǎn)以上,通過(guò)最小二乘法對(duì)提取出的像素的坐標(biāo)應(yīng)用圓。然后,穩(wěn)健估計(jì)部231b求出該圓與相同標(biāo)簽的輪廓邊緣內(nèi)的各像素之間的距離,計(jì)算該距離為規(guī)定值以下的像素的個(gè)數(shù)(像素?cái)?shù))。在反復(fù)執(zhí)行規(guī)定次數(shù)的這些“像素的提取”、“圓的應(yīng)用”和“距離為規(guī)定值以下的像素?cái)?shù)計(jì)算”后,最終選擇距離為規(guī)定值以下的像素?cái)?shù)最多的圓,檢測(cè)與該圓之間的距離為規(guī)定值以下的像素作為弧形狀區(qū)域。另外,穩(wěn)健估計(jì)部231b進(jìn)行的穩(wěn)健估計(jì)的方法不限于這里說(shuō)明的方法,也可以采用其他公知的穩(wěn)健估計(jì)方法。
弧形狀凸方向計(jì)算部232針對(duì)檢測(cè)到的全部弧形狀區(qū)域,設(shè)從弧形狀區(qū)域的弦朝向弧的方向?yàn)樵摶⌒螤顓^(qū)域的凸方向。更加優(yōu)選弧形狀凸方向計(jì)算部232計(jì)算從弧形狀區(qū)域的曲率中心朝向弧形狀區(qū)域的弧的中點(diǎn)的方向,設(shè)該方向?yàn)榛⌒螤顓^(qū)域的凸方向。另外,弧形狀凸方向計(jì)算部232也可以計(jì)算從弧的中點(diǎn)朝向弧形狀區(qū)域的曲率中心的方向,設(shè)與計(jì)算出的方向相反的方向?yàn)橥狗较颉?/p>
異常區(qū)域檢測(cè)部24具有根據(jù)管腔深部區(qū)域的檢測(cè)結(jié)果和凸形狀區(qū)域的解析結(jié)果計(jì)算管腔深部方向的管腔深部方向計(jì)算部241(深部方向計(jì)算部的一例)、判定朝向管腔深部方向凸出的凸形狀區(qū)域的區(qū)域判定部242。
管腔深部方向計(jì)算部241具有計(jì)算管腔深部區(qū)域(深部區(qū)域的一例)的代表位置的深部區(qū)域代表位置計(jì)算部241a、計(jì)算從各凸形狀區(qū)域的代表位置朝向管腔深部區(qū)域的代表位置的方向作為代表位置方向的代表位置方向計(jì)算部241b。
深部區(qū)域代表位置計(jì)算部241a和代表位置方向計(jì)算部241b計(jì)算的代表位置只要是代表圖像內(nèi)的管腔深部區(qū)域或各凸形狀區(qū)域的位置即可,可以是任意位置。作為這種代表位置,例如可以采用各區(qū)域的重心、外切于各區(qū)域的矩形區(qū)域的中心等。
區(qū)域判定部242具有針對(duì)各凸形狀區(qū)域計(jì)算凸形狀區(qū)域的凸方向和管腔深部方向所成的角度(≦180°)的角度計(jì)算部242a。
運(yùn)算部2使用cpu(centralprocessingunit:中央處理單元)等通用處理器或asic(applicationspecificintegratedcircuit:專用集成電路)等執(zhí)行特定功能的各種運(yùn)算電路等專用處理器構(gòu)成。在運(yùn)算部2是通用處理器的情況下,通過(guò)讀入存儲(chǔ)部3存儲(chǔ)的各種程序,對(duì)構(gòu)成圖像處理裝置1的各部進(jìn)行指示和數(shù)據(jù)的傳輸?shù)?,?duì)圖像處理裝置1整體的動(dòng)作進(jìn)行總括控制。并且,在運(yùn)算部2是專用處理器的情況下,處理器可以單獨(dú)執(zhí)行各種處理,通過(guò)使用存儲(chǔ)部3存儲(chǔ)的各種數(shù)據(jù)等,處理器和存儲(chǔ)部3也可以共同或結(jié)合執(zhí)行各種處理。
存儲(chǔ)部3通過(guò)rom(readonlymemory:只讀存儲(chǔ)器)或ram(randomaccessmemory:隨機(jī)存取存儲(chǔ)器)等各種ic存儲(chǔ)器、內(nèi)置或利用數(shù)據(jù)通信端子連接的硬盤、或cd-rom等信息記錄裝置及其讀取裝置等實(shí)現(xiàn)。存儲(chǔ)部3除了存儲(chǔ)圖像處理裝置1取得的管腔內(nèi)圖像的圖像數(shù)據(jù)以外,還存儲(chǔ)用于使圖像處理裝置1進(jìn)行動(dòng)作并使圖像處理裝置1執(zhí)行各種功能的程序、該程序的執(zhí)行中使用的數(shù)據(jù)等。具體而言,存儲(chǔ)部3存儲(chǔ)本實(shí)施方式的圖像處理程序、該圖像處理中使用的閾值等各種參數(shù)。
存儲(chǔ)部3記錄的圖像處理程序等各種程序能夠記錄在計(jì)算機(jī)可讀取的記錄介質(zhì)中。并且,關(guān)于各種程序在存儲(chǔ)部3或記錄介質(zhì)中的記錄,可以在將計(jì)算機(jī)或記錄介質(zhì)作為產(chǎn)品出廠時(shí)進(jìn)行,也可以通過(guò)經(jīng)由通信網(wǎng)絡(luò)的下載來(lái)進(jìn)行。這里所說(shuō)的通信網(wǎng)絡(luò)例如通過(guò)現(xiàn)有的公共線路網(wǎng)、lan(localareanetwork:局域網(wǎng))、wan(wideareanetwork:廣域網(wǎng))等實(shí)現(xiàn),與有線、無(wú)線無(wú)關(guān)。
具有以上結(jié)構(gòu)的圖像處理裝置1可以使用一個(gè)計(jì)算機(jī)實(shí)現(xiàn),也可以使用多個(gè)計(jì)算機(jī)實(shí)現(xiàn)。后者的情況下,能夠經(jīng)由通信網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)的發(fā)送接收,并且相互協(xié)作進(jìn)行處理。另外,這里所說(shuō)的計(jì)算機(jī)能夠由通用的個(gè)人計(jì)算機(jī)或服務(wù)器等構(gòu)成。
另外,也可以使構(gòu)成導(dǎo)入到被檢體內(nèi)對(duì)該被檢體內(nèi)進(jìn)行觀察的內(nèi)窺鏡系統(tǒng)的一部分、并對(duì)該內(nèi)窺鏡系統(tǒng)整體進(jìn)行控制的處理器具有以上說(shuō)明的圖像處理裝置1的功能。
圖4是示出圖像處理裝置1執(zhí)行的處理的概要的流程圖。首先,在步驟s1中,運(yùn)算部2取得作為處理對(duì)象的管腔內(nèi)圖像(步驟s1)。
在步驟s2中,管腔深部區(qū)域檢測(cè)部21檢測(cè)管腔深部區(qū)域(步驟s2)。圖5是示出管腔深部區(qū)域檢測(cè)部21進(jìn)行的處理的概要的流程圖。下面,參照?qǐng)D5對(duì)管腔深部區(qū)域檢測(cè)部21的處理進(jìn)行說(shuō)明。
在圖5中,首先,低吸收波長(zhǎng)成分選擇部211選擇活體內(nèi)的吸收、散射的程度最低的低吸收波長(zhǎng)成分(步驟s201)。例如在由r、g、b成分構(gòu)成的圖像的情況下,低吸收波長(zhǎng)成分選擇部211如上所述選擇r成分。
然后,邊緣周邊區(qū)域排除部212將低吸收波長(zhǎng)成分的圖像內(nèi)的邊緣周邊區(qū)域的像素排除(步驟s202)。由此,能夠防止邊緣周邊區(qū)域被誤檢測(cè)為管腔深部區(qū)域。
然后,低像素值區(qū)域檢測(cè)部213在排除后的低吸收波長(zhǎng)成分的圖像中檢測(cè)像素值相對(duì)較低的區(qū)域(步驟s203)。
接著,管腔深部區(qū)域檢測(cè)部21根據(jù)由低像素值區(qū)域檢測(cè)部213檢測(cè)到的區(qū)域進(jìn)行公知的貼標(biāo)簽處理等,由此檢測(cè)管腔深部區(qū)域(步驟s204)。由此,管腔深部區(qū)域檢測(cè)部21進(jìn)行的管腔深部區(qū)域檢測(cè)處理結(jié)束。
在接著步驟s2的步驟s3中,輪廓邊緣提取部22提取管腔粘膜壁的輪廓邊緣(步驟s3)。輪廓邊緣提取部22選擇活體內(nèi)的吸收、散射的程度最低的低吸收波長(zhǎng)成分(例如r成分),對(duì)該波長(zhǎng)成分的圖像進(jìn)行上述邊緣提取處理。
在步驟s4中,凸形狀區(qū)域解析部23對(duì)輪廓邊緣中的凸形狀區(qū)域及其凸方向進(jìn)行解析(步驟s4)。在圖像中存在圖3所示的輪廓邊緣的情況下,如上所述,弧形狀區(qū)域檢測(cè)部231依次檢測(cè)弧形狀區(qū)域并作為3個(gè)凸形狀區(qū)域進(jìn)行解析后,凸形狀區(qū)域解析部23分別求出3個(gè)凸形狀區(qū)域的凸方向。
圖6是示出凸形狀區(qū)域解析部23進(jìn)行的凸形狀區(qū)域解析處理的概要的流程圖。下面,參照?qǐng)D6對(duì)凸形狀區(qū)域解析處理的概要進(jìn)行說(shuō)明。首先,貼標(biāo)簽部231a進(jìn)行貼標(biāo)簽,使得待連結(jié)的輪廓邊緣成為相同的標(biāo)簽(步驟s401)。
接著,穩(wěn)健估計(jì)部231b根據(jù)相同標(biāo)簽的輪廓邊緣內(nèi)的像素進(jìn)行基于穩(wěn)健估計(jì)的弧形狀(=凸形狀)區(qū)域的檢測(cè)(步驟s402)。穩(wěn)健估計(jì)部231b針對(duì)貼標(biāo)簽后的全部輪廓邊緣進(jìn)行弧形狀區(qū)域的檢測(cè)。
然后,反復(fù)控制部231c判定檢測(cè)為弧形狀區(qū)域的區(qū)域以外的輪廓邊緣區(qū)域的面積與規(guī)定閾值的大小(步驟s403)。在判定結(jié)果為輪廓邊緣區(qū)域的面積大于閾值的情況下(步驟s403:是),凸形狀區(qū)域解析部23將檢測(cè)為弧形狀區(qū)域的區(qū)域以外的輪廓邊緣區(qū)域作為新的處理對(duì)象(步驟s404),返回步驟s401。另一方面,在檢測(cè)為弧形狀區(qū)域的區(qū)域以外的輪廓邊緣區(qū)域的面積為規(guī)定閾值以下的情況下(步驟s403:否),凸形狀區(qū)域解析部23結(jié)束弧形狀區(qū)域的檢測(cè),轉(zhuǎn)移到步驟s405。
在步驟s405中,弧形狀凸方向計(jì)算部232計(jì)算檢測(cè)到的弧形狀(=凸形狀)區(qū)域的凸方向(步驟s405)。由此,凸形狀區(qū)域解析部23進(jìn)行的凸形狀區(qū)域解析處理結(jié)束。
另外,在本實(shí)施方式1中,示出在弧形狀區(qū)域的檢測(cè)中使用貼標(biāo)簽和穩(wěn)健估計(jì)的方法,但是,也可以不進(jìn)行貼標(biāo)簽,將全部輪廓邊緣像素作為對(duì)象而反復(fù)進(jìn)行穩(wěn)健估計(jì)。并且,也可以利用日本特愿2007-244519號(hào)公報(bào)所公開的圓的霍夫變換。并且,在穩(wěn)健估計(jì)時(shí),也可以不應(yīng)用圓,而應(yīng)用橢圓。
在接著步驟s4的步驟s5中,異常區(qū)域檢測(cè)部24檢測(cè)朝向管腔深部區(qū)域的方向凸出的凸形狀區(qū)域作為異常區(qū)域(步驟s5)。圖7是示出異常區(qū)域檢測(cè)部24進(jìn)行的處理的概要的流程圖。下面,參照?qǐng)D7對(duì)異常區(qū)域檢測(cè)部24的處理進(jìn)行說(shuō)明。
首先,管腔深部方向計(jì)算部241的深部區(qū)域代表位置計(jì)算部241a計(jì)算在步驟s2中求出的管腔深部區(qū)域的代表位置(步驟s501)。
接著,代表位置方向計(jì)算部241b計(jì)算從步驟s4中求出的各凸形狀區(qū)域的代表位置朝向管腔深部區(qū)域的代表位置的方向作為管腔深部方向(步驟s502)。另外,作為凸形狀區(qū)域的代表位置,除了上述重心以外,例如還可以舉出弧的中點(diǎn)、弦的中點(diǎn)。
然后,區(qū)域判定部242的角度計(jì)算部242a針對(duì)各凸形狀區(qū)域計(jì)算凸形狀區(qū)域的凸方向和管腔深部方向所成的角度(步驟s503)。
接著,區(qū)域判定部242判定由角度計(jì)算部242a計(jì)算出的角度為規(guī)定閾值以下的區(qū)域作為凸形狀區(qū)域(步驟s504)。該閾值例如設(shè)定為90°以下的值。
最后,異常區(qū)域檢測(cè)部24檢測(cè)判定出的凸形狀區(qū)域作為異常區(qū)域(步驟s505)。由此,異常區(qū)域檢測(cè)部24進(jìn)行的異常區(qū)域檢測(cè)處理結(jié)束。
在接著步驟s5的步驟s6中,運(yùn)算部2輸出異常區(qū)域檢測(cè)結(jié)果(步驟s6)。由此,圖像處理裝置1進(jìn)行的一系列處理結(jié)束。
根據(jù)以上說(shuō)明的本發(fā)明的實(shí)施方式1,檢測(cè)相對(duì)于管腔深部區(qū)域的方向成為凸形狀的輪廓邊緣區(qū)域作為異常區(qū)域,由此,能夠抑制將正常輪廓邊緣誤檢測(cè)為異常,能夠高精度地檢測(cè)異常區(qū)域即異常組織的邊緣。
并且,根據(jù)本實(shí)施方式1,選擇低吸收波長(zhǎng)成分,將邊緣周邊區(qū)域排除后,檢測(cè)低像素值區(qū)域,由此,能夠抑制血管、褶皺邊緣的陰影的影響,能夠高精度地檢測(cè)管腔深部區(qū)域。
并且,根據(jù)本實(shí)施方式1,檢測(cè)輪廓邊緣內(nèi)的弧形狀區(qū)域并計(jì)算其方向,由此,能夠高精度地進(jìn)行輪廓邊緣內(nèi)的凸形狀區(qū)域的檢測(cè)及其方向的計(jì)算。
并且,根據(jù)本實(shí)施方式1,反復(fù)進(jìn)行輪廓邊緣的貼標(biāo)簽和穩(wěn)健估計(jì),由此,能夠高精度且高速地檢測(cè)輪廓邊緣內(nèi)的多個(gè)弧形狀。
另外,在本實(shí)施方式1中,示出根據(jù)與攝像距離相關(guān)的像素值檢測(cè)管腔深部區(qū)域的方法,但是,例如也可以通過(guò)使用日本特開2003-93328號(hào)公報(bào)所公開的管腔方向檢測(cè)方法來(lái)檢測(cè)管腔深部區(qū)域。
(變形例1)
圖8是示出本實(shí)施方式1的變形例1的圖像處理裝置所具有的凸形狀區(qū)域解析部的功能結(jié)構(gòu)的框圖。該圖所示的凸形狀區(qū)域解析部26具有根據(jù)輪廓邊緣的彎曲方向?qū)喞吘夁M(jìn)行分割的邊緣分割部261、計(jì)算分割后的各邊緣(分割邊緣)的凸方向的分割邊緣凸方向計(jì)算部262。除了凸形狀區(qū)域解析部26以外的圖像處理裝置的功能結(jié)構(gòu)與實(shí)施方式1中說(shuō)明的圖像處理裝置1的功能結(jié)構(gòu)相同。
邊緣分割部261具有邊緣坐標(biāo)取得部261a,其按照連結(jié)順序取得構(gòu)成邊緣的各像素的坐標(biāo);曲率變化解析部261b,其根據(jù)沿著所取得的邊緣坐標(biāo)的規(guī)定間隔的樣本像素的坐標(biāo),對(duì)輪廓邊緣的帶符號(hào)曲率的變化進(jìn)行解析;以及分割部261c,其在帶符號(hào)曲率的符號(hào)反轉(zhuǎn)位置處對(duì)輪廓邊緣進(jìn)行分割。
邊緣坐標(biāo)取得部261a例如通過(guò)使用公知的輪廓跟蹤處理(參考:cg-arts協(xié)會(huì):數(shù)字圖像處理:178p、輪廓跟蹤)來(lái)取得邊緣坐標(biāo)。
根據(jù)以規(guī)定間隔(等間隔)排列的3個(gè)樣本像素的坐標(biāo)(x0,y0)、(x1,y1)、(x2,y2),通過(guò)以下所示的式(1)計(jì)算曲率變化解析部261b解析的帶符號(hào)曲率k。
【數(shù)學(xué)式1】
帶符號(hào)曲率k的符號(hào)反轉(zhuǎn)相當(dāng)于輪廓邊緣的彎曲方向變化。曲率變化解析部261b通過(guò)沿著邊緣坐標(biāo)依次移位并計(jì)算樣本像素的坐標(biāo),來(lái)對(duì)帶符號(hào)曲率k的變化進(jìn)行解析。另外,也可以根據(jù)例如基于低吸收波長(zhǎng)成分的明亮度求出的與攝像面之間的距離,自適應(yīng)地決定相鄰的樣本像素的間隔。
圖9是示意地示出分割部261c進(jìn)行的輪廓邊緣的分割處理的概要的圖。在存在圖9所示的波形的輪廓邊緣的情況下,分割部261c以與波節(jié)相當(dāng)?shù)?個(gè)點(diǎn)a、b為邊界,將輪廓邊緣分割成3個(gè)區(qū)域。
分割邊緣凸方向計(jì)算部262針對(duì)全部分割邊緣,計(jì)算從連接邊緣兩端的線段穿過(guò)分割邊緣的方向作為分割邊緣的凸方向。更加優(yōu)選分割邊緣凸方向計(jì)算部262計(jì)算從連接邊緣兩端的線段的中點(diǎn)朝向分割邊緣上的中點(diǎn)(分割邊緣的長(zhǎng)度的中間點(diǎn))的方向作為分割邊緣的凸方向。例如,在圖9所示的輪廓邊緣的情況下,分割邊緣凸方向計(jì)算部262針對(duì)分割后的3個(gè)凸形狀區(qū)域分別進(jìn)行解析,求出各凸形狀區(qū)域的凸方向。
圖10是示出凸形狀區(qū)域解析部26進(jìn)行的處理的概要的流程圖。首先,邊緣坐標(biāo)取得部261a按照連結(jié)順序取得構(gòu)成邊緣的各像素的坐標(biāo)(步驟s411)。
接著,曲率變化解析部261b根據(jù)沿著所取得的邊緣坐標(biāo)的以規(guī)定間隔排列的3個(gè)樣本像素的坐標(biāo),對(duì)輪廓邊緣的帶符號(hào)曲率的變化進(jìn)行解析(步驟s412)。
然后,分割部261c在帶符號(hào)曲率的符號(hào)反轉(zhuǎn)位置處對(duì)輪廓邊緣進(jìn)行分割(步驟s413)。
凸形狀區(qū)域解析部26針對(duì)全部輪廓邊緣進(jìn)行步驟s411~s413的處理。
接著,分割邊緣凸方向計(jì)算部262計(jì)算分割邊緣的凸方向(步驟s414)。由此,凸形狀區(qū)域解析部26進(jìn)行的凸形狀區(qū)域解析處理結(jié)束。
另外,在本變形例1中,示出根據(jù)帶符號(hào)曲率k對(duì)邊緣進(jìn)行分割的方法,但是,也可以分別求出3點(diǎn)(x0,y0)、(x1,y1)、(x2,y2)中的、以點(diǎn)(x1,y1)為基點(diǎn)并以點(diǎn)(x0,y0)為終點(diǎn)的向量和以點(diǎn)(x1,y1)為基點(diǎn)并以點(diǎn)(x2,y2)為終點(diǎn)的向量,根據(jù)這2個(gè)向量的外積的變化,求出分割位置。
并且,在本變形例1中,作為凸形狀區(qū)域的代表位置,例如能夠舉出分割邊緣上的中間點(diǎn)、分割邊緣上曲率最大的點(diǎn)、連接分割邊緣端點(diǎn)的線段的中點(diǎn)。
根據(jù)以上說(shuō)明的本實(shí)施方式1的變形例1,檢測(cè)相對(duì)于管腔深部區(qū)域的方向成為凸形狀的輪廓邊緣區(qū)域作為異常區(qū)域,由此,能夠抑制將正常輪廓邊緣誤檢測(cè)為異常,能夠高精度地檢測(cè)異常區(qū)域。
并且,根據(jù)本變形例1,根據(jù)彎曲方向?qū)喞吘夁M(jìn)行分割,在各分割邊緣計(jì)算凸方向,由此,在輪廓邊緣內(nèi)存在多個(gè)凸形狀的情況下,也能夠高精度地進(jìn)行凸形狀區(qū)域的檢測(cè)及其方向的計(jì)算。
(變形例2)
圖11是示出本實(shí)施方式1的變形例2的圖像處理裝置所具有的異常區(qū)域檢測(cè)部的功能結(jié)構(gòu)的框圖。該圖所示的異常區(qū)域檢測(cè)部27具有根據(jù)管腔深部區(qū)域的檢測(cè)結(jié)果和凸形狀區(qū)域的解析結(jié)果計(jì)算管腔深部方向的管腔深部方向計(jì)算部271、判定朝向管腔深部方向凸出的凸形狀區(qū)域的區(qū)域判定部272。除了異常區(qū)域檢測(cè)部27以外的圖像處理裝置的功能結(jié)構(gòu)與實(shí)施方式1中說(shuō)明的圖像處理裝置1的功能結(jié)構(gòu)相同。
管腔深部方向計(jì)算部271具有距離轉(zhuǎn)換圖像生成部271a,其生成距管腔深部區(qū)域的距離的距離轉(zhuǎn)換圖像;和梯度方向計(jì)算部271b,其計(jì)算各凸形狀區(qū)域的代表位置處的距離轉(zhuǎn)換圖像的梯度方向作為管腔深部方向。
距離轉(zhuǎn)換圖像生成部271a例如通過(guò)使用公知的距離轉(zhuǎn)換(參考:東京大學(xué)出版社:圖像解析手冊(cè):576p、距離轉(zhuǎn)換和骨架提取)來(lái)生成距離轉(zhuǎn)換圖像。
區(qū)域判定部272具有內(nèi)積計(jì)算部272a,該內(nèi)積計(jì)算部272a針對(duì)各凸形狀區(qū)域計(jì)算凸形狀區(qū)域的凸方向和管腔深部方向這2個(gè)方向的單位方向向量的內(nèi)積。在相同方向的情況下,單位方向向量的內(nèi)積為1,在正交的情況下,單位方向向量的內(nèi)積為0,在正相反方向的情況下,單位方向向量的內(nèi)積為-1。
圖12是示出異常區(qū)域檢測(cè)部27進(jìn)行的處理的概要的流程圖。距離轉(zhuǎn)換圖像生成部271a生成距管腔深部區(qū)域的距離的距離轉(zhuǎn)換圖像(步驟s511)。
接著,梯度方向計(jì)算部271b計(jì)算各凸形狀區(qū)域的代表位置處的距離轉(zhuǎn)換圖像的梯度方向作為管腔深部方向(步驟s512)。
然后,內(nèi)積計(jì)算部272a針對(duì)各凸形狀區(qū)域計(jì)算凸形狀區(qū)域的凸方向和管腔深部方向這2個(gè)方向的單位方向向量的內(nèi)積(步驟s513)。
接著,區(qū)域判定部272判定內(nèi)積為規(guī)定閾值以上的凸形狀區(qū)域(步驟s514)。
最后,異常區(qū)域檢測(cè)部27檢測(cè)判定出的凸形狀區(qū)域作為異常區(qū)域(步驟s515)。由此,異常區(qū)域檢測(cè)部27進(jìn)行的異常區(qū)域檢測(cè)處理結(jié)束。
根據(jù)以上說(shuō)明的本實(shí)施方式1的變形例2,利用距管腔深部區(qū)域的距離的距離轉(zhuǎn)換圖像求出管腔深部方向,由此,在管腔深部的形狀細(xì)長(zhǎng)的情況下等,也能夠高精度地求出管腔深部方向。
(實(shí)施方式2)
在本發(fā)明的實(shí)施方式2中,著眼于輪廓邊緣中包含的凸形狀區(qū)域的大小的差異,由此進(jìn)一步提高異常區(qū)域的檢測(cè)精度。
圖13是示出本實(shí)施方式2的圖像處理裝置的功能結(jié)構(gòu)的框圖。該圖所示的圖像處理裝置4具有運(yùn)算部5和存儲(chǔ)部3。下面,對(duì)與實(shí)施方式1的圖像處理裝置1的運(yùn)算部2所具有的結(jié)構(gòu)部位相同的結(jié)構(gòu)部位標(biāo)注相同標(biāo)號(hào)進(jìn)行說(shuō)明。
運(yùn)算部5具有管腔深部區(qū)域檢測(cè)部21、輪廓邊緣提取部22、凸形狀區(qū)域解析部23、異常區(qū)域檢測(cè)部51。異常區(qū)域檢測(cè)部51具有管腔深部方向計(jì)算部241、區(qū)域判定部242、計(jì)算凸形狀區(qū)域的特征量的凸形狀區(qū)域特征量計(jì)算部511。
凸形狀區(qū)域特征量計(jì)算部511計(jì)算的凸形狀的特征量是凸形狀區(qū)域的長(zhǎng)度、面積、與凸量相關(guān)的值等。這里,與凸量相關(guān)的值是連接凸形狀區(qū)域兩端的線段和與其平行且與凸形狀區(qū)域相切的線段之間的距離、在凸形狀區(qū)域中應(yīng)用弧形狀的情況下的曲率、曲率半徑等。凸形狀區(qū)域的長(zhǎng)度較短的、面積較小的、凸形狀區(qū)域的凸量較小的凸形狀區(qū)域等很可能是噪聲。因此,為了不將這些區(qū)域誤檢測(cè)為異常區(qū)域,凸形狀區(qū)域特征量計(jì)算部511計(jì)算上述凸形狀的特征量。
圖14是示出圖像處理裝置4進(jìn)行的處理的概要的流程圖。步驟s11~s14的處理與圖4中的步驟s1~s4分別相同。
在步驟s15中,凸形狀區(qū)域特征量計(jì)算部511計(jì)算朝向管腔深部方向凸出的凸形狀區(qū)域的特征量,異常區(qū)域檢測(cè)部51檢測(cè)計(jì)算出的凸形狀區(qū)域的特征量處于規(guī)定范圍的區(qū)域作為異常區(qū)域(步驟s15)。下面,對(duì)步驟s15進(jìn)行更加詳細(xì)的說(shuō)明。
管腔深部方向計(jì)算部241和區(qū)域判定部242通過(guò)進(jìn)行與實(shí)施方式1的步驟s501~s505(參照?qǐng)D7)或?qū)嵤┓绞?的變形例1的步驟s511~s515(參照?qǐng)D12)相同的處理,判定朝向管腔深部方向凸出的凸形狀區(qū)域。然后,凸形狀區(qū)域特征量計(jì)算部511計(jì)算凸形狀區(qū)域的特征量。異常區(qū)域檢測(cè)部51檢測(cè)特征量處于規(guī)定范圍的凸形狀區(qū)域作為異常區(qū)域。
在接著步驟s15的步驟s16中,運(yùn)算部5輸出異常區(qū)域檢測(cè)結(jié)果(步驟s16)。由此,本實(shí)施方式2的圖像處理裝置進(jìn)行的一系列處理結(jié)束。
根據(jù)以上說(shuō)明的本發(fā)明的實(shí)施方式2,檢測(cè)相對(duì)于管腔深部區(qū)域的方向成為凸形狀的輪廓邊緣區(qū)域作為異常區(qū)域,由此,能夠抑制將正常輪廓邊緣誤檢測(cè)為異常區(qū)域,能夠高精度地檢測(cè)異常區(qū)域。
并且,根據(jù)本實(shí)施方式2,通過(guò)將根據(jù)管腔深部方向和凸形狀區(qū)域的凸方向檢測(cè)到的區(qū)域中的比較小的區(qū)域排除,能夠進(jìn)一步抑制輪廓邊緣中的異常區(qū)域的誤檢測(cè)。
(實(shí)施方式3)
在本發(fā)明的實(shí)施方式3中,在粘膜褶皺的非管腔深部側(cè)的邊緣的輪廓邊緣朝向管腔深部方向凸出的情況和異常區(qū)域中,在凸形狀區(qū)域周邊的像素值信息中存在差異,利用該性質(zhì),進(jìn)一步提高異常區(qū)域的檢測(cè)精度。更具體而言,在本實(shí)施方式3中,在粘膜褶皺的非管腔深部側(cè)的邊緣的輪廓邊緣朝向管腔深部方向凸出的情況下,凸形狀區(qū)域的凸方向側(cè)的褶皺上的粘膜與相反側(cè)的褶皺下(緣)的粘膜相比,攝像距離較近,所以像素值變高,另一方面,在異常區(qū)域的像素值中存在與其相反的傾向,利用該性質(zhì),進(jìn)一步提高異常區(qū)域的檢測(cè)精度。
圖15是示出本實(shí)施方式3的圖像處理裝置的功能結(jié)構(gòu)的框圖。該圖所示的圖像處理裝置6具有運(yùn)算部7和存儲(chǔ)部3。下面,對(duì)與實(shí)施方式1的圖像處理裝置1的運(yùn)算部2所具有的結(jié)構(gòu)部位相同的結(jié)構(gòu)部位標(biāo)注相同標(biāo)號(hào)進(jìn)行說(shuō)明。
運(yùn)算部7具有管腔深部區(qū)域檢測(cè)部21、輪廓邊緣提取部22、凸形狀區(qū)域解析部23、異常區(qū)域檢測(cè)部71。異常區(qū)域檢測(cè)部71具有管腔深部方向計(jì)算部241、區(qū)域判定部242、計(jì)算凸形狀區(qū)域的周邊的像素值信息的周邊像素值信息計(jì)算部711。
周邊像素值信息計(jì)算部711計(jì)算位于凸形狀區(qū)域的凸方向側(cè)的區(qū)域的像素值和位于隔著凸形狀區(qū)域而與該區(qū)域?qū)χ玫姆较蛏系膮^(qū)域的像素值之間的變化量。周邊像素值信息計(jì)算部711例如計(jì)算從位于凸形狀區(qū)域的凸方向側(cè)的區(qū)域的像素值中減去位于隔著凸形狀區(qū)域而與該區(qū)域?qū)χ玫囊粋?cè)的區(qū)域的像素值而得到的差。另外,在周邊像素值信息計(jì)算部711計(jì)算像素值時(shí),使用與攝像距離相關(guān)程度較高的低吸收波長(zhǎng)成分的像素值會(huì)得到比較高的精度,所以更加優(yōu)選。
圖16是示出圖像處理裝置6進(jìn)行的處理的概要的流程圖。步驟s21~s24的處理與圖4中的步驟s1~s4分別相同。
在步驟s25中,異常區(qū)域檢測(cè)部71對(duì)輪廓邊緣中的凸形狀區(qū)域及其凸方向進(jìn)行解析后,檢測(cè)朝向管腔深部方向凸出的凸形狀區(qū)域中的、周邊像素值信息處于規(guī)定范圍的區(qū)域作為異常區(qū)域(步驟s25)。
管腔深部方向計(jì)算部241和區(qū)域判定部242通過(guò)進(jìn)行與實(shí)施方式1的步驟s501~s505(參照?qǐng)D7)或?qū)嵤┓绞?的變形例1的步驟s511~s515(參照?qǐng)D12)相同的處理,判定朝向管腔深部方向凸出的凸形狀區(qū)域。
然后,周邊像素值信息計(jì)算部711計(jì)算凸形狀區(qū)域的周邊的像素值信息。在周邊像素值信息計(jì)算部711計(jì)算上述差的情況下,在正常輪廓邊緣區(qū)域和異常區(qū)域中,差的正負(fù)不同。具體而言,在正常輪廓邊緣區(qū)域中差為正,而在異常區(qū)域中差為負(fù)。
異常區(qū)域檢測(cè)部71根據(jù)周邊像素值信息計(jì)算部711的計(jì)算結(jié)果,例如檢測(cè)上述差為負(fù)的區(qū)域作為異常區(qū)域。
在接著步驟s25的步驟s26中,運(yùn)算部7輸出異常區(qū)域檢測(cè)結(jié)果(步驟s26)。由此,本實(shí)施方式3的圖像處理裝置進(jìn)行的一系列處理結(jié)束。
根據(jù)以上說(shuō)明的本發(fā)明的實(shí)施方式3,檢測(cè)相對(duì)于管腔深部區(qū)域的方向成為凸形狀的輪廓邊緣區(qū)域作為異常區(qū)域,由此,能夠抑制將正常輪廓邊緣誤檢測(cè)為異常,能夠高精度地檢測(cè)異常區(qū)域。
并且,根據(jù)本實(shí)施方式3,考慮凸形狀區(qū)域周邊的像素值變化來(lái)檢測(cè)異常區(qū)域,由此,能夠更高精度地檢測(cè)異常區(qū)域。
(實(shí)施方式4)
在本發(fā)明的實(shí)施方式4中,在進(jìn)行輪廓邊緣提取之前,將管腔內(nèi)圖像中包含的管腔深部等暗部、鏡面反射等亮部、殘?jiān)团莸确钦衬^(qū)域作為非檢查區(qū)域進(jìn)行排除,由此,進(jìn)一步提高異常區(qū)域的檢測(cè)精度。
圖17是示出本實(shí)施方式4的圖像處理裝置的功能結(jié)構(gòu)的框圖。該圖所示的圖像處理裝置8具有運(yùn)算部9和存儲(chǔ)部3。下面,對(duì)與實(shí)施方式1的圖像處理裝置1的運(yùn)算部2所具有的結(jié)構(gòu)部位相同的結(jié)構(gòu)部位標(biāo)注相同標(biāo)號(hào)進(jìn)行說(shuō)明。
運(yùn)算部9具有管腔深部區(qū)域檢測(cè)部21、非檢查區(qū)域排除部91、輪廓邊緣提取部22、凸形狀區(qū)域解析部23、異常區(qū)域檢測(cè)部24。
非檢查區(qū)域排除部91根據(jù)顏色、頻率、形狀信息等確定非粘膜區(qū)域(暗部、亮部、殘?jiān)⑴莸?,將該確定的非粘膜區(qū)域作為非檢查區(qū)域進(jìn)行排除。非檢查區(qū)域排除部91例如通過(guò)應(yīng)用日本特開2011-234931號(hào)公報(bào)(暗部、亮部)、日本特開2012-143340號(hào)公報(bào)(殘?jiān)?、日本特開2007-313119號(hào)公報(bào)(泡)所公開的技術(shù)來(lái)確定非粘膜區(qū)域。
圖18是示出圖像處理裝置8進(jìn)行的處理的概要的流程圖。步驟s31、s32分別對(duì)應(yīng)于圖4中的步驟s1、s2。
在步驟s32之后,非檢查區(qū)域排除部91根據(jù)顏色、頻率、形狀信息等確定非粘膜區(qū)域(暗部、亮部、殘?jiān)?、泡?,將確定的區(qū)域作為非檢查區(qū)域進(jìn)行排除(步驟s33)。
步驟s34~s37的處理依次對(duì)應(yīng)于圖4中的步驟s3~s6的處理。
根據(jù)以上說(shuō)明的本發(fā)明的實(shí)施方式4,檢測(cè)相對(duì)于管腔深部區(qū)域的方向成為凸形狀的輪廓邊緣區(qū)域作為異常區(qū)域,由此,能夠抑制將正常輪廓邊緣誤檢測(cè)為異常,能夠高精度地檢測(cè)異常區(qū)域。
并且,根據(jù)本實(shí)施方式4,通過(guò)在提取輪廓邊緣區(qū)域之前排除非檢查區(qū)域,能夠更高精度地檢測(cè)異常區(qū)域。
另外,也可以使上述實(shí)施方式1~3的圖像處理裝置具有非檢查區(qū)域排除部91的功能結(jié)構(gòu)。
(其他實(shí)施方式)
至此,說(shuō)明了用于實(shí)施本發(fā)明的方式,但是,本發(fā)明不應(yīng)該僅由上述實(shí)施方式1~4來(lái)限定。例如,在檢測(cè)異常區(qū)域時(shí),也可以檢測(cè)相對(duì)于穿過(guò)弧形狀區(qū)域的弦的直線而存在于與管腔深部區(qū)域相同的一側(cè)的弧形狀區(qū)域作為異常區(qū)域。
并且,除了活體用的內(nèi)窺鏡圖像以外,還能夠應(yīng)用于ct結(jié)腸圖(colonicgraph)中生成的虛擬內(nèi)窺鏡的管腔內(nèi)圖像、由工業(yè)用內(nèi)窺鏡拍攝的管內(nèi)圖像。
圖19是示出另一個(gè)實(shí)施方式的圖像處理裝置的功能結(jié)構(gòu)的框圖。該圖所示的圖像處理裝置10具有運(yùn)算部11和存儲(chǔ)部3。下面,對(duì)與圖像處理裝置1的運(yùn)算部2所具有的結(jié)構(gòu)部位相同的結(jié)構(gòu)部位標(biāo)注相同標(biāo)號(hào)進(jìn)行說(shuō)明。
運(yùn)算部11具有輪廓邊緣提取部22、凸形狀區(qū)域解析部101、異常區(qū)域檢測(cè)部102。凸形狀區(qū)域解析部101具有弧形狀區(qū)域檢測(cè)部231。弧形狀區(qū)域檢測(cè)部231具有貼標(biāo)簽部231a、穩(wěn)健估計(jì)部231b、反復(fù)控制部231c。異常區(qū)域檢測(cè)部102具有凸形狀區(qū)域特征量計(jì)算部511。
圖20是示出圖像處理裝置10進(jìn)行的處理的概要的流程圖。步驟s41、s42的處理與圖4中的步驟s1、s3的處理分別相同。
在步驟s43中,凸形狀區(qū)域解析部101的弧形狀區(qū)域檢測(cè)部231對(duì)輪廓邊緣中的凸形狀區(qū)域進(jìn)行解析(步驟s43)。弧形狀區(qū)域檢測(cè)部231依次進(jìn)行圖6所示的步驟s401~s404的處理后,結(jié)束凸形狀區(qū)域的解析處理。
在步驟s44中,凸形狀區(qū)域特征量計(jì)算部511計(jì)算凸形狀區(qū)域的特征量,異常區(qū)域檢測(cè)部102檢測(cè)計(jì)算出的凸形狀區(qū)域的特征量處于規(guī)定范圍的區(qū)域作為異常區(qū)域(步驟s44)。
在步驟s45中,運(yùn)算部11輸出異常區(qū)域檢測(cè)結(jié)果(步驟s45)。由此,圖像處理裝置10進(jìn)行的一系列處理結(jié)束。
根據(jù)以上說(shuō)明的圖像處理裝置10,將一個(gè)輪廓邊緣分割成多個(gè)弧形狀來(lái)進(jìn)行異常區(qū)域的判定,所以,能夠高精度地檢測(cè)異常組織的邊緣。
另外,作為圖像處理裝置10中的凸形狀區(qū)域解析部,也可以采用從圖8所示的凸形狀區(qū)域解析部26中去除分割邊緣凸方向計(jì)算部262而得到的部分。即,該情況下的凸形狀區(qū)域解析部具有邊緣分割部261。邊緣分割部261具有邊緣坐標(biāo)取得部261a、曲率變化解析部261b和分割部261c。
并且,圖像處理裝置10中的異常區(qū)域檢測(cè)部也可以還具有圖15所示的周邊像素值信息計(jì)算部711的功能。該情況下,異常區(qū)域檢測(cè)部還能夠考慮周邊像素值信息來(lái)檢測(cè)異常區(qū)域。
并且,也可以使圖像處理裝置10還具有實(shí)施方式4中說(shuō)明的非檢查區(qū)域排除部91的功能。由此,能夠更高精度地檢測(cè)異常區(qū)域。
標(biāo)號(hào)說(shuō)明
1、4、6、8、10:圖像處理裝置;2、5、7、9、11:運(yùn)算部;3:存儲(chǔ)部;21:管腔深部區(qū)域檢測(cè)部;22:輪廓邊緣提取部;23、26、101:凸形狀區(qū)域解析部;24、27、51、71、102:異常區(qū)域檢測(cè)部;91:非檢查區(qū)域排除部;211:低吸收波長(zhǎng)成分選擇部;212:邊緣周邊區(qū)域排除部;213:低像素值區(qū)域檢測(cè)部;231:弧形狀區(qū)域檢測(cè)部;231a:貼標(biāo)簽部;231b:穩(wěn)健估計(jì)部;231c:反復(fù)控制部;232:弧形狀凸方向計(jì)算部;241、271、541:管腔深部方向計(jì)算部;242、272、542:區(qū)域判定部;241a:深部區(qū)域代表位置計(jì)算部;241b:代表位置方向計(jì)算部;242a:角度計(jì)算部;261:邊緣分割部;261a:邊緣坐標(biāo)取得部;261b:曲率變化解析部;261c:分割部;262:分割邊緣凸方向計(jì)算部;271a:距離轉(zhuǎn)換圖像生成部;271b:梯度方向計(jì)算部;272a:內(nèi)積計(jì)算部;511:凸形狀區(qū)域特征量計(jì)算部;711:周邊像素值信息計(jì)算部。