本申請(qǐng)是申請(qǐng)日為2012年05月22日,申請(qǐng)?zhí)枮?01280025678.4,發(fā)明名稱為“內(nèi)窺鏡裝置”的發(fā)明專利申請(qǐng)的分案申請(qǐng)。
本發(fā)明涉及內(nèi)窺鏡裝置以及內(nèi)窺鏡裝置的工作方法等。
背景技術(shù):
廣泛使用對(duì)體腔內(nèi)的組織照射照明光、并使用對(duì)其反射光進(jìn)行攝像而得到的圖像來(lái)進(jìn)行診斷/處置的內(nèi)窺鏡裝置。在插入部的前端設(shè)有ccd或cmos等攝像元件以及以光學(xué)方式形成被攝體像的物鏡。一般情況下,作為內(nèi)窺鏡的物鏡,為了防止病變部的漏看而使用廣角的物鏡。例如,使用具有170°的視野角的物鏡。
另外,認(rèn)為通過(guò)使用形成插入部的前端的側(cè)方視野的物鏡(例如專利文獻(xiàn)1)能夠觀察更寬的視野。
現(xiàn)有技術(shù)文獻(xiàn)
專利文獻(xiàn)
專利文獻(xiàn)1:日本特開(kāi)2010-169792號(hào)公報(bào)
專利文獻(xiàn)2:日本特開(kāi)2002-263064號(hào)公報(bào)
專利文獻(xiàn)3:日本特開(kāi)平9-98943號(hào)公報(bào)
技術(shù)實(shí)現(xiàn)要素:
發(fā)明要解決的課題
但是,當(dāng)擴(kuò)大視野時(shí),與現(xiàn)有的內(nèi)窺鏡相比,圖像中包含的信息量相對(duì)變多,所以,存在很難使整個(gè)圖像確保良好的明亮度的課題。
另外,在專利文獻(xiàn)2中公開(kāi)了如下的調(diào)光處理的方法:根據(jù)鏡體的掩模形狀,將有效區(qū)域內(nèi)的像素作為對(duì)象來(lái)計(jì)算亮度平均值,維持被攝體像的明亮度。在專利文獻(xiàn)3中公開(kāi)了如下的方法:在取得廣角圖像的內(nèi)窺鏡裝置中,通過(guò)在攝像元件的攝像面的至少3邊配設(shè)光導(dǎo),確保良好的配光。
根據(jù)本發(fā)明的若干個(gè)方式,能夠提供可使關(guān)注區(qū)域維持適當(dāng)明亮度的內(nèi)窺鏡裝置以及內(nèi)窺鏡裝置的工作方法等。
用于解決課題的手段
本實(shí)施方式的一個(gè)方式涉及一種內(nèi)窺鏡裝置,該內(nèi)窺鏡裝置包括:圖像取得部,其取得包括被攝體像的攝像圖像;關(guān)注區(qū)域設(shè)定部,其根據(jù)來(lái)自內(nèi)窺鏡裝置的信息,對(duì)所述攝像圖像設(shè)定關(guān)注區(qū)域;以及調(diào)光控制部,其根據(jù)所設(shè)定的所述關(guān)注區(qū)域,對(duì)所述照明光的光量進(jìn)行調(diào)光控制。
根據(jù)本實(shí)施方式的一個(gè)方式,根據(jù)來(lái)自內(nèi)窺鏡裝置的信息對(duì)攝像圖像設(shè)定關(guān)注區(qū)域,根據(jù)該關(guān)注區(qū)域進(jìn)行照明光的光量的調(diào)光控制。由此,能夠使手術(shù)醫(yī)生關(guān)注的關(guān)注區(qū)域維持適當(dāng)?shù)拿髁炼取?/p>
另外,本發(fā)明的另一個(gè)方式涉及一種內(nèi)窺鏡裝置的工作方法,其中,取得包括被攝體像的攝像圖像,該被攝體像是通過(guò)對(duì)被攝體照射來(lái)自光源部的照明光而得到的,根據(jù)來(lái)自內(nèi)窺鏡裝置的信息,對(duì)所述攝像圖像設(shè)定關(guān)注區(qū)域,以及根據(jù)所設(shè)定的所述關(guān)注區(qū)域,對(duì)所述照明光的光量進(jìn)行調(diào)光控制,其中,根據(jù)所述攝像圖像計(jì)算特征量,根據(jù)具有規(guī)定的特征量的區(qū)域來(lái)設(shè)定關(guān)注區(qū)域。
附圖說(shuō)明
圖1是物鏡光學(xué)系統(tǒng)的結(jié)構(gòu)例。
圖2(a)~圖2(d)是與本實(shí)施方式的概要有關(guān)的說(shuō)明圖。
圖3是第1實(shí)施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
圖4是旋轉(zhuǎn)濾色鏡的詳細(xì)結(jié)構(gòu)例。
圖5是濾色鏡的分光特性例。
圖6是第1實(shí)施方式的圖像處理部的詳細(xì)結(jié)構(gòu)例。
圖7是灰度轉(zhuǎn)換部的詳細(xì)結(jié)構(gòu)例。
圖8是與關(guān)注區(qū)域設(shè)定部進(jìn)行的處理有關(guān)的說(shuō)明圖。
圖9(a)、圖9(b)是與關(guān)注區(qū)域設(shè)定部進(jìn)行的處理有關(guān)的說(shuō)明圖。
圖10是與關(guān)注區(qū)域設(shè)定部進(jìn)行的處理有關(guān)的說(shuō)明圖。
圖11是與關(guān)注區(qū)域設(shè)定部進(jìn)行的處理有關(guān)的說(shuō)明圖。
圖12是與關(guān)注區(qū)域設(shè)定部進(jìn)行的處理有關(guān)的說(shuō)明圖。
圖13是與關(guān)注區(qū)域設(shè)定部進(jìn)行的處理有關(guān)的說(shuō)明圖。
圖14是圖像處理部的變形結(jié)構(gòu)例。
圖15是與變倍處理部進(jìn)行的處理有關(guān)的說(shuō)明圖。
圖16是第2實(shí)施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
圖17是第2實(shí)施方式的圖像處理部的詳細(xì)結(jié)構(gòu)例。
圖18是與第2實(shí)施方式的關(guān)注區(qū)域設(shè)定部進(jìn)行的處理有關(guān)的說(shuō)明圖。
圖19是第3實(shí)施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
圖20是第3實(shí)施方式的狀態(tài)信息取得部的詳細(xì)結(jié)構(gòu)例。
圖21(a)~圖21(c)是與彎曲操作有關(guān)的說(shuō)明圖。
圖22是第3實(shí)施方式的圖像處理部的詳細(xì)結(jié)構(gòu)例。
圖23是第4實(shí)施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
圖24(a)~圖24(d)是與距離估計(jì)方法有關(guān)的說(shuō)明圖。
圖25是內(nèi)窺鏡裝置的變形結(jié)構(gòu)例。
圖26是第5實(shí)施方式的關(guān)注區(qū)域設(shè)定部的詳細(xì)結(jié)構(gòu)例。
圖27是與第5實(shí)施方式的關(guān)注區(qū)域設(shè)定部進(jìn)行的處理有關(guān)的說(shuō)明圖。
圖28是與第5實(shí)施方式的變形例有關(guān)的說(shuō)明圖。
圖29是第6實(shí)施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
圖30是第2攝像元件的濾色鏡的結(jié)構(gòu)例。
圖31是第2攝像元件的濾色鏡的透射率特性例。
圖32是第6實(shí)施方式的圖像處理部的詳細(xì)結(jié)構(gòu)例。
圖33是由第2攝像元件進(jìn)行攝像而得到的單板圖像信號(hào)的例子。
圖34是第6實(shí)施方式的關(guān)注區(qū)域設(shè)定部的詳細(xì)結(jié)構(gòu)例。
圖35是局部區(qū)域的設(shè)定例。
圖36是與第6實(shí)施方式的關(guān)注區(qū)域設(shè)定部進(jìn)行的處理有關(guān)的說(shuō)明圖。
圖37是第7實(shí)施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
圖38是第7實(shí)施方式的圖像處理部的詳細(xì)結(jié)構(gòu)例。
圖39是第8實(shí)施方式的關(guān)注區(qū)域設(shè)定部的詳細(xì)結(jié)構(gòu)例。
圖40是失真校正處理前后的圖像的例子。
圖41是代表點(diǎn)的設(shè)定例。
圖42(a)~圖42(d)是與拔出狀態(tài)的判定方法有關(guān)的說(shuō)明圖。
圖43是第9實(shí)施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
圖44是第9實(shí)施方式的狀態(tài)信息取得部的詳細(xì)結(jié)構(gòu)例。
圖45是與紅暈區(qū)域有關(guān)的說(shuō)明圖。
圖46(a)是與紅暈區(qū)域有關(guān)的說(shuō)明圖。圖46(b)是與第10實(shí)施方式的變倍處理有關(guān)的說(shuō)明圖。
圖47是第10實(shí)施方式的圖像處理部的詳細(xì)結(jié)構(gòu)例。
圖48是第10實(shí)施方式的關(guān)注區(qū)域設(shè)定部的詳細(xì)結(jié)構(gòu)例。
圖49是與第10實(shí)施方式的關(guān)注區(qū)域設(shè)定部進(jìn)行的處理有關(guān)的說(shuō)明圖。
圖50是紅暈區(qū)域候選檢測(cè)部的詳細(xì)結(jié)構(gòu)例。
圖51是散焦檢測(cè)部的詳細(xì)結(jié)構(gòu)例。
圖52是與第10實(shí)施方式的關(guān)注區(qū)域設(shè)定部進(jìn)行的處理有關(guān)的說(shuō)明圖。
圖53是變倍參數(shù)設(shè)定部的詳細(xì)結(jié)構(gòu)例。
圖54是相對(duì)于變倍前歸一化距離的多個(gè)變倍后歸一化距離的對(duì)應(yīng)曲線的例子。
具體實(shí)施方式
下面,對(duì)本實(shí)施方式進(jìn)行說(shuō)明。另外,以下說(shuō)明的本實(shí)施方式并不是不當(dāng)限定權(quán)利要求書所記載的本發(fā)明的內(nèi)容。并且,本實(shí)施方式中說(shuō)明的全部結(jié)構(gòu)不一定是本發(fā)明的必須結(jié)構(gòu)要件。
1.本實(shí)施方式的概要
1.1.本實(shí)施方式的方法
首先,對(duì)本實(shí)施方式的概要進(jìn)行說(shuō)明。在上述專利文獻(xiàn)1中公開(kāi)了能夠?qū)︾R體前端部的前方視野和側(cè)方視野進(jìn)行觀察的物鏡光學(xué)系統(tǒng)。圖1示出該物鏡光學(xué)系統(tǒng)的結(jié)構(gòu)例。如圖1所示,來(lái)自前方視野的光線lc1從面sf1入射,來(lái)自側(cè)方視野的光線lc2從面sf3入射。這些光線lc1、lc2通過(guò)面sf1、sf2折射或反射,從而對(duì)前方視野和側(cè)方視野進(jìn)行成像。
如果使用這種物鏡光學(xué)系統(tǒng),則能夠在比現(xiàn)有的內(nèi)窺鏡裝置寬的視野內(nèi)對(duì)體腔內(nèi)進(jìn)行觀察。即,如圖2(a)所示,在管腔狀的臟器中篩查病變部的情況下,使鏡體與臟器的軸向平行,一邊插入或拔出鏡體一邊進(jìn)行觀察。在具有側(cè)方視野的情況下,由于能夠?qū)ξ挥隈薨櫛趁娴牟∽儾窟M(jìn)行觀察,所以,能夠減少病變的漏看。
但是,當(dāng)這樣擴(kuò)大視野時(shí),與現(xiàn)有的內(nèi)窺鏡相比,圖像中包含的信息量相對(duì)變多,所以,存在很難使整個(gè)圖像確保良好的明亮度的課題。使用圖2(a)~圖2(d)對(duì)這點(diǎn)進(jìn)行說(shuō)明。
如圖2(a)所示,在內(nèi)窺鏡攝像部位于管腔狀臟器的中心的情況下,在前方視野和側(cè)方視野中,從內(nèi)窺鏡攝像部到被攝體的距離不同。因此,如圖2(b)所示,圖像中的各區(qū)域產(chǎn)生明亮度的差。并且,如圖2(c)所示,為了對(duì)存在于管腔狀臟器的壁面的病變部進(jìn)行觀察,要使內(nèi)窺鏡前端接近臟器的壁面。這樣,如圖2(d)所示,關(guān)注區(qū)域(例如病變部)產(chǎn)生光暈。在這種圖像中,手術(shù)醫(yī)生很難對(duì)希望關(guān)注的區(qū)域進(jìn)行適當(dāng)?shù)挠^察/處置。
針對(duì)這種課題,在內(nèi)窺鏡裝置中進(jìn)行適當(dāng)維持被攝體像的明亮度的調(diào)光處理。例如,在專利文獻(xiàn)2中公開(kāi)了如下的調(diào)光處理的方法:根據(jù)鏡體的掩模形狀,將有效區(qū)域內(nèi)的像素作為對(duì)象來(lái)計(jì)算亮度平均值,維持被攝體像的明亮度。
但是,在該方法中,整個(gè)有效區(qū)域的平均值能夠取適當(dāng)?shù)闹?,但是,無(wú)法對(duì)圖像內(nèi)的各區(qū)域進(jìn)行調(diào)光。因此,在各區(qū)域產(chǎn)生明亮度的差的情況下,無(wú)法將手術(shù)醫(yī)生希望關(guān)注的區(qū)域調(diào)整為適當(dāng)?shù)拿髁炼取?/p>
并且,在專利文獻(xiàn)3中公開(kāi)了如下的方法:在取得廣角圖像的內(nèi)窺鏡裝置中,通過(guò)在攝像元件的攝像面的至少3邊配設(shè)光導(dǎo),確保良好的配光。
但是,在該方法中,如圖2(c)所示,在相對(duì)于病變部從傾斜方向?qū)Ρ粩z體進(jìn)行攝像的情況下,無(wú)法解決在關(guān)注區(qū)域中產(chǎn)生光暈的課題。
因此,在本實(shí)施方式中,如圖13所示,根據(jù)來(lái)自內(nèi)窺鏡裝置的信息(例如攝像圖像),在攝像圖像中設(shè)定關(guān)注區(qū)域,將該關(guān)注區(qū)域作為調(diào)光對(duì)象區(qū)域進(jìn)行調(diào)光控制。由此,能夠使手術(shù)醫(yī)生關(guān)注的區(qū)域維持適當(dāng)?shù)拿髁炼?,能夠減小手術(shù)醫(yī)生進(jìn)行診斷/處置時(shí)的負(fù)荷。
如以下說(shuō)明的那樣,在現(xiàn)有的調(diào)光處理中,將整個(gè)圖像作為測(cè)光區(qū)域來(lái)計(jì)算亮度平均值,通過(guò)對(duì)光源光量進(jìn)行調(diào)整以使該亮度平均值接近目標(biāo)值,適當(dāng)維持整個(gè)圖像的明亮度。在本實(shí)施方式中,通過(guò)將關(guān)注區(qū)域作為測(cè)光區(qū)域來(lái)計(jì)算亮度平均值,如圖2(d)所示,即使在明亮度存在偏差的情況下,也能夠使手術(shù)醫(yī)生關(guān)注的區(qū)域維持適當(dāng)?shù)拿髁炼取?/p>
1.2.調(diào)光處理
對(duì)現(xiàn)有的調(diào)光處理進(jìn)行詳細(xì)說(shuō)明。在調(diào)光處理中,首先,進(jìn)行測(cè)定被攝體的明亮度的測(cè)光處理。具體而言,計(jì)算從攝像元件依次得到的1幀或1場(chǎng)的圖像信號(hào)中的亮度信號(hào)的平均值。這里,作為測(cè)光區(qū)域,一般使用圖像信號(hào)的有效區(qū)域。圖像信號(hào)的有效區(qū)域是指從圖2(b)所示的圖像信號(hào)中去除掩模區(qū)域后的前方區(qū)域和側(cè)方區(qū)域。
接著,將所測(cè)定的被攝體的明亮度調(diào)整為目標(biāo)明亮度。具體而言,通過(guò)對(duì)調(diào)整光源光量的光圈開(kāi)度進(jìn)行控制,使已測(cè)光的被攝體的明亮度與目標(biāo)明亮度一致。
例如,在被攝體的整體與內(nèi)窺鏡前端的物鏡分開(kāi)比較遠(yuǎn)的情況下,上述亮度平均值暫時(shí)低于亮度參照值(目標(biāo)明亮度),所以,此時(shí),光源光圈開(kāi)度擴(kuò)大,照明光量增大。另一方面,在被攝體的整體接近內(nèi)窺鏡前端的物鏡的情況下,上述亮度平均值高于亮度參照值(目標(biāo)明亮度),所以,此時(shí),光源光圈開(kāi)度變窄,照明光量減少。并且,在通過(guò)光源光圈的調(diào)整而使亮度平均值未達(dá)到亮度參照值(目標(biāo)明亮度)的情況下,通過(guò)對(duì)圖像信號(hào)施加數(shù)字增益來(lái)對(duì)圖像信號(hào)的明亮度進(jìn)行調(diào)整。這樣,與被攝體的遠(yuǎn)近無(wú)關(guān),圖像信號(hào)維持與亮度參照值一致的適當(dāng)狀態(tài)。
2.第1實(shí)施方式
2.1.內(nèi)窺鏡裝置
如上所述,對(duì)在攝像圖像中設(shè)定關(guān)注區(qū)域并通過(guò)調(diào)光來(lái)控制該關(guān)注區(qū)域的明亮度的本實(shí)施方式的內(nèi)窺鏡裝置進(jìn)行詳細(xì)說(shuō)明。
圖3示出第1實(shí)施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、操作部200、插入部300、控制裝置400(處理器部)、顯示部500、外部i/f部550。
光源部100具有白色光源101、光源光圈102、驅(qū)動(dòng)光源光圈102的光源光圈驅(qū)動(dòng)部103、具有多個(gè)分光透射率的濾鏡的旋轉(zhuǎn)濾色鏡104。并且,光源部100包括驅(qū)動(dòng)旋轉(zhuǎn)濾色鏡104的旋轉(zhuǎn)驅(qū)動(dòng)部105、使透射過(guò)旋轉(zhuǎn)濾色鏡104的光會(huì)聚到光導(dǎo)纖維301的入射端面的會(huì)聚透鏡106。
光源光圈驅(qū)動(dòng)部103根據(jù)來(lái)自控制裝置400的控制部420的控制信號(hào)進(jìn)行光源光圈102的開(kāi)閉,從而進(jìn)行光量的調(diào)整。
圖4示出旋轉(zhuǎn)濾色鏡104的詳細(xì)結(jié)構(gòu)例。旋轉(zhuǎn)濾色鏡104由三原色的紅色(以下簡(jiǎn)化為r)濾鏡701、綠色(以下簡(jiǎn)化為g)濾鏡702、藍(lán)色(以下簡(jiǎn)化為b)濾鏡703、旋轉(zhuǎn)馬達(dá)704構(gòu)成。圖5示出這些濾色鏡701~703的分光特性例。
旋轉(zhuǎn)驅(qū)動(dòng)部105根據(jù)來(lái)自控制部420的控制信號(hào),與攝像元件304的攝像期間同步地使旋轉(zhuǎn)濾色鏡104以規(guī)定轉(zhuǎn)速旋轉(zhuǎn)。例如,當(dāng)使旋轉(zhuǎn)濾色鏡104在1秒間旋轉(zhuǎn)20次時(shí),各濾色鏡以60分之一秒間隔橫切入射白色光。該情況下,攝像元件304以60分之一秒間隔完成圖像信號(hào)的攝像和轉(zhuǎn)送。
這里,攝像元件304例如是單色用攝像元件。即,在本實(shí)施方式中,進(jìn)行以60分之一秒間隔對(duì)3原色的各色光(r或g或b)的圖像進(jìn)行攝像的面順次方式的攝像。
操作部200設(shè)有進(jìn)行插入部300的彎曲操作的彎曲操作桿201、以及供例如鉗子這樣的處置器械插入的插入口202。
彎曲操作桿201與彎曲操作線306連結(jié)。彎曲操作線306貫穿插入到插入部300的內(nèi)部并固定在插入部300前端。手術(shù)醫(yī)生通過(guò)對(duì)彎曲操作桿201進(jìn)行操作,使彎曲操作線306牽引或松弛,使插入部300彎曲。插入口202與供處置器械貫穿插入的貫穿插入通道307連通。
插入部300例如形成為細(xì)長(zhǎng)且能夠彎曲,使得能夠插入體腔內(nèi)。插入部300包括用于將光源部100所會(huì)聚的光引導(dǎo)至照明透鏡314、315的光導(dǎo)纖維301、使由該光導(dǎo)纖維301引導(dǎo)到前端的光擴(kuò)散而對(duì)觀察對(duì)象進(jìn)行照射的照明透鏡314、315。照明透鏡314是用于對(duì)前方視野的觀察對(duì)象進(jìn)行照明的透鏡,照明透鏡315是用于對(duì)側(cè)方視野的觀察對(duì)象進(jìn)行照明的透鏡。并且,插入部300包括使從觀察對(duì)象返回的反射光會(huì)聚的物鏡光學(xué)系統(tǒng)303、用于檢測(cè)會(huì)聚后的反射光的攝像元件304、將通過(guò)攝像元件304的光電轉(zhuǎn)換而得到的模擬圖像信號(hào)轉(zhuǎn)換為數(shù)字圖像信號(hào)的a/d轉(zhuǎn)換部305。并且,插入部300包括貫穿插入到插入部300的內(nèi)部并固定在前端部的彎曲操作線306、供在操作部200中插入的處置器械貫穿插入的貫穿插入通道307。
物鏡光學(xué)系統(tǒng)303(狹義地講為物鏡)從插入部300的前端部突出,對(duì)前方視野和側(cè)方視野進(jìn)行成像。例如,物鏡光學(xué)系統(tǒng)303具有230°的視野角。
攝像元件304例如是單色單板攝像元件,例如由ccd或cmos圖像傳感器等構(gòu)成。
控制裝置400進(jìn)行內(nèi)窺鏡裝置的各部的控制和圖像處理??刂蒲b置400包括進(jìn)行關(guān)注區(qū)域的設(shè)定和測(cè)光處理的圖像處理部410以及控制部420。
由a/d轉(zhuǎn)換部305轉(zhuǎn)換為數(shù)字信號(hào)的圖像信號(hào)被轉(zhuǎn)送到圖像處理部410。由圖像處理部410進(jìn)行處理后的圖像信號(hào)被轉(zhuǎn)送到顯示部500??刂撇?20進(jìn)行內(nèi)窺鏡裝置的各部的控制。具體而言,控制部420與光源光圈驅(qū)動(dòng)部103、旋轉(zhuǎn)驅(qū)動(dòng)部105、圖像處理部410、外部i/f部550連接,進(jìn)行它們的控制。
顯示部500是能夠進(jìn)行動(dòng)態(tài)圖像顯示的顯示裝置,例如由crt或液晶監(jiān)視器等構(gòu)成。
外部i/f部550是用于進(jìn)行從用戶向內(nèi)窺鏡裝置輸入等的接口。外部i/f部550例如包括用于進(jìn)行電源的接通/斷開(kāi)的電源開(kāi)關(guān)、用于切換攝影模式和其他各種模式的模式切換按鈕等。外部i/f部550將所輸入的信息轉(zhuǎn)送到控制部420。
2.2.圖像處理部
圖6示出第1實(shí)施方式的圖像處理部410的詳細(xì)結(jié)構(gòu)例。圖像處理部410包括預(yù)處理部411、同時(shí)化部412、關(guān)注區(qū)域設(shè)定部413、后處理部415、測(cè)光部416、灰度轉(zhuǎn)換部419。
a/d轉(zhuǎn)換部305與預(yù)處理部411連接。預(yù)處理部411與同時(shí)化部412連接。同時(shí)化部412與灰度轉(zhuǎn)換部419、關(guān)注區(qū)域設(shè)定部413、測(cè)光部416連接?;叶绒D(zhuǎn)換部419與后處理部415連接。后處理部415與顯示部500連接。關(guān)注區(qū)域設(shè)定部413與測(cè)光部416連接??刂撇?20與預(yù)處理部411、同時(shí)化部412、灰度轉(zhuǎn)換部419、后處理部415、關(guān)注區(qū)域設(shè)定部413、測(cè)光部416雙向連接,對(duì)它們進(jìn)行控制。
預(yù)處理部411針對(duì)從a/d轉(zhuǎn)換部305輸入的圖像信號(hào),使用控制部420中預(yù)先保存的ob鉗位值、wb系數(shù)值、噪聲降低系數(shù)值進(jìn)行ob鉗位處理、wb校正處理、噪聲降低處理。預(yù)處理部411將預(yù)處理后的圖像信號(hào)轉(zhuǎn)送到同時(shí)化部412。
同時(shí)化部412針對(duì)由預(yù)處理部411處理后的圖像信號(hào),根據(jù)控制部420的控制信號(hào)對(duì)面順次的圖像信號(hào)進(jìn)行同時(shí)化。具體而言,同時(shí)化部412一幀一幀地蓄積面順次輸入的各顏色光(r或g或b)的圖像信號(hào),同時(shí)讀出所蓄積的各顏色光的圖像信號(hào)。同時(shí)化部412將同時(shí)化后的圖像信號(hào)轉(zhuǎn)送到關(guān)注區(qū)域設(shè)定部413和測(cè)光部416。
灰度轉(zhuǎn)換部419對(duì)同時(shí)化處理后的圖像進(jìn)行灰度轉(zhuǎn)換處理?;叶绒D(zhuǎn)換處理例如是對(duì)整個(gè)圖像的像素值的柱狀圖進(jìn)行平坦化的處理。具體而言,灰度轉(zhuǎn)換部419將圖像分割為多個(gè)區(qū)域,求出各分割區(qū)域的灰度轉(zhuǎn)換特性,通過(guò)該灰度轉(zhuǎn)換特性進(jìn)行各分割區(qū)域的灰度轉(zhuǎn)換?;叶绒D(zhuǎn)換部419進(jìn)行的處理在后面詳細(xì)敘述。
關(guān)注區(qū)域設(shè)定部413根據(jù)同時(shí)化處理后的圖像信號(hào)設(shè)定關(guān)注區(qū)域。具體而言,關(guān)注區(qū)域設(shè)定部413檢測(cè)攝像出處置器械的區(qū)域,將處置器械的前端的周邊區(qū)域設(shè)定為關(guān)注區(qū)域。關(guān)注區(qū)域設(shè)定部413進(jìn)行的處理在后面詳細(xì)敘述。
測(cè)光部416計(jì)算所設(shè)定的關(guān)注區(qū)域中的被攝體的亮度平均值(廣義地講為明亮度信息),將計(jì)算出的亮度平均值轉(zhuǎn)送到控制部420??刂撇?20根據(jù)來(lái)自測(cè)光部416的亮度平均值對(duì)光源光圈驅(qū)動(dòng)部103進(jìn)行控制,從而對(duì)光源光圈102的開(kāi)口面積進(jìn)行調(diào)整。測(cè)光部416和控制部420進(jìn)行的調(diào)光控制在后面詳細(xì)敘述。
后處理部415針對(duì)灰度轉(zhuǎn)換處理后的圖像,使用控制部420中預(yù)先保存的顏色轉(zhuǎn)換系數(shù)、輪廓強(qiáng)調(diào)系數(shù)、放大率進(jìn)行顏色處理、輪廓強(qiáng)調(diào)處理、放大處理。后處理部415將后處理后的圖像信號(hào)轉(zhuǎn)送到顯示部500。
2.3.灰度轉(zhuǎn)換部
詳細(xì)說(shuō)明灰度轉(zhuǎn)換部419進(jìn)行的處理。圖7示出灰度轉(zhuǎn)換部419的詳細(xì)結(jié)構(gòu)例?;叶绒D(zhuǎn)換部419包括區(qū)域分割部445、柱狀圖計(jì)算部446、灰度轉(zhuǎn)換特性計(jì)算部447、轉(zhuǎn)換部448。
來(lái)自同時(shí)化部412的圖像信號(hào)被輸入到區(qū)域分割部445。區(qū)域分割部445與柱狀圖計(jì)算部446和轉(zhuǎn)換部448連接。柱狀圖計(jì)算部446與灰度轉(zhuǎn)換特性計(jì)算部447連接?;叶绒D(zhuǎn)換特性計(jì)算部447與轉(zhuǎn)換部448連接。轉(zhuǎn)換部448與后處理部415連接??刂撇?20與區(qū)域分割部445、柱狀圖計(jì)算部446、灰度轉(zhuǎn)換特性計(jì)算部447、轉(zhuǎn)換部448連接,進(jìn)行它們的控制。
灰度轉(zhuǎn)換部419按照?qǐng)D像信號(hào)的每個(gè)區(qū)域進(jìn)行灰度轉(zhuǎn)換處理。具體而言,區(qū)域分割部445將所輸入的圖像信號(hào)(最大值圖像信號(hào))按區(qū)域分割為局部區(qū)域。例如,區(qū)域分割部445將圖像信號(hào)分割為規(guī)定尺寸的矩形區(qū)域,將分割后的各矩形區(qū)域作為局部區(qū)域。例如矩形區(qū)域的尺寸為16×16像素,但是不限于此,可以適當(dāng)設(shè)定。區(qū)域分割部445將這些分割后的局部區(qū)域輸出到柱狀圖計(jì)算部446和轉(zhuǎn)換部448。另外,區(qū)域分割的方法不限于上述方法。例如,也可以構(gòu)成為,應(yīng)用以紋理(texture)解析為代表的公知的區(qū)域分割方法進(jìn)行區(qū)域分割。
柱狀圖計(jì)算部446計(jì)算所輸入的各局部區(qū)域的柱狀圖(像素值的柱狀圖),將計(jì)算出的各局部區(qū)域的柱狀圖輸出到灰度轉(zhuǎn)換特性計(jì)算部447。
灰度轉(zhuǎn)換特性計(jì)算部447根據(jù)所輸入的局部區(qū)域的柱狀圖計(jì)算局部區(qū)域的累積柱狀圖。另外,下面說(shuō)明針對(duì)1個(gè)局部區(qū)域的處理,但是,對(duì)各局部區(qū)域進(jìn)行同樣的處理?;叶绒D(zhuǎn)換特性計(jì)算部447對(duì)累積柱狀圖進(jìn)行歸一化,使得所得到的累積柱狀圖的最大值符合轉(zhuǎn)換部448的輸出灰度寬度?;叶绒D(zhuǎn)換特性計(jì)算部447將歸一化后的累積柱狀圖作為局部區(qū)域的灰度轉(zhuǎn)換特性輸出到轉(zhuǎn)換部448。
轉(zhuǎn)換部448針對(duì)從區(qū)域分割部445輸入的局部區(qū)域,使從灰度轉(zhuǎn)換特性計(jì)算部447輸入的灰度轉(zhuǎn)換特性發(fā)揮作用,進(jìn)行灰度轉(zhuǎn)換處理。轉(zhuǎn)換部448將灰度轉(zhuǎn)換后的各局部區(qū)域恢復(fù)成1幀的圖像信號(hào),將該圖像信號(hào)輸出到后處理部415。
2.4.關(guān)注區(qū)域設(shè)定部
詳細(xì)說(shuō)明關(guān)注區(qū)域設(shè)定部413進(jìn)行的處理。關(guān)注區(qū)域設(shè)定部413從同時(shí)化處理后的圖像信號(hào)中檢測(cè)由具有處置器械的像的像素構(gòu)成的處置器械區(qū)域,根據(jù)檢測(cè)到的處置器械區(qū)域設(shè)定關(guān)注區(qū)域。下面,以檢測(cè)鉗子等高反射性的金屬處置器械的情況為例進(jìn)行說(shuō)明。
由于處置器械放置在極其接近攝像元件304的位置,所以,處置器械的亮度信號(hào)值遠(yuǎn)遠(yuǎn)大于臟器。因此,將圖像信號(hào)中的高亮度區(qū)域檢測(cè)為處置器械區(qū)域。具體而言,設(shè)關(guān)注像素(處理對(duì)象像素)的坐標(biāo)為(x,y),通過(guò)下式(1)計(jì)算關(guān)注像素的亮度信號(hào)值y(x,y)。
【數(shù)學(xué)式1】
y(x,y)=0.299·r(x,y)+0.587·g(x,y)+0.114·b(x,y)(1)
這里,r(x,y)、g(x,y)、b(x,y)是坐標(biāo)(x,y)中的各顏色的圖像信號(hào)。
接著,如圖8所示,通過(guò)下式(2)計(jì)算比關(guān)注像素靠左側(cè)的從坐標(biāo)(x-a,y)到坐標(biāo)(x-1,y)的亮度值的平均值yave(x,y)。在圖8中,設(shè)圖像信號(hào)為n×m像素。并且,將位于圖像信號(hào)的左上方的坐標(biāo)表現(xiàn)為(0,0),將右方向表現(xiàn)為x軸的正方向,將下方向表現(xiàn)為y軸的正方向。例如,x軸是沿著水平掃描線的軸,y軸是與x軸正交的軸。
【數(shù)學(xué)式2】
這里,a是常數(shù),根據(jù)圖像信號(hào)的橫向?qū)挾萵來(lái)設(shè)定。例如,常數(shù)a被設(shè)定為圖像信號(hào)的橫向?qū)挾萵的3%。
接著,使用下式(3)檢測(cè)關(guān)注像素的亮度信號(hào)值是否遠(yuǎn)遠(yuǎn)大于周邊的亮度平均值。
【數(shù)學(xué)式3】
y(x,y)>yave(x,y)+yp(3)
這里,yp是作為參數(shù)而預(yù)先設(shè)定的值。設(shè)上式(3)成立的像素為處置器械候選像素。例如,如圖9(a)所示,在包含處置器械和亮點(diǎn)的像的圖像信號(hào)的情況下,如圖9(b)所示檢測(cè)處置器械候選像素。
接著,提取多個(gè)處置器械候選像素相鄰的區(qū)域作為處置器械候選區(qū)域。具體而言,從左上方起搜索圖像信號(hào),將關(guān)注像素(x,y)的值為“處置器械候選像素”、關(guān)注像素的左方(x-1,y)、左上方(x-1,y-1)、上方(x,y-1)、右上方(x+1,y-1)這4個(gè)像素不是“處置器械候選像素”的關(guān)注像素設(shè)定為始點(diǎn)像素。如圖10所示,陰影的像素為始點(diǎn)像素。
接著,從始點(diǎn)像素(x,y)的左下方(x-1,y-1)起逆時(shí)針?biāo)阉魈幹闷餍岛蜻x像素。在始點(diǎn)像素的周邊“未檢測(cè)到處置器械候選像素”的情況下,從下一個(gè)始點(diǎn)像素起搜索處置器械候選像素。在始點(diǎn)像素的周邊“檢測(cè)到處置器械候選像素”的情況下,從檢測(cè)到的處置器械候選像素的周邊起再次逆時(shí)針?biāo)阉魈幹闷餍岛蜻x像素。持續(xù)進(jìn)行搜索,直到檢測(cè)到的處置器械候選像素再次返回到始點(diǎn)像素為止。在搜索的中途,在處置器械候選像素的y坐標(biāo)小于始點(diǎn)像素的y坐標(biāo)的情況下,中止搜索,搜索下一個(gè)始點(diǎn)像素。如圖11所示,當(dāng)處置器械候選像素再次返回到始點(diǎn)像素時(shí),將檢測(cè)到的處置器械候選像素所包圍的區(qū)域作為處置器械候選區(qū)域。在圖11中,陰影的像素是通過(guò)搜索而檢測(cè)到的處置器械候選像素。
接著,分別對(duì)作為處置器械候選區(qū)域而提取出的各區(qū)域中包含的像素?cái)?shù)進(jìn)行計(jì)數(shù),提取像素?cái)?shù)最多的區(qū)域。在包含于像素?cái)?shù)最多的區(qū)域中的像素?cái)?shù)tmax大于預(yù)先設(shè)定的閾值tht(tmax>tht)的情況下,將該區(qū)域作為處置器械區(qū)域。另一方面,在包含于像素?cái)?shù)最多的區(qū)域中的像素?cái)?shù)tmax為預(yù)先設(shè)定的閾值tht以下(包含該值)的情況下,視為圖像信號(hào)中“不存在處置器械”,不在圖像信號(hào)中設(shè)定處置器械區(qū)域。例如,如圖11所示,在處置器械候選區(qū)域2中包含的像素?cái)?shù)最多的情況下,判定處置器械候選區(qū)域2中包含的處置器械候選像素的數(shù)量是否大于預(yù)先設(shè)定的閾值。在大于閾值的情況下,將處置器械候選區(qū)域2設(shè)定為處置器械區(qū)域。
接著,從處置器械區(qū)域中提取處置器械的前端所處的區(qū)域,將該區(qū)域設(shè)定為處置器械前端像素。例如如圖12所示,從處置器械區(qū)域所包含的像素中提取與圖像中心最近的像素作為處置器械前端像素。在圖12中,設(shè)圖像中心的坐標(biāo)為(n/2,m/2),設(shè)處置器械前端像素的坐標(biāo)為(x0,y0)。另外,作為提取處置器械前端像素的其他方法,也可以從處置器械區(qū)域所包含的像素中選擇接近圖像中心的坐標(biāo)(n/2,m/2)的多個(gè)像素,將選擇出的多個(gè)像素的重心作為處置器械前端像素。
接著,如圖13所示,將以處置器械前端像素(x0,y0)為中心的半徑r的圓的內(nèi)側(cè)的像素設(shè)定為關(guān)注區(qū)域。這里,半徑r為常數(shù),根據(jù)圖像信號(hào)的橫向?qū)挾萵來(lái)設(shè)定。例如,半徑r被設(shè)定為圖像信號(hào)的橫向?qū)挾萵的10%。通過(guò)下式(4)判定坐標(biāo)(x,y)的像素是否包含在半徑r的圓的內(nèi)側(cè)。
【數(shù)學(xué)式4】
r2>(x-x0)2+(y-y0)2(4)
關(guān)注區(qū)域設(shè)定部413將所設(shè)定的關(guān)注區(qū)域和中心像素(x0,y0)轉(zhuǎn)送到測(cè)光部416。
另外,上述將半徑r設(shè)為常數(shù),但是,本實(shí)施方式不限于此,例如也可以將半徑r設(shè)為根據(jù)關(guān)注區(qū)域(x0,y0)與圖像中心(n/2,m/2)之間的距離l而變化的變量。通過(guò)下式(5)計(jì)算關(guān)注區(qū)域的中心(x0,y0)與圖像中心(n/2,m/2)之間的距離l。
【數(shù)學(xué)式5】
并且,上述將關(guān)注區(qū)域設(shè)為以坐標(biāo)(x0,y0)為中心的圓形,但是,本實(shí)施方式不限于此,例如也可以將關(guān)注區(qū)域設(shè)為以坐標(biāo)(x0,y0)為中心的矩形或橢圓形。
2.5.調(diào)光控制
接著,詳細(xì)說(shuō)明測(cè)光部416和控制部420進(jìn)行的調(diào)光控制。
測(cè)光部416基于控制部420的控制信號(hào),根據(jù)圖像信號(hào)計(jì)算被攝體的明亮度。具體而言,在通過(guò)關(guān)注區(qū)域設(shè)定部413設(shè)定了關(guān)注區(qū)域的情況下,測(cè)光部416根據(jù)從同時(shí)化部412輸入的圖像信號(hào)計(jì)算關(guān)注區(qū)域的亮度平均值。另一方面,在關(guān)注區(qū)域設(shè)定部413未設(shè)定關(guān)注區(qū)域的情況下,測(cè)光部416計(jì)算從同時(shí)化部412輸入的圖像信號(hào)的有效像素區(qū)域的亮度平均值。測(cè)光部416將計(jì)算出的亮度平均值作為測(cè)光值yd轉(zhuǎn)送到控制部420。
另外,被攝體的明亮度的計(jì)算方法不限于上述方法,例如,也可以對(duì)關(guān)注區(qū)域的亮度平均值和關(guān)注區(qū)域以外的區(qū)域的亮度平均值分別乘以不同的權(quán)重系數(shù),計(jì)算該加權(quán)相加平均值作為被攝體的明亮度。該情況下,作為關(guān)注區(qū)域的權(quán)重系數(shù),設(shè)定比關(guān)注區(qū)域以外的權(quán)重系數(shù)大的系數(shù)。
控制部420使用由測(cè)光部416計(jì)算出的測(cè)光值yd和預(yù)先設(shè)定的目標(biāo)明亮度ybase,通過(guò)下式(6)計(jì)算光源光圈調(diào)整系數(shù)lc。
【數(shù)學(xué)式6】
控制部420使用計(jì)算出的光源光圈調(diào)整系數(shù)lc來(lái)控制光源光圈驅(qū)動(dòng)部103,從而對(duì)光源光圈102的開(kāi)口進(jìn)行控制。
通過(guò)進(jìn)行以上處理,在插入處置器械的情況下,能夠使存在于處置器械周邊的病變部的明亮度維持最佳明亮度。由此,提高病變部的觀察性能,能夠得到適合于處置的圖像。
2.6.變形例
在本實(shí)施方式中,也可以進(jìn)行放大如上設(shè)定的關(guān)注區(qū)域的變倍處理。下面,對(duì)該變形例進(jìn)行詳細(xì)說(shuō)明。
圖14示出進(jìn)行變倍處理的情況下的圖像處理部410的變形結(jié)構(gòu)例。圖像處理部410包括預(yù)處理部411、同時(shí)化部412、關(guān)注區(qū)域設(shè)定部413、變倍處理部414、后處理部415、測(cè)光部416、灰度轉(zhuǎn)換部419。另外,對(duì)與圖6等中說(shuō)明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標(biāo)注相同標(biāo)號(hào)并適當(dāng)省略說(shuō)明。
變倍處理部414在維持(大致維持)視場(chǎng)角的同時(shí)進(jìn)行圖像的變倍處理,放大關(guān)注區(qū)域。具體而言,變倍處理部414進(jìn)行放大關(guān)注區(qū)域并縮小其他區(qū)域的處理?;蛘?,也可以僅進(jìn)行以規(guī)定倍率放大關(guān)注區(qū)域的處理。
具體而言,變倍處理部414根據(jù)所設(shè)定的關(guān)注區(qū)域和中心像素(x0,y0),對(duì)圖像信號(hào)進(jìn)行局部變倍處理。另外,在關(guān)注區(qū)域設(shè)定部413未設(shè)定關(guān)注區(qū)域的情況下,不進(jìn)行變倍處理,直接將所輸入的圖像信號(hào)輸出到后處理部415。
如圖15所示,變倍處理部414以放大率α(廣義地講為倍率)放大關(guān)注區(qū)域,將放大后的圖像重疊在原來(lái)的圖像上。具體而言,以圓的中心為基準(zhǔn)在半徑方向上以放大率α進(jìn)行放大,使放大后的圓區(qū)域的中心與原來(lái)的關(guān)注區(qū)域的中心像素(x0,y0)一致而進(jìn)行重疊。下面,將放大后的關(guān)注區(qū)域稱為放大區(qū)域。通過(guò)下式(7)計(jì)算對(duì)坐標(biāo)(x,y)的像素進(jìn)行坐標(biāo)轉(zhuǎn)換而變?yōu)棣帘逗蟮淖鴺?biāo)(x’,y’)。
【數(shù)學(xué)式7】
這里,α是預(yù)先設(shè)定的大于1的常數(shù),例如設(shè)定為α=1.5。并且,放大率α不限于固定的常數(shù),也可以由手術(shù)醫(yī)生從外部自由輸入。并且,如圖14所示,放大率α也可以是根據(jù)關(guān)注區(qū)域的中心(x0,y0)與圖像中心(n/2,m/2)之間的距離l而變化的變量。
在上述放大處理中,變倍處理部414生成包含在放大區(qū)域內(nèi)的像素位置的插值像素。具體而言,針對(duì)放大區(qū)域內(nèi)的像素位置,使用上式(7)的坐標(biāo)轉(zhuǎn)換后的附近4個(gè)像素進(jìn)行線性插值。另外,插值處理不限于線性插值,例如也可以使用最近法、三次卷積內(nèi)插法(雙三次)等插值方法。
并且,變倍處理部414進(jìn)行在上述放大區(qū)域的外側(cè)設(shè)置縮小區(qū)域并對(duì)該縮小區(qū)域進(jìn)行縮小轉(zhuǎn)換的處理。具體而言,縮小區(qū)域是以坐標(biāo)(x0,y0)為中心的半徑rs的內(nèi)側(cè)的區(qū)域,并且是放大區(qū)域的外側(cè)的區(qū)域。變倍處理部414以縮小率β(廣義地講為倍率)縮小由半徑r的圓和半徑rs的圓夾持的區(qū)域。縮小率β是根據(jù)處理對(duì)象像素(x,y)與中心坐標(biāo)(x0,y0)的距離rd而變化的變量。通過(guò)下式(8)計(jì)算距離rd??s小率β是距離rd越大則越小的系數(shù),在距離rd為r時(shí),β=α,在距離rd為rs時(shí),β=1。
【數(shù)學(xué)式8】
在縮小處理中,變倍處理部414生成包含在縮小區(qū)域內(nèi)的像素位置的插值像素。具體而言,針對(duì)縮小區(qū)域內(nèi)的像素位置,使用以縮小率β進(jìn)行縮小處理后的像素進(jìn)行線性插值。另外,插值處理不限于線性插值,例如也可以使用最近法、三次卷積內(nèi)插法(雙三次)等插值方法。
根據(jù)上述變形例,由于能夠在維持視場(chǎng)角的同時(shí)放大關(guān)注區(qū)域,所以,能夠一邊確保鏡體操作等所需要的寬視野一邊提高關(guān)注區(qū)域的視覺(jué)辨認(rèn)性。并且,通過(guò)在放大區(qū)域的外側(cè)設(shè)置縮小區(qū)域,在放大區(qū)域的邊界部分確保了圖像的連續(xù)性,所以,能夠得到?jīng)]有不舒適感的實(shí)施了變倍處理后的圖像信號(hào)。
另外,上述將縮小區(qū)域設(shè)為半徑rs內(nèi)側(cè)包含的像素,但是,本實(shí)施方式不限于此,例如也可以將放大區(qū)域的外側(cè)全部設(shè)為縮小區(qū)域。該情況下,越是朝向圖像端部,縮小率β越小,在圖像端部,放大率為1。
并且,上述設(shè)置了縮小區(qū)域,但是,本實(shí)施方式不限于此,例如,也可以僅設(shè)置放大區(qū)域并以倍率α進(jìn)行放大,將該放大區(qū)域重疊在原來(lái)的圖像上。
根據(jù)以上的實(shí)施方式,如圖6所示,內(nèi)窺鏡裝置包括圖像取得部(例如a/d轉(zhuǎn)換部305)、關(guān)注區(qū)域設(shè)定部413、調(diào)光控制部(廣義地講為光量控制部)。圖像取得部取得包括被攝體像的攝像圖像。關(guān)注區(qū)域設(shè)定部413根據(jù)來(lái)自內(nèi)窺鏡裝置的信息,對(duì)攝像圖像設(shè)定關(guān)注區(qū)域。調(diào)光控制部根據(jù)所設(shè)定的關(guān)注區(qū)域,對(duì)照明光的光量進(jìn)行調(diào)光控制。
這樣,根據(jù)來(lái)自內(nèi)窺鏡裝置的信息來(lái)設(shè)定關(guān)注區(qū)域,能夠通過(guò)調(diào)光來(lái)控制該關(guān)注區(qū)域的明亮度。由此,手術(shù)醫(yī)生能夠以適當(dāng)?shù)拿髁炼扔^察要關(guān)注的區(qū)域,能夠進(jìn)行適當(dāng)?shù)脑\斷和處置。
例如,在本實(shí)施方式中,測(cè)光部416和控制部420對(duì)應(yīng)于調(diào)光控制部。如上所述,測(cè)光部416進(jìn)行所設(shè)定的關(guān)注區(qū)域的測(cè)光處理,控制部420根據(jù)該測(cè)光處理的結(jié)果來(lái)控制光源部100的射出光量,從而進(jìn)行調(diào)光控制。
這里,來(lái)自內(nèi)窺鏡裝置的信息是指由內(nèi)窺鏡裝置的各部取得的信息,例如是攝像部的攝像圖像、對(duì)攝像圖像進(jìn)行處理而得到的信號(hào)、對(duì)各部進(jìn)行控制的控制信號(hào)、內(nèi)窺鏡裝置中設(shè)置的各種傳感器的讀出信號(hào)。
并且,關(guān)注區(qū)域是指對(duì)于使用者來(lái)說(shuō)觀察的優(yōu)先順位與其他區(qū)域相比相對(duì)較高的區(qū)域,例如,在使用者是醫(yī)生且希望進(jìn)行治療的情況下,是指拍攝出粘膜部或病變部的區(qū)域。并且,作為其他例子,如果醫(yī)生希望觀察的對(duì)象是泡或便,則關(guān)注區(qū)域是拍攝出該泡部分或便部分的區(qū)域。即,使用者應(yīng)該關(guān)注的對(duì)象根據(jù)其觀察目的而不同,但是,不管怎樣,在該觀察時(shí),對(duì)于使用者來(lái)說(shuō)觀察的優(yōu)先順位與其他區(qū)域相比相對(duì)較高的區(qū)域成為關(guān)注區(qū)域。
并且,在本實(shí)施方式中,如上式(6)等說(shuō)明的那樣,調(diào)光控制部計(jì)算表示關(guān)注區(qū)域的明亮度的明亮度信息(測(cè)光值yd。例如亮度平均值),根據(jù)計(jì)算出的明亮度信息進(jìn)行調(diào)光控制。
具體而言,調(diào)光控制部進(jìn)行調(diào)光控制,使得關(guān)注區(qū)域的明亮度成為規(guī)定明亮度(目標(biāo)明亮度信息ybase。例如目標(biāo)亮度值)。例如,調(diào)光控制部進(jìn)行調(diào)光控制,使得關(guān)注區(qū)域的明亮度與規(guī)定明亮度一致。
這樣,能夠通過(guò)調(diào)光控制使關(guān)注區(qū)域的明亮度接近目標(biāo)明亮度,能夠使關(guān)注區(qū)域維持適當(dāng)?shù)暮愣ǖ拿髁炼取?/p>
并且,在本實(shí)施方式中,關(guān)注區(qū)域設(shè)定部413將攝像圖像作為來(lái)自內(nèi)窺鏡裝置的信息來(lái)設(shè)定關(guān)注區(qū)域。
具體而言,關(guān)注區(qū)域設(shè)定部413具有未圖示的處置器械檢測(cè)部。如圖13等說(shuō)明的那樣,處置器械檢測(cè)部根據(jù)攝像圖像來(lái)檢測(cè)攝像出用于對(duì)被攝體實(shí)施處置的處置器械的處置器械區(qū)域。關(guān)注區(qū)域設(shè)定部413根據(jù)檢測(cè)到的處置器械區(qū)域來(lái)設(shè)定關(guān)注區(qū)域。
這樣,能夠使認(rèn)為是手術(shù)醫(yī)生要關(guān)注的區(qū)域的處置器械的周邊維持適當(dāng)?shù)拿髁炼取S纱?,在手術(shù)醫(yī)生進(jìn)行處置時(shí),病變部不會(huì)產(chǎn)生光暈,能夠?qū)Σ∽儾窟M(jìn)行處置,所以,能夠減輕手術(shù)醫(yī)生的負(fù)荷。并且,由于根據(jù)攝像圖像來(lái)檢測(cè)處置器械區(qū)域,所以,在內(nèi)窺鏡的插入部300中不需要設(shè)置新的處置器械檢測(cè)器。
并且,在本實(shí)施方式中,處置器械檢測(cè)部檢測(cè)處置器械區(qū)域的前端。關(guān)注區(qū)域設(shè)定部413將從檢測(cè)到的前端起的規(guī)定半徑的圓內(nèi)設(shè)定為關(guān)注區(qū)域。
具體而言,如圖12中說(shuō)明的那樣,處置器械檢測(cè)部將處置器械區(qū)域所包含的像素中的與攝像圖像的中心(n/2,m/2)最近的像素設(shè)定為前端(處置器械前端像素(x0,y0))。
這樣,將認(rèn)為存在于處置器械前端部的處置對(duì)象區(qū)域設(shè)定為關(guān)注區(qū)域,能夠?qū)υ撽P(guān)注區(qū)域的明亮度進(jìn)行調(diào)光控制。
另外,設(shè)定為關(guān)注區(qū)域的圓(圓形區(qū)域)不限于正圓,只要是圓狀的區(qū)域即可。例如,也可以是橢圓等。
并且,在本實(shí)施方式中,處置器械檢測(cè)部具有未圖示的亮度特征量計(jì)算部。亮度特征量計(jì)算部計(jì)算與攝像圖像的像素的亮度有關(guān)的亮度特征量(例如亮度信號(hào)值y(x,y))。處置器械檢測(cè)部根據(jù)計(jì)算出的亮度特征量來(lái)檢測(cè)處置器械區(qū)域。
具體而言,如圖9(b)等中說(shuō)明的那樣,處置器械檢測(cè)部根據(jù)亮度特征量檢測(cè)作為處置器械區(qū)域的候選的處置器械候選像素,根據(jù)檢測(cè)到的處置器械候選像素來(lái)決定處置器械區(qū)域。
更具體而言,處置器械檢測(cè)部具有未圖示的比較部。如圖8等中說(shuō)明的那樣,比較部對(duì)處理對(duì)象像素的亮度特征量(亮度信號(hào)值y(x,y))和處理對(duì)象像素的周邊像素的平均亮度特征量(平均值yave(x,y))進(jìn)行比較。處置器械檢測(cè)部將亮度特征量大于平均亮度特征量的像素設(shè)定為處置器械候選像素。
處置器械由金屬等形成,照明光的反射率高,所以,與其他被攝體相比,作為高亮度的像進(jìn)行攝像。因此,通過(guò)根據(jù)亮度特征量來(lái)設(shè)定處置器械候選像素,能夠從圖像中檢測(cè)處置器械。
并且,在本實(shí)施方式中,如圖11等中說(shuō)明的那樣,處置器械檢測(cè)部根據(jù)處置器械候選像素的位置信息,將處置器械候選像素分類為1個(gè)或多個(gè)處置器械候選區(qū)域(例如處置器械候選區(qū)域1、2)(例如由未圖示的分類部進(jìn)行分類)。處置器械檢測(cè)部從該1個(gè)或多個(gè)處置器械候選區(qū)域中選擇處置器械區(qū)域。
具體而言,處置器械檢測(cè)部從處置器械候選像素中提取作為處置器械候選區(qū)域與其他區(qū)域的邊界的像素,通過(guò)將由該邊界包圍的處置器械候選像素設(shè)定為處置器械候選區(qū)域,設(shè)定1個(gè)或多個(gè)處置器械候選區(qū)域。
并且,處置器械檢測(cè)部根據(jù)各處置器械候選區(qū)域中包含的處置器械候選像素的數(shù)量來(lái)決定處置器械區(qū)域。
具體而言,處置器械檢測(cè)部將1個(gè)或多個(gè)處置器械候選區(qū)域中的包含數(shù)量最多的處置器械候選像素的區(qū)域、即包含比規(guī)定閾值(tht)多的處置器械候選像素的區(qū)域(例如處置器械候選區(qū)域2)決定為處置器械區(qū)域。
這樣,根據(jù)由照明光在粘膜處反射而產(chǎn)生的亮點(diǎn)等高亮度區(qū)域,在產(chǎn)生多個(gè)處置器械候選區(qū)域的情況下,也能夠從中選擇攝像出處置器械的區(qū)域。
并且,在本實(shí)施方式中,如圖14所示,內(nèi)窺鏡裝置也可以包括變倍處理部414。變倍處理部414進(jìn)行與其他區(qū)域相比相對(duì)放大關(guān)注區(qū)域的局部變倍處理。
這樣,由于與其他區(qū)域相比能夠相對(duì)放大關(guān)注區(qū)域,所以,針對(duì)微小的病變部也能夠得到更加詳細(xì)的信息,能夠?qū)﹃P(guān)注區(qū)域進(jìn)行適當(dāng)?shù)脑\斷和處置。
并且,在本實(shí)施方式中,如圖15等中說(shuō)明的那樣,變倍處理部414在維持?jǐn)z像圖像的視場(chǎng)角的同時(shí)進(jìn)行局部的變倍處理。
這樣,手術(shù)醫(yī)生能夠一邊掌握被攝體的整體像一邊以適當(dāng)大小觀察希望關(guān)注的區(qū)域。并且,由于這些被攝體的整體像和希望關(guān)注的區(qū)域能夠顯示在同一圖像中,所以,與觀察多個(gè)圖像的情況相比,能夠減輕手術(shù)醫(yī)生的負(fù)擔(dān)。并且,由于不需要切換廣角圖像和放大圖像,所以,手術(shù)醫(yī)生不需要進(jìn)行煩雜的作業(yè)。
這里,維持視場(chǎng)角是指圖像中顯示的被攝體的范圍不會(huì)由于變倍處理而變化。視場(chǎng)角不需要嚴(yán)格地維持,實(shí)質(zhì)上維持即可。
并且,在本實(shí)施方式中,如圖3所示,包括1個(gè)光源部100、第1照射部(照明透鏡314)、第2照射部(照明透鏡315)。第1照射部在第1方向(例如沿著物鏡光學(xué)系統(tǒng)的光軸的方向)上照射來(lái)自1個(gè)光源部100的射出光。第2照射部在第2方向(例如相對(duì)于物鏡光學(xué)系統(tǒng)的光軸為規(guī)定角度的方向)上照射來(lái)自1個(gè)光源部100的射出光。調(diào)光控制部通過(guò)控制來(lái)自1個(gè)光源部100的射出光量,進(jìn)行調(diào)光控制。
具體而言,第1方向是鏡體(插入部300)的前方視野的方向,第2方向是鏡體的側(cè)方視野的方向。圖像取得部取得包括前方視野和側(cè)方視野的被攝體像的攝像圖像。
如圖2(a)~圖2(d)中說(shuō)明的那樣,在共用1個(gè)光源部100作為前方視野和側(cè)方視野的照明的情況下,由于在圖像內(nèi)產(chǎn)生明亮度的偏差,所以,有時(shí)未適當(dāng)對(duì)手術(shù)醫(yī)生的關(guān)注區(qū)域進(jìn)行調(diào)光。關(guān)于這點(diǎn),根據(jù)本實(shí)施方式,由于根據(jù)關(guān)注區(qū)域的明亮度進(jìn)行調(diào)光控制,所以,能夠?qū)㈥P(guān)注區(qū)域調(diào)整為適當(dāng)?shù)拿髁炼取?/p>
并且,在本實(shí)施方式中,如圖1、圖3等中說(shuō)明的那樣,圖像取得部取得對(duì)鏡體(插入部300)前端部的前方視野和側(cè)方視野進(jìn)行了攝像的攝像圖像。
具體而言,攝像圖像是通過(guò)對(duì)前方視野和側(cè)方視野進(jìn)行成像的物鏡光學(xué)系統(tǒng)而得到的圖像。
物鏡光學(xué)系統(tǒng)具有大于180°的視野角(例如視野角230°)。
這樣,如圖2(a)等中說(shuō)明的那樣,能夠在鏡體前方的被攝體的觀察的同時(shí)進(jìn)行鏡體側(cè)方的被攝體的觀察。由此,能夠防止管腔狀臟器中的壁面的病變部的漏看。
這里,物鏡光學(xué)系統(tǒng)不限于物鏡,可以是反射光學(xué)系統(tǒng),也可以是如圖1所示組合了透鏡和反射光學(xué)系統(tǒng)的光學(xué)系統(tǒng)。另外,不限于圖1的物鏡光學(xué)系統(tǒng),也可以使用視野角超過(guò)180°的魚眼透鏡。
并且,前方視野(前方的視野范圍)是指包含物鏡光學(xué)系統(tǒng)的光軸方向的視野范圍,例如是相對(duì)于光軸為0度~45度的范圍。側(cè)方視野(側(cè)方的視野范圍)是指包含與光軸正交的方向的視野范圍,例如是相對(duì)于光軸為45度~135度的范圍。本實(shí)施方式的物鏡光學(xué)系統(tǒng)303例如相對(duì)于光軸具有0度~115度的視野范圍。
3.第2實(shí)施方式
對(duì)讀出處置器械的插入并設(shè)定關(guān)注區(qū)域的第2實(shí)施方式進(jìn)行說(shuō)明。
圖16示出第2實(shí)施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、操作部200、插入部300、控制裝置400、顯示部500、外部i/f部550。另外,對(duì)與圖3等中說(shuō)明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標(biāo)注相同標(biāo)號(hào)并適當(dāng)省略說(shuō)明。
插入部300包括處置器械傳感器308。處置器械傳感器308設(shè)置在貫穿插入通道307中。處置器械傳感器308檢測(cè)貫穿插入到貫穿插入通道307中并向插入部300的前方突出的處置器械。處置器械傳感器308與后述狀態(tài)信息取得部430連接。
控制裝置400包括狀態(tài)信息取得部430。狀態(tài)信息取得部430與圖像處理部410連接。并且,控制部420與狀態(tài)信息取得部430雙向連接。
在由處置器械傳感器308檢測(cè)到處置器械從插入部300的前端突出的情況下,狀態(tài)信息取得部430將表示“處置器械存在于圖像信號(hào)中”的控制信號(hào)轉(zhuǎn)送到圖像處理部410。
圖17示出第2實(shí)施方式的圖像處理部410的詳細(xì)結(jié)構(gòu)例。狀態(tài)信息取得部430與關(guān)注區(qū)域設(shè)定部413連接。
在第2實(shí)施方式中,關(guān)注區(qū)域設(shè)定部413進(jìn)行的處理與第1實(shí)施方式不同。具體而言,關(guān)注區(qū)域設(shè)定部413在從狀態(tài)信息取得部430接收到表示“處置器械存在于圖像信號(hào)中”的控制信號(hào)的情況下,在圖像信號(hào)中設(shè)定關(guān)注區(qū)域。例如如圖18所示,將圖像中心(n/2,m/2)作為關(guān)注區(qū)域的中心,將從關(guān)注區(qū)域的中心起的半徑r以內(nèi)(包含該值)的區(qū)域設(shè)定為關(guān)注區(qū)域。關(guān)注區(qū)域設(shè)定部413將設(shè)定的關(guān)注區(qū)域轉(zhuǎn)送到測(cè)光部416。
另外,關(guān)注區(qū)域的中心不限于圖像中心(n/2,m/2),可以根據(jù)攝像元件和貫穿插入通道的相對(duì)位置關(guān)系而預(yù)先設(shè)定。例如,在從圖像中心觀察貫穿插入通道設(shè)置在y軸正方向上的情況下,可以將關(guān)注區(qū)域設(shè)定在比圖像中心靠y軸正方向側(cè)。
根據(jù)以上的實(shí)施方式,如圖16所示,內(nèi)窺鏡裝置包括取得內(nèi)窺鏡裝置的狀態(tài)信息的狀態(tài)信息取得部430。關(guān)注區(qū)域設(shè)定部413將狀態(tài)信息作為來(lái)自內(nèi)窺鏡裝置的信息來(lái)設(shè)定關(guān)注區(qū)域。
具體而言,狀態(tài)信息取得部430檢測(cè)(根據(jù)處置器械傳感器308的讀出信號(hào)檢測(cè))用于對(duì)被攝體實(shí)施處置的處置器械是否從鏡體前端部突出,取得檢測(cè)結(jié)果作為狀態(tài)信息。關(guān)注區(qū)域設(shè)定部413根據(jù)檢測(cè)結(jié)果來(lái)設(shè)定關(guān)注區(qū)域。
更具體而言,如圖18等中說(shuō)明的那樣,關(guān)注區(qū)域設(shè)定部413在檢測(cè)到處置器械的突出的情況下,將攝像圖像的中央?yún)^(qū)域或比攝像圖像的中心靠插入處置器械的一側(cè)的區(qū)域(例如比圖像中心靠y軸正方向側(cè)的區(qū)域)設(shè)定為關(guān)注區(qū)域。
這樣,在手術(shù)醫(yī)生對(duì)處置器械進(jìn)行操作的情況下設(shè)定關(guān)注區(qū)域,能夠?qū)υ撽P(guān)注區(qū)域的明亮度進(jìn)行調(diào)光控制。并且,能夠?qū)⑹中g(shù)醫(yī)生通常認(rèn)為是病變部所在的圖像中心或圖像下方設(shè)定為關(guān)注區(qū)域。由此,與圖像信號(hào)的畫質(zhì)無(wú)關(guān),能夠以適當(dāng)?shù)拿髁炼蕊@示作為處置對(duì)象的病變部,得到適合于手術(shù)醫(yī)生的處置的圖像。
這里,內(nèi)窺鏡裝置的狀態(tài)信息是表示內(nèi)窺鏡裝置的各部的狀態(tài)的信息,例如是對(duì)攝像圖像進(jìn)行處理而得到的鏡體的行進(jìn)方向等信息、對(duì)各部的狀態(tài)進(jìn)行控制的控制信號(hào)、讀出各部的狀態(tài)的各種傳感器的讀出信號(hào)。
4.第3實(shí)施方式
4.1.內(nèi)窺鏡裝置
對(duì)根據(jù)鏡體的彎曲角度或彎曲運(yùn)動(dòng)量來(lái)設(shè)定關(guān)注區(qū)域的第3實(shí)施方式進(jìn)行說(shuō)明。
圖19示出第3實(shí)施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、操作部200、插入部300、控制裝置400、顯示部500、外部i/f部550。另外,對(duì)與圖3等中說(shuō)明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標(biāo)注相同標(biāo)號(hào)并適當(dāng)省略說(shuō)明。
光源部100包括白色光源101、光源光圈102、光源光圈驅(qū)動(dòng)部103、會(huì)聚透鏡106。
操作部200設(shè)有進(jìn)行插入部300的彎曲操作的彎曲操作桿201、插入例如鉗子這樣的處置器械的插入口202、檢測(cè)前端部的彎曲角度或彎曲運(yùn)動(dòng)量等彎曲操作的操作信息的操作量檢測(cè)傳感器203。操作量檢測(cè)傳感器203與狀態(tài)信息取得部430連接,對(duì)狀態(tài)信息取得部430發(fā)送彎曲操作的操作信息。
插入部300的攝像元件304是拜爾(bayer)型排列的攝像元件,例如由ccd或cmos圖像傳感器等構(gòu)成。
控制裝置400包括圖像處理部410、控制部420、狀態(tài)信息取得部430。圖像處理部410的結(jié)構(gòu)要素與圖17中上述的結(jié)構(gòu)例相同。
狀態(tài)信息取得部430取得與操作部200中的內(nèi)窺鏡的操作有關(guān)的信息。具體而言,狀態(tài)信息取得部430取得鏡體前端部的彎曲角度和彎曲運(yùn)動(dòng)量中的至少一方作為狀態(tài)信息。
4.2.彎曲角度檢測(cè)部
圖20示出第3實(shí)施方式的狀態(tài)信息取得部430的詳細(xì)結(jié)構(gòu)例。狀態(tài)信息取得部430包括彎曲角度檢測(cè)部431和彎曲運(yùn)動(dòng)量檢測(cè)部432中的至少一方。
彎曲角度檢測(cè)部431檢測(cè)通過(guò)操作部200進(jìn)行了彎曲操作的插入部300的當(dāng)前的彎曲角度。彎曲運(yùn)動(dòng)量檢測(cè)部432檢測(cè)通過(guò)操作部200進(jìn)行了彎曲操作的插入部300的彎曲運(yùn)動(dòng)量。彎曲運(yùn)動(dòng)量是彎曲角度的每單位時(shí)間的變化量。
具體而言,彎曲操作桿201為轉(zhuǎn)盤式,通過(guò)由手術(shù)醫(yī)生對(duì)轉(zhuǎn)盤進(jìn)行旋轉(zhuǎn)操作,與轉(zhuǎn)盤連結(jié)的彎曲操作線306被拉拽或推送,與此相伴,插入部300的前端彎曲。操作量檢測(cè)傳感器203檢測(cè)彎曲操作線306被拉拽或推送的“長(zhǎng)度”作為操作量。狀態(tài)信息取得部430根據(jù)檢測(cè)到的操作量求出彎曲角度。例如,狀態(tài)信息取得部430使用一覽表或多項(xiàng)式等,根據(jù)操作量求出彎曲角度。
例如,如圖21(a)所示,在線306的操作量為零時(shí),彎曲角度θ=0度。如圖21(b)所示,在線306被拉拽lwcm時(shí),彎曲角度θ=45度。如圖21(c)所示,在線306被推送2lwcm時(shí),彎曲角度θ=-90度。
另外,彎曲角度作為表示彎曲角度的信息取得即可,也可以不是彎曲角度本身。例如,彎曲角度信息可以是線306被操作的長(zhǎng)度。即,彎曲操作桿201的旋轉(zhuǎn)方向的操作量與彎曲操作線306被拉拽或推送的長(zhǎng)度一一對(duì)應(yīng),如果確定了該長(zhǎng)度,則能夠求出彎曲角度。
并且,操作量檢測(cè)傳感器203檢測(cè)的操作量不限于長(zhǎng)度,例如也可以是彎曲操作桿201的旋轉(zhuǎn)方向的操作量。該情況下,彎曲角度信息可以是根據(jù)旋轉(zhuǎn)操作量求出的彎曲角度,也可以是旋轉(zhuǎn)操作量。
如前面圖2(a)等中所述的那樣,在使用寬視野內(nèi)窺鏡進(jìn)行篩查的情況下,能夠通過(guò)側(cè)方視野發(fā)現(xiàn)位于褶皺背面的病變部。手術(shù)醫(yī)生發(fā)現(xiàn)病變部后,由于前方視野容易進(jìn)行觀察,所以,為了使病變部進(jìn)入前方視野,對(duì)彎曲操作桿201進(jìn)行操作以使插入部300彎曲。
因此,在本實(shí)施方式中,關(guān)注區(qū)域設(shè)定部413根據(jù)由彎曲角度檢測(cè)部431取得的彎曲角度,將側(cè)方視野的區(qū)域設(shè)定為關(guān)注區(qū)域。例如,在彎曲角度為某個(gè)閾值以上的情況時(shí),將側(cè)方視野的區(qū)域設(shè)定為關(guān)注區(qū)域。
4.3.彎曲運(yùn)動(dòng)量檢測(cè)部
接著,詳細(xì)說(shuō)明彎曲運(yùn)動(dòng)量檢測(cè)部432進(jìn)行的處理。操作量檢測(cè)傳感器203檢測(cè)彎曲操作桿201的每單位時(shí)間的旋轉(zhuǎn)操作量。彎曲運(yùn)動(dòng)量檢測(cè)部432根據(jù)檢測(cè)到的旋轉(zhuǎn)操作量求出彎曲運(yùn)動(dòng)量。
另外,在本實(shí)施方式中,不限于此,也可以根據(jù)彎曲操作線306每單位時(shí)間被拉拽或推送的長(zhǎng)度求出彎曲運(yùn)動(dòng)量。并且,彎曲運(yùn)動(dòng)量不限于每單位時(shí)間的彎曲角度的變化量,作為表示彎曲運(yùn)動(dòng)量的信息取得即可。例如,彎曲運(yùn)動(dòng)量信息可以是彎曲操作桿201的每單位時(shí)間的旋轉(zhuǎn)操作量,也可以是彎曲操作線306每單位時(shí)間被拉拽或推送的長(zhǎng)度。
如前面圖2(a)等中所述的那樣,在使用寬視野內(nèi)窺鏡進(jìn)行篩查的情況下,能夠通過(guò)側(cè)方視野發(fā)現(xiàn)位于褶皺背面的病變部。手術(shù)醫(yī)生發(fā)現(xiàn)病變部后,由于前方視野容易進(jìn)行觀察,所以,為了使病變部進(jìn)入前方視野,對(duì)彎曲操作桿201進(jìn)行操作以使插入部300彎曲。即,在彎曲操作中認(rèn)為側(cè)方視野中存在病變部。在病變部到達(dá)前方視野中后停止彎曲操作。
因此,在本實(shí)施方式中,開(kāi)始彎曲時(shí)將側(cè)方視野設(shè)定為關(guān)注區(qū)域,彎曲停止后將前方視野設(shè)定為關(guān)注區(qū)域。另外,在彎曲角度彎曲到最大角度而停止彎曲的情況下,由于能夠推測(cè)到手術(shù)醫(yī)生關(guān)注的區(qū)域未進(jìn)入前方視野而位于側(cè)方視野,所以,將側(cè)方視野設(shè)定為關(guān)注區(qū)域。
具體而言,關(guān)注區(qū)域設(shè)定部413根據(jù)由彎曲運(yùn)動(dòng)量檢測(cè)部432取得的彎曲運(yùn)動(dòng)量來(lái)設(shè)定關(guān)注區(qū)域。在彎曲運(yùn)動(dòng)量較大的情況下(急劇彎曲時(shí)),關(guān)注區(qū)域設(shè)定部413將側(cè)方視野的區(qū)域設(shè)定為關(guān)注區(qū)域。例如,在彎曲運(yùn)動(dòng)量為某個(gè)閾值以上的情況時(shí)設(shè)定關(guān)注區(qū)域。
4.4.圖像處理部
接著,詳細(xì)說(shuō)明進(jìn)行關(guān)注區(qū)域設(shè)定處理和測(cè)光處理的圖像處理部410。圖22示出第3實(shí)施方式的圖像處理部410的詳細(xì)結(jié)構(gòu)例。圖像處理部410包括預(yù)處理部411、同時(shí)化部412、關(guān)注區(qū)域設(shè)定部413、后處理部415、測(cè)光部416、灰度轉(zhuǎn)換部419。另外,對(duì)與圖6等中說(shuō)明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標(biāo)注相同標(biāo)號(hào)并適當(dāng)省略說(shuō)明。
狀態(tài)信息取得部430與關(guān)注區(qū)域設(shè)定部413和測(cè)光部416連接。同時(shí)化部412與灰度轉(zhuǎn)換部419和測(cè)光部416連接。
同時(shí)化部412通過(guò)插值處理將拜爾型排列的單板圖像轉(zhuǎn)換為3板圖像(rgb圖像)。同時(shí)化部412將3板化的圖像信號(hào)轉(zhuǎn)送到灰度轉(zhuǎn)換部419和測(cè)光部416。
關(guān)注區(qū)域設(shè)定部413根據(jù)由彎曲角度檢測(cè)部431取得的彎曲角度和由彎曲運(yùn)動(dòng)量檢測(cè)部432取得的彎曲運(yùn)動(dòng)量,設(shè)定關(guān)注區(qū)域。具體而言,在彎曲角度為規(guī)定閾值以上的情況下、或彎曲運(yùn)動(dòng)量(彎曲速度)為規(guī)定閾值以上的情況下,關(guān)注區(qū)域設(shè)定部413將側(cè)方視野的區(qū)域設(shè)定為關(guān)注區(qū)域。關(guān)注區(qū)域設(shè)定部413將所設(shè)定的關(guān)注區(qū)域轉(zhuǎn)送到測(cè)光部416。
測(cè)光部416根據(jù)圖像信號(hào)計(jì)算被攝體的明亮度。具體而言,在通過(guò)關(guān)注區(qū)域設(shè)定部413設(shè)定了關(guān)注區(qū)域的情況下,測(cè)光部416對(duì)關(guān)注區(qū)域和關(guān)注區(qū)域以外的區(qū)域分別乘以不同的權(quán)重系數(shù),計(jì)算下式(9)所示的加權(quán)相加平均值ywa。
【數(shù)學(xué)式9】
這里,yc(x,y)是前方視野中包含的像素的亮度信號(hào)值,ya(x,y)是側(cè)方視野中包含的像素的亮度信號(hào)值。nc是前方視野中包含的像素的像素?cái)?shù),na是側(cè)方視野中包含的像素的像素?cái)?shù)。a是前方視野的權(quán)重系數(shù),b是側(cè)方視野的權(quán)重系數(shù)。rc是與前方視野對(duì)應(yīng)的區(qū)域,ra是與側(cè)方視野對(duì)應(yīng)的區(qū)域。和(σ)是與屬于各區(qū)域的像素有關(guān)的和。
測(cè)光部416將關(guān)注區(qū)域的權(quán)重系數(shù)設(shè)定為與關(guān)注區(qū)域以外的權(quán)重系數(shù)相比相對(duì)較大的系數(shù)。例如,在側(cè)方區(qū)域?yàn)殛P(guān)注區(qū)域的情況下,a<b。并且,測(cè)光部416根據(jù)彎曲角度(或彎曲運(yùn)動(dòng)量)來(lái)設(shè)定權(quán)重系數(shù)。具體而言,彎曲角度(或彎曲運(yùn)動(dòng)量)越大,側(cè)方視野的權(quán)重系數(shù)b越大于前方視野的權(quán)重系數(shù)a。
在關(guān)注區(qū)域設(shè)定部413未設(shè)定關(guān)注區(qū)域的情況下,測(cè)光部416計(jì)算從同時(shí)化部412輸入的圖像信號(hào)的有效像素區(qū)域的亮度平均值。測(cè)光部416將計(jì)算出的關(guān)注區(qū)域的亮度加算平均值ywa轉(zhuǎn)送到控制部420。
如上式(9)中說(shuō)明的那樣,調(diào)光控制部計(jì)算表示關(guān)注區(qū)域的明亮度的第1明亮度信息(亮度信號(hào)值ya(x,y))和表示關(guān)注區(qū)域以外的區(qū)域的明亮度的第2明亮度信息(亮度信號(hào)值yc(x,y))。調(diào)光控制部分別利用第1權(quán)重系數(shù)b和第2權(quán)重系數(shù)a對(duì)第1明亮度信息和第2明亮度信息進(jìn)行加權(quán)相加,根據(jù)所得到的加權(quán)相加值進(jìn)行調(diào)光控制。調(diào)光控制部使用比第2權(quán)重系數(shù)a大的系數(shù)作為第1權(quán)重系數(shù)b。
這樣,主要通過(guò)調(diào)光來(lái)控制關(guān)注區(qū)域的明亮度,并且,還能夠通過(guò)調(diào)光來(lái)控制整個(gè)圖像的明亮度。由此,能夠提高關(guān)注區(qū)域的視覺(jué)辨認(rèn)性,并且還能夠提高整個(gè)圖像的視覺(jué)辨認(rèn)性。
根據(jù)以上的實(shí)施方式,如圖20所示,狀態(tài)信息取得部430具有彎曲角度檢測(cè)部431。彎曲角度檢測(cè)部431取得表示鏡體前端部的彎曲角度(圖21(a)~圖21(c)的角度θ)的彎曲角度信息作為狀態(tài)信息。關(guān)注區(qū)域設(shè)定部413根據(jù)所取得的彎曲角度信息設(shè)定關(guān)注區(qū)域。
這樣,能夠根據(jù)彎曲角度來(lái)推測(cè)手術(shù)醫(yī)生感興趣的觀察區(qū)域,通過(guò)對(duì)該區(qū)域的明亮度進(jìn)行調(diào)光控制,能夠提供手術(shù)醫(yī)生容易觀察的圖像。
并且,在本實(shí)施方式中,關(guān)注區(qū)域設(shè)定部413在判斷為彎曲角度大于閾值的情況下,將攝像圖像中的與側(cè)方視野對(duì)應(yīng)的區(qū)域設(shè)定為關(guān)注區(qū)域。
這樣,在側(cè)方視野存在病變的情況下,手術(shù)醫(yī)生認(rèn)為要對(duì)鏡體前端進(jìn)行彎曲操作,所以,能夠?qū)⒃搨?cè)方視野設(shè)定為關(guān)注區(qū)域。并且,能夠?qū)澢嵌容^小的(閾值以下的)微小的彎曲操作推測(cè)為誤差或前方視野的微調(diào)整。因此,通過(guò)進(jìn)行閾值判定,能夠防止不必要的測(cè)光對(duì)象區(qū)域的切換。
這里,與前方視野對(duì)應(yīng)的區(qū)域是對(duì)前方視野的被攝體進(jìn)行了攝像的區(qū)域,例如是對(duì)物鏡光學(xué)系統(tǒng)的光軸方向的被攝體進(jìn)行了攝像的區(qū)域。例如,在光軸與圖像中心一致的情況下,與前方視野對(duì)應(yīng)的區(qū)域是包含圖像中心的中央?yún)^(qū)域。
并且,與側(cè)方視野對(duì)應(yīng)的區(qū)域是對(duì)側(cè)方視野的被攝體進(jìn)行了攝像的區(qū)域,例如是對(duì)與物鏡光學(xué)系統(tǒng)的光軸正交的方向的被攝體進(jìn)行了攝像的區(qū)域。例如,在光軸與圖像中心一致的情況下,與側(cè)方視野對(duì)應(yīng)的區(qū)域是上述中央?yún)^(qū)域的周邊區(qū)域。
并且,在本實(shí)施方式中,關(guān)注區(qū)域設(shè)定部413將攝像圖像中的與側(cè)方視野對(duì)應(yīng)的區(qū)域設(shè)定為關(guān)注區(qū)域。如上式(9)中說(shuō)明的那樣,彎曲角度越大,調(diào)光控制部越將第1權(quán)重系數(shù)b設(shè)為大于第2權(quán)重系數(shù)a。
這樣,彎曲角度越大,越能夠推測(cè)為手術(shù)醫(yī)生正在關(guān)注側(cè)方視野,所以,通過(guò)增大該區(qū)域的權(quán)重系數(shù)而進(jìn)行測(cè)光處理,能夠提供手術(shù)醫(yī)生容易觀察的圖像。
并且,在本實(shí)施方式中,如圖20所示,狀態(tài)信息取得部430具有彎曲運(yùn)動(dòng)量檢測(cè)部432。彎曲運(yùn)動(dòng)量檢測(cè)部432取得表示鏡體前端部的彎曲運(yùn)動(dòng)量(圖21(a)~圖21(c)的角度θ的每單位時(shí)間的變化)的彎曲運(yùn)動(dòng)量信息作為狀態(tài)信息。關(guān)注區(qū)域設(shè)定部413根據(jù)所取得的彎曲運(yùn)動(dòng)量信息設(shè)定關(guān)注區(qū)域。
這樣,能夠根據(jù)彎曲運(yùn)動(dòng)量來(lái)推測(cè)手術(shù)醫(yī)生感興趣的觀察區(qū)域,通過(guò)對(duì)該區(qū)域的明亮度進(jìn)行調(diào)光控制,能夠提供手術(shù)醫(yī)生容易觀察的圖像。
并且,在本實(shí)施方式中,關(guān)注區(qū)域設(shè)定部在判斷為彎曲運(yùn)動(dòng)量大于閾值的情況下,將攝像圖像中的與側(cè)方視野對(duì)應(yīng)的區(qū)域設(shè)定為關(guān)注區(qū)域。
這樣,在側(cè)方視野存在病變的情況下,手術(shù)醫(yī)生認(rèn)為要對(duì)鏡體前端進(jìn)行彎曲操作,所以,能夠?qū)⒃搨?cè)方視野設(shè)定為關(guān)注區(qū)域。并且,能夠?qū)澢\(yùn)動(dòng)量較小的(閾值以下的)微小的彎曲操作推測(cè)為誤差或前方視野的微調(diào)整。因此,通過(guò)進(jìn)行閾值判定,能夠防止不必要的測(cè)光對(duì)象區(qū)域的切換。
并且,在本實(shí)施方式中,關(guān)注區(qū)域設(shè)定部413將攝像圖像中的與側(cè)方視野對(duì)應(yīng)的區(qū)域設(shè)定為關(guān)注區(qū)域。如上式(9)中說(shuō)明的那樣,彎曲運(yùn)動(dòng)量越大,調(diào)光控制部越將第1權(quán)重系數(shù)b設(shè)為大于第2權(quán)重系數(shù)a。
這樣,彎曲運(yùn)動(dòng)量越大,越能夠推測(cè)為手術(shù)醫(yī)生正在關(guān)注側(cè)方視野,所以,通過(guò)增大該區(qū)域的權(quán)重系數(shù)而進(jìn)行測(cè)光處理,能夠提供手術(shù)醫(yī)生容易觀察的圖像。
5.第4實(shí)施方式
5.1.內(nèi)窺鏡裝置
對(duì)根據(jù)從光源的射出光量估計(jì)出的到被攝體的距離信息來(lái)設(shè)定關(guān)注區(qū)域的第4實(shí)施方式進(jìn)行說(shuō)明。
圖23示出第4實(shí)施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、操作部200、插入部300、控制裝置400、顯示部500、外部i/f部550。另外,對(duì)與圖3等中說(shuō)明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標(biāo)注相同標(biāo)號(hào)并適當(dāng)省略說(shuō)明。
控制裝置400包括圖像處理部410、控制部420、狀態(tài)信息取得部430。狀態(tài)信息取得部430與圖像處理部410連接??刂撇?20與光源光圈驅(qū)動(dòng)部103、旋轉(zhuǎn)驅(qū)動(dòng)部105、圖像處理部410、狀態(tài)信息取得部430、外部i/f部550連接,進(jìn)行它們的控制。
在本實(shí)施方式中,在調(diào)光處理工作的狀態(tài)下取得光源部100的射出光量的信息,根據(jù)該射出光量的信息來(lái)估計(jì)與被攝體之間的距離信息,根據(jù)該距離信息,自適應(yīng)地控制關(guān)注區(qū)域或關(guān)注區(qū)域以外的區(qū)域的測(cè)光處理。
5.2.狀態(tài)信息取得部
對(duì)估計(jì)與被攝體的距離并根據(jù)該距離設(shè)定關(guān)注區(qū)域的方法進(jìn)行詳細(xì)說(shuō)明。
手術(shù)醫(yī)生在使用內(nèi)窺鏡裝置的觀察中發(fā)現(xiàn)被推測(cè)為病變部的區(qū)域時(shí),使插入部300的前端接近該區(qū)域。該情況下,來(lái)自被攝體的反射光量變強(qiáng),攝像的圖像信號(hào)變亮。在本實(shí)施方式中,狀態(tài)信息取得部430進(jìn)行調(diào)光處理,經(jīng)由控制部420對(duì)光源光圈驅(qū)動(dòng)部103進(jìn)行控制,縮小光源光圈102的開(kāi)口面積,直到圖像成為目標(biāo)觀察明亮度為止。
另一方面,在插入部300的前端與觀察區(qū)域分開(kāi)的狀態(tài)下,來(lái)自被攝體的反射光量變?nèi)?,所攝像的圖像信號(hào)變暗。狀態(tài)信息取得部430經(jīng)由控制部420對(duì)光源光圈驅(qū)動(dòng)部103進(jìn)行控制,擴(kuò)大光源光圈102的開(kāi)口面積,直到圖像成為目標(biāo)觀察明亮度為止。即,在調(diào)光處理中,光源光圈102的開(kāi)口面積較小的情況是插入部300的前端和被攝體接近的狀態(tài),光源光圈102的開(kāi)口面積較大的情況是插入部300的前端和被攝體分開(kāi)的狀態(tài)。
在本實(shí)施方式中,為了對(duì)被攝體的更寬的范圍進(jìn)行觀察,如前面圖1中所述的那樣,使用能夠在前方物體的觀察的同時(shí)進(jìn)行側(cè)方(包含大致側(cè)方)物體的觀察的物鏡光學(xué)系統(tǒng)。因此,如前面圖2(b)中所述的那樣,顯示將圖像中心的坐標(biāo)(n/2,m/2)作為區(qū)域中心的前方視野(中央部)和側(cè)方視野(周邊部)。
如圖24(a)、圖24(b)所示,在手術(shù)醫(yī)生發(fā)現(xiàn)被推測(cè)為病變部的區(qū)域的情況下,通常,該病變部與圖像信號(hào)的中央部(前方視野)一致。但是,如圖24(c)、圖24(d)所示,在對(duì)腸等細(xì)長(zhǎng)的管腔狀部位進(jìn)行診察的情況下,由于空間區(qū)域的限制,很難使病變部與圖像信號(hào)的前方視野一致。即,由于空間狹窄,很難使插入部300的前端旋轉(zhuǎn)。因此,如圖24(d)所示,病變部?jī)H與圖像信號(hào)的側(cè)方視野一致。
因此,在本實(shí)施方式中,根據(jù)光源光圈102的開(kāi)口信息來(lái)判定鏡體前端是否接近被攝體。在判定為接近的情況下,根據(jù)測(cè)光模式將前方視野區(qū)域或側(cè)方視野區(qū)域設(shè)定為關(guān)注區(qū)域,進(jìn)行該關(guān)注區(qū)域的調(diào)光控制。
具體而言,狀態(tài)信息取得部430經(jīng)由控制部420取得光源光圈102的開(kāi)口面積(廣義地講為開(kāi)口信息),在開(kāi)口面積為規(guī)定閾值以下的情況下,判定為處于插入部300的前端“接近”關(guān)注區(qū)域的狀態(tài)。狀態(tài)信息取得部430將判定結(jié)果作為狀態(tài)信息轉(zhuǎn)送到關(guān)注區(qū)域設(shè)定部413。
在本實(shí)施方式中,按照前面圖24(a)等中所述的觀察狀況,準(zhǔn)備多個(gè)測(cè)光模式。測(cè)光模式由手術(shù)醫(yī)生經(jīng)由外部i/f部550設(shè)定。例如,在手術(shù)醫(yī)生希望關(guān)注圖像信號(hào)的前方視野的情況下,將測(cè)光模式設(shè)定為“前方模式”。
關(guān)注區(qū)域設(shè)定部413根據(jù)從狀態(tài)信息取得部430轉(zhuǎn)送的狀態(tài)信息、測(cè)光模式來(lái)設(shè)定關(guān)注區(qū)域。具體而言,在測(cè)光模式為“前方模式”、且判斷為鏡體前端“接近”被攝體的情況下,關(guān)注區(qū)域設(shè)定部413將以圖像中心的坐標(biāo)(n/2,m/2)為區(qū)域中心的前方視野設(shè)定為關(guān)注區(qū)域。并且,在測(cè)光模式為“側(cè)方模式”、且判斷為鏡體前端“接近”被攝體的情況下,關(guān)注區(qū)域設(shè)定部413將側(cè)方視野設(shè)定為關(guān)注區(qū)域。并且,在未判斷為鏡體前端“接近”被攝體的情況下,不設(shè)定關(guān)注區(qū)域。關(guān)注區(qū)域設(shè)定部413將所設(shè)定的關(guān)注區(qū)域轉(zhuǎn)送到測(cè)光部416。
這樣,根據(jù)光源的光圈狀況,自適應(yīng)地設(shè)定關(guān)注區(qū)域(前方視野或側(cè)方視野),通過(guò)進(jìn)行該關(guān)注區(qū)域的調(diào)光控制,提高手術(shù)醫(yī)生對(duì)病變部的視覺(jué)辨認(rèn)性。
5.3.變形例
在上述實(shí)施方式中,根據(jù)光源光圈102的開(kāi)口狀況而自適應(yīng)地進(jìn)行測(cè)光處理,但是,本實(shí)施方式不限于此。例如,也可以使用led光源,根據(jù)該led光源的光量控制信息(例如驅(qū)動(dòng)電流)進(jìn)行測(cè)光處理。
圖25示出進(jìn)行這種處理的情況下的內(nèi)窺鏡裝置的變形結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、操作部200、插入部300、控制裝置400、顯示部500、外部i/f部550。另外,對(duì)與圖3等中說(shuō)明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標(biāo)注相同標(biāo)號(hào)并適當(dāng)省略說(shuō)明。
光源部100包括白色光源101、旋轉(zhuǎn)濾色鏡104、旋轉(zhuǎn)驅(qū)動(dòng)部105、會(huì)聚透鏡106、對(duì)光源的射出光量進(jìn)行控制的光源控制部107。白色光源101由led光源構(gòu)成。光源控制部107根據(jù)來(lái)自控制部420的控制信號(hào)對(duì)led光源的射出光量的強(qiáng)度進(jìn)行控制。控制部420根據(jù)上式(6)中說(shuō)明的調(diào)整系數(shù)lc對(duì)射出光量進(jìn)行調(diào)整。
關(guān)注區(qū)域設(shè)定部413根據(jù)來(lái)自控制部420的射出光量的控制信號(hào)來(lái)設(shè)定關(guān)注區(qū)域。即,在射出光量小于閾值的情況下,判斷為鏡體前端接近被攝體,設(shè)定與測(cè)光模式對(duì)應(yīng)的關(guān)注區(qū)域。測(cè)光部416進(jìn)行所設(shè)定的關(guān)注區(qū)域的測(cè)光處理。
根據(jù)以上的實(shí)施方式,狀態(tài)信息取得部430根據(jù)對(duì)被攝體進(jìn)行照明的光源部100的射出光量取得表示被攝體與鏡體前端部之間的距離的距離信息。關(guān)注區(qū)域設(shè)定部413將距離信息作為狀態(tài)信息來(lái)設(shè)定關(guān)注區(qū)域。
具體而言,關(guān)注區(qū)域設(shè)定部413在判斷為距離比閾值近的情況下設(shè)定關(guān)注區(qū)域。
更具體而言,內(nèi)窺鏡裝置包括模式設(shè)定部(圖23的控制部420)和調(diào)光控制部(圖23的狀態(tài)信息取得部430和控制部420)。模式設(shè)定部設(shè)定第1測(cè)光模式(前方模式)或第2測(cè)光模式(側(cè)方模式)。調(diào)光控制部通過(guò)控制光源部100的光圈(圖23的光源光圈102)的開(kāi)口面積,對(duì)射出光量進(jìn)行控制。距離信息是由調(diào)光控制部控制的開(kāi)口面積。在第1測(cè)光模式中判斷為開(kāi)口面積小于閾值的情況下,關(guān)注區(qū)域設(shè)定部413將攝像圖像中的與前方視野對(duì)應(yīng)的區(qū)域設(shè)定為關(guān)注區(qū)域。在第2測(cè)光模式中判斷為開(kāi)口面積小于閾值的情況下,關(guān)注區(qū)域設(shè)定部413將攝像圖像中的與側(cè)方視野對(duì)應(yīng)的區(qū)域設(shè)定為關(guān)注區(qū)域。調(diào)光控制部根據(jù)所設(shè)定的關(guān)注區(qū)域的明亮度對(duì)開(kāi)口面積進(jìn)行控制。
這樣,由于認(rèn)為鏡體前端接近的區(qū)域是手術(shù)醫(yī)生希望觀察的區(qū)域,所以,通過(guò)根據(jù)距離來(lái)設(shè)定關(guān)注區(qū)域,能夠適當(dāng)?shù)貙?duì)手術(shù)醫(yī)生希望觀察的區(qū)域進(jìn)行調(diào)光控制。并且,由于通過(guò)調(diào)光控制使圖像的明亮度保持恒定,所以,不是根據(jù)圖像,而是根據(jù)調(diào)光控制來(lái)估計(jì)距離,由此,能夠判定鏡體前端是否接近被攝體。
6.第5實(shí)施方式
6.1.內(nèi)窺鏡裝置
對(duì)根據(jù)從圖像的明亮度估計(jì)出的到被攝體的距離信息來(lái)設(shè)定關(guān)注區(qū)域的第5實(shí)施方式進(jìn)行說(shuō)明。
第5實(shí)施方式的內(nèi)窺鏡裝置包括光源部100、操作部200、插入部300、控制裝置400、顯示部500、外部i/f部550。另外,結(jié)構(gòu)與圖3中說(shuō)明的第1實(shí)施方式相同。下面,適當(dāng)省略動(dòng)作或處理與第1實(shí)施方式相同的結(jié)構(gòu)要素的說(shuō)明。
圖像處理部410包括預(yù)處理部411、同時(shí)化部412、關(guān)注區(qū)域設(shè)定部413、后處理部415、測(cè)光部416、灰度轉(zhuǎn)換部419。另外,結(jié)構(gòu)與圖6中說(shuō)明的第1實(shí)施方式相同。
認(rèn)為圖像信號(hào)中相對(duì)明亮的區(qū)域是插入部300的前端與被攝體的距離較近的區(qū)域。因此,在本實(shí)施方式中,按照?qǐng)D像信號(hào)中的每個(gè)局部區(qū)域計(jì)算明亮度,將該多個(gè)局部區(qū)域中的相對(duì)明亮的局部區(qū)域設(shè)定為關(guān)注區(qū)域。
6.2.關(guān)注區(qū)域設(shè)定部
圖26示出第5實(shí)施方式的關(guān)注區(qū)域設(shè)定部413的詳細(xì)結(jié)構(gòu)例。關(guān)注區(qū)域設(shè)定部413包括亮度換算部441、加法部442、確定部443。同時(shí)化部412與亮度換算部441連接。亮度換算部441與加法部442連接。加法部442與確定部443連接。確定部443與測(cè)光部416連接。控制部420與亮度換算部441、加法部442、確定部443雙向連接。
如圖27所示,亮度換算部441通過(guò)上式(1)計(jì)算同時(shí)化后的圖像信號(hào)的取樣像素的亮度信號(hào)值yi(x,y),將該取樣像素的亮度信號(hào)值yi(x,y)轉(zhuǎn)送到加法部442。
加法部442分別在前方視野和側(cè)方視野中通過(guò)下式(10)對(duì)取樣像素的亮度信號(hào)yi(x,y)進(jìn)行相加平均,計(jì)算前方視野的明亮度測(cè)定值ydf和側(cè)方視野的明亮度測(cè)定值yds。這里,設(shè)圖像信號(hào)的中心坐標(biāo)(n/2,m/2)為原點(diǎn),將規(guī)定半徑內(nèi)的像素設(shè)定為前方視野,將除此以外的像素設(shè)定為側(cè)方視野。
【數(shù)學(xué)式10】
這里,m是前方視野的取樣像素?cái)?shù)(常數(shù)),n是側(cè)方視野的取樣像素?cái)?shù)(常數(shù))。它們根據(jù)圖像信號(hào)的視場(chǎng)角大小來(lái)設(shè)定。a(x,y)、b(x,y)是權(quán)重系數(shù)。
另外,在上述實(shí)施方式中,分割為前方視野和側(cè)方視野這2個(gè)區(qū)域來(lái)計(jì)算各個(gè)視野的明亮度測(cè)定值,但是,本實(shí)施方式不限于此。例如,在使插入部300的前端的側(cè)方接近被攝體進(jìn)行觀察的情況下,該側(cè)方視野全部變亮的可能性較低。如圖28所示,假定這種情況,例如也可以將側(cè)方視野進(jìn)一步分割為多個(gè)區(qū)域,對(duì)各區(qū)域中包含的取樣像素的亮度信號(hào)yi(x,y)進(jìn)行相加平均,計(jì)算各區(qū)域的明亮度測(cè)定值。該情況下,設(shè)計(jì)算出的多個(gè)側(cè)方區(qū)域的明亮度測(cè)定值中的最大值為側(cè)方區(qū)域的明亮度測(cè)定值yds。例如,在圖28中,側(cè)方視野3的明亮度測(cè)定值為最大值。該情況下,將側(cè)方視野3的明亮度測(cè)定值作為側(cè)方區(qū)域的明亮度測(cè)定值yds轉(zhuǎn)送到確定部443。
確定部443根據(jù)由加法部442計(jì)算出的明亮度測(cè)定值ydf、yds來(lái)設(shè)定關(guān)注區(qū)域。具體而言,在前方視野的明亮度測(cè)定值ydf大于規(guī)定閾值的情況下,確定部443將與前方視野對(duì)應(yīng)的區(qū)域設(shè)定為關(guān)注區(qū)域。并且,在側(cè)方視野的明亮度測(cè)定值yds大于規(guī)定閾值的情況下,確定部443將與側(cè)方視野對(duì)應(yīng)的區(qū)域設(shè)定為關(guān)注區(qū)域。在明亮度測(cè)定值ydf、yds均大于規(guī)定閾值的情況下,將更明亮的區(qū)域設(shè)定為關(guān)注區(qū)域。確定部443將所設(shè)定的關(guān)注區(qū)域信息轉(zhuǎn)送到測(cè)光部416。
另外,在如圖28中說(shuō)明的那樣分割側(cè)方視野的情況下,將分割后的區(qū)域設(shè)定為關(guān)注區(qū)域。具體而言,在分割后的側(cè)方視野中的測(cè)定值yds最大的區(qū)域的測(cè)定值yds大于規(guī)定閾值的情況下,確定部443將該區(qū)域設(shè)定為關(guān)注區(qū)域。
根據(jù)上述實(shí)施方式,根據(jù)圖像信號(hào)的明亮度估計(jì)插入部300的前端與被攝體的距離,通過(guò)根據(jù)該距離自適應(yīng)地對(duì)前方視野和側(cè)方視野進(jìn)行調(diào)光處理,能夠提高手術(shù)醫(yī)生對(duì)病變部的視覺(jué)辨認(rèn)性。
根據(jù)以上的實(shí)施方式,關(guān)注區(qū)域設(shè)定部413具有距離信息取得部(圖26的亮度換算部441、加法部442)。距離信息取得部根據(jù)攝像圖像的明亮度(例如亮度信號(hào)yi(x,y))取得表示被攝體與鏡體前端部之間的距離的距離信息。關(guān)注區(qū)域設(shè)定部413根據(jù)所取得的距離信息來(lái)設(shè)定關(guān)注區(qū)域。
具體而言,距離信息取得部計(jì)算與攝像圖像的像素的亮度有關(guān)的亮度特征量(例如由亮度換算部441(廣義地講為亮度特征量計(jì)算部)進(jìn)行計(jì)算),根據(jù)計(jì)算出的亮度特征量取得距離信息。
更具體而言,距離信息取得部將攝像圖像分割為多個(gè)區(qū)域(例如與前方視野對(duì)應(yīng)的區(qū)域和與側(cè)方視野對(duì)應(yīng)的區(qū)域),取得分割后的各區(qū)域的明亮度(明亮度測(cè)定值ydf、yds)作為距離信息。關(guān)注區(qū)域設(shè)定部413將該多個(gè)區(qū)域中的最亮的區(qū)域作為與鏡體前端部最近的區(qū)域而設(shè)定為關(guān)注區(qū)域。
這樣,根據(jù)圖像的明亮度設(shè)定關(guān)注區(qū)域,能夠?qū)υ撽P(guān)注區(qū)域的明亮度進(jìn)行調(diào)光控制。即,當(dāng)鏡體前端接近手術(shù)醫(yī)生希望觀察的區(qū)域時(shí),該區(qū)域通過(guò)照明而變亮,所以,能夠根據(jù)圖像的明亮度來(lái)設(shè)定關(guān)注區(qū)域。
7.第6實(shí)施方式
7.1.內(nèi)窺鏡裝置
對(duì)通過(guò)特殊光來(lái)檢測(cè)病變區(qū)域并將檢測(cè)到的病變區(qū)域設(shè)定為關(guān)注區(qū)域的第6實(shí)施方式進(jìn)行說(shuō)明。
圖29示出第6實(shí)施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、插入部300、控制裝置400、顯示部500、外部i/f部550。另外,對(duì)與圖3等中說(shuō)明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標(biāo)注相同標(biāo)號(hào)并適當(dāng)省略說(shuō)明。
光源部100包括白色光源101、光源光圈102、光源光圈驅(qū)動(dòng)部103、會(huì)聚透鏡106。與第1實(shí)施方式相比,刪除旋轉(zhuǎn)濾色鏡104、旋轉(zhuǎn)驅(qū)動(dòng)部105。
插入部300包括光導(dǎo)纖維301、照明透鏡314、315、物鏡光學(xué)系統(tǒng)303。并且,插入部300包括將由物鏡光學(xué)系統(tǒng)303會(huì)聚的反射光分離為2個(gè)光的半透半反鏡309、檢測(cè)分離后的反射光的第1攝像元件304和第2攝像元件310、第1a/d轉(zhuǎn)換部305、第2a/d轉(zhuǎn)換部311。
a/d轉(zhuǎn)換部311將由第2攝像元件310檢測(cè)到的模擬圖像信號(hào)轉(zhuǎn)換為數(shù)字圖像信號(hào)。
第1攝像元件304是bayer型排列的攝像元件。如圖30所示,第2攝像元件310是將2種濾色鏡nb、ng配置在方格上的攝像元件。如圖31所示,各濾色鏡nb、ng具有透射窄帶光的特性。例如,濾色鏡nb具有透射390~445nm的光的特性,濾色鏡ng具有透射530~550nm的光的特性。例如,第1攝像元件304和第2攝像元件310的像素?cái)?shù)相同。
控制裝置400包括圖像處理部410和控制部420。a/d轉(zhuǎn)換部305、311將轉(zhuǎn)換為數(shù)字方式的圖像信號(hào)轉(zhuǎn)送到圖像處理部410。圖像處理部410將處理后的圖像信號(hào)轉(zhuǎn)送到顯示部500。控制部420與光源光圈驅(qū)動(dòng)部103、圖像處理部410、外部i/f部550連接,進(jìn)行它們的控制。
7.2.圖像處理部
圖32示出第6實(shí)施方式的圖像處理部410的詳細(xì)結(jié)構(gòu)例。圖像處理部410包括第1預(yù)處理部411、第2預(yù)處理部418、第1同時(shí)化部412、第2同時(shí)化部417、關(guān)注區(qū)域設(shè)定部413、后處理部415、測(cè)光部416、灰度轉(zhuǎn)換部419。另外,由于預(yù)處理部411、灰度轉(zhuǎn)換部419、后處理部415、測(cè)光部416的處理與第1實(shí)施方式相同,所以省略說(shuō)明。
同時(shí)化部412與灰度轉(zhuǎn)換部419和測(cè)光部416連接。預(yù)處理部418與同時(shí)化部417連接。同時(shí)化部417與關(guān)注區(qū)域設(shè)定部413連接。關(guān)注區(qū)域設(shè)定部413與測(cè)光部416連接。并且,控制部420與預(yù)處理部418、同時(shí)化部417雙向連接,進(jìn)行它們的控制。
同時(shí)化部412對(duì)由預(yù)處理部411進(jìn)行處理后的圖像信號(hào)實(shí)施同時(shí)化處理。如上所述,由第1攝像元件304取得的圖像信號(hào)是bayer型排列的單板圖像信號(hào)。同時(shí)化部412使用插值處理,根據(jù)單板圖像信號(hào)生成rgb的3板圖像信號(hào)。例如,作為插值處理,使用公知的雙三次插值處理即可。下面,將同時(shí)化部412所輸出的圖像信號(hào)稱為通常光圖像。
預(yù)處理部418針對(duì)從a/d轉(zhuǎn)換部311輸入的圖像信號(hào),使用控制部420中預(yù)先保存的ob鉗位值、增益校正值、wb系數(shù)值進(jìn)行ob鉗位處理、增益校正處理、wb校正處理。預(yù)處理部418將實(shí)施了預(yù)處理后的圖像信號(hào)轉(zhuǎn)送到同時(shí)化部417。
同時(shí)化部417對(duì)由預(yù)處理部418進(jìn)行處理后的圖像信號(hào)實(shí)施同時(shí)化處理。如前面圖30中所述的那樣,第2攝像元件310是將2種濾色鏡nb、ng配置在方格上的攝像元件。因此,由預(yù)處理部418進(jìn)行處理后的圖像信號(hào)是圖33所示的單板圖像信號(hào)。在圖33中,由濾色鏡nb取得的圖像信號(hào)表示為b2,由濾色鏡ng取得的圖像信號(hào)表示為g2。
同時(shí)化部417通過(guò)下式(11)、(12),根據(jù)該單板圖像信號(hào)生成b2圖像信號(hào)和g2圖像信號(hào)。b2圖像信號(hào)是全部像素中具有b2信號(hào)的圖像信號(hào),g2圖像信號(hào)是全部像素中具有g(shù)2信號(hào)的圖像信號(hào)。例如,圖33的g2(1,1)的位置處的nb濾鏡的圖像信號(hào)b2(1,1)使用下式(11)計(jì)算即可。并且,圖33的b2(1,2)的位置處的ng濾鏡的圖像信號(hào)g2(1,2)使用下式(12)計(jì)算即可。
【數(shù)學(xué)式11】
b2(1,1)={b2(0,1)+b2(1,0)+b2(1,2)+b2(2,1)}/4(11)
【數(shù)學(xué)式12】
g2(1,2)={g2(0,2)+g2(1,1)+g2(1,3)+g2(2,2)}/4(12)
同時(shí)化部417使用通過(guò)上式(11)、(12)生成的b2圖像信號(hào)和g2圖像信號(hào),生成rgb的3板圖像信號(hào)。具體而言,同時(shí)化部417使用g2圖像信號(hào)作為r圖像信號(hào)、使用b2圖像信號(hào)作為g、b圖像信號(hào),從而生成3板圖像信號(hào)。下面,將由同時(shí)化部417輸出的圖像信號(hào)稱為窄帶光圖像(廣義地講為特殊光圖像)。
關(guān)注區(qū)域設(shè)定部413通過(guò)后述方法,從窄帶光圖像中檢測(cè)病變區(qū)域,根據(jù)該病變區(qū)域來(lái)設(shè)定關(guān)注區(qū)域。在窄帶光圖像上,具有扁平上皮癌等病變部被描繪成褐色區(qū)域的特征。因此,通過(guò)從窄帶光圖像中檢測(cè)具有特定色相的區(qū)域(褐色區(qū)域),能夠檢測(cè)病變區(qū)域。
7.3.關(guān)注區(qū)域設(shè)定部
圖34示出第6實(shí)施方式的關(guān)注區(qū)域設(shè)定部413的詳細(xì)結(jié)構(gòu)例。關(guān)注區(qū)域設(shè)定部413包括局部區(qū)域設(shè)定部451、特征量計(jì)算部452、病變區(qū)域檢測(cè)部453、貼標(biāo)簽處理部454、區(qū)域選出部455、坐標(biāo)計(jì)算部456、對(duì)應(yīng)部457、測(cè)光處理?xiàng)l件設(shè)定部459。
同時(shí)化部417與局部區(qū)域設(shè)定部451連接。局部區(qū)域設(shè)定部451與特征量計(jì)算部452和對(duì)應(yīng)部457連接。特征量計(jì)算部452與病變區(qū)域檢測(cè)部453連接。病變區(qū)域檢測(cè)部453與貼標(biāo)簽處理部454連接。貼標(biāo)簽處理部454與區(qū)域選出部455連接。區(qū)域選出部455與坐標(biāo)計(jì)算部456連接。坐標(biāo)計(jì)算部456與對(duì)應(yīng)部457連接。對(duì)應(yīng)部457與測(cè)光處理?xiàng)l件設(shè)定部459連接。測(cè)光處理?xiàng)l件設(shè)定部459與測(cè)光部416連接。
局部區(qū)域設(shè)定部451針對(duì)從同時(shí)化部417輸出的窄帶光圖像設(shè)定多個(gè)局部區(qū)域。下面,以將窄帶光圖像分割為矩形區(qū)域并將分割后的各區(qū)域設(shè)定為局部區(qū)域的情況為例進(jìn)行說(shuō)明。
如圖35所示,例如將5×5像素設(shè)為1個(gè)局部區(qū)域。設(shè)窄帶圖像信號(hào)由m×n個(gè)局部區(qū)域構(gòu)成,用(m,n)表示各區(qū)域的坐標(biāo)。并且,用a(m,n)表示坐標(biāo)(m,n)的局部區(qū)域。并且,設(shè)位于圖像的左上方的局部區(qū)域的坐標(biāo)為(0,0),將右方向定義為m的正方向,將下方向定義為n的正方向。另外,為了削減計(jì)算量,將由多個(gè)相鄰的像素群構(gòu)成的區(qū)域作為一個(gè)局部區(qū)域,但是,也可以將1個(gè)像素作為1個(gè)局部區(qū)域。該情況下,后面的處理相同。
局部區(qū)域設(shè)定部451將局部區(qū)域的大小和全部局部區(qū)域的坐標(biāo)輸出到特征量計(jì)算部452。局部區(qū)域設(shè)定部451將全部局部區(qū)域的坐標(biāo)和與該坐標(biāo)對(duì)應(yīng)的窄帶光圖像上的坐標(biāo)輸出到對(duì)應(yīng)部457。這里,窄帶光圖像上的坐標(biāo)是指存在于局部區(qū)域的中心的像素的坐標(biāo)。
特征量計(jì)算部452根據(jù)由局部區(qū)域設(shè)定部451設(shè)定的全部局部區(qū)域計(jì)算特征量。下面,以使用色相作為特征量的情況為例進(jìn)行說(shuō)明。
將局部區(qū)域a(m,n)的色相表記為h(m,n)。為了計(jì)算h(m,n),特征量計(jì)算部452首先計(jì)算各局部區(qū)域中的r、g、b信號(hào)的平均值r_ave、g_ave、b_ave。這里,r_ave是各局部區(qū)域所包含的全部像素的r信號(hào)的平均值。g_ave、b_ave也同樣。例如,各信號(hào)值為8比特(0~255)。
特征量計(jì)算部452例如使用下式(13)~(18),根據(jù)r_ave、g_ave、b_ave計(jì)算各局部區(qū)域的色相h(m,n)。首先,通過(guò)下式(13)求出max。
【數(shù)學(xué)式13】
max=max(r_ave,g_ave,b_ave)(13)
這里,max()函數(shù)是輸出括弧內(nèi)的多個(gè)自變量中的最大值的函數(shù)。
在max為0的情況下,通過(guò)下式(14)計(jì)算色相h。
【數(shù)學(xué)式14】
h=0(14)
在max為0以外的情況下,通過(guò)下式(15)計(jì)算d。
【數(shù)學(xué)式15】
d=max(r_ave,g_ave,b_ave)-min(r_ave,g_ave,b_ave)(15)
這里,min()函數(shù)是輸出括弧內(nèi)的多個(gè)自變量中的最小值的函數(shù)。
在r_ave、g_ave、b_ave中的r_ave最大的情況下,通過(guò)下式(16)計(jì)算色相h。
【數(shù)學(xué)式16】
h=60×(g_ave-b_ave)÷d(16)
在r_ave、g_ave、b_ave中的g_ave最大的情況下,通過(guò)下式(17)計(jì)算色相h。
【數(shù)學(xué)式17】
h=60×{2+(b_ave-r_ave)}÷d(17)
在r_ave、g_ave、b_ave中的b_ave最大的情況下,通過(guò)下式(18)計(jì)算色相h。
【數(shù)學(xué)式18】
h=60×{2+(r_ave-g_ave)}÷d(18)
另外,在h<0的情況下,將h加上360。并且,在h=360的情況下,設(shè)h=0。
病變區(qū)域檢測(cè)部453將具有特定色相h的局部區(qū)域檢測(cè)為病變區(qū)域,將檢測(cè)為病變區(qū)域的全部局部區(qū)域的坐標(biāo)輸出到貼標(biāo)簽處理部454。例如,病變區(qū)域檢測(cè)部453將色相h具有5~35的值的區(qū)域(相當(dāng)于褐色區(qū)域)檢測(cè)為病變區(qū)域。
貼標(biāo)簽處理部454對(duì)由病變區(qū)域檢測(cè)部453輸出的病變區(qū)域中的相互相鄰的病變區(qū)域賦予相同的標(biāo)簽。下面,將賦予相同標(biāo)簽的病變區(qū)域的集合稱為病變區(qū)域群。貼標(biāo)簽處理部454計(jì)算賦予相同標(biāo)簽的病變區(qū)域群的大小。這里,病變區(qū)域群的大小只要設(shè)為賦予相同標(biāo)簽的病變區(qū)域的數(shù)量即可。另外,不限于此,病變區(qū)域群的大小也可以表示病變區(qū)域群的面積的信息。
使用圖36詳細(xì)說(shuō)明貼標(biāo)簽處理部454進(jìn)行的處理。例如在檢測(cè)到圖36所示的病變區(qū)域的情況下,對(duì)屬于a1所示的區(qū)域的病變區(qū)域賦予標(biāo)簽1。同樣,對(duì)屬于a2所示的區(qū)域的病變區(qū)域賦予標(biāo)簽2,對(duì)屬于a3所示的區(qū)域的病變區(qū)域賦予標(biāo)簽3。貼標(biāo)簽處理部454計(jì)算賦予相同標(biāo)簽的病變區(qū)域群的大小。賦予標(biāo)簽1的病變區(qū)域群1(a1)的大小為7。同樣,病變區(qū)域群2(a2)的大小為3,病變區(qū)域群3(a3)的大小為2。
區(qū)域選出部455選出由貼標(biāo)簽處理部454賦予了標(biāo)簽的多個(gè)病變區(qū)域群中的具有最大尺寸的病變區(qū)域群作為關(guān)注區(qū)域。然后,將該關(guān)注區(qū)域中包含的全部局部區(qū)域的坐標(biāo)輸出到坐標(biāo)計(jì)算部456。在圖36的情況下,選出a1所示的病變區(qū)域群1作為關(guān)注區(qū)域。
坐標(biāo)計(jì)算部456根據(jù)由區(qū)域選出部455輸出的全部局部區(qū)域坐標(biāo)計(jì)算局部區(qū)域坐標(biāo)的最大值(mmax,nmax)和最小值(mmin,nmin),將計(jì)算出的值輸出到對(duì)應(yīng)部457。
具體而言,設(shè)由區(qū)域選出部455輸出的全部局部區(qū)域的數(shù)量為k,為了簡(jiǎn)便,將該全部局部區(qū)域表示為a(m1,n1)~a(mk,nk)。該情況下,坐標(biāo)計(jì)算部456通過(guò)下式(19)計(jì)算局部區(qū)域坐標(biāo)的最大值(mmax,nmax)和最小值(mmin,nmin)。
【數(shù)學(xué)式19】
對(duì)應(yīng)部457計(jì)算與該最大值(mmax,nmax)、最小值(mmin,nmin)對(duì)應(yīng)的窄帶光圖像的坐標(biāo)。具體而言,根據(jù)由局部區(qū)域設(shè)定部451輸出的局部區(qū)域和窄帶光圖像的坐標(biāo)的對(duì)應(yīng)關(guān)系來(lái)計(jì)算該坐標(biāo)。下面,將與(mmax,nmax)、(mmin,nmin)對(duì)應(yīng)的窄帶光圖像的坐標(biāo)表示為(xmax,ymax)、(xmin,ymin)。對(duì)應(yīng)部457將坐標(biāo)(xmax,ymax)、(xmin,ymin)輸出到測(cè)光處理?xiàng)l件設(shè)定部459。
測(cè)光處理?xiàng)l件設(shè)定部459決定作為測(cè)光處理對(duì)象的關(guān)注區(qū)域的條件即測(cè)光處理?xiàng)l件,將該測(cè)光處理?xiàng)l件輸出到測(cè)光部416。具體而言,測(cè)光處理?xiàng)l件設(shè)定部459通過(guò)下式(20)計(jì)算關(guān)注區(qū)域的中心坐標(biāo)(x0,y0),通過(guò)下式(21)計(jì)算關(guān)注區(qū)域的半徑r,將計(jì)算出的中心坐標(biāo)(x0,y0)和半徑r作為測(cè)光處理?xiàng)l件。在圖36說(shuō)明的例子中,如圖所示,將半徑r的圓內(nèi)設(shè)定為測(cè)光對(duì)象的關(guān)注區(qū)域。
【數(shù)學(xué)式20】
【數(shù)學(xué)式21】
這里,int()是返回括弧內(nèi)的實(shí)數(shù)的整數(shù)值的函數(shù)。
根據(jù)以上的實(shí)施方式,關(guān)注區(qū)域設(shè)定部413根據(jù)攝像圖像計(jì)算特征量(例如色相值),根據(jù)具有規(guī)定特征量(例如色相值5~35的范圍)的區(qū)域來(lái)設(shè)定關(guān)注區(qū)域。
這樣,根據(jù)病變部中出現(xiàn)的特征性的圖像的特征量來(lái)設(shè)定關(guān)注區(qū)域,能夠?qū)υ撽P(guān)注區(qū)域的明亮度進(jìn)行調(diào)光控制。由此,手術(shù)醫(yī)生能夠以適當(dāng)?shù)拿髁炼葘?duì)病變部進(jìn)行觀察。
并且,在本實(shí)施方式中,如圖36等中說(shuō)明的那樣,關(guān)注區(qū)域設(shè)定部413選擇具有規(guī)定特征量的區(qū)域中的面積最大的區(qū)域,將包含選擇出的區(qū)域的圓形區(qū)域設(shè)定為關(guān)注區(qū)域。
由于手術(shù)醫(yī)生使鏡體接近希望觀察的病變部,所以,認(rèn)為較大地顯示該希望觀察的病變部。因此,通過(guò)將大小最大的病變區(qū)域群設(shè)定為關(guān)注區(qū)域,能夠以適當(dāng)?shù)拿髁炼蕊@示認(rèn)為手術(shù)醫(yī)生正在關(guān)注的區(qū)域。
另外,在上述實(shí)施方式中,以特征量是色相值的情況為例進(jìn)行了說(shuō)明,但是,本實(shí)施方式不限于此。例如,只要特征量能夠識(shí)別病變部與其他區(qū)域即可,例如在識(shí)別出血部位的情況下,r像素值也可以是特征量。
并且,在上述實(shí)施方式中,說(shuō)明了根據(jù)由貼標(biāo)簽處理部454貼了標(biāo)簽的病變區(qū)域群中具有最大尺寸的病變區(qū)域群來(lái)設(shè)定關(guān)注區(qū)域的例子,但是,本實(shí)施方式不限于此。例如,也可以根據(jù)由病變區(qū)域檢測(cè)部453檢測(cè)到的全部病變區(qū)域來(lái)設(shè)定關(guān)注區(qū)域。該情況下,只要區(qū)域選出部455將由貼標(biāo)簽處理部454輸出的全部病變區(qū)域群中包含的局部區(qū)域的坐標(biāo)輸出到坐標(biāo)計(jì)算部456即可。
由此,在存在多個(gè)病變區(qū)域群的情況下,也能夠以適當(dāng)?shù)拿髁炼蕊@示全部病變區(qū)域群。
并且,在上述實(shí)施方式中,示出使用通常光圖像作為顯示圖像的例子,但是,本實(shí)施方式不限于此。例如,也可以使用窄帶光圖像作為顯示圖像。
并且,在本實(shí)施方式中,攝像圖像是對(duì)具有特定波段的信息的被攝體像進(jìn)行攝像而得到的特殊光圖像、以及對(duì)具有白色光的波段的信息的被攝體像進(jìn)行攝像而得到的通常光圖像(白色光圖像)。關(guān)注區(qū)域設(shè)定部413根據(jù)特殊光圖像來(lái)設(shè)定關(guān)注區(qū)域。
調(diào)光控制部根據(jù)所設(shè)定的關(guān)注區(qū)域進(jìn)行通常光圖像的調(diào)光控制。
這樣,通過(guò)取得與希望檢測(cè)的病變部對(duì)應(yīng)的特殊光圖像,容易提取該病變部的特征量,能夠根據(jù)該提取出的特征量來(lái)設(shè)定關(guān)注區(qū)域。并且,對(duì)應(yīng)于根據(jù)特殊光圖像而設(shè)定的關(guān)注區(qū)域,能夠進(jìn)行觀察中通常使用的通常光圖像的調(diào)光控制。
并且,在本實(shí)施方式中,特定波段是比白色波段(例如380nm~650nm)窄的波段(nbi:narrowbandimaging:窄帶成像)。例如,通常光圖像和特殊光圖像是拍攝出活體內(nèi)的活體內(nèi)圖像,該活體內(nèi)圖像中包含的特定波段是被血液中的血紅蛋白吸收的波長(zhǎng)的波段。例如,該被血紅蛋白吸收的波長(zhǎng)是390nm~445nm(第1窄帶光nb)或530nm~550nm(第2窄帶光ng)。
由此,能夠?qū)ξ挥诨铙w的表層部和深部的血管的構(gòu)造進(jìn)行觀察。并且,通過(guò)將所得到的信號(hào)輸入到特定通道(g2→r、b2→g、b),能夠以褐色等顯示扁平上皮癌等通常光中難以視覺(jué)辨認(rèn)的病變等,能夠抑制病變部的漏看。另外,390nm~445nm或530nm~550nm是根據(jù)被血紅蛋白吸收這樣的特性、以及分別到達(dá)活體的表層部或深部這樣的特性而得到的數(shù)字。但是,該情況下的波段不限于此,例如,根據(jù)與血紅蛋白的吸收和到達(dá)活體的表層部或深部有關(guān)的實(shí)驗(yàn)結(jié)果等的變動(dòng)原因,認(rèn)為波段的下限值減少0~10%左右,上限值上升0~10%左右。
并且,在本實(shí)施方式中,也可以是,通常光圖像和特殊光圖像是拍攝出活體內(nèi)的活體內(nèi)圖像,該活體內(nèi)圖像中包含的特定波段是熒光物質(zhì)發(fā)出的熒光的波段。例如,特定波段也可以是490nm~625nm的波段。
由此,能夠進(jìn)行被稱為afi(autofluorescenceimaging:自體熒光成像)的熒光觀察。在該熒光觀察中,通過(guò)照射激勵(lì)光(390nm~470nm),能夠?qū)?lái)自骨膠原等熒光物質(zhì)的自體熒光(intrinsicfluorescence。490nm~625nm)進(jìn)行觀察。在這種觀察中,能夠以與正常粘膜不同的色調(diào)對(duì)病變進(jìn)行強(qiáng)調(diào)顯示,能夠抑制病變部的漏看等。另外,490nm~625nm表示照射上述激勵(lì)光時(shí)由骨膠原等熒光物質(zhì)發(fā)出的自體熒光的波段。但是,該情況下的波段不限于此,例如,根據(jù)與熒光物質(zhì)發(fā)出的熒光的波段有關(guān)的實(shí)驗(yàn)結(jié)果等的變動(dòng)原因,認(rèn)為波段的下限值減少0~10%左右,上限值上升0~10%左右。并且,也可以同時(shí)照射被血紅蛋白吸收的波段(540nm~560nm),生成虛擬彩色圖像。
并且,在本實(shí)施方式中,活體內(nèi)圖像中包含的特定波段也可以是紅外光的波段。例如,特定波段也可以是790nm~820nm或905nm~970nm的波段。
由此,能夠進(jìn)行被稱為iri(infraredimaging:紅外成像)的紅外光觀察。在該紅外光觀察中,通過(guò)在靜脈注射容易吸收紅外光的紅外標(biāo)識(shí)藥劑即icg(吲哚菁綠)后照射上述波段的紅外光,能夠?qū)θ庋垭y以視覺(jué)辨認(rèn)的粘膜深部的血管或血流信息進(jìn)行強(qiáng)調(diào)顯示,能夠進(jìn)行胃癌的深度診斷和治療方針的判定等。另外,790nm~820nm這樣的數(shù)字是根據(jù)紅外標(biāo)識(shí)藥劑的吸收最強(qiáng)這樣的特性求出的,905nm~970nm這樣的數(shù)字是根據(jù)紅外標(biāo)識(shí)藥劑的吸收最弱這樣的特性求出的。但是,該情況下的波段不限于此,例如,根據(jù)與紅外標(biāo)識(shí)藥劑的吸收有關(guān)的實(shí)驗(yàn)結(jié)果等的變動(dòng)原因,認(rèn)為波段的下限值減少0~10%左右,上限值上升0~10%左右。
并且,在本實(shí)施方式中,也可以包括特殊光圖像取得部,該特殊光圖像取得部根據(jù)所取得的通常光圖像生成特殊光圖像。例如,在圖29中,也可以省略半透半反鏡309、攝像元件310、a/d轉(zhuǎn)換部311,圖32的預(yù)處理部418和同時(shí)化部417作為特殊光圖像取得部,根據(jù)通常光圖像生成特殊光圖像。
具體而言,特殊光圖像取得部包括信號(hào)提取部,該信號(hào)提取部從所取得的通常光圖像中提取白色波段中的信號(hào)。而且,特殊光圖像取得部也可以根據(jù)提取出的通常光的波段中的信號(hào),生成包含特定波段中的信號(hào)的特殊光圖像。例如,信號(hào)提取部根據(jù)通常光圖像的rgb信號(hào),按照每10nm估計(jì)被攝體的分光反射率特性,特殊光圖像取得部在上述特定波段中乘以該估計(jì)出的信號(hào)成分,生成特殊光圖像。
更具體而言,特殊光圖像取得部也可以包括矩陣數(shù)據(jù)設(shè)定部,該矩陣數(shù)據(jù)設(shè)定部根據(jù)通常光的波段中的信號(hào)設(shè)定用于計(jì)算特定波段中的信號(hào)的矩陣數(shù)據(jù)。而且,特殊光圖像取得部也可以使用所設(shè)定的矩陣數(shù)據(jù),根據(jù)白色波段中的信號(hào)計(jì)算特定波段中的信號(hào),生成特殊光圖像。例如,矩陣數(shù)據(jù)設(shè)定部設(shè)定按照每10nm記述特定波段的照射光的分光特性的表數(shù)據(jù)作為矩陣數(shù)據(jù)。而且,在按照每10nm估計(jì)出的被攝體的分光反射率特性中乘以該表數(shù)據(jù)中記述的分光特性(系數(shù))進(jìn)行累積,生成特殊光圖像。
由此,由于能夠根據(jù)通常光圖像生成特殊光圖像,所以,僅通過(guò)照射通常光的1個(gè)光源和對(duì)通常光進(jìn)行攝像的1個(gè)攝像元件就能夠?qū)崿F(xiàn)系統(tǒng)。因此,能夠減小膠囊型內(nèi)窺鏡、鏡體型內(nèi)窺鏡的插入部,并且,由于部件很少即可,所以,還能夠期待降低成本的效果。
8.第7實(shí)施方式
8.1.內(nèi)窺鏡裝置
對(duì)根據(jù)鏡體id來(lái)設(shè)定關(guān)注區(qū)域的第7實(shí)施方式進(jìn)行說(shuō)明。
圖37示出第7實(shí)施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、插入部300、控制裝置400、顯示部500、外部i/f部550。另外,對(duì)與圖3等中說(shuō)明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標(biāo)注相同標(biāo)號(hào)并適當(dāng)省略說(shuō)明。
插入部300包括光導(dǎo)纖維301、照明透鏡314、315、物鏡光學(xué)系統(tǒng)303、攝像元件304、a/d轉(zhuǎn)換部305、存儲(chǔ)器313。由于存儲(chǔ)器313以外的各部的結(jié)構(gòu)與第1實(shí)施方式相同,所以省略說(shuō)明。
插入部300一般被稱為鏡體。因此,下面將插入部300適當(dāng)?shù)胤Q為鏡體。在內(nèi)窺鏡診斷中,根據(jù)要診斷的部位而使用不同的鏡體。例如,在食道或胃的診斷中使用上部消化器鏡體,在大腸的診斷中使用下部消化器鏡體。另一方面,在鏡體的存儲(chǔ)器313中保持各鏡體固有的識(shí)別編號(hào)(鏡體id)。
控制裝置400包括圖像處理部410、控制部420、狀態(tài)信息取得部430。狀態(tài)信息取得部430參照存儲(chǔ)器313中保持的各鏡體固有的識(shí)別編號(hào),識(shí)別所連接的鏡體的種類。鏡體的種類例如是上部消化器鏡體或下部消化器鏡體中的某一種。狀態(tài)信息取得部430將識(shí)別到的鏡體的種類輸出到后述關(guān)注區(qū)域設(shè)定部413。
8.2.圖像處理部
圖38示出第7實(shí)施方式的圖像處理部410的詳細(xì)結(jié)構(gòu)例。圖像處理部410包括預(yù)處理部411、同時(shí)化部412、關(guān)注區(qū)域設(shè)定部413、后處理部415、測(cè)光部416、灰度轉(zhuǎn)換部419。由于關(guān)注區(qū)域設(shè)定部413以外的處理與第1實(shí)施方式相同,所以省略說(shuō)明。
關(guān)注區(qū)域設(shè)定部413根據(jù)由狀態(tài)信息取得部430輸出的鏡體的種類來(lái)設(shè)定關(guān)注區(qū)域。關(guān)注區(qū)域的設(shè)定方法與第3實(shí)施方式相同。具體而言,在鏡體的種類為下部消化器鏡體的情況下,將側(cè)方視野的區(qū)域設(shè)定為關(guān)注區(qū)域。在鏡體的種類為上部消化器鏡體的情況下,將前方視野的區(qū)域設(shè)定為關(guān)注區(qū)域。
根據(jù)以上的實(shí)施方式,如圖37等中說(shuō)明的那樣,能夠在內(nèi)窺鏡裝置上裝卸鏡體(插入部300)。狀態(tài)信息取得部430取得用于識(shí)別所裝配的鏡體的識(shí)別信息(鏡體id)。關(guān)注區(qū)域設(shè)定部413根據(jù)所取得的識(shí)別信息來(lái)設(shè)定關(guān)注區(qū)域。
這樣,通過(guò)根據(jù)所連接的鏡體來(lái)實(shí)施適當(dāng)?shù)恼{(diào)光控制,手術(shù)醫(yī)生能夠以適當(dāng)?shù)拿髁炼葘?duì)病變區(qū)域進(jìn)行觀察。
具體而言,鏡體具有對(duì)前方視野和側(cè)方視野進(jìn)行成像的物鏡光學(xué)系統(tǒng)。在識(shí)別信息是表示下部消化道用鏡體的識(shí)別信息的情況下,關(guān)注區(qū)域設(shè)定部413將攝像圖像中的與側(cè)方視野對(duì)應(yīng)的區(qū)域設(shè)定為關(guān)注區(qū)域。
在作為下部消化器鏡體的診斷對(duì)象的大腸中,假設(shè)位于褶皺背面的病變顯示在圖像的側(cè)方區(qū)域中。因此,通過(guò)對(duì)與側(cè)方視野對(duì)應(yīng)的區(qū)域的明亮度進(jìn)行調(diào)光控制,能夠改善病變漏看的危險(xiǎn)性。
并且,在本實(shí)施方式中,在識(shí)別信息是表示上部消化道(例如胃或食道)用鏡體的識(shí)別信息的情況下,關(guān)注區(qū)域設(shè)定部413將攝像圖像中的與前方視野對(duì)應(yīng)的區(qū)域設(shè)定為關(guān)注區(qū)域。
由于在作為上部消化器的診斷對(duì)象的食道或胃中褶皺較少,所以,與側(cè)方視野相比,前方視野在診斷時(shí)更為重要。因此,通過(guò)對(duì)與前方視野對(duì)應(yīng)的區(qū)域的明亮度進(jìn)行調(diào)光控制,能夠容易看到重要的視野。
9.第8實(shí)施方式
9.1.關(guān)注區(qū)域設(shè)定部
對(duì)根據(jù)圖像計(jì)算被攝體的運(yùn)動(dòng)量(廣義地講為運(yùn)動(dòng)信息)并根據(jù)該運(yùn)動(dòng)量設(shè)定關(guān)注區(qū)域的第8實(shí)施方式進(jìn)行說(shuō)明。
由于內(nèi)窺鏡裝置和圖像處理部410的結(jié)構(gòu)與前面圖3、圖6中所述的第1實(shí)施方式相同,所以適當(dāng)省略說(shuō)明。下面,對(duì)結(jié)構(gòu)與第1實(shí)施方式不同的關(guān)注區(qū)域設(shè)定部413進(jìn)行詳細(xì)說(shuō)明。
圖39示出第8實(shí)施方式的關(guān)注區(qū)域設(shè)定部413的詳細(xì)結(jié)構(gòu)例。關(guān)注區(qū)域設(shè)定部413包括失真校正部471、圖像存儲(chǔ)器472、運(yùn)動(dòng)檢測(cè)部473(廣義地講為運(yùn)動(dòng)信息取得部)、設(shè)定部474。
同時(shí)化部412將同時(shí)化后的圖像信號(hào)輸出到失真校正部471。失真校正部471與圖像存儲(chǔ)器472、運(yùn)動(dòng)檢測(cè)部473、設(shè)定部474連接。運(yùn)動(dòng)檢測(cè)部473與設(shè)定部474連接。設(shè)定部474與測(cè)光部416連接??刂撇?20與失真校正部471、圖像存儲(chǔ)器472、運(yùn)動(dòng)檢測(cè)部473、設(shè)定部474雙向連接,進(jìn)行它們的控制。
失真校正部471針對(duì)同時(shí)化處理后的圖像信號(hào),對(duì)作為一種像差的畸變像差(以下適當(dāng)稱為失真)進(jìn)行校正。圖40示出失真校正處理前后的圖像例。
具體而言,失真校正部471取得失真校正處理后的圖像的像素坐標(biāo)。根據(jù)光學(xué)系統(tǒng)的失真而預(yù)先取得失真校正處理后的圖像尺寸。失真校正部471使用下式(22)將所取得的像素坐標(biāo)(x,y)轉(zhuǎn)換為以光軸中心為原點(diǎn)的坐標(biāo)(x’,y’)。
【數(shù)學(xué)式22】
這里,(center_x,center_y)是失真校正處理后的光軸中心的坐標(biāo)。例如,失真校正處理后的光軸中心是失真校正處理后圖像的中心。
接著,失真校正部471根據(jù)轉(zhuǎn)換后的像素坐標(biāo)(x’,y’),使用下式(23)計(jì)算物體高r。
【數(shù)學(xué)式23】
r=(x′2+y′2)1/2/max_r(23)
這里,max_r是失真校正處理后的圖像中的最大物體高。
接著,失真校正部471根據(jù)計(jì)算出的物體高r來(lái)計(jì)算像高與物體高之比(r/r)。具體而言,失真校正部471保持比r/r與物體高r之間的關(guān)系作為表,通過(guò)參照該表,取得與物體高r對(duì)應(yīng)的比r/r。接著,失真校正部471使用下式(24)取得與失真校正處理后的像素坐標(biāo)(x,y)對(duì)應(yīng)的失真校正處理前的像素坐標(biāo)(x,y)。
【數(shù)學(xué)式24】
這里,(center_x,center_y)是失真校正處理前的光軸中心的坐標(biāo)。例如,失真校正處理前的光軸中心是失真校正處理前的圖像的中心。
接著,失真校正部471根據(jù)計(jì)算出的失真校正處理前的像素坐標(biāo)(x,y),計(jì)算失真校正處理后的像素坐標(biāo)(x,y)中的像素值。在(x,y)不是整數(shù)的情況下,通過(guò)基于周圍像素值的線性插值來(lái)計(jì)算像素值。失真校正部471對(duì)失真校正處理后的圖像的全部像素進(jìn)行以上處理。失真校正部471將這樣進(jìn)行失真校正后的圖像輸出到圖像存儲(chǔ)器472和運(yùn)動(dòng)檢測(cè)部473。
圖像存儲(chǔ)器472保存由失真校正部471進(jìn)行失真校正后的失真校正后圖像。所保存的失真校正后圖像與失真校正部471輸出新的失真校正后圖像的定時(shí)同步地輸出到運(yùn)動(dòng)檢測(cè)部473。
運(yùn)動(dòng)檢測(cè)部473根據(jù)由失真校正部471進(jìn)行失真校正后的失真校正后圖像和圖像存儲(chǔ)器472中保存的失真校正后圖像,檢測(cè)圖像的局部運(yùn)動(dòng)。下面,為了簡(jiǎn)化說(shuō)明,設(shè)前者的失真校正后圖像為當(dāng)前幀圖像,設(shè)后者的失真校正后圖像為前幀圖像。
具體而言,運(yùn)動(dòng)檢測(cè)部473在當(dāng)前幀圖像上設(shè)定用于檢測(cè)局部運(yùn)動(dòng)的點(diǎn)即代表點(diǎn)。例如如圖41所示,在當(dāng)前幀圖像的像素中以一定間隔呈格子狀設(shè)定代表點(diǎn)(圖41所示的●)。運(yùn)動(dòng)檢測(cè)部473計(jì)算當(dāng)前幀圖像與前幀圖像之間的代表點(diǎn)的運(yùn)動(dòng)矢量作為局部運(yùn)動(dòng)量。例如,使用作為公知技術(shù)的塊匹配來(lái)檢測(cè)運(yùn)動(dòng)矢量。運(yùn)動(dòng)檢測(cè)部473將所設(shè)定的代表點(diǎn)的坐標(biāo)和在各代表點(diǎn)檢測(cè)到的運(yùn)動(dòng)矢量輸出到設(shè)定部474。
設(shè)定部474根據(jù)來(lái)自失真校正部471的當(dāng)前幀圖像以及來(lái)自運(yùn)動(dòng)檢測(cè)部473的代表點(diǎn)的坐標(biāo)和各代表點(diǎn)的運(yùn)動(dòng)矢量,設(shè)定關(guān)注區(qū)域。具體而言,設(shè)定部474根據(jù)當(dāng)前幀圖像和運(yùn)動(dòng)矢量判定是否是拔出狀態(tài),如果是拔出狀態(tài),則將側(cè)方視野設(shè)定為關(guān)注區(qū)域,如果不是拔出狀態(tài),則將前方視野設(shè)定為關(guān)注區(qū)域。設(shè)定部474將所設(shè)定的關(guān)注區(qū)域輸出到測(cè)光部416。
這里,拔出狀態(tài)是指在將內(nèi)窺鏡插入到管腔狀臟器的里面后一邊拔出內(nèi)窺鏡一邊進(jìn)行觀察的狀態(tài)。由于一般針對(duì)大腸進(jìn)行這種觀察,所以,如果是拔出狀態(tài),則將側(cè)方視野設(shè)定為關(guān)注區(qū)域,使得容易觀察褶皺背面,如果不是拔出狀態(tài),則將前方視野設(shè)定為關(guān)注區(qū)域,使得容易進(jìn)行內(nèi)窺鏡操作。
9.2.拔出狀態(tài)的判定方法
使用圖42(a)~圖42(d)對(duì)拔出狀態(tài)的判定方法進(jìn)行說(shuō)明。首先,根據(jù)代表點(diǎn)中的運(yùn)動(dòng)矢量來(lái)檢測(cè)運(yùn)動(dòng)矢量的消失點(diǎn)。
具體而言,在圖42(a)中,●表示代表點(diǎn),實(shí)線箭頭表示運(yùn)動(dòng)矢量,×表示消失點(diǎn)。消失點(diǎn)是以各代表點(diǎn)為始點(diǎn)在沿著各代表點(diǎn)的運(yùn)動(dòng)矢量的方向上延長(zhǎng)的直線的交點(diǎn)。例如,當(dāng)觀察對(duì)象為內(nèi)徑恒定的圓筒狀、運(yùn)動(dòng)矢量?jī)H由內(nèi)窺鏡的運(yùn)動(dòng)產(chǎn)生時(shí),在拔出狀態(tài)的情況下,從各代表點(diǎn)延長(zhǎng)的直線在消失點(diǎn)這一點(diǎn)交叉。實(shí)際上,作為觀察對(duì)象的管腔狀臟器的內(nèi)徑并不恒定,并且,運(yùn)動(dòng)矢量還由于活體脈動(dòng)而產(chǎn)生,所以,即使在拔出狀態(tài)下,直線也不會(huì)在消失點(diǎn)這一點(diǎn)交叉。因此,將與全部直線之間的距離的平方和作為第1評(píng)價(jià)值,將該第1評(píng)價(jià)值最小的點(diǎn)作為消失點(diǎn)候選。當(dāng)設(shè)直線為ax+by+c=0、點(diǎn)為(p,q)時(shí),通過(guò)下式(25)求出第1評(píng)價(jià)值d。
【數(shù)學(xué)式25】
這里,上式(25)中的和表示與從代表點(diǎn)延長(zhǎng)的全部直線有關(guān)的距離的平方的總和。
通過(guò)最小二乘法,使用下式(26)計(jì)算第1評(píng)價(jià)值d最小的消失點(diǎn)候選的坐標(biāo)(xsk,ysk)。
【數(shù)學(xué)式26】
這里,當(dāng)設(shè)代表點(diǎn)的坐標(biāo)為(px,py)、代表點(diǎn)處的運(yùn)動(dòng)矢量為(mx,my)時(shí),a=my、b=-mx、c=mxpy-mypx。
接著,在該消失點(diǎn)候選中的第1評(píng)價(jià)值d為規(guī)定第1閾值以下、該消失點(diǎn)候選存在于圖像內(nèi)的情況下,將該消失點(diǎn)候選作為消失點(diǎn)。在消失點(diǎn)候選不滿足該條件的情況下,判定為無(wú)法檢測(cè)消失點(diǎn)。
對(duì)在該條件下能夠檢測(cè)拔出狀態(tài)的理由進(jìn)行詳細(xì)說(shuō)明。這里,如圖42(b)所示,定義內(nèi)窺鏡前端的移動(dòng)方向。x方向、y方向、z方向在圖像上分別對(duì)應(yīng)于水平方向、鉛直方向、與水平方向和鉛直方向正交的進(jìn)深方向。并且,關(guān)于x方向、y方向、z方向,將沿著箭頭的運(yùn)動(dòng)定義為正運(yùn)動(dòng),將相反的運(yùn)動(dòng)定義為負(fù)運(yùn)動(dòng)。在拔出狀態(tài)下,內(nèi)窺鏡前端為z方向負(fù)運(yùn)動(dòng)。在不是拔出狀態(tài)、例如內(nèi)窺鏡的前端的運(yùn)動(dòng)為x方向正運(yùn)動(dòng)的情況下,如圖42(c)所示,由于運(yùn)動(dòng)矢量大致平行,所以,該消失點(diǎn)候選存在于圖像外?;蛘?,即使消失點(diǎn)候選存在于圖像內(nèi),該消失點(diǎn)候選中的第1評(píng)價(jià)值d也成為較大的值。即,根據(jù)消失點(diǎn)候選存在于圖像內(nèi)、第1評(píng)價(jià)值d小于第1閾值這樣的條件,能夠檢測(cè)z方向的運(yùn)動(dòng)。
接著,進(jìn)行是否是拔出狀態(tài)的判定。如圖42(d)所示,在插入了內(nèi)窺鏡的情況下也能夠檢測(cè)消失點(diǎn)。因此,根據(jù)從各代表點(diǎn)朝向該消失點(diǎn)的矢量(虛線箭頭)和運(yùn)動(dòng)矢量(實(shí)線箭頭)進(jìn)行判定。具體而言,在朝向該消失點(diǎn)的矢量和運(yùn)動(dòng)矢量的內(nèi)積為負(fù)的代表點(diǎn)為規(guī)定個(gè)數(shù)以上的情況下,判定為未檢測(cè)到消失點(diǎn)。在未檢測(cè)到消失點(diǎn)的情況下,判定為不是拔出狀態(tài)。
接著,設(shè)檢測(cè)到的消失點(diǎn)坐標(biāo)中的當(dāng)前幀圖像的像素值為第2評(píng)價(jià)值,根據(jù)該第2評(píng)價(jià)值判定觀察對(duì)象是否是管腔狀臟器。在消失點(diǎn)坐標(biāo)不是整數(shù)的情況下,根據(jù)周圍的像素值,通過(guò)線性插值來(lái)計(jì)算第2評(píng)價(jià)值。然后,在第2評(píng)價(jià)值為規(guī)定第2閾值以下的情況下,判定為管腔狀臟器。在觀察對(duì)象不是管腔狀而是平坦的情況下,由于當(dāng)內(nèi)窺鏡前端進(jìn)行z方向負(fù)運(yùn)動(dòng)時(shí)檢測(cè)消失點(diǎn),所以,需要進(jìn)行這種判定。
具體而言,在觀察對(duì)象為管腔狀的情況下,在當(dāng)前幀圖像上,由于消失點(diǎn)位于照明光不太能照射到的管腔狀臟器的背面,所以,第2評(píng)價(jià)值變小。另一方面,在觀察對(duì)象為平坦的情況下,在當(dāng)前幀圖像上,由于消失點(diǎn)位于照明光比較能照射到的區(qū)域,所以,第2評(píng)價(jià)值變大。由此,通過(guò)判定第2評(píng)價(jià)值是否為第2閾值以下,能夠判定拔出狀態(tài),即一邊相對(duì)于管腔狀的觀察對(duì)象拔出內(nèi)窺鏡一邊進(jìn)行觀察。
另外,在上述實(shí)施方式中,在判定從拔出狀態(tài)切換為非拔出狀態(tài)的情況下,立即將前方視野設(shè)定為關(guān)注區(qū)域,但是,本實(shí)施方式不限于此。例如,也可以在非拔出狀態(tài)這樣的判定連續(xù)規(guī)定幀的情況下,將前方視野設(shè)定為關(guān)注區(qū)域。在判定從非拔出狀態(tài)切換為拔出狀態(tài)的情況下也同樣,可以在拔出狀態(tài)這樣的判定連續(xù)規(guī)定幀的情況下,將側(cè)方視野設(shè)定為關(guān)注區(qū)域。通過(guò)這樣設(shè)定關(guān)注區(qū)域,能夠防止在細(xì)細(xì)地反復(fù)進(jìn)行插入和拔出的情況下頻繁切換關(guān)注區(qū)域而使顯示畫面不穩(wěn)定。
根據(jù)以上的實(shí)施方式,如圖39所示,關(guān)注區(qū)域設(shè)定部413具有運(yùn)動(dòng)檢測(cè)部473。運(yùn)動(dòng)檢測(cè)部473根據(jù)攝像圖像取得被攝體的運(yùn)動(dòng)量。關(guān)注區(qū)域設(shè)定部根據(jù)所取得的運(yùn)動(dòng)量來(lái)設(shè)定關(guān)注區(qū)域。
具體而言,如圖42(a)等中說(shuō)明的那樣,內(nèi)窺鏡裝置的特征在于,在根據(jù)運(yùn)動(dòng)量判定為處于拔出鏡體的狀態(tài)的情況下,關(guān)注區(qū)域設(shè)定部413將攝像圖像中的與側(cè)方視野對(duì)應(yīng)的區(qū)域設(shè)定為關(guān)注區(qū)域。
通常,在對(duì)大腸進(jìn)行觀察的情況下,一邊拔出鏡體一邊進(jìn)行觀察。因此,通過(guò)在拔出時(shí)將與側(cè)方視野對(duì)應(yīng)的區(qū)域設(shè)定為關(guān)注區(qū)域而進(jìn)行調(diào)光控制,能夠適當(dāng)?shù)厝〉脤?duì)大腸的褶皺背面等的診斷有用的信息。
并且,在本實(shí)施方式中,運(yùn)動(dòng)檢測(cè)部473計(jì)算多個(gè)代表點(diǎn)的運(yùn)動(dòng)矢量作為運(yùn)動(dòng)量,求出計(jì)算出的運(yùn)動(dòng)矢量的消失點(diǎn)。在求出的消失點(diǎn)存在于攝像圖像中、從代表點(diǎn)朝向消失點(diǎn)的矢量和運(yùn)動(dòng)矢量的內(nèi)積為正的情況下,關(guān)注區(qū)域設(shè)定部413判定為處于拔出鏡體的狀態(tài)。
這樣,通過(guò)判定消失點(diǎn)的位置,能夠判定鏡體插入或拔出的情況,通過(guò)判定運(yùn)動(dòng)矢量的朝向,能夠判定是插入還是拔出。
并且,在本實(shí)施方式中,在判斷為消失點(diǎn)的像素值小于閾值(第2閾值)的情況下,關(guān)注區(qū)域設(shè)定部413判定為處于拔出鏡體的狀態(tài)。
這樣,如上所述,由于能夠判定是處于鏡體正對(duì)著壁面的狀態(tài)還是處于鏡體朝向沿著管腔的方向的狀態(tài),所以,能夠判定拔出狀態(tài),即沿著管腔的方向的移動(dòng)。
并且,在本實(shí)施方式中,在根據(jù)運(yùn)動(dòng)量判定為不是拔出鏡體的狀態(tài)的情況下,關(guān)注區(qū)域設(shè)定部413將攝像圖像中的與前方視野對(duì)應(yīng)的區(qū)域設(shè)定為關(guān)注區(qū)域。
這樣,能夠?qū)⒄J(rèn)為主要在拔出時(shí)以外使用的前方視野設(shè)定為關(guān)注區(qū)域并進(jìn)行調(diào)光控制。例如,由于在插入時(shí)使用前方視野對(duì)內(nèi)窺鏡進(jìn)行操作,所以,能夠提示包含大量對(duì)該操作有用的信息的前方的信息。
并且,在本實(shí)施方式中,如圖39所示,運(yùn)動(dòng)檢測(cè)部473具有失真校正部471。失真校正部471根據(jù)鏡體的光學(xué)系統(tǒng)所具有的畸變像差來(lái)進(jìn)行攝像圖像的失真校正。運(yùn)動(dòng)檢測(cè)部473根據(jù)失真校正后的攝像圖像取得運(yùn)動(dòng)量。
這樣,例如在使用了圖1的物鏡光學(xué)系統(tǒng)等視野范圍較寬的光學(xué)系統(tǒng)的情況下,能夠?qū)σ蚱浠兿癫疃鴮?dǎo)致的圖像的失真進(jìn)行校正。由此,能夠減輕失真對(duì)運(yùn)動(dòng)量檢測(cè)的影響。
10.第9實(shí)施方式
10.1.內(nèi)窺鏡裝置
對(duì)通過(guò)形狀檢測(cè)部取得被攝體的形狀信息并根據(jù)該形狀信息設(shè)定關(guān)注區(qū)域的第9實(shí)施方式進(jìn)行說(shuō)明。
圖43示出第9實(shí)施方式的內(nèi)窺鏡裝置的結(jié)構(gòu)例。內(nèi)窺鏡裝置包括光源部100、插入部300、控制裝置400、顯示部500、外部i/f部550、形狀檢測(cè)部700(例如upd(positiondetectingunit:位置檢測(cè)單元))。另外,對(duì)與圖3等中說(shuō)明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標(biāo)注相同標(biāo)號(hào)并適當(dāng)省略說(shuō)明。
插入部300包括光導(dǎo)纖維301、照明透鏡314、315、物鏡光學(xué)系統(tǒng)303、攝像元件304、a/d轉(zhuǎn)換部305、磁線圈312。由于磁線圈312以外與第1實(shí)施方式相同,所以省略說(shuō)明。
例如在插入部300中設(shè)置十幾個(gè)磁線圈312,分別向形狀檢測(cè)部700(廣義地講為形狀信息取得部)發(fā)出磁。多個(gè)磁線圈312例如沿著插入部300的長(zhǎng)度方向排列。
形狀檢測(cè)部700通過(guò)未圖示的天線接收設(shè)于插入部300的各部中的磁線圈312發(fā)出的磁,實(shí)時(shí)取得各磁線圈的三維位置信息。形狀檢測(cè)部700根據(jù)所取得的磁線圈的三維位置信息,實(shí)時(shí)取得表示插入部300的形狀的內(nèi)窺鏡形狀信息。
控制裝置400包括圖像處理部410、控制部420、狀態(tài)信息取得部430。由于控制部420與第1實(shí)施方式相同,所以省略說(shuō)明。
10.2.狀態(tài)信息取得部
圖44示出第9實(shí)施方式的狀態(tài)信息取得部430的詳細(xì)結(jié)構(gòu)例。狀態(tài)信息取得部430包括被攝體信息取得部436和觀察信息取得部437。形狀檢測(cè)部700將檢測(cè)到的內(nèi)窺鏡形狀信息輸出到被攝體信息取得部436和觀察信息取得部437。被攝體信息取得部436與關(guān)注區(qū)域設(shè)定部413連接。觀察信息取得部437與關(guān)注區(qū)域設(shè)定部413連接。
被攝體信息取得部436根據(jù)由形狀檢測(cè)部700取得的內(nèi)窺鏡形狀信息,判定被攝體是否是下部消化道。具體而言,被攝體信息取得部436根據(jù)內(nèi)窺鏡形狀信息取得被插入體內(nèi)的內(nèi)窺鏡的長(zhǎng)度和內(nèi)窺鏡形狀是否形成環(huán)形的判定結(jié)果,根據(jù)該長(zhǎng)度和判定結(jié)果來(lái)判定是否是下部消化道。
更具體而言,一般在對(duì)下部消化道進(jìn)行內(nèi)窺鏡檢查的情況下,與對(duì)除此以外的臟器進(jìn)行內(nèi)窺鏡檢查的情況相比,將內(nèi)窺鏡插入到里側(cè)深部。因此,如果內(nèi)窺鏡被插入體內(nèi)規(guī)定長(zhǎng)度以上,則被攝體信息取得部436判定為被攝體是下部消化道。并且,存在如下的插入法:僅在將內(nèi)窺鏡插入下部消化道中的情況下,為了容易進(jìn)行插入,在內(nèi)窺鏡中形成環(huán)形。因此,如果在內(nèi)窺鏡中形成環(huán)形,則被攝體信息取得部436判定為被攝體是下部消化道。
在被插入體內(nèi)的內(nèi)窺鏡超過(guò)規(guī)定長(zhǎng)度或內(nèi)窺鏡形成環(huán)形之前,被攝體信息取得部436判定為被攝體不是下部消化道。然后,在滿足任意一個(gè)條件的情況下,判定為被攝體是下部消化道,此后不變更該判定結(jié)果。被攝體信息取得部436將該判別結(jié)果作為被攝體信息輸出到關(guān)注區(qū)域設(shè)定部413。
觀察信息取得部437根據(jù)由形狀檢測(cè)部700取得的內(nèi)窺鏡形狀信息,判定內(nèi)窺鏡是否處于拔出狀態(tài)。具體而言,觀察信息取得部437根據(jù)內(nèi)窺鏡形狀信息,判定被插入體內(nèi)的內(nèi)窺鏡的長(zhǎng)度是否經(jīng)時(shí)縮短,在經(jīng)時(shí)縮短的情況下判定為處于拔出狀態(tài)。觀察信息取得部437將拔出狀態(tài)的判定結(jié)果作為觀察信息輸出到關(guān)注區(qū)域設(shè)定部413。
10.3.圖像處理部
第9實(shí)施方式的圖像處理部410包括預(yù)處理部411、同時(shí)化部412、關(guān)注區(qū)域設(shè)定部413、后處理部415、測(cè)光部416、灰度轉(zhuǎn)換部419。另外,結(jié)構(gòu)與圖17中說(shuō)明的第2實(shí)施方式相同。由于關(guān)注區(qū)域設(shè)定部413以外的動(dòng)作和處理與第2實(shí)施方式相同,所以省略說(shuō)明。
關(guān)注區(qū)域設(shè)定部413根據(jù)由狀態(tài)信息取得部430輸出的被攝體信息和觀察信息來(lái)設(shè)定關(guān)注區(qū)域。具體而言,在根據(jù)被攝體信息判定為被攝體是下部消化道、根據(jù)觀察信息判定為內(nèi)窺鏡處于拔出狀態(tài)的情況下,關(guān)注區(qū)域設(shè)定部413將側(cè)方視野設(shè)定為關(guān)注區(qū)域。在除此以外的情況下,將前方視野設(shè)定為關(guān)注區(qū)域。關(guān)注區(qū)域設(shè)定部413將所設(shè)定的關(guān)注區(qū)域輸出到測(cè)光部416。
根據(jù)以上的實(shí)施方式,如圖44所示,內(nèi)窺鏡裝置包括取得鏡體插入部(插入部300)的形狀信息(例如圖43的磁線圈312的三維位置信息)的形狀檢測(cè)部700。狀態(tài)信息取得部430具有被攝體信息取得部436。被攝體信息取得部436取得所取得的形狀信息作為狀態(tài)信息,根據(jù)該形狀信息取得被攝體信息。關(guān)注區(qū)域設(shè)定部413根據(jù)所取得的被攝體信息來(lái)設(shè)定關(guān)注區(qū)域。
具體而言,被攝體信息取得部436根據(jù)形狀信息判定被攝體的部位,取得判定出的部位作為被攝體信息。在判定為被攝體的部位是下部消化道的情況下,關(guān)注區(qū)域設(shè)定部413將攝像圖像中的與側(cè)方視野對(duì)應(yīng)的區(qū)域設(shè)定為關(guān)注區(qū)域。
更具體而言,被攝體信息取得部436在判斷為鏡體插入部是環(huán)形狀的情況下,判定為被攝體的部位是下部消化道。
這樣,能夠根據(jù)基于被攝體的形狀信息而判定出的部位來(lái)設(shè)定關(guān)注區(qū)域并進(jìn)行調(diào)光控制。并且,在下部消化道的情況下,通過(guò)對(duì)側(cè)方視野的明亮度進(jìn)行調(diào)光控制,能夠適當(dāng)?shù)貙?duì)手術(shù)醫(yī)生提示在拔出時(shí)等對(duì)大腸的褶皺背面等的診斷有用的信息。
這里,被攝體信息是與被攝體有關(guān)的信息。被攝體信息不限于被攝體的部位,只要是根據(jù)被攝體的形狀信息而估計(jì)出的信息即可,例如也可以是被攝體的大小或長(zhǎng)度。
并且,在本實(shí)施方式中,狀態(tài)信息取得部430具有觀察信息取得部437。觀察信息取得部437取得所取得的形狀信息作為狀態(tài)信息,根據(jù)該形狀信息取得觀察狀態(tài)信息。關(guān)注區(qū)域設(shè)定部413根據(jù)所取得的觀察狀態(tài)信息來(lái)設(shè)定關(guān)注區(qū)域。
具體而言,觀察信息取得部437根據(jù)形狀信息判定鏡體的行進(jìn)方向,取得判定出的行進(jìn)方向作為觀察狀態(tài)信息。在判定為鏡體被拔出的情況下,關(guān)注區(qū)域設(shè)定部413將攝像圖像中的與側(cè)方視野對(duì)應(yīng)的區(qū)域設(shè)定為關(guān)注區(qū)域。
這樣,在對(duì)鏡體進(jìn)行拔出操作的情況下,能夠?qū)?cè)方視野的明亮度進(jìn)行調(diào)光控制。例如,在被攝體是下部消化道且對(duì)鏡體進(jìn)行拔出操作的情況下,通過(guò)對(duì)側(cè)方視野的明亮度進(jìn)行調(diào)光控制,手術(shù)醫(yī)生容易觀察褶皺背面等。
并且,在本實(shí)施方式中,在判定為被攝體是下部消化道且判定為處于拔出狀態(tài)的情況以外的情況下,關(guān)注區(qū)域設(shè)定部413將攝像圖像中的與前方視野對(duì)應(yīng)的區(qū)域設(shè)定為關(guān)注區(qū)域。
這樣,將在上部消化道的觀察和下部消化道的插入操作中很重要的前方視野設(shè)定為關(guān)注區(qū)域,能夠?qū)υ撽P(guān)注區(qū)域的明亮度進(jìn)行調(diào)光控制。
11.第10實(shí)施方式
11.1.概要
對(duì)從圖像中檢測(cè)紅暈區(qū)域并將該紅暈區(qū)域以外的區(qū)域設(shè)定為關(guān)注區(qū)域的第10實(shí)施方式進(jìn)行說(shuō)明。
很難將內(nèi)窺鏡插入大腸的理由是,大腸是狹窄的管腔,屈曲扭轉(zhuǎn),還依賴于內(nèi)窺鏡插入而伸縮變形。在這種狀況下,操作者進(jìn)行如下操作:一邊觀察內(nèi)窺鏡像來(lái)判斷插入方向,一邊驅(qū)使內(nèi)窺鏡的操作而向插入方向進(jìn)行引導(dǎo)。內(nèi)窺鏡的操作是內(nèi)窺鏡前端的上下左右的角度操作、內(nèi)窺鏡插入部(適當(dāng)稱為鏡體)的推拉扭轉(zhuǎn)等。
這種插入操作對(duì)于不熟練的醫(yī)生來(lái)說(shuō)是很難的。特別是在插入時(shí)推進(jìn)內(nèi)窺鏡插入部的操作較多,所以,內(nèi)窺鏡前端頻繁與腸壁接觸,內(nèi)窺鏡像成為被稱為紅暈的整個(gè)圖像為紅色的焦點(diǎn)模糊狀態(tài),實(shí)在無(wú)法判斷插入方向。當(dāng)成為這種狀態(tài)時(shí),需要通過(guò)稍微拉回內(nèi)窺鏡插入部,從紅暈狀態(tài)返回能夠確認(rèn)插入方向的狀態(tài)再次進(jìn)行插入操作,成為插入時(shí)間延長(zhǎng)的原因之一。
在前端具有180度以上(包含該值)的寬視野的光學(xué)系統(tǒng)的內(nèi)窺鏡中,由于即使內(nèi)窺鏡前端與腸壁接觸也不會(huì)堵住較寬的全部視野,所以,不會(huì)在內(nèi)窺鏡像整個(gè)區(qū)域內(nèi)產(chǎn)生上述紅暈狀態(tài),能夠確保一部分視野。即,存在即使在內(nèi)窺鏡前端與腸壁接觸的狀態(tài)下也能夠確認(rèn)插入方向的可能性。
因此,在本實(shí)施方式中,在180度以上(包含該值)的光學(xué)系統(tǒng)的內(nèi)窺鏡像中檢測(cè)紅暈區(qū)域,將該紅暈區(qū)域以外的區(qū)域設(shè)定為關(guān)注區(qū)域,在提高該關(guān)注區(qū)域的視覺(jué)辨認(rèn)性的狀態(tài)下對(duì)醫(yī)生進(jìn)行提示,由此,實(shí)現(xiàn)插入時(shí)間的縮短。提高視覺(jué)辨認(rèn)性的狀態(tài)是通過(guò)對(duì)關(guān)注區(qū)域的調(diào)光控制而將關(guān)注區(qū)域調(diào)整為適當(dāng)曝光的狀態(tài)。
圖45示出內(nèi)窺鏡插入部的前端傾斜接觸對(duì)大腸進(jìn)行模型化后的管腔的壁面的狀態(tài)。如圖46(a)所示,在該狀態(tài)的內(nèi)窺鏡像中,成為紅暈區(qū)域占據(jù)內(nèi)窺鏡像的大半部分的狀態(tài)。在該狀態(tài)下,在管腔筆直開(kāi)口的情況下,能夠?qū)挡颗袛酁椴迦敕较?。另一方面,在管腔屈曲的狀態(tài)下或管腔的口閉合的狀態(tài)下,由于插入方向不是明確的暗部而很難看清,所以,希望以進(jìn)一步放大內(nèi)窺鏡像的紅暈以外的較小的關(guān)注區(qū)域的狀態(tài)進(jìn)行觀察。因此,如圖46(b)所示,放大顯示紅暈區(qū)域以外的較小的關(guān)注區(qū)域。這樣,能夠判斷很難識(shí)別的插入方向。
并且,在圖46(a)的紅暈區(qū)域中,由于在插入部的前端與腸壁接觸的狀態(tài)下對(duì)腸壁照射照明光,所以,在紅暈區(qū)域和除此以外的關(guān)注區(qū)域中,相對(duì)地產(chǎn)生明暗差。特別是,在內(nèi)窺鏡中,對(duì)照明光量進(jìn)行調(diào)整(調(diào)光處理),將內(nèi)窺鏡像控制成適當(dāng)曝光狀態(tài)。因此,當(dāng)紅暈區(qū)域占據(jù)大部分時(shí),進(jìn)行調(diào)光控制以使得紅暈區(qū)域的明亮度成為適當(dāng)曝光狀態(tài)。這樣,即使特意使紅暈區(qū)域以外的關(guān)注區(qū)域位于視野內(nèi),該關(guān)注區(qū)域也可能變暗而不會(huì)適當(dāng)曝光,所以,即使對(duì)關(guān)注區(qū)域進(jìn)行放大處理,也無(wú)法確保插入方向的視覺(jué)辨認(rèn)性。因此,將紅暈區(qū)域以外的關(guān)注區(qū)域指定為調(diào)光對(duì)象區(qū)域進(jìn)行調(diào)光處理。由此,能夠在適當(dāng)曝光狀態(tài)下觀察關(guān)注區(qū)域,容易識(shí)別插入方向。
由于圖46(a)是傾斜接觸腸壁的情況下的例子,所以,即使將紅暈區(qū)域以外的區(qū)域大致判斷為插入方向,也能夠以某種程度進(jìn)行插入。但是,在大腸(管腔)的屈曲部等中,有時(shí)內(nèi)窺鏡前端會(huì)以正對(duì)著腸壁的狀態(tài)與腸壁接觸。該情況下,內(nèi)窺鏡像的中央部分成為紅暈區(qū)域,周邊部分成為紅暈區(qū)域以外的關(guān)注區(qū)域。該情況下,僅發(fā)現(xiàn)紅暈區(qū)域以外的區(qū)域,無(wú)法識(shí)別插入方向。因此,與上述同樣放大顯示作為關(guān)注區(qū)域的周邊區(qū)域,將周邊區(qū)域指定為調(diào)光對(duì)象區(qū)域進(jìn)行調(diào)光處理。由此,能夠更加簡(jiǎn)單地從放大后的周邊區(qū)域的360度的方向中識(shí)別應(yīng)該插入的方向。
11.2.圖像處理部
接著,對(duì)本實(shí)施方式的檢測(cè)紅暈區(qū)域的方法以及將紅暈區(qū)域以外的區(qū)域設(shè)定為關(guān)注區(qū)域的方法進(jìn)行詳細(xì)說(shuō)明。
圖47示出第10實(shí)施方式的圖像處理部410的詳細(xì)結(jié)構(gòu)例。圖像處理部410包括預(yù)處理部411、同時(shí)化部412、關(guān)注區(qū)域設(shè)定部413、變倍處理部414、后處理部415、測(cè)光部416。下面,對(duì)與圖6等中說(shuō)明的結(jié)構(gòu)要素相同的結(jié)構(gòu)要素標(biāo)注相同標(biāo)號(hào)并適當(dāng)省略說(shuō)明。另外,第10實(shí)施方式的內(nèi)窺鏡裝置與前面圖3等中所述的第1實(shí)施方式相同。
預(yù)處理部411與同時(shí)化部412連接。同時(shí)化部412與關(guān)注區(qū)域設(shè)定部413和變倍處理部414連接。關(guān)注區(qū)域設(shè)定部413與變倍處理部414和測(cè)光部416連接。變倍處理部414與后處理部415連接。后處理部415與顯示部500連接??刂撇?20與預(yù)處理部411、同時(shí)化部412、關(guān)注區(qū)域設(shè)定部413、變倍處理部414、后處理部415、測(cè)光部416連接。
關(guān)注區(qū)域設(shè)定部413將紅暈區(qū)域以外的區(qū)域設(shè)定為關(guān)注區(qū)域。變倍處理部414進(jìn)行放大所設(shè)定的關(guān)注區(qū)域的處理。這些處理在后面詳細(xì)敘述。測(cè)光部416計(jì)算圖像的明亮度(例如亮度)。測(cè)光部416在設(shè)定了關(guān)注區(qū)域的情況下,計(jì)算關(guān)注區(qū)域的明亮度。測(cè)光部416將計(jì)算出的明亮度輸出到控制部420??刂撇?20根據(jù)該明亮度來(lái)控制光源光圈驅(qū)動(dòng)部103,進(jìn)行調(diào)光處理。
11.3.關(guān)注區(qū)域設(shè)定部
圖48示出第10實(shí)施方式的關(guān)注區(qū)域設(shè)定部413的詳細(xì)結(jié)構(gòu)例。關(guān)注區(qū)域設(shè)定部413包括顏色轉(zhuǎn)換部461、紅暈區(qū)域候選檢測(cè)部462、散焦檢測(cè)部463、紅暈區(qū)域判定部464、變倍參數(shù)設(shè)定部465。
顏色轉(zhuǎn)換部461與紅暈區(qū)域候選檢測(cè)部462和散焦檢測(cè)部463連接。紅暈區(qū)域候選檢測(cè)部462與紅暈區(qū)域判定部464連接。散焦檢測(cè)部463與紅暈區(qū)域判定部464連接。紅暈區(qū)域判定部464與變倍參數(shù)設(shè)定部465和測(cè)光部416連接。變倍參數(shù)設(shè)定部465與變倍處理部414連接。控制部420與紅暈區(qū)域候選檢測(cè)部462、散焦檢測(cè)部463、變倍參數(shù)設(shè)定部465連接。
顏色轉(zhuǎn)換部461將從同時(shí)化部412輸出的彩色圖像的rgb信號(hào)轉(zhuǎn)換為亮度信號(hào)和顏色信號(hào)。另外,下面以將rgb信號(hào)轉(zhuǎn)換為ycbcr信號(hào)的情況為例進(jìn)行說(shuō)明。顏色轉(zhuǎn)換部461將計(jì)算出的亮度信號(hào)y輸出到散焦檢測(cè)部463和測(cè)光部416,將色差信號(hào)cb、cr輸出到紅暈區(qū)域候選檢測(cè)部462。
紅暈區(qū)域候選檢測(cè)部462根據(jù)來(lái)自控制部420的塊尺寸信息(例如n×n塊)將所輸入的色差信號(hào)cb、cr分割為塊區(qū)域。然后,紅暈區(qū)域候選檢測(cè)部462根據(jù)塊區(qū)域內(nèi)的色差信號(hào)的統(tǒng)計(jì)量判定紅暈區(qū)域候選,將每個(gè)塊區(qū)域的判定信息輸出到紅暈區(qū)域判定部464。
散焦檢測(cè)部463根據(jù)來(lái)自控制部420的塊尺寸信息將所輸入的亮度信號(hào)y分割為塊區(qū)域。然后,散焦檢測(cè)部463根據(jù)塊區(qū)域內(nèi)有無(wú)高頻率成分來(lái)判定塊區(qū)域是否是散焦?fàn)顟B(tài),將每個(gè)塊區(qū)域的判定信息輸出到紅暈區(qū)域判定部464。
紅暈區(qū)域判定部464將由紅暈區(qū)域候選檢測(cè)部462判定為紅暈候選區(qū)域、由散焦檢測(cè)部463判定為散焦?fàn)顟B(tài)的塊區(qū)域判定為紅暈區(qū)域。紅暈區(qū)域判定部464將該判定結(jié)果輸出到變倍參數(shù)設(shè)定部465和測(cè)光部416。
如圖49所示,變倍參數(shù)設(shè)定部465針對(duì)分割后的各塊區(qū)域(n×n塊的各塊)設(shè)定變倍參數(shù)。具體而言,變倍參數(shù)設(shè)定部465根據(jù)紅暈區(qū)域判定部464的判定結(jié)果,將成像區(qū)域內(nèi)的塊區(qū)域中的判定為不是紅暈區(qū)域的塊區(qū)域設(shè)定為關(guān)注區(qū)域。變倍參數(shù)設(shè)定部465根據(jù)關(guān)注區(qū)域與紅暈區(qū)域之間的關(guān)系對(duì)各塊區(qū)域設(shè)定變倍參數(shù),將所設(shè)定的變倍參數(shù)輸出到變倍處理部414。
變倍處理部414再次設(shè)定與非關(guān)注區(qū)域之間的顯示倍率以放大顯示成像區(qū)域內(nèi)的關(guān)注區(qū)域,生成與紅暈區(qū)域相比相對(duì)放大關(guān)注區(qū)域的圖像。再次設(shè)定伴隨顯示倍率的變更,生成變倍處理前的坐標(biāo)位置(實(shí)數(shù)精度)相對(duì)于變倍處理后的像素位置(整數(shù)精度)的轉(zhuǎn)換表。
測(cè)光部416根據(jù)從關(guān)注區(qū)域設(shè)定部413輸出的紅暈區(qū)域以外的關(guān)注區(qū)域信息和從顏色轉(zhuǎn)換部461輸出的亮度信號(hào),計(jì)算關(guān)注區(qū)域的平均亮度電平。
11.4.紅暈區(qū)域候選檢測(cè)部
圖50示出紅暈區(qū)域候選檢測(cè)部462的詳細(xì)結(jié)構(gòu)例。紅暈區(qū)域候選檢測(cè)部462包括區(qū)域分割部481、統(tǒng)計(jì)量計(jì)算部482、特定顏色區(qū)域判定部483、存儲(chǔ)器484。
區(qū)域分割部481與統(tǒng)計(jì)量計(jì)算部482連接。統(tǒng)計(jì)量計(jì)算部482與特定顏色區(qū)域判定部483連接。特定顏色區(qū)域判定部483與存儲(chǔ)器484和紅暈區(qū)域判定部464連接。并且,控制部420與區(qū)域分割部481和特定顏色區(qū)域判定部483連接。
區(qū)域分割部481根據(jù)來(lái)自控制部420的塊尺寸將從顏色轉(zhuǎn)換部461輸出的cb信號(hào)、cr信號(hào)分別分割為塊區(qū)域,將該塊區(qū)域輸出到統(tǒng)計(jì)量計(jì)算部482。
統(tǒng)計(jì)量計(jì)算部482計(jì)算cb信號(hào)的塊區(qū)域中的cb信號(hào)的平均值cba(x,y)和標(biāo)準(zhǔn)偏差值cbs(x,y),計(jì)算cr信號(hào)的塊區(qū)域中的cr信號(hào)的平均值cra(x,y)和標(biāo)準(zhǔn)偏差值crs(x,y)。統(tǒng)計(jì)量計(jì)算部482將計(jì)算出的這些值輸出到特定顏色區(qū)域判定部483。這里,x表示水平方向的塊區(qū)域的坐標(biāo),y表示垂直方向的塊區(qū)域的坐標(biāo)。圖像的左上方為原點(diǎn)(0,0)。隨著去往圖像的右方(水平掃描方向),x的值增大。隨著去往圖像的下方(與水平掃描方向正交的方向),y的值增大。
對(duì)特定顏色區(qū)域判定部483輸入上述平均值和標(biāo)準(zhǔn)偏差值。并且,從控制部420向特定顏色區(qū)域判定部483輸入用于在以cb信號(hào)和cr信號(hào)為坐標(biāo)軸的二維平面(以下稱為色相平面)中規(guī)定紅暈區(qū)域候選的特定顏色區(qū)域信息。
這里,特定顏色區(qū)域信息是指定色相平面內(nèi)的區(qū)域的信息,例如可以由色相角和彩度指定,也可以由cbcr坐標(biāo)指定。
并且,從控制部420向特定顏色區(qū)域判定部483輸入用于規(guī)定對(duì)大腸進(jìn)行一般觀察的情況下的粘膜和血管的顏色區(qū)域的通常顏色區(qū)域信息。通常顏色區(qū)域信息是指定色相平面內(nèi)的區(qū)域的信息,通過(guò)與特定顏色區(qū)域信息相同的形式進(jìn)行指定即可。另外,下面將特定顏色區(qū)域信息所表示的色相平面的區(qū)域稱為特定顏色區(qū)域,將通常顏色區(qū)域信息所表示的色相平面的區(qū)域稱為通常顏色區(qū)域。
如圖49所示,在平均值cba(x,y)、cra(x,y)進(jìn)入特定顏色區(qū)域內(nèi)的情況下,特定顏色區(qū)域判定部483將該塊區(qū)域的紅暈區(qū)域候選標(biāo)志frc(x,y)設(shè)定為“有效(on)”,將該標(biāo)志frc(x,y)記錄在存儲(chǔ)器484中。紅暈區(qū)域候選標(biāo)志frc(x,y)作為表示紅暈區(qū)域候選的標(biāo)志被分配給各塊區(qū)域。在未判定為塊區(qū)域是紅暈區(qū)域候選的情況下,特定顏色區(qū)域判定部483將該塊區(qū)域的紅暈區(qū)域候選標(biāo)志frc(x,y)設(shè)定為“無(wú)效(off)”,將該標(biāo)志frc(x,y)記錄在存儲(chǔ)器484中。
在標(biāo)準(zhǔn)偏差值cbs(x,y)小于閾值thcb、且標(biāo)準(zhǔn)偏差值crs(x,y)小于閾值thcr的情況下,特定顏色區(qū)域判定部483不變更該塊區(qū)域的紅暈區(qū)域候選標(biāo)志frc(x,y),使其維持現(xiàn)狀。閾值thcb、thcr存儲(chǔ)在存儲(chǔ)器484中。另一方面,在標(biāo)準(zhǔn)偏差值cbs(x,y)為閾值thcb以上(包含該值)、或標(biāo)準(zhǔn)偏差值crs(x,y)為閾值thcr以上(包含該值)的情況下,特定顏色區(qū)域判定部483將該塊區(qū)域的紅暈區(qū)域候選標(biāo)志frc(x,y)設(shè)定為“無(wú)效(off)”。特定顏色區(qū)域判定部483將所設(shè)定的紅暈區(qū)域候選標(biāo)志frc(x,y)輸出到紅暈區(qū)域判定部464。
這里,閾值thcb和閾值thcr是在過(guò)去攝像的彩色圖像中的塊區(qū)域的平均值cba(x,y)、cra(x,y)包含在通常顏色區(qū)域內(nèi)的情況下,對(duì)塊區(qū)域的標(biāo)準(zhǔn)偏差值cbs(x,y)、crs(x,y)的最大值maxcbss、maxcrss乘以規(guī)定系數(shù)(小于1)而得到的。規(guī)定系數(shù)預(yù)先保存在控制部420內(nèi),從控制部420取得。
將過(guò)去的標(biāo)準(zhǔn)的粘膜區(qū)域的最大標(biāo)準(zhǔn)偏差maxcbss、maxcrss作為基準(zhǔn)是因?yàn)?,將特定顏色區(qū)域所包含的顏色偏差比通常觀察的粘膜區(qū)域小的塊區(qū)域檢測(cè)為紅暈區(qū)域候選。即,這是因?yàn)?,在散焦?fàn)顟B(tài)的紅暈區(qū)域中,由于模糊而使得粘膜內(nèi)的血管未被分解,粘膜與血管之間的顏色偏差低。
11.5.散焦檢測(cè)部
圖51示出散焦檢測(cè)部463的詳細(xì)結(jié)構(gòu)例。散焦檢測(cè)部463包括區(qū)域分割部491、頻率成分生成部492、高頻有無(wú)判定部493。
區(qū)域分割部491與頻率成分生成部492連接。頻率成分生成部492與高頻有無(wú)判定部493連接。并且,控制部420與區(qū)域分割部491和高頻有無(wú)判定部493連接。
區(qū)域分割部491根據(jù)來(lái)自控制部420的塊尺寸將從顏色轉(zhuǎn)換部461輸出的亮度信號(hào)分割為塊區(qū)域,將分割后的塊區(qū)域輸出到頻率成分生成部492。
頻率成分生成部492對(duì)塊區(qū)域進(jìn)行例如dct(離散余弦轉(zhuǎn)換)、fft(高速傅里葉轉(zhuǎn)換),將其轉(zhuǎn)換為頻率成分。頻率成分生成部492將所生成的各塊區(qū)域的頻率成分輸出到高頻有無(wú)判定部493。
對(duì)高頻有無(wú)判定部493輸入各塊區(qū)域的頻率成分以及來(lái)自控制部420的高頻判定閾值thf和高頻有無(wú)判定閾值thp。在頻率成分的振幅值大于規(guī)定值的最高頻率大于高頻判定閾值thf、頻率成分總和大于高頻有無(wú)判定閾值thp的情況下,高頻有無(wú)判定部493判定為塊區(qū)域處于對(duì)焦?fàn)顟B(tài),將散焦?fàn)顟B(tài)標(biāo)志fdf(x,y)設(shè)定為“無(wú)效(off)”。在頻率成分總和為高頻有無(wú)判定閾值thp以下(包含該值)的情況下,高頻有無(wú)判定部493判定為處于散焦?fàn)顟B(tài),將散焦?fàn)顟B(tài)標(biāo)志fdf(x,y)設(shè)定為“有效(on)”。高頻有無(wú)判定部493將所設(shè)定的散焦?fàn)顟B(tài)標(biāo)志fdf(x,y)輸出到紅暈區(qū)域判定部464。
另外,散焦檢測(cè)部463不限于上述結(jié)構(gòu)。例如,散焦檢測(cè)部463也可以通過(guò)單純的高通濾波器或帶通濾波器對(duì)亮度信號(hào)進(jìn)行處理,在塊區(qū)域內(nèi)對(duì)提取出的高頻成分信號(hào)進(jìn)行絕對(duì)值相加,通過(guò)規(guī)定閾值對(duì)該值進(jìn)行閾值判定,從而判定散焦?fàn)顟B(tài)。
紅暈區(qū)域判定部464通過(guò)取紅暈區(qū)域候選標(biāo)志frc(x,y)與散焦?fàn)顟B(tài)標(biāo)志fdf(x,y)的邏輯積,得到紅暈區(qū)域標(biāo)志fr(x,y)。如圖52所示,紅暈區(qū)域判定部464例如利用閉合曲線近似設(shè)定包含紅暈區(qū)域標(biāo)志fr(x,y)為“有效(on)”的多個(gè)塊區(qū)域的邊界線,將該邊界線內(nèi)的區(qū)域作為最終的紅暈區(qū)域的判定結(jié)果。然后,紅暈區(qū)域判定部464將該區(qū)域內(nèi)的全部紅暈區(qū)域標(biāo)志fr(x,y)設(shè)定為“有效(on)”,將該紅暈區(qū)域標(biāo)志fr(x,y)輸出到變倍參數(shù)設(shè)定部465。
11.6.變倍參數(shù)設(shè)定部
圖53示出變倍參數(shù)設(shè)定部465的詳細(xì)結(jié)構(gòu)例。變倍參數(shù)設(shè)定部465包括紅暈區(qū)域參數(shù)計(jì)算部495和塊變倍參數(shù)計(jì)算部496。
紅暈區(qū)域參數(shù)計(jì)算部495與塊變倍參數(shù)計(jì)算部496連接。塊變倍參數(shù)計(jì)算部496與變倍處理部414連接。并且,控制部420與紅暈區(qū)域參數(shù)計(jì)算部495和塊變倍參數(shù)計(jì)算部496連接。
如圖52所示,紅暈區(qū)域參數(shù)計(jì)算部495計(jì)算所輸入的紅暈區(qū)域標(biāo)志fr(x,y)為“有效(on)”的區(qū)域的重心位置r0、以及從該重心位置r0到紅暈區(qū)域邊界的最大距離rr。具體而言,根據(jù)來(lái)自控制部420的塊尺寸計(jì)算紅暈區(qū)域標(biāo)志fr(x,y)為“有效(on)”的全部塊區(qū)域的中心坐標(biāo),將計(jì)算出的中心坐標(biāo)的紅暈區(qū)域內(nèi)平均值作為重心位置r0。并且,搜索紅暈區(qū)域內(nèi)的塊區(qū)域的中心坐標(biāo)和重心位置r0的最大距離,求出最大距離rr。紅暈區(qū)域參數(shù)計(jì)算部495將計(jì)算出的重心位置r0和最大距離rr輸出到塊變倍參數(shù)計(jì)算部496。
塊變倍參數(shù)計(jì)算部496根據(jù)所輸入的重心位置r0和最大距離rr,利用圓來(lái)定義紅暈區(qū)域(下面將該圓內(nèi)稱為紅暈區(qū)域)。紅暈區(qū)域的中心是重心位置r0,紅暈區(qū)域的半徑是最大距離rr。并且,還利用圓來(lái)定義整個(gè)成像區(qū)域(下面將該圓內(nèi)稱為成像區(qū)域)。成像區(qū)域的中心是光軸中心,與成像區(qū)域的半徑一起根據(jù)光學(xué)系統(tǒng)被預(yù)先確定。成像區(qū)域的中心和半徑從控制部420輸入到塊變倍參數(shù)計(jì)算部496。
塊變倍參數(shù)計(jì)算部496根據(jù)紅暈區(qū)域和成像區(qū)域決定各塊區(qū)域的變倍參數(shù)。具體而言,在設(shè)紅暈區(qū)域的中心位置為r0、塊區(qū)域的中心位置為b0(x,y)的情況下,求出穿過(guò)r0和b0(x,y)的直線。然后,計(jì)算該直線與成像區(qū)域的邊界的交點(diǎn)isb(x,y),計(jì)算該直線與紅暈區(qū)域的邊界的交點(diǎn)rb(x,y)。
塊變倍參數(shù)計(jì)算部496通過(guò)下式(27)計(jì)算線段|r0-rb(x,y)|的距離rr與線段|isb(x,y)-rb(x,y)|的距離ds(x,y)之比dratio(x,y)。并且,通過(guò)下式(28)計(jì)算r0與b0(x,y)的距離db(x,y)。針對(duì)全部塊區(qū)域計(jì)算dratio(x,y)和db(x,y)。
dratio(x,y)
=|isb(x,y)-rb(x,y)|/|r0-rb(x,y)|
=|isb(x,y)-rb(x,y)|/rr(27)
db(x,y)
=|r0-b0(x,y)|(28)
塊變倍參數(shù)計(jì)算部496將與各塊對(duì)應(yīng)地計(jì)算出的比dratio(x,y)、距離db(x,y)、紅暈區(qū)域的中心r0、紅暈區(qū)域的半徑rr輸出到變倍處理部414。
變倍處理部414蓄積1個(gè)畫面量的從塊變倍參數(shù)計(jì)算部496輸入的每個(gè)塊區(qū)域的參數(shù),生成像素單位的倍率轉(zhuǎn)換表。如圖54所示,紅暈區(qū)域與非紅暈區(qū)域的距離比dratio(x,y)被用于從多個(gè)變倍后歸一化距離相對(duì)于變倍前歸一化距離的對(duì)應(yīng)曲線中選擇一條曲線。該曲線可以由一覽表(lut)記述,也可以由多項(xiàng)式的系數(shù)記述。該曲線存儲(chǔ)在變倍處理部414內(nèi)的未圖示的rom表中,rom表的地址對(duì)應(yīng)于距離比dratio(x,y)。
變倍處理部414通過(guò)下式(29)計(jì)算各塊區(qū)域的歸一化距離nd(x,y)。
nd(x,y)=db(x,y)/(1+dratio(x,y))×rr(29)
變倍處理部414根據(jù)計(jì)算出的歸一化距離nd(x,y),決定代表各塊區(qū)域的變倍前后的歸一化距離的對(duì)應(yīng)關(guān)系(下面稱為代表對(duì)應(yīng)關(guān)系)。代表對(duì)應(yīng)關(guān)系是圖54所示的相對(duì)于變倍后的歸一化距離的變倍前的歸一化距離。變倍處理部414使用關(guān)注塊區(qū)域的代表對(duì)應(yīng)關(guān)系及其周邊塊區(qū)域的代表對(duì)應(yīng)關(guān)系,通過(guò)插值來(lái)計(jì)算關(guān)注塊區(qū)域內(nèi)的各像素中的變倍前后的歸一化距離的對(duì)應(yīng)關(guān)系。例如,作為插值處理,能夠利用線性插值。
變倍處理部414對(duì)從紅暈區(qū)域的中心位置r0到關(guān)注塊區(qū)域內(nèi)的像素位置p(i,j)的實(shí)際距離和該像素位置處的變倍前后的歸一化距離的對(duì)應(yīng)關(guān)系進(jìn)行相乘,將歸一化距離中的對(duì)應(yīng)關(guān)系轉(zhuǎn)換為實(shí)際距離中的對(duì)應(yīng)關(guān)系。這里,i、j分別表示像素間距精度的水平坐標(biāo)、垂直坐標(biāo)。由于與變倍后的像素位置(整數(shù)精度)對(duì)應(yīng)的變倍前的像素位置(實(shí)數(shù)精度)位于連接變倍后的像素位置p’(i,j)與紅暈區(qū)域的中心位置r0的線段上,所以,唯一確定為與實(shí)際距離對(duì)應(yīng)的坐標(biāo)值。
變倍處理部414使用該坐標(biāo)值的周邊多個(gè)像素值(像素值位于整數(shù)精度的像素位置),通過(guò)插值來(lái)計(jì)算所決定的變倍前的坐標(biāo)值中的像素值。例如,作為插值處理,能夠利用線性插值、bicubic等。這樣,能夠生成與紅暈區(qū)域相比相對(duì)放大了不是紅暈區(qū)域的關(guān)注區(qū)域的變倍圖像。
另外,可以始終實(shí)施紅暈區(qū)域的判定處理,也可以通過(guò)外部i/f部550所具有的未圖示的開(kāi)關(guān)以手動(dòng)的方式對(duì)紅暈區(qū)域的判定處理進(jìn)行接通/斷開(kāi)控制。即,也可以在用戶判斷為產(chǎn)生了紅暈區(qū)域后,通過(guò)接通開(kāi)關(guān)來(lái)實(shí)施紅暈區(qū)域的判定處理。
根據(jù)以上的實(shí)施方式,攝像圖像是對(duì)活體內(nèi)進(jìn)行攝像所得的圖像。關(guān)注區(qū)域設(shè)定部413具有接觸狀態(tài)信息取得部(圖48的顏色轉(zhuǎn)換部461、紅暈區(qū)域候選檢測(cè)部462、散焦檢測(cè)部463、紅暈區(qū)域判定部464)。接觸狀態(tài)信息取得部根據(jù)攝像圖像取得鏡體前端部與活體的接觸狀態(tài)信息(紅暈區(qū)域的信息)。關(guān)注區(qū)域設(shè)定部413根據(jù)該接觸狀態(tài)信息來(lái)設(shè)定關(guān)注區(qū)域。
具體而言,接觸狀態(tài)信息取得部檢測(cè)在攝像圖像中具有特定顏色范圍的顏色的特定顏色區(qū)域(色相平面中表示為紅暈區(qū)域的顏色區(qū)域),根據(jù)特定顏色區(qū)域來(lái)設(shè)定接觸區(qū)域。關(guān)注區(qū)域設(shè)定部413將該接觸區(qū)域以外的區(qū)域設(shè)定為關(guān)注區(qū)域。
例如,在本實(shí)施方式中,紅暈區(qū)域候選檢測(cè)部462(廣義地講為特定顏色區(qū)域檢測(cè)部)檢測(cè)特定顏色區(qū)域,紅暈區(qū)域判定部464(廣義地講為接觸區(qū)域設(shè)定部)設(shè)定接觸區(qū)域。
這樣,能夠判定與活體的接觸區(qū)域(紅暈區(qū)域。廣義地講為不可觀察區(qū)域),將該接觸區(qū)域以外的區(qū)域設(shè)定為關(guān)注區(qū)域并進(jìn)行調(diào)光控制。如上所述,在由于畸變像差而產(chǎn)生圖像失真這樣的寬視野的光學(xué)系統(tǒng)中,即使存在接觸區(qū)域,有時(shí)管腔的插入方向也會(huì)映入其他區(qū)域中。因此,通過(guò)對(duì)接觸區(qū)域以外的區(qū)域的明亮度進(jìn)行調(diào)光控制,能夠提高插入方向的視覺(jué)辨認(rèn)性,實(shí)現(xiàn)插入時(shí)間的縮短。
并且,在本實(shí)施方式中,接觸狀態(tài)信息取得部將特定顏色區(qū)域的圖像轉(zhuǎn)換為空間頻率成分,在轉(zhuǎn)換后的空間頻率成分為規(guī)定閾值以下的情況下,將特定顏色區(qū)域設(shè)定為接觸區(qū)域。例如,在判定為轉(zhuǎn)換后的空間頻率成分的振幅值大于等于規(guī)定值的最高頻率為第1閾值以下、或空間頻率成分的振幅值的總和為第2閾值以下的情況下,將特定顏色區(qū)域設(shè)定為接觸區(qū)域。
例如,在本實(shí)施方式中,散焦檢測(cè)部463(廣義地講為空間頻率轉(zhuǎn)換部)將特定顏色區(qū)域的圖像轉(zhuǎn)換為空間頻率成分,判定轉(zhuǎn)換后的空間頻率成分是否為規(guī)定閾值以下。
這樣,由于認(rèn)為在接觸區(qū)域中由于散焦而使圖像的高頻成分較小,所以,通過(guò)對(duì)特定顏色區(qū)域的高頻成分進(jìn)行閾值判定,能夠檢測(cè)接觸區(qū)域。
并且,在本實(shí)施方式中,如圖52中說(shuō)明的那樣,接觸狀態(tài)信息取得部設(shè)定包含特定顏色區(qū)域的圓,將圓的內(nèi)側(cè)設(shè)定為接觸區(qū)域。調(diào)光控制部進(jìn)行該接觸區(qū)域的圓的外側(cè)區(qū)域的調(diào)光控制。
接觸狀態(tài)信息是表示接觸區(qū)域的位置(圓的中心位置r0)和大小(半徑rr)的信息。
這樣,將接觸區(qū)域設(shè)定為圓區(qū)域,通過(guò)調(diào)光來(lái)控制該圓的外側(cè)區(qū)域的明亮度,由此,能夠以適當(dāng)曝光來(lái)顯示接觸區(qū)域以外的區(qū)域。
并且,在本實(shí)施方式中,如圖47所示,內(nèi)窺鏡裝置也可以包括變倍處理部414。如圖52中說(shuō)明的那樣,變倍處理部414根據(jù)在連接接觸區(qū)域的圓的中心與攝像圖像的外周(成像區(qū)域的外周)的直線中從圓的中心到圓周的距離rr與從圓周到外周的距離ds(x,y)之比dratio(x,y),設(shè)定關(guān)注區(qū)域的放大率(圖54的變倍前后的歸一化距離的對(duì)應(yīng)關(guān)系)。
這樣,通過(guò)沿著從接觸區(qū)域的圓的中心連接攝像圖像的外周的直線的變倍處理,能夠放大顯示關(guān)注區(qū)域。
以上說(shuō)明了應(yīng)用本發(fā)明的實(shí)施方式及其變形例,但是,本發(fā)明不限于各實(shí)施方式及其變形例,能夠在實(shí)施階段在不脫離發(fā)明主旨的范圍內(nèi)對(duì)結(jié)構(gòu)要素進(jìn)行變形而具體化。并且,通過(guò)對(duì)上述各實(shí)施方式和變形例所公開(kāi)的多個(gè)結(jié)構(gòu)要素進(jìn)行適當(dāng)組合,能夠形成各種發(fā)明。例如,可以從各實(shí)施方式和變形例所記載的全部結(jié)構(gòu)要素中刪除若干個(gè)結(jié)構(gòu)要素。進(jìn)而,可以對(duì)不同實(shí)施方式和變形例中說(shuō)明的結(jié)構(gòu)要素進(jìn)行適當(dāng)組合。這樣,能夠在不脫離發(fā)明主旨的范圍內(nèi)進(jìn)行各種變形和應(yīng)用。
并且,在說(shuō)明書或附圖中,至少一次與更加廣義或同義的不同用語(yǔ)一起記載的用語(yǔ)能夠在說(shuō)明書或附圖的任意部位置換為該不同用語(yǔ)。
標(biāo)號(hào)說(shuō)明
100:光源部;101:白色光源;102:光源光圈;103:驅(qū)動(dòng)部;104:旋轉(zhuǎn)濾色鏡;105:旋轉(zhuǎn)驅(qū)動(dòng)部;106:會(huì)聚透鏡;107:光源控制部;200:操作部;201:彎曲操作桿;202:插入口;203:操作量檢測(cè)傳感器;300:插入部;301:光導(dǎo)纖維;303:物鏡光學(xué)系統(tǒng);304:攝像元件;305:a/d轉(zhuǎn)換部;306:彎曲操作線;307:貫穿插入通道;308:處置器械傳感器;309:半透半反鏡;310:攝像元件;311:a/d轉(zhuǎn)換部;312:磁線圈;313:存儲(chǔ)器;314、315:照明透鏡;400:控制裝置;410:圖像處理部;411:預(yù)處理部;412:同時(shí)化部;413:關(guān)注區(qū)域設(shè)定部;414:變倍處理部;415:后處理部;416:測(cè)光部;417:同時(shí)化部;418:預(yù)處理部;419:灰度轉(zhuǎn)換部;420:控制部;430:狀態(tài)信息取得部;431:彎曲角度檢測(cè)部;432:彎曲運(yùn)動(dòng)量檢測(cè)部;436:被攝體信息取得部;437:觀察信息取得部;441:亮度換算部;442:加法部;443:確定部;445:區(qū)域分割部;446:柱狀圖計(jì)算部;447:灰度轉(zhuǎn)換特性計(jì)算部;448:轉(zhuǎn)換部;451:局部區(qū)域設(shè)定部;452:特征量計(jì)算部;453:病變區(qū)域檢測(cè)部;454:貼標(biāo)簽處理部;455:區(qū)域選出部;456:坐標(biāo)計(jì)算部;457:對(duì)應(yīng)部;459:測(cè)光處理?xiàng)l件設(shè)定部;461:顏色轉(zhuǎn)換部;462:紅暈區(qū)域候選檢測(cè)部;463:散焦檢測(cè)部;464:紅暈區(qū)域判定部;465:變倍參數(shù)設(shè)定部;471:失真校正部;472:圖像存儲(chǔ)器;473:運(yùn)動(dòng)檢測(cè)部;474:設(shè)定部;481:區(qū)域分割部;482:統(tǒng)計(jì)量計(jì)算部;483:特定顏色區(qū)域判定部;484:存儲(chǔ)器;491:區(qū)域分割部;492:頻率成分生成部;493:高頻有無(wú)判定部;495:紅暈區(qū)域參數(shù)計(jì)算部;496:塊變倍參數(shù)計(jì)算部;500:顯示部;550:外部i/f部;700:形狀檢測(cè)部;701~703:濾色鏡;704:旋轉(zhuǎn)馬達(dá);a、b:權(quán)重系數(shù);a(m,n):局部區(qū)域;b0(x,y):塊中心;b2、g2:圖像信號(hào);db(x,y):距離;dratio:距離比;ds(x,y):距離;isb(x,y):交點(diǎn);lc1、lc2:光線;lw:長(zhǎng)度;n、m:橫向?qū)挾鹊南袼財(cái)?shù);(n/2,m/2):圖像中心的坐標(biāo);nb、ng:濾色鏡;r:半徑;rd:距離;r0:中心位置;rb(x,y):交點(diǎn);rr:半徑;rs:半徑;sf1~sf3:面;(x,y):坐標(biāo);(x0,y0):關(guān)注區(qū)域中心像素的坐標(biāo);α:放大率;β:縮小率;θ:彎曲角度。