本發(fā)明涉及對(duì)焦控制裝置、內(nèi)窺鏡裝置以及對(duì)焦控制裝置的控制方法等。

背景技術(shù)：

在內(nèi)窺鏡系統(tǒng)中，要求盡可能深的景深，以不給用戶的診斷、處置帶來(lái)障礙。但是近年來(lái)，即使在內(nèi)窺鏡系統(tǒng)中，伴隨使用高像素的攝像元件，該景深也一直在變淺，所以提出了進(jìn)行自動(dòng)對(duì)焦(以下稱作af)的內(nèi)窺鏡系統(tǒng)。

在內(nèi)窺鏡手術(shù)中，為了進(jìn)行病變的切除或縫合等處置，電刀或鉗子等處置器械有時(shí)進(jìn)入作為合焦目標(biāo)的活體與作為攝像裝置的內(nèi)窺鏡系統(tǒng)之間。在該情況下，有時(shí)會(huì)合焦到對(duì)比度比活體高的處置器械，而無(wú)法合焦到活體。

專利文獻(xiàn)1公開(kāi)了如下方法：在關(guān)注被攝體和攝像裝置之間存在障礙物的情況下，通過(guò)由用戶指定障礙物，使得合焦到關(guān)注被攝體。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特開(kāi)2006-245792號(hào)公報(bào)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明所要解決的問(wèn)題

在專利文獻(xiàn)1中，需要用戶指定障礙物。因此，在內(nèi)窺鏡手術(shù)中使用了專利文獻(xiàn)1的方法的情況下，由于成為障礙物的處置器械的移動(dòng)劇烈，所以需要用戶頻繁地指定障礙物，操作變得復(fù)雜。

根據(jù)本發(fā)明的幾個(gè)方式，能夠提供一種具有用戶不進(jìn)行復(fù)雜的操作就能夠合焦到關(guān)注被攝體的af控制功能的對(duì)焦控制裝置、內(nèi)窺鏡裝置以及對(duì)焦控制裝置的控制方法等。

用于解決問(wèn)題的手段

本發(fā)明的一個(gè)方式涉及對(duì)焦控制裝置，該對(duì)焦控制裝置包含：區(qū)域設(shè)定部，其針對(duì)由攝像部拍攝的攝像圖像，設(shè)定各區(qū)域由多個(gè)像素構(gòu)成的多個(gè)區(qū)域；被攝體距離信息計(jì)算部，其在所設(shè)定的多個(gè)所述區(qū)域中，分別求出到在所述各區(qū)域中拍攝的被攝體為止的距離信息；以及對(duì)焦控制部，其根據(jù)所述距離信息來(lái)進(jìn)行對(duì)焦控制，所述對(duì)焦控制部根據(jù)所述距離信息，進(jìn)行將多個(gè)所述區(qū)域分類為多個(gè)組的分類處理，并根據(jù)多個(gè)所述組的各組的面積信息來(lái)進(jìn)行所述對(duì)焦控制。

在本發(fā)明的一個(gè)方式中，在以各區(qū)域?yàn)閷?duì)象求出距離信息以后，使用該距離信息將多個(gè)區(qū)域分類為組。然后，根據(jù)各組的面積信息來(lái)進(jìn)行對(duì)焦控制，所以用戶不進(jìn)行復(fù)雜的操作就能夠合焦到關(guān)注被攝體等。

本發(fā)明的另一方式涉及一種包含上述對(duì)焦控制裝置的內(nèi)窺鏡裝置。

本發(fā)明的另一方式涉及對(duì)焦控制裝置的控制方法，其中，針對(duì)由攝像部拍攝的攝像圖像，設(shè)定各區(qū)域由多個(gè)像素構(gòu)成的多個(gè)區(qū)域，在所設(shè)定的多個(gè)所述區(qū)域中的各個(gè)區(qū)域中，求出到在所述各區(qū)域中拍攝的被攝體為止的距離信息，根據(jù)所述距離信息，進(jìn)行將多個(gè)所述區(qū)域分類為多個(gè)組的分類處理，并根據(jù)多個(gè)所述組的各組的面積信息進(jìn)行對(duì)焦控制。

附圖說(shuō)明

圖1是本實(shí)施方式的對(duì)焦控制裝置的結(jié)構(gòu)例。

圖2是內(nèi)窺鏡裝置(攝像部)和多個(gè)被攝體的位置關(guān)系的例子。

圖3是包含本實(shí)施方式的對(duì)焦控制裝置的內(nèi)窺鏡裝置的結(jié)構(gòu)例。

圖4是攝像元件的結(jié)構(gòu)例。

圖5是af控制部的結(jié)構(gòu)例。

圖6是說(shuō)明本實(shí)施方式的對(duì)焦控制的流程圖。

圖7是說(shuō)明比較例的鏡頭移動(dòng)目的地計(jì)算處理的流程圖。

圖8的(a)、圖8的(b)是與模式對(duì)應(yīng)的區(qū)域設(shè)定的例子。

圖9是根據(jù)相位差信息求出距離信息的方法的說(shuō)明圖。

圖10是說(shuō)明所拍攝的多個(gè)被攝體和攝像部的相對(duì)位置關(guān)系、以及目標(biāo)合焦位置的關(guān)系的圖。

圖11是說(shuō)明所拍攝的多個(gè)被攝體和攝像部的相對(duì)位置關(guān)系、以及目標(biāo)合焦位置的關(guān)系的其他圖。

圖12的(a)、圖12的(b)是拍攝到攝像部的距離不同的多個(gè)活體的狀況的具體例子。

圖13是說(shuō)明鏡頭移動(dòng)目的地計(jì)算處理的流程圖。

圖14的(a)、圖14的(b)是各模式下的有效塊、無(wú)效塊的設(shè)定例。

圖15是說(shuō)明鏡頭移動(dòng)目的地計(jì)算處理的其他流程圖。

具體實(shí)施方式

下面，對(duì)實(shí)施方式進(jìn)行說(shuō)明。另外，以下說(shuō)明的本實(shí)施方式并不是不當(dāng)限定權(quán)利要求范圍所記載的本發(fā)明的內(nèi)容。此外，本實(shí)施方式中說(shuō)明的結(jié)構(gòu)未必全部都是本發(fā)明的必需結(jié)構(gòu)要件。

1.本實(shí)施方式的方法

首先，對(duì)本實(shí)施方式的方法進(jìn)行說(shuō)明。一般而言，在攝像圖像中除了用戶正在關(guān)注的被攝體以外，還可能拍攝了成為障礙物的被攝體。在該情況下，期望正在關(guān)注的被攝體在攝像圖像中成為容易觀察的狀態(tài)、即被合焦的(焦點(diǎn)對(duì)準(zhǔn)的)狀態(tài)。但是，在單純使用了自動(dòng)對(duì)焦(af)的情況下，未必能夠合焦到正在關(guān)注的被攝體。例如，如果是對(duì)比度af，則合焦到對(duì)比度高的區(qū)域，因此如上所述，雖然正在關(guān)注活體，但有可能合焦到處置器械。此外，在相位差af等的情況下，在可取得相位差信息的各點(diǎn)上，能夠取得在該點(diǎn)進(jìn)行合焦用的信息(例如鏡頭的移動(dòng)量)，但需要另行考慮用戶正在關(guān)注哪個(gè)點(diǎn)。

與此相對(duì)，如專利文獻(xiàn)1所公開(kāi)的方法那樣，如果是用戶自身指定作為障礙物的被攝體的形式，則能夠高精度地合焦到期望的被攝體。但是，在規(guī)定的狀況下，攝像圖像中的障礙物的狀況有可能頻繁地產(chǎn)生變化，在這樣的情況下，每當(dāng)產(chǎn)生變化時(shí)，用戶都必須指定障礙物，用戶的操作負(fù)擔(dān)大。

例如在腹腔鏡手術(shù)等內(nèi)窺鏡手術(shù)中，將處置器械與鏡體(攝像部)一起插入體內(nèi)，使用該處置器械來(lái)進(jìn)行針對(duì)活體的處置。這里的處置器械是在針對(duì)活體的處置中使用的器械，具體而言是電刀等能源設(shè)備或鉗子等。在該情況下，處置器械在針對(duì)活體的處置、例如使用鉗子來(lái)拉升膜狀的活體，或用電刀切除由鉗子進(jìn)行了固定的活體的行為中被使用，所以被用戶(醫(yī)生、手術(shù)操作者)頻繁地移動(dòng)。其結(jié)果，攝像圖像中的拍攝了處置器械的圖像上位置或尺寸頻繁地產(chǎn)生變化。因此，即使在用戶關(guān)注著活體而處置器械成為障礙物的情況和關(guān)注著處置器械而活體成為障礙物的情況中的任意的情況下，拍攝了障礙物的區(qū)域也頻繁地產(chǎn)生變化，所以如果用戶以手動(dòng)的方式進(jìn)行指定的話，用戶負(fù)擔(dān)大。

對(duì)此，如果能夠在攝像圖像上自動(dòng)確定用戶正在關(guān)注的被攝體，則通過(guò)使用拍攝了該被攝體的區(qū)域的信息來(lái)進(jìn)行af，能夠合焦到正在關(guān)注的被攝體。

因此，本申請(qǐng)人提出如下這樣的對(duì)焦控制裝置。如圖1所示，本實(shí)施方式的對(duì)焦控制裝置包含：區(qū)域設(shè)定部2010，其針對(duì)由攝像部(對(duì)應(yīng)于后述的圖3的攝像部200)拍攝出的攝像圖像，設(shè)定由多個(gè)像素構(gòu)成的多個(gè)區(qū)域；被攝體距離信息計(jì)算部2040，其在所設(shè)定的多個(gè)區(qū)域的各區(qū)域中，求出到區(qū)域中所拍攝的被攝體的距離信息；以及對(duì)焦控制部2095，其根據(jù)距離信息，來(lái)進(jìn)行對(duì)焦控制。然后，對(duì)焦控制部2095根據(jù)距離信息，來(lái)進(jìn)行將多個(gè)區(qū)域分類為多個(gè)組的分類處理，并根據(jù)多個(gè)組的各組的面積信息，來(lái)進(jìn)行對(duì)焦控制。

這里，面積信息只要是表示面積的信息即可，不限于面積本身。例如，如后述的圖8的(a)、圖8的(b)所示，在各區(qū)域(各評(píng)價(jià)塊)的尺寸相同的情況下，面積成為與評(píng)價(jià)塊的數(shù)量成比例的信息，所以可以將分類為組的評(píng)價(jià)塊數(shù)量作為關(guān)于該組的上述面積信息。此外，面積信息可以是相對(duì)值，例如可以表示相對(duì)于給定區(qū)域的面積的比例。具體而言，可以將分類為組的評(píng)價(jià)塊的面積或數(shù)量相對(duì)于后述的有效塊(評(píng)價(jià)塊中的非無(wú)效塊的塊)的面積或數(shù)量的比例作為面積信息。此外，作為比例的基準(zhǔn)的區(qū)域不限定于有效塊，也可以將相對(duì)于后述af區(qū)域的比例、或相對(duì)于攝像圖像整體的比例等作為面積信息。但是，在變更作為比例的基準(zhǔn)的區(qū)域的情況下，優(yōu)選還變更在對(duì)焦控制中使用的判定基準(zhǔn)(閾值等)。

例如在以內(nèi)窺鏡手術(shù)為對(duì)象的情況下，攝像圖像是活體內(nèi)圖像，所以拍攝空間上受限的區(qū)域。操作攝像部的用戶(例如手術(shù)助手)應(yīng)該操作攝像部使得容易觀察期望的被攝體，作為一例，使攝像部移動(dòng)到與正在關(guān)注的活體正對(duì)的位置關(guān)系。其結(jié)果，在取得的攝像圖像中，作為正在關(guān)注的被攝體的活體占據(jù)某種程度的區(qū)域。即，正在關(guān)注的被攝體在攝像圖像上占據(jù)較大的面積的可能性大，通過(guò)使用面積信息，能夠適當(dāng)判別正在關(guān)注的被攝體，從而合焦到該被攝體。

這時(shí)，組分類根據(jù)距離信息來(lái)進(jìn)行。詳細(xì)內(nèi)容將后述，例如可以將利用距離信息表示的距離(以攝像部為基準(zhǔn)的距離)近的評(píng)價(jià)塊匯總為1個(gè)組。

但是，本實(shí)施方式中的對(duì)焦控制不限定于合焦到面積最大的組的控制。例如，對(duì)焦控制部2095可以執(zhí)行優(yōu)先合焦到多個(gè)組中的到攝像部的距離遠(yuǎn)的區(qū)域的對(duì)焦控制。

“優(yōu)先合焦到到攝像部的距離遠(yuǎn)的區(qū)域”例如是指，在攝像圖像中拍攝了到攝像部200的距離為d1的第1組和為d2(<d1)的第2組的情況下，合焦到第1組的可能性高于合焦到第2組。通過(guò)本實(shí)施方式的方法可求出各區(qū)域的距離信息，所以還能夠求出各組的距離信息。即上述控制能夠通過(guò)在多個(gè)組中分別求出的距離信息的比較處理來(lái)實(shí)現(xiàn)。

由此，能夠在用戶正在關(guān)注到攝像部200的距離遠(yuǎn)的被攝體的可能性大的狀況下，合焦到適當(dāng)?shù)谋粩z體。如上所述，設(shè)想在取得的攝像圖像中作為關(guān)注被攝體的活體占據(jù)某種程度的區(qū)域的情況，且除該活體以外的被攝體進(jìn)入該區(qū)域的后方(到攝像部200遠(yuǎn)的位置)的可能性變小。即，在該情況下，可以說(shuō)處于正在關(guān)注的被攝體的距離在攝像圖像中最遠(yuǎn)(或即使不是最遠(yuǎn)點(diǎn)，也認(rèn)為十分接近最遠(yuǎn)點(diǎn))的狀態(tài)。此外，如果考慮一邊觀察攝像圖像一邊進(jìn)行手術(shù)，則如圖2所示，處置器械等有可能作為障礙物被拍攝在活體的近前側(cè)(靠近攝像部200的一側(cè))，但由于針對(duì)它們合焦的優(yōu)先級(jí)低，所以能夠抑制合焦到處置器械的可能性。

另外，如上所述，在本實(shí)施方式的對(duì)焦控制裝置為對(duì)象的狀況下，最遠(yuǎn)的(位于里側(cè)的)被攝體是正在關(guān)注的被攝體的可能性大，但并不排除用戶正在關(guān)注其他被攝體的可能性。例如，在進(jìn)行縫合的情況下，需要使用鉗子等來(lái)以適合于縫合的角度保持針或線的作業(yè)等，在該作業(yè)中，用戶應(yīng)該正在關(guān)注比活體更靠近前的針或線，而不是活體。

即，使用面積信息，并優(yōu)先合焦到離攝像部200的距離遠(yuǎn)的區(qū)域這樣的控制是本實(shí)施方式中的對(duì)焦控制的基礎(chǔ)，但在滿足了任意的例外條件的情況下，也可以進(jìn)行利用不同的指標(biāo)的對(duì)焦控制。例如，可以通過(guò)合焦到離攝像部200的距離近的被攝體，從而合焦到針或線。

以下，對(duì)本實(shí)施方式詳細(xì)地進(jìn)行說(shuō)明。在首先說(shuō)明了本實(shí)施方式的對(duì)焦控制裝置和包含對(duì)焦控制裝置的內(nèi)窺鏡裝置的系統(tǒng)結(jié)構(gòu)例以后，使用流程圖來(lái)說(shuō)明本實(shí)施方式的處理的流程。并且，說(shuō)明本實(shí)施方式的具體例，最后還對(duì)變形例進(jìn)行說(shuō)明。

2.系統(tǒng)結(jié)構(gòu)例

使用圖3，對(duì)本實(shí)施方式的內(nèi)窺鏡裝置(內(nèi)窺鏡系統(tǒng))進(jìn)行說(shuō)明。本實(shí)施方式中的內(nèi)窺鏡系統(tǒng)具有：作為插入到體內(nèi)的插入部的硬性鏡100、與硬性鏡100連接的攝像部200、處理部300、顯示部400、外部i/f部500和光源部600。

光源部600具有產(chǎn)生白色光的白色光源610和將來(lái)自白色光源610的射出光引導(dǎo)至硬性鏡的光導(dǎo)纜線620。

硬性鏡100具有：鏡頭系統(tǒng)110，其構(gòu)成為包含成像鏡頭、中繼鏡頭、目鏡等；以及光導(dǎo)部120，其將來(lái)自光導(dǎo)纜線620的射出光引導(dǎo)至硬性鏡前端。

攝像部200具有物鏡系統(tǒng)240，該物鏡系統(tǒng)240對(duì)來(lái)自鏡頭系統(tǒng)110的射出光進(jìn)行成像。物鏡系統(tǒng)240構(gòu)成為包含對(duì)焦鏡頭220，該對(duì)焦鏡頭220調(diào)整合焦物體位置。攝像部200還具有：攝像元件250，其對(duì)由物鏡系統(tǒng)240成像的反射光進(jìn)行光電轉(zhuǎn)換并生成圖像；對(duì)焦鏡頭驅(qū)動(dòng)部230，其驅(qū)動(dòng)對(duì)焦鏡頭220；以及af按鈕(af開(kāi)始/結(jié)束按鈕)210，其控制af的開(kāi)始、結(jié)束。對(duì)焦鏡頭驅(qū)動(dòng)部230例如是音圈電機(jī)(vcm)。

這里，使用圖4，對(duì)本實(shí)施方式中的攝像元件250的詳細(xì)內(nèi)容進(jìn)行說(shuō)明。圖4是將攝像元件250的一部分放大后的圖。如圖4所示，攝像元件250按照將多個(gè)像素呈2維排列狀配置的構(gòu)造，在各像素上以拜爾排列配置有rgb中的任意的濾色器。一部分像素是開(kāi)口部的一部分被遮光的相位傳感器。相位傳感器由遮光部的配置不同的相位傳感器s1組和相位傳感器s2組構(gòu)成。

例如，相位傳感器s1組通過(guò)對(duì)開(kāi)口部的右側(cè)進(jìn)行遮光，接收入射到開(kāi)口部的左側(cè)的光。相位傳感器s2組通過(guò)對(duì)開(kāi)口部的左側(cè)進(jìn)行遮光，接收入射到開(kāi)口部的右側(cè)的光。由此，能夠得到與將物鏡系統(tǒng)240的光瞳左右分割的情況相同的效果，因此能夠?qū)?lái)自s1組的信號(hào)和來(lái)自s2組的信號(hào)視作通過(guò)各個(gè)光瞳后的光線的相位信號(hào)。例如在由物鏡系統(tǒng)240成像的被攝體的像位置與攝像元件250的攝像面一致(焦點(diǎn)對(duì)準(zhǔn)的)的情況下，來(lái)自s1組的相位信號(hào)與來(lái)自s2組的相位信號(hào)一致，在像位置處于攝像面的前方或后方(焦點(diǎn)未對(duì)準(zhǔn)的)的情況下，來(lái)自s1組的相位信號(hào)與來(lái)自s2組的相位信號(hào)產(chǎn)生相位差。遮光部的配置可進(jìn)行上下或斜向等各種配置，還能夠檢測(cè)與配置對(duì)應(yīng)的方向的相位差。

在將相位傳感器配置于由拜爾排列構(gòu)成的攝像元件的情況下，作為內(nèi)窺鏡系統(tǒng)的觀察對(duì)象的活體在g、b通道具有比較多的信息，所以如圖4所示，優(yōu)選將r像素的一部分作為相位傳感器。此外，相位傳感器s1組和相位傳感器s2組優(yōu)選在攝像元件250上配置于附近，但如果考慮由攝像元件250拍攝被攝體而得到的圖像的畫(huà)質(zhì)，則如圖4所示，優(yōu)選配置成像素不相鄰。

攝像元件250除了具有如圖4所示的由拜爾排列構(gòu)成的濾色器的攝像元件以外，只要是使用了補(bǔ)色濾色器的攝像元件、或不使用濾色器而能夠利用1個(gè)像素接收不同波長(zhǎng)的光的層疊型的攝像元件、不使用濾色器的單色攝像元件等可拍攝被攝體而得到圖像的攝像元件即可，能夠使用任意的攝像元件。

此外，除了將相位傳感器s1組和相位傳感器s2組如圖4所示配置于攝像元件250的一部分像素中的方法以外，還可以另行使用配置有相位傳感器s1組和相位傳感器s2組的專用傳感器。專用傳感器可以配置在與攝像元件250相同的光軸上，也可以使用半透半反鏡等配置在不同的光軸上。

處理部300具有：ad轉(zhuǎn)換部310、預(yù)處理部320、圖像處理部330、af控制部340和控制部350。ad轉(zhuǎn)換部310將從攝像元件250依次輸出的模擬信號(hào)轉(zhuǎn)換為數(shù)字的圖像，依次輸出到預(yù)處理部320和af控制部340。預(yù)處理部320對(duì)從ad轉(zhuǎn)換部310輸出的圖像實(shí)施白平衡、插值處理(去馬賽克處理)等圖像處理，依次輸出到圖像處理部330和af控制部340。這里，從預(yù)處理部320輸出的圖像的尺寸與從ad轉(zhuǎn)換部310輸出到af控制部340的圖像的尺寸相同。圖像處理部330對(duì)從預(yù)處理部320輸出的圖像實(shí)施顏色轉(zhuǎn)換、灰度轉(zhuǎn)換、邊緣強(qiáng)調(diào)、縮放處理、降噪等圖像處理，將圖像依次輸出到顯示部400。

例如圖5所示，af控制部340具有：區(qū)域設(shè)定部(af區(qū)域設(shè)定部)2010、模式設(shè)定部2020、相位信號(hào)生成部2030、被攝體距離信息計(jì)算部2040、置信度計(jì)算部2050、被攝體特征量計(jì)算部2060、關(guān)注區(qū)域估計(jì)部2070和鏡頭移動(dòng)目的地決定部2080。

區(qū)域設(shè)定部2010針對(duì)攝像圖像，設(shè)定在af中使用的區(qū)域。這里的區(qū)域可以包含af區(qū)域和評(píng)價(jià)塊雙方。模式設(shè)定部2020進(jìn)行af模式的設(shè)定。相位信號(hào)生成部2030根據(jù)來(lái)自相位傳感器的傳感器信號(hào)，生成相位信號(hào)(狹義而言是相位差信號(hào))。被攝體距離信息計(jì)算部2040根據(jù)所生成的相位差信號(hào)，以各評(píng)價(jià)塊為對(duì)象，求出表示到所拍攝的被攝體的距離的距離信息。置信度計(jì)算部2050以各評(píng)價(jià)塊為對(duì)象，計(jì)算表示所求出的距離信息的似然性的置信度。被攝體特征量計(jì)算部2060根據(jù)攝像圖像，計(jì)算特征量。該處理可以將各評(píng)價(jià)塊作為對(duì)象。關(guān)注區(qū)域估計(jì)部2070估計(jì)關(guān)注區(qū)域，該關(guān)注區(qū)域是被攝像圖像中的判定為用戶正在關(guān)注的區(qū)域。這里的關(guān)注區(qū)域可以表示后述的組，也可以表示其中的1個(gè)區(qū)域(評(píng)價(jià)塊)。鏡頭移動(dòng)目的地決定部2080根據(jù)關(guān)注區(qū)域的估計(jì)結(jié)果，決定對(duì)焦鏡頭220的移動(dòng)目的地。

另外，關(guān)于由af控制部340的各個(gè)部進(jìn)行的處理的詳細(xì)內(nèi)容將后述。此外，圖1中的對(duì)焦控制部2095例如可以對(duì)應(yīng)于圖5所示的af控制部340中的去除了區(qū)域設(shè)定部2010和被攝體距離信息計(jì)算部2040后的結(jié)構(gòu)。此外，本實(shí)施方式的對(duì)焦控制裝置可以對(duì)應(yīng)于圖5所示的af控制部340。但是，對(duì)焦控制裝置的結(jié)構(gòu)不限定于此，能夠?qū)嵤D1的處理部300整體作為對(duì)焦控制裝置等各種變形。此外，能夠?qū)嵤┦÷詫?duì)焦控制裝置的一部分結(jié)構(gòu)要素或追加其他結(jié)構(gòu)要素等各種變形。此外，關(guān)于圖3等的其他結(jié)構(gòu)，在能夠?qū)嵤└鞣N變形方面也相同。

控制部350與外部i/f部500或圖像處理部330、af控制部340、攝像元件250、af按鈕210等相互連接，進(jìn)行控制信號(hào)的輸入輸出。

顯示部400例如是液晶監(jiān)視器，對(duì)從圖像處理部330依次輸出的圖像進(jìn)行顯示。

外部i/f部500是用于由用戶進(jìn)行對(duì)內(nèi)窺鏡裝置的輸入等的接口，構(gòu)成為包含例如切換af模式的模式按鈕、用于設(shè)定af區(qū)域的位置或尺寸的設(shè)定按鈕、用于調(diào)整圖像處理的參數(shù)的調(diào)整按鈕等。本實(shí)施方式中的內(nèi)窺鏡系統(tǒng)作為af模式，例如具有用于合焦到活體的活體模式和用于合焦到在內(nèi)窺鏡手術(shù)中使用的針或線的針線模式。

3.處理流程

接著，使用圖6等，對(duì)本實(shí)施方式中的由af控制部340進(jìn)行的af控制的概要進(jìn)行說(shuō)明。另外，首先，作為針對(duì)本實(shí)施方式的比較例，對(duì)圖7的流程圖所示的處理進(jìn)行說(shuō)明，然后對(duì)在使用圖7的處理的情況下可能產(chǎn)生的問(wèn)題進(jìn)行說(shuō)明，使用圖13的流程圖，對(duì)能夠解決該問(wèn)題的本實(shí)施方式的對(duì)焦控制進(jìn)行說(shuō)明。

如圖6所示，在用戶操作af按鈕210而開(kāi)始了af后，af控制部340首先開(kāi)始合焦動(dòng)作。在開(kāi)始合焦動(dòng)作后，首先，af控制部340根據(jù)從ad轉(zhuǎn)換部310依次輸出的圖像，計(jì)算對(duì)焦鏡頭220的移動(dòng)目的地(s100)。關(guān)于對(duì)焦鏡頭移動(dòng)目的地計(jì)算(s100)的詳細(xì)內(nèi)容將后述。接著，af控制部340進(jìn)行是否完成了合焦的判斷(s110)。這里，af控制部340判斷執(zhí)行步驟s100而計(jì)算出的對(duì)焦鏡頭220的移動(dòng)目的地是否以當(dāng)前的對(duì)焦鏡頭220的位置為基準(zhǔn)進(jìn)入到了規(guī)定范圍內(nèi)(考慮了景深等的規(guī)定誤差內(nèi))，在進(jìn)入了規(guī)定范圍的情況下，判斷為合焦。另外，af控制部340可以通過(guò)進(jìn)行公知的合焦判定處理等，進(jìn)行合焦判斷。

接著，af控制部340在未完成合焦的情況下根據(jù)在s100中計(jì)算出的對(duì)焦鏡頭220的移動(dòng)目的地，通過(guò)向?qū)圭R頭驅(qū)動(dòng)部230進(jìn)行驅(qū)動(dòng)指示，驅(qū)動(dòng)對(duì)焦鏡頭220(s120)。然后，返回到步驟s100。在步驟s110中判斷為完成合焦的情況下，af控制部340結(jié)束合焦動(dòng)作。

在本實(shí)施例中，如后所述，使用相位差來(lái)計(jì)算對(duì)焦鏡頭220的移動(dòng)目的地。在未對(duì)后述的相位信號(hào)施加有噪聲的條件下，只要計(jì)算1次對(duì)焦鏡頭220的移動(dòng)目的地，就能夠合焦到該時(shí)刻的被攝體。但是，由于噪聲與實(shí)際的相位信號(hào)重疊，所以有時(shí)僅通過(guò)計(jì)算1次對(duì)焦鏡頭220的移動(dòng)目的地，還無(wú)法實(shí)現(xiàn)合焦。因此，如以上所說(shuō)明那樣，反復(fù)步驟s100至步驟s120，直到計(jì)算出的對(duì)焦鏡頭220的移動(dòng)目的地以當(dāng)前的對(duì)焦鏡頭220的位置為基準(zhǔn)進(jìn)入到規(guī)定范圍內(nèi)為止。

在合焦動(dòng)作已結(jié)束的情況下，af控制部340開(kāi)始待機(jī)動(dòng)作。在開(kāi)始了待機(jī)動(dòng)作后，af控制部340檢測(cè)場(chǎng)景變化(s130)。這里，af控制部340例如通過(guò)使用從預(yù)處理部320依次輸出的圖像來(lái)監(jiān)視例如圖像的顏色或亮度變化或圖像的運(yùn)動(dòng)等，檢測(cè)場(chǎng)景變化。接著，af控制部340進(jìn)行是否檢測(cè)到場(chǎng)景變化的判斷(s140)。在未檢測(cè)到場(chǎng)景變化的情況下，反復(fù)進(jìn)行從s130起的動(dòng)作，在檢測(cè)到場(chǎng)景變化的情況下，結(jié)束待機(jī)動(dòng)作。在待機(jī)動(dòng)作結(jié)束了的情況下，af控制部340再次開(kāi)始合焦動(dòng)作。另外，在執(zhí)行待機(jī)動(dòng)作期間，af控制部340例如將對(duì)焦鏡頭位置固定于合焦動(dòng)作結(jié)束時(shí)的位置，不進(jìn)行對(duì)焦鏡頭220的驅(qū)動(dòng)。另外，在待機(jī)動(dòng)作中等，在用戶再次操作了af按鈕210的情況下，可以結(jié)束圖6所示的流程。

接著，使用圖7，對(duì)被認(rèn)為af控制部340中的對(duì)焦鏡頭移動(dòng)目的地計(jì)算(s100)的方法的比較例進(jìn)行說(shuō)明。

這里，本實(shí)施方式中的af模式具有活體模式和針線模式，例如根據(jù)來(lái)自上述外部i/f部500的輸入，由控制部350在模式設(shè)定部2020中進(jìn)行設(shè)定。此外，可以利用控制部350對(duì)由攝像元件250拍攝出的圖像數(shù)據(jù)(攝像圖像)進(jìn)行解析，由此能夠根據(jù)特定的圖像圖案或動(dòng)作等，變更af模式。模式設(shè)定部2020將表現(xiàn)活體模式或針線模式的af模式信息輸出到區(qū)域設(shè)定部2010、關(guān)注區(qū)域估計(jì)部2070。

首先，區(qū)域設(shè)定部2010根據(jù)從控制部350輸出的af區(qū)域的位置和尺寸等信息，在圖像上設(shè)定由多個(gè)塊構(gòu)成的af區(qū)域(s200)。區(qū)域設(shè)定部2010將所設(shè)定的af區(qū)域信息輸出到相位信號(hào)生成部2030和被攝體特征量計(jì)算部2060。圖8的(a)、圖8的(b)示出af區(qū)域的設(shè)定的例子。在圖8的(a)、圖8的(b)中，外周的矩形表示圖像整體，記為a的矩形表示后述的af評(píng)價(jià)值或置信度等的計(jì)算對(duì)象的區(qū)域即評(píng)價(jià)塊。此外，在圖8的(a)、圖8的(b)中，設(shè)包圍評(píng)價(jià)塊整體的范圍為af區(qū)域。在圖8的(a)中，在圖像數(shù)據(jù)的中央部設(shè)定橫向上4個(gè)、縱向上3個(gè)的合計(jì)12個(gè)評(píng)價(jià)塊。在圖8的(b)中，在圖像的中央部設(shè)定橫向上7個(gè)、縱向上5個(gè)的合計(jì)35個(gè)評(píng)價(jià)塊。

在活體模式的情況下，區(qū)域設(shè)定部2010根據(jù)從模式設(shè)定部2020輸出的af模式信息，設(shè)定如圖8的(a)的評(píng)價(jià)塊。另一方面，在針線模式的情況下，作為對(duì)象的被攝體即針或線比活體小，所以如圖8的(b)那樣設(shè)定比活體模式小的評(píng)價(jià)塊。此外，在操作針或線的情況下，多數(shù)情況在畫(huà)面的中央部進(jìn)行操作，所以將af區(qū)域設(shè)定為更小。此外，多數(shù)情況下針或線由于重力的影響而被拍攝于圖像的中央稍微向下方，所以如圖8的(b)那樣，可以通過(guò)將評(píng)價(jià)塊設(shè)定于在相對(duì)于圖像數(shù)據(jù)的中心向下方偏離的位置，而不是將af區(qū)域設(shè)定于圖像數(shù)據(jù)的中央部，更可靠地將拍攝針或線的區(qū)域包含在af區(qū)域中。

這里，將af區(qū)域設(shè)定于認(rèn)為是主要拍攝了主要被攝體的部分。此外，各評(píng)價(jià)塊至少包含相位傳感器s1組的一部分和相位傳感器s2組的一部分。此外，區(qū)域之間未必需要相鄰，還可以在區(qū)域之間變更大小或形狀等。此外，可以根據(jù)被攝體或用戶的操作等適當(dāng)進(jìn)行變更。此外，不一定需要根據(jù)模式而變更評(píng)價(jià)塊的設(shè)定，例如可以在活體模式和針線模式下設(shè)定共用的評(píng)價(jià)塊。

接著，相位信號(hào)生成部2030根據(jù)從ad轉(zhuǎn)換部310輸出的圖像和從區(qū)域設(shè)定部2010輸出的af區(qū)域信息，使用與各評(píng)價(jià)塊中所包含的相位傳感器s1組和相位傳感器s2組對(duì)應(yīng)的像素值，來(lái)生成各評(píng)價(jià)塊的相位信號(hào)(s210)。相位信號(hào)生成部2030將各評(píng)價(jià)塊的相位信號(hào)輸出到被攝體距離信息計(jì)算部2040。

接著，被攝體距離信息計(jì)算部2040根據(jù)從相位信號(hào)生成部2030輸出的各評(píng)價(jià)塊的相位信號(hào)，來(lái)計(jì)算各評(píng)價(jià)塊的距離信息(被攝體距離)(s220)。被攝體距離信息計(jì)算部2040將計(jì)算出的各評(píng)價(jià)塊的距離信息輸出到關(guān)注區(qū)域估計(jì)部2070。并且，被攝體距離信息計(jì)算部2040針對(duì)各評(píng)價(jià)塊，將后述的相位信號(hào)的相關(guān)的程度輸出到置信度計(jì)算部2050。這里，距離信息是指從攝像面到在該區(qū)域中拍攝到的被攝體的距離。但是，被攝體距離不限于確切的距離，只要是能夠判別被攝體的前后關(guān)系的信息即可。例如，可以使用對(duì)焦鏡頭220的位置等作為距離信息。此外，作為距離信息的基準(zhǔn)的位置不限于攝像面，可以將硬性鏡100的前端等其他位置作為基準(zhǔn)。

這里，使用圖9，對(duì)被攝體距離信息計(jì)算部2040中的距離信息計(jì)算方法進(jìn)行說(shuō)明。圖9是示出了在像位置位于攝像面的后方的情況下，通過(guò)分割后的光瞳的光線的圖。光線1是通過(guò)了與s1組對(duì)應(yīng)的光瞳的光線，光線2是通過(guò)了與s2組對(duì)應(yīng)的光瞳的光線。這里，像位置處于與攝像面不同的位置(后方)，因此從s1組輸出的相位信號(hào)與從s2組輸出的相位信號(hào)存在s的相位差。這里，s是具有正負(fù)值的矢量，圖9中箭頭所示的方向?yàn)檎＿@里，相位差s例如使從s1組輸出的相位信號(hào)和從s2組輸出的相位信號(hào)一點(diǎn)點(diǎn)地偏離，使用公知的相位差af的技術(shù)來(lái)計(jì)算相位信號(hào)之間的相關(guān)，從相關(guān)最大的位置起進(jìn)行計(jì)算即可。并且設(shè)從攝像面到出瞳位置的距離為f、分割后的光瞳的重心之間的距離為g、散焦量為d。這里，d是具有正負(fù)值的矢量，圖9中箭頭所示的方向?yàn)檎?。此時(shí)，下式(1)成立，因此能夠使用對(duì)其進(jìn)行變形后的下式(2)計(jì)算散焦量d。另外，在像位置處于攝像面的前方的情況下也同樣如此。

g/(f+d)＝s/d……(1)

d＝f·s/(g-s)……(2)

如果知曉從攝像面起的散焦量d的值，則能夠根據(jù)組合了硬性鏡100的鏡頭系統(tǒng)110和物鏡系統(tǒng)240的光學(xué)系統(tǒng)的設(shè)計(jì)數(shù)據(jù)，來(lái)計(jì)算被攝體距離。這里，例如可以事先制作將散焦量d和被攝體距離對(duì)應(yīng)起來(lái)的查詢表，計(jì)算被攝體距離。

接著，置信度計(jì)算部2050計(jì)算置信度，該置信度是表示針對(duì)各評(píng)價(jià)塊計(jì)算出的被攝體距離的似然性的程度(s230)。這里，例如，使用相位信號(hào)與從被攝體距離信息計(jì)算部2040輸出的各評(píng)價(jià)塊的相關(guān)程度作為置信度。攝像元件250或ad轉(zhuǎn)換部310等的噪聲越大，則置信度越小，噪聲越小，則置信度越高。此外，越是高對(duì)比度的被攝體，置信度越高。置信度計(jì)算部2050將各評(píng)價(jià)塊的置信度輸出到關(guān)注區(qū)域估計(jì)部2070。

接著，被攝體特征量計(jì)算部2060根據(jù)從預(yù)處理部320輸出的圖像，計(jì)算各評(píng)價(jià)塊的被攝體特征量(s240)。被攝體特征量是對(duì)各評(píng)價(jià)塊的被攝體賦予特征的量，例如是各評(píng)價(jià)塊的顏色信息。被攝體特征量計(jì)算部2060將計(jì)算出的被攝體特征量輸出到關(guān)注區(qū)域估計(jì)部2070。這里，被攝體特征量的計(jì)算所使用的圖像可以是從ad轉(zhuǎn)換部310輸出的圖像。

此外，被攝體特征量除了顏色信息以外，只要是亮度或邊緣量、以及利用未圖示的專用傳感器等獲得的被攝體的溫度或窄帶光的反射率等至少可識(shí)別是否是活體的特征量即可，能夠應(yīng)用任意的特征量。

接著，關(guān)注區(qū)域估計(jì)部2070判定在模式設(shè)定部2020中設(shè)定的af模式是否是針線模式(s250)。這里，af模式例如根據(jù)來(lái)自上述外部i/f部500的輸入，由控制部350在模式設(shè)定部2020中進(jìn)行設(shè)定。此外，可以利用控制部350對(duì)由攝像元件250拍攝出的圖像數(shù)據(jù)進(jìn)行解析，由此能夠根據(jù)特定的圖像圖案或動(dòng)作等，變更模式。

在af模式不是針線模式的情況(活體模式的情況)下，用戶正在關(guān)注活體，所以關(guān)注區(qū)域估計(jì)部2070將被估計(jì)為活體的評(píng)價(jià)塊設(shè)定為關(guān)注區(qū)域(s260)。如上所述，在將內(nèi)窺鏡手術(shù)中的活體內(nèi)圖像等作為對(duì)象的情況下，作為關(guān)注被攝體的活體位于被攝體距離遠(yuǎn)離攝像元件250的位置的情況較多。因此，例如關(guān)注區(qū)域估計(jì)部2070根據(jù)各評(píng)價(jià)塊的被攝體距離、置信度、顏色信息等，將被攝體距離表示離攝像元件250最遠(yuǎn)的位置、且被攝體特征量表示活體、且置信度為一定值以上的評(píng)價(jià)塊(在一定程度以上可信賴的評(píng)價(jià)塊)設(shè)定為關(guān)注區(qū)域。關(guān)注區(qū)域估計(jì)部2070將所設(shè)定的關(guān)注區(qū)域輸出到鏡頭移動(dòng)目的地決定部2080。另外，這里，為了提高合焦精度而使用了被攝體特征量或置信度，但并非一定需要使用。

在af模式是針線模式的情況下，用戶正在關(guān)注針或線和把持這些針或線的鉗子等處置器械，因此關(guān)注區(qū)域估計(jì)部2070將這些被估計(jì)為被攝體的評(píng)價(jià)塊設(shè)定為關(guān)注區(qū)域(s270)。在內(nèi)窺鏡中，多數(shù)情況下在比活體靠近前側(cè)的位置使用鉗子等處置器械來(lái)操作針或線。因此，例如關(guān)注區(qū)域估計(jì)部2070根據(jù)各評(píng)價(jià)塊的被攝體距離、置信度、顏色信息等，將被攝體距離表示最接近攝像元件250的位置、且置信度為一定值以上的評(píng)價(jià)塊設(shè)定為關(guān)注區(qū)域。關(guān)注區(qū)域估計(jì)部2070將所設(shè)定的關(guān)注區(qū)域輸出到鏡頭移動(dòng)目的地決定部2080。另外，這里，為了提高合焦精度而使用了置信度，但不一定需要使用，還可以使用被攝體特征量。

最后，鏡頭移動(dòng)目的地決定部2080根據(jù)從關(guān)注區(qū)域估計(jì)部2070輸出的關(guān)注區(qū)域，決定對(duì)焦鏡頭220的移動(dòng)目的地(s280)。這里，例如，根據(jù)與被設(shè)定為關(guān)注區(qū)域的評(píng)價(jià)塊對(duì)應(yīng)的散焦量d，決定對(duì)焦鏡頭220的移動(dòng)目的地即可。并且，鏡頭移動(dòng)目的地決定部2080可以根據(jù)af模式的設(shè)定或各評(píng)價(jià)塊的被攝體距離的分布、被攝體特征量的分布等，調(diào)整對(duì)焦鏡頭220的移動(dòng)目的地。

圖10示出內(nèi)窺鏡中的被攝體的例子。假定內(nèi)窺鏡中的主要被攝體是活體和處置器械，活體主要配置于遠(yuǎn)離內(nèi)窺鏡的位置，利用用戶的操作將處置器械配置于內(nèi)窺鏡和活體之間的任意位置。虛線示出了在所設(shè)定的af區(qū)域中可拍攝的范圍。在活體模式下，將配置于遠(yuǎn)離內(nèi)窺鏡的位置的活體作為目標(biāo)合焦位置。在針線模式下，將把持針或線、位于與活體相同的被攝體距離或比活體更靠?jī)?nèi)窺鏡側(cè)的被攝體距離的鉗子等處置器械的前端附近設(shè)為目標(biāo)合焦位置。

在圖7所示的處理中，在活體模式下，將表示遠(yuǎn)離攝像元件250的位置的區(qū)域設(shè)定為關(guān)注區(qū)域，所以能夠合焦到活體。此外，在針線模式下，將表示接近攝像元件250的位置的區(qū)域設(shè)定為關(guān)注區(qū)域，所以能夠合焦到處置器械的前端附近。

如果是以上所說(shuō)明的方法，則使用分別針對(duì)多個(gè)評(píng)價(jià)塊的被攝體距離來(lái)估計(jì)關(guān)注被攝體，根據(jù)估計(jì)結(jié)果來(lái)驅(qū)動(dòng)對(duì)焦鏡頭，由此用戶不進(jìn)行復(fù)雜的操作就能夠合焦到關(guān)注被攝體。此外，在針線模式的情況下，通過(guò)變更評(píng)價(jià)塊的設(shè)定方法或用戶正在關(guān)注的區(qū)域的估計(jì)方法，不會(huì)始終合焦到活體，而是能夠合焦到關(guān)注被攝體。此外，計(jì)算各評(píng)價(jià)塊的置信度，使用一定置信度以上的可信賴的評(píng)價(jià)塊，由此不受噪聲或被攝體的對(duì)比度等的影響，能夠進(jìn)行穩(wěn)定的af控制。并且，通過(guò)判定在各評(píng)價(jià)塊中拍攝的被攝體是否是活體，能夠在活體模式下更高精度地合焦到活體，在針線模式下合焦到除活體以外的被攝體。

但是，在上述的方法中，在如圖11所示的場(chǎng)景下，有時(shí)未必能夠得到適當(dāng)?shù)慕Y(jié)果。圖11示出與圖10不同的場(chǎng)景的例子。在該例子中，相比圖10追加了活體2。虛線示出了在所設(shè)定的af區(qū)域中可拍攝的范圍。在該范圍內(nèi)，存在活體、鉗子等處置器械、活體2作為被攝體。作為一例，對(duì)應(yīng)于如圖12的(b)那樣使用鉗子等將圖12的(a)所示的膜狀的活體e2提升起來(lái)的場(chǎng)景。或者，由于活體在一定程度上具有伸縮性，因此在將在畫(huà)面的周緣部所拍攝到的活體向圖像中央部拉近的情況下，與圖12的(b)同樣，在比作為背景的活體靠極近側(cè)的位置拍入了不同的活體。

在圖11的例子中，配置為在比活體更大的范圍拍攝到活體2。因此，優(yōu)選在活體模式下合焦到活體2，在針線模式下合焦到把持針或線的鉗子等處置器械的前端附近。這是因?yàn)椋诖嬖诮皞?cè)的活體和里側(cè)的活體且正在關(guān)注里側(cè)的活體的情況下，調(diào)整攝像部自身的位置，近前側(cè)的活體應(yīng)該不進(jìn)入到主要拍攝主要被攝體的區(qū)域即af區(qū)域，或即使進(jìn)入了但在af區(qū)域內(nèi)也不占據(jù)大面積的狀態(tài)。例如在圖12的(a)的情況中，如果正在關(guān)注e1所示的活體，則本來(lái)無(wú)需將近前側(cè)的活體e2上提，所以不會(huì)成為圖12的(b)所示的狀況。即，如圖12的(b)等這樣，在如近前側(cè)的活體占據(jù)af區(qū)域中的較大面積的情況下，目標(biāo)合焦位置被認(rèn)為是位于至近側(cè)的活體的表面。

在將上述比較例應(yīng)用于如圖11所示的場(chǎng)景時(shí)，在活體模式下，想要合焦到被攝體距離離攝像元件250最遠(yuǎn)的位置，所以有可能合焦到里側(cè)的活體而不是活體2。在本實(shí)施方式中，變更圖7所示的比較例中的對(duì)焦鏡頭移動(dòng)目的地計(jì)算(s100)的處理，使得即使在如圖11所示的場(chǎng)景中也能夠進(jìn)行適當(dāng)?shù)腶f。另外，除此以外的處理與比較例相同，因此省略說(shuō)明。

使用圖13，對(duì)本實(shí)施方式中的對(duì)焦鏡頭移動(dòng)目的地計(jì)算(s100)的詳細(xì)內(nèi)容進(jìn)行說(shuō)明。另外，與圖7相同的步驟編號(hào)的步驟是相同的處理，所以省略說(shuō)明。

在本實(shí)施方式中，在模式不是針線模式的情況下，關(guān)注區(qū)域估計(jì)部2070根據(jù)各評(píng)價(jià)塊的被攝體特征量，來(lái)判定各評(píng)價(jià)塊的被攝體，識(shí)別是否是僅拍攝了活體的活體塊。而且，將除活體塊以外的評(píng)價(jià)塊設(shè)定為無(wú)效塊(s400)。但是，在全部評(píng)價(jià)塊成為無(wú)效塊的情況下，不使各評(píng)價(jià)塊中的被攝體特征量表示接近活體的特征量的評(píng)價(jià)塊無(wú)效等，使一定塊數(shù)以上的評(píng)價(jià)塊不成為無(wú)效。通過(guò)該處理，能夠容易合焦到活體。

在模式是針線模式的情況下，關(guān)注區(qū)域估計(jì)部2070與步驟s400同樣判定是否是活體塊。而且，將活體塊設(shè)定為無(wú)效塊(s410)。但是，在全部評(píng)價(jià)塊成為無(wú)效塊的情況下，考慮活體的比例等，使一定塊數(shù)以上不成為無(wú)效。通過(guò)該處理，能夠容易合焦到除活體以外的針或線。

接著，關(guān)注區(qū)域估計(jì)部2070針對(duì)未設(shè)定為無(wú)效塊的評(píng)價(jià)塊，使用被攝體距離，至少分組為2個(gè)以上(包含該值)的組(s420)。例如，將從被攝體距離最接近攝像元件250的評(píng)價(jià)塊到具有規(guī)定范圍的被攝體距離的評(píng)價(jià)塊匯總為1個(gè)組。針對(duì)剩余的評(píng)價(jià)塊，也通過(guò)反復(fù)進(jìn)行同樣的處理，進(jìn)行分組。這時(shí)，可以還使用評(píng)價(jià)塊之間的圖像上的距離，將附近的評(píng)價(jià)塊且被攝體距離為規(guī)定范圍的評(píng)價(jià)塊匯總為1個(gè)組。這里，還計(jì)算各組中的被攝體距離。在各組中，使用分別相對(duì)于所屬的評(píng)價(jià)塊的被攝體距離，將它們的平均值、中央值、眾數(shù)等基于統(tǒng)計(jì)方法而計(jì)算出的值作為該組的被攝體距離。

接著，關(guān)注區(qū)域估計(jì)部2070判定在模式設(shè)定部2020中所設(shè)定的模式是否是針線模式(s430)。在設(shè)定了針線模式的情況下，進(jìn)入到步驟s470，在除此以外的情況下進(jìn)入到步驟s440。

在模式設(shè)定部2020中所設(shè)定的模式不是針線模式的情況下，關(guān)注區(qū)域估計(jì)部2070選擇屬于分組后的各組的評(píng)價(jià)塊數(shù)量為最大的組，判定屬于該組的評(píng)價(jià)塊數(shù)量是否為規(guī)定的閾值以上(s440)。在為規(guī)定的閾值以上的情況下進(jìn)入到步驟s450，在除此以外的情況下進(jìn)入到步驟s460。這里，使用屬于組的評(píng)價(jià)塊數(shù)量來(lái)與規(guī)定的閾值進(jìn)行了比較，但也可以使用屬于組的評(píng)價(jià)塊相對(duì)于全部評(píng)價(jià)塊數(shù)量的比例。這里，在步驟s440中使用評(píng)價(jià)塊數(shù)量和規(guī)定的閾值來(lái)進(jìn)行判定，但也可以使用屬于組的評(píng)價(jià)塊的面積的合計(jì)或面積的合計(jì)在af區(qū)域中所占的比例、面積的合計(jì)在圖像中所占的比例等來(lái)進(jìn)行判定。

在為規(guī)定的閾值以上的情況下，關(guān)注區(qū)域估計(jì)部2070選擇所屬的評(píng)價(jià)塊數(shù)量為最大的組(s450)。另一方面，在小于規(guī)定的閾值的情況下，關(guān)注區(qū)域估計(jì)部2070選擇被攝體距離表示離攝像元件250最遠(yuǎn)的位置的評(píng)價(jià)塊所屬的組(s460)。在步驟s460中，也可以選擇在步驟s420中針對(duì)各組計(jì)算出的被攝體距離表示離攝像元件250最遠(yuǎn)的位置的組。組的被攝體距離利用統(tǒng)計(jì)方法計(jì)算，所以難以受到由于攝像元件250的噪聲或處置器械等引起的干擾的影響。

在針線模式的情況下，關(guān)注區(qū)域估計(jì)部2070在分組后的組中，選擇被攝體距離表示最接近攝像元件250的位置的評(píng)價(jià)塊所屬的組(s470)。在步驟s470中，也可以選擇在步驟s420中針對(duì)各組計(jì)算出的被攝體距離表示最接近攝像元件250的位置的組。組的被攝體距離利用統(tǒng)計(jì)方法計(jì)算，所以難以受到由于攝像元件250的噪聲或處置器械等引起的干擾的影響。

最后，關(guān)注區(qū)域估計(jì)部2070計(jì)算屬于在步驟s450或步驟s460或步驟s470中選擇出的組的各評(píng)價(jià)塊的被攝體距離的平均值，將合焦到該平均被攝體距離的鏡頭位置作為鏡頭移動(dòng)目的地(s480)。這時(shí)，可以根據(jù)模式的設(shè)定或各評(píng)價(jià)塊的被攝體距離的分布等，將合焦到被攝體距離進(jìn)行了偏移后的位置的鏡頭位置作為鏡頭移動(dòng)目的地。此外，平均被攝體距離不限定于屬于所選擇的組的各評(píng)價(jià)塊的被攝體距離的平均值，只要是中值、眾數(shù)、最大值、最小值等基于統(tǒng)計(jì)方法的值即可，可以為其他值。

在將本實(shí)施方式應(yīng)用于如圖11的場(chǎng)景的情況下，在步驟s420中，在拍攝了處置器械而得到的評(píng)價(jià)塊、拍攝了活體2而得到的評(píng)價(jià)塊、拍攝了活體而得到的評(píng)價(jià)塊中示出不同的被攝體距離，所以如圖11所示，劃分為組a、組b、組c這3個(gè)組。另外，在設(shè)定無(wú)效塊的情況下，在活體模式下，處置器械為無(wú)效，所以認(rèn)為未設(shè)定組a。但是，在1個(gè)評(píng)價(jià)塊內(nèi)混合存在活體和處置器械的情況下，有時(shí)無(wú)法使該塊無(wú)效，或由于本來(lái)在本實(shí)施方式中s400～s420的處理不是必須的，所以有時(shí)也不設(shè)定無(wú)效塊。鑒于以上情況，這里，即使是活體模式，也作為設(shè)定了與處置器械對(duì)應(yīng)的組a來(lái)進(jìn)行說(shuō)明。

在針線模式下，在步驟s470中從分為3個(gè)的組中選擇被攝體距離表示離攝像元件250最近的位置的評(píng)價(jià)塊所屬的組a。其結(jié)果，在用戶正在操作針或線的情況下，能夠進(jìn)行適當(dāng)?shù)腶f。

在活體模式下，通過(guò)適當(dāng)設(shè)定在步驟s440中使用的規(guī)定閾值th，在步驟s450中，選擇所屬的評(píng)價(jià)塊數(shù)最多的組b。其結(jié)果，能夠合焦到被認(rèn)為用戶正在關(guān)注的活體2。

另一方面，在如圖11中的活體2被稍微拍攝到的情況下，在步驟s460中，選擇被攝體距離表示離攝像元件250最遠(yuǎn)的位置的評(píng)價(jià)塊所屬的組c。其結(jié)果，還能夠合焦到被認(rèn)為用戶正在關(guān)注的活體。即，能夠根據(jù)屬于組的評(píng)價(jià)塊數(shù)量，合焦到配置于接近攝像元件250的位置的活體2，或合焦到配置于遠(yuǎn)離攝像元件250的位置的活體。

以上，在本實(shí)施方式中，在內(nèi)窺鏡中，使用分別針對(duì)多個(gè)評(píng)價(jià)塊的被攝體距離來(lái)估計(jì)用戶正在關(guān)注的區(qū)域，根據(jù)估計(jì)結(jié)果來(lái)驅(qū)動(dòng)對(duì)焦鏡頭，由此用戶不進(jìn)行復(fù)雜的操作，就能夠合焦到關(guān)注被攝體。此外，在針線模式的情況下，通過(guò)變更評(píng)價(jià)塊的設(shè)定方法或用戶正在關(guān)注的區(qū)域的估計(jì)方法，不會(huì)始終合焦到活體，而是能夠合焦到關(guān)注被攝體。并且，通過(guò)在進(jìn)行分組以后使用各組的面積信息進(jìn)行處理，如圖11的例子那樣，即使在如在光軸方向上配置多個(gè)活體的場(chǎng)景中，用戶也無(wú)需進(jìn)行操作，就能夠合焦到適當(dāng)?shù)幕铙w。

4.本實(shí)施方式的具體例

在以上的本實(shí)施方式中，對(duì)焦控制部2095根據(jù)面積信息，在判定為作為多個(gè)組中的面積最大的組的最大面積組的面積為給定閾值以上的情況下，進(jìn)行合焦到最大面積組的對(duì)焦控制。

具體而言，針對(duì)設(shè)定有多個(gè)的組的各組求出面積信息，確定利用該面積信息表示的面積最大的組作為最大面積組即可。如圖11的例子那樣，如果組是a、b、c這3個(gè)，則求出各自的面積sa、sb、sc，進(jìn)行這些面積的比較處理即可。

由此，能夠確定面積最大的最大面積組，判定該最大面積組的面積是何種程度的大小。如圖13的s440所示，狹義而言，在活體模式時(shí)執(zhí)行該控制。這時(shí)，如果是最大面積組，不是無(wú)條件地設(shè)成合焦對(duì)象，而是能夠以在某個(gè)閾值以上作為條件。在如設(shè)定了多個(gè)面積比較小的組的狀況那樣，不存在如在攝像圖像中占據(jù)大部分面積這樣的組的情況下，即使將給定的組確定為最大面積組，用戶也不限于關(guān)注該最大面積組。如上所述，這是因?yàn)?，設(shè)想了如果正在關(guān)注特定的被攝體(活體)，則操作攝像部200，使得該被攝體在攝像圖像中成為支配性的。即，不僅進(jìn)行組彼此的面積比較，還進(jìn)行與給定基準(zhǔn)、即與閾值的比較處理，所以能夠提高關(guān)注被攝體的確定精度等。另外，如上所述，作為面積信息，可以使用屬于組的評(píng)價(jià)塊的數(shù)量或其比例等表示面積的其他信息。即本實(shí)施方式中的“面積為給定閾值以上”的判定可以利用評(píng)價(jià)塊數(shù)量是否為給定閾值以上等的判定來(lái)實(shí)現(xiàn)，不限定于面積本身的判定處理。

此外，在判定為最大面積組的面積比給定閾值小的情況下，對(duì)焦控制部2095可以進(jìn)行對(duì)焦控制，以合焦到多個(gè)組中的利用距離信息表示的距離最遠(yuǎn)的組。

由此，在即使是最大面積組也不成為占據(jù)攝像圖像的大部分的狀態(tài)、即不能根據(jù)面積信息保證特定的組對(duì)應(yīng)于關(guān)注被攝體的情況下，能夠合焦到距離遠(yuǎn)的組。這便是優(yōu)先合焦到距攝像部200的距離遠(yuǎn)的被攝體的控制，進(jìn)行該控制的優(yōu)點(diǎn)如上所述。

這時(shí)，對(duì)焦控制部2095可以根據(jù)分別分類為多個(gè)組中的各個(gè)組的各區(qū)域的距離信息，來(lái)確定距離最遠(yuǎn)的組。作為一例，可以確定多個(gè)區(qū)域中的距離最遠(yuǎn)的區(qū)域，將包含該區(qū)域的組作為距離最遠(yuǎn)的組?；蛘撸梢愿鶕?jù)分類為各組的各區(qū)域的距離信息，來(lái)計(jì)算組的距離。例如，如上所述，可以在各組中，求出所屬區(qū)域的被攝體距離的平均值、中值、眾數(shù)等基于統(tǒng)計(jì)方法而計(jì)算出的值，作為該組的被攝體距離。如果求出了各組的距離，則將該距離最大的組作為距離最遠(yuǎn)的組即可。

另外，本實(shí)施方式的方法不限定于執(zhí)行判定為最大面積組的面積為給定閾值以上的情況下的控制和判定為最大面積組的面積比給定閾值小的情況下的控制這兩方，可以僅執(zhí)行一方。

此外，對(duì)焦控制部2095可以具有第1模式和第2模式，在該第1模式下，進(jìn)行優(yōu)先合焦到多個(gè)組中的利用距離信息表示的距離最遠(yuǎn)的組的對(duì)焦控制，在該第2模式下，進(jìn)行優(yōu)先合焦到多個(gè)組中的利用距離信息表示的距離最近的組的對(duì)焦控制。

這里，第1模式狹義而言是活體模式，第2模式狹義而言是針線模式(處置器械模式)。由此，不僅進(jìn)行基于面積信息的對(duì)焦控制，還能夠靈活地變更對(duì)焦控制。如上所述，在活體模式下，拍攝到處于正在關(guān)注的被攝體的更里側(cè)的未關(guān)注的其他被攝體的可能性小。因此，使遠(yuǎn)離攝像部200的被攝體優(yōu)先是有效的。但是，如果活體本身不是關(guān)注被攝體，則還會(huì)出現(xiàn)如下的狀況：通過(guò)使遠(yuǎn)的被攝體優(yōu)先，反倒無(wú)法合焦到正在關(guān)注的被攝體。例如，如圖2所示，設(shè)想鉗子等處置器械被拍攝于比活體更靠近前側(cè)的位置。因此，如果使離攝像部200遠(yuǎn)的被攝體優(yōu)先，則即使在正在關(guān)注處置器械的情況下，也會(huì)合焦到位于里側(cè)的活體。此外，處置器械為較細(xì)的棒狀等形狀，所以例如即使正在關(guān)注該處置器械，攝像圖像中的面積也未必變得非常大，即使使利用面積信息表示的面積大的被攝體優(yōu)先，也有可能無(wú)法適當(dāng)?shù)睾辖沟教幹闷餍?。在該方面，如果利用模式?lái)切換對(duì)焦控制，則能夠靈活地應(yīng)對(duì)各種狀況。

此外，對(duì)焦控制部2095可以求出多個(gè)區(qū)域的各區(qū)域的特征量，并根據(jù)特征量，設(shè)定未成為分類處理的對(duì)象的無(wú)效區(qū)域。

由此，能夠進(jìn)行使用了各區(qū)域的特征量的處理。具體而言，可以根據(jù)特征量，判定在各區(qū)域中拍攝到的被攝體。在該情況下，通過(guò)使用特征量，能夠針對(duì)各區(qū)域，判定該區(qū)域中是否拍攝了正在關(guān)注的被攝體。因此，針對(duì)未拍攝有正在關(guān)注的被攝體的區(qū)域，設(shè)定為無(wú)效區(qū)域(無(wú)效塊)并從之后的處理中排除，由此能夠抑制合焦到不適當(dāng)?shù)膮^(qū)域的可能性。

具體而言，對(duì)焦控制部2095可以根據(jù)特征量，將多個(gè)區(qū)域中的被判定為拍攝了活體以外的被攝體的區(qū)域設(shè)定為無(wú)效區(qū)域。并且，具體而言，對(duì)焦控制部2095可以在第1模式下，將判定為拍攝了活體以外的被攝體的區(qū)域設(shè)定為無(wú)效區(qū)域，在第2模式下，將判定為拍攝了活體的區(qū)域設(shè)定為無(wú)效區(qū)域。

由此，能夠根據(jù)模式，將適當(dāng)?shù)膮^(qū)域設(shè)定為無(wú)效區(qū)域。具體而言，在活體模式下，如果將活體以外作為無(wú)效區(qū)域，則能夠抑制合焦到活體以外的被攝體的情況，如果為非活體模式的模式(狹義而言是針線模式)，則如果將活體作為無(wú)效區(qū)域，能夠抑制合焦到活體。圖14的(a)、圖14的(b)示出無(wú)效區(qū)域、有效區(qū)域的具體例。如圖14的(a)所示，在活體模式下，活體成為關(guān)注被攝體，所以處置器械部分的塊變?yōu)闊o(wú)效，但如圖14的(b)所示，在針線模式下，把持針或線的鉗子的前端附近成為關(guān)注被攝體，所以使活體塊無(wú)效。

另外，以上對(duì)無(wú)效區(qū)域進(jìn)行了說(shuō)明，但也可以設(shè)定有效區(qū)域，以該有效區(qū)域?yàn)閷?duì)象進(jìn)行分類處理。具體而言，對(duì)焦控制部2095可以求出多個(gè)區(qū)域的各自的特征量，并根據(jù)特征量，來(lái)設(shè)定多個(gè)區(qū)域中的成為分類處理的對(duì)象的有效區(qū)域。

即使這樣，也選擇拍攝了正在關(guān)注的被攝體的區(qū)域，設(shè)為之后的處理的對(duì)象，所以能夠抑制合焦到不適當(dāng)?shù)膮^(qū)域的可能性。

具體而言，對(duì)焦控制部2095可以根據(jù)特征量，將多個(gè)區(qū)域中的被判定為拍攝了活體的區(qū)域設(shè)定為有效區(qū)域。并且，具體而言，對(duì)焦控制部2095在第1模式下，將判定為拍攝了活體的區(qū)域設(shè)定為有效區(qū)域，在第2模式下，將被判定為拍攝了活體以外的被攝體的區(qū)域設(shè)定為有效區(qū)域即可。

此外，對(duì)焦控制部2095可以根據(jù)用戶的操作，來(lái)進(jìn)行第1模式和第2模式的切換。

由此，能夠利用用戶的操作，進(jìn)行模式切換。另外，用戶的操作例如可以使用操作部來(lái)進(jìn)行，該操作部可以是設(shè)置于攝像部200的操作部，也可以是作為外部i/f部500來(lái)實(shí)現(xiàn)的操作部。此外，可以利用其他方法進(jìn)行模式切換，例如還能夠?qū)嵤├脤?duì)焦控制裝置的自動(dòng)切換等變形。

此外，對(duì)焦控制部2095可以在第1模式下，使用第1閾值作為給定閾值進(jìn)行對(duì)焦控制，在第2模式下，使用與第1閾值不同的第2閾值作為給定閾值進(jìn)行對(duì)焦控制。

這里的給定閾值是指在與最大面積組的比較處理中使用的閾值。該實(shí)施方式中的特征具有2點(diǎn)，第1點(diǎn)是即使在第2模式下也可以進(jìn)行使用了面積信息的控制，具體而言，進(jìn)行最大面積組的面積信息和給定閾值的比較處理。第2點(diǎn)是在該比較處理時(shí)，在第1模式和第2模式下使用不同的閾值。

在第2模式下，關(guān)注被攝體是鉗子等處置器械(狹義而言是在其前端所保持的針或線)。但是關(guān)于針、線、其他處置器械，如果考慮尺寸、形狀等，則在占據(jù)攝像圖像的大部分的狀態(tài)下被拍攝的可能性小。即，第1模式下的給定閾值設(shè)定為了在能夠判定用戶正在關(guān)注該組的程度上支配性的值(例如如果是比例則為50％至70％這樣的值)，但第2模式下的給定閾值設(shè)定為這樣的值是不恰當(dāng)?shù)?。因此，?模式下的給定閾值相比第1模式下的給定閾值應(yīng)該成為平緩的條件，具體而言，即使最大面積組的面積在一定程度上較小，利用面積信息表示的值超過(guò)該閾值即可。

在第2模式下使用面積信息的處理的目的例如在于提高關(guān)注被攝體的判定精度。在針線模式下，設(shè)想關(guān)注被攝體位于接近攝像部200的位置，所以如圖13的流程圖的s430，s470所示，即使不使用面積信息而進(jìn)行對(duì)焦控制，認(rèn)為也能夠一定程度上合焦到關(guān)注被攝體。但是，如果距離信息的計(jì)算處理等產(chǎn)生錯(cuò)誤判定，則雖然實(shí)際上不具有這樣的被攝體，但有可能設(shè)定了離攝像部200的距離近的組。如果考慮在多數(shù)的區(qū)域(評(píng)價(jià)塊)的范圍內(nèi)產(chǎn)生這樣的錯(cuò)誤判定的可能性小，則設(shè)想由于錯(cuò)誤判定而設(shè)定的組不具有較大的面積。即，通過(guò)進(jìn)行合焦到離攝像部200的距離近且具有一定面積以上的面積的組的對(duì)焦控制，能夠抑制錯(cuò)誤判定結(jié)果對(duì)對(duì)焦控制造成影響的可能性，能夠?qū)崿F(xiàn)高精度的對(duì)焦控制。即作為一例，第2模式中的給定閾值大到能夠抑制由于噪聲等而產(chǎn)生的錯(cuò)誤判定的影響的程度，可以設(shè)為比第1模式下的值小的值(具體而言作為攝像圖像中的鉗子占據(jù)的比例，根據(jù)現(xiàn)實(shí)程度的值而決定的值)。

另外，第2模式下使用面積信息的方法不限定于此，能夠?qū)嵤└鞣N變形。例如，在檢測(cè)到多個(gè)離攝像部200的距離比給定基準(zhǔn)位置近的組的情況下，還可進(jìn)行合焦到其中的面積最大的組這樣的對(duì)焦控制。

此外，相比通過(guò)對(duì)焦控制部2095設(shè)定了第1模式的情況，區(qū)域設(shè)定部2010可以在設(shè)定了第2模式的情況下變更所設(shè)定的區(qū)域的位置、尺寸和數(shù)量中的至少1個(gè)。

由此，能夠根據(jù)模式，狹義而言根據(jù)各模式所設(shè)想的關(guān)注被攝體，設(shè)定適當(dāng)?shù)膮^(qū)域。在圖8的(b)所示的第2模式下，與圖8的(a)所示的第1模式相比，區(qū)域(評(píng)價(jià)塊)的尺寸變小，數(shù)量增加。這是由于如上所述，相比在第1模式下設(shè)想的活體，在第2模式下設(shè)想的針或線是小且細(xì)的被攝體。此外，如上所述，在第2模式下，相比第1模式，可以使af區(qū)域偏向圖像的下部，在該情況下，評(píng)價(jià)塊的位置也發(fā)生變化。

此外，被攝體距離信息計(jì)算部2040可以在多個(gè)區(qū)域的各區(qū)域中，求出表示所求出的距離信息的似然性的置信度。

由此，能夠判定是否能夠信賴距離信息。這時(shí)，對(duì)焦控制部2095可以根據(jù)置信度，設(shè)定未成為組的分類處理的對(duì)象的無(wú)效區(qū)域。由此，在無(wú)法信賴給定區(qū)域中的距離信息的情況下，能夠?qū)⒃搮^(qū)域作為處理對(duì)象外區(qū)域，所以能夠抑制將不適當(dāng)?shù)膮^(qū)域作為合焦對(duì)象的可能性。即無(wú)效區(qū)域的設(shè)定可以使用特征量來(lái)進(jìn)行，也可以使用置信度來(lái)進(jìn)行，還可以使用該雙方來(lái)進(jìn)行。

此外，被攝體距離信息計(jì)算部2040可以在多個(gè)區(qū)域的各區(qū)域中，取得來(lái)自相位傳感器的相位差信息，并根據(jù)相位差信息，來(lái)求出距離信息。

這里的相位傳感器例如是圖4的s1、s2，相位差信息是利用來(lái)自s1的信號(hào)和來(lái)自s2的信號(hào)的比較處理而求出的信息。這時(shí)，區(qū)域設(shè)定部2010可以根據(jù)攝像部200中的相位傳感器(s1、s2)的配置信息，設(shè)定多個(gè)區(qū)域。

在距離信息的計(jì)算中使用相位差信號(hào)的情況下，需要在作為距離信息的計(jì)算單位的區(qū)域中至少分別逐個(gè)包含有能運(yùn)算相位差信息的信息的輸出源、即s1和s2的傳感器。這是因?yàn)?，即使在與給定評(píng)價(jià)塊對(duì)應(yīng)的區(qū)域中一個(gè)都未包含有s1和s2中的至少一方的情況下，在該評(píng)價(jià)塊中未求出相位差信號(hào)，也無(wú)法計(jì)算距離信息。

但是，對(duì)攝像部200中的相位傳感器(具體而言攝像元件250)進(jìn)行更換的使用形式不能說(shuō)是一般的使用形式，即使能夠更換，也一定程度上限定了相位傳感器的配置模式。即，相位傳感器在硬件上決定了其配置，之后難以進(jìn)行變更。如果考慮到以上內(nèi)容，可以說(shuō)為了使作為距離信息的計(jì)算單位的區(qū)域(評(píng)價(jià)塊)和相位傳感器的對(duì)應(yīng)關(guān)系適當(dāng)，首先把握固定的相位傳感器的配置模式，結(jié)合該配置模式來(lái)設(shè)定區(qū)域的情況是現(xiàn)實(shí)的。

但是，在本實(shí)施方式中，只要能夠取得各評(píng)價(jià)塊中的被攝體距離即可，還能夠使用除相位傳感器以外的傳感器。例如，被攝體距離信息計(jì)算部2040可以根據(jù)通過(guò)給定的圖案光的照射而取得的攝像圖像，來(lái)求出距離信息。具體而言，通過(guò)向被攝體照射特定的圖案光，取得其反射光并對(duì)圖案的形狀變化進(jìn)行解析，能夠取得到被攝體的距離，根據(jù)到被攝體的距離和鏡頭的特性來(lái)求出被攝體距離。

或者，可以使用在有效的af中廣泛使用的方法。具體而言，攝像部200具有未在圖3等中圖示的測(cè)距傳感器，被攝體距離信息計(jì)算部2040可以根據(jù)該測(cè)距傳感器的傳感器信息，來(lái)求出距離信息?？紤]測(cè)距傳感器的各種形式，例如可以是照射紅外光等光，接收由被攝體反射該光后的反射光的測(cè)距傳感器。在該情況下，能夠根據(jù)從光的照射時(shí)刻到反射光的接收時(shí)刻的時(shí)間，來(lái)求出到被攝體的距離。

此外，被攝體距離信息計(jì)算部2040可以根據(jù)從攝像圖像求出的af評(píng)價(jià)值(對(duì)比度值)，來(lái)求出距離信息。這里的af評(píng)價(jià)值是在廣泛公知的對(duì)比度af中使用的信息，例如對(duì)處理對(duì)象區(qū)域所包含的全部像素的y信號(hào)或g信號(hào)進(jìn)行任意的bpf(帶通濾波)處理，將其輸出的總和作為af評(píng)價(jià)值即可。另外，對(duì)比度af中的af評(píng)價(jià)值公知有各種計(jì)算方法，在本實(shí)施方式中還能夠廣泛應(yīng)用除上述bpf處理以外的方法。

在使用af評(píng)價(jià)值的情況下，被攝體距離信息計(jì)算部2040一邊改變合焦物體位置，一邊將各評(píng)價(jià)塊作為處理對(duì)象區(qū)域而計(jì)算af評(píng)價(jià)值，按照每個(gè)評(píng)價(jià)塊，求出af評(píng)價(jià)值的峰值位置。具體而言，進(jìn)行對(duì)焦鏡頭220的控制，在一定程度的范圍內(nèi)使合焦物體位置發(fā)生變化。這里的使合焦物體位置發(fā)生變化的范圍是可期待包含af評(píng)價(jià)值為峰值的合焦物體位置的范圍，狹義而言也可以是根據(jù)攝像部200的結(jié)構(gòu)而決定的合焦物體位置的全部范圍。此時(shí)的對(duì)焦鏡頭220的控制能夠利用從wide側(cè)(tele側(cè))的端點(diǎn)向tele側(cè)(wide側(cè))的端點(diǎn)的移動(dòng)來(lái)實(shí)現(xiàn)。另外，由于只要合焦物體位置發(fā)生變化以覆蓋上述范圍即可，所以對(duì)焦鏡頭220的控制不限于上述控制。

根據(jù)以上處理，針對(duì)各評(píng)價(jià)塊，求出了合焦物體位置的變化范圍中的af評(píng)價(jià)值的峰值位置。如作為對(duì)比度af的一般方法而公知的那樣，可認(rèn)為在從給定區(qū)域求出的對(duì)比度值在給定合焦物體位置成為了峰值的情況下，在該區(qū)域所拍攝到的被攝體通過(guò)將合焦物體位置作為該位置而被合焦，即該被攝體位于合焦物體位置。即只要能夠確定峰值位置，則能夠判斷為到在作為處理對(duì)象的評(píng)價(jià)塊中所拍攝到的被攝體的距離對(duì)應(yīng)于到合焦物體位置的距離。另外，在控制對(duì)焦鏡頭220的位置的情況下，直接求出的是af評(píng)價(jià)值為峰值的對(duì)焦鏡頭220的位置，但由于能夠事先知曉對(duì)焦鏡頭220的位置和合焦物體位置的關(guān)系，所以容易進(jìn)行向合焦物體位置的轉(zhuǎn)換。

即，通過(guò)進(jìn)行上述處理，能夠取得各評(píng)價(jià)塊的距離信息。在取得了評(píng)價(jià)塊的距離信息以后，進(jìn)行與使用相位傳感器等的方法相同的處理即可。

此外，以上的本實(shí)施方式不限定于對(duì)焦控制裝置，還能夠應(yīng)用于包含對(duì)焦控制裝置的內(nèi)窺鏡裝置(內(nèi)窺鏡系統(tǒng))。具體而言，可以是如圖3所示的內(nèi)窺鏡系統(tǒng)。在該情況下，能夠?qū)崿F(xiàn)如下內(nèi)窺鏡裝置：攝像圖像成為活體內(nèi)圖像，能夠進(jìn)行基于面積信息的對(duì)焦控制，同時(shí)優(yōu)先合焦到離攝像部200遠(yuǎn)的活體，或者根據(jù)需要合焦到近前側(cè)的活體或處置器械等。

此外，還能夠?qū)⑸鲜鰧?shí)施方式中的圖像處理裝置的各處理的方法、即各流程圖所示的處理均存儲(chǔ)為控制部350可執(zhí)行的程序。除此以外，還能夠存儲(chǔ)到存儲(chǔ)卡(rom卡、ram卡等)、磁盤(pán)(軟盤(pán)、硬盤(pán)等)、光盤(pán)(cd-rom、dvd等)、半導(dǎo)體存儲(chǔ)器等外部存儲(chǔ)裝置的存儲(chǔ)裝置(存儲(chǔ)介質(zhì))中進(jìn)行發(fā)布。并且，控制部350能夠通過(guò)讀入在該外部存儲(chǔ)裝置的存儲(chǔ)裝置中存儲(chǔ)的程序，并根據(jù)該所讀入的程序控制動(dòng)作，執(zhí)行上述處理。

此外，本實(shí)施方式的對(duì)焦控制裝置等可以包含處理器和存儲(chǔ)器。這里的處理器例如可以是cpu(centralprocessingunit：中央處理器)。但是，處理器不限于cpu，還能夠使用gpu(graphicsprocessingunit：圖形處理單元)或dsp(digitalsignalprocessor：數(shù)字信號(hào)處理器)等各種處理器。并且處理器可以是基于asic(applicationspecificintegratedcircuit：面向特定用途的集成電路)的硬件電路。此外，存儲(chǔ)器存儲(chǔ)可由計(jì)算機(jī)讀取的指令，通過(guò)由處理器執(zhí)行該指令，實(shí)現(xiàn)本實(shí)施方式的對(duì)焦控制裝置等的各個(gè)部。這里的存儲(chǔ)器可以是sram、dram等半導(dǎo)體存儲(chǔ)器，也可以是寄存器或硬盤(pán)等。此外，這里的指令可以是構(gòu)成程序的指令集的指令，也可以是對(duì)處理器的硬件電路指示動(dòng)作的指令。

5.變形例

在用戶使用能源設(shè)備等來(lái)切除活體的情況等下，產(chǎn)生水蒸汽或微細(xì)的粒子等的霧。在產(chǎn)生了霧后，來(lái)自白色光源610的射出光(來(lái)自光導(dǎo)部120的射出光)漫反射，有時(shí)無(wú)法正確估計(jì)被攝體距離。由于霧是隨著時(shí)間而發(fā)生較大變化的被攝體，因此在上述實(shí)施方式的被攝體距離計(jì)算(圖13的步驟s220)中計(jì)算的被攝體距離、或在置信度計(jì)算(圖13的步驟s230)中計(jì)算的置信度有可能在每次計(jì)算時(shí)發(fā)生較大變化。

由此，在本實(shí)施方式的變形例中，在還包含產(chǎn)生上述霧時(shí)的情況在內(nèi)的被攝體發(fā)生較大變化的情況中，在被攝體距離隨著時(shí)間發(fā)生較大變化的情況下，使置信度降低。圖15示出本變形例中的對(duì)焦鏡頭移動(dòng)目的地計(jì)算(步驟s100)的處理。與圖13相同的步驟編號(hào)的步驟進(jìn)行相同的處理，所以省略說(shuō)明。

在執(zhí)行了步驟s200至步驟s220的處理后，置信度計(jì)算部2050判定是否執(zhí)行了規(guī)定次數(shù)的被攝體距離的計(jì)算次數(shù)(s300)。在進(jìn)行了規(guī)定次數(shù)，例如5次的情況下進(jìn)入步驟s310，在未進(jìn)行的情況下返回到步驟s205，針對(duì)從ad轉(zhuǎn)換部310輸出的其他圖像(針對(duì)在不同的時(shí)刻拍攝的圖像)執(zhí)行步驟s205至步驟s220的處理。這里，作為判定條件，除了規(guī)定次數(shù)以外，還可以設(shè)為判定是否在一定誤差范圍內(nèi)計(jì)算了多次被攝體距離等其他條件。

接著，置信度計(jì)算部2050根據(jù)計(jì)算了多次的被攝體距離的偏差程度，來(lái)計(jì)算置信度(s310)。這里，可以使用計(jì)算了多次的被攝體距離的偏差程度和由被攝體距離信息計(jì)算部2040求出的相位差計(jì)算時(shí)的相關(guān)程度這雙方，計(jì)算置信度。

另外，在以后的步驟中使用的針對(duì)各評(píng)價(jià)塊的被攝體距離設(shè)為通過(guò)最先計(jì)算出的被攝體距離、最后計(jì)算出的被攝體距離、多次計(jì)算出的被攝體距離的統(tǒng)計(jì)性的計(jì)算值(平均值、中值、眾數(shù)、最大值、最小值等)等計(jì)算出的值。

在以上的本變形例中，除了本實(shí)施方式中的效果以外，還能夠在產(chǎn)生霧時(shí)等被攝體變化較大的場(chǎng)景中，計(jì)算更準(zhǔn)確的置信度。其結(jié)果，能夠抑制合焦到非用戶意圖的位置，能夠?qū)崿F(xiàn)穩(wěn)定的af。

雖然如以上那樣對(duì)本實(shí)施方式及其變形例進(jìn)行了詳細(xì)說(shuō)明，但本領(lǐng)域技術(shù)人員能夠容易地理解到，可以進(jìn)行實(shí)質(zhì)上不脫離本發(fā)明的新事項(xiàng)以及效果的多種變形。因而，這種變形例全部包含在本發(fā)明的范圍內(nèi)。例如，在說(shuō)明書(shū)或附圖中，對(duì)于至少一次地與更廣義或同義的不同用語(yǔ)一起記載的用語(yǔ)，在說(shuō)明書(shū)或附圖的任何位置處，都可以將其置換為該不同的用語(yǔ)。此外，對(duì)焦控制裝置、內(nèi)窺鏡裝置等的結(jié)構(gòu)、動(dòng)作也不限于本實(shí)施方式所說(shuō)明的內(nèi)容，可實(shí)施各種變形。

標(biāo)號(hào)說(shuō)明

100：硬性鏡；110：鏡頭系統(tǒng)；120：光導(dǎo)部；200：攝像部；210：af按鈕；220：對(duì)焦鏡頭；230：對(duì)焦鏡頭驅(qū)動(dòng)部；240：物鏡系統(tǒng)；250：攝像元件；300：處理部；310：ad轉(zhuǎn)換部；320：預(yù)處理部；330：圖像處理部；340：af控制部；350：控制部；400：顯示部；500：外部i/f部；600：光源部；610：白色光源；620：光導(dǎo)纜線；2010：區(qū)域設(shè)定部；2020：模式設(shè)定部；2030：相位信號(hào)生成部；2040：被攝體距離信息計(jì)算部；2050：置信度計(jì)算部；2060：被攝體特征量計(jì)算部；2070：關(guān)注區(qū)域估計(jì)部；2080：鏡頭移動(dòng)目的地決定部；2095：對(duì)焦控制部；s1、s2：相位傳感器。

權(quán)利要求書(shū)(按照條約第19條的修改)

1.(修改后)一種對(duì)焦控制裝置，其特征在于，包含：

區(qū)域設(shè)定部，其針對(duì)由攝像部拍攝的攝像圖像，設(shè)定各區(qū)域由多個(gè)像素構(gòu)成的多個(gè)區(qū)域；

被攝體距離信息計(jì)算部，其在所設(shè)定的多個(gè)所述區(qū)域中，分別求出到在所述各區(qū)域中拍攝的被攝體為止的距離信息；以及

對(duì)焦控制部，其根據(jù)所述距離信息來(lái)進(jìn)行對(duì)焦控制，

所述對(duì)焦控制部根據(jù)所述距離信息，進(jìn)行將多個(gè)所述區(qū)域分類為多個(gè)組的分類處理，并根據(jù)多個(gè)所述組中的各組的面積信息，進(jìn)行對(duì)被判定為面積在給定閾值以上的所述組進(jìn)行合焦的所述對(duì)焦控制。

2.(修改后)根據(jù)權(quán)利要求1所述的對(duì)焦控制裝置，其特征在于，

所述對(duì)焦控制部在根據(jù)所述面積信息判定為多個(gè)所述組中的面積最大的組即最大面積組的面積為所述給定閾值以上的情況下，進(jìn)行合焦到所述最大面積組的所述對(duì)焦控制。

3.(修改后)根據(jù)權(quán)利要求2所述的對(duì)焦控制裝置，其特征在于，

所述對(duì)焦控制部在判定為所述最大面積組的面積比所述給定閾值小的情況下，進(jìn)行合焦到多個(gè)所述組中的利用所述距離信息表示的距離最遠(yuǎn)的組的所述對(duì)焦控制。

4.根據(jù)權(quán)利要求3所述的對(duì)焦控制裝置，其特征在于，

所述對(duì)焦控制部根據(jù)被分類為多個(gè)所述組中的各個(gè)組的所述各區(qū)域的所述距離信息，確定利用所述距離信息表示的距離最遠(yuǎn)的組。

5.(修改后)根據(jù)權(quán)利要求1所述的對(duì)焦控制裝置，其特征在于，

所述對(duì)焦控制部在根據(jù)所述面積信息判定為多個(gè)所述組中的面積最大的組即最大面積組的面積比所述給定閾值小的情況下，進(jìn)行合焦到多個(gè)所述組中的利用所述距離信息表示的距離最遠(yuǎn)的組的所述對(duì)焦控制。

6.根據(jù)權(quán)利要求1所述的對(duì)焦控制裝置，其特征在于，

所述對(duì)焦控制部具有第1模式和第2模式，在該第1模式下，進(jìn)行優(yōu)先合焦到多個(gè)所述組中的利用所述距離信息表示的距離最遠(yuǎn)的組的所述對(duì)焦控制，在該第2模式下，進(jìn)行優(yōu)先合焦到多個(gè)所述組中的利用所述距離信息表示的距離最近的組的所述對(duì)焦控制。

7.根據(jù)權(quán)利要求1所述的對(duì)焦控制裝置，其特征在于，

所述對(duì)焦控制部求出多個(gè)所述區(qū)域各自的特征量，根據(jù)所述特征量，設(shè)定不成為所述分類處理的對(duì)象的無(wú)效區(qū)域。

8.根據(jù)權(quán)利要求7所述的對(duì)焦控制裝置，其特征在于，

所述對(duì)焦控制部根據(jù)所述特征量，將多個(gè)所述區(qū)域中的被判定為拍攝了活體以外的被攝體的區(qū)域設(shè)定為所述無(wú)效區(qū)域。

9.根據(jù)權(quán)利要求7所述的對(duì)焦控制裝置，其特征在于，

所述對(duì)焦控制部具有第1模式和第2模式，在該第1模式下，進(jìn)行優(yōu)先合焦到多個(gè)所述組中的利用所述距離信息表示的距離最遠(yuǎn)的組的所述對(duì)焦控制，在該第2模式下，進(jìn)行優(yōu)先合焦到多個(gè)所述組中的利用所述距離信息表示的距離最近的組的所述對(duì)焦控制，

所述對(duì)焦控制部在所述第1模式下，將多個(gè)所述區(qū)域中的被判定為拍攝了活體以外的被攝體的區(qū)域設(shè)定為所述無(wú)效區(qū)域，在所述第2模式下，將多個(gè)所述區(qū)域中的被判定為拍攝了所述活體的區(qū)域設(shè)定為所述無(wú)效區(qū)域。

10.根據(jù)權(quán)利要求1所述的對(duì)焦控制裝置，其特征在于，

所述對(duì)焦控制部求出多個(gè)所述區(qū)域各自的特征量，根據(jù)所述特征量，設(shè)定多個(gè)所述區(qū)域中的成為所述分類處理的對(duì)象的有效區(qū)域。

11.根據(jù)權(quán)利要求10所述的對(duì)焦控制裝置，其特征在于，

所述對(duì)焦控制部根據(jù)所述特征量，將多個(gè)所述區(qū)域中的被判定為拍攝了活體的區(qū)域設(shè)定為所述有效區(qū)域。

12.根據(jù)權(quán)利要求10所述的對(duì)焦控制裝置，其特征在于，

所述對(duì)焦控制部具有第1模式和第2模式，在該第1模式下，進(jìn)行優(yōu)先合焦到多個(gè)所述組中的利用所述距離信息表示的距離最遠(yuǎn)的組的所述對(duì)焦控制，在該第2模式下，進(jìn)行優(yōu)先合焦到多個(gè)所述組中的利用所述距離信息表示的距離最近的組的所述對(duì)焦控制，

所述對(duì)焦控制部在所述第1模式下，將多個(gè)所述區(qū)域中的被判定為拍攝了活體的區(qū)域設(shè)定為所述有效區(qū)域，在所述第2模式下，將多個(gè)所述區(qū)域中的被判定為拍攝了所述活體以外的被攝體的區(qū)域設(shè)定為所述有效區(qū)域。

13.(修改后)根據(jù)權(quán)利要求6所述的對(duì)焦控制裝置，其特征在于，

所述對(duì)焦控制部根據(jù)用戶的操作，進(jìn)行所述第1模式和所述第2模式的切換。

14.根據(jù)權(quán)利要求2所述的對(duì)焦控制裝置，其特征在于，

所述對(duì)焦控制部具有第1模式和第2模式，在該第1模式下，進(jìn)行優(yōu)先合焦到多個(gè)所述組中的利用所述距離信息表示的距離最遠(yuǎn)的組的所述對(duì)焦控制，在該第2模式下，進(jìn)行優(yōu)先合焦到多個(gè)所述組中的利用所述距離信息表示的距離最近的組的所述對(duì)焦控制，

所述對(duì)焦控制部在所述第1模式下，使用第1閾值作為所述給定閾值進(jìn)行所述對(duì)焦控制，在所述第2模式下，使用與所述第1閾值不同的第2閾值作為所述給定閾值進(jìn)行所述對(duì)焦控制。

15.(修改后)根據(jù)權(quán)利要求6所述的對(duì)焦控制裝置，其特征在于，

與由所述對(duì)焦控制部設(shè)定了所述第1模式的情況相比，在設(shè)定了所述第2模式的情況下，所述區(qū)域設(shè)定部變更所設(shè)定的所述區(qū)域的位置、尺寸和數(shù)量中的至少1個(gè)。

16.根據(jù)權(quán)利要求1所述的對(duì)焦控制裝置，其特征在于，

所述被攝體距離信息計(jì)算部在多個(gè)所述區(qū)域中的各個(gè)區(qū)域中，求出表示所求出的所述距離信息的似然性的置信度。

17.根據(jù)權(quán)利要求16所述的對(duì)焦控制裝置，其特征在于，

所述對(duì)焦控制部根據(jù)所述置信度，設(shè)定不成為所述分類處理的對(duì)象的無(wú)效區(qū)域。

18.根據(jù)權(quán)利要求1所述的對(duì)焦控制裝置，其特征在于，

所述被攝體距離信息計(jì)算部在多個(gè)所述區(qū)域中的各個(gè)區(qū)域中，分別取得來(lái)自相位傳感器的相位差信息，并根據(jù)所述相位差信息，求出所述距離信息。

19.根據(jù)權(quán)利要求18所述的對(duì)焦控制裝置，其特征在于，

所述區(qū)域設(shè)定部根據(jù)所述攝像部中的所述相位傳感器的配置信息，設(shè)定多個(gè)所述區(qū)域。

20.根據(jù)權(quán)利要求1所述的對(duì)焦控制裝置，其特征在于，

所述被攝體距離信息計(jì)算部根據(jù)通過(guò)照射給定的圖案光而取得的所述攝像圖像，求出所述距離信息。

21.一種內(nèi)窺鏡裝置，其中，

該內(nèi)窺鏡裝置包含權(quán)利要求1～20中的任意一項(xiàng)所述的對(duì)焦控制裝置。

22.(修改后)一種對(duì)焦控制裝置的控制方法，其特征在于，

針對(duì)由攝像部拍攝的攝像圖像，設(shè)定各區(qū)域由多個(gè)像素構(gòu)成的多個(gè)區(qū)域，

在所設(shè)定的多個(gè)所述區(qū)域中的各個(gè)區(qū)域中，求出到在所述各區(qū)域中拍攝的被攝體為止的距離信息，

根據(jù)所述距離信息，進(jìn)行將多個(gè)所述區(qū)域分類為多個(gè)組的分類處理，并根據(jù)多個(gè)所述組中的各組的面積信息，進(jìn)行對(duì)被判定為面積在給定閾值以上的所述組進(jìn)行合焦的所述對(duì)焦控制。