檢測(cè)裝置、學(xué)習(xí)裝置、檢測(cè)方法、學(xué)習(xí)方法和程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及檢測(cè)裝置、學(xué)習(xí)裝置、檢測(cè)方法、學(xué)習(xí)方法和程序等。
【背景技術(shù)】
[0002] 以往，公知有如專利文獻(xiàn)1所公開的方法那樣，照射容易被血液中包含的血紅蛋 白吸收的窄帶波長(zhǎng)的照明光、從而對(duì)粘膜表面的毛細(xì)血管等進(jìn)行強(qiáng)調(diào)顯示的窄帶光觀察 (NBI)。在該窄帶光觀察中，期待為了進(jìn)行食道區(qū)域的詳細(xì)診斷或大腸的腺管開口形態(tài)（腺 管構(gòu)造）觀察而廣泛進(jìn)行的色素散布的代替觀察法，通過減少檢查時(shí)間和不必要的活檢， 能夠期待對(duì)檢查高效化的貢獻(xiàn)。
[0003] 但是，雖然窄帶光觀察能夠進(jìn)行血管的強(qiáng)調(diào)顯示，但是很難對(duì)神經(jīng)進(jìn)行強(qiáng)調(diào)顯示。 當(dāng)在直腸全摘除手術(shù)或前列腺全摘除手術(shù)中保存神經(jīng)的情況下，在摘除對(duì)象臟器時(shí)，需要 使對(duì)象臟器露出來進(jìn)行摘除，以使得不會(huì)損傷以包圍對(duì)象臟器的方式分布的神經(jīng)，但是，由 于直徑50~300 μ m的細(xì)神經(jīng)為白色或透明，所以，在基于腹腔鏡的放大觀察中也很難進(jìn)行 觀察。因此，醫(yī)師不得不依靠經(jīng)驗(yàn)和感覺進(jìn)行手術(shù)，存在損傷的可能性較高這樣的不良情 況。著眼于包圍對(duì)象臟器的神經(jīng)存在于脂肪層內(nèi)，提出了如下方法：為了使神經(jīng)可視化，通 過提取位于神經(jīng)周圍的脂肪，將包圍對(duì)象臟器的神經(jīng)的損傷防患于未然。
[0004] 作為從圖像中識(shí)別并提取特定區(qū)域的方法，在專利文獻(xiàn)2中公開了使用學(xué)習(xí)的方 法。具體而言，進(jìn)行如下處理：對(duì)應(yīng)該提取的區(qū)域進(jìn)行學(xué)習(xí)，使用通過該學(xué)習(xí)而求出的參數(shù)， 從輸入圖像中提取特定區(qū)域。
[0005] 現(xiàn)有技術(shù)文獻(xiàn)
[0006] 專利文獻(xiàn)
[0007] 專利文獻(xiàn)1 :日本特開2011-224038號(hào)公報(bào)
[0008] 專利文獻(xiàn)2 :日本特開2002-342758號(hào)公報(bào)

【發(fā)明內(nèi)容】

[0009] 發(fā)明要解決的課題
[0010] 在取得相同特征作為圖像時(shí)，當(dāng)從攝像裝置到對(duì)象的距離不同時(shí)，引起照明的照 射方式的差異或強(qiáng)度的差異等，有時(shí)示出不同的特性。當(dāng)直接將與這些不同的特性對(duì)應(yīng)的 特征量分類為同一集合進(jìn)行學(xué)習(xí)時(shí)，在學(xué)習(xí)數(shù)據(jù)中，針對(duì)同一集合的特征量的偏差增大。其 結(jié)果，作為學(xué)習(xí)結(jié)果的判別基準(zhǔn)的精度降低，導(dǎo)致檢測(cè)精度降低。與此相對(duì)，通過伴隨圖像 取得而取得距離信息并進(jìn)行檢測(cè)處理，能夠進(jìn)行穩(wěn)定的檢測(cè)。在專利文獻(xiàn)2中，作為機(jī)器人 的視覺識(shí)別系統(tǒng)，提出了使用圖像和距離信息的系統(tǒng)。通過距離對(duì)取得圖像進(jìn)行歸一化，進(jìn) 行學(xué)習(xí)和識(shí)別處理。在該方法中，使用距離信息對(duì)根據(jù)距離而不同地取得的大小和圖案的 精細(xì)度進(jìn)行校正。
[0011] 但是，在專利文獻(xiàn)2中，雖然記載了根據(jù)距離進(jìn)行特征量的校正處理，但是未涉及 其校正程度的控制。一般情況下，基于距離（狹義地講為相對(duì)于基準(zhǔn)距離的距離變動(dòng)）的 特征量的變動(dòng)特性不一定是固定的。例如考慮如下情況：在d較小的情況下，相對(duì)于距離的 單位變動(dòng)量的特征量的變動(dòng)較?。ɡ缣卣髁康淖儎?dòng)用α X d表示），但是，在d較大的情 況下，相對(duì)于距離的單位變動(dòng)量的特征量的變動(dòng)較大（例如特征量的變動(dòng)用滿足β>α的 β X d表示）。
[0012] 這種情況下，很難通過特定的校正方法（例如使用一個(gè)式子進(jìn)行歸一化處理的方 法）對(duì)基于給定的被攝體距離的特征量變動(dòng)進(jìn)行校正。即，在專利文獻(xiàn)2的簡(jiǎn)單方法中，在 基于距離的校正處理中，無法充分補(bǔ)償特征量的變動(dòng)，基于該校正處理的檢測(cè)處理、學(xué)習(xí)處 理的精度降低。
[0013] 根據(jù)本發(fā)明的若干個(gè)方式，能夠提供通過使用多個(gè)距離范圍中的每個(gè)距離范圍的 學(xué)習(xí)特征量進(jìn)行檢測(cè)處理而高精度地從圖像中檢測(cè)對(duì)象區(qū)域的檢測(cè)裝置、學(xué)習(xí)裝置、檢測(cè) 方法、學(xué)習(xí)方法和程序等。
[0014] 用于解決課題的手段
[0015] 本發(fā)明的一個(gè)方式涉及一種檢測(cè)裝置，該檢測(cè)裝置包括：圖像取得部，其通過攝像 部的攝像而取得包含被攝體的像的圖像；距離信息取得部，其取得基于所述攝像時(shí)的從所 述攝像部到所述被攝體的距離的距離信息；特征量計(jì)算部，其根據(jù)所取得的所述圖像計(jì)算 與所述被攝體有關(guān)的特征量；學(xué)習(xí)特征量存儲(chǔ)部，其針對(duì)根據(jù)從所述攝像部到所述被攝體 的所述距離而設(shè)定的多個(gè)距離范圍，存儲(chǔ)通過每個(gè)距離范圍的學(xué)習(xí)處理而求出的與各距離 范圍對(duì)應(yīng)的學(xué)習(xí)特征量；以及檢測(cè)部，其根據(jù)所述學(xué)習(xí)特征量、所述距離信息、所述特征量， 從所述圖像中檢測(cè)對(duì)象區(qū)域，所述檢測(cè)部根據(jù)由所述距離信息取得部取得的所述距離信 息，從所述多個(gè)距離范圍中確定與由所述特征量計(jì)算部計(jì)算出的所述特征量對(duì)應(yīng)的距離范 圍，根據(jù)與所確定的所述距離范圍對(duì)應(yīng)的所述學(xué)習(xí)特征量和由所述特征量計(jì)算部計(jì)算出的 所述特征量檢測(cè)所述對(duì)象區(qū)域。
[0016] 在本發(fā)明的一個(gè)方式中，根據(jù)通過基于距離而設(shè)定的多個(gè)距離范圍中的每個(gè)距離 范圍的學(xué)習(xí)處理而求出的學(xué)習(xí)特征量和從進(jìn)行攝像而得到的圖像中取得的特征量，從圖像 中檢測(cè)對(duì)象區(qū)域。具有給定特性的被攝體的圖像上的特征量可能由于距離的遠(yuǎn)近或被攝體 的凹凸構(gòu)造等而變動(dòng)，但是，由于使用根據(jù)距離而設(shè)定的多個(gè)距離范圍，所以，能夠抑制該 變動(dòng)帶來的影響，能夠高精度地檢測(cè)對(duì)象區(qū)域等。
[0017] 并且，本發(fā)明的另一個(gè)方式涉及一種學(xué)習(xí)裝置，該學(xué)習(xí)裝置包括：圖像取得部，其 通過攝像部的攝像而取得包含被攝體的像的圖像；距離信息取得部，其取得基于所述攝像 時(shí)的從所述攝像部到所述被攝體的距離的距離信息；特征量計(jì)算部，其根據(jù)所取得的所述 圖像計(jì)算與所述被攝體有關(guān)的特征量；學(xué)習(xí)部，其根據(jù)由所述距離信息取得部取得的所述 距離信息設(shè)定多個(gè)距離范圍，按照所設(shè)定的所述多個(gè)距離范圍進(jìn)行所述特征量的學(xué)習(xí)處 理；以及學(xué)習(xí)特征量存儲(chǔ)部，其存儲(chǔ)通過所述學(xué)習(xí)部中的所述學(xué)習(xí)處理而求出的學(xué)習(xí)特征 量。
[0018] 由此，在學(xué)習(xí)處理中，通過使用根據(jù)距離信息而設(shè)定的多個(gè)距離范圍進(jìn)行處理，能 夠高精度地進(jìn)行學(xué)習(xí)處理，能夠使用該學(xué)習(xí)處理的結(jié)果高精度地進(jìn)行檢測(cè)處理等。
[0019] 并且，本發(fā)明的另一個(gè)方式涉及一種檢測(cè)方法，該檢測(cè)方法使計(jì)算機(jī)執(zhí)行以下處 理：通過攝像部的攝像而取得包含被攝體的像的圖像的處理；距離信息取得處理，取得基 于所述攝像時(shí)的從所述攝像部到所述被攝體的距離的距離信息；特征量計(jì)算處理，根據(jù)所 取得的所述圖像計(jì)算與所述被攝體有關(guān)的特征量；學(xué)習(xí)特征量存儲(chǔ)處理，針對(duì)根據(jù)從所述 攝像部到所述被攝體的所述距離而設(shè)定的多個(gè)距離范圍，存儲(chǔ)通過每個(gè)距離范圍的學(xué)習(xí)處 理而求出的與各距離范圍對(duì)應(yīng)的學(xué)習(xí)特征量；以及檢測(cè)處理，根據(jù)所述學(xué)習(xí)特征量、所述距 離信息、所述特征量，從所述圖像中檢測(cè)對(duì)象區(qū)域，作為所述檢測(cè)處理，進(jìn)行如下處理：根據(jù) 所述距離信息取得處理中取得的所述距離信息，從所述多個(gè)距離范圍中確定與所述特征量 計(jì)算處理中計(jì)算出的所述特征量對(duì)應(yīng)的距離范圍，根據(jù)與所確定的所述距離范圍對(duì)應(yīng)的所 述學(xué)習(xí)特征量和所述特征量計(jì)算處理中計(jì)算出的所述特征量檢測(cè)所述對(duì)象區(qū)域。
[0020] 并且，本發(fā)明的另一個(gè)方式涉及一種學(xué)習(xí)方法，該學(xué)習(xí)方法使計(jì)算機(jī)執(zhí)行以下處 理：通過攝像部的攝像而取得包含被攝體的像的圖像的處理；距離信息取得處理，取得基 于所述攝像時(shí)的從所述攝像部到所述被攝體的距離的距離信息；特征量計(jì)算處理，根據(jù)所 取得的所述圖像計(jì)算與所述被攝體有關(guān)的特征量；學(xué)習(xí)處理，根據(jù)所述距離信息取得處理 中取得的所述距離信息設(shè)定多個(gè)距離范圍，按照所設(shè)定的所述多個(gè)距離范圍進(jìn)行所述特征 量的學(xué)習(xí)；以及學(xué)習(xí)特征量存儲(chǔ)處理，存儲(chǔ)通過所述學(xué)習(xí)處理而求出的學(xué)習(xí)特征量。
[0021] 并且，本發(fā)明的另一個(gè)方式涉及一種程序，該程序使計(jì)算機(jī)執(zhí)行以下步驟：通過攝 像部的攝像而取得包含被攝體的像的圖像的步驟；取得基于所述攝像時(shí)的從所述攝像部到 所述被攝體的距離的距離信息的步驟；根據(jù)所取得的所述圖像計(jì)算與所述被攝體有關(guān)的特 征量的步驟；針對(duì)根據(jù)從所述攝像部到所述被攝體的所述距離而設(shè)定的多個(gè)距離范圍，存 儲(chǔ)通過每個(gè)距離范圍的學(xué)習(xí)處理而求出的與各距離范圍對(duì)應(yīng)的學(xué)習(xí)特征量的步驟；以及根 據(jù)所述學(xué)習(xí)特征量、所述距離信息、所述特征量，從所述圖像中檢測(cè)對(duì)象區(qū)域的步驟，在檢 測(cè)所述對(duì)象區(qū)域的步驟中，進(jìn)行如下處理：根據(jù)所述距離信息，從所述多個(gè)距離范圍中確定 與所述特征量對(duì)應(yīng)的距離范圍，根據(jù)與所確定的所述距離范圍對(duì)應(yīng)的所述學(xué)習(xí)特征量和所 述特征量檢測(cè)所述對(duì)象區(qū)域。
[0022] 并且，本發(fā)明的另一個(gè)方式涉及一種程序，該程序使計(jì)算機(jī)執(zhí)行以下步驟：通過攝 像部的攝像而取得包含被攝體的像的圖像的步驟；取得基于所述攝像時(shí)的從所述攝像部到 所述被攝體的距離的距離信息的步驟；根據(jù)所取得的所述圖像計(jì)算與所述被攝體有關(guān)的特 征量的步驟；根據(jù)所述距離信息設(shè)定多個(gè)距離范圍，按照所設(shè)定的所述多個(gè)距離范圍進(jìn)行 所述特征量的學(xué)習(xí)處理的步驟；以及存儲(chǔ)通過所述學(xué)習(xí)處理而求出的學(xué)習(xí)特征量的步驟。
【附圖說明】
[0023] 圖1是包含本實(shí)施方式的檢測(cè)裝置的內(nèi)窺鏡裝置的結(jié)構(gòu)例。
[0024] 圖2是根據(jù)距離而使特征量的變動(dòng)特性不同的情況的例子。
[0025] 圖3是第1實(shí)施方式的檢測(cè)裝置的結(jié)構(gòu)例。
[0026] 圖4是說明第1實(shí)施方式的學(xué)習(xí)處理的流程圖。
[0027] 圖5是說明第1實(shí)施方式的檢測(cè)處理的流程圖。
[0028] 圖6是說明第1實(shí)施方式的變形例的檢測(cè)處理的流程圖。
[0029] 圖7是第2實(shí)施方式的檢測(cè)裝置的結(jié)構(gòu)例。
[0030] 圖8是說明第2實(shí)施方式的學(xué)習(xí)處理的流程圖。
[0031] 圖9是說明第2實(shí)施方式的檢測(cè)處理的流程圖。
[0032] 圖10(A)~圖10(D)是說明學(xué)習(xí)處理的例子的圖。
[0033] 圖11(A)、圖11⑶是說明基于被攝體的凹凸構(gòu)造的特征量的變動(dòng)的圖。
[0034] 圖12㈧是分開設(shè)置檢測(cè)裝置和學(xué)習(xí)裝置的例子，圖12⑶是檢測(cè)裝置包含學(xué)習(xí) 部的例子。
[0035] 圖13是說明第1實(shí)施方式的處理的圖。
[0036] 圖14是說明第1實(shí)施方式的變形例的插值處理的圖。
[0037] 圖15是說明第2實(shí)施方式的處理的圖。
[0038] 圖16(A)~圖16(F)是基于形態(tài)學(xué)處理的提取凹凸信息的提取處理的說明圖。
[0039] 圖17(A)~圖17(D)是基于濾波處理的提取凹凸信息的提取處理的說明圖。
【具體實(shí)施方式】
[0040] 下面，對(duì)本實(shí)施方式進(jìn)行說明。另外，以下說明的本實(shí)施方式并不是不當(dāng)限定權(quán)利 要求書所記載的本發(fā)明的內(nèi)容。并且，本實(shí)施方式中說明的全部結(jié)構(gòu)不一定是本發(fā)明的必 須結(jié)構(gòu)要件。
[0041] 1.本實(shí)施方式的方法
[0042] 首先，對(duì)本實(shí)施方式的方法進(jìn)行說明。舉出用于抑制神經(jīng)損傷的脂肪檢測(cè)的例子， 如上所述，從圖像中求出與被攝體有關(guān)的某個(gè)特征量，使用所求出的特征量來檢測(cè)期望被 攝體，進(jìn)行這種處理是有用的。在脂肪檢測(cè)的情況下，與被攝體有關(guān)的特征量是顏色、亮度、 色差等，在以下的說明中，也使用這些作為特征量的例子。但是，本實(shí)施方式的特征量不限 于顏色、亮度、色差等信息，也可以采用使用邊緣檢測(cè)等而取得的被攝體的形狀信息等各種 信息。
[0043] 在這種判定處理、即期望被攝體的檢測(cè)處理中，進(jìn)行學(xué)習(xí)處理并使用其結(jié)果（以 下表記為學(xué)習(xí)結(jié)果，狹義地講，也可以是分類模型）是有用的。對(duì)學(xué)習(xí)處理的具體例進(jìn)行簡(jiǎn) 單說明。一個(gè)處理對(duì)象數(shù)據(jù)由一個(gè)特征量或多個(gè)特征量的組來表現(xiàn)。例如，如果將圖像的 亮度值Y作為特征量，則一個(gè)處理對(duì)象數(shù)據(jù)由Y的值來表現(xiàn)，如果將彩色圖像的像素值（R、 G、B)作為特征量，則一個(gè)處理對(duì)象數(shù)據(jù)由（R、G、B)這樣的3個(gè)值的組來表現(xiàn)。但是，根據(jù) 圖像計(jì)算出的特征量不限于