圖像處理裝置、程序以及圖像處理方法
【技術領域】
[0001] 本發(fā)明涉及圖像處理裝置、程序以及圖像處理方法等。
【背景技術】
[0002] 在使用了內窺鏡裝置的生物體內部的觀察、診斷中，廣泛使用了一種通過觀察生 物體表面的微小的凹凸狀態(tài)進行是否是早期病變部的識別的方法。另外，即使不是生物體 用的內窺鏡裝置而是工業(yè)用的內窺鏡裝置中，觀察被攝體（狹義上是被攝體表面）的凹凸 結構也是有用的，例如能夠檢測出產生于難以直接目視的管內部等的龜裂等。另外，即使在 內窺鏡裝置以外的圖像處理裝置中，多數(shù)情況下從作為處理對象的圖像中檢測出被攝體的 凹凸結構也是有用的。
[0003] 以往，作為攝像圖像的結構（例如槽等凹凸結構）的強調處理，廣泛使用強調特定 的空間頻率的處理，但這種方法不適用于上述那樣的微小的凹凸狀態(tài)的檢測。另外，還有一 種方法廣為人知，該方法不是通過圖像處理檢測凹凸狀態(tài)，而是使被攝體側產生某種變化， 再拍攝變化后的被攝體。作為一例，如果是生物體用的內窺鏡裝置，則具有通過散布靛藍胭 脂紅等色素使生物體本身染色而在表層粘膜形成對比度的方法。但是，色素散布既花費功 夫和成本，還有可能因為散布的色素而損傷被攝體本來的色調，或者降低凹凸以外的結構 的視覺辨認性。而且如果是對生物體散布色素，還能夠產生對患者來說侵入性高的問題。
[0004] 在專利文獻1中公開了一種方法，該方法對局部的提取區(qū)域的關注像素與其周邊 像素的亮度等級進行比較，在關注區(qū)域比周邊區(qū)域暗的情況下通過進行著色的處理而強調 凹凸結構。
[0005] 現(xiàn)有技術文獻
[0006] 專利文獻
[0007] 專利文獻1 :日本特開2003-88498號公報

【發(fā)明內容】

[0008] 發(fā)明要解決的課題
[0009] 專利文獻1的處理是基于以下假設的處理：在從攝像部到被攝體（生物體表面） 的距離較遠的情況下，從生物體表面反射的反射光量變少而進行較暗的拍攝。因此，例如即 使是在由亮點周邊部或手邊的結構而造成的影子的區(qū)域、或血管與其周邊的粘膜等與生物 體表面的細微的凹凸沒有直接關系的情況下，也會在產生亮度變化的區(qū)域誤檢測出凹凸結 構。
[0010] 根據(jù)本發(fā)明的幾種方式，能夠提供一種根據(jù)與被攝體相關的已知特性信息而對該 被攝體的凹凸部進行適當?shù)膹娬{處理的圖像處理裝置、程序以及圖像處理方法。
[0011] 用于解決課題的手段
[0012] 本發(fā)明的一個實施方式涉及一種圖像處理裝置，其包含：圖像獲取部，其通過攝像 部的拍攝而獲取包含被攝體的像的攝像圖像；距離信息獲取部，其獲取基于所述拍攝時從 所述攝像部到所述被攝體的距離的距離信息；凹凸信息獲取部，其從所獲取的所述距離信 息中獲取提取凹凸信息，其中，該提取凹凸信息是提取出了所述被攝體的凹凸部的信息；以 及強調部，其將由所述提取凹凸信息所表示的所述凹凸部中的與由已知特性信息所確定的 特性一致的所述凹凸部作為強調對象進行強調處理，其中，該已知特性信息是表示與所述 被攝體的結構相關的已知特性的信息。
[0013] 在本發(fā)明的一個實施方式中，將由提取凹凸信息所表示的凹凸部中的與由已知特 性信息所確定的特性一致的凹凸部作為強調對象進行強調處理。因此，在對凹凸結構進行 強調處理時，判定被攝體的凹凸結構是否是強調對象，能夠對被判定為是強調對象的凹凸 部進行適當?shù)貜娬{處理等。
[0014] 另外，本發(fā)明的其它方式涉及一種程序，該程序使計算機執(zhí)行如下步驟：通過攝 像部的拍攝而獲取包含被攝體的像的攝像圖像，獲取基于所述拍攝時從所述攝像部到所述 被攝體的距離的距離信息，從所獲取的所述距離信息中獲取提取凹凸信息，其中，該提取凹 凸信息是提取出了所述被攝體的凹凸部的信息，將由所述提取凹凸信息所表示的所述凹凸 部中的與由已知特性信息所確定的特性一致的所述凹凸部作為強調對象進行強調處理，其 中，該已知特性信息是表示與所述被攝體的結構相關的已知特性的信息。
[0015] 另外，本發(fā)明的其它方式涉及一種圖像處理方法，通過攝像部的拍攝而獲取包含 被攝體的像的攝像圖像，獲取基于所述拍攝時從所述攝像部到所述被攝體的距離的距離信 息，從所獲取的所述距離信息中獲取提取凹凸信息，其中，該提取凹凸信息是提取出了所述 被攝體的凹凸部的信息，將由所述提取凹凸信息所表示的所述凹凸部中的與由已知特性信 息所確定的特性一致的所述凹凸部作為強調對象進行強調處理，其中，該已知特性信息是 表示與所述被攝體的結構相關的已知特性的信息。
【附圖說明】
[0016] 圖1是圖像處理裝置的系統(tǒng)結構例。
[0017] 圖2是包含本實施方式涉及的圖像處理裝置的內窺鏡裝置的結構圖。
[0018] 圖3是旋轉濾色器的結構例。
[0019] 圖4是濾色器的分光特性的例子。
[0020] 圖5是凹凸信息獲取部的結構例。
[0021] 圖6(A)~圖6(F)是通過形態(tài)學處理對提取凹凸信息進行提取處理的說明圖。
[0022] 圖7(A)~圖7(D)是通過濾波處理對提取凹凸信息進行提取處理的說明圖。
[0023] 圖8是圖像處理部的結構例。
[0024] 圖9是強調部的結構例。
[0025] 圖10是提取凹凸信息的例子。
[0026] 圖11是說明凹部的寬度的計算處理的圖。
[0027] 圖12是說明凹部的深度的計算處理的圖。
[0028] 圖13(A)、圖13(B)是凹部的強調處理中的強調量（增益系數(shù)）的設定例。
[0029] 圖14(A)、圖14⑶是凹部的強調處理的例子。
[0030] 圖15是距離信息獲取部的結構例。
[0031] 圖16是距離信息獲取部的其它的結構例。
[0032] 圖17是計算機系統(tǒng)的結構例。
[0033] 圖18是計算機系統(tǒng)的結構例。
[0034] 圖19是說明本實施方式的處理的流程圖。
[0035] 圖20是說明提取凹凸信息的提取處理的流程圖。
[0036] 圖21是用于說明強調處理的流程圖。
[0037] 圖22是說明凸部的寬度的計算處理的圖。
[0038] 圖23(A)、圖23(B)是凸部的強調處理中的強調量（增益系數(shù)）的設定例。
【具體實施方式】
[0039] 以下，對本實施方式進行說明。另外，以下說明的本實施方式并不對權利要求書中 記載的本發(fā)明的內容進行不恰當?shù)南薅?。另外，本實施方式所說明的所有結構并非都是本 發(fā)明所必須的構成要件。
[0040] 1.本實施方式的方法
[0041] 本實施方式的圖像處理裝置如圖1所示，包括：圖像獲取部310,其通過攝像部 (后述的圖2的攝像部200等）的拍攝，而獲取包含被攝體的像的攝像圖像；距離信息獲取 部350,其獲取基于所述拍攝時從所述攝像部到所述被攝體的距離的距離信息；凹凸信息 獲取部320,其從所獲取的距離信息中獲取提取凹凸信息，其中，該提取凹凸信息是提取出 了所述被攝體的凹凸部的信息；以及強調部333,其將由所述提取凹凸信息所表現(xiàn)的所述 凹凸部中的與由已知特性信息所確定的特性一致的所述凹凸部作為強調對象進行強調處 理，其中，該已知特性信息是表示與所述被攝體的結構相關的已知特性的信息。
[0042] 距離信息因為是與攝像部200到被攝體的距離對應的信息，所以如圖6(A)所示， 是表示被攝體（如果是生物體用的內窺鏡裝置則是生物體，尤其是其表面）的結構的信息。 即，距離信息包含被攝體表面的微小的凹凸結構。
[0043] 但是，距離信息中也包含被攝體表面的其它的結構的信息。例如，用內窺鏡裝置 進行觀察的生物體多是食道或者大腸等管腔狀的物體。在該情況下，生物體壁面因為是具 有指定的曲率的曲面，所以由距離信息所表示的距離包含與該曲面對應的值的變動。在圖 6(A)的例子中，距離信息包含各種其它的結構，并且整體上表現(xiàn)的結構為越往右方向行進 從攝像部到被攝體的距離越增加。
[0044] 另外，在被攝體表面也能夠包含與希望通過本實施方式的方法輸出的提取凹凸信 息對應的凹凸結構所不同的凹凸結構。例如，在胃或大腸等生物體的表面能觀察到像圖2 的2、3、4所示的褶皺結構。在距離信息中也能夠包含與這些褶皺結構相關的信息，但在本 實施方式中在使用了內窺鏡裝置的觀察中所假定的凹凸部是維度與那種當然能在生物體 表面觀察到的結構所不同的微小的凹凸結構。
[0045] 因此，要想對應該關注的對象進行適當?shù)貜娬{處理，需要從包含各種結構所引起 的距離變動的距離信息中適當?shù)卮_定出與期望的凹凸結構相關的信息。這在工業(yè)用的內窺 鏡裝置中也同樣，距離信息中能夠包含相當于圓形管的曲面的距離變動、為了使管具有指 定的功能而事先挖的槽、以及由于深刻度低而即使遺漏也不妨礙的傷等的信息，將它們除 去即可。
[0046] 因此本申請人提出一種方法，該方法獲取表示與被攝體的結構相關的已知特性的 信息即已知特性信息（先驗信息），對被攝體的與由該已知特性信息所確定的特性一致的 凹凸部進行強調。已知特性信息是能從被攝體表面的結構中分離出在本實施方式中有用的 結構和沒用的結構的信息。具體地說，既可以將強調有用（例如，有助于早期病變部的發(fā) 現(xiàn)）的凹凸部的信息作為已知特性信息，在那種情況下，將與該已知特性信息一致的被攝 體作為強調對象?；蛘撸部梢詫⒓词箯娬{也沒用的結構的信息作為已知特性信息，在那種 情況下將與已知特性信息不一致的被攝體作為強調對象?；蛘?，還可以事先保持有用的凹 凸部和沒用的結構的雙方的信息，并高精度地設定有用的凹凸部的范圍。
[0047] 但是，在本實施方式中通過后述的圖11等方法獲取被攝體的凹凸部的維度信息， 并進行與已知特性信息的比較處理。在這種情況下，為了高精度地求出維度信息，需要設定 被攝體的基準面（與圖11的Xl對應的面等），此時優(yōu)選從距離信息中除去全局的距離變動 (狹義上由管腔結構造成的距離變動）。
[0048] 因此，在本實施方式中使用從距離信息中獲取提取凹凸信息，并根據(jù)該提取凹凸 信息和已知特性信息決定強調對象等的方法，其中提取凹凸信息提取出了與特定的結構相 關的信息。狹義上，提取凹凸信息是除去了與管腔結構相關的信息的信息。對此，能夠通過 事先獲取與管腔結構相關的信息作為已知特性信息來實現(xiàn)。但是并不限于此，也可以事先 除去與不作為強調對象的其它的結構（褶皺結構等）相關的信息。這是因為如果盡可能地 事先除去與不能作為強調對象的被攝體的結構相關的信息，則在強調對象的設定等處理中 能夠減輕處理負載等。該處理能夠通過使用能夠確定強調對象的已知特性信息來實現(xiàn)。
[0049] 但是，包含于提取凹凸信息中的結構不需要嚴密地限定為能夠作為強調對象的結 構。這是因為本實施方式的強調處理通過以下的3個理由而將使用能夠確定強調對象的已 知特性信息作為前提。第1，即使在提取凹凸信息的獲取處理中使用了已知特性信息，也能 夠通過在強調處理中再次使用已知特性信息而提高強調對象的選擇精度。第2,在使用圖 6(A)~圖6(F)等如后所述獲取提取凹凸信息時，著眼于凹凸部的寬度而不對深度或高度 進行考慮。即，如果希望在處理中使用深度或高度，則需要進行使用了有別于提取凹凸信息 的獲取的已知特性信息的處理。第3,強調處理也可以采用根據(jù)維度信息等改變強調量的方 法。即，即使通過使用了已知特性信息的提取處理能夠獲取只提取出了強調對象的信息作 為提取凹凸信息，在設定它們的強調量時結果也需要已知特性信息。
[0050] 因此，在提取凹凸信息的提取處理中，只要能夠進行僅能夠適當?shù)剡M行強調處理 的處理（狹義上除去全局的結構以能夠設定基準面的處理）就足夠了，不需要其它的處理。 另外，只要能夠適當?shù)卦O定基準面，在除去與全局的結構相關的信息時也可以不使用已知 特性信息。
[0051] 此外，能夠在強調處理（及根據(jù)需要提取凹凸信息的提取處理）中使用的已知特 性信息即典型的褶皺的大小、或者有用的凹凸結構的維度等，假定根據(jù)作為觀察對象的部 位（如果是上部消化系統(tǒng)則是胃、如果是下部消化系統(tǒng)則是大腸等）而不同。因此，已知