本發(fā)明涉及對從具有濾色器的攝像元件輸出的圖像數據進行圖像處理的圖像處理裝置、內窺鏡系統(tǒng)、攝像裝置、圖像處理方法以及程序,其中,該濾色器是將透射寬帶的光的多個寬帶濾光器和透射窄帶的光的多個窄帶濾光器呈二維矩陣狀配置而成的。
背景技術:
近年來,在內窺鏡的領域,公知有如下的技術:在攝像元件的受光面上設置濾色器,該濾色器是將透射可見區(qū)域的寬帶的光的多個寬帶濾光器和透射窄帶的光的多個窄帶濾光器呈二維矩陣狀配置而成的,由此同時取得通常的寬帶圖像和能夠同時觀察粘膜表層的毛細血管和粘膜細微樣式的窄帶圖像(參照專利文獻1)。
現有技術文獻
專利文獻
專利文獻1:日本特開2007-20880號公報
技術實現要素:
發(fā)明要解決的課題
然而,在上述的專利文獻1中,窄帶濾光器的數量和寬帶濾光器的數量比通常的僅有寬帶濾光器的情況少,因此存在窄帶圖像和寬帶圖像各自的分辨率低這樣的問題。
本發(fā)明是鑒于上述情況而完成的,其目的在于,提供能夠以高分辨率分別得到窄帶圖像和通常的寬帶圖像的圖像處理裝置、內窺鏡系統(tǒng)、攝像裝置、圖像處理方法以及程序。
用于解決課題的手段
為了解決上述的課題、達成目的,本發(fā)明的圖像處理裝置的特征在于,該圖像處理裝置具有:分離部,其根據從攝像裝置輸入的圖像信號,將與分別透過了多種寬帶濾光器的寬帶光對應的多個寬帶圖像信號和與透過了窄帶濾光器的窄帶光對應的窄帶圖像信號分離,所述攝像裝置具有攝像元件和濾色器,在該攝像元件中呈二維格子狀配置的多個像素分別對所接受的光進行光電轉換而生成所述圖像信號,該濾色器使用所述窄帶濾光器和所述多種寬帶濾光器構成,所述窄帶濾光器的濾光器數量為所述多種寬帶濾光器中的任意一種的濾光器數量以上,所述多種寬帶濾光器透射包含彼此不同的原色的波段在內的所述寬帶光,所述窄帶濾光器透射具有比所述多種寬帶濾光器各自所透射的所述寬帶光的波段窄的波段且包含于所述寬帶光的波段的一部分中的所述窄帶光,所述濾色器以與所述多個像素對應的方式配置;去馬賽克部,其進行如下的去馬賽克處理:根據所述分離部分離出的所述窄帶圖像信號,對所述多個寬帶圖像信號中的至少一個寬帶圖像信號進行插值;以及圖像生成部,其使用所述去馬賽克部通過所述去馬賽克處理進行插值得到的至少一個所述寬帶圖像信號來生成寬帶圖像,并且使用所述窄帶圖像信號來生成窄帶圖像。
并且,本發(fā)明的圖像處理裝置在上述發(fā)明的基礎上,特征在于,所述窄帶濾光器的透射所述窄帶光的透射光譜的最大值包含在所述多種寬帶濾光器中的任意一種的透射光譜的半值寬度之間,所述去馬賽克部通過所述去馬賽克處理,對所述多個寬帶圖像信號中的、與在所述半值寬度之間包含所述最大值的所述寬帶濾光器對應的寬帶圖像信號進行插值。
并且,本發(fā)明的圖像處理裝置在上述發(fā)明的基礎上,特征在于,所述多種寬帶濾光器包含透射藍色波段的光的藍色濾光器、透射綠色波段的光的綠色濾光器以及透射紅色波段的光的紅色濾光器,所述窄帶濾光器具有第一窄帶濾光器,該第一窄帶濾光器的透射所述窄帶光的透射光譜的最大值包含在所述藍色濾光器的透射光譜的半值寬度之間,所述去馬賽克部使用與透過了所述第一窄帶濾光器的所述窄帶光對應的第一窄帶圖像信號進行所述去馬賽克處理,從而對與所述藍色濾光器對應的寬帶圖像信號進行插值,所述第一窄帶濾光器的濾光器數量為所述藍色濾光器的濾光器數量以上。
并且,本發(fā)明的圖像處理裝置在上述發(fā)明的基礎上,特征在于,所述窄帶濾光器具有第二窄帶濾光器,該第二窄帶濾光器的透射所述窄帶光的透射光譜的最大值包含在所述綠色濾光器的透射光譜的半值寬度之間,使用與透過了所述第二窄帶濾光器的所述窄帶光對應的第二窄帶圖像信號進行所述去馬賽克處理,從而對與所述綠色濾光器對應的寬帶圖像信號進行插值。
并且,本發(fā)明的圖像處理裝置在上述發(fā)明的基礎上,特征在于,所述去馬賽克部在具有與所述綠色濾光器對應的寬帶圖像信號和與透過了所述第一窄帶濾光器的所述窄帶光對應的第一窄帶圖像信號的情況下,在對與所述藍色濾光器對應的寬帶圖像信號進行插值時使用所述第一窄帶圖像信號進行所述去馬賽克處理。
并且,本發(fā)明的內窺鏡系統(tǒng)的特征在于,該內窺鏡系統(tǒng)具有:上述圖像處理裝置;攝像裝置,其具有攝像元件和濾色器,在該攝像元件中呈二維格子狀配置的多個像素分別對所接受的光進行光電轉換而生成圖像信號,該濾色器使用窄帶濾光器和多種寬帶濾光器構成,所述窄帶濾光器的濾光器數量為所述多種寬帶濾光器中的任意一種的濾光器數量以上,所述多種寬帶濾光器透射包含彼此不同的原色的波段在內的寬帶光,所述窄帶濾光器透射具有比所述多種寬帶濾光器各自所透射的所述寬帶光的波段窄的波段且包含于所述寬帶光的波段的一部分中的窄帶光,所述濾色器以與所述多個像素對應的方式配置;以及插入部,其在前端設置有所述攝像裝置,該插入部被插入到被檢體內。
并且,本發(fā)明的攝像裝置的特征在于,該攝像裝置具有:攝像元件,在該攝像元件中呈二維格子狀配置的多個像素分別對所接受的光進行光電轉換而生成圖像信號;以及以與所述多個像素對應的方式配置的濾色器,其使用窄帶濾光器和多種寬帶濾光器構成,所述窄帶濾光器的濾光器數量為所述多種寬帶濾光器中的任意一種的濾光器數量以上,所述多種寬帶濾光器透射包含彼此不同的原色的波段在內的寬帶光,所述窄帶濾光器透射具有比所述多種寬帶濾光器各自所透射的所述寬帶光的波段窄的波段且包含于所述寬帶光的波段的一部分中的窄帶光。
并且,本發(fā)明的圖像處理方法的特征在于,該圖像處理方法包含以下步驟:分離步驟,根據從攝像裝置輸入的圖像信號,將與分別透過了多種寬帶濾光器的寬帶光對應的多個寬帶圖像信號和與透過了窄帶濾光器的窄帶光對應的窄帶圖像信號分離,所述攝像裝置具有攝像元件和濾色器,在該攝像元件中呈二維格子狀配置的多個像素分別對所接受的光進行光電轉換而生成所述圖像信號,該濾色器使用所述窄帶濾光器和所述多種寬帶濾光器構成,所述窄帶濾光器的濾光器數量為所述多種寬帶濾光器中的任意一種的濾光器數量以上,所述多種寬帶濾光器透射包含彼此不同的原色的波段在內的所述寬帶光,所述窄帶濾光器透射具有比所述多種寬帶濾光器各自所透射的所述寬帶光的波段窄的波段且包含于所述寬帶光的波段的一部分中的所述窄帶光,所述濾色器以與所述多個像素對應的方式配置;去馬賽克步驟,進行如下的去馬賽克處理:根據在所述分離步驟中分離出的所述窄帶圖像信號,對所述多個寬帶圖像信號中的一個寬帶圖像信號進行插值;以及圖像生成步驟,使用在所述去馬賽克步驟中通過所述去馬賽克處理進行插值得到的所述寬帶圖像信號來生成寬帶圖像,并且使用所述窄帶圖像信號來生成窄帶圖像。
并且,本發(fā)明的程序使圖像處理裝置執(zhí)行以下步驟:分離步驟,根據從攝像裝置輸入的圖像信號,將與分別透過了多種寬帶濾光器的寬帶光對應的多個寬帶圖像信號和與透過了窄帶濾光器的窄帶光對應的窄帶圖像信號分離,所述攝像裝置具有攝像元件和濾色器,在該攝像元件中呈二維格子狀配置的多個像素分別對所接受的光進行光電轉換而生成所述圖像信號,該濾色器使用所述窄帶濾光器和所述多種寬帶濾光器構成,所述窄帶濾光器的濾光器數量為所述多種寬帶濾光器中的任意一種的濾光器數量以上,所述多種寬帶濾光器透射包含彼此不同的原色的波段在內的所述寬帶光,所述窄帶濾光器透射具有比所述多種寬帶濾光器各自所透射的所述寬帶光的波段窄的波段且包含于所述寬帶光的波段的一部分中的所述窄帶光,所述濾色器以與所述多個像素對應的方式配置;去馬賽克步驟,進行如下的去馬賽克處理:根據在所述分離步驟中分離出的所述窄帶圖像信號,對所述多個寬帶圖像信號中的一個寬帶圖像信號進行插值;以及圖像生成步驟,使用在所述去馬賽克步驟中通過所述去馬賽克處理進行插值得到的所述寬帶圖像信號來生成寬帶圖像,并且使用所述窄帶圖像信號來生成窄帶圖像。
發(fā)明效果
根據本發(fā)明,實現了能夠以高分辨率分別得到寬帶圖像和窄帶圖像這樣的效果。
附圖說明
圖1是示出本發(fā)明的實施方式1的內窺鏡系統(tǒng)的概略結構的圖。
圖2是示出本發(fā)明的實施方式1的內窺鏡系統(tǒng)的主要部分的功能結構的框圖。
圖3是示意性地示出本發(fā)明的實施方式1的濾色器的結構的圖。
圖4是示出構成本發(fā)明的實施方式1的濾色器的各濾光器的透射率的特性的圖。
圖5是示意性地對本發(fā)明的實施方式1的圖像處理部執(zhí)行的圖像處理的概要進行說明的圖。
圖6是示意性地示出本發(fā)明的實施方式1的變形例的濾色器的結構的圖。
圖7是示意性地示出本發(fā)明的實施方式2的濾色器的結構的圖。
圖8是示出構成本發(fā)明的實施方式2的濾色器的各濾光器的透射率的特性的圖。
圖9是示意性地對本發(fā)明的實施方式2的圖像處理部執(zhí)行的圖像處理的概要進行說明的圖。
圖10是示意性地示出本發(fā)明的實施方式3的濾色器的結構的圖。
圖11是示出構成本發(fā)明的實施方式3的濾色器的各濾光器的透射率的特性的圖。
圖12是示意性地對本發(fā)明的實施方式3的圖像處理部執(zhí)行的圖像處理的概要進行說明的圖。
具體實施方式
以下,對用于實施本發(fā)明的方式(以下,稱為“實施方式”)進行說明。在本實施方式中,作為圖像處理裝置,以對患者等被檢體的體腔內的圖像進行拍攝并顯示的醫(yī)療用的內窺鏡系統(tǒng)為例進行說明。并且,本發(fā)明不限于以下的實施方式。而且,在圖面的記載中對相同部分標注相同的標號進行說明。
(實施方式1)
(內窺鏡系統(tǒng)的結構)
圖1是示出本發(fā)明的實施方式1的內窺鏡系統(tǒng)的概略結構的圖。圖2是示出本發(fā)明的實施方式1的內窺鏡系統(tǒng)的主要部分的功能結構的框圖。
圖1和圖2所示的內窺鏡系統(tǒng)1具有:內窺鏡2,其通過前端部插入到被檢體的體腔內而對被檢體的體內圖像進行拍攝;光源裝置3,其產生從內窺鏡2的前端射出的照明光;處理裝置4(處理器),其對內窺鏡2拍攝的圖像信號實施規(guī)定的圖像處理而生成圖像,并且統(tǒng)一地對內窺鏡系統(tǒng)1整體的動作進行控制;以及顯示裝置5,其對處理裝置4實施圖像處理而生成的圖像進行顯示。
(內窺鏡的結構)
首先,對內窺鏡2的結構進行說明。內窺鏡2具有:具有撓性的呈細長形狀的插入部21;操作部22,其與插入部21的基端側連接,接受各種操作信號的輸入;以及通用纜線23,其從操作部22向與插入部21延伸的方向不同的方向延伸,內設有與光源裝置3和處理裝置4連接的各種纜線。
插入部21具有:前端部24,其內設有攝像元件244(攝像裝置),在該攝像元件244中像素呈二維狀排列,該像素接受光并進行光電轉換從而生成信號;彎曲自如的彎曲部25,其由多個彎曲塊構成;以及具有撓性的長條狀的撓性管部26,其與彎曲部25的基端側連接。
前端部24具有光導241、照明透鏡242、光學系統(tǒng)243、濾色器245、攝像元件244、模擬前端部246(以下,稱為“afe部246”)、定時產生器部247(以下,稱為“tg部247”)以及攝像控制部248。
光導241使用玻璃纖維等構成,形成光源裝置3射出的光的導光路。照明透鏡242設置于光導241的前端,使光導241引導的光朝向被攝體發(fā)散。
光學系統(tǒng)243使用一個或多個透鏡和棱鏡等構成,具有改變視場角的光學變焦功能和改變焦點的對焦功能。
攝像元件244接受透過了光學系統(tǒng)243和濾色器245的光,通過進行光電轉換而生成電信號,并將該電信號作為圖像信號輸出。攝像元件244使用ccd(chargecoupleddevice:電荷耦合元件)或cmos(complementarymetaloxidesemiconductor:互補金屬氧化物半導體)等攝像傳感器構成,在該攝像傳感器上接受來自光學系統(tǒng)243的光的多個像素呈二維矩陣狀排列。攝像元件244在攝像控制部248的控制下,根據從tg部247輸入的信號和從處理裝置4輸入的時鐘信號而生成圖像信號。
濾色器245以層疊的方式設置在攝像元件244的受光面上。在濾色器245中以與多個像素對應的方式配置濾光器單元,該濾光器單元使用窄帶濾光器和多種寬帶濾光器構成,窄帶濾光器的濾光器數量為多個寬帶濾光器中的任意一種的濾光器數量以上,其中,該多種寬帶濾光器透射包含彼此不同的原色的波段在內的寬帶光,該窄帶濾光器透射如下的窄帶光,該窄帶光具有比多種寬帶濾光器各自透射寬帶光的波段窄的波段,并且包含于寬帶光的波段的一部分。
圖3是示意性地示出濾色器245的結構的圖。圖3所示的濾色器245例如是根據攝像元件244的像素的配置而將濾光器單元t1呈矩陣狀排列配置而成的,其中,在該濾光器單元t1中,作為一個樣式而重復呈4×4(16)的矩陣狀排列的濾光器。設置有濾光器的像素接受濾光器所透射的波段的光。例如,設置有透射綠色波段的光的寬帶濾光器g的像素接受綠色波段的光。以下,將接受綠色波段的光的像素稱為g像素。同樣地,將接受藍色波段的光的像素稱為b像素,將接受紅色波段的光的像素稱為r像素,并且將接受窄帶光的像素稱為x像素。
在圖3所示的濾光器單元t1中,將兩個透射紅色波段(620nm~750nm)的光的寬帶濾光器r、八個透射綠色波段(495nm~570nm)的光的寬帶濾光器g、兩個透射藍色波段(450nm~495nm)的光的寬帶濾光器b以及四個窄帶濾光器x作為一個樣式進行重復,其中,該窄帶濾光器x透射藍色波段的一部分中的光,并且透射具有比各寬帶濾光器所透射的波段窄的波段的窄帶光。并且,在濾光器單元t1中,窄帶濾光器x的濾光器數量為寬帶濾光器b的濾光器數量以上(4>2)。在濾光器單元t1中,為了保證白色圖像的分辨率,與拜耳排列同樣地將寬帶濾光器g的數量設為八個,為了提高窄帶圖像的分辨率,將窄帶濾光器x的數量設為四個。并且,在濾光器單元t1中,由于寬帶濾光器b與窄帶濾光器x彼此的相關性較高,因此將寬帶濾光器b的數量設為兩個,由于在大腸內紅色較少,因此將寬帶濾光器r的數量設為兩個。
圖4是示出構成濾色器245的各濾光器的透射率的特性的圖。在圖4中,橫軸表示波長,縱軸表示透射率。并且,在圖4中,曲線lb表示寬帶濾光器b的透射率的特性,曲線lg表示寬帶濾光器g的透射率的特性,曲線lr表示寬帶濾光器r的透射率的特性,曲線lx表示窄帶濾光器x的透射率的特性。而且,在圖4中,將窄帶濾光器x的峰值波長設為415nm±30nm進行說明。
如圖4的曲線lx所示,窄帶濾光器x具有透射窄帶光的透射光譜,該窄帶光具有比寬帶濾光器b所透射的寬帶光的波段窄的波段,并且包含于寬帶濾光器b所透射的波段的一部分。而且,如圖4的曲線lx所示,透過寬帶濾光器b的光的波段與透過窄帶濾光器x的光的波段彼此的相關性較高。具體而言,如曲線lx和曲線lb所示,窄帶濾光器x的透射光譜的最大值pmax1包含在下限值p1與上限值p2的半值寬度之間,該下限值p1和上限值p2取寬帶濾光器b的透射光譜的最大值的一半的值。并且,如線lg和曲線lr所示,寬帶濾光器g和寬帶濾光器r各自的分光光譜彼此重疊,因此相關性高。
返回到圖1和圖2,繼續(xù)進行內窺鏡2的結構的說明。
afe部246進行cds(correlateddoublesampling:相關雙采樣)處理和a/d轉換處理等并將處理后的信號輸出給處理裝置4,其中,該cds處理是指降低從攝像元件244輸入的圖像信號所包含的噪聲成分并且調節(jié)圖像信號的放大率以維持一定的輸出電平,該a/d轉換處理是指對圖像信號進行a/d轉換。
tg部247產生用于對攝像元件244和攝像控制部248分別進行驅動的各種信號處理的脈沖。tg部247將脈沖信號輸出給攝像元件244和攝像控制部248。
攝像控制部248對攝像元件244的攝像進行控制。攝像控制部248使用cpu(centralprocessingunit:中央處理單元)和記錄各種程序的寄存器等構成。
操作部22具有:彎曲旋鈕221,其使彎曲部25在上下方向上和左右方向上彎曲;處置器具插入部222,其供活體鉗子、電手術刀以及檢查探針等處置器具向被檢體的體腔內插入;以及作為操作輸入部的多個開關223,其輸入處理裝置4、光源裝置3以及送氣構件、送水構件、畫面顯示控制等周邊設備的操作指示信號。從處置器具插入部222被插入的處置器具經由前端部24的處置器具通道(未圖示)從開口部(未圖示)露出。
通用纜線23至少內設有光導241以及一條或多條信號線。通用纜線23至少包含用于傳送從后述的處理裝置4輸出的時鐘信號和同步信號的信號、用于傳送圖像信號的信號。
(光源裝置的結構)
接下來,對光源裝置3的結構進行說明。光源裝置3具有照明部31和照明控制部32。
照明部31在照明控制部32的控制下,依次切換并向被攝體(被檢體)射出波段彼此不同的多個照明光。照明部31具有光源部311和光源驅動器312。
光源部311使用氙氣燈或白色led(lightemittingdiode:發(fā)光二極管)等光源以及一個或多個透鏡等構成,根據光源驅動器312的控制而射出白色光。另外,也可以由紅色led、綠色led以及藍色led構成光源部311,通過從紅色led、綠色led以及藍色led同時射出光而向被攝體照射白色光。
光源驅動器312在照明控制部32的控制下向光源部311提供電流,由此使光源部311射出白色光。
照明控制部32在處理裝置4的控制下以規(guī)定的周期使光源部311射出白色光。
(處理裝置的結構)
接下來,對處理裝置4的結構進行說明。處理裝置4具有圖像處理部401、明亮度檢測部402、調光部403、輸入部404、記錄部405、基準時鐘生成部406、同步信號生成部407以及控制部408。
圖像處理部401根據從內窺鏡2輸入的圖像信號,生成使顯示裝置5顯示的體內圖像并輸出給顯示裝置5。圖像處理部401對圖像信號實施規(guī)定的圖像處理而生成體內圖像。
這里,對圖像處理部401的詳細的結構進行說明。圖像處理部401至少具有分離部401a、去馬賽克部401b以及圖像生成部401c。
分離部401a根據從內窺鏡2輸入的圖像信號,對與分別透過了多個寬帶濾光器的寬帶光對應的多個寬帶圖像信號和與分別透過了多個窄帶濾光器的窄帶光對應的多個窄帶圖像信號進行分離。具體而言,分離部401a將從內窺鏡2輸入的圖像信號(raw數據)分離成與透過了寬帶濾光器r的寬帶光對應的寬帶圖像信號、與透過了寬帶濾光器g的寬帶光對應的寬帶圖像信號、與透過了寬帶濾光器b的寬帶光對應的寬帶圖像信號以及與透過了窄帶濾光器x的窄帶光對應的窄帶圖像信號。
去馬賽克部401b根據分離部401a分離出的窄帶圖像信號來執(zhí)行對多個寬帶圖像信號中的任意一個進行插值的去馬賽克處理。具體而言,去馬賽克部401b根據分離部401a分離出的窄帶圖像信號,執(zhí)行對與透過了寬帶濾光器b的寬帶光對應的寬帶圖像信號進行插值的去馬賽克處理。并且,去馬賽克部401b使用g像素的圖像信號來執(zhí)行對r像素的圖像信號進行插值的去馬賽克處理。
圖像生成部401c使用如下的寬帶圖像信號來生成寬帶圖像,并且使用窄帶圖像信號來生成窄帶圖像,其中,該寬帶圖像信號是去馬賽克部401b通過去馬賽克處理進行插值而得到的。具體而言,圖像生成部401c根據去馬賽克部401b進行拜耳排列得到的rgb圖像信號來生成彩色的通常圖像。并且,圖像生成部401c根據x像素的圖像信號,通過進行去馬賽克處理而對缺失的像素的圖像信號進行插值,由此生成窄帶圖像。
明亮度檢測部402根據從圖像處理部401輸入的圖像信號所包含的rgb圖像信息,對與各圖像對應的明亮度電平進行檢測,將該檢測到的明亮度電平記錄到內部所設置的存儲器中并且輸出給控制部408。
調光部403在控制部408的控制下,根據明亮度檢測部402檢測到的明亮度電平而對光源裝置3產生的光量和發(fā)光時機等發(fā)光條件進行設定,將包含該設定的發(fā)光條件在內的調光信號輸出給光源裝置3。
輸入部404接受對內窺鏡系統(tǒng)1的動作進行指示的動作指示信號等各種信號的輸入。輸入部404使用開關等構成。
記錄部405記錄用于使內窺鏡系統(tǒng)1動作的各種程序和包含內窺鏡系統(tǒng)1的動作所需的各種參數等在內的數據。并且,記錄部405記錄處理裝置4的識別信息。這里,在識別信息中包含有處理裝置4的固有信息(id)、年代型號、規(guī)格信息、傳送方法以及傳送速率等。
基準時鐘生成部406生成時鐘信號并向內窺鏡系統(tǒng)1的各結構部提供時鐘信號,該時鐘信號作為內窺鏡系統(tǒng)1的各結構部的動作的基準。另外,在本實施方式1中,基準時鐘生成部406作為時鐘信號生成部發(fā)揮功能。
同步信號生成部407根據從基準時鐘生成部406輸入的時鐘信號而生成同步信號,將該同步信號輸出給內窺鏡2的tg部247并且輸出給圖像處理部401。
控制部408進行包含攝像元件244和光源裝置3在內的各結構部的驅動控制和針對各結構部的信息的輸入輸出控制等??刂撇?08使用cpu構成。
(顯示裝置的結構)
接下來,對顯示裝置5進行說明。顯示裝置5對與經由影像纜線從處理裝置4輸入的圖像信號對應的體內圖像進行顯示。顯示裝置5使用液晶或有機el(electroluminescence:電致發(fā)光)等構成。
(圖像處理部的處理)
接下來,對圖像處理部401執(zhí)行的圖像處理進行說明。圖5是示意性地對圖像處理部401執(zhí)行的圖像處理的概要進行說明的圖。
如圖5所示,首先,分離部401a將從內窺鏡2的攝像元件244輸入的raw數據f1分離成各像素的圖像信號。具體而言,分離部401a從raw數據f1中將與g像素對應的寬帶圖像信號分離成拜耳排列的圖像數據fg1、將與r像素對應的寬帶圖像信號分離成圖像數據fr1、將與b像素對應的寬帶圖像信號分離成圖像數據fb1并且將與x像素對應的窄帶圖像信號分離成圖像數據fx1。
如圖5所示,在圖像數據fr1中,來自與寬帶濾光器r對應的r像素的寬帶圖像信號比拜耳排列少。因此,由于寬帶濾光器g與寬帶濾光器r的透射光譜(分光特性)彼此重疊、相關性較高(參照圖4),因此去馬賽克部401b根據圖像數據fg1的寬帶圖像信號,通過進行去馬賽克處理而對缺失的r像素的寬帶圖像信號進行插值,由此生成拜耳排列的圖像數據fr2。
并且,在圖像數據fb1中,來自與寬帶濾光器b對應的b像素的寬帶圖像信號比拜耳排列少。而且,由于圖像數據fb1是寬帶,因此雖然對深層和表層血管分別進行了拍攝,但由于邊緣信息模糊而導致分辨率降低。因此,由于寬帶濾光器b的分光特性包含窄帶濾光器x的分光特性并且寬帶濾光器g與窄帶濾光器x的透射光譜彼此重疊、相關性高(參照圖4),因此去馬賽克部401b根據圖像數據fg1的寬帶圖像信號和圖像數據fx1的窄帶圖像信號,通過去馬賽克處理對缺失的b圖像的寬帶圖像信號進行插值,由此生成拜耳排列的圖像數據fb2。在該情況下,針對缺失的b像素,在具有圖像數據fg1的寬帶圖像信號和圖像數據fx1的窄帶圖像信號時,由于在窄帶圖像信號中包含更多更細微的邊緣信息,因此為了更清晰地捕捉消化器粘膜的表層血管,去馬賽克部401b優(yōu)先使用圖像數據fx1的窄帶圖像信號,從而通過去馬賽克處理對缺失的b像素的寬帶圖像信號進行插值。由此,能夠得到以往的拜耳排列的raw數據frgb并且能夠以高分辨率得到圖像數據fb1。
接著,去馬賽克部401b根據拜耳排列的raw數據frgb,通過進行拜耳的去馬賽克處理而生成rgb各自的圖像數據fr3、圖像數據fg3以及圖像數據fb3。
然后,圖像生成部401c根據去馬賽克部401b生成的rgb各自的圖像數據fr3、圖像數據fg3以及圖像數據fb3,生成彩色的通常圖像數據fw(白色圖像)并輸出給顯示裝置5。
并且,圖像生成部401c根據圖像數據fx1的圖像信號,通過進行去馬賽克處理而對缺失的x像素進行插值,由此生成窄帶圖像數據fx2并輸出給顯示裝置5。
根據上述進行了說明的本發(fā)明的實施方式1,去馬賽克部401b根據與透過了窄帶濾光器x的窄帶光對應的窄帶圖像信號來進行對與寬帶濾光器b對應的寬帶圖像信號進行插值的去馬賽克處理。由此,能夠以高分辨率分別得到寬帶圖像和窄帶圖像。
(實施方式1的變形例)
接下來,對本發(fā)明的實施方式1的變形例進行說明。本實施方式1的變形例的內窺鏡系統(tǒng)與上述的實施方式1的內窺鏡系統(tǒng)1的濾色器245的結構不同。因此,以下,僅對本實施方式1的變形例的濾色器的結構進行說明。另外,對與上述的實施方式1的內窺鏡系統(tǒng)1相同的結構標注相同的標號并省略說明。
圖6是示意性地示出本發(fā)明的實施方式1的變形例的濾色器的結構的圖。
圖6所示的濾色器245a以層疊的方式設置在攝像元件244的受光面上。濾色器245a例如是根據攝像元件244的像素的配置而將濾光器單元t2呈矩陣狀排列配置而成的,其中,在該濾光器單元t2中,作為一個樣式而重復呈4×4(16)的矩陣狀排列的濾光器。在濾色器245a中以與多個像素對應的方式配置濾光器單元t2,該濾光器單元t2使用窄帶濾光器和多種寬帶濾光器構成,窄帶濾光器的濾光器數量為多種寬帶濾光器中的任意一種的濾光器數量以上,其中,該多種寬帶濾光器透射包含彼此不同的原色的波段在內的寬帶光,該窄帶濾光器透射如下的窄帶光,該窄帶光具有比多種寬帶濾光器各自透射寬帶光的波段窄的波段,并且包含于寬帶光的波段的一部分。
在圖6所示的濾光器單元t2中,將兩個透射紅色成分的寬帶濾光器r、八個透射綠色成分的寬帶濾光器g、兩個透射藍色成分的寬帶濾光器b以及四個透射窄帶光的窄帶濾光器x作為一個樣式進行重復,其中,該窄帶光具有比寬帶濾光器b所透射的光的波段窄的波段,并包含于寬帶濾光器b所透射的波段的一部分。在濾光器單元t2中,為了保證白色圖像的分辨率而與拜耳排列同樣地將寬帶濾光器g的數量設為八個,為了提高窄帶圖像的分辨率而將窄帶濾光器x的數量設為四個,由于寬帶濾光器b與窄帶濾光器x彼此的相關性較高,因此將寬帶濾光器b的數量設為兩個,由于在大腸內紅色較少,因此將寬帶濾光器r的數量設為兩個。
根據以上進行了說明的本實施方式1的變形例,實現與上述的實施方式1相同的效果。
(實施方式2)
接下來,對本發(fā)明的實施方式2進行說明。本實施方式2的內窺鏡系統(tǒng)的濾色器的結構和圖像處理部的處理與上述的實施方式1的內窺鏡系統(tǒng)1不同。因此,以下,對本實施方式2的濾色器的結構進行說明,然后對本實施方式2的圖像處理部執(zhí)行的處理進行說明。另外,對與上述的實施方式1的內窺鏡系統(tǒng)1相同的結構標注相同的標號。
(濾色器的結構)
圖7是示意性地示出本實施方式2的濾色器的結構的圖。圖7所示的濾色器245b例如是根據攝像元件244的像素的配置而將濾光器單元t3呈矩陣狀排列配置而成的,其中,在該濾光器單元t3中,作為一個樣式而重復呈4×4(16)的矩陣狀排列的濾光器。在濾色器245b中,濾色器245a,以與多個像素對應的方式配置濾光器單元t3,該濾光器單元t3使用窄帶濾光器和多種寬帶濾光器和構成,窄帶濾光器的濾光器數量為多種寬帶濾光器中的任意一種的濾光器數量以上,其中,該多種寬帶濾光器透射包含彼此不同的原色的波段在內的寬帶光,窄帶濾光器透射如下的窄帶光,該窄帶光具有比多個寬帶濾光器各自透射寬帶光的波段窄的波段,并且包含于寬帶光的波段的一部分。
具體而言,如圖7所示,在濾光器單元t3中,將兩個透射紅色波段的光的寬帶濾光器r、四個透射綠色波段的光的寬帶濾光器g、兩個透射藍色波段的光的寬帶濾光器b以及八個透射窄帶光的窄帶濾光器x作為一個樣式進行重復,其中,該窄帶光具有比透過寬帶濾光器的光的波段窄的波段,并且包含于寬帶濾光器所透射的波段的一部分。
圖8是示出構成濾色器245b的各濾光器的透射率的特性的圖。在圖8中,橫軸表示波長,縱軸表示透射率。并且,在圖8中,曲線lb1表示寬帶濾光器b的透射率的特性,曲線lg1表示寬帶濾光器g的透射率的特性,曲線lr1表示寬帶濾光器r的透射率的特性,曲線lx1表示窄帶濾光器x的透射率的特性。而且,在圖8中,將窄帶濾光器x的峰值波長設為415nm±30nm進行說明。
如圖8的曲線lx1和曲線lb1所示,窄帶濾光器x具有透射窄帶光的透射光譜,該窄帶光具有比寬帶濾光器b所透射的波段窄的波段,并且包含于寬帶濾光器b所透射的波段的一部分。而且,寬帶濾光器b所透射的波段與窄帶濾光器x所透射的波段彼此的相關性高。而且,窄帶濾光器x的透射光的透射光譜的最大值pmax2取透過寬帶濾光器b的光的透射光譜的下限值與上限值p2之間的半值寬度。并且,如曲線lg1和曲線lr1所示,寬帶濾光器g與寬帶濾光器r各自的透射光譜彼此重疊,因此相關性高。
(圖像處理部的處理)
接下來,對圖像處理部401執(zhí)行的處理進行說明。圖9是示意性地對圖像處理部401執(zhí)行的圖像處理的概要進行說明的圖。
如圖9所示,首先,分離部401a將從內窺鏡2的攝像元件244輸入的raw數據f2分離成各像素的圖像信號。具體而言,分離部401a從raw數據f2中將與g像素對應的寬帶圖像信號分離成拜耳排列的圖像數據fg10,將與r像素對應的寬帶圖像信號分離成圖像數據fr10,將與b像素對應的寬帶圖像信號分離成圖像數據fb10并且將與x像素對應的窄帶圖像信號分離成圖像數據fx10。
接著,圖像生成部401c根據圖像數據fx10的窄帶圖像信號,針對缺失的x像素,通過進行去馬賽克處理而對窄帶圖像信號進行插值,由此生成窄帶圖像數據fx20并輸出給顯示裝置5。
在窄帶圖像數據fx20的窄帶圖像信號中包含有毛細血管的細微的邊緣信息。因此,去馬賽克部401b根據窄帶圖像數據fx20的窄帶圖像信號,通過進行去馬賽克處理而對圖像數據fb10所缺失的b像素的寬帶圖像信號進行插值,由此生成寬帶圖像數據fb20。在窄帶圖像數據fx20的窄帶圖像信號中包含有毛細血管的細微的邊緣信息。
然后,去馬賽克部401b根據寬帶圖像數據fb20和窄帶圖像數據fx20的窄帶圖像信號所包含的邊緣信息,通過進行去馬賽克處理而對圖像數據fg10所缺失的g像素的寬帶圖像信號進行插值,由此生成寬帶圖像數據fg20。
接著,去馬賽克部401b根據寬帶圖像數據fg20的寬帶圖像信號,通過進行去馬賽克處理而對圖像數據fr10所缺失的r像素的寬帶圖像信號進行插值,從而生成寬帶圖像數據fr20。
然后,圖像生成部401c根據去馬賽克部401生成的rgb各自的寬帶圖像數據fr20、寬帶圖像數據fg20以及寬帶圖像數據fb20而生成彩色的通常圖像數據fw10(白色圖像)并輸出給顯示裝置5。
根據以上進行了說明的本發(fā)明的實施方式2,去馬賽克部401b使用由x像素輸出的窄帶圖像信號,通過去馬賽克處理對b像素的寬帶圖像信號進行插值。由此,能夠以高分辨率分別得到通常圖像和窄帶圖像。
(實施方式3)
接下來,對本發(fā)明的實施方式3進行說明。本實施方式3的內窺鏡系統(tǒng)的濾色器的結構和圖像處理部的處理與上述的實施方式1的內窺鏡系統(tǒng)1不同。具體而言,本實施方式3的濾色器具有彼此透射光譜不同的兩種窄帶濾光器。因此,以下,對本實施方式3的濾色器的結構進行說明,然后對本實施方式3的圖像處理部執(zhí)行的處理進行說明。另外,對與上述的實施方式1的內窺鏡系統(tǒng)1相同的結構標注相同的標號并省略說明。
(濾色器的結構)
圖10是示意性地示出本實施方式3的濾色器的結構的圖。圖10所示的濾色器245c例如是根據攝像元件244的像素的配置而將濾光器單元t4呈矩陣狀排列配置而成的,其中,在該濾光器單元t4中,作為一個樣式而重復呈4×4(16)的矩陣狀排列的濾光器。在濾色器245c中,濾色器245a,以與多個像素對應的方式配置濾光器單元t4,該濾光器單元t4使用窄帶濾光器和多種寬帶濾光器,窄帶濾光器的濾光器數量為多種寬帶濾光器中的任意一種的濾光器數量以上,其中,該多個寬帶濾光器透射包含彼此不同的原色的波段在內的寬帶光,該窄帶濾光器透射如下的窄帶光,該窄帶光具有比多個寬帶濾光器各自透射寬帶光的波段窄的波段,并且包含于寬帶光的波段的一部分。
在圖10所示的濾光器單元t4中,將兩個透射紅色波段的光的寬帶濾光器r、四個透射綠色波段的光的寬帶濾光器g、兩個透射藍色波段的光的寬帶濾光器b、四個透射具有比透過寬帶濾光器b的光的波段窄的波段且包含于寬帶濾光器b所透射的波段的一部分中的窄帶光的窄帶濾光器x1、四個透射具有比透過寬帶濾光器g的光的波段窄的波段且包含于寬帶濾光器g所透射的波段的一部分中的窄帶光的窄帶濾光器x2作為一個樣式進行重復。
圖11是示出構成濾色器245c的各濾光器的透射率的特性的圖。在圖11中,橫軸表示波長,縱軸表示透射率。并且,在圖11中,曲線lb10表示寬帶濾光器b的透射率的特性,曲線lg10表示寬帶濾光器g的透射率的特性,曲線lr10表示寬帶濾光器r的透射率的特性,曲線lx10表示窄帶濾光器x1的透射率的特性。曲線lx20表示窄帶濾光器x2的透射率的特性。而且,在圖11中,將窄帶濾光器x1的峰值波長設為415nm±30nm、將窄帶濾光器x2的峰值波長設為540nm±30nm進行說明。
如圖11的曲線lx10和曲線lb10所示,窄帶濾光器x1具有透射窄帶光透射的光譜,該窄帶光具有比寬帶濾光器b所透射的波段窄的波段并且包含于寬帶濾光器b所透射的波段的一部分。而且,如曲線lx10和曲線lb10所示,寬帶濾光器b所透射的透射光譜與窄帶濾光器x1所透射的透射光譜彼此的相關性高。而且,如曲線lx10和曲線lb10所示,窄帶濾光器x1的透射光的透射光譜的最大值pmax3為透過寬帶濾光器b的光的透射光譜的下限值p31與上限值p32之間的半值寬度。
并且,如圖11的曲線lx20和曲線lg10所示,窄帶濾光器x2具有透射窄帶光的透射光譜,該窄帶光具有比寬帶濾光器g透射光的波段窄的波段,并且包含于寬帶濾光器g透射光的波段的一部分。而且,如曲線lx200和曲線lg10所示,寬帶濾光器g所透射的透射光譜與窄帶濾光器x2所透射的透射光譜彼此的相關性高。而且,如曲線lx20和曲線lg10所示,窄帶濾光器x2的透射光的透射光譜的最大值pmax4為透過寬帶濾光器g的光的透射光譜的下限值p41與上限值p42之間的半值寬度。
(圖像處理部的處理)
接下來,對圖像處理部401執(zhí)行的處理進行說明。圖12是示意性地對圖像處理部401執(zhí)行的圖像處理的概要進行說明的圖。
如圖12所示,首先,分離部401a將從內窺鏡2的攝像元件244輸入的raw數據f3分離成各像素的圖像信號。具體而言,分離部401a從raw數據f3中將與r像素對應的寬帶圖像信號分離成圖像數據fr30,將與b像素對應的寬帶圖像信號分離成圖像數據fb30,將與x1像素對應的窄帶圖像信號分離成圖像數據fx30,將與g像素對應的寬帶圖像信號分離成拜耳排列的圖像數據fg30并且將與x2像素對應的窄帶圖像信號分離成圖像數據fx50。
接著,去馬賽克部401b根據圖像數據fx30,針對缺失的x1像素,通過進行去馬賽克處理而對x1像素的窄帶圖像信號進行插值,由此生成窄帶圖像數據fx40。并且,去馬賽克部401b根據圖像數據fx50,針對缺失的x2像素,通過進行去馬賽克處理而對x2像素的窄帶圖像信號進行插值,由此生成窄帶圖像數據fx60。
由于圖像數據fg30是寬帶的,因此無法鮮明地對深層血管進行拍攝。寬帶濾光器g的分光特性包含窄帶濾光器x2的分光特性,并且寬帶濾光器g與窄帶濾光器x2的透射光譜彼此重疊、相關性高(參照圖11),在x2像素的窄帶圖像信號中包含有深層血管的邊緣信息。因此,去馬賽克部401b根據窄帶圖像數據fx60的窄帶圖像信號,通過進行去馬賽克處理而對圖像數據fg30所缺失的g像素的寬帶圖像信號進行插值,由此生成寬帶圖像數據fg40。
并且,由于圖像數據fb30是寬帶的,因此無法鮮明地對表層血管進行拍攝。寬帶濾光器b的分光特性包含窄帶濾光器x1的分光特性,并且寬帶濾光器b與窄帶濾光器x1的透射光譜彼此重疊、相關性高(參照圖11),在x1像素的窄帶圖像信號中包含有表層血管的邊緣信息。因此,去馬賽克部401b根據圖像數據fx30、窄帶圖像數據fx40以及寬帶圖像數據fg40,通過進行去馬賽克處理而對圖像數據fb30所缺失的b像素的圖像信號進行插值,由此生成寬帶圖像數據fb40。在該情況下,當在要插值的b像素中具有窄帶圖像數據fx40的窄帶圖像信號和寬帶圖像數據fg40的寬帶圖像信號時,去馬賽克部401b優(yōu)先使用窄帶圖像數據fx40的窄帶圖像信號,從而通過去馬賽克處理對缺失的b圖像的寬帶圖像信號進行插值。
然后,去馬賽克部401b根據圖像數據fr30和寬帶圖像數據fg40,通過進行去馬賽克處理而對圖像數據fr30所缺失的r圖像的寬帶圖像信號進行插值,由此生成寬帶圖像數據fr40。
接著,圖像生成部401c根據寬帶圖像數據fr40、寬帶圖像數據fb40以及寬帶圖像數據fg40而生成白色圖像數據fw30并輸出給顯示裝置5。并且,圖像生成部401c根據窄帶圖像數據fx40和窄帶圖像數據fx60而生成nbi(narrowbandimaging:窄帶成像)圖像數據fx100并輸出給顯示裝置5。
根據以上進行了說明的本發(fā)明的實施方式3,在活體攝影中,根據比起g像素而在x像素和b像素中清晰的毛細血管那樣的細微的邊緣信息,進行去馬賽克處理,由此能夠提高表層的血管的分辨率。
(其他實施方式)
在本發(fā)明中,濾色器由原色濾光器構成,但也可以使用例如透射具有補色的波長成分的光的補色濾光器(cy、mg、ye)。還可以使用由原色濾光器和透射具有橘色和青色的波長成分的光的濾光器(or、cy)構成的濾色器(r、g、b、or、cy)作為濾色器。還可以使用由原色濾光器和透射具有白色的波長成分的光的濾光器(w)構成的濾色器(r、g、b、w)。
并且,在本發(fā)明中,以具有圖像處理裝置的內窺鏡系統(tǒng)為例進行了說明,但例如在膠囊型的框體內設置有本實施方式的圖像處理裝置和攝像元件、通過被檢體口服而對被檢體的體腔內進行拍攝的膠囊型內窺鏡也能夠應用。
標號說明
1:內窺鏡系統(tǒng);2:內窺鏡;3:光源裝置;4:處理裝置;5:顯示裝置;21:插入部;22:操作部;23:通用纜線;24:前端部;25:彎曲部;26:撓性管部;31:照明部;32:照明控制部;221:彎曲旋鈕;222:處置器具插入部;223:開關;241:光導;242:照明透鏡;243:光學系統(tǒng);244:攝像元件;245、245a、245b、245c:濾色器;246:afe部;247:tg部;248:攝像控制部;250:集合纜線;311:光源部;312:光源驅動器;401:圖像處理部;401a:分離部;401b:去馬賽克部;401c:圖像生成部;402:明亮度檢測部;403:調光部;404:輸入部;405:記錄部;406:基準時鐘生成部;407:同步信號生成部;408控制部;b、g、r:寬帶濾光器;t1、t2、t3、t4:濾光器單元;x、x1、x2:窄帶濾光器。
權利要求書(按照條約第19條的修改)
1.(修改后)一種圖像處理裝置,其特征在于,該圖像處理裝置具有:
分離部,其根據從攝像裝置輸入的圖像信號,將與分別透過了多種寬帶濾光器的寬帶光對應的多個寬帶圖像信號和與透過了窄帶濾光器的窄帶光對應的窄帶圖像信號分離,所述攝像裝置具有攝像元件和濾色器,在該攝像元件中呈二維格子狀配置的多個像素分別對所接受的光進行光電轉換而生成所述圖像信號,該濾色器使用所述窄帶濾光器和所述多種寬帶濾光器構成,所述窄帶濾光器的濾光器數量為所述多種寬帶濾光器中的任意一種的濾光器數量以上,所述多種寬帶濾光器透射包含彼此不同的原色的波段在內的所述寬帶光,所述窄帶濾光器透射具有比所述多種寬帶濾光器各自所透射的所述寬帶光的波段窄的波段且包含于所述寬帶光的波段的一部分中的所述窄帶光,所述濾色器以與所述多個像素對應的方式配置;
去馬賽克部,其進行如下的去馬賽克處理:根據所述分離部分離出的所述窄帶圖像信號中包含的邊緣信息,對所述多個寬帶圖像信號中的一個寬帶圖像信號進行插值;以及
圖像生成部,其使用所述去馬賽克部通過所述去馬賽克處理進行插值得到的所述寬帶圖像信號來生成寬帶圖像,并且使用所述窄帶圖像信號來生成窄帶圖像。
2.(修改后)根據權利要求1所述的圖像處理裝置,其特征在于,
所述多種寬帶濾光器包含透射藍色波段的光的藍色濾光器、透射綠色波段的光的綠色濾光器以及透射紅色波段的光的紅色濾光器,
所述窄帶濾光器具有第一窄帶濾光器,該第一窄帶濾光器的透射所述窄帶光的透射光譜的最大值包含在所述藍色濾光器的透射光譜的半值寬度之間,
所述去馬賽克部使用與透過了所述第一窄帶濾光器的所述窄帶光對應的第一窄帶圖像信號中包含的邊緣信息進行所述去馬賽克處理,從而對與所述藍色濾光器對應的寬帶圖像信號進行插值,
所述第一窄帶濾光器的濾光器數量為所述藍色濾光器的濾光器數量以上。
3.(修改后)根據權利要求2所述的圖像處理裝置,其特征在于,
所述窄帶濾光器具有第二窄帶濾光器,該第二窄帶濾光器的透射所述窄帶光的透射光譜的最大值包含在所述綠色濾光器的透射光譜的半值寬度之間,
所述去馬賽克部使用與透過了所述第二窄帶濾光器的所述窄帶光對應的第二窄帶圖像信號中包含的邊緣信息進行所述去馬賽克處理,從而對與所述綠色濾光器對應的寬帶圖像信號進行插值。
4.(修改后)根據權利要求2所述的圖像處理裝置,其特征在于,
所述去馬賽克部使用與透過了所述第一窄帶濾光器的所述窄帶光對應的第一窄帶圖像信號中包含的邊緣信息、和已經進行所述去馬賽克處理而完成插值的與所述藍色濾光器對應的寬帶圖像信號進行所述去馬賽克處理,從而對與所述綠色濾光器對應的寬帶圖像信號進行插值。
5.(修改后)根據權利要求2或3所述的圖像處理裝置,其特征在于,
所述去馬賽克部在具有與所述綠色濾光器對應的寬帶圖像信號和與透過了所述第一窄帶濾光器的所述窄帶光對應的第一窄帶圖像信號的情況下,在對與所述藍色濾光器對應的寬帶圖像信號進行插值時,使用所述第一窄帶圖像信號中包含的邊緣信息和與所述綠色濾光器對應的寬帶圖像信號進行所述去馬賽克處理。
6.(修改后)根據權利要求1所述的圖像處理裝置,其特征在于,
所述多種寬帶濾光器包含透射藍色波段的光的藍色濾光器、透射綠色波段的光的綠色濾光器以及透射紅色波段的光的紅色濾光器,
所述窄帶濾光器具有第一窄帶濾光器,該第一窄帶濾光器的透射所述窄帶光的透射光譜的最大值包含在所述藍色濾光器的透射光譜的半值寬度之間,
所述去馬賽克部使用與透過了所述第一窄帶濾光器的所述窄帶光對應的第一窄帶圖像信號中包含的邊緣信息進行所述去馬賽克處理,從而對與所述綠色濾光器對應的寬帶圖像信號進行插值。
7.(修改后)根據權利要求6所述的圖像處理裝置,其特征在于,
所述去馬賽克部使用所述第一窄帶圖像信號中包含的邊緣信息進行所述去馬賽克處理,從而對與所述藍色濾光器對應的寬帶圖像信號進行插值。
8.(修改后)一種內窺鏡系統(tǒng),其特征在于,該內窺鏡系統(tǒng)具有:
權利要求1~7中的任意一項的圖像處理裝置;
攝像裝置,其具有攝像元件和濾色器,在該攝像元件中呈二維格子狀配置的多個像素分別對所接受的光進行光電轉換而生成圖像信號,該濾色器使用窄帶濾光器和多種寬帶濾光器構成,所述窄帶濾光器的濾光器數量為所述多種寬帶濾光器中的任意一種的濾光器數量以上,所述多種寬帶濾光器透射包含彼此不同的原色的波段在內的寬帶光,所述窄帶濾光器透射具有比所述多種寬帶濾光器各自所透射的所述寬帶光的波段窄的波段且包含于所述寬帶光的波段的一部分中的窄帶光,所述濾色器以與所述多個像素對應的方式配置;以及
插入部,其在前端設置有所述攝像裝置,該插入部被插入到被檢體內。
9.(修改后)一種圖像處理方法,其特征在于,該圖像處理方法具有以下步驟:
分離步驟,根據從攝像裝置輸入的圖像信號,將與分別透過了多種寬帶濾光器的寬帶光對應的多個寬帶圖像信號和與透過了窄帶濾光器的窄帶光對應的窄帶圖像信號分離,所述攝像裝置具有攝像元件和濾色器,在該攝像元件中呈二維格子狀配置的多個像素分別對所接受的光進行光電轉換而生成所述圖像信號,該濾色器使用所述窄帶濾光器和所述多種寬帶濾光器構成,所述窄帶濾光器的濾光器數量為所述多種寬帶濾光器中的任意一種的濾光器數量以上,所述多種寬帶濾光器透射包含彼此不同的原色的波段在內的所述寬帶光,所述窄帶濾光器透射具有比所述多種寬帶濾光器各自所透射的所述寬帶光的波段窄的波段且包含于所述寬帶光的波段的一部分中的所述窄帶光,所述濾色器以與所述多個像素對應的方式配置;
去馬賽克步驟,進行如下的去馬賽克處理:根據在所述分離步驟中分離出的所述窄帶圖像信號中包含的邊緣信息,對所述多個寬帶圖像信號中的一個寬帶圖像信號進行插值;以及
圖像生成步驟,使用在所述去馬賽克步驟中通過所述去馬賽克處理進行插值得到的所述寬帶圖像信號來生成寬帶圖像,并且使用所述窄帶圖像信號來生成窄帶圖像。
10.(追加)一種程序,其中,
該程序使圖像處理裝置執(zhí)行以下步驟:
分離步驟,根據從攝像裝置輸入的圖像信號,將與分別透過了多種寬帶濾光器的寬帶光對應的多個寬帶圖像信號和與透過了窄帶濾光器的窄帶光對應的窄帶圖像信號分離,所述攝像裝置具有攝像元件和濾色器,在該攝像元件中呈二維格子狀配置的多個像素分別對所接受的光進行光電轉換而生成所述圖像信號,該濾色器使用所述窄帶濾光器和所述多種寬帶濾光器構成,所述窄帶濾光器的濾光器數量為所述多種寬帶濾光器中的任意一種的濾光器數量以上,所述多種寬帶濾光器透射包含彼此不同的原色的波段在內的所述寬帶光,所述窄帶濾光器透射具有比所述多種寬帶濾光器各自所透射的所述寬帶光的波段窄的波段且包含于所述寬帶光的波段的一部分中的所述窄帶光,所述濾色器以與所述多個像素對應的方式配置;
去馬賽克步驟,進行如下的去馬賽克處理:根據在所述分離步驟中分離出的所述窄帶圖像信號中包含的邊緣信息,對所述多個寬帶圖像信號中的一個寬帶圖像信號進行插值;以及
圖像生成步驟,使用在所述去馬賽克步驟中通過所述去馬賽克處理進行插值得到的所述寬帶圖像信號來生成寬帶圖像,并且使用所述窄帶圖像信號來生成窄帶圖像。
說明或聲明(按照條約第19條的修改)
在權利要求1中,根據申請時的說明書第10頁倒數第3段~第11頁第2段以及圖5等進行了修改。
權利要求2對應于申請時的權利要求3,并且根據申請時的說明書第10頁倒數第3段~第11頁第2段、第13頁倒數第1段~第14頁第3段、第16頁第5段~第17頁第3段以及圖5、圖9、圖12等進行了修改。
在權利要求3中,根據申請時的說明書第16頁第5段~第17頁第3段以及圖12等進行了修改。
在權利要求4中,根據申請時的說明書第13頁倒數第1段~第14頁第3段以及圖9等進行了修改。
在權利要求5中,根據申請時的說明書第10頁倒數第3段~第11頁第2段、第16頁第5段~第17頁第3段以及圖12等進行了修改。
在權利要求6中,根據申請時的說明書第13頁倒數第1段~第14頁第3段以及圖9等進行了修改。
在權利要求7中,根據申請時的說明書第13頁倒數第1段~第14頁第3段以及圖9等進行了修改。
權利要求8對應于申請時的權利要求6,并且進行了與權利要求1對應的修改。
權利要求9對應于申請時的權利要求8,并且根據申請時的說明書第10頁倒數第3段~第11頁第2段、以及圖5等進行了修改。
權利要求10對應于申請時的權利要求9,并且根據申請時的說明書第10頁倒數第3段~第11頁第2段、以及圖5等進行了修改。