本發(fā)明涉及具有內(nèi)窺鏡的內(nèi)窺鏡系統(tǒng)和對從內(nèi)窺鏡輸出的圖像信號進行處理的處理裝置。

背景技術(shù)：

以往，在醫(yī)療領(lǐng)域中，為了進行被檢體內(nèi)部的觀察而使用內(nèi)窺鏡系統(tǒng)。一般情況下，內(nèi)窺鏡將呈細長形狀的撓性的插入部插入到患者等被檢體內(nèi)，從該插入部前端照射從光源裝置供給的照明光，利用插入部前端的攝像部接收該照明光的反射光，由此對體內(nèi)圖像進行攝像。在內(nèi)窺鏡系統(tǒng)的處理裝置中對這樣由內(nèi)窺鏡的攝像部拍攝的體內(nèi)圖像實施了規(guī)定的圖像處理后，將其顯示在內(nèi)窺鏡系統(tǒng)的顯示器中。醫(yī)師等用戶根據(jù)顯示器中顯示的體內(nèi)圖像進行被檢體的臟器的觀察。

提出了如下技術(shù)：在這種內(nèi)窺鏡系統(tǒng)所具有的攝像元件中應用cmos(complementarymetaloxidesemiconductor：互補金屬氧化物半導體)傳感器，并且，依次照射藍色光、綠色光和紅色光作為針對被攝體的照明光，依次生成與這三個顏色的光對應的攝像信號(例如參照專利文獻1)。

現(xiàn)有技術(shù)文獻

專利文獻

專利文獻1：日本特開2013-202189號公報

技術(shù)實現(xiàn)要素：

發(fā)明要解決的課題

cmos傳感器通過按照每個水平行錯開定時進行曝光或讀出的卷簾快門方式，生成圖像數(shù)據(jù)。在該cmos傳感器中，為了針對全部像素確保足夠的曝光期間，需要提高能夠在全部水平行中共同曝光的期間(v消隱期間)的比率。但是，在提高了v消隱期間的比率的情況下，相應地，信號傳送用的期間減少，需要從cmos傳感器進行高速讀出，所以需要攝像纜線中的高速傳送，存在傳送負擔增大這樣的問題。

本發(fā)明是鑒于上述情況而完成的，其目的在于，提供能夠抑制纜線的傳送負擔、并且能夠針對全部像素確保足夠的曝光期間的內(nèi)窺鏡系統(tǒng)和處理裝置。

用于解決課題的手段

為了解決上述課題并實現(xiàn)目的，本發(fā)明的內(nèi)窺鏡系統(tǒng)的特征在于，所述內(nèi)窺鏡系統(tǒng)具有：光源裝置，其與規(guī)定的周期對應地依次發(fā)出不同顏色的照明光作為用于對被攝體進行照明的照明光；內(nèi)窺鏡裝置，其具有呈矩陣狀配置有多個像素的攝像元件，該多個像素對來自被照射所述照明光的被攝體的光進行光電轉(zhuǎn)換，而生成并輸出圖像信號；以及處理裝置，其具有顏色成分運算部，該顏色成分運算部使用從所述攝像元件輸出的圖像信號中的、與所述照明光的顏色數(shù)量對應的連續(xù)多幀的圖像信號的輸出值，按照所述攝像元件中的像素排列的每行運算各顏色成分信號。

并且，本發(fā)明的內(nèi)窺鏡系統(tǒng)的特征在于，所述顏色成分運算部使用從所述攝像元件輸出圖像信號的最新的幀和該幀以前的幀的圖像信號的輸出值中的、與作為運算對象的行相同的行的輸出值，運算作為運算對象的行的顏色成分信號。

并且，本發(fā)明的內(nèi)窺鏡系統(tǒng)的特征在于，所述處理裝置具有照明控制部，該照明控制部進行使所述光源裝置按照每1行曝光期間在1行曝光期間以下的期間內(nèi)照射所述照明光的控制。

并且，本發(fā)明的內(nèi)窺鏡系統(tǒng)的特征在于，所述照明控制部使所述光源裝置照射各顏色的照明光，使得各顏色的照明光滿足一定的條件，所述顏色成分運算部使用關(guān)系式按照每行運算各顏色成分信號，該關(guān)系式使用運算中使用的各幀中的各顏色的1行曝光期間的每一次的各個照明期間和運算中使用的各幀中的針對運算對象的行的各顏色的各個曝光期間。

并且，本發(fā)明的內(nèi)窺鏡系統(tǒng)的特征在于，所述光源裝置照射3個顏色的照明光，所述顏色成分運算部在所述關(guān)系式中應用從所述攝像元件輸出圖像信號的最新的幀以及該幀的1幀前和2幀前的圖像信號的輸出值中的、與作為運算對象的行相同的行的輸出值，對運算對象的行中的各顏色成分信號進行運算。

并且，本發(fā)明的內(nèi)窺鏡系統(tǒng)的特征在于，所述照明控制部使所述光源裝置依次執(zhí)行在一個所述1行曝光期間內(nèi)照射所述3個顏色中的一個顏色的照明光的照明處理。

并且，本發(fā)明的內(nèi)窺鏡系統(tǒng)的特征在于，所述照明控制部使所述光源裝置在一個所述1行曝光期間內(nèi)照射所述3個顏色中的2個顏色的照明光。

并且，本發(fā)明的內(nèi)窺鏡系統(tǒng)的特征在于，所述照明控制部使所述光源裝置在所述2個顏色的照明光的照明期間的至少一部分重合的狀態(tài)下進行照明。

并且，本發(fā)明的內(nèi)窺鏡系統(tǒng)的特征在于，所述照明控制部使所述光源裝置在一個所述1行曝光期間內(nèi)在分別不同的照明期間內(nèi)照射全部所述3個顏色的照明光。

并且，本發(fā)明的內(nèi)窺鏡系統(tǒng)的特征在于，所述照明控制部使所述光源裝置以包含所述3個顏色的照明光均重合照射的期間的方式照射所述3個顏色的照明光。

并且，本發(fā)明的內(nèi)窺鏡系統(tǒng)的特征在于，所述處理裝置還具有：調(diào)光部，其根據(jù)從所述攝像元件輸出的圖像信號檢測圖像的明亮度，根據(jù)該檢測到的圖像的明亮度求出從所述光源裝置照射的各顏色的照明光的照明期間；以及存儲部，其存儲照明期間信息，該照明期間信息表示多個由所述關(guān)系式的解唯一確定的各顏色的照明光的照明期間的組合，所述照明控制部使所述光源裝置在所述存儲部存儲的照明期間信息所表示的各顏色的照明光的照明期間的組合中的、與所述調(diào)光部求出的各顏色的照明光的照明期間最接近的組合的照明期間內(nèi)，照射各顏色的照明光。

并且，本發(fā)明的內(nèi)窺鏡系統(tǒng)的特征在于，所述3個顏色的照明光是紅色光、綠色光、藍色光。

并且，本發(fā)明的內(nèi)窺鏡系統(tǒng)的特征在于，所述攝像元件是cmos攝像元件。

并且，本發(fā)明的內(nèi)窺鏡系統(tǒng)的特征在于，所述照明控制部使所述光源裝置按照與針對所述攝像元件中的起始行的像素的曝光期間的結(jié)束定時相同的定時熄滅所述照明光。

并且，本發(fā)明的內(nèi)窺鏡系統(tǒng)的特征在于，所述攝像元件是ccd攝像元件。

并且，本發(fā)明的處理裝置對發(fā)出照明光的光源裝置進行控制，并且對從呈矩陣狀配置有多個像素的內(nèi)窺鏡裝置的攝像元件輸出的圖像信號進行處理，所述照明光用于對被攝體進行照明，所述多個像素對來自被照射所述照明光的被攝體的光進行光電轉(zhuǎn)換，而生成并輸出圖像信號，其特征在于，所述處理裝置具有：照明控制部，其使所述光源裝置與規(guī)定的周期對應地依次照射不同顏色的照明光；以及顏色成分運算部，其使用從所述內(nèi)窺鏡裝置的攝像元件輸出的圖像信號的輸出值中的、與所述照明光的顏色數(shù)量對應的連續(xù)多幀的圖像信號的輸出值，按照所述攝像元件中的像素排列的每行運算各顏色成分信號。

發(fā)明效果

根據(jù)本發(fā)明，使用從攝像元件輸出的圖像信號中的、與照明光的顏色數(shù)量對應的連續(xù)多幀的圖像信號的輸出值，按照每行通過運算處理求出取得對象的幀的各顏色成分的圖像信號，所以，不設(shè)置v消隱期間，也能夠在足夠的期間內(nèi)對全部像素進行曝光，能夠抑制纜線的傳送負擔，并且能夠針對全部像素確保足夠的曝光期間。

附圖說明

圖1是示出本發(fā)明的實施方式1的內(nèi)窺鏡系統(tǒng)的概略結(jié)構(gòu)的示意圖。

圖2是示意地示出圖1所示的內(nèi)窺鏡系統(tǒng)的結(jié)構(gòu)的框圖。

圖3是示出在圖2所示的處理裝置中生成1幀的rgb圖像信號為止的處理的處理順序的流程圖。

圖4是示出圖2所示的攝像元件中的曝光、讀出定時的時序圖。

圖5是說明本實施方式1中求出的圖像信號的解的唯一性的圖。

圖6是示出實施方式1的變形例1的攝像元件中的nbi觀察方式下的曝光、讀出定時的時序圖。

圖7是示出實施方式1的變形例1的攝像元件中的nbi觀察方式下的曝光、讀出定時的另一例的時序圖。

圖8是示出實施方式1的攝像元件是ccd攝像元件時的曝光、讀出定時的時序圖。

圖9是示意地示出實施方式2的內(nèi)窺鏡系統(tǒng)的結(jié)構(gòu)的框圖。

圖10是示出在圖9所示的處理裝置中生成1幀的rgb圖像信號為止的處理的處理順序的流程圖。

圖11是示出圖9所示的攝像元件中的曝光、讀出定時的時序圖。

圖12是說明本實施方式2中求出的圖像信號的解的唯一性的圖。

圖13是說明本實施方式2中求出的圖像信號的解的唯一性的圖。

圖14是示出實施方式2的攝像元件為ccd攝像元件時的曝光、讀出定時的時序圖。

圖15是示意地示出實施方式3的內(nèi)窺鏡系統(tǒng)的結(jié)構(gòu)的框圖。

圖16是示出在圖15所示的處理裝置中生成1幀的rgb圖像信號為止的處理的處理順序的流程圖。

圖17是示出圖15所示的攝像元件中的曝光、讀出定時的時序圖。

圖18是說明本實施方式3中求出的圖像信號的解的唯一性的圖。

圖19是說明本實施方式3中求出的圖像信號的解的唯一性的圖。

圖20是示出實施方式3的攝像元件為ccd攝像元件時的曝光、讀出定時的時序圖。

具體實施方式

在以下的說明中，作為用于實施本發(fā)明的方式(以下稱為“實施方式”)，對內(nèi)窺鏡系統(tǒng)進行說明。并且，該實施方式并不限定本發(fā)明。進而，在附圖的記載中，對相同部分標注相同標號。

(實施方式1)

圖1是示出本發(fā)明的實施方式1的內(nèi)窺鏡系統(tǒng)的概略結(jié)構(gòu)的示意圖。如圖1所示，本實施方式1的內(nèi)窺鏡系統(tǒng)1具有：內(nèi)窺鏡2(鏡體)，其被導入到被檢體內(nèi)，對被檢體的體內(nèi)進行攝像并生成被檢體內(nèi)的圖像信號；處理裝置3(信號處理裝置)，其以拆裝自如的方式裝配內(nèi)窺鏡2，對從內(nèi)窺鏡2發(fā)送的圖像信號進行規(guī)定的圖像處理，并且對內(nèi)窺鏡系統(tǒng)1的各部進行控制；光源裝置4，其生成內(nèi)窺鏡2的照明光(觀察光)；以及顯示裝置5，其顯示與處理裝置3實施了圖像處理后的圖像信號對應的圖像。

內(nèi)窺鏡2具有插入到被檢體內(nèi)的插入部21、位于插入部21的基端部側(cè)且供手術(shù)醫(yī)生把持的操作部22、從操作部22延伸的撓性的通用軟線23。

插入部21使用照明光纖(光導纜線)和電纜等實現(xiàn)。插入部21具有：前端部21a，其具有攝像部，該攝像部內(nèi)置有cmos攝像元件作為對被檢體內(nèi)進行攝像的攝像元件；彎曲自如的彎曲部21b，其由多個彎曲塊構(gòu)成；以及具有撓性的撓性管部21c，其設(shè)置在彎曲部21b的基端部側(cè)。在前端部21a設(shè)置有經(jīng)由照明透鏡對被檢體內(nèi)進行照明的照明部、對被檢體內(nèi)進行攝像的觀察部、連通處理器械用通道的開口部21d和送氣/送水用噴嘴(未圖示)。

操作部22具有：彎曲旋鈕22a，其使彎曲部21b向上下方向和左右方向彎曲；處置器械插入部22b，其將活體鉗子、激光刀等處置器械插入到被檢體的體腔內(nèi)；以及多個開關(guān)部22c，它們進行處理裝置3、光源裝置4、送氣裝置、送水裝置和送霧裝置等外圍設(shè)備的操作。從處置器械插入部22b插入的處置器械經(jīng)由設(shè)置在內(nèi)部的處置器械用通道而從插入部21前端的開口部21d露出。

通用軟線23使用照明光纖和電纜等構(gòu)成。通用軟線23具有在基端分支的、相對于處理裝置3和光源裝置4拆裝自如的連接器23a、23b。通用軟線23將設(shè)置在前端部21a的攝像部拍攝的圖像信號經(jīng)由連接器23a傳送到處理裝置3。通用軟線23將從光源裝置4出射的照明光經(jīng)由連接器23b、操作部22和撓性管部21c傳播到前端部21a。

處理裝置3對經(jīng)由通用軟線23輸入的內(nèi)窺鏡2的前端部21a中的攝像部拍攝的被檢體內(nèi)的攝像信號實施規(guī)定的圖像處理。處理裝置3根據(jù)經(jīng)由通用軟線23從內(nèi)窺鏡2的操作部22中的開關(guān)部22c發(fā)送的各種指示信號，對內(nèi)窺鏡系統(tǒng)1的各部進行控制。

光源裝置4使用射出多個波段(顏色)的光的光源和會聚透鏡等構(gòu)成。光源裝置4將從光源射出的光作為用于對作為被攝體的被檢體內(nèi)進行照明的照明光，供給到經(jīng)由連接器23b和通用軟線23的照明光纖連接的內(nèi)窺鏡2。光源例如發(fā)出紅色(r)、綠色(g)和藍色(b)的光。

顯示裝置5利用使用液晶或有機el(electroluminescence)的顯示器等構(gòu)成。顯示裝置5經(jīng)由影像纜線顯示包含圖像在內(nèi)的各種信息，該圖像與被處理裝置3實施了規(guī)定的圖像處理的顯示用圖像信號對應。由此，手術(shù)醫(yī)生通過一邊觀察顯示裝置5顯示的圖像(體內(nèi)圖像)一邊對內(nèi)窺鏡2進行操作，能夠進行被檢體內(nèi)的期望位置的觀察和性狀的判定。

接著，對圖1中說明的內(nèi)窺鏡系統(tǒng)1的結(jié)構(gòu)進行說明。圖2是示意地示出圖1所示的內(nèi)窺鏡系統(tǒng)1的結(jié)構(gòu)的框圖。

內(nèi)窺鏡2在前端部21a具有光學系統(tǒng)24和攝像元件25。從光源裝置4經(jīng)由連接器23b延伸的光導纜線23c的前端位于前端部21a。在光導纜線23c的前端設(shè)置有照明透鏡21e。從光源裝置4發(fā)出的光經(jīng)由光導纜線23c從插入部21的前端部21a的照明窗21f對被攝體進行照明。

光學系統(tǒng)24使用設(shè)置在攝像元件25的前級的一個或多個透鏡構(gòu)成，具有使視場角變化的光學變焦功能和使焦點變化的對焦功能。

攝像元件25具有受光部26和讀出部27。攝像元件25是能夠進行每個水平行的曝光和讀出的cmos攝像元件。

受光部26在受光面上呈矩陣狀配置有多個像素。各像素接收來自被照射光的被攝體的光，對接收到的光進行光電轉(zhuǎn)換，生成像素信號(圖像信號)。在受光部26的受光面?zhèn)扰渲糜泄鈱W系統(tǒng)24。

讀出部27讀出受光部26的多個像素生成的圖像信號。讀出部27通過卷簾快門方式生成圖像信號，該卷簾快門方式是指，從起始的水平行起執(zhí)行進行曝光和讀出的攝像動作，按照每個水平行錯開定時進行電荷復位、曝光和讀出。因此，在攝像元件25中，在一個攝像期間(幀)內(nèi)，曝光定時和讀出定時也按照每個水平行而分別不同。換言之，關(guān)于對1個水平行的像素組進行曝光的期間(1行曝光期間)，在任意的水平行中成為相同的時間寬度，但是，始點和終點按照每個水平行而錯開。讀出部27讀出的圖像信號是電信號(模擬)。攝像元件25具有對讀出部27讀出的圖像信號的電信號進行噪聲去除和a/d轉(zhuǎn)換等的afe部(未圖示)、以及根據(jù)從處理裝置3接收到的控制信號對攝像元件25的動作進行控制的控制部(未圖示)。攝像元件25生成的圖像信號(數(shù)字)經(jīng)由信號纜線(未圖示)和連接器23a輸出到處理裝置3。

處理裝置3具有圖像處理部31、顯示控制部32、調(diào)光部33、控制部34、輸入部35、存儲部36。

圖像處理部31對由攝像元件25的讀出部27讀出的圖像信號進行規(guī)定的圖像處理。圖像處理部31具有顏色成分運算部31a、能夠以幀單位暫時保持從攝像元件25讀出的圖像信號的可改寫的存儲器31b、增益調(diào)整部31c、白平衡(wb)調(diào)整部31d、同時化部31e。圖像處理部31有時還進行光學黑體減法處理、邊緣強調(diào)處理。

顏色成分運算部31a使用從內(nèi)窺鏡2的攝像元件25輸出的圖像信號中的、與照明光的波段(顏色)數(shù)量對應的連續(xù)多幀的圖像信號的輸出值，按照每個水平行運算各顏色成分信號。顏色成分運算部31a使用從攝像元件25輸出圖像信號的最新的幀和該幀的1幀前的圖像信號的輸出值中的、與作為運算對象的行相同的行的輸出值，運算作為運算對象的行的顏色成分信號。顏色成分運算部31a使用關(guān)系式按照每個水平行運算各顏色成分信號，該關(guān)系式使用了運算中使用的各幀中的各顏色的1行曝光期間的每一次的各個照明期間和運算中使用的各幀中的針對作為運算對象的水平行的各顏色的各個曝光期間。在照射r、g、b這3個顏色的照明光的情況下，顏色成分運算部31a在連續(xù)的3幀內(nèi)，按照每個水平行生成受光部26僅接收來自被照射r光的被攝體的r光時的r圖像信號、受光部26僅接收來自被照射g光的被攝體的g光時的g圖像信號和受光部26僅接收來自被照射b光的被攝體的b光時的b圖像信號。

增益調(diào)整部31c根據(jù)由后述調(diào)光部33計算出的增益調(diào)整值以及由后述照明控制部34a設(shè)定的r、g、b這3個顏色的照明光的各照明期間，進行從顏色成分運算部31a輸出的各顏色的顏色成分信號即r、g、b圖像信號的增益調(diào)整。

wb調(diào)整部31d對從顏色成分運算部31a輸出的各顏色成分即r、g、b圖像信號的白平衡進行調(diào)整。

同時化部31e將所輸入的各r、g、b圖像信號輸入到按照每個像素設(shè)置的存儲器(未圖示)，與讀出部27讀出的受光部26的像素的地址對應地，利用所輸入的各圖像信號依次更新各存儲器的值并進行保持，并且，將這3個存儲器的各圖像信號作為rgb圖像信號進行同時化。

顯示控制部32與顯示裝置5對應地對從圖像處理部31輸出的rgb圖像信號進行灰度轉(zhuǎn)換，并且，生成變更為與顯示裝置5對應的格式的顯示用圖像信號，將其輸出到顯示裝置5。其結(jié)果是，在顯示裝置5中顯示一張體內(nèi)圖像。

調(diào)光部33從輸入到圖像處理部31的圖像信號中檢測與各像素對應的明亮度電平，根據(jù)檢測到的明亮度電平計算針對該圖像信號的增益調(diào)整值。調(diào)光部33根據(jù)檢測到的明亮度電平，計算下一次發(fā)出的照明光中的光照射量作為調(diào)光條件。調(diào)光部33將計算出的增益調(diào)整值輸出到增益調(diào)整部31c，將檢測到的明亮度電平和調(diào)光條件輸出到控制部34。

控制部34使用cpu等實現(xiàn)?？刂撇?4對處理裝置3的各部的處理動作進行控制。控制部34進行針對處理裝置3的各結(jié)構(gòu)的指示信息和數(shù)據(jù)的傳輸?shù)龋纱藢μ幚硌b置3的動作進行控制。控制部34經(jīng)由各纜線而與攝像元件25和光源裝置4分別連接，還進行針對攝像元件25和光源裝置4的控制?？刂撇?4具有照明控制部34a。

照明控制部34a根據(jù)從調(diào)光部33輸出的調(diào)光條件，設(shè)定光源裝置4的各顏色的照明期間和照明強度。在實施方式1中，照明控制部34a使照明光的照明強度固定，設(shè)定照明期間。照明控制部34a設(shè)定對各光源供給的電流量和電流供給期間等驅(qū)動條件，將包含設(shè)定條件的光源同步信號輸出到光源裝置4。照明控制部34a設(shè)定光源裝置4發(fā)出的光的類別、光量、照明定時。照明控制部34a進行如下控制：使光源裝置4按照起始的水平行1中的每個曝光期間(1行曝光期間)在1行曝光期間以下的期間內(nèi)照射照明光。另外，照明控制部34a在攝像元件25的輸出值不飽和的條件下設(shè)定照射時間、照射強度。照明控制部34a也可以設(shè)定攝像元件25的輸出值飽和之前的照射時間、照射強度，增益調(diào)整部31c也可以利用負增益對圖像信號進行增益調(diào)整。

輸入部35使用鼠標、鍵盤和觸摸面板等操作器件實現(xiàn)，受理內(nèi)窺鏡系統(tǒng)1的各種指示信息的輸入。具體而言，輸入部35受理被檢體信息(例如id、出生年月日、姓名等)、內(nèi)窺鏡2的識別信息(例如id、檢查對應項目)和檢查內(nèi)容等各種指示信息的輸入。

存儲部36使用易失性存儲器或非易失性存儲器實現(xiàn)，存儲用于使處理裝置3和光源裝置4進行動作的各種程序。存儲部36暫時記錄處理裝置3的處理中的信息。存儲部36存儲由讀出部27讀出的圖像信號。并且，存儲部36存儲圖像處理部31中處理后的圖像信號。

光源裝置4具有光源控制部41和照明部42，該照明部42具有光源驅(qū)動器43和光源44。

光源控制部41在照明控制部34a的控制下，對光源44的照明光的照明處理進行控制。照明部42的光源驅(qū)動器43在光源控制部41的控制下，對光源44供給規(guī)定的電力。照明部42的光源44發(fā)出多個波段(顏色)的光作為供給到內(nèi)窺鏡2的照明光。光源44例如使用紅色led、綠色led、藍色led等光源和會聚透鏡等光學系統(tǒng)構(gòu)成，發(fā)出r、g和b的波段(例如r：600nm～700nm、g：500nm～600nm、b：400nm～500nm)的光。從光源44發(fā)出的光通過光導纜線23c，經(jīng)由連接器23b和通用軟線23，經(jīng)由插入部21的前端部21a的照明透鏡21e從照明窗21f對被攝體進行照明。另外，在照明窗21f附近配置攝像元件25。并且，光源44也可以是白色光led和旋轉(zhuǎn)濾鏡的組合，該旋轉(zhuǎn)濾鏡具有透射r光、g光和b光即具有各個波段的光的紅色濾鏡、綠色濾鏡和藍色濾鏡。

圖3是示出在處理裝置3中生成1幀的rgb圖像信號為止的處理的處理順序的流程圖。如圖3所示，首先，進行從調(diào)光部33對控制部34的照明控制部34a輸入下一次照射的照明光的調(diào)光條件的調(diào)光條件輸入處理(步驟s1)。照明控制部34a進行如下的照明控制處理：根據(jù)所輸入的調(diào)光條件，設(shè)定下一次照射的照明光的照明條件，在所設(shè)定的照明條件下使光源裝置4照射照明光(步驟s2)。照明控制部34a使任何顏色的照明光的照明強度都固定，然后設(shè)定下一次照射的照明光的顏色和照明期間。與此同時，控制部34進行如下的圖像信號讀出處理：使內(nèi)窺鏡2的攝像元件25從起始的水平行起依次執(zhí)行進行曝光和圖像信號的讀出的圖像信號讀出處理(步驟s3)。

圖像處理部31的顏色成分運算部31a進行如下的顏色成分運算處理：使用包含從攝像元件25輸出的圖像信號的連續(xù)多幀的圖像信號的輸出值，按照每個水平行運算各顏色成分信號(步驟s4)。顏色成分運算部31a針對全部水平行運算各顏色成分信號，以幀單位輸出各顏色成分信號。然后，圖像處理部31進行如下的圖像信號處理：對顏色成分運算部31a輸出的各顏色成分信號進行增益調(diào)整處理、白平衡調(diào)整處理、同時化處理，生成1幀的rgb圖像信號(步驟s5)。另外，圖像處理部31有時還在步驟s5中進行光學黑體減法處理、邊緣強調(diào)處理等圖像信號處理。

接著，參照圖4對圖3所示的各處理進行說明。圖4是示出圖2所示的攝像元件25中的曝光、讀出定時的時序圖。在圖4中，還與攝像元件25的曝光、讀出定時(圖4的(1)對應地示出從攝像元件25讀出的圖像信號(圖4的(2))、根據(jù)該圖像信號生成的r、g、b圖像信號(圖4的(3)～(5))。另外，在圖4的(3)～(5)中，為了容易說明生成各顏色成分的圖像信號所使用的圖像信號，在從實際定時移動的狀態(tài)下示出各顏色成分的圖像信號的生成定時。

照明控制部34a進行如下的照明控制處理：根據(jù)步驟s1中輸入的調(diào)光條件，使光源裝置4依次執(zhí)行在1行曝光期間內(nèi)的1行曝光期間以下的期間內(nèi)照射r光、g光、b光中的一個顏色的光的照明處理(步驟s2)。照明控制部34a按照與攝像元件25中的各幀的1行曝光期間的結(jié)束定時相同的定時熄滅所有顏色的光。照明控制部34a根據(jù)調(diào)光條件，在各1行曝光期間內(nèi)調(diào)整照明開始時間。在圖4的例子中，照明控制部34a使光源裝置4在每1行曝光期間按照g光、b光、r光的順序依次照明，也在各幀的1行曝光期間的結(jié)束時間熄滅所有的光。

具體而言，在幀1的1行曝光期間(時間t0～t1)內(nèi)，期間lg1成為g光的照明期間，在幀2的1行曝光期間(時間t1～t2)內(nèi)，期間lb2成為b光的照明期間，在幀3的1行曝光期間(時間t2～t3)內(nèi)，期間lr3成為r光的照明期間，在幀4的1行曝光期間(時間t3～t4)內(nèi)，期間lg4成為g光的照明期間，在幀5的1行曝光期間(時間t4～t5)內(nèi)，期間lb5成為b光的照明期間。光源裝置4在任意的幀內(nèi)，都在各幀的1行曝光期間的結(jié)束時間t1、t2、t3、t4、t5熄滅各光。

接著，對圖3的圖像信號讀出處理(步驟s3)進行說明。在本內(nèi)窺鏡系統(tǒng)1中，作為攝像元件25，采用cmos攝像元件，按照每個水平行使定時在時間方向上位移來進行曝光和讀出，所述cmos攝像元件應用按照每個水平行改變曝光和讀出的定時的卷簾快門方式。

具體而言，在圖4的(1)的例子中，在幀1中，關(guān)于起始的水平行1，在時間t0～t1內(nèi)進行曝光后，在時間t1讀出像素信號。關(guān)于以后的水平行的像素，按照每個水平行使定時在時間方向上位移來進行曝光和讀出。因此，在幀1中，在時間t1～t2的期間內(nèi)從起始起依次讀出各水平行的像素信號，由此輸出幀1的圖像信號f1(參照圖4的(2))。在幀2中，在時間t2～t3的期間內(nèi)依次讀出各水平行的像素信號，由此輸出幀2的圖像信號f2。同樣，在幀3中，通過時間t3～t4的期間內(nèi)的讀出處理，輸出幀3的圖像信號f3，在幀4中，通過時間t4～t5的期間內(nèi)的讀出處理，輸出幀4的圖像信號f4，在幀5中，通過時間t5～t6的期間內(nèi)的讀出處理，輸出幀5的圖像信號f5。

這樣，在攝像元件25中，曝光和讀出的定時根據(jù)每個水平行而不同，所以，關(guān)于各幀的圖像信號f1～f5的各輸出值，根據(jù)水平行，被照射的光的顏色、照明次數(shù)和照明期間不同，成為與多個顏色的光的曝光對應的值。并且，r、g、b光被控制成，按照各幀的每1行曝光期間，依次各照射一個顏色，所以，各r、b、g光的曝光期間分散在連續(xù)的3幀中。因此，在圖3的顏色成分運算處理(步驟s4)中，顏色成分運算部31a按照每個水平行考慮連續(xù)3幀的各幀中每1行曝光期間的各顏色的照明期間與各幀中針對作為運算對象的水平行的各顏色的曝光期間之間的關(guān)系，并且從包含從攝像元件25輸出圖像信號的最新幀在內(nèi)的連續(xù)3幀的圖像信號中提取取得對象的顏色成分的信號，由此求出取得對象的顏色成分的信號。另外，被攝體不進行動作是前提。并且，顏色成分運算部31a在運算中使用的多幀的圖像信號暫時保持在存儲器31b中。

在實施方式1中，三元一次聯(lián)立方程式((1)式)成立，該三元一次聯(lián)立方程式表示連續(xù)的幀(k-3)～(k-1)中的水平行n的輸出圖像信號f(k-3)n、f(k-2)n、f(k-1)n的值；基于連續(xù)的幀(k-3)～(k-1)的各1行曝光期間內(nèi)的各顏色的照明期間和幀(k-3)～(k-1)中的針對水平行n的各顏色的曝光期間的矩陣ak；運算上的幀k的水平行n的r圖像信號fkn(r)、g圖像信號fkn(g)、b圖像信號fkn(b)之間的關(guān)系。

【數(shù)學式1】

因此，為了求出運算上的幀k的水平行n的r圖像信號fkn(r)、g圖像信號fkn(g)、b圖像信號fkn(b)，求出對(1)式進行變形后的(2)式的逆矩陣ak^-1，求解(2)式即可。即，顏色成分運算部31a在(2)式中應用從攝像元件25輸出圖像信號的最新幀以及該幀的1幀前和2幀前的圖像信號的輸出值中的、與作為運算對象的行相同的行的輸出值，對運算對象的行中的各顏色成分信號進行運算。

【數(shù)學式2】

例如，關(guān)于第4幀的水平行n的r圖像信號f4n(r)、g圖像信號f4n(g)、b圖像信號f4n(b)，在以下的(3)式中輸入幀1～3的圖像信號f1n、f2n、f3n中的水平行n的輸出值來進行求解(參照箭頭y1)。在(3)式中，連續(xù)的幀2、3各自的1行曝光期間內(nèi)的b、r光的照明期間lb2、lr3、幀1～3中的針對水平行n的g光的曝光期間g1、g3、b光的曝光期間b1、b2和r色的曝光期間r2、r3成為矩陣a4的參數(shù)。

【數(shù)學式3】

顏色成分運算部31a進行如下的運算處理：應用與水平行n對應的r色的曝光期間r2、r3、g光的曝光期間g1、g3、b光的曝光期間b1、b2作為矩陣a4的參數(shù)，求解輸入了圖像信號f3n、f2n、f1n的水平行n的輸出值而得到的(3)式。其結(jié)果是，顏色成分運算部31a能夠生成與第4幀的水平行n對應的與照明期間lr3內(nèi)利用r光進行曝光時的圖像信號對應的r圖像信號f4n(r)、與期間(g1+g3)內(nèi)利用g光進行曝光時的圖像信號對應的g圖像信號f4n(g)、與照明期間lb2內(nèi)利用b光進行曝光時的圖像信號對應的b圖像信號f4n(b)。顏色成分運算部31a從起始的水平行1到最終的水平行n分別依次進行如下的運算處理：使用與各水平行對應的參數(shù)作為矩陣a4的參數(shù)，求解輸入了作為運算對象的水平行n的圖像信號f3n、f2n、f1n的輸出值而得到的(3)式。其結(jié)果是，能夠以幀單位取得第4幀的r圖像信號f4(r)、g圖像信號f4(g)、b圖像信號f4(b)。下面，將(3)式中的由矩陣a4的第1行的成分構(gòu)成的行向量(r3/lr3、g3/(g1+g3)、0)稱為ra，將由第2行的成分構(gòu)成的行向量(r2/lr3、0、b2/lb2)稱為rb，將由第3行的成分構(gòu)成的行向量(0、g1/(g1+g3)、b1/lb2)稱為rc。

關(guān)于第5幀的水平行n的r圖像信號f5n(r)、g圖像信號f5n(g)、b圖像信號f5n(b)，在以下的(4)式中輸入幀2～4的圖像信號f2n、f3n、f4n中的水平行n的輸出值來進行求解(參照箭頭y2)。在(4)式中，連續(xù)的幀3、4各自的1行曝光期間內(nèi)的r、g光的照明期間lr3、lg4以及幀2～4中的針對水平行n的r色的曝光期間r2、r3、g光的曝光期間g3、g4、b光的曝光期間b2、b4成為矩陣a5的參數(shù)。

【數(shù)學式4】

顏色成分運算部31a進行如下的運算處理：應用與水平行n對應的r色的曝光期間r2、r3、g光的曝光期間g3、g4、b光的曝光期間b2、b4作為矩陣a5的參數(shù)，求解輸入了圖像信號f4n、f3n、f2n的水平行n的輸出值而得到的(4)式。其結(jié)果是，顏色成分運算部31a能夠生成與第5幀的水平行n對應的與照明期間lr3內(nèi)利用r光進行曝光時的圖像信號對應的r圖像信號f5n(r)、與照明期間lg4內(nèi)利用g光進行曝光時的圖像信號對應的g圖像信號f5n(g)、與期間(b2+b4)內(nèi)利用b光進行曝光時的圖像信號對應的b圖像信號f5n(b)。顏色成分運算部31a從起始的水平行1到最終的水平行n分別依次進行如下的運算處理：使用與各水平行對應的參數(shù)作為矩陣a5的參數(shù)，求解輸入了作為運算對象的水平行的圖像信號f4n、f3n、f2n的輸出值而得到的(4)式。其結(jié)果是，能夠以幀單位取得第5幀的r圖像信號f5(r)、g圖像信號f5(g)、b圖像信號f5(b)。

關(guān)于第6幀的水平行n的r圖像信號f6n(r)、g圖像信號f6n(g)、b圖像信號f6n(b)，在以下的(5)式中輸入幀3～5的圖像信號f3n、f4n、f5n中的水平行n的輸出值來進行求解(參照箭頭y3)。在(5)式中，連續(xù)的幀4、5各自的1行曝光期間內(nèi)的g、b光的照明期間lg4、lb5以及幀3～5中的針對水平行n的r色的曝光期間r3、r5、g光的曝光期間g3、g4、b光的曝光期間b4、b5成為矩陣a6的參數(shù)。

【數(shù)學式5】

顏色成分運算部31a進行如下的運算處理：應用與水平行n對應的r光的曝光期間r3、r5、g光的曝光期間g3、g4、b光的曝光期間b4、b5作為矩陣a6的參數(shù)，求解輸入了圖像信號f5n、f4n、f3n的水平行n的輸出值而得到的(5)式。其結(jié)果是，顏色成分運算部31a能夠生成與第6幀的水平行n對應的與照明期間(r3+r5)內(nèi)利用r光進行曝光時的圖像信號對應的r圖像信號f6n(r)、與照明期間lg4內(nèi)利用g光進行曝光時的圖像信號對應的g圖像信號f6n(g)、與照明期間lb5內(nèi)利用b光進行曝光時的圖像信號對應的b圖像信號f6n(b)。顏色成分運算部31a從起始的水平行1到最終的水平行n分別依次進行如下的運算處理：使用與各水平行對應的參數(shù)作為矩陣a6的參數(shù)，求解輸入了作為運算對象的水平行的圖像信號f5n、f4n、f3n的輸出值而得到的(5)式。其結(jié)果是，能夠以幀單位取得第6幀的r圖像信號f6(r)、g圖像信號f6(g)、b圖像信號f6(b)。

關(guān)于7幀以后，以3幀為單位依次使用(3)式～(5)式運算各水平行n的各顏色成分的圖像信號即可。關(guān)于(3)式～(5)式的矩陣ak，對各參數(shù)的幀編號分別加上3，按照各水平行n運算矩陣ak的逆矩陣ak^-1，按照每個水平行n取得各顏色成分的圖像信號。

另外，對本實施方式1中使用的關(guān)系式中的矩陣ak的階數(shù)進行說明。圖5是說明本實施方式1中求出的圖像信號的解的唯一性的圖，是示出在r、g、b空間內(nèi)觀察(3)式的行向量ra、rb、rc的情況的圖。行向量ra是r-g平面上的向量，描繪隨著行編號的行進而從與水平行1對應的位置ra1朝向位置rc1行進的軌跡pra。行向量rb是b-r平面上的向量，描繪隨著行編號的行進而從與水平行1對應的位置rb1朝向位置ra1行進的軌跡prb。行向量rc是g-b平面上的向量，描繪隨著行編號的行進而從與水平行1對應的位置rc1朝向位置rb1行進的軌跡prc。如圖5那樣，這些行向量ra、rb、rc成為在r-g平面、b-r平面、g-b平面的各平面上描繪分別不同的軌跡pra、prb、prc的關(guān)系，所以，關(guān)于所有的行向量ra～rc，2個行向量不會同時在r、g、b軸上重合。

因此，行向量ra～rc始終是線性獨立的，所以，矩陣ak的階數(shù)(秩)為3，(3)式的解唯一確定。因此，在r、g、b的照明期間相同的情況下和不同的情況下，(3)式的解都必定唯一確定，所以，能夠在運算中求出各r圖像信號f4n(r)、g圖像信號f4n(g)、b圖像信號f4n(b)的值。(4)式、(5)式也同樣，所以，任意幀的顏色成分信號都能夠唯一地求出。

在上述顏色成分運算處理(步驟s4)中，在1幀中運算全部r、g、b圖像信號作為顏色成分信號，在圖像信號處理(步驟s5)中，對這些r、g、b圖像信號執(zhí)行規(guī)定的圖像信號處理。其中，在同時化處理中，同時化部31e采用該r、g、b圖像信號中的、在最接近運算中使用的連續(xù)3幀中的最后幀的讀出期間的曝光期間內(nèi)曝光的顏色的圖像信號。然后，以3幀為單位，根據(jù)在各幀中各采用一個顏色的圖像信號進行同時化處理。例如，在第4幀中，采用與最接近幀3中的讀出期間t3～t4的曝光期間lr3對應的r圖像信號f4(r)，在第5幀中，采用與最接近幀4中的讀出期間t4～t5的曝光期間lg4對應的g圖像信號f5(g)，在第6幀中，采用與最接近幀5中的讀出期間t5～t6的曝光期間lb5對應的b圖像信號f6(b)，使用所采用的r圖像信號f4(r)、g圖像信號f5(g)、b圖像信號f6(b)進行同時化處理，生成rgb圖像信號。當然，同時化部31e也可以使用相同幀的r、g、b圖像信號進行同時化處理，按照每1幀生成rgb圖像信號。

這樣，在實施方式1中，在處理裝置3的顏色成分運算部31a中，通過使用了多個連續(xù)幀的圖像信號的輸出值的運算，按照每個水平行提取作為取得對象的幀的各顏色成分的圖像信號。因此，根據(jù)實施方式1，能夠在1行曝光期間中自由設(shè)定各照明光的曝光期間，所以，能夠針對全部像素確保足夠的曝光期間，能夠維持攝像元件25的感光度。并且，在本實施方式1中，顏色成分運算部31a通過運算處理提取取得對象的幀的各顏色成分的圖像信號，所以，可以不設(shè)置在全部水平行中共同曝光的期間(v消隱期間)，所以，還能夠足夠確保信號傳送用的期間。因此，根據(jù)實施方式1，能夠抑制纜線的傳送負擔，并且針對全部像素確保足夠的曝光期間。

(實施方式1的變形例1)

實施方式1不限于依次切換r、g、b這3個顏色的照明光的面順次方式，例如還能夠應用于nbi觀察方式，該nbi觀察方式使用窄帶化以容易被血液中的血紅蛋白吸收的藍色光和綠色光這兩種頻帶的nbi(narrowbandimaging：窄帶成像)照明光進行觀察。在nbi觀察方式的情況下，光源裝置4根據(jù)照明控制部34a的控制，依次切換窄帶化的藍色光(v光)和窄帶化的g光進行照射。v光的波段例如是波長390～470nm。

圖6是示出nbi觀察方式下的攝像元件25中的曝光、讀出定時的時序圖。在圖6中，還與攝像元件25的曝光、讀出定時(圖6的(1))對應地示出從攝像元件25讀出的圖像信號(圖6的(2))、根據(jù)該圖像信號生成的v、g圖像信號等(圖6的(3)～(5))。另外，在圖6的(3)～(5)中，為了容易說明生成各顏色成分的圖像信號所使用的圖像信號，在從實際定時移動的狀態(tài)下示出各顏色成分的圖像信號的生成定時。另外，該情況下，處理裝置3通過進行與圖3所示的各處理大致相同的處理，生成1幀的v圖像信號和g圖像信號。

首先，照明控制部34a根據(jù)調(diào)光條件輸入處理(圖3的步驟s1)中輸入的調(diào)光條件進行照明控制處理(步驟s2)。在nbi觀察方式中，照射光成為v光、g光這2個顏色，所以，為了使運算處理中使用的矩陣式的秩保持3，設(shè)定不發(fā)出光的無光幀。具體而言，照明控制部34a使光源裝置4在幀1的1行曝光期間內(nèi)照射v光，在幀2的1行曝光期間內(nèi)照射g光，在下一個幀3的1行曝光期間內(nèi)設(shè)為不發(fā)光的無光幀。然后，在連續(xù)的3幀中，照明控制部34a設(shè)為v光照射(幀4)、g光照射(幀5)、不發(fā)光(幀6)，以3幀為單位反復進行該照明控制。

接著，顏色成分運算部31a使用圖像信號讀出處理(步驟s3)中讀出的連續(xù)3幀的圖像信號和上述(3)～(5)式中任意的對應的運算式，按照每個水平行生成v圖像信號和g圖像信號(步驟s4)。顏色成分運算部31a例如在生成第4幀的v圖像信號f4v(v)、g圖像信號f4v(g)的情況下，按照每個水平行n在(3)式中輸入連續(xù)3幀圖像信號f1～f3(參照圖6的(2))的水平行n的輸出值。該情況下，在水平行n中，除了連續(xù)的幀1～3各自的1行曝光期間內(nèi)的v、b光的照明期間lv1、lg2以及幀1～3中的針對水平行n的v光的曝光期間v1、v3、g光的曝光期間g1、g2以外，不發(fā)光的幀3中的看起來的照明期間lo3和曝光期間o2、o3也成為(3)式的矩陣ak的參數(shù)。

然后，顏色成分運算部31a通過求解(3)式，生成與第4幀的水平行n對應的與期間(v1+v3)內(nèi)利用v光進行曝光時的圖像信號對應的v圖像信號f4vn(v)(圖6的(3))、與照明期間lg2內(nèi)利用g光進行曝光時的圖像信號對應的g圖像信號f4vn(g)(圖6的(4))。另外，在運算上，還生成與看起來的照明期間lo3對應的無照明時圖像信號f4vn(o)(圖6的(5))。顏色成分運算部31a從起始的水平行1到最終的水平行n分別依次進行如下的運算處理：使用與各水平行對應的參數(shù)作為矩陣ak的參數(shù)，求解輸入了作為運算對象的水平行的圖像信號f3n、f2n、f1n的輸出值而得到的(3)式。其結(jié)果是，能夠以幀單位取得第4幀的v圖像信號f4v(v)、g圖像信號f4v(g)、無照明時圖像信號f4v(o)。接著，圖像處理部31對顏色成分運算部31a運算出的各v圖像信號f4v(v)、g圖像信號f4v(g)進行包含增益調(diào)整處理等的圖像信號處理(步驟s5)，生成nbi圖像信號。這里，在設(shè)定了該無光幀的情況下，不需要進行調(diào)光，所以，能夠始終以最長的照射時間照射v光、g光而不用進行調(diào)光，因此，能夠減少計算誤差，認為還能夠減少余像的影響。

并且，圖7是示出nbi觀察方式下的攝像元件25中的其他曝光、讀出定時的時序圖。如圖7的(1)所示，照明控制部34a也可以使光源裝置4在圖6中設(shè)為無光幀的幀3、6中照射第2v光(vv光)。該情況下，關(guān)于第4幀的水平行n，連續(xù)的幀1～3各自的1行曝光期間內(nèi)的v、g、vv光的照明期間lv1、lg2、lvv3以及幀1～3中的針對水平行n的v光的曝光期間v1、v3、g光的曝光期間g1、g2、vv光的曝光期間vv2、vv3成為(3)式的矩陣ak的參數(shù)。顏色成分運算部31a在(3)式中輸入幀圖像信號f1～f3(參照圖7的(2))的水平行n的輸出值并求解，由此，除了第4幀的水平行n中的v圖像信號f4vvn(v)(圖7的(3))、g圖像信號f4vvn(g)(圖7的(4))以外，還能夠生成與照明期間lvv3內(nèi)利用vv光進行曝光時的圖像信號對應的vv圖像信號f4vvn(vv)(圖7的(5))。顏色成分運算部31a從起始的水平行1到最終的水平行n依次進行如下的運算處理：使用與各水平行對應的參數(shù)作為矩陣ak的參數(shù)，求解輸入了作為運算對象的水平行n的圖像信號f3n、f2n、f1n的輸出值而得到的(3)式，由此，能夠以幀單位取得第4幀的v圖像信號f4vv(v)、g圖像信號f4vv(g)、vv圖像信號f4vv(vv)。v光無法充分確保感光度，所以，該情況下，進行2次v光照明，使用2張v光圖像信號，由此取得v光圖像信號與g光圖像信號的感光度的平衡。另外，在3幀中，除了照射2次v光以外，當然也可以照射2次g光。

(實施方式1的變形例2)

并且，實施方式1還能夠應用于攝像元件25是采用全局快門方式的ccd攝像元件的情況。圖8是示出攝像元件25是ccd攝像元件時的曝光、讀出定時的時序圖。

如圖8的(1)所示，照明控制部34a使光源裝置4按照g光、b光、r光的順序依次照射照明光。關(guān)于全部水平行，均在各b光照射期間lb2內(nèi)的時間t1從攝像元件25讀出幀1的圖像信號f1。同樣，在r光照射期間lr3、g光照射期間lg4的期間內(nèi)的時間t2、t3從攝像元件25讀出幀2、3的圖像信號f2、f3。顏色成分運算部31a在生成第4幀的r圖像信號f4c(r)、g圖像信號f4c(g)、b圖像信號f4c(b)的情況下，按照每個水平行，從起始的水平行1到最終的水平行n分別依次進行輸入連續(xù)3幀圖像信號f1～f3(參照圖8的(2))中的作為運算對象的水平行的輸出值來求解(3)式的運算處理。該情況下，與實施方式1同樣，在水平行n中，連續(xù)的幀1～3各自的1行曝光期間內(nèi)的r、b光的照明期間lr3、lb2以及幀1～3中的針對水平行n的r光的曝光期間r2、r3、g光的曝光期間g1、g3、b光的曝光期間b1、b2成為(3)式的矩陣ak的參數(shù)。

(實施方式2)

接著，對實施方式2進行說明。在實施方式2中，對在一個1行曝光期間內(nèi)照射3個顏色中的2個顏色的照明光的情況進行說明。

圖9是示意地示出實施方式2的內(nèi)窺鏡系統(tǒng)的結(jié)構(gòu)的框圖。如圖9所示，實施方式2的內(nèi)窺鏡系統(tǒng)201代替圖2所示的處理裝置3而具有處理裝置203。處理裝置203具備具有照明控制部234a的控制部234。照明控制部234a使光源裝置4在一個1行曝光期間內(nèi)照射r、g、b這3個顏色中的2個顏色的照明光。照明控制部234a使光源裝置4進行照明處理，以在連續(xù)3個1行曝光期間內(nèi)照射相同次數(shù)的任意顏色的照明光。照明控制部234a使光源裝置4在相同的1行曝光期間內(nèi)照射的2個顏色的照明光的照明期間的至少一部分重合的狀態(tài)下進行照明。

并且，存儲部36存儲照明期間表236a(照明期間信息)。照明期間表236a是表示多個由顏色成分運算部31a使用的規(guī)定關(guān)系式的解唯一確定的各顏色的照明光的照明期間的組合的表。照明控制部234a使光源裝置4在照明期間表236a所表示的各顏色的照明光的照明期間的組合中的、與調(diào)光部33求出的各顏色的照明光的照明期間最接近的組合的照明期間內(nèi)，照射各顏色的照明光。

圖10是示出在處理裝置203中生成1幀的rgb圖像信號為止的處理的處理順序的流程圖。照明控制部234a進行取得前幀的照明期間的前幀照明期間取得處理(步驟s11)。在步驟s11中，照明控制部234a取得過去1幀的2個光的各照明期間。步驟s12是圖3所示的步驟s1。照明控制部234a進行參照存儲部36的照明期間表236a的照明期間表參照處理(步驟s13)。照明控制部234a進行如下的照明期間設(shè)定處理：考慮步驟s11中取得的前幀的照明期間，設(shè)定在照明期間表236a所表示的各顏色的照明光的照明期間的組合中的、與調(diào)光部33求出的各顏色的照明光的照明期間最接近的組合的照明期間內(nèi)下一次照射的各顏色的照明期間(步驟s14)。照明控制部234a進行使光源裝置4在所設(shè)定的照明期間內(nèi)照射各照明光的照明控制處理(步驟s15)。步驟s16～步驟s18是圖3所示的步驟s3～步驟s5。

接著，參照圖11對圖10所示的一部分處理進行說明。圖11是示出圖9所示的攝像元件25中的曝光、讀出定時的時序圖。在圖11中，還與攝像元件25的曝光、讀出定時(圖11的(1))對應地示出從攝像元件25讀出的圖像信號(圖11的(2))、根據(jù)該圖像信號生成的r、g、b圖像信號(圖11的(3)～(5))。另外，在圖11的(3)～(5)中，為了容易說明生成各顏色成分的圖像信號所使用的圖像信號，在從實際定時移動的狀態(tài)下示出各顏色成分的圖像信號的生成定時。

照明控制部234a在步驟s13中設(shè)定的照明期間內(nèi)，使光源裝置4執(zhí)行在一個1行曝光期間內(nèi)照射r、g、b這3個顏色中的2個顏色的照明光的照明期間設(shè)定處理(步驟s14)，以使得在連續(xù)的3個1行曝光期間內(nèi)任何顏色的照明光都被照射相同次數(shù)。進而，照明控制部234a使光源裝置4在相同的1行曝光期間內(nèi)照射的2個顏色的照明光的照明期間的至少一部分重合的狀態(tài)下進行照明。然后，與實施方式1同樣，照明控制部234a使光源裝置4在各幀的1行曝光期間的結(jié)束時間t1、t2、t3、t4、t5熄滅任意的光。

具體而言，在幀1的1行曝光期間內(nèi)，在照明期間lb1內(nèi)照射第1光的b光，并且在照明期間lr1內(nèi)照射第2光的r光，在幀2的1行曝光期間內(nèi)，在照明期間lg2內(nèi)照射第1光的g光，并且在照明期間lb2內(nèi)照射第2光的b光，在幀3的1行曝光期間內(nèi)，在照明期間lr3內(nèi)照射第1光的r光，并且在照明期間lg3內(nèi)照射第2光的g光。關(guān)于以后的幀，也在連續(xù)的3幀內(nèi)任何顏色的照明光都被照射相同次數(shù)，并且，在相同的1行曝光期間內(nèi)照射的2個顏色的照明光的照明期間的至少一部分重合的狀態(tài)下進行照明。

關(guān)于步驟s16中的圖像信號讀出處理中讀出的幀的圖像信號f1～f5的各輸出值，照明光的顏色和數(shù)量、照明次數(shù)以及照明期間根據(jù)水平行而不同，成為與多個顏色的光的曝光對應的值。在實施方式2中，三元一次聯(lián)立方程式成立((1)式)，該三元一次聯(lián)立方程式表示連續(xù)的幀(k-3)～(k-1)中的水平行n的輸出圖像信號f(k-3)n、f(k-2)n、f(k-1)n的值；基于連續(xù)的幀(k-3)～(k-1)的各1行曝光期間內(nèi)的第1光、第2光的各照明期間和幀(k-3)～(k-1)中的針對水平行n的第1光和第2光的各曝光期間的矩陣ak與幀k的水平行n的r圖像信號fkn(r)、g圖像信號fkn(g)、b圖像信號fkn(b)之間的關(guān)系。顏色成分運算部31a按照每個水平行n求出與實施方式2對應的矩陣ak的逆矩陣ak^-1，來求解(2)式，求出幀k的水平行n的r圖像信號fkn(r)、g圖像信號fkn(g)、b圖像信號fkn(b)。

在實施方式2中，連續(xù)的幀(k-3)～(k-1)的各1行曝光期間內(nèi)的第1光、第2光的照明期間以及幀(k-3)～(k-1)中的針對水平行n的第1光和第2光的各曝光期間成為矩陣ak的參數(shù)。例如，關(guān)于第4幀的水平行n的r圖像信號f4n(r)、g圖像信號f4n(g)、b圖像信號f4n(b)，在以下的(6)式中輸入幀1～3中的水平行n的圖像信號f1n、f2n、f3n的輸出值來求解。

【數(shù)學式6】

在(6)式中，連續(xù)的幀1、2、3的第1光的b、g、r光的各照明期間lb1、lg2、lr3、第2光的r、b、g光的各照明期間lr1、lb2、lg3、幀1～3中的針對水平行n的第1光的b光的曝光期間b1、b3、第1光的g光的曝光期間g1、g2、第1光的r光的曝光期間r2、r3、第2光的r光的曝光期間r1、r3、第2光的b光的曝光期間b1、b2、和第2光的g光的曝光期間g2、g3成為第4幀的運算式中的矩陣a4的參數(shù)。下面，將(6)式中的由矩陣a4的第1行的分子成分構(gòu)成的行向量(r3+r3、g3、b3)稱為sa，將由第2行的分子成分構(gòu)成的行向量(r2、g2+g2、b2)稱為sb，將由第3行的分子成分構(gòu)成的行向量(r1、g1、b1+b1)稱為sc。

顏色成分運算部31a進行如下的運算處理：應用與水平行n對應的各第1顏色和第2顏色的照明期間和曝光時間作為矩陣a4的參數(shù)，求解輸入了圖像信號f3n、f2n、f1n的水平行n的輸出值而得到的(6)式。其結(jié)果是，顏色成分運算部31a能夠生成與第4幀的水平行n對應的與期間(r1+lr3+r3)內(nèi)利用r光進行曝光時的圖像信號對應的r圖像信號f4n(r)、與期間(lg2+lg3)內(nèi)利用g光進行曝光時的圖像信號對應的g圖像信號f4n(g)、與期間(b1+lb2+b3)內(nèi)利用b光進行曝光時的圖像信號對應的b圖像信號f4n(b)。顏色成分運算部31a從起始的水平行1到最終的水平行n分別依次進行如下的運算處理：使用與各水平行n對應的參數(shù)作為矩陣ak的參數(shù)，求解輸入了作為運算對象的水平行n的圖像信號f3n、f2n、f1n的輸出值而得到的(6)式。其結(jié)果是，顏色成分運算部31a能夠以幀單位取得第4幀的r圖像信號f4(r)、g圖像信號f4(g)、b圖像信號f4(b)。第5幀也同樣，在(6)式的矩陣ak中應用分別對應的參數(shù)，按照每個水平行n運算矩陣ak的逆矩陣ak^-1，按照每個水平行n生成各顏色成分的圖像信號(r圖像信號f5n(r)、g圖像信號f5n(g)、b圖像信號f5(b))，以幀單位取得第5幀的r圖像信號f5(r)、g圖像信號f5(g)、b圖像信號f5(b)。第6幀也同樣。

接著，對(6)式中的矩陣a4的階數(shù)進行說明。(6)式的矩陣a4能夠如以下的(7)式那樣分解。

【數(shù)學式7】

如(7)式那樣，矩陣a4能夠分解成將第1光的各曝光時間r2、r3、g1、g2、b1、b3作為參數(shù)的矩陣a4-1、將第2光的各曝光時間r1、r3、g2、g3、b1、b2作為參數(shù)的矩陣a4-2、將第1光的照射期間與第2光的照射期間之和的倒數(shù)作為參數(shù)的矩陣a4-3。其中，矩陣a4-3是對角矩陣，所以秩是3，存在逆矩陣。因此，為了唯一確定(6)式的解，使矩陣a4-1和矩陣a4-2相加后的矩陣的秩為3即可。下面，將(7)式中的由矩陣a4-1的第1行的成分構(gòu)成的行向量(r3、0、b3)稱為saa，將由第2行的成分構(gòu)成的行向量(r2、g2、0)稱為sba，將由第3行的成分構(gòu)成的行向量(0、g1、b1)稱為sca。將(7)式中的由矩陣a4-2的第1行的成分構(gòu)成的行向量(r3、g3、0)稱為sab，將由第2行的成分構(gòu)成的行向量(0、g2、b2)稱為sbb，將由第3行的成分構(gòu)成的行向量(r1、0、b1)稱為scb。

圖12是說明本實施方式2中求出的圖像信號的解的唯一性的圖，是示出在r、g、b空間內(nèi)觀察矩陣a4-1的行向量saa、sba、sca和矩陣a4-2的行向量sab、sbb、scb的情況的圖。在圖12中，示出任意顏色的照明期間全部是相同期間、不進行調(diào)光的情況。該情況下，行向量saa和行向量scb在r-b平面上描繪相同的軌跡psaa、pscb。并且，行向量sba和行向量sab在r-g平面上描繪相同的軌跡psba、psab，行向量sca和行向量sbb在g-b平面上描繪相同的軌跡psca、psbb。因此，最終，(6)式中的行向量sa沿著將點p1作為起點、將點p2作為終點的軌跡psa，行向量sb沿著將點p3作為起點、將點p1作為終點的軌跡psb，行向量sc沿著將點p2作為起點、將點p3作為終點的軌跡psc。因此，行向量sa～sc始終是線性獨立的，矩陣a4的秩為3，所以，存在(6)式中的矩陣a4的逆矩陣a4^-1，(6)式的解唯一確定。

圖13是說明本實施方式2中求出的圖像信號的解的唯一性的圖，是示出在r、g、b空間內(nèi)觀察矩陣a4-1的行向量saa、sba、sca和矩陣a4-2的行向量sab、sbb、scb的情況的另一例的圖。在圖13中，示出各顏色的照明期間中的、幀3的第2光即g光的照明期間lg3以外的各顏色的照明期間全部是相同期間、調(diào)光成僅照明期間lg3比其他照明期間長的情況。

該情況下，行向量sba和行向量sab在r-b平面上描繪不同的軌跡psba、psab，但是終點一致。并且，行向量sca和行向量sbb在g-b平面上描繪不同的軌跡psca、psbb，但是起點一致。因此，最終，與圖12的情況相比，(6)式中的行向量sa的軌跡psa中的起點和行向量sb的軌跡psb中的終點僅成為與照明期間lg3對應的點p4，行向量sa～sc始終是線性獨立的，矩陣a4的秩為3，所以，在進行了調(diào)光的情況下，也存在(6)式中的矩陣a4的逆矩陣a4^-1，(6)式的解唯一確定。因此，與有無針對r、g、b的調(diào)光無關(guān)，(6)式的解必定唯一確定，所以，能夠在運算中求出各r圖像信號f4n(r)、g圖像信號f4n(g)、b圖像信號f4n(b)的值。另外，在實施方式2中，通過以顏色成分運算部31a使用的關(guān)系式((6)式)的解唯一確定的各顏色照明光的照明期間的組合中、與調(diào)光條件的照明期間最接近的組合照射各光，實現(xiàn)了顏色成分運算部31a的運算的簡化。

在上述顏色成分運算處理(步驟s17)中，在1幀中運算全部r、g、b圖像信號。在圖像信號處理(步驟s18)中，同時化部31e在同時化處理中采用該r、g、b圖像信號中的、在接近運算中使用的連續(xù)3幀中的最后幀的讀出期間的2個期間內(nèi)曝光的顏色的圖像信號，以成為低余像。例如，在第4幀中，采用與接近幀3中的讀出期間t3～t4的曝光期間lg3和曝光期間lg2這2個期間對應的g圖像信號f4(g)，在第5幀中，采用與最接近幀4中的讀出期間t4～t5的曝光期間lr4和曝光期間lr3這2個期間對應的r圖像信號f5(r)，在第6幀中，采用與最接近幀5中的讀出期間t5～t6的曝光期間lb5和曝光期間lb4對應的b圖像信號f6(b)，使用所采用的r圖像信號f4(r)、g圖像信號f5(g)、b圖像信號f6(b)進行同時化，生成rgb圖像信號。

如該實施方式2那樣在1幀中進行2個顏色發(fā)光的情況下，也在使用了多個連續(xù)幀的圖像信號的輸出值的運算處理中，提取取得對象的幀的各顏色成分的圖像信號，所以，發(fā)揮與實施方式1相同的效果。進而，在實施方式2中，與實施方式1相比，各顏色的照明頻度增多，所以，能夠減少被攝體運動時的余像。

另外，與實施方式1同樣，實施方式2也能夠應用于攝像元件25是采用全局快門方式的ccd攝像元件的情況。圖14是示出攝像元件25是ccd攝像元件時的曝光、讀出定時的時序圖。照明控制部234a使光源裝置4在圖14的(1)所示的條件下照射g光、b光、r光，例如在生成第4幀的r圖像信號f4c(r)、g圖像信號f4c(g)、b圖像信號f4c(b)的情況下，按照每個水平行，在(6)式中輸入連續(xù)的3幀圖像信號f1～f3(參照圖14的(2))的輸出值來進行運算。該情況下，與cmos攝像元件的情況同樣，關(guān)于水平行n，也是連續(xù)的幀1～3的第1光的b、g、r光的各照明期間lb1、lg2、lr3、第2光的r、b、g光的各照明期間lr1、lb2、lg3、幀1～3中的針對水平行n的第1光的b光的曝光期間b1、b3、第1光的g光的曝光期間g1、g2、第1光的r光的曝光期間r2、r3、第2光的r光的曝光期間r1、r3、第2光的b光的曝光期間b1、b2和第2光的g光的曝光期間g2、g3成為(6)式的矩陣a4的參數(shù)。

并且，與實施方式1同樣，本實施方式2也能夠應用于nbi觀察方式。該情況下，照明控制部234a使用v光、g光、無光的組合；v光、g光、vv光的組合；或v光、g光、gg光(第2次的g光)的組合中的任意一個模式，與r、g、b光照射的條件同樣，以在連續(xù)的3個幀期間內(nèi)任何顏色的照明光都照射相同次數(shù)的方式，執(zhí)行在一個1行曝光期間內(nèi)照射3個顏色中的2個顏色的照明光的照明處理即可。并且，在實施方式2中，以在相同的1行曝光期間內(nèi)照射的2個顏色的照明光的照明期間的至少一部分重合的狀態(tài)下進行照明的情況為例進行了說明，但是，只要滿足矩陣ak的秩為3的條件即可，在相同的1行曝光期間內(nèi)照射的2個顏色的照明光的照明期間也可以不重合。

(實施方式3)

接著，對實施方式3進行說明。在實施方式2中，對在一個1行曝光期間內(nèi)照射全部3個顏色的照明光的情況進行說明。

圖15是示意地示出實施方式3的內(nèi)窺鏡系統(tǒng)的結(jié)構(gòu)的框圖。如圖15所示，實施方式3的內(nèi)窺鏡系統(tǒng)301代替圖9所示的處理裝置203而具有處理裝置303。處理裝置303具備具有照明控制部334a的控制部334。照明控制部334a使光源裝置4在一個1行曝光期間內(nèi)、在分別不同的照明期間內(nèi)照射r、g、b這全部3個顏色的照明光。照明控制部334a以在相同的1行曝光期間內(nèi)包含被照射的3個顏色的照明光均重合照射的期間的方式，使光源裝置4照射3個顏色的照明光。

并且，與實施方式2同樣，存儲部36存儲照明期間表336a(照明期間信息)，該照明期間表336a表示多個由顏色成分運算部31a使用的規(guī)定關(guān)系式的解唯一確定的各顏色的照明光的照明期間的組合。照明控制部334a使光源裝置4在照明期間表336a所表示的各顏色的照明光的照明期間的組合中的、與調(diào)光部33求出的各顏色的照明光的照明期間最接近的組合的照明期間內(nèi)照射各顏色的照明光。

圖16是示出在處理裝置303中生成1幀的rgb圖像信號為止的處理的處理順序的流程圖。照明控制部334a進行取得前幀的照明期間的前幀照明期間取得處理(步驟s21)。在步驟s21中，照明控制部334a取得過去1幀的3個光的各照明期間和過去2幀的3個光的各照明期間。步驟s22是圖3所示的步驟s1。照明控制部334a進行參照存儲部36的照明期間表336a的照明期間表參照處理(步驟s23)。照明控制部334a進行如下的照明期間設(shè)定處理：考慮步驟s21中取得的前幀的照明期間，設(shè)定在照明期間表336a所表示的各顏色的照明光的照明期間的組合中的、與調(diào)光部33求出的各顏色的照明光的照明期間最接近的組合的照明期間內(nèi)下一次照射的各顏色的照明期間(步驟s24)。照明控制部334a進行使光源裝置4在所設(shè)定的照明期間內(nèi)照射各照明光的照明控制處理(步驟s25)。步驟s26～步驟s28是圖3所示的步驟s3～步驟s5。

接著，參照圖17對圖16所示的一部分處理進行說明。圖17是示出圖15所示的攝像元件25中的曝光、讀出定時的時序圖。在圖17中，還與攝像元件25的曝光、讀出定時(圖17的(1))對應地示出從攝像元件25讀出的圖像信號(圖17的(2))、根據(jù)該圖像信號生成的r、g、b圖像信號(圖17的(3)～(5))。另外，在圖17的(3)～(5)中，為了容易說明生成各顏色成分的圖像信號所使用的圖像信號，在從實際定時移動的狀態(tài)下示出各顏色成分的圖像信號的生成定時。

照明控制部334a在步驟s23中設(shè)定的照明期間內(nèi)，使光源裝置4以相同的1行曝光期間內(nèi)的3個顏色的照明光分別在不同的期間內(nèi)照射的方式，執(zhí)行在一個1行曝光期間內(nèi)照射r、g、b這全部3個顏色的照明光的照明處理(步驟s24)。進而，照明控制部334a以在相同的1行曝光期間內(nèi)包含被照射的3個顏色的照明光均重合照射的期間的方式，使光源裝置4照射3個顏色的照明光。然后，與實施方式1同樣，照明控制部334a使光源裝置4在各幀的1行曝光期間的結(jié)束時間t1、t2、t3、t4、t5熄滅所有的光。

具體而言，在幀1的1行曝光期間內(nèi)，在照明期間lg1內(nèi)照射第1光的g光，在照明期間lb1(<lg1)內(nèi)照射第2光的b光，在照明期間lr1(<lb1)內(nèi)照射第3光的r光。在幀2的1行曝光期間內(nèi)，在照明期間lb2內(nèi)照射第1光的b光，在照明期間lr2(<lb2)內(nèi)照射第2光的r光，在照明期間lg2(<lr2)內(nèi)照射第3光的g光。在幀3的1行曝光期間內(nèi)，在照明期間lr3內(nèi)照射第1光的r光，在照明期間lg3(<lr3)內(nèi)照射第2光的g光，在照明期間lb3(<lg3)內(nèi)照射第3光的b光。關(guān)于以后的幀，也是相同的1行曝光期間內(nèi)的3個顏色的照明光分別在不同的期間內(nèi)照射，并且，以在相同的1行曝光期間內(nèi)包含被照射的3個顏色的照明光均重合照射的期間的方式，照射3個顏色的照明光。

關(guān)于步驟s26中的圖像信號讀出處理中讀出的幀的圖像信號f1～f5的各輸出值，照明光的顏色和數(shù)量、照明次數(shù)以及照明期間根據(jù)水平行而不同，成為與多個顏色的光的曝光對應的值。在實施方式3中，三元一次聯(lián)立方程式((1)式)成立，該三元一次聯(lián)立方程式表示連續(xù)的幀(k-3)～(k-1)中的水平行n的輸出圖像信號f(k-3)n、f(k-2)n、f(k-1)n的值；基于連續(xù)的幀(k-3)～(k-1)的各1行曝光期間內(nèi)的第1光、第2光和第3光的各照明期間、以及幀(k-3)～(k-1)中的針對水平行n的第1光、第2光和第3光的各曝光期間的矩陣ak；幀k的水平行n的r圖像信號fkn(r)、g圖像信號fkn(g)、b圖像信號fkn(b)之間的關(guān)系。顏色成分運算部31a按照每個水平行求出與實施方式3對應的矩陣ak的逆矩陣ak^-1，來求解(2)式，求出幀k的水平行n的r圖像信號fkn(r)、g圖像信號fkn(g)、b圖像信號fkn(b)。

在實施方式3中，連續(xù)的幀(k-3)～(k-1)的各1行曝光期間內(nèi)的第1光、第2光和第3光的照明期間以及幀(k-3)～(k-1)中的針對水平行n的第1光、第2光和第3光的各曝光期間成為矩陣ak的參數(shù)。例如，關(guān)于第4幀的水平行n的r圖像信號f4n(r)、g圖像信號f4n(g)、b圖像信號f4n(b)，在以下的(8)式中輸入幀1～3的圖像信號f1n、f2n、f3n中的水平行n的輸出值來求解。

【數(shù)學式8】

在(8)式中，連續(xù)的幀1、2、3的第1光的g、b、r光的各照明期間lg1、lb2、lr3、第2光的b、r、g光的各照明期間lb1、lr2、lg3、第3光的r、g、b光的各照明期間lr1、lg2、lb3、幀1～3中的針對水平行n的第1光的g光的曝光期間g1、g3、第1光的b光的曝光期間b1、b2、第1光的r光的曝光期間r2、r3、第2光的b光的曝光期間b1、b3、第2光的r光的曝光期間r1、r2、第2光的g光的曝光期間g2、g3、第3光的r光的曝光期間r1′、r3′、第3光的g光的曝光期間g1′、g2′、第3光的b光的曝光期間b2′、b3′成為第4幀的運算式中的矩陣a4的參數(shù)。下面，將(8)式中的由矩陣a4的第1行的分子成分構(gòu)成的行向量(r3+r3′、g2+g3、b3+b3′)稱為qa，將由第2行的分子成分構(gòu)成的行向量(r2+r2、g2+g2′、b2+b2′)稱為qb，將由第3行的分子成分構(gòu)成的行向量(r1+r1′、g1+g1′、b1+b1)稱為qc。

顏色成分運算部31a進行如下的運算處理：應用與水平行n對應的各第1顏色、第2顏色和第3顏色的照明期間和曝光時間作為矩陣a4的參數(shù)，求解輸入了圖像信號f3n、f2n、f1n的水平行n的輸出值而得到的(8)式。其結(jié)果是，能夠生成與第4幀的水平行n對應的與期間(r1′+lr2+lr3+r3′)內(nèi)利用r光進行曝光時的圖像信號對應的r圖像信號f4n(r)、與期間(g1+lg2+lg3+g3)內(nèi)利用g光進行曝光時的圖像信號對應的g圖像信號f4n(g)、與期間(b1+lb2+lb3+b3)內(nèi)利用b光進行曝光時的圖像信號對應的b圖像信號f4n(b)。顏色成分運算部31a從起始的水平行1到最終的水平行n分別依次進行如下的運算處理：使用與各水平行對應的參數(shù)作為矩陣ak的參數(shù)，求解輸入了作為運算對象的水平行的圖像信號f3n、f2n、f1n的輸出值而得到的(8)式。其結(jié)果是，顏色成分運算部31a能夠以幀單位取得第4幀的r圖像信號f4(r)、g圖像信號f4(g)、b圖像信號f4(b)。在5幀以后，也在(8)式的矩陣ak中應用分別對應的參數(shù)，按照各水平行n運算矩陣ak的逆矩陣ak^-1，按照每個水平行n取得各顏色成分的圖像信號。

接著，對(8)式中的矩陣a4的階數(shù)進行說明。(8)式的矩陣a4能夠如以下的(9)式那樣分解。

【數(shù)學式9】

如(9)式那樣，矩陣a4能夠分解成將第1光的各曝光時間r2、r3、g1、g3、b1、b2作為參數(shù)的矩陣a4-11、將第2光的各曝光時間r1、r2、g2、g3、b1、b3作為參數(shù)的矩陣a4-12、將第3光的各曝光時間r1′、r3′、g1′、g2′、b2′、b3′作為參數(shù)的矩陣a4-13、將第1光的照射期間、第2光的照射期間和第3光的照射期間之和的倒數(shù)作為參數(shù)的矩陣a4-14。其中，矩陣a4-14是對角矩陣，所以秩是3，存在逆矩陣。因此，為了唯一確定(8)式的解，使矩陣a4-11～矩陣a4-13相加后的矩陣的秩為3即可。下面，將(9)式中的由矩陣a4-11的第1行的成分構(gòu)成的行向量(r3、g3、0)稱為qaa，將由第2行的成分構(gòu)成的行向量(r2、0、b2)稱為qba，將由第3行的成分構(gòu)成的行向量(0、g1、b1)稱為qca。將(9)式中的由矩陣a4-12的第1行的成分構(gòu)成的行向量(0、g3、b3)稱為qab，將由第2行的成分構(gòu)成的行向量(r2、g2、0)稱為qbb，將由第3行的成分構(gòu)成的行向量(r1、0、b1)稱為qcb。將(9)式中的由矩陣a4-13的第1行的成分構(gòu)成的行向量(r3′、0、b3′)稱為qac，將由第2行的成分構(gòu)成的行向量(0、g2′、b2′)稱為qbc，將由第3行的成分構(gòu)成的行向量(r1′、g1′、0)稱為qcc。

圖18是說明本實施方式3中求出的圖像信號的解的唯一性的圖，是示出在r、g、b空間內(nèi)觀察矩陣a4-11的行向量qaa、qba、qca、矩陣a4-12的行向量qab、qbb、qcb、矩陣a4-13的行向量qac、qbc、qcc的情況的圖。圖18示出第1光的r、g、b的照明期間是相同期間、第2光的r、g、b的各照明期間是相同期間、第3光的r、g、b的照明期間是相同期間、第1光是第3光的照明期間的3倍的期間、第2光是第3光的照明期間的2倍的期間的情況。

與第1光的曝光期間對應的行向量qaa、qba、qca在r-g平面、b-r平面、g-b平面的各平面上描繪將r軸上、g軸上、b軸上的與第1光的照明時間寬度對應的3點作為起點或終點的軌跡pqaa、pqba、pqca。與第2光的曝光期間對應的行向量qab、qbb、qcb在r-g平面、b-r平面、g-b平面的各平面上描繪將r軸上、g軸上、b軸上的與第2光的照明時間寬度對應的3點作為起點或終點的軌跡pqab、pqbb、pqcb。與第3光的曝光期間對應的行向量qac、qbc、qcc在r-g平面、b-r平面、g-b平面的各平面上描繪將r軸上、g軸上、b軸上的與第3光的照明時間寬度對應的3點作為起點或終點的軌跡pqac、pqbc、pqcc。

其結(jié)果是，行向量qaa、qab、qac的合成向量即矩陣a4的行向量qa描繪軌跡pqa，行向量qba、qbb、qbc的合成向量即矩陣a4的行向量qb描繪軌跡pqb，行向量qac、qbc、qcc的合成向量即矩陣a4的行向量qc描繪軌跡pqc，成為由與行向量qa～qc對應的軌跡形成的三角形具有面積的狀態(tài)。該情況下，關(guān)于任意的行向量qa～qc，對應的軌跡都不會重合。行向量qa～qc保持獨立性，矩陣a4的秩為3，所以，(8)式中的矩陣a4存在逆矩陣a4^-1，(8)式的解唯一確定。

圖19是說明本實施方式3中求出的圖像信號的解的唯一性的圖，是示出在r、g、b空間內(nèi)觀察矩陣a4-11的行向量qaa、qba、qca、矩陣a4-12的行向量qab、qbb、qcb、矩陣a4-13的行向量qac、qbc、qcc的情況的另一例的圖。示出各顏色的照明期間中的幀3的第1光的r光的照明期間lr3較長為其他幀1、2的第1光的照明期間的(4/3)倍、第2光的g光的照明期間lg3較長為其他幀1、2的第2光的照明期間的(4/3)倍、第3光的b光的照明期間lb3較長為其他幀1、2的第3光的照明期間的(4/3)倍的情況。

該情況下，與圖18相比，軌跡pqba的起點和軌跡pqca的終點成為與幀3的第1光的r光的照明期間lr3對應的點，該照明期間lr3較長為其他幀1、2的第1光的照明期間的(4/3)倍，軌跡pqab的起點和軌跡pqbb的終點成為與幀3的第2光的g光的照明期間lg3對應的點，該照明期間lg3較長為其他幀1、2的第2光的照明期間的(4/3)倍，軌跡pqac的起點和軌跡pqbc的終點成為與幀3的第3光的b光的照明期間lb3對應的點，該照明期間lb3較長為其他幀1、2的第2光的照明期間的(4/3)倍。該情況下，也成為由與行向量qa～qc對應的軌跡pqa、pqb、pqc形成的三角形具有面積的狀態(tài)，行向量qa～qc保持獨立性，矩陣a4的秩為3。因此，在實施方式3中，能夠?qū)⒌?光、第2光、第3光的照明期間變更為與其他幀的第1光、第2光、第3光的照明期間不同的期間。

但是，在同一幀中的第1光、第2光、第3光的照明期間均為相同期間的情況下，行向量qaa、qbb、qcc重合，行向量qac、qba、qcb重合，行向量qab、qbc、qca重合。該情況下，行向量qa～qc位于由行向量qaa、qbb、qcc、行向量qac、qba、qcb、行向量qab、qbc、qca的軌跡形成的三角形的重心，不會移動，所以，行向量qa～qc的線性獨立被破壞，秩不為3，(8)式的解不是唯一確定的。因此，由與行向量qa～qc對應的軌跡pqa、pqb、pqc形成的三角形具有面積成為維持矩陣a4的秩為3的條件，所以，照明控制部334a需要控制為相同的1行曝光期間內(nèi)的3個顏色的照明光分別在不同的期間內(nèi)照射。另外，當?shù)?光、第2光和第3光的照明期間的差較大時，由與行向量qa～qc對應的軌跡pqa、pqb、pqc形成的三角形的面積增大，容易維持行向量qa～qc的獨立性，所以，優(yōu)選照明控制部334a設(shè)定使相同的1行曝光期間內(nèi)的第1光、第2光和第3光的照明期間的差較大的條件。

如該實施方式3那樣在1幀中進行3個顏色發(fā)光的情況下，在使用了多個連續(xù)幀的圖像信號的輸出值的運算處理中，提取取得對象的幀的各顏色成分的圖像信號，所以，發(fā)揮與實施方式1相同的效果。進而，在實施方式3中，與實施方式2相比，各顏色的照明頻度更多，相應地，能夠減少被攝體運動時的余像。

另外，與實施方式1、2同樣，實施方式3也能夠應用于攝像元件25是采用全局快門方式的ccd攝像元件的情況。圖20是示出攝像元件25是ccd攝像元件時的曝光、讀出定時的時序圖。照明控制部334a使光源裝置4在圖20的(1)所示的條件下照射g光、b光、r光，例如在生成第4幀的r圖像信號f4c(r)、g圖像信號f4c(g)、b圖像信號f4c(b)的情況下，在(8)式中輸入與連續(xù)的3幀圖像信號f1～f3(參照圖20的(2))的作為運算對象的水平行相同的行的輸出值，按照每個水平行進行運算。該情況下，與cmos攝像元件的情況同樣，關(guān)于水平行n，連續(xù)的幀1～3的第1光的g、b、r光的各照明期間lg1、lb2、lr3、第2光的b、r、g光的各照明期間lb1、lr2、lg3、第3光的r、g、b光的各照明期間lr1、lg2、lb3、幀1～3中的針對水平行n的第1光的g光的曝光期間g1、g3、第1光的b光的曝光期間b1、b2、第1光的r光的曝光期間r2、r3、第2光的b光的曝光期間b1、b3、第2光的r光的曝光期間r1、r2、第2光的g光的曝光期間g2、g3、第3光的r光的曝光期間r1′、r3′、第3光的g光的曝光期間g1′、g2′、第3光的b光的曝光期間b2′、b3′成為(8)式的矩陣a4的參數(shù)。

并且，與實施方式1、2同樣，本實施方式3也能夠應用于nbi觀察方式。該情況下，照明控制部334a使用v光、g光、無光的組合；v光、g光、vv光的組合；或v光、g光、gg光的組合中的任意模式，與r、g、b光照射的條件同樣，以相同的1行曝光期間內(nèi)的3個顏色的照明光分別在不同的期間內(nèi)照射的方式，執(zhí)行在一個1行曝光期間內(nèi)照射全部3個顏色的照明光的照明處理即可。并且，在實施方式3中，作例子說明書了以在相同的1行曝光期間內(nèi)包含被照射的3個顏色的照明光均重合照射的期間的方式照射3個顏色的照明光的情況，但是，只要滿足(8)式的矩陣a4的秩為3的條件即可，在相同的1行曝光期間內(nèi)照射的3個顏色的照明光的照明期間也可以不重合。

并且，在本實施方式中，以與光源裝置分開的處理裝置3、203、303為例進行了說明，但是，當然也可以應用于與光源一體的光源一體型處理裝置。并且，在本實施方式中，照明光的組合不限于r、g、b光的組合；或窄帶化的v光和g光的組合。也可以是g光、激勵光、激勵光的組合；g光、第1r光、波段與第1r光不同的第2r光的組合。并且，如窄帶化的v光和g光的組合例中說明的那樣，在以3次為單位發(fā)出的照明光中的2次照明光中，只要波段不同，就能夠應用本實施方式。

并且，針對由本實施方式的處理裝置3、203、303和其他結(jié)構(gòu)部執(zhí)行的各處理的執(zhí)行程序，可以以可安裝形式或可執(zhí)行形式的文件記錄在cd-rom、軟盤、cd-r、dvd(digitalversatiledisk：數(shù)字通用盤)等計算機可讀取的記錄介質(zhì)中進行提供，也可以存儲在與因特網(wǎng)等網(wǎng)絡連接的計算機上并經(jīng)由網(wǎng)絡下載進行提供。并且，還可以經(jīng)由因特網(wǎng)等網(wǎng)絡進行提供或發(fā)布。

標號說明

1、201、301：內(nèi)窺鏡系統(tǒng)；2：內(nèi)窺鏡；3、203、303：處理裝置；4：光源裝置；5：顯示裝置；21：插入部；21a：前端部；21b：彎曲部；21c：撓性管部；21d：開口部；21e：照明透鏡；21f：照明窗；22：操作部；22a：彎曲旋鈕；22b：處置器械插入部；22c：開關(guān)部；23：通用軟線；23a、23b：連接器；23c：光導纜線；24：光學系統(tǒng)；25：攝像元件；26：受光部；27：讀出部；31：圖像處理部；31a：顏色成分運算部；31b：存儲器；31c：增益調(diào)整部；31d：wb調(diào)整部；31e：同時化部；32：顯示控制部；33：調(diào)光部；34、234、334：控制部；34a、234a、334a：照明控制部；35：輸入部；36：存儲部；41：光源控制部；42：照明部；43：光源驅(qū)動器；44：光源；236a、336a：照明期間表。