專利名稱：用于癌癥檢測和定位的快速多光譜成像方法和設(shè)備及應(yīng)用的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于多光譜成像的方法和設(shè)備。該方法和設(shè)備可以例如用于癌癥檢測和定位。一些實施例可以在適于基于圖像的量化確定組織生理和形態(tài)特性的可見/NIR光譜中進行快速多光譜成像。
背景技術(shù)：
對組織的生理和形態(tài)變化進行實時監(jiān)測和成像提供了非常有用的診斷和治療信息。例如，在內(nèi)窺鏡成像期間，這種信息對于檢測不同的病理如癌癥和缺血，特別是在早期階段，是非常重要的。在內(nèi)窺鏡檢測期間獲得的光譜圖像可被用于得到與組織生理和形態(tài)特性有關(guān)的信息。然而，測量幾何形狀的變化、絕對強度測量值的損失、光-組織相互作用的復(fù)雜性以及分析計算的成本使得真實的生理和形態(tài)特性的測量和量化在準(zhǔn)確性和處理時間方面變得很難。傳統(tǒng)的內(nèi)窺鏡使用白光反射圖像來查看表面形態(tài)，并且基于組織顏色和表面形態(tài)等外觀評估內(nèi)部器官。盡管物理外觀的變化(例如，顏色和形態(tài))是有用的，但是為了完成更可靠和更早的癌癥和其它疾病的檢測，很多研究小組已經(jīng)研究了組織自動熒光的使用以提高癌變檢測靈敏度。不幸的是，自動熒光成像以降低檢測特異性為代價提高檢測靈敏度。作為假陽性數(shù)目增加的結(jié)果，這可導(dǎo)致因活組織檢查次數(shù)的增加而增加醫(yī)療成本?；罱M織檢查頻率的增加還增加了病人的發(fā)病率。為了實現(xiàn)高診斷靈敏度和高特異性，有些人研究了點光譜模態(tài)，如反射、熒光和拉曼光譜，或者“點”顯微成像模態(tài)，如共聚焦顯微鏡、光學(xué)相干斷層掃描、多光子激發(fā)成像，作為與白光和突光成像相結(jié)合的附加技術(shù)。Zeng等人的美國專利6，898，458號公開了用于以白光反射模式和熒光模式二者同時成像和非接觸式點光譜測量的設(shè)備和方法。可以通過將特定設(shè)計的光譜附件放在內(nèi)窺鏡目鏡和攝像機之間來進行該非接觸式光譜測量和成像。圖像和光譜被同時顯示在操作者觀看的監(jiān)視器上。Fawzy等人的美國專利申請2009/0270702號公報描述了以下方法分析反射光譜以獲得與癌癥有關(guān)的變化的量化信息，如組織中的微血管血量分?jǐn)?shù)、組織血氧飽和度(生理參數(shù))以及組織散射微顆粒量分?jǐn)?shù)以及尺寸分布(形態(tài)參數(shù))。上述兩篇參考文獻描述了通過光纖內(nèi)窺鏡的目鏡進行光譜測量。該光譜測量涉及與光譜成像相對的點光譜測量。光的吸收特性和散射特性根據(jù)光的波長而不同。這些不同是由于血管等不同吸收材料在深度方向上的分布造成的。較長波長的照明光，如紅外光，提供來自組織的較深部分的信息，而較短波長的照明光給出來自表面附近的組織的信息。在組織表面附近發(fā)生的變化的檢測是早期癌癥檢測所必須的。幾個小組已經(jīng)報告了惡性和良性病變/正常組織之間光學(xué)吸收和散射特性的本質(zhì)差別，并且這些變化直接與癌變期間出現(xiàn)的組織生理和形態(tài)變化相關(guān)。參見 M. P. L. Bard, A. Amel ink, V. N. Hegtj W. J. Gravelandj H. J. C. M. Sterenborgj H.C. HoogstedenjJ. G. J. V. Aertsj"Measurement ofHypoxia-related parameters inbronchial mucosa by use of opticalspectroscopy"，Am. J. Respir.Crit.CareMed.，171，1178-1184，2005 ; G. Zoni os，L. T. Pere I man，V. Backmanj R. Manohar an，M.Fitzmauricej J. Van Dam 和 M. S. Feld，"Diffuse reflectance spectroscopy ofhumanadenomatous colon polyps in vivo〃，Appl. Opt. 38，6628-6636，1998;B. Beauvoit和 B. Chance，〃Time-resolved spectroscopy of mitochondria, cells and tissue undernormal and pathological conditions"，Mol CellBiochem.，184，445-455，1998;J.R.Mourantj T. M. Johnson 和 J.P.Freyer，"Characterizing mammalian cells andcell phantoms by polarizedbackscattering fiber-optic measurement"，Appl. Opt. 40，5114-5123，2001; J. R. Mourantj A. H. Hielscherj A. A. Eickj T. M. Johnson 和J.P.Freyerj"Evidence of intrinsic differences in the light scatteringproperties oftumorigenic and nontumorigenic cells' Cancer，84，366-374， 1998;H.ZengjC. MacAulayjB. Paclicj and D. I. McLeantj〃A computerizedauto-fluorescenceand diffuse reflectance spectroanalyser system for i nv i vo skinstudies"，Phys. Med. Biol. 38，231-240，1993; R. J. Nordstormj L. Burke, J. M. Niloff 和J.F. Myrtle, "Identification of cervical intraepithelialneoplasia(CIN)usingUV-excited fluorescence and diffuse-reflectancetissue spectroscopy' LasersSurg. Med. 29，118-127，2001; I. Georgakoudi，E. E. Sheets, M. G. Muller, V. Backmanj C.P. Crum, K. Badizadeganj R. R. Dasari 和 M. S. Feld，"Trimodal spectroscopy for thedetection andcharacterization of cervical precancers in vivo〃，Am J ObstetGynecol 186，374-381，2002;M.G.Muller, T. A. Valdez, I. Georgakoudi，V. BackmanjC.Fuentesj S. Kabani , N. Laver, Z. Wang, C. W. Boone, R. R. Dasari , S. M. Shapshay 和M. S. Feld, "Spectroscopic detection and evaluation ofmorphologic and biochemicalchanges in early human oral carcinoma"，Cancer 97, 1681-1692, 1997 ;M. P. L. Bard, A.Amel ink, M. Skurichinaj M. den Bakkerdj S. A. Burgers, J. P. van Meerbeeckj R.P. W. Duinj J. G. J. V. Aertsj H. C. Hoogsteden 和 H. J. C. M. Sterenborgj "Improvingthespecif icity of fluorescence bronchoscopy for the analysis ofneoplasticlesions of the bronchial tree by combination with opticalspectroscopy !preliminary communication'Lung Cancer 47，41-47，2005。所有這些小組的反射光譜測量都是使用插入到內(nèi)窺鏡儀器通道中的光纖探針進行的。另外，該光纖探針必須與組織表面接觸。這些類型的光纖探針測量幾何形狀與成像幾何形狀顯著不同(寬光束照明和窄點檢測)。不同的小組調(diào)查了用于研究組織病理學(xué)的多光譜或超光譜成像。例如，G. N. Stamatasj M. Southall 和 N.Kollias，〃In vivo monitoring ofcutaneousedema using spectral imaging in the visible and near infrared'J. Invest.Dermatol. 126, 1753-1760，2006和G N. Stamatas, N. Kollias, ^Noninvasive quantitativedocumentation of cutaneous inflammation invivo using spectral imaging", SPIEProceedings 6078，60780P, 2006描述了使用光譜成像以獲得包括氧血色素和脫氧血色素的各種皮膚載色體的活體2D映射。他們使用18個窄波段濾波器以獲得400-970nm范圍的圖像。然后使用相位修正算法以獲得不同波段的各個圖像以消除運動偽像。Farkas小組報告了先進的內(nèi)窺鏡超光譜成像系統(tǒng)的狀態(tài)。參見Farkas等的美國專利 5,796,512 號；D.L. Farkas 和 D. Becker, "Applications of spectralimaging:detection and analysis of humanmelanoma and its precursors' PigmentCell Res. ,14, 2-8, 2001;E. Lindsley, E. S. Wachman 和 D. L. Farkas, 〃The hyperspectralimagingendoscope: a new tool for in vivo cancer detection〃，SPIEProceedings, 5322, 75-82，2004 以及 A. Chung, S. Kar I an, E. Lindsley, S. W ach smann-Ho g i u和 D.L.Farkas, 〃In vivo cytometry:a spectrum ofpossibilities〃，Cytometry PartA, 69A, 142-146，2006。它們的系統(tǒng)在0. 25秒內(nèi)獲得在380_690nm范圍內(nèi)均勻間隔的32個波段的平行和垂直偏振的圖像。基于單色儀或AOTF (acousto-optic tunable filter,聲 光可調(diào)諧濾波器)的可調(diào)光源和單個高速CCD攝像機被用于圖像獲取。包括照明光纖和兩個成像光纖束的2. Omm尺寸的導(dǎo)管穿過儀器通道以進行超光譜成像。該小組使用了針對光纖探針點反射光譜分析開發(fā)出的算法來分析成像光譜數(shù)據(jù)，以得到散射尺寸參數(shù)圖像。在臨床測試中，該系統(tǒng)遇到由內(nèi)窺鏡或病人的移動導(dǎo)致的鏡面反射干擾和運動偽像的問題。在Fawzy的國際專利申請W02009/052607號公報中公開了另一種系統(tǒng)，其描述了直接從通過順序用兩個不同波段對組織照明而獲得的圖像來對組織脫氧血液指標(biāo)進行量化的方法。Ayame等人的美國專利7，729，751號和Gono等人的美國專利申請2009/0023991號公報公開了使用“電子光譜成像”技術(shù)(顏色修正技術(shù))來提高組織顏色色調(diào)變化的可視化的方法?！半娮庸庾V成像”基于使用先前測得的光譜的樣本評估來自RGB圖像或窄波段圖像的反射光譜?！半娮庸庾V成像”不提供真實組織反射特性和組織生理和形態(tài)的準(zhǔn)確表示。Panasyuk等人的美國專利申請2007/0024946號公報公開了用于在休克和復(fù)蘇期間實時或接近實時地評估組織氧飽和度、傳遞和分離的多光譜成像系統(tǒng)和方法。在該系統(tǒng)中，通過使用不同波長順序照明來獲得光譜圖像。人們?nèi)匀恍枰糜诳焖俣喙庾V成像的成本效益高的設(shè)備和方法。

發(fā)明內(nèi)容
本發(fā)明具有多個方面。這些方面中的一些可以獨立應(yīng)用，也可以與其它方面結(jié)合使用。在一個方面，提供一種多光譜成像系統(tǒng)，其具有并行的多波段照明和并行的多通道成像檢測，以實現(xiàn)視頻速率的快速多光譜成像，克服了運動偽像。通過應(yīng)用數(shù)據(jù)分析算法來自動修正鏡面反射。另一方面提供一種用于對物體多光譜成像的設(shè)備。該物體例如可以包括活體組織。該設(shè)備包括光源，該光源能被配置為發(fā)射具有由第一多個窄波段表征的第一光譜的光。該設(shè)備被設(shè)置為將來自該光源的光引導(dǎo)到該物體的區(qū)域上。該設(shè)備包括多通道成像光檢測器，該多通道成像光檢測器被設(shè)置為對該物體的所述區(qū)域成像并且被配置為提供多通道圖像數(shù)據(jù)。圖像處理設(shè)備被配置為從所述圖像數(shù)據(jù)中提取多個光譜圖像。所述多個光譜圖像包括與所述多個窄波段中的每一個窄波段相對應(yīng)的光譜圖像。另一方面提供一種用于多光譜成像的系統(tǒng)，該系統(tǒng)提供用于指示組織血液量、組織氧化、組織散射體積和組織散射尺寸參數(shù)中的兩個或更多個的同時的圖像。在一個方面，本發(fā)明提供一種用于對物體多光譜成像的設(shè)備，該設(shè)備包括用于照明該物體的光源，該光源適于以至少兩個窄波長波段同時照明，每個窄波段在可見/NIR范圍內(nèi)的用于產(chǎn)生光譜圖像的不同波長內(nèi)。多通道或多檢測器攝像機按照同時多波段照明工作，以同時在這多個波長波段拍攝多個圖像。在一個方面，本發(fā)明提供一種產(chǎn)生18+個波段的照明光的光源和用于在這些波段拍攝對應(yīng)的18+個光譜圖像的圖像檢測裝置。在一些實施例中，該光源被配置為產(chǎn)生12-52個窄波長波段。所獲得的光譜圖像被處理和分析以產(chǎn)生吸收和散射光譜圖像。強度校準(zhǔn)算法使用來自一個像素圖像的測得的反射光譜和體外光學(xué)吸收系數(shù)，從光源、組織(被成像的 客體)和該圖像檢測裝置之間的光耦合變化/誤差，修正該光譜圖像的強度。在另一個方面，本發(fā)明提供一種用于量化組織生理和形態(tài)信息的方法，該方法包括以下步驟用至少兩個窄波段的光同時照明物體；同時獲取與這些波長波段相對應(yīng)的多個圖像，每個窄波段在可見光/NIR范圍中用于產(chǎn)生光譜圖像的不同波長內(nèi)；產(chǎn)生多個光譜圖像；使用來自圖像的一個像素的測得的反射光譜和活體光學(xué)吸收系數(shù)修正該光譜圖像的強度；沿著全光譜范圍分開產(chǎn)生吸收光譜圖像和散射光譜圖像；以及根據(jù)獲得的吸收光譜圖像和散射光譜圖像量化至少一個生理參數(shù)和/或至少一個形態(tài)參數(shù)。在另一方面，本發(fā)明提供一種用于非侵入地快速多光譜成像的設(shè)備，其用于通過內(nèi)窺鏡系統(tǒng)檢測和定位癌癥。在另一方面，本發(fā)明提供一種用于非侵入地快速多光譜成像的系統(tǒng)，其用于通過光學(xué)探針檢測癌癥。在一個方面，本發(fā)明提供一種可編程的多功能系統(tǒng)，其可以進行白光反射成像、熒光成像和多光譜反射成像。一些實施例應(yīng)用具有三個成像通道的圖像檢測器。在一些實施例中這些成像檢測器是可商業(yè)獲得的彩色攝像機。在另一個實施例中，本發(fā)明提供一種具有四個成像通道的圖像檢測器。因此，光源被編程為同時產(chǎn)生4個窄波段的照明。每個窄波段分別在B、R、G和NIR波段內(nèi)，并且它們隨著時間同時轉(zhuǎn)換到不同的波長組。在一些實施例中，該光源包括可編程光源，如數(shù)字微鏡裝置。在一些實施例中，該光源包括基于濾波器輪的光源，該光源同時提供多個窄波段照明。在其它實施例中，聲光可調(diào)諧濾波器利用基于光纖激光器的超連續(xù)譜光源或者激光驅(qū)動的光源，以產(chǎn)生多個窄波段照明輪廓。在一些實施例中，由光譜圖像合成白光圖像。在本發(fā)明的另一方面，使用建模方法來確定用于快速多光譜成像的優(yōu)化波長波段。
在另一方面，本發(fā)明提供組織血液量分布、組織氧化、組織散射體積分布和散射尺寸參數(shù)空間分布的實時成像。在本發(fā)明的一個方面，由位于內(nèi)窺鏡頂端的圖像檢測器拍攝多光譜圖像。該圖像檢測器覆蓋有特定的濾波器圖案，以便于至少三個并且優(yōu)選四個通道成像(B、G、R、NIR)。在本發(fā)明的一個方面，由具有光譜重疊的三個(R、G、B)通道的彩色攝像機拍攝多光譜圖像。例如，該攝像機可以具有CCD、CMOS或APS光傳感器，該光傳感器包括濾波器元件的圖案，該濾波器元件使不同的重疊波段的光通過。例如，該濾波器元件可以排列成拜耳馬賽克圖案。在本發(fā)明的另一方面，使用校準(zhǔn)方法分解來自標(biāo)準(zhǔn)彩色攝像機(如商用攝像機)的圖像，以提供窄波段圖像。在一些實施例中，用于產(chǎn)生多個照明輪廓的光源包括多個固態(tài)發(fā)光器，如位于內(nèi) 窺鏡頂端的LED。在另一方面，本發(fā)明提供一種用于優(yōu)化用于光譜成像的波段的方法。根據(jù)一個方面，該優(yōu)化方法基于優(yōu)化的光傳輸模型。另一個方面提供用于快速多光譜成像的設(shè)備和方法，其中從多個同時的窄波段圖像產(chǎn)生光譜圖像。在一些實施例中，設(shè)備和方法以視頻速率實時地同時獲得多個光譜圖像。所述圖像可以指示生理特性，例如，組織血液量、組織氧化、組織散射體積和組織散射尺寸參數(shù)。在一些實施例中，該設(shè)備和方法另外獲得白光和/或熒光圖像。還提供多光譜成像方法。該方法包括將物體的區(qū)域曝光于具有包括多個窄波長波段的光譜的光；使用多通道成像檢測器獲取包括被曝光的物體的圖像的圖像數(shù)據(jù)；以及從所述圖像數(shù)據(jù)中提取多個光譜圖像，所述多個光譜圖像包括與所述多個窄波段中的每一個窄波段相對應(yīng)的光譜圖像。另一方面提供一種多光譜成像方法，該方法包括將物體的區(qū)域曝光于N個窄波長波段的光并且在該物體曝光于該光的同時獲得該物體的圖像。通過一系列步驟進行該曝光。每個步驟包括將該物體一次同時曝光于具有基本包括N個窄波長波段中的一組η個窄波長波段的光譜的光并且使用多通道成像檢測器獲得該物體的圖像。該方法包括處理來自該多通道成像檢測器的多通道圖像數(shù)據(jù)以獲得與該N個窄波長波段相對應(yīng)的光譜圖像。該處理可以包括將像素值的矢量乘以校準(zhǔn)矩陣。除了上述示例性的方面和實施例以外，通過參考附圖并研究以下詳細(xì)描述進一步的方面和實施例將變得明顯。


通過結(jié)合附圖參考以下描述可以很好地理解本發(fā)明的結(jié)構(gòu)和操作的組織和方式及其進一步的方面和優(yōu)點，其中相同的附圖標(biāo)記表示相同的要素，其中圖I是根據(jù)本發(fā)明一實施例的內(nèi)窺鏡系統(tǒng)的示意圖；圖2是用于在不同時間以多個窄波段的不同光譜輪廓產(chǎn)生同時照明的旋轉(zhuǎn)濾波器輪的示意圖；圖2a是示出用于使多個波長波段的光通過的定制濾波器的光譜特性的圖；圖3是位于內(nèi)窺鏡遠端的光源的示意圖4是示例性的可編程圖像獲取和處理電子裝置的框圖；圖5是示出CXD的三個(紅(R)、綠(G)和藍(B))通道的重疊光譜響應(yīng)的圖；圖6是示出由于三個波長的重疊光譜響應(yīng)而響應(yīng)于這三個波長的C⑶輸出讀數(shù)的圖；圖7是根據(jù)另一實施例的光源的示意圖，該實施例結(jié)合了為熒光成像提供照明的熒光光源和為白光反射和多光譜成像提供照明的可編程數(shù)字光源；圖8是52個數(shù)據(jù)點/波段光譜數(shù)據(jù)的ROC曲線(上面的三角符號曲線)和18個波段的數(shù)目減少的數(shù)據(jù)點的ROC曲線(下面的圓形符號曲線)的圖；圖9是示出根據(jù)一示例性實施例的優(yōu)化過程的流程圖；圖10是示出本發(fā)明的優(yōu)化過程的三個途徑的準(zhǔn)確度的圖；圖11是示出帶寬對本發(fā)明的優(yōu)化過程準(zhǔn)確度的影響的圖；圖12是示出根據(jù)一示例性實施例的映射算法的流程圖；圖13是示出根據(jù)一示例性實施例的強度校準(zhǔn)算法的流程圖，其可被用于針對測量幾何形狀變化修正光譜圖像；圖14是示出根據(jù)一示例性實施例的快速逆算法的流程圖，其可被用于對組織生理和形態(tài)特性進行量化；圖14a是示出根據(jù)本發(fā)明另一實施例的快速逆算法的流程圖；以及圖15是利用本發(fā)明的方法和設(shè)備的實施例可以獲得的最終圖像的視圖。
具體實施例方式附圖和下面的說明描述了特定的示例性實施例。本領(lǐng)域的技術(shù)人員將會理解，下面描述的特征能夠以各種其它方式結(jié)合以形成本發(fā)明的多個變體。多光譜成像系統(tǒng)提供并行的多波段照明和并行的多通道成像檢測以實現(xiàn)高速率的多光譜成像。該成像速率可以足夠高以避免運動偽像。在一些實施例中，以視頻速率進行成像(例如，每秒24幀或者更多)。可以通過下面描述的數(shù)據(jù)分析算法來自動修正鏡面反射。下面還描述用于修正記錄的圖像強度以補償測量幾何形狀變化的影響的方法和設(shè)備。這種方法和設(shè)備可以與多光譜成像系統(tǒng)結(jié)合使用或者在其它應(yīng)用中使用。例如可以在產(chǎn)生組織的物理、生理和形狀特性的視頻速率或接近視頻速率的量化圖像時使用該方法和設(shè)備。例如，可以在提供指示下列中的一個或多個圖像的系統(tǒng)中提供該方法和設(shè)備組織血液量、組織氧化、組織散射體積和組織散射尺寸分布。還可以提供白光和/或熒光圖像。一些實施例提供可編程多功能內(nèi)窺鏡系統(tǒng)，該系統(tǒng)可以進行白光反射成像(WLR)、熒光成像(FL)和多光譜反射成像。圖I是不出可編程多功能內(nèi)窺鏡系統(tǒng)11的功能要素的框圖。系統(tǒng)11包括用于產(chǎn)生包括多個窄光譜波段中的光的照明光的光源12和用于獲取和產(chǎn)生與所述光譜波段相對應(yīng)的光譜圖像的光學(xué)攝像機/檢測器7。光源12發(fā)射的光可以基本上包括所述多個光譜波段中的光。在一些實施例中，光源12發(fā)射的照明光中至少50%或者至少80%的光能在所述多個光譜波段中。在所示出的實施例中，光源12包括寬波段發(fā)光器I和用于產(chǎn)生多個窄光譜波段的照明光濾波器2。光濾波器2可以例如包括旋轉(zhuǎn)濾波器輪上的濾波器。發(fā)光器I可以包括例如氙燈，其提供波長范圍在400-800nm范圍內(nèi)的寬光譜照明光。在可選實施例中，光源12包括多個窄波段光源，每個發(fā)射所述多個光譜波段之一的光。例如，光源12可以包括多個發(fā)光半導(dǎo)體器件(例如,發(fā)光二極管LED)。在一些實施例中，光源12適于允許構(gòu)成照明光的光譜被改變。例如，在第一時間段期間，光源12可以發(fā)射第一組窄光譜波段的光，在第二時間段期間，光源12可以發(fā)射不同于第一組的第二組窄光譜波段的光。可以在多個時間段連續(xù)這樣。在一些實施例中，光源12被配置為在多個時間段重復(fù)循環(huán)，并且在每個時間段，發(fā)射多個光譜波段的照明光以使得照明光的光譜(例如，構(gòu)成該時間段的照明光的特定光譜波段)逐個改變。由光源I發(fā)射的照明光穿過濾波器2，濾波器2濾除所述多個窄光譜波段以外的 光，以留下集中在所述多個窄光譜波段內(nèi)的照明光。該照明光被透鏡3聚焦在照明光導(dǎo)4上以照射組織5 (被成像的物體)。被該組織反射的光被成像裝置捕獲，在本例子中，該成像裝置包括聚光透鏡(未示出)、成像光導(dǎo)6和檢測器7。檢測器7可以同時獲取所述多個窄光譜波段中每一個的圖像數(shù)據(jù)。這便于快速獲取多光譜圖像。檢測器7可以包括例如三個電荷耦合器件(CXD)，如響應(yīng)于400_500nm波長的光的藍CXD、響應(yīng)于500-600nm范圍的波長的光的綠CXD和響應(yīng)于600_800nm范圍的波長的光的紅/NIR (XD。檢測器7可以進一步包括多個分色鏡。在該實施例的一個例子中，來自成像光導(dǎo)6的光束進入檢測器7并且成像在第一分色鏡上，第一分色鏡將小于500nm波長的光反射到藍(XD，同時透射> 500nm波長的光。第二分色鏡將小于600nm波長的光反射到綠(XD，并且將> 600nm波長的光透射到紅/NIR (XD。可選地，檢測器7可以在CXD上游的光路中包括帶通濾波器(例如，可以在每個CXD的前方緊鄰布置一個帶通濾波器)以進一步在光學(xué)上處理該入射光。該C⑶可以具有比視頻速率短的曝光時間以適應(yīng)用于多光譜成像的快速圖像獲取。該C⑶獲取的圖像被處理單元8進一步處理為多個光譜圖像。然后由分析單元9分析所獲得的光譜圖像，并且將得到的該組織的生理和形態(tài)圖像顯示在期望的輸出裝置上，如監(jiān)視器10。分析單元9可以例如應(yīng)用下面描述的建模算法。光源12可以提供可見光和/或近紅外(NIR)輻射。例如，光源12可以提供從大約400nm至至少大約800nm的可見/NIR波段的照明光。在一些實施例中，光源12具有至少在可見光范圍內(nèi)發(fā)射寬波段照明的操作模式。該模式可以用于在內(nèi)窺鏡過程期間產(chǎn)生圖像以引導(dǎo)操作員。利用光源12進行操作以發(fā)射寬波段的可見輻射，除了紅通道覆蓋例如600-800nm (而不是較窄的范圍如600_700nm)的范圍以外，檢測器7可以捕獲與傳統(tǒng)RGB圖像類似的圖像。如上面指出的，光源12可以提供同時的多個窄波段(NB)照明(例如，在405nm、505nm和605nm)。優(yōu)選地，光源12可以被快速調(diào)諧以發(fā)出具有由下一組多NB構(gòu)成的光譜的照明光(例如，420nm、520nm和635nm)。在一些實施例中，每組多NB具有與檢測器7具有的通道數(shù)目相同的窄波段成分。例如，對于如上所述的具有三個通道的檢測器7，每組多NB可以包括三個窄波段。如圖2中所示，濾波器輪2可以用于在一系列時間段中產(chǎn)生照明光，使得在不同的時間段中照明光具有由不同組的三個窄波段構(gòu)成的光譜。濾波器輪2可以包括多于一個濾波器。當(dāng)這些濾波器中的每一個處于發(fā)光器I和被成像的物體之間的光路中時，照明光基本上由同時傳送到該物體的三個窄波段構(gòu)成。所述波段可以例如包括在光譜的藍色部分中的一個波段、在光譜的綠色部分中的一個波段和在光譜的紅色或紅外部分中的一個波段。例如，濾波器21可以在時間段Tl期間產(chǎn)生照明光譜26 ;濾波器22在時間段Ti期間產(chǎn)生照明光譜27 ;濾波器23在時間段Tn期間產(chǎn)生照明光譜28。在一些實施例中，濾波器輪2中的各個濾波器可以同時產(chǎn)生多于或少于三個窄波段。在一些實施例中，該濾波器輪包括提供總共12至52個不同波段照明光的濾波器，每個濾波器提供兩個或三個不同波段。在一些實施例中，每個濾波器的窄通帶的數(shù)目等于或小于由該檢測器提供的通道數(shù)目。在一個示例性實施例中，濾波器輪2包括提供總共18個波段的照明光的六個濾波器，每次提供三個波段。在示例性的實施例中，每個濾波器提供包括不同組的三個窄波段的 光的不同光譜照明輪廓。下面的表格示出18個選定波段的可能波長的一個例子。在一些實施例中，窄波段具有20nm以下的帶寬。IOnm欄代表針對具有IOnm帶寬的窄波段優(yōu)化的波長選擇。15nm欄是針對窄波段具有15nm帶寬的情況優(yōu)化的波長選擇。窄波段的波長可以均勻或不均勻地間隔開。
濾波器編號藍波段j綠波段I紅波段
IOnm ISnm IOnm 15nm IOnm ISnin
1415415 515 510 610 615
243543S 525 525 625 625
3450445 540 545 640 645
446S460 560560 665 665
5475475 575 575 690 690
6490490 590 59S 760 760例如，第一濾波器可以同時提供藍波段(415nm)、綠波段(510nm或515nm)和紅波段(610nm或615nm)的光。第二濾波器可以提供照明輪廓為435nm、525nm和625nm的照明光；第三濾波器可以提供照明輪廓為445nm或450nm、540nm或545nm和640nm或645nm的照明光；第四濾波器可以提供照明輪廓為460nm或465nm、560nm和665nm的照明光；第五濾波器可以提供照明輪廓為475nm、575nm和690nm的照明光；第六濾波器可以提供照明輪廓為 490nm、590nm 或 595nm 和 760nm 照明光。圖2a中示出濾波器輪2上定制的濾波器的示例性的傳輸特征。如所示出的，濾波器輪2上的該特定濾波器可以使多個波段的不同波長的光通過。另外，短波通濾波器可被用于去除透過的高于800nm的光。利用濾波器輪2，通過使濾波器輪2轉(zhuǎn)動實現(xiàn)了在不同光譜輪廓之間的切換。在一些實施例中，濾波器輪2以大約30r/s的速度轉(zhuǎn)動?？梢允褂脕碜园l(fā)光器I的光而不需要窄波段濾波，以提供用于白光反射成像的白光照明(例如，400-700nm)。這可以通過提供濾波器輪2的不具有窄波段濾波器的一個或多個扇區(qū)并且/或者提供旁通濾波器輪2的可選擇的光路來實現(xiàn)。圖I中所示的光源12僅是可用于產(chǎn)生可以在檢測器7的同一次曝光中成像的具有包括多個窄波段的光譜的照明光的大量適當(dāng)光源中的一個例子。在一個可選的示例性實施例中，使用基于聲光可調(diào)諧濾波器(AOTF)的光源或者基于液晶可調(diào)諧濾波器(LCTF)的光源。在另一個示例性的實施例中，基于數(shù)字微鏡裝置(DMD)的光譜可編程光源被用于提供高效的同時多NB照明。一些可在商業(yè)上獲得的基于DMD的光源能夠在每秒鐘多達7000個光譜當(dāng)中切換。這個數(shù)目將隨著基于DMD光源的不斷開發(fā)而增加。在另一個可選的示例性實施例中，光源包括用于基本上同時產(chǎn)生多NB照明的一個或多個聲光可調(diào)諧濾波器(AOTF)。例如，英國Fianium公司的SC450-A0TF型號的光源可以產(chǎn)生光譜具有多達八個NB成分的光。AOTF可以與基于光纖濾波器的超連續(xù)譜光源一起使用。在另一個不例性的實施例中，光源12包括多個分開的發(fā)光器,每個發(fā)光器發(fā)射一 個或多個特定波段的窄波段光。該發(fā)光器可以包括發(fā)光半導(dǎo)體器件，如發(fā)光二極管(LED)。在一些實施例中，該光源包括幾種類型的LED，每個類型具有多個LED。在一些實施例中，光源12位于內(nèi)窺鏡的遠端。例如，多個LED或者LD可以位于內(nèi)窺鏡的遠端。該配置不需要用于傳輸照明光的光導(dǎo)4。能夠以高速率電子切換所述多個LED,以提供具有特定光譜特性的多個照明部分。該LED可以電接通和斷開，以方便地實現(xiàn)同時多個波段照明并且與用于獲取對應(yīng)的圖像的攝像機同步。這些個LED可以排列成圓形以在組織表面上實現(xiàn)均勻照明。圖3示出內(nèi)窺鏡系統(tǒng)的遠端30具有多個LED以產(chǎn)生多個期望的波段的光。LED 31可以圍繞透鏡32安裝在內(nèi)窺鏡的遠端，其可以在成像光導(dǎo)6上形成圖像，成像光導(dǎo)6接著將該圖像傳送到檢測器7。作為選擇，微型攝像機7可以直接安裝在透鏡32后方，這樣不需要成像光導(dǎo)6。該激光器配置還可被用于開放場成像應(yīng)用，如人皮膚的成像。帶通濾波器可以任選地布置在每個LED的發(fā)光表面上，以幫助將光譜波段窄化到期望的規(guī)格。在圖3中所示的實施例中，該組三個LED 31a可以提供三個對應(yīng)的窄波段(ba、
ga、ra)的照明光，LED31b可以提供與LED 31a相同或不同波長的三個對應(yīng)的窄波段(bb、
gb、rb)的照明光，LED31c可以提供與LED 31a和/或31b相同或不同波長的三個窄波段(bc> gc> rc)的光。圖4示出示例性的圖像獲取和處理電子裝置8的細(xì)節(jié)。第一成像模式被選擇，然后成像信號被A/D轉(zhuǎn)換器數(shù)字化，并且被發(fā)送到輸入FPGA (現(xiàn)場可編程門陣列)用于處理。在輸入FPGA內(nèi)，數(shù)字化的圖像被傳送到輸入FIFO (先入先出)圖像緩沖器，然后被傳送到可編程邏輯和處理單元，該單元可將該圖像傳送到WLR/FL (白光反射/熒光)幀緩沖器或多光譜成像緩沖器用于進一步處理。WLR圖像和FL圖像可以共享同一緩沖器，因為這兩個成像模態(tài)通常不同時進行。具有大得多的存儲器的分開的緩沖器被指定用于多光譜成像。如果該光源被編程以在同一周期中輸出多個NB照明序列和WRL照明，那么這種兩個緩沖器的配置還有助于同時WLR成像和多光譜成像。在輸入FPGA中可以實現(xiàn)各種圖像處理功能，如對紅/近紅外(R/NIR)、綠(G)和藍(B) CXD所取得的三個圖像進行的對準(zhǔn)。為了執(zhí)行下面描述的建模技術(shù)而開發(fā)的算法被用于處理所述多光譜圖像，以得到每個像素的反射光譜，然后分析該反射光譜以獲得產(chǎn)生至少四個圖像的每個像素的組織生理和形態(tài)參數(shù)，例如組織血液量圖像、組織氧化圖像、組織散射體積圖像和組織散射尺寸參數(shù)圖像。在另一個實施例中，可以產(chǎn)生另外的圖像，如氧合血紅蛋白圖像、脫氧血紅蛋白圖像、組織水量圖像和/或其它載色體分布圖像?；谶@些圖像，可以產(chǎn)生將每個像素分類為良性/正?；驉盒缘慕M織診斷圖像?？梢酝ㄟ^將用于進行多個分析的各種不同算法編程到FPGA中來結(jié)合這些算法。處理后的數(shù)字圖像被輸出FIFO輸出到輸出FPGA，F(xiàn)PGA將各種圖像輸出到不同的視頻編碼器(DAC)中以將所述數(shù)字圖像信號轉(zhuǎn)換為標(biāo)準(zhǔn)模擬視頻，以顯示在標(biāo)準(zhǔn)模擬監(jiān)視器上。這兩個圖像幀緩沖器可以連接到PC計算機，使得在上述處理的任何一個階段，所述數(shù)字圖像都可以被傳送到PC，以用于進一步處理和分析，并且將結(jié)果顯示在計算機監(jiān)視器上。PC可以安裝有GPU (圖形處理單元)視頻處理卡，以加速圖像處理和數(shù)據(jù)分析。在可選實施例中，檢測器7具有四個成像CCDjB B (400_500nm)、G (500_600nm)、R (600-700nm)和NIR (700_800nm)。在這種實施例中，光源12可適于產(chǎn)生光譜由四個窄 波段的光構(gòu)成的照明光。所述窄波段可以分別在B、R、G和NIR波段內(nèi)。所述窄波段的通過波長可被控制為隨時間改變。這允許進行更快的多光譜成像。在另一個實施例中，從獲取的窄波段光譜圖像合成白光反射圖像?？梢葬槍γ總€像素產(chǎn)生反射光譜，使得可以通過將反射光譜乘以CIE (國際照明委員會)標(biāo)準(zhǔn)照明譜以產(chǎn)生輻射譜并且求該輻射譜與眼睛椎體靈敏度譜的卷積以產(chǎn)生最終的R、G、B顏色量來獲得該像素的RGB顏色，從而顯示在監(jiān)視器上供操作者觀看。在可選實施例中，視頻內(nèi)窺鏡具有安裝在該內(nèi)窺鏡頂端的檢測器(例如，CCD)。在這種實施例中，不需要圖像光導(dǎo)6。檢測器芯片覆蓋有濾波器的圖案以便于三或四通道成像(B、G、R、NIR)。下表中示出可能的圖案。
B~[O~[B~[O~[B~[O
R~NIR-R~NIR-R~NIRB~G~B~G~B~GR~NIR-R~NIR-R~NIR在另一個實施例中，商用彩色成像檢測器(例如，(XD、CMOS或APS檢測器)可被用作檢測器。該檢測器可具有在拜爾濾波器馬賽克中應(yīng)用的濾波器以獲得R、G、B圖像。許多可商業(yè)上獲得的成像檢測器中的濾波器可以具有相互重疊的光譜響應(yīng)。圖5示出示例性的CCD圖像檢測器的濾波器的示例性濾波器特征。使用這種類型的檢測器的優(yōu)點是降低成本。在濾波器特征重疊的情況下，可以進行校準(zhǔn)過程以獲得與各個窄帶照射波長相對應(yīng)的準(zhǔn)確反射信號。如圖6中所示，在位于B、G、R光譜波段的三個波長的同時照明下，由于三個波長的重疊光譜響應(yīng)，三個圖像通道中每個通道的CXD輸出讀數(shù)具有來自所有三個波長的貢獻。假定到達CXD的光強對于藍、綠和紅窄帶波長分別是Ip I2和13，CXD藍通道讀數(shù)可具有由靈敏度T11確定的來自藍光的貢獻、由靈敏度T12確定的來自綠光的貢獻和由靈敏度T13確定的來自紅光的貢獻。CXD藍通道讀數(shù)C1等于C1 = T11IAT12IJT13I3(I)類似地，CXD綠通道讀數(shù)C2和紅通道讀數(shù)C3由如下等式給出C2 = T21I^T22IjT23I3 (2)C3 = T31IAT32IjT33I3 (3)這三個等式可以用矩陣形式表達如下Ic2 W Tll T22 Tix I2
I I I rT^rTx I[ι. .」HiJ (4)可以通過進行校準(zhǔn)來確定等式(4)中所示的AT矩陣?？梢酝ㄟ^用光Ip 12、I3分別曝光照射CCD來進行校準(zhǔn)。當(dāng)僅由I1 (I2 = I3 = O)照射CCD時，我們得到C1 = T11I1T11 = C1ZI1C2 = T21I1 BpT21 = C2Zl1C3 = T31I1T31 = C3/11I1可以由光功率計測得，而C1、C2和C3分別是來自C⑶的B、G、R通道的讀數(shù)。類似地，當(dāng)僅由I2 (I1 = I3 = O)照射時，我們得到T12 = C1Zl2T22 = C2Zl2T32 = C3Zl2當(dāng)僅由I3 (I1 = I2 = O)照射時，我們得到T13 = C1Zl3T23 = C2Zl3T33 = C3/13
^ii歲η多i3校準(zhǔn)矩陣Γ=T22 F23是方陣。通過求校準(zhǔn)矩陣T的逆矩陣，我們可以從
Tyi ^33CCD讀數(shù)獲得校準(zhǔn)后的光強度
必I論
Jf' I ~I J1I,1" "*!* I Jfr^
1I1Il iM iIJ I〗
r-IIrjn Γ-IlnII-, = I2i I22 i23 L2
γ^'·|"·| ·I j—f
,3廠':I Ι3( S )
u·—JU--4-—·XtkJ/當(dāng)使用不同的照射組Ii、I2、I3 (以不同的波長)時，需要針對新的波長組重復(fù)該校準(zhǔn)。如果在該光譜成像系統(tǒng)中使用六個不同的三窄帶(NB)組，則需要執(zhí)行六組校準(zhǔn)。在可選實施例中，可以拍攝可疑區(qū)域的快照多光譜圖像(其可以例如通過WLR成像和/或FL成像得到)，用于離線分析(或者在線，但是沒有快到以視頻速率顯示結(jié)果)，以得到診斷用的快照生理和形態(tài)圖像。可以由圖7中所示的光源產(chǎn)生FL成像照射。該FL成像光源可以提供用于FL成像的照明，同時可編程的數(shù)字光源或者具有一組可互換的濾波器(如濾波器輪上的濾波器)的發(fā)光器的組合可以提供用于WLR成像和多光譜成像的照明。在圖7的實施例中，當(dāng)鏡單元44位于該圖中所示的位置時，來自可編程的數(shù)字光源45A的光被阻擋，同時來自FL成像光源45B的光被反射到內(nèi)窺鏡光導(dǎo)。當(dāng)鏡單兀44被移開時,來自可編程數(shù)字光源45a的光指向內(nèi)窺鏡光導(dǎo)。鏡單元44可以在計算機控制下被螺線管或者其它致動器移動。在一些實施例中，光源和圖像獲取處理電子裝置二者都是完全可編程的。在這種實施例中，可以在不改變硬件的情況下以各種方式獲取多光譜圖像(例如，不同數(shù)目的波段或這些波段的不同位置或不同帶寬)以及它們與WLR成像和各種圖像分析算法的結(jié)合。在可選實施例中，不同數(shù)目的波段可被用于多光譜成像。可以選擇均勻間隔的或者非均勻間隔的波段。這些波段可以被編程到系統(tǒng)中，以實現(xiàn)多光譜反射成像。圖8示出從52個數(shù)據(jù)點/波段獲得的光譜數(shù)據(jù)的ROC曲線(上面的三角符號曲線)
和當(dāng)使用數(shù)目減少的18個波段的數(shù)據(jù)點時的ROC曲線(下面的圓形符號曲線)。如所示出的，將每個光譜的數(shù)據(jù)點減少到18個波段輕微減小了診斷準(zhǔn)確度，但是檢測靈敏度和特異性保持相當(dāng)?shù)暮?分別為80%和77%)。因此，如所示出的，相比于現(xiàn)有的成像內(nèi)窺鏡模態(tài)，即，WLR模式和FL模式，覆蓋適當(dāng)數(shù)目(例如，18+)波段的多光譜反射成像系統(tǒng)可以提供卓越的準(zhǔn)確度。優(yōu)化波段的選擇建模和統(tǒng)計方法可被用于確定用于光譜成像的優(yōu)化波段?；趦?yōu)化的光傳輸模型的光譜分析算法在可編程圖像獲取處理電子裝置和安裝有用于實時數(shù)據(jù)處理和離線分析的GPU的PC計算機中實現(xiàn)。根據(jù)經(jīng)驗和/或使用優(yōu)化函數(shù)的模擬光譜測量確定最小數(shù)目的波長以及最佳波長位置和帶寬。一個方法是基于使用全光譜獲得的評估和使用針對數(shù)目減少的波段優(yōu)化的光譜獲得評估之間的誤差函數(shù)的數(shù)值優(yōu)化(最小二乘法)。作為例子，使用三個不同的優(yōu)化函數(shù)用于選擇波段的最佳數(shù)目以及它們的帶寬和中心波長位置I.將使用連續(xù)的全光譜測量(C_f)獲得的疾病分類(良性與惡性)準(zhǔn)確度與使用η個波段的光譜測量(C_n)獲得的分類準(zhǔn)確度之間的誤差最小化。2.將從連續(xù)的全光譜測量(0P_f)獲得的光學(xué)屬性與從η個波段的光譜測量(0Ρ_η)獲得的光學(xué)屬性之間的誤差最小化。2.將連續(xù)的全光譜的譜線形狀(S_f)和η個波段的光譜的譜線形狀(S_n)之間的
誤差最小化。圖9中示出用于說明針對每個給定的波段數(shù)目和給定的帶寬獲得最佳波長位置Rn的優(yōu)化過程的流程圖。使用一組選定的多個波段(η)、帶寬和位置(Wt)來產(chǎn)生對應(yīng)的光譜。使用優(yōu)化函數(shù)將所產(chǎn)生的光譜與全光譜測量(Rref)相比較。針對另一組選定的多個波段和帶寬重復(fù)該處理，記錄優(yōu)化函數(shù)的輸出，并且比較以確定最終選擇。在一些實施例中，可以假定針對關(guān)注的每三個光譜檢測通道(藍400-500nm、綠500_600nm和紅/NIR600-800nm)，波段的總數(shù)和帶寬是相等的，進行該分析。上述分析的結(jié)果可被用于產(chǎn)生示出關(guān)于近似的準(zhǔn)確度的波段數(shù)目、帶寬和波長位置之間關(guān)系的圖。所產(chǎn)生的圖可被用于選擇在我們的光譜成像裝置中使用的光纖的最佳設(shè)計參數(shù)(波段的數(shù)目、它們的中心波長和帶寬)。
圖10示出優(yōu)化過程的三種方法的示例性的準(zhǔn)確度比較，圖11示出帶寬對準(zhǔn)確度的影響。映射算法映射算法用于獲得與圖像有關(guān)的多個組織生理(吸收)屬性和與圖像有關(guān)的多個組織形態(tài)(散射)屬性。該映射算法可以包括兩個部分強度校準(zhǔn)算法和快速反演算法。圖12示出可用于以視頻速率產(chǎn)生組織生理和形態(tài)圖像的示例性的映射算法的框圖。強度校準(zhǔn)算法200可以從所獲得的光譜圖像100產(chǎn)生修正后的反照光譜圖像110、散射光譜圖像160和吸收光譜圖像162。散射光譜圖像162和吸收光譜圖像160然后可被提供給快速反演算法300以量化相關(guān)的組織生理和形態(tài)屬性170和172。在一個實施例中，組織的體外吸收譜150作為先驗已知參數(shù)與修正后的反照光譜圖像110 —起使用，以獲得修正后的吸收和散射圖像160、162。
·
在另一個實施例中，強度校準(zhǔn)算法200首先產(chǎn)生校準(zhǔn)后的反照光譜圖像110，其實際是沿著整個光譜范圍的吸收與減小的散射系數(shù)的比。修正后的反照光譜圖像110然后被提供給快速反演算法300以產(chǎn)生組織生理和形態(tài)圖像130、132。注意，生理和形態(tài)參數(shù)130、132將具有與生理和形態(tài)參數(shù)170、172不同的準(zhǔn)確度，因為它們是利用不同的建模方法產(chǎn)生的。圖13中更詳細(xì)地示出了示例性的強度校準(zhǔn)算法。強度校準(zhǔn)算法200可被用于修正光譜圖像的強度以說明測量幾何形狀變化，例如，從組織到攝像機的反射光的耦合相對于從反射標(biāo)準(zhǔn)到攝像機的反射光的耦合的變化。為此，定義并公式化兩個強度校準(zhǔn)常數(shù)(I)測量幾何形狀常數(shù)(Ka)，其可用于修正測量期間組織和攝像機之間耦合角度和測量距離的變化；(2)反照修正常數(shù)(Ks)，其可用于修正測量值的相對強度性質(zhì)并且可用于通過使用正被成像的組織的體外吸收譜作為對校準(zhǔn)算法的已知輸入從反照圖像推導(dǎo)出吸收圖像和散射圖像。該校準(zhǔn)常數(shù)通過下面的關(guān)系式與測得的反射譜相關(guān)聯(lián)RcOi) =KaRm(Ai)(I)βε(λ i) = X[KaRm(A i)](2)μ ac ( λ i) =Y [Ks, β c ( λ i) ](3)其中μ s，c( λ i) = μ ac( λ i) / β c ( λ i)其中Rm和R。分別是測得的和修正后的反射率；β c和β m分別是修正后的和測得的反照率(測得的吸收與測得的散射系數(shù)之間的比);并且Pa。和ys’。分別是修正后的吸收和散射系數(shù)。x[]是將修正后的Pc反照率與測得的反射率Rm相關(guān)聯(lián)的反演光傳輸模式/函數(shù)，Y[]是將吸收幅度與散射幅度相關(guān)聯(lián)的函數(shù)。X和Y函數(shù)的確切形狀或數(shù)學(xué)公式取決于在分析中使用的光傳輸模型。很多已知的光傳輸模型，例如蒙特卡羅、擴散近似模型等，可用于本文描述的強度校準(zhǔn)算法。僅作為例子，當(dāng)使用I-D擴撒近似模型時，Χ[]函數(shù)的數(shù)學(xué)公式可以為(I1 β c ( λ i) [ (1+ β c ( λ i) ] 1/2_d2 [1+ β c ( λ i) ] 1/2+d3 β c ( λ i) -d4 = O其中(I1 = A' +2AKaRmd2 = 4AKaRm
d3 = 3A+2A2KaRmd4 = 4A2KaRm其中A是取決于組織反射指數(shù)的常數(shù)，并且A' =1+2/3Α。沿著三個波長應(yīng)用該強度校準(zhǔn)算法，以產(chǎn)生全光譜成像范圍的修正后的反照光譜圖像或吸收光譜圖像和散射光譜圖像。修正后的吸收和/或散射圖像的物理意義是根據(jù)與反射強度相關(guān)的變形/影響修正的圖像，該變形/影響是根據(jù)從組織到攝像機的反射光的耦合相對于從反射標(biāo)準(zhǔn)到攝像機的反射光的耦合以及相對于通常在諸如非接觸式反射成像等非接觸式光譜反射測量期間出現(xiàn)的光攝像機探針(內(nèi)窺鏡前端)對組織的取向的任何移動的變化得到的。該算法可以使用正被調(diào)查的組織的體外吸收譜作為先驗已知的參數(shù)，沿著全光譜成像范圍產(chǎn)生修正后的吸收和散射圖像。在該強度校準(zhǔn)算法中(在迭代/最小二乘法程序期間)使用的固定的體外吸收系數(shù)作為內(nèi)部組織標(biāo)準(zhǔn)，以允許指定和分離散射幅度和吸收幅度。從而提供關(guān)于組織生理和形態(tài)屬性的更魯棒的量化數(shù)據(jù)。
如圖13中所示，強度校準(zhǔn)算法200使用正被成像的組織的波長為λ I、λ 2、λ 3的三個光譜圖像(101)、波長為λ 、λ2、λ 3的體外吸收系數(shù)(250)以及測量幾何形狀常數(shù)Kai和反照修正常數(shù)Ksi的隨機選擇的初始值(201)作為輸入?yún)?shù)。該算法進行迭代(240和242)，直到計算出的幾何形狀常數(shù)Kac和計算出的反照修正常數(shù)Ksc收斂。計算出的反照修正常數(shù)(Ksc)和幾何形狀常數(shù)(Kac)可被用于分別實時產(chǎn)生吸收光譜圖像160和散射光譜圖像162或者修正后的反照光譜圖像110。該強度校準(zhǔn)算法可以利用任何光傳輸模型，如擴散近似、蒙特卡羅法產(chǎn)生的查找表或者其它光傳輸模型。在一個實施例中，計算出的反照修正常數(shù)(Ksc)和幾何形狀常數(shù)(Kac)被用于實時產(chǎn)生修正后的吸收譜圖像162和散射譜圖像160 (圖13的箭頭虛線路徑255)。在另一個實施例中，該強度校準(zhǔn)算法只沿著全光譜范圍產(chǎn)生修正后的反照光譜圖像110，而不使用任何先驗信息。圖14中示出示例性的快速反演算法?？焖俜囱菟惴?00使用線性矩陣反演方案350以及組織吸收載色體的本征譜310和組織標(biāo)準(zhǔn)散射顆粒312作為已知標(biāo)準(zhǔn)根據(jù)吸收和散射譜圖像160、162量化相關(guān)的生理和形態(tài)屬性170、172。圖14a示出可供選擇的快速反演算法300。快速反演算法300使用線性矩陣反演方案350和組織吸收載色體的本征譜310和組織標(biāo)準(zhǔn)散射顆粒312根據(jù)修正后的反照譜圖像110量化相關(guān)的生理和形態(tài)屬性130、132。所產(chǎn)生的生理圖像/圖可以包括例如氧合血紅蛋白濃度圖像、脫氧血紅蛋白圖像、總血紅蛋白濃度和/或組織水量圖像?？僧a(chǎn)生的形態(tài)圖像可包括散射體積圖像、粘膜層厚度圖像和特定的散射顆粒體積分?jǐn)?shù)(如神經(jīng)核體積分?jǐn)?shù))。使用線性反演方案直接根據(jù)修正后的吸收和散射圖像(而不使用任何輻射傳輸模型)量化生理和形態(tài)組織屬性是有利的，因為它可以更快速地執(zhí)行快速反演算法。另外，這種線性矩陣反演方法的使用允許使用更高效的并行處理(如GPU)。下面的數(shù)學(xué)表達式描述了在用于獲得吸收譜圖像的快速反演算法中使用的線性矩陣反演方案
權(quán)利要求
1.一種用于對物體多光譜成像的設(shè)備，所述設(shè)備包括 光源，其能被配置為發(fā)射具有由第一多個窄波段表征的第一光譜的光，所述設(shè)備被布置為將來自所述光源的光引導(dǎo)到所述物體的區(qū)域上；以及 多通道成像光檢測器，其被布置為對所述物體的所述區(qū)域成像，并且被配置為提供多通道圖像數(shù)據(jù)；以及 圖像處理系統(tǒng)，其被配置為從所述多通道圖像數(shù)據(jù)中提取多個光譜圖像，所述多個光譜圖像包括與所述多個窄波段中的每一個窄波段相對應(yīng)的光譜圖像。
2.根據(jù)權(quán)利要求I所述的設(shè)備，其中所述光源能被控制為改變所述光的光譜，所述設(shè)備包括控制器，所述控制器被配置為切換所述光源以發(fā)射具有由第二多個窄波段表征的第二光譜的光，所述第二光譜的所述第二多個窄波段與所述第一光譜的所述第一多個窄波段的波長出現(xiàn)在不同的波長處，并且所述控制器被配置為操作所述成像光檢測器以在所述光源用具有所述第一光譜的光照射所述物體的所述區(qū)域的同時獲得所述物體的第一多通道圖像，并且被配置為操作所述成像光檢測器以在所述光源用具有所述第二光譜的光照射所述物體的所述區(qū)域的同時獲得所述物體的第二多通道圖像。
3.根據(jù)權(quán)利要求I所述的設(shè)備，其中所述光源具有多個模式，在每個模式中，所述光源被配置為發(fā)射具有由對應(yīng)的多個窄波段表征的相應(yīng)光譜的光，使得對于每個不同的模式，所述多個窄波段出現(xiàn)在對應(yīng)的不同一組波長處。
4.根據(jù)權(quán)利要求3所述的設(shè)備，其中所述設(shè)備包括控制器，所述控制器被配置為針對多個所選擇的模式中的每一個模式重復(fù)如下操作將所述光源切換到所選擇的模式；以及操作所述檢測器以在所述光源用具有與所選擇的模式相對應(yīng)的光譜的光照射所述物體的所述區(qū)域的同時獲得對應(yīng)的多通道圖像數(shù)據(jù)。
5.根據(jù)權(quán)利要求I至4中任一項所述的設(shè)備，其中所述光源包括寬波段光源和包括多個濾波器的濾波器輪，所述多個濾波器中的每一個具有包括多個窄通帶的相應(yīng)濾波功能。
6.根據(jù)權(quán)利要求4所述的設(shè)備，其中所述寬波段光源包括氙弧燈。
7.根據(jù)權(quán)利要求I至4中任一項所述的設(shè)備，其中所述光源包括多個窄波段發(fā)光器。
8.根據(jù)權(quán)利要求7所述的設(shè)備，其中所述窄波段發(fā)光器包括半導(dǎo)體發(fā)光器。
9.根據(jù)權(quán)利要求8所述的設(shè)備，其中所述窄波段發(fā)光器包括發(fā)光二極管。
10.根據(jù)權(quán)利要求I至4中任一項所述的設(shè)備，其中所述光源包括寬波段光源和一個或多個可調(diào)諧濾波器。
11.根據(jù)權(quán)利要求10所述的設(shè)備，其中所述可調(diào)諧濾波器包括聲光可調(diào)諧濾波器或者液晶可調(diào)諧濾波器。
12.根據(jù)權(quán)利要求I至4中任一項所述的設(shè)備，其中所述光源包括基于數(shù)字微鏡裝置的光譜可編程光源。
13.根據(jù)權(quán)利要求I至12中任一項所述的設(shè)備，其中所述多個窄波段處于包括可見光和近紅外光的電磁光譜部分中。
14.根據(jù)權(quán)利要求I至12中任一項所述的設(shè)備，其中所述多個窄波段的波長在390至IOOOnm的范圍內(nèi)。
15.根據(jù)權(quán)利要求14所述的設(shè)備，其中所述多個窄波段的波長在大約400nm至大約800nm的范圍內(nèi)。
16.根據(jù)權(quán)利要求I至15中任一項所述的設(shè)備，其中所述成像檢測器包括多個光感測陣列，每個光感測陣列響應(yīng)于相應(yīng)通帶中的光。
17.根據(jù)權(quán)利要求16所述的設(shè)備，其中所述多個窄波段的每個窄波段落在一個不同的所述通帶內(nèi)。
18.根據(jù)權(quán)利要求I至15中任一項所述的設(shè)備，其中所述檢測器包括成像陣列，所述成像陣列包括被濾色器圖案覆蓋的光感測元件陣列。
19.根據(jù)權(quán)利要求18所述的設(shè)備，其中每個所述濾色器使來自兩個或更多個所述窄波段的光通過由與所述濾色器相對應(yīng)的濾波器特征所確定的量。
20.根據(jù)權(quán)利要求19所述的設(shè)備，包括包含校準(zhǔn)信息的數(shù)據(jù)存儲器，其中所述圖像處理系統(tǒng)被配置為使用該校準(zhǔn)信息分解所述多通道圖像數(shù)據(jù)以產(chǎn)生與所述多個窄波段相對應(yīng)的多個窄波段圖像。
21.根據(jù)權(quán)利要求4所述的設(shè)備，其中所述檢測器包括成像陣列，所述成像陣列包括被濾色器圖案覆蓋的光感測元件陣列，每個所述濾色器使來自兩個或更多個所述窄波段的光通過由與所述濾色器相對應(yīng)的濾波器特征確定的量，并且所述設(shè)備包括包含與每個所述模式相對應(yīng)的校準(zhǔn)信息的數(shù)據(jù)存儲器和圖像處理子系統(tǒng)，所述圖像處理子系統(tǒng)被配置為使用對應(yīng)的校準(zhǔn)信息分解所述多通道圖像數(shù)據(jù)以產(chǎn)生與所述多個窄波段相對應(yīng)的多個窄波段圖像。
22.根據(jù)權(quán)利要求18至21中任一項所述的設(shè)備，其中所述多個窄波段包括三個窄波段，并且所述三個窄波段包括在藍波長范圍內(nèi)的第一窄波段、在綠波長范圍內(nèi)的第二窄波段以及在紅/近紅外波長范圍內(nèi)的第三窄波段。
23.根據(jù)權(quán)利要求I至22中任一項所述的設(shè)備，其中所述窄波段的數(shù)目等于所述多通道成像檢測器的通道數(shù)目。
24.根據(jù)權(quán)利要求I至23中任一項所述的設(shè)備，包括圖像處理裝置，其被配置為處理所述多個光譜圖像以產(chǎn)生修正后的反照光譜圖像以及修正后的吸收和修正后的散射光譜圖像中的一個或多個。
25.根據(jù)權(quán)利要求24所述的設(shè)備，其中所述圖像處理裝置被配置為基于所述修正后的反照光譜圖像以及所述修正后的吸收和修正后的散射光譜圖像之一或二者得到所述物體的生理圖像和所述物體的形態(tài)圖像中的至少一個。
26.根據(jù)權(quán)利要求25所述的設(shè)備，其中所述生理圖像包括下列中的至少一個氧合血紅蛋白濃度圖像、脫氧血紅蛋白圖像、總血紅蛋白濃度圖像和水量圖像。
27.根據(jù)權(quán)利要求25或26所述的設(shè)備，其中所述形態(tài)圖像基于下列中的至少一個散射體積圖像、粘膜層厚度圖像和散射顆粒體積分?jǐn)?shù)圖像。
28.根據(jù)權(quán)利要求I至27中任一項所述的設(shè)備，其中所述設(shè)備被配置為內(nèi)窺鏡。
29.根據(jù)權(quán)利要求28所述的設(shè)備，其中所述光源處于所述內(nèi)窺鏡的近端，并且所述內(nèi)窺鏡包括光導(dǎo)，該光導(dǎo)被連接用于將來自所述光源的光傳送到所述內(nèi)窺鏡的遠端。
30.根據(jù)權(quán)利要求29所述的設(shè)備，其中所述成像檢測器位于所述內(nèi)窺鏡的遠端。
31.根據(jù)權(quán)利要求28所述的設(shè)備，其中所述光源位于所述內(nèi)窺鏡的遠端。
32.根據(jù)權(quán)利要求31所述的設(shè)備，其中所述光源包括布置在所述成像檢測器的光圈周圍的多個發(fā)光二極管。
33.根據(jù)權(quán)利要求I至32中任一項所述的設(shè)備，其中所述窄波段具有20nm以下的帶寬。
34.根據(jù)權(quán)利要求I至33中任一項所述的設(shè)備，其中所述設(shè)備被配置為以每秒鐘24組或更多組光譜圖像的速率獲取所述光譜圖像。
35.根據(jù)權(quán)利要求I至34中任一項所述的設(shè)備，能夠被配置為提供白光照射模式，其中所 述光源利用白光照射所述區(qū)域，并且所述檢測器獲得所述區(qū)域的彩色圖像。
36.一種用于對物體多光譜成像的設(shè)備，所述設(shè)備包括 光源，其用于照射物體，所述光源適于同時產(chǎn)生多個窄波長波段的光，以產(chǎn)生多個光譜圖像，每個所述窄波長波段包含可見/NIR范圍內(nèi)的不同波長，其中所述光源被配置為隨著時間改變所述多個窄波段的波長以產(chǎn)生不同的照射光譜輪廓； 圖像檢測裝置，其用于接收所述圖像；以及 圖像處理裝置，其用于處理和分析所述多個光譜圖像并且產(chǎn)生修正后的反照光譜圖像或者修正后的吸收和修正后的散射光譜圖像，并且基于所述修正后的反照光譜圖像或者所述修正后的吸收和修正后的散射光譜圖像獲得所述物體的至少一個生理圖像和所述物體的至少一個形態(tài)圖像。
37.根據(jù)權(quán)利要求36所述的設(shè)備，其中所述光源選自寬波段光源、可編程的數(shù)字微鏡光源、激光驅(qū)動的光源和發(fā)光二極管。
38.根據(jù)權(quán)利要求37所述的設(shè)備，其中所述光源包括寬波段光源，所述寬波段光源還包括具有多個濾波器的旋轉(zhuǎn)式濾波器輪，每個所述濾波器同時使兩個或更多個窄波段通過，每個所述窄波段在不同的波長內(nèi)。
39.根據(jù)權(quán)利要求37所述的設(shè)備，包括內(nèi)窺鏡，其中所述光源包括位于所述內(nèi)窺鏡的遠端的多個發(fā)光二極管，并且所述多個發(fā)光二極管被布置為以多個窄波長波段為所述物體的區(qū)域提供均勻的照射。
40.根據(jù)權(quán)利要求36所述的設(shè)備，其中所述不同的窄波段波長間距相等。
41.根據(jù)權(quán)利要求36所述的設(shè)備，其中所述不同窄波段波長間距不相等。
42.根據(jù)權(quán)利要求36所述的設(shè)備，其中所述多個窄波段包括在藍波長范圍內(nèi)的至少一個窄波段、在綠波長范圍內(nèi)的至少一個窄波段以及在紅/近紅外波長范圍內(nèi)的至少一個窄波段。
43.根據(jù)權(quán)利要求36所述的設(shè)備，其中所述圖像檢測裝置包括至少三個(XD。
44.根據(jù)權(quán)利要求36所述的設(shè)備，包括內(nèi)窺鏡，其中所述圖像檢測裝置位于內(nèi)窺鏡的遠端。
45.根據(jù)權(quán)利要求36所述的設(shè)備，其中所述圖像檢測裝置包括拜耳濾波器馬賽克彩色攝像機，其中所述拜耳濾波器馬賽克攝像機被校準(zhǔn)以獲得與所述多個窄波長波段中的每一個窄波長波段的反射圖像相對應(yīng)的反射成像信號。
46.根據(jù)權(quán)利要求45所述的設(shè)備，包括包含校準(zhǔn)信息的數(shù)據(jù)存儲器，該校準(zhǔn)信息包括方校準(zhǔn)矩陣。
47.根據(jù)權(quán)利要求36所述的設(shè)備，包括強度校準(zhǔn)模塊，其用于獲得所述修正后的反照光譜圖像和所述修正后的吸收和修正后的散射光譜圖像；以及快速反演模塊，其用于基于所述修正后的反照光譜圖像或所述修正后的吸收和修正后的散射光譜圖像來量化所述至少一個生理圖像和所述至少一個形態(tài)圖像。
48.根據(jù)權(quán)利要求47所述的設(shè)備，其中所述強度校準(zhǔn)模塊使用測得的來自圖像像素的反射譜和所述物體的體外光學(xué)吸收譜來修正所述多個光譜圖像的強度。
49.根據(jù)權(quán)利要求47所述的設(shè)備，其中所述強度校準(zhǔn)模塊至少定義用于修正所述物體和成像裝置之間的耦合角度和測量距離變化的測量幾何形狀強度校準(zhǔn)常數(shù)Ka和用于修正測量的相對強度本質(zhì)的反照修正強度校準(zhǔn)常數(shù)Ks。
50.根據(jù)權(quán)利要求49所述的設(shè)備，其中所述設(shè)備被配置為將所述幾何形狀常數(shù)Ka用于確定所述修正后的反照光譜圖像，并且所述設(shè)備被配置為將所述反照修正常數(shù)Ks用于使用所述物體的體外吸收譜根據(jù)反照圖像確定所述修正后的吸收和修正后的散射光譜圖像。
51.根據(jù)權(quán)利要求48所述的設(shè)備，其中所述快速反演模塊基于線性矩陣反演模型。
52.—種多光譜成像方法,包括 將物體的區(qū)域曝光于具有包括多個窄波長波段的光譜的光； 使用多通道成像檢測器獲取包括被曝光的物體的圖像的圖像數(shù)據(jù)；以及 從所述圖像數(shù)據(jù)中提取多個光譜圖像，所述多個光譜圖像包括與所述多個窄波段中的每一個窄波段相對應(yīng)的光譜圖像。
53.根據(jù)權(quán)利要求52所述的方法，包括多次重復(fù)將所述物體的所述區(qū)域曝光以及獲取所述圖像數(shù)據(jù)，其中所述方法包括通過改變所述多個窄波長波段的波段波長，針對不同的重復(fù)來改變光譜。
54.根據(jù)權(quán)利要求52或53所述的方法，其中所述波長波段在包括可見光和近紅外光的光譜范圍內(nèi)。
55.根據(jù)權(quán)利要求52至54中任一項所述的方法，包括以24Hz以上的速率重復(fù)所述方法。
56.根據(jù)權(quán)利要求52至55中任一項所述的方法，其中將物體的區(qū)域曝光包括使所述光通過具有與所述多個窄波長波段相對應(yīng)的多個通帶的濾波器。
57.根據(jù)權(quán)利要求53所述的方法，其中將物體的區(qū)域曝光包括使所述光通過具有與所述多個窄波長波段相對應(yīng)的多個通帶的濾波器，并且所述方法包括針對每次所述重復(fù)使所述光通過不同的濾波器。
58.根據(jù)權(quán)利要求57所述的方法，其中所述濾波器安裝在輪的周圍，并且所述方法包括轉(zhuǎn)動所述輪，將所述成像檢測器的操作與所述輪的轉(zhuǎn)動相配合，以在光通過每個所述濾波器對所述物體進行曝光的同時使用所述成像檢測器獲取至少一個圖像。
59.根據(jù)權(quán)利要求56或57所述的方法，其中從所述圖像數(shù)據(jù)中提取多個光譜圖像包括使用校準(zhǔn)數(shù)據(jù)處理所述圖像數(shù)據(jù)，其中所述方法針對與每個不同的所述濾波器相對應(yīng)的圖像應(yīng)用不同的校準(zhǔn)數(shù)據(jù)。
60.根據(jù)權(quán)利要求52至59中任一項所述的方法，包括根據(jù)所述光譜圖像合成白光反射圖像。
61.根據(jù)權(quán)利要求52至60中任一項所述的方法，包括處理所述光譜圖像，以獲得修正后的反照光譜圖像以及修正后的吸收和修正后的散射光譜圖像中的一個或多個。
62.根據(jù)權(quán)利要求52至61中任一項所述的方法，包括處理所述光譜圖像以獲得所述物體的生理圖像和所述物體的形態(tài)圖像中的一個或多個。
63.根據(jù)權(quán)利要求62所述的方法，其中所述物體包括組織，并且所述生理圖像包括下列中的一個或多個氧合血紅蛋白圖像、脫氧血紅蛋白圖像、組織水量圖像和另一載色體分布的圖像。
64.—種多光譜成像方法,包括 將物體的區(qū)域曝光于N個窄波長波段的光，并且在所述物體被曝光于所述光的同時獲得所述物體的圖像； 其中在一系列步驟中進行所述曝光，并且每個步驟包括一次將所述物體同時曝光于具有基本上由N個窄波長波段中的一組η個窄波長波段構(gòu)成的光譜的光，并且使用多通道成像檢測器獲得所述物體的圖像；以及 處理來自所述多通道成像檢測器的多通道圖像數(shù)據(jù)，以獲得與所述N個窄波長波段相對應(yīng)的光譜圖像。
65.根據(jù)權(quán)利要求64所述的方法，包括以視頻速率重復(fù)所述方法，并且顯示所述光譜圖像或者從所述光譜圖像得到的圖像。
66.根據(jù)權(quán)利要求65所述的方法，其中所述視頻速率是至少24Hz的速率。
67.一種用于量化組織生理和形態(tài)信息的方法，所述方法包括以下步驟 用多個窄波長波段的照明同時照射物體，每個所述窄波段具有可見光/NIR范圍內(nèi)的不同波長； 產(chǎn)生多個光譜圖像； 使用從所述圖像的像素測得的反射光譜修正所述光譜圖像的強度，并且獲得修正后的反照光譜圖像或者修正后的吸收和修正后的散射光譜圖像；以及 根據(jù)所述修正后的反照光譜圖像或所述修正后的吸收和修正后的散射光譜圖像得到至少一個生理圖像和至少一個形態(tài)圖像。
全文摘要
用于根據(jù)可見光/NIR光譜圖像以視頻速率或近視頻速率對組織生理和形態(tài)屬性量化地成像的方法和設(shè)備，該方法和設(shè)備通過用一系列包含多個窄波長波段的光譜照射獲得快速的多光譜反射圖像?；诘鈧鬏?shù)姆囱菟惴杀挥糜诟鶕?jù)幾何形狀/耦合影響以及根據(jù)散射幅度變形來修正光譜圖像的強度。該方法可以產(chǎn)生視頻速率的吸收和散射光譜圖像，可以使用基于矩陣的快速反演算法進一步非?？斓胤治鲈摴庾V圖像以產(chǎn)生包含與組織的生理和形態(tài)相關(guān)的信息的更詳細(xì)的量化圖像。
文檔編號A61B1/06GK102893137SQ201180024411
公開日2013年1月23日 申請日期2011年3月17日 優(yōu)先權(quán)日2010年3月17日
發(fā)明者曾海山, 亞瑟·費茲 申請人:曾海山, 亞瑟·費茲