從活體內(nèi)多相機膠囊重建影像的制作方法
【專利說明】
[0001] 相關(guān)申請案對照參考
[0002] 本發(fā)明主張2013年5月29日所提出申請名稱為「Reconstruction of Images from an in vivo Multi-Cameras Capsule」的第61/828, 653號美國臨時性專利申請案 的優(yōu)先權(quán)。本發(fā)明關(guān)于2006年12月19日所提出申請名稱為「In Vivo Image Capturing System Including Capsule Enclosing A Camera」的第 11/642, 275 號美國專利申請案、 2008 年 11 月 25 日所提出申請名稱為「Camera System with Multiple Pixel Arrays on a Chip」的第12/323, 219號美國專利申請案、2010年10月19日所提出名稱為「Panoramic Imaging System」的第7, 817, 354號美國專利案、以及2012年9月25曰所申請?zhí)岢雒Q為 「Camera System with Multiple Pixel Arrays on a Chip」的第 13/626, 168 號美國專利 申請案。特此將所述美國臨時性專利申請案、美國專利申請案及美國專利案的完整內(nèi)容引 用合并。
技術(shù)領(lǐng)域
[0003] 本發(fā)明涉及從使用附有多個相機的活體內(nèi)膠囊所擷取的影像將影像重建。
【背景技術(shù)】
[0004] 用于令活體內(nèi)體腔或管道成像的裝置在所屬領(lǐng)域?qū)儆谝阎?，并且包括?nèi)視鏡及自 主性囊封相機。內(nèi)視鏡屬于可撓性或剛性管，其透過孔口或手術(shù)開口進入體內(nèi)，通常是經(jīng)由 嘴進入食道或經(jīng)由直腸進入結(jié)腸。影像使用鏡片成形于遠端，并且在體外通過鏡片中繼系 統(tǒng)或通過凝聚性光纖束任一者予以輸送至近端。概念類似的儀器可能例如使用CCD或CMOS 陣列以電子方式于遠端記錄影像，并且透過纜線將影像資料以電信號的方式轉(zhuǎn)送至近端。 內(nèi)視鏡允許醫(yī)師透過視場控制，并且是受到廣泛接受的診斷工具。然而，其的確有些限制， 使病患承受危險，并且對于病患而言屬于侵入性且不舒服。其成本導(dǎo)致其作為例行健康籂 檢工具的應(yīng)用受到限制。
[0005] 由于穿越盤繞的管道有困難，內(nèi)視鏡無法到達大部分小腸道。因此，要通達整條結(jié) 腸需要特殊的技術(shù)及預(yù)防措施，這將增加成本。內(nèi)視鏡的危險包括有可能貫穿所穿越的肉 體器官且麻醉會引起并發(fā)癥。此外，必須在程序期間的病患痛苦、健康危害、以及麻醉相關(guān) 的程序后停歇時間之間取得平衡。內(nèi)視鏡是必要的醫(yī)療資源，其占用臨床醫(yī)師大量的時間， 因而很耗成本。
[0006] 解決許多這些問題的替代活體內(nèi)影像感測器為膠囊內(nèi)視鏡。相機連同用于將資料 傳送到基地臺接收器或收發(fā)機的無線傳送器予以裝在可吞式膠囊內(nèi)。也可將體外的資料記 錄器用于接收并且記錄傳送的資料。資料主要包含數(shù)位相機所記錄的影像。膠囊也可包括 用于從基地臺傳送器接收指令或其他資料的無線接收器。除了射頻傳輸，另可使用較低頻 率的電磁信號。電力可利用感應(yīng)方式從外部電感器供應(yīng)至膠囊內(nèi)的內(nèi)部電感器，或從膠囊 內(nèi)的電池供應(yīng)。
[0007] 2006年9月 19 曰所提出申請名稱為「In Vivo Autonomous Camera with On-Board Data Storage or Digital Wireless Transmission in Regulatory Approved Band」的第 11/533, 304號美國專利申請案揭露一種附有板上資料儲存器的自主性膠囊相機系統(tǒng)。這個 申請案說明一種使用如半導(dǎo)體非揮發(fā)性歸檔記憶體以儲存所擷取影像的膠囊系統(tǒng)。在膠囊 從身體離開后將其取回。將膠囊外殼打開，并且將儲存的影像轉(zhuǎn)送到電腦工作站以供儲存 及分析用。對于透過無線傳輸所接收或從板上儲存器所取出任一者的膠囊影像，必須由診 斷師將影像顯示并且進行檢查以辨別潛在的異?，F(xiàn)象。
[0008] 除了上述前視型膠囊相機以外，還有其他種提供側(cè)面圖或全景視圖的膠囊相機。 為了適當(dāng)檢視組織表面，需要側(cè)邊或反轉(zhuǎn)角度。習(xí)知的裝置因其視場（FOV)實質(zhì)屬于前視 型而無法看到此類表面。由于為了精確診斷需要徹底觀察息肉或其他不規(guī)則體，讓醫(yī)師看 到這些器官的所有區(qū)域是重要的事情。由于習(xí)知的膠囊無法看到脊部周圍的隱藏區(qū)，故可 能會漏掉不規(guī)則體，并且嚴(yán)重醫(yī)療狀況的關(guān)鍵診斷可能會有缺失。2006年12月19日所提 出申請名稱為「In vivo sensor with panoramic camera」的第11/642, 275號美國專利申 請案中揭露一種配置成用來擷取相機周圍環(huán)境全景影像的相機。全景相機系統(tǒng)配有相對于 膠囊縱軸由視角范圍所界定的縱向視場（FOV)、以及縱軸附近方位角的全景范圍所界定的 煒向視場，使得相機可擷取實質(zhì)涵蓋360°煒度方向FOV的全景影像。
[0009] 從概念上講，可將多個個別相機配置成將360°煒度方向的FOV完全或?qū)嵸|(zhì)涵蓋。 然而，此種全景膠囊系統(tǒng)由于可能需要多個影像感測器及相關(guān)電子裝置而可能昂貴。2007 年1月17日所提出申請名稱為「Panoramic Imaging System」的第11/624, 209號美國專 利申請案中揭露一種有成本效益的全景膠囊系統(tǒng)。這個全景膠囊系統(tǒng)使用一種配置成結(jié)合 許多視場以涵蓋360°視野的光學(xué)系統(tǒng)。再者，將結(jié)合的視場投射到單一感測器上以節(jié)省成 本。因此，這個單一感測器膠囊系統(tǒng)以較低成本有效起了多個相機的作用。2008年11月 25 日所提出申請名稱為「Camera System with Multiple Pixel Arrays on a Chip」的第 12/323, 219號美國專利申請案、以及2012年9月25日所提出申請名稱為「Camera System with Multiple Pixel Arrays on a Chip」的第13/626, 168號美國專利申請案中進一步說 明用以支援全景視圖的感測器結(jié)構(gòu)及操作。
[0010] 在自主性膠囊系統(tǒng)中，當(dāng)膠囊相機行經(jīng)胃腸（GI)道時，于進程期間收集多個影像 還有其他資料。通常是將影像及資料顯示在顯示裝置上以供診斷師或醫(yī)療專業(yè)人士進行檢 查。為了提升檢查效率，以某些如顯示速度、快轉(zhuǎn)、倒轉(zhuǎn)、以及停止之類的顯示控制將影像持 續(xù)顯示成影片，允許使用者透過影像序列輕松地巡覽。將此組收集到的影像以影片資料方 式表示，可實質(zhì)改善檢查的效率。然而，每一個影像都僅提供胃腸道一小段有限的視野。宜 將膠囊影像結(jié)合成一張表示內(nèi)胃腸道表面剖視圖的大圖片。這張大圖片可利用高解析度大 螢?zāi)伙@示裝置讓使用者可同時觀看更多資訊。在將影像之間多余的重迭區(qū)移除后，可同時 檢視大面積的內(nèi)胃腸道表面。另外，大圖片可提供內(nèi)胃腸道表面的全視圖或重要部位。診 斷師或醫(yī)療專業(yè)人士應(yīng)該更輕松且快速地認(rèn)出如息肉之類的關(guān)注區(qū)。
【附圖說明】
[0011] 圖IA描述兩個附有重迭視場的相機的例示性組態(tài)。
[0012] 圖IB描述用以從圖IA所示兩個相機擷取影像的影像感測器陣列的例示性組態(tài)。
[0013] 圖2描述圖IA所示兩個相機所擷取影像的非重迭及重迭區(qū)。
[0014] 圖3描述用以將兩個重迭影像結(jié)合成一個寬影像的例示性影像融合。
[0015] 圖4A描述側(cè)視膠囊相機系統(tǒng)的膠囊旋轉(zhuǎn)及平移效應(yīng)。
[0016] 圖4B描述側(cè)視膠囊相機系統(tǒng)的相機傾斜效應(yīng)。
[0017] 圖5描述顯示根據(jù)本發(fā)明一具體實施例的膠囊相機系統(tǒng)所擷取多個影像的實施 例，這多個影像翹曲（warp)而形成復(fù)合影像。
[0018] 圖6描述所擷取影像局部變形（deformation)動態(tài)（時空）表示的實施例。
[0019] 圖7描述顯示根據(jù)本發(fā)明一具體實施例的膠囊相機系統(tǒng)所擷取多個影像的實施 例，關(guān)鍵事件基于排便而選擇的。
[0020] 圖8描述顯示根據(jù)本發(fā)明一具體實施例的膠囊相機系統(tǒng)所擷取多個影像的實施 例，關(guān)鍵事件基于轉(zhuǎn)動角度而選擇的。
[0021] 圖9描述顯示根據(jù)本發(fā)明一具體實施例的膠囊相機系統(tǒng)所擷取多個影像的實施 例，排便狀態(tài)分類成多個階段，并且與每一個階段有關(guān)的影像分成一組。
[0022] 圖10描述顯示根據(jù)本發(fā)明一具體實施例的膠囊相機系統(tǒng)所擷取多個影像的實施 例，其中，具有類似轉(zhuǎn)動角度的影像分為一組以形成復(fù)合影像。
[0023] 圖11描述顯示根據(jù)本發(fā)明一具體實施例的膠囊相機系統(tǒng)所擷取多個影像的實施 例，排便狀態(tài)分類成多個階段，并且與一階段有關(guān)的影像可與群組中相鄰影像有間隙。
[0024] 圖12描述顯示根據(jù)本發(fā)明一具體實施例的膠囊相機系統(tǒng)所擷取多個影像的實施 例，其中，轉(zhuǎn)動角度分類成多個階段，并且與一階段有關(guān)的影像可與群組中相鄰影像有間 隙。
[0025] 圖13A描述具有多個局部變形的例示性影像序列。
[0026] 圖13B描述顯示根據(jù)本發(fā)明一具體實施例的膠囊相機系統(tǒng)所擷取多個影像的實 施例，與局部變形對應(yīng)的影像節(jié)段同時顯示。
[0027] 圖14A描述在云端中計算拚接的影像，并且將最終影片傳送到用戶端。
[0028] 圖14B描述在云端中計算影像對之間的所有轉(zhuǎn)換，并且在用戶端機器上應(yīng)用即時 影像翹曲及混合的實施例。
[0029] 圖15描述四相機組態(tài)的實施例，兩鄰接相機之間有重迭視場以形成360°全視野 全景影像。
[0030] 圖16A描述360°全視野全景影像的膠囊旋轉(zhuǎn)及平移效應(yīng)。
[0031] 圖16B描述360°全視野全景影像的轉(zhuǎn)動補償實施例。
【具體實施方式】
[0032] 將輕易理解的是，大體上如本文圖示所述及所示，可用各式各樣不同的組態(tài)，設(shè)置 且設(shè)計本發(fā)明的組件。如此，如圖所示，底下本發(fā)明系統(tǒng)及方法具體實施例更詳細(xì)的說明 意圖不在于限制本發(fā)明的范圍，如所主張的權(quán)利要求書所述，而只是表示本發(fā)明選擇的具 體實施例。整篇說明書對于「一個具體實施例」、「一具體實施例」或類似用語的參照，意謂 著可將配合具體實施例所述的特定特征、結(jié)構(gòu)或特性含括在本發(fā)明的至少一個具體實施例 中。如此，整篇說明書各處出現(xiàn)的詞組「在一個具體實施例中」或「在一具體實施例中」不 必然全都指到相同的具體實施例。
[0033] 再者，可在一或多個具體實施例中以任何適宜的方式將所述特征、結(jié)構(gòu)或特性結(jié) 合。然而，所屬領(lǐng)域技術(shù)熟練者將辨認(rèn)的是，無需特定細(xì)節(jié)的一或多者，或利用其他方法、組 件等即可實作本發(fā)明。在其他實例中，為了避免混淆本發(fā)明的態(tài)樣，未詳細(xì)顯示或說明眾所 周知的結(jié)構(gòu)或操作。通過參照圖示，將最佳理