用于控制圖像流顯示的系統(tǒng)和方法
【專利摘要】本發(fā)明的實(shí)施例涉及一種控制圖像流顯示的系統(tǒng)和方法。系統(tǒng)可包括存儲(chǔ)圖像流的存儲(chǔ)器；圖像流可包括多個(gè)圖像幀。系統(tǒng)可進(jìn)一步包括處理器，其被配置成執(zhí)行方法?？稍谄聊坏膱D像流顯示區(qū)域中向用戶顯示活動(dòng)圖像流，在屏幕的速度控制區(qū)域上產(chǎn)生幀速率控制接口使得圖像流顯示區(qū)域與速度控制區(qū)域水平相鄰?？蓮挠脩艚邮沼糜陲@示圖像幀的圖像流期望的幀速率的指示，因?yàn)榭筛鶕?jù)在速度控制區(qū)域中的定位指示部的位置選擇幀速率。
【專利說(shuō)明】
用于控制圖像流顯示的系統(tǒng)和方法
技術(shù)領(lǐng)域
[0001]本發(fā)明總體涉及控制活動(dòng)圖像幀的顯示，更具體地說(shuō)，涉及為用戶提供控制顯示的工具。
【背景技術(shù)】
[0002]逐幀檢查影像或活動(dòng)圖像流以檢測(cè)異常行為是不同行業(yè)的許多不同用戶日常進(jìn)行的活動(dòng)。示例包括查看來(lái)自監(jiān)控?cái)z像頭的影像尋找異常行為的安全專家或查看由諸如包含攝像頭的可吞咽的膠囊等成像設(shè)備在人體內(nèi)捕獲的圖像影像或圖像流的醫(yī)生。待檢查的圖解數(shù)據(jù)量可能會(huì)非常大。這種檢查活動(dòng)會(huì)對(duì)用戶的感覺(jué)和警覺(jué)性造成沉重的負(fù)擔(dān)。
[0003]通常，大多數(shù)影像幀不含任何異常行為或任何關(guān)注的或可疑的發(fā)現(xiàn)。優(yōu)選以相對(duì)較快的速度(例如以每秒數(shù)幀的速度測(cè)量)檢查這些幀以縮短檢查時(shí)間，而不使檢查影像的用戶厭煩。當(dāng)檢查到可疑的發(fā)現(xiàn)時(shí)，用戶需要例如以較低的幀速率更仔細(xì)地檢查它，如果有必要的話，將影像倒回去以復(fù)查某些幀。此外，圖像流可具有基本上靜態(tài)的片段，以及包含相對(duì)頻發(fā)的活動(dòng)或大量關(guān)注的幀的片段。
[0004]大多數(shù)影像檢查應(yīng)用都具有包括速度控制的控制應(yīng)用。如果這種控制應(yīng)用將被顯示在屏幕上，它可包括位于影像幀的顯示區(qū)域的下方(或在顯示區(qū)域下部)的速度控制鍵(例如速度條)?？刂茟?yīng)用可包括停止/開(kāi)始影像(圖像流)并且改變圖像流前進(jìn)/后退方向的鍵。當(dāng)使用這種控制應(yīng)用的各種控制鍵時(shí)，需要用戶將眼睛從檢查的幀上移開(kāi)，將其視線向下引導(dǎo)到控制鍵上，然后點(diǎn)擊定位裝置，例如鼠標(biāo)，或觸摸觸摸屏以改變正在播放的影像模式。例如，為了改變活動(dòng)幀的速度，用戶必須指向速度條，然后點(diǎn)擊速度標(biāo)識(shí)部(s P e e dmarker)并且將其拖曳至指定速度。當(dāng)例如以20幀/秒的速度檢查影像時(shí)，即使錯(cuò)過(guò)一秒影像流，會(huì)導(dǎo)致錯(cuò)過(guò)20幀，這20幀可能包括可疑行為或可能關(guān)注的幀(例如犯罪活動(dòng)或病理候選區(qū)(pathology candidate))。
[0005]此外，例如，在為了改變圖像流的速度或方向，例如為了不遺漏重要幀，用戶不使用控制應(yīng)用并且被動(dòng)地連續(xù)以恒定速率查看圖像流(例如，與圖像流做最小交互)的情況下，用戶可能會(huì)感到厭倦并且注意力分散?？稍试S并且鼓勵(lì)用戶在不將其視線從圖片上移開(kāi)的情況下通過(guò)例如改變所顯示的圖像流的速度和/或方向主動(dòng)與圖像流進(jìn)行交互的速度控制應(yīng)用可能會(huì)允許用戶保持更多注意力或警覺(jué)，因此可降低用戶錯(cuò)過(guò)重要發(fā)現(xiàn)的機(jī)會(huì)。允許用戶以較快的幀速率查看不關(guān)注的圖像流可縮短檢查的時(shí)間，并且提高用戶的警覺(jué)性。
【附圖說(shuō)明】
[0006]在說(shuō)明書(shū)的結(jié)論部分特別指出被視為本發(fā)明的主題并且清楚地要求予以保護(hù)。然而，當(dāng)結(jié)合附圖閱讀時(shí)，參照以下詳細(xì)描述將會(huì)更好地理解關(guān)于結(jié)構(gòu)和操作方法與目標(biāo)、特征一起以及其優(yōu)點(diǎn)的發(fā)明，其中:
[0007]圖1A示出根據(jù)本發(fā)明的一些實(shí)施例的計(jì)算裝置的示例的高級(jí)框圖；
[0008]圖1B示出根據(jù)本發(fā)明的一些實(shí)施例的成像系統(tǒng)的示例的高級(jí)框圖；
[0009]圖2A-圖2C示出根據(jù)本發(fā)明的一些實(shí)施例的屏幕的示例；
[0010]圖3是說(shuō)明根據(jù)本發(fā)明的實(shí)施例的圖像流顯示的控制方法的流程圖；
[0011]圖4是說(shuō)明根據(jù)本發(fā)明的實(shí)施例的圖像流顯示的控制方法的流程圖；
[0012]圖5是說(shuō)明根據(jù)本發(fā)明的實(shí)施例的圖像流顯示的控制方法的流程圖；
[0013]圖6是說(shuō)明根據(jù)本發(fā)明的實(shí)施例在圖像流的篩選期間產(chǎn)生警報(bào)的方法的流程圖；
[0014]圖7A示出根據(jù)本發(fā)明的一些實(shí)施例的屏幕的示例；
[0015]圖7B示出根據(jù)本發(fā)明的一些實(shí)施例的在加速模式期間的屏幕的示例；
[0016]圖8示出根據(jù)本發(fā)明的一些實(shí)施例的可視指示部的示例；
[0017]圖9是說(shuō)明根據(jù)本發(fā)明的一些實(shí)施例的在圖像幀中關(guān)注的幀序列的確定方法的流程圖；
[0018]圖1O是說(shuō)明根據(jù)本發(fā)明的一些實(shí)施例的在圖像幀中關(guān)注的幀序列的確定方法的流程圖；
[0019]圖11是說(shuō)明根據(jù)本發(fā)明的一些實(shí)施例的在圖像幀中關(guān)注的幀序列的確定方法的流程圖；以及
[0020]圖12是顯示指示根據(jù)本發(fā)明的一些實(shí)施例的為每一幀計(jì)算的胃腸道中膠囊的速度或運(yùn)動(dòng)參數(shù)的圖表。
[0021]將理解的是，為了說(shuō)明的簡(jiǎn)單和清楚起見(jiàn)，在圖中所示的元件不一定是準(zhǔn)確繪制或按比例繪制的。例如，為了清楚起見(jiàn)，可放大一些元件相對(duì)于其它元件的尺寸或一些物理元件可包括在一個(gè)功能模塊或元件中。另外，適當(dāng)時(shí)，附圖標(biāo)記可在圖片中重復(fù)以便指示相應(yīng)或類似元件。
【具體實(shí)施方式】
[0022]在下面的詳細(xì)描述中，為了徹底理解本發(fā)明，闡述許多具體細(xì)節(jié)。然而，本領(lǐng)域技術(shù)人員將理解的是，本發(fā)明可在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)踐。在其它情況下，尚未詳細(xì)地描述公知的方法、過(guò)程和組件、模塊、單元和/或電路以免混淆本發(fā)明。關(guān)于一個(gè)實(shí)施例描述的一些特征或元件可與關(guān)于其它實(shí)施例描述的特征或元件結(jié)合。為了清楚起見(jiàn)，不重復(fù)討論相同或相似特征或元件。
[0023]雖然本發(fā)明的實(shí)施例不限于這一點(diǎn)，但是利用術(shù)語(yǔ)，例如，“處理”、“計(jì)算機(jī)處理”、“計(jì)算”、“確定”、“建立”、“分析”、“檢查”、“選擇”、“關(guān)聯(lián)”、“產(chǎn)生”、“顯示”等進(jìn)行的討論，可指計(jì)算機(jī)的操作和/或過(guò)程、計(jì)算平臺(tái)、計(jì)算系統(tǒng)或其它電子計(jì)算設(shè)備，其將表示計(jì)算機(jī)寄存器和/或存儲(chǔ)器內(nèi)的物理(例如，電子)量的數(shù)據(jù)操縱和/或變換成同樣表示計(jì)算機(jī)寄存器和/或存儲(chǔ)器內(nèi)物理量的其它數(shù)據(jù)和/或可存儲(chǔ)執(zhí)行操作和/或過(guò)程的指令的其它信息非臨時(shí)性存儲(chǔ)介質(zhì)。
[0024]雖然本發(fā)明的實(shí)施例不限于這一點(diǎn)，但是如此處使用的術(shù)語(yǔ)“多個(gè)”和“很多”可包括例如“多個(gè)”或“兩個(gè)或多個(gè)”。術(shù)語(yǔ)“多個(gè)”或“很多”可在整個(gè)說(shuō)明書(shū)中使用以描述兩個(gè)或更多的組件、設(shè)備、元件、單元、參數(shù)等。除非明確說(shuō)明，此處所描述的方法實(shí)施例不限于特定的順序或序列。另外，一些描述的方法實(shí)施例或其元件可在相同的時(shí)間點(diǎn)同時(shí)(simultaneous Iy)或并發(fā)(concurrent Iy)發(fā)生或進(jìn)行。
[0025]本發(fā)明的實(shí)施例可涉及一種控制用戶待檢查的圖像流的顯示的系統(tǒng)和方法。一些實(shí)施例可包括通過(guò)包括成像器的成像膠囊在結(jié)腸中捕獲的圖像幀或由監(jiān)控?cái)z像機(jī)捕獲的圖像幀。用戶(例如醫(yī)生或安全專家)可需要檢查用于檢查(例如對(duì)用戶或醫(yī)學(xué)專家)關(guān)注的或潛在關(guān)注的一幀或多幀序列的圖像幀流，其中一幀或多幀序列包含例如可能的可疑行為或可能關(guān)注的病理候選區(qū)。用戶恰當(dāng)?shù)貦z查所有圖像幀的能力可依賴于用戶的警覺(jué)性。允許用戶容易地控制幀速率以在不使他/她的眼睛離開(kāi)圖像幀的情況下改變圖像流回放方向(前進(jìn)或后退)和/或停止和開(kāi)始圖像流的回放，會(huì)使得錯(cuò)過(guò)流圖像中顯示的信息的風(fēng)險(xiǎn)降低。
[0026]為了有助于維持用戶的更高警覺(jué)，根據(jù)本發(fā)明一些實(shí)施例的系統(tǒng)可包括控制接口(例如控制應(yīng)用)，其可鼓勵(lì)用戶積極改變控制活動(dòng)幀的顯示的查看參數(shù)(例如幀速率、開(kāi)始/停止、回放方向等)?？刂平涌诳膳c活動(dòng)幀相鄰設(shè)置?？刂平涌诳上鄬?duì)較大(相對(duì)于已知的控制接口)，以允許用戶將其視線同時(shí)引導(dǎo)至活動(dòng)圖像幀和控制接口上。另外，在檢查活動(dòng)圖像幀期間，系統(tǒng)可向用戶產(chǎn)出警報(bào)。在即將顯示或到達(dá)(包括在活動(dòng)圖像幀中的)關(guān)注的幀序列之前，可以將警報(bào)以圖形標(biāo)識(shí)和/或聲音(從而提供預(yù)先確定的指示)、預(yù)定時(shí)間(例如2秒)或預(yù)定數(shù)量的幀的形式提供給用戶?？墒褂糜糜谧詣?dòng)檢測(cè)異常行為或可疑發(fā)現(xiàn)的程序或應(yīng)用檢測(cè)關(guān)注的幀序列。
[0027]如本文所使用的，用戶可以是人，其檢查包括由攝像頭或成像器捕獲的大量圖像幀(例如影像)以發(fā)現(xiàn)異常行為、病理候選區(qū)或任何由用戶確定的其它發(fā)現(xiàn)。用戶可以是醫(yī)生或醫(yī)學(xué)專業(yè)人士、安全專家、科學(xué)家、研究員等。
[0028]如本文所使用的，關(guān)注的幀序列可包括任何數(shù)量的、至少2個(gè)由用戶指示為“關(guān)注”的或?qū)τ谟脩舳詽撛陉P(guān)注的并因此需要低速檢查的相鄰幀。例如，關(guān)注的幀序列可包括潛在病理、異常行為的圖像、用戶想要檢查到的或本發(fā)明的實(shí)施例確定用戶想要密切或低速檢查的的任何幀。另外或可選地，所關(guān)注的幀序列可包括當(dāng)成像裝置(例如成像膠囊)在較高速度下運(yùn)動(dòng)時(shí)或由成像裝置(例如監(jiān)控?cái)z像頭捕獲的嫌疑人)捕獲的目標(biāo)在較高速度下移動(dòng)時(shí)捕獲的幀。
[0029]參照?qǐng)D1A，其示出根據(jù)本發(fā)明一些實(shí)施例的控制圖像幀的活動(dòng)流的顯示的系統(tǒng)的示例的高級(jí)框圖。系統(tǒng)100可包括計(jì)算機(jī)處理裝置110、存儲(chǔ)單元120、用戶接口 130。處理單元110可包括處理器112、操作系統(tǒng)114和存儲(chǔ)器116，例如，處理器可以是中央處理器(CPU)、芯片或任何合適的計(jì)算或可計(jì)算裝置。系統(tǒng)100可包含在臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板電腦、大型計(jì)算機(jī)等中。處理器112或諸如處理器17或處理器13(圖1B中)等其它處理器可被配置成通過(guò)執(zhí)行例如儲(chǔ)存在存儲(chǔ)器例如存儲(chǔ)器116中的程序執(zhí)行根據(jù)本發(fā)明的實(shí)施例的方法。
[0030]操作系統(tǒng)114可以是或可包括任何編碼片段，其被設(shè)計(jì)成和/或配置成執(zhí)行涉及處理裝置110的協(xié)調(diào)、調(diào)度、仲裁、監(jiān)督、控制或其它管理操作等的任務(wù)，例如調(diào)度程序的執(zhí)行。操作系統(tǒng)114可以是商業(yè)操作系統(tǒng)。例如，存儲(chǔ)器116可以是或可包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、動(dòng)態(tài)RAM(DRAM)、同步DRAM(SD-RAM)、雙倍數(shù)據(jù)速率(DDR)存儲(chǔ)器芯片、閃速存儲(chǔ)器、易失性存儲(chǔ)器、非易失性存儲(chǔ)器、高速緩沖存儲(chǔ)器、緩沖器、短期存儲(chǔ)器單元、長(zhǎng)期存儲(chǔ)器單元或其它合適的存儲(chǔ)器單元或存儲(chǔ)單元。存儲(chǔ)器116可以是或可包括多個(gè)可能不同的存儲(chǔ)單元。
[0031]存儲(chǔ)器116可存儲(chǔ)任何可執(zhí)行代碼，例如，應(yīng)用、程序、方法、任務(wù)或者腳本?？蓤?zhí)行代碼可包括用于控制圖像流顯示的代碼或執(zhí)行根據(jù)本發(fā)明的實(shí)施例的方法的任何其它代碼或指令?？蓤?zhí)行的代碼可在操作系統(tǒng)114的控制下通過(guò)處理器112執(zhí)行。
[0032]例如，存儲(chǔ)裝置120可以是或可包括硬盤驅(qū)動(dòng)器、軟盤驅(qū)動(dòng)器、光盤(⑶)驅(qū)動(dòng)器、CD可記錄的(CD-R)驅(qū)動(dòng)器、通用串行總線(USB)設(shè)備或其它合適的移動(dòng)存儲(chǔ)單元和/或固定存儲(chǔ)單元。本文所公開(kāi)的實(shí)施例所操作的諸如圖像、圖像幀或圖像流等數(shù)據(jù)可存儲(chǔ)在例如存儲(chǔ)裝置120和/或存儲(chǔ)器116中。內(nèi)容可被存儲(chǔ)在存儲(chǔ)裝置120中，并且可將其從存儲(chǔ)裝置120加載到存儲(chǔ)器116中，在存儲(chǔ)器116，所述內(nèi)容可由處理器112處理。例如，根據(jù)本發(fā)明的實(shí)施例，存儲(chǔ)裝置120可包括包含多個(gè)圖像幀的圖像流、與圖像幀相關(guān)的數(shù)據(jù)和/或與異常發(fā)現(xiàn)或可疑行為相關(guān)的數(shù)據(jù)。
[0033]用戶接口130可以是或可包括屏幕132(例如監(jiān)視器、顯示器、CRT等)、定位裝置134和音頻設(shè)備136。用戶接口 130可包括諸如鍵盤等其它輸入設(shè)備或可與諸如鍵盤等其它輸入設(shè)備相關(guān)聯(lián)。定位裝置134可以是鼠標(biāo)、觸摸屏或平板電腦或允許用戶控制(例如，通過(guò)手或手指的動(dòng)作)位于屏幕132上的定位指示部(例如，光標(biāo))的任何其它適合裝置。屏幕132可以是適合于顯示圖像流的任何屏幕和控制接口。在一些實(shí)施例中，屏幕132和定位裝置134可包括在單個(gè)裝置例如觸摸屏中。將認(rèn)識(shí)到，任何適當(dāng)數(shù)量的定位裝置都可包括在用戶接口130中。用戶接口 130可包括諸如一個(gè)或多個(gè)揚(yáng)聲器、耳機(jī)等音頻設(shè)備136和/或任何其它合適的音頻設(shè)備。將認(rèn)識(shí)到，任何合適數(shù)量的輸出設(shè)備可包括在用戶接口 130中。任何適用的輸入/輸出(I /0)設(shè)備都可被連接至處理單元110。例如，有線或無(wú)線網(wǎng)絡(luò)接口卡(NI C )、調(diào)制解調(diào)器、打印機(jī)或傳真機(jī)、通用串行總線(USB)設(shè)備或外部硬盤驅(qū)動(dòng)器可包括在用戶接口130 中。
[0034]本發(fā)明的實(shí)施例可包括諸如計(jì)算機(jī)或處理器永久可讀性介質(zhì)或計(jì)算機(jī)或處理器永久性存儲(chǔ)介質(zhì)，如存儲(chǔ)器、硬盤驅(qū)動(dòng)器或USB閃速存儲(chǔ)器等物件，上述物件編碼、包括或存儲(chǔ)指令，如計(jì)算機(jī)可執(zhí)行的指令，當(dāng)由處理器或控制器執(zhí)行所述指令時(shí)，所述指令執(zhí)行本文公開(kāi)的方法。
[0035]存儲(chǔ)介質(zhì)可包括但不限于任何類型的盤，其包括軟盤、光盤、光盤只讀存儲(chǔ)器(⑶-R0M)、可擦寫光盤(CD-RW)和磁光盤，半導(dǎo)體器件例如只讀存儲(chǔ)器(R0M)、諸如動(dòng)態(tài)RAM(DRAM)等隨機(jī)存取存儲(chǔ)器(RAM )、可擦除可編程只讀存儲(chǔ)器(EPROM )、閃速存儲(chǔ)器、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、磁卡或光卡或包括可編程存儲(chǔ)單元的適于存儲(chǔ)電子指示的任何類型介質(zhì)。
[0036]根據(jù)本發(fā)明的實(shí)施例的系統(tǒng)可包括但不限于組件，例如多個(gè)中央處理單元(CPU)或任何其它合適的多用途或?qū)Ｓ锰幚砥骰蚩刂破?、多個(gè)輸入單元、多個(gè)輸出單元、多個(gè)存儲(chǔ)器單元和多個(gè)存儲(chǔ)單元。另外，系統(tǒng)可包括其它適合的硬件組件和/或軟件組件。在一些實(shí)施例中，例如，系統(tǒng)可包括或者可以是個(gè)人計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、移動(dòng)計(jì)算機(jī)、膝上型計(jì)算機(jī)、筆記本計(jì)算機(jī)、終端、工作站、服務(wù)器計(jì)算機(jī)、平板計(jì)算機(jī)、網(wǎng)絡(luò)設(shè)備、或任何其它合適的計(jì)算設(shè)備。除非明確說(shuō)明，本文中所描述的方法實(shí)施例不限于特定的順序或序列。另外，一些所描述的方法實(shí)施例或其元件可在同一時(shí)間點(diǎn)發(fā)生或進(jìn)行。
[0037]參照?qǐng)D1B，其示出根據(jù)本發(fā)明的實(shí)施例的具有例如體內(nèi)成像系統(tǒng)的成像系統(tǒng)的示意圖。成像系統(tǒng)可包括諸如體內(nèi)成像裝置40等成像裝置(例如膠囊)、外部接收設(shè)備和/或記錄裝置12例如數(shù)據(jù)接收器和工作站14。成像裝置40可具有用于捕獲圖像幀或圖像幀流的成像器46、用于照亮體內(nèi)內(nèi)腔的照明源42、用于為裝置40供電的電源45，以及處理來(lái)自或到成像裝置40的數(shù)據(jù)和命令的處理器44。體內(nèi)成像裝置40還可包括用于將圖像和可能的其它數(shù)據(jù)發(fā)送至外部接收器12的帶有天線47的發(fā)射器41。在本發(fā)明的一些實(shí)施例中，成像裝置40可包括除了成像器46以外的一個(gè)或多個(gè)傳感器30，例如溫度傳感器、pH傳感器、壓力傳感器、血液傳感器、跟蹤傳感器等。成像器46可以是CCD或CMOS成像器或可以是另一種固態(tài)成像裝置或其它成像設(shè)備。照明源42可包括一個(gè)或多個(gè)LED或其它照明源。在本發(fā)明的一些實(shí)施例中，成像裝置40可以是獨(dú)立設(shè)備、膠囊或可吞咽膠囊。在本發(fā)明的其它實(shí)施例中，裝置40可能并不是獨(dú)立的，例如，裝置40可以是內(nèi)窺鏡或其它體內(nèi)成像裝置。
[0038]成像裝置40可將信息(例如圖像或其它數(shù)據(jù))發(fā)送至可能接近或戴在受試者身上的外部接收器12。接收器12可包括天線或天線陣列15和數(shù)據(jù)接收器存儲(chǔ)單元16。天線陣列15可以獲得由裝置40或裝置40的發(fā)射器41和天線47傳輸?shù)男盘?hào)。外部接收器12可包括用于處理圖像數(shù)據(jù)或其它數(shù)據(jù)的一個(gè)或多個(gè)處理器17。接收器12(和/或裝置40)可包括用于確定在一段時(shí)間內(nèi)獨(dú)立體內(nèi)成像裝置40的位置的定位單元(未示出)。例如，在一段時(shí)間內(nèi)，定位單元可以在三維空間中跟蹤裝置40的定位或位置和/或可追蹤距離，例如，在一段時(shí)間內(nèi)裝置40通過(guò)胃腸(GI)道或在一段時(shí)間內(nèi)通過(guò)GI道中的特定器官的距離。
[0039]接收器12可以采用其它合適的構(gòu)造，并且可不包括天線或天線陣列。在本發(fā)明的一個(gè)實(shí)施例中，例如，接收器12可包括用于顯示圖像數(shù)據(jù)或其它數(shù)據(jù)例如位置數(shù)據(jù)的LCD顯示器。在其它實(shí)施例中，例如，接收器12可通過(guò)有線、藍(lán)牙系統(tǒng)或無(wú)線連接電連接至顯示單元例如顯示單元18或工作站14以顯示由體內(nèi)裝置40傳輸?shù)暮?或由處理單元17、44或工作站14處理的數(shù)據(jù)。
[0040]在本發(fā)明的一個(gè)實(shí)施例中，例如，接收器12可接收和存儲(chǔ)來(lái)自成像裝置40的數(shù)據(jù)，例如被處理器17捕獲和/或處理的圖像留意數(shù)據(jù)。數(shù)據(jù)可存儲(chǔ)在系統(tǒng)100中包括的諸如存儲(chǔ)單元120等存儲(chǔ)單元中。隨后存儲(chǔ)的數(shù)據(jù)可被轉(zhuǎn)移至諸如個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)或其它便攜式計(jì)算裝置或固定式計(jì)算裝置等工作站14，其中可將數(shù)據(jù)進(jìn)一步分析、存儲(chǔ)和/或顯示給用戶例如健康專家。工作站14可包括系統(tǒng)100的一些或所有組件。系統(tǒng)100可包括在工作站14中。工作站14可通常包括處理器13(例如單元110和處理器112)、數(shù)據(jù)處理存儲(chǔ)單元19(例如存儲(chǔ)單元120)、硬盤驅(qū)動(dòng)器(例如存儲(chǔ)器116)、輸入-輸出裝置(例如用戶接口 130)和顯示單元18(例如屏幕132)。雖然備用配置是可能的，但是顯示單元18可包括監(jiān)視器。處理單元13可通常用作控制數(shù)據(jù)例如圖像數(shù)據(jù)或其它數(shù)據(jù)顯示的控制器，作為其功能的一部分。在一示例中，可采用處理器13和/或處理器17以控制圖像流的顯示。在一示例中，在篩查圖像流期間可采用處理器13和/或處理器17以向用戶產(chǎn)生警報(bào)。
[0041]顯示單元18可通常是常規(guī)的視頻顯示器，但也可以是能夠提供圖像或其它數(shù)據(jù)的任何其它裝置。執(zhí)行本發(fā)明的實(shí)施例的方法的指令或軟件可以作為工作站14的一部分，包括例如存儲(chǔ)在存儲(chǔ)器19中。
[0042]參照?qǐng)D2A-2C，其示出根據(jù)本發(fā)明的一些實(shí)施例，通過(guò)例如屏幕或監(jiān)控器132提供給用戶的接口屏幕或顯示器的示例。圖2A示出至少具有圖像流顯示區(qū)域202和速度控制區(qū)域204的接口顯示器200的示例。在一些實(shí)施例中，屏幕200可進(jìn)一步包括流行進(jìn)部分(stream advancement port 1n )206和水平控制區(qū)域208。圖像流顯不區(qū)域202可包括顯不器，其包括圖像流。處理器(例如處理器112)可向用戶顯示(或使屏幕或監(jiān)控器顯示)包括圖像流顯示區(qū)域202中的圖像流在內(nèi)的顯示器。諸如處理器17或處理器13等其它處理器可以執(zhí)行全部或部分本發(fā)明的實(shí)施例。例如，如圖2A所示，處理器可以顯示來(lái)自胃腸道的至少一個(gè)器官的被包括在成像膠囊中的程序裝置所捕獲的圖像幀。在另一示例中，處理器可顯示被銀行的監(jiān)控?cái)z像機(jī)捕獲的圖象幀。
[0043]速度控制區(qū)域204可包括用于控制幀速率的幀速率控制標(biāo)尺216和/或218，即將以所述幀速率在圖像流顯示區(qū)域中顯示圖像幀?？筛鶕?jù)在速度控制區(qū)域204中的幀速率控制標(biāo)尺216和/或218上的定位指示部214(例如，光標(biāo)或圖形標(biāo)識(shí)(graphic mark)，例如由定位裝置134(例如鼠標(biāo))控制的箭頭或小手)的位置，選擇顯示圖像幀流的期望幀速率。可將在此處使用的定位指示部可被定義為可移動(dòng)符號(hào)或者用于識(shí)別或指向計(jì)算機(jī)屏幕上的特定位置的各種手段中的任何一個(gè)。用戶可通過(guò)使用定位裝置(例如，定位裝置134)使定位指示部214在速度控制區(qū)域內(nèi)移動(dòng)來(lái)改變幀速率(例如，處理器每秒顯示的圖像幀的數(shù)量)，例如通過(guò)使定位指示部214在幀速率標(biāo)尺216和/或218的區(qū)域內(nèi)，例如向上或向下垂直移動(dòng)以選擇指示期望的幀速率的值(例如，所示的20幀/秒)。相較于水平移動(dòng)，垂直移動(dòng)是人手臂或手更自然的運(yùn)動(dòng)，并且用戶比較容易操作而無(wú)需使他/她的注意力集中在速度控制區(qū)域204中的控制接口。在一個(gè)實(shí)施例中，定位指示部在速度控制區(qū)域內(nèi)的移動(dòng)(例如用戶使用定位裝置移動(dòng)定位指示部)可包括期望的幀速率的變化并且可使系統(tǒng)報(bào)警幀速率。
[0044]另外地或可選地，速度控制區(qū)域204可包括設(shè)置圖像幀的回放方向的前進(jìn)/后退方向控制接口。例如，如圖2A所示，速度控制區(qū)域可被劃分成兩個(gè)子部分210和212。使定位指示部214位于子部分210中的移動(dòng)定位裝置134可使圖像流在向前的方向播放，將定位指示部214放置在子部分212中可使得圖像流在向后的方向播放。在本文中提及“向前”方向是指影像按照成像裝置捕獲圖像幀的時(shí)間順序播放，例如從最早捕獲的幀開(kāi)始播放，隨后實(shí)時(shí)播放順序捕獲的幀。在本文中提及的“向后”或反向方向是指影像按照幀的時(shí)間捕獲順序的相反順序回放，例如從用戶選擇的特定幀開(kāi)始，按照時(shí)間或捕獲順序遞減連續(xù)播放幀。在一些實(shí)施例中，前進(jìn)/后退方向的選擇可包括將定位指示部214(例如，通過(guò)移動(dòng)定位裝置134)放置在一個(gè)或多個(gè)圖形標(biāo)識(shí)215，例如在如圖2A所示的子部分210和212中示出的大三角形處。一個(gè)或多個(gè)圖形標(biāo)識(shí)227可包括在如圖2B中速度控制區(qū)域224的上端中示出的單獨(dú)部分中。
[0045]屏幕200還進(jìn)一步包括方向變化報(bào)警標(biāo)識(shí)219。通過(guò)定位裝置134的故意或非故意移動(dòng)，標(biāo)識(shí)219每次在屏幕200(或屏幕220或230)上出現(xiàn)，圖像的播放或流動(dòng)方向改變使得定位指示部214被放置在標(biāo)識(shí)215或227上方或在標(biāo)識(shí)215或227上方移動(dòng)。方向改變報(bào)警標(biāo)識(shí)219可在屏幕200、220或230區(qū)域中的任何部分處出現(xiàn)使得用戶觀察標(biāo)識(shí)219可將他/她的視線集中在顯示于例如屏幕200的左上部分上的圖像上，如圖2A所示。在圖2A所示的實(shí)施例中，子部分210可包括用于選擇向前方向的幀速率的幀速率標(biāo)尺216，子部分212可包括用于選擇向后方向的幀速率的幀速率標(biāo)尺218 (向后與幀收集的順序相反)。
[0046]圖像流顯示區(qū)域202和速度控制區(qū)域204可被定位在屏幕200上，使得用戶可將他的視線或目光引導(dǎo)至屏幕的圖像流顯示區(qū)域202上，同時(shí)(通過(guò)移動(dòng)定位裝置134)將定位指示部214在速度控制區(qū)域204中移動(dòng)。用戶可通過(guò)僅使用他/她的余光查看速度控制區(qū)域204，從而允許用戶從速度控制區(qū)域204得到一些可視信息，同時(shí)將其視線(通過(guò)將圖像集中在視網(wǎng)膜中央凹上得到的細(xì)節(jié))集中或聚焦在圖像流顯示器202上。圖像流顯示區(qū)域202相對(duì)于速度控制區(qū)域204的位置可以是:在基本上不需要將其視線從圖像流顯示區(qū)域202移開(kāi)的情況下，用戶可容易地將其視線引導(dǎo)到這兩個(gè)區(qū)域上，或從這兩個(gè)區(qū)域得到有用信息。因此，對(duì)圖像流的顯示的控制可由用戶執(zhí)行，同時(shí)將其集中的視線維持在顯示的圖像上。在一些實(shí)施例中，如圖2A所示，圖像流顯示區(qū)域202可與速度控制區(qū)域204水平相鄰(當(dāng)按預(yù)期將屏幕顯示在監(jiān)視器上時(shí))。在一些實(shí)施例中，速度控制區(qū)域204可以比閾值大；閾值可以基于圖像流顯示區(qū)域的面積計(jì)算。例如，圖像流顯示區(qū)域202的面積可例如是圖像流顯示區(qū)域的面積的約1/10-1/3范圍內(nèi)。
[0047]在圖2A所示的實(shí)施例中，屏幕200可包括定位區(qū)域(或字部分212)，從而使得速度控制區(qū)域204用來(lái)選擇顯示圖像幀流的向前方向，并且流前進(jìn)部分206用來(lái)選擇顯示圖像幀流的后退(例如時(shí)間或幀序列上的后退)方向。通過(guò)將定位指示部214從速度控制區(qū)域204移動(dòng)到屏幕200的定位區(qū)域206，執(zhí)行從向前方向移動(dòng)到向后方向。
[0048]在一些實(shí)施例中，定位指示部(例如指示部214)位置的選擇可在不點(diǎn)擊定位裝置(例如，定位裝置134)或不提供另外指示的情況下執(zhí)行。用戶可通過(guò)將定位指示部放置(例如懸停，但不點(diǎn)擊)在所選擇的速率值(例如，15幀/秒)上，或?qū)⒍ㄎ恢甘静?14懸停在其上方簡(jiǎn)單地選擇幀速率。用戶可通過(guò)將定位指示部移動(dòng)到區(qū)域202的不同位置(例如，標(biāo)有22幀/秒)來(lái)提高所選擇的速率。在一些實(shí)施例中，用戶可通過(guò)將定位指示部214(例如，在不點(diǎn)擊或不提供另外指示的情況下，移動(dòng)定位裝置134)從一個(gè)部分(例如，子部分210)移動(dòng)到另外一個(gè)部分(例如，子部分212)和/或通過(guò)定位向前或向后標(biāo)識(shí)，選擇前進(jìn)或后退播放圖像流。
[0049]屏幕200可進(jìn)一步包括流行進(jìn)部分206。流行進(jìn)部分206可包括向用戶指示播放過(guò)的圖像流從或相對(duì)于圖像流上一次停止的位置的進(jìn)度的進(jìn)度條或標(biāo)尺205。例如，如果向前或向后播放圖像流，進(jìn)度條或標(biāo)尺205可向用戶指示從圖像流開(kāi)始處圖像流大約播放了多少(例如1/6)。
[0050]在一些實(shí)施例中，屏幕200可包括水平控制接口區(qū)域208。水平控制接口區(qū)域208可被定位在例如屏幕200的下部。水平控制接口區(qū)域可包括用于控制圖像流顯示的多個(gè)控制選項(xiàng)，例如，啟動(dòng)/停止選項(xiàng)、幀速率選項(xiàng)、向前/向后選項(xiàng)等。用戶可通過(guò)例如在定位裝置上點(diǎn)擊(例如控制重疊在選項(xiàng)上的光標(biāo)或其他屏幕上指示部)，或提供另外的指示選擇在水平控制區(qū)域208中的控制選項(xiàng)。為了操作水平控制區(qū)域208中的控制選項(xiàng)，用戶必須將其視線從正在圖像流顯示區(qū)域202中播放的圖像上移開(kāi)，并且通過(guò)在定位裝置上定位或點(diǎn)擊來(lái)選擇控制選項(xiàng)。
[0051]參照?qǐng)D2B，其示出根據(jù)本發(fā)明的一些實(shí)施例的屏幕220的示例。屏幕220可至少包括圖像流顯示器222和速度控制區(qū)域224。圖像流顯示區(qū)域222可包括與上面描述的圖像流顯示器202相同的特征并且具有與上面描述的圖像流顯示器202相同的特性。速度控制區(qū)域224可包括幀速率控制接口 225，其包括通過(guò)指向(例如，操縱諸如鼠標(biāo)等定位裝置134來(lái)控制屏幕上定位指示部214或觸摸屏幕)速度控制區(qū)域224中的一個(gè)位置來(lái)選擇幀速率(例如8幀/秒)的標(biāo)尺。速度控制區(qū)域224可包括帶有用于在向前和向后兩個(gè)方向上播放圖像流的多個(gè)幀速率值的單個(gè)標(biāo)尺。為了從向前播放移動(dòng)到向后播放，用戶可移動(dòng)定位裝置137使得定位指示部214可定位在速度控制區(qū)域224的上端處的圖形標(biāo)識(shí)227，反之亦然。如圖2A所示，圖像流播放區(qū)域222和速度控制區(qū)域224可位于屏幕220上，使得用戶可將其視線引導(dǎo)至屏幕中的圖像流播放區(qū)域222上，同時(shí)如關(guān)于圖2A所討論的移動(dòng)速度控制區(qū)域224區(qū)域的面積中的定位指示部。屏幕220可進(jìn)一步包括流行進(jìn)部分(未示出)和/或與流行進(jìn)部分206相似的水平控制區(qū)域208和上面所討論的水平控制區(qū)域208。
[0052]參照?qǐng)D2C，其示出根據(jù)本發(fā)明的一些實(shí)施例的屏幕230的示例。屏幕230可包括圖像流顯示區(qū)域232和速度控制區(qū)域234。在一些實(shí)施例中，屏幕230可包括附加水平控制區(qū)域238。圖像流顯示區(qū)域232可包括在單獨(dú)回看時(shí)即將同時(shí)顯示向用戶的兩個(gè)或多個(gè)圖像流的顯示器，例如圖2C所示的右圖像流顯示器240和左圖像流顯示器242?？衫缡褂脦в袃蓚€(gè)成像系統(tǒng)的成像膠囊同時(shí)捕獲這兩個(gè)圖像流。例如，右側(cè)顯示器可包括由位于成像膠囊一側(cè)的成像系統(tǒng)在胃腸道中至少一個(gè)器官中捕獲的圖像流，左側(cè)顯示器可包括由位于成像膠囊的第二不同側(cè)的成像系統(tǒng)捕獲的圖像流。在另一示例中，由位于銀行、軍事基地、監(jiān)獄、大使館等中不同區(qū)域的多個(gè)監(jiān)控?cái)z像頭捕獲的圖像流的一些顯示器可同時(shí)顯示在圖像流顯示區(qū)域232中。
[0053]速度控制區(qū)域234可包括用于控制幀速率的幀速率控制接口235，其中圖像幀以該幀速率將在圖像流顯示區(qū)域中顯示，和/或可包括圖像流運(yùn)動(dòng)的向前/向后方向控制。例如，用戶可通過(guò)將定位指示部214(例如，光標(biāo))移動(dòng)或定位(例如，在無(wú)需在定位裝置134上點(diǎn)擊的情況下)至幀速率標(biāo)尺上期望的幀速率的位置處來(lái)選擇幀速率，和/或通過(guò)移動(dòng)或定位(例如，無(wú)需點(diǎn)擊)至速度控制區(qū)域234上端處的標(biāo)識(shí)上來(lái)選擇向前/向后顯示方向?？赏ㄟ^(guò)，例如，移動(dòng)定位裝置134來(lái)移動(dòng)定位指示部214。用戶可一起控制圖像流的所有顯示或通過(guò)在期望的顯示器上點(diǎn)擊分別控制每個(gè)顯示器(例如顯示器242和240)或可同時(shí)控制來(lái)自多個(gè)顯示器的顯示器的任何部分。在一些實(shí)施例中，屏幕230可包括附加部分238，其包括與圖2A中所描述的水平控制接口相似的在屏幕230下部的水平控制接口。
[0054]參照?qǐng)D3，其示出根據(jù)本發(fā)明的實(shí)施例的圖像流顯示的控制方法。實(shí)施例(正如本文所討論的所有實(shí)施例)可以由包括在顯示并且控制圖像流顯示的系統(tǒng)(例如系統(tǒng)100或工作站14)中的處理器(例如處理器112或處理器13)來(lái)執(zhí)行。執(zhí)行實(shí)施例(或本文中的其它實(shí)施例)的指令可存儲(chǔ)在由處理器執(zhí)行的非易失性存儲(chǔ)器(例如存儲(chǔ)器116)中。在操作310中，可向用戶顯示在屏幕的圖像流顯示區(qū)域中的圖像流。圖像流顯示區(qū)域可包括活動(dòng)圖像流的單個(gè)顯示器，例如，圖2A和2B的圖象流顯示區(qū)域202和222中示出的顯示器或可包括多個(gè)顯示器例如在圖2C的圖像流顯示區(qū)域232中示出的多個(gè)顯示器。在圖像流顯示區(qū)域中顯示的圖像可通過(guò)一個(gè)或多個(gè)成像設(shè)備(例如，相機(jī))事先捕獲并且存儲(chǔ)在處理器可接近的存儲(chǔ)裝置或存儲(chǔ)器例如存儲(chǔ)單元120中。
[0055]在操作320中，可以在屏幕的速度控制區(qū)域上創(chuàng)建、顯示或產(chǎn)生幀速率控制接口。，圖像流顯示區(qū)域相對(duì)于速度控制區(qū)域的位置可以是:在基本不需要將其眼睛從圖像流顯示區(qū)域移開(kāi)的情況下，用戶可容易地將視線同時(shí)引導(dǎo)至兩個(gè)部分上。因此，實(shí)現(xiàn)控制圖像流的顯示同時(shí)用戶將其視線保持在顯示的圖像上。在一些實(shí)施例中，速度控制區(qū)域可與圖像流顯示區(qū)域水平相鄰。在一些實(shí)施例中，速度控制區(qū)域可大于預(yù)定的或計(jì)算出的閾值;閾值可基于圖像流顯示的顯示面積來(lái)計(jì)算。例如，速度控制區(qū)域的面積可以是圖像流顯示區(qū)域面積的約至少1/7或在1/10-1/3之間。
[0056]產(chǎn)生幀速率控制接口可包括產(chǎn)生一個(gè)或多個(gè)具有增大的或減小的幀速率的幀速率標(biāo)尺，例如，圖2B和圖2C所示的速度控制區(qū)域224和234中說(shuō)明的從O幀/秒-23幀/秒的標(biāo)尺。在另一示例中，可在如圖2A所示的兩個(gè)速度控制區(qū)域202中創(chuàng)建、顯示或生成兩個(gè)幀速率標(biāo)尺。向前播放的第一標(biāo)尺216 (例如，0-25幀/秒)和向后播放的第二標(biāo)尺218 (例如，0-25幀/秒)可顯示在速度控制區(qū)域202中。
[0057]在操作330中，可例如從用戶接收顯示圖像幀流的期望幀速率的指示。可根據(jù)定位指示部在速度控制區(qū)域中的位置(例如通過(guò)處理器)選擇或確定幀速率使得用戶可通過(guò)使用定位裝置將定位指示部移動(dòng)(例如，懸停)到速度控制區(qū)域中來(lái)改變幀速率。例如，處理器可通過(guò)至少包括屏幕和定位裝置的用戶接口從用戶接收定位指示部(例如光標(biāo))的位置。例如，定位指示部的位置可在在期望的幀速率處的幀速率標(biāo)尺上，用戶可通過(guò)使用定位裝置(例如，通過(guò)移動(dòng)鼠標(biāo)或通過(guò)在觸摸屏上移動(dòng)手指)將定位指示部沿著幀速率標(biāo)尺移動(dòng)來(lái)改變幀速率。在一些實(shí)施例中，用戶可以在不點(diǎn)擊(或雙擊/觸摸)定位裝置的情況下，僅通過(guò)移動(dòng)(例如，懸停)定位指示部來(lái)選擇期望的幀速率。
[0058]在操作340中，可以所希望的幀速率向用戶顯示圖像流。在向用戶顯示活動(dòng)圖像流期間，可以有意識(shí)或無(wú)意識(shí)地進(jìn)行定位指示部的移動(dòng)。定位指示部的無(wú)意識(shí)運(yùn)動(dòng)可以是用戶無(wú)意地移動(dòng)定位裝置的結(jié)果，例如，當(dāng)用戶無(wú)意中移動(dòng)拿著鼠標(biāo)的手去取一杯咖啡時(shí)。
[0059]參照?qǐng)D4，其說(shuō)明根據(jù)本發(fā)明的實(shí)施例的圖像流顯示的控制方法。在操作410中，可向用戶顯示在屏幕的圖像流顯示區(qū)域中的圖像流。如上所述，操作410與操作310基本類似。
[0060]在操作420中，可在包括回放、停止、向前/向后方向改變控制接口的屏幕上顯示、創(chuàng)建或產(chǎn)生速度控制區(qū)域。可生成速度控制區(qū)域使得將其視線引導(dǎo)到屏幕的圖像流顯示區(qū)域的用戶能夠控制定位指示部例如定位指示部214在屏幕的速度控制區(qū)域的移動(dòng)。圖像流顯示區(qū)域可與速度控制區(qū)域水平相鄰，和/或速度控制區(qū)域可大于閾值;閾值可基于圖像流顯示的面積來(lái)計(jì)算。例如，速度控制區(qū)域的長(zhǎng)度可占據(jù)顯示區(qū)域(例如，速度控制區(qū)域704)的整個(gè)高度。速度控制區(qū)域的寬度可足夠?qū)捠沟糜脩艨梢酝ㄟ^(guò)在速度控制區(qū)域內(nèi)移動(dòng)定位裝置來(lái)移動(dòng)定位指示部，以便提高或降低觀看速度、改變回放方向等，同時(shí)保持他/她的視線集中于在圖像流顯示區(qū)域中顯示的圖像上，而基本上不需要將他/她的視線集中在速度控制區(qū)域上。生成向前/向后控制接口可包括在速度控制區(qū)域中產(chǎn)生圖形標(biāo)識(shí)(例如，標(biāo)識(shí)227)和/或隨意在屏幕的速度控制區(qū)域的兩個(gè)子部分產(chǎn)生兩個(gè)圖形標(biāo)識(shí)(例如，標(biāo)識(shí)215)。例如，如圖2A所示，一個(gè)標(biāo)識(shí)或多個(gè)標(biāo)識(shí)可具有箭頭形狀，每個(gè)位于不同的子部分，一個(gè)用于向前播放，一個(gè)用于向后播放。在另一示例中，如圖2B所示，標(biāo)識(shí)可包括兩個(gè)相反的箭頭。[0061 ]在操作430中，可從用戶接收期望的播放方向的指示。用戶可通過(guò)使用向前或向后標(biāo)識(shí)上的定位指示部在圖形標(biāo)識(shí)上定位來(lái)選擇期望的播放方向。用戶可通過(guò)將定位指示部從向前標(biāo)識(shí)移動(dòng)到向后標(biāo)識(shí)或通過(guò)將定位指示部從向前子部分移動(dòng)到向后子部分將向前播放切換至向退播放。在一些實(shí)施例中，在無(wú)需在定位裝置上點(diǎn)擊的情況下，執(zhí)行期望的播放方向的選擇。
[0062]在一些實(shí)施例中，當(dāng)播放方向或流方向發(fā)生改變時(shí)，用戶將收到警報(bào)。例如，在每次流方向或播放方向發(fā)生改變時(shí)，圖形標(biāo)識(shí)，例如方向改變報(bào)警標(biāo)識(shí)就會(huì)出現(xiàn)在屏幕上。在一些實(shí)施例中，方向改變圖形標(biāo)識(shí)219可以顯示為閃爍標(biāo)識(shí)，而在其它實(shí)施例中方向改變圖形標(biāo)識(shí)219可以顯示為固定標(biāo)識(shí)。在其它實(shí)施例中，可使用方向改變圖形標(biāo)識(shí)219的其它顯示方法。方向改變報(bào)警標(biāo)識(shí)219可出現(xiàn)在屏幕的任何部分或區(qū)域中使得用戶可保持他/她的視力集中在顯示的圖像上。警報(bào)可以允許用戶驗(yàn)證在播放方向或流方向上的變化是否是期望的，并不是無(wú)意進(jìn)行，例如，通過(guò)定位裝置134的非故意移動(dòng)。
[0063]在操作440中，圖像流可以在所希望的播放方向上顯示。
[0064]參照?qǐng)D5，其說(shuō)明本發(fā)明實(shí)施例的圖像流顯示的控制方法。操作510和520可與操作310和320基本上類似，因而不再討論。
[0065]在操作530中，可從用戶接收開(kāi)始或停止圖像流回放的指令。例如，當(dāng)定位指示部214位于屏幕的速度控制區(qū)域和/或屏幕的圖像流顯示器中的任意位置時(shí)，用戶可以例如點(diǎn)擊定位裝置134或提供另外的指示來(lái)停止圖像流的移動(dòng)或使靜止的圖像流開(kāi)始或重新開(kāi)始(例如當(dāng)屏幕的圖像流播放區(qū)域顯示單幀畫面時(shí))。停止圖像流可以使單個(gè)靜態(tài)幀得以顯示。例如，當(dāng)定位指示部被位于或定位于速度控制區(qū)域中，同時(shí)用戶在定位裝置上點(diǎn)擊或者通過(guò)在定位裝置上點(diǎn)擊時(shí)，系統(tǒng)可從用戶接收開(kāi)始或停止圖像幀流顯示或行進(jìn)的指令，所述指令被提供或顯示給處理器。
[0066]在操作540中，從用戶接收向前或向后滾動(dòng)或移動(dòng)幀(例如，每次一幀)的指令。當(dāng)圖像流的回放停止時(shí)，例如在用戶點(diǎn)擊定位裝置或發(fā)送另一指示之后，用戶可提供這些指令。在停止回放之后，用戶可通過(guò)使用定位裝置使圖像向前或向后滾動(dòng)或移動(dòng)，例如一次一幀或多幀。例如，定位裝置可以是鼠標(biāo)，滾動(dòng)幀的指令可以通過(guò)檢測(cè)鼠標(biāo)滾輪的滾動(dòng)來(lái)接收。在另一示例中，可通過(guò)將定位裝置在顯示器上前后、上下、左右移動(dòng)來(lái)檢測(cè)定位指示部在速度控制區(qū)域中的移動(dòng)來(lái)接收滾動(dòng)幀的指令。
[0067]在操作550中，可從用戶接收通過(guò)在速度控制區(qū)域上的標(biāo)識(shí)上定位從而向前或向后顯示或播放圖像幀流的指令。操作550可包括與上面描述的、在圖4中示出的方法的實(shí)施例的操作420和430的特征相似的特征。
[0068]在操作560中，從用戶接收將圖像幀臨時(shí)加速(提高流的顯示速度或進(jìn)度)至(相對(duì))高速的指令。用戶例如通過(guò)點(diǎn)擊(或提供另外指示)并且將定位裝置在點(diǎn)擊的位置處保持一段時(shí)間從而將圖像幀流臨時(shí)加速至最大幀速度或預(yù)定的高幀速率(并且由于此或者響應(yīng)于此，系統(tǒng)可以接收加速的指令)，其中將定位裝置在點(diǎn)擊的位置處保持的這段時(shí)間就是圖像幀流即將加速到預(yù)定高速的時(shí)間。在圖像流的靜態(tài)片段或基本無(wú)變化片段期間，可激活臨時(shí)加速速率，一旦用戶識(shí)別到所關(guān)注的片段或動(dòng)態(tài)片段時(shí)即可使其失活(例如，用戶停止按壓定位裝置的點(diǎn)擊按鈕)。例如，當(dāng)需要臨時(shí)加速圖像流時(shí)，用戶可點(diǎn)擊并按住鼠標(biāo)的左鍵或右鍵，或用手指觸摸并按住觸摸屏。例如，用戶可以點(diǎn)擊并按住鼠標(biāo)的左鍵或右鍵達(dá)300毫秒，從而激活圖像流的加速，其中只要用戶繼續(xù)按住鼠標(biāo)超過(guò)最初時(shí)段，則加速即可發(fā)生。可使用點(diǎn)擊后用于保持鼠標(biāo)的按鈕從而引起圖像流加速的其它時(shí)間段，例如從100毫秒到3秒之間的任何時(shí)間段。在加速期間，處理器可以以快速幀速率(例如，100幀/秒)向用戶顯示圖像流和/或僅向用戶顯示幀的一部分，例如，處理器可以顯示連續(xù)兩幀中的一幀、連續(xù)三幀中的兩幀、十幀中的九幀等。在一些實(shí)施例中，一旦加速速率失活，圖像流可以以先前使用的幀速率回放，而在另一實(shí)施例中，圖像流可以自動(dòng)地停止或暫停，直到用戶選擇新的回放幀速率。
[0069]在操作570中，可根據(jù)接收到的指令顯示圖像數(shù)據(jù)流。在一些實(shí)施例中，只可執(zhí)行操作530-560中的部分操作。例如，只執(zhí)行操作510-540和570。在一些實(shí)施例中，圖3中示出的操作330可結(jié)合操作530-560中的一個(gè)或多個(gè)操作執(zhí)行。本發(fā)明不限于在圖3-5中的任意一個(gè)公開(kāi)的操作的任意組合。
[0070]本發(fā)明的一些方面可涉及用于在圖像流接近所關(guān)注的幀序列時(shí)向檢查圖像流的用戶產(chǎn)生警報(bào)的系統(tǒng)和方法，例如，在顯示的圖像流的當(dāng)前幀到達(dá)或顯示所關(guān)注的幀序列之前，通過(guò)以預(yù)定時(shí)間或預(yù)定幀數(shù)量提供預(yù)定指示，可以向用戶產(chǎn)生警報(bào)。產(chǎn)生警報(bào)的系統(tǒng)與圖1A公開(kāi)的系統(tǒng)100或圖1B公開(kāi)的裝置14基本相似。根據(jù)本發(fā)明的實(shí)施例，所關(guān)注的幀序列可包括展示所關(guān)注的發(fā)現(xiàn)(例如，病理候選區(qū))的圖像幀，其中所關(guān)注的幀序列需要在較低的幀速率下檢查圖像幀流。
[0071]另外或可可選地，所關(guān)注的幀序列可包括當(dāng)移動(dòng)成像設(shè)備在比平均速度高或低的速度下移動(dòng)時(shí)，由該成像設(shè)備捕獲到的序列。用戶可決定是在較低或較高的幀速率下檢查所關(guān)注的幀序列，以便不遺漏在所關(guān)注的幀序列中捕獲的重要信息或快速移動(dòng)在低速下捕獲的序列。例如，由位于成像膠囊中的成像裝置捕獲的圖像，其中存在膠囊在比平均速度快的速度下移動(dòng)(例如，在結(jié)腸的某些區(qū)域中)的指示。例如，可從包含在成像裝置中的位置檢測(cè)器和/或從圖像數(shù)據(jù)中(例如通過(guò)基于圖像配準(zhǔn)算法計(jì)算膠囊的進(jìn)度)得到與膠囊的速度相關(guān)的指示。在另一示例中，圖像幀可被位于安全車上的攝像頭捕獲，所關(guān)注的幀序列可與在車輛加速時(shí)獲得的幀序列有關(guān)。在另一示例中，可以審查監(jiān)視攝像機(jī)的視頻。當(dāng)在圖像流中識(shí)別出異常行為時(shí)，可向用戶提供警報(bào)。
[0072]參照?qǐng)D6，其說(shuō)明根據(jù)本發(fā)明的實(shí)施例的在圖像流的檢查過(guò)程中產(chǎn)生警報(bào)的方法。與處理器相關(guān)聯(lián)的存儲(chǔ)器或存儲(chǔ)單元(例如，存儲(chǔ)單元120)可存儲(chǔ)包括例如胃腸道的至少一個(gè)器官的圖像幀的圖像流，其由在成像膠囊中包括的成像裝置或任何其它便攜式和移動(dòng)成像裝置捕獲。在操作610中，可在屏幕上向用戶顯示圖像流。屏幕或屏幕的一部分可包括活動(dòng)圖像流的單一顯示窗口，例如，在圖2A和圖2B的圖像流顯示區(qū)域202和圖222中示出的顯示器或可包括多個(gè)顯示窗口，例如，在圖2C的圖像流顯示區(qū)域232中示出的顯示窗口。
[0073]在操作620中，可在圖像流中確定所關(guān)注的幀序列。幀序列可包括至少兩個(gè)圖像幀。所關(guān)注的幀序列可包括用戶可考慮以較慢的速率，或者以較快的速率檢測(cè)的任何圖像序列。序列可包括異常行為或所關(guān)注的發(fā)現(xiàn)(例如，病理候補(bǔ)區(qū))的圖像，或者可包括當(dāng)成像設(shè)備(或圖像中所識(shí)別的對(duì)象)以較快的速度移動(dòng)時(shí)所捕獲的幀序列。下面給出一些用于確定所關(guān)注的幀序列的實(shí)施例的不例。
[0074]在操作630中，可以使用標(biāo)識(shí)和/或聲音向用戶創(chuàng)建、產(chǎn)生或提供警報(bào)，警報(bào)在所顯示的圖像流的當(dāng)前幀到達(dá)或變成所關(guān)注的幀序列之前的預(yù)定時(shí)間產(chǎn)生。例如，可在顯示幀序列的第一幀之前的時(shí)間提供警報(bào)。例如，可以在所關(guān)注的幀序列顯示前I秒、2秒、5秒或更長(zhǎng)時(shí)間(或圖像幀的閾值數(shù)量)點(diǎn)產(chǎn)生警報(bào)?；跒樘峁┚瘓?bào)而限定的時(shí)間量，可使用用戶使用的用于顯示圖像流的幀速率來(lái)估計(jì)在哪個(gè)或哪些幀中應(yīng)顯示警報(bào)。時(shí)間量可由用戶配置，或預(yù)先確定并且存儲(chǔ)在系統(tǒng)中。在另一示例例中，用戶可配置在所識(shí)別的序列之前在其中出現(xiàn)警報(bào)的圖像的數(shù)量。當(dāng)顯示的圖像流達(dá)到所關(guān)注的幀序列時(shí)，警報(bào)或標(biāo)識(shí)可以是可出現(xiàn)在屏幕上的可視指示部(例如，圖形標(biāo)志)。在一些實(shí)施例中，處理器可被配置成當(dāng)圖像流接近所關(guān)注的幀序列時(shí)修改可視指示部，例如，當(dāng)圖像流接近所關(guān)注的幀序列時(shí)，處理器可將可視指示部的顏色，例如，由黃色變成橘色，然后變成紅色。在另一示例中，當(dāng)圖像流接近所關(guān)注的幀序列時(shí)，可視指示部的大小和/或亮度/暗度可增大。在一些實(shí)施例中，處理器可被配置成在所關(guān)注的幀序列的最后一幀處或者在所關(guān)注的幀序列的最后一幀之后移除可視指示部。處理器可立即刪除可視指示部(指示器可以在幀內(nèi)出現(xiàn)，并在下一幀消失)或可在多個(gè)幀內(nèi)逐漸消失。在一些實(shí)施例中，可視指示部可以是動(dòng)畫物體(例如沙漏)。
[0075]另外或可選地，標(biāo)識(shí)可以是聲音。在一些實(shí)施例中，處理器可被配置成修改傳送給用戶的聲音的音量或頻率內(nèi)容中的至少一個(gè)，例如，當(dāng)圖像流接近所關(guān)注的幀序列時(shí)，可以增加聲音的音量和/或可以增加聲音的頻率的數(shù)量(例如，可播放曲調(diào))。在一些實(shí)施例中，處理器可被配置成在所關(guān)注的幀序列結(jié)束時(shí)，減少或消除聲音的音量和/或頻率內(nèi)容。
[0076]一些實(shí)施例可包括如上參照?qǐng)D3-5所討論的用于控制圖像流的顯示的一個(gè)或多個(gè)操作。一些實(shí)施例可包括控制將顯示圖像流的幀速率和/或控制播放圖像流的向前/向后方向。
[0077]在一些實(shí)施例中，從用戶接收當(dāng)圖像流接近所關(guān)注的幀序列時(shí)自動(dòng)降低圖像流的顯示速率的指令。用戶可在播放圖像流之前或在圖像流播放的任意階段選擇自動(dòng)降速模式。在接收指令之后，處理器可以所關(guān)注的任一幀序列的恒定幀速率降低速率直到另有指示。在所關(guān)注的幀序列結(jié)束時(shí)，處理器可將幀速率增大到降低顯示速率之前的速率。在一些實(shí)施例中，用戶在選擇自動(dòng)加速模式時(shí)可限定加速的幀速率。
[0078]在一些實(shí)施例中，屏幕可以顯示當(dāng)前使用的幀速率的指示。圖像幀流可包括:“靜態(tài)”圖像流部分，在其中圖像流的圖像基本上保持不變和“動(dòng)態(tài)”圖像流部分，在其中圖像流的圖像變化，使得所述“靜態(tài)”和“動(dòng)態(tài)”圖像流部分中的每個(gè)包括多個(gè)圖像幀。在一些實(shí)施例中，“動(dòng)態(tài)”圖像流部分可以是所關(guān)注的幀序列。處理器(例如，處理器112)可被配置成識(shí)別“靜態(tài)”圖像幀和“動(dòng)態(tài)”圖像幀。處理器可被進(jìn)一步配置成在屏幕(例如屏幕200、220或230)上向用戶顯示當(dāng)前幀顯示速率是“靜態(tài)”幀或“動(dòng)態(tài)”幀的的指示以及顯示圖像流的幀速率。在一些實(shí)施例中，僅針對(duì)“動(dòng)態(tài)”部分或僅針對(duì)“靜態(tài)”部分提供指示。當(dāng)顯示的幀為“動(dòng)態(tài)”或“靜態(tài)”時(shí)，處理器可被配置成自動(dòng)適應(yīng)幀速率。例如，處理器可基于“靜態(tài)”圖像流部分的多個(gè)圖像之間的相似性增大“靜態(tài)”圖像流部分的幀速率。
[0079]在一些實(shí)施例中，處理器可以向用戶顯示圖像流的“靜態(tài)”部分或“動(dòng)態(tài)”部分被顯示或即將被顯示的指示、當(dāng)前使用的幀速率的指示、當(dāng)前幀顯示速率為“基本”或“加速”的指示、幀顯示速率的相對(duì)加速(例如，“基本”速率的兩倍、“基本”速率的三倍等)的指示等。在一些實(shí)施例中，處理器可在屏幕上呈現(xiàn)圖像流是用“加速”或非“基本”幀顯示速率顯示的顏色指示或警報(bào)，例如，以提醒操作當(dāng)前模式的用戶。于2006年8月24日提交的公開(kāi)號(hào)為2008/0051642、標(biāo)題為“以可變速率顯示體內(nèi)圖像的裝置、系統(tǒng)和方法(DEVICE,SYSTEM ANDMETHOD OF DISPLAYING IN-VIVO IMAGES AT VARIABLE RATE)” 的美國(guó)專利公開(kāi)根據(jù)圖像幀的“靜態(tài)”或“動(dòng)態(tài)”特征自動(dòng)控制幀速率的系統(tǒng)和方法，該專利已經(jīng)轉(zhuǎn)讓給本專利申請(qǐng)的共同專利權(quán)人，并且以引用的形式將其全部?jī)?nèi)容并入本文。
[0080]圖7A示出根據(jù)本發(fā)明的一些實(shí)施例的示出可視指示部710的屏幕700的示例。屏幕700可包括用于顯示圖像流的圖像流顯示區(qū)域702。圖像流顯示區(qū)域702可向用戶顯示一個(gè)或多個(gè)圖像流或圖像流窗口。另外，圖像流700可包括其它部分。例如，根據(jù)本發(fā)明的一些實(shí)施例，屏幕700可包括速度控制區(qū)域704，其包括用于控制幀速率的幀速率控制接口和/或圖像幀移動(dòng)的前進(jìn)/后退方向控制，即將以所述幀速率在圖像流顯示區(qū)域702中顯示圖像幀。
[0081]屏幕700可包括包含進(jìn)度條或標(biāo)尺的流行進(jìn)部分706，所述進(jìn)度條或標(biāo)尺向用戶顯示播放的圖像流相對(duì)于該圖像流上一次停止或暫停時(shí)的幀的進(jìn)程。流行進(jìn)部分706可向用戶顯示在圖像流部分顯示的當(dāng)前幀與圖像流上一次停止或暫停之間的距離(例如，以幀或時(shí)間測(cè)量)。流行進(jìn)部分706可例如通過(guò)在流行進(jìn)部分706的中間線707上點(diǎn)擊允許用戶容易地返回到前一次停止的點(diǎn)或幀。在另一示例中，流行進(jìn)部分706可例如通過(guò)點(diǎn)擊在流行進(jìn)部分706的左側(cè)711上的定位裝置214使影像從當(dāng)前幀向后倒回預(yù)定量的幀(或重新定位回放的開(kāi)始點(diǎn))。同樣地，通過(guò)在流行進(jìn)部分706的右側(cè)712上點(diǎn)擊，圖像流可以向前推進(jìn)預(yù)定量的幀或預(yù)定時(shí)間。當(dāng)在右側(cè)712點(diǎn)擊或定位時(shí)，可在系統(tǒng)中預(yù)先確定可從當(dāng)前幀跳過(guò)的圖像幀的數(shù)量，例如50幀和/或可由用戶配置。同樣地，當(dāng)在左側(cè)711點(diǎn)擊或定位時(shí)，可預(yù)先確定圖像流的當(dāng)前幀返回的幀的數(shù)量，例如50幀和/或由用戶設(shè)置。
[0082]當(dāng)用戶使用流行進(jìn)部706滾動(dòng)圖像時(shí)，例如，在停止圖像流的活動(dòng)顯示后，指示部714可指示用戶在哪個(gè)方向上滾動(dòng)，例如，相對(duì)于活動(dòng)顯示停止的圖像。例如，指示部714的形狀可以是箭頭。當(dāng)指示部714正在指向右側(cè)時(shí)，它可指示用戶滾動(dòng)正在導(dǎo)致圖像流向前行進(jìn)，當(dāng)指示部714正在指向左側(cè)時(shí)，它可指示用戶滾動(dòng)正在導(dǎo)致圖像流向后返回。可以使用其他方向和方向意義。流行進(jìn)部706可使指示部向左或向右移動(dòng)預(yù)定(或可設(shè)置的)量的幀。在預(yù)定量的圖像后，如果用戶進(jìn)一步滾動(dòng)，則會(huì)出現(xiàn)另一指示。例如，可使用不同顏色顯示左側(cè)711或右側(cè)712。可使用其它指示。當(dāng)用戶改變滾動(dòng)方向并且繼續(xù)滾動(dòng)越過(guò)上次停止的活動(dòng)圖像時(shí)，可顯示提醒用戶已經(jīng)改變了滾動(dòng)方向并且影像正在以與先前不同的方向顯示的指示。根據(jù)所選擇的顯示方法可改變指示部714，例如，當(dāng)用戶選擇僅顯示有嫌疑的流血圖像的顯示模式時(shí)，指示部714可顯示紅色(或其它顏色)。同樣地，如果用戶選擇根據(jù)一定選擇標(biāo)準(zhǔn)僅顯示捕獲的圖像的一部分的顯示模式時(shí)，則指示部714可相應(yīng)地指出所選擇的顯示方法。
[0083]在一些實(shí)施例中，一旦在圖像流顯示區(qū)域702中繼續(xù)顯示圖像流，將會(huì)清除圖像流的最后停留處或暫停處，然后可由用戶激活圖像流的新停留處或暫停處。
[0084]在“常規(guī)”或“正?！憋@示模式中，用戶可使用例如每秒0-25幀的標(biāo)尺，選擇針對(duì)向前播放方向或向后播放方向的幀速率，例如，如在區(qū)域704當(dāng)前出現(xiàn)。在“加速”顯示模式中，例如，在點(diǎn)擊并且按住定位裝置時(shí)可由用戶激活的“加速”顯示模式中，幀速率標(biāo)尺可改變以支持加速幀顯示速率的選擇，例如，用戶可選擇例如每秒25-100幀的幀速率，例如，在圖7B的724區(qū)域中所示。在加速模式期間，在速度控制區(qū)域中的標(biāo)尺可以從在704區(qū)域中每秒0-25幀改變到在區(qū)域724中的每秒25-100幀。一旦用戶停止按住點(diǎn)擊的按鈕，顯示器可返回至“正?！?未加速的)顯示模式(例如，速度控制區(qū)域704)。
[0085]當(dāng)選擇不同窗口顯示模式時(shí)，例如，同時(shí)顯示圖像流(或兩個(gè)圖像流)的兩個(gè)圖像的雙窗口(例如圖2C所示)，同時(shí)顯示四個(gè)圖像流窗口的四窗口等，在區(qū)域704中的幀速率選擇標(biāo)尺也可發(fā)生改變。在一些實(shí)施例中，當(dāng)激活加速模式時(shí)，可將顏色指示應(yīng)用到幀速率選擇區(qū)域以提醒用戶該特殊顯示模式?？砂l(fā)出或顯示其它警報(bào)以向用戶指示特定的顯示模式。
[0086]屏幕700可進(jìn)一步包括回放控制部分708，其包括在屏幕700的下段處的水平控制接口。根據(jù)本發(fā)明的一些實(shí)施例，水平控制接口可包括用于控制圖像流的顯示的一些控制選項(xiàng)。
[0087]例如，可視指示部710可以是可向用戶產(chǎn)生警報(bào)的任何圖形標(biāo)志。圖8示出可用作可視指示部的圖形標(biāo)志的一些示例。在另一示例中，可視指示部可以是動(dòng)畫物體(例如，閃爍的閃光燈)，其在圖像流接近所關(guān)注的幀序列和/或在檢查(檢查)所關(guān)注的幀序列期間可移動(dòng)或可改變。
[0088]參照?qǐng)D9，其說(shuō)明根據(jù)本發(fā)明的一些實(shí)施例的在圖像流中確定所關(guān)注的幀序列的方法。在操作910中，可分析圖像流以定位病理候選區(qū)。圖像流可包括病理候選區(qū)例如潰瘍、息肉、腫瘤、疑似出血或紅色區(qū)域等的圖像。病理候選區(qū)可通過(guò)病理檢測(cè)器檢測(cè)。處理器(例如處理器112)可分析在圖像流中包括的圖像以定位病理候選區(qū)。存在用于分析例如從胃腸道中的器官中捕獲的圖像的各種方法。例如，與圖像中的病理候選區(qū)的顯示相關(guān)的圖像數(shù)據(jù)或圖像性質(zhì)(例如與病理候選區(qū)的形狀、顏色、密度等相關(guān)的性質(zhì))可被存儲(chǔ)在與處理器相關(guān)聯(lián)存儲(chǔ)器或存儲(chǔ)單元中。處理器可將圖像數(shù)據(jù)與位于包含在圖像流的圖像中的對(duì)象比較，并且選擇一個(gè)或多個(gè)圖像幀，每個(gè)圖像幀示出具有與所存儲(chǔ)的圖像數(shù)據(jù)的相似性的對(duì)象。
[0089](通過(guò)處理器)識(shí)別病理候選區(qū)的方法的示例可包括識(shí)別在存儲(chǔ)的圖像幀中的橢圓形的形狀。方法可進(jìn)一步包括提取與每個(gè)識(shí)別的橢圓形形狀相關(guān)的數(shù)據(jù)例如顏色、大小、高寬比等。處理器可將提取的數(shù)據(jù)與存儲(chǔ)在與處理器相關(guān)聯(lián)的存儲(chǔ)器或存儲(chǔ)單元中的數(shù)據(jù)比較。例如，存儲(chǔ)器或存儲(chǔ)單元可包括查找表，其包含可與典型的病理候選區(qū)例如息肉相關(guān)的大小、顏色和高寬比的組合清單，并且可進(jìn)一步將存儲(chǔ)在查找表中的數(shù)據(jù)和提取的數(shù)據(jù)比較。方法可進(jìn)一步包括基于比較確定幀中是否示出病理候選區(qū)。于2005年9月30日提交的、第8，423，123號(hào)、標(biāo)題為“體內(nèi)特征檢測(cè)的系統(tǒng)和方法(SYSTEM AND METHOD FOR IN-VIVO FEATURE DETECT1N)”的美國(guó)專利公開(kāi)一種用于檢測(cè)和識(shí)別病理候選區(qū)的方法和系統(tǒng)，該專利已經(jīng)轉(zhuǎn)讓給本專利申請(qǐng)的共同專利權(quán)人，并且將其全部?jī)?nèi)容通過(guò)引用并入本文。于2002年3月14日提交的、公開(kāi)號(hào)為2002/0177779、標(biāo)題為“用于在體內(nèi)中檢測(cè)比色異常的方法和系統(tǒng)(Method and system for detecting colorimetric abnormalities invivo)”的美國(guó)專利公開(kāi)用于在體內(nèi)中檢測(cè)異常情況的方法的另一示例，該專利已經(jīng)轉(zhuǎn)讓給本專利申請(qǐng)的共同專利權(quán)人，并且將其全部?jī)?nèi)容通過(guò)引用并入本文?？墒褂闷渌椒āＴ谝恍?shí)施例中，可檢測(cè)其它所關(guān)注的幀，例如在諸如十二指腸、幽門、盲腸、間線(Z-1ine)等體內(nèi)腔內(nèi)的解剖標(biāo)志或過(guò)渡點(diǎn)。第7，684，599號(hào)、標(biāo)題為“用于檢測(cè)圖像流中的過(guò)渡的系統(tǒng)和方法(System and method to detect a transit1n in an image stream)，，的美國(guó)專利公開(kāi)用于檢測(cè)圖像流中的過(guò)渡點(diǎn)的方法的示例，該專利已經(jīng)轉(zhuǎn)讓給本專利申請(qǐng)的共同專利權(quán)人，并且將其全部?jī)?nèi)容通過(guò)引用并入本文。
[0090]在操作920中，選擇至少一組示出病理候補(bǔ)區(qū)的圖像幀使得組限定所關(guān)注的幀序列?？蓪⒋_定為示出相同的病理候選區(qū)的一個(gè)或多個(gè)連續(xù)幀圖像選擇為所關(guān)注的幀序列。
[0091]在一些實(shí)施例中，所關(guān)注的幀序列可包括當(dāng)成像裝置(例如包括在成像膠囊中的成像裝置)以較高的速度移動(dòng)時(shí)捕獲的圖像幀。在一些實(shí)施例中，有可能確定表示膠囊在胃腸道(例如在包含在胃腸道中的至少一個(gè)器官)中的移動(dòng)速度的參數(shù)。例如，該參數(shù)可與連續(xù)幀之間大的變化基本上相關(guān)。兩個(gè)連續(xù)幀之間的較大差異可指示膠囊從捕獲第一張圖像的位置快速移動(dòng)至捕獲第二張圖像的位置(例如，在器官的不同部分)。處理器(例如處理器112)可被配置成分析圖像幀并且識(shí)別兩張連續(xù)圖像之間的差異?？蓪⒂?jì)算得到的差異或相似性程度打分或分配表示膠囊運(yùn)動(dòng)的參數(shù)，例如，高分可被分配給與由體內(nèi)裝置捕獲的前一張圖像完全不同的圖像，低分被分配給與圖像流中前一張捕獲的圖像基本相同的圖像。分?jǐn)?shù)越高則表示膠囊的運(yùn)動(dòng)速度越快?？墒褂闷渌椒ù_定成像裝置在何時(shí)以較快的速度運(yùn)動(dòng)，例如，可包括在成像裝置中的諸如加速度計(jì)等定位單元可實(shí)時(shí)提供膠囊位置的指示，速度可以從位置/時(shí)間數(shù)據(jù)獲得。
[0092]在另一示例中，在圖像中識(shí)別的對(duì)象可移動(dòng)，而成像裝置基本保持不動(dòng)，例如，監(jiān)視攝像機(jī)。因此，所關(guān)注的幀序列可包括當(dāng)所關(guān)注的對(duì)象以較快的速度移動(dòng)時(shí)捕獲的圖像幀?？墒褂脠D像流連續(xù)圖像之間的差異(或相似度)的測(cè)量結(jié)果來(lái)確定對(duì)象的速度或確定是否針對(duì)快速運(yùn)動(dòng)幀序列向用戶產(chǎn)生警報(bào)。
[0093]參照?qǐng)D10，其說(shuō)明根據(jù)本發(fā)明的一些實(shí)施例的確定圖像幀中所關(guān)注的幀序列的方法。在操作1010中，連續(xù)幀可與表示由固定成像設(shè)備追蹤的胃腸道中膠囊的運(yùn)動(dòng)速度或?qū)ο蟮乃俣鹊倪\(yùn)動(dòng)相關(guān)的參數(shù)關(guān)聯(lián)?？苫趦蓚€(gè)連續(xù)圖像幀之間的改變或基于包括在膠囊中的定位單元確定參數(shù)。連續(xù)圖像幀之間的改變的示例可包括:圖像幀中的對(duì)象的尺寸、對(duì)象的顏色或紋理或背景的顏色或紋理。
[0094]在操作1020中，如果運(yùn)動(dòng)相關(guān)的參數(shù)比預(yù)定值高，則可做出決定。例如，在圖12中說(shuō)明的粗線1200表示的值可被設(shè)定為閾值。圖12描述曲線圖，其中:y軸是運(yùn)動(dòng)相關(guān)參數(shù)，X軸是連續(xù)的幀識(shí)別數(shù)量，其被分配給每一張捕獲的圖像;參照?qǐng)D12，在下文中討論該曲線圖。在操作1030中，如果運(yùn)動(dòng)相關(guān)的參數(shù)低于閾值，則圖像幀不被選擇為所關(guān)注的幀序列，過(guò)程結(jié)束。在操作1040中，如果參數(shù)比閾值高，則選擇至少一組與比閾值大的運(yùn)動(dòng)相關(guān)參數(shù)有關(guān)的連續(xù)幀。根據(jù)本發(fā)明的實(shí)施例，處理器可存儲(chǔ)幀選擇以便在圖像流檢查期間產(chǎn)生警報(bào)的方法中進(jìn)一步使用。
[0095]參照?qǐng)D11，其說(shuō)明根據(jù)本發(fā)明的一些實(shí)施例確定圖像幀中所關(guān)注的幀序列的方法。在操作1110中，連續(xù)幀可與表示胃腸道中膠囊的運(yùn)動(dòng)速度的運(yùn)動(dòng)相關(guān)的參數(shù)(例如，分?jǐn)?shù))關(guān)聯(lián)。可基于兩個(gè)連續(xù)圖像幀之間的變化確定圖像運(yùn)動(dòng)相關(guān)的參數(shù)。變化可以是圖像幀中對(duì)象的大小、對(duì)象的顏色或背景的顏色或紋理。
[0096]在操作1120中，可創(chuàng)建曲線圖，其一個(gè)軸為與在圖像數(shù)據(jù)中或在體內(nèi)裝置的位置數(shù)據(jù)中檢測(cè)到的運(yùn)動(dòng)量相關(guān)的指示或分?jǐn)?shù)，另一個(gè)軸與幀序列數(shù)量對(duì)應(yīng)。圖12示出曲線圖的示例。曲線圖包括豎軸，其是表示膠囊在胃腸道中的運(yùn)動(dòng)速度的運(yùn)動(dòng)相關(guān)參數(shù)和橫軸，其與幀對(duì)應(yīng)。閾值線1200將連續(xù)幀組分為兩類。第一類具有與在閾值線上方的組中的幀有關(guān)的運(yùn)動(dòng)相關(guān)的參數(shù)，第二類具有與在閾值線下方的組中的幀有關(guān)的運(yùn)動(dòng)相關(guān)的參數(shù)。當(dāng)成像膠囊以比低于閾值的運(yùn)動(dòng)相關(guān)參數(shù)有關(guān)的圖像幀高的速度移動(dòng)時(shí)，捕獲到與高于閾值的運(yùn)動(dòng)相關(guān)參數(shù)有關(guān)的圖像幀組。一些組包括比其它組更大數(shù)量的連續(xù)幀。
[0097]在操作1130中，可針對(duì)連續(xù)幀組例如針對(duì)具有與在閾值線上方的幀有關(guān)的運(yùn)動(dòng)相關(guān)參數(shù)的所有組計(jì)算曲線圖曲線下方的面積。對(duì)于每個(gè)組，可使用已知方法計(jì)算曲線下方的面積?？纱_定與曲線下方的面積相關(guān)的第二閾值。所計(jì)算的高于閾值的面積可表明，所述連續(xù)圖像幀組是在相對(duì)較長(zhǎng)的時(shí)間段內(nèi)在較高的速度下捕獲的，而不是由于膠囊速度的瞬間提高捕獲的?？稍诓僮?140中，將每組的計(jì)算面積與第二閾值比較。在操作1150中，如果所計(jì)算的面積低于第二閾值，則可確定幀是在膠囊速度的瞬間提高期間捕獲的，并且不會(huì)將其視為所關(guān)注的幀序列。
[0098]在操作1160中，如果所計(jì)算到的面積大于第二閾值，可選擇一組圖像幀被認(rèn)為所關(guān)注的幀序列。如果檢測(cè)兩個(gè)區(qū)域彼此接近(例如，比預(yù)定閾值更接近)，可將這些區(qū)域組合到所關(guān)注的單幀序列中。這可改善用戶的體驗(yàn)，因?yàn)樵趫D像流檢查期間接收相繼在非常短的時(shí)間內(nèi)出現(xiàn)的所關(guān)注區(qū)域的重復(fù)指示令人非常困惑。
[0099]已經(jīng)闡述了各種實(shí)施例。當(dāng)然，這些實(shí)施例中的每個(gè)可包括來(lái)自闡述的其它實(shí)施例的特征，所闡述的各種實(shí)施例可與本文公開(kāi)的其它實(shí)施例組合，未具體描述的實(shí)施例可包括本文描述的各種特征。
[0100]雖然本文已經(jīng)說(shuō)明和描述了本發(fā)明的某些特征，但是本領(lǐng)域技術(shù)人員還可進(jìn)行許多變型、替換、改變和等同替換。因此，將理解的是，所附權(quán)利要求旨在覆蓋所有落在本發(fā)明的真正精神內(nèi)的變型和改變。
【主權(quán)項(xiàng)】
1.一種用于控制圖像流顯示的系統(tǒng)，其包括: 存儲(chǔ)器，其存儲(chǔ)所述圖像流，所述圖像流包括多個(gè)圖像幀;和 處理器，其被配置成: 在屏幕的圖像流顯示區(qū)域中向用戶顯示所述活動(dòng)圖像流； 在所述屏幕的速度控制區(qū)域上產(chǎn)生幀速率控制接口使得所述圖像流顯示區(qū)域與所述速度控制區(qū)域水平相鄰；以及 從所述用戶接收用于顯示所述圖像幀的圖像流的期望的幀速率的指示，根據(jù)定位指示部在所述速度控制區(qū)域中的位置選擇所述幀速率，其中使用定位裝置使所述定位指示部在所述速度控制區(qū)域中移動(dòng)表示期望的所述幀速率改變。2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述處理器被配置成顯示流行進(jìn)部分，其中所述速度控制區(qū)域用于選擇顯示所述圖像幀流的向前方向，所述流行進(jìn)部分用于選擇顯示所述圖像幀流的向后速度。3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述處理器被配置成: 當(dāng)所述定位指示部定位在所述速度控制區(qū)域中，同時(shí)所述用戶在所述定位裝置上點(diǎn)擊時(shí)，從所述用戶處接收開(kāi)始或停止所述圖像幀流的指示，所述指示被顯示給所述處理器。4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述處理器被配置成: 當(dāng)所述定位指示部在所述速度控制區(qū)域中時(shí)，同時(shí)所述用戶點(diǎn)擊所述定位裝置，從所述用戶接收停止所述圖像幀流的指示使得在所述圖像流顯示區(qū)域中顯示單幀;和 從所述用戶處接收使用所述定位裝置從所述單幀向前或向后滾動(dòng)幀的指示。5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中所述定位裝置為鼠標(biāo)，通過(guò)檢測(cè)所述鼠標(biāo)滾輪的滾動(dòng)接收滾動(dòng)幀的指示。6.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中通過(guò)檢測(cè)所述定位指示部在所述速度控制區(qū)域中的移動(dòng)來(lái)接收滾動(dòng)幀的所述指示。7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述屏幕包括顯示指示播放的圖像流從圖像流上一次停止位置開(kāi)始的進(jìn)程的標(biāo)尺。8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述處理器被配置成: 從所述用戶接收加速所述圖像幀流的指示，當(dāng)所述用戶點(diǎn)擊并且將所述定位裝置在一段時(shí)間內(nèi)保持在點(diǎn)擊位置時(shí)，接收到所述指示，其中將定位裝置保持在點(diǎn)擊位置的時(shí)間就是所述圖像幀流將被加速的時(shí)間。9.一種控制圖像流顯示的方法，所述方法由處理器執(zhí)行并且包括: 在屏幕的圖像流顯示區(qū)域中向用戶顯示所述圖像流； 在所述屏幕的速度控制區(qū)域上產(chǎn)生幀速率控制接口，以使得所述圖像流顯示區(qū)域與速度控制區(qū)域水平相鄰； 從用戶接收用于顯示所述圖像流的期望的幀速率的指示，根據(jù)定位指示部在所述速度控制區(qū)域中的位置選擇所述幀速率，以及 根據(jù)所述用戶的指示改變所述幀速率。10.根據(jù)權(quán)利要求9所述的方法，其中所述定位指示部由定位裝置控制，所述指示選擇不需要在所述定位裝置上點(diǎn)擊。11.根據(jù)權(quán)利要求9所述的方法，其包括: 顯示流前進(jìn)部分，其中所述速度控制區(qū)域用于選擇播放所述圖像幀流的向前方向，所述流行進(jìn)部分用于選擇顯示所述圖像幀流的向后速度。12.根據(jù)權(quán)利要求9所述的方法，包括: 當(dāng)所述定位指示部定位在所述速度控制區(qū)域中時(shí)，同時(shí)所述用戶在用于控制所述定位指示部的定位裝置上點(diǎn)擊，從所述用戶接收開(kāi)始或停止所述圖像幀流的指示。13.根據(jù)權(quán)利要求9所述的方法，包括: 當(dāng)所述定位指示部定位在所述速度控制區(qū)域中時(shí)，所述用戶在用于控制所述定位指示部的定位裝置上點(diǎn)擊，從所述用戶接收停止所述圖像幀流的指示使得在圖像流顯示區(qū)域中顯示單幀圖像；以及 從所述用戶處接收使用所述定位裝置從所述單幀圖像向前或向后滾動(dòng)幀的指示。14.根據(jù)權(quán)利要求13所述的方法，其中所述定位裝置是鼠標(biāo)，通過(guò)檢測(cè)所述鼠標(biāo)滾輪的滾動(dòng)接收所述滾動(dòng)幀的指示。15.根據(jù)權(quán)利要求13所述的方法，其中通過(guò)檢測(cè)所述定位指示部在所述速度控制區(qū)域中的移動(dòng)來(lái)接收所述滾動(dòng)幀的指示。16.根據(jù)權(quán)利要求9所述的方法，其中所述屏幕包括部分，其顯示指示播放的圖像流從圖像流上一次停止位置開(kāi)始的進(jìn)程的標(biāo)尺。17.一種控制圖像流顯示的系統(tǒng)，其包括: 存儲(chǔ)單元，其存儲(chǔ)所述圖像流，所述圖像流包括由包含在成像膠囊中的成像裝置在胃腸道中的至少一個(gè)器官中捕獲的圖像幀;和 處理器，其被配置成: 在屏幕上向用戶顯示活動(dòng)圖像流； 確定在所述圖像流中的關(guān)注的幀序列，所述幀序列包括來(lái)自所述圖像流的至少兩個(gè)連續(xù)圖像幀；以及 使用標(biāo)識(shí)提供警報(bào)，在顯示所述幀序列的第一幀的時(shí)間之前的預(yù)定時(shí)間向所述用戶顯示所述警報(bào)。18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所關(guān)注的幀序列包括描繪了病理候選區(qū)的候選區(qū)幀，其中所述處理器被配置成通過(guò)以下方式確定所述所關(guān)注的幀序列: 分析所述圖像流以定位所述病理候選區(qū)； 選擇至少一組顯示所述病理候選區(qū)的圖像幀使得所述組限定所關(guān)注的幀序列。19.根據(jù)權(quán)利要求17所述的系統(tǒng)，其中所述處理器被配置成通過(guò)下述方式確定包含關(guān)注的幀序列的一組幀: 選擇與大于閾值的參數(shù)相關(guān)的至少一組連續(xù)幀，其中所述參數(shù)表示所述膠囊在胃腸道中的速度或移動(dòng)。20.—種用于控制圖像流顯示的系統(tǒng)，其包括: 存儲(chǔ)器，其存儲(chǔ)所述圖像流，所述圖像流包括多幀圖像;和 處理器，其被配置成: 在屏幕的圖像流顯示區(qū)域中向用戶顯示活動(dòng)圖像流； 在所述屏幕的速度控制區(qū)域上產(chǎn)生幀速率控制接口使得所述圖像流顯示區(qū)域與所述速度控制區(qū)域水平相鄰； 從用戶接收顯示所述圖像幀的圖像流的期望的幀速率的指令，根據(jù)定位指示部在所述速度控制區(qū)域中的位置選擇所述幀速率，其中所述用戶通過(guò)使用定位裝置在所述速度控制區(qū)域中移動(dòng)所述定位指示部改變幀速率； 確定在所述圖像流中的關(guān)注的幀序列，所述幀序列包含至少兩個(gè)連續(xù)的圖像幀； 在所述圖像幀流到到所述所關(guān)注的幀序列之前的預(yù)定時(shí)間，通過(guò)提供預(yù)定指示向所述用戶產(chǎn)生警報(bào)。
【文檔編號(hào)】H04N21/6373GK105830458SQ201480068183
【公開(kāi)日】2016年8月3日
【申請(qǐng)日】2014年12月11日
【發(fā)明人】拉斐爾·拉賓諾維茨, 艾迪·埃克, 哈加以·克魯布尼克, 波阿斯·本內(nèi)厄姆
【申請(qǐng)人】基文影像公司