圖像處理裝置、圖像處理方法和程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及圖像處理裝置、圖像處理方法和程序等。
【背景技術(shù)】
[0002] 在根據(jù)給定的時(shí)間間隔按時(shí)序持續(xù)對(duì)靜態(tài)圖像進(jìn)行攝像的情況下、通過多個(gè)圖像 網(wǎng)羅具有空間寬度的被攝體的情況下、或者對(duì)動(dòng)態(tài)圖像進(jìn)行攝像后取得構(gòu)成該動(dòng)態(tài)圖像的 各圖像作為靜態(tài)圖像的情況下等，將會(huì)取得時(shí)間或空間上連續(xù)的非常大量的圖像（W下也 記載為圖像列）。在該種情況下，圖像列中靠近（即時(shí)間或空間上靠近）的圖像彼此是相似 圖像的可能性較高，在掌握所攝像的內(nèi)容時(shí)，不需要檢查大量的全部圖像。本來(lái)，圖像張數(shù) 為數(shù)萬(wàn)張W上的情況也不稀奇，用戶手動(dòng)檢查全部圖像本身的負(fù)擔(dān)很大。
[0003]因此，需要通過從圖像列中刪除一部分圖像而精簡(jiǎn)為張數(shù)比原來(lái)的圖像列的張數(shù) 少的圖像列（W下將該處理記載為圖像精簡(jiǎn)處理）。例如在專利文獻(xiàn)1中公開了如下的圖 像精簡(jiǎn)處理方法：通過提取圖像列中的場(chǎng)景變化的交界的圖像或代表圖像列的圖像，保留 容易掌握?qǐng)D像列的內(nèi)容的圖像。
[0004] 現(xiàn)有技術(shù)文獻(xiàn) [000引專利文獻(xiàn)
[0006] 專利文獻(xiàn)1;日本特開2009-5020號(hào)公報(bào)
[0007] 專利文獻(xiàn)2;日本特開2007-257287號(hào)公報(bào)

【發(fā)明內(nèi)容】

[000引發(fā)明要解決的課題
[0009] 例如在醫(yī)學(xué)領(lǐng)域中應(yīng)用圖像精簡(jiǎn)技術(shù)的情況下，從避免疾患的漏看的觀點(diǎn)來(lái)看， 需要抑制由于刪除圖像而無(wú)法觀察的區(qū)域的產(chǎn)生。特別是病變區(qū)域或異常區(qū)域該樣的重要 區(qū)域不能包含在無(wú)法觀察的區(qū)域中。
[0010] 但是，如專利文獻(xiàn)1的方法那樣，當(dāng)僅保留場(chǎng)景變化的交界的圖像、或基于是否容 易直觀觀察精簡(jiǎn)后的圖像列的觀點(diǎn)而進(jìn)行圖像精簡(jiǎn)時(shí)，可能由于刪除圖像而產(chǎn)生無(wú)法觀察 的區(qū)域，并不理想。并且，由于無(wú)法觀察的區(qū)域的產(chǎn)生程度依賴于圖像的內(nèi)容，所W，在現(xiàn)有 的圖像精簡(jiǎn)處理的方法中，很難控制疾患的漏看等的程度。
[0011] 根據(jù)本發(fā)明的若干個(gè)方式，能夠提供如下的圖像處理裝置、圖像處理方法和程序 等：根據(jù)圖像間的變形信息，進(jìn)行抑制產(chǎn)生由于刪除圖像而無(wú)法觀察的區(qū)域、且大區(qū)域最佳 化的圖像精簡(jiǎn)處理。
[0012] 用于解決課題的手段
[0013] 本發(fā)明的一個(gè)方式設(shè)及一種圖像處理裝置，其中，該圖像處理裝置包括：圖像列取 得部，其取得具有第1~第N(N為2W上（包含該值）的整數(shù)）圖像作為構(gòu)成圖像的輸入 圖像列；W及處理部，其進(jìn)行刪除所述圖像列取得部取得的所述輸入圖像列的所述第1~ 第N圖像的一部分而生成精簡(jiǎn)圖像列的圖像精簡(jiǎn)處理，所述處理部選擇所述輸入圖像列的 第S(s為滿足0蘭s蘭化1的整數(shù)）圖像作為假定精簡(jiǎn)圖像，選擇所述輸入圖像列的第t(t為滿足0 ^t^s-1的整數(shù)）圖像作為假定緊前精簡(jiǎn)圖像，選擇所述輸入圖像列的第u(u 為滿足t<u<s的整數(shù)）圖像作為判定對(duì)象圖像，根據(jù)所述假定精簡(jiǎn)圖像與所述判定對(duì)象圖 像之間的變形信息W及所述假定緊前精簡(jiǎn)圖像與所述判定對(duì)象圖像之間的所述變形信息 求出所述判定對(duì)象圖像的刪除評(píng)價(jià)值，根據(jù)第t+1~第S-1圖像的所述刪除評(píng)價(jià)值求出刪 除了所述第t+1~第S-1圖像的情況下的評(píng)價(jià)值即精簡(jiǎn)區(qū)間評(píng)價(jià)值G(t，s)，根據(jù)所述精簡(jiǎn) 區(qū)間評(píng)價(jià)值進(jìn)行所述圖像精簡(jiǎn)處理。
[0014] 在本發(fā)明的一個(gè)方式中，求出刪除了第t+1~第S-1圖像的情況下的評(píng)價(jià)值即精 簡(jiǎn)區(qū)間評(píng)價(jià)值G(t，s)，根據(jù)所求出的精簡(jiǎn)區(qū)間評(píng)價(jià)值進(jìn)行圖像精簡(jiǎn)處理。由此，在存在多個(gè) 精簡(jiǎn)圖像列的候選的情況下，通過針對(duì)各候選使用與從輸入圖像列中刪除的圖像對(duì)應(yīng)的精 簡(jiǎn)區(qū)間評(píng)價(jià)值，能夠計(jì)算該候選的評(píng)價(jià)值，通過對(duì)它們進(jìn)行比較，能夠決定最佳的精簡(jiǎn)圖像 列（即，進(jìn)行大區(qū)域最佳化的圖像精簡(jiǎn)處理）等。
[0015] 并且，在本發(fā)明的一個(gè)方式中，也可W是，所述處理部根據(jù)所述精簡(jiǎn)區(qū)間評(píng)價(jià)值求 出所述第1~第N圖像的各圖像的累計(jì)評(píng)價(jià)值E(1)~E(腳，根據(jù)所述累計(jì)評(píng)價(jià)值進(jìn)行所述 圖像精簡(jiǎn)處理。
[0016] 由此，能夠進(jìn)行基于各圖像的累計(jì)評(píng)價(jià)值的圖像精簡(jiǎn)處理。
[0017] 并且，在本發(fā)明的一個(gè)方式中，也可W是，所述處理部將作為假想圖像的第0圖像 的所述累計(jì)評(píng)價(jià)值設(shè)為E(0) = 0,使用第w(w為滿足0 ^W^V-1的整數(shù)）圖像的所述累 計(jì)評(píng)價(jià)值E(w)W及刪除了第W+1~第V-1圖像的情況下的所述精簡(jiǎn)區(qū)間評(píng)價(jià)值G(w，V)，作 為E(v) =max(E(w)+G(w,V))求出第v(v為滿足1 ^V^化1的整數(shù)）圖像的所述累計(jì)評(píng) 價(jià)值。
[001引由此，能夠使用與該圖像相比在圖像列中更靠前方的圖像的累計(jì)評(píng)價(jià)值求出某個(gè) 圖像的累計(jì)評(píng)價(jià)值等。
[0019] 并且，在本發(fā)明的一個(gè)方式中，也可W是，所述處理部選擇滿足下式（1)的第X圖 像，作為所述第V圖像的最佳緊前精簡(jiǎn)圖像。
[0020] 由此，不僅能夠求出處理對(duì)象的圖像的累計(jì)評(píng)價(jià)值，還能夠求出該圖像的最佳緊 前精簡(jiǎn)圖像等。
[0021] 并且，在本發(fā)明的一個(gè)方式中，也可W是，所述處理部求出作為所述假想圖像的 第化1圖像的所述累計(jì)評(píng)價(jià)值E(化1)，將所述第化1圖像設(shè)為精簡(jiǎn)圖像列決定處理中的最 初的處理對(duì)象圖像，在所述處理對(duì)象圖像的所述最佳緊前精簡(jiǎn)圖像不是所述第0圖像的情 況下，進(jìn)行將所述最佳緊前精簡(jiǎn)圖像包含在所述精簡(jiǎn)圖像列中的處理，并且，進(jìn)行將所述最 佳緊前精簡(jiǎn)圖像作為新的所述處理對(duì)象圖像的更新處理，繼續(xù)進(jìn)行所述精簡(jiǎn)圖像列決定處 理，在所述處理對(duì)象圖像的所述最佳緊前精簡(jiǎn)圖像是所述第0圖像的情況下，結(jié)束所述精 簡(jiǎn)圖像列決定處理。
[0022] 由此，通過從終點(diǎn)朝向始點(diǎn)追尋最佳緊前精簡(jiǎn)圖像，能夠決定精簡(jiǎn)圖像列等。
[0023] 并且，在本發(fā)明的一個(gè)方式中，也可W是，所述處理部根據(jù)所述第S圖像與所述第 U圖像之間的所述變形信息W及所述第t圖像與所述第U圖像之間的所述變形信息，計(jì)算所 述第S圖像和所述第t圖像覆蓋所述第U圖像的比例即所述第U圖像的覆蓋率，根據(jù)所述 覆蓋率計(jì)算所述刪除評(píng)價(jià)值，求出對(duì)與所述第t+1~第S-1圖像有關(guān)的所述刪除評(píng)價(jià)值進(jìn) 行合計(jì)而得到的值，作為刪除了所述第t+1~第S-1圖像的情況下的所述精簡(jiǎn)區(qū)間評(píng)價(jià)值 G(t,S)。
[0024] 由此，能夠根據(jù)覆蓋率求出精簡(jiǎn)區(qū)間評(píng)價(jià)值等。
[0025] 并且，在本發(fā)明的一個(gè)方式中，也可W是，所述處理部根據(jù)所述第S圖像與所述第 U圖像之間的所述變形信息W及所述第t圖像與所述第U圖像之間的所述變形信息判定可 否刪除所述第U圖像，在所述第t+1~第S-1圖像中的至少一張所述構(gòu)成圖像被判定為不 可刪除的情況下，設(shè)定第1值作為刪除了所述第t+1~第S-1圖像的情況下的所述精簡(jiǎn)區(qū) 間評(píng)價(jià)值G(t，s)。
[0026] 由此，在無(wú)法通過第t圖像和第S圖像充分覆蓋其間的圖像的情況下，作為精簡(jiǎn)區(qū) 間評(píng)價(jià)值，能夠設(shè)定沒有意義的值（狹義地講為不可能選擇第t圖像作為第S圖像的最佳 緊前精簡(jiǎn)圖像的程度的值）等。
[0027] 并且，在本發(fā)明的一個(gè)方式中，也可W是，所述處理部在所述第t+1~第S-1圖像 全部被判定為可W刪除的情況下，根據(jù)所述第t+1~第S-1圖像的圖像張數(shù)求出刪除了所 述第t+1~第S-1圖像的情況下的所述精簡(jiǎn)區(qū)間評(píng)價(jià)值G(t，S)。
[002引由此，能夠根據(jù)可W刪除的圖像的張數(shù)求出精簡(jiǎn)區(qū)間評(píng)價(jià)值等。
[0029] 并且，在本發(fā)明的一個(gè)方式中，也可W是，所述處理部在t=S-1~t= 0的范圍 內(nèi)W每次-1的方式更新t，并選擇所述第t圖像作為所述假定緊前精簡(jiǎn)圖像，根據(jù)所述第t 圖像與所述第U圖像之間的所述變形信息W及所述第S圖像與所述第U圖像之間的所述變 形信息進(jìn)行中止判定處理，針對(duì)通過所述中止判定處理判定為中止的t，設(shè)定第1值作為刪 除了第X(x為滿足0 ^X^t的整數(shù)）圖像與所述第S圖像之間的所述構(gòu)成圖像時(shí)的所述 精簡(jiǎn)區(qū)間評(píng)價(jià)值G(x，S)，結(jié)束將所述第S圖像作為所述假定精簡(jiǎn)圖像的處理。
[0030] 由此，通過中止假定緊前精簡(jiǎn)圖像的更新處理，能夠削減計(jì)算量等。
[0031] 并且，在本發(fā)明的一個(gè)方式中，也可W是，所述處理部設(shè)定負(fù)的無(wú)限大或根據(jù)所述 累計(jì)評(píng)價(jià)值決定的給定闊值W下的值，作為所述第1值。
[0032] 由此，能夠具體設(shè)定上述第1值等。
[0033] 并且，在本發(fā)明的一個(gè)方式中，也可W是，所述處理部選擇第0~第S-1圖像中的 第S-a~第S-1圖像（a為正整數(shù)）的圖像作為所述假定緊前精簡(jiǎn)圖像。
[0034] 由此，通過限定作為假定緊前精簡(jiǎn)圖像而選擇的圖像的張數(shù)，能夠削減計(jì)算量等。 [00巧]并且，在本發(fā)明的一個(gè)方式中，也可W是，所述處理部從所述輸入圖像列中檢測(cè)場(chǎng) 景轉(zhuǎn)換，在從所述輸入圖像列中檢測(cè)到第i(i為整數(shù)）場(chǎng)景轉(zhuǎn)換和所述第i場(chǎng)景轉(zhuǎn)換之后 的第i+1場(chǎng)景轉(zhuǎn)換的情況下，設(shè)定所述輸入圖像列的多個(gè)所述構(gòu)成圖像中的所述第i場(chǎng)景 轉(zhuǎn)換的后方且所述第i+1場(chǎng)景轉(zhuǎn)換的前方的所述構(gòu)成圖像作為部分圖像列，對(duì)所設(shè)定的所 述部分圖像列進(jìn)行所述圖像精簡(jiǎn)處理。
[0036] 由此，通過將根據(jù)場(chǎng)景轉(zhuǎn)換而設(shè)定的部分圖像列作為對(duì)象，能夠削減計(jì)算量等。
[0037] 并且，本發(fā)明的另一個(gè)方式設(shè)及一種圖像處理方法，其中，取得具有第1~第N(N 為2W上（包含該值）的整數(shù)）圖像作為構(gòu)成圖像的輸入圖像列，選擇所述輸入圖像列的 第S(S為滿足0蘭S蘭化1的整數(shù)）圖像作為假定精簡(jiǎn)圖像，選擇所述輸入圖像列的第t(t 為滿足0 ^t^s-1的整數(shù)）圖像作為假定緊前精簡(jiǎn)圖像，選擇所述輸入圖像列的第u(u 為滿足t<u<s的整數(shù)）圖像作為判定對(duì)象圖像，根據(jù)所述假定精簡(jiǎn)圖像與所述判定對(duì)象圖 像之間的變形信息w及所述假定緊前精簡(jiǎn)圖像與所述判定對(duì)象圖像之間的所述變形信息 求出所述判定對(duì)象圖像的刪除評(píng)價(jià)值，根據(jù)第t+1~第S-1圖像的所述刪除評(píng)價(jià)值求出刪 除了所述第t+1~第S-1圖像的情況下的評(píng)價(jià)值即精簡(jiǎn)區(qū)間評(píng)價(jià)值G(t，s)，根據(jù)所述精簡(jiǎn) 區(qū)間評(píng)價(jià)值進(jìn)行刪除所述輸入圖像列的所述第1~第N圖像的一部分而生成精簡(jiǎn)圖像列的 圖像精簡(jiǎn)處理。
[0038] 并且，本發(fā)明的另一個(gè)方式設(shè)及一種使計(jì)算機(jī)作為上述各部發(fā)揮功能的程序。
【附圖說明】
[0039] 圖1是第1實(shí)施方式的圖像處理裝置的結(jié)構(gòu)例。
[0040] 圖2是使用覆蓋率的處理的說明圖。
[0041] 圖3是使用覆蓋率的處理的說明圖。
[0042] 圖4是說明第1實(shí)施方式的圖像精簡(jiǎn)處理的流程圖。
[0043]圖5 (A)、圖5炬）是圖像精簡(jiǎn)處理的具體例。
[0044] 圖6(A)、圖6做是圖像精簡(jiǎn)處理的具體例。
[0045]圖7 (A)、圖7炬）是圖像精簡(jiǎn)處理的具體例。
[0046] 圖8(A)、圖8做是圖像精簡(jiǎn)處理的具體例。
[0047] 圖9 (A)~圖9似是說明基準(zhǔn)圖像和判定對(duì)象圖像的選擇方法的圖。
[0048] 圖10(A)、圖10炬）是說明使用多個(gè)基準(zhǔn)圖像的情況下的選擇方法的圖。
[004引圖11 (A)、圖11做是說明場(chǎng)景轉(zhuǎn)換和部分圖像列的關(guān)系的圖。
[0050] 圖12是動(dòng)態(tài)規(guī)劃法的說明圖。
[0051] 圖13是第2實(shí)施方式的圖像處理裝置的結(jié)構(gòu)例。
[0052] 圖14是說明針對(duì)非覆蓋區(qū)域的基于構(gòu)造要素的收縮處理的圖。
[005引圖15(A)~圖15似是說明針對(duì)非覆蓋區(qū)域的基于構(gòu)造要素的收縮處理的詳細(xì)情 況的圖。
[0054] 圖16是說明第2實(shí)施方式的圖像精簡(jiǎn)處理的流程圖。
[00巧]圖17(A)、圖17炬）是說明針對(duì)判定對(duì)象圖像的基于構(gòu)造要素的收縮處理的圖。
[0056] 圖18是覆蓋區(qū)域和要覆蓋區(qū)域的包含判定的例子。
[0057] 圖19(A)、圖19炬）是說明使用構(gòu)造要素的其他處理的圖。
[005引圖20是說明使用覆蓋率和構(gòu)造要素雙方的判定處理的例子。
[0059] 圖21是圖像處理裝置的基本結(jié)構(gòu)例。
【具體實(shí)施方式】
[0060] 下面，對(duì)本實(shí)施方式進(jìn)行說明。另外，W下說明的本實(shí)施方式并不是不當(dāng)?shù)叵薅?quán) 利要求書所記載的本發(fā)明的內(nèi)容。并且，本實(shí)施方式中說明的全部結(jié)構(gòu)不一定是本發(fā)明的 必須結(jié)構(gòu)要件。
[0061] 1.本實(shí)施方式的方法
[0062]首先，對(duì)本實(shí)施方式的方法進(jìn)行說明。在取得由時(shí)間或空間上連續(xù)的大量圖像構(gòu) 成的圖像列的情況下，在用戶使用該圖像列進(jìn)行某些處理（例如如果是內(nèi)窺鏡圖像列，貝U 進(jìn)行診斷等醫(yī)療行為）時(shí)，優(yōu)選進(jìn)行圖像精簡(jiǎn)處理。該是因?yàn)?，圖像列中包含的圖像的張數(shù) 非常多，用戶觀看全部圖像后進(jìn)行判斷需要很大勞力。并且，在圖像列所包含的圖像中存在 彼此相似的圖像的可能性很高，即使檢查全部該種相似的圖像，可取得的信息量也有限，與 勞力不相稱。
[0063] 作為具體例，考慮使用膠囊內(nèi)窺鏡進(jìn)行攝像而得到的圖像列。膠囊內(nèi)窺鏡是內(nèi)置 有小型照相機(jī)的膠囊形狀的內(nèi)窺鏡，W給定的時(shí)間間隔（例如1秒2次等）對(duì)圖像進(jìn)行攝 像。膠囊內(nèi)窺鏡從內(nèi)服到排出需要幾個(gè)小時(shí)（根據(jù)情況而需要十幾個(gè)小時(shí)）