圖像處理設(shè)備、方法及程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本技術(shù)涉及圖像處理設(shè)備、方法以及記錄在非暫態(tài)計(jì)算機(jī)可讀介質(zhì)上的程序，并 且具體涉及其中實(shí)現(xiàn)了如下圖形用戶界面（GUI)的圖像處理設(shè)備、方法以及在非暫態(tài)計(jì)算 機(jī)可讀介質(zhì)上記錄的程序：在該GUI中易于從圖像剪切包括用戶所期望的對(duì)象的對(duì)象圖 像。
【背景技術(shù)】
[0002] 作為從圖像提取對(duì)象的技術(shù)，實(shí)際上已經(jīng)提出并且實(shí)際使用了一種被稱為圖形切 割法的方法（參考NPL 1)。
[0003] 在圖形切割法中，首先，根據(jù)前景對(duì)象圖像和背景圖像這兩種類型的圖像的顏色 分布或像素顏色的梯度來(lái)計(jì)算構(gòu)成要剪切的前景對(duì)象圖像的區(qū)域的邊界，其中前景對(duì)象圖 像包括基于用戶輸入的信息期望剪切的對(duì)象。另外，通過(guò)沿著所計(jì)算的邊界剪切圖像提取 期望剪切的前景對(duì)象圖像。
[0004] 引用列表
[0005] 非專利文獻(xiàn)
[0006] NPL 1 ：C.Rother? V. Kolmogorov? A.Blake.GrabCut interactive Foreground Extraction Using Iterated Graph Cuts. ACM transactions on Graphics (SIGGRAPH，04)，2004。

【發(fā)明內(nèi)容】

[0007] 技術(shù)問(wèn)題
[0008] 然而，在使用NPL 1中描述的圖形切割的方法中，對(duì)于不太了解與圖像處理有關(guān) 的技術(shù)的普通用戶而言，指定包括期望從圖像剪切的對(duì)象的區(qū)域的操作通常是困難的，并 且無(wú)法準(zhǔn)確地指定包括該對(duì)象的區(qū)域。
[0009] 另外，已經(jīng)假定了指定包括對(duì)象的區(qū)域的圖形用戶界面（GUI)在許多情況下使用 通過(guò)鼠標(biāo)進(jìn)行操作的指示器，相應(yīng)地，難以在用于筆型或平板計(jì)算機(jī)等中的觸控面板型輸 入單元中準(zhǔn)確地指定包括對(duì)象的區(qū)域。
[0010] 作為結(jié)果，因?yàn)殡y以在所有情況下準(zhǔn)確地指定包括對(duì)象的區(qū)域，所以存在無(wú)法容 易且適當(dāng)?shù)靥崛“▽?duì)象的前景對(duì)象圖像的情況。
[0011] 期望提供一種圖像處理設(shè)備，其中，通過(guò)使用直觀操作方法使得準(zhǔn)確且容易地指 定期望被剪切的對(duì)象，可以準(zhǔn)確地從輸入圖像剪切包括對(duì)象的前景對(duì)象圖像。
[0012] 問(wèn)題的解決方案
[0013] 根據(jù)本公開(kāi)內(nèi)容的一種實(shí)施方式的圖像處理設(shè)備包括：輸入單元，其關(guān)于輸入圖 像輸入用于指定與期望剪切的對(duì)象的邊界的標(biāo)記線；以及對(duì)象圖像提取單元，其從輸入圖 像提取由基于標(biāo)記線所指定的對(duì)象形成的對(duì)象圖像，其中，輸入單元還關(guān)于由對(duì)象圖像提 取單元提取的對(duì)象圖像輸入指定與對(duì)象的邊界的標(biāo)記線，并且對(duì)象圖像提取單元基于關(guān)于 由對(duì)象圖像提取單元提取的對(duì)象圖像而輸入的標(biāo)記線來(lái)從對(duì)象圖像提取由所指定的對(duì)象 形成的對(duì)象圖像。
[0014] 對(duì)象提取單元可以：獲得關(guān)于與對(duì)象圖像相對(duì)應(yīng)的對(duì)象區(qū)域的信息；獲得由下述 像素值形成的a mat圖像，該像素值表示對(duì)象區(qū)域的外圍部分中除對(duì)象區(qū)域以外的區(qū)域的 像素值的前景分量的混合比；以及提取下述圖像作為對(duì)象圖像，在該圖像中，由關(guān)于對(duì)象區(qū) 域的信息指定的像素值乘以基于a mat圖像變成前景分量的混合比。
[0015] 輸入單元可以包括粗捕捉模式，在粗捕捉模式下，關(guān)于輸入圖像指定對(duì)象的邊界 的標(biāo)記線指定整個(gè)對(duì)象，并且在粗捕捉模式下，對(duì)象提取單元在標(biāo)記線不是閉合曲線時(shí)通 過(guò)連接尖端部分和結(jié)束部分來(lái)構(gòu)成閉合曲線，并且通過(guò)將輸入圖像的閉合曲線的內(nèi)部設(shè)置 為包括對(duì)象的前景以及將除了閉合曲線以外的區(qū)域設(shè)置為背景來(lái)提取對(duì)象圖像。
[0016] 對(duì)象提取單元可以通過(guò)下述方式從輸入圖像或?qū)ο髨D像提取對(duì)象圖像：設(shè)置未處 理區(qū)域，未處理區(qū)域在由標(biāo)記線構(gòu)成的閉合曲線中并且由在構(gòu)成通過(guò)輸入單元輸入的標(biāo)記 線的每個(gè)像素中的第一預(yù)定半徑形成；以及基于關(guān)于未處理區(qū)域、表示前景的圖像區(qū)域和 表示背景的像素區(qū)域這三個(gè)區(qū)域的信息，使用圖形切割將未處理區(qū)域中的像素分配至表示 前景的區(qū)域和表示背景的區(qū)域中的任意區(qū)域。
[0017] 輸入單元可以包括：背景模式，其中指定與對(duì)象的邊界的局部標(biāo)記線在對(duì)象被設(shè) 置為前景時(shí)被輸入作為指定背景的背景標(biāo)記；以及前景模式，其中局部標(biāo)記線被輸入作為 關(guān)于對(duì)象圖像指定前景的前景標(biāo)記，其中，當(dāng)輸入單元為背景模式時(shí)，對(duì)象圖像提取單元通 過(guò)設(shè)置未處理區(qū)域并且通過(guò)基于關(guān)于未處理區(qū)域、表示背景的區(qū)域和表示前景的區(qū)域這三 個(gè)區(qū)域的信息使用圖形切割法將未處理區(qū)域中的像素分配至表示前景的區(qū)域和表示背景 的區(qū)域中的任意區(qū)域來(lái)提取對(duì)象圖像，未處理區(qū)域是通過(guò)在構(gòu)成標(biāo)記線的每個(gè)像素是指定 背景的像素值的假定下由構(gòu)成標(biāo)記線的每個(gè)像素中的第二預(yù)定半徑形成的，并且其中，當(dāng) 輸入單元為前景模式時(shí)，對(duì)象圖像提取單元通過(guò)設(shè)置未處理區(qū)域并且通過(guò)基于關(guān)于未處理 區(qū)域、表示背景的區(qū)域和表示前景的區(qū)域這三個(gè)區(qū)域的信息使用圖形切割法將未處理區(qū)域 中的像素分配至表示前景的區(qū)域和表示背景的區(qū)域中的任意區(qū)域來(lái)提取對(duì)象圖像，未處理 區(qū)域是通過(guò)在構(gòu)成標(biāo)記線的每個(gè)像素是指定前景的像素值的假定下由構(gòu)成標(biāo)記線的每個(gè) 像素中的第二預(yù)定半徑形成的。
[0018] 背景模式中的未處理區(qū)域和前景模式中的未處理區(qū)域可以是下述矩形區(qū)域：該矩 形區(qū)域標(biāo)記由構(gòu)成局部標(biāo)記線的每個(gè)像素的第二預(yù)定半徑形成的區(qū)域。
[0019] a mat圖像中的每個(gè)像素的前景分量的混合比a可以是從1中減去下述比率而得 到的比率：前景的最短距離與前景的最短距離和背景的最短距離之和的比率。
[0020] 前景顏色可以是將最近前景顏色加至下述值得到的顏色：該值是圖像顏色和基層 顏色的相減結(jié)果乘以混合比a而得到的。
[0021] 根據(jù)本公開(kāi)內(nèi)容的另一實(shí)施方式的圖像處理方法包括：關(guān)于輸入圖像輸入用于指 定與期望剪切的對(duì)象的邊界的標(biāo)記線；以及從輸入圖像提取由基于標(biāo)記線指定的對(duì)象形成 的對(duì)象圖像，其中在輸入中，還輸入關(guān)于通過(guò)對(duì)對(duì)象圖像的提取而提取的對(duì)象圖像指定與 對(duì)象的邊界的標(biāo)記線，以及，在對(duì)對(duì)象圖像的提取中，基于關(guān)于通過(guò)對(duì)對(duì)象圖像的提取而提 取的對(duì)象圖像所輸入的標(biāo)記線，從對(duì)象圖像中提取由所指定的對(duì)象形成的對(duì)象圖像。
[0022] 根據(jù)本公開(kāi)內(nèi)容的又一實(shí)施方式的程序，其使計(jì)算機(jī)執(zhí)行以下處理：關(guān)于輸入圖 像輸入用于指定與期望剪切的對(duì)象的邊界的標(biāo)記線；以及從輸入圖像提取由基于標(biāo)記線指 定的對(duì)象形成的對(duì)象圖像，其中在輸入中，還輸入關(guān)于通過(guò)對(duì)對(duì)象圖像的提取而提取的對(duì) 象圖像指定與對(duì)象的邊界的標(biāo)記線，以及，在對(duì)對(duì)象圖像的提取中，基于關(guān)于通過(guò)對(duì)對(duì)象圖 像的提取而提取的對(duì)象圖像所輸入的標(biāo)記線，從對(duì)象圖像中提取由所指定的對(duì)象形成的對(duì) 象圖像。
[0023] 根據(jù)本技術(shù)的實(shí)施方式，關(guān)于輸入圖像輸入用于指定與期望剪切的對(duì)象的邊界的 標(biāo)記線，從輸入圖像提取由基于標(biāo)記線指定的對(duì)象形成的對(duì)象圖像，關(guān)于所提取的對(duì)象圖 像還輸入指定與對(duì)象的邊界的標(biāo)記線，以及基于關(guān)于所提取的對(duì)象圖像所輸入的標(biāo)記線從 對(duì)象圖像提取由所指定的對(duì)象形成的對(duì)象圖像。
[0024] 在另一種實(shí)施方式中，一種裝置包括：模式確定電路，被配置成從至少第一模式 和第二模式中確定輸入模式；輸入電路，被配置成接收基于用戶輸入的信號(hào)；以及圖像處 理電路，被配置成基于第一模式下第一線的用戶輸入來(lái)確定圖像的包括期望圖像區(qū)域的子 集，并且基于第二模式下在圖像的子集上的第二線的用戶輸入來(lái)確定期望圖像區(qū)域。
[0025] 根據(jù)本技術(shù)的實(shí)施方式的圖像處理設(shè)備可以是獨(dú)立設(shè)備，并且可以是執(zhí)行圖像處 理的塊。
[0026] 本發(fā)明的有益效果
[0027] 根據(jù)本技術(shù)的實(shí)施方式，通過(guò)使得能夠準(zhǔn)確且容易地指定包括期望從輸入圖像剪 切的對(duì)象的區(qū)域，可以使用簡(jiǎn)單的方法適當(dāng)?shù)靥崛∑谕麖妮斎雸D像剪切的前景對(duì)象圖像。
【附圖說(shuō)明】
[0028] [圖1]圖1為示出應(yīng)用本技術(shù)的圖像處理系統(tǒng)的實(shí)施方式的配置示例的圖；
[0029] [圖2]圖2為示出圖1中的圖像處理系統(tǒng)中的輸入單元的外部配置的圖；
[0030] [圖3]圖3為描述圖像剪切處理的流程圖；
[0031] [圖4]圖4為示出粗捕捉模式的處理的圖；
[0032] [圖5]圖5為描述粗捕捉模式的處理的流程圖；
[0033] [圖6]圖6為描述粗捕捉模式的處理的圖；
[0034] [圖7]圖7為描述剪切圖像生成處理的流程圖；
[0035] [圖8]圖8為描述圖形切割的圖；
[0036] [圖9]圖9為描述a mat處理的流程圖；
[0037] [圖10]圖10為描述BG模式校正處理的流程圖；
[0038] [圖11]圖11為描述BG模式校正處理的圖；
[0039] [圖12]圖12為描述BG模式校正處理中的更新區(qū)域的圖；
[0040][圖13]圖13為描述異常處理的圖；
[0041] [圖14]圖14為描述FG模式校正處理的流程圖；
[0042] [圖15]圖15為描述根據(jù)標(biāo)記線的任意兩個(gè)點(diǎn)之間的距離來(lái)設(shè)置預(yù)定距離r的示 例的圖；
[0043] [圖16]圖16為描述圖像剪切處理的另一流程圖；以及