圖像處理裝置以及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種生成圖像的顯著性圖表（map)的技術(shù)。
【背景技術(shù)】
[0002] 以往，在圖像處理的領(lǐng)域中，已知有如下的技術(shù)，即，從圖像中，檢測(cè)出（提取出） 在該圖像中被認(rèn)為人類會(huì)關(guān)注的圖像區(qū)域或應(yīng)該關(guān)注的圖像區(qū)域（將這些稱為顯著區(qū) 域）。另外，利用這種檢測(cè)顯著區(qū)域的技術(shù)，計(jì)算出圖像中的各像素的顯著度（saliency measure)，由此，還創(chuàng)建用于顯示該圖像的各像素的顯著度的顯著性圖表。
[0003] 這種檢測(cè)顯著區(qū)域的技術(shù)例如用于從圖像中檢測(cè)主要拍攝對(duì)象。
[0004] 那么，作為用于上述的檢測(cè)顯著區(qū)域的算法，現(xiàn)有作為學(xué)習(xí)基礎(chǔ)的算法。例如，在 專利文獻(xiàn)1中記載有如下的內(nèi)容，即，基于作為學(xué)習(xí)對(duì)象的多個(gè)圖像數(shù)據(jù)，事先學(xué)習(xí)并決定 特征的種類，并基于所決定的特征的種類和作為顯著度的計(jì)算對(duì)象的對(duì)象圖像數(shù)據(jù)，提取 該對(duì)象圖像數(shù)據(jù)中的各部的特征。根據(jù)該技術(shù)，通過將學(xué)習(xí)效果虛擬為人的經(jīng)驗(yàn)或記憶，從 而能夠判斷更近似于人的感覺的顯著度。
[0005] 然而，在上述學(xué)習(xí)基礎(chǔ)的算法中，作為針對(duì)對(duì)象圖像數(shù)據(jù)的事先知識(shí)，需要事先準(zhǔn) 備作為學(xué)習(xí)對(duì)象的多個(gè)圖像數(shù)據(jù)。因此，在不具備這種事先知識(shí)的情況下，不能夠評(píng)價(jià)顯著 度。
[0006] 另一方面，在專利文獻(xiàn)2中記載有如下的技術(shù)，即，不需要事先知識(shí)，利用構(gòu)成影 像的各幀之間的信息來檢測(cè)顯著區(qū)域。
[0007] 專利文獻(xiàn)1 :日本特開2001 - 236508號(hào)公報(bào)
[0008] 專利文獻(xiàn)2 :日本特開2010 - 258914號(hào)公報(bào)
[0009] 然而，在專利文獻(xiàn)2的技術(shù)中，雖然不需要事先知識(shí)，但僅將由多個(gè)幀構(gòu)成的動(dòng)態(tài) 圖像作為對(duì)象，而并不適用于評(píng)價(jià)靜態(tài)圖像的顯著度。

【發(fā)明內(nèi)容】

[0010] 本發(fā)明是用于解決上述問題的，其目的在于，提供不需要基于學(xué)習(xí)的事先知識(shí)，就 能夠針對(duì)一張靜態(tài)圖像高精度地評(píng)價(jià)其顯著度的圖像處理技術(shù)。
[0011] 為了達(dá)成上述目的，基于在大多數(shù)情況下背景區(qū)域（不是顯著區(qū)域的區(qū)域）存在 于圖像的周緣部或顯著區(qū)域不存在于圖像的周緣部的假設(shè)，來計(jì)算顯著度。
[0012] 具體來說，本發(fā)明的圖像處理裝置具有：圖像獲取部，其獲取圖像；類似度圖表生 成部，其將由所述圖像的一個(gè)或多個(gè)像素構(gòu)成的區(qū)域作為單位結(jié)構(gòu)，基于第一算法，計(jì)算表 示所述區(qū)域與所述圖像的周緣部的區(qū)域之間的類似度的第一類似度圖表，基于第二算法， 計(jì)算表示所述區(qū)域與所述圖像的周緣部的區(qū)域之間的類似度的第二類似度圖表；顯著性圖 表生成部，其綜合所述第一類似度圖表以及所述第二類似度圖表來生成顯著性圖表。
[0013] 圖像的周緣部的區(qū)域是包括圖像的端部（上下左右端）的區(qū)域。就與這種周緣部 區(qū)域類似度高的區(qū)域而言，能夠判斷為其作為背景的可能性高、顯著程度低。相反地，就上 述類似度低的區(qū)域而言，能夠判斷為其作為前景的可能性高、顯著程度高。在此，通過利用 不同的算法至少生成兩個(gè)類似度圖表，并對(duì)這些類似度圖表進(jìn)行綜合，由此，與基于一個(gè)類 似度圖表進(jìn)行生成的情況相比，能夠生成更高精度的顯著性圖表。
[0014] 在本發(fā)明中，所述類似度圖表生成部，基于所述周緣部的區(qū)域來重新構(gòu)成對(duì)象的 區(qū)域，以使得重新構(gòu)成誤差越小則類似度越大的方式，生成所述第一類似度圖表以及第二 類似度圖表。這是因?yàn)?，在基于周緣部區(qū)域表現(xiàn)對(duì)象的區(qū)域時(shí)，在能夠高精度地復(fù)原出原區(qū) 域的情況下，對(duì)象的區(qū)域與周緣部區(qū)域類似度高。
[0015] 在本發(fā)明中，優(yōu)選地，第一算法和第二算法各自的特征不同。例如，優(yōu)選采用如下 的算法，即，即使有可能判斷為顯著區(qū)域以外的類似度也低（顯著度高），也能夠可靠地將 顯著區(qū)域判斷為類似度低的算法；即使有可能將顯著區(qū)域的類似度判斷為高（顯著度低）， 也能夠可靠地將顯著區(qū)域以外判斷為類似度高的算法。
[0016] 例如，舉出了基于利用主成分分析（PCA)的重新構(gòu)成的方法，來作為第一算法。具 體來說，能夠采用如下的算法來作為第一算法：所述第一算法對(duì)所述周緣部的區(qū)域的特征 量實(shí)施主成分分析，計(jì)算多個(gè)固有矢量，通過對(duì)多個(gè)所述固有矢量進(jìn)行線性結(jié)合來重新構(gòu) 成對(duì)象的區(qū)域的特征量，重新構(gòu)成誤差越小，計(jì)算出類似度越大。
[0017] 另外，舉出了基于利用稀疏編碼（sparse coding)的重新構(gòu)成的方法，來作為第二 算法。具體來說，能夠采用如下的算法來作為第二算法：以利用盡量少的周緣部的區(qū)域的特 征量的組合來近似對(duì)象的區(qū)域的特征量的方式，利用成本函數(shù)最小的系數(shù)，通過對(duì)所述周 緣部的區(qū)域的特征量進(jìn)行線性結(jié)合來重新構(gòu)成對(duì)象的區(qū)域的特征量，重新構(gòu)成誤差越小， 計(jì)算出類似度越大。
[0018] 在本發(fā)明中，作為前置處理，優(yōu)選對(duì)輸入圖像實(shí)施超像素化處理。即，本發(fā)明的圖 像處理裝置還能夠具有超像素圖像生成部，所述超像素圖像生成部將由所述圖像獲取部獲 取的圖像劃分成由基于像素的特征量連結(jié)的多個(gè)像素構(gòu)成的區(qū)域，來生成超像素圖像。在 該情況下，類似度圖表生成部只要基于由所述超像素圖像生成部生成的超像素圖像，以超 像素為單位生成所述第一類似度圖表以及第二類似度圖表即可。
[0019] 像這樣，通過將特征量類似的相鄰區(qū)域作為一個(gè)像素（超像素），能夠獲得因削減 數(shù)據(jù)量而實(shí)現(xiàn)高速化以及節(jié)省存儲(chǔ)空間的效果和能夠抑制噪聲的效果。
[0020] 在超像素化的處理中，具有對(duì)超像素的大小即將圖像劃分成多少個(gè)超像素進(jìn)行調(diào) 整的參數(shù)。在本發(fā)明中，生成超像素?cái)?shù)不同的多個(gè)超像素圖像，以根據(jù)多個(gè)超像素圖像生成 類似度圖表。就生成類似度圖表而言，只要基于第一算法，根據(jù)多個(gè)所述超像素圖像分別生 成類似度圖表，對(duì)這些多個(gè)類似度圖表進(jìn)行綜合，來生成所述第一類似度圖表即可。同樣 地，只要基于第二算法，根據(jù)多個(gè)所述超像素圖像分別生成類似度圖表，對(duì)這些多個(gè)類似度 圖表進(jìn)行綜合，以生成所述第二類似度圖表即可。
[0021] 像這樣，根據(jù)多個(gè)超像素圖像分別生成類似度圖表，并對(duì)這些類似度圖表進(jìn)行綜 合，由此，能夠抑制噪聲的影響，從而能夠生成更高精度的類似度圖表。
[0022] 在本發(fā)明中，優(yōu)選地，對(duì)根據(jù)多個(gè)超像素圖像得到的類似度圖表分別實(shí)施平滑處 理。此時(shí)，優(yōu)選地，采用如下的處理來作為平滑處理，即，作為計(jì)算類似度圖表的基礎(chǔ)的超像 素圖像進(jìn)行聚類（grouping)，并在各類內(nèi)擴(kuò)散重新構(gòu)成誤差的處理。在顯著物體存在于輸 入圖像的周緣部的情況下，即使與周緣部之間的類似度很高，也不能確定為背景。通過實(shí)施 上述這種在類內(nèi)的平滑處理，能夠獲取在類內(nèi)的其它區(qū)域的類似度，因此，即使在顯著物體 存在于周緣部的情況下，也能夠高精度地檢測(cè)顯著區(qū)域。
[0023] 在本發(fā)明中，在利用根據(jù)多個(gè)超像素圖像生成的類似度圖表生成第一以及第二類 似度圖表的情況下，優(yōu)選實(shí)施基于輸入圖像中的像素的特征量和與該像素對(duì)應(yīng)的超像素的 特征量之間的類似度的加權(quán)平均處理。即，優(yōu)選地，所述類似度圖表生成部對(duì)基于所述第一 算法以及第二算法而根據(jù)多個(gè)所述超像素圖像生成的多個(gè)類似度圖表進(jìn)行加權(quán)平均處理， 以生成所述第一以及第二類似度圖表，所述加權(quán)平均處理的權(quán)重是指，由所述圖像獲取部 獲取的圖像中的像素的特征量與該像素所具有的超像素的特征量越近則該加權(quán)平均處理 的權(quán)重越大的權(quán)重。
[0024] 通過這種方法，能夠根據(jù)以超像素為單位求出的類似度圖表，高精度地求出以像 素為單位的類似度圖表。
[0025] 在本發(fā)明中，優(yōu)選地，所述類似度圖表生成部，針對(duì)計(jì)算出的類似度，進(jìn)行以在所 述圖像中檢測(cè)出的物體的位置為中心的加權(quán)處理，以生成所述第一類似度圖表以及第二類 似度圖表。此外，能夠求出物體位置來作為類似度圖表的類似度小的區(qū)域。
[0026] 像這樣，并不對(duì)圖像的中心加很大的權(quán)重，而是通過越靠近物體的中心加越大的 權(quán)重，由此，能夠改善反映了物體的中心的類似度圖表。
[0027] 在本發(fā)明中，優(yōu)選地，所述顯著性圖表生成部用所述第一類似度圖表作為事先準(zhǔn) 確率，根據(jù)所述第一類似度圖表和所述第二類似度圖表計(jì)算似然度，并根據(jù)該事先準(zhǔn)確率 和似然度計(jì)算表示顯著區(qū)域的事后準(zhǔn)確率的第一顯著性圖表，用所述第二類似度圖表作為 事先準(zhǔn)確率，根據(jù)所述第二類似度圖表和所述第一類似度圖表計(jì)算似然度，并根據(jù)該事先 準(zhǔn)確率和似然度計(jì)算表示顯著區(qū)域的事后準(zhǔn)確率的第二顯著性圖表，對(duì)所述第一顯著性圖 表和所述第二顯著性圖表進(jìn)行綜合，生成最終的顯著性圖表。
[0028] 像這樣，將第一類似度圖表和第二類似度圖表彼此作為事先準(zhǔn)確率，來分別求出