一種基于慢特征分析的時(shí)空顯著性檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種視頻處理技術(shù)，具體設(shè)及一種基于慢特征分析的時(shí)空顯著性檢測(cè) 方法。
【背景技術(shù)】
[000引在人類視覺(jué)系統(tǒng)（Human Visual System, HVS)中，人眼和大腦協(xié)同工作無(wú)需訓(xùn)練 就可輕松地聚焦于圖像或視頻感興趣的目標(biāo)。顯著性檢測(cè)就是通過(guò)模擬人眼的該種視覺(jué)注 意機(jī)制來(lái)快速檢測(cè)出圖像或視頻中的感興趣目標(biāo)，而時(shí)空顯著性檢測(cè)是融合了視頻中運(yùn)動(dòng) 特征的顯著性檢測(cè)。
[0003] 時(shí)空顯著性檢測(cè)常常被使用為一種視頻的預(yù)處理技術(shù)，可W為進(jìn)一步技術(shù)研究提 供支持，例如視頻質(zhì)量評(píng)估、視頻壓縮、目標(biāo)跟蹤和識(shí)別等。如在視頻壓縮領(lǐng)域，通過(guò)顯著性 檢測(cè)提取感興趣的區(qū)域，模糊視頻中那些不感興趣的區(qū)域，從而達(dá)到對(duì)視頻內(nèi)容的分層壓 縮。
[0004] 盡管顯著目標(biāo)檢測(cè)的方法不同，但基本過(guò)程大致可W分為兩類。第一種，該類方法 通過(guò)融合運(yùn)動(dòng)特征來(lái)直接從視頻圖像中提取出顯著目標(biāo)。第二種，該類方法首先分別生成 包含空間信息的空間顯著圖和利用了運(yùn)動(dòng)特征的時(shí)間顯著圖，最終通過(guò)融合空間顯著圖和 時(shí)間顯著圖來(lái)生成最終的包含了感興趣目標(biāo)的顯著圖。
[0005] 大多數(shù)傳統(tǒng)的方法都是利用背景建模來(lái)檢測(cè)感興趣目標(biāo)。Elgammal等人通過(guò)核 密度估計(jì)（Kernel Density Estimation,邸E)分別對(duì)前景和背景建模來(lái)處理監(jiān)督視頻。 Monnet等人提出了一種在線的自動(dòng)回歸模型來(lái)捕獲和預(yù)測(cè)動(dòng)態(tài)場(chǎng)景的行為，例如搖曳的樹(shù) 木。Zivkovic則提出了一種高效的自適應(yīng)算法，使用高斯混合概率密度用于背景去除。然 而，該些方法通常假定場(chǎng)景背景處于輕微的變化或者處在靜態(tài)攝像機(jī)的環(huán)境下，可見(jiàn)對(duì)于 動(dòng)態(tài)場(chǎng)景的效果并不好。后來(lái)，為了去除相機(jī)運(yùn)動(dòng)導(dǎo)致的背景變化，Bugeau和Marat分別 在模型中利用了運(yùn)動(dòng)補(bǔ)償來(lái)排除變化的背景，估計(jì)出前景目標(biāo)。然而，他們的方法過(guò)分依賴 相機(jī)運(yùn)動(dòng)估計(jì)，而該本身就是一個(gè)具有挑戰(zhàn)性的問(wèn)題。
[0006] 近年來(lái)，對(duì)于視頻的顯著性研究已經(jīng)越來(lái)越受到關(guān)注。一些時(shí)空顯著性模型已經(jīng) 被提出用于顯著目標(biāo)檢測(cè)。給定一個(gè)簡(jiǎn)單的假設(shè)就是視覺(jué)系統(tǒng)的重要目標(biāo)之一就是尋找潛 在的目標(biāo)，化ang等人建立了一個(gè)貝葉斯概率框架，來(lái)計(jì)算獲得顯著目標(biāo)。Guo等人提出了 一個(gè)新穎的圖像的四元表示，并且開(kāi)發(fā)出一個(gè)多分辨率的時(shí)空顯著性檢測(cè)模型來(lái)計(jì)算時(shí)空 顯著圖。Seo等人通過(guò)局部回歸核度量一個(gè)立方體與其周圍的相似性來(lái)生成顯著圖。然而， W上提到的模型都不對(duì)動(dòng)態(tài)場(chǎng)景魯椿。為了克服場(chǎng)景的復(fù)雜性，M址adevan和Vasconcelos 提出了一個(gè)基于中央周邊的顯著性監(jiān)測(cè)算法，受到運(yùn)動(dòng)感知的生物學(xué)機(jī)制的啟發(fā)。該個(gè)顯 著性檢測(cè)對(duì)于復(fù)雜的動(dòng)態(tài)場(chǎng)景魯椿。然而，它卻需要很高的計(jì)算成本。后來(lái)，Zhou和Shi提 出了使用生物啟發(fā)的特征的顯著性模型來(lái)處理動(dòng)態(tài)場(chǎng)景。他們的自底向上的顯著性模型需 要相對(duì)低的計(jì)算成本，并且獲得了可競(jìng)爭(zhēng)的性能。然而，他們的方法對(duì)于一些特定場(chǎng)景產(chǎn)生 了不好的效果，如充滿煙霧的環(huán)境。
[0007] 就視頻顯著性而言，主要存在兩個(gè)問(wèn)題： 1、動(dòng)態(tài)場(chǎng)景的復(fù)雜性。在現(xiàn)實(shí)生活中存在大量的自然場(chǎng)景，在該類自然場(chǎng)景中感興趣 目標(biāo)和復(fù)雜的背景都有不同程度的運(yùn)動(dòng)。通常，我們將該樣的自然場(chǎng)景稱為動(dòng)態(tài)場(chǎng)景。毋 庸置疑，生物視覺(jué)在處理動(dòng)態(tài)場(chǎng)景上已經(jīng)進(jìn)化的非常高效。然而，能夠處理具有復(fù)雜變化背 景的顯著目標(biāo)檢測(cè)模型并不多。因此，如何設(shè)計(jì)出一個(gè)魯椿的時(shí)空顯著性模型仍然是一項(xiàng) 具有挑戰(zhàn)性的任務(wù)。
[000引 2、另一個(gè)值得關(guān)注的問(wèn)題就是運(yùn)動(dòng)特征的描述。一些顯著性模型利用帖差法來(lái) 提取最簡(jiǎn)單的運(yùn)動(dòng)特征，例如Guo等人提出的多分辨率的時(shí)空檢測(cè)模型。其他的一些研 究者通過(guò)光流估計(jì)來(lái)描述運(yùn)動(dòng)特征，例如化OU等人提取的空時(shí)顯著性模型。除此之外， M址adevan等人利用了線性動(dòng)態(tài)系統(tǒng)對(duì)時(shí)空激勵(lì)分布建模，該是一種描述動(dòng)態(tài)紋理的自動(dòng) 回歸模型。然而，該些描述運(yùn)動(dòng)特征的方法不是過(guò)于簡(jiǎn)單不足W包含豐富的運(yùn)動(dòng)信息，就是 過(guò)于復(fù)雜需要大量的計(jì)算成本。因此，如何利用非監(jiān)督的方法來(lái)對(duì)運(yùn)動(dòng)特征進(jìn)行描述成為 一個(gè)有趣的問(wèn)題。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明的發(fā)明目的是提供一種基于慢特征分析的時(shí)空顯著性檢測(cè)方法，通過(guò)慢特 征分析，能夠直接W非監(jiān)督的方式從輸入數(shù)據(jù)中學(xué)習(xí)出周圍環(huán)境變化的高層運(yùn)動(dòng)表示。
[0010] 為達(dá)到上述發(fā)明目的，本發(fā)明采用的技術(shù)方案是：一種基于慢特征分析的時(shí)空顯 著性檢測(cè)方法，包括如下步驟： 步驟一：從被歸一化處理過(guò)的視頻序列中隨機(jī)采樣提取大量的時(shí)空立方體； 步驟二；對(duì)于每一個(gè)步驟一中所提取的單個(gè)時(shí)空立方體，輸入信號(hào)使用一個(gè)二次函數(shù) 擴(kuò)展到一個(gè)非線性的空間，訓(xùn)練得到慢特征函數(shù)； 步驟給定一個(gè)視頻塊，采用兩層慢特征函數(shù)提取給定視頻塊的時(shí)間顯著圖，再通過(guò) 布爾圖生成給定視頻塊空間顯著圖，最終，時(shí)間顯著圖和空間顯著圖通過(guò)自適應(yīng)的融合策 略生成最終的時(shí)空顯著圖； 步驟四；采用返回抑制的方法從顯著圖中捜索出前K個(gè)注意焦點(diǎn)，進(jìn)行目標(biāo)檢測(cè)，其中 K是目標(biāo)候選區(qū)域的數(shù)目。
[0011] 上述技術(shù)方案中，所述步驟一具體包括： (1) 采用canny邊緣檢測(cè)算法對(duì)給定視頻塊的第一帖進(jìn)行邊緣檢測(cè)，再隨機(jī)從邊緣上 采樣生成固定數(shù)目的初始點(diǎn)； (2) W步驟（1)中生成的初始點(diǎn)為中屯、，提取大小為 h X W X d的立方體，并對(duì)每個(gè)提取的立方體進(jìn)行重構(gòu)。
[0012] 由于上述技術(shù)方案運(yùn)用，本發(fā)明與現(xiàn)有技術(shù)相比具有下列優(yōu)點(diǎn)： 本發(fā)明通過(guò)慢特征分析，可W從周圍的環(huán)境變化中學(xué)習(xí)出一種魯椿的內(nèi)在描述，該種 內(nèi)在描述可W獨(dú)立于環(huán)境本身，且利用兩層的慢特征函數(shù)來(lái)提取高層的運(yùn)動(dòng)描述用于時(shí)間 顯著性，能夠檢測(cè)更加復(fù)雜的動(dòng)態(tài)場(chǎng)景。
【附圖說(shuō)明】
[0013] 圖1是實(shí)施例一中本發(fā)明的方法框架圖。
[0014] 圖2是實(shí)施例一中立方體的重構(gòu)過(guò)程示意圖。
[0015] 圖3是實(shí)施例一中兩層慢特征學(xué)習(xí)示意圖。
[0016] 圖4是實(shí)施例一中顯著目標(biāo)檢測(cè)的樣例。
[0017] 圖5是實(shí)施例二中基于一層和兩層慢特征變化的顯著圖的對(duì)比圖。
[0018] 圖6是實(shí)施例二中復(fù)雜場(chǎng)景下的顯著性檢測(cè)示意圖。
[0019] 圖7是實(shí)施例二中不同算法的顯著圖對(duì)比。
【具體實(shí)施方式】
[0020] 下面結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述： 實(shí)施例一；參見(jiàn)圖1所示，一種基于慢特征分析的時(shí)空顯著性檢測(cè)方法，包括如下步 驟： 步驟一：提取訓(xùn)練立方體，從被歸一化處理過(guò)的視頻序列中隨機(jī)采樣提取大量的時(shí)空 立方體，該過(guò)程分為如下兩個(gè)步驟： (1) 采用canny邊緣檢測(cè)算法對(duì)給定視頻塊的第一帖進(jìn)行邊緣檢測(cè)，再隨機(jī)從邊緣上 采樣生成固定數(shù)目的初始點(diǎn)； (2) W步驟（1)中生成的初始點(diǎn)為中屯、，提取大小為hxwxd的立方體，并對(duì)每個(gè)提取 的立方體進(jìn)行重構(gòu)，如圖2所示； 步驟二；非監(jiān)督的慢特征學(xué)習(xí)，對(duì)于每一個(gè)步驟一中所提取的單個(gè)時(shí)空立方體，輸入信 號(hào)使用一個(gè)二次函數(shù)擴(kuò)展到一個(gè)非線性的空間，訓(xùn)練得到慢特征函數(shù)； 步驟計(jì)算顯著性，給定一個(gè)d帖的視頻塊，中間帖選擇作為當(dāng)前帖，用于對(duì)應(yīng)最后 的顯著圖，根據(jù)步驟一，當(dāng)前帖中的每個(gè)位置表示為!CW5，對(duì)應(yīng)于大小為h X W X d的立方體， 經(jīng)過(guò)重構(gòu)后，每個(gè)立方體表示為一個(gè)時(shí)間長(zhǎng)度為ci-M中1的向量序列，表示為Sec|;(t)，其中 每個(gè)時(shí)間點(diǎn)的向量通過(guò)連接盤個(gè)連續(xù)的帖來(lái)產(chǎn)生，然后，使用步驟二中學(xué)習(xí)到的慢特征函 數(shù)，每個(gè)序列W-種級(jí)聯(lián)的方法變換到一個(gè)新的時(shí)間序列，其中K表示慢特征函數(shù)的數(shù)目， 然后，位置1上第j個(gè)高層緩慢性通過(guò)公式（2)計(jì)算
【主權(quán)項(xiàng)】
1. 一種基于慢特征分析的時(shí)空顯著性檢測(cè)方法，其特征在于，包括如下步驟： 步驟一：從被歸一化處理過(guò)的視頻序列中隨機(jī)采樣提取大量的時(shí)空立方體； 步驟二：對(duì)于每一個(gè)步驟一中所提取的單個(gè)時(shí)空立方體，輸入信號(hào)使用一個(gè)二次函數(shù) 擴(kuò)展到一個(gè)非線性的空間，訓(xùn)練得到慢特征函數(shù)； 步驟三：給定一個(gè)視頻塊，采用兩層慢特征函數(shù)提取給定視頻塊的時(shí)間顯著圖，再通過(guò) 布爾圖生成給定視頻塊空間顯著圖，最終，時(shí)間顯著圖和空間顯著圖通過(guò)自適應(yīng)的融合策 略生成最終的時(shí)空顯著圖； 步驟四：采用返回抑制的方法從顯著圖中搜索出前K個(gè)注意焦點(diǎn)，進(jìn)行目標(biāo)檢測(cè)，其中K是目標(biāo)候選區(qū)域的數(shù)目。
2. 根據(jù)權(quán)利要求1所述的一種基于慢特征分析的時(shí)空顯著性檢測(cè)方法，其特征在于： 所述步驟一具體包括： (1) 采用canny邊緣檢測(cè)算法對(duì)給定視頻塊的第一幀進(jìn)行邊緣檢測(cè)，再隨機(jī)從邊緣上 采樣生成固定數(shù)目的初始點(diǎn)； (2) 以步驟（1)中生成的初始點(diǎn)為中心，提取大小為 hXwXd的立方體，并對(duì)每個(gè)提取的立方體進(jìn)行重構(gòu)。
【專利摘要】本發(fā)明公開(kāi)了一種基于慢特征分析的時(shí)空顯著性檢測(cè)方法，具體步驟包括：訓(xùn)練立方體的收集、非監(jiān)督的慢特征學(xué)習(xí)、顯著性計(jì)算和目標(biāo)檢測(cè)，本發(fā)明通過(guò)慢特征分析能夠直接以非監(jiān)督的方式從輸入數(shù)據(jù)中學(xué)習(xí)出周圍環(huán)境變化的高層運(yùn)動(dòng)表示。
【IPC分類】G06T7-20
【公開(kāi)號(hào)】CN104616323
【申請(qǐng)?zhí)枴緾N201510090872
【發(fā)明人】劉純平, 吳揚(yáng), 郭蕓, 季怡, 龔聲蓉
【申請(qǐng)人】蘇州大學(xué)
【公開(kāi)日】2015年5月13日
【申請(qǐng)日】2015年2月28日