專利名稱：一種視頻信號的關(guān)注度分析系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，尤其涉及視頻信號的關(guān)注度分析系統(tǒng)。
背景技術(shù)：
視覺關(guān)注度模型通過模擬人眼對場景圖像的感知機理，找到圖像/視頻中人眼感 興趣的區(qū)域，目前其已廣泛的應(yīng)用于人眼關(guān)注點搜索、圖像分割、圖像壓縮、圖像自適應(yīng)剪 切、視頻對象跟蹤、視頻檢索、視頻編碼、3D場景透視等領(lǐng)域。1980年美國普林斯頓大學心理學教授Arme Treisman在文獻1中通過對人眼視 覺系統(tǒng)進行模擬實驗得出顏色、方向和亮度是人類視覺系統(tǒng)最關(guān)注的特征，并在此基礎(chǔ)上 提出了特征融合的理論，它是人類視覺模型的一個重要的理論基礎(chǔ)。1998年，Itti等人在 文獻2中對視覺注意中的選擇和轉(zhuǎn)移工作機制進行了開創(chuàng)性的研究，提出了可計算的視覺 注意模型框架，采用特征融合的方式計算關(guān)注度圖，并將關(guān)注度值大的區(qū)域作為關(guān)注區(qū)域。 2003年，Itti在文獻3中，結(jié)合圖像關(guān)注度模型，并通過考慮前后2幀視頻信號的運動特征 和閃爍特征，提出視頻信號的關(guān)注度模型。但是Itti模型僅用了前后2幀進行運動參數(shù)的 提取，能夠捕獲的物體速度范圍有限，當運動物體速度較慢時容易造成漏判。另外，其基于 幀差法的運動特征檢測，容易將活動物體的內(nèi)部標識成低關(guān)注度區(qū)域，從而造成誤判。2005年，Wen-Huang Cheng在文獻4中，針對Itti模型對緩慢運動處理不佳的缺 點，將視頻序列分段，利用中值濾波得到時間分段的關(guān)注度圖，但這種方法對于運動劇烈的 序列效果不好。另外，2009年Chang Liu等在文獻5中，利用像素的統(tǒng)計模型將空域關(guān)注度 和時域關(guān)注度融合，從而解決當運動物體速度較慢時容易造成漏判的問題，但是其前提條 件是統(tǒng)計窗口必須和前景對象的大小匹配，因此在實際應(yīng)用中并不具備普適性。本發(fā)明專利申請通過利用多幀參考，對傳統(tǒng)方法的運動特征提取進行了擴展，使 得運動特征在時域上包含更多的尺度，能更精確的描述前景對象的運動信息，減少漏判的 可能性。同時，該系統(tǒng)在關(guān)注度計算模塊中，用空域關(guān)注度圖對運動關(guān)注度進行了增強，解 決了傳統(tǒng)方法將活動物體的內(nèi)部標識成低關(guān)注度區(qū)域的問題。實驗結(jié)果表明，在關(guān)注區(qū)域 提取的準確率上，該系統(tǒng)較傳統(tǒng)方法有大幅提高。文獻 1 :Treisman，Α. Μ. Gelade G. “A feature-integration theory of attention.，，CognitivePsychology，vol. 12，no. 1, pp. 97-136，1980.文 獻 2 :L Itti，C. Koch, E. Niebur. “A model of saliency-based visual attention for rapidscene analysis. “ IEEE Transactions on Pattern Analysis and Machine Intelligence，vol. 20，no. 11，pp. 1254—1259，Nov. 1998.文 獻 3 :L· Itti, N. Dhavale, F· Pighin，"Realistic avatar eye and head animation using aneurobiological model of visual attention.，，In Proceedings of SPIE 48th Annual InternationalSymposium on Optical Science and Technology, vol. 5200，pp.64-78August，2003.文 ^ 4 :W. H. Cheng, W. T. Chu, J. L. Wu. “A visual attention based
5region-of-interestdetermination framework for video sequences. ”IEICE Transaction on Information and Systems, vol. 88, no.7,pp.1578-1586,2005.文獻5 :Chang Liu, PongC. Yuen, Guoping Qiu,"Object motion detection using informationtheoretic spatio-temporal saliency,，，Pattern Recognition, vol.42, issue 11，pp.2897-2906，2009.

發(fā)明內(nèi)容
針對上述存在的技術(shù)問題，本發(fā)明的目的是提供一種視頻信號的關(guān)注度分析系 統(tǒng)，找到視頻中人眼感興趣的區(qū)域，從而為后續(xù)的視頻處理奠定基礎(chǔ)。為達到上述目的，本發(fā)明采用如下的技術(shù)方案一種視頻信號的關(guān)注度分析系統(tǒng)，包括-基于多參考幀的關(guān)注度特征提取模塊，該模塊進一步包括亮度特征提取子模塊，用于提取當前視頻幀不同尺度的亮度特征集合；顏色特征提取子模塊，用于提取當前視頻幀不同尺度的顏色特征集合；方向特征提取子模塊，用于提取當前視頻幀不同方向上的不同尺度的方向特征集 合；基于多參考幀的運動特征提取子模塊，用于提取當前視頻幀不同方向上的不同尺 度的運動特征集合；閃爍特征提取子模塊，用于提取當前視頻幀和前一幀圖像間的不同尺度的閃爍特 征；-基于空域連續(xù)性的關(guān)注度圖計算模塊，該模塊進一步包括空域關(guān)注度子圖計算子模塊，用于利用亮度、顏色和方向通道的特征集合計算各 自通道的關(guān)注度子圖，并生成空域關(guān)注度子圖；運動關(guān)注度子圖計算子模塊，用于利用當前幀的運動特征集合計算初步的運動關(guān) 注度子圖；基于空域連續(xù)性的運動關(guān)注度子圖增強子模塊，用于利用已生成的空域關(guān)注度子 圖對運動關(guān)注度子圖進行修正，得到最終的運動關(guān)注度子圖；閃爍關(guān)注度子圖計算子模塊，用于利用閃爍特征生成閃爍關(guān)注度子圖；關(guān)注度子圖合并子模塊，用于將空域、運動和閃爍關(guān)注度子圖合并，生成最終的關(guān) 注度圖。所述亮度特征提取子模塊，通過下述公式獲得設(shè)Lev是圖像高斯金字塔的分解層數(shù)，其取值是由用戶自己設(shè)定的正整數(shù)，另設(shè) r(o),g(o),b(o)分別為圖像高斯金字塔中第σ層的紅、綠、藍三個分量，由下式求得亮 度特征Ι(σ)，形成Lev層特征子圖Ι(σ) = (r ( σ ) +g ( σ ) +b ( σ )) /3其中，σ為正整數(shù)，且σ e [l，Lev]。所述顏色特征提取子模塊，通過下述公式獲得設(shè)r(0)，g(0)，b(0)分別為圖像高斯金字塔中第σ層的紅、綠、藍三個分量，圖 像高斯金字塔中第。層的紅、綠、藍，黃四個基色R(。)，G(o)，B(O)，Y(O)通過下述公式獲得 R(a) = (Γ(σ)
2
Γ(σ) + δ(σ) 2
2
Κσ) I Γ(σ) - 0(σ) = Β(σ) = φ(σ) Υ(σ)
Γ(σ) + 2
Κσ)與紅綠色對應(yīng)的RG ( ο )、與藍黃色對應(yīng)的BY ( ο )通過下述公式獲得RG(o ) = (R(o )-G(o ))BY ( σ ) = (B ( σ ) -Y ( σ ))。所述方向特征提取子模塊中方向特征0( ο，θ)是對亮度特征Ι(σ)上用方向θ 的Gabor函數(shù)濾波得到的Gabor金字塔，其中，θ是Gabor函數(shù)的方向參數(shù)，由用戶自行選 擇。所述閃爍特征提取子模塊中，閃爍特征值Fi ( σ )由當前幀的亮度特征Ii ( ο )和前 一幀的亮度特征Ih ( σ )對應(yīng)位置像素點的強度值相減得到Fi(O) = Ili(O)-Ii^1(O)其中，設(shè)當前幀為第i幀，前一幀為第i_l幀。所述基于多參考幀的運動特征提取子模塊中，每個時空域尺度上運動特征Rn( σ， θ，ρ)由下式求出^(σ , θ，ρ) = | “σ，0)*Sp(o，θ )-Ιρ(σ , 0)^(0, θ)其中，Κσ，θ)是當前幀的亮度特征I在尺度σ上用方向θ的Gabor函數(shù)濾 波的特征圖，S^o , Θ)是Κσ，Θ)在方向θ上的偏移，i為當前幀的幀號，ρ為參考幀 的幀號；設(shè)有η幀參考幀，則ρ = il11—1，當參考幀并非當前幀的前一幀時，即P不等于i-1 時，σ不再從1 Lev進行遍歷，而僅用σ = 1的圖像求Rn( σ，θ，ρ)?；诳沼蜻B續(xù)性的運動關(guān)注度子圖增強子模塊，通過以下子步驟實現(xiàn)①得到當前幀的空域關(guān)注度圖SMspatialSMspatial = w1*SMi+w2*SMc+w3*SM0其中，Wl、W2和W3是加權(quán)系數(shù)，SM1為亮度關(guān)注度子圖，SMc為顏色關(guān)注度子圖，SM0 為方向關(guān)注度子圖；②根據(jù)一定的閾值T1，將運動關(guān)注度高的點標明出來，設(shè)某一高運動關(guān)注度值的 點為Hi，其中i為當前點在關(guān)注度圖中的序號，則高運動關(guān)注度值的點集為InJ ；根據(jù)一定 的閾值T2,將空域關(guān)注度高的點標明出來，設(shè)某一高空域關(guān)注度值的點為Hli,則此高空域關(guān) 注度值的點集為ImJ ；③設(shè)運動的前景物體的點集為{qj，貝U {qj = {nj Π {mj，并設(shè)置
/(0 = ι , m=ο, "ω
7
其中，f(t)是一個二值函數(shù)，t為關(guān)注度子圖中的每個點。④針對運動的前景物體的每一個點設(shè)其鄰域為L，其取值由用戶自己設(shè)置。在 其鄰域進行搜索，將屬于同一前景物體的點設(shè)為關(guān)注點
權(quán)利要求
一種視頻信號的關(guān)注度分析系統(tǒng)，其特征在于，包括 基于多參考幀的關(guān)注度特征提取模塊，該模塊進一步包括亮度特征提取子模塊，用于提取當前視頻幀不同尺度的亮度特征集合；顏色特征提取子模塊，用于提取當前視頻幀不同尺度的顏色特征集合；方向特征提取子模塊，用于提取當前視頻幀不同方向上的不同尺度的方向特征集合；基于多參考幀的運動特征提取子模塊，用于提取當前視頻幀不同方向上的不同尺度的運動特征集合；閃爍特征提取子模塊，用于提取當前視頻幀和前一幀圖像間的不同尺度的閃爍特征； 基于空域連續(xù)性的關(guān)注度圖計算模塊，該模塊進一步包括空域關(guān)注度子圖計算子模塊，用于利用亮度、顏色和方向通道的特征集合計算各自通道的關(guān)注度子圖，并生成空域關(guān)注度子圖；運動關(guān)注度子圖計算子模塊，用于利用當前幀的運動特征集合計算初步的運動關(guān)注度子圖；基于空域連續(xù)性的運動關(guān)注度子圖增強子模塊，用于利用已生成的空域關(guān)注度子圖對運動關(guān)注度子圖進行修正，得到最終的運動關(guān)注度子圖；閃爍關(guān)注度子圖計算子模塊，用于利用閃爍特征生成閃爍關(guān)注度子圖；關(guān)注度子圖合并子模塊，用于將空域、運動和閃爍關(guān)注度子圖合并，生成最終的關(guān)注度圖。
2.根據(jù)權(quán)利要求1所述的視頻信號的關(guān)注度分析系統(tǒng)，其特征在于，所述亮度特征提 取子模塊，通過下述公式獲得設(shè)Lev是圖像高斯金字塔的分解層數(shù)，其取值是由用戶自己設(shè)定的正整數(shù)，另設(shè) r(o),g(o),b(o)分別為圖像高斯金字塔中第σ層的紅、綠、藍三個分量，由下式求得亮 度特征Ι(σ)，形成Lev層特征子圖 1(0) = (r(o)+g(o)+b(o))/3 其中，σ為正整數(shù)，且σ e [l，Lev]。
3.根據(jù)權(quán)利要求2所述的視頻信號的關(guān)注度分析系統(tǒng)，其特征在于，所述顏色特征提 取子模塊，通過下述公式獲得設(shè)r(0)，g(0)，b(0)分別為圖像高斯金字塔中第σ層的紅、綠、藍三個分量，圖像高 斯金字塔中第ο層的紅、綠、藍，黃四個基色R(0)，G(O)，B(O)，Y(O)通過下述公式獲 得Β{σ) = φ{(diào)σ)-^}ψΞ )7(σ) = Γ(σ)+^(σ)-丨咖)產(chǎn) I - Κσ)與紅綠色對應(yīng)的RG(O)、與藍黃色對應(yīng)的BY(O)通過下述公式獲得RG(o) = (R(o)-G(o))BY ( σ ) = (B ( σ ) -Y ( σ ))。
4.根據(jù)權(quán)利要求2或3所述的視頻信號的關(guān)注度分析系統(tǒng)，其特征在于，所述方向特征 提取子模塊中方向特征0( ο，θ )是對亮度特征I(O)上用方向θ的Gabor函數(shù)濾波得到 的Gabor金字塔，其中，θ是Gabor函數(shù)的方向參數(shù)，由用戶自行選擇。
5.根據(jù)權(quán)利要求2-4中任一項所述的視頻信號的關(guān)注度分析系統(tǒng)，其特征在于，所述 閃爍特征提取子模塊中，閃爍特征值Fi ( σ )由當前幀的亮度特征Ii ( ο )和前一幀的亮度特 征Ih ( σ )對應(yīng)位置像素點的強度值相減得到Fi(Q) = Ili(O)-IH(O)其中，設(shè)當前幀為第i幀，前一幀為第i_l幀。
6.根據(jù)權(quán)利要求2-5中任一項所述的視頻信號的關(guān)注度分析系統(tǒng)，其特征在于，所述 基于多參考幀的運動特征提取子模塊中，每個時空域尺度上運動特征Rn(o，θ，ρ)由下式 求出Ri(o , θ ,ρ) = Ι^σ , θ ) *sp ( σ , θ )-Ιρ(σ , 0)^(0, θ)其中，Ii(。，θ)是當前幀的亮度特征I在尺度σ上用方向θ的Gabor函數(shù)濾波的 特征圖，SiO，Θ)是IiO，Θ)在方向θ上的偏移，i為當前幀的幀號，ρ為參考幀的幀 號；設(shè)有η幀參考幀，則ρ = I^n-1,當參考幀并非當前幀的前一幀時，即P不等于i_l時， σ不再從1 Lev進行遍歷，而僅用σ = 1的圖像求Rn( σ，θ，ρ)。
7.根據(jù)權(quán)利要求1所述的視頻信號的關(guān)注度分析系統(tǒng)，其特征在于，基于空域連續(xù)性 的運動關(guān)注度子圖增強子模塊，通過以下子步驟實現(xiàn)①得到當前幀的空域關(guān)注度圖SMspatialSMspatial = w1*SMi+W2*SMc+W3*SM0其中，Wl、W2和W3是加權(quán)系數(shù)，SM1為亮度關(guān)注度子圖，SMc為顏色關(guān)注度子圖，SM0為方 向關(guān)注度子圖；②根據(jù)一定的閾值T1,將運動關(guān)注度高的點標明出來，設(shè)某一高運動關(guān)注度值的點為 Hi，其中i為當前點在關(guān)注度圖中的序號，則高運動關(guān)注度值的點集為{%}；根據(jù)一定的閾 值T2,將空域關(guān)注度高的點標明出來，設(shè)某一高空域關(guān)注度值的點為!V則此高空域關(guān)注度 值的點集為ImJ ；③設(shè)運動的前景物體的點集為{qj，則{qj= {nj Π {mj，并設(shè)置/(O = 1 , te{qi}m=ο, t€{qi)其中，f(t)是一個二值函數(shù)，t為關(guān)注度子圖中的每個點；④針對運動的前景物體的每一個點設(shè)其鄰域為L，其取值由用戶自己設(shè)置。在其鄰 域進行搜索，將屬于同一前景物體的點設(shè)為關(guān)注點 (ρ) = 0 P^Lq, IfP^ k}門} and | SMspatial (p) - SMspatial ) |> threshold\f(p) = 1 P^Lqi if pe [Yii} η } or | SMspatml (ρ) - SMspatial (仏)|< threshold其中P為Qi鄰域L中的每一個點，threshold是用戶自己設(shè)置的閾值；⑤得到關(guān)注度點的集合{%}，則{uj= {t|f(t) = 1}；⑥然后得到運動關(guān)注點集{TSJ, {TsJ = {uj U {nj ；⑦將ITSJ-InJ中的點的關(guān)注度值設(shè)置為InJ中關(guān)注度的平均值，由此得到增強后的 運動關(guān)注度圖SMtm。
8.根據(jù)權(quán)利要求1所述的視頻信號的關(guān)注度分析系統(tǒng)，其特征在于，所述關(guān)注度子圖 合并子模塊，通過下述公式獲得SM= λ ^SMspatial+A2^SMtm+A3^SMf其中，λ”入2和λ 3是加權(quán)系數(shù)，SM當前幀的關(guān)注度圖，SMf為閃爍關(guān)注度子圖。
全文摘要
本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域，尤其涉及視頻信號的關(guān)注度分析系統(tǒng)。本發(fā)明包括基于多參考幀的關(guān)注度特征提取模塊，和基于空域連續(xù)性的關(guān)注度圖計算模塊。其中，基于多參考幀的關(guān)注度特征提取模塊進一步包括亮度特征提取子模塊、顏色特征提取子模塊、方向特征提取子模塊、基于多參考幀的運動特征提取子模塊、閃爍特征提取子模塊；基于空域連續(xù)性的關(guān)注度圖計算模塊進一步包括空域關(guān)注度子圖計算子模塊、運動關(guān)注度子圖計算子模塊、基于空域連續(xù)性的運動關(guān)注度子圖增強子模塊、閃爍關(guān)注度子圖計算子模塊、關(guān)注度子圖合并子模塊。本發(fā)明力求在不明顯增加計算復(fù)雜度的情況下，大幅提升關(guān)注區(qū)域提取的準確率。
文檔編號G06K9/46GK101950362SQ201010281140
公開日2011年1月19日 申請日期2010年9月14日 優(yōu)先權(quán)日2010年9月14日
發(fā)明者劉如浩, 夏洋, 王中元, 胡瑞敏, 胡金暉, 蘇引, 黃震坤 申請人:武漢大學