一種用于視頻分析的人機交互主題動作挖掘方法
【技術領域】
[0001] 本發(fā)明涉及一種用于視頻分析的人機交互主題動作挖掘方法，屬于圖像處理技術 領域。
【背景技術】
[0002] 最近幾年，網絡的日趨流行，更多的視頻片段信息呈現(xiàn)出來。相比于文字，視頻中 有更多的信息，也更難以人為主觀的加以區(qū)分和概括。用戶如何能根據自身的主觀意圖去 挖掘視頻中的內在信息，是視頻動作挖掘的主要難點。
[0003] 已有技術中，文獻[Interest point detection and scale selection in space-time, Ivan Laptev and Tony Lindeberg]使用時空興趣點特征描述子來檢測視頻 中運動劇烈部分，在動作識別中得到了較為廣泛的應用，并結合詞袋模型取得了較好的效 果。該方法并不依賴于預處理過程，識別過程對于噪聲、背景混亂和光照的改變都具有較好 的魯棒性，但所識別的動作很難滿足不同主觀性。已有技術中，文獻[User-driven topic modeling based on interactive nonnegative matrix factorization, Choo J，Lee C，Reddy C K，et al. UTOPIAN]公開了一種利用非負矩陣分解方法，通過交互的方式，來挖 掘文本中的主題摘要文字。對于文本信息而言，一段文本有明確的主題摘要，但對于視頻來 說，由于用戶的主觀性，很難找到一個最為精準的主題，不同的用戶獲得的主題摘要完全依 賴于自身的主觀意圖。

【發(fā)明內容】

[0004] 本發(fā)明的目的是提出一種用于視頻分析的人機交互主題動作挖掘方法，以針對人 機交互用戶的主觀意圖來挖掘視頻中用戶感興趣的主題動作，更具有針對性和準確性。
[0005] 本發(fā)明提出的用于視頻分析的人機交互主題動作挖掘方法，包括以下步驟：
[0006] (1)提取待分析視頻序列的特征矩陣V，具體過程如下：
[0007] (1-1)設待分析視頻序列為I (X，y，t)，其中X，y為第t幀圖像中的像素點在該圖 像中的坐標，對視頻序列I進行1?斯卷積，得到1?斯卷積后的視頻圖像序列L :
【主權項】
1. 一種用于視頻分析的人機交互主題動作挖掘方法，其特征在于該方法包括以下步 驟： (1)提取待分析視頻序列的特征矩陣V，具體過程如下： (1-1)設待分析視頻序列為I(X，y，t)，其中X，y為第t幀圖像中的像素點在該圖像中 的坐標，對視頻序列I進行_斯卷積，得到_斯卷積后的視頻圖像序列L:
其中，g(T,)?,/;<，A為時空高斯平滑濾波器：
其中，Oph分別為高斯平滑濾波器中空間和時間維度的標準差； (1-2)根據上述步驟（1-1)的L，按照下式計算得到待分析視頻序列的時空二階矩矩陣u
其中"為L在x方向上的偏導，Ly為L在y方向上的偏導，Lt為L在t方向上的偏導； (1-3)利用上述步驟（1-2)得到的時空二階矩矩陣y，構造一個判別函數R: R=入i入2入3_k(入入2+入3)2， 其中，入i，入2，入3為時空二階矩矩陣ii的三個特征值，k為常數，取值范圍為0.1~ 10 ； (1-4)計算上述判別函數R在時間和坐標上的所有正極大值點，所有正極大值點在待 分析視頻序列中的位置，即為時空興趣點集合{xk,yk,tk, 〇 k,tk}，k= 1,2,…M,其中,M為 時空興趣點個數； (1-5)提取上述步驟（1-4)的時空興趣點的特征描述子，具體步驟如下： (1-5-1)在上述時空興趣點的四周得到一個長方體區(qū)域（Ax，Ay，At)，Ax=Ay = 2〇1，At=2Tp〇1，Tl分別為上述高斯平滑濾波器中空間和時間維度的標準差，對長方 體區(qū)域（Ax，Ay，At)進行歸一化處理，得到長方體區(qū)域（Ax，Ay，At)的方向梯度直方圖 HOG描述子和光流直方圖HOF描述子； (1-5-2)將方向梯度直方圖HOG描述子和光流直方圖H0F描述子拼接成為H0G/H0F聯(lián) 合描述子，作為時空興趣點的特征描述子q; (1-6)重復上述步驟（1-5)，遍歷時空興趣點集合{xk，yk，tk，〇k，Tk}中的所有時空興 趣點，提取特征描述子，得到所有時空興趣點特征描述子集合Q= [^，q2，…，qd]，其中，d為 特征描述子個數； (1-7)利用K-均值方法，對上述特征描述子集合Q進行聚類，得到N個聚類中心向量， 并得到聚類中心向量矩陣B:B= ，…，BN]; (1-8)根據步驟（1-6)的時空興趣點特征描述子和步驟（1-7)的聚類中心向量，按照如 下公式計算編碼向量ci:
?f于任意i，滿足約束條件IICiI|Q= 1，IIciII1，c0， 得到編碼矩陣CNXd:C=[cc2，…，cd]; (1-9)利用上述編碼矩陣CNXd，得到待分析視頻的特征矩陣V:V=CT，特征矩陣V為dXN的非負矩陣，其中，CT為編碼矩陣CNXd的轉置； (2)利用上述步驟（1)得到的待分析視頻的特征矩陣V，提取待處理視頻中的主題動 作，具體步驟如下： (2-1)對特征矩陣V= [Vl，v2，…，Vi，…，vN]，按照公式進行歸一化處理，得到歸 一化后的特征矩陣V' =[v' 1>V'2，…，v'i，…，v'N]，V'為dXN的非負矩陣，其中，N為 聚類數，即為待分析視頻聚類后的片段個數，d為上述特征描述子個數，令V=V' ； (2-2)設定一個N維向量m，m= [nii，m2,…，nii,…，mN],N為待分析視頻聚類后的片段個 數，定義一個邊緣權值矩陣Pw:
其中，Np(mi)為與叫距
離為P的所有點的集合，設P= 1，得到邊緣權值矩陣 ，Pw 為NXN的方陣； (2-3)利用上述邊緣權值矩陣Pw，定義一個對角矩陣PD，使A,=LA，PD為NXN的對 角陣； (2-4)設非負矩陣V~WH，其中W為dXr的非負矩陣，H為rXN的非負矩陣，d為特征 描述子個數，N為待分析視頻聚類后的片段個數，r為人機交互中用戶設定的主題動作數， 利用非負矩陣分解法，分別得到非負矩陣W和非負矩陣H，具體步驟如下： (2-4-1)初始化非負矩陣W為一個dXr的隨機矩陣，每個元素值取為0到1之間的隨 機數，初始化非負矩陣H為rXN的隨機矩陣，每個元素值取為0到1之間的隨機數； (2-4-2)設定一個約束系數入，0<入<50,按照如下迭代規(guī)則分別對W、H進行更新， 得到更新后的非負矩陣W和H: