基于MoSIFT和CSD特征的暴恐視頻檢測(cè)方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及暴恐視頻檢測(cè)算法，具體地，涉及一種基于MoSIFT和CSD特征的暴恐視 頻檢測(cè)算法。
【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)的不斷發(fā)展，通過互聯(lián)網(wǎng)傳播的各種視頻內(nèi)容變得浩如煙海，而其中 不乏暴力恐怖類視頻，這類視頻對(duì)未成年人容易造成不好的心理影響。因此需要對(duì)互聯(lián)網(wǎng) 上的視頻進(jìn)行分類管控，傳統(tǒng)的方式是通過人工檢測(cè)審核處理海量的視頻，這種方法工作 量大，并且不能全面及時(shí)地管控暴力恐怖類視頻的擴(kuò)散，從而使得采用自動(dòng)的暴力恐怖視 頻檢測(cè)方法就顯得非常有意義。
[0003] 暴恐視頻的檢測(cè)方式多種多樣，一般從音頻信號(hào)和視覺信號(hào)兩方面入手，通過音 頻信號(hào)識(shí)別尖叫、爆炸等異常聲音信息，通過視覺信號(hào)識(shí)別出血液、陰暗、打斗等畫面，這兩 種方法在不同的領(lǐng)域中應(yīng)用具有各自的優(yōu)勢(shì)。尤其在電影、監(jiān)控視頻等資料里，視覺信號(hào)識(shí) 別更有優(yōu)勢(shì)。
[0004] 經(jīng)過對(duì)暴恐視頻檢測(cè)技術(shù)的檢索發(fā)現(xiàn)，公開號(hào)為CN104036301A，公開日為2014年9 月10日，名稱為"基于光流塊特征的暴力事件識(shí)別方法及系統(tǒng)"的中國(guó)專利公開了一種識(shí)別 方法。具體地，將視頻幀間運(yùn)動(dòng)點(diǎn)自適應(yīng)劃為光流塊;篩選出包含運(yùn)動(dòng)點(diǎn)數(shù)目不小于第一閾 值的光流塊得到有效光流塊群;根據(jù)有效光流塊群對(duì)是否發(fā)生暴力事件進(jìn)行判斷，當(dāng)所述 有效光流塊群中的光流塊數(shù)目不小于第二閾值且所述有效光流塊群中所有光流塊的主光 流值都不小于第三閾值并且所述有效光流塊群中所有光流塊的主光流方向兩兩之間的夾 角都不小于第四閾值時(shí)，則判定發(fā)生暴力事件。該專利文獻(xiàn)使用了光流塊特征，但是只提取 了視頻的局部動(dòng)態(tài)特征，而視頻的全局靜態(tài)特征并沒有被提取，從而使得視頻的一些靜態(tài) 特征丟失，使得對(duì)血腥恐怖類視頻檢測(cè)的效果不佳。
[0005] 因此，需要提出一種能夠全面檢測(cè)視頻動(dòng)靜態(tài)特征的暴恐視頻檢測(cè)方法，以提高 檢測(cè)效率和檢測(cè)精度。Char if等人提出的一種新穎的時(shí)空特征(Mot ion Scale Invariant Feature Transform)算法，簡(jiǎn)稱MoSIFT。這種算法首先提取視頻圖像中的SIFT (Invariant Feature Transform)點(diǎn)特征，然后計(jì)算與SIFT關(guān)鍵點(diǎn)尺度相對(duì)應(yīng)的光流大小。MoSIFT特征 由128維SIFT向量和128維光流方向直方圖連接而成，共256維。光流方向直方圖的組合方式 與SIFT特征向量的組合方式類似:即將光流的模值和角度對(duì)應(yīng)為SIFT中像素梯度的模值和 角度，在局部領(lǐng)域內(nèi)進(jìn)行加權(quán)。與SIFT描述子不同，這里并不需要旋轉(zhuǎn)各點(diǎn)的光流到主方向 上，原因在于不同于空間域的旋轉(zhuǎn)不變性有助識(shí)別角度同目標(biāo)，光流角度是用于運(yùn)動(dòng)描述 的重要信息。
[0006] 顏色結(jié)構(gòu)描述子CSD(Color Structure Descriptor)計(jì)算的是圖像局部區(qū)域的顏 色分布情況。比如一個(gè)8X8像素大小的窗口在整張圖像上滑動(dòng)并統(tǒng)計(jì)窗口出現(xiàn)的顏色種 類，該CSD特征在疆0(此6，丨11，1&?，0丨€€6代1?^)顏色空間下提取，主要優(yōu)點(diǎn)是可以區(qū)別顏 色直方圖相似，但是顏色空間分布較為不同的圖像對(duì)。

【發(fā)明內(nèi)容】

[0007] 針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于MoSIFT和CSD特征的暴恐 視頻檢測(cè)方法。
[0008] 根據(jù)本發(fā)明提供的基于MoSIFT和CSD特征的暴恐視頻檢測(cè)方法，包括如下步驟：
[0009] 步驟1:分別提取測(cè)試視頻、訓(xùn)練視頻的MoSIFT特征；
[001 0]步驟2:對(duì)提取的測(cè)試視頻、訓(xùn)練視頻的MoSIFT特征進(jìn)行數(shù)量和維度削減；
[0011] 步驟3:對(duì)數(shù)量和維度削減后的訓(xùn)練視頻MoSIFT特征進(jìn)行聚類，得到聚類中心矩 陣；
[0012] 步驟4:根據(jù)聚類中心矩陣得到對(duì)應(yīng)的聚類中心，利用所述聚類中心統(tǒng)計(jì)訓(xùn)練視頻 和測(cè)試視頻的詞袋，得到訓(xùn)練樣本和測(cè)試樣本；
[0013] 步驟5:利用所述訓(xùn)練樣本訓(xùn)練SVM分類器，得到分類器，記為SVM-1;
[0014]步驟6:利用SVM-1在訓(xùn)練樣本、測(cè)試樣本上分別進(jìn)行分類計(jì)算，計(jì)算得到分?jǐn)?shù)，記 為MoSIFT分?jǐn)?shù)；
[0015]步驟7:分別提取訓(xùn)練視頻、測(cè)試視頻的CSD特征；
[0016] 步驟8:利用均值動(dòng)態(tài)密度點(diǎn)Mean Diversity Density，簡(jiǎn)稱MDD方法，計(jì)算訓(xùn)練樣 本的最大動(dòng)態(tài)密度點(diǎn)MP;
[0017] 步驟9:根據(jù)訓(xùn)練樣本的最大動(dòng)態(tài)密度點(diǎn)MP分別計(jì)算訓(xùn)練樣本、測(cè)試樣本的CSD分 數(shù)；
[0018] 步驟10:利用訓(xùn)練樣本的MoSIFT分?jǐn)?shù)和CSD分?jǐn)?shù)訓(xùn)練SVM分類器，得到訓(xùn)練好的分 類器記為SVM-2;
[0019] 步驟11:利用SVM-2在測(cè)試樣本的MoSIFT分?jǐn)?shù)和CSD分?jǐn)?shù)上，進(jìn)行分類，進(jìn)而完成對(duì) 測(cè)試視頻進(jìn)行分類。
[0020] 優(yōu)選地，所述步驟1包括：
[0021 ]步驟1.1:將測(cè)試視頻和訓(xùn)練視頻拆分成幀；
[0022] 步驟1.2:處理前后相鄰兩幀，計(jì)算MoSIFT特征；
[0023] 具體地，利用基于Opencv實(shí)現(xiàn)的MoSIFT算法，調(diào)用Opencv中的MoSIFT類的構(gòu)造函 數(shù)，得到前后連續(xù)兩幀所具有的MoSIFT特征，并將所述MoSIFT特征保存為Opencv的Mat類型 數(shù)據(jù)；
[0024]步驟1.3:將一個(gè)訓(xùn)練視頻的某幀和該幀的MoSIFT特征縱向拼接，得到相應(yīng)的第一 特征矩陣，所述第一特征矩陣記為M1;將一個(gè)測(cè)試視頻的某幀和該幀的MoSIFT特征縱向拼 接，得到相應(yīng)的第四特征矩陣，所述第四特征矩陣記為M4,處理完成所有視頻，得到每個(gè)視 頻的第一特征矩陣施。
[0025]優(yōu)選地，所述步驟2包括：
[0026]步驟2.1:對(duì)第一特征矩陣施中的第一行至最后一行依次執(zhí)行如下處理：
[0027]在第一特征矩陣％某一行以下的所有行內(nèi)找到距離該行最近的一行，并將距離該 行最近的一行與該行的下一行進(jìn)行交換；
[0028] 步驟2.2:將經(jīng)過步驟2.1處理后的第一特征矩陣施等行數(shù)均分為k4份，每一份沿縱 向取平均值，即計(jì)算列平均值，將每一份的結(jié)果縱向拼接得到k4XW1的矩陣即第二特征矩 陣，所述第二特征矩陣記為M2，其中wi表示施的橫向維度；
[0029] 步驟2.3:統(tǒng)計(jì)第二特征矩陣M2中每一縱向維度中非0元素的個(gè)數(shù)，提取第二特征 矩陣M2中非0元素的個(gè)數(shù)排在前ki位的維度的列向量，得到第三特征矩陣M 3;記住提取的維 度的列號(hào)，按照所述列號(hào)，提取第四特征矩陣M4得到第六特征矩陣M6。
[0030] 優(yōu)選地，所述步驟3包括:對(duì)所有訓(xùn)練視頻的第三特征矩陣M3進(jìn)行縱向拼接，得到 總訓(xùn)練矩陣M，對(duì)Μ進(jìn)行K-means聚類處理，得到聚類中心矩陣&，所述聚類中心矩陣&每一行 作為一個(gè)聚類中心；
[0031] 具體地，使用MATLAB的k-means函數(shù)處理第三特征矩陣Μ3,并限定最大的迭代次數(shù) 為200，start值設(shè)為cluster，k_means函數(shù)返回的值設(shè)為[idx，center ]，idx表示Μ中的某一 行聚類之后的位置，center即表示聚類中心矩陣Cu
[0032] 優(yōu)選地，所述步驟4包括：
[0033]步驟4.1:統(tǒng)計(jì)idx得到訓(xùn)練視頻中對(duì)應(yīng)的訓(xùn)練樣本的詞袋，計(jì)算第六特征矩陣M6 中的一行與聚類中心矩陣&中每一行的距離，取聚類中心矩陣&中與第六特征矩陣M6中的 一行距離最小的行作為詞匯；
[0034] 步驟4.2:統(tǒng)計(jì)測(cè)試視頻中各個(gè)詞匯出現(xiàn)的次數(shù)，并繪制成直方圖，將該