專利名稱：一種基于故事情節(jié)的視頻摘要提取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻摘要提取方法，尤其涉及一種基于故事情節(jié)的視頻摘要提取方法，屬于圖像處理技術(shù)領(lǐng)域。
背景技術(shù)：
隨著越來越多的影片資料出現(xiàn)在網(wǎng)絡(luò)、個人電腦和數(shù)字設(shè)備上，要求采取有效且實用的方法組織和管理這些海量數(shù)據(jù)的愿望也越來越強烈。這些方法中，影片摘要方法不僅可獲得對原始影片資料故事情節(jié)發(fā)展的簡單描述，而且有利于觀眾觀看整部影片前便能捕獲電影主題。因此，電影摘要的目的是依據(jù)故事情節(jié)的發(fā)展，選擇合適的片段構(gòu)成影片摘要。然而，如何合理地選擇電影片段及有效地將它們整合為摘要，仍是一個有待進一步研究的問題。
經(jīng)對現(xiàn)有技術(shù)文獻的檢索發(fā)現(xiàn)，Ma等人(Y. Ma, X. Hua, L. Lu, and H Zhang.A generic framework of user attention model and its application in videosummarization. In IEEE Transactions on Multimedia, 7 (5) : 907 - 919，2005)提出了用戶注意模型的電影摘要，Li 等人(K. Li, L. Guo, C. Faraco, and et al. Human-centeredattention models for video summarization. In Proceedings of IEEE InternationalConference on Multimodal Interfaces, 2010:27-30)提出了關(guān)于電影摘要的以人為本的注意模型，Lu 等人(S. Lu, I. King, and M. Lyu. Video summarization by video structureanalysis and graph optimization. In Proceedings of IEEE International Conferenceon Multimedia and Expo, 2004:1959-1962)通過電影結(jié)構(gòu)分析和圖優(yōu)化的方法實現(xiàn)電影摘要。這些電影摘要方法主要側(cè)重于通過提取底層視聽特征或中間層視聽特征來生成摘要。然而從人們理解角度來說，由于底層視聽特征與高層語義理解的差異，底層視聽特征并不能很好地描述電影情節(jié)的進展。由電影制作理論可知，任何影片的本質(zhì)都是講述一個故事。因此，一個理想的電影摘要能清楚描述原始電影情節(jié)的進展。從觀眾的角度來看，一部電影之所以吸引他，是他想知道故事接下來的情節(jié)該如何發(fā)展。即，故事情節(jié)為一部影片的結(jié)構(gòu)及精彩的內(nèi)容，提供了有意義的描述。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于克服現(xiàn)有視頻摘要方法的不足，提供一種基于故事情節(jié)的視頻摘要提取方法，依據(jù)故事情節(jié)發(fā)展關(guān)系選擇合適的摘要片段，既符合人們的邏輯思維，也有利于保證影片內(nèi)容的完整性。本發(fā)明的基于故事情節(jié)的視頻摘要提取方法，包括以下步驟步驟A、對原始視頻進行關(guān)鍵幀、鏡頭以及場景檢測；步驟B、根據(jù)視頻故事情節(jié)從場景中檢測出精彩場景；步驟C、根據(jù)實際情況從精彩場景中選擇摘要片段，并按照時序進行拼接，生成原始視頻的摘要。
所述精彩場景的檢測包括對話場景檢測首先依據(jù)人臉信息檢測出含有交替出現(xiàn)的人臉鏡頭的場景，作為候選對話場景；然后，從候選對話場景中選出包含語音的場景，即為對話場景；動作場景檢測一個場景同時滿足下列三個條件時，則將該場景視為動作場景該場景中每個鏡頭的幀數(shù)小于25，每個鏡頭的平均活躍強度超過200，且每個鏡頭的平均音頻能量超過100 ；懸疑場景檢測當(dāng)一個場景同時滿足下列三個條件時，則該場景為懸疑場景該場景的平均光照強度小于50 ;該場景開始某幾個鏡頭的音頻能量包不超過5，且某兩個連續(xù)鏡頭的音頻能量包變化超過50 ;該場景開始幾個鏡頭的活躍強度不超過5，且某兩個連續(xù)鏡頭的活躍強度變化超過100。
進一步地，所述對話場景檢測還包括情感對話場景的檢測分別提取各對話場景的平均的基音頻率和短時的強度變化，選擇兩者均大于預(yù)設(shè)閾值的對話場景，即為情感對話場景。進一步地，所述動作場景檢測還包括槍戰(zhàn)場景檢測選擇橙、黃、紅三種顏色特征均大于預(yù)設(shè)閾值的動作場景作為槍戰(zhàn)場景；打斗場景檢測選擇包含吼叫聲音頻特征的動作場景作為打斗場景；追逐場景檢測選擇包含摩擦聲和尖叫聲音頻特征的動作場景作為追逐場景。優(yōu)選地，所述步驟C具體包括以下各子步驟步驟Cl、按照以下公式計算任意兩個精彩場景間的演變強度PIF (ASU, ASv) = a *TTn (ASU, ASv) + β *STn(ASU, ASv) + y *RTn(ASU, ASv)式中，PIF(ASU, ASv)表示兩個不同場景ASu和ASv之間的演變強度，TTn(ASU, ASv)、STn (ASU, ASv)、RTn (ASU, ASv)分別是ASu和ASv之間的時域變換強度TT (ASU,，ASv)、空間變換強度ST (ASU, ASv)、周期轉(zhuǎn)換強度RT (ASU, ASv)的歸一化形式，α、β、Y為滿足α + β + Υ =1的權(quán)重系數(shù)；其中，時域變換強度TT (ASU, ASv)的計算公式為
權(quán)利要求
1.一種基于故事情節(jié)的視頻摘要提取方法，其特征在于，包括以下步驟 步驟A、對原始視頻進行關(guān)鍵幀、鏡頭以及場景檢測； 步驟B、根據(jù)視頻故事情節(jié)從場景中檢測出精彩場景； 步驟C、根據(jù)實際情況從精彩場景中選擇摘要片段，并按照時序進行拼接，生成原始視頻的摘要。
2.如權(quán)利要求I所述基于故事情節(jié)的視頻摘要提取方法，其特征在于，所述精彩場景的檢測包括 對話場景檢測首先依據(jù)人臉信息檢測出含有交替出現(xiàn)的人臉鏡頭的場景，作為候選對話場景；然后，從候選對話場景中選出包含語音的場景，即為對話場景； 動作場景檢測一個場景同時滿足下列三個條件時，則將該場景視為動作場景該場景中每個鏡頭的幀數(shù)小于25，每個鏡頭的平均活躍強度超過200，且每個鏡頭的平均音頻能量超過100 ； 懸疑場景檢測當(dāng)一個場景同時滿足下列三個條件時，則該場景為懸疑場景該場景的平均光照強度小于50 ;該場景開始某幾個鏡頭的音頻能量包不超過5，且某兩個連續(xù)鏡頭的音頻能量包變化超過50 ;該場景開始幾個鏡頭的活躍強度不超過5，且某兩個連續(xù)鏡頭的活躍強度變化超過100。
3.如權(quán)利要求2所述基于故事情節(jié)的視頻摘要提取方法，其特征在于，所述對話場景檢測還包括情感對話場景的檢測分別提取各對話場景的平均的基音頻率和短時的強度變化，選擇兩者均大于預(yù)設(shè)閾值的對話場景，即為情感對話場景。
4.如權(quán)利要求2所述基于故事情節(jié)的視頻摘要提取方法，其特征在于，所述動作場景檢測還包括 槍戰(zhàn)場景檢測選擇橙、黃、紅三種顏色特征均大于預(yù)設(shè)閾值的動作場景作為槍戰(zhàn)場旦牙、； 打斗場景檢測選擇包含吼叫聲音頻特征的動作場景作為打斗場景； 追逐場景檢測選擇包含摩擦聲和尖叫聲音頻特征的動作場景作為追逐場景。
5.如權(quán)利要求1-4任一項所述基于故事情節(jié)的視頻摘要提取方法，其特征在于，所述步驟C具體包括以下各子步驟 步驟Cl、按照以下公式計算任意兩個精彩場景間的演變強度
6.如權(quán)利要求5所述基于故事情節(jié)的視頻摘要提取方法，其特征在于，所述從備選摘要片段中選擇出最終的摘要片段，具體按照以下方法首先將備選摘要片段中長度小于I秒的精彩場景剔除；然后分別對剩余的各備選摘要片段進行完整語句的檢測，并根據(jù)檢測結(jié)果對備選摘要片段進行相應(yīng)調(diào)整如完整語句的邊界超出備選摘要片段邊界，則將該備選摘要片段的邊界調(diào)整至完整語句的邊界；調(diào)整后的候選摘要片段即為最終的摘要片段。
7.如權(quán)利要求6所述基于故事情節(jié)的視頻摘要提取方法，其特征在于，所述完整語句的檢測按照以下方法使用音頻能量和二階過零率，從連續(xù)的語音序列中檢測出暫停片段；采用最小的暫停時間和語句時間，實現(xiàn)上一步分割結(jié)果的平滑；用更長的暫停時間，檢測出語句片段。
8.如權(quán)利要求5所述基于故事情節(jié)的視頻摘要提取方法，其特征在于，所述鏡頭檢測具體按照以下方法首先，進行候選鏡頭邊界的檢測利用鏡頭幀之間內(nèi)容信息的差異性確定候選鏡頭的初始邊界，在此基礎(chǔ)上，依據(jù)初始鏡頭邊界鄰域內(nèi)內(nèi)容信息的差異性確定候選鏡頭的精確邊界；其次，依據(jù)圖像幀的二維熵特性確定真實的候選鏡頭的轉(zhuǎn)換類型，同時利用去除無效的候選鏡頭。
9.如權(quán)利要求5所述基于故事情節(jié)的視頻摘要提取方法，其特征在于，所述場景檢測具體按照以下方法首先，在時間窗口的約束機制下，確定鏡頭間的語義內(nèi)容信息的空間相關(guān)性；然后，在已有空間-時間相關(guān)性的基礎(chǔ)上，依據(jù)各個鏡頭間語義內(nèi)容信息的差異性，準(zhǔn)確建立場景的邊界?！?br> 全文摘要
本發(fā)明公開了一種基于故事情節(jié)的視頻摘要提取方法。本發(fā)明方法包括以下步驟對原始視頻進行關(guān)鍵幀、鏡頭以及場景檢測；根據(jù)視頻故事情節(jié)從場景中檢測出精彩場景；根據(jù)實際情況從精彩場景中選擇摘要片段，并按照時序進行拼接，生成原始視頻的摘要。本發(fā)明還進一步根據(jù)場景間的演變強度對精彩場景進行篩選，并將持續(xù)時間過短而無法表達有用信息的備選摘要片段剔除，并根據(jù)語句的完整性對備選摘要片段進行調(diào)整。本發(fā)明依據(jù)故事情節(jié)發(fā)展關(guān)系選擇合適的摘要片段生成視頻摘要，這既符合人們的邏輯思維，也有利于保證影片內(nèi)容的完整性。
文檔編號G06F17/30GK102902756SQ20121035818
公開日2013年1月30日 申請日期2012年9月24日 優(yōu)先權(quán)日2012年9月24日
發(fā)明者朱松豪, 范莉莉, 鄒黎明, 梁志偉 申請人:南京郵電大學(xué)