含幻燈片的教學(xué)視頻的索引建立方法及幻燈片定位方法
【專利摘要】一種含幻燈片的教學(xué)視頻的索引建立方法及幻燈片定位方法，該索引建立方法包括：讀入教學(xué)視頻和電子版幻燈片的步驟；視頻預(yù)分割步驟，在教學(xué)視頻的幻燈片區(qū)域內(nèi)確定若干特征點(diǎn)，基于所述若干特征點(diǎn)的概率分布確定幻燈片切換時(shí)刻，從而將所述教學(xué)視頻分割為若干預(yù)分割視頻片段；及匹配步驟，采用啟發(fā)式搜索匹配法分別將若干預(yù)分割視頻片段中的幀與電子版幻燈片進(jìn)行匹配，找出各幀對(duì)應(yīng)的幻燈片，從而獲得所述教學(xué)視頻的索引。該定位方法包括：采用上述索引建立方法建立教學(xué)視頻的索引；將索引載入用戶界面；以及通過在用戶界面點(diǎn)擊索引中的幻燈片，將教學(xué)視頻的播放指針定位到含有該幻燈片的視頻片段。本方法魯棒性好，速度快且準(zhǔn)確。
【專利說明】含幻燈片的教學(xué)視頻的索引建立方法及幻燈片定位方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，具體涉及教學(xué)視頻的索引建立方法，以及幻燈片定位方法。
【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)多媒體信息豐富，教育相關(guān)的視頻信息愈加豐富，用戶在瀏覽教學(xué)視頻時(shí)，快速定位、分析視頻內(nèi)容的需求日益增長(zhǎng)。
[0003]為歸并大量教學(xué)視頻信息，使用計(jì)算機(jī)程序來提取關(guān)鍵幀成為最常用的做法。
[0004]傳統(tǒng)的關(guān)鍵幀提取方法大多是基于像素的方法，例如通過分割和聚類的方式，對(duì)突然出現(xiàn)的非語(yǔ)義影響極其敏感，往往會(huì)提取出不必要的關(guān)鍵幀，而由于教學(xué)視頻中會(huì)有場(chǎng)景切換、攝像頭變焦、亮度變化等非幻燈片語(yǔ)義切換的情況，因此，使用傳統(tǒng)的關(guān)鍵幀提取方法往往會(huì)提取出冗余的關(guān)鍵幀。另一方面，這種方式提取的關(guān)鍵幀，無法與教學(xué)演示視頻對(duì)應(yīng)的幻燈片進(jìn)行一一對(duì)應(yīng)，用戶在瀏覽教學(xué)視頻時(shí)需要將已有的電子版幻燈片和教學(xué)視頻進(jìn)行對(duì)應(yīng)匹配，工作繁瑣且會(huì)花費(fèi)大量精力。
[0005]本發(fā)明主要關(guān)注在已有含有幻燈片的教學(xué)視頻和電子版幻燈片情況下，如何快速正確尋找出對(duì)應(yīng)的教學(xué)視頻中電子版幻燈片出現(xiàn)時(shí)刻，以該信息來建立教學(xué)視頻的索引。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的是提供一種含幻燈片的教學(xué)視頻的索引建立方法，該方法能夠根據(jù)已有的含有幻燈片的教學(xué)視頻和電子版幻燈片進(jìn)行匹配快速準(zhǔn)確地建立索引，以方便用戶瀏覽教學(xué)視頻中感興趣的片段。
[0007]為達(dá)上述目的，本發(fā)明提供的一種含幻燈片的教學(xué)視頻的索引建立方法包括:
[0008]讀入教學(xué)視頻和電子版幻燈片的步驟；
[0009]視頻預(yù)分割步驟，在教學(xué)視頻的幻燈片區(qū)域內(nèi)確定若干特征點(diǎn)，基于所述若干特征點(diǎn)的概率分布確定幻燈片切換時(shí)刻，從而將所述教學(xué)視頻分割為若干預(yù)分割視頻片段；以及
[0010]匹配步驟，采用啟發(fā)式搜索匹配法分別將若干預(yù)分割視頻片段中的幀與電子版幻燈片進(jìn)行匹配，找出各幀對(duì)應(yīng)的幻燈片，從而獲得所述教學(xué)視頻的索引。
[0011]在上述的含幻燈片的教學(xué)視頻的索引建立方法中，優(yōu)選地，所述匹配步驟還包括:當(dāng)啟發(fā)式搜索匹配法未找出預(yù)分割視頻片段中首幀對(duì)應(yīng)的幻燈片時(shí)，將該首幀與全部幻燈片進(jìn)行匹配。
[0012]在上述的含幻燈片的教學(xué)視頻的索引建立方法中，優(yōu)選地，所述匹配步驟還包括:對(duì)于第一個(gè)預(yù)分割視頻片段，在采用啟發(fā)式搜索匹配法進(jìn)行匹配前，采用與全部幻燈片進(jìn)行匹配的方式從第一幀開始匹配直至找出含有幻燈片的幀。
[0013]在上述的含幻燈片的教學(xué)視頻的索引建立方法中，優(yōu)選地，所述啟發(fā)式搜索匹配法包括:讀取預(yù)分割視頻片段中的幀；以該幀的前一幀對(duì)應(yīng)的幻燈片為中心在電子版幻燈片序列中選擇復(fù)數(shù)個(gè)幻燈片構(gòu)成幻燈片組；以及將該幀與構(gòu)造的幻燈片組進(jìn)行匹配，尋找該幀對(duì)應(yīng)的幻燈片。
[0014]在上述的含幻燈片的教學(xué)視頻的索引建立方法中，優(yōu)選地，所述匹配步驟采用SURF算法進(jìn)行匹配。
[0015]在上述的含幻燈片的教學(xué)視頻的索引建立方法中，優(yōu)選地，所述視頻預(yù)分割步驟中，采用Kanade-Lucas-Tomasi算法來確定特征點(diǎn),所述特征點(diǎn)為角點(diǎn)。
[0016]在上述的含幻燈片的教學(xué)視頻的索引建立方法中，優(yōu)選地，所述視頻預(yù)分割步驟中，基于所述若干特征點(diǎn)的概率分布確定幻燈片切換時(shí)刻的方法包括:將每一時(shí)刻角點(diǎn)數(shù)量與所有時(shí)刻全部角點(diǎn)數(shù)量相除，得到隨時(shí)刻變化每一幀角點(diǎn)的百分比圖；以及比較相鄰兩幀角點(diǎn)的百分比，當(dāng)差值大于第一閾值時(shí)，認(rèn)定在該相鄰兩幀中的后一幀，幻燈片被切換。
[0017]在上述的含幻燈片的教學(xué)視頻的索引建立方法中，優(yōu)選地，所述視頻預(yù)分割步驟中，基于所述若干特征點(diǎn)的概率分布確定幻燈片切換時(shí)刻的方法還包括:在計(jì)算角點(diǎn)的百分比圖之前，首先在每一個(gè)角點(diǎn)的軌跡線上去除壞點(diǎn)。
[0018]在上述的含幻燈片的教學(xué)視頻的索引建立方法中，優(yōu)選地，該索引建立方法還包括:對(duì)匹配后的電子版幻燈片位置，使用雙邊濾波平滑的步驟；和/或過濾冗余匹配結(jié)果的步驟。
[0019]本發(fā)明提供的一種教學(xué)視頻中幻燈片的定位方法包括:
[0020]采用上述任意一項(xiàng)所述的索引建立方法建立所述教學(xué)視頻的索引；
[0021]將所述索引載入用戶界面；以及
[0022]通過在用戶界面點(diǎn)擊索引中的幻燈片，將所述教學(xué)視頻的播放指針定位到含有該幻燈片的視頻片段。
[0023]本發(fā)明具有以下有益效果:
[0024]本發(fā)明采用識(shí)別特征點(diǎn)的方法，通過特征點(diǎn)的概率分布來分割預(yù)視頻，具有很好的魯棒性。
[0025]其采用SURF算法進(jìn)行幻燈片匹配，不僅速度快，而且匹配對(duì)于幻燈片的內(nèi)容、大小等干擾特征不敏感。
[0026]其匹配過程無監(jiān)督，無需干預(yù)即可產(chǎn)生索引信息。
[0027]用戶只需在完成的索引點(diǎn)擊需要瀏覽的幻燈片即可查看到教學(xué)視頻當(dāng)前幻燈片位置，也即能夠根據(jù)已有的幻燈片來定位到教學(xué)視頻中自己感興趣的內(nèi)容。
【專利附圖】

【附圖說明】
[0028]圖1為一實(shí)施例含幻燈片的教學(xué)視頻的索引建立流程圖；
[0029]圖2為一實(shí)施例的用戶界面示意圖。
【具體實(shí)施方式】
[0030]下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)一步說明。這些更詳細(xì)的描述旨在幫助理解本發(fā)明，而不應(yīng)被用于限制本發(fā)明。根據(jù)本發(fā)明公開的內(nèi)容，本領(lǐng)域技術(shù)人員明白，可以不需要一些或者所有這些特定細(xì)節(jié)即可實(shí)施本發(fā)明。而在其它情況下，為了避免將發(fā)明創(chuàng)造淡化，未詳細(xì)描述眾所周知的操作過程。
[0031]如圖1所示，本含幻燈片的教學(xué)視頻的索引建立方法包括以下步驟:
[0032]步驟SI，載入教學(xué)視頻。用^^……仁卜-…^表示’仁表示第七幀’共!^^
[0033]步驟S2，載入電子版幻燈片序列。用Sl，s2，...，Sp...，Sm表示，S,表示第r張，共m張。
[0034]步驟S3，視頻預(yù)分割步驟，在教學(xué)視頻的幻燈片區(qū)域內(nèi)確定若干特征點(diǎn)，基于所述若干特征點(diǎn)的概率分布確定幻燈片切換時(shí)刻，從而將所述教學(xué)視頻分割為若干預(yù)分割視頻片段。更具體地說，該視頻預(yù)分割步驟的流程如下:
[0035]31)使用Kanade-Lucas-Tomasi (KLT)特征跟蹤法在教學(xué)視頻的幻燈片區(qū)域內(nèi)確定若干角點(diǎn)；
[0036]32)每一個(gè)角點(diǎn)在連續(xù)的時(shí)刻在時(shí)間域上會(huì)組成一條軌跡線,去除由于物體移動(dòng)或出現(xiàn)、亮度變化和攝像機(jī)運(yùn)動(dòng)造成的壞點(diǎn)；
[0037]33)將每一時(shí)刻角點(diǎn)數(shù)量與所有時(shí)刻全部角點(diǎn)數(shù)量相除，得到隨時(shí)刻變化每一幀角點(diǎn)的百分比圖；
[0038]34)比較相鄰兩幀角點(diǎn)的百分比，當(dāng)相鄰兩幀角點(diǎn)之差大于第一閾值τ。時(shí)，認(rèn)定幻燈片進(jìn)行切換，即在該相鄰兩幀中的后一幀中幻燈片被切換，記錄當(dāng)前時(shí)刻。
[0039]步驟S4，匹配步驟，采用啟發(fā)式搜索匹配法分別將若干預(yù)分割視頻片段中的幀與電子版幻燈片進(jìn)行匹配，找出各幀對(duì)應(yīng)的幻燈片，從而獲得所述教學(xué)視頻的索引。
[0040]使用SURF檢測(cè)學(xué)習(xí)算法，將電子版幻燈片(object)與分割后的若干預(yù)分割視頻片段中的幀(target)進(jìn)行匹配。SURF是一種對(duì)于尺度、旋轉(zhuǎn)不變，并且運(yùn)行速度快的算法。對(duì)視頻序列的圖像來說，處理流程主要包括計(jì)算積分圖、獲取興趣點(diǎn)、計(jì)算主方向，從而得到主方向上的描述子。對(duì)匹配電子版幻燈片圖像來說，處理流程主要包括計(jì)算積分圖、計(jì)算興趣點(diǎn)。對(duì)每一幀教學(xué)視頻圖像，SURF匹配首先通過Hessian近似矩陣來檢測(cè)興趣點(diǎn),然后基于興趣點(diǎn)的鄰域分布來描述和匹配。在匹配過程中對(duì)每一次匹配均有匹配誤差ME，該匹配過程共取r個(gè)特征點(diǎn)，對(duì)于每一對(duì)對(duì)應(yīng)的特征點(diǎn)誤差為ek，所有特征點(diǎn)取絕對(duì)值平均作為匹配誤差大小，ME的取值如下公式所示:
【權(quán)利要求】
1.一種含幻燈片的教學(xué)視頻的索引建立方法，其特征在于，該索引建立方法包括: 讀入教學(xué)視頻和電子版幻燈片的步驟； 視頻預(yù)分割步驟，在教學(xué)視頻的幻燈片區(qū)域內(nèi)確定若干特征點(diǎn)，基于所述若干特征點(diǎn)的概率分布確定幻燈片切換時(shí)刻，從而將所述教學(xué)視頻分割為若干預(yù)分割視頻片段；以及 匹配步驟，采用啟發(fā)式搜索匹配法分別將若干預(yù)分割視頻片段中的幀與電子版幻燈片進(jìn)行匹配，找出各幀對(duì)應(yīng)的幻燈片，從而獲得所述教學(xué)視頻的索引。
2.根據(jù)權(quán)利要求1所述的含幻 燈片的教學(xué)視頻的索引建立方法，其特征在于，所述匹配步驟還包括:當(dāng)啟發(fā)式搜索匹配法未找出預(yù)分割視頻片段中首幀對(duì)應(yīng)的幻燈片時(shí)，將該首幀與全部幻燈片進(jìn)行匹配。
3.根據(jù)權(quán)利要求1所述的含幻燈片的教學(xué)視頻的索引建立方法，其特征在于，所述匹配步驟還包括:對(duì)于第一個(gè)預(yù)分割視頻片段，在采用啟發(fā)式搜索匹配法進(jìn)行匹配前，采用與全部幻燈片進(jìn)行匹配的方式從第一幀開始匹配直至找出含有幻燈片的幀。
4.根據(jù)權(quán)利要求1所述的含幻燈片的教學(xué)視頻的索引建立方法，其特征在于，所述啟發(fā)式搜索匹配法包括 讀取預(yù)分割視頻片段中的幀； 以該幀的前一幀對(duì)應(yīng)的幻燈片為中心在電子版幻燈片序列中選擇復(fù)數(shù)個(gè)幻燈片構(gòu)成幻燈片組；以及 將該幀與構(gòu)造的幻燈片組進(jìn)行匹配，尋找該幀對(duì)應(yīng)的幻燈片。
5.根據(jù)權(quán)利要求1所述的含幻燈片的教學(xué)視頻的索引建立方法，其特征在于，所述匹配步驟采用SURF算法進(jìn)行匹配。
6.根據(jù)權(quán)利要求1所述的含幻燈片的教學(xué)視頻的索引建立方法，其特征在于，所述視頻預(yù)分割步驟中，采用Kanade-Lucas-Tomasi算法來確定特征點(diǎn),所述特征點(diǎn)為角點(diǎn)。
7.根據(jù)權(quán)利要求6所述的含幻燈片的教學(xué)視頻的索引建立方法，其特征在于，所述視頻預(yù)分割步驟中，基于所述若干特征點(diǎn)的概率分布確定幻燈片切換時(shí)刻的方法包括: 將每一時(shí)刻角點(diǎn)數(shù)量與所有時(shí)刻全部角點(diǎn)數(shù)量相除，得到隨時(shí)刻變化每一幀角點(diǎn)的百分比圖； 比較相鄰兩幀角點(diǎn)的百分比，當(dāng)差值大于第一閾值時(shí)，認(rèn)定在該相鄰兩幀中的后一幀，幻燈片被切換。
8.根據(jù)權(quán)利要求7所述的含幻燈片的教學(xué)視頻的索引建立方法，其特征在于，所述視頻預(yù)分割步驟中，基于所述若干特征點(diǎn)的概率分布確定幻燈片切換時(shí)刻的方法還包括:在計(jì)算角點(diǎn)的百分比圖之前，首先在每一個(gè)角點(diǎn)的軌跡線上去除壞點(diǎn)。
9.根據(jù)權(quán)利要求1所述的含幻燈片的教學(xué)視頻的索引建立方法，其特征在于，該索引建立方法還包括: 對(duì)匹配后的電子版幻燈片位置，使用雙邊濾波平滑的步驟；和/或 過濾冗余匹配結(jié)果的步驟。
10.一種教學(xué)視頻中幻燈片的定位方法，其特征在于，該定位方法包括: 采用權(quán)利要求1 一 9中任意一項(xiàng)所述的索引建立方法建立所述教學(xué)視頻的索引； 將所述索引載入用戶界面；以及 通過在用戶界面點(diǎn)擊索引中的幻燈片，將所述教學(xué)視頻的播放指針定位到含有該幻燈片的視頻片段。
【文檔編號(hào)】G06F3/0484GK103970868SQ201410196544
【公開日】2014年8月6日 申請(qǐng)日期:2014年5月9日 優(yōu)先權(quán)日:2014年5月9日
【發(fā)明者】王好謙, 郭震遠(yuǎn), 李凱, 戴瓊海 申請(qǐng)人:清華大學(xué)深圳研究生院