一種從視頻中提取視頻關(guān)鍵幀的方法
【專利摘要】本發(fā)明涉及一種從視頻中提取視頻關(guān)鍵幀的方法，屬于圖像處理【技術(shù)領(lǐng)域】。本發(fā)明的從視頻中提取視頻關(guān)鍵幀的方法，操作人員通過裝置對感興趣的場景進行視頻拍攝。在拍攝過程中裝置同步記錄視頻的視頻幀、加速度信息、方位信息和尺度信息。拍攝完成后直接根據(jù)加速度信息、方位信息和尺度信息，對每一幀視頻幀計算其權(quán)重。最后根據(jù)權(quán)重和期望的關(guān)鍵幀數(shù)目來提取期望的視頻關(guān)鍵幀。本發(fā)明提出的從視頻中提取視頻關(guān)鍵幀的方法，可以用更小的計算量更準確的從視頻中提取視頻關(guān)鍵幀。
【專利說明】一種從視頻中提取視頻關(guān)鍵幀的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種從視頻中提取視頻關(guān)鍵幀的方法，屬于圖像處理【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]隨著近年來手持式拍攝設(shè)備(如手機、數(shù)碼相機以及手持式攝像機)數(shù)量的增加，個人用戶使用手持式設(shè)備拍攝的視頻數(shù)量也大量增加。智能手機上的各種視頻拍攝應(yīng)用，如Instagram等,也刺激了這些視頻的傳播,Instagram在上線的頭24小時內(nèi)，就有500萬部視頻被上傳。
[0003]如此多的應(yīng)用導(dǎo)致每天會產(chǎn)生出大量的視頻。與文字信息不同的地方在于，視頻信息無法被直接檢索，因此從大量的視頻中找到有用的信息是一件極其耗時耗力的工作。目前采取的方法主要是依靠人工查看視頻的內(nèi)容，并對其進行標注，無疑這是非常低效的方法。
[0004]因此關(guān)鍵幀的提取成為非常有意義的工作。目前存在的關(guān)鍵幀提取算法主要有以下幾種:1)按照固定的時間間隔來提取關(guān)鍵幀，2)計算相鄰幾幀在顏色(或灰度)上的差異，來確定是否是關(guān)鍵幀。3)基于運動分析的方法。
[0005]按照固定時間間隔提取關(guān)鍵幀是最直觀，計算最簡單的做法，但是這種方法的缺點也很明顯，關(guān)鍵幀不見得是均勻分布的。因此這類方法適用于內(nèi)容簡單，時間較短的視頻。
[0006]計算相鄰幀間差異的方法比較合理，但是在閾值的選取上比較困難，閾值取值過小可能導(dǎo)致選出太多關(guān)鍵幀，取值過大則有可能會導(dǎo)致漏選。而且這種方法計算上比較復(fù)雜。
[0007]基于運動分析的主法主要是通過光流分析來計算鏡頭中的運動量，在運動量最小的地方選取關(guān)鍵幀，其缺點也在于計算量過大。

【發(fā)明內(nèi)容】

[0008]本發(fā)明目的是提出一種從視頻中提取視頻關(guān)鍵幀的方法，以解決現(xiàn)有的關(guān)鍵幀提取方法的缺點，結(jié)合攝像頭拍攝的內(nèi)容、攝像頭變焦行為及視頻中每一時刻裝置的加速度信息以及拍攝裝置的朝向等信息，根據(jù)視頻拍攝者的意圖，計算得到關(guān)鍵幀。
[0009]本發(fā)明提出的從視頻中提取視頻關(guān)鍵幀的方法，包括以下步驟:
[0010]( I)使用視頻拍攝裝置，拍攝現(xiàn)場場景，得到視頻，設(shè)定視頻中共有T幀視頻幀，并記錄每一拍攝時刻拍攝裝置攝像頭的縮放尺度信息；
[0011](2)使用與拍攝視頻相同的頻率，分別記錄每一拍攝時刻拍攝裝置在直角坐標系中沿X、1、z軸的線性加速度信息；
[0012](3)使用與拍攝視頻相同的頻率，用方位傳感器記錄每一拍攝時刻拍攝裝備在上述直角坐標系中的方位信息；
[0013](4)根據(jù)上述記錄的方位信息、線性加速度信息和尺度信息，從視頻中提取關(guān)鍵幀，包括以下步驟:
[0014](4-1)提取視頻中拍攝第k幀視頻幀時的裝置的特征信息，包括:第k幀視頻幀拍攝時刻的拍攝裝置方位信息Ok = [ox,k) oy,k, 0z，k]T，其中0x，k表示第k幀視頻幀拍攝時刻拍攝裝置的滾轉(zhuǎn)角度，即裝置短邊與水平面的夾角，Oy，k表示第k幀視頻幀拍攝時刻拍攝裝置的俯仰角度，即裝置長邊與水平面的夾角，Oz，k表示第k幀視頻幀拍攝時刻拍攝裝置的左右搖擺角度，即裝置頂端指向的方向與正北方向的夾角；第1^幀視頻幀拍攝時刻的拍攝裝置的加速度彳目息ak = [ax，k, ay，k, az，k]T，其中ax，k, ay，k, az k為裝直分別在直角坐標系的x，y，z軸上的加速度，尺度信息Sk表示在拍攝第k幀時攝像頭的縮放尺度；
[0015](4-2)采用離散余弦變換，對上述得到的視頻進行特征信息提取，得到視頻中第k幀視頻幀的視頻幀特征信息fk ;
[0016](4-3)重復(fù)步驟(4-1)和步驟(4-2)，得到上述視頻中每一幀視頻幀的拍攝裝置方位信息、拍攝裝置的加速度信息、攝像頭的縮放尺度和視頻幀特征信息；
[0017](4-5)計算視頻中每一幀視頻幀的加速度權(quán)重COak^ak = GxpGX1I |ak| |2)，其中入工為加速度調(diào)節(jié)參數(shù)，I |ak| I2代表加速度信息ak向量的二范數(shù)，A i的取值范圍可根據(jù)加速度的數(shù)量級確定，一般在0.1~I ;
[0018](4-6)計算視頻中每一幀視頻幀的的尺度權(quán)重《sk: GJsk = exp U2sk)，其中A2為尺度調(diào)節(jié)參數(shù)，、2的取值范圍為:0.5~I ;
[0019](4-7)計算視頻中每一幀視頻幀的總權(quán)重: ?k = WakWsk ;
[0020](4-8)采用K均值算法，對上述視頻中所有視頻幀拍攝時刻的拍攝裝置方位信息進行聚類，得到C個聚類中心，C為根據(jù)視頻長度等信息選取的參數(shù)，C的取值范圍為:1~T，T為視頻中所有視頻幀的幀數(shù)，并將所有的視頻幀歸類到與相應(yīng)拍攝裝置的方位信息最接近的聚類中心所屬的類中；
[0021](4-9)建立一個優(yōu)化目標函數(shù)如下:
[0022]
【權(quán)利要求】
1.一種從視頻中提取視頻關(guān)鍵幀的方法，其特征在于，該方法包括以下步驟: (1)使用視頻拍攝裝置，拍攝現(xiàn)場場景，得到視頻，設(shè)定視頻中共有T幀視頻幀，并記錄每一拍攝時刻拍攝裝置攝像頭的縮放尺度信息； (2)使用與拍攝視頻相同的頻率，分別記錄每一拍攝時刻拍攝裝置在直角坐標系中沿X、Y、z軸的線性加速度信息； (3)使用與拍攝視頻相同的頻率，用方位傳感器記錄每一拍攝時刻拍攝裝備在上述直角坐標系中的方位信息； (4)根據(jù)上述記錄的方位信息、線性加速度信息和尺度信息，從視頻中提取關(guān)鍵幀，包括以下步驟: (4-1)提取視頻中拍攝第k幀視頻幀時的裝置的特征信息，包括:第k幀視頻幀拍攝時刻的拍攝裝置方位信息Ok = [ox,k) oy,k, oz，k]T，其中ox，k表示第k幀視頻幀拍攝時刻拍攝裝置的滾轉(zhuǎn)角度，即裝置短邊與水平面的夾角，oy，k表示第k幀視頻幀拍攝時刻拍攝裝置的俯仰角度，即裝置長邊與水平面的夾角，oz，k表示第k幀視頻幀拍攝時刻拍攝裝置的左右搖擺角度，即裝置頂端指向的方向與正北方向的夾角；第1^幀視頻幀拍攝時刻的拍攝裝置的加速度信息Ct k = [ax k, ay k, az k]T，其中ax k, ay k, az k為裝置分別在直角坐標系的x，y, z軸上的加速度，尺度信息Sk表示在拍攝第k幀時攝像頭的縮放尺度； (4-2)采用離散余弦變換，對上述得到的視頻進行特征信息提取，得到視頻中第k幀視頻幀的視頻幀特征信息fk ; (4-3)重復(fù)步驟(4-1)和步驟(4-2)，得到上述視頻中每一幀視頻幀的拍攝裝置方位信息、拍攝裝置的加速度信息、攝像頭的縮放尺度和視頻幀特征信息； (4-5)計算視頻中每一幀視頻幀的加速度權(quán)重《ak:?ak = expGA」|ak| |2)，其中入i為加速度調(diào)節(jié)參數(shù)，I |ak| I2代表加速度信息ak向量的二范數(shù)，\ x的取值范圍可根據(jù)加速度的數(shù)量級確定，一般在0.1~I ; (4-6)計算視頻中每一幀視頻幀的的尺度權(quán)重《sk:?sk = exp(A2sk)，其中X2為尺度調(diào)節(jié)參數(shù)，入2的取值范圍為:0.5~I ; (4-7)計算視頻中每一幀視頻幀的總權(quán)重: ?k = WakWsk ; (4-8)采用K均值算法，對上述視頻中所有視頻幀拍攝時刻的拍攝裝置方位信息進行聚類，得到C個聚類中心，C為根據(jù)視頻長度等信息選取的參數(shù)，C的取值范圍為:1~T，T為視頻中所有視頻幀的幀數(shù)，并將所有的視頻幀歸類到與相應(yīng)拍攝裝置的方位信息最接近的聚類中心所屬的類中； (4-9)建立一個優(yōu)化目標函數(shù)如下:
【文檔編號】H04N5/232GK103533237SQ201310456215
【公開日】2014年1月22日 申請日期:2013年9月29日 優(yōu)先權(quán)日:2013年9月29日
【發(fā)明者】劉華平, 劉玉龍, 孫富春 申請人:清華大學