一種三維立體重建中提取視頻序列關(guān)鍵幀的方法
【專利摘要】本發(fā)明公開了一種三維立體重建中提取視頻序列關(guān)鍵幀的方法，用于從用來進行三維立體重建的視頻序列中提取關(guān)鍵幀，該方法從視頻序列的第一幀開始，選取一幀圖像清晰、包含用來三維重建內(nèi)容的視頻圖像作為首個關(guān)鍵幀，并以此關(guān)鍵幀作為標(biāo)準(zhǔn)幀，通過逐個比較標(biāo)準(zhǔn)幀與當(dāng)前幀視頻圖像的綜合特征相似度，根據(jù)比較結(jié)果提取冗余信息小的視頻圖像作為關(guān)鍵幀，并以新提取的關(guān)鍵幀作為標(biāo)準(zhǔn)幀繼續(xù)進行比較，直到視頻序列的最后一幀。本發(fā)明有效提取關(guān)鍵幀，排除掉大量的冗余信息，提高三維立體重建的運行時間和精度。
【專利說明】一種三維立體重建中提取視頻序列關(guān)鍵幀的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于三維立體重建【技術(shù)領(lǐng)域】，尤其涉及三維立體重建中提取視頻序列關(guān)鍵幀的方法。
【背景技術(shù)】
[0002]隨著計算機視覺技術(shù)在各個領(lǐng)域的實際應(yīng)用，基于三維立體的各種信息越來越引起人們的關(guān)注，例如數(shù)字模擬化的城市、利用數(shù)字信息進行醫(yī)學(xué)治療、計算機虛擬動畫即虛擬現(xiàn)實、高精尖科學(xué)方面的研究、高雅藝術(shù)領(lǐng)域的創(chuàng)作等。從單視角觀看到多視角交互瀏覽，高逼真的三維立體視覺享受己漸成人們生活的日常需求，人們對信息的感知方式也發(fā)生了翻天覆地的變化。
[0003]通過計算機視覺的方法將圖像和視頻信息源組織起來，轉(zhuǎn)化為三維立體場景的模型，是充分利用已有信息實現(xiàn)人們需求的重要任務(wù)?；谟嬎銠C視覺的三維立體場景建模研究中，直接面向圖像信息進行三維立體信息提取和建模的方法是常用的三維建模方法。直接面向圖像信息的三維立體信息提取和建模的方法依據(jù)研究對象的不同被劃分為二視圖、無序圖像集合，有序圖像序列等多種情況，就目前來看，基于有序圖像序列或視頻的三維立體場景建模已經(jīng)被應(yīng)用于人臉三維立體建模、人體姿態(tài)重建等方面的研究，城市建筑的重建作為一種典型的有序圖像序列三維立體場景建模任務(wù)，得到了許多研究者的關(guān)注和研究。
[0004]但是由于現(xiàn)實生活中的圖像和視頻拍攝質(zhì)量參差不齊，其中一些低質(zhì)量的圖像或視頻會增加三維重建過程中的誤差；另一方面，拍攝角度非常接近的圖像或連續(xù)視頻幀中又存在冗余數(shù)據(jù)，由于他們之間的基線短，對重建的貢獻(xiàn)微乎其微，甚至?xí)黾又亟ǖ腻e誤率?？梢娫诨谟行驁D像序列或視頻的三維立體重建過程中，如果直接輸入圖像序列或者視頻，將消耗大量的計算時間，并且精度較低，因此首先需要從有序圖像序列或視頻中選取關(guān)鍵幀來進行三維立體重建。目前關(guān)鍵幀的提取方法已經(jīng)有很多研究，例如基于關(guān)鍵幀采樣的提取算法，該算法每隔一段時間就從視頻中提取一幀作為關(guān)鍵幀，時間比較固定，幀數(shù)比較適中，并且算法實現(xiàn)相對也比較簡單，但是關(guān)鍵幀抽取時間很難和視頻的重要內(nèi)容分布保持同步；基于分類的典型關(guān)鍵幀提取算法，該算法第一會對鏡頭中的所有信息幀進行分類，如果類的數(shù)量能夠達(dá)到足夠大，則會將其作為關(guān)鍵幀類，并且會選擇距離該類中心最近的那一幀作為最終抽取的關(guān)鍵幀，這類算法的最大欠缺就是計算量特別大。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的就是解決現(xiàn)有三維立體重建過程中由于視頻序列擁有大量的冗余信息，有很多信息是無用的甚至?xí)鸬侥：ヅ渚鹊慕Y(jié)果，而提出一種三維立體重建中提取視頻序列關(guān)鍵幀的方法，來立足刪掉大量的冗余信息，提高三維立體重建的運行時間和精度。
[0006]為了實現(xiàn)上述發(fā)明目的，本發(fā)明技術(shù)方案如下:[0007]—種三維立體重建中提取視頻序列關(guān)鍵幀的方法，用于從用來進行三維立體重建的視頻序列中提取關(guān)鍵幀，該方法包括步驟:
[0008]步驟1、從所述視頻序列的第一幀開始，選取一幀圖像清晰、包含用來三維重建內(nèi)容的視頻圖像作為首個關(guān)鍵幀，并以此關(guān)鍵幀作為標(biāo)準(zhǔn)幀，以該首個關(guān)鍵幀的下一幀作為當(dāng)前幀；
[0009]步驟2、計算所述標(biāo)準(zhǔn)幀與當(dāng)前幀視頻圖像的綜合特征相似度K ；
[0010]步驟3、計算Il K-Q ||，若Il K-a Il ( P，則進入步驟4，否則進入步驟5 ;
[0011]步驟4、將當(dāng)前幀作為關(guān)鍵幀輸出，若當(dāng)前幀不是視頻序列的最后一幀，則以該關(guān)鍵幀為標(biāo)準(zhǔn)幀，以該關(guān)鍵幀的下一幀為當(dāng)前幀，返回步驟2進行下一次迭代，否則結(jié)束；
[0012]步驟5、若當(dāng)前幀不是視頻序列的最后一幀，則以當(dāng)前幀的下一幀作為當(dāng)前幀，返回步驟2進行下一次迭代，否則結(jié)束；
[0013]其中a和0為給定的參數(shù)，該參數(shù)即可手動設(shè)置或者自動提取，用來控制關(guān)鍵幀的數(shù)目。
[0014]本發(fā)明綜合特征相似度K為基于所述標(biāo)準(zhǔn)幀fB和當(dāng)前幀&顏色相似度、形狀特征和特征點對的矢量，表達(dá)式為:
[0015]K=compare (fB, f j) = (S, M, N),
[0016]其中fB為標(biāo)準(zhǔn)幀，fj為當(dāng)前幀，S為fB與&的顏色相似度，M為fB與&形狀特征的差，N為fB與&的特征點對。
[0017]其中，所述顏色相似度S計算公式如下:
【權(quán)利要求】
1.一種三維立體重建中提取視頻序列關(guān)鍵幀的方法，用于從用來進行三維立體重建的視頻序列中提取關(guān)鍵幀，其特征在于，該方法包括步驟: 步驟1、從所述視頻序列的第一幀開始，選取一幀圖像清晰、包含用來三維重建內(nèi)容的視頻圖像作為首個關(guān)鍵幀，并以此關(guān)鍵幀作為標(biāo)準(zhǔn)幀，以該首個關(guān)鍵幀的下一幀作為當(dāng)前幀； 步驟2、計算所述標(biāo)準(zhǔn)幀與當(dāng)前幀視頻圖像的綜合特征相似度K ； 步驟3、計算Il K-a ||，若Il K-a || ( P，則進入步驟4，否則進入步驟5 ; 步驟4、將當(dāng)前幀作為關(guān)鍵幀輸出，若當(dāng)前幀不是視頻序列的最后一幀，則以該關(guān)鍵幀為標(biāo)準(zhǔn)幀，以該關(guān)鍵幀的下一幀為當(dāng)前幀，返回步驟2進行下一次迭代，否則結(jié)束； 步驟5、若當(dāng)前幀不是視頻序列的最后一幀，則以當(dāng)前幀的下一幀作為當(dāng)前幀，返回步驟2進行下一次迭代，否則結(jié)束； 其中a和0為給定的參數(shù)。
2.根據(jù)權(quán)利要求1所述的提取視頻序列關(guān)鍵幀的方法，其特征在于，所述綜合特征相似度K為基于所述標(biāo)準(zhǔn)幀fB和當(dāng)前幀&顏色相似度、形狀特征和特征點對的矢量，表達(dá)式為:
K=compare (fB, fj) = (S，M, N), 其中fB為標(biāo)準(zhǔn)幀，fi為當(dāng)前幀，S為fB與&的顏色相似度,M為fB與&形狀特征的差，N為fB與A的特征點對。
3.根據(jù)權(quán)利要求2所述的提取視頻序列關(guān)鍵幀的方法，其特征在于，所述顏色相似度S計算公式如下:`
^ = ^iptCCgl - Cn)2+(Cjj2 - CJ + (Cm - CJ2 ]，
K 其中0是一個常量，(CB1、CB2、CB3)為標(biāo)準(zhǔn)幀視頻圖像顏色特征的歐式空間歸一化值，(Cil、Ci2、Ci3)為當(dāng)前幀視頻圖像顏色特征的歐式空間歸一化值。
4.根據(jù)權(quán)利要求3所述的提取視頻序列關(guān)鍵幀的方法，其特征在于，對于任一幀視頻圖像，其顏色特征的歐式空間歸一化值表示為，將該視頻圖像分為D個區(qū)域，每一個區(qū)域的顏色特征的歐式空間歸一化值為(Cld、C2d、C3d),該視頻圖像顏色特征的歐式歸一化值(Cpc2、c3)為所有區(qū)域的歐式歸一化值(cld、c2d、c3d)的和，表示為: Cl=YjCld , C2=^C2il , C^fjCid 。



d:1
5.根據(jù)權(quán)利要求4所述的提取視頻序列關(guān)鍵幀的方法，其特征在于，所述區(qū)域的顏色特征的歐式空間歸一化值為(Cld、C2d、C3d)為該區(qū)域所有像素顏色特征的歐式歸一化值的均值，對于每一個像素，其歐式空間歸一化值(Cl、c2、C3)為:
C1=S^COS (h)、c2=s*sin (h)、c3=v。 其中，h，s，v分別為視頻圖像HSV顏色空間像素的色度h、飽和度S、亮度V。
6.根據(jù)權(quán)利要求2所述的提取視頻序列關(guān)鍵幀的方法，其特征在于，所述形狀特征為邊緣特征，采用Canny邊緣檢測算法計算得到標(biāo)準(zhǔn)幀fB的形狀特征Mb和當(dāng)前幀的形狀特征Mi，所述fB與&形狀特征的差M=Me-Mi。
7.根據(jù)權(quán)利要求2所述的提取視頻序列關(guān)鍵幀的方法，其特征在于，所述特征點對N通過SIFT特征提取算法得到，記為:
N=SIFT (fB, fj。
【文檔編號】G06T17/00GK103761738SQ201410030056
【公開日】2014年4月30日 申請日期:2014年1月22日 優(yōu)先權(quán)日:2014年1月22日
【發(fā)明者】杭靈綱, 劉清林, 汪曉妍, 劉干, 張文超, 王鑫 申請人:杭州匡倫科技有限公司