專利名稱：一種基于體育比賽視頻的相似視頻片段檢索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種相似視頻片段檢索方法，屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域。
背景技術(shù)：
相似視頻檢索是基于內(nèi)容視頻檢索(CBVR)領(lǐng)域近年來興起的研究熱點(diǎn)。由于其應(yīng)用廣泛能為視頻復(fù)制檢測、視頻語義標(biāo)注等提供關(guān)鍵技術(shù)，成為眾多研究機(jī)構(gòu)和學(xué)者關(guān)注的焦點(diǎn)。其中，對體育比賽視頻進(jìn)行自動檢索則具有很高的實(shí)用價值，研究成果既可以被專業(yè)人士用于對體育比賽中的選手的技術(shù)動作與戰(zhàn)術(shù)進(jìn)行快速分析，從而提高體育訓(xùn)練效率和訓(xùn)練水平，也可以被體育愛好者們用于對感興趣的視頻片段進(jìn)行更加準(zhǔn)確、方便、快捷的檢索，從而提高人們觀賞體育比賽的便捷程度。相似視頻檢索是通過選取合適的底層視覺特征，在視頻的特征空間進(jìn)行視頻的相似度度量，并在視頻數(shù)據(jù)庫中進(jìn)行快速、準(zhǔn)確的檢索，從而得到檢索結(jié)果。
目前在實(shí)際的應(yīng)用中都是基于單輪檢索，直接對視頻庫中的所有視頻進(jìn)行相似度計(jì)算，但直接檢索存在著一個很嚴(yán)重的問題由于視頻包含文本、聲音以及圖像是一種復(fù)雜的沒有結(jié)構(gòu)的流數(shù)據(jù)，其特征維數(shù)高、蘊(yùn)含的數(shù)據(jù)量大、計(jì)算復(fù)雜，若對視頻庫進(jìn)行直接處理必然造成檢索時間過長，難以滿足實(shí)時查詢的要求。并且針對視頻特征一般維數(shù)較高、數(shù)據(jù)量大計(jì)算復(fù)雜等問題，目前的相似片段檢索方法中對于視頻的特征的組織往往采用一些常用的降維方法(如VA-File)避免“維度災(zāi)難”這一嚴(yán)峻問題。常用的降維方法能在一定程度上降低時間復(fù)雜度，減少計(jì)算時間，但降維方法是基于近似向量的原理會導(dǎo)致檢索精度降低，并且一些常用的降維方法都有其適用范圍，而視頻特征具有隨機(jī)性難以滿足要求。對于體育比賽視頻而言，尤其是某類型的體育比賽，其場景較為固定、簡單，場地以及背景信息變化較小，因此不必為體育視頻提取高維的特征進(jìn)行檢索，只需提取具有代表性的特征即可，例如顏色特征、亮度特征等。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于體育比賽視頻的相似片段檢索方法。該方法利用離線部分已經(jīng)形成視頻特征庫，在線部分對查詢片段進(jìn)行視頻結(jié)構(gòu)化分析以及特征提取后在視頻特征庫中的視頻進(jìn)行兩輪不同粒度的檢索，并采用K-D tree組織視頻特征得到相似片段。最后綜合考慮視覺、時序、干擾因子對相似度的影響，對相似片段進(jìn)行相似度進(jìn)行計(jì)算并排序。該方法能有效地減少計(jì)算量、提高檢索效率，實(shí)現(xiàn)了快速、準(zhǔn)確的基于體育比賽視頻的相似片段檢索。為實(shí)現(xiàn)上述目的，本發(fā)明采用下述的技術(shù)方案。其特征在于包括以下步驟步驟一對視頻庫中的所有視頻進(jìn)行預(yù)處理，分別采用基于顏色相似性的子片段分割方法和基于亮度差異性的子片段分割方法將每個視頻分割為若干視頻子片段，對每個視頻子片段提取其中的關(guān)鍵幀，對每一關(guān)鍵幀提取顏色和亮度特征，組成視頻特征庫；步驟二 對于步驟一中得到的所有特征采用K-D tree結(jié)構(gòu)進(jìn)行存儲，每一個特征都作為K-D tree中的一個節(jié)點(diǎn)，特征值大于該層分辨器值的特征作為右子樹，特征值小于等于該層分辨器值的特視作為左子樹，視頻特征庫中的所有特征構(gòu)建成一棵K-D tree ；步驟三對待查詢視頻片段分別采用基于顏色相似性的子片段分割方法和基于亮度差異性的子片段分割方法法將其分割為若干視頻子片段，對每個視頻子片段提取其中的關(guān)鍵幀，對每一關(guān)鍵幀提取顏色和亮度特征，作為查詢條件；步驟四首先，通過將查詢條件與視頻特征庫中的特征進(jìn)行對比找到待查詢視頻片段中所有視頻子片段的相似子片段集，對所得到的所有相似子片段集求交集，并由所求交集確定候選視頻集；其次，對候選視頻集中所有視頻采用滑動子片段窗口進(jìn)行相似片段的精確定位，采用如下公式(I)計(jì)算滑動子片段窗口中的視頻片段與待查詢視頻片段的匹配度IV，匹配度小于給定閾值時，將所述窗口以一個視頻子片段為步長向前移動；直到匹配度大于所述給定閾值，此時所述窗口的前端為相似片段的起始位置；
權(quán)利要求
1.一種基于體育比賽視頻的相似片段檢索方法，包括以下步驟 步驟一對視頻庫中的所有視頻進(jìn)行預(yù)處理，分別采用基于顏色相似性的子片段分割方法和基于亮度差異性的子片段分割方法將每個視頻分割為若干視頻子片段，對每個視頻子片段提取其中的關(guān)鍵幀，對每一關(guān)鍵幀提取顏色和亮度特征，組成視頻特征庫； 步驟二 對于步驟一中得到的所有特征采用K-D tree結(jié)構(gòu)進(jìn)行存儲，每一個特征都作為K-D tree中的一個節(jié)點(diǎn)，特征值大于該層分辨器值的特征作為右子樹，特征值小于等于該層分辨器值的特視作為左子樹，視頻特征庫中的所有特征構(gòu)建成一棵K-D tree ； 步驟三對待查詢視頻片段分別采用基于顏色相似性的子片段分割方法和基于亮度差異性的子片段分割方法法將其分割為若干視頻子片段，對每個視頻子片段提取其中的關(guān)鍵幀，對每一關(guān)鍵幀提取顏色和亮度特征，作為查詢條件； 步驟四首先，通過將查詢條件與視頻特征庫中的特征進(jìn)行對比找到待查詢視頻片段中所有視頻子片段的相似子片段集，對所得到的所有相似子片段集求交集，并由所求交集確定候選視頻集；其次，對候選視頻集中所有視頻采用滑動子片段窗口進(jìn)行相似片段的精確定位，采用如下公式(I)計(jì)算滑動子片段窗口中的視頻片段與待查詢視頻片段的匹配度
2.如權(quán)利要求I所述的方法，其特征在于所述步驟一和所述步驟三中關(guān)鍵幀選取視頻子片段的首幀作為其關(guān)鍵幀。
3.如權(quán)利要求I所述的方法，其特征在于所述步驟四中滑動子片段窗口的大小優(yōu)選為滑動子片段窗口中視頻子片段的總數(shù)目的I. 6倍。
4.如權(quán)利要求I所述的方法，其特征在于所述步驟五中視覺因子優(yōu)選為待查詢視頻片段與相似片段所有視頻子片段的相似度平均值；順序因子優(yōu)選為待查詢視頻片段與相似片段所包含的相同順序的最長視頻子片段數(shù)目占待查詢視頻片段中視頻子片段的總數(shù)目的比例；干擾因子優(yōu)選為待查詢視頻片段與相似片段中所有找不到對應(yīng)的相似視頻子片段數(shù)目。
5.如權(quán)利要求I所述的方法，其特征在于所述步驟五中ων、ω0>Coi分別優(yōu)選為O.25、0· 5、0· 25。
全文摘要
本發(fā)明涉及一種基于體育比賽視頻的相似視頻片段檢索方法，通過離線部分對視頻庫中的所有視頻進(jìn)行預(yù)處理形成視頻特征庫，在線部分對查詢片段進(jìn)行視頻結(jié)構(gòu)化分析以及特征提取后在視頻特征庫中進(jìn)行兩輪不同粒度的檢索。第一輪粗粒度的檢索確定候選視頻集，第二輪細(xì)粒度的檢索確定相似片段在視頻對象中的精確位置。并且，對所有的視頻特征采用K-D tree進(jìn)行組織以加速查詢過程。最后綜合考慮視覺、時序、干擾因子對相似度的影響，對相似片段進(jìn)行相似度進(jìn)行計(jì)算并排序。
文檔編號G06F17/30GK102890700SQ201210230108
公開日2013年1月23日 申請日期2012年7月4日 優(yōu)先權(quán)日2012年7月4日
發(fā)明者李煒, 李小燕, 李艷華, 陳書騫 申請人:北京航空航天大學(xué)