一種視頻檢索方法
【專利摘要】本發(fā)明提出了一種視頻檢索方法，包括：對(duì)視頻庫(kù)中的所有視頻進(jìn)行處理，確定出各視頻的關(guān)鍵幀及各關(guān)鍵幀上的關(guān)鍵點(diǎn)；對(duì)樣本視頻進(jìn)行處理，確定出樣本視頻的關(guān)鍵幀以及各關(guān)鍵幀上的關(guān)鍵點(diǎn)；基于樣本視頻關(guān)鍵幀和關(guān)鍵點(diǎn)在視頻庫(kù)中查找，若在視頻庫(kù)中找到某一段視頻與樣本視頻的所有相應(yīng)關(guān)鍵幀上匹配的關(guān)鍵點(diǎn)總數(shù)達(dá)到設(shè)定的條件，則表明檢索到所述樣本視頻，否則未檢索到所述樣本視頻。本發(fā)明可以針對(duì)視頻檢索中對(duì)某一圖像目標(biāo)的準(zhǔn)確檢索，在提高視頻檢索速度的同時(shí)，又保證檢索精度；當(dāng)視頻的顯示效果有變化時(shí)，對(duì)檢索精度的影響很小。本發(fā)明可以針對(duì)視頻圖像中的某一特定區(qū)域進(jìn)行檢索，從而提高視頻檢索的精度和靈活性。
【專利說明】一種視頻檢索方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻圖像處理【技術(shù)領(lǐng)域】，尤其涉及一種視頻檢索方法。
【背景技術(shù)】
[0002]隨著電視節(jié)目、影視作品的積累，互聯(lián)網(wǎng)上數(shù)字視頻的增加，無線多媒體的發(fā)展以及視頻監(jiān)控、數(shù)字圖書館、視頻點(diǎn)播、遠(yuǎn)程教學(xué)、視頻廣告等大量多媒體的應(yīng)用，如何在海量視頻中快速檢索出所需要的資料變得越來越重要。在軍事行動(dòng)中，偵察活動(dòng)必不可少，視頻所包含的信息量在所有媒體中是最大的，因此使用自動(dòng)偵察機(jī)拍攝偵察視頻來達(dá)到對(duì)敵方偵察的目的是種常用手段。當(dāng)自動(dòng)偵察機(jī)帶回大量的視頻后，如果單靠肉眼去尋找哪段視頻里有坦克，哪段里有雷達(dá)，哪里有飛機(jī)場(chǎng)，是相當(dāng)消耗時(shí)間與人力的，等到從中發(fā)現(xiàn)情報(bào)時(shí)說不定早已錯(cuò)過了戰(zhàn)機(jī)。如何從大量的視頻中自動(dòng)、快速、準(zhǔn)確地檢索出感興趣的目標(biāo)對(duì)整個(gè)戰(zhàn)局起著至關(guān)重要的作用。以往的視頻檢索方法多是通過提取和對(duì)比視頻本身的特征或者只運(yùn)用了單幀圖像的亮度值、紋理值或者色度等特征，然后形成視頻特征曲線并進(jìn)行曲線比對(duì)，不僅在精確檢索方面受限，而且計(jì)算量也比較大，影響檢索速度。

【發(fā)明內(nèi)容】

[0003]本發(fā)明要解決的技術(shù)問題是，提供一種視頻檢索方法，提高視頻檢索速度，同時(shí)又保證檢索精度。
[0004]本發(fā)明采用的技術(shù)方案是，所述視頻檢索方法，基于樣本視頻在視頻庫(kù)中進(jìn)行檢索時(shí)，該方法包括:
[0005]對(duì)視頻庫(kù)中的所有視頻進(jìn)行處理，確定出各視頻的關(guān)鍵巾貞及各關(guān)鍵巾貞上的關(guān)鍵
占.[0006]對(duì)樣本視頻進(jìn)行處理，確定出樣本視頻的關(guān)鍵巾貞以及各關(guān)鍵巾貞上的關(guān)鍵點(diǎn)；
[0007]基于樣本視頻關(guān)鍵幀和關(guān)鍵點(diǎn)在視頻庫(kù)中查找，若在視頻庫(kù)中找到某一段視頻與樣本視頻的所有相應(yīng)關(guān)鍵幀上匹配的關(guān)鍵點(diǎn)總數(shù)達(dá)到設(shè)定的條件，則表明檢索到所述樣本視頻，否則未檢索到所述樣本視頻。
[0008]進(jìn)一步的，對(duì)視頻庫(kù)中的所有視頻進(jìn)行的處理、以及對(duì)樣本視頻進(jìn)行的處理，均具體包括如下過程:
[0009]基于待處理視頻的特征的幀間差，從所述待處理視頻的各幀圖像中提取出關(guān)鍵幀；
[0010]從關(guān)鍵幀中確定出極值點(diǎn)，將極值點(diǎn)作為所述關(guān)鍵幀的關(guān)鍵點(diǎn)。
[0011]進(jìn)一步的，所述特征的類型至少包括以下之一:顏色特征、形狀特征、紋理特征、邊緣特征和運(yùn)動(dòng)特征；
[0012]當(dāng)所述特征的類型包括兩種以上時(shí)，對(duì)所述兩種以上特征類型的向量進(jìn)行加權(quán)求和，用于判斷幀間差。
[0013]進(jìn)一步的，所述基于待處理視頻的特征的幀間差，從所述待處理視頻的各幀圖像中提取出關(guān)鍵巾貞，具體包括:
[0014]將待處理視頻的第一幀作為關(guān)鍵幀，將其后的幀按順序與關(guān)鍵幀進(jìn)行比較，當(dāng)?shù)趉幀與關(guān)鍵幀的差超過設(shè)定的閾值時(shí)，則第k幀成為新的關(guān)鍵幀，后面的幀依次與新的關(guān)鍵幀進(jìn)行比較，直至處理到最后一幀為止，從而確定出待處理視頻的所有關(guān)鍵幀。
[0015]進(jìn)一步的，所述從關(guān)鍵幀中確定出極值點(diǎn)，具體包括:
[0016]利用變尺度聞斯函數(shù)與關(guān)鍵巾貞圖像的灰度卷積生成關(guān)鍵巾貞的聞斯尺度空間；
[0017]從關(guān)鍵幀的高斯尺度空間中篩選出極值點(diǎn)。
[0018]進(jìn)一步的，所述關(guān)鍵巾貞圖像包括:關(guān)鍵巾貞整幅圖像或者關(guān)鍵巾貞中的局部不變特征所在部位的圖像。
[0019]進(jìn)一步的，所述從關(guān)鍵幀的高斯尺度空間中篩選出極值點(diǎn)，具體包括:
[0020]在高斯尺度空間中，針對(duì)關(guān)鍵幀的每一個(gè)像素點(diǎn)執(zhí)行下面的操作:
[0021]將所述像素點(diǎn)作為采樣點(diǎn)，將所述采樣點(diǎn)的灰度與所述采樣點(diǎn)的所有相鄰像素點(diǎn)的灰度進(jìn)行比較，當(dāng)該采樣點(diǎn)的灰度值為最大或最小時(shí)，則該采樣點(diǎn)為初篩極值點(diǎn)；
[0022]根據(jù)子像元插值法，利用初篩極值點(diǎn)插值得到極值點(diǎn)。
[0023]進(jìn)一步的，所述采樣點(diǎn)的所有相鄰像素點(diǎn)包括:與所述采樣點(diǎn)同尺度內(nèi)的相鄰點(diǎn)像素點(diǎn)、以及與所述采樣點(diǎn)上下相鄰尺度內(nèi)相鄰像素點(diǎn)。
[0024]進(jìn)一步的，所述設(shè)定的條件為:樣本視頻的所有關(guān)鍵幀上的關(guān)鍵點(diǎn)總數(shù)的95%以上。
[0025]采用上述技術(shù)方案，本發(fā)明至少具有下列優(yōu)點(diǎn):
[0026]本發(fā)明所述視頻檢索方法，可以針對(duì)視頻檢索中對(duì)某一圖像目標(biāo)的準(zhǔn)確檢索，在提高視頻檢索速度的同時(shí)，又保證檢索精度；還可以根據(jù)需要針對(duì)視頻圖像中的某一特定區(qū)域進(jìn)行檢索，從而提高視頻檢索的精度和靈活性。
【專利附圖】

【附圖說明】
[0027]圖1為本發(fā)明第一實(shí)施例的視頻檢索方法流程圖；
[0028]圖2為本發(fā)明第二實(shí)施例的基于樣本視頻在視頻庫(kù)中進(jìn)行檢索的過程示意圖；
[0029]圖3為本發(fā)明第二實(shí)施例的檢測(cè)點(diǎn)與其所有的相鄰像素點(diǎn)在高斯尺度空間中的位置分布示意圖；
[0030]圖4為離散空間的極值點(diǎn)與連續(xù)空間的極值點(diǎn)之間的差異情況示意圖。
【具體實(shí)施方式】
[0031]為更進(jìn)一步闡述本發(fā)明為達(dá)成預(yù)定目的所采取的技術(shù)手段及功效，以下結(jié)合附圖及較佳實(shí)施例，對(duì)本發(fā)明進(jìn)行詳細(xì)說明如后。
[0032]本發(fā)明第一實(shí)施例，一種視頻檢索方法，如圖1所示，基于樣本視頻在視頻庫(kù)中進(jìn)行檢索時(shí)，該方法包括以下具體步驟:
[0033]步驟S101，對(duì)視頻庫(kù)中的所有視頻進(jìn)行處理，確定出各視頻的關(guān)鍵幀及各關(guān)鍵幀上的關(guān)鍵點(diǎn)；
[0034]步驟S102,對(duì)樣本視頻進(jìn)行處理,確定出樣本視頻的關(guān)鍵巾貞以及各關(guān)鍵巾貞上的關(guān)鍵點(diǎn)；[0035]具體的，步驟SlOl中對(duì)視頻庫(kù)中的所有視頻進(jìn)行的處理、以及步驟S102中對(duì)樣本視頻進(jìn)行的處理，均包括如下過程:
[0036]Al:基于待處理視頻的特征的幀間差，從所述待處理視頻的各幀圖像中提取出關(guān)鍵幀；
[0037]進(jìn)一步的，所述特征的類型至少包括以下之一:顏色特征、形狀特征、紋理特征、邊緣特征和運(yùn)動(dòng)特征；
[0038]當(dāng)所述特征的類型包括兩種以上時(shí)，對(duì)所述兩種以上特征類型的向量進(jìn)行加權(quán)求和，用于判斷幀間差。當(dāng)所述特征的類型只包括一種時(shí)，則該特征類型的向量直接用于判斷幀間差。幀間差顧名思義，指的是兩個(gè)視頻幀之間的差異。
[0039]步驟Al中的提取過程是:將待處理視頻的第一幀作為關(guān)鍵幀，將其后的幀按順序與關(guān)鍵幀進(jìn)行比較，當(dāng)?shù)趉幀與關(guān)鍵幀的差超過設(shè)定的閾值時(shí)，則第k幀成為新的關(guān)鍵幀，k為幀序號(hào)變量，后面的幀依次與新的關(guān)鍵幀進(jìn)行比較，直至處理到最后一幀為止，從而確定出待處理視頻的所有關(guān)鍵幀。
[0040]A2:從關(guān)鍵幀中確定出極值點(diǎn)，將極值點(diǎn)作為所述關(guān)鍵幀的關(guān)鍵點(diǎn)。
[0041]進(jìn)一步的，步驟A2包括:利用變尺度高斯函數(shù)與關(guān)鍵幀圖像的灰度卷積生成關(guān)鍵幀的高斯尺度空間，然后從關(guān)鍵幀的高斯尺度空間中篩選出極值點(diǎn)。
[0042]所述關(guān)鍵巾貞圖像包括:關(guān)鍵巾貞整幅圖像或者關(guān)鍵巾貞中的局部不變特征所在部位的圖像。當(dāng)所述關(guān)鍵幀圖像為關(guān)鍵幀中的局部不變特征所在部位的圖像時(shí)，可以極大的減少計(jì)算量。圖像的局部特征是相對(duì)于全局特征來說的，在圖像檢索中，很多方法都用到了圖像的全局特征，如灰度直方圖以及顏色直方圖等。然而全局特征利用的是圖像中所有像素的統(tǒng)計(jì)信息，當(dāng)感興趣的物體處于不同背景中、從不同的視角和距離對(duì)物體進(jìn)行拍攝或者物體被部分遮擋時(shí)，全局特征就不能夠?qū)⑽矬w正確地提取出來。因此圖像的局部不變特征的提取在物體識(shí)別、圖像檢索等領(lǐng)域具有優(yōu)勢(shì)。利用圖像的局部不變性特征的可重復(fù)性、獨(dú)特性、數(shù)量性和魯棒性來實(shí)現(xiàn)精確檢索。在提取圖像的局部不變特征時(shí)，可將關(guān)鍵點(diǎn)的灰度和紋理特征相結(jié)合，進(jìn)一步提高檢索準(zhǔn)確度。如果已知關(guān)注目標(biāo)是在某一特定區(qū)域，還可以只針對(duì)這一特征區(qū)域進(jìn)行檢索，從而大大提聞檢索效率。
[0043]所述從關(guān)鍵幀的高斯尺度空間中篩選出極值點(diǎn)，具體包括:
[0044]在高斯尺度空間中，針對(duì)關(guān)鍵幀的每一個(gè)像素點(diǎn)執(zhí)行下面的操作:
[0045]將所述像素點(diǎn)作為采樣點(diǎn)，將所述采樣點(diǎn)的灰度與所述采樣點(diǎn)的所有相鄰像素點(diǎn)的灰度進(jìn)行比較，當(dāng)該采樣點(diǎn)的灰度值為最大或最小時(shí)，則該采樣點(diǎn)為初篩極值點(diǎn)。這里，采樣點(diǎn)的所有相鄰像素點(diǎn)包括:與所述采樣點(diǎn)同尺度內(nèi)的相鄰點(diǎn)像素點(diǎn)、以及與所述采樣點(diǎn)上下相鄰尺度內(nèi)相鄰像素點(diǎn)。
[0046]根據(jù)子像元插值法，利用初篩極值點(diǎn)插值得到極值點(diǎn)。
[0047]步驟S103,基于樣本視頻關(guān)鍵巾貞和關(guān)鍵點(diǎn)在視頻庫(kù)中查找,若在視頻庫(kù)中找到某一段視頻與樣本視頻的所有相應(yīng)關(guān)鍵幀上匹配的關(guān)鍵點(diǎn)總數(shù)達(dá)到設(shè)定的條件，則表明檢索到所述樣本視頻，否則未檢索到所述樣本視頻。
[0048]具體的，所述設(shè)定的條件可以為:樣本視頻的所有關(guān)鍵幀上的關(guān)鍵點(diǎn)總數(shù)的95%以上。
[0049]本發(fā)明第二實(shí)施例，本實(shí)施例是在第一實(shí)施例的視頻檢索方法基礎(chǔ)上，介紹一個(gè)本發(fā)明的應(yīng)用實(shí)例。
[0050]在本應(yīng)用實(shí)例中，基于樣本視頻在視頻庫(kù)中進(jìn)行檢索的過程如圖2所示，首先，將視頻I作為樣本視頻，利用幀間差提取出視頻I的關(guān)鍵幀，即關(guān)鍵幀I, 2…η。對(duì)每一幅關(guān)鍵幀形成高斯尺度空間，在高斯尺度空間中找到灰度變化較大的極值點(diǎn)，作為關(guān)鍵點(diǎn)。將視頻I的每幅關(guān)鍵幀圖像的關(guān)鍵點(diǎn)數(shù)目相加，得到所有關(guān)鍵幀圖像的關(guān)鍵點(diǎn)總數(shù)m，同時(shí)形成一個(gè)視頻關(guān)鍵點(diǎn)集。另一方面，對(duì)于視頻庫(kù)中的所有視頻也做類似處理得到各視頻的關(guān)鍵幀和關(guān)鍵點(diǎn)。最后，運(yùn)用圖像特征匹配的方法，將視頻I的關(guān)鍵幀圖像的關(guān)鍵點(diǎn)與視頻庫(kù)中的關(guān)鍵幀圖像的關(guān)鍵點(diǎn)一一比對(duì)，當(dāng)視頻I與視頻庫(kù)中的視頻段匹配的關(guān)鍵點(diǎn)總數(shù)量達(dá)到mX95%時(shí)，即認(rèn)為檢索到該視頻I。
[0051]在生成η幅關(guān)鍵幀的階段，采用的是通過度量幀間差的方法來提取關(guān)鍵幀。這里的幀間差指的是視頻I中各幀圖像的特征之間的差異，這里說的特征的類型可以為顏色特征、形狀特征、紋理 特征、邊緣特征和運(yùn)動(dòng)特征等，這些特征均可以用向量表示出來。此處可根據(jù)視頻I的特點(diǎn)選取一種特征來計(jì)算幀間差，或者選取兩種特征的加權(quán)和來計(jì)算幀間差。將視頻I的第一幀作為關(guān)鍵幀，將其后的幀按順序與這一幀進(jìn)行比較，當(dāng)?shù)趉幀與前一關(guān)鍵幀的差超過設(shè)定的閾值T后，則第k幀成為新的關(guān)鍵幀，k為幀序號(hào)變量，后面的幀依次與新的關(guān)鍵幀進(jìn)行比較，直至處理完視頻I的最后一幀為止，得到視頻I的所有關(guān)鍵幀。
[0052]生成關(guān)鍵幀之后，就進(jìn)入對(duì)這些關(guān)鍵幀的圖像局部特征提取的階段。以第一幅關(guān)鍵幀I為例，如果已知該視頻中有某個(gè)局部不變圖案，則可通過圖像分割只針對(duì)該圖案所在區(qū)域來執(zhí)行下面的步驟，這樣使得對(duì)特定目標(biāo)檢索的針對(duì)性更強(qiáng)，且大大減小了檢索的計(jì)算量。否則，就針對(duì)關(guān)鍵幀的整幅圖像執(zhí)行下面步驟:
[0053]步驟1，生成圖像的高斯尺度空間
[0054]關(guān)鍵幀I的高斯尺度空間用一個(gè)函數(shù)L(x，y，σ)來表示，它是由一個(gè)變尺度的高斯函數(shù)G(x, y, σ )與圖像灰度I (X，y)卷積產(chǎn)生的。即L(x, y, σ ) = G(x, y, σ )*Ι (χ, y)。其中，I表示灰度值，*表示在X和y兩個(gè)方向上進(jìn)行卷積操作，而G(x，y，σ)為
【權(quán)利要求】
1.一種視頻檢索方法，其特征在于，基于樣本視頻在視頻庫(kù)中進(jìn)行檢索時(shí)，該方法包括: 對(duì)視頻庫(kù)中的所有視頻進(jìn)行處理，確定出各視頻的關(guān)鍵巾貞及各關(guān)鍵巾貞上的關(guān)鍵點(diǎn)； 對(duì)樣本視頻進(jìn)行處理，確定出樣本視頻的關(guān)鍵巾貞以及各關(guān)鍵巾貞上的關(guān)鍵點(diǎn)； 基于樣本視頻關(guān)鍵幀和關(guān)鍵點(diǎn)在視頻庫(kù)中查找，若在視頻庫(kù)中找到某一段視頻與樣本視頻的所有相應(yīng)關(guān)鍵幀上匹配的關(guān)鍵點(diǎn)總數(shù)達(dá)到設(shè)定的條件，則表明檢索到所述樣本視頻，否則未檢索到所述樣本視頻。
2.根據(jù)權(quán)利要求1所述的視頻檢索方法，其特征在于，對(duì)視頻庫(kù)中的所有視頻進(jìn)行的處理、以及對(duì)樣本視頻進(jìn)行的處理，均具體包括如下過程: 基于待處理視頻的特征的幀間差，從所述待處理視頻的各幀圖像中提取出關(guān)鍵幀； 從關(guān)鍵幀中確定出極值點(diǎn)，將極值點(diǎn)作為所述關(guān)鍵幀的關(guān)鍵點(diǎn)。
3.根據(jù)權(quán)利要求2所述的視頻檢索方法，其特征在于，所述特征的類型至少包括以下之一:顏色特征、形狀特征、紋理特征、邊緣特征和運(yùn)動(dòng)特征； 當(dāng)所述特征的類型包括兩種以上時(shí)，對(duì)所述兩種以上特征類型的向量進(jìn)行加權(quán)求和，用于判斷幀間差。
4.根據(jù)權(quán)利要求2所述的視頻檢索方法，其特征在于，所述基于待處理視頻的特征的幀間差，從所述待處理視頻的各幀圖像中提取出關(guān)鍵幀，具體包括: 將待處理視頻的第一幀作為關(guān)鍵幀，將其后的幀按順序與關(guān)鍵幀進(jìn)行比較，當(dāng)?shù)趉幀與關(guān)鍵幀的差超過設(shè)定的閾值時(shí)，則第k幀成為新的關(guān)鍵幀，后面的幀依次與新的關(guān)鍵幀進(jìn)行比較，直至處理到最后一幀為止，從而確定出待處理視頻的所有關(guān)鍵幀。
5.根據(jù)權(quán)利要求2所述的視頻檢索方法，其特征在于，所述從關(guān)鍵幀中確定出極值點(diǎn)，具體包括: 利用變尺度聞斯函數(shù)與關(guān)鍵巾貞圖像的灰度卷積生成關(guān)鍵巾貞的聞斯尺度空間； 從關(guān)鍵幀的高斯尺度空間中篩選出極值點(diǎn)。
6.根據(jù)權(quán)利要求5所述的視頻檢索方法，其特征在于，所述關(guān)鍵幀圖像包括:關(guān)鍵幀整幅圖像或者關(guān)鍵幀中的局部不變特征所在部位的圖像。
7.根據(jù)權(quán)利要求5所述的視頻檢索方法，其特征在于，所述從關(guān)鍵幀的高斯尺度空間中篩選出極值點(diǎn)，具體包括: 在高斯尺度空間中，針對(duì)關(guān)鍵幀的每一個(gè)像素點(diǎn)執(zhí)行下面的操作: 將所述像素點(diǎn)作為采樣點(diǎn)，將所述采樣點(diǎn)的灰度與所述采樣點(diǎn)的所有相鄰像素點(diǎn)的灰度進(jìn)行比較，當(dāng)該采樣點(diǎn)的灰度值為最大或最小時(shí)，則該采樣點(diǎn)為初篩極值點(diǎn)； 根據(jù)子像元插值法，利用初篩極值點(diǎn)插值得到極值點(diǎn)。
8.根據(jù)權(quán)利要求7所述的視頻檢索方法，其特征在于，所述采樣點(diǎn)的所有相鄰像素點(diǎn)包括:與所述采樣點(diǎn)同尺度內(nèi)的相鄰點(diǎn)像素點(diǎn)、以及與所述采樣點(diǎn)上下相鄰尺度內(nèi)相鄰像素點(diǎn)。
9.根據(jù)權(quán)利要求1?8中任一項(xiàng)所述的視頻檢索方法，其特征在于，所述設(shè)定的條件為:樣本視頻的所有關(guān)鍵幀上的關(guān)鍵點(diǎn)總數(shù)的95%以上。
【文檔編號(hào)】G06F17/30GK103761252SQ201310728384
【公開日】2014年4月30日 申請(qǐng)日期:2013年12月25日 優(yōu)先權(quán)日:2013年12月25日
【發(fā)明者】張麗君, 韓暋, 賈凡, 王宗超, 黨靜雅, 張化良, 董碹, 陳韜, 張騰, 賈偉 申請(qǐng)人:北京航天測(cè)控技術(shù)有限公司