本發(fā)明涉及視頻描述技術(shù)，尤其是一種基于多特征融合的視頻描述方法。
背景技術(shù)：
：概念-基本概念：視頻描述是指根據(jù)給定的視頻的視覺信息，用一個自然語言的句子將視頻中的語義信息描述出來。目的和意義：視頻描述的目的是從視頻信息中學習到視頻中包含的語義信息，并用自然語言描述出來。它在許多領域具有廣泛的應用價值，如基于語義內(nèi)容的視頻檢索和視頻標注、描述性的視頻服務、盲人導航和自動化視頻監(jiān)控等。近年來，伴隨互聯(lián)網(wǎng)與多媒體等技術(shù)的飛速發(fā)展，視覺數(shù)據(jù)的數(shù)量呈指數(shù)級的增長，從視覺信息中學習到語義信息的技術(shù)已經(jīng)逐漸成為一種新的需求。目前從單幅圖像中學習到語義信息的技術(shù)已經(jīng)日益成熟，但相對于圖像而言，視頻中包含有更加復雜的目標、場景和行為，這對學習視頻中的語義信息提出了更高的要求，我們迫切需要一種能夠生成表征視頻內(nèi)容且符合語言規(guī)范的句子的視頻描述方法。方法-基本過程：盡管視頻描述的方法不同，但基本過程大致可以分為兩個部分。第一部分是通過卷積神經(jīng)網(wǎng)絡(convolutionalneuralnetwork，cnn)提取視頻的特征。第二部分是根據(jù)提取到的視頻特征采用循環(huán)神經(jīng)網(wǎng)絡(recurrentneuralnetwork，rnn)生成視頻句子描述。方法-視頻特征提?。航陙?，隨著機器學習、深度學習研究的發(fā)展，cnn在目標識別、行為識別、人臉識別等任務中都表現(xiàn)出了很好的性能。目前大多數(shù)方法都是采用現(xiàn)有的cnn網(wǎng)絡模型提取視頻幀的空間特征。關(guān)于時間特征(運動特征)提取方面，hom等人提出了光流法來提取相鄰幀之間的運動特征。該方法利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關(guān)性來找到上一幀跟當前幀之間存在的對應關(guān)系，從而計算出相鄰之間物體的運動信息的一種方法。davidlowe等人提出sift流方法提取不同相鄰幀之間的運動特征。通過利用圖像的sift特征的局部描述，生成原始圖像對應的sift特征圖，經(jīng)過時間的變化，對應的特征之間會有相對位置上的變化，這種變化構(gòu)成了流場，形成sift流，tran等人提出了3-dcnn模型。該模型通過在cnn的卷積層進行3d卷積，以捕捉在時間和空間都具有區(qū)分性的特征。方法-視頻句子生成模型：近些年，隨著自然語言處理的發(fā)展，機器翻譯中的一些思想可以很好地應用到視頻句子生成中，donahue等人提出lrcns模型，它使用cnn提取視頻的視覺特征，再使用疊加的雙層lstm生成圖像的句子描述。yu等人提出h-rnn模型，其中層次rnn包含了句子生成器和段落生成器。pan等人提出了lstm-e的rnn句子生成模型，并結(jié)合3-dcnn構(gòu)成最終的模型。venugopalan等人提出了在文本數(shù)據(jù)集上做遷移學習，并加入了dcc模型?，F(xiàn)有的視頻句子生成模型中單詞的表示大多采用one-hotvector編碼，這種編碼方式比較簡單，無法表示出單詞與單詞之間的相關(guān)性。缺陷：就視頻描述而言，主要存在三個問題。1、現(xiàn)有的視頻特征提取方法對時空特征表達能力不足。傳統(tǒng)的視頻特征提取方法主要跟圖像特征提取方法類似，更加側(cè)重于對空間特征的提取，而忽略了對時序特征的提取。視頻中的目標隨著物體運動和攝像頭的移動會出現(xiàn)尺度的變化，光流法雖然可以獲取視頻中的運動信息，但是無法獲取尺度不變性的特征表達。3dcnn在沒有加入視覺注意機制時對視頻特征提取性能的提升是有限的，而且3dcnn訓練是比較耗時的。2、視頻描述的句子生成模型不能充分建立視覺信息與單詞之間的聯(lián)系?，F(xiàn)有的方法在句子生成過程中大多采用某一幀的特征作為輸入來建立視覺信息與單詞之間的聯(lián)系，而視頻幀具有隨機性，有些幀的特征無法很好地表現(xiàn)視頻相關(guān)內(nèi)容，而可以表征視頻整體的特征就被忽略了。雖然有方法將句子生成模型的所有輸入均為視頻的整體特征，但是這種方法忽略了視頻每一幀特有的信息。3、視頻描述的句子生成模型中采用的one-hotvector詞表征方式單詞之間相互獨立，無法體現(xiàn)單詞與單詞之間的關(guān)聯(lián)性。目前視頻描述領域中大多數(shù)句子生成模型都使用one-hotvector這種單詞表示方法，使得模型在生成單詞階段無法很好地考慮不同單詞之間的聯(lián)系。技術(shù)實現(xiàn)要素：本發(fā)明目的是：為了解決現(xiàn)有視頻描述方法中存在的問題，而提出一種多特征融合的視頻描述方法，該方法能夠更好提取到更加魯棒的時空特征，同時在句子生成模型中加入整體特征，以便視覺信息與單詞之間建立更多的聯(lián)系，最后采用word2vec詞向量方法替換one-hotvector詞表征，在單詞與單詞之間建立更多的聯(lián)系，從而更好的提高視頻描述的性能。本發(fā)明的技術(shù)方案是：一種基于多特征融合的視頻描述方法，其特征在于：1)視頻時空特征提取通過融合傳統(tǒng)的cnn特征和sift流特征提取視頻的深層時空特征；2)句子描述的生成根據(jù)步驟1)提取到的深層時空特征，采用加入了視頻整體特征的s2vt句子生成模型生成相應的句子描述；3)句子生成模型的優(yōu)化采用word2vec詞向量替換one-hotvector詞表征優(yōu)化句子生成模型。進一步的，本發(fā)明的上述步驟1)視頻時空特征提取，進一步包括如下三個步驟：(1)提取視頻的空間特征利用已有的vgg-16網(wǎng)絡模型提取原始視頻幀的fc7層特征；(2)提取視頻的時間特征利用微調(diào)的vgg-16網(wǎng)絡模型提取視頻的sift流場圖的fc7層特征；(3)特征融合分別對兩者采用主成份分析(pca)方法降維并采用連接的方式得到4096維的特征向量作為視頻的特征表達，用以輸入到句子生成模型中。更進一步的，本發(fā)明中所述步驟1)視頻時空特征提取的詳細步驟如下：(1)提取視頻的空間特征采用在imagenet數(shù)據(jù)集上預訓練的vgg-16網(wǎng)絡模型，將測試數(shù)據(jù)集msvd中的視頻每隔10幀取一幀，送入到vgg-16網(wǎng)絡模型中，提取fc7層的4096維輸出作為當前幀的特征向量；(2)提取視頻的時間特征首先在行為識別數(shù)據(jù)集ucf-101樣本視頻每十幀取第一幀和第三幀，并根據(jù)這兩幀得到一幅sift流場圖，并為它們打上與視頻相同的標簽；接著將帶有標簽的sift流場圖按照2:1的比例分為訓練集和驗證集，并送入到vgg-16網(wǎng)絡模型中進行網(wǎng)絡的微調(diào)；然后在測試數(shù)據(jù)集msvd上提取出sift流場圖，送入到微調(diào)好的vgg-16網(wǎng)絡模型中，提取fc7層的4096維輸出作為當前幀的特征向量；所述的sift流場圖是指采用sift流方法計算相鄰幀之間的sift流場后再將其可視化而成的圖像；(3)特征融合將提取到的兩個4096維特征向量分別采用離差標準化min-maxnormalization方法進行歸一化，然后將歸一化后的特征向量分別采用主成份分析(pca)方法降維，得到兩個2048為特征向量，最后采用向量連接的方法，得到最終的4096維特征向量作為句子生成模型的輸入。更進一步的，本發(fā)明中所述步驟2)句子描述生成中所述視頻平均池化特征的加入是指在s2vt句子生成模型的編碼階段，當完成對視頻幀的讀取之后輸入視頻的平均池化特征，而所述平均池化特征的提取過程如下：首先利用vgg-16網(wǎng)絡模型提取出所有原始視頻幀，也即rgb圖像的fc7層特征，然后對所有視頻幀的特征采用平均池化方法，按照如下公式：其中vi表示提取的視頻v視頻幀，n表示視頻v提取視頻幀的數(shù)量。最終得到視頻的一個平均池化特征；與此同時，句子生成模型的解碼階段也開始工作，每次生成單詞都會有視覺信息輸入進來，直到輸出結(jié)束標記<eos>表示句子生成結(jié)束，生成的單詞是由softmax函數(shù)確定的，按照如下公式：每個時刻t都會計算出詞匯表v中每個單詞在第二層輸出zt條件下的概率分布。其中y表示詞匯表中的單詞。在測試階段，選擇概率最大的單詞y作為時刻t的單詞輸出。嚴格來講，句子描述的生成步驟中在s2vt編碼階段加入平均池化特征作為視頻整體特征也是對s2vt句子生成模型的一種優(yōu)化。因此本發(fā)明中也可以說對于句子生成模型采用了兩種優(yōu)化方法，第一個是在句子生成模型中加入了作為視頻整體特征的平均池化特征，這個是句子生成模型的一部分，可以理解為提出了一個新的句子生成模型。而第二個則是在單詞表示上采用更好的單詞表示方法替換原有的方法，這是在不修改句子生成模型的情況下對句子生成模型的一個優(yōu)化過程，僅僅將單詞表示換成了更加好的word2vec。這兩種方法顯然也存在先后關(guān)系的，即先提出新的句子生成模型，然后再進行優(yōu)化。更進一步的，本發(fā)明中所述步驟3)句子生成模型的優(yōu)化的詳細過程如下：首先將英文wiki語料庫中xml格式的文件轉(zhuǎn)成txt文件，然后通過對txt文件進行訓練處理得到語料集中所有單詞的詞向量表示，在得到了文本的詞向量之后，將原來網(wǎng)絡模型中的one-hotvector表示的單詞向量表示替換成word2vec詞向量。本發(fā)明的優(yōu)點是：本發(fā)明以視頻為研究對象，設計出了一種基于多特征融合的視頻描述方法。通過多特征融合，本方法能夠更好提取到更加魯棒的時空特征，同時在句子生成模型中加入整體特征，以便視覺信息與單詞之間建立更多的聯(lián)系，最后采用word2vec詞向量方法替換one-hotvector詞表征，在單詞與單詞之間建立更多的聯(lián)系。具體創(chuàng)新點如下：1.為了提取更加魯棒的視頻的時空特征，本發(fā)明提出了一個基于傳統(tǒng)cnn特征和sift流特征融合的視頻特征提取方法。本方法首先利用已有的vgg-16網(wǎng)絡模型提取原始視頻幀的fc7層特征。然后利用微調(diào)的vgg-16網(wǎng)絡模型提取視頻的sift流場圖的fc7層特征。最后分別對兩者采用pca降維并采用連接的方式得到4096維的特征向量作為視頻的特征表達。實驗結(jié)果充分證明了提出的方法可以提高視頻描述的性能。2.為了在視覺信息和單詞之間建立更多的聯(lián)系，本發(fā)明提出了在經(jīng)典的s2vt句子生成模型上加入視頻的整體特征。本方法在編碼階段視頻幀輸入結(jié)束后，輸入視頻的平均池化特征來輔助解碼階段，即句子生成階段，使得在生成單詞的過程中充分利用視頻的視覺信息。實驗結(jié)果充分證明了再句子生成模型中融入視頻整體特征可以提高視頻描述的性能。3.為了在單詞和單詞之間建立更多的聯(lián)系，本發(fā)明提出了在視頻描述任務中采用word2vec取代傳統(tǒng)的one-hotvector作為單詞的表示。本方法是在英文維基百科語料庫上進行訓練并得到相應的詞向量，并將該詞向量加入到句子生成模型中。實驗結(jié)果充分證明了word2vec這種詞向量表示方法可以有效地提高視頻描述的性能。附圖說明下面結(jié)合附圖及實施例對本發(fā)明作進一步描述：圖1為本發(fā)明方法的流程圖；圖2為本發(fā)明方法的框架結(jié)構(gòu)圖；圖3為視頻特征提取方法的框架構(gòu)圖；圖4為msvd數(shù)據(jù)集上一個視頻樣本的原始視頻幀與sift流場圖；圖5為msvd數(shù)據(jù)集上另一視頻樣本的原始視頻幀與sift流場圖；圖6為采用加入了視頻整體特征的s2vt句子生成模型生成相應的句子描述步驟的框架構(gòu)圖；圖7為采用word2vec詞向量替換one-hotvector詞表征優(yōu)化s2vt句子生成模型步驟的框架構(gòu)圖；圖8最終模型生成的句子描述與標準值。具體實施方式實施例：下面結(jié)合圖1～圖8對本發(fā)明提供的這種基于多特征融合的視頻描述方法進行具體說明如下：本發(fā)明方法的整體流程圖和框架圖分別如圖1和圖2所示，通過融合傳統(tǒng)的cnn特征和sift流特征提取視頻的深層時空特征。然后根據(jù)提取到的特征采用加入了整體特征的s2vt句子生成模型生成相應的句子描述。最后采用word2vec詞向量替換one-hotvector詞表征優(yōu)化句子生成模型。本實施例中采用bleu和meteor評價視頻描述方法和性能，論證實驗使用數(shù)據(jù)集是：msvd(microsoftresearchvideodescription)，也稱之為youtube2text。msvd是目前在視頻描述領域應用最多且得到認可的數(shù)據(jù)集，它包含有1970個短視頻，這些視頻均來自于youtube。每個短視頻的時間在10s-25s之間，描述一個單一的行為，并且該數(shù)據(jù)集涵蓋了多種場景。每個視頻對應的文本描述有100多條，包含有多種語言。實驗中，本文采用的是語言為english的文本描述，每個視頻大約有40條文本描述。實驗中，我們選擇1200個視頻作為訓練數(shù)據(jù)集，100個視頻作為驗證數(shù)據(jù)集，670個視頻作為測試數(shù)據(jù)集。實驗環(huán)境如下：cpu是intelxeone5-26202.10ghz，gpu為teslak20(5g顯存)，內(nèi)存為64g，硬盤為1t。所使用的操作系統(tǒng)為centos6.7。整個方法流程具體分為3個步驟：視頻深層時空特征提取、句子描述的生成、句子生成模型的優(yōu)化，如圖1所示。下面對三個步驟分別具體說明：1、視頻時空特征提取視頻不同于圖像，它的特征提取分為空間特征提取和時間特征提取。本發(fā)明采用傳統(tǒng)的cnn提取原始視頻幀中的空間特征，采用sift流提取視頻中的時間特征，最后將兩個特征進行融合作為句子生成模型的輸入。視頻時空特征提取分為下面3個步驟，具體的方法框架結(jié)合圖3所示：(1)提取視頻的空間特征在提取視頻的空間特征中，本發(fā)明采用目前比較成熟的在imagenet數(shù)據(jù)集上預訓練的vgg-16網(wǎng)絡模型。將測試數(shù)據(jù)集msvd中的視頻每隔10幀取一幀，送入到vgg-16網(wǎng)絡模型中，提取fc7層的4096維輸出作為當前幀的特征向量。(2)提取視頻的時間特征在提取視頻的時間特征中，本發(fā)明采用2004年davidlowe等人提出的sift流方法計算相鄰幀之間的sift流場，并將其可視化成sift流場圖。首先在行為識別數(shù)據(jù)集ucf-101樣本視頻每十幀取第一幀和第三幀，并根據(jù)這兩幀得到一幅sift流場圖，并為它們打上與視頻相同的標簽。接著將帶有標簽的sift流場圖按照2:1的比例分為訓練集和驗證集，并送入到vgg-16網(wǎng)絡模型中進行網(wǎng)絡的微調(diào)(finetuning)。然后在測試數(shù)據(jù)集msvd上提取出sift流場圖，送入到微調(diào)好的vgg-16網(wǎng)絡模型中，提取fc7層的4096維輸出作為當前幀的特征向量。圖4和圖5分別給出了本實施例的msvd數(shù)據(jù)集中兩個樣本的原始視頻幀與提取出來的sift流場圖對比示例圖。圖4的視頻中表現(xiàn)的是“amanissinging”，即一個正在唱歌的男人，圖4上半部分為原始視頻幀，下半部分為提取出來的sift流場圖。而圖5的視頻中表現(xiàn)的是“thetoytrainaremoving”，即正在行駛的玩具火車，同樣圖5上半部分為原始視頻幀，下半部分為提取出來的sift流場圖。(3)特征融合以原始視頻幀為輸入得到的特征能夠很好地表征視頻的空間特征，如目標和場景，而以sift流場圖為輸入得到的特征能夠很好地表征視頻的時間特征。兩者之間形成一個互補，組成視頻的時空深層特征，可以較好地表示視頻的時空特征。為了將視頻的空間特征和時間特征進行融合，首先將提取到的兩個4096維特征向量分別采用離差標準化(min-maxnormalization)方法進行歸一化。然后將歸一化后的特征向量分別采用主成份分析(pca)方法降維，得到兩個2048為特征向量。最后采用向量連接的方法，得到最終的4096維特征向量作為句子生成模型的輸入，如圖3所示。2、句子描述的生成本發(fā)明是基于venugopalan等人提出的s2vt句子生成模型來生成句子描述，經(jīng)典的s2vt句子生成模型的編碼階段當視頻幀輸入結(jié)束之后，接著全部輸入的是空的視覺信息。為了能夠在句子生成階段在視覺信息和單詞之間建立更多的聯(lián)系，在s2vt句子生成模型完成對視頻幀的讀取之后輸入視頻的平均池化特征，如圖6所示。為了提取平均池化特征，首先先利用vgg-16網(wǎng)絡模型提取出所有原始視頻幀(rgb圖像)的fc7層特征，然后對所有視頻幀的特征進行平均池化操作，然后對所有視頻幀的特征采用平均池化方法，按照如下公式：其中vi表示提取的視頻v視頻幀，n表示視頻v提取視頻幀的數(shù)量。最終得到視頻的一個平均池化特征作為視頻的整體特征表達。與此同時，句子生成模型的解碼階段也開始工作，每次生成單詞都會有視覺信息輸入進來，直到輸出結(jié)束標記<eos>表示句子生成結(jié)束。生成的單詞是由softmax函數(shù)確定的，按照如下公式：每個時刻t都會計算出詞匯表v中每個單詞在第二層輸出zt條件下的概率分布。其中y表示詞匯表中的單詞，在測試階段，選擇概率最大的單詞y作為時刻t的單詞輸出。每次在詞匯表v中求出條件概率最大的單詞y，其中zt＝ht，表示t時刻第二層lstm的輸出。實質(zhì)上在上述s2vt句子生成模型生成句子描述的過程中，我們在其編碼階段加入視頻整體特征來增加視覺信息與單詞之間的聯(lián)系嚴格來說也是對于s2vt句子生成模型的一種優(yōu)化，即屬于模型編碼階段的優(yōu)化。3、采用word2vec詞向量表示方法進一步優(yōu)化句子生成模型為了能夠更好地獲取單詞與單詞之間的相似性和相關(guān)性，我們提出的基于word2vec的優(yōu)化方法是在英文wiki語料庫上訓練，得到的單詞向量替換one-hotvector，并加入到改進的s2vt句子生成模型中，方法框架如圖7所示。本文采用google公司研發(fā)出來的開源工具包word2vec來生成文本單詞向量。為了訓練出性能更好的文本詞向量表示，本方法在英文wiki語料庫上訓練單詞向量。英文wiki語料庫大小約11g，是xml格式的文本。首先需要將xml格式的文件轉(zhuǎn)成txt文件，其中包含大約375萬篇文章。然后通過對txt文件進行訓練處理得到語料集中所有單詞的詞向量表示。在得到了文本的詞向量之后，將原來網(wǎng)絡模型中的one-hotvector表示的單詞向量表示替換成word2vec詞向量。如圖8所示是本發(fā)明最終模型生成的句子描述與標準值。圖中可以發(fā)現(xiàn)本文提出的模型可以較好地獲取視頻中重要的信息，尤其是運動信息。雖然對于細節(jié)方面還有不足，但是對視頻的整體內(nèi)容都能夠較好地描述出來。接下來對每個方法進行實驗驗證：1、視頻特征提取方法驗證本發(fā)明對提出的視頻特征提取方法在視頻描述數(shù)據(jù)集msvdc上進行了對比實驗，結(jié)果如表1所示。表1中呈現(xiàn)了不同的算法在msvdc上多個指標的對比情況。其中主要包括了經(jīng)典的s2vt的不同變形。該部分句子生成模型部分均采用經(jīng)典的s2vt句子生成模型。實驗結(jié)果表明本發(fā)明提出的方法可以提取更加魯棒的視頻特征，從而有效地提升視頻描述的性能。表1msvd數(shù)據(jù)集上特征提取方法對比結(jié)果(單位為％)2、s2vt句子生成模型優(yōu)化方法驗證本發(fā)明對提出的句子生成模型優(yōu)化方法在視頻描述數(shù)據(jù)集msvdc上進行了對比實驗，對比實驗結(jié)果如表2和表3所示。表2中呈現(xiàn)了經(jīng)典的s2vt句子生成模型和加入了平均池化(meanpool)特征后的s2vt句子生成模型的對比實驗。實驗結(jié)果表明本發(fā)明提出的方法可以在視頻的整體信息與單詞之間建立更多的聯(lián)系，從而有效地提升視頻描述的性能。表3中呈現(xiàn)了在改進的句子生成模型的基礎上分別采用one-hotvector詞表征和word2vec詞向量得到的模型的性能對比。實驗結(jié)果表明word2vec比one-hotvector更加有助于視頻描述性能的提高。表2msvd數(shù)據(jù)集上優(yōu)化方法1的對比結(jié)果(單位％)方法bleumeteorrgb34.728.8rgb+meanpool35.929.4sift24.724.8sift+meanpool30.126.2rgb+sift37.830.4rgbt+sift+meanpool40.530.8表3msvd數(shù)據(jù)集上優(yōu)化方法2對比結(jié)果(單位％)方法bleumeteorrgb+one-hotvector35.929.4rgb+word2vec37.029.7sift30.126.2sift+word2vec31.826.6rgb+sift40.530.8rgbt+sift+word2vec41.731.23、最終模型與其他方法的對比驗證表4中呈現(xiàn)了目前現(xiàn)有方法與本發(fā)明最終模型的性能的對比。用于對比的方法包括thomason等人2014年提出的fgm方法，venugopalan等人2015年提出的提取視頻的平均池化特征作為輸入的方法，yao等人2015年提出的基于3dcnn和視覺注意機制方法，venugopalan等人2015年提出的s2vt方法，pan等人2015年提出的lstm-e方法，yu等人2015年提出的h-rnn方法和venugopalan在2016年提出的基于文本的遷移學習和dcc模型的方法。實驗結(jié)果表明，本發(fā)明的最終模型在bleu和meteor兩個指標上比大多數(shù)方法要好，跟最好的方法相比也是具有一定競爭力的。表4msvd數(shù)據(jù)集上視頻描述模型對比結(jié)果(單位為％)方法bleumeteorthomason等人201413.623.9venugopalan等人201531.226.9yao等人201541.929.8venugopalan等人2015-26.2pan等人201543.632.1yu等人201544.331.1venugopalan等人201642.131.4ours41.731.2當然上述實施例只為說明本發(fā)明的技術(shù)構(gòu)思及特點，其目的在于讓熟悉此項技術(shù)的人能夠了解本發(fā)明的內(nèi)容并據(jù)以實施，并不能以此限制本發(fā)明的保護范圍。凡根據(jù)本發(fā)明主要技術(shù)方案的精神實質(zhì)所做的修飾，都應涵蓋在本發(fā)明的保護范圍之內(nèi)。當前第1頁12