針對移動(dòng)計(jì)算設(shè)備檢測體育視頻精彩部分的制作方法
【專利摘要】提供了用于在移動(dòng)計(jì)算設(shè)備處實(shí)時(shí)檢測體育視頻中的視頻精彩部分的解決方案。移動(dòng)計(jì)算設(shè)備的精彩部分檢測模塊使用經(jīng)訓(xùn)練的特征模型從體育視頻的每個(gè)視頻幀提取視覺特征并且使用經(jīng)訓(xùn)練的檢測模型基于視頻幀的所提取的視覺特征來檢測視頻幀中的精彩部分。特征模型和檢測模型在大規(guī)模的視頻上利用卷積神經(jīng)網(wǎng)絡(luò)來訓(xùn)練以生成種類水平和成對的幀特征向量?；谠摍z測，精彩部分檢測模塊生成針對體育視頻的每個(gè)視頻幀的精彩部分分?jǐn)?shù)并將精彩部分分?jǐn)?shù)呈現(xiàn)給計(jì)算設(shè)備的用戶?；谟梢苿?dòng)計(jì)算設(shè)備收集的實(shí)時(shí)精彩部分檢測數(shù)據(jù)來動(dòng)態(tài)地更新特征模型和檢測模型。
【專利說明】
針對移動(dòng)計(jì)算設(shè)備檢測體育視頻精彩部分
技術(shù)領(lǐng)域
[0001 ]本發(fā)明總體上涉及數(shù)字內(nèi)容處理，具體地涉及針對移動(dòng)計(jì)算設(shè)備實(shí)時(shí)檢測體育視頻中的視頻精彩部分。
【背景技術(shù)】
[0002]智能手持設(shè)備(諸如智能電話和平板計(jì)算機(jī))已經(jīng)日益普遍。增長的網(wǎng)絡(luò)訪問(針對有線和無線網(wǎng)絡(luò))的可用性和帶寬使得更多計(jì)算平臺(tái)用于數(shù)字內(nèi)容消費(fèi)和共享，諸如由體育愛好者使用他們的智能電話錄制體育視頻并且與其他人共享體育視頻中的視頻精彩部分(highlight)。體育視頻的視頻精彩部分是體育視頻的一部分并且表示體育視頻中捕獲的語義上重要的事件，例如，捕獲足球比賽視頻片段中進(jìn)球或射門的短視頻剪輯(clip)。
[0003]針對移動(dòng)計(jì)算設(shè)備的視頻精彩部分檢測的某些傳統(tǒng)解決方案依靠用戶手動(dòng)選擇?？紤]到體育視頻的復(fù)雜時(shí)空性質(zhì)，從長視頻剪輯中高效定位并選擇視頻精彩部分是耗時(shí)的并且在技術(shù)上具有挑戰(zhàn)的。例如，足球比賽的90分鐘長視頻剪輯可以包含捕獲三個(gè)進(jìn)球事件的三個(gè)精彩部分，其中每個(gè)精彩部分可能僅持續(xù)10-20秒。
[0004]備選地，某些現(xiàn)有解決方案允許用戶將由他們的智能電話捕獲到的體育視頻上傳到云計(jì)算環(huán)境中的計(jì)算機(jī)服務(wù)器以進(jìn)行視頻精彩部分檢測。然而，一般不期望針對服務(wù)器端視頻精彩部分檢測的解決方案將實(shí)時(shí)瞬間檢測結(jié)果提供給用戶，這降低關(guān)于視頻精彩部分檢測的用戶體驗(yàn)。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的各實(shí)施例提供了一種用于針對移動(dòng)計(jì)算設(shè)備(例如智能電話)實(shí)時(shí)檢測體育視頻的視頻精彩部分的解決方案。體育視頻的視頻精彩部分是體育視頻的一部分并且表示在體育視頻中捕獲的語義上重要的事件。移動(dòng)計(jì)算設(shè)備的精彩部分檢測模塊使用經(jīng)訓(xùn)練的特征模型從體育視頻的每個(gè)所緩沖的視頻幀中提取視覺特征并且通過應(yīng)用經(jīng)訓(xùn)練的檢測模型基于視頻幀的所提取的視覺特征來檢測所緩沖的視頻幀中的精彩部分。基于該檢測，精彩部分檢測模塊生成針對體育視頻的每個(gè)視頻幀的精彩部分分?jǐn)?shù)并將精彩部分分?jǐn)?shù)呈現(xiàn)給移動(dòng)計(jì)算設(shè)備的用戶以供交互。
[0006]特征模型在大規(guī)模的視頻上利用卷積神經(jīng)網(wǎng)絡(luò)來訓(xùn)練以生成與體育視頻的每個(gè)類別相關(guān)聯(lián)的種類水平視覺特征。檢測模型基于種類水平視覺特征來生成成對的幀特征向量?；谟梢苿?dòng)計(jì)算設(shè)備收集的實(shí)時(shí)精彩部分檢測數(shù)據(jù)來動(dòng)態(tài)地更新特征模型。基于由移動(dòng)計(jì)算設(shè)備收集的實(shí)時(shí)精彩部分檢測數(shù)據(jù)和與由移動(dòng)計(jì)算設(shè)備收集的體育視頻的所呈現(xiàn)的精彩部分分?jǐn)?shù)的用戶交互來動(dòng)態(tài)地更新檢測模型。
[0007]在本說明書中的特征和優(yōu)點(diǎn)并非是包括一切的，并且特別是鑒于附圖、說明書和權(quán)利要求，許多附加的特征和優(yōu)點(diǎn)對于本領(lǐng)域技術(shù)人員將是明顯的。此外，應(yīng)當(dāng)注意，在說明書中使用的語言已經(jīng)主要為了可讀性和教導(dǎo)的目的而被選擇，并且可能未被選擇為描繪或限制所公開的主題。
【附圖說明】
[0008]圖1是根據(jù)一個(gè)實(shí)施例的用于檢測體育視頻中的視頻精彩部分的計(jì)算環(huán)境的框圖。
[0009]圖2是圖示了根據(jù)一個(gè)實(shí)施例的用于作為客戶端設(shè)備和/或計(jì)算機(jī)服務(wù)器以提供針對移動(dòng)計(jì)算設(shè)備的實(shí)時(shí)視頻精彩部分檢測服務(wù)的計(jì)算機(jī)示例的框圖。
[0010]圖3是根據(jù)一個(gè)實(shí)施例的視頻精彩部分訓(xùn)練模塊的框圖。
[0011 ]圖4是根據(jù)一個(gè)實(shí)施例的精彩部分檢測模塊的框圖。
[0012]圖5是根據(jù)一個(gè)實(shí)施例的使用圖3中示出的訓(xùn)練模塊和圖4中示出的精彩部分檢測模塊檢測由移動(dòng)電話接收到的體育視頻中的精彩部分的示例。
[0013]圖6是圖示了根據(jù)一個(gè)實(shí)施例的用于針對移動(dòng)計(jì)算設(shè)備實(shí)時(shí)檢測體育視頻中的視頻精彩部分的過程的示例性流程圖。
[0014]圖7A是用于視頻精彩部分檢測的由移動(dòng)電話接收到的體育視頻的示例性視頻幀。
[0015]圖7B是呈現(xiàn)與圖7A中示出的體育視頻的視頻幀相關(guān)聯(lián)的視頻精彩部分分?jǐn)?shù)的示例性圖形用戶接口。
[0016]圖7C是根據(jù)一個(gè)實(shí)施例的示出由移動(dòng)電話接收到的體育視頻、其相關(guān)聯(lián)的視頻精彩部分分?jǐn)?shù)和用于與所呈現(xiàn)的視頻精彩部分分?jǐn)?shù)交互的用戶控制接口的示例性用戶接口。
[0017]附圖僅為了說明的目的描繪本發(fā)明的各種實(shí)施例。本領(lǐng)域技術(shù)人員從以下討論中將容易認(rèn)識到，在不背離本文所描述的本發(fā)明的原理的情況下，本文所圖示的結(jié)構(gòu)和方法的備選實(shí)施例可以被采用。
【具體實(shí)施方式】
[0018]系統(tǒng)概述
[0019]圖1是根據(jù)一個(gè)實(shí)施例的用于檢測體育視頻中視頻精彩部分的計(jì)算環(huán)境100的框圖。圖1中所示的實(shí)施例包括多個(gè)客戶端設(shè)備110 (例如，11OA和11OB)和視頻精彩部分模型訓(xùn)練服務(wù)130，彼此通過網(wǎng)絡(luò)120連接。計(jì)算環(huán)境100的實(shí)施例可以具有連接到網(wǎng)絡(luò)120的許多客戶端設(shè)備110和視頻精彩部分模型訓(xùn)練服務(wù)130。同樣，在不同實(shí)施例中，由圖1的各實(shí)體執(zhí)行的功能可以不同。
[0020]客戶端設(shè)備110是用戶用于執(zhí)行如下功能的電子設(shè)備，諸如錄制體育視頻、消費(fèi)數(shù)字內(nèi)容、執(zhí)行軟件應(yīng)用、瀏覽由web服務(wù)器在網(wǎng)絡(luò)120上主控的網(wǎng)站、下載文件等。例如，客戶端設(shè)備110可以是智能電話、或平板、筆記本、或者臺(tái)式計(jì)算機(jī)。客戶端設(shè)備110包括其上用戶可以觀看視頻和其他內(nèi)容的顯示器設(shè)備和/或與所述顯示器設(shè)備對接。另外，客戶端設(shè)備110提供了用戶接口(UI)，諸如物理和/或屏幕上按鈕，通過該用戶接口用戶可以與客戶端設(shè)備110交互以執(zhí)行如下功能，諸如觀看、選擇和消費(fèi)諸如體育視頻的視頻精彩部分的數(shù)字內(nèi)容。在一個(gè)實(shí)施例中，客戶端設(shè)備110具有用于使用由視頻精彩部分模型訓(xùn)練服務(wù)130訓(xùn)練的視頻精彩部分模型來實(shí)時(shí)檢測由客戶端設(shè)備110接收到的體育視頻中的視頻精彩部分的精彩部分檢測模塊112 (例如，針對客戶端設(shè)備I1A為112A，并且針對客戶端設(shè)備I1B為112B)。下面參考圖4的描述進(jìn)一步描述精彩部分檢測模塊112。
[0021]圖1的實(shí)施例中所示的視頻精彩部分模型訓(xùn)練服務(wù)130包括視頻數(shù)據(jù)庫132、模型數(shù)據(jù)庫134、訓(xùn)練模塊136和精彩部分模型更新模塊138。視頻精彩部分模型訓(xùn)練服務(wù)130的其他實(shí)施例可以具有附加和/或不同模塊。視頻數(shù)據(jù)庫132存儲(chǔ)例如美國足球、英式足球、桌面網(wǎng)球/乒乓球、網(wǎng)球和籃球的各種類型的大規(guī)模的(large corpus of)體育視頻。模型數(shù)據(jù)庫134存儲(chǔ)由訓(xùn)練模塊136訓(xùn)練的特征模型和視頻精彩部分檢測模型和由特征模型和視頻精彩部分檢測模型生成的特征向量。
[0022]訓(xùn)練模塊136利用諸如卷積神經(jīng)網(wǎng)絡(luò)(convolut1nal neural network ,CNN)的深度學(xué)習(xí)能力的訓(xùn)練特征模型以將存儲(chǔ)在視頻數(shù)據(jù)庫132中的體育視頻分類成不同類別(class)。體育視頻的每個(gè)類別與描述該列表的特性的多個(gè)特征向量相關(guān)聯(lián)。訓(xùn)練模塊136從存儲(chǔ)在視頻數(shù)據(jù)庫132中的視頻中選擇體育視頻的子集并使用從特征模型訓(xùn)練中學(xué)習(xí)的特征訓(xùn)練視頻精彩部分檢測模型。訓(xùn)練模塊136將經(jīng)訓(xùn)練的特征模型、與所分類的體育視頻相關(guān)聯(lián)的特征向量、視頻精彩部分檢測模型和成對的幀特征向量提供到客戶端設(shè)備10的精彩部分檢測模塊112以實(shí)時(shí)檢測由客戶端設(shè)備110接收到的體育視頻中的視頻精彩部分。下面參考圖3的描述進(jìn)一步描述訓(xùn)練模塊136。
[0023]精彩部分模型更新模塊138基于由客戶端設(shè)備110接收到的體育視頻的實(shí)時(shí)視頻精彩部分檢測來動(dòng)態(tài)地更新特征向量、特征模型和視頻精彩部分檢測模型。在一個(gè)實(shí)施例中，精彩部分模型更新模塊138基于由客戶端設(shè)備110接收到的體育視頻的特征向量動(dòng)態(tài)地更新特征向量和特征模型。響應(yīng)于用戶與由客戶端設(shè)備110的精彩部分檢測模塊112檢測到的視頻精彩部分交互，精彩部分模型更新模塊138基于與體育視頻的視頻精彩部分的用戶交互來動(dòng)態(tài)地更新精彩部分檢測模型。參考圖4的精彩部分檢測模塊112的描述進(jìn)一步描述精彩部分模型更新模塊138。
[0024]網(wǎng)絡(luò)120使得能夠在客戶端設(shè)備和視頻精彩部分模型訓(xùn)練服務(wù)130之中通信。在一個(gè)實(shí)施例中，網(wǎng)絡(luò)120包括互聯(lián)網(wǎng)和使用標(biāo)準(zhǔn)通信技術(shù)和/或協(xié)議，例如云計(jì)算。在另一實(shí)施例中，實(shí)體能夠使用定制和/或?qū)Ｓ脭?shù)據(jù)通信技術(shù)。
[0025]計(jì)算機(jī)系統(tǒng)體系結(jié)構(gòu)
[0026]圖1中示出的實(shí)體使用一個(gè)或多個(gè)計(jì)算機(jī)來實(shí)施。圖2是根據(jù)一個(gè)實(shí)施例的用于作為視頻精彩部分模型訓(xùn)練服務(wù)130和/或客戶端設(shè)備110的計(jì)算機(jī)200的高級框圖。圖示的是耦合到芯片組204的至少一個(gè)處理器202。還耦合到芯片組204的是存儲(chǔ)器206、存儲(chǔ)設(shè)備208、鍵盤210、圖形適配器212、指向設(shè)備214和網(wǎng)絡(luò)適配器216。顯示器218耦合到圖形適配器212。在一個(gè)實(shí)施例中，芯片組204的功能由存儲(chǔ)器控制器集線器220和1/0控制器集線器222提供。在另一實(shí)施例中，存儲(chǔ)器206直接耦合到處理器202，而非芯片組204。
[0027]存儲(chǔ)設(shè)備208是任何非瞬態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，例如硬盤驅(qū)動(dòng)器、緊湊盤只讀存儲(chǔ)器(CD-ROM)、DVD或固態(tài)存儲(chǔ)器設(shè)備。存儲(chǔ)器206保存由處理器202使用的指令和數(shù)據(jù)。指向設(shè)備214可以是鼠標(biāo)、軌跡球或其他類型的指向設(shè)備，并且結(jié)合鍵盤210使用以將數(shù)據(jù)輸入到計(jì)算機(jī)系統(tǒng)200中。圖形適配器212在顯示器218上顯示圖像和其他信息。網(wǎng)絡(luò)適配器216將計(jì)算機(jī)系統(tǒng)200耦合到網(wǎng)絡(luò)120。
[0028]如本領(lǐng)域中已知的，計(jì)算機(jī)200可以具有與圖2中示出的那些不同的部件和/或其他部件。另外，計(jì)算機(jī)200可以缺少某些圖示的部件。例如，用作視頻精彩部分訓(xùn)練服務(wù)130的計(jì)算機(jī)可以由一起鏈接成一個(gè)或多個(gè)分布式系統(tǒng)的多個(gè)刀片服務(wù)器形成并且缺少諸如鍵盤和顯示器的部件。此外，存儲(chǔ)設(shè)備208可以在計(jì)算機(jī)200的本地和/或遠(yuǎn)程(例如被實(shí)現(xiàn)在存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)內(nèi))。
[0029]如本領(lǐng)域中已知的，計(jì)算機(jī)200適于運(yùn)行用于提供本文描述的功能的計(jì)算機(jī)程序模塊。如本文使用的，術(shù)語“模塊”是指用于提供指定功能的計(jì)算機(jī)程序邏輯。因此，模塊可以以硬件、固件和/或軟件來實(shí)現(xiàn)。在一個(gè)實(shí)施例中，程序模塊被存儲(chǔ)在存儲(chǔ)設(shè)備208上、被加載到存儲(chǔ)器206中并且由處理器202執(zhí)行。
[0030]視頻精彩部分模型訓(xùn)練
[0031]圖3是根據(jù)一個(gè)實(shí)施例的視頻精彩部分訓(xùn)練模塊136的框圖。圖3中示出的訓(xùn)練模塊136具有特征訓(xùn)練模塊310和模型訓(xùn)練模塊320。訓(xùn)練模塊136的其他實(shí)施例可以具有不同的和/或額外的模塊。
[0032]特征訓(xùn)練模塊310將存儲(chǔ)在視頻數(shù)據(jù)庫132中的體育視頻分類成不同類別并且生成與體育視頻的每個(gè)類別相關(guān)聯(lián)的特征向量。在一個(gè)實(shí)施例中，特征訓(xùn)練模塊310利用諸如卷積神經(jīng)網(wǎng)絡(luò)(CNN)的深度學(xué)習(xí)能力訓(xùn)練特征模型以將體育視頻分類。基于CNN的特征模型具有靈活分層結(jié)構(gòu)以控制訓(xùn)練的深度和寬度并且能夠預(yù)測圖像的屬性，例如具有可接受準(zhǔn)確度的統(tǒng)計(jì)數(shù)據(jù)的平穩(wěn)性和像素依賴的局部性。
[0033]在一個(gè)實(shí)施例中，特征訓(xùn)練模塊310使用從大型數(shù)據(jù)集中選擇的體育視頻的高分辨率圖像訓(xùn)練CNN特征模型，大型數(shù)據(jù)集例如數(shù)以萬計(jì)的種類(category)的大規(guī)模的帶標(biāo)記的高分辨率圖像，例如數(shù)以萬計(jì)的種類的幾百萬高分辨率圖像。大型數(shù)據(jù)集的高分辨率圖像從互聯(lián)網(wǎng)收集并且使用眾多資源工具被標(biāo)記以人類標(biāo)簽。特征訓(xùn)練模塊310的其他實(shí)施例可以使用來自其他資源的數(shù)據(jù)集訓(xùn)練CNN特征模型。
[0034]在一個(gè)實(shí)施例中，CNN特征模型具有分層配置，其包括許多學(xué)習(xí)層，多個(gè)卷積層，最大匯總層，局部歸一化層和完全連接層。卷積層利用k個(gè)可學(xué)習(xí)核(kernal)的集合對圖像進(jìn)行卷積并生成k個(gè)特征映射(feature map)。最大匯總層在目標(biāo)像素周圍的相鄰圖像像素上執(zhí)行非線性降采樣(down-sampling)以使特征映射對在相鄰像素之間的小的平移魯棒。局部歸一化層將在圖像的局部鄰域周圍的特征映射歸一化。局部歸一化增強(qiáng)特征映射對亮度和對比度的差異的魯棒性。完全連接層根據(jù)從卷積層、最大匯總層和局部歸一化層生成的特征映射來計(jì)算非線性變換。
[0035]CNN特征模型的每層學(xué)習(xí)圖像的視覺特征，其中視覺特征表示在各粒度水平的圖像。例如，由第一卷積層學(xué)習(xí)的特征表示圖形的最一般特征，其可以由多個(gè)圖像共享；由最后一層學(xué)習(xí)的特征描述特定于(specific to)圖像的視覺特性。本領(lǐng)域普通技術(shù)人員已知的快速圖像特征提取的任何方案可以由特征訓(xùn)練模塊310使用。在一個(gè)實(shí)施例中，特征訓(xùn)練模塊310在實(shí)現(xiàn)用于視覺特征提取的深度學(xué)習(xí)框架的計(jì)算機(jī)服務(wù)器上訓(xùn)練CNN特征模型。
[0036]基于所述訓(xùn)練，特征訓(xùn)練模塊310將存儲(chǔ)在視頻數(shù)據(jù)庫132中的體育視頻分類成不同類別。例如，存儲(chǔ)在視頻數(shù)據(jù)庫132中的體育視頻由特征訓(xùn)練模塊310分類成各類別，例如自行車、美國足球、英式足球、桌面網(wǎng)球/乒乓球、網(wǎng)球和籃球。在一個(gè)實(shí)施例中，特征訓(xùn)練模塊310計(jì)算在體育視頻的表示與另一體育視頻的表示之間的距離，例如歐式(Euclidean)距離。響應(yīng)于在兩個(gè)體育視頻的表示之間的歐式距離小于閾值，特征訓(xùn)練模塊310確定兩個(gè)體育視頻屬于同一類別。例如，特征訓(xùn)練模塊310基于體育視頻的視頻幀的外觀來生成體育視頻的表示。體育視頻的視頻幀的外觀通過對體育視頻的所有視頻幀的視覺特征的平均匯總，例如與體育視頻的視頻幀相關(guān)聯(lián)的特征向量的均值來測得。
[0037]基于所述訓(xùn)練，特征訓(xùn)練模塊310生成與每個(gè)類別的體育視頻相關(guān)聯(lián)的基于幀的特征向量。由特征訓(xùn)練模塊310生成的基于幀的特征向量的示例包括通過將Gabor濾波器、尺度不變特征變換(SIFT)或方向梯度直方圖(HoG)描述子應(yīng)用到體育視頻提取的特征。每個(gè)類別的體育視頻與描述該類別的特性的多個(gè)特征向量相關(guān)聯(lián)，該類別的特性例如運(yùn)動(dòng)活動(dòng)模式、剪切密度模式和與該類別的體育視頻相關(guān)聯(lián)的關(guān)鍵視覺對象的跟蹤。以高爾夫比賽為例，相關(guān)聯(lián)的特征向量描述球員彎腰擊打高爾夫球的檢測和高爾夫球的運(yùn)動(dòng)軌跡。特征訓(xùn)練模塊310將與每個(gè)類別的體育視頻相關(guān)聯(lián)的經(jīng)訓(xùn)練的CNN特征模型和所提取的特征存儲(chǔ)在模型數(shù)據(jù)庫134中。
[0038]模型訓(xùn)練模塊320基于由特征訓(xùn)練模塊310的特征模型提取的基于幀的特征來訓(xùn)練視頻精彩部分檢測模型。注意，與一種類別的體育視頻相關(guān)聯(lián)的基于幀的特征向量表述該類別的體育視頻的種類水平(category level)圖像相似度，其主要對應(yīng)于該類別的體育視頻的語義相似度。然而，為了以可接受的檢測準(zhǔn)確度和效率檢測體育視頻中的視頻精彩部分，期望細(xì)粒度的相似度測量，因?yàn)橥活悇e的體育視頻內(nèi)的相當(dāng)大的視覺變化性仍然存在。
[0039]在一個(gè)實(shí)施例中，模型訓(xùn)練模塊320從由特征模型分類的體育視頻中選擇體育視頻的子集作為用于訓(xùn)練視頻精彩部分建成模型的訓(xùn)練數(shù)據(jù)。所選擇的體育視頻被用作基準(zhǔn)真值以學(xué)習(xí)一個(gè)或多個(gè)測量結(jié)果以用于由視頻精彩部分建成模型檢測體育視頻中的視頻精彩部分。例如，模型訓(xùn)練模塊320基于與所選擇的體育視頻相關(guān)聯(lián)的圖像標(biāo)注數(shù)據(jù)來選擇體育視頻的子集并且基于對所選擇的體育視頻的分析來學(xué)習(xí)所選擇的體育視頻的視頻幀的細(xì)粒度視覺相似度。所選擇的體育視頻例如由人類評估者或由自動(dòng)化過程進(jìn)一步評估以確定每個(gè)所選擇的體育視頻是否包括視頻精彩部分。
[0040]基于在所選擇的體育視頻上的訓(xùn)練，模型訓(xùn)練模塊320生成與從體育視頻中選擇的每對視頻幀相關(guān)聯(lián)的成對的幀特征向量。例如，一對視頻幀都與自行車運(yùn)動(dòng)相關(guān)，因此，視頻幀在語義上是相似的。該對中的一幀具有描述參與山地自行車的運(yùn)動(dòng)員的突然跳躍的視覺特征，并且另一幀具有描述沿著高速公路的平滑騎行的視覺特征。描述突然跳躍的視覺特征指示其相關(guān)聯(lián)的視頻幀具有視覺精彩部分;該對的對應(yīng)視頻幀沒有視覺精彩部分。模型訓(xùn)練模塊320將經(jīng)訓(xùn)練的視頻精彩部分建成模型和成對的幀特征存儲(chǔ)在模型數(shù)據(jù)庫134 中。
[0041]響應(yīng)于來自移動(dòng)計(jì)算設(shè)備的請求，訓(xùn)練模塊136將經(jīng)訓(xùn)練的特征模型、與所分類的體育視頻相關(guān)聯(lián)的特征向量、經(jīng)訓(xùn)練的視頻精彩部分建成模型和成對的幀特征向量提供到客戶端設(shè)備110的精彩部分檢測模塊112以用于實(shí)時(shí)檢測由客戶端設(shè)備110接收到的體育視頻中的視頻精彩部分。
[0042]實(shí)時(shí)視頻精彩部分檢測
[0043]圖4是根據(jù)一個(gè)實(shí)施例的用于實(shí)時(shí)檢測體育視頻中的視頻精彩部分的客戶端設(shè)備的精彩部分檢測模塊112的框圖。圖4中示出的精彩部分檢測模塊112具有接口模塊410、特征提取模塊420、精彩部分檢測模塊430、呈現(xiàn)模塊440、更新模塊450和幀緩沖器402。精彩部分檢測模塊112的其他實(shí)施例可以包括額外的和/或其他實(shí)體，例如將接口模塊410和呈現(xiàn)模塊440的功能進(jìn)行組合的通用接口模塊。同樣，由圖4的各個(gè)實(shí)體執(zhí)行的功能可以在不同實(shí)施例中不同。
[0044]在一個(gè)實(shí)施例中，當(dāng)在客戶端設(shè)備上執(zhí)行視頻精彩部分檢測應(yīng)用后由客戶端設(shè)備的計(jì)算機(jī)處理器激活精彩部分檢測模塊112。在激活后，接口模塊410從視頻精彩部分模型訓(xùn)練服務(wù)130請求特征模型、基于幀的特征向量、檢測模型和成對的(pair-wise)幀特征。響應(yīng)于接收到所請求的模型和幀特征，接口模塊410將接收到的模型和幀特征上傳到客戶端設(shè)備，例如將接收到的模型和幀特征存儲(chǔ)在幀緩沖器402中。
[0045]接口模塊410還接收由客戶端設(shè)備接收到的輸入視頻，例如由用戶的移動(dòng)電話記錄的或從視頻流傳輸服務(wù)流傳輸?shù)纳降刈詣?dòng)車活動(dòng)，并將接收到的輸入視頻存儲(chǔ)在幀緩沖器402中。圖7A示出由用戶的移動(dòng)電話捕獲的山地自行車視頻的視頻幀的示例。接口模塊410將接收到的輸入視頻的片段(例如輸入視頻中的5秒)存儲(chǔ)在幀緩沖器402中。接口模塊420與特征提取模塊420通信以處理存儲(chǔ)在幀緩沖器402中的片段的視頻幀。為了支持在接收到的輸入視頻中的連續(xù)的實(shí)時(shí)視頻精彩部分檢測，接口模塊410繼續(xù)將輸入視頻的接下來的片段緩沖。在一個(gè)實(shí)施例中，接口模塊420將輸入視頻的一部分(例如輸入視頻中的I秒)(其被包含在輸入視頻的兩個(gè)時(shí)間上連續(xù)的片段中)緩沖，以提供對在時(shí)間上連續(xù)的片段之間的隨機(jī)視頻流傳輸錯(cuò)誤和同步的彈性。
[0046]特征提取模塊420從輸入視頻的各幀提取視覺特征。在一個(gè)實(shí)施例中，特征提取模塊420使用由訓(xùn)練模塊136訓(xùn)練的特征模型以提取輸入視頻的視覺特征。針對輸入視頻的每個(gè)所緩沖的視頻幀，特征提取模塊420基于與輸入視頻相關(guān)聯(lián)的元數(shù)據(jù)(例如分辨率和幀率)來配置經(jīng)訓(xùn)練的特征模型。所配置的特征模型具有深度卷積神經(jīng)網(wǎng)絡(luò)的一個(gè)或多個(gè)卷積層以及最大匯總層和局部歸一化層。經(jīng)訓(xùn)練的特征模型在深度卷積神經(jīng)網(wǎng)絡(luò)的每個(gè)卷積層處生成基于幀的特征映射。來自卷積層的各特征例如通過內(nèi)襯嵌入(liner embedding)來歸一化和組合以生成針對體育視頻的幀的特征向量。與體育視頻的視頻幀相關(guān)聯(lián)的特征向量指示視頻幀的種類水平語義特性，例如指示輸入視頻具有特定于特定類別的體育視頻(例如自行車)的視覺特征。特征提取模型420將基于幀的特征向量存儲(chǔ)在幀緩沖器402中并將特征向量提供到精彩部分檢測模塊430以確定由特征向量相關(guān)聯(lián)的幀是否具有視頻精彩部分。
[0047]體育視頻的視頻精彩部分是體育視頻的一部分并且表示在體育視頻中捕獲的語義上重要的事件，例如短視頻剪輯捕獲在英式足球比賽視頻剪輯中的進(jìn)球或進(jìn)球次數(shù)。為了檢測輸入視頻的視頻幀中的視頻精彩部分，精彩部分檢測模塊430將由訓(xùn)練模塊136訓(xùn)練的精彩部分檢測模型應(yīng)用到與視頻幀相關(guān)聯(lián)的特征向量。在一個(gè)實(shí)施例中，精彩部分檢測模塊430將特征向量與成對的幀特征向量進(jìn)行比較以確定在與視頻幀相關(guān)聯(lián)的特征向量與表示視頻精彩部分的成對的幀特征向量的特征向量之間的相似度。例如，精彩部分檢測模塊430計(jì)算在與視頻幀相關(guān)聯(lián)的特征向量與表示視頻精彩部分的特征向量之間的歐式距離?；谒霰容^，精彩部分檢測模塊430計(jì)算針對視頻幀的精彩部分分?jǐn)?shù)。針對視頻幀的精彩部分分?jǐn)?shù)表示在卷積神經(jīng)網(wǎng)絡(luò)的完全連接層的最后一層處的神經(jīng)元的響應(yīng)，其被用于由訓(xùn)練模塊136訓(xùn)練特征模型和精彩部分檢測模型。
[0048]精彩部分檢測模塊430對輸入視頻的每個(gè)視頻幀重復(fù)相似的檢測過程并生成針對輸入視頻的每個(gè)視頻幀的精彩部分分?jǐn)?shù)。視頻幀的較大的精彩部分分?jǐn)?shù)指示視頻幀比具有較小精彩部分分?jǐn)?shù)的另一視頻幀具有視頻精彩部分的更高可能性。精彩部分檢測模塊430的其他實(shí)施例可以并入其他視頻精彩部分檢測方案，例如基于音頻的視頻精彩部分檢測，例如在美國專利申請N0.14/629,852中描述的示例。例如，精彩部分檢測模塊430可以通過將根據(jù)使用經(jīng)訓(xùn)練的特征模型和檢測模型的精彩部分檢測生成的精彩部分分?jǐn)?shù)和根據(jù)基于音頻的精彩部分檢測生成的精彩部分分?jǐn)?shù)求平均來計(jì)算針對輸入視頻的視頻幀的精彩部分分?jǐn)?shù)。
[0049]呈現(xiàn)模塊440接收針對輸入視頻的每個(gè)視頻幀的精彩部分分?jǐn)?shù)并在圖形用戶接口(interface)中將輸入視頻的精彩部分分?jǐn)?shù)呈現(xiàn)給客戶端設(shè)備的用戶。圖7A示出由移動(dòng)電話捕獲的山地自行車體育視頻的視頻幀。圖7B是呈現(xiàn)與圖7A中示出的山地自行車體育視頻的視頻幀相關(guān)聯(lián)的視頻精彩部分分?jǐn)?shù)的示例性圖形用戶接口。圖7C是根據(jù)一個(gè)實(shí)施例的示出由移動(dòng)電話接收到的山地自行車體育視頻的視頻幀750、其相關(guān)聯(lián)的視頻精彩部分分?jǐn)?shù)760和用于使用戶與所呈現(xiàn)的視頻精彩部分分?jǐn)?shù)交互的交互工具770的示例性用戶接口740。
[0050]在圖7B中示出的示例中，圖形用戶接口的水平軸示出輸入視頻的視頻幀的幀標(biāo)識720;垂直軸示出輸入視頻的視頻幀的對應(yīng)精彩部分分?jǐn)?shù)710。圖7B中示出的示例進(jìn)一步示出針對輸入視頻的6個(gè)所識別(S卩，第30個(gè)、第60個(gè)、第90個(gè)、第120個(gè)、第150個(gè)、第180個(gè)幀)的視頻幀的精彩部分分?jǐn)?shù)的圖形，其中第60個(gè)幀具有最高精彩部分分?jǐn)?shù)730，并且在第30個(gè)幀與第60個(gè)幀之間的視頻片段很可能表示輸入視頻的視頻精彩部分。在第30個(gè)幀與第60個(gè)幀之間的視頻片段作為由精彩部分檢測模塊430預(yù)測的視頻精彩部分被呈現(xiàn)給客戶端設(shè)備的用戶。
[0051]客戶端設(shè)備的用戶可以與在圖形用戶接口中呈現(xiàn)的輸入視頻的精彩部分分?jǐn)?shù)交互，并且更新模塊450檢測與輸入視頻的所呈現(xiàn)的精彩部分分?jǐn)?shù)的用戶交互。例如，客戶端設(shè)備的用戶可以基于用戶正在實(shí)時(shí)地在客戶端設(shè)備上觀看的內(nèi)容來將指向由精彩部分檢測模塊430預(yù)測的視頻精彩部分的指針拖曳到接口上的不同位置。由更新模塊450檢測基于輸入視頻的用戶實(shí)時(shí)觀看對視頻精彩部分的位置的調(diào)節(jié)。更新模塊450從幀緩沖器402中檢索與經(jīng)調(diào)節(jié)的視頻精彩部分相關(guān)聯(lián)的幀特征向量并將檢索到的幀特征向量提供到視頻精彩部分模型訓(xùn)練服務(wù)130。訓(xùn)練服務(wù)130的精彩部分模型更新模塊138基于與從更新模塊450中檢索到的與經(jīng)調(diào)節(jié)的視頻精彩部分相關(guān)聯(lián)的幀特征向量來動(dòng)態(tài)地更新由訓(xùn)練模塊136訓(xùn)練的檢測模型。
[0052]圖5是根據(jù)一個(gè)實(shí)施例的使用圖3中示出的訓(xùn)練模塊136和圖4中示出的精彩部分檢測模塊112檢測由移動(dòng)電話接收到的體育視頻中的視頻精彩部分的示例。在圖5中示出的示例中，視頻精彩部分檢測包括兩個(gè)階段:由訓(xùn)練模塊136在云計(jì)算環(huán)境510中的訓(xùn)練和由精彩部分檢測模塊112對由移動(dòng)電話接收到的體育視頻的實(shí)時(shí)精彩部分檢測530。訓(xùn)練階段510具有兩個(gè)子階段:基于大規(guī)模的視頻訓(xùn)練數(shù)據(jù)502的特征模型訓(xùn)練和基于大規(guī)模的視頻訓(xùn)練數(shù)據(jù)的子集504的精彩部分檢測模型訓(xùn)練。示例中的特征模型是CNN特征模型，其具有靈活分層結(jié)構(gòu)和深度學(xué)習(xí)能力。例如，訓(xùn)練模塊136在實(shí)現(xiàn)深度學(xué)習(xí)框架的計(jì)算機(jī)服務(wù)器上訓(xùn)練CNN特征模型。當(dāng)在移動(dòng)電話上執(zhí)行視頻精彩部分檢測程序后，經(jīng)訓(xùn)練的特征模型和基于幀的特征向量506被提供給用戶的移動(dòng)電話，例如被上傳到移動(dòng)電話520。
[0053]基于大規(guī)模的視頻訓(xùn)練數(shù)據(jù)的子集504的精彩部分檢測模型訓(xùn)練使用來自特征模型訓(xùn)練的基于幀的特征向量并生成針對具有語義上相似的視覺特征的每對視頻幀的成對的幀特征向量。針對一對視頻幀的成對的幀特征向量包括表示第一視頻幀中的視頻精彩部分的特征向量和表示第二視頻幀中的非視頻精彩部分的特征向量。當(dāng)在移動(dòng)電話上執(zhí)行視頻精彩部分檢測程序后，經(jīng)訓(xùn)練的精彩部分檢測模型和成對的幀特征向量508被提供到用戶的移動(dòng)電話，例如被上傳到移動(dòng)電話520。
[0054]在實(shí)時(shí)視頻精彩部分檢測階段中，移動(dòng)電話的精彩部分檢測模塊112的接口捕獲體育視頻或從視頻流傳輸服務(wù)接收體育視頻。精彩部分檢測模塊112將視頻片段的視頻幀緩沖并使用經(jīng)訓(xùn)練的特征模型和特征向量來提取針對體育視頻的每個(gè)所緩沖的視頻幀的基于幀的特征向量。體育視頻的每個(gè)視頻幀的所提取的特征向量進(jìn)一步由從訓(xùn)練模塊136接收到的精彩部分檢測模型分析。基于與體育視頻的視頻幀相關(guān)聯(lián)的特征向量的分析，例如視頻幀的特征向量與來自訓(xùn)練模塊136的成對的幀特征向量的比較，精彩部分檢測模塊112計(jì)算針對視頻幀的精彩部分分?jǐn)?shù)并將該精彩部分分?jǐn)?shù)提供到接口以用于呈現(xiàn)給用戶。
[0055]接口模塊在例如圖7B中示出的接口的圖形用戶接口中呈現(xiàn)針對體育視頻的所有視頻幀的精彩部分分?jǐn)?shù)。移動(dòng)設(shè)備的用戶可以與精彩部分分?jǐn)?shù)的呈現(xiàn)交互，例如基于他對體育視頻的實(shí)時(shí)觀看對視頻精彩部分的位置的微小調(diào)節(jié)。精彩部分檢測模塊112將實(shí)時(shí)精彩部分檢測數(shù)據(jù)(未示出在圖5中)提供到訓(xùn)練模塊136，訓(xùn)練模塊136基于實(shí)時(shí)精彩部分檢測數(shù)據(jù)來動(dòng)態(tài)地更新特征模型和精彩部分檢測模型。
[0056]為了針對移動(dòng)計(jì)算設(shè)備高效地檢測體育視頻中的視頻精彩部分，經(jīng)訓(xùn)練的特征模型、精彩部分檢測模型和其相關(guān)聯(lián)的特征向量需要在由模型和特征向量消耗的移動(dòng)計(jì)算設(shè)備的存儲(chǔ)器空間方面得到控制。以圖5中示出的實(shí)施例為例，與由訓(xùn)練模塊136訓(xùn)練的特征模型相關(guān)聯(lián)的基于幀的特征向量524與由特征模型522、檢測模型526和成對的特征528使用的存儲(chǔ)器(例如，5MB)相比較使用最大存儲(chǔ)器(例如，45?200MB)。由特征模型522和檢測模型526使用的存儲(chǔ)器非常小，其可以在視頻精彩部分檢測性能的評估中忽略不計(jì)。
[0057]注意，由基于幀的特征向量524使用的存儲(chǔ)器的大小可以影響實(shí)時(shí)的視頻精彩部分檢測模塊112的視頻精彩部分檢測性能，例如精彩部分檢測的處理延遲和準(zhǔn)確性。例如以217MB的大小的基于幀的特征向量524得到55.2%的精彩部分檢測準(zhǔn)確性和2.13秒處理延遲；以153MB的大小的基于幀的特征向量524得到51.3%的精彩部分檢測準(zhǔn)確性和1.87秒處理延遲;并且以45MB的大小的基于幀的特征向量524得到49.8%的精彩部分檢測準(zhǔn)確性和1.36秒處理延遲。在一個(gè)實(shí)施例中，訓(xùn)練模塊136將基于幀的特征向量524的大小保持為45MB以平衡在檢測準(zhǔn)確性與處理延遲之間的權(quán)衡。
[0058]圖6是圖示了根據(jù)一個(gè)實(shí)施例的用于針對移動(dòng)計(jì)算設(shè)備實(shí)時(shí)檢測體育視頻中的視頻精彩部分的過程的示例性流程圖。首先，移動(dòng)計(jì)算設(shè)備的精彩部分檢測模塊112接收610例如由移動(dòng)計(jì)算設(shè)備捕獲的用于視頻精彩部分檢測的體育視頻。精彩部分檢測模塊112將體育視頻的片段的視頻幀緩沖620在幀緩沖中。針對每個(gè)所緩沖的視頻幀，精彩部分檢測模塊112使用經(jīng)訓(xùn)練的特征模型提取630基于幀的特征并且生成描述視頻幀的視覺特性的一個(gè)或多個(gè)特征向量。精彩部分檢測模塊112使用經(jīng)訓(xùn)練的檢測模型基于所提取的特征向量來檢測640視頻精彩部分。基于所述檢測，精彩部分檢測模塊112生成針對視頻幀的視頻精彩部分分?jǐn)?shù)，其中視頻精彩部分分?jǐn)?shù)表示對視頻幀是否具有視頻精彩部分的預(yù)測。較高的視頻精彩部分分?jǐn)?shù)指示視頻幀比具有較低視頻精彩部分分?jǐn)?shù)的視頻幀具有視頻精彩部分的更高可能性。精彩部分檢測模塊112針對體育視頻的每個(gè)所緩沖的視頻幀重復(fù)視頻精彩部分檢測。
[0059]精彩部分檢測模塊112將體育視頻的視頻幀的視頻精彩部分分?jǐn)?shù)呈現(xiàn)給移動(dòng)計(jì)算設(shè)備的用戶。在一個(gè)實(shí)施例中，精彩部分檢測模塊112以用戶友好的方式(例如圖形用戶接口)呈現(xiàn)660視頻幀的視頻精彩部分分?jǐn)?shù)，使得移動(dòng)計(jì)算設(shè)備的用戶可以與視頻精彩部分分?jǐn)?shù)交互，例如調(diào)節(jié)由精彩部分檢測模塊112預(yù)測的視頻精彩部分的位置。
[0060]精彩部分檢測模塊112檢測670與視頻精彩部分分?jǐn)?shù)的呈現(xiàn)的用戶交互。響應(yīng)于檢測到與呈現(xiàn)的用戶動(dòng)作，精彩部分檢測模塊112將實(shí)時(shí)精彩部分檢測數(shù)據(jù)和用戶與所預(yù)測的視頻精彩部分的交互提供680到視頻精彩部分訓(xùn)練服務(wù)130以更新檢測模型；否則，精彩部分檢測模塊112將實(shí)時(shí)精彩部分檢測數(shù)據(jù)(例如，體育視頻的視頻幀的基于幀的特征向量)提供690到視頻精彩部分訓(xùn)練服務(wù)130以更新特征模型。
[0061 ] 鐘述
[0062]為了說明的目的，已經(jīng)呈現(xiàn)了本發(fā)明的實(shí)施例的前述描述，其不旨在于是窮盡的或者將本發(fā)明限制于所公開的精確形式。相關(guān)領(lǐng)域的技術(shù)人員能夠理解，鑒于以上公開許多修改和變化是可能的。
[0063]該描述的一些部分根據(jù)對信息操作的算法和符號表示來描述本發(fā)明的實(shí)施例。這些算法描述和表示由數(shù)據(jù)處理領(lǐng)域的技術(shù)人員普遍用來向該領(lǐng)域其他技術(shù)人員有效地傳達(dá)其工作的實(shí)質(zhì)。當(dāng)這些操作被功能性地、計(jì)算性地或者邏輯性地描述時(shí)，被理解為由計(jì)算機(jī)程序或者等效的電路、微代碼等實(shí)現(xiàn)。此外，也已經(jīng)證明在不失一般性的情況下有時(shí)將這些操作的布置稱為模塊是方便的。描述的操作及其相關(guān)聯(lián)的模塊可以被體現(xiàn)在軟件、固件、硬件或它們的組合中。
[0064]在此描述的任何步驟、操作或過程可以利用一個(gè)或多個(gè)硬件或軟件模塊單獨(dú)或聯(lián)合其他設(shè)備來被執(zhí)行或被實(shí)現(xiàn)。在一個(gè)實(shí)施例中，軟件模塊利用包括含有計(jì)算機(jī)程序代碼的計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)程序產(chǎn)品而被實(shí)現(xiàn)，該計(jì)算機(jī)程序代碼可以由計(jì)算機(jī)處理器執(zhí)行，以用于執(zhí)行描述的任意或全部的步驟、操作或過程。
[0065]本發(fā)明的實(shí)施例還可以與用于執(zhí)行在此的操作的設(shè)備有關(guān)。該設(shè)備可以為了要求的目的而具體地構(gòu)造，和/或其可以包括由存儲(chǔ)在計(jì)算機(jī)中的計(jì)算機(jī)程序選擇性地激活或重新配置的通用計(jì)算設(shè)備。這樣的計(jì)算機(jī)程序可以被存儲(chǔ)在非瞬態(tài)有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、或者適合于存儲(chǔ)電子指令的任意類型的介質(zhì)中，其可以被耦合至計(jì)算機(jī)系統(tǒng)總線。此夕卜，在本說明書中提及的任何計(jì)算系統(tǒng)可以包括單個(gè)處理器或者可以是采用用于增加的計(jì)算能力的多處理器設(shè)計(jì)的架構(gòu)。
[0066]本發(fā)明的實(shí)施例還可以涉及由在此描述的計(jì)算過程生產(chǎn)的產(chǎn)品。這樣的產(chǎn)品可以包括從計(jì)算過程產(chǎn)生的信息，其中該信息被存儲(chǔ)在非瞬態(tài)有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上并且可以包括本文描述的計(jì)算機(jī)程序產(chǎn)品的任何實(shí)施例或者其他數(shù)據(jù)組合。
[0067]最后，在本說明書中使用的語言已經(jīng)主要為了可讀性和教導(dǎo)的目的而選擇，并且其可能未被選擇為描繪或限制所公開的主題。因此，其意圖為本發(fā)明的范圍不由該詳細(xì)的描述來限定，而由針對基于在此的應(yīng)用的任何權(quán)利要求來限定。因此，本發(fā)明的實(shí)施例的公開內(nèi)容旨在于是說明性的而非對本發(fā)明的范圍的限制，本發(fā)明的范圍在所附的權(quán)利要求中被闡述。
【主權(quán)項(xiàng)】
1.一種用于在移動(dòng)計(jì)算設(shè)備處檢測體育視頻中的精彩部分的計(jì)算機(jī)實(shí)現(xiàn)的方法，包括: 在所述移動(dòng)計(jì)算設(shè)備處接收具有多個(gè)視頻幀的體育視頻； 將所述體育視頻的片段緩沖，所述片段包括所述體育視頻的多個(gè)視頻幀； 針對所述體育視頻的每個(gè)所緩沖的視頻幀: 提取所述視頻幀的多個(gè)視覺特征； 基于所述視頻幀的所提取的視覺特征來檢測所述視頻幀中的精彩部分；以及 基于所述檢測來生成針對所述視頻幀的視頻精彩部分分?jǐn)?shù)。2.根據(jù)權(quán)利要求1所述的方法，其中提取所述視頻幀的多個(gè)視覺特征包括: 將經(jīng)訓(xùn)練的特征模型應(yīng)用到所述視頻幀；以及 基于所述經(jīng)訓(xùn)練的特征模型到所述視頻幀的所述應(yīng)用來生成多個(gè)特征向量，所生成的特征向量表示所述體育視頻的所述視頻幀的種類水平視覺特性。3.根據(jù)權(quán)利要求2所述的方法，其中所述特征模型在大規(guī)模的視頻上利用卷積神經(jīng)網(wǎng)絡(luò)來訓(xùn)練，并且其中所述經(jīng)訓(xùn)練的特征模型被配置為將所述大規(guī)模的視頻分類成多個(gè)類另IJ，并且所述體育視頻的每個(gè)類別與描述所述類別的種類水平視覺特性的多個(gè)特征向量相關(guān)聯(lián)。4.根據(jù)權(quán)利要求1所述的方法，其中檢測所述視頻幀中的精彩部分包括: 將經(jīng)訓(xùn)練的檢測模型應(yīng)用到所述視頻幀的所提取的視覺特征；以及 將所述視頻幀的所提取的視覺特征和與所述經(jīng)訓(xùn)練的檢測模型相關(guān)聯(lián)的成對的幀特征向量進(jìn)行比較。5.根據(jù)權(quán)利要求4所述的方法，其中所述成對的幀特征向量包括描述具有精彩部分的第一視頻幀的視覺特性的特征向量和描述沒有精彩部分的第二視頻幀的視覺特性的特征向量，其中所述第一視頻幀和所述第二視頻幀在語義上與所緩沖的視頻幀相似。6.根據(jù)權(quán)利要求4所述的方法，其中將所述視頻幀的所提取的視覺特征與所述成對的幀特征向量進(jìn)行比較包括: 生成在所述體育視頻的所述視頻幀的所提取的視覺特征與具有精彩部分的所述第一視頻幀的所述特征向量之間的距離；以及 基于所生成的距離來生成針對所述體育視頻的所述視頻幀的所述精彩部分分?jǐn)?shù)。7.根據(jù)權(quán)利要求1所述的方法，其中所述視頻幀的所述精彩部分分?jǐn)?shù)表示對所述視頻幀具有精彩部分的預(yù)測。8.根據(jù)權(quán)利要求1所述的方法，還包括: 在圖形用戶接口中呈現(xiàn)所述體育視頻的所述多個(gè)視頻幀的所述精彩部分分?jǐn)?shù)；以及 監(jiān)測與所述體育視頻的所述多個(gè)視頻幀的所呈現(xiàn)的精彩部分分?jǐn)?shù)的用戶交互。9.根據(jù)權(quán)利要求8所述的方法，還包括: 響應(yīng)于檢測到與所述體育視頻的視頻幀的精彩部分分?jǐn)?shù)的用戶交互，將所述體育視頻的精彩部分檢測數(shù)據(jù)和用戶交互信息提供到計(jì)算機(jī)服務(wù)器以更新經(jīng)訓(xùn)練的檢測模型。10.根據(jù)權(quán)利要求1所述的方法，還包括: 將所述體育視頻的精彩部分檢測數(shù)據(jù)提供到計(jì)算機(jī)服務(wù)器以更新經(jīng)訓(xùn)練的特征模型。11.一種非瞬態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有用于在移動(dòng)計(jì)算設(shè)備處檢測體育視頻中的精彩部分的可執(zhí)行計(jì)算機(jī)程序指令，所述指令在由計(jì)算機(jī)處理器執(zhí)行時(shí)使得所述計(jì)算機(jī)處理器: 在所述移動(dòng)計(jì)算設(shè)備處接收具有多個(gè)視頻幀的體育視頻； 將所述體育視頻的片段緩沖，所述片段包括所述體育視頻的多個(gè)視頻幀； 針對所述體育視頻的每個(gè)所緩沖的視頻幀: 提取所述視頻幀的多個(gè)視覺特征； 基于所述視頻幀的所提取的視覺特征來檢測所述視頻幀中的精彩部分；以及 基于所述檢測來生成針對所述視頻幀的視頻精彩部分分?jǐn)?shù)。12.根據(jù)權(quán)利要求11所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中用于提取所述視頻幀的多個(gè)視覺特征的指令包括在由所述計(jì)算機(jī)處理器執(zhí)行時(shí)使得所述計(jì)算機(jī)處理器進(jìn)行如下操作的指令: 將經(jīng)訓(xùn)練的特征模型應(yīng)用到所述視頻幀；以及 基于所述經(jīng)訓(xùn)練的特征模型到所述視頻幀的所述應(yīng)用來生成多個(gè)特征向量，所生成的特征向量表示所述體育視頻的所述視頻幀的種類水平視覺特性。13.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中所述特征模型在大規(guī)模的視頻上利用卷積神經(jīng)網(wǎng)絡(luò)來訓(xùn)練，并且其中所述經(jīng)訓(xùn)練的特征模型被配置為將所述大規(guī)模的視頻分類成多個(gè)類別，并且所述體育視頻的每個(gè)類別與描述所述類別的所述種類水平視覺特性的多個(gè)特征向量相關(guān)聯(lián)。14.根據(jù)權(quán)利要求11所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中用于檢測所述視頻幀中的精彩部分的指令包括在由所述計(jì)算機(jī)處理器執(zhí)行時(shí)使得所述計(jì)算機(jī)處理器進(jìn)行如下操作的指令: 將經(jīng)訓(xùn)練的檢測模型應(yīng)用到所述視頻幀的所提取的視覺特征；以及 將所述視頻幀的所提取的視覺特征和與所述經(jīng)訓(xùn)練的檢測模型相關(guān)聯(lián)的成對的幀特征向量進(jìn)行比較。15.根據(jù)權(quán)利要求14所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中所述成對的幀特征向量包括描述具有精彩部分的第一視頻幀的視覺特性的特征向量和描述沒有精彩部分的第二視頻幀的視覺特性的特征向量，其中所述第一視頻幀和所述第二視頻幀在語義上與所緩沖的視頻幀相似。16.根據(jù)權(quán)利要求14所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中用于將所述視頻幀的所提取的視覺特征與所述成對的幀特征向量進(jìn)行比較的指令包括在由所述計(jì)算機(jī)處理器執(zhí)行時(shí)使得所述計(jì)算機(jī)處理器進(jìn)行如下操作的指令: 生成在所述體育視頻的所述視頻幀的所提取的視覺特征與具有精彩部分的所述第一視頻幀的所述特征向量之間的距離；以及 基于所生成的距離來生成針對所述體育視頻的所述視頻幀的所述精彩部分分?jǐn)?shù)。17.根據(jù)權(quán)利要求11所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中所述視頻幀的所述精彩部分分?jǐn)?shù)表示對所述視頻幀具有精彩部分的預(yù)測。18.根據(jù)權(quán)利要求11所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，進(jìn)一步包括在由計(jì)算機(jī)處理器執(zhí)行時(shí)使得所述計(jì)算機(jī)處理器進(jìn)行如下操作的計(jì)算機(jī)程序指令: 在圖形用戶接口中呈現(xiàn)所述體育視頻的所述多個(gè)視頻幀的所述精彩部分分?jǐn)?shù)；以及 監(jiān)測與所述體育視頻的所述多個(gè)視頻幀的所呈現(xiàn)的精彩部分分?jǐn)?shù)的用戶交互。19.根據(jù)權(quán)利要求18所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，進(jìn)一步包括在由計(jì)算機(jī)處理器執(zhí)行時(shí)使得所述計(jì)算機(jī)處理器進(jìn)行如下操作的計(jì)算機(jī)程序指令: 響應(yīng)于檢測到與所述體育視頻的視頻幀的精彩部分分?jǐn)?shù)的用戶交互，將所述體育視頻的精彩部分檢測數(shù)據(jù)和用戶交互信息提供到計(jì)算機(jī)服務(wù)器以更新經(jīng)訓(xùn)練的檢測模型。20.根據(jù)權(quán)利要求11所述的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，進(jìn)一步包括在由計(jì)算機(jī)處理器執(zhí)行時(shí)使得所述計(jì)算機(jī)處理器進(jìn)行如下操作的計(jì)算機(jī)程序指令: 將所述體育視頻的精彩部分檢測數(shù)據(jù)提供到計(jì)算機(jī)服務(wù)器以更新經(jīng)訓(xùn)練的特征模型。
【文檔編號】H04N21/41GK106028134SQ201610201374
【公開日】2016年10月12日
【申請日】2016年3月31日
【發(fā)明人】韓錚, 戴曉偉, 黃賢俊, 楊帆
【申請人】澤普實(shí)驗(yàn)室公司