用于智能視頻刪減的方法和設(shè)備的制造方法
【專利摘要】根據(jù)至少一個(gè)示例實(shí)施例，刪減視頻數(shù)據(jù)的方法和相應(yīng)的裝置包括基于與所述視頻數(shù)據(jù)的內(nèi)容相關(guān)聯(lián)的短期的和長(zhǎng)期的變化，檢測(cè)視頻數(shù)據(jù)的視頻幀內(nèi)的運(yùn)動(dòng)區(qū)域。然后，基于所檢測(cè)到的運(yùn)動(dòng)區(qū)域、相應(yīng)的過(guò)濾后的運(yùn)動(dòng)區(qū)域和與所述視頻數(shù)據(jù)相關(guān)聯(lián)的變化模式，識(shí)別與所述視頻數(shù)據(jù)的內(nèi)容相關(guān)聯(lián)的運(yùn)動(dòng)事件?；谒R(shí)別的運(yùn)動(dòng)事件，確定用于儲(chǔ)存所述視頻數(shù)據(jù)的視頻幀的儲(chǔ)存模式。視頻幀根據(jù)所確定的儲(chǔ)存模式而儲(chǔ)存。
【專利說(shuō)明】
用于智能視頻刪減的方法和設(shè)備
【背景技術(shù)】
[0001]未壓縮的視頻數(shù)據(jù)是一系列的視頻幀或圖像。如此，儲(chǔ)存視頻數(shù)據(jù)通常與大的存儲(chǔ)器消耗相關(guān)聯(lián)。許多視頻應(yīng)用涉及儲(chǔ)存大量的視頻數(shù)據(jù)。例如，視頻監(jiān)視系統(tǒng)通常被設(shè)計(jì)成不斷地捕捉視頻數(shù)據(jù)并且儲(chǔ)存捕捉的視頻以用于需要的任何時(shí)候的潛在的未來(lái)訪問(wèn)。

【發(fā)明內(nèi)容】

[0002]在涉及大量的視頻內(nèi)容的儲(chǔ)存的視頻應(yīng)用中，可用的存儲(chǔ)器容量通常對(duì)可以儲(chǔ)存多少視頻數(shù)據(jù)施加限制。在這樣的情況中，識(shí)別相對(duì)較高重要性的視頻內(nèi)容并且優(yōu)先其儲(chǔ)存是有用的。
[0003]根據(jù)至少一個(gè)示例實(shí)施例，用于刪減視頻數(shù)據(jù)的方法和相應(yīng)的設(shè)備包括基于與所述視頻數(shù)據(jù)的內(nèi)容相關(guān)聯(lián)的短期的和長(zhǎng)期的變化檢測(cè)視頻數(shù)據(jù)的視頻幀中的運(yùn)動(dòng)區(qū)域。基于所檢測(cè)到的運(yùn)動(dòng)區(qū)域、相應(yīng)的過(guò)濾后的運(yùn)動(dòng)區(qū)域和與所述視頻數(shù)據(jù)相關(guān)聯(lián)的變化模式，識(shí)別與所述視頻數(shù)據(jù)的內(nèi)容相關(guān)聯(lián)的運(yùn)動(dòng)事件。然后，基于所識(shí)別的運(yùn)動(dòng)事件，確定所述視頻數(shù)據(jù)的視頻幀的儲(chǔ)存時(shí)段。視頻幀根據(jù)所確定的儲(chǔ)存時(shí)段而儲(chǔ)存。
[0004]過(guò)濾后的運(yùn)動(dòng)區(qū)域也被識(shí)別。例如，過(guò)濾后的區(qū)域與重復(fù)的運(yùn)動(dòng)相關(guān)聯(lián)。如此，在已經(jīng)識(shí)別的運(yùn)動(dòng)區(qū)域內(nèi)的并且與重復(fù)的運(yùn)動(dòng)相關(guān)聯(lián)的子區(qū)域被識(shí)別。與重復(fù)的運(yùn)動(dòng)相關(guān)聯(lián)的子區(qū)域然后被從已經(jīng)識(shí)別的運(yùn)動(dòng)區(qū)域排除，得到過(guò)濾后的運(yùn)動(dòng)區(qū)域。如果捕捉視頻數(shù)據(jù)的相機(jī)不是固定的，例如，旋轉(zhuǎn)的視頻相機(jī)，則由于相機(jī)運(yùn)動(dòng)導(dǎo)致的視頻數(shù)據(jù)的內(nèi)容中的變化可以被估計(jì)和過(guò)濾。
[0005]根據(jù)至少一個(gè)示例實(shí)施例，用于運(yùn)動(dòng)區(qū)域和過(guò)濾后的運(yùn)動(dòng)區(qū)域的運(yùn)動(dòng)檢測(cè)基于單獨(dú)的檢測(cè)時(shí)間段而進(jìn)行。在檢測(cè)時(shí)間段中，對(duì)于每個(gè)相應(yīng)的視頻幀產(chǎn)生一個(gè)或多個(gè)運(yùn)動(dòng)描述符。例如，對(duì)于每個(gè)視頻幀，基于相應(yīng)的識(shí)別的運(yùn)動(dòng)區(qū)域產(chǎn)生第一描述符，并且基于相應(yīng)的過(guò)濾后的運(yùn)動(dòng)區(qū)域產(chǎn)生第二描述符。運(yùn)動(dòng)描述符包括在每個(gè)視頻幀內(nèi)的運(yùn)動(dòng)區(qū)域的分布的指示、在每個(gè)視頻幀內(nèi)的運(yùn)動(dòng)區(qū)域的相對(duì)量的指示和/或在單個(gè)視頻塊內(nèi)的運(yùn)動(dòng)像素的最大數(shù)量。
[0006]—旦產(chǎn)生運(yùn)動(dòng)描述符，分析在單獨(dú)的分析時(shí)間段內(nèi)的視頻幀，并且確定每個(gè)分析時(shí)間段內(nèi)的變化模式的一個(gè)或多個(gè)指示符。確定的指示符被儲(chǔ)存以用在識(shí)別所述運(yùn)動(dòng)事件中?；谝粋€(gè)或多個(gè)閾值識(shí)別運(yùn)動(dòng)事件。例如，閾值可以包括運(yùn)動(dòng)的最小時(shí)段、最小運(yùn)動(dòng)等級(jí)和兩個(gè)連續(xù)的運(yùn)動(dòng)事件之間的最大間隙時(shí)段。根據(jù)一個(gè)示例方面，對(duì)于每個(gè)分析時(shí)間端適應(yīng)性地確定閾值。例如，在分析時(shí)間段內(nèi)基于默認(rèn)的閾值初始地識(shí)別運(yùn)動(dòng)事件。如果識(shí)別的運(yùn)動(dòng)事件的數(shù)量被認(rèn)為太高，則默認(rèn)的閾值被提高并且重復(fù)識(shí)別運(yùn)動(dòng)事件的過(guò)程。但是，如果識(shí)別的運(yùn)動(dòng)事件被認(rèn)為太少，則默認(rèn)的閾值被降低，并且重復(fù)識(shí)別運(yùn)動(dòng)事件的過(guò)程。
[0007]根據(jù)至少一個(gè)示例實(shí)施例，運(yùn)動(dòng)事件被分級(jí)。基于運(yùn)動(dòng)事件的分級(jí)，確定視頻幀的儲(chǔ)存時(shí)段。例如，與運(yùn)動(dòng)事件相關(guān)聯(lián)的等級(jí)越高，一個(gè)或多個(gè)相應(yīng)的視頻幀被儲(chǔ)存地越久。
【附圖說(shuō)明】
[0008]以上將從如在附圖中所示出的本發(fā)明的示例實(shí)施例的下列更具體的描述中變得顯而易見，附圖中貫穿不同的視圖，相似的附圖標(biāo)記指代相同的部件。附圖未必是按比例的，而是將重點(diǎn)放在示出本發(fā)明的實(shí)施例。
[0009]圖1是根據(jù)至少一個(gè)示例實(shí)施例示出視頻監(jiān)視系統(tǒng)的圖；
[0010]圖2是根據(jù)至少一個(gè)示例實(shí)施例示出刪減視頻數(shù)據(jù)的方法的流程圖；
[0011]圖3是根據(jù)至少一個(gè)示例實(shí)施例示出識(shí)別運(yùn)動(dòng)塊以用于過(guò)濾的方法的流程圖；
[0012]圖4是根據(jù)至少一個(gè)示例實(shí)施例示出排序運(yùn)動(dòng)事件的方法的流程圖；以及
[0013]圖5是根據(jù)至少一個(gè)示例實(shí)施例示出儲(chǔ)存視頻數(shù)據(jù)和相應(yīng)的存儲(chǔ)器消耗的模式的表。
【具體實(shí)施方式】
[0014]本發(fā)明的示例實(shí)施例的描述如下。
[0015]圖1是根據(jù)至少一個(gè)示例實(shí)施例示出視頻監(jiān)視系統(tǒng)100的圖。視頻監(jiān)視系統(tǒng)100包括一個(gè)或多個(gè)相機(jī)、例如1la-1OlcU處理裝置110和存儲(chǔ)裝置120。處理裝置110可以是計(jì)算機(jī)裝置，例如個(gè)人計(jì)算機(jī)、膝上型計(jì)算機(jī)、服務(wù)器、平板機(jī)、手持裝置等等，或者可以是具有處理器和其中儲(chǔ)存了計(jì)算機(jī)代碼指令的存儲(chǔ)器的計(jì)算裝置。例如，處理裝置110可以是嵌入在(一個(gè)或多個(gè))相機(jī)、例如1la-1Old中的處理器，或可以是被配置為儲(chǔ)存和分析由(一個(gè)或多個(gè))相機(jī)、例如1la-1Old捕捉的視頻數(shù)據(jù)的視頻服務(wù)器。儲(chǔ)存裝置120是被配置為儲(chǔ)存由例如1la-1Old的(一個(gè)或多個(gè))相機(jī)記錄的視頻數(shù)據(jù)的存儲(chǔ)器裝置，例如外部存儲(chǔ)器裝置、服務(wù)器等等。根據(jù)一個(gè)示例實(shí)現(xiàn)方式，處理裝置110和儲(chǔ)存裝置120是同一電子設(shè)備的組件?？商娲兀幚硌b置110和儲(chǔ)存裝置120實(shí)現(xiàn)在相機(jī)1la-1Old的一個(gè)或每一個(gè)中。甚至根據(jù)另一個(gè)實(shí)現(xiàn)方式，例如1la-1Old的(一個(gè)或多個(gè))相機(jī)、處理裝置110和儲(chǔ)存裝置120通過(guò)諸如局域網(wǎng)、廣域網(wǎng)、其組合等的通信網(wǎng)絡(luò)相互耦接。例如1la-1Old的(一個(gè)或多個(gè))相機(jī)可以通過(guò)有線或者無(wú)線鏈路105耦接到處理裝置110或儲(chǔ)存裝置120。
[0016]在視頻監(jiān)視系統(tǒng)100中，例如1la-1Old的(一個(gè)或多個(gè))相機(jī)通常不斷地捕捉視頻數(shù)據(jù)。記錄的視頻數(shù)據(jù)通常儲(chǔ)存一段時(shí)間以用于在需要時(shí)的潛在的訪問(wèn)。視頻數(shù)據(jù)儲(chǔ)存的越久，提供對(duì)之前記錄的事件的訪問(wèn)的可能性越大。如此，設(shè)計(jì)例如100的視頻監(jiān)視系統(tǒng)的難題在于給定硬件儲(chǔ)存容量，存盡可能多的感興趣的視頻內(nèi)容。具體而言，一天的記錄的視頻數(shù)據(jù)產(chǎn)生將要儲(chǔ)存的數(shù)百萬(wàn)的視頻幀，或者相當(dāng)于十億字節(jié)的視頻數(shù)據(jù)。給定監(jiān)視系統(tǒng)100的或者等同的儲(chǔ)存裝置120的存儲(chǔ)器儲(chǔ)存容量，目標(biāo)是儲(chǔ)存盡可能多的感興趣的視頻內(nèi)容，并且因此保存盡可能多的感興趣的事件的記錄。
[0017]儲(chǔ)存所有記錄的視頻幀導(dǎo)致儲(chǔ)存感興趣的視頻內(nèi)容也儲(chǔ)存不具有感興趣的事件的視頻內(nèi)容。如此，儲(chǔ)存不具有感興趣的事件的視頻內(nèi)容消耗否則將可用于儲(chǔ)存指示感興趣的事件的視頻內(nèi)容的存儲(chǔ)空間。視頻監(jiān)視系統(tǒng)100的用戶通常想要保存感興趣事件的記錄盡可能最長(zhǎng)的時(shí)間段。此外，簡(jiǎn)單地儲(chǔ)存幀內(nèi)(I幀)以及丟棄幀間預(yù)測(cè)(P幀)不提供用于訪問(wèn)之前的感興趣事件的足夠的存儲(chǔ)信息。
[0018]根據(jù)至少一個(gè)示例實(shí)施例，分析捕捉的視頻數(shù)據(jù)，并且基于運(yùn)動(dòng)或時(shí)間變化的從捕捉的視頻數(shù)據(jù)得到的信息識(shí)別運(yùn)動(dòng)事件。這里，運(yùn)動(dòng)事件被定義為其中在相鄰視頻幀之上幾乎不斷地檢測(cè)到顯著運(yùn)動(dòng)的視頻幀的序列或時(shí)間段。運(yùn)動(dòng)事件可包括一個(gè)或多個(gè)其中沒(méi)有檢測(cè)到顯著運(yùn)動(dòng)的相對(duì)較短的時(shí)間段。得到的運(yùn)動(dòng)信息包括原始的和過(guò)濾后的運(yùn)動(dòng)信息。原始的運(yùn)動(dòng)信息包括基于從捕捉的視頻數(shù)據(jù)檢測(cè)的短期和長(zhǎng)期的變化而確定的運(yùn)動(dòng)信息。通過(guò)從該原始的運(yùn)動(dòng)中排除至少重復(fù)的運(yùn)動(dòng)而產(chǎn)生過(guò)濾后的運(yùn)動(dòng)信息。
[0019]識(shí)別的運(yùn)動(dòng)事件被用于確定儲(chǔ)存模式，相應(yīng)的幀的視頻根據(jù)該存儲(chǔ)模式被儲(chǔ)存。例如，運(yùn)動(dòng)事件越相關(guān)，相應(yīng)的視頻幀儲(chǔ)存在儲(chǔ)存裝置120中越久。根據(jù)一個(gè)示例實(shí)現(xiàn)方式，識(shí)別的視頻事件按照相關(guān)性或重要性通過(guò)基于相應(yīng)的運(yùn)動(dòng)信息的無(wú)監(jiān)督的學(xué)習(xí)而被分類或分級(jí)(rank)。用于每一個(gè)運(yùn)動(dòng)事件的分類或分級(jí)的信息然后被用于確定用于與相同的運(yùn)動(dòng)事件相關(guān)聯(lián)的視頻幀的儲(chǔ)存模式。給定儲(chǔ)存容量，所確定的儲(chǔ)存模式使得相關(guān)的或信息豐富的視頻數(shù)據(jù)的儲(chǔ)存能夠比典型的視頻刪減(prune)技術(shù)長(zhǎng)久得多。
[0020]圖2是示出根據(jù)至少一個(gè)示例實(shí)施例的刪減視頻數(shù)據(jù)的方法200的流程圖。通過(guò)例如1la-1Old的(一個(gè)或多個(gè))相機(jī)捕捉的視頻數(shù)據(jù)可以直接儲(chǔ)存在儲(chǔ)存裝置120中或在被儲(chǔ)存在儲(chǔ)存裝置120之前被轉(zhuǎn)發(fā)到處理裝置110用于處理。在塊210處，基于與當(dāng)前視頻幀相關(guān)聯(lián)的短期和長(zhǎng)期的時(shí)間變化而檢測(cè)原始的運(yùn)動(dòng)區(qū)域、例如像素。長(zhǎng)期的變化可以使用諸如高斯混合模型(GMM)、移動(dòng)平均等的背景減除技術(shù)來(lái)檢測(cè)。短期的變化可以例如通過(guò)從當(dāng)前視頻幀中減去前一視頻幀而檢測(cè)。
[0021]然后采用閾值來(lái)將當(dāng)前視頻幀的像素標(biāo)記為“運(yùn)動(dòng)”或“靜止”像素。在閾值以上的區(qū)別于背景的當(dāng)前幀的像素被標(biāo)記為“運(yùn)動(dòng)”像素。此外，在閾值以上的區(qū)別于前一幀中的相應(yīng)的像素的當(dāng)前幀的像素被標(biāo)記為“運(yùn)動(dòng)”像素。對(duì)于長(zhǎng)期和短期的變化可以使用相同的閾值或不同的閾值?；诋?dāng)前視頻幀的內(nèi)容，(一個(gè)或多個(gè))閾值可以是動(dòng)態(tài)的。為了抑制照明改變的影響，標(biāo)準(zhǔn)化的交叉關(guān)聯(lián)可以被用作在檢測(cè)運(yùn)動(dòng)像素中的度量。本領(lǐng)域技術(shù)人員應(yīng)理解的是，使用長(zhǎng)期變化和短期變化兩者得到運(yùn)動(dòng)像素的較少噪聲的估計(jì)。
[0022]一旦檢測(cè)到運(yùn)動(dòng)像素，當(dāng)前視頻幀被分成NXN個(gè)視頻塊，其中N是整數(shù)。然后使用第二閾值將每一個(gè)塊標(biāo)記為“運(yùn)動(dòng)”或“靜止”塊。如果“運(yùn)動(dòng)”像素的計(jì)數(shù)大于第二閾值，則該塊被標(biāo)記為“運(yùn)動(dòng)”塊;否則其被標(biāo)記為“靜止”塊。形態(tài)學(xué)的腐蝕或開運(yùn)算(opening)可應(yīng)用于在標(biāo)記視頻塊之前去除噪聲“運(yùn)動(dòng)”像素。例如，當(dāng)形態(tài)學(xué)的腐蝕或開運(yùn)算被應(yīng)用于當(dāng)前視頻幀時(shí)，相對(duì)小或細(xì)的“運(yùn)動(dòng)”區(qū)域通常被消除。
[0023]在塊220處，檢測(cè)的“運(yùn)動(dòng)”塊被過(guò)濾并且相應(yīng)的過(guò)濾后的“運(yùn)動(dòng)”塊被確定。在過(guò)濾運(yùn)動(dòng)塊時(shí)，考慮在至少一個(gè)之前的視頻幀中的相應(yīng)的視頻塊的標(biāo)記。換句話說(shuō)，基于在當(dāng)前視頻幀和之前的視頻幀中的運(yùn)動(dòng)信息而確定過(guò)濾后的運(yùn)動(dòng)。
[0024]圖3是示出根據(jù)至少一個(gè)示例實(shí)施例的識(shí)別運(yùn)動(dòng)塊以用于過(guò)濾的方法的流程圖。運(yùn)動(dòng)改變計(jì)數(shù)器(MCC)被定義用于每一個(gè)視頻塊以指示視頻塊標(biāo)記在相應(yīng)的檢測(cè)時(shí)間段中從“靜止”翻轉(zhuǎn)為“運(yùn)動(dòng)”的次數(shù)。如此，MCC被用于檢測(cè)重復(fù)的或波動(dòng)的運(yùn)動(dòng)。例如，每一個(gè)檢測(cè)時(shí)間段具有預(yù)定持續(xù)時(shí)間，例如，五或十分鐘，并且MCC在每一個(gè)檢測(cè)時(shí)段的開始時(shí)被復(fù)位。提出運(yùn)動(dòng)改變歷史圖像(MCHI)以保持每一個(gè)視頻塊的運(yùn)動(dòng)歷史。對(duì)于在當(dāng)前視頻幀中的視頻塊，在塊310處檢查視頻塊的標(biāo)記。如果視頻塊被標(biāo)記為“靜止”，則在塊315處遞減相應(yīng)的MCHI ο然而，如果視頻塊被標(biāo)記為“運(yùn)動(dòng)”，則在塊320處檢查在前一視頻幀中的相同的視頻塊的標(biāo)記。如果在前一幀中的該頻塊的標(biāo)記是“靜止”，則在塊325處遞增對(duì)應(yīng)于該視頻塊的MCC。如果當(dāng)前視頻塊被標(biāo)記為“運(yùn)動(dòng)”，則在塊330處對(duì)于相同的視頻塊的MCHI被設(shè)置在最大值。對(duì)于每一個(gè)新的檢測(cè)時(shí)間段MCHI還被復(fù)位。
[0025]在塊340處，將用于視頻塊的MCC與標(biāo)記改變閾值相比較。如果MCC大于標(biāo)記改變閾值，則在塊350處，相應(yīng)的噪聲屏蔽(mask)條目被設(shè)置為I，指示相應(yīng)的檢測(cè)到的運(yùn)動(dòng)為噪聲或者是不相干的運(yùn)動(dòng)。例如，視頻監(jiān)視系統(tǒng)100的用戶通常對(duì)保持搖擺的旗幟或者移動(dòng)的樹葉和樹枝的跟蹤不感興趣。如果對(duì)應(yīng)于視頻塊的MCC小于標(biāo)記改變閾值，則在塊245處相應(yīng)的噪聲屏蔽條目被設(shè)置為O。如果用于視頻塊的噪聲屏蔽條目被設(shè)置為0(塊260)，則在塊265處檢查指示在之前的視頻幀上的該視頻塊的噪聲屏蔽條目的歷史的歷史屏蔽條目。如果該歷史屏蔽條目大于0，則在塊380處該視頻塊的噪聲屏蔽被設(shè)置為I。如果在塊360處發(fā)現(xiàn)噪聲屏蔽條目等于I，則在塊370處相應(yīng)的歷史屏蔽條目被設(shè)置為正值。即使在相應(yīng)的視頻場(chǎng)景中一段時(shí)間沒(méi)有運(yùn)動(dòng)，歷史屏蔽也保持對(duì)過(guò)去的噪聲屏蔽值的跟蹤并且被用于抑制噪聲。對(duì)于在當(dāng)前視頻幀內(nèi)的所有視頻塊重復(fù)關(guān)于圖3描述的過(guò)程。然后采用噪聲屏蔽來(lái)過(guò)濾當(dāng)前視頻幀中的檢測(cè)到的原始運(yùn)動(dòng)。
[0026]在圖2的塊230處，產(chǎn)生用于當(dāng)前視頻幀的至少一個(gè)運(yùn)動(dòng)描述符。運(yùn)動(dòng)描述符包括運(yùn)動(dòng)活動(dòng)性值、運(yùn)動(dòng)分布指示符和在“運(yùn)動(dòng)”視頻塊中的“運(yùn)動(dòng)”像素的最大數(shù)量。運(yùn)動(dòng)活動(dòng)性值指示在相應(yīng)的視頻幀內(nèi)檢測(cè)的運(yùn)動(dòng)塊的百分比。運(yùn)動(dòng)分布指示符表示對(duì)于相應(yīng)的視頻幀的視頻塊的分布。例如，運(yùn)動(dòng)分布指示符可以是位序列，每一位指示相應(yīng)的視頻塊是被標(biāo)記為“運(yùn)動(dòng)”還是“靜止”。例如，整個(gè)視頻幀可以被均勻地分為8 X 8或更精細(xì)的視頻塊。運(yùn)動(dòng)分布指示符的每個(gè)格(bin)對(duì)應(yīng)于視頻幀中的視頻塊。對(duì)于包含大于閾值數(shù)量的多個(gè)運(yùn)動(dòng)像素的視頻塊，相應(yīng)的位被設(shè)置為I。對(duì)于包含少于閾值數(shù)量的多個(gè)運(yùn)動(dòng)像素的視頻塊，相應(yīng)的位被設(shè)置為O ο如此，32位整數(shù)表示32個(gè)視頻塊，這是描述在視頻幀中的運(yùn)動(dòng)分布的有效方式。在“運(yùn)動(dòng)”視頻塊中的“運(yùn)動(dòng)”像素的最大數(shù)量是用于評(píng)估在視頻幀中的運(yùn)動(dòng)量的統(tǒng)計(jì)參數(shù)。本領(lǐng)域技術(shù)人員應(yīng)理解的是，可以使用其它統(tǒng)計(jì)的參數(shù)，例如每一個(gè)“運(yùn)動(dòng)”視頻塊的“運(yùn)動(dòng)”像素的平均數(shù)、在“運(yùn)動(dòng)”視頻塊中的“運(yùn)動(dòng)”像素的最小數(shù)量、其組合等。
[0027]與運(yùn)動(dòng)描述符相關(guān)聯(lián)的參數(shù)被用于將運(yùn)動(dòng)與散射的噪聲相區(qū)分。根據(jù)至少一個(gè)示例實(shí)施例，對(duì)于處理的每一個(gè)視頻幀，產(chǎn)生兩個(gè)運(yùn)動(dòng)描述符。一個(gè)運(yùn)動(dòng)描述符對(duì)應(yīng)于在視頻幀中檢測(cè)到的原始的運(yùn)動(dòng)，而另一個(gè)運(yùn)動(dòng)描述符基于相應(yīng)的過(guò)濾后的運(yùn)動(dòng)而獲得。
[0028]根據(jù)至少一個(gè)示例實(shí)施例，對(duì)于與檢測(cè)時(shí)間段相關(guān)聯(lián)的視頻幀進(jìn)行在塊210-230中描述的過(guò)程。換句話說(shuō)，由例如1I a-101 d的(一個(gè)或多個(gè))相機(jī)記錄的視頻數(shù)據(jù)被作為單獨(dú)的視頻的序列而處理，視頻幀的每一個(gè)序列對(duì)應(yīng)于一個(gè)檢測(cè)時(shí)間段。在與檢測(cè)時(shí)間段相關(guān)聯(lián)的每一個(gè)視頻序列中的視頻幀被一起處理。在塊240處，分析在當(dāng)前分析時(shí)間段中的運(yùn)動(dòng)活動(dòng)性模式，并且計(jì)算且儲(chǔ)存相應(yīng)的度量。具體而言，在當(dāng)前檢測(cè)時(shí)間段內(nèi)估計(jì)在每一個(gè)視頻塊i中的運(yùn)動(dòng)的概率分布Pit。上標(biāo)t是指與被處理的視頻幀相關(guān)聯(lián)的分析時(shí)間段。例如，分析時(shí)間段可以以每個(gè)小時(shí)為基礎(chǔ)定義，其中一天的每個(gè)小時(shí)表示一個(gè)時(shí)間段?？商娲?，分析時(shí)間段可以不同地定義，例如，不是所有的時(shí)間段具有相同的持續(xù)時(shí)間。例如，分析時(shí)間段可以是一個(gè)小時(shí)或兩個(gè)小時(shí)長(zhǎng)。本領(lǐng)域技術(shù)人員應(yīng)理解的是，可以定義用于分析時(shí)間段的其它持續(xù)時(shí)間?？商娲兀梢园凑斩鄠€(gè)連續(xù)的視頻幀而定義分析時(shí)間段。本領(lǐng)域技術(shù)人員應(yīng)理解的是，其它統(tǒng)計(jì)的或非統(tǒng)計(jì)的參數(shù)可以作為在每一個(gè)分析時(shí)間段內(nèi)的運(yùn)動(dòng)模式的分析的部分而計(jì)算。此外，在表征與給定的檢測(cè)時(shí)間段相關(guān)聯(lián)的運(yùn)動(dòng)模式時(shí)，與在之前的一天或多天中的相同的分析時(shí)間段相關(guān)聯(lián)的參數(shù)可以被合并。
[0029]在塊250處，基于與在當(dāng)前分析時(shí)間段中的視頻幀相關(guān)聯(lián)的運(yùn)動(dòng)描述符以及作為與當(dāng)前分析時(shí)間段相關(guān)聯(lián)的運(yùn)動(dòng)模式的分析的部分而獲得的參數(shù)來(lái)檢測(cè)在當(dāng)前分析時(shí)間段內(nèi)的運(yùn)動(dòng)事件。運(yùn)動(dòng)事件在這里被定義為視頻幀的序列、或在當(dāng)前分析時(shí)間段中的相應(yīng)的時(shí)間間隔，在該間隔內(nèi)在相鄰視頻幀之上幾乎不斷地檢測(cè)到顯著運(yùn)動(dòng)。運(yùn)動(dòng)事件可包括其中沒(méi)有檢測(cè)到顯著運(yùn)動(dòng)的一個(gè)或多個(gè)相對(duì)較短的時(shí)段。根據(jù)至少一個(gè)示例實(shí)施例，基于在相應(yīng)的視頻幀內(nèi)的運(yùn)動(dòng)活動(dòng)性的量、時(shí)間間隔的長(zhǎng)度、或承載幾乎持續(xù)的運(yùn)動(dòng)的連續(xù)視頻幀的數(shù)量和與在承載幾乎持續(xù)的運(yùn)動(dòng)的時(shí)間間隔內(nèi)的“靜止”視頻幀相關(guān)聯(lián)的(一個(gè)或多個(gè))間隙時(shí)段的長(zhǎng)度來(lái)識(shí)別運(yùn)動(dòng)事件。
[0030]具體地，運(yùn)動(dòng)活動(dòng)性閾值被用于在當(dāng)前分析時(shí)間段內(nèi)作為“運(yùn)動(dòng)”幀或“靜止”幀的每一個(gè)視頻幀。如果相應(yīng)的運(yùn)動(dòng)活動(dòng)性水平大于運(yùn)動(dòng)活動(dòng)性閾值，則視頻幀被標(biāo)記為“運(yùn)動(dòng)”幀。例如，運(yùn)動(dòng)活動(dòng)性可以被定義在范圍[O，100]內(nèi)，其中O指示場(chǎng)景中沒(méi)有運(yùn)動(dòng)并且100指示場(chǎng)景中的全運(yùn)動(dòng)。對(duì)于原始的和過(guò)濾后的運(yùn)動(dòng)兩者采用相同的范圍。本領(lǐng)域技術(shù)人員應(yīng)理解的是，可以不同地定義運(yùn)動(dòng)活動(dòng)性。
[0031]根據(jù)一個(gè)示例實(shí)施例，基于檢測(cè)到的原始的運(yùn)動(dòng)來(lái)檢測(cè)第一組運(yùn)動(dòng)事件，并且基于相應(yīng)的過(guò)濾后的運(yùn)動(dòng)來(lái)檢測(cè)第二組運(yùn)動(dòng)事件。一旦當(dāng)前時(shí)間段的視頻幀被標(biāo)記，使用兩個(gè)時(shí)間閾值來(lái)檢測(cè)運(yùn)動(dòng)事件。第一時(shí)間閾值表示用于檢測(cè)運(yùn)動(dòng)事件的幾乎持續(xù)的運(yùn)動(dòng)的最小時(shí)間段。第二時(shí)間閾值表示在任意兩個(gè)連續(xù)的運(yùn)動(dòng)事件之間的最小間隙時(shí)段。具體而言，如果檢測(cè)到的幾乎持續(xù)運(yùn)動(dòng)的時(shí)段大于第一時(shí)間閾值，則基于幾乎持續(xù)運(yùn)動(dòng)的檢測(cè)的時(shí)段而識(shí)別相應(yīng)的運(yùn)動(dòng)事件，否則檢測(cè)的時(shí)段被忽略。此外，如果兩個(gè)相鄰的檢測(cè)到的運(yùn)動(dòng)事件之間的間隙小于第二時(shí)間閾值，則這兩個(gè)檢測(cè)到的運(yùn)動(dòng)事件被合并為一個(gè)較長(zhǎng)的運(yùn)動(dòng)事件。
[0032]根據(jù)至少一個(gè)示例實(shí)施例，運(yùn)動(dòng)活動(dòng)性閾值、第一時(shí)間閾值和第二時(shí)間閾值的至少一個(gè)至少部分地基于用于相應(yīng)的分析時(shí)間段的運(yùn)動(dòng)模式分析而被定義。例如，可以基于在相應(yīng)的檢測(cè)時(shí)間段期間的運(yùn)動(dòng)活動(dòng)性水平和運(yùn)動(dòng)事件的頻率來(lái)計(jì)算(一個(gè)或多個(gè))閾值。具體地，可以例如基于檢測(cè)到的運(yùn)動(dòng)事件的數(shù)量迭代地確定閾值參數(shù)。例如，可以在第一迭代中使用默認(rèn)的閾值參數(shù)值，并且然后在接下來(lái)的迭代中基于在每一迭代時(shí)檢測(cè)到的運(yùn)動(dòng)事件的數(shù)量而更新該默認(rèn)的閾值參數(shù)值。本領(lǐng)域技術(shù)人員應(yīng)理解的是，與在至少前一天中的相同的分析時(shí)間段相關(guān)聯(lián)的參數(shù)也可用于設(shè)置(一個(gè)或多個(gè))閾值。例如基于相應(yīng)的運(yùn)動(dòng)模式分析使用自適應(yīng)閾值允許在一天的不同時(shí)間時(shí)的更可靠的運(yùn)動(dòng)事件檢測(cè)。例如，對(duì)所有的時(shí)間段使用固定的閾值使得難以在白天和夜晚檢測(cè)運(yùn)動(dòng)，因?yàn)樵诎滋旌鸵雇淼倪\(yùn)動(dòng)水平完全不同。
[0033]根據(jù)一個(gè)示例實(shí)現(xiàn)方式，迭代地確定自適應(yīng)閾值。給出運(yùn)動(dòng)活動(dòng)性的默認(rèn)閾值，初始運(yùn)動(dòng)事件被識(shí)別。如果檢測(cè)到的運(yùn)動(dòng)事件太少，則降低自適應(yīng)閾值并且再次檢測(cè)運(yùn)動(dòng)事件。這樣的過(guò)程被重復(fù)直至檢測(cè)到的運(yùn)動(dòng)事件的數(shù)量大于相應(yīng)的最小值。相反，如果檢測(cè)到太多的事件或者檢測(cè)到太長(zhǎng)時(shí)間段的事件，則增加運(yùn)動(dòng)自適應(yīng)閾值并且再次檢測(cè)運(yùn)動(dòng)事件。該過(guò)程被重復(fù)直至檢測(cè)到的運(yùn)動(dòng)事件的數(shù)量下降到預(yù)定的范圍。
[0034]一旦檢測(cè)到運(yùn)動(dòng)事件，在當(dāng)前檢測(cè)時(shí)間段中基于原始的和過(guò)濾后的運(yùn)動(dòng)而檢測(cè)到的運(yùn)動(dòng)事件在塊260處被分級(jí)。基于檢測(cè)到的原始和過(guò)濾后的運(yùn)動(dòng)進(jìn)行分級(jí)。運(yùn)動(dòng)事件的分級(jí)可以被看作基于相應(yīng)的重要性或相關(guān)性而分類運(yùn)動(dòng)事件的方式。例如，與原始的和過(guò)濾后的運(yùn)動(dòng)兩者相關(guān)聯(lián)的運(yùn)動(dòng)事件被認(rèn)為比僅與原始的運(yùn)動(dòng)相關(guān)聯(lián)的運(yùn)動(dòng)事件更加相關(guān)。
[0035]圖4是示出根據(jù)至少一個(gè)示例實(shí)施例的分級(jí)運(yùn)動(dòng)事件的方法的流程圖。首先，在塊405和415處，對(duì)于基于原始的運(yùn)動(dòng)檢測(cè)到的運(yùn)動(dòng)事件和基于過(guò)濾后的運(yùn)動(dòng)檢測(cè)到的運(yùn)動(dòng)事件定義一個(gè)或多個(gè)層級(jí)。層級(jí)包含幾個(gè)層。例如，層O是頂層，其具有最粗略的時(shí)間間隔，例如五分鐘的持續(xù)時(shí)間。也就是說(shuō)，分析時(shí)間段被分成例如12個(gè)五分鐘的時(shí)間段。接下來(lái)的層包含越來(lái)越精細(xì)的時(shí)間間隔，例如一分鐘、20秒、5秒和/或甚至I秒的時(shí)間間隔。
[0036]在塊440到455處，計(jì)算在分級(jí)的層級(jí)的最低等級(jí)處的運(yùn)動(dòng)事件的分級(jí)?；谠趯蛹?jí)的最低等級(jí)處計(jì)算的分級(jí)信息，以越來(lái)越粗略的時(shí)間粒度構(gòu)造層級(jí)的較高等級(jí)處的運(yùn)動(dòng)事件的分級(jí)，如在塊470到485處所示。例如在最低的等級(jí)處的時(shí)間間隔是I秒，并且較高的等級(jí)的時(shí)間間隔可以是10秒、I分鐘和/或5分鐘。根據(jù)一個(gè)示例實(shí)施例，在其中沒(méi)有檢測(cè)到原始的運(yùn)動(dòng)的視頻幀的序列被分配最低的等級(jí)。較高的等級(jí)被分配給其中僅檢測(cè)到原始的運(yùn)動(dòng)的運(yùn)動(dòng)事件。更加高的等級(jí)被分配給在其中檢測(cè)到原始的和過(guò)濾后的運(yùn)動(dòng)兩者的運(yùn)動(dòng)事件。
[0037]在給定的層級(jí)中，運(yùn)動(dòng)事件的分級(jí)從包含最精細(xì)的時(shí)間間隔的底層開始、并且以最粗略的或最大的時(shí)間間隔結(jié)束而進(jìn)行。運(yùn)動(dòng)事件的分級(jí)從最精細(xì)的間隔傳播到相應(yīng)的較大間隔。從底層、例如層N-1、并且向上，逐層構(gòu)建該層級(jí)。從層j+Ι到層j，時(shí)間間隔的最大分級(jí)將被分配給相應(yīng)的較粗略的時(shí)間間隔，直至達(dá)到頂層或最粗略的層，例如層O。
[0038I在塊270處，基于例如在塊240處計(jì)算的運(yùn)動(dòng)模式統(tǒng)計(jì)或參數(shù)以及與相同的運(yùn)動(dòng)事件相關(guān)聯(lián)的視頻幀的用戶交互來(lái)調(diào)整計(jì)算的運(yùn)動(dòng)事件的分級(jí)。例如，具有在相應(yīng)的視頻塊處檢測(cè)到的具有相對(duì)較低的運(yùn)動(dòng)概率、例如Pit的運(yùn)動(dòng)的運(yùn)動(dòng)事件的分級(jí)被提高作為在該運(yùn)動(dòng)事件中的(一個(gè)或多個(gè))非預(yù)期的事件的指示。此外，用戶查詢被跟蹤并且存儲(chǔ)在處理裝置110或數(shù)據(jù)庫(kù)120中。例如，用戶查詢的開始和結(jié)束時(shí)間、與作為用戶查詢的對(duì)象的視頻幀相關(guān)聯(lián)的運(yùn)動(dòng)模式、以及用戶訪問(wèn)視頻段的時(shí)間由監(jiān)視系統(tǒng)100儲(chǔ)存。使用與用戶查詢有關(guān)的存儲(chǔ)的信息，與對(duì)視頻幀的用戶查詢和導(dǎo)出或訪問(wèn)相關(guān)聯(lián)的運(yùn)動(dòng)事件的分級(jí)被提高。類似于與用戶查詢相關(guān)聯(lián)的運(yùn)動(dòng)事件的并且在一天中相同的時(shí)間槽處的檢測(cè)到的運(yùn)動(dòng)事件的(一個(gè)或多個(gè))分級(jí)也可以作為分級(jí)調(diào)整的一部分而被提高。
[0039]在塊280處，儲(chǔ)存視頻數(shù)據(jù)的模式基于檢測(cè)到的運(yùn)動(dòng)事件和相應(yīng)的分級(jí)而確定，并且視頻數(shù)據(jù)據(jù)此儲(chǔ)存在數(shù)據(jù)庫(kù)120中。根據(jù)至少一個(gè)示例實(shí)施例，與最低分級(jí)的運(yùn)動(dòng)事件相關(guān)聯(lián)的視頻段被首先刪除。然而，與較高分級(jí)的運(yùn)動(dòng)事件相關(guān)聯(lián)的視頻段基于相應(yīng)的分級(jí)和在數(shù)據(jù)庫(kù)120處可用的空閑存儲(chǔ)空間而被儲(chǔ)存較長(zhǎng)的時(shí)間。
[0040]圖5是示出根據(jù)至少一個(gè)示例實(shí)施例的基于檢測(cè)到的原始事件和(一個(gè)或多個(gè))相應(yīng)的分級(jí)來(lái)儲(chǔ)存視頻數(shù)據(jù)的模式的表。所有視頻段不管相應(yīng)的分級(jí)如何都被儲(chǔ)存達(dá)第一預(yù)定的時(shí)間段，例如三天。一旦經(jīng)過(guò)了第一預(yù)定的時(shí)間段，僅與檢測(cè)到的運(yùn)動(dòng)事件相關(guān)聯(lián)的視頻段、例如具有等于或大于4的等級(jí)的視頻段被儲(chǔ)存達(dá)第二預(yù)定的時(shí)間段，例如4到6天，并且其他的視頻段被刪除。在經(jīng)過(guò)第二預(yù)定的時(shí)間段之后，與具有過(guò)濾后的運(yùn)動(dòng)的運(yùn)動(dòng)事件相關(guān)聯(lián)的視頻段、例如具有大于7的等級(jí)的視頻段被儲(chǔ)存達(dá)第三預(yù)定的時(shí)間段，例如7-10天。此外，與僅具有原始的運(yùn)動(dòng)的運(yùn)動(dòng)事件相關(guān)聯(lián)的、例如具有在4和7之間的等級(jí)的1-幀在第三預(yù)定的時(shí)間段期間被保持儲(chǔ)存。
[0041]在第三預(yù)定的時(shí)段之后，僅與僅具有過(guò)濾后的運(yùn)動(dòng)的運(yùn)動(dòng)事件對(duì)應(yīng)的1-幀被保持達(dá)第四預(yù)定的時(shí)段，例如11-14天。在第五預(yù)定的時(shí)段期間，例如15到18天，僅與僅具有原始的運(yùn)動(dòng)的運(yùn)動(dòng)事件相關(guān)聯(lián)的關(guān)鍵幀被保持儲(chǔ)存在數(shù)據(jù)庫(kù)120中。在第六預(yù)定的時(shí)段期間，例如19到28天，僅與具有過(guò)濾后的運(yùn)動(dòng)的運(yùn)動(dòng)事件相關(guān)聯(lián)的關(guān)鍵幀被保持儲(chǔ)存在數(shù)據(jù)庫(kù)120中。在第六預(yù)定的時(shí)間段之后，與具有過(guò)濾后的運(yùn)動(dòng)的運(yùn)動(dòng)事件對(duì)應(yīng)的關(guān)鍵幀被刪除。關(guān)鍵幀被定義為包含對(duì)于相應(yīng)的運(yùn)動(dòng)事件的時(shí)段的最顯著的運(yùn)動(dòng)的1-幀。圖5中的表的最后一行示出了對(duì)應(yīng)于每一個(gè)預(yù)定的時(shí)間段的存儲(chǔ)器消耗。
[0042]假定對(duì)于單個(gè)相機(jī)的2兆比特每秒的視頻比特率，儲(chǔ)存在一天中捕捉的相應(yīng)的視頻數(shù)據(jù)消耗存儲(chǔ)器的21千兆字節(jié)。如果每單個(gè)相機(jī)分配105千兆字節(jié)的存儲(chǔ)器容量，如果不應(yīng)用刪減，存儲(chǔ)器容量?jī)H允許儲(chǔ)存5天的視頻數(shù)據(jù)。然而，通過(guò)應(yīng)用圖5中描述的儲(chǔ)存模式，一些視頻內(nèi)容被保持儲(chǔ)存多達(dá)28天。
[0043]根據(jù)至少一個(gè)示例實(shí)施例，從例如1la-1Old的(一個(gè)或多個(gè))捕捉相機(jī)接收的視頻數(shù)據(jù)由處理裝置110在運(yùn)行中(on the fly)處理和分析。例如，接收的視頻數(shù)據(jù)被儲(chǔ)存到分別的視頻文件中，每一個(gè)視頻文件對(duì)應(yīng)于檢測(cè)時(shí)間段。對(duì)于原始的視頻數(shù)據(jù)，在視頻文件中的圖像組(GOP)中的視頻的每一個(gè)1-幀和第一P-幀的捕捉時(shí)間和位置被記錄在數(shù)據(jù)庫(kù)中。視頻事件的分級(jí)、識(shí)別的運(yùn)動(dòng)事件的開始時(shí)間和結(jié)束時(shí)間也被儲(chǔ)存。根據(jù)一個(gè)示例實(shí)現(xiàn)方式，視頻數(shù)據(jù)的1-幀和P-幀被分開儲(chǔ)存。如此，所有P-幀可以被一起刪除。此外，保持對(duì)每一個(gè)GOP的位置的跟蹤使得易于進(jìn)行視頻刪減處理。此外，尤其是如果將分層地進(jìn)行視頻剪除，分層的分級(jí)特別有用。
[0044]本領(lǐng)域技術(shù)人員應(yīng)理解的是，本文所述的視頻刪減的過(guò)程是示例實(shí)施例并且不應(yīng)以限制的方式解釋。例如，替代于對(duì)識(shí)別的運(yùn)動(dòng)事件分級(jí)，可以基于相應(yīng)的檢測(cè)到的運(yùn)動(dòng)區(qū)域而分類運(yùn)動(dòng)事件。此外，如果捕捉相機(jī)是移動(dòng)的，則由于相機(jī)運(yùn)動(dòng)引起的變化可以被過(guò)濾。本領(lǐng)域技術(shù)人員還應(yīng)理解的是，本文所述的視頻刪減過(guò)程也可以應(yīng)用在不同于視頻監(jiān)視的視頻應(yīng)用。此外，替代于定義用于儲(chǔ)存視頻幀的時(shí)間段，可以基于檢測(cè)到的運(yùn)動(dòng)事件定義可變的幀速率。這樣的可變的幀速率然后可以被用于視頻數(shù)據(jù)壓縮或視頻數(shù)據(jù)傳輸中?？商鎿Q地，可以基于檢測(cè)到的運(yùn)動(dòng)事件定義可變的視頻分辨率或可變的視頻質(zhì)量。
[0045]應(yīng)理解的是，以上描述的示例實(shí)施例可以以多種不同的方式實(shí)現(xiàn)。在一些示例中，本文所述的各種方法和機(jī)器每個(gè)可以由物理的、虛擬的或混合通用或?qū)Ｓ糜?jì)算機(jī)而實(shí)施，該計(jì)算機(jī)具有中央處理器、存儲(chǔ)器、磁盤或其它大容量?jī)?chǔ)存裝置、(一個(gè)或多個(gè))通信接口、(一個(gè)或多個(gè))輸入/輸出(I/O)裝置和其它外圍設(shè)備。通用或?qū)Ｓ糜?jì)算機(jī)例如通過(guò)將軟件指令加載到數(shù)據(jù)處理器中、然后使得指令執(zhí)行以實(shí)行本文所述的功能而被轉(zhuǎn)換為執(zhí)行以上描述的方法的機(jī)器。
[0046]如本領(lǐng)域已知的，這樣的計(jì)算機(jī)可包含系統(tǒng)總線，其中總線是用于在計(jì)算機(jī)或處理系統(tǒng)的組件之間的數(shù)據(jù)傳送的一組硬件線。一個(gè)或多個(gè)總線本質(zhì)上是連接計(jì)算機(jī)系統(tǒng)的例如處理器、磁盤儲(chǔ)存裝置、存儲(chǔ)器、輸入/輸出端口、網(wǎng)絡(luò)端口等的不同元件的共享導(dǎo)線，該導(dǎo)線使能在元件之間的信息的傳送。一個(gè)或多個(gè)中央處理器被附接到系統(tǒng)總線并且提供計(jì)算機(jī)指令的執(zhí)行。還附接到系統(tǒng)總線的通常是I/O裝置接口，用于將各種輸入和輸出裝置、例如鍵盤、鼠標(biāo)、顯示器、打印機(jī)、揚(yáng)聲器等連接到計(jì)算機(jī)。(一個(gè)或多個(gè))網(wǎng)絡(luò)接口允許計(jì)算機(jī)連接到附接到網(wǎng)絡(luò)的各種其它裝置。存儲(chǔ)器提供用于實(shí)現(xiàn)實(shí)施例的計(jì)算機(jī)軟件指令和數(shù)據(jù)的易失性存儲(chǔ)。磁盤或其它大容量?jī)?chǔ)存裝置提供用于實(shí)現(xiàn)例如本文所述的各種過(guò)程的計(jì)算機(jī)軟件指令和數(shù)據(jù)的非易失性存儲(chǔ)。
[0047]因此，實(shí)施例通?？梢砸杂布?、固件、軟件或其任意組合而實(shí)現(xiàn)。
[0048]在某些實(shí)施例中，本文所述的程序、裝置和處理構(gòu)成提供用于系統(tǒng)的軟件指令的至少一部分的包括計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)可讀介質(zhì)例如諸如一個(gè)或多個(gè)DVD-ROM、CD-ROM、軟盤、磁帶等的可拆卸的存儲(chǔ)介質(zhì)。這樣的計(jì)算機(jī)程序產(chǎn)品可以由任何合適的軟件安裝過(guò)程來(lái)安裝，如本領(lǐng)域眾所周知的。在另一個(gè)實(shí)施例中，軟件指令的至少一部分也可通過(guò)電纜、通信和/或無(wú)線連接而下載。
[0049]實(shí)施例也可以實(shí)現(xiàn)為儲(chǔ)存在非暫時(shí)機(jī)器可讀介質(zhì)上的指令，其可以由一個(gè)或多個(gè)處理器讀取和執(zhí)行。非瞬態(tài)機(jī)器可讀介質(zhì)可包括用于以可由例如計(jì)算裝置的機(jī)器讀取的形式儲(chǔ)存或傳輸信息的任何機(jī)制。例如，非瞬態(tài)機(jī)器可讀介質(zhì)可包括只讀存儲(chǔ)器(ROM);隨機(jī)存取存儲(chǔ)器(RAM);磁盤儲(chǔ)存介質(zhì);光儲(chǔ)存介質(zhì)；閃速存儲(chǔ)器裝置;以及其它。
[0050]另外，固件、軟件、例程或指令在本文可以被描述為進(jìn)行數(shù)據(jù)處理器的某些動(dòng)作和/或功能。然而，應(yīng)理解，本文包含的這樣的描述只是為了方便并且這樣的動(dòng)作事實(shí)上從計(jì)算裝置、處理器、控制器或執(zhí)行固件、軟件、例程、指令等的其它裝置得到。
[0051]還應(yīng)理解的是，流程圖、框圖和網(wǎng)絡(luò)圖可以包括更多或更少的要素，可以不同地布置或者不同地表示。但是將進(jìn)一步理解的是，某些實(shí)現(xiàn)方式可以指導(dǎo)塊和網(wǎng)絡(luò)圖以及示出以特定方式實(shí)現(xiàn)的實(shí)施例的執(zhí)行的塊和網(wǎng)絡(luò)圖的數(shù)量。
[0052]因此，進(jìn)一步的實(shí)施例還可以以物理的、虛擬的、云計(jì)算機(jī)和/或其一些組合的多種計(jì)算機(jī)架構(gòu)而實(shí)現(xiàn)，因此，本文所述的數(shù)據(jù)處理器意圖僅用于說(shuō)明的目的并且不作為對(duì)實(shí)施例的限制。
[0053]盡管本發(fā)明已經(jīng)參考其示例實(shí)施例具體示出并且描述，但是本領(lǐng)域技術(shù)人員將理解的是，可以在不脫離由所附權(quán)利要求包含的本發(fā)明的范圍的情況下，在其中做出形式和細(xì)節(jié)上的各種改變。
【主權(quán)項(xiàng)】
1.一種刪減視頻數(shù)據(jù)的方法，包括: 由計(jì)算機(jī)裝置基于與所述視頻數(shù)據(jù)的內(nèi)容相關(guān)聯(lián)的短期的和長(zhǎng)期的變化，檢測(cè)在所述視頻數(shù)據(jù)的視頻幀內(nèi)的運(yùn)動(dòng)區(qū)域； 基于所檢測(cè)到的運(yùn)動(dòng)區(qū)域、相應(yīng)的過(guò)濾后的運(yùn)動(dòng)區(qū)域和與所述視頻數(shù)據(jù)相關(guān)聯(lián)的變化模式，識(shí)別與所述視頻數(shù)據(jù)的內(nèi)容相關(guān)聯(lián)的運(yùn)動(dòng)事件；以及 基于所識(shí)別的運(yùn)動(dòng)事件，確定用于所述視頻數(shù)據(jù)的視頻幀的儲(chǔ)存時(shí)段。2.如權(quán)利要求1所述的方法，還包括根據(jù)確定的儲(chǔ)存時(shí)段儲(chǔ)存所述視頻幀。3.如權(quán)利要求1所述的方法，還包括識(shí)別所述過(guò)濾后的運(yùn)動(dòng)區(qū)域。4.如權(quán)利要求3所述的方法，其中識(shí)別所述過(guò)濾后的運(yùn)動(dòng)區(qū)域包括: 識(shí)別在所識(shí)別的運(yùn)動(dòng)區(qū)域內(nèi)的與重復(fù)的運(yùn)動(dòng)相關(guān)聯(lián)的子區(qū)域；以及 識(shí)別所述過(guò)濾后的運(yùn)動(dòng)區(qū)域作為排除與重復(fù)的運(yùn)動(dòng)相關(guān)聯(lián)的子區(qū)域的識(shí)別的運(yùn)動(dòng)區(qū)域。5.如權(quán)利要求1所述的方法，還包括產(chǎn)生用于所述視頻數(shù)據(jù)的每一幀的一個(gè)或多個(gè)運(yùn)動(dòng)描述符。6.如權(quán)利要求5所述的方法，其中產(chǎn)生用于所述視頻數(shù)據(jù)的每一幀的一個(gè)或多個(gè)運(yùn)動(dòng)描述符包括: 基于相應(yīng)的識(shí)別的運(yùn)動(dòng)區(qū)域產(chǎn)生用于每個(gè)視頻幀的第一描述符；以及 基于相應(yīng)的過(guò)濾后的運(yùn)動(dòng)區(qū)域產(chǎn)生用于每個(gè)視頻幀的第二描述符。7.如權(quán)利要求5所述的方法，其中每個(gè)運(yùn)動(dòng)描述符包括: 每個(gè)視頻幀內(nèi)的運(yùn)動(dòng)區(qū)域的分布的指示；以及 每個(gè)視頻幀內(nèi)的運(yùn)動(dòng)區(qū)域的相對(duì)量的指示。8.如權(quán)利要求1所述的方法，還包括: 確定與所述視頻數(shù)據(jù)相關(guān)聯(lián)的變化模式的一個(gè)或多個(gè)指示符；以及 儲(chǔ)存所確定的變化模式的一個(gè)或多個(gè)指示符以在識(shí)別所述運(yùn)動(dòng)事件中使用。9.如權(quán)利要求5所述的方法，其中識(shí)別所述運(yùn)動(dòng)事件包括基于產(chǎn)生的一個(gè)或多個(gè)運(yùn)動(dòng)描述符以及一個(gè)或多個(gè)閾值來(lái)識(shí)別所述運(yùn)動(dòng)事件。10.如權(quán)利要求9所述的方法，其中所述一個(gè)或多個(gè)閾值包括以下的至少一個(gè): 運(yùn)動(dòng)的最小時(shí)段； 最小運(yùn)動(dòng)等級(jí)；以及 兩個(gè)連續(xù)的運(yùn)動(dòng)事件之間的最大間隙時(shí)段。11.如權(quán)利要求9所述的方法，其中所述一個(gè)或多個(gè)閾值的至少一個(gè)是自適應(yīng)的閾值。12.如權(quán)利要求11所述的方法，其中迭代地識(shí)別所述至少一個(gè)的自適應(yīng)的閾值和所述運(yùn)動(dòng)事件。13.如權(quán)利要求1所述的方法，還包括對(duì)所識(shí)別的運(yùn)動(dòng)事件分級(jí)。14.如權(quán)利要求13所述的方法，其中基于過(guò)濾后的運(yùn)動(dòng)區(qū)域而識(shí)別的運(yùn)動(dòng)事件比基于未過(guò)濾的運(yùn)動(dòng)區(qū)域而檢測(cè)的運(yùn)動(dòng)事件分級(jí)更高。15.如權(quán)利要求13所述的方法，其中確定視頻幀的所述儲(chǔ)存時(shí)段包括基于運(yùn)動(dòng)事件的分級(jí)來(lái)確定與該運(yùn)動(dòng)事件相關(guān)聯(lián)的視頻幀的儲(chǔ)存時(shí)段。16.如權(quán)利要求15所述的方法，其中與高分級(jí)的運(yùn)動(dòng)事件相關(guān)聯(lián)的視頻幀比與低分級(jí)的運(yùn)動(dòng)事件相關(guān)聯(lián)的視頻幀儲(chǔ)存更長(zhǎng)的時(shí)段。17.一種用于刪減視頻數(shù)據(jù)的設(shè)備，包括: 處理器；以及 存儲(chǔ)器，在其上儲(chǔ)存有計(jì)算機(jī)代碼指令， 所述存儲(chǔ)器和在其上儲(chǔ)存有計(jì)算機(jī)代碼指令的所述處理器被配置為使得該設(shè)備:基于與所述視頻數(shù)據(jù)的內(nèi)容相關(guān)聯(lián)的短期的和長(zhǎng)期的變化來(lái)檢測(cè)在所述視頻數(shù)據(jù)的視頻幀內(nèi)的運(yùn)動(dòng)區(qū)域； 基于所檢測(cè)的運(yùn)動(dòng)區(qū)域、相應(yīng)的過(guò)濾后的運(yùn)動(dòng)區(qū)域和與所述視頻數(shù)據(jù)相關(guān)聯(lián)的變化模式來(lái)識(shí)別與所述視頻數(shù)據(jù)的內(nèi)容相關(guān)聯(lián)的運(yùn)動(dòng)事件； 以及 基于所識(shí)別的運(yùn)動(dòng)事件來(lái)確定用于所述視頻數(shù)據(jù)的視頻幀的儲(chǔ)存時(shí)段。18.如權(quán)利要求17所述的設(shè)備，其中所述處理器和在其上儲(chǔ)存有計(jì)算機(jī)代碼指令的所述存儲(chǔ)器還被配置為使得所述設(shè)備根據(jù)所確定的儲(chǔ)存時(shí)段來(lái)儲(chǔ)存所述視頻幀。19.如權(quán)利要求17所述的設(shè)備，其中所述處理器和在其上儲(chǔ)存有計(jì)算機(jī)代碼指令的所述存儲(chǔ)器還被配置為使得所述設(shè)備識(shí)別所述過(guò)濾后的運(yùn)動(dòng)區(qū)域。20.如權(quán)利要求19所述的設(shè)備，其中在識(shí)別所述過(guò)濾后的運(yùn)動(dòng)區(qū)域中，所述處理器和在其上儲(chǔ)存有計(jì)算機(jī)代碼指令的所述存儲(chǔ)器還被配置為使得所述設(shè)備: 識(shí)別在所識(shí)別的運(yùn)動(dòng)區(qū)域內(nèi)的與重復(fù)的運(yùn)動(dòng)相關(guān)聯(lián)的子區(qū)域；以及識(shí)別所述過(guò)濾后的運(yùn)動(dòng)區(qū)域作為排除與重復(fù)的運(yùn)動(dòng)相關(guān)聯(lián)的子區(qū)域的識(shí)別的運(yùn)動(dòng)區(qū)域。21.如權(quán)利要求17所述的設(shè)備，其中所述處理器和在其上儲(chǔ)存有計(jì)算機(jī)代碼指令的所述存儲(chǔ)器還被配置為使得所述設(shè)備產(chǎn)生用于所述視頻數(shù)據(jù)的每一幀的一個(gè)或多個(gè)運(yùn)動(dòng)描述符。22.如權(quán)利要求21所述的設(shè)備，其中在產(chǎn)生用于所述視頻數(shù)據(jù)的每一幀的一個(gè)或多個(gè)運(yùn)動(dòng)描述符中，所述處理器和在其上儲(chǔ)存有計(jì)算機(jī)代碼指令的所述存儲(chǔ)器還被配置為使得所述設(shè)備: 基于相應(yīng)的識(shí)別的運(yùn)動(dòng)區(qū)域產(chǎn)生用于每個(gè)視頻幀的第一描述符；以及 基于相應(yīng)的過(guò)濾后的運(yùn)動(dòng)區(qū)域產(chǎn)生用于每個(gè)視頻幀的第二描述符。23.如權(quán)利要求21所述的設(shè)備，其中每個(gè)運(yùn)動(dòng)描述符包括: 每個(gè)視頻幀內(nèi)的運(yùn)動(dòng)區(qū)域的分布的指示；以及 每個(gè)視頻幀內(nèi)的運(yùn)動(dòng)區(qū)域的相對(duì)量的指示。24.如權(quán)利要求17所述的設(shè)備，其中所述處理器和在其上儲(chǔ)存有計(jì)算機(jī)代碼指令的所述存儲(chǔ)器還被配置為使得所述設(shè)備: 確定與所述視頻數(shù)據(jù)相關(guān)聯(lián)的變化模式的一個(gè)或多個(gè)指示符；以及 儲(chǔ)存所確定的變化模式的一個(gè)或多個(gè)指示符以在識(shí)別所述運(yùn)動(dòng)事件中使用。25.如權(quán)利要求17所述的設(shè)備，其中在識(shí)別所述運(yùn)動(dòng)事件中，所述處理器和在其上儲(chǔ)存有計(jì)算機(jī)代碼指令的所述存儲(chǔ)器還被配置為使得所述設(shè)備基于一個(gè)或多個(gè)閾值識(shí)別所述運(yùn)動(dòng)事件。26.如權(quán)利要求25所述的設(shè)備，其中所述一個(gè)或多個(gè)閾值包括以下的至少一個(gè): 運(yùn)動(dòng)的最小時(shí)段； 最小運(yùn)動(dòng)等級(jí)；以及 兩個(gè)連續(xù)的運(yùn)動(dòng)事件之間的最大間隙時(shí)段。27.如權(quán)利要求25所述的設(shè)備，其中所述一個(gè)或多個(gè)閾值的至少一個(gè)是自適應(yīng)的閾值。28.如權(quán)利要求27所述的設(shè)備，其中所述處理器和在其上儲(chǔ)存有計(jì)算機(jī)代碼指令的所述存儲(chǔ)器還被配置為使得所述設(shè)備迭代地識(shí)別所述至少一個(gè)的自適應(yīng)的閾值和所述運(yùn)動(dòng)事件。29.如權(quán)利要求27所述的設(shè)備，其中所述處理器和在其上儲(chǔ)存有計(jì)算機(jī)代碼指令的所述存儲(chǔ)器還被配置為使得所述設(shè)備對(duì)所識(shí)別的運(yùn)動(dòng)事件分級(jí)。30.如權(quán)利要求29所述的設(shè)備，其中基于過(guò)濾后的運(yùn)動(dòng)區(qū)域而識(shí)別的運(yùn)動(dòng)事件比基于未過(guò)濾的運(yùn)動(dòng)區(qū)域而檢測(cè)的運(yùn)動(dòng)事件分級(jí)更高。31.如權(quán)利要求28所述的設(shè)備，其中在確定視頻幀的所述儲(chǔ)存時(shí)段中，所述處理器和在其上儲(chǔ)存有計(jì)算機(jī)代碼指令的所述存儲(chǔ)器還被配置為使得所述設(shè)備基于所述運(yùn)動(dòng)事件的分級(jí)確定與運(yùn)動(dòng)事件相關(guān)聯(lián)的視頻幀的儲(chǔ)存時(shí)段。32.如權(quán)利要求31所述的設(shè)備，其中與高分級(jí)的運(yùn)動(dòng)事件相關(guān)聯(lián)的視頻幀比與低分級(jí)的運(yùn)動(dòng)事件相關(guān)聯(lián)的視頻幀儲(chǔ)存更長(zhǎng)的時(shí)段。33.一種非暫時(shí)計(jì)算機(jī)可讀介質(zhì)，在其上儲(chǔ)存有計(jì)算機(jī)軟件，該計(jì)算機(jī)軟件在由處理器執(zhí)行時(shí)被配置為使得設(shè)備: 基于與視頻數(shù)據(jù)的內(nèi)容相關(guān)聯(lián)的短期的和長(zhǎng)期的變化，檢測(cè)在所述視頻數(shù)據(jù)的視頻幀內(nèi)的運(yùn)動(dòng)區(qū)域； 基于所檢測(cè)到的運(yùn)動(dòng)區(qū)域、相應(yīng)的過(guò)濾后的運(yùn)動(dòng)區(qū)域和與所述視頻數(shù)據(jù)相關(guān)聯(lián)的變化模式，識(shí)別與所述視頻數(shù)據(jù)的內(nèi)容相關(guān)聯(lián)的運(yùn)動(dòng)事件；以及 基于所識(shí)別的運(yùn)動(dòng)事件，確定用于所述視頻數(shù)據(jù)的視頻幀的儲(chǔ)存時(shí)段。
【文檔編號(hào)】G06F9/46GK106062715SQ201380082021
【公開日】2016年10月26日
【申請(qǐng)日】2013年12月24日
【發(fā)明人】L.王, F.阿格達(dá)西, G.M.米勒, S.J.米切爾
【申請(qǐng)人】派爾高公司