專利名稱：電子裝置、內(nèi)容分類方法及其程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及能夠?qū)⒍鄠€(gè)視頻內(nèi)容分類的電子裝置、在該電子裝置中使用 的內(nèi)容分類方法及其程序。
背景技術(shù)：
近些年來，具有大存儲(chǔ)容量的存儲(chǔ)介質(zhì)的電子裝置已經(jīng)流行，并且其已 經(jīng)變得能夠在電子裝置中存儲(chǔ)各種視頻內(nèi)容。此外，因特網(wǎng)的普及已經(jīng)使多 個(gè)用戶能夠在網(wǎng)站上發(fā)布圖像和視頻內(nèi)容，使得其它用戶可以為了娛樂下載 和再現(xiàn)它們。
附帶說，這些大量的視頻內(nèi)容的內(nèi)容是多種多樣的。雖然存在能夠進(jìn)行 一定程度的流派(genre)分類的網(wǎng)站或同類裝置，但它們的分類是不充分的。 因此，有時(shí)候用戶在視頻內(nèi)容已經(jīng)下載之后會(huì)認(rèn)識到，從大量的選擇機(jī)會(huì)中 選擇視頻內(nèi)容之后用戶已經(jīng)稱心地下載的視頻內(nèi)容是十分令人厭煩的，這種 情況可能很難說使用戶能夠欣賞有效再現(xiàn)的視頻內(nèi)容。
因此，作為一項(xiàng)分類視頻內(nèi)容的技術(shù)，公開號為2003 - 61027的日本專 利申請(圖5等)(下文稱為專利文獻(xiàn)l)公開了一種裝置，其能夠按照構(gòu)成 每個(gè)視頻內(nèi)容的圖像的顏色直方圖，或構(gòu)成每個(gè)視頻內(nèi)容的音頻的波形和頻 率特性，存儲(chǔ)用于分類視頻內(nèi)容的屬性表，和基于屬性表分類視頻內(nèi)容。

發(fā)明內(nèi)容
然而，在上述專利文獻(xiàn)1中公開的技術(shù)中，用于匹配作為按照顏色和音頻的分類目標(biāo)的視頻內(nèi)容屬性的屬性表的數(shù)據(jù)量變得龐大，導(dǎo)致裝置的負(fù)載 增加。此外，在僅將顏色和音頻用于匹配的情況下，即使當(dāng)其內(nèi)容完全不同 時(shí)，該裝置也可能將視頻內(nèi)容錯(cuò)誤地分類到相同的類別。另外，即使當(dāng)該裝 置按照顏色和音頻將視頻內(nèi)容分類時(shí)，其也難于有效地向用戶呈現(xiàn)包含在屬
于某一類別的相應(yīng)^L頻內(nèi)容是何種內(nèi)容。
順便地說，可能有一些用戶，在選擇和觀看視頻內(nèi)容時(shí)，其將他/她內(nèi)心 的狀態(tài)例如內(nèi)心的興奮狀態(tài)和內(nèi)心的平靜狀態(tài)用作指標(biāo)。例如，在內(nèi)心興奮 狀態(tài)的用戶可能希望觀看急速的或具有速度感的一見頻內(nèi)容，而內(nèi)心平靜和放
松狀態(tài)的用戶可能希望觀看不太急速的或放松的^L頻內(nèi)容。此外，內(nèi)心抑郁 狀態(tài)的或感覺緊張的用戶可能希望觀看急速的^L頻內(nèi)容，用以激勵(lì)他們自己 和松弛緊張情緒，或者相反，用戶可能希望觀看放松的視頻內(nèi)容以放松他們 自己。因此，存在對將視頻內(nèi)容分類的技術(shù)的需求，使得用戶能夠基于他/ 她的內(nèi)心狀態(tài)選擇^L頻內(nèi)容。
根據(jù)上述情況，需要一種能夠?qū)⒋罅康囊曨l內(nèi)容適當(dāng)?shù)胤诸惖牡碾娮友b 置、內(nèi)容分類方法和用于他們的程序，使得用戶能夠按照他/她的內(nèi)心狀態(tài)選 擇視頻內(nèi)容以供娛樂。
按照本發(fā)明的一個(gè)實(shí)施例，提供一種包含^r測裝置(means)和分類裝置 的電子裝置。該檢測裝置用于將構(gòu)成多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容的多 個(gè)幀中的各個(gè)幀相互比較，和從多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容中檢測由 相機(jī)操作和視頻編輯其中之一生成的視頻特征征。該分類裝置基于檢測的視 頻特征判斷包含在多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容中視頻的視覺活動(dòng)性級 別(activity level )，并基于判斷的活動(dòng)性級別將多個(gè)視頻內(nèi)容中的每一個(gè) 視頻內(nèi)容分類。
這里，電子裝置指各種電氣用具，例如記錄/再現(xiàn)裝置，包含HDD/DVD/BD 記錄器、個(gè)人計(jì)算機(jī)(PC)、服務(wù)器裝置、電視裝置、游戲機(jī)、數(shù)字相機(jī)、數(shù) 字?jǐn)z像機(jī)和蜂窩式電話。此外，視頻特征是指例如當(dāng)操作相機(jī)(如搖動(dòng)、傾 斜和縮放)時(shí)產(chǎn)生的視頻特征，和編輯視頻(如淡入淡出(fade)和切換(cut)) 時(shí)產(chǎn)生的視頻特征。再者，當(dāng)將在視頻內(nèi)容內(nèi)部的對象(人或物)運(yùn)動(dòng)幅度 和速度、場景切換頻率等稱作為"活動(dòng)性"時(shí)，視覺活動(dòng)性級別例如指示在 視頻內(nèi)容內(nèi)部的活動(dòng)性程度。此外，這里所用的術(shù)語"分類"不僅包含將視 頻內(nèi)容(離散)分布到多個(gè)組的概念，而且還包含在基于其活動(dòng)性級別使他們保持相互可區(qū)分的同時(shí)分布視頻內(nèi)容的概念。
利用該結(jié)構(gòu)，能夠按照其視覺活動(dòng)性級別將視頻內(nèi)容分類。因此，用戶 變得能夠利用視覺活動(dòng)性級別作為指標(biāo)從大量的視頻內(nèi)容中進(jìn)行選擇，以觀 看與他/她的內(nèi)心狀態(tài)例如內(nèi)心的興奮狀態(tài)和內(nèi)心的平靜狀態(tài)相匹配的期望 的內(nèi)容，從而增強(qiáng)便利性。
在按照本發(fā)明的實(shí)施例的電子裝置中，檢測裝置或許能夠檢測多種視頻 特征，及分類裝置可以包含選擇裝置，用于從該多個(gè)種類的視頻特征中選擇
置，用于基于所選擇的視頻特征判斷多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容的活 動(dòng)性級別。
相應(yīng)地，通過從多個(gè)視頻特征中選擇作為用于判斷活動(dòng)性級別的基準(zhǔn)的 視頻特征，能夠高精度地判斷活動(dòng)性級別和能夠更精確地將視頻內(nèi)容分類。
在按照本發(fā)明的實(shí)施例的電子裝置中，檢測裝置可以包含學(xué)習(xí)裝置，用 于對于多種視頻特征中的每一種類視頻特征將從多個(gè)視頻內(nèi)容中的第 一視頻 內(nèi)容分類成預(yù)定數(shù)目的組，和基于包含在預(yù)定數(shù)目的組中的每一個(gè)組中所分 類的第一視頻內(nèi)容的數(shù)目的比率來學(xué)習(xí)要選擇的視頻特征。此外判斷裝置基 于所選擇的視頻特征，從多個(gè)視頻內(nèi)容中判斷除了第 一視頻內(nèi)容以外的第二 視頻內(nèi)容的活動(dòng)性級別。
相應(yīng)地，通過確定第一視頻內(nèi)容是否已經(jīng)均勻分類為多個(gè)組，變得能夠 學(xué)習(xí)在判斷第二視頻內(nèi)容的活動(dòng)性級別時(shí)使用的最佳視頻特征，和可以進(jìn)一
步改進(jìn)判斷活動(dòng)性級別的精確度。要注意，數(shù)據(jù)群集(clustering)法例如 K-means法和模糊C-means法或例如為決策樹的分類方法可以用作學(xué)習(xí)裝置。
在按照本發(fā)明的實(shí)施例的電子裝置中，檢測裝置可以檢測多個(gè)種類的視 頻內(nèi)容中的每一個(gè)種類的視頻內(nèi)容作為預(yù)定的特征值，和判斷裝置生成預(yù)定 判別函數(shù)，用于利用作為學(xué)習(xí)結(jié)果所選擇的視頻特征的特征值作為變量，在 其活動(dòng)性級別高的視頻內(nèi)容和其活動(dòng)性級別低的視頻內(nèi)容之間判別第二視頻 內(nèi)容，并基于判別函數(shù)的值判斷活動(dòng)性級別。
相應(yīng)地，通過利用所生成的判別函數(shù)實(shí)行判別分析，可以模擬方式計(jì)算 活動(dòng)性級別作為判別函數(shù)值。因此，可以將將視頻內(nèi)容更具體地分類和可以 將用戶的選擇范圍加寬。
此外，在這種情況下，在按照本發(fā)明的實(shí)施例的電子裝置中，判斷裝置按照判別函數(shù)值是正值和負(fù)值中的哪一個(gè)及判別函數(shù)值的絕對值是否超過至
少一個(gè)預(yù)定閾值，將第二^L頻內(nèi)容分類到多個(gè)級別。
相應(yīng)地，無論由學(xué)習(xí)裝置分類的組數(shù)是多少，都可以將視頻內(nèi)容按階狀 分類。
按照本發(fā)明的實(shí)施例的電子裝置，還包含存儲(chǔ)裝置和輸出裝置。存儲(chǔ)裝 置，用于存儲(chǔ)多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容連同所判斷的其活動(dòng)性級別。 輸出裝置，用于輸出一信號，該信號用于顯示輸入多個(gè)所存儲(chǔ)的視頻內(nèi)容中 的每一個(gè)視頻內(nèi)容的再現(xiàn)的內(nèi)容列表連同用于識別所判斷的多個(gè)視頻內(nèi)容中 的每一個(gè)視頻內(nèi)容的活動(dòng)性級別的識別信息。
相應(yīng)地，用戶可以在利用指示活動(dòng)性級別的識別信息作為指標(biāo)的同時(shí)， 從內(nèi)容列表中選擇和再現(xiàn)期望的視頻內(nèi)容。要注意，表達(dá)"輸出用于顯示的 信號"除了電子裝置使包含在電子裝置中的顯示單元顯示內(nèi)容列表的情況以 外，概念上包含電子裝置使外部連接到電子裝置的顯示單元顯示內(nèi)容列表的 的情況。此外，在電子裝置構(gòu)成為網(wǎng)站服務(wù)器的情況下，"輸出用于顯示的信 號"的處理包含發(fā)送網(wǎng)頁的處理，使得將內(nèi)容列表顯示在客戶裝置(例如連 接到網(wǎng)站服務(wù)器的PC)上運(yùn)行的瀏覽器上。此外，在電子裝置起網(wǎng)站服務(wù)器 的作用的情況下，該處理包含通過安裝在以例如在用戶側(cè)的PC的裝置上的 瀏覽器在包含在用戶裝置或連接到其上的顯示裝置上顯示內(nèi)容列表。此外， 識別信息是圖像信息、字符信息等?？梢园凑找曨l內(nèi)容的縮略圖列表顯示內(nèi) 容列表。
在這種情況下，在按照本發(fā)明的實(shí)施例的電子裝置中，由輸出裝置輸出 的信號可以使數(shù)目對應(yīng)于活動(dòng)性級別的預(yù)定符號作為識別信息顯示。
這里，預(yù)定符號是指各種形狀的符號，例如包含星形、圓形和矩形。相 應(yīng)地，變得能夠?qū)L頻內(nèi)容的活動(dòng)性級別以易于理解的方式呈現(xiàn)給用戶。
此外，在這種情況下，在按照本發(fā)明的實(shí)施例的電子裝置中，由輸出裝 置輸出的信號可以使指示該活動(dòng)性級別相對于要顯示的最大活動(dòng)性級別的比 率的圖像作為識別信息。
這里，指示該比率的圖像例如按照條形曲線或餅形圖顯示。相應(yīng)地，可 以更具體地呈現(xiàn)視頻內(nèi)容的活動(dòng)性級別。
此外，在按照本發(fā)明的實(shí)施例的電子裝置中，由輸出裝置輸出的信號可 以在按照多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容的活動(dòng)性級別改變縮略像的對比度的同時(shí)，可以使表示多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容處于可再現(xiàn)狀 態(tài)的縮略像顯示作為識別信息。
在這種情況下，可以將其活動(dòng)性級別高的視頻內(nèi)容的縮略像比其活 動(dòng)性級別低的視頻內(nèi)容的縮略像更亮地顯示，或者將其活動(dòng)性級別低的 視頻內(nèi)容的縮略像比其活動(dòng)性級別高的視頻內(nèi)容的縮略像更亮地顯 示。此外可以在例如按照活動(dòng)性級別使縮略像的幀部分的顏色不同的同 時(shí)來顯示活動(dòng)性級別。
按照本發(fā)明的實(shí)施例的電子裝置還可以包含檢索裝置，用于檢索具有預(yù) 定活動(dòng)性級別的視頻內(nèi)容。在電子裝置中由輸出裝置輸出的信號可以使具有 預(yù)定活動(dòng)性級別的視頻內(nèi)容的內(nèi)容列表和其識別信息顯示作為檢索的結(jié)果。
相應(yīng)地，變得能夠利用活動(dòng)性級別作為檢索條件來檢索視頻內(nèi)容。例如， 能夠使用戶選擇活動(dòng)性級別，因此按照所選擇的活動(dòng)性級別提取和顯示視頻 內(nèi)容。
按照本發(fā)明的另一個(gè)實(shí)施例，提供一種內(nèi)容分類方法，包含將構(gòu)成多 個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容的多個(gè)幀中的每一個(gè)幀相互比較，和根據(jù)多 個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容檢測由相機(jī)操作和視頻編輯的其中之一生成 的視頻特征；和基于檢測的視頻特征判斷包含在多個(gè)視頻內(nèi)容中的每一個(gè)視 頻內(nèi)容中視頻的視覺活動(dòng)性級別，和基于判斷的活動(dòng)性級別將多個(gè)視頻內(nèi)容 中的每一個(gè)碎見頻內(nèi)容分類。
按照本發(fā)明的再一個(gè)實(shí)施例，提供一種程序，用于使電子裝置執(zhí)行如下 的步驟將構(gòu)成多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容的多個(gè)幀中的每一個(gè)幀相 互比較，和根據(jù)多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容檢測由相機(jī)操作和視頻編 輯的其中之一生成的視頻特征；和基于檢測的視頻特征判斷包含在多個(gè)視頻 內(nèi)容中的每一個(gè)視頻內(nèi)容中視頻的視覺活動(dòng)性級別，和基于判斷的活動(dòng)性級 別將多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容分類。
按照本發(fā)明的再一個(gè)實(shí)施例，提供一種電子裝置，包含檢測單元和分 類單元，檢測單元將構(gòu)成多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容的多個(gè)幀中的每 一個(gè)幀相互比較，和根據(jù)多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容檢測由相機(jī)操作 和視頻編輯的其中之一生成的視頻特征。分類單元，基于檢測的視頻特征判 斷包含在多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容中視頻的視覺活動(dòng)性級別，和基 于判斷的活動(dòng)性級別將多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容分類。如上所述，按照本發(fā)明的各實(shí)施例，可以將大量的視頻內(nèi)容適當(dāng)?shù)胤诸悾?以便按照用戶的內(nèi)心的狀態(tài)可進(jìn)行選4奪。
根據(jù)對如在附圖中表示的本發(fā)明的最佳實(shí)施例的如下詳細(xì)描述，使本發(fā) 明的這些和其它目的、特征和優(yōu)點(diǎn)將變得更明顯。


圖1是表示按照本發(fā)明的實(shí)施例的記錄/再現(xiàn)裝置的結(jié)構(gòu)的示意圖； 圖2A和2B是每個(gè)表示按照本發(fā)明的實(shí)施例的相機(jī)操作特征的示意圖； 圖3A和3B是每個(gè)表示按照本發(fā)明的實(shí)施例的視頻編輯特征的示意圖； 圖4A-4F是每個(gè)示意表示按照本發(fā)明的實(shí)施例的相機(jī)操作特征的示意
圖5是示意表示按照本發(fā)明的實(shí)施例的在縮放(zoom)中圖像的變化量的 示意圖6是示意表示按照本發(fā)明的實(shí)施例的由手動(dòng)作引起的畫面抖動(dòng)的示意
圖； ''''' " "'
圖8是表示按照本發(fā)明的實(shí)施例的當(dāng)記錄/再現(xiàn)裝置判斷視頻特征時(shí)的 實(shí)行處理的流程圖9是表示按照本發(fā)明的實(shí)施例的運(yùn)動(dòng)矢量檢測處理的流程處理的流程圖11是具體表示按照本發(fā)明的實(shí)施例的按10幀間隔實(shí)行的運(yùn)動(dòng)矢量檢 測處理的流程圖12是具體表示按照本發(fā)明的實(shí)施例的按20幀間隔實(shí)行的運(yùn)動(dòng)矢量檢 測處理的流程圖13是具體表示按照本發(fā)明的實(shí)施例的按30幀間隔實(shí)行的運(yùn)動(dòng)矢量檢
測處理的流程圖14是表示按照本發(fā)明的實(shí)施例的塊匹配處理的流程圖15是表示按照本發(fā)明的實(shí)施例的設(shè)定參考圖像區(qū)域和檢索區(qū)域的示
意圖；圖16A-16C是表示按照本發(fā)明的實(shí)施例的在塊匹配處理中的基準(zhǔn)塊設(shè)定 方法的示意圖17 A和17 B是表示按照本發(fā)明的實(shí)施例的塊匹配處理的狀態(tài)的示意圖18是表示按照本發(fā)明的實(shí)施例的運(yùn)動(dòng)矢量估算處理的流程的流程圖19是表示按照本發(fā)明的實(shí)施例的運(yùn)動(dòng)矢量的梯度的示意圖20表示按照本發(fā)明的實(shí)施例的仿射(affine)轉(zhuǎn)換模型；
圖21表示按照本發(fā)明的實(shí)施例的多回歸分析處理；
圖22是表示按照本發(fā)明的實(shí)施例的抖動(dòng)判斷處理的示意圖23是表示按照本發(fā)明的實(shí)施例的關(guān)于其中包含一切換點(diǎn)的情況下淡
入淡出/切換估算值的計(jì)算結(jié)果和幀的經(jīng)過(elapse)之間關(guān)系的曲線圖； 圖24是表示按照本發(fā)明的實(shí)施例的關(guān)于其中包含淡入淡出(fade)的情
況下淡入淡出/切換估算值的計(jì)算結(jié)果和的幀的經(jīng)過之間關(guān)系的曲線圖； 圖25是表示按照本發(fā)明的實(shí)施例的視頻特征的判斷結(jié)果的表； 圖26是表示按照本發(fā)明的實(shí)施例的視頻特征檢測部分的具體結(jié)構(gòu)的圖； 圖27是表示按照本發(fā)明的實(shí)施例的由記錄/再現(xiàn)裝置實(shí)行的按照活動(dòng)性
分類視頻內(nèi)容的處理流程的流程圖28A和28B是示意表示由活動(dòng)性判斷部分實(shí)行的視頻內(nèi)容分類處理的
示意圖29是在內(nèi)容列表中活動(dòng)性識別信息的顯示實(shí)例的示意圖； 圖30是在內(nèi)容列表中活動(dòng)性識別信息的另 一個(gè)顯示實(shí)例的示意圖； 圖31是在內(nèi)容列表中活動(dòng)性識別信息的再一個(gè)顯示實(shí)例的示意圖； 圖3 2是在內(nèi)容列表中活動(dòng)性識別信息的又 一 個(gè)顯示實(shí)例的示意圖； 圖3 3是在內(nèi)容列表中活動(dòng)性識別信息的又 一 個(gè)顯示實(shí)例的示意具體實(shí)施例方式
此后，將參照附圖描述本發(fā)明的實(shí)施例。
圖1是表示按照本發(fā)明的實(shí)施例的記錄/再現(xiàn)裝置100的結(jié)構(gòu)的示意圖。 如圖所示，記錄/再現(xiàn)裝置100包含CPU(中央處理單元)l、 RAM(隨機(jī)存 取存儲(chǔ)器)2、操作輸入部分3、視頻特征檢測部分4、群集處理部分20、活 動(dòng)性判斷部分40、數(shù)字調(diào)諧器5 、 IEEE1394接口 6 、 Ethernet (注冊商標(biāo)) 以太網(wǎng)/無線LAN (局域網(wǎng))接口 7 、 USB (通用串行總線)接口 8 、存儲(chǔ)卡接口 9、 HDd (硬盤驅(qū)動(dòng)器)10、光盤驅(qū)動(dòng)器ll、緩沖控制器13、選擇 器14、解復(fù)用器15、 AV (音頻/視頻)解碼器16、 0SD(屏幕顯示器)17、視 頻D/A (數(shù)字/模擬)轉(zhuǎn)換器18和音頻D/A (數(shù)字/模擬)轉(zhuǎn)換器19。
CPU 1當(dāng)需要控制記錄/再現(xiàn)裝置100的全部功能塊時(shí)以任選方式存取 RAM2或類似裝置。RAM2用作CPU1或類似裝置的工作區(qū)域，臨時(shí)存儲(chǔ)OS(操 作系統(tǒng))、程序、處理數(shù)據(jù)等。
操作輸入部分3例如由按扭、開關(guān)、鍵、觸摸板或用于接收從遙控器(未 示出)發(fā)射的紅外線信號的光接收部分組成，輸入各種設(shè)定值及由由用戶操 作形成的指令并將該值和指令輸出到CPU 1。
在CPU 1的控制下，通過天線(未示出)數(shù)字調(diào)諧器5接收數(shù)字廣播中 廣播節(jié)目的廣播信號并調(diào)諧和解調(diào)特定頻道的廣播信號。廣播信號經(jīng)由選擇 器14輸出到解復(fù)用器15以1更再現(xiàn)、經(jīng)由緩沖控制器13記錄到HDD 10，或 記錄到一插入到光盤驅(qū)動(dòng)器11的光盤12。
IEEE1394接口 6可連接到外部裝置例如數(shù)字才聶像才幾。例如，如同由數(shù) 字調(diào)諧器5接收的廣播節(jié)目的視頻內(nèi)容的情況那樣，由數(shù)字?jǐn)z像機(jī)拍攝和記 錄的視頻內(nèi)容被再現(xiàn)或記錄到HDD IO或光盤12上。
以太網(wǎng)/無線LAN^I姿口 7例如用于利用Ethernet (注冊商標(biāo))以太網(wǎng)或無 線LAN (局域網(wǎng))輸入由PC或另一個(gè)記錄/再現(xiàn)裝置所記錄的視頻內(nèi)容。在 這種情況下的視頻內(nèi)容也能夠被再現(xiàn)或記錄在HDD IO或光盤12上。
USB接口 8例如用于經(jīng)由USB輸入來自例如數(shù)字相機(jī)和外部存儲(chǔ)裝置例 如所謂的USB存儲(chǔ)器的視頻內(nèi)容。在這種情況下的視頻內(nèi)容也能夠被再現(xiàn)或 記錄在HDD IO或光盤12上。
存儲(chǔ)卡接口 9例如連接到具有內(nèi)置的閃速存儲(chǔ)器的存儲(chǔ)器卡，并用于將 存儲(chǔ)器卡上記錄的視頻內(nèi)容輸入。在這種情況下的視頻內(nèi)容也能夠被再現(xiàn)或 記錄在HDD IO或光盤12上。
HDD 10將作為廣播信號接收的或從外部裝置輸入的各種視頻內(nèi)容記錄到 內(nèi)置的硬盤上，并在將其再現(xiàn)時(shí)從硬盤讀出這些視頻內(nèi)容，以將數(shù)據(jù)輸出到 緩沖控制器13。此外，HDD IO還存儲(chǔ)OS、用于執(zhí)行關(guān)于視頻內(nèi)容的視頻特 征檢測處理、群集(cluster)處理和活動(dòng)性(activity)判斷處理的程序及其它 各種程序、數(shù)據(jù)等，所有處理將在后面描述。應(yīng)注意，取代HDD 10，記錄/再 現(xiàn)裝置100可以將OS或各種程序和數(shù)據(jù)存儲(chǔ)在其它存儲(chǔ)介質(zhì)，例如閃速存儲(chǔ)器(未示出)。
光盤驅(qū)動(dòng)器ll將視頻內(nèi)容等記錄在光盤12上，并在視頻內(nèi)容再現(xiàn)時(shí)讀 出視頻內(nèi)容等以將數(shù)據(jù)輸出到緩沖控制器13。光盤12例如是DVD (數(shù)字多 用盤)、BD (藍(lán)光盤)和CD (致密盤)。
緩沖控制器13控制相對于對于HDD 10或光盤12從數(shù)字調(diào)諧器5或其 它各種接口順序地提供的視頻內(nèi)容的寫入時(shí)間和數(shù)據(jù)量，斷續(xù)地將視頻內(nèi)容 寫入到例如HDD IO或光盤12。此外，緩沖控制器13控制記錄在HDD 10或 光盤12上的視頻內(nèi)容的讀出時(shí)間和數(shù)據(jù)量，并將斷續(xù)讀出的視頻內(nèi)容順序 地提供到解復(fù)用器15。
選擇器14基于來自CPU 1的控制信號選擇從數(shù)字調(diào)諧器5、各種接口、 HDD IO和光盤驅(qū)動(dòng)器11的其中任何一個(gè)輸入的-見頻內(nèi)容。
解復(fù)用器15將從緩沖控制器13輸入的復(fù)合視頻內(nèi)容分離成視頻信號和 音頻信號，并將這些信號輸出到AV解碼器16。AV解碼器16將例如以MPEG (動(dòng)畫專家組)-2格式或MPEG-4格式的經(jīng) 編碼的視頻信號和音頻信號解碼，并將視頻信號輸出到0SD(屏幕顯示器)17 和將音頻信號輸出到音頻D/A轉(zhuǎn)換器19。
0SD(屏幕顯示器)17生成欲在顯示器(未示出)上顯示的圖形等和將生成 的圖形等與視頻信號進(jìn)行合成處理或切換處理。在此之后，OSD(屏幕顯示 器)17將處理的視頻信號輸出到視頻D/A轉(zhuǎn)換器18。視頻D/A轉(zhuǎn)換器18將受 到由0SD17進(jìn)行圖形處理的視頻信號從數(shù)字信號轉(zhuǎn)換成模擬信號，以得到 NTSC (國家電視標(biāo)準(zhǔn)委員會(huì))信號，并將轉(zhuǎn)換的信號輸出到顯示器(未示出)用 于顯示。
音頻D/A轉(zhuǎn)換器19將從AV解碼器16輸入的音頻信號從數(shù)字信號轉(zhuǎn)換 為模擬信號，并將轉(zhuǎn)換的信號輸出到揚(yáng)聲器(未示出)，用于將其再現(xiàn)。
視頻特征檢測部分4根據(jù)尚未由AV解碼器16解碼的視頻信號或者已經(jīng) 由AV解碼器16解碼的視頻信號檢測視頻特征。
群集處理部分20基于視頻特征從視頻內(nèi)容(根據(jù)該視頻內(nèi)容已經(jīng)檢測 視頻特征)中將學(xué)習(xí)的視頻內(nèi)容進(jìn)行分類成為預(yù)定數(shù)量的群。后面將描述群 集處理的細(xì)節(jié)。
基于學(xué)習(xí)的結(jié)果，即，群集處理的結(jié)果，活動(dòng)性判別部分40判斷視頻 內(nèi)容的視覺活動(dòng)性(活動(dòng)性級別)。例如當(dāng)將在視頻內(nèi)容內(nèi)部的對象(人或物)的運(yùn)動(dòng)的幅度和速度、場景切換頻率等稱之為"活動(dòng)性"時(shí)，這里所用的活 動(dòng)性指示在視頻內(nèi)容內(nèi)部的活動(dòng)性的程度。后面將描述活動(dòng)性判斷處理的細(xì) 節(jié)。
圖2A和2B及圖3A和3B是表示視頻特征的圖。
圖2A表示包含場景Sl到S6的視頻和是在從場景Sl開始沿左手方向或 右手方向動(dòng)作相機(jī)(搖動(dòng)(pan))的同時(shí)拍攝的。圖2B表示包含場景Sl到 S6的視頻和是在從場景Sl開始相機(jī)縮;改的同時(shí)拍攝的。在這一實(shí)施例中， 將由相機(jī)操作例如搖動(dòng)、傾斜(未示出)和縮放產(chǎn)生的視頻特征稱之為相機(jī) 操作特征。
圖3A表示其中在場景S3和場景S4之間提供的切換點(diǎn)fa處場景從場景 S3切換到S4的狀態(tài)。圖3B表示一種狀態(tài)，其中當(dāng)由場景S3到S4陸續(xù)呈現(xiàn) 時(shí)的一場景逐漸淡出，及當(dāng)由場景S4到S6陸續(xù)呈現(xiàn)時(shí)的另一場景逐漸淡入。 在這一實(shí)施例中，將在編輯-見頻的同時(shí)產(chǎn)生的^L頻特征，例如包含切換和淡 入淡出的視頻效果稱之為視頻編輯特征。
視頻特征檢測部分4利用后面要描述的公用信號處理系統(tǒng)檢測這一相機(jī) 操作特征和視頻編輯特征。群集處理部分20和活動(dòng)性判別部分40利用檢測
意，記錄/再現(xiàn)裝置100可以利用檢測的;f見頻特征來實(shí)行處理例如高亮場景生
成和章節(jié)生成。
圖4A-4F是每個(gè)示意表示相機(jī)操作特征的示意圖。 圖4A表示向左的搖動(dòng)。在這種情況下，在視頻中的對象沿右手方向移動(dòng)。 圖4B表示向右的搖動(dòng)。在這種情況下，視頻中的對象沿左手方向移動(dòng)。 圖4C表示向下傾斜。在這種情況下，視頻中的對象沿向上的方向運(yùn)動(dòng)。 圖4D表示向上傾斜。在這種情況下，視頻中的對象沿向下的方向運(yùn)動(dòng)。 圖4E表示縮放放大(zoom-in)。在這種情況下，視頻中的對象被放大。 圖4F表示縮放縮小(zoom-out)。在這種情況下，視頻中的對象被縮小。 圖5是示意表示在縮放中的圖像的變化量的示意圖。 為了檢測視頻內(nèi)容中的相機(jī)操作特征，需要利用塊匹配檢測視頻內(nèi)容中 的運(yùn)動(dòng)矢量。然而，如圖4所示，因?yàn)榭s放的圖像的運(yùn)動(dòng)量小于搖動(dòng)的圖像 或傾斜的圖像的運(yùn)動(dòng)量，其檢測級別也被認(rèn)為是小的。因此，當(dāng)如在相關(guān)技 術(shù)中那樣利用單一塊實(shí)行塊匹配時(shí)，可能不能檢測出縮放，因此，引起錯(cuò)誤的檢測。因此，這一實(shí)施例利用多個(gè)塊的組合實(shí)行塊匹配。
這里，如在圖5中由箭頭指示的，在縮放中的圖像的變化是沿徑向的變 化(斜線方向)。因此，當(dāng)其變化量沿X和Y方向投射時(shí)，由箭頭x和y分別 指示的變化量兩者都小于沿徑向的原有的變化量。因此，與在利用某一個(gè)塊 和沿x或y向排列的另一個(gè)塊的組合的塊匹配中相比較，在利用某一個(gè)塊和 沿徑向排列的另一個(gè)塊的組合的塊匹配中，較大地抑制了在塊匹配方面的錯(cuò) 誤檢測。相應(yīng)地，在這一實(shí)施例中，視頻特征檢測部分4利用沿徑向排列的 塊的組合實(shí)行塊匹配，其具體處理后面將描述。
順便地說，最近的家用攝像機(jī)經(jīng)常裝備有所謂的抖動(dòng)校正功能。然而， 抖動(dòng)校正功能的校正量是有限的，其結(jié)果是由家用攝像機(jī)拍攝的視頻內(nèi)容很 可能或多或少地包含抖動(dòng)的畫面。進(jìn)而，實(shí)際上，本發(fā)明的發(fā)明人通過實(shí)驗(yàn) 將利用家用攝像機(jī)拍攝的視頻和在攝影棚拍攝的視頻例如廣播節(jié)目相比較， 并發(fā)現(xiàn)在兩個(gè)視頻中的運(yùn)動(dòng)矢量的振動(dòng)量相互有很大的不同。
圖6是示意表示基于實(shí)驗(yàn)結(jié)果的抖動(dòng)畫面的圖。如圖所示，抖動(dòng)畫面是 以幀為單位由搖動(dòng)和傾斜隨機(jī)引起的。因此，通過檢測在視頻內(nèi)容內(nèi)部的預(yù) 定部分中搖動(dòng)和傾斜的時(shí)間序列的行動(dòng)變化，即運(yùn)動(dòng)矢量的時(shí)間序列的行動(dòng) 變化，能夠檢測由手的晃動(dòng)引起的抖動(dòng)。
因此，通過檢測抖動(dòng)畫面的出現(xiàn)與否或其發(fā)生頻率，變得能夠?qū)凑諒V 播內(nèi)容記錄的視頻內(nèi)容與利用家用攝像機(jī)拍攝的視頻內(nèi)容相區(qū)分。假設(shè)記錄/ 再現(xiàn)裝置100其中存儲(chǔ)各種多媒體內(nèi)容，這樣，例如在組織視頻內(nèi)容時(shí)，將 視頻內(nèi)容如此相互區(qū)分被認(rèn)為是十分有效的。因此，在這一實(shí)施例中，視頻 特征檢測部分4不僅檢測搖動(dòng)、傾斜和縮放，而且還檢測由手的晃引起的抖 動(dòng)作為相機(jī)操作特征，后面將描述其具體處理。
圖7是具體表示視頻特征檢測部分4的結(jié)構(gòu)的方塊圖。
如圖所示，視頻特征檢測部分4包含圖像處理部分21、 l幀間隔存儲(chǔ)部 分22、 IO幀間隔存儲(chǔ)部分23、 20幀間隔存儲(chǔ)部分24、 30幀間隔存儲(chǔ)部分 25、用于相應(yīng)存儲(chǔ)部分的匹配處理部分26、 28、 30、和32;還提供用于相應(yīng) 存儲(chǔ)部分的淡入淡出/切換處理部分27、 29、 31和33;運(yùn)動(dòng)矢量處理部分 34、相機(jī)特征判斷部分36和淡入淡出/切換判斷部分35。
圖像處理部分21按照包含在由AV解碼器16解碼后的CPU 1視頻內(nèi)容 中的基帶帶寬內(nèi)的幀的幀編號的次序輸入圖像數(shù)據(jù)(具體地說，亮度信號Y和色差信號Cb和Cr),并基于圖像數(shù)據(jù)實(shí)行各種類型的處理，例如設(shè)定參考 圖像區(qū)域一 一在該區(qū)域欲執(zhí)行運(yùn)動(dòng)矢量檢測一—和設(shè)定作為用于運(yùn)動(dòng)矢量檢 測的基準(zhǔn)的位置(后面稱之為基準(zhǔn)位置)，設(shè)定運(yùn)動(dòng)矢量的檢索區(qū)域和提取作 為用于塊匹配處理的基準(zhǔn)的塊(后面稱之為基準(zhǔn)塊)，后面將詳細(xì)描述它們的 處理。
應(yīng)注意，實(shí)行在基帶帶寬中的處理的理由在于，對于要在記錄/再現(xiàn)裝置 100中再現(xiàn)的視頻內(nèi)容，可能共存各種格式的視頻內(nèi)容，例如除了MPEG格式 數(shù)據(jù)以外，數(shù)字方式記錄的DV (數(shù)字視頻)格式數(shù)據(jù)、模擬記錄的VHS (家 用視頻系統(tǒng))格式數(shù)據(jù)和8mtn格式數(shù)據(jù)，這樣在公用信號處理系統(tǒng)中盡可能 多地實(shí)行從這些視頻內(nèi)容中的視頻特征提取處理。
1幀間隔存儲(chǔ)部分22、 10幀間隔存儲(chǔ)部分23、 20幀間隔存儲(chǔ)部分24 和30幀間隔存儲(chǔ)部分25存儲(chǔ)在從一已從其提取基準(zhǔn)塊的幀(后面稱之為基 準(zhǔn)幀)到在其之間基準(zhǔn)幀具有的1幀。10幀、20幀和30幀的間隔的各相應(yīng) 幀的范圍內(nèi)部的多項(xiàng)圖像數(shù)據(jù)。當(dāng)然，幀的間隔并不局限于此。
匹配處理部分26、 28、 30和32在從圖像處理部分21輸入的基準(zhǔn)幀和 分別從幀間存儲(chǔ)部分22到25輸入的幀(后面稱之為檢索幀)的檢索區(qū)域之 間實(shí)行塊匹配處理，并將相應(yīng)結(jié)果輸出到運(yùn)動(dòng)矢量處理部分34。塊匹配處理 涉及，在檢索幀內(nèi)部移動(dòng)塊(后面稱之為檢索塊)一一該塊具有與基準(zhǔn)幀中 的基準(zhǔn)塊相同的形狀一一的同時(shí)，檢索一位置，在該位置基準(zhǔn)塊和檢索塊之 間的相似程度變得最大。匹配處理部分26、 28、 30和32將從基準(zhǔn)位置到相 應(yīng)檢索位置的運(yùn)動(dòng)矢量量(即，運(yùn)動(dòng)量和沿X (水平)和Y (垂直)的移動(dòng)方 向)，分別輸出到運(yùn)動(dòng)矢量處理部分34。此外，匹配處理部分26、 28、 30和 32將在基準(zhǔn)塊和相應(yīng)的檢索塊之間的Y、 Cb和Cr剩余值分別輸出到淡入淡 出/切換處理部分27、 29、 31和33。后面將詳細(xì)描述上述處理。
基于從匹配處理部分26、 28、 30和32分別輸入的匹配后差分值，淡入 淡出/切換處理部分27、 29、 31和33分別生成淡入淡出/切換估算值并將該 值輸出到淡入淡出/切換判斷部分35，后面將詳細(xì)描述該處理。
要注意，淡入淡出/切換處理部分27、 29、 31和33可以單獨(dú)計(jì)算在從 圖像處理部分21輸入的基準(zhǔn)塊和分別從幀間存儲(chǔ)部分22到25輸入的檢索 塊之間得到的、并使用在塊匹配處理中的差分值。
基于作為塊匹配處理結(jié)杲的和分別從匹配處理部分26、 28、 30和32輸入的運(yùn)動(dòng)矢量量，運(yùn)動(dòng)矢量處理部分34估算在一基準(zhǔn)位置與之具有30幀或 更多如40幀的幀間隔的位置的運(yùn)動(dòng)矢量量，并將估算的運(yùn)動(dòng)矢量量輸出到相 機(jī)特征判斷部分36,后面將詳細(xì)描述該處理。
基于從運(yùn)動(dòng)矢量處理部分34輸入的估算的運(yùn)動(dòng)矢量量，通過利用后面將 描述的仿射轉(zhuǎn)換才莫型的多回歸分析(multiple regression analysis),相積^ 特征判斷部分36判斷在視頻內(nèi)容內(nèi)部的搖動(dòng)、傾斜、縮放和抖動(dòng)的相機(jī)操 作特征，并將判斷結(jié)果輸出到CPU 1,后面將詳細(xì)描述該處理。
基于從淡入淡出/切換處理部分27、 29、 31和33分別輸入的淡入淡出/ 切換估算值，淡入淡出/切換判斷部分35判斷在視頻內(nèi)容內(nèi)部的淡入淡出或 切換的視頻編輯特征，并將判斷結(jié)果輸出到CPU 1。
接著，將描述如此構(gòu)成的記錄/再現(xiàn)裝置100的操:作。
圖8是表示當(dāng)記錄/再現(xiàn)裝置IOO檢測視頻特征時(shí)實(shí)行的處理的流程的流 程圖。
如圖所示，；現(xiàn)頻特征;險(xiǎn)測部分4首先4丸行相應(yīng)^L頻特征的4全測標(biāo)記的初 始設(shè)定(步驟41)。檢測標(biāo)記分別指示已經(jīng)根據(jù)視頻內(nèi)容檢測搖動(dòng)、傾斜、 縮放和抖動(dòng)的相機(jī)操作特征及淡出和切換的視頻編輯特征。視頻特征檢測標(biāo) "i己分另'J由Dpan、 Dtilt、 Dzoom、 Dbure、 Dfad和Dcut K表，在^^臺i殳定中^l尋 它們的標(biāo)記值設(shè)定到0。
其后，視頻特征檢測部分4通過利用圖像處理部分21、幀間 (inter-frame)存儲(chǔ)部分22到25、匹配處理部分26、 28、 30和32及運(yùn) 動(dòng)矢量處理部分34檢測在視頻內(nèi)容內(nèi)部的運(yùn)動(dòng)矢量(步驟42 )
現(xiàn)在將具體描述移動(dòng)是矢量檢測處理。圖9是表示運(yùn)動(dòng)矢量檢測處理的 流程的流程圖。
順便地說，如上所述，在運(yùn)動(dòng)矢量檢測處理中，能夠通過在該基準(zhǔn)幀與
準(zhǔn)幀和相應(yīng)檢索區(qū)域之間的塊匹配處理。然而，當(dāng)已經(jīng)拍攝視頻內(nèi)容的相機(jī) 快速移動(dòng)時(shí)，例如太長的幀間隔可能導(dǎo)致在該間隔在視頻中頻繁出現(xiàn)移動(dòng)， 因此惡化了檢測分辨性能和不能進(jìn)行精確的運(yùn)動(dòng)矢量檢測。
此外，當(dāng)相機(jī)慢速移動(dòng)時(shí)太短的巾貞間隔使得按照該間隔檢測的運(yùn)動(dòng)矢量 的檢測值過分降低，因此在這種情況下也不能進(jìn)行精確的運(yùn)動(dòng)矢量檢測。
在上述相機(jī)快速移動(dòng)的情況下，與基準(zhǔn)塊對應(yīng)的塊可能移出檢索區(qū)域之外。然而，在檢測的過程中不能判斷與基準(zhǔn)塊對應(yīng)的塊是依然在檢索區(qū)域內(nèi) 部還是在檢索區(qū)域外部。
因此，在這一實(shí)施例中，視頻特征檢測部分4基于在該塊匹配中在4企測 點(diǎn)的運(yùn)動(dòng)量和匹配的剩余值估算檢索精度。當(dāng)判斷為不精確時(shí)視頻特征檢測 部分4不使用其檢測數(shù)據(jù)并僅使用精確的檢測數(shù)據(jù)，和基于按照其它幀間隔 的匹配數(shù)據(jù)按照一更長的幀間隔估算運(yùn)動(dòng)矢量量。然后，3見頻特征檢測部分 4使用估算的運(yùn)動(dòng)矢量量作為要用于檢測視頻特征的運(yùn)動(dòng)矢量量。
如圖9所示，視頻特征檢測部分4首先將一指示精確條數(shù)的檢測數(shù)據(jù)的 數(shù)目的計(jì)數(shù)值m設(shè)定為0 (步驟91)。后面將詳細(xì)描述該計(jì)數(shù)值。
其后，視頻特征檢測部分4使用從圖像處理部分21輸入的基準(zhǔn)幀和在 幀間存儲(chǔ)部分22到25中分別存儲(chǔ)的檢索幀，以由匹配處理部分26、 28、 30和32分別按照1幀間隔、10幀間隔、20幀間隔和30幀間隔、實(shí)行運(yùn)動(dòng) 矢量檢測處理(步驟92到95 ),后面將詳細(xì)描述該處理。
接著，基于按照相應(yīng)的幀間隔檢測的運(yùn)動(dòng)矢量的數(shù)據(jù)，視頻特征檢測部 分4使用運(yùn)動(dòng)矢量處理部分34以估算按照40幀間隔的運(yùn)動(dòng)矢量(步驟96 ), 并將關(guān)于估算的運(yùn)動(dòng)矢量的數(shù)據(jù)輸出到相機(jī)特征判斷部分36作為最終的運(yùn) 動(dòng)矢量lt據(jù)(步驟97)。后面將詳細(xì)描述該處理。
在此之后，視頻特征檢測部分4判斷是否已經(jīng)對于構(gòu)成單一視頻內(nèi)容的 所有的幀輸出了運(yùn)動(dòng)矢量數(shù)據(jù)，并重復(fù)步驟91到97的處理直到對于所有的 幀都檢測了運(yùn)動(dòng)矢量為止。
圖10到13是分別具體表示在圖9中，在運(yùn)動(dòng)矢量檢測處理中按照相應(yīng) 幀間隔的步驟92到95的處理的流程圖。首先描述在步驟92中按照1幀間隔 的運(yùn)動(dòng)矢量^r測處理。
如圖10所示，首先，圖像處理部分21和匹配處理部分26實(shí)行基準(zhǔn)幀 和與基準(zhǔn)幀具有1幀間隔的檢索幀之間的塊匹配處理(步驟921)。
現(xiàn)在詳細(xì)描述塊匹配處理。圖14是表示塊匹配處理流程的流程圖。
如圖所示，圖像處理部分21首先設(shè)定在基準(zhǔn)幀中的參考圖像區(qū)域和檢 索區(qū)域(步驟101)。圖15是表示設(shè)定參考圖像區(qū)域和檢索區(qū)域的狀態(tài)的示 意圖。
如圖所示，匹配處理部分26設(shè)定一限定在作為原始圖像(S)的基準(zhǔn)幀71 中運(yùn)動(dòng)矢量的檢索范圍的檢索區(qū)域72，和設(shè)定在檢索區(qū)域72內(nèi)的參考圖像區(qū)域73作為運(yùn)動(dòng)矢量的目標(biāo)檢測范圍。
然后，匹配處理部分26將參考圖像區(qū)域73例如劃分為8 x 8 = 64個(gè)區(qū)域 74，并將每個(gè)區(qū)域74的中心點(diǎn)設(shè)定作為運(yùn)動(dòng)矢量目標(biāo)點(diǎn)Pn (n-0到63)。
要注意，基準(zhǔn)幀71的尺寸例如是720 x 480 (象素)，但不局限于此。此 外，原始圖像(S)可以是一基準(zhǔn)幀71的收縮圖像。例如，當(dāng)基準(zhǔn)幀71具有 720 x 480 (象素)的尺寸時(shí)，將具有1/4原始圖像(S)尺寸的圖像(沿縱向和 橫向兩者的長度的一半)，即，具有尺寸為360 x 240 (象素)的圖像設(shè)定作 為原始圖像(S)，和將檢索區(qū)域72和參考圖像區(qū)域73設(shè)定在該圖像內(nèi)。相 應(yīng)地，能夠?qū)⒃谄ヅ涮幚聿糠?6、 28、 30和32上的負(fù)載降低，而不會(huì)惡化 在后來的塊匹配處理中的精確度。
回過來參照圖14，圖像處理部分21將運(yùn)動(dòng)矢量檢測目標(biāo)點(diǎn)Pn的n設(shè)定 為0,并將該基準(zhǔn)塊設(shè)定作為用于關(guān)于PO的塊匹配處理的基準(zhǔn)(步驟102 )。 圖16是表示設(shè)定基準(zhǔn)塊的方法的示意圖。
如圖所示，圖像處理部分21首先以基準(zhǔn)幀71的中心作為原始點(diǎn)0(0， 0) 獲得檢測目標(biāo)點(diǎn)Pn (在這種情況下為PO )的坐標(biāo)(xn, yn )(步驟103)。其 后，圖像處理部分21設(shè)定一預(yù)定值an(步驟104)。該值an例如是按照如下 設(shè)定的基準(zhǔn)幀的一側(cè)長度的1/2。例如將an的值設(shè)定為4，但不局限于此。
然后，如圖16A所示，按照一在基準(zhǔn)幀71上設(shè)定為Fn(x)=knx(kn=yn/xn) 的函數(shù)，圖像處理部分21利用該設(shè)定值計(jì)算該函數(shù)如下的兩個(gè)坐標(biāo)(步驟 105)。
Pnl (xn-an, Fn (xn-an)) Pn2 (xn+an, Fn (xn+an))
其后，圖像處理部分21設(shè)定中心在坐標(biāo)點(diǎn)pnl的基準(zhǔn)塊Bnl(步驟106 ), 并將基準(zhǔn)塊Bnl劃分為s x s個(gè)小塊bnl (步驟107 )。
在此之后，圖像處理部分21設(shè)定中心在坐標(biāo)點(diǎn)pn2的基準(zhǔn)塊Bn2 (步驟 108 )，并將基準(zhǔn)塊Bn2劃分為s x s個(gè)小塊bn2 (步驟109 )。
如圖16B所示，當(dāng)s=4時(shí)，每個(gè)基準(zhǔn)塊Bnl和Bn2由b0到b15的小塊組 成。此外，如圖16C所示，每個(gè)小塊bnl和bn2例如對應(yīng)于4片(piece)象素 數(shù)據(jù)的平均值。
這里，假設(shè)4片象素?cái)?shù)據(jù)是dnl、 dn2、 dn3、 dn4,能夠?qū)⒚總€(gè)小塊bnl 和bn2看作Y、 Cb、 CR的三維矢量數(shù)據(jù)。當(dāng)將其數(shù)據(jù)分量分別用下標(biāo)—y、 —cb、-cr指定時(shí)，例如小塊bnl的數(shù)據(jù)分量可以分別用如下的表達(dá)式來表達(dá)。 bnl—y= (dnl_y+dn2—y+dn3_y+dn4—y)/4 bnl—cb= (dnl—cb+dn2—cb+dn3_cb+dn4_cb)/4 bnl—cr= (dnl—cr+dn2—cr+dn3_cr+dn4_cr)/4
當(dāng)完成如上所述的基準(zhǔn)塊Bnl和Bn2的設(shè)定時(shí)，由匹配處理部分26、 28、 30和32分別開始按照1幀間隔、IO幀間隔、20幀間隔、30幀間隔的塊匹配 處理。要注意，后面將對由匹配處理部分26按照1幀間隔實(shí)行的塊匹配處理 進(jìn)行描述，但其處理與由匹配處理部分28、 30和32按照相應(yīng)的幀間隔分別 實(shí)行的塊匹配處理相同。
基于基準(zhǔn)塊Bnl的小塊bnl和基準(zhǔn)塊Bn2的小塊bn2,匹配處理部分26 實(shí)行塊匹配處理(步驟IIO)。圖17是表示實(shí)行塊匹配處理的狀態(tài)的示意圖。 圖17A表示在基準(zhǔn)幀71中的基準(zhǔn)塊Bnl和Bn2 (后面將兩個(gè)基準(zhǔn)塊共同稱之 為基準(zhǔn)塊Bn);圖17B表示在檢索幀75中的檢索塊Bml和Bm2 (后面將兩個(gè) 檢索塊共同稱之為檢索塊Bm )。
如圖所示，匹配處理部分26從基準(zhǔn)幀71提取兩個(gè)設(shè)定的基準(zhǔn)塊，并實(shí) 行模式匹配以檢測對應(yīng)于基準(zhǔn)塊Bn的塊在與基準(zhǔn)幀71具有預(yù)定的幀間隔(這 種情況下為1幀間隔)的檢索幀75中已經(jīng)移動(dòng)的位置。具體地說，匹配處理 部分26在檢索幀75中的檢索區(qū)域72之內(nèi)每次將檢索塊移動(dòng)一個(gè)象素的同 時(shí)，檢測位置Pm，在該位置基準(zhǔn)塊Bn中的每個(gè)小塊bn相應(yīng)的Y、 Cb和Cr數(shù) 據(jù)分量的矢量距離變?yōu)樽钚?。檢索塊Bm從基準(zhǔn)幀71的坐標(biāo)點(diǎn)Pn到其檢測位 置Pm的運(yùn)動(dòng)量Vn和移動(dòng)方向變?yōu)檫\(yùn)動(dòng)矢量MV。此外，匹配處理部分26還 計(jì)算基準(zhǔn)塊Bn和檢索塊Bm之間的匹配后的剩余值連同運(yùn)動(dòng)量。
當(dāng)完成關(guān)于4企測目標(biāo)點(diǎn)Pn的運(yùn)動(dòng)矢量;f企測時(shí)，匹配處理部分26將n遞 增l(步驟112),和重復(fù)上述處理，直到n變?yōu)閚max或更大為止(步驟113)。 在這一實(shí)施例中，nmax為63。
通過上述處理，將基準(zhǔn)塊Bnl和Bn2設(shè)定在從基準(zhǔn)幀71的中心起的徑向 上。換句話說，設(shè)定基準(zhǔn)塊Bnl和Bn2,以便分別位于從基準(zhǔn)幀71的中心開 始的半直線上的各點(diǎn)的中心。通過如此設(shè)定在徑向上的各塊，如上所述，在 相機(jī)操作特征之中特別是縮放中檢測運(yùn)動(dòng)矢量的精確度可以極大地改進(jìn)。進(jìn) 而，與相關(guān)技術(shù)中利用一用于塊匹配處理的單一塊的情況相比較，通過利用 用于塊匹配處理的兩個(gè)塊的組合，不僅在檢測縮放中的運(yùn)動(dòng)矢量的精確度，而且在檢測沿x和y方向的運(yùn)動(dòng)矢量即在搖動(dòng)和傾斜時(shí)的精確度都可以改進(jìn)。 匹配處理部分28、 30和32以與匹配處理部分26相同的方式，通過利用 與基準(zhǔn)幀71分別具有10幀間隔、20幀間隔和30幀間隔的檢索幀75實(shí)行運(yùn) 動(dòng)矢量檢測。
這里，如上所述，在這一實(shí)施例中，當(dāng)判斷所檢測的運(yùn)動(dòng)矢量不精確時(shí)， 為了改進(jìn)在檢測運(yùn)動(dòng)矢量時(shí)的精確度，視頻特征檢測部分4不使用其檢測數(shù) 據(jù)。后面將詳細(xì)描述該處理，同時(shí)回過來參考圖10描述步驟922和其后步驟 的處理。
如上所述，除了設(shè)定用于檢索運(yùn)動(dòng)矢量的檢索區(qū)域72之外，匹配處理部 分26還設(shè)定另一檢索范圍用于改進(jìn)在檢測運(yùn)動(dòng)矢量時(shí)的精確度。這一檢索范 圍例如是從檢測目標(biāo)點(diǎn)Pn起沿X和Y兩個(gè)方向的±8象素。具體地說，當(dāng)設(shè) 定判斷標(biāo)準(zhǔn)時(shí)，以便檢測位置Pm遠(yuǎn)離檢測目標(biāo)點(diǎn)Pn沿+或-方向的距離不應(yīng) 當(dāng)大于8象素，和匹配后的剩余值應(yīng)小于預(yù)定的閾值Eth，匹配處理部分26 不使用作為不精確的數(shù)據(jù)的該不滿足判斷標(biāo)準(zhǔn)的檢測數(shù)據(jù)。當(dāng)然，檢索區(qū)域 的數(shù)字值不局限于8。
這里，將在按照1幀間隔的運(yùn)動(dòng)矢量檢測中沿X (水平)和Y (垂直)方 向的運(yùn)動(dòng)量分別設(shè)定為Vlxn和Vlyn,和剩余值設(shè)定為Eln。
如圖10所示，匹配處理部分26檢測運(yùn)動(dòng)量Vlxn和Vlyn及通過按照1 幀間隔的塊匹配處理檢測的剩余值Eln (步驟922 )。然后，匹配處理部分 26基于判斷標(biāo)準(zhǔn)判斷是否滿足 I Vlxn I <8， I Vlyn I <8,和
Eln〈Eth
(步驟923和924 )。當(dāng)該值滿足判斷標(biāo)準(zhǔn)時(shí)，匹配處理部分26將合適的加 權(quán)系數(shù)Kl設(shè)定為1,并將指示精確的檢測數(shù)據(jù)片的數(shù)目遞增1 (步驟925 )。 另一方面，當(dāng)該值不滿足判斷標(biāo)準(zhǔn)時(shí)，匹配處理部分26將Kl設(shè)定為0 (步 驟926 )。然后，匹配處理部分26將加權(quán)系數(shù)K1和計(jì)數(shù)值m連同^r測的運(yùn)動(dòng) 量Vlxn和Vlyn和剩余值Eln輸出到運(yùn)動(dòng)矢量處理部分34。
接著，將描述在塊匹配處理之后實(shí)行的處理按照10幀間隔的運(yùn)動(dòng)矢量檢 測處理。這里，將按照10幀間隔的沿x (水平)和y (垂直)方向的運(yùn)動(dòng)量 分別設(shè)定為V10xn和V10yn,并將剩余值設(shè)定為E10n。如圖11所示，匹配處理部分28 ;險(xiǎn)測運(yùn)動(dòng)量V10xn和V10yn及通過4姿照 10幀間隔的塊匹配處理檢測的剩余值E10n (步驟932 )。然后，匹配處理部 分28基于判斷標(biāo)準(zhǔn)判斷是否滿足
I V10xn I <8，
I V10yn I <8，和 E10n〈Eth
(步驟933和934 )。當(dāng)該值滿足判斷標(biāo)準(zhǔn)時(shí)，匹配處理部分28將合適 的加權(quán)系數(shù)K10設(shè)定為1,并將指示精確的檢測數(shù)據(jù)片的數(shù)目遞增1 (步驟 935 )。另一方面，當(dāng)該值不滿足判斷標(biāo)準(zhǔn)時(shí)，匹配處理部分28將K10設(shè)定為 0(步驟936 )。然后，匹配處理部分28將加權(quán)系數(shù)K10和計(jì)數(shù)值m連同檢測 的運(yùn)動(dòng)量V10xn和V10yn和剩余值E10n輸出到運(yùn)動(dòng)矢量處理部分34。
接著，將描述在塊匹配處理之后實(shí)行的處理按照20幀間隔的運(yùn)動(dòng)矢量檢 測處理。這里，將按照20幀間隔的沿x (水平)和y (垂直)方向的運(yùn)動(dòng)量 分別設(shè)定為V20xn和V20yn,并將剩余值設(shè)定為E20n。
如圖12所示，匹配處理部分30才金測運(yùn)動(dòng)量V20xn和V20yn及通過按照 20幀間隔的塊匹配處理檢測的剩余值E20n (步驟942 )。然后，匹配處理部 分30基于判斷標(biāo)準(zhǔn)判斷是否滿足 I V20xn I <8， I V20yn | <8，和 E20n<Eth
(步驟943和944 )。當(dāng)該值滿足判斷標(biāo)準(zhǔn)時(shí)，匹配處理部分30將合適的加 權(quán)系數(shù)K20設(shè)定為1,并將指示精確的檢測數(shù)據(jù)片的數(shù)目遞增1 (步驟945 )。 另一方面，當(dāng)該值不滿足判斷標(biāo)準(zhǔn)時(shí)，匹配處理部分30將K20設(shè)定為0 (步 驟946 )。然后，匹配處理部分30將加權(quán)系數(shù)K20和計(jì)數(shù)值m連同^r測的運(yùn) 動(dòng)量V20xn和V20yn和剩余<直E20n輸出到運(yùn)動(dòng)矢量處理部分34。
接著，將描述在塊匹配處理之后實(shí)行的處理按照30幀間隔的運(yùn)動(dòng)矢量檢 測處理。這里，將按照20幀間隔的沿x (水平)和y (垂直)方向的運(yùn)動(dòng)量 分別設(shè)定為V30xn和V30yn，并將剩余值設(shè)定為E30n。
如圖13所示，匹配處理部分32才全測運(yùn)動(dòng)量V30xn和V30yn及通過4要照 30幀間隔的塊匹配處理檢測的剩余值E30n (步驟952 )。然后，匹配處理部 分32基于判斷標(biāo)準(zhǔn)判斷是否滿足I V30xn I <8， I V30yn | <8，和 E30n〈Eth
(步驟953和954 )。當(dāng)該值滿足判斷標(biāo)準(zhǔn)時(shí)，匹配處理部分32將合適的加 權(quán)系數(shù)K30設(shè)定為1,并將指示精確的檢測數(shù)據(jù)片的數(shù)目遞增1 (步驟935 )。 另一方面，當(dāng)該值不滿足判斷標(biāo)準(zhǔn)時(shí)，匹配處理部分32將K30設(shè)定為0 (步 驟956 )。然后，匹配處理部分32將加權(quán)系數(shù)K30和計(jì)數(shù)值m連同檢測的運(yùn) 動(dòng)量V30xn和V30yn和剩余值E30n輸出到運(yùn)動(dòng)矢量處理部分34。
接著將具體描述圖9中的步驟96的運(yùn)動(dòng)矢量估算處理，其是由運(yùn)動(dòng)矢量 處理部分34實(shí)行的。圖18是表示運(yùn)動(dòng)矢量估算處理的流程的流程圖。這里， 為了按照40幀間隔估算運(yùn)動(dòng)矢量，基于相應(yīng)的檢測幀間隔和運(yùn)動(dòng)量計(jì)算合適 的梯度(gradient )。圖19是表示該梯度的示意圖。
如圖18所示，運(yùn)動(dòng)矢量處理部分34首先將分別從匹配處理部分26、 28、 30和32輸入的輸入計(jì)數(shù)值m求和，以判斷該和是否等于或大于l(步驟961 )。 當(dāng)該計(jì)數(shù)值之和等于或大于1 (是)時(shí)，運(yùn)動(dòng)矢量處理部分34計(jì)算按照相應(yīng) 幀間隔的運(yùn)動(dòng)矢量的梯度(步驟962 )。
現(xiàn)在將首先描述基于間隔Llt(l幀間隔)和運(yùn)動(dòng)量Vlxn，計(jì)算按照1幀 間隔的運(yùn)動(dòng)矢量的梯度Tlxn的情況。
檢測幀間隔Lit是即在基準(zhǔn)幀71后1幀的檢索幀75的pts (當(dāng)前時(shí)間戳) 時(shí)間間隔pit與基準(zhǔn)幀71的pts時(shí)間間隔p0的比率。因此，通過利用如下 的表達(dá)式可以計(jì)算檢測幀間隔Llt。
Llt=plt/pO
這是因?yàn)椋捎趲俾士赡苋Q于視頻內(nèi)容而相互不同，當(dāng)計(jì)算梯度時(shí)， 1幀間隔時(shí)間是歸一化的。
相應(yīng)地，通過利用如下的表達(dá)式可以計(jì)算關(guān)于沿X方向的運(yùn)動(dòng)量的梯度。 Tlxn=Vlxn/Llt
此外，通過利用如下的表達(dá)式可以計(jì)算關(guān)于沿Y方向的運(yùn)動(dòng)量的梯度。 Tlyn=Vlyn/Llt
類似地，描述基于間隔L10t(10幀間隔)和運(yùn)動(dòng)量V10xn,計(jì)算按照10 幀間隔的運(yùn)動(dòng)矢量的梯度T10xn的情況。
檢測幀間隔L10t是在基準(zhǔn)幀71后10幀的檢索幀75的pts (表示時(shí)間標(biāo)記)時(shí)間間隔plOt與基準(zhǔn)幀71的pts時(shí)間間隔p0的比率。因此，通過利用 如下的表達(dá)式可以計(jì)算檢測幀間隔L101 。 L10t=plOt/pO
相應(yīng)地，通過利用如下的表達(dá)式可以計(jì)算關(guān)于沿X方向的運(yùn)動(dòng)量的梯度。 T10xn=V10xn/L10t
此外，通過利用如下的表達(dá)式可以計(jì)算關(guān)于沿Y方向的運(yùn)動(dòng)量的梯度。 T10yn=V10yn/L10t
類似地，描述基于間隔L20t(20幀間隔)和運(yùn)動(dòng)量V20xn，計(jì)算按照20 幀間隔的運(yùn)動(dòng)矢量的梯度T20xn的情況。
檢測幀間隔L20t是在基準(zhǔn)幀71后20幀的檢索幀75的pts (表示時(shí)間標(biāo) 記)時(shí)間間隔p20t與基準(zhǔn)幀71的pts時(shí)間間隔p0的比率。因此，通過利用 如下的表達(dá)式可以計(jì)算檢測幀間隔L20t。
L20t=p20t/p0
相應(yīng)地，通過利用如下的表達(dá)式可以計(jì)算關(guān)于沿X方向的運(yùn)動(dòng)量的梯度。 T20xn=V20xn/L20t
此外，通過利用如下的表達(dá)式可以計(jì)算關(guān)于沿Y方向的運(yùn)動(dòng)量的梯度。 T20yn=V20yn/L20t
類似地，描述基于間隔L30t(30幀間隔)和運(yùn)動(dòng)量V20xn、計(jì)算按照30 幀間隔的運(yùn)動(dòng)矢量的梯度T30xn的情況。
檢測幀間隔L30t是在基準(zhǔn)幀71后30幀的檢索幀75的pts (表示時(shí)間標(biāo) 記)時(shí)間間隔p30t與基準(zhǔn)幀71的pts時(shí)間間隔p0的比率。因此，通過利用 如下的表達(dá)式可以結(jié)束才企測幀間隔L 3 01 。
L30t=p30t/p0
相應(yīng)地，通過利用如下的表達(dá)式可以計(jì)算關(guān)于沿X方向的運(yùn)動(dòng)量的梯度。 T30xn=V30xn/Llt
此外，通過利用如下的表達(dá)式可以計(jì)算關(guān)于沿Y方向的運(yùn)動(dòng)量的梯度。 T30yn=V30yn/Llt
因此，當(dāng)加權(quán)系數(shù)(K1+K10+K20+K30)大于0時(shí)，可以分別利用如下的 表達(dá)式計(jì)算沿X方向的平均梯度Tavex (n)和沿Y方向的平均梯度Tavey (n)。
Tavex (n) = (Kl x Tlxn+ K10 x T10xn+ K20 x T20xn+ K30 x T30xn)/(K1+K10+K20+K30)Tavey(n) = (Kl x Tlyn+ K10 x TlOyn十 K20 x T20yn+ K30 x T30yn)/(K1+K10+K20+K30)
另外，當(dāng)(K1+K10+K20+K30) = 0時(shí)，可以利用如下表達(dá)式分別計(jì)算 Tavex (n)和Tavey (n)。
Tavex (n) = 0
Tavey (n) = 0
接著，利用所計(jì)算的平均梯度，運(yùn)動(dòng)矢量處理部分34合適地估算按照 40幀間隔的運(yùn)動(dòng)矢量(步驟963)。具體地說，運(yùn)動(dòng)矢量處理部分34可以將所 計(jì)算的平均梯度乘以幀間隔，因此計(jì)算如圖19所示的等效運(yùn)動(dòng)量。換句話說， 利用如下的表達(dá)式可以計(jì)算對于X和Y方向按照40幀間隔的估算的運(yùn)動(dòng)矢量 (估算的運(yùn)動(dòng)量)
40 x Tavex (n)
40 x Tavey (n)
要注意，在計(jì)算該梯度時(shí)，期望如圖19所示按所有的幀間隔通過原點(diǎn)的 直線(y-ax)。因此，相應(yīng)梯度的計(jì)算值僅僅是近似值。
運(yùn)動(dòng)矢量處理部分34將估算的運(yùn)動(dòng)矢量輸出到相機(jī)特征判斷部分36作 為在檢測目標(biāo)點(diǎn)Pn得到的運(yùn)動(dòng)矢量(圖9中的步驟97 )。此外。當(dāng)各計(jì)數(shù)值 m之和是0時(shí)(在步驟961為否)，運(yùn)動(dòng)矢量處理部分34將運(yùn)動(dòng)矢量設(shè)定為0 (步驟964 )并將該值輸出到相機(jī)特征判斷部分36 (圖9中的步驟97)。輸 出的運(yùn)動(dòng)矢量在后面要描述的多回歸分析處理中使用。
如上所述，因?yàn)樵O(shè)定判斷標(biāo)準(zhǔn)使得在檢測運(yùn)動(dòng)矢量不使用不滿足標(biāo)準(zhǔn)的 檢測數(shù)據(jù)即不精確的檢測數(shù)據(jù)，能夠改進(jìn)檢測運(yùn)動(dòng)矢量的精確度。此外，通 過基于按照相應(yīng)幀間隔的運(yùn)動(dòng)矢量的檢測數(shù)據(jù)，估算按照長于其它檢測幀間 隔的幀間隔的運(yùn)動(dòng)矢量，可以擴(kuò)展檢測數(shù)據(jù)的范圍(動(dòng)態(tài)范圍)，因此，與僅 將檢測數(shù)據(jù)定標(biāo)(scaling)的情況相比較，改進(jìn)了數(shù)據(jù)分辨性能。
回過來參照圖8，利用相機(jī)特征判斷部分36，視頻特征檢測部分4基于 從運(yùn)動(dòng)矢量處理部分34輸出的運(yùn)動(dòng)矢量數(shù)據(jù)實(shí)行多回歸分析處理(步驟43 )， 和計(jì)算仿射系數(shù)(步驟44)?，F(xiàn)在描述在多回歸分析處理中用于計(jì)算仿射系 數(shù)的仿射轉(zhuǎn)換模型。
圖20表示仿射轉(zhuǎn)換模型。仿射轉(zhuǎn)換模型用于描述利用矩陣按照坐標(biāo)轉(zhuǎn)換 處理的三維對象的平行移動(dòng)、放大/縮小和旋轉(zhuǎn)。因?yàn)閾u動(dòng)、傾斜和縮放的相機(jī)操作特征被認(rèn)為是在基準(zhǔn)幀71內(nèi)對象的平行移動(dòng)和放大/縮小，可以利用 仿射轉(zhuǎn)換模型描述相機(jī)操作特征。
這里，當(dāng)在視頻內(nèi)容中幀間隔不大時(shí)，關(guān)于旋轉(zhuǎn)特征假設(shè)旋轉(zhuǎn)角e很小， 可以實(shí)行如下的近似處理。
sin 6 0 cos 6 1
因此，如圖20所示，可以將仿射轉(zhuǎn)換模型進(jìn)行轉(zhuǎn)換。此外，通過利用仿 射模型基于所檢測的運(yùn)動(dòng)矢量計(jì)算各系數(shù)，可以檢測相機(jī)操作特征。具體地 說，對于搖動(dòng)、傾斜和縮放可以分別設(shè)定預(yù)定的閾值Pth、 Tth和Zth，并可 以將之與根據(jù)檢測的運(yùn)動(dòng)矢量處理的各仿射系數(shù)相比較，因此檢測相應(yīng)的相 機(jī)操作特征。
圖21表示用于通過多回歸分析計(jì)算仿射系數(shù)的處理。如圖所示，利用在 基準(zhǔn)幀71中作為在^r測目標(biāo)點(diǎn)Pn的xy坐標(biāo)(xn， yn )的解釋性變量，和在 檢索幀75中作為在運(yùn)動(dòng)矢量檢測位置Pm的xy坐標(biāo)(xm, ym )的被說明的變 量，通過實(shí)行多回歸分析處理，相機(jī)特征判斷部分36分別計(jì)算搖動(dòng)、傾斜 和縮放的系數(shù)Px、 Py和Zx(步驟44)。
回過來參照圖8,相機(jī)特征判斷部分36從計(jì)算的仿射系數(shù)中輸入搖動(dòng)系 數(shù)Px(步驟45)。然后，相機(jī)特征判斷部分36判斷Px是否大于閾值Pth(步 驟46 )。當(dāng)Px大于Pth (是)時(shí)，相機(jī)特征判斷部分36將搖動(dòng)檢測標(biāo)記Dpan 設(shè)定到1 (步驟47 ),和當(dāng)其等于或小于Pth (否)時(shí)，將搖動(dòng)檢測標(biāo)記Dpan 設(shè)定到0 (步驟48 )。
其后，相機(jī)特征判斷部分36從計(jì)算的仿射系數(shù)中輸入傾斜系數(shù)Py(步驟 49)。然后，相機(jī)特征判斷部分36判斷Py是否大于閾值Tth (步驟50)。當(dāng) Py大于Tth (是)時(shí)，相機(jī)特征判斷部分36將傾斜檢測標(biāo)記Dtilt設(shè)定到1 (步驟51)，和當(dāng)其等于或小于Tth (否)時(shí)，將搖動(dòng)檢測標(biāo)記Dtilt設(shè)定到 0 (步驟48 )。
接著，相機(jī)特征判斷部分36從計(jì)算的仿射系數(shù)中輸入縮放系數(shù)Zx和 Zy (步驟53)。然后，相機(jī)特征判斷部分36判斷Zx或Zy是否大于閾值Zth (步驟54)。當(dāng)Zx和Zy中的至少一個(gè)大于Zth (是)時(shí)，相機(jī)特征判斷部分 36將縮放檢測標(biāo)記Dzoom設(shè)定到1 (步驟55 ),和當(dāng)其等于或小于Zth (否) 時(shí)，將縮放檢測標(biāo)記Dzoom設(shè)定到0 (步驟56 )。要注意，關(guān)于搖動(dòng)、傾斜和縮放的相機(jī)操作特征，相機(jī)特征判斷部分36 可以可判別地檢測向左/向右搖動(dòng)、向左傾斜/向右傾斜和縮放放大/縮放縮小 中的每一個(gè)。通過參照相應(yīng)仿射系數(shù)的正和負(fù)符號，能夠易于實(shí)現(xiàn)區(qū)分。
其后，相機(jī)特征判斷部分36實(shí)行對搖動(dòng)系數(shù)Px和傾斜系數(shù)Py的時(shí)間 序列分析，以判斷由手的動(dòng)作引起的抖動(dòng)(步驟57)。圖22是表示抖動(dòng)判斷 處理的示意圖。
如圖22所示，相機(jī)特征判斷部分36能夠基于搖動(dòng)系數(shù)Px和傾斜系數(shù)
數(shù)判斷由手的動(dòng)作引起的抖動(dòng)，搖動(dòng)系數(shù)Px和傾斜系數(shù)Py已經(jīng)根據(jù)對于在 視頻內(nèi)容中的每個(gè)預(yù)定部分(tO到tl,tl到t2，t2到t3，t3到t4)的仿射系 數(shù)而算出。將每個(gè)預(yù)定部分例如設(shè)定為約0. 5秒到5秒的時(shí)間長度。
例如，在該圖中部分tO到tl中，Px或Py交叉平均值級別的次數(shù)為12。 相機(jī)特征判斷部分36判斷該交叉的次數(shù)是否超過閾值Thcr,和在每個(gè)預(yù)定 部分中的Px或Py的方差值是否大于預(yù)定的閾值Thv(步驟58)。
這里，當(dāng)用于每個(gè)預(yù)定部分的Px和Py的數(shù)據(jù)片的數(shù)目用N表示時(shí)，數(shù) 據(jù)片分別用Px (n)和Py (n)表示，和這些數(shù)據(jù)片的平均值分別用Pxave和Pyave 表示，Px和Py的方差值可以利用如下的表達(dá)式計(jì)算。
Pxvari=(l/N)/2 ((Pxave-Px (n)) x ( Pxave-Px (n))) Pyvari=(l/N)/2 ((Pyave-Py (n)) x ( Pyave-Py (n))) 當(dāng)交叉的次數(shù)和方差值中的任何一個(gè)大于相應(yīng)的閾值(是)時(shí)，相機(jī)特
為1(步驟59)。當(dāng)交叉的次數(shù)和方差值中的至少一個(gè)等于或小于相應(yīng)的閾值 (否)時(shí)，相機(jī)特征判斷部分36將抖動(dòng)檢測標(biāo)記設(shè)定為0(步驟60)。 接著，視頻特征檢測部分4實(shí)行淡入淡出和切換檢測處理。 首先，將描述由淡入淡出/切換處理部分27、 29、 31和33實(shí)行的處理。 淡入淡出/切換處理部分27、 29、 31和33分別從匹配處理部分26、 28、
30和32輸入匹配后的剩余值Eln、 E10n、 E20n、 E30n，并將基于這些剩余值
生成的淡入淡出/切換估算值輸出到淡入淡出/切換判斷部分35 (步驟61)。 這里，當(dāng)每個(gè)剩余值用En(n-O到63)表示時(shí)，可以利用如下的表達(dá)式計(jì)
算淡入淡出/切換估算值H。<formula>formula see original document page 27</formula>因此，淡入淡出/切換處理部分27、 29、 31和33分別從從匹配處理部 分26、 28、 30和32輸入剩余值Eln、 E10n、 E20n、 E30n，直到n達(dá)到63為 止，即直到輸入了所有檢測目標(biāo)點(diǎn)P0到P63的剩余值為止，并相應(yīng)地計(jì)算它 們的和。
幀的經(jīng)過之間關(guān)系的曲線圖。圖23是包含切換點(diǎn)的情況的曲線圖，圖24是 包含淡入淡出的情況的曲線圖。
基于在圖23和24中顯示的淡入淡出/切換估算值，淡入淡出/切換判斷 部分35實(shí)行淡入淡出/切換判斷(步驟62)。具體地說，當(dāng)?shù)氲?切換估 算值的變化伴隨幀的經(jīng)過是陡峭的(在步驟63為是)時(shí)，淡入淡出/切換判 斷部分35判斷該變化為切換，并將切換檢測標(biāo)記Dcut設(shè)定為1 (步驟65)。 另一方面，當(dāng)?shù)氲?切換估算值的變化伴隨幀的經(jīng)過是平緩的(在步驟 64為是)時(shí)，淡入淡出/切換判斷部分35判斷該變化為淡入淡出，并將淡入 淡出檢測標(biāo)記Dfade設(shè)定為1 (步驟66 )。當(dāng)任何一個(gè)都未檢測到時(shí)(在步驟 64為否)，淡入淡出/切換判斷部分35將切換檢測標(biāo)記Dcut和淡出檢測標(biāo)記 Dfade設(shè)定為0 (步驟67 )。
具體地說，淡入淡出/切換判斷部分35分析按照1幀間隔的淡入淡出/ 切換估算值的變化，并當(dāng)檢測到入圖23的曲線圖所示的峰值特性時(shí)，判斷其 峰值點(diǎn)為切換點(diǎn)。
此外，當(dāng)沒有檢測到峰值特性時(shí)，如圖24所示，淡入淡出/切換判斷部 分35在預(yù)定時(shí)間t計(jì)算按照1幀間隔的淡入淡出估算值(曲線a)和按照 10幀間隔的淡入淡出估算值(曲線b)之間得到的淡入淡出差分Va、按照10 幀間隔的淡入淡出估算值(曲線b)和按照20幀間隔的淡入淡出估算值(曲 線c )之間的淡入淡出差分Vb，和按照20幀間隔的淡入淡出估算值(曲線c ) 和按照30幀間隔的淡入淡出估算值(曲線d)之間的淡入淡出差分Vc。
在如圖24所示的淡入淡出的情況下，因?yàn)橐曨l逐漸地變化，淡入淡出/ 切換估算值的變化量取決于它們的幀間隔而相互不同。因此，所有Va、 Vb和 Vc的值顯著地按照相互相當(dāng)接近的正數(shù)值表達(dá)。另一方面，在如圖23所示 的切換的情況下，所有Va、 Vb和Vc可以是相互很大不同的負(fù)值。因此，淡 入淡出/切換判斷部分35可以通過分析Va、 Vb和Vc來檢測淡入淡出。
要注意，取代從匹配處理部分26、 28、 30和32分別輸入匹配后的剩余值，如上所述，淡入淡出/切換處理部分27、 29、 31和33可以通過利用從 圖像處理部分21輸入的基準(zhǔn)塊Bn和并用在塊匹配處理中的、從幀間存儲(chǔ)部 分22到25分別輸入的檢索塊Bm，單獨(dú)地計(jì)算淡入淡出/切換估算值。具體 地說，淡入淡出/切換處理部分27、 29、 31和33對于每個(gè)檢測目標(biāo)點(diǎn)Pn， 關(guān)于Y、 Cb和CR的每個(gè)數(shù)據(jù)片，檢測基準(zhǔn)塊Bn和檢索塊Bm之間的差分，并 相應(yīng)地計(jì)算檢測目標(biāo)點(diǎn)P0到P63的各差分的和作為淡入淡出/切換估算值。 通過將基準(zhǔn)塊Bnl和Bn2的組合數(shù)據(jù)與檢索塊Bml和Bm2的組合數(shù)據(jù)相比較 計(jì)算在這種情況下的差分。然而，利用如上所述的匹配后的剩余值當(dāng)然對淡 入淡出/切換處理部分27、 29、 31和33要求較小的負(fù)載。
圖25是表示由相機(jī)特征判斷部分36和淡入淡出/切換判斷部分35判斷 的相應(yīng)視頻特征的判斷結(jié)果的表。CPU 1實(shí)行控制以便例如將等同于表的數(shù) 據(jù)存儲(chǔ)到RAM 2或HDD 10中。
要注意，在圖7中，視頻特征檢測部分4通過將幀間存儲(chǔ)部分22到25 串聯(lián)構(gòu)成。然而，視頻特征檢測部分4可以通過將幀間存儲(chǔ)部分22到25并 聯(lián)構(gòu)成。圖26是表示在這種情況下的視頻特征檢測部分4的結(jié)構(gòu)的示意圖。 因此構(gòu)成的視頻特征檢測部分4執(zhí)行與在幀間存儲(chǔ)部分22到25串聯(lián)的情況 下相同的處理，并提供相同的效果。
接著，將對按照其活動(dòng)性級別分類視頻內(nèi)容的處理進(jìn)行描述，其中已經(jīng) 如上所述從該視頻內(nèi)容檢測視頻特征。
圖27是表示由記錄/再現(xiàn)裝置100實(shí)行的按照其活動(dòng)性級別分類視頻內(nèi) 容的處理流程的流程圖。
如圖所示，群集處理部分20首先將對執(zhí)行作為學(xué)習(xí)處理的群集處理的 次數(shù)進(jìn)行計(jì)數(shù)的計(jì)數(shù)值n和m初始化(步驟271)。然后，群集處理部分20從 在HDD 10中存儲(chǔ)的視頻內(nèi)容中選擇學(xué)習(xí)視頻內(nèi)容(步驟272 )。例如隨機(jī)選 擇全部視頻內(nèi)容中的大約20°/ 作為學(xué)習(xí)內(nèi)容，當(dāng)然該比率并不局限于此。計(jì) 數(shù)值n和m用于在利用不同的學(xué)習(xí)內(nèi)容執(zhí)行學(xué)習(xí)處理的情況下，區(qū)分處理中 的計(jì)數(shù)值。當(dāng)在選擇學(xué)習(xí)內(nèi)容之后首先執(zhí)行學(xué)習(xí)處理時(shí)，設(shè)定計(jì)數(shù)值n,此 后當(dāng)在重新選擇學(xué)習(xí)內(nèi)容之后再次執(zhí)行學(xué)習(xí)處理時(shí)，設(shè)定計(jì)數(shù)值m。
其后，群集處理部分20選擇要作為用于群集所選擇的學(xué)習(xí)內(nèi)容的基準(zhǔn) 的視頻特征類型(步驟273 )。視頻特征類型是指搖動(dòng)、傾斜和縮放的相機(jī)操 作特征及淡入淡出和切換的視頻編輯特征。搖動(dòng)、傾斜和縮放的相機(jī)操作特征指示在視頻內(nèi)容的視頻中的運(yùn)動(dòng)，和存在越多的相機(jī)操作特征，在視頻中 是運(yùn)動(dòng)越劇烈，意味著視頻內(nèi)容具有高的活動(dòng)性。此外，淡入淡出和切換的 視頻編輯特征指示在視頻內(nèi)容中的場景切換，和存在越多的視頻編輯特征， 在視頻內(nèi)容中存在越多的場景切換，意味著視頻內(nèi)容具有高的活動(dòng)性。因此，
記錄/再現(xiàn)裝置100通過利用視頻特征判斷視頻內(nèi)容的活動(dòng)性。
接著，群集處理部分20基于所選擇的視頻特征類型群集(cluster)學(xué)習(xí) 內(nèi)容。具體地說，群集處理部分20例如基于在已由視頻特征檢測部分4計(jì) 算的的全部視頻內(nèi)容內(nèi)部的搖動(dòng)系數(shù)、傾斜系數(shù)和縮放系數(shù)的相應(yīng)平均值及 淡入淡出/切換估算值(后面將稱之為視頻特征值)實(shí)行群集。例如使用 K-means (K均值)法作為群集方法。當(dāng)使用K-means法時(shí)，群K的^t目例如 是3。
其后，群集處理部分20估算(evaluate)通過群集處理分類的群集(步 驟275 )并判斷該群集處理是否已經(jīng)成功(步驟276 )。例如，當(dāng)〖=3時(shí)，生 成第一群集(活動(dòng)的)、具有與第一群集全部不同特征的第二群集(非活動(dòng)的)， 和具有第一和第二群集的中間特征的第三群集。群集處理部分20 4企測屬于 第一到第三群集中的每一個(gè)群集的視頻內(nèi)容的數(shù)目，和例如當(dāng)屬于第三群集 的視頻內(nèi)容的數(shù)目相對于所有學(xué)習(xí)內(nèi)容數(shù)目的比率是預(yù)定比率(例如1/3) 或更小時(shí)，確定群集處理已經(jīng)成功。此外，當(dāng)屬于第三群集的視頻內(nèi)容的數(shù) 目小于屬于第一和第二群集中的每一個(gè)群集的視頻內(nèi)容時(shí)，群集處理部分20 可以確定群集處理已經(jīng)成功。作出如上所述的確定的理由是因?yàn)?，由于?dāng)屬 于第三群集和具有中間特征的視頻內(nèi)容的數(shù)目大時(shí)，通過后面將描述的判別 分析判斷活動(dòng)性的結(jié)果不能有效地呈現(xiàn)給用戶，需要預(yù)先確定視頻內(nèi)容是否 能夠適當(dāng)?shù)胤诸悺?br> 例如，在學(xué)習(xí)內(nèi)容的數(shù)目是100的情況下，當(dāng)屬于第一到第三群集的視 頻內(nèi)容的數(shù)目分別是40、 40、和20時(shí)，確定群集處理已經(jīng)成功。當(dāng)該數(shù)目 按照所述次序是20、 20和60時(shí)，確定群集處理已經(jīng)失敗。
當(dāng)在步驟276確定群集處理已經(jīng)失敗(否(a))時(shí)，群集處理部分20 將計(jì)數(shù)值n遞增l(步驟277 )和確定計(jì)數(shù)值n是否已經(jīng)超過預(yù)定的閾值nth (步 驟278)。
當(dāng)在步驟278確定計(jì)數(shù)值n未超過預(yù)定的閾值nth (否)時(shí)，群集處理到275的學(xué)習(xí)處理。這時(shí)，在步驟273,選擇在組合上與先前選擇的視頻特 征類型不同的視頻特征類型。例如，當(dāng)在上一學(xué)習(xí)處理中選擇搖動(dòng)和傾斜的 視頻特征時(shí)，在當(dāng)前的學(xué)習(xí)處理中將搖動(dòng)和傾斜的視頻特征類型的至少其中 之一改變?yōu)榭s放、淡入淡出和切換的視頻特征類型的至少其中之一。相應(yīng)地， 變得能夠確定哪些視頻特征應(yīng)當(dāng)用于適當(dāng)?shù)胤诸恀L頻內(nèi)容。
另一方面，當(dāng)在步驟278確定計(jì)數(shù)值n已超過預(yù)定的闊值nth (是)時(shí)， 群集處理部分20使顯示器顯示一指示群集處理已經(jīng)失敗的告警信息(步驟 279 )，并經(jīng)由顯示器提示用戶選擇是否再次實(shí)行學(xué)習(xí)處理(步驟281)。
當(dāng)用戶選擇再次實(shí)行學(xué)習(xí)處理(在步驟281中為是)時(shí)，群集處理部分20 將計(jì)數(shù)值m遞增1 (步驟282)并確定計(jì)數(shù)值m是否已經(jīng)超過預(yù)定值mth (步驟 283 )。
當(dāng)在步驟283中確定計(jì)數(shù)值m未超過預(yù)定值mth (否)時(shí)，群集處理部 分20重新選擇與在上一學(xué)習(xí)處理中作為學(xué)習(xí)內(nèi)容所選擇的視頻內(nèi)容不同的 視頻內(nèi)容作為學(xué)習(xí)內(nèi)容(步驟272 )，并在后面重復(fù)步驟273到276的處理。
此外，在這種情況下，當(dāng)在步驟276中確定群集處理已經(jīng)失敗(否(b)) 時(shí)，群集處理部分20將計(jì)數(shù)值遞增1 (步驟282 )并在改變視頻特征類型的 同時(shí)重復(fù)步驟273到276的處理，直到計(jì)數(shù)值m超過闊值mth為止。
當(dāng)在步驟2 7 6中確定群集處理已經(jīng)失敗和計(jì)數(shù)值m已經(jīng)超過閾值mt h時(shí)， 群集處理部分20使顯示器顯示不能將學(xué)習(xí)內(nèi)容分類(步驟284 )并終止該處 理。
當(dāng)在步驟276中確定群集處理已經(jīng)成功(是)時(shí)，活動(dòng)性判別部分40 檢測在每個(gè)分類的群集中的特征(步驟285 )。具體地說，活動(dòng)性判別部分40 參照屬于每個(gè)群集的視頻內(nèi)容的視頻特征值，以檢測在相應(yīng)群集中的為"活 動(dòng)的"、"非活動(dòng)的"和"中間"的特征。
然后，活動(dòng)性判別部分40選擇在群集的檢測值中間屬于分別具有"活 動(dòng)的"和"非活動(dòng)的"特征的群集的學(xué)習(xí)內(nèi)容，并使用屬于相應(yīng)群集的學(xué)習(xí) 內(nèi)容的視頻特征值，以實(shí)行兩組判別分析(步驟286 )。因此，活動(dòng)性判斷部 分活動(dòng)性判別部分40計(jì)算判別函數(shù)(用于判別函數(shù)的系數(shù))(步驟287 )。
其后，活動(dòng)性判別部分40選擇不同于學(xué)習(xí)內(nèi)容的視頻內(nèi)容作為判別視 頻內(nèi)容(步驟288 )并基于視頻內(nèi)容的視頻特征值利用所計(jì)算的判別函數(shù)實(shí) 行判別分析，以此計(jì)算判別視頻內(nèi)容的判別函數(shù)值f (步驟289 )。接著，活動(dòng)性判別部分40確定每個(gè)計(jì)算的判別函數(shù)值f的絕對值I f I 是否大于預(yù)定閾值fa (步驟290 )。
當(dāng)絕對值I f I大于預(yù)定閾值fa(是)時(shí)，活動(dòng)性判別部分40接著確定f 是否大于0 (步驟291)。
當(dāng)f大于0時(shí)，則活動(dòng)性判別部分40將^L頻內(nèi)容分類作為活動(dòng)的視頻 內(nèi)容(步驟292 )。
另一方面，當(dāng)f小于0時(shí)，活動(dòng)性判別部分40將視頻內(nèi)容分類作為非 活動(dòng)的視頻內(nèi)容(步驟293 )。
此外，在步驟290,當(dāng)絕對值I f I小于或等于預(yù)定閾值fa時(shí)，活動(dòng)性 判別部分40將視頻內(nèi)容分類作為中間的視頻內(nèi)容(步驟294 )。
分類結(jié)果與相應(yīng)的視頻內(nèi)容相關(guān)聯(lián)并存儲(chǔ)在HDD IO等中。要注意，活動(dòng) 性判別部分40后面也對于用作學(xué)習(xí)內(nèi)容的視頻內(nèi)容，通過判別處理來判斷 和分類活動(dòng)性。
圖28是示意表示由活動(dòng)性判別部分40實(shí)行的處理以將視頻內(nèi)容分類的 示意圖。圖28A表示關(guān)于還沒有受到分類處理的^L頻內(nèi)容的視頻特征值的數(shù) 據(jù)分布，圖28B表示對于圖28所示分布的視頻內(nèi)容利用判別分析實(shí)行分類處 理的狀態(tài)。
如圖28A所示，活動(dòng)的內(nèi)容(圖中的A)和非活動(dòng)的內(nèi)容(圖中的B)出 現(xiàn)在視頻內(nèi)容中。然而，在這種狀態(tài)下記錄/再現(xiàn)裝置100不能將它們相互區(qū) 分。
這也，如圖28B所示，計(jì)算上述判別函數(shù)。利用判別函數(shù)，取決于判別 函數(shù)值f的符號是正還是負(fù)，在區(qū)域A和區(qū)域B之間判別該數(shù)據(jù)分布中的視 頻內(nèi)容，活動(dòng)的視頻內(nèi)容屬于區(qū)域A,非活動(dòng)的視頻內(nèi)容屬于區(qū)域B。此外， 在區(qū)域A和B中間，在判別函數(shù)的附近的區(qū)域C——在區(qū)域C中判別函數(shù)值f 的絕對值I f I變得等于或小于閾值fa — —設(shè)定作為其中區(qū)域A和B的數(shù)據(jù) 頻率小的中間區(qū)域。換句話說，區(qū)域C具有區(qū)域A和B兩者的特性，并被認(rèn) 為是既沒有活動(dòng)的也沒有非活動(dòng)的視頻特征的視頻內(nèi)容一一即具有中間視頻 特征的視頻內(nèi)容一 一所屬于的區(qū)域。
如上所述，活動(dòng)性判別部分40基于判別函數(shù)限定區(qū)域A到C，使得可以 將視頻內(nèi)容分類成3個(gè)類別。
接著，描述向用戶呈現(xiàn)所分類的視頻內(nèi)容的活動(dòng)性的方法。在再現(xiàn)記錄在HDD IO上的視頻內(nèi)容時(shí)，記錄/再現(xiàn)裝置IOO使顯示器顯 示視頻內(nèi)容的內(nèi)容列表，以使用戶從內(nèi)容列表中選擇用戶希望再現(xiàn)的視頻內(nèi)
再現(xiàn)裝置100中的CPU 1使用戶能按照視頻內(nèi)容的活動(dòng)性選擇視頻內(nèi)容。 圖29是表示內(nèi)容列表上的活動(dòng)性識別信息的顯示實(shí)例的示意圖。 如圖所示，在在窗口 301中，以矩陣方式顯示相應(yīng)^L頻內(nèi)容的縮略 像302和標(biāo)題信息303作為內(nèi)容列表。此外，CPU 1使顯示器在每個(gè)視頻內(nèi) 容的縮略像302的上部顯示星形標(biāo)記304,作為指示在3個(gè)活動(dòng)性類型 中所判斷的活動(dòng)性類型的活動(dòng)性識別信息。3個(gè)星形標(biāo)記304指示活動(dòng)的視 頻內(nèi)容、2個(gè)星形標(biāo)記304指示中間視頻內(nèi)容，1個(gè)星形標(biāo)記304指示非活動(dòng) 的一見頻內(nèi)容。
當(dāng)希望觀看活動(dòng)的視頻內(nèi)容時(shí)，用戶僅需要經(jīng)由操作輸入部分3選擇具 有作為活動(dòng)性識別信息顯示的3個(gè)星形標(biāo)記304的視頻內(nèi)容的縮略像 302。相反，當(dāng)希望觀看非活動(dòng)的視頻內(nèi)容時(shí)，用戶僅需要選擇具有所顯示的 1個(gè)星形標(biāo)記304的視頻內(nèi)容的縮略像302。要注意，可以使用包含圓形 或其它幾何形狀的其它附圖標(biāo)記(符號)替代星形標(biāo)記304，或還可以使用 包含字符的其它圖像。
此外，當(dāng)用戶希望觀看非活動(dòng)(例如平靜)的視頻內(nèi)容時(shí)，與在該圖中 所示的情況相反，CPU 1可以使顯示器顯示3個(gè)星形標(biāo)記304等作為用于非 活動(dòng)的^L頻內(nèi)容的活動(dòng)性識別信息，并顯示1個(gè)星形標(biāo)記304等作為用于活 動(dòng)的視頻內(nèi)容的活動(dòng)性識別信息。此外，CPU 1可以允許用戶根據(jù)用戶希望 觀看活動(dòng)的和非活動(dòng)的視頻內(nèi)容中的哪一個(gè)，定制活動(dòng)性識別信息顯示方法。
圖30是表示內(nèi)容列表的另一個(gè)顯示實(shí)例的示意圖。要注意，用相同的標(biāo) 號代表與在圖29中的部分相同的部分。
如圖所示，CPU 1可以顯示活動(dòng)性識別信息作為在內(nèi)容列表中的縮略圖 圖像302的對比信息。在圖中，增亮顯示活動(dòng)的視頻內(nèi)容的縮略像302 (例如縮略像302a ),稍暗顯示中間的視頻內(nèi)容的縮略像302 (例如 縮略像302b )，更暗顯示非活動(dòng)的視頻內(nèi)容的縮略像302 (例如縮略 像302c)。例如在0SD(屏幕顯示器)17上通過將縮略像和具有步進(jìn) 對比度的灰色背景圖像重疊，可以實(shí)現(xiàn)這一顯示。
此外，當(dāng)用戶希望觀看非活動(dòng)時(shí)，CPU l可以實(shí)行控制，使得與更活動(dòng)的視頻內(nèi)容的顯示相比更亮地顯示較少的活動(dòng)的視頻內(nèi)容。此外，CPU 1可 以使用戶定制哪一個(gè)視頻內(nèi)容明亮地顯示。
此外，取代改變縮略像302的對比度，CPU 1可以通過僅改變縮略 像302的顏色，或者僅僅改變縮略像302外框的顏色來識別活動(dòng)性。
在圖29和30的實(shí)例中，CPU 1使活動(dòng)性識別信息按3級可區(qū)分地顯示。 然而，CPU 1還可以通過利用多于3級使活動(dòng)性識別信息可區(qū)分地顯示。可 以在圖27的步驟290中由活動(dòng)性判別部分40設(shè)定多個(gè)閾值fa和將視頻內(nèi) 容分類為4或更多個(gè)級來實(shí)現(xiàn)這一點(diǎn)。
此外，取代步進(jìn)地(按離散的量)指示的內(nèi)容活動(dòng)性，CPU 1可以按照 每個(gè)視頻內(nèi)容的活動(dòng)性相對于活動(dòng)性的最大值的比率以連續(xù)量(以模擬方式) 指示活動(dòng)性?？梢栽趫D27的步驟289中由活動(dòng)性判別部分40輸出原樣判別 函數(shù)值f作為指示活動(dòng)性的信息來實(shí)現(xiàn)這一點(diǎn)。具體地說，假設(shè)為-1的判 別函數(shù)值f是最小值，f為1是最大值，CPU 1僅需要通過將每個(gè)視頻內(nèi)容的 判別函數(shù)值f轉(zhuǎn)換為它們相對于最大值1的比率，在內(nèi)容列表中顯示活動(dòng)性。
圖31是表示在這種情況下在內(nèi)容列表中的活動(dòng)性識別信息顯示實(shí)例的 示意圖。要注意，用相同的標(biāo)號代表與在圖29和30中的部分相同的部分。
如圖所示，CPU 1按照指示活動(dòng)性相對于最大值的比率的圖像(比率顯 示圖像305 )，使活動(dòng)性識別信息在內(nèi)容列表中顯示。在圖中，按照條形曲線 (指示符)顯示比率顯示圖像305。然而，可以按其它形式例如餅形圖顯示 比率顯示圖像305。此外，替代對象例如圖形，CPU 1可以使該比率按照數(shù)字 值(文本信息)顯示。
如上所述，通過更具體地和以連續(xù)的量(以模擬方式)呈現(xiàn)視頻內(nèi)容的 活動(dòng)性，用戶的選擇范圍可以加寬。
除了在內(nèi)容列表中顯示活動(dòng)性識別信息以外，CPU 1可以使得能夠按照 其活動(dòng)性檢索(提取)視頻內(nèi)容。
例如，CPU 1可以使得能夠從在圖29到31所示的內(nèi)容列表中提取具有 一定活動(dòng)性的視頻內(nèi)容。
圖32是表示在這種情況下的內(nèi)容列表的顯示實(shí)例的示意圖。如圖所示， 在窗口 301的上部提供選擇框306和檢索按鈕307,使得例如通過無線電按 鈕能夠選擇或是活動(dòng)的或是非活動(dòng)的視頻內(nèi)容的活動(dòng)性類型。當(dāng)用戶利用無 線電按鈕在選擇框306內(nèi)選擇視頻內(nèi)容的類型的和按下檢索按鈕307時(shí)，視頻內(nèi)容被窄化到具有所選擇的活動(dòng)性類型的視頻內(nèi)容，這些視頻內(nèi)容的縮略
像302及標(biāo)題信息303顯示在窗口 301內(nèi)側(cè)。在圖中，當(dāng)選擇在選擇框 306中的活動(dòng)的內(nèi)容和按下檢索按鈕307時(shí)，僅顯示關(guān)于活動(dòng)的視頻內(nèi)容的 信息。要注意，在圖中，顯示星形標(biāo)記作為活動(dòng)性識別信息。然而，可以使 用如上所述的任何種類的活動(dòng)性識別信息。
此外，可以使得CPU 1能夠利用活動(dòng)性和包含流派(genre)的其它提取 項(xiàng)的組合提取視頻內(nèi)容。例如，通過僅從流派"運(yùn)動(dòng)"內(nèi)部提取活動(dòng)的內(nèi)容， 變得能夠從與運(yùn)動(dòng)相關(guān)的視頻內(nèi)容中提取包含例如足球賽場景的更多動(dòng)作的 視頻內(nèi)容。
此外，當(dāng)利用關(guān)鍵詞等檢索視頻內(nèi)容時(shí)，CPU 1可以使用活動(dòng)性作為對 于視頻內(nèi)容的檢索條件(檢索范圍)之一。
圖33是表示在這種情況下的內(nèi)容列表的顯示實(shí)例的圖。如圖所示，窗口 301在其上部提供有選擇框306、 一用于輸入檢索關(guān)鍵詞的輸入框308和檢索 按鈕307,該選擇框306其使用戶能從活動(dòng)的視頻內(nèi)容、非活動(dòng)的視頻內(nèi)容 和所有的視頻內(nèi)容中間，選擇其活動(dòng)性類型被設(shè)定作為用于檢索的檢索范圍 的視頻內(nèi)容。
通過用戶選擇在選擇框306中設(shè)定作為檢索范圍的視頻內(nèi)容的類型，此 后輸入在輸入框308中的關(guān)鍵詞，和按下檢索按鈕307,從選擇框306中選 擇的類型的視頻內(nèi)容中來檢索匹配關(guān)鍵詞的視頻內(nèi)容。圖33表示按照檢索范 圍選擇活動(dòng)的視頻內(nèi)容和輸入關(guān)鍵詞"足球"的狀態(tài)。當(dāng)在這種狀態(tài)按下檢 索按鈕307時(shí)，例如顯示包含足球比賽的視頻內(nèi)容的縮略像302a和標(biāo)題 信息作為檢索結(jié)果。
應(yīng)視頻內(nèi)容的基調(diào)(modd)作為活動(dòng)性識別信息，對于用戶變得能夠按照當(dāng)時(shí) 他/她的內(nèi)心狀態(tài)選擇視頻內(nèi)容。
本發(fā)明并不局限于上述實(shí)施例，當(dāng)然可以在不脫離本發(fā)明的構(gòu)思的情況 下進(jìn)行各種各樣的改進(jìn)。
在上述實(shí)施例中，已經(jīng)示范應(yīng)用本發(fā)明的記錄/再現(xiàn)裝置100。然而，本 發(fā)明可以應(yīng)用于各種電子裝置，例如電視裝置、PC、蜂窩式電話、游戲機(jī)、 數(shù)字相機(jī)和便攜式攝像機(jī)(camcoder )。
此外，本發(fā)明可以應(yīng)用于網(wǎng)站服務(wù)器，用于在因特網(wǎng)上提供視頻內(nèi)容張貼站點(diǎn)。在這種情況下，在其中已經(jīng)從客戶裝置例如PC上載預(yù)定數(shù)目的視頻
內(nèi)容的階段，網(wǎng)站服務(wù)器僅需要由視頻特征檢測部分4檢測視頻內(nèi)容的視頻 特征并選擇一部分視頻內(nèi)容作為學(xué)習(xí)視頻內(nèi)容，由群集處理部分20實(shí)行群 集處理(學(xué)習(xí)處理)，并由活動(dòng)性判別部分40基于學(xué)習(xí)結(jié)果計(jì)算判別函數(shù)， 因此，基于判別函數(shù)判斷除了學(xué)習(xí)視頻內(nèi)容以外的視頻內(nèi)容的活動(dòng)性，如在 上述實(shí)施例中那樣。在這種情況下，活動(dòng)性判別部分40還可以此后通過判 別分析判斷學(xué)習(xí)內(nèi)容的活動(dòng)性，或者群集處理部分20可以與上載的視頻內(nèi) 容分開準(zhǔn)備學(xué)習(xí)內(nèi)容。
例如，在一其中上載1000個(gè)一見頻內(nèi)容的階IS:，網(wǎng)站il良務(wù)器選擇1000個(gè) 視頻內(nèi)容中的200個(gè)視頻內(nèi)容作為學(xué)習(xí)內(nèi)容，并判斷其余800個(gè)視頻內(nèi)容的 活動(dòng)性。當(dāng)然，數(shù)字值不局限于此。
此外，網(wǎng)站服務(wù)器僅需要?jiǎng)?chuàng)建一用于顯示上載的視頻內(nèi)容作為內(nèi)容列表 的網(wǎng)頁，和實(shí)行控制以便在作為客戶裝置的用戶PC上實(shí)現(xiàn)的瀏覽器上，按照 判斷的活動(dòng)性(發(fā)送網(wǎng)頁)將如圖29到31分別所示的各種類型的活動(dòng)性識 別信息其中之一，顯示在內(nèi)容列表的內(nèi)容列中。
期望將來進(jìn)一步開發(fā)用戶發(fā)布型視頻站點(diǎn)和還期望視頻內(nèi)容的數(shù)目增 加。因此，按照其活動(dòng)性分類視頻內(nèi)容并顯示活動(dòng)性識別信息極大地有助于 用戶選擇視頻內(nèi)容。
在上述實(shí)施例中，群集處理部分20使用K-means法作為群集方法。然 而，可代之以使用其它群集方法例如模糊C-means法和ward (監(jiān)督)法。此 外，替代所謂的數(shù)據(jù)群集法，群集處理部分20可以使用其它分類方法例如 決策樹。
在上述實(shí)施例中，活動(dòng)性判斷部分40利用該使用線性判別函數(shù)的判別 函數(shù)判斷視頻內(nèi)容的活動(dòng)性。然而，活動(dòng)性判別部分40可以使用非線性判 另ll函凄史例i口 Mahalanobis' generalized distance (Mahalanobis纟克一4b^巨 離)，或可以通過利用例如活動(dòng)的、非活動(dòng)的和中間的3個(gè)系數(shù)的多判別分析 來判斷視頻內(nèi)容。
此外，當(dāng)以階狀(如以3、 4或5級)呈現(xiàn)活動(dòng)性時(shí)，如果需要，替代實(shí) 行判別分析，活動(dòng)性判別部分40可以通過實(shí)行類似于由群集處理部分20進(jìn) 行的學(xué)習(xí)處理的群集分析，在改變?nèi)杭臄?shù)目K(例如在K-means法中的K) 的同時(shí)，將視頻內(nèi)容分類。在上述實(shí)施例中，記錄/再現(xiàn)裝置IOO按照其活動(dòng)性將視頻內(nèi)容分類。然 而，記錄/再現(xiàn)裝置IOO可以將基于活動(dòng)性的視頻內(nèi)容的分類處理和基于作為
相機(jī)操作特征檢測的抖動(dòng)的視頻內(nèi)容的分類處理組合。例如記錄/再現(xiàn)裝置
內(nèi)容分類到所廣播的視頻內(nèi)容(包含所謂的IP廣播)和通過個(gè)人例如用戶利 用家用攝像機(jī)等拍攝的私人視頻內(nèi)容，因此能夠進(jìn)行附加的過濾和分類，基 于視頻內(nèi)容是廣播內(nèi)容和私人內(nèi)容中的哪一個(gè)，用以顯示基于其活動(dòng)性已經(jīng) 分類的相關(guān)的視頻內(nèi)容。相應(yīng)地，例如當(dāng)用戶希望基于活動(dòng)性從由專業(yè)的攝 像人員拍攝的高質(zhì)量的視頻內(nèi)容中選擇視頻內(nèi)容時(shí)，可以將不與用戶觀看目 的相匹配的視頻內(nèi)容從所選擇的目標(biāo)中移出，以此可以減少對于用戶選擇視 頻內(nèi)容所需的時(shí)間和工作。
在上述實(shí)施例中，視頻特征檢測部分4沿徑向設(shè)定多個(gè)基準(zhǔn)塊Bn。然而， 視頻特征檢測部分4例如可以利用單一基準(zhǔn)塊4全測運(yùn)動(dòng)矢量，而不在徑向上 將多個(gè)基準(zhǔn)塊組合。
在上述實(shí)施例中，視頻特征檢測部分4通過利用匹配后的剩余值作為淡 入淡出/切換估算值來判斷淡入淡出和切換。然而，除了利用淡入淡出/切換 估算值的判斷處理以外，視頻特征4全測部分4可以利用頻率分析實(shí)行判斷處 理。
具體地說，淡入淡出/切換處理部分27、 29、 31和33相對于從圖像處 理部分21輸入的基準(zhǔn)幀71和分別從幀間存儲(chǔ)部分22到25輸入的檢索75, 通過FFT(快速傅立葉轉(zhuǎn)換)處理、邊緣檢測處理等來實(shí)行頻率分析處理，并 分別將其結(jié)果輸出到淡入淡出/切換判斷部分35。淡入淡出/切換判斷部分 35利用淡入淡出/切換估算值和頻率分析處理的結(jié)果兩者來判斷淡出和切換。 因?yàn)樵诘氲霾糠种行纬傻膱D像不清楚，考慮頻率分量，高頻分量的特征 變小。因此，這一特征可以用于判斷淡入淡出和切換。
在上述實(shí)施例中，視頻特征檢測部分4利用視頻內(nèi)容的相應(yīng)幀的基帶帶 寬的解碼信號實(shí)行視頻特征檢測處理。然而，視頻特征檢測部分4可以使用 解碼前的編碼數(shù)據(jù)替代基帶帶寬的解碼的信號。例如，當(dāng)將視頻內(nèi)容以MPEG 格式或DV格式編碼時(shí)，替代Y、 Cb和Cr信號，視頻特征檢測部分4能夠從 DCT(離散余弦轉(zhuǎn)換)系數(shù)中分析DC(直流)系數(shù)，因此以類似方式選擇視頻特 征。本領(lǐng)域的技術(shù)人員會(huì)理解，迄今可以根據(jù)設(shè)計(jì)要求和其它因素進(jìn)行各種 改進(jìn)、組合、子組合和替換，只要它們在所提出的權(quán)利要求或其等效物的范 圍內(nèi)。
權(quán)利要求
1. 一種電子裝置，包含；檢測裝置，用于將構(gòu)成多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容的多個(gè)幀中的各個(gè)幀相互比較，和從多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容中檢測由相機(jī)操作和視頻編輯其中之一生成的視頻特征；和分類裝置，用于基于所檢測的視頻特征判斷包含在多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容中的視頻的視覺活動(dòng)性級別，和基于所判斷的活動(dòng)性級別將多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容分類。
2. 按照權(quán)利要求1所述的電子裝置， 其中檢測裝置能夠檢測多個(gè)種類的視頻特征，和 其中分類裝置包含選擇裝置，用于從該多個(gè)種類的視頻特征中選擇至少 一個(gè)種類的視 頻特征以設(shè)定作為用于判斷活動(dòng)性級別的基準(zhǔn)，和判斷裝置，用于基于所選擇的視頻特征判斷多個(gè)視頻內(nèi)容中的每一 個(gè)視頻內(nèi)容的活動(dòng)性級別。
3. 按照權(quán)利要求2所述的電子裝置，其中選擇裝置包含學(xué)習(xí)裝置，用于對于多個(gè)種類視頻特征中的每一種類 視頻特征將從多個(gè)視頻內(nèi)容中的第一視頻內(nèi)容分類成預(yù)定數(shù)目的組，和基于 包含在預(yù)定數(shù)目的組中的每一個(gè)組中的所分類的第一視頻內(nèi)容的數(shù)目的比率 來學(xué)習(xí)要選擇的視頻特征，和其中判斷裝置基于所選擇的視頻特征，從多個(gè)視頻內(nèi)容中判斷除了第一 視頻內(nèi)容以外的第二-見頻內(nèi)容的活動(dòng)性級別。
4. 按照權(quán)利要求3所述的電子裝置，其中檢測裝置檢測多個(gè)種類的視頻內(nèi)容中的每一個(gè)種類的視頻內(nèi)容作為 預(yù)定的特征值，和其中判斷裝置生成預(yù)定判別函數(shù)，用于利用作為學(xué)習(xí)結(jié)果所選擇的視頻 特征的特征值作為變量，在其活動(dòng)性級別高的視頻內(nèi)容和其活動(dòng)性級別低的 視頻內(nèi)容之間判別第二視頻內(nèi)容，并基于判別函數(shù)的值判斷活動(dòng)性級別。
5. 按照權(quán)利要求4所述的電子裝置，其中判斷裝置按照判別函數(shù)值是正值和負(fù)值中的哪一個(gè)及判別函數(shù)值的 絕對值是否超過至少一個(gè)預(yù)定閾值，將第二視頻內(nèi)容分類到多個(gè)級別。
6. 按照權(quán)利要求l所述的電子裝置， 還包含存儲(chǔ)裝置，用于存儲(chǔ)多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容連同所判斷的其 活動(dòng)性級別，和輸出裝置，用于輸出一信號，該信號用于顯示輸入多個(gè)所存儲(chǔ)的視頻內(nèi) 容中的每一個(gè)視頻內(nèi)容的再現(xiàn)的內(nèi)容列表連同用于識別所判斷的多個(gè)視頻內(nèi) 容中的每一個(gè)視頻內(nèi)容的活動(dòng)性級別的識別信息。
7. 按照權(quán)利要求6所述的電子裝置，其中由輸出裝置輸出的信號使與活動(dòng)性級別對應(yīng)的數(shù)的預(yù)定符號作為識 別信息顯示。
8. 按照權(quán)利要求6所述的電子裝置，其中由輸出裝置輸出的信號使指示該活動(dòng)性級別相對于最大活動(dòng)性級別 的比率的圖像作為識別信息顯示。
9. 按照權(quán)利要求6所述的電子裝置，其中由輸出裝置輸出的信號使得示出多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容 處于可再現(xiàn)狀態(tài)的縮略像顯示作為識別信息，同時(shí)按照多個(gè)視頻內(nèi)容中 的每一個(gè)視頻內(nèi)容的活動(dòng)性級別改變縮略像的對比度。
10. 按照權(quán)利要求6所述的電子裝置，還包含檢索裝置，用于檢索具有預(yù)定活動(dòng)性級別的視頻內(nèi)容， 其中由輸出裝置輸出的信號使具有預(yù)定活動(dòng)性級別的視頻內(nèi)容的內(nèi)容列 表和其識別信息作為檢索的結(jié)果顯示。
11. 一種內(nèi)容分類方法，包含將構(gòu)成多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容的多個(gè)幀中的各個(gè)幀相互比 較，和從多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容中檢測由相機(jī)操作和視頻編輯的 其中之一生成的^L頻特征；和基于所檢測的視頻特征判斷包含在多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容中 視頻的視覺活動(dòng)性級別，和基于所判斷的活動(dòng)性級別將多個(gè)視頻內(nèi)容中的每 一個(gè)3見頻內(nèi)容分類。
12. —種程序，用于使電子裝置執(zhí)行如下的步驟將構(gòu)成多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容的多個(gè)幀中的各個(gè)幀相互比 較，和從多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容中檢測由相機(jī)操作和視頻編輯的其中之一生成的^L頻特征；和基于所檢測的視頻特征判斷包含在多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容中 視頻的視覺活動(dòng)性級別，和基于所判斷的活動(dòng)性級別將多個(gè)視頻內(nèi)容中的每 一個(gè)i見頻內(nèi)容分類。
13. —種電子裝置，包含檢測單元，用于將構(gòu)成多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容的多個(gè)幀中的 各個(gè)幀相互比較，和從多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容中檢測由相機(jī)操作 和視頻編輯其中之一生成的視頻特征；和分類單元，用于基于所檢測的視頻特征判斷包含在多個(gè)視頻內(nèi)容中的每 一個(gè)視頻內(nèi)容中的視頻的視覺活動(dòng)性級別，和基于所判斷的活動(dòng)性級別將多 個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容分類。
全文摘要
一種電子裝置，包含檢測單元和分類單元。檢測單元將構(gòu)成多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容的多個(gè)幀中的各個(gè)幀相互比較，和從多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容中檢測由相機(jī)操作和視頻編輯其中之一生成的視頻特征。分類單元基于所檢測的視頻特征判斷包含在多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容中的視頻的視覺活動(dòng)性級別，和基于所判斷的活動(dòng)性級別將多個(gè)視頻內(nèi)容中的每一個(gè)視頻內(nèi)容分類。
文檔編號G06F17/30GK101414302SQ20081014993
公開日2009年4月22日 申請日期2008年10月17日 優(yōu)先權(quán)日2007年10月17日
發(fā)明者岡本裕成, 村林升 申請人:索尼株式會(huì)社