專利名稱：：運(yùn)動(dòng)圖像分析裝置、方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種數(shù)字信息提取及分析技術(shù)，特別涉及關(guān)于運(yùn)動(dòng)圖像的提取和分析裝置、方法及系統(tǒng)。
背景技術(shù)：
：隨著互聯(lián)網(wǎng)技術(shù)、廣播、通信、娛樂、醫(yī)療、教育等領(lǐng)域中的數(shù)字化技術(shù)的急速發(fā)展，采用多媒體信息的方式存儲影音資料已經(jīng)成為最常規(guī)的存儲手段之一。隨之而來的，從龐大的多々某體信息中能夠簡單且高速地4義存取必要的信息這樣的需求變得越來越高。其中，特別是從想要有效地管理并處理4渚存在網(wǎng)絡(luò)、家庭月艮務(wù)器中的大量的影像內(nèi)容的需求出發(fā)，正在積極地開展用于影像內(nèi)容的含義提取和分析的圖像識別技術(shù)的研究開發(fā)。具體舉例來i兌，正在研究開發(fā)如下^支術(shù)，例如，在普及石更盤錄4象裝置、數(shù)字家電時(shí)，用于實(shí)現(xiàn)只觀看想看的內(nèi)容、一邊錄l象一邊技術(shù)"；隨著數(shù)字照相機(jī)、數(shù)字?jǐn)z像機(jī)以及互聯(lián)網(wǎng)的普及，用于簡單地編輯各種圖像、運(yùn)動(dòng)圖像、制作并保存自己的創(chuàng)作摘要影像的"摘要影像制作技術(shù)，，等。另夕卜，為了滿足圖像檢索的需求，由Google等利用關(guān)鍵字的圖像檢索技術(shù)也正在實(shí)際應(yīng)用。還包括能夠自由自在地閱覽運(yùn)動(dòng)圖像內(nèi)容的Browsing技術(shù)、可視通信中的"影像會議記錄"制作技術(shù)等。但是，在利用關(guān)鍵字的圖像檢索技術(shù)中，賦予必要的關(guān)4定字需要花費(fèi)勞力和時(shí)間，而且容易發(fā)生存在大量相同關(guān)鍵字的圖像的情況，因此，實(shí)際利用時(shí)往往無法得到滿意的沖企索結(jié)果。另外，研究了4艮多自動(dòng)々是耳又影像內(nèi)的元信息(Metainformation)并才艮據(jù)這些元信息找出想要的圖像內(nèi)容的檢索技術(shù)、自動(dòng)制作"影像會議記錄"的技術(shù)、Browsing技術(shù)等，但是高精度地提取圖像內(nèi)的必要特征量、正確地進(jìn)行鏡頭剪接檢測和分類、摘要自動(dòng)制作、精彩場面自動(dòng)4是耳又并不容易，因此，現(xiàn)有^支術(shù)中并沒有確立可實(shí)際利用的影傳J險(xiǎn)索技術(shù)、摘要制作技術(shù)、Browsing技術(shù)。因此，進(jìn)一步出現(xiàn)了不是基于上述關(guān)鍵字的圖像檢索，而是以人的直觀感覺來處理影l(fā)象內(nèi)容，乂人而更有效率地管理并處理影1象內(nèi)容的普通的影像分析技術(shù)。相關(guān)的技術(shù)可以參考日本特開2002-344872及曰本特開2006-54622。但是，特別涉及運(yùn)動(dòng)影像內(nèi)的精彩場面提取和摘要制作，在實(shí)際應(yīng)用中，常常會發(fā)生如下所述的鏡頭剪接檢測錯(cuò)誤背景的色彩分布特性由于攝像機(jī)的高速運(yùn)動(dòng)和/或?qū)ο蟮母咚龠\(yùn)動(dòng)而發(fā)生變化，有時(shí)將原本不是鏡頭轉(zhuǎn)換的內(nèi)容檢測為鏡頭剪接；有時(shí)難以區(qū)分遠(yuǎn)景和中景的色彩分布特性和關(guān)注區(qū)域特征的變化，無法檢測出原本為鏡頭轉(zhuǎn)換的內(nèi)容。
發(fā)明內(nèi)容本發(fā)明的目的在于解決現(xiàn)有技術(shù)中的上述問題，即，提供一種運(yùn)動(dòng)圖像分析裝置和方法，使得即使背景的色彩分布特性由于攝像機(jī)的高速運(yùn)動(dòng)或?qū)ο蟮母咚龠\(yùn)動(dòng)而變化，也能正確地檢測出鏡頭剪接。本發(fā)明的另一目的在于提供一種運(yùn)動(dòng)圖像分析裝置、方法，^f吏得即使對于遠(yuǎn)景、中景之類的變化，也能正確地檢測出鏡頭剪接。此外，本發(fā)明的另一目的在于提供能夠利用運(yùn)動(dòng)圖像分析裝置自動(dòng)進(jìn)行摘要制作的摘要自動(dòng)制作系統(tǒng)、自動(dòng)提取精彩場面的精彩場面自動(dòng)^是取系統(tǒng)。根據(jù)本發(fā)明第一方面的運(yùn)動(dòng)圖像分析裝置，包括運(yùn)動(dòng)圖像讀入單元，用于讀入運(yùn)動(dòng)圖i象；關(guān)注區(qū)域^是取單元，用于乂人所述運(yùn)動(dòng)圖像的各幀圖像中提取關(guān)注區(qū)域；對象特征提取單元，用于在所述關(guān)注區(qū)域內(nèi)或與所述關(guān)注區(qū)域相鄰的區(qū)域內(nèi)提取對象特征；以及鏡頭剪接檢測單元，用于根據(jù)圖像的色彩特征、關(guān)注區(qū)域的對象特征和運(yùn)動(dòng)信息在各幀圖像之間的差別來檢測鏡頭剪接。根據(jù)本發(fā)明第二方面的運(yùn)動(dòng)圖像分析方法，包括運(yùn)動(dòng)圖像讀入步驟，讀入運(yùn)動(dòng)圖像；關(guān)注區(qū)域提取步驟，從所述運(yùn)動(dòng)圖像的各幀圖像中提取關(guān)注區(qū)域；對象特征提取步驟，在所述關(guān)注區(qū)域內(nèi)或與所述關(guān)注區(qū)域相鄰的區(qū)域內(nèi)提取對象特征；以及鏡頭剪接檢測步驟，根據(jù)圖像的色彩特征、關(guān)注區(qū)域的特征、以及運(yùn)動(dòng)信息在各幀圖像之間的差別來片全測鏡頭剪接。根據(jù)本發(fā)明第三方面的摘要自動(dòng)制作系統(tǒng)，包括上述的運(yùn)動(dòng)圖像分析裝置；以及摘要自動(dòng)制作單元，根據(jù)所述運(yùn)動(dòng)圖像分析裝置的分析結(jié)果，自動(dòng)制作摘要。才艮據(jù)本發(fā)明第四方面的精彩場面自動(dòng)提取系統(tǒng)，包括上述的運(yùn)動(dòng)圖像分析裝置；以及精彩場面自動(dòng)提取單元，根據(jù)所述運(yùn)動(dòng)圖像分析裝置的分析結(jié)果，自動(dòng)提取精彩場面。本發(fā)明的技術(shù)效果在于通過評價(jià)圖像內(nèi)的運(yùn)動(dòng)信息的可靠性，能夠除去根據(jù)色彩分布特征和關(guān)注區(qū)域的尺寸特征而誤檢測出的鏡頭剪接，提高鏡頭剪接的檢測精度。而且，根據(jù)本發(fā)明，還能夠高精度地提取圖像內(nèi)的特征量，正確地進(jìn)行鏡頭分類，自動(dòng)制作摘要和纟是取4青彩場面。圖1表示本發(fā)明的運(yùn)動(dòng)圖卩象分析裝置的第一實(shí)施例的框圖。圖2表示本發(fā)明的運(yùn)動(dòng)圖像分析裝置的第二實(shí)施例的的框圖。圖3表示本發(fā)明的運(yùn)動(dòng)影像分析方法的一個(gè)實(shí)施例的流程圖。圖4(a)是表示足球比賽影像內(nèi)的賽場的檢測例；圖4(b)是該賽場內(nèi)部和相鄰區(qū)域中的圖像和對象特征的示例。圖5(a)和圖5(b)表示為了檢測足球等運(yùn)動(dòng)影像的賽場而使用的3DHSV直方圖特征，其中，圖5(a)表示足球比賽中的代表性的圖^象樣本；圖5(b)表示將這些圖l象樣本的3DHVS直方圖投影到各個(gè)1D上的圖表。圖6表示根據(jù)各種足球比賽影像收集的圖像樣本。圖7(a)表示為了求出此次3DHSV直方圖統(tǒng)計(jì)模型而實(shí)際使用的訓(xùn)練用圖像的示例；圖7(b)表示賽場檢測的結(jié)果。圖8(a)至8(c)是利用上述HSV直方圖才莫型來表示所關(guān)注的賽場檢測結(jié)果；其中，圖8(a)表示利用HSV直方圖模型的主要顏色檢測方法，圖8(b)表示圖像采樣，圖8(c)表示主要顏色區(qū)域的檢測結(jié)果。圖9表示除去噪聲的過濾處理的實(shí)-驗(yàn)結(jié)果。圖10示出了在關(guān)注賽場內(nèi)部存在對象(運(yùn)動(dòng)員)的情況下的對象特征。圖11表示關(guān)注賽場的邊界和其直線的角度以及交叉位置的檢測方法。圖12表示J求門片全測方法。圖13表示利用球門的語義(semantic)規(guī)則4企測出球門區(qū)域。圖14(a)和圖14(b)表示通過上述方法檢測出的球門的結(jié)果；其中圖14(a)表示圖像采樣，圖14(b)表示球門檢測結(jié)果。圖15表示所關(guān)注的賽場中的角^M立置的^r測方法及其結(jié)果。圖16表示其他的對象特征的提取示例。圖17表示鏡頭剪接的種類。圖18表示在本發(fā)明中為了沖企測鏡頭剪接而利用的特征量。圖19表示4竟頭剪接才全測算法的流程圖。圖20表示鏡頭剪4妾沖僉測的實(shí)施例。圖21(a)表示在攝像機(jī)高速移動(dòng)的情況下，原本應(yīng)該為相同鏡頭的內(nèi)容中的背景區(qū)域的變化，而作為鏡頭剪接被誤才全測的情況；圖21(b)表示沒有檢測出鏡頭剪接的情況，在鏡頭轉(zhuǎn)換的場景中，前后幀之間的色彩特性的變化和關(guān)注區(qū)域(綠色球場)的變化不大的情形。圖22給出了鏡頭剪接檢測示例(統(tǒng)一確認(rèn)時(shí)的示例)的流程圖。圖23表示對于使用運(yùn)動(dòng)信息的可靠性評價(jià)的鏡頭檢測方法。圖24示出了從前后幀之間的運(yùn)動(dòng)信息估計(jì)圖像內(nèi)運(yùn)動(dòng)信息的"可靠性評價(jià)用參數(shù)(x，y)"的流程圖。圖25(a)示出了利用上述運(yùn)動(dòng)信息可靠性評價(jià)的特征量；圖25(b)示出了完成的Mmv屏蔽的例子。圖26(a)及圖26(b)示出運(yùn)動(dòng)可靠性圖像WMv的估計(jì)方法。圖27表示使用色彩特征和關(guān)注區(qū)域的特征無法^r測出的鏡頭才企測失"i吳的改善方法。圖28表示使用通過學(xué)習(xí)數(shù)據(jù)得到的運(yùn)動(dòng)信息的可靠性辨別器的可靠性評價(jià)值。圖29示出了用上述方法檢測實(shí)際圖像內(nèi)有可靠性的動(dòng)作區(qū)域的才僉測結(jié)果。圖30示出了正確地檢測出"檢測失誤"的鏡頭剪接。圖31(a)至31(c)表示用上述方法^r測出鏡頭剪接的結(jié)果；其中，圖31(a)表示錯(cuò)誤檢測攝影機(jī)快速移動(dòng)；圖31(b)逐步鏡頭剪接圖像擦除；圖31(c)表示逐步鏡頭剪接鏡頭分解。圖32示出了使用由學(xué)習(xí)凄史據(jù)得到的識別函數(shù)和特征量確認(rèn)可除去這些i吳一金測。具體實(shí)施方式為了有效地管理并方便地處理儲存在網(wǎng)絡(luò)上、家庭服務(wù)器等中的龐大的影像內(nèi)容，其運(yùn)動(dòng)圖像內(nèi)容的分析與含義提取、以及元信息的賦予變得越來越重要。其中，分析體育比賽等的節(jié)目、并提取最精彩的場面以及自動(dòng)地制作摘要的需求很高，但現(xiàn)狀是無法高精度地實(shí)現(xiàn)。因此，鑒于上述技術(shù)問題，本發(fā)明提出了開發(fā)作為運(yùn)動(dòng)圖像分析的基本技術(shù)的鏡頭剪接檢測技術(shù)，并將該技術(shù)應(yīng)用于提取體育比賽等節(jié)目的精彩場面、自動(dòng)制作摘要等上。下面將以足球比賽為例進(jìn)行說明，但需要說明的是，以下的實(shí)施例僅作為說明本發(fā)明的優(yōu)選實(shí)施例，而非用以限定本發(fā)明，本發(fā)明可用于對任何運(yùn)動(dòng)圖像進(jìn)行分析。一般來說，視頻內(nèi)容的不同會導(dǎo)致圖像特征量的處理方法也有4艮大變化，因此本發(fā)明著重于實(shí)際中會^皮經(jīng)常使用的"運(yùn)動(dòng)圖像分析"的技術(shù)，進(jìn)行用于實(shí)現(xiàn)提取其運(yùn)動(dòng)圖像內(nèi)的精彩場面和制作摘要的基本技術(shù)和架構(gòu)的開發(fā)。具體來說，在足球比賽等的影像分析之中，分析各幀圖像內(nèi)的圖像特征，使用通過預(yù)先學(xué)習(xí)而得到的關(guān)注區(qū)域(例如，足球場)的圖像特性(例如，HSV直方圖沖莫型)，判斷在這些圖像內(nèi)是否存在關(guān)注區(qū)域，在不存在關(guān)注區(qū)域的情況下，判斷為外景運(yùn)動(dòng)圖像(外景運(yùn)動(dòng)圖像)；在存在關(guān)注區(qū)域的情況下，可靠地檢測該區(qū)域。另夕卜，將結(jié)合了該關(guān)注區(qū)域和圖像內(nèi)的色彩特征的內(nèi)容作為特征量，評價(jià)圖像間的特征量的相似性，在特征量相差較大的情況下，檢測為鏡頭剪接(shotcut，鏡頭切換點(diǎn))。另一方面，正如
背景技術(shù)：
中所說明的那樣，在實(shí)際應(yīng)用中，常常會發(fā)生如下所述的鏡頭剪接檢測錯(cuò)誤背景的色彩分布特性由于才聶像才幾的高速運(yùn)動(dòng)和/或?qū)ο蟮母咚龠\(yùn)動(dòng)而發(fā)生變化，有時(shí)將原本不是鏡頭轉(zhuǎn)換的內(nèi)容4企測為鏡頭剪接；有時(shí)難以區(qū)分遠(yuǎn)景和中景的色彩分布特性和關(guān)注區(qū)域特4正的變化，無法才全測出原本為鏡頭轉(zhuǎn)換的內(nèi)容。因此，在本發(fā)明中，為了減少上述的鏡頭剪接的檢測錯(cuò)誤，提高如上所述的鏡頭剪接檢測精度，除了利用上述的色彩分布特征和關(guān)注區(qū)域的色彩特征以外，還利用圖像內(nèi)的運(yùn)動(dòng)信息。具體來說(1)利用前后幀之間的塊匹配，算出誤差評〗介值。(2)利用這些誤差評價(jià)值，利用二次曲面才莫型進(jìn)行擬合(Fitting)處理，估計(jì)該二次曲面才莫型的參凄史。(3)將這些參數(shù)與事先學(xué)習(xí)的結(jié)果進(jìn)行比較，僅檢測可靠的運(yùn)動(dòng)信息。(4)對于這些可靠的運(yùn)動(dòng)信息，通過在某時(shí)間軸上進(jìn)行的統(tǒng)計(jì)處理，檢測出可靠性更高的運(yùn)動(dòng)信息。(5)利用這些可靠性高的運(yùn)動(dòng)信息，能夠正確地;險(xiǎn)測出由于色彩分布特性和關(guān)注區(qū)域特征造成的誤檢測的內(nèi)容、或未檢測出的鏡頭剪接。(6)對于攝像機(jī)的高速運(yùn)動(dòng)、對象物體的運(yùn)動(dòng)，該運(yùn)動(dòng)區(qū)域大多存在于圖像的中心附近的位置，因此通過學(xué)習(xí)來制作這樣的運(yùn)動(dòng)區(qū)域，利用該運(yùn)動(dòng)區(qū)域，能夠進(jìn)一步改善由高速4聶^4幾運(yùn)動(dòng)造成的鏡頭剪接檢測錯(cuò)誤等。在本發(fā)明中，通過利用色彩分布特征、關(guān)注區(qū)域的對象特征和運(yùn)動(dòng)信息對鏡頭剪接進(jìn)行檢測，將相鄰的兩個(gè)幀的圖像的色彩分布特征、關(guān)注區(qū)域的對象特4正和運(yùn)動(dòng)信息進(jìn)4于對比，如果對比結(jié)果為近似，則判斷相鄰的兩個(gè)幀的圖^f象屬于同一個(gè)4竟頭，也就是i兌，在這兩幀之間沒有鏡頭剪接，如果對比結(jié)果相鄰的前后兩幀之間的色彩特征、關(guān)注區(qū)域的對象特征和運(yùn)動(dòng)信息存在差別，則判斷上述這兩幀圖像不屬于同一個(gè)鏡頭，也就是說在這兩幀之間存在4竟頭剪接，并對通過檢測出的鏡頭剪接所獲得的每個(gè)鏡頭利用關(guān)注區(qū)域內(nèi)的對象特征進(jìn)行分類，鏡頭分為遠(yuǎn)景鏡頭(longshot)、中景鏡頭(middleshot)、近景鏡頭(zoom-upshot)和夕卜景鏡頭(outsideshot)鏡頭四種，其中遠(yuǎn)景鏡頭、中景鏡頭和近景鏡頭屬于室內(nèi)景鏡頭，外景鏡頭也可稱為場外鏡頭。進(jìn)而，通過將上述特征量和鏡頭剪接檢測結(jié)果作為影像內(nèi)的說明信息進(jìn)行附加，從而能夠?qū)⒈景l(fā)明應(yīng)用于足球比賽中的精彩場面提取和摘要制作。以下參考附圖，詳細(xì)i兌明本發(fā)明的實(shí)施例。圖1表示本發(fā)明的運(yùn)動(dòng)圖Y象分析裝置第一實(shí)施例的框圖。如圖1所示，運(yùn)動(dòng)圖像分析裝置100包括用于讀入運(yùn)動(dòng)圖4象的運(yùn)動(dòng)圖4象讀入單元no,在足J求比賽中讀入比賽的一見頻序列；關(guān)注區(qū)i或才是取單元120,用于從讀入的運(yùn)動(dòng)圖像的各幀圖像中提取關(guān)注區(qū)域，例如足球比賽的賽場；對象特征提取單元130,用于在關(guān)注區(qū)域內(nèi)或與關(guān)注區(qū)域相鄰的區(qū)域內(nèi)提取對象特征，在足球比賽中，該對象特征例如是運(yùn)動(dòng)員的臉、球門區(qū)域、球、角球位置、賽場區(qū)域及其輪廓等；鏡頭剪接檢測單元140，用于根據(jù)圖像的色彩特征、關(guān)注區(qū)域的對象特征和運(yùn)動(dòng)信息在各幀圖像之間的差別來檢測判定鏡頭剪接。其中，關(guān)注區(qū)域^是耳又單元120利用通過預(yù)先學(xué)習(xí)而得到的關(guān)注區(qū)域的圖像特征來判斷在各幀圖像中是否存在關(guān)注區(qū)域(例如足球比賽中的賽場)。在關(guān)注區(qū)域提取單元120提取了關(guān)注區(qū)域后，對象特征4是耳又單元120自動(dòng)在關(guān)注區(qū)域內(nèi)或與關(guān)注區(qū)域相鄰的區(qū)域內(nèi)提取對象特征。關(guān)注區(qū)域的圖像特征基于HSV直方圖模型圖2表示本發(fā)明的運(yùn)動(dòng)圖像分析裝置第二實(shí)施例的框圖。如圖2所示，運(yùn)動(dòng)圖^f象分4斤裝置200包括運(yùn)動(dòng)圖Y象讀入單元210、關(guān)注區(qū)域^是耳又單元220、對象特征^是取單元230、4竟頭剪4妾沖僉測單元240、具有可靠性的運(yùn)動(dòng)信息提取單元250、鏡頭分類單元260,其中上述的運(yùn)動(dòng)圖像讀入單元210、關(guān)注區(qū)域提取單元220、對象特征提耳又單元230與第一實(shí)施例中的運(yùn)動(dòng)圖l象讀入單元110、關(guān)注區(qū)域提取單元120、對象特征提取單元130作用相同，這里省略對其的說明。此外，該鏡頭剪接檢測單元240包括第一鏡頭剪接;險(xiǎn)測單元242，用于根據(jù)圖像的色彩特征、關(guān)注區(qū)域的對象特征在各幀圖像之間的差別來^r測4竟頭剪纟姿；以及第二4竟頭剪4如險(xiǎn)測單元244,用于根據(jù)圖像的運(yùn)動(dòng)信息在各幀圖像之間的差別來檢測鏡頭剪接。此外，運(yùn)動(dòng)圖1象分析裝置還包括該具有可靠性的運(yùn)動(dòng)信息4是耳又單元250,鏡頭剪接檢測單元240(第二鏡頭剪接一企測單元244)利用該具有可靠性的運(yùn)動(dòng)信息纟是取單元250計(jì)算出的具有可靠性的運(yùn)動(dòng)信息進(jìn)行檢測。第一4竟頭剪4妄纟企測單元242和第二4竟頭剪4妄4金測單元244可以依次工作也可以同時(shí)工作，當(dāng)?shù)谝荤R頭剪接檢測單元242和第二鏡頭剪才妄4企測單元244同時(shí)工作時(shí)，該今竟頭剪"t妄才全測單元240同時(shí)才艮據(jù)圖像的色彩特征、關(guān)注區(qū)域的對象特征和運(yùn)動(dòng)信息在各幀圖像之間的差別來檢測鏡頭剪接，將前后幀之間色彩特征、關(guān)注區(qū)域的特征和運(yùn)動(dòng)信息相似的幀圖像檢測為一個(gè)鏡頭，反之，將前后幀之間色彩特征、關(guān)注區(qū)域的特征和運(yùn)動(dòng)信息差別較大的幀圖像^r測為不同的鏡頭。鏡頭分類單元260對利用鏡頭剪接檢測單元240的#企測結(jié)果所獲得的鏡頭進(jìn)行分類，判定該鏡頭中是否存在基于色彩特征(在足球比賽中是指賽場的綠色)的關(guān)注區(qū)域，當(dāng)不存在該關(guān)注區(qū)域時(shí)，將該鏡頭劃分為外景該關(guān)注區(qū)域存在時(shí)，使用該關(guān)注區(qū)域內(nèi)的對象特征將該鏡頭劃分為室內(nèi)景鏡頭中的遠(yuǎn)景鏡頭、中景鏡頭和近景鏡頭sho中的一個(gè)。圖2中的各單元既可以作為硬件各自獨(dú)立存在，也可以整合成若干個(gè)單元，還可以通過基于控制程序的軟件處理來進(jìn)4亍。圖3表示本發(fā)明的運(yùn)動(dòng)圖像分析方法的一個(gè)實(shí)施例的流程圖。如圖3所示，首先，讀入足球比賽等的視頻影像，該運(yùn)動(dòng)圖像可以是視頻圖像、新聞圖像或者電影電視圖像等(步驟S301)，從運(yùn)動(dòng)圖像的各幀圖像中提取關(guān)注區(qū)域，例如在足球比賽中，利用通過預(yù)先學(xué)習(xí)而得到的所關(guān)注的賽場的圖^象特征才莫型(HSV直方圖，HSV是指色彩模型，其中，Hue:色度，Saturation:飽和度，Value:亮度))來判斷影像內(nèi)有無賽場(步驟S302)。在存在賽場的情況下，才是耳又該關(guān)注區(qū)i或(步-驟S303)，在不存在賽場的情況下，返回步駛《S301。然后，在該賽場的內(nèi)部或相鄰的區(qū)域中，^是取對象特征(步驟S304)。之后，利用色彩特征、4是取的關(guān)注區(qū)域的對象特征和運(yùn)動(dòng)信息在各幀圖像間的不同來檢測鏡頭剪接(S305),利用提取出的各鏡頭內(nèi)部的圖像特征，例如足球比賽的時(shí)候，判定該鏡頭中是否存在基于綠色的賽場，當(dāng)該鏡頭中不存在賽場時(shí)，將該鏡頭劃分為外景鏡頭，當(dāng)該鏡頭中存在賽場時(shí)，劃分為遠(yuǎn)景鏡頭、中景鏡頭和近景鏡頭中的一個(gè)(步驟S306)。接著，根據(jù)通過鏡頭剪接檢測步驟S305而獲得的檢測結(jié)果和通過鏡頭分類步驟S306而獲得的分類結(jié)果進(jìn)行摘要制作或精彩場面提耳又(步驟S307)。圖4(a)表示足球比賽影像內(nèi)的賽場的才企測例，圖4(b)表示該賽場內(nèi)部和相鄰區(qū)域中的圖像和對象特征的示例。如圖4(a)所示，圖4(a.l)和圖4(a.3)表示1俞入圖4象，圖4(a.2)和圖4(a.4)表示4全測賽場，圖4(a.3)表示，圖4(a.4)表示，此外，如圖4(b)所示，在圖4(b)中的對象特4i包4舌圖4(b.l)的運(yùn)動(dòng)員，尤其運(yùn)動(dòng)員的臉部，、圖4(b.2)3求門區(qū)域、圖4(b.3)3求及角球位置、圖4(b.4)的賽場區(qū)域，當(dāng)然對象特征還包括除此之外的其^也的特^正，例如，賽場4侖廓等。圖5(a)和圖5(b)表示為了4全測足3求等運(yùn)動(dòng)影<象的賽場而使用的3DHSV直方圖特征，圖5(a)表示足球比賽中的代表性的圖像樣本，圖5(b)表示將這些圖像樣本的3DHSV直方圖投影到各個(gè)1D上的圖表。其中，在圖5(a)中的三幅圖像分別列舉了遠(yuǎn)景、中景和近景三種樣本圖像。圖6表示根據(jù)各種足球比賽影像收集的圖像樣本(白天、傍晚、夜晚等各種時(shí)間的圖像，以及晴、多云、雨等各種天氣時(shí)的圖像)的3DHSV直方圖特征進(jìn)行分析，通過統(tǒng)計(jì)處理得到的統(tǒng)計(jì)H據(jù)的結(jié)果。例如，所關(guān)注的賽場區(qū)i或中的HSV的可變范圍分別為H[22，68]、S[32，255]、V[64,175],另夕卜，其區(qū)i或幅度最大為H:16、S:128、V:64。也就是i兌，明確了如下情形賽場區(qū)i或內(nèi)的HSV平均值根據(jù)比賽的時(shí)間段、氣候等而改變，但是其分布值被限制在大致H:16、S:128、V:64之內(nèi)。利用這樣的HSV特征，能夠可靠地d企測出賽場。圖7(a)表示為了求出此次3DHSV直方圖統(tǒng)計(jì)才莫型而實(shí)際寸吏用的主要顏色例如足球場草地的綠色各不相同的訓(xùn)練用圖像的示例，圖7(b)示出了賽場4企測結(jié)果。乂人其結(jié)果可知，在HSV沖莫型的學(xué)習(xí)中使用色彩特征不同的各種訓(xùn)練樣本圖像，因此能夠正確沖企測出各種照明條件下的賽場。圖8(a)至8(c)利用上述HSV直方圖模型來表示所關(guān)注的賽場檢測結(jié)果。圖8(a)表示利用上述HSV直方圖模型的所關(guān)注的賽場的纟企測方法，如圖8(a)所示，該4企測方法包4舌以下步驟幀下采樣、搜索壓縮的三維直方圖峰值、搜索一維本地直方圖的塔式、分割主要顏色、進(jìn)行降低噪聲的濾波處理。為了提高處理速度、除去圖像內(nèi)的噪聲，降低了輸入圖像的分辨率。另外，為了減少照明變化的影響、^是高一企測處理的可靠性，將HSV各成分的分辨率從8比特壓縮到2-3比特。之后，檢測出各HSV成分的峰值，將其作為HSV的中心值(平均值)，應(yīng)用上述的HSV分布值，由此能夠可靠地檢測出所關(guān)注的賽場。圖8(b)表示圖像采樣，圖8(c)表示主要顏色區(qū)域的檢測結(jié)果。在圖8(b)和圖8(c)中示出了利用該方法檢測出的不同照明環(huán)境中的賽場的示例。從圖8(b)和圖8(c)示出的結(jié)果來看，能夠在各種照明環(huán)境中可靠且實(shí)時(shí)地4全測出所關(guān)注的賽場。另外，為了除去賽場內(nèi)的直線等，也可以進(jìn)行后處理(用于除去噪聲的過濾處理)。圖9表示其實(shí)驗(yàn)結(jié)果。其中，圖9(al)和圖9(bl)表示圖1"象采樣，圖9(a2)和圖9(b2)表示主演顏色區(qū)域分段，圖9(a3)和圖9(b3)表示濾波結(jié)果，從該結(jié)果可得到如下啟示通過一全測關(guān)注賽場，纟是取該賽場內(nèi)部和相鄰區(qū)i或中的對象特征(選手、罰球區(qū)、直線、角球位置等)是可能的。以下，說明賽場內(nèi)部及其相鄰區(qū)域中的圖像/對象特征提取方法。圖10示出了在關(guān)注賽場內(nèi)部存在對象(選手)的情況下的對象特4i。在此，用式(1)表示關(guān)注賽場的^f象素M(i，j)。M(Z,力Ze{U,-'-,//}je{l，2,..-,}式(l)分別用式(2)中的Ph(i)、Pv(j)來表示水平、垂直方向的對象特征。<formula>formulaseeoriginaldocumentpage20</formula>在此，H和W分別表示圖像的Y和X方向的大小。關(guān)于該特4正量，在Pv(j)的變化大、Ph(i)的變化小的情況下，意味著在賽場內(nèi)部存在大的對象(人物)。另外，在Py(j)的變化小的情況下、或者Ph(i)的變化大的情況下，意p未著在賽場內(nèi)部存在小的對象(人物)。圖11表示關(guān)注賽場的邊界和其直線的角度以及交叉位置的檢測方法。首先，檢測其邊界的位置B(i)。然后，將其寬W像素的邊界在橫方向上分割為30個(gè)部分，進(jìn)行低分辨率化，求出該低分辨率圖像中的各像素位置上的角度A(i)。其目的在于為了降低接近邊界的人物、圖形等的影響(噪聲)。之后，根據(jù)下述式(3)計(jì)算左和右的角度A,(n)和Ar(n)(n=l、2........30)的二級(class)角度，并計(jì)算各自的分布值D,(n)和Dr(n)。此時(shí)，將下述式中最小的N作為左右兩直線的交叉位置。最后，在^f象素位置N中的角度A,(n)和Ar(n)的角度差為IO度以上的情況下，檢測出兩條直線，將其交叉位置檢測為角球位置(參照實(shí)驗(yàn)結(jié)果)。<formula>formulaseeoriginaldocumentpage20</formula>式(2)式(3)圖12表示J求門;險(xiǎn)測方法。依次包4舌以下步艱《主要顏色區(qū)i或的才企測；J求場邊界的沖企測；垂直方向的白線斥企測；7jc平方向的白線檢測；利用球門的語義規(guī)則(竟賽規(guī)則中對球門的規(guī)定)進(jìn)行球門檢測。對于如上所述檢測出的關(guān)注賽場，檢測與該賽場相接的垂直方向上的白線。因此，在縱方向上檢測出兩條平行直線的情況下，確認(rèn)在由該平行直線包圍的區(qū)域內(nèi)是否存在水平方向的白線。在縱方向上檢測出兩條平行直線以及在橫方向上檢測出一條白線的情況下，將其作為球門的候選進(jìn)4亍處理。圖13表示利用球門的語義規(guī)則檢測出球門區(qū)域，如圖13所示，利用^求門的語義(semantic)失見則(也就是i兌，5求門區(qū)域的門柱高度與橫梁長度、以及橫梁長度與賽場寬度之間的比例關(guān)系)，能夠正確地斗企測出J求門區(qū)域。圖14(a)和14(b)表示通過上述方法沖企測出的^求門的結(jié)果。盡管有復(fù)雜的背景，也能夠可靠地檢測出球門區(qū)域。圖15表示所關(guān)注的賽場中的角3求位置的片企測方法及其結(jié)果。角球位置檢測利用了與圖11的邊界檢測相同的方法。圖16(a)至16(f)表示其他的對象特征的^是耳又示例。如圖16所示，圖16(a)、圖16(b)、圖16(c)示出了所關(guān)注的賽場內(nèi)的選手區(qū)域、圖形區(qū)域、；求的4僉測示例。另夕卜，圖16(d)、圖16(e)、圖16(f)示出了裁判(顏色)、球員動(dòng)作、教練(臉)等的檢測示例。圖17表示鏡頭剪接的種類。通常，鏡頭剪接包括硬剪接(hardcut)、淡入/淡出切4灸、圖形〖瓜刷剪4妄(graphicswipercut)這三種。通常硬剪接在一兩幀等數(shù)幀之間發(fā)生變化，所以很容易檢測出其變化，而淡入/淡出剪接、圖形弧刷剪接在10-30等數(shù)十幀之間發(fā)生變化，所以難于準(zhǔn)確地沖企測出該4竟頭的變化。例如本實(shí)施例中的石更剪才妻大體上在1幀之間進(jìn)行切換，淡入/淡出剪4矣大體上在大于15幀之間進(jìn)行切換，圖形弧刷剪接大約每30幀左右切換。圖18表示在本發(fā)明中為了檢測鏡頭剪接而利用的特征量。在此，為了正確檢測鏡頭剪接，認(rèn)為需要(1)保持對攝像機(jī)的移動(dòng)、圖像內(nèi)的選手的水平運(yùn)動(dòng)的可靠性的同時(shí)，(2)對圖像內(nèi)的色彩特征分布的變化靈敏地進(jìn)^^僉測。因此，為了實(shí)現(xiàn)對(1)的水平方向的圖像特征變化的可靠性，并且檢測出(2)的圖像內(nèi)色彩特征變化，首先如圖18所示，通過將區(qū)域分割成若千個(gè)，可以更準(zhǔn)確有效地檢測出每幀之間的差異。例如，在實(shí)施例中以2:5:3的比例進(jìn)行了分割。然后，對各個(gè)區(qū)域計(jì)算上述的三維HSV分布作為色彩分布特征量。本實(shí)施例中采用了色彩分布特征，當(dāng)然也可以采用色彩的RGB特;f正、色彩的絕對值特征等，另外，為了提高對圖像內(nèi)的噪聲等的可靠性，設(shè)分別以2比特表示HSV的各成分，以6比特的色彩特征量表示整體的HSV分布特征。然后，作為表示幀之間的區(qū)別的一個(gè)特征，使用了下述式(4)所示的特征量。i:》力)-U〗/2&(0式(4)在此，Ht(i)是6比特的HSV色彩分布特^正，A是表示是否求出與幾幀前的特^正量之間的區(qū)別的常^t。在該式的計(jì)算結(jié)果比預(yù)先設(shè)定的閾值T1大的情況下，檢測為不同的鏡頭，從運(yùn)動(dòng)影像統(tǒng)計(jì)地求得閾值Tl。另夕卜，在足球比賽之類的運(yùn)動(dòng)影-像中，通過利用關(guān)注區(qū)域的特征，可以更加可靠地檢測鏡頭剪接。在此，設(shè)為兼用上述R2區(qū)域(即，圖18的畫面中心部分的區(qū)i^)內(nèi)的關(guān)注色彩特4i。首先，確認(rèn)是否存在R2區(qū)域內(nèi)的關(guān)注色彩的區(qū)域，在該關(guān)注色彩區(qū)域的比例占到50%以上時(shí)，作為鏡頭剪接;險(xiǎn)測的第二特征量進(jìn)行利用。此時(shí)，通過下述式(5)計(jì)算t時(shí)刻和(t-A)時(shí)刻的R2區(qū)i或中的關(guān)注色彩區(qū)域的區(qū)別，在該區(qū)別大于預(yù)先設(shè)定的閾值T2的情況下，檢測為不同的鏡頭。同樣地，從運(yùn)動(dòng)比賽影像統(tǒng)計(jì)地求得閾值T2。<formula>formulaseeoriginaldocumentpage23</formula>式(5)圖19表示鏡頭剪接檢測算法的流程圖。如上所述，計(jì)算當(dāng)前時(shí)刻的以6比特表示的HSV分布Ht(i)，求出與(t-A)時(shí)刻的HSV分布Ht—A(i)之間的區(qū)別。在該區(qū)別大于閾值T1的情況下，檢測為鏡頭剪接。否則，檢測R2區(qū)域內(nèi)的關(guān)注色彩區(qū)域(在足球比賽的情況下，是綠色球場)，在該區(qū)域的尺寸超過R2區(qū)域的50%的情況下，計(jì)算當(dāng)前時(shí)刻t與時(shí)刻(t-A)的區(qū)i或尺寸的區(qū)別，在該區(qū)別大于閾值T2的情況下，檢測為鏡頭剪接。圖20表示鏡頭剪接檢測的實(shí)施例。通過評價(jià)各個(gè)區(qū)域R1、R2、R3的HSV分布的區(qū)別、和R2區(qū)i或內(nèi)的關(guān)注色彩(鄉(xiāng)錄色區(qū)i或)的區(qū)別，能夠檢測鏡頭剪接。例如使用上述的DC特征、RH特征、MV特征學(xué)習(xí)鏡頭剪接用的SVM分類器，通過該^皮學(xué)習(xí)的SVM分類器檢測鏡頭剪接。如圖21(a)所示，在攝像機(jī)高速移動(dòng)的情況下，原本應(yīng)該為相同鏡頭的內(nèi)容由于背景區(qū)域的變化，前后幀之間的色彩特性變化較大，常常發(fā)生檢測為鏡頭轉(zhuǎn)換的"誤檢測"的情況。也就是在不需要鏡頭剪接的時(shí)候進(jìn)行了剪接。相反的，在如圖21(b)所示的鏡頭轉(zhuǎn)換的場景中，前后幀之間的色彩特性的變化、關(guān)注區(qū)域(綠色球場)的變化并不那么大，因此常常發(fā)生判斷為同一鏡頭的鏡頭轉(zhuǎn)換的"檢測失誤"的情況。也就是在需要進(jìn)行鏡頭剪接的時(shí)候未進(jìn)行剪接。因此，為了改善如上所述的"誤檢測"和"檢測失誤"，提出了利用運(yùn)動(dòng)信息的鏡頭檢測方法。圖22示出了該方法的詳細(xì)的步驟。圖22給出了鏡頭剪接檢測的示例(統(tǒng)一確認(rèn)時(shí)的示例。)首先，通過前述利用色彩特征和關(guān)注區(qū)域特征的方法，進(jìn)4亍利用色彩特征和關(guān)注區(qū)域的特;伍的第一鏡頭剪"t妻一僉測(S2201);然后進(jìn)4于利用運(yùn)動(dòng)信息的第二鏡頭剪接檢測(S2202);再根據(jù)第一鏡頭剪接檢測和第二鏡頭剪接檢測的檢測結(jié)果判斷鏡頭剪接(S2203)。表1對圖22的步驟S2203中的判斷作出說明。表1<table>tableseeoriginaldocumentpage159</column></row><table>在上述利用色彩特征和關(guān)注區(qū)域特征的進(jìn)行鏡頭剪接檢測時(shí)，既可以如圖22所示在鏡頭剪接檢測完成后利用運(yùn)動(dòng)信息確認(rèn)誤檢測，也可以在每次一企測鏡頭時(shí)進(jìn)行確認(rèn)，還可以在每次;險(xiǎn)測鏡頭剪接時(shí)進(jìn)行確認(rèn)，對每個(gè)鏡頭分別進(jìn)行處理的具體步驟如下步驟Bl:針對鏡頭k利用色彩特征和關(guān)注區(qū)域的第一鏡頭剪接檢測；步驟B2:判斷步驟Bl的檢測結(jié)果和之前的鏡頭(k-l)是否為統(tǒng)一鏡頭剪接(鏡頭(k-l)和鏡頭k之間有無鏡頭切換)；若上述步驟B2判斷結(jié)果為"是"，則進(jìn)^亍步驟B3-1，即，對于鏡頭k-l和鏡頭k之間是否沒有鏡頭切換，通過利用運(yùn)動(dòng)信息的第二鏡頭剪接檢測進(jìn)行確認(rèn)；否則，進(jìn)行步驟B3-2，即，對于鏡頭(k-l)和鏡頭k是否有鏡頭切換，通過利用運(yùn)動(dòng)信息的第二鏡頭剪接檢測進(jìn)行確認(rèn)。在完成步驟B3-l或B3-2的處理后，進(jìn)一步判斷是否已針對放入的動(dòng)畫中的所有的鏡頭完成鏡頭剪接檢測，若判斷結(jié)果為"是"，則才喿作完成；否則，k=k+l，并返回步-銀B1。以下給出圖22所示的統(tǒng)一處理的才莫式的兩個(gè)具體實(shí)施例例1:S2201中利用色彩特征和關(guān)注區(qū)域的檢測結(jié)果，當(dāng)僅僅檢測出ShotCut#1(由4竟頭(shot)1，2,…，6構(gòu)成)為遠(yuǎn)景時(shí)，通過S2202,利用運(yùn)動(dòng)信息確認(rèn)鏡頭16之間是否真的沒有鏡頭切換(鏡頭剪接)。例2:S2201中利用色彩特4正和關(guān)注區(qū)》或的片企測結(jié)果，當(dāng)4企測出ShotCut弁l(由鏡頭l,2,3構(gòu)成)為遠(yuǎn)景、ShotCut弁2(由鏡頭4，5,6構(gòu)成)為中景、以及ShotCut#3(由鏡頭7，8，9構(gòu)成)為遠(yuǎn)景這3種不同的鏡頭剪接時(shí)，通過S2202，利用運(yùn)動(dòng)信息，確認(rèn)鏡頭3和鏡頭4之間以及鏡頭6和鏡頭7之間是否含有4竟頭切換(相當(dāng)于上述步驟B3-2)，如果沒有，則將其看作和之前緊鄰的鏡頭為同一4竟頭剪4妻，并確i人4竟頭13、4竟頭4~6、4竟頭79之間分別是否真的沒有^;頭切:換，(相當(dāng)于上述步-驟B3-1),如果有，則分割為多個(gè)4竟頭剪才妄。25通過S2202的處理，纟丸行確認(rèn)是否含有4竟頭切4奐的步驟可不分先后順序。如果進(jìn)行了相當(dāng)于上述步驟B3-2的確認(rèn)，對于被分割成多個(gè)鏡頭剪接的鏡頭，則不需要進(jìn)行相當(dāng)于上述步驟B3-1的確i人；如果進(jìn)行了相當(dāng)于上述步驟B3-l的確認(rèn)，對于作為和之前緊鄰的鏡頭相同的鏡頭剪接被合成的鏡頭，則不需要進(jìn)行相當(dāng)于上述步驟B3-2的確認(rèn)。以下給出對每個(gè)鏡頭分別處理的模式的具體實(shí)施例例3:步驟Bl中利用色彩特征和關(guān)注區(qū)域的檢測結(jié)果，當(dāng)檢測出ShotCut#1(由鏡頭l，2,3構(gòu)成)為遠(yuǎn)景、以及ShotCut#2(由鏡頭4,5，6構(gòu)成)為中景這2種不同的鏡頭剪接時(shí)，在緊接著鏡頭1一全測完4竟頭2的時(shí)點(diǎn)(k=2)上，通過步驟B3-1，利用運(yùn)動(dòng)特征確認(rèn)是否不含鏡頭切換。在緊接著鏡頭24全測完鏡頭3的時(shí)點(diǎn)(k=3)上也同樣進(jìn)行步-驟B3-1的處理。對于鏡頭4因?yàn)榕袛酁槭遣煌溺R頭剪接，所以在緊接著鏡頭3才全測完4竟頭4的時(shí)點(diǎn)(k=4)上，通過步驟B3-2，利用運(yùn)動(dòng)特4i確i^竟頭切換的判斷是否正確。在緊接著鏡頭4之后鏡頭5被檢測完的時(shí)點(diǎn)(k=5)上，在緊接著鏡頭5之后鏡頭6被檢測完的時(shí)點(diǎn)(k=6)上進(jìn)行步驟B3-l的處理。當(dāng)步驟B3-1中不含鏡頭切換(和步驟B1的4企測結(jié)果相同)時(shí)，該鏡頭將之前的狀態(tài)和之前緊鄰的被檢測出的鏡頭作為同一鏡頭剪接被保存。當(dāng)步驟B3-1中含有鏡頭切換(和步驟B1的檢測結(jié)果不同)時(shí)，檢測該鏡頭中的鏡頭剪接，并分割為多個(gè)鏡頭(其結(jié)果是由于遠(yuǎn)景和中景混在一起引起的誤檢測導(dǎo)致的鏡頭剪接才企測遺漏可得到改善)。當(dāng)步驟B3-2中含有鏡頭切換(和步驟B1的檢測結(jié)果相同)時(shí)，該鏡頭將之前的狀態(tài)作為和之前緊鄰的被檢測出的鏡頭不同的鏡頭剪接被保存。當(dāng)步驟B3-1中不含鏡頭切換(和步驟B1的檢測結(jié)果不同)時(shí)，將該鏡頭和之前緊鄰的被檢測出的鏡頭作為同一鏡頭剪接處理(其結(jié)果是由攝像頭的高速運(yùn)動(dòng)以及圖像模糊等造成的鏡頭剪接的誤檢測可得到改善)。圖23表示對于由使用上述色彩特征和關(guān)注區(qū)域的特征的鏡頭檢測方法進(jìn)行的誤檢測，使用運(yùn)動(dòng)信息的可靠性評價(jià)的鏡頭檢測方法。首先，根據(jù)前后幀之間的運(yùn)動(dòng)信息估計(jì)，估計(jì)圖像內(nèi)運(yùn)動(dòng)信息的"可靠性評價(jià)用參數(shù)(x，y)"(S2301)。然后，使用利用統(tǒng)計(jì)數(shù)據(jù)得到的運(yùn)動(dòng)信息可靠性判斷器來進(jìn)行可靠性運(yùn)動(dòng)區(qū)域屏蔽制作(MMV)(S2302)。之后，進(jìn)一步將含有人物的圖像利用為學(xué)習(xí)數(shù)據(jù)，使用根據(jù)這些學(xué)習(xí)數(shù)據(jù)得到的表示圖像內(nèi)的人物運(yùn)動(dòng)的發(fā)生頻率的"運(yùn)動(dòng)信息的權(quán)重(weight)Wmv"、以及上述"有可靠性的動(dòng)作區(qū)域屏蔽Mmv",如下式(6)那樣算出在固定的時(shí)間間隔內(nèi)的運(yùn)動(dòng)可靠性評價(jià)值FL(S2303)。最后，通過利用統(tǒng)計(jì)數(shù)據(jù)的運(yùn)動(dòng)可靠性評價(jià)值的學(xué)習(xí)結(jié)果，能夠判斷當(dāng)前的鏡頭剪接是否為誤檢測(S2304)。<formula>formulaseeoriginaldocumentpage28</formula>圖24示出了從前后幀之間的運(yùn)動(dòng)信息估計(jì)圖像內(nèi)運(yùn)動(dòng)信息的"可靠性評價(jià)用參數(shù)(x，y)"的方法。根據(jù)需要(例如，為了計(jì)算的高速化)從輸入圖像制作低分辨率圖像(S2201)。然后對于圖像內(nèi)的全部j象素(i,j)，將固定尺寸(例如，16x16)的塊作為才莫板(S2202)，在前一幀圖像內(nèi)搜索相同區(qū)域(例如，搜索區(qū)域?yàn)?2x32)(S2203)。另夕卜，搜索時(shí)的4晉誤評^H吏用SAD評^介j直(Dss),Dss的計(jì)算方法如下式(7)所示。利用搜索區(qū)域內(nèi)的各像素位置(XMV，YMV)的評價(jià)值(Dss),使下述二次曲面才莫型擬合，計(jì)算該才莫型的參數(shù)(a,b,c)。最后，通過x-(axb)1/2、y=c，將參數(shù)(a，b，c)變換為(x,y),將該(x，y)作為運(yùn)動(dòng)信息可靠性評價(jià)的特征量(S2204)。<formula>formulaseeoriginaldocumentpage28</formula>圖25(a)示出了利用上述運(yùn)動(dòng)信息可靠性評價(jià)的特征量(x，y),制作可信賴的運(yùn)動(dòng)區(qū)域的屏蔽MMv的過程。在此，利用特征量(x，y),在判斷為是可靠的運(yùn)動(dòng)信息的情況下，將屏蔽Mmv的植設(shè)為1。另外，通過Y吏用統(tǒng)計(jì)數(shù)據(jù)的學(xué)習(xí)，得到用于進(jìn)"f亍可靠性判定的判斷器。圖25(b)示出了完成的Mmv屏蔽的例子。圖26(a)及圖26(b)示出運(yùn)動(dòng)可靠性圖像Wmv的估計(jì)方法，其是用于去除具有人物運(yùn)動(dòng)的剪接的誤纟全測。通常，在放大的情況下，對于移動(dòng)攝像機(jī)來追蹤選手的場景，常常會發(fā)生鏡頭剪接的誤檢測。對于這個(gè)問題，為了進(jìn)一步降低誤檢測率，利用這些影像場景作為學(xué)習(xí)數(shù)據(jù)，能夠根據(jù)如上述那樣求得的運(yùn)動(dòng)信息的可靠性屏蔽，制作表示圖像內(nèi)的人物運(yùn)動(dòng)特征的運(yùn)動(dòng)可靠度圖像WMV。如圖26(a)所示，首先，生成Mmv屏蔽(O、1的二值圖像)(S2601),計(jì)算S[M贈](S2602)。接下來，判斷是否完成了全部學(xué)習(xí)數(shù)據(jù)(S2603),如果是，則算出可靠性圖像WMV,k=I;[Mmv]/W(S2604)，反之，貝'J返回步,AS2601。圖26(b)示出WMV的侈'J子。MMV的計(jì)算方法是這樣的僅僅收集攝像機(jī)面板的含有人物的圖像，用同樣的方法計(jì)算運(yùn)動(dòng)的可靠度，將具有可靠度的運(yùn)動(dòng)領(lǐng)域作為屏蔽。其結(jié)果是，由于在畫面的中央附近出現(xiàn)人物的情況比較多(通過統(tǒng)計(jì)處理4尋出的)，如圖26(b)所示，在畫面的中央附近，作成有存在具有可靠度的運(yùn)動(dòng)領(lǐng)域這樣的屏蔽。最終，利用上述的動(dòng)作可靠性屏蔽M雨和可靠度圖像WMV,如下式那樣計(jì)算可靠性評價(jià)值FL(式(8)),能夠?qū)⒃撛u價(jià)值作為特征來判斷有無鏡頭剪接的誤檢測。這里，判斷有無鏡頭剪接的誤才企的閾值ThdOl是通過學(xué)習(xí)凄t據(jù)得到的值。至此，-說明了除去4竟頭誤4僉測的方法。圖27利用上述運(yùn)動(dòng)信息，表示使用色彩特征和關(guān)注區(qū)域的特征無法檢測出的鏡頭檢測失誤的改善方法。與圖23相同，首先，估計(jì)運(yùn)動(dòng)信息可靠性評價(jià)參數(shù)(x，y)(S2701)，制作運(yùn)動(dòng)信息可靠性判斷器的可靠的動(dòng)作區(qū)域屏蔽(MMV)(S2702)。然后，如式(9)那樣，作為特征量Fp計(jì)算屏蔽MMv的可靠的運(yùn)動(dòng)信息的比例(0100%)(S2703),進(jìn)而判斷特征量是否小于檢測失誤判斷的閾值Thd02(S2704),在該特征量小于檢測失誤判斷的閾值Thd02的情況下，判斷為鏡頭剪接的檢測失誤，反之，則判斷為無檢測失誤。這里的用于判斷是否存在檢測失誤的閾值Thd02是通過學(xué)習(xí)數(shù)據(jù)得到的值。圖28表示使用通過學(xué)習(xí)數(shù)據(jù)得到的運(yùn)動(dòng)信息的可靠性辨別器來估計(jì)上述運(yùn)動(dòng)信息可靠性評價(jià)的特征值(x，y)時(shí)的可靠性評1"介值。圖29示出了用上述方法4企測實(shí)際圖Y象內(nèi)有可靠性的動(dòng)作區(qū)域的檢測結(jié)果。從該結(jié)果可知，能確認(rèn)可以將人物的運(yùn)動(dòng)信息檢測為可靠性高，另外，關(guān)于由攝像機(jī)的動(dòng)作造成的背景變化，判斷為動(dòng)作的可靠性低。在圖30中，對于由基于到此為止的色彩特;f正的鏡頭剪接;險(xiǎn)測方法無法檢測出的"檢測失誤"，根據(jù)運(yùn)動(dòng)信息的可靠性評價(jià)，使用以動(dòng)作可靠性屏蔽MMV的可靠的運(yùn)動(dòng)信息的比例為特征的特征量Fp,由此也能夠正確地d僉測出"4企測失i吳"的4竟頭剪4妾。圖31(a)至31(c)表示用上述方法檢測出鏡頭剪接的結(jié)果。在圖31(a)中，對于利用色彩特征而誤檢測出的鏡頭剪接，能夠使用本方法的運(yùn)動(dòng)信息的可靠性來除去該誤才企測。另外，在圖31(b)、圖31(c)中，即使對利用色彩特征而檢測出的鏡頭剪接，進(jìn)行本方法的運(yùn)動(dòng)信息的可靠性評價(jià)，也判斷為正確的鏡頭剪接。在圖32中，對由攝像機(jī)的高速移動(dòng)造成的誤^r測，使用由學(xué)習(xí)數(shù)據(jù)得到的識別函數(shù)和本發(fā)明提出的特征量Fp能夠確認(rèn)可以除去這些"i吳;險(xiǎn)測。用上述的方法檢測影像內(nèi)的各鏡頭剪接，進(jìn)而識別各鏡頭的類型(通常分為遠(yuǎn)景、中景、近景、外景這四種)，根據(jù)這些鏡頭之間前后的相關(guān)特性、鏡頭內(nèi)部的各幀圖像之間的特征的相關(guān)性(視野(View)的位置、運(yùn)動(dòng)方向)、以及各幀影像內(nèi)的對象特征(例如，球門區(qū)域、角球、選手等)等，能夠檢測出角球、任意球、射門(goalkick)等精彩場面。本發(fā)明的技術(shù)效果如下(1)本發(fā)明利用顏色分布特征，可靠地才企測關(guān)注的色彩區(qū)域，由此檢測足球比賽等的運(yùn)動(dòng)影像內(nèi)的對象及鏡頭剪接，通過將這些結(jié)果作為元信息附加，能夠進(jìn)行影像內(nèi)容的自動(dòng)分析。(2)為了提高相對攝像機(jī)水平運(yùn)動(dòng)、人物水平運(yùn)動(dòng)的可靠性，將圖像整體分割為多個(gè)區(qū)域，并通過使用各區(qū)域內(nèi)的色彩分布特征以及關(guān)注區(qū)域的尺寸特征，能夠進(jìn)^f于高精度的鏡頭剪^妾沖企測。(3)進(jìn)而，通過評價(jià)圖像內(nèi)的運(yùn)動(dòng)信息的可靠性，能夠更高精度地檢測根據(jù)上述(2)的色彩分布特征以及關(guān)注區(qū)域的尺寸特征無法才企測出的4竟頭剪沖妄等。(4)另外，通過評價(jià)圖像內(nèi)的運(yùn)動(dòng)信息的可靠性，能夠除去根據(jù)上述(2)的色彩分布特征和關(guān)注區(qū)域的尺寸特征而誤檢測出的鏡頭剪接，提高鏡頭剪接的檢測精度。(5)利用圖像內(nèi)的對象檢測結(jié)果和高精度的鏡頭剪接檢測結(jié)果，最終能實(shí)現(xiàn)影像內(nèi)的各種精彩場面提取和摘要影像的自動(dòng)制作。(6)在本發(fā)明中，通過同時(shí)4吏用色彩分布特4E、關(guān)注區(qū)域的色彩特征和運(yùn)動(dòng)特征，能夠檢測出足球比賽等的運(yùn)動(dòng)圖像的鏡頭剪接。(7)使用關(guān)注區(qū)域內(nèi)的對象特征能夠進(jìn)行各個(gè)鏡頭剪接的分類。此外，本發(fā)明可實(shí)施在本技術(shù)構(gòu)思范圍內(nèi)的各種變形。以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。權(quán)利要求1.一種運(yùn)動(dòng)圖像分析裝置，其特征在于，所述運(yùn)動(dòng)圖像分析裝置包括運(yùn)動(dòng)圖像讀入單元，用于讀入運(yùn)動(dòng)圖像；關(guān)注區(qū)域提取單元，用于從所述運(yùn)動(dòng)圖像的各幀圖像中提取關(guān)注區(qū)域；對象特征提取單元，用于在所述關(guān)注區(qū)域內(nèi)或與所述關(guān)注區(qū)域相鄰的區(qū)域內(nèi)提取對象特征；以及鏡頭剪接檢測單元，用于根據(jù)圖像的色彩特征、所述關(guān)注區(qū)域的對象特征和運(yùn)動(dòng)信息在所述各幀圖像之間的差別來檢測鏡頭剪接。2.根據(jù)權(quán)利要求l所述的運(yùn)動(dòng)圖像分析裝置，其特征在于，還包括鏡頭分類單元，用于對根據(jù)所述鏡頭剪接檢測單元的檢測結(jié)果而獲得的鏡頭進(jìn)行分類。3.根據(jù)權(quán)利要求l所述的運(yùn)動(dòng)圖像分析裝置，其特征在于，所迷關(guān)注區(qū)域提取單元利用通過預(yù)先學(xué)習(xí)而得到的所述關(guān)注區(qū)域的圖像特征來判斷在所述各幀圖像中是否存在所述關(guān)注區(qū)域。4.根據(jù)權(quán)利要求3所述的運(yùn)動(dòng)圖像分析裝置，其特征在于，所述關(guān)注區(qū)域的圖像特征基于HSV直方圖模型。5.根據(jù)權(quán)利要求l所述的運(yùn)動(dòng)圖像分析裝置，其特征在于，在所述關(guān)注區(qū)域提取單元提取了所述關(guān)注區(qū)域后，所述對象特征提耳又單元自動(dòng)在所述關(guān)注區(qū)i或內(nèi)或與所述關(guān)注區(qū)i或相鄰的區(qū)i或內(nèi)提取所述對象特征。6.根據(jù)權(quán)利要求l所述的運(yùn)動(dòng)圖像分析裝置，其特征在于，還包括具有可靠性的運(yùn)動(dòng)信息提取單元，所述鏡頭剪接檢測單元利用該具有可靠性的運(yùn)動(dòng)信息提取單元計(jì)算出的具有可靠性的運(yùn)動(dòng)信息進(jìn)行一企測。7.根據(jù)權(quán)利要求6所述的運(yùn)動(dòng)圖像分析裝置，其特征在于，所述鏡頭剪接檢測單元基于檢測運(yùn)動(dòng)信息的可靠性的結(jié)果，對所述運(yùn)動(dòng)信息賦予二值化的可靠性模板。8.根據(jù)權(quán)利要求7所述的運(yùn)動(dòng)圖像分析裝置，其特征在于，所述鏡頭剪接;險(xiǎn)測單元通過計(jì)算前后幀之間的運(yùn)動(dòng)信息并將所述運(yùn)動(dòng)信息向二次曲面模型擬合，來計(jì)算檢測運(yùn)動(dòng)信息的可靠性的特征量。9.根據(jù)權(quán)利要求8所述的運(yùn)動(dòng)圖像分析裝置，其特征在于，所述鏡頭剪接4企測單元通過對搜索區(qū)域內(nèi)的各像素位置和前后幀圖像內(nèi)搜索相同區(qū)域的匹配進(jìn)行計(jì)算來取j尋匹配評價(jià)值，將所述取得的匹配評價(jià)值向所述二次曲面模型擬合推算二次曲面的參數(shù)，計(jì)算檢測運(yùn)動(dòng)信息的可靠性的特征量。10.根據(jù)權(quán)利要求9所述的運(yùn)動(dòng)圖像分析裝置，其特征在于，基于多個(gè)運(yùn)動(dòng)信息的可靠性模板，所述鏡頭剪接檢測單元計(jì)算運(yùn)動(dòng)可靠度參數(shù)，基于所述可靠性模板和所述運(yùn)動(dòng)可靠度參數(shù)，所述鏡頭剪接檢測單元計(jì)算表示鏡頭剪接的4企測結(jié)果是否可靠的可靠性評價(jià)值。11.一種運(yùn)動(dòng)圖l象分析方法，其特征在于，所述運(yùn)動(dòng)圖^f象分析方法包括運(yùn)動(dòng)圖像讀入步驟，讀入運(yùn)動(dòng)圖像；關(guān)注區(qū)域讀取步驟，從所述運(yùn)動(dòng)圖像的各幀圖像中提取關(guān)、注區(qū)i或；對象特征提取步驟，在所述關(guān)注區(qū)域內(nèi)或與所述關(guān)注區(qū)域相鄰的區(qū)i或內(nèi)才是耳又對象特4正；以及鏡頭剪接檢測步驟，根據(jù)圖像的色彩特征、所述關(guān)注區(qū)域的對象特征、以及運(yùn)動(dòng)信息在各幀圖像之間的差別來檢測鏡頭剪接。12.根據(jù)權(quán)利要求ll所述的運(yùn)動(dòng)圖像分析方法，其特征在于，還包括鏡頭分類步驟，對根據(jù)檢測出的所述鏡頭剪接而獲得的鏡頭進(jìn)行分類。13.根據(jù)權(quán)利要求ll所述的運(yùn)動(dòng)圖像分析方法，其特征在于，在所述關(guān)注區(qū)域提取步驟中，利用通過預(yù)先學(xué)習(xí)而得到的關(guān)注區(qū)域的圖像特征來判斷在所述各幀圖像中是否存在關(guān)注區(qū)域。14.根據(jù)權(quán)利要求13所述的運(yùn)動(dòng)圖像分析方法，其特征在于，所述關(guān)注區(qū)域的圖像特征基于HSV直方圖模型。15.根據(jù)權(quán)利要求ll所述的運(yùn)動(dòng)圖像分析方法，其特征在于，在所述關(guān)注區(qū)域提取步驟中提取了關(guān)注區(qū)域后，在所述對象特征提耳又步一腺中自動(dòng)在所述關(guān)注區(qū)i或內(nèi)或與所述關(guān)注區(qū)i或相鄰的區(qū)域內(nèi)提取所述對象特征。16.根據(jù)權(quán)利要求ll所述的運(yùn)動(dòng)圖像分析方法，其特征在于在所述鏡頭剪接檢測步驟中包括具有可靠性的運(yùn)動(dòng)信息提取步驟，頁在所述鏡頭剪接檢測步驟中，利用通過所述具有可靠性的運(yùn)動(dòng)信息提取步驟計(jì)算出的具有可靠性的運(yùn)動(dòng)信息進(jìn)行^r測。17.根據(jù)權(quán)利要求16所述的運(yùn)動(dòng)圖像分析方法，其特征在于，在所述鏡頭剪接檢測步驟中，基于檢測運(yùn)動(dòng)信息的可靠性的結(jié)果，對所述運(yùn)動(dòng)信息賦予二值化的可靠性^t板。18.4艮據(jù)權(quán)利要求17所述的運(yùn)動(dòng)圖Y象分析方法，其特4i在于，在所述鏡頭剪接檢測步驟中，通過計(jì)算前后幀之間的運(yùn)動(dòng)信息并將所述運(yùn)動(dòng)信息向二次曲面才莫型擬合，來計(jì)算4企測運(yùn)動(dòng)信息的可靠性的特征量。19.根據(jù)權(quán)利要求18所述的運(yùn)動(dòng)圖像分析方法，其特征在于，在所述鏡頭剪接4全測步驟中，通過對4叟索區(qū)域內(nèi)的各^f象素位置和前后巾貞圖像內(nèi)4叟索相同區(qū)域的匹配進(jìn)行計(jì)算來取"彈匹配評1介值，將所述取得的匹配評價(jià)值向所述二次曲面模型擬合推算二次曲面的參數(shù)，計(jì)算檢測運(yùn)動(dòng)信息的可靠性的特征量。20.根據(jù)權(quán)利要求19所述的運(yùn)動(dòng)圖像分析方法，其特征在于，在所迷鏡頭剪接檢測步驟中，基于多個(gè)運(yùn)動(dòng)信息的可靠性模板，計(jì)算運(yùn)動(dòng)可靠度參數(shù)，基于所述可靠性模板和所述運(yùn)動(dòng)可靠度參數(shù)，計(jì)算表示所述鏡頭剪接檢測步驟的檢測結(jié)果是否可靠的可靠性評價(jià)值。21.—種摘要自動(dòng)制作系統(tǒng)，其特征在于包括根據(jù)權(quán)利要求1至10中任一項(xiàng)所述的運(yùn)動(dòng)圖像分析裝置；以及摘要自動(dòng)制作單元，根據(jù)所述運(yùn)動(dòng)圖像分析裝置的分析結(jié)果，自動(dòng)制作摘要。22.—種精彩場面自動(dòng)提取系統(tǒng)，其特征在于包括根據(jù)權(quán)利要求1至10中任一項(xiàng)所述的運(yùn)動(dòng)圖像分析裝置；以及精彩場面自動(dòng)4是取單元，4艮據(jù)所述運(yùn)動(dòng)圖4象分析裝置的分析結(jié)果，自動(dòng)提取精彩場面。全文摘要本發(fā)明提供一種運(yùn)動(dòng)圖像分析裝置、方法及系統(tǒng)，該運(yùn)動(dòng)圖像分析裝置包括運(yùn)動(dòng)圖像讀入單元，用于讀入運(yùn)動(dòng)圖像；關(guān)注區(qū)域提取單元，用于從所述運(yùn)動(dòng)圖像的各幀圖像中提取關(guān)注區(qū)域；對象特征提取單元，用于在所述關(guān)注區(qū)域內(nèi)或與所述關(guān)注區(qū)域相鄰的區(qū)域內(nèi)提取對象特征；以及鏡頭剪接檢測單元，用于根據(jù)圖像的色彩特征、關(guān)注區(qū)域的所述對象特征、以及運(yùn)動(dòng)信息在各幀圖像之間的差別來檢測鏡頭剪接。本發(fā)明通過評價(jià)圖像內(nèi)的運(yùn)動(dòng)信息的可靠性，能夠除去根據(jù)色彩分布特征和關(guān)注區(qū)域的尺寸特征而誤檢測出的鏡頭剪接，提高鏡頭剪接的檢測精度。文檔編號G06F17/30GK101329766SQ20081000938公開日2008年12月24日申請日期2008年2月28日優(yōu)先權(quán)日2007年6月18日發(fā)明者吳偉國,胡一川,隆之蘆原,博韓申請人:索尼(中國)有限公司