專利名稱：場(chǎng)地內(nèi)容分析裝置和方法及目標(biāo)檢測(cè)與跟蹤裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理領(lǐng)域，更具體地涉及一種場(chǎng)地內(nèi)容分析裝置和方法、以及基 于場(chǎng)地內(nèi)容分析的目標(biāo)檢測(cè)與跟蹤裝置和方法。
背景技術(shù)：
在觀賞比賽節(jié)目時(shí)，我們經(jīng)常需要分析比賽雙方選手所選用的隊(duì)形、進(jìn)攻策略等 信息。這就需要通過(guò)分析比賽場(chǎng)地內(nèi)的場(chǎng)地背景及所有非背景物體(包括比賽用具如足 球、籃球，比賽選手，裁判等)的位置、形狀等信息以及確定比賽場(chǎng)地內(nèi)各個(gè)選手的運(yùn)動(dòng)軌 跡信息來(lái)完成?，F(xiàn)有的比賽場(chǎng)地內(nèi)容分析系統(tǒng)或足球選手定位系統(tǒng)，大致分為兩種方法基于硬件的方法例如，Addidas公司利用在足球和球員身上增加紅外射頻信號(hào)硬件裝置，完 成對(duì)足球和球員的位置監(jiān)測(cè)與跟蹤。該系統(tǒng)利用硬件返回的信號(hào)完成對(duì)比賽場(chǎng)地內(nèi) 球員和足球的定位，詳細(xì)信息可以參見(jiàn)網(wǎng)址“http //www. rfidnews. org/2005/10/07/ adidas—smart—ball/，，禾口“http://www· footy-boots. com/adidas—smart—ball/，，。 ift夕卜，$ 巖在題為“足球電子裁判”的中國(guó)專利申請(qǐng)No. 200610029568. 1中提出了一種足球電子裁 判系統(tǒng)，該系統(tǒng)由基于硬件的足球定位發(fā)射器、場(chǎng)地邊角定向發(fā)射器、攝像機(jī)、雷達(dá)測(cè)速器、 球員定位發(fā)射器及場(chǎng)上裁判振動(dòng)接收器等組成；由于定位系統(tǒng)基于硬件環(huán)境和定位精度不高等問(wèn)題，使得用戶使用十分不便。此 外，基于硬件的方法還很難提取賽場(chǎng)背景信息?；谲浖姆椒║tsumi 等人在"An Object Detection Method For Describing SoccerGames From Video, IEEE International Conference on Multimedia andExpo,2002. , Pages 45-48，Volume 1”中利用大小限制和最近鄰匹配方式，完成了基于單攝像機(jī)的球員跟蹤系 統(tǒng)。其球員檢測(cè)模塊基于固定的大小限制，降低了檢測(cè)與跟蹤結(jié)果的正確性。Jia Liu 等人在"Automatic player detection, labeling and trackingin broadcast soccer video, Pattern Recognition Letters, Volume 30, Issue2(January 2009)，Pages 103-113”中提出了基于AdaBoost球員檢測(cè)與運(yùn)動(dòng)軌跡匹配方法的追蹤系 統(tǒng)。該系統(tǒng)雖然在球員的初始化檢測(cè)中，可以達(dá)到較高的正確率。但這是由于其使用了大 量手工標(biāo)記的訓(xùn)練樣本，而這在普通用戶的應(yīng)用中十分不便。此外，由于攝像機(jī)移動(dòng)，多球 員互相接近或遮擋等原因，基于運(yùn)動(dòng)估計(jì)的球員匹配方法的可靠性也較低。Guangyu Zhu 等人在"Automatic Multi-Player Detection andTracking in Broadcast Sports Video Using Support Vector Machine andParticle Filter, International Conference on Multimedia and Expo, ICME, 2006" Φ 7 ^ SVM( ^ 持向量機(jī))球員檢測(cè)與粒子濾波的球員追蹤系統(tǒng)。該系統(tǒng)同樣使用了大量手工標(biāo)記的訓(xùn)練 樣本生成確定球員位置用的定位器。此外，在所有選手追蹤過(guò)程中，并不能將當(dāng)前跟蹤選手與其他選手進(jìn)行區(qū)分。Sebastien 等 人 在“3D reconstruction of soccer sequences usingnon — calibrated video cameras, Image Analysis and Recognition, Volume4633/2007, Pages 12M-U64”中提出了一種基于顏色信息的球場(chǎng)內(nèi)容分析方法1， 利用HLS顏色空間提取圖像中顏色屬于球場(chǎng)的區(qū)域，2，利用圖形學(xué)方法修補(bǔ)球場(chǎng)區(qū)域提取 結(jié)果。3，利用Hough變換提取比賽場(chǎng)地中的直線與圓。該方法的缺點(diǎn)1，圖形學(xué)方法修補(bǔ) 球場(chǎng)區(qū)域提取結(jié)果和Hough變換提取直線與圓計(jì)算量大，對(duì)大批量數(shù)據(jù)處理和高分辨率圖 像過(guò)于耗費(fèi)時(shí)間。2，Hough變換提取直線與圓的結(jié)果并不準(zhǔn)確，并且提取的形狀內(nèi)容信息 受到算法的限制。顏紅波等人在題為“一種面向移動(dòng)設(shè)備的足球視頻智能播放方法”的中國(guó)專利申 請(qǐng)No. 200810040640. X中提出了一種基于顏色信息的球場(chǎng)內(nèi)容分析方法1，在HSV空間建 立顏色模型，利用預(yù)定義顏色信息提取場(chǎng)地內(nèi)非背景區(qū)域。2，用形狀模板提取球與球員的 位置。該方法的缺點(diǎn)1，僅根據(jù)當(dāng)前幀信息判斷背景區(qū)域，判斷條件不具有普適性。2，預(yù)定 義模板不準(zhǔn)確，球場(chǎng)及場(chǎng)地內(nèi)非背景區(qū)域分割效果不理想。由上可見(jiàn)，現(xiàn)有系統(tǒng)最大的問(wèn)題在于自動(dòng)化程度不高，需要手工修改參數(shù)或標(biāo)定 訓(xùn)練樣本，完成場(chǎng)地內(nèi)非背景區(qū)域提取或者球員定位與跟蹤；以及，僅根據(jù)當(dāng)前圖像的信 息，對(duì)比賽場(chǎng)地內(nèi)容進(jìn)行分析，使得比賽場(chǎng)地背景及非背景區(qū)域判斷準(zhǔn)則不可靠。

發(fā)明內(nèi)容
在下文中給出了關(guān)于本發(fā)明的簡(jiǎn)要概述，以便提供關(guān)于本發(fā)明的某些方面的基本 理解。但是，應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖用來(lái)確定 本發(fā)明的關(guān)鍵性部分或重要部分，也不是意圖用來(lái)限定本發(fā)明的范圍。其目的僅僅是以簡(jiǎn) 化的形式給出關(guān)于本發(fā)明的某些概念，以此作為稍后給出的更詳細(xì)描述的前序。鑒于現(xiàn)有技術(shù)的上述情形，本發(fā)明的目的是提供一種場(chǎng)地內(nèi)容分析裝置和方法， 其能夠自動(dòng)、精確地對(duì)圖像的場(chǎng)地范圍如足球比賽的球場(chǎng)范圍內(nèi)的背景/非背景內(nèi)容進(jìn)行 類別判斷。此外，本發(fā)明的另一目的是提供一種基于場(chǎng)地內(nèi)容分析的目標(biāo)檢測(cè)與跟蹤裝置和 方法，其能夠自動(dòng)、精確地完成圖像的場(chǎng)地范圍內(nèi)的目標(biāo)檢測(cè)與跟蹤。為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種場(chǎng)地內(nèi)容分析裝置，其包 括場(chǎng)地范圍確定模塊，用于通過(guò)統(tǒng)計(jì)分析圖像樣本中各個(gè)像素點(diǎn)的顏色信息，確定場(chǎng)地范 圍；背景模型生成模塊，用于針對(duì)圖像樣本的場(chǎng)地范圍內(nèi)的每個(gè)像素點(diǎn)，通過(guò)統(tǒng)計(jì)分析其顏 色分布信息，生成表示其背景顏色范圍的場(chǎng)地背景模型；以及背景/非背景判斷模塊，用于 利用由背景模型生成模塊生成的場(chǎng)地背景模型，判斷圖像的場(chǎng)地范圍內(nèi)的各個(gè)像素點(diǎn)是否 為場(chǎng)地背景。根據(jù)本發(fā)明的另一個(gè)方面，還提供了一種基于場(chǎng)地內(nèi)容分析的目標(biāo)檢測(cè)與跟蹤裝 置，其包括背景去除模塊，其包括上述場(chǎng)地內(nèi)容分析裝置，用于分析在訓(xùn)練階段輸入的訓(xùn) 練圖像或在跟蹤階段輸入的跟蹤圖像的場(chǎng)地范圍內(nèi)各個(gè)像素點(diǎn)的背景/非背景類別屬性， 以去除其中的背景；目標(biāo)檢測(cè)參數(shù)訓(xùn)練模塊，用于在訓(xùn)練階段通過(guò)對(duì)訓(xùn)練圖像中符合預(yù)定 條件的非背景單連通域進(jìn)行統(tǒng)計(jì)分析來(lái)獲得目標(biāo)檢測(cè)參數(shù)；目標(biāo)檢測(cè)模塊，用于在跟蹤階段針對(duì)跟蹤圖像的場(chǎng)地范圍內(nèi)的每個(gè)非背景單連通域，根據(jù)由目標(biāo)檢測(cè)參數(shù)訓(xùn)練模塊獲得 的目標(biāo)檢測(cè)參數(shù)、以及該非背景單連通域與所有跟蹤目標(biāo)之間的距離來(lái)檢測(cè)待跟蹤的新目 標(biāo)；目標(biāo)區(qū)分模塊，用于在跟蹤階段針對(duì)每個(gè)跟蹤目標(biāo)，得到目標(biāo)相似度圖像，其中目標(biāo)相 似度圖像中的每個(gè)點(diǎn)表示跟蹤圖像中以對(duì)應(yīng)于該點(diǎn)的位置為中心、與該跟蹤目標(biāo)等大的區(qū) 域與該跟蹤目標(biāo)的匹配程度；以及目標(biāo)跟蹤模塊，用于在跟蹤階段根據(jù)由目標(biāo)區(qū)分模塊得 到的目標(biāo)相似度圖像，對(duì)每個(gè)跟蹤目標(biāo)進(jìn)行跟蹤。根據(jù)本發(fā)明的另一個(gè)方面，還提供了一種場(chǎng)地內(nèi)容分析方法，其包括場(chǎng)地范圍確 定步驟，用于通過(guò)統(tǒng)計(jì)分析圖像樣本中各個(gè)像素點(diǎn)的顏色信息，確定場(chǎng)地范圍；背景模型 生成步驟，用于針對(duì)圖像樣本的場(chǎng)地范圍內(nèi)的每個(gè)像素點(diǎn)，通過(guò)統(tǒng)計(jì)分析其顏色分布信息， 生成表示其背景顏色范圍的場(chǎng)地背景模型；以及背景/非背景判斷步驟，用于利用通過(guò)背 景模型生成步驟生成的場(chǎng)地背景模型，判斷圖像的場(chǎng)地范圍內(nèi)的各個(gè)像素點(diǎn)是否為場(chǎng)地背 根據(jù)本發(fā)明的另一個(gè)方面，還提供了一種基于場(chǎng)地內(nèi)容分析的目標(biāo)檢測(cè)與跟蹤方 法，其包括背景去除步驟，用于通過(guò)上述場(chǎng)地內(nèi)容分析方法，分析在訓(xùn)練階段輸入的訓(xùn)練 圖像或在跟蹤階段輸入的跟蹤圖像的場(chǎng)地范圍內(nèi)各個(gè)像素點(diǎn)的背景/非背景類別屬性，以 去除其中的背景；目標(biāo)檢測(cè)參數(shù)訓(xùn)練步驟，用于在訓(xùn)練階段通過(guò)對(duì)訓(xùn)練圖像中符合預(yù)定條 件的非背景單連通域進(jìn)行統(tǒng)計(jì)分析來(lái)獲得目標(biāo)檢測(cè)參數(shù)；目標(biāo)檢測(cè)步驟，用于在跟蹤階段 針對(duì)跟蹤圖像的場(chǎng)地范圍內(nèi)的每個(gè)非背景單連通域，根據(jù)通過(guò)目標(biāo)檢測(cè)參數(shù)訓(xùn)練步驟獲得 的目標(biāo)檢測(cè)參數(shù)、以及該非背景單連通域與所有跟蹤目標(biāo)之間的距離來(lái)檢測(cè)待跟蹤的新目 標(biāo)；目標(biāo)區(qū)分步驟，用于在跟蹤階段針對(duì)每個(gè)跟蹤目標(biāo)得到目標(biāo)相似度圖像，其中目標(biāo)相似 度圖像中的每個(gè)點(diǎn)表示跟蹤圖像中以對(duì)應(yīng)于該點(diǎn)的位置為中心、與該跟蹤目標(biāo)等大的區(qū)域 與該跟蹤目標(biāo)的匹配程度；以及目標(biāo)跟蹤步驟，用于在跟蹤階段根據(jù)通過(guò)目標(biāo)區(qū)分步驟得 到的目標(biāo)相似度圖像，對(duì)每個(gè)跟蹤目標(biāo)進(jìn)行跟蹤。根據(jù)本發(fā)明的另一個(gè)方面，還提供了用于實(shí)現(xiàn)上述場(chǎng)地內(nèi)容分析方法和/或基于 場(chǎng)地內(nèi)容分析的目標(biāo)檢測(cè)與跟蹤方法的計(jì)算機(jī)程序產(chǎn)品。根據(jù)本發(fā)明的另一個(gè)方面，還提供了計(jì)算機(jī)可讀介質(zhì)，其上記錄有用于實(shí)現(xiàn)上述 場(chǎng)地內(nèi)容分析方法和/或基于場(chǎng)地內(nèi)容分析的目標(biāo)檢測(cè)與跟蹤方法的計(jì)算機(jī)程序代碼。根據(jù)本發(fā)明的上述技術(shù)方案，可以精確、有效地自動(dòng)完成場(chǎng)地內(nèi)容分析和/或目 標(biāo)檢測(cè)與跟蹤。


本發(fā)明可以通過(guò)參考下文中結(jié)合附圖所給出的詳細(xì)描述而得到更好的理解，其中 在所有附圖中使用了相同或相似的附圖標(biāo)記來(lái)表示相同或者相似的部件。所述附圖連同下 面的詳細(xì)說(shuō)明一起包含在本說(shuō)明書中并形成說(shuō)明書的一部分，用來(lái)進(jìn)一步舉例說(shuō)明本發(fā)明 的優(yōu)選實(shí)施例和解釋本發(fā)明的原理和優(yōu)點(diǎn)。在附圖中圖1示出了根據(jù)本發(fā)明實(shí)施例的場(chǎng)地內(nèi)容分析裝置的總體結(jié)構(gòu)框圖；圖2示出了根據(jù)本發(fā)明具體實(shí)施例的場(chǎng)地范圍確定模塊的結(jié)構(gòu)框圖；圖3示出了由圖2中的場(chǎng)地區(qū)域判斷單元執(zhí)行的場(chǎng)地區(qū)域判斷處理的示例性實(shí)現(xiàn) 流程；
8
圖4示出了圖2中的場(chǎng)地區(qū)域判斷單元對(duì)單幀圖像樣本的判斷結(jié)果的示例；圖5示出了由圖2中的場(chǎng)地范圍生成單元執(zhí)行的場(chǎng)地范圍生成處理的示例性實(shí)現(xiàn) 流程；圖6示出了圖2中的場(chǎng)地范圍生成單元對(duì)多幀圖像樣本的判斷結(jié)果、以及圖2中 的場(chǎng)地范圍補(bǔ)償單元的補(bǔ)償結(jié)果的示例；圖7示出了由圖2中的場(chǎng)地范圍補(bǔ)償單元執(zhí)行的場(chǎng)地范圍補(bǔ)償處理的示例性實(shí)現(xiàn) 流程；圖8示出了單連通域的周圍區(qū)域的示例性定義；圖9示出了由圖1中的場(chǎng)地標(biāo)志線生成模塊執(zhí)行的場(chǎng)地標(biāo)志線生成處理的示例性 實(shí)現(xiàn)流程；圖10示出了由圖1中的場(chǎng)地標(biāo)志線生成模塊生成的場(chǎng)地標(biāo)志線的示例；圖11示出了像素點(diǎn)的背景顏色分布的示意圖；圖12示出了由圖1中的背景模型生成模塊執(zhí)行的背景模型生成處理的示例性實(shí) 現(xiàn)流程；圖13示出了由圖1中的背景模型生成模塊生成的場(chǎng)地背景圖像的示例；圖14示出了由圖1中的背景/非背景判斷模塊執(zhí)行的背景/非背景判斷處理的 示例性實(shí)現(xiàn)流程；圖15示出了圖1中的背景/非背景判斷模塊的背景/非背景判斷結(jié)果的示例；圖16示出了根據(jù)本發(fā)明實(shí)施例的基于場(chǎng)地內(nèi)容分析的目標(biāo)檢測(cè)與跟蹤裝置的總 體框圖；圖17示出了由圖16的背景去除模塊中的動(dòng)態(tài)攝像機(jī)背景去除模塊執(zhí)行的背景/ 非背景判斷處理的示例性實(shí)現(xiàn)流程；圖18示出了圖16的背景去除模塊中的動(dòng)態(tài)攝像機(jī)背景去除模塊的背景去除處理 的示例；圖19示出了由圖16的目標(biāo)分類方式確定模塊執(zhí)行的主分量分析(PCA)特征計(jì)算 處理的具體實(shí)現(xiàn)流程；圖20示出了由圖16的目標(biāo)分類方式確定模塊執(zhí)行的目標(biāo)分類方式確定處理的示 例性實(shí)現(xiàn)流程；圖21示出了球員隊(duì)屬子類生成的示例性示意圖；圖22示出了目標(biāo)分類方式的分布離散程度判斷的示例性示意圖；圖23示出了由圖16的目標(biāo)檢測(cè)模塊執(zhí)行的目標(biāo)檢測(cè)處理的示例性實(shí)現(xiàn)流程；圖M示出了由圖16的目標(biāo)類別判斷模塊執(zhí)行的目標(biāo)類別判斷處理的示例性示意 圖；圖25示出了根據(jù)本發(fā)明具體實(shí)施例的目標(biāo)跟蹤模塊的結(jié)構(gòu)框圖；圖沈示出了由圖25中的相似度抑制單元執(zhí)行的相似度抑制處理的原理示意圖；圖27示出了由圖25中的相似度抑制單元執(zhí)行的相似度抑制處理的結(jié)果示意圖；圖觀示出了由圖25中的相似度抑制單元執(zhí)行的相似度抑制處理的結(jié)果示例圖；圖四示出了圖25中的目標(biāo)跟蹤單元以積分圖追蹤法進(jìn)行目標(biāo)跟蹤處理的結(jié)果示 例圖30示出了積分圖的示例圖；圖31示出了以積分圖追蹤法進(jìn)行的目標(biāo)跟蹤處理中計(jì)算目標(biāo)框相似度的示例 圖；圖32示出了以積分圖追蹤法進(jìn)行目標(biāo)跟蹤處理的示意圖；圖33示出了圖25中的目標(biāo)跟蹤單元以積分圖追蹤法進(jìn)行目標(biāo)跟蹤處理的具體實(shí) 現(xiàn)流程；圖34示出了積分圖追蹤偏差的示例；圖35示出了圖25中的目標(biāo)跟蹤單元以Cam-Shift追蹤法進(jìn)行目標(biāo)跟蹤處理的具 體實(shí)現(xiàn)流程；圖36示出了以Cam-Shift追蹤法進(jìn)行目標(biāo)跟蹤處理的示意圖；圖37示出了由圖25中的目標(biāo)跟蹤單元對(duì)當(dāng)前跟蹤結(jié)果執(zhí)行的修正處理的示例性 實(shí)現(xiàn)流程；圖38示出了由圖1中的丟失判斷單元執(zhí)行的丟失判斷處理的示例性實(shí)現(xiàn)流程；圖39示出了由圖16的跟蹤結(jié)果顯示模塊顯示的基于靜止攝像機(jī)的目標(biāo)跟蹤結(jié)果 的示例；圖40示出了根據(jù)本發(fā)明實(shí)施例的場(chǎng)地內(nèi)容分析方法的總體流程圖；圖41示出了根據(jù)本發(fā)明實(shí)施例的基于場(chǎng)地內(nèi)容分析的目標(biāo)檢測(cè)與跟蹤方法的總 體流程圖；以及圖42示出了在其中可以實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的場(chǎng)地內(nèi)容分析方法和/或裝置 或者基于場(chǎng)地內(nèi)容分析的目標(biāo)檢測(cè)與跟蹤方法和/或裝置的信息處理設(shè)備的示例性結(jié)構(gòu) 的框圖。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，附圖中的元件僅僅是為了簡(jiǎn)單和清楚起見(jiàn)而示出的， 而且不一定是按比例繪制的。例如，附圖中某些元件的尺寸可能相對(duì)于其它元件放大了，以 便有助于提高對(duì)本發(fā)明實(shí)施例的理解。
具體實(shí)施例方式在下文中將結(jié)合附圖對(duì)本發(fā)明的示范性實(shí)施例進(jìn)行描述。為了清楚和簡(jiǎn)明起見(jiàn)， 在說(shuō)明書中并未描述實(shí)際實(shí)施方式的所有特征。然而，應(yīng)該了解，在開發(fā)任何這種實(shí)際實(shí)施 例的過(guò)程中必須做出很多特定于實(shí)施方式的決定，以便實(shí)現(xiàn)開發(fā)人員的具體目標(biāo)，例如，符 合與系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件，并且這些限制條件可能會(huì)隨著實(shí)施方式的不同而有 所改變。此外，還應(yīng)該了解，雖然開發(fā)工作有可能是非常復(fù)雜和費(fèi)時(shí)的，但對(duì)得益于本公開 內(nèi)容的本領(lǐng)域技術(shù)人員來(lái)說(shuō)，這種開發(fā)工作僅僅是例行的任務(wù)。在此，還需要說(shuō)明的一點(diǎn)是，為了避免因不必要的細(xì)節(jié)而模糊了本發(fā)明，在附圖中 僅僅示出了與根據(jù)本發(fā)明的方案密切相關(guān)的裝置結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明 關(guān)系不大的其它細(xì)節(jié)。下面將以足球比賽視頻為例，對(duì)本發(fā)明的場(chǎng)地內(nèi)容分析裝置和方法以及基于場(chǎng)地 內(nèi)容分析的目標(biāo)檢測(cè)與跟蹤裝置和方法的具體實(shí)施方式
進(jìn)行詳細(xì)描述。但是，本領(lǐng)域的技 術(shù)人員應(yīng)當(dāng)清楚，本發(fā)明并不局限于諸如足球比賽視頻的體育視頻處理。在足球比賽視頻的情況下，下面表述“球場(chǎng)”或“草地區(qū)域”對(duì)應(yīng)于在本文中提到
10的“場(chǎng)地”，并且下面表述“足球運(yùn)動(dòng)員”或“球員，，對(duì)應(yīng)于在本文中提到的“目標(biāo)”。首先將結(jié)合附圖詳細(xì)描述根據(jù)本發(fā)明實(shí)施例的場(chǎng)地內(nèi)容分析裝置。該場(chǎng)地內(nèi)容分 析裝置以由靜止攝像機(jī)拍攝的圖像為處理對(duì)象。在足球比賽中，經(jīng)?？梢砸?jiàn)到攝像機(jī)靜止不動(dòng)，拍攝整幅球場(chǎng)畫面的情景。這時(shí)， 圖像中每個(gè)像素點(diǎn)對(duì)應(yīng)固定的內(nèi)容，那么，可以統(tǒng)計(jì)畫面中各處景物出現(xiàn)的概率。利用對(duì)靜 止背景建模的方式，分析圖像中各像素點(diǎn)對(duì)應(yīng)的內(nèi)容類別，將球場(chǎng)背景與非背景區(qū)分開?；?于這一設(shè)計(jì)思想，提出了本發(fā)明的場(chǎng)地內(nèi)容分析裝置，其意義在于，(1)保留屬于非背景，例 如球員等的圖像內(nèi)容，減少背景對(duì)后續(xù)分析的影響；(2)可協(xié)助球員檢測(cè)與位置搜索等工 作只在屬于球員范圍內(nèi)的圖像中進(jìn)行，因此，比賽場(chǎng)地內(nèi)容分析可以用來(lái)減小球員檢測(cè)與 跟蹤的搜索范圍，節(jié)省計(jì)算時(shí)間。圖1示出了根據(jù)本發(fā)明實(shí)施例的場(chǎng)地內(nèi)容分析裝置100的總體結(jié)構(gòu)框圖。如圖1所示，根據(jù)本發(fā)明實(shí)施例的場(chǎng)地內(nèi)容分析裝置100主要包括場(chǎng)地范圍確 定模塊110、場(chǎng)地標(biāo)志線生成模塊120(可選)、背景模型生成模塊130、背景模型更新模塊 140 (可選)、以及背景/非背景判斷模塊150。場(chǎng)地范圍確定模塊110可以在學(xué)習(xí)階段通過(guò)統(tǒng)計(jì)分析圖像樣本中各個(gè)像素點(diǎn)的 顏色信息，確定場(chǎng)地范圍。圖2示出了根據(jù)本發(fā)明具體實(shí)施例的場(chǎng)地范圍確定模塊110的結(jié)構(gòu)框圖。如圖2 所示，場(chǎng)地范圍確定模塊Iio可以包括場(chǎng)地區(qū)域判斷單元210、場(chǎng)地范圍生成單元220以及 場(chǎng)地范圍補(bǔ)償單元230 (可選)。場(chǎng)地區(qū)域判斷單元210可以針對(duì)每個(gè)圖像樣本，根據(jù)該圖像樣本中主要顏色的判 斷模型，判斷圖像樣本中的各個(gè)像素點(diǎn)是否屬于場(chǎng)地區(qū)域。具體地說(shuō)，在足球比賽視頻的情況下，由于球員活動(dòng)范圍僅在草地范圍之內(nèi)，那 么僅統(tǒng)計(jì)草地范圍內(nèi)的有用信息，可以極大地減少工作量。例如利用B.Han，Y. Hu等人在 "Enhanced Sports Video Shot BoundaryDetection Based on Middle Level Features and a Unified Model，IEEETrans. Consumer Electronics，vol. 53，no. 3，pp. 1168—1176， 2007”中提出的方法，基于顏色信息，對(duì)每幀視頻圖像中每個(gè)像素點(diǎn)完成是否是草地區(qū)域的 判斷。圖3示出了示例性實(shí)現(xiàn)流程。如圖3所示，首先，在步驟S310，場(chǎng)地區(qū)域判斷單元210例如利用上面提及的 B. Han, Y. Hu等人的文獻(xiàn)中提出的方法，生成整幅圖像中主要顏色的判斷模型。接下來(lái)，在步驟S320，按行、從左到右、從上到下的順序，依次讀入每個(gè)像素點(diǎn)的顏 色。接下來(lái)，在步驟S330，根據(jù)在步驟S310生成的主要顏色的判斷模型，判斷當(dāng)前像 素點(diǎn)是否是主要顏色。如果步驟S330的判斷結(jié)果為“是”，則在步驟S340，判定當(dāng)前像素點(diǎn)是比賽場(chǎng)地， 并且流程進(jìn)入步驟S360，否則在步驟S350，判定當(dāng)前像素點(diǎn)不是比賽場(chǎng)地，并且流程進(jìn)入 步驟S360。在步驟S360，判斷是否已處理完所有像素點(diǎn)。如果步驟S360的判斷結(jié)果為“否”， 則返回到步驟S320繼續(xù)處理下一像素點(diǎn)，否則流程結(jié)束。圖4示出了場(chǎng)地區(qū)域判斷單元210對(duì)單幀圖像的判斷結(jié)果的示例圖。在該圖中，圖4(a)為原始圖像，圖4(b)為判斷結(jié)果，其中黑色部分表示非比賽場(chǎng)地區(qū)域，而白色部分 表示比賽場(chǎng)地區(qū)域。場(chǎng)地范圍生成單元220可以根據(jù)場(chǎng)地區(qū)域判斷單元210的判斷結(jié)果，分別針對(duì)圖 像樣本中的每個(gè)像素點(diǎn)，統(tǒng)計(jì)該像素點(diǎn)屬于場(chǎng)地區(qū)域的概率，并且根據(jù)所統(tǒng)計(jì)的概率值來(lái) 確定該像素點(diǎn)是否屬于場(chǎng)地區(qū)域，從而生成場(chǎng)地范圍。具體地說(shuō)，對(duì)于足球比賽視頻圖像，從統(tǒng)計(jì)規(guī)律上講，比賽場(chǎng)地范圍是草地出現(xiàn)概 率較高的區(qū)域。那么，設(shè)定一個(gè)固定的最低出現(xiàn)概率閾值。統(tǒng)計(jì)若干幀圖像中，每個(gè)像素點(diǎn) 的草地出現(xiàn)概率，即每個(gè)像素點(diǎn)屬于比賽場(chǎng)地的概率。若大于預(yù)定閾值(例如設(shè)為20%)， 那么該像素點(diǎn)屬于比賽場(chǎng)地范圍，反之，不屬于比賽場(chǎng)地范圍。圖5示出了示例性實(shí)現(xiàn)流程。如圖5所示，首先，在步驟S510，場(chǎng)地范圍生成單元220利用場(chǎng)地區(qū)域判斷單元 210對(duì)每個(gè)圖像樣本的判斷結(jié)果，以每個(gè)像素點(diǎn)為單位，統(tǒng)計(jì)所有圖像樣本中每個(gè)像素點(diǎn)屬 于比賽場(chǎng)地的概率。接下來(lái)，在步驟S520，按行、從左到右、從上到下的順序，依次讀入每個(gè)像素點(diǎn)屬于 比賽場(chǎng)地的概率。接下來(lái)，在步驟S530，判斷當(dāng)前像素點(diǎn)屬于比賽場(chǎng)地的概率是否大于預(yù)定閾值。如果步驟S530的判斷結(jié)果為“是”，則在步驟S540，確定當(dāng)前像素點(diǎn)屬于比賽場(chǎng) 地，并且流程進(jìn)入步驟S560，否則在步驟S550，確定當(dāng)前像素點(diǎn)不屬于比賽場(chǎng)地，并且流程 進(jìn)入步驟S560。在步驟S560，判斷是否已處理完所有像素點(diǎn)。如果步驟S560的判斷結(jié)果為“否”， 則返回到步驟S520繼續(xù)處理下一像素點(diǎn)，否則流程結(jié)束。圖6(a)示出了場(chǎng)地范圍生成單元220對(duì)多幀圖像樣本的判斷結(jié)果的示例?？蛇x地，場(chǎng)地范圍補(bǔ)償單元230可以根據(jù)各個(gè)像素點(diǎn)的場(chǎng)地/非場(chǎng)地類別屬性得 到單連通域，并且針對(duì)每個(gè)單連通域，根據(jù)其面積及其周圍區(qū)域的場(chǎng)地/非場(chǎng)地類別屬性 來(lái)修正該單連通域的場(chǎng)地/非場(chǎng)地類別屬性，從而對(duì)由場(chǎng)地范圍生成單元生成的場(chǎng)地范圍 進(jìn)行補(bǔ)償。具體地說(shuō)，從圖6(a)中可以看出，由于白線、球員、場(chǎng)地范圍內(nèi)的雜物以及噪音等 因素的影響，球場(chǎng)范圍的判斷結(jié)果中有空白的部分，即球場(chǎng)范圍(圖像中白色區(qū)域)內(nèi)的黑 色部分，球場(chǎng)外也有誤判斷的部分，即球場(chǎng)范圍(圖像中白色區(qū)域)外的白色部分。因此， 需要進(jìn)一步補(bǔ)償所生成的球場(chǎng)范圍，將屬于場(chǎng)地范圍內(nèi)外的兩個(gè)區(qū)域分開，并保持各自的 空間連續(xù)性。根據(jù)圖像的空間連續(xù)性，考慮球場(chǎng)范圍判定結(jié)果中所有類別判斷錯(cuò)誤的單連通域 (例如，設(shè)為面積小于圖像總面積10%的區(qū)域)周圍的屬性，當(dāng)前單連通域與其周圍區(qū)域的 屬性應(yīng)該一致，即圖像中每個(gè)像素，如果是比賽場(chǎng)地范圍之內(nèi)，那么它周圍的像素也應(yīng)是比 賽場(chǎng)地范圍之內(nèi)，反之亦然。利用這一特點(diǎn)對(duì)球場(chǎng)范圍判斷結(jié)果進(jìn)行補(bǔ)償。圖7示出了示 例性實(shí)現(xiàn)流程。如圖7所示，首先，在步驟S710，根據(jù)各個(gè)像素點(diǎn)的場(chǎng)地/非場(chǎng)地類別屬性得到單 連通域。接下來(lái)，在步驟S720，針對(duì)所得到的每個(gè)單連通域，判斷其面積是否小于預(yù)定閾值。如果步驟S720的判斷結(jié)果為“是”，則流程進(jìn)入步驟S730，否則流程進(jìn)入步驟 S760。在步驟S730，判斷當(dāng)前單連通域的周圍區(qū)域是否為比賽場(chǎng)地。在此，單連通域的周 圍區(qū)域例如圖8所示進(jìn)行定義，圖中白色區(qū)域?yàn)閱芜B通域的外接矩形區(qū)域，灰色區(qū)域定義 為周圍區(qū)域。需要說(shuō)明的是，單連通域的周圍區(qū)域的上述定義是示例性的而非限制性的，本 領(lǐng)域的技術(shù)人員根據(jù)具體設(shè)計(jì)可以對(duì)其進(jìn)行其它定義。如果步驟S730的判斷結(jié)果為“是”，則在步驟S740，將當(dāng)前單連通域設(shè)為比賽場(chǎng) 地，并且流程進(jìn)入步驟S760，否則在步驟S750，將當(dāng)前單連通域設(shè)為非比賽場(chǎng)地，并且流程 進(jìn)入步驟S760。接下來(lái)，在步驟S760，判斷是否已處理完所有單連通域。如果步驟S760的判斷結(jié) 果為“否”，則返回到步驟S720繼續(xù)處理下一單連通域，否則流程結(jié)束。圖6(b)示出了補(bǔ)償結(jié)果的示例，圖中灰色矩形區(qū)域以及圖6(b)中，相對(duì)于(a)黑 色區(qū)域(球場(chǎng)外噪音區(qū)域)內(nèi)白色置零的部分為補(bǔ)償結(jié)果。可選地，場(chǎng)地標(biāo)志線生成模塊120可以根據(jù)補(bǔ)償后的場(chǎng)地范圍內(nèi)各個(gè)像素點(diǎn)屬于 場(chǎng)地區(qū)域的概率來(lái)生成場(chǎng)地標(biāo)志線。具體地說(shuō)，場(chǎng)地標(biāo)志線，應(yīng)該是球場(chǎng)范圍之內(nèi)，不屬于草地的部分。從統(tǒng)計(jì)概率上 講，就是圖像中草地范圍之內(nèi)草地出現(xiàn)概率(即，屬于比賽場(chǎng)地的概率)低于預(yù)定閾值(例 如，設(shè)為20%)的像素點(diǎn)。圖9示出了示例性實(shí)現(xiàn)流程。如圖9所示，首先，在步驟S910，場(chǎng)地標(biāo)志線生成模塊120以每個(gè)像素點(diǎn)為單位，統(tǒng) 計(jì)所有圖像樣本中每個(gè)像素點(diǎn)屬于比賽場(chǎng)地的概率。接下來(lái)，在步驟S920，按行、從左到右、從上到下的順序，依次讀入每個(gè)像素點(diǎn)屬于 比賽場(chǎng)地的概率。接下來(lái)，在步驟S930，判斷當(dāng)前像素點(diǎn)屬于比賽場(chǎng)地的概率是否小于預(yù)定閾值并 且該像素點(diǎn)在補(bǔ)償后的比賽場(chǎng)地范圍之內(nèi)。如果步驟S930的判斷結(jié)果為“是”，則在步驟S940，判定當(dāng)前像素點(diǎn)是比賽場(chǎng)地標(biāo) 志線，并且流程進(jìn)入步驟S960，否則在步驟S950，判定當(dāng)前像素點(diǎn)不是比賽場(chǎng)地標(biāo)志線，并 且流程進(jìn)入步驟S960。在步驟S960，判斷是否已處理完所有像素點(diǎn)。如果步驟S960的判斷結(jié)果為“否”， 則返回到步驟S920繼續(xù)處理下一像素點(diǎn)，否則流程結(jié)束。圖10示出了由場(chǎng)地標(biāo)志線生成模塊120生成的場(chǎng)地標(biāo)志線的示例，其中白色部分 為場(chǎng)地標(biāo)志線。背景模型生成模塊130可以針對(duì)圖像樣本的場(chǎng)地范圍內(nèi)的每個(gè)像素點(diǎn)，通過(guò)統(tǒng)計(jì) 分析其顏色分布信息，生成表示其背景顏色范圍的場(chǎng)地背景模型。具體地說(shuō)，完成場(chǎng)地范圍的確定之后，本發(fā)明將背景定義為圖像的場(chǎng)地范圍中每 個(gè)像素點(diǎn)出現(xiàn)概率最高的一種顏色。該顏色對(duì)應(yīng)的分布范圍定義為判斷是否是背景的條 件，如圖11所示。首先，統(tǒng)計(jì)在學(xué)習(xí)階段采集到的所有圖像樣本，每個(gè)像素點(diǎn)的顏色分布信息，利用 大量樣本的統(tǒng)計(jì)參數(shù)，得到圖像樣本的背景模型，以確定每個(gè)像素點(diǎn)是否是背景的判斷條件。圖12示出了示例性實(shí)現(xiàn)流程。如圖12所示，在步驟S1210，依次讀入在學(xué)習(xí)階段采集到的所有圖像樣本。接下來(lái)，在步驟S1220，按行、從左到右、從上到下的順序，依次統(tǒng)計(jì)圖像樣本的場(chǎng) 地范圍內(nèi)每個(gè)像素點(diǎn)所有顏色的出現(xiàn)概率。接下來(lái)，在步驟S1230，確定出現(xiàn)概率曲線上的所有峰值。接下來(lái)，在步驟S1M0，以最大的前N個(gè)峰值為中心，將所有顏色聚成N類，其中N 是預(yù)定正整數(shù)。接下來(lái)，在步驟S1250，確定N類中峰值最大的一類對(duì)應(yīng)的中心I以及顏色變化標(biāo) 準(zhǔn)差δ，其中I為該像素點(diǎn)對(duì)應(yīng)的背景顏色，δ表示該像素點(diǎn)對(duì)應(yīng)的屬于背景顏色的色差 范圍參數(shù)。上述實(shí)現(xiàn)流程是以Mauffer，C. Grimson 等人在 “Adaptivebackground mixture models for real-time tracking, CVPR. 1999, Pages 245-252, Vol. 2"中 出 ^ M5 GMM(高斯混合模型)顏色模型的分布統(tǒng)計(jì)方法為例，說(shuō)明計(jì)算得到比賽場(chǎng)地背景模型以及 相應(yīng)的判斷每個(gè)像素點(diǎn)是否是背景圖像的判斷條件。需要說(shuō)明的是，任意一種分布統(tǒng)計(jì)方 法都可以與本發(fā)明方法結(jié)合，得到背景模型與相應(yīng)的背景/非背景判斷條件。利用對(duì)圖像中每個(gè)像素點(diǎn)建立GMM顏色模型的方法，僅針對(duì)場(chǎng)地區(qū)域范圍之內(nèi)的 所有像素點(diǎn)生成比賽場(chǎng)地背景模型以及相應(yīng)的背景/非背景判斷條件。生成結(jié)果如圖13 所示。這樣，通過(guò)背景模型生成模塊130的背景模型生成處理，可以得到一幅比賽場(chǎng)地 背景圖像，以及圖像中每個(gè)像素點(diǎn)對(duì)應(yīng)的，屬于背景顏色的判斷條件(例如，公式(1))。
Γ π · ,, 、 background, ζ/ λ; e (λ ±3 χ.厶)>.Result(X) = ^sJ ν /- ' \ (1)其中χ表示需判斷的每個(gè)像素點(diǎn)顏色，background表示判斷結(jié)果是背景，not kickgroimd表示判斷結(jié)果不是背景，I表示該像素點(diǎn)對(duì)應(yīng)的背景顏色，δ表示該像素點(diǎn)對(duì) 應(yīng)的屬于背景顏色的色差范圍參數(shù)。可選地，場(chǎng)地內(nèi)容分析裝置100還可以包括背景模型更新模塊140，用于在分析階 段根據(jù)當(dāng)前圖像的顏色信息來(lái)更新場(chǎng)地背景模型。具體地說(shuō)，在分析階段，每讀入一幅新的圖像，背景模型更新模塊140都用該圖像 的顏色信息更新當(dāng)前比賽場(chǎng)地范圍之內(nèi)的背景模型，以及相應(yīng)的背景和非背景判斷條件， 以適應(yīng)比賽場(chǎng)地的變化。更新方式為
=I1-cJx^ +C1 XX(Λ cA ~r C1 (——\2
Kew = !"-Γ x^L +^-X^-^/J
. V iJ->其中χ為圖像中當(dāng)前像素點(diǎn)對(duì)應(yīng)的顏色，x。ld是現(xiàn)有背景顏色中心，^是更新后 的背景顏色中心。是現(xiàn)有顏色分布方差，Ij是更新后的顏色分布方差，C1是屬于ο 到1之間的一個(gè)正小數(shù)，對(duì)應(yīng)不同場(chǎng)合的背景更新速度，需要對(duì)應(yīng)背景顏色變化速度調(diào)節(jié)。 若背景變化較快，則調(diào)大C1使其接近1以增快學(xué)習(xí)速度，若背景變化緩慢，則適當(dāng)減小Cl。背景/非背景判斷模塊150可以利用所得到的場(chǎng)地背景模型，判斷圖像的場(chǎng)地范 圍內(nèi)的各個(gè)像素點(diǎn)是否為場(chǎng)地背景。
具體地說(shuō)，在得到場(chǎng)地范圍內(nèi)的背景模型后，可得到比賽場(chǎng)地范圍內(nèi)每個(gè)像素點(diǎn) 對(duì)應(yīng)的背景顏色1以及是否屬于比賽場(chǎng)地背景顏色的判斷條件(公式(1))。利用該判斷條件，仿照人眼判斷類別的方式，以顏色距離為依據(jù)，僅在比賽場(chǎng)地范 圍之內(nèi)，逐像素使用背景差的方法，判斷圖像中當(dāng)前幀顏色X與背景顏色I(xiàn)之間的顏色距 離，若該像素為非場(chǎng)地背景，則將判斷結(jié)果標(biāo)記為白色，否則將判斷結(jié)果標(biāo)記為黑色。圖14 示出了示例性實(shí)現(xiàn)流程。如圖14所示，首先，在步驟S1410，按行、從左到右、從上到下的順序，依次讀入每 個(gè)像素點(diǎn)的背景顏色^和相應(yīng)的判斷條件。接下來(lái)，在步驟S1420，讀入當(dāng)前圖像中該像素點(diǎn)的顏色χ。接下來(lái)，在步驟S1430，判斷當(dāng)前圖像中該像素點(diǎn)的顏色χ是否滿足判斷條件 χ e 6[士3X δ )，并且該像素點(diǎn)在比賽場(chǎng)地范圍之內(nèi)。如果步驟S1430的判斷結(jié)果為“是”，則在步驟S1440，判定當(dāng)前像素為比賽場(chǎng)地背 景，并將其標(biāo)記為黑色，并且流程進(jìn)入步驟S1460，否則在步驟S1450，判斷當(dāng)前像素不是比 賽場(chǎng)地背景，并將其標(biāo)記為白色，并且流程進(jìn)入步驟S1460。接下來(lái)，在步驟S1460，判斷是否已處理完所有像素點(diǎn)。如果步驟S1460的判斷結(jié) 果為“否”，則返回到步驟S1410繼續(xù)處理下一像素點(diǎn)，否則流程結(jié)束。圖15示出了背景/非背景判斷模塊150的背景/非背景判斷結(jié)果的示例。下面將以足球比賽視頻中足球運(yùn)動(dòng)員區(qū)域的位置檢測(cè)與跟蹤為例，詳細(xì)描述本發(fā) 明的基于場(chǎng)地內(nèi)容分析的目標(biāo)檢測(cè)與跟蹤裝置在足球比賽視頻中的具體實(shí)現(xiàn)方式。但是， 本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)清楚，本發(fā)明并不局限于諸如足球比賽視頻的體育視頻。圖16示出了根據(jù)本發(fā)明實(shí)施例的基于場(chǎng)地內(nèi)容分析的目標(biāo)檢測(cè)與跟蹤裝置1600 的總體框圖。如圖16所示，目標(biāo)檢測(cè)與跟蹤裝置1600可以包括背景去除模塊1610、目標(biāo)檢 測(cè)參數(shù)訓(xùn)練模塊1620、目標(biāo)分類方式確定模塊1630、目標(biāo)檢測(cè)模塊1640、目標(biāo)類別判斷模 塊1650、目標(biāo)區(qū)分模塊1660、目標(biāo)跟蹤模塊1670、以及跟蹤結(jié)果顯示模塊1680。背景去除模塊1610可以去除在訓(xùn)練階段輸入的訓(xùn)練圖像或在跟蹤階段輸入的跟 蹤圖像內(nèi)的背景內(nèi)容，以便用于后續(xù)的目標(biāo)檢測(cè)與跟蹤。背景去除模塊1610可以進(jìn)一步包 括靜止攝像機(jī)背景去除模塊和動(dòng)態(tài)攝像機(jī)背景去除模塊以分別處理圖像是由靜止攝像機(jī) 和動(dòng)態(tài)攝像機(jī)拍攝的情況。對(duì)于靜止攝像機(jī)背景去除模塊，其可以由上述場(chǎng)地內(nèi)容分析裝置100構(gòu)成，其具 體實(shí)現(xiàn)將不再贅述。另一方面，對(duì)于動(dòng)態(tài)攝像機(jī)背景去除模塊，由于動(dòng)態(tài)攝像機(jī)圖像中每一像素點(diǎn)不 再對(duì)應(yīng)固定的圖像內(nèi)容，因此不能利用背景出現(xiàn)概率判斷圖像中每一像素點(diǎn)的內(nèi)容。但是， 對(duì)每一幅圖像單獨(dú)處理，利用與上述場(chǎng)地內(nèi)容分析裝置100中的場(chǎng)地區(qū)域判斷單元210相 同的方式，完成場(chǎng)地區(qū)域判斷，并且得到每個(gè)單連通域是否在場(chǎng)地范圍之內(nèi)的判斷，用于后 續(xù)目標(biāo)檢測(cè)與跟蹤的工作。圖17示出了示例性實(shí)現(xiàn)流程。如圖17所示，首先，在步驟S1710，對(duì)跟蹤圖像進(jìn)行場(chǎng)地區(qū)域判斷。接下來(lái)，在步驟S1720，根據(jù)各個(gè)像素點(diǎn)的場(chǎng)地區(qū)域判斷結(jié)果，得到單連通域。接下來(lái)，在步驟S1730，針對(duì)所得到的每個(gè)單連通域，判斷該單連通域的面積是否 小于預(yù)定閾值。
如果步驟S1730的判斷結(jié)果為“是”，則流程進(jìn)入步驟S1740，否則流程進(jìn)入步驟 S1770。在步驟S1740，判斷當(dāng)前單連通域的周圍區(qū)域是否為比賽場(chǎng)地。如果步驟S1740的判斷結(jié)果為“是”，則在步驟S1750，判定當(dāng)前單連通域在場(chǎng)地范 圍之內(nèi)，并且流程進(jìn)入步驟S1770，否則在步驟S1760，判定當(dāng)前單連通域在場(chǎng)地范圍之外， 并且流程進(jìn)入步驟S1770。接下來(lái)，在步驟S1770，判斷是否已處理完所有單連通域。如果步驟S1770的判斷 結(jié)果為“否”，則返回到步驟S1730繼續(xù)處理下一單連通域，否則流程結(jié)束。在完成每個(gè)單連通域的判斷之后，提取場(chǎng)地范圍內(nèi)非比賽場(chǎng)地的單連通域作為背 景去除的結(jié)果。圖18示出了圖16的背景去除模塊1610中的動(dòng)態(tài)攝像機(jī)背景去除模塊的背景去 除處理的示例，其中(a)為原始圖像，(b)為場(chǎng)地區(qū)域判斷結(jié)果，并且(c)為背景去除結(jié)果。目標(biāo)檢測(cè)參數(shù)訓(xùn)練模塊1620可以在訓(xùn)練階段通過(guò)對(duì)訓(xùn)練圖像中符合預(yù)定條件的 非背景單連通域進(jìn)行統(tǒng)計(jì)分析來(lái)獲得目標(biāo)檢測(cè)參數(shù)。在此，目標(biāo)檢測(cè)參數(shù)可以包括目標(biāo)大 小、形狀、紋理范圍參數(shù)中的一個(gè)或多個(gè)。具體地說(shuō)，在足球比賽視頻的情況下，單一球員被定義為(1)圖像中草地區(qū)域范 圍之內(nèi)；(2)大小及形狀在固定閾值范圍之內(nèi)；(3)紋理與所有球員圖像均值誤差較小的； 以及(4)非草地單連通域。因此，球員檢測(cè)需要訓(xùn)練大小、形狀和/或紋理三種限制閾值。針對(duì)按照球員定義 提取出的所有單連通域圖像區(qū)域，目標(biāo)檢測(cè)參數(shù)訓(xùn)練模塊1620依次計(jì)算大小(寬，高)，形 狀(寬/高)，紋理(圖像RGB信息)的均值和方差，通過(guò)迭代多次計(jì)算得到三套參數(shù)的訓(xùn) 練結(jié)果。 __得到訓(xùn)練參數(shù)后，三種參數(shù)取值大小限制方法統(tǒng)一為J-3X δ彡X彡Χ+3Χ δ。 其中X為對(duì)應(yīng)的參數(shù)，I為參數(shù)均值，δ為參數(shù)方差。此外，大小、形狀參數(shù)附加約束條件為大小寬彡4像素且高彡6像素，
權(quán)利要求
1.一種場(chǎng)地內(nèi)容分析裝置，包括場(chǎng)地范圍確定模塊，用于通過(guò)統(tǒng)計(jì)分析圖像樣本中各個(gè)像素點(diǎn)的顏色信息，確定場(chǎng)地 范圍；背景模型生成模塊，用于針對(duì)圖像樣本的場(chǎng)地范圍內(nèi)的每個(gè)像素點(diǎn)，通過(guò)統(tǒng)計(jì)分析其 顏色分布信息，生成表示其背景顏色范圍的場(chǎng)地背景模型；以及背景/非背景判斷模塊，用于利用由背景模型生成模塊生成的場(chǎng)地背景模型，判斷圖 像的場(chǎng)地范圍內(nèi)的各個(gè)像素點(diǎn)是否為場(chǎng)地背景。
2.根據(jù)權(quán)利要求1所述的場(chǎng)地內(nèi)容分析裝置，其中場(chǎng)地范圍確定模塊進(jìn)一步包括 場(chǎng)地區(qū)域判斷單元，用于針對(duì)每個(gè)圖像樣本，生成其主要顏色的判斷模型，并且根據(jù)該判斷模型來(lái)判斷該圖像樣本中的各個(gè)像素點(diǎn)是否屬于場(chǎng)地區(qū)域；以及場(chǎng)地范圍生成單元，用于根據(jù)場(chǎng)地區(qū)域判斷單元的判斷結(jié)果，分別針對(duì)圖像樣本中的 每個(gè)像素點(diǎn)，統(tǒng)計(jì)該像素點(diǎn)屬于場(chǎng)地區(qū)域的概率，并且根據(jù)所統(tǒng)計(jì)的概率值來(lái)確定該像素 點(diǎn)是否屬于場(chǎng)地區(qū)域，從而生成場(chǎng)地范圍。
3.根據(jù)權(quán)利要求2所述的場(chǎng)地內(nèi)容分析裝置，其中場(chǎng)地范圍確定模塊還包括 場(chǎng)地范圍補(bǔ)償模塊，用于根據(jù)各個(gè)像素點(diǎn)的場(chǎng)地/非場(chǎng)地類別屬性得到單連通域，并且針對(duì)每個(gè)單連通域，根據(jù)其面積及其周圍區(qū)域的場(chǎng)地/非場(chǎng)地類別屬性來(lái)修正該單連通 域的場(chǎng)地/非場(chǎng)地類別屬性，從而對(duì)由場(chǎng)地范圍生成單元生成的場(chǎng)地范圍進(jìn)行補(bǔ)償。
4.根據(jù)權(quán)利要求3所述的場(chǎng)地內(nèi)容分析裝置，還包括場(chǎng)地標(biāo)志線生成模塊，用于根據(jù)補(bǔ)償后的場(chǎng)地范圍內(nèi)各個(gè)像素點(diǎn)屬于場(chǎng)地區(qū)域的概率 來(lái)生成場(chǎng)地標(biāo)志線。
5.根據(jù)權(quán)利要求1所述的場(chǎng)地內(nèi)容分析裝置，其中背景模型生成模塊利用高斯混合模 型GMM顏色模型來(lái)生成場(chǎng)地背景模型。
6.根據(jù)權(quán)利要求1所述的場(chǎng)地內(nèi)容分析裝置，還包括場(chǎng)地背景模型更新模塊，用于根 據(jù)當(dāng)前圖像的顏色信息來(lái)更新場(chǎng)地背景模型。
7.一種基于場(chǎng)地內(nèi)容分析的目標(biāo)檢測(cè)與跟蹤裝置，包括背景去除模塊，其包括如權(quán)利要求1-6中的任一項(xiàng)所述的場(chǎng)地內(nèi)容分析裝置，用于分 析在訓(xùn)練階段輸入的訓(xùn)練圖像或在跟蹤階段輸入的跟蹤圖像的場(chǎng)地范圍內(nèi)各個(gè)像素點(diǎn)的 背景/非背景類別屬性，以去除其中的背景；目標(biāo)檢測(cè)參數(shù)訓(xùn)練模塊，用于在訓(xùn)練階段通過(guò)對(duì)訓(xùn)練圖像中符合預(yù)定條件的非背景單 連通域進(jìn)行統(tǒng)計(jì)分析來(lái)獲得目標(biāo)檢測(cè)參數(shù)；目標(biāo)檢測(cè)模塊，用于在跟蹤階段針對(duì)跟蹤圖像的場(chǎng)地范圍內(nèi)的每個(gè)非背景單連通域， 根據(jù)由目標(biāo)檢測(cè)參數(shù)訓(xùn)練模塊獲得的目標(biāo)檢測(cè)參數(shù)、以及該非背景單連通域與所有跟蹤目 標(biāo)之間的距離來(lái)檢測(cè)待跟蹤的新目標(biāo)；目標(biāo)區(qū)分模塊，用于在跟蹤階段針對(duì)每個(gè)跟蹤目標(biāo)，得到目標(biāo)相似度圖像，其中目標(biāo)相 似度圖像中的每個(gè)點(diǎn)表示跟蹤圖像中以對(duì)應(yīng)于該點(diǎn)的位置為中心、與該跟蹤目標(biāo)等大的區(qū) 域與該跟蹤目標(biāo)的匹配程度；以及目標(biāo)跟蹤模塊，用于在跟蹤階段根據(jù)由目標(biāo)區(qū)分模塊得到的目標(biāo)相似度圖像，對(duì)每個(gè) 跟蹤目標(biāo)進(jìn)行跟蹤。
8.如權(quán)利要求7所述的目標(biāo)檢測(cè)與跟蹤裝置，其中目標(biāo)檢測(cè)參數(shù)包括目標(biāo)大小、形狀、紋理范圍參數(shù)中的一個(gè)或多個(gè)。
9.如權(quán)利要求7所述的目標(biāo)檢測(cè)與跟蹤裝置，還包括目標(biāo)分類方式確定模塊，用于在訓(xùn)練階段計(jì)算多個(gè)目標(biāo)樣本的目標(biāo)描述特征參數(shù)，根 據(jù)所得到的目標(biāo)描述特征參數(shù)，按照不同的類別數(shù)對(duì)所有目標(biāo)樣本進(jìn)行分類，判斷每種分 類方式對(duì)應(yīng)的分布離散程度，并且將分布離散程度最好的分類方式確定為目標(biāo)分類方式； 以及目標(biāo)類別判斷模塊，用于在跟蹤階段根據(jù)由目標(biāo)分類方式確定模塊確定的目標(biāo)分類方 式對(duì)跟蹤目標(biāo)進(jìn)行分類，以向最匹配的候選類別投票，并且統(tǒng)計(jì)得票最高的類別作為最終 的類別判斷結(jié)果。
10.如權(quán)利要求9所述的目標(biāo)檢測(cè)與跟蹤裝置，其中目標(biāo)分類方式確定模塊計(jì)算目標(biāo) 樣本在色相/飽和度/值HSV顏色空間上的主分量分析PCA特征作為目標(biāo)描述特征參數(shù)。
11.如權(quán)利要求7所述的目標(biāo)檢測(cè)與跟蹤裝置，其中目標(biāo)跟蹤模塊進(jìn)一步包括相似度 抑制單元，用于針對(duì)每個(gè)跟蹤目標(biāo)，利用先前目標(biāo)跟蹤結(jié)果，基于其跟蹤搜索范圍內(nèi)該跟蹤 目標(biāo)與其它跟蹤目標(biāo)的位置關(guān)系以及非跟蹤目標(biāo)區(qū)域，對(duì)目標(biāo)相似度圖像進(jìn)行相似度抑 制。
12.如權(quán)利要求7所述的目標(biāo)檢測(cè)與跟蹤裝置，其中目標(biāo)跟蹤模塊進(jìn)一步包括目標(biāo)跟 蹤單元，用于結(jié)合積分圖追蹤法和Cam-Shift追蹤法對(duì)跟蹤目標(biāo)進(jìn)行跟蹤。
13.如權(quán)利要求12所述的目標(biāo)檢測(cè)與跟蹤裝置，其中目標(biāo)跟蹤單元還利用先前一幀或 多幀的目標(biāo)跟蹤結(jié)果中跟蹤目標(biāo)的平均大小和/或平均位移，對(duì)當(dāng)前目標(biāo)跟蹤結(jié)果進(jìn)行修 正。
14.如權(quán)利要求7所述的目標(biāo)檢測(cè)與跟蹤裝置，其中目標(biāo)跟蹤模塊進(jìn)一步包括丟失判 斷單元，用于針對(duì)每個(gè)跟蹤目標(biāo)，根據(jù)目標(biāo)相似度圖像中的跟蹤目標(biāo)區(qū)域內(nèi)前景像素點(diǎn)個(gè) 數(shù)之和與像素點(diǎn)個(gè)數(shù)總和之比來(lái)判斷是否對(duì)該跟蹤目標(biāo)繼續(xù)跟蹤。
15.如權(quán)利要求7所述的目標(biāo)檢測(cè)與跟蹤裝置，其中目標(biāo)跟蹤模塊進(jìn)一步包括特征更 新單元，用于利用當(dāng)前目標(biāo)跟蹤結(jié)果中跟蹤目標(biāo)區(qū)域的中心像素點(diǎn)對(duì)應(yīng)的特征，更新目標(biāo) 相似度計(jì)算的參考特征。
16.如權(quán)利要求7所述的目標(biāo)檢測(cè)與跟蹤裝置，還包括跟蹤結(jié)果顯示模塊，用于至少顯 示目標(biāo)跟蹤模塊的目標(biāo)跟蹤結(jié)果。
17.—種場(chǎng)地內(nèi)容分析方法，包括場(chǎng)地范圍確定步驟，用于通過(guò)統(tǒng)計(jì)分析圖像樣本中各個(gè)像素點(diǎn)的顏色信息，確定場(chǎng)地 范圍；背景模型生成步驟，用于針對(duì)圖像樣本的場(chǎng)地范圍內(nèi)的每個(gè)像素點(diǎn)，通過(guò)統(tǒng)計(jì)分析其 顏色分布信息，生成表示其背景顏色范圍的場(chǎng)地背景模型；以及背景/非背景判斷步驟，用于利用通過(guò)背景模型生成步驟生成的場(chǎng)地背景模型，判斷 圖像的場(chǎng)地范圍內(nèi)的各個(gè)像素點(diǎn)是否為場(chǎng)地背景。
18.根據(jù)權(quán)利要求17所述的場(chǎng)地內(nèi)容分析方法，其中場(chǎng)地范圍確定步驟進(jìn)一步包括場(chǎng)地區(qū)域判斷子步驟，用于針對(duì)每個(gè)圖像樣本，生成其主要顏色的判斷模型，并且根據(jù)該判斷模型來(lái)判斷該圖像樣本中的各個(gè)像素點(diǎn)是否屬于場(chǎng)地區(qū)域；以及場(chǎng)地范圍生成子步驟，用于根據(jù)場(chǎng)地區(qū)域判斷子步驟的判斷結(jié)果，分別針對(duì)圖像樣本中的每個(gè)像素點(diǎn)，統(tǒng)計(jì)該像素點(diǎn)屬于場(chǎng)地區(qū)域的概率，并且根據(jù)所統(tǒng)計(jì)的概率值來(lái)確定該 像素點(diǎn)是否屬于場(chǎng)地區(qū)域，從而生成場(chǎng)地范圍。
19.根據(jù)權(quán)利要求18所述的場(chǎng)地內(nèi)容分析方法，其中場(chǎng)地范圍確定步驟還包括場(chǎng)地范圍補(bǔ)償子步驟，用于根據(jù)各個(gè)像素點(diǎn)的場(chǎng)地/非場(chǎng)地類別屬性得到單連通域，并且針對(duì)每個(gè)單連通域，根據(jù)其面積及其周圍區(qū)域的場(chǎng)地/非場(chǎng)地類別屬性，修正該單連通域的場(chǎng)地/非場(chǎng)地類別屬性，從而對(duì)通過(guò)場(chǎng)地范圍生成子步驟生成的場(chǎng)地范圍進(jìn)行補(bǔ)償。
20.根據(jù)權(quán)利要求19所述的場(chǎng)地內(nèi)容分析方法，還包括場(chǎng)地標(biāo)志線生成步驟，用于根據(jù)補(bǔ)償后的場(chǎng)地范圍內(nèi)各個(gè)像素點(diǎn)屬于場(chǎng)地區(qū)域的概率 來(lái)生成場(chǎng)地標(biāo)志線。
21.根據(jù)權(quán)利要求17所述的場(chǎng)地內(nèi)容分析方法，其中在背景模型生成步驟中利用高斯 混合模型GMM顏色模型來(lái)生成場(chǎng)地背景模型。
22.根據(jù)權(quán)利要求17所述的場(chǎng)地內(nèi)容分析方法，還包括場(chǎng)地背景模型更新步驟，用于 根據(jù)當(dāng)前圖像的顏色信息來(lái)更新場(chǎng)地背景模型。
23.一種基于場(chǎng)地內(nèi)容分析的目標(biāo)檢測(cè)與跟蹤方法，包括背景去除步驟，用于通過(guò)如權(quán)利要求17-22中的任一項(xiàng)所述的場(chǎng)地內(nèi)容分析方法，分 析在訓(xùn)練階段輸入的訓(xùn)練圖像或在跟蹤階段輸入的跟蹤圖像的場(chǎng)地范圍內(nèi)各個(gè)像素點(diǎn)的 背景/非背景類別屬性，以去除其中的背景；目標(biāo)檢測(cè)參數(shù)訓(xùn)練步驟，用于在訓(xùn)練階段通過(guò)對(duì)訓(xùn)練圖像中符合預(yù)定條件的非背景單 連通域進(jìn)行統(tǒng)計(jì)分析來(lái)獲得目標(biāo)檢測(cè)參數(shù)；目標(biāo)檢測(cè)步驟，用于在跟蹤階段針對(duì)跟蹤圖像的場(chǎng)地范圍內(nèi)的每個(gè)非背景單連通域， 根據(jù)通過(guò)目標(biāo)檢測(cè)參數(shù)訓(xùn)練步驟獲得的目標(biāo)檢測(cè)參數(shù)、以及該非背景單連通域與所有跟蹤 目標(biāo)之間的距離來(lái)檢測(cè)待跟蹤的新目標(biāo)；目標(biāo)區(qū)分步驟，用于在跟蹤階段針對(duì)每個(gè)跟蹤目標(biāo)得到目標(biāo)相似度圖像，其中目標(biāo)相 似度圖像中的每個(gè)點(diǎn)表示跟蹤圖像中以對(duì)應(yīng)于該點(diǎn)的位置為中心、與該跟蹤目標(biāo)等大的區(qū) 域與該跟蹤目標(biāo)的匹配程度；以及目標(biāo)跟蹤步驟，用于在跟蹤階段根據(jù)通過(guò)目標(biāo)區(qū)分步驟得到的目標(biāo)相似度圖像，對(duì)每 個(gè)跟蹤目標(biāo)進(jìn)行跟蹤。
24.如權(quán)利要求23所述的目標(biāo)檢測(cè)與跟蹤方法，其中目標(biāo)檢測(cè)參數(shù)包括目標(biāo)大小、形 狀、紋理范圍參數(shù)中的一個(gè)或多個(gè)。
25.如權(quán)利要求23所述的目標(biāo)檢測(cè)與跟蹤方法，還包括目標(biāo)分類方式確定步驟，用于在訓(xùn)練階段計(jì)算多個(gè)目標(biāo)樣本的目標(biāo)描述特征參數(shù)，根 據(jù)所得到的目標(biāo)描述特征參數(shù)，按照不同的類別數(shù)對(duì)所有目標(biāo)樣本進(jìn)行分類，判斷每種分 類方式對(duì)應(yīng)的分布離散程度，并且將分布離散程度最好的分類方式作為目標(biāo)分類方式；以 及目標(biāo)類別判斷步驟，用于在跟蹤階段根據(jù)通過(guò)目標(biāo)分類方式確定步驟確定的目標(biāo)分類 方式對(duì)跟蹤目標(biāo)進(jìn)行分類，以向最匹配的候選類別投票，并且統(tǒng)計(jì)得票最高的類別作為最 終的類別判斷結(jié)果。
26.如權(quán)利要求25所述的目標(biāo)檢測(cè)與跟蹤方法，其中在目標(biāo)分類方式確定步驟中計(jì)算目標(biāo)樣本在色相/飽和度/值HSV顏色空間上的主分量分析PCA特征作為目標(biāo)描述特征參數(shù)。
27.如權(quán)利要求23所述的目標(biāo)檢測(cè)與跟蹤方法，其中目標(biāo)跟蹤步驟進(jìn)一步包括相似度 抑制子步驟，用于針對(duì)每個(gè)跟蹤目標(biāo)，利用先前目標(biāo)跟蹤結(jié)果，基于其跟蹤搜索范圍內(nèi)該跟 蹤目標(biāo)與其它跟蹤目標(biāo)的位置關(guān)系以及非跟蹤目標(biāo)區(qū)域，對(duì)目標(biāo)相似度圖像進(jìn)行相似度抑 制。
28.如權(quán)利要求23所述的目標(biāo)檢測(cè)與跟蹤方法，其中目標(biāo)跟蹤步驟進(jìn)一步包括目標(biāo)跟 蹤子步驟，用于結(jié)合積分圖追蹤法和Cam-Shift追蹤法對(duì)跟蹤目標(biāo)進(jìn)行跟蹤。
29.如權(quán)利要求28所述的目標(biāo)檢測(cè)與跟蹤方法，其中在目標(biāo)跟蹤子步驟中還利用先前 一幀或多幀的目標(biāo)跟蹤結(jié)果中跟蹤目標(biāo)的平均大小和/或平均位移，對(duì)當(dāng)前目標(biāo)跟蹤結(jié)果 進(jìn)行修正。
30.如權(quán)利要求23所述的目標(biāo)檢測(cè)與跟蹤方法，其中目標(biāo)跟蹤步驟進(jìn)一步包括丟失判 斷子步驟，用于針對(duì)每個(gè)跟蹤目標(biāo)，根據(jù)目標(biāo)相似度圖像中的跟蹤目標(biāo)區(qū)域內(nèi)前景像素點(diǎn) 個(gè)數(shù)之和與像素點(diǎn)個(gè)數(shù)總和之比來(lái)判斷是否對(duì)該跟蹤目標(biāo)繼續(xù)跟蹤。
31.如權(quán)利要求23所述的目標(biāo)檢測(cè)與跟蹤方法，其中目標(biāo)跟蹤步驟進(jìn)一步包括特征更 新子步驟，用于利用當(dāng)前目標(biāo)跟蹤結(jié)果中跟蹤目標(biāo)區(qū)域的中心像素點(diǎn)對(duì)應(yīng)的特征，更新目 標(biāo)相似度計(jì)算的參考特征。
32.如權(quán)利要求23所述的目標(biāo)檢測(cè)與跟蹤方法，還包括跟蹤結(jié)果顯示步驟，用于至少 顯示目標(biāo)跟蹤步驟的目標(biāo)跟蹤結(jié)果。
全文摘要
本發(fā)明公開了一種場(chǎng)地內(nèi)容分析裝置和方法、以及基于場(chǎng)地內(nèi)容分析的目標(biāo)檢測(cè)與跟蹤裝置和方法，其中該場(chǎng)地內(nèi)容分析裝置包括場(chǎng)地范圍確定模塊，用于通過(guò)統(tǒng)計(jì)分析圖像樣本中各個(gè)像素點(diǎn)的顏色信息，確定場(chǎng)地范圍；背景模型生成模塊，用于針對(duì)圖像樣本的場(chǎng)地范圍內(nèi)的每個(gè)像素點(diǎn)，通過(guò)統(tǒng)計(jì)分析其顏色分布信息，生成表示其背景顏色范圍的場(chǎng)地背景模型；以及背景/非背景判斷模塊，用于利用由背景模型生成模塊生成的場(chǎng)地背景模型，判斷圖像的場(chǎng)地范圍內(nèi)的各個(gè)像素點(diǎn)是否為場(chǎng)地背景。根據(jù)本發(fā)明的上述技術(shù)方案，可以精確、有效地自動(dòng)完成場(chǎng)地內(nèi)容分析和/或目標(biāo)檢測(cè)與跟蹤。
文檔編號(hào)G06T7/20GK102142147SQ20101010812
公開日2011年8月3日 申請(qǐng)日期2010年1月29日 優(yōu)先權(quán)日2010年1月29日
發(fā)明者吳偉國(guó), 張斯聰 申請(qǐng)人:索尼公司