專利名稱：球門(mén)檢測(cè)和基于球門(mén)檢測(cè)的足球視頻精彩事件檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種球門(mén)檢測(cè)和足球視頻精彩事件檢測(cè)方法，更具體的說(shuō)，是涉及一種基于球門(mén)檢測(cè)的足球視頻精彩事件檢測(cè)方法。
背景技術(shù)：
精彩事件提取在體育視頻的快速瀏覽中發(fā)揮著重要的作用。觀眾通常都會(huì)關(guān)注于體育視頻中的一些關(guān)鍵片段而不是整個(gè)視頻段。能夠靈活自動(dòng)的提取精彩事件有助于快速準(zhǔn)確地了解視頻內(nèi)容。現(xiàn)有技術(shù)中，對(duì)精彩事件的提取方法主要分為兩類基于重放和基于規(guī)則?；谥胤诺姆椒ㄕJ(rèn)為精彩事件是電視轉(zhuǎn)播中進(jìn)行重放的事件，通過(guò)對(duì)重放模式的識(shí)別，來(lái)確定精彩事件的發(fā)生。基于規(guī)則的精彩事件檢測(cè)方法通過(guò)手動(dòng)的或者自動(dòng)、半自動(dòng)的訓(xùn)練找到精彩事件發(fā)生的規(guī)則，然后根據(jù)此規(guī)則找到相應(yīng)的精彩事件。一般采用隱馬爾可夫模型、動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)等訓(xùn)練模型參數(shù)，雖然能夠取得較好的檢測(cè)效果，但是整個(gè)系統(tǒng)的代價(jià)也較高，所費(fèi)時(shí)間也較長(zhǎng)，不適用于實(shí)時(shí)檢測(cè)精彩事件。
足球比賽作為觀眾人數(shù)和普及率最高的體育比賽之一，如果能把足球比賽中的精彩片斷自動(dòng)提取出來(lái)，無(wú)論是對(duì)足球愛(ài)好者還是教練員、運(yùn)動(dòng)員都有很大的幫助。傳統(tǒng)的復(fù)雜的足球視頻精彩事件提取方法，如Assfalg等人在文獻(xiàn)1“Soccer HighlightsDetection and Recognition using HMMs”中采用隱馬爾可夫模型來(lái)檢測(cè)精彩事件。HMM訓(xùn)練所用的特征為相機(jī)的運(yùn)動(dòng)特征，相機(jī)的運(yùn)動(dòng)特征本身很難提取的，通過(guò)訓(xùn)練得到的HMM對(duì)精彩事件檢測(cè)的檢測(cè)準(zhǔn)確率為80％，既費(fèi)時(shí)，而且檢測(cè)的準(zhǔn)確率也不高。
禁區(qū)附近的區(qū)域是足球比賽中一個(gè)十分重要的區(qū)域，很多關(guān)鍵性的事件和精彩鏡頭諸如射門(mén)、點(diǎn)球，任意球等都發(fā)生在禁區(qū)附近的區(qū)域。由此可見(jiàn)，如果能夠在視頻幀中找出禁區(qū)附近的區(qū)域，就可在此基礎(chǔ)上進(jìn)一步分析視頻內(nèi)容，從而在語(yǔ)義層次上分析精彩事件的發(fā)生。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種基于球門(mén)檢測(cè)的快速、準(zhǔn)確的足球視頻精彩事件檢測(cè)方法。
為了實(shí)現(xiàn)上述目的，本發(fā)明采取如下技術(shù)方案一種球門(mén)檢測(cè)方法，所述球門(mén)是指足球球門(mén)，包括如下步驟(1)首先提取一幀彩色足球視頻圖像，以下的步驟均以該幀圖像為基礎(chǔ)。
(2)對(duì)上述視頻幀圖像采用草帽變換(top-hat)提取邊緣圖像；(3)在邊緣圖像的基礎(chǔ)上搜索豎直方向鄰域符合一定閾值的線段；(4)在上一步驟得到的線段中，采用哈夫變換(hough)選取兩根最長(zhǎng)的線段作為候選球門(mén)柱；(5)采用第二啟發(fā)式規(guī)則確定上一步驟中的候選球門(mén)柱是否是球門(mén)。
進(jìn)一步地，上述步驟(1)中，對(duì)于一幀圖像的提取可以是逐幀提取，可以是隔幀提取，也可是每隔固定的5～20幀提取。
進(jìn)一步地，上述步驟(2)中提取邊緣圖像的步驟如下(a)對(duì)彩色圖像做草帽變換(top-hat)提取彩色邊緣圖像；(b)對(duì)彩色邊緣圖像進(jìn)行灰度變換得到灰度圖像；(c)采用自適應(yīng)的方法將灰度圖像二值化，得到二值黑白邊緣圖像。
進(jìn)一步地，上述步驟(c)中采用自適應(yīng)的方法將灰度圖像二值化，是指采用2-均值聚類，將灰度邊緣圖像的直方圖聚為兩類，得到一高一低兩類聚類中心，對(duì)于灰度圖像中的每個(gè)像素，如果離高像素值的聚類中心較近，則將其置為白色，反之如果離低像素值的聚類中心較近，則將其置為黑色。
進(jìn)一步地，上述步驟(3)在邊緣圖像的基礎(chǔ)上搜索豎直方向鄰域符合一定閾值的線段，是指在得到的二值黑白邊緣圖像的基礎(chǔ)上，對(duì)于每個(gè)白色象素，搜索其豎直方向上下鄰域?yàn)?至20個(gè)像素的范圍，如果所述范圍內(nèi)全為白色像素，則所述范圍表示的線段為候選球門(mén)柱。
進(jìn)一步地，所述第二啟發(fā)式規(guī)則是指(a)兩根球門(mén)柱的長(zhǎng)度都應(yīng)符合一定的閾值要求，應(yīng)在5～100個(gè)像素的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)；(b)兩根球門(mén)柱之間的距離應(yīng)符合一定的閾值要求，應(yīng)在20～160個(gè)像素的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)。
(c)在滿足上述規(guī)則的基礎(chǔ)上，兩根球門(mén)柱之間的距離和最長(zhǎng)球門(mén)柱之間也應(yīng)符合一定的比例要求，比例系數(shù)應(yīng)在0.5～3.5的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)。
(d)在滿足上述規(guī)則的基礎(chǔ)上，球門(mén)柱的線段應(yīng)該保持一定連續(xù)性，每個(gè)球門(mén)柱的上下界之差與門(mén)柱長(zhǎng)度的差值應(yīng)該在0～25個(gè)像素的范圍內(nèi)，如果不符合則認(rèn)為不為球門(mén)。
(e)在滿足上述規(guī)則的基礎(chǔ)上，兩根球門(mén)柱構(gòu)成的最小矩形的中心位置應(yīng)處在一定的區(qū)域內(nèi)，其中心點(diǎn)的縱坐標(biāo)應(yīng)在0～240的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)。
(f)在滿足上述規(guī)則的基礎(chǔ)上，兩根球門(mén)柱的位置應(yīng)符合一定的閾值要求，具有最小下界的球門(mén)柱的上界與具有最大上界的球門(mén)柱的下界之間的距離應(yīng)在0～6個(gè)像素的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)。
一種基于球門(mén)檢測(cè)的足球視頻精彩事件檢測(cè)方法，包括如下步驟1)球門(mén)檢測(cè)；2)在檢測(cè)到球門(mén)的基礎(chǔ)上，結(jié)合第一啟發(fā)式規(guī)則檢測(cè)足球視頻中的精彩事件。進(jìn)一步地，步驟1)球門(mén)檢測(cè)包括如下步驟(1)首先提取一幀彩色足球視頻圖像，以下的步驟均以該幀圖像為基礎(chǔ)。
(2)對(duì)上述視頻幀圖像采用草帽變換(top-hat)提取邊緣圖像；(3)在邊緣圖像的基礎(chǔ)上搜索豎直方向鄰域符合一定閾值的線段；(4)在上一步驟得到的線段中，采用哈夫變換(hough)選取兩根最長(zhǎng)的線段作為候選球門(mén)柱；(5)采用第二啟發(fā)式規(guī)則確定上一步驟中的候選球門(mén)柱是否是球門(mén)。
進(jìn)一步地，上述步驟(1)中，對(duì)于一幀圖像的提取可以是逐幀提取，可以是隔幀提取，也可是每隔固定的5～20幀提取。
進(jìn)一步地，上述步驟(2)中提取邊緣圖像的步驟如下(a)對(duì)彩色圖像做草帽變換(top-hat)提取彩色邊緣圖像；(b)對(duì)彩色邊緣圖像進(jìn)行灰度變換得到灰度圖像；(c)采用自適應(yīng)的方法將灰度圖像二值化，得到二值黑白邊緣圖像。
進(jìn)一步地，上述步驟(c)中采用自適應(yīng)的方法將灰度圖像二值化，是指采用2-均值聚類，將灰度邊緣圖像的直方圖聚為兩類，得到一高一低兩類聚類中心，對(duì)于灰度圖像中的每個(gè)像素，如果離高像素值的聚類中心較近，則將其置為白色，反之如果離低像素值的聚類中心較近，則將其置為黑色。
進(jìn)一步地，上述步驟(3)在邊緣圖像的基礎(chǔ)上搜索豎直方向鄰域符合一定閾值的線段，是指在得到的二值黑白邊緣圖像的基礎(chǔ)上，對(duì)于每個(gè)白色象素，搜索其豎直方向上下鄰域?yàn)?至20個(gè)像素的范圍，如果所述范圍內(nèi)全為白色像素，則所述范圍表示的線段為候選球門(mén)柱。
進(jìn)一步地，所述第二啟發(fā)式規(guī)則是指(a)兩根球門(mén)柱的長(zhǎng)度都應(yīng)符合一定的閾值要求，應(yīng)在5～100個(gè)像素的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)；(b)兩根球門(mén)柱之間的距離應(yīng)符合一定的閾值要求，應(yīng)在20～160個(gè)像素的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)。
(c)在滿足上述規(guī)則的基礎(chǔ)上，兩根球門(mén)柱之間的距離和最長(zhǎng)球門(mén)柱之間也應(yīng)符合一定的比例要求，比例系數(shù)應(yīng)在0.5～3.5的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)。
(d)在滿足上述規(guī)則的基礎(chǔ)上，球門(mén)柱的線段應(yīng)該保持一定連續(xù)性，每個(gè)球門(mén)柱的上下界之差與門(mén)柱長(zhǎng)度的差值應(yīng)該在0～25個(gè)像素的范圍內(nèi)，如果不符合則認(rèn)為不為球門(mén)。
(e)在滿足上述規(guī)則的基礎(chǔ)上，兩根球門(mén)柱構(gòu)成的最小矩形的中心位置應(yīng)處在一定的區(qū)域內(nèi)，其中心點(diǎn)的縱坐標(biāo)應(yīng)在0～240的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)。
(f)在滿足上述規(guī)則的基礎(chǔ)上，兩根球門(mén)柱的位置應(yīng)符合一定的閾值要求，具有最小下界的球門(mén)柱的上界與具有最大上界的球門(mén)柱的下界之間的距離應(yīng)在0～6個(gè)像素的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)。
進(jìn)一步地，所述第一啟發(fā)式規(guī)則是指精彩事件大多發(fā)生在球門(mén)禁區(qū)附近，在找到球門(mén)之后，結(jié)合球門(mén)鏡頭前后幀的鏡頭類型信息，即遠(yuǎn)景、中景、特寫(xiě)信息就可檢測(cè)出不同類型的精彩事件，如射門(mén)事件，角球事件等。
與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于針對(duì)以往的球門(mén)檢測(cè)技術(shù)，本發(fā)明具有準(zhǔn)確、快速、誤檢率低的優(yōu)點(diǎn)。采用top-hat變換提取的邊緣圖像，其中表示球門(mén)的白色像素更加清晰可現(xiàn)，有助于進(jìn)一步可靠、準(zhǔn)確的提取球門(mén)柱；采用鄰域搜索的方法提取候選球門(mén)柱，極大降低了球門(mén)柱檢測(cè)的誤檢率，避免了將球網(wǎng)或者廣告牌等背景誤檢為球門(mén)柱的情況。本發(fā)明對(duì)精彩事件的檢測(cè)更為高效、快速。只需在球門(mén)檢測(cè)的基礎(chǔ)上，結(jié)合一些簡(jiǎn)單的啟發(fā)式規(guī)則就可快速的檢測(cè)出精彩事件，避免了傳統(tǒng)方法需要大規(guī)模的訓(xùn)練數(shù)據(jù)和復(fù)雜的特征提取。


圖1是實(shí)施例1的足球視頻中射門(mén)事件檢測(cè)的流程圖。
具體實(shí)施例方式
下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述在足球賽事中，禁區(qū)附近的區(qū)域中最明顯的一個(gè)標(biāo)志就是球門(mén)，如果能準(zhǔn)確的檢測(cè)到球門(mén)，并在此基礎(chǔ)上結(jié)合一些啟發(fā)式規(guī)則，就可快速、準(zhǔn)確的檢測(cè)到足球視頻中的精彩事件。相對(duì)于傳統(tǒng)的復(fù)雜的足球視頻精彩事件提取方法，本發(fā)明只需通過(guò)檢測(cè)球門(mén)出現(xiàn)，并結(jié)合一些簡(jiǎn)單的啟發(fā)式規(guī)則對(duì)復(fù)雜的足球視頻進(jìn)行處理，準(zhǔn)確地找到并定位精彩事件的發(fā)生，取得了很好的檢測(cè)結(jié)果。既避免了傳統(tǒng)的精彩事件檢測(cè)方法的復(fù)雜、費(fèi)時(shí)的弊端，又得到了較高的檢測(cè)準(zhǔn)確率。
本發(fā)明首先提出了一種新穎的球門(mén)檢測(cè)方法，即通過(guò)對(duì)原彩色視頻幀圖像做top-hat變換提取邊緣，在得到的邊緣圖像的基礎(chǔ)上，通過(guò)鄰域搜索的辦法找到候選球門(mén)，然后通過(guò)hough變換提取球門(mén)柱，最后利用一些啟發(fā)式的規(guī)則判斷是否是真正的球門(mén)。在檢測(cè)到球門(mén)的基礎(chǔ)上，通過(guò)一些啟發(fā)式的規(guī)則找到精彩事件，以足球比賽中最吸引人注意的精彩事件——射門(mén)事件為例，當(dāng)發(fā)生射門(mén)事件時(shí)，首先出現(xiàn)的是禁區(qū)附近的鏡頭，此時(shí)必有比較長(zhǎng)的一段球門(mén)鏡頭出現(xiàn)，射門(mén)結(jié)束后為一段時(shí)間的球員的特寫(xiě)。根據(jù)這些簡(jiǎn)單的啟發(fā)式規(guī)則就可準(zhǔn)確檢測(cè)到射門(mén)事件，查全率為91.5％。對(duì)于其他的精彩事件如角球、任意球等也取得了較好的檢測(cè)結(jié)果。
實(shí)施例1本實(shí)施例以對(duì)一段足球視頻圖像處理過(guò)程為例，對(duì)本發(fā)明作進(jìn)一步的描述。本發(fā)明主要分為兩步檢測(cè)球門(mén)的出現(xiàn)，以及在檢測(cè)球門(mén)的基礎(chǔ)上，結(jié)合一些啟發(fā)式規(guī)則檢測(cè)足球視頻中的精彩事件。下面對(duì)各步驟進(jìn)行詳細(xì)的說(shuō)明1、球門(mén)檢測(cè)本發(fā)明提出了一種自動(dòng)檢測(cè)足球視頻中球門(mén)的方法。作為足球場(chǎng)中最重要的標(biāo)志，本發(fā)明提取到兩根球門(mén)柱作為找到球門(mén)的標(biāo)志，而球門(mén)的出現(xiàn)預(yù)示一種潛在的射門(mén)或者進(jìn)球事件。本發(fā)明能夠判斷足球視頻中的任何一幀(主要為遠(yuǎn)景圖像，中景圖像)中是否包含有球門(mén)，如果有球門(mén)，則可同時(shí)得到兩根球門(mén)柱的參數(shù)信息，包括每根球門(mén)柱的長(zhǎng)度信息和位置信息。
本方法的主要思想是首先是對(duì)原始圖片幀提取邊緣圖像，然后在邊緣圖像的基礎(chǔ)上對(duì)每個(gè)像素做垂直方向上的鄰域搜索，滿足事先設(shè)定的閾值條件的像素為可能的球門(mén)柱像素(稱之為候選球門(mén)柱)，在得到候選球門(mén)柱圖之后，利用hough變換找到兩根最長(zhǎng)的線段作為球門(mén)，然后結(jié)合一些啟發(fā)式的規(guī)則來(lái)最終判斷是否是真正的球門(mén)。下面詳細(xì)說(shuō)明各步驟1.1、提取邊緣圖像本步驟主要是得到原圖像的邊緣圖像，以便在此邊緣圖像的基礎(chǔ)上進(jìn)一步找到真正的球門(mén)。
本發(fā)明采用top-hat變換提取彩色邊緣圖像，top-hat變換是針對(duì)灰度圖像提取邊緣的一種形態(tài)學(xué)變換方法，也叫做波峰檢測(cè)器。由于球門(mén)的顏色是白色的，也就是它的紅(R)、綠(G)、藍(lán)(B)三個(gè)通道的灰度值都很高，相當(dāng)于灰度曲面上的波峰，所以用top-hat變換能夠起到增強(qiáng)白色像素的目的。鑒于top-hat變換的此項(xiàng)優(yōu)勢(shì)，本發(fā)明將top-hat變換用于彩色圖像的邊緣提取，就可將原圖中較明顯的白色像素提取出來(lái)。
該彩色圖像的top-hat變換過(guò)程為，首先是對(duì)原圖像，做形態(tài)學(xué)的開(kāi)運(yùn)算，既先對(duì)圖像做形態(tài)學(xué)的腐蝕運(yùn)算，在得到的腐蝕圖像的基礎(chǔ)上作形態(tài)學(xué)膨脹運(yùn)算，這樣就得到一個(gè)開(kāi)運(yùn)算的結(jié)果圖像。用原始圖像與該結(jié)果圖像做點(diǎn)對(duì)點(diǎn)的像素差，得到的差值圖像就為原圖像的彩色邊緣圖像。其中開(kāi)運(yùn)算所用到的5×5的卷積模板template為template=1111111111111111111111111]]>對(duì)于其中腐蝕運(yùn)算，腐蝕圖像的各個(gè)像素點(diǎn)的RGB各個(gè)通道灰度值為原圖像中以該點(diǎn)為中心的5×5鄰域中25個(gè)像素的相應(yīng)各通道灰度值的最小值，而對(duì)于膨脹運(yùn)算，膨脹圖像的各個(gè)像素點(diǎn)的RGB各個(gè)通道灰度值為腐蝕圖像中以該點(diǎn)為中心的5×5鄰域中25個(gè)像素的相應(yīng)各通道灰度值的最大值。
為了進(jìn)一步提取候選球門(mén)柱我們必須對(duì)彩色邊緣圖像作二值化處理，得到一個(gè)二值黑白圖像。這里本發(fā)明采用自適應(yīng)的的方法得到一個(gè)二值黑白圖像，其核心為將所有的像素點(diǎn)分成兩類，一類為邊緣像素點(diǎn)，一類為非邊緣像素點(diǎn)。具體為首先求得彩色邊緣圖像的灰度圖像，然后提取該灰度邊緣圖像的顏色直方圖，接著對(duì)該灰度圖像的顏色直方圖進(jìn)行k(本實(shí)施例這里k＝2)均值聚類，得到兩類中心的灰度值，其中灰度值較高的為邊緣像素點(diǎn)類的中心值，灰度值較低的為非邊緣像素點(diǎn)類的中心值。分別求出灰度圖像中各像素點(diǎn)的灰度值與兩類中心的灰度值的歐式距離，如果該像素點(diǎn)離邊緣像素點(diǎn)類的中心距離近，則在二值圖像中將該點(diǎn)的灰度值賦為255，即該點(diǎn)為邊緣像素點(diǎn)，在二值圖像中表現(xiàn)為白色，如果該像素點(diǎn)離非邊緣像素點(diǎn)類的中心距離近，則在二值圖像中將該點(diǎn)的灰度值賦為0，即該點(diǎn)為非邊緣像素點(diǎn)，在二值圖像中表現(xiàn)為黑色。
1.2、提取候選球門(mén)柱本步驟主要是在1.1得到的二值邊緣圖像的基礎(chǔ)上，通過(guò)豎直方向上的鄰域搜索找到候選球門(mén)柱。
具體為對(duì)邊緣圖像上每個(gè)白色像素點(diǎn)，做垂直方向上的鄰域搜索。搜索范圍為[-10，10]，即該白色像素點(diǎn)上下各10個(gè)像素點(diǎn)的范圍內(nèi)。如果該像素的垂直方向的上下鄰域的共20個(gè)像素灰度值都為255(既為白色像素)，則該像素可能為球門(mén)柱像素。之所以要上下鄰域的20個(gè)像素的灰度值都為255，是為了避免將球網(wǎng)誤判為球門(mén)柱，因?yàn)榍蚓W(wǎng)區(qū)域在垂直方向的白色像素是不連續(xù)的。
1.3、提取球門(mén)本步驟主要是采用hough變換從候選的球門(mén)柱中提取兩條最長(zhǎng)的線段作為球門(mén)柱線，然后運(yùn)用一些啟發(fā)式規(guī)則，進(jìn)一步判斷是否為真正的門(mén)柱線，將一些錯(cuò)誤提取的線段排除。
本發(fā)明采用簡(jiǎn)化的hough變換來(lái)提取球門(mén)柱。在足球視頻中無(wú)論從什么角度拍攝，球門(mén)柱在圖像幀中始終是垂直的。如果以極坐標(biāo)來(lái)表示出來(lái)的話，球門(mén)柱對(duì)應(yīng)的線段的極角應(yīng)為0度。如果一個(gè)像素點(diǎn)在直角坐標(biāo)系中的坐標(biāo)為(i，j)，則與其對(duì)應(yīng)的極坐標(biāo)系中的坐標(biāo)為(ρ，θ)，它們之間的轉(zhuǎn)換公式為ρ＝icosθ+jsinθ
這樣對(duì)應(yīng)于Hough變換的累積數(shù)組為[ρ，θ]，是一個(gè)二維數(shù)組。已知球門(mén)柱的極角為0度，則轉(zhuǎn)換公式變?yōu)棣眩絠cos0+jsin0＝i即球門(mén)柱線在極坐標(biāo)系中極徑值為其在直角坐標(biāo)系中每個(gè)點(diǎn)的橫坐標(biāo)值。這樣hough變換的累積數(shù)組就變?yōu)橐痪S的，只需累積ρ值即可從候選球門(mén)柱中找到兩根最長(zhǎng)的線段。這樣極大加快了hough變換的計(jì)算時(shí)間。
通過(guò)簡(jiǎn)化的hough變換得到兩根最長(zhǎng)的線段，但是還是不能確定這兩根線段是否是最終的球門(mén)柱，這就需要一些啟發(fā)式的規(guī)則將其中誤判的情況排除。這些啟發(fā)式的規(guī)則為a)兩個(gè)門(mén)柱的長(zhǎng)度都應(yīng)符合一定的閾值要求，即應(yīng)在合理的長(zhǎng)度之內(nèi)。本實(shí)施例設(shè)定的門(mén)柱高度下限為5個(gè)像素，上限為視頻幀高度的0.3倍，如果不符合則不為球門(mén)。
b)兩個(gè)門(mén)柱的之間的距離也應(yīng)符合一定的閾值要求，即應(yīng)在合理的寬度之內(nèi)。本實(shí)施例設(shè)定的兩門(mén)柱之間距離的下限為20個(gè)像素，上限為視頻寬度的0.4倍，如果不符合則不為球門(mén)。
c)在滿足上述規(guī)則的基礎(chǔ)上，兩門(mén)柱之間的距離和最長(zhǎng)的門(mén)柱之間也應(yīng)滿足一定的比例要求。比例系數(shù)的下限為0.5，上限為2.5，如果不符合則不為球門(mén)。
d)在滿足上述規(guī)則的基礎(chǔ)上，為了避免將特寫(xiě)中球網(wǎng)或者球員當(dāng)成門(mén)柱，要求門(mén)柱像素具有一定的連續(xù)性，即每個(gè)球門(mén)柱不能出現(xiàn)太多的間斷。要求每個(gè)門(mén)柱的上下界之差與門(mén)柱長(zhǎng)度的差值小于20個(gè)像素，如果不符合則不為球門(mén)。
e)在滿足上述規(guī)則的基礎(chǔ)上，由兩個(gè)門(mén)柱的構(gòu)成的最小矩形的中心位置應(yīng)在一定的范圍之內(nèi)。由于球門(mén)一般出現(xiàn)在視頻圖像幀的中上部分，所以該矩形的中心位置應(yīng)該不低于圖像高度的0.8倍，如果不符合則不為球門(mén)。
f)當(dāng)上述條件都符合時(shí)，會(huì)出現(xiàn)那些將遠(yuǎn)景中交錯(cuò)出現(xiàn)的球員提取出的邊緣誤判為球門(mén)柱的情況，為了避免這種情況的出現(xiàn)，必須保證兩個(gè)門(mén)柱在垂直方向上的上下邊界的距離符合一定的閾值要求，即也應(yīng)在合理的距離之內(nèi)。這里本實(shí)施例規(guī)定具有最小下界的球門(mén)柱的上界與具有最大上界的球門(mén)柱的下界之間的距離應(yīng)該小于4個(gè)像素，如果不符合則不為球門(mén)。
結(jié)合這些啟發(fā)式的規(guī)則，最終得到球門(mén)柱。
2、精彩事件檢測(cè)本發(fā)明在檢測(cè)到球門(mén)的基礎(chǔ)上，結(jié)合一些啟發(fā)式的規(guī)則就可準(zhǔn)確的檢測(cè)到足球視頻中的精彩事件。在找到球門(mén)幀之后，結(jié)合球門(mén)鏡頭前后幀的鏡頭類型信息，即遠(yuǎn)景、中景、特寫(xiě)信息就可檢測(cè)出不同類型的精彩事件，這些鏡頭類型信息的提取可采用現(xiàn)有的技術(shù)，可參見(jiàn)Ekin等人的“Automatic Soccer Video Analysis andSummarization”中提到的鏡頭類型提取方法。
本發(fā)明以足球比賽中最吸引人注意的射門(mén)事件為例來(lái)具體說(shuō)明基于球門(mén)檢測(cè)的精彩事件檢測(cè)方法。當(dāng)發(fā)生射門(mén)事件時(shí)，最先出現(xiàn)的禁區(qū)附近的區(qū)域，這通常為包含清晰球門(mén)的遠(yuǎn)景鏡頭，這樣的鏡頭持續(xù)一段時(shí)間后，射門(mén)事件完成，通常會(huì)出現(xiàn)運(yùn)動(dòng)員或者裁判員的特寫(xiě)鏡頭。射門(mén)事件檢測(cè)的流程如圖1所示，對(duì)于輸入的視頻流序列，首先檢測(cè)當(dāng)前幀中是否存在球門(mén)，如果存在球門(mén)且連續(xù)出現(xiàn)100幀以上的包含有球門(mén)的遠(yuǎn)景鏡頭，則有可能為一個(gè)射門(mén)事件，繼續(xù)向后檢測(cè)其后的視頻幀是否存在特寫(xiě)鏡頭，如果特寫(xiě)鏡頭的數(shù)目超過(guò)40幀，則此段視頻流為一個(gè)射門(mén)精彩事件，否則繼續(xù)向后面的視頻流查找精彩射門(mén)事件。
實(shí)施例2在實(shí)施例1檢測(cè)球門(mén)的基礎(chǔ)上，結(jié)合角球位置的檢測(cè)，則可檢測(cè)出角球事件。
最后所應(yīng)說(shuō)明的是，以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案而非限制。盡管參照實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換，都不脫離本發(fā)明技術(shù)方案的精神和范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
權(quán)利要求
1.一種球門(mén)檢測(cè)方法，所述球門(mén)是指足球視頻中的足球球門(mén)，包括如下步驟(1)提取一幀彩色足球視頻圖像；(2)對(duì)上述視頻幀圖像采用草帽變換提取邊緣圖像；(3)在邊緣圖像的基礎(chǔ)上搜索豎直方向鄰域符合一定閾值的線段；(4)在上一步驟得到的線段中，采用哈夫變換選取兩根最長(zhǎng)的線段作為候選球門(mén)柱；(5)采用啟發(fā)式規(guī)則確定上一步驟中的候選球門(mén)柱是否是球門(mén)。
2.根據(jù)權(quán)利要求1所述球門(mén)檢測(cè)方法，其特征是，所述步驟(1)中，對(duì)于一幀圖像的提取是逐幀提取，或是隔幀提取，或是每隔5～20幀提取。
3.根據(jù)權(quán)利要求1所述球門(mén)檢測(cè)方法，其特征是，所述步驟(2)中提取邊緣圖像的步驟如下(a)對(duì)彩色圖像做草帽變換提取彩色邊緣圖像；(b)對(duì)彩色邊緣圖像進(jìn)行灰度變換得到灰度圖像；(c)采用自適應(yīng)的方法將灰度圖像二值化，得到二值黑白邊緣圖像。
4.根據(jù)權(quán)利要求3所述球門(mén)檢測(cè)方法，其特征是，所述步驟(c)中采用自適應(yīng)的方法將灰度圖像二值化，是指如下步驟采用2-均值聚類，將灰度邊緣圖像的直方圖聚為兩類，得到一高一低兩類聚類中心，對(duì)于灰度圖像中的每個(gè)像素，如果離高像素值的聚類中心較近，則將其置為白色，反之如果離低像素值的聚類中心較近，則將其置為黑色。
5.根據(jù)權(quán)利要求1或4所述球門(mén)檢測(cè)方法，其特征是，所述步驟(3)在邊緣圖像的基礎(chǔ)上搜索豎直方向鄰域符合一定閾值的線段，是指在得到的二值黑白邊緣圖像的基礎(chǔ)上，對(duì)于每個(gè)白色象素，搜索其豎直方向上下鄰域?yàn)?至20個(gè)像素的范圍，如果所述范圍內(nèi)全為白色像素，則所述范圍表示的線段為候選球門(mén)柱。
6.根據(jù)權(quán)利要求1所述球門(mén)檢測(cè)方法，其特征是，所述步驟(5)中所述啟發(fā)式規(guī)則是指(a)兩根球門(mén)柱的長(zhǎng)度都符合在5～100個(gè)像素的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)；和(b)兩根球門(mén)柱之間的距離符合在20～160個(gè)像素的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)；和(c)兩根球門(mén)柱之間的距離和最長(zhǎng)球門(mén)柱之間的比例系數(shù)在0.5～3.5的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)；和(d)球門(mén)柱的線段保持一定連續(xù)性，每個(gè)球門(mén)柱的上下界之差與門(mén)柱長(zhǎng)度的差值在0～25個(gè)像素的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)；和(e)兩根球門(mén)柱構(gòu)成的最小矩形的中心位置應(yīng)處在一定的區(qū)域內(nèi)，其中心點(diǎn)的縱坐標(biāo)應(yīng)在0～240的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)；和(f)兩根球門(mén)柱的位置應(yīng)符合一定的閾值要求，具有最小下界的球門(mén)柱的上界與具有最大上界的球門(mén)柱的下界之間的距離應(yīng)在0～6個(gè)像素的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)。
7.一種基于球門(mén)檢測(cè)的足球視頻精彩事件檢測(cè)方法，包括如下步驟1)球門(mén)檢測(cè)；2)在檢測(cè)到球門(mén)的基礎(chǔ)上，結(jié)合第一啟發(fā)式規(guī)則檢測(cè)足球視頻中的精彩事件。所述步驟1)球門(mén)檢測(cè)包括如下步驟(1)提取一幀彩色足球視頻圖像；(2)對(duì)上述視頻幀圖像采用草帽變換提取邊緣圖像；(3)在邊緣圖像的基礎(chǔ)上搜索豎直方向鄰域符合一定閾值的線段；(4)在上一步驟得到的線段中，采用哈夫變換選取兩根最長(zhǎng)的線段作為候選球門(mén)柱；(5)采用第二啟發(fā)式規(guī)則確定上一步驟中的候選球門(mén)柱是否是球門(mén)；所述步驟(2)中提取邊緣圖像的步驟如下(a)對(duì)彩色圖像做草帽變換提取彩色邊緣圖像；(b)對(duì)彩色邊緣圖像進(jìn)行灰度變換得到灰度圖像；(c)采用自適應(yīng)的方法將灰度圖像二值化，得到二值黑白邊緣圖像，具體是采用2-均值聚類，將灰度邊緣圖像的直方圖聚為兩類，得到一高一低兩類聚類中心，對(duì)于灰度圖像中的每個(gè)像素，如果離高像素值的聚類中心較近，則將其置為白色，反之如果離低像素值的聚類中心較近，則將其置為黑色；所述步驟(3)在邊緣圖像的基礎(chǔ)上搜索豎直方向鄰域符合一定閾值的線段，是指在得到的二值黑白邊緣圖像的基礎(chǔ)上，對(duì)于每個(gè)白色象素，搜索其豎直方向上下鄰域?yàn)?至20個(gè)像素的范圍，如果所述范圍內(nèi)全為白色像素，則所述范圍表示的線段為候選球門(mén)柱。所述步驟5)中所述第二啟發(fā)式規(guī)則是指(a)兩根球門(mén)柱的長(zhǎng)度都符合在5～100個(gè)像素的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)；和(b)兩根球門(mén)柱之間的距離符合在20～160個(gè)像素的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)；和(c)兩根球門(mén)柱之間的距離和最長(zhǎng)球門(mén)柱之間的比例系數(shù)在0.5～3.5的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)；和(d)球門(mén)柱的線段保持一定連續(xù)性，每個(gè)球門(mén)柱的上下界之差與門(mén)柱長(zhǎng)度的差值在0～25個(gè)像素的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)；和(e)兩根球門(mén)柱構(gòu)成的最小矩形的中心位置應(yīng)處在一定的區(qū)域內(nèi)，其中心點(diǎn)的縱坐標(biāo)應(yīng)在0～240的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)；和(f)兩根球門(mén)柱的位置應(yīng)符合一定的閾值要求，具有最小下界的球門(mén)柱的上界與具有最大上界的球門(mén)柱的下界之間的距離應(yīng)在0～6個(gè)像素的范圍內(nèi)，如果不符合則認(rèn)為不是球門(mén)。
8.根據(jù)權(quán)利要求7所述基于球門(mén)檢測(cè)的足球視頻精彩事件檢測(cè)方法，其特征是，所述步驟2)中第一啟發(fā)式規(guī)則是指在找到球門(mén)之后，結(jié)合視頻中球門(mén)鏡頭的前后幀的鏡頭類型信息檢測(cè)出不同類型的精彩事件。
9.根據(jù)權(quán)利要求7所述基于球門(mén)檢測(cè)的足球視頻精彩事件檢測(cè)方法，其特征是，所述步驟(1)中，對(duì)于一幀圖像的提取是逐幀提取，或是隔幀提取，或是每隔固定的5～20幀提取。
10.根據(jù)權(quán)利要求7所述基于球門(mén)檢測(cè)的足球視頻精彩事件檢測(cè)方法，其特征是，對(duì)于射門(mén)精彩事件的檢測(cè)步驟為首先檢測(cè)當(dāng)前幀中是否存在球門(mén)，如果存在球門(mén)且連續(xù)出現(xiàn)100幀以上的包含有球門(mén)的遠(yuǎn)景鏡頭，則作為候選射門(mén)事件，繼續(xù)向后檢測(cè)其后的視頻幀是否存在特寫(xiě)鏡頭，如果特寫(xiě)鏡頭的數(shù)目超過(guò)40幀，則此段視頻流為一個(gè)射門(mén)精彩事件，否則繼續(xù)向后面的視頻流查找精彩射門(mén)事件。
全文摘要
本發(fā)明公開(kāi)了一種球門(mén)檢測(cè)和基于球門(mén)檢測(cè)的足球視頻精彩事件檢測(cè)方法。球門(mén)檢測(cè)的方法步驟包括(1)提取一幀彩色足球視頻圖像；(2)對(duì)視頻幀圖像采用草帽變換提取邊緣圖像；(3)在邊緣圖像的基礎(chǔ)上搜索豎直方向鄰域符合一定閾值的線段；(4)在上一步驟得到的線段中，采用哈夫變換選取兩根最長(zhǎng)的線段作為候選球門(mén)柱；(5)采用第二啟發(fā)式規(guī)則確定上一步驟中的候選球門(mén)柱是否是球門(mén)?；谇蜷T(mén)檢測(cè)的足球視頻精彩事件檢測(cè)方法步驟包括1)球門(mén)檢測(cè)；2)在檢測(cè)到球門(mén)的基礎(chǔ)上，結(jié)合第一啟發(fā)式規(guī)則檢測(cè)足球視頻中的精彩事件。本發(fā)明具有準(zhǔn)確、快速、誤檢率低的優(yōu)點(diǎn)。
文檔編號(hào)G06K9/38GK1991864SQ20051013521
公開(kāi)日2007年7月4日 申請(qǐng)日期2005年12月27日 優(yōu)先權(quán)日2005年12月27日
發(fā)明者楊穎 , 欒煥博, 曹娟, 張勇東, 林守勛 申請(qǐng)人:中國(guó)科學(xué)院計(jì)算技術(shù)研究所