專利名稱：基于隱馬爾科夫模型的足球視頻進(jìn)球事件檢測(cè)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻信息檢索領(lǐng)域，涉及體育視頻語義分析，可用于足球視頻進(jìn)球事件檢測(cè)中，以便快速、準(zhǔn)確地檢測(cè)進(jìn)球事件。
背景技術(shù)：
體育視頻因?yàn)閾碛旋嫶蟮氖鼙娙后w和巨大的商業(yè)價(jià)值而備受研究者和社會(huì)各界的廣泛關(guān)注。體育視頻的精彩事件自動(dòng)檢測(cè)一直是視頻語義分析領(lǐng)域研究的熱點(diǎn)，其難點(diǎn)在于必須解決低層特征到高層語義之間的語義鴻溝，對(duì)此國(guó)內(nèi)外學(xué)者進(jìn)行了廣泛的研究，取得了不菲的研究成果。目前基于機(jī)器學(xué)習(xí)的方法主要有(I)Ding Y,Fan G L.Sports Video Mining via Multichannel Segmental HiddenMarkov Models [J] IEEE Trans, on Multimedia, 2009,11 (7) :1301_1309。該方法基于隱馬爾科夫建模時(shí)序規(guī)律的良好性能，構(gòu)建了多通道部分隱馬爾科夫模型，能夠同時(shí)進(jìn)行視頻結(jié)構(gòu)的分層次、并行分析，較準(zhǔn)確地捕獲了多個(gè)隱馬爾科夫鏈之間的交互規(guī)律，語義事件檢測(cè)正確率達(dá)到了 87. 06%，但模型的構(gòu)建比較復(fù)雜。(2) Sadlier D A, 0' Connor N Ε. Event detection in field sports videousing audio-visual features and a support vector machine[J]IEEE Trans.onCircuits and Systems for Video Technology, 2005,15(10) : 1225-1233。該方法通過建立音視頻特征檢測(cè)單元，采用支持向量機(jī)對(duì)提取特征進(jìn)行融合，實(shí)現(xiàn)了足球、橄欖球等視頻中eventful和noneventful事件的檢測(cè)。該方法由于把語義事件檢測(cè)問題直接作為特征分類問題解決，而沒有充分利用語義信息，其事件檢測(cè)正確率僅達(dá)到74%。(3)Xu C SiZhang Y F,Zhu G Y，et al· Using webcast text for semantic eventdetection in broadcast sports video[J]. IEEE Trans, on Multimedia，2008，10 (7)1342-1355。這種方法采用潛在的語義分析方法檢測(cè)網(wǎng)絡(luò)文本中的關(guān)鍵事件，將文本檢測(cè)結(jié)果和低層特征作為條件隨機(jī)場(chǎng)模型的輸入，實(shí)現(xiàn)足球、籃球體育視頻中多種語義事件的檢測(cè)。但這種方法構(gòu)建模型的過程比較耗時(shí)，未采用隱藏狀態(tài)變量，不能更有效地挖掘語義事件的潛在規(guī)律，限制了檢測(cè)性能的提高。

發(fā)明內(nèi)容
本發(fā)明目的是針對(duì)上述已有技術(shù)的不足，提出一種基于隱馬爾科夫模型的足球視頻進(jìn)球事件檢測(cè)方法，以構(gòu)建簡(jiǎn)單有效的進(jìn)球事件模型，采用隱狀態(tài)變量挖掘語義事件的時(shí)序規(guī)律，并引入語義信息，提高事件檢測(cè)正確率。為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案包括如下步驟(1)對(duì)N1個(gè)訓(xùn)練視頻片段和隊(duì)個(gè)測(cè)試視頻片段分別進(jìn)行物理鏡頭分割，得到第d個(gè)訓(xùn)練視頻片段的物理鏡頭序列Pd和第e個(gè)測(cè)試視頻片段的物理鏡頭序列仏，其中，d e {1,2, L, NJ, e e {1,2, L, N2I ；
(2)對(duì)第d個(gè)訓(xùn)練視頻片段的物理鏡頭序列Pd中的物理鏡頭和第e個(gè)測(cè)試視頻片段的物理鏡頭序列A中的物理鏡頭分別進(jìn)行語義標(biāo)注，得到由遠(yuǎn)鏡頭、中鏡頭、特寫鏡頭、 觀眾鏡頭和回放鏡頭組成的第d個(gè)訓(xùn)練視頻片段的語義鏡頭序列％和第e個(gè)測(cè)試視頻片段的語義鏡頭序列Ze，并將N1個(gè)訓(xùn)練視頻片段的語義鏡頭序列O1, O2, L，i\作為訓(xùn)練數(shù)據(jù)集O = IO15O25L， 1，將N2個(gè)測(cè)試視頻片段的語義鏡頭序列Z1, Z2, L，Zw2作為測(cè)試數(shù)據(jù)集 Z = ^Z1, Z2 ,L , Zn^ I ；(3)對(duì)訓(xùn)練數(shù)據(jù)集0中的N1個(gè)語義鏡頭序列(VOyI^Gwi，人工判斷每個(gè)語義鏡頭序列中的每個(gè)語義鏡頭所處的比賽狀態(tài)，即比賽進(jìn)行狀態(tài)91或比賽暫停狀態(tài)θ2，得到N1 個(gè)狀態(tài)序列W1, W2，L，^r1 ；(4)定義語義鏡頭集為ε = {Sl，s2, s3, s4, %}，其中，S1, S2, s3, s4, &表示五種語義鏡頭，即S1為遠(yuǎn)鏡頭，S2為中鏡頭，S3為特寫鏡頭，S4為觀眾鏡頭，S5為回放鏡頭；(5)根據(jù)訓(xùn)練數(shù)據(jù)集0中的N1個(gè)語義鏡頭序列O1, O2, L，^^n對(duì)應(yīng)的N1個(gè)狀態(tài)序列W1, W2, L， ，計(jì)算隱馬爾科夫模型的初始模型參數(shù)λ = (U，A, C)，其中，U是初始狀態(tài)概率矢量，A是狀態(tài)轉(zhuǎn)移概率矩陣，C是觀察值概率矩陣；(6)根據(jù)訓(xùn)練數(shù)據(jù)集0，采用Baum-Welch算法對(duì)隱馬爾科夫模型的初始模型參數(shù) λ = (U, A, C)進(jìn)行訓(xùn)練，得到進(jìn)球事件的隱馬爾科夫模型的最終模型參數(shù) = (Ζ7,Λ^，并利用該最終模型參數(shù)建立進(jìn)球事件的隱馬爾科夫模型，其中，Ζ7是最終初始狀態(tài)概率矢量， I是最終狀態(tài)轉(zhuǎn)移矩陣，5是最終觀察值概率矩陣；(7)根據(jù)進(jìn)球事件的隱馬爾科夫模型和訓(xùn)練數(shù)據(jù)集0中第d個(gè)語義鏡頭序列0d，采用前向算法計(jì)算進(jìn)球事件的隱馬爾科夫模型產(chǎn)生第d個(gè)語義鏡頭序列Od的概率|1)；(8)根據(jù)進(jìn)球事件的隱馬爾科夫模型產(chǎn)生訓(xùn)練數(shù)據(jù)集0中N1個(gè)語義鏡頭序列O1, O2, L，Owi的概率 AO11 λ\Ρ(0211),L ,Ρ(0Νι 11)，選擇 AO11 λ\Ρ(0211),L ,Ρ(0Νι | X)中
的最小值作為進(jìn)球事件的判決閾值T1
權(quán)利要求
1.一種基于隱馬爾科夫模型的足球視頻進(jìn)球事件檢測(cè)方法，包括如下步驟(1)對(duì)N1個(gè)訓(xùn)練視頻片段和隊(duì)個(gè)測(cè)試視頻片段分別進(jìn)行物理鏡頭分割，得到第d個(gè)訓(xùn)練視頻片段的物理鏡頭序列Pd和第e個(gè)測(cè)試視頻片段的物理鏡頭序列仏，其中，d e {1,2,L，Nj，e e {1,2, L, NJ ；(2)對(duì)第d個(gè)訓(xùn)練視頻片段的物理鏡頭序列Pd中的物理鏡頭和第e個(gè)測(cè)試視頻片段的物理鏡頭序列A中的物理鏡頭分別進(jìn)行語義標(biāo)注，得到由遠(yuǎn)鏡頭、中鏡頭、特寫鏡頭、觀眾鏡頭和回放鏡頭組成的第d個(gè)訓(xùn)練視頻片段的語義鏡頭序列Od和第e個(gè)測(cè)試視頻片段的語義鏡頭序列Ze，并將N1個(gè)訓(xùn)練視頻片段的語義鏡頭序列O1, O2, L，i\作為訓(xùn)練數(shù)據(jù)集O = IO15O25L， 1，將N2個(gè)測(cè)試視頻片段的語義鏡頭序列Z1, Z2, L，Zw2作為測(cè)試數(shù)據(jù)集Z = ^Z1, Z2 ,L , Zn^ I ；(3)對(duì)訓(xùn)練數(shù)據(jù)集0中的N1個(gè)語義鏡頭序列(VC^L，^，人工判斷每個(gè)語義鏡頭序列中的每個(gè)語義鏡頭所處的比賽狀態(tài)，即比賽進(jìn)行狀態(tài)θ工或比賽暫停狀態(tài)θ 2，得到N1個(gè)狀態(tài)序列 W1, W2，Lj^at1 ；(4)定義語義鏡頭集為ε= {Sl，s2, s3, s4, %}，其中，S1, s2, s3, S4, &表示五種語義鏡頭，即S1為遠(yuǎn)鏡頭，S2為中鏡頭，S3為特寫鏡頭，S4為觀眾鏡頭，S5為回放鏡頭；(5)根據(jù)訓(xùn)練數(shù)據(jù)集0中的N1個(gè)語義鏡頭序列O1,02，L，對(duì)應(yīng)的N1個(gè)狀態(tài)序列W1,W2，L，『Wl，計(jì)算隱馬爾科夫模型的初始模型參數(shù)λ = (U，Α，C)，其中，U是初始狀態(tài)概率矢量，A是狀態(tài)轉(zhuǎn)移概率矩陣，C是觀察值概率矩陣；(6)根據(jù)訓(xùn)練數(shù)據(jù)集0，采用Baum-Welch算法對(duì)隱馬爾科夫模型的初始模型參數(shù)λ=(U，A, C)進(jìn)行訓(xùn)練，得到進(jìn)球事件的隱馬爾科夫模型的最終模型參數(shù) = (Ζ7,Λ5)，并利用該最終模型參數(shù)建立進(jìn)球事件的隱馬爾科夫模型，其中，Ζ7是最終初始狀態(tài)概率矢量，I是最終狀態(tài)轉(zhuǎn)移矩陣，5是最終觀察值概率矩陣；(7)根據(jù)進(jìn)球事件的隱馬爾科夫模型和訓(xùn)練數(shù)據(jù)集0中第d個(gè)語義鏡頭序列0d，采用前向算法計(jì)算進(jìn)球事件的隱馬爾科夫模型產(chǎn)生第d個(gè)語義鏡頭序列Od的概率|1)；(8)根據(jù)進(jìn)球事件的隱馬爾科夫模型產(chǎn)生訓(xùn)練數(shù)據(jù)集0中N1個(gè)語義鏡頭序列(VOyL，Owi的概率 AO11 λ\Ρ(0211),L ,Ρ(0Νι 11)，選擇 AO11 λ\Ρ(0211),L ,P(0Ni | X)中的最小值作為進(jìn)球事件的判決閾值T1 T1 = miniP^ I λ\Ρ(0211),L ,Ρ(0Νι 11)}；(9)根據(jù)進(jìn)球事件的隱馬爾科夫模型和測(cè)試數(shù)據(jù)集Z中第e個(gè)語義鏡頭序列&，采用前向算法計(jì)算進(jìn)球事件的隱馬爾科夫模型產(chǎn)生第e個(gè)語義鏡頭序列T^的概率P(ZJl)；(10)若P(Ze\λ)>Τλ,則第e個(gè)測(cè)試視頻片段中包含進(jìn)球事件，若P(Ze\λ)<Τλ，則第e個(gè)測(cè)試視頻片段中不包含進(jìn)球事件。
2.根據(jù)權(quán)利要求1所述的足球視頻進(jìn)球事件檢測(cè)方法，其中步驟( 所述的“對(duì)第d個(gè)訓(xùn)練視頻片段的物理鏡頭序列Pd中的物理鏡頭和第e個(gè)測(cè)試視頻片段的物理鏡頭序列Qe中的物理鏡頭分別進(jìn)行語義標(biāo)注”，按如下步驟進(jìn)行(2. 1)將第d個(gè)訓(xùn)練視頻片段的物理鏡頭序列Pd中的物理鏡頭和第e個(gè)測(cè)試視頻片段的物理鏡頭序列A中的物理鏡頭都分別標(biāo)注為實(shí)時(shí)鏡頭與回放鏡頭；(2. 2)將實(shí)時(shí)鏡頭進(jìn)一步標(biāo)注為遠(yuǎn)鏡頭、中鏡頭和非場(chǎng)地鏡頭；(2. 3)將非場(chǎng)地鏡頭進(jìn)一步標(biāo)注為特寫鏡頭與觀眾鏡頭。
3.根據(jù)權(quán)利要求2所述的足球視頻進(jìn)球事件檢測(cè)方法，其中步驟(2. 1)所述的“將第d個(gè)訓(xùn)練視頻片段的物理鏡頭序列Pd中的物理鏡頭和第e個(gè)測(cè)試視頻片段的物理鏡頭序列Qe中的物理鏡頭都分別標(biāo)注為實(shí)時(shí)鏡頭與回放鏡頭”，按如下步驟進(jìn)行(2. Ia)將含有N3幅幀圖像的訓(xùn)練視頻片段或測(cè)試視頻片段中的每一幅幀圖像從RGB顏色空間轉(zhuǎn)換為HSV顏色空間，得到色度分量的值h、飽和度分量的值S、亮度分量的值ν
4.根據(jù)權(quán)利要求2所述的足球視頻進(jìn)球事件檢測(cè)方法，其中步驟(2. 所述的“將實(shí)時(shí)鏡頭進(jìn)一步標(biāo)注為遠(yuǎn)鏡頭、中鏡頭和非場(chǎng)地鏡頭”，按如下步驟進(jìn)行(2. 2a)在實(shí)時(shí)鏡頭中選取60幅遠(yuǎn)景幀圖像，根據(jù)第ρ幅幀圖像的色度分量的256柄直方圖中索引huq對(duì)應(yīng)的值histp(huei)，計(jì)算60幅遠(yuǎn)景幀圖像的色度分量的累加直方圖中索引Iiue1對(duì)應(yīng)的值ShQiue1)sh {hue,) = Yj 6二 histp {hue,)其中，Mk5i為第ρ幅幀圖像色度分量的第1級(jí)索引，1 e {1,2, L,256}, huei e {1,2,L，256}，ρ e {1,2, L，60}；(2. 2b)根據(jù)累加直方圖中索引Mk5i對(duì)應(yīng)的值sh Ome1)，計(jì)算累加直方圖的峰值F :F = max {sh Oiue1), sh (hue2), L, sh (hue256)}；(2. 2c)根據(jù)累加直方圖中每個(gè)索引對(duì)應(yīng)的值和累加直方圖的峰值F，確定滿足如下條件的下限索引hue-sh(huelow) ^ 0. 2XFsh(huelow-l) < 0. 2XF其中，sh(huei。w)為累加直方圖中下限索引hue-對(duì)應(yīng)的值，sh(huelow-l)為累加直方圖中索引huei。w-l對(duì)應(yīng)的值；(2. 2d)根據(jù)累加直方圖中每個(gè)索引對(duì)應(yīng)的值和累加直方圖的峰值F，確定滿足如下條件的上限索引hueUD sh(hueup)彡 0. 2XFsh(hueup+l) < 0. 2XF其中，shQmeup)為累加直方圖中上限索引hiK3up對(duì)應(yīng)的值，sh(hueup+l)為累加直方圖中索引hueup+l對(duì)應(yīng)的值；(2. 2e)將實(shí)時(shí)鏡頭的每一幅幀圖像裁剪去頂部三分之一，統(tǒng)計(jì)裁剪后每一幅幀圖像中色度分量的值h屬于區(qū)間[hUei。w/256，hUeup/256]的場(chǎng)地像素個(gè)數(shù)C1,計(jì)算每一幅幀圖像的場(chǎng)地比率I3R
5.根據(jù)權(quán)利要求2所述的足球視頻進(jìn)球事件檢測(cè)方法，其中步驟(2. 所述的“將非場(chǎng)地鏡頭進(jìn)一步標(biāo)注為特寫鏡頭與觀眾鏡頭”，按如下步驟進(jìn)行(2. 3a)將非場(chǎng)地鏡頭的每一幅幀圖像從RGB顏色空間轉(zhuǎn)換到Y(jié)Cb(；顏色空間，得到亮度分量Y的值1，藍(lán)色色度分量Cb的值cb，紅色色度分量C；的值cr y = 0.299r' +0. 578g' +0. 114b'cb = 0. 564 (b' -y)cr = 0. 713 (r' -y)其中，r'為每一幅幀圖像的每個(gè)像素點(diǎn)的紅色分量R的值，g'為每一幅幀圖像的每個(gè)像素點(diǎn)的綠色分量G的值，b'為每一幅幀圖像的每個(gè)像素點(diǎn)的藍(lán)色分量B的值；(2. 3b)根據(jù)每一幅幀圖像的亮度分量Y的值y，用Carmy算子檢測(cè)每一幅幀圖像中的邊緣像素，得到邊緣像素的個(gè)數(shù)C2 ；(2. 3c)根據(jù)每一幅幀圖像中的邊緣像素的個(gè)數(shù)C2，計(jì)算待標(biāo)注的非場(chǎng)地鏡頭中每一幅幀圖像的邊緣像素比率EPR:
6.根據(jù)權(quán)利要求1所述的足球視頻進(jìn)球事件檢測(cè)方法，其中步驟( 所述的“根據(jù)訓(xùn)練數(shù)據(jù)集0中的N1個(gè)語義鏡頭序列O1, O2, L，對(duì)應(yīng)的N1個(gè)狀態(tài)序列W1, W2，L，K1，計(jì)算隱馬爾科夫模型的初始模型參數(shù)λ = (U，Α，C) ”，按如下步驟進(jìn)行(5. 1)根據(jù)N1個(gè)語義鏡頭序列O1, O2, . . .， \中處于狀態(tài)θ i的語義鏡頭數(shù)目Xi和N1個(gè)語義鏡頭序列O1, O2, . . .，所有的語義鏡頭數(shù)目X，計(jì)算初始狀態(tài)概率矢量U
7.根據(jù)權(quán)利要求1所述的足球視頻進(jìn)球事件檢測(cè)方法，其中步驟(7)所述的“根據(jù)進(jìn)球事件的隱馬爾科夫模型和訓(xùn)練數(shù)據(jù)集0中第d個(gè)語義鏡頭序列od，采用前向算法計(jì)算進(jìn)球事件的隱馬爾科夫模型產(chǎn)生第d個(gè)語義鏡頭序列Od的概率|1)”，按如下步驟進(jìn)行(7. 1)根據(jù)進(jìn)球事件的隱馬爾科夫模型和訓(xùn)練數(shù)據(jù)集0中第d個(gè)語義鏡頭序列Od中的第1個(gè)語義鏡頭Odil，計(jì)算在最終模型參數(shù)1 = ^7,孑5)條件下、隱馬爾科夫模型在t = ι時(shí)刻所處狀態(tài)Cl1為狀態(tài)θ i并且第1個(gè)觀察值為訓(xùn)練數(shù)據(jù)集0中第d個(gè)語義鏡頭序列Od中的第1個(gè)語義鏡頭Odil的概率<(/):
8.根據(jù)權(quán)利要求1所述的足球視頻進(jìn)球事件檢測(cè)方法，其中步驟(9)所述的“根據(jù)進(jìn)球事件的隱馬爾科夫模型和測(cè)試數(shù)據(jù)集Z中第e個(gè)語義鏡頭序列&，采用前向算法計(jì)算進(jìn)球事件的隱馬爾科夫模型產(chǎn)生第e個(gè)語義鏡頭序列T^的概率P(ZjI)”，按如下步驟進(jìn)行(9. 1)根據(jù)進(jìn)球事件的隱馬爾科夫模型和測(cè)試數(shù)據(jù)集Z中第e個(gè)語義鏡頭序列&中的第1個(gè)語義鏡頭，計(jì)算在最終模型參數(shù)1 = ^7,孑5)條件下、隱馬爾科夫模型在t = 1時(shí)刻所處狀態(tài)Cl1為狀態(tài)θ i并且第1個(gè)觀察值為測(cè)試數(shù)據(jù)集Z中第e個(gè)語義鏡頭序列\(zhòng)中的第1個(gè)語義鏡頭τ“的概率凡⑴
全文摘要
本發(fā)明公開了一種基于隱馬爾科夫模型的足球視頻進(jìn)球事件檢測(cè)方法，主要解決了現(xiàn)有技術(shù)事件檢測(cè)系統(tǒng)模型復(fù)雜、檢測(cè)率低的問題。其實(shí)現(xiàn)步驟是首先，對(duì)訓(xùn)練視頻和測(cè)試視頻進(jìn)行物理鏡頭分割和語義鏡頭標(biāo)注，將得到的語義鏡頭序列分別組成訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集；其次，根據(jù)訓(xùn)練數(shù)據(jù)集計(jì)算隱馬爾科夫模型的初始參數(shù)；接著，采用Baum-Welch算法和訓(xùn)練數(shù)據(jù)集對(duì)初始模型進(jìn)行訓(xùn)練，建立進(jìn)球事件的隱馬爾科夫模型；然后，采用前向算法計(jì)算該模型產(chǎn)生訓(xùn)練數(shù)據(jù)的概率，得到判決閾值；最后，計(jì)算該模型產(chǎn)生測(cè)試數(shù)據(jù)的概率并根據(jù)判決閾值檢測(cè)出測(cè)試視頻中的進(jìn)球事件。本發(fā)明能夠準(zhǔn)確實(shí)現(xiàn)進(jìn)球語義事件的檢測(cè)，可用于足球視頻精彩事件檢測(cè)等語義分析領(lǐng)域。
文檔編號(hào)G06K9/62GK102393909SQ20111018008
公開日2012年3月28日 申請(qǐng)日期2011年6月29日 優(yōu)先權(quán)日2011年6月29日
發(fā)明者同鳴, 張偉, 謝文娟 申請(qǐng)人:西安電子科技大學(xué)