本發(fā)明涉及圖像處理，尤其涉及一種固定視角籃球賽事視頻中投籃人檢測方法、系統(tǒng)及介質(zhì)。

背景技術(shù)：

1、籃球比賽的實時分析和智能評估已經(jīng)成為現(xiàn)代體育技術(shù)研究的一個重要方向。視頻監(jiān)控技術(shù)在體育賽事中的廣泛應用，使得通過視頻分析技術(shù)來自動檢測和識別球員動作成為可能。尤其是對于投籃動作的檢測，不僅可以為教練和球員提供有價值的技術(shù)反饋，還可以提升觀眾的觀賽體驗和媒體轉(zhuǎn)播的專業(yè)性。

2、傳統(tǒng)的籃球投籃檢測方法主要采用基于特征的檢測算法，雖然在一定程度上能夠滿足需求，但往往存在以下問題：

3、1、特征檢測算法的局限性，基于傳統(tǒng)特征的檢測算法(如邊緣檢測、運動軌跡分析等)容易受到視頻分辨率、光照條件、背景干擾等因素的影響，檢測精度和魯棒性較差；2、動態(tài)場景復雜性，籃球比賽場景中，球員的快速移動和復雜的動作變化使得檢測算法需要具備較強的動態(tài)適應能力。

4、近年來，隨著深度學習技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(cnn)在圖像和視頻分析領(lǐng)域表現(xiàn)出色。尤其是基于深度學習的目標檢測算法，如yolo(you?only?look?once)、faster?r-cnn等，在各類視覺任務中取得了顯著的成果。然而，直接應用這些算法進行籃球投籃人的檢測，仍然面臨一些挑戰(zhàn)：

5、1、高效性要求，比賽視頻的實時處理對算法的速度提出了較高的要求，傳統(tǒng)深度學習模型在高精度的同時，往往難以兼顧實時性；2、多層次信息融合，投籃檢測不僅需要關(guān)注球員的動作特征，還需要結(jié)合場景上下文信息，例如籃球架位置、球員與籃球架之間的空間關(guān)系等。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)中的不足，本發(fā)明的目的在于提供一種固定視角籃球賽事視頻中投籃人檢測方法、系統(tǒng)及介質(zhì)，以顯著提高投籃人檢測的精度和實時性，能夠在復雜的動態(tài)場景中穩(wěn)定工作，為籃球視頻分析提供強有力的技術(shù)支持。

2、第一方面，提供了一種固定視角籃球賽事視頻中投籃人檢測方法，包括如下步驟：

3、獲取籃球比賽視頻，通過局部光流法從籃球比賽視頻中截取投籃片段；

4、通過訓練好的目標檢測器對截取的投籃片段進行目標檢測；

5、通過跳幀去除冗余視頻幀加速目標檢測器推理；

6、基于目標檢測器推理結(jié)果結(jié)合局部運動特征定位投籃時刻，從投籃時刻利用時序信息倒序遍歷結(jié)果數(shù)組來尋找投籃人，基于置信度來尋找置信度最高的投籃人，并基于交并比尋找質(zhì)量最高的投籃人，最終得到置信度最高和質(zhì)量最好的投籃人。

7、進一步地，所述通過局部光流法從籃球比賽視頻中截取投籃片段的過程包括：

8、對籃球比賽視頻進行逐幀讀取，將視頻幀中預先劃定的籃筐區(qū)域轉(zhuǎn)換成灰度圖像；

9、使用farneback光流算法計算兩個相鄰灰度圖像之間的像素點光流向量，通過計算籃筐區(qū)域的平均光流向量的模長來判斷是否有籃網(wǎng)擺動；

10、若平均光流向量的模長大于模長閾值，則認為出現(xiàn)了籃網(wǎng)擺動，出現(xiàn)籃網(wǎng)擺動的時刻為投籃進球時刻，截取投籃進球時刻前后預設數(shù)量的視頻幀得到一個投籃片段，并保存該投籃片段的投籃進球時刻幀數(shù)。

11、進一步地，所述目標檢測器通過如下方法訓練得到：

12、收集籃球比賽視頻，并對籃球比賽視頻中的每一幀進行標注，得到訓練樣本數(shù)據(jù)集；

13、利用訓練數(shù)據(jù)集對基于yolov9的目標檢測器進行訓練，得到最終的目標檢測器。

14、進一步地，所述訓練樣本數(shù)據(jù)集通過如下方法得到：

15、收集籃球比賽視頻，剔除視頻中不包含球員的視頻幀，并利用球員數(shù)量剔除無效視頻幀；

16、對剩余的視頻幀中的目標位置和類別進行標注，目標包括籃球、籃板、籃筐、球員和投籃人；

17、對標注好的視頻幀進行數(shù)據(jù)增強，包括隨機裁剪、旋轉(zhuǎn)、縮放和色彩變換，進而得到訓練樣本數(shù)據(jù)集。

18、進一步地，所述通過跳幀去除冗余視頻幀加速目標檢測器推理包括：

19、讀取投籃片段的投籃進球時刻幀數(shù)，基于該投籃進球時刻視頻幀倒序跳幀預設幀數(shù)并正序選取待檢測視頻幀至投籃進球時刻視頻幀，并將選取的視頻幀輸入目標檢測器進行目標檢測。

20、進一步地，所述基于目標檢測器推理結(jié)果結(jié)合局部運動特征定位投籃時刻，具體包括：

21、將每一幀的目標檢測結(jié)果保存在結(jié)果數(shù)組x中，通過計算籃球和籃筐的接觸面積來判斷籃球和籃筐是否存在接觸，當籃球和籃筐存在接觸時，認定為投籃時刻，記錄投籃時刻視頻幀和籃球相對于籃筐的方位信息pb。

22、進一步地，置信度最高和質(zhì)量最好的投籃人通過如下過程得到；

23、從投籃時刻進行逐幀倒序遍歷結(jié)果數(shù)組x；

24、當遍歷到有投籃人的視頻幀時，從該視頻幀中篩選出置信度最高的投籃人，并計算該投籃人相對于的籃筐的方位信息ps；判斷投籃人相對于的籃筐的方位信息ps與投籃時刻籃球相對于籃筐的方位信息pb是否相同，若否，則繼續(xù)倒序遍歷視頻幀；若是，則判斷該投籃人的置信度是否大于設定投籃人置信度閾值，若是，則認為是一個有效的投籃人，記錄該視頻幀；否則繼續(xù)倒序遍歷視頻幀；

25、從存在有效的投籃人的視頻幀開始倒序遍歷預設幀數(shù)，尋找投籃人置信度大于投籃人置信度閾值且投籃人與周圍球員的交并比最低的視頻幀，得到置信度最高和質(zhì)量最好的投籃人。

26、進一步地，從投籃時刻利用時序信息倒序遍歷結(jié)果數(shù)組來尋找投籃人過程中，若倒序遍歷沒有找到大于投籃人置信度閾值的視頻幀，即沒有找到投籃人，則根據(jù)設定衰減系數(shù)降低投籃人置信度閾值，重新進行倒序遍歷尋找投籃人；依此迭代，直至尋找到投籃人或投籃人置信度閾值低于投籃人置信度最低閾值時結(jié)束。

27、第二方面，提供了一種固定視角籃球賽事視頻中投籃人檢測系統(tǒng)，包括：

28、存儲器，其上存儲有計算機程序；

29、處理器，用于加載并執(zhí)行所述計算機程序以實現(xiàn)如前所述的固定視角籃球賽事視頻中投籃人檢測方法。

30、第三方面，提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序還處理器執(zhí)行時實現(xiàn)如前所述的固定視角籃球賽事視頻中投籃人檢測方法。

31、本發(fā)明提出了一種固定視角籃球賽事視頻中投籃人檢測方法、系統(tǒng)及介質(zhì)，具有如下有益效果：

32、1、為了解決在復雜的打籃球場景中尋找投籃人的問題，本發(fā)明使用目標檢測器，采用預先采集的籃球比賽視頻數(shù)據(jù)進行目標檢測器訓練工作，并利用目標檢測器進行投籃人自動檢測工作；

33、2、為了解決投籃人識別準確率低、處理速度慢等問題，本發(fā)明使用時序局部運動特征進行規(guī)則判斷來實現(xiàn)投籃人檢測的高準確率；利用局部光流法截取投籃片段，并使用跳幀和提前結(jié)束來實現(xiàn)目標檢測器推理加速，從而達到實時檢測的效果。

技術(shù)特征：

1.一種固定視角籃球賽事視頻中投籃人檢測方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述的固定視角籃球賽事視頻中投籃人檢測方法，其特征在于，所述通過局部光流法從籃球比賽視頻中截取投籃片段的過程包括：

3.根據(jù)權(quán)利要求1所述的固定視角籃球賽事視頻中投籃人檢測方法，其特征在于，所述目標檢測器通過如下方法訓練得到：

4.根據(jù)權(quán)利要求3所述的固定視角籃球賽事視頻中投籃人檢測方法，其特征在于，所述訓練樣本數(shù)據(jù)集通過如下方法得到：

5.根據(jù)權(quán)利要求1所述的固定視角籃球賽事視頻中投籃人檢測方法，其特征在于，所述通過跳幀去除冗余視頻幀加速目標檢測器推理包括：

6.根據(jù)權(quán)利要求1所述的固定視角籃球賽事視頻中投籃人檢測方法，其特征在于，所述基于目標檢測器推理結(jié)果結(jié)合局部運動特征定位投籃時刻，具體包括：

7.根據(jù)權(quán)利要求6所述的固定視角籃球賽事視頻中投籃人檢測方法，其特征在于，置信度最高和質(zhì)量最好的投籃人通過如下過程得到；

8.根據(jù)權(quán)利要求1至7任一項所述的固定視角籃球賽事視頻中投籃人檢測方法，其特征在于，從投籃時刻利用時序信息倒序遍歷結(jié)果數(shù)組來尋找投籃人過程中，若倒序遍歷沒有找到大于投籃人置信度閾值的視頻幀，即沒有找到投籃人，則根據(jù)設定衰減系數(shù)降低投籃人置信度閾值，重新進行倒序遍歷尋找投籃人；依此迭代，直至尋找到投籃人或投籃人置信度閾值低于投籃人置信度最低閾值時結(jié)束。

9.一種固定視角籃球賽事視頻中投籃人檢測系統(tǒng)，其特征在于，包括：

10.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，所述計算機程序還處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至8任一項所述的固定視角籃球賽事視頻中投籃人檢測方法。

技術(shù)總結(jié)
本發(fā)明公開了一種固定視角籃球賽事視頻中投籃人檢測方法、系統(tǒng)及介質(zhì)，其中方法包括：獲取籃球比賽視頻，通過局部光流法從籃球比賽視頻中截取投籃片段；通過訓練好的目標檢測器對截取的投籃片段進行目標檢測；通過跳幀去除冗余視頻幀加速目標檢測器推理；基于目標檢測器推理結(jié)果結(jié)合局部運動特征定位投籃時刻，從投籃時刻利用時序信息倒序遍歷結(jié)果數(shù)組來尋找投籃人，基于置信度來尋找置信度最高的投籃人，并基于交并比尋找質(zhì)量最高的投籃人，最終得到置信度最高和質(zhì)量最好的投籃人。本發(fā)明使用時序局部運動特征進行規(guī)則判斷來實現(xiàn)高準確率投籃人檢測；利用局部光流法截取投籃片段，并使用跳幀來實現(xiàn)目標檢測器推理加速，從而達到實時檢測效果。

技術(shù)研發(fā)人員：王建新,肖磊,李君健
受保護的技術(shù)使用者：中南大學
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10