本發(fā)明屬于圖像處理領(lǐng)域，尤其涉及一種基于圖像處理的球類發(fā)球行為評(píng)定方法。

背景技術(shù)：

基于視頻的人體運(yùn)動(dòng)分析是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向，它是從視頻序列中檢測出運(yùn)動(dòng)物體，提取出人體關(guān)鍵部位，獲得人體運(yùn)動(dòng)的有用信息，實(shí)現(xiàn)對人體動(dòng)作、姿態(tài)等的進(jìn)一步分析和識(shí)別。

傳統(tǒng)的網(wǎng)球發(fā)球訓(xùn)練模式已經(jīng)根深蒂固的存在于現(xiàn)在的訓(xùn)練之中。對于運(yùn)動(dòng)員來說，要想熟練地掌握技術(shù)動(dòng)作要領(lǐng)就必須根據(jù)教練員的指導(dǎo)意見進(jìn)行長時(shí)間的，反復(fù)的練習(xí)。長時(shí)間的采用以經(jīng)驗(yàn)為主的訓(xùn)練方法，單憑借教練員對運(yùn)動(dòng)員技術(shù)動(dòng)作進(jìn)行指導(dǎo)和監(jiān)督，具有主觀性，這種情況嚴(yán)重制約了網(wǎng)球水平的提高。

為了提高培訓(xùn)效果，也有研究者提出了一些發(fā)球訓(xùn)練裝置，例如公開號(hào)為cn203469419u的專利文獻(xiàn)公開了羽毛球發(fā)球訓(xùn)練系統(tǒng)，涉及一種羽毛球訓(xùn)練系統(tǒng)。是為了適應(yīng)羽毛球發(fā)球機(jī)動(dòng)性、準(zhǔn)確性的智能訓(xùn)練的需求。陣列式指示燈分布在羽毛球球場的一側(cè)，陣列式指示燈的控制信號(hào)輸入端與控制電路的控制信號(hào)輸出端連接；紅外信號(hào)接收電路的紅外信號(hào)輸出端與控制電路的紅外信號(hào)輸入端連接；紅外信號(hào)接收電路用于接收紅外信號(hào)發(fā)射電路發(fā)射的紅外信號(hào)；陣列式按鍵的按鍵信號(hào)輸出端與紅外信號(hào)發(fā)射電路的按鍵信號(hào)輸入端連接；攝像機(jī)用于采集發(fā)球落點(diǎn)的圖像；攝像機(jī)的圖像信號(hào)輸出端與控制電路的圖像信號(hào)輸入端連接；控制電路的控制信號(hào)輸出端與攝像機(jī)的控制信號(hào)輸入端連接。該發(fā)明適用于羽毛球發(fā)球訓(xùn)練過程中。

但是上述的發(fā)球訓(xùn)練機(jī)構(gòu)存在結(jié)構(gòu)復(fù)雜、使用不便以及測試不準(zhǔn)確等問題，是因此，針對該問題，提出一種基于圖像處理的網(wǎng)球發(fā)球行為評(píng)定方法，實(shí)現(xiàn)網(wǎng)球訓(xùn)練的客觀、有效的指導(dǎo)十分必要。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種基于圖像處理的球類發(fā)球行為評(píng)定系統(tǒng)，通過圖像處理技術(shù)來研究球類中的平擊發(fā)球技術(shù)，能提高球類訓(xùn)練效率，輔助球類訓(xùn)練。

一種基于圖像處理的球類發(fā)球行為評(píng)定方法，包括以下步驟：

步驟1：對發(fā)球手臂的關(guān)節(jié)點(diǎn)進(jìn)行顏色標(biāo)記，采集球類發(fā)球圖像；

步驟2：由步驟1采集的球類發(fā)球圖像構(gòu)造字典，重構(gòu)出無干擾的發(fā)球圖；

步驟3：針對步驟2獲得的發(fā)球圖，進(jìn)行運(yùn)動(dòng)前景提?。?/p>

步驟4：針對步驟3操作后的運(yùn)動(dòng)前景提取出標(biāo)記點(diǎn)，并進(jìn)行標(biāo)記點(diǎn)輪廓查找，用最小圓包圍輪廓，返回圓心坐標(biāo)作為關(guān)節(jié)點(diǎn)坐標(biāo)；

步驟5：通過步驟1～4提取的關(guān)節(jié)點(diǎn)坐標(biāo)數(shù)據(jù)進(jìn)行訓(xùn)練，實(shí)現(xiàn)對發(fā)球軌跡的分類，評(píng)定出球類發(fā)球是成功發(fā)球還是失敗發(fā)球，建立評(píng)定系統(tǒng)；

步驟6：通過步驟1～4的方法采集待測的發(fā)球坐標(biāo)，輸入步驟(5)得到的評(píng)定系統(tǒng)進(jìn)行評(píng)定。

球類可以是網(wǎng)球、羽毛球或者排球等。

優(yōu)選的，步驟1中，對發(fā)球手臂的關(guān)節(jié)點(diǎn)進(jìn)行顏色標(biāo)記。對每個(gè)運(yùn)動(dòng)員的發(fā)球手臂上關(guān)節(jié)點(diǎn)進(jìn)行人為標(biāo)記，能在提取目標(biāo)點(diǎn)時(shí)更明確目標(biāo)點(diǎn)的顏色特征，從而能依據(jù)目標(biāo)點(diǎn)顏色特征更好的將不同顏色的干擾去除，且咨詢過專業(yè)運(yùn)動(dòng)員后，確定標(biāo)記點(diǎn)的存在對球類發(fā)球技術(shù)動(dòng)作沒有實(shí)質(zhì)性的影響，采集球類發(fā)球圖像的具體步驟如下：

1-1選擇紅色作為關(guān)節(jié)點(diǎn)的標(biāo)記顏色，在揮拍臂上標(biāo)記三個(gè)點(diǎn)a、b和c，a代表手腕靠近球拍部分的標(biāo)記點(diǎn)，b代表手肘部的標(biāo)記點(diǎn)，c代表發(fā)球手臂靠近肩部的標(biāo)記點(diǎn)；

1-2將高速攝像機(jī)放在實(shí)驗(yàn)對象右側(cè)，距離發(fā)球點(diǎn)4m～6m，高度為1.0m～1.6m處采集球類發(fā)球圖像。

優(yōu)選的，步驟2中，由步驟1采集的一系列含有噪聲的球類發(fā)球圖構(gòu)造字典，依據(jù)稀疏表示重構(gòu)出無干擾的發(fā)球圖。依據(jù)稀疏表示重構(gòu)的方法去噪能有效實(shí)現(xiàn)去噪的同時(shí)保留待檢測目標(biāo)的邊緣信息，雖然稀疏表示重構(gòu)過程中字典的重建比較耗時(shí)，但依據(jù)稀疏表示理論可知一張圖像訓(xùn)練出的字典能表征同類其他圖像，考慮到發(fā)球動(dòng)作的快速性，為了使訓(xùn)練出的字典更具代表性，可選擇截取一次發(fā)球運(yùn)動(dòng)中的n(30≥n≥10)幀圖片訓(xùn)練發(fā)球動(dòng)作的字典，之后可以把字典應(yīng)用于整個(gè)視頻流中，通過稀疏表示重建去噪，而不需要重復(fù)訓(xùn)練字典，解決了稀疏表示重構(gòu)去噪實(shí)時(shí)性差的問題。具體步驟如下：

2-1初始化：使x＝y(tǒng)、初始字典d由dct生成；

上述x表示待求解的去除噪聲后的圖像，將其初始值設(shè)為y，y為被噪聲污染的圖像，x、y的大小為n×n×3(3表示彩色圖像的三原色即紅色、綠色、藍(lán)色子矩陣對應(yīng)的維數(shù)，x、y均為彩色圖像)，將y分成m個(gè)圖像子塊子圖像塊zj大小為且圖像子塊滿足三元組(ε,s,d)的稀疏模型zj＝dα，即子圖像塊zj重建誤差為ε，編碼系數(shù)稀疏度為s，字典為d∈r^3n×k，x∈r³ⁿ為待處理信號(hào)zj重新排列成的一維列向量，α是zj在字典d上的稀疏表示。

子圖像塊zj的去噪圖像塊估計(jì)模型如式(1)所示：

式中μj為控制稀疏度與重建誤差的權(quán)重。

對式(1)稍作修改得到整幅圖像的去噪圖像估計(jì)模型如式(2)所示：

式(2)中x為恢復(fù)出的干凈圖像(即去噪后的圖像)，其子塊xij＝rijx，rij∈r^n×n是在第(i,j)個(gè)圖像塊中提取的矩陣。第一項(xiàng)約束其恢復(fù)干凈圖與噪聲圖之間的相似度，第二項(xiàng)為稀疏度先驗(yàn)約束，第三項(xiàng)為子塊重建誤差約束。

2-2固定字典d，化公式(2)為公式(3)，求解每個(gè)子塊的編碼系數(shù)：

2-3固定步驟2-2求解的系數(shù)αij，將式(2)化為式(4)，求解字典d：

利用k-svd算法求解字典d：先尋找d中原子dl(l＝1,..,k)對應(yīng)系數(shù)αij非零元素下標(biāo)集合ωl＝{(i,j)|αij(l)≠0}，然后計(jì)算下標(biāo)集合ωl中每個(gè)下標(biāo)的殘差，如式(5)：

由殘差集合的列向量構(gòu)成殘差矩陣el，對其進(jìn)行svd分解為uδv^t。即u第一列更新原子dl，v第一列與δ第一個(gè)奇異值相乘更新系數(shù)最終得到自適應(yīng)字典d。

2-4依據(jù)公式(6)恢復(fù)干凈圖像x：

優(yōu)選的，步驟3中，采用混合高斯背景建模進(jìn)行運(yùn)動(dòng)前景提取?；旌细咚贡尘敖Ｊ墙⒃谙袼貥颖窘y(tǒng)計(jì)信息的基礎(chǔ)上的一種背景描述方法，它使用像素點(diǎn)的概率密度等統(tǒng)計(jì)信息(如：各模式的期望和標(biāo)準(zhǔn)差、模式的數(shù)量等)在相當(dāng)長的一段時(shí)間內(nèi)的樣本值來表示背景。然后，通過統(tǒng)計(jì)差分法(如3σ原則，σ為標(biāo)準(zhǔn)差)來確定目標(biāo)像素，因此依據(jù)混合高斯背景建模提取前景的方法不依賴于物體的運(yùn)動(dòng)速度，能適應(yīng)快速運(yùn)動(dòng)物體的提取，很適合快速球類發(fā)球動(dòng)作的提取。

優(yōu)選的，步驟4中，針對步驟3操作后的發(fā)球圖提取出標(biāo)記點(diǎn)，并進(jìn)行標(biāo)記點(diǎn)輪廓查找，用最小圓包圍輪廓，返回圓心坐標(biāo)作為關(guān)節(jié)點(diǎn)坐標(biāo)。標(biāo)記點(diǎn)是人為選擇的，顏色已知，利用顏色信息將標(biāo)記點(diǎn)提取出來，能進(jìn)一步消除圖像噪聲，而用標(biāo)記點(diǎn)輪廓構(gòu)成的最小圓的圓心來作為關(guān)節(jié)點(diǎn)坐標(biāo)能更準(zhǔn)確的表征標(biāo)記點(diǎn)位置，因?yàn)閳A心是由位于圓上的若干個(gè)輪廓點(diǎn)一起確定的，更具有排他性，最小圓能保證進(jìn)行圓心提取的輪廓點(diǎn)更可能處于標(biāo)記點(diǎn)上。具體步驟如下：

4-1遍歷步驟3獲得的前景圖像中的每一個(gè)像素點(diǎn)的rgb值，對于滿足標(biāo)記點(diǎn)顏色范圍內(nèi)的予以保留，獲得二值化圖像f；

4-2對二值圖像f進(jìn)行輪廓查找獲得輪廓圖像f1；

4-3對圖像f1通過hough變換獲得分別包含步驟1-1中給出的a、b、c三個(gè)標(biāo)記的輪廓點(diǎn)的半徑最小的三個(gè)圓，這三個(gè)圓的圓心即為所需要的標(biāo)記點(diǎn)。

優(yōu)選的，步驟4-1中，遍歷步驟3獲得的前景圖像中的每一個(gè)像素點(diǎn)的rgb值，對于滿足標(biāo)記點(diǎn)顏色范圍內(nèi)的予以保留。依據(jù)已知的標(biāo)記點(diǎn)顏色信息，遍歷整幅圖像能將步驟3處理后遺留的噪聲進(jìn)一步去除干凈。獲得二值化圖像f的具體步驟如下：

4-1-1對前景圖像中所有像素點(diǎn)的三原色像素值進(jìn)行計(jì)算：i＝2r-g-b，并將計(jì)算獲得的值i存為一個(gè)新的矩陣z，即新的圖像z；

4-1-2計(jì)算矩陣z中所有i的平均值記為a；

4-1-3矩陣i中所有大于a的像素值置為255，所有小于等于a的像素值置為0，獲得二值化圖像f。

優(yōu)選的，步驟5中，對步驟4提取的關(guān)節(jié)點(diǎn)坐標(biāo)進(jìn)行訓(xùn)練，實(shí)現(xiàn)對發(fā)球軌跡的分類，評(píng)定出球類發(fā)球是成功發(fā)球還是失敗發(fā)球。發(fā)球軌跡表征了手臂的運(yùn)動(dòng)軌跡，能表征發(fā)球姿勢是否正確，所以可按發(fā)球軌跡判定是成功發(fā)球還是失敗發(fā)球。具體步驟為：

5-1分別順序存儲(chǔ)發(fā)球視頻a、b、c三個(gè)標(biāo)記在各幀圖像中的標(biāo)記點(diǎn)的x、y坐標(biāo)，存儲(chǔ)的坐標(biāo)即為標(biāo)記點(diǎn)的運(yùn)行軌跡；

5-2通過步驟1到步驟4獲得n+m(n≥150，m≥50)組運(yùn)動(dòng)軌跡，其中發(fā)球成功軌跡ni+mi組，發(fā)球失敗運(yùn)動(dòng)軌跡nj+mj組，ni+nj＝n，ni＞nj，mi+mj＝m，mi＞mj；

5-3利用步驟5-2的n組數(shù)據(jù)對支持向量機(jī)進(jìn)行訓(xùn)練，然后用步驟5-2的m組數(shù)據(jù)進(jìn)行測試，如果發(fā)球成功標(biāo)記為1，發(fā)球失敗標(biāo)記為-1，完成發(fā)球軌跡分類。

通過稀疏表示算法和混合高斯背景建模方法的應(yīng)用，能有效克服球類發(fā)球圖像中不同顏色噪聲的影響，有效提高目標(biāo)檢測準(zhǔn)確度。

本發(fā)明的有益效果：

本發(fā)明方法實(shí)現(xiàn)網(wǎng)球運(yùn)動(dòng)員發(fā)球時(shí)的技術(shù)動(dòng)作分析，幫助教練員和運(yùn)動(dòng)員發(fā)現(xiàn)不規(guī)范的動(dòng)作或是錯(cuò)誤動(dòng)作，提高體育訓(xùn)練效率，改進(jìn)運(yùn)動(dòng)技術(shù)，從而達(dá)到輔助訓(xùn)練的目的。

附圖說明

圖1為本發(fā)明方法的流程線框圖。

圖2為發(fā)球手臂標(biāo)記點(diǎn)的圖像。

圖3為用于演示處理效果的視頻幀圖像。

圖4為稀疏去噪圖。

圖5的a～c為混合高斯背景建模進(jìn)行運(yùn)動(dòng)的三張前景提取圖。

圖6的a和b為對運(yùn)動(dòng)前景圖進(jìn)行處理后獲得的標(biāo)記點(diǎn)的二值圖和輪廓圖。

具體實(shí)施方式

如圖1所示，本實(shí)施例的基于圖像處理的網(wǎng)球發(fā)球行為評(píng)定系統(tǒng)的建立方法，包括以下步驟：

步驟1：對發(fā)球手臂的關(guān)節(jié)點(diǎn)進(jìn)行顏色標(biāo)記，通過高速攝像機(jī)采集網(wǎng)球發(fā)球視頻，具體如下：

對運(yùn)動(dòng)員發(fā)球手臂上的關(guān)節(jié)點(diǎn)用紅色進(jìn)行標(biāo)記，如圖2所示，a點(diǎn)代表手腕靠近球拍部分的標(biāo)記點(diǎn)，b點(diǎn)代表手肘部的標(biāo)記點(diǎn)，c點(diǎn)代表發(fā)球手臂靠近肩部的標(biāo)記點(diǎn)。將ioindustries公司的flare2m360ccl高速攝像機(jī)放在實(shí)驗(yàn)對象右側(cè)，距離發(fā)球點(diǎn)4m～6m，高度為1.0m～1.6m處采集發(fā)球視頻。

步驟2：由采集的一系列含有噪聲的網(wǎng)球發(fā)球圖構(gòu)造字典，依據(jù)稀疏表示重構(gòu)出無干擾的發(fā)球圖；選取采集的網(wǎng)球發(fā)球視頻中的一幀(為采集的選定組網(wǎng)球發(fā)球視頻序列的第187幀)圖像作為處理過程演示圖，選取的幀圖像如圖3所示。采用稀疏去噪后得到處理結(jié)果圖，如圖4所示。

由采集的一系列含有噪聲的網(wǎng)球發(fā)球圖構(gòu)造字典，依據(jù)稀疏表示重構(gòu)出無干擾的發(fā)球圖的具體操作如下：

2-1初始化：使x＝y(tǒng)、初始字典d由dct生成；

上述x表示待求解的去除噪聲后的圖像，將其初始值設(shè)為y，y為被噪聲污染的圖像，x、y的大小為n×n×3(3表示彩色圖像的三原色即紅色、綠色、藍(lán)色子矩陣對應(yīng)的維數(shù)，x、y均為彩色圖像)，將y分成m個(gè)圖像子塊子圖像塊zj大小為且圖像子塊滿足三元組(ε,s,d)的稀疏模型zj＝dα，即子圖像塊zj重建誤差為ε，編碼系數(shù)稀疏度為s，字典為d∈r^3n×k，x∈r³ⁿ為待處理信號(hào)zj重新排列成的一維列向量，α是zj在字典d上的稀疏表示。

子圖像塊zj的去噪圖像塊估計(jì)模型如式(1)所示：

式中μj為控制稀疏度與重建誤差的權(quán)重。

對式(1)稍作修改得到整幅圖像的去噪圖像估計(jì)模型如式(2)所示：

式(2)中x為恢復(fù)出的干凈圖像(即去噪后的圖像)，其子塊xij＝rijx，rij∈r^n×n是在第(i,j)個(gè)圖像塊中提取的矩陣。第一項(xiàng)約束其恢復(fù)干凈圖與噪聲圖之間的相似度，第二項(xiàng)為稀疏度先驗(yàn)約束，第三項(xiàng)為子塊重建誤差約束。

2-2固定字典d，化公式(2)為公式(3)，求解每個(gè)子塊的編碼系數(shù)：

2-3固定步驟2-2求解的系數(shù)αij，將式(2)化為式(4)，求解字典d：

利用k-svd算法求解字典d：先尋找d中原子dl(l＝1,..,k)對應(yīng)系數(shù)αij非零元素下標(biāo)集合ωl＝{(i,j)|αij(l)≠0}，然后計(jì)算下標(biāo)集合ωl中每個(gè)下標(biāo)的殘差，如式(5)：

由殘差集合的列向量構(gòu)成殘差矩陣el，對其進(jìn)行svd分解為uδv^t。即u第一列更新原子dl，v第一列與δ第一個(gè)奇異值相乘更新系數(shù)最終得到自適應(yīng)字典d。

2-4依據(jù)公式(6)恢復(fù)干凈圖像x：

步驟3：針對步驟2獲得的發(fā)球圖，采用混合高斯背景建模進(jìn)行運(yùn)動(dòng)前景提取，提取后的運(yùn)動(dòng)前景圖如圖5所示。

圖5的a、b和c分別為選定組網(wǎng)球發(fā)球視頻圖像的第5幀、第201幀、第575幀的處理效果。

步驟4：通過顏色特征提取出二值化的標(biāo)記點(diǎn)，并進(jìn)行標(biāo)記點(diǎn)輪廓查找，用最小圓包圍輪廓，返回圓心坐標(biāo)作為關(guān)節(jié)點(diǎn)坐標(biāo)，具體操作如下：

4-1遍歷步驟3獲得的前景圖像中的每一個(gè)像素點(diǎn)的rgb值，對于滿足標(biāo)記點(diǎn)顏色范圍內(nèi)的予以保留，獲得二值化圖像f；

4-1-1對前景圖像中所有像素點(diǎn)的三原色像素值進(jìn)行計(jì)算：i＝2r-g-b，并將計(jì)算獲得的值i存為一個(gè)新的矩陣z，即新的圖像z；

4-1-2計(jì)算矩陣z中所有i的平均值記為a；

4-1-3矩陣i中所有大于a的像素值置為255，所有小于等于a的像素值置為0，獲得二值化圖像f；

4-2對二值圖像f進(jìn)行輪廓查找獲得輪廓圖像f1；

4-3對圖像f1通過hough變換獲得分別包含a、b、c三個(gè)標(biāo)記的輪廓點(diǎn)的半徑最小的三個(gè)圓，這三個(gè)圓的圓心即為所需要的標(biāo)記點(diǎn)。

獲得的二值圖及輪廓圖如圖6的a和b所示。

步驟5：采用支持向量機(jī)對提取的關(guān)節(jié)點(diǎn)坐標(biāo)進(jìn)行訓(xùn)練，實(shí)現(xiàn)對發(fā)球軌跡的分類，評(píng)定出網(wǎng)球發(fā)球是成功發(fā)球還是失敗發(fā)球，具體如下：

5-1分別順序存儲(chǔ)發(fā)球視頻a、b、c三個(gè)標(biāo)記在各幀圖像中的標(biāo)記點(diǎn)的x、y坐標(biāo)，存儲(chǔ)的坐標(biāo)即為標(biāo)記點(diǎn)的運(yùn)行軌跡；

5-2通過步驟1到步驟4獲得n+m(n≥150，m≥50)組運(yùn)動(dòng)軌跡，其中發(fā)球成功軌跡ni+mi組，發(fā)球失敗運(yùn)動(dòng)軌跡nj+mj組，ni+nj＝n，ni＞nj，mi+mj＝m，mi＞mj；

5-3利用步驟5-2的n組數(shù)據(jù)對支持向量機(jī)進(jìn)行訓(xùn)練，然后用步驟5-2的m組數(shù)據(jù)進(jìn)行測試，如果發(fā)球成功標(biāo)記為1，發(fā)球失敗標(biāo)記為-1，完成發(fā)球軌跡分類。