本技術(shù)涉及軍事訓(xùn)練領(lǐng)域，特別涉及一種實(shí)彈射擊訓(xùn)練效果評(píng)估方法。

背景技術(shù)：

1、目前，實(shí)彈射擊訓(xùn)練效果評(píng)估主要采用人工觀察、射擊成績(jī)統(tǒng)計(jì)等方法，存在評(píng)估維度單一、主觀性強(qiáng)等問題。傳統(tǒng)的評(píng)估方法主要關(guān)注射擊成績(jī)，如射擊命中率、射擊時(shí)間等，忽略了射擊過程中的姿勢(shì)穩(wěn)定性、瞄準(zhǔn)軌跡等重要因素，導(dǎo)致評(píng)估結(jié)果片面化，無法全面反映訓(xùn)練者的射擊能力和存在的問題。

2、國內(nèi)外已有研究嘗試將機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺技術(shù)應(yīng)用于射擊訓(xùn)練效果評(píng)估。一些研究利用傳統(tǒng)的圖像處理算法和淺層神經(jīng)網(wǎng)絡(luò)對(duì)射擊姿勢(shì)進(jìn)行分析，但忽略了時(shí)間維度的信息，無法有效捕捉姿勢(shì)的動(dòng)態(tài)變化特征。也有研究采用人工標(biāo)注的方式提取視線瞄準(zhǔn)軌跡，但效率低下且主觀性強(qiáng)。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中存在的實(shí)彈射擊訓(xùn)練效果評(píng)估中維度單一的問題，本技術(shù)提供了一種實(shí)彈射擊訓(xùn)練效果評(píng)估方法，利用預(yù)訓(xùn)練的三維卷積神經(jīng)網(wǎng)絡(luò)提取射擊姿勢(shì)的時(shí)空特征，通過基于注意力機(jī)制的雙向長短期記憶神經(jīng)網(wǎng)絡(luò)建立射擊姿勢(shì)穩(wěn)定性評(píng)估模型，輸出射擊姿勢(shì)穩(wěn)定性數(shù)據(jù)。同時(shí)，采用基于注意力機(jī)制的編碼器-解碼器結(jié)構(gòu)分析射擊動(dòng)作圖像，獲取訓(xùn)練者視線在準(zhǔn)星和靶標(biāo)之間的瞄準(zhǔn)軌跡和駐留時(shí)間數(shù)據(jù)等，生成全面客觀的射擊訓(xùn)練效果評(píng)估報(bào)告。

2、本技術(shù)的目的通過以下技術(shù)方案實(shí)現(xiàn)。

3、本技術(shù)提供一種實(shí)彈射擊訓(xùn)練效果評(píng)估方法，包括：構(gòu)建實(shí)彈射擊訓(xùn)練評(píng)估系統(tǒng)，系統(tǒng)包括靶機(jī)、射擊裝置和數(shù)據(jù)處理裝置；其中，射擊裝置上安裝攝像裝置；在訓(xùn)練過程中，采集射擊次數(shù)、射擊時(shí)間和中彈次數(shù)；通過攝像裝置獲取訓(xùn)練者射擊動(dòng)作圖像；利用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)對(duì)射擊動(dòng)作圖像進(jìn)行特征提取，得到描述訓(xùn)練者持槍姿勢(shì)的特征向量序列；根據(jù)特征向量序列，通過基于注意力機(jī)制的雙向長短期記憶神經(jīng)網(wǎng)絡(luò)bilstm-attention建立射擊姿勢(shì)穩(wěn)定性評(píng)估模型，得到射擊姿勢(shì)穩(wěn)定性數(shù)據(jù)；利用基于注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)模型對(duì)采集的射擊動(dòng)作圖像進(jìn)行分析，得到訓(xùn)練者視線在準(zhǔn)星和靶標(biāo)之間的移動(dòng)軌跡和駐留時(shí)間，生成瞄準(zhǔn)軌跡和瞄準(zhǔn)時(shí)間數(shù)據(jù)；根據(jù)射擊次數(shù)、射擊時(shí)間、中彈次數(shù)、射擊姿勢(shì)穩(wěn)定性、瞄準(zhǔn)軌跡和瞄準(zhǔn)時(shí)間，生成射擊訓(xùn)練效果評(píng)估報(bào)告。

4、進(jìn)一步的，得到描述訓(xùn)練者持槍姿勢(shì)的特征向量序列，包括：將采集的連續(xù)多幀射擊動(dòng)作圖像構(gòu)建為三維張量；其中，第一維和第二維表示射擊動(dòng)作圖像的空間維度，第三維表示射擊動(dòng)作圖像的時(shí)間維度；利用預(yù)訓(xùn)練的三維卷積神經(jīng)網(wǎng)絡(luò)3d-cnn對(duì)三維張量進(jìn)行時(shí)空特征提取，得到射擊動(dòng)作的時(shí)空特征圖；其中，三維卷積神經(jīng)網(wǎng)絡(luò)包含多個(gè)三維卷積層和三維池化層；將時(shí)空特征圖展平為一維特征向量，作為全連接層的輸入；利用全連接層采用leaky?relu激活函數(shù)對(duì)一維特征向量進(jìn)行非線性變換，得到描述訓(xùn)練者持槍姿勢(shì)的特征向量序列。

5、進(jìn)一步的，利用預(yù)訓(xùn)練的三維卷積神經(jīng)網(wǎng)絡(luò)3d-cnn對(duì)三維張量進(jìn)行時(shí)空特征提取，包括：將三維張量輸入至三維卷積層中，利用三維卷積層中的可分離卷積核在時(shí)間和空間維度上滑動(dòng)，提取射擊動(dòng)作圖像的局部時(shí)空特征；其中，可分離卷積核包含注意力模塊、深度卷積核和逐點(diǎn)卷積核；將提取的局部時(shí)空特征輸入三維池化層中，對(duì)局部時(shí)空特征在時(shí)間和空間維度上進(jìn)行下采樣操作；其中，在時(shí)間維度上采用最大池化，提取射擊動(dòng)作的時(shí)序特征；在空間維度上采用平均池化，提取射擊動(dòng)作的區(qū)域特征；通過三維卷積神經(jīng)網(wǎng)絡(luò)的多個(gè)三維卷積層和三維池化層的交替操作和層級(jí)結(jié)構(gòu)，?逐層提取和融合射擊動(dòng)作的時(shí)空特征，得到射擊動(dòng)作時(shí)空特征圖。

6、進(jìn)一步的，提取射擊動(dòng)作圖像的局部時(shí)空特征，包括：利用注意力模塊學(xué)習(xí)射擊動(dòng)作在時(shí)間維度和空間維度上的依賴關(guān)系，生成時(shí)間維度和空間維度上的注意力權(quán)重圖；利用深度卷積核在時(shí)間維度上滑動(dòng)，并根據(jù)時(shí)間維度上的注意力權(quán)重圖，對(duì)不同時(shí)間步的特征圖賦予不同的權(quán)重，提取射擊動(dòng)作的時(shí)序特征；利用逐點(diǎn)卷積核在空間維度上滑動(dòng)，并根據(jù)空間維度上的注意力權(quán)重圖，對(duì)不同空間位置的特征圖賦予不同的權(quán)重，提取射擊動(dòng)作的區(qū)域特征；將深度卷積核和逐點(diǎn)卷積核的輸出特征圖進(jìn)行組合，得到射擊動(dòng)作局部時(shí)空特征。

7、進(jìn)一步的，得到射擊姿勢(shì)穩(wěn)定性數(shù)據(jù)，包括：將得到的特征向量序列同時(shí)輸入至雙向長短期記憶神經(jīng)網(wǎng)絡(luò)bilstm的前向lstm和后向lstm的輸入層，按照時(shí)間順序獲取射擊姿勢(shì)的前向和后向時(shí)序依賴關(guān)系；在bilstm的每一個(gè)時(shí)間步，利用注意力機(jī)制計(jì)算當(dāng)前時(shí)間步與其他時(shí)間步之間的關(guān)聯(lián)權(quán)重，通過加權(quán)求和得到當(dāng)前時(shí)間步的注意力特征向量；通過迭代優(yōu)化算法聯(lián)合訓(xùn)練bilstm和注意力機(jī)制的權(quán)重參數(shù)，構(gòu)建射擊姿勢(shì)穩(wěn)定性評(píng)估模型bilstm-attention；將特征向量序列數(shù)據(jù)按照時(shí)間順序輸入至訓(xùn)練后的bilstm-attention模型中：bilstm-attention模型通過雙向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和注意力機(jī)制提取射擊姿勢(shì)的時(shí)序特征；bilstm-attention模型在每一個(gè)時(shí)間步輸出對(duì)應(yīng)的射擊姿勢(shì)穩(wěn)定性評(píng)估分?jǐn)?shù)；根據(jù)bilstm-attention模型在不同時(shí)間步輸出的射擊姿勢(shì)穩(wěn)定性評(píng)估分?jǐn)?shù)和對(duì)應(yīng)的注意力權(quán)重，生成射擊姿勢(shì)穩(wěn)定性評(píng)估報(bào)告。

8、進(jìn)一步的，構(gòu)建射擊姿勢(shì)穩(wěn)定性評(píng)估模型bilstm-attention，包括：初始化bilstm和注意力機(jī)制的權(quán)重參數(shù)；采用交叉驗(yàn)證方法將特征向量序列數(shù)據(jù)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；其中，訓(xùn)練集用于模型訓(xùn)練，驗(yàn)證集用于模型性能評(píng)估，測(cè)試集用于評(píng)估模型的泛化性能；使用訓(xùn)練集訓(xùn)練bilstm-attention，通過前向傳播計(jì)算每一個(gè)時(shí)間步的隱藏狀態(tài)、注意力權(quán)重和射擊姿勢(shì)穩(wěn)定性評(píng)估分?jǐn)?shù)；采用交叉熵?fù)p失函數(shù)計(jì)算bilstm-attention模型在訓(xùn)練集上的損失值；通過反向傳播算法計(jì)算損失函數(shù)對(duì)bilstm和注意力機(jī)制的權(quán)重參數(shù)的梯度；更新bilstm和注意力機(jī)制的權(quán)重參數(shù)。

9、進(jìn)一步的，交叉熵?fù)p失函數(shù)表達(dá)式如下：，其中，各參數(shù)定義如下：n表示訓(xùn)練樣本數(shù)量，表示參與訓(xùn)練的射擊姿勢(shì)穩(wěn)定性數(shù)據(jù)的總數(shù)。t表示時(shí)間步數(shù)，表示bilstm-attention模型處理射擊姿勢(shì)穩(wěn)定性數(shù)據(jù)的序列長度。表示第i個(gè)訓(xùn)練樣本在第t個(gè)時(shí)間步的真實(shí)穩(wěn)定性標(biāo)簽，取值為0或1，表示該時(shí)間步的射擊姿勢(shì)是否穩(wěn)定。表示bilstm-attention模型在第t個(gè)時(shí)間步對(duì)第i個(gè)訓(xùn)練樣本的穩(wěn)定性評(píng)估分?jǐn)?shù)，取值范圍為[0，1]，表示模型預(yù)測(cè)該時(shí)間步射擊姿勢(shì)為穩(wěn)定的概率。表示時(shí)間步t的正樣本權(quán)重系數(shù)，用于平衡不同時(shí)間步正樣本的貢獻(xiàn)，可以根據(jù)先驗(yàn)知識(shí)設(shè)置，也可以作為可學(xué)習(xí)參數(shù)進(jìn)行優(yōu)化。：focal?loss的超參數(shù)，用于調(diào)節(jié)難分樣本的權(quán)重。當(dāng)時(shí)，退化為標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)；當(dāng)時(shí)，增大了難分樣本的權(quán)重，使模型更關(guān)注那些預(yù)測(cè)錯(cuò)誤的樣本。：負(fù)樣本權(quán)重系數(shù)，用于平衡正負(fù)樣本的貢獻(xiàn)。當(dāng)數(shù)據(jù)集中正負(fù)樣本比例失衡時(shí)，通過設(shè)置合適的，可以緩解類別不平衡問題。改進(jìn)后的損失函數(shù)在原有focal?loss的基礎(chǔ)上，引入了正負(fù)樣本權(quán)重系數(shù)和，對(duì)正負(fù)樣本的損失項(xiàng)進(jìn)行加權(quán)。對(duì)于正樣本，權(quán)重系數(shù)為；對(duì)于負(fù)樣本，權(quán)重系數(shù)為和。通過合理設(shè)置和，可以靈活地平衡不同時(shí)間步和不同類別的樣本貢獻(xiàn)，有效緩解類別不平衡和時(shí)間步重要性不均衡的問題。同時(shí)，改進(jìn)后的損失函數(shù)在難分樣本權(quán)重調(diào)節(jié)項(xiàng)的基礎(chǔ)上，針對(duì)負(fù)樣本引入了項(xiàng)，對(duì)預(yù)測(cè)正確的負(fù)樣本進(jìn)行抑制，進(jìn)一步提高模型對(duì)難分負(fù)樣本的關(guān)注度。

10、進(jìn)一步的，更新bilstm和注意力機(jī)制的權(quán)重參數(shù)，通過如下表達(dá)式：，，，，；其中，各參數(shù)定義如下：：當(dāng)前時(shí)刻t的梯度，通過對(duì)損失函數(shù)l關(guān)于上一時(shí)刻參數(shù)求導(dǎo)得到。：梯度的一階矩（即梯度的指數(shù)加權(quán)移動(dòng)平均值），用于估計(jì)梯度的均值。通過指數(shù)加權(quán)平均的方式更新，平滑了梯度的震蕩，提高了優(yōu)化的穩(wěn)定性。：一階矩的衰減率，用于控制梯度移動(dòng)平均值的更新速度，取值范圍為[0，1）。值越大，更新速度越慢，歷史梯度的影響越大；值越小，更新速度越快，當(dāng)前梯度的影響越大。：梯度絕對(duì)值的最大值的指數(shù)加權(quán)移動(dòng)平均，用于自適應(yīng)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率。通過與上一時(shí)刻和當(dāng)前梯度絕對(duì)值取最大值的方式更新，能夠自適應(yīng)地調(diào)節(jié)學(xué)習(xí)率，加速收斂。：最大值移動(dòng)平均的衰減率，用于控制的更新速度，取值范圍為[0，1）。值越大，更新速度越慢，歷史最大值的影響越大；值越小，更新速度越快，當(dāng)前梯度絕對(duì)值的影響越大。：校正后的梯度一階矩，用于修正由于初始化為0而導(dǎo)致的偏差。隨著時(shí)間步t的增加，會(huì)逐漸衰減到0，會(huì)逐漸接近的真實(shí)值。：當(dāng)前時(shí)刻t的自適應(yīng)學(xué)習(xí)率，直接使用的值，無需進(jìn)行偏差校正。：當(dāng)前時(shí)刻t更新后的模型參數(shù)，根據(jù)校正后的梯度一階矩和自適應(yīng)學(xué)習(xí)率進(jìn)行更新。：初始學(xué)習(xí)率，控制每次參數(shù)更新的步長。需要根據(jù)具體任務(wù)和數(shù)據(jù)集進(jìn)行調(diào)節(jié)，通常取值范圍為。使用梯度絕對(duì)值的最大值的指數(shù)加權(quán)移動(dòng)平均來自適應(yīng)調(diào)整每個(gè)參數(shù)的學(xué)習(xí)率。僅需要計(jì)算梯度的一階矩和最大值移動(dòng)平均，計(jì)算效率較高，適用于大規(guī)模數(shù)據(jù)集和復(fù)雜模型的優(yōu)化。

11、進(jìn)一步的，生成瞄準(zhǔn)軌跡和瞄準(zhǔn)時(shí)間數(shù)據(jù)，包括：將采集的射擊動(dòng)作圖像輸入至基于注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)模型中；其中，循環(huán)神經(jīng)網(wǎng)絡(luò)模型包含編碼器和解碼器；編碼器采用雙向長短期記憶神經(jīng)網(wǎng)絡(luò)bilstm結(jié)構(gòu)，解碼器采用注意力機(jī)制和長短期記憶神經(jīng)網(wǎng)絡(luò)lstm結(jié)構(gòu)；編碼器接收射擊動(dòng)作圖像，通過bilstm提取射擊動(dòng)作圖像的時(shí)序特征，得到編碼特征序列；其中，bilstm在每一個(gè)時(shí)間步，利用雙向lstm單元分別提取射擊動(dòng)作圖像的前向和后向時(shí)序依賴關(guān)系，并將前向和后向的隱藏狀態(tài)拼接，作為當(dāng)前時(shí)間步的編碼特征；解碼器接收編碼特征序列和上一時(shí)間步的隱藏狀態(tài)，通過注意力機(jī)制計(jì)算當(dāng)前時(shí)間步與編碼特征序列中每一個(gè)時(shí)間步的注意力權(quán)重，得到當(dāng)前時(shí)間步的注意力特征向量；解碼器將注意力特征向量和上一時(shí)間步的隱藏狀態(tài)輸入lstm單元中，通過門控機(jī)制更新隱藏狀態(tài)，并生成當(dāng)前時(shí)間步的瞄準(zhǔn)位置坐標(biāo)；循環(huán)執(zhí)行直至解碼器生成完整的瞄準(zhǔn)軌跡坐標(biāo)序列，得到訓(xùn)練者視線在準(zhǔn)星和靶標(biāo)之間的移動(dòng)軌跡；根據(jù)瞄準(zhǔn)軌跡坐標(biāo)序列，計(jì)算訓(xùn)練者視線在每個(gè)瞄準(zhǔn)位置的駐留時(shí)間，生成瞄準(zhǔn)時(shí)間數(shù)據(jù)。

12、進(jìn)一步的，生成瞄準(zhǔn)時(shí)間數(shù)據(jù)，包括：對(duì)于瞄準(zhǔn)軌跡坐標(biāo)序列中的每一個(gè)坐標(biāo)點(diǎn)，選取其前后多個(gè)坐標(biāo)點(diǎn)，根據(jù)坐標(biāo)點(diǎn)之間的時(shí)間間隔計(jì)算權(quán)重，對(duì)選取的坐標(biāo)點(diǎn)進(jìn)行加權(quán)平均，得到當(dāng)前坐標(biāo)點(diǎn)的平滑坐標(biāo)值；遍歷瞄準(zhǔn)軌跡坐標(biāo)序列中的每一個(gè)坐標(biāo)點(diǎn)，更新其坐標(biāo)值為平滑后的坐標(biāo)值，得到平滑處理后的瞄準(zhǔn)軌跡坐標(biāo)序列；根據(jù)平滑處理后的瞄準(zhǔn)軌跡坐標(biāo)序列，計(jì)算相鄰兩個(gè)瞄準(zhǔn)位置之間的歐氏距離，當(dāng)歐氏距離小于閾值時(shí)，將相鄰的瞄準(zhǔn)位置歸為同一個(gè)瞄準(zhǔn)區(qū)域；統(tǒng)計(jì)每個(gè)瞄準(zhǔn)區(qū)域內(nèi)的瞄準(zhǔn)位置數(shù)量，將瞄準(zhǔn)位置數(shù)量乘以單位時(shí)間步長，得到訓(xùn)練者視線在每個(gè)瞄準(zhǔn)區(qū)域的駐留時(shí)間；將瞄準(zhǔn)區(qū)域的中心坐標(biāo)作為對(duì)應(yīng)區(qū)域的代表坐標(biāo)，生成包含瞄準(zhǔn)區(qū)域代表坐標(biāo)和對(duì)應(yīng)駐留時(shí)間的瞄準(zhǔn)時(shí)間數(shù)據(jù)。

13、相比于現(xiàn)有技術(shù)，本技術(shù)的優(yōu)點(diǎn)在于：

14、引入三維卷積神經(jīng)網(wǎng)絡(luò)提取射擊姿勢(shì)時(shí)空特征，克服了傳統(tǒng)二維圖像分析方法忽略時(shí)間維度信息的局限性。通過在時(shí)間和空間維度上同時(shí)提取特征，能夠全面刻畫射擊姿勢(shì)在連續(xù)時(shí)間段內(nèi)的變化規(guī)律，為射擊姿勢(shì)穩(wěn)定性評(píng)估提供更加豐富和有效的特征表示。

15、采用基于注意力機(jī)制的雙向長短期記憶神經(jīng)網(wǎng)絡(luò)構(gòu)建射擊姿勢(shì)穩(wěn)定性評(píng)估模型，利用注意力機(jī)制自適應(yīng)地關(guān)注射擊姿勢(shì)序列中的關(guān)鍵時(shí)刻和區(qū)域，有效提取對(duì)穩(wěn)定性評(píng)估具有顯著影響的姿勢(shì)特征。同時(shí)，雙向lstm能夠充分挖掘姿勢(shì)序列的前向和后向時(shí)序依賴關(guān)系，增強(qiáng)模型對(duì)姿勢(shì)動(dòng)態(tài)變化的刻畫能力，使得穩(wěn)定性評(píng)估更加準(zhǔn)確可靠。

16、在姿勢(shì)穩(wěn)定性評(píng)估模型的訓(xùn)練過程中，引入改進(jìn)的focal?loss函數(shù)，通過設(shè)置樣本權(quán)重系數(shù)和難分樣本調(diào)節(jié)因子，有效緩解數(shù)據(jù)集類別不平衡問題，提高模型對(duì)穩(wěn)定性較差姿勢(shì)樣本的關(guān)注度，從而強(qiáng)化模型的分類性能和泛化能力。

17、利用基于注意力機(jī)制的編碼器-解碼器結(jié)構(gòu)對(duì)射擊動(dòng)作圖像序列進(jìn)行分析，自動(dòng)學(xué)習(xí)提取訓(xùn)練者視線在準(zhǔn)星和靶標(biāo)之間的瞄準(zhǔn)軌跡，相比人工標(biāo)注方法，提高了瞄準(zhǔn)軌跡提取的效率和客觀性。注意力機(jī)制的引入，使得模型能夠自適應(yīng)地關(guān)注對(duì)瞄準(zhǔn)至關(guān)重要的圖像區(qū)域，提高了瞄準(zhǔn)軌跡和駐留時(shí)間分析的精度。

18、通過平滑處理瞄準(zhǔn)軌跡坐標(biāo)序列，剔除微小的眼球抖動(dòng)和噪聲干擾，并自動(dòng)歸類瞄準(zhǔn)區(qū)域，實(shí)現(xiàn)對(duì)訓(xùn)練者視線駐留時(shí)間的精細(xì)化分析。量化的駐留時(shí)間指標(biāo)，為評(píng)估訓(xùn)練者的瞄準(zhǔn)能力和專注程度提供了客觀依據(jù)，豐富了射擊訓(xùn)練效果評(píng)估的維度。

19、綜合射擊次數(shù)、時(shí)間、命中率、射擊姿勢(shì)穩(wěn)定性、瞄準(zhǔn)軌跡和駐留時(shí)間等多維度指標(biāo)，形成全面、客觀、細(xì)粒度的射擊訓(xùn)練效果評(píng)估報(bào)告。多角度的評(píng)估結(jié)果能夠揭示訓(xùn)練者在射擊過程中的優(yōu)勢(shì)與不足。