本技術(shù)涉及音頻處理，尤其是涉及一種用于音頻的終端數(shù)據(jù)處理方法及裝置。

背景技術(shù)：

1、隨著終端技術(shù)的發(fā)展，終端可以為用戶提供越來越多的功能，音頻終端可以通過錄制功能和音頻數(shù)據(jù)處理功能，實現(xiàn)實時演唱功能。目前的技術(shù)手段通過選擇要演奏的目標歌曲，音頻終端開始播放歌曲音頻，用戶跟隨歌曲音頻歌唱。

2、目前的技術(shù)手段只提供了演唱功能，但是并不能幫助用戶更加完美的完成演唱，用戶體驗較差。

技術(shù)實現(xiàn)思路

1、本技術(shù)提供一種用于音頻的終端數(shù)據(jù)處理方法及裝置，以解決上述問題。

2、第一方面，本技術(shù)提供一種用于音頻的終端數(shù)據(jù)處理方法，所述方法包括：

3、獲取用戶實時的音頻數(shù)據(jù)與音樂的伴奏數(shù)據(jù)，分析所述音頻數(shù)據(jù)與所述伴奏數(shù)據(jù)，確定用戶演唱進度；

4、根據(jù)所述用戶演唱進度、所述音頻數(shù)據(jù)與所述伴奏數(shù)據(jù)，確定用戶的演唱狀態(tài)；

5、分析所述演唱狀態(tài)與所述演唱進度，預(yù)測用戶的待唱部分狀態(tài)；

6、分析所述待唱部分狀態(tài)、所述音頻數(shù)據(jù)與所述伴奏數(shù)據(jù)，確定音頻數(shù)據(jù)處理策略；

7、執(zhí)行所述音頻數(shù)據(jù)處理策略，進行音頻數(shù)據(jù)處理，并輸出處理后音頻數(shù)據(jù)。

8、通過本方案，將用戶實時的音頻數(shù)據(jù)與音樂的伴奏數(shù)據(jù)進行對比，確定用戶演唱進度，為后續(xù)確定用戶的演唱狀態(tài)和待唱部分狀態(tài)提供基礎(chǔ)信息，根據(jù)用戶演唱進度、音頻數(shù)據(jù)和伴奏數(shù)據(jù)，多維度分析確定用戶的演唱狀態(tài)，確保分析的準確性，分析演唱進度，確定待唱部分，再用演唱狀態(tài)預(yù)測用戶的待唱部分狀態(tài)，為音頻修改策略提供直接信息，分析待唱部分狀態(tài)、音頻數(shù)據(jù)與伴奏數(shù)據(jù)，確定音頻數(shù)據(jù)處理策略，并執(zhí)行音頻數(shù)據(jù)處理策略，使得修改策略的制定更加快速，提高效率和準確性。

9、可選的，所述分析所述音頻數(shù)據(jù)與所述伴奏數(shù)據(jù)，確定用戶演唱進度，包括：根據(jù)所述音頻數(shù)據(jù)，精準識別用戶歌唱的歌詞與用戶歌唱的襯詞；根據(jù)所述伴奏數(shù)據(jù)，確定曲詞數(shù)據(jù)與伴奏進度信息；根據(jù)所述曲詞數(shù)據(jù)，劃分歌曲區(qū)間；根據(jù)所述伴奏進度信息與所述歌曲區(qū)間，確定當前演唱區(qū)間；根據(jù)所述歌詞、所述襯詞、所述當前演唱區(qū)間，確定用戶演唱進度。

10、通過本方案，根據(jù)音頻數(shù)據(jù)，精準識別用戶歌唱的歌詞與用戶歌唱的襯詞，為后續(xù)的演唱進度分析和歌曲區(qū)間劃分提供基礎(chǔ)，根據(jù)伴奏數(shù)據(jù)，確定曲詞數(shù)據(jù)和伴奏進度信息，再根據(jù)曲詞數(shù)據(jù)劃分歌曲區(qū)間，結(jié)合伴奏進度信息與歌曲區(qū)間，確定當前演唱區(qū)間，通過伴奏數(shù)據(jù)，確定曲詞數(shù)據(jù)與伴奏進度信息的對應(yīng)關(guān)系，實現(xiàn)用戶歌唱的曲詞與伴奏的精準對比，高效判斷用戶演唱的整體協(xié)調(diào)性和節(jié)奏感，最后根據(jù)歌詞、襯詞、當前演唱區(qū)間，確定用戶演唱進度，多維度數(shù)據(jù)分析可以全面、準確地跟蹤用戶的演唱進度。

11、可選的，所述根據(jù)所述用戶演唱進度、所述音頻數(shù)據(jù)與所述伴奏數(shù)據(jù)，確定用戶的演唱狀態(tài),包括：對比用戶演唱進度與所述伴奏進度信息，確定用戶節(jié)奏感；分析所述音頻數(shù)據(jù)，確定采樣值、頻率；分析所述伴奏數(shù)據(jù)，確定標準振幅與標準頻率；根據(jù)所述采樣值，確定振幅；分析所述振幅，確定振幅變化信息；分析所述標準振幅，確定標準振幅變化信息；根據(jù)所述振幅變化信息，確定用戶聲音大小變化信息；對比所述振幅變化信息與所述標準振幅變化信息，確定用戶音量平衡感；分析所述頻率，確定頻率變化信息；分析所述標準頻率，確定標準頻率變化信息；對比所述頻率變化信息與所述標準頻率變化信息，確定跑調(diào)頻率信息；根據(jù)所述跑調(diào)頻率信息，確定跑調(diào)時頻率；根據(jù)所述跑調(diào)時頻率，確定用戶跑調(diào)率，參考以下公式：

12、；

13、其中，表示所述用戶跑調(diào)率，表示所述跑調(diào)時頻率，表示所述標準頻率；

14、根據(jù)所述用戶節(jié)奏感、所述用戶音量平衡感與所述用戶跑調(diào)率，確定用戶的演唱狀態(tài)。

15、通過本方案，對比用戶演唱進度和伴奏進度信息，確定用戶節(jié)奏感，從音頻數(shù)據(jù)中得到采樣值、頻率，采樣值中得到振幅進而得到振幅變化信息，從伴奏數(shù)據(jù)中得到標準振幅與標準頻率，將標準振幅和振幅對比，反映出用戶音量平衡感，對比頻率變化信息和標準頻率變化信息，并利用公式進行計算，量化了用戶跑調(diào)率，通過對比用戶演唱進度與伴奏進度，分析音頻數(shù)據(jù)和伴奏數(shù)據(jù)，從節(jié)奏感、音量平衡感和跑調(diào)率三個維度全面評估用戶的演唱狀態(tài)，詳細分析振幅和頻率的變化信息，并與標準振幅和頻率進行對比，精準地定位用戶在演唱過程中的音量平衡問題和跑調(diào)問題。

16、可選的，所述對比所述頻率變化信息與所述標準頻率變化信息，確定跑調(diào)頻率信息，包括：對比所述頻率變化信息與所述標準頻率變化信息，確定頻率差異信息；分析所述頻率差異信息，確定頻率差異值并構(gòu)建頻率差異曲線；分析所述頻率差異曲線，劃分曲線平穩(wěn)部分、曲線波動部分并確定頻率差異時間；根據(jù)所述曲線波動部分，確定波動頻率與波動幅度；分析所述頻率差異信息與所述頻率差異時間，確定頻率平均差異與頻率差異標準差；根據(jù)所述波動頻率、所述頻率差異時間、所述波動幅度、所述頻率平均差異與所述頻率差異標準差，確定綜合評分；根據(jù)所述綜合評分，確定跑調(diào)頻率信息。

17、通過本方案，對比頻率變化信息和標準頻率變化信息，構(gòu)建頻率差異曲線并劃分出曲線平穩(wěn)部分、曲線波動部分，提高了對跑調(diào)現(xiàn)象的識別精度，從頻率差異曲線中確定頻率差異時間，可以為計算提供時間數(shù)據(jù)，從曲線波動部分，確定波動頻率與波動幅度，并從頻率差異信息和頻率差異時間，確定頻率平均差異與頻率差異標準差，進一步細化了對跑調(diào)特性的分析，根據(jù)波動頻率、頻率差異時間、波動幅度、頻率平均差異和頻率差異標準差，確定綜合評分，從而確定跑調(diào)頻率信息，將多個跑調(diào)相關(guān)的指標綜合考量，避免了單一指標評價的片面性，使得對跑調(diào)頻率信息的評估更加客觀和可比較。

18、可選的，所述根據(jù)所述綜合評分，確定跑調(diào)頻率，包括：

19、根據(jù)所述波動頻率、所述頻率差異時間與波動幅度，確定顫音存在指數(shù)，參考以下公式：

20、；

21、其中，為所述顫音存在指數(shù)，為所述頻率差異時間，為所述波動頻率，為預(yù)設(shè)波動頻率最小值，為預(yù)設(shè)波動頻率最大值，為所述波動幅度，為預(yù)設(shè)波動最小振幅；

22、根據(jù)所述頻率平均差異、所述頻率差異時間與所述頻率差異信息，確定音高平移存在指數(shù)，參考以下公式：

23、；

24、其中，為所述音高平移存在指數(shù)，為所述頻率差異時間，為所述頻率差異，為所述頻率平均差異，為所述預(yù)設(shè)的允許音高差異波動范圍；

25、根據(jù)所述頻率差異標準差，確定音高穩(wěn)定性評分，參考以下公式：

26、；

27、其中，為所述音高穩(wěn)定性評分，為所述頻率差異時間，為所述頻率差異標準差，為預(yù)設(shè)的音高差異的最大允許值；

28、根據(jù)所述顫音存在指數(shù)、所述音高平移存在指數(shù)、所述音高穩(wěn)定性評分，確定綜合評分，參考以下公式：

29、；

30、其中，為所述綜合評分，為所述頻率差異值，為所述顫音存在指數(shù)，為所述音高穩(wěn)定性評分，為所述音高平移存在指數(shù)；

31、根據(jù)所述綜合評分，確定跑調(diào)頻率。

32、通過本方案，根據(jù)波動頻率、頻率差異時間和波動幅度，利用公式確定了顫音存在指數(shù)，判斷頻率差異是否是顫音導(dǎo)致的，根據(jù)頻率平均差異、頻率差異時間和頻率差異信息，利用公式確定了音高平移存在指數(shù)，判斷頻率差異是否是滑音導(dǎo)致的，根據(jù)頻率差異標準差，得到音高穩(wěn)定性評分，三個公式確定了三個值，對于評估頻率差異提供了全面、準確、直觀的判斷，并且對于演唱技巧也有準確的判斷，最后利用三個值與公式最終得到了綜合評分，綜合評分將抽象的跑調(diào)變成了直觀的數(shù)據(jù)，并且當存在跑調(diào)時還能夠準確評估跑調(diào)的程度，通過一系列的數(shù)學模型和公式，對聲音信號進行了全面的分析，提供了關(guān)于顫音、音高平移和音高穩(wěn)定性的詳細評估。

33、可選的，所述分析所述演唱狀態(tài)與所述演唱進度，預(yù)測用戶的待唱部分狀態(tài)，包括：根據(jù)所述演唱進度，確定所述用戶的已唱部分與待唱部分；根據(jù)所述用戶節(jié)奏感與所述音量平衡感，確定所述待唱部分的表現(xiàn)力；根據(jù)所述已唱部分、所述待唱部分與所述伴奏數(shù)據(jù)，確定待唱部分與已唱部分的重合片段；將所述重合片段與所述跑調(diào)頻率作為參數(shù)，輸入預(yù)設(shè)機器學習模型，輸出待唱部分中的重合部分跑調(diào)頻率；分析所述伴奏數(shù)據(jù)與所述跑調(diào)頻率，確定各音域跑調(diào)概率；根據(jù)所述各音域跑調(diào)概率，確定所述待唱部分中的非重合部分跑調(diào)頻率；根據(jù)所述重合部分跑調(diào)頻率與所述非重合部分跑調(diào)頻率，確定所述待唱部分跑調(diào)頻率；將所述重合部分跑調(diào)頻率、所述非重合部分跑調(diào)頻率與所述表現(xiàn)力，確定為用戶的待唱部分狀態(tài)。

34、通過本方案，根據(jù)演唱進度，劃分已唱部分和待唱部分，為確定跑調(diào)和表現(xiàn)力提供了實時的信息，結(jié)合用戶節(jié)奏感和音量平衡感確定待唱部分的表現(xiàn)力，實現(xiàn)對待唱部分的預(yù)測，再根據(jù)已唱部分、待唱部分和伴奏數(shù)據(jù)，確定已唱部分的重合片段，并利用機器學習模型，使用重合片段和跑調(diào)頻率作為參數(shù)，得到待唱部分中的重合部分跑調(diào)頻率，對于非重合部分，則根據(jù)各音域的跑調(diào)概率確定，整個方案在演唱進度的把控、待唱部分表現(xiàn)力的分析、重合片段與跑調(diào)頻率的識別、待唱部分跑調(diào)頻率的評估以及用戶待唱部分狀態(tài)的綜合評估等方面都有很好的效果。

35、可選的，所述根據(jù)所述用戶節(jié)奏感與所述音量平衡感，確定待唱部分的表現(xiàn)力，包括：分析所述伴奏數(shù)據(jù)，確定歌曲節(jié)奏與主副歌部分，根據(jù)所述歌曲節(jié)奏，規(guī)劃節(jié)奏詞數(shù)與節(jié)奏詞；根據(jù)所述用戶節(jié)奏感與所述節(jié)奏詞數(shù)，計算所述用戶的已唱部分中每一句節(jié)奏詞的平均搶拍拖拍數(shù)；按照所述平均搶拍拖拍數(shù)作為所述待唱部分的每一句歌詞的搶拍拖拍數(shù)；根據(jù)所述音量平衡感與所述主副歌部分，確定主歌平均分貝與副歌平均分貝；將所述主歌平均分貝與所述副歌平均分貝確定為待唱部分的分貝信息；根據(jù)所述分貝信息，確定待唱部分音量平衡感；根據(jù)所述待唱部分每一句的搶拍拖拍數(shù)與所述待唱部分音量平衡感，確定待唱部分的表現(xiàn)力。

36、通過本方案，分析伴奏數(shù)據(jù)，確定歌曲節(jié)奏和主副歌部分，從歌曲節(jié)奏中劃分出節(jié)奏詞數(shù)，根據(jù)用戶節(jié)奏感和節(jié)奏詞數(shù)，計算出已唱部分中每一句中節(jié)奏詞的平均搶拍拖拍數(shù)，這為評估待唱部分的搶拍拖拍提供了直接依據(jù)，再根據(jù)音量平衡感和主副歌部分，確定主歌平均分貝和副歌平均分貝，并將主歌平均分貝和副歌平均分貝作為待唱部分的主歌平均分貝和副歌平均分貝，充分考慮了歌曲中主歌與副歌的差異，使得對于待唱部分的分貝信息預(yù)測更加科學、準確。

37、可選的，所述根據(jù)所述用戶演唱進度、所述音頻數(shù)據(jù)與所述伴奏數(shù)據(jù)，確定用戶的演唱狀態(tài)，還包括：監(jiān)測所述用戶的心率、呼吸，確定心率情況與呼吸情況；分析所述心率情況、所述呼吸情況與所述跑調(diào)頻率，確定跑調(diào)時心率與跑調(diào)時呼吸次數(shù)；獲取并分析重力傳感器信息，確定所述用戶演唱時的動作幅度信息；分析所述動作幅度信息與所述跑調(diào)頻率，確定跑調(diào)時動作幅度；根據(jù)所述跑調(diào)時心率、所述跑調(diào)時呼吸次數(shù)與所述跑調(diào)時動作幅度，計算跑調(diào)時的平均心率、平均呼吸次數(shù)與平均動作幅度；根據(jù)所述平均心率、所述平均呼吸次數(shù)與所述平均動作幅度，修改所述綜合評分，確定修正綜合評分；根據(jù)所述修正綜合評分，確定修正跑調(diào)頻率，根據(jù)所述修正跑調(diào)頻率，確定修正用戶跑調(diào)率；根據(jù)所述用戶節(jié)奏感、所述用戶音量平衡感與所述修正用戶跑調(diào)率，確定用戶的演唱狀態(tài)。

38、通過本方案，獲取跑調(diào)頻率確定跑調(diào)時心率、跑調(diào)時呼吸次數(shù)和動作幅度信息，計算跑調(diào)時的平均心率、平均呼吸次數(shù)和平均動作幅度，為后續(xù)對綜合評分的修正提供參考，得到修正綜合評分后確定修正跑調(diào)頻率，最后將修正用戶跑調(diào)率結(jié)合用戶節(jié)奏感和用戶音量平衡感確定為用戶的演唱狀態(tài)，通過監(jiān)測用戶心率、呼吸、動作幅度，更全面的了解用戶在演唱過程中的生理和行為狀態(tài)，這種多維度的數(shù)據(jù)分析有助于更準確地識別跑調(diào)情況。

39、可選的，所述根據(jù)所述平均心率、所述平均呼吸次數(shù)與所述平均動作幅度，修改所述綜合評分，包括：根據(jù)所述心率情況、所述呼吸情況、所述動作幅度信息與所述跑調(diào)頻率，確定跑調(diào)時的心率次數(shù)、呼吸次數(shù)、動作幅度；將所述心率次數(shù)、所述呼吸次數(shù)與所述動作幅度確定為跑調(diào)時生理指標；將所述平均心率、所述平均呼吸次數(shù)與所述平均動作幅度確定為跑調(diào)時平均生理指標；對比所述跑調(diào)時生理指標與所述跑調(diào)時平均生理指標，確定對比結(jié)果；根據(jù)所述對比結(jié)果，將所述跑調(diào)時生理指標大于所述跑調(diào)時平均生理指標的生理指標確定為需修正頻率生理指標；根據(jù)所述需修正頻率生理指標與所述跑調(diào)頻率，修改所述跑調(diào)頻率；根據(jù)所述修改后的跑調(diào)頻率，修改綜合評分。

40、通過本方案，獲取跑調(diào)時生理指標和跑調(diào)時平均生理指標，將跑調(diào)時生理指標和跑調(diào)時平均生理指標進行對比，從對比結(jié)果中精準定位需修正頻率生理指標，為后續(xù)修正提供有針對性的依據(jù)，并且使用生理指標作為評估標準，相比傳統(tǒng)的僅依賴聽覺或主觀感受的評估方式，更加客觀和科學。這有助于減少人為因素的干擾，提高評估的準確性和公正性，根據(jù)需修正頻率生理指標和跑調(diào)頻率，修改跑調(diào)頻率，進而修改綜合評分，為綜合評分的評定提供了更加科學的辦法。

41、第二方面，本技術(shù)提供一種用于音頻的終端數(shù)據(jù)處理裝置，所述系統(tǒng)包括：

42、進度確定模塊，用于獲取用戶實時的音頻數(shù)據(jù)與音樂的伴奏數(shù)據(jù)，分析所述音頻數(shù)據(jù)與所述伴奏數(shù)據(jù)，確定用戶演唱進度；

43、狀態(tài)確定模塊，用于根據(jù)所述用戶演唱進度、所述音頻數(shù)據(jù)與所述伴奏數(shù)據(jù)，確定用戶的演唱狀態(tài)；

44、狀態(tài)預(yù)測模塊，用于分析所述演唱狀態(tài)與所述演唱進度，預(yù)測用戶的待唱部分狀態(tài)；

45、策略制定模塊，用于分析所述待唱部分狀態(tài)、所述音頻數(shù)據(jù)與所述伴奏數(shù)據(jù)，確定音頻數(shù)據(jù)處理策略；

46、策略執(zhí)行模塊，用于執(zhí)行所述音頻數(shù)據(jù)處理策略，進行音頻數(shù)據(jù)處理，并輸出處理后音頻數(shù)據(jù)。