本發(fā)明涉及關(guān)鍵點檢測領(lǐng)域，尤其涉及一種人體3d關(guān)鍵點檢測方法以及相關(guān)設(shè)備。

背景技術(shù)：

1、目前人體3d關(guān)鍵點檢測方案均基于腰部中心作為根結(jié)點進行偏移量的預(yù)測，由于所有關(guān)節(jié)的運動呈現(xiàn)效果均基于根結(jié)點的位移變化，在根結(jié)點位置檢測發(fā)生偏移的情況下易導(dǎo)致人物驅(qū)動顯得漂浮不定，導(dǎo)致人物缺少著地感。

技術(shù)實現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中的至少一個技術(shù)問題，本公開提供了一種人體3d關(guān)鍵點檢測方法以及相關(guān)設(shè)備，提升人物著地感。

2、根據(jù)本公開的第一方面，提供了一種人體3d關(guān)鍵點檢測方法，包括：

3、檢測視頻幀中的人體3d關(guān)鍵點，以獲得第一人體關(guān)鍵點序列；

4、識別所述視頻幀中人體的觸地情況；

5、根據(jù)具有相同所述觸地情況的連續(xù)所述視頻幀的觸地腳偏移量，修正所述第一人體關(guān)鍵點序列中的人體3d關(guān)鍵點，以獲得第二人體關(guān)鍵點序列。

6、可選的，所述根據(jù)具有相同所述觸地情況的連續(xù)所述視頻幀的觸地腳偏移量，修正所述第一人體關(guān)鍵點序列中的人體3d關(guān)鍵點，包括：

7、根據(jù)具有相同所述觸地情況的連續(xù)所述視頻幀的觸地腳偏移量，在保證姿態(tài)的情況下修正所述第一人體關(guān)鍵點序列中的人體3d關(guān)鍵點。

8、可選的，所述識別所述視頻幀中人體的觸地情況之前，所述方法還包括：

9、檢測視頻幀中的中心點偏移量，以獲得中心點偏移序列；

10、檢測視頻幀中的觸地特征，以獲得觸地特征序列；

11、所述識別所述視頻幀中人體的觸地情況，包括：

12、根據(jù)所述觸地特征序列、所述中心點偏移序列以及所述第一人體關(guān)鍵點序列，識別所述視頻幀中的觸地情況。

13、可選的，所述方法還包括：

14、檢測所述視頻幀的人體形狀參數(shù)和旋轉(zhuǎn)參數(shù)，以獲得人體形狀參數(shù)序列以及旋轉(zhuǎn)參數(shù)序列；

15、利用smpl人體模型，根據(jù)所述人體形狀參數(shù)序列獲取人體初始化姿態(tài)；

16、根據(jù)所述人體初始化姿態(tài)、所述旋轉(zhuǎn)參數(shù)序列和所述第二人體關(guān)鍵點序列，獲取姿態(tài)參數(shù)序列；

17、利用smpl人體模型，根據(jù)所述姿態(tài)參數(shù)序列，獲取第三人體關(guān)鍵點序列。

18、可選的，所述利用smpl人體模型，根據(jù)所述人體形狀參數(shù)序列獲取人體初始化姿態(tài)，包括：

19、利用smpl人體模型，根據(jù)所述人體形狀參數(shù)序列的平均化處理結(jié)果，獲取所述人體初始化姿態(tài)。

20、可選的，所述方法還包括：

21、檢測所述視頻幀的中心點偏移量，以獲得中心點偏移序列；

22、根據(jù)具有相同所述觸地情況的連續(xù)所述視頻幀的觸地腳偏移量，修正所述中心點偏移序列中的中心點偏移量；

23、根據(jù)修正的所述中心點偏移序列，疊加目標人體關(guān)鍵點序列的偏移量，所述目標人體關(guān)鍵點序列為所述第三人體關(guān)鍵點序列或所述第二人體關(guān)鍵點序列。

24、根據(jù)本公開的第二方面，提供了一種人體3d關(guān)鍵點檢測裝置，包括：

25、檢測模塊，用于檢測視頻幀中的人體3d關(guān)鍵點，以獲得第一人體關(guān)鍵點序列；

26、識別模塊，用于識別所述視頻幀中人體的觸地情況，以獲得觸地識別序列；

27、修正模塊，用于根據(jù)具有相同所述觸地情況的連續(xù)所述視頻幀的觸地腳偏移量，修正所述第一人體關(guān)鍵點序列中的人體3d關(guān)鍵點，以獲得第二人體關(guān)鍵點序列。

28、根據(jù)本公開的第三方面，提供了一種電子設(shè)備，包括：

29、處理器；以及

30、存儲程序的存儲器，

31、其中，所述程序包括指令，所述指令在由所述處理器執(zhí)行時使所述處理器執(zhí)行根據(jù)上述中任一項所述的方法。

32、根據(jù)本公開的第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質(zhì)，所述計算機指令用于使計算機執(zhí)行根據(jù)上述中任一項所述的方法。

33、根據(jù)本公開的第五方面，提供了一種計算機程序產(chǎn)品，包括計算機程序，其中，所述計算機程序在被計算機的處理器執(zhí)行時用于使所述計算機執(zhí)行根據(jù)上述任一項所述的方法。

34、本申請實施例中提供的一個或多個技術(shù)方案，可以根據(jù)具有相同觸地情況的連續(xù)視頻幀的觸地腳偏移量，修正人體3d關(guān)鍵點，以使得人體3d關(guān)鍵點對應(yīng)的人更物具有著地感。

技術(shù)特征：

1.一種人體3d關(guān)鍵點檢測方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)具有相同所述觸地情況的連續(xù)所述視頻幀的觸地腳偏移量，修正所述第一人體關(guān)鍵點序列中的人體3d關(guān)鍵點，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述識別所述視頻幀中人體的觸地情況之前，所述方法還包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述利用smpl人體模型，根據(jù)所述人體形狀參數(shù)序列獲取人體初始化姿態(tài)，包括：

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

7.一種人體3d關(guān)鍵點檢測裝置，其特征在于，包括：

8.一種電子設(shè)備，其特征在于，包括：

9.一種存儲有計算機指令的非瞬時計算機可讀存儲介質(zhì)，其特征在于，所述計算機指令用于使計算機執(zhí)行根據(jù)權(quán)利要求1-6中任一項所述的方法。

10.一種計算機程序產(chǎn)品，其特征在于，包括計算機程序，其中，所述計算機程序在被計算機的處理器執(zhí)行時用于使所述計算機執(zhí)行根據(jù)權(quán)利要求1-6任一項所述的方法。

技術(shù)總結(jié)
本公開提供了一種人體3D關(guān)鍵點檢測方法以及相關(guān)設(shè)備，涉及關(guān)鍵點檢測領(lǐng)域。一種人體3D關(guān)鍵點檢測方法，包括：檢測視頻幀中的人體3D關(guān)鍵點，以獲得第一人體關(guān)鍵點序列；識別視頻幀中人體的觸地情況；根據(jù)具有相同觸地情況的連續(xù)視頻幀的觸地腳偏移量，修正第一人體關(guān)鍵點序列中的人體3D關(guān)鍵點，以獲得第二人體關(guān)鍵點序列。實施本公開的技術(shù)方案，可以使得人體3D關(guān)鍵點對應(yīng)的人物更具有著地感。

技術(shù)研發(fā)人員：利啟東
受保護的技術(shù)使用者：咪咕文化科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9