本公開涉及機器人操作，更具體地，涉及對人的運動識別處理。

背景技術(shù)：

1、一般來說，機器人是為工業(yè)用途開發(fā)的，并在工廠自動化中發(fā)揮著更大的作用。近來，越來越多的行業(yè)采用機器人，如醫(yī)療機器人、航空航天機器人等，也生產(chǎn)了設(shè)計用于普通居民家庭使用的家用機器人。

2、另一方面，人們也在積極開展機器人主動服務(wù)的研究，以將機器人引入人類難以進行工作的環(huán)境(如生產(chǎn)環(huán)境)以代替人。為此，人們越來越關(guān)注人的運動識別，使得機器人的動作或運動適當?shù)馗S人的動作或運動，并將運動識別信息相互應用于機器人控制。

3、識別人的運動的傳統(tǒng)方法使用人被拍攝的整個圖像。這種方式可以處理人的運動識別細節(jié)。但是，由于需要處理的信息量往往很大，因此對計算資源和處理時間的需求也會增加。

技術(shù)實現(xiàn)思路

1、本公開旨在解決現(xiàn)有技術(shù)中出現(xiàn)的上述問題，同時保持現(xiàn)有技術(shù)所取得的優(yōu)點不變。

2、根據(jù)本公開，提供一種基于關(guān)節(jié)位置信息和關(guān)節(jié)預測值協(xié)助生成與更高效的運動識別相關(guān)聯(lián)的虛擬關(guān)節(jié)圖像并據(jù)此處理運動識別結(jié)果以可適用于機器人的用于支持機器人的運動識別的方法、支持機器人的運動識別的計算裝置以及支持機器人的運動識別的系統(tǒng)。

3、此處，本公開所要解決的技術(shù)問題并不局限于上述問題，本公開所屬領(lǐng)域的技術(shù)人員通過以下描述將清楚地理解任何其它未提及的技術(shù)問題。

4、根據(jù)本公開的一個或多個示例實施例，一種計算裝置可以包括：存儲器，被配置為存儲將人作為對象拍攝的由多個幀組成的圖像；以及處理器，與存儲器可操作地連接。處理器可以被配置為：確定對應于圖像的多個關(guān)節(jié)；確定關(guān)節(jié)數(shù)據(jù)，關(guān)節(jié)數(shù)據(jù)包括：關(guān)節(jié)預測值，用于預測多個關(guān)節(jié)是否對應于人的多個已知關(guān)節(jié)中的任一個，以及關(guān)節(jié)位置值，與多個關(guān)節(jié)的位置相對應；基于關(guān)節(jié)數(shù)據(jù)生成虛擬關(guān)節(jié)圖像，虛擬關(guān)節(jié)圖像包括對應于關(guān)節(jié)位置值的坐標值；以及將生成的虛擬關(guān)節(jié)圖像存儲在存儲器中。在虛擬關(guān)節(jié)圖像中坐標值可以被劃分為多個通道。

5、存儲器可以存儲被提供以確定對應于圖像的多個關(guān)節(jié)的關(guān)節(jié)生成學習模型。處理器可以進一步被配置為：將關(guān)節(jié)生成學習模型應用于圖像，以基于多個幀確定多個關(guān)節(jié)；以及基于多個關(guān)節(jié)確定關(guān)節(jié)數(shù)據(jù)。

6、處理器可以進一步被配置為：基于多個關(guān)節(jié)，確定多個幀中的每一個中的多個關(guān)節(jié)的多個軸坐標值和對應于多個軸坐標值的關(guān)節(jié)預測值。

7、處理器可以進一步被配置為：基于多個幀，獲得多個軸坐標值和關(guān)節(jié)預測值；累積獲得的坐標值和關(guān)節(jié)預測值，以生成代表值；以及基于代表值生成虛擬關(guān)節(jié)圖像。

8、處理器可以被配置為通過以下步驟生成虛擬關(guān)節(jié)圖像：基于人的每個身體部位的位置，劃分關(guān)節(jié)位置值和關(guān)節(jié)預測值；以及在數(shù)據(jù)布置圖上的不同位置處布置劃分的關(guān)節(jié)位置值和關(guān)節(jié)預測值。

9、處理器可以被配置為通過以下步驟生成虛擬關(guān)節(jié)圖像：將關(guān)節(jié)位置值和關(guān)節(jié)預測值劃分為以下項的至少一項：人的上半身部分和下半身部分，或者相對于人的中心線的人的左半身部分和右半身部分。

10、處理器可以進一步被配置為：基于虛擬關(guān)節(jié)圖像，識別圖像上人的運動；將識別運動的結(jié)果與圖像進行映射；以及將映射的結(jié)果存儲在存儲器中。

11、計算裝置可以進一步包括以下裝置中的至少一個：通信接口，被配置為從外部電子裝置接收圖像；攝像裝置，被配置為拍攝作為對象的人的圖像；或者顯示器，被配置為輸出虛擬關(guān)節(jié)圖像。

12、根據(jù)一個或多個示例實施例，一種支持機器人運動識別的方法可以包括：通過計算裝置的處理器，獲得將人作為對象拍攝的包括多個幀的圖像；通過處理器，確定對應于圖像的多個關(guān)節(jié)；通過處理器，確定關(guān)節(jié)數(shù)據(jù)，關(guān)節(jié)數(shù)據(jù)包括：關(guān)節(jié)預測值，用于預測多個關(guān)節(jié)是否對應于人的多個已知關(guān)節(jié)中的任一個，以及關(guān)節(jié)位置值，與多個關(guān)節(jié)的位置相對應；通過處理器并基于關(guān)節(jié)數(shù)據(jù)生成虛擬關(guān)節(jié)圖像，虛擬關(guān)節(jié)圖像包括對應于關(guān)節(jié)位置值的坐標值；以及通過處理器，將生成的虛擬關(guān)節(jié)圖像存儲在計算裝置的存儲器中。在虛擬關(guān)節(jié)圖像中坐標值可以被劃分為多個通道。

13、確定多個關(guān)節(jié)可以包括：將先前存儲在存儲器中的關(guān)節(jié)生成學習模型應用于圖像，以基于多個幀確定多個關(guān)節(jié)。

14、確定關(guān)節(jié)數(shù)據(jù)可以包括：通過處理器并基于多個關(guān)節(jié)，確定多個幀中的每一個中的多個關(guān)節(jié)的多個軸坐標值和對應于多個軸坐標值的關(guān)節(jié)預測值。

15、生成虛擬關(guān)節(jié)圖像可以包括：通過處理器并基于多個幀，獲得多個軸坐標值和關(guān)節(jié)預測值；通過處理器，累積獲得的坐標值和關(guān)節(jié)預測值，以生成代表值；以及基于代表值生成虛擬關(guān)節(jié)圖像。

16、生成虛擬關(guān)節(jié)圖像可以進一步包括：通過處理器，基于人的每個身體部位的位置，劃分關(guān)節(jié)位置值和關(guān)節(jié)預測值；以及通過處理器，在數(shù)據(jù)布置圖上的不同位置處布置劃分的關(guān)節(jié)位置值和關(guān)節(jié)預測值。

17、生成虛擬關(guān)節(jié)圖像可以包括：通過處理器，將關(guān)節(jié)位置值和關(guān)節(jié)預測值劃分為以下項的至少一項：人的上半身部分和下半身部分別，或者相對于人的中心線的人的左半身部分和右半身部分。

18、該方法可以進一步包括：通過處理器，基于虛擬關(guān)節(jié)圖像，識別圖像上人的運動；將識別運動的結(jié)果與圖像進行映射；以及將映射的結(jié)果存儲在存儲器中。

19、根據(jù)本公開的一個或多個示例實施例，一種支持機器人運動識別的系統(tǒng)可以包括：機器人；輸入數(shù)據(jù)提供裝置，被配置為提供將人作為對象拍攝的包括多個幀的圖像；以及計算裝置。機器人可以被配置為從計算裝置接收確定運動的結(jié)果。計算裝置可以包括：通信接口，被配置為接收圖像；存儲器，被配置為存儲圖像；以及處理器，與通信接口和存儲器可操作地連接。處理器可以被配置為：將先前存儲在存儲器中的關(guān)節(jié)生成學習模型應用于圖像，以確定人的多個關(guān)節(jié)；確定關(guān)節(jié)數(shù)據(jù)，關(guān)節(jié)數(shù)據(jù)包括：關(guān)節(jié)預測值，用于預測多個關(guān)節(jié)是否對應于人的多個已知關(guān)節(jié)中的任一個，以及關(guān)節(jié)位置值，與多個關(guān)節(jié)的位置相對應；基于關(guān)節(jié)數(shù)據(jù)生成虛擬關(guān)節(jié)圖像，虛擬關(guān)節(jié)圖像包括對應于關(guān)節(jié)位置值的坐標值；基于生成的虛擬關(guān)節(jié)圖像，識別圖像上人的運動；以及向機器人提供識別運動的結(jié)果。坐標值在虛擬關(guān)節(jié)圖像中可以被劃分為多個通道。

20、此外，該系統(tǒng)可以包括在上述計算裝置中包括的計算存儲介質(zhì)或包括被配置為執(zhí)行上述方法以支持機器人的運動識別的至少一條指令的計算存儲介質(zhì)。

21、本公開的至少一部分可以是用于生成用于運動識別的虛擬關(guān)節(jié)圖像的方法，該方法可以包括利用關(guān)節(jié)的預測值的方法、根據(jù)含義布置關(guān)節(jié)的方法、根據(jù)身體部位的位置(上半身、下半身、左側(cè)或右側(cè))布置關(guān)節(jié)的方法或?qū)谒袔年P(guān)節(jié)生成為一個圖像的方法中的至少一些方法。因此，本公開可以理解為整合了下文所述所有附圖的概念。此外，各附圖中描述的一些實施例可以理解為包括例如生成虛擬關(guān)節(jié)圖像的方法的本公開。因此，可以將本說明書描述和理解為包括與用于支持機器人運動識別方法和系統(tǒng)的生成、存儲和提供虛擬關(guān)節(jié)圖像相對應的本公開。

技術(shù)特征：

1.一種計算裝置，包括：

2.根據(jù)權(quán)利要求1所述的計算裝置，其中，所述存儲器存儲被提供以確定對應于所述圖像的所述多個關(guān)節(jié)的關(guān)節(jié)生成學習模型，并且

3.根據(jù)權(quán)利要求2所述的計算裝置，其中，所述處理器進一步被配置為：

4.根據(jù)權(quán)利要求3所述的計算裝置，其中，所述處理器進一步被配置為：

5.根據(jù)權(quán)利要求1所述的計算裝置，其中，所述處理器被配置為通過以下步驟生成所述虛擬關(guān)節(jié)圖像：

6.根據(jù)權(quán)利要求1所述的計算裝置，其中，所述處理器被配置為通過以下步驟生成所述虛擬關(guān)節(jié)圖像：

7.根據(jù)權(quán)利要求1所述的計算裝置，其中，所述處理器進一步被配置為：

8.根據(jù)權(quán)利要求1所述的計算裝置，進一步包括以下中的至少一個：

9.一種支持機器人運動識別的方法，包括：

10.根據(jù)權(quán)利要求9所述的方法，其中，確定所述多個關(guān)節(jié)包括：

11.根據(jù)權(quán)利要求10所述的方法，其中，確定所述關(guān)節(jié)數(shù)據(jù)包括：

12.根據(jù)權(quán)利要求11所述的方法，其中，生成所述虛擬關(guān)節(jié)圖像包括：

13.根據(jù)權(quán)利要求12所述的方法，其中，生成所述虛擬關(guān)節(jié)圖像進一步包括：

14.根據(jù)權(quán)利要求9所述的方法，其中，生成所述虛擬關(guān)節(jié)圖像包括：

15.根據(jù)權(quán)利要求9所述的方法，進一步包括：

16.一種支持機器人運動識別的系統(tǒng)，包括：

技術(shù)總結(jié)
本公開涉及一種支持機器人運動識別的方法、計算裝置和系統(tǒng)。該計算裝置包括：存儲器，被配置為存儲將人作為對象拍攝的由多個幀組成的圖像；以及處理器，與存儲器可操作地連接。處理器可以被配置為：確定對應于圖像的多個關(guān)節(jié)；確定關(guān)節(jié)數(shù)據(jù)；生成包括坐標值的虛擬關(guān)節(jié)圖像；以及將生成的虛擬關(guān)節(jié)圖像存儲在存儲器中。關(guān)節(jié)數(shù)據(jù)可以包括：關(guān)節(jié)預測值，用于預測多個關(guān)節(jié)是否對應于人的多個已知關(guān)節(jié)中的任一個，以及關(guān)節(jié)位置值，與對應于關(guān)節(jié)預測值的多個關(guān)節(jié)的位置相對應。

技術(shù)研發(fā)人員：金昭熙
受保護的技術(shù)使用者：現(xiàn)代自動車株式會社
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/24