本申請涉及數(shù)據(jù)處理，尤其涉及一種姿態(tài)預(yù)測方法、裝置及智能機(jī)器人。

背景技術(shù)：

1、在智能機(jī)器人技術(shù)不斷發(fā)展的進(jìn)程中，姿態(tài)預(yù)測是機(jī)器人與環(huán)境及人類交互過程中的一項重要任務(wù)。然而，現(xiàn)有的姿態(tài)預(yù)測技術(shù)存在諸多技術(shù)問題。

2、當(dāng)前的姿態(tài)預(yù)測技術(shù)在識別目標(biāo)對象姿態(tài)時準(zhǔn)確性不足。在實際應(yīng)用中，機(jī)器人需要精確判斷目標(biāo)對象（如人類、其他物體等）的姿態(tài)以便做出正確的響應(yīng)，但傳統(tǒng)方法往往在姿態(tài)起始邊界和結(jié)束邊界的確定上不夠精準(zhǔn)，導(dǎo)致整體姿態(tài)預(yù)測結(jié)果不可靠。在特征處理方面，現(xiàn)有技術(shù)未能充分挖掘和利用圖像的表征信息。智能機(jī)器人獲取的目標(biāo)對象圖像包含著豐富的信息，但傳統(tǒng)姿態(tài)預(yù)測技術(shù)缺乏有效的手段對這些信息進(jìn)行整合和深度挖掘，無法全面地提取與姿態(tài)相關(guān)的特征，進(jìn)而影響姿態(tài)預(yù)測的準(zhǔn)確性。另外，現(xiàn)有的姿態(tài)分類預(yù)測缺乏有效的保障機(jī)制。由于姿態(tài)的多樣性和復(fù)雜性，現(xiàn)有的分類預(yù)測方法容易出現(xiàn)錯誤分類的情況，沒有足夠的措施確保在不同情況下姿態(tài)分類的準(zhǔn)確性，從而影響機(jī)器人基于姿態(tài)預(yù)測結(jié)果進(jìn)行后續(xù)操作的有效性。

技術(shù)實現(xiàn)思路

1、有鑒于此，本申請?zhí)峁┮环N姿態(tài)預(yù)測方法、裝置及智能機(jī)器人。本申請的技術(shù)方案是這樣實現(xiàn)的：

2、一方面，本申請?zhí)峁┮环N姿態(tài)預(yù)測方法，所述方法包括：獲取目標(biāo)對象圖像的圖像表征矩陣，所述目標(biāo)對象圖像是擬進(jìn)行姿態(tài)預(yù)測的對象圖像，所述目標(biāo)對象圖像中包括一個或多個圖像塊；依據(jù)所述圖像表征矩陣確定所述目標(biāo)對象圖像中每個圖像塊對應(yīng)的姿態(tài)起始邊界置信度和姿態(tài)結(jié)束邊界置信度，所述姿態(tài)起始邊界置信度表征所述圖像塊作為姿態(tài)區(qū)域的初始位置的置信度，所述姿態(tài)結(jié)束邊界置信度表征所述圖像塊作為所述姿態(tài)區(qū)域的結(jié)束位置的置信度；如果第一圖像塊的姿態(tài)起始邊界置信度和第二圖像塊的姿態(tài)結(jié)束邊界置信度滿足姿態(tài)適配要求，將所述目標(biāo)對象圖像中所述第一圖像塊和所述第二圖像塊之間的區(qū)域確定為待定姿態(tài)區(qū)域，以及依據(jù)所述第一圖像塊的姿態(tài)起始邊界置信度和所述第二圖像塊的姿態(tài)結(jié)束邊界置信度一起確定所述待定姿態(tài)區(qū)域?qū)?yīng)的融合置信度；依據(jù)所述圖像表征矩陣對所述目標(biāo)對象圖像的姿態(tài)分類進(jìn)行預(yù)測，獲得所述目標(biāo)對象圖像對應(yīng)的目標(biāo)姿態(tài)分類；如果確定所述目標(biāo)對象圖像具有一個或多個融合置信度達(dá)到姿態(tài)分類參考置信度的待定姿態(tài)區(qū)域，同時所述目標(biāo)姿態(tài)分類與設(shè)定姿態(tài)分類一致，預(yù)測所述目標(biāo)對象圖像的姿態(tài)為所述設(shè)定姿態(tài)分類。

3、第二方面，本申請?zhí)峁┮环N姿態(tài)預(yù)測裝置，所述裝置包括：圖像特征提取模塊，用于獲取目標(biāo)對象圖像的圖像表征矩陣，所述目標(biāo)對象圖像是擬進(jìn)行姿態(tài)預(yù)測的對象圖像，所述目標(biāo)對象圖像中包括一個或多個圖像塊；姿態(tài)區(qū)域確定模塊，用于依據(jù)所述圖像表征矩陣確定所述目標(biāo)對象圖像中每個圖像塊對應(yīng)的姿態(tài)起始邊界置信度和姿態(tài)結(jié)束邊界置信度，所述姿態(tài)起始邊界置信度表征所述圖像塊作為姿態(tài)區(qū)域的初始位置的置信度，所述姿態(tài)結(jié)束邊界置信度表征所述圖像塊作為所述姿態(tài)區(qū)域的結(jié)束位置的置信度；待定區(qū)域處理模塊，用于如果第一圖像塊的姿態(tài)起始邊界置信度和第二圖像塊的姿態(tài)結(jié)束邊界置信度滿足姿態(tài)適配要求，將所述目標(biāo)對象圖像中所述第一圖像塊和所述第二圖像塊之間的區(qū)域確定為待定姿態(tài)區(qū)域，以及依據(jù)所述第一圖像塊的姿態(tài)起始邊界置信度和所述第二圖像塊的姿態(tài)結(jié)束邊界置信度一起確定所述待定姿態(tài)區(qū)域?qū)?yīng)的融合置信度；目標(biāo)姿態(tài)確定模塊，用于依據(jù)所述圖像表征矩陣對所述目標(biāo)對象圖像的姿態(tài)分類進(jìn)行預(yù)測，獲得所述目標(biāo)對象圖像對應(yīng)的目標(biāo)姿態(tài)分類；姿態(tài)分類預(yù)測模塊，用于如果確定所述目標(biāo)對象圖像具有一個或多個融合置信度達(dá)到姿態(tài)分類參考置信度的待定姿態(tài)區(qū)域，同時所述目標(biāo)姿態(tài)分類與設(shè)定姿態(tài)分類一致，預(yù)測所述目標(biāo)對象圖像的姿態(tài)為所述設(shè)定姿態(tài)分類。

4、第三方面，本申請?zhí)峁┮环N智能機(jī)器人，包括存儲器和處理器，所述存儲器存儲有可在處理器上運(yùn)行的計算機(jī)程序，所述處理器執(zhí)行所述程序時實現(xiàn)以上第一方面所述方法中的步驟。

5、本申請的有益效果包括：本申請實施例在對目標(biāo)對象圖像進(jìn)行姿態(tài)預(yù)測時，基于目標(biāo)對象圖像的每個圖像塊對應(yīng)的姿態(tài)起始邊界置信度和姿態(tài)結(jié)束邊界置信度確定目標(biāo)對象圖像中包括的待定姿態(tài)區(qū)域，以及對目標(biāo)對象圖像的姿態(tài)分類進(jìn)行檢測，如果確定目標(biāo)對象圖像中具有一個或多個融合置信度達(dá)到姿態(tài)分類參考置信度的待定姿態(tài)區(qū)域，同時目標(biāo)姿態(tài)分類與設(shè)定姿態(tài)分類一致，預(yù)測目標(biāo)對象圖像為設(shè)定姿態(tài)分類。本申請以圖像塊為識別單元對目標(biāo)圖像中的姿態(tài)區(qū)域進(jìn)行檢測，以及基于目標(biāo)對象圖像中的姿態(tài)區(qū)域以及根據(jù)目標(biāo)對象圖像全局確定的姿態(tài)分類來一起預(yù)測目標(biāo)對象圖像的姿態(tài)分類，使得預(yù)測結(jié)果更加精確可靠。

6、此外，為了確保圖像表征矩陣預(yù)測的精度，以及防止采納大規(guī)模的預(yù)測器，基于將較為準(zhǔn)確的預(yù)測蒸餾至小規(guī)模的第一預(yù)測器來增加預(yù)測精度。獲取圖像表征矩陣集合，圖像表征矩陣集合中包括多個圖像表征矩陣和每個圖像表征矩陣對應(yīng)的初始先驗姿態(tài)分類標(biāo)記，初始先驗姿態(tài)分類標(biāo)記表示對應(yīng)的圖像表征矩陣的姿態(tài)分類。之后在圖像表征矩陣集合包括的多個圖像表征矩陣中確定目標(biāo)圖像表征矩陣，獲取目標(biāo)圖像表征矩陣對應(yīng)的第一可視化標(biāo)注，第一可視化標(biāo)注表征目標(biāo)圖像表征矩陣是姿態(tài)分類的可視化信息，以具有更豐富的特征。依據(jù)目標(biāo)圖像表征矩陣和目標(biāo)圖像表征矩陣對應(yīng)的第一可視化標(biāo)注生成二元組調(diào)試樣本集合，進(jìn)而依據(jù)二元組調(diào)試樣本集合對第一預(yù)測器的可學(xué)習(xí)網(wǎng)絡(luò)參變量進(jìn)行優(yōu)化，獲得預(yù)測器。第一預(yù)測器是事先調(diào)試的預(yù)測器，第一預(yù)測器的參變量數(shù)量少于預(yù)設(shè)數(shù)量，也就是第一預(yù)測器是精巧的小預(yù)測器。基于具有更豐富的特征的二元組調(diào)試樣本集合對第一預(yù)測器進(jìn)行優(yōu)化，令第一預(yù)測器可以學(xué)習(xí)到更豐富的預(yù)測特征，提高預(yù)測性能。此外，因為預(yù)測器是依據(jù)精巧小預(yù)測器獲得，預(yù)測器的結(jié)構(gòu)更簡單，對算力的依賴更小，節(jié)約成本，普適性更高。

技術(shù)特征：

1.一種姿態(tài)預(yù)測方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)對象圖像中包括一個或多個圖像區(qū)域，每一所述圖像區(qū)域包括一個或多個圖像塊；

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述依據(jù)所述目標(biāo)對象圖像的圖像區(qū)域劃分結(jié)果和圖像塊劃分結(jié)果，獲取所述目標(biāo)對象圖像對應(yīng)的區(qū)域塊整合表征矩陣，包括：

4.根據(jù)權(quán)利要求1至3任一所述的方法，其特征在于，所述依據(jù)所述圖像表征矩陣確定所述目標(biāo)對象圖像中每個圖像塊對應(yīng)的姿態(tài)起始邊界置信度和姿態(tài)結(jié)束邊界置信度，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述第一神經(jīng)網(wǎng)絡(luò)、第二神經(jīng)網(wǎng)絡(luò)和所述第三神經(jīng)網(wǎng)絡(luò)在所述多分支聯(lián)合調(diào)試時，基于預(yù)設(shè)誤差度量進(jìn)行調(diào)試，所述預(yù)設(shè)誤差度量由所述第一神經(jīng)網(wǎng)絡(luò)對應(yīng)的第一誤差度量、所述第二神經(jīng)網(wǎng)絡(luò)對應(yīng)的第二誤差度量和所述第三神經(jīng)網(wǎng)絡(luò)對應(yīng)的第三誤差度量基于預(yù)設(shè)影響系數(shù)加權(quán)獲得，所述第一誤差度量和所述第二誤差度量是種類一樣的誤差度量；

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述依據(jù)所述圖像表征矩陣對所述目標(biāo)對象圖像的姿態(tài)分類進(jìn)行預(yù)測，獲得所述目標(biāo)對象圖像對應(yīng)的目標(biāo)姿態(tài)分類基于預(yù)測器實現(xiàn)，所述預(yù)測器基于以下過程進(jìn)行調(diào)試得到：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述目標(biāo)圖像表征矩陣為第一種圖像表征矩陣，所述在所述圖像表征矩陣集合包括的多個圖像表征矩陣中確定目標(biāo)圖像表征矩陣，包括：

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述依據(jù)所述目標(biāo)圖像表征矩陣和所述目標(biāo)圖像表征矩陣對應(yīng)的初始先驗姿態(tài)分類標(biāo)記，基于第二預(yù)測器輸出所述第一可視化標(biāo)注，包括：

9.一種姿態(tài)預(yù)測裝置，其特征在于，所述裝置包括：

10.一種智能機(jī)器人，包括存儲器和處理器，所述存儲器存儲有可在處理器上運(yùn)行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)權(quán)利要求1至8任一項所述方法中的步驟。

技術(shù)總結(jié)
本申請?zhí)峁┮环N姿態(tài)預(yù)測方法、裝置及智能機(jī)器人，在對目標(biāo)對象圖像進(jìn)行姿態(tài)預(yù)測時，基于目標(biāo)對象圖像的每個圖像塊對應(yīng)的姿態(tài)起始邊界置信度和姿態(tài)結(jié)束邊界置信度確定目標(biāo)對象圖像中包括的待定姿態(tài)區(qū)域，以及對目標(biāo)對象圖像的姿態(tài)分類進(jìn)行檢測，如果確定目標(biāo)對象圖像中具有一個或多個融合置信度達(dá)到姿態(tài)分類參考置信度的待定姿態(tài)區(qū)域，同時目標(biāo)姿態(tài)分類與設(shè)定姿態(tài)分類一致，預(yù)測目標(biāo)對象圖像為設(shè)定姿態(tài)分類。本申請以圖像塊為識別單元對目標(biāo)圖像中的姿態(tài)區(qū)域進(jìn)行檢測，以及基于目標(biāo)對象圖像中的姿態(tài)區(qū)域以及根據(jù)目標(biāo)對象圖像全局確定的姿態(tài)分類來一起預(yù)測目標(biāo)對象圖像的姿態(tài)分類，使得預(yù)測結(jié)果更加精確可靠。

技術(shù)研發(fā)人員：李林
受保護(hù)的技術(shù)使用者：成都錦城學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19