技術(shù)特征：

1.一種基于transformer和對比學(xué)習(xí)的機器人視觸感知方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種基于transformer和對比學(xué)習(xí)的機器人視觸感知方法，其特征在于，所述模態(tài)內(nèi)對比學(xué)習(xí)包括兩個視覺特征向量對比學(xué)習(xí)和兩個觸覺特征向量對比學(xué)習(xí)，兩個視覺特征向量分別通過視覺編碼器和動量視覺編碼器提取獲得，兩個觸覺特征向量分別通過觸覺編碼器和動量觸覺編碼器提取獲得；

3.根據(jù)權(quán)利要求2所述的一種基于transformer和對比學(xué)習(xí)的機器人視觸感知方法，其特征在于，所述視覺編碼器獲得兩個視覺特征向量后，兩個視覺特征向量分別通過兩個參數(shù)有差異的mlp目標(biāo)頭進行特征映射處理；所述動量視覺編碼器獲得兩個視覺特征向量后，兩個視覺特征向量分別通過兩個參數(shù)有差異的mlp目標(biāo)頭處理；所述觸覺編碼器獲得兩個觸覺特征向量后，兩個觸覺特征向量分別通過兩個參數(shù)有差異的mlp目標(biāo)頭處理；所述動量觸覺編碼器獲得兩個觸覺特征向量后，兩個觸覺特征向量分別通過兩個參數(shù)有差異的mlp目標(biāo)頭處理。

4.根據(jù)權(quán)利要求3所述的一種基于transformer和對比學(xué)習(xí)的機器人視觸感知方法，其特征在于，所述視覺編碼器和對應(yīng)的mlp目標(biāo)頭通過對比學(xué)習(xí)結(jié)果訓(xùn)練，所述對比學(xué)習(xí)結(jié)果為兩個模態(tài)內(nèi)對比學(xué)習(xí)結(jié)果和兩個模態(tài)間對比學(xué)習(xí)結(jié)果的加和，所述動量視覺編碼器和對應(yīng)的mlp目標(biāo)頭通過視覺編碼器輸出結(jié)果訓(xùn)練；

5.根據(jù)權(quán)利要求2所述的一種基于transformer和對比學(xué)習(xí)的機器人視觸感知方法，其特征在于，所述視覺圖像通過數(shù)據(jù)增強后輸入至視覺編碼器和動量視覺編碼器中；所述觸覺圖像通過數(shù)據(jù)增強后輸入至觸覺編碼器和動量觸覺編碼器中。

6.根據(jù)權(quán)利要求2所述的一種基于transformer和對比學(xué)習(xí)的機器人視觸感知方法，其特征在于，所述線性分類層通過訓(xùn)練獲得，線性分類層訓(xùn)練過程中視覺編碼器、動量視覺編碼器、觸覺編碼器和動量觸覺編碼器的參數(shù)固定。

7.根據(jù)權(quán)利要求1所述的一種基于transformer和對比學(xué)習(xí)的機器人視觸感知方法，其特征在于，對比學(xué)習(xí)為將兩個輸入的特征向量通過信息對比估計損失函數(shù)以及監(jiān)督對比損失函數(shù)處理，將兩個對比損失函數(shù)結(jié)果分別與對應(yīng)的權(quán)重系數(shù)相乘后加和，獲得損失值。

8.根據(jù)權(quán)利要求1所述的一種基于transformer和對比學(xué)習(xí)的機器人視觸感知方法，其特征在于，所述視覺編碼器或觸覺編碼器將圖像進行分割后，將分割圖像進行線性處理，將線性處理后的特征圖依次經(jīng)過4個階段的特征提取塊處理，每一個階段包括若干個特征提取塊，將提取結(jié)果通過層歸一化后進行平均池化，獲得視覺特征向量或觸覺特征向量；特征圖在每一個所述特征提取塊中先通過坐標(biāo)注意力機制處理后，通過swin?transformer塊處理；所述圖像為視覺圖像或觸覺圖像。

9.根據(jù)權(quán)利要求1所述的一種基于transformer和對比學(xué)習(xí)的機器人視觸感知方法，其特征在于，所述多模態(tài)對比學(xué)習(xí)訓(xùn)練的數(shù)據(jù)由tag數(shù)據(jù)集和calandra數(shù)據(jù)集的數(shù)據(jù)組成。

10.一種基于transformer和對比學(xué)習(xí)的機器人視觸感知系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明公開了一種基于transformer和對比學(xué)習(xí)的機器人視觸感知方法和系統(tǒng)，屬于機器人技術(shù)領(lǐng)域。該方法引入增強型Swin?Transformer模型作為感知模型，該增強型模型以Swin?Transformer作為主干網(wǎng)絡(luò)，在其中引入坐標(biāo)注意力機制，通過主干網(wǎng)絡(luò)的滑動窗口注意力機制提取全局信息，通過坐標(biāo)注意力機制增強局部特征提取，能夠有效地提取并融合視覺與觸覺數(shù)據(jù)中的全局與局部特征。該增強型Swin?Transformer模型前期的預(yù)訓(xùn)練階段，通過多模態(tài)對比學(xué)習(xí)訓(xùn)練，具體的進行了模態(tài)內(nèi)對比學(xué)習(xí)和模態(tài)間對比學(xué)習(xí)，生成更豐富和準(zhǔn)確的判別特征，從而有效提升機器人對環(huán)境的智能感知和操作能力。該方法可以在多模態(tài)數(shù)據(jù)融合中有效提取特征，并利用不同模態(tài)間特征的相關(guān)性和協(xié)同作用，實現(xiàn)更深層次的多模態(tài)數(shù)據(jù)融合。

技術(shù)研發(fā)人員：易正琨,吳鵬,吳新宇,方森林,張鈺坡,曹博展,劉嘉樹
受保護的技術(shù)使用者：深圳先進技術(shù)研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10