本發(fā)明涉及自動(dòng)化檢測(cè)與建模，尤其涉及爬索機(jī)器人三維姿態(tài)校正與索桿三維建模方法。

背景技術(shù)：

1、爬索機(jī)器人作為橋梁、索桿等大型結(jié)構(gòu)健康監(jiān)測(cè)的重要工具，在執(zhí)行檢測(cè)任務(wù)時(shí)，常因索桿形態(tài)各異或結(jié)構(gòu)不規(guī)則而產(chǎn)生非直線前進(jìn)，導(dǎo)致機(jī)器人自身發(fā)生旋轉(zhuǎn)，影響搭載攝像頭采集數(shù)據(jù)的一致性和連續(xù)性，進(jìn)而影響到索桿實(shí)體的三維重建精度。現(xiàn)有技術(shù)在處理這類由機(jī)器人姿態(tài)變化引起的圖像序列不匹配問題上存在局限性。因此，需要設(shè)計(jì)一種爬索機(jī)器人三維姿態(tài)校正與索桿三維建模方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供爬索機(jī)器人三維姿態(tài)校正與索桿三維建模方法，針對(duì)爬索機(jī)器人在復(fù)雜索桿結(jié)構(gòu)上行進(jìn)時(shí)的三維姿態(tài)控制及索桿實(shí)體三維建模問題，旨在提高檢測(cè)數(shù)據(jù)的準(zhǔn)確性和后期分析的有效性。

2、通過(guò)集成三維角度傳感器、編碼器以及采用深度學(xué)習(xí)與圖像拼接技術(shù)，實(shí)現(xiàn)在復(fù)雜索桿環(huán)境中的精確定位與連續(xù)圖像序列的有效拼接，從而構(gòu)建出高精度的索桿三維模型。

3、為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下：

4、爬索機(jī)器人三維姿態(tài)校正與索桿三維建模方法，所述方法包括如下步驟：

5、步驟1：讀取處理好的各個(gè)時(shí)刻的視頻幀及傳感器數(shù)據(jù)；

6、步驟2：將步驟1的數(shù)據(jù)結(jié)合距離坐標(biāo)及旋轉(zhuǎn)角度；(1)在爬索機(jī)器人安裝好后，啟動(dòng)電源，此時(shí)系統(tǒng)讀取當(dāng)前編碼器的數(shù)據(jù)轉(zhuǎn)化為距離坐標(biāo)以及三維角度傳感器的旋轉(zhuǎn)角度初始值，作為此次爬行的初始值；(2)開始爬行后，檢測(cè)編碼器的變化以及三維角度傳感器的變化，記錄發(fā)生變化的時(shí)刻；

7、步驟3：加載預(yù)先訓(xùn)練好的基于深度學(xué)習(xí)三維重建模型；(1)步驟1的初始值，步驟2記錄的變化值以及當(dāng)前時(shí)刻四個(gè)攝像頭的視頻圖像幀，輸入到訓(xùn)練好的三維成像模型中進(jìn)行三維重建；(2)重建邏輯為：

8、a利用處理好的視頻圖像數(shù)據(jù)，進(jìn)行拉伸拼接為一張擴(kuò)展開的圖形，即4個(gè)攝像頭的對(duì)應(yīng)時(shí)刻的圖像，進(jìn)行組合拼接為一張擴(kuò)展大圖；

9、b；將組合拼接好的大圖根據(jù)訓(xùn)練好的經(jīng)驗(yàn)比例參數(shù)進(jìn)行卷合，即可對(duì)應(yīng)輸出該時(shí)刻的索桿模型；

10、c根據(jù)輸入的數(shù)據(jù)將索桿模型做相應(yīng)的旋轉(zhuǎn)處理，確保每個(gè)攝像頭的圖像數(shù)據(jù)是猶如始終保持直線行走的視覺。

11、步驟4：生成索桿的三維實(shí)體模型。將不同時(shí)刻的索桿模型進(jìn)行拼接，即可得到實(shí)時(shí)的動(dòng)態(tài)變化的索桿模型。

12、進(jìn)一步地，步驟1中，在爬索機(jī)器人上安裝三維角度傳感器，三維角度傳感器陀螺儀和加速度計(jì)，實(shí)時(shí)監(jiān)測(cè)并記錄機(jī)器人在索桿上的旋轉(zhuǎn)角度變化，為后續(xù)姿態(tài)校正提供基礎(chǔ)數(shù)據(jù)，三維角度傳感器需要安裝在結(jié)實(shí)穩(wěn)定的部件中，以防因?yàn)榕浪鳈C(jī)器人爬行導(dǎo)致晃動(dòng)產(chǎn)生干擾數(shù)據(jù)。

13、進(jìn)一步地，步驟2中，機(jī)器人驅(qū)動(dòng)輪上安裝有編碼器，精確測(cè)量每一步爬行的線性位移，與三維角度傳感器數(shù)據(jù)融合，實(shí)現(xiàn)機(jī)器人在空間中的絕對(duì)位置與姿態(tài)的雙重跟蹤，編碼器安裝在其中一個(gè)從動(dòng)輪中，也可以安裝兩個(gè)或多個(gè)編碼器，取平均值，提高編碼器數(shù)據(jù)的準(zhǔn)確率。

14、進(jìn)一步地，步驟3中，利用深度學(xué)習(xí)算法分析傳感器數(shù)據(jù)與編碼器數(shù)據(jù)，預(yù)測(cè)并校正因機(jī)器人旋轉(zhuǎn)導(dǎo)致的攝像頭視角變化，同時(shí)應(yīng)用圖像拼接技術(shù)，將連續(xù)采集的圖像序列在統(tǒng)一坐標(biāo)系下精確拼接，消除因姿態(tài)變動(dòng)造成的圖像錯(cuò)位，確保視圖連貫性。

15、進(jìn)一步地，步驟4中，基于校正后的連續(xù)圖像序列，采用三維重建算法生成高精度的索桿實(shí)體模型，模型包含結(jié)構(gòu)細(xì)節(jié)及潛在缺陷信息，為結(jié)構(gòu)健康評(píng)估提供直觀、準(zhǔn)確的數(shù)據(jù)支持。

16、本發(fā)明由于采用了上述技術(shù)方案，具有以下有益效果：

17、本發(fā)明提高了在非直線行進(jìn)條件下的索桿三維建模精度，確保模型的完整性和準(zhǔn)確性，通過(guò)對(duì)機(jī)器人姿態(tài)的實(shí)時(shí)校正，保證了采集圖像序列的一致性，為后期圖像分析和結(jié)構(gòu)評(píng)估提供可靠依據(jù)，提高了檢測(cè)效率和數(shù)據(jù)處理效率，減少了因姿態(tài)偏差導(dǎo)致的重復(fù)工作和資源浪費(fèi)。

技術(shù)特征：

1.爬索機(jī)器人三維姿態(tài)校正與索桿三維建模方法，其特征在于：所述方法包括如下步驟：

2.根據(jù)權(quán)利要求1所述的爬索機(jī)器人三維姿態(tài)校正與索桿三維建模方法，其特征在于：步驟1中，讀取某一時(shí)刻的視頻幀，預(yù)處理并結(jié)合預(yù)定的匹配策略進(jìn)行圖像匹配，建立變換模型并統(tǒng)一參考坐標(biāo)系，融合重構(gòu)，讀取當(dāng)前的編碼器及三維角度傳感器值，轉(zhuǎn)換為對(duì)一個(gè)的距離坐標(biāo)及旋轉(zhuǎn)角度，保存當(dāng)前圖像及傳感器數(shù)據(jù)，某一時(shí)刻的視頻幀處理完成。

3.根據(jù)權(quán)利要求1所述的爬索機(jī)器人三維姿態(tài)校正與索桿三維建模方法，其特征在于：步驟1中，在爬索機(jī)器人上安裝三維角度傳感器，三維角度傳感器陀螺儀和加速度計(jì)，實(shí)時(shí)監(jiān)測(cè)并記錄機(jī)器人在索桿上的旋轉(zhuǎn)角度變化，為后續(xù)姿態(tài)校正提供基礎(chǔ)數(shù)據(jù)，三維角度傳感器需要安裝在結(jié)實(shí)穩(wěn)定的部件中，以防因?yàn)榕浪鳈C(jī)器人爬行導(dǎo)致晃動(dòng)產(chǎn)生干擾數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的爬索機(jī)器人三維姿態(tài)校正與索桿三維建模方法，其特征在于：步驟2中，機(jī)器人驅(qū)動(dòng)輪上安裝有編碼器，精確測(cè)量每一步爬行的線性位移，與三維角度傳感器數(shù)據(jù)融合，實(shí)現(xiàn)機(jī)器人在空間中的絕對(duì)位置與姿態(tài)的雙重跟蹤，編碼器安裝在其中一個(gè)從動(dòng)輪中，也可以安裝兩個(gè)或多個(gè)編碼器，取平均值，提高編碼器數(shù)據(jù)的準(zhǔn)確率。

5.根據(jù)權(quán)利要求1所述的爬索機(jī)器人三維姿態(tài)校正與索桿三維建模方法，其特征在于：步驟3中，利用深度學(xué)習(xí)算法分析傳感器數(shù)據(jù)與編碼器數(shù)據(jù)，預(yù)測(cè)并校正因機(jī)器人旋轉(zhuǎn)導(dǎo)致的攝像頭視角變化，同時(shí)應(yīng)用圖像拼接技術(shù)，將連續(xù)采集的圖像序列在統(tǒng)一坐標(biāo)系下精確拼接，消除因姿態(tài)變動(dòng)造成的圖像錯(cuò)位，確保視圖連貫性。

6.根據(jù)權(quán)利要求1所述的爬索機(jī)器人三維姿態(tài)校正與索桿三維建模方法，其特征在于：步驟4中，基于校正后的連續(xù)圖像序列，采用三維重建算法生成高精度的索桿實(shí)體模型，模型包含結(jié)構(gòu)細(xì)節(jié)及潛在缺陷信息，為結(jié)構(gòu)健康評(píng)估提供直觀、準(zhǔn)確的數(shù)據(jù)支持。

7.根據(jù)權(quán)利要求1所述的爬索機(jī)器人三維姿態(tài)校正與索桿三維建模方法，其特征在于：步驟2中，在爬索機(jī)器人安裝好后，啟動(dòng)電源，此時(shí)系統(tǒng)讀取當(dāng)前編碼器的數(shù)據(jù)轉(zhuǎn)化為距離坐標(biāo)以及三維角度傳感器的旋轉(zhuǎn)角度初始值，作為此次爬行的初始值，開始爬行后，檢測(cè)編碼器的變化以及三維角度傳感器的變化，記錄發(fā)生變化的時(shí)刻。

8.根據(jù)權(quán)利要求1所述的爬索機(jī)器人三維姿態(tài)校正與索桿三維建模方法，其特征在于：步驟3中，步驟1的初始值、步驟2記錄的變化值以及當(dāng)前時(shí)刻四個(gè)攝像頭的視頻圖像幀，輸入到訓(xùn)練好的三維成像模型中進(jìn)行三維重建。重建過(guò)程為：

9.根據(jù)權(quán)利要求1所述的爬索機(jī)器人三維姿態(tài)校正與索桿三維建模方法，其特征在于：步驟4中，將不同時(shí)刻的索桿模型進(jìn)行拼接，即可得到實(shí)時(shí)的動(dòng)態(tài)變化的索桿模型。

技術(shù)總結(jié)
本發(fā)明提供爬索機(jī)器人三維姿態(tài)校正與索桿三維建模方法，屬于自動(dòng)化檢測(cè)與建模技術(shù)領(lǐng)域，所述方法包括如下步驟：步驟1：讀取處理好的各個(gè)時(shí)刻的視頻幀及傳感器數(shù)據(jù)；步驟2：將步驟1的數(shù)據(jù)結(jié)合距離坐標(biāo)及旋轉(zhuǎn)角度；步驟3：加載預(yù)先訓(xùn)練好的基于深度學(xué)習(xí)三維重建模型；步驟4：生成索桿的三維實(shí)體模型。本發(fā)明提高了在非直線行進(jìn)條件下的索桿三維建模精度，確保模型的完整性和準(zhǔn)確性，通過(guò)對(duì)機(jī)器人姿態(tài)的實(shí)時(shí)校正，保證了采集圖像序列的一致性，為后期圖像分析和結(jié)構(gòu)評(píng)估提供可靠依據(jù)，提高了檢測(cè)效率和數(shù)據(jù)處理效率，減少了因姿態(tài)偏差導(dǎo)致的重復(fù)工作和資源浪費(fèi)。

技術(shù)研發(fā)人員：何萬(wàn)賢,王曉琳,盧迪,甘弟,周羈,林甲勝
受保護(hù)的技術(shù)使用者：廣西科學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10