本發(fā)明涉及機器人，具體涉及一種基于機器視覺和bim的焊接機器人焊接路徑提取和焊槍姿態(tài)規(guī)劃方法。

背景技術(shù)：

1、隨著智能制造的發(fā)展，焊接機器人由于其穩(wěn)定性和高效性在當今工業(yè)中的應用十分廣泛，但是近年來隨著焊接生產(chǎn)領域勞動力成本急劇增加，焊接一線工人逐年減少的趨勢在不斷加劇，焊接已經(jīng)成為金屬加工和機械制造的瓶頸工序，且產(chǎn)品需求逐年增加。

2、目前市面上的焊接機器人，絕大多數(shù)是使用傳統(tǒng)的“示教-再現(xiàn)”型的“盲人”機器人，此類型的機器人對環(huán)境的一致性要求嚴格，焊接路徑與相關(guān)參數(shù)是預先設置，不僅存在工人操作能力要求高、操作復雜和重復性高等問題，而且主要適用于大型生產(chǎn)線中單一結(jié)構(gòu)零件生產(chǎn)。但在實際加工過程中，焊接件常常因為存在變形、變散熱、變間隙、工件加工誤差和裝配誤差等因素造成焊縫位置的變化；同時在一些中小企業(yè)中，由于對一些非結(jié)構(gòu)化的焊接零件加工頻繁，這就需要工人頻繁示教，“示教-再現(xiàn)”型焊接機器人無法適用于該非結(jié)構(gòu)化場景，由此引出了在焊接機器人中對機器視覺的應用。

3、但目前其對視覺的應用，也多局限于小場景下通過激光對簡單焊縫的跟踝，或者由深度相機對焊件進行點云重建后再進行焊縫點云特征提取，以上兩種不僅依賴于特征提取算法魯棒性，而且視覺的方法受限于拍攝角度和機械臂不可達區(qū)域的限制無法提供對焊接件全局三維特征的感知。因此，需要考慮其他方式進行焊件全局三維特征重建，利用空間三維點云對機器人工作位姿進行軌跡規(guī)劃，對三維點云應用于焊接領域提供了基礎。

4、以上方法雖然對焊接機器人自主作業(yè)、焊接目標特征提取以及焊接軌跡全局感知提供了一些基礎，但依然存在作業(yè)場景單一、焊接起始終止點需要人工手動示教、智能化程度較低等問題。

技術(shù)實現(xiàn)思路

1、本部分的目的在于概述本發(fā)明的實施例的一些方面及簡要介紹一些實施例。在本部分及本申請的說明書摘要和發(fā)明名稱的目的模糊，而這種簡化或省略不能用于限制本發(fā)明的范圍。

2、針對以上問題，本發(fā)明提出一種基于機器視覺和bim的焊接機器人焊接路徑提取和焊槍姿態(tài)規(guī)劃方法。本方法首先根據(jù)待焊接工件的加工和裝配圖紙，使用teklastructures軟件建立待焊接工件bim模型，并導出為ifc格式的數(shù)據(jù)文件，開發(fā)焊縫特征信息提取算法，提取待焊接工件的所有焊縫信息；隨后利用視覺傳感器對焊接作業(yè)場景進行三維重建，生成點云信息，并進行預處理；最后，利用點云配準算法，把bim模型配準到待焊接工件的點云上，得到待焊接工件的當前位置的所有焊縫信息，從而實現(xiàn)機械臂的焊接路徑提取和焊槍姿態(tài)規(guī)劃。

3、本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：一種基于機器視覺和bim的焊接機器人焊接路徑提取和焊槍姿態(tài)規(guī)劃方法，包括以下步驟：步驟一：根據(jù)待焊接工件的加工和裝配圖紙，使用tekla?structures軟件建立待焊接工件bim模型，將模型文件導出為ifc格式的數(shù)據(jù)文件，開發(fā)焊縫特征信息提取算法，獲取待焊接工件的所有焊縫信息；步驟二：機械臂搭載視覺傳感器在多個位姿拍照，獲取點云數(shù)據(jù)并進行點云拼接，對焊接作業(yè)場景進行重建；步驟三：對得到的點云進行去噪、濾波和語義分割得到待焊接工件的完整點云；步驟四：利用點云配準算法，把模型配準到點云上，把模型提取到的所有焊縫信息映射到重建的點云上；步驟五：通過步驟四中得到的待焊接工件在當前位置的焊縫信息，再次計算得到工件的焊接路徑和焊槍姿態(tài)。以此完成對焊接機器人的焊接路徑提取和焊槍軌跡規(guī)劃。

4、進一步地，步驟一包括：根據(jù)待焊接工件的加工和裝配圖紙，使用teklastructures軟件建立待焊接工件bim模型，使用該軟件自帶的ifc導出系統(tǒng)，將模型文件導出為ifc格式的數(shù)據(jù)文件，借助ifcopenshell開源工具包，利用python語言開發(fā)焊縫特征信息提取算法，提取和計算待焊接工件的所有焊縫信息。

5、進一步地，步驟二包括：本發(fā)明的研究對象為工業(yè)焊接領域中的焊接機器人智能示教問題，由機械臂搭載視覺傳感器，在多個位姿下，對待焊接工件場景進行拍照，通過小孔成像原理對每個位姿下場景點云進行重建。通過點云相機與機械臂的手眼標定，確定相機與機械臂之間的坐標轉(zhuǎn)換關(guān)系，將每個位姿下獲取的場景點云都轉(zhuǎn)換到機械臂基坐標系下，并跟據(jù)最近點迭代(iterative?closest?point，icp)方法，對場景點云進行拼接，得到完整的焊件點云信息。

6、進一步地，步驟三包括：對獲取的點云數(shù)據(jù)進行處理，由于視覺傳感器視野問題，容易造成點云信息的過多獲取，獲得工作范圍外的點云信息；同時，受環(huán)境影響，也容易產(chǎn)生一定的點云噪聲。針對這些問題，在本步驟中，通過半徑濾波器的方式，將點云數(shù)據(jù)限定于待焊接工件的工作臺上，并通過對離群點的去除，對噪聲進行抑制，對于原始工件點云，包含許多冗余點，因此有必要對點云進行降采樣，以減少點云中的點數(shù)并加快后續(xù)算法的處理速度。

7、進一步地，步驟四包括：使用點云配準算法，把步驟一得到的模型和步驟三中得到的點云，進行配準。首先利用一種基于采樣一致性的初步對齊(sample?consensus?initialalignment，sac-ia)粗配準方法，解決點云與模型數(shù)據(jù)之間的初始對齊問題，為后續(xù)的精確配準提供良好的初始位置；隨后使用最近點迭代算法進行精配準，將bim模型和點云的坐標系進行對齊，得到坐標轉(zhuǎn)換矩陣，把bim模型中提取到的焊縫特征信息轉(zhuǎn)換到機械臂基坐標系下。

8、進一步地，步驟五包括：根據(jù)步驟四中得到的機械臂基坐標系下的焊縫特征，其中包括但不限于焊縫點的起始點坐標、長度、方向向量、法向量和焊縫類型等，從而得到焊接路徑；將焊槍姿態(tài)作為決策變量，并建立焊縫坐標系和焊槍坐標系，根據(jù)每個焊縫點的位置坐標計算焊縫角，根據(jù)焊接經(jīng)驗，當焊槍的方向與焊縫角的二分線平行時，焊接效果最佳，從而得到焊槍姿態(tài)。

9、本發(fā)明的有益效果是，提出了一種基于機器視覺和bim的焊接機器人焊接路徑提取和焊槍姿態(tài)規(guī)劃方法，解決了當前工業(yè)加工領域焊接機器人的問題，在焊接生產(chǎn)領域勞動力成本急劇增加，焊接一線工人逐年減少的趨勢不斷加劇的情況下，提高了焊接效率，保證了焊接作業(yè)的穩(wěn)定性，解決了當前焊接領域中焊接路徑提取和焊槍姿態(tài)規(guī)劃的關(guān)鍵技術(shù)。經(jīng)實驗，可以適應一些非結(jié)構(gòu)化場景的自動焊接作業(yè)需求，提高了機器人的適應性及焊接效率。

技術(shù)特征：

1.一種基于機器視覺和bim的焊接機器人焊接路徑提取和焊槍姿態(tài)規(guī)劃方法，其特征在于：包括以下步驟：步驟一：根據(jù)待焊接工件的圖紙，使用tekla?structures軟件建立工件bim模型，并導出為ifc文件，開發(fā)焊縫特征信息提取算法，提取待焊接工件的所有焊縫信息；步驟二：機械臂搭載視覺傳感器在多個位姿拍照，獲取點云數(shù)據(jù)并進行點云拼接，對場景進行重建；步驟三：對點云進行去噪、濾波和語義分割得到待焊接工件的完整點云；步驟四：利用點云配準算法，把bim模型配準到點云上，且把bim中提取到的所有焊縫信息映射到點云上；步驟五：通過步驟四中得到的待焊接工件在當前位置的焊縫信息。計算工件的焊接路徑和焊槍姿態(tài)，以此完成對焊接機器人的焊接路徑提取和焊槍軌跡規(guī)劃，使機器人完成焊接作業(yè)。

2.根據(jù)權(quán)利要求1所述的一種基于機器視覺和bim的焊接機器人焊接路徑提取和焊槍姿態(tài)規(guī)劃方法，其特征在于：步驟一包括：根據(jù)待焊接工件的加工和裝配圖紙，使用teklastructures軟件建立待焊接工件bim模型，使用該軟件自帶的ifc導出系統(tǒng)，將模型文件導出為ifc格式的數(shù)據(jù)文件，借助ifcopenshel開源工具包，利用python語言開發(fā)焊縫特征信息提取算法，提取和計算待焊接工件的所有焊縫信息。

3.根據(jù)權(quán)利要求2所述的一種基于機器視覺和bim的焊接機器人焊接路徑提取和焊槍姿態(tài)規(guī)劃方法，其特征在于：首先從ifc文件中解析連接件ifcfastener緊固件實體信息，焊縫線性類型大致分為兩類：直線和曲線，由于ifc文件中對于直線焊縫和曲線焊縫定義屬性實體有區(qū)別，所以下面對兩種不同類型線性的焊縫開發(fā)了兩種不同的焊縫特征提取算法。

4.根據(jù)權(quán)利要求1所述的一種基于機器視覺和bim的焊接機器人焊接路徑提取和焊槍姿態(tài)規(guī)劃方法，其特征在于：步驟二包括：由機械臂搭載視覺傳感器，在多個不同位姿下，對待焊接工件場景進行拍照，通過小孔成像原理對每個位姿下場景進行點云重建，通過點云相機與機械臂的手眼標定，確定相機與機械臂之間的坐標轉(zhuǎn)換關(guān)系，將每個位姿下獲取的場景點云都轉(zhuǎn)換到機械臂基坐標系下，并根據(jù)最近點迭代(icp)的方法，對場景點云進行拼接，得到完整的焊件點云信息。

5.根據(jù)權(quán)利要求1所述的一種基于機器視覺和bim的焊接機器人焊接路徑提取和焊槍姿態(tài)規(guī)劃方法，其特征在于：步驟三包括：對步驟二中獲取的點云數(shù)據(jù)進行處理，由于視覺傳感器視野問題，容易造成點云信息的過多獲取，獲得工作范圍外的點云信息；同時，受環(huán)境影響，也容易產(chǎn)生一定的點云噪聲，針對這些問題，在本步驟中，通過半徑濾波器的方式，將點云數(shù)據(jù)限定于待焊接工件的工作臺上，并通過去除離群點，對噪聲進行抑制，對于原始工件點云，包含許多冗余點，因此對點云進行降采樣，以減少點云中的點數(shù)并加快后續(xù)算法的處理速度。

6.根據(jù)權(quán)利要求1所述的一種基于機器視覺和bim的焊接機器人焊接路徑提取和焊槍姿態(tài)規(guī)劃方法，其特征在于：步驟四包括：使用點云配準算法，把步驟一中的bim模型和步驟三中得到的點云，進行配準。

7.根據(jù)權(quán)利要求6所述的一種基于機器視覺和bim的焊接機器人焊接路徑提取和焊槍姿態(tài)規(guī)劃方法，其特征在于：首先利用基于采樣一致性(sac-ia)的初步對齊初始配準方法，解決點云與模型數(shù)據(jù)之間的初始對齊問題，為后續(xù)的精確配準提供良好的初始位置和方向；其次使用最近點迭代(icp)算法進行精配準，將模型和點云的坐標系進行對齊。

8.根據(jù)權(quán)利要求1所述的一種基于機器視覺和bim的焊接機器人焊接路徑提取和焊槍姿態(tài)規(guī)劃方法，其特征在于：步驟五包括：根據(jù)步驟四中得到的機械臂基坐標系下的焊縫特征，其中包括但不限于焊縫點的起始點坐標、長度、方向向量、法向量和焊縫類型等，得到焊接路徑；將焊槍姿態(tài)作為決策變量，并建立其焊縫坐標系和焊槍坐標系。

9.根據(jù)權(quán)利要求8所述的一種基于機器視覺和bim的焊接機器人焊接路徑提取和焊槍姿態(tài)規(guī)劃方法，其特征在于：根據(jù)步驟五中的得到的焊縫坐標和焊接路徑信息，利用全局規(guī)劃策略得到焊槍姿態(tài)信息，使其三者對齊結(jié)合，最終得到焊接機器人焊接路徑和焊槍姿態(tài)信息，從而完成焊接作業(yè)。

技術(shù)總結(jié)
本發(fā)明提出了一種基于機器視覺和BIM的焊接機器人焊接路徑提取和焊槍姿態(tài)規(guī)劃方法，包括以下步驟：步驟一：建立待焊接工件BIM模型并導出為IFC格式的數(shù)據(jù)文件，開發(fā)焊縫特征信息提取算法，獲取待焊接工件的所有焊縫信息；步驟二：視覺傳感器采集待焊接工件點云數(shù)據(jù)，對焊接作業(yè)場景進行三維重建；步驟三：對獲取的點云數(shù)據(jù)進行預處理；步驟四：利用點云配準算法，把從BIM中獲取到的焊縫信息映射到點云上；步驟五：基于步驟四中得到的待焊接工件在當前位置的焊縫信息，計算得到工件的焊接路徑和焊槍姿態(tài)。本發(fā)明實現(xiàn)了焊接機器人焊接路徑的高效提取和焊槍姿態(tài)的精確規(guī)劃，為自動化焊接提供了有力的技術(shù)支持。

技術(shù)研發(fā)人員：劉今越,孟士康,李鐵軍
受保護的技術(shù)使用者：河北工業(yè)大學
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10