本發(fā)明涉及控制領(lǐng)域，尤其涉及一種點(diǎn)云配準(zhǔn)方法、裝置、存儲介質(zhì)、計(jì)算機(jī)設(shè)備和程序產(chǎn)品。

背景技術(shù)：

1、隨著點(diǎn)云采集硬件設(shè)備的日趨完善使得點(diǎn)云數(shù)據(jù)的獲取更加簡單便捷，點(diǎn)云配準(zhǔn)指的是將不同角度、不同方位測得的數(shù)據(jù)經(jīng)過點(diǎn)云旋轉(zhuǎn)平移等剛性變換操作整合到指定的統(tǒng)一坐標(biāo)系之下的過程，點(diǎn)云配準(zhǔn)廣泛的應(yīng)用于工業(yè)制造、醫(yī)學(xué)檢測中的圖像合成、文物數(shù)字化和智能駕駛中的環(huán)境感知等領(lǐng)域中，配準(zhǔn)精度高、配準(zhǔn)速度快的配準(zhǔn)算法能有效的提高這些應(yīng)用的性能。

2、點(diǎn)云配準(zhǔn)技術(shù)對于紋理特征比較豐富的物體配準(zhǔn)效果較好，然而在實(shí)際工業(yè)應(yīng)用中，工件物體大部分紋理特征較少，且流水線來料復(fù)雜多變，工件對稱相似度高，生產(chǎn)節(jié)拍要求高，快速精準(zhǔn)地對工件進(jìn)行定位至關(guān)重要。點(diǎn)云數(shù)據(jù)帶來深度信息，但同時(shí)帶來了大量的數(shù)據(jù)計(jì)算時(shí)間，在整個(gè)拍攝場景內(nèi)進(jìn)行匹配耗時(shí)高，來料位置的不確定又無法有效縮減檢測區(qū)域。因此對點(diǎn)云初始位姿依賴性強(qiáng)，并且速率低、易陷入局部最優(yōu)解的問題為本發(fā)明面臨的課題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于克服上述相關(guān)技術(shù)的缺陷，提供一種點(diǎn)云配準(zhǔn)方法、裝置、存儲介質(zhì)、計(jì)算機(jī)設(shè)備和程序產(chǎn)品，以解決相關(guān)技術(shù)中點(diǎn)云數(shù)據(jù)引入深度信息的同時(shí)帶來了大量數(shù)據(jù)計(jì)算無法滿足生產(chǎn)節(jié)拍需求的問題。

2、本發(fā)明一方面提供了一種點(diǎn)云配準(zhǔn)方法，包括：對待配準(zhǔn)物體的2d深度圖像采用漫水填充算法進(jìn)行顯著物體分割，生成待配準(zhǔn)點(diǎn)云；對預(yù)設(shè)的模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云，分別構(gòu)建帶有邊緣加權(quán)的fpfh特征集；基于構(gòu)建的所述模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云的所述帶有邊緣加權(quán)的fpfh特征點(diǎn)集進(jìn)行點(diǎn)云配準(zhǔn)。

3、可選地，對待配準(zhǔn)物體的2d深度圖像采用漫水填充算法進(jìn)行顯著物體分割，生成待配準(zhǔn)點(diǎn)云，包括：設(shè)定所述2d深度圖像中的像素點(diǎn)(0，0)為初始種子點(diǎn)，并設(shè)定漫水填充的最大高度差閾值以及分割掩膜保留的最小面積閾值；根據(jù)所述最大高度差閾值從所述初始種子點(diǎn)開始進(jìn)行漫水填充，保留與當(dāng)前種子點(diǎn)的高度差小于所述最大高度差閾值的鄰居點(diǎn)，并將當(dāng)前種子點(diǎn)標(biāo)記為已遍歷；漫水填充完成時(shí)，判斷當(dāng)前分割掩膜的面積是否大于所述最小面積閾值，若判斷當(dāng)前分割掩膜的面積大于所述最小面積閾值，則保留當(dāng)前分割掩膜；從當(dāng)前種子點(diǎn)按行列順序進(jìn)行遍歷，尋找所述2d深度圖像中下一個(gè)未被標(biāo)記過的像素點(diǎn)作為下一個(gè)種子點(diǎn)，并進(jìn)行滿水填充，直到遍歷到所述2d深度圖像結(jié)尾；對保留的每個(gè)分割掩膜進(jìn)行最小外接矩形與平均深度的計(jì)算，將平均深度值相近且最小外接矩形框存在交集的分割掩膜判定為同一物體，進(jìn)行合并得到顯著物體掩膜；根據(jù)得到的所述顯著物體掩膜生成顯著物體點(diǎn)云，作為待配準(zhǔn)點(diǎn)云。

4、可選地，對預(yù)設(shè)的模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云，分別構(gòu)建帶有邊緣加權(quán)的fpfh特征集，包括：針對所述預(yù)設(shè)的模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云中的每一個(gè)點(diǎn)按照如下公式計(jì)算帶有邊緣加權(quán)的fpfh特征，得到所述預(yù)設(shè)的模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云的帶有邊緣加權(quán)的fpfh特征集：

5、

6、其中，pi為所述預(yù)設(shè)的模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云中的任一點(diǎn)，wk為點(diǎn)pi與其近鄰點(diǎn)pk之間的歐式距離，spfh(pi)和spfh(pk)分別為點(diǎn)pi和其近鄰點(diǎn)pk的簡化點(diǎn)特征直方圖，為點(diǎn)pi的近鄰點(diǎn)pk的邊緣約束，θth為設(shè)定邊緣約束閾值。

7、可選地，所述預(yù)設(shè)的模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云中的任一點(diǎn)的邊緣約束，通過如下方式確定：針對所述模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云中每一個(gè)點(diǎn)的近鄰點(diǎn)，向該點(diǎn)的切面投影；該點(diǎn)的切面是指與該點(diǎn)局部表面法向量垂直的平面；以當(dāng)前點(diǎn)為角點(diǎn)，按照逆時(shí)針的順序，將投影后的近鄰點(diǎn)兩兩與當(dāng)前點(diǎn)連接，形成n個(gè)夾角，n等于當(dāng)前點(diǎn)的近鄰點(diǎn)的個(gè)數(shù)減1；將形成的所述n個(gè)夾角中最大的夾角，確定為當(dāng)前點(diǎn)的邊緣約束。

8、可選地，基于構(gòu)建的所述模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云的所述帶有邊緣加權(quán)的fpfh特征點(diǎn)集進(jìn)行點(diǎn)云配準(zhǔn)，包括：基于構(gòu)建的所述模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云的所述帶有邊緣加權(quán)的fpfh特征點(diǎn)集，采用sac_ia算法建立所述模板點(diǎn)云與所述待配準(zhǔn)點(diǎn)云間的初始匹配關(guān)系；根據(jù)建立的所述模板點(diǎn)云與所述待配準(zhǔn)點(diǎn)云間的初始匹配關(guān)系，采用icp算法進(jìn)行所述模板點(diǎn)云與所述待配準(zhǔn)點(diǎn)云的精配準(zhǔn)。

9、本發(fā)明另一方面提供了一種點(diǎn)云配準(zhǔn)裝置，包括：分割單元，用于對待配準(zhǔn)物體的2d深度圖像采用漫水填充算法進(jìn)行顯著物體分割，生成待配準(zhǔn)點(diǎn)云；構(gòu)建單元，用于對預(yù)設(shè)的模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云，分別構(gòu)建帶有邊緣加權(quán)的fpfh特征集；配準(zhǔn)單元，用于基于構(gòu)建的所述模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云的所述帶有邊緣加權(quán)的fpfh特征點(diǎn)集進(jìn)行點(diǎn)云配準(zhǔn)。

10、可選地，所述分割單元，對待配準(zhǔn)物體的2d深度圖像采用漫水填充算法進(jìn)行顯著物體分割，生成待配準(zhǔn)點(diǎn)云，包括：設(shè)定所述2d深度圖像中的像素點(diǎn)(0，0)為初始種子點(diǎn)，并設(shè)定漫水填充的最大高度差閾值以及分割掩膜保留的最小面積閾值；根據(jù)所述最大高度差閾值從所述初始種子點(diǎn)開始進(jìn)行漫水填充，保留與當(dāng)前種子點(diǎn)的高度差小于所述最大高度差閾值的鄰居點(diǎn)，并將當(dāng)前種子點(diǎn)標(biāo)記為已遍歷；漫水填充完成時(shí)，判斷當(dāng)前分割掩膜的面積是否大于所述最小面積閾值，若判斷當(dāng)前分割掩膜的面積大于所述最小面積閾值，則保留當(dāng)前分割掩膜；從當(dāng)前種子點(diǎn)按行列順序進(jìn)行遍歷，尋找所述2d深度圖像中下一個(gè)未被標(biāo)記過的像素點(diǎn)作為下一個(gè)種子點(diǎn)，并進(jìn)行滿水填充，直到遍歷到所述2d深度圖像結(jié)尾；對保留的每個(gè)分割掩膜進(jìn)行最小外接矩形與平均深度的計(jì)算，將平均深度值相近且最小外接矩形框存在交集的分割掩膜判定為同一物體，進(jìn)行合并得到顯著物體掩膜；根據(jù)得到的所述顯著物體掩膜生成顯著物體點(diǎn)云，作為待配準(zhǔn)點(diǎn)云。

11、可選地，所述構(gòu)建單元，對預(yù)設(shè)的模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云，分別構(gòu)建帶有邊緣加權(quán)的fpfh特征集，包括：針對所述預(yù)設(shè)的模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云中的每一個(gè)點(diǎn)按照如下公式計(jì)算帶有邊緣加權(quán)的fpfh特征，得到所述預(yù)設(shè)的模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云的帶有邊緣加權(quán)的fpfh特征集：

12、

13、其中，pi為所述預(yù)設(shè)的模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云中的任一點(diǎn)，wk為點(diǎn)pi與其近鄰點(diǎn)pk之間的歐式距離，spfh(pi)和spfh(pk)分別為點(diǎn)pi和其近鄰點(diǎn)pk的簡化點(diǎn)特征直方圖，為點(diǎn)pi的近鄰點(diǎn)pk的邊緣約束，θth為設(shè)定邊緣約束閾值。

14、可選地，所述預(yù)設(shè)的模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云中的任一點(diǎn)的邊緣約束，通過如下方式確定：針對所述模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云中每一個(gè)點(diǎn)的近鄰點(diǎn)，向該點(diǎn)的切面投影；該點(diǎn)的切面是指與該點(diǎn)局部表面法向量垂直的平面；以當(dāng)前點(diǎn)為角點(diǎn)，按照逆時(shí)針的順序，將投影后的近鄰點(diǎn)兩兩與當(dāng)前點(diǎn)連接，形成n個(gè)夾角，n等于當(dāng)前點(diǎn)的近鄰點(diǎn)的個(gè)數(shù)減1；將形成的所述n個(gè)夾角中最大的夾角，確定為當(dāng)前點(diǎn)的邊緣約束。

15、可選地，所述配準(zhǔn)單元，基于構(gòu)建的所述模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云的所述帶有邊緣加權(quán)的fpfh特征點(diǎn)集進(jìn)行點(diǎn)云配準(zhǔn)，包括：基于構(gòu)建的所述模板點(diǎn)云和所述待配準(zhǔn)點(diǎn)云的所述帶有邊緣加權(quán)的fpfh特征點(diǎn)集，采用sac_ia算法建立所述模板點(diǎn)云與所述待配準(zhǔn)點(diǎn)云間的初始匹配關(guān)系；根據(jù)建立的所述模板點(diǎn)云與所述待配準(zhǔn)點(diǎn)云間的初始匹配關(guān)系，采用icp算法進(jìn)行所述模板點(diǎn)云與所述待配準(zhǔn)點(diǎn)云的精配準(zhǔn)。

16、本發(fā)明又一方面提供了一種存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述任一所述方法的步驟。

17、本發(fā)明再一方面提供了一種計(jì)算機(jī)設(shè)備，包括處理器、存儲器以及存儲在存儲器上可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)前述任一所述方法的步驟。

18、本發(fā)明再一方面提供了一種計(jì)算機(jī)設(shè)備，包括前述任一所述的點(diǎn)云配準(zhǔn)裝置。

19、根據(jù)本發(fā)明的技術(shù)方案，針對工業(yè)場景下環(huán)境復(fù)雜，物體種類多，姿態(tài)變化大，定位難度大，節(jié)拍要求高等特點(diǎn)，對3d傳感器采集到的深度圖像進(jìn)行自適應(yīng)漫水填充分割，識別與合并顯著物體，快速確認(rèn)待匹配的物體與初始匹配中心，減少點(diǎn)云計(jì)算量的同時(shí)提高點(diǎn)云關(guān)鍵特征的提取精度。

20、根據(jù)本發(fā)明的技術(shù)方案，為了進(jìn)一步定位目標(biāo)物體的精確位姿，采用融合ac算法思想的邊緣加權(quán)fpfh特征描述子，構(gòu)建對應(yīng)的特征點(diǎn)集，再基于隨機(jī)采樣一致性算法匹配兩組點(diǎn)云的初始位姿，最后利用icp算法迭代逼近，獲取兩幅點(diǎn)云間的精準(zhǔn)匹配關(guān)系。邊緣加權(quán)的fpfh特征可以有效關(guān)注物體的邊緣特征，可有效避免icp精配準(zhǔn)算法由于初始位姿差異較大帶來的局部最優(yōu)匹配結(jié)果。