基于運(yùn)動(dòng)機(jī)構(gòu)的三維物體建模系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種對(duì)=維物體進(jìn)行=維建模的系統(tǒng)，具體地說，是一種基于運(yùn)動(dòng)機(jī) 構(gòu)的=維物體建模系統(tǒng)。
【背景技術(shù)】
[0002] 近年來，視覺輔助系統(tǒng)在物體=維建模等方面已經(jīng)有越來越多的應(yīng)用，如No址 Snavely研發(fā)的Bundler系統(tǒng)應(yīng)用于大型S維場(chǎng)景重建。在S維物體建模中，伯克利大學(xué)研 發(fā)了對(duì)單個(gè)物體實(shí)現(xiàn)=維重建的系統(tǒng)，由搭建好的硬件平臺(tái)，通過多個(gè)相機(jī)對(duì)物體在不同 角度進(jìn)行圖像采集，通過ICP對(duì)得到的點(diǎn)云進(jìn)行匹配，再由TSDF進(jìn)行融合得到物體的S維 柵格模型，為機(jī)械臂抓取物體提供物體=維信息和對(duì)應(yīng)特征。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的目的是針對(duì)伯克利的=維重建系統(tǒng)存在問題的改進(jìn)，提出一個(gè)完善可行 的成本較低、觀測(cè)更連續(xù)完整的=維建模系統(tǒng)。用于對(duì)物體的位姿進(jìn)行準(zhǔn)確觀測(cè)和分析，從 而輔助機(jī)械臂進(jìn)行抓取，完成指定任務(wù)，可W在機(jī)器人視覺、機(jī)器人抓取、3D打印等場(chǎng)景中， 實(shí)現(xiàn)對(duì)物體的識(shí)別和位姿估計(jì)，從而可W獲取待抓取物體的完整的=維信息和特征紋理信 息，為機(jī)器人的運(yùn)動(dòng)和相應(yīng)操作奠定更好的基礎(chǔ)。
[0004] 為達(dá)到上述發(fā)明的目的，本發(fā)明提出了一種運(yùn)動(dòng)機(jī)構(gòu)和相機(jī)相結(jié)合的視覺系統(tǒng)理 念，利用運(yùn)動(dòng)機(jī)構(gòu)末端所固定的彩色深度視覺相機(jī)圍繞目標(biāo)物體運(yùn)動(dòng)并采集物體的RGB圖 像和深度圖像，結(jié)合運(yùn)動(dòng)信息和圖像處理融合算法，對(duì)目標(biāo)物體進(jìn)行=維還原，得到物體的 S維模型。 陽(yáng)005] 本發(fā)明的具體技術(shù)方案如下：
[0006] 本發(fā)明公開了一種基于運(yùn)動(dòng)機(jī)構(gòu)的=維物體建模系統(tǒng)，包括彩色深度視覺相機(jī)、 =自由度W上的運(yùn)動(dòng)機(jī)構(gòu)、圖像數(shù)據(jù)采集傳輸裝置、包含有視覺軟件運(yùn)行的系統(tǒng)環(huán)境的主 控計(jì)算機(jī)、和外接顯示屏，運(yùn)動(dòng)機(jī)構(gòu)固定在工作平臺(tái)上，能夠?qū)崿F(xiàn)圍繞物體進(jìn)行運(yùn)動(dòng)；彩色 深度視覺相機(jī)固定在運(yùn)動(dòng)機(jī)構(gòu)末端，通過運(yùn)動(dòng)機(jī)構(gòu)的運(yùn)動(dòng)使其圍繞著目標(biāo)物體進(jìn)行彩色深 度圖像的采集；彩色深度視覺相機(jī)通過數(shù)據(jù)線與圖像數(shù)據(jù)采集卡相連；圖像數(shù)據(jù)采集卡通 過包含有視覺軟件運(yùn)行的系統(tǒng)環(huán)境的主控計(jì)算機(jī)總線，將采集到的數(shù)據(jù)傳送到主控計(jì)算機(jī) 進(jìn)行處理；處理結(jié)果輸出到包含有視覺軟件運(yùn)行的系統(tǒng)環(huán)境的主控計(jì)算機(jī)的外接顯示屏上 進(jìn)行顯示。
[0007] 作為進(jìn)一步地改進(jìn)，本發(fā)明所述的系統(tǒng)包括如下組成模塊：運(yùn)動(dòng)機(jī)構(gòu)在線規(guī)劃和 控制模塊、圖像采集模塊、圖像處理模塊、=維數(shù)據(jù)融合模塊、顯示模塊，其中，運(yùn)動(dòng)機(jī)構(gòu)在 線規(guī)劃和控制模塊能依據(jù)模型精度對(duì)運(yùn)動(dòng)機(jī)構(gòu)的軌跡進(jìn)行在線規(guī)劃和控制；圖像采集模塊 能實(shí)現(xiàn)對(duì)物體的RGB圖像和深度圖像的采集；圖像處理模塊能將RGB圖像進(jìn)行特征點(diǎn)匹配， 計(jì)算出對(duì)應(yīng)點(diǎn)的=維坐標(biāo)，并能將深度信息轉(zhuǎn)化為=維點(diǎn)云；=維數(shù)據(jù)融合模塊可依據(jù)相 機(jī)位姿，將所有=維點(diǎn)統(tǒng)一到同一坐標(biāo)下，構(gòu)建出目標(biāo)物體的=維模型；顯示模塊能實(shí)現(xiàn)物 體的s維顯示。
[0008] 作為進(jìn)一步地改進(jìn)，本發(fā)明所述的基于運(yùn)動(dòng)機(jī)構(gòu)的=維物體建模系統(tǒng)，將=維物 體信息分為S維點(diǎn)云信息和SIFT特征信息，S維點(diǎn)云信息從物體外形完成對(duì)物體的外形 描述，相對(duì)稠密，而SIFT特征信息則從細(xì)節(jié)特征對(duì)物體進(jìn)行=維描述，相對(duì)稀疏，將整體信 息和細(xì)節(jié)信息進(jìn)行結(jié)合，得到了目標(biāo)物體的完整=維信息。
[0009] 本發(fā)明還公開了一種基于運(yùn)動(dòng)機(jī)構(gòu)的=維物體建模系統(tǒng)的運(yùn)行方法，具體步驟如 下：
[0010] (1)搭建硬件系統(tǒng)，半自動(dòng)標(biāo)定各相機(jī)內(nèi)外參數(shù)； W11] 似運(yùn)動(dòng)機(jī)構(gòu)按照規(guī)劃軌跡將相機(jī)運(yùn)動(dòng)到指定位置，對(duì)目標(biāo)物體進(jìn)行圖像采集；
[0012] (3)通過運(yùn)動(dòng)機(jī)構(gòu)末端搭載的彩色深度視覺相機(jī)獲取目標(biāo)物體的RGB圖像和深度 圖像，結(jié)合運(yùn)動(dòng)機(jī)構(gòu)的運(yùn)動(dòng)信息和相機(jī)位姿參數(shù)，實(shí)現(xiàn)物體=維空間姿態(tài)信息還原；
[001引 （4)多帖信息拼接，將得到的立維點(diǎn)云和物體立維空間姿態(tài)相結(jié)合，實(shí)現(xiàn)點(diǎn)云的融 合，直到完成運(yùn)動(dòng)軌跡序列或者獲得完整模型，得到物體的=維模型；
[0014] (5)將處理得到的物體的SIFTS維點(diǎn)云圖和S維深度點(diǎn)云圖輸入到外接顯示屏。
[0015] 本發(fā)明的最大特點(diǎn)在于能對(duì)目標(biāo)物體進(jìn)行連續(xù)采樣和分析，通過多幅RGB圖像和 深度圖像W及對(duì)應(yīng)相機(jī)的位姿，得到其=維模型。通過運(yùn)動(dòng)機(jī)構(gòu)將相機(jī)運(yùn)動(dòng)到指定位置，能 夠減少位姿計(jì)算誤差，可W有效提高對(duì)物體建模的準(zhǔn)確性，從而可W更科學(xué)地推廣到其它 運(yùn)行項(xiàng)目及民用、軍工等類似場(chǎng)景。
[0016] 本發(fā)明具有的有益效果如下：
[0017] (1)本發(fā)明提出了一種可W精確在運(yùn)動(dòng)機(jī)構(gòu)上完成物體=維建模的系統(tǒng)與方法， 在運(yùn)動(dòng)機(jī)構(gòu)按照指定路徑進(jìn)行運(yùn)動(dòng)的同時(shí)，能夠準(zhǔn)確得到相鄰兩幅圖像之間的位姿變換關(guān) 系，可W加速算法運(yùn)行速度為用戶或自動(dòng)化系統(tǒng)提供更為精確的建模結(jié)果； 陽(yáng)01引 似本發(fā)明將彩色深度視覺相機(jī)獲取到的RGB圖像和深度圖像相結(jié)合，既能恢復(fù) 物體的外形，又能得到物體的SIFT特征信息；
[0019] (3)本發(fā)明與傳統(tǒng)的多個(gè)相機(jī)固定位置的方法相比，能夠大大降低成本，并且相機(jī) 在成像上無死角；
[0020] (4)本發(fā)明中的方法和系統(tǒng)還可W應(yīng)用于3D打印、家用機(jī)器人抓取等多種場(chǎng)景 中。因此，本發(fā)明是一種非常實(shí)用、有效地=維物體建模系統(tǒng)，具有很好的應(yīng)用前景。
【附圖說明】
[0021] 圖1是系統(tǒng)硬件結(jié)構(gòu)框圖；
[0022] 圖2是系統(tǒng)的架構(gòu)流程框圖；
[0023] 圖3是相鄰點(diǎn)云對(duì)應(yīng)點(diǎn)匹配和相鄰點(diǎn)云對(duì)應(yīng)相機(jī)位姿變換關(guān)系示意圖；
[0024] 圖4是點(diǎn)云配準(zhǔn)流程圖； 陽(yáng)0巧]圖5是基于空間的點(diǎn)云融合技術(shù)示意圖；
[00%] 圖1中，1為彩色深度視覺相機(jī)、2為運(yùn)動(dòng)機(jī)構(gòu)、3為圖像數(shù)據(jù)采集傳輸裝置、4為包 含有視覺軟件運(yùn)行的系統(tǒng)環(huán)境的主控計(jì)算機(jī)、5是視覺軟件，6為外接顯示屏。
【具體實(shí)施方式】
[0027] 本發(fā)明提供的S維物體建模系統(tǒng)，由彩色深度視覺相機(jī)1、S個(gè)W上自由度的運(yùn)動(dòng) 機(jī)構(gòu)2、圖像數(shù)據(jù)采集傳輸裝置3、包含有視覺軟件的主控計(jì)算機(jī)4和外接顯示屏6組成； 其中彩色深度視覺相機(jī)1固定在運(yùn)動(dòng)機(jī)構(gòu)2末端，視野覆蓋物體所在有效區(qū)域，進(jìn)行圖像采 集；，圖像數(shù)據(jù)采集傳輸裝置3由圖像數(shù)據(jù)采集卡通過包含有視覺軟件運(yùn)行的系統(tǒng)環(huán)境的 主控計(jì)算機(jī)4的PCI總線，將采集到的數(shù)據(jù)傳送到圖像數(shù)據(jù)采集傳輸裝置3的處理器進(jìn)行 處理；處理結(jié)果輸出到包含有視覺軟件運(yùn)行的系統(tǒng)環(huán)境的主控計(jì)算機(jī)4的外接顯示屏6。
[0028] 包含有視覺軟件運(yùn)行的系統(tǒng)環(huán)境的主控計(jì)算機(jī)4包括如下模塊：運(yùn)動(dòng)機(jī)構(gòu)2運(yùn)動(dòng) 規(guī)劃和控制模塊、圖像采集模塊、目標(biāo)物體的=維建模模塊。系統(tǒng)架構(gòu)流程是：運(yùn)動(dòng)機(jī)構(gòu)2 在線規(guī)劃和控制模塊根據(jù)物體建模結(jié)果和需求精度，對(duì)運(yùn)動(dòng)軌跡進(jìn)行在線規(guī)劃，將固定在 運(yùn)動(dòng)機(jī)構(gòu)2末端的彩色深度視覺相機(jī)1運(yùn)動(dòng)到指定位置，完成目標(biāo)物體的RGB圖像和深度 圖像采集；圖像采集模塊對(duì)相機(jī)視野覆蓋區(qū)域進(jìn)行圖像采集，將所得圖像輸入到=維建模 模塊，進(jìn)行在線建模，當(dāng)模型收斂后，運(yùn)動(dòng)機(jī)構(gòu)2停止運(yùn)動(dòng)，并將物體所建的SIFT特征點(diǎn)云 圖和TSDF融合得到的點(diǎn)云圖輸出到外接顯示器上。
[0029] 運(yùn)動(dòng)機(jī)構(gòu)2在線規(guī)劃和控制模塊，依據(jù)建模需求精度和物體大小進(jìn)行在線軌跡規(guī) 劃，將固定在運(yùn)動(dòng)機(jī)構(gòu)2末端的相機(jī)運(yùn)動(dòng)到指定位置，即知道相鄰兩帖相機(jī)對(duì)應(yīng)的相機(jī)位 姿變化關(guān)系，能夠減少相鄰兩帖圖像計(jì)算相機(jī)的位姿變換所費(fèi)時(shí)間，并且能夠減少由相機(jī) 外參標(biāo)定所引起的誤差。該模塊能夠直接得到相鄰兩帖圖片對(duì)應(yīng)相機(jī)的位姿關(guān)系，能加快 速度，提高精度。
[0030] 目標(biāo)物體=維建模模塊，能夠?qū)⑾鄼C(jī)采集的多幅圖像，進(jìn)行位姿變換得到物體的 S維點(diǎn)云信息，在此基礎(chǔ)上運(yùn)用TSDF對(duì)點(diǎn)云進(jìn)行融合處理，其中彩色深度視覺相機(jī)1采集 的RGB圖像得到物體的SIFTS維點(diǎn)云信息，而深度圖像得到的物體的稠密S維點(diǎn)云信息。
[0031] 本發(fā)明所述的S維虛擬場(chǎng)景重現(xiàn)模炔基于化en化的S維虛擬場(chǎng)景重現(xiàn)模塊：在 =維虛擬場(chǎng)景中任意角度觀看物體的=維模型并輸出到外接顯示屏6上。
[0032] 本發(fā)明提供的物體S維建模方法，所述的運(yùn)行步驟如下：
[0033] (1)搭建硬件系統(tǒng)，標(biāo)定彩色深度視覺相機(jī)1內(nèi)參；
[0034] 似運(yùn)動(dòng)機(jī)構(gòu)2依據(jù)建模精度，進(jìn)行在線軌跡規(guī)劃，當(dāng)運(yùn)動(dòng)機(jī)構(gòu)2末端運(yùn)動(dòng)到指定 位置，固定在運(yùn)動(dòng)機(jī)構(gòu)2末端的彩色深度視覺相機(jī)1對(duì)物體進(jìn)行采樣；
[0035] (3)采樣后對(duì)所得圖像進(jìn)行處理，得到物體的=維點(diǎn)云，每采一副圖像，對(duì)已建模 的模型進(jìn)行重新計(jì)算和更新，模型越完整和精確，新增圖像提供的新=維信息就越少，待物 體模型收斂后，運(yùn)動(dòng)機(jī)構(gòu)2停止運(yùn)動(dòng)，結(jié)束建模；
[0036] (4)將處理結(jié)果數(shù)據(jù)輸入到=維虛擬場(chǎng)景重現(xiàn)模塊，在外接顯示屏6中進(jìn)行顯示。 其中上述方法中，控制運(yùn)動(dòng)機(jī)構(gòu)2運(yùn)動(dòng)采用如下方法：
[0037] (1)離線標(biāo)定運(yùn)動(dòng)機(jī)構(gòu)2的零位和彩色深度視覺相機(jī)1的內(nèi)參；
[0038] (2)依據(jù)物體的大小和建模精度，實(shí)施在線軌跡規(guī)劃，對(duì)已建模模型精度進(jìn)行計(jì) 算；
[0039] (3)當(dāng)模型收斂到需求精度或者運(yùn)動(dòng)機(jī)構(gòu)2完成運(yùn)動(dòng)軌跡序列，運(yùn)動(dòng)機(jī)構(gòu)2停止運(yùn) 動(dòng)。其中上述方法中物體=維建模采用如下方法：
[0040] (1)利用運(yùn)動(dòng)機(jī)構(gòu)2運(yùn)動(dòng)軌跡，得到相鄰兩帖圖像對(duì)應(yīng)相機(jī)的位姿變換關(guān)系；
[0041] (2)獲取物體在各個(gè)位姿下的圖像，結(jié)合相機(jī)位姿進(jìn)行圖像融合；
[0042] (3)將圖像融合結(jié)果再迭代進(jìn)行融合，直至運(yùn)動(dòng)機(jī)構(gòu)2完成運(yùn)動(dòng)軌跡序列或者獲 得完整模型。
[0043] 其中上述方法中的=維虛擬場(chǎng)景重現(xiàn)采用如下方法：
[0044] (1)將計(jì)算所得的物體=維模型輸入到=維虛擬場(chǎng)景顯示模塊；
[0045] (2)根據(jù)實(shí)際尺寸，將模型和實(shí)際尺寸統(tǒng)一。
[0046] 下面結(jié)合附圖，通過具體實(shí)施例，對(duì)本發(fā)明的技術(shù)方案作具體說明，詳細(xì)描述本發(fā) 明所利用的彩色深度視覺相機(jī)1、運(yùn)動(dòng)機(jī)構(gòu)2運(yùn)動(dòng)和相機(jī)位姿變換配合，實(shí)現(xiàn)對(duì)物體=維建 模和分析，并在=維虛擬空間的場(chǎng)景重現(xiàn)。
[0047] 圖1是系統(tǒng)硬件結(jié)構(gòu)框圖，整個(gè)系統(tǒng)由：一個(gè)彩色深度視覺相機(jī)1、S自由度W上 的運(yùn)動(dòng)機(jī)構(gòu)2、圖像數(shù)據(jù)采集傳輸裝置3、包含有視覺軟件