多模式場景中的三維對象的識別和姿勢確定的制作方法
【專利摘要】本發(fā)明提供了一種用于利用3D場景數(shù)據(jù)和場景強(qiáng)度數(shù)據(jù)識別3D對象的實(shí)體和確定所述實(shí)體的3D姿勢的方法，所述方法包括以下步驟：（a）提供3D對象數(shù)據(jù)并獲得對象強(qiáng)度數(shù)據(jù)；（b）提供3D場景數(shù)據(jù)和場景強(qiáng)度數(shù)據(jù)；（c）從所述強(qiáng)度數(shù)據(jù)中提取場景特征點(diǎn)；（d）從所述3D場景數(shù)據(jù)中選擇至少一個(gè)參考點(diǎn)；（e）在假設(shè)所述參考點(diǎn)為所述3D對象的一部分時(shí)，針對每個(gè)所選的參考點(diǎn)，通過最大化所提取的場景特征點(diǎn)的數(shù)量而為所述3D對象計(jì)算候選姿勢，在給定的候選姿勢下，所述所提取的場景特征點(diǎn)與所述3D對象一致；（f）從所述候選姿勢中計(jì)算一組過濾姿勢。
【專利說明】多模式場景中的三維對象的識別和姿勢確定
【技術(shù)領(lǐng)域】
[0001]本發(fā)明總體涉及機(jī)器視覺系統(tǒng)，尤其涉及利用成像和三維(3D)傳感器所觀測的場景中的3D對象的識別和定位。
【背景技術(shù)】
[0002]對象識別和定位是許多機(jī)器視覺應(yīng)用的一部分。知道場景中所關(guān)注的對象的精確位置對任何后續(xù)操作和檢查任務(wù)來說是至關(guān)重要的。開發(fā)了許多不同的技術(shù)以查找場景的強(qiáng)度圖像或3D掃描圖中的對象，該任務(wù)通常被稱為匹配。本申請描述一種同時(shí)使用場景的強(qiáng)度圖像和3D掃描圖的匹配方法，以通過采用3D數(shù)據(jù)和強(qiáng)度數(shù)據(jù)優(yōu)化模型與場景的一致性來查找對象。
[0003]基于描述符或特征的技術(shù)建立在通過使用描述符來查找場景中的點(diǎn)與模型上的點(diǎn)之間的對應(yīng)關(guān)系的基礎(chǔ)上。這種描述符使用低維表示來表示在給定的場景點(diǎn)周圍的3D表面或強(qiáng)度。通常，對于模型的點(diǎn)的全部或者選定的一組脫機(jī)計(jì)算這種描述符，并將其存儲在數(shù)據(jù)庫中。為了識別場景中的對象，對于場景中的點(diǎn)計(jì)算描述符，并使用預(yù)先計(jì)算的數(shù)據(jù)庫搜索相應(yīng)的模型點(diǎn)。一旦發(fā)現(xiàn)足夠的對應(yīng)，則可以還原對象的姿勢° Campbell 和 Flynn (A Survey Of Free-Form Object Representation andRecognition Techniques,2001, Computer Vision and Image Understanding,第 81 卷，第 2 期，第 166-210 頁)、Mamie 和 Bennamoun (Representation and recognition of3Dfree-form objects, 2002, Digital Signal Processing,第 12 卷，第 1 期，第 47-76 頁)以 及 Mian 等(Automatic Correspondence for3D Modeling:An Extensive Review,2005, International Journal of Shape Modeling,第 11 卷，第 2 期，第 253 頁)給出了不同的3D表面描述符的廣泛概述。強(qiáng)度數(shù)據(jù)中常用的特征描述符包括邊緣，如Canny (AComputational Approach To Edge Detection,IEEE Transactions on Pattern Analysisand Machine Intelligence, 8 (6): 679-698,1986)所描述的,SIFT 關(guān)鍵點(diǎn)描述符，如 Lowe(Object recognition from local scale-1nvariant features, Proceedings of theInternational Conference on Computer Vision.2.第 1150-1157 頁；也可參見專利號為6，711，293的美國專利)所描述的，以及SURF關(guān)鍵描述符，如Bay等(SURF:Speeded UpRobust Features, Computer Vision and Image Understanding (CVIU)，2008,第 110 卷，第3號，第346-359頁；也可參見專利號為8，165，401的美國專利)所描述的。在文獻(xiàn)中提出了許多其它特征點(diǎn)描述符。如果所關(guān)注的對象具有小的獨(dú)特形狀或強(qiáng)度信息，則依賴于特征描述符的方法經(jīng)常不起作用，這是因?yàn)槟菢拥脑捗枋龇请y以區(qū)別的。
[0004]一些方法使用所謂的幾何圖元來檢測場景中的對象。幾何圖元為簡單的幾何對象，例如平面、柱面或球體。相比于自由形態(tài)的對象，幾何圖元由于其內(nèi)在對稱性而在場景中更易于被檢測到。存在檢測場景中的由幾何圖元組成的圖元或?qū)ο蟮亩喾N方法。在EP-A-2 047 403中，將3D對象劃分成幾何圖元。然后在3D場景中搜索這些幾何圖元，并且通過確定場景中的與對象中的圖元相似的圖元而識別對象。其它方法使用廣義霍夫變換的變型來檢測場景中的幾何圖兀，例如Katsoulas (Robust extraction of vertices inrange images by constraining the hough transform,2003,Lecture Notes in ComputerScience,第 2652 卷，第 360-369 頁)、Rabbani 和 Heuvel(Efficient hough transform forautomatic detection of cylinders in point clouds,2005, Proceedings of thellthAnnual Conference of the Advanced School for Computing and Imaging (ASCI’05)，第60-65 頁)、以及 Zaharia 和 Preteux (Hough transform-based3D mesh retrieval, 2001,Proceedings of the SPIE Conf.4476on Vision Geometry X,第 175-185 頁)。依賴于幾何圖元的所有方法都具有的缺點(diǎn)是這些方法對一般的自由形態(tài)的對象不起作用。
[0005]開發(fā)了用于識別距離圖像中的3D對象的多種方法，例如在EP-A-1 986 153中。這些方法對單距離圖像起作用，如各種傳感器系統(tǒng)所返回的。然而，所有的基于距離圖像的系統(tǒng)都限于從單距離圖像所獲得的3D信息，且不能處理來自其它3D傳感器的通用3D信息或來自不同的距離圖像的組合的通用3D信息。此外，對于實(shí)時(shí)系統(tǒng)來說，這些方法并不足夠快速，因?yàn)檫@些方法通常需要在參數(shù)空間中進(jìn)行強(qiáng)力搜索。
[0006]已知用于細(xì)化已知的對象的3D姿勢的多種方法。這些方法需要將場景中的對象的近似的3D姿勢作為輸入，并且提高該姿勢的精確度。開發(fā)僅使用3D數(shù)據(jù)優(yōu)化姿勢的這幾種方法，例如迭代最近點(diǎn)(例如參見 Zhang(Iterative point matching for registrationof free-form curves,1994, International Journal of Computer Vision,第 7 卷，第 3期，第 119-152 頁)、EP_A_2 026 279 以及 Fitzgibbon (Robust registration of2D and3Dpoint sets, 2003, Image and Vision Computing,第 21 卷，第 13-14 期，第 1145-1153頁)。其它用于細(xì)化對象的姿勢的方法僅使用強(qiáng)度數(shù)據(jù)，例如Wiedemann等(Recognitionand Tracking of3D Objects, IEEE International Conference on Robotics andAutomation2009, 1191-1198)。姿勢細(xì)化的主要缺點(diǎn)是輸入姿勢需要足夠接近正確姿勢，否則這些方法將無法會(huì)聚。然而，對于在實(shí)際應(yīng)用中經(jīng)常包含雜波、閉塞、噪聲和多個(gè)對象實(shí)例的3D場景來說，難以獲得正確姿勢的良好近似。
[0007]出于以上原因，需要一種允許在場景中高效識別任意的自由形態(tài)的3D對象且還原其3D姿勢的方法，利用一個(gè)或多個(gè)強(qiáng)度圖像和一個(gè)或多個(gè)3D傳感器捕獲場景。為了本文件的目的，利用強(qiáng)度圖像和3D傳感器所捕獲的場景也將被稱為多模式場景。

【發(fā)明內(nèi)容】

[0008]本發(fā)明提供用于發(fā)現(xiàn)多模式場景中的剛性3D對象和利用場景坐標(biāo)確定對象的3D姿勢的系統(tǒng)和方法。在典型應(yīng)用中，例如使用具有兩個(gè)或更多個(gè)相機(jī)的立體聲系統(tǒng)、飛行時(shí)間、聚焦深度測量、光度立體法或結(jié)構(gòu)光來獲得多模式場景。然后，使用所提出的方法得到對象的3D姿勢。例如，形成的3D姿勢用于利用機(jī)器人操縱對象，檢測對象表面上的錯(cuò)誤，或者計(jì)算對象的表面特性。
[0009]本方法比之前的方法具有如下幾個(gè)優(yōu)勢:允許識別具有任何類型的表面幾何形狀的自由形態(tài)的對象，因此不限于特定類型或形狀的對象。此外，該方法對于噪聲、丟失的對象部分、雜波和小的變形是穩(wěn)健的。高精度地確定3D對象的姿勢。3D對象的發(fā)現(xiàn)及其3D姿勢的還原需要很少的計(jì)算時(shí)間，適合于實(shí)時(shí)環(huán)境。
[0010]本方法包括兩個(gè)階段。在脫機(jī)階段中，計(jì)算模型描述，模型描述后續(xù)可以用于發(fā)現(xiàn)對象。用戶需要提供待發(fā)現(xiàn)的對象的3D表示，例如3D的CAD模型或一組3D點(diǎn)，以及可選地，來自各種視點(diǎn)的對象的圖像。如果未提供圖像，則從對象的3D表示人為地渲染圖像。因此，本方法僅需要對象的幾何形狀。不需要顏色、紋理或表面反射率信息，從而使本發(fā)明適合于大范圍的對象類型。然而，可以提供額外的局部信息，例如顏色和紋理，以使用其它強(qiáng)度特征，因此，進(jìn)一步提高本方法的穩(wěn)健性。通過以一定速率采樣對象的表面、從不同視點(diǎn)的對象的強(qiáng)度圖像中計(jì)算特征點(diǎn)和特征點(diǎn)描述符、可選地使用3D表示過濾特征點(diǎn)、將每個(gè)采樣的3D點(diǎn)與每個(gè)特征點(diǎn)組成一對、計(jì)算描述每個(gè)這樣的對的描述符、以及將這些點(diǎn)對存儲在利用所述點(diǎn)對描述符來索引的數(shù)據(jù)庫中而構(gòu)建模型描述。
[0011]在聯(lián)機(jī)階段中，用戶提供包括一組強(qiáng)度圖像和一組3D場景的多模式場景和在脫機(jī)階段中所計(jì)算的模型描述。圖像和場景必須相對彼此校準(zhǔn)，即必須提前知道內(nèi)在傳感器參數(shù)及其相對位置。針對每個(gè)強(qiáng)度圖像，提取特征點(diǎn)，計(jì)算特征點(diǎn)描述符，可選地使用所提供的3D數(shù)據(jù)過濾特征點(diǎn)描述符。通常，將邊緣用作特征點(diǎn)，將邊緣的方向作為特征描述符。3D數(shù)據(jù)用于去除紋理邊緣，因此僅獲得幾何邊緣。然后以一定速率采樣3D場景，將那些點(diǎn)的子集用作參考點(diǎn)。針對每個(gè)參考點(diǎn)，相對于該參考點(diǎn)參數(shù)化對象的3D姿勢。將采樣的3D點(diǎn)與所提取的特征點(diǎn)組成一對，并且為每個(gè)這樣的對計(jì)算描述符。在脫機(jī)階段中所計(jì)算的數(shù)據(jù)庫用于從模型中發(fā)現(xiàn)與場景中的點(diǎn)對相似的點(diǎn)對。將匹配體分組，使用具有最多匹配體的3D姿勢。這同時(shí)優(yōu)化了 3D表面重疊和強(qiáng)度特征的一致性。作為可選的后處理步驟，可以進(jìn)一步細(xì)化所還原的姿勢。
[0012]根據(jù)第一方面，本發(fā)明提供一種利用3D場景數(shù)據(jù)和場景強(qiáng)度數(shù)據(jù)識別3D對象的實(shí)體和確定所述實(shí)體的3D姿勢的方法，所述方法包括以下步驟:(a)提供3D對象數(shù)據(jù)并獲得對象強(qiáng)度數(shù)據(jù)；(b)提供3D場景數(shù)據(jù)和場景強(qiáng)度數(shù)據(jù)；(c)從所述強(qiáng)度數(shù)據(jù)中提取場景特征點(diǎn)；(d)從所述3D場景數(shù)據(jù)中選擇至少一個(gè)參考點(diǎn)；(e)在假設(shè)所述參考點(diǎn)為所述3D對象的一部分的情況下，針對每個(gè)所選的參考點(diǎn)，通過最大化所提取的場景特征點(diǎn)的數(shù)量而為所述3D對象計(jì)算候選姿勢，在給定的候選姿勢下，所提取的場景特征點(diǎn)與所述3D對象一致；(f)從所述候選姿勢中計(jì)算一組過濾的姿勢。優(yōu)選地，步驟(a)中的3D對象數(shù)據(jù)和步驟(b)中的3D場景數(shù)據(jù)被提供為一組3D點(diǎn)或?yàn)?D計(jì)算機(jī)輔助設(shè)計(jì)模型。優(yōu)選地，步驟(a)和步驟(b)中的強(qiáng)度數(shù)據(jù)被提供為灰度圖像或彩色圖像?？商孢x地，可通過人工地渲染3D場景數(shù)據(jù)或3D對象數(shù)據(jù)來創(chuàng)建強(qiáng)度數(shù)據(jù)。
[0013]優(yōu)選地，在步驟(a)之后，從3D對象計(jì)算3D模型，包括以下步驟:(al)從所述3D對象數(shù)據(jù)中選擇至少一個(gè)樣本點(diǎn)；(a2)從所述對象強(qiáng)度數(shù)據(jù)中提取對象特征點(diǎn)；(a3)針對每對所選的樣本點(diǎn)和所提取的對象特征點(diǎn)，計(jì)算描述這兩個(gè)點(diǎn)及其關(guān)系的點(diǎn)對描述符；(a4)創(chuàng)建存儲利用所述點(diǎn)對描述符來索引的點(diǎn)對的模型。優(yōu)選地，步驟(a4)包括:(a4a)米樣所述點(diǎn)對描述符；(a4b)創(chuàng)建全局模型描述，所述全局模型描述將每個(gè)米樣的點(diǎn)對描述符映射到點(diǎn)對的列表，其中，每個(gè)列表包含具有類似的采樣的點(diǎn)對描述符的所有對所選的樣本點(diǎn)和所提取的對象特征點(diǎn)。優(yōu)選地，從3D數(shù)據(jù)中隨機(jī)地選擇步驟(al)中的樣本點(diǎn)，或者通過均勻地采樣3D數(shù)據(jù)來選擇步驟(al)中的樣本點(diǎn)。優(yōu)選地，在步驟(a2)中所提取的對象特征點(diǎn)為利用邊緣檢測器所計(jì)算的邊緣點(diǎn)，且優(yōu)選地，使用3D對象數(shù)據(jù)過濾這些對象特征點(diǎn)以僅獲得對象的輪廓邊緣。優(yōu)選地，步驟(a4b)中所創(chuàng)建的全局模型使用哈希表，利用點(diǎn)對描述符的采樣形式索引哈希表。[0014]優(yōu)選地，在進(jìn)行處理之前，過濾3D對象數(shù)據(jù)、3D場景數(shù)據(jù)、對象強(qiáng)度數(shù)據(jù)和場景強(qiáng)度數(shù)據(jù)，所述處理包括以下步驟中的至少一個(gè):檢測和去除異常值；減少噪聲；以及針對3D數(shù)據(jù)，計(jì)算表面法線。
[0015]優(yōu)選地，點(diǎn)對描述符描述按照對象特征點(diǎn)的距離而縮放的特征向量，特征向量描述樣本點(diǎn)與所提取的對象特征點(diǎn)在強(qiáng)度數(shù)據(jù)的圖像平面內(nèi)的距離，以及點(diǎn)對描述符描述邊緣的相對取向、表面點(diǎn)法線和兩點(diǎn)間的差向量。根據(jù)另一優(yōu)選實(shí)施方式，點(diǎn)對描述符額外地包含以下可選的特征:為特征點(diǎn)計(jì)算的特征點(diǎn)描述符；每點(diǎn)處的顏色值或灰度值；每點(diǎn)處的紋理信息；每點(diǎn)處的表面描述符；每點(diǎn)處的曲率；每點(diǎn)處的其它幾何表面信息。
[0016]根據(jù)另一優(yōu)選實(shí)施方式，在步驟(d)中，從所述3D場景數(shù)據(jù)中隨機(jī)地選擇所述參考點(diǎn)，或者通過均勻地采樣所述3D場景數(shù)據(jù)來選擇所述參考點(diǎn)。優(yōu)選地，相對于3D對象的尺寸計(jì)算用于均勻采樣3D場景數(shù)據(jù)的采樣距離。
[0017]更優(yōu)選地，在步驟(e)中，為每個(gè)候選姿勢計(jì)算分?jǐn)?shù)值。優(yōu)選地，使用決策方案計(jì)算所述候選姿勢。優(yōu)選地，所述決策方案包括以下步驟:(el)采樣可能的對象姿勢的空間；(e2)針對每個(gè)姿勢空間樣本，創(chuàng)建計(jì)數(shù)器；(e3)從所提取的場景特征點(diǎn)中選擇至少一個(gè)場景特征點(diǎn)；(e4)針對每個(gè)所選的場景特征點(diǎn)，計(jì)算匹配姿勢，使得所述參考點(diǎn)位于所述3D對象的表面上且所述場景特征點(diǎn)與所述3D對象一致；(e5)針對在步驟(e4)中所計(jì)算的每個(gè)匹配姿勢，增大相應(yīng)的姿勢空間樣本的計(jì)數(shù)器；以及(e6)檢測采樣的姿勢空間中的達(dá)到峰值的計(jì)數(shù)器值，并選擇相應(yīng)的姿勢空間樣本作為候選姿勢。優(yōu)選地，在步驟(e6)中，達(dá)到峰值的計(jì)數(shù)器值的檢測限于超過閾值的計(jì)數(shù)器值。優(yōu)選地，在步驟(el)中，利用兩個(gè)參數(shù)表示可能的對象姿勢的空間，其中，第一個(gè)參數(shù)為所述3D對象上的點(diǎn)，第二個(gè)參數(shù)為描述圍繞表面法線的旋轉(zhuǎn)的角度。優(yōu)選地，將所述3D對象上的點(diǎn)表示成到從所述3D對象數(shù)據(jù)中所選的一組點(diǎn)的索引，通過將一組角度分成等大小的間隔來采樣旋轉(zhuǎn)角度。優(yōu)選地，通過均勻地或隨機(jī)地采樣3D對象的表面而從3D對象數(shù)據(jù)中選擇該一組點(diǎn)。
[0018]更優(yōu)選地，在步驟(a)中，從所述對象強(qiáng)度數(shù)據(jù)中提取對象特征點(diǎn)。優(yōu)選地，特征點(diǎn)為邊緣點(diǎn)，優(yōu)選地，使用3D對象數(shù)據(jù)過濾邊緣點(diǎn)以僅獲得在深度不連續(xù)面上或?qū)ο蟮妮喞系倪吘夵c(diǎn)。
[0019]更優(yōu)選地，在步驟(e4)中，使用數(shù)據(jù)結(jié)構(gòu)計(jì)算姿勢，所述數(shù)據(jù)結(jié)構(gòu)允許搜索類似于所述參考點(diǎn)與所選的場景特征點(diǎn)的對的3D對象點(diǎn)與對象特征點(diǎn)的對。優(yōu)選地，搜索點(diǎn)對的步驟包括以下步驟:(e4a)計(jì)算描述所述參考點(diǎn)、所選的場景特征點(diǎn)及其關(guān)系的點(diǎn)對描述符；和(e4b)將所述點(diǎn)對描述符用作到所述數(shù)據(jù)結(jié)構(gòu)的索引。
[0020]優(yōu)選地，點(diǎn)對描述符描述按照對象特征點(diǎn)的距離而縮放的特征向量，特征向量描述樣本點(diǎn)與所提取的對象特征點(diǎn)在強(qiáng)度數(shù)據(jù)的圖像平面內(nèi)的距離，以及點(diǎn)對描述符描述邊緣的相對取向、表面點(diǎn)法線和兩點(diǎn)間的差向量。參照另一優(yōu)選實(shí)施方式，點(diǎn)對描述符額外地包含以下可選特征:為特征點(diǎn)計(jì)算的特征點(diǎn)描述符；每點(diǎn)處的顏色值或灰度值；每點(diǎn)處的紋理信息；每點(diǎn)處的表面描述符；每點(diǎn)處的曲率；每點(diǎn)處的其它幾何表面信息。
[0021]根據(jù)優(yōu)選實(shí)施方式，步驟(e4b)包括:(e4c)采樣所述點(diǎn)對描述符；(e4d)使用數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)結(jié)構(gòu)將采樣的點(diǎn)對描述符映射到點(diǎn)對的一列表。優(yōu)選地，在步驟(e4d)中，將哈希表用作數(shù)據(jù)結(jié)構(gòu)。
[0022]根據(jù)優(yōu)選實(shí)施方式，步驟(f)中的計(jì)算包括:(fl)定義所述候選姿勢之間的相鄰關(guān)系；(f2)按照相鄰的候選姿勢的分?jǐn)?shù)的加權(quán)和計(jì)算每個(gè)姿勢的分?jǐn)?shù)；(f3)通過按照在(f2)中所計(jì)算的分?jǐn)?shù)把所述姿勢分等級而選擇一組過濾姿勢。優(yōu)選地，通過取所述姿勢的平移和所述姿勢的旋轉(zhuǎn)的差值的閾值或者通過取所述3D對象上的點(diǎn)在兩種姿勢下可具有的最大距離的閾值來定義所述相鄰關(guān)系。該方法還可以包括以下步驟:按照所述相鄰姿勢上的平均姿勢再計(jì)算(f3)中所選的姿勢。優(yōu)選地，加權(quán)取決于候選姿勢和當(dāng)前相鄰姿勢。
[0023]優(yōu)選地，本發(fā)明的方法還包括以下步驟:通過優(yōu)化誤差函數(shù)而細(xì)化所述一組過濾姿勢中的每個(gè)姿勢，該誤差函數(shù)基于以下中的一種或兩種:所述姿勢下所述3D場景與所述3D對象之間的距離；所述姿勢下的所述場景強(qiáng)度數(shù)據(jù)與所述模型強(qiáng)度數(shù)據(jù)的一致性。
[0024]優(yōu)選地，本發(fā)明的方法還包括以下步驟:針對該組過濾姿勢中的每個(gè)姿勢計(jì)算分?jǐn)?shù)，其中，該分?jǐn)?shù)描述所述姿勢下3D場景與3D對象之間的一致性。
[0025]優(yōu)選地，本發(fā)明的方法還包括以下步驟:針對最終姿勢中的每個(gè)姿勢計(jì)算分?jǐn)?shù)。優(yōu)選地，所計(jì)算的分?jǐn)?shù)為3D場景中的在所計(jì)算的姿勢下位于3D對象的表面上的點(diǎn)的數(shù)量。
【專利附圖】

【附圖說明】
[0026]結(jié)合附圖，從以下詳細(xì)描述中將更全面地理解本發(fā)明，附圖中:
[0027]圖1示出如何通過均勻采樣使3D數(shù)據(jù)正則化；
[0028]圖2示出可以如何描述3D點(diǎn)與圖像點(diǎn)之間的關(guān)系；
[0029]圖3示出對象坐標(biāo)系、局部坐標(biāo)系和使用局部坐標(biāo)的場景坐標(biāo)系之間的變換。
【具體實(shí)施方式】
[0030]符號和定義
[0031]以下所有數(shù)據(jù)被認(rèn)為是可以以電子形式使用，優(yōu)選地為數(shù)字的。所描述的方法和算法被認(rèn)為是以電子形式的且可用計(jì)算機(jī)實(shí)現(xiàn)的。
[0032]在以下符號中，3D點(diǎn)為3D空間中具有三個(gè)坐標(biāo)值的點(diǎn)。每個(gè)3D點(diǎn)指的是坐標(biāo)系，最值得注意的坐標(biāo)系為限定3D場景數(shù)據(jù)的場景坐標(biāo)系和限定所關(guān)注的3D對象的對象坐標(biāo)系。3D向量為3D空間中具有三個(gè)坐標(biāo)值的向量。在表面上一點(diǎn)處的3D法向量為3D空間中具有1歐幾里德長度且在給定點(diǎn)處垂直于該表面的向量。3D點(diǎn)云為一組3D點(diǎn)。定向的3D點(diǎn)云為其中的3D法向量與每個(gè)點(diǎn)都相關(guān)聯(lián)的3D點(diǎn)云。3D剛性變換為保持點(diǎn)距離的3D點(diǎn)到3D點(diǎn)的映射，在形式上為映射f，使得對于任意點(diǎn)P、Q，等式P-Q| = |f(P)-f(Q) |成立。每個(gè)3D剛性變換可分解成旋轉(zhuǎn)和平移，其中，首先對變元點(diǎn)應(yīng)用旋轉(zhuǎn)，然后對結(jié)果應(yīng)用平移。形式上，可將每個(gè)3D剛性變換分解成3D旋轉(zhuǎn)R和3D向量T，從而使f (P) =R(P)+T。
[0033]3D數(shù)據(jù)正則化為一種將3D中的表面變換為一組3D點(diǎn)的方法，該組3D點(diǎn)均勻地分布在所述表面上，如圖1所示。在優(yōu)選實(shí)施方式中，3D數(shù)據(jù)正則化為這樣一種方法:將(a)描述3D中的2D表面的3D數(shù)據(jù)101和(b)采樣距離d作為輸入；輸出一組3D點(diǎn)102，該組3D點(diǎn)102具有如下性質(zhì):(a)其僅包括也在輸入的3D數(shù)據(jù)的表面上的點(diǎn)，(b)在形成的點(diǎn)云中的所有對點(diǎn)具有至少為d的距離，以及(c)在輸入的3D數(shù)據(jù)中的每個(gè)點(diǎn)都具有在輸出組中的點(diǎn)，該點(diǎn)具有至多為d的距離。在本發(fā)明的優(yōu)選實(shí)施方式中，對于3D點(diǎn)組，只是當(dāng)輸出云中已沒有點(diǎn)比采樣距離更接近新點(diǎn)的時(shí)候，才通過迭代該組輸入點(diǎn)并將每個(gè)點(diǎn)都添加到輸出組中來產(chǎn)生具有預(yù)期性質(zhì)的正則化的點(diǎn)組。通過將每個(gè)面采樣成一組點(diǎn)并如前所述處理形成的點(diǎn)組來變換3D的CAD模型。在替選實(shí)施方式中，通過從表面上隨機(jī)地選擇點(diǎn)來使3D數(shù)據(jù)正則化。在另一替選實(shí)施方式中，法線方向用于正則化，其中，子采樣點(diǎn)組在高曲率的區(qū)域中是更密集的。在優(yōu)選實(shí)施方式中，計(jì)算從3D數(shù)據(jù)的表面所選擇的點(diǎn)的曲面法線103。
[0034]對輸入的點(diǎn)云進(jìn)行正則化通常產(chǎn)生具有較少量點(diǎn)的云，該云仍能很好地表示原始云。本發(fā)明在脫機(jī)階段和聯(lián)機(jī)階段中都使用正則化，用以有效地減少點(diǎn)的數(shù)量，從而產(chǎn)生更快速的性能。這對于局部參數(shù)空間的采樣也是重要的，如下所述。在優(yōu)選實(shí)施方式中，明確地相對于對象的直徑而參數(shù)化采樣距離d，其中，該直徑為3D對象上的兩點(diǎn)之間的最大距離。令Dtjw為對象的直徑，則利用τ d使采樣距離d參數(shù)化成d= τ d 在替選實(shí)施方式中，用戶給出采樣因子。在另一替選實(shí)施方式中，根據(jù)先驗(yàn)信息(例如3D數(shù)據(jù)的噪聲級)設(shè)置采樣因子。
[0035]場景的強(qiáng)度數(shù)據(jù)或?qū)ο蟮膹?qiáng)度數(shù)據(jù)為從一個(gè)或多個(gè)給定視點(diǎn)和觀察方向上，通過測量從場景或?qū)ο笏l(fā)出的光的量而獲得的所述場景或?qū)ο蟮耐庥^。通常以強(qiáng)度圖像的形式來表示強(qiáng)度數(shù)據(jù)。對于真實(shí)場景或?qū)ο?，通常使用成像設(shè)備(例如相機(jī))來捕獲強(qiáng)度數(shù)據(jù)。此外，可以通過將3D數(shù)據(jù)渲染成虛擬視圖而從所述3D數(shù)據(jù)合成地創(chuàng)建強(qiáng)度數(shù)據(jù)。這種渲染成的視圖的可能質(zhì)量取決于所提供的3D數(shù)據(jù)的類型和質(zhì)量?？梢岳酶郊拥募y理信息增補(bǔ)3D數(shù)據(jù)，紋理信息可以用在渲染過程中，以創(chuàng)建3D數(shù)據(jù)的更逼真的圖像。強(qiáng)度數(shù)據(jù)可以包括一個(gè)或多個(gè)數(shù)據(jù)通道，每個(gè)通道代表場景或?qū)ο蟮耐庥^的過濾后的形式。通常，多通道代表光的不同波長，且例如允許彩色形式的場景或?qū)ο?。通常，使用像素?D網(wǎng)格來表示強(qiáng)度數(shù)據(jù)。在下文中，該2D網(wǎng)格內(nèi)的位置也被稱為強(qiáng)度數(shù)據(jù)中的點(diǎn)、圖像內(nèi)的位置或圖像內(nèi)的坐標(biāo)。
[0036]特征點(diǎn)為強(qiáng)度數(shù)據(jù)中的點(diǎn)。特征點(diǎn)可以在整個(gè)強(qiáng)度數(shù)據(jù)中密集地或均勻地分布，或者可以在強(qiáng)度數(shù)據(jù)內(nèi)的突出位置處定位。從文獻(xiàn)得知許多不同類型的特征點(diǎn)。通常在存在噪聲、雜波、閉塞和其它干擾時(shí)，將特征點(diǎn)設(shè)計(jì)成具有穩(wěn)定的且可重復(fù)的位置。在優(yōu)選實(shí)施方式中，將邊緣點(diǎn)用作為特征點(diǎn)。在優(yōu)選實(shí)施方式中，使用Canny邊緣提取器(Canny, J.，A Computational Approach To Edge Detection, IEEE Transactions onPattern Analysis and Machine Intelligence, 8 (6):679-698, 1986)。在替選實(shí)施方式中，可以使用任何其它類型的特征點(diǎn)。
[0037]特征描述符為在特征點(diǎn)周圍的區(qū)域中的強(qiáng)度數(shù)據(jù)的壓縮描述符。通常，特征描述符用于通過從強(qiáng)度數(shù)據(jù)的一部分中提取最有表現(xiàn)力的信息而利用壓縮感描述所述部分。特征描述符通常用于識別在其它位置或視圖中的強(qiáng)度數(shù)據(jù)的類似部分，或者用于識別在不同強(qiáng)度圖像中的相同的空間部分。在優(yōu)選實(shí)施方式中，將在特征點(diǎn)的位置處的強(qiáng)度數(shù)據(jù)的梯度方向用作特征描述符。在替選實(shí)施方式中，可將在特征點(diǎn)的位置處的強(qiáng)度值用作特征描述符。在其它替選實(shí)施方式中，可使用任何其它種類的特征描述符?？蓪⒍鄠€(gè)不同的特征描述符組合成單個(gè)特征描述符。
[0038]點(diǎn)對描述符為描述一對點(diǎn)的值的列表，其中，該對點(diǎn)中的一點(diǎn)為3D點(diǎn)，另一點(diǎn)為特征點(diǎn)。在優(yōu)選實(shí)施方式中，首先獲得3D點(diǎn)在強(qiáng)度數(shù)據(jù)內(nèi)的位置。于是，該點(diǎn)對描述符包括強(qiáng)度數(shù)據(jù)的圖像平面內(nèi)的兩點(diǎn)之間的距離、邊緣方向與兩點(diǎn)間的差向量之間的角度、3D點(diǎn)的法向量與差向量之間的角度、以及法向量與朝向強(qiáng)度數(shù)據(jù)的投影中心(通常為相機(jī)中心)的方向之間的角度。在另一優(yōu)選實(shí)施方式中，特征點(diǎn)的附加特征描述符和3D點(diǎn)的附加特征描述符包括在點(diǎn)對描述符中。在替選實(shí)施方式中，局部特性(例如在兩點(diǎn)處的表面的顏色、在兩點(diǎn)處的曲率和其它幾何特性)、以及在【背景技術(shù)】部分中所提及的局部點(diǎn)描述符可以包括在點(diǎn)對描述符中。在替選實(shí)施方式中，可以使用其它測量值來描述這兩個(gè)點(diǎn)及其關(guān)系，而不脫離本發(fā)明的范圍。向點(diǎn)對描述符添加更多信息將增大其區(qū)別不同對點(diǎn)的能力，但也增大了其復(fù)雜度，從而增大了計(jì)算、儲存或處理描述符的復(fù)雜度。
[0039]在優(yōu)選實(shí)施方式中，如圖2所示，具有法線\且位于強(qiáng)度圖像內(nèi)的r處且從方向v r上可見的3D點(diǎn)P和具有邊緣法線ei的邊緣點(diǎn)e的點(diǎn)對描述符F的形式定義為
[0040](1) F (P, e, nr, ed) = ( r~e | /Pz, Z (ed, r~e)，Z (nr, P^P!)，Z ( v r, nr))
[0041]其中，Z (a, b)表示兩個(gè)向量之間的角度。
[0042]米樣的點(diǎn)對描述符為點(diǎn)對描述符的米樣形式。在優(yōu)選實(shí)施方式中，以相同大小的間隔對點(diǎn)對描述符的四個(gè)項(xiàng)目進(jìn)行采樣以產(chǎn)生采樣的點(diǎn)對描述符。采樣的點(diǎn)對描述符的形式定義如下:令α,為用于角度值的間隔的數(shù)量且4=360° /na。令d為如上所述的距離采樣因子，且令[X』為小于X的最大整數(shù)值，則點(diǎn)對特征F (P, e, nr, ed) = (F” F2, F3, F4)的采樣形
式Fs (P, e, nr, ed)被定義為
[0043]
【權(quán)利要求】
1.一種用于利用3D場景數(shù)據(jù)和場景強(qiáng)度數(shù)據(jù)識別3D對象的實(shí)體和確定所述實(shí)體的3D姿勢的方法，所述方法包括以下步驟: a)提供3D對象數(shù)據(jù)并獲得對象強(qiáng)度數(shù)據(jù)； b)提供3D場景數(shù)據(jù)和場景強(qiáng)度數(shù)據(jù)； c)從所述強(qiáng)度數(shù)據(jù)中提取場景特征點(diǎn)； d)從所述3D場景數(shù)據(jù)中選擇至少一個(gè)參考點(diǎn)； e)在假設(shè)所述參考點(diǎn)為所述3D對象的一部分的情況下，針對每個(gè)所選的參考點(diǎn)，通過最大化所提取的場景特征點(diǎn)的數(shù)量而為所述3D對象計(jì)算候選姿勢，在給定的候選姿勢下，所述所提取的場景特征點(diǎn)與所述3D對象一致； f)從所述候選姿勢中計(jì)算一組過濾姿勢。
2.如權(quán)利要求1所述的方法，其中，在步驟a)中，通過從所述3D對象數(shù)據(jù)合成地創(chuàng)建強(qiáng)度數(shù)據(jù)來獲得所述對象強(qiáng)度數(shù)據(jù)。
3.如權(quán)利要求1所述的方法，其中，在步驟a)中，提供所述對象強(qiáng)度數(shù)據(jù)。
4.如權(quán)利要求1所述的方法，其中，步驟a)包括從所述3D對象數(shù)據(jù)和對象強(qiáng)度數(shù)據(jù)計(jì)算模型。
5.如權(quán)利要求4所述的方法，其中，步驟a)包括: al)從所述3D對象數(shù)據(jù)中選擇至少一個(gè)樣本點(diǎn)； a2)從所述對象強(qiáng)度數(shù)據(jù)中提取對象特征點(diǎn)； a3)針對每對所選的樣本點(diǎn)和所提取的對象特征點(diǎn)，計(jì)算描述這兩個(gè)點(diǎn)及這兩個(gè)點(diǎn)的關(guān)系的點(diǎn)對描述符； a4)創(chuàng)建存儲利用所述點(diǎn)對描述符來索引的點(diǎn)對的模型。
6.如權(quán)利要求5所述的方法，其中，步驟a4)包括: a4a)米樣所述點(diǎn)對描述符； a4b)創(chuàng)建全局模型描述,所述全局模型描述將每個(gè)米樣的點(diǎn)對描述符映射到點(diǎn)對的一列表，其中，每列表包含具有類似的米樣的點(diǎn)對描述符的所有對所選的樣本點(diǎn)和所提取的對象特征點(diǎn)。
7.如權(quán)利要求1至6中任一項(xiàng)所述的方法，其中，在步驟d)中，從所述3D場景數(shù)據(jù)中隨機(jī)地選擇所述參考點(diǎn)，或者通過均勻地采樣所述3D場景數(shù)據(jù)來選擇所述參考點(diǎn)。
8.如權(quán)利要求1至7中任一項(xiàng)所述的方法，其中，在步驟e)中，為每個(gè)候選姿勢計(jì)算分?jǐn)?shù)值。
9.如權(quán)利要求8所述的方法，其中，使用決策方案計(jì)算所述候選姿勢。
10.如權(quán)利要求9所述的方法，其中，所述決策方案包括以下步驟: el)采樣可能的對象姿勢的空間； e2)針對每個(gè)姿勢空間樣本，創(chuàng)建計(jì)數(shù)器；e3)從所述所提取的場景特征點(diǎn)中選擇至少一個(gè)場景特征點(diǎn)；e4)針對每個(gè)所選的場景特征點(diǎn)，計(jì)算匹配姿勢，使得所述參考點(diǎn)位于所述3D對象的表面上且所述場景特征點(diǎn)與所述3D對象一致； e5)針對在步驟e4)中所計(jì)算的每個(gè)匹配姿勢，增大相應(yīng)的姿勢空間樣本的計(jì)數(shù)器； e6)檢測采樣的姿勢空間中的達(dá)到峰值的計(jì)數(shù)器值，并選擇相應(yīng)的姿勢空間樣本作為候選姿勢。
11.如權(quán)利要求10所述的方法，其中，在步驟el)中，利用兩個(gè)參數(shù)表示可能的對象姿勢的空間，其中，第一個(gè)參數(shù)為所述3D對象上的點(diǎn)，第二個(gè)參數(shù)為角度。
12.如權(quán)利要求11所述的方法，其中，將所述3D對象上的點(diǎn)表示成到從所述3D對象數(shù)據(jù)中所選的一組點(diǎn)的索引，通過將一組角度分成等大小的間隔來采樣所述角度。
13.如權(quán)利要求10所述的方法，其中，在步驟a)中，從所述對象強(qiáng)度數(shù)據(jù)中提取對象特征點(diǎn)。
14.如權(quán)利要求13所述的方法，其中，在步驟e4)中，使用數(shù)據(jù)結(jié)構(gòu)計(jì)算所述匹配姿勢，所述數(shù)據(jù)結(jié)構(gòu)允許搜索類似于所述參考點(diǎn)與所述所選的場景特征點(diǎn)的對的3D對象點(diǎn)與對象特征點(diǎn)的對。
15.如權(quán)利要求14所述的方法，其中，搜索類似的點(diǎn)對的步驟包括以下步驟:e4a)計(jì)算描述所述參考點(diǎn)、所述所選的場景特征點(diǎn)及所述參考點(diǎn)和所述所選的場景特征點(diǎn)的關(guān)系的點(diǎn)對描述符；e4b)將所述點(diǎn)對描述符用作到所述數(shù)據(jù)結(jié)構(gòu)的索引。
16.如權(quán)利要求15所述的方法，其中，步驟e4b)包括:e4c)米樣所述點(diǎn)對描述符；e4d)使用數(shù)據(jù)結(jié)構(gòu)，所述數(shù)據(jù)結(jié)構(gòu)將采樣的點(diǎn)對描述符映射到3D對象點(diǎn)與對象特征點(diǎn)的對的列表。
17.如權(quán)利要求16所述的方法，其中，在步驟e4d)中，將哈希表用作為數(shù)據(jù)結(jié)構(gòu)。
18.如權(quán)利要求9至17中任一項(xiàng)所述的方法，其中，步驟f)中的計(jì)算包括:fl)定義所述候選姿勢之間的相鄰關(guān)系；f2)按照相鄰的候選姿勢的分?jǐn)?shù)的加權(quán)和計(jì)算每個(gè)姿勢的分?jǐn)?shù)；f3)通過按照在f2)中所計(jì)算的分?jǐn)?shù)把所述姿勢分等級而選擇所述一組過濾姿勢。
19.如權(quán)利要求18所述的方法，其中，通過取所述姿勢的平移和所述姿勢的旋轉(zhuǎn)的差值的閾值或者通過取所述3D對象上的點(diǎn)在兩種姿勢下能夠具有的最大距離的閾值來定義所述相鄰關(guān)系。
20.如權(quán)利要求18所述的方法，還包括以下步驟:按照所述相鄰姿勢上的平均姿勢再計(jì)算f3)中所選的姿勢。
21.如權(quán)利要求1至20中任一項(xiàng)所述的方法，還包括以下步驟:通過優(yōu)化基于所述姿勢下的所述3D場景與所述3D對象之間的距離的誤差函數(shù)而細(xì)化所述一組過濾姿勢中的每個(gè)姿勢。
22.如權(quán)利要求1至20中任一項(xiàng)所述的方法，還包括以下步驟:通過優(yōu)化基于所述姿勢下的所述場景強(qiáng)度數(shù)據(jù)與所述模型強(qiáng)度數(shù)據(jù)的一致性的誤差函數(shù)而細(xì)化所述一組過濾姿勢中的每個(gè)姿勢。
23.如權(quán)利要求1 至20中任一項(xiàng)所述的方法，還包括以下步驟:通過優(yōu)化基于所述姿勢下的所述3D場景與所述3D對象之間的距離和所述場景強(qiáng)度數(shù)據(jù)與所述模型強(qiáng)度數(shù)據(jù)的一致性的誤差函數(shù)而細(xì)化所述一組過濾姿勢中的每個(gè)姿勢。
24.如權(quán)利要求1至23中任一項(xiàng)所述的方法，其中，在步驟c)中，將邊緣點(diǎn)用作場景特征點(diǎn)。
25 .如權(quán)利要求24所述的方法，還包括步驟Cl):使用所述3D場景數(shù)據(jù)進(jìn)一步過濾所述邊緣點(diǎn)。
【文檔編號】G06K9/62GK103729643SQ201310418597
【公開日】2014年4月16日 申請日期:2013年9月13日 優(yōu)先權(quán)日:2012年10月12日
【發(fā)明者】伯特倫·德羅斯特, 馬庫斯·烏爾里希 申請人:Mv科技軟件有限責(zé)任公司