來自兩個相機的曲線組的結(jié)構(gòu)化光匹配的制作方法
【專利摘要】本發(fā)明公開一種用于匹配兩個相機獲取到的同一場景的兩個圖像之間的點的方法，所述方法包括：從所述圖像的反射中提取斑點并分別用唯一標(biāo)識符標(biāo)注所述斑點；選擇選定外極面并在各所述圖像上定義共軛極線；識別可信組合，其包括投影圖案的光片標(biāo)簽和針對選自各所述圖像的所述斑點中可信斑點的所述唯一標(biāo)識符；針對每一個所述可信組合計算匹配誤差；針對至少一些外極面重復(fù)所述選擇、識別和計算的步驟；通過計算所述可信組合的品質(zhì)因數(shù)確定最有可能的組合；從所述最有可能的組合中識別出所述幀內(nèi)的匹配點。
【專利說明】
來自兩個相機的曲線組的結(jié)構(gòu)化光匹配
技術(shù)領(lǐng)域
[0001]本發(fā)明大體上涉及物體的曲面幾何形態(tài)的三維掃描領(lǐng)域，具體涉及結(jié)構(gòu)化光立體視覺。
【背景技術(shù)】
[0002]物體的曲面幾何形態(tài)的三維掃描和數(shù)字化常用于許多行業(yè)和服務(wù)中，其應(yīng)用十分廣泛。此類應(yīng)用的例子包括工業(yè)生產(chǎn)系統(tǒng)中形狀一致性的檢查和測量、具有復(fù)雜幾何形態(tài)的現(xiàn)有零件的逆向工程、生物統(tǒng)計學(xué)等等。
[0003]使用測距傳感器來掃描和數(shù)字化物體的形狀，所述測距傳感器測量其與曲面上一組點之間的距離。距離傳感器已經(jīng)發(fā)展出不同的工作原理。其中，基于三角測量的距離傳感器，一般適用于近距離測量，例如幾米以內(nèi)的距離。使用這種類型的儀器，可相隔基線距離的兩個不同視角獲得匯聚到物體相同特征點上的至少兩條光線。從基線和兩個光線方向，可以恢復(fù)觀察點的相對位置。兩條光線的交叉使用三角形一邊的長度和兩個角來確定，實際上是利用了立體視覺中三角測量的原理。立體視覺中的挑戰(zhàn)是如何有效地識別構(gòu)成幀的立體像對的每個圖像中哪些像素相互對應(yīng)。這個問題對于便攜式或手持式掃描儀尤其重要，在最為普遍的情況下，這些設(shè)備要求所有用于匹配的必要信息都必須存在于單個幀內(nèi)。
[0004]為簡化匹配的問題，可以將其中一個光探測器替換為光投影器來輸出一組已知方向上的光線。在這種情況下，可以利用投影光線以及反射在物體曲面上每個檢測到的光線的方位來找到匹配點。于是可計算出每個觀測特征點相對于三角形基準(zhǔn)的坐標(biāo)。
[0005]雖然可以采用專業(yè)光探測器，但是數(shù)字CXD相機或CMOS相機也被普遍使用。
[0006]用于投影器的光源可以為相干光源(激光)或非相干光源(例如白光)，用來投影點、光平面或許多其他可能的圖案。雖然使用光投影器利于檢測物體曲面上遍布的反射點，但是圖案越復(fù)雜，有效識別出相應(yīng)的像素和光線所面臨的挑戰(zhàn)就越大。
[0007]出于這個原因，將進一步利用投影幾何理論中的屬性。至少30年以來本領(lǐng)域眾所周知的是，在兩個視角的情況下，可以利用外極約束來限制僅在單一直線上搜索對應(yīng)像素，而不是在整個圖像中搜索。這一原則在被動和主動(使用投影器)立體視覺中廣為利用。美國第8032327號專利描述了這種用法的一個實例，其中，激光投影器將兩個垂直光平面投影為十字準(zhǔn)線圖案，其曲面上的反射由兩個相機捕獲。投影薄單色條紋有利于獲得良好的信噪比并簡化圖像處理，從而獲得每個單一幀的三維點。具有每個相機可觀察到的單條紋可以確保每條外極線與所述條紋相交一次，從而避免匹配模糊。
[0008]為了減少捕獲物體的曲面形狀所需的時間，需要提高幀率或增加同時投影的條紋數(shù)量，或兩者同時進行。先前提出過一種利用投影條紋網(wǎng)格的方法。投影網(wǎng)格是進一步強調(diào)曲面重構(gòu)，原因在于投影圖案可在物體曲面產(chǎn)生曲線網(wǎng)絡(luò)，其中兩個方向上的正切曲線可用于測量曲面法線。曲面法線信息可有效用于三維測量中的實時曲面重構(gòu)，如美國第7487063號專利所述。增加條紋數(shù)量有利于提高掃描速度，但隨著條紋數(shù)量的增加，應(yīng)用三角測量之前匹配圖像點的復(fù)雜性呈指數(shù)級增長，且在某些情況下引入了不能解決的模糊問題。
[0009]—種解決模糊的方法在于添加一個或多個相機，但硬件復(fù)雜度會增加，且針對給定帶寬的幀率限制會降低?，F(xiàn)已提出利用一個或兩個相機的方法來匹配來自投影網(wǎng)格的點。反射曲線的交叉可以分割和識別曲線段的連接網(wǎng)絡(luò)，從而設(shè)置額外的匹配約束。然而，兩條曲線的交叉附近提取的點不太精確。"附近"意味著在一距離范圍內(nèi)，在此范圍內(nèi)來自兩條曲線的像素的圖像處理算子相互干擾。為了維持準(zhǔn)確性，需要丟棄從而失去這些點。
[0010]交替產(chǎn)生兩組不相交曲線將有助于從曲面切線提取的曲面法線方位中得益，同時避免單個幀中網(wǎng)格的投影。然而，所述匹配仍面臨挑戰(zhàn)。一種解決辦法在于投影彩色條紋。然而，對一些材料的顏色反射率會損害匹配的質(zhì)量，并且投影器需要變得更加復(fù)雜。另一種方法規(guī)定了將物體定位在平面背景中，其必須在每個幀中均可見。這顯然限制了系統(tǒng)的靈活性，尤其是要求現(xiàn)場進行物體測量且同時不會干擾環(huán)境。
[0011]仍然需要一種方案來獨立解決每個單一幀的匹配問題，其僅利用兩個相機及可變的投影圖案，且對觀察到的場景沒有特定約束。

【發(fā)明內(nèi)容】

[0012]根據(jù)一個廣泛的方面，提供了一種用于利用斑點連續(xù)性來匹配圖像中點的方法。
[0013]根據(jù)一個廣泛的方面，提供了一種用于匹配兩個相機獲取到的同一場景的兩個圖像之間的點的方法，所述方法包括:從所述圖像中的反射提取斑點并分別用唯一標(biāo)識符標(biāo)注所述斑點;選擇選定外極面并在各所述圖像上定義共軛極線;識別可信組合，其包括所述投影圖案的光片標(biāo)簽和針對選自各所述圖像的所述斑點中可信斑點的所述唯一標(biāo)識符;針對每一個所述可信組合計算匹配誤差;針對至少一些外極面重復(fù)所述選擇、識別和計算的步驟;通過計算所述可信組合的品質(zhì)因數(shù)確定最有可能的組合;從所述最有可能的組合中識別出所述幀內(nèi)的匹配點。
[0014]根據(jù)另一廣泛的方面，提供了一種用于匹配兩個相機同時獲取到的同一場景的兩個圖像之間的點的方法，所述的兩個圖像形成幀，所述圖像各包含所述場景的投影圖案的反射，所述投影圖案由光投影器單元提供，所述光投影器單元將片光投影到所述場景，所述相機和投影器單元在常用的坐標(biāo)系統(tǒng)中標(biāo)定，所述方法包括:從所述圖像中的所述反射提取斑點并分別用唯一標(biāo)識符標(biāo)注所述斑點;從外極面組選擇選定外極面并在各所述圖像上定義共軛極線；識別可信組合，所述可信組合包括所述投影圖案的光片標(biāo)簽和針對選自各所述圖像的所述斑點中可信斑點的所述唯一標(biāo)識符;針對每一個所述可信組合計算匹配誤差;針對所述外極面組的每個外極面重復(fù)所述選擇、識別和計算的步驟;通過使用針對所述外極面組的每個外極面的匹配誤差計算所述可信組合的品質(zhì)因數(shù)以確定最有可能的組合；從所述最有可能的組合中識別出所述幀內(nèi)的匹配點。
[0015]根據(jù)又一廣泛的方面，提供了一種用于匹配同一場景的兩個圖像之間的點的系統(tǒng)，其包括:光投影器單元，用于將片光投影到場景上從而在所述場景上提供投影圖案;兩個相機，用于同時獲取所述場景的所述兩個圖像，所述兩個圖像形成幀，所述相機和投影器單元在常用的坐標(biāo)系統(tǒng)中標(biāo)定，所述圖像各包含所述場景上所述投影圖案的反射;處理器，用于從所述圖像中的所述反射提取斑點并分別用唯一標(biāo)識符標(biāo)注所述斑點；從外極面組選擇選定外極面并在各所述圖像上定義共軛極線；識別可信組合，所述可信組合包括所述投影圖案的光片標(biāo)簽和針對選自各所述圖像的所述斑點中可信斑點的所述唯一標(biāo)識符，所述可信斑點與所述共軛極線相交;針對每一個所述可信組合計算匹配誤差;針對所述外極面組的每個外極面重復(fù)所述選擇、識別和計算的步驟;通過使用針對所述外極面組的每個外極面的匹配誤差計算所述可信組合的品質(zhì)因數(shù)以確定最有可能的組合;從所述最有可能的組合中識別出所述幀內(nèi)的匹配點。
[0016]根據(jù)另一廣泛的方面，提供了一種計算機實現(xiàn)的方法，由至少一個計算機處理器執(zhí)行以用于匹配同一場景的兩個圖像之間的點，所述方法包括:檢索傳感器獲取的兩個圖像，所述兩個圖像形成在所述場景和所述傳感器間單一相對位置上捕獲的幀，所述圖像各包含所述場景上投影圖案的反射;從所述圖像中的所述反射提取斑點并分別用唯一標(biāo)識符標(biāo)注所述斑點；從外極面組選擇選定外極面并在各所述圖像上定義共軛極線；識別可信組合，所述可信組合包括所述投影圖案的光片標(biāo)簽和針對選自各所述圖像的所述斑點中可信斑點的所述唯一標(biāo)識符，所述可信斑點與所述共軛極線相交;針對每一個所述可信組合計算匹配誤差;針對所述外極面組的每個外極面重復(fù)所述選擇、識別和計算的步驟;通過使用針對所述外極面組的每個外極面的匹配誤差計算所述可信組合的品質(zhì)因數(shù)以確定最有可能的組合;從所述最有可能的組合中識別出所述幀內(nèi)的匹配點；生成識別所述幀中所述匹配點的輸出。
[0017]根據(jù)又一廣泛的方面，提供了一種計算機程序產(chǎn)品，其包括存儲計算機可執(zhí)行指令的計算機可讀存儲器，當(dāng)所述計算機可執(zhí)行指令由至少一個計算機處理器執(zhí)行時，可實現(xiàn)上述方法步驟。
[0018]在一個實施例中，傳感器具有兩個相機和光投影器單元，所述投影圖案由所述光投影器單元提供，所述光投影器單元將至少一個光片投影至所述場景，相機和光投影器單元在常用的坐標(biāo)系統(tǒng)中標(biāo)定。
[0019]在一個實施例中，所述方法進一步包括驗證匹配點，若品質(zhì)因數(shù)不能滿足匹配閾值的質(zhì)量，則放棄所述匹配點。
[0020]在一個實施例中，所述方法進一步包括對多個幀重復(fù)執(zhí)行所述計算機實現(xiàn)的方法。
[0021]在一個實施例中，所述方法進一步包括使用所述幀中的匹配點計算三維點組。
[0022]在一個實施例中，所述方法進一步包括估計每幀上傳感器的位置以在常用的坐標(biāo)系統(tǒng)中集成所述三維點，其中估算傳感器的位置包括使用至少一個依附場景的目標(biāo)，場景的幾何形態(tài)以及場景的紋理。
[0023]在一個實施例中，所述方法進一步包括利用所述圖像來計算所述三維點組從而獲得三維曲線的片段。
[0024]根據(jù)另一廣泛的方面，提供了一種用于匹配同一場景的兩個圖像之間的點的系統(tǒng)，其包括:傳感器，包括光投影器單元，用于將至少一個光片投影到所述場景上從而在所述場景上提供投影圖案;兩個相機，用于獲取所述場景的所述兩個圖像，所述兩個圖像形成在所述場景和所述傳感器間單一相對位置上捕獲的幀，所述圖像各包含所述場景上投影圖案的反射;其中所述相機和所述光投影器單元在常用的坐標(biāo)系統(tǒng)中標(biāo)定；以及至少一個計算機處理器，其與傳感器進行電子通訊以檢索所述相機獲取的所述兩個圖像;從所述圖像中的所述反射提取斑點并分別用唯一標(biāo)識符標(biāo)注所述斑點；從外極面組選擇選定外極面并在各所述圖像上定義共軛極線；識別可信組合，所述可信組合包括所述投影圖案的光片標(biāo)簽和針對選自各所述圖像的所述斑點中可信斑點的所述唯一標(biāo)識符，所述可信斑點與所述共軛極線相交;針對每一個所述可信組合計算匹配誤差;針對所述外極面組的每個外極面重復(fù)所述選擇、識別和計算的步驟;通過使用針對所述外極面組的每個外極面的匹配誤差計算所述可信組合的品質(zhì)因數(shù)以確定最有可能的組合；以及從所述最有可能的組合中識別出所述幀內(nèi)的匹配點；至少一個計算機輸出，與所述處理器進行電子通訊以生成識別所述幀中所述匹配點的輸出。
[0025]在一個實施例中，所述光投影器單元包括兩個光投影器，其分別向所述場景投影至少一個光片，所述投影圖案由每一幀上所述兩個光投影器其中之一提供，且所述投影圖案分別根據(jù)所述兩個光投影器而不同。
[0026]在一個實施例中，所述至少一個光片是光平面。
[0027]根據(jù)再一個廣泛的方面，提供了一種計算機可讀存儲器，其中記錄有語句和指令，所述語句和指令由至少一個計算機處理器執(zhí)行，且包括:用于檢索傳感器獲取的兩個圖像的代碼工具，所述兩個圖像形成在所述場景和所述傳感器間的單一相對位置上捕獲的幀，所述圖像各包含所述場景上投影圖案的反射;用于從所述圖像中的反射提取斑點并分別用唯一標(biāo)識符標(biāo)注所述斑點的代碼工具；用于從外極面組選擇選定外極面并在各所述圖像上定義共軛極線的代碼工具；用于識別可信組合代碼工具，所述可信組合包括所述投影圖案的光片標(biāo)簽和針對選自各所述圖像的所述斑點中可信斑點的所述唯一標(biāo)識符，所述可信斑點與所述共軛極線相交；用于針對每一個所述可信組合計算匹配誤差的代碼工具；用于針對所述外極面組的每個外極面重復(fù)所述選擇、識別和計算的步驟的代碼工具；用于通過使用針對所述外極面組的每個外極面的匹配誤差計算所述可信組合的品質(zhì)因數(shù)以確定最有可能的組合的代碼工具；用于從所述最有可能的組合中識別所述幀內(nèi)的匹配點的代碼工具；用于生成識別所述幀中所述匹配點的輸出的代碼工具。
【附圖說明】
[0028]本文的上述特點及目的根據(jù)以下描述結(jié)合附圖將變得更加明顯，其中相同元件符號指代相同元件，其中:
[0029]圖1包括圖1A和圖1B，其中圖1A是具有光投影器單元的示例系統(tǒng)配置的圖解，圖1B是具有包括兩個光投影器的光投影器單元的示例系統(tǒng)配置的圖解；
[0030]圖2是用于投影一組光平面的光投影器單元的圖解；
[0031]圖3是從平坦曲面反射的兩個組合圖案的圖解；
[0032]圖4是外極面覆蓋場景的代表；
[0033]圖5描述了圖像的視角，投影圖案和其在物體上的反射；
[0034]圖6是來自兩個相機和光投影器單元的光線交叉場的代表；
[0035]圖7包括圖7A和圖7B，其中圖7A描述了一種測量匹配質(zhì)量的方法，圖7B描述了另一種測量匹配質(zhì)量的方法；
[0036]圖8描述了針對一組斑點的匹配誤差圖。
[0037]圖9是用于匹配和產(chǎn)生三維點的示例方法的流程圖；
[0038]圖10是用于匹配和產(chǎn)生三維點的系統(tǒng)的主要示例組件的方塊圖。
【具體實施方式】
[0039]為了有效地使用兩個照相機查找每個幀中的匹配，提出了一種系統(tǒng)和計算機實現(xiàn)的方法。
[0040]圖1例示了傳感器100的示例實施例。一個或多個光投影器單元130安裝于兩個相機110之間。每個相機110具有視場120。每個光投影器單元130在各自跨度140內(nèi)投影圖案，標(biāo)注為140a和140b。在圖1A中，光投影器單元130包括單一光投影器。在圖1B中，傳感器102具有包括兩個光投影器130a，130b的光投影器單元的不同實施例。光投影器可以是激光投影器，白光投影器等。
[0041]在一個示例實施例中，相機110之間的基線150為170毫米，且相機鏡頭的焦距為5毫米和7毫米。兩個相機的光軸聚散度為30°左右。對于圖2所示的光投影器單元130，光平面的數(shù)目是5，但可有所變化，例如I和15之間或更多。圖2例示了產(chǎn)生5個光平面220的光投影器單元130的示例實施例200，5個光平面220分別標(biāo)注為220a、220b、220c、220d、220e。
[0042]在圖1B的實施例中，兩個光投影器130a，130b定向為產(chǎn)生用于創(chuàng)建曲面上交叉曲線300的不同圖案，如圖3所示。系統(tǒng)會交替投影每個圖案。兩組曲線310和320分別通過投影器 13(^、13015進行投影。其標(biāo)注為31(^、31013、310(3、310(1、31(^和32(^、32013、320(3、320(1和320e。例如，在圖1B的示例實施例中，光投影器130a和130b本身定向為相對于物體呈現(xiàn)一角度，例如+30°和-30°，以產(chǎn)生不同的圖案。
[0043]很容易理解，投影器單元130可以包括可編程的光投影器單元，其可投影光的多個圖案。例如，投影器單元130可以編程為同時或者交替投影兩組相交曲線300和附加光平面。
[0044]相機110和光投影器單元130是在常用的坐標(biāo)系統(tǒng)中進行標(biāo)定的。這意味著測量的是兩個相機110的包括畸變參數(shù)的內(nèi)部參數(shù)，以及外部參數(shù)。每一個所投影的光片是在相同的坐標(biāo)系統(tǒng)中進行標(biāo)定的。在此示例中，光片近似于平面的。也可以在相機鏡頭上附屬帶通濾波器，以匹配投影器的波長。這將減少環(huán)境光和其他光源的干擾。
[0045]使用具有至少一個計算機處理器的這種傳感器100，可以在應(yīng)用以下計算機實現(xiàn)的方法后得到三維點。使用兩個相機110來捕獲同一幀的兩個圖像。兩個圖像同時捕獲，意味著在獲取圖像的期間，場景和傳感器100之間沒有相對位移或者其相對位移是可以忽略不計的。使相機同步以同時捕獲圖像，或在傳感器100對場景的相對位置保持不變或在預(yù)定的可忽略不計的范圍內(nèi)變化的延長時段依次捕獲圖像。這兩種情況都可認(rèn)為是傳感器同時捕獲圖像。
[0046]一旦捕獲同一幀的兩個圖像，則應(yīng)用圖像處理。兩個圖像包含場景中投影圖案從相機110的分別兩個視角的反射。所反射的圖案呈現(xiàn)為每個圖像中的一組曲線段。這些曲線段比圖像中的背景更亮，且可以使用最先進的技術(shù)進行分割。一個技術(shù)在于閾值分割圖像信號。因為曲線輪廓很典型，它在圖像中呈現(xiàn)為頂部輪廓，所以可以應(yīng)用分割驗證。寬度也可以驗證。為了減少噪音的影響，曲線段的長度也將超過設(shè)定為預(yù)定數(shù)量像素的最小閾值，例如2個像素。屬于同一連通分量的像素定義了可用標(biāo)簽進行索引的斑點。剖面的中心位置是在加入這些中心來構(gòu)成一條折線之前針對沿著斑點的每條像素線來進行最終估計的。
[0047]一旦幀的兩個圖像被分割，則選擇一個外極面。圖4展示示例外極面430，其為覆蓋在場景420上的外極面430的圖解400。外極面共享兩個相機Cl和C2的投影中心450和460之間的公共線段。線段C1-C2充當(dāng)定義外極面的旋轉(zhuǎn)軸。因此，外極面組可以在圖像中使用參數(shù)角，或等價地使用像素坐標(biāo)來進行索引。外極面與兩個圖像平面相交，由此定義出兩條共軛極線。在不失普遍性的情況下，假設(shè)圖像的校正立體對，每一圖像線就是外極面的索引。在圖4所示的情況下，場景420是平面的。從投影器P的投影470的中心生成的光線440以虛線表示。從場景420反射的曲線輪廓410顯而易見。其標(biāo)注為410a、410b、410c、410d和410e。
[0048]圖5描繪了在物體上的圖像、投影圖案及其反射的視圖500。對于每個外極面，或等效地對于圖像中像素的每一行，識別與這兩個圖像的當(dāng)前行均交叉的分段斑點以生成每個圖像的斑點索引列表。第一相機Cl由其投影552的中心和其圖像平面540來表示。第二相機C2由其投影554的中心和其圖像平面542來表示。投影器P由其投影470的中心和圖像平面536來表示。投影器的投影470的中心不一定要求位于相機投影552，554的中心之間的基線上，盡管圖5的示例實施例中是此情況。
[0049]圖像平面和外極面之間的交叉550用虛線表示。光線522，520和524屬于相同的外極面。投影器將光平面532投影到物體544，從而產(chǎn)生反射曲線510。然后，此反射曲線510在第一相機Cl捕獲的第一圖像中成像(成像曲線530)，同時也在第二相機C2捕獲的第二圖像中成像(成像曲線534)。接著，反射曲線510上的點546呈現(xiàn)于成像曲線530，534上，且應(yīng)在這些圖像中正確識別和匹配從而允許查找其三維坐標(biāo)。成像曲線530，534與所例示的外極面沿光線522和520相交于交叉550，起始于物體544上的反射曲線510。
[0050]由于光投影器單元和相機在相同的坐標(biāo)系統(tǒng)中標(biāo)定，可將索引三元組進行索引，其中三元組(II，12，IP)由第一圖像Il中曲線的索引，第二圖像12中的候選對應(yīng)曲線的索引以及投影器IP中光片的索引組成?？赡艿慕M合數(shù)量0(N3)是隨著投影圖案中光片數(shù)N增長的，組合數(shù)量的增長量級。為了限制組合的數(shù)量，可分析外極面中線光線的交叉610且為給定的交叉提供誤差測量。圖6是來自兩個相機和投影器的光線交叉場的代表600。光線604和606分別由相機C2和Cl捕獲。由投影器P投影光線602。對于投影器P，使用角度630對光線進行索引。某些交叉610是更有可能的匹配，例如交叉610b，呈現(xiàn)為單點交叉，而其他交叉，例如交叉610a和610c，有較大誤差。
[0051]圖7A和7B說明適用于交叉的兩個示范誤差測量。在圖7A中，誤差測量700是點和三條光線中每一條之間的距離的最小總和。在圖7B中，誤差測量702是兩個相機光線的交叉和投影器光線之間的距離。也可能存在其他變形。在將閾值施加給獲得值后，可信組合的數(shù)量可顯著減少。當(dāng)投影器的光片可以近似為由夾角索引的平面，可在僅保持最靠近的平面的同時有效地計算第二誤差測量。這將匹配復(fù)雜性降低到0(N2)。
[0052]完成這些操作之后，可獲得潛在匹配的三元組列表，其中每組匹配歸因于誤差和外極面的索引。對所有與斑點段交叉的外極面重復(fù)此操作，通常(但不一定)針對校正圖像中的像素的所有行。
[0053]三元組及其相關(guān)的誤差和外極索引則根據(jù)外極索引來追蹤。圖8用曲線802、804、806、808針對四個三元組中每一個繪示了相對于外極索引的誤差圖表800。圖表800合并所有可信三元組的信息。更重要的是，它針對一個給定的三元組集成了沿外極面的斑點的所有信息。因此，例如，在為一給定曲線計算平均誤差之后，可獲得用于匹配對應(yīng)三元組的品質(zhì)因數(shù)。在圖8中，三元組的誤差繪示于曲線806上，會產(chǎn)生本實例中的最佳品質(zhì)因數(shù)。應(yīng)用閾值后，可以進一步驗證平均誤差。也可以通過確保沒有模糊來進行進一步的驗證。事實上，對于短曲線段，可能不止一個三元組會呈現(xiàn)較低的平均誤差。在這種情況下，這場匹配可能會被拒絕。值得注意的是，曲線可局部到達(dá)更低的具有最佳品質(zhì)因數(shù)的曲線的最低點，例如曲線808的情況。這在以下情況下會發(fā)生，例如，當(dāng)所投影的光片沒有完美地標(biāo)定時或當(dāng)圖像中曲線的峰值檢測有較大的誤差時。圖8進一步展示所識別的曲線不一定具有相同的長度。這將取決于這兩個圖像中反射曲線的可見性。
[0054]完成給定幀的匹配步驟后，根據(jù)對每個三元組的觀測值計算三維點。出于此目的，可將三維點與三條光線中任一條之間的空間距離降到最低。然后，假設(shè)以參數(shù)化方式或使用查找表(LUT)來對所投影的光片進行很好地標(biāo)定，以最終獲得更精確的測量。在實際應(yīng)用中，通過商業(yè)光纖組件生產(chǎn)的投影光片可能不會與平面完全對應(yīng)。為此，使用LUT可能更為合適。另一種可能的方法在于僅將來自兩個相機的圖像用于三維點的最終計算。否則可在二維圖像中將三維點的重投影誤差降到最低。如此，則沒有必要精確標(biāo)定投影的平面。此夕卜，在這后一種情況下，三維測量受反射信號的輪廓影響較小，所述反射信號例如是物體曲面的紋理不連續(xù)性等。由此得到的三維點更加精確。計算三維點組后，便可獲得三維曲線段。
[0055]匹配方法900的示例步驟如圖9所示。在兩個圖像中提取斑點(910)。選擇外極面(920)。識別沿選定外極面的所有可信三元組的組合(930)。針對每個三元組的組合計算品質(zhì)因數(shù)(940)。當(dāng)計算所有品質(zhì)因數(shù)時，使用最可信三元組將每個圖像斑點相關(guān)聯(lián)(950)。驗證每個匹配(960)。然后計算三維點組(970)。
[0056]所述方法得益于對多個外極面進行斑點的空間連續(xù)性的匹配而不是沿各個外極面進行獨立匹配。然而，仍有可能存在一些匹配誤差。例如，斑點可在一個圖像中呈現(xiàn)“Y”型結(jié)構(gòu)，因為兩個曲線在特定幾何形態(tài)上有偶發(fā)投影。此外，如果平面的數(shù)量增加，例如超出15個，模糊的數(shù)量也可能增加。然而，當(dāng)如美國第7487063號專利中描述的曲面重建方法將三維點作為輸入時，這些模糊必須從一幀持續(xù)到下一幀來影響曲面。實際上，這種方法可以較好的用于消除異常觀測值，因為曲面是在已獲取多個觀測值的區(qū)域內(nèi)重建的。
[0057]當(dāng)系統(tǒng)集成在移動三維傳感器系統(tǒng)中時，也就是說物體和傳感器之間有相對運動時，系統(tǒng)估計它在每一幀的位置，從而在常用的坐標(biāo)系統(tǒng)中集成三維點。系統(tǒng)可使用目標(biāo)，例如，回歸反射的目標(biāo)，或例如當(dāng)物體是剛性(或“準(zhǔn)剛性”)時使用物體的幾何形態(tài)或紋理來估計傳感器在每一幀的位置。當(dāng)系統(tǒng)進一步集成捕獲紋理的相機時，也可在匹配紋理特征后計算傳感器的姿勢。
[0058]在圖3所示的示例實施例中，這兩組光片投影到平面上時產(chǎn)生兩組曲線310和320，且在此情況下其為平行線。然后，系統(tǒng)以不同方向投影交替光片組。在物體曲面上捕獲的三維曲線段可實現(xiàn)對所觀測物體曲面上的局部切向量的估計。此外，交替光片組的同時，可以沿不同方向計算局部切向量，并且根據(jù)這些三維切向量，可以計算曲面上的曲面法線方向。曲面法線信息可有助于三維曲面重建的改進。
[0059]圖10是展示系統(tǒng)980的示例主要組件的方塊圖。傳感器982包括第一相機984和至少一個第二相機986，以及包括至少一個光投影器的光投影器單元988。幀發(fā)生器990可用于組裝相機在單個幀中捕獲的圖像。傳感器982與至少一個計算機處理器992進行通訊，用于執(zhí)行處理步驟以匹配幀的圖像之間的點。計算機處理器992與輸出設(shè)備994進行電子通訊，以輸出匹配的點和/或任何其他附加或中間輸出。很容易理解的是，有必要輸入數(shù)據(jù)以供處理器992和(或)傳感器982使用?？梢砸虼颂峁┹斎朐O(shè)備996來實現(xiàn)此目的。
[0060]很容易理解的是，雖然此處描述的方法以兩個圖像來執(zhí)行，從而形成三元組組合，每幀可獲得兩個以上的圖像，且所述組合可包含三個以上的元素。此外，如果每幀獲得兩個以上的圖像，可以使用這些圖像的其中兩個的三元組組合來匹配點，且附加圖像可以用于驗證所述匹配。
[0061]以上所述的技術(shù)可以，例如，以硬件、有形地存儲在計算機可讀媒體中的軟件、固件或其任一組合來實現(xiàn)。以上所述的技術(shù)可能以一個或多個執(zhí)行于可編程計算機上的計算機程序來實現(xiàn)，所述可編程計算機包括處理器、處理器可讀的存儲介質(zhì)(包括，例如，易失性和非易失性存儲器和/或存儲元件)、至少一個輸入設(shè)備和至少一個輸出設(shè)備。程序代碼可用于輸入使用輸入設(shè)備鍵入的內(nèi)容從而執(zhí)行所描述的功能并生成輸出。輸出可提供給一個或多個輸出設(shè)備。
[0062]以下權(quán)利要求所請求的范圍內(nèi)的每個計算機程序可以任何編程語言來實現(xiàn)，包括匯編語言、機器語言、高級程序設(shè)計語言或面向?qū)ο蟮木幊陶Z言。編程語言，例如，可為匯編編程語言或解釋性編程語言。
[0063]每個這種計算機程序可以計算機程序產(chǎn)品來實現(xiàn)，所述計算機程序產(chǎn)品切實體現(xiàn)于機器可讀的存儲設(shè)備從而由計算機處理器來執(zhí)行。本發(fā)明的方法步驟可由執(zhí)行程序的計算機處理器來實現(xiàn)，所述程序切實體現(xiàn)于計算機可讀媒體上從而通過對輸入進行操作以及生成輸出來實現(xiàn)本發(fā)明的功能。適合的處理器包括，例如，通用和專用微處理器。通常，處理器從只讀存儲器和隨機存取存儲器接收指令和數(shù)據(jù)。適用于切實體現(xiàn)計算機程序指令的存儲設(shè)備包括，例如，所有形式的非易失性存儲器，如半導(dǎo)體存儲器裝置，包括EPROM、EEPROM以及閃存設(shè)備;磁盤，如內(nèi)部硬盤和可移動磁盤;磁光盤；以及CD-ROM ο專門設(shè)計的專用集成電路(ASIC)或現(xiàn)場可編程門陣列(FPGA)可補充，或并入任何上述分類。計算機通常還可以接收來自存儲介質(zhì)的程序和數(shù)據(jù)，存儲介質(zhì)例如內(nèi)部磁盤(未顯示)或可移動磁盤。這些元件也會出現(xiàn)在傳統(tǒng)臺式計算機、便攜式計算機或工作站計算機、以及適合于執(zhí)行實現(xiàn)本文描述的方法的計算機程序的其他計算機，所述計算機程序的使用可結(jié)合任何數(shù)字打印引擎機或顯像引擎，顯示器，或其他能夠在紙張、薄膜、顯示屏幕，或者其他的輸出介質(zhì)上產(chǎn)生顏色或灰度像素的柵格輸出設(shè)備。也可使用平板電腦、平板手機、智能手機、個人數(shù)字助理、便攜式計算機、膝上型計算機、可穿戴計算機等其他適用于執(zhí)行本文上述計算機程序的移動設(shè)備。
[0064]雖然以上描述涉及到發(fā)明人目前所設(shè)想的示例實施例，可以理解本發(fā)明其廣泛的方面包括本文描述元素的等價物和變體。上文描述的實施例僅為示例性的。因此，本發(fā)明的范圍僅受所附權(quán)利要求的限制。
【主權(quán)項】
1.一種由至少一個計算機處理器執(zhí)行的計算機實現(xiàn)的方法，用于匹配同一場景的兩個圖像之間的點，所述方法包括: 檢索傳感器獲得的兩個圖像，所述兩個圖像形成在所述場景和所述傳感器之間單一相對位置上捕獲的幀，所述圖像各包含所述場景上的投影圖案的反射； 從所述圖像的所述反射中提取斑點并分別用唯一標(biāo)識符標(biāo)注所述斑點； 從一組外極面選擇選定外極面并在各所述圖像上定義共軛極線； 識別可信組合，所述可信組合包括所述投影圖案的光片標(biāo)簽和針對選自各所述圖像的所述斑點中可信斑點的所述唯一標(biāo)識符，所述可信斑點與所述共軛極線相交； 針對每一個所述可信組合計算匹配誤差； 針對所述外極面組的每個外極面重復(fù)所述選擇、識別和計算的步驟； 通過使用針對所述外極面組的每個外極面的所述匹配誤差計算所述可信組合的品質(zhì)因數(shù)以確定最有可能的組合； 從所述最有可能的組合中識別出所述幀內(nèi)的匹配點； 生成識別所述幀中所述匹配點的輸出。2.如權(quán)利要求1所述的方法，其中所述傳感器具有兩個相機和光投影器單元，所述投影圖案由將至少一個光片投影至所述場景的所述光投影器單元提供，所述相機和所述光投影器單元在常用的坐標(biāo)系統(tǒng)中標(biāo)定。3.如權(quán)利要求1和2中任一項所述的方法，進一步包括驗證所述匹配點，若所述品質(zhì)因數(shù)不能滿足匹配閾值的質(zhì)量，則放棄所述匹配點。4.如權(quán)利要求1-3中任一項所述的方法，進一步包括針對多個幀重復(fù)所述計算機實現(xiàn)的方法。5.如權(quán)利要求1-4中任一項所述的方法，進一步包括使用所述幀中所述匹配點來計算三維點組。6.如權(quán)利要求5所述的方法，進一步包括估計每一幀上所述傳感器的位置以在常用的坐標(biāo)系統(tǒng)中集成所述三維點，其中所述估計所述傳感器的所述位置包括使用至少一個附屬于所述場景的目標(biāo)，所述場景的幾何形態(tài)以及所述場景的紋理。7.如權(quán)利要求5所述的方法，進一步包括在所述計算所述三維點組以獲得三維曲線段中利用所述圖像。8.—種用于匹配同一場景的兩個圖像之間的點的系統(tǒng)，包括: 傳感器，其包括: 光投影器單元，將至少一個光片投影至所述場景，從而提供所述場景上的投影圖案；以及 兩個相機，用于獲得所述場景的所述兩個圖像，所述兩個圖像形成在所述場景和所述傳感器之間單一相對位置上捕獲的幀，所述圖像各包含所述場景上的所述投影圖案的反射； 其中所述相機和光投影器單元在常用的坐標(biāo)系統(tǒng)中標(biāo)定；以及 至少一個計算機處理器，其與所述傳感器進行電子通訊，并用于 檢索所述相機獲得的所述兩個圖像； 從所述圖像的所述反射中提取斑點并分別用唯一標(biāo)識符標(biāo)注所述斑點； 從外極面組選擇選定外極面并在各所述圖像上定義共軛極線； 識別可信組合，所述可信組合包括所述投影圖案的光片標(biāo)簽和針對選自各所述圖像的所述斑點中可信斑點的所述唯一標(biāo)識符，所述可信斑點與所述共軛極線相交； 針對每一個所述可信組合計算匹配誤差； 針對所述外極面組的每個外極面重復(fù)所述選擇、識別和計算的步驟； 通過使用針對所述外極面組的每個外極面的所述匹配誤差計算所述可信組合的品質(zhì)因數(shù)以確定最有可能的組合；以及 從所述最有可能的組合中識別出所述幀內(nèi)的匹配點； 至少一個計算機輸出，其與所述處理器進行電子通訊，并用于生成識別所述幀中所述匹配點的輸出。9.如權(quán)利要求8所述的系統(tǒng)，其中所述光投影器單元包括兩個光投影器，每個光投影器將至少一個光片投影至所述場景，所述投影圖案由每一幀上所述兩個光投影器中的一個提供并且所述投影圖案分別根據(jù)所述兩個光投影器而不同。10.如權(quán)利要求8和9中任一項所述的系統(tǒng)，其中所述至少一個光片是光平面。11.一種計算機程序產(chǎn)品，其包括存儲計算機可執(zhí)行指令的計算機可讀存儲器，當(dāng)所述計算機可執(zhí)行指令由至少一個計算機處理器執(zhí)行時，其實現(xiàn)權(quán)利要求1到7中任一項的方法步驟。12.一種計算機可讀存儲器，其中記錄有語句和指令，所述語句和指令由至少一個計算機處理器執(zhí)行，所述語句和指令包括: 用于檢索傳感器獲取的兩個圖像的代碼工具，所述兩個圖像形成在場景和所述傳感器之間的單一相對位置上捕獲的幀，所述圖像各包含所述場景上的投影圖案的反射； 用于從所述圖像的所述反射中提取斑點并分別用唯一標(biāo)識符標(biāo)注所述斑點的代碼工具; 用于從外極面組選擇選定外極面并在各所述圖像上定義共軛極線的代碼工具； 用于識別可信組合的代碼工具，所述可信組合包括所述投影圖案的光片標(biāo)簽和針對選自各所述圖像的所述斑點中可信斑點的所述唯一標(biāo)識符，所述可信斑點與所述共軛極線相交； 用于針對每一個所述可信組合計算匹配誤差的代碼工具； 用于針對所述外極面組的每個外極面重復(fù)所述選擇、識別和計算的步驟的代碼工具；用于通過使用針對所述外極面組的每個外極面的所述匹配誤差計算所述可信組合的品質(zhì)因數(shù)以確定最有可能的組合的代碼工具； 用于從所述最有可能的組合識別出所述幀內(nèi)的匹配點的代碼工具； 用于生成識別所述幀中所述匹配點的輸出的代碼工具。
【文檔編號】G01B11/245GK105960570SQ201580007340
【公開日】2016年9月21日
【申請日】2015年2月4日
【發(fā)明人】德拉甘·圖比克, 馬丁·蘇西, 奧利維爾·吉尼亞克, 安托萬·托馬斯·卡倫
【申請人】形創(chuàng)有限公司