用于重建高密度三維圖像的設(shè)備和方法
【專利摘要】提供了一種用于重建高密度三維(3D)圖像的設(shè)備和方法。所述方法包括：通過對使用第一相機捕獲的第一圖像和使用第二相機捕獲的第二圖像進行匹配，產(chǎn)生初始3D圖像；通過使用包括在初始3D圖像中的多個特征點，從初始3D圖像搜索第一區(qū)域和第二區(qū)域；從分割的第一區(qū)域檢測平面；對分割的第二區(qū)域進行濾波；將檢測到的平面和濾波后的第二區(qū)域進行合成。
【專利說明】用于重建高密度三維圖像的設(shè)備和方法

【技術(shù)領(lǐng)域】
[0001]與示例性實施例一致的設(shè)備和方法涉及一種多相機系統(tǒng)，更具體地，涉及通過針對通過圖像匹配產(chǎn)生的初始三維圖像執(zhí)行平面檢測和平滑，重建高密度三維圖像。

【背景技術(shù)】
[0002]通常，可在兩方面定義三維(3D)圖像。首先，使用深度信息來構(gòu)建3D圖像，使得用戶可感覺到圖像中的一部分跳出屏幕。這里，深度信息是指關(guān)于相機與二維(2D)圖像之間的距離的信息，表示為圖像。因此，通過使用深度信息，2D圖像可被表示為3D圖像。其次，構(gòu)建三維圖像主要用于向用戶提供各種視點以提供一種現(xiàn)實感。


【發(fā)明內(nèi)容】

[0003]技術(shù)問題
[0004]可通過使用雙目相機系統(tǒng)或多視點相機系統(tǒng)來獲得立體圖像。雙目相機系統(tǒng)使用通過使用兩個相機捕獲的左圖像和右圖像來向用戶提供立體感。多視點相機系統(tǒng)通過在空間上合成使用兩個或更多個相機捕獲的圖像，來向用戶提供各種視點。
[0005]技術(shù)方案
[0006]一個或更多個示例性實施例提供一種用于重建高密度三維(3D)圖像的設(shè)備和方法，其中，所述設(shè)備和方法通過針對通過對使用多個相機捕獲的圖像進行匹配而產(chǎn)生的初始3D圖像執(zhí)行平面檢測和平滑來重建高密度3D圖像。
[0007]根據(jù)示例性實施例的一方面，提供了一種重建高密度3D圖像的方法，所述方法包括:通過對使用第一相機捕獲的第一圖像和使用第二相機捕獲的第二圖像進行匹配，產(chǎn)生初始3D圖像；通過使用包括在初始3D中的多個特征點，從初始3D圖像搜索第一區(qū)域和第二區(qū)域；從第一區(qū)域檢測平面；對第二區(qū)域進行濾波；將檢測到的平面和濾波后的第二區(qū)域進行合成。
[0008]有益效果
[0009]如上所述，根據(jù)示例性實施例，對通過對使用多個相機捕獲的圖像進行匹配而產(chǎn)生的初始3D圖像執(zhí)行平面檢測和平滑，從而將初始3D圖像重建為高密度3D圖像。

【專利附圖】

【附圖說明】
[0010]圖1是示出根據(jù)示例性實施例的高密度三維(3D)圖像重建設(shè)備的框圖；
[0011]圖2是示出根據(jù)示例性實施例的圖1的圖像匹配單元的詳細框圖；
[0012]圖3示出根據(jù)示例性實施例的分別使用第一相機和第二相機捕獲的圖1的第一圖像和第二圖像；
[0013]圖4示出根據(jù)示例性實施例的檢測到特征點的圖1的第一圖像和第二圖像；
[0014]圖5是用于解釋根據(jù)示例性實施例的用于圖1的圖像匹配的對極幾何(epipolargeometry)的示意圖；
[0015]圖6是用于解釋根據(jù)示例性實施例的關(guān)于用于圖1的圖像匹配的對極幾何的約束條件的不意圖；
[0016]圖7是示出根據(jù)示例性實施例的圖1的圖像匹配的結(jié)果的拍攝圖像；
[0017]圖8是用于解釋根據(jù)示例性實施例的計算圖1的匹配后的圖像的距離信息的示意圖；
[0018]圖9示出根據(jù)示例性實施例的圖1的初始3D圖像；
[0019]圖10是用于解釋根據(jù)示例性實施例的用于對圖1的初始3D圖像進行分割的圖割算法的不意圖；
[0020]圖11是示出根據(jù)示例性實施例的對來自圖1的輸入圖像的任意圖像進行分割的結(jié)果的不意圖；
[0021]圖12是用于解釋根據(jù)示例性實施例的圖1的平面檢測的曲線圖；
[0022]圖13示出根據(jù)示例性實施例的圖1的初始第一圖像和第二圖像以及從初始第一圖像和第二圖像重建的高密度3D圖像；
[0023]圖14是示出根據(jù)示例性實施例的重建高密度3D圖像的方法的流程圖；
[0024]圖15是示出根據(jù)示例性實施例的圖14的圖像匹配操作的流程圖。
[0025]最佳實施方式
[0026]根據(jù)示例性實施例的一方面，提供了一種重建高密度3D圖像的方法，所述方法包括:通過對使用第一相機捕獲的第一圖像和使用第二相機捕獲的第二圖像進行匹配，產(chǎn)生初始3D圖像；通過使用包括在初始3D圖像中的多個特征點，從初始3D圖像搜索第一區(qū)域和第二區(qū)域；從第一區(qū)域檢測平面；對第二區(qū)域進行濾波；將檢測到的平面和濾波后的第二區(qū)域進行合成。
[0027]所述方法還可包括:在產(chǎn)生初始3D圖像后，將第一圖像和第二圖像中的一個圖像分割為多個部分；將分割信息應(yīng)用于初始3D圖像。
[0028]在搜索第一區(qū)域和第二區(qū)域的步驟中包括:搜索包括數(shù)量上等于或多于設(shè)定數(shù)量的特征點的至少一個第一區(qū)域。
[0029]在搜索第一區(qū)域和第二區(qū)域的步驟中還包括:搜索包括數(shù)量上少于所述設(shè)定數(shù)量的特征點的至少一個第二區(qū)域。
[0030]在濾波的步驟中包括:針對第二區(qū)域，在保持對比度等于或大于設(shè)定值的同時對與特征點的Z坐標相應(yīng)的深度進行平滑。
[0031]在產(chǎn)生初始3D圖像的步驟中包括:從第一圖像和第二圖像提取特征點；對第一圖像的特征點和第二圖像的特征點進行匹配；計算匹配的特征點的3D坐標；產(chǎn)生初始3D圖像。
[0032]在對特征點進行匹配的步驟中包括:在第一圖像中設(shè)置包括特征點的第一窗口 ；搜索亮度與第一窗口的亮度相差最小程度的第二窗口 ；在第二窗口中的至少一個特征點之中，選擇與第一窗口中的特征點最相似的匹配特征點。
[0033]在計算3D坐標的步驟中包括:計算關(guān)于第一圖像和第二圖像的匹配的特征點的二維(2D)坐標；通過使用第一相機和第二相機之間的距離以及第一相機和第二相機相對于特征點的角度，計算匹配的特征點的3D坐標。
[0034]在計算3D坐標的步驟中包括:計算關(guān)于第一圖像和第二圖像的匹配的特征點的二維(2D)坐標；通過使用第一相機和第二相機之間的距離以及第一相機和第二相機相對于特征點的角度，計算匹配的特征點的3D坐標。
[0035]在產(chǎn)生初始3D圖像的步驟中包括:從第一圖像和第二圖像提取特征點；對第一圖像的特征點和第二圖像的特征點進行匹配；計算匹配的特征點的3D坐標；使用匹配的特征點的3D坐標產(chǎn)生初始3D圖像。
[0036]在濾波的步驟中包括:針對第二區(qū)域，在保持對比度等于或大于設(shè)定值的同時對與特征點的Z坐標相應(yīng)的深度進行平滑。
[0037]在搜索第一區(qū)域和第二區(qū)域的步驟中包括:搜索包括等于或多于設(shè)定數(shù)量的特征點的至少一個第一區(qū)域和包括少于所述設(shè)定數(shù)量的特征點的至少一個第二區(qū)域。
[0038]根據(jù)另一示例性實施例的一方面，提供了一種用于重建高密度3D圖像的設(shè)備，所述設(shè)備包括:圖像匹配單元，對使用第一相機捕獲的第一圖像和使用第二相機捕獲的第二圖像進行匹配以產(chǎn)生初始3D圖像；3D圖像重建單元，將初始3D圖像分割為第一區(qū)域和第二區(qū)域以從第一區(qū)域檢測平面，對第二區(qū)域進行濾波，并將從第一區(qū)域檢測到的平面和濾波后的第二區(qū)域進行合成以產(chǎn)生高密度3D圖像。
[0039]圖像匹配單元可包括:特征點提取單元，從第一圖像和第二圖像提取特征點；特征點匹配單元，對第一圖像的特征點和第二圖像的特征點進行匹配；3D坐標計算單元，計算匹配的特征點的3D坐標；初始3D圖像產(chǎn)生單元，通過使用匹配的特征點的3D坐標來產(chǎn)生初始3D圖像。
[0040]3D圖像重建單元可包括:分割單元，對第一圖像和第二圖像中的一個圖像進行分害IJ，并將關(guān)于分割的信息應(yīng)用于初始3D圖像；搜索單元，通過使用包括在分割的圖像中的特征點的數(shù)量從分割的圖像搜索第一區(qū)域和第二區(qū)域；平面檢測單元，從第一區(qū)域檢測平面；濾波單元，對第二區(qū)域進行濾波。
[0041]搜索單元搜索包括設(shè)定數(shù)量的特征點的至少一個第一區(qū)域和包括少于所述設(shè)定數(shù)量的特征點的至少一個第二區(qū)域。
[0042]濾波單元對第二區(qū)域進行濾波，以在與特征點的Z坐標相應(yīng)的深度相對于邊界不連續(xù)的同時對所述深度進行平滑。
[0043]3D圖像重建單元包括:分割單元，對第一圖像和第二圖像中的一個圖像進行分害IJ，并將關(guān)于分割的信息應(yīng)用于初始3D圖像；搜索單元，通過使用包括在分割的圖像中的特征點的數(shù)量從分割的圖像搜索第一區(qū)域和第二區(qū)域；平面檢測單元，從第一區(qū)域檢測平面；濾波單元，對第二區(qū)域進行濾波。
[0044]根據(jù)另一示例性實施例的一方面，提供了一種計算機可讀記錄介質(zhì)，所述介質(zhì)具有包含于其上的用于執(zhí)行重建高密度3D圖像的方法的程序，其中，所述方法包括:通過對使用第一相機捕獲的第一圖像和使用第二相機捕獲的第二圖像進行匹配，產(chǎn)生初始3D圖像；通過使用包括在初始3D圖像中的多個特征點，從初始3D圖像搜索第一區(qū)域和第二區(qū)域；從第一區(qū)域檢測平面；對第二區(qū)域進行濾波；將檢測到的平面和濾波后的第二區(qū)域進行合成。

【具體實施方式】
[0045]諸如“…中的至少一個”的表述當出現(xiàn)在一列元素之后時，修飾整列元素而不是修飾該列中的單個元素。
[0046]盡管本發(fā)明構(gòu)思允許各種改變和眾多實施例，但是將在附圖中示出并在撰寫的描述中詳細描述特定示例性實施例。然而，這不意在將本發(fā)明構(gòu)思限制于特定的實施模式，并且將理解，不脫離本發(fā)明構(gòu)思的精神和技術(shù)范圍的所有改變、等同物和替代物包括在本發(fā)明構(gòu)思中。在描述中，當認為現(xiàn)有技術(shù)的某些詳細解釋可能不必要地模糊本發(fā)明的本質(zhì)時，省略現(xiàn)有技術(shù)的某些詳細解釋。
[0047]盡管諸如“第一”、“第二”等的術(shù)語可被用于描述各種組件，但這樣的組件不應(yīng)受限于以上術(shù)語。以上術(shù)語僅用于區(qū)分一個組件與另一組件。
[0048]本說明書中使用的術(shù)語僅用于描述特定示例性實施例，并不意在限制本發(fā)明構(gòu)思。除非以單數(shù)形式使用的表述在上下文中具有明顯不同的意思，否則以單數(shù)形式使用的表述包括復數(shù)的表述。在本說明書中，將理解諸如“包括”或“具有”等的術(shù)語意在指示存在說明書中所公開的特征、數(shù)量、步驟、動作、組件、部件或上述項的組合，而不意在排除可存在或可添加一個或更多個其他特征、數(shù)量、步驟、動作、組件、部件或上述項的組合的可能性。
[0049]可依據(jù)功能塊組件和各種處理步驟來描述本發(fā)明構(gòu)思。這樣的功能塊可通過被配置為執(zhí)行指定功能的任何數(shù)量的硬件和/或軟件組件來實現(xiàn)。例如，本發(fā)明構(gòu)思可采用各種集成電路組件(例如，存儲器元件、處理元件、邏輯元件、查找表等)，其中，所述集成電路組件可在一個或更多個微處理器或其它控制裝置的控制下實現(xiàn)多種功能。類似地，在使用軟件編程或軟件元件實現(xiàn)本發(fā)明構(gòu)思的元件時，可使用任意編程或腳本語言(諸如C、C++、Java、匯編語言等)與各種算法來實現(xiàn)本發(fā)明，其中，所述各種算法用數(shù)據(jù)結(jié)構(gòu)、對象、處理、例程或其它編程元件的任意組合來實現(xiàn)?？稍谝粋€或更多個處理器上執(zhí)行的算法中實現(xiàn)各功能方面。此外，本發(fā)明構(gòu)思可采用用于電子配置、信號處理和/或控制、數(shù)據(jù)處理等的任何數(shù)量的現(xiàn)有技術(shù)。詞語“機制”和“元件”被廣泛使用，并且不限于機械或物理實施例，而是可包括與處理器等結(jié)合的軟件例程。
[0050]以下將參照附圖更詳細地描述本發(fā)明構(gòu)思的示例性實施例。相同或相應(yīng)的組件被表示為相同的標號而不論圖號如何，并且冗余的解釋被省略。
[0051]圖1是示出根據(jù)示例性實施例的高密度三維(3D)圖像重建設(shè)備的框圖。
[0052]參照圖1，高密度3D圖像重建設(shè)備包括第一相機100、第二相機200、圖像處理單元300、圖像匹配單元400、高密度3D圖像重建單元500和輸出單元600。
[0053]第一相機100和第二相機200分別表示通過使用例如互補金屬氧化物半導體(CMOS)模塊或電荷耦合器件(CCD)模塊捕獲對象的圖像的左相機和右相機。通過鏡頭將第一輸入圖像和第二輸入圖像(或視頻圖像)提供給CMOS模塊或CCD模塊，并且CMOS模塊或CCD模塊將通過鏡頭傳輸?shù)膶ο蟮墓庑盘栟D(zhuǎn)換為電信號(拍攝信號)。
[0054]圖像處理單兀300對分別從第一相機100和第二相機200輸出的第一圖像信號和第二圖像信號執(zhí)行用于提高圖像質(zhì)量的圖像信號處理，諸如降噪、伽馬校正、濾色器陣列插值、顏色矩陣處理、色彩校正、色彩增強等。
[0055]另外，圖像處理單元300可執(zhí)行圖像信號處理以提高圖像質(zhì)量，并且可對產(chǎn)生的圖像數(shù)據(jù)進行壓縮以產(chǎn)生圖像文件，或可從圖像文件恢復圖像數(shù)據(jù)。圖像壓縮格式可以是可逆的或不可逆的。
[0056]此外，圖像處理單元300可功能性地執(zhí)行色彩處理、模糊、邊緣增強處理、圖像判讀(解譯)處理、圖像識別處理、圖像效果處理等。圖像識別處理的示例是人臉識別、場景識別等。例如，可執(zhí)行諸如亮度級控制、色彩校正、對比度控制、輪廓增強控制、圖像分割處理或特征圖像創(chuàng)建的圖像產(chǎn)生和圖像合成處理。
[0057]圖像匹配單元400對執(zhí)行了圖像處理的第一圖像和第二圖像進行匹配以產(chǎn)生初始3D圖像。圖2是圖像匹配單元400的詳細框圖。
[0058]參照圖2，圖像匹配單元400包括特征點提取單元410、特征點匹配單元420、3D坐標計算單元430和初始3D圖像產(chǎn)生單元440。
[0059]特征點提取單元410通過使用尺度不變特征變換(SIFT)算法或HARRIS算法，從第一圖像和第二圖像提取角點(邊緣)作為特征點。
[0060]SIFT 由 Lowe 在 <D.G.Lowe, “Distinctive image features fromscale-1nvariant key points，，，Int.J.Comput.Vis1n 60 (2)，91-110，2004〉中提出，其中，SIFT是用于提取圖像的特征點的代表性算法。
[0061]通過使用SIFT算法提取的特征點具有如下優(yōu)良特性:它們不受圖像的尺度、旋轉(zhuǎn)、失真、3D視點的變化等的影響。根據(jù)SIFT算法，首先，使用高斯濾波器改變數(shù)字圖像的像素亮度級以執(zhí)行逐步模糊。這里，在改變圖像的尺度時重復模糊操作。接下來，計算在同一尺度上被逐步模糊的圖像之間的高斯差分(D0G)。接下來，基于計算出的D0G，根據(jù)預(yù)定標準選擇特征點。接下來，計算原始圖像的所有像素的梯度以產(chǎn)生梯度映射。隨后，計算使用梯度映射選擇的特征點的描述子。最后，產(chǎn)生最終的特征點數(shù)據(jù)。特征點數(shù)據(jù)包括特征點的坐標和特征點的描述子。
[0062]Harris 算法由 Chris Harris 和 Mike Stephens 在〈A Combined Corner andEdge Detector Proceedings of the Fourth Alvey Vis1n Conference, Manchester, pp147-151，1988〉中提出，其中，Harris算法是提取圖像的特征點的另一代表性算法。
[0063]根據(jù)Harris算法，主要存在一個在圖像中垂直和水平移動的窗口，并且分析窗口中的像素的值的變化以查找角點。如果圖像中的對象的亮度不存在變化，則即使當窗口被垂直或水平移動時，也不會存在像素值的變化。然而，當窗口在水平移動時遇到圖像的垂直邊界線時，正在水平移動的窗口中的像素值存在較大的變化，但是針對垂直移動的窗口，所述像素值可能沒有變化。隨后，當假設(shè)窗口不僅水平移動而且垂直移動時，窗口將肯定經(jīng)過像素值存在較大變化的點。換言之，該點是最終的角點。即使當圖像旋轉(zhuǎn)時，也能找到角點。
[0064]圖3A示出使用第一相機100捕獲的第一圖像，圖3B示出使用第二相機200捕獲的第二圖像。圖4A和圖4B分別示出通過特征點提取單元410提取角點作為特征點的圖3A的第一圖像和圖3B的第二圖像。
[0065]特征點匹配單元420對第一圖像和第二圖像的特征點進行匹配。具體而言，特征點匹配單元420使用對極幾何和基于區(qū)域的匹配方法。
[0066]首先，將參照圖5描述對極幾何。當使用第一相機100和第二相機200獲得了圖像時，將空間點投影到第一相機100和第二相機200中以在圖像上產(chǎn)生被稱為共軛對的一對點。通過第一相機100和第二相機200的鏡頭的中心以及通過第一相機100和第二相機200所投影的空間中的對象的點P所形成的平面被稱為極平面(epipolar plane)，極平面和圖像平面的相交線被定義為極線(epipolar line)。
[0067]也就是說，如圖5中所示，極線通過以下線來定義，所述線由與3D空間中的對象點P相遇的通過左鏡頭和右鏡頭的中心定義的平面而形成。由于在圖像上形成的兩個點具有相同的Y坐標，因此第二圖像上的與第一圖像的特定坐標相應(yīng)的點位于極線上。盡管出現(xiàn)在第一圖像上的對象可能也出現(xiàn)在第二圖像上或可能不出現(xiàn)在第二圖像上，但是如果該對象出現(xiàn)在第二圖像上，則該對象必定位于極線上。
[0068]為了查找第二圖像相對于第一圖像的特征點的匹配點，特征點匹配單元420設(shè)置搜索區(qū)域，在搜索區(qū)域中查找候選特征點，選擇與第一圖像的特征點具有較大相似性的一個特征點，并將這兩個特征點設(shè)置為匹配對。搜索區(qū)域越大，匹配候選的數(shù)量越高，因此，用于進行匹配的時間增加，并且誤匹配的可能性增加。因此，搜索區(qū)域可以盡可能小。使搜索區(qū)域變窄的方法之一是使用對極約束條件。
[0069]圖6是用于解釋關(guān)于用于圖1的圖像匹配的對極幾何的約束條件的示意圖。
[0070]將參照圖6描述在對極約束條件下執(zhí)行的基于區(qū)域的匹配方法。特征點匹配單元420將第一圖像中的第一窗口設(shè)置為參考窗口(圖6A)，并在將第一窗口回旋到第二圖像時，搜索與第一窗口的亮度具有很小亮度差的第二窗口(圖6B)。亮度與第一窗口的亮度相差最小程度的第二窗口被確定為與第一窗口具有最大相似性，并且第一窗口和該第二窗口被確定為共軛對。當使用了如上所述的對極約束條件時，可有效地減小作為基于區(qū)域的匹配方法的缺點的計算量。
[0071]基于區(qū)域的匹配方法的示例包括絕對差求和(SAD)算法、平方差求和(SSD)算法、零均值絕對差求和(ZSAD)算法和零均值平方差求和(ZSSD)算法。
[0072]圖7示出執(zhí)行了特征點匹配單元420的匹配操作的匹配圖像，并示出當對第一圖像和第二圖像進行匹配時確定的共軛對。
[0073]3D坐標計算單元430使用三角測量方法來計算匹配的特征點的3D坐標。3D坐標計算單元430從第一圖像和第二圖像計算特征點的二維(2D)坐標(也就是，計算X坐標和Y坐標)，并使用三角測量方法計算第一相機100和第二相機200到特征點之間的距離，以通過將計算出的距離計算為深度值(也就是，計算Z坐標)來計算最終的3D坐標。
[0074]圖8是用于解釋計算圖1的匹配圖像的距離信息的示意圖。
[0075]將參照圖8描述使用三角測量方法計算Z坐標。如圖8中所示，當已知第一相機100的鏡頭和第二相機200的鏡頭之間的距離d，并且從第一相機100到特征點的角度信息I和從第二相機200到特征點的角度信息2可用時，可如以下等式I所給出的，計算第一相機100和第二相機200與特征點之間的距離h。
[0076][等式I]
[0077]
方一d


—tan(9()° - θ\) + tan(90 - 02)
[0078]因此，可獲得關(guān)于圖7中示出的匹配圖像的所有特征點的3D坐標(X，Y，Z)的信肩、O
[0079]初始3D圖像產(chǎn)生單元440使用匹配的所有特征點的3D坐標來產(chǎn)生初始3D圖像。圖9示出圖1的初始3D圖像；特征點越暗，它們距第一相機100和第二相機200越遠。
[0080]再次參照圖1，當通過使用圖像匹配單元400產(chǎn)生了初始3D圖像時，高密度3D圖像重建單元500對初始3D圖像進行分割以從圖像的分割區(qū)域檢測平面，或?qū)Τ跏?D圖像進行濾波以產(chǎn)生高密度3D圖像。
[0081]高密度3D圖像重建單元500包括分割單元510、搜索單元520、平面檢測單元530和濾波單元540。
[0082]分割單元510通過使用圖割算法來對第一圖像和第二圖像中的一個圖像進行分害I]。初始3D圖像包括空間信息，因此理論上可被分割為多個圖像，但事實上，不可對初始3D圖像進行分割。因此，對第一圖像和第二圖像中的一個圖像進行分割(也就是，對2D圖像進行分割)，并且將分割信息應(yīng)用于初始3D圖像以進行使用。圖10是用于解釋用于對圖1的初始3D圖像進行分割的圖割算法的示意圖。圖1OA示出任意圖像，圖1OB是關(guān)于圖1OA的圖(graph)。參照圖1OA和圖10B，在圖割算法中，圖1OA的圖像被轉(zhuǎn)換為圖1OB中示出的圖，并且圖的邊權(quán)被定義為像素值的相關(guān)性，并且在像素亮度上具有顯著差異的部分被切割掉。圖11是示出對第一圖像和第二圖像中的一個圖像進行分割的結(jié)果的示意圖，其中，相應(yīng)的分割信息被應(yīng)用于初始3D圖像。這里，例如，在圖割算法的情況下，分割信息可以是每個圖的邊權(quán)。
[0083]搜索單元520通過使用包括在分割的圖像中的特征點的數(shù)量來搜索至少一個第一區(qū)域和至少一個第二區(qū)域。搜索單元520搜索包括設(shè)定數(shù)量的特征點(例如，包括在分割的圖像中的至少三個特征點)的至少一個區(qū)域和包括少于設(shè)定數(shù)量的特征點(例如，少于包括在分割的圖像中的三個特征點)的至少一個第二區(qū)域。
[0084]平面檢測單元530從包括三個或更多個特征點的第一區(qū)域檢測平面。平面檢測單元530通過使用隨機抽樣一致性(RANSAC)算法和平面方程從第一區(qū)域檢測平面。
[0085]可通過將從3D圖像計算出的3D坐標(X，Y，Z)代入平面方程，檢測平面。在等式2中，示出了 3D平面方程。
[0086][等式2]
[0087]ax+by+cz+d = O
[0088]圖12示出通過使用3D平面方程從第一區(qū)域檢測出的平面的示例。
[0089]對于3D坐標(X，Y, Z)的Z，可能沒有噪聲或者匹配可能不正確，并且Z坐標可能不是已知的。如果Z坐標不是已知的，則這增加了計算平面方程時的誤差，因此，在計算時需要消除未知值。根據(jù)RANSAC算法，可從像素集隨機地選擇可計算出平面方程的最小數(shù)量的像素，隨后對平面方程求解，并且將其他像素代入平面方程中以將具有較小誤差的像素指定為內(nèi)點(inlier)，如果內(nèi)點的數(shù)量等于或大于總數(shù)的預(yù)定比例，則內(nèi)點被再次用于計算平面方程。如上所述，所有像素被帶入平面方程以確定關(guān)于平面檢測的準確性，并且該操作被重復若干次以將具有最小誤差的結(jié)果確定為最終結(jié)果。
[0090]濾波單元540對包括少于三個特征點的第二區(qū)域執(zhí)行邊緣保持平滑，也就是說，濾波單元540對第二區(qū)域進行濾波。邊緣保持平滑表示非線性濾波，其中，在該非線性濾波中，在保持顯著亮度階梯(諸如對象的界限)時對深度進行平滑。對于這種邊緣保持處理，可使用雙邊濾波器。
[0091]輸出單元600通過將從包括至少三個特征點的第一區(qū)域檢測到的平面和對包括少于三個特征點的第二區(qū)域執(zhí)行邊緣保持平滑的結(jié)果進行合成，輸出最終重建的高密度3D圖像。參照圖13，圖13A和圖13B示出從第一相機100輸出的第一圖像和從第二相機200輸出的第二圖像，圖13C示出基于圖13A和圖13B最終重建的高密度3D圖像。
[0092]通過針對通過對使用多個相機捕獲的圖像進行匹配而產(chǎn)生的初始3D圖像執(zhí)行平面檢測和平滑，初始3D圖像可被重建為高密度3D圖像。
[0093]圖14是示出根據(jù)示例性實施例的重建高密度3D圖像的方法的流程圖。
[0094]參照圖14，首先，在操作S10，第一相機100和第二相機200分別捕獲第一圖像和第二圖像。當完成了第一圖像和第二圖像的捕獲時，圖像處理單元300可對第一圖像和第二圖像執(zhí)行圖像處理。
[0095]如果圖像處理單元300對第一圖像和第二圖像進行了處理，則圖像匹配單元400執(zhí)行操作S20，其中，操作S20通過對執(zhí)行了圖像處理的第一圖像和第二圖像進行匹配來產(chǎn)生初始3D圖像。
[0096]圖15是示出根據(jù)示例性實施例的圖14的圖像匹配操作的流程圖。參照圖15，圖像匹配單元400執(zhí)行操作S21，其中，操作S21通過使用SIFT算法或HARRIS算法從第一圖像和第二圖像提取角點(邊緣)作為特征點。
[0097]當從第一圖像和第二圖像提取了特征點時，在操作S22，圖像匹配單元400使用對極幾何和基于區(qū)域的匹配方法來對第一圖像和第二圖像的特征點進行匹配。當從第二圖像搜索到相對于第一圖像的特征點的匹配點時，圖像匹配單元400在對極約束條件下設(shè)置窄的搜索區(qū)域，以從該區(qū)域查找第一候選特征點，選擇第二圖像的與第一圖像的特征點具有最大相似性的特征點，并將這兩個特征點設(shè)置為共軛對。也就是說，作為參考窗口，第一窗口被設(shè)置在第一圖像上，并且第一窗口被回旋到第二圖像以搜索亮度與第一窗口的亮度相差最小程度的第二窗口。
[0098]當完成了第一圖像和第二圖像的特征點的匹配時，圖像匹配單元400執(zhí)行操作S23，其中，操作S23使用三角測量方法計算匹配的特征點的3D坐標。圖像匹配單元400從第一圖像和第二圖像計算特征點的2D坐標(也就是，計算X坐標和Y坐標)，并且當計算Z坐標時，通過假設(shè)第一相機100和第二相機200的鏡頭之間的距離d并將從第一相機100到特征點的角度信息I和從第二相機200到特征點的角度信息2插入到等式I中，計算匹配的特征點的3D坐標。
[0099]當完成了特征點的3D坐標的計算時，在操作S24，圖像匹配單元400使用匹配的圖像的所有特征點的3D坐標來產(chǎn)生初始3D圖像。
[0100]再次參照圖1，當初始3D圖像被作為圖像匹配的結(jié)果而產(chǎn)生時，在操作S30，高密度3D圖像重建單元500使用圖割算法對初始3D圖像進行分割。
[0101]當完成了初始3D圖像的分割時，在操作S40，高密度3D圖像重建單元500通過使用包括在分割的圖像中的特征點的數(shù)量來搜索至少一個第一區(qū)域和至少一個第二區(qū)域。高密度3D圖像重建單元500搜索包括設(shè)定數(shù)量的特征點(例如，包括在分割的圖像中的至少三個特征點)的至少一個區(qū)域和包括少于設(shè)定數(shù)量的特征點(例如，少于包括在分割的圖像中的三個特征點)的至少一個第二區(qū)域。
[0102]當完成了對第一區(qū)域和第二區(qū)域的搜索時，在操作S50，高密度3D圖像重建單元500將RANSAC算法和平面方程應(yīng)用于包括至少三個特征點的第一區(qū)域以檢測平面。
[0103]當完成了平面檢測時，在操作S60，高密度3D圖像重建單元500對包括少于三個特征點的第二區(qū)域執(zhí)行邊緣保持平滑(也就是，高密度3D圖像重建單元500對第二區(qū)域進行濾波)，從而保持與可視性相關(guān)的對象輪廓并消除微小的亮度變化。
[0104]當完成了平面檢測和濾波時，在操作S70，輸出單元600通過將從包括至少三個特征點的第一區(qū)域檢測到的平面和對包括少于三個特征點的第二區(qū)域執(zhí)行邊緣保持平滑的結(jié)果進行合成，輸出最終重建的高密度3D圖像。
[0105]如上所述，根據(jù)示例性實施例，對通過對使用多個相機捕獲的圖像進行匹配而產(chǎn)生的初始3D圖像執(zhí)行平面檢測和平滑，從而將初始3D圖像重建為高密度3D圖像。
[0106]示例性實施例可被編寫為計算機程序，并可在使用計算機可讀記錄介質(zhì)執(zhí)行計算機程序的通用數(shù)字計算機中實現(xiàn)。計算機可讀記錄介質(zhì)的示例包括存儲計算機可讀數(shù)據(jù)的所有種類的記錄裝置。
[0107]計算機可讀記錄介質(zhì)的示例包括只讀存儲器(ROM)、隨機存取存儲器(RAM)、CD-ROM、磁帶、軟盤、光學數(shù)據(jù)存儲裝置等。計算機可讀記錄介質(zhì)還可被分布在聯(lián)網(wǎng)的計算機系統(tǒng)中，從而計算機可讀代碼以分布的方式被存儲和執(zhí)行。此外，本發(fā)明構(gòu)思所屬領(lǐng)域中的普通編程技術(shù)人員可容易地解釋用于實現(xiàn)本發(fā)明構(gòu)思的功能程序、代碼和代碼段。
[0108]盡管已參照本發(fā)明構(gòu)思的示例性實施例具體顯示和描述了本發(fā)明構(gòu)思，但是本領(lǐng)域中的普通技術(shù)人員將理解，在不脫離由權(quán)利要求限定的本發(fā)明構(gòu)思的精神和范圍的情況下，可對其形式和細節(jié)進行各種改變。示例性實施例應(yīng)該僅被視為描述性的意義而不是為了限制的目的。因此，本發(fā)明構(gòu)思的范圍不是由示例性實施例的詳細描述限定，而是由權(quán)利要求限定，并且在該范圍內(nèi)的所有差異將被解釋為包括在本發(fā)明構(gòu)思中。
[0109]這里引用的包括出版物、專利申請和專利的所有參考文獻通過引用被包含于此，該引用的程度如同每份參考文獻被單獨且具體地注明為通過引用全部合并于此并在此全部進行闡述。
[0110]工業(yè)實用性
[0111]本發(fā)明的實施例可被應(yīng)用于用于重建高密度三維(3D)圖像的設(shè)備和方法，其中，所述設(shè)備和方法通過針對通過對使用多個相機捕獲的圖像進行匹配而產(chǎn)生的初始3D圖像執(zhí)行平面檢測和平滑來重建高密度3D圖像。
【權(quán)利要求】
1.一種重建高密度三維(3D)圖像的方法，所述方法包括: 通過對使用第一相機捕獲的第一圖像和使用第二相機捕獲的第二圖像進行匹配，產(chǎn)生初始3D圖像； 通過使用包括在初始3D圖像中的多個特征點，從初始3D圖像搜索第一區(qū)域和第二區(qū)域； 從第一區(qū)域檢測平面； 對第二區(qū)域進行濾波； 將檢測到的平面和濾波后的第二區(qū)域進行合成。
2.如權(quán)利要求1所述的方法，還包括:在產(chǎn)生初始3D圖像后，將第一圖像和第二圖像中的一個圖像分割為包括第一區(qū)域和第二區(qū)域的部分； 將關(guān)于分割的信息應(yīng)用于初始3D圖像。
3.如權(quán)利要求2所述的方法，其中，搜索第一區(qū)域和第二區(qū)域的步驟包括:搜索包括數(shù)量上等于或多于設(shè)定數(shù)量的特征點的至少一個第一區(qū)域。
4.如權(quán)利要求3所述的方法，其中，搜索第一區(qū)域和第二區(qū)域的步驟還包括:搜索包括數(shù)量上少于所述設(shè)定數(shù)量的特征點的至少一個第二區(qū)域。
5.如權(quán)利要求4所述的方法，其中，濾波的步驟包括:針對第二區(qū)域，在保持對比度等于或大于設(shè)定值的同時對與特征點的Z坐標相應(yīng)的深度進行平滑。
6.如權(quán)利要求4所述的方法，其中，產(chǎn)生初始3D圖像的步驟包括: 從第一圖像和第二圖像提取特征點； 對第一圖像的特征點和第二圖像的特征點進行匹配； 計算匹配的特征點的3D坐標； 產(chǎn)生初始3D圖像。
7.如權(quán)利要求6所述的方法，其中，對特征點進行匹配的步驟包括: 在第一圖像中設(shè)置包括特征點的第一窗口； 搜索亮度與第一窗口的亮度相差最小程度的第二窗口 ； 在第二窗口中的至少一個特征點之中，選擇與第一窗口中的特征點最相似的匹配特征點。
8.如權(quán)利要求7所述的方法，其中，計算3D坐標的步驟包括: 計算匹配的特征點關(guān)于第一圖像和第二圖像的二維(2D)坐標； 通過使用第一相機和第二相機之間的距離以及第一相機和第二相機相對于特征點的角度，計算匹配的特征點的3D坐標。
9.如權(quán)利要求6所述的方法，其中，計算3D坐標的步驟包括: 計算匹配的特征點關(guān)于第一圖像和第二圖像的二維(2D)坐標； 通過使用第一相機和第二相機之間的距離以及第一相機和第二相機相對于特征點的角度，計算匹配的特征點的3D坐標。
10.如權(quán)利要求1所述的方法，其中，產(chǎn)生初始3D圖像的步驟包括: 從第一圖像和第二圖像提取特征點； 對第一圖像的特征點和第二圖像的特征點進行匹配； 計算匹配的特征點的3D坐標； 使用匹配的特征點的3D坐標產(chǎn)生初始3D圖像。
11.如權(quán)利要求1所述的方法，其中，濾波的步驟包括:針對第二區(qū)域，在保持對比度等于或大于設(shè)定值的同時對與特征點的Z坐標相應(yīng)的深度進行平滑。
12.如權(quán)利要求1所述的方法，其中，搜索第一區(qū)域和第二區(qū)域的步驟包括:搜索包括等于或多于設(shè)定數(shù)量的特征點的至少一個第一區(qū)域和包括少于所述設(shè)定數(shù)量的特征點的至少一個第二區(qū)域。
13.一種用于重建高密度三維(3D)圖像的設(shè)備，包括: 圖像匹配單元，對使用第一相機捕獲的第一圖像和使用第二相機捕獲的第二圖像進行匹配以產(chǎn)生初始3D圖像； 3D圖像重建單元，將初始3D圖像分割為第一區(qū)域和第二區(qū)域以從第一區(qū)域檢測平面，對第二區(qū)域進行濾波，并將從第一區(qū)域檢測到的平面和濾波后的第二區(qū)域進行合成以產(chǎn)生高密度3D圖像。
14.如權(quán)利要求13所述的設(shè)備，其中，圖像匹配單元包括: 特征點提取單元，從第一圖像和第二圖像提取特征點； 特征點匹配單元，對第一圖像的特征點和第二圖像的特征點進行匹配； 3D坐標計算單元，計算匹配的特征點的3D坐標； 初始3D圖像產(chǎn)生單元，通過使用匹配的特征點的3D坐標來產(chǎn)生初始3D圖像。
15.如權(quán)利要求14所述的設(shè)備，其中，3D圖像重建單元包括: 分割單元，對第一圖像和第二圖像中的一個圖像進行分割，并將關(guān)于分割的信息應(yīng)用于初始3D圖像； 搜索單元，通過使用包括在分割的圖像中的特征點的數(shù)量從分割的圖像搜索第一區(qū)域和第二區(qū)域； 平面檢測單元，從第一區(qū)域檢測平面； 濾波單元，對第二區(qū)域進行濾波。
16.如權(quán)利要求15所述的設(shè)備，其中，搜索單元搜索包括設(shè)定數(shù)量的特征點的至少一個第一區(qū)域和包括少于所述設(shè)定數(shù)量的特征點的至少一個第二區(qū)域。
17.如權(quán)利要求15所述的設(shè)備，其中，濾波單元對第二區(qū)域進行濾波，以在與特征點的Z坐標相應(yīng)的深度相對于分割邊界不連續(xù)的同時對所述深度進行平滑。
18.如權(quán)利要求13所述的設(shè)備，其中，3D圖像重建單元包括: 分割單元，對第一圖像和第二圖像中的一個圖像進行分割，并將關(guān)于分割的信息應(yīng)用于初始3D圖像； 搜索單元，通過使用包括在分割的圖像中的3D特征點的數(shù)量從分割的圖像搜索第一區(qū)域和第二區(qū)域； 平面檢測單元，從第一區(qū)域檢測平面； 濾波單元，對第二區(qū)域進行濾波。
19.一種包含有用于執(zhí)行重建高密度三維(3D)圖像的方法的程序的計算機可讀記錄介質(zhì)，所述方法包括: 通過對使用第一相機捕獲的第一圖像和使用第二相機捕獲的第二圖像進行匹配，產(chǎn)生初始3D圖像； 通過使用包括在初始3D圖像中的多個特征點，從初始3D圖像搜索第一區(qū)域和第二區(qū)域； 從第一區(qū)域檢測平面； 對第二區(qū)域進行濾波； 將檢測到的平面和濾波后的第二區(qū)域進行合成。
【文檔編號】H04N13/02GK104205826SQ201380018460
【公開日】2014年12月10日 申請日期:2013年3月28日 優(yōu)先權(quán)日:2012年4月3日
【發(fā)明者】裴純敏 申請人:三星泰科威株式會社