一種基于幾何約束的深度圖融合與點云過濾方法
【專利摘要】基于光度一致性的點云過濾算法準(zhǔn)確性比較低，為此，本發(fā)明提出了一種新的基于幾何一致性的深度圖融合與點云過濾算法。為測量幾何一致性和局部點云與全局點云的相似性，提出了一種新的表面幾何特征描述子（Histogram of Truncated Icosahedron，HTI）。為了使重建完整度高，本發(fā)明又提出了基于最優(yōu)化框架的多尺度深度圖融合方法，該方法同時考慮了幾何一致性和三維點之間的沖突與支持情況。經(jīng)實驗表明，該算法相較于其他算法，可以獲得更加完整準(zhǔn)確的三維模型。
【專利說明】
一種基于幾何約束的深度圖融合與點云過濾方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)計一種深度圖融合與點云過濾方法，該方法是一種基于幾何約束的深度 圖融合方法。
【背景技術(shù)】
[0002] 雖然基于深度圖融合的三維重建方法已經(jīng)被廣泛研究，但該類方法仍未達(dá)到其他 類型的重建方法準(zhǔn)確性和完整性;例如，在基于深度圖的重建中僅僅利用局部的鄰接圖像 來計算一致性，而在基于塊的方法中（PMVS)，匹配一致性是基于全局的，重建結(jié)果就會更加 準(zhǔn)確；盡管一些已有深度圖融合方法（如Cro ss_vi ew Vi s ib i I i ty Cons i s tency Filtering，CVCF)可以加強深度圖的全局一致性，但是在處理噪聲較大的深度圖方面仍面 臨較大困難。

【發(fā)明內(nèi)容】

[0003] 提出了一種新的深度圖融合與點云過濾方法來處理包含噪聲的深度圖，該方法基 于如下假設(shè)：由單張深度圖估計得到的物體表面局部應(yīng)該與由多幅深度圖像融合得到的物 體表面相似，然而一個噪聲點云的幾何特征是不穩(wěn)定的，因此，表面特征的相似性為融合深 度圖提供了線索。為測量相似性，本發(fā)明從局部與全局點云中提取了一種全新設(shè)計的表面 幾何特征描述子;同時，為了增加重建的完整性，本發(fā)明又利用了基于圖的方法來融合多尺 度深度圖；本發(fā)明的具體內(nèi)容可分為五個步驟。
[0004] 深度圖的計算，本發(fā)明采用的是基于多尺度塊的方法來計算深度圖像，該方法主 要有三個特點：深度圖經(jīng)過多尺度計算后獲得;在經(jīng)過全局選圖之后，每個像素點可以得到 自己的隨機選擇局部視圖，這些視圖可以同深度和法向量一起進(jìn)行傳播;匹配最佳值，而不 是平均值，作為匹配代價函數(shù);此步驟為接下來的融合過程提供了輸入深度圖。
[0005] 局部與全局點云的產(chǎn)生，局部表面或者說局部點云是指由單幅深度圖像產(chǎn)生的點 云，而全局表面或點云是指將所有局部表面或點云融合成單個的模型，由于深度圖是采用 多尺度計算的，應(yīng)首先利用最近鄰插值將它們調(diào)整到最好的尺度;對于每幅深度圖，局部點 云可以經(jīng)過反投影獲得，對于每個點P，利用離它最近的k個點，計算協(xié)方差矩陣，方法如下 述公式
隨后計算協(xié)方差矩陣的特征值h和與之相關(guān)的特征向量巧(j=0，l，2)。之后，就可以將 最小特征值對應(yīng)的特征向量作為P點處的法向量。而表面曲率c可以由下述公式估算
之后，在每個尺度上對深度圖進(jìn)行過濾，通過反投影每幅深度圖可以到一個局部點云， 隨后，初始全局點云就可以通過將所有局部點云合并得到。
[0006] 表面幾何特征提取，幾何約束基于局部表面與全局表面之間的相似性。然而，現(xiàn)有 特征描述子不能滿足描述局部幾何特征與全局幾何特征一致性的要求。因此，本發(fā)明提出 了一種簡單迅速的幾何特征描述子HTI(Histogram of Truncated Icosahedron)，HTI結(jié)構(gòu) 由十二個正五邊面和二十個正六邊面組成，該描述子是基于在查詢點給定半徑內(nèi)對表面法 向量統(tǒng)計的結(jié)果，所有法向量按照它所指的HTI面被分為32組，當(dāng)所有的在搜尋范圍內(nèi)的法 向量處理完畢后將直方圖歸一化，形成最終的HTI特征。
[0007] 幾何支持，幾何支持可以利用上邊提到的HTI特征描述子進(jìn)行計算，對于一個查詢 點P，實施最近鄰查找并計算出相應(yīng)的局部HTI特征和全局HTI特征，定義局部特征心和全局 特征h g之間的相似性g為
除了幾何特征的相似性外，局部表面曲率c也可以被包含在幾何支持s中，定義如下
此處，α表示權(quán)重參數(shù)，t是在接下來進(jìn)行基于圖的優(yōu)化過程中的閾值;將曲率包含到幾 何支持中主要有兩個原因：第一，由于曲率可以用來估計局部表面的光滑性，大的幾何支持 (小曲率)意味著使表面更加趨近于平面，符合局部微分小平面假設(shè);第二，由于曲率估算它 依賴于協(xié)方差矩陣的最小特征值，易受噪聲干擾，較小的曲率通常意味著較小的噪聲。
[0008] 基于圖的多尺度融合，為了融合多尺度的深度圖，本發(fā)明提出了一種基于圖的最 優(yōu)化框架?；舅枷胧?，如果一個點可以提供額外的信息，那么在較粗糙尺度中就保留此 點，若沒有額外的信息就刪除這些點。更具體地說，在點云上建立具有兩種邊類型的圖，G= (P，S，C)，在此處P表示頂點集，對應(yīng)于點云中的點，S和C分別表示定向的支持邊和沖突邊集 合，為了建立這些邊，首生對_個而占雜々一個影晌坐釋為
此處，d表示在此點處的深度，f表示此點對應(yīng)攝像機的焦距長度，η是深度圖的尺度，X 表示基軸反方向與法向量之間的內(nèi)積;此時，兩種不同類型的邊可以按如下方法建立:如果 在一點q的影響半徑內(nèi)存在另一個點P，且P的影響半徑比q要小，P既可以支持q，也可以與q 沖突。如果q也在P的影響半徑之內(nèi)，沖突邊(P，q)就被加入到圖中，因為P更加準(zhǔn)確，并且q未 能提供更多的信息;否則支持邊(P，q)就被添加到圖中，因為q可以在P的影響范圍之內(nèi)提供 更多的信息；之后，將所有點按照它們的影響半徑大小來排序，從具有最小半徑的點開始， 我們只需檢測在其影響半徑之內(nèi)的其他點，因此該算法時間復(fù)雜度為CKnlog η)。隨著圖的 建立，可以賦予它一個能量方程，目標(biāo)能量E由幾何支持能量Eg，點支持能量Es和點沖突能量 Ec構(gòu)成，它的定義如下：
此處β和γ是兩個儀里穸數(shù)，父重1定1冢系選徉稱S組成的N重，對于點P，標(biāo)簽I (P)=I， 如果P是被選擇的，否則1(Ρ)=〇。幾何支持能量Eg的定義如下：
對于單個點P的支持能量，采用所有支持P的點的幾何支持之和的相反數(shù)來定義，然后 采用P的影響半徑對支持能量進(jìn)行歸一化，具體定義如下：
最后沖關(guān)能量定乂如下：
為了最小化E(I)，逐點檢測點的能量貢獻(xiàn)并改變標(biāo)簽1，基于上述公式，單個點最總能 量E的貢獻(xiàn)可以由下述公式測量
在實際應(yīng)用中，通常對整個點云進(jìn)行10次掃描，即可保證該優(yōu)化方法接近局部最優(yōu)點。
【主權(quán)項】
1. 一種新的深度圖融合與點云過濾方法用來處理包含噪聲的深度圖，該方法基于如下 假設(shè)：由深度圖得到的局部物體表面應(yīng)該與由多幅深度圖像融合得到的物體表面相似，為 了增加重建的完整性，本發(fā)明又利用了基于圖的方法來融合多尺度深度圖。2. 具體步驟為： 1) 深度圖計算，采用基于多尺度塊的方法來計算深度圖像 2) 局部點云與全局點云的生成，通過反投影每幅深度圖可W到一個局部點云，將所有 局部點云最終合并為一個全局點云 3) 表面幾何特征提取，提出了一種簡單迅速的幾何特征描述子HTI (Histogram of Truncated Icosahe化on)該描述子的結(jié)構(gòu)類似于足球，具有20個六邊形，12個五邊形 4) 幾何支持，計算HTI特征描述子，利用利用下述公式得到幾何支持5) 基于圖的多尺度融合，采用基于圖的最優(yōu)化框架，賦予圖一個能量方程，定義如下該能量方程包含；個部分:幾何支持能量Eg、點支持能量Es和點沖突能量E。，定義如下
【文檔編號】G06T17/00GK105844639SQ201610170969
【公開日】2016年8月10日
【申請日】2016年3月24日
【發(fā)明人】劉怡光, 吳鵬飛, 董鵬飛, 曹麗萍
【申請人】四川大學(xué)