本發(fā)明涉及紋理映射領域，具體的涉及自動重建二維影像與三維模型準確相對位置的方法及系統(tǒng)。

背景技術：

隨著計算機技術的飛速發(fā)展與計算機圖形技術在游戲、影視、模擬仿真、虛擬旅游、文物數(shù)字化等領域日益廣泛的應用，圖形顯示的真實感成為了計算機圖形學中最引人注目的研究問題。然而要生成一幅比較真實的圖形需要解決各種各樣的問題，比如圖像繪制、明暗處理、反走樣、光線跟蹤等等，從而導致了較低的計算效率。為了提高圖形的生成效率，一般會用簡單的幾何模型描述復雜的對象，而為了保證生成圖形的真實感，紋理映射就成為計算機圖形學中必不可少的重要方法。

紋理映射的過程是根據(jù)二維影像與三維模型之間的相對位置關系，構建映射算法，將二維影像紋理覆蓋到三維空間物體的表面。因此，如何快速準確的重建二維影像與三維模型的相對位置關系成為紋理映射的重點。

目前存在的重建方法有：

1)通過若干對紋理影像與三維表面的2D-3D控制點來解算相機的參數(shù)。大量的研究表明，目前，自動的2D-3D對應控制點的提取及匹配工作困難，還沒有能夠可靠適應任意實際應用狀況的自動化算法，因此，在實際應用中通常采用人工交互式選取2D-3D對應控制點，重建效率低。

2)通過人工匹配二維影像紋理和三維幾何模型中側影輪廓線等較大的圖像特征來實現(xiàn)2D-3D匹配，線特征作為配準基元比點特征要穩(wěn)定許多，這類方法對于細節(jié)豐富的對象有較好的配準效果，但是人工尋找側影輪廓線的繁瑣，重建效率低。

技術實現(xiàn)要素：

本發(fā)明所要解決的技術問題是提供一種自動重建二維影像與三維模型準確相對位置的方法，可以避免人工選取控制點或者人工尋找側影輪廓線的繁瑣工作，自動的尋找準確的相對位置，提高了重建過程的效率。

本發(fā)明解決上述技術問題的技術方案如下：自動重建二維影像與三維模型準確相對位置的方法，包括以下步驟：

S1，根據(jù)拍攝二維影像時的視場角設置二維影像與三維模型的初始相對位置；

S2，根據(jù)二維影像與三維模型的初始相對位置將三維模型投影到二維影像上后，獲取二維影像中前景和后景的種子點；

S3，通過二維影像中前景和后景的種子點，利用圖像分割算法將二維影像中的前景和后景分離，得到二維影像的前后景二值圖；

S4，調(diào)整三維模型的位置，并將調(diào)整后的三維模型投影到二維影像上，獲得三維模型的投影二值圖；

S5，以三維模型的投影二值圖和二維影像的前后景二值圖的異或累加值作為優(yōu)化條件，利用單純形法優(yōu)化并求取二維影像與三維模型的相對位置。

本發(fā)明的有益效果是：本發(fā)明的自動重建二維影像與三維模型準確相對位置的方法是根據(jù)給定的三維模型相對于二維影像的初始位置，選取二維影像分割的種子點，將二維影像中的模型部分與背景分離開來，通過調(diào)整三維空間中模型相對于影像的位置，利用單純形法求取準確的相對位置；本發(fā)明充分利用了三維幾何形狀信息和二維紋理信息，基于圖像分割技術和單純形算法，盡量減少人工交互的工作，自動重建二維影像與三維模型的準確相對位置，減少人工干預的工作量。

在上述技術方案的基礎上，本發(fā)明還可以做如下改進。

進一步，步驟S1具體為：

S11，根據(jù)二維影像的EXIF信息，計算拍攝二維影像時的視場角；

S12，然后將三維模型和二維影像顯示在同一個三維空間中，根據(jù)計算得出的拍攝二維影像時的視場角設置三維空間視場角大小，根據(jù)三維空間視場角大小調(diào)整三維模型相對于二維影像中三維模型邊界的一個初始相對位置。

進一步，步驟S2具體為：根據(jù)二維影像與三維模型的初始相對位置將三維模型投射在二維影像平面上，得到二值化影像，并對二值化影像進行腐蝕和膨脹處理，獲取二維影像中前景和后景的種子點；

步驟S3具體為：采用GraphCuts算法，將二維影像中前景和后景的種子點作為GraphCuts算法的輸入，GraphCuts算法的輸出為二維影像的前后景二值圖。

進一步，步驟S4具體為：

S41，確定三維模型與二維影像的相對位置的六個調(diào)整參數(shù)，初始化三維模型相對二維影像位置的七個初始解，其中每個初始解包含六個調(diào)整參數(shù)，初始化三維模型相對二維影像位置的七個初始解對應誤差的收斂條件，初始化三維模型相對二維影像位置的七個初始解的擴張系數(shù)和收縮系數(shù)；

S42，根據(jù)每個初始解中的六個調(diào)整參數(shù)調(diào)整三維模型的位置，并將每次調(diào)整后的三維模型分別投影到二維影像上，獲得三維模型的七個投影二值圖。

進一步，步驟S5具體為：

S51，獲得所述三維模型的七個投影二值圖和所述二維影像的前后景二值圖的異或累加值，并將所述異或累加值作為三維模型相對二維影像位置的七個初始解所對應的誤差，并對七個初始解的誤差進行誤差排序；

S52，計算當前七個初始解所對應的誤差的迭代誤差，并判斷迭代誤差是否滿足初始化的收斂條件，如果不滿足，則執(zhí)行步驟S53，如果滿足，則執(zhí)行步驟S54；

S53，根據(jù)七個初始解所對應的誤差的大小和/或初始化的擴張系數(shù)和/或收縮系數(shù)計算三維模型相對二維影像位置的反射點或壓縮點或擴張點，并用反射點或壓縮點或擴張點相對二維影像位置的初始解替代原七個初始解中誤差最大的初始解，得到替換后的7個初始解，并返回至步驟S42；

S54，獲得S51中的七個初始解所對應的誤差中誤差最小的初始解，根據(jù)誤差最小的初始解中的六個調(diào)整參數(shù)調(diào)整三維模型的空間位置，此時三維模型與二維影像的相對位置關系即為拍照時二維影像與三維模型的相對位置關系。

基于上述自動重建二維影像與三維模型準確相對位置的方法，本發(fā)明還提供一種自動重建二維影像與三維模型準確相對位置的系統(tǒng)。

自動重建二維影像與三維模型準確相對位置的系統(tǒng)，該系統(tǒng)根據(jù)自動重建二維影像與三維模型準確相對位置的方法構建，包括初始位置設置模塊、種子點獲取模塊、分離模塊、投影二值圖生成模塊和相對位置生成模塊；

所述初始位置設置模塊，其用于根據(jù)拍攝二維影像時的視場角設置二維影像與三維模型的初始位置；

所述種子點獲取模塊，其用于根據(jù)二維影像與三維模型的初始相對位置將三維模型投影到二維影像上后，獲取二維影像中前景和后景的種子點；

所述分離模塊，其用于通過二維影像中前景和后景的種子點，利用圖像分割算法將二維影像中的前景和后景分離，得到二維影像的前后景二值圖；

所述投影二值圖生成模塊，其用于調(diào)整三維模型的位置，并將調(diào)整后的三維模型投影到二維影像上，獲得三維模型的投影二值圖；

所述相對位置生成模塊，其用于以三維模型的投影二值圖和二維影像的前后景二值圖的異或累加值作為優(yōu)化條件，利用單純形法優(yōu)化并求取二維影像與三維模型的相對位置。

本發(fā)明的有益效果是：本發(fā)明的自動重建二維影像與三維模型準確相對位置的系統(tǒng)是根據(jù)給定的三維模型相對于二維影像的初始位置，選取二維影像分割的種子點，將二維影像中的模型部分與背景分離開來，通過調(diào)整三維空間中模型相對于影像的位置，利用單純形法求取準確的相對位置；本發(fā)明充分利用了三維幾何形狀信息和二維紋理信息，基于圖像分割技術和單純形算法，盡量減少人工交互的工作，自動重建二維影像與三維模型的準確相對位置，減少人工干預的工作量。

在上述技術方案的基礎上，本發(fā)明還可以做如下改進。

進一步，所述初始位置設置模塊具體為：根據(jù)二維影像的EXIF信息，計算拍攝二維影像時的視場角；將三維模型和二維影像顯示在同一個三維空間中，根據(jù)計算得出的拍攝二維影像時的視場角設置三維空間視場角大小，調(diào)整三維模型相對于二維影像中三維模型邊界的一個初始相對位置。

進一步，所述種子點獲取模塊具體為：根據(jù)二維影像與三維模型的初始相對位置將三維模型投射在二維影像平面上，得到二值化影像，并對二值化影像進行腐蝕和膨脹處理，獲取二維影像中前景和后景的種子點；

所述分離模塊具體為：采用GraphCuts算法，將二維影像中前景和后景的種子點作為GraphCuts算法的輸入，GraphCuts算法的輸出為二維影像的前后景二值圖。

進一步，所述投影二值圖生成模塊具體為：

確定三維模型與二維影像的相對位置的六個調(diào)整參數(shù)，初始化三維模型相對二維影像位置的七個初始解，其中每個初始解包含六個調(diào)整參數(shù)，初始化收斂條件、擴張系數(shù)和收縮系數(shù)；

根據(jù)每個初始解中的六個調(diào)整參數(shù)調(diào)整三維模型的位置，并將每次調(diào)整后的三維模型分別投影到二維影像上，獲得三維模型的七個投影二值圖。

進一步，所述相對位置生成模塊具體為：

獲取三維模型的七個投影二值圖和二維影像的前后景二值圖的異或累加值，并將所述異或累加值作為三維模型相對二維影像位置的七個初始解所對應的誤差，并對七個初始解的誤差進行誤差排序；

計算當前七個初始解所對應的誤差的迭代誤差，并判斷迭代誤差是否滿足收斂條件；

如果迭代誤差不滿足收斂條件，根據(jù)七個初始解所對應的誤差的大小和/或擴張系數(shù)和/或收縮系數(shù)計算三維模型相對二維影像位置的反射點或壓縮點或擴張點，并用反射點或壓縮點或擴張點相對二維影像位置的初始解替代原七個初始解中誤差最大的初始解，得到替換后的7個初始解，并返回至投影二值圖生成模塊中；

如果迭代誤差滿足收斂條件，獲得七個初始解所對應的誤差中誤差最小的初始解，根據(jù)誤差最小的初始解中的六個調(diào)整參數(shù)調(diào)整三維模型的空間位置，此時三維模型與二維影像的相對位置關系即為拍照時二維影像與三維模型的相對位置關系。

附圖說明

圖1為本發(fā)明自動重建二維影像與三維模型準確相對位置的方法的整體流程圖；

圖2為本發(fā)明自動重建二維影像與三維模型準確相對位置的方法的具體流程圖；

圖3為本發(fā)明自動重建二維影像與三維模型準確相對位置的方法中三維模型初始位置示意圖；

圖4為本發(fā)明自動重建二維影像與三維模型準確相對位置的方法中二維影像分割種子點的示意圖；

圖5為本發(fā)明自動重建二維影像與三維模型準確相對位置的方法中二維影像分割后前后景二值圖示意圖；

圖6為本發(fā)明自動重建二維影像與三維模型準確相對位置的方法中三維模型投射影像示意圖；

圖7為本發(fā)明自動重建二維影像與三維模型準確相對位置的方法中單純形法調(diào)整前邊界處的誤差示意圖；

圖8為本發(fā)明自動重建二維影像與三維模型準確相對位置的方法中單純形法調(diào)整后邊界處的誤差示意圖；

圖9為本發(fā)明自動重建二維影像與三維模型準確相對位置的方法中單純形法調(diào)整后的效果示意圖；

圖10為本發(fā)明自動重建二維影像與三維模型準確相對位置的系統(tǒng)的結構框圖。

具體實施方式

以下結合附圖對本發(fā)明的原理和特征進行描述，所舉實例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。

如圖1所示，自動重建二維影像與三維模型準確相對位置的方法，包括以下步驟：

S1，根據(jù)拍攝二維影像時的視場角設置二維影像與三維模型的初始相對位置；

S2，根據(jù)二維影像與三維模型的初始相對位置將三維模型投影到二維影像上后，獲取二維影像中前景和后景的種子點；

S3，通過二維影像中前景和后景的種子點，利用圖像分割算法將二維影像中的前景和后景分離，得到二維影像的前后景二值圖；

S4，調(diào)整三維模型的位置，并將調(diào)整后的三維模型投影到二維影像上，獲得三維模型的投影二值圖；

S5，以三維模型的投影二值圖和二維影像的前后景二值圖的異或累加值作為優(yōu)化條件，利用單純形法優(yōu)化并求取二維影像與三維模型的相對位置。

其中：二維影像中的前景是三維模型投影到二維影像上后，在二維影像中的三維模型部分；二維影像中的后景是二維影像的背景，即空白部分。

圖2為本發(fā)明自動重建二維影像與三維模型準確相對位置的方法的具體流程圖。

在步驟S1中：S11，根據(jù)二維影像的EXIF信息，計算拍攝二維影像時的視場角；S12，將三維模型和二維影像顯示在同一個三維空間中，根據(jù)計算得出的拍攝二維影像時的視場角設置三維空間視場角大小，根據(jù)三維空間視場角大小調(diào)整三維模型相對于二維影像中三維模型邊界的一個初始相對位置。三維模型相對于二維影像中模型邊界的一個粗略位置如圖3所示。

其中：二維影像的EXIF信息包含了所拍影像的各種元數(shù)據(jù)：如焦距、相機品牌、相機型號等信息；計算視場角的方法是：構建相機品牌、相機型號和相機感光元件大小之間的數(shù)據(jù)庫，使用時根據(jù)查詢數(shù)據(jù)庫的結果和視場角公式計算視場角的大小。

在步驟S2中，根據(jù)二維影像與三維模型的初始相對位置，將三維模型投射在二維影像平面上，得到二值化影像，對二值化影像進行腐蝕和膨脹處理，獲得二維影像中前景和后景的種子點，二維影像中前景和后景的種子點如圖4所示。

在步驟S3中，本發(fā)明分離二維影像中的模型部分采用的是GraphCuts算法，該算法根據(jù)圖像的亮度分布、邊緣等信息將圖像分割為若干子圖；利用步驟S2得到的二維影像的前景和后景的種子點，作為GraphCuts算法的輸入，輸出為分離后的二維影像的前景和后景的影像，用二值化圖像表示，即得到二維影像的前后景二值圖，分離后的二維影像的前后景二值圖如圖5所示。

在步驟S4中：

S41，確定三維模型與二維影像的相對位置的六個調(diào)整參數(shù)，初始化三維模型相對二維影像位置的七個初始解，其中每個初始解包含六個調(diào)整參數(shù)，初始化三維模型相對二維影像位置的七個初始解對應誤差的收斂條件，初始化三維模型相對二維影像位置的七個初始解的擴張系數(shù)和收縮系數(shù)；

S42，根據(jù)每個初始解中的六個調(diào)整參數(shù)調(diào)整三維模型的位置，并將每次調(diào)整后的三維模型投影到二維影像上，獲得三維模型的七個投影二值圖。調(diào)整后的三維模型的投射影像如圖6所示。

其中：三維模型與二維影像的相對位置的六個調(diào)整參數(shù)包括三個平移參數(shù)和三個旋轉參數(shù)，當三維模型和二維影像顯示在同一個三維空間中時，這六個參數(shù)就控制了模型相對于影像的位置；在三維模型相對三維空間位置的七個初始解中，其中每個初始解代表三維模型的一個空間位置，由六個調(diào)整參數(shù)組成；收斂條件是優(yōu)化算法停止迭代的終止條件，擴張系數(shù)和壓縮系數(shù)在后續(xù)步驟中求取擴張點或壓縮點使用。

在步驟S5中：

步驟S5具體為：

S51，根據(jù)S42中獲得的三維模型的七個投影二值圖和S3中獲得的二維影像的前后景二值圖的異或累加值，并將所述異或累加值作為三維模型相對二維影像位置的七個初始解所對應的誤差，并對七個初始解的誤差進行誤差排序；如圖7所示，圖7為單純形法調(diào)整前邊界處的誤差示意圖；

S52，計算當前七個初始解所對應的誤差的迭代誤差，并判斷迭代誤差是否滿足S41中初始化的收斂條件，如果不滿足，則執(zhí)行步驟S53，如果滿足，則執(zhí)行步驟S54；

S53，根據(jù)七個初始解所對應的誤差的大小和/或S41中初始化的擴張系數(shù)和/或收縮系數(shù)計算三維模型相對二維影像位置的反射點或壓縮點或擴張點，并用反射點或壓縮點或擴張點替代七個初始解中誤差最大的初始解，得到替換后的7個初始解，并返回至步驟S42；如圖8所示，圖8為單純形法調(diào)整后邊界處的誤差示意圖；

S54，獲得S51中的七個初始解所對應的誤差中誤差最小的初始解，根據(jù)誤差最小的初始解中的六個調(diào)整參數(shù)調(diào)整三維模型的空間位置，此時三維模型與二維影像的相對位置關系即為拍照時二維影像與三維模型的相對位置關系。如圖9所示，圖9為準確調(diào)整后的效果示意圖。

其中：計算三維模型相對三維空間位置的七個初始解所對應的誤差可以通過三維模型的投影二值圖和二維影像的前后景二值圖之間的異或運算進行統(tǒng)計；迭代誤差是對當前七個初始解所對應誤差的整體評估。

本發(fā)明的自動重建二維影像與三維模型準確相對位置的方法是根據(jù)拍攝時的視場角和據(jù)此給定的三維模型相對于二維影像的初始位置，選取二維影像分割的種子點，將二維影像中的模型部分與背景分離開來，通過調(diào)整三維空間中模型相對于影像的位置，利用單純形法求取準確的相對位置；本發(fā)明充分利用了三維幾何形狀信息和二維紋理信息，基于圖像分割技術和單純形算法，盡量減少人工交互的工作，自動重建二維影像與三維模型的準確相對位置，減少人工干預的工作量。

基于上述自動重建二維影像與三維模型準確相對位置的方法，本發(fā)明還提供一種自動重建二維影像與三維模型準確相對位置的系統(tǒng)。

如圖10所示，自動重建二維影像與三維模型準確相對位置的系統(tǒng)，該系統(tǒng)根據(jù)自動重建二維影像與三維模型準確相對位置的方法構建，包括初始位置設置模塊、種子點獲取模塊、分離模塊、投影二值圖生成模塊和相對位置生成模塊；

所述初始位置設置模塊，其用于根據(jù)拍攝二維影像時的視場角設置二維影像與三維模型的初始位置；

所述種子點獲取模塊，其用于根據(jù)二維影像與三維模型的初始相對位置將三維模型投影到二維影像上后，獲取二維影像中前景和后景的種子點；

所述分離模塊，其用于通過二維影像中前景和后景的種子點，利用圖像分割算法將二維影像中的前景和后景分離，得到二維影像的前后景二值圖；

所述投影二值圖生成模塊，其用于調(diào)整三維模型的位置，并將調(diào)整后的三維模型投影到二維影像上，獲得三維模型的投影二值圖；

所述相對位置生成模塊，其用于以三維模型的投影二值圖和二維影像的前后景二值圖的異或累加值作為優(yōu)化條件，利用單純形法優(yōu)化并求取二維影像與三維模型的相對位置。

所述初始位置設置模塊具體為：首先根據(jù)二維影像的EXIF信息，計算拍攝二維影像時的視場角；然后將三維模型和二維影像顯示在同一個三維空間中，根據(jù)計算得出的拍攝二維影像時的視場角設置三維空間視場角大小，調(diào)整三維模型相對于二維影像中三維模型邊界的一個初始相對位置。

所述種子點獲取模塊具體為：根據(jù)二維影像與三維模型的初始相對位置將三維模型投射在二維影像平面上，得到二值化影像，并對二值化影像進行腐蝕和膨脹處理，自動獲取二維影像中前景和后景的種子點。

所述分離模塊具體為：采用GraphCuts算法，將二維影像中前景和后景的種子點作為GraphCuts算法的輸入，GraphCuts算法的輸出為二維影像的前后景二值圖。

所述投影二值圖生成模塊具體為：

首先確定三維模型與二維影像的相對位置的六個調(diào)整參數(shù)，初始化三維模型相對二維影像位置的七個初始解，其中每個初始解包含六個調(diào)整參數(shù)，初始化收斂條件、擴張系數(shù)和收縮系數(shù)；

然后根據(jù)每個初始解中的六個調(diào)整參數(shù)調(diào)整三維模型的位置，并將每次調(diào)整后的三維模型分別投影到二維影像上，獲得三維模型的七個投影二值圖；

所述相對位置生成模塊具體為：

首先，獲取三維模型的七個投影二值圖和二維影像的前后景二值圖的異或累加值，并將所述異或累加值作為三維模型相對二維影像位置的七個初始解所對應的誤差，并對七個初始解的誤差進行誤差排序；

然后，計算當前七個初始解所對應的誤差的迭代誤差，并判斷迭代誤差是否滿足收斂條件；

接著，如果迭代誤差不滿足收斂條件，根據(jù)七個初始解所對應的誤差的大小和/或擴張系數(shù)和/或收縮系數(shù)計算三維模型相對二維影像位置的反射點或壓縮點或擴張點，并用反射點或壓縮點或擴張點相對二維影像位置的初始解替代原七個初始解中誤差最大的初始解，得到替換后的7個初始解，并返回至投影二值圖生成模塊中；

最后，如果迭代誤差滿足收斂條件，獲得七個初始解所對應的誤差中誤差最小的初始解，根據(jù)誤差最小的初始解中的六個調(diào)整參數(shù)調(diào)整三維模型的空間位置，此時三維模型與二維影像的相對位置關系即為拍照時二維影像與三維模型的相對位置關系。

本發(fā)明的自動重建二維影像與三維模型準確相對位置的系統(tǒng)是根據(jù)給定的三維模型相對于二維影像的初始位置，選取二維影像分割的種子點，將二維影像中的模型部分與背景分離開來，通過調(diào)整三維空間中模型相對于影像的位置，利用單純形法求取準確的相對位置；本發(fā)明充分利用了三維幾何形狀信息和二維紋理信息，基于圖像分割技術和單純形算法，盡量減少人工交互的工作，自動重建二維影像與三維模型的準確相對位置，減少人工干預的工作量。

以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。