本發(fā)明總體涉及三維(3-D)成像，更具體地，涉及顯示由一系列的3-D掃描形成的復(fù)合3-D表面，以及在形成復(fù)合3-D表面的過程中自動檢測并校正誤差。

發(fā)明背景

3-D表面掃描廣泛用于許多領(lǐng)域，包括醫(yī)學(xué)和牙科應(yīng)用?；颊呖谇坏脑敿?-D表面掃描在作為計劃資源和用于跟蹤患者的畸齒矯正、恢復(fù)、假體和相關(guān)牙科手術(shù)的進展方面具有特殊價值。

對于牙科成像和其它類型的3-D成像而言，經(jīng)常出現(xiàn)的情況是，獲取對象的多個視圖以便表現(xiàn)對象的3-D表面內(nèi)容。對象的獨立視圖是沿著對象從不同視角捕獲的，隨后由成像軟件拼接在一起，以便以復(fù)合3-D表面的形式表現(xiàn)3-D數(shù)據(jù)。匹配或關(guān)聯(lián)單獨3-D視圖的過程有時被稱為拼接。作為視圖拼接的一部分，每個單獨的3-D視圖與主體的相鄰部分的視圖進行匹配，并且具有為復(fù)合3-D表面的組合而分配的相關(guān)聯(lián)的平移和旋轉(zhuǎn)特性。

至于牙科成像，通過使用口內(nèi)相機掃描患者的口腔來捕獲一系列的3-D視圖。3-D視圖內(nèi)容是例如使用諸如條紋投影的圖案化光方法而生成，或者通過獲取與每個牙齒和軟組織表面對應(yīng)的點云數(shù)據(jù)而生成，諸如，使用“運動恢復(fù)結(jié)構(gòu)”(SFM)成像技術(shù)、圖像處理領(lǐng)域的技術(shù)人員所熟悉的距離成像方法。多視圖成像和一些適用的運動恢復(fù)結(jié)構(gòu)技術(shù)在例如Park等人的標題為"Producing 3D images from captured 2D video"的第2012/0242794號美國專利申請公布中描述，該美國專利申請公布以引用方式全文并入本文中。也可使用用于獲取表面圖像內(nèi)容的替代方法，諸如，使用來自焦點數(shù)據(jù)的深度信息的方法、射頻(RF)三角測量、定時檢測測序、立體視覺以及其它方法。

在視圖拼接的處理中，成像系統(tǒng)針對每個連續(xù)的掃描視圖在這個獲取的表面數(shù)據(jù)上操作，并且計算用于將所獲取的3-D視圖中的每個拼接在一起的所需對齊信息(包括旋轉(zhuǎn)和平移)。至于各種圖像拼接方法，參考授予Kalayeh的第8,600,193號美國專利、授予Scharlack等人的第7,362,890號和第7,551,760號美國專利、Lee等人的第2014/0152660號美國專利申請公布、Givon的第2012/0320052號美國專利申請公布。

現(xiàn)有3-D視圖拼接方法的一個重復(fù)出現(xiàn)的問題涉及所獲取的3-D視圖相對于鄰近圖像的放置的誤差檢測。為了檢測分量圖像放置的誤差并作出響應(yīng)，成像系統(tǒng)通常要求操作員輸入或甚至刪除匹配不良的視圖片段。操作員輔助的誤差檢測和校正方法極不受歡迎并且容易出錯。需要用于自動檢測和校正圖像匹配誤差的更穩(wěn)健且有效的算法，以便使3-D成像設(shè)備對牙科成像和其它應(yīng)用而言更強大和有用。

圖像處理中發(fā)生3-D視圖的誤放可能是由于很多原因中的任一個，包括時序約束和不完全信息。自動化組合過程的初始拼接決定必須快速提供，以便提供延遲最小的視覺反饋，獲得適當(dāng)?shù)挠^看者體驗。此外，只有部分信息可用于拼接算法，因為數(shù)據(jù)被收集。錯誤的放置有時只在已經(jīng)計算了額外放置關(guān)系并顯示結(jié)果之后才明顯。因此，需要用于在匹配相鄰3-D視圖時檢測誤放和相關(guān)誤差并且用于在不需要操作員介入的情況下校正這些誤差的自動化方法。

發(fā)明概要

本公開的目標是針對通過將一系列的掃描3-D視圖相結(jié)合來形成和表現(xiàn)復(fù)合3-D表面的應(yīng)用，拓展表面成像的領(lǐng)域。本公開的目標提供用于在將掃描的圖像內(nèi)容相結(jié)合時自動檢測并校正誤差的設(shè)備和方法。

這些目標僅通過說明性實例的方式給出，并且此類目標可以是本發(fā)明的一個或多個實施方案的示例。本領(lǐng)域技術(shù)人員可明白或了解本發(fā)明固有地實現(xiàn)的其它理想目標和優(yōu)點。本發(fā)明由所附權(quán)利要求書限定。

根據(jù)本發(fā)明的一方面，提供一種用于顯示對象的3-D表面的方法，所述方法至少部分在計算機上執(zhí)行并且包括：

獲取包括多個成員的集合，其中每個成員是所述對象的3-D視圖；

至少根據(jù)所述成員之間的位移來生成關(guān)系數(shù)據(jù)，所述關(guān)系數(shù)據(jù)將所述3-D視圖集合中的每個成員與所述集合中的至少一個其它成員相關(guān)聯(lián)；

根據(jù)所述生成的關(guān)系數(shù)據(jù)來形成所述對象的復(fù)合3-D表面；

根據(jù)所述生成的關(guān)系數(shù)據(jù)來自動檢測所述復(fù)合表面中的一個或多個定位誤差，并且重新生成所述關(guān)系數(shù)據(jù)的至少一部分，以校正所述一個或多個定位誤差；以及

顯示根據(jù)所述重新生成的關(guān)系數(shù)據(jù)而形成的經(jīng)校正復(fù)合3-D表面。

附圖簡單描述

從以下對本發(fā)明的實施方案的更具體描述中將明白本發(fā)明的上述和其它目標、特征及優(yōu)點，如附圖所示。附圖的元件不必相對于彼此按比例繪制。

圖1是示出根據(jù)本申請的實施方案的用于從一系列的2D圖像中獲取3-D視圖的成像設(shè)備的邏輯流程圖。

圖2A示出根據(jù)本申請的實施方案的具有連接不良的片段的復(fù)合3-D表面。

圖2B示出圖2A的復(fù)合3-D表面的校正視圖。

圖3是示出根據(jù)本公開的另一實施方案的用于3-D視圖拼接和校正的過程的邏輯流程圖。

圖4是示出根據(jù)本申請的實施方案的用于根據(jù)一系列的掃描圖像來形成連接圖的順序的邏輯流程圖。

圖5示出實例連接圖。

圖6是示出根據(jù)本申請的另一實施方案的用于細化連接圖的過程的邏輯流程圖，包括誤差的檢測和校正。

圖7A示出在視圖匹配過程中因接合處而造成定位不良的實例。

圖7B示出根據(jù)本申請的實施方案的經(jīng)校正復(fù)合表面。

圖8A示出針對示出植入物的復(fù)合表面，因接合處造成的連接不良的片段。

圖8B示出根據(jù)本申請的實施方案的適當(dāng)定位的用于圖8A的植入物的校正表面。

示例性實施方案的詳細描述

下文是本發(fā)明的示例性方法和/或設(shè)備實施方案的詳細描述，參考附圖，在附圖中，相同參考標號表示若干圖中的每個圖中的結(jié)構(gòu)的相同元件。

在下列附圖和正文中，類似的元件由類似的參考標號指代，并且省略與元件和布置或者元件的相互作用有關(guān)的類似描述。在使用之處，術(shù)語“第一”、“第二”等不一定表示任何順序或優(yōu)先關(guān)系，而是只用來更清楚地將一個元件與另一元件區(qū)分開。

在本公開的背景下，術(shù)語“觀看者”、“操作員”和“用戶”應(yīng)被視作相等，并且指的是觀看的執(zhí)業(yè)醫(yī)生或技師或者在顯示器上觀看并操縱圖像，諸如牙科圖像的其他人?！安僮鲉T指令”或“觀看者指令”是從由觀看者輸入的明確命令中獲取，諸如，使用計算機鼠標或觸摸屏或者鍵盤輸入。

在本公開的背景下，術(shù)語“3-D視圖”與術(shù)語“三維圖像”或“3-D掃描”同義。3-D視圖示出從表面的一個或多個反射圖像獲取的牙齒或其它結(jié)構(gòu)的表面數(shù)據(jù)。術(shù)語“反射圖像”指的是圖像或者是由相機使用光的反射捕獲的對應(yīng)圖像數(shù)據(jù)；反射照明通常但未必是可見光。根據(jù)如何表現(xiàn)表面數(shù)據(jù)，反射圖像采用多種方式中的任一方式轉(zhuǎn)換成3-D視圖，如隨后更詳細地描述。3-D視圖可以使用多種不同技術(shù)中的任一技術(shù)獲取，包括激光掃描裝置、立體成像裝置、顏色深度相機，以及獲取與所獲取的圖像內(nèi)容相關(guān)的深度信息或點云數(shù)據(jù)的其它成像裝置，包括距離成像和網(wǎng)格成像裝置。使用結(jié)構(gòu)光或圖案化照明的裝置，諸如條紋投影成像器，也可以用來獲取3-D視圖。

在本公開的背景下，“復(fù)合表面”或“復(fù)合3-D表面”是通過匹配多個3-D視圖(例如，一系列的多個掃描的3-D視圖)而形成的3-D表面。此類3-D視圖也可被視作經(jīng)結(jié)合以形成復(fù)合表面的“分量”視圖。掃描的3-D視圖可具有呈多種形式中的任一形式的表面數(shù)據(jù)，包括圖案化光或“條紋投影”、點云或者其它表面圖像數(shù)據(jù)。

本文中使用的術(shù)語“集合”指的是非空集合，如初等數(shù)學(xué)中廣泛理解的集合中的元素或成員的集合的概念。除非另外明確指明，否則本文中使用的術(shù)語“子集”指的是非空真子集，也就是，具有一個或多個成員的較大集合的子集。針對集合S，子集可包括完全集S。然而，集合S的“真子集”嚴格地包含于集合S中，并且排除集合S中的至少一個成員。

本文中使用的術(shù)語“可通電”涉及在接收電力后并且任選地在接收啟動信號后執(zhí)行所表明的功能的裝置或部件的集合。

用于所顯示的特征的術(shù)語“突出顯示”具有如信息和圖像顯示領(lǐng)域的技術(shù)人員所理解的常規(guī)含義。一般而言，突出顯示使用局部顯示增強的某一形式，以吸引觀看者的注意。將圖像的一部分(諸如，個別器官、骨骼、或結(jié)構(gòu)、或者例如從一個特征延伸到下一特征的路徑或空腔)突出顯示可采用多種方式中的任一方式來實現(xiàn)，包括但不限于，加注解、顯示附近或覆蓋符號、描繪輪廓或畫出輪廓、以與其它圖像或信息內(nèi)容不同的顏色或者明顯不同的亮度或灰度值顯示、閃爍或動畫表示顯示的一部分，或者以較高的清晰度或?qū)Ρ榷蕊@示。

在根據(jù)本公開的3-D視圖匹配的背景下，術(shù)語“位移”優(yōu)選地涉及對象的一個3-D視圖相對于另一視圖的平移和旋轉(zhuǎn)。

本公開的實施方案可使用從有關(guān)主體的不同位置(例如，角度)拍攝的主體的2-D圖像中獲取3-D結(jié)構(gòu)信息的多視圖成像技術(shù)。多視圖成像的處理可使用“運動恢復(fù)結(jié)構(gòu)”(SFM)成像技術(shù)、圖像處理領(lǐng)域的技術(shù)人員所熟悉的距離成像方法。多視圖成像和一些適用的運動恢復(fù)結(jié)構(gòu)技術(shù)在例如Park等人的標題為"Producing 3D images from captured 2D video"的第2012/0242794號美國專利申請公布中描述，該美國專利申請公布以引用方式全文并入本文中。

圖1的示意圖示出根據(jù)本公開的實施方案的用于從一系列的反射圖像中獲取3-D視圖的成像設(shè)備90。相機16(通常是手持式數(shù)碼相機、顏色深度相機、手持式3-D掃描儀或口內(nèi)3-D掃描儀)掃描患者14的整個口腔，以獲取具有多個反射圖像和相關(guān)聯(lián)的深度信息的集合。與相機16信號通信的控制邏輯處理器80獲取來自相機16的圖像數(shù)據(jù)，并且處理該圖像數(shù)據(jù)以及深度信息，以便生成單獨的3-D視圖92?？刂七壿嬏幚砥?0隨后將掃描的3-D視圖相結(jié)合，以便生成復(fù)合3-D表面94并且在顯示器84上顯示?？刂七壿嬏幚砥?0上的誤差檢測與校正邏輯隨后可操作，以識別匹配錯誤或匹配不良的3-D視圖92，并且使用本申請的方法和/或設(shè)備實施方案來生成和顯示經(jīng)校正復(fù)合3-D表面94。在一些實施方案中，處理成和/或執(zhí)行誤差檢測與校正邏輯的硬件和/或邏輯可設(shè)置在相機16、控制邏輯處理器80、顯示器84或者遠程計算機/硬件中，以組合和調(diào)整復(fù)合視圖(例如，不依賴操作員介入或輸入)。

舉例來說，圖2A示出具有由以圓圈示出的接合處3-D視圖44連接的連接不良片段的所顯示的復(fù)合3-D表面48。本公開的實施方案檢測并校正這種類型的連接誤差和/或其它連接誤差，以提供圖2B的經(jīng)校正復(fù)合3-D表面50。

圖3的邏輯流程圖示出根據(jù)本公開的實施方案的用于生成和顯示復(fù)合3-D表面的處理順序。在掃描步驟S100中，技師或執(zhí)業(yè)醫(yī)生掃描患者的牙齒并且獲取圖像的集合，所述圖像經(jīng)過獲得和處理以生成3-D視圖集合96，所述3-D視圖可相結(jié)合例如以形成復(fù)合3-D表面94。用于從掃描的圖像中生成3-D視圖數(shù)據(jù)所需的處理類型取決于所使用的成像類型。針對點云數(shù)據(jù)，例如，可使用表面成像領(lǐng)域的技術(shù)人員所熟悉的距離成像方法。在圖形成步驟S200中，處理器根據(jù)連接圖模型來生成用于不同的獲取圖像的3-D視圖數(shù)據(jù)，所述連接圖模型隨后可針對來自視圖集合96的連接不良的分量3-D視圖92進行分析。細化步驟S300隨后將連接圖細化，以便提供所連接的分量3-D表面視圖92的改良匹配。顯示步驟S400顯示來源于細化所掃描的3-D視圖的連接數(shù)據(jù)的處理結(jié)果。

用于從所獲取的掃描3-D視圖集合中生成復(fù)合3-D表面的視圖拼接過程是圖像處理領(lǐng)域的技術(shù)人員已知的。然而，提供圖像拼接的現(xiàn)有系統(tǒng)并不提供自動檢測并且校正因不良匹配和矛盾或沖突的匹配變換而造成的問題的實用工具。與現(xiàn)有技術(shù)相比，本公開的實施方案使用新方法，該新方法實現(xiàn)圖像匹配異常的自動化檢測和校正，以用于生成復(fù)合3-D表面。本公開的實施方案并不需要操作員介入，諸如，“手動”刪除視圖或者刪除或重新計算似乎是問題的源頭的變換的操作員指令。

本發(fā)明的示例性實施方案可使用圖模型和相關(guān)聯(lián)的邏輯，以便提供所獲取與處理后的3-D視圖92(圖1)之間的適當(dāng)匹配。發(fā)明人已發(fā)現(xiàn)，圖邏輯的特征可有效地用來幫助識別和校正圖像匹配異常，諸如，圖2A中示出的異常，其中必須進行表現(xiàn)較差的初始匹配邏輯和校正動作，以便提供準確組合的復(fù)合3-D表面。必須強調(diào)的是，所使用的連接圖模型提供用于排列和布置有關(guān)不同3-D視圖92的數(shù)據(jù)的方便示例性機制，并且允許視圖之間的位置關(guān)系的簡單算法分析。連接圖本身不需要顯示；這個模型僅僅有助于描述和顯示圖像處理可如何針對每個3-D視圖來評估和重新安排位置參數(shù)(例如，旋轉(zhuǎn)、平移)，以便組合和調(diào)整復(fù)合視圖，而不依賴于操作員介入或輸入。

圖4的邏輯流程圖示出圖形成步驟S200的一些示例性子步驟。針對掃描的3-D視圖集合96中的每個成員，步驟可以重復(fù)。在鄰近關(guān)系計算步驟S210中，對每個掃描的3-D視圖92進行分析并且將它匹配到鄰近視圖。在本公開的背景下，給定的掃描3-D表面視圖92的鄰近視圖應(yīng)被視作中心位于給定視圖92的預(yù)定半徑內(nèi)的視圖。然而，其它示例性措施可用來限定鄰近視圖。預(yù)定半徑可基于3-D視圖尺寸來根據(jù)經(jīng)驗確定，所述3-D視圖尺寸與掃描儀視野有關(guān)并且可在成像系統(tǒng)之間改變。附近的相關(guān)視圖92的視圖匹配可使用圖像處理領(lǐng)域的技術(shù)人員所熟悉的多種實用工具和方法。一般而言，匹配使用將新掃描的視圖92與任何其它視圖相關(guān)聯(lián)的任何可用信息。這可包括，例如，從相機16(圖1)獲取的有關(guān)下列的信息：相對相機運動、相機位置、視頻跟蹤或者與對象相關(guān)的姿勢信息。這也可包括有關(guān)其它表面視圖92的表面特征的信息。針對每個3-D視圖92，步驟S210的結(jié)果可以是鄰近關(guān)系的集合，所述鄰近關(guān)系在隨后的處理中用來定位或重新定位連接圖內(nèi)的該視圖。鄰近關(guān)系可以表達為相對于識別的鄰居來旋轉(zhuǎn)和平移掃描的3-D視圖的變換。這些變換可以容易采取用于視圖平移和旋轉(zhuǎn)的傳統(tǒng)矩陣形式，諸如，3-D視圖處理領(lǐng)域的技術(shù)人員所熟悉的4×4矩陣。殘余位移步驟S220基于鄰近關(guān)系來計算視圖的當(dāng)前位置與預(yù)期位置之間的任何殘余位移。

連接的視圖從鄰近關(guān)系集合中獲取。連接標準可包括獲取現(xiàn)有3-D視圖位置與鄰近關(guān)系之間的平移和旋轉(zhuǎn)的相對值。各種決定方法可用于確定視圖連接性，諸如，使用有關(guān)所需或最佳位置的殘余位移。例如，視圖V1可通過執(zhí)行下列來連接到它附近的視圖V2：

(i)從它與V2的鄰近關(guān)系來計算V1的預(yù)期位置；

(ii)計算V1的當(dāng)前位置與預(yù)期位置之間的殘余位移；

(iii)從殘余位移中計算平移幅度和旋轉(zhuǎn)幅度；

(iv)如果平移幅度低于第一閾值并且旋轉(zhuǎn)幅度低于第二閾值，則考慮將V1和V2連接。

所有成對的鄰近視圖的連接信息的計算提供連接的集合，稱為連接圖。用于復(fù)合表面顯示的連接圖是在連接圖生成步驟S230中生成的。

圖5示出用于掃描的3-D視圖的小集合的示例性連接圖20。連接圖20中的每個頂點或節(jié)點表示掃描的3-D視圖。每條邊(線)表示基于接近度和先前描述的視圖匹配標準的3-D視圖之間的連接視圖關(guān)系。

如圖5中的圖20的布置示出，視圖V74被稱為接合處3-D視圖44，如果移除該接合處3-D視圖，將生成兩個視圖群集，群組22a和22b。圖20中的左邊的群組22a具有分量3-D視圖V76、V77、V85、V86和V87。圖20中的右邊的群組22b具有分量3-D視圖V78、V79、V83、V84、V88、V89、V90和V91。在此特定情況下，視圖V74具有到群組22a的唯一連接，該視圖可移除以生成兩個不同的群集，之后可以將來自群組22a的視圖重新定位在群組22b上。

連接圖20的映射可以提供有關(guān)如何組織復(fù)合3-D表面的重要有用信息，并且在關(guān)系相對較差或不可能的地方，可操作而導(dǎo)致諸如圖2A所示的視圖拼接異常。作為引起匹配和重新匹配處理的通用經(jīng)驗法則，較差的匹配通常彼此不一致。當(dāng)關(guān)系的網(wǎng)絡(luò)被表示為連接圖時，可以容易表示這些類型的關(guān)系。使用連接圖表示，可容易可見與較差匹配相關(guān)的其它問題。在圖5中，例如，接合處視圖V74與視圖V76只具有單一關(guān)系，因此與群組22a的其余部分具有單一關(guān)系。這種類型的布置是連接不良的片段所特有的，諸如，圖2A所示的那樣，并且可表明進一步的計算將有助于視圖的更穩(wěn)健布置。

細化處理

在給定諸如圖5的實例中所示的初始連接圖20的情況下，圖6的邏輯流程圖示出根據(jù)本申請的實施方案的用于在細化步驟S300(圖3)中將連接圖細化的示例性過程，包括誤差的檢測和校正，以及似乎具有較弱連接并且可因接合處和/或其它因素而連接不良的視圖的重新匹配。在所示的程序流程中，決定步驟S310確定是否存在暗示較差匹配的一個或多個未處理的群集對。如果沒有，則處理繼續(xù)到下一決定步驟S320。如果存在未處理的群集，則執(zhí)行校正步驟S312，其中處理器計算嘗試將群集重新匹配。這可涉及移除一個或多個關(guān)系(例如，變換)，以及重新計算以確定其它關(guān)系是否改進連接模式。驗證步驟S314確定配對群集的重新匹配是否成功。如果沒有，則可選擇替代配對并且處理返回到步驟S310。如果重新匹配成功，則執(zhí)行重新計算步驟S316，根據(jù)處理結(jié)果來重新調(diào)整連接圖。

繼續(xù)圖5的過程，決定步驟320進行檢查以確定連接圖中是否存在未處理的接合處。每個接合處進行處理以便測試視圖的所需或最佳布置，如果不存在的話，則處理繼續(xù)到下一決定步驟S330。如果存在未處理的接合處，則執(zhí)行校正步驟S322，其中處理器計算嘗試將接合處重新匹配。這可涉及移除較弱的單一關(guān)系(變換)，以及重新計算以確定其它關(guān)系是否改進連接模式。至于圖5的示例性連接圖，校正步驟S322可嘗試通過留出經(jīng)由視圖V76將視圖V74與群集22a相關(guān)的變換來將分量視圖V74重新匹配。這使群集22a成為臨時斷開的群集。該過程隨后重新計算視圖V76、V77、V85、V86和V87中的每個與群集22b中的視圖的匹配。

仍按照圖6中概述的過程，驗證步驟S324確定接合處的重新匹配是否成功。如果不成功，則可選擇替代接合處并且處理返回到步驟S320。如果重新匹配成功，則執(zhí)行重新計算步驟S326，根據(jù)處理結(jié)果來重新調(diào)整連接圖。

繼續(xù)圖6的過程，決定步驟330進行檢查以確定連接圖中是否存在未處理的連接不良的視圖。連接不良的視圖是比預(yù)定閾值具有更少連接鄰居的視圖。每個連接不良的視圖經(jīng)過處理以便測試視圖的選擇或最佳布置。如果存在未處理的連接不良的視圖，則執(zhí)行校正步驟S332，其中處理器計算嘗試將連接不良的視圖重新匹配。這可涉及移除較弱關(guān)系(例如，變換)，以及重新計算以確定其它關(guān)系是否改進連接模式。驗證步驟S334確定連接不良的視圖的重新匹配是否成功。如果不成功，則可選擇替代的連接不良的視圖并且處理返回到步驟S330。如果重新匹配成功，則執(zhí)行重新計算步驟S336，根據(jù)處理結(jié)果來重新調(diào)整連接圖。

連接圖細化的重新匹配

用于重新匹配的過程識別各種異常，諸如，斷開或連接不良的群集、接合處和連接不良的匹配，隨后臨時忽略較弱連接并且嘗試生成改進的定位。連接圖細化過程的重新匹配標準可包括下列任一個：

(i)重新匹配計算之前和之后的一個或多個視圖的相當(dāng)數(shù)量的連接。一般而言，具有較高數(shù)量連接的布置被視作提供更好的匹配。

(ii)與所計算的一致性變換一致的變換數(shù)量(例如，內(nèi)圍的數(shù)量)。

(iii)嘗試將群集中的一個或多個視圖重新匹配的重試次數(shù)。

一些匹配可尚未存在并且需要作為這個過程的一部分進行計算。

為了移動視圖的群組，諸如圖5的群集22a所示，可以計算一致性變換。這可通過考慮群集和更大的目標分組中的視圖之間的所有相關(guān)匹配來完成。這些相關(guān)匹配的比較可用來計算提供可應(yīng)用于多個視圖的平均旋轉(zhuǎn)和平移值的一致性變換。求平均值可限于使用隨機取樣一致性方法(RANSAC)或用于噪聲數(shù)據(jù)集中的魯棒聚類的類似技術(shù)獲取的變換的子集。RANSAC處理是成像領(lǐng)域的技術(shù)人員公知的，以用于估計形成復(fù)合表面所用的模型參數(shù)。

用于從所選擇的子集中計算一致性變換的技術(shù)包括分解成另一表示(諸如，四元數(shù)、比例、偏斜、平移)的矩陣分解、表示之間的內(nèi)插法，以及提供可以用來提供候選匹配的平均變換的重組。

一般而言，接合處通常表示與視圖定位相關(guān)的問題。圖7A和圖7B示出接合處導(dǎo)致片段98定位不良的實例。圖7B示出在移除接合處并重新生成關(guān)系數(shù)據(jù)之后的復(fù)合表面24的校正，以提供復(fù)合表面26。圖8A示出針對示出植入物32的表面28，因接合處造成的連接不良的片段98。圖8B示出適當(dāng)定位的校正表面30。

動態(tài)更新

本公開的實施方案允許在掃描附加的分量3-D視圖時自動更新復(fù)合3-D表面?，F(xiàn)有的表面數(shù)據(jù)內(nèi)容可以被來自新掃描的視圖的數(shù)據(jù)取代。這允許技師或執(zhí)業(yè)醫(yī)生校正問題并且對需要改善圖像質(zhì)量或先前的掃描過程可能錯過一些圖像內(nèi)容的區(qū)域進行重新成像。在執(zhí)行時，參考圖3到圖6描述的用于形成復(fù)合表面和校正誤差的過程根據(jù)更新圖像內(nèi)容的必需或需要經(jīng)常重復(fù)。

本公開的實施方案提供諸如圖2A所示的那些3-D視圖拼接異常的自動化檢測和校正。根據(jù)本公開的實施方案，隨著視圖被獲取并映射到目標3-D表面，視圖拼接過程將結(jié)果顯示給觀看者。校正的進行不需要觀看者介入，觀看者可以在拼接校正由圖像處理系統(tǒng)處理時觀看拼接校正，如圖7A到圖8B的顯示器84所示。

根據(jù)本公開的另一替代實施方案，操作員可以選擇識別所顯示的復(fù)合3-D表面中的一個或多個連接不良的片段，其中將移動連接不良的片段。操作員的識別可包括使用鼠標或其它指示器、從列表中選擇片段，或者其它替代。作為響應(yīng)，系統(tǒng)自動重新計算關(guān)系數(shù)據(jù)，以便移動所識別的圖像內(nèi)容。

根據(jù)本公開的另一替代實施方案，系統(tǒng)根據(jù)由連接圖建模的鄰近關(guān)系的布置來識別需要位置校正的視圖。這些視圖在顯示給用戶時進行突出顯示以便選擇，諸如，通過描繪輪廓，如圖7A所示。操作員隨后可選擇接受突出顯示的視圖的自動替換或者刪除所選擇的視圖或拒絕那些視圖的自動替換。操作員或者可以輸入識別不良放置的指令，諸如，通過使用例如觸摸屏來表明定位不良的視圖。

盡管本公開的實施方案主要描述用于牙科成像的3-D視圖的掃描和生成，但可以了解，本文所述的方法可以用在許多應(yīng)用中，其中3-D視圖集合進行組合以便提供復(fù)合3-D表面。表面可以是不透明的、半透明的，或甚至透明的。根據(jù)成像類型的特性，可需要或可不需要用于成像的表面的預(yù)處理。

根據(jù)一個實施方案，本發(fā)明利用計算機程序，所述計算機程序具有在從電子存儲器中訪問的圖像數(shù)據(jù)上執(zhí)行的存儲指令。如圖像處理領(lǐng)域的技術(shù)人員可了解，本發(fā)明的實施方案的計算機程序可由合適的通用計算機系統(tǒng)使用，諸如，個人計算機或工作站。然而，許多其它類型的計算機系統(tǒng)可用來執(zhí)行本發(fā)明的計算機程序，包括聯(lián)網(wǎng)的處理器。用于執(zhí)行本發(fā)明的方法的計算機程序可存儲在計算機可讀存儲介質(zhì)中。這個介質(zhì)可包括，例如：磁性存儲介質(zhì)，諸如，諸如硬盤驅(qū)動器的磁盤、或移動裝置、或者磁帶；光學(xué)存儲介質(zhì)，諸如，光盤、光學(xué)磁帶、或者機器可讀條形碼；固態(tài)電子存儲裝置，諸如，隨機存取存儲器(RAM)或只讀存儲器(ROM)；或者用來存儲計算機程序的任何其它物理裝置或介質(zhì)。用于執(zhí)行本發(fā)明的方法的計算機程序也可存儲在通過互聯(lián)網(wǎng)或其它通信介質(zhì)而連接到圖像處理器的計算機可讀存儲介質(zhì)上。本領(lǐng)域的技術(shù)人員將易于認識到，此類計算機程序產(chǎn)品的等效物也可構(gòu)建在硬件中。

應(yīng)注意，在本公開的背景下相當(dāng)于“計算機可訪問存儲器”的術(shù)語“存儲器”可指代用于在圖像數(shù)據(jù)上進行存儲和操作并且可由計算機系統(tǒng)訪問的任何類型的臨時或更持久的數(shù)據(jù)存儲工作空間。存儲器可以是使用例如長期存儲介質(zhì)的非易失性存儲器，諸如，磁性存儲設(shè)備或光學(xué)存儲設(shè)備?；蛘?，存儲器可以是使用電子電路的具有更易失性質(zhì)的存儲器，諸如，用作微處理器或其它控制邏輯處理器裝置的臨時緩沖器或工作空間的隨機存取存儲器(RAM)。顯示圖像需要存儲設(shè)備。顯示數(shù)據(jù)例如通常存儲在臨時存儲緩沖器中，所述臨時存儲緩沖器與顯示裝置直接相關(guān)聯(lián)，并且根據(jù)需要定期刷新以便提供所顯示的數(shù)據(jù)。這個臨時存儲緩沖器也可被視作存儲器，如該術(shù)語用在本公開中。存儲器也可用作用于執(zhí)行和存儲計算和其它處理的中間和最終結(jié)果的數(shù)據(jù)工作空間。計算機可訪問存儲器可以是易失性的、非易失性的，或者易失性與非易失性類型的混合組合。

將理解，本發(fā)明的計算機程序產(chǎn)品可利用公知的各種圖像操縱方法和過程。還將理解，本發(fā)明的計算機程序產(chǎn)品實施方案可體現(xiàn)用于實施方式的本文中沒有具體示出或描述的算法和過程。此類算法和過程可包括在圖像處理領(lǐng)域的普通技術(shù)內(nèi)的傳統(tǒng)實用工具。此類算法和系統(tǒng)的額外方面，以及用于產(chǎn)生和以其它方式處理圖像或者與本發(fā)明的計算機程序產(chǎn)品協(xié)作的硬件和/或軟件在本文中沒有明確示出或描述，并且可從本領(lǐng)域中已知的此類算法、系統(tǒng)、硬件、部件和元件中選擇。

在一個實施方案中，用于顯示對象的3-D表面的方法可以至少部分在計算機上執(zhí)行，并且包括：獲取包括多個成員的集合，其中每個成員是使用圖案化照明生成的對象的3-D視圖；至少根據(jù)成員之間的位移來生成關(guān)系數(shù)據(jù)，所述關(guān)系數(shù)據(jù)將3-D視圖集合中的每個成員與集合中的至少一個其它成員相關(guān)聯(lián)；顯示根據(jù)所生成的關(guān)系數(shù)據(jù)而形成的對象的復(fù)合表面；根據(jù)所生成的關(guān)系數(shù)據(jù)來自動檢測所顯示的復(fù)合表面中的一個或多個定位誤差，并且重新生成關(guān)系數(shù)據(jù)的至少一部分，以校正一個或多個定位誤差；以及更改顯示，以示出根據(jù)重新生成的關(guān)系數(shù)據(jù)而形成的經(jīng)校正復(fù)合表面。

盡管相對于一個或多個實施方式說明了本發(fā)明，但在不脫離所附權(quán)利要求的精神和范圍的情況下，可以對所示實例進行改變和/或更改。此外，盡管已經(jīng)可參考若干實施方式中的一個來公開本發(fā)明的特定特征，但此類特征可以與其它實施方式的一個或多個其它特征相結(jié)合，而這對于任何給定或特定功能而言可以是需要并且有利的。術(shù)語“至少一個”用來指代可以選擇的所列項目中的一個或多個。術(shù)語“約”表示列出的值可以稍微改變，只要改變不造成過程或結(jié)構(gòu)與所示實施方案不一致即可。最后，“示例性”表示描述被用作實例，而不暗示它是理想的。在考慮本文中公開的本發(fā)明的說明和實踐后，本領(lǐng)域的技術(shù)人員將明白本發(fā)明的其它實施方案。當(dāng)前公開的實施方案在所有方面因而應(yīng)被視作說明性而非限制。本發(fā)明的范圍由所附權(quán)利要求書指明，并且意圖包括屬于所附權(quán)利要求書的等效物的含義及范圍內(nèi)的所有變化。