中。例如，選擇已經識別為具有最高評分參數(shù)的描述符的描述符dl7并且存儲在第二描述符組D2’中。在本實施例中，最高評分參數(shù)表示描述符dl7的較高重要性。相應地，在其他的實施方式中，評分參數(shù)被不同地確定，應該選擇具有評分參數(shù)的描述符，該評分參數(shù)表示與其他描述符相比的相應描述符的更高重要性。
[0086]此后，在第一描述符組D2中修正所選擇的描述符(即，在本實例中為描述符dl7)的評分參數(shù)S。例如，用于描述符dl7的評分參數(shù)s可以減少到3、2、I或O (結果是，降低了它對于接下來的選擇步驟的重要性)?？蛇x地，可以在第一描述符組D2中指定所選擇的描述符(如dl7)，使得所選擇的描述符在接下來的選擇步驟中不再選擇。例如，所選擇的描述符(如dl7)可以被標記為不相關或標記為從數(shù)據(jù)庫中移除，使得在接下來的選擇步驟中不再選擇它。
[0087]如上所述的選擇描述符和修正評分參數(shù)或指定所選擇的描述符的步驟被重復進行多次，由此在第二描述符組D2’中存儲多個所選擇的描述符d，其數(shù)量低于存儲在第一描述符組D2中的描述符d的數(shù)量。因此，所提及的方法確定了源自D2的描述符組D2’，該描述符組D2’提供了 D2中的不同描述符d之間的最大匹配，S卩，D2中的最重要的描述符，并且由此描述符組D2’被期望代表在不同視角和條件下用于描述對象02。因此，這樣的第二描述符組D2’可以用于匹配和/或定位對象02或相機的另一圖像中的第二對象(優(yōu)選地類似于對象02)的至少一個特征。
[0088]圖3示出了根據(jù)類似實施例的特征描述方法，但特別是關于一般的3D對象的多個視圖。具體地，圖3闡明了與圖2所示相同的方法，但是用于一般的3D對象，而不是平面對象。在這個實例中，通過在各種條件下對數(shù)字3D模型03進行渲染而創(chuàng)建合成視圖V31、V32、V33、V34。以與圖2所闡述相同的方式，將來自所有視圖的描述符收集于第一描述符組D3中，在描述符子集識別方法M3中匹配，該描述符子集識別方法迭代地確定最佳描述符并將最佳描述符收集于第二描述符組D3’中。
[0089]根據(jù)一方面，圖4示出了合成視圖創(chuàng)建方法的不同的示例性實施例。具體地，圖4闡明了用于該方法的一些實例，從而基于對象的模型來建立對象的合成視圖。該圖使用平面對象，但是所有的例子類推地也適用于一般的3D對象。例如，借助于空間變換創(chuàng)建用于對象041的合成視圖，僅僅產生從不同視角展示對象041的視圖V41、V42、V43、V44。在另一個例子中，對象042的數(shù)字圖像僅經歷非空間變換，產生合成視圖V45、V46、V47、V48。這些視圖包括對象042的根據(jù)相應變換的不同外觀，但是來自于相同的視角。最終，在另一個例子中，空間變換和非空間變換均被用于創(chuàng)建對象043的合成視圖V49、V410、V411、V412，再次產生對象043的不同外觀，但另外具有不同的視角。顯然，也可以利用這三種情況的任意組合，即，一些合成視圖僅使用空間變換，其他的僅使用非空間變換，并且一些使用兩者的組合。
[0090]圖5示出了根據(jù)本發(fā)明實施例的方法的更詳細的流程圖，其原理已經在上面針對圖2中進行了描述。具體地，圖5示出了迭代描述符子集識別算法，其確定最終描述符組D’ (假定最初描述符組D)。例如，描述符組D對應于參考圖2描述的描述符組D2并且描述符組D’對應于描述符組D2’。
[0091]此外，所述方法以提供第一對象或第一對象的多個情況實例的多個視圖開始，其中，所述多個情況實例提供對象的不同外觀或不同樣式，在視圖中從相應視圖提取至少一個特征，提供用于所提取特征的相應描述符，并且將用于多個所提取特征的描述符存儲在第一描述符組D內。這些步驟并未在圖5中示出。
[0092]在接下來的步驟S51中，所述方法繼續(xù)，描述符D與產生于一個合成視圖的D中的每一個描述符子集相匹配。具體地，第一描述符組D中的多個描述符與第一描述符組D中的多個描述符相匹配。例如，第一描述符組D中的所有描述符與第一描述符組D中的所有描述符相匹配。
[0093]僅保留正確的匹配M，S卩，兩個匹配的描述符描述空間上彼此接近的兩個物理點。在步驟S52中，該迭代方法從正確的匹配M中選擇最佳描述符d，在本實施例中為具有最高評分參數(shù)s的描述符d，然后在步驟S53中，該描述符d被添加到第二描述符組D’中。在圖2中，具有最高評分參數(shù)s的描述符d被指定為“imax”(具有最高的匹配數(shù)量)。每次迭代之后，步驟S54確定D’包含的描述符的數(shù)量是否少于期望的描述符的數(shù)量。如果是，步驟S55更新包括M中的之前選擇的描述符d的匹配的評分參數(shù)S，并且然后繼續(xù)在步驟S52中從M中選擇下一個最佳描述符。否則，如果否，即，如果D’中的描述符達到了期望的數(shù)量，則在步驟S56中輸出D’作為最終的特征描述符組。這個輸出的第二描述符組D’被配置成用于匹配和/或定位第一對象或相機圖像(例如，增強現(xiàn)實應用的實況相機圖像)中的第二對象的至少一個特征。
[0094]匹配相機圖像中的對象的至少一個特征的相應方法包括:提供具有通過相機捕捉的對象的至少一個圖像(例如，增強現(xiàn)實應用的實況相機圖像)，從至少一個圖像中提取當前特征，以及提供用于所提取特征的具有至少一個當前特征描述符的當前特征描述符組。然后將當前特征描述符組與第二描述符組D’相匹配，以便匹配和/或定位至少一個圖像(例如實況相機圖像)中的對象的至少一個特征。
[0095]根據(jù)一個實施例，所提出的提供特征描述符組的方法包括由兩部分組成的合成視圖創(chuàng)建算法。首先空間變換將對象的待渲染的3D模型投射到合成視圖的圖像平面上。這個變換可以是任意類型的變換，包括剛性本體變換、平行投影、遠景投影、非線性變換和這些的任意組合。其意味著模擬虛擬相機的特性，諸如其位置、方向、焦距、分辨率、偏移和徑向失真(例如桶形失真、枕形失真)。然后應用渲染方法來模擬真實相機的特性，諸如失焦、運動模糊、噪聲、曝光時間、亮度、對比度，并且還利用虛擬光源、陰影、反射、鏡頭炫光、光暈、環(huán)境映射等模擬不同環(huán)境，生成作為數(shù)字圖像的相應合成視圖。應該注意的是，用于每個合成視圖的空間變換是已知的并且可逆轉的，即，能夠容易地計算每個視圖中的每個像素的3D位置。
[0096]利用上述方法，創(chuàng)建了對象的合成視圖組(不考慮其是否是平面的)。對于每一個這樣的視圖，利用特征描述方法(DM)檢測和描述圖像特征，并且所有的描述符與視圖的指標一起被聚集，它們來自于具有視圖指標的描述符的數(shù)據(jù)庫組。對于每個描述符，其所對應的模型上的特征的3D位置被確定并與描述符一起保存。原則上，在與用于創(chuàng)建合成視圖的類似的條件下，這樣的描述符數(shù)據(jù)庫組使得對象能夠非常好地定位在另一個視圖中，例如，定位在一個實況相機圖像中。然而，當使用許多合成視圖時，所形成的描述符組包括許多描述符進行匹配，對于具有有限存儲容量或實時應用的移動裝置而言，描述符的數(shù)量可能太高。因此，根據(jù)本發(fā)明的方法尋求這些描述符的子集，該子集在合成視圖中提供足量的描述符匹配。假設該子集將同樣允許在各種條件下匹配和/或定位相機圖像中的對象，但只有減少的數(shù)量的描述符。
[0097]根據(jù)具體的實施例，所述方法首先將最初的描述符組中的每一個描述符與來自每一個合成視圖的所有描述符子集匹配。注意到，該匹配過程不必為每個描述符找到匹配，原因在于它可能例如需要兩個描述符之間的最小相似性或者最相似的描述符需要明顯地更接近于第二最接近的描述符。在數(shù)據(jù)庫中的所有描述符已經匹配之后，所有錯誤的匹配被丟棄，例如，模型上的相應特征的3D位置差異超過一個閾值。對于所有其余的(正確的)匹配而言，特征位置可選地可以作為所有匹配特征的平均被更新，這產生更精確的位置。
[0098]迭代描述符子集識別方法然后首先確定數(shù)據(jù)庫描述符子集內的具有最高評分參數(shù)的描述符，如上所述。因此評分參數(shù)對應于描述符有多“合適”。這可以以不同的方式定義，例如作為用于描述符的匹配數(shù)量或作為與所有其他描述符的相似性的總和。然后將具有最高評分參數(shù)的最佳描述符(d)添加到最終的描述符組(D’)中。
[0099]根據(jù)一個實施例，在添加最佳描述符至最終的描述符組的過程之前可以基于選擇過程通過修改這個描述符。例如，可以修改描述符，使得它對應于它本身以及與它匹配的所有描述符的加權平均。
[0100]在描述符選擇、添加描述符至第二組以及更新評分參數(shù)重復進行的實施例中，在每個迭代中執(zhí)行如上所述的所選擇描述符的附加更新。
[0101]有利的是本方法的可擴展性，即，它可以處理大量的合成視圖，如果后續(xù)方法不僅更新所選擇的(最佳)描述符d的評分參數(shù)，而且更新描述符d所匹配的其他描述符的評分參數(shù)，與描述符d匹配的描述符的評分參數(shù)和/或根據(jù)選擇過程與描述符d所匹配的描述符匹配的評分參數(shù)。這作為描述符dl7的例子在圖2和3中示出:在修正步驟中，與描述符dl7匹配的行Rm以及與描述符dl7所匹配的描述符匹配的列Cm在步驟S55中被修正(在圖5中以“更新M中的涉及d的匹配”描述，在當前的例子中:“更新M中的涉及dl7的匹配”)。具體地，行RM和列Cm中的相應的“ I ”被設置為表示“未匹配”，例如，移除或用“O”替代。這自動地修正了列“Σ”(相應行中的匹配的總和)中的評分參數(shù)S。
[0102]對于評分參數(shù)的其他定義，根據(jù)任意在先的選擇過程以及根據(jù)匹配過程的結果進行的評分參數(shù)的這種更新被相應地執(zhí)行。如果評分參數(shù)例如對應于一個描述符到所有描述符的最小距離或所有匹配描述符的平均相似度，則更新將修正評分參數(shù)，使得修正值表示所選擇的描述符，還可能表示它所匹配的與組內的其余描述符相距更遠的描述符。
[0103]如果對象具有在許多的多個視圖中可見并且其外觀尤其不變的突出特征，則可能的是，很多具有最高評分參數(shù)的描述符對應于這個單一特征。為了避免使所有這些都在最終的描述符組D’中，在開始下一個迭代或遞歸循環(huán)之前修正這些描述符的評分參數(shù)。這降低了它們對于接下來的選擇步驟的重要性。例如，挑選評分參數(shù)，使得它們表示第一描述符組內的匹配數(shù)量。因此，所選擇的描述符的評分參數(shù)被修正，以便修正后的評分參數(shù)表示減少的匹配數(shù)量。在本實施例中，評分參數(shù)隨著匹配數(shù)量的增多而增加，而當修正時減小。
[0104]在下一個迭代或遞歸循環(huán)中，再次地，具有最高評分參數(shù)的描述符被確定并添加至描述符組D’。如上所述，重復該過程，直至最終的描述符組D’具有期望的規(guī)模。最后，D’可以按照與規(guī)則特征描述符(例如組D)會被使用相同的方式被使用，例如，用于匹配、相機定位、對象定位，或來自運動的結構。
[0105]在下文中，參考圖6至10描述本發(fā)明的另一方面。這個方面的基本原理對應于參考圖1至5描述的方面，因此涉及此處的任何細節(jié)將不再贅述。
[0106]圖6示出了根據(jù)這個方面的實施例的特征描述方法的一個方面，具體是一種所謂的全面重力感知方法，其中提出為相對于重力的不同相機方位區(qū)創(chuàng)建多個典型的特征描述符組，如下更詳細的解釋。更具體地，圖6示出了用于平面對象061的多個虛擬相機，諸如中心圍繞對象061且位于半球上的虛擬相機C61、C62、C63。相機C61、C62、C63以它們從不同視角捕捉對象061的方式定位，產生相應的視圖V61、V62、V63。S卩，相機C61捕捉對象061并生成視圖V61，等等。相機的孔徑角通過相應的角錐表示。
[0107]對于平面對象062，圖6示出了用于創(chuàng)建合成視圖V64、V65、V66等的虛擬相機的相機中心的可能布局(通過相應的圓示出)。在下面解釋的全面重力感知方法中，這些視圖根據(jù)相應相機