將影像特征與參考特征相匹配之方法及其所用集成電路的制作方法
【專利摘要】本發(fā)明是關(guān)于一種將影像特征與參考特征相匹配之方法，其包含以下步驟：提供由攝取裝置攝取之當前影像；提供參考特征（r)，其中所述參考特征中之每一者包含至少一參考特征描述符(d(r));決定該當前影像中之當前特征（c)及使所述當前特征中之每一者與至少一各自當前特征描述符（d(c))相關(guān)聯(lián)；及借由決定每一各自當前特征描述符（d(c))與每一各自參考特征描述符（d(r))之間的各自相似性度量（D(c，r))來將所述當前特征與所述參考特征中之至少一些相匹配。根據(jù)本發(fā)明，決定相似性度量是在集成電路上由固線式邏輯組件或可組配邏輯組件執(zhí)行，該固線式邏輯組件或可組配邏輯組件處理用以決定相似性度量之邏輯功能。本發(fā)明亦關(guān)于一種用于影像特征與參考特征之匹配的集成電路。
【專利說明】將影像特征與參考特征相匹配之方法及其所用集成電路

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明是關(guān)于一種將影像特征與參考特征相匹配之方法，其包含以下步驟：提供 由攝取裝置攝取之當前影像；提供參考特征，其中所述參考特征中之每一者包含至少一參 考特征描述符；決定該當前影像中之當前特征及使所述當前特征中之每一者與至少一各自 當前特征描述符相關(guān)聯(lián)；及借由決定每一各自當前特征描述符與每一各自參考特征描述符 之間的各自相似性度量來將所述當前特征與所述參考特征相匹配。本發(fā)明亦關(guān)于一種用于 影像特征與參考特征之匹配的集成電路。

【背景技術(shù)】
[0002] 標準方法、局限及現(xiàn)有解決方案：
[0003] 諸如在擴增實境應(yīng)用及電腦視覺中處理由相機拍攝之影像的許多任務(wù)需要找到 同一物件或場景之多個影像中對應(yīng)于同一實體三維（3D)表面之點或特征。舉例而言，在擴 增實境中，主要問題是確定相機相對于世界的位置及定向（相機姿勢（camera pose))。
[0004] 初始化光學追蹤（亦即，當沒有來自先前幀（frame)之知識可獲得時）之標準方 法可分成三個主要構(gòu)成區(qū)塊：特征偵測、特征描述及特征匹配（參見圖1)。如所屬領(lǐng)域技 術(shù)人員將理解，當沒有來自先前幀之知識可獲得時，其并不意味不允許來自非光學感測器 (例如GPS或羅盤）之知識。特征偵測亦稱為特征抽取。
[0005] 首先，借助于具有高可重復(fù)性之方法來執(zhí)行特征偵測以用于識別影像中之特征。 換言之，該方法將針對不同視點、不同定向及/或照明設(shè)定來選擇影像中對應(yīng)于同一實體 三維表面之部分作為特征（例如，局部特征描述符作為SIFT([1])、形狀描述符（[18])或所 屬領(lǐng)域技術(shù)人員已知的其他方法）。通常是在尺度空間中（亦即，按不同尺度）抽取特征。 因此，除二維位置外，每一特征還具有可重復(fù)的尺度。另外，可重復(fù)的定向（旋轉(zhuǎn)）是根據(jù) 特征周圍的區(qū)域中的像素之強度計算，例如，為強度梯度之主要方向。
[0006] 其次，決定特征描述符以實現(xiàn)對特征的比較及匹配。常用方法使用特征之計算出 的尺度及定向來轉(zhuǎn)換特征描述符之坐標，其不隨旋轉(zhuǎn)及尺度而改變。舉例而言，該描述符可 為η維實數(shù)向量，此向量是借由串連局部影像強度（諸如梯度）之函數(shù)的直方圖而構(gòu)成（如 [1]中）。
[0007] 最后，一個重要的任務(wù)是特征匹配。已知在當前強度影像中偵測到并描述之當前 特征，目標是找到所提供特征之集合中對應(yīng)于同一實體三維表面之特征，所述所提供特征 將被稱為參考特征。最簡單的特征匹配方法是借助于窮舉搜尋來找到當前特征之描述符之 最近鄰居并選擇相對應(yīng)的參考特征作為匹配。更先進的方法使用描述符領(lǐng)域中之空間數(shù)據(jù) 結(jié)構(gòu)來加速匹配。不幸的是，還沒有已知方法可以實現(xiàn)高維空間中的最近鄰居搜尋，而能夠 顯著快于窮舉搜尋。因此，常用方法改為使用例如借由諸如kd樹之空間分割數(shù)據(jù)結(jié)構(gòu)來實 現(xiàn)的近似最近鄰居搜尋（[1])。
[0008] 圖1 (結(jié)合圖2)示出將當前特征集合與參考特征集合相匹配之標準方法之流程 圖。在步驟S11中，提供由攝取裝置拍攝之當前影像CI。下一步驟S12接著偵測并描述當 前影像CI中之特征（可選的為：已根據(jù)估計模型特征位置作選擇性抽取），其中每個所得 的當前特征C具有特征描述符d(c)及在相機影像cl中之二維位置。以下參考示范性實施 更詳細地闡述可用于特征偵測及描述之可能方法。在步驟S13中提供參考特征r之集合， 所述參考特征各自具有描述符d(r)及在全球坐標系統(tǒng)中之（局部）位置及/或定向。可 自參考影像或三維模型或關(guān)于物件（object)之其他信息抽取參考特征。請注意，在視覺搜 尋及分類任務(wù)的情況下，在全球坐標系統(tǒng)中之位置及/或定向是可選的。在步驟S14中，將 來自步驟S12之當前特征c與來自步驟S13之參考特征r相匹配。舉例而言，針對每個當 前特征，搜尋相對于某一距離度量具有最接近當前特征之描述符之描述符的參考特征。根 據(jù)步驟S15,應(yīng)用程序使用所述特征匹配，例如，以便在擴增實境應(yīng)用中非常準確地估計攝 取裝置之位置及定向，該擴增實境應(yīng)用將經(jīng)空間配準（spatially registered)之虛擬三維 物件整合到相機影像中。
[0009] 標準方法之局限：
[0010] 為了在不同環(huán)境中成功初始化追蹤，靈活性很重要。例如，[1]中所描述之特征非 常適用于紋理化的環(huán)境。在紋理很少的環(huán)境中，或在紋理改變（例如，汽車表層的外觀取決 于其環(huán)境及相機位置而劇烈改變）的情況下，如[1]中之特征具有很大難度。如[18]中所 描述之特征更適合于非紋理化的環(huán)境。因此，經(jīng)常調(diào)適并改變特征偵測及特征描述演算法， 以便更好地適合特殊任務(wù)。
[0011] 隨著參考特征之數(shù)目增長，匹配單一當前特征所用之時間增加，因硬件的局限性 導致有時不能進行實時處理。此外，特征描述符之獨特性隨著參考特征之數(shù)目增長而減小， 此又限制了匹配品質(zhì)并顯著影響穩(wěn)健性。
[0012] 已提議之解決方案：
[0013] 存在基于充當參考特征的地理參考（geo-referenced)局部影像特征之集合的不 同方法。這些方法的假設(shè)為，若攝取裝置之位置大致已知，則唯有位于攝取裝置附近的那些 參考特征可能是可見的。換言之，所述方法旨在減少參考特征之間的潛在匹配之數(shù)目。舉 例而言，已提議使用感測器數(shù)據(jù)（例如，GPS定位）來使搜尋區(qū)域變窄且針對每個空間區(qū)域 使用預(yù)先建置之字匯樹（vocabulary tree)之集合在此搜尋區(qū)域中找到最佳匹配影像之方 法（[2]、[4])。另外，在使用單一整體字匯樹且在特征匹配評分程序中預(yù)先并入GPS位置時 達成更好的結(jié)果（[4])。[5]之方法使用GPS獲得裝置之粗略位置，以用于在室外擴增實境 系統(tǒng)中初始化視覺追蹤。已知此位置，以粗略GPS測量結(jié)果周圍的數(shù)個位置樣本處的受限 相機位置執(zhí)行初始化，直至初始化成功。在另一種方法中，使用差分GPS/IMU硬件模型與卡 爾曼濾波器中之氣壓高度測量結(jié)果的組合，以便改良裝置之三維單位估計的準確度（[7])。 [8]之方法使用潛在可見集合（PVS)，因而不僅考慮到特征之空間接近度而且考慮到可見 度約束。提到用GPS進行的粗略定位以用于在室外應(yīng)用中擷取PVS。
[0014] [3]之視覺慣性追蹤方法應(yīng)用慣性感測器來測量相機自先前幀至當前幀的相對移 動。此知識用于為逐個幀進行追蹤之特征預(yù)測位置且在影像空間中定義二維搜尋空間。因 為該技術(shù)僅使用相對相機轉(zhuǎn)換之測量，所以其僅適合于初始化相機姿勢追蹤或視覺搜尋任 務(wù)。
[0015] 上述方法均未提出借由在硬件上加速視覺演算法來提升速度及效能。
[0016] 考慮視覺演算法之硬件加速的典型方法使特征偵測及特征描述最佳化，而特征匹 配仍然實施于軟件中。舉例而言，在[13]中，匹配仍在軟件中，而特征偵測及描述在硬件 上得以最佳化：「自章節(jié)II可看出，用于影像匹配程序之最佳化SIFT演算法由五個階段組 成：1)高斯金字塔建構(gòu)。2)DoG空間建構(gòu)及特征識別。3)梯度及定向直方圖產(chǎn)生。4)特征 描述符產(chǎn)生。5)影像匹配。考慮到Xilinx FPGA嵌入式系統(tǒng)之本質(zhì)，已針對FPGA實施采用 類似于[6]之最高層級系統(tǒng)分割。更具體而言，將前三個階段以名為SIFT特征偵測模組之 硬件核心來實施，而認為使用Xilinx MicroBlaze軟件處理器將后兩個階段以名為SIFT特 征產(chǎn)生及影像匹配模組之軟件模組來實施」。上述情形同樣適用于[14]。請注意，[6]論述 了高匹配處理時間的問題（稱為關(guān)聯(lián)），但并未提議建置特殊硬件區(qū)塊來解決此問題。相反 地，他們提議借由在更快的通用處理器上運行其軟件解決方案來加速其軟件解決方案。
[0017] 借助于硬件加速來加速影像處理的另一實例揭示于[17]中。作者論述了許多視 覺追蹤演算法并非全部可易于實施于FPGA上。他們使自己明確限于不需要復(fù)雜的浮點計 算之技術(shù)，以便使FPGA上使用之區(qū)域最小化。他們選擇加速影像處理：「有許多不同的視 覺追蹤演算法，但所述演算法并非全部可易于實施于FPGA上。我們已經(jīng)避免使用需要復(fù)雜 的浮點計算之技術(shù)，以便使FPGA上使用之區(qū)域最小化。我們發(fā)現(xiàn)可使用很少的門來執(zhí)行分 段。」
[0018] 因此，提供一種在執(zhí)行視覺計算任務(wù)時以減少之處理及功率需求實現(xiàn)更高效能及 更高演算法靈活性的方法將是有益的。特定言之，該方法應(yīng)不僅實現(xiàn)更快的匹配程序，而且 借由利用額外的提示改良匹配品質(zhì)。


【發(fā)明內(nèi)容】

[0019] 根據(jù)本發(fā)明之一態(tài)樣，一種將影像特征與參考特征相匹配之方法包含以下步驟： 提供由攝取裝置攝取之當前影像；提供參考特征，其中所述參考特征中之每一者包含至少 一參考特征描述符；決定該當前影像中之當前特征及使所述當前特征中之每一者與至少一 各自當前特征描述符相關(guān)聯(lián)；及借由決定每一各自當前特征描述符與每一各自參考特征描 述符之間的各自相似性度量來將所述當前特征與所述參考特征中之至少一些相匹配，決定 該相似性度量是在集成電路上由固線式邏輯組件或可組配邏輯組件執(zhí)行，該固線式邏輯組 件或可組配邏輯組件處理用于決定相似性度量之邏輯功能。
[0020] 根據(jù)本發(fā)明，就視覺計算任務(wù)如何可借由在硬件中實施專用部件得以最佳化且更 穩(wěn)健地實時運行，提議一種新方法。選擇最有用的構(gòu)成區(qū)塊及調(diào)適軟件以利用該最佳化不 僅僅是新的，而且極具創(chuàng)造性，從而以減少之處理及功率需求實現(xiàn)更高效能。另一方面，大 部分上述方法使用硬件加速，其適用于大大降低了關(guān)于所用特征之系統(tǒng)靈活性的特征抽取 及特征描述符建置。同時，所述方法并未在描述符層級上加速匹配程序。此外，歸因于如上 所述之靈活性需求（紋理化環(huán)境、非紋理化環(huán)境等），仍經(jīng)常采用并改變用于特征偵測及特 征描述之演算法且所述演算法表現(xiàn)出廣泛的多樣性。
[0021] 本發(fā)明之另一作用是基于預(yù)先得知的數(shù)據(jù)（參考特征）改良光學追蹤系統(tǒng)之初始 化，以便以減少之處理及功率需求實現(xiàn)更高效能。
[0022] 根據(jù)本發(fā)明之另一態(tài)樣，提供有一種用于影像特征與參考特征的匹配之集成電 路，其包含：用于接收各自當前特征之數(shù)個當前特征描述符之接口，所述當前特征是自由攝 取裝置攝取之當前影像獲得；用于接收各自參考特征之數(shù)個參考特征描述符之接口；及邏 輯電路，該邏輯電路用于決定每一各自當前特征描述符與每一各自參考特征描述符之間的 各自相似性度量以便將所述當前特征與所述參考特征相匹配，其中該邏輯電路包含固線式 邏輯組件或可組配邏輯組件，該固線式邏輯組件或可組配邏輯組件處理用于決定相似性度 量之邏輯功能。
[0023] 在一較佳實施例中，我們的方法實施于專用硬件區(qū)塊上且并非由通用處理器執(zhí) 行。該硬件區(qū)塊當然可為與通用處理器相同的集成電路（亦稱為硅或芯片）之部分。
[0024] 在一較佳實施例中，該專用硬件區(qū)塊是一非可編程單元，其中可編程是指執(zhí)行通 用指令之動態(tài)序列。
[0025] 在一較佳實施例中，當前影像可為強度影像或深度影像。
[0026] 當我們在本揭示內(nèi)容全篇中提到強度影像時，我們指表示自環(huán)境反射的不同量之 光的影像，其主要取決于環(huán)境的材料及光情形。強度影像可以不同位的解析度（8位或高動 態(tài)范圍）將強度編碼于一個（例如灰階）或一個以上通道（例如RGB，S卩，紅-綠-藍）中。
[0027] 有若干方法可能提供深度影像或稀疏深度信息，該信息包含影像中的元素（例如 像素或特征）之深度，該影像可在以下段落中將描述的根據(jù)本發(fā)明之匹配程序中使用。
[0028] 根據(jù)決定強度影像中之至少一元素之深度的一實施例，具有已知相對位置及/或 定向之至少兩個攝取裝置各自攝取各自強度影像，其中在所述影像中找到對應(yīng)，且所述攝 取裝置之相對位置及/或定向用來計算所述強度影像中之至少一元素之深度，該深度是所 述對應(yīng)中之至少一者的部分。在此情況下，匹配程序?qū)⒃趦蓚€一般步驟中進行。首先，將當 前幀1與當前幀2之特征相匹配，以便根據(jù)攝取裝置1與2之間的給定姿勢計算其深度信 息。在后一步驟中，接著將當前特征與參考特征相匹配，其中在匹配程序期間利用深度信息 或?qū)С龅奈恢眯畔ⅰ?br> [0029] 根據(jù)決定強度影像中之至少一元素之深度的另一實施例，至少一攝取裝置在不同 時間點自不同位置攝取強度影像，其中在不同影像中找到對應(yīng)，且在不同影像之間該攝取 裝置之相對位置及/或定向及所述對應(yīng)之結(jié)構(gòu)得以恢復(fù)且用來計算所述強度影像中之至 少一元素之深度，該深度是所述對應(yīng)中之至少一者的部分。如在以上情況下一樣，匹配同樣 可在若干程序中進行，即，將最近的影像特征彼此相匹配及接著在與較早的參考特征之匹 配程序中并入額外信息。
[0030] 根據(jù)決定強度影像中之至少一元素之深度的另一實施例，提供有強度影像之至少 一數(shù)據(jù)庫，其中針對所述強度影像中之每一者，已知總深度、或至少一影像區(qū)域之深度、或 一或多個像素之深度，且將由攝取裝置攝取之強度影像（當前強度影像）與此數(shù)據(jù)庫相匹 配。匹配結(jié)果用來計算當前強度影像中之至少一元素之深度。
[0031] 根據(jù)決定強度影像中之至少一元素之深度的另一實施例，提供有環(huán)境模型及關(guān)于 在攝取該強度影像時該攝取裝置相對于該環(huán)境模型之位置及/或定位（其可為初始估計） 的信息，其中該環(huán)境模型及關(guān)于該攝取裝置之位置及/或定位的信息得以組合并用來計算 該強度影像中之至少一元件之深度或位置估計。
[0032] 根據(jù)決定強度影像中之至少一元素之深度的另一實施例，提供有至少一感測器， 用于擷取深度信息或范圍數(shù)據(jù)及該至少一感測器相對于攝取裝置之至少一相對位置及/ 或定向，其中該深度信息或范圍數(shù)據(jù)用來計算該強度影像中之至少一元件之深度。較佳地， 已知感測器及攝取裝置兩者之姿勢（位置及定向）及本質(zhì)參數(shù)。
[0033] 當然，此程序亦可以反復(fù)方式實施，其中使用初始位置估計來與參考特征相匹配 及計算第一姿勢，使用該第一姿勢來細化當前特征位置及開始另一匹配程序。
[0034] 根據(jù)一實施例，參考特征是自至少一參考影像抽取，該至少一參考影像已由不同 于該攝取裝置之第二攝取裝置記錄。根據(jù)一實施例，該至少一參考影像之攝取時間比當前 影像之攝取時間早至少一天。
[0035] 舉例而言，可使用距離度量作為根據(jù)本發(fā)明之相似性度量。根據(jù)一實施例，本發(fā)明 之方法可包括借由比較距離度量與至少一各自臨界值來決定至少一各自檢驗參數(shù)，其中該 檢驗參數(shù)是用作判定是否執(zhí)行匹配或影響距離度量之準則。若執(zhí)行匹配，則在匹配程序中 使用各自所決定之相似性度量。
[0036] 根據(jù)本發(fā)明之一實施例，用于決定各自距離度量或其部分及各自檢驗參數(shù)（如以 下更詳細闡述）之計算是在集成電路上以流水線方式平行執(zhí)行。舉例而言，集成電路之時 脈信號之每個時脈循環(huán)計算一個各自距離度量及/或檢驗參數(shù)。
[0037] 在本發(fā)明之一態(tài)樣中，在決定各自相似性度量后，該方法進一步包含儲存直至此 時已決定之相似性度量中之最相似的相似性度量及第二最相似的相似性度量，及與該最相 似的相似性度量相關(guān)聯(lián)之各自當前特征描述符之索引。
[0038] 根據(jù)一實施例，比較最相似的相似性度量與第二最相似的相似性度量之衍生值， 其中若此比較滿足預(yù)定條件，則提供該最相似的相似性度量及第二最相似的相似性度量、 該索引及相關(guān)聯(lián)之參考特征描述符以用于進一步處理。
[0039] 該方法可進一步包含：決定計算出之距離度量中之最低的距離度量，及儲存已針 對其決定該最低的距離度量之各自當前特征描述符之索引。
[0040] 根據(jù)一態(tài)樣，該方法可進一步包括將當前特征描述符儲存于集成電路之記憶體 (諸如SRAM)上，所述當前特征描述符是在無需等待狀態(tài)的情況下自該記憶體擷取。
[0041] 根據(jù)一實施例，該方法進一步包含以下步驟：使當前特征中之每一者與至少一當 前特征描述符向量相關(guān)聯(lián)，其中參考特征中之每一者包含至少一參考特征描述符向量；及 計算參考特征之參考特征描述符向量中之每一者與當前特征之當前特征描述符向量中之 每一者之間的各自相似性度量。
[0042] 在一可能實施中，將當前影像之至少一像素設(shè)定為當前影像中之各自當前特征， 艮P，影像之每個像素可表示特征。
[0043] 根據(jù)本發(fā)明之一實施例，對影像之不同解析度運行該方法。
[0044] 根據(jù)本發(fā)明之一實施例，第一特征抽取程序可用來抽取第一當前特征集合且針對 該第一當前特征集合建置第一當前特征描述符集合，且第二特征抽取程序可用來抽取第二 當前特征集合且針對該第二當前特征集合建置第二當前特征描述符集合，其中第一特征抽 取程序與第二特征抽取程序或第一特征描述符產(chǎn)生程序與第二特征描述符產(chǎn)生程序彼此 不同，且第一與第二當前特征描述符集合之特征匹配程序是由固線式邏輯組件或可組配邏 輯組件執(zhí)行。第一集合與第二集合之匹配程序是彼此獨立地由固線式邏輯組件執(zhí)行。圖3 示出總程序，其中1. . η表示不同的特征抽取方法，1. . m表示不同的特征描述符程序且將不 同的所得描述符集合相匹配。
[0045] 在另一態(tài)樣中，該方法可包含：在分類的情況下，在特征匹配后執(zhí)行幾何驗證以移 除錯誤的特征匹配或移除誤判（false positive)。
[0046] 根據(jù)本發(fā)明之一實施例，該方法可進一步包含：提供參考特征集合之步驟，其中所 述參考特征中之每一者包含至少一第一參數(shù)，該至少一第一參數(shù)至少部分地指示該參考特 征相對于全球坐標系統(tǒng)之位置及/或定向，其中該全球坐標系統(tǒng)是地球坐標系統(tǒng)或物件坐 標系統(tǒng)，或該至少一第一參數(shù)至少部分地指示該參考特征相對于海拔之位置；使各自當前 特征與至少一第二參數(shù)相關(guān)聯(lián)之步驟，該至少一第二參數(shù)至少部分地指示該當前特征相對 于全球坐標系統(tǒng)之位置及/或定向，或該至少一第二參數(shù)至少部分地指示該當前特征相對 于海拔之位置；及借由決定該至少一第一參數(shù)與該至少一第二參數(shù)之間的相似性度量將該 當前特征與該參考特征集合之所述參考特征中之至少一者相匹配之步驟。
[0047] 舉例而言，該方法可包括在匹配各自當前特征時以該參考特征集合內(nèi)之減少數(shù)目 個參考特征來定義搜尋空間之步驟，其中該搜尋空間是基于該至少一第二參數(shù)來決定。 [0048] 根據(jù)一實施例，該方法可包括考慮特征抽取程序之指示符（例如由特征抽取程序 產(chǎn)生之正負號）之步驟。舉例而言，在特征抽取期間，SURF特征之正負號對應(yīng)于高斯拉普 拉斯算子（Laplacian)之正負號。
[0049] 根據(jù)本發(fā)明之一實施例，在用于建構(gòu)特征描述符之方法中，自影像抽取特征點以 獲得呈二維描述（參數(shù)a0，al)形式的特征點。且使用由追蹤系統(tǒng)提供之關(guān)于攝取裝置之 定向的空間信息來針對所抽取特征點計算特征定向（參數(shù)b0，bl，b2)。舉例而言，追蹤系 統(tǒng)將攝取裝置相對于世界坐標系統(tǒng)之定向提供為Euler角度，且特征描述符應(yīng)該與重力對 準。針對所有特征獲得定向之一種很簡單的方法為：首先使用Euler角度將重力轉(zhuǎn)換至關(guān) 聯(lián)于攝取裝置之坐標系統(tǒng)，且接著將其投影至影像平面上。進而計算影像中之重力的方向 且將其用于影像中之所有特征。此技術(shù)假設(shè)正交投影，而通常并非如此。并入相機之本質(zhì) 參數(shù)放松了此假設(shè)，但基于二維影像之所有技術(shù)仍假設(shè)影像中可見之一切均位于一平面上 且因此是近似法。根據(jù)本發(fā)明之一實施例，基于相鄰像素的像素強度計算且儲存至少一特 征相對于共同坐標系統(tǒng)之一或多個方向。在匹配階段中，僅匹配相對于共同坐標系統(tǒng)具有 類似方向之特征以減少所需比較之數(shù)目且降低錯誤匹配之比率。
[0050] 根據(jù)本發(fā)明之一態(tài)樣，當前特征描述符或參考特征描述符中之至少一者是物件之 較高層級描述，從而使其不隨尺度及/或旋轉(zhuǎn)及/或光而改變。
[0051] 根據(jù)本發(fā)明之實施例，該方法亦可包括偵測及描述來自強度影像之特征的方法， 其不隨由攝取裝置與物件之間的距離產(chǎn)生的尺度而改變，但對于多種應(yīng)用對物件之真實 (實體）尺度敏感。因此提議利用強度影像中之元素（例如像素）的深度在強度影像中之 該特定元素（像素）處進行特征偵測及/或描述。因此，可在真實（實體）尺度上偵測并描 述特征，從而提供與關(guān)于強度影像之標準的尺度不變特征描述符相比得以改良之獨特性， 而不會引入對相機移動的任何約束。在一實施例中，該方法可包含以下步驟：提供由相機攝 取之強度影像；提供用于在偵測該強度影像中之至少一特征之特征偵測程序中決定該強度 影像中之至少一元素之深度的方法，其中借由在某一尺度上處理該強度影像之影像強度信 息來執(zhí)行特征偵測，該尺度取決于該強度影像中之至少一元素之深度；及提供至少一偵測 到之特征的特征描述符。
[0052] 根據(jù)本發(fā)明之一實施例，該方法可進一步包含以下步驟：提供攝取裝置在全球坐 標系統(tǒng)中之位置及定向之測量結(jié)果；根據(jù)該測量結(jié)果確定攝取裝置之姿勢；提供環(huán)境之三 維模型，其中該姿勢結(jié)合該三維模型用來計算強度影像中之特征之至少一元素的深度，例 如，此是借助于投射自攝取裝置中心穿過該特征進入該三維模型之虛擬射線。
[0053] 可借由GPS感測器/接收器、IR或RFID三角測量法，或借助于定位方法使用寬頻 或無線基礎(chǔ)結(jié)構(gòu)來提供攝取裝置在全球坐標系統(tǒng)中之位置的測量結(jié)果?？山栌蓱T性感測 器、加速度計、陀螺儀、羅盤或者機械、電磁、聲學或光學追蹤系統(tǒng)中之至少一者提供攝取裝 置在全球坐標系統(tǒng)中之定向的測量結(jié)果。在本發(fā)明之上下文中，慣性感測器可借由使用以 下各者之任何組合來例如不斷提供包括物件或裝置相對于環(huán)境之位置及/或定向的感測 器信息：磁力計（例如羅盤）、運動感測器/旋轉(zhuǎn)感測器（加速度計/陀螺儀）、重力感測器 及提供此信息之其他感測器。

【專利附圖】

【附圖說明】
[0054] 將參考以下諸圖進一步描述本發(fā)明之實施例，其中：
[0055] 圖1示出將當前特征集合與參考特征集合相匹配之標準方法之流程圖，
[0056] 圖2是用于結(jié)合圖1來說明特征之偵測、描述及匹配的描述，
[0057] 圖3描述特征匹配程序之實施例及其借助于圖形處理單元（GPU)之可能應(yīng)用，
[0058] 圖4示出應(yīng)用根據(jù)本發(fā)明之一實施例之方法的示范性場景，
[0059] 圖5示出根據(jù)本發(fā)明之一實施例之在匹配程序中之決定相似性度量在集成電路 上之一可能實施，
[0060] 圖6描繪根據(jù)本發(fā)明之一實施例之在匹配程序中之決定相似性度量在集成電路 上之另一可能實施，
[0061] 圖7示出如參考圖5及圖6所描述之程序之大致工作流程的流程圖，
[0062] 圖8不出的圖有關(guān)于在匹配程序中的字匯樹對最佳分格最先的效能，
[0063] 圖9示出根據(jù)本發(fā)明之一實施例之用于光學姿勢估計的深度抽取機制與實體尺 度特征描述符之可能組合之流程圖，
[0064] 圖10描繪根據(jù)本發(fā)明之另一實施例之方法的流程圖，其中在匹配前檢驗特征是 否可在理論上適合。

【具體實施方式】
[0065] 開頭已簡要介紹一種初始化程序且在圖1中示出該程序。在初始化程序所用時間 及初始化之成功率方面可測得改良。在行動系統(tǒng)上，功率消耗是另一重要方面。借由明智 選擇初始化程序之最有用的構(gòu)成區(qū)塊來實施于硬件中且借由相應(yīng)地調(diào)適軟件以便利用該 最佳化，本發(fā)明提出了一種新方法。
[0066] 觀察自特征偵測、特征描述至特征匹配的程序鏈，所有初始化程序的共同之處在 于匹配程序。在此程序中，將來自先前所記錄之物件的特征與來自當前相機影像的特征相 匹配。此外，與特征抽取及特征描述相比，匹配演算法并不需要不斷的且頻繁的采用及改 變。
[0067] 借此，本發(fā)明之方法不僅改良時間及功率消耗，而且允許演算法之成功率得以改 良。另外，珍貴的芯片尺寸并未浪費在不斷改變演算法上。采用本發(fā)明得出重大改良，同時 僅使用小的芯片區(qū)域且在信息抽取程序中保持靈活性。
[0068] 根據(jù)較佳實施例，有可能將物件分類（視覺搜尋程序）（這是將當前影像與先前已 產(chǎn)生之類別描述相匹配的程序），或者匹配單獨的特征（特征匹配程序），所述特征可用來 運行姿勢最佳化程序。記住，視覺搜尋可基于每個影像匹配若干特征。同時，整個影像可為 一特征。兩種方法均受本發(fā)明支援。
[0069] 類別描述可與相機姿勢相關(guān)聯(lián)且亦可用來產(chǎn)生初始相機姿勢估計。
[0070] 根據(jù)本發(fā)明，視覺搜尋程序及特征匹配程序均可適用于存在于數(shù)據(jù)庫及存在于當 前影像中之不同的特征及特征描述符。在該情況下，借由硬件單元在兩個獨立的運行中使 用不同的特征抽取及/或特征描述方法來抽取不同特征且將其匹配（如圖3中所指示）。 舉例而言，首先抽取并匹配SIFT特征，接著抽取并匹配SURF特征。
[0071] 圖3描述類似于上文參考圖1所描述的特征匹配程序，及將該匹配應(yīng)用于姿勢估 計，從而呈現(xiàn)三維物件及畫出背景影像。該呈現(xiàn)及畫出背景影像是在圖形處理器單元（GPU) 上進行。
[0072] 本發(fā)明之一優(yōu)點為，有可能省去以前必要的處理步驟或以完全不同的有利組態(tài)來 運行所述處理步驟。舉例而言，可省略或省去特征抽取程序，從而產(chǎn)生很高數(shù)目個描述符。 相反地，可選擇每個像素或很高數(shù)目個隨機選擇之像素作為描述符中心。在此情況下，根據(jù) 本發(fā)明，每一像素或所述所選像素中之每一者將被視為特征。代替選擇隨機像素，可使用網(wǎng) 格來抽取描述符中心，例如，一條線之每10個像素抽取一次，其中每10個像素行分析一次。 要匹配之特征（每個影像約10. 〇〇〇個特征）的大幅度增加導致幾千個影像之測試數(shù)據(jù)庫 上成功的初始化增加了 76 %。
[0073] 加速匹配避免了不得不建置高效匹配結(jié)構(gòu)，例如字匯樹，其無法提供更好的結(jié)果 且僅僅是出于效能原因而建置。圖8示出當使用分別具有5個分支（b)及5個層級（L)或 6個分支及6個層級的字匯樹（Voc)或具有已定義之最小數(shù)目10個匹配的最佳方格最先 (BBF)方法時的效能比較（借由每個類別得以正確追蹤之參考影像的百分比來指示）。BBF 方法可被視為窮舉搜尋的近似法。字匯樹的另一主要缺點為，其將僅傳回類別，而不傳回單 獨的特征對應(yīng)，所述特征對應(yīng)是計算準確的相機姿勢所必要的。
[0074] 在應(yīng)用于許多特征時避免錯誤匹配之措施為，增加用于初始化之PR0SAC([11]) 反復(fù)之數(shù)目（高于5000)并引入額外的合理性檢驗（基于幾何驗證）。
[0075] 有利的是，在該程序期間可測試特征對是否可在理論上適合。這可借由對照參考 特征之已配準位置檢驗當前特征之估計位置來達成。根據(jù)本發(fā)明之此態(tài)樣，提議借由考慮 其在世界坐標（或全球坐標）中的位置之（局部）知識而使搜尋空間變窄或影響用于匹配 由攝取裝置拍攝之當前影像之影像特征的距離度量。全球坐標系統(tǒng)可為地球坐標系統(tǒng)或物 件坐標系統(tǒng)（例如，建筑物或產(chǎn)品包裝或汽車），其具有與地球重力有關(guān)之固定的海拔或固 定的定向。因為可決定之特征的位置的自由度很大程度上取決于關(guān)于攝取裝置之位置及定 向的可獲得信息，所以下文參考圖4及圖10更具體地闡釋本發(fā)明之態(tài)樣之不同的示范性實 施。
[0076] 本發(fā)明之另一態(tài)樣為是考慮特征抽取程序之指示符，例如由SURF特征抽取程序 產(chǎn)生之正負號（正或負的高斯拉普拉斯算子）。
[0077] 本發(fā)明之另一態(tài)樣不僅考慮了兩個特征描述符之間的最小距離，而且考慮了最小 距離與第二最佳距離之間的距離。特定言之，若第二最佳距離乘以小于0, 9之純量因數(shù)大 于最佳匹配之距離，則將兩個描述符視為匹配。此避免了誤判（錯誤匹配之特征）的發(fā)生， 誤判將導致錯誤的分類或?qū)е伦藙莨烙嬛械膯栴}。
[0078] 在本發(fā)明之另一態(tài)樣中，將當前影像之所有當前特征彼此相匹配，從而移除彼此 非常類似的特征（距離度量低于某一臨界值）。接著將當前特征之經(jīng)過濾集合與參考特征 相匹配。
[0079] 本發(fā)明之另一態(tài)樣允許經(jīng)反復(fù)最近點（ICP)方法對三維模型的高效匹配或?qū)省?br> [0080] 在點云集合上運行之標準ICP適用于以下步驟：
[0081] 1.使用窮舉搜尋或使用基于樹的搜尋來計算最近點（需要設(shè)定最大搜尋半徑）；
[0082] 2.已知最近點對應(yīng)，估計姿勢；
[0083] 3.已知估計姿勢，轉(zhuǎn)換點云中之一者；
[0084] 4.若估計姿勢小于臨界值，則結(jié)束該程序，否則返回至步驟1。
[0085] 在此方法中，必須測試三維空間中兩個點之間的許多距離，以便找到最近距離。因 為引擎是建置得足夠靈活而將計算出之特征距離不僅定義為描述符之間的距離，而且定義 為三維位置之估計距離，所以可加速純ICP或與三維描述符耦合之ICP。演算法可將數(shù)個當 前三維點傳遞至引擎且將其與更高數(shù)目個參考點相匹配，所述參考點是例如借由定義最大 搜尋半徑而在當前三維點附近選擇的。
[0086] 本發(fā)明很適合于物件分類。本發(fā)明亦很適合于相機姿勢初始化，其中沒有關(guān)于物 件相對于相機之姿勢的先前知識可用或此先前知識不完整。
[0087] 特征偵測：
[0088] 特征是影像中之顯著元素，其可為點、線、曲線、相連區(qū)域或像素之任何其他集合。 此外，根據(jù)本發(fā)明，可將像素、影像之所有像素或所選像素集合中之每一者定義為特征。 [0089] 特征偵測演算法通常為顯著性偵測程序。舉例而言，其找到線、邊緣或微分算子之 局部極值。在文獻中，此區(qū)域被稱為特征偵測程序之取樣窗口或測量孔徑（aperture)。將 回應(yīng)最終定限以決定哪些元素是特征而哪些不是。為了在某一尺度上抽取特征，在計算特 征偵測程序之回應(yīng)前可相應(yīng)地按比例縮放取樣窗口或按比例縮放影像。接著將特征之尺寸 定義為用來偵測該特征之取樣窗口之尺寸。
[0090] 關(guān)鍵點偵測方法之常見實例包括拉高斯拉普拉斯算子（LoG)、高斯差（DoG)、海賽 行列式（DoH)、最大穩(wěn)定極值區(qū)域（MSER)、哈里斯特征或基于學習的角點偵測程序（諸如 FAST)。
[0091] 針對本發(fā)明，三維特征亦表示可能的數(shù)據(jù)來源?？山栌稍S多方法（例如，識別局部 極值）自深度影像或三維模型抽取三維特征。
[0092] 在本發(fā)明之一態(tài)樣中，整個影像亦可被視為特征。
[0093] 在本發(fā)明之另一態(tài)樣中，3D數(shù)據(jù)和強度數(shù)據(jù)的組合可被用來作為輸入數(shù)據(jù)，例如 [19]中所描述的。
[0094] 特征/影像描述：
[0095] 抽取之視覺特征（特征點、邊緣、角點、局部極值等）需可重復(fù)，此意味：盡管視點 (定向、尺度等）、照明條件及/或影像雜訊不同，但仍應(yīng)該可能進行對所述特征之抽取。 [0096] 匹配程序由找到自兩個或兩個以上影像抽取之至少一相對應(yīng)的視覺特征組成。其 常常需要產(chǎn)生允許相對于某一相似性或距離度量以類似方式來描述不同影像中之相同實 體特征的描述符。[21]中提供某些特征點描述符之綜述或比較。一旦產(chǎn)生了針對每個所抽 取特征之一個或多個描述符，則根據(jù)相似性或距離度量對其進行匹配：使用最近描述符或 基于[1]之比率測試給查詢影像中之每個特征指派一匹配。
[0097] [18]描述了表示局部影像形狀及其空間配置之描述符以及空間金字塔核。
[0098] [20]描述了基于特征之空間關(guān)系的描述符，此亦為一種可能性。該方法為，在集合 Pn中選擇點X之η個最近鄰居。自Pm選擇m〈n個點?；趍中之f個點（對于交叉比率,f =5,而對于仿射不變量，f = 4)，計算所有可能的不變量。仿射不變量是兩個三角區(qū)域之間 的比率：A(a, c, d)/A(a, b, c)。透視不變量是三角區(qū)域之交叉比率：(A(a, b, c)*A(a, d, e))/ (A(a，b，d)*A(a，c，e))。在[20]中，使用散列程序來匹配特征，而使用我們的引擎，則可省 去該程序。
[0099] [15]對用于匹配之三維描述符及基于深度影像之描述符進行全面綜述。
[0100] 對于本發(fā)明，總的來說，描述符可有利地為自二維影像或二維影像之部分或三維 數(shù)據(jù)導出之向量，其不僅僅是借由將像素轉(zhuǎn)換至不同的色空間中或正規(guī)化所述像素的值而 產(chǎn)生的。在本發(fā)明之另一態(tài)樣中，描述符是自像素、形狀或深度值之直方圖、統(tǒng)計數(shù)據(jù)或相 對關(guān)系導出的。
[0101] 匹配程序：
[0102] 匹配程序是本發(fā)明之解決方案之關(guān)鍵構(gòu)成區(qū)塊。圖5中示出根據(jù)一實施例之可能 配置。圖7中示出可能的程序圖。根據(jù)一實施例，其組合了以下計算：
[0103] 舉例而言，可使用距離度量作為根據(jù)本發(fā)明之相似性度量。D(c，r)描述根據(jù)本發(fā) 明之在兩個描述符之間的一有利距離度量。特定言之，D(c，r)描述在當前特征c之當前特 征描述符d(c)與參考特征r之參考特征描述符d(r)之間的距離度量。舉例而言，如上文 參考圖1所描述，分別決定并提供當前特征c及參考特征r及其特征描述符d(c)及d(r)。
[0104] 通常可決定在包括各自當前特征描述符d(c)之各自當前特征c之一或多個性質(zhì) 與包括各自參考特征描述符d(r)之各自參考特征r之一或多個性質(zhì)之間的各自距離度量 D (c, r) 〇
[0105] 本發(fā)明之方法可包括決定在每一各自當前特征描述符d(c)與每一各自參考特征 描述符d(r)之間的各自第一距離度量Ad以用于決定相似性度量D(c，r)。
[0106] 根據(jù)一實施例，本發(fā)明之方法可包括決定在共同坐標系統(tǒng)中在當前影像中的各自 當前特征描述符d( c)之位置信息x(c)及/或y(c)與各自參考特征描述符d(r)之各自位 置信息x(r)、y(r)之間的各自第二距離度量（此處為Λ Χ及/或Ay)以用于決定相似性 度量D (c，r)。舉例而言，可將此計算為在由d (c)描述之各自當前特征之三維位置信息X (c) 與由d(r)描述之各自參考特征之三維位置信息x(r)之間的歐幾里得距離。
[0107] 根據(jù)另一實施例，本發(fā)明之方法可包括決定各自第三距離度量λ Z以用于決定相 似性度量D (c，r)，該各自第三距離度量指示在共同坐標系統(tǒng)中在當前影像中的各自當前特 征描述符d(c)之位置信息z(c)與各自參考特征描述符d(r)之位置信息z(r)之間的角 度。舉例而言，可將此計算為在由相機中心及各自當前特征之三維位置信息定義的第一向 量z(c)與由相機中心及各自參考特征之三維位置信息定義的第二向量z(r)之間的純量乘 積。
[0108] 在另一實施例中，Λ z可指示在相對于全球坐標系統(tǒng)之相機定向與特征之各自方 向性質(zhì)之間的角度，例如，該方向性質(zhì)是由該特征所在之已知表面之表面法線導出。
[0109] 根據(jù)另一實施例，本發(fā)明之方法可包括決定在當前影像中的各自當前特征描述符 d (C)之純量性質(zhì)u (C)及/或V (C)與各自參考特征描述符d (r)之各自純量性質(zhì)u (r)、V (r) 之間的各自第四距離度量（此處為Au及/或Λν)以用于決定相似性度量D(c，r)。舉例 而言，可根據(jù)SURF(正或負的高斯拉普拉斯算子）計算此度量。
[0110] 根據(jù)另一實施例，本發(fā)明之方法可包括，借由將各自第一、第二、第三及第四距離 度量中之至少一者與各自第一、第二、第三及第四距離度量中之至少另一者相組合來決定 各自組合式距離度量D (c，r)以用于決定各自相似性度量。
[0111] 舉例而言，D(c，r)可為Διι、Δν、Δχ、Ay、Δζ及/或Ad之組合。
[0112] P(c，r)描述本發(fā)明之匹配程序之另一有利的可選部分。其可用于檢驗是否應(yīng)該匹 配兩個描述符。此主要有助于避免錯誤的匹配。取決于給定之臨界值，P檢驗是否滿足特 定條件。
[0113] 根據(jù)一實施例，本發(fā)明之方法可包括決定檢驗參數(shù)P，計算該檢驗參數(shù)P以判定具 有當前特征中之一者及參考特征中之一者的特征對c，r是否有資格作為有效匹配。
[0114] 根據(jù)一實施例，本發(fā)明之方法可包括，借由比較各自第二距離度量Λχ及/或Ay、 第三距離度量Λ z及第四距離度量Λ u、Λ v中之至少一者與至少一各自臨界值來決定至少 一各自檢驗參數(shù)p (C, r)，其中該檢驗參數(shù)P (c, r)用來判定具有當前特征中之一者及參考 特征中之一者的特征對c，r是否有資格作為有效匹配。
[0115] 舉例而言，該方法可進一步包括加權(quán)重于各自當前特征c及參考特征r中之至少 一者，或在所述性質(zhì)中之一或多者之間的距離度量中之至少一者。此外，該方法可包括在決 定組合式距離度量D(c，r)時加權(quán)重于第一、第二、第三及/或第四距離度量中之至少一者。
[0116] 特定言之，可為上述分量中之每一者提供一權(quán)重（諸如'、'、^等），該權(quán)重取決 于系統(tǒng)可獲得之信息。此處所用之信息可為來自特征抽取程序之信息或為當前特征在全球 坐標系統(tǒng)或相機坐標系統(tǒng)中之位置（例如，對于利用極線幾何約束的立體匹配）。若無法獲 得此種信息，則可將公式D (c，r)中之各自權(quán)重設(shè)定為零或某一值，例如取決于信息之不確 定性（uncertainty)。若給出的或可獲得的關(guān)于Διι、Δν、Δχ、Ay、Δζ之信息不完整，或 沒有關(guān)于Λ u、Λ ν、Λ X、Ay、Λ ζ之信息給出或可獲得，則可將臨界值設(shè)定為很高值或按比 例縮放，取決于不確定性信息。
[0117] 根據(jù)一實施例，如上所述之距離度量D(c，r)之各部分（諸如Διι、Δν、Δχ、Ay、 ΛΖ及Ad)可如以下方式來決定：

【權(quán)利要求】
1. 一種將影像特征與參考特征相匹配之方法，其包含以下步驟： 提供由一攝取裝置攝取之一當前影像， 提供參考特征（r)，其中所述參考特征中之每一者包含至少一參考特征描述符 (d (r)), 決定該當前影像中之當前特征（c)及使所述當前特征中之每一者與至少一各自當前 特征描述符（d(c))相關(guān)聯(lián)， 借由決定每一各自當前特征描述符（d(c))與每一各自參考特征描述符（d(r))之間的 一各自相似性度量（D(c，r))來將所述當前特征與所述參考特征中之至少一些相匹配，決 定該相似性度量是在一集成電路上由一固線式邏輯組件或可組配邏輯組件執(zhí)行，該固線式 邏輯組件或可組配邏輯組件處理用于決定該相似性度量之邏輯功能。
2. 根據(jù)權(quán)利要求1所述之方法，其中該當前影像是一強度影像或一深度影像。
3. 根據(jù)權(quán)利要求1或2所述之方法，其包含決定在包括該各自當前特征描述符（d(c)) 之該各自當前特征（c)之一或多個性質(zhì)與包括該各自參考特征描述符（d(r))之該各自參 考特征（r)之一或多個性質(zhì)之間的一各自距離度量（D(c，r))，以用于決定該相似性度量 (D(c，r))。
4. 根據(jù)權(quán)利要求1至3中之一所述之方法，其中計算一檢驗參數(shù)（P)，以便判定具有所 述當前特征中之一者及所述參考特征中之一者的一特征對（c，r)是否有資格作為一有效 匹配。
5. 根據(jù)權(quán)利要求1至4中之一所述之方法，其包含決定在每一各自當前特征描述符 (d(c))與每一各自參考特征描述符（d(r))之間的一各自第一距離度量（Ad)，以用于決定 該相似性度量（D(c，r))。
6. 根據(jù)權(quán)利要求1至5中之一所述之方法，其包含決定在一共同坐標系統(tǒng)中在該當前 影像中的該各自當前特征描述符（d(c))之位置信息（ X(c)，y(c))與該各自參考特征描述 符（d(r))之位置信息（X(r)，y(r))之間的一各自第二距離度量（Λ Χ，Ay)，以用于決定該 相似性度量（D(c，r))。
7. 根據(jù)權(quán)利要求1至6中之一所述之方法，其包含決定一各自第三距離度量（ΛΖ)以 用于決定該相似性度量（D(c，r))，該各自第三距離度量指出在一共同坐標系統(tǒng)中在該當 前影像中的該各自當前特征描述符（d(c))之位置信息（z(c))與該各自參考特征描述符 (d(r))之位置信息（z(r))之間的一角度。
8. 根據(jù)權(quán)利要求1至7中之一所述之方法，其包含決定在該當前影像中的該各自當 前特征描述符（d(c))之一純量性質(zhì)（u(c)， V(c))與該各自參考特征描述符（d(r))之純 量性質(zhì)（u(r)，v(r))之間的一各自第四距離度量（Au，Λν)，以用于決定該相似性度量 (D(c，r))。
9. 根據(jù)權(quán)利要求4至8中之一所述之方法，其包含計算差和或者平方差和以用于決定 一各自長度或維度（i)上的該各自第一、第二、第三及/或第四距離度量。
10. 根據(jù)權(quán)利要求4至9中之一所述之方法，其包含借由將該各自第一、第二、第三及第 四距離度量中之至少一者與該各自第一、第二、第三及第四距離度量中之至少另一者相組 合來決定一各自組合式距離度量（D (c，r))，以用于決定該各自相似性度量。
11. 根據(jù)權(quán)利要求3至10中之一所述之方法，其進一步包含：在決定組合式距離度量 (D (c，r))時，加權(quán)重于所述性質(zhì)中之至少一者，或在該各自當前特征與該各自參考特征之 一或多個性質(zhì)之間的所述距離度量中之至少一者，或該第一、第二、第三及第四距離度量中 之至少一者。
12. 根據(jù)權(quán)利要求4至11中之一所述之方法，其包含借由比較該各自第二距離度量 (Λ X，Ay)、第三距離度量（Λ z)及第四距離度量（Λ u，Λ v)中之至少一者與至少一各自臨 界值來決定至少一各自檢驗參數(shù)（P(c，r))，其中該檢驗參數(shù)（P(c，r))用來判定具有所述 當前特征中之一者及所述參考特征中之一者的一特征對（c，r)是否有資格作為一有效匹 配。
13. 根據(jù)權(quán)利要求12所述之方法，其中該至少一各自臨界值及該權(quán)重取決于對該攝取 裝置之一姿勢之初始估計的不確定性。
14. 根據(jù)權(quán)利要求3至13中之一所述之方法，其中用于決定該各自距離度量（D (c，r)) 或其部分及該各自檢驗參數(shù)（P(c，r))之計算是在該集成電路上以流水線方式平行執(zhí)行。
15. 根據(jù)權(quán)利要求14所述之方法，其中一個各自距離度量（D(c，r))及/或檢驗參數(shù) (P(c，r))是在該集成電路之一時脈信號之每個時脈循環(huán)計算。
16. 根據(jù)權(quán)利要求14或15所述之方法，其中在決定一各自相似性度量（D (c，r))后，該 方法進一步包含儲存直至此時已決定之所述相似性度量中之一最相似的相似性度量（D1) 及一第二最相似的相似性度量（D2)，及與該最相似的相似性度量（D1)相關(guān)聯(lián)之該各自當 前特征描述符之一索引（cmin)。
17. 根據(jù)權(quán)利要求16所述之方法，其中比較該最相似的相似性度量（D1)與該第二最相 似的相似性度量之一衍生值（t*D2)，其中若此比較滿足一預(yù)定條件，則提供該最相似的相 似性度量（D1)及該第二最相似的相似性度量（D2)、該索引（cmin)及該相關(guān)聯(lián)之參考特征 描述符（d(r))以用于進一步處理。
18. 根據(jù)權(quán)利要求3至17中之一所述之方法，其進一步包含決定所述計算出之距離度 量中之一最低的距離度量（D1)，及儲存已針對其決定該最低的距離度量之該各自當前特征 描述符之一索引（cmin)。
19. 根據(jù)權(quán)利要求1至18中之一所述之方法，其進一步提供：保存一參考特征描述符 向量（R)之一寄存器組，及用于保存一各自檢驗參數(shù)（P(c，r))及一各自距離度量（D(c，r)) 之兩個累加寄存器（Pace，Dacc))，其中一次僅比較一各自當前特征描述符向量（C)及參考 特征描述符向量（R)之部分（ci及ri)。
20. 根據(jù)權(quán)利要求1至19中之一所述之方法，其進一步包括將所述當前特征描述符 (d(c))儲存于該集成電路之一記憶體（SRAM)上，所述當前特征描述符（d(c))是在無需等 待狀態(tài)的情況下自該記憶體擷取。
21. 根據(jù)權(quán)利要求1至20中之一所述之方法，其進一步包含： 使所述當前特征中之每一者與至少一當前特征描述符向量（C)相關(guān)聯(lián)， 其中所述參考特征中之每一者包含至少一參考特征描述符向量（R)， 計算所述參考特征之所述參考特征描述符向量（R)中之每一者與所述當前特征之所 述當前特征描述符向量（C)中之每一者之間的一各自相似性度量（D(c，r))。
22. 根據(jù)權(quán)利要求1至21中之一所述之方法，其中將該當前影像之至少一像素設(shè)定為 該當前影像中之一各自當前特征。
23. 根據(jù)權(quán)利要求1至22中之一所述之方法，其中對該影像之不同解析度運行該方法。
24. 根據(jù)權(quán)利要求1至23中之一所述之方法，其中一第一特征抽取程序用來抽取一第 一當前特征集合，且針對該第一當前特征集合建置一第一當前特征描述符集合，且一第二 特征抽取程序用來抽取一第二當前特征集合，且針對該第二當前特征集合建置一第二當前 特征描述符集合，其中該第一特征抽取程序與該第二特征抽取程序或一第一特征描述符產(chǎn) 生程序與一第二特征描述符產(chǎn)生程序彼此不同，且該第一與該第二當前特征描述符集合之 特征匹配程序是由固線式邏輯組件或可組配邏輯組件執(zhí)行。
25. 根據(jù)權(quán)利要求1至24中之一所述之方法，其進一步包含：在分類的情況下，在特征 匹配后執(zhí)行幾何驗證，以移除錯誤的特征匹配或移除誤判。
26. 根據(jù)權(quán)利要求1至25中之一所述之方法，其進一步包含： 提供一參考特征集合，其中所述參考特征中之每一者包含至少一第一參數(shù)，該至少一 第一參數(shù)至少部分地指出該參考特征相對于一全球坐標系統(tǒng)之一位置及/或定向，其中該 全球坐標系統(tǒng)是一地球坐標系統(tǒng)或一物件坐標系統(tǒng)，或該至少一第一參數(shù)至少部分地指出 該參考特征相對于一海拔之一位置， 使一各自當前特征與至少一第二參數(shù)相關(guān)聯(lián)，該至少一第二參數(shù)至少部分地指出該當 前特征相對于該全球坐標系統(tǒng)之一位置及/或定向，或該至少一第二參數(shù)至少部分地指出 該當前特征相對于一海拔之一位置， 借由決定該至少一第一參數(shù)與該至少一第二參數(shù)之間的該相似性度量，將該當前特征 與該參考特征集合之所述參考特征中之至少一者相匹配。
27. 根據(jù)權(quán)利要求1至26中之一所述之方法，其包括在匹配該各自當前特征時以該參 考特征集合內(nèi)之減少個數(shù)的參考特征來定義一搜尋空間之步驟，其中該搜尋空間是基于該 至少一第二參數(shù)決定的。
28. 根據(jù)權(quán)利要求1至27中之一所述之方法，其包括考慮該特征抽取程序之指示符的 步驟，該指示符例如為由特征抽取器產(chǎn)生之正負號。
29. 根據(jù)權(quán)利要求1至28中之一所述之方法，其中該當前特征描述符（d (c))或該參考 特征描述符（d(r))中之至少一者是一物件之一較高層級描述，從而使其不隨尺度及/或旋 轉(zhuǎn)及/或光而改變。
30. -種用以將影像特征與參考特征相匹配之集成電路（1)，其包含： 用以接收各自當前特征之數(shù)個當前特征描述符（向量c)之一接口（4)，所述當前特征 是從由一攝取裝置攝取之一當前影像獲得， 用以接收各自參考特征之數(shù)個參考特征描述符（向量r)之一接口（4)，及 一邏輯電路（7-15)，用以決定每一各自當前特征描述符與每一各自參考特征描述符之 間的一各自相似性度量（D (c，r))，以便將所述當前特征與所述參考特征相匹配，其中該邏 輯電路包含處理用以決定該相似性度量之邏輯功能的固線式邏輯組件或可組配邏輯組件。
【文檔編號】G06K9/00GK104221031SQ201180076241
【公開日】2014年12月17日 申請日期:2011年11月18日 優(yōu)先權(quán)日:2011年11月18日
【發(fā)明者】諾柏特·史托費勒, 彼得·米爾 申請人:美塔歐有限公司