專利名稱：：使用多尺度取向片段的多圖像匹配的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及確定場(chǎng)景的多圖像中的對(duì)應(yīng)點(diǎn)，更具體地說，涉及一種快速提取特征并找到場(chǎng)景中大量部分重疊圖像的對(duì)應(yīng)特征的系統(tǒng)和過程。
背景技術(shù)：
：在圖像中找到的通常指圖像匹配的對(duì)應(yīng)特征是幾乎任何視頻應(yīng)用的基本成分，這些應(yīng)用試圖從多于一個(gè)圖像中提取信息。圖像匹配的早期研究分成兩部分一基于特征的方法和直接方法?；谔卣鞯姆椒▏L試提取諸如邊和角的顯著特征，然后使用少量局部信息(例如小圖像片段相關(guān)性)建立匹配[8]。相比僅使用少量有效圖像數(shù)據(jù)的基于特征的方法而言，直接方法嘗試使用所有像素值以迭代排列圖像[1，9]。其他匹配和確定方法已經(jīng)不變地用于特征化對(duì)象，有時(shí)建立典型幀的方法用于此目的[14，15]。這些方法的交集是不變的特征，該特征使用顯著特征周圍的大量局部圖像數(shù)據(jù)以形成用于索引和匹配的不變描述符。首先研究該領(lǐng)域的是Schmid和Mohr[16]，他們使用一組高斯公差以形成Harris角周圍的循環(huán)不變的描述符。Lowe擴(kuò)展這方法以結(jié)合尺度恒定性[10，11]。其他研究已經(jīng)開發(fā)了幾何學(xué)變換下不變的特征[3，20，5]。感興趣點(diǎn)檢測(cè)器從諸如Harris角或高斯差分(DOG)最大值的標(biāo)準(zhǔn)特征檢測(cè)器變化到諸如最大穩(wěn)定區(qū)域[12]和穩(wěn)定局部階段結(jié)構(gòu)[7]的更詳細(xì)方法。通常，認(rèn)為感興趣點(diǎn)提取和描述符匹配是兩個(gè)基本步驟，并且已經(jīng)關(guān)于感興趣點(diǎn)可重復(fù)性[17]和描述符性能[13]的各種技術(shù)進(jìn)行評(píng)價(jià)。這己迫使應(yīng)用程序?qū)碜赃\(yùn)動(dòng)[19]和全景成像[6]的結(jié)構(gòu)環(huán)境進(jìn)行多視角匹配。然而，目前為此，沒有一個(gè)這樣的過程提供快速提取特征并找到場(chǎng)景中大量部分重疊圖像的對(duì)應(yīng)特征的能力。在前述段落，以及該說明書的其余部分要注意的是，描述參考由包括在括號(hào)內(nèi)的數(shù)字指示確定的各種專門出版物。例如，這樣的參考可能由敘述確定，″參考[1]″或僅有″[1]″。多個(gè)參考由括號(hào)內(nèi)包括多于一個(gè)指示確定，例如，[2，3]。包括對(duì)應(yīng)每個(gè)指示的出版物的參考列表可以在詳細(xì)說明部分的結(jié)尾處找到。
發(fā)明內(nèi)容本發(fā)明涉及一種用于根據(jù)新類型不變特征在場(chǎng)景的多圖像中確定對(duì)應(yīng)點(diǎn)的系統(tǒng)和過程。該系統(tǒng)和過程能快速提取特征并在場(chǎng)景的大量部分地重疊的圖像中找到對(duì)應(yīng)關(guān)系。當(dāng)找到圖像縫合和視頻穩(wěn)定的圖像對(duì)應(yīng)關(guān)系時(shí)，這技術(shù)完成的相當(dāng)好。它也能容易擴(kuò)展到更一般的多圖像對(duì)應(yīng)，例如，對(duì)于從多圖像中跟蹤視頻特征和構(gòu)建3-D模型。更具體地，本系統(tǒng)和過程包括首先確定在改變分辨率的每個(gè)圖像中的感興趣點(diǎn)。感興趣點(diǎn)是其在圖像中的位置由至少一個(gè)屬于該點(diǎn)周圍預(yù)定尺寸的象素鄰域內(nèi)的象素的屬性值定義的點(diǎn)。此外，每個(gè)感興趣點(diǎn)是能夠根據(jù)至少一個(gè)屬于該點(diǎn)周圍象素鄰域內(nèi)的象素的屬性值分配唯一取向(它可以是應(yīng)用到定義點(diǎn)位置的相同屬性或特征或另外屬性或特性)。第二個(gè)鄰域可以與用于定義該點(diǎn)位置的鄰域具有相同尺寸、或是不同尺寸的鄰域。一旦已經(jīng)確定感興趣點(diǎn)，對(duì)于每個(gè)感興趣點(diǎn)建立描述符。這個(gè)描述符以實(shí)際不改變圖像位置、取向和尺度，以及改變?cè)擖c(diǎn)周圍區(qū)域的象素強(qiáng)度的方式特征化每個(gè)點(diǎn)。接下來，在各圖像中確定實(shí)際匹配描述符集合。然后指定每個(gè)在不同圖像中出現(xiàn)的匹配描述符集合相關(guān)的感興趣點(diǎn)作為對(duì)應(yīng)點(diǎn)(即描述場(chǎng)景相同部分的點(diǎn))。關(guān)于確定每個(gè)圖像中的感興趣點(diǎn)，對(duì)于每個(gè)圖像，這可通過首先形成圖像分辨率金字塔來完成。在金字塔的每個(gè)級(jí)別中，確定表示圖像角特征的位置。例如，在本系統(tǒng)和過程的測(cè)試實(shí)施例中，使用稱為Harris的角特征。確定角特征位置的一種方法是找到每個(gè)角特征的位置，該位置顯示出角強(qiáng)度，它是該位置中心的預(yù)定最小鄰域半徑的象素鄰域的局部最大值并超過預(yù)定最小強(qiáng)度閾值。如果確定的角位置的總數(shù)超過預(yù)定最大數(shù)，則鄰域半徑增加一些預(yù)定整數(shù)值并確定是否每個(gè)先前確定位置的角強(qiáng)度仍然是當(dāng)前要考慮的象素鄰域的局部最大值并仍然超過最小強(qiáng)度閾值。如果兩個(gè)條件都不滿足，從考慮中刪除角位置。一旦所有角位置已經(jīng)重復(fù)測(cè)試，它重新確定是否總數(shù)超過最大允許值。如果超過，再次增加半徑并且重復(fù)前述過程。這交替過程繼續(xù)，直到角位置數(shù)目等于或降到最大允許值。在該點(diǎn)上，每個(gè)剩余的確定位置指定作為表示分開的角特征。每個(gè)剩余角特征的位置可以通過分配其位置提煉，其中示出要考慮的確定位置中心的預(yù)定尺寸局部鄰域上適合的二維方形表面的最大強(qiáng)度。每個(gè)剩余的角特征也分配取向。在本系統(tǒng)和過程的測(cè)試實(shí)施例中，這通過使用模糊梯度方法完成。最后，每個(gè)剩余的角特征的確定位置指定作為具有計(jì)算用于相關(guān)角特征的取向的分離的感興趣點(diǎn)。關(guān)于對(duì)于每個(gè)感興趣點(diǎn)產(chǎn)生描述符，這可通過首先建立要考慮的感興趣點(diǎn)位置中心的預(yù)定p×p大小的描述符區(qū)域完成，它是根據(jù)感興趣點(diǎn)取向進(jìn)行取向。接下來，預(yù)定大小d×d描述符矢量形成，該矢量是小于描述符區(qū)域并且使用在該區(qū)域中的象素的強(qiáng)度值的雙線性內(nèi)差以通過從適當(dāng)金字塔級(jí)取樣避免偏差的方式取樣。然后，描述符矢量關(guān)于偏差和增益規(guī)格化，并在規(guī)格化的描述符矢量上實(shí)施Haar子波變換以產(chǎn)生變換的矢量。對(duì)于在圖像中找到實(shí)際匹配的描述符，這通常通過匹配每個(gè)變換的描述符矢量到特征空間中的它最近鄰的預(yù)定數(shù)來完成。完成該工作的一種方法是首先從每個(gè)變換的描述符矢量的三個(gè)非零子波系數(shù)的前個(gè)產(chǎn)生三維散列表。然后，對(duì)于散列表的每個(gè)結(jié)點(diǎn)(bin)，計(jì)算其中找到的每個(gè)三系數(shù)矢量的距離。依次選擇每個(gè)三系數(shù)矢量并根據(jù)計(jì)算距離確定相同結(jié)點(diǎn)(bin)的最近鄰的預(yù)定數(shù)，但它與選擇的矢量相同圖像無關(guān)。這形成潛在匹配矢量集合。這些集合中的每個(gè)矢量有關(guān)的感興趣點(diǎn)在這些圖像中指定作為對(duì)應(yīng)點(diǎn)。在匹配過程的測(cè)試實(shí)施例中，構(gòu)造每維10結(jié)點(diǎn)(bin)的散列表，每個(gè)結(jié)點(diǎn)(bin)具有一半的重疊區(qū)域。注意到，作為確定每個(gè)矢量最近鄰的可選預(yù)定數(shù)，在相同結(jié)點(diǎn)(bin)中發(fā)現(xiàn)分別與每個(gè)圖像相關(guān)的最近鄰，除了要考慮的矢量相關(guān)的圖像外，還要達(dá)到每個(gè)圖像的預(yù)定數(shù)，可以確定替代以形成潛在匹配矢量集合。指定每個(gè)潛在匹配矢量集合中矢量相關(guān)的感興趣點(diǎn)作為對(duì)應(yīng)點(diǎn)，它可能錯(cuò)誤地刪除確定的匹配。通常，如果與其相關(guān)的感興趣點(diǎn)實(shí)際上不對(duì)應(yīng)在相同矢量集合中與另外三系數(shù)矢量相關(guān)的另外圖像的感興趣點(diǎn)，則必須從考慮為潛在匹配矢量中刪除任何三系數(shù)矢量。它可以多種方式完成。對(duì)于每個(gè)匹配矢量集合，一種方式必須首先為每個(gè)集合計(jì)算異常距離，然后確定是否該集合中計(jì)算的任何匹配矢量距離大于異常距離的65％。如果發(fā)現(xiàn)匹配矢量的距離大于異常距離的65％，刪除考慮作為相應(yīng)圖像點(diǎn)。該排除策略指的是使用異常距離約束的異常排除。另一種錯(cuò)誤地從集合中刪除匹配矢量的方式是完成標(biāo)準(zhǔn)幾何異常排除過程和刪除與任何矢量有關(guān)的作為對(duì)應(yīng)點(diǎn)的發(fā)現(xiàn)為異常的感興趣點(diǎn)。本質(zhì)上，這個(gè)幾何異常排除過程包括找到兩個(gè)圖像中所有點(diǎn)最佳匹配的變換和當(dāng)變換時(shí)排除特定誤差中不對(duì)應(yīng)的點(diǎn)。它也可能使用前述兩種排除技術(shù)。例如，在本系統(tǒng)和過程的測(cè)試實(shí)施例中，使用異常距離約束的排除策略首先遵循幾何異常排除過程。除上述描述的優(yōu)勢(shì)外，當(dāng)結(jié)合附圖，本發(fā)明的其他優(yōu)點(diǎn)從下文的詳細(xì)說明書中變得更明顯。參照下述說明、附加權(quán)利要求和附圖，本發(fā)明的特定特征、方面和優(yōu)點(diǎn)將變得更好理解。圖1是描述構(gòu)成用于實(shí)施本發(fā)明的示例性系統(tǒng)的通用計(jì)算設(shè)備的圖。圖2是圖解根據(jù)本發(fā)明確定相同場(chǎng)景的多圖像中對(duì)應(yīng)點(diǎn)的整個(gè)過程的流程圖。圖3是比較調(diào)和平均值感興趣點(diǎn)檢測(cè)功能和Harris與Shi-Tomasi功能的等輪廓(isocontour)圖。圖4是演示具有子象素位置和沒有子象素位置的感興趣點(diǎn)重復(fù)性的圖。圖5A-5C是圖示根據(jù)本發(fā)明產(chǎn)生描述符矢量的過程的流程圖。圖6是山脈場(chǎng)景的圖，其中峰值上的感興趣點(diǎn)相關(guān)的描述符區(qū)域示出為白框子，和感興趣點(diǎn)的位置示出作為框子中心的白點(diǎn)以及包括從感興趣點(diǎn)延伸的線以指示分配給該點(diǎn)的取向方向。圖7是示出從圖6的描述符區(qū)域形成的8×8描述的圖像。圖8(a)和8(b)示出具有公共部分的山脈場(chǎng)景的兩個(gè)圖像，其中任何異常排除處理前確定的兩個(gè)圖像間的相應(yīng)位置示出為白點(diǎn)。圖9(a)和9(b)分別示出在使用異常距離約束的異常排除技術(shù)應(yīng)用后的圖8(a)和8(b)的相同圖像。圖10(a)和10(b)分別示出在應(yīng)用幾何基礎(chǔ)的異常排除技術(shù)后的圖9(a)和9(b)的相同圖像。圖11是使用根據(jù)圖5A-5C產(chǎn)生的描述符矢量在場(chǎng)景的圖像間發(fā)現(xiàn)對(duì)應(yīng)點(diǎn)的過程的流程圖。優(yōu)選實(shí)施例在下述本發(fā)明的優(yōu)選實(shí)施例中，參照構(gòu)成此部分的附圖，并且其中通過示出本發(fā)明可以實(shí)施的特定實(shí)施例示出。可以理解，在不脫離本發(fā)明范圍情況下，可以利用其他實(shí)施例并且可以有結(jié)構(gòu)的變化。1.0計(jì)算環(huán)境在提供本發(fā)明的優(yōu)選實(shí)施例的描述前，將描述本發(fā)明可以實(shí)施的合適計(jì)算環(huán)境的簡(jiǎn)短、通用描述。圖1示出合適計(jì)算系統(tǒng)環(huán)境100的實(shí)例。該計(jì)算系統(tǒng)環(huán)境100僅是合適計(jì)算環(huán)境的一個(gè)實(shí)例而不試圖建議限制本發(fā)明功能或使用范圍。計(jì)算環(huán)境100既不解釋為具有一些任何一個(gè)有關(guān)的依賴或要求也不解釋為本示例性操作環(huán)境100中示出的組件的組合。本發(fā)明以大量其他通用或?qū)Ｓ玫挠?jì)算系統(tǒng)環(huán)境或配置運(yùn)作。公知的適合用于本發(fā)明的計(jì)算系統(tǒng)、環(huán)境、和/或配置的實(shí)例包括但不限制個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、手持式或膝上型設(shè)備、多處理器系統(tǒng)、基于多處理器的系統(tǒng)、機(jī)頂盒、可編程消費(fèi)電子裝置、網(wǎng)絡(luò)PC、小型計(jì)算機(jī)、大型計(jì)算機(jī)、任何包括上述系統(tǒng)或設(shè)備的分布式計(jì)算環(huán)境等等。本發(fā)明可以在諸如計(jì)算機(jī)執(zhí)行的程序模塊的計(jì)算機(jī)可執(zhí)行指令的常規(guī)環(huán)境描述。通常，程序模塊包括例程、程序、對(duì)象、組件、數(shù)據(jù)結(jié)構(gòu)等等，它們完成特定任務(wù)或執(zhí)行特定抽象數(shù)據(jù)類型。本發(fā)明也可以在分布式計(jì)算環(huán)境方面實(shí)踐，其中任務(wù)由通過通信網(wǎng)絡(luò)連接的遠(yuǎn)程處理設(shè)備實(shí)施。在分布式計(jì)算環(huán)境中，程序模塊可以位于局部和包括內(nèi)存儲(chǔ)器設(shè)備的遠(yuǎn)程計(jì)算機(jī)存儲(chǔ)介質(zhì)。參照?qǐng)D1，用于執(zhí)行本發(fā)明的示例性系統(tǒng)包括計(jì)算機(jī)110形式的通用計(jì)算設(shè)備。計(jì)算機(jī)110的組件包括但不限制處理單元120、系統(tǒng)存儲(chǔ)器130和連接若干包括系統(tǒng)存儲(chǔ)器的系統(tǒng)組件到處理器單元120的系統(tǒng)總線121。系統(tǒng)總線121可以是任何若干種類的總線結(jié)構(gòu)，包括存儲(chǔ)器總線或存儲(chǔ)器控制器、外圍總線和使用各種總線結(jié)構(gòu)的任何一種的局部總線。以實(shí)例方式而不是限制，這樣的體系結(jié)構(gòu)包括工業(yè)標(biāo)準(zhǔn)體系結(jié)構(gòu)(ISA)總線，微通道體系結(jié)構(gòu)(MCA)總線、增強(qiáng)的ISA(EISA)總線、視頻電子標(biāo)準(zhǔn)協(xié)會(huì)(VESA)局部總線和外圍組件互連(PCI)總線也公知為多層構(gòu)架總線。計(jì)算機(jī)110一般地包括各種計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)是計(jì)算機(jī)110可以訪問的任何可用介質(zhì)并包括易失性和非易失性介質(zhì)，可移動(dòng)和不可移動(dòng)介質(zhì)。通過實(shí)例而不是限制，計(jì)算機(jī)可讀介質(zhì)可以包括計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括在任何方法或技術(shù)中實(shí)施用于存儲(chǔ)諸如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)的信息的易失性和非易失性、可移動(dòng)性和不可移動(dòng)性介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限制于RAM、ROM、EEPROM、快速閃存或其他存儲(chǔ)技術(shù)、CD-ROM、數(shù)字多功能光盤(DVD)或其他光盤存儲(chǔ)、磁卡、磁帶、磁盤存儲(chǔ)器或其他磁存儲(chǔ)設(shè)備，或任何其他可用于存儲(chǔ)想要的信息并可以被計(jì)算機(jī)110訪問的介質(zhì)。通信介質(zhì)典型地包括計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或者調(diào)制數(shù)據(jù)信號(hào)中的諸如載波或其他傳輸機(jī)制的其他數(shù)據(jù)并包括任何信息傳遞介質(zhì)。術(shù)語″已調(diào)數(shù)據(jù)信號(hào)″指的是具有一個(gè)或多個(gè)其特征設(shè)置或以這種方式變化以便編碼信號(hào)中信息的信號(hào)。通過實(shí)例而不是限制，通信介質(zhì)包括諸如有線網(wǎng)絡(luò)或直接有線連接的有線介質(zhì)，和諸如聲學(xué)、RF、紅外和其他無線介質(zhì)的無線介質(zhì)。上述任何的組合也應(yīng)當(dāng)包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。系統(tǒng)存儲(chǔ)器130包括諸如只讀存儲(chǔ)器(ROM)131和隨機(jī)存取存儲(chǔ)器(RAM)132的易失性和/或非易失性存儲(chǔ)形式的計(jì)算機(jī)存儲(chǔ)介質(zhì)。包含有助于在計(jì)算機(jī)110中的元件間傳輸信息的基本例程的基本輸入/輸出系統(tǒng)133(BIOS)，例如在開啟期間，通常存儲(chǔ)在ROM131。RAM132通常包含數(shù)據(jù)和/或程序模塊，它們立即易于訪問處理器單元120和/或很快由處理器單元操作。通過實(shí)例而不是限制，圖1示出操作系統(tǒng)134、應(yīng)用程序135、其他程序模塊136和程序數(shù)據(jù)137。計(jì)算機(jī)110也可包括其他可移動(dòng)/不可移動(dòng)、易失性/非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)。僅實(shí)例，圖1示出硬盤驅(qū)動(dòng)141，它讀取來自或?qū)懭氲讲豢梢苿?dòng)性、非易失性磁介質(zhì)；磁盤驅(qū)動(dòng)151，它讀取來自或?qū)懭氲娇梢苿?dòng)、非易失性磁盤152；和光盤驅(qū)動(dòng)155，它讀取來自或?qū)懭氲街T如CD-ROM或其他光介質(zhì)可移動(dòng)、非易失性光盤156。其他可用于示例性操作環(huán)境的可移動(dòng)/不可移動(dòng)的，易失性/非易失性計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限制磁帶框、快閃存卡、數(shù)字多功能盤，數(shù)字錄像帶、固態(tài)RAM，固態(tài)ROM等等。硬盤驅(qū)動(dòng)141通常通過諸如接口140的不可移動(dòng)存儲(chǔ)器接口連接到系統(tǒng)總線121，而磁盤驅(qū)動(dòng)器151和光盤驅(qū)動(dòng)器155由諸如接口150的可移動(dòng)存儲(chǔ)器接口連接到系統(tǒng)總線121。上面描述的以及在圖1示出的驅(qū)動(dòng)器和它們相關(guān)的計(jì)算機(jī)存儲(chǔ)介質(zhì)提供計(jì)算機(jī)110的計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其他數(shù)據(jù)的存儲(chǔ)。在圖1中，例如，硬盤驅(qū)動(dòng)141作為存儲(chǔ)操作系統(tǒng)144、應(yīng)用程序145、其他程序模塊146和程序數(shù)據(jù)147示出。注意，這些組件可以同于或異于操作系統(tǒng)134、應(yīng)用程序135、其他程序模塊136和程序數(shù)據(jù)137。操作系統(tǒng)144、應(yīng)用程序145、其他程序模塊146和程序數(shù)據(jù)147在這給定不同編號(hào)以示出在最小值上，它們是不同副本。用戶可以通過諸如鍵盤162和指示設(shè)備161輸入命令和信息到計(jì)算機(jī)110，通常指的是鼠標(biāo)、跟蹤球或接觸墊。其他輸入裝置(沒有示出)可包括話筒、操縱桿、游戲桿、衛(wèi)星天線、掃描器等等。這些和其他輸入設(shè)備通常通過連接到系統(tǒng)總線121的用戶輸入接口160連接到處理單元120，但也可通過其他接口和總線結(jié)構(gòu)連接，例如并行端口、游戲口或通用串口(USB)。監(jiān)視器191或其他類型顯示裝置也通過諸如視頻接口190的接口連接到系統(tǒng)總線121。除監(jiān)視器以外，計(jì)算機(jī)可包括諸如揚(yáng)聲器197和打印機(jī)196的其他外圍輸出設(shè)備，它們可通過輸出外圍接口195連接。關(guān)于本發(fā)明特別有效的，能夠捕獲一系列圖像193的相機(jī)192(例如數(shù)字/電子靜態(tài)或攝像機(jī)，或圖片/相片掃描儀)也可包括作為個(gè)人計(jì)算機(jī)110的輸入設(shè)備。此外，盡管僅描述了一臺(tái)相機(jī)，多個(gè)相機(jī)可作為個(gè)人計(jì)算機(jī)110的輸入設(shè)備。從一臺(tái)相機(jī)或多臺(tái)相機(jī)中的圖像193通過適當(dāng)?shù)南鄼C(jī)接口194輸入到計(jì)算機(jī)110。這接口194連接到系統(tǒng)總線121，從而允許圖像路由到并存儲(chǔ)在RAM132或與計(jì)算機(jī)110相關(guān)的其他數(shù)據(jù)存儲(chǔ)設(shè)備的其中一個(gè)中。然而，注意的是，圖像數(shù)據(jù)不需要使用相機(jī)192可從上述的計(jì)算機(jī)可讀介質(zhì)的任何一種輸入到計(jì)算機(jī)110中。計(jì)算機(jī)110使用邏輯連接到一個(gè)或多個(gè)諸如遠(yuǎn)程計(jì)算機(jī)180的遠(yuǎn)程計(jì)算機(jī)在網(wǎng)絡(luò)環(huán)境中運(yùn)行。遠(yuǎn)程計(jì)算機(jī)180可以是個(gè)人計(jì)算機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、對(duì)等設(shè)備或其他通用網(wǎng)絡(luò)節(jié)點(diǎn)，并且通常包括上述與計(jì)算機(jī)110相關(guān)的許多或所有的元件，雖然在圖1中僅表示出存儲(chǔ)器設(shè)備181。圖1描述的邏輯連接包括局域網(wǎng)(LAN)171和廣域網(wǎng)(WAN)173，但也可包括其他網(wǎng)絡(luò)。這樣的網(wǎng)絡(luò)環(huán)境是辦公室公共地方、企業(yè)計(jì)算機(jī)網(wǎng)絡(luò)、內(nèi)部網(wǎng)和因特網(wǎng)。當(dāng)在LAN網(wǎng)絡(luò)環(huán)境中使用時(shí)，計(jì)算機(jī)110通過網(wǎng)絡(luò)接口或適配器170連接到LAN171。當(dāng)用于WAN網(wǎng)絡(luò)環(huán)境時(shí)，計(jì)算機(jī)110通常包括調(diào)制解調(diào)器172或其他用于在WAN173上建立通信的裝置，例如因特網(wǎng)。內(nèi)置的或外置的調(diào)制解調(diào)器172可以通過用戶輸入接口160或其他適當(dāng)機(jī)制連接到系統(tǒng)總線121。在網(wǎng)絡(luò)環(huán)境中，描述的與計(jì)算機(jī)110有關(guān)的或其中部分的程序模塊可以存儲(chǔ)在遠(yuǎn)程存儲(chǔ)設(shè)備中。通過實(shí)例而不是限制，圖1示出作為駐留在存儲(chǔ)設(shè)備181上的遠(yuǎn)程應(yīng)用程序185?？梢岳斫?，示出的網(wǎng)絡(luò)連接是示例性的并可以使用其他在計(jì)算機(jī)間建立通信連接的裝置。2.0多圖像特征匹配系統(tǒng)和過程現(xiàn)在討論示例性操作環(huán)境，說明書部分的余下部分將用于使用本發(fā)明的程序模塊的描述。通常，根據(jù)本發(fā)明的系統(tǒng)和過程包括在場(chǎng)景的多圖像中確定對(duì)應(yīng)點(diǎn)。通常，這是經(jīng)由圖2的高級(jí)流程圖中示出的下述過程操作完成。首先，在變化分辨率的每個(gè)圖像中，確定感興趣點(diǎn)(過程操作200)。感興趣點(diǎn)在圖像中的位置是由至少一個(gè)屬于該點(diǎn)周圍預(yù)定大小的象素鄰域的象素的屬性值定義的點(diǎn)。此外，每個(gè)感興趣點(diǎn)是可以根據(jù)該點(diǎn)周圍的象素鄰域的至少一個(gè)屬性值給象素分配唯一取向的點(diǎn)(它可以是使用相同屬性和特征以定義另一屬性和特征的點(diǎn)位置)。第二鄰域可以是與用于定義點(diǎn)位置的鄰域相同預(yù)定大小或不同大小鄰域。一旦在過程操作202中已經(jīng)確定感興趣點(diǎn)，對(duì)于每個(gè)感興趣點(diǎn)，建立描述符。該描述符以實(shí)際不改變圖像位置、取向和尺度，也不改變用于定義該點(diǎn)周圍區(qū)域的象素強(qiáng)度的方式描述每個(gè)點(diǎn)。接下來，在圖像中確定實(shí)際匹配描述符集合(過程操作204)。最后，在過程操作206，指定在不同圖像中出現(xiàn)的每個(gè)匹配描述符集合有關(guān)的感興趣點(diǎn)作為對(duì)應(yīng)點(diǎn)(即描述場(chǎng)景相同部分的點(diǎn))。首先在下面部分將描述特征描述符表示的不變特征的前述新類型，該特征描述符通常是強(qiáng)度值的偏差/增益規(guī)格化的片段，接著描述特征匹配方案。2.1多尺度取向特征多尺度取向特征特點(diǎn)為四個(gè)幾何參數(shù)和兩個(gè)光度參數(shù)。幾何參數(shù)是t1，t2，θ，ι，即圖像中區(qū)域或片段中心的x，y位置、取向和尺度。光度參數(shù)是α，β，即片段增益和偏差。假定這種表示，使用用于片段匹配的簡(jiǎn)單6參數(shù)模型，以及分析用來正確和錯(cuò)誤匹配的噪聲統(tǒng)計(jì)。這導(dǎo)致根據(jù)每個(gè)特征異常距離的簡(jiǎn)單匹配驗(yàn)證過程。更具體地，相應(yīng)圖像片段間的變換是I′(x′)＝αI(x)+β+e(1)其中x′＝Ax+t和A=scosθsinθ-sinθcosθ.]]>誤差e表示圖像噪聲和模式錯(cuò)誤。特征中心的x，y位置認(rèn)為是與各點(diǎn)一致，其中該變換是最佳定義-即其中I(x)自相關(guān)是峰值。這些點(diǎn)的備選將稱為感興趣點(diǎn)。為了比較特征，可以在原則上計(jì)算一對(duì)圖像位置間的變換參數(shù)的最大似然估計(jì)。假定高斯噪聲，這可通過解決非線性最小均方問題來迭代完成。然而，為了效率，每個(gè)特征可由前述模型下的不變式描述，以及可以使用對(duì)于特征對(duì)間模型參數(shù)的閉式近似。誤差e的統(tǒng)計(jì)可以用來驗(yàn)證匹配是否正確與否。2.1.1感興趣點(diǎn)盡管在圖像中有許多可以描述具有位置和取向的點(diǎn)[17]，但選擇用于本發(fā)明系統(tǒng)和過程的測(cè)試實(shí)施例的感興趣點(diǎn)是與稱為Harris的角相關(guān)。發(fā)現(xiàn)如下與這些Harris角一致的感興趣點(diǎn)。對(duì)于每個(gè)輸入圖像I(x，y)，通過平滑和子抽樣操作形成最低層P0(x，y)＝I(x，y)和相關(guān)較高層的圖像金字塔，即P′l(x,y)=Pl(x,y)*gσp(x,y)]]>Pl+1(x，y)＝P′l(sx，sy)(2)其中ι表示金字塔層和gσ(x，y)表示標(biāo)準(zhǔn)偏差σ的高斯核心。s＝2的子取樣率和σp＝1.0的金字塔平滑，在該金字塔形成過程的測(cè)試實(shí)施例中成功使用。然后，通常，大約1.1到3.0范圍值可用于s，并且大約0.55到1.5范圍值可用于σp。從金字塔每層中抽取感興趣點(diǎn)。層ι和位置(x，y)的Harris矩陣是梯度平滑異常乘積Hl(x,y)=▿σdPl(x,y)▿σdPl(x,y)T*gσi(x,y)···(3)]]>其中σ表示在尺度σ的空間公差，即σf(x，y)f(x，y)*gσ(x，y)(4)在測(cè)試實(shí)施例中，綜合尺度設(shè)置為σi＝1.5而公差尺度設(shè)置為σd＝1.0。然后使用角檢測(cè)函數(shù)fHM(x,y)=detHl(x,y)trHl(x,y)=λ1λ2λ1+λ2···(5)]]>該函數(shù)是H的特征值(λ1，λ2)的調(diào)和平均值。在測(cè)試實(shí)施例中，認(rèn)為感興趣點(diǎn)是定位于其中角強(qiáng)度fHM(x，y)是鄰域內(nèi)周圍局部最大值并超過閾值10.0。然而，注意的是，大約0.5到2.5范圍的常規(guī)值可以用于σi，大于0，5到2.5范圍的值可用于σd，并且閾值可能是任何可降到零的值。上述鄰域周圍的大小將簡(jiǎn)要描述。感興趣點(diǎn)檢測(cè)函數(shù)的前述選擇理由可根據(jù)H和局部自相關(guān)函數(shù)間的關(guān)系來理解。對(duì)于圖像I(x)，第一序泰勒展開對(duì)于局部自相關(guān)給于表述e(x)=|I(x)-I0|2=xT∂I∂x∂IT∂xx=xTHx···(6)]]>感興趣點(diǎn)位于自相關(guān)函數(shù)的峰值。這意味著e(u)對(duì)于所有單元矢量u是較大的，它是等同于要求H的兩個(gè)特征值是較大的。注意的是，除了調(diào)和平均值函數(shù)外，角檢測(cè)函數(shù)也可用于找到感興趣點(diǎn)位置。例如，稱為Harris(即fH＝λ1λ2-0.04(λ1+λ2)2＝detH-0.04(trH)2)和Shi-Tomasi(即fST＝min(λ1，λ2))函數(shù)可用于替代。圖3比較調(diào)和平均值感興趣點(diǎn)檢測(cè)函數(shù)和這些其他函數(shù)的等輪廓線(isocontours)。注意所有檢測(cè)器需要更大特征值。初步實(shí)驗(yàn)建議這些檢測(cè)器的每個(gè)大概給定相同性能，因此可交替使用。2.1.1.1自適應(yīng)非最大壓縮由于計(jì)算上的考慮，期望對(duì)于每個(gè)圖像產(chǎn)生固定數(shù)目的感興趣點(diǎn)。為了選擇很好空間分布在圖像中的感興趣點(diǎn)，可以使用自適應(yīng)非最大壓縮策略。更具體地說，感興趣點(diǎn)基于角強(qiáng)度fHM壓縮和僅象素半徑r鄰域內(nèi)最大值的這些象素剩余。為了從每個(gè)圖像提取感興趣點(diǎn)的大約常定數(shù)nip，它可能搜索非最大壓縮半徑r。在測(cè)試實(shí)施例中，使用r＝rinit＝4.0的初始值，盡管這通常從1擴(kuò)展到15。然后，在連續(xù)整數(shù)值中搜索r的最大值以便只從每個(gè)圖像中提取nip感興趣點(diǎn)。然而，在測(cè)試實(shí)施例中，nip＝500，這通常根據(jù)圖像大小和特征從最低的大約10變化到多達(dá)幾千。發(fā)現(xiàn)以上述方法空間分布的感興趣點(diǎn)，相比根據(jù)最大角強(qiáng)度選擇的感興趣點(diǎn)，可導(dǎo)致圖像匹配的較小降低。2.1.1.2子象素精度通過將二維二次方程式應(yīng)用到局部鄰域內(nèi)(按檢測(cè)尺度)角強(qiáng)度函數(shù)定位感興趣點(diǎn)到子象素精度并找到它的最大值可以獲得更好結(jié)果。更具體地，f(x)=f+∂fT∂xx+12xT∂2f∂x2x···(7)]]>其中x表示位置(x，y)，和f(x)＝fHM(x)是角強(qiáng)度計(jì)量。在測(cè)試實(shí)施例中，使用3×3鄰域。使用象素差值從3×3鄰域內(nèi)計(jì)算公差。即∂f∂x=(f1,0-f-1,0)/2]]>∂f∂y=(f0,1-f0,-1)/2]]>∂2f∂x2=f1,0-2f0,0+f-1,0···(8)]]>∂2f∂y2=f0,1-2f0,0+f0,-1]]>∂2f∂x∂y=(f-1,-1-f-1,1-f1,-1-f1,1)/4]]>子象素位置的x和y分量這樣給定xm=x0-∂2f-1∂x2∂f∂x]]>ym=y0-∂2f-1∂y2∂f∂y···(9)]]>重復(fù)性可定義為其變換的位置修正到少許公差的感興趣點(diǎn)的片段。圖4示出使用前述過程的具有和不具有子象素定位的感興趣點(diǎn)的重復(fù)性。注意，子象素定位給定重復(fù)性大約5％改進(jìn)。2.1.2取向每個(gè)感興趣點(diǎn)具有取向θ，其中取向矢量[cosθ,sinθ]=u/|u|=u^]]>來自平滑的局部梯度ul(x，y)＝σ0Pl(x，y)(10)。測(cè)試實(shí)施例中用于取向的綜合尺度是σ0＝4.5。期望更大公差尺度以便運(yùn)動(dòng)域uι(x，y)平滑地從圖像中變化，使得取向估計(jì)穩(wěn)定感興趣點(diǎn)位置的錯(cuò)誤。然而，通常，取向的綜合尺度在大約2.0到7.0間變動(dòng)。注意，盡管在本系統(tǒng)和過程的測(cè)試實(shí)施例中使用模糊局部梯度方法以建立每個(gè)感興趣點(diǎn)的取向，也可使用其他方法。例如，取向測(cè)量方法的另外實(shí)例包括使用梯度直方圖或H矩陣的特征向量的最大值。2.1.3描述符矢量對(duì)于每個(gè)取向的感興趣點(diǎn)(x，y，ι，θ)，描述符區(qū)域是檢測(cè)尺度象素的p×p大小的片段。該片段在(x，y)中心并定位于角度θ。從p×p描述符區(qū)域，形成d×d大小的描述符矢量。在測(cè)試實(shí)施例，p＝40和d＝8，然而，通常p可以在以d尺度值在圖像大小的大約0.1％和10％間變化。圖6示出山脈場(chǎng)景圖像，其中峰值上感興趣點(diǎn)有關(guān)的描述符區(qū)域示出為白框。注意，感興趣點(diǎn)的位置示出為白點(diǎn)并包括從感興趣點(diǎn)擴(kuò)展的線以分配給該點(diǎn)的取向趨勢(shì)。圖7示出從圖6示出的描述符區(qū)域中形成的8×8描述符。注意，感興趣點(diǎn)和定位線在圖中也示出為白色。為了避免取樣時(shí)偏差/模糊，在導(dǎo)致每個(gè)象素概略取樣的金字塔級(jí)取樣描述箝。實(shí)現(xiàn)這的一種方式是從檢測(cè)尺度層上的ιs層取樣描述符。其中描述符矢量使用內(nèi)插采樣。例如，在測(cè)試實(shí)施例中，其中p＝40，d＝8，和s＝2，描述符將在檢測(cè)尺度上的ιs＝2層取樣。然而，假定在層ι檢測(cè)感興趣點(diǎn)。這建議從Pl+ls(x,y)=Pl+2(x,y)]]>取樣描述符。然而，已經(jīng)發(fā)現(xiàn)通過使用替換過程獲得更好結(jié)果，其中替換的描述從P′l+1(x，y)采樣，其中，P′l+1(x,y)=Pl+1(x,y)*gσp(x,y),]]>即模糊但不下采樣。此外，通過從P′′l(x,y)=Pl(x,y)*g2×σp(x,y)]]>取樣獲得盡管更小增益。2.1.3.1規(guī)格化接下來規(guī)格化描述符矢量以便平均值是0和標(biāo)準(zhǔn)偏差是1，即di＝(d′i-μ)/σ(12)其中d′i，iε{1..d2}描述符矢量的元素，具有μ=1d2Σi=1d2d′i]]>和σ=1d2Σi=1d2(d′i-μ)2.]]>這使得特征不變以仿射強(qiáng)度變化(偏差和增益)。2.1.3.2Haar小波變換最后，Haar小波變換在d×d描述符矢量di上完成以形成包含子波系數(shù)ci的d2空間描述符矢量。由于Haar子波的正交屬性，保留各個(gè)距離，即Σi(di1-di2)2=Σi(ci1-ci2)2···(13)]]>因此，差平方和檢測(cè)中的最近鄰未變。然而，將簡(jiǎn)要描述在索引策略中使用前個(gè)三個(gè)非零子波系數(shù)c1，c2，c3。2.1.4描述符產(chǎn)生過程概要用于根據(jù)使用Harris角特征以定義感興趣點(diǎn)和模糊局部梯度方法以建立每個(gè)特征的取向的本系統(tǒng)和過程的實(shí)施例對(duì)于每個(gè)感興趣點(diǎn)產(chǎn)生描述符的技術(shù)的先前描述在圖5A-C的流程過程中概要。該過程通過確定圖像中感興趣點(diǎn)開始。更具體地，對(duì)于每個(gè)圖像，形成圖像分辨率金字塔(過程操作500)。然后，選擇先前未選的金字塔級(jí)(過程操作502)，確定選擇級(jí)中每個(gè)Harris角位置(過程操作504)。接下來選擇其中一個(gè)先前未選的Harris角(過程操作506)，然后確定是否選擇角的角強(qiáng)度是表示角位置的感興趣點(diǎn)中心的預(yù)定最小鄰域半徑內(nèi)的鄰近象素的局部最大值(過程操作508)。如果選擇角的角強(qiáng)度是局部最大值，則它也確定是否角強(qiáng)度超過預(yù)定最小強(qiáng)度閾值(過程操作510)。如果是這樣，選擇的角指定作為備選角(過程操作512)并測(cè)試其他角(如果有)。然而，如果確定角強(qiáng)度不是局部最大值或確定角強(qiáng)度不超過最小閾值，則從考慮中刪除該選擇的角并測(cè)試其他角(如果有)。這樣，任何一種方式，接下來的操作負(fù)責(zé)確定是否有一些先前未選擇的角仍然可以考慮(過程操作514)。如果仍有剩余的角要考慮，則前述過程從過程操作506開始重復(fù)。否則，過程從過程操作516繼續(xù)，其中最近使用的鄰域半徑增加預(yù)定整數(shù)值(例如1)。然后，前述呈現(xiàn)的過程對(duì)于每個(gè)備選角重復(fù)。具體地，選擇先前未選擇的備選角(過程操作518)，然后確定它的角強(qiáng)度是否是當(dāng)前鄰域半徑值定義的象素附近的局部最大值(過程操作520)。如果選擇的備選角的角強(qiáng)度是局部最大值，則確定它是否也超過最小強(qiáng)度閾值(過程操作522)。如果是這樣，選擇的角保持它的備選角分配(過程操作524)，可以考慮其他備選角(如果有的話)。然而，如果確定角強(qiáng)度不是局部最大值或確定它不超過最小閾值，則考慮中刪除選擇的備選角并測(cè)試其他備選角(如果有的話)。這樣，在任一種情況中，下一操作確定是否有一些先前未選的備選角仍然可以考慮(過程操作526)。如果還有角可以考慮，則開始于過程操作518的過程部分重復(fù)。如果沒有剩余的備選角測(cè)試，接下來確定是否仍然指定作為備選角的角數(shù)目超過預(yù)定最大允許數(shù)(過程操作528)。如果備選角的最大允許數(shù)超過，則過程操作516到528適當(dāng)重復(fù)直到備選角數(shù)目不再超過最大允許數(shù)。一旦剩余可接受備選角數(shù)目，繼續(xù)與指定定義每個(gè)剩余備選角的位置的點(diǎn)作為要考慮圖像的感興趣點(diǎn)(過程操作530)。接下來，選擇先前未選擇感興趣點(diǎn)(過程操作532)，并提取它的位置。更具體地，在過程操作534，顯示感興趣點(diǎn)位置指定作為預(yù)定大小的局部附近合適的二維二次方程式表面的最大強(qiáng)度的位置，該位置是在選擇點(diǎn)的中心。一旦建立選擇的感興趣點(diǎn)的提取位置，給該點(diǎn)分配取向(過程操作536)。如前所示，這使用模糊梯度方法在本發(fā)明的測(cè)試實(shí)施例中完成。選擇感興趣點(diǎn)的位置和取向接下來用于產(chǎn)生該點(diǎn)的描述符矢量。這通過首先建立預(yù)定p×p大小的描述符區(qū)域(片段)來完成，它是位于感興趣點(diǎn)位置的中心并根據(jù)感興趣點(diǎn)的取向進(jìn)行取向(過程操作538)。如前所述，使用雙線性內(nèi)插取樣強(qiáng)度值從描述符區(qū)域形成預(yù)定大小d×d的更小描述符矢量(過程操作540)。接下來規(guī)格化這描述符矢量(過程操作542)并受Haar小波變換(過程操作544)。變換的描述符矢量表示選擇的感興趣點(diǎn)描述符。然后該過程通過首先確定是否有任何未選的感興趣點(diǎn)存在而在其他感興趣點(diǎn)上實(shí)施(過程操作546)。如果這樣，過程操作532-546適當(dāng)重復(fù)直到所有感興趣點(diǎn)具有與它們相關(guān)的變換描述符矢量。最后，通過首先確定是否存在任何先前未選擇的金字塔級(jí)，對(duì)于圖像金字塔的所有其他分辨率級(jí)完成描述符產(chǎn)生過程(過程操作548)。如果有，則過程操作502-548適當(dāng)重復(fù)。一旦完成，在圖像金字塔每個(gè)級(jí)存在發(fā)現(xiàn)的感興趣點(diǎn)相關(guān)的變換的描述符矢量。注意，取代如上面描述符的確定的計(jì)算取向和產(chǎn)生每個(gè)感興趣點(diǎn)的變換描述符矢量，它也可能確定所有感興趣點(diǎn)，然后確定它們的取向并產(chǎn)生以作為可選方法的批量方式產(chǎn)生描述符矢量。2.2特征匹配假定多尺度定位片段從場(chǎng)景的圖像集合中的所有n圖像中提取，特征匹配的目標(biāo)是在所有圖像中幾何地找到合適的匹配。為了完成這個(gè)任務(wù)，首先開發(fā)用于特征匹配的似然模型。這導(dǎo)致對(duì)于特征匹配驗(yàn)證的簡(jiǎn)單約束，它稱為“異常距離約束”。此外，幾何約束可應(yīng)用到抵制異常并找到圖像匹配，或者除了應(yīng)用異常距離約束或它的空間內(nèi)。2.2.1特征匹配的似然模型理想地，可以對(duì)于正確和錯(cuò)誤匹配從測(cè)試的數(shù)據(jù)中計(jì)算誤差p(e圖像)分布，并使用它似然確定是否給定的特征匹配是正確或錯(cuò)誤。然而，已經(jīng)發(fā)現(xiàn)基于圖像的誤差e圖像＝|I′(x′)-(αI(x)+β)|(14)是用于確定是否特征匹配是正確/錯(cuò)誤的僅有尺度。實(shí)際上，發(fā)現(xiàn)用于正確和錯(cuò)誤匹配的|e圖像|值通常不能區(qū)別，并且閾值|e圖像|選擇正確/錯(cuò)誤匹配是不可能的。對(duì)于片段的最近鄰有關(guān)的誤差隨著變化差異也成為關(guān)注。已經(jīng)發(fā)現(xiàn)盡管正確和錯(cuò)誤匹配的誤差間總存在明顯的差距，但誤差尺度變化很大。具體地說，誤差對(duì)于高對(duì)比的片段更大，而低對(duì)比的片段更小。當(dāng)包括低對(duì)比的片段時(shí)，這使得在正確和錯(cuò)誤匹配間很難區(qū)分。一種可能的解決是規(guī)格化片段的對(duì)比度，它等同于計(jì)算特征空間的誤差，即e特征對(duì)于正確和錯(cuò)誤匹配的區(qū)分是很好分開的，但沒有明顯的閾值。因此，認(rèn)為匹配誤差的大小不僅是對(duì)比度問題。相信高頻率容量也重要，例如高梯度特征對(duì)于任何重合失調(diào)具有大誤差。然而，已經(jīng)發(fā)現(xiàn)，在特征基礎(chǔ)上的特征，存在對(duì)應(yīng)正確和錯(cuò)誤匹配的特征距離的雙峰分布。實(shí)際上，認(rèn)為查詢的錯(cuò)誤匹配的距離幾乎是常量。相信該現(xiàn)象是與稱為殼(shell)屬性的高尺度空間的屬性有關(guān)。在高尺度中，超球面體積的大部分是集中在外殼。這意味著，對(duì)于諸如高斯分布的普通分布，概率集中的大多數(shù)位于外殼。認(rèn)為統(tǒng)一分布點(diǎn)集合在d維超立方體中。離中心距離r中的點(diǎn)數(shù)目以rd增長(zhǎng)，直到到達(dá)空間的邊界，在此它迅速下落。由于d變得更大，這意味著幾乎所有點(diǎn)具有從給定查詢點(diǎn)的相同距離，即，它們位于查詢的常量距離的小殼中。然而，注意，距離值依靠空間查詢點(diǎn)的位置。例如，靠邊的點(diǎn)具有從中心點(diǎn)的更大距離。Lowe[11]已經(jīng)建議，盡管根據(jù)第一最近鄰(1-NN)距離的閾值是不可靠，第一和第二最近鄰間的距離比e1-NN/e2-NN是用于確定匹配是否正確的很好尺度。在多圖像匹配情況中，可能有多于一個(gè)的正確匹配，所以檢測(cè)替代比ei/e異常，其中ei是考慮的匹配距離，e異常是“異常距離”。假定這是在每個(gè)特征iε{1..k}的大多數(shù)k匹配和異常距離計(jì)算作為最近鄰k+1到k+n0的平均距離。使用Bayes判決規(guī)則，可以分類匹配如下P正確(e/e異常)＞P錯(cuò)誤(e/e異常)(16)這等于將特征匹配分為正確，如果e＜0.65×e異常(17)這指的是“異常距離約束”。仍然保留對(duì)于怎樣最佳計(jì)算的問題。注意，由于異常距離相關(guān)的距離σ′×e特征＝e圖像在特征空間與對(duì)于基于圖像的距離相同。這具有優(yōu)勢(shì)，可以簡(jiǎn)單比較特征空間圖像距離并不用給每一對(duì)α，β計(jì)算就可以應(yīng)用異常距離。2.2.2使用異常排除的特征匹配特征匹配過程開始于對(duì)于先前計(jì)算的描述符矢量中每個(gè)快速估計(jì)最近鄰。這些最近鄰失量表示圖像間的備選匹配點(diǎn)。接下來，在本特征匹配技術(shù)的測(cè)試實(shí)施例中，兩階段方法用于刪除錯(cuò)誤匹配。特別是使用非幾何異常排除技術(shù)，它采用上述異常距離約束來刪除錯(cuò)誤匹配點(diǎn)。最后，標(biāo)準(zhǔn)的幾何異常排除技術(shù)用于進(jìn)一步刪除任何剩余的錯(cuò)誤匹配點(diǎn)。然而，如前所示，一個(gè)或其他排除技術(shù)可以根據(jù)需要的精度和使用本特征匹配技術(shù)的系統(tǒng)的過程限制而旁路。2.2.2.1使用子波索引的快速近似最近鄰從所有圖像中提取特征和每個(gè)匹配特征空間中k近似最近鄰。快速近似最近鄰計(jì)算通過使用散列表索引特征完成。散列表是三維的并且維數(shù)對(duì)應(yīng)前個(gè)三個(gè)非零子波系數(shù)c1，c2，c3，它是片段上估計(jì)。在測(cè)試實(shí)施例中，k＝4，以及散列表每一維具有b＝10結(jié)點(diǎn)(bin)(它涵蓋尺寸平均值的±nσ＝3標(biāo)準(zhǔn)方差)。該結(jié)點(diǎn)(bin)一半重疊，以便確保結(jié)點(diǎn)(bin)寬度(=2nσb-112=σ3)]]>中的數(shù)據(jù)匹配。如果實(shí)際最近鄰位于其中一個(gè)三維外可能的話(但低概率)，這是近似最近鄰。每個(gè)描述符矢量匹配相同結(jié)點(diǎn)(bin)中的所有特征，并選擇k近似最近鄰。然后使用異常距離約束以驗(yàn)證正確匹配和刪除異常，這在下面描述。注意，特征間距離用于確定最近鄰。在測(cè)試實(shí)施例中，這些距離計(jì)算作為64維特征矢量的方形差異的總數(shù)。2.2.2.2使用異常距離約束的異常排除。由于幾乎大多數(shù)錯(cuò)誤匹配都具有從查詢點(diǎn)大約相同距離(即異常距離)，而正確匹配僅由于圖像和檢測(cè)噪聲而不同，因此上述殼(shell)屬性可以用作異常排除策略的基礎(chǔ)。異常距離可以估計(jì)的一種方式是使它等于每個(gè)圖像的2-NN距離的平均值或最小值。在計(jì)算的異常距離下，異常距離約束可用于減少錯(cuò)誤匹配數(shù)量。更具體地，如果發(fā)現(xiàn)的在考慮中矢量的最近鄰的其中一個(gè)矢量與在異常距離65％內(nèi)的矢量有距離，則認(rèn)為該矢量與匹配點(diǎn)相關(guān)。如果矢量距離不在異常距離的65％內(nèi)時(shí)，則與該點(diǎn)相關(guān)的點(diǎn)不認(rèn)為是匹配的點(diǎn)。2.2.2.3使用幾何約束的異常排除一旦使用異常距離約束提取備選的匹配，可通過使用幾何匹配約束進(jìn)一步提取匹配。本質(zhì)上，這包括使用標(biāo)準(zhǔn)方法以確定剩余的匹配點(diǎn)實(shí)際上對(duì)應(yīng)場(chǎng)景的圖像。如果該圖像從點(diǎn)獲取并且場(chǎng)景是靜態(tài)，全景運(yùn)動(dòng)模型(homography)是合適的。如果圖像用移動(dòng)相機(jī)獲取和靜態(tài)場(chǎng)景，全三維運(yùn)動(dòng)模型(基本矩陣)是合適的。對(duì)于多個(gè)或移動(dòng)對(duì)象設(shè)計(jì)更精細(xì)的運(yùn)動(dòng)模型也是可能的。對(duì)于自動(dòng)全景拼接，匹配的全景運(yùn)動(dòng)模型和[6]中的概率性模型是合適的選擇。發(fā)現(xiàn)不實(shí)際匹配描述該場(chǎng)景相同部分的另一圖像的點(diǎn)的任何點(diǎn)將從匹配點(diǎn)集合中刪除。2.2.3特征匹配處理概要在圖11的流程圖中歸納了根據(jù)本系統(tǒng)和方法的實(shí)施例確定一個(gè)場(chǎng)景的一系列圖像中各對(duì)應(yīng)點(diǎn)的特征匹配技術(shù)的前述描述，其中該系統(tǒng)和方法使用三維散列表并且至少部分依據(jù)異常距離約束的異常排除。該方法開始于通過匹配每個(gè)變換描述符矢量到特征空間的其最近鄰的預(yù)定數(shù)。更具體地，三維散列表從每個(gè)變換描述符矢量的前個(gè)三個(gè)非零子波系數(shù)產(chǎn)生(過程操作1100)。如前所示，在本特征匹配技術(shù)的測(cè)試實(shí)施例中，散列表的每維有10個(gè)結(jié)點(diǎn)(bin)并且每個(gè)結(jié)點(diǎn)(bin)具有一半重疊區(qū)域。然后計(jì)算散列表的每個(gè)結(jié)點(diǎn)(bin)的每個(gè)三系數(shù)間的距離(過程操作1102)。這些距離接下來用來對(duì)于每個(gè)描述符矢量確定相同結(jié)點(diǎn)(bin)中的其最近鄰的預(yù)定數(shù)，它是不來自于考慮矢量的相同圖像(過程操作1104a)。注意，在特征匹配的可選實(shí)施例中，下面操作1104b替代過程操作1104a。即，對(duì)于每個(gè)描述符矢量，來自其他每個(gè)圖像的相同結(jié)點(diǎn)(bin)中的其最近鄰確定到預(yù)定最大數(shù)。通過使用點(diǎn)線框在圖11示出操作1104a和1104b的可選特征。一旦已經(jīng)確定每個(gè)描述符矢量的最近鄰，選擇先前未選擇的矢量(過程操作1106)。從考慮中刪除選擇的其相關(guān)感興趣點(diǎn)實(shí)際上不對(duì)應(yīng)與選擇的矢量相關(guān)的感興趣點(diǎn)的矢量的最近鄰描述符矢量。更具體地，在本特征匹配技術(shù)的測(cè)試實(shí)施例中，如前所述，它在兩階段完成。第一階段(過程操作1108)，指的是使用異常距離約束的異常排除，是比刪除許多可能不對(duì)應(yīng)點(diǎn)更快的過程。第二階段(過程操作1110)，指的是使用幾何約束的異常排除，使用如前所述的更精確的幾何基礎(chǔ)的比較，雖然以更高的計(jì)算成本。然而，由于許多錯(cuò)誤匹配已經(jīng)在第一階段刪除，第二階段過程需要減少。實(shí)質(zhì)上，第二階段幾何基礎(chǔ)上的異常排除過程包括找到最好匹配兩圖像間所有點(diǎn)的變換和排除當(dāng)變換時(shí)特定尺度內(nèi)不對(duì)應(yīng)的點(diǎn)。圖8(a)和8(b)示例說明異常排除過程的值。這些圖示出兩圖像間的對(duì)應(yīng)位置部分相同的山脈圖像，任何異常排除過程前確定示出為白點(diǎn)(587匹配)。圖9(a)和9(b)分別示出在使用異常距離約束的異常排除技術(shù)應(yīng)用后的圖8(a)和8(b)的相同圖像。這里，242異常已經(jīng)刪除，留下345匹配。圖10(a)和10(b)分別示出在應(yīng)用基于幾何的異常排除技術(shù)后的圖9(a)和9(b)的相同圖像。確定另一個(gè)34異常并刪除，在圖像間保留311對(duì)應(yīng)點(diǎn)的最后的總數(shù)。注意，如果第一階段的異常排除過程充分對(duì)于本特征匹配技術(shù)的特定應(yīng)用產(chǎn)生正確結(jié)果，則如果希望，第二階段可以跳過。相反，如果不計(jì)較過程成本，則第二階段幾何基礎(chǔ)的異常排除過程可用在其上使用而第一階段可以跳過。關(guān)于第一異常排除技術(shù)，在測(cè)試實(shí)施例中，這包括首先對(duì)于選擇描述符矢量計(jì)算異常距離和其最近鄰，然后確定是否選擇矢量和它最近鄰的任何一個(gè)角的距離等于或大于異常距離的65％。只要發(fā)現(xiàn)最近鄰矢量具有對(duì)于選擇的矢量等于或大于異常距離的65％的距離，它從考慮中刪除作為表示對(duì)應(yīng)與選擇矢量相關(guān)的感興趣點(diǎn)的點(diǎn)。一旦異常排除過程完成，與描述確定作為選擇矢量的最近鄰的矢量有關(guān)的每個(gè)和還沒有從考慮中刪除的點(diǎn)，都指定作為對(duì)應(yīng)與選擇的矢量相關(guān)的感興趣點(diǎn)的點(diǎn)(過程操作1112)。對(duì)于每個(gè)其他描述符矢量，前述過程接下來實(shí)施以通過首先確定任何未選擇的矢量剩余來確定其他圖像中的它們的對(duì)應(yīng)點(diǎn)(過程操作1114)。如果這樣，過程1106-1114適當(dāng)重復(fù)直到已經(jīng)處理所有矢量。當(dāng)已經(jīng)選擇所有矢量并處理，過程結(jié)束。3.0參考文獻(xiàn)[1]P.Anandan.AComputationalFrameworkandanAlgorithmfortheMeasurementofVisualMotion.InternationalJournalofComputerVision，2283-310.1989.J.Bergen，P.Anandan，K.Hanna，andR.Hingorani.HierarchicalModel-BasedMotionEstimation.InProceedingsoftheEuropeanConferenceonComputerVision，pages237-252.Springer-Verlag，May1992.A.Baumberg.ReliableFeatureMatchingAcrossWidelySeparatedViews.InProceedingsoftheInternationalConferenceonComputerVisionandPatternRecognition，pages774-781，2000.C.Bishop.NeuralNetworksforPatternRecognition.Oxford，ISBN0198538642，1995.M.BrownandD.Lowe.InvariantFeaturesfromInterestPointGroups.InProceedingsofthe13thBritishMachineVisionConference，pages253-262，Cardiff，2002.M.BrownandD.Lowe.Recognisingpanoramas.InProceedingsofthe9thInternationalConferenceonComputerVision，volume2，pages1218-1225，Nice，October2003.G.CarneiroandA.Jepson.Multi-scaleLocalPhase-basedFeatures.InProceedingsoftheInternationalConferenceonComputerVisionandPatternRecognition，2003.C.Harris，GeometryfromVisualMotion.InA.BlakeandA.Yuille.editors，ActiveVision.pages263-284.MITPress，1992.B.LucasandT.Kanade.AnIterativeImageRegistrationTechniquewithanApplicationtoStereoVision.InInproceedingsofthe7thInternationalJointConferenceonArtificialIntelligence，pages674-679，1981.D.Lowe.ObjectRecognitionfromLocalScale-InvariantFeatures.InProceedingsoftheInternationalConferenceonComputerVision，pages1150-1157.Corfu，Greece，September1999.D.Lowe.DistinctiveImageFeaturesfromScale-InvariantKey-points.InternationalJournalofComputervision，2004.J.Matas，0.Chum，M.Urban，andT.Pajdla.Robustwidebaselinestereofrommaximallystableextremalregions.InProceedingsoftheBritishMachineVisionConference，2002.K.MikolajczykandC.Schmid.APefformanceEvaluationofLocalDescriptors.InProceedingsoftheInternationalConferenceonComputerVisionandPatternRecognition，2003.C.A.Rothwell.A.Zisserman，D.A.Forsyth，andJ.L.Mundy.Canonicalframesforplanarobjectrecognition.InProceedingsoftheEuropeanConferenceonComputerVision，pages757-772，1992.C.Rothwell.A.Zisserman，D.Forsyth，andJ.Mundy.PlanarObjectRecognitionUsingProjectiveShapeRepresentation，InInternationalJournalofComputerVision，number16，pages57-99，1995.C.SchmidandR.Mohr.LocalGrayvalueInvariantsforImageRetrieval.IEEETransactionsonPatternAnalysisandMachineIntelligence，19(5)530-535，May1997.C.Schmid，R.Mohr，andC.Bauckhage.EvaluationofInterestPointDetectors.InProceedingsoftheInternationalConferenceonComputerVision，pages230-235，Bombay，1998.JianboShiandCarloTomasi.Goodfeaturestotrack.InIEEEConferenceonComputerVisionandPatternRecognition(CVPR’94)，Seattle，June1994.F.SchaffalitzkyandA.Zisserman.Multi-viewMatchingforUnorderedImageSets，or″HowDoIOrganiseMyHolidaySnaps？”.InProceedingsoftheEuropeanConferenceonComputerVision，pages414-431，2002.T.TuytelaarsandL.VanGool.WideBaselineStereoMatchingbasedonLocal，AffinelyInvariantRegions.InProceedingsifthe11thBritishMachineVisionConference，pages412-422，Bristol，UK，2000.權(quán)利要求1.一種用于確定場(chǎng)景的多圖像中的對(duì)應(yīng)點(diǎn)的計(jì)算機(jī)實(shí)施過程，包括使用計(jì)算機(jī)完成下面過程操作在變化的清晰度確定每個(gè)圖像中的感興趣點(diǎn)，它在描述點(diǎn)的圖像中的位置由至少一個(gè)屬于該點(diǎn)周圍鄰域內(nèi)的第一預(yù)定尺寸的象素的特征屬性定義，并能根據(jù)至少一個(gè)屬于該點(diǎn)周圍相鄰的第二預(yù)定尺寸的象素的屬性值分配唯一取向；產(chǎn)生對(duì)于每個(gè)感興趣點(diǎn)的描述符，它以實(shí)際上不改變圖像位置、取向和尺度并且不改變用于定義該點(diǎn)位置和取向的象素的強(qiáng)度的方式描述每個(gè)點(diǎn)；找到圖像中的實(shí)質(zhì)匹配描述符；以及指定不同圖像出現(xiàn)的匹配描述符集合中每個(gè)相關(guān)的感興趣點(diǎn)作為對(duì)應(yīng)點(diǎn)。2.如權(quán)利要求1所述的過程，其中確定每個(gè)圖像中的感興趣點(diǎn)的過程操作包括對(duì)于每個(gè)圖像，操作形成圖像分辨率金字塔，以及對(duì)于所述金字塔的每個(gè)級(jí)；確定考慮表示角特征的圖像位置；確定每個(gè)角特征的取向；指定每個(gè)角特征的確定位置作為獨(dú)立的感興趣點(diǎn)；以及分配每個(gè)角特征的確定取向到與該特征有關(guān)的感興趣點(diǎn)。3.如權(quán)利要求2所述的過程，其中確定考慮表示角特征的圖像中的位置的過程操作包括操作確定每個(gè)角特征的位置，該角特征呈現(xiàn)預(yù)定最小鄰域半徑的象素鄰域的局部最大值并超過預(yù)定最小強(qiáng)度閾值的角強(qiáng)度；增加鄰域半徑預(yù)定的整數(shù)值，并確定這些先前確定的角強(qiáng)度仍然是當(dāng)前考慮的象素鄰域的局部最大值并仍然超過預(yù)定最小強(qiáng)度閾值的位置；重復(fù)增加和二次確定操作直到確定的位置數(shù)不再大于預(yù)定的最大數(shù)；和指定每個(gè)剩余的確定位置來表示獨(dú)立角特征。4.如權(quán)利要求2所述的過程，其中，指定每個(gè)角特征的確定位置為獨(dú)立感興趣點(diǎn)的過程操作包括指定作為每個(gè)感興趣點(diǎn)位置的操作，顯示其中在預(yù)定尺寸的局部附近適合的二維方形平面的最大強(qiáng)度，該位置在考慮的確定位置中心。5.如權(quán)利要求2所述的過程，其中確定每個(gè)角特征的取向的過程操作包括使用模糊的梯度方法確定每個(gè)角特征取向的操作。6.如權(quán)利要求2所述的過程，其中，每個(gè)角特征是Harris角。7.如權(quán)利要求1所述的過程，其中對(duì)于每個(gè)感興趣點(diǎn)產(chǎn)生描述符的過程操作對(duì)于每個(gè)感興趣點(diǎn)包括操作建立預(yù)定p×p大小的描述符區(qū)，它是在考慮的感興趣點(diǎn)位置中心并且是根據(jù)感興趣點(diǎn)的取向進(jìn)行取向；形成預(yù)定大小d×d描述符矢量，該矢量是小于描述符區(qū)域并以導(dǎo)致每個(gè)象素粗略取樣一次的方式使用區(qū)域內(nèi)象素的強(qiáng)度值的線性內(nèi)插在此取樣；規(guī)格化描述符矢量；和在描述符矢量上的執(zhí)行Haar子波變換以產(chǎn)生變換矢量。8.如權(quán)利要求7所述的過程，其中在圖像中實(shí)際找到匹配描述符的過程操作包括匹配變換的描述符矢量到特征空間中其最靠近的鄰近的預(yù)定數(shù)的操作。9.如權(quán)利要求8所述的過程，其中匹配變換的描述符矢量的過程操作包括操作從每個(gè)變換的描述符矢量的子波系數(shù)的預(yù)定數(shù)(n)產(chǎn)生三維散列表以形成n系數(shù)矢量的散列表；對(duì)于散列表的每個(gè)結(jié)點(diǎn)(bin)，計(jì)算在考慮中的結(jié)點(diǎn)(bin)中找到的每個(gè)n系數(shù)矢量之間的距離；對(duì)于每個(gè)n系數(shù)矢量，根據(jù)計(jì)算的距離確定它的最近鄰內(nèi)的預(yù)定數(shù)，它駐留在相同的結(jié)點(diǎn)(bin)中但不同于考慮的矢量的圖像一樣以形成潛在匹配矢量組；指定與每個(gè)潛在匹配矢量組中的矢量相關(guān)的感興趣點(diǎn)作為描述相關(guān)圖像中場(chǎng)景的相同部分的對(duì)應(yīng)點(diǎn)。10.如權(quán)利要求9所述的過程，其中散列表每維具有10個(gè)結(jié)點(diǎn)(bin)并且每個(gè)結(jié)點(diǎn)(bin)具有一半的重疊區(qū)域，并且其中子波系數(shù)的預(yù)定數(shù)(n)包括前個(gè)三個(gè)非零子波系數(shù)，從而形成三系數(shù)矢量的散列表。11.如權(quán)利要求9所述的過程，其中指定每個(gè)潛在匹配矢量組中矢量相關(guān)的感興趣點(diǎn)作為對(duì)應(yīng)點(diǎn)的過程操作包括操作對(duì)于每個(gè)潛在的匹配矢量，刪除任何作為潛在匹配矢量的三系數(shù)矢量，它相關(guān)的感興趣點(diǎn)實(shí)際上不對(duì)應(yīng)相同矢量組中三系數(shù)矢量的另一個(gè)有關(guān)的另一圖像中的感興趣點(diǎn)；和對(duì)于每個(gè)保留在每個(gè)潛在匹配矢量組中三系數(shù)矢量，指定與該矢量相關(guān)的感興趣點(diǎn)作為相關(guān)圖像中的對(duì)應(yīng)點(diǎn)。12.如權(quán)利要求11所述的方法，其中刪除作為潛在匹配矢量的任何三系數(shù)矢量，它相關(guān)感興趣點(diǎn)實(shí)際上不對(duì)應(yīng)相同矢量組中的三系數(shù)矢量的另一個(gè)有關(guān)的另一圖像中的感興趣點(diǎn)，對(duì)于每個(gè)匹配的矢量組，包括操作對(duì)于要考慮的匹配矢量集合，計(jì)算異常距離；確定是否任何匹配矢量的計(jì)算距離是大于異常距離的65％；以及只要發(fā)現(xiàn)距離大于異常距離的65％，刪除與該矢量有關(guān)的作為對(duì)應(yīng)點(diǎn)的感興趣點(diǎn)。13.如權(quán)利要求11所述的方法，其中刪除任何作為潛在匹配矢量的三系數(shù)矢量，它相關(guān)感興趣點(diǎn)實(shí)際上不對(duì)應(yīng)相同矢量組中的三系數(shù)矢量的另一個(gè)有關(guān)的另一圖像中的感興趣點(diǎn)，對(duì)于每個(gè)匹配的矢量組，包括操作完成幾何異常排除過程；以及刪除與任何矢量相關(guān)的作為對(duì)應(yīng)點(diǎn)的發(fā)現(xiàn)為異常的感興趣點(diǎn)。14.如權(quán)利要求8所述的過程，其中匹配變換的描述符矢量的過程操作包括操作從每個(gè)變換的描述符矢量的前個(gè)三個(gè)非零子波系數(shù)產(chǎn)生三維散列表以形成三個(gè)系數(shù)矢量的散列表；對(duì)于散列表的每個(gè)結(jié)點(diǎn)(bin)，計(jì)算在要考慮的結(jié)點(diǎn)(bin)中找到的每個(gè)三系數(shù)矢量之間的距離；對(duì)于每個(gè)三系數(shù)矢量，確定相同結(jié)點(diǎn)(bin)中發(fā)現(xiàn)的最近鄰內(nèi)，它是分別與每個(gè)圖像相關(guān)，除要考慮的矢量有關(guān)的圖像外，多達(dá)每個(gè)圖像的預(yù)定數(shù)，根據(jù)計(jì)算的距離，以形成潛在匹配矢量集合；指定與每個(gè)潛在匹配矢量組中的矢量相關(guān)的感興趣點(diǎn)作為描述相關(guān)圖像中場(chǎng)景的相同部分的對(duì)應(yīng)點(diǎn)。15.如權(quán)利要求14所述的過程，其中所述散列表每維具有10個(gè)結(jié)點(diǎn)(bin)以及每個(gè)結(jié)點(diǎn)(bin)具有一半的重疊范圍。16.如權(quán)利要求1所述的過程操作，其中第一和第二預(yù)定尺寸鄰域是相同尺寸。17.一種用于在一個(gè)場(chǎng)景的多圖像中確定對(duì)應(yīng)點(diǎn)的系統(tǒng)，包括通用計(jì)算設(shè)備；計(jì)算機(jī)程序，包括計(jì)算設(shè)備執(zhí)行的程序模塊，其中計(jì)算設(shè)備由計(jì)算程序的程序模塊控制以確定表示每個(gè)圖像中潛在對(duì)應(yīng)點(diǎn)的感興趣點(diǎn)，其中每個(gè)感興趣點(diǎn)由根據(jù)該點(diǎn)周圍中心附近的象素預(yù)定屬性形成的模式分配給它的位置和取向定義；對(duì)于每個(gè)感興趣點(diǎn)產(chǎn)生描述符，它以實(shí)際不改變?cè)趫D像位置、取向和尺度以及用于定義該點(diǎn)位置和取向的象素的偏移和增益的方式描述每個(gè)點(diǎn)；在圖像中找到實(shí)際匹配描述符；和并指定不同圖像中出現(xiàn)的匹配描述符組每個(gè)相關(guān)的感興趣點(diǎn)作為對(duì)應(yīng)點(diǎn)。18.如權(quán)利要求17所述的系統(tǒng)，其中，用于確定感興趣點(diǎn)的程序模塊對(duì)于每個(gè)圖像包括子模塊(a)形成圖像分辨率金字塔；(b)選擇先前未選擇的金字塔級(jí)；(c)確定在選擇級(jí)出現(xiàn)的每個(gè)Harris角的位置；(d)選擇先前未選擇的Harris角；(e)確定是否選擇的Harris角的角強(qiáng)度是所述表示角位置的點(diǎn)中心的的預(yù)定最小值鄰近半徑的象素附近的局部最大值并超過預(yù)定最小強(qiáng)度閾值；(f)只要角強(qiáng)度是局部最大值并超過預(yù)定強(qiáng)度閾值，指定它作為備選角；(g)確定是否剩余任何先前未選的Harris角，和只要有剩余角，重復(fù)子模塊(d)到(g)直到所有角都考慮；(h)根據(jù)預(yù)定整數(shù)值增加最近使用的鄰域半徑；(i)選擇先前未選擇的Harris角；(j)確定是否選擇的備選角的角強(qiáng)度超過預(yù)定最小強(qiáng)度閾值并是表示選擇的角位置的點(diǎn)中心的象素鄰域的局部最大值，它的尺寸由當(dāng)前鄰域內(nèi)半徑定義；(k)只要角強(qiáng)度是局部最大值并超過預(yù)定最小強(qiáng)度閾值，保留它作為備選角的指定否則移除該指定；(1)確定是否剩余任何先前未選的備選Harris角，和只要有剩余角，重復(fù)子模塊(i)到(1)直到所有備選角都考慮；(m)確定是否仍然指定為備選角的Harris角數(shù)超過預(yù)定最大值允許數(shù)；(n)只要備選角數(shù)超過預(yù)定最大允許數(shù)目，重復(fù)子模塊(h)到(n)，直到備選角數(shù)目不再超過最大允許數(shù)；(o)指定定義每個(gè)剩余備選角位置的點(diǎn)作為考慮中的圖像的感興趣點(diǎn)；(p)通過指定它的位置提取點(diǎn)的每個(gè)感興趣點(diǎn)的位置，其中該選擇點(diǎn)中心的預(yù)定尺寸的局部鄰域適合的二維方形平面的最大強(qiáng)度發(fā)生。(q)分配使用模糊梯度方法確定的每個(gè)感興趣點(diǎn)的取向；以及(r)重復(fù)子模塊(b)到(q)，直到所有金字塔級(jí)都考慮過。19.如權(quán)利要求17所述的系統(tǒng)，其中，用于產(chǎn)生每個(gè)感興趣點(diǎn)描述符的程序模塊，對(duì)于每個(gè)圖像包括子模塊(a)建立預(yù)定尺寸p×p的描述符區(qū)域，它是在感興趣點(diǎn)位置的中心并根據(jù)感興趣點(diǎn)的取向進(jìn)行取向；(b)使用區(qū)域的強(qiáng)度值的雙線性內(nèi)插法從描述符區(qū)形成更小預(yù)定尺寸d×d的描述符矢量取樣；(c)對(duì)于偏移和增益，規(guī)格化描述符矢量；(d)使規(guī)格化的描述符矢量受到Haar子波變換以形成要考慮的感興趣點(diǎn)的描述符。20.如權(quán)利要求19所述的系統(tǒng)，其中用于在圖像中找到實(shí)際匹配描述符的程序模塊包括子模塊，用于(e)從每個(gè)感興趣點(diǎn)描述符的前個(gè)三個(gè)非零子波系統(tǒng)產(chǎn)生三維散列表；(f)計(jì)算散列表每個(gè)結(jié)點(diǎn)(bin)中的每個(gè)描述符間的距離；(g)選擇以前未選擇的描述符；(h)確定在不與相同圖像相關(guān)的相同結(jié)點(diǎn)(bin)中的選擇描述符最鄰近的預(yù)定數(shù)作為選擇描述符；(i)對(duì)于選擇的描述符和其最近鄰內(nèi)的描述符計(jì)算異常距離；(j)分別確定是否計(jì)算的選擇的描述符和每個(gè)其最近鄰內(nèi)的描述符的距離是不到異常距離的65％；(k)只要它發(fā)現(xiàn)計(jì)算的選擇的描述符和每個(gè)其最近鄰內(nèi)的描述符的距離是不到異常距離的65％，對(duì)于選擇的描述符，指定最近鄰內(nèi)的描述符作為匹配描述符；和(l)實(shí)施基于幾何的外排除過程以確定是否任何對(duì)應(yīng)于指定作為匹配選擇的描述符的感興趣點(diǎn)不實(shí)際對(duì)應(yīng)選擇的描述符的感興趣點(diǎn)的位置；(m)刪除作為匹配描述符的任何描述符指定作為匹配選擇的描述符，它不實(shí)際對(duì)應(yīng)選擇描述符的感興趣點(diǎn)位置；以及(n)重復(fù)子模塊(g)到(m)直到所有剩余描述符都已經(jīng)考慮。21.如權(quán)利要求19所述的系統(tǒng)，其中用于在圖像中找到實(shí)際匹配描述符的程序模塊包括子模塊，用于(e)從每個(gè)感興趣點(diǎn)描述符的前個(gè)三個(gè)三非零子波系統(tǒng)產(chǎn)生三維散列表；(f)計(jì)算散列表每個(gè)結(jié)點(diǎn)(bin)中的每個(gè)描述符間的距離；(g)選擇以前未選擇的描述符；(h)確定在不與相同圖像相關(guān)的相同結(jié)點(diǎn)(bin)中的選擇描述符最近鄰的預(yù)定數(shù)作為選擇描述符；(i)計(jì)算每個(gè)選擇描述符和其最近鄰內(nèi)的異常距離；(j)分別確定是否計(jì)算的選擇描述符和每個(gè)其最鄰近的距離是小于異常距離的65％；(k)只要它發(fā)現(xiàn)計(jì)算的選擇的描述符和每個(gè)它的最近鄰內(nèi)的描述符的距離是不到異常距離的65％，對(duì)于選擇的描述符，指定最近鄰內(nèi)的描述符作為匹配描述符；和(l)重復(fù)子模塊(g)到(k)，直到所有剩余的描述符都考慮過。22.如權(quán)利要求19所述的系統(tǒng)，其中用于在圖像中找到實(shí)際匹配描述符的程序模塊包括子模塊，用于(e)從每個(gè)感興趣點(diǎn)描述符的前個(gè)三個(gè)非零子波系統(tǒng)產(chǎn)生三維散列表；(f)計(jì)算散列表每個(gè)結(jié)點(diǎn)(bin)中的每個(gè)描述符間的距離；(g)選擇以前未選擇的描述符；(h)確定在不與相同圖像相關(guān)的相同結(jié)點(diǎn)(bin)中的選擇描述符最鄰近的預(yù)定數(shù)作為選擇描述符；(i)完成基于幾何的外排除過程以確定對(duì)應(yīng)最鄰近描述符的感興趣點(diǎn)實(shí)際對(duì)應(yīng)選擇描述符的感興趣點(diǎn)位置；(j)僅當(dāng)發(fā)現(xiàn)對(duì)應(yīng)最鄰近描述符的感興趣點(diǎn)實(shí)際對(duì)應(yīng)選擇描述符的感興趣點(diǎn)的位置時(shí)，對(duì)于選擇的描述符指定最鄰近的描述符作為匹配描述符；(k)重復(fù)子模塊(g)到(j)，直到所有剩余的描述符都考慮過。23.一種具有用于在場(chǎng)景的多圖像中確定對(duì)應(yīng)點(diǎn)的計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)，所述計(jì)算機(jī)可執(zhí)行指令包括確定表示每個(gè)圖像中潛在對(duì)應(yīng)點(diǎn)的感興趣點(diǎn)，其中，每個(gè)感興趣點(diǎn)對(duì)應(yīng)圖像中的位置，它是該位置中心附近的象素的預(yù)定屬性形成的唯一模式確定；指定每個(gè)感興趣點(diǎn)的取向，其中該取向從該感興趣點(diǎn)周圍中心鄰近的象素的預(yù)定屬性形成的所述模式中得到；對(duì)于每個(gè)感興趣點(diǎn)產(chǎn)生描述符，它以實(shí)際不改變?cè)趫D像位置、取向和尺度以及用于定義該點(diǎn)位置和取向的象素的偏移和增益的方式描述每個(gè)點(diǎn)；在圖像中找到實(shí)際匹配描述符，以及并指定不同圖像中出現(xiàn)的匹配描述符組中每個(gè)相關(guān)的感興趣點(diǎn)作為對(duì)應(yīng)點(diǎn)。全文摘要提供用于確定場(chǎng)景的多圖像中的對(duì)應(yīng)點(diǎn)。這包括根據(jù)新類型的不變特征的多視圖匹配框架。特征定位于尺度空間的Harris角并使用模糊局部梯度定位。這定義采樣特征描述的相似不變框架。實(shí)際形成的描述是強(qiáng)度值的偏移/增益規(guī)格化片段。匹配使用在低頻率Haar子波系數(shù)上使用索引的快速最近鄰過程完成。使用對(duì)于片段匹配的簡(jiǎn)單6參數(shù)模型并分析用于正確和錯(cuò)誤匹配的噪聲統(tǒng)計(jì)。這導(dǎo)致根據(jù)每個(gè)特征異常距離簡(jiǎn)單匹配驗(yàn)證過程。文檔編號(hào)G06T7/00GK1776716SQ20051008964公開日2006年5月24日申請(qǐng)日期2005年4月27日優(yōu)先權(quán)日2004年4月27日發(fā)明者M(jìn)·布朗,R·采里斯基申請(qǐng)人:微軟公司