專利名稱：圖像處理裝置和圖像處理程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置。更具體地，本發(fā)明涉及一種用于 例如數(shù)字?jǐn)z像機(jī)等的成像設(shè)備中的圖像處理裝置，該成像設(shè)備使用例 如CCD和CMOS等的圖像拾取設(shè)備以電子的形式拍攝對象。
背景技術(shù)：
當(dāng)使用例如數(shù)字?jǐn)z像機(jī)等的成像設(shè)備拍攝例如夜景等的暗對象 時(shí)，除了打開光圈并延長快門速度之外，提高拍攝敏感度(即提高例 如CCD和CMOS等的圖像拾取設(shè)備的信號增強(qiáng))也是有效的做法。然而， 如果拍攝敏感度過高，例如圖像拾取設(shè)備的內(nèi)部噪聲的噪聲將會(huì)增大， 而且圖像的視覺效果變差。
因此，日本待審(Kokai)專利申請No. 2004-357040公開了一種
通過對連續(xù)獲取的多個(gè)圖像進(jìn)行合成而減小噪聲的技術(shù)(下文稱作傳 統(tǒng)現(xiàn)有技術(shù))。這基于如下發(fā)現(xiàn)當(dāng)從同一對象連續(xù)獲取多個(gè)圖像并將 這些圖像重疊以對其進(jìn)行合成時(shí)，隨機(jī)噪聲分量被平均，而合成后的 圖像中的對象部分與圖像個(gè)數(shù)成比例地增大。這能夠減少噪聲并提高 拍攝敏感度，從而能夠改進(jìn)暗對象的拍攝性能。
同時(shí)，由于獲取暗對象的圖像時(shí)快門速度通常較慢，所以可能發(fā) 生攝像機(jī)的抖動(dòng)。另外，在連續(xù)獲取同一對象的圖像時(shí)，在每一次拍 攝定時(shí)，攝像機(jī)構(gòu)圖(composition)中可能出現(xiàn)微小的改變。
因此，僅僅"把對同一對象連續(xù)獲取的多個(gè)圖像進(jìn)行重疊"是不
夠的，而且需要提高重疊精度，即執(zhí)行主體圖像的精確對準(zhǔn)。關(guān)于這 方面，傳統(tǒng)現(xiàn)有技術(shù)規(guī)定，從對同一對象連續(xù)獲取的多個(gè)圖像中提取 "特征點(diǎn)"，并執(zhí)行對準(zhǔn)(即坐標(biāo)變換)，使得來自這些圖像的特征點(diǎn) 彼此重疊。
在傳統(tǒng)現(xiàn)有技術(shù)中，"特征點(diǎn)"被定義為"具有高亮度的點(diǎn)"。然 而，其更普遍地是指能夠確定運(yùn)動(dòng)矢量(即光學(xué)流)的點(diǎn)，因?yàn)楫?dāng)像 素在任意方向上移動(dòng)時(shí)，像素值會(huì)發(fā)生明顯的改變。
然而，上述傳統(tǒng)現(xiàn)有技術(shù)具有應(yīng)當(dāng)改進(jìn)的問題。
圖18是示出了用于解釋由傳統(tǒng)現(xiàn)有技術(shù)所引起不便的對象的示
例。這個(gè)對象示例包括作為背景的天空l、左側(cè)具有多個(gè)窗口2的建筑 物3、右側(cè)的公用事業(yè)桿4、以及電纜5和6，該電纜從頂部經(jīng)過桿4的上 方并延伸至圖的右下部。圖左側(cè)的虛線框7表示沒有引起合成圖像中的 不便的拍攝構(gòu)圖(下文稱作第一構(gòu)圖7)，而圖上部的虛線框8表示引起 不便的拍攝構(gòu)圖(下文稱作第二構(gòu)圖8)。
圖19A是示出了第一構(gòu)圖7中的特征點(diǎn)的示意圖，而圖19B是示出 了第二構(gòu)圖8中的特征點(diǎn)的示意圖。上述傳統(tǒng)現(xiàn)有技術(shù)從圖像中提取具 有高亮度的點(diǎn)作為特征點(diǎn)。因此，在第一構(gòu)圖7和第二構(gòu)圖8中，均提 取具有高亮度的點(diǎn)(即建筑物3外墻的拐角、窗口2的拐角等)作為特 征點(diǎn)(見圖中的黑圈)。
第一構(gòu)圖7和第二構(gòu)圖8之間的差別在于特征點(diǎn)分布的不均勻。換 句話說，其不同在于，特征點(diǎn)在第一構(gòu)圖7中的分布是均勻的，而特征 點(diǎn)在第二構(gòu)圖8中的圖像的一部分(即這幅圖的左下拐角)中的分布是 不均勻的。
在這個(gè)示例中，當(dāng)對從同一對象連續(xù)獲取的多個(gè)圖像進(jìn)行合成 時(shí)，原理上僅需在該圖像的一部分(例如圖像的中心等)上進(jìn)行對準(zhǔn)。 然而從實(shí)際的角度來看，由于存在許多因素使得對準(zhǔn)中出現(xiàn)小誤差， 例如由于拍攝鏡頭的外部偏差所引起的圖像失真、圖像分辨率的限制、 光源的波動(dòng)、對象自身的形變等(下文稱作對準(zhǔn)誤差因素)，實(shí)質(zhì)上在 圖像中的不同點(diǎn)上進(jìn)行對準(zhǔn)。
根據(jù)上述觀點(diǎn)，當(dāng)如上所述關(guān)注第一構(gòu)圖73和第二構(gòu)圖8時(shí)，由
于特征點(diǎn)在第一構(gòu)圖7的圖像中的存在是均勻的，所以當(dāng)對多個(gè)圖像進(jìn) 行合成時(shí)，能夠不引起任何不便地執(zhí)行對準(zhǔn)。另一方面，由于特征點(diǎn) 僅存在于第二構(gòu)圖8的圖像的一部分中，當(dāng)對多個(gè)圖像進(jìn)行合成時(shí)，僅 能夠在對應(yīng)位置(即存在特征點(diǎn)的部分)自行精確的對準(zhǔn)。因此，對
于余下的部分(即天空1和電纜5、 6出現(xiàn)的部分)，只能間接地參考遠(yuǎn)
處的特征點(diǎn)的信息來執(zhí)行對準(zhǔn)。因此，其帶來的問題是，上述對準(zhǔn)誤
差因素可能引起余下部分(即天空1和電纜5、 6出現(xiàn)的部分)中的未對 準(zhǔn)。
因此，本發(fā)明的第一目的是提供一種能夠從圖像的所有部分中均 勻地提取特征點(diǎn)的圖像處理裝置。
本發(fā)明的第二目的是提供一種能夠精確地跟蹤圖像的所有部分 中的對象的圖像處理裝置。
本發(fā)明的第三目的是提供一種能夠在合成圖像時(shí)對圖像的所有 部分處進(jìn)行精確對準(zhǔn)的圖像處理裝置。

發(fā)明內(nèi)容
為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種圖像處
理裝置，包括全特征點(diǎn)檢測部分，用于把其像素值在任意方向上發(fā) 生明顯變化的點(diǎn)檢測為全特征點(diǎn)；半特征點(diǎn)檢測部分，用于把其像素 值在特定方向上幾乎不變、而在其他方向上發(fā)生明顯變化的點(diǎn)檢測為 半特征點(diǎn)；第一跟蹤部分，用于跟蹤第一圖像和第二圖像之間的全特 征點(diǎn)；第二跟蹤部分，用于跟蹤半特征點(diǎn)；以及對準(zhǔn)部分，用于根據(jù) 第一跟蹤部分和第二跟蹤部分所做出的跟蹤結(jié)果來對準(zhǔn)輸入的圖像。
根據(jù)本發(fā)明的另一方面，其中，第二跟蹤部分的跟蹤方向僅為像 素值發(fā)生明顯變化的方向。
根據(jù)本發(fā)明的另一方面，其中，對準(zhǔn)部分還包括估計(jì)部分，用 于根據(jù)第一跟蹤部分和第二跟蹤部分所做出的跟蹤結(jié)果來估計(jì)所計(jì)算 的坐標(biāo)變換等式的正確性；以及對準(zhǔn)部分此外還根據(jù)估計(jì)部分所做出 的判斷來挑選和選擇坐標(biāo)變換等式。
根據(jù)本發(fā)明的另一方面，其中，估計(jì)部分對與全特征點(diǎn)有關(guān)的估計(jì)比與半特征點(diǎn)有關(guān)的估計(jì)賦予更大的權(quán)重。
根據(jù)本發(fā)明的另一方面，提供了一種圖像處理裝置，還包括相 加部分，用于從已經(jīng)由對準(zhǔn)部分進(jìn)行對準(zhǔn)的多個(gè)圖像中合成一個(gè)圖像。
根據(jù)下文結(jié)合附圖的詳細(xì)描述，本發(fā)明的上述和其他新穎特征將 會(huì)更加明顯。然而需要理解的是，附圖僅為了示出，而不會(huì)限制本發(fā) 明。


圖l是本發(fā)明實(shí)施例中的圖像處理裝置的示意性結(jié)構(gòu)圖2是特征點(diǎn)提取部分13b的操作流程圖3是預(yù)定約束的示意圖4是循環(huán)A的概念圖(1/2);
圖5是循環(huán)A的概念圖(2/2);
圖6是循環(huán)B的概念圖(1/4);
圖7是循環(huán)B的概念圖(2/4);
圖8是循環(huán)B的概念圖(3/4);
圖9是循環(huán)B的概念圖(4/4);
圖10是特征點(diǎn)跟蹤部分13C的操作流程圖11A至圖11E是全特征和半特征的概念圖12是忽略無特征方向上的分量的情況下的半特征的概念圖13A和圖13B分別是僅把無特征方向上的運(yùn)動(dòng)約束為特征方向
的半特征的概念圖，以及示出了跟蹤結(jié)果的示意圖14是RANSAC部分14的操作流程圖15是支持計(jì)算的操作流程圖16是全特征和半特征的匹配判定的概念圖17是示出了組合后的程序的操作流程的視圖18是用于解釋傳統(tǒng)現(xiàn)有技術(shù)的不便的一個(gè)對象示例；以及
圖19A和19B分別是示出了第一構(gòu)圖7和第二構(gòu)圖8的特征點(diǎn)的示 意圖。
具體實(shí)施例方式
下文參考附圖來詳細(xì)描述本發(fā)明的具體實(shí)施方式
。明顯看出，下 文描述中的各種詳細(xì)說明或示例以及附圖標(biāo)記、文本和其他符號的示 出僅是用于解釋本發(fā)明的概念的參考，而且本發(fā)明的概念不受所有這 些或這些中的一部分的限制。另外，與公知方法、公知過程、公知結(jié) 構(gòu)、公知電路構(gòu)造等有關(guān)的詳細(xì)解釋(下文稱作'公知事項(xiàng)')將被省 略，其同樣意在進(jìn)行說明而并不特意排除這些公知事項(xiàng)的全部或一部 分。由于這些公知事項(xiàng)在本發(fā)明申請時(shí)已為本領(lǐng)域的技術(shù)人員所知， 所以其當(dāng)然被包括在下文的描述中。
圖l是本實(shí)施例中的圖像處理裝置的示意性結(jié)構(gòu)圖。在這個(gè)圖中，
參考圖像10和待跟蹤圖像11是對同一對象連續(xù)獲取的多個(gè)圖像。盡管 本實(shí)施例中使用兩個(gè)圖像(參考圖像10和待跟蹤圖像11)，該圖像數(shù)是
指進(jìn)行圖像合成所需的最小圖像數(shù)。另外，"對同一對象連續(xù)獲取的多
個(gè)圖像"是指以下之一執(zhí)行若干次單獨(dú)的常規(guī)快門操作而獲取的圖 像；連續(xù)拍攝的圖像，即由單個(gè)快門操作連續(xù)獲取的多個(gè)圖像；或通 過錄像而獲取的每一個(gè)幀。
圖像處理裝置12包括光學(xué)流檢測部分13、 RANSAC部分14以及圖像 合成部分15。另外，光學(xué)流檢測部分13包括圖像金字塔產(chǎn)生部分13a、 特征點(diǎn)提取部分13b以及特征點(diǎn)跟蹤部分13c。 RANSAC部分14包括隨機(jī) 選擇部分14a、 H計(jì)算部分14b以及支持計(jì)算部分14c。圖像合成部分15 包括相加部分15a和對應(yīng)位置計(jì)算部分15b。
光學(xué)流檢測部分13的圖像金字塔產(chǎn)生部分13a獲取參考圖像10和 待跟蹤圖像ll，并逐步降低這些圖像的分辨率，以便產(chǎn)生從低分辨率 圖像到高分辨率圖像的分層圖像(即圖像金字塔)。光學(xué)流檢測部分13 的特征點(diǎn)提取部分13b提取傳統(tǒng)的"特征點(diǎn)"，即當(dāng)像素在任意方向移 動(dòng)時(shí)其像素值發(fā)生明顯改變的點(diǎn)。在本說明書中，這個(gè)點(diǎn)被稱作"全 特征點(diǎn)"或"全特征"。另外，特征點(diǎn)提取部分13b提取其像素值在特 定方向上幾乎不便而在其他方向上明顯改變的點(diǎn)。在本說明書中，這 個(gè)點(diǎn)被稱作"半特征點(diǎn)"或"半特征"。
全特征點(diǎn)的示例包括剪輯窗中容納的小物件(article)、大物
件的拐角、當(dāng)移動(dòng)時(shí)在任意方向上發(fā)生改變的特定圖案，等等。另一 方面，半特征的示例包括大物件中除了其拐角的邊緣、窄的線型實(shí) 體、僅在一個(gè)方向上發(fā)生改變的圖案，等等，而且半特征典型地為直 線上的點(diǎn)。在特征點(diǎn)由窗口局部地捕獲的情況下，具有大半徑的圓弧 上的點(diǎn)、具有小曲率的曲線上的點(diǎn)等也包括在半特征點(diǎn)中。
對于半特征，像素值發(fā)生明顯改變的方向被稱作"特征方向"。該 特征方向與下文描述的"最大本征值的本征矢量方向"等同。另外， 對于半特征，像素值幾乎不變的方向被稱作"無特征方向"。該無特征 方向與下文描述的"最小本征值的本征矢量方向"等同。
光學(xué)流檢測部分13的特征點(diǎn)跟蹤部分13c對特征點(diǎn)提取部分13b所
提取的全特征點(diǎn)和半特征點(diǎn)執(zhí)行跟蹤處理，并把跟蹤結(jié)果輸出給
RANSAC部分14。
RANSAC部分14的隨機(jī)選擇部分14a隨機(jī)地選擇被跟蹤的特征點(diǎn)組 (即全特征點(diǎn)組和半特征點(diǎn)組)。H計(jì)算部分14b計(jì)算與所選特征點(diǎn)組相 對應(yīng)的候選坐標(biāo)變換等式。另外，支持計(jì)算部分14c估計(jì)已根據(jù)該等式 而轉(zhuǎn)換的特征點(diǎn)(即，所有全特征點(diǎn)和半特征點(diǎn))與跟蹤結(jié)果的匹配 程度。例如，可以基于多個(gè)支持來進(jìn)行這個(gè)估計(jì)，即基于差別在特定 距離內(nèi)的多個(gè)特征點(diǎn)(即內(nèi)圍層(inlier))來進(jìn)行估計(jì)。RANSCAC部 分14重復(fù)這些操作，并把用于確定最佳估計(jì)值的坐標(biāo)變換等式作為最 終結(jié)果輸出至圖像合成部分15。
根據(jù)RANSAC部分14所輸出的坐標(biāo)變換等式，圖像合成部分15的對 應(yīng)位置計(jì)算部分15b執(zhí)行對應(yīng)位置計(jì)算，這對于參考圖像10和待跟蹤圖 像ll的對準(zhǔn)來說是必需的?；趯?yīng)位置計(jì)算結(jié)果，相加部分15a通過 把參考圖像10與已經(jīng)相對應(yīng)參考圖像10逐像素地進(jìn)行變換后的待跟蹤 圖像11相加或進(jìn)行平均而產(chǎn)生圖像(合成圖像16)，并輸出合成圖像16。
現(xiàn)在描述特征點(diǎn)的提取(檢測)。
圖2是示出了特征點(diǎn)提取部分13b的操作流程圖的視圖。這個(gè)流程 包括依次執(zhí)行的三個(gè)循環(huán)。第一循環(huán)(下文稱作循環(huán)A)是針對每個(gè)特 征估計(jì)點(diǎn)(即針對特定區(qū)間的每個(gè)坐標(biāo))而重復(fù)執(zhí)行的循環(huán)。 一旦循 環(huán)A得以執(zhí)行，則計(jì)算梯度協(xié)方差矩陣G (下文簡稱為矩陣G)的兩個(gè)本
征值(步驟S1)。
現(xiàn)在解釋矩陣G的兩個(gè)本征值。創(chuàng)建以候選特征點(diǎn)(即估計(jì)點(diǎn))為 中心的窗口，而且如果假定該窗口中每一個(gè)點(diǎn)具有相同的運(yùn)動(dòng)(或流) (即局部約束)這個(gè)條件得以滿足，那么對于窗口中的點(diǎn)Pij，如下兩 個(gè)等式成立
公式25
<formula>formula see original document page 12</formula>以及公式M<formula>formula see original document page 12</formula>
這樣，當(dāng)對公式25進(jìn)行移項(xiàng)時(shí)，得到如下等式
公式27
<formula>formula see original document page 12</formula>
其中，f (Pu)是指參考圖像IO，而f (p1+",j+dy)是指待跟蹤圖像 11。這個(gè)標(biāo)量等式被認(rèn)為對于與同一個(gè)流(dx， dy) t有關(guān)的所有點(diǎn)Pij 均大致成立。當(dāng)假定窗口大小是附N像素、而未知數(shù)是二維(如(dx， cU t所示)時(shí)，等式的個(gè)數(shù)為N2 (無解(overconstrained))。因此， 得到最小平方解。通常來講，用于使誤差(即殘余誤差)llAx-bll最 小化的x是正規(guī)等式ATAx二Vb的解。這里，ATA是，2矩陣與24N矩陣的乘 積。在這種情況下，當(dāng)處理如下等式時(shí)
公式28<formula>formula see original document page 12</formula>
而且八、可以直接變換為2*2矩陣之和的形式，如下成立 公式29
<formula>formula see original document page 13</formula>
如果P的像素殘余值為e (p)，則該等式的右邊可以描述為 公式30
e ESpeW g(p)e(p)
而且如下等式成立 公式31
Gd 二 e
其中e表示相同估計(jì)點(diǎn)處兩個(gè)圖像(參考圖像10和待跟蹤圖像11) 之間的像素值的差的大小，而未知矢量d代表相同估計(jì)點(diǎn)處的運(yùn)動(dòng)(即 跟蹤矢量)。
根據(jù)矩陣G的本征值的性質(zhì)，如下成立。首先，兩個(gè)本征值均具有 非負(fù)值。另外，如果矩陣G的任意一個(gè)本征值明顯接近于O，則與接近 于O的本征值有關(guān)的本征矢量的擾動(dòng)變得更大。因此，公式31不能被穩(wěn) 定地求解。事實(shí)上，這個(gè)狀態(tài)(即矩陣G的一個(gè)本征值明顯接近于O) 在窗口中的像素值在特定方向上恒定地相等時(shí)產(chǎn)生。這個(gè)問題也被稱 作光圈(aperture)問題，其含義是最小本征值越大，當(dāng)考慮到誤差 時(shí)對公式31的求解就越穩(wěn)定。另外，矩陣G的本征值是通過把窗口中每 一個(gè)點(diǎn)的梯度投影到本征矢量方向上所確定的長度的平方和(sum square)。與較大的本征值(即最大本征值)相對應(yīng)的本征矢量具有使 平方和最大的方向。另一方面，與較小的本征值(即最小本征值)相 對應(yīng)的本征矢量具有與該方向垂直的方向(即，使平方和最小的方向)。
對于本發(fā)明中新提出的"半特征"，應(yīng)用與用于全特征的算法相類 似的算法。然而，該算法的不同之處在于，通過添加下面的公式32中 所示的預(yù)定約束而對全特征公式31中的d進(jìn)行求解
公式32
<formula>formula see original document page 14</formula>
圖3是預(yù)定約束的說明性視圖。在這個(gè)圖以及公式32中，d代表跟 蹤矢量，1/入代表梯度的調(diào)整量，而u代表單位本征矢量。iTe代表單 位本征矢量u和殘余矢量e的內(nèi)積，即殘余矢量e在單位本征矢量u的方 向上的分量(標(biāo)量)。通過使用這個(gè)公式32，當(dāng)把先前的公式31 (提供 了不定解，因?yàn)榫仃嘒是線性相關(guān)的)約束為具有最大本征值A(chǔ)的單位 本征值u的方向時(shí)，可以得到典型解。
這里的約束不限于上述約束，例如，在半特征點(diǎn)的跟蹤結(jié)果中， 可以忽略(或使其未知、不定或隨意)運(yùn)動(dòng)矢量的無特征方向的分量， 以便僅使特征方向中的分量有效。備選地，當(dāng)跟蹤半特征點(diǎn)時(shí)，無特 征方向上的運(yùn)動(dòng)可以被設(shè)為常數(shù)(例如0)，而且其可以通過塊匹配方 法等來搜索，約束僅施加到特征方向。
除此之外，對于半特征點(diǎn)，當(dāng)像素在特定方向上移動(dòng)時(shí)像素值變 化最大的方向上的梯度值(或變化率的值)可以用作對半特征點(diǎn)進(jìn)行 分級的估計(jì)值。換句話說，可以選擇至少在一個(gè)方向上出現(xiàn)明顯不同 的估計(jì)點(diǎn)作為半特征點(diǎn)。
另外，當(dāng)選擇半特征點(diǎn)時(shí)，將會(huì)把其比率通過如下方式而建立的 像素從候選半特征中排除把像素在特定方向上移動(dòng)時(shí)像素值變化最 大的方向上的梯度值(或變化率的值)除以像素值變化最小的方向上 的梯度值(或變化率的值)。備選地，該像素的估計(jì)值可以減小。
另外，作為在將要檢測半特征點(diǎn)時(shí)用于估計(jì)梯度值的特定方法， 可以使用先前的公式29中的矩陣G的本征值。換句話說，可以把像素在 特定方向上移動(dòng)時(shí)像素值變化最大的方向上的梯度值設(shè)為最大本征 值，而把像素在特定方向上移動(dòng)時(shí)像素值變化最小的方向上的梯度值
設(shè)為最小本征值。
另外，最大曲率(的逼近值)可以用作對半特征點(diǎn)的梯度值進(jìn)行 估計(jì)的方法。
像素值(亮度)關(guān)于坐標(biāo)(x， y)的主曲率k,和k2可以通過如下任
一種方法而導(dǎo)出直接使用平均后的相鄰像素值的二次差、或使用通
過把相鄰像素應(yīng)用于多項(xiàng)式逼近而獲得的系數(shù)，檢查每一個(gè)方向；或 者，通過使用平均后的曲率11= (k,+k。 /2 (其中高斯曲率是K二k,k2) 與像素值(亮度)的一階導(dǎo)數(shù)值P,， Py和二階導(dǎo)數(shù)值P"， P ， P"之間 的關(guān)系(見下文中的公式33和34)?？梢允褂貌檎移交蟮南噜徬袼刂?的差的方法、或使用通過把相鄰像素值應(yīng)用到多項(xiàng)式逼近而獲得的系 數(shù)查找導(dǎo)數(shù)值的方法，作為計(jì)算上述等式中的導(dǎo)數(shù)值的方法。
公式33<formula>formula see original document page 15</formula>公式34
<formula>formula see original document page 15</formula>
另外，當(dāng)選擇半特征點(diǎn)時(shí)，與另一個(gè)特征點(diǎn)(即全特征點(diǎn)或半特 征點(diǎn))的最小距離可能大于全特征點(diǎn)之間的最小距離。在多種情況下， 其間具有相對小的距離的兩個(gè)半特征點(diǎn)屬于相同本體的相同方向的 邊。因此，本征矢量高度地線性相關(guān)，由于整個(gè)圖像的運(yùn)動(dòng)的約束， 這是多余的。這是因?yàn)?，在這種情況下，不僅增加半特征點(diǎn)的效果較
小，而且RANSAC (最小平方方法等)的應(yīng)用會(huì)導(dǎo)致問題。
圖4和5是循環(huán)A的概念圖。首先，如圖4所示，應(yīng)用特定大小(例 如大約從7*7像素到31*31像素)的窗口17，以便在參考圖像10的初始 位置處設(shè)置估計(jì)點(diǎn)18。接下來，每當(dāng)重復(fù)循環(huán)A時(shí)，把窗口17移動(dòng)預(yù)定 量(例如窗口寬度的1/2)。最后，窗口17到達(dá)參考圖像10的最后像素， 循環(huán)A終止。
回到圖2，第二循環(huán)(下文稱作循環(huán)B)是在循環(huán)A之后執(zhí)行的循環(huán)。
每當(dāng)執(zhí)行循環(huán)B時(shí)，選擇其最小本征值為最大的估計(jì)點(diǎn)作為"全特征點(diǎn)" (步驟S2)，并且把除了所選估計(jì)點(diǎn)以外的相鄰估計(jì)點(diǎn)從估計(jì)候選中排 除(步驟S3)。只要本征值等于或大于特定值，且未達(dá)到特征點(diǎn)的個(gè)數(shù) (即特征點(diǎn)的個(gè)數(shù)小于預(yù)定值)，則循環(huán)B繼續(xù)。
圖6和圖9是循環(huán)B的概念圖。首先，如圖6所示，把參考圖像10上 單獨(dú)的估計(jì)點(diǎn)處的本征值數(shù)據(jù)彼此依次進(jìn)行比較，如圖7所示，選擇其 最小本征值為最大的估計(jì)點(diǎn)作為"全特征點(diǎn)"。在本實(shí)施例中，為簡便 起見，選擇從頂部數(shù)第三行且從左側(cè)數(shù)第七行上的估計(jì)點(diǎn)作為全特征 點(diǎn)19。接下來，如圖8所示，排除所選全特征點(diǎn)19周圍的特定范圍20 內(nèi)(近似于特征的估計(jì)點(diǎn)之間的距離的數(shù)倍)存在的估計(jì)點(diǎn)(由虛線 圈所示)。接下來，如圖9所示，從余下的估計(jì)點(diǎn)中選擇其最小本征值 為最大的估計(jì)點(diǎn)作為"全特征點(diǎn)"。在本實(shí)施例中，選擇從頂部數(shù)第六 行且從右側(cè)數(shù)第五行的估計(jì)點(diǎn)作為全特征點(diǎn)21。此后，重復(fù)進(jìn)行該操
作，以選擇所有的全特征點(diǎn)。
回到圖2，當(dāng)過程從循環(huán)B退出后，確定是否達(dá)到了特征點(diǎn)的個(gè)數(shù) (即，特征點(diǎn)的個(gè)數(shù)小于預(yù)定數(shù))(步驟S4)。在特征點(diǎn)的個(gè)數(shù)達(dá)到的 情況下，該流程終止。在特征點(diǎn)的個(gè)數(shù)未達(dá)到的情況下，使特征點(diǎn)之 間的距離閾值(即圖8中的特定范圍20的面積)加倍(步驟S5)，然后 執(zhí)行第三循環(huán)(下文稱作循環(huán)C)。在循環(huán)C中，每當(dāng)執(zhí)行該循環(huán)時(shí)，重 復(fù)執(zhí)行如下處理從其本征值等于或大于預(yù)定值的估計(jì)點(diǎn)中選擇其最 大本征值為最大的估計(jì)點(diǎn)作為"半特征點(diǎn)"(步驟S6)，并把除了所選 估計(jì)點(diǎn)以外的相鄰估計(jì)點(diǎn)從估計(jì)候選中排除(步驟S7)。只要估計(jì)值等 于或大于特定值且未達(dá)到特征點(diǎn)的個(gè)數(shù)，該循環(huán)繼續(xù)執(zhí)行，然后該流 程終止。
如上所述，除了檢測傳統(tǒng)的特征點(diǎn)(即當(dāng)像素在任意方向上移動(dòng) 時(shí)像素值發(fā)生明顯變化的"全特征點(diǎn)")之外，根據(jù)本實(shí)施例的特征點(diǎn) 提取部分13b在全特征點(diǎn)不足時(shí)檢測"半特征點(diǎn)"，當(dāng)像素在一個(gè)方向 上移動(dòng)時(shí)，這個(gè)"半特征點(diǎn)"的像素值幾乎不變，而當(dāng)該像素在其他 方向上移動(dòng)時(shí)，像素值發(fā)生明顯變化。
現(xiàn)在描述特征點(diǎn)的跟蹤(即跟蹤)。
圖10是特征點(diǎn)跟蹤部分13c的操作流程圖。這個(gè)流程包括第一循環(huán) (下文稱作循環(huán)D)以及嵌套在循環(huán)D中的第二循環(huán)(下文稱作循環(huán)E)。 一旦該流程開始，首先，執(zhí)行全局運(yùn)動(dòng)搜索(步驟Sll)，然后啟 動(dòng)循環(huán)D。在全局運(yùn)動(dòng)搜索中，創(chuàng)建參考圖像10和待跟蹤圖像11的減小 尺寸的圖像(例如l/4圖像)。接下來，使用塊匹配在待跟蹤圖像ll中 搜索對于參考圖像10的中心部分所提供的窗口來說窗口殘余誤差為最 小的位置，以確定全局運(yùn)動(dòng)矢量。之后，把該全局運(yùn)動(dòng)矢量設(shè)置為初 始矢量。因此，即使運(yùn)動(dòng)較大，而且搜索方向受到約束以致偏離半特 征跟蹤中的實(shí)際方向，然而兩個(gè)邊是匹配的。通過把二維方陣Z與殘余 矢量(就是說，通過把上述窗口殘余和窗口梯度值相乘而確定的二維 矢量)相乘而執(zhí)行循環(huán)。
與傳統(tǒng)情況相同，該二維方陣Z是針對全特征的矩陣G的逆矩陣 (G—')，而對于半特征來說是最小范數(shù)逆矩陣(G—)。具體地，使用最 大本征值入以及相應(yīng)的本征矢量u二 (ux， yy) t的等式如下
這個(gè)公式35與先前的公式32等同。
針對參考圖像10的每個(gè)特征點(diǎn)執(zhí)行循環(huán)D。在循環(huán)D中，上述全局 運(yùn)動(dòng)矢量對運(yùn)動(dòng)矢量進(jìn)行初始化(步驟S12)，并確定運(yùn)動(dòng)矢量的特征 是否為"全特征"(步驟S13)。在全特征的情況下，把"G""設(shè)置給 二維方陣Z(步驟S14)，而在非全特征的情況下，即在半特征的情況下， 把"G—"設(shè)置給二維方陣Z (步驟S15)。
接下來執(zhí)行循環(huán)E。在循環(huán)E中，計(jì)算誤差矢量E (步驟S16)，把Ze 設(shè)置給跟蹤矢量d (步驟S17)，并更新運(yùn)動(dòng)矢量(即與d相加)(步驟 S18)。此后，重復(fù)執(zhí)行循環(huán)E，直到更新后的解的距離等于或小于閾值 (即，指示誤差容限的預(yù)定小值(minute value))。當(dāng)更新后的解的
公式35
距離等于或小于閾值時(shí)，該過程從循環(huán)E中退出，并重復(fù)上述處理，直 到達(dá)到特征點(diǎn)循環(huán)的終點(diǎn)。
如上所述，根據(jù)本實(shí)施例的提取(檢測)和跟蹤，除了全特征點(diǎn) 之外，也對半特征點(diǎn)進(jìn)行提取和跟蹤。因此，例如即使在圖像的一部 分中存在全特征點(diǎn)的未存在區(qū)(未檢測區(qū))的情況下，這個(gè)未存在區(qū)
也可以由半特征點(diǎn)來補(bǔ)充。更具體地，根據(jù)本實(shí)施例，從傳統(tǒng)現(xiàn)有技 術(shù)中已丟棄的并且沒有被檢測為全特征點(diǎn)的估計(jì)點(diǎn)中，把像素在一個(gè) 方向上移動(dòng)時(shí)像素值幾乎不變、而在其他方向上移動(dòng)時(shí)像素值發(fā)生明 顯變化的點(diǎn)檢測為"半特征點(diǎn)"。通過利用這些半特征點(diǎn)，可能覆蓋整 個(gè)圖像的特征點(diǎn)(即全特征點(diǎn)和半特征點(diǎn))。結(jié)果，即使在傳統(tǒng)現(xiàn)有技 術(shù)難以進(jìn)行精確對準(zhǔn)的特征點(diǎn)未存在部分中，也可以通過使用對象上 的半特征點(diǎn)對圖像未對準(zhǔn)進(jìn)行精確的修正。
圖11A至11E是全特征和半特征的概念圖。在圖11A中，具有兩個(gè)拐 角的第一對象23和線型第二對象24出現(xiàn)在圖像22中。如上所述，全特 征點(diǎn)是指當(dāng)像素在任意方向上移動(dòng)時(shí)其像素值發(fā)生明顯變化的估計(jì) 點(diǎn)，而半特征點(diǎn)是指當(dāng)像素在一個(gè)方向上移動(dòng)時(shí)像素值幾乎不變、而 在其他方向上移動(dòng)時(shí)像素值發(fā)生明顯變化的估計(jì)點(diǎn)。因此，在這個(gè)圖 像22中，第一對象23的兩個(gè)拐角是全特征點(diǎn)(黑圈中)25，而第一對 象23的每條邊中線型部分上的任意點(diǎn)與第二對象24的線型部分上的任 意點(diǎn)是半特征點(diǎn)(白圈中)26。
換句話說，如圖11B所示，全特征點(diǎn)25是指當(dāng)像素在任意方向上移 動(dòng)時(shí)其像素值發(fā)生明顯變化的點(diǎn)。(在這幅圖中，作為代表性示例，以 45度為間隔示出各個(gè)方向，如白色箭頭所示)。如圖11C至11E所示，半 特征點(diǎn)26是指當(dāng)像素在特定方向(即沿著線27至29的方向)上移動(dòng)時(shí) 像素值幾乎不變、而在其他方向(即與線27至29垂直的方向)上移動(dòng) 時(shí)像素值發(fā)生明顯變化的點(diǎn)。
另外，例如基于半特征點(diǎn)的跟蹤結(jié)果，可以忽略(或使其未知、 不定或隨意(free))運(yùn)動(dòng)矢量的無特征方向的分量，而且僅把特征方 向上的分量配置為有效。借此，可以排除估計(jì)點(diǎn)在無特征方向上的運(yùn) 動(dòng)，而且當(dāng)采用傳統(tǒng)算法來檢測半特征點(diǎn)時(shí)可以消除誤差。 圖12是忽略無特征方向上的構(gòu)圖的半特征的概念圖。在這幅圖中，
實(shí)線箭頭30、 31分別是全特征點(diǎn)25和半特征點(diǎn)26的跟蹤結(jié)果的運(yùn)動(dòng)矢 量。全特征點(diǎn)25的跟蹤算法可以和傳統(tǒng)算法相同。然而對于半特征點(diǎn) 26，該跟蹤結(jié)果是通過把相應(yīng)的運(yùn)動(dòng)矢量31投影到無特征方向而確定 的矢量32。
另外，當(dāng)跟蹤半特征點(diǎn)時(shí)，在無特征方向上的運(yùn)動(dòng)可以被設(shè)為常 數(shù)(例如O)且僅向特征方向施加約束的情況下對半特征點(diǎn)進(jìn)行搜索。 僅在特征方向上搜索估計(jì)點(diǎn)能夠使搜索變得穩(wěn)定、使搜索快速收斂、 并減少由于每次重復(fù)執(zhí)行處理時(shí)所出現(xiàn)的增強(qiáng)的未對準(zhǔn)而導(dǎo)致的出錯(cuò) 的跟蹤。
圖13A是在無特征方向上的運(yùn)動(dòng)僅被約束為特征方向上的運(yùn)動(dòng)的 情況下半特征點(diǎn)的概念圖。在這幅圖中，實(shí)線箭頭30、 33分別是全特 征點(diǎn)25和半特征點(diǎn)26的跟蹤結(jié)果的運(yùn)動(dòng)矢量。對于半特征點(diǎn)26的運(yùn)動(dòng) 矢量33，僅從開始處在特征方向上找到解。換句話說，圖12所示的運(yùn) 動(dòng)矢量32和圖13中所示的運(yùn)動(dòng)矢量實(shí)質(zhì)上等同。
圖13B是示出了跟蹤結(jié)果的示意圖，該跟蹤結(jié)果指示通過把與運(yùn)動(dòng) 相對應(yīng)的兩個(gè)圖像(參考圖像10和待跟蹤圖像11)進(jìn)行重疊而產(chǎn)生的 合成圖像16。圖中的符號X指示跟蹤結(jié)果。從這幅圖中明顯可以看出， 即使在圖像的一部分中存在全特征點(diǎn)的未存在區(qū)(未檢測區(qū))的情況 下，該未存在區(qū)可以由半特征點(diǎn)來補(bǔ)充。因此，能夠覆蓋整個(gè)圖像的 特征點(diǎn)(即全特征點(diǎn)25和半特征點(diǎn)26)。結(jié)果，即使在傳統(tǒng)現(xiàn)有技術(shù)難 以進(jìn)行精確對準(zhǔn)的圖19B中的特征點(diǎn)未存在部分(即電纜5、 6出現(xiàn)的部 分)中，也可以通過使用對象(即，這個(gè)實(shí)施例中的電纜5、 6)上的 半特征點(diǎn)對圖像未對準(zhǔn)進(jìn)行精確的修正。
對于半特征點(diǎn)，當(dāng)像素在特定方向上移動(dòng)時(shí)像素值變化最大的方 向上的梯度值(或變化率的值)可以用作對半特征點(diǎn)進(jìn)行分級的估計(jì) 值。換句話說，可以選擇至少在一個(gè)方向上出現(xiàn)明顯不同的估計(jì)點(diǎn)作 為半特征點(diǎn)。借此，更容易找到單向運(yùn)動(dòng)中的運(yùn)動(dòng)，而且可以選擇提 供明顯差異的點(diǎn)作為半特征點(diǎn)。
另外，當(dāng)選擇半特征點(diǎn)時(shí)，將會(huì)把具有如下小比率的像素從候選
半特征中排除把像素在特定方向上移動(dòng)時(shí)像素值變化最大的方向上 的梯度值(或變化率的值)除以像素值變化最小的方向上的梯度值(或 變化率的值)。備選地，該像素的估計(jì)值可以減小。借此，能夠防止把 單向邊上不存在的估計(jì)點(diǎn)(例如，產(chǎn)生大量噪聲的平坦部分上的點(diǎn)) 錯(cuò)誤地包含到半特征點(diǎn)中。
另外，使用在公知梯度方法中用于跟蹤的矩陣G，可以把像素在特 定方向上移動(dòng)時(shí)像素值變化最大的方向上的梯度值設(shè)置為G的最大本 征值，而把像素在特定方向上移動(dòng)時(shí)像素值變化最小的方向上的梯度 值設(shè)置為G的最小本征值。借此，由于可以從用于跟蹤的矩陣G中檢測
半特征點(diǎn)，所以能夠節(jié)省計(jì)算量。此外，由于使用基于此的估計(jì)值對 特征點(diǎn)進(jìn)行分級，所以確保了穩(wěn)定的跟蹤。
另外，最大曲率(的逼近值)可以用作對半特征點(diǎn)的梯度值進(jìn)行 估計(jì)的方法。借此，由于使用基于此的估計(jì)值對特征進(jìn)行分級，所以 確保了跟蹤的穩(wěn)定。
另外，當(dāng)選擇半特征點(diǎn)時(shí)，可以把與另一特征點(diǎn)(即全特征點(diǎn)或 半特征點(diǎn))的最小距離設(shè)置為大于全特征點(diǎn)之間的最小距離。借此， 能夠防止成為約束的無意義的特征增多。
另外，先前的公式32可以應(yīng)用于半特征點(diǎn)。借此，由于能夠基于 矩陣G中與用于特征點(diǎn)提取和全特征點(diǎn)跟蹤的系數(shù)相同的系數(shù)來跟蹤
半特征點(diǎn)，所以能夠節(jié)省計(jì)算量。
盡管在上文描述中使用梯度方法來檢測特征點(diǎn)，然而該方法不限 于此，可以使用例如塊匹配的其他方法。備選地，取代對特征點(diǎn)進(jìn)行 選擇或分級，僅需把特征點(diǎn)分為全特征點(diǎn)和半特征點(diǎn)。
用于對應(yīng)位置計(jì)算部分15b (見圖2)中的用于對準(zhǔn)的坐標(biāo)變換包 括投影變換模型(單應(yīng)性(hom。graphy))(下文稱作單應(yīng)性)(8個(gè)自 由度)、仿射變換(6個(gè)自由度)、歐幾里德相似性變換(3個(gè)自由度)、 剛性變換(3個(gè)自由度)、純粹轉(zhuǎn)換(2個(gè)自由度)，等等。雖然具有小 自由度的變換具有較小的應(yīng)用領(lǐng)域，然而其優(yōu)點(diǎn)是例如計(jì)算負(fù)荷減小、 由誤差引起的不穩(wěn)定性減小，等等。因此，能夠方便地選擇適當(dāng)?shù)淖?換。
通常，可以在正向(從參考圖像10到待跟蹤圖像11)或反向(從 待跟蹤圖像11到參考圖像10)中任一方向上確定坐標(biāo)變換等式。(可以
根據(jù)一個(gè)變換容易地確定反變換)。在這個(gè)實(shí)施例中，在參考圖像io
的坐標(biāo)系中確定特征方向。因此，準(zhǔn)確地說，應(yīng)用以下的處理來建立
反向(即，從待跟蹤圖像ii到參考圖像io)變換是正確的，即應(yīng)用于
參考圖像10的坐標(biāo)系。然而，即使在確定正向(從參考圖像io到待跟
蹤圖像ll)變換的情況下，也能夠把下文所述的處理如同多種情況中 那樣而應(yīng)用。這是因?yàn)?，對于不包含轉(zhuǎn)動(dòng)分量的模型(例如純粹轉(zhuǎn)換 模型)該變換是相同的，甚至對于包含轉(zhuǎn)動(dòng)分量的其他模型(假定該 轉(zhuǎn)動(dòng)較小)，每一個(gè)等式均大致成立。因此，下文將進(jìn)行一般化描述， 把參考圖像lO和待跟蹤圖像ll之一稱作第一圖像Ii，而把另一個(gè)稱作 第二圖像L。
在本實(shí)施例中，基于RANSAC (即隨機(jī)采樣合意(RANdom SAmple Consensus))來確定坐標(biāo)變換等式的系數(shù)(即參數(shù))。RANSAC是一種用 于估計(jì)參數(shù)的方法。這個(gè)方法從少數(shù)點(diǎn)中確定用于估計(jì)的候選，把所 確定的估計(jì)候選應(yīng)用于多個(gè)點(diǎn)，確定與估計(jì)相匹配的點(diǎn)的個(gè)數(shù)以及匹 配精確度，即計(jì)算支持?jǐn)?shù)，并采用具有最大支持?jǐn)?shù)的估計(jì)候選作為最 終估計(jì)結(jié)果。
圖14是示出了RANSAC部分哪14的操作流程圖的示意圖。這個(gè)流程 包括第一循環(huán)(下文稱作循環(huán)F)和循環(huán)F中嵌套的第二循環(huán)(下文稱 作循環(huán)G)。
一旦開始該流程，首先，循環(huán)F被執(zhí)行預(yù)定次數(shù)。在循環(huán)F中，首 先執(zhí)行嵌套的循環(huán)G。在循環(huán)G中，隨機(jī)選擇特征點(diǎn)(步驟S21)，并確 定特征的類型(步驟S22)。接下來，如果隨機(jī)選擇的特征點(diǎn)是"全特 征點(diǎn)"，則創(chuàng)建兩個(gè)條件(見下文描述的公式37和38)(步驟S23)。如 果特征點(diǎn)是"半特征點(diǎn)"，則創(chuàng)建一個(gè)條件(見下文描述的公式39)(步 驟S24)。接下來，重復(fù)執(zhí)行循環(huán)G，直到所有8個(gè)條件都準(zhǔn)備好為止。 在準(zhǔn)備好8個(gè)條件后，對等式進(jìn)行求解，以建立變換等式(即單應(yīng)性矩 陣H)(步驟S25)。接下來，檢測單應(yīng)性的形變值(即H的形變)(步驟 S26)，而且僅當(dāng)形變較小時(shí)才會(huì)執(zhí)行下文所述的"支持計(jì)算"(步驟
S37)。同時(shí)，確定支持?jǐn)?shù)是否超過最大支持?jǐn)?shù)(步驟S28)，如果其超 過最大數(shù)，則對最大支持?jǐn)?shù)進(jìn)行更新，并保存H(步驟S29)。當(dāng)達(dá)到循 環(huán)終點(diǎn)時(shí)，把已經(jīng)保存的最佳H輸出(步驟S30)，并且該流程終止。
現(xiàn)在，通過檢測部分13提取并跟蹤全特征點(diǎn)和半特征點(diǎn)，并且把 指示每一個(gè)半特征點(diǎn)的特征方向的單位矢量u二 (ux， uy) T建立為例如 與矩陣G的最大本征值相對應(yīng)的單位矢量(iix2+Uy2=l)。
現(xiàn)在，對于采用單應(yīng)性模型時(shí)用于建立單應(yīng)性矩陣H的等式，將滿 足被排列為如下列向量的H^ (hu)的每一個(gè)元素置于該等式中
公式36
= (hll hi2 h13 ll21 h22 ll23 h31 ll32)
在特征點(diǎn)跟蹤處理使得第一圖像I,的坐標(biāo)(x， y)已經(jīng)與第二圖 像12的坐標(biāo)(X， Y)相對應(yīng)的情況下，針對每一個(gè)全特征點(diǎn)來創(chuàng)建下 面的公式37和38中所示的兩個(gè)線性條件
公式37
("/y/2 0 0 0 —Xx — Xy)"/X
公式38
(0 0 0/x /y/2—Yx—Yy)"/Y
此外，針對每一個(gè)半特征點(diǎn)創(chuàng)建下面的公式39中所示的一個(gè)線性
條件
公式39
(/uxx /uxy / ux /uyX /uyy / Uy
—(Xux+Yuy) x —(Xux+Yuy) y) " /(XUx+YUy)
當(dāng)已經(jīng)準(zhǔn)備好8個(gè)條件時(shí)，通過高斯消去法對等式進(jìn)行求解，以建 立單應(yīng)性矩陣H。備選地，可以根據(jù)8個(gè)或更多個(gè)等式來得到最小平方
解。換句話說，通過對下面的公式40進(jìn)行求解而確定H的分量，該公式
40中8個(gè)或更多個(gè)條件排列為如下行矢量
公式40
A5 = b [A是左側(cè)的系數(shù)矩陣，b是右側(cè)的常數(shù)項(xiàng)]
借此，能夠明確地確定單應(yīng)性矩陣。
在本實(shí)施例中，例如按照如下來檢測單應(yīng)性失真(H的失真)當(dāng)
以h來移動(dòng)圖像邊界上的4個(gè)坐標(biāo)，對變換前和變換后的矩形的邊的比 率和從90'發(fā)散角度(即失真)進(jìn)行檢査。當(dāng)變換后的矩形與原始矩 形明顯不同時(shí)，省略支持計(jì)算(步驟S27)，該過程立即移至對下一候 選的處理。
如上所述，在支持計(jì)算前插入了如下處理針對計(jì)算后的包含半
特征點(diǎn)的單應(yīng)性矩陣H，檢測所確定的變換的失真(即，檢測長度或角 度的失真是否處于特定界限內(nèi))，從而排除異常的單應(yīng)性H。這是因?yàn)椋?根據(jù)同一直線或平行直線上存在的多個(gè)半特征點(diǎn)而確定的H是條件不 良的(即，幾乎是線性相關(guān))，而這個(gè)不良條件比僅根據(jù)全特征點(diǎn)而確 定的不良條件(三個(gè)或更多個(gè)點(diǎn)排列在同一直線上)更可能出現(xiàn)。
關(guān)于除了單應(yīng)性的坐標(biāo)變換等式，將闡述兩個(gè)模型(即，純粹轉(zhuǎn) 換模型和歐幾里德相似性變換模型)。
首先，純粹轉(zhuǎn)換模型是如下公式41中所示的坐標(biāo)變換
公式41
<formula>formula see original document page 23</formula>
當(dāng)放置如下公式42時(shí)
公式42
vector h = ( a b )
針對每一個(gè)全特征點(diǎn)，確定如下公式43中所示的兩個(gè)線性條件(即
等式)
公式43
(f o) 5 = x-x
(0 f) S = Y_y
并針對每一個(gè)半特征點(diǎn)，確定如下公式44中所示的一個(gè)線性條件 (即等式):
公式44
(/u, /Uy)fi =(X—,) u,+ (Y — y) uy
由于這個(gè)變換的自由度是2，所以能夠通過準(zhǔn)備兩個(gè)或更多個(gè)條件
而對該等式進(jìn)行求解。
另外，歐幾里德相似性模型是如下公式45中所示的坐標(biāo)變換
公式45
。=(「dc)(yX) + (ba)
當(dāng)放置如下公式46時(shí) vector & = (a b c d)T
針對每一個(gè)全特征點(diǎn)，確定如下公式47中所示的兩個(gè)線性條件(即
等式)
公式47
(/ 0 一 y)R = X (0 / y jf) S = Y
而針對每一個(gè)半特征點(diǎn)，確定如下公式48中所示的一個(gè)線性條件
(即等式)
公式48
(f、 fuxux+yuy xuy _yux) ￡ = X、 + Yu
由于這個(gè)變換的自由度是4，所以能夠通過準(zhǔn)備四個(gè)或更多個(gè)條件
而對該等式進(jìn)行求解。
圖15是示出了支持計(jì)算的操作流程圖的示意圖。在這個(gè)流程中， 在對支持?jǐn)?shù)進(jìn)行初始化后(步驟S31)，針對被跟蹤的特征點(diǎn)而執(zhí)行循 環(huán)(下文稱作循環(huán)H)。在循環(huán)H中，執(zhí)行基于坐標(biāo)變換等式的變換(步 驟S32)，并確定特征的類型(步驟S33)。接下來，如果特征類型是"全
特征"，則執(zhí)行針對全特征的內(nèi)圍層確定，而如果該點(diǎn)是全特征內(nèi)圍層， 則向支持?jǐn)?shù)添加權(quán)重"2"(步驟S35)。另一方面，如果特征類型是"半 特征"，則執(zhí)行針對半特征的內(nèi)圍層確定(步驟S36)，而如果該點(diǎn)是半 特征內(nèi)圍層，則向支持?jǐn)?shù)添加比針對全特征內(nèi)圍層的權(quán)重要小的權(quán)重 "1"(步驟S37)。接下來，更新支持?jǐn)?shù)(步驟S38)，而當(dāng)達(dá)到循環(huán)終 點(diǎn)時(shí)，返回支持?jǐn)?shù)(步驟S39)，且該流程終止。
如上所述，在本實(shí)施例中，當(dāng)計(jì)算坐標(biāo)變換等式時(shí)，把通過將每 一個(gè)矢量沿特征方向投影而創(chuàng)建的一維約束(見先前的公式37至39) 設(shè)置為用于把被跟蹤的運(yùn)動(dòng)矢量與通過已確定的坐標(biāo)變換而創(chuàng)建的偏 移矢量進(jìn)行比較的約束。借此，即使不存在全特征點(diǎn)，只要各個(gè)特征 方向上存在半特征點(diǎn)，也能夠?qū)ψ鴺?biāo)變換穩(wěn)定地求解。
根據(jù)本實(shí)施例，RANSAC用作估計(jì)并確認(rèn)坐標(biāo)變換的正確性的方法。 然而，該方法不限于此。只要對被跟蹤運(yùn)動(dòng)矢量與通過已確定的坐標(biāo) 變換所創(chuàng)建的偏移矢量的比較是把每一個(gè)矢量投影到特征方向上的一 維比較，則可以使用任何方法。這些方法中的任一方法都可以消除當(dāng)使用半特征點(diǎn)來估計(jì)和確認(rèn)坐標(biāo)變換等式時(shí)在無特征方向上出現(xiàn)的誤 差。
圖16是全特征點(diǎn)和半特征點(diǎn)的匹配確定的概念圖。在這幅圖中，
當(dāng)全特征點(diǎn)25存在于拐角上且半特征點(diǎn)26存在于邊上時(shí)，通過跟蹤所 確定的運(yùn)動(dòng)矢量34、 35由實(shí)線所表示，而基于候選坐標(biāo)變換的偏移矢 量36、 37由虛線所表示。附在半特征點(diǎn)26的粗箭頭是特征方向上的單 位矢量38。對于全特征點(diǎn)25，僅需確定通過由兩個(gè)矢量34、 36進(jìn)行移 動(dòng)而確定的目標(biāo)坐標(biāo)是否處于特定距離內(nèi)。另一方面，對于半特征26， 盡管兩個(gè)矢量35、 37的方向和大小在該情況下彼此均不同，然而當(dāng)它 們被投影到特征方向時(shí)(即，當(dāng)在特征方向上計(jì)算與單位矢量的內(nèi)積 時(shí))，它們實(shí)質(zhì)上是相同的。因此，可以確定半特征點(diǎn)26的跟蹤與坐標(biāo) 變換匹配。
矢量的比較所需的計(jì)算量比窗口中像素值的比較所需的計(jì)算量要 少。因此，當(dāng)半特征點(diǎn)用于RANSAC時(shí)，如果被跟蹤的運(yùn)動(dòng)矢量與朝向 通過由候選坐標(biāo)變換等式進(jìn)行移動(dòng)而確定的目標(biāo)坐標(biāo)的偏移矢量被投 影到特征方向進(jìn)行比較，且比較結(jié)果是這兩個(gè)矢量實(shí)質(zhì)上相同，則可 以把點(diǎn)確定為內(nèi)圍層。借此，能夠增加RANSEC的循環(huán)數(shù)，從而能夠搜 索更好的變換等式。
作為不使用特征方向上的投影的備選方法，可以通過比較像素值 而執(zhí)行匹配確定。當(dāng)半特征點(diǎn)用于RANSEC時(shí)，如果在第一圖像L和第 二圖像l2之間對窗口中圍繞半特征點(diǎn)的像素值進(jìn)行比較，且它們之間 的差別較小時(shí)(可以計(jì)算差的絕對值之和、差的平方和等，作為差別 度)，則可以把點(diǎn)確定為內(nèi)圍層。借此，通過基于像素值的比較，可以 排除明顯的重影圖像。
另外，在RANSAC的支持計(jì)算中，針對全特征內(nèi)圍層點(diǎn)的個(gè)數(shù)Nf， 可以使用大于半特征內(nèi)圍層點(diǎn)的個(gè)數(shù)N.,的權(quán)重值(例如2N,+Ns)作為支 持?jǐn)?shù)。借此，能夠執(zhí)行與全特征和半特征之間的信息量的差別相對應(yīng) 的適當(dāng)?shù)募訖?quán)，由此增強(qiáng)與全特征的匹配。另外，雖然全特征具有二 維信息，然而半特征僅具有一維信息。因此，如果全特征的個(gè)數(shù)和半 特征的個(gè)數(shù)幾乎相等，那么可以向具有更高精度的全特征賦予優(yōu)先級，
由此能夠選擇更加穩(wěn)定的變換等式。
本發(fā)明還可以由用于在CPU上運(yùn)行的上述流的組合程序來實(shí)現(xiàn)。圖 17是示出了組合程序的操作流程圖的視圖。在這個(gè)流程中，在對圖像
金字塔產(chǎn)生部分進(jìn)行初始化后(步驟S41)，執(zhí)行提取特征點(diǎn)(步驟S42)、 跟蹤特征點(diǎn)(步驟S43)、 RANSAC (步驟S44)、對應(yīng)位置計(jì)算(步驟S45) 和相加(步驟S46)，然后該流程終止。
本發(fā)明還可以應(yīng)用于全景合成，該全景合成通過把若干幅彼此部 分重疊的圖像進(jìn)行連接而對覆蓋較大區(qū)域的單張圖像進(jìn)行合成。在通 過塊匹配等對兩個(gè)圖像的重疊區(qū)域進(jìn)行檢測后，可以通過使用根據(jù)本 發(fā)明的方法提取并跟蹤該重疊范圍內(nèi)的特征點(diǎn)而確定坐標(biāo)變換。注意， 在合成處理中，優(yōu)選地執(zhí)行混合處理等，以使邊界變得較不明顯，而 不是僅使用像素值的平均。
另外，本發(fā)明可以應(yīng)用于對錄像中的攝像機(jī)抖動(dòng)進(jìn)行修正(即， 攝像機(jī)抖動(dòng)的電子修正)。即，當(dāng)錄像和重放時(shí)，計(jì)算由攝像機(jī)抖動(dòng)所 導(dǎo)致的整個(gè)圖像的運(yùn)動(dòng)矢量，并對每個(gè)幀或每個(gè)場進(jìn)行轉(zhuǎn)換，以消除 該運(yùn)動(dòng)矢量。借此，減輕了攝像機(jī)抖動(dòng)，并能夠產(chǎn)生穩(wěn)定的視頻。更 具體地，在根據(jù)本發(fā)明的方法對特征點(diǎn)進(jìn)行提取和跟蹤后，使用例如 純粹轉(zhuǎn)換模型的坐標(biāo)變換來確定支配該圖像的運(yùn)動(dòng)矢量。取代通過相 加對圖像進(jìn)行合成，新的幀或場可以依次被由此確定的運(yùn)動(dòng)矢量進(jìn)行 的轉(zhuǎn)換所創(chuàng)建的圖像而取代。借此，能夠產(chǎn)生攝像機(jī)抖動(dòng)較小的視頻。
此外，盡管作為本發(fā)明優(yōu)選實(shí)施例的圖像處理裝置的計(jì)算機(jī)程序 產(chǎn)品存儲(chǔ)在該圖像處理裝置的存儲(chǔ)器(例如R0M等中)，然而該處理程 序可以存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上，而且還應(yīng)當(dāng)在該程序的制造、銷售 等期間進(jìn)行保護(hù)。在這種情況下，利用專利保護(hù)該程序的方法將以存 儲(chǔ)有計(jì)算機(jī)程序產(chǎn)品的計(jì)算機(jī)可讀介質(zhì)的形式來實(shí)現(xiàn)。
雖然已經(jīng)參考優(yōu)選實(shí)施例對本發(fā)明進(jìn)行了描述，本發(fā)明不會(huì)由這 里的描述中的任何細(xì)節(jié)所限制，而是包括落入所附權(quán)利要求的范圍內(nèi) 的所有實(shí)施例。
權(quán)利要求
1、一種圖像處理裝置，包括全特征點(diǎn)檢測部分(13b)，用于把其像素值在任意方向上發(fā)生明顯變化的點(diǎn)檢測為全特征點(diǎn)；半特征點(diǎn)檢測部分(13b)，用于把其像素值在特定方向上幾乎不變、而在其他方向上發(fā)生明顯變化的點(diǎn)檢測為半特征點(diǎn)；第一跟蹤部分(13c)，用于跟蹤第一圖像和第二圖像之間的全特征點(diǎn)；第二跟蹤部分(13c)，用于跟蹤半特征點(diǎn)；以及對準(zhǔn)部分(15b)，用于根據(jù)第一跟蹤部分和第二跟蹤部分所做出的跟蹤結(jié)果來對準(zhǔn)輸入的圖像。
2、 根據(jù)權(quán)利要求l所述的圖像處理裝置，其中，第二跟蹤部分的 跟蹤方向僅為像素值發(fā)生明顯變化的方向。
3、 根據(jù)權(quán)利要求l所述的圖像處理裝置，其中，對準(zhǔn)部分還包括 估計(jì)部分(15b)，用于根據(jù)第一跟蹤部分和第二跟蹤部分所做出的跟蹤結(jié)果來估計(jì)所計(jì)算的坐標(biāo)變換等式的正確性；以及對準(zhǔn)部分此外還根據(jù)估計(jì)部分所做出的判斷來挑選和選擇坐標(biāo) 變換等式。
4、 根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，估計(jì)部分對與全 特征點(diǎn)有關(guān)的估計(jì)比與半特征點(diǎn)有關(guān)的估計(jì)賦予更大的權(quán)重。
5、 根據(jù)權(quán)利要求l所述的圖像處理裝置，還包括相加部分(15a)，用于從已經(jīng)由對準(zhǔn)部分進(jìn)行對準(zhǔn)的多個(gè)圖像中 合成一個(gè)圖像。
6、 根據(jù)權(quán)利要求l所述的圖像處理裝置，其中，第二跟蹤部分的 跟蹤方向僅為像素值發(fā)生明顯變化的方向。
7、 根據(jù)權(quán)利要求l所述的圖像處理裝置，其中，對準(zhǔn)部分還包括: 估計(jì)部分(15b)，用于根據(jù)第一跟蹤部分和第二跟蹤部分所做出的跟蹤結(jié)果來估計(jì)所計(jì)算的坐標(biāo)變換等式的正確性；以及對準(zhǔn)部分此外還根據(jù)估計(jì)部分所做出的判斷來挑選和選擇坐標(biāo) 變換等式。
8、 根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，估計(jì)部分對與全 特征點(diǎn)有關(guān)的估計(jì)比與半特征點(diǎn)有關(guān)的估計(jì)賦予更大的權(quán)重。
9、 一種圖像處理方法，包括全特征點(diǎn)檢測步驟(S2)，用于把其像素值在任意方向上發(fā)生明 顯變化的點(diǎn)檢測為全特征點(diǎn)；半特征點(diǎn)檢測步驟(S6)，用于把其像素值在特定方向上幾乎不 變、而在其他方向上發(fā)生明顯變化的點(diǎn)檢測為半特征點(diǎn)；第一跟蹤步驟(Sll、 S12、 S13、 S14、 S16、 S17、 S18)，用于跟 蹤第 一 圖像和第二圖像之間的全特征點(diǎn)；第二跟蹤步驟(Sll、 S12、 S13、 S14、 S16、 S17、 S18)，用于跟 蹤半特征點(diǎn)；以及對準(zhǔn)步驟(S32)，用于根據(jù)第一跟蹤部分和第二跟蹤步驟所做出 的跟蹤結(jié)果來對準(zhǔn)輸入的圖像。
10、 根據(jù)權(quán)利要求9所述的圖像處理方法，其中，第二跟蹤步驟 的跟蹤方向僅為像素值發(fā)生明顯變化的方向。
11、 根據(jù)權(quán)利要求9所述的圖像處理方法，其中，對準(zhǔn)步驟還包括估計(jì)步驟(S34、 S36)，用于根據(jù)第一跟蹤步驟和第二跟蹤步驟 所做出的跟蹤結(jié)果來估計(jì)所計(jì)算的坐標(biāo)變換等式的正確性；以及對準(zhǔn)步驟此外還根據(jù)估計(jì)步驟所做出的判斷來挑選和選擇坐標(biāo) 變換等式。
12、 根據(jù)權(quán)利要求ll所述的圖像處理方法，其中，估計(jì)步驟對與全特征點(diǎn)有關(guān)的估計(jì)比與半特征點(diǎn)有關(guān)的估計(jì)賦予更大的權(quán)重。
13、 根據(jù)權(quán)利要求9所述的圖像處理方法，還包括相加步驟(S46)，用于從己經(jīng)由對準(zhǔn)步驟進(jìn)行對準(zhǔn)的多個(gè)圖像中 合成一個(gè)圖像。
14、 根據(jù)權(quán)利要求9所述的圖像處理方法，其中，第二跟蹤步驟 的跟蹤方向僅為像素值發(fā)生明顯變化的方向。
15、 根據(jù)權(quán)利要求9所述的圖像處理方法，其中，對準(zhǔn)步驟還包括估計(jì)步驟(S34、 S36),用于根據(jù)第一跟蹤步驟和第二跟蹤步驟 所做出的跟蹤結(jié)果來估計(jì)所計(jì)算的坐標(biāo)變換等式的正確性；以及對準(zhǔn)步驟此外還根據(jù)估計(jì)步驟所做出的判斷來挑選和選擇坐標(biāo) 變換等式。
16、 根據(jù)權(quán)利要求15所述的圖像處理方法，其中，估計(jì)步驟對與 全特征點(diǎn)有關(guān)的估計(jì)比與半特征點(diǎn)有關(guān)的估計(jì)賦予更大的權(quán)重。
17、 一種存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上用于圖像處理程序的計(jì)算機(jī)程 序產(chǎn)品，包括全特征點(diǎn)檢測步驟(S2)，用于把其像素值在任意方向上發(fā)生明 顯變化的點(diǎn)檢測為全特征點(diǎn)；半特征點(diǎn)檢測步驟(S6)，用于把其像素值在特定方向上幾乎不 變、而在其他方向上發(fā)生明顯變化的點(diǎn)檢測為半特征點(diǎn)；第一跟蹤步驟(Sll、 S12、 S13、 S14、 S16、 S17、 S18)，用于跟 蹤第 一 圖像和第二圖像之間的全特征點(diǎn)；第二跟蹤步驟(Sll、 S12、 S13、 S14、 S16、 S17、 S18)，用于跟蹤半特征點(diǎn)；以及對準(zhǔn)步驟(S32)，用于根據(jù)第一跟蹤部分和第二跟蹤步驟所做出 的跟蹤結(jié)果來對準(zhǔn)輸入的圖像。
18、 根據(jù)權(quán)利要求17所述的計(jì)算機(jī)程序產(chǎn)品，其中，第二跟蹤步 驟的跟蹤方向僅為像素值發(fā)生明顯變化的方向。
19、 根據(jù)權(quán)利要求17所述的計(jì)算機(jī)程序產(chǎn)品，其中，對準(zhǔn)步驟還 包括估計(jì)步驟(S34、 S36)，用于根據(jù)第一跟蹤步驟和第二跟蹤步驟 所做出的跟蹤結(jié)果來估計(jì)所計(jì)算的坐標(biāo)變換等式的正確性；以及對準(zhǔn)步驟此外還根據(jù)估計(jì)步驟所做出的判斷來挑選和選擇坐標(biāo) 變換等式。
20、 根據(jù)權(quán)利要求19所述的計(jì)算機(jī)程序產(chǎn)品，其中，估計(jì)步驟對 與全特征點(diǎn)有關(guān)的估計(jì)比與半特征點(diǎn)有關(guān)的估計(jì)賦予更大的權(quán)重。
21、 根據(jù)權(quán)利要求17所述的計(jì)算機(jī)程序產(chǎn)品，還包括相加步驟(S46)，用于從已經(jīng)由對準(zhǔn)步驟進(jìn)行對準(zhǔn)的多個(gè)圖像中 合成一個(gè)圖像。
22、 根據(jù)權(quán)利要求17所述的計(jì)算機(jī)程序產(chǎn)品，其中，第二跟蹤步 驟的跟蹤方向僅為像素值發(fā)生明顯變化的方向。
23、 根據(jù)權(quán)利要求17所述的計(jì)算機(jī)程序產(chǎn)品，其中，對準(zhǔn)步驟還 包括估計(jì)步驟(S34、 S36)，用于根據(jù)第一跟蹤步驟和第二跟蹤步驟 所做出的跟蹤結(jié)果來估計(jì)所計(jì)算的坐標(biāo)變換等式的正確性；以及對準(zhǔn)步驟此外還根據(jù)估計(jì)步驟所做出的判斷來挑選和選擇坐標(biāo) 變換等式。
24、 根據(jù)權(quán)利要求23所述的計(jì)算機(jī)程序產(chǎn)品，其中，估計(jì)步驟對 與全特征點(diǎn)有關(guān)的估計(jì)比與半特征點(diǎn)有關(guān)的估計(jì)賦予更大的權(quán)重。
全文摘要
一種包括光學(xué)流檢測部分(13)的圖像處理裝置(12)，用于檢測輸入圖像(10、11)中的特征點(diǎn)。光學(xué)流檢測部分(13)用作全特征點(diǎn)檢測部分，用于把其像素值在任意方向上發(fā)生明顯變化的點(diǎn)檢測為全特征點(diǎn)；以及半特征點(diǎn)檢測部分，用于把其像素值在特定方向上幾乎不變、而在其他方向上發(fā)生明顯變化的點(diǎn)檢測為半特征點(diǎn)。這使得當(dāng)對圖像進(jìn)行合成時(shí)，能夠從圖像的所有部分中均勻地提取特征點(diǎn)，并增強(qiáng)了對準(zhǔn)的精度。
文檔編號G06T7/00GK101208721SQ20068002338
公開日2008年6月25日 申請日期2006年7月13日 優(yōu)先權(quán)日2005年8月2日
發(fā)明者松井伸一, 浜田玲 申請人:卡西歐計(jì)算機(jī)株式會(huì)社