由于該特征描述是基于物體上的 一些局部外觀的興趣點(diǎn)而與影像的大小和旋轉(zhuǎn)無關(guān),所以這些特征點(diǎn)對(duì)于光線、噪聲、些微 視角改變的容忍度也相當(dāng)高。
[0096] 例如,在本實(shí)施例中,該尺度不變特征描述算法可以采用尺度不變特征轉(zhuǎn)換 (SIFT)算法。然而,需要說明的是,本發(fā)明不限于此,該尺度不變特征描述算法還可以包括: 加速魯棒特征(SURF)算法、和仿射性尺度不變特征變換(ASIFT)算法等。
[0097] 在子步驟3中,在針對(duì)每一個(gè)采樣點(diǎn)獲得一個(gè)特征描述集合之后,可以計(jì)算所述 特征描述集合中多個(gè)特征描述的凝聚程度,所述凝聚程度用于表達(dá)所述目標(biāo)采樣點(diǎn)在所述 尺度空間中的尺度穩(wěn)定性。
[0098] 需要說明的是,這里存在一個(gè)潛在的假設(shè),即一個(gè)在尺度空間中穩(wěn)定的采樣點(diǎn)的 特征描述應(yīng)該在該尺度變化方面盡可能保持不變,也就是說,其所述特征描述集合中多個(gè) 特征描述的凝聚程度越高,則所述目標(biāo)采樣點(diǎn)在所述尺度空間中的尺度穩(wěn)定性越強(qiáng)。
[0099] 典型地,我們知道,多個(gè)特征描述的凝聚程度可以用方差〇2來表示,該方差〇2越 大,多個(gè)特征描述之間越分散,該方差〇 2越小,多個(gè)特征描述之間越凝聚。
[0100] 進(jìn)一步地,由于可以證明下面的等式(1)是成立的,并且由于這些特征描述兩兩之 間的平均平方距離是可求的,所以可以繼而將平均平方距離石 s作為某一個(gè)采樣點(diǎn)的特 征描述集合的凝聚程度的度量:
[0101] P二等式(1)其中,逆是每?jī)蓚€(gè)特征描述之間的距離平方的均值, η是特征描述的維數(shù),并且(σ k)2是第k個(gè)特征分量的方差。例如,如果采用SIFT算子,則 n=128〇
[0102] 根據(jù)上述等式(1 ),可以在特征描述集合之中,計(jì)算每?jī)蓚€(gè)特征描述之間的距離平 方,并且對(duì)所得到的所有每?jī)蓚€(gè)特征描述之間的距離平方求均值,從而獲得所述特征描述 集合中每?jī)蓚€(gè)特征描述之間的距離平方的均值D2,并因而,獲得多個(gè)特征描述的凝聚程度。
[0103] 在子步驟4中,在得到多個(gè)特征描述的凝聚程度之后,可以根據(jù)所述凝聚程度來 向所述目標(biāo)采樣點(diǎn)分配尺度穩(wěn)定性權(quán)重,其中所述尺度穩(wěn)定性權(quán)重與所述凝聚程度成正 比。
[0104] 基于上述假設(shè)可知,當(dāng)?shù)仁剑?)中的平均平方距離越大時(shí),該目標(biāo)采樣點(diǎn)的多個(gè)特 征描述之間越分散,其尺度穩(wěn)定性就越低,相應(yīng)地,這個(gè)位置相應(yīng)的權(quán)值也就應(yīng)該越?。幌?反地,當(dāng)?shù)仁剑?)中的平均平方距離越小時(shí),該目標(biāo)采樣點(diǎn)的多個(gè)特征描述之間越凝聚,其 尺度穩(wěn)定性就越高,相應(yīng)地,這個(gè)位置相應(yīng)的權(quán)值也就應(yīng)該越大。
[0105] 因此,在獲得平均平方距離之后,可以根據(jù)所述距離平方的均值來向所述目標(biāo)采 樣點(diǎn)分配尺度穩(wěn)定性權(quán)重,其中所述尺度穩(wěn)定性權(quán)重應(yīng)該與所述距離平方的均值成反比。
[0106] 例如,作為某一個(gè)采樣點(diǎn)的特征描述集合的凝聚程度的度量,可以通過這些特征 描述兩兩之間的平均平方距離/尹的倒數(shù)來定義第一種類型的權(quán)重W1 (即,目標(biāo)采樣點(diǎn)的尺 度穩(wěn)定性權(quán)重)。
[0107] 具體地,可以如下面的等式(2)來定義目標(biāo)采樣點(diǎn)的尺度穩(wěn)定性權(quán)重:
[0108] 職& VUf等式(2)其中,W1是目標(biāo)采樣點(diǎn)的尺度穩(wěn)定性權(quán)重。
[0109] 這樣,通過在所形成的尺度空間中,針對(duì)每一個(gè)目標(biāo)采樣點(diǎn)來執(zhí)行上述的子步驟2 到子步驟4,就可以獲得每一個(gè)目標(biāo)采樣點(diǎn)的尺度穩(wěn)定性權(quán)重。
[0110] 此外,在本發(fā)明的第二實(shí)施例中,例如,該特征點(diǎn)在特征空間中的穩(wěn)定性也可以是 所述特征點(diǎn)在三維空間中的穩(wěn)定程度。
[0111] 在針對(duì)該現(xiàn)有方案中的第二個(gè)技術(shù)問題(即,針對(duì)當(dāng)遮擋發(fā)生時(shí)、即使沒有實(shí)踐中 相互配對(duì)的特征點(diǎn)、仍然會(huì)在樣本圖像區(qū)域與目標(biāo)圖像區(qū)域直接實(shí)施特征點(diǎn)匹配處理、從 而導(dǎo)致錯(cuò)誤的匹配結(jié)果的情形)的分析過程中,本發(fā)明人發(fā)現(xiàn),取決于實(shí)際應(yīng)用的不同,在 目標(biāo)圖像區(qū)域中,一些特征點(diǎn)可能會(huì)比另外一些點(diǎn)更不容易受到遮擋,也就是說,它們?cè)谌?維空間中更加穩(wěn)定一些。
[0112] 例如,在通常情況下,因?yàn)殡p目相機(jī)(特別是,監(jiān)控用的雙目相機(jī))往往被部署在較 高的位置處,并且?guī)в幸粋€(gè)俯視角以向下"俯瞰",從而監(jiān)控場(chǎng)景,同時(shí),引起遮擋的障礙物 往往放置在地面上,所以特征點(diǎn)的遮擋更可能發(fā)生在目標(biāo)在三維(3D)世界坐標(biāo)系下的較低 處的部位,也就是說,較低部位處的特征點(diǎn)在三維空間中的穩(wěn)定性更差一些。
[0113] 具體地,通過觀察圖3B可知,對(duì)于處于后方的人而言,位于其領(lǐng)口部分的特征點(diǎn) 顯然比位于其頭部的特征點(diǎn)更加容易受到處于前方的人的遮擋;相反地,位于三維(3D)世 界坐標(biāo)系中靠上部的特征點(diǎn)更加不容易受到遮擋,因而也就在三維空間中更加穩(wěn)定一些。
[0114] 因此,在第二實(shí)施例中,為了刻畫這些特征點(diǎn)在三維空間中的穩(wěn)定性差異,可以對(duì) 每一個(gè)特征點(diǎn)使用一個(gè)空間穩(wěn)定性權(quán)重,所述空間穩(wěn)定性權(quán)重用于表達(dá)所述目標(biāo)采樣點(diǎn)在 三維空間中的穩(wěn)定程度,并且隨著特征點(diǎn)的空間可靠性而變化,以在后續(xù)的識(shí)別過程中不 均等地處理這些不同的特征點(diǎn)。
[0115] 下面,將參考圖4B來描述根據(jù)本發(fā)明第二實(shí)施例的計(jì)算目標(biāo)采樣點(diǎn)的空間穩(wěn)定 性權(quán)重的步驟的具體流程示例。
[0116] 圖4B圖示了根據(jù)本發(fā)明第二實(shí)施例的計(jì)算目標(biāo)采樣點(diǎn)的空間穩(wěn)定性權(quán)重的步驟 的具體流程圖。
[0117] 參考圖4B,該計(jì)算目標(biāo)采樣點(diǎn)的空間穩(wěn)定性權(quán)重的步驟具體包括:
[0118] 在步驟S1230中,獲取目標(biāo)圖像區(qū)域的視差圖像。
[0119] 為了對(duì)于目標(biāo)采樣點(diǎn)實(shí)施空間穩(wěn)定性度量,從而獲得每個(gè)采樣點(diǎn)第二種類型的權(quán) 重(即,空間穩(wěn)定性權(quán)重),可以獲得目標(biāo)圖像區(qū)域的一張視差圖像。
[0120] 同樣地,該視差圖像可以是在上述的步驟SllO中獲得的,也可以是在其他操作中 例如通過諸如雙目相機(jī)之類的圖像捕捉裝置獲得的。
[0121] 在步驟S1240中,根據(jù)視差圖像來計(jì)算目標(biāo)采樣點(diǎn)的實(shí)際高度,以獲得目標(biāo)采樣 點(diǎn)的空間穩(wěn)定性權(quán)重。
[0122] 例如,可以通過所獲得的深度(或視差)圖像(或圖像序列)來計(jì)算目標(biāo)采樣點(diǎn)在3D 世界坐標(biāo)系(WCS)下的坐標(biāo),并且測(cè)量它們的3D空域可靠性,從而獲得每個(gè)采樣點(diǎn)的第二 種類型的權(quán)重。
[0123] 下面,將參考圖6來描述根據(jù)本發(fā)明第二實(shí)施例的對(duì)目標(biāo)采樣點(diǎn)執(zhí)行空間穩(wěn)定性 測(cè)量的步驟的具體操作示例。
[0124] 圖6圖示了根據(jù)本發(fā)明第二實(shí)施例的對(duì)目標(biāo)采樣點(diǎn)執(zhí)行空間穩(wěn)定性測(cè)量的原理 示意圖。
[0125] 在子步驟1中,可以針對(duì)每一個(gè)目標(biāo)采樣點(diǎn),確定所述目標(biāo)采樣點(diǎn)在所述視差圖 像中的像素高度坐標(biāo)。
[0126] 例如,在給定一張視差圖像之后,可以首先確定目標(biāo)采樣點(diǎn)的像素高度坐標(biāo),也就 是說,該目標(biāo)采樣點(diǎn)在圖像坐標(biāo)系下的高度坐標(biāo)。
[0127] 在子步驟2中,可以根據(jù)所述視差圖像、所述像素高度坐標(biāo)、用于獲得所述目標(biāo)圖 像區(qū)域的圖像捕捉裝置的內(nèi)部參數(shù)來計(jì)算所述目標(biāo)采樣點(diǎn)在三維世界坐標(biāo)系下的世界高 度坐標(biāo),所述世界高度坐標(biāo)用于表達(dá)所述目標(biāo)采樣點(diǎn)的實(shí)際高度。
[0128] 在確定了像素高度坐標(biāo)之后,利用深度或者視差圖以及攝像機(jī)的內(nèi)參矩陣,可以 計(jì)算采樣點(diǎn)在3D世界坐標(biāo)系(WCS)下的坐標(biāo),并度量它的三維空間可靠性。這里需要指出, 在本實(shí)施例中,為了減少計(jì)算量,節(jié)約系統(tǒng)資源,可以只計(jì)算三維坐標(biāo)的高度分量(即,圖6 中的"y"分量),而不考慮寬度和深度分量。
[0129] 也就是說,在相機(jī)和拍攝對(duì)象之間距離已知的情況下,拍攝對(duì)象的實(shí)際物理高度 與在相機(jī)的圖像中的像素高度之間存在一定的換算關(guān)系。相機(jī)和拍攝對(duì)象之間距離由視差 體現(xiàn)。
[0130] 下面,參考圖7A和圖7B來描述如何計(jì)算每個(gè)目標(biāo)采樣點(diǎn)所對(duì)應(yīng)的實(shí)際高度。
[0131] 圖7A圖示了立體相機(jī)設(shè)置的示意圖,并且圖7B圖示了在水平投影圖中計(jì)算目標(biāo) 采樣點(diǎn)高度的示意圖。
[0132] 參考圖7A和圖7B,在給定相機(jī)設(shè)置和視差值d的情況下,對(duì)象距相機(jī)的距離或所 謂的深度Z可以通過如下等式(3)來計(jì)算 :
[0133]
卩式(3)其中,Z為目標(biāo)采樣點(diǎn)P(X,Y,Z)的深度,d為目標(biāo)采樣 點(diǎn)的視差值,X1和&分別是左圖和右圖中對(duì)應(yīng)目標(biāo)采樣點(diǎn)的水平坐標(biāo),f是鏡頭長(zhǎng)度,并且 b為基線距離,如圖7A所示。
[0134] 從水平投影圖,即圖7B可知,目標(biāo)采樣值所對(duì)應(yīng)的實(shí)際高度可以通過如下等式 (4)來計(jì)算:
[0135]
?(4)其中,H是目標(biāo)采樣點(diǎn)所對(duì)應(yīng)的實(shí)際高度,Z為目標(biāo)采樣 點(diǎn)P (X,Υ,Ζ)的深度,f是鏡頭長(zhǎng)度,并且h是在視差圖中的像素高度。
[0136] 這樣,通過上面的等式(3)和等式(4),可以獲得目標(biāo)采樣點(diǎn)所對(duì)應(yīng)的實(shí)際高度分 布情況。
[0137] 在子步驟3中,可以根據(jù)所述世界高度坐標(biāo)來向所述目標(biāo)采樣點(diǎn)分配空間穩(wěn)定性 權(quán)重,其中所述空間穩(wěn)定性權(quán)重與所述世界高度坐標(biāo)成正比。
[0138] 在獲得每一個(gè)目標(biāo)采樣點(diǎn)在3D世界坐標(biāo)系下的高度分量之后,可以得到一個(gè)與 該高度分量負(fù)相關(guān)的第二種類型的權(quán)重W2 (即,目標(biāo)采樣點(diǎn)的空間穩(wěn)定性權(quán)重),并且將該 空間穩(wěn)定性權(quán)重賦予該目標(biāo)采樣點(diǎn)。
[0139] 具體地,可以如下面的等式(5)來定義目標(biāo)采樣點(diǎn)的空間穩(wěn)定性權(quán)重:
[0140] W2=y/y_等式(5)其中,W2是目標(biāo)采樣點(diǎn)的空間穩(wěn)定性權(quán)重,y是目標(biāo)采樣點(diǎn)所對(duì) 應(yīng)的實(shí)際高度,y_是那個(gè)目標(biāo)(在本實(shí)施例中,該目標(biāo)為人)在3D WCS中的最大高度(即, 人的身高)。也即,y_可能會(huì)依據(jù)對(duì)象的不同而變化。
[0141] 如上所述,這里潛在的假設(shè)是,遮擋更有可能發(fā)生在目標(biāo)體的較低部位,這是因?yàn)?如圖6所示,雙目相機(jī)通常懸掛于高處,并帶有一個(gè)俯視角向下俯視并記錄圖像或圖像序 列,從而監(jiān)控整個(gè)場(chǎng)景,同時(shí)引起遮擋的障礙物通常部署在地面上。
[0142] 這樣,通過在所形成的三維空間中,針對(duì)每一個(gè)目標(biāo)采樣點(diǎn)來執(zhí)行上述的子步驟1 到子步驟3,就可以獲得每一個(gè)目標(biāo)采樣點(diǎn)的空間穩(wěn)定性權(quán)重,也就是說,通過這種方式,目 標(biāo)采樣點(diǎn)的空域可靠性通過高度或高度分布被測(cè)度作為第二種類型的權(quán)重。
[0143] 需要說明的是,盡管上面通過示例描述了特征點(diǎn)的遮擋更容易發(fā)生在目標(biāo)在三維 (3D)世界坐標(biāo)系下的較低處的部位,但是,本發(fā)明不限于此。例如,圖像捕捉裝置也可以被 部署在較低的位置處,并且?guī)в幸粋€(gè)仰視角以向上"仰望",從而監(jiān)控場(chǎng)景,同時(shí),引起遮擋 的障礙物也可以吊掛在空中,顯然,這時(shí),特征點(diǎn)的遮擋更可能發(fā)生在目標(biāo)在三維(3D)世界 坐標(biāo)系下的較高處的部位。同理,圖像捕捉裝置也可以被部署在與人的視野水平的位置處, 并且"平視"地監(jiān)控場(chǎng)景,同時(shí),引起遮擋的障礙物也可以通過人手握持而懸浮在半空中,顯 然,這時(shí),特征點(diǎn)的遮擋更可能發(fā)生在目標(biāo)在三維(3D)世界坐標(biāo)系下的中間處的部位。替 換地,除了堅(jiān)直方向中的遮擋之外,取決于圖像捕捉裝置所設(shè)置的位置,特征點(diǎn)的遮擋也可 能更容易發(fā)生在目標(biāo)在三維(3D)世界坐標(biāo)系下水平方向中的某一部分(例如,靠左、靠右、 或中間)處。
[0144] 此外,盡管上面通過目標(biāo)采樣點(diǎn)在尺度空間和三維空間中的穩(wěn)定程度來說明了特 征點(diǎn)的質(zhì)量,但是,本發(fā)明也不限于此。例如,在其他實(shí)施例中,該特性點(diǎn)的質(zhì)量也可以是所 述特征點(diǎn)在亮度空間、色彩空間、分辨率空間等其他維度中的穩(wěn)定程度。替換地,該特性點(diǎn) 的質(zhì)量也可以是所述特征點(diǎn)在多種不同維度的特征空間中的穩(wěn)定性的組合。
[0145] 此外,在本發(fā)明的第三實(shí)施例中,例如,該特征點(diǎn)在特征空間中的穩(wěn)定性可以是所 述特征點(diǎn)在不同特征空間中的穩(wěn)定程度的組合。
[0146] 因此,在第三實(shí)施例中,為了綜合地刻畫這些特征點(diǎn)在不同特征空間中的穩(wěn)定性 差異,可以對(duì)每一個(gè)特征點(diǎn)使用一個(gè)組合的穩(wěn)定性權(quán)重。
[0147] 下面,將參考圖4C來描述根據(jù)本發(fā)明第三實(shí)施例的計(jì)算目標(biāo)采樣點(diǎn)的組合穩(wěn)定 性權(quán)重的步驟的具體流程示例。
[0148] 圖4C圖示了根據(jù)本發(fā)明第三實(shí)施例的計(jì)算目標(biāo)采樣點(diǎn)的組合穩(wěn)定性權(quán)重的步驟 的具體流程圖。
[0149] 參考圖4C,該計(jì)算目標(biāo)采樣