?？梢栽谡麄€(gè)邊界框中 將網(wǎng)格上的點(diǎn)均勻地隔開(kāi)。此外，可以在兩個(gè)圖像（例如，先前的視頻幀（N-I) 222和當(dāng)前 的視頻幀（N) 224)之間的網(wǎng)格上跟蹤406所述點(diǎn)。在一個(gè)實(shí)例中，通過(guò)盧卡斯-卡納德 (Lucas-Kanade)跟蹤器來(lái)跟蹤所述點(diǎn)，所述跟蹤器生成圖像之間的稀疏運(yùn)動(dòng)流。電子裝置 102可以估計(jì)408兩個(gè)圖像（例如，先前的視頻幀（N-I) 222和當(dāng)前的視頻幀（N) 224)之間 的跟蹤誤差。估計(jì)408跟蹤誤差可包含為跟蹤點(diǎn)中的每個(gè)點(diǎn)指定誤差值。此外，估計(jì)408 跟蹤誤差可使用多種方法來(lái)執(zhí)行，包含例如向前-向后誤差、歸一化互相關(guān)（NCC)以及方差 和?？墒褂盟烙?jì)的跟蹤誤差來(lái)獲得跟蹤置信度值228并且最終確定目標(biāo)對(duì)象在當(dāng)前的視 頻幀（N) 224中的可能性。在一種配置中，可通過(guò)計(jì)算當(dāng)前的視頻幀（N) 224和先前的視頻 幀（N-l)222中的跟蹤窗之間的歸一化互相關(guān)（NCC)來(lái)獲得跟蹤置信度值228。跟蹤誤差還 可以使用另外的技術(shù)來(lái)估計(jì)，包含下文結(jié)合圖5更詳細(xì)地描述的向前-向后誤差估計(jì)。此 外，電子裝置102可以過(guò)濾掉410范圍之外的點(diǎn)預(yù)測(cè)。例如，所述電子裝置可過(guò)濾掉50%的 最差預(yù)測(cè)。剩余的預(yù)測(cè)可用于估計(jì)邊界框的位移。
[0076] 電子裝置102可更新412邊界框。可執(zhí)行更新412邊界框，使得更新的邊界框變 成用于下一個(gè)視頻幀的新邊界框。隨后可針對(duì)下一個(gè)視頻幀重復(fù)基于運(yùn)動(dòng)的跟蹤過(guò)程，或 者如果跟蹤置信度值228小于或等于跟蹤閾值250,那么可針對(duì)下一個(gè)視頻幀停止基于運(yùn) 動(dòng)的跟蹤過(guò)程，直到可準(zhǔn)確地跟蹤目標(biāo)對(duì)象。在一些配置中，其中針對(duì)當(dāng)前的視頻幀（N) 224 的基于運(yùn)動(dòng)的跟蹤未提供令人滿意的結(jié)果，電子裝置102可對(duì)當(dāng)前的視頻幀（N) 224執(zhí)行對(duì) 象檢測(cè)以便在定位目標(biāo)對(duì)象方面獲得更高的置信度水平。在一些配置中，其中基于運(yùn)動(dòng)的 跟蹤不能提供令人滿意的結(jié)果（例如，當(dāng)目標(biāo)對(duì)象移出視頻幀的范圍時(shí)），可針對(duì)任何后續(xù) 的視頻幀執(zhí)行對(duì)象檢測(cè)，直到檢測(cè)到目標(biāo)對(duì)象。
[0077] 圖5是示出用于基于向前-向后誤差來(lái)估計(jì)基于運(yùn)動(dòng)的跟蹤中的跟蹤誤差的方法 500的流程圖。方法500可以通過(guò)電子裝置102(例如對(duì)象跟蹤和檢測(cè)模塊104)來(lái)實(shí)現(xiàn)。 在一些配置中，電子裝置102可計(jì)算所跟蹤的窗之間的歸一化互相關(guān)（NCC)。歸一化互相關(guān) (NCC)可用于確定跟蹤置信度值228。電子裝置102還可使用互補(bǔ)于歸一化互相關(guān)（NCC) 的各種跟蹤誤差估計(jì)技術(shù)（例如，向前-向后誤差、方差和）。在使用向前-向后誤差估計(jì) 的實(shí)例中，電子裝置102可在先前的視頻幀（N-l)222與當(dāng)前的視頻幀（N) 224之間執(zhí)行502 向前跟蹤以便確定向前軌跡。向前跟蹤可包含向前跟蹤圖像達(dá)k個(gè)步驟。所得的向前軌跡 可等于（\，^+1，...，\+14)，其中\(zhòng)是時(shí)間上的點(diǎn)位置并且1^指示圖像序列的長(zhǎng)度。電子裝 置102可以在當(dāng)前的視頻幀（N) 224與先前的視頻幀（N-I) 222之間執(zhí)行504向后跟蹤，以 便確定向后軌跡。所得的向后軌跡可等于(々士+1，…乂+4,其中％+# =々+/l-s
[0078] 電子裝置102可確定506向前軌跡與向后軌跡之間的向前-向后誤差。向前-向 后誤差可被限定為向前軌跡與向后軌跡之間的距離。此外，可限定各種距離以用于軌跡比 較。在一種配置中，可以在確定向前-向后誤差時(shí)使用驗(yàn)證軌跡的初始點(diǎn)與終點(diǎn)之間的歐 幾里得（Euclidean)距離。在一種配置中，向前-向后誤差可以被用作跟蹤誤差，所述跟蹤 誤差可用于確定跟蹤置信度值228。
[0079] 圖6是示出用于執(zhí)行對(duì)象檢測(cè)的方法600的流程圖。方法600可以通過(guò)電子裝 置102 (例如對(duì)象跟蹤和檢測(cè)模塊104)來(lái)實(shí)現(xiàn)。電子裝置102可以通過(guò)搜索當(dāng)前的視頻幀 (N) 224中的窗位置和大小的子集來(lái)對(duì)當(dāng)前的視頻幀（N) 224執(zhí)行602對(duì)象檢測(cè)和基于運(yùn)動(dòng) 的跟蹤。
[0080] 電子設(shè)備102可以確定604檢測(cè)和跟蹤置信度值256。檢測(cè)和跟蹤置信度值256 可以提供在當(dāng)前的視頻幀（N)224中或在特定窗內(nèi)發(fā)現(xiàn)目標(biāo)對(duì)象的置信度水平。電子裝置 102還可確定606檢測(cè)和置信度值256是否大于檢測(cè)和跟蹤閾值254。如果檢測(cè)和置信度 值256大于檢測(cè)和跟蹤閾值254,那么電子裝置102可以使用下一個(gè)視頻幀中的窗和大小的 子集來(lái)對(duì)下一個(gè)視頻幀執(zhí)行608對(duì)象檢測(cè)?？商娲?，如果檢測(cè)和置信度值256小于檢測(cè) 和跟蹤閾值254,那么電子裝置102可以使用下一個(gè)視頻幀中的窗位置和大小的子集來(lái)對(duì) 下一個(gè)視頻幀執(zhí)行610對(duì)象檢測(cè)。在一些配置中，其中置信度值256小于檢測(cè)和跟蹤閾值 254,那么電子裝置102可以使用下一個(gè)視頻幀的整個(gè)搜索空間和/或所有窗來(lái)對(duì)下一個(gè)視 頻幀執(zhí)行610對(duì)象檢測(cè)。
[0081] 圖7是示出可以與本發(fā)明的系統(tǒng)和方法一起使用的具有不同窗大小766的圖像窗 700的框圖。具體地說(shuō)，圖7示出一組十個(gè)可能的窗大小766a-j。每個(gè)窗大小766可對(duì)應(yīng) 于尺度水平（例如，1-10)。盡管本文中被示出為矩形，但所搜索的窗可以是任何形狀，例如 正方形、矩形、圓形、橢圓形、用戶定義的等。此外，任何數(shù)量的窗大小766或尺度水平可為 可用的，例如5、15、20、30個(gè)等。
[0082] 如上所述，搜索范圍可以由用于特定位置的窗大小的子集表示，例如在當(dāng)前視頻 幀（N) 224中搜索到的窗大小可以被限制于類似于與當(dāng)前幀中的目標(biāo)對(duì)象相關(guān)聯(lián)的窗位置 和窗大小的那些。例如，在不具有反饋的情況下，對(duì)象檢測(cè)器208可搜索所有十個(gè)窗大小 766a-j以便查找每個(gè)選擇的窗位置。然而，如果使用具有第五個(gè)窗大小766e的窗在最近的 (非當(dāng)前的）視頻幀中檢測(cè)到對(duì)象，那么掃描器定標(biāo)器236可以僅選擇用于當(dāng)前所捕獲的 幀的為5加或減3的窗大小，即窗大小2-8。換句話說(shuō)，可以基于來(lái)自最近或先前的視頻幀 (N-I) 222的反饋來(lái)搜索具有第一窗大小766a、第九窗大小766i和第十窗大小766j的窗。 這可進(jìn)一步消除低概率搜索并且提高對(duì)象檢測(cè)的效率。換句話說(shuō)，使用來(lái)自最近的視頻幀 的反饋可以幫助減少所執(zhí)行的計(jì)算。可替代地，如果最近的視頻幀未檢測(cè)到目標(biāo)對(duì)象（即， 用于最近捕獲的幀的檢測(cè)和跟蹤置信度值256小于檢測(cè)和跟蹤閾值254)，那么對(duì)象檢測(cè)器 208可以不使用大小水平的子集來(lái)限制搜索范圍。
[0083] 圖8是示出對(duì)象跟蹤和檢測(cè)模塊804的另一種可能配置的框圖。圖8中所示的對(duì) 象跟蹤和檢測(cè)模塊804可包含與圖2中所示的對(duì)象跟蹤和檢測(cè)模塊204類似的模塊并且執(zhí) 行類似的功能。具體地說(shuō)，圖8中所示的對(duì)象檢測(cè)器808、運(yùn)動(dòng)跟蹤器806、掃描定位器830、 窗位置選擇器832、隨機(jī)化發(fā)生器834、掃描器定標(biāo)器836、分類器838、融合模塊860、存儲(chǔ)器 緩沖器810、所捕獲的先前視頻幀812、窗842、位置844、大小846、二進(jìn)制決策848、跟蹤閾 值850、檢測(cè)閾值852、檢測(cè)和跟蹤閾值854、檢測(cè)置信度值840、跟蹤置信度值828以及檢測(cè) 和跟蹤置信度值856可對(duì)應(yīng)于圖2中所示的對(duì)象檢測(cè)器208、運(yùn)動(dòng)跟蹤器206、掃描定位器 230、窗位置選擇器232、隨機(jī)化發(fā)生器234、掃描器定標(biāo)器236、分類器238、融合模塊260、存 儲(chǔ)器緩沖器210、所捕獲的先前視頻幀212、窗242、位置244、大小246、二進(jìn)制決策248、跟 蹤閾值250、檢測(cè)閾值252、檢測(cè)和跟蹤閾值254、檢測(cè)置信度值240、跟蹤置信度值228以及 檢測(cè)和跟蹤置信度值256并且具有與它們類似的功能。
[0084] 另外，對(duì)象跟蹤和檢測(cè)模塊804可包含平滑模塊861，其用于降低由于目標(biāo)運(yùn)動(dòng)和 跟蹤誤差造成的抖動(dòng)影響。換句話說(shuō)，平滑模塊861使跟蹤結(jié)果平滑，從而致使搜索窗在位 置（x，y)844和大?。▽挾?、高度）846兩者中具有較平滑的軌跡。平滑模塊861可以是簡(jiǎn) 單移動(dòng)平均線（M)濾波器或自回歸（AR)濾波器。針對(duì)位置844和大小846的平滑度可不 同。預(yù)測(cè)濾波器，諸如卡爾曼（Kalman)濾波器也可適用于位置844平滑。因此，平滑模塊 861可接收未平滑位置863和未平滑大小865作為輸入并且輸出平滑位置867和平滑大小 869 〇
[0085] 圖9是示出平滑模塊961的框圖。平滑模塊961可用于降低由于目標(biāo)運(yùn)動(dòng)和跟蹤 誤差造成的抖動(dòng)影響，即，因此跟蹤結(jié)果（邊界框）在位（x，y)置和大?。▽挾取⒏叨龋┲?具有較平滑的軌跡。在一種配置中，位置平滑濾波器971和大小平滑濾波器973使用用于 接收未平滑位置963和未平滑大小965作為輸入并且輸出平滑位置967和平滑大小969的 自回歸（AR)模塊來(lái)實(shí)現(xiàn)。
[0086] 在自回歸（AR)模塊中，假定X是待平滑的變量，即位置或大小。此外，令X'為由 對(duì)象跟蹤器實(shí)現(xiàn)的X的輸出。在這種配置中，在時(shí)間t處X的平滑濾波X t可根據(jù)等式（1) 進(jìn)行描述：
[0087] Xt=ff*X' t+(I-W)^Xtl (1)
[0088] 其中是X'在時(shí)間t處X的跟蹤器輸出，X t屬在時(shí)間t-1處X的平滑結(jié)果，并且 ￥(0〈 = 1〈=1)是控制平滑效果的平滑加權(quán)。例如4\可以是針對(duì)當(dāng)前視頻幀（吣224所 選擇的窗位置或窗大小并且Xt i可以是用于先前的視頻幀（N-I) 222的窗位置或窗大小。
[0089] 可以針對(duì)位置平滑濾波器971和大小平滑濾波器973使用不同的平滑加權(quán)W。例 如，在一種實(shí)現(xiàn)方式中，W fts= 0. 8并且W#、= 0. 4,使得對(duì)窗位置具有較小的平滑作用而對(duì) 窗大小具有較強(qiáng)的平滑作用。平滑加權(quán)的選擇將產(chǎn)生較小的跟蹤延遲和較小的抖動(dòng)兩者。
[0090] 此外，當(dāng)檢測(cè)和跟蹤置信度值856低于特定閾值（例如，檢測(cè)和跟蹤閾值854)時(shí)， 也可以減小平滑加權(quán)的選擇。當(dāng)潛在的跟蹤或檢測(cè)誤差較高時(shí)，這可能導(dǎo)致更強(qiáng)的濾波。例 如，響應(yīng)于低的跟蹤置信度（例如，檢測(cè)和跟蹤置信度值856低于檢測(cè)和跟蹤閾值854)，用 于位置和大小的平滑加權(quán)可分別設(shè)定為Wfti = 0. 65并且W#、= 0. 2。換句話說(shuō)，可以減小 所述加權(quán)中的一或兩個(gè)，這可能導(dǎo)致相較于當(dāng)前視頻幀的那些，窗位置和大小的選擇更嚴(yán) 重地依賴于先前視頻幀的窗位置和大小。
[0091] 此外，加權(quán)可基于跟蹤置信度值828或檢測(cè)置信度值840而非檢測(cè)和跟蹤置信度 值856。例如，平滑加權(quán)W fts和Wm、可響應(yīng)于跟蹤置信度值828低于跟蹤閾值850而減小， 即，可響應(yīng)于差的運(yùn)動(dòng)跟蹤而使用更強(qiáng)的濾波?？商娲?，平滑加權(quán)可響應(yīng)于檢測(cè)置信度值 840低于檢測(cè)閾值852而減小，即，可響應(yīng)于差的對(duì)象檢測(cè)而使用更強(qiáng)的濾波。
[0092] 在另一種配置中，可以使用卡爾曼濾波器來(lái)使窗位置平滑。在這種配置中，濾波可 根據(jù)等式（2)-(7)進(jìn)行限定：
[0093] Xk= F kxk !+Wk (2)
[0094] Zk= Hx k !+vk (3)
[0095] 其中Xk屬在時(shí)間k_l處的先前狀態(tài)，X k是由xk = [x. y，x, y]限定的當(dāng)前狀態(tài)，其 中（x，y)是邊界框中心位置，（? B是每個(gè)方向上的速度。此外，狀態(tài)過(guò)渡模型FjP觀測(cè)模 型H可以分別由等式（4)-(5)限定：
[0098] 其中At是可調(diào)諧的參數(shù)。另外，Wk是過(guò)程噪聲，其假定為根據(jù)等式（6)從具有 協(xié)方差Q(即，wk~N(0, Q))的零均值多元正態(tài)分布得出：
[0100] 其中〇 1是可調(diào)諧的參數(shù)。另外，wk是觀察噪聲，其假定為根據(jù)等式（7)從具有協(xié) 方差R(即，vk~N(0, R))的零均值高斯白噪聲得出：
[0102] 其中〇2是可調(diào)諧的參數(shù)。
[0103] 圖10是示出用于使運(yùn)動(dòng)跟蹤結(jié)果中的抖動(dòng)平滑的方法1000的流程圖。方法1000 可由電子裝置102、例如電子裝置102中的對(duì)象跟蹤和檢測(cè)模塊804執(zhí)行。電子裝置102可 以確定1002與當(dāng)前的視頻幀224相關(guān)聯(lián)的一或多個(gè)窗位置以及一或多個(gè)窗大小，例如，未 平滑位置863以及未平滑大小865。電子裝置102還可濾波1004 -或多個(gè)窗位置以及一或 多個(gè)窗大小以便產(chǎn)生一或多個(gè)平滑的窗位置867以及一或多個(gè)平滑的窗大小869。例如，這 可包含使用移動(dòng)平動(dòng)濾波器、自動(dòng)回歸濾波器、或卡爾曼濾波器。在一個(gè)配置中，響應(yīng)低跟 蹤置信度（例如，檢測(cè)和跟蹤置信度值856低于檢測(cè)和跟蹤閾值854)，用于位置和大小的平 滑加權(quán)可以減小。可替代地，