器208就可確定窗大 小以及當(dāng)前的視頻幀上具有最高置信度的位置或區(qū)域。這個位置和窗大小可用于下一次跟 蹤和檢測，以便更準(zhǔn)確地跟蹤和/或檢測目標(biāo)對象。
[0060] 如上所述，可由對象檢測器208使用各種方法來檢測目標(biāo)對象。在一種配置中， 檢測目標(biāo)對象可包含執(zhí)行針對每個可能的窗位置和每個可能的窗大小處的窗的二進(jìn)制分 類。然而，搜索每個可能的窗消耗許多資源。因此，在另一種配置中，對象檢測器可搜索窗 位置和窗大小的子集，而不是搜索視頻幀中的全部可能的窗。例如，對象檢測器208可搜 索全部可能的窗的1%。隨后，如果檢測是不成功的（例如，檢測置信度值240小于檢測閾 值252)，那么可在下一所捕獲的幀中搜索窗位置的較高百分比，例如2%。搜索的窗位置百 分比的步長可以是均勻、不均勻、慢或快的，即連續(xù)幀可具有1%、2%、3%、4%或1%、2%、 4%、8%。在一種配置中，響應(yīng)于高檢測置信度值，即，為了確保目標(biāo)對象時下一視頻幀，搜 索的幀的百分比可被設(shè)置得很高（例如，80%、90%、100% )。例如，響應(yīng)于超過檢測和跟蹤 閾值256的檢測和跟蹤置信度值，搜索的幀的百分比可跳到至少80%?；蛘?，百分比可跳 到60%、70%、90%等。另外，可使用針對檢測和跟蹤閾值的任何合適的值，例如0. 6、0. 65、 0.7、0.75、0.8、0.85等。此外，可基于隨機(jī)化發(fā)生器234(隨機(jī)數(shù)字發(fā)生器）來隨機(jī)確定搜 索的窗的百分比，例如，可在所捕獲的幀中搜索介于1%與15%之間的窗的隨機(jī)百分比。通 過搜索全部窗位置的子集，對象檢測可使用電子裝置102中的較少資源。
[0061] 此外，目前的系統(tǒng)和方法可搜索每個位置的窗大小的子集。每個窗大小在本文被 稱為尺度水平，每個尺度水平對應(yīng)于特定的窗大小。例如，存在20種可能的尺度水平。不 是搜索全部20種尺度水平，而是可在每個窗位置處搜索尺度水平或窗大小的子集。
[0062] 目前的系統(tǒng)和方法還可使用來自存儲器緩沖器210的反饋，以便調(diào)整搜索的窗位 置和大小。換句話說，最后所捕獲的視頻幀（在所述視頻幀中成功檢測到和/或跟蹤到目 標(biāo)對象）的位置和大小可用作用于搜索當(dāng)前的視頻幀（N)224的起始點(diǎn)。例如，如果在最 近的視頻幀中檢測到和跟蹤到目標(biāo)對象（即，最近所捕獲的視頻幀的檢測和跟蹤置信度值 256高于檢測和跟蹤閾值），那么掃描器定標(biāo)器可開始在與最近的幀相關(guān)聯(lián)的位置和大小 處搜索當(dāng)前所捕獲的幀。例如，在目標(biāo)對象移出光學(xué)系統(tǒng)的視野或消失在一定距離處的情 況下，目標(biāo)對象更可能以與當(dāng)目標(biāo)對象離開光學(xué)系統(tǒng)的視野或消失在一定距離處時相同的 大小重新出現(xiàn)。因此，當(dāng)執(zhí)行對象檢測時，大小或大小的范圍可被預(yù)測用于檢測下一視頻幀 中的目標(biāo)對象。
[0063] 此外，在所捕獲的視頻幀（N) 224中搜索的窗位置和窗大小的搜索范圍可受限于 類似于與最近的視頻幀（例如，先前的視頻幀（N-l)222))中的目標(biāo)對象相關(guān)聯(lián)的窗位置和 窗大小的那些。如本文所使用，術(shù)語"搜索范圍"是指在檢測和/或跟蹤視頻幀中的目標(biāo)對 象時可利用的候選窗位置或候選窗大?。ɑ騼烧撸┑募稀＠?，基于在最近的視頻幀中發(fā) 現(xiàn)目標(biāo)對象的情況下，搜索的窗位置的子集可以在當(dāng)前的視頻幀（N) 224的一部分（例如， 當(dāng)前的視頻幀（N) 224的四分之一或二分之一）內(nèi)選擇。換句話說，搜索空間可被限制在最 后跟蹤到或檢測到目標(biāo)對象的位置附近。類似地，可基于窗的大小限制針對每個窗位置搜 索的幀的大小，在所述窗中，在最近的視頻幀中發(fā)現(xiàn)目標(biāo)對象。例如，如果使用具有尺度水 平8的窗在最近的幀中檢測到對象，那么掃描器定標(biāo)器236可僅針對當(dāng)前的視頻幀（N) 224 選擇8加或減3的尺度水平，即，尺度水平5-11。這可進(jìn)一步消除低概率搜索并且增加對象 檢測的效率?；蛘?，如果最近的（非當(dāng)前的）視頻幀沒有檢測目標(biāo)對象（即，最近的視頻幀 的檢測和跟蹤置信度值256低于檢測和跟蹤閾值），那么對象檢測器208可擴(kuò)展被搜索的搜 索空間（窗位置），例如，圖像的更大范圍或整個圖像可經(jīng)受搜索。
[0064] 對象跟蹤和檢測模塊204可包含使多個窗合并以形成單個窗的融合模塊260。初 始存在兩個置信度值：來自對象檢測器208的檢測置信度值240和來自運(yùn)動跟蹤器206的 跟蹤置信度值225。融合模塊260可將兩個置信度值（例如，挑選更大的一個）組合成檢測 和跟蹤置信度值256。檢測和跟蹤置信度值256可指示是否在視頻幀上識別目標(biāo)對象。在 一種配置中，檢測和跟蹤置信度值256可以是在0與1之間的實(shí)數(shù)，其中0指示在特定視頻 幀中識別到目標(biāo)對象的最低可能置信度，并且1指示在特定視頻幀中識別到目標(biāo)對象的最 高可能置信度。換句話說，檢測和跟蹤置信度值256可以充當(dāng)發(fā)現(xiàn)目標(biāo)對象的可能性的總 體指示。此外，檢測和跟蹤置信度值256可以是用于確定窗位置、窗大小或在下一視頻幀中 搜索的窗百分比的參數(shù)。融合模塊260可用來將關(guān)于當(dāng)前的視頻幀（N) 224的信息提供到 存儲器緩沖器210。在一個實(shí)例中，融合模塊260可將關(guān)于跟蹤的窗242的信息（例如，窗 位置244、窗大小246等）以及檢測和跟蹤置信度值256提供到存儲器緩沖器210。融合模 塊260可使用來自運(yùn)動跟蹤器206和對象檢測器208的跟蹤結(jié)果（例如，邊界框）來形成 組合的跟蹤結(jié)果（例如，邊界框）并且計算檢測和跟蹤置信度值256。
[0065] 存儲器緩沖器210可存儲與先前的視頻幀（N-I) 222、當(dāng)前的視頻幀（N) 224或其它 所捕獲的視頻幀相關(guān)聯(lián)的一或多個值。在一種配置中，存儲器緩沖器210存儲所捕獲的先 前的視頻幀212,所述視頻幀212可包含對應(yīng)于先前的視頻幀（N-I) 222的信息。所捕獲的 先前的視頻幀212可包含關(guān)于一或多個窗242的信息，包含每個窗242的位置244、窗大小 246和二進(jìn)制決策層248 (例如，來自分類器238)。所捕獲的先前的視頻幀212還可包含跟 蹤閾值250、檢測閾值252以及檢測和跟蹤閾值254?？蓪⒏欓撝?50提供到運(yùn)動跟蹤器 206或?qū)ο蟾櫤蜋z測模塊204 (例如，置信級比較器）上的電路，以便確定258跟蹤置信 級是否大于跟蹤閾值250?？蓪z測閾值252提供到對象檢測器208或?qū)ο蟾櫤蜋z測模 塊204上的其它電路，以便確定檢測置信度值240是否大于檢測閾值252。檢測和跟蹤閾值 254可以是基于跟蹤閾值250和檢測閾值252的組合值?？蓪z測和跟蹤閾值254與檢測 和跟蹤置信度值256進(jìn)行比較，以便確定基于運(yùn)動的跟蹤和對象檢測的組合置信度值。閾 值中的每一個可以是基于目標(biāo)對象處于視頻幀內(nèi)的可能性的。對象跟蹤和檢測模塊204可 對當(dāng)前的視頻幀（N) 224執(zhí)行基于運(yùn)動的跟蹤和/或檢測，直到獲得特定的檢測和跟蹤置信 度值256。此外，可對多個視頻幀的序列中的每個視頻幀執(zhí)行基于運(yùn)動的跟蹤和對象檢測。 [0066] 執(zhí)行基于運(yùn)動的跟蹤和對象檢測可包含順序系執(zhí)行基于運(yùn)動的跟蹤，之后基于跟 蹤到的參數(shù)進(jìn)行對象檢測。具體地說，目前的系統(tǒng)和方法可實(shí)施兩步驟跟蹤和檢測方法。因 為基于運(yùn)動的跟蹤是基于場景的相對運(yùn)動，而不是如對象檢測所使用的實(shí)際對象識別，所 以基于運(yùn)動的跟蹤在電子裝置中可能比執(zhí)行對象檢測消耗更少資源。因此，使用運(yùn)動跟蹤 器206替代對象檢測器208可能是更有效的，其中可準(zhǔn)確地跟蹤目標(biāo)對象而無需還執(zhí)行對 象檢測。
[0067] 因此，不與對象檢測器208并行使用運(yùn)動跟蹤器206,對象跟蹤和檢測模塊204僅 在運(yùn)動跟蹤器206不足的情況下使用對象檢測器208,即，運(yùn)動跟蹤和對象檢測（如果全部 執(zhí)行）被順序地執(zhí)行而不是并行執(zhí)行。對于執(zhí)行跟蹤的每個視頻幀來說，運(yùn)動跟蹤器206 可產(chǎn)生跟蹤置信度值228,所述跟蹤置信度值228可以是在0與1之間的實(shí)數(shù)，其指示目標(biāo) 對象處于當(dāng)前的視頻幀（N) 224中的可能性。
[0068] 在兩步驟跟蹤和檢測方法的一種配置中，運(yùn)動跟蹤器206可首先對當(dāng)前的視頻幀 (N) 224執(zhí)行基于運(yùn)動的跟蹤。運(yùn)動跟蹤器206可基于所述基于運(yùn)動的跟蹤過程來確定跟蹤 置信度值228。使用由存儲器緩沖器210提供的跟蹤置信度值228和跟蹤閾值250,對象跟 蹤和檢測模塊204 (例如，置信級比較器）內(nèi)的電路可確定258跟蹤置信度值228是否超過 跟蹤閾值250。如果跟蹤置信度值228大于跟蹤閾值250,那么對象跟蹤和檢測模塊204可 跳過執(zhí)行對象檢測并且將跟蹤結(jié)果提供到融合模塊260以產(chǎn)生輸出262。輸出262可包含 目標(biāo)對象處于當(dāng)前的視頻幀（N) 224內(nèi)的指示。此外，輸出262可包含關(guān)于目標(biāo)對象的另外 的信息。
[0069] 如果跟蹤置信度值228不超過跟蹤閾值250,那么對象檢測器208隨后可對當(dāng)前的 視頻幀（N) 224執(zhí)行對象檢測。可對當(dāng)前的視頻幀（N) 224內(nèi)的全部窗或窗的子集執(zhí)行對象 檢測。對象檢測器208還可基于所述基于運(yùn)動的跟蹤結(jié)果和/或由存儲器緩沖器210提供 的信息來選擇窗的子集、窗大小或其它檢測標(biāo)準(zhǔn)?？苫谔峁┑綄ο髾z測器208的一或多 個跟蹤到的參數(shù)來使用或多或少穩(wěn)定的過程執(zhí)行對象檢測。對象檢測器208可確定檢測置 信度值240并且將檢測置信度值240與檢測閾值252進(jìn)行比較。如果檢測置信度值240高 于檢測閾值252,那么對象檢測器208可將檢測結(jié)果提供到融合模塊260以產(chǎn)生輸出262。 輸出262可包含目標(biāo)對象處于當(dāng)前的視頻幀（N) 224內(nèi)的指示和/或包含關(guān)于檢測到的對 象的另外的信息。
[0070] 或者，如果檢測置信度值240小于或等于檢測閾值252,那么對象檢測器208可使 用更穩(wěn)定的方法來再次執(zhí)行對象檢測，如搜索當(dāng)前的視頻幀（N) 224內(nèi)的較大數(shù)目的窗。對 象檢測器208可重復(fù)對象檢測的過程，直到獲得令人滿意的檢測置信度值240。一旦獲得了 令人滿意的檢測置信度值240,使得能識別當(dāng)前的視頻幀內(nèi)的目標(biāo)對象，對象跟蹤和檢測模 塊204就可用來對下一視頻幀執(zhí)行跟蹤和檢測。
[0071] 圖2B示出由處理器264實(shí)施的圖2A的系統(tǒng)內(nèi)的一些部件。如圖2A中所示，對象 跟蹤和檢測模塊204可由處理器264實(shí)施。不同處理器可用來實(shí)施不同部件（例如，一個 處理器可實(shí)施運(yùn)動跟蹤器206,另一個處理器可用來實(shí)施對象檢測器208并且又一個處理 器可用來實(shí)施存儲器緩沖器210)。
[0072] 圖3是示出用于執(zhí)行基于運(yùn)動的跟蹤和對象檢測的方法300的流程圖。方法300 可以通過電子裝置102,例如對象跟蹤和檢測模塊104來實(shí)現(xiàn)。電子裝置102可以通過將 先前的視頻幀（N-I) 222與當(dāng)前的視頻幀（N) 224進(jìn)行比較，針對當(dāng)前的視頻幀（N) 224執(zhí)行 302基于運(yùn)動的跟蹤。跟蹤對象可以使用中值流方法通過跟蹤多對圖像之間的點(diǎn)來執(zhí)行。 也可以使用基于運(yùn)動的跟蹤的其它方法。另外，可以使用關(guān)于經(jīng)由存儲器緩沖器110提供 的所捕獲的先前視頻幀112的信息來針對當(dāng)前的視頻幀（N) 224執(zhí)行基于運(yùn)動的跟蹤。
[0073] 電子設(shè)備102可確定304跟蹤置信度值228。跟蹤置信度值228可指示目標(biāo)對象 已被準(zhǔn)確地跟蹤的可能性或確定性。電子裝置102可確定306跟蹤置信度值228是否大于 跟蹤閾值250。如果跟蹤置信度值228大于跟蹤閾值250,那么電子裝置102可針對下一個 視頻幀執(zhí)行308基于運(yùn)動的跟蹤。此外，電子裝置102可基于基于運(yùn)動的跟蹤的結(jié)果而跳 過對當(dāng)前的視頻幀（N)224執(zhí)行對象檢測。換句話說，可以僅在運(yùn)動跟蹤不是非常好時，即 在跟蹤置信度值228不大于跟蹤閾值250的情況下，針對當(dāng)前的視頻幀（N) 224執(zhí)行對象檢 測。然而，如果跟蹤置信度值228不大于跟蹤閾值250,那么電子裝置102可針對當(dāng)前的視 頻幀（N) 224執(zhí)行310對象檢測。電子裝置102可按順序執(zhí)行對象檢測和基于運(yùn)動的跟蹤。 在一些配置中，對象檢測可以不同的穩(wěn)健性執(zhí)行多次，以便獲得更高的檢測置信度值240。
[0074] 圖4是示出用于執(zhí)行基于運(yùn)動的跟蹤的方法400的流程圖。方法400可以通過電 子裝置102,例如對象跟蹤和檢測模塊104來實(shí)現(xiàn)。電子裝置102可使用邊界框來標(biāo)識402 目標(biāo)對象。標(biāo)識402對象可以使用觸摸屏116或選擇感興趣的對象的其它輸入方法手動地 執(zhí)行。可以類似的方式標(biāo)識多個對象。此外，可以使用其它輸入方法來標(biāo)識待跟蹤的對象。 在一個實(shí)例中，通過在目標(biāo)對象周圍手動地繪制邊界框來標(biāo)識對象。
[0075] 電子裝置102可以將邊界框內(nèi)的網(wǎng)格上的點(diǎn)初始化404...