跟蹤器輔助的圖像捕獲的制作方法
【專利說(shuō)明】
[0001] 相關(guān)申請(qǐng)案之奪叉參考
[0002] 本申請(qǐng)涉及2013年6月14日提交的標(biāo)題為"跟蹤器輔助的圖像捕獲（TRACKER ASSISTED IMAGE CAPTURE) "的美國(guó)臨時(shí)專利申請(qǐng)序列號(hào)61/835, 414并且主張其優(yōu)先權(quán)。
技術(shù)領(lǐng)域
[0003] 本公開(kāi)總體涉及電子裝置。更具體地說(shuō)，本公開(kāi)涉及用于跟蹤器輔助的圖像捕獲 的系統(tǒng)和方法。
【背景技術(shù)】
[0004] 在過(guò)去的幾十年中，電子裝置的使用已變得普遍。具體地說(shuō)，電子技術(shù)的進(jìn)步已降 低了日益復(fù)雜且有用的電子裝置的成本。成本降低和客戶需求使電子裝置的使用激增，從 而使得它們?cè)诂F(xiàn)代社會(huì)中無(wú)處不在。隨著電子裝置的使用擴(kuò)展，對(duì)電子裝置的新的且改進(jìn) 的特征的需求也增加。更具體地說(shuō)，執(zhí)行新功能和/或更快、更有效地執(zhí)行功能或具有更高 質(zhì)量的電子裝置是經(jīng)常追求的。
[0005] -些電子裝置（例如，照相機(jī)、視頻照相機(jī)、數(shù)字照相機(jī)、蜂窩電話、智能電話、計(jì) 算機(jī)、電視機(jī)等）捕獲或利用圖像。例如，數(shù)字照相機(jī)可以捕獲數(shù)字圖像。
[0006] 電子裝置的新的和/或改進(jìn)的特征是經(jīng)常追求的。如從這個(gè)討論中可以觀察到， 添加電子裝置的新的和/或改進(jìn)的特征的系統(tǒng)和方法可為有益的。

【發(fā)明內(nèi)容】

[0007] 描述了一種用于圖片處理的方法。獲得第一跟蹤區(qū)域。還獲得第二跟蹤區(qū)域。所 述方法包含開(kāi)始跟蹤所述第一跟蹤區(qū)域和所述第二跟蹤區(qū)域。在所述第一跟蹤區(qū)域與所述 第二跟蹤區(qū)域重疊的一部分超過(guò)閾值時(shí)，執(zhí)行圖片處理。
[0008] 在所述第一跟蹤區(qū)域與所述第二跟蹤區(qū)域重疊的所述部分大于所述閾值，可以執(zhí) 行所述圖片處理。在所述第一跟蹤區(qū)域與所述第二跟蹤區(qū)域重疊的所述部分小于所述閾 值，也可以執(zhí)行所述圖片處理。所述圖片處理可包含捕獲照片。所述照片可以從預(yù)錄視頻 鏡頭或從鏡頭捕獲。所述圖片處理還可以包含編輯視頻序列?？梢詫⑺龅谝桓檯^(qū)域所 跟蹤的對(duì)象從所述視頻序列中移除。
[0009] 可以確定的是，所述第一跟蹤區(qū)域與所述第二跟蹤區(qū)域的重疊在所述視頻序列的 第一幀中超過(guò)所述閾值?？梢赃x擇所述視頻序列的第二幀。所述第一跟蹤區(qū)域在所述第二 幀中可以與所述第二跟蹤區(qū)域不重疊。在所述第一幀中的所述第一跟蹤區(qū)域可以由來(lái)自所 述第二幀的對(duì)應(yīng)替代區(qū)域替代。
[0010] 所述第二幀可以在時(shí)間上晚于所述第一幀出現(xiàn)。所述第二幀也在時(shí)間上早于所述 第一幀出現(xiàn)。所述編輯過(guò)的第一幀可以存儲(chǔ)為編輯過(guò)的視頻序列的一部分。所述第一跟蹤 區(qū)域和所述第二跟蹤區(qū)域可以由用戶經(jīng)由聚焦環(huán)來(lái)進(jìn)入。開(kāi)始跟蹤所述第一跟蹤區(qū)域和所 述第二跟蹤區(qū)域可以在用戶已經(jīng)將手指從觸摸屏拿開(kāi)后發(fā)生。所述第二跟蹤區(qū)域可包含動(dòng) 作線。
[0011] 還描述了一種被配置用于圖片處理的電子裝置。所述電子裝置包含處理器、與所 述處理器電子通信的存儲(chǔ)器、以及存儲(chǔ)在存儲(chǔ)器中的指令。所述指令可執(zhí)行來(lái)獲得第一跟 蹤區(qū)域。所述指令還可執(zhí)行來(lái)獲得第二跟蹤區(qū)域。所述指令可進(jìn)一步執(zhí)行來(lái)開(kāi)始跟蹤所述 第一跟蹤區(qū)域和所述第二跟蹤區(qū)域。所述指令還可執(zhí)行來(lái)在所述第一跟蹤區(qū)域與所述第二 跟蹤區(qū)域重疊的一部分超過(guò)閾值時(shí)執(zhí)行圖片處理。
[0012] 描述了一種用于圖片處理的設(shè)備。所述設(shè)備包含用于獲得第一跟蹤區(qū)域的裝置。 所述設(shè)備還包含用于獲得第二跟蹤區(qū)域的裝置。所述設(shè)備進(jìn)一步包含用于開(kāi)始跟蹤所述第 一跟蹤區(qū)域和所述第二跟蹤區(qū)域的裝置。所述設(shè)備還包含用于在所述第一跟蹤區(qū)域與所述 第二跟蹤區(qū)域重疊的一部分超過(guò)閾值時(shí)執(zhí)行圖片處理的裝置。
[0013] 還描述了一種用于圖片處理的計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品包含在其上 具有指令的非暫態(tài)計(jì)算機(jī)可讀媒體。所述指令包含用于致使電子裝置獲得第一跟蹤區(qū)域的 代碼。所述指令還包含用于致使所述電子裝置獲得第二跟蹤區(qū)域的代碼。所述指令進(jìn)一步 包含用于致使所述電子裝置開(kāi)始跟蹤所述第一跟蹤區(qū)域和所述第二跟蹤區(qū)域的代碼。所述 指令還包含用于致使所述電子裝置在所述第一跟蹤區(qū)域與所述第二跟蹤區(qū)域重疊的一部 分超過(guò)閾值時(shí)執(zhí)行圖片處理的代碼。
【附圖說(shuō)明】
[0014] 圖1是示出用于在本發(fā)明的系統(tǒng)和方法中使用的電子裝置的框圖；
[0015] 圖2A是示出對(duì)象跟蹤和檢測(cè)模塊的框圖；
[0016] 圖2B示出在圖2A的系統(tǒng)內(nèi)的由處理器實(shí)現(xiàn)的一些組件；
[0017] 圖3是示出用于執(zhí)行基于運(yùn)動(dòng)的跟蹤和對(duì)象檢測(cè)的方法的流程圖；
[0018] 圖4是示出用于執(zhí)行基于運(yùn)動(dòng)的跟蹤的方法的流程圖；
[0019] 圖5是示出用于基于向前-向后誤差來(lái)估計(jì)基于運(yùn)動(dòng)的跟蹤中的跟蹤誤差的方法 的流程圖；
[0020] 圖6是示出用于執(zhí)行對(duì)象檢測(cè)的方法的流程圖；
[0021] 圖7是示出可以與本發(fā)明的系統(tǒng)和方法一起使用的不同窗大小的框圖；
[0022] 圖8是示出對(duì)象跟蹤和檢測(cè)模塊的另一種可能配置的框圖；
[0023] 圖9是示出平滑模塊的框圖；
[0024] 圖10是示出用于平滑運(yùn)動(dòng)跟蹤結(jié)果中的抖動(dòng)的方法的流程圖；
[0025] 圖11是用于使用對(duì)象跟蹤來(lái)執(zhí)行圖片處理的方法的流程圖；
[0026] 圖12A示出使用對(duì)象跟蹤的圖片處理的一個(gè)實(shí)例；
[0027] 圖12B也示出使用對(duì)象跟蹤的圖片處理的一個(gè)實(shí)例；
[0028] 圖13示出使用對(duì)象跟蹤的圖片處理的另一個(gè)實(shí)例；
[0029] 圖14是用于使用對(duì)象跟蹤來(lái)對(duì)視頻序列執(zhí)行圖片處理的方法的流程圖；
[0030] 圖15示出顯示在電子裝置上的未編輯的視頻序列和編輯過(guò)的視頻序列兩者的多 個(gè)幀；并且
[0031] 圖16示出可以包含在電子裝置內(nèi)的某些組件。
【具體實(shí)施方式】
[0032] 使用來(lái)自移動(dòng)平臺(tái)（例如，平板計(jì)算機(jī)、電話）的照相機(jī)來(lái)跟蹤圖像或所述圖像內(nèi) 感興趣的用戶限定區(qū)域內(nèi)的對(duì)象可能是困難的?？赡苄枰獙?shí)時(shí)性能（~30幀/秒（fps))。 一些配置可以將基于光流的跟蹤器和基于圖像內(nèi)容的檢測(cè)器的輸出組合以獲得穩(wěn)健的跟 蹤。然而，現(xiàn)有算法的計(jì)算可能對(duì)移動(dòng)平臺(tái)實(shí)現(xiàn)實(shí)時(shí)性能造成了阻礙。
[0033] 本發(fā)明的系統(tǒng)和方法可以實(shí)現(xiàn)以下技術(shù)以改進(jìn)跟蹤和檢測(cè)算法的速度：（1)在每 一幀處使用可能檢測(cè)窗的一部分（例如，隨機(jī)選擇窗位置）；（2)僅選擇針對(duì)對(duì)象檢測(cè)的接 近先前檢測(cè)到的目標(biāo)大小的幾個(gè)空間尺度；（3)基于先前跟蹤的置信度值，確定在部分圖 像還是在整個(gè)圖像中搜索對(duì)象；(4)基于先前的跟蹤結(jié)果動(dòng)態(tài)調(diào)整檢測(cè)窗的數(shù)量；(5)代替 并行地運(yùn)行跟蹤器和對(duì)象檢測(cè)器，首先應(yīng)用跟蹤器，因?yàn)樗龈櫰髟谟?jì)算上較廉價(jià)；以及 (6)僅在跟蹤器的置信度低于特定閾值時(shí)運(yùn)行對(duì)象檢測(cè)器。技術(shù)優(yōu)點(diǎn)之一是減少了跟蹤和 /或檢測(cè)目標(biāo)對(duì)象所使用的計(jì)算。
[0034] 跟蹤和檢測(cè)算法的一個(gè)特定用途是圖片處理。圖片處理可包含拍攝照片和/或視 頻編輯。實(shí)現(xiàn)圖片處理可提供所描述的跟蹤和檢測(cè)算法的實(shí)際使用應(yīng)用。
[0035] 如本文中所使用，術(shù)語(yǔ)"跟蹤"及其變體是指基于運(yùn)動(dòng)的、不標(biāo)識(shí)具體對(duì)象的過(guò)程。 例如，對(duì)象跟蹤和檢測(cè)模塊可跟蹤幀間運(yùn)動(dòng)并且基于電子裝置的移動(dòng)（例如，在照相機(jī)進(jìn) 行搖攝的情況下）或?qū)ο蟮膸g移動(dòng)來(lái)確定目標(biāo)對(duì)象的位置、大小或幀。術(shù)語(yǔ)"檢測(cè)"及其 變體是指試圖例如通過(guò)將幀的一部分與參考圖像進(jìn)行比較來(lái)標(biāo)識(shí)目標(biāo)對(duì)象的過(guò)程。例如， 對(duì)象跟蹤和檢測(cè)模塊可以將所捕獲幀的部分與（目標(biāo)對(duì)象的）參考圖像進(jìn)行比較以便標(biāo)識(shí) 目標(biāo)對(duì)象。在一個(gè)實(shí)例中，當(dāng)不能夠再跟蹤目標(biāo)時(shí)（例如，在對(duì)象落到視野之外的情況下）， 可以使用檢測(cè)。下文更詳細(xì)地解釋執(zhí)行基于運(yùn)動(dòng)的跟蹤和對(duì)象檢測(cè)的系統(tǒng)和方法。
[0036] 圖1是示出用于在本發(fā)明的系統(tǒng)和方法中使用的電子裝置102的框圖。電子裝 置102還可以被稱為無(wú)線通信裝置、移動(dòng)裝置、移動(dòng)站、用戶站、客戶端、客戶站、用戶設(shè)備 (UE)、遠(yuǎn)程站、訪問(wèn)終端、移動(dòng)終端、終端、用戶終端、用戶單元等。電子裝置的實(shí)例包含膝上 型或桌上型計(jì)算機(jī)、蜂窩電話、智能電話、無(wú)線調(diào)制解調(diào)器、電子閱讀器、平板裝置、游戲系 統(tǒng)等。這些裝置中的一些可以根據(jù)一或多個(gè)工業(yè)標(biāo)準(zhǔn)進(jìn)行操作。
[0037] 電子裝置102,如智能電話或平板計(jì)算機(jī)，可包含照相機(jī)。照相機(jī)可包含圖像傳感 器114和光學(xué)系統(tǒng)118 (例如，透鏡），所述光學(xué)系統(tǒng)118將位于光學(xué)系統(tǒng)118的視野內(nèi)的 對(duì)象的圖像聚焦到圖像傳感器114上。電子裝置102還可包含照相機(jī)軟件應(yīng)用程序和顯示 屏。當(dāng)照相機(jī)應(yīng)用程序正在運(yùn)行時(shí)，可通過(guò)圖像傳感器114來(lái)記錄位于光學(xué)系統(tǒng)118的視 野內(nèi)的對(duì)象的圖像?？蓪D像傳感器114正在記錄的圖像顯示在顯示屏上。這些圖像可以 相對(duì)高的幀速率快速連續(xù)地顯示，以便在任何給定時(shí)刻，位于光學(xué)系統(tǒng)118的視野內(nèi)的對(duì) 象都被顯示在顯示屏上。盡管本發(fā)明的系統(tǒng)和方法是根據(jù)所捕獲的視頻幀進(jìn)行描述的，但 是本文所討論的技術(shù)可用于任何數(shù)字圖像。因此，術(shù)語(yǔ)視頻幀和數(shù)字圖像在本文可互換地 使用。
[0038] 照相機(jī)應(yīng)用程序的用戶接口 120可容許跟蹤顯示在顯示屏上的一或多個(gè)對(duì)象?？?容許電子裝置102的用戶選擇待跟蹤的一個(gè)或多個(gè)對(duì)象。此外，所選擇的對(duì)象可用作稍后 檢測(cè)所述對(duì)象的參考。
[0039] 在一種配置中，顯示器是接收來(lái)自實(shí)體觸摸（例如，通過(guò)手指、鐵筆或其它工具） 的輸入的觸摸屏116。觸摸屏116可接收限定待跟蹤的目標(biāo)對(duì)象的觸摸輸入。例如，如果電 子裝置102正在捕獲包含感興趣的動(dòng)物的自然場(chǎng)景，那么必要時(shí)用戶可在所述動(dòng)物周?chē)L 制出指示希望跟蹤或檢測(cè)所述動(dòng)物的邊界框。目標(biāo)對(duì)象可以任何合適的方式進(jìn)行選擇。例 如，可以使用面部識(shí)別、行人識(shí)別等來(lái)選擇待跟蹤、檢測(cè)或兩者的目標(biāo)對(duì)象。在一種配置中， 可跟蹤多個(gè)對(duì)象。用戶接口 120可允許用戶與對(duì)象跟蹤和檢測(cè)模塊104進(jìn)行交互，例如以 便選擇（即，限定）一個(gè)或多個(gè)目標(biāo)對(duì)象。觸摸屏116可包含取景器131。取景器131可以 是指觸摸屏116的顯示視屏流或現(xiàn)場(chǎng)饋送的部分。例如，取景器131可將照相機(jī)獲得的景 象顯示在電子裝置102上。
[0040] 電子裝置102可包含用于跟蹤所選擇的對(duì)象和/或檢測(cè)視頻幀中的對(duì)象的對(duì)象跟 蹤和檢測(cè)模塊104。對(duì)象跟蹤和檢測(cè)模塊104可包含用于跟蹤一個(gè)或多個(gè)對(duì)象的運(yùn)動(dòng)跟蹤 器106。運(yùn)動(dòng)跟蹤器106可以是基于運(yùn)動(dòng)的，以用于跟蹤圖像（例如，視頻幀）上的點(diǎn)的幀 間運(yùn)動(dòng)，以便估計(jì)在先前的視頻幀與當(dāng)前的視頻幀之間目標(biāo)對(duì)象的位置和/或位置變化。
[0041] 對(duì)象跟蹤和檢測(cè)模塊104還可包含用于檢測(cè)視頻幀上的對(duì)象的對(duì)象檢測(cè)器108。 對(duì)象檢測(cè)器108可使用對(duì)象模型而不是基于運(yùn)動(dòng)的模型，以便通過(guò)將當(dāng)前視頻幀的全部或 一部分與（例如，視頻幀序列中的）所捕獲的先前視頻幀112的所選擇對(duì)象或一部分進(jìn)行 比較來(lái)檢測(cè)對(duì)象。對(duì)象檢測(cè)器108可用于檢測(cè)視頻幀內(nèi)的多個(gè)對(duì)象。
[0042] 對(duì)象跟蹤和檢測(cè)模塊104還可包含存儲(chǔ)器緩沖器110。存儲(chǔ)器緩沖器110可存儲(chǔ) 一或多個(gè)所捕獲的幀以及與所捕獲的視頻幀相關(guān)聯(lián)的數(shù)據(jù)。在一個(gè)實(shí)例中，存儲(chǔ)器緩沖器 110可存儲(chǔ)先前捕獲的視頻幀112。對(duì)象跟蹤和檢測(cè)模塊104可使用從存儲(chǔ)器緩沖器110 提供的關(guān)于所捕獲的先前視頻幀112的數(shù)據(jù)以便執(zhí)行基于運(yùn)動(dòng)的跟蹤和/或?qū)ο髾z測(cè)。數(shù) 據(jù)可經(jīng)由來(lái)自存儲(chǔ)器緩沖器110的反饋而被提供到運(yùn)動(dòng)跟蹤器106或?qū)ο髾z測(cè)器108,以便 調(diào)整基于運(yùn)動(dòng)的跟蹤和對(duì)象檢測(cè)，從而更準(zhǔn)確地跟蹤和/或檢測(cè)目標(biāo)對(duì)象。例如，存儲(chǔ)器緩 沖器110可將位置和窗大小數(shù)據(jù)提供到運(yùn)動(dòng)跟蹤器106和對(duì)象檢測(cè)器108,以便向運(yùn)動(dòng)跟蹤 器106和對(duì)象檢測(cè)器108提供可用來(lái)在跟蹤或檢測(cè)對(duì)象時(shí)更準(zhǔn)確地查明對(duì)象的位置和大小 的一或多個(gè)參數(shù)。
[0043] 如上所述，電子裝置102可執(zhí)行基于運(yùn)動(dòng)的跟蹤?？墒褂枚喾N方法來(lái)執(zhí)行基于運(yùn) 動(dòng)的跟蹤。在一個(gè)實(shí)例中，通過(guò)中值流方法執(zhí)行跟蹤，在所述方法中，運(yùn)動(dòng)跟蹤器106接受 一對(duì)圖像I t、It+1 (例如，視頻幀）和邊界框^并且輸出邊界框β t+1?？梢褜⑦吔缈?的矩形網(wǎng)格上的一組點(diǎn)初始化并且跟蹤所述點(diǎn)以便在1,與I t+1之間生成稀疏的運(yùn)動(dòng)流?？?估計(jì)點(diǎn)預(yù)測(cè)的質(zhì)量并且為每個(gè)點(diǎn)指定一個(gè)誤差。最壞預(yù)測(cè)的一部分（例如，50%)可被過(guò) 濾掉