一種動態(tài)物體的檢測處理方法及其系統的制作方法
【專利摘要】一種動態(tài)物體的檢測處理方法及其系統，其中所述方法包括：采集一段與視頻相對應的視頻圖像序列；獲取這段視頻圖像序列中的若干個視頻幀，以及確定計算能力與處理頻率限制。這種方法還包括如何在上述計算能力與處理頻率限制的范圍內，從所述若干個視頻幀中劃定一到數個感興趣區(qū)域以及依據感興趣區(qū)域從所述若干個視頻幀中選擇一個特定的幀的集合。這樣的一個特定的幀的集合實質上代表了上述若干個視頻幀的物體圖像演變過程。更具體的，這種方法還包括在上述計算能力與處理頻率限制的范圍內，通過運算所述特定的幀的集合在其中檢測目標物體出現情況。
【專利說明】一種動態(tài)物體的檢測處理方法及其系統

【技術領域】
[0001] 本發(fā)明涉及電視機及用戶界面【技術領域】，尤其涉及視頻處理系統及其方法的技 術。

【背景技術】
[0002] 過去普遍使用的電視機在很多情況下并不能滿足用戶的需求。如果想要在這些電 視機上運行一個指令，用戶需要記住這個指令的名稱和運行這個指令的大致操作步驟，或 者從用戶預設的喜愛菜單中選擇。如果用戶沒有輸入合適的搜索條件，將無法在數據庫中 找到對應的搜索結果，或是搜索結果無法準確的反映用戶的真正需求，由此對用戶的使用 感覺造成不良的影響。
[0003] 隨著影像處理技術的發(fā)展，智能電視機成為了發(fā)展的潮流。發(fā)展一種基于物體檢 測，有效直觀的用戶界面控制系統的需求越來越強烈。當用戶通過遙控向電視機發(fā)出一個 搜索相關目標（如某種商物）的指令時，智能電視機將會從一個到多個網絡數據庫中找出 與該目標相匹配的部分并形成一個結果列表供用戶選擇（例如，視頻，網頁，維基百科，購 物信息等等）。更進一步的，智能電視機還能夠利用物體檢測在電視頻道和網絡上進行搜 索，從而提供一個真正吻合用戶需求的搜索內容。并且智能電視還可以跟蹤用戶的瀏覽歷 史，通過推送通知的方式來更新這個搜索內容。這為用戶提供了在視頻節(jié)目中瀏覽搜索結 果的互動式圖像體驗。
[0004] 但是，有效的進行物體檢測是一個非常困難的任務，特別是對移動物體的檢測。當 其需要檢測的是移動的復雜物體并且還要兼顧準確性和計算速度兩者的平衡時，要有效完 成這一任務是更為困難的。所述的復雜目標是指一個既沒有規(guī)則的外部輪廓又會發(fā)生多 種形態(tài)變化的物體。例如，檢測書包是非常困難的，因為書包沒有特定的形狀，會發(fā)生破損 變形，被手部阻擋等情況，甚至還會發(fā)生形態(tài)變化。在這種情況下，低復雜目標檢測系統將 無法提供準確的檢測結果，而只利用移動評價的檢測系統不會意識到書包可以被人用手拿 著，并且由此，前景移動評價將會把人和書包一起視為書包，而不能僅僅檢測書包。
[0005] 在實時系統中，對獲取的圖像視頻序列的每一視頻幀都進行復雜目標檢測運算是 幾乎是不可能或者是不切實際的。也就是說，其不可能有足夠的計算能力在每一視頻幀上 進行復雜目標檢測運算并且實時系統只能在其計算能力限度內生成運算結果。
[0006] 本發(fā)明公開的方法及其系統用于解決現有技術中的一個或者多個問題因此，現有 技術還有待改進和發(fā)展。


【發(fā)明內容】

[0007] 本發(fā)明的一方面公開了一種物體檢測系統的運行方法。所述方法包括：采集與輸 入視頻對應的圖像序列；獲取這段圖像序列中的若干視頻幀，確定計算能力與處理頻率的 限制。這種方法還包括在計算能力與處理頻率限制范圍內，從所述若干視頻幀中選擇一個 或多個個感興趣區(qū)域以及依據感興趣區(qū)域從所述若干個視頻幀中選出一個特定的幀的集 合。所述一個特定的幀的集合實質上代表了所述若干個視頻幀的物體圖像演變過程。更具 體的，這種方法還包括在計算能力與處理頻率的限制范圍內通過對所述一個特定的幀的集 合進行運算，在這個集合中檢測目標物體的出現。
[0008] 本發(fā)明另一方面公開了一種物體檢測系統。所述系統包括預處理模塊和目標檢測 模塊。所述預處理模塊用以采集與輸入視頻相對應的視頻圖像序列；獲取這段視頻圖像序 列中的若干視頻幀，以及確定計算能力與處理頻率的限制。所述目標檢測模塊還包括：感興 趣區(qū)域選擇單元，用以在上述計算能力與處理頻率的限制范圍內，從所述若干視頻幀中劃 定一到數個感興趣區(qū)域以及最優(yōu)視頻幀選擇單元，用以依據感興趣區(qū)域從所述若干視頻幀 中選出一個特定的幀的集合。這樣的一個集合實質上代表了所述若干個視頻幀的物體圖像 演變過程。所述目標檢測模塊還包括目標檢測單元，用以在計算能力與處理頻率的限制范 圍內通過所述一個特定的幀的集合進行運算，在這個集合中檢測目標物體的出現。
[0009] 本發(fā)明的其他方面，所屬【技術領域】技術人員能夠依據本發(fā)明的權利要求書，說明 書，以及附圖有效實施并充分公開。
[0010] 附圖簡要說明
[0011] 圖1展示了關于本發(fā)明的具體實施例中的典型環(huán)境示例。
[0012] 圖2展示了一個與公開實施例一致的計算系統的示例。
[0013] 圖3展示了一個與公開實施例一致的智能電視機系統的示例。
[0014] 圖4展示了一個與公開實施例一致的目標檢測系統框架的示例。
[0015] 圖5A-?展示了與公開實施例一致的目標檢測系統中源自視頻的4視頻幀。
[0016] 圖6A-6D展示了與公開實施例一致的目標檢測系統中的提取視頻幀以及其相應 的感興趣區(qū)域。
[0017] 圖7A-7B展示了與公開實施例一致的移動離散性分布圖的示例

【具體實施方式】
[0018] 附圖中展示的部分將被引用以具體說明，闡述本發(fā)明具體技術實施方案。說明書 中引用的數字代表附圖的相應部分。
[0019] 如圖1所示，這是本發(fā)明一個典型環(huán)境100。所述環(huán)境100中包括有：電視機102， 遙控器104,用戶108,可選擇的，環(huán)境100還可以有網絡設備106。
[0020] 電視機102可以是任何合適類型的電視機，例如等離子電視，LCD電視，背投式電 視，智能電視或者非智能電視。電視機102還需要包括一個計算系統，例如個人電腦，掌上、 移動電腦或者是服務器等。
[0021] 遙控器104可以是任何合適類型的能夠遙控操作電視機102的遙控器，例如配套 的電視遙控器，通用電視遙控器，掌上電腦，智能手機或者其他能夠實現遙控功能的智能設 備。遙控器104還可以包括其他不同類型的設備，例如動作感應遙控設備，圖像感應遙控設 備以及其他一些輸入設備，例如鍵盤，鼠標，聲控輸入等。
[0022] 用戶需要觀看電視節(jié)目或者在電視上進行其他感興趣的活動時，例如在電視上購 物，用戶108首先拿起遙控器104,然后用遙控器104控制電視機進行用戶感興趣的活動。 如果電視機配備有動作感應或者圖像感應裝置，用戶還可以使用手勢動作進行控制。在這 個使用過程中，用戶與電視機102或者網絡設備106之間實現交流，互動。
[0023] 更具體的，所述可選擇加入的網絡設備106包括任何能夠使遙控器104以及電視 機102之間進行數據交流，存儲，處理更為方便的計算性或者消費性電子設備。遙控器104 和網絡設備106之間通過一種或者多種聯系網絡相互進行聯系。
[0024] 電視機102,遙控器104和/或網絡設備106在一個合適的計算電子平臺實現其功 能。圖2是其中一種可用于實現上述設備102、104、106的功能的計算系統200的方框圖。
[0025] 如圖2所示，所述計算系統200包括一個處理器202,存儲媒介204,監(jiān)控器206,通 信模塊208,數據庫210以及外圍設備212。所述計算系統可以減省上述設備，也可以添加 一些其他類型的設備，而不限于上述設備。
[0026] 處理器202可以是任何合適的處理器或處理器組。更具體的，所述處理器202可以 是能夠進行多線程處理的多核心處理器。存儲媒介204可以包括內存模塊，例如ROM，RAM， 閃存模塊以及大容量存儲模塊，例如⑶-ROM，硬盤等。在處理器202運行為實現多種數據處 理而預設的計算機運行程序時，存儲媒介204可以用于存儲這些計算機運行程序。
[0027] 更具體的，外圍設備212可以包括不同的傳感器和輸入，輸出設備，例如鍵盤，鼠 標。通信模塊208可以包括一些網絡接口設備。其通過聯系網絡在設備之間建立連接。數 據庫210可以包括一到多個存儲不同數據，并可以對數據進行一些處理，例如搜索數據的 數據庫。
[0028] 圖3展示了與本發(fā)明的具體技術方案一致的智能電視系統300。如圖3所示，控制 系統300包括了一個視頻解碼器302,數據存儲模塊304以及視頻處理模塊306。所述控制 系統300還包括一個預處理模塊308,目標檢測模塊310,檢測后處理模塊312。所述控制系 統可以減省上述組成設備，也可以添加一些其他類型的設備，而不限于上述設備。所述系統 300可以由硬件實現其功能，也可以由軟件實現其功能，還可以結合硬件和軟件一起實現其 功能。
[0029] 所述視頻解碼器302可以是任何適合的視頻解碼器，該視頻解碼器能夠解碼輸入 電視機102比特流。在比特流被解碼后，數據被傳輸到視頻處理模塊306進行處理，使這些 數據能夠播放。更具體的，所述數據存儲模塊304是任何合適的用于存儲視頻數據的存儲 媒介。視頻數據在被存儲到數據存儲數據模塊304之前先進行編碼，并且在傳輸到視頻處 理模塊306處理前進行解碼。
[0030] 所述視頻解碼器302,數據存儲模塊304以及視頻處理模塊306用以實現電視機 102的錄制回放功能。用戶108能夠在一段時間（例如幾秒鐘，幾分鐘，幾個小時）內控制 一段實時播放節(jié)目的重放。此時，數據存儲模塊304在解碼與播放之間存儲或者緩存這些 數據。但是，如果在使用一些不需要緩存數據功能時，可以省略數據存儲模塊304的步驟而 由其他處理模塊（例如處理器202)連接解碼器302和視頻處理模塊306以實現實時同步 數據處理。
[0031] 預處理模塊308的功能是將一段視頻分成許多視頻幀。這就是說，預處理模塊308 可以將儲存在數據存儲模塊304中過去一段時間內的視頻信息分成許多視頻幀，然后進一 步處理。
[0032] 更具體的，預處理模塊308還可以決定一些系統運作參數。例如，它可以決定控制 系統300的計算能力限制和處理頻率限制。這就是說，預處理模塊308可以決定處理系統 的運算能力和一次能夠處理、運算的視頻幀數，例如物體檢測等。
[0033] 檢測后處理模塊312可以用于控制系統300運算后得到的數據的處理。例如，所 述檢測后處理模塊312可以用于對最終檢測出的目標物體的出現情況進行存儲或者處理。 [0034] 所述目標檢測模塊310可以用于檢測可能在視頻上出現的目標。根據特定的應 用，所述檢測模塊可以整合在電視機102里面，或者，設置在電視機102的外面。
[0035] 更詳細的，所述目標檢測模塊310通過若干個檢測步驟在所述運算能力和處理頻 率的限制范圍內實現實時檢測復雜物體的功能。目標檢測模塊310的運算能力由控制系統 300的實際和/或者實時限制運算能力決定。圖4展示了目標檢測模塊310可以使用的一 種檢測步驟框架圖。
[0036] 如圖4所示，目標檢測模塊310可以由感興趣區(qū)域計算單元410,最優(yōu)視頻幀選擇 單元440和目標檢測單元460組成。所述目標檢測模塊310也可以包括其他不同的組件。 因此，一個完整的目標物體檢測處理過程可以分為三個步驟：計算感興趣區(qū)域，選擇最優(yōu)視 頻幀以及檢測目標物體。所述檢測模塊310的輸入數據由預處理模塊308在運算能力以及 處理頻率的限制范圍內進行預先處理。
[0037] 感興趣區(qū)域計算單元410對輸入視頻的每一視頻幀進行處理，形成許多感興趣區(qū) 域。更詳細的，物體移動和紋理數據采集子單元420用于分析視頻圖像中的目標物體移動 和紋理數據。在一些實施例中，物體移動和紋理數據采集子單元420可以采用基于區(qū)域移 動分析的方法來獲得目標物體的移動數據。
[0038] 因此，紋理計算組件426用于獲得視頻圖像的紋理信息。更詳細的，目標移動判斷 組件422與角度和距離測定組件424將物體在圖像上的移動分拆為移動角度和距離兩個參 數進行描述。圖像表達組件414利用區(qū)域判斷分析算法整合，分析上述數據，形成一個感興 趣區(qū)域的圖像結果。最后，經過圖像切割組件412在生產的圖像結果上切割生成最終的感 興趣區(qū)域。
[0039] 更具體的，最優(yōu)視頻幀選擇單元440決定了提交給目標檢測單元310計算的最優(yōu) 視頻幀或者是所需要的視頻幀。更詳細的，感興趣區(qū)域計算單元410生成感興趣區(qū)域的輸 入數據還包括圖像質量數據。圖像質量數據計算子單元450利用局部區(qū)域特征以及內容覆 蓋信息（分別由局部區(qū)域特征組件452和內容覆蓋信息組件454提供）表征一個特定的幀 的集合的圖像質量變化趨勢。上述選擇最優(yōu)視頻幀的裝置利用上述數據在可能相連的視頻 幀之間建立聯系，由此生成一個有向無環(huán)圖（DAG)。所述有向無環(huán)圖可以視為這些視頻幀之 間建立了邏輯聯系，但事實上其并非真正進行了這些聯系，而是通過數據分析處理達到的 效果。更詳細的，最優(yōu)路徑選擇組件444用以選擇在有向無環(huán)圖中最長的路徑。雖然在結 果上需要對最優(yōu)路徑組件444所使用的拉格朗日因子進行一些微調，但這個最長路徑實際 上代表了一個最佳的幀的集合。
[0040] 在最優(yōu)視頻巾貞選擇單元440選擇出所需視頻巾貞462后，選出視頻巾貞462由目標檢 測單元460進行運算。更詳細的，目標檢測組件464通過運算形成目標出現檢測結果，而這 個結果將被存儲在目標出現466。目標檢測單元對每個選出視頻幀都進行目標檢測運算操 作。
[0041] 依據本發(fā)明公開的具體技術方案，以下將更詳細地描述檢測移動和/或復雜目標 的目標檢測系統的具體操作和處理。
[0042] 在獲取一段視頻后，將這段視頻用V=^iKvi表示，其中i是自然數，N表示這段視 頻的總視頻幀數，Fi表示視頻V的第ith視頻幀，在V中檢測移動物體集合C通過移動數據 以及每個幀在Dt5C )中檢測得出的移動物體集合C的結果疊加得到，這樣的結果經過i幀 的疊加后，就是所需要的最終結果。
[0043] 為了方便陳述，本發(fā)明將物體在圖像中的出現記為0,物體記為0'使用目標物體 檢測組件D。(.）的必要性在于檢測復雜物體不能只檢測其移動情況，例如，檢測在T形臺上 走動的模特身上穿的衣服或者她拿在手里的手提包。
[0044] 但是，上述方法是建立在系統運算能力強大到能夠將所有視頻幀的D。(·）整合，并 及時地得出所需要的結果的基礎上。而在實時檢測復雜移動物體時使用這種方法所需要的 龐大運算量是不可能被滿足的，特別是，隊(.）在進行目標物體檢測之前的準備就需要占用 非常多的運算能力。
[0045] 因此，考慮到系統的運算能力、能夠提交給隊(.）進行檢測的最大視頻幀數，或者 兩者（例如，由預處理模塊308決定），需要對檢測方法進行調整。
[0046] 在上述運算能力和運算時間的限制下，為達成物體檢測的任務，可以在視頻中選 擇最能體現物體移動特點的一部分視頻幀S = ?選擇所述最優(yōu)的一部分視頻幀s以 及隊(.）分析檢測最優(yōu)部分視頻幀s所需的運算量都應在系統運算能力范圍之內。視頻幀 的總數Ns在預先確定的最大視頻幀數之內。
[0047] 因此，預想的目標物體檢測裝置隊(.）的任務可以被定義為：給出一個運算能力速 率Y以及處理頻率κ，任務是在視頻V的移動物體集合C中找出目標物體的運動情況，運 行這樣的檢測程序所需的運算量必須低于或等于Y N，并且生成這個目標物體在視頻中的 運動情況的結果最多使用κ N。也就是說：運算能力速率限制決定了分析，檢測，處理這段 視頻所能使用的最長時間而處理頻率限制決定了能交給隊(.）處理的最大視頻幀數。
[0048] 為了滿足所述運算能力速率的限制和處理頻率的限制，物體檢測系統選擇了能夠 反映物體在視頻中運動的趨勢的一個幀的集合并將其交給隊(.）檢測處理。如本文中所使 用的，物體Cf的圖像在視頻中的出現順序被稱為目標物體圖像演變過程。移動物體Cf在一 視頻幀中的圖像則被認為是對〇 #在視頻中出現的其中一個視圖的描述。
[0049] 例如，圖5A-?展示了視頻中的四個視頻幀，所檢測的物體是模特手中的手提包。 如圖5A-?所示，前兩視頻幀顯示了 Cf的一個方向的視圖，后兩視頻幀則顯示了另一個方 向的視圖。在只使用隊(.）檢測兩視頻幀的前提下，如果目標是檢測模特手中的手提包，應 該將分別能代表兩個方向視圖的兩視頻幀輸入隊(.）進行檢測。因為這樣的兩視頻幀可以 表示手提包的物體圖像演變過程。
[0050] 因此，物體檢測系統的目標就是選擇出最能完整展現目標物體在視頻中的物體圖 像演變過程的視頻幀。
[0051] 在另一個具體技術實施方案中，可以用感興趣區(qū)域代替S。所述感興趣區(qū)域是指視 頻幀中能反映目標物體的移動以及視覺上相關的區(qū)域。
[0052] 選擇最能體現物體移動特點的一部分視頻幀S的其中一種機制可以是選擇所有 視頻幀中最能代表目標物體的物體圖像演變過程的視頻幀。在一個具體技術實施方案中， 只選擇包含目標物體的圖像的區(qū)域作為代表區(qū)域，以減少背景環(huán)境改變所帶來的影響。所 述代表區(qū)域記為R，整合起來總體上稱為視頻幀的感興趣區(qū)域。
[0053] 另一方面，如果移動目標物體在視頻中是清晰可見并且有顯著的移動，R也可以被 認為是包含了在F中有顯著移動和相關紋理的區(qū)域。劃定所述區(qū)域是運算，檢測復雜物體 的要求，劃定所述區(qū)域所需的運算量是大大小于在F中檢測復雜物體的運算量的。如前所 述，復雜物體的檢測不能只檢測其移動，要得出最終可靠的結果，還需要檢測復雜物體的形 狀變化。
[0054] 物體在視頻圖像中位置變動有兩種類型：攝像機移動和目標物體自身移動。攝像 機移動是指攝像機的移動導致物體在圖像中的位置變動。目標物體自身移動是指目標物體 自身的移動導致其在圖像中的位置變動。為了更好的說明，本發(fā)明具體技術方案的檢測視 頻是采用攝像機變焦，移動拍攝的，因為這種方式在電視節(jié)目錄制中更為常用。
[0055] 在具體實施方案中，采用劃分區(qū)域檢測方式來檢測目標物體的移動情況，因為直 接檢測物體的攝像機移動運算復雜而且容易受目標物體自身移動的干擾。例如，通過分析 F中相鄰區(qū)域之間移動距離的差別，亦即相關的圖像紋理信息，來判斷屬于目標物體自身移 動區(qū)域。最佳情況是，視頻圖像F畫面中劃分判斷出的背景區(qū)域都移動了相同的距離，并且 其計算得出的距離也是正確的。
[0056] B1表示F中代表目標物體自身移動的區(qū)域，Bg表示F中代表背景的區(qū)域。如果B1 和Bg在某視頻幀中相鄰，它們移動的距離就會不同。因此，所述感興趣區(qū)域就是包括了在 同一視頻幀中具有不同移動距離的區(qū)域
[0057] 但是在實際操作中，發(fā)生兩個相鄰區(qū)域的移動距離不相同的情況，通常還可能由 以下幾個原因造成：(a)距離測算錯誤，（b)攝像機焦距改變影響，（c)其中一個區(qū)域是物體 圖像Cf而另一個是圖像背景。通常，距離測算錯誤是由區(qū)域圖像紋理過低引起。圖6A-6D 描述了一段時裝表演視頻中一個視頻圖像有關Cf的感興趣區(qū)域，其中Cf包括了模特。
[0058] 圖6A是一段模特在T形臺上走動的視頻的第一視頻巾貞。攝像機跟隨著模特的走 動而移動，屬于攝像機變焦移動的情況。圖6B顯示的是圖6A中的一種感興趣區(qū)域的劃分。 同樣的，圖6C是兩個模特在T形臺上相遇而攝像機進行了變焦的拍攝圖像。圖6D則是圖 6C的感興趣區(qū)域，它有兩個區(qū)域，分別對應兩個模特。
[0059] 如圖6A-D所示，感興趣區(qū)域雖然只是給出了包含目標物體的大概區(qū)域，但其非常 有效去除了大部分背景區(qū)域。因此，能在后續(xù)加入更多能正確代表圖像的圖形信息。
[0060] 更具體的，Fi表示當前視頻幀，所述視頻幀的多種參數正在被檢測，檢測的參數 有：R i, θζ(Β)，ωζ(Β)，（z>0,正整數），塊狀區(qū)域B在FjPFi+z之間的移動距離和移動幅度， HzO表示Bi和Bj在Fi中移動距離的差異程度。

【權利要求】
1. 一種物體檢測方法，其特征在于，包括如下步驟： 采集一段與視頻相對應的視頻圖像序列； 從所述視頻圖像序列中獲取若干個視頻幀； 確定運算能力限制以及處理頻率限制； 根據所述運算能力限制和處理頻率限制，從所述視頻圖像序列中的若干個視頻幀中選 擇一個或者多個感興趣區(qū)域； 根據感興趣區(qū)域從所述若干個視頻幀中選出一個特定的幀的集合，所述特定的幀的集 合用于代表所述若干個視頻幀的物體圖像演變過程；以及 根據所選出的特定的幀的集合檢測目標物體的出現，以使檢測目標出現所占用的運算 能力值在所述運算能力限制的范圍內，檢測目標出現所處理的總幀數在所述處理頻率限制 的范圍內。
2. 依據權利要求1所述的物體檢測方法，其特征在于，從視頻圖像序列中的若干個視 頻幀中選擇一個或者多個感興趣區(qū)域的步驟還包括： 計算所述若干個視頻幀的移動和紋理數據。
3. 依據權利要求2所述的物體檢測方法，其特征在于，從視頻圖像序列中獲取的若干 個視頻幀中選擇一個或者多個感興趣區(qū)域的步驟還包括： 將移動數據分解為移動角度以及移動距離； 依據移動角度和移動距離使用區(qū)域標記算法選擇感興趣區(qū)域，所述選擇出的感興趣區(qū) 域包含了所述若干個視頻幀中有顯著移動以及相關紋理的區(qū)域。
4. 依據權利要求3所述的物體檢測方法，其特征在于，所述區(qū)域標記算法具體包括： 當某區(qū)域移動為0時，該區(qū)域被判斷為沒有自身移動； 當某區(qū)域與其他相鄰區(qū)域無顯著移動或者紋理改變，該區(qū)域被判斷為沒有自身移動， 以及 當某區(qū)域的粗糙程度低于閾值時，該區(qū)域被判斷為沒有前景移動。
5. 依據權利要求1所述的物體檢測方法，其特征在于，所述若干個視頻幀由S表示，從 所述若干個視頻幀中選擇的一個特定的幀的集合的幀數由N表示，所述S代表物體圖像演 變過程的質量由Q(s)表示，S的檢測模塊由D。⑶表示，運行D。⑶所占用的運算能力由 i^(S)表示，S的運算時間消耗由RT(S)表示，獲取若干個視頻幀中的感興趣區(qū)域所占用的 運算量表示；Y表示運算能力限制，K代表運算處理頻率限制，所述從若干個視頻 幀中選出一個特定的幀的集合的步驟還包括： 通過以下公式求解最優(yōu)解問題，選出所述特定的幀的集合： maximize 0(S) subject to R^- (S) < yN- Rf. (V) and Rr(S) < /cN . . 〇
6. 依據權利要求5所述的物體檢測方法，其特征在于，所述步驟還包括： 使用動態(tài)規(guī)劃算法來求解最優(yōu)解問題。
7. 依據權利要求6所述的物體檢測方法，其特征在于，所述動態(tài)規(guī)劃算法還包括： 利用局部區(qū)域特征以及內容覆蓋信息代表一個可能的幀的集合的質量； 依據每個幀的集合的質量，在每個集合中可能是相鄰的兩視頻幀之間建立聯系； 創(chuàng)建有向無環(huán)圖，以及 使用動態(tài)規(guī)劃算法在有向無環(huán)圖中找出最長路徑。
8. 依據權利要求1所述的物體檢測方法，其特征在于，在所述根據所選出的特定的幀 的集合檢測目標物體的出現的步驟還包括： 在所述的選出的特定的幀的集合上進行目標檢測，檢測目標物體的出現情況。
9. 一種物體檢測系統，其特征在于，所述系統包括： 預處理模塊，用于采集一段與視頻相對應的視頻圖像序列；從所述視頻圖像序列中獲 取若干個視頻幀；確定運算能力限制以及處理頻率限制； 目標檢測模塊； 所述目標檢測模塊具體包括： 感興趣區(qū)域計算單元，用于根據所述運算能力限制和處理頻率限制，從所述視頻圖像 序列中的若干個視頻幀中選擇一個或者多個感興趣區(qū)域； 最優(yōu)視頻幀選擇單元，用于根據感興趣區(qū)域從所述若干個視頻幀中選出的一個特定的 幀的集合，用于代表所述若干個視頻幀的物體圖像演變過程；以及 目標檢測單元，用于根據所選出特定的幀的集合，檢測目標物體的出現，并且檢測目標 出現所占用的運算能力值在所述運算能力限制范圍內，檢測目標出現所處理的總幀數在處 理頻率限制的范圍內。
10. 依據權利要求9所述的物體檢測系統，其特征在于，所述感興趣區(qū)域計算單元還包 括： 物體移動和紋理數據采集子單元，用于計算所述若干個視頻幀的移動和紋理數據。
11. 依據權利要求10所述的物體檢測系統，其特征在于，所述物體移動和紋理數據采 集子單元還包括： 距離和角度測算組件，用于將移動數據分解為移動角度和移動距離；圖像表達組件，用 于依據移動角度和移動距離，使用區(qū)域標記算法來選擇感興趣區(qū)域；所述感興趣區(qū)域包含 了若干個視頻幀中有顯著移動以及相關紋理的區(qū)域。
12. 依據權利要求11所述的物體檢測系統，其特征在于，所述圖像表達組件，還用于判 斷： 當某區(qū)域移動為0時，該區(qū)域被判斷為沒有自身移動； 當某區(qū)域與其他相鄰區(qū)域無顯著移動或者紋理改變，該區(qū)域被判斷為沒有自身移動， 以及 當某區(qū)域的粗糙程度低于閾值時，該區(qū)域被判斷為沒有前景移動。
13. 依據權利要求9所述的物體檢測系統，其特征在于，所述最優(yōu)視頻幀選擇單元，還 用于： 通過以下公式求解最優(yōu)解問題，選出所述特定的幀的集合：
所述若干個視頻幀由S表示，從所述若干個視頻幀中選擇的一個特定的幀的集合的幀 數由N表示，所述S代表物體圖像演變過程的質量由Q(s)表示，S的檢測模塊由DJS)表 示，運行D。⑶所占用的運算能力由￥(S)表示，S的運算時間消耗由RT⑶表示，獲取若干 個視頻幀中的感興趣區(qū)域所占用的運算量由AR(V)表示；Y表示運算能力限制，K代表運 算時間速率限制。
14. 依據權利要求13所述的物體檢測系統，其特征在于，所述最優(yōu)視頻幀選擇單元還 用于使用動態(tài)規(guī)劃算法來求解最優(yōu)解問題。
15. 依據權利要求14所述的物體檢測系統，其特征在于，所述最優(yōu)視頻幀選擇單元還 包括： 圖像質量計算子單元，用于利用局部區(qū)域特征以及全局背景數據來代表一個可能的幀 的集合的質量； 最優(yōu)路徑選擇組件，用于依據每個可能的幀的集合的質量，在每個幀的集合中可能是 相鄰的兩視頻幀之間建立聯系；創(chuàng)建一幅有向無環(huán)圖，以及使用動態(tài)規(guī)劃算法在有向無環(huán) 圖中解出最長路徑。
16. 依據權利要求9所述的物體檢測系統，其特征在于，所述目標檢測單元還包括：目標檢測組件，用于在所述的特定的幀的集合上進行目標檢測，以檢測目標物體的出 現情況。
【文檔編號】H04N21/4728GK104349217SQ201410345205
【公開日】2015年2月11日 申請日期:2014年7月18日 優(yōu)先權日:2013年7月23日
【發(fā)明者】法奧斯托C·弗萊意緹斯, 汪灝泓 申請人:Tcl集團股份有限公司