一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)及方法
【專利摘要】本發(fā)明提供了一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)，包括：云調(diào)度管理模塊以及多個分析模塊；所述云調(diào)度管理模塊，用以在接收到任務(wù)后將海量視頻進行邏輯切分，并根據(jù)每個分析模塊的負載能力，將被邏輯切分后的海量視頻按策略分配到每個所述分析模塊的分析節(jié)點。本發(fā)明申請采用一定的云調(diào)度機制結(jié)合數(shù)據(jù)智能切分分析技術(shù)，有效地提高了對海量視頻進行處理的時效性和穩(wěn)定性。
【專利說明】
一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)及方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及視頻監(jiān)控領(lǐng)域，特別地是指一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)及方法。
【背景技術(shù)】
[0002]大數(shù)據(jù)或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工作業(yè)，在合理時間內(nèi)達到截取、管理、處理并整理成為人類所能解讀的信息。當代社會視頻監(jiān)控數(shù)據(jù)的爆炸式增長，意味著需要投入更多的資源以及人工，才能在體量龐大的數(shù)據(jù)中尋找出有價值的信息。目前各大廠商也發(fā)現(xiàn)單個節(jié)點的相關(guān)設(shè)備無法適應(yīng)滿足海量的視頻監(jiān)控數(shù)據(jù)的處理需求，亦無法跟上視頻監(jiān)控數(shù)據(jù)增長的速度。在視頻監(jiān)控領(lǐng)域，視頻分析的效率往往決定其價值，更低的延遲、更準確的分析往往是平安城市類客戶的普遍需求。隨著視頻監(jiān)控數(shù)據(jù)量的增加，哪怕是對于TB級別視頻內(nèi)容進行數(shù)據(jù)分析和檢索，采用串行計算的模式都可能需要花費數(shù)小時的時間計算，串行計算模式已遠遠不能適應(yīng)滿足用戶對數(shù)據(jù)分析檢索的時效性需求。

【發(fā)明內(nèi)容】

[0003]有鑒于此，本申請?zhí)峁┮环N基于海量視頻的結(jié)構(gòu)化處理云調(diào)度系統(tǒng)及方法，采用一定的云調(diào)度機制結(jié)合數(shù)據(jù)智能分析切片技術(shù)進行資源處理，來提高對海量視頻處理時的時效性及穩(wěn)定性。
[0004]為了實現(xiàn)上述目的，現(xiàn)提出如下解決方案:
[0005]本發(fā)明申請?zhí)峁┮环N基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)，包括:云調(diào)度管理模塊以及多個分析模塊;所述云調(diào)度管理模塊，用以在接收到任務(wù)后將海量視頻進行邏輯切分，根據(jù)每個分析模塊的負載能力，將被邏輯切分后的海量視頻按策略分配到每個所述分析模塊的分析節(jié)點。
[0006]優(yōu)選地，還包括數(shù)據(jù)信息庫，所述分析模塊啟動監(jiān)控線程，按照預(yù)定時長，將當前CPU占用率、內(nèi)存使用率、硬盤剩余容量、網(wǎng)絡(luò)利用率、空閑通道數(shù)更新到所述數(shù)據(jù)信息庫中；其中，所述數(shù)據(jù)信息庫用以向所述云調(diào)度管理模塊提供所述分析模塊的資源數(shù)據(jù)，從而支撐所述云調(diào)度管理模塊依據(jù)設(shè)定資源閾值與判定策略得出每個分析模塊的負載能力。
[0007]優(yōu)選地，所述云調(diào)度管理模塊包括:節(jié)點通信管理子模塊、任務(wù)監(jiān)控管理子模塊以及作業(yè)下載切分子模塊；其中，所述節(jié)點通信管理子模塊，用以處理各所述分析節(jié)點的注冊，將各所述分析節(jié)點放入心跳監(jiān)控鏈表進行監(jiān)控，維護各分析節(jié)點的狀態(tài)信息，并依據(jù)設(shè)定資源閾值與判定策略得出每個分析模塊的負載能力;所述任務(wù)監(jiān)控管理子模塊，用以處理任務(wù)下發(fā)請求、跟蹤任務(wù)狀態(tài)，對超時未完成的任務(wù)進行回收處理;所述作業(yè)下載切分子模塊，用以區(qū)分任務(wù)類型，并將監(jiān)控平臺視頻下載到本地，對海量視頻任務(wù)資源進行邏輯切分。
[0008]優(yōu)選地，所述分析模塊包括:狀態(tài)管理子模塊以及任務(wù)處理子模塊;所述狀態(tài)管理子模塊，用以向所述數(shù)據(jù)信息庫定時上報所述分析模塊的硬件資源數(shù)據(jù)，所述云調(diào)度管理模塊進行注冊、任務(wù)狀態(tài)監(jiān)控、報告任務(wù)請求以及進行異常處理;所述任務(wù)處理子模塊，用以維護任務(wù)鏈表、跟蹤任務(wù)完成情況以及線程處理進度并將其上報至所述云調(diào)度管理模塊。
[0009]優(yōu)選地，所述云調(diào)度管理模塊還包括:備用管理模塊，用以在所述云調(diào)度管理模塊無法正常工作時代替所述云調(diào)度管理模塊。
[0010]本發(fā)明申請還提供了一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度方法，包括:云調(diào)度管理模塊接收任務(wù)，將海量視頻進行邏輯切分;根據(jù)各分析模塊的負載情況，遵循空閑資源哈希調(diào)度規(guī)則，將被邏輯切分后的海量視頻按策略分配到每個所述分析模塊的分析節(jié)點。[0011 ]優(yōu)選地，所述云調(diào)度管理模塊接收任務(wù)，將海量視頻進行邏輯切分，包括:云調(diào)度管理模塊接收任務(wù)并將視頻等時間間隔進行切分或等份數(shù)進行切分
[0012]優(yōu)選地，所述根據(jù)各分析模塊的負載情況，將被邏輯切分后的海量視頻分配到每個所述分析模塊的分析節(jié)點，包括:所述分析模塊啟動監(jiān)控線程，按照設(shè)定時長，定時將當前CPU占用率、內(nèi)存使用率、硬盤剩余容量、網(wǎng)絡(luò)利用率、空閑通道數(shù)更新到所述數(shù)據(jù)信息庫中，所述云調(diào)度管理模塊通過查找所述數(shù)據(jù)信息庫，依據(jù)設(shè)定資源閾值與判定策略，得到各分析模塊的負載情況與負載能力。
[0013]優(yōu)選地，在所述云調(diào)度管理模塊接收任務(wù)，將海量視頻進行邏輯切分之前還包括:判斷任務(wù)指令類型與任務(wù)來源類型，按照任務(wù)的不同類型進入不同的預(yù)處理流程;其中，所述任務(wù)指令類型為視頻摘要與視頻檢索;所述任務(wù)來源類型可為本地文件以及監(jiān)控平臺錄像文件。
[0014]優(yōu)選地，所述云調(diào)度管理模塊還包括:備用管理模塊，用以在所述云調(diào)度管理模塊無法正常工作時代替所述云調(diào)度管理模塊。
[0015]本發(fā)明的實施例具有以下有益效果:
[0016]上述方案中，本發(fā)明申請?zhí)峁┑幕诤Ａ恳曨l結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)及方法，通過云調(diào)度管理模塊將非結(jié)構(gòu)化的海量視頻進行邏輯上的切分，根據(jù)每個分析模塊不同的負載能力，將被邏輯切分后的海量視頻均勻分發(fā)到所有分析模塊中的分析節(jié)點上，合理利用分析服務(wù)器的資源，以達到在最短時間內(nèi)將所有視頻資源處理完畢的目的。本發(fā)明遵循了標準網(wǎng)絡(luò)通信協(xié)議，具有靈活的擴展性、可靠的穩(wěn)定性以及高效率性，同時可以移植到其他相關(guān)場景之中。
【附圖說明】
[0017]圖1為本發(fā)明實施例提供的一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)的結(jié)構(gòu)示意圖；
[0018]圖2為本發(fā)明實施例提供的一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)的總體框架流程示意圖；
[0019]圖3為本發(fā)明實施例提供的一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)的本地文件處理流程示意圖；
[0020]圖4為本發(fā)明實施例提供的一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)的監(jiān)控平臺錄像文件處理流程示意圖；
[0021]圖5為本發(fā)明實施例提供的一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)的面向事件仿真模型總控流程示意圖；
[0022]圖6為本發(fā)明實施例提供的一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)的任務(wù)到達事件例程圖；
[0023]圖7為本發(fā)明實施例提供的一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)的任務(wù)結(jié)束事件歷程圖。
[0024]圖8為本發(fā)明實施例提供的一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度方法的步驟流程圖。
【具體實施方式】
[0025]為進一步闡明本發(fā)明的實施例面向的技術(shù)問題、使用的技術(shù)方案和存在的技術(shù)優(yōu)勢，下面將結(jié)合附圖及具體實施例對此進行詳細描述。
[0026]本發(fā)明的實施例針對現(xiàn)有視頻處理技術(shù)中單個節(jié)點的相關(guān)設(shè)備無法適應(yīng)海量視頻監(jiān)控數(shù)據(jù)的處理需求這一問題，進而提供一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)來解決如何提高海量視頻處理時的時效性和穩(wěn)定性這一問題。
[0027]如圖1所示，為本發(fā)明實施例提供的一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)的結(jié)構(gòu)示意圖。參照圖1，本發(fā)明申請?zhí)峁┮环N基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)，包括:云調(diào)度管理模塊以及多個分析模塊;所述云調(diào)度管理模塊，用以在接收到任務(wù)后將海量視頻進行邏輯切分，根據(jù)每個分析模塊的負載能力，將被邏輯切分后的海量視頻按策略分配到每個所述分析模塊的分析節(jié)點。
[0028]優(yōu)選地，所述云調(diào)度管理模塊包括:節(jié)點通信管理子模塊、任務(wù)監(jiān)控管理子模塊以及作業(yè)下載切分子模塊；其中，所述節(jié)點通信管理子模塊，用以處理各所述分析節(jié)點的注冊，將各所述分析節(jié)點放入心跳監(jiān)控鏈表進行監(jiān)控，維護各分析節(jié)點的狀態(tài)信息，并依據(jù)設(shè)定資源閾值與判斷策略得出每個分析模塊的負載能力;所述任務(wù)監(jiān)控管理子模塊，主要負責(zé)實現(xiàn)任務(wù)調(diào)度策略，用以處理任務(wù)下發(fā)請求、跟蹤任務(wù)狀態(tài)，維護任務(wù)、作業(yè)狀態(tài)信息鏈表，并對超時未完成的任務(wù)進行回收處理;所述作業(yè)下載切分子模塊，用以區(qū)分任務(wù)類型，并將監(jiān)控平臺視頻下載到本地，并將海量視頻數(shù)據(jù)進行顆粒化處理，向所述分析節(jié)點獲取文件?目息且封裝任務(wù)。
[0029]優(yōu)選地，所述分析模塊包括:狀態(tài)管理子模塊以及任務(wù)處理子模塊;所述狀態(tài)管理子模塊，用以負責(zé)所述分析模塊的啟動，向所述數(shù)據(jù)信息庫定時上報分析模塊的硬件資源數(shù)據(jù)，并向所述云調(diào)度管理模塊進行注冊、監(jiān)控任務(wù)狀態(tài)、報告任務(wù)請求以及進行異常處理等;所述任務(wù)處理子模塊，用以維護任務(wù)鏈表、跟蹤任務(wù)完成情況以及線程處理進度并將其上報至所述云調(diào)度管理模塊。當本實施例的云調(diào)度系統(tǒng)啟動以后，所述分析節(jié)點根據(jù)自身物理資源情況確定處理并發(fā)數(shù)，建立阻塞線程等待接收任務(wù)處理。當有線程空閑時，通過發(fā)送心跳機制向所述云調(diào)度管理模塊請求任務(wù)。
[0030]如圖2所示，為本發(fā)明實施例提供的一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)的總體框架流程示意圖。參照圖2，本發(fā)明實施例中海量數(shù)據(jù)任務(wù)云調(diào)度框架由一個單獨的主調(diào)度管理模塊，一個備用調(diào)度管理模塊及數(shù)個分析模塊下的分析節(jié)點共同組成。其中，所述云調(diào)度管理模塊負責(zé)調(diào)度構(gòu)成一個任務(wù)的所有子任務(wù)，并將這些子任務(wù)分布在不同的分析節(jié)點之上，所述云調(diào)度管理模塊負責(zé)監(jiān)控各個分析節(jié)點上子任務(wù)的執(zhí)行狀態(tài)，并且重新分配調(diào)度已經(jīng)執(zhí)行失敗的任務(wù)。而所述分析節(jié)點僅負責(zé)執(zhí)行由所述云調(diào)度管理模塊指派的任務(wù)，并將本節(jié)點處子任務(wù)執(zhí)行的狀態(tài)及相關(guān)信息回饋至所述云調(diào)度管理模塊。優(yōu)選地，所述云調(diào)度管理模塊還包括:備用管理模塊，用以在所述云調(diào)度管理模塊無法正常工作時代替所述云調(diào)度管理模塊。其中，備用云調(diào)度管理模塊的功能作用與本實施例中的云調(diào)度管理模塊(同時，可被稱之為主云調(diào)度管理模塊)完全一致，在所述主調(diào)度管理模塊正常工作時，備用云調(diào)度管理模塊處于未激活狀態(tài)。即當所述主調(diào)度節(jié)點無法正常工作時，備用調(diào)度節(jié)點將完全替代它進行工作。
[0031]優(yōu)選地，本實施例的云調(diào)度系統(tǒng)還包括:數(shù)據(jù)信息庫，所述分析模塊啟動監(jiān)控線程，按照預(yù)定時長，將當前CPU占用率、內(nèi)存使用率、硬盤剩余容量、網(wǎng)絡(luò)利用率、空閑通道數(shù)更新到所述數(shù)據(jù)信息庫中；其中，所述云調(diào)度管理模塊通過查找所述數(shù)據(jù)信息庫，依據(jù)設(shè)定資源閾值與判定策略，得到各分析模塊的負載情況與負載能力。
[0032]優(yōu)選地，本實施例中云調(diào)度管理模塊接收到任務(wù)之后，首選判斷任務(wù)類型，尤其是所述任務(wù)來源類型，按照本地文件和監(jiān)控平臺錄像文件任務(wù)的來源不同分別進入不同的預(yù)處理流程。如圖3、4所示，分別為圖3為本發(fā)明實施例提供的一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)的本地文件以及監(jiān)控平臺錄像文件處理流程示意圖。參照圖3與圖4，本實施例以任務(wù)類型為這兩種為例，但并不以此為限。其中，如果任務(wù)類型為監(jiān)控平臺錄像文件的話，由所述云管理調(diào)度模塊的作業(yè)下載切分子模塊首先將監(jiān)控平臺視頻下載到本地，并將海量視頻數(shù)據(jù)進行顆?；幚?，向所述分析節(jié)點獲取文件信息且封裝任務(wù)。然后由所述云管理調(diào)度模塊的作業(yè)下載切分子模塊對本地文件進行邏輯切分，并由所述節(jié)點通信管理子模塊查找相應(yīng)的所述數(shù)據(jù)信息庫中的各分析模塊的負載情況，所述任務(wù)監(jiān)控管理子模塊按照空閑情況對切分后的海量視頻總量進行分配，并一次性分發(fā)到各所述分析模塊的分析節(jié)點上。
[0033]如圖5所示，為本發(fā)明實施例提供的一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)的面向事件仿真模型總控流程示意圖。優(yōu)選地，本實施例中，所述云調(diào)度管理模塊接收到視頻分析任務(wù)后，由所述作業(yè)下載切分子模塊將任務(wù)資源下載到本地(本地資源則省略該步驟)，將海量視頻進行顆?；幚?，向所述分析節(jié)點獲取文件信息且封裝任務(wù)，繼而對其進行邏輯切分;所述節(jié)點通信管理子模塊提供每個分析模塊當前的負載能力；由所述任務(wù)監(jiān)控管理子模塊獲取視頻信息與任務(wù)處理請求類型，并進行任務(wù)掃描，編排當前任務(wù)表，將任務(wù)添加進隊列中，處理任務(wù)下發(fā)請求并跟蹤任務(wù)狀態(tài)，將被邏輯切分后的視頻切片按策略分配到所述分析模塊的分析節(jié)點；所述分析模塊的分析節(jié)點維護本模塊任務(wù)列表，執(zhí)行視頻分析任務(wù)并監(jiān)控任務(wù)狀態(tài)，并將任務(wù)狀態(tài)及任務(wù)請求反饋至所述云調(diào)度管理模塊的所述任務(wù)監(jiān)控管理子模塊處;若用戶申請任務(wù)完成，則所述云調(diào)度管理模塊與分析模塊結(jié)束處理流程;若用戶申請任務(wù)未完成，則所述云調(diào)度系統(tǒng)重新接收任務(wù)處理請求。
[0034]優(yōu)選地，如圖6、7所示，分別為本發(fā)明實施例提供的一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)的任務(wù)到達事件以及任務(wù)結(jié)束事件例程圖。參照圖6，當任務(wù)到達事件發(fā)生時的流程為:任務(wù)觸發(fā)并調(diào)用所述云調(diào)度管理模塊中的任務(wù)監(jiān)控管理子模塊，產(chǎn)生任務(wù)下一到達時間，并更新任務(wù)表，所述節(jié)點通信管理子模塊判斷此時分析模塊的分析節(jié)點是否空閑，如果此時分析節(jié)點空閑，則所述任務(wù)監(jiān)控管理子模塊下發(fā)任務(wù)至所述分析模塊的分析節(jié)點處，任務(wù)結(jié)束，所述任務(wù)監(jiān)控管理子模塊將事件移入任務(wù)表并更新任務(wù)表，所述節(jié)點通信管理子模塊將此時的分析模塊的分析節(jié)點置忙，返回云調(diào)度管理模塊;如果此時分析節(jié)點并非空閑，則任務(wù)等待隊列長度加一，并返回云調(diào)度管理模塊。參照圖7，當任務(wù)結(jié)束事件發(fā)生時的流程為:調(diào)用所述云調(diào)度管理模塊中的所述任務(wù)監(jiān)控管理子模塊，判斷任務(wù)隊列是否為空，如果任務(wù)隊列為非空，則任務(wù)隊列長度減一，所述任務(wù)監(jiān)控管理子模塊下發(fā)任務(wù)并更新任務(wù)表，返回云調(diào)度管理節(jié)點；如果任務(wù)隊列為空，則所述節(jié)點通信管理子模塊將此時的分析節(jié)點狀態(tài)置閑，任務(wù)結(jié)束，所述任務(wù)監(jiān)控管理子模塊將事件移入任務(wù)表并更新任務(wù)表，返回云調(diào)度管理模塊。
[0035]如圖8所示，為本發(fā)明實施例提供的一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度方法的步驟流程圖。參照圖8，本發(fā)明申請還提供了一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度方法，包括:云調(diào)度管理模塊接收任務(wù)，將海量視頻進行邏輯切分;根據(jù)各分析模塊的負載情況，遵循空閑資源哈希調(diào)度規(guī)則，將被邏輯切分后的海量視頻按策略分配到每個所述分析模塊的分析節(jié)點。
[0036]優(yōu)選地，在對海量視頻進行切分時，可以按需設(shè)定為按同等時間間隔切分視頻片的等時長規(guī)則，或，按設(shè)定份數(shù)平均切分視頻的等分規(guī)則。即所述云調(diào)度管理模塊接收任務(wù)，將海量視頻進行邏輯切分，包括:云調(diào)度管理模塊接收任務(wù)并將視頻等時間間隔進行切分或等份數(shù)進行切分。但本領(lǐng)域技術(shù)人員應(yīng)該理解或知道，本發(fā)明實施例提供的邏輯劃分規(guī)則并不以這兩種為限，其他實現(xiàn)方式也在本發(fā)明的保護范圍之內(nèi)。
[0037]優(yōu)選地，根據(jù)所述各分析模塊的負載情況，將被邏輯切分后的海量視頻分配到每個所述分析模塊的分析節(jié)點，包括:所述分析模塊啟動監(jiān)控線程，按照設(shè)定時長，定時將當前CPU占用率、內(nèi)存使用率、硬盤剩余容量、網(wǎng)絡(luò)利用率、空閑通道數(shù)更新到所述數(shù)據(jù)信息庫中，依據(jù)設(shè)定資源閾值與判定策略，所述云調(diào)度管理模塊通過查找所述數(shù)據(jù)信息庫得到各分析模塊的負載情況與負載能力。
[0038]優(yōu)選地，在所述云調(diào)度管理模塊接收任務(wù)，將海量視頻進行邏輯切分之前還包括:判斷任務(wù)指令類型與任務(wù)來源類型，按照任務(wù)的不同類型進入不同的預(yù)處理流程;其中，所述任務(wù)指令類型為視頻摘要與視頻檢索;所述任務(wù)來源類型可為本地文件以及監(jiān)控平臺錄像文件。
[0039]其中，本實施例提供的一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度方法與裝置實施例相同之處在此不進行贅述。
[0040]綜上所述，本發(fā)明申請?zhí)峁┑幕诤Ａ恳曨l結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)及方法，通過云調(diào)度管理模塊將非結(jié)構(gòu)化的海量視頻進行邏輯上的切分，根據(jù)每個分析模塊不同的負載能力，均勻分發(fā)到所有分析模塊中的分析節(jié)點、分析服務(wù)器等資源上，以達到在最短時間內(nèi)將所有監(jiān)控視頻資源按任務(wù)需求處理完畢的目的。本發(fā)明遵循了標準網(wǎng)絡(luò)通信協(xié)議，具有靈活的擴展性、可靠的穩(wěn)定性以及高時效性，同時可以移植到其他相關(guān)場景之中。
[0041]此說明書中所描述的許多功能部件都被稱為模塊，以便更加特別地強調(diào)其實現(xiàn)方式的獨立性。
[0042]本發(fā)明實施例中，模塊可以用軟件實現(xiàn)，以便由各種類型的處理器執(zhí)行。舉例來說，一個標識的可執(zhí)行代碼模塊可以包括計算機指令的一個或多個物理或者邏輯塊，舉例來說，其可以被構(gòu)建為對象、過程或函數(shù)。盡管如此，所標識模塊的可執(zhí)行代碼無需物理地位于一起，而是可以包括存儲在不同物理上的不同的指令，當這些指令邏輯上地結(jié)合在一起時，其構(gòu)成模塊，并且實現(xiàn)該模塊的規(guī)定目的。
[0043]實際上，可執(zhí)行代碼模塊可以是單條指令或者是許多條指令，并且甚至可以分布在多個不同的代碼段上，分布在不同程序當中，以及跨越多個存儲器設(shè)備分布。同樣地，操作數(shù)據(jù)可以在模塊內(nèi)被識別，并且可以依照任何適當?shù)男问綄崿F(xiàn)并且被組織在任何適當類型的數(shù)據(jù)結(jié)構(gòu)內(nèi)。所述操作數(shù)據(jù)可以作為單個數(shù)據(jù)集被收集，或者可以分布在不同位置上(包括在不同存儲設(shè)備上)，并且至少部分地可以僅作為電子信號存在于系統(tǒng)或網(wǎng)絡(luò)上。
[0044]在模塊可以利用軟件實現(xiàn)時，考慮到現(xiàn)有硬件工藝的水平，所有可以以軟件實現(xiàn)的模塊，在不考慮成本的情況下，本領(lǐng)域技術(shù)人員都可以搭建對應(yīng)的硬件電路來實現(xiàn)對應(yīng)的功能，所述硬件電路包括常規(guī)的超大規(guī)模集成(VLSI)電路或者門陣列以及諸如邏輯芯片、晶體管之類的現(xiàn)有半導(dǎo)體或者是其它分立的元件。模塊還可以用可編程硬件設(shè)備，諸如現(xiàn)場可編程門陣列、可編程邏輯陣列、可編程邏輯設(shè)備等實現(xiàn)。
[0045]在本發(fā)明各方法實施例中，所述各步驟的序號并不能用于限定各步驟的先后順序，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，對各步驟的先后變化也在本發(fā)明的保護范圍之內(nèi)。
[0046]以上所述是本發(fā)明的優(yōu)選實施方式，應(yīng)當指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明所述原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應(yīng)視在為本發(fā)明的保護范圍內(nèi)。
【主權(quán)項】
1.一種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度系統(tǒng)，其特征在于，包括: 云調(diào)度管理模塊以及多個分析模塊； 所述云調(diào)度管理模塊，用以在接收到任務(wù)后將海量視頻進行邏輯切分，根據(jù)每個分析模塊的負載能力，遵循空閑資源哈希調(diào)度規(guī)則，將進行邏輯切分后的海量視頻按策略分配到每個所述分析模塊的分析節(jié)點。2.根據(jù)權(quán)利要求1所述的云調(diào)度系統(tǒng)，其特征在于，還包括:數(shù)據(jù)信息庫: 所述分析模塊啟動監(jiān)控線程，按照預(yù)定時長將當前CPU占用率、內(nèi)存使用率、硬盤剩余容量、網(wǎng)絡(luò)利用率、空閑通道數(shù)更新到所述數(shù)據(jù)信息庫中；其中，所述數(shù)據(jù)信息庫用以向所述云調(diào)度管理模塊提供所述分析模塊的資源數(shù)據(jù)，支撐所述云調(diào)度管理模塊依據(jù)設(shè)定資源閾值與判定策略，得出每個分析模塊的負載能力。3.根據(jù)權(quán)利要求1所述的云調(diào)度系統(tǒng)，其特征在于，所述云調(diào)度管理模塊包括: 節(jié)點通信管理子模塊、任務(wù)監(jiān)控管理子模塊以及作業(yè)下載切分子模塊； 其中，所述節(jié)點通信管理子模塊，用以處理各所述分析節(jié)點的注冊，將各所述分析節(jié)點放入心跳監(jiān)控鏈表進行監(jiān)控，維護各分析節(jié)點的狀態(tài)信息，并依據(jù)設(shè)定資源閾值與判定策略得出每個分析模塊的負載能力； 所述任務(wù)監(jiān)控管理子模塊，用以處理任務(wù)下發(fā)請求、跟蹤任務(wù)狀態(tài)，對超時未完成的任務(wù)進行回收處理； 所述作業(yè)下載切分子模塊，用以區(qū)分任務(wù)類型，并將監(jiān)控平臺視頻下載到本地，對海量視頻任務(wù)資源進行邏輯切分。4.根據(jù)權(quán)利要求1所述的云調(diào)度系統(tǒng)，其特征在于，所述分析模塊包括: 狀態(tài)管理子模塊以及任務(wù)處理子模塊； 所述狀態(tài)管理子模塊，用以向所述數(shù)據(jù)信息庫定時上報所述分析模塊的硬件資源數(shù)據(jù)，向所述云調(diào)度管理模塊進行注冊、監(jiān)控任務(wù)狀態(tài)、報告任務(wù)請求以及進行異常處理；所述任務(wù)處理子模塊，用以維護任務(wù)鏈表、跟蹤任務(wù)完成情況以及線程處理進度并將其上報至所述云調(diào)度管理模塊。5.根據(jù)權(quán)利要求1-4任一項所述的云調(diào)度系統(tǒng)，其特征在于，所述云調(diào)度管理模塊還包括: 備用管理模塊，用以在所述云調(diào)度管理模塊無法正常工作時代替所述云調(diào)度管理模塊。6.—種基于海量視頻結(jié)構(gòu)化處理的云調(diào)度方法，其特征在于，包括: 云調(diào)度管理模塊接收任務(wù)，將海量視頻進行邏輯切分； 根據(jù)各分析模塊的負載情況，根據(jù)空閑資源哈希調(diào)度規(guī)則，將被邏輯切分后的海量視頻按策略分配到每個所述分析模塊的分析節(jié)點。7.根據(jù)權(quán)利要求6所述的云調(diào)度方法，其特征在于，所述云調(diào)度管理模塊接收任務(wù)，將海量視頻進行邏輯切分，包括:云調(diào)度管理模塊接收任務(wù)并將視頻等時間間隔進行切分或等份數(shù)進行切分。8.根據(jù)權(quán)利要求7所述的云調(diào)度方法，其特征在于，所述根據(jù)各分析模塊的負載情況，將被邏輯切分后的海量視頻分配到每個所述分析模塊的分析節(jié)點，包括: 所述分析模塊啟動監(jiān)控線程，按照設(shè)定時長，定時將當前CHJ占用率、內(nèi)存使用率、硬盤剩余容量、網(wǎng)絡(luò)利用率、空閑通道數(shù)更新到所述數(shù)據(jù)信息庫中，所述云調(diào)度管理模塊通過查找所述數(shù)據(jù)信息庫，依據(jù)設(shè)定資源閾值與判定策略，得到各分析模塊的負載情況與負載能力。9.根據(jù)權(quán)利要求6所述的云調(diào)度方法，其特征在于，在所述云調(diào)度管理模塊接收任務(wù)，將海量視頻進行邏輯切分之前，還包括: 判斷任務(wù)指令類型與任務(wù)來源類型，按照任務(wù)的不同類型進入不同的預(yù)處理流程;其中，所述任務(wù)指令類型為視頻摘要與視頻檢索，所述任務(wù)來源類型可為本地文件以及監(jiān)控平臺錄像文件。10.根據(jù)權(quán)利要求6-9任一項所述的云調(diào)度方法，其特征在于，所述云調(diào)度管理模塊還包括: 備用管理模塊，用以在所述云調(diào)度管理模塊無法正常工作時代替所述云調(diào)度管理模塊。
【文檔編號】H04L29/08GK105978960SQ201610293813
【公開日】2016年9月28日
【申請日】2016年5月6日
【發(fā)明人】郭碧, 串志強, 徐遠翔
【申請人】武漢烽火眾智數(shù)字技術(shù)有限責(zé)任公司