本發(fā)明涉及養(yǎng)殖場視頻監(jiān)控技術(shù)領(lǐng)域，更具體地，涉及一種養(yǎng)殖場多目標(biāo)視頻分析方法及其系統(tǒng)。

背景技術(shù)：

我國是世界上最大的豬肉生產(chǎn)國和消費國，豬肉產(chǎn)量近十年來穩(wěn)居全球首位。2015年，我國豬肉總產(chǎn)量達到5487萬噸，預(yù)計到2020年，豬肉總產(chǎn)量達到5760萬噸，占肉類總產(chǎn)量64％。隨著我國社會和經(jīng)濟的不斷發(fā)展，人們生活質(zhì)量不斷的提高，對豬肉類食品的需求量不斷增加的同時，對豬肉產(chǎn)品的質(zhì)量安全提出了更高的要求，生豬的健康養(yǎng)殖是向社會提供質(zhì)量安全豬肉的前提保證。

生豬的采食、飲水、排泄等行為特征反應(yīng)了生豬的生長狀態(tài)，通過分析生豬的日常行為表現(xiàn)，可以判定生豬生長狀態(tài)健康與否。當(dāng)前我國養(yǎng)殖業(yè)主要通過人工觀察方法，監(jiān)測豬的生長情況，消耗大量的人力和物力，得到的數(shù)據(jù)可信度低。基于計算機視覺技術(shù)對生豬行為進行跟蹤、識別、記錄和分析，實現(xiàn)準(zhǔn)確、實時、便捷監(jiān)測生豬的生長動態(tài)，對于保障豬肉的質(zhì)量品質(zhì)安全是非常必要的。隨著生豬養(yǎng)殖由傳統(tǒng)分散的養(yǎng)殖方式向規(guī)模化、集約化、精細化養(yǎng)殖模式的發(fā)展，基于單計算節(jié)點，目標(biāo)檢測模型固定單一的視頻流目標(biāo)檢測分析系統(tǒng)，無法滿足對多視頻流、視頻背景復(fù)雜多變、多目標(biāo)生豬的實時檢測分析的需求。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是提供一種養(yǎng)殖場多目標(biāo)視頻分析方法及其系統(tǒng)。該系統(tǒng)能夠?qū)崟r獲取多個攝像頭的視頻流，將獲取到的多個視頻流進行解碼、統(tǒng)一結(jié)構(gòu)封裝、自定義分組，分組視頻發(fā)送給各計算節(jié)點， 在不同層上的計算節(jié)點可以插入相應(yīng)的功能處理模塊，對發(fā)送過來的分組視頻進行處理，繼而發(fā)送到下一個處理節(jié)點進行處理，實現(xiàn)目標(biāo)生豬的實時分析和/或檢測。

本發(fā)明的一個方面，提供了一種養(yǎng)殖場多目標(biāo)視頻分析方法，包括：

S1.基于養(yǎng)殖場的多個視頻流，利用storm流式技術(shù)將所述視頻流在時間上分割成多個微小數(shù)據(jù)片段，并將所述數(shù)據(jù)片段分配給多個工作節(jié)點；

S2.利用多節(jié)點并行的方式對所述多個工作節(jié)點的數(shù)據(jù)片段進行分析，以獲得所需的視頻流。

本發(fā)明的另一個方面，還提供了一種養(yǎng)殖場多目標(biāo)視頻分析系統(tǒng)，包括：

視頻流獲取模塊，用于獲取養(yǎng)殖場的多個視頻流；

storm流式計算模塊，用于利用storm流式技術(shù)將所述視頻流在時間上分割成多個微小數(shù)據(jù)片段，并將所述數(shù)據(jù)片段分配給多個工作節(jié)點；

分析模塊，用于多節(jié)點并行的方式對所述多個工作節(jié)點的數(shù)據(jù)片段進行分析，以獲得所需的視頻流。

本申請?zhí)岢鲳B(yǎng)殖場多目標(biāo)視頻分析方法及系統(tǒng)具有以下優(yōu)點：

1)能夠?qū)崟r分析大規(guī)模監(jiān)控視頻流，根據(jù)分析產(chǎn)生的決策數(shù)據(jù)能為經(jīng)營者進一步提高效率提供決策依據(jù)和參考，從而促使經(jīng)營者為養(yǎng)殖企業(yè)制定合理的產(chǎn)業(yè)規(guī)劃和政策；

2)對養(yǎng)殖場尤其是生豬養(yǎng)殖場進行多攝像頭多目標(biāo)的監(jiān)控檢測。對監(jiān)控視頻做到實時快速檢測和分析，進一步完善生豬養(yǎng)殖向規(guī)?；⒕毣?、智能化方向發(fā)展；

3)實現(xiàn)動態(tài)可擴展性，可動態(tài)添加新的計算結(jié)點處理增加的視頻流；

4)采用可插拔方式對功能模塊進行管理，用戶根據(jù)需求隨時配置 合適的功能模塊進行視頻分析處理，有較好的適用性；

5)采用統(tǒng)一視頻流獲取接口，可適配不同編碼的攝像頭，提高工作效率；

6)減少開發(fā)人員的開發(fā)時間和工作量，同時方便管理人員進行維護和管理。

附圖說明

圖1為根據(jù)本發(fā)明實施例中養(yǎng)殖場多目標(biāo)視頻分析方法的總體流程示意圖；

圖2為根據(jù)本發(fā)明實施例中養(yǎng)殖場多目標(biāo)視頻分析系統(tǒng)的總體流程示意圖；

圖3為根據(jù)本發(fā)明一個優(yōu)選實施例中養(yǎng)殖場多目標(biāo)視頻分析系統(tǒng)的流程示意圖；

圖4為根據(jù)本發(fā)明一個優(yōu)選實施例中養(yǎng)殖場多目標(biāo)視頻分析系統(tǒng)中插拔式功能組合的流程示意圖。

具體實施方式

下面結(jié)合附圖和實施例，對本發(fā)明的具體實施方式作進一步詳細描述。以下實施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。

本發(fā)明所提供的養(yǎng)殖場多目標(biāo)視頻分析方法，如圖1所示，包括：

S1.基于養(yǎng)殖場的多個視頻流，利用storm流式技術(shù)將所述視頻流在時間上分割成多個微小數(shù)據(jù)片段，并將所述數(shù)據(jù)片段分配給多個工作節(jié)點；

S2.利用多節(jié)點并行的方式對所述多個工作節(jié)點的數(shù)據(jù)片段進行分析，以獲得所需的視頻流。

在本發(fā)明的實施例中以生豬的養(yǎng)殖場為例，詳述本發(fā)明。

在本發(fā)明中，“多個”指2個或2個以上。

在本發(fā)明的分析方法中，使用了storm流式技術(shù)對生豬養(yǎng)殖場中多個視頻流進行分析，是實現(xiàn)生豬目標(biāo)行為跟蹤、識別、記錄和分析的 前提。

在S1中，為了提高工作效率，在本發(fā)明的實施例中，使用統(tǒng)一視頻流獲取接口，可適配不同編碼的攝像頭。

其中，S1的具體步驟包括：

S11.對所述多個視頻流以視頻幀的形式進行解碼，將解碼后的數(shù)據(jù)封裝至數(shù)據(jù)集中；

S12.基于所述數(shù)據(jù)集，使用拓撲分組將其在時間上分割成多個微小數(shù)據(jù)片段，并將所述數(shù)據(jù)片段分配給多個工作節(jié)點。

其中，S12中的拓撲分組可以為本領(lǐng)域storm流式計算常見的分組模型，用戶可以根據(jù)實際需求來選擇合適的拓撲分組形式進行分組，如字段分組、全局分組、隨機分組、本地分組、無分組、廣播分組、直接分組或自定義分組。

在本發(fā)明優(yōu)選的實施例中，為了更加方便，可以采用隨機分組模型。

為了能更好地實現(xiàn)超負荷狀態(tài)下的分析，本發(fā)明的隨機分組模型更優(yōu)選地是綜合各計算節(jié)點已積累的請求數(shù)和各計算節(jié)點所需最小的請求處理時間來判斷各計算節(jié)點的計算能力是否達到滿負荷，從而實現(xiàn)對視頻數(shù)據(jù)靈活調(diào)度的目的以及自動增加計算節(jié)點。

在本發(fā)明中優(yōu)選的隨機分組模型為：定義t時刻某個節(jié)點s已積累的請求數(shù)為L_s(t)，程序會為該節(jié)點的每個請求評估處理時間為T_s^m(t)，該節(jié)點在t時刻的請求積累量等于前一時刻的請求積累量L_S(t-1)與t時刻內(nèi)到達節(jié)點的新的請求數(shù)目N_S(t)之和，再減掉t時刻內(nèi)處理掉的請求數(shù)A_s(t)，節(jié)點s在t時刻所需要的請求處理時間為T_s(t)，節(jié)點s到t時刻為止所需要的請求處理時間為τ_s(t)，則具體關(guān)系如下：

L_s(t)＝L_s(t-1)+N_s(t)-A_s(t) (1)

τ_s(t)＝τ_s(t-1)+T_s(t) (3)

為了方便對整個集群的資源調(diào)度，t時刻整個集群所有任務(wù)的總積累量用L(t)表示為：

在本發(fā)明的一個實施例中，為了提高節(jié)點的響應(yīng)時間，增大節(jié)點吞吐量，這里規(guī)定：

σ(t)＝min{L₁(t),L₂(t),...,L_s(t),...,L_k(t)} (5)

τ(t)＝min{τ₁(t),τ₂(t),...,τ_s(t),...,τ_k(t)} (6)

L_s(t)≤σ(t) (7)

τ_s(t)≤τ(t) (8)

其中σ(t)為t時刻各計算節(jié)點含有請求量最小值，t時刻某個節(jié)點s已積累的請求數(shù)L_s(t)不超過σ(t)；τ(t)為到t時刻為止各計算節(jié)點所需最少的請求處理時間，節(jié)點s到t時刻為止所需要的請求處理時間τ_s(t)不超過τ(t)。

設(shè)在t+1時刻提交給節(jié)點s的請求數(shù)目為N_S(t+1)，Δσ(t)為到t+1時刻為止已積累的請求數(shù)與t時刻各計算節(jié)點含有請求量最小值σ(t)之差：

Δσ(t)＝N_s(t+1)+L_s(t)-σ(t) (9)

Δτ(t)為在t+1時刻節(jié)點s所需要的總處理時間與到t時刻為止各計算節(jié)點所需最少的請求處理時間τ(t)之差：

Δτ(t)＝τ_s(t)+T_s(t+1)-τ(t) (10)

如果Δσ(t)＞0則表示t+1時刻s節(jié)點已經(jīng)處于超負荷狀態(tài)，且多出了Δσ(t)請求量；如果Δτ(t)＞0是多了請求量，則首先將t+1時刻提交給節(jié)點s的請求數(shù)目為N_S(t+1)的任務(wù)請求 平均分配其他空閑節(jié)點，如果不存在空閑節(jié)點，則分配給其他工作量未滿的節(jié)點，檢驗規(guī)則如上。

為了解決能力不足的問題，還包括計算節(jié)點動態(tài)增加模塊，用于當(dāng)所有工作節(jié)點均已處于超負荷狀態(tài)時增加計算節(jié)點。即，若所有工作節(jié)點已處于超負荷狀態(tài)，則可采用動態(tài)增加計算節(jié)點的方式。動態(tài)增加計算節(jié)點規(guī)則如下：

1)令表示t+1時刻超出s節(jié)點處理能力的請求數(shù)，則L^max＝ΣL^s為t+1時刻所有節(jié)點超出自己處理能力的請求數(shù)總和。

2)經(jīng)過歷史統(tǒng)計，每個請求的平均計算時間為T_avg，則需要額外計算節(jié)點處理的請求數(shù)所需總時間為T_total＝T_avg*L^max，設(shè)需要額外的計算節(jié)點數(shù)量為K,則每個計算節(jié)點所需的計算時間為T_e＝T_total/K；

3)根據(jù)T_e≤ε，ε為期待計算節(jié)點運算的最大閾值，則可獲得額外的計算節(jié)點數(shù)量為K。動態(tài)增加這K個計算節(jié)點。

本發(fā)明所提供的養(yǎng)殖場多目標(biāo)視頻分析系統(tǒng)，如圖2所示，包括：

視頻流獲取模塊A1，用于獲取養(yǎng)殖場的多個視頻流；

storm流式計算模塊A2，用于利用storm流式技術(shù)將所述視頻流在時間上分割成多個微小數(shù)據(jù)片段，并將所述數(shù)據(jù)片段分配給多個工作節(jié)點；

分析模塊A3，用于多節(jié)點并行的方式對所述多個工作節(jié)點的數(shù)據(jù)片段進行分析，以獲得所需的視頻流。

在養(yǎng)殖場中的視頻通常使用的是現(xiàn)有視頻編碼格式，如H264、H265等，在視頻流獲取模塊中根據(jù)獲取到的不同視頻流編碼格式，選擇合適的解碼函數(shù)進行解碼，確保在解碼過程中不將數(shù)據(jù)丟失，再將解碼后的數(shù)據(jù)統(tǒng)一封裝到數(shù)據(jù)集中。

在本發(fā)明優(yōu)選的實施例中，為了提高工作效率，在視頻流獲取模 塊使用統(tǒng)一視頻流獲取接口，可適配不同編碼的攝像頭。

在storm流式計算模塊中，包括自定義視頻分組模塊，當(dāng)?shù)玫椒庋b的數(shù)據(jù)集后，用戶可以根據(jù)需求選擇合適的拓撲分組形式進行分組。為了更加方便，在本發(fā)明優(yōu)選的實施例中，使用隨機分組模型分組。即在該storm流式計算模塊中還包括隨機分組模型。

通過拓撲分組后得到多個計算節(jié)點，為了實現(xiàn)多功能的智能分析處理，在分析模塊中還包括插拔式功能組合模塊，用于在一個或多個工作節(jié)點上設(shè)置單功能模塊或多功能模塊組合。根據(jù)配置好的功能模塊或多功能模塊組合，在每個節(jié)點上提供相應(yīng)的分析服務(wù)，如生豬的檢測、圖像特征提取、運動目標(biāo)檢測與跟蹤、Mean Shift目標(biāo)跟蹤等。

本發(fā)明實施例中的插拔式功能組合模塊的設(shè)置步驟包括：

根據(jù)需求配置功能模塊與其標(biāo)識映射；

讀取映射關(guān)系；

根據(jù)映射關(guān)系選擇相應(yīng)的功能模塊。

在本發(fā)明的一個優(yōu)選的實施例中，系統(tǒng)還包括分析結(jié)果展示模塊，用于將所述分析模塊處理完成的視頻流匯總并輸出，通常將其輸入到前臺，進行多窗口個性化展示。

其中功能模塊是指本領(lǐng)域中常用的封裝體，像Grayscale Operation,Color Histogram,SIFT Detect等對視頻圖像進行處理的封裝體。

圖3示出了本發(fā)明一個優(yōu)選實施例中一種養(yǎng)殖場多目標(biāo)視頻分析系統(tǒng)，包括視頻流獲取模塊、自定義視頻分組模塊、插拔式功能組合模塊、視頻分析模塊、分析結(jié)果展示模塊。

視頻流獲取模塊：從不同編碼格式的攝像頭中獲取視頻流，假設(shè)在t時刻有k_h264個編碼為H264的攝像頭產(chǎn)生視頻流，有k_h265個編碼為H265的攝像頭產(chǎn)生視頻流，通過視頻流獲取模塊后共有k個視頻流，其中k＝k_h264+k_h265。將k個視頻流傳遞到下一個模塊進行處理。

自定義視頻分組模塊：將上一模塊的k個視頻流，分為k組視頻數(shù) 據(jù)每一組視頻數(shù)據(jù)的幀數(shù)分別為m,n,...,l，然后設(shè)置分組為隨機分組，將k組視頻數(shù)據(jù)發(fā)送到視頻分析模塊中的運算節(jié)點中，假設(shè)在t時刻視頻分析模塊中有l(wèi)_busy個節(jié)點處于滿負荷狀態(tài)，有l(wèi)_free個空閑節(jié)點，以及l(fā)_midle個節(jié)點處于中間狀態(tài)。則調(diào)度的具體步驟是：

1)若l_free＞0，則從空閑節(jié)點開始分配，根據(jù)式(1)可知在t時刻空閑節(jié)點s的L_s(t)為0。如果k≤l_free，則將k組視頻數(shù)據(jù)分配到k個空閑節(jié)點進行處理。

若k＞l_free，將k組中的l_free組視頻數(shù)據(jù)分配到l_free個空閑節(jié)點進行處理。將剩下的(k-l_free)組視頻按照上述隨機分組模型的分配規(guī)則進行分配。

2)若l_free＝0，且k≤l_midle，則從l_midle個處于中間狀態(tài)的節(jié)點選擇k個節(jié)點，然后將k組視頻發(fā)送到已選擇的k個節(jié)點進行處理。

3)若l_free＝0，且k＞l_midle，則將k組視頻中的l_midle組發(fā)送到l_midle個處于中間狀態(tài)的節(jié)點進行處理，將剩下的(k-l_midle)組視頻按照上述隨機分組模型的分配歸則進行分配。

4)若l_free＝0，且l_midle＝0，則按照上述隨機分配模型規(guī)則進行分配。在進行步驟1)、2)、3)、4)時同時檢測每個節(jié)點在下一刻的的請求量，保證每個節(jié)點滿足式(9)N_s(t+1)+L_s(t)＝σ+Δσ中的和式(10)τ_s(t)+T_s(t)＝τ+Δτ的原則。也可以采用上述動態(tài)增加計算節(jié)點規(guī)則，增加相應(yīng)的計算節(jié)點。

插拔式功能組合步驟包括如圖4所示，根據(jù)需求配置功能模塊與 其標(biāo)識映射；讀取映射關(guān)系；根據(jù)映射關(guān)系選擇相應(yīng)的功能類。

視頻分析模塊：根據(jù)選擇好功能模塊進行相應(yīng)的處理，如圖像特征提取、運動目標(biāo)檢測與跟蹤、Mean Shift目標(biāo)跟蹤等。

分析結(jié)果展示模塊：將處理好的視頻流匯總并輸入到前臺展示。

養(yǎng)殖場管理者根據(jù)大規(guī)模展示結(jié)果可以實時監(jiān)測生豬生長情況，節(jié)約成本，提高生產(chǎn)效率。同時根據(jù)展示結(jié)果能夠制定更好的養(yǎng)殖決策。

本說明書中各個實施例采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對于實施例公開的裝置而言，由于其與實施例公開的方法相對應(yīng)，所以描述的比較簡單，相關(guān)之處參見方法部分說明即可。

最后，本申請的方法僅為較佳的實施方案，并非用于限定本發(fā)明的保護范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。