一種存儲控制系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種存儲控制系統(tǒng)，對于包含視頻監(jiān)控系統(tǒng)以及音頻監(jiān)控系統(tǒng)的安全監(jiān)控系統(tǒng)，其視頻監(jiān)控在正常情況下處于關閉狀態(tài)，音頻監(jiān)控始終進行以保證監(jiān)控持續(xù)性，音頻監(jiān)控系統(tǒng)當探測到異常聲音變化時，記錄下異常事件發(fā)生的時間并寫入音頻監(jiān)控碼流，同時分析聲音的方位，從而調整視頻監(jiān)控攝像頭以取得最佳監(jiān)控角度，打開視頻監(jiān)控，記錄下異常事件發(fā)和的時間以便和音頻監(jiān)控碼流同步，進行視頻編碼存儲。
【專利說明】
一種存儲控制系統(tǒng)
技術領域
[0001]本發(fā)明涉及安全監(jiān)控領域，具體是一種存儲系統(tǒng)。
【背景技術】
[0002]隨著社會發(fā)展，科技的進步，監(jiān)控早已成為社會不可或缺的一部分。監(jiān)控在社會安全，交通管理，智能城市等各方各面扮演著越來越重要的角色。
[0003]時至今日，視頻監(jiān)控仍是監(jiān)控領域的絕對主角，比如公路上隨處可見的交通探頭，小區(qū)的閉路監(jiān)控系統(tǒng)等等。
[0004]在視頻監(jiān)控系統(tǒng)中，對于攝像頭攝錄的視頻，需要進行存儲以備后期檢索查詢，由于視頻原始碼流數(shù)據(jù)量巨大，這就需要對原始碼流進行視頻編碼處理。
[0005]普通的視頻編碼標準針對消費娛樂目的的高清晰度視頻編解碼，在這種情況下，由于原始視頻圖像巨大的數(shù)據(jù)量(一幀圖像原始數(shù)據(jù)往往需幾兆甚至幾十兆)，為了達到實時編碼，往往需要專用的編碼芯片進行處理，既便如此，編碼后產(chǎn)生的壓縮碼流仍將占據(jù)相當大的存儲空間。專用視頻編碼芯片功能復雜、開發(fā)周期長、后期無法進行功能擴展、運行功耗高，并且需要巨大的存儲空間以及高吞吐的數(shù)據(jù)總線。而監(jiān)控系統(tǒng)實時性很高，并且需要長時間不停頓監(jiān)控記錄。所以普通的視頻高清編碼并不適合于監(jiān)控系統(tǒng)。所以在實際的監(jiān)控系統(tǒng)中，其編碼標準也與普通的視頻編碼標準有不同，攝像質量往往較低。然而低像素的監(jiān)控質量有時候會對后期的檢索查詢產(chǎn)生一定的不良影響，比如很多時候公路監(jiān)控探頭監(jiān)控視頻中根本看不清車牌號碼。
[0006]同時，視頻監(jiān)控也有其固有的缺點，如在黑夜或者霧靄天氣中效果會大大折扣，其監(jiān)控范圍存在很大的盲區(qū)。
[0007]越來越多的現(xiàn)象表明，單純的視頻監(jiān)控已經(jīng)越來越無法滿足持續(xù)增長的監(jiān)控需求了。

【發(fā)明內(nèi)容】

[0008]為了克服上述技術問題，本發(fā)明提供了一種存儲控制系統(tǒng)，其特征在于:
[0009]對于包含視頻監(jiān)控系統(tǒng)以及音頻監(jiān)控系統(tǒng)的安全監(jiān)控系統(tǒng)，其視頻監(jiān)控在正常情況下處于關閉狀態(tài)，音頻監(jiān)控始終進行以保證監(jiān)控持續(xù)性，音頻監(jiān)控系統(tǒng)當探測到這種聲音變化時，記錄下異常事件發(fā)生的時間并寫入音頻監(jiān)控碼流，同時分析聲音的方位，從而調整視頻監(jiān)控攝像頭以取得最佳監(jiān)控角度，打開視頻監(jiān)控，記錄下異常事件發(fā)和的時間以便和音頻監(jiān)控碼流同步，進行視頻編碼存儲。
【附圖說明】
[0010]圖1示出了基于音頻檢測的音視頻協(xié)同監(jiān)控方法流程圖；
[0011 ]圖2示出了音頻控制下的視頻監(jiān)控方法流程圖；
[0012]圖3示出了基于音視檢測的音視頻協(xié)同監(jiān)控裝置；
【具體實施方式】
[0013]音頻監(jiān)控的發(fā)展由于各種各樣的原因一直落后于視頻監(jiān)控，但是音頻監(jiān)控卻有著許多視頻監(jiān)控所無法比擬的優(yōu)點，所以音頻監(jiān)控也越來越受到重視。
[0014]相比起視頻圖像，音頻監(jiān)控需要處理的數(shù)據(jù)量要小很多，所以音頻編碼處理速度較快，甚至可以直接使用ARM等嵌入式CPU進行編碼處理，開發(fā)周期相對較短。由于是軟件，后期功能擴展性強。并且，音頻監(jiān)控不存在盲區(qū)，即使黑夜或者嚴重霧靄天氣照樣正常工作。
[0015]可見音頻監(jiān)控完全彌補了視頻監(jiān)控的缺點。正是由于音頻監(jiān)控的這些特點，使得音頻監(jiān)控在監(jiān)控領域顯得越來越重要。
[0016]音頻在很多情況下能夠獨擋一面，但是更多的情況下，單獨音頻監(jiān)控或者視頻監(jiān)控都無法很好的發(fā)揮監(jiān)控效果，這時候就需要音頻和視頻監(jiān)控協(xié)同進行。
[0017]對于監(jiān)控而言，每種監(jiān)控都有其固定的監(jiān)控目標事件，比如說某段易肇事交通路段的監(jiān)控目標事件是交通事故。但是對于任何監(jiān)控，我們無法預先知道所有可能的異常事件類型并且根據(jù)異常事件類型來設定監(jiān)控目標事件，也即我們無法保證在監(jiān)控范圍內(nèi)發(fā)生的所有異常事件都是監(jiān)控目標事件，比方說雖然交通事故是監(jiān)控目標事件，但是還有會監(jiān)控到許多其它異常事件，比方說車輛經(jīng)過、行人跑過、以及某些犯罪活動。而這些異常事件雖然不是監(jiān)控目標事件，但是在諸如警方破案時又都會起很大的作用，也就是說，在這些場合，除了監(jiān)控目標事件外，其它很多異常事件都需要進行記錄，到了夜深人靜，公路上沒車沒人，這時候顯然不需要進行監(jiān)控記錄。
[0018]正是由于監(jiān)控的這種特點，本專利提出了一種由音頻監(jiān)控控制的音視頻協(xié)同監(jiān)控方法，使用音頻監(jiān)控探測周邊環(huán)境的變化，如果周邊情況風平浪靜，只采用簡單的音頻監(jiān)控，關閉視頻監(jiān)控，以節(jié)省運行功耗和數(shù)據(jù)存儲空間；當音頻監(jiān)控探測到周邊聲音的顯著變化，計算出異常聲音來源的大致方向，調整視頻監(jiān)控探頭取得最佳的視頻監(jiān)控方向，打開視頻監(jiān)控器并記錄當前時間的視頻監(jiān)控信息，同時還會根據(jù)異常事件發(fā)生前的圖像及異常事件發(fā)生中的圖像、異常事件發(fā)生后的圖像變化找到異常事件，根據(jù)監(jiān)控事件的特點分析異常事件的類型是否為監(jiān)控目標事件，如果是，則執(zhí)行設定的操作，如報警，否則，記錄一個異常信號。
[0019]音頻控制下的音視頻監(jiān)控過程如附圖1所示。
[0020]其中音頻監(jiān)控始終進行以保證監(jiān)控持續(xù)性(在某些應用場合，也可只在檢測到異常聲音時才進行音頻監(jiān)控編碼記錄)，雙聲道(在某些應用場合，也可以增加更多的聲道提高監(jiān)控性能，但會提高監(jiān)控成本)音頻采樣PCM值后一路送至音頻編碼器進行編碼，另一路進行聲音變化探測。視頻監(jiān)控在正常情況下處于關閉狀態(tài)，如果發(fā)生異常事件，必定伴隨著聲音的顯著變化，當探測到這種聲音變化時，記錄下異常事件發(fā)生的時間并寫入音頻監(jiān)控碼流。同時分析聲音的方位，從而調整視頻監(jiān)控攝像頭以取得最佳監(jiān)控角度，打開視頻監(jiān)控，記錄下異常事件發(fā)和的時間以便和音頻監(jiān)控碼流同步，進行視頻編碼存儲；同時，對比前后圖像的不同來確定異常事件所對應的圖像塊并試圖進行分析，如果能夠成功分析出異常事件類型為監(jiān)控目標事件，則根據(jù)設定的處理方式處理，如報警;如果未能檢測到為監(jiān)控目標事件，則記錄異常事件以備監(jiān)控人員后期檢索查詢。
[0021]對于音頻控制下的視頻監(jiān)控部分更詳細的描述流程圖如附圖2所示:
[0022]上圖流程圖中，音頻監(jiān)控為立體聲雙聲道，實際應用中，可以根據(jù)實際情況增加選擇更多聲道。
[0023]首先定義幾個名詞:
[0024]1.音頻幀:音頻編碼的處理單元，包含若干聲道若干PCM值(例如AAC音頻標準雙聲道編碼，其每個音頻幀包含兩個聲道，每個聲道各1024個PCM值。聲道數(shù)根據(jù)不同情況可以不同，但是對于同一種音頻標準，每幀中每聲道的PCM值個數(shù)為固定值，AAC標準固定為1024點)。在這里，音頻幀可進一步分為正常聲音幀及異常聲音幀。
[0025]2.正常聲音幀:指未檢測到異常聲音的音頻幀。這種音頻幀表示沒有異常事件發(fā)生時的背景聲音。
[0026]3.異常聲音幀:指檢測到音頻變化的音頻幀，意味著出現(xiàn)了異常事件(異常事件分為監(jiān)控目標事件和非監(jiān)控目標事件，每種監(jiān)控應用都有監(jiān)控目的，比如說，無人值守機房防盜監(jiān)控系統(tǒng)，機房正常運行無人進入為正常事件，有人非法侵入為監(jiān)控目標事件，輕微地震引起物品摔落為非監(jiān)控目標事件)，這種情況下需要開啟視頻監(jiān)控并進行異常事件分析。
[0027]4.E_curr_l:當前幀左聲道PCM能量值。
[0028]5.E_curr_r:當前幀右聲道PCM能量值。
[0029]6.E_curr:當前幀PCM能量值，即左右聲道PCM能量平均值，E_curr= (E_curr_l+E_curr_r)/20
[0030]7.E_back:背景聲音能量平均值，即正常聲音幀的能量平均值?？梢圆捎们癕個正常聲音幀的平均值用于計算背景聲音能量平均值E_back，M值可根據(jù)實際情況監(jiān)控目標事件的快慢設定以達到最佳效果，比如說100。
[0031 ] 8.Threshold:異常聲音幀門限值，如果當前幀E_curr對比E_back超過門限值，則意味著檢測到了明顯聲音變化，也即意味著異常事件的發(fā)生。由于不同使用場合背景聲音能量平均值不同、監(jiān)控目標事件不同，其值會有所變化，需要根據(jù)實際情況而定。
[0032]9.T:異常事件發(fā)生時刻。音頻監(jiān)控和視頻監(jiān)控共用一個時鐘，一旦檢測到異常事件發(fā)生，需要記錄下發(fā)生時刻信息，并同時記錄到音頻監(jiān)控碼流和視頻監(jiān)控碼流以保證音視頻同步，以便在未來查詢時能迅速知道異常時刻發(fā)生時刻。
[0033]10.L_max: —般來說，異常事件一旦發(fā)生，往往需要持續(xù)一段時間，所以一旦檢測到異常事件，打開視頻監(jiān)控后，可以直接連續(xù)監(jiān)控L_max幀，L_max幀之后，停止視頻監(jiān)控，并且重新進行異常事件檢測。L_max的長度選擇需要根據(jù)監(jiān)控應用場合及監(jiān)控目標事件的長度而選擇，比如說監(jiān)控公路車禍的監(jiān)控系統(tǒng)，車禍的發(fā)生往往是一瞬間，可以設定一點較短的L_max值。
[0034]11.L:視頻編碼計數(shù)器，保證一旦檢測到異常事件，需要持續(xù)視頻監(jiān)控記錄L_max幀。
[0035]如附圖2所示的整個視頻監(jiān)控過程如以下步驟表示:
[0036]1.E_curr初始化為O或已知當前背景聲音能量平均值。
[0037]2.雙聲道音頻PCM采樣輸入，
[0038]3.計算左聲道音頻幀能量值E_curr_l，計算右聲道音頻幀能量值E_curr_r。
[0039 ] 4.計算當前幀雙聲道音頻能量值E_curr = (E_curr_l+E_curr_r) /2。
[0040]5.判斷E_curr/E_back是否超過門限值Thresho Id，如果超過門限值，則檢測到異常事件，進入下一步進行異常事件處理，否則更新E_Curr，回到步驟2重新檢測。
[0041]6.記錄下異常事件的發(fā)生時間T，并將視頻幀監(jiān)控計數(shù)器L清零，準備進行異常事件檢測和視頻監(jiān)控。
[0042]7.能過雙聲道能量差和時間差，相位差等信息分析異常聲音方位。
[0043]8.調整攝像頭以取得最佳的監(jiān)控角度，并開啟視頻監(jiān)控探頭開始進行視頻監(jiān)控圖像攝取和編碼。
[0044]9.如果當前視頻監(jiān)控記錄幀數(shù)達到L_max幀，則退出視頻監(jiān)控，進入監(jiān)控后處理步驟13 ο
[0045]10.攝像頭攝取視頻圖像進行編碼。
[0046]11.通過對比異常事件前、中、后的視頻圖像幀的差別來找到異常事件物體相關的圖像塊。
[0047]12.根據(jù)預設的監(jiān)控目標事件特征，對異常事件物體相關圖像塊進行分析以確定是否為監(jiān)控目標事件，同時，更新計數(shù)器L，回到步驟9。
[0048]13.如果在異常事件分析過程中，成功檢測到該異常事件為監(jiān)控目標事件，則按預設的方式進行處理，比如報警;否則僅僅記錄為一個異常事件發(fā)生。
[0049]14.將異常事件發(fā)生時間T和視頻編碼碼流存儲到存儲器，重新回到步驟2，進行全新的一次音頻監(jiān)控。
[0050]如附圖3所示，監(jiān)控系統(tǒng)包括音視頻監(jiān)控同步模塊，音頻監(jiān)控模塊和視頻監(jiān)控模塊。
[0051]考慮到音頻和視頻監(jiān)控的同步以及異常事件發(fā)生時刻的確定，兩者需要共用一個時鐘信號源，即圖中的音視頻監(jiān)控同步模塊。音頻視監(jiān)控同步模塊會送出相同的時鐘信息進入音頻監(jiān)控模塊和視頻監(jiān)控模塊。
[0052]左右聲道PCM值一路送至音頻監(jiān)控模塊進行連續(xù)性的音頻監(jiān)控(在某些不需要音頻連續(xù)性監(jiān)控的情況下，也可以只在探測到異常事件時才進行音頻監(jiān)控編碼記錄)，并將音頻監(jiān)控編碼碼流連同時間信息一同記錄到存儲模塊A;另一路則送入視頻監(jiān)控模塊進行異常聲音檢測。
[0053]在視頻監(jiān)控模塊中，視頻監(jiān)控控制模塊控制整個視頻監(jiān)控過程。在視頻監(jiān)控模塊中，首先在能量計算模塊中對輸入的音頻幀直接計算當前幀的能量值E_CUrr，并且在未檢測到異常聲音的情況下，更新背景聲音能量值E_baCk，在接下來的異常聲音檢測模塊中進SE_CUrr&E_baCk數(shù)值的對比處理。一旦檢測到異常聲音，則代表異常事件發(fā)生，則在異常事件方向檢測模塊中，根據(jù)E_curr_l，E_curr_r，并結合左右聲道時間差，相位差等額外信息，判斷異常事件發(fā)生的方向，并通知視頻監(jiān)控控制模塊，調整視頻監(jiān)控探頭的方向，開始進行異常事件分析和視頻編碼記錄。在視頻異常事件分析模塊中，會根據(jù)異常事件前、中、后視頻圖像幀的差別來找到異常事件所對應的圖像塊，結合監(jiān)控目標事件特征庫中設定的記錄監(jiān)控目標特點，對異常事件所對應的圖像塊進行分析處理對比以確認是否為監(jiān)控目標事件，如果是監(jiān)控目標事件，則根據(jù)設定的處理方式進行報警或者其它相應處理;如果未能檢測到是監(jiān)控目標事件，則僅僅報告異常事件發(fā)生。不管是否監(jiān)控目標事件，在異常事件發(fā)生后，視頻編碼模塊都會對L_max幀視頻圖像進行編碼并存儲入存儲模塊B。其中存儲模塊A和存儲模塊B可以是同一模塊，以可以為不同模塊。
【主權項】
1.一種存儲控制系統(tǒng)，其特征在于: 對于包含視頻監(jiān)控系統(tǒng)以及音頻監(jiān)控系統(tǒng)的安全監(jiān)控系統(tǒng)，其視頻監(jiān)控在正常情況下處于關閉狀態(tài)，音頻監(jiān)控始終進行以保證監(jiān)控持續(xù)性，音頻監(jiān)控系統(tǒng)當探測到異常聲音變化時，記錄下異常事件發(fā)生的時間并寫入音頻監(jiān)控碼流，同時分析聲音的方位，從而調整視頻監(jiān)控攝像頭以取得最佳監(jiān)控角度，打開視頻監(jiān)控，記錄下異常事件發(fā)和的時間以便和音頻監(jiān)控碼流同步，進行視頻編碼存儲。
【文檔編號】H04N7/18GK106027981SQ201610459252
【公開日】2016年10月12日
【申請日】2016年6月22日
【發(fā)明人】易飛, 繆達瑞, 錢志
【申請人】成都嘉澤興業(yè)科技有限責任公司