本技術(shù)涉及一種智慧城市監(jiān)控視頻編碼方法，特別涉及一種聚焦關(guān)鍵區(qū)域的智慧城市監(jiān)控視頻編碼方法，屬于視頻監(jiān)控編碼。

背景技術(shù)：

1、隨著信息技術(shù)不斷發(fā)展，城市信息化水平不斷提升，智慧城市建設(shè)穩(wěn)步展開。計(jì)算機(jī)、網(wǎng)絡(luò)、圖像處理、傳輸技術(shù)飛速進(jìn)步，視頻技術(shù)也得到明顯的發(fā)展和提升，為城市公共安全系統(tǒng)的構(gòu)建、公共秩序的維持提供了很大的幫助，視頻監(jiān)控技術(shù)還可以應(yīng)用在城市應(yīng)急、智能交通、安防監(jiān)管等領(lǐng)域，正在全面邁向數(shù)字化、網(wǎng)絡(luò)化和智能化的時(shí)代。

2、城市監(jiān)控視頻網(wǎng)絡(luò)和智慧城市建設(shè)的深入而不斷擴(kuò)大。監(jiān)控網(wǎng)絡(luò)的快速發(fā)展也帶來一些嚴(yán)峻挑戰(zhàn)，限制了其在實(shí)際生活中的應(yīng)用。其中最緊迫的問題之一就是監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)，監(jiān)控視頻的分辨率越來越高，導(dǎo)致產(chǎn)生的數(shù)據(jù)總量也隨之不斷增加。長時(shí)間儲(chǔ)存這些數(shù)據(jù)會(huì)花費(fèi)大量的人力、物力以及財(cái)力，是不切實(shí)際的。針對監(jiān)控系統(tǒng)高清晰度和存儲(chǔ)設(shè)備高成本之間的矛盾，現(xiàn)有技術(shù)是采用更高的壓縮比進(jìn)行視頻壓縮以節(jié)約存儲(chǔ)成本,但這導(dǎo)致了監(jiān)控視頻的質(zhì)量降低，嚴(yán)重影響了對象識(shí)別和跟蹤的準(zhǔn)確度。

3、現(xiàn)有的視頻壓縮分為有損壓縮和無損壓縮兩類。對監(jiān)控視頻進(jìn)行有損壓縮會(huì)丟失大量城市監(jiān)控線索，而無損壓縮雖保全了視頻信息，但由于數(shù)據(jù)量較大，不能滿足存儲(chǔ)和傳輸?shù)男枨蟆Ｒ虼?，考慮把監(jiān)控視頻幀劃分為包含監(jiān)控關(guān)注對象的roi和不包含監(jiān)控關(guān)注對象的非roi，然后結(jié)合有損壓縮與無損壓縮，對于非感興趣區(qū)域使用較高壓縮比的有損壓縮，對于感興趣區(qū)域使用較低壓縮比的有損壓縮甚至是無損壓縮,這樣既能滿足存儲(chǔ)與傳輸?shù)男枨笠部杀ＷC監(jiān)控關(guān)注對象區(qū)域的質(zhì)量。

4、現(xiàn)有技術(shù)基于感興趣區(qū)域的視頻編碼包含兩個(gè)步驟：1)通過自下而上或自上而下的感知模型提取roi；2)調(diào)整roi與非roi比特分配以提升視頻主觀質(zhì)量。而在案件調(diào)查中，往往更關(guān)注具有城市監(jiān)控價(jià)值的目標(biāo)，如行人、人臉、車輛和車牌等信息，這些目標(biāo)并不一定是人眼最關(guān)注的目標(biāo)。因此,將現(xiàn)有的roi編碼直接應(yīng)用到監(jiān)控視頻編碼中很難達(dá)到期望的性能。

5、現(xiàn)有技術(shù)的關(guān)鍵區(qū)域城市監(jiān)控視頻編碼方法需要解決的問題和本技術(shù)關(guān)鍵技術(shù)難點(diǎn)包括：

6、(1)城市視頻監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)存在較大的技術(shù)難點(diǎn)，監(jiān)控視頻的分辨率越來越高，導(dǎo)致產(chǎn)生的數(shù)據(jù)總量也隨之不斷增加，長時(shí)間儲(chǔ)存這些數(shù)據(jù)會(huì)花費(fèi)大量的人力、物力及財(cái)力，是不切實(shí)際的。針對監(jiān)控系統(tǒng)高清晰度和存儲(chǔ)設(shè)備高成本之間的矛盾，現(xiàn)有技術(shù)是采用更高的壓縮比進(jìn)行視頻壓縮以節(jié)約存儲(chǔ)成本,但這導(dǎo)致了監(jiān)控視頻的質(zhì)量降低，嚴(yán)重影響了對象識(shí)別和跟蹤的準(zhǔn)確度?，F(xiàn)有技術(shù)對監(jiān)控視頻進(jìn)行有損壓縮會(huì)丟失大量城市監(jiān)控線索，而無損壓縮雖保全了視頻信息，但由于數(shù)據(jù)量較大，不能滿足存儲(chǔ)和傳輸?shù)男枨蟆，F(xiàn)有技術(shù)未考慮對于非感興趣區(qū)域使用較高壓縮比的有損壓縮，對于感興趣區(qū)域使用較低壓縮比的有損壓縮甚至是無損壓縮的方法,造成既不能滿足存儲(chǔ)與傳輸?shù)男枨笠矡o法保證監(jiān)控關(guān)注對象區(qū)域的質(zhì)量。

7、(2)案件調(diào)查中往往更關(guān)注具有城市監(jiān)控價(jià)值的目標(biāo)，如行人、人臉、車輛和車牌等信息，這些目標(biāo)并不一定是人眼最關(guān)注的目標(biāo)，現(xiàn)有技術(shù)將roi編碼直接應(yīng)用到監(jiān)控視頻編碼中很難達(dá)到期望的性能。監(jiān)控視頻與其它多媒體視頻的不同在于監(jiān)控視頻的拍攝不是為了欣賞，而是為突發(fā)事件和公共案件的分析提供更有價(jià)值的線索?，F(xiàn)有技術(shù)缺少基于該特點(diǎn)對監(jiān)控視頻分析的應(yīng)用，不能在降低監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)成本的同時(shí)保證原有的線索不丟失，無法滿足事件調(diào)查的需求，公共事件中，與背景信息相比更關(guān)注包含監(jiān)控關(guān)注對象(行人和車輛)或面部信息的區(qū)域，而視頻分析最重要的先決條件之一就是這些感興趣區(qū)域(roi)的相對高度保真，現(xiàn)有技術(shù)缺少面向監(jiān)控視頻的分析，無法根據(jù)在視頻分析中的感興趣區(qū)域來調(diào)整編碼的碼率分配以解決數(shù)據(jù)存儲(chǔ)問題，無法滿足智慧城市監(jiān)控視頻編碼大數(shù)據(jù)快響應(yīng)的需求。

8、(3)現(xiàn)有技術(shù)感興趣區(qū)域的提取主要是基于人類視覺注意機(jī)制,不適合面向監(jiān)控視頻分析,現(xiàn)有技術(shù)缺少根據(jù)監(jiān)控關(guān)注對象不同的空域信息提取出四種監(jiān)控關(guān)注對象(行人、人臉、車輛、車牌)的空域顯著圖，缺少通過對空域顯著圖的糾正調(diào)合后生成完整的包含所有監(jiān)控關(guān)注對象的空域顯著圖，不能構(gòu)建時(shí)域運(yùn)動(dòng)信息生成的時(shí)域顯著圖，無法通過對空-時(shí)顯著圖的調(diào)合，不能很好的區(qū)分靜止的監(jiān)控關(guān)注對象與動(dòng)態(tài)的監(jiān)控關(guān)注對象，無法將生成的面向分析的顯著圖融入hevc的編碼框架中，無法根據(jù)顯著圖來調(diào)整hevc中的碼率控制，無法建立加權(quán)碼率控制方案以強(qiáng)調(diào)包含監(jiān)控關(guān)注對象的區(qū)域，造成監(jiān)控視頻編碼的質(zhì)量差，無法滿足視頻分析的需求，同時(shí)比特率消耗大，不適合用于存儲(chǔ)大型監(jiān)控?cái)?shù)據(jù)。

技術(shù)實(shí)現(xiàn)思路

1、為提升監(jiān)控關(guān)注對象區(qū)域的編碼質(zhì)量，本技術(shù)提出一種面向分析的監(jiān)控視頻編碼技術(shù)，以維持監(jiān)控視頻的分析價(jià)值。在本技術(shù)提出的方法中，將顯著性視為對象檢測和識(shí)別的重要特征，以代替根據(jù)人類視覺感知系統(tǒng)所產(chǎn)生的顯著圖。經(jīng)過這種修改以后，調(diào)查中的所有監(jiān)控關(guān)注對象都將被賦予更高的顯著值,而不僅僅是在圖像中產(chǎn)生一個(gè)或兩個(gè)顯著區(qū)域。然后，通過時(shí)域運(yùn)動(dòng)信息來強(qiáng)調(diào)移動(dòng)的對象，即移動(dòng)的監(jiān)控關(guān)注對象將獲得更高的顯著值。最后,基于顯著性的碼率控制算法被嵌入在hevc中，在固定的比特率下維持編碼視頻中的監(jiān)控關(guān)注對象的質(zhì)量。通過兩個(gè)度量分析性能的指標(biāo)(特征相似性和對象檢測精度)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，在實(shí)現(xiàn)與hevc相同的特征相似性和對象檢測精度的情況下，本技術(shù)的方法分別可以節(jié)省20％和40％的比特率，用于存儲(chǔ)智慧城市大型監(jiān)控?cái)?shù)據(jù)。

2、為實(shí)現(xiàn)以上技術(shù)效果，本技術(shù)所采用的技術(shù)方案以下：

3、聚焦關(guān)鍵區(qū)域的智慧城市監(jiān)控視頻編碼方法，首先構(gòu)建空間域中基于特征的顯著性檢測方法,以打分法評估行人、人臉、車輛和車牌四種監(jiān)控關(guān)注對象的發(fā)生概率，基于響應(yīng)得分生成四種監(jiān)控關(guān)注對象的空域顯著圖，并通過調(diào)合生成最終的空域顯著圖，然后通過變分運(yùn)動(dòng)測量來計(jì)算時(shí)域顯著性，獲取時(shí)域顯著圖，在分別獲取空域、時(shí)域顯著圖之后，通過加權(quán)調(diào)合的方法產(chǎn)生最終的空-時(shí)顯著圖，隨后，采用基于roi的加權(quán)r-λ策略對編碼的碼率進(jìn)行控制，采用基于顯著性的權(quán)重來調(diào)整roi中量化參數(shù)qp的計(jì)算，給具有較高顯著性的監(jiān)控關(guān)注對象區(qū)域分配更多的比特,提高監(jiān)控視頻分析性能；

4、1)關(guān)鍵區(qū)域空域顯著性檢測：根據(jù)四種監(jiān)控關(guān)注對象不同的空域信息進(jìn)行檢測，包括基于分歧特征的人臉顯著性檢測模型、車牌顯著性檢測模型，然后對得分圖進(jìn)行處理最終生成空域顯著圖；

5、2)關(guān)鍵區(qū)域時(shí)域顯著性檢測：構(gòu)建基于變分運(yùn)動(dòng)測量提取運(yùn)動(dòng)信息的模型，通過所獲得的運(yùn)動(dòng)信息生成時(shí)域顯著圖；

6、3)面向視頻分析的空-時(shí)顯著圖調(diào)合：首先糾正空域顯著圖異常值，然后調(diào)合空域顯著圖，接著采用面向視頻分析的調(diào)合方法進(jìn)行關(guān)鍵區(qū)域空-時(shí)顯著圖調(diào)合；

7、4)關(guān)鍵區(qū)域顯著性的碼率控制模型：采用新型的r-λ模型以及在此基礎(chǔ)上改進(jìn)的面向關(guān)鍵區(qū)域視頻分析的碼率控制模型。

8、優(yōu)選地，關(guān)鍵區(qū)域空域顯著性檢測：通過改善監(jiān)控關(guān)注對象的顯著性以支持在計(jì)算機(jī)上更快處理分析監(jiān)控視頻中的特定人和車輛，在空域中，用監(jiān)控關(guān)注對象出現(xiàn)的概率度量其顯著性，出現(xiàn)概率越高的顯著值越高，本技術(shù)構(gòu)建一種評分方法，根據(jù)行人、車輛、人臉和車牌四種對象不同的空域信息，通過檢測監(jiān)控關(guān)注對象并返回得分圖，然后對得分圖進(jìn)行處理生成空域顯著圖，計(jì)算監(jiān)控關(guān)注對象在每幅圖像中出現(xiàn)的可能性。

9、優(yōu)選地，基于分歧特征的人臉顯著性檢測模型：將整個(gè)人臉看作一個(gè)顯著區(qū)域，采用一種新型分歧特征分歧進(jìn)行檢測，分歧特征定義分歧函數(shù)f(x,y)，其中x和y表示任意兩個(gè)像素的像素值，當(dāng)x＝y(tǒng)＝0時(shí)，x和y兩點(diǎn)之間不存在灰度差，f(o,0)＝0，分歧特征的計(jì)算式如下：

10、

11、分歧特征通過一個(gè)深層二叉樹來學(xué)習(xí)最優(yōu)的特征子集和這些子集的結(jié)合，以便復(fù)雜的面部流形通過學(xué)習(xí)的規(guī)則進(jìn)行分割，該深層二叉樹采用一種新的樹內(nèi)節(jié)點(diǎn)分裂方式來構(gòu)建，新的分裂方式考慮x的一階、二階信息：

12、(ax2+bx+c)<t???式2

13、其中a，b，c是常量，x是特征值，t是分裂臨界值，函數(shù)檢測x是否處于[θ1，θ2]中，θ1和θ2是兩個(gè)已知的臨界值；

14、在計(jì)算人臉的顯著性時(shí)，采用分歧特征并通過該模型中的深層二叉樹進(jìn)行學(xué)習(xí)，通過單個(gè)級(jí)聯(lián)分類器檢測人臉，人臉的響應(yīng)得分由級(jí)聯(lián)adaboost分類器產(chǎn)生：

15、scoref＝g(x)＝g(f(x，y))???式3

16、在得到檢測人臉的得分圖scoref之后，對其進(jìn)行和行人與車輛一樣的歸一化處理來獲取最終的人臉顯著圖。

17、優(yōu)選地，車牌顯著性檢測模型：采用開放源代碼easypr3檢測車牌，包括車牌定位檢測與字符識(shí)別，車牌檢測platedetect包含車牌的定位，svm的訓(xùn)練，以及車牌的判斷三個(gè)過程，首先對輸入圖像是否包含車牌進(jìn)行分析，定位一些可能是車牌的區(qū)域，然后截取這些可能是車牌的圖塊，通過訓(xùn)練好的svm模型來判別截取的圖塊是否為真正的車牌，系統(tǒng)中字符識(shí)別charsrecognise部分則包含字符的分割、神經(jīng)網(wǎng)絡(luò)ann的訓(xùn)練、字符識(shí)別三個(gè)過程，對在車牌檢測步驟中截取的車牌圖像進(jìn)行灰度化處理，然后進(jìn)行光學(xué)字符識(shí)別以獲取車牌中各個(gè)字符的分割圖塊，在獲取車牌字符圖塊后，進(jìn)行分類后送入人工神經(jīng)網(wǎng)絡(luò)中的多層感知機(jī)模型進(jìn)行訓(xùn)練；

18、把監(jiān)控視頻中車牌出現(xiàn)的可能性視為一個(gè)二值問題，即車牌是否存在：

19、

20、獲取檢測車牌的響應(yīng)得分之后進(jìn)行歸一化處理。

21、優(yōu)選地，關(guān)鍵區(qū)域時(shí)域顯著性檢測：構(gòu)建運(yùn)動(dòng)信息以改進(jìn)在空間域中檢測到的靜態(tài)顯著性，通過構(gòu)建變分運(yùn)動(dòng)測量來獲取監(jiān)控視頻每幀中各像素點(diǎn)的運(yùn)動(dòng)矢量信息以確定顯著目標(biāo)，通過描述符匹配解決大位移運(yùn)動(dòng)的問題，模型的能量泛函表達(dá)為式5：

22、e(w)＝ecolor(w)+γegradient(w)+αesmooth(w)+βematch(w，w1)+edesc(w1)?????式5

23、其中γ、α、β是通過大量視頻分析或真實(shí)數(shù)據(jù)估算得到的調(diào)節(jié)參數(shù)，式5中ecolor(w)是灰度或顏色守恒假設(shè)的數(shù)據(jù)項(xiàng)，計(jì)算式如下：

24、ecolor(w)＝∫ωψ(|i2(x+w(x))-i1(x)|2)dx???式6

25、式6中w為像素點(diǎn)x的運(yùn)動(dòng)矢量，i1和i2為圖像序列中的前后兩幀，ψ是非平方懲罰函數(shù)，

26、模型的能量泛函中egradient(w)是梯度守恒假設(shè)的數(shù)據(jù)項(xiàng)，計(jì)算表達(dá)式為：

27、

28、能量泛函中esmooth(w)是平滑項(xiàng)，表達(dá)式為式8：

29、

30、泛函中的ematch(w，w1)是將描述符匹配點(diǎn)整合到變分法的增加項(xiàng)，其中w1表示在像素點(diǎn)x通過描述符匹配獲得的對應(yīng)的矢量：

31、ematch(w，w1)＝∫δ(x)ρ(x)ψ(|w(x)-w1(x)|2)dx???式9

32、當(dāng)在前一幀中存在可用的描述符時(shí)ematch中的δ(x)取值為1，否則為0，泛函中的edese(w1)是在ematch假定的描述符已匹配時(shí)的區(qū)域匹配項(xiàng)，表達(dá)式如式10：

33、edesc(w1)＝∫δ(x)|f2(x+w1(x))-f1(x)|2dx???式10

34、在edesc(w1)中的f1和f2分別為前后兩幀的特征矢量，ρ(x)是匹配數(shù)，其計(jì)算表達(dá)式為：

35、

36、其中d1和d2分別表示最佳匹配距離和第二佳匹配距離；

37、本技術(shù)在檢測監(jiān)控視頻中監(jiān)控關(guān)注對象顯著性時(shí)，首先通過變分運(yùn)動(dòng)測量模型來獲取每幀中像素點(diǎn)的運(yùn)動(dòng)信息，然后利用像素點(diǎn)的運(yùn)動(dòng)矢量來計(jì)算該點(diǎn)的顯著性，利用運(yùn)動(dòng)矢量的長度來計(jì)算時(shí)域中圖像的顯著性，分別用ux和uy表示運(yùn)動(dòng)矢量在水平與垂直方向的分量，在時(shí)域中點(diǎn)(x，y)的顯著性表示為：

38、

39、對監(jiān)控關(guān)注對象檢測的時(shí)域顯著圖即在獲得st后歸一化為范圍是0到255的灰度圖。

40、優(yōu)選地，面向視頻分析的空-時(shí)顯著圖調(diào)合：完善監(jiān)控關(guān)注對象的空域顯著圖以糾正異常響應(yīng)值，然后調(diào)合四種監(jiān)控關(guān)注對象的空域顯著圖，并根據(jù)其在事件中所攜帶信息的價(jià)值將輸入幀劃分成三個(gè)粗略的等級(jí)：級(jí)別1為包含車牌和人臉區(qū)域的輸入幀，級(jí)別2為包含行人和車輛區(qū)域的輸入幀，級(jí)別3為包含除去這四種監(jiān)控關(guān)注對象以外區(qū)域的輸入幀，在調(diào)合空域顯著圖之后，構(gòu)建時(shí)域運(yùn)動(dòng)信息以補(bǔ)充監(jiān)控關(guān)注對象的顯著性，并根據(jù)監(jiān)控關(guān)注對象在案件偵查中的吸引力將輸入幀精細(xì)劃分為四個(gè)區(qū)域：包含運(yùn)動(dòng)的監(jiān)控關(guān)注對象的區(qū)域、包含靜態(tài)的監(jiān)控關(guān)注對象的區(qū)域、包含運(yùn)動(dòng)的非監(jiān)控關(guān)注對象的區(qū)域、包含靜態(tài)的非監(jiān)控關(guān)注對象的區(qū)域。

41、優(yōu)選地，空域顯著圖的糾正：利用行人和車輛的空域顯著圖糾正人臉及車牌的空域顯著圖以提高其準(zhǔn)確性；

42、在糾正人臉異常響應(yīng)值之前，將設(shè)定行人和人臉顯著臨界值δp和δf來去除背景及其它物體帶來的噪聲影響，在糾正人臉異常值時(shí)，當(dāng)人臉區(qū)域的中心在行人的區(qū)域內(nèi)時(shí)，將人臉與行人進(jìn)行匹配，在獲取所有的行人-人臉匹配對后，將人臉顯著圖進(jìn)行修改：

43、s′f＝sf·i???式13

44、

45、上式中sf’為修正后的空域人臉顯著圖，i為人臉與行人匹配區(qū)域的二進(jìn)制掩碼，rpair表示人臉-行人匹配對，當(dāng)像素點(diǎn)屬于人臉-行人匹配區(qū)域時(shí)i取值為1，否則為0。

46、優(yōu)選地，空域顯著圖的調(diào)合：基于空域信息獲得四種監(jiān)控關(guān)注對象的顯著圖：人臉顯著圖sf、行人顯著圖sp、車輛顯著圖sv、車牌顯著圖s1，在糾正異常的響應(yīng)值后，四種顯著圖表現(xiàn)監(jiān)控關(guān)注對象出現(xiàn)可能性大小，本技術(shù)基于四種顯著圖存在相關(guān)性和互補(bǔ)性，通過相互調(diào)合以提升通過單個(gè)特征檢測的顯著性，并且通過調(diào)合獲得同時(shí)包含四種監(jiān)控關(guān)注對象的顯著圖；

47、在調(diào)合時(shí)首先調(diào)合人臉和行人的顯著圖生成行人-人臉顯著圖sp，f，并調(diào)合車牌和車輛的顯著圖生成車輛-車牌顯著圖sv，1，調(diào)合采用線性加權(quán)的方法：

48、sp，f＝αp，f·s′f+(1-αp，f)·sp????式14

49、sv，l＝αv，l·s′l+(1-αv，l)·sv????式15

50、式14與式15中αp，f和αv，l分別是行人-人臉顯著圖調(diào)合和車輛-車牌顯著圖調(diào)合的權(quán)重系數(shù)，取值范圍是[0，1]，人臉和車牌包含的信息量多于行人和車輛，且這些信息是關(guān)鍵線索，并且人臉和車牌作為行人和車輛區(qū)域的一部分，其顯著性對行人和車輛區(qū)域顯著性的影響積極，調(diào)合時(shí)賦予人臉和車牌區(qū)域更高的權(quán)重，αp，f和αv，l取值近似等于1，通過加強(qiáng)人臉和車牌在s′f和s′l中的顯著性使其大于行人和車輛顯著圖中的最大值，并在s′f和sp中提升人臉區(qū)域的顯著性，在s′l和sv中提升車牌區(qū)域的顯著性，獲得的調(diào)合圖中人臉和車牌信息更顯著；

51、在分別獲取行人-人臉顯著圖sp，f及車輛-車牌顯著圖sv，1之后，將這個(gè)兩種顯著圖進(jìn)行調(diào)合以獲取最終的顯著圖ss，基于監(jiān)控關(guān)注對象在一幅圖中的某個(gè)區(qū)域不可能同時(shí)為行人/人臉和車輛/車牌，體現(xiàn)顯著圖基于監(jiān)控關(guān)注對象出現(xiàn)概率所生成，調(diào)合采用最大值法：

52、ss＝max(sp，f(x，y)，sv，l(x，y))???式16

53、最終的顯著圖ss中像素點(diǎn)(x，y)的顯著性將選取sp，f與sv，1在該點(diǎn)顯著值的較大值。

54、優(yōu)選地，空-時(shí)顯著圖調(diào)合：將時(shí)域顯著圖與空域顯著圖進(jìn)行調(diào)合使其相互補(bǔ)充以獲取更為精準(zhǔn)的空-時(shí)顯著圖ss，t；

55、基于靜止監(jiān)控?cái)z像機(jī)，對空-時(shí)顯著圖的調(diào)合采用線性加權(quán)的方法來獲取最終的顯著圖以區(qū)分靜態(tài)對象與運(yùn)動(dòng)對象：

56、ss，t＝αs，t·ss+(1-αs，t)·st????式17

57、式中ss為空域顯著圖，st為時(shí)域顯著圖，αs，t為調(diào)合空-時(shí)顯著圖的加權(quán)系數(shù)，當(dāng)αs，t較小時(shí)，空-時(shí)顯著圖的顯著性源于時(shí)域顯著圖，當(dāng)αs，t＝0.5時(shí)，空域顯著圖與時(shí)域顯著圖呈現(xiàn)平衡狀態(tài)，在調(diào)合時(shí)給予時(shí)域顯著圖更高的權(quán)重，確保在最終的空-時(shí)顯著圖中運(yùn)動(dòng)的監(jiān)控關(guān)注對象顯著于靜態(tài)監(jiān)控關(guān)注對象。

58、優(yōu)選地，關(guān)鍵區(qū)域顯著性的碼率控制模型：通過檢測監(jiān)控關(guān)注對象的顯著性來提取用于視頻分析的關(guān)鍵區(qū)域，建立基于r-λ的碼率控制模型來提升感興趣區(qū)域的重構(gòu)質(zhì)量；

59、本技術(shù)提出一種建立碼率與拉格朗日乘子λ的關(guān)系，并r-λ模型的基礎(chǔ)上進(jìn)行改進(jìn)以適用于視頻分析的碼率控制模型；

60、碼率控制分兩個(gè)步驟：對每級(jí)編碼單元進(jìn)行比特分配以及設(shè)法達(dá)到預(yù)先設(shè)定的目標(biāo)比特；

61、比特分配包含三個(gè)層次，圖像組gop級(jí)，圖像級(jí)以及基本編碼單元級(jí)，每幀的比特平均為：

62、

63、其中rtar為目標(biāo)比特，f為幀率，根據(jù)預(yù)先的信息或緩沖區(qū)狀態(tài)對平均比特進(jìn)行調(diào)整，在理想情況下，圖像組gop級(jí)的實(shí)際編碼比特正好等于預(yù)先分配好的比特，gop的分配比特targetgop等于gop中幀數(shù)ngop與每幀平均比特rpicavg的乘積，即：

64、tgop＝ngop×rpicavg???式19

65、在圖像級(jí)中，則根據(jù)每幀的權(quán)重來分配比特：

66、

67、即根據(jù)每幀的權(quán)重給剩余的幀分配該gop中剩余的比特，而在基本單元級(jí)中，根據(jù)基本單元的權(quán)重將每幀中剩余的比特分給剩余的基本單元：

68、

69、其中式21的bith是預(yù)先估算的圖像頭信息的比特，通過之前編碼的屬于同一級(jí)圖像的頭信息的比特均值估算得到，lcu的權(quán)重由mad確定，mad根據(jù)之前編碼的屬于同級(jí)圖像中的同一位置的基本單元的預(yù)測誤差得到，每個(gè)lcu的mad計(jì)算式22如下：

70、

71、其中n為當(dāng)前l(fā)cu中像素的數(shù)目，porg為原始像素值，ppred是預(yù)測像素值，每個(gè)lcu的權(quán)重計(jì)算為：

72、

73、對r-λ模型中最大編碼單元的比特分配進(jìn)行調(diào)整，在監(jiān)控關(guān)注對象區(qū)域使用較小的qp保證重構(gòu)質(zhì)量，在r-λ模型中最大編碼單元的比特權(quán)重由mad計(jì)算得到，通過對比較敏感目標(biāo)的顯著性與周圍區(qū)域的顯著性來改進(jìn)mad，進(jìn)而提升敏感對象區(qū)域編碼比特的權(quán)重分配。

74、與現(xiàn)有技術(shù)相比，本技術(shù)的創(chuàng)新點(diǎn)和優(yōu)勢在于：

75、(1)為提升監(jiān)控關(guān)注對象區(qū)域的編碼質(zhì)量，本技術(shù)提出一種面向分析的監(jiān)控視頻編碼技術(shù)，以維持監(jiān)控視頻的分析價(jià)值。在本技術(shù)提出的方法中，將顯著性視為對象檢測和識(shí)別的重要特征，以代替根據(jù)人類視覺感知系統(tǒng)所產(chǎn)生的顯著圖。經(jīng)過這種修改以后，調(diào)查中的所有監(jiān)控關(guān)注對象都將被賦予更高的顯著值,而不僅僅是在圖像中產(chǎn)生一個(gè)或兩個(gè)顯著區(qū)域。然后，通過時(shí)域運(yùn)動(dòng)信息來強(qiáng)調(diào)移動(dòng)的對象，即移動(dòng)的監(jiān)控關(guān)注對象將獲得更高的顯著值。最后,基于顯著性的碼率控制算法被嵌入在hevc中，在固定的比特率下維持編碼視頻中的監(jiān)控關(guān)注對象的質(zhì)量。通過兩個(gè)度量分析性能的指標(biāo)(特征相似性和對象檢測精度)進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，在實(shí)現(xiàn)與hevc相同的特征相似性和對象檢測精度的情況下，本技術(shù)的方法分別可以節(jié)省20％和40％的比特率，用于存儲(chǔ)智慧城市大型監(jiān)控?cái)?shù)據(jù)。

76、(2)監(jiān)控視頻與其它多媒體視頻的不同在于監(jiān)控視頻的拍攝不是為了欣賞，而是為突發(fā)事件和公共案件的分析提供更有價(jià)值的線索。基于這個(gè)特點(diǎn)，本技術(shù)新的監(jiān)控視頻編碼方法以對監(jiān)控視頻的分析為目的,在降低監(jiān)控?cái)?shù)據(jù)的存儲(chǔ)成本的同時(shí)保證原有的線索不丟失，以滿足事件調(diào)查的需求，公共事件中，與背景信息相比往往更關(guān)注包含監(jiān)控關(guān)注對象(行人和車輛)或面部信息的區(qū)域。而視頻分析最重要的先決條件之一就是這些感興趣區(qū)域(roi)的相對高度保真。本技術(shù)方法面向監(jiān)控視頻的分析，根據(jù)在視頻分析中的感興趣區(qū)域來調(diào)整編碼的碼率分配以解決數(shù)據(jù)存儲(chǔ)問題，存儲(chǔ)成本的顯著降低，有效解決了監(jiān)控?cái)?shù)據(jù)快速膨脹與存儲(chǔ)成本之間的矛盾，高效壓縮了數(shù)據(jù)量同時(shí)不降低監(jiān)控視頻的分析價(jià)值，是當(dāng)前更有效的針對監(jiān)控視頻的壓縮編碼方法。

77、(3)由于本技術(shù)方法面向監(jiān)控視頻分析,所以本技術(shù)提出的方法中感興趣區(qū)域的提取不再是基于人類視覺注意機(jī)制,而是基于案件分析的顯著特征。首先根據(jù)四種監(jiān)控關(guān)注對象不同的空域信息提取出四種監(jiān)控關(guān)注對象(行人、人臉、車輛、車牌)的空域顯著圖，然后再通過對空域顯著圖的糾正調(diào)合后生成完整的包含所有監(jiān)控關(guān)注對象的空域顯著圖，再構(gòu)建時(shí)域運(yùn)動(dòng)信息生成的時(shí)域顯著圖，通過對空-時(shí)顯著圖的調(diào)合，來更好的區(qū)分靜止的監(jiān)控關(guān)注對象與動(dòng)態(tài)的監(jiān)控關(guān)注對象，最后將生成的面向分析的顯著圖融入hevc的編碼框架中，根據(jù)顯著圖來調(diào)整hevc中的碼率控制，建立加權(quán)碼率控制方案以強(qiáng)調(diào)包含監(jiān)控關(guān)注對象的區(qū)域。通過對比實(shí)驗(yàn)，本技術(shù)方法在保證與hevc編碼相同的分析性能的前提下，節(jié)約比特率，同時(shí)監(jiān)控視頻編碼的質(zhì)量高，充分滿足視頻分析的需求。