一種基于編碼切換的混合編碼方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種基于編碼切換的混合編碼方法和系統(tǒng)，所述方法及系統(tǒng)通過(guò)在原始圖像中提取背景圖像，檢測(cè)背景圖像是否穩(wěn)定，當(dāng)檢測(cè)到穩(wěn)定背景圖像時(shí)，切換為基于背景的編碼方法；當(dāng)檢測(cè)不到穩(wěn)定背景圖像時(shí)，切換為非背景編碼方法。本發(fā)明采用基于【背景技術(shù)】的結(jié)構(gòu)化編碼和非【背景技術(shù)】的普通編碼相結(jié)合的方式進(jìn)行切換編碼，在背景固定的情況下利用低碼率獲取高質(zhì)量的編碼效果，在背景發(fā)生變化的情況下仍能保持好的編碼質(zhì)量。
【專利說(shuō)明】
一種基于編碼切換的混合編碼方法和系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于視頻監(jiān)控領(lǐng)域，特別涉及一種基于編碼切換的混合編碼方法和系統(tǒng)。
【背景技術(shù)】
[0002]伴隨著現(xiàn)代社會(huì)對(duì)突發(fā)情況調(diào)查、公共安全監(jiān)控以及智能數(shù)據(jù)分析的日益增長(zhǎng)的需求，視頻監(jiān)控系統(tǒng)越來(lái)越廣泛地應(yīng)用于社會(huì)生活之中。近年來(lái)，以平安城市為核心的“智慧城市”項(xiàng)目開(kāi)始在全國(guó)各大城市大規(guī)模的興起，交通監(jiān)控、校園監(jiān)控、樓宇監(jiān)控、法庭監(jiān)控、銀行監(jiān)控、場(chǎng)館監(jiān)控……視頻監(jiān)控幾乎遍布于現(xiàn)代生活之中，為人們的居住安全、交通安全、衛(wèi)生安全、社會(huì)安全和生產(chǎn)安全服務(wù)。
[0003]大量的監(jiān)控視頻需要付出巨大的存儲(chǔ)成本，為了降低存儲(chǔ)成本，現(xiàn)有技術(shù)往往以損失視頻質(zhì)量為代價(jià)，這和監(jiān)控視頻需滿足識(shí)別需要的根本目的相違背。因此，面對(duì)如此海量的監(jiān)控視頻，從存儲(chǔ)成本考慮，需要研究更高壓縮率的視頻編碼技術(shù)。
[0004]監(jiān)控視頻擁有其自身的特性，場(chǎng)景的背景信息相對(duì)穩(wěn)定，所以利用智能分析的背景分離技術(shù)，把圖像中的前景和背景進(jìn)行分割，然后把此先驗(yàn)信息告知編碼器，則在不影響主觀質(zhì)量的前提下，編碼可以對(duì)背景信息進(jìn)一步提高壓縮率，從而降低視頻的存儲(chǔ)成本。
[0005]前景主要是指感興趣的目標(biāo)、運(yùn)動(dòng)的物體以及靠近攝像頭的物體。背景主要是指非感興趣的目標(biāo)、靜止的物體以及遠(yuǎn)離攝像頭的物體。
[0006]在視頻監(jiān)控領(lǐng)域，攝像機(jī)分為兩類:一類為靜態(tài)攝像機(jī)，另一類為動(dòng)態(tài)攝像機(jī)。靜態(tài)攝像機(jī)安裝好后，背景可以穩(wěn)定的獲取，利用背景前景分離的結(jié)果指導(dǎo)編碼，在不降低感興趣目標(biāo)編碼質(zhì)量的情況下，碼率會(huì)大幅降低。對(duì)于動(dòng)態(tài)攝像機(jī)來(lái)說(shuō)，如果動(dòng)態(tài)攝像機(jī)發(fā)生轉(zhuǎn)動(dòng)，背景發(fā)生了變化，背景維護(hù)會(huì)遇到困難，得不到干凈的背景，在轉(zhuǎn)動(dòng)的過(guò)程中仍采用前景背景指導(dǎo)編碼，碼率會(huì)大幅增加，同時(shí)由于參考的背景已經(jīng)過(guò)期，編碼質(zhì)量也會(huì)降低，達(dá)不到半結(jié)構(gòu)化編碼的目的。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的是提供一種基于編碼切換的混合編碼方法和系統(tǒng)，通過(guò)采用基于【背景技術(shù)】的結(jié)構(gòu)化編碼和非【背景技術(shù)】的普通編碼相結(jié)合的方式進(jìn)行切換編碼，在背景固定的情況下利用低碼率獲取高質(zhì)量的編碼效果，在背景發(fā)生變化的情況下仍能保持好的編碼質(zhì)量。
[0008]為實(shí)現(xiàn)上述目的，本發(fā)明的一個(gè)方面提供了一種基于編碼切換的混合編碼方法，包括:采集圖像信息；提取背景圖像；檢測(cè)背景圖像是否穩(wěn)定；根據(jù)背景圖像是否穩(wěn)定的檢測(cè)結(jié)果執(zhí)行編碼切換方法，在基于背景的編碼方法和非背景編碼方法之間切換。
[0009]其中，所述根據(jù)背景圖像是否穩(wěn)定的檢測(cè)結(jié)果執(zhí)行編碼切換方法進(jìn)一步包括:當(dāng)檢測(cè)到穩(wěn)定背景圖像時(shí)，切換為基于背景的編碼方法；當(dāng)檢測(cè)不到穩(wěn)定背景圖像時(shí)，切換為非背景編碼方法。
[0010]其中，所述基于背景的編碼方法包括:獲取當(dāng)前時(shí)刻的原始圖像；基于原始圖像獲取前景圖像；基于原始圖像獲取背景圖像；基于背景圖像獲取變化區(qū)域。
[0011]其中，所述基于原始圖像獲取背景圖像包括:比較前后兩幀的幀差圖像；判斷當(dāng)前幀圖像是否是不包含前景信息的穩(wěn)定圖像；如果是，則將當(dāng)前幀圖像作為背景圖像；如果否，則繼續(xù)獲取當(dāng)前時(shí)刻的原始圖像。
[0012]其中，所述編碼切換方法是基于背景模型的編碼切換方法，其包括:計(jì)算背景模型的置信度；檢測(cè)置信度是否小于預(yù)定閾值；如果置信度小于預(yù)定閾值，切換為非背景編碼方法；如果置信度不小于預(yù)定閾值，則檢測(cè)是否存在背景幀；如果檢測(cè)到背景幀，切換為基于背景的編碼方法；如果未檢測(cè)到背景幀，切換為非背景的編碼方法。
[0013]可選的，所述背景模型的置信度是整幀置信度，所述整幀置信度表示整幅背景幀的置信度，是計(jì)算背景置信度圖像中置信度值大于預(yù)定閾值以上的宏塊比例。
[0014]其中，所述如果置信度不小于預(yù)定閾值，則檢測(cè)是否存在背景幀進(jìn)一步包括:獲取前景圖像的前景點(diǎn)數(shù)；獲取幀差圖像的幀差點(diǎn)數(shù)；在預(yù)定時(shí)間內(nèi)檢測(cè)是否存在前景點(diǎn)數(shù)小于第一閾值的圖像幀；在預(yù)定時(shí)間內(nèi)檢測(cè)是否存在幀差點(diǎn)數(shù)小于第二閾值的圖像幀；如果在預(yù)定時(shí)間內(nèi)檢測(cè)到存在前景點(diǎn)數(shù)小于第一閾值且?guī)铧c(diǎn)數(shù)小于第二閾值的圖像幀，切換為基于背景的編碼方法；如果在預(yù)定時(shí)間內(nèi)未檢測(cè)到前景點(diǎn)數(shù)小于第一閾值且?guī)铧c(diǎn)數(shù)小于第二閾值的圖像幀，切換為非背景編碼方法。
[0015]可選的，所述編碼切換方法是基于PTZ坐標(biāo)的編碼切換方法，該方法包括:檢測(cè)圖像信息中的PTZ坐標(biāo)；如果未檢測(cè)到PTZ坐標(biāo)發(fā)生變化，則采用基于背景的編碼方法；當(dāng)檢測(cè)到PTZ坐標(biāo)發(fā)生變化時(shí)，切換為非背景的編碼方法。其中，所述如果未檢測(cè)到PTZ坐標(biāo)發(fā)生變化，則采用基于背景的編碼方法進(jìn)一步包括:如果未檢測(cè)到PTZ坐標(biāo)發(fā)生變化，則執(zhí)行所述基于背景模型的編碼切換方法。
[0016]其中，所述編碼切換方法是基于碼率突變的編碼切換方法，該方法包括:記錄一段時(shí)間內(nèi)的碼率值；檢測(cè)前后時(shí)段的碼率突變值是否超過(guò)第三閾值，如果是，則執(zhí)行下一步，如果否，則繼續(xù)記錄一段時(shí)間內(nèi)的碼率值；檢測(cè)碼率突變值超過(guò)第三閾值的持續(xù)時(shí)間是否超過(guò)第四閾值；如果是，則執(zhí)行所述基于背景模型的編碼切換方法；如果否，則繼續(xù)記錄一段時(shí)間內(nèi)的碼率值。
[0017]其中，所述基于背景分離的編碼方法中，編碼幀分為背景幀、刷新幀和普通幀。
[0018]根據(jù)本發(fā)明的另一方面，提供了一種基于編碼切換的混合編碼系統(tǒng)，包括:背景建模模塊1，用于在采集的圖像信息中提取出背景圖像；背景檢測(cè)模塊2，用于檢測(cè)背景圖像是否穩(wěn)定；編碼切換模塊3，用于根據(jù)所述背景檢測(cè)模塊2的檢測(cè)結(jié)果執(zhí)行編碼切換操作，在基于背景的編碼方法和非背景編碼方法之間切換；編碼器4，用于根據(jù)所述編碼切換模塊3發(fā)出的編碼方式切換指令執(zhí)行相應(yīng)的編碼操作。
[0019]其中，當(dāng)所述背景檢測(cè)模塊2檢測(cè)到穩(wěn)定背景圖像時(shí)，發(fā)出穩(wěn)定背景信號(hào)給所述編碼切換模塊3以切換為基于背景的編碼方法；當(dāng)所述背景檢測(cè)模塊2檢測(cè)不到穩(wěn)定背景圖像時(shí)，發(fā)出不穩(wěn)定背景信號(hào)給所述編碼切換模塊3以切換為非背景編碼方法。
[0020]其中，所述背景檢測(cè)模塊2進(jìn)一步包括:第一背景檢測(cè)單元21，用于基于背景模型的置信度和背景幀進(jìn)行背景檢測(cè)；和/或第二背景檢測(cè)單元22，用于基于PTZ坐標(biāo)進(jìn)行背景檢測(cè)；和/或第三背景檢測(cè)單元23，用于基于碼率值進(jìn)行背景檢測(cè)。
[0021]優(yōu)選的，所述背景建模模塊I進(jìn)一步包括:圖像預(yù)處理模塊11，用于對(duì)獲取的原始圖像進(jìn)行預(yù)處理以得到符合要求的圖像格式；前景圖像提取模塊12，用于通過(guò)背景建模在預(yù)處理圖像中提取只包含運(yùn)動(dòng)目標(biāo)的前景圖像；以及背景圖像提取模塊13，用于利用所提取的前景圖像在預(yù)處理圖像中提取背景圖像。
[0022]優(yōu)選的，所述第一背景檢測(cè)單元21進(jìn)一步包括:置信度計(jì)算模塊210，用于計(jì)算背景模型的置信度，并將置信度發(fā)送給置信度檢測(cè)模塊211 ;置信度檢測(cè)模塊211，用于檢測(cè)置信度是否小于預(yù)定閾值，并當(dāng)檢測(cè)到置信度不小于預(yù)定閾值時(shí)，發(fā)出背景幀檢測(cè)指令給背景幀檢測(cè)模塊212 ;和背景幀檢測(cè)模塊212，用于在接收到所述背景幀檢測(cè)指令時(shí)，檢測(cè)是否存在背景幀。
[0023]其中，所述置信度檢測(cè)模塊211檢測(cè)到置信度小于預(yù)定閾值時(shí)，發(fā)出不穩(wěn)定背景信號(hào)給所述編碼切換模塊3以切換為非背景編碼方法。
[0024]其中，所述背景幀檢測(cè)模塊212檢測(cè)到背景幀時(shí)，發(fā)出穩(wěn)定背景信號(hào)給編碼切換模塊3以切換為基于背景的編碼方法；以及所述背景幀檢測(cè)模塊212未檢測(cè)到背景幀時(shí)，發(fā)出不穩(wěn)定背景信號(hào)給編碼切換模塊3以切換為非背景編碼方法。
[0025]可選的，所述第二背景檢測(cè)單元22進(jìn)一步包括:PTZ坐標(biāo)獲取模塊220，用于獲取攝像頭當(dāng)前的PTZ坐標(biāo)值，并將PTZ坐標(biāo)值發(fā)送給PTZ坐標(biāo)檢測(cè)模塊221 ;和PTZ坐標(biāo)檢測(cè)模塊221，用于檢測(cè)PTZ坐標(biāo)是否發(fā)生變化，其中:當(dāng)檢測(cè)到PTZ坐標(biāo)發(fā)生變化時(shí)，PTZ坐標(biāo)檢測(cè)模塊221發(fā)出不穩(wěn)定背景信號(hào)給編碼切換模塊3以切換為非背景的編碼方法；如果未檢測(cè)到PTZ坐標(biāo)發(fā)生變化，PTZ坐標(biāo)檢測(cè)模塊221發(fā)出穩(wěn)定背景信號(hào)給編碼切換模塊3以切換為基于背景的編碼方法。
[0026]可選的，所述第三背景檢測(cè)單元23進(jìn)一步包括:碼率記錄模塊230，實(shí)時(shí)統(tǒng)計(jì)一段時(shí)間內(nèi)的碼率值；第一碼率檢測(cè)模塊231，用于檢測(cè)前后時(shí)段的碼率突變值是否超過(guò)第三閾值，如果是，則發(fā)出第一碼率突變信號(hào)給第二碼率檢測(cè)模塊232 ;第二碼率檢測(cè)模塊232，用于在接收到所述第一碼率突變信號(hào)時(shí)，檢測(cè)碼率突變值超過(guò)第三閾值的持續(xù)時(shí)間是否超過(guò)第四閾值。
[0027]其中，所述第二碼率檢測(cè)模塊232檢測(cè)到碼率突變值超過(guò)第三閾值的持續(xù)時(shí)間超過(guò)第四閾值時(shí)，發(fā)出第二碼率突變信號(hào)給所述第一背景檢測(cè)單元21，使得第一背景檢測(cè)單元21觸發(fā)基于背景模型的編碼切換操作；以及所述第二碼率檢測(cè)模塊232檢測(cè)到碼率突變值超過(guò)第三閾值的持續(xù)時(shí)間未超過(guò)第四閾值時(shí)，發(fā)出碼率正常信號(hào)給所述第一碼率檢測(cè)模塊231，第一碼率檢測(cè)模塊23繼續(xù)檢測(cè)碼率是否突變。
[0028]其中，所述基于背景分離的編碼方法中，編碼幀分為背景幀、刷新幀和普通幀。
[0029]如上所述，本發(fā)明通過(guò)采用基于背景分離的編碼方法和非背景的普通編碼方法相結(jié)合的方式進(jìn)行切換編碼，在背景固定的情況下利用低碼率獲取高質(zhì)量的編碼效果，在背景發(fā)生變化的情況下仍能夠保持好的編碼質(zhì)量。
【附圖說(shuō)明】
[0030]圖1是現(xiàn)有技術(shù)中基于前景背景分離的結(jié)構(gòu)化編碼過(guò)程的示意圖；
[0031]圖2是本發(fā)明的基于編碼切換的混合編碼方法的原理示意圖；
[0032]圖3是本發(fā)明的基于背景分離的編碼方法原理示意圖；
[0033]圖4是本發(fā)明的非背景編碼方法示意圖；
[0034]圖5是本發(fā)明的基于編碼切換的混合編碼方法的流程示意圖；
[0035]圖6是根據(jù)本發(fā)明的基于背景的編碼方法的流程圖；
[0036]圖7顯示了本發(fā)明一可選實(shí)施例中基于PTZ坐標(biāo)的編碼切換方法流程圖；
[0037]圖8顯示了本發(fā)明一可選實(shí)施例中基于背景模型的編碼切換方法流程圖；
[0038]圖9是本發(fā)明一實(shí)施方式中背景幀檢測(cè)的流程圖；
[0039]圖10是本發(fā)明一可選實(shí)施例中基于碼率突變的編碼切換方法流程圖；
[0040]圖11是根據(jù)本發(fā)明另一實(shí)施方式的基于編碼切換的混合編碼系統(tǒng)的結(jié)構(gòu)示意圖；
[0041]圖12是根據(jù)本發(fā)明一可選實(shí)施方式的背景建模模塊的結(jié)構(gòu)示意圖；
[0042]圖13是根據(jù)本發(fā)明一優(yōu)選實(shí)施方式的第一背景檢測(cè)單元的結(jié)構(gòu)示意圖；
[0043]圖14是根據(jù)本發(fā)明一可選實(shí)施方式的第二背景檢測(cè)單元的結(jié)構(gòu)示意圖；
[0044]圖15是根據(jù)本發(fā)明一優(yōu)選實(shí)施方式的第三背景檢測(cè)單元的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0045]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明了，下面結(jié)合【具體實(shí)施方式】并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。應(yīng)該理解，這些描述只是示例性的，而并非要限制本發(fā)明的范圍。此外，在以下說(shuō)明中，省略了對(duì)公知結(jié)構(gòu)和技術(shù)的描述，以避免不必要地混淆本發(fā)明的概念。
[0046]圖1是現(xiàn)有技術(shù)中基于前景背景分離的結(jié)構(gòu)化編碼過(guò)程的示意圖。
[0047]如圖1所示，在現(xiàn)有技術(shù)的基于前景背景分離的結(jié)構(gòu)化編碼方法中，原始圖像經(jīng)過(guò)背景重建技術(shù)分成前景和背景兩部分，前景和背景的重要程度不一樣，在編碼時(shí)對(duì)兩者分別處理，編碼后將兩者形成一個(gè)碼流。
[0048]現(xiàn)有技術(shù)的方案主要適用于監(jiān)控靜態(tài)圖像，但是對(duì)于動(dòng)態(tài)攝像機(jī)來(lái)說(shuō)，監(jiān)控畫面的方位、焦距會(huì)發(fā)生變化，導(dǎo)致背景發(fā)生了變化，現(xiàn)有技術(shù)的方案如果仍采用前景背景指導(dǎo)編碼，碼率會(huì)大幅增加，同時(shí)由于參考的背景已經(jīng)過(guò)期，編碼質(zhì)量也會(huì)降低，達(dá)不到半結(jié)構(gòu)化編碼的目的?；谏鲜鋈毕?，本發(fā)明提出了基于編碼切換的混合編碼方法。
[0049]圖2是本發(fā)明的基于編碼切換的混合編碼方法的原理示意圖。
[0050]如圖2所示，和傳統(tǒng)的編碼方式不同，本發(fā)明采用背景分離的編碼方法和非背景的普通編碼方法相結(jié)合的混合編碼方法，該方法通過(guò)編碼切換的方式將兩種編碼方法混合在一起，一種是基于背景分離的編碼方法，一種是非背景的編碼方法(如H.264等)。其中，基于背景分離的編碼方法是采用了背景和前景指導(dǎo)編碼的結(jié)構(gòu)化編碼技術(shù)，其編碼參考關(guān)系如圖3所示。非背景的編碼方法可以是任意的一種傳統(tǒng)編碼，如H.264等，其編碼參考關(guān)系如圖4所示。
[0051]參見(jiàn)圖2，在編碼啟動(dòng)時(shí)，由于還沒(méi)有建立穩(wěn)定的背景，采用非背景的普通編碼方法，在to時(shí)刻，檢測(cè)到靜止的背景圖像，此時(shí)從非背景的編碼方法切換到基于背景分離的編碼方法，在tl時(shí)刻，又檢測(cè)不到靜止的背景圖像，此時(shí)再?gòu)幕诒尘胺蛛x的編碼方法切換回非背景的普通編碼方法。
[0052]圖3是本發(fā)明的基于背景分離的編碼方法原理示意圖。
[0053]如圖3所示，在本發(fā)明的基于背景分離的編碼方法中，編碼幀分為三類:背景幀，刷新幀和普通幀，與普通編碼技術(shù)相比，多了一個(gè)背景幀。其中，背景幀是通過(guò)背景分析提取的圖像幀；刷新幀是編碼器對(duì)輸入的視頻圖像編碼而成，編碼方式等同于H.264中的P幀編碼，刷新幀在編碼時(shí)，僅參考背景幀；普通幀也是等同于H.264中的P幀編碼，同刷新幀的區(qū)別在于，普通幀在編碼時(shí)，會(huì)同時(shí)參考前一幀和背景幀。
[0054]圖4是本發(fā)明的非背景編碼方法示意圖。
[0055]如圖4所示，非背景編碼方法可以是任意的一種傳統(tǒng)編碼方法，編碼方法包括但不限于 MPEG-1、MPEG-2、MPEG-4、H.261、H.263、H.264。
[0056]圖5是本發(fā)明的基于編碼切換的混合編碼方法的流程示意圖。
[0057]如圖5所示，本發(fā)明通過(guò)模式切換檢測(cè)方法，實(shí)時(shí)判斷是否存在穩(wěn)定的背景圖像，來(lái)檢測(cè)t0、tl時(shí)刻的發(fā)生。如果存在穩(wěn)定的背景圖像(如to時(shí)刻)，則采用基于背景分離的編碼方式，如果不存在穩(wěn)定的背景圖像(如tl時(shí)刻)，則采用非背景的普通編碼方式。這里，穩(wěn)定的背景指的是靜止不變或者變動(dòng)范圍處于預(yù)定閾值的背景。
[0058]本發(fā)明的基于編碼切換的混合編碼方法包括:
[0059]步驟SI，采集圖像信息。
[0060]通過(guò)攝像機(jī)采集監(jiān)控場(chǎng)景的圖像信息，輸入到視頻處理裝置中的模式切換裝置。圖像信息包括監(jiān)控視頻中的背景圖像的PTZ坐標(biāo)值，實(shí)時(shí)碼率、置信度、幀差圖像等。
[0061 ] 步驟S2，提取背景圖像。
[0062]通過(guò)基于背景的編碼方法對(duì)采集的圖像信息進(jìn)行編碼，通過(guò)背景建模提取出圖像信息中的前景圖像和背景圖像。
[0063]步驟S3，檢測(cè)背景圖像是否穩(wěn)定。
[0064]本步驟中，通過(guò)檢測(cè)及分析圖像信息中的背景圖像信息，實(shí)時(shí)判斷是否存在穩(wěn)定的背景圖像。穩(wěn)定的背景圖像的表示監(jiān)控區(qū)域未發(fā)生明顯變動(dòng)，因而采集的圖像信息的背景圖像保持穩(wěn)定或靜止。檢測(cè)的背景圖像信息可以包括但不限于背景圖像的PTZ坐標(biāo)值，實(shí)時(shí)碼率、置信度、背景幀信息等信息。
[0065]步驟S4，根據(jù)步驟S3的檢測(cè)結(jié)果執(zhí)行編碼切換方法，在基于背景的編碼方法和非背景編碼方法之間切換。
[0066]基于檢測(cè)是否存在穩(wěn)定的背景圖像，采用編碼切換方法實(shí)現(xiàn)基于背景的編碼方法與非背景編碼方法之間的切換，編碼切換方法具體包括下述兩個(gè)處理步驟:
[0067]步驟S41，當(dāng)檢測(cè)到穩(wěn)定背景圖像時(shí)，切換為基于背景的編碼方法。
[0068]步驟S42，當(dāng)檢測(cè)不到穩(wěn)定背景圖像時(shí)，切換為非背景編碼方法。
[0069]在編碼啟動(dòng)時(shí)，還沒(méi)有建立穩(wěn)定的背景，可以采用非【背景技術(shù)】的編碼方式，在某個(gè)to時(shí)刻，如果檢測(cè)到穩(wěn)定的背景，這個(gè)時(shí)候從非【背景技術(shù)】的編碼方式切換到基于背景的編碼方式，在tl時(shí)刻，又檢測(cè)不到穩(wěn)定的背景，編碼方切換回非【背景技術(shù)】編碼。
[0070]圖6是根據(jù)本發(fā)明的基于背景的編碼方法的流程圖。
[0071]如圖6所示，本發(fā)明的前述步驟S2和步驟S4中使用的基于背景的編碼方法，包括下述步驟:
[0072]步驟S61，獲取當(dāng)前時(shí)刻的原始圖像。
[0073]在編碼前，獲取當(dāng)前時(shí)刻圖像幀的原始圖像信息，優(yōu)選的，對(duì)所述原始圖像進(jìn)行降采樣處理以得到低分辨率圖像，以便于進(jìn)行后面的前景提取和背景提取。
[0074]步驟S62，基于原始圖像獲取前景圖像。
[0075]對(duì)所述低分辨率圖像進(jìn)行背景建模，通過(guò)背景建?？梢詫?shí)時(shí)得到只包含運(yùn)動(dòng)目標(biāo)的前景圖像。本發(fā)明中，背景建模例如可采用混合高斯等方法，但不限于混合高斯。
[0076]步驟S63，基于原始圖像獲取背景圖像。
[0077]所述步驟S63通過(guò)下述步驟執(zhí)行:
[0078]步驟S631，比較前后兩幀的幀差圖像。
[0079]步驟S632，判斷當(dāng)前幀圖像是否是不包含前景信息(運(yùn)動(dòng)目標(biāo))的穩(wěn)定圖像(或靜止圖像)。
[0080]步驟S633，如果是，則將當(dāng)前幀圖像作為背景圖像。
[0081]步驟S634，如果否，則返回，繼續(xù)獲取下一時(shí)刻的原始圖像信息。
[0082]可選的，還包括步驟S635，將當(dāng)前幀圖像標(biāo)志為背景幀并輸出給編碼器。
[0083]編碼器根據(jù)背景建模模塊輸出當(dāng)前幀圖像可作為背景圖像的標(biāo)志，告知編碼器當(dāng)前幀為背景幀，作為背景幀編入碼流。
[0084]步驟S64，基于背景圖像獲取當(dāng)前幀相對(duì)背景圖像的變化區(qū)域。
[0085]背景建模模塊利用檢測(cè)到的靜止圖像作為背景圖像，每幀實(shí)時(shí)圖像和背景圖像相減，獲取變化區(qū)域，通過(guò)對(duì)變化區(qū)域進(jìn)行連通域分析、形態(tài)學(xué)操作等處理，實(shí)時(shí)輸出相對(duì)于背景幀的前景區(qū)域。
[0086]從上述基于背景分離的編碼方法中可以看出，如果背景圖像不穩(wěn)定，則提取不到干凈的背景幀。此時(shí)如果仍然采用基于背景分離的編碼方法，由于參考的背景幀不正確，反而會(huì)導(dǎo)致編碼圖像質(zhì)量下降，碼率也沒(méi)有節(jié)省。
[0087]針對(duì)這種情況，本發(fā)明在后面的步驟S4、步驟S5中采用了基于編碼切換的混合編碼方法，當(dāng)未檢測(cè)到靜止的背景圖像時(shí)，從基于背景分離的編碼方法切換到非背景的編碼方法。這樣，基于背景分離的編碼方法和非背景編碼方法相結(jié)合的混合編碼方式就可以和普通編碼方式一樣，應(yīng)用在任意的攝像機(jī)中，如轉(zhuǎn)動(dòng)的球機(jī)，而不僅限于靜止的攝像頭，從而擴(kuò)展了該混合編碼方式的應(yīng)用范圍。
[0088]圖7顯示了本發(fā)明一可選實(shí)施例中基于PTZ坐標(biāo)的編碼切換方法流程圖。
[0089]在本實(shí)施例中，可選的采用圖像信息的PTZ坐標(biāo)作為檢測(cè)背景圖像是否穩(wěn)定的參考因素。PTZ在安防監(jiān)控應(yīng)用中是Pan/Tilt/Zoom的簡(jiǎn)寫，表示攝像頭全方位(左右/上下)移動(dòng)及鏡頭變倍、變焦控制的參數(shù)變化。
[0090]如圖7所示，所述基于PTZ坐標(biāo)的編碼切換方法包括下述步驟:
[0091 ] 步驟S71，檢測(cè)圖像信息中的PTZ坐標(biāo)。
[0092]對(duì)于動(dòng)態(tài)攝像機(jī)來(lái)說(shuō)，例如球機(jī)，一般具有PTZ坐標(biāo)，隨著攝像頭的運(yùn)動(dòng)，相應(yīng)的PTZ坐標(biāo)值發(fā)生變化，系統(tǒng)會(huì)實(shí)時(shí)記錄攝像頭的PTZ坐標(biāo)。
[0093]步驟S72，如果未檢測(cè)到PTZ坐標(biāo)發(fā)生變化，則采用基于背景的編碼方法。
[0094]本步驟的執(zhí)行包含兩種情況，一是攝像機(jī)本身不具有PTZ坐標(biāo)，系統(tǒng)檢測(cè)不到PTZ坐標(biāo)信息，此時(shí)默認(rèn)采用基于背景的編碼方法，或者觸發(fā)執(zhí)行其他類型的編碼切換方法，參見(jiàn)下文詳細(xì)描述。另一種情況是攝像機(jī)具有PTZ坐標(biāo)，但是攝像頭保持靜止，導(dǎo)致檢測(cè)到PTZ坐標(biāo)值沒(méi)有發(fā)生變化，此時(shí)也默認(rèn)采用基于背景的編碼方法，直到檢測(cè)到PTZ坐標(biāo)發(fā)生變化，參見(jiàn)下一步驟。
[0095]步驟S73，當(dāng)檢測(cè)到PTZ坐標(biāo)發(fā)生變化時(shí)，切換為非背景的編碼方法。
[0096]當(dāng)檢測(cè)到PTZ坐標(biāo)發(fā)生變化時(shí)，從基于背景分離的編碼方法切換回非背景的編碼方法。
[0097]本實(shí)施例中，基于PTZ坐標(biāo)的編碼切換方法可以作為前述基于背景的編碼方法獨(dú)立執(zhí)行，優(yōu)選的，也作為一種輔助信息來(lái)作為下文的基于背景模型的編碼切換方法的補(bǔ)充。也就是說(shuō)，如果步驟S72中未檢測(cè)到PTZ坐標(biāo)發(fā)生變化，則可能觸發(fā)后面的基于背景模型的編碼切換方法。
[0098]圖8顯示了本發(fā)明一可選實(shí)施例中基于背景模型的編碼切換方法流程圖。
[0099]本實(shí)施例中，基于背景模型的編碼切換方法采用了背景模型中背景幀的置信度和幀信息作為檢測(cè)背景圖像是否穩(wěn)定的參考因素，所述基于背景模型的編碼切換方法包括下述步驟:
[0100]步驟S81，計(jì)算背景模型的置信度。
[0101]在本步驟中，由于背景圖像建立過(guò)程中往往會(huì)受到場(chǎng)景中運(yùn)動(dòng)目標(biāo)的影響，如果運(yùn)動(dòng)目標(biāo)在場(chǎng)景中的時(shí)間超過(guò)了運(yùn)動(dòng)目標(biāo)所在位置的背景出現(xiàn)的時(shí)間，即運(yùn)動(dòng)目標(biāo)所在位置的真實(shí)背景被遮擋，運(yùn)動(dòng)目標(biāo)會(huì)被當(dāng)作背景，則此時(shí)建立的背景圖像往往是不干凈的，會(huì)有運(yùn)動(dòng)目標(biāo)的像素值在背景圖像里面。為減少運(yùn)動(dòng)目標(biāo)對(duì)背景圖像的影響，在背景圖像建立過(guò)程中計(jì)算背景模型的置信度(亦稱為可靠度)，置信度表示背景模型的歷史運(yùn)動(dòng)信息情況。置信度值越大表示該處的背景圖像越穩(wěn)定可靠，可以采用基于背景的編碼方法。
[0102]在本發(fā)明的可選實(shí)施例中，背景模型置信度可以采用宏塊置信度或整幀置信度。其中，宏塊置信度表示背景模型中每個(gè)背景宏塊的置信度，表示每個(gè)背景宏塊處歷史運(yùn)動(dòng)信息情況。所述宏塊置信度是基于宏塊計(jì)算的，宏塊是像素級(jí)的，可以是一個(gè)像素或者是N個(gè)像素，計(jì)算方式為l_n/1500)*255。整幀置信度表示整幅背景幀的置信度，整幀置信度是計(jì)算背景置信度圖像中置信度值大于閾值th(如200)以上的宏塊比例。其中，整幀置信度是基于整幅背景圖像計(jì)算，宏塊是像素級(jí)的，整幀是圖像級(jí)的，整幀置信度是建立在宏塊置信度基礎(chǔ)上的，是對(duì)大的宏塊置信度值的統(tǒng)計(jì)。通過(guò)宏塊置信度僅能判斷一個(gè)宏塊是否可靠，通過(guò)整幀置信度判斷整幅背景圖像是否可靠。
[0103]步驟S82，檢測(cè)置信度是否小于預(yù)定閾值。
[0104]如上所述，背景模型置信度可以用來(lái)衡量背景圖形的穩(wěn)定性，置信度值越大表示該處的背景越可靠，置信度值越小，特別是低于某個(gè)預(yù)定閾值時(shí)，表示該處的背景圖像明顯不穩(wěn)定，監(jiān)控畫面出現(xiàn)明顯變動(dòng)，此時(shí)不宜采用基于背景的編碼方法，而應(yīng)當(dāng)切換為非背景編碼方法。
[0105]例如，對(duì)于宏塊置信度來(lái)說(shuō)，如果過(guò)去的1500幀內(nèi)，背景宏塊處無(wú)任何運(yùn)動(dòng)，則這個(gè)背景宏塊的置信度為最大值255 ;如果1500幀內(nèi)，存在有η幀的背景宏塊發(fā)生運(yùn)動(dòng)，則宏塊置信度為(1_η/1500)*255。置信度值越大表示該處的背景越可靠，編碼時(shí)可以通過(guò)宏塊置信度來(lái)衡量是否參考背景宏塊。
[0106]步驟S83，如果置信度小于預(yù)定閾值，切換為非背景編碼方法。
[0107]如果背景模型的置信度小于預(yù)定閾值，則表示獲取不到純凈的背景模型，不存在穩(wěn)定的背景圖像，后續(xù)的背景幀檢測(cè)也會(huì)受到干擾，此時(shí)編碼方式切換為普通的非背景編碼方式。
[0108]步驟S84，如果置信度不小于預(yù)定閾值，則檢測(cè)是否存在背景幀。
[0109]如果背景模型置信度高于或等于預(yù)定閾值，則表示可能存在穩(wěn)定的背景圖像，可以進(jìn)行背景幀檢測(cè)，根據(jù)背景幀檢測(cè)情況進(jìn)行下一步判斷。
[0110]背景幀檢測(cè)是對(duì)前景背景分離中的前景圖像和幀差圖像進(jìn)行分析，統(tǒng)計(jì)每一幀的前景點(diǎn)數(shù)和幀差點(diǎn)數(shù)，如果在設(shè)定的預(yù)定時(shí)間內(nèi)存在滿足點(diǎn)數(shù)要求的靜止圖像，則表示檢測(cè)到背景幀，此時(shí)輸出背景存在標(biāo)志，采用基于背景的編碼方法。
[0111]步驟S85，如果檢測(cè)到背景幀，切換為基于背景的編碼方法。
[0112]在檢測(cè)到背景幀時(shí)，輸出背景存在標(biāo)志，采用基于背景的編碼方法。
[0113]步驟S86，如果未檢測(cè)到背景幀，切換為非背景的編碼方法。
[0114]圖9是本發(fā)明一實(shí)施方式中背景幀檢測(cè)的流程圖。
[0115]如圖9所示，前述步驟S84用于檢測(cè)是否存在背景幀，檢測(cè)方法如下:
[0116]步驟S91，獲取前景圖像的前景點(diǎn)數(shù)。
[0117]對(duì)當(dāng)前圖像的前景背景分離中的前景圖像和幀差圖像進(jìn)行分析，統(tǒng)計(jì)獲取前景圖像的前景點(diǎn)數(shù)。
[0118]步驟S92，獲取幀差圖像的幀差點(diǎn)數(shù)。
[0119]對(duì)當(dāng)前圖像的前景背景分離中的前景圖像和幀差圖像進(jìn)行分析，統(tǒng)計(jì)獲取幀差圖像的幀差點(diǎn)數(shù)。
[0120]這里，步驟S91和步驟S92的執(zhí)行順序不唯一，可以先后執(zhí)行或同時(shí)執(zhí)行。
[0121]步驟S93，在預(yù)定時(shí)間內(nèi)檢測(cè)是否存在前景點(diǎn)數(shù)小于第一閾值的圖像幀。
[0122]在預(yù)先設(shè)定的時(shí)間段內(nèi)，檢測(cè)是否存在前景點(diǎn)數(shù)小于第一閾值的圖像幀，如果檢測(cè)到存在前景點(diǎn)數(shù)小于第一閾值的圖像幀，則轉(zhuǎn)到下一步，在滿足條件的這些圖像幀中繼續(xù)檢測(cè)是否存在幀差點(diǎn)數(shù)小于第二閾值的圖像幀。
[0123]步驟S94，在預(yù)定時(shí)間內(nèi)檢測(cè)是否存在幀差點(diǎn)數(shù)小于第二閾值的圖像幀。
[0124]在前述預(yù)先設(shè)定的時(shí)間段內(nèi)，在前景點(diǎn)數(shù)小于第一閾值的圖像幀中，檢測(cè)是否存在幀差點(diǎn)數(shù)小于第二閾值的圖像幀。
[0125]在本發(fā)明的實(shí)施例中，步驟S93和步驟S94的執(zhí)行順序不唯一，可以先后執(zhí)行或同時(shí)執(zhí)行。例如，也可以先執(zhí)行步驟S94，在幀差點(diǎn)數(shù)小于第二閾值的圖像幀中檢測(cè)是否存在前景點(diǎn)數(shù)小于第一閾值的圖像幀。
[0126]步驟S95，如果在預(yù)定時(shí)間內(nèi)檢測(cè)到存在前景點(diǎn)數(shù)小于第一閾值且?guī)铧c(diǎn)數(shù)小于第二閾值的圖像幀，切換為基于背景的編碼方法。
[0127]如果在預(yù)定時(shí)間內(nèi)檢測(cè)到存在滿足點(diǎn)數(shù)要求的靜止圖像，則表示檢測(cè)到背景幀，此時(shí)輸出背景存在標(biāo)志，采用基于背景的編碼方式。
[0128]步驟S96，如果在預(yù)定時(shí)間內(nèi)未檢測(cè)到前景點(diǎn)數(shù)小于第一閾值且?guī)铧c(diǎn)數(shù)小于第二閾值的圖像幀，切換為非背景編碼方法。
[0129]如果在預(yù)定時(shí)間內(nèi)未檢測(cè)到存在滿足點(diǎn)數(shù)要求的靜止圖像，表示該時(shí)間段內(nèi)不存在可作為背景幀的靜止圖像，監(jiān)控場(chǎng)景在該段時(shí)間內(nèi)發(fā)生明顯變化，此時(shí)不適宜采用基于背景的編碼方法，而應(yīng)采用非背景編碼方法。預(yù)定時(shí)間期滿后，返回，在下一個(gè)預(yù)定時(shí)間段內(nèi)重復(fù)執(zhí)行上述步驟。
[0130]圖10是本發(fā)明一可選實(shí)施例中基于碼率突變的編碼切換方法流程圖。
[0131]如圖10所示，通過(guò)對(duì)監(jiān)控編碼過(guò)程中的實(shí)時(shí)碼率進(jìn)行監(jiān)控實(shí)施編碼切換，所述基于碼率突變的編碼切換方法包括下述步驟:
[0132]步驟SlOl，記錄一段時(shí)間內(nèi)的碼率值。
[0133]實(shí)時(shí)統(tǒng)計(jì)一段時(shí)間內(nèi)的碼率值，例如可以記錄最近25幀的碼率值，以碼率值-時(shí)間為坐標(biāo)系生成碼率曲線，便于檢測(cè)碼率曲線是否發(fā)生突變。
[0134]步驟S102，檢測(cè)前后時(shí)段的碼率突變值是否超過(guò)第三閾值。
[0135]當(dāng)檢測(cè)到前后時(shí)段的碼率發(fā)生突變時(shí)，檢測(cè)突變值是否超過(guò)預(yù)定的第三閾值，如果是，則繼續(xù)執(zhí)行下一步，如果否，則返回步驟S101，繼續(xù)記錄并檢測(cè)碼率突變值。
[0136]步驟S103，檢測(cè)碼率突變值超過(guò)第三閾值的持續(xù)時(shí)間是否超過(guò)第四閾值。
[0137]當(dāng)檢測(cè)到前后時(shí)段的碼率突變值超過(guò)預(yù)定的第三閾值時(shí)，進(jìn)一步檢測(cè)碼率突變值超過(guò)第三閾值的持續(xù)時(shí)間是否超過(guò)第四閾值。
[0138]步驟S104，如果是，則執(zhí)行前文圖8所示基于背景模型的編碼切換方法；
[0139]步驟S105，如果否，則返回步驟S101，繼續(xù)記錄并檢測(cè)碼率突變值。
[0140]本實(shí)施例的基于碼率突變的編碼切換方法可以作為前述基于背景模型的編碼方法獨(dú)立執(zhí)行，優(yōu)選的，也可以在作為前述基于背景模型的編碼方法的輔助執(zhí)行步驟，以觸發(fā)前面的基于背景模型的編碼切換方法。也即，可以選擇在前述基于背景模型的編碼切換方法之前執(zhí)行，滿足一定條件時(shí)觸發(fā)基于背景模型的編碼切換方法，從而使背景圖像的檢測(cè)更加準(zhǔn)確。但本發(fā)明不限制于此，也可以不執(zhí)行本實(shí)施例的碼率監(jiān)控，直接觸發(fā)基于背景模型的編碼切換方法。
[0141]如上所述，詳細(xì)介紹了本發(fā)明的基于編碼切換的混合編碼方法，所述編碼方式切換檢測(cè)步驟是貫穿在整個(gè)編碼過(guò)程中的。如圖5所示，在采用基于背景編碼方式時(shí)，如果通過(guò)檢測(cè)，發(fā)現(xiàn)不再存在穩(wěn)定的背景幀，則會(huì)切換到非背景的編碼方式，反之，在采用非背景編碼方式時(shí)，如果通過(guò)檢測(cè)，發(fā)現(xiàn)存在穩(wěn)定的背景幀，則切換到基于背景的編碼方式。采用這個(gè)編碼方式，可以解決基于【背景技術(shù)】的編碼方式的應(yīng)用瓶頸，既可以保證質(zhì)量，又可以節(jié)省碼率。
[0142]圖11是根據(jù)本發(fā)明另一實(shí)施方式的基于編碼切換的混合編碼系統(tǒng)的結(jié)構(gòu)示意圖。
[0143]如圖11所示，本發(fā)明另一實(shí)施方式的基于編碼切換的混合編碼系統(tǒng)包括背景建模模塊1、背景檢測(cè)模塊2、編碼切換模塊3、編碼器4。
[0144]背景建模模塊I用于在采集的圖像信息中提取出背景圖像。具體的說(shuō)，背景建模模塊I通過(guò)基于背景的編碼方法對(duì)采集的圖像信息進(jìn)行編碼，通過(guò)背景建模提取出圖像信息中的前景圖像和背景圖像。
[0145]背景檢測(cè)模塊2連接到所述背景建模模塊1，用于檢測(cè)背景圖像是否穩(wěn)定，并發(fā)出穩(wěn)定背景信號(hào)或不穩(wěn)定背景信號(hào)。穩(wěn)定背景信號(hào)表示檢測(cè)到存在穩(wěn)定的背景圖像，不穩(wěn)定背景信號(hào)表示未檢測(cè)到存在穩(wěn)定的背景圖像。背景檢測(cè)模塊2通過(guò)檢測(cè)及分析圖像信息中的背景圖像信息，實(shí)時(shí)判斷是否存在穩(wěn)定的背景圖像。穩(wěn)定的背景圖像的表示監(jiān)控區(qū)域未發(fā)生明顯變動(dòng)，因而采集的圖像信息的背景圖像保持穩(wěn)定或靜止。檢測(cè)的背景圖像信息包括但不限于背景圖像的PTZ坐標(biāo)值，碼率值、置信度、背景幀信息等信息。
[0146]在本發(fā)明的可選實(shí)施例中，背景檢測(cè)模塊2進(jìn)一步包括第一背景檢測(cè)單元21、和/或第二背景檢測(cè)單元22、和/或第三背景檢測(cè)單元23。其中，第一背景檢測(cè)單元21基于背景模型的置信度和背景幀進(jìn)行背景檢測(cè)，第二背景檢測(cè)單元22基于PTZ坐標(biāo)進(jìn)行背景檢測(cè)、第三背景檢測(cè)單元23基于碼率值進(jìn)行背景檢測(cè)。第二背景檢測(cè)單元22和第三背景檢測(cè)單元23是可選的，用于輔助第一背景檢測(cè)單元21進(jìn)行背景檢測(cè)，以提高檢測(cè)準(zhǔn)確度。
[0147]編碼切換模塊3連接到所述背景檢測(cè)模塊2，用于根據(jù)背景檢測(cè)模塊2的檢測(cè)結(jié)果執(zhí)行編碼切換操作，在基于背景的編碼方法和非背景編碼方法之間切換。具體來(lái)說(shuō)，當(dāng)背景檢測(cè)模塊2檢測(cè)到穩(wěn)定背景圖像時(shí)，發(fā)出穩(wěn)定背景信號(hào)給編碼切換模塊3，編碼切換模塊3向編碼器4發(fā)出編碼方式切換指令，切換為基于背景的編碼方法。當(dāng)背景檢測(cè)模塊2檢測(cè)不到穩(wěn)定背景圖像時(shí)，發(fā)出不穩(wěn)定背景信號(hào)給編碼切換模塊3，編碼切換模塊3向編碼器4發(fā)出編碼方式切換指令，切換為非背景編碼方法。所述非背景的普通編碼方法為任意的一種傳統(tǒng)編碼方法，編碼方法包括但不限于MPEG-1、MPEG-2、MPEG-4、H.261、H.263、H.264。
[0148]編碼器4連接到所述編碼切換模塊3，用于接收編碼切換模塊3發(fā)出的編碼方式切換指令，并根據(jù)該編碼方式切換指令執(zhí)行相應(yīng)的編碼操作。
[0149]圖12是根據(jù)本發(fā)明一可選實(shí)施方式的背景建模模塊的結(jié)構(gòu)示意圖。
[0150]如圖12所示，在本發(fā)明的一可選實(shí)施方式中，背景建模模塊I進(jìn)一步包括圖像預(yù)處理模塊11、前景圖像提取模塊12和背景圖像提取模塊13。
[0151]圖像預(yù)處理模塊11用于對(duì)獲取的原始圖像進(jìn)行預(yù)處理以得到符合要求的圖像格式。優(yōu)選的，圖像預(yù)處理模塊11對(duì)獲取的原始圖像降采樣處理以得到低分辨率圖像，以便于進(jìn)行后面的前景提取和背景提取。
[0152]前景圖像提取模塊12連接到所述圖像預(yù)處理模塊11，用于對(duì)預(yù)處理后的低分辨率圖像進(jìn)行背景建模，通過(guò)背景建模實(shí)時(shí)得到只包含運(yùn)動(dòng)目標(biāo)的前景圖像。本發(fā)明中，背景建模例如可采用混合高斯等方法，但不限于混合高斯。
[0153]背景圖像提取模塊13連接到所述圖像預(yù)處理模塊11和前景圖像提取模塊12，用于利用所提取的前景圖像在預(yù)處理后的低分辨率圖像中提取背景圖像，提取出不包含前景信息(運(yùn)動(dòng)目標(biāo))的穩(wěn)定圖像(或靜止圖像)以作為背景圖像。
[0154]圖13是根據(jù)本發(fā)明一優(yōu)選實(shí)施方式的第一背景檢測(cè)單元的結(jié)構(gòu)示意圖。
[0155]如圖13所示，在本發(fā)明的一優(yōu)選實(shí)施方式中，第一背景檢測(cè)單元21用于執(zhí)行基于背景模型的編碼切換操作，主要根據(jù)背景模型的置信度和背景幀來(lái)檢測(cè)是否存在穩(wěn)定的背景圖像。第一背景檢測(cè)單元21進(jìn)一步包括置信度計(jì)算模塊210、置信度檢測(cè)模塊211和背景幀檢測(cè)模塊212。
[0156]置信度計(jì)算模塊210用于計(jì)算背景模型的置信度，并將置信度發(fā)送給置信度檢測(cè)模塊211。具體的說(shuō)，置信度計(jì)算模塊210在背景圖像建立過(guò)程中計(jì)算背景模型的置信度(亦稱為可靠度)，置信度表示背景模型的歷史運(yùn)動(dòng)信息情況。置信度值越大表示該處的背景圖像越穩(wěn)定可靠，可以采用基于背景的編碼方法。在本發(fā)明的可選實(shí)施例中，背景模型置信度可以采用宏塊置信度或整幀置信度。宏塊置信度表示背景模型中每個(gè)背景宏塊的置信度，表示每個(gè)背景宏塊處歷史運(yùn)動(dòng)信息情況。整幀置信度表示整幅背景幀的置信度，整幀置信度是計(jì)算背景置信度圖像中置信度值大于閾值th(如200)以上的宏塊比例，通過(guò)整幀置信度判斷整幅背景圖像是否可靠。
[0157]置信度檢測(cè)模塊211連接到所述置信度計(jì)算模塊210，用于檢測(cè)置信度是否小于預(yù)定閾值。具體的說(shuō)，當(dāng)置信度檢測(cè)模塊211檢測(cè)到置信度小于預(yù)定閾值時(shí)，發(fā)出不穩(wěn)定背景信號(hào)給編碼切換模塊3，編碼切換模塊3向編碼器4發(fā)出編碼方式切換指令，切換為非背景編碼方法。當(dāng)置信度檢測(cè)模塊211檢測(cè)到置信度不小于預(yù)定閾值時(shí)，發(fā)出背景幀檢測(cè)指令給背景幀檢測(cè)模塊212，觸發(fā)背景幀檢測(cè)模塊212執(zhí)行背景幀檢測(cè)操作。
[0158]背景幀檢測(cè)模塊212連接到所述置信度檢測(cè)模塊211，用于檢測(cè)是否存在背景幀。具體的說(shuō)，當(dāng)背21景幀檢測(cè)模塊212接收到置信度檢測(cè)模塊211發(fā)出的背景幀檢測(cè)指令時(shí)，啟動(dòng)背景幀檢測(cè)操作，檢測(cè)是否存在背景幀。當(dāng)檢測(cè)到背景幀時(shí)，發(fā)出穩(wěn)定背景信號(hào)給編碼切換模塊3，編碼切換模塊3向編碼器4發(fā)出編碼方式切換指令，切換為基于背景的編碼方法。當(dāng)未檢測(cè)到背景幀時(shí)，發(fā)出不穩(wěn)定背景信號(hào)給編碼切換模塊3，編碼切換模塊3向編碼器4發(fā)出編碼方式切換指令，切換為非背景編碼方法。
[0159]圖14是根據(jù)本發(fā)明一可選實(shí)施方式的第二背景檢測(cè)單元的結(jié)構(gòu)示意圖。
[0160]如圖14所示，在本發(fā)明的一可選實(shí)施方式中，第二背景檢測(cè)單元22進(jìn)一步包括PTZ坐標(biāo)獲取模塊220和PTZ坐標(biāo)檢測(cè)模塊221。
[0161]PTZ坐標(biāo)獲取模塊220用于獲取攝像頭當(dāng)前的PTZ坐標(biāo)值，并將PTZ坐標(biāo)值發(fā)送給PTZ坐標(biāo)檢測(cè)模塊221。此外，如果PTZ坐標(biāo)獲取模塊220沒(méi)有獲取到攝像頭的PTZ坐標(biāo)值，表示攝像機(jī)本身不具有PTZ坐標(biāo)，系統(tǒng)檢測(cè)不到PTZ坐標(biāo)信息，此時(shí)PTZ坐標(biāo)獲取模塊220發(fā)出穩(wěn)定背景信號(hào)給編碼切換模塊3和第一背景檢測(cè)單元21，系統(tǒng)默認(rèn)采用基于背景的編碼方法，或者觸發(fā)第一背景檢測(cè)單元21執(zhí)行其他類型的編碼切換方法。
[0162]PTZ坐標(biāo)檢測(cè)模塊221連接到PTZ坐標(biāo)獲取模塊220，用于檢測(cè)PTZ坐標(biāo)是否發(fā)生變化。當(dāng)檢測(cè)到PTZ坐標(biāo)發(fā)生變化時(shí)，PTZ坐標(biāo)檢測(cè)模塊221發(fā)出不穩(wěn)定背景信號(hào)給編碼切換模塊3，編碼切換模塊3切換為非背景的編碼方法。如果未檢測(cè)到PTZ坐標(biāo)發(fā)生變化，PTZ坐標(biāo)檢測(cè)模塊221發(fā)出穩(wěn)定背景信號(hào)給編碼切換模塊3，編碼切換模塊3切換為基于背景的編碼方法。
[0163]圖15是根據(jù)本發(fā)明一優(yōu)選實(shí)施方式的第三背景檢測(cè)單元的結(jié)構(gòu)示意圖。
[0164]如圖15所示，在本發(fā)明的一優(yōu)選實(shí)施方式中，第三背景檢測(cè)單元23進(jìn)一步包括碼率記錄模塊230、第一碼率檢測(cè)模塊231、第二碼率檢測(cè)模塊232。
[0165]碼率記錄模塊230實(shí)時(shí)統(tǒng)計(jì)一段時(shí)間內(nèi)的碼率值，例如可以記錄最近25幀的碼率值，以碼率值-時(shí)間為坐標(biāo)系生成碼率曲線，便于檢測(cè)碼率曲線是否發(fā)生突變。
[0166]第一碼率檢測(cè)模塊231連接到所述碼率記錄模塊230，用于檢測(cè)前后時(shí)段的碼率突變值是否超過(guò)第三閾值。第一碼率檢測(cè)模塊231接受碼率記錄模塊230發(fā)出的碼率值，檢測(cè)前后時(shí)段的碼率是否發(fā)生突變，當(dāng)檢測(cè)到碼率突變時(shí)，第一碼率檢測(cè)模塊231檢測(cè)突變值是否超過(guò)預(yù)定的第三閾值，如果是，則發(fā)出第一碼率突變信號(hào)給第二碼率檢測(cè)模塊232，如果否，則繼續(xù)檢測(cè)碼率值是否突變。
[0167]第二碼率檢測(cè)模塊232連接到所述第一碼率檢測(cè)模塊231，用于檢測(cè)碼率突變值超過(guò)第三閾值的持續(xù)時(shí)間是否超過(guò)第四閾值。第二碼率檢測(cè)模塊232接收到第一碼率檢測(cè)模塊231發(fā)出的第一碼率突變信號(hào)時(shí)，檢測(cè)碼率突變值超過(guò)第三閾值的持續(xù)時(shí)間是否超過(guò)第四閾值。如果是，則發(fā)出第二碼率突變信號(hào)給第一背景檢測(cè)單元21，使得第一背景檢測(cè)單元21觸發(fā)基于背景模型的編碼切換操作。如果否，則發(fā)出碼率正常信號(hào)給第一碼率檢測(cè)模塊231，第一碼率檢測(cè)模塊23繼續(xù)檢測(cè)碼率是否突變。
[0168]如上所述，詳細(xì)介紹了本發(fā)明的基于編碼切換的混合編碼系統(tǒng)，所述混合編碼系統(tǒng)在整個(gè)編碼過(guò)程中貫穿執(zhí)行了基于背景檢測(cè)的編碼方式切換操作。如果檢測(cè)不存在穩(wěn)定的背景幀，則會(huì)切換到非背景的編碼方式，反之，如果檢測(cè)發(fā)現(xiàn)存在穩(wěn)定的背景幀，則切換到基于背景的編碼方式。通過(guò)采用本發(fā)明的混合編碼系統(tǒng)，可以解決基于【背景技術(shù)】的編碼方式的應(yīng)用瓶頸，既可以保證質(zhì)量，又可以節(jié)省碼率。
[0169]如上所述，本發(fā)明提供了一種基于編碼切換的混合編碼方法和系統(tǒng)，本發(fā)明通過(guò)采用基于背景分離的編碼方法和非背景的普通編碼方法相結(jié)合的方式進(jìn)行切換編碼，在背景固定的情況下利用低碼率獲取高質(zhì)量的編碼效果，在背景發(fā)生變化的情況下仍能夠保持好的編碼質(zhì)量。
[0170]應(yīng)當(dāng)理解的是，本發(fā)明的上述【具體實(shí)施方式】?jī)H僅用于示例性說(shuō)明或解釋本發(fā)明的原理，而不構(gòu)成對(duì)本發(fā)明的限制。因此，在不偏離本發(fā)明的精神和范圍的情況下所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。此外，本發(fā)明所附權(quán)利要求旨在涵蓋落入所附權(quán)利要求范圍和邊界、或者這種范圍和邊界的等同形式內(nèi)的全部變化和修改例。
【主權(quán)項(xiàng)】
1.一種基于編碼切換的混合編碼方法，所述方法包括: 米集圖像?目息； 提取背景圖像； 檢測(cè)背景圖像是否穩(wěn)定； 根據(jù)背景圖像是否穩(wěn)定的檢測(cè)結(jié)果執(zhí)行編碼切換方法，在基于背景的編碼方法和非背景編碼方法之間切換。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)背景圖像是否穩(wěn)定的檢測(cè)結(jié)果執(zhí)行編碼切換方法的步驟進(jìn)一步包括: 當(dāng)檢測(cè)到穩(wěn)定背景圖像時(shí)，切換為基于背景的編碼方法； 當(dāng)檢測(cè)不到穩(wěn)定背景圖像時(shí)，切換為非背景編碼方法。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于背景的編碼方法包括: 獲取當(dāng)前時(shí)刻的原始圖像； 基于原始圖像獲取前景圖像； 基于原始圖像獲取背景圖像； 基于背景圖像獲取變化區(qū)域。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于原始圖像獲取背景圖像的步驟包括: 比較前后兩幀的幀差圖像； 判斷當(dāng)前幀圖像是否是不包含前景信息的穩(wěn)定圖像； 如果是，則將當(dāng)前幀圖像作為背景圖像； 如果否，則繼續(xù)獲取當(dāng)前時(shí)刻的原始圖像。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述編碼切換方法是基于背景模型的編碼切換方法，其包括: 計(jì)算背景模型的置信度； 檢測(cè)置信度是否小于預(yù)定閾值； 如果置信度小于預(yù)定閾值，切換為非背景編碼方法； 如果置信度不小于預(yù)定閾值，則檢測(cè)是否存在背景幀； 如果檢測(cè)到背景幀，切換為基于背景的編碼方法； 如果未檢測(cè)到背景幀，切換為非背景的編碼方法。6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述背景模型的置信度是整幀置信度，所述整幀置信度表示整幅背景幀的置信度，是計(jì)算背景置信度圖像中置信度值大于預(yù)定閾值以上的宏塊比例。7.根據(jù)權(quán)利要求5或6所述的方法，其特征在于，所述檢測(cè)是否存在背景幀的步驟進(jìn)一步包括: 獲取前景圖像的前景點(diǎn)數(shù)； 獲取幀差圖像的幀差點(diǎn)數(shù)； 在預(yù)定時(shí)間內(nèi)檢測(cè)是否存在前景點(diǎn)數(shù)小于第一閾值的圖像幀； 在預(yù)定時(shí)間內(nèi)檢測(cè)是否存在幀差點(diǎn)數(shù)小于第二閾值的圖像幀； 如果在預(yù)定時(shí)間內(nèi)檢測(cè)到存在前景點(diǎn)數(shù)小于第一閾值且?guī)铧c(diǎn)數(shù)小于第二閾值的圖像幀，切換為基于背景的編碼方法； 如果在預(yù)定時(shí)間內(nèi)未檢測(cè)到前景點(diǎn)數(shù)小于第一閾值且?guī)铧c(diǎn)數(shù)小于第二閾值的圖像幀，切換為非背景編碼方法。8.根據(jù)權(quán)利要求1、5-7中任一項(xiàng)所述的方法，其特征在于，所述編碼切換方法是基于PTZ坐標(biāo)的編碼切換方法，該方法包括: 檢測(cè)圖像信息中的PTZ坐標(biāo)； 如果未檢測(cè)到PTZ坐標(biāo)發(fā)生變化，則采用基于背景的編碼方法； 當(dāng)檢測(cè)到PTZ坐標(biāo)發(fā)生變化時(shí)，切換為非背景的編碼方法。9.根據(jù)權(quán)利要求8所述的方法，如果未檢測(cè)到PTZ坐標(biāo)發(fā)生變化，所述采用基于背景的編碼方法的步驟進(jìn)一步包括: 如果未檢測(cè)到PTZ坐標(biāo)發(fā)生變化，則執(zhí)行所述基于背景模型的編碼切換方法。10.根據(jù)權(quán)利要求1、5-8中任一項(xiàng)所述的方法，其特征在于，所述編碼切換方法是基于碼率突變的編碼切換方法，該方法包括: 記錄一段時(shí)間內(nèi)的碼率值； 檢測(cè)前后時(shí)段的碼率突變值是否超過(guò)第三閾值，如果是，則執(zhí)行下一步，如果否，則繼續(xù)記錄一段時(shí)間內(nèi)的碼率值； 檢測(cè)碼率突變值超過(guò)第三閾值的持續(xù)時(shí)間是否超過(guò)第四閾值； 如果是，則執(zhí)行所述基于背景模型的編碼切換方法； 如果否，則繼續(xù)記錄一段時(shí)間內(nèi)的碼率值。11.根據(jù)權(quán)利要求1、2、5、9中任一項(xiàng)所述的方法，其特征在于，所述基于背景分離的編碼方法中，所述編碼幀是背景幀、刷新幀和/或普通幀。12.—種基于編碼切換的混合編碼系統(tǒng)，包括: 背景建模模塊(I)，用于在采集的圖像信息中提取出背景圖像； 背景檢測(cè)模塊(2)，用于檢測(cè)背景圖像是否穩(wěn)定； 編碼切換模塊(3)，用于根據(jù)所述背景檢測(cè)模塊(2)的檢測(cè)結(jié)果執(zhí)行編碼切換操作，在基于背景的編碼方法和非背景編碼方法之間切換； 編碼器(4)，用于根據(jù)所述編碼切換模塊(3)發(fā)出的編碼方式切換指令執(zhí)行相應(yīng)的編碼操作。13.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中， 當(dāng)所述背景檢測(cè)模塊(2)檢測(cè)到穩(wěn)定背景圖像時(shí)，發(fā)出穩(wěn)定背景信號(hào)給所述編碼切換模塊(3)以切換為基于背景的編碼方法； 當(dāng)所述背景檢測(cè)模塊(2)檢測(cè)不到穩(wěn)定背景圖像時(shí)，發(fā)出不穩(wěn)定背景信號(hào)給所述編碼切換模塊(3)以切換為非背景編碼方法。14.根據(jù)權(quán)利要求11或12所述的系統(tǒng)，所述背景檢測(cè)模塊(2)進(jìn)一步包括: 第一背景檢測(cè)單元(21)，用于基于背景模型的置信度和背景幀進(jìn)行背景檢測(cè)；和/或 第二背景檢測(cè)單元(22)，用于基于PTZ坐標(biāo)進(jìn)行背景檢測(cè)；和/或 第三背景檢測(cè)單元(23)，用于基于碼率值進(jìn)行背景檢測(cè)。15.根據(jù)權(quán)利要求11所述的系統(tǒng)，所述背景建模模塊(I)進(jìn)一步包括: 圖像預(yù)處理模塊(11)，用于對(duì)獲取的原始圖像進(jìn)行預(yù)處理以得到符合要求的圖像格 式； 前景圖像提取模塊(12)，用于通過(guò)背景建模在預(yù)處理圖像中提取只包含運(yùn)動(dòng)目標(biāo)的前景圖像；以及 背景圖像提取模塊(13)，用于利用所提取的前景圖像在預(yù)處理圖像中提取背景圖像。16.根據(jù)權(quán)利要求13所述的系統(tǒng)，所述第一背景檢測(cè)單元(21)進(jìn)一步包括: 置信度計(jì)算模塊(210)，用于計(jì)算背景模型的置信度，并將置信度發(fā)送給置信度檢測(cè)模塊(211)； 置信度檢測(cè)模塊(211)，用于檢測(cè)置信度是否小于預(yù)定閾值，并當(dāng)檢測(cè)到置信度不小于預(yù)定閾值時(shí)，發(fā)出背景幀檢測(cè)指令給背景幀檢測(cè)模塊(212);和 背景幀檢測(cè)模塊(212)，用于在接收到所述背景幀檢測(cè)指令時(shí)，檢測(cè)是否存在背景幀。17.根據(jù)權(quán)利要求15所述的系統(tǒng)，所述置信度檢測(cè)模塊(211)檢測(cè)到置信度小于預(yù)定閾值時(shí)，發(fā)出不穩(wěn)定背景信號(hào)給所述編碼切換模塊(3)以切換為非背景編碼方法。18.根據(jù)權(quán)利要求15所述的系統(tǒng)，其特征在于: 所述背景幀檢測(cè)模塊(212)檢測(cè)到背景幀時(shí)，發(fā)出穩(wěn)定背景信號(hào)給編碼切換模塊(3)以切換為基于背景的編碼方法；以及 所述背景幀檢測(cè)模塊(212)未檢測(cè)到背景幀時(shí)，發(fā)出不穩(wěn)定背景信號(hào)給編碼切換模塊(3)以切換為非背景編碼方法。19.根據(jù)權(quán)利要求13、15-17中任一項(xiàng)所述的系統(tǒng)，所述第二背景檢測(cè)單元(22)進(jìn)一步包括: PTZ坐標(biāo)獲取模塊(220)，用于獲取攝像頭當(dāng)前的PTZ坐標(biāo)值，并將PTZ坐標(biāo)值發(fā)送給PTZ坐標(biāo)檢測(cè)模塊(221);和 PTZ坐標(biāo)檢測(cè)模塊(221)，用于檢測(cè)PTZ坐標(biāo)是否發(fā)生變化，其中: 當(dāng)檢測(cè)到PTZ坐標(biāo)發(fā)生變化時(shí)，PTZ坐標(biāo)檢測(cè)模塊(221)發(fā)出不穩(wěn)定背景信號(hào)給編碼切換模塊(3)以切換為非背景的編碼方法； 如果未檢測(cè)到PTZ坐標(biāo)發(fā)生變化，PTZ坐標(biāo)檢測(cè)模塊(221)發(fā)出穩(wěn)定背景信號(hào)給編碼切換模塊(3)以切換為基于背景的編碼方法。20.根據(jù)權(quán)利要求13、15-17中任一項(xiàng)所述的系統(tǒng)，所述第三背景檢測(cè)單元(23)進(jìn)一步包括: 碼率記錄模塊(230)，實(shí)時(shí)統(tǒng)計(jì)一段時(shí)間內(nèi)的碼率值； 第一碼率檢測(cè)模塊(231)，用于檢測(cè)前后時(shí)段的碼率突變值是否超過(guò)第三閾值，如果是，則發(fā)出第一碼率突變信號(hào)給第二碼率檢測(cè)模塊(232); 第二碼率檢測(cè)模塊(232)，用于在接收到所述第一碼率突變信號(hào)時(shí)，檢測(cè)碼率突變值超過(guò)第三閾值的持續(xù)時(shí)間是否超過(guò)第四閾值。21.根據(jù)權(quán)利要求19所述的系統(tǒng)，其特征在于: 所述第二碼率檢測(cè)模塊(232)檢測(cè)到碼率突變值超過(guò)第三閾值的持續(xù)時(shí)間超過(guò)第四閾值時(shí)，發(fā)出第二碼率突變信號(hào)給所述第一背景檢測(cè)單元(21)，使得第一背景檢測(cè)單元(21)觸發(fā)基于背景模型的編碼切換操作；以及 所述第二碼率檢測(cè)模塊(232)檢測(cè)到碼率突變值超過(guò)第三閾值的持續(xù)時(shí)間未超過(guò)第四閾值時(shí)，發(fā)出碼率正常信號(hào)給所述第一碼率檢測(cè)模塊(231)，第一碼率檢測(cè)模塊(231)繼續(xù)檢測(cè)碼率是否突變。22.根據(jù)權(quán)利要求12、13、18任一項(xiàng)所述的系統(tǒng)，其特征在于，所述基于背景分離的編碼方法中，所述編碼幀是背景幀、刷新幀和/或普通幀。
【文檔編號(hào)】H04N19/146GK106034237SQ201510126313
【公開(kāi)日】2016年10月19日
【申請(qǐng)日】2015年3月20日
【發(fā)明人】童俊艷, 浦世亮, 沈林杰, 馬程, 呼志剛, 任燁, 俞海
【申請(qǐng)人】杭州?？低晹?shù)字技術(shù)股份有限公司