專利名稱：一種視頻編解碼裝置和方法
一種視頻編解碼裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻壓縮領(lǐng)域，特別是涉及一種視頻編解碼裝置和方法。背景技術(shù)：
隨著多媒體的應(yīng)用越來越廣泛，視頻技術(shù)也應(yīng)用在越來越多的領(lǐng)域，如視頻會(huì)議、視頻 監(jiān)控等。由于視頻的數(shù)據(jù)量非常大，在傳輸過程中會(huì)占用過多的寬帶資源，且產(chǎn)生很大的時(shí) 延。因此，提出了視頻的編碼壓縮技術(shù)以克服視頻數(shù)據(jù)量占用寬帶資源以及時(shí)延的問題。視頻編碼和傳輸技術(shù)發(fā)展到今天，已經(jīng)存在很多的編碼方式和標(biāo)準(zhǔn)。但是，還沒有 一種編碼方式和標(biāo)準(zhǔn)是針對(duì)靜止攝像頭而設(shè)計(jì)的。在實(shí)際應(yīng)用中，很多視頻采集傳輸系統(tǒng) 中，攝像頭都是靜止的。比如，視頻會(huì)議和視頻監(jiān)控等。特別是視頻監(jiān)控，近年來，視頻監(jiān)控 取得了長足發(fā)展，攝像頭的布設(shè)量急劇增加。攝像頭數(shù)目的增加，帶來了一個(gè)重要的問題， 那就是視頻的傳輸和存儲(chǔ)。采用傳統(tǒng)的編碼方式，為了達(dá)到很低的碼率，圖像質(zhì)量往往被壓 縮的無法忍受，同時(shí)，碼率并沒有真正降低，造成資源的浪費(fèi)。同時(shí)，在視頻中，往往重要的 目標(biāo)是限定的，現(xiàn)有方法也沒有能對(duì)圖像區(qū)域進(jìn)行區(qū)分，將更高的碼率分配給更重要的目 標(biāo)。因此有必要提出一種新的技術(shù)方案來解決上述問題。
發(fā)明內(nèi)容
本部分的目的在于概述本發(fā)明的實(shí)施例的一些方面以及簡要介紹一些較佳實(shí)施例。在 本部分以及本申請(qǐng)的說明書摘要和發(fā)明名稱中可能會(huì)做些簡化或省略以避免使本部分、說 明書摘要和發(fā)明名稱的目的模糊，而這種簡化或省略不能用于限制本發(fā)明的范圍。本發(fā)明的目的在于提供一種視頻編解碼裝置和方法，其在編碼端將視頻圖像的背 景和前景分開，在背景不變的情況下，只傳輸一次背景，能大大降低視頻傳輸時(shí)對(duì)寬帶的占 用率，而解碼端對(duì)應(yīng)的利用基于blending的方法對(duì)前景和背景進(jìn)行融合疊加，很好的還原 了原有的視頻圖像。根據(jù)本發(fā)明的一方面，本發(fā)明提供一種視頻編解碼裝置，其包括視頻編碼器，其 包括視頻輸入模塊、背景更新模塊、背景建模模塊、背景編碼模塊、前景分割模塊、前景編碼 模塊和傳輸模塊，其中所述視頻輸入模塊用于輸入視頻圖像；所述背景更新模塊在所述視 頻圖像中的背景變化時(shí)更新視頻圖像中的背景；所述背景建模模塊根據(jù)更新的所述視頻圖 像中的背景建立背景模型；所述背景編碼模塊對(duì)所述背景模型進(jìn)行編碼以獲取背景碼流； 所述前景分割模塊根據(jù)輸入的視頻圖像以及所述背景模型分割出所述視頻圖像中的前景 區(qū)域；所述前景編碼模塊對(duì)得到的前景區(qū)域進(jìn)行編碼以獲取前景碼流；所述傳輸模塊，分 別傳輸所述背景碼流和前景碼流；視頻解碼器，其包括解析器模塊、背景解碼模塊、前景解 碼模塊和視頻合成模塊，其中所述解析器模塊對(duì)接收到的碼流進(jìn)行解析，并將解析后的背 景碼流和前景碼流分開；所述背景解碼模塊如果接收到解析后的背景碼流則對(duì)其進(jìn)行解碼 以更新背景圖像，否則不做處理；所述前景解碼模塊從解析后的前景碼流中得到前景區(qū)域 數(shù)目，并獲取各前景區(qū)域的外接矩形的坐標(biāo)、宏塊編碼信息以及宏塊有效標(biāo)志信息；所述視 頻合成模塊將獲取的前景圖像和背景圖像合成以獲取原始視頻圖像。
4
進(jìn)一步的，所述時(shí)編解碼器中的傳輸模塊包括背景圖像傳輸模塊和前景圖像傳輸 模塊，所背景述圖像傳輸模塊用于傳輸編碼后的背景碼流，所述前景圖像傳輸模塊用于傳 輸編碼后的前景碼流。進(jìn)一步的，所述前景分割模塊利用基于最大流分割方法的方法以分割出前景區(qū) 域，其包括獲取系列背景圖像中每個(gè)背景像素的顏色分量的高斯模型；對(duì)視頻圖像中的 像素和背景圖像進(jìn)行像素差值，對(duì)所述差值大于閾值的像素則作為前景像素；獲取所述前 景像素的顏色分量的混合高斯模型；采用背景的所述高斯模型和前景的所述混合高斯模型 計(jì)算視頻圖像中所有像素屬于前景或背景的概率，歸一化后得到該像素對(duì)應(yīng)節(jié)點(diǎn)在圖中分 別與前景和背景節(jié)點(diǎn)的連接能量；對(duì)所述視頻圖像分別求其相鄰像素間的水平邊緣強(qiáng)度和 垂直邊緣強(qiáng)度；根據(jù)每個(gè)像素和相鄰像素的水平邊緣強(qiáng)度和垂直邊緣強(qiáng)度得到在視頻圖像 中所述像素與相鄰像素間的連接能量；根據(jù)得到的所有節(jié)點(diǎn)間的連接能量，采用最大流分 割方法進(jìn)行最小分割，得到所述視頻圖像中的前景和背景像素。進(jìn)一步的，所述前景編碼模塊對(duì)前景區(qū)域內(nèi)的有效宏塊以及相同前景區(qū)域的二進(jìn) 制掩模進(jìn)行編碼以組成前景碼流，其中所述二進(jìn)制掩模用于標(biāo)識(shí)視頻圖像中哪些位置屬于 前景區(qū)域，掩模上每個(gè)屬于前景的像素被標(biāo)記為1，否則標(biāo)記為0 ；所述前景區(qū)域內(nèi)的有效 宏塊獲取方法為根據(jù)前景區(qū)域的二進(jìn)制掩模獲取其最小外接矩形，將所述外接矩形內(nèi)圖 像區(qū)域分為正方形的宏塊，如果宏塊中包含前景像素則判定該宏塊為有效宏塊，需要編碼， 否則判定為無效宏塊，不進(jìn)行編碼。進(jìn)一步的，所述前景編碼模塊對(duì)前景區(qū)域內(nèi)的有效宏塊進(jìn)行編碼包括對(duì)第一幀 出現(xiàn)的有效前景宏塊，按照宏塊的順序依次處理，對(duì)所述宏塊進(jìn)行離散余弦變換，并對(duì)離散 余弦變換系數(shù)進(jìn)行量化，采用差分編碼方式對(duì)離散余弦變換系數(shù)進(jìn)行預(yù)測(cè)，進(jìn)而進(jìn)行熵編 碼；對(duì)后續(xù)出現(xiàn)的各幀，判定前景區(qū)域內(nèi)各宏塊是否有效，對(duì)有效宏塊按照順序進(jìn)行下述處 理對(duì)當(dāng)前宏塊，在前一幀圖像的搜索范圍內(nèi)尋找與其最匹配的有效前景宏塊，對(duì)前一幀 圖像中的所述最匹配的有效前景宏塊與所述當(dāng)前宏塊做差，對(duì)得到的差值進(jìn)行離散余弦變 換，將其離散余弦變換系數(shù)量化后進(jìn)行熵編碼。更進(jìn)一步的，所述前景編碼模塊對(duì)前景區(qū)域的二進(jìn)制掩模進(jìn)行編碼包括記錄圖 像中前景區(qū)域數(shù)目及各前景區(qū)域的外接矩形范圍，還要記錄外接矩形范圍內(nèi)的圖像區(qū)域中 各個(gè)宏塊是否有效，如有有效則該位置標(biāo)志為1，否則標(biāo)志為0，將各個(gè)宏塊的標(biāo)志采用熵 編碼方式進(jìn)行編碼，并與宏塊編碼結(jié)果組成碼流傳輸。進(jìn)一步的，所述視頻合成模塊獲取當(dāng)前圖像的背景圖像，根據(jù)各個(gè)前景區(qū)域的外 接矩形坐標(biāo)定位到前景區(qū)域的左上角，按照和編碼相同的順序，判斷外接矩形中宏塊對(duì)應(yīng) 的前景宏塊是否為有效宏塊，如果為無效宏塊則跳到下一宏塊進(jìn)行處理，否則讀取有效宏 塊的編碼信息，解碼后得到離散余弦變換系數(shù)，恢復(fù)殘差圖像，從前一幀圖像中找到其匹配 宏塊，恢復(fù)當(dāng)前宏塊圖像，就愛你過當(dāng)前宏塊圖像覆蓋到當(dāng)前圖像上的對(duì)應(yīng)位置；或?qū)⒂行?宏塊疊加到背景圖像上。根據(jù)本發(fā)明的另一方面，本發(fā)明還提供一種視頻編解碼方法，其包括輸入視頻圖 像；在所述視頻圖像的背景變化時(shí)更新背景，對(duì)所述更新的背景建立背景模型并對(duì)所述背 景模型進(jìn)行編碼以得到背景碼流；根據(jù)所述視頻圖像以及所述背景模型分割出所述視頻圖 像中的前景區(qū)域并對(duì)所述前景區(qū)域進(jìn)行編碼以得到前景碼流；分別傳輸所述背景碼流和前景碼流；接收所述背景碼流和前景碼流并進(jìn)行解析，且將解析后的背景碼流和前景碼流分 開；如果接收到解析后的背景碼流則對(duì)其進(jìn)行解碼以更新背景圖像，否則不做處理；從解 析后的前景碼流中得到前景區(qū)域特征；根據(jù)所述前景區(qū)域特征獲取前景區(qū)域當(dāng)前宏塊并將 所述當(dāng)前宏塊覆蓋到所述背景圖像上以得到原始視頻圖像。進(jìn)一步的，所述前景區(qū)域特征包括前景區(qū)域數(shù)目、各前景區(qū)域的外接矩形的坐 標(biāo)、宏塊編碼信息以及宏塊有效標(biāo)志信息。更進(jìn)一步的，根據(jù)所述前景區(qū)域特征獲取前景區(qū)域當(dāng)前宏塊并將所述當(dāng)前宏塊覆 蓋到所述背景圖像上以得到原始視頻圖像包括獲取當(dāng)前圖像的背景圖像，根據(jù)各個(gè)前景 區(qū)域的外接矩形坐標(biāo)定位到前景區(qū)域的左上角，按照和編碼相同的順序，判斷外接矩形中 宏塊對(duì)應(yīng)的前景宏塊是否為有效宏塊，如果為無效宏塊則跳到下一宏塊進(jìn)行處理，否則讀 取有效宏塊的編碼信息，解碼后得到離散余弦變換系數(shù)，恢復(fù)殘差圖像，從前一幀圖像中找 到其匹配宏塊，恢復(fù)當(dāng)前宏塊圖像，就愛你過當(dāng)前宏塊圖像覆蓋到當(dāng)前圖像上的對(duì)應(yīng)位置； 或?qū)⒂行Ш陦K疊加到背景圖像上。與現(xiàn)有技術(shù)相比，本發(fā)明中視頻編碼器對(duì)于攝像頭靜止場(chǎng)景的視頻編碼，采用前 景分割算法從背景中分離前景，對(duì)不發(fā)生變化的背景僅傳送一次，而對(duì)包含重要內(nèi)容的前 景區(qū)域進(jìn)行編碼傳輸。為了將前景和背景更干凈的分割，所述視頻編碼器采用了基于最大 流分割的方法，能夠更精細(xì)的得到分割邊緣。此外，為了更好的得到合成圖像的質(zhì)量，視頻 解碼器采用基于blending的方法對(duì)前景和背景融合疊加。由于背景不變時(shí)不需要傳輸背 景圖像，從而在視頻傳輸時(shí)大大降低了寬帶占用率。

為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附 圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域 普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其它的附 圖。其中
圖1為本發(fā)明中一種視頻編解碼裝置在一個(gè)實(shí)施例中的結(jié)構(gòu)示意圖； 圖2為本發(fā)明中一種視頻編碼器在一個(gè)實(shí)施例中的結(jié)構(gòu)示意圖； 圖3為本發(fā)明在一個(gè)實(shí)施例中基于最大流分割的前景分割算法的流程圖； 圖4為本發(fā)明中一種視頻編碼方法在一個(gè)實(shí)施例中的流程圖； 圖5為本發(fā)明中一種視頻解碼器在一個(gè)實(shí)施例中的結(jié)構(gòu)示意圖；和 圖6為本發(fā)明中一種視頻解碼方法在一個(gè)實(shí)施例中的流程圖。
具體實(shí)施方式
本發(fā)明的詳細(xì)描述主要通過程序、步驟、邏輯塊、過程或其他象征性的描述來直接或間 接地模擬本發(fā)明技術(shù)方案的運(yùn)作。為透徹的理解本發(fā)明，在接下來的描述中陳述了很多特 定細(xì)節(jié)。而在沒有這些特定細(xì)節(jié)時(shí)，本發(fā)明則可能仍可實(shí)現(xiàn)。所屬領(lǐng)域內(nèi)的技術(shù)人員使用 此處的這些描述和陳述向所屬領(lǐng)域內(nèi)的其他技術(shù)人員有效的介紹他們的工作本質(zhì)。換句話 說，為避免混淆本發(fā)明的目的，由于熟知的方法和程序已經(jīng)容易理解，因此它們并未被詳細(xì) 描述。此處所稱的“一個(gè)實(shí)施例”或“實(shí)施例”是指可包含于本發(fā)明至少一個(gè)實(shí)現(xiàn)方式中 的特定特征、結(jié)構(gòu)或特性。在本說明書中不同地方出現(xiàn)的“在一個(gè)實(shí)施例中”并非均指同一個(gè)實(shí)施例，也不是單獨(dú)的或選擇性的與其他實(shí)施例互相排斥的實(shí)施例。此外，表示一個(gè)或多 個(gè)實(shí)施例的方法、流程圖或功能框圖中的模塊順序并非固定的指代任何特定順序，也不構(gòu) 成對(duì)本發(fā)明的限制。本發(fā)明提供一種視頻編解碼裝置，其在編碼端將視頻圖像分成背景和前景并分別 進(jìn)行編碼傳輸，在解碼端將接收到的碼流分別解析并解碼出前景圖像和背景圖像，并將其 合成以還原出原有圖像。所述視頻編解碼裝置的具體結(jié)構(gòu)可參見圖1所示。圖1為本發(fā)明中一種視頻編解碼裝置在一個(gè)實(shí)施例中的結(jié)構(gòu)示意圖，請(qǐng)參閱圖1 所示，所述視頻編解碼裝置10包括視頻編碼器200和視頻解碼器500。圖2為本發(fā)明中視頻編碼器在一個(gè)實(shí)施例中的結(jié)構(gòu)示意圖。請(qǐng)參閱圖2所示，所 述視頻編碼器200包括視頻輸入模塊210、背景更新模塊220、背景建模模塊230、背景編碼 模塊240、前景分割模塊250、前景編碼模塊260以及傳輸模塊270。所述視頻編碼器200對(duì) 于攝像頭靜止場(chǎng)景的視頻編碼，采用前景分割算法從背景中分離前景，對(duì)不發(fā)生變化的背 景僅傳送一次或數(shù)次，而對(duì)包含重要內(nèi)容的前景區(qū)域圖像進(jìn)行編碼傳輸。所述視頻輸入模塊210用于輸入需要編碼傳輸?shù)囊曨l圖像，所述視頻圖像可以為 單張也可以為多張連續(xù)的視頻圖像。所述背景更新模塊220在所述視頻圖像的背景變化時(shí)則更新視頻圖像中的背景。 在實(shí)際應(yīng)用中，在第一次輸入視頻圖像時(shí)則將其初始背景作為第一次背景更新來處理，接 下來檢測(cè)視頻圖像背景是否發(fā)生了變化，若發(fā)生變化則更新一次視頻圖像的背景。所述背景建模模塊230對(duì)所述視頻圖像更新后的背景進(jìn)行背景建模以得到背景 模型。所述背景為視頻圖像中長期相對(duì)不動(dòng)的部分，如在視頻監(jiān)控中，監(jiān)控?cái)z像頭視野內(nèi)的 數(shù)、房屋、街道等長期相對(duì)不動(dòng)的部分。對(duì)應(yīng)的，在具體應(yīng)用中，所述背景建模模塊130在視 頻圖像第一次輸入時(shí)則對(duì)初始背景圖像進(jìn)行建模，而在背景更新后則對(duì)更新后的背景進(jìn)行 建模。所述背景編碼模塊240對(duì)所述背景模型進(jìn)行編碼。在一個(gè)實(shí)施例中，對(duì)于需要傳輸?shù)囊幌盗斜尘皥D像，可以采用I幀P幀方式對(duì)背 景圖像進(jìn)行編碼。首先，獲取的第一幀圖像中的背景圖像被當(dāng)做I幀編碼后進(jìn)行傳輸，而 后續(xù)得到的背景被當(dāng)做P幀進(jìn)行處理傳輸，在I幀中相應(yīng)搜索范圍內(nèi)找到與之時(shí)間相鄰的 后續(xù)幀(即后續(xù)的P幀)中各宏塊最匹配的宏塊，然后將I幀中的各宏塊與后續(xù)P幀中對(duì)應(yīng) 的各宏塊的位置做差以得到一組差值向量，對(duì)所述差值向量均進(jìn)行DCT (Discrete Cosine Transform,即離散余弦變換)變換，并對(duì)其量化后按照原來宏塊的順序組成一個(gè)向量組，所 述向量組經(jīng)過熵編碼后進(jìn)行傳輸。一般的，由于背景變化很小，所以上述P幀的碼流很低， 由于攝像機(jī)靜止情況下，通常背景圖像穩(wěn)定不變，上述確定匹配宏塊的方法可以直接在I 幀中選用對(duì)應(yīng)位置的宏塊以作為P幀的宏塊即可。當(dāng)然，上述僅僅講述了一種背景編碼的方法，所述背景編碼模塊240還可以通過 其他的方法對(duì)背景圖像進(jìn)行編碼，其具體實(shí)現(xiàn)可以通過軟件、硬件或軟硬件結(jié)合的方式實(shí) 現(xiàn)對(duì)背景模型的編碼，其中所述DCT變換以及熵編碼的實(shí)現(xiàn)方法均屬于所屬領(lǐng)域的普通技 術(shù)人員都能夠?qū)崿F(xiàn)的，且不作為本發(fā)明的重要技術(shù)方案，所以就不再一一詳述了。所述前景分割模塊250根據(jù)輸入的視頻圖像以及所述背景模型分割出所述視頻 圖像中的前景區(qū)域。所述前景為圖像中的活動(dòng)目標(biāo)，即圖像中的運(yùn)動(dòng)目標(biāo)，是視頻中相對(duì)于背景更加重要的部分。由于相對(duì)于前景的信息比較重要，所以可以采用質(zhì)量更高的編碼方式來對(duì)所述前 景進(jìn)行編碼，而背景由于很長時(shí)間處于不變的狀態(tài)，在不變的時(shí)候只需要傳輸一次背景即 可，所以本發(fā)明選擇將前景與背景分開編碼和傳輸。所述前景分割模塊250為了更好地將前景從背景中分割出來，減少前景和背景邊 緣處的不平滑，前景分割模塊250的方法有很多，現(xiàn)有的提取前景的方法比如背景差法、混 合高斯模型方法以及核密度估計(jì)方法。但是，所述方法沒有利用圖像的區(qū)域信息，從而使得 對(duì)前景與背景的交界區(qū)域的邊緣分割的效果很差。這里可以采用一個(gè)更好的方法，即基于 最大流分割(graph-cut)的方法。在一個(gè)實(shí)施例中，利用最大流分割的方法對(duì)圖像進(jìn)行前景分割。其具體可參見圖3 所示，圖3為本發(fā)明在一個(gè)實(shí)施例中基于最大流分割的前景分割算法的流程圖。所述基于 最大流分割的前景分割算法包括
步驟300，輸入視頻圖像；
步驟310，在所述視頻圖像中提取背景圖像；
步驟320，獲取所述背景圖像中每個(gè)背景像素的顏色分量的高斯模型； 步驟330，對(duì)前景像素進(jìn)行標(biāo)識(shí)，具體為對(duì)所述背景圖像和視頻圖像中的前景圖像進(jìn) 行像素差值(包括灰度差或顏色差)，當(dāng)所述差值大于閾值時(shí)則得到不同于背景的像素標(biāo)識(shí) (如背景像素標(biāo)識(shí)為0時(shí)，所述差值大于閾值的像素標(biāo)識(shí)記為1)，并認(rèn)定這些像素絕大部分 為前景像素；
步驟340，獲取所述標(biāo)識(shí)為前景的像素的顏色分量的混合高斯模型； 步驟350，對(duì)所述視頻圖像中的所有像素，采用所述背景高斯模型和前景混合高斯模型 以得到其屬于前景和背景的概率，經(jīng)歸一化后分別得到該像素對(duì)應(yīng)節(jié)點(diǎn)在圖中與前景和背 景節(jié)點(diǎn)連接的能量，記為能量項(xiàng)1，由此可知，所述能量項(xiàng)1可以理解為每個(gè)像素屬于前景 還是屬于背景的概率；
步驟360，獲取所述視頻圖像中相鄰像素間的垂直邊緣強(qiáng)度； 步驟370，獲取所述視頻圖像中相鄰像素間的水平邊緣強(qiáng)度；
步驟380，對(duì)所述視頻圖像中所有像素，根據(jù)其和相鄰像素的所述水平邊緣強(qiáng)度和垂直 邊緣強(qiáng)度得到視頻圖像中其與相鄰像素間的連接能量，即為能量項(xiàng)2 ；
步驟390，根據(jù)得到的所有節(jié)點(diǎn)間的連接能量(包括所述能量項(xiàng)1和能量項(xiàng)2)，采用最 大流分割方法進(jìn)行最小分割，得到輸入圖像中的前景和背景像素。需要指出的是，當(dāng)視頻圖像中的背景更新時(shí)需要對(duì)背景進(jìn)行更新以保證步驟310 獲取的背景圖像為最新圖像。該方法不僅僅利用了前景和背景之間的差來分割前景，而且，還利用了前景和背 景區(qū)域的顏色模型，以及圖像上前景和背景的邊緣信息，因而能夠得到更好的分割效果。且 根據(jù)上述方法可以將前景圖像中的所有像素標(biāo)記為相同的數(shù)字，如1，而將背景圖像中的所 有像素標(biāo)記為相同的數(shù)字，如0，這樣便得到了一個(gè)可識(shí)別前景圖像區(qū)域的二進(jìn)制掩模。也 就是說，所述二進(jìn)制掩模和圖像大小相同，每個(gè)像素位置的二進(jìn)制值標(biāo)識(shí)了該圖像中像素 是否屬于前景，如果像素屬于前景，則掩模上對(duì)應(yīng)該像素的值則為1，否則為0。所述前景編碼模塊260將所述前景分割出的前景進(jìn)行編碼以用于傳輸。為了將前景區(qū)域進(jìn)行高質(zhì)量的編碼，本發(fā)明對(duì)前景區(qū)域內(nèi)的有效宏塊以及相同前景區(qū)域的二進(jìn)制掩 模進(jìn)行編碼以組成前景碼流。其所述前景區(qū)域的有效宏塊獲取方法具體為將前景區(qū)域的二進(jìn)制掩模獲取其最 小外接矩形，將所述最小外接矩形內(nèi)圖像區(qū)域分為大小固定的宏塊，如果宏塊中包含了前 景像素，則認(rèn)為該宏塊有效，需要編碼，否則認(rèn)為該宏塊中的像素為背景像素，無效，不進(jìn)行 編碼；將上述需要編碼的宏塊按照順序組成一個(gè)宏塊向量，可以采用zig-zag掃描的方法 確定順序。所述宏塊可以為NXN的正方形，如可以設(shè)定為8X8或16X 16的宏塊，所述宏塊 大小的設(shè)定是為了后續(xù)DCT編碼的方便。在一個(gè)實(shí)施例中，所述前景編碼模塊對(duì)前景區(qū)域內(nèi)的有效宏塊進(jìn)行編碼的方法包 括對(duì)第一幀出現(xiàn)的有效前景宏塊，按照宏塊的順序依次處理，對(duì)所述宏塊進(jìn)行DCT變換， 并對(duì)DCT系數(shù)進(jìn)行量化，采用差分編碼方式對(duì)DCT系數(shù)進(jìn)行預(yù)測(cè)，進(jìn)而進(jìn)行熵編碼；對(duì)后續(xù) 出現(xiàn)的各幀，判定前景區(qū)域內(nèi)各宏塊是否有效，對(duì)有效宏塊按照順序進(jìn)行下述處理對(duì)當(dāng)前 宏塊，在前一幀圖像的搜索范圍內(nèi)尋找與其最匹配的有效前景宏塊，對(duì)前一幀圖像中的所 述最匹配的有效前景宏塊與所述當(dāng)前宏塊做差，對(duì)得到的差值進(jìn)行DCT變換，將其DCT系數(shù) 量化后進(jìn)行熵編碼。所述前景編碼模塊對(duì)前景區(qū)域的二進(jìn)制掩模進(jìn)行編碼的方法包括記錄圖像中前 景區(qū)域數(shù)目及各前景區(qū)域的外接矩形范圍，還要記錄外接矩形范圍內(nèi)的圖像區(qū)域中各個(gè)宏 塊是否有效，如有有效則該位置標(biāo)志為1，否則標(biāo)志為0，將各個(gè)宏塊的標(biāo)志采用熵編碼方 式進(jìn)行編碼。所述前景編碼模塊260將所述前景區(qū)域內(nèi)有效宏塊的編碼結(jié)果和對(duì)應(yīng)的二進(jìn)制 掩模上標(biāo)志的數(shù)據(jù)組成碼流以用于傳輸。這樣，避免了在每次視頻圖像的前景發(fā)生變化而背景沒發(fā)生變化時(shí)對(duì)背景區(qū)域的 傳輸，同時(shí)，對(duì)于前景區(qū)域，也利用幀間信息將冗余信息排除，降低了碼率。所述傳輸模塊270對(duì)所述背景編碼模塊240得到的編碼后的背景圖像和前景編碼 模塊260得到的前景區(qū)域的圖像進(jìn)行傳輸。所述傳輸模塊270包括背景圖像傳輸模塊2701 和前景圖像傳輸模塊2702，其中所述背景圖像傳輸模塊2701對(duì)背景編碼模塊240得到的編 碼后的背景碼流進(jìn)行傳輸，所述前景圖像傳輸模塊2702對(duì)前景編碼模塊260得到的編碼后 的前景碼流進(jìn)行傳輸。在實(shí)際應(yīng)用中，所述背景圖像傳輸模塊2701和前景圖像傳輸模塊2702對(duì)背景碼 流和前景碼流分別傳輸。由于背景圖像在長期內(nèi)不變的情況下，所述背景圖像傳輸模塊 2701在此時(shí)間段內(nèi)只傳輸一次背景碼流。綜上所述，本發(fā)明中的視頻編碼器將背景和前景分開，且利用基于最大流分割方 法提高了前景和背景交界區(qū)域的邊緣分割效果，并對(duì)前景進(jìn)行更高質(zhì)量的編碼，而對(duì)背景 不變時(shí)近傳輸一次背景，從而提高了視頻的壓縮質(zhì)量，且大大地降低了傳輸?shù)囊曨l對(duì)寬帶 的占用率。圖4為本發(fā)明中一種視頻編碼方法在一個(gè)實(shí)施例中的流程圖，請(qǐng)參閱圖4所示，所 述視頻編碼方法包括
步驟410，輸入視頻圖像，所述視頻圖像可以為單張也可以為多張連續(xù)的視頻圖像。
9
步驟420，根據(jù)所述視頻圖像建立背景模型，當(dāng)所述視頻圖像中的背景發(fā)生變化 時(shí)，則更新背景模型。步驟430，根據(jù)視頻圖像和背景模型分割前景圖像。為了更好地將前景從背景中分割出來，減少前景和背景邊緣處的不平滑，對(duì)圖像 的前景分割的方法有很多，現(xiàn)有的提取前景的方法比如背景差法、混合高斯模型方法以 及核密度估計(jì)方法。但是，所述方法沒有利用圖像的區(qū)域信息，從而使得對(duì)前景與背景 的交界區(qū)域的邊緣分割的效果很差。這里可以采用一個(gè)更好的方法，即基于最大流分割 (graph-cut)的方法。所述最大流分割的方法具體可以參見圖3所示，其內(nèi)容已在上述部分 進(jìn)行了詳細(xì)描述，所以這里就不再描述了。步驟440，分別對(duì)背景模型和前景圖像進(jìn)行編碼。在一個(gè)實(shí)施例中，對(duì)背景模型進(jìn)行編碼時(shí)，對(duì)于需要傳輸?shù)囊幌盗斜尘皥D像，可以 采用I幀P幀方式對(duì)背景圖像進(jìn)行編碼。首先，獲取的第一幀圖像中的背景圖像被當(dāng)做I幀 編碼后進(jìn)行傳輸，而后續(xù)得到的背景被當(dāng)做P幀進(jìn)行處理傳輸，在I幀中相應(yīng)搜索范圍內(nèi)找 到與之時(shí)間相鄰的后續(xù)幀(即后續(xù)的P幀)中各宏塊最匹配的宏塊，然后將I幀中的各宏塊 與后續(xù)P幀中對(duì)應(yīng)的各宏塊的位置做差以得到一組差值向量，對(duì)所述差值向量均進(jìn)行DCT (Discrete Cosine Transform,即離散余弦變換)變換，并對(duì)其量化后按照原來宏塊的順序 組成一個(gè)向量組，所述向量組經(jīng)過熵編碼后進(jìn)行傳輸。一般的，由于背景變化很小，所以上 述P幀的碼流很低，由于攝像機(jī)靜止情況下，通常背景圖像穩(wěn)定不變，上述確定匹配宏塊的 方法可以直接在I幀中選用對(duì)應(yīng)位置的宏塊以作為P幀的宏塊即可。上述過程可以通過軟件、硬件或軟硬件結(jié)合的方式實(shí)現(xiàn)對(duì)背景模型的編碼，其中 所述DCT變換以及熵編碼的實(shí)現(xiàn)方法均屬于所屬領(lǐng)域的普通技術(shù)人員都能夠?qū)崿F(xiàn)的，且不 作為本發(fā)明的重要技術(shù)方案，所以就不再一一詳述了。在另一個(gè)實(shí)施例中，對(duì)前景區(qū)域進(jìn)行編碼時(shí)，為了將前景區(qū)域進(jìn)行高質(zhì)量的編碼， 本發(fā)明對(duì)前景區(qū)域內(nèi)的有效宏塊以及相同前景區(qū)域的二進(jìn)制掩模進(jìn)行編碼以組成前景碼流。其所述前景區(qū)域的有效宏塊獲取方法具體為將前景區(qū)域的二進(jìn)制掩模獲取其最 小外接矩形，將所述最小外接矩形內(nèi)圖像區(qū)域分為大小固定的宏塊，如果宏塊中包含了前 景像素，則認(rèn)為該宏塊有效，需要編碼，否則認(rèn)為該宏塊中的像素為背景像素，無效，不進(jìn)行 編碼；將上述需要編碼的宏塊按照順序組成一個(gè)宏塊向量，可以采用zig-zag掃描的方法 確定順序。所述宏塊可以為NXN的正方形，如可以設(shè)定為8X8或16X 16的宏塊，所述宏塊 大小的設(shè)定是為了后續(xù)DCT編碼的方便。在一個(gè)實(shí)施例中，所述前景編碼模塊對(duì)前景區(qū)域內(nèi)的有效宏塊進(jìn)行編碼的方法包 括對(duì)第一幀出現(xiàn)的有效前景宏塊，按照宏塊的順序依次處理，對(duì)所述宏塊進(jìn)行DCT變換， 并對(duì)DCT系數(shù)進(jìn)行量化，采用差分編碼方式對(duì)DCT系數(shù)進(jìn)行預(yù)測(cè)，進(jìn)而進(jìn)行熵編碼；對(duì)后續(xù) 出現(xiàn)的各幀，判定前景區(qū)域內(nèi)各宏塊是否有效，對(duì)有效宏塊按照順序進(jìn)行下述處理對(duì)當(dāng)前 宏塊，在前一幀圖像的搜索范圍內(nèi)尋找與其最匹配的有效前景宏塊，對(duì)前一幀圖像中的所 述最匹配的有效前景宏塊與所述當(dāng)前宏塊做差，對(duì)得到的差值進(jìn)行DCT變換，將其DCT系數(shù) 量化后進(jìn)行熵編碼。
所述前景編碼模塊對(duì)前景區(qū)域的二進(jìn)制掩模進(jìn)行編碼的方法包括記錄圖像中前 景區(qū)域數(shù)目及各前景區(qū)域的外接矩形范圍，還要記錄外接矩形范圍內(nèi)的圖像區(qū)域中各個(gè)宏 塊是否有效，如有有效則該位置標(biāo)志為1，否則標(biāo)志為0，將各個(gè)宏塊的標(biāo)志采用熵編碼方 式進(jìn)行編碼。最后將所述前景區(qū)域內(nèi)有效宏塊的編碼結(jié)果和對(duì)應(yīng)的二進(jìn)制掩模上標(biāo)志的數(shù)據(jù) 組成碼流以用于傳輸。這樣，避免了在每次視頻圖像的前景發(fā)生變化而背景沒發(fā)生變化時(shí)對(duì)背景區(qū)域的 傳輸，同時(shí)，對(duì)于前景區(qū)域，也利用幀間信息將冗余信息排除，降低了碼率。步驟450，分別傳輸編碼后的背景碼流和前景碼流。本發(fā)明還提供一種視頻解碼器，其將接搜到的碼流解析成背景碼流和前景碼流， 并分別將其進(jìn)行解碼并還原成原始圖像。其具體可參見圖5所示。圖5為本發(fā)明中一種視頻解碼器在一個(gè)實(shí)施例中的結(jié)構(gòu)示意圖。所述視頻解碼器 500包括解析模塊510、背景解碼模塊520、前景解碼模塊530以及視頻合成模塊540。所述解析模塊510對(duì)接收到的碼流進(jìn)行解析并將解析后的碼流分成背景碼流和 前景碼流。所述背景解碼模塊520如果接收到解析后的背景碼流則對(duì)其進(jìn)行解碼以更新背 景圖像，如果沒有接收到解析后的背景碼流則不做處理。在一個(gè)實(shí)施例中，當(dāng)接收到I幀數(shù)據(jù)時(shí)，所述背景解碼模塊520則采用I幀的解碼 器對(duì)其進(jìn)行解碼，并記錄下來。如果接收到的是P幀數(shù)據(jù)，則恢復(fù)其DCT系數(shù)對(duì)應(yīng)的殘差圖 像，并從I幀中獲取匹配宏塊圖像，還原原視頻圖像。所述前景解碼模塊530對(duì)接收到的解析后的前景碼流進(jìn)行解碼。具體的，所述前景解碼模塊530從解析后的前景碼流中得到前景區(qū)域數(shù)目，并獲 取各前景區(qū)域的外接矩形的坐標(biāo)、宏塊編碼信息以及宏塊有效標(biāo)志信息。從宏塊編碼信息 中分別恢復(fù)出各個(gè)宏塊的信息。將上述前景區(qū)域數(shù)目、前景區(qū)域外接矩形坐標(biāo)、前景區(qū)域宏 塊編碼信息、前景區(qū)域宏塊有效性標(biāo)志以及背景圖像傳送給視頻合成模塊540。所述視頻合成模塊540將解碼后的背景圖像和前景圖像進(jìn)行合成以得到原始的 圖像。在實(shí)際應(yīng)用中，其合成具體為建立當(dāng)前圖像為背景圖像；視頻合成模塊540對(duì)存 在的前景區(qū)域分別進(jìn)行處理根據(jù)外接矩形坐標(biāo)定位到前景區(qū)域左上角，按照和編碼相同 的順序，對(duì)外接矩形中的宏塊分別進(jìn)行下述處理獲取當(dāng)前宏塊對(duì)應(yīng)的前景宏塊是否有效 標(biāo)志，如果宏塊無效，則跳到處理下一個(gè)宏塊，否則讀取有效宏塊的編碼信息，解碼得到DCT 系數(shù)，恢復(fù)殘差圖像，從前幀圖像中找到其匹配宏塊，恢復(fù)當(dāng)前宏塊圖像；將當(dāng)前宏塊圖像 覆蓋到當(dāng)前圖像上的對(duì)應(yīng)位置。一種更佳的方法是采用blending的方法，將有效宏塊疊加到背景圖像上去。從而 使得獲得的圖像更加真實(shí)自然，不會(huì)在前景和背景交界處留下痕跡。在與視頻編碼器進(jìn)行匹配時(shí)，采用視頻解碼器恢復(fù)圖像以作為匹配宏塊圖像，而 不是采用上幀圖像，從而提高編碼性能。綜上所述，本發(fā)明利用對(duì)應(yīng)的合成算法將前景和背景圖像進(jìn)行合成或利用 blending方法將前景疊加到圖像上，從而避免了前景和背景交界處留下痕跡。
圖6為本發(fā)明中一種視頻解碼的方法在一個(gè)實(shí)施例中的流程圖，請(qǐng)參閱圖5所示， 所述視頻解碼包括
步驟610，對(duì)接收到的碼流進(jìn)行解析以生成背景碼流和前景碼流。步驟620，分別對(duì)背景碼流和前景碼流進(jìn)行解碼。在具體應(yīng)用中，如果接收到解析后的背景碼流則對(duì)其進(jìn)行解碼以更新背景圖像， 如果沒有接收到解析后的背景碼流則不做處理。在一個(gè)實(shí)施例中，當(dāng)接收到I幀數(shù)據(jù)時(shí)，則 采用I幀的解碼器對(duì)其進(jìn)行解碼，并記錄下來。如果接收到的是P幀數(shù)據(jù)，則恢復(fù)其DCT系 數(shù)對(duì)應(yīng)的殘差圖像，并從I幀中獲取匹配宏塊圖像，還原原圖像。在另一個(gè)實(shí)施例中，從解析后的前景碼流中得到前景特征，所述前景特征包括前 景區(qū)域數(shù)目、各前景區(qū)域的外接矩形的坐標(biāo)、宏塊編碼信息以及宏塊有效標(biāo)志信息。從宏塊 編碼信息中分別恢復(fù)出各個(gè)宏塊的信息。將上述前景區(qū)域數(shù)目、前景區(qū)域外接矩形坐標(biāo)、前 景區(qū)域宏塊編碼信息、前景區(qū)域宏塊有效性標(biāo)志以及背景圖像傳送給視頻合成模塊。步驟630，將解碼后的背景圖像和前景圖像進(jìn)行合成。在實(shí)際應(yīng)用中，其合成具體為建立當(dāng)前圖像為背景圖像；對(duì)存在的前景區(qū)域分 別進(jìn)行處理根據(jù)外接矩形坐標(biāo)定位到前景區(qū)域左上角，按照和編碼相同的順序，對(duì)外接矩 形中的宏塊分別進(jìn)行下述處理獲取當(dāng)前宏塊對(duì)應(yīng)的前景宏塊是否有效標(biāo)志，如果宏塊無 效，則跳到處理下一個(gè)宏塊，否則讀取有效宏塊的編碼信息，解碼得到DCT系數(shù)，恢復(fù)殘差 圖像，從前幀圖像中找到其匹配宏塊，恢復(fù)當(dāng)前宏塊圖像；將當(dāng)前宏塊圖像覆蓋到當(dāng)前圖像 上的對(duì)應(yīng)位置?！N更佳的方法是采用blending的方法，將有效宏塊疊加到背景圖像上去。從而 使得獲得的圖像更加真實(shí)自然，不會(huì)在前景和背景交界處留下痕跡。綜上所述，本發(fā)明利用對(duì)應(yīng)的合成算法將前景和背景圖像進(jìn)行合成或利用 blending方法將前景疊加到圖像上，從而避免了前景和背景交界處留下痕跡。綜上所述，本發(fā)明在視頻編碼端通過視頻編碼器將背景和前景分開，且利用基于 最大流分割方法提高了前景和背景交界區(qū)域的邊緣分割效果，并對(duì)前景進(jìn)行更高質(zhì)量的編 碼，而對(duì)背景不變時(shí)近傳輸一次背景，從而提高了視頻的壓縮質(zhì)量，且大大地降低了傳輸?shù)?視頻對(duì)寬帶的占用率；在解碼端利用對(duì)應(yīng)的合成算法將前景和背景圖像進(jìn)行合成或利用 blending方法將前景疊加到圖像上，從而避免了前景和背景交界處留下痕跡。上述說明已經(jīng)充分揭露了本發(fā)明的具體實(shí)施方式
。需要指出的是，熟悉該領(lǐng)域的 技術(shù)人員對(duì)本發(fā)明的具體實(shí)施方式
所做的任何改動(dòng)均不脫離本發(fā)明的權(quán)利要求書的范圍。 相應(yīng)地，本發(fā)明的權(quán)利要求的范圍也并不僅僅局限于前述具體實(shí)施方式
。
權(quán)利要求
1.一種視頻編解碼裝置，其特征在于，其包括視頻編碼器，其包括視頻輸入模塊、背景更新模塊、背景建模模塊、背景編碼模塊、前景 分割模塊、前景編碼模塊和傳輸模塊，其中所述視頻輸入模塊用于輸入視頻圖像；所述背景 更新模塊在所述視頻圖像中的背景變化時(shí)更新視頻圖像中的背景；所述背景建模模塊根據(jù) 更新的所述視頻圖像中的背景建立背景模型；所述背景編碼模塊對(duì)所述背景模型進(jìn)行編碼 以獲取背景碼流；所述前景分割模塊根據(jù)輸入的視頻圖像以及所述背景模型分割出所述視 頻圖像中的前景區(qū)域；所述前景編碼模塊對(duì)得到的前景區(qū)域進(jìn)行編碼以獲取前景碼流；所 述傳輸模塊，分別傳輸所述背景碼流和前景碼流；和視頻解碼器，其包括解析器模塊、背景解碼模塊、前景解碼模塊和視頻合成模塊，其中 所述解析器模塊對(duì)接收到的碼流進(jìn)行解析，并將解析后的背景碼流和前景碼流分開；所述 背景解碼模塊如果接收到解析后的背景碼流則對(duì)其進(jìn)行解碼以更新背景圖像，否則不做處 理；所述前景解碼模塊從解析后的前景碼流中得到前景區(qū)域數(shù)目，并獲取各前景區(qū)域的外 接矩形的坐標(biāo)、宏塊編碼信息以及宏塊有效標(biāo)志信息；所述視頻合成模塊將獲取的前景圖 像和背景圖像合成以獲取原始視頻圖像。
2.根據(jù)權(quán)利要求1所述的視頻編解碼裝置，其特征在于所述時(shí)編解碼器中的傳輸模 塊包括背景圖像傳輸模塊和前景圖像傳輸模塊，所背景述圖像傳輸模塊用于傳輸編碼后的 背景碼流，所述前景圖像傳輸模塊用于傳輸編碼后的前景碼流。
3.根據(jù)權(quán)利要求1所述的視頻編解碼裝置，其特征在于所述前景分割模塊利用基于 最大流分割方法的方法以分割出前景區(qū)域，其包括獲取系列背景圖像中每個(gè)背景像素的顏色分量的高斯模型；對(duì)視頻圖像中的像素和背景圖像進(jìn)行像素差值，對(duì)所述差值大于閾值的像素則作為前 景像素；獲取所述前景像素的顏色分量的混合高斯模型；采用背景的所述高斯模型和前景的所述混合高斯模型計(jì)算視頻圖像中所有像素屬于 前景或背景的概率，歸一化后得到該像素對(duì)應(yīng)節(jié)點(diǎn)在圖中分別與前景和背景節(jié)點(diǎn)的連接能 量；對(duì)所述視頻圖像分別求其相鄰像素間的水平邊緣強(qiáng)度和垂直邊緣強(qiáng)度；根據(jù)每個(gè)像素和相鄰像素的水平邊緣強(qiáng)度和垂直邊緣強(qiáng)度得到在視頻圖像中所述像 素與相鄰像素間的連接能量；和根據(jù)得到的所有節(jié)點(diǎn)間的連接能量，采用最大流分割方法進(jìn)行最小分割，得到所述視 頻圖像中的前景和背景像素。
4.根據(jù)權(quán)利要求1所述的視頻編解碼裝置，其特征在于所述前景編碼模塊對(duì)前景區(qū) 域內(nèi)的有效宏塊以及相同前景區(qū)域的二進(jìn)制掩模進(jìn)行編碼以組成前景碼流，其中所述二進(jìn) 制掩模用于標(biāo)識(shí)視頻圖像中哪些位置屬于前景區(qū)域，掩模上每個(gè)屬于前景的像素被標(biāo)記為 1，否則標(biāo)記為0 ；所述前景區(qū)域內(nèi)的有效宏塊獲取方法為根據(jù)前景區(qū)域的二進(jìn)制掩模獲 取其最小外接矩形，將所述外接矩形內(nèi)圖像區(qū)域分為正方形的宏塊，如果宏塊中包含前景 像素則判定該宏塊為有效宏塊，需要編碼，否則判定為無效宏塊，不進(jìn)行編碼。
5.根據(jù)權(quán)利要求4所述的視頻編解碼裝置，其特征在于所述前景編碼模塊對(duì)前景區(qū) 域內(nèi)的有效宏塊進(jìn)行編碼的方法包括對(duì)第一幀出現(xiàn)的有效前景宏塊，按照宏塊的順序依次處理，對(duì)所述宏塊進(jìn)行離散余弦 變換，并對(duì)離散余弦變換系數(shù)進(jìn)行量化，采用差分編碼方式對(duì)離散余弦變換系數(shù)進(jìn)行預(yù)測(cè)， 進(jìn)而進(jìn)行熵編碼；對(duì)后續(xù)出現(xiàn)的各幀，判定前景區(qū)域內(nèi)各宏塊是否有效，對(duì)有效宏塊按照順序進(jìn)行下述 處理對(duì)當(dāng)前宏塊，在前一幀圖像的搜索范圍內(nèi)尋找與其最匹配的有效前景宏塊，對(duì)前一幀 圖像中的所述最匹配的有效前景宏塊與所述當(dāng)前宏塊做差，對(duì)得到的差值進(jìn)行離散余弦變 換，將其離散余弦變換系數(shù)量化后進(jìn)行熵編碼。
6.根據(jù)權(quán)利要求5所述的視頻編解碼裝置，其特征在于所述前景編碼模塊對(duì)前景區(qū) 域的二進(jìn)制掩模進(jìn)行編碼的方法包括記錄圖像中前景區(qū)域數(shù)目及各前景區(qū)域的外接矩形范圍，還要記錄外接矩形范圍內(nèi)的 圖像區(qū)域中各個(gè)宏塊是否有效，如有有效則該位置標(biāo)志為1，否則標(biāo)志為0，將各個(gè)宏塊的 標(biāo)志采用熵編碼方式進(jìn)行編碼，并與宏塊編碼結(jié)果組成碼流傳輸。
7.根據(jù)權(quán)利要求1所述的視頻編解碼裝置，其特征在于所述視頻合成模塊獲取當(dāng)前 圖像的背景圖像，根據(jù)各個(gè)前景區(qū)域的外接矩形坐標(biāo)定位到前景區(qū)域的左上角，按照和編 碼相同的順序，判斷外接矩形中宏塊對(duì)應(yīng)的前景宏塊是否為有效宏塊，如果為無效宏塊則 跳到下一宏塊進(jìn)行處理，否則讀取有效宏塊的編碼信息，解碼后得到離散余弦變換系數(shù)，恢 復(fù)殘差圖像，從前一幀圖像中找到其匹配宏塊，恢復(fù)當(dāng)前宏塊圖像，就愛你過當(dāng)前宏塊圖像 覆蓋到當(dāng)前圖像上的對(duì)應(yīng)位置；或?qū)⒂行Ш陦K疊加到背景圖像上。
8. 一種視頻編解碼方法，其特征在于，其包括輸入視頻圖像；在所述視頻圖像的背景變化時(shí)更新其背景；對(duì)所述更新的背景建立背景模型并對(duì)所述背景模型進(jìn)行編碼以得到背景碼流；根據(jù)所述視頻圖像以及所述背景模型分割出所述視頻圖像中的前景區(qū)域并對(duì)所述前 景區(qū)域進(jìn)行編碼以得到前景碼流；分別傳輸所述背景碼流和前景碼流；接收所述背景碼流和前景碼流并進(jìn)行解析，且將解析后的背景碼流和前景碼流分開；如果接收到解析后的背景碼流則對(duì)其進(jìn)行解碼以更新背景圖像，否則不做處理；從解析后的前景碼流中得到前景區(qū)域特征；和根據(jù)所述前景區(qū)域特征獲取前景區(qū)域當(dāng)前宏塊并將所述當(dāng)前宏塊覆蓋到所述背景圖 像上以得到原始視頻圖像。
9.根據(jù)權(quán)利要求8所述的視頻編解碼方法，其特征在于所述前景區(qū)域特征包括前景 區(qū)域數(shù)目、各前景區(qū)域的外接矩形的坐標(biāo)、宏塊編碼信息以及宏塊有效標(biāo)志信息。
10.根據(jù)權(quán)利要求9所述的視頻編解碼方法，其特征在于根據(jù)所述前景區(qū)域特征獲取 前景區(qū)域當(dāng)前宏塊并將所述當(dāng)前宏塊覆蓋到所述背景圖像上以得到原始視頻圖像包括獲取當(dāng)前圖像的背景圖像，根據(jù)各個(gè)前景區(qū)域的外接矩形坐標(biāo)定位到前景區(qū)域的左上 角，按照和編碼相同的順序，判斷外接矩形中宏塊對(duì)應(yīng)的前景宏塊是否為有效宏塊，如果為 無效宏塊則跳到下一宏塊進(jìn)行處理，否則讀取有效宏塊的編碼信息，解碼后得到離散余弦 變換系數(shù)，恢復(fù)殘差圖像，從前一幀圖像中找到其匹配宏塊，恢復(fù)當(dāng)前宏塊圖像，并將當(dāng)前 宏塊圖像覆蓋到當(dāng)前圖像上的對(duì)應(yīng)位置；或?qū)⒂行Ш陦K疊加到背景圖像上。
全文摘要
本發(fā)明提供一種視頻編解碼裝置，其包括視頻編碼器和視頻解碼器，所述視頻編碼器將視頻圖像分割出前景圖像，對(duì)所述前景圖像進(jìn)行編碼，且在背景進(jìn)行更新時(shí)，建立背景模型并進(jìn)行編碼以用于傳輸；所述視頻解碼器接收碼流后解析出背景碼流和前景碼流，并將所述背景碼流和前景碼流分別進(jìn)行解碼已得到背景圖像和前景圖像，最后將解碼后的背景圖像和前景圖像進(jìn)行合成以得到原始視頻圖像。
文檔編號(hào)H04N7/26GK102006475SQ201010553038
公開日2011年4月6日 申請(qǐng)日期2010年11月18日 優(yōu)先權(quán)日2010年11月18日
發(fā)明者鄧亞峰 申請(qǐng)人:無錫中星微電子有限公司