專利名稱：一種支持視頻可伸縮瀏覽的視頻編解碼方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻分析處理和視頻編解碼領(lǐng)域，特別是一種支持視頻中運(yùn)動(dòng)對象密度可伸縮調(diào)整的視頻快速瀏覽的編解碼方法和裝置。
背景技術(shù)：
近年來，數(shù)字媒體的高速發(fā)展，公共安全情勢受到社會(huì)和公眾的廣泛關(guān)注，多媒體和安防視頻數(shù)據(jù)成爆炸式增長。傳統(tǒng)耗時(shí)的簡單原始的瀏覽方式已遠(yuǎn)遠(yuǎn)不能滿足人們對視頻信息訪問和查詢的需求。不斷有新的視頻瀏覽查閱方法出現(xiàn)。目前的視頻瀏覽方法，可以分為視頻略覽(Video Summary)、視頻梗概(Video Skimming)和視頻摘要(Video Synopsis)三大類1.視頻略覽是從原始視頻中提取一部分圖像的集合來概括原始的視頻內(nèi)容， 而這些代表原始視頻的圖像就稱為關(guān)鍵幀(Keyframe)。對其瀏覽的方式包括故事板 (Storyboard,參見 S Uchihashi, J Foote and A Girgensohn, "Video manga !Generating semantically meaningful video summaries，，，ACM Multimedia, 1999.)禾口場景轉(zhuǎn)移圖 (STG,參見 B Yeo and B Liu, "Rapid scene analysis compressed video，，，IEEE Trans. On Circuits and Systems for Video Technology, 5 (6) :533-544,1995)等?；陉P(guān)鍵幀提取的視頻略覽的優(yōu)點(diǎn)在于簡單易行，且計(jì)算復(fù)雜度低。不足之處在于關(guān)鍵幀表達(dá)機(jī)制丟失了視頻的動(dòng)態(tài)特性，因而表現(xiàn)力不生動(dòng)。2.視頻梗概是從原始視頻中提取能夠表達(dá)原始視頻的小片段或者鏡頭內(nèi)容加以編輯合成，它本身就是一個(gè)視頻片斷，因此保持了原始視頻的動(dòng)態(tài)特性。視頻梗概分為兩類視步頁概述(Summary Sequence，參看 Naphade and Huang，"Semantic video indexing using a probabilistic framework”，ICPR，2000)和精彩片斷(Highlight，參看Zhong and Chang，"Structure analysis of sports video using domain models，，，ICME，2001)。與視頻略覽相似，視頻梗概技術(shù)把幀作為組成視頻的最小視覺單位，而對于背景相對穩(wěn)定的監(jiān)控視頻，結(jié)果都不可避免的存在大量的冗余信息。3.視頻摘要是從完整的原始視頻中提取所有運(yùn)動(dòng)物體序列，然后將這些序列重排到摘要視頻空間，以達(dá)到壓縮視頻的效果。這種技術(shù)允許不同時(shí)間段出現(xiàn)的運(yùn)動(dòng)物體出現(xiàn)在摘要視頻空間的同一幀(參看 A. Rav-Acha，Y. Pritch, and S. Peleg, "Making a Long Video Short =Dynamic Video Synopsis”，CVPR，2006)。視頻摘要的優(yōu)點(diǎn)是能夠以較大的比例壓縮視頻，如對于某些特定場景，視頻摘要能將M小時(shí)的監(jiān)控視頻壓縮到一分鐘以內(nèi)， 但是該方法的算法復(fù)雜度非常高，需要很長時(shí)間用來分析和處理原始視頻，因此難以實(shí)時(shí)使用。為了適應(yīng)對監(jiān)控視頻進(jìn)行實(shí)時(shí)處理，事后快速查看的需要，Y. I^ritch等人提出了視頻濃縮的在線處理框架(參看 Y. Pritch, A. Rav-Acha, A. Gutman, and S. Peleg, "Webcam synopsis =Peeking around the world”，ICCV，2007)，通過實(shí)時(shí)的視頻分析將運(yùn)動(dòng)對象序列提取到數(shù)據(jù)庫與原始監(jiān)控視頻分開保存，需要觀看時(shí)再根據(jù)用戶需要生成相應(yīng)長度的大綱視頻。這種方法雖然在一定程度上提高了濃縮視頻需要查看時(shí)的生成速度，但是這種通過數(shù)據(jù)庫將原始監(jiān)控視頻、提取出的運(yùn)動(dòng)對象序列、生成后的大綱視頻分別存儲(chǔ)的方式存儲(chǔ)效率較低，會(huì)加大存儲(chǔ)負(fù)擔(dān)，增加監(jiān)控系統(tǒng)的運(yùn)營成本。在視頻編碼、存儲(chǔ)方面，眾多學(xué)者也在不斷探索提高監(jiān)控視頻存儲(chǔ)效率、增強(qiáng)監(jiān)控視頻碼流解碼瀏覽時(shí)的自適應(yīng)性的視頻編碼技術(shù)和解決方案?？缮炜s編碼技術(shù)通過使用分層編碼、層間預(yù)測等技術(shù)，達(dá)到了支持多種解碼方式的可伸縮解碼的效果(H. Schwarz, D.Marpe, and Τ. ffiegand,"Overview of the scalable video coding extension of H. 264/AVC，” IEEE Trans. Circuits Syst. Video Technol.，vol. 17，1103-1120，2007)，為監(jiān)控視頻的時(shí)域可伸縮觀看、空域可伸縮觀看和質(zhì)量可伸縮觀看提供了技術(shù)支撐。但是以上可伸縮編碼技術(shù)，都是只支撐基于幀的時(shí)域、空域、質(zhì)量可伸縮瀏覽，無法支撐視頻濃縮中的原始視頻與大綱視頻的高效存儲(chǔ)以及對不同時(shí)間、不同位置出現(xiàn)的運(yùn)動(dòng)對象進(jìn)行時(shí)空域的混合可伸縮瀏覽。

發(fā)明內(nèi)容
針對傳統(tǒng)視頻大綱方法存儲(chǔ)效率較低，以及傳統(tǒng)監(jiān)控視頻編碼方法缺少支撐視頻濃縮實(shí)現(xiàn)時(shí)空域混合可伸縮瀏覽的編碼存儲(chǔ)方案的問題，本發(fā)明提出了一種支持視頻可伸縮瀏覽的視頻編解碼方法和裝置，支持可伸縮視頻濃縮的監(jiān)控視頻編碼、存儲(chǔ)、瀏覽。按照本發(fā)明提供的技術(shù)方案，所述支持視頻可伸縮瀏覽的視頻編解碼方法，包括一種支持視頻可伸縮瀏覽的視頻編碼方法和對應(yīng)的一種支持視頻可伸縮瀏覽的解碼方法；所述支持視頻可伸縮瀏覽的視頻編碼方法為在編碼原始視頻的同時(shí)，編碼通過視頻分析和處理得到的與原始視頻對應(yīng)的對象標(biāo)志位，使得解碼端能夠根據(jù)對象標(biāo)志位進(jìn)行支持視頻可伸縮瀏覽的視頻解碼；所述支持視頻可伸縮瀏覽的視頻解碼方法為同時(shí)解碼出重建的原始視頻和對象標(biāo)志位，從而在解碼端根據(jù)對象標(biāo)志位，對運(yùn)動(dòng)對象顯示的起止時(shí)間進(jìn)行重新排列，實(shí)現(xiàn)視頻的可伸縮播放。所述支持視頻可伸縮瀏覽的視頻編碼方法在編碼原始視頻的同時(shí)進(jìn)行視頻分析和視頻濃縮，在視頻分析過程中提取了運(yùn)動(dòng)對象掩膜，在視頻濃縮過程中計(jì)算了代價(jià)函數(shù)， 然后生成了對象標(biāo)志位。所述支持視頻可伸縮瀏覽的視頻解碼方法在解碼獲得原始視頻的同時(shí)也解碼獲得了對象標(biāo)志位，并且能夠根據(jù)用戶的瀏覽需要，實(shí)時(shí)輸入伸縮級數(shù)P，最終根據(jù)解碼重建的原始視頻、對象標(biāo)志位和伸縮級數(shù)P，在解碼端生成伸縮級數(shù)P下的濃縮視頻，并通過調(diào)整伸縮級數(shù)P生成并瀏覽不同級數(shù)下濃縮視頻，從而實(shí)現(xiàn)視頻的可伸縮瀏覽。所述對象標(biāo)志位包括對象區(qū)域標(biāo)志位和對象映射標(biāo)志位；所述對象區(qū)域標(biāo)志位，表示了運(yùn)動(dòng)對象的區(qū)域信息，對象區(qū)域標(biāo)志位是通過編碼視頻分析獲得的運(yùn)動(dòng)對象掩膜獲得的；所述對象映射標(biāo)志位，表示了運(yùn)動(dòng)對象的映射信息，即從原始視頻的某一幀映射到濃縮視頻時(shí)的映射關(guān)系，對象映射標(biāo)志位是通過編碼視頻濃縮時(shí)計(jì)算代價(jià)函數(shù)后的計(jì)算結(jié)果獲得的。
解碼出的所述對象標(biāo)志位中的對象映射標(biāo)志位，通過伸縮級數(shù)ρ進(jìn)行調(diào)整，并將調(diào)整后的對象映射標(biāo)志位實(shí)時(shí)生成新的濃縮視頻。一種支持視頻可伸縮瀏覽的視頻編解碼裝置，包括編碼裝置和解碼裝置；所述編碼裝置在編碼原始視頻的同時(shí)，編碼通過視頻分析和處理得到的與原始視頻對應(yīng)的對象標(biāo)志位，使得解碼裝置能夠根據(jù)對象標(biāo)志位進(jìn)行支持視頻可伸縮瀏覽的視頻解碼；所述解碼裝置同時(shí)解碼出重建的原始視頻和對象標(biāo)志位，從而根據(jù)對象標(biāo)志位， 對運(yùn)動(dòng)對象顯示的起止時(shí)間進(jìn)行重新排列，實(shí)現(xiàn)視頻的可伸縮播放。所述編碼裝置包括視頻編碼單元，用于編碼原始視頻；視頻分析與濃縮單元，用于生成運(yùn)動(dòng)對象的掩膜信息和原始視頻到濃縮視頻的映射信息；對象標(biāo)志位單元，用于生成和編碼對象標(biāo)志位；碼流復(fù)合單元，通過合并原始視頻的碼流和運(yùn)動(dòng)對象的標(biāo)志位碼流為一路碼流， 實(shí)現(xiàn)支持視頻可伸縮瀏覽的視頻編碼。所述解碼裝置包括碼流分解單元，用于將復(fù)合碼流分解為原始視頻碼流和對象標(biāo)志位碼流；視頻解碼單元，用于解碼并重建原始視頻；對象標(biāo)志位解碼單元，用于解碼對象標(biāo)志位；前景、背景生成單元，用于生成前景運(yùn)動(dòng)對象序列和主背景視頻；映射關(guān)系調(diào)整單元，用于根據(jù)用戶輸入到解碼裝置的伸縮級數(shù)p，調(diào)整運(yùn)動(dòng)對象從原始視頻映射到濃縮視頻的映射關(guān)系；濃縮視頻重建單元，用于根據(jù)伸縮級數(shù)ρ下的映射關(guān)系、在重建視頻基礎(chǔ)上獲得的前景運(yùn)動(dòng)對象序列和主背景視頻，生成伸縮技術(shù)P下的濃縮視頻。所述編碼裝置中的視頻分析與濃縮單元包括視頻分析子單元和視頻濃縮子單元；所述視頻分析子單元，用于對原始視頻進(jìn)行視頻分析，并輸出運(yùn)動(dòng)對象的掩膜信息；所述視頻濃縮子單元，用于對原始視頻通過視頻分析得到的運(yùn)動(dòng)對象序列，進(jìn)行代價(jià)函數(shù)計(jì)算，并輸出運(yùn)動(dòng)對象的映射信息；所述對象標(biāo)志位單元包括對象區(qū)域標(biāo)志位生成子單元、對象映射標(biāo)志位生成子單元，對象標(biāo)志位合成與編碼子單元；所述對象區(qū)域標(biāo)志位生成子單元，用于根據(jù)視頻分析子單元獲得的運(yùn)動(dòng)對象掩膜，生成表示運(yùn)動(dòng)對象區(qū)域的標(biāo)志位；所述對象映射標(biāo)志位生成子單元，用于根據(jù)視頻濃縮子單元獲得的映射信息，即從原始視頻的某一幀映射到濃縮視頻時(shí)的映射關(guān)系，生成表示運(yùn)動(dòng)對象映射信息的標(biāo)志位；所述對象標(biāo)志位合成與編碼子單元，用于合成并編碼運(yùn)動(dòng)對象的區(qū)域標(biāo)志位和運(yùn)動(dòng)對象的映射標(biāo)志位，最終生成對象標(biāo)志位。所述解碼裝置中的對象標(biāo)志位解碼單元包括對象標(biāo)志位分解子單元、對象區(qū)域標(biāo)志位解碼子單元、對象映射標(biāo)志位解碼子單元；所述對象標(biāo)志位分解子單元，用于將對象標(biāo)志位分解為對象區(qū)域標(biāo)志位和運(yùn)動(dòng)對象的映射標(biāo)志位；所述對象區(qū)域標(biāo)志位解碼子單元，用于將對象區(qū)域標(biāo)志位解碼為運(yùn)動(dòng)對象的區(qū)域信息，從而可以對重接的原始視頻進(jìn)行前景和背景分離；所述對象映射標(biāo)志位解碼子單元，用于將對象映射標(biāo)志位解碼為運(yùn)動(dòng)對象的映射信息，從而可以獲得初始化的映射關(guān)系；所述前景、背景生成單元包括前景、背景分離子單元、前景緩存子單元和主背景選擇子單元；所述前景、背景分離子單元，用于根據(jù)運(yùn)動(dòng)對象的區(qū)域信息，分別提取出視頻中的前景運(yùn)動(dòng)對象區(qū)域和背景區(qū)域；所述前景緩存子單元，用于緩存根據(jù)運(yùn)動(dòng)對象區(qū)域信息獲得的前景運(yùn)動(dòng)對象序列；所述主背景選擇子單元，用于根據(jù)視頻中的背景區(qū)域生成主背景視頻，所述主背景視頻用于濃縮視頻重建。本發(fā)明的優(yōu)點(diǎn)是本發(fā)明在保證相對于先前的大綱視頻和原始視頻分開存儲(chǔ)的存儲(chǔ)方式有明顯的存儲(chǔ)效率提升外，也進(jìn)一步改善了傳統(tǒng)濃縮視頻的瀏覽方式，做到了可伸縮瀏覽，從而為固定背景的監(jiān)控視頻編碼、存儲(chǔ)與瀏覽提供了一個(gè)完整的解決方案。


圖1為本發(fā)明的支持視頻可伸縮濃縮瀏覽的編碼裝置圖；圖2為本發(fā)明的支持視頻可伸縮濃縮瀏覽的解碼裝置圖；圖3為本發(fā)明的支持視頻可伸縮瀏覽的編碼方法流程圖；圖4為本發(fā)明的支持視頻可伸縮濃縮瀏覽的解碼方法流程圖；圖5為本發(fā)明原始視頻和濃縮視頻的對比效果示意圖；圖6為本發(fā)明的對象區(qū)域標(biāo)志位生成過程中各步驟對應(yīng)的效果圖，其中圖6 (a)為從原始視頻中截取的一幀圖像；圖6 (b)為視頻分析子單元輸出的運(yùn)動(dòng)對象掩膜和外接矩形框；圖6 (C)為視頻編碼單元輸出的塊劃分信息；圖6 (d)為用外接矩形框修正后的塊劃分信息；圖6 (e)為用修正后的塊劃分信息劃分的原始圖像；圖6 (f)為根據(jù)對象區(qū)域標(biāo)志位表示的運(yùn)動(dòng)對象區(qū)域效果圖；圖7為本發(fā)明支持可伸縮的濃縮視頻重建示意圖。
具體實(shí)施例方式本發(fā)明針對傳統(tǒng)視頻大綱方法存儲(chǔ)效率較低以及傳統(tǒng)監(jiān)控視頻編碼方法缺少支撐視頻濃縮實(shí)現(xiàn)時(shí)空域混合可伸縮瀏覽的編碼存儲(chǔ)方案的問題，提出了一種支持可伸縮視頻濃縮的監(jiān)控視頻編碼、存儲(chǔ)、瀏覽方法。為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。參照圖1所示的支持視頻可伸縮濃縮瀏覽的系統(tǒng)裝置圖，本發(fā)明中的編碼裝置包括視頻編碼單元，視頻分析與濃縮單元，對象標(biāo)志位單元，碼流復(fù)合單元。視頻編碼單元，用于編碼原始視頻，并輸出碼流中的塊劃分信息到對象標(biāo)志位單元的區(qū)域標(biāo)志位生成子單元。視頻分析與濃縮單元，包括視頻分析子單元用于提取運(yùn)動(dòng)對象掩膜，以及視頻濃縮子單元，用于計(jì)算視頻分析子單元提取出的前景運(yùn)動(dòng)對象所需要映射到濃縮視頻中的初始化幀號，并將初始化的映射關(guān)系輸出到對象標(biāo)志位單元的映射標(biāo)志位子單元。
對象標(biāo)志位單元包括區(qū)域標(biāo)志位生成子單元、映射標(biāo)志位生成子單元和對象標(biāo)志位合成與編碼子單元。對象區(qū)域標(biāo)志位生成子單元，用于根據(jù)視頻分析單元輸出的運(yùn)動(dòng)對象掩膜信息，生成基于塊劃分的對象區(qū)域標(biāo)志位。對象映射標(biāo)志位生成子單元，用于獲取并緩存視頻濃縮子單元傳輸過來的初始化映射關(guān)系，即運(yùn)動(dòng)對象映射到濃縮視頻中的初始化幀號。對象標(biāo)志位合成與編碼子單元，用于將對象區(qū)域標(biāo)志位子單元輸出的對象區(qū)域標(biāo)志位和對象映射標(biāo)志位子單元輸出的對象映射標(biāo)志位，合并為對象標(biāo)志位，并將其編碼，輸出到碼流復(fù)合單元。碼流復(fù)合單元，用于將原始視頻碼流和標(biāo)志位碼流以幀為單位合并為一路碼流。參照圖3，本發(fā)明中的支持視頻可伸縮濃縮瀏覽的編碼方法，包括以下步驟步驟1，輸入視頻圖像，對每幀圖像分別進(jìn)行視頻分析和視頻編碼；步驟2，通過對輸入視頻進(jìn)行視頻分析，提取出每幀圖像中的運(yùn)動(dòng)對象及其運(yùn)動(dòng)區(qū)域掩膜，該掩膜由一個(gè)初步標(biāo)示運(yùn)動(dòng)對象位置的外接矩形框和矩形框內(nèi)像素級的二值標(biāo)記1和0表示，其中標(biāo)記值1表示運(yùn)動(dòng)像素，0表示非運(yùn)動(dòng)像素；如圖6(b)所示白色區(qū)域表示圖6(a)中的非運(yùn)動(dòng)對象區(qū)域 (背景區(qū)域)，黑色人形區(qū)域是從圖6 (a)中提取出的運(yùn)動(dòng)對象掩膜，其外圍鄰接的矩形框是該運(yùn)動(dòng)對象的外接矩形框。與此同時(shí)，通過對該視頻進(jìn)行視頻編碼，為步驟5生成初始視頻碼流，并在編碼過程中提取視頻中每幀圖像的塊劃分信息，塊劃分效果見圖6 (C)。步驟3，在步驟2中的視頻分析和視頻編碼已經(jīng)分別得到視頻幀中所有運(yùn)動(dòng)對象的掩膜信息和視頻的幀級塊劃分信息的基礎(chǔ)上，根據(jù)運(yùn)動(dòng)對象掩膜求得標(biāo)示整個(gè)運(yùn)動(dòng)對象區(qū)域的邊界矩形框，隨后根據(jù)塊劃分信息對該邊界矩形框內(nèi)的區(qū)域進(jìn)行塊劃分，參見圖6 (d)，并為區(qū)域內(nèi)各個(gè)塊進(jìn)行二值標(biāo)記，即將矩形框進(jìn)行塊劃分之后得到的各個(gè)子塊標(biāo)記為前景塊或者背景塊，當(dāng)落入子塊中的運(yùn)動(dòng)掩膜區(qū)域的面積大于設(shè)定的閾值時(shí)，將該子塊標(biāo)記為1， 表示前景塊，否則將該子塊標(biāo)記為0，表示背景塊，隨后融合運(yùn)動(dòng)對象區(qū)域信息，塊劃分信息和標(biāo)記好的各個(gè)子塊的二值標(biāo)志位，可將運(yùn)動(dòng)對象從經(jīng)過信息融合后的圖6(e)中提取出來，運(yùn)動(dòng)對象的提取結(jié)果參見圖6(f)。當(dāng)一幀中有多個(gè)運(yùn)動(dòng)對象時(shí)，即在有多套運(yùn)動(dòng)對象掩膜時(shí)，重復(fù)執(zhí)行該步驟，直到結(jié)合視頻幀的塊劃分信息標(biāo)識完所有的運(yùn)動(dòng)對象分別所在的矩形區(qū)域。上述步驟完成之后，就可以生成每一幀的所有運(yùn)動(dòng)對象的對象區(qū)域標(biāo)志位，從而最終生成視頻的所有圖像幀中的所有運(yùn)動(dòng)對象的對象區(qū)域標(biāo)志位，該步驟生成的對象區(qū)域標(biāo)志位用來表示視頻中運(yùn)動(dòng)對象的區(qū)域信息。步驟4，在視頻分析的基礎(chǔ)上進(jìn)行視頻濃縮，即累積從各幀前景圖像中分別提取出的運(yùn)動(dòng)物體，形成運(yùn)動(dòng)物體序列，并引入三個(gè)代價(jià)函數(shù)a.運(yùn)動(dòng)區(qū)域損失代價(jià)艮，度量濃縮視頻中運(yùn)動(dòng)區(qū)域的丟失程度；b.運(yùn)動(dòng)區(qū)域遮擋代價(jià)E。，度量運(yùn)動(dòng)區(qū)域之間的遮擋程度；c.運(yùn)動(dòng)序列的時(shí)間一致性代價(jià)民，度量運(yùn)動(dòng)序列的時(shí)間關(guān)系與原始視頻中運(yùn)動(dòng)對象序列的時(shí)間關(guān)系的差異程度，隨后為各個(gè)代價(jià)函數(shù)設(shè)置不同的權(quán)重系數(shù)Wl，W2和w3，將三個(gè)代價(jià)函數(shù)線性組合成總的能量函數(shù)E(M)= W1Ea (M) +W2Ec (M) +W3Et (M)，其中M表示所有運(yùn)動(dòng)對象序列在濃縮視頻的映射關(guān)系的集合，即各個(gè)運(yùn)動(dòng)對象在濃縮視頻中的起始和結(jié)束位置，然后通過使用模擬退火算法(Simulated Annealing)根據(jù)能量函數(shù)E (M)的計(jì)算值對映射關(guān)系集M進(jìn)行優(yōu)化，待算法處理完后得到最終的映射關(guān)系集合Mbest (詳細(xì)過程參看A. Rav-Acha, Y. Pritch, and S. Peleg，"Making a Long Video Short =Dynamic Video Synopsis，，，CVPR，2006)，并根據(jù)映射關(guān)系集Mbest 中的各個(gè)運(yùn)動(dòng)對象在原始視頻和濃縮視頻中的對應(yīng)關(guān)系，形成運(yùn)動(dòng)對象的映射標(biāo)志位，映射標(biāo)志位用來表示運(yùn)動(dòng)對象從原始視頻映射到濃縮視頻時(shí)在濃縮視頻中的幀號；步驟5，將步驟3 得到的對象區(qū)域標(biāo)志位和步驟4得到的對象映射標(biāo)志位合并為對象標(biāo)志位，并將對象標(biāo)志位按運(yùn)動(dòng)對象在原始視頻中出現(xiàn)的幀號，將對象標(biāo)志位編碼存儲(chǔ)到步驟2得到的對應(yīng)幀的原始視頻碼流中，形成最終的支撐可伸縮濃縮瀏覽的復(fù)合視頻碼流。如圖2所示，本發(fā)明中的解碼裝置包括碼流分解單元，視頻解碼單元，對象標(biāo)志位解碼單元，前景、背景生成單元，映射關(guān)系調(diào)整單元，濃縮視頻重建單元。碼流分解單元，將復(fù)合碼流拆分為對象標(biāo)志位碼流和原始視頻碼流。視頻解碼單元，用于解碼原始視頻碼流，將碼流重建為視頻序列輸出到前景、背景生成單元，并輸出碼流中的塊劃分信息到對象標(biāo)志位解碼單元的對象區(qū)域標(biāo)志位解碼子單兀。對象標(biāo)志位解碼單元包括對象標(biāo)志位分解子單元、對象區(qū)域標(biāo)志位解碼子單元和對象映射標(biāo)志位解碼子單元。其中對象標(biāo)志位分解子單元，將對象標(biāo)志位碼流分解為對象區(qū)域標(biāo)志位和對象映射標(biāo)志位，并將兩種標(biāo)志位分別傳輸給對象區(qū)域標(biāo)志位解碼子單元和對象映射標(biāo)志位解碼子單元。對象區(qū)域標(biāo)志位解碼子單元，根據(jù)視頻解碼單元輸出的塊劃分信息和對象標(biāo)志位分解子單元輸出的對象區(qū)域標(biāo)志位，將對象區(qū)域標(biāo)志位進(jìn)行解碼， 從而獲得塊級的前景運(yùn)動(dòng)對象區(qū)域信息，并將區(qū)域信息傳輸給前景、背景生成單元。對象映射標(biāo)志位解碼子單元，將對象標(biāo)志位分解子單元傳入的對象映射標(biāo)志位解碼為對象映射關(guān)系信息，即運(yùn)動(dòng)對象所需映射到濃縮視頻中的初始化幀號，并將初始化的映射關(guān)系輸出到映射關(guān)系調(diào)整單元。前景、背景生成單元包括前景、背景分離子單元，前景緩存子單元和主背景選擇子單元。其中，前景、背景分離子單元，用于根據(jù)運(yùn)動(dòng)對象的塊級區(qū)域信息，將每幀圖像分離為前景運(yùn)動(dòng)對象區(qū)域和背景區(qū)域，并將前景信息輸出到前景緩存子單元，將背景信息輸出到主背景選擇子單元。前景緩存子單元，用于緩存各幀中的前景運(yùn)動(dòng)對象，組成運(yùn)動(dòng)對象序列，并輸出到濃縮視頻重建單元。主背景選擇單元，利用前景、背景分離子單元輸入的背景信息，如采用參考文獻(xiàn) Shikun Feng, Shengcai Liao, Zhiyong Yuan and Stan Ζ. Li. " Online Principal Background Selection for Video Synopsis" ,ICPR,17-20, 2010所述的方法，生成主背景圖像序列，并輸出到濃縮視頻重建單元；映射標(biāo)志位更新單元，根據(jù)用戶用伸縮級數(shù)輸入裝置輸入的伸縮級數(shù)調(diào)整并更新對象映射標(biāo)志位解碼子單元輸入的初始化映射關(guān)系，并將新的映射關(guān)系輸出到濃縮視頻重建單元。濃縮視頻重建單元， 根據(jù)前景緩存子單元輸入的前景運(yùn)動(dòng)對象序列、主背景選擇子單元輸入的主背景序列和映射關(guān)系調(diào)整單元輸入的當(dāng)前伸縮級數(shù)下的映射關(guān)系，通過將前景對象按對象映射關(guān)系信息，即映射到濃縮視頻中的幀號，映射到主背景序列中，從而生成當(dāng)前伸縮級數(shù)下的濃縮視頻。這里用戶可以通過伸縮級數(shù)輸入裝置，實(shí)時(shí)調(diào)整伸縮級數(shù)，從而調(diào)整后面待播放視頻的濃縮密度。當(dāng)用戶沒有輸入新的伸縮級數(shù)的時(shí)候，映射關(guān)系調(diào)整單元按用戶最后一次輸入的伸縮級數(shù)進(jìn)行初始映射關(guān)系的調(diào)整與更新，并輸出到濃縮視頻重建單元。參考圖4，本發(fā)明中的支撐視頻可伸縮濃縮瀏覽的解碼方法，包括以下步驟步驟1，輸入用支持可伸縮濃縮瀏覽的視頻編碼方法得到的視頻碼流，從碼流中提取對象標(biāo)志位的碼流信息，從而分別獲得原始視頻的編碼碼流和對象標(biāo)志位的編碼碼流；步驟2，用原始視頻的碼流解碼出原始視頻，并輸出視頻各幀圖像在碼流中的塊劃分信息；步驟3，將對象標(biāo)志位分解為對象區(qū)域標(biāo)志位和對象映射標(biāo)志位；步驟4，根據(jù)對象區(qū)域標(biāo)志位和解碼原始視頻碼流時(shí)獲得的塊劃分信息，將對象區(qū)域標(biāo)志位進(jìn)行解碼，從而獲得各幀圖像中的前景區(qū)域信息和背景區(qū)域信息。同時(shí)解碼對象映射標(biāo)志位，獲得各前景運(yùn)動(dòng)對象的初始化映射關(guān)系；步驟5，根據(jù)步驟4獲得的前景區(qū)域信息和背景區(qū)域信息，將步驟2解碼獲得的原始視頻的前景和背景進(jìn)行分離，其中前景指運(yùn)動(dòng)對象區(qū)域，背景指非運(yùn)動(dòng)對象區(qū)域；步驟6，緩存前景運(yùn)動(dòng)對象，形成前景運(yùn)動(dòng)對象序列，并根據(jù)參考文獻(xiàn)Siikun Feng, Shengcai Liao, Zhiyong Yuan and Stan Ζ.Li. " Online Principal Background Selection for Video Synopsis"，ICPR，17-20，2010所述的方法，緩存背景區(qū)域，形成主背景視頻；步驟 7，根據(jù)解碼端人為輸入的伸縮級數(shù)ρ和步驟4得到的初始化對象映射關(guān)系&，生成新的映射關(guān)系fp ；步驟8，如圖7所示，根據(jù)步驟7生成的映射關(guān)系，將前景運(yùn)動(dòng)對象分別映射到主背景視頻中，從而重建出可伸縮濃縮視頻。在上述重建解碼方法的步驟7中包括，根據(jù)原始的映射關(guān)系設(shè)原始映射關(guān)系&，以及播放時(shí)用戶輸入的伸縮級數(shù)P，生成新的映射關(guān)系fp，并用新的映射關(guān)系，生成濃縮視頻， 實(shí)現(xiàn)視頻的可伸縮瀏覽，其中生成新映射關(guān)系fp的步驟如下步驟1，輸入原始映射關(guān)系& 和用戶指定的伸縮級數(shù)P ；步驟2，根據(jù)公Sfp(i，k) = f0(i, k) + (k-l)*p算出新伸縮級數(shù)下的映射關(guān)系fp。其中fp(i，k)為伸縮級數(shù)P時(shí)原始視頻第i幀中的第k個(gè)運(yùn)動(dòng)對象映射到濃縮視頻的幀號。最終，原始視頻和濃縮視頻的對比效果示意圖，如圖5所示。由此可見，本發(fā)明在保證相對于先前的大綱視頻和原始視頻分開存儲(chǔ)的存儲(chǔ)方式有明顯的存儲(chǔ)效率提升外，也進(jìn)一步改善了傳統(tǒng)濃縮視頻的瀏覽方式，做到了可伸縮瀏覽，從而為固定背景的監(jiān)控視頻編碼、存儲(chǔ)與瀏覽提供了一個(gè)完整的解決方案。
權(quán)利要求
1.一種支持視頻可伸縮瀏覽的視頻編解碼方法，其特征在于，包括一種支持視頻可伸縮瀏覽的視頻編碼方法和對應(yīng)的一種支持視頻可伸縮瀏覽的解碼方法；所述支持視頻可伸縮瀏覽的視頻編碼方法為在編碼原始視頻的同時(shí)，編碼通過視頻分析和處理得到的與原始視頻對應(yīng)的對象標(biāo)志位，使得解碼端能夠根據(jù)對象標(biāo)志位進(jìn)行支持視頻可伸縮瀏覽的視頻解碼；所述支持視頻可伸縮瀏覽的視頻解碼方法為同時(shí)解碼出重建的原始視頻和對象標(biāo)志位，從而在解碼端根據(jù)對象標(biāo)志位，對運(yùn)動(dòng)對象顯示的起止時(shí)間進(jìn)行重新排列，實(shí)現(xiàn)視頻的可伸縮播放。
2.如權(quán)利要求1所述支持視頻可伸縮瀏覽的視頻編解碼方法，其特征在于，所述支持視頻可伸縮瀏覽的視頻編碼方法在編碼原始視頻的同時(shí)進(jìn)行視頻分析和視頻濃縮，在視頻分析過程中提取了運(yùn)動(dòng)對象掩膜，在視頻濃縮過程中計(jì)算了代價(jià)函數(shù)，然后生成了對象標(biāo)志位。
3.如權(quán)利要求1所述支持視頻可伸縮瀏覽的視頻編解碼方法，其特征在于，所述支持視頻可伸縮瀏覽的視頻解碼方法在解碼獲得原始視頻的同時(shí)也解碼獲得了對象標(biāo)志位，并且能夠根據(jù)用戶的瀏覽需要，實(shí)時(shí)輸入伸縮級數(shù)P，最終根據(jù)解碼重建的原始視頻、對象標(biāo)志位和伸縮級數(shù)P，在解碼端生成伸縮級數(shù)P下的濃縮視頻，并通過調(diào)整伸縮級數(shù)P生成并瀏覽不同級數(shù)下濃縮視頻，從而實(shí)現(xiàn)視頻的可伸縮瀏覽。
4.如權(quán)利要求1，2，3所述支持視頻可伸縮瀏覽的視頻編解碼方法，其特征在于，所述對象標(biāo)志位包括對象區(qū)域標(biāo)志位和對象映射標(biāo)志位；所述對象區(qū)域標(biāo)志位，表示了運(yùn)動(dòng)對象的區(qū)域信息，對象區(qū)域標(biāo)志位是通過編碼視頻分析獲得的運(yùn)動(dòng)對象掩膜獲得的；所述對象映射標(biāo)志位，表示了運(yùn)動(dòng)對象的映射信息，即從原始視頻的某一幀映射到濃縮視頻時(shí)的映射關(guān)系，對象映射標(biāo)志位是通過編碼視頻濃縮時(shí)計(jì)算代價(jià)函數(shù)后的計(jì)算結(jié)果獲得的。
5.如權(quán)利要求4所述支持視頻可伸縮瀏覽的視頻編解碼方法，其特征在于，解碼出的所述對象標(biāo)志位中的對象映射標(biāo)志位，通過伸縮級數(shù)P進(jìn)行調(diào)整，并將調(diào)整后的對象映射標(biāo)志位實(shí)時(shí)生成新的濃縮視頻。
6.一種支持視頻可伸縮瀏覽的視頻編解碼裝置，其特征在于，包括編碼裝置和解碼裝置；所述編碼裝置在編碼原始視頻的同時(shí)，編碼通過視頻分析和處理得到的與原始視頻對應(yīng)的對象標(biāo)志位，使得解碼裝置能夠根據(jù)對象標(biāo)志位進(jìn)行支持視頻可伸縮瀏覽的視頻解碼；所述解碼裝置同時(shí)解碼出重建的原始視頻和對象標(biāo)志位，從而根據(jù)對象標(biāo)志位，對運(yùn)動(dòng)對象顯示的起止時(shí)間進(jìn)行重新排列，實(shí)現(xiàn)視頻的可伸縮播放。
7.如權(quán)利要求6所述支持視頻可伸縮瀏覽的視頻編解碼裝置，其特征在于，所述編碼裝置包括視頻編碼單元，用于編碼原始視頻；視頻分析與濃縮單元，用于生成運(yùn)動(dòng)對象的掩膜信息和原始視頻到濃縮視頻的映射信息；對象標(biāo)志位單元，用于生成和編碼對象標(biāo)志位；碼流復(fù)合單元，通過合并原始視頻的碼流和運(yùn)動(dòng)對象的標(biāo)志位碼流為一路碼流，實(shí)現(xiàn)支持視頻可伸縮瀏覽的視頻編碼。
8.如權(quán)利要求6所述支持視頻可伸縮瀏覽的視頻編解碼裝置，其特征在于，所述解碼裝置包括碼流分解單元，用于將復(fù)合碼流分解為原始視頻碼流和對象標(biāo)志位碼流；視頻解碼單元，用于解碼并重建原始視頻；對象標(biāo)志位解碼單元，用于解碼對象標(biāo)志位；前景、背景生成單元，用于生成前景運(yùn)動(dòng)對象序列和主背景視頻；映射關(guān)系調(diào)整單元，用于根據(jù)用戶輸入到解碼裝置的伸縮級數(shù)P，調(diào)整運(yùn)動(dòng)對象從原始視頻映射到濃縮視頻的映射關(guān)系；濃縮視頻重建單元，用于根據(jù)伸縮級數(shù)P下的映射關(guān)系、在重建視頻基礎(chǔ)上獲得的前景運(yùn)動(dòng)對象序列和主背景視頻，生成伸縮技術(shù)ρ下的濃縮視頻。
9.如權(quán)利要求7所述支持視頻可伸縮瀏覽的視頻編解碼裝置，其特征在于，所述編碼裝置中的視頻分析與濃縮單元包括視頻分析子單元和視頻濃縮子單元；所述視頻分析子單元，用于對原始視頻進(jìn)行視頻分析，并輸出運(yùn)動(dòng)對象的掩膜信息；所述視頻濃縮子單元，用于對原始視頻通過視頻分析得到的運(yùn)動(dòng)對象序列，進(jìn)行代價(jià)函數(shù)計(jì)算，并輸出運(yùn)動(dòng)對象的映射信息；所述對象標(biāo)志位單元包括對象區(qū)域標(biāo)志位生成子單元、對象映射標(biāo)志位生成子單元， 對象標(biāo)志位合成與編碼子單元；所述對象區(qū)域標(biāo)志位生成子單元，用于根據(jù)視頻分析子單元獲得的運(yùn)動(dòng)對象掩膜，生成表示運(yùn)動(dòng)對象區(qū)域的標(biāo)志位；所述對象映射標(biāo)志位生成子單元，用于根據(jù)視頻濃縮子單元獲得的映射信息，即從原始視頻的某一幀映射到濃縮視頻時(shí)的映射關(guān)系，生成表示運(yùn)動(dòng)對象映射信息的標(biāo)志位；所述對象標(biāo)志位合成與編碼子單元，用于合成并編碼運(yùn)動(dòng)對象的區(qū)域標(biāo)志位和運(yùn)動(dòng)對象的映射標(biāo)志位，最終生成對象標(biāo)志位。
10.如權(quán)利要求8所述支持視頻可伸縮瀏覽的視頻編解碼裝置，其特征在于，所述解碼裝置中的對象標(biāo)志位解碼單元包括對象標(biāo)志位分解子單元、對象區(qū)域標(biāo)志位解碼子單元、 對象映射標(biāo)志位解碼子單元；所述對象標(biāo)志位分解子單元，用于將對象標(biāo)志位分解為對象區(qū)域標(biāo)志位和運(yùn)動(dòng)對象的映射標(biāo)志位；所述對象區(qū)域標(biāo)志位解碼子單元，用于將對象區(qū)域標(biāo)志位解碼為運(yùn)動(dòng)對象的區(qū)域信息，從而可以對重接的原始視頻進(jìn)行前景和背景分離；所述對象映射標(biāo)志位解碼子單元，用于將對象映射標(biāo)志位解碼為運(yùn)動(dòng)對象的映射信息，從而可以獲得初始化的映射關(guān)系；所述前景、背景生成單元包括前景、背景分離子單元、前景緩存子單元和主背景選擇子單元；所述前景、背景分離子單元，用于根據(jù)運(yùn)動(dòng)對象的區(qū)域信息，分別提取出視頻中的前景運(yùn)動(dòng)對象區(qū)域和背景區(qū)域；所述前景緩存子單元，用于緩存根據(jù)運(yùn)動(dòng)對象區(qū)域信息獲得的前景運(yùn)動(dòng)對象序列；所述主背景選擇子單元，用于根據(jù)視頻中的背景區(qū)域生成主背景視頻，所述主背景視頻用于濃縮視頻重建。
全文摘要
本發(fā)明公開了一種支持視頻可伸縮瀏覽的視頻編解碼方法和裝置。其中，所述支持視頻可伸縮瀏覽的視頻編碼方法和裝置，通過在編碼原始視頻的同時(shí)，編碼通過視頻分析和處理得到的與原始視頻對應(yīng)的運(yùn)動(dòng)對象標(biāo)志位，使得解碼端可以根據(jù)運(yùn)動(dòng)對象標(biāo)志位進(jìn)行支持視頻可伸縮瀏覽的視頻解碼。所述支持視頻可伸縮瀏覽的視頻解碼方法和裝置，通過同時(shí)解碼出重建的原始視頻和運(yùn)動(dòng)對象標(biāo)志位，從而在解碼端根據(jù)運(yùn)動(dòng)對象標(biāo)志位，對運(yùn)動(dòng)對象顯示的起止時(shí)間進(jìn)行重新排列，從而實(shí)現(xiàn)視頻的可伸縮播放。本發(fā)明的優(yōu)點(diǎn)是在提高大綱視頻和原始視頻的存儲(chǔ)效率的同時(shí)，也同時(shí)實(shí)現(xiàn)了對不同時(shí)間、不同位置出現(xiàn)的運(yùn)動(dòng)對象進(jìn)行可伸縮瀏覽。
文檔編號H04N7/26GK102395029SQ201110346398
公開日2012年3月28日 申請日期2011年11月5日 優(yōu)先權(quán)日2011年11月5日
發(fā)明者李子青, 王師崢 申請人:江蘇物聯(lián)網(wǎng)研究發(fā)展中心