專(zhuān)利名稱(chēng)：一種基于多級(jí)感興趣區(qū)域的多視點(diǎn)視頻編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多視點(diǎn)視頻編碼領(lǐng)域，特別涉及一種基于多級(jí)感興趣區(qū)域的多視點(diǎn)視頻編碼方法。
背景技術(shù)：
隨著3D技術(shù)的迅速崛起與快速發(fā)展，多視點(diǎn)視頻由于其生動(dòng)豐富的視覺(jué)體驗(yàn)，吸引了越來(lái)越多的注意力，并成為下一代多媒體系統(tǒng)的關(guān)鍵技術(shù)之一，這些應(yīng)用包括自由視點(diǎn)電視(FTV)和三維立體電視(3DTV)等。多視點(diǎn)視頻是指由不同視點(diǎn)的多個(gè)攝像機(jī)從不同視角拍攝同一場(chǎng)景得到的一組視頻信號(hào)，是3D視頻的一種有效表示方法。而隨著相機(jī)數(shù)目的增加，多視點(diǎn)視頻的海量數(shù)據(jù)已成為制約其廣泛應(yīng)用的一個(gè)瓶頸。為此，國(guó)際電信聯(lián)盟遠(yuǎn)程通信標(biāo)準(zhǔn)化組織(ITU-T)和動(dòng)態(tài)圖像專(zhuān)家組(MPEG)組成的聯(lián)合視頻工作組(JVT)提出了多視點(diǎn)視頻編碼(MVC)的概念來(lái)有效處理多視點(diǎn)視頻。目前MVC標(biāo)準(zhǔn)以H.264/AVC視頻編碼標(biāo)準(zhǔn)補(bǔ)篇的形式出現(xiàn)，并兼容H.264/AVC標(biāo)準(zhǔn)。這確保了 MVC標(biāo)準(zhǔn)技術(shù)的先進(jìn)性以及應(yīng)用實(shí)施的可行性。
現(xiàn)存的MVC方法主要是在數(shù)字信號(hào)處理理論和香農(nóng)信息論的基礎(chǔ)上通過(guò)減少時(shí)間和視點(diǎn)間的冗余來(lái)提高率失真性能，但是忽略了人類(lèi)視覺(jué)系統(tǒng)(HVS)對(duì)視頻場(chǎng)景感知的多樣性。盡管HVS的神經(jīng)資源有限，但依然能夠?qū)崟r(shí)分析復(fù)雜場(chǎng)景，因?yàn)镠VS可以將部分輸入場(chǎng)景選擇為“顯著區(qū)域”。因此，如何結(jié)合HVS的視覺(jué)感知特性來(lái)提高編碼效率，具有非常重要的理論意義和實(shí)用價(jià)值?；谝曈X(jué)注意的MVC編碼方法可以根據(jù)視頻內(nèi)容的不同有效改善比特率的分布，并且能夠在不影響視頻質(zhì)量主觀評(píng)價(jià)的前提下提高編碼效率。
大量的人類(lèi)視覺(jué)生理學(xué)和心理學(xué)研究結(jié)果表明，人眼對(duì)視頻圖像中的不同內(nèi)容并非一視同仁，而是表現(xiàn)出選擇性和遷移性。人眼會(huì)下意識(shí)地將一幅圖像分為若干個(gè)不同的區(qū)域，并將注意力集中在人眼感興趣區(qū)域(R0I )。如果感興趣區(qū)域的數(shù)目多于一個(gè)，注意力在這些區(qū)域會(huì)有一個(gè)轉(zhuǎn)移的過(guò)程，即注意力首先集中在最感興趣區(qū)域，一段之間之后再轉(zhuǎn)移到次感興趣區(qū)域，依此類(lèi)推。人類(lèi)視覺(jué)的這種特性對(duì)圖像觀察者理解圖像內(nèi)容和評(píng)價(jià)圖像質(zhì)量起著至關(guān)重要的作用。利用視覺(jué)顯著性模型來(lái)計(jì)算圖像中的感興趣區(qū)域，并將其表示為顯著性圖，這是得到視覺(jué)注意區(qū)域的一種有效方式。
為了基于視覺(jué)顯著性實(shí)現(xiàn)MVC比特分配優(yōu)化，首先需要得到準(zhǔn)確的R0I。大多數(shù)ROI檢測(cè)方法都是針對(duì)一個(gè)具體對(duì)象，通過(guò)建立顯著性模型來(lái)決定ROI。傳統(tǒng)ROI提取方法將一幀劃分為兩部分:R0I和非R0I，而這兩者之間的視頻質(zhì)量的巨大差別會(huì)導(dǎo)致重建幀圖像不平滑。目前研究者提出了一些基于多級(jí)ROI的視頻編碼的方法:Zhou[l]等提出了一種多級(jí)ROI模型，該模型由眼鼻中心區(qū)域、臉部輪廓區(qū)域，邊緣區(qū)域和背景區(qū)域組成，然后將視頻場(chǎng)景分為感興趣程度不同的區(qū)域。Kim[2]和Lee[3]等將屏幕的中心區(qū)域設(shè)定為優(yōu)先權(quán)最高的主要ROI，其他區(qū)域根據(jù)其與主要ROI的距離來(lái)成比例地分配優(yōu)先性。
發(fā)明人在實(shí)現(xiàn)本發(fā)明的過(guò)程 中，發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在以下缺點(diǎn)和不足:
上述方法應(yīng)用在背景簡(jiǎn)單、對(duì)象單一的視頻場(chǎng)景時(shí)取得了較好的效果；當(dāng)應(yīng)用在復(fù)雜的視頻場(chǎng)景時(shí)，提取到的ROI不準(zhǔn)確，進(jìn)而導(dǎo)致視頻編碼質(zhì)量較差、整體編碼效率較低。發(fā)明內(nèi)容
本發(fā)明提供了一種基于多級(jí)感興趣區(qū)域的多視點(diǎn)視頻編碼方法，本方法通過(guò)多級(jí)ROI分割，提高了視頻編碼的效率和質(zhì)量，詳見(jiàn)下文描述:
一種基于多級(jí)感興趣區(qū)域的多視點(diǎn)視頻編碼方法，所述方法包括以下步驟:
(1)對(duì)深度圖進(jìn)行基于宏塊的深度顯著性計(jì)算，獲得深度顯著性值Smb ；
(2)基于所述深度顯著性值Smb、多級(jí)感興趣區(qū)域的分割標(biāo)準(zhǔn)計(jì)算分割閾值；
(3)通過(guò)所述分割閾值對(duì)多視點(diǎn)視頻進(jìn)行分割，獲取感興趣級(jí)別不同的多個(gè)視頻區(qū)域；
(4)根據(jù)感興趣級(jí)別&調(diào)整量化參數(shù)QP，通過(guò)調(diào)整后的量化參數(shù)對(duì)多個(gè)視頻區(qū)域分別進(jìn)行編碼，得到重建視頻。
所述對(duì)深度圖進(jìn)行基于宏塊的深度顯著性計(jì)算，獲得深度顯著性值Smb具體為:
權(quán)利要求
1.一種基于多級(jí)感興趣區(qū)域的多視點(diǎn)視頻編碼方法，其特征在于，所述方法包括以下步驟: (1)對(duì)深度圖進(jìn)行基于宏塊的深度顯著性計(jì)算，獲得深度顯著性值Smb； (2)基于所述深度顯著性值Smb、多級(jí)感興趣區(qū)域的分割標(biāo)準(zhǔn)計(jì)算分割閾值； (3)通過(guò)所述分割閾值對(duì)多視點(diǎn)視頻進(jìn)行分割，獲取感興趣級(jí)別不同的多個(gè)視頻區(qū)域； (4)根據(jù)感興趣級(jí)別&調(diào)整量化參數(shù)QP，通過(guò)調(diào)整后的量化參數(shù)對(duì)多個(gè)視頻區(qū)域分別進(jìn)行編碼，得到重建視頻。
2.根據(jù)權(quán)利要求1所述的一種基于多級(jí)感興趣區(qū)域的多視點(diǎn)視頻編碼方法，其特征在于，所述對(duì)深度圖進(jìn)行基于宏塊的深度顯著性計(jì)算，獲得深度顯著性值Smb具體為:
3.根據(jù)權(quán)利要求1所述的一種基于多級(jí)感興趣區(qū)域的多視點(diǎn)視頻編碼方法，其特征在于，所述基于所述深度顯著性值Smb、多級(jí)感興趣區(qū)域的分割標(biāo)準(zhǔn)計(jì)算分割閾值的步驟具體包括: 1)基于深度顯著性值Smb計(jì)算深度顯著性值分布P(s)； 2)通過(guò)分析宏塊深度顯著性值的分布P(s)和多級(jí)感興趣區(qū)域的分割標(biāo)準(zhǔn)為各級(jí)感興趣區(qū)域確定閾值Tk ； 3)通過(guò)各級(jí)感興趣區(qū)域閾值Tk獲取最感興趣區(qū)域、多個(gè)延展感興趣區(qū)域和背景區(qū)域。
4.根據(jù)權(quán)利要求3所述的一種基于多級(jí)感興趣區(qū)域的多視點(diǎn)視頻編碼方法，其特征在于，所述多級(jí)感興趣區(qū)域的分割標(biāo)準(zhǔn)具體為: 分割多級(jí)區(qū)域以對(duì)象為原則，保證一個(gè)對(duì)象主體包含在感興趣級(jí)別相同的區(qū)域。
5.根據(jù)權(quán)利要求3所述的一種基于多級(jí)感興趣區(qū)域的多視點(diǎn)視頻編碼方法，其特征在于，各級(jí)感興趣區(qū)域的閾值Tk具體為:
6.根據(jù)權(quán)利要求1所述的一種基于多級(jí)感興趣區(qū)域的多視點(diǎn)視頻編碼方法，其特征在于， 宏塊的感興趣級(jí)別判斷公式如下:
7.根據(jù)權(quán)利要求6所述的一種基于多級(jí)感興趣區(qū)域的多視點(diǎn)視頻編碼方法，其特征在于，所述根據(jù)感興趣級(jí)別&調(diào)整量化參數(shù)QP的步驟具體為:
全文摘要
本發(fā)明公開(kāi)了一種基于多級(jí)感興趣區(qū)域的多視點(diǎn)視頻編碼方法，包括以下步驟對(duì)深度圖進(jìn)行基于宏塊的深度顯著性計(jì)算，獲得深度顯著性值SMB；基于所述深度顯著性值SMB、多級(jí)感興趣區(qū)域的分割標(biāo)準(zhǔn)計(jì)算分割閾值；通過(guò)所述分割閾值對(duì)多視點(diǎn)視頻進(jìn)行分割，獲取感興趣級(jí)別不同的多個(gè)視頻區(qū)域；根據(jù)感興趣級(jí)別SL調(diào)整量化參數(shù)QP，通過(guò)調(diào)整后的量化參數(shù)對(duì)多個(gè)視頻區(qū)域分別進(jìn)行編碼，得到重建視頻。本方法在保證重建視頻的整體質(zhì)量的前提下降低了碼率，提高了多視點(diǎn)視頻的編碼效率。
文檔編號(hào)H04N13/00GK103179405SQ201310099999
公開(kāi)日2013年6月26日 申請(qǐng)日期2013年3月26日 優(yōu)先權(quán)日2013年3月26日
發(fā)明者雷建軍, 吳媺民, 侯春萍, 馮坤, 胡春悅, 李帥 申請(qǐng)人:天津大學(xué)