一種面向可穿戴設(shè)備的視頻直播方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種面向可穿戴設(shè)備的視頻直播方法，包括發(fā)送端處理和接收端處理；發(fā)送端將高清視頻信號(hào)的空間分辨率降低4倍，再執(zhí)行標(biāo)準(zhǔn)的視頻編碼，從而大大降低編碼數(shù)據(jù)量給無(wú)線網(wǎng)絡(luò)造成的壓力，接收端通過(guò)超分辨率重建還原出應(yīng)有的分辨率。借助視頻編碼器固有的運(yùn)動(dòng)矢量信息加快超分辨率重建需要的時(shí)域運(yùn)動(dòng)匹配；同時(shí)，在視頻編解碼環(huán)路中引入重建殘差補(bǔ)償環(huán)節(jié)，消除超分的高清圖像與真實(shí)高清圖像間的失真。本發(fā)明在基本不額外損傷高清視頻品質(zhì)的前提下極大地提升了可穿戴設(shè)備的移動(dòng)視頻直播效率。
【專(zhuān)利說(shuō)明】
一種面向可穿戴設(shè)備的視頻直播方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明屬于視頻通信技術(shù)領(lǐng)域，涉及一種視頻直播方法，具體涉及一種面向可穿 戴設(shè)備的視頻直播方法。 技術(shù)背景
[0002] 可穿戴設(shè)備(Wearable Devices)正成為科技界和電子發(fā)燒友追逐的大熱門(mén)?？纱?戴設(shè)備是指穿戴在身上的一種便攜式智能設(shè)備，其包含了獨(dú)立的計(jì)算芯片，時(shí)刻保持響應(yīng) 和網(wǎng)絡(luò)連接狀態(tài)，能夠感知環(huán)境，進(jìn)行人機(jī)交互。據(jù)研究顯示，2012年全球可穿戴設(shè)備市場(chǎng) 收入為27億美元，預(yù)計(jì)到2018年，市場(chǎng)規(guī)模將達(dá)到83億美元，出貨量達(dá)到1.34億臺(tái)，未來(lái)5年 的年復(fù)合增長(zhǎng)率高達(dá)17.71 %。2012年，中國(guó)可穿戴設(shè)備市場(chǎng)規(guī)模達(dá)到6.1億元，出貨量230 萬(wàn)部，隨著全民健康意識(shí)的加強(qiáng)，估計(jì)2015年規(guī)模將達(dá)到115億元，出貨量將超過(guò)4000萬(wàn)部。 以Google Glass、三星Gear Glass、GoPro攝像機(jī)為代表的視頻可穿戴設(shè)備具有視頻攝錄功 能，在體育運(yùn)動(dòng)、娛樂(lè)、公安執(zhí)法等場(chǎng)合發(fā)揮了獨(dú)特的作用，通過(guò)36、46、11行、衛(wèi)星網(wǎng)絡(luò)等無(wú) 線網(wǎng)絡(luò)，可穿戴設(shè)備還可以將視頻實(shí)時(shí)發(fā)送到遠(yuǎn)端用戶或云端?？纱┐髟O(shè)備的視頻直播功 能極大地豐富了可穿戴設(shè)備的用途，例如遠(yuǎn)程可視救援、遠(yuǎn)程可視協(xié)助、新聞直播報(bào)道、遠(yuǎn) 程指揮調(diào)度、保險(xiǎn)理賠、極限體育運(yùn)動(dòng)、景區(qū)風(fēng)景分享都可以借助視頻直播來(lái)實(shí)現(xiàn)。
[0003] 可穿戴設(shè)備只能通過(guò)無(wú)線網(wǎng)絡(luò)進(jìn)行視頻通信，眾所周知，視頻數(shù)據(jù)量非常龐大，特 別是當(dāng)前對(duì)使用者更有吸引力的高清視頻，在帶寬有限且缺乏保障的移動(dòng)無(wú)線網(wǎng)絡(luò)中傳輸 高清視頻面臨極大的挑戰(zhàn)?？纱┐髟O(shè)備的通信環(huán)境比一般應(yīng)用場(chǎng)合更為苛刻，可穿戴設(shè)備 時(shí)刻處于移動(dòng)狀態(tài)下，接收信號(hào)極不穩(wěn)定，尤其是在極限體育運(yùn)動(dòng)這種劇烈的運(yùn)動(dòng)環(huán)境下， 網(wǎng)絡(luò)通信條件更為惡劣，帶寬頻繁波動(dòng)，信道丟包、誤碼甚至通信中斷情況時(shí)有發(fā)生。按照 現(xiàn)有視頻編碼技術(shù)的水準(zhǔn)，在可穿戴設(shè)備的使用環(huán)境中流暢地傳輸高清視頻，編碼效率須 得成倍提升，但現(xiàn)有的最先進(jìn)的視頻編碼標(biāo)準(zhǔn)H. 265較目前普遍應(yīng)用的標(biāo)準(zhǔn)H. 264也只能提 高30~50%，況且H. 265的運(yùn)算復(fù)雜度居高不下，不太適合低功耗的可穿戴應(yīng)用平臺(tái)。

【發(fā)明內(nèi)容】

[0004] 為了解決上述技術(shù)問(wèn)題，本發(fā)明將視頻超分辨率技術(shù)和視頻編碼技術(shù)相結(jié)合，提 供了一種面向可穿戴設(shè)備的視頻直播方法。
[0005] 本發(fā)明所采用的技術(shù)方案是：1. 一種面向可穿戴設(shè)備的視頻直播方法，其特征在 于:包括發(fā)送端處理和接收端處理；
[0006] 所述發(fā)送端處理包括以下步驟：
[0007] 步驟A1:視頻下采樣；
[0008] 采用雙線性插值算法對(duì)原始高分辨率圖像下采樣M倍，M多4;
[0009] 步驟A2:視頻編碼；
[0010] 執(zhí)行標(biāo)準(zhǔn)的視頻編碼算法編碼下米樣的視頻幀；
[0011] 步驟A3:視頻超分辨率重建；
[0012] 運(yùn)用視頻幀超分辨率重建技術(shù)，依次通過(guò)鄰域搜索窗口的運(yùn)動(dòng)矢量求取、時(shí)空近 鄰像素集構(gòu)造、重建權(quán)重優(yōu)化、待插補(bǔ)像素的合成，將編碼器產(chǎn)生的低分辨率解碼圖像還原 為高分辨率圖像，獲得超分辨率重建圖像；
[0013] 步驟A4:重建殘差預(yù)測(cè)；
[0014] 用原始高分辨率圖像減去超分辨率重建圖像得到重建殘差；
[0015] 步驟A5:殘差編碼；
[0016] 直接對(duì)殘差進(jìn)行量化和標(biāo)準(zhǔn)的熵編碼；
[0017] 步驟A6:碼流復(fù)用；
[0018] -幀圖像的殘差碼流附加在標(biāo)準(zhǔn)的視頻碼流后，在網(wǎng)絡(luò)擁塞時(shí)，優(yōu)先發(fā)送視頻碼 流；
[0019] 所述接收端處理包括以下步驟：
[0020] 步驟B1:視頻解碼；
[0021] 執(zhí)行標(biāo)準(zhǔn)的視頻解碼；
[0022] 步驟B2:殘差解碼；
[0023]對(duì)提取出的殘差碼流進(jìn)行熵解碼、反量化恢復(fù)殘差信號(hào)；
[0024]步驟B3:視頻超分辨率重建；
[0025] 執(zhí)行與發(fā)送端完全一樣的超分辨率重建步驟；
[0026] 步驟B4:殘差補(bǔ)償；
[0027] 將解碼后的殘差疊加到重建后的超分辨率圖像上，得到最終的輸出結(jié)果。
[0028] 作為優(yōu)選，步驟3中所述鄰域搜索窗口的運(yùn)動(dòng)矢量求取，具體實(shí)現(xiàn)過(guò)程是:若超分 辨的鄰域窗口塊不能與編解碼的宏塊完全重疊，而是跨越幾個(gè)宏塊，則窗口塊的運(yùn)動(dòng)矢量 應(yīng)由這幾個(gè)被跨越的宏塊合成得到；其中合成規(guī)則為，每個(gè)宏塊對(duì)合成運(yùn)動(dòng)矢量的貢獻(xiàn)由 重疊面積占窗口面積的比例決定，用公示< =A代表示;這里，n表示被跨越的宏塊數(shù) 目，MVi、Ri分別表示每個(gè)宏塊的運(yùn)動(dòng)矢量和面積占比，MVW即是所求的窗口運(yùn)動(dòng)矢量。
[0029] 作為優(yōu)選，步驟3中所述時(shí)空近鄰像素集構(gòu)造，具體實(shí)現(xiàn)過(guò)程是：以待插補(bǔ)像素為 中心但不包括待插補(bǔ)像素的一矩形鄰域窗口內(nèi)的像素構(gòu)成空間近鄰像素集合;時(shí)間近鄰像 素集合由前一幀窗口內(nèi)的像素組成，前一幀鄰域窗口的空間位置由當(dāng)前幀鄰域窗口的位置 偏移運(yùn)動(dòng)矢量得到。
[0030] 作為優(yōu)選，步驟3中所述重建權(quán)重優(yōu)化，具體實(shí)現(xiàn)過(guò)程包括以下子步驟：
[0031] 步驟3.1:構(gòu)造稀疏表達(dá)字典；
[0032] 以近鄰像素集合中的每個(gè)像素為中心劃分一個(gè)個(gè)矩形片，片的尺寸小于上面鄰域 搜索窗口的尺寸，所有矩形片構(gòu)成稀疏表達(dá)字典的樣本；
[0033]步驟3.2:構(gòu)造觀測(cè)圖像片；
[0034] 以待插補(bǔ)像素為中心劃分一個(gè)矩形片作為稀疏表達(dá)的觀測(cè)圖像片；
[0035] 步驟3.3:建立基于相似性約束的視頻超分辨率重建稀疏表達(dá)模型；
[0036] 稀疏表達(dá)模型如下式所示：
[0037] u. =argmin{ B-A\v l-\-A D\v ,}
[0038] 其中：矢量B為待插補(bǔ)像素 Px所在的片;矩陣A代表字典，由{An | 1彡n彡N}列組合形 成，其中An為對(duì)應(yīng)的近鄰像素Pn所在的片;w={wn|l彡n彡N}即為稀疏表達(dá)系數(shù)矢量，也即超 分辨率重建權(quán)重矢量;D為相似性約束矩陣，為一對(duì)角方陣，對(duì)角線兀素Dnn設(shè)為dn，d n用矢量 B和An的歐氏距離表示，即dn=| |B_An| |2。
[0039] 作為優(yōu)選，步驟3中所述待插補(bǔ)像素的合成，具體實(shí)現(xiàn)過(guò)程是:待插補(bǔ)像素通過(guò)近 鄰像素加權(quán)求和得到;這一過(guò)程表示為： N
[0040] 巧 n-i
[0041] 其中，Px為待插補(bǔ)像素，{Pn|l彡n彡N}為近鄰像素集合，{wn|l彡n彡N}為近鄰像素 對(duì)應(yīng)的權(quán)重，N為近鄰像素的數(shù)量。
[0042] 與單純利用視頻編碼技術(shù)降低通信數(shù)據(jù)量的視頻直播方法相比，本發(fā)明具有以下 優(yōu)點(diǎn)和積極效果：
[0043] (1)本發(fā)明將視頻的空間分辨率縮小了 4倍再編碼，顯著降低了壓縮視頻數(shù)據(jù)量， 適合可穿戴設(shè)備所處的移動(dòng)通信場(chǎng)景；
[0044] (2)本發(fā)明通過(guò)時(shí)空域近鄰相似塊的超分辨率重建、重建殘差補(bǔ)償?shù)仁侄?，增?qiáng)了 視頻超分辨率的效果，能最大限度地恢復(fù)下采樣損失的高頻細(xì)節(jié)信息，因而除視頻編碼固 有的失真外，基本不額外損傷高清視頻品質(zhì)。
[0045] (3)本發(fā)明巧妙地利用了視頻編碼器內(nèi)在的運(yùn)動(dòng)矢量信息，加快時(shí)域近鄰圖像塊 的匹配效率，適宜在可穿戴設(shè)備的低功耗平臺(tái)實(shí)現(xiàn)。
【附圖說(shuō)明】
[0046] 圖1:本發(fā)明實(shí)施例的發(fā)送端處理流程圖；
[0047]圖2:本發(fā)明實(shí)施例的接收端處理流程圖。
【具體實(shí)施方式】
[0048]為了便于本領(lǐng)域普通技術(shù)人員理解和實(shí)施本發(fā)明，下面結(jié)合附圖及實(shí)施例對(duì)本發(fā) 明作進(jìn)一步的詳細(xì)描述，應(yīng)當(dāng)理解，此處所描述的實(shí)施示例僅用于說(shuō)明和解釋本發(fā)明，并不 用于限定本發(fā)明。
[0049]圖像視頻的超分辨技術(shù)通過(guò)運(yùn)用機(jī)器學(xué)習(xí)原理能夠恢復(fù)出比普通的插值放大豐 富得多的高頻細(xì)節(jié)信息，實(shí)踐表明，縮小后的高清視頻經(jīng)過(guò)超分辨率還原后的畫(huà)面品質(zhì)幾 乎與原始視頻無(wú)異。如果在發(fā)送端將高清視頻信號(hào)的分辨率降低4倍，接收端再通過(guò)超分辨 率重建還原出應(yīng)有的分辨率，那么編碼數(shù)據(jù)量給無(wú)線網(wǎng)絡(luò)造成的壓力將大大降低，這樣就 可以在基本不損傷高清視頻品質(zhì)的前提下極大地提升可穿戴設(shè)備的視頻直播效率。而且， 視頻編碼器天然地提供了視頻超分辨率重建所需要的圖像塊時(shí)域匹配信息一運(yùn)動(dòng)矢量，為 超分辨率重建創(chuàng)造了便利條件。因此，將視頻超分辨率技術(shù)和視頻編碼技術(shù)相結(jié)合，將得到 一種優(yōu)良的適合于可穿戴設(shè)備的移動(dòng)視頻直播方法。
[0050]本發(fā)明基于的理論依據(jù)和技術(shù)原理:視頻信號(hào)具有時(shí)空平穩(wěn)變化的特點(diǎn)，像素在 空間局部范圍內(nèi)高度相似，時(shí)間上相鄰幀之間高度相關(guān)。利用這一特性，視頻超分辨率中的 待插補(bǔ)像素可由時(shí)空近鄰的像素重建得到?？臻g近鄰像素比較容易獲得，但時(shí)域近鄰像素 由于目標(biāo)或攝像機(jī)的運(yùn)動(dòng)，需要估計(jì)運(yùn)動(dòng)信息。搜索運(yùn)動(dòng)矢量是一個(gè)復(fù)雜的計(jì)算過(guò)程，事實(shí) 上，運(yùn)動(dòng)矢量是視頻編解碼中必不可少的參數(shù)，因此，與視頻編解碼相結(jié)合的視頻超分辨率 完全可以利用視頻編解碼器已經(jīng)計(jì)算好的運(yùn)動(dòng)矢量信息。
[0051]由于圖像下采樣帶來(lái)高頻信息的損失，重建的高分辨率圖像與原始圖像間或多或 少存在差異。為了彌補(bǔ)這種差異或損失，本發(fā)明在視頻編解碼環(huán)路中引入重建殘差補(bǔ)償模 塊，盡可能消除超分的高清圖像與真實(shí)高清圖像間的失真。具體思路是，發(fā)送端編碼和傳輸 超分辨率重建后的高清圖像與真實(shí)高清圖像間的殘差，接收端接收到這部分殘差數(shù)據(jù)后， 執(zhí)行逆操作補(bǔ)償?shù)匠值母咔鍒D像上，但其代價(jià)是發(fā)送端也必須增加超分辨率模塊。鑒于 殘差信號(hào)的能量和相關(guān)性都很弱，故在重建殘差的編碼上，跳過(guò)DCT變換，直接進(jìn)行空域量 化編碼。
[0052]基于上述原理，本發(fā)明提供的一種面向可穿戴設(shè)備的視頻直播方法，包括發(fā)送端 處理和接收端處理；
[0053]請(qǐng)見(jiàn)圖1，本實(shí)施例的發(fā)送端處理，具體實(shí)現(xiàn)包括以下步驟：
[0054]步驟1:視頻下采樣，采用雙線性插值算法對(duì)輸入圖像下采樣4倍；
[0055]步驟2:視頻編碼，執(zhí)行標(biāo)準(zhǔn)的H. 264視頻編碼算法編碼下采樣的視頻幀；
[0056]步驟3:視頻超分辨率重建，運(yùn)用視頻幀超分辨率重建技術(shù)將編碼器產(chǎn)生的低分辨 率解碼圖像還原為高分辨率圖像，進(jìn)一步包括如下子步驟；
[0057]步驟3.1:鄰域搜索窗口的運(yùn)動(dòng)矢量求取
[0058]超分辨的鄰域窗口塊不能保證與編解碼的宏塊完全重疊，而是可能跨越幾個(gè)宏 塊，窗口塊的運(yùn)動(dòng)矢量應(yīng)由這幾個(gè)被跨越的宏塊合成得到。合成規(guī)則是，每個(gè)宏塊對(duì)合成運(yùn) 動(dòng)矢量的貢獻(xiàn)由重疊面積占窗口面積的比例決定，用公= 表示。這里，n表示 被跨越的宏塊數(shù)目，MVnRi*別表示每個(gè)宏塊的運(yùn)動(dòng)矢量和面積占比，MVW即是所求的窗口 運(yùn)動(dòng)矢量。
[0059] 步驟3.2:時(shí)空近鄰像素集構(gòu)造，采用如下方法：
[0060] ①以待插補(bǔ)像素為中心的一 15x15矩形鄰域窗口內(nèi)的像素(不包括待插補(bǔ)像素)構(gòu) 成空間近鄰像素集合；
[0061 ]②時(shí)間近鄰像素集合由前一幀窗口內(nèi)的像素組成，前一幀鄰域窗口的空間位置由 當(dāng)前幀鄰域窗口的位置偏移步驟3.1所述方法求取的運(yùn)動(dòng)矢量得到。
[0062] 步驟3.3:重建權(quán)重優(yōu)化，進(jìn)一步包括如下子步驟：
[0063] ①構(gòu)造稀疏表達(dá)字典，以近鄰像素集合中的每個(gè)像素為中心劃分一個(gè)個(gè)5x5
[0064] 的矩形片，所有矩形片構(gòu)成稀疏表達(dá)字典的樣本；
[0065] ②構(gòu)造觀測(cè)圖像片，以待插補(bǔ)像素為中心劃分一個(gè)5x5矩形片作為稀疏表達(dá)的觀 測(cè)圖像片；
[0066] ③建立基于相似性約束的視頻超分辨率重建稀疏表達(dá)模型。鑒于不同近鄰圖像片 與插補(bǔ)圖像片的相似性不同，提高相似近鄰片的重建權(quán)重有益于超分辨率重建，為達(dá)到這 一目的，本發(fā)明將相似性約束引入稀疏表達(dá)，對(duì)稀疏表達(dá)模型的。范數(shù)正則項(xiàng)施加相似度 加權(quán)約束，相似度用圖像片的歐氏距離計(jì)算。綜上所述，最終構(gòu)建的稀疏表達(dá)模型如下式所 示
[0067] w'=fflg：lnin{| 15 - Jiv ; + A IM ,} w
[0068] 矢量B為待插補(bǔ)像素Px所在的片，矩陣A代表字典，由{An|l<n<N}列組合形成，其 中八"為對(duì)應(yīng)的近鄰像素P n所在的片，w= {wn 11彡n彡N}即為稀疏表達(dá)系數(shù)矢量，也即超分辨 率重建權(quán)重矢量，D為相似性約束矩陣，為一對(duì)角方陣，對(duì)角線元素Dnn設(shè)為d n，dn用矢量8和八" 的歐氏距離表示，即dn= | |B-An|卜。
[0069] 步驟3.4:待插補(bǔ)像素的合成，采用如下方法：
[0070] 待插補(bǔ)像素通過(guò)近鄰像素加權(quán)求和得到。這一過(guò)程表示為
[0071] n=\
[0072] 其中，Px為待插補(bǔ)像素，{Pn|l彡n彡N}為近鄰像素集合，{wn|l彡n彡N}為近鄰像素 對(duì)應(yīng)的權(quán)重，N=449為近鄰像素的數(shù)量。
[0073] 步驟4:重建殘差預(yù)測(cè)，用原始高分辨率圖像減去超分辨率重建圖像得到重建殘 差；
[0074]步驟5:殘差編碼，直接對(duì)殘差進(jìn)行空域量化和H. 264標(biāo)準(zhǔn)的熵編碼；
[0075] 步驟6:碼流復(fù)用，一幀圖像的殘差碼流附加在標(biāo)準(zhǔn)的H. 264視頻碼流后，在網(wǎng)絡(luò)擁 塞時(shí)，優(yōu)先發(fā)送視頻碼流。
[0076] 請(qǐng)見(jiàn)圖2,本實(shí)施例的接收端方法包括以下步驟：
[0077] 步驟1:視頻解碼，執(zhí)行標(biāo)準(zhǔn)的H. 264視頻解碼；
[0078] 步驟2:殘差解碼，對(duì)提取出的殘差碼流進(jìn)行熵解碼、反量化恢復(fù)殘差信號(hào)；
[0079] 步驟3:視頻超分辨率重建，執(zhí)行與發(fā)送端完全一樣的超分辨率重建步驟；
[0080] 步驟4:殘差補(bǔ)償，將解碼后的殘差疊加到重建后的超分辨率圖像上，得到最終的 輸出結(jié)果。
[0081] 應(yīng)當(dāng)理解的是，本說(shuō)明書(shū)未詳細(xì)闡述的部分均屬于現(xiàn)有技術(shù)。
[0082] 應(yīng)當(dāng)理解的是，上述針對(duì)較佳實(shí)施例的描述較為詳細(xì)，并不能因此而認(rèn)為是對(duì)本 發(fā)明專(zhuān)利保護(hù)范圍的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的啟示下，在不脫離本發(fā)明權(quán) 利要求所保護(hù)的范圍情況下，還可以做出替換或變形，均落入本發(fā)明的保護(hù)范圍之內(nèi)，本發(fā) 明的請(qǐng)求保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
【主權(quán)項(xiàng)】
1. 一種面向可穿戴設(shè)備的視頻直播方法，其特征在于:包括發(fā)送端處理和接收端處理； 所述發(fā)送端處理包括以下步驟： 步驟A1:視頻下米樣； 采用雙線性插值算法對(duì)原始高分辨率圖像下采樣Μ倍，Μ多4; 步驟Α2:視頻編碼； 執(zhí)行標(biāo)準(zhǔn)的視頻編碼算法編碼下采樣的視頻幀； 步驟A3:視頻超分辨率重建； 運(yùn)用視頻幀超分辨率重建技術(shù)，將編碼器產(chǎn)生的低分辨率解碼圖像還原為高分辨率圖 像，獲得超分辨率重建圖像； 步驟Α4:重建殘差預(yù)測(cè)； 用原始高分辨率圖像減去超分辨率重建圖像得到重建殘差； 步驟Α5:殘差編碼； 直接對(duì)殘差進(jìn)行量化和標(biāo)準(zhǔn)的熵編碼； 步驟Α6:碼流復(fù)用； 一幀圖像的殘差碼流附加在標(biāo)準(zhǔn)的視頻碼流后，在網(wǎng)絡(luò)擁塞時(shí)，優(yōu)先發(fā)送視頻碼流； 所述接收端處理包括以下步驟： 步驟Β1:視頻解碼； 執(zhí)行標(biāo)準(zhǔn)的視頻解碼； 步驟Β2:殘差解碼； 對(duì)提取出的殘差碼流進(jìn)行熵解碼、反量化恢復(fù)殘差信號(hào)； 步驟Β3:視頻超分辨率重建； 執(zhí)行與發(fā)送端完全一樣的超分辨率重建步驟； 步驟Β4:殘差補(bǔ)償； 將解碼后的殘差疊加到重建后的超分辨率圖像上，得到最終的輸出結(jié)果。2. 根據(jù)權(quán)利要求1所述的面向可穿戴設(shè)備的視頻直播方法，其特征在于：步驟3的具體 實(shí)現(xiàn)過(guò)程是，運(yùn)用視頻幀超分辨率重建技術(shù)，依次通過(guò)鄰域搜索窗口的運(yùn)動(dòng)矢量求取、時(shí)空 近鄰像素集構(gòu)造、重建權(quán)重優(yōu)化、待插補(bǔ)像素的合成，將編碼器產(chǎn)生的低分辨率解碼圖像還 原為高分辨率圖像，獲得超分辨率重建圖像。3. 根據(jù)權(quán)利要求2所述的面向可穿戴設(shè)備的視頻直播方法，其特征在于，步驟3中所述 鄰域搜索窗口的運(yùn)動(dòng)矢量求取，具體實(shí)現(xiàn)過(guò)程是:若超分辨的鄰域窗口塊不能與編解碼的 宏塊完全重疊，而是跨越幾個(gè)宏塊，則窗口塊的運(yùn)動(dòng)矢量應(yīng)由這幾個(gè)被跨越的宏塊合成得 到;其中合成規(guī)則為，每個(gè)宏塊對(duì)合成運(yùn)動(dòng)矢量的貢獻(xiàn)由重疊面積占窗口面積的比例決定， 用公示叫v = 表示;這里，η表示被跨越的宏塊數(shù)目，MVl、Rl分別表示每個(gè)宏塊的運(yùn)動(dòng) 矢量和面積占比，MVW即是所求的窗口運(yùn)動(dòng)矢量。4. 根據(jù)權(quán)利要求2所述的面向可穿戴設(shè)備的視頻直播方法，其特征在于，步驟3中所述 時(shí)空近鄰像素集構(gòu)造，具體實(shí)現(xiàn)過(guò)程是：以待插補(bǔ)像素為中心但不包括待插補(bǔ)像素的一矩 形鄰域窗口內(nèi)的像素構(gòu)成空間近鄰像素集合;時(shí)間近鄰像素集合由前一幀窗口內(nèi)的像素組 成，前一幀鄰域窗口的空間位置由當(dāng)前幀鄰域窗口的位置偏移運(yùn)動(dòng)矢量得到。5. 根據(jù)權(quán)利要求2所述的面向可穿戴設(shè)備的視頻直播方法，其特征在于，步驟3中所述 重建權(quán)重優(yōu)化，具體實(shí)現(xiàn)過(guò)程包括以下子步驟： 步驟3.1:構(gòu)造稀疏表達(dá)字典； 以近鄰像素集合中的每個(gè)像素為中心劃分一個(gè)個(gè)矩形片，片的尺寸小于上面鄰域搜索 窗口的尺寸，所有矩形片構(gòu)成稀疏表達(dá)字典的樣本； 步驟3.2:構(gòu)造觀測(cè)圖像片； 以待插補(bǔ)像素為中心劃分一個(gè)矩形片作為稀疏表達(dá)的觀測(cè)圖像片； 步驟3.3:建立基于相似性約束的視頻超分辨率重建稀疏表達(dá)模型； 稀疏表達(dá)模型如下式所示：其中：矢量B為待插補(bǔ)像素 Px所在的片;矩陣A代表字典，由{An 11 <n<N}列組合形成，其 中八"為對(duì)應(yīng)的近鄰像素 Pn所在的片;w={wn|l彡η彡N}即為稀疏表達(dá)系數(shù)矢量，也即超分辨 率重建權(quán)重矢量;D為相似性約束矩陣，為一對(duì)角方陣，對(duì)角線元素 Dnn設(shè)為dn，dn用矢量8和八" 的歐氏距離表示，即d n= | |B-An|卜。6. 根據(jù)權(quán)利要求2所述的面向可穿戴設(shè)備的視頻直播方法，其特征在于，步驟3中所述 待插補(bǔ)像素的合成，具體實(shí)現(xiàn)過(guò)程是:待插補(bǔ)像素通過(guò)近鄰像素加權(quán)求和得到;這一過(guò)程表 示為：其中，Px為待插補(bǔ)像素，{Pn|l彡n<N}為近鄰像素集合，{wn|l彡η彡N}為近鄰像素對(duì)應(yīng) 的權(quán)重，Ν為近鄰像素的數(shù)量。
【文檔編號(hào)】H04N21/4402GK105959705SQ201610303886
【公開(kāi)日】2016年9月21日
【申請(qǐng)日】2016年5月10日
【發(fā)明人】王中元, 朱榮, 傅佑銘, 何政
【申請(qǐng)人】武漢大學(xué)