一種基于內(nèi)容的視頻尺寸縮小的方法
【專利摘要】本發(fā)明公開了一種基于內(nèi)容的視頻尺寸縮小的方法，首先進(jìn)行場景切換檢測與關(guān)鍵幀提??；采用前向整像素運(yùn)動(dòng)估計(jì)為非關(guān)鍵幀的每一像素在關(guān)鍵幀中找到與之匹配的象素點(diǎn)，并對(duì)每個(gè)塊進(jìn)行前向整像素點(diǎn)運(yùn)動(dòng)估計(jì)，找到運(yùn)動(dòng)矢量；對(duì)視頻所有幀的重點(diǎn)區(qū)域像素點(diǎn)進(jìn)行保護(hù)，防止這些像素點(diǎn)被選入最優(yōu)接縫或最優(yōu)接縫的映射后在后續(xù)步驟中被刪除；提取關(guān)鍵幀的最優(yōu)接縫，采用動(dòng)態(tài)設(shè)計(jì)法在關(guān)鍵幀中搜索最小能量接縫；進(jìn)行魯棒接縫檢測和質(zhì)量判斷，縮小視頻幀直至視頻幀尺寸滿足設(shè)計(jì)要求。本發(fā)明的有益效果是運(yùn)算量小，占用空間小。
【專利說明】一種基于內(nèi)容的視頻尺寸縮小的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于視頻處理【技術(shù)領(lǐng)域】，涉及一種基于內(nèi)容的視頻尺寸縮小的方法。
【背景技術(shù)】
[0002]抽線技術(shù)(是圖像尺寸變換的一種方法，又稱為內(nèi)容感知的圖像尺寸變換法。該方法基于尋找圖像中一系列從上到下或者從左到右的最不重要的通路-接縫，并自動(dòng)地將這些接縫挨個(gè)刪除以達(dá)到縮小圖像尺寸的目的)，魯棒接縫(接縫存在于連續(xù)視頻幀的相同內(nèi)容中，刪除這些接縫不會(huì)引起視頻閃爍和抖動(dòng))。
[0003]現(xiàn)有視頻縮放技術(shù)均是對(duì)視頻幀進(jìn)行等尺寸縮放，但使得視頻在小尺寸手持設(shè)備上觀看時(shí)清晰度不高，不能滿足用戶的要求。由于現(xiàn)有視頻縮放技術(shù)無法分辨視頻幀中內(nèi)容的重要性，因此無法實(shí)現(xiàn)在縮小過程中對(duì)重要內(nèi)容進(jìn)行保真處理即保持原始分辨率。
[0004]現(xiàn)有的基于內(nèi)容感知的圖像縮放技術(shù)如剪切技術(shù)、圖形切割技術(shù)和抽線技術(shù)可以較好地保留圖像中的主體內(nèi)容，但是將剪切技術(shù)和抽線種技術(shù)應(yīng)用于視頻處理會(huì)產(chǎn)生明顯的視覺抖動(dòng)和閃爍，并顯著地增加了視頻幀間差。此外該兩種技術(shù)的計(jì)算量很大，需要對(duì)視頻幀進(jìn)行逐幀處理。圖形切割技術(shù)能夠有效避免視覺抖動(dòng)和閃爍，但是該技術(shù)需要處理完一段視頻流中的所有幀才能確定一條接縫的刪除，運(yùn)算量和所需的存儲(chǔ)空間大得沒法在現(xiàn)有普通計(jì)算機(jī)中實(shí)現(xiàn)高清視頻的處理。FSCAV需要用RANSAC方法去估計(jì)補(bǔ)償連續(xù)幀之間的攝像機(jī)運(yùn)動(dòng)，運(yùn)算量大，通常要進(jìn)行300次的迭代，估計(jì)精度才會(huì)比較高，而且該方法也必須處理完所有視頻幀才能完成一次抽線過程，運(yùn)算量大所需存儲(chǔ)量仍然大。
[0005]現(xiàn)有技術(shù)的缺點(diǎn):等尺寸視頻縮放技術(shù)無法滿足視頻重要內(nèi)容在小尺寸的手持設(shè)備中的保真顯示；基于內(nèi)容感知的圖像縮放技術(shù)如剪切技術(shù)和抽線技術(shù)運(yùn)算量大，抽線技術(shù)會(huì)出現(xiàn)前景物體失真，幀間差明顯增加，并會(huì)產(chǎn)生明顯的視覺抖動(dòng)和閃爍；圖形切割技術(shù)運(yùn)算量和存儲(chǔ)量太大，一般通用計(jì)算機(jī)無法實(shí)現(xiàn)高清視頻的處理。FSCAV方法采用八個(gè)參數(shù)定義攝像機(jī)的運(yùn)動(dòng)情況:其中六個(gè)參數(shù)代表放射運(yùn)動(dòng)，兩個(gè)參數(shù)描述景深變化。該方法需要用RANSAC方法去估計(jì)補(bǔ)償連續(xù)幀之間的攝像機(jī)運(yùn)動(dòng)，運(yùn)算量大，通常要進(jìn)行300次的迭代估計(jì)精度才會(huì)比較高，而且該方法也必須處理完所有視頻幀才能完成一次抽線過程。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于提供一種基于內(nèi)容的視頻尺寸縮小的方法，解決了現(xiàn)有的方法計(jì)算量大的問題。
[0007]本發(fā)明所采用的技術(shù)方案是按照以下步驟進(jìn)行:
[0008]步驟I，場景切換檢測與關(guān)鍵巾貞提取；
[0009]步驟2，采用前向整像素運(yùn)動(dòng)估計(jì)為非關(guān)鍵幀的每一像素在關(guān)鍵幀中找到與之匹配的象素點(diǎn)，并對(duì)每個(gè)塊進(jìn)行前向整像素點(diǎn)運(yùn)動(dòng)估計(jì)，找到運(yùn)動(dòng)矢量；
[0010]步驟3，對(duì)視頻所有幀的重點(diǎn)區(qū)域像素點(diǎn)進(jìn)行保護(hù)，防止這些像素點(diǎn)被選入最優(yōu)接縫或最優(yōu)接縫的映射后在后續(xù)步驟中被刪除；[0011]步驟4，提取關(guān)鍵幀的最優(yōu)接縫，采用動(dòng)態(tài)設(shè)計(jì)法在關(guān)鍵幀中搜索最小能量接縫；
[0012]步驟5，魯棒接縫檢測:本步驟檢測步驟4提取的最優(yōu)接縫是否是魯棒接縫，并通過運(yùn)動(dòng)矢量MV實(shí)現(xiàn)關(guān)鍵幀最優(yōu)接縫在非關(guān)鍵幀上的映射，檢測到魯棒接縫后就在關(guān)鍵幀里刪除該魯棒接縫并刪除非關(guān)鍵幀里魯棒接縫的映射像素點(diǎn)，完成水平或者垂直方向一個(gè)像素大小的縮??；
[0013]步驟6，質(zhì)量判斷:本步驟分析在不出現(xiàn)明顯失真前提下多少接縫可以被刪除。刪除第i條接縫以后的誤差代價(jià)函數(shù)用E(Si)表示，當(dāng)E(Si)超過門限Ts時(shí)本案將認(rèn)為不能繼續(xù)刪除魯棒接縫完成視頻幀尺寸縮小，而換用常規(guī)的等尺寸縮放方法繼續(xù)縮小尺寸直至視頻幀尺寸滿足設(shè)計(jì)要求。
[0014]進(jìn)一步，步驟I中場景切換檢測通過判斷當(dāng)前幀方差的二階導(dǎo)數(shù)實(shí)現(xiàn)，每個(gè)場景的第一個(gè)清晰幀為關(guān)鍵幀。
[0015]進(jìn)一步，步驟4中，搜索最小能量接縫過程為:混合能量計(jì)算公式計(jì)算每個(gè)關(guān)鍵幀中的像素的刪除代價(jià)能量Etotal(X),聯(lián)合考慮了該像素點(diǎn)的原始能量、抽線集中程度以及像素角色值，式中E_g表示在前景區(qū)域內(nèi)連續(xù)抽線的集中程度，Erale代表每個(gè)像素的角色值，即背景、前景以及不可刪除區(qū)域，EU)代表像素點(diǎn)X的能量，
[0016]Etotal (X) = Erole (X) X (E (X) +Econg (X))
【權(quán)利要求】
1.一種基于內(nèi)容的視頻尺寸縮小的方法，其特征在于按照以下步驟進(jìn)行: 步驟I，場景切換檢測與關(guān)鍵幀提取； 步驟2，采用前向整像 素運(yùn)動(dòng)估計(jì)為非關(guān)鍵幀的每一像素在關(guān)鍵幀中找到與之匹配的象素點(diǎn)，并對(duì)每個(gè)塊進(jìn)行前向整像素點(diǎn)運(yùn)動(dòng)估計(jì)，找到運(yùn)動(dòng)矢量； 步驟3，對(duì)視頻所有幀的重點(diǎn)區(qū)域像素點(diǎn)進(jìn)行保護(hù)，防止這些像素點(diǎn)被選入最優(yōu)接縫或最優(yōu)接縫的映射后在后續(xù)步驟中被刪除； 步驟4，提取關(guān)鍵幀的最優(yōu)接縫，采用動(dòng)態(tài)設(shè)計(jì)法在關(guān)鍵幀中搜索最小能量接縫； 步驟5，魯棒接縫檢測:本步驟檢測步驟4提取的最優(yōu)接縫是否是魯棒接縫，并通過運(yùn)動(dòng)矢量MV實(shí)現(xiàn)關(guān)鍵幀最優(yōu)接縫在非關(guān)鍵幀上的映射，檢測到魯棒接縫后就在關(guān)鍵幀里刪除該魯棒接縫并刪除非關(guān)鍵幀里魯棒接縫的映射像素點(diǎn)，完成水平或者垂直方向一個(gè)像素大小的縮?。? 步驟6，質(zhì)量判斷:本步驟分析在不出現(xiàn)明顯失真前提下多少接縫可以被刪除；刪除第i條接縫以后的誤差代價(jià)函數(shù)用E(Si)表示，當(dāng)E(Si)超過門限1時(shí)本案將認(rèn)為不能繼續(xù)刪除魯棒接縫完成視頻幀尺寸縮小，而換用常規(guī)的等尺寸縮放方法繼續(xù)縮小尺寸直至視頻幀尺寸滿足設(shè)計(jì)要求。
2.按照權(quán)利要求1所述一種基于內(nèi)容的視頻尺寸縮小的方法，其特征在于:所述步驟I中場景切換檢測通過判斷當(dāng)前幀方差的二階導(dǎo)數(shù)實(shí)現(xiàn)，每個(gè)場景的第一個(gè)清晰幀為關(guān)鍵幀。
3.按照權(quán)利要求1所述一種基于內(nèi)容的視頻尺寸縮小的方法，其特征在于:所述步驟4中，搜索最小能量接縫過程為:混合能量計(jì)算公式計(jì)算每個(gè)關(guān)鍵幀中的像素的刪除代價(jià)能量Etrtal (X)，聯(lián)合考慮了該像素點(diǎn)的原始能量、抽線集中程度以及像素角色值，式中艮?8表示在前景區(qū)域內(nèi)連續(xù)抽線的集中程度，Erole代表每個(gè)像素的角色值，即背景、前景以及不可刪除區(qū)域，EU)代表像素點(diǎn)X的能量，

4.按照權(quán)利要求1所述一種基于內(nèi)容的視頻尺寸縮小的方法，其特征在于:所述步驟.5中，當(dāng)關(guān)鍵幀最優(yōu)接縫在非關(guān)鍵幀上的映射被不可刪除區(qū)域或者不精確的運(yùn)動(dòng)矢量打斷，從而在映射接縫中出現(xiàn)缺損像素時(shí)，在不可刪除區(qū)域的同行或同列區(qū)域進(jìn)行局部搜索找到替代映射點(diǎn)填補(bǔ)映射接縫的缺損像素，當(dāng)當(dāng)前最優(yōu)接縫在該場景的所有非關(guān)鍵幀中有對(duì)應(yīng)的映射像素點(diǎn)或者能通過上述處理方案填補(bǔ)修復(fù)時(shí)該接縫成為一條魯棒接縫，否則為非魯棒接縫。
5.按照權(quán)利要求1所述一種基于內(nèi)容的視頻尺寸縮小的方法，其特征在于:設(shè)刪除第i條接縫以后的誤差代價(jià)函數(shù)用E(Si)表示，當(dāng)E(Si)超過門限1時(shí)將認(rèn)為不能繼續(xù)刪除魯棒接縫完成視頻幀尺寸縮小而換用常規(guī)的等尺寸縮放方法繼續(xù)縮小尺寸直至視頻幀尺寸滿足設(shè)計(jì)要求，Ts由下式計(jì)算:
【文檔編號(hào)】H04N19/142GK103974068SQ201410190933
【公開日】2014年8月6日 申請(qǐng)日期:2014年5月7日 優(yōu)先權(quán)日:2014年5月7日
【發(fā)明者】鄔震宇 申請(qǐng)人:電子科技大學(xué)