基于視頻空間和時間信息的視頻質(zhì)量及壓縮碼率估計方法
【專利摘要】本發(fā)明提供一種基于視頻空間和時間信息的視頻質(zhì)量及壓縮碼率估計方法，其中：根據(jù)Sobel算子提取出視頻圖像幀的空間信息，用序列中空間信息最大的圖像幀的空間信息表示視頻序列的空間信息；根據(jù)視頻前后兩幀的亮度信息之差來表示視頻序列當(dāng)前幀的時間信息，用序列中時間信息最大的圖像幀的時間信息表示視頻序列的時間信息。用視頻的空間和時間信息作為視頻內(nèi)容的復(fù)雜程度，結(jié)合視頻編碼器類型、視頻源分辨率、幀率來對壓縮編碼后的視頻進(jìn)行質(zhì)量預(yù)測評估；同時，也可以根據(jù)視頻序列的時間和空間信息預(yù)測達(dá)到要求等級的視頻質(zhì)量時所需要的壓縮碼率范圍。本發(fā)明充分考慮了視頻內(nèi)容對視頻質(zhì)量的影響，因而能夠獲得較高的預(yù)測性能。
【專利說明】基于視頻空間和時間信息的視頻質(zhì)量及壓縮碼率估計方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種視頻圖像處理【技術(shù)領(lǐng)域】中的視頻質(zhì)量評價方法，具體是一種基于視頻時間和空間信息，對壓縮編碼后的視頻進(jìn)行視頻質(zhì)量預(yù)測評估的方法，同時也是對達(dá)到要求視頻質(zhì)量的壓縮碼率范圍進(jìn)行預(yù)測的方法。
【背景技術(shù)】
[0002]由于各種視頻應(yīng)用和服務(wù)的快速推進(jìn)，對視頻質(zhì)量評估的需求不斷增長。準(zhǔn)確而有效的視頻質(zhì)量評估對視頻編解碼器的發(fā)展、網(wǎng)絡(luò)協(xié)議的規(guī)劃、終端用戶的網(wǎng)絡(luò)質(zhì)量監(jiān)測和保證用戶QoE至關(guān)重要。運用視頻質(zhì)量評價技術(shù)來對視頻服務(wù)，進(jìn)行準(zhǔn)確的質(zhì)量評估，進(jìn)而找出影響視頻質(zhì)量的因素，為提升視頻質(zhì)量乃至用戶體驗質(zhì)量度具有重要意義。近年來，隨著視頻業(yè)務(wù)的跨越性發(fā)展，針對不同視頻服務(wù)、應(yīng)用場景的視頻質(zhì)量評估方法相繼被提出，VQEG也正在為相應(yīng)的標(biāo)準(zhǔn)化工作努力。
[0003]傳統(tǒng)的視頻質(zhì)量評估根據(jù)對視頻參考源的依賴程度分為全參考、部分參考和無參考評估方法。隨著大數(shù)據(jù)時代的帶來，在視頻質(zhì)量評估領(lǐng)域，部分參考和無參考評估方法將有著更大的發(fā)展空間。其中，基于視頻參數(shù)的視頻質(zhì)量評估模型就是部分參考方法的代表。這種參數(shù)模型在對視頻進(jìn)行簡單的分析后，結(jié)合其他的視頻處理參數(shù)信息，對視頻質(zhì)量進(jìn)行評估?；谝唤M視頻參數(shù)，如編碼處理、視頻內(nèi)容和傳輸處理等，來預(yù)測視頻質(zhì)量的參數(shù)模型以一個或一組數(shù)學(xué)公式的形式對視頻質(zhì)量進(jìn)行預(yù)測。在視頻質(zhì)量預(yù)測過程中，由于不需要對視頻源數(shù)據(jù)進(jìn)行任何處理，視頻質(zhì)量評估的參數(shù)模型具有方便快捷等特點。
[0004]在視頻質(zhì)量評價領(lǐng)域，不考慮傳輸對視頻質(zhì)量帶來的損傷時，影響視頻質(zhì)量的最關(guān)鍵的因素是編碼器類型、視頻分辨率、視頻幀率、壓縮碼率和視頻內(nèi)容。在之前提出的很多基于視頻參數(shù)的模型中，或多或少都涉及到了以上5個因素。如，Joskowicz等人在2013年 IEEE Transactions onBroadcasting (IEEE 廣播期干丨J )上發(fā)表的 “Towards a GeneralParametric Model for Perceptual Video Quality Estimation(面向視頻感知質(zhì)量評估的一般參數(shù)模型)”一文中對不同的視頻質(zhì)量參數(shù)評估模型進(jìn)行分析，最后提出了一個通用模型。
[0005]由于視頻內(nèi)容的描述方式不一致，因此，在視頻質(zhì)量評估方法研究中考慮視頻內(nèi)容的也從多種角度來描述。本發(fā)明以時間和空間信息的角度來描述視頻內(nèi)容,對視頻質(zhì)量進(jìn)行評估和預(yù)測。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于提供一種基于視頻空間和時間信息的視頻質(zhì)量及壓縮碼率估計方法，以時間和空間信息的角度來描述視頻內(nèi)容，對視頻質(zhì)量進(jìn)行評估和預(yù)測，可實現(xiàn)更為精確地估計。
[0007]本發(fā)明采用的技術(shù)方案如下:根據(jù)Sobel算子提取出視頻圖像幀的空間信息，用序列中空間信息最大的圖像幀的空間信息表示視頻序列的空間信息；根據(jù)視頻前后兩幀的亮度信息之差來表示視頻序列當(dāng)前幀的時間信息，用序列中時間信息最大的圖像幀的時間信息表示視頻序列的時間信息。用視頻的空間和時間信息作為視頻內(nèi)容的復(fù)雜程度，結(jié)合視頻編碼器類型、視頻源分辨率、幀率來對壓縮編碼后的視頻進(jìn)行質(zhì)量預(yù)測評估；同時，也可以根據(jù)視頻序列的時間和空間信息預(yù)測達(dá)到要求等級的視頻質(zhì)量時所需要的壓縮碼率范圍。本發(fā)明充分考慮了視頻內(nèi)容對視頻質(zhì)量的影響，因而能夠獲得較高的預(yù)測性能。
[0008]具體的，本發(fā)明針對視頻業(yè)務(wù)在壓縮編碼時，結(jié)合ITU-T P.910中提出的視頻空間信息(SI)和時間信息(TI)(具體計算表達(dá)式如下)，對視頻壓縮編碼的碼率和視頻質(zhì)量之間的關(guān)系進(jìn)行評估和預(yù)測。
[0009]SI=max {std [Sobel (Fn) ]}, n=l,..N ；
[0010]TI=max {std [Fn-Fn-J}, n=l,..N ；
[0011]其中Fn是當(dāng)前幀的亮度信息，F(xiàn)lri表示前一幀的亮度信息，Sobel O表示經(jīng)典圖像處理中的Sobel算子，std []表示求標(biāo)準(zhǔn)差。
[0012]根據(jù)本發(fā)明的一個方面，提供一種基于視頻空間和時間信息的視頻質(zhì)量估計方法，該方法步驟如下:
[0013]步驟1，分別求出視頻源序列的空間信息(SI)和時間信息(TI)；
[0014]步驟2，根據(jù)視頻壓縮碼率，將步驟I中的視頻源序列的空間信息、視頻源序列的
時間信息結(jié)果帶入到以下視頻質(zhì)量預(yù)測模型中，對應(yīng)不同的編碼碼率，得到視頻質(zhì)量的預(yù)
測值，實現(xiàn)對壓縮編碼后的視頻的質(zhì)量評估；
【權(quán)利要求】
1.一種基于視頻空間信息和時間信息的視頻質(zhì)量預(yù)測方法，其特征在于所述方法包括如下步驟: 步驟1，按以下兩式分別求出視頻源序列的空間信息(SI)和時間信息(TI):
SI=max {std [Sobel (Fn) ]}, n=l,..N ；
TI=max {std [Fn-Fn_J}, n=l,..N ； 其中Fn是當(dāng)前幀的亮度信息，F(xiàn)lri表示前一幀的亮度信息，Sobel表示經(jīng)典圖像處理中的Sobel算子，std表示求標(biāo)準(zhǔn)差； 步驟2，將步驟I中的視頻源序列的空間信息、視頻源序列的時間信息結(jié)果帶入到以下視頻質(zhì)量預(yù)測模型中，對應(yīng)不同的編碼碼率，得到視頻質(zhì)量的預(yù)測值，實現(xiàn)對壓縮編碼后的視頻的質(zhì)量評估； 所述視頻質(zhì)量預(yù)測模型具體如下:
2.根據(jù)權(quán)利要求1所述的基于視頻空間信息和時間信息的視頻質(zhì)量預(yù)測方法，其特征在于，所述模型參數(shù)Cl，c2, c3, c4和a通過以下方法確定:在保證實際應(yīng)用中的編碼器類型、視頻分辨率和幀率與主觀視頻質(zhì)量評價材料一致情況下，運用主觀質(zhì)量評價結(jié)果對提出的數(shù)學(xué)模型進(jìn)行最小二乘回歸計算，求出針對特定應(yīng)用的模型參數(shù)。
3.一種基于視頻空間和時間信息的壓縮碼率估計方法，其特征在于:所述方法包括如下步驟: 步驟1，按以下兩式分別求出視頻源序列的空間信息(SI)和時間信息(TI):
SI=max {std [Sobel (Fn) ]}, n=l,..N ；
TI=max {std [Fn-Fn_J}, n=l,..N ； 其中Fn是當(dāng)前幀的亮度信息，F(xiàn)lri表示前一幀的亮度信息，Sobel表示經(jīng)典圖像處理中的Sobel算子，std表示求標(biāo)準(zhǔn)差； 步驟2，將步驟I中的視頻源序列的空間信息和時間信息結(jié)果帶入到視頻質(zhì)量預(yù)測模型的變形式中，求出壓縮碼率的范圍，實現(xiàn)對達(dá)到要求的視頻質(zhì)量進(jìn)行壓縮碼率范圍的估計； 所述視頻質(zhì)量預(yù)測模型的變形式如下:
4.根據(jù)權(quán)利要求3所述的基于視頻空間和時間信息的壓縮碼率估計方法，其特征在于，所述模型參數(shù)Cl，c2，c3, c4和a通過以下方法確定:在保證實際應(yīng)用中的編碼器類型、視頻分辨率和幀率與主觀視頻質(zhì)量評價材料一致情況下，運用主觀質(zhì)量評價結(jié)果對提出的數(shù)學(xué)模型進(jìn)行最小二乘回歸`計算，求出針對特定應(yīng)用的模型參數(shù)。
【文檔編號】H04N17/00GK103780901SQ201410029987
【公開日】2014年5月7日 申請日期:2014年1月22日 優(yōu)先權(quán)日:2014年1月22日
【發(fā)明者】宋利, 張瑋, 楊小康 申請人:上海交通大學(xué)