本發(fā)明屬于視頻領(lǐng)域,尤其涉及一種視頻質(zhì)量評(píng)價(jià)方法和裝置。
背景技術(shù):
對(duì)于IP網(wǎng)絡(luò)的視頻流媒體而言,視頻質(zhì)量在采集、壓縮、傳輸、播出的過程中,會(huì)有所降低。通常,在編碼端,由于采用不同的壓縮格式,在刪除視覺冗余信息的同時(shí)也刪除了部分有用信息,同時(shí),在壓縮編碼的過程中會(huì)出現(xiàn)塊效應(yīng)和邊界模糊的現(xiàn)象。在傳輸時(shí),由于帶寬受限,網(wǎng)絡(luò)的延時(shí)、抖動(dòng)等都會(huì)造成視頻流的丟包或誤碼,從而造成失真,影響視頻播出質(zhì)量。在接收端,同一視頻,由于不同的解碼器和播放視頻的終端,用戶的視覺感受也不相同的。因此,為了解視頻質(zhì)量的下降程度,并通過改進(jìn)算法和傳輸機(jī)制來提高用戶的視覺感知,需要對(duì)視頻播出質(zhì)量進(jìn)行準(zhǔn)確的評(píng)價(jià)。
目前,視頻質(zhì)量評(píng)價(jià)方法(Video Quality Assessment,VQA)采用客觀質(zhì)量評(píng)價(jià)方法。大多數(shù)客觀視頻質(zhì)量評(píng)價(jià)方法基于單幀圖像質(zhì)量的計(jì)算,然后取所有幀質(zhì)量的均值或者加權(quán)均值作為整個(gè)視頻的質(zhì)量評(píng)分。速度快,成本低,易于實(shí)現(xiàn),被廣泛應(yīng)用于工程實(shí)踐中。
然而,現(xiàn)有的視頻質(zhì)量評(píng)價(jià)方法僅僅將視頻中單幀圖像的質(zhì)量評(píng)價(jià)結(jié)果進(jìn)行加權(quán)運(yùn)算得出的結(jié)果作為視頻質(zhì)量的評(píng)價(jià)結(jié)果,這種評(píng)價(jià)方法僅以單幀圖像的質(zhì)量作為評(píng)價(jià)基礎(chǔ),忽略了圖像之間的連貫性,從而導(dǎo)致對(duì)視頻的質(zhì)量評(píng)價(jià)不準(zhǔn)確。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明提供一種視頻質(zhì)量評(píng)價(jià)方法和裝置,旨在解決現(xiàn)有的視頻質(zhì)量評(píng)價(jià)方法對(duì)視頻的質(zhì)量評(píng)價(jià)不準(zhǔn)確的問題。
本發(fā)明提供一種視頻質(zhì)量評(píng)價(jià)方法,從待評(píng)價(jià)視頻中獲取待評(píng)價(jià)圖像,從原始視頻中獲取與該待評(píng)價(jià)圖像具有相同幀序號(hào)的原始圖像,并對(duì)該待評(píng)價(jià)圖像和該原始圖像進(jìn)行結(jié)構(gòu)相似性運(yùn)算,得到該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù),從該原始圖像中提取多個(gè)圖像顯著區(qū),并對(duì)該圖像顯著區(qū)進(jìn)行運(yùn)動(dòng)特性運(yùn)算,計(jì)算出該圖像顯著區(qū)的運(yùn)動(dòng)特性因子,利用相鄰的兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子計(jì)算出該相鄰的兩個(gè)圖像顯著區(qū)的相似度,將該相似度大于預(yù)置相似度的兩個(gè)相鄰的圖像顯著區(qū)進(jìn)行合并,以及對(duì)合并后圖像中的像素點(diǎn)的灰度值進(jìn)行加權(quán)運(yùn)算,得到該原始圖像的時(shí)空顯著度,對(duì)該原始圖像的時(shí)空顯著度和該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)的積進(jìn)行加權(quán)運(yùn)算,得到該待評(píng)價(jià)視頻的質(zhì)量指數(shù)。
本發(fā)明提供一種視頻質(zhì)量評(píng)價(jià)裝置,運(yùn)算模塊用于從待評(píng)價(jià)視頻中獲取待評(píng)價(jià)圖像,從原始視頻中獲取與該待評(píng)價(jià)圖像具有相同幀序號(hào)的原始圖像,并對(duì)該待評(píng)價(jià)圖像和該原始圖像進(jìn)行結(jié)構(gòu)相似性運(yùn)算,得到該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù),提取模塊用于從該原始圖像中提取多個(gè)圖像顯著區(qū),運(yùn)算模塊還用于對(duì)該圖像顯著區(qū)進(jìn)行運(yùn)動(dòng)特性運(yùn)算,以算出該圖像顯著區(qū)的運(yùn)動(dòng)特性因子,以及,利用相鄰的兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子計(jì)算出該相鄰的兩個(gè)圖像顯著區(qū)的相似度,合并模塊用于將該相似度大于預(yù)置相似度的兩個(gè)相鄰的圖像顯著區(qū)進(jìn)行合并,該運(yùn)算模塊還用于對(duì)合并后圖像中的像素點(diǎn)的灰度值進(jìn)行加權(quán)運(yùn)算,得到該原始圖像的時(shí)空顯著度,以及,對(duì)該原始圖像的時(shí)空顯著度和該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)的積進(jìn)行加權(quán)運(yùn)算,得到該待評(píng)價(jià)視頻的質(zhì)量指數(shù)。
本發(fā)明提供了一種視頻質(zhì)量評(píng)價(jià)方法和裝置,從待評(píng)價(jià)視頻中獲取待評(píng)價(jià)圖像,從原始視頻中獲取與該待評(píng)價(jià)圖像具有相同幀序號(hào)的原始圖像,并對(duì)該待評(píng)價(jià)圖像和該原始圖像進(jìn)行結(jié)構(gòu)相似性運(yùn)算,得到該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù),從該原始圖像中提取多個(gè)圖像顯著區(qū),并對(duì)該圖像顯著區(qū)進(jìn)行運(yùn)動(dòng)特性運(yùn)算,計(jì)算出該圖像顯著區(qū)的運(yùn)動(dòng)特性因子,利用相鄰的兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子計(jì)算出該相鄰的兩個(gè)圖像顯著區(qū)的相似度,將該相似度大于預(yù)置相似度的兩個(gè)相鄰的圖像顯著區(qū)進(jìn)行合并,以及對(duì)合并后圖像中的像素點(diǎn)的灰度值進(jìn)行加權(quán)運(yùn)算,得到該原始圖像的時(shí)空顯著度,對(duì)該原始圖像的時(shí)空顯著度和該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)的積進(jìn)行加權(quán)運(yùn)算,得到該待評(píng)價(jià)視頻的質(zhì)量指數(shù)。本發(fā)明與現(xiàn)有技術(shù)相比,有益效果在于:在計(jì)算待評(píng)價(jià)視頻的質(zhì)量指數(shù)時(shí),加入了能反映運(yùn)動(dòng)連貫性的運(yùn)動(dòng)特性因子,可以得出更加準(zhǔn)確的視頻評(píng)價(jià)指數(shù)。同時(shí),只需計(jì)算顯著區(qū)的運(yùn)動(dòng)特性因子,大大減少了計(jì)算量,節(jié)省了計(jì)算時(shí)間和運(yùn)算資源。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例。
圖1是本發(fā)明第一實(shí)施例提供的一種視頻質(zhì)量評(píng)價(jià)方法的實(shí)現(xiàn)流程示意圖;
圖2是本發(fā)明第二實(shí)施例提供的一種視頻質(zhì)量評(píng)價(jià)方法的實(shí)現(xiàn)流程示意圖;
圖3是本發(fā)明第二實(shí)施例提供的一種原始圖像的空域顯著圖;
圖4是本發(fā)明第二實(shí)施例提供的空域顯著圖中的圖像顯著區(qū)經(jīng)二值化處理后的圖像;
圖5是本發(fā)明第三實(shí)施例提供的一種視頻質(zhì)量評(píng)價(jià)裝置的結(jié)構(gòu)示意圖;
圖6是本發(fā)明第四實(shí)施例提供的一種視頻質(zhì)量評(píng)價(jià)裝置的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為使得本發(fā)明的發(fā)明目的、特征、優(yōu)點(diǎn)能夠更加的明顯和易懂,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而非全部實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
本發(fā)明實(shí)施例提供的視頻質(zhì)量評(píng)價(jià)方法可以應(yīng)用于各種終端設(shè)備,如電腦、手機(jī)、平板電腦等終端以及其它終端。
請(qǐng)參閱圖1,圖1為本發(fā)明第一實(shí)施例提供的一種視頻質(zhì)量評(píng)價(jià)方法的實(shí)現(xiàn)流程示意圖,圖1所示的視頻質(zhì)量評(píng)價(jià)方法主要包括以下步驟:
S101、從待評(píng)價(jià)視頻中獲取待評(píng)價(jià)圖像,從原始視頻中獲取與該待評(píng)價(jià)圖像具有相同幀序號(hào)的原始圖像,并對(duì)該待評(píng)價(jià)圖像和該原始圖像進(jìn)行結(jié)構(gòu)相似性運(yùn)算,得到該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)。
該待評(píng)價(jià)視頻為該待評(píng)價(jià)其質(zhì)量指數(shù)的視頻。該待評(píng)價(jià)視頻一般為經(jīng)采集、壓縮、傳輸或播出后的視頻。該待評(píng)價(jià)圖像為該待評(píng)價(jià)視頻中的圖像。原始視頻為該待評(píng)價(jià)視頻的原始視頻。該原始圖像為該原始視頻中的圖像,該待評(píng)價(jià)圖像在該待評(píng)價(jià)視頻中的幀順序與該原始圖像在該原始視頻中的幀序號(hào)相同。
S102、從該原始圖像中提取多個(gè)圖像顯著區(qū),并對(duì)該圖像顯著區(qū)進(jìn)行運(yùn)動(dòng)特性運(yùn)算,計(jì)算出該圖像顯著區(qū)的運(yùn)動(dòng)特性因子。
該圖像顯著區(qū)為該原始圖像具有顯著性的區(qū)域。該運(yùn)動(dòng)特性因子用于表示該圖像顯著區(qū)的運(yùn)動(dòng)連貫性。
S103、利用相鄰兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子計(jì)算出該相鄰的兩個(gè)圖像顯著區(qū)的相似度,將該相似度大于預(yù)置相似度的兩個(gè)相鄰的圖像顯著區(qū)進(jìn)行合并,以及對(duì)合并后圖像中的像素點(diǎn)的灰度值進(jìn)行加權(quán)運(yùn)算,得到該原始圖像的時(shí)空顯著度。
該相似度用于表示兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子的相似性。
S104、對(duì)該原始圖像的時(shí)空顯著度和該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)的積進(jìn)行加權(quán)運(yùn)算,得到該待評(píng)價(jià)視頻的質(zhì)量指數(shù)。該時(shí)空顯著度用于表示該原始圖像在空間和時(shí)間上的顯著性。該待評(píng)價(jià)視頻的質(zhì)量指數(shù)用于評(píng)價(jià)該待評(píng)價(jià)視頻的質(zhì)量。
本發(fā)明實(shí)施例中,從待評(píng)價(jià)視頻中獲取待評(píng)價(jià)圖像,從原始視頻中獲取與該待評(píng)價(jià)圖像具有相同幀序號(hào)的原始圖像,并對(duì)該待評(píng)價(jià)圖像和該原始圖像進(jìn)行結(jié)構(gòu)相似性運(yùn)算,得到該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù),從該原始圖像中提取多個(gè)圖像顯著區(qū),并對(duì)該圖像顯著區(qū)進(jìn)行運(yùn)動(dòng)特性運(yùn)算,計(jì)算出該圖像顯著區(qū)的運(yùn)動(dòng)特性因子,利用相鄰的兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子計(jì)算出該相鄰的兩個(gè)圖像顯著區(qū)的相似度,將該相似度大于預(yù)置相似度的兩個(gè)相鄰的圖像顯著區(qū)進(jìn)行合并,以及對(duì)合并后圖像中的像素點(diǎn)的灰度值進(jìn)行加權(quán)運(yùn)算,得到該原始圖像的時(shí)空顯著度,對(duì)該原始圖像的時(shí)空顯著度和該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)的積進(jìn)行加權(quán)運(yùn)算,得到該待評(píng)價(jià)視頻的質(zhì)量指數(shù)。因此,在計(jì)算待評(píng)價(jià)視頻的質(zhì)量指數(shù)時(shí),加入了能反映運(yùn)動(dòng)連貫性的運(yùn)動(dòng)特性因子,可以得出更加準(zhǔn)確的視頻評(píng)價(jià)指數(shù)。同時(shí),只需計(jì)算顯著區(qū)的運(yùn)動(dòng)特性因子,大大減少了計(jì)算量,節(jié)省了計(jì)算時(shí)間和運(yùn)算資源。
請(qǐng)參閱圖2,圖2為本發(fā)明第二實(shí)施例提供的一種視頻質(zhì)量評(píng)價(jià)方法的實(shí)現(xiàn)流程示意圖,可應(yīng)用于所有具有顯示功能的顯示圖像裝置中,圖1所示的視頻質(zhì)量評(píng)價(jià)方法主要包括以下步驟:
S201、從待評(píng)價(jià)視頻中獲取待評(píng)價(jià)圖像,從原始視頻中獲取與該待評(píng)價(jià)圖像具有相同幀序號(hào)的原始圖像,并對(duì)該待評(píng)價(jià)圖像和該原始圖像進(jìn)行結(jié)構(gòu)相似性運(yùn)算,得到該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)。
該待評(píng)價(jià)視頻為該待評(píng)價(jià)其質(zhì)量指數(shù)的視頻。該待評(píng)價(jià)視頻一般為經(jīng)采集、壓縮、傳輸或播出后的視頻。該待評(píng)價(jià)圖像為該待評(píng)價(jià)視頻中的圖像。原始視頻為該待評(píng)價(jià)視頻的原始視頻。該原始圖像為該原始視頻中的圖像,其中,該待評(píng)價(jià)圖像在該待評(píng)價(jià)視頻中的幀順序與該原始圖像在該原始視頻中的幀序號(hào)相同,如,該待評(píng)價(jià)圖像為第i幀,則該原始圖像為第i’幀,i=i’。
進(jìn)一步地,對(duì)該待評(píng)價(jià)圖像和該原始圖像進(jìn)行結(jié)構(gòu)相似性運(yùn)算,得到該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù),具體包括:
對(duì)該待評(píng)價(jià)圖像的亮度平均值和該原始圖像的亮度平均值進(jìn)行亮度失真度運(yùn)算,得出該待評(píng)價(jià)圖像的亮度失真度。
設(shè)該待評(píng)價(jià)圖像為該待評(píng)價(jià)視頻中的第i幀,該原始圖像為第i’幀,i=i’,該待評(píng)價(jià)圖像的亮度失真度為l(i),則
其中,μi為該待評(píng)價(jià)圖像的亮度平均值,μi’為該原始圖像的亮度平均值,C1=(K1L)2,L為像素的灰度值的變換范圍,L=100;K1<<1。
對(duì)該待評(píng)價(jià)圖像的亮度標(biāo)準(zhǔn)差、該原始圖像的亮度標(biāo)準(zhǔn)差以及該待評(píng)價(jià)圖像和該原始圖像的亮度協(xié)方差進(jìn)行對(duì)比度失真度運(yùn)算,得出該待評(píng)價(jià)圖像的對(duì)比度失真度。
設(shè)該待評(píng)價(jià)圖像的對(duì)比度失真度為c(i),則
其中,σi為該待評(píng)價(jià)圖像的亮度的標(biāo)準(zhǔn)差,σi’為該原始圖像的亮度的標(biāo)準(zhǔn)差,σii’為該待評(píng)價(jià)圖像和該原始圖像的亮度協(xié)方差,C2=(K2L)2,L=100;K2<<1。
對(duì)該待評(píng)價(jià)圖像的亮度標(biāo)準(zhǔn)差、該原始圖像的亮度標(biāo)準(zhǔn)差以及該待評(píng)價(jià)圖像和該原始圖像的亮度協(xié)方差進(jìn)行結(jié)構(gòu)失真度運(yùn)算,得出該待評(píng)價(jià)圖像的結(jié)構(gòu)失真度。
設(shè)該待評(píng)價(jià)圖像的結(jié)構(gòu)失真度為s(i),則
其中,C3=C2/2。
對(duì)該亮度失真度、該對(duì)比度失真度及該結(jié)構(gòu)失真度進(jìn)行乘法運(yùn)算,得到該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)。
設(shè)該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)為SSIM(i),則
SSIM(i)=[l(i)]α·[c(i)]β·[s(i)]γ
其中,α=β=γ=1,則,
S202、對(duì)該原始圖像進(jìn)行頻譜冗余運(yùn)算,得到該原始圖像的頻譜冗余。
設(shè)該原始圖像為第i’幀,該原始圖像的頻譜冗余為R(i’),則,
R(i’)=A(i’)-I(i’);
其中,I(i’)=A(i’)×hn(i’),A(i’)為對(duì)數(shù)振幅譜,hn(i′)為n×n的均值濾波器,為頻域?qū)?shù)譜,g(i’)為高斯濾波函數(shù)。
S203、對(duì)該原始圖像的頻譜冗余和該原始圖像的相位譜進(jìn)行譜冗余運(yùn)算,得到該原始圖像的空域顯著圖。
設(shè)SS(i’)為該原始圖像的空域顯著圖,則,
其中,為傅立葉反變換,P(i’)為該原始圖像的相位譜。
如圖3所示,圖3示出了本發(fā)明實(shí)施例中該原始圖像的空域顯著圖,其中,灰度值越大的區(qū)域,顯著性越高。
S204、將該空域顯著圖中灰度值大于預(yù)置灰度值的像素點(diǎn)組成的區(qū)域確定為該圖像顯著區(qū)。
設(shè)r(f)為空域顯著圖中的圖像顯著區(qū),則,
其中,threshold為預(yù)置灰度值,threshold=E(SS(f))*3,f為空域顯著圖中的灰度值,E(SS(f))為該空域顯著圖SS(i’)的平均灰度密度值,r(f)=1表示該區(qū)域?yàn)閳D像顯著區(qū),r(f)=0表示該圖像為非圖像顯著區(qū)。
為了便于說明,將圖3所示的空域顯著圖中的圖像顯著區(qū)按照預(yù)置灰度臨界值進(jìn)行二值化處理,得到圖4,圖4為對(duì)該空域顯著圖中的圖像顯著區(qū)經(jīng)二值化處理后的圖像,其中,圖4所示的白色區(qū)域?yàn)樵搱D像顯著區(qū)所在的位置。
S205、在該圖像顯著區(qū)中提取運(yùn)動(dòng)目標(biāo),并分別對(duì)該運(yùn)動(dòng)目標(biāo)的相對(duì)運(yùn)動(dòng)矢量和背景運(yùn)動(dòng)矢量進(jìn)行二范數(shù)運(yùn)算,分別得到該圖像顯著區(qū)的相對(duì)運(yùn)動(dòng)矢量強(qiáng)度和背景運(yùn)動(dòng)矢量強(qiáng)度。
進(jìn)一步地,在該圖像顯著區(qū)中提取運(yùn)動(dòng)目標(biāo),具體包括:
將該圖像顯著區(qū)中的塊與參考圖像顯著區(qū)中的塊進(jìn)行比對(duì);
選取在該圖像顯著區(qū)和該參考圖像顯著區(qū)中出現(xiàn)頻率最多的塊;
將該圖像顯著區(qū)中的塊減去該出現(xiàn)頻率最多的塊,并將該圖像顯著區(qū)中剩下的塊作為運(yùn)動(dòng)目標(biāo)。
該參考圖像顯著區(qū)為該原始圖像的前一幀圖像中與該圖像顯著區(qū)位置相同的區(qū)域。設(shè)(x0,y0)為該圖像顯著區(qū)中的運(yùn)動(dòng)目標(biāo)的坐標(biāo),則,
(xo,yo)=(x',y')-mode(x',y')
其中,(x′,y′)為該圖像顯著區(qū)中塊的坐標(biāo)。mode(x',y')表示出現(xiàn)頻率最大的塊。
其中,(x,y)為該參考圖像顯著區(qū)中的塊。a1為縮小參數(shù),a2為放大參數(shù),a3為逆時(shí)針旋轉(zhuǎn)參數(shù),a4為順時(shí)針旋轉(zhuǎn)參數(shù),a5為水平移動(dòng)參數(shù),a6為垂直移動(dòng)參數(shù)。根據(jù)最小誤差函數(shù)以及迭代最小二乘法
和可求出a1、a2、a3、a4、a5和a6的值。
其中,xi和yi為參考圖像顯著區(qū)中的運(yùn)動(dòng)目標(biāo)的坐標(biāo)、xi’和yi’分別表示該圖像顯著區(qū)中運(yùn)動(dòng)目標(biāo)的坐標(biāo)。
分別對(duì)該運(yùn)動(dòng)目標(biāo)的相對(duì)運(yùn)動(dòng)矢量和背景運(yùn)動(dòng)矢量進(jìn)行二范數(shù)運(yùn)算,分別得到該圖像顯著區(qū)的相對(duì)運(yùn)動(dòng)矢量強(qiáng)度和背景運(yùn)動(dòng)矢量強(qiáng)度。
設(shè)表示該運(yùn)動(dòng)目標(biāo)(x0,y0)的運(yùn)動(dòng)矢量,則,
其中,為絕對(duì)運(yùn)動(dòng)矢量,為背景運(yùn)動(dòng)矢量,為相對(duì)運(yùn)動(dòng)矢量,則,該圖像顯著區(qū)的相對(duì)運(yùn)動(dòng)矢量強(qiáng)度vr和背景運(yùn)動(dòng)矢量強(qiáng)度vb分別為:
在實(shí)際應(yīng)用中,該圖像顯著區(qū)中的絕對(duì)運(yùn)動(dòng)矢量背景運(yùn)動(dòng)矢量和相對(duì)運(yùn)動(dòng)矢量的值均可以通過全局運(yùn)動(dòng)估計(jì)法獲得。
S206、對(duì)該相對(duì)運(yùn)動(dòng)矢量強(qiáng)度和該背景運(yùn)動(dòng)矢量強(qiáng)度進(jìn)行加權(quán)運(yùn)算,得到該圖像顯著區(qū)的運(yùn)動(dòng)因子。
設(shè)Mv為該圖像顯著區(qū)的運(yùn)動(dòng)因子,則,
Mv=(1-ωb)vr+ωbvb
其中,ωb為該圖像顯著區(qū)中背景運(yùn)動(dòng)矢量強(qiáng)度的權(quán)重,
ωb=ω1b×ω2b×ω3b
其中,Nb為該圖像顯著區(qū)中背景運(yùn)動(dòng)矢量不為0的宏塊個(gè)數(shù),N(s)為該圖像顯著區(qū)的宏塊總數(shù),vbx和vby分別為背景運(yùn)動(dòng)矢量的橫坐標(biāo)和縱坐標(biāo),NkB為背景運(yùn)動(dòng)矢量非零的宏塊個(gè)數(shù),sib為背景運(yùn)動(dòng)矢量方向中各非空的維度,N(si)為各個(gè)維度內(nèi)運(yùn)動(dòng)矢量不為零的宏塊個(gè)數(shù),i≤36。
S207、將該圖像顯著區(qū)的運(yùn)動(dòng)因子與該原始視頻中圖像顯著區(qū)的運(yùn)動(dòng)因子的最大值進(jìn)行除法運(yùn)算,并對(duì)計(jì)算出的參數(shù)進(jìn)行對(duì)數(shù)運(yùn)算,得到該圖像顯著區(qū)的運(yùn)動(dòng)特性因子。
設(shè)ωM為該圖像顯著區(qū)的運(yùn)動(dòng)特性因子,則,
其中,Mmax為該原始視頻中圖像顯著區(qū)的運(yùn)動(dòng)因子的最大值,α為調(diào)節(jié)常數(shù)且α>1,通過非線性擬合和數(shù)值分析,設(shè)α=2。
S208、利用相鄰兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子計(jì)算出該相鄰兩個(gè)圖像顯著區(qū)的相似度,將該相似度大于預(yù)置相似度的兩個(gè)相鄰的圖像顯著區(qū)進(jìn)行合并,以及對(duì)合并后圖像中的像素點(diǎn)的灰度值進(jìn)行加權(quán)運(yùn)算,得到該原始圖像的時(shí)空顯著度。
進(jìn)一步地,利用相鄰的兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子計(jì)算出該相鄰的兩個(gè)圖像顯著區(qū)的相似度,具體包括:
在該多個(gè)圖像顯著區(qū)中,選取相鄰的兩個(gè)圖像顯著區(qū)。
將該兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子的最大值與該兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子的差值的絕對(duì)值進(jìn)行減法運(yùn)算,得到目標(biāo)值。
將該目標(biāo)值與該兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子的最大值進(jìn)行除法運(yùn)算,并將得到的商作為該相鄰兩個(gè)圖像顯著區(qū)的相似度。
設(shè)Smotion(ri,rj)為相鄰的兩個(gè)圖像顯著區(qū)的相似度,則
其中,ri,rj表示相鄰的兩個(gè)圖像顯著區(qū),和表示相鄰的兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子,為和的最大值,Smotion(ri,rj)為相鄰的圖像顯著區(qū)的相似度。
在實(shí)際應(yīng)用中,圖像顯著區(qū)ri會(huì)存在多個(gè)相近的圖像顯著區(qū),則在該多個(gè)相近的圖像顯著區(qū)中選取與該圖像顯著區(qū)ri相隔的像素點(diǎn)最少的區(qū)域作為與該圖像顯著區(qū)ri相鄰的圖像顯著區(qū)。如,與ri相近的圖像顯著區(qū)有r1、r2和r3,其中,ri與r1、r2和r3分別相隔0、1和2個(gè)像素點(diǎn),則ri和r1為相鄰的圖像顯著區(qū)。其中,該相隔的像素點(diǎn)為兩個(gè)圖像顯著區(qū)之間相鄰最近的區(qū)域相隔的像素點(diǎn)。
將該相似度大于預(yù)置相似度的兩個(gè)相鄰圖像顯著區(qū)進(jìn)行合并,并對(duì)合并后圖像中像素點(diǎn)的灰度值進(jìn)行加權(quán)運(yùn)算,得到該原始圖像的時(shí)空顯著度。
該預(yù)置相似度為預(yù)置的相似度,可以按照實(shí)際情況進(jìn)行設(shè)置,可以設(shè)置相似度的最大值為預(yù)置相似度,也可以設(shè)置具體的相似度值作為預(yù)置相似度。
需要說明的是,將相似度大于預(yù)置相似度的兩個(gè)相鄰圖像顯著區(qū)合并后的圖像為該原始圖像的時(shí)空顯著圖,設(shè)S(i)為該原始圖像的時(shí)空顯著圖,則,
S(i)={rx,rx∈ri∪rj}
其中,{rx,rx∈ri∪rj}表示對(duì)相似度大于該預(yù)置相似度的圖像顯著區(qū)進(jìn)行合并。
設(shè)Ds(i)為該原始圖像的時(shí)空顯著度,則,
其中,Di(n)為該時(shí)空顯著圖S(i)中每一個(gè)像素點(diǎn)的灰度值,N為時(shí)空顯著圖S(i)中像素點(diǎn)總個(gè)數(shù)。
這樣,通過在該原始圖像的空域顯著圖中提取圖像顯著區(qū)計(jì)算出的運(yùn)動(dòng)特性因子更加符合人眼視覺特性,進(jìn)而可以準(zhǔn)確的反映待評(píng)價(jià)視頻的運(yùn)動(dòng)特性,得出更加準(zhǔn)確的待評(píng)價(jià)視頻的質(zhì)量指數(shù)。而且,只需要計(jì)算顯著區(qū)的運(yùn)動(dòng)特性因子而不必計(jì)算整個(gè)原始圖像的運(yùn)動(dòng)特性因子,這樣可以大大的減少計(jì)算量,節(jié)省計(jì)算時(shí)間和運(yùn)算資源。
S209、對(duì)該原始圖像的時(shí)空顯著度和該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)的積進(jìn)行加權(quán)運(yùn)算,得到該待評(píng)價(jià)視頻的質(zhì)量指數(shù)。
在計(jì)算該待評(píng)價(jià)視頻的質(zhì)量指數(shù)時(shí),分別將該原始視頻中每一幀原始圖像的時(shí)空顯著度與該待評(píng)價(jià)視頻中每一幀圖像的結(jié)構(gòu)相似性指數(shù)進(jìn)行加權(quán)運(yùn)算,得到該待評(píng)價(jià)視頻的質(zhì)量指數(shù)。
設(shè)SMW-SSIM為該待評(píng)價(jià)視頻的質(zhì)量指數(shù),則,
其中,SSIM(i)表示該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù),DS(i)表示該原始圖像的時(shí)空顯著度。
本發(fā)明實(shí)施例中,從待評(píng)價(jià)視頻中獲取待評(píng)價(jià)圖像,從原始視頻中獲取與該待評(píng)價(jià)圖像具有相同幀序號(hào)的原始圖像,并對(duì)該待評(píng)價(jià)圖像和該原始圖像進(jìn)行結(jié)構(gòu)相似性運(yùn)算,得到該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)。對(duì)該原始圖像進(jìn)行頻譜冗余運(yùn)算,得到該原始圖像的頻譜冗余,對(duì)該原始圖像的頻譜冗余和該原始圖像的相位譜進(jìn)行譜冗余運(yùn)算,得到該原始圖像的空域顯著圖,對(duì)該空域顯著圖進(jìn)行二值化處理,得到多個(gè)圖像顯著區(qū),在該圖像顯著區(qū)中提取運(yùn)動(dòng)目標(biāo),并分別對(duì)該運(yùn)動(dòng)目標(biāo)的相對(duì)運(yùn)動(dòng)矢量和背景運(yùn)動(dòng)矢量進(jìn)行二范數(shù)運(yùn)算,分別得到該圖像顯著區(qū)的相對(duì)運(yùn)動(dòng)矢量強(qiáng)度和背景運(yùn)動(dòng)矢量強(qiáng)度,對(duì)該相對(duì)運(yùn)動(dòng)矢量強(qiáng)度和該背景運(yùn)動(dòng)矢量強(qiáng)度進(jìn)行加權(quán)運(yùn)算,得到該圖像顯著區(qū)的運(yùn)動(dòng)因子,將該原始視頻中圖像顯著區(qū)的運(yùn)動(dòng)因子的最大值與該圖像顯著區(qū)的運(yùn)動(dòng)因子進(jìn)行除法運(yùn)算,并對(duì)計(jì)算出的參數(shù)進(jìn)行對(duì)數(shù)運(yùn)算,得到該圖像顯著區(qū)的運(yùn)動(dòng)特性因子,利用相鄰的兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子計(jì)算出該相鄰兩個(gè)圖像顯著區(qū)的相似度,將該相似度大于預(yù)置相似度的兩個(gè)相鄰圖像顯著區(qū)進(jìn)行合并,以及對(duì)合并后圖像中的像素點(diǎn)的灰度值進(jìn)行加權(quán)運(yùn)算,得到該原始圖像的時(shí)空顯著度,對(duì)該原始圖像的時(shí)空顯著度和該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)的積進(jìn)行加權(quán)運(yùn)算,得到該待評(píng)價(jià)視頻的質(zhì)量指數(shù)。因此,在計(jì)算待評(píng)價(jià)視頻的質(zhì)量指數(shù)時(shí),加入了能反映運(yùn)動(dòng)連貫性的運(yùn)動(dòng)特性因子,可以得出更加準(zhǔn)確的視頻評(píng)價(jià)指數(shù)。同時(shí),只需計(jì)算顯著區(qū)的運(yùn)動(dòng)特性因子,大大減少了計(jì)算量,節(jié)省了計(jì)算時(shí)間和運(yùn)算資源。
請(qǐng)參閱圖5,圖5是本發(fā)明第三實(shí)施例提供的視頻質(zhì)量評(píng)價(jià)裝置的結(jié)構(gòu)示意圖,為了便于說明,僅示出了與本發(fā)明實(shí)施例相關(guān)的部分。圖5示例的視頻質(zhì)量評(píng)價(jià)裝置可以是前述圖1和圖2所示實(shí)施例提供的視頻質(zhì)量評(píng)價(jià)方法的執(zhí)行主體,可以是視頻質(zhì)量評(píng)價(jià)裝置中的一個(gè)控制模塊。圖5示例的視頻質(zhì)量評(píng)價(jià)裝置,主要包括:運(yùn)算模塊501、提取模塊502和合并模塊503。以上各功能模塊詳細(xì)說明如下:
運(yùn)算模塊501,用于從待評(píng)價(jià)視頻中獲取待評(píng)價(jià)圖像,從原始視頻中獲取與該待評(píng)價(jià)圖像具有相同幀序號(hào)的原始圖像,并對(duì)該待評(píng)價(jià)圖像和該原始圖像進(jìn)行結(jié)構(gòu)相似性運(yùn)算,得到該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)。
該待評(píng)價(jià)視頻為該待評(píng)價(jià)其質(zhì)量指數(shù)的視頻。該待評(píng)價(jià)視頻一般為經(jīng)采集、壓縮、傳輸或播出后的視頻。該待評(píng)價(jià)圖像為該待評(píng)價(jià)視頻中的圖像。原始視頻為該待評(píng)價(jià)視頻的原始視頻。該原始圖像為該原始視頻中的圖像,該待評(píng)價(jià)圖像在該待評(píng)價(jià)視頻中的幀順序與該原始圖像在該原始視頻中的幀序號(hào)相同。
提取模塊502,用于從該原始圖像中提取多個(gè)圖像顯著區(qū)。
該圖像顯著區(qū)為該原始圖像具有顯著性的區(qū)域。該運(yùn)動(dòng)特性因子用于表示該圖像顯著區(qū)的運(yùn)動(dòng)連貫性。
進(jìn)一步地,運(yùn)算模塊501,還用于對(duì)該圖像顯著區(qū)進(jìn)行運(yùn)動(dòng)特性運(yùn)算,以算出該圖像顯著區(qū)的運(yùn)動(dòng)特性因子;以及,利用相鄰的兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子計(jì)算出該相鄰的兩個(gè)圖像顯著區(qū)的相似度。
該相似度用于表示兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子的相似性。
合并模塊503,用于將該相似度大于預(yù)置相似度的兩個(gè)相鄰的圖像顯著區(qū)進(jìn)行合并。
進(jìn)一步地,運(yùn)算模塊501,還用于對(duì)合并后圖像中的像素點(diǎn)的灰度值進(jìn)行加權(quán)運(yùn)算,得到該原始圖像的時(shí)空顯著度;以及,對(duì)該原始圖像的時(shí)空顯著度和該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)的積進(jìn)行加權(quán)運(yùn)算,得到該待評(píng)價(jià)視頻的質(zhì)量指數(shù)。
本發(fā)明實(shí)施例的未盡細(xì)節(jié)請(qǐng)參照?qǐng)D1和圖2所示的第一和第二實(shí)施例,在此不再贅述。
本發(fā)明實(shí)施例中,運(yùn)算模塊501用于從待評(píng)價(jià)視頻中獲取待評(píng)價(jià)圖像,從原始視頻中獲取與該待評(píng)價(jià)圖像具有相同幀序號(hào)的原始圖像,并對(duì)該待評(píng)價(jià)圖像和該原始圖像進(jìn)行結(jié)構(gòu)相似性運(yùn)算,得到該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù),提取模塊502用于從該原始圖像中提取多個(gè)圖像顯著區(qū),運(yùn)算模塊501還用于對(duì)該圖像顯著區(qū)進(jìn)行運(yùn)動(dòng)特性運(yùn)算,以算出該圖像顯著區(qū)的運(yùn)動(dòng)特性因子;以及,利用相鄰的兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子計(jì)算出該相鄰的兩個(gè)圖像顯著區(qū)的相似度,合并模塊503用于將該相似度大于預(yù)置相似度的兩個(gè)相鄰的圖像顯著區(qū)進(jìn)行合并,運(yùn)算模塊501用于對(duì)合并后圖像中的像素點(diǎn)的灰度值進(jìn)行加權(quán)運(yùn)算,得到該原始圖像的時(shí)空顯著度;以及,對(duì)該原始圖像的時(shí)空顯著度和該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)的積進(jìn)行加權(quán)運(yùn)算,得到該待評(píng)價(jià)視頻的質(zhì)量指數(shù)。因此,在計(jì)算待評(píng)價(jià)視頻的質(zhì)量指數(shù)時(shí),加入了能反映運(yùn)動(dòng)連貫性的運(yùn)動(dòng)特性因子,可以得出更加準(zhǔn)確的視頻評(píng)價(jià)指數(shù)。同時(shí),只需計(jì)算顯著區(qū)的運(yùn)動(dòng)特性因子,大大減少了計(jì)算量,節(jié)省了計(jì)算時(shí)間和運(yùn)算資源。
請(qǐng)參閱圖6,圖6是本發(fā)明第四實(shí)施例提供的視頻質(zhì)量評(píng)價(jià)裝置的結(jié)構(gòu)示意圖,為了便于說明,僅示出了與本發(fā)明實(shí)施例相關(guān)的部分。圖6示例的視頻質(zhì)量評(píng)價(jià)裝置可以是前述圖1和圖2所示實(shí)施例提供的視頻質(zhì)量評(píng)價(jià)方法的執(zhí)行主體,可以是視頻質(zhì)量評(píng)價(jià)裝置中的一個(gè)控制模塊。圖6示例的視頻質(zhì)量評(píng)價(jià)裝置,主要包括:運(yùn)算模塊601、提取模塊602和合并模塊603;其中,運(yùn)算模塊601包括:失真運(yùn)算模塊611、指數(shù)運(yùn)算模塊621、矢量運(yùn)算模塊631、運(yùn)動(dòng)特性運(yùn)算模塊641、選取模塊651和相似運(yùn)算模塊661;提取模塊602包括:頻譜運(yùn)算模塊612、譜冗余運(yùn)算模塊622和確定模塊632。以上各功能模塊詳細(xì)說明如下:
運(yùn)算模塊601,用于從待評(píng)價(jià)視頻中獲取待評(píng)價(jià)圖像,從原始視頻中獲取與該待評(píng)價(jià)圖像具有相同幀序號(hào)的原始圖像,并對(duì)該待評(píng)價(jià)圖像和該原始圖像進(jìn)行結(jié)構(gòu)相似性運(yùn)算,得到該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)。
該待評(píng)價(jià)視頻為該待評(píng)價(jià)其質(zhì)量指數(shù)的視頻。該待評(píng)價(jià)視頻一般為經(jīng)采集、壓縮、傳輸或播出后的視頻。該待評(píng)價(jià)圖像為該待評(píng)價(jià)視頻中的圖像。原始視頻為該待評(píng)價(jià)視頻的原始視頻。該原始圖像為該原始視頻中的圖像,該待評(píng)價(jià)圖像在該待評(píng)價(jià)視頻中的幀順序與該原始圖像在該原始視頻中的幀序號(hào)相同。
提取模塊602,用于從該原始圖像中提取多個(gè)圖像顯著區(qū)。
該圖像顯著區(qū)為該原始圖像具有顯著性的區(qū)域。該運(yùn)動(dòng)特性因子用于表示該圖像顯著區(qū)的運(yùn)動(dòng)連貫性。
進(jìn)一步地,運(yùn)算模塊601,還用于對(duì)該圖像顯著區(qū)進(jìn)行運(yùn)動(dòng)特性運(yùn)算,以算出該圖像顯著區(qū)的運(yùn)動(dòng)特性因子;以及,利用相鄰的兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子計(jì)算出該相鄰的兩個(gè)圖像顯著區(qū)的相似度。
該相似度用于表示兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子的相似性。
合并模塊603,用于將該相似度大于預(yù)置相似度的兩個(gè)相鄰的圖像顯著區(qū)進(jìn)行合并。
進(jìn)一步地,運(yùn)算模塊601,還用于對(duì)合并后圖像中的像素點(diǎn)的灰度值進(jìn)行加權(quán)運(yùn)算,得到該原始圖像的時(shí)空顯著度;以及,對(duì)該原始圖像的時(shí)空顯著度和該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)的積進(jìn)行加權(quán)運(yùn)算,得到該待評(píng)價(jià)視頻的質(zhì)量指數(shù)。
進(jìn)一步地,運(yùn)算模塊601包括:失真運(yùn)算模塊611和指數(shù)運(yùn)算模塊621。
失真運(yùn)算模塊611,用于對(duì)該待評(píng)價(jià)圖像的亮度平均值和該原始圖像的亮度平均值進(jìn)行亮度失真度運(yùn)算,得出該待評(píng)價(jià)圖像的亮度失真度。
進(jìn)一步地,失真運(yùn)算模塊611,還用于對(duì)該待評(píng)價(jià)圖像的亮度標(biāo)準(zhǔn)差、該原始圖像的亮度標(biāo)準(zhǔn)差以及該待評(píng)價(jià)圖像和該原始圖像的亮度協(xié)方差進(jìn)行對(duì)比度失真度運(yùn)算,得出該待評(píng)價(jià)圖像的對(duì)比度失真度。
進(jìn)一步地,失真運(yùn)算模塊611,還用于對(duì)該待評(píng)價(jià)圖像的亮度標(biāo)準(zhǔn)差、該原始圖像的亮度標(biāo)準(zhǔn)差以及該待評(píng)價(jià)圖像和該原始圖像的亮度協(xié)方差進(jìn)行結(jié)構(gòu)失真度運(yùn)算,得出該待評(píng)價(jià)圖像的結(jié)構(gòu)失真度。
指數(shù)運(yùn)算模塊621,用于對(duì)該亮度失真度、該對(duì)比度失真度及該結(jié)構(gòu)失真度進(jìn)行乘法運(yùn)算,得到該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)。
進(jìn)一步地,提取模塊602包括:頻譜運(yùn)算模塊612、譜冗余運(yùn)算模塊622和二值運(yùn)算模塊632。
頻譜運(yùn)算模塊612,用于對(duì)該原始圖像進(jìn)行頻譜冗余運(yùn)算,得到該原始圖像的頻譜冗余。
譜冗余運(yùn)算模塊622,用于對(duì)該原始圖像的頻譜冗余和該原始圖像的相位譜進(jìn)行譜冗余運(yùn)算,得到該原始圖像的空域顯著圖。
確定模塊632,用于將該空域顯著圖中灰度值大于預(yù)置灰度值的像素點(diǎn)組成的區(qū)域確定為該圖像顯著區(qū)。
進(jìn)一步地,運(yùn)算模塊601還包括:矢量運(yùn)算模塊631和運(yùn)動(dòng)特性運(yùn)算模塊641。
矢量運(yùn)算模塊631,用于在該圖像顯著區(qū)中提取運(yùn)動(dòng)目標(biāo),并分別對(duì)該運(yùn)動(dòng)目標(biāo)的相對(duì)運(yùn)動(dòng)矢量和背景運(yùn)動(dòng)矢量進(jìn)行二范數(shù)運(yùn)算,得到該圖像顯著區(qū)的相對(duì)運(yùn)動(dòng)矢量強(qiáng)度和背景運(yùn)動(dòng)矢量強(qiáng)度。
運(yùn)動(dòng)特性運(yùn)算模塊641,用于對(duì)該相對(duì)運(yùn)動(dòng)矢量強(qiáng)度和該背景運(yùn)動(dòng)矢量強(qiáng)度進(jìn)行加權(quán)運(yùn)算,得到該圖像顯著區(qū)的運(yùn)動(dòng)因子。
運(yùn)動(dòng)特性運(yùn)算模塊641,還用于將該圖像顯著區(qū)的運(yùn)動(dòng)因子與該原始視頻中的圖像顯著區(qū)的運(yùn)動(dòng)因子的最大值進(jìn)行除法運(yùn)算,并對(duì)算出的參數(shù)進(jìn)行對(duì)數(shù)運(yùn)算,以得到該圖像顯著區(qū)的運(yùn)動(dòng)特性因子。
進(jìn)一步地,運(yùn)算模塊601還包括:選取模塊651和相似運(yùn)算模塊661。
選取模塊651,用于在該多個(gè)圖像顯著區(qū)中,選取相鄰的兩個(gè)圖像顯著區(qū)。
相似運(yùn)算模塊661,用于將該兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子的最大值與該兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子的差值的絕對(duì)值進(jìn)行減法運(yùn)算,得到目標(biāo)值。
相似運(yùn)算模塊661,還用于將該目標(biāo)值與該兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子的最大值進(jìn)行除法運(yùn)算,并將算出的商作為該相鄰兩個(gè)圖像顯著區(qū)的相似度。
本發(fā)明實(shí)施例的未盡細(xì)節(jié)請(qǐng)參照?qǐng)D1和圖2所示的第一和第二實(shí)施例,在此不再贅述。
本發(fā)明實(shí)施例中,運(yùn)算模塊601用于從待評(píng)價(jià)視頻中獲取待評(píng)價(jià)圖像,從原始視頻中獲取與該待評(píng)價(jià)圖像具有相同幀序號(hào)的原始圖像,并對(duì)該待評(píng)價(jià)圖像和該原始圖像進(jìn)行結(jié)構(gòu)相似性運(yùn)算,得到該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù),提取模塊602用于從該原始圖像中提取多個(gè)圖像顯著區(qū),運(yùn)算模塊601還用于對(duì)該圖像顯著區(qū)進(jìn)行運(yùn)動(dòng)特性運(yùn)算,以算出該圖像顯著區(qū)的運(yùn)動(dòng)特性因子;以及,利用相鄰的兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子計(jì)算出該相鄰的兩個(gè)圖像顯著區(qū)的相似度,合并模塊603用于將該相似度大于預(yù)置相似度的兩個(gè)相鄰的圖像顯著區(qū)進(jìn)行合并,運(yùn)算模塊601用于對(duì)合并后圖像中的像素點(diǎn)的灰度值進(jìn)行加權(quán)運(yùn)算,得到該原始圖像的時(shí)空顯著度;以及,對(duì)該原始圖像的時(shí)空顯著度和該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù)的積進(jìn)行加權(quán)運(yùn)算,得到該待評(píng)價(jià)視頻的質(zhì)量指數(shù)。失真運(yùn)算模塊611用于對(duì)該待評(píng)價(jià)圖像的亮度平均值和該原始圖像的亮度平均值進(jìn)行亮度失真度運(yùn)算,得出該待評(píng)價(jià)圖像的亮度失真度,失真運(yùn)算模塊611還用于對(duì)該待評(píng)價(jià)圖像的亮度標(biāo)準(zhǔn)差、該原始圖像的亮度標(biāo)準(zhǔn)差以及該待評(píng)價(jià)圖像和該原始圖像的亮度協(xié)方差進(jìn)行對(duì)比度失真度運(yùn)算,得出該待評(píng)價(jià)圖像的對(duì)比度失真度,失真運(yùn)算模塊611還用于對(duì)該待評(píng)價(jià)圖像的亮度標(biāo)準(zhǔn)差、該原始圖像的亮度標(biāo)準(zhǔn)差以及該待評(píng)價(jià)圖像和該原始圖像的亮度協(xié)方差進(jìn)行結(jié)構(gòu)失真度運(yùn)算,得出該待評(píng)價(jià)圖像的結(jié)構(gòu)失真度,指數(shù)運(yùn)算模塊621用于對(duì)該亮度失真度、該對(duì)比度失真度及該結(jié)構(gòu)失真度進(jìn)行乘法運(yùn)算,得到該待評(píng)價(jià)圖像的結(jié)構(gòu)相似性指數(shù),頻譜運(yùn)算模塊612用于對(duì)該原始圖像進(jìn)行頻譜冗余運(yùn)算,得到該原始圖像的頻譜冗余,譜冗余運(yùn)算模塊622用于對(duì)該原始圖像的頻譜冗余和該原始圖像的相位譜進(jìn)行譜冗余運(yùn)算,得到該原始圖像的空域顯著圖,確定模塊632用于將該空域顯著圖中灰度值大于預(yù)置灰度值的像素點(diǎn)組成的區(qū)域確定為該圖像顯著區(qū)矢量運(yùn)算模塊631用于在該圖像顯著區(qū)中提取運(yùn)動(dòng)目標(biāo),并分別對(duì)該運(yùn)動(dòng)目標(biāo)的相對(duì)運(yùn)動(dòng)矢量和背景運(yùn)動(dòng)矢量進(jìn)行二范數(shù)運(yùn)算,得到該圖像顯著區(qū)的相對(duì)運(yùn)動(dòng)矢量強(qiáng)度和背景運(yùn)動(dòng)矢量強(qiáng)度,運(yùn)動(dòng)特性運(yùn)算模塊641用于對(duì)該相對(duì)運(yùn)動(dòng)矢量強(qiáng)度和該背景運(yùn)動(dòng)矢量強(qiáng)度進(jìn)行加權(quán)運(yùn)算,得到該圖像顯著區(qū)的運(yùn)動(dòng)因子。運(yùn)動(dòng)特性運(yùn)算模塊641還用于將該圖像顯著區(qū)的運(yùn)動(dòng)因子與該原始視頻中的圖像顯著區(qū)的運(yùn)動(dòng)因子的最大值進(jìn)行除法運(yùn)算,并對(duì)算出的參數(shù)進(jìn)行對(duì)數(shù)運(yùn)算,以得到該圖像顯著區(qū)的運(yùn)動(dòng)特性因子。選取模塊651用于在該多個(gè)圖像顯著區(qū)中,選取相鄰的兩個(gè)圖像顯著區(qū)。相似運(yùn)算模塊661用于將該兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)因子的最大值與該兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)特性因子的差值的絕對(duì)值進(jìn)行減法運(yùn)算,得到目標(biāo)值。相似運(yùn)算模塊661還用于將該目標(biāo)值與該兩個(gè)圖像顯著區(qū)的運(yùn)動(dòng)因子的最大值進(jìn)行除法運(yùn)算,并將算出的商作為該相鄰兩個(gè)圖像顯著區(qū)的相似度。因此,在計(jì)算待評(píng)價(jià)視頻的質(zhì)量指數(shù)時(shí),加入了能反映運(yùn)動(dòng)連貫性的運(yùn)動(dòng)特性因子,可以得出更加準(zhǔn)確的視頻評(píng)價(jià)指數(shù)。同時(shí),只需計(jì)算顯著區(qū)的運(yùn)動(dòng)特性因子,大大減少了計(jì)算量,節(jié)省了計(jì)算時(shí)間和運(yùn)算資源。
在本申請(qǐng)所提供的多個(gè)實(shí)施例中,應(yīng)該理解到,所揭露的系統(tǒng)、裝置和方法,可以通過其它的方式實(shí)現(xiàn)。例如,以上所描述的裝置實(shí)施例僅僅是示意性的,例如,所述模塊的劃分,僅僅為一種邏輯功能劃分,實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式,例如多個(gè)模塊或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另一點(diǎn),所顯示或討論的相互之間的耦合或直接耦合或通信鏈接可以是通過一些接口,裝置或模塊的間接耦合或通信鏈接,可以是電性,機(jī)械或其它的形式。
所述作為分離部件說明的模塊可以是或者也可以不是物理上分開的,作為模塊顯示的部件可以是或者也可以不是物理模塊,即可以位于一個(gè)地方,或者也可以分布到多個(gè)網(wǎng)絡(luò)模塊上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。
另外,在本發(fā)明各個(gè)實(shí)施例中的各功能模塊可以集成在一個(gè)處理模塊中,也可以是各個(gè)模塊單獨(dú)物理存在,也可以兩個(gè)或兩個(gè)以上模塊集成在一個(gè)模塊中。上述集成的模塊既可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能模塊的形式實(shí)現(xiàn)。
所述集成的模塊如果以軟件功能模塊的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí),可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。基于這樣的理解,本發(fā)明的技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計(jì)算機(jī)軟件產(chǎn)品存儲(chǔ)在一個(gè)存儲(chǔ)介質(zhì)中,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述方法的全部或部分步驟。而前述的存儲(chǔ)介質(zhì)包括:U盤、移動(dòng)硬盤、只讀存儲(chǔ)器(ROM,Read-Only Memory)、隨機(jī)存取存儲(chǔ)器(RAM,Random Access Memory)、磁碟或者光盤等各種可以存儲(chǔ)程序代碼的介質(zhì)。
需要說明的是,對(duì)于前述的各方法實(shí)施例,為了簡(jiǎn)便描述,故將其都表述為一系列的動(dòng)作組合,但是本領(lǐng)域技術(shù)人員應(yīng)該知悉,本發(fā)明并不受所描述的動(dòng)作順序的限制,因?yàn)橐罁?jù)本發(fā)明,某些步驟可以采用其它順序或者同時(shí)進(jìn)行。其次,本領(lǐng)域技術(shù)人員也應(yīng)該知悉,說明書中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例,所涉及的動(dòng)作和模塊并不一定都是本發(fā)明所必須的。
在上述實(shí)施例中,對(duì)各個(gè)實(shí)施例的描述都各有側(cè)重,某個(gè)實(shí)施例中沒有詳述的部分,可以參見其它實(shí)施例的相關(guān)描述。
以上為對(duì)本發(fā)明所提供的視頻質(zhì)量評(píng)價(jià)方法及裝置的描述,對(duì)于本領(lǐng)域的技術(shù)人員,依據(jù)本發(fā)明實(shí)施例的思想,在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處,綜上,本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。