專(zhuān)利名稱(chēng)：視頻質(zhì)量客觀(guān)評(píng)價(jià)方法、視頻質(zhì)量客觀(guān)評(píng)價(jià)設(shè)備及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及檢測(cè)由視頻數(shù)據(jù)的損失而導(dǎo)致的視頻質(zhì)量退化的視頻質(zhì)量客觀(guān)評(píng)價(jià) 技術(shù)，更具體地，涉及一種視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，視頻質(zhì)量客觀(guān)評(píng)價(jià)設(shè)備及程序，在對(duì)觀(guān) 看視頻的人所體驗(yàn)的質(zhì)量(主觀(guān)質(zhì)量)進(jìn)行估計(jì)時(shí)，在不進(jìn)行主觀(guān)質(zhì)量評(píng)價(jià)實(shí)驗(yàn)(其中，多 個(gè)主體通過(guò)在特殊實(shí)驗(yàn)室中實(shí)際觀(guān)看視頻來(lái)評(píng)價(jià)質(zhì)量)的情況下，根據(jù)用戶(hù)觀(guān)看的視頻的 經(jīng)編碼的比特流信息來(lái)客觀(guān)地導(dǎo)出主觀(guān)質(zhì)量。
背景技術(shù)：
傳統(tǒng)上，已經(jīng)研究了在正在被傳輸或存儲(chǔ)的經(jīng)編碼的視頻比特串中出現(xiàn)損失的 情況下，使用視頻編碼或IP通信的參數(shù)信息來(lái)評(píng)價(jià)視頻質(zhì)量的技術(shù)(Masataka Masuda, Toshiko Tominaga,and Takanori Hayashi, " Non-intrusive Quality Management for Video Communication Servicesby using Invalid Frame Rate " , Technical Report of IEICE, CQ2005-59, pp. 55-60，Sept. 2005 (參考文獻(xiàn) 1))和 ITU-T G. 1070，“ Opinion model forvideo-telephony applications"，Apr. 2007 (參考文獻(xiàn) 2)；或者將經(jīng)編碼的 視頻比特串解碼至像素信號(hào)并基于像素信息來(lái)對(duì)視頻質(zhì)量進(jìn)行客觀(guān)評(píng)價(jià)的技術(shù)(ITU-T J. 144, “ 0bj ective perceptual video qualitymeasurement techniques for digital cable television in the presence of afull reference " , Feb. 2000 (參考文獻(xiàn) 3))。

發(fā)明內(nèi)容
本發(fā)明要解決的問(wèn)題參考文獻(xiàn)1或2中描述的技術(shù)估計(jì)評(píng)價(jià)者所采用的多個(gè)場(chǎng)景的平均主觀(guān)質(zhì)量。然 而在實(shí)際視頻中，由于比特串構(gòu)成在場(chǎng)景間存在很大變化，比特串中的損失導(dǎo)致視頻場(chǎng)景 之間主觀(guān)質(zhì)量的較大變化。因此，在參考文獻(xiàn)1或2的技術(shù)中，難以考慮視頻場(chǎng)景之間的差 異，并且在實(shí)現(xiàn)高估計(jì)精度方面存在問(wèn)題。此外，在使用IP通信的參數(shù)信息來(lái)估計(jì)主觀(guān)質(zhì) 量時(shí)，使用不同于IP通信的協(xié)議不能進(jìn)行主觀(guān)質(zhì)量估計(jì)。參考文獻(xiàn)3嘗試使用通過(guò)對(duì)經(jīng)編碼的視頻的比特串進(jìn)行解碼而獲得的視頻的像 素信息來(lái)估計(jì)主觀(guān)質(zhì)量。然而，由于解碼至像素信息需要很大計(jì)算量，實(shí)時(shí)主觀(guān)質(zhì)量估計(jì)所 需的計(jì)算量非常大，并且每設(shè)備的制造成本提高。因此，難以在需要廉價(jià)的、用戶(hù)的視頻再 現(xiàn)終端(機(jī)頂盒)等中安裝該設(shè)備。解決問(wèn)題的技術(shù)方案為了解決上述問(wèn)題，根據(jù)本發(fā)明，一種在經(jīng)編碼的視頻的比特串中出現(xiàn)損失時(shí)估 計(jì)主觀(guān)質(zhì)量的方法包括以下步驟當(dāng)在通過(guò)當(dāng)前普遍使用的使用運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)和 DCT的編碼方法(更具體為H. 264)來(lái)編碼的比特串中出現(xiàn)損失時(shí)，僅分析比特串或通過(guò)對(duì) 比特串進(jìn)行部分解碼而獲得的像素信息，并對(duì)通過(guò)對(duì)比特串進(jìn)行解碼而獲得的視頻中要檢 測(cè)的退化區(qū)域進(jìn)行檢測(cè)；導(dǎo)出退化區(qū)域?qū)θ说挠绊懽鳛闄?quán)重系數(shù)；估計(jì)退化隱藏處理的效 果，所述退化隱藏處理是指解碼器在對(duì)視頻進(jìn)行解碼時(shí)使人難以檢測(cè)到視頻中的退化；檢測(cè)出現(xiàn)退化的幀/片/運(yùn)動(dòng)向量的I/P/B屬性；通過(guò)聯(lián)合考慮這些信息來(lái)導(dǎo)出表示視頻的 單一幀中的退化強(qiáng)度的值；針對(duì)所有幀，導(dǎo)出單一幀中的退化強(qiáng)度；通過(guò)聯(lián)合考慮退化強(qiáng) 度來(lái)導(dǎo)出由損失的比特串導(dǎo)致的所有幀的退化的表示值；估計(jì)編碼退化的主觀(guān)質(zhì)量；以及 基于編碼退化的主觀(guān)質(zhì)量和由損失的比特串導(dǎo)致的所有幀的退化的表示值，來(lái)估計(jì)總體主 觀(guān)質(zhì)量。更具體地，根據(jù)本發(fā)明，提供了一種對(duì)表示觀(guān)看視頻的觀(guān)看者所體驗(yàn)的視頻質(zhì)量 的主觀(guān)質(zhì)量進(jìn)行估計(jì)的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，在使用運(yùn)動(dòng)補(bǔ)償和DCT來(lái)編碼的視頻的比 特串中出現(xiàn)損失的情況下，使用損失的比特串和剩余的比特串來(lái)考慮場(chǎng)景之間的差異對(duì)主 觀(guān)質(zhì)量的影響，并且在不需要完全解碼的情況下估計(jì)主觀(guān)質(zhì)量。當(dāng)比特串中出現(xiàn)損失時(shí)，使用損失的比特串中損失幀(或片、宏塊、或子宏塊)的 空間或時(shí)間序列位置信息來(lái)估計(jì)主觀(guān)質(zhì)量。如果在運(yùn)動(dòng)補(bǔ)償功能中另一幀(或片、宏塊、或子宏塊)要參考的參考幀(或片、 宏塊、或子宏塊)的比特串中出現(xiàn)損失，則考慮參考幀(或片、宏塊、或子宏塊)的比特串的 損失對(duì)另一幀(或片、宏塊、或子宏塊)造成的損失來(lái)估計(jì)主觀(guān)質(zhì)量。因編碼處理而退化的主觀(guān)質(zhì)量被定義為在比特串損失的情況下主觀(guān)質(zhì)量的最大值。作為在單一幀中出現(xiàn)的退化的表示值，將通過(guò)對(duì)具有比特串損失的塊的數(shù)目之和 進(jìn)行加權(quán)而獲得的值用于視頻質(zhì)量客觀(guān)評(píng)價(jià)。在這種情況下，針對(duì)視頻的所有幀，導(dǎo)出在單一幀中出現(xiàn)的退化的表示值，并且將 通過(guò)對(duì)該和值進(jìn)行加權(quán)而獲得的值用于視頻質(zhì)量客觀(guān)評(píng)價(jià)。要用于視頻質(zhì)量客觀(guān)評(píng)價(jià)的權(quán)重是根據(jù)運(yùn)動(dòng)向量數(shù)據(jù)的統(tǒng)計(jì)量、視頻再現(xiàn)終端要 執(zhí)行的退化隱藏處理的統(tǒng)計(jì)量、出現(xiàn)退化的位置的統(tǒng)計(jì)量、或者DCT系數(shù)的統(tǒng)計(jì)量、或者局 部像素信息的統(tǒng)計(jì)量或其組合來(lái)確定的。注意，使用與幀中所有或一些宏塊的運(yùn)動(dòng)向量的幅度或方向相關(guān)的統(tǒng)計(jì)量作為運(yùn) 動(dòng)向量數(shù)據(jù)的統(tǒng)計(jì)量。使用幀中所有或一些宏塊的DCT系數(shù)的統(tǒng)計(jì)量作為DCT系數(shù)的統(tǒng)計(jì)量。通過(guò)預(yù)先進(jìn)行主觀(guān)質(zhì)量評(píng)價(jià)實(shí)驗(yàn)來(lái)測(cè)量各種退化隱藏處理對(duì)主觀(guān)質(zhì)量的改進(jìn)量， 并創(chuàng)建數(shù)據(jù)庫(kù)。在對(duì)視頻質(zhì)量進(jìn)行客觀(guān)評(píng)價(jià)時(shí)，參考該數(shù)據(jù)庫(kù)，并且估計(jì)針對(duì)每個(gè)退化隱藏 處理而調(diào)整的主觀(guān)質(zhì)量。使用經(jīng)編碼的視頻的比特串或解碼為局部像素信號(hào)的信息，來(lái)估計(jì)退化隱藏處理 對(duì)主觀(guān)質(zhì)量的改進(jìn)量。使用與損失的比特串中包括的宏塊相鄰的宏塊的像素信息作為局部像素信息。根據(jù)本發(fā)明，如果在比特串中出現(xiàn)損失，并且損失的比特串中保存的信息是編碼 控制信息，則根據(jù)編碼控制信息對(duì)主觀(guān)質(zhì)量造成的影響的程度來(lái)估計(jì)主觀(guān)質(zhì)量。在對(duì)視頻質(zhì)量進(jìn)行客觀(guān)評(píng)價(jià)時(shí)，根據(jù)編碼方法、幀率或視頻分辨率來(lái)優(yōu)化評(píng)價(jià)表
7J\ o如上所述，使用當(dāng)前普遍使用的通過(guò)運(yùn)動(dòng)補(bǔ)償?shù)膸g預(yù)測(cè)和DCT的編碼方法的視 頻的比特串主要包括運(yùn)動(dòng)向量、DCT系數(shù)或編碼控制信息(例如用于控制量化的量化系數(shù) /參數(shù))。這些信息的內(nèi)容在視頻場(chǎng)景之間具有較大變化。因此，使用這些信息允許考慮視
5頻場(chǎng)景中的差異來(lái)估計(jì)主觀(guān)質(zhì)量。此外，當(dāng)直接使用比特串中嵌入的信息而不是像素信息 時(shí)，由于不要求需要很大計(jì)算量來(lái)獲取的像素信息，可以大大減少計(jì)算量。在通過(guò)對(duì)視頻的 比特串進(jìn)行部分解碼來(lái)獲取像素信息時(shí)，與僅使用比特串中嵌入的信息的處理相比，負(fù)載 略有增加。然而，與解碼整個(gè)視頻相比，仍然大大節(jié)省了計(jì)算量。因此，考慮將視頻場(chǎng)景中 的差異作為像素信息，可以添加該信息來(lái)估計(jì)主觀(guān)質(zhì)量。這允許使用廉價(jià)的計(jì)算機(jī)在短時(shí) 間內(nèi)執(zhí)行精確的視頻質(zhì)量客觀(guān)評(píng)價(jià)。例如，盡管觀(guān)看者一般觀(guān)看視頻服務(wù)中的不同視頻，但 是可以考慮這種差異來(lái)估計(jì)每個(gè)視頻的主觀(guān)質(zhì)量。這實(shí)現(xiàn)了針對(duì)每個(gè)觀(guān)看者的相關(guān)質(zhì)量的 精確支持，或者允許視頻服務(wù)運(yùn)營(yíng)商前端高效并且低成本地針對(duì)每個(gè)頻道或每個(gè)場(chǎng)景來(lái)管 理視頻的主觀(guān)質(zhì)量。由于僅需要獲取視頻比特串，可以獨(dú)立于用于發(fā)送比特串的協(xié)議來(lái)進(jìn) 行視頻質(zhì)量客觀(guān)評(píng)價(jià)。這就是說(shuō)，該方法可以被擴(kuò)展至不同于IP通信的通信方法，因此適 用于通過(guò)各種通信方法來(lái)傳輸?shù)囊曨l。根據(jù)本發(fā)明，在經(jīng)編碼的比特串中出現(xiàn)損失的情況下，使用經(jīng)編碼的視頻的比特 串信息。這使得可以高效而精確地估計(jì)主觀(guān)質(zhì)量，從而通過(guò)使用本發(fā)明來(lái)替代主觀(guān)質(zhì)量評(píng) 價(jià)方法或傳統(tǒng)的客觀(guān)質(zhì)量評(píng)價(jià)方法，來(lái)消除對(duì)大量勞動(dòng)力和時(shí)間的需要。因此，可以在較大 規(guī)模上實(shí)時(shí)獲取用戶(hù)所感受的主觀(guān)質(zhì)量。


圖1是示出了根據(jù)本發(fā)明的視頻質(zhì)量客觀(guān)評(píng)價(jià)設(shè)備的配置的框圖；圖2是示意了視頻質(zhì)量客觀(guān)評(píng)價(jià)設(shè)備的每個(gè)功能單元的示意操作的流程圖；圖3是示出了幀中的宏塊解碼狀態(tài)的視圖；圖4是用于解釋損失宏塊中的邊緣估計(jì)方法的視圖；圖5是示出了損失宏塊和相鄰宏塊的邊緣表示值的視圖；圖6是用于解釋損失宏塊中的邊緣估計(jì)方法的視圖；圖7是示出了 8X8DCT系數(shù)的3D表示的視圖；圖8是示出了 8X8DCT系數(shù)的2D表示的視圖；圖9是示出了與運(yùn)動(dòng)向量導(dǎo)出目標(biāo)幀的相對(duì)位置的視圖；圖10是示出了將運(yùn)動(dòng)向量投影至緊接在運(yùn)動(dòng)向量導(dǎo)出目標(biāo)幀之后的幀的示例的 視圖；圖11是示出了將運(yùn)動(dòng)向量投影至緊接在運(yùn)動(dòng)向量導(dǎo)出目標(biāo)幀之前的幀的示例的 視圖；圖12是示出了損失的宏塊附近的運(yùn)動(dòng)向量導(dǎo)出目標(biāo)幀的狀態(tài)的視圖；圖13是用于解釋運(yùn)動(dòng)向量的朝向的視圖；圖14是用于解釋感興趣的區(qū)域的定義的視圖；圖15是示出了幀中的宏塊的坐標(biāo)系的視圖；圖16是示出了視頻質(zhì)量客觀(guān)評(píng)價(jià)設(shè)備的硬件配置的框圖；圖17是示出了幀中的退化塊和相鄰塊的視圖；以及圖18是用于解釋對(duì)沿時(shí)間方向的退化隱藏處理的效果進(jìn)行估計(jì)的方法的視圖。
具體實(shí)施例方式現(xiàn)在將參考附圖來(lái)描述本發(fā)明的實(shí)施例。(第一實(shí)施例)根據(jù)本實(shí)施例的視頻質(zhì)量客觀(guān)評(píng)價(jià)設(shè)備由信息處理設(shè)備形成，該信息處理設(shè)備包 括接口，要用于輸入經(jīng)編碼的視頻的比特串；算術(shù)設(shè)備(如服務(wù)器設(shè)備或個(gè)人計(jì)算機(jī))；以 及存儲(chǔ)設(shè)備。視頻質(zhì)量客觀(guān)評(píng)價(jià)設(shè)備輸入經(jīng)編碼的視頻的比特串，并輸出與輸入視頻相對(duì)應(yīng) 的主觀(guān)質(zhì)量。硬件配置包括接收單元2、算術(shù)單元3、存儲(chǔ)介質(zhì)4和輸出單元5，如圖16所示。 圖16所示的H. 264編碼器6通過(guò)以后要描述的H. 264來(lái)對(duì)輸入視頻進(jìn)行編碼。經(jīng)編碼的視 頻比特串作為傳輸數(shù)據(jù)通過(guò)傳輸網(wǎng)絡(luò)分發(fā)，并被發(fā)送至視頻質(zhì)量客觀(guān)評(píng)價(jià)設(shè)備1。視頻質(zhì)量客觀(guān)評(píng)價(jià)設(shè)備1的接收單元2接收傳輸數(shù)據(jù)，即經(jīng)編碼的比特串。CPU讀 出并執(zhí)行存儲(chǔ)介質(zhì)4中存儲(chǔ)的程序，從而實(shí)現(xiàn)算術(shù)單元3的功能。更具體地，算術(shù)單元3使 用接收單元2接收的比特串的信息來(lái)執(zhí)行各種算術(shù)處理，并向輸出單元5 (如顯示單元)輸 出算術(shù)處理結(jié)果，從而估計(jì)視頻的主觀(guān)質(zhì)量。更具體地，算術(shù)單元3具有系數(shù)數(shù)據(jù)庫(kù)D11至D17、退化區(qū)域指定功能單元F11、針 對(duì)退化區(qū)域的權(quán)重確定功能單元F12、退化隱藏處理指定功能單元F13、針對(duì)單一幀的退化 表示值導(dǎo)出功能單元F14、針對(duì)所有幀的退化表示值導(dǎo)出功能單元F15、針對(duì)編碼退化的主 觀(guān)質(zhì)量估計(jì)功能單元F16和主觀(guān)質(zhì)量估計(jì)功能單元F17，作為其算術(shù)處理功能，如圖1所示。當(dāng)通過(guò)使用運(yùn)動(dòng)補(bǔ)償和DCT的H. 264來(lái)編碼的視頻的比特串中出現(xiàn)損失時(shí)，視頻 質(zhì)量客觀(guān)評(píng)價(jià)設(shè)備1使用經(jīng)編碼的視頻的比特串的正常部分和損失部分的內(nèi)容來(lái)估計(jì)視 頻的主觀(guān)質(zhì)量。這在理論上適用于使用運(yùn)動(dòng)補(bǔ)償和DCT的編碼方法。以下參照?qǐng)D1來(lái)具體描述視頻質(zhì)量客觀(guān)評(píng)價(jià)設(shè)備的每個(gè)功能單元的功能。每個(gè)功 能單元具有所需的存儲(chǔ)器。退化區(qū)域(位置和計(jì)數(shù))指定功能單元F11對(duì)輸入編碼視頻的比特串進(jìn)行掃描。 如果在比特串中出現(xiàn)損失，退化區(qū)域指定功能單元F11指定退化宏塊的位置和數(shù)目，作為 幀中的退化信息11a和11b，并將退化信息11a和lib分別輸出至退化表示值導(dǎo)出功能單元 F14和權(quán)重確定功能單元F12。針對(duì)退化區(qū)域的權(quán)重確定功能單元F12對(duì)從退化區(qū)域指定功能單元F11接收的 退化信息lib進(jìn)行掃描，基于退化宏塊的位置和周?chē)陦K的運(yùn)動(dòng)和圖案的復(fù)雜度來(lái)測(cè)量每 個(gè)退化宏塊對(duì)主觀(guān)質(zhì)量的影響程度，并將退化量信息12a輸出至退化表示值導(dǎo)出功能單元 F14。退化隱藏處理指定功能單元F13根據(jù)要使用的退化隱藏處理，對(duì)數(shù)據(jù)庫(kù)中存儲(chǔ)的 或與退化隱藏處理對(duì)主觀(guān)質(zhì)量的影響程度相關(guān)而動(dòng)態(tài)導(dǎo)出的權(quán)重進(jìn)行切換，并將其作為退 化隱藏處理信息13a輸出至退化表示值導(dǎo)出功能單元F14。針對(duì)單一幀的退化表示值導(dǎo)出功能單元F14基于從功能單元F11、F12和F13輸出 的退化信息11a、退化量信息12a、以及退化隱藏處理信息13a，考慮單一幀中存在的所有退 化宏塊的影響，來(lái)導(dǎo)出退化強(qiáng)度的表示值，并將幀退化表示值14a輸出至針對(duì)所有幀的退 化表示值導(dǎo)出功能單元F15。針對(duì)所有幀的退化表示值導(dǎo)出功能單元F15基于從針對(duì)單一幀的退化表示值導(dǎo) 出功能單元F14輸出的幀退化表示值14a來(lái)導(dǎo)出評(píng)價(jià)目標(biāo)視頻中存在的所有幀的退化強(qiáng)度
7的表示值，將這些強(qiáng)度求和得到整個(gè)評(píng)價(jià)目標(biāo)視頻的退化強(qiáng)度，導(dǎo)出針對(duì)所有幀的退化表 示值，并將其作為所有幀退化表示值15a輸出至主觀(guān)質(zhì)量估計(jì)功能單元F17。針對(duì)編碼退化的主觀(guān)質(zhì)量估計(jì)功能單元F16僅考慮編碼導(dǎo)致的視頻退化來(lái)導(dǎo)出 主觀(guān)質(zhì)量，并將其作為編碼主觀(guān)質(zhì)量16a輸出至主觀(guān)質(zhì)量估計(jì)功能單元F17。在這種情況 下，主觀(guān)質(zhì)量估計(jì)功能單元F17使用由編碼過(guò)程退化的主觀(guān)質(zhì)量作為主觀(guān)質(zhì)量的最大值。 主觀(guān)質(zhì)量估計(jì)功能單元F17基于來(lái)自針對(duì)所有幀的退化表示值導(dǎo)出功能單元F15的所有幀 退化表示值15a和來(lái)自針對(duì)編碼退化的主觀(guān)質(zhì)量估計(jì)功能單元F16的編碼主觀(guān)質(zhì)量16a，考 慮由編碼和比特串中的損失導(dǎo)致的視頻退化，來(lái)導(dǎo)出主觀(guān)質(zhì)量。注意，評(píng)價(jià)表示的系數(shù)的數(shù)據(jù)庫(kù)D11、D12、D13、D14、D15、D16和D17分別附著至功 能單元Fll、F12、F13、F14、F15、F16和F17，以由這些功能單元來(lái)使用。數(shù)據(jù)庫(kù)Dll至D17 存儲(chǔ)要用于優(yōu)化評(píng)價(jià)表示的系數(shù)。這些系數(shù)根據(jù)評(píng)價(jià)目標(biāo)視頻的編碼方法、分辨率和幀率 而改變。可以通過(guò)基于預(yù)先進(jìn)行的主觀(guān)質(zhì)量評(píng)價(jià)實(shí)驗(yàn)的結(jié)果來(lái)執(zhí)行回歸分析，以確定這些 系數(shù)。備選地，可以使用任意值。接下來(lái)，主要參照?qǐng)D1的框圖和圖2的流程圖以及其他附圖來(lái)描述視頻質(zhì)量客觀(guān) 評(píng)價(jià)設(shè)備的每個(gè)功能單元的具體操作。注意，以下要描述的所有像素信號(hào)和DCT系數(shù)被假 定為與亮度相關(guān)。然而，相同的處理可以應(yīng)用于色差信號(hào)。退化區(qū)域(位置和計(jì)數(shù))指定功能單元Fll需要接收視頻的經(jīng)編碼的比特串， 并對(duì)H. 264的可變長(zhǎng)度碼進(jìn)行解碼。為此，使用符合參考文獻(xiàn)1 (ITU-T H. 264，"Advanced video coding for generic audiovisualservices",Feb. 2000)的 H. 264 角軍碼器。在角軍碼 之后，除了語(yǔ)法信息，如包括H. 264編碼的控制信息在內(nèi)的SPS (序列參數(shù)集)或PPS (畫(huà)面 參數(shù)集)之外，可以針對(duì)每個(gè)宏塊或子宏塊獲取編碼信息，如在運(yùn)動(dòng)補(bǔ)償或DCT變換編碼中 使用的運(yùn)動(dòng)向量、DCT系數(shù)等。更具體地，處理符合參考文獻(xiàn)1中描述的規(guī)范。如果在經(jīng)編碼的比特串中出現(xiàn)損失，則功能單元Fll不能對(duì)其進(jìn)行正常解碼。因 此，不能正常獲取編碼控制信息和如要用于計(jì)算宏塊或子宏塊中的像素信號(hào)的運(yùn)動(dòng)向量和 DCT系數(shù)之類(lèi)的信息。在視頻質(zhì)量客觀(guān)評(píng)價(jià)設(shè)備的存儲(chǔ)區(qū)中準(zhǔn)備有針對(duì)宏塊解碼的總計(jì)成 功和失敗的標(biāo)記。針對(duì)沒(méi)有充足的數(shù)據(jù)來(lái)對(duì)經(jīng)編碼的比特串進(jìn)行解碼的每個(gè)宏塊或子宏塊 設(shè)置標(biāo)記，從而獲得幀中的宏塊解碼成功/失敗狀態(tài)，如圖3所示。在圖3中，細(xì)框的塊表 示解碼成功，而粗框的塊表示解碼失敗。框12、31和35是與運(yùn)動(dòng)補(bǔ)償或DCT編碼相關(guān)的信 息已經(jīng)損失的示例。框51至57是片編碼控制信息已經(jīng)損失的示例?；谌鐖D3所示的解碼成功/失敗狀態(tài)，可以檢測(cè)由于解碼失敗而退化的宏塊或 子宏塊的位置和數(shù)目。在編碼控制信息(如SPS或PPS)損失的情況下，對(duì)應(yīng)序列中的所有 宏塊(整個(gè)評(píng)價(jià)目標(biāo)視頻)被假定為損失SPS，或者對(duì)應(yīng)畫(huà)面中的所有宏塊(幀或場(chǎng))中的 所有宏塊被假定為損失PPS。圖3中的宏塊數(shù)目和片的形狀僅為示例。當(dāng)另一宏塊或子宏塊使用H. 264的運(yùn)動(dòng)估計(jì)功能來(lái)參考已經(jīng)解碼失敗的宏塊或 子宏塊時(shí)，根據(jù)IPB屬性，參考損失的宏塊或子宏塊的宏塊或子宏塊也退化。參考文獻(xiàn)1中 描述了 IPB屬性。在參考宏塊或子宏塊解碼失敗的情況下，如果參考損失的宏塊或子宏塊 的宏塊或子宏塊屬于P幀，則選擇預(yù)先在系數(shù)數(shù)據(jù)庫(kù)Dll中存儲(chǔ)的退化權(quán)重ε =ai。如果 該宏塊屬于B幀，則選擇退化權(quán)重ε =a2。對(duì)于I幀，在H. 264中使用幀內(nèi)預(yù)測(cè)。因此，在 參考宏塊或子宏塊解碼失敗的情況下，選擇退化權(quán)重ε =a3。如果不使用預(yù)測(cè)，則選擇退化權(quán)重ε =a4。該處理允許指定評(píng)價(jià)目標(biāo)視頻中具有損失的宏塊或子宏塊。如果此處在子宏塊中出現(xiàn)損失，則認(rèn)為是包括該子宏塊的宏塊中的損失。除了由 于解碼失敗而退化的宏塊的位置和數(shù)目之外，還將視頻的經(jīng)編碼的比特串和權(quán)重ε作為 退化信息Ila和lib輸出至退化表示值導(dǎo)出功能單元F14和權(quán)重確定功能單元F12。針對(duì)退化區(qū)域的權(quán)重確定功能單元F12接收退化信息11b，并輸出以下要描述的 表示退化區(qū)域的權(quán)重參數(shù)。將描述基于視頻圖案復(fù)雜度來(lái)測(cè)量退化宏塊對(duì)主觀(guān)質(zhì)量的影響 程度的改變的功能。首先，將描述可以部分獲取像素信號(hào)的情況。可以通過(guò)不僅將H. 264的控制信息， 還將要用于運(yùn)動(dòng)補(bǔ)償和DCT變換編碼的運(yùn)動(dòng)向量和DCT系數(shù)應(yīng)用于參考文獻(xiàn)1中描述的算 法，來(lái)獲取像素信號(hào)。更具體地，根據(jù)上述參考文獻(xiàn)1，僅獲取損失宏塊的上、下、左、右側(cè)的宏塊的像素 信號(hào)。視頻圖案復(fù)雜度的表示指標(biāo)是使用Sobel濾波器獲得的邊緣的幅度和方向。在這種 情況下，假定退化宏塊中的邊緣的存在/不存在導(dǎo)致主觀(guān)質(zhì)量變化，估計(jì)從與退化宏塊相 鄰的宏塊至退化宏塊是否存在連續(xù)邊緣。將參照?qǐng)D4和5來(lái)詳細(xì)描述這一點(diǎn)。圖4示出了退化宏塊和4個(gè)相鄰宏塊。每個(gè) 相鄰宏塊在與退化宏塊的邊界處具有一行像素(由圖4中的空心方塊指示的一行像素)。 下一行像素(相鄰宏塊中，從退化宏塊與相鄰宏塊之間的邊界數(shù)起的第二行像素由圖4中 的實(shí)心方塊指示的一行像素)用于由Sobel濾波器進(jìn)行邊緣檢測(cè)。當(dāng)使用Sobel濾波器時(shí)， 將邊緣作為具有幅度和方向的量(即向量)導(dǎo)出。每個(gè)相鄰宏塊的邊緣導(dǎo)出目標(biāo)像素行獲 得的邊緣由以下定義[數(shù)學(xué)式1]
權(quán)利要求
一種對(duì)觀(guān)看視頻的觀(guān)看者所體驗(yàn)的視頻的主觀(guān)質(zhì)量進(jìn)行估計(jì)從而客觀(guān)評(píng)價(jià)視頻質(zhì)量的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，包括以下步驟接收使用運(yùn)動(dòng)補(bǔ)償和DCT編碼的視頻的比特串；如果在所接收的視頻的比特串中出現(xiàn)損失，則使用損失的比特串和剩余的比特串來(lái)執(zhí)行預(yù)定操作；以及基于執(zhí)行預(yù)定操作的步驟的操作結(jié)果，執(zhí)行估計(jì)視頻的主觀(guān)質(zhì)量的操作，其中，在執(zhí)行預(yù)定操作的步驟中，提取比特串中保存的損失塊的空間位置信息和時(shí)間序列位置信息之一，以及在執(zhí)行估計(jì)主觀(guān)質(zhì)量的操作的步驟中，視頻的主觀(guān)質(zhì)量是基于所提取的空間位置信息或時(shí)間序列位置信息來(lái)估計(jì)的。
2.根據(jù)權(quán)利要求1所述的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，其中，在執(zhí)行預(yù)定操作的步驟中，如果使用運(yùn)動(dòng)補(bǔ)償功能的另一塊要參考的參考?jí)K的比特 串中出現(xiàn)損失，則對(duì)參考?jí)K的比特串的損失對(duì)參考該損失的參考?jí)K的塊造成的損失進(jìn)行量 化，以及在執(zhí)行估計(jì)主觀(guān)質(zhì)量的操作的步驟中，視頻的主觀(guān)質(zhì)量是基于執(zhí)行預(yù)定操作的步驟的 操作結(jié)果來(lái)估計(jì)的。
3.根據(jù)權(quán)利要求1所述的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，其中，在執(zhí)行預(yù)定操作的步驟中，由 編碼處理而退化的主觀(guān)質(zhì)量被定義為在比特串損失的情況下主觀(guān)質(zhì)量的最大值。
4.根據(jù)權(quán)利要求1所述的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，其中，在執(zhí)行預(yù)定操作的步驟中，計(jì)算通過(guò)對(duì)比特串的損失塊的數(shù)目應(yīng)用權(quán)重而獲得的值， 作為在單一幀中出現(xiàn)的退化的表示值；以及在執(zhí)行估計(jì)主觀(guān)質(zhì)量的操作的步驟中，所計(jì)算的值用于估計(jì)主觀(guān)質(zhì)量。
5.根據(jù)權(quán)利要求4所述的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，其中，在執(zhí)行預(yù)定操作的步驟中，針對(duì)視頻的所有幀，導(dǎo)出在單一幀中出現(xiàn)的退化的表示值， 并通過(guò)對(duì)所述表示值應(yīng)用權(quán)重來(lái)計(jì)算值；以及在執(zhí)行估計(jì)主觀(guān)質(zhì)量的操作的步驟中，所計(jì)算的值用于估計(jì)主觀(guān)質(zhì)量。
6.根據(jù)權(quán)利要求4或5所述的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，其中，在執(zhí)行預(yù)定操作的步驟 中，根據(jù)運(yùn)動(dòng)向量數(shù)據(jù)、視頻再現(xiàn)終端要執(zhí)行的退化隱藏處理、出現(xiàn)退化的位置和DCT系數(shù) 中的一項(xiàng)或者局部像素信息或其組合的統(tǒng)計(jì)量來(lái)確定要用于估計(jì)主觀(guān)質(zhì)量的權(quán)重。
7.根據(jù)權(quán)利要求6所述的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，其中，在執(zhí)行預(yù)定操作的步驟中，使 用與幀中所有宏塊或一些宏塊的運(yùn)動(dòng)向量的幅度或方向相關(guān)的統(tǒng)計(jì)量作為運(yùn)動(dòng)向量數(shù)據(jù) 的統(tǒng)計(jì)量。
8.根據(jù)權(quán)利要求6所述的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，其中，在執(zhí)行預(yù)定操作的步驟中，使 用幀中所有宏塊或一些宏塊的DCT系數(shù)的統(tǒng)計(jì)量作為DCT系數(shù)的統(tǒng)計(jì)量。
9.根據(jù)權(quán)利要求6所述的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，還包括以下步驟通過(guò)預(yù)先進(jìn)行主 觀(guān)質(zhì)量評(píng)價(jià)實(shí)驗(yàn)，測(cè)量各種退化隱藏處理對(duì)主觀(guān)質(zhì)量的改進(jìn)量，并創(chuàng)建數(shù)據(jù)庫(kù)；其中，在執(zhí)行估計(jì)主觀(guān)質(zhì)量的操作的步驟中，在對(duì)視頻質(zhì)量進(jìn)行客觀(guān)評(píng)價(jià)時(shí)，參考所述 數(shù)據(jù)庫(kù)，并且導(dǎo)出針對(duì)每個(gè)退化隱藏處理而調(diào)整的主觀(guān)質(zhì)量。
10.根據(jù)權(quán)利要求6所述的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，其中，在執(zhí)行估計(jì)主觀(guān)質(zhì)量的操作的步驟中，使用經(jīng)編碼的視頻的比特串或被解碼為局部像素信號(hào)的信息，來(lái)估計(jì)退化隱藏 處理對(duì)主觀(guān)質(zhì)量的改進(jìn)量。
11.根據(jù)權(quán)利要求6所述的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，其中，在執(zhí)行預(yù)定操作的步驟中， 使用損失的比特串中包括的宏塊附近的宏塊的像素信息作為局部像素信息。
12.根據(jù)權(quán)利要求1所述的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，其中，在執(zhí)行預(yù)定操作的步驟中，如果損失的比特串中保存的信息是編碼控制信息，則計(jì)算 編碼控制信息對(duì)主觀(guān)質(zhì)量造成的影響的程度；以及在執(zhí)行估計(jì)主觀(guān)質(zhì)量的操作的步驟中，視頻的主觀(guān)質(zhì)量是基于執(zhí)行預(yù)定操作的步驟的 操作結(jié)果來(lái)估計(jì)的。
13.根據(jù)權(quán)利要求1所述的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，其中，在執(zhí)行估計(jì)主觀(guān)質(zhì)量的操作 的步驟中，在對(duì)視頻質(zhì)量進(jìn)行客觀(guān)評(píng)價(jià)以估計(jì)視頻的主觀(guān)質(zhì)量時(shí)，根據(jù)編碼方法、幀率和視 頻分辨率之一來(lái)優(yōu)化評(píng)價(jià)表示。
14.根據(jù)權(quán)利要求1、2和4中任一項(xiàng)所述的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，其中，所述塊是幀、 片、宏塊和子宏塊之一。
15.一種對(duì)觀(guān)看視頻的觀(guān)看者所體驗(yàn)的視頻的主觀(guān)質(zhì)量進(jìn)行估計(jì)從而對(duì)視頻質(zhì)量進(jìn)行 客觀(guān)評(píng)價(jià)的視頻質(zhì)量客觀(guān)評(píng)價(jià)設(shè)備，包括接收單元，接收使用運(yùn)動(dòng)補(bǔ)償和DCT編碼的視頻的比特串；算術(shù)單元，如果在所接收的視頻的比特串中出現(xiàn)損失，則使用損失的比特串和剩余的 比特串來(lái)執(zhí)行預(yù)定操作；以及估計(jì)單元，基于執(zhí)行預(yù)定操作的步驟的操作結(jié)果，執(zhí)行估計(jì)視頻的主觀(guān)質(zhì)量的操作，其中，所述算術(shù)單元提取比特串中保存的幀、片、宏塊和子宏塊之一的空間損失位置信 息和時(shí)間序列損失位置信息之一，以及所述估計(jì)單元基于所提取的空間位置信息或時(shí)間序列位置信息來(lái)估計(jì)視頻的主觀(guān)質(zhì)量。
16.一種程序，使計(jì)算機(jī)執(zhí)行以下處理接收使用運(yùn)動(dòng)補(bǔ)償和DCT編碼的視頻的比特串；如果在所接收的視頻的比特串中出現(xiàn)損失，則提取比特串中保存的幀、片、宏塊和子宏 塊之一的空間損失位置信息和時(shí)間序列損失位置信息之一；以及基于所提取的空間位置信息或時(shí)間序列位置信息來(lái)估計(jì)視頻的主觀(guān)質(zhì)量。
17.根據(jù)權(quán)利要求6所述的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，其中，在執(zhí)行估計(jì)主觀(guān)質(zhì)量的操作 的步驟中，使用表示沿空間方向的退化隱藏處理的影響的值和表示沿時(shí)間方向的退化隱藏 處理的影響的值，估計(jì)退化隱藏處理對(duì)主觀(guān)質(zhì)量的改進(jìn)量。
18.根據(jù)權(quán)利要求17所述的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，其中，表示沿空間方向的退化隱 藏處理的影響的值是使用退化區(qū)域周?chē)南嗨贫群屯嘶瘏^(qū)域的大小來(lái)計(jì)算的。
19.根據(jù)權(quán)利要求17所述的視頻質(zhì)量客觀(guān)評(píng)價(jià)方法，其中，表示沿時(shí)間方向的退化隱 藏處理的影響的值是使用幀之間運(yùn)動(dòng)向量的幅度和方向的變化來(lái)計(jì)算的。
全文摘要
本發(fā)明提供了一種對(duì)視頻質(zhì)量進(jìn)行客觀(guān)評(píng)價(jià)的方法、設(shè)備和程序，使用運(yùn)動(dòng)向量和DCT系數(shù)，存在于經(jīng)編碼的視頻的比特流內(nèi)，并且是表示場(chǎng)景中的差異的參數(shù)；或者，從經(jīng)編碼的視頻的比特流部分恢復(fù)的像素信息和編碼控制信息。因此，可以使用廉價(jià)的計(jì)算機(jī)，在短時(shí)間內(nèi)對(duì)視頻質(zhì)量進(jìn)行客觀(guān)評(píng)價(jià)，因?yàn)榕c需要極其大量的計(jì)算代價(jià)的、通過(guò)使用對(duì)整個(gè)視頻的比特流進(jìn)行重構(gòu)而獲得的像素信息來(lái)對(duì)視頻質(zhì)量進(jìn)行客觀(guān)評(píng)價(jià)相比，可以節(jié)省計(jì)算代價(jià)。
文檔編號(hào)H04N7/30GK101978701SQ200980109237
公開(kāi)日2011年2月16日 申請(qǐng)日期2009年3月23日 優(yōu)先權(quán)日2008年3月21日
發(fā)明者岡本淳, 山岸和久, 渡邊敬志郎 申請(qǐng)人:日本電信電話(huà)株式會(huì)社