專利名稱：利用編解碼器的輔助信息進(jìn)行視頻質(zhì)量測(cè)量的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及一種利用編解碼器的輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng) 價(jià)的系統(tǒng)和方法，更具體地說，本發(fā)明涉及這樣一種利用編解碼器的輔 助信息評(píng)價(jià)視頻質(zhì)量的系統(tǒng)和方法，該系統(tǒng)和方法可以利用由編碼器或解碼器獲取的信息(例如，比特率、運(yùn)動(dòng)量(motion amount)、編解碼器 特性、殘留誤差、塊效應(yīng)水平(blocking level)、比特誤差、分組損失、 延遲或者抖動(dòng))來客觀地評(píng)價(jià)視頻質(zhì)量。
背景技術(shù)：
對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)是評(píng)價(jià)視頻的傳輸質(zhì)量以及驗(yàn)證視頻編解碼器 的性能和開發(fā)新的壓縮編碼技術(shù)所需的核心技術(shù)。具體地說，隨著數(shù)字 技術(shù)和通信技術(shù)的發(fā)展，已經(jīng)出現(xiàn)了用于將視頻數(shù)字化并且通過網(wǎng)絡(luò)傳 輸視頻的技術(shù)。在用于傳輸利用這種數(shù)字技術(shù)壓縮的視頻的系統(tǒng)中，對(duì) 視頻質(zhì)量進(jìn)行客觀評(píng)價(jià)的重要性已經(jīng)更加突出。另外，客觀地評(píng)價(jià)視頻質(zhì)量的技術(shù)也可以用在對(duì)移動(dòng)電話以及電視 的視頻質(zhì)量的評(píng)價(jià)中。該技術(shù)是驗(yàn)證視頻編解碼器的性能、開發(fā)新的壓 縮編碼技術(shù)或者評(píng)價(jià)傳輸質(zhì)量所需的核心技術(shù)，因?yàn)樵谠u(píng)價(jià)數(shù)字廣播傳 輸質(zhì)量、開發(fā)相關(guān)設(shè)備(例如，便攜式攝像機(jī)、視頻播放器或者數(shù)字照 相機(jī))以及評(píng)價(jià)它們的性能時(shí)可以利用該技術(shù)，所以該技術(shù)是非常重要 的。同時(shí)，在用于客觀地評(píng)價(jià)視頻質(zhì)量的常規(guī)系統(tǒng)中，在評(píng)價(jià)視頻質(zhì)量 時(shí)通常獨(dú)立于視頻編解碼器對(duì)視頻質(zhì)量評(píng)價(jià)裝置進(jìn)行操作。例如，在常 規(guī)的視頻質(zhì)量評(píng)價(jià)系統(tǒng)中，如果對(duì)視頻質(zhì)量評(píng)價(jià)裝置提供參考視頻和退 化視頻(degraded video),則視頻質(zhì)量評(píng)價(jià)裝置利用評(píng)價(jià)退化視頻的視頻 質(zhì)量的方法對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。
然而，在大多數(shù)情況下，可以與視頻質(zhì)量客觀評(píng)價(jià)裝置協(xié)同地對(duì)視 頻編解碼器的編碼器或者解碼器進(jìn)行操作。如果采用可以由視頻編解碼 器的編碼器或者解碼器提供的輔助信息，則可以提高視頻質(zhì)量客觀評(píng)價(jià) 方法的性能，但是還沒有人提出一種將與編解碼器有關(guān)的信息用于視頻 質(zhì)量評(píng)價(jià)的方法。發(fā)明內(nèi)容因此，鑒于現(xiàn)有技術(shù)中存在的上述問題而做出本發(fā)明，并且本發(fā)明 的目的是提供一種利用編解碼器的輔助信息來評(píng)價(jià)視頻質(zhì)量的系統(tǒng)和方 法，從而提高視頻質(zhì)量客觀評(píng)價(jià)方法的性能，其中所述輔助信息可以由 視頻編解碼器的編碼器或者解碼器提供。根據(jù)實(shí)現(xiàn)上述目的的本發(fā)明的一個(gè)方面，提供了 一種利用編解碼器 的輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)的系統(tǒng)，該系統(tǒng)包括視頻發(fā)送器，該視 頻發(fā)送器包括用于輸入源視頻的源視頻輸入單元、用于對(duì)輸入的源視 頻進(jìn)行編碼的編碼單元、用于對(duì)經(jīng)編碼的視頻數(shù)據(jù)進(jìn)行解碼的解碼單元 以及利用經(jīng)解碼的視頻數(shù)據(jù)對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)的視頻質(zhì)量評(píng)價(jià)單元， 其中，所述編碼單元向所述視頻質(zhì)量評(píng)價(jià)單元發(fā)送在編碼過程中獲取的 信息中的視頻質(zhì)量評(píng)價(jià)所需的輔助信息，并且所述視頻質(zhì)量評(píng)價(jià)單元利 用從所述解碼單元接收的經(jīng)解碼的視頻數(shù)據(jù)和從所述編碼單元接收的所 述輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。根據(jù)實(shí)現(xiàn)上述目的的本發(fā)明的另一方面，提供了一種利用編解碼器 的輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)的系統(tǒng)，該系統(tǒng)包括視頻接收器，該視 頻接收器包括通過網(wǎng)絡(luò)從視頻發(fā)送器接收經(jīng)編碼的視頻數(shù)據(jù)的接收數(shù) 據(jù)輸入單元、通過對(duì)經(jīng)編碼的視頻數(shù)據(jù)進(jìn)行解碼來生成接收的視頻的解碼單元以及利用經(jīng)解碼的視頻對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)的視頻質(zhì)量評(píng)價(jià)單 元，其中，所述解碼單元向所述視頻質(zhì)量評(píng)價(jià)單元發(fā)送在解碼過程中獲 取的信息中的視頻質(zhì)量評(píng)價(jià)所需的輔助信息，并且所述視頻質(zhì)量評(píng)價(jià)單 元利用都是從所述解碼單元接收的經(jīng)解碼的視頻和輔助信息對(duì)視頻質(zhì)量 進(jìn)行評(píng)價(jià)。
根據(jù)實(shí)現(xiàn)上述目的的本發(fā)明的又一方面，提供了一種在視頻發(fā)送器 中利用編解碼器的輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)的方法，該視頻發(fā)送器 包括源視頻輸入單元、編碼單元、解碼單元和利用經(jīng)解碼的視頻數(shù)據(jù) 對(duì)接收端的視頻質(zhì)量進(jìn)行評(píng)價(jià)的視頻質(zhì)量評(píng)價(jià)單元，所述方法包括以下 步驟第一步驟，所述源視頻輸入單元向所述編碼單元提供源視頻；第 二步驟，所述編碼單元對(duì)源視頻進(jìn)行編碼，將經(jīng)編碼的視頻數(shù)據(jù)發(fā)送到 所述解碼單元，并將在編碼過程中獲取的信息中的視頻質(zhì)量評(píng)價(jià)所需的 輔助信息發(fā)送到所述視頻質(zhì)量評(píng)價(jià)單元；第三步驟，所述解碼單元對(duì)經(jīng) 編碼的視頻數(shù)據(jù)進(jìn)行解碼，并將經(jīng)解碼的視頻發(fā)送到所述視頻質(zhì)量評(píng)價(jià) 單元；以及第四步驟，所述視頻質(zhì)量評(píng)價(jià)單元利用經(jīng)解碼的視頻和輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。根據(jù)實(shí)現(xiàn)上述目的的本發(fā)明的再一方面，提供了一種在視頻接收器 中利用編解碼器的輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)的方法，所述視頻接收器包括接收數(shù)據(jù)輸入單元、解碼單元和利用經(jīng)解碼的視頻數(shù)據(jù)對(duì)視頻 質(zhì)量進(jìn)行評(píng)價(jià)的視頻質(zhì)量評(píng)價(jià)單元。通過網(wǎng)絡(luò)從視頻發(fā)送器接收經(jīng)編碼 的視頻數(shù)據(jù)并對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)，所述方法包括以下步驟第一步驟， 所述接收數(shù)據(jù)輸入單元向所述解碼單元提供通過網(wǎng)絡(luò)接收的經(jīng)編碼的視頻數(shù)據(jù)；第二步驟，所述解碼單元通過對(duì)經(jīng)編碼的視頻數(shù)據(jù)進(jìn)行解碼而生成接收的視頻，并且與接收的視頻一起將在解碼過程中獲取的信息中的視頻質(zhì)量評(píng)價(jià)所需的輔助信息發(fā)送到所述視頻質(zhì)量評(píng)價(jià)單元；以及第三步驟，所述視頻質(zhì)量評(píng)價(jià)單元利用都是從所述解碼單元接收的經(jīng)解碼 的視頻和輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。同時(shí)，本發(fā)明中"編解碼器的輔助信息"這一術(shù)語的意思是指在編碼 過程或解碼過程中獲取的信息中對(duì)視頻質(zhì)量評(píng)價(jià)有用的信息。編碼過程中的輔助信息包括編解碼器類型信息(例如，運(yùn)動(dòng)圖像專家組2[MPEG2]、 MPEG4、 H.263、 H.264等)、比特率、每秒的幀數(shù)(FPS)、表示相鄰塊 之間不連續(xù)性的塊效應(yīng)水平、運(yùn)動(dòng)量、殘留誤差信息等。另外，解碼過程中的輔助信息包括編解碼器類型信息、比特率、每秒的幀數(shù)(FPS)、 塊位置信息、表示相鄰塊之間不連續(xù)性的塊效應(yīng)水平、運(yùn)動(dòng)量、每個(gè)頻
率的傳輸比特信息、殘留誤差信息、傳輸誤差信息(比特誤差信息、分 組丟失信息、延遲信息、抖動(dòng)信息等)等。


圖1A至圖1C是示出根據(jù)本發(fā)明一實(shí)施方式的發(fā)送端視頻質(zhì)量評(píng)價(jià)系統(tǒng)的結(jié)構(gòu)的圖；圖2A至圖2C是示出根據(jù)本發(fā)明另一實(shí)施方式的接收端視頻質(zhì)量評(píng) 價(jià)系統(tǒng)的結(jié)構(gòu)的圖；圖3是示出一個(gè)示例的圖，在該示例中由于傳輸誤差導(dǎo)致在錯(cuò)誤時(shí) 間播放經(jīng)解碼的視頻；圖4是根據(jù)本發(fā)明一實(shí)施方式的發(fā)送端視頻質(zhì)量評(píng)價(jià)方法的流程 圖；以及圖5是根據(jù)本發(fā)明另一實(shí)施方式的接收端視頻質(zhì)量評(píng)價(jià)方法的流程圖。
具體實(shí)施方式
從結(jié)合附圖進(jìn)行的以下詳細(xì)描述中，本發(fā)明的以上和其他目的、特 征及其他優(yōu)點(diǎn)將更加清楚地得以理解。圖1A至圖1C是示出根據(jù)本發(fā)明一實(shí)施方式的發(fā)送端視頻質(zhì)量評(píng)價(jià) 系統(tǒng)的結(jié)構(gòu)的圖，該圖示出了對(duì)發(fā)送端的經(jīng)編碼的視頻的視頻質(zhì)量進(jìn)行 評(píng)價(jià)的視頻發(fā)送器。圖1A至圖1C分別示出了利用全參考方法、無參考 方法和簡(jiǎn)化參考方法的方案。如果沒有出現(xiàn)傳輸誤差，則所接收視頻的 視頻質(zhì)量與經(jīng)編碼的視頻的視頻質(zhì)量相同。如圖1A中所示，基于根據(jù)本發(fā)明的全參考方法評(píng)價(jià)視頻質(zhì)量的發(fā)送 器100包括源視頻輸入單元110、編碼單元120、解碼單元130和視頻質(zhì) 量評(píng)價(jià)單元140，并利用參考視頻和處理后的視頻對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。源視頻輸入單元110輸入原始視頻(源視頻)，可以利用從外部裝置接收視頻的輸入裝置或者用于預(yù)先存儲(chǔ)視頻的預(yù)定裝置實(shí)現(xiàn)源視頻輸入 單元110。編碼單元120對(duì)源視頻進(jìn)行編碼(壓縮)，并且將經(jīng)編碼的視頻數(shù)據(jù) 提供給解碼單元130。在本發(fā)明中，為了利用編解碼器信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)，編碼單元120將在編碼過程中獲取的信息中的對(duì)視頻質(zhì)量評(píng)價(jià) 有用的輔助信息提供給視頻質(zhì)量評(píng)價(jià)單元140。在這種情況下，該輔助信息可以包括編解碼器類型信息、比特率、每秒的幀數(shù)(FPS)、表示相鄰塊之間不連續(xù)性的塊效應(yīng)水平、運(yùn)動(dòng)量、 殘留誤差信息等。下面描述編碼單元120的輔助信息與視頻質(zhì)量評(píng)價(jià)之間的關(guān)系。首先，由于相同比特率的視頻質(zhì)量根據(jù)編解碼器的類型而變化很大， 所以與編解碼器有關(guān)的信息對(duì)視頻質(zhì)量評(píng)價(jià)非常有用。另外，比特率是 使得能夠預(yù)測(cè)總體視頻質(zhì)量的信息，被不同地分配給每個(gè)幀的關(guān)于比特 率的信息可能是對(duì)局部變化的視頻質(zhì)量進(jìn)行預(yù)測(cè)時(shí)的非常重要的信息。另外，當(dāng)每秒的幀數(shù)(FPS)低時(shí)，運(yùn)動(dòng)看起來不自然，所以FPS 成為與視頻質(zhì)量退化有關(guān)的重要因素。當(dāng)利用低于源視頻的FPS的FPS 對(duì)視頻進(jìn)行編碼時(shí)，與經(jīng)編碼的幀在時(shí)間軸上的位置有關(guān)的信息也是視 頻質(zhì)量評(píng)價(jià)中的重要信息，因此被發(fā)送到視頻質(zhì)量評(píng)價(jià)單元140。另外，與塊效應(yīng)水平有關(guān)的信息是引起視頻質(zhì)量退化的非常重要的 因素，但是根據(jù)退化的視頻不容易計(jì)算塊效應(yīng)水平。尤其是，在最新的 編解碼器中，由于塊大小不同，所以很難找到塊之間的邊界。然而，編 碼單元120可以準(zhǔn)確地檢測(cè)到塊的位置，并且準(zhǔn)確地預(yù)測(cè)塊效應(yīng)水平， 于是編碼單元120將與預(yù)測(cè)出的塊效應(yīng)水平有關(guān)的信息發(fā)送到視頻質(zhì)量 評(píng)價(jià)單元140，從而能夠準(zhǔn)確地預(yù)測(cè)視頻質(zhì)量。如果采用塊效應(yīng)消除技術(shù)， 則關(guān)于塊效應(yīng)消除的信息也被發(fā)送到視頻質(zhì)量評(píng)價(jià)單元140。另外，即使各個(gè)視頻數(shù)據(jù)具有相同的比特率，經(jīng)編碼的視頻數(shù)據(jù)的 質(zhì)量也根據(jù)視頻內(nèi)容而發(fā)生很大變化。即，即使在比特率低的情況下， 運(yùn)動(dòng)較小的視頻也提供了相對(duì)高的視頻質(zhì)量，而即使在比特率高的情況 下，具有大量運(yùn)動(dòng)的視頻也會(huì)由于運(yùn)動(dòng)量而引起視頻質(zhì)量劣化。因此， 與這種運(yùn)動(dòng)量有關(guān)的信息也被發(fā)送到視頻質(zhì)量評(píng)價(jià)單元140。.另外，編碼單元120可以在執(zhí)行編碼之后獲取與每個(gè)塊的殘留誤差
有關(guān)的準(zhǔn)確信息，并且可以計(jì)算每個(gè)頻率區(qū)域的誤差。這種信息對(duì)于預(yù) 測(cè)低比特率下的塊效應(yīng)水平或者預(yù)測(cè)高比特率下的細(xì)微誤差是非常有用 的。因此，編碼單元120將包括每個(gè)頻率的殘留誤差的殘留誤差信息發(fā)送到視頻質(zhì)量評(píng)價(jià)單元140。接下來，為了評(píng)價(jià)通過網(wǎng)絡(luò)從發(fā)送器ioo接收經(jīng)編碼的視頻數(shù)據(jù)的接收端的視頻質(zhì)量，解碼單元130對(duì)經(jīng)編碼視頻數(shù)據(jù)進(jìn)行解碼，并且輸 出將由用于接收經(jīng)編碼的視頻數(shù)據(jù)的接收器通過解碼過程獲取的視頻。視頻質(zhì)量評(píng)價(jià)單元140利用從解碼單元130接收的視頻、從源視頻 輸入單元110接收的源視頻和從編碼單元120接收的各種輔助信息預(yù)測(cè) 接收端的視頻質(zhì)量。同時(shí)，在本發(fā)明中，視頻質(zhì)量評(píng)價(jià)單元140利用各種方法(例如， 全參考方法、簡(jiǎn)化參考方法和無參考方法)對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)，并且 還可以根據(jù)視頻質(zhì)量評(píng)價(jià)方法而包括一些附加的組件。艮卩，如圖1B中所示，當(dāng)采用無參考方法時(shí)，視頻質(zhì)量評(píng)價(jià)單元140 不從源視頻輸入單元IIO接收源視頻。即，圖1B中的視頻質(zhì)量評(píng)價(jià)單元 140僅利用通過解碼過程處理的視頻對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)，而不利用與參 考視頻有關(guān)的任何信息。這種方法用來分析包含在運(yùn)動(dòng)圖像專家組2傳 輸流(MPEG-2TS)中的比特流，并對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。另外，如圖1C中所示，當(dāng)采用簡(jiǎn)化參考方法時(shí)，發(fā)送器100還包括 特征提取單元150。視頻質(zhì)量評(píng)價(jià)單元140僅從特征提取單元150接收從 源視頻提取的參數(shù)，而不從源視頻輸入單元110直接接收源視頻，從而 通過對(duì)所述參數(shù)進(jìn)行比較來評(píng)價(jià)視頻質(zhì)量。接下來，圖2A至圖2C是示出根據(jù)本發(fā)明另一實(shí)施方式的接收端視 頻質(zhì)量評(píng)價(jià)系統(tǒng)的結(jié)構(gòu)的圖，這些圖示出了能夠使接收端對(duì)視頻質(zhì)量進(jìn) 行評(píng)價(jià)的視頻接收器的結(jié)構(gòu)。圖2A至圖2C分別例示了利用無參考方法、全參考方法和簡(jiǎn)化參考方法的方案。如圖2A中所示，視頻發(fā)送器200包括接收數(shù)據(jù)輸入單元210、解碼 單元220和視頻質(zhì)量評(píng)價(jià)單元230。接收數(shù)據(jù)輸入單元210通過網(wǎng)絡(luò)接收被視頻發(fā)送器編碼的視頻，并 且將經(jīng)編碼的視頻數(shù)據(jù)發(fā)送到解碼單元220。解碼單元220通過對(duì)經(jīng)編碼的視頻數(shù)據(jù)進(jìn)行解碼而生成接收的視 頻，并且將接收的視頻發(fā)送到視頻質(zhì)量評(píng)價(jià)單元230。另外，在本發(fā)明中， 為了將在解碼過程中獲取的信息用于視頻質(zhì)量評(píng)價(jià)，解碼單元220將在 解碼過程中獲取的信息中的視頻質(zhì)量評(píng)價(jià)所需的輔助信息發(fā)送到視頻質(zhì) 量評(píng)價(jià)單元230。在這種情況下，輔助信息可以包括編解碼器類型信息、比特率、每 秒的幀數(shù)(FPS)、每個(gè)幀在時(shí)間軸上的位置、塊位置信息、表示相鄰塊 之間不連續(xù)性的塊效應(yīng)水平、運(yùn)動(dòng)量、每個(gè)頻率的傳輸比特信息、殘留 誤差信息、傳輸誤差信息(比特誤差信息、分組丟失信息、延遲信息、 抖動(dòng)信息等)等。下面將描述解碼單元220的輔助信息與視頻質(zhì)量評(píng)價(jià)之間的關(guān)系。 首先，與編碼過程類似，由于相同比特率的視頻質(zhì)量根據(jù)編解碼器 類型而變化很大，因此與編解碼器有關(guān)的信息對(duì)視頻質(zhì)量評(píng)價(jià)非常有用。 比特率是使得能夠預(yù)測(cè)總體視頻質(zhì)量的信息，被不同地分配給每個(gè)幀的 關(guān)于比特率的信息可能是對(duì)局部變化的視頻質(zhì)量進(jìn)行預(yù)測(cè)時(shí)的重要信息o另外，當(dāng)FPS低時(shí)，運(yùn)動(dòng)看起來不自然，所以FPS是與視頻質(zhì)量退 化有關(guān)的重要因素。當(dāng)利用低于源視頻的FPS的FPS對(duì)視頻進(jìn)行編碼時(shí)， 與經(jīng)編碼的幀在時(shí)間軸上的位置有關(guān)的信息也是視頻質(zhì)量評(píng)價(jià)中的重要 信息，因此被發(fā)送到視頻質(zhì)量評(píng)價(jià)單元230。另外，與塊效應(yīng)水平有關(guān)的信息是感知的視頻質(zhì)量劣化的非常重要 的因素，但是根據(jù)退化的視頻不容易計(jì)算塊效應(yīng)水平。具體地說，在最 新的編解碼器中，由于塊大小不同，所以很難找到塊之間的邊界。然而, 解碼單元220可以準(zhǔn)確地檢測(cè)到塊的位置，并且準(zhǔn)確地預(yù)測(cè)塊效應(yīng)水平。 因此，解碼單元220將與預(yù)測(cè)的塊效應(yīng)水平有關(guān)的信息與塊位置信息一 起發(fā)送到視頻質(zhì)量評(píng)價(jià)單元230，從而準(zhǔn)確地預(yù)測(cè)視頻質(zhì)量。另外，即使各視頻數(shù)據(jù)具有相同的比特率，經(jīng)編碼的視頻數(shù)據(jù)的質(zhì) 量也根據(jù)視頻內(nèi)容而變化很大。即，即使在比特率低的情況下，運(yùn)動(dòng)較
小的視頻也提供了相對(duì)高的視頻質(zhì)量，而即使在比特率高的情況下，具 有大量運(yùn)動(dòng)的視頻也會(huì)由于運(yùn)動(dòng)量而引起視頻質(zhì)量劣化。另外，當(dāng)僅提供源視頻時(shí)，可以通過解碼單元220對(duì)每個(gè)頻率計(jì)算殘留誤差。然而，即使不存在作為參考的源視頻，解碼單元220也可以 對(duì)每個(gè)頻率計(jì)算傳輸能量，并且將與該傳輸能量有關(guān)的信息發(fā)送到視頻 質(zhì)量評(píng)價(jià)單元230，從而提高視頻質(zhì)量評(píng)價(jià)的性能。另外，傳輸誤差信息(例如，比特誤差、分組丟失、延遲或抖動(dòng)) 是視頻質(zhì)量評(píng)價(jià)中的重要因素。解碼單元220將與任何傳輸誤差有關(guān)的 信息發(fā)送到視頻質(zhì)量評(píng)價(jià)單元230，從而能夠準(zhǔn)確地評(píng)價(jià)視頻質(zhì)量。同時(shí)，根據(jù)本發(fā)明的視頻質(zhì)量評(píng)價(jià)單元230可以利用各種方法(例 如，全參考方法、簡(jiǎn)化參考方法或無參考方法)對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。 接收器200根據(jù)視頻質(zhì)量評(píng)價(jià)方法還可以包括一些附加的組件。艮卩，如圖2B中所示，當(dāng)采用全參考方法時(shí)，接收器200還包括源視 頻輸入單元240。視頻質(zhì)量評(píng)價(jià)單元230從源視頻輸入單元240接收源視 頻。因此，圖2B中的視頻質(zhì)量評(píng)價(jià)單元230利用源視頻和接收的視頻對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。另外，如圖2C中所示，當(dāng)釆用簡(jiǎn)化參考方法時(shí)，接收器200還包括 源視頻輸入單元240和特征提取單元250。源視頻輸入單元240將源視頻 提供給特征提取單元250，特征提取單元250從該源視頻中提取視頻質(zhì)量 評(píng)價(jià)所需的參數(shù)，并且將所述參數(shù)發(fā)送到視頻質(zhì)量評(píng)價(jià)單元230。因此， 視頻質(zhì)量評(píng)價(jià)單元230僅從特征提前單元250接收從源視頻中提取的參 數(shù)，并且通過對(duì)這些參數(shù)進(jìn)行比較來評(píng)價(jià)視頻質(zhì)量。圖3是示出一個(gè)示例的圖，在該示例中，由于傳輸誤差而導(dǎo)致在錯(cuò) 誤時(shí)間播放經(jīng)解碼的視頻。解碼單元220可以相對(duì)容易地提取與時(shí)間軸 上的這種誤差有關(guān)的信息，并且將提取的誤差信息發(fā)送到視頻質(zhì)量評(píng)價(jià) 單元230,從而能夠準(zhǔn)確地對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。因此，根據(jù)本發(fā)明的視頻質(zhì)量評(píng)價(jià)單元230利用都是從解碼單元220 接收的經(jīng)解碼的視頻和各種輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。圖4是根據(jù)本發(fā)明一實(shí)施方式的發(fā)送端視頻質(zhì)量評(píng)價(jià)方法的流程
圖，該流程圖示出了在根據(jù)圖1A實(shí)施方式的發(fā)送器中對(duì)視頻質(zhì)量進(jìn)行評(píng) 價(jià)的處理。如圖中所示，在步驟S101中，發(fā)送器100的源視頻輸入單元110向 編碼單元120和視頻質(zhì)量評(píng)價(jià)單元140提供源視頻。在步驟S102中，編碼單元120對(duì)從源視頻輸入單元110接收的源視 頻進(jìn)行編碼，并且將經(jīng)編碼的源視頻發(fā)送到解碼單元130。在步驟S103 中，將在編碼過程中獲取的輔助信息發(fā)送到視頻質(zhì)量評(píng)價(jià)單元140。己經(jīng) 參照?qǐng)D1描述了輔助信息，所以省略對(duì)輔助信息的詳細(xì)描述。接下來，在步驟S104中，解碼單元130將對(duì)經(jīng)編碼的數(shù)據(jù)進(jìn)行解碼 而獲得的視頻發(fā)送到視頻質(zhì)量評(píng)價(jià)單元140。在步驟S105中，視頻質(zhì)量 評(píng)價(jià)單元140利用在步驟S101中接收的源視頻、在步驟S103中接收的 輔助信息以及在步驟S104中接收的經(jīng)解碼的視頻，對(duì)接收端的視頻質(zhì)量 進(jìn)行評(píng)價(jià)。同時(shí)，上述實(shí)施方式涉及基于圖1A中的全參考方法對(duì)視頻質(zhì)量進(jìn)行 評(píng)價(jià)的處理。如果基于圖1B中的無參考方法對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)，則在 步驟S101中，源視頻輸入單元110僅將源視頻提供給編碼單元120。在 步驟S105中，視頻質(zhì)量評(píng)價(jià)單元140僅利用輔助信息和經(jīng)解碼的視頻對(duì) 視頻質(zhì)量進(jìn)行評(píng)價(jià)。另外，如果基于圖1C中的簡(jiǎn)化參考方法對(duì)視頻質(zhì)量 進(jìn)行評(píng)價(jià)，則源視頻輸入單元110將源視頻提供給編碼單元120和特征 提取單元150。在步驟S105中，視頻質(zhì)量評(píng)價(jià)單元MO從特征提取單元 150接收特征參數(shù)，并且利用輔助信息、經(jīng)解碼的視頻和特征參數(shù)對(duì)視頻 質(zhì)量進(jìn)行評(píng)價(jià)。接著，圖5是根據(jù)本發(fā)明另一實(shí)施方式的接收端視頻質(zhì)量評(píng)價(jià)方法 的流程圖，該流程圖示出了在根據(jù)圖2A實(shí)施方式的接收器中對(duì)視頻質(zhì)量 進(jìn)行評(píng)價(jià)的處理。如圖中所示，當(dāng)在步驟S201中視頻接收器200的接收數(shù)據(jù)輸入單元 210將通過網(wǎng)絡(luò)接收的經(jīng)編碼的視頻數(shù)據(jù)提供給解碼單元220時(shí)，在步驟 S202中，解碼單元220對(duì)接收的數(shù)據(jù)進(jìn)行解碼，并且將經(jīng)解碼的視頻發(fā) 送到視頻質(zhì)量評(píng)價(jià)單元230。 另外，在步驟S203中，解碼單元220將在解碼過程中獲取的信息中 的視頻質(zhì)量評(píng)價(jià)所需的輔助信息與經(jīng)解碼的視頻一起發(fā)送到視頻質(zhì)量評(píng) 價(jià)單元230。已經(jīng)參照?qǐng)D2描述了輔助信息，所以省略對(duì)輔助信息的詳細(xì)描述o在步驟S204中，視頻質(zhì)量評(píng)價(jià)單元230利用都是從解碼單元220接 收的經(jīng)解碼的視頻和輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。對(duì)接收端的視頻質(zhì) 量進(jìn)行評(píng)價(jià)的一個(gè)重要目的是監(jiān)視發(fā)送端的視頻質(zhì)量，因此，視頻質(zhì)量 評(píng)價(jià)單元230優(yōu)選地將視頻質(zhì)量評(píng)價(jià)的結(jié)果提供給發(fā)送器。同時(shí)，上述實(shí)施方式涉及基于圖2A的無參考方法對(duì)視頻質(zhì)量進(jìn)行評(píng) 價(jià)的處理。如果基于圖2B的全參考方法對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)，則在步驟 S204中，視頻質(zhì)量評(píng)價(jià)單元230利用輔助信息、經(jīng)解碼的視頻和從源視 頻輸入單元240接收的源視頻對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。另外，如果基于圖 2C的簡(jiǎn)化參考方法對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)，則在步驟S204中，視頻質(zhì)量 評(píng)價(jià)單元230從特征提取單元250接收特征參數(shù)，并且利用輔助信息、 經(jīng)解碼的視頻和特征參數(shù)對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。本領(lǐng)域技術(shù)人員應(yīng)該理解，在不脫離本發(fā)明的技術(shù)精神和本質(zhì)特征 的情況下，可以用其他實(shí)施方式實(shí)現(xiàn)本發(fā)明，所以上面的實(shí)施方式僅是 示例性的，而不是限制性的。本發(fā)明的范圍由附加權(quán)利要求限定，而不 是由詳細(xì)的說明書限定?？梢詮臋?quán)利要求及其等同構(gòu)思的意思和范圍得 出的所有修改和變型應(yīng)該被解釋為包含在本發(fā)明的范圍內(nèi)。工業(yè)實(shí)用性因此，本發(fā)明提供了一種利用編解碼器的輔助信息對(duì)視頻質(zhì)量進(jìn)行 評(píng)價(jià)的系統(tǒng)和方法，該系統(tǒng)和方法將可以通過視頻編解碼器的編碼器或 解碼器提供的輔助信息用于視頻質(zhì)量評(píng)價(jià)，從而提高了視頻質(zhì)量客觀評(píng) 價(jià)的性能。
權(quán)利要求
1、一種利用編解碼器的輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)的系統(tǒng)，所述系統(tǒng)包括視頻發(fā)送器，所述視頻發(fā)送器包括用于輸入源視頻的源視頻輸入單元、用于對(duì)輸入的源視頻進(jìn)行編碼的編碼單元、用于對(duì)經(jīng)編碼的視頻數(shù)據(jù)進(jìn)行解碼的解碼單元以及利用經(jīng)解碼的視頻數(shù)據(jù)對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)的視頻質(zhì)量評(píng)價(jià)單元，其中所述編碼單元向所述視頻質(zhì)量評(píng)價(jià)單元發(fā)送在編碼過程中獲取的信息中的視頻質(zhì)量評(píng)價(jià)所需的輔助信息，并且所述視頻質(zhì)量評(píng)價(jià)單元利用從所述解碼單元接收的經(jīng)解碼的視頻數(shù)據(jù)和從所述編碼單元接收的所述輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。
2、 根據(jù)權(quán)利要求1所述的視頻質(zhì)量評(píng)價(jià)系統(tǒng)，其中 所述源視頻輸入單元將源視頻發(fā)送到所述視頻質(zhì)量評(píng)價(jià)單元，并且 所述視頻質(zhì)量評(píng)價(jià)單元利用從所述源視頻輸入單元接收的源視頻、從所述解碼單元接收的經(jīng)解碼的視頻數(shù)據(jù)以及從所述編碼單元接收的所 述輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。
3、 根據(jù)權(quán)利要求1所述的視頻質(zhì)量評(píng)價(jià)系統(tǒng)，其中 所述視頻發(fā)送器還包括特征提取單元，所述特征提取單元用于從源視頻提取特征參數(shù)，并且將特征參數(shù)發(fā)送到所述視頻質(zhì)量評(píng)價(jià)單元， 所述源視頻輸入單元將源視頻提供給所述特征提取單元，并且 所述視頻質(zhì)量評(píng)價(jià)單元利用從所述解碼單元接收的經(jīng)解碼的視頻數(shù)據(jù)、從所述特征提取單元接收的特征參數(shù)和從所述編碼單元接收的所述輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。
4、 根據(jù)權(quán)利要求1到3中的任何一項(xiàng)所述的視頻質(zhì)量評(píng)價(jià)系統(tǒng)，其 中，所述輔助信息包括以下信息中的至少一種編解碼器類型信息、比 特率、每秒的幀數(shù)、每個(gè)幀在時(shí)間軸上的位置、表示相鄰塊之間不連續(xù) 性的塊效應(yīng)水平、運(yùn)動(dòng)量和每個(gè)頻率的殘留誤差信息。
5、 一種利用編解碼器的輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)的系統(tǒng)，所述 系統(tǒng)包括視頻接收器，所述視頻接收器包括通過網(wǎng)絡(luò)從視頻發(fā)送器接 收經(jīng)編碼的視頻數(shù)據(jù)的接收數(shù)據(jù)輸入單元、通過對(duì)經(jīng)編碼的視頻數(shù)據(jù)進(jìn) 行解碼來生成接收的視頻的解碼單元以及利用經(jīng)解碼的視頻對(duì)視頻質(zhì)量 進(jìn)行評(píng)價(jià)的視頻質(zhì)量評(píng)價(jià)單元，其中所述解碼單元向所述視頻質(zhì)量評(píng)價(jià)單元發(fā)送在解碼過程中獲取的信 息中的視頻質(zhì)量評(píng)價(jià)所需的輔助信息，并且所述視頻質(zhì)量評(píng)價(jià)單元利用都是從所述解碼單元接收的經(jīng)解碼的視 頻和所述輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。
6、 根據(jù)權(quán)利要求5所述的視頻質(zhì)量評(píng)價(jià)系統(tǒng)，其中 所述視頻接收器還包括用于將源視頻提供給所述視頻質(zhì)量評(píng)價(jià)單元的源視頻輸入單元，并且所述視頻質(zhì)量評(píng)價(jià)單元利用所述輔助信息、從所述解碼單元接收的 經(jīng)解碼的視頻以及從所述源視頻輸入單元接收的源視頻對(duì)視頻質(zhì)量進(jìn)行 評(píng)價(jià)。
7、 根據(jù)權(quán)利要求5所述的視頻質(zhì)量評(píng)價(jià)系統(tǒng)，其中 所述視頻接收器還包括特征提取單元，所述特征提取單元用于從源視頻提取特征參數(shù)，并將特征參數(shù)發(fā)送到所述視頻質(zhì)量評(píng)價(jià)單元；以 及源視頻輸入單元，所述源視頻輸入單元將源視頻提供給所述特征提取 單元，并且所述視頻質(zhì)量評(píng)價(jià)單元利用所述輔助信息、從所述解碼單元接收的 經(jīng)解碼的視頻以及從所述特征提取單元接收的特征參數(shù)對(duì)視頻質(zhì)量進(jìn)行 評(píng)價(jià)。
8、 根據(jù)權(quán)利要求5至7中的任何一項(xiàng)所述的視頻質(zhì)量評(píng)價(jià)系統(tǒng)，其中，所述輔助信息包括以下信息中的至少一種編解碼器類型信息、比 特率、每秒的幀數(shù)、每個(gè)幀在時(shí)間軸上的位置、塊位置信息、表示相鄰 塊之間不連續(xù)性的塊效應(yīng)水平、運(yùn)動(dòng)量、每個(gè)頻率的傳輸比特信息、每 個(gè)頻率的殘留誤差信息和傳輸誤差信息。
9、 根據(jù)權(quán)利要求8所述的視頻質(zhì)量評(píng)價(jià)系統(tǒng)，其中，所述傳輸誤差信息包括比特誤差信息、分組丟失信息、延遲信息和抖動(dòng)信息中的至少 一種。
10、 一種在視頻發(fā)送器中利用編解碼器的輔助信息對(duì)視頻質(zhì)量進(jìn)行 評(píng)價(jià)的方法，所述視頻發(fā)送器包括源視頻輸入單元、編碼單元、解碼 單元和利用經(jīng)解碼的視頻數(shù)據(jù)對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)的視頻質(zhì)量評(píng)價(jià)單 元，所述視頻發(fā)送器對(duì)接收端的視頻質(zhì)量進(jìn)行評(píng)價(jià)，所述方法包括以下 步驟第一步驟，所述源視頻輸入單元向所述編碼單元提供源視頻；第二步驟，所述編碼單元對(duì)源視頻進(jìn)行編碼，將經(jīng)編碼的視頻數(shù)據(jù) 發(fā)送到所述解碼單元，并將在編碼過程中獲取的信息中的視頻質(zhì)量評(píng)價(jià) 所需的輔助信息發(fā)送到所述視頻質(zhì)量評(píng)價(jià)單元；第三步驟，所述解碼單元對(duì)經(jīng)編碼的視頻數(shù)據(jù)進(jìn)行解碼，并將經(jīng)解 碼的視頻發(fā)送到所述視頻質(zhì)量評(píng)價(jià)單元；以及第四步驟，所述視頻質(zhì)量評(píng)價(jià)單元利用經(jīng)解碼的視頻和所述輔助信 息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。
11、 根據(jù)權(quán)利要求IO所述的視頻質(zhì)量評(píng)價(jià)方法，其中執(zhí)行所述第一步驟，使得所述源視頻輸入單元將源視頻提供給所述 編碼單元和所述視頻質(zhì)量評(píng)價(jià)單元，并且執(zhí)行所述第四步驟，使得所述視頻質(zhì)量評(píng)價(jià)單元利用源視頻、經(jīng)解 碼的視頻和所述輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。
12、 根據(jù)權(quán)利要求10所述的視頻質(zhì)量評(píng)價(jià)方法，其中 所述視頻發(fā)送器還包括特征提取單元，用于從源視頻提取特征參數(shù)，執(zhí)行所述第一步驟，使得所述源視頻輸入單元將源視頻提供給所述 編碼單元和所述特征提取單元，并且執(zhí)行所述第四步驟，使得所述視頻質(zhì)量評(píng)價(jià)單元從所述特征提取單 元接收特征參數(shù)并且利用所述特征參數(shù)、經(jīng)解碼的視頻和所述輔助信息 對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。
13、 根據(jù)權(quán)利要求10到12中的任何一項(xiàng)所述的視頻質(zhì)量評(píng)價(jià)方法， 其中，在所述第二步驟中，所述輔助信息包括以下信息中的至少一種編解碼器類型信息、比特率、每秒的幀數(shù)、每個(gè)幀在時(shí)間軸上的位置、 表示相鄰塊之間不連續(xù)性的塊效應(yīng)水平、運(yùn)動(dòng)量和每個(gè)頻率的殘留誤差 伶自IFI尼、o
14、 一種在視頻接收器中利用編解碼器的輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)的方法，所述視頻接收器包括接收數(shù)據(jù)輸入單元、解碼單元和利 用經(jīng)解碼的視頻數(shù)據(jù)對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)的視頻質(zhì)量評(píng)價(jià)單元，所述視 頻接收器通過網(wǎng)絡(luò)從視頻發(fā)送器接收經(jīng)編碼的視頻數(shù)據(jù)并對(duì)視頻質(zhì)量進(jìn) 行評(píng)價(jià)，所述方法包括以下步驟第一步驟，所述接收數(shù)據(jù)輸入單元向所述解碼單元提供通過網(wǎng)絡(luò)接 收的經(jīng)編碼的視頻數(shù)據(jù)；第二步驟，所述解碼單元通過對(duì)經(jīng)編碼的視頻數(shù)據(jù)進(jìn)行解碼而生成 接收的視頻，并且與接收的視頻一起將在解碼過程中獲取的信息中的視 頻質(zhì)量評(píng)價(jià)所需的輔助信息發(fā)送到所述視頻質(zhì)量評(píng)價(jià)單元；以及第三步驟，所述視頻質(zhì)量評(píng)價(jià)單元利用都是從所述解碼單元接收的 經(jīng)解碼的視頻和所述輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。
15、 根據(jù)權(quán)利要求14所述的視頻質(zhì)量評(píng)價(jià)方法，其中 所述視頻接收器還包括源視頻輸入單元，并且 執(zhí)行所述第三步驟，使得所述視頻質(zhì)量評(píng)價(jià)單元從所述源視頻輸入單元接收源視頻，并且利用源視頻、所述輔助信息和從所述解碼單元接 收的經(jīng)解碼的視頻對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。
16、 根據(jù)權(quán)利要求14所述的視頻質(zhì)量評(píng)價(jià)方法，其中所述視頻接收器還包括源視頻輸入單元和用于從源視頻提取特征參數(shù)的特征提取單元，并且執(zhí)行所述第三步驟，使得所述視頻質(zhì)量評(píng)價(jià)單元從所述特征提取單 元接收特征參數(shù)，并且利用所述特征參數(shù)、所述輔助信息和從所述解碼 單元接收的經(jīng)解碼的視頻對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。
17、 根據(jù)權(quán)利要求14至16中的任何一項(xiàng)所述的視頻質(zhì)量評(píng)價(jià)方法， 其中，在所述第二步驟中，所述輔助信息包括以下信息中的至少一種編解碼器類型信息、比特率、每秒的幀數(shù)、每個(gè)幀在時(shí)間軸上的位置、 塊位置信息、表示相鄰塊之間不連續(xù)性的塊效應(yīng)水平、運(yùn)動(dòng)量、每個(gè)頻 率的傳輸比特信息、每個(gè)頻率的殘留誤差信息和傳輸誤差信息。
18、根據(jù)權(quán)利要求17所述的視頻質(zhì)量評(píng)價(jià)方法，其中，所述傳輸誤 差信息包括比特誤差信息、分組丟失信息、延遲信息和抖動(dòng)信息中的至 少一種。
全文摘要
本發(fā)明涉及利用編解碼器的輔助信息進(jìn)行視頻質(zhì)量測(cè)量的系統(tǒng)和方法。一種利用編解碼器的輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)的系統(tǒng)，所述系統(tǒng)包括視頻發(fā)送器，所述視頻發(fā)送器包括用于輸入源視頻的源視頻輸入單元、用于對(duì)輸入的源視頻進(jìn)行編碼的編碼單元、用于對(duì)經(jīng)編碼的視頻數(shù)據(jù)進(jìn)行解碼的解碼單元以及利用經(jīng)解碼的視頻數(shù)據(jù)對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)的視頻質(zhì)量評(píng)價(jià)單元。其中，所述編碼單元向所述視頻質(zhì)量評(píng)價(jià)單元發(fā)送在編碼過程中獲取的信息中的視頻質(zhì)量評(píng)價(jià)所需的輔助信息，并且所述視頻質(zhì)量評(píng)價(jià)單元利用從所述解碼單元接收的經(jīng)解碼的視頻數(shù)據(jù)和從所述編碼單元接收的所述輔助信息對(duì)視頻質(zhì)量進(jìn)行評(píng)價(jià)。
文檔編號(hào)H04N17/00GK101213846SQ200680024102
公開日2008年7月2日 申請(qǐng)日期2006年5月30日 優(yōu)先權(quán)日2005年5月30日
發(fā)明者樸鉉仲, 李哲熙, 李尚雨, 李重潤(rùn), 蔡尚昊 申請(qǐng)人:Sk泰力康姆株式會(huì)社;延世大學(xué)校 產(chǎn)學(xué)協(xié)力團(tuán)