用于估計視頻質(zhì)量評估的內(nèi)容復(fù)雜度的方法和裝置的制造方法
【專利說明】
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求2012年8月27日提交的TO國際申請?zhí)朠CT/CN2012/080632的權(quán)益。
技術(shù)領(lǐng)域
[0003] 本發(fā)明涉及一種視頻質(zhì)量測量，并且更具體地，涉及一種用于確定比特流級別的 視頻質(zhì)量度量的方法和裝置。所確定的視頻質(zhì)量度量可以隨后用于例如調(diào)整編碼參數(shù)，或 提供接收器側(cè)的所要求的視頻質(zhì)量。
【背景技術(shù)】
[0004] 通常，視頻內(nèi)容紋理越多或越復(fù)雜，人眼可以容忍的視頻內(nèi)容中的偽像越多。也就 是說，當(dāng)通過人眼觀看視頻內(nèi)容時，視覺偽像可以被視頻內(nèi)容本身屏蔽。人眼的該屬性被認(rèn) 為是屏蔽屬性或屏蔽效應(yīng)。因此，可以在視覺質(zhì)量評估中考慮內(nèi)容復(fù)雜度。
[0005] 在我們先前的工作中，我們估計內(nèi)容不可預(yù)測性（CU)參數(shù)以指示內(nèi)容復(fù)雜度。在 F. Zhang、N. Liao、K. Xie 和 Z. Chen 的、名稱為"Method and apparatus for video quality measurement"的共同擁有的PCT申請中（PCT/CN11/002096,代理人案號PA110061，在下文 中"Zhangl"），其教導(dǎo)通過引用具體合并于此，我們公開了一種用于使用量化參數(shù)（QP)預(yù) 測視頻質(zhì)量的方法，該參數(shù)通過取決于內(nèi)容不可預(yù)測性的校正函數(shù)而調(diào)整。
[0006] 在 F. Zhang、N. Liao、K. Xie 和 Z. Chen 的、名稱為 "Video quality measurement" 的另一共同擁有的PCT申請中（PCT/CN2011/082870,代理人案號PA110050,在下文中 "Zhang2"），其教導(dǎo)通過引用具體合并于此，我們公開了一種用于使用從比特流推導(dǎo)的參數(shù) (例如，量化參數(shù)、內(nèi)容不可預(yù)測性參數(shù)、丟失塊的比例、傳播塊的比例、錯誤隱藏距離、運動 向量、凍結(jié)持續(xù)時間和幀速率）來估計壓縮失真因子、切片失真因子和凍結(jié)失真因子的方 法。

【發(fā)明內(nèi)容】

[0007] 本原理提供一種用于評估被包括在比特流中的視頻的視頻質(zhì)量的方法，包括如下 所述的下列步驟：響應(yīng)于視頻中的畫面的塊的預(yù)測殘差確定內(nèi)容不可預(yù)測性參數(shù)；響應(yīng)于 塊的編碼配置縮放內(nèi)容不可預(yù)測性參數(shù)；以及響應(yīng)于縮放的內(nèi)容不可預(yù)測性參數(shù)，確定表 示被包括在比特流中的視頻的視頻質(zhì)量的質(zhì)量度量。本原理還提供一種用于執(zhí)行這些步驟 的裝置。
[0008] 本原理還提供一種用于評估被包括在比特流中的視頻的視頻質(zhì)量的方法，包括如 下所述的下列步驟：響應(yīng)于視頻中的畫面的塊的預(yù)測殘差和編碼配置確定內(nèi)容不可預(yù)測性 參數(shù)，其中內(nèi)容不可預(yù)測性參數(shù)指示對塊進(jìn)行預(yù)測的難度；響應(yīng)于編碼配置縮放內(nèi)容不可 預(yù)測性參數(shù)，其中縮放的內(nèi)容不可預(yù)測性參數(shù)的值與具有類似內(nèi)容的另一塊的第二內(nèi)容不 可預(yù)測性參數(shù)的值基本上相同；以及響應(yīng)于確定的內(nèi)容不可預(yù)測性參數(shù)確定表示被包括在 比特流中的視頻的視頻質(zhì)量的質(zhì)量度量。本原理還提供一種用于執(zhí)行這些步驟的裝置。
[0009] 本原理還提供一種計算機(jī)可讀存儲介質(zhì)，在其上存儲用于根據(jù)上述方法評估被包 括在比特流中的視頻的視頻質(zhì)量的指令。
【附圖說明】
[0010] 圖1A是分別描繪被編碼為I、P和B畫面的三個原始畫面的圖示示例，圖1B是描 繪與圖1A對應(yīng)的未處理（raw)的CU參數(shù)的圖示示例，以及圖1C是描繪根據(jù)本原理的實施 例生成的對準(zhǔn)的CU參數(shù)的圖示示例。
[0011] 圖2A是分別描繪被編碼為I、P和B畫面的另外三個原始畫面的另一圖示示例，圖 2B是描繪與圖2A對應(yīng)的未處理的CU參數(shù)的圖示示例，以及圖2C是描繪根據(jù)本原理的實施 例生成的對準(zhǔn)的CU參數(shù)的圖示示例。
[0012] 圖3是分別描繪I、P和B畫面的未處理的⑶參數(shù)分布的圖示示例。
[0013] 圖4是描繪根據(jù)本原理的實施例的基于內(nèi)容復(fù)雜度估計視頻質(zhì)量的示例的流程 圖。
[0014] 圖5是描繪可以與本原理的一個或多個實現(xiàn)方式一起使用的視頻質(zhì)量測量裝置 的示例的框圖。
[0015] 圖6是描繪可以與本原理的一個或多個實現(xiàn)方式一起使用的視頻處理系統(tǒng)的示 例的框圖。
【具體實施方式】
[0016] 已知方差和熵可以用于測量自然圖像的復(fù)雜度。對于一般的信號序列，方差量化 對比度或能量，而摘評估隨機(jī)性或不確定性。在A. B. Watson、R. Borthwick和M. Taylor的 "Image quality and entropy masking"SPIE Proceedings, vol. 3016, 1997 中描述的工作 提出除了對比度和隨機(jī)性之外的、被稱為學(xué)習(xí)能力的另一與復(fù)雜度相關(guān)的特性可以用于測 量內(nèi)容復(fù)雜度。
[0017] 學(xué)習(xí)能力可以被認(rèn)為與可預(yù)測性類似。也就是說，信號可以通過鄰近信號表示的 可能性越高，其可預(yù)測性和學(xué)習(xí)能力越高。在視頻編碼中，幀內(nèi)預(yù)測和幀間預(yù)測通常用于消 除視頻中的冗余。具體地，可以從先前編碼的塊預(yù)測當(dāng)前塊，并且可以對當(dāng)前塊和預(yù)測塊之 間的差（即，預(yù)測殘差），而非當(dāng)前塊本身進(jìn)行編碼。通常，當(dāng)幀內(nèi)預(yù)測或幀間預(yù)測工作良好 時，也就是說，當(dāng)可以從先前編碼的塊良好地預(yù)測當(dāng)前塊時，預(yù)測殘差變小和/或變少。因 此，視頻編碼中的預(yù)測殘差的能量可以是視頻信號多難預(yù)測（即，內(nèi)容不可預(yù)測性）的良好 指示器。在本實施例中，我們使用內(nèi)容不可預(yù)測性來表示內(nèi)容復(fù)雜度。
[0018] 當(dāng)基于預(yù)測殘差定義內(nèi)容可預(yù)測性參數(shù)時，內(nèi)容可預(yù)測性參數(shù)可以被計算為測量 對視頻信號進(jìn)行預(yù)測的難度的參數(shù)。因為在壓縮域中可獲得預(yù)測殘差，因此可以在沒有完 全解碼或獲取解碼的圖像像素的情況下測量內(nèi)容可預(yù)測性參數(shù)，并且因此提高使用CU參 數(shù)，例如Q〇E (經(jīng)驗質(zhì)量）評估和視頻指數(shù)的應(yīng)用的計算效率。
[0019] 大多數(shù)現(xiàn)有視頻壓縮標(biāo)準(zhǔn)，例如H. 264和MPEG-2,使用宏塊（MB)作為基本編碼單 元。因此，下列實施例使用宏塊作為基本處理單元。然而，本原理可以被適配為使用不同大 小的塊，例如8X8塊、16X8塊、32X32塊或64X64塊。
[0020] 在一個實施例中，對于每一個宏塊，可以使用預(yù)測殘差的方差或能量計算CU參 數(shù)，該方差或能量理論上等于平方去量化DCT系數(shù)的和減去去量化DC系數(shù)的平方和。當(dāng)沒 有對宏塊執(zhí)行預(yù)測時，CU參數(shù)可以被計算為像素的能量。也就是說，逆DCT(IDCT)對于計 算CU參數(shù)不是必要的。給定從比特流解析的QP和量化DCT系數(shù)，可以以足夠的精度估計 去量化DCT系數(shù)以便計算CU參數(shù)。
[0021] 在示例中，在Zhangl中，當(dāng)H. 264/AVC用于編碼時，第r個宏塊的⑶參數(shù)可以被 計算為：
[0022]
[0023] 其中常數(shù)Km是H. 264/AVC的宏塊中像素的總數(shù)，即256 ;0,625X 是關(guān)于 H. 264/AVC的QP值計算量化步驟的近似公式；1為第r個宏塊中的分區(qū)（partition)做索 引；11 L表示其中分區(qū)的總數(shù)，例如對于4X4塊分區(qū)為16分區(qū)以及對于8X8塊分區(qū)為4 分區(qū)；非負(fù)k為第r個宏塊的第1個分區(qū)中的量化D