用于客觀感知視頻質量評估的方法和系統(tǒng)的制作方法
【專利摘要】公開了一種用于客觀視頻質量評估的方法和系統(tǒng)。客觀視頻質量評估方法在評價視頻中自動地預測人類視頻質量評估行為，所述視頻包含在視頻采集、存儲、再現、壓縮、傳輸、處理和/或顯示的過程期間生成的制品。本方法和系統(tǒng)計算被評估視頻的五維質量圖，其中，所述圖指示視頻在五維空間中的局部質量變化，其中所述五維空間包括兩個空間維度、一個尺度維度、一個時間維度、和一個失真類型維度。本方法和系統(tǒng)可以在質量圖的生成中以及在將質量圖合并到指示該測試視頻的質量方面的標量或矢量值量度的過程中使用設備和觀看參數中的一個或其組合。
【專利說明】
用于客觀感知視頻質量評估的方法和系統(tǒng)
技術領域
[0001] 本發(fā)明一般設及視頻的客觀質量評估，并且更具體地設及使用自動客觀視頻質量 評估方法來估計和預測正在觀看視頻的人的質量評估行為，所述視頻包含在視頻采集、存 儲、再現、壓縮、傳輸、處理和/或顯示的過程期間生成的各種類型的制品。
【背景技術】
[0002] 在過去幾年中，對于視頻服務的需求已經呈指數增加。視頻數據占據了互聯(lián)網視 頻業(yè)務，并預計在未來幾年將比其他媒體類型增長得快得多。思科預測：到2018年，視頻數 據將占到互聯(lián)網業(yè)務的79%，并且到2018年，移動視頻將代表所有移動數據業(yè)務的=分之 二。習慣了各種多媒體設備的消費者想要一種靈活的數字生活方式，該方式使得高品質的 多媒體內容都跟隨著他們并且在他們使用的任何設備上而無論他們身在何處。因為視頻內 容的感知質量強烈依賴于顯示設備的特性和觀看條件，運強加了用于有效地管理視頻流量 W確保最終用戶的可接受質量體驗(QoE)的顯著挑戰(zhàn)。不考慮用戶QoE的基于網絡吞吐量的 視頻適配會導致較差的視頻QoE或帶寬的浪費。因此，在成本約束下的QoE管理是滿足消費 者和視頻貨幣化服務的關鍵。
[0003] 數字視頻受到在采集、處理、壓縮、存儲、傳輸、再生和顯示期間的各種失真，其中 任何一種可導致視覺質量的下降。對于其中視頻最終要被人類觀看的應用，量化視覺圖像 質量的唯一"正確"的方法是通過主觀評價。然而，在實踐中，主觀評價通常是太不方便、耗 時且昂貴。客觀視頻質量評估(VQA)方法可W自動預測觀看視頻信號的人類的質量評估行 為。VQA方法具有廣泛的應用：1)在不同的視頻采集、處理、壓縮、存儲、傳輸、再生和顯示方 法和系統(tǒng)的性能和視頻質量的評價和比較中；2)在視覺通信系統(tǒng)的控制、維護、流傳輸和資 源分配中；和3)在視頻采集、處理、壓縮、存儲、傳輸、再生和顯示方法和系統(tǒng)的設計和優(yōu)化 中。
[0004] 最簡單和最廣泛使用的現有技術VQA量度是均方誤差(MSE)，其通過平均失真和參 考圖像像素的平方強度差、W及峰值信噪比的相關量(PSNR)而被計算出。MSE和PSNR在優(yōu)化 的上下文中易于計算并且是數學便利的。但是它們沒有很好地匹配感知的視覺質量[1]。最 著名的和有代表性的最先進的現有技術方法包括結構相似性指數(SSIM)[2,3]，多尺度結 構相似性指數(MS-SSIM) [4]，視頻質量度量(VQM) [5]，和基于運動的視頻完整性評價指數 (MOVIE) [6]。所有運些都取得了比MSE/PSNR質量更好的預測性能。在它們之中，通過SSIM和 MS-SSIM獲得了質量預測性能和計算成本的最佳折衷[7]。盡管運樣，它們沒有考慮最終用 戶的觀看設備之間的差異，而運是最終用戶的視覺質量體驗的一個重要因素。例如，當同一 視頻被顯示在不同的觀看設備（如高清電視、數字電視、投影儀、臺式個人電腦、筆記本電 腦、平板電腦和智能電話等)時，該同一視頻的人類質量評估可W顯著不同?，F有技術忽略 了運種差異，并且不包含可W將它們自己調整至觀看設備參數變化的自適應框架和機制。 此外，通過現有技術的方法所提供的質量分析信息是有限的。例如，VQM和MOVIE不提供空間 和時間上的局部質量圖，SSIM不會W不同尺度產生優(yōu)質圖，W及SSIM和MS-SSIM不考慮時間 失真。
[0005] 因此，所需要的是克服至少一些現有技術局限性的對客觀感知視頻質量評估的方 法和系統(tǒng)的改善。

【發(fā)明內容】

[0006] 本公開內容設及用于人類感知的視頻質量的自動客觀質量預測的方法和系統(tǒng)。正 如將在下面更詳細地進一步描述的那樣，在本說明書中描述的一個實施例是"SSIMplus"方 法。
[0007] 在一個實施例中，該方法和系統(tǒng)計算被評估視頻的五維質量圖，其中，所述圖反映 了視頻在五個方面中或者跨越五維空間的局部質量變化，所述五維空間包括空間維度（2 維:水平和垂直）、尺度或空間頻率(1維），時間（1維），和失真類型（1維）。
[0008] 在另一實施例中，方法和系統(tǒng)可W計算較低維度質量圖，其包括在上述段落中描 述的5維的子集。此計算可W導致1維、2維、3維、或者4維質量圖，其存在于上述段落中描述 的5維子空間中。
[0009] 在另一實施例中，該方法和系統(tǒng)將上面5維質量圖或5維質量圖的子集合并到指示 有關測試視頻的質量方面的標量或矢量值量度。例如，通過池化(pooling)整體5維質量圖， 可W使用一個標量指數提供視頻的總體質量的評價。對于另一示例，通過集中在一個時間 實例(在時間維度中的1個固定位置），可W將該質量圖融合到其他四個維度中來計算在一 個特定時間實例處針對視頻的質量評價。對于又一個示例，通過集中一個特定失真類型(在 失真類型維度中的1個固定位置），可W將該質量圖合并到其它四個維度中來計算從1個特 定失真類型的觀點出發(fā)針對視頻的質量或失真評價。
[0010] 在另一個實施例中，該方法和系統(tǒng)在5維質量圖的生成中使用設備和觀看條件相 關的輸入參數。
[0011] 在另一個實施例中，該方法和系統(tǒng)在5維質量圖或5維質量的一個子集合并到指示 有關測試視頻的質量方面的標量或矢量值質量量度中，使用設備和觀看條件相關的輸入參 數。
[0012] 在另一個實施例中，該方法和系統(tǒng)在5維質量圖的生成中使用下列設備和觀看參 數中的一個或組合:a)用戶觀看距離的平均或范圍;b)觀看窗口和屏幕的尺寸;C)屏幕分辨 率;d)屏幕對比度;e)屏幕亮度;f)重播時間分辨率;g)觀看環(huán)境的照明條件;h)觀看角度； i)觀看窗口分辨率;j)后濾波和圖像大小調整方法;k)設備型號；1)屏幕伽瑪校正參數；W 及m)交織或交錯視頻模式的選項。
[0013] 在又一個方面，該方法和系統(tǒng)在所述5維質量圖或者所述5維質量圖的子集合并到 指示有關測試視頻的質量方面的標量或矢量值質量量度中，使用下列設備和觀看條件相關 的輸入參數中的一個或多個:1)用戶觀看距離的平均或范圍；2)觀看窗口和屏幕的尺寸;3) 屏幕分辨率;4)屏幕對比度;5)重播時間分辨率;6)觀看環(huán)境的照明條件;7)觀看角度;8)觀 看窗口分辨率;9)后濾波和圖像大小調整方法；10)設備型號；11)屏幕伽瑪校正參數；W及 12)交織或交錯視頻模式的選項。
[0014] 應當理解，本發(fā)明并不將其應用限制到構造的細節(jié)W及限制到在說明書中闡述的 組件的布置或者在運里提供的或在圖中所示出的示例。本發(fā)明能夠為W各種方式被實踐和 執(zhí)行的其它實施例。此外，應當理解，本文所采用的措辭和術語是用于描述的目的，而不應 被視為限制。
【附圖說明】
[0015] 圖1示出了根據實施例的系統(tǒng)的說明性架構。
[0016] 圖2示出了根據實施例的方法的示意流程圖。
[0017] 圖3提供了根據實施例的基于多尺度權重計算方案的設備和觀看條件相關的參數 的細節(jié)圖。
[0018] 圖4描繪了PSNR量度當被用來測量在各種流行設備上體驗的視頻質量時PSNR量度 的性能。
[0019] 圖5描繪了SSIM量度當被用來測量在各種流行設備上體驗的視頻質量時SSIM量度 的性能。
[0020] 圖6描繪了MS-SSIM量度當被用來測量在各種流行設備上體驗的視頻質量時MS- SSIM量度的性能。
[0021] 圖7描繪了 VQM量度當被用來測量在各種流行設備上體驗的視頻質量時VQM量度的 性能。
[0022] 圖8描繪了MOVIE量度當被用來測量在各種流行設備上體驗的視頻質量時MOVffi量 度的性能。
[0023] 圖9描繪了根據一個實施例被用來測量在各種流行設備上體驗的視頻質量的 SSIMplus量度的性能。
[0024] 圖10示出了可W為該方法和系統(tǒng)的一個或多個實施例提供合適的操作環(huán)境的通 用計算設備的示意框圖。
[0025] 在附圖中，通過舉例的方式示出各個實施例。但是應當清楚地理解，說明書和附圖 僅用于說明的目的W及作為對理解的幫助，而并不旨在作為對本發(fā)明的限制的定義。
【具體實施方式】
[0026] 如上所述，本公開內容設及用于客觀、感知視頻質量評估的系統(tǒng)、方法和計算機程 序廣品。
[0027] 在一個方面中，該系統(tǒng)和方法采用了先進的計算模型，來基于通過屯、理研究所得 到的人類視覺系統(tǒng)的理解來分析視頻內容的感知質量。
[0028] 在一個實施例中，該系統(tǒng)和方法模擬人類的視覺系統(tǒng)，并且不對要被評估的視頻 信號中的降低的類型或嚴重程度做任何假設。因此，該方法和系統(tǒng)是非常可靠的，因為它也 可W處理"未知"的或新的失真降低了視頻內容的質量時的情況。除了視頻內容的整體質量 之外，所述方法和系統(tǒng)還提供了在每個像素位置處的感知質量水平。
[0029] 在一個實施例中，對系統(tǒng)的輸入視頻信號包括要被評估質量的采樣視頻，并且其 可W包括或者可W不包括被認為是無失真或者具有原始質量的參考視頻。輸入視頻信號在 空間分辨率和帖速率的方面可W匹配或者可W不匹配。因此，視頻信號被預處理W確保在 下游處理塊接收空間和時間上一致的視頻信號。隨后，視頻信號經過感知變換。
[0030] 在一個實施例中，變換可W是由人類視覺系統(tǒng)的感知信號分解所誘發(fā)的多尺度、 2D(空間)或S維(時空)小波型變換。
[0031] 在另一個實施例中，感知模型被應用在變換域中W產生多維質量圖，其指示在空 間、尺度、時間和/或失真類型中被局部化的被評估視頻的局部質量。
[0032] 在另一個實施例中，質量圖有五個維度，包括2個空間維度，1個尺度維度，1個時間 維度和1個失真類型維度。此外，設備和觀看條件參數也可是可用的。
[0033] 在另一個實施例中，質量圖具有四個維度，包括2個空間維度，1個尺度維度，和1個 時間維度，并且所有失真被合并成一個綜合的評價。
[0034] 在又一個實施例中，質量圖具有=個維度，包括2個空間維度和1個時間維度，W及 所有尺度和所有失真被合并成一個綜合的評價。
[0035] 在另一個實施例中，多維質量圖基于感知建模W及觀看設備和觀看條件參數而被 合并，W產生被評估視頻的多層質量報告，其包括視頻序列的信號整體質量得分，在一個或 多個特定失真類型方面的質量得分，每個或任何特定時間實例的質量得分，和特定失真類 型的、特定時間實例的或在特定尺度的質量圖。
[0036] 在又一個實施例中，在合并多維質量圖和預測視頻的感知質量之前，計算模型將 顯示設備和觀看條件考慮作為輸入。
[0037] 在另一個實施例中，被評估視頻的最終質量報告的格式由用戶需求來確定。
[0038] 圖2示出了根據實施例的說明性方法的流程圖。第一步是確定針對輸入視頻信號 的空間和時間對準的需要，并在必要時執(zhí)行運樣的對準。通過與失真視頻中的當前帖相比 較的參考視頻中查找最佳匹配帖來執(zhí)行時間對準。沿時間方向查找最佳匹配帖的過程要求 相匹配的帖要在空間上對準。在一個實施例中，通過根據跟隨有光流的失真帖的分辨率重 新采樣參考帖來執(zhí)行空間對準，其中光流的過程被用來確定空間偏移。
[0039] 在一個實施例中，一旦輸入圖像信號在空間上和時間上被對準，則使用多分辨率 變換來執(zhí)行參考和失真視頻帖的多尺度變換，所述多分辨率變換將視頻帖分解為多個尺 度，每個尺度與不同的空間頻率范圍相關聯(lián)。隨后，每個尺度的質量圖基于后續(xù)參考和失真 尺度之間的結構比較來計算。此后，通過基于局部信息內容和失真執(zhí)行質量圖的空間池化 來確定所有尺度的質量。使用基于尺度(seal e-wise)的質量值的加權組合來計算失真帖的 感知質量。使用考慮了顯示設備的性質和觀看條件的方法來確定權重。視頻內容的感知質 量取決于信號的采樣密度、觀看條件、顯示設備，和觀看者的視覺系統(tǒng)的感知能力。在實踐 中，當運些因素改變時給定視頻的主觀評價改變。人類視覺系統(tǒng)的對比度感知能力強烈取 決于視覺信號的空間或時空頻率，其使用被稱為對比靈敏度函數(CSF)的函數而被建模。在 實施例之一中，該方法和系統(tǒng)使用W下設備和觀看參數中的一個或其組合，來確定人類視 覺系統(tǒng)的對比靈敏度:1)用戶觀看距離的平均或范圍，2)觀看窗口和屏幕的大小;3)屏幕分 辨率;4)屏幕對比度;5)重播時間分辨率;6)觀看環(huán)境的照明條件;7)觀看角度;8)觀看窗口 分辨率;9)后過濾和圖片調整大小的方法；10)設備型號；11)屏幕伽瑪校正參數；12)交織或 交錯視頻模式的選項。運些參數被用于確定人類視覺系統(tǒng)對輸入視頻信號的個體尺度的靈 敏度。隨后，將靈敏度值標準化，W確定尺度的權重/重要性。
[0040] 在一個實施例中，觀看窗口/屏幕大小、設備屏幕分辨率、重放時間分辨率、觀看距 離、設備屏幕對比度、觀看角度和觀看窗口分辨率的參數或參數的子集，被轉換成W每視覺 角度度數的像素數目為單位的觀看分辨率因子。運些參數還被用來計算人類視覺系統(tǒng)的 CSF。觀看分辨率因子隨后被用來確定在多分辨率變換中各尺度的頻率覆蓋范圍。在多分辨 率變換中所有尺度的頻率覆蓋范圍將全CSF劃分成多個區(qū)域，每個區(qū)域對應于一個尺度。每 個尺度的加權因子然后由頻率覆蓋范圍的中屯、（或重屯、)處采樣的CSF函數的高度來確定， 或者由該尺度的頻率覆蓋范圍內的CSF函數下的區(qū)域來確定。由于觀看分辨率因子和CSF計 算取決于設備和觀看條件參數，所W各尺度的頻率覆蓋范圍和隨后各尺度的加權因子也取 決于設備和觀看條件，運是區(qū)分本發(fā)明與現有技術方法的一個重要因素。運些設備和觀看 條件相關的參數被用來確定每個尺度在圖像或視頻信號的總體質量評價中的重要性。圖3 示出了在實施例中基于多尺度權重計算方案的設備和觀看條件相關的參數的細節(jié)的示例。 在圖3中，CPd代表由觀看分辨率因子確定的每視覺角度度數的周期。在多分辨率變換中的 頻率覆蓋尺度范圍，從最優(yōu)秀尺度開始，分別在cpd/2和cpd，cpd/4和cpd/2，cpd/8和cpd/4 之間。在各自的頻率覆蓋范圍下的CSF曲線的積分被用來確定相應尺度的加權因子W及因 此相應尺度的視覺重要性。
[0041] 在實施例中，本系統(tǒng)和方法自動操作實時、準確且容易使用的視頻QoE評價W用于 質量監(jiān)測、跟蹤、保證、審核和控制。該方法提供普通消費者關于被遞送的視頻內容的質量 在0-100分的尺度上會說是什么尺度的一個直接預測，并且將質量分類為很差、差、一般、 好、或優(yōu)秀。視頻QoE測量是一項計算艱巨的任務，因為執(zhí)行得非常良好的模型是相當慢的， 并且不能被用來執(zhí)行實時視頻QoE測量。本方法和系統(tǒng)提供了一個優(yōu)化的監(jiān)視器，它執(zhí)行高 達4k分辨率的、實時的視頻信號的QoE。
[0042] 提供的本文所描述的實施例僅僅是為了舉例說明可能的實施例。技術人員將認識 到，其它實施例也是可能的。
[0043] 本領域技術人員可W理解，在不脫離本發(fā)明的范圍的情況下也可W實踐本文所描 述的實施例的其它變型。因此其它修改是可能的。例如，實施例可W由3D電視、衛(wèi)星成像、醫(yī) 學成像和遠程醫(yī)療設備、W及針對任何運些技術的服務提供者所使用。
[0044] 實施的說明性示例及結果
[0045] 客觀VQA方法的一個關鍵目標是預測視頻的主觀質量評價。因此，一個重要的測試 是要評估他們預測主觀得分如何好。最近，JCT-VC(視頻編碼聯(lián)合協(xié)作小組)成員進行了一 種主觀研究W對照類似配置的H.264/AVC編解碼器，對肥VC編解碼器的速率-失真增益進行 量化[引。該數據庫對于針對媒體和娛樂行業(yè)而開發(fā)的視頻質量評估方法的評價密切相關， 因為它包含通過最常用的視頻壓縮標準與最近開發(fā)的H. 265編解碼器而失真的視頻。運種 獨立和具有挑戰(zhàn)性的主觀數據庫被用來比較在預測感知質量中的VQA方法的性能。將基于 本發(fā)明一個實施例的SSIMplus方法的性能與最流行和廣泛使用VQA量度進行比較，所述最 流行和廣泛使用VQA量度包括峰值信噪比（PSNR)、結構相似性[2] (SSIM)、多尺度結構相似 性[4] (MS-SSIM)、基于運動的視頻完整性評價[6] (VOVIE)、和視頻質量度量[5] (VQM)。
[0046] 實驗結果表明：SSIMplus方法適應于顯示設備的性質W及觀看條件的變化，相比 之下比最先進的視頻質量量度顯著更好。此外，基于本發(fā)明一個實施例的SSIMplus方法比 上述感知VQA量度快許多，并且滿足準確感知視頻QoE指數和仔細的質量圖的實時計算的需 要。性能比較結果被提供在表G中。所提議的方案與最流行和廣泛使用的圖像質量評估 (IQA)量度的性能比較分別提供于表H、表1和表J中，所述最流行和廣泛使用的圖像質量評 估（IQA)量度包括峰值信噪比（PSNR)、結構相似性[2] (SSIM)，多尺度結構相似性[4] (MS- SSIM)、視覺信息保真(VIF) [11]和特征相似性(FSIM) [12]。使用CSIQ，TID 2008和TID 2013 數據庫的性能比較結果。為了運個目的，五個評價度量被用來評估VQA量度的性能：
[0047] ?皮爾森線性相關系數(PLCC)
[004引 ?平均絕對誤差(MAE)
[0049] ?根均方(RMS)
[(K)加]? Spearman 秩相關系數（SRCC)
[0051 ] ?肯德爾秩相關系數化RCC)
[0052] 在上述度量中，PLCC、MAE和RMS被采用來評價預測精度[10] ,SRCC和KRCC被用來評 估預測單調性[10]。較好的客觀VQA量度應具有較高的化CC，SRCC和KRCC，同時具有較低的 MAE和RMS值。最好的結果用粗體字體突出顯示。所有運些評價度量均是從W前的VQA研究 [9，10]中被采用。
[0053] 正如從表G-表J中提供的結果可W看出的那樣，SSIMplus不僅在感知質量預測精 度方面而且在計算時間方面都優(yōu)于流行的IQA和VQA質量量度。此外，SSIMplus還具有任何 其他VQA量度未提供的許多獨特的功能。
[0054] 上面的測試結果假定一個固定觀看設備，通過現有的最先進的VQA模型做出的一 個普通假設。SSIMplus的能力超出了現有模型的局限性。特別來說，SSIMplus被設計為固有 地考慮了如顯示設備和觀看距離之類的觀看條件。由于在變化的觀看條件下包含觀看的主 題分級的視頻序列的公共主題分級的視頻質量評估數據庫不可用，所W執(zhí)行主觀研究W便 測試SSIMplus方法的設備自適應能力。
[0055] 該研究的主要目的是要觀看最先進的VQA方法如何適應變化的觀看條件。由1080 和640P分辨率組成的原始視頻序列集合W不同失真級別被壓縮，W獲得符合H. 264視頻壓 縮標準的比特流。解壓縮的失真視頻序列在W下觀看條件下被主題分級：
[0化6]
[0057]由主題所提供的平均意見得分(MOS)被用來比較SSIMplus與最先進的VQA量度的 性能。根據比較，VQA方法的散點示于圖4-圖9中。與其它VQA方法相比，基于一個實施例的 SSIMplus方法的優(yōu)越性能從附圖中顯而易見。
[0化引在使用PLCC、MAE、RMS、SRCC、和KRCC的VQA方法之間的比較在表A-表F中提供。從結 果中可W看出：SSIMplus方法優(yōu)于其他最先進的視頻質量評估方法。主觀研究的主要目的 是觀看最先進的VQA量度當被部署用于預測在不同觀看條件下觀看的視頻內容的感知質量 時的適應性行為。表E比較在TV觀看距離減小到20英寸(稱為專家模式)時VQA量度的性能。 相比之下，SSIMplus適應觀看條件的變化比VQA方法更好。SSIMplus方法比其他被提出W預 測視頻內容感知質量的質量量度快許多，并且滿足對感知視頻QoE的實時計算和詳細的質 量圖的要求。
[00化]表C
[0化9]
[
[
[
[
[
[0074
[0075
[0076
[0077
[0078
[0079] 表 J
[0080] 現在參照圖10,所示出的是通用計算設備的示意性框圖。適當配置的計算機設備 W及相關聯(lián)的通信網絡、設備、軟件和固件可W提供用于使得實現如上述所描述的一個或 多個實施例的平臺。作為示例，圖10示出了一種通用計算機設備1000,其可W包括連接到存 儲單元1004和連接到隨機存取存儲器1006的中央處理單元rcpir )1002dCPU 1002可W處 理操作系統(tǒng)1001、應用程序1003和數據1023。操作系統(tǒng)1001、應用程序1003、W及數據1023 可W被存儲在存儲單元1004中W及在可能需要時被加載到存儲器1006中。計算機設備1000 還可W包括圖形處理單元(GPU) 1022,其可操作地連接到CPU 1002和連接到存儲器1006 W 便卸載來自CPU 1002的密集圖像處理計算W及與CPU 1002并行地運行運些計算。操作員 10010可W使用通過視頻接口 1005連接的視頻顯示器1008W及通過I/O接口 1009連接的各 種I/O設備比如鍵盤1010、指針1012和存儲1014來與計算機設備1000交互。在已知的方式 中，指針1012可W被配置來控制光標或指針圖標在視頻顯示器1008中的移動，并且被配置 來操作在視頻顯示器1008中出現的各種圖形用戶界面(GUI)控制。計算機設備1000可W經 由網絡接口 1011形成網絡的一部分，使得計算機設備1000與其它適當配置的數據處理系統(tǒng) 或電路進行通信。經由傳感器接口 1032連接的一個或多個不同類型的傳感器1030可W被用 于捜索和感測來自各種源的輸入。傳感器1030可W直接內建于通用計算機設備1000中，或 者可選地，可W被配置為通用計算機設備1000的附件或配件。
[0081] m
[0082] ^統(tǒng)和方法利用先進的技術來準確地預測最終消費者的QoE。該產品能夠實時 地自動操作視頻的精確質量檢查、控制、保證和審計的重要過程，諸如：
[008；3] ?對于質量檢查、監(jiān)控、保證、審計和控制的實時、精確視頻QoE分析的自動化。通 過本系統(tǒng)和方法已經使運成為可能一一由于所使用的計算模型可WW有效的方式捕獲質 量評估的人類行為，所W本系統(tǒng)和方法準確且快速的運一事實；
[0084] ?根據任何顯示設備和觀看條件的屬性的視頻QoE分析處理的適應性；
[0085] ?針對失真視頻的詳細檢查的在像素級處的質量預測；
[0086] ?基于所需的視頻質量如DA甜、化S等，針對視覺通信系統(tǒng)的資源分配策略的確定 與優(yōu)化；
[0087] ?視頻質量評價和比較，W確定各種視頻采集、處理、壓縮、存儲、傳輸、再生和顯 示的方法和系統(tǒng)的性能；
[0088] ?在視頻采集，處理，壓縮，存儲，傳輸，再生和顯示的方法和系統(tǒng)中的方法和系統(tǒng) 的設計與優(yōu)化。該方法的運些應用程序對于內容生產商W及廣播商而言會是非常有益的， 因為它可W指示嚴重降級的區(qū)域。通過在輸出視頻的質量方面向該方法提供定性和定量的 反饋，該技術具有增強視頻處理方法的性能的能力。結果，該視頻處理方法有機會調整被處 理視頻的參數。
[0089] 因此，在一個方面中，提供了一種用于評估預測人類視覺視頻質量感知行為的感 知客觀視頻質量的方法，該方法在具有處理器和存儲器的計算設備上實現，包括:產生被評 估的視頻的多維質量圖，其中，所述圖指示所述視頻在多維空間中的局部質量變化，所述多 維空間包括兩個空間維度、一個尺度維度，一個時間維度和一個失真類型維度中的一個或 多個;W及將所述多維質量圖合并成被評估的所述視頻的質量上的標量或矢量值量度。
[0090] 在一個實施例中，所述方法進一步包括:使用設備相關的和觀看條件輸入參數，W 使得任何視頻質量評估方法適用于顯示設備和觀看條件。
[0091] 在另一個實施例中，所述方法進一步包括:使用計算有效的多分辨率圖像變換，所 述多分辨率圖像變換將視頻帖分解成多個尺度，從而在所述多維質量圖的生成中執(zhí)行精確 的多維視頻質量評估。
[0092] 在另一個實施例中，所述方法進一步包括:在多維質量圖的生成中使用設備和觀 看條件相關的輸入參數。
[0093] 在另一個實施例中，所述方法進一步包括:在多維質量圖的生成中使用下列設備 和觀看條件相關的輸入參數中的一個或多個:a)用戶觀看距離的平均或范圍；b)觀看窗口 和屏幕的尺寸;C)屏幕分辨率;d)屏幕對比度;e)屏幕亮度;f)重播時間分辨率;g)觀看環(huán)境 的照明條件;h)觀看角度;i)觀看窗口分辨率;j)后濾波和圖像大小調整方法;k)設備型號； 1)屏幕伽瑪校正參數;和m)交織或交錯視頻模式的選項。
[0094] 在另一個實施例中，所述方法進一步包括:在所述多維質量圖或者所述多維質量 圖的子集合并到被測試的所述視頻的標量或矢量值質量量度中，使用設備和觀看條件相關 的輸入參數。
[0095] 在另一個實施例中，該方法進一步包括:在所述多維質量圖或者所述多維質量圖 的子集合并到被測試的所述視頻的標量或矢量值質量量度中，使用下列設備和觀看條件相 關的輸入參數中的一個或多個:a)用戶觀看距離的平均或范圍;b)觀看窗口和屏幕的尺寸； C)屏幕分辨率;d)屏幕對比度;e)屏幕亮度;f)重播時間分辨率;g)觀看環(huán)境的照明條件;h) 觀看角度；i)觀看窗口分辨率;j)后濾波和圖像大小調整方法;k)設備型號；1)屏幕伽瑪校 正參數;和m)交織或交錯視頻模式的選項。
[0096] 在另一個實施例中，所述方法進一步包括:在生成所述多維質量圖的過程中，基于 設備和觀看條件相關的輸入參數，確定并使用在正在被測試的所述視頻中存在的空間和/ 或時間頻率上的人類視覺系統(tǒng)的空間和/或時間對比靈敏度。
[0097] 在另一個實施例中，所述方法進一步包括:在所述多維質量圖或者所述多維質量 圖的子集合并到被測試的所述視頻的標量或矢量值質量量度中，基于設備和觀看條件相關 的輸入參數，確定并使用在被測試的所述視頻中存在的空間和/或時間頻率上的人類視覺 系統(tǒng)的空間和/或時間對比靈敏度。
[0098] 在另一個實施例中，所述方法進一步包括:使用觀看窗口/屏幕大小、設備屏幕分 辨率、重放時間分辨率、觀看距離、設備屏幕對比度、觀看角度和觀看窗口分辨率的參數或 參數的子集，來確定W每視覺角度度數的像素為單位的觀看分辨率因子;和使用觀看窗口 / 屏幕大小、設備屏幕分辨率、重放時間分辨率、觀看距離、設備屏幕對比度、觀看角度和觀看 窗口分辨率的參數或參數的子集，來計算空間或時空對比靈敏度函數(CSF)。
[0099] 在另一個實施例中，所述方法進一步包括:使用觀看分辨率因子來確定在多分辨 率變換中每個尺度的頻率覆蓋范圍，并使用在多分辨率變換中所有尺度的頻率覆蓋范圍來 將全CSF劃分成多個區(qū)域，每個區(qū)域對應于一個尺度；由在所述頻率覆蓋范圍的中屯、（或重 屯、）處采樣的CSF函數的高度或者由該尺度的頻率覆蓋范圍內的CSF函數下的區(qū)域，來計算 每個尺度的加權因子；W及在所述多維質量圖或者所述多維質量圖的子集合并到被測試的 所述視頻的標量或矢量值質量量度中，使用所述加權因子來確定每個尺度的重要性。
[0100] 在另一個實施例中，所述方法進一步包括:在所述多維質量圖或者所述多維質量 圖的子集合并到被測試的所述視頻的標量或矢量值質量量度中，使用設備和觀看條件相關 的輸入參數。
[0101] 在另一個實施例中，所述方法進一步包括:報告基于質量評估評價的用戶要求的 一個或多個層，其中所述層包括:a)被評估的視頻的整體質量;b)基于特定失真類型、特定 時間實例、和/或在特定尺度處的質量評估得分;和C)特定失真類型、特定時間實例、或在特 定尺度處的質量圖。
[0102] 在另一個實施例中，當兩個視頻的分辨率和/或內容不匹配時，所述方法進一步包 括:在所述多維質量圖的生成中重新采樣、執(zhí)行快速運動估計、并將參考視頻在空間上對準 被測試的視頻。
[0103] 在另一個實施例中，所述方法進一步包括:在所述多維質量圖的生成中使用設備 和觀看條件相關的輸入參數。
[0104] 在另一個實施例中，當兩個視頻的分辨率和/或內容不匹配時，在所述多維質量圖 或者多維質量圖的子集合并到被測試的所述視頻的標量或矢量值質量量度中，所述方法進 一步包括重新采樣被測試的視頻、執(zhí)行快速運動估計、并將參考視頻在空間上對準被測試 的視頻。
[0105] 在另一個方面中，提供了一種用于評估預測人類視覺視頻質量感知行為的感知客 觀視頻質量的系統(tǒng)，所述系統(tǒng)體現在計算設備中，所述系統(tǒng)適于:產生正在被評估的視頻的 多維質量圖，其中，所述圖指示所述視頻在多維空間中的局部質量變化，所述多維空間包括 兩個空間維度、一個尺度維度，一個時間維度和一個失真類型維度中的一個或多個;W及將 所述多維質量圖合并成被評估的所述視頻的質量上的標量或矢量值量度。
[0106] 在一個實施例中，所述系統(tǒng)進一步適于:使用設備相關的和觀看條件輸入參數，W 使任何視頻質量評估方法適用于顯示設備和觀看條件。
[0107] 在另一個實施例中，所述系統(tǒng)進一步適于:使用計算有效的多分辨率圖像變換，所 述多分辨率圖像變換將視頻帖分解成多個尺度，從而在所述多維質量圖的生成中執(zhí)行精確 的多維視頻質量評估。
[0108] 在另一個實施例中，所述系統(tǒng)進一步適于:在多維質量圖的生成中使用設備和觀 看條件相關的輸入參數。
[0109] 在另一個實施例中，所述系統(tǒng)進一步適于:在多維質量圖的生成中使用下列設備 和觀看條件相關的輸入參數中的一個或多個:a)用戶觀看距離的平均或范圍；b)觀看窗口 和屏幕的尺寸;C)屏幕分辨率;d)屏幕對比度;e)屏幕亮度;f)重播時間分辨率;g)觀看環(huán)境 的照明條件;h)觀看角度;i)觀看窗口分辨率;j)后濾波和圖像大小調整方法;k)設備型號； 1)屏幕伽瑪校正參數;和m)交織或交錯視頻模式的選項。
[0110] 在另一個實施例中，所述系統(tǒng)進一步適于:在所述多維質量圖或者所述多維質量 圖的子集合并到被測試的所述視頻的標量或矢量值質量量度中，使用設備和觀看條件相關 的輸入參數。
[0111] 在另一個實施例中，所述系統(tǒng)進一步適于:在所述多維質量圖或者所述多維質量 圖的子集合并到被測試的所述視頻的標量或矢量值質量量度中使用下列設備和觀看條件 相關的輸入參數中的一個或多個:a)用戶觀看距離的平均或范圍；b)觀看窗口和屏幕的尺 寸；C)屏幕分辨率;d)屏幕對比度；e)屏幕亮度;f)重播時間分辨率;g)觀看環(huán)境的照明條 件;h)觀看角度;i)觀看窗口分辨率;j)后濾波和圖像大小調整方法;k)設備型號；1)屏幕伽 瑪校正參數;和m)交織或交錯視頻模式的選項。
[0112] 在另一個實施例中，所述系統(tǒng)進一步適于:基于設備和觀看條件相關的輸入參數， 在生成所述多維質量圖的過程中，使用在正在被測試的所述視頻中存在的空間和/或時間 頻率上的人類視覺系統(tǒng)的空間和/或時間對比靈敏度。
[0113] 在另一個實施例中，所述系統(tǒng)進一步適于:在所述多維質量圖或者所述多維質量 圖的子集合并到正在被測試的所述視頻的標量或矢量值質量量度中，基于設備和觀看條件 相關的輸入參數，使用在被測試的所述視頻中存在的空間和/或時間頻率上的人類視覺系 統(tǒng)的空間和/或時間對比靈敏度。
[0114] 在另一個實施例中，所述系統(tǒng)進一步適于:使用觀看窗口/屏幕大小、設備屏幕分 辨率、重放時間分辨率、觀看距離、設備屏幕對比度、觀看角度和觀看窗口分辨率的參數或 參數的子集，來確定W每視覺角度度數的像素為單位的觀看分辨率因子;和使用觀看窗口 / 屏幕大小、設備屏幕分辨率、重放時間分辨率、觀看距離、設備屏幕對比度、觀看角度和觀看 窗口分辨率的參數或參數的子集，來計算空間或時空對比靈敏度函數(CSF)。
[0115] 在另一個實施例中，所述系統(tǒng)進一步適于:使用觀看分辨率因子來確定在多分辨 率變換中每個尺度的頻率覆蓋范圍，并使用在多分辨率變換中所有尺度的頻率覆蓋范圍來 將全CSF劃分成多個區(qū)域，每個區(qū)域對應于一個尺度；由在所述頻率覆蓋范圍的中屯、（或重 屯、）處采樣的CSF函數的高度或者由該尺度的頻率覆蓋范圍內的CSF函數下的區(qū)域，來計算 每個尺度的加權因子；W及在所述多維質量圖或者所述多維質量圖的子集合并到被測試的 所述視頻的標量或矢量值質量量度中使用所述加權因子來確定每個尺度的重要性。
[0116] 在另一個實施例中，所述系統(tǒng)進一步適于:在所述多維質量圖或者所述多維質量 圖的子集合并到被測試的所述視頻的標量或矢量值質量量度中，使用設備和觀看條件相關 的輸入參數。
[0117] 在另一個實施例中，所述系統(tǒng)進一步適于:報告基于質量評估評價的用戶要求的 一個或多個層，其中所述層包括:a)被評估的視頻的整體質量;b)基于特定失真類型、特定 時間實例、和/或在特定尺度處的質量評估得分;和C)特定失真類型、特定時間實例、或在特 定尺度處的質量圖。
[0118] 在另一個實施例中，當兩個視頻的分辨率和/或內容不匹配時，所述系統(tǒng)進一步適 于:在所述多維質量圖的生成中重新采樣、執(zhí)行快速運動估計、并將參考視頻在空間上對準 被測試的視頻。
[0119] 在另一個實施例中，所述系統(tǒng)進一步適于:在所述多維質量圖的生成中使用設備 和觀看條件相關的輸入參數。
[0120] 在另一個實施例中，當兩個視頻的分辨率和/或內容不匹配時，在所述多維質量圖 或者多維質量圖的子集合并到被測試的所述視頻的標量或矢量值質量量度中，所述系統(tǒng)進 一步適于:重新采樣被測試的視頻、執(zhí)行快速運動估計、并將參考視頻在空間上對準被測試 的視頻。
[0121] 參考文獻
[0122] 相關【背景技術】參考文獻包括：
[0123] [1]Z.Wan邑和A.Bovik,"Mean squared error:love it or leave it?-a new look at signal fidelity measures(均方差：喜歡它還是丟棄它？關于信號保真度的新探 索），"1 邸E Si即al Processing Magazine,卷26(1 邸E信號處理雜志），第98-117頁，2009年 1月。
[0124] [2]Z.Wang,A.C.Bovik,H.R.Sheikh,和E.P.Simoncel1i,"Image quality assessment:From error visibility to structural similarity(圖像質量估計：從誤差 可見性到結構相似性），"I邸E IYansactions on Image Processing(關于圖像處理的IE邸 事務），卷13,第4號，第600-612頁，2004年4月。
[01 巧][3]Z.Wang,L.Lu,和A.C.Bovik,"Video quality assessment based on structural disto;rtion measurement!；基于結構失真測量的視頻質量估計），"Signal Processing: Image Communication!；信號處理：圖像通信），卷19,第121-132頁，2004年2月。 [01%] [4]Z.Wang,E.P.Simoncelli,和A.C.Bovik,"Multi-scale structural similarity for image quality assessment(用于圖像質量估計的多尺度結構相似性）"， IEEE Asilomar Conference on Signals,Systems and Computers(關于信號、系統(tǒng)和計算 機的IEEE Asilomar會議），2003年 11 月。
[0127] [5]M.H.Pinson,"A new standardized method for objectively measuring video quality(用于客觀測量視頻質量的新標準化方法）"，IEEE Transactions on Broadcasting(關于廣播的IEEE事務），卷50,第3號，第312-322頁2004年9月。
[012引 [6]K.Seshadrinathan和A.C.Bovik,"Motion tuned spatio-temporal quality assessment of natural videos (天然視頻的運動調整的空-時質量估計）"，IEEE Transactions on Image Processing(關于圖像處理的IE邸事務），卷 19第2號，第335-350 頁，2010年2月。
[01 巧][7化ai Zeng，Abdul Rehman，Jiheng Wang和Zhou WangZ^rom H.264to 皿VC: coding gain predicted by objective video quality assessment models(從H.264至Ij 皿VC:由客觀視頻質量估計模型預測的編碼增益），"International Workshop on Video Processing and Quality Metrics for Consumer Electronics(針對客戶電子設備的視 頻處理和質量度量的國際研討會），Scottsdale,Arizona,USA,2013年I月-2月。
[0130] [8]V.Baronc ini，J.民.Ohm，和G.J.Sullivan,Report on preliminary subjective testing of 皿VC compression capability(關于肥VC壓縮能力的初步主觀 測試的報告）.In JCT-VC of ITU-T SGI 6 WP3 and ISO/IEC JTC 1/SC29/WG1 I(在ITU-T SGI 6 WP3和ISO/IEC JTC 1/SC29/WG1 I的JCT-VC中），圣何塞，加利福尼亞，2012年2月。
[0131] [9]H.R. Sieildi,M.Sabir,和A.C.Bovik，"A statistical evaluation of recent full reference image quality assessment algorithms(最近完整參考圖像質量評估算 法的統(tǒng)計評價）"，I邸E Transactions on Image Processing(關于圖像處理的IE邸事務）， 15( 11): 3440-3451，2006年11 月。
[0132] [10]VQEG,"Final report from the video quality experts group on the validation of objective models of video quality assessment(來自視頻質量評估的 客觀模型的驗證的視頻質量專家組的最終報告）"，技術報告，在http://www.vqeg.org/可 獲得，2000年4月。
[0133] [ll]H.R.Sheildi 和 A.C.Bovik, "Image information and visual quality(圖像 信息和視覺質量）/'IEEE Trans. Image F^rocess(關于圖像處理的IEEE事務），卷19第2號， 第430-444頁，2006年 2 月。
[0134] [12]Lin Zhang,Lei Zhang,Xuanqin Mou,和David Zhang，"FSIM:A Feature Similarity Index for Image Quality Assessment化SIM:針對圖像質量評估的特征相似 性指數）"，I邸E Transactions on Image Processing(關于圖像處理的IE邸事務），（20)8: 2378-2386,2011。
【主權項】
1. 一種用于評估預測人類視覺視頻質量感知行為的感知客觀視頻質量的方法，所述方 法在具有處理器和存儲器的計算設備上實現，所述方法包括： 產生正在被評估的視頻的多維質量圖，其中，所述圖指示所述視頻在多維空間中的局 部質量變化，所述多維空間包括兩個空間維度、一個尺度維度，一個時間維度和一個失真類 型維度中的一個或多個;以及 將所述多維質量圖合并成正在被評估的所述視頻的質量上的標量或矢量值的量度。2. 根據權利要求1所述的方法，進一步包括:使用設備相關的和觀看條件輸入參數，以 使得任何視頻質量評估方法適用于顯示設備和觀看條件。3. 根據權利要求1所述的方法，進一步包括:使用計算有效的多分辨率圖像變換，所述 多分辨率圖像變換將視頻幀分解成多個尺度，從而在所述多維質量圖的生成中執(zhí)行精確的 多維視頻質量評估。4. 根據權利要求1所述的方法，進一步包括:在所述多維質量圖的生成中使用設備和觀 看條件相關的輸入參數。5. 根據權利要求4所述的方法，進一步包括:在所述多維質量圖的所述生成中使用下列 設備和觀看條件相關的輸入參數中的一個或多個:a)用戶觀看距離的平均或范圍；b)觀看 窗口和屏幕的尺寸;c)屏幕分辨率;d)屏幕對比度;e)屏幕亮度;f)重播時間分辨率;g)觀看 環(huán)境的照明條件;h)觀看角度；i)觀看窗口分辨率；j)后濾波和圖像大小調整方法;k)設備 型號；1)屏幕伽瑪校正參數;和m)交織或交錯視頻模式的選項。6. 根據權利要求1所述的方法，進一步包括:在將所述多維質量圖或者所述多維質量圖 的子集合并到正在被測試的所述視頻的標量或矢量值質量量度中，使用設備和觀看條件相 關的輸入參數。7. 根據權利要求6所述的方法，進一步包括:在將所述多維質量圖或者所述多維質量圖 的子集合并到正在被測試的所述視頻的標量或矢量值質量量度中，使用如下設備和觀看條 件相關的輸入參數中的一個或者多個:a)用戶觀看距離的平均或范圍；b)觀看窗口和屏幕 的尺寸;c)屏幕分辨率;d)屏幕對比度;e)屏幕亮度;f)重播時間分辨率;g)觀看環(huán)境的照明 條件;h)觀看角度;i)觀看窗口分辨率;j)后濾波和圖像大小調整方法;k)設備型號；1)屏幕 伽瑪校正參數;和m)交織或交錯視頻模式的選項。8. 根據權利要求7所述的方法，進一步包括:在所述多維質量圖的生成中，基于所述設 備和觀看條件相關的輸入參數，確定并使用在正在被測試的所述視頻中存在的空間和/或 時間頻率上的人類視覺系統(tǒng)的空間和/或時間對比靈敏度。9. 根據權利要求8所述的方法，進一步包括:在將所述多維質量圖或者所述多維質量圖 的子集合并到正在被測試的所述視頻的標量或矢量值質量量度中，基于所述設備和觀看條 件相關的輸入參數，確定并使用在正在被測試的所述視頻中存在的空間和/或時間頻率上 的人類視覺系統(tǒng)的空間和/或時間對比靈敏度。10. 根據權利要求9所述的方法，進一步包括： 使用觀看窗口 /屏幕大小、設備屏幕分辨率、重放時間分辨率、觀看距離、設備屏幕對比 度、觀看角度和觀看窗口分辨率的參數或參數的子集，來確定以每視覺角度度數的像素為 單位的觀看分辨率因子;以及 使用觀看窗口 /屏幕大小、設備屏幕分辨率、重放時間分辨率、觀看距離、設備屏幕對比 度、觀看角度和觀看窗口分辨率的參數或參數的子集，來計算空間或時空對比靈敏度函數 (CSF)〇11. 根據權利要求10所述的方法，進一步包括： 使用所述觀看分辨率因子來確定在多分辨率變換中每個尺度的頻率覆蓋范圍，并使用 在所述多分辨率變換中所有尺度的頻率覆蓋范圍來將全CSF劃分成多個區(qū)域，每個區(qū)域對 應于一個尺度； 由在頻率覆蓋范圍的中心（或重心）處采樣的CSF函數的高度、或者由該尺度的頻率覆 蓋范圍內的CSF函數下的區(qū)域來計算每個尺度的加權因子;以及 在將所述多維質量圖或者所述多維質量圖的子集合并到正在被測試的所述視頻的標 量或矢量值質量量度中，使用所述加權因子來確定每個尺度的重要性。12. 根據權利要求1所述的方法，進一步包括:在將所述多維質量圖或者所述多維質量 圖的子集合并到正在被測試的所述視頻的標量或矢量值質量量度中，使用設備和觀看條件 相關的輸入參數。13. 根據權利要求1所述的方法，進一步包括:報告基于質量評估評價的用戶要求的一 個或多個層，其中所述層包括:a)正在被評估的所述視頻的整體質量;b)基于特定失真類 型、特定時間實例、和/或在特定尺度處的質量評估得分；以及c)特定失真類型、特定時間實 例、或在特定尺度處的質量圖。14. 根據權利要求1所述的方法，其中，當兩個視頻的分辨率和/或內容不匹配時，所述 方法進一步包括:在所述多維質量圖的生成中重新采樣、執(zhí)行快速運動估計、并將參考視頻 在空間上對準正在被測試的所述視頻。15. 根據權利要求14所述的方法，進一步包括:在所述多維質量圖的所述生成中使用設 備和觀看條件相關的輸入參數。16. 根據權利要求1所述的方法，其中，當兩個視頻的分辨率和/或內容不匹配時，在將 所述多維質量圖或者多維質量圖的子集合并到正在被測試的所述視頻的標量或矢量值質 量量度中，所述方法進一步包括重新采樣正在被測試的所述視頻、執(zhí)行快速運動估計、并將 參考視頻在空間上對準正在被測試的所述視頻。17. -種用于評估預測人類視覺視頻質量感知行為的感知客觀視頻質量的系統(tǒng)，所述 系統(tǒng)體現在計算設備中，所述系統(tǒng)適于： 產生正在被評估的視頻的多維質量圖，其中，所述圖指示所述視頻在多維空間中的局 部質量變化，所述多維空間包括兩個空間維度、一個尺度維度，一個時間維度和一個失真類 型維度中的一個或多個;以及 將所述多維質量圖合并成正在被評估的所述視頻的質量上的標量或矢量值的量度。18. 根據權利要求17所述的系統(tǒng)，其中所述系統(tǒng)進一步適于:使用設備相關的和觀看條 件輸入參數，以使任何視頻質量評估方法適用于顯示設備和觀看條件。19. 根據權利要求17所述的系統(tǒng)，其中所述系統(tǒng)進一步適于:使用計算有效的多分辨率 圖像變換，所述多分辨率圖像變換將視頻幀分解成多個尺度，從而在所述多維質量圖的生 成中執(zhí)行精確的多維視頻質量評估。20. 根據權利要求17所述的系統(tǒng)，其中所述系統(tǒng)進一步適于:在所述多維質量圖的生成 中使用設備和觀看條件相關的輸入參數。21. 根據權利要求20所述的系統(tǒng)，其中所述系統(tǒng)進一步適于:在所述多維質量圖的所述 生成中使用下列設備和觀看條件相關的輸入參數中的一個或多個:a)用戶觀看距離的平均 或范圍;b)觀看窗口和屏幕的尺寸;c)屏幕分辨率;d)屏幕對比度;e)屏幕亮度;f)重播時間 分辨率;g)觀看環(huán)境的照明條件;h)觀看角度；i)觀看窗口分辨率;j)后濾波和圖像大小調 整方法;k)設備型號；1)屏幕伽瑪校正參數;和m)交織或交錯視頻模式的選項。22. 根據權利要求17所述的系統(tǒng)，其中所述系統(tǒng)適于:在將所述多維質量圖或者所述多 維質量圖的子集合并到正在被測試的所述視頻的標量或矢量值質量量度中，使用設備和觀 看條件相關的輸入參數。23. 根據權利要求22所述的系統(tǒng)，其中所述系統(tǒng)進一步適于:在所述多維質量圖或者所 述多維質量圖的子集合并到正在被測試的所述視頻的標量或矢量值質量量度中，使用下列 設備和觀看條件相關的輸入參數中的一個或多個:a)用戶觀看距離的平均或范圍；b)觀看 窗口和屏幕的尺寸;c)屏幕分辨率;d)屏幕對比度;e)屏幕亮度;f)重播時間分辨率;g)觀看 環(huán)境的照明條件;h)觀看角度；i)觀看窗口分辨率；j)后濾波和圖像大小調整方法;k)設備 型號；1)屏幕伽瑪校正參數;和m)交織或交錯視頻模式的選項。24. 根據權利要求23所述的系統(tǒng)，其中所述系統(tǒng)進一步適于:在所述多維質量圖的生成 中，基于所述設備和觀看條件相關的輸入參數，使用在正在被測試的所述視頻中存在的空 間和/或時間頻率上的人類視覺系統(tǒng)的空間和/或時間對比靈敏度。25. 根據權利要求24所述的系統(tǒng)，其中所述系統(tǒng)進一步適于:在將所述多維質量圖或者 所述多維質量圖的子集合并到正在被測試的所述視頻的標量或矢量值質量量度中，基于所 述設備和觀看條件相關的輸入參數，使用在正在被測試的所述視頻中存在的空間和/或時 間頻率上的人類視覺系統(tǒng)的空間和/或時間對比靈敏度。26. 根據權利要求25所述的系統(tǒng)，其中所述系統(tǒng)進一步適于： 使用觀看窗口 /屏幕大小、設備屏幕分辨率、重放時間分辨率、觀看距離、設備屏幕對比 度、觀看角度和觀看窗口分辨率的參數或參數的子集，來確定以每視覺角度度數的像素為 單位的觀看分辨率因子;以及 使用觀看窗口 /屏幕大小、設備屏幕分辨率、重放時間分辨率、觀看距離、設備屏幕對比 度、觀看角度和觀看窗口分辨率的參數或參數的子集，來計算空間或時空對比靈敏度函數 (CSF)〇27. 根據權利要求26所述的系統(tǒng)，其中所述系統(tǒng)進一步適于： 使用所述觀看分辨率因子來確定在多分辨率變換中每個尺度的頻率覆蓋范圍，并使用 在所述多分辨率變換中所有尺度的頻率覆蓋范圍來將全CSF劃分成多個區(qū)域，每個區(qū)域對 應于一個尺度； 由在頻率覆蓋范圍的中心（或重心）處采樣的CSF函數的高度、或者由該尺度的頻率覆 蓋范圍內的CSF函數下的區(qū)域來計算每個尺度的加權因子;以及 在將所述多維質量圖或者所述多維質量圖的子集合并到正在被測試的所述視頻的標 量或矢量值質量量度中，使用所述加權因子來確定每個尺度的重要性。28. 根據權利要求17所述的系統(tǒng)，其中所述系統(tǒng)進一步適于:在將所述多維質量圖或者 所述多維質量圖的子集合并到正在被測試的所述視頻的標量或矢量值質量量度中，使用設 備和觀看條件相關的輸入參數。29. 根據權利要求17所述的系統(tǒng)，其中所述系統(tǒng)進一步適于:報告基于質量評估評價的 用戶要求的一個或多個層，其中所述層包括:a)正在被評估的所述視頻的整體質量;b)基于 特定失真類型、特定時間實例、和/或在特定尺度處的質量評估得分；以及c)特定失真類型、 特定時間實例、或在特定尺度處的質量圖。30. 根據權利要求22所述的系統(tǒng)，其中，當兩個視頻的分辨率和/或內容不匹配時，所述 系統(tǒng)進一步適于:在所述多維質量圖的生成中重新采樣、執(zhí)行快速運動估計、并將參考視頻 在空間上對準正在被測試的所述視頻。31. 根據權利要求30所述的系統(tǒng)，其中所述系統(tǒng)進一步適于:在所述多維質量圖的所述 生成中使用設備和觀看條件相關的輸入參數。32. 根據權利要求17所述的系統(tǒng)，其中，當兩個視頻的分辨率和/或內容不匹配時，在將 所述多維質量圖或者多維質量圖的子集合并到正在被測試的所述視頻的標量或矢量值質 量量度中，所述系統(tǒng)進一步適于重新采樣正在被測試的所述視頻、執(zhí)行快速運動估計、并將 參考視頻在空間上對準正在被測試的所述視頻。
【文檔編號】H04N19/154GK105981384SQ201480059266
【公開日】2016年9月28日
【申請日】2014年9月5日
【發(fā)明人】王舟, 阿布杜爾·雷曼, 曾凱
【申請人】王舟, 阿布杜爾·雷曼, 曾凱