本發(fā)明涉及圖像處理，具體涉及一種面向移動端視頻的自適應超分辨率方法、裝置和系統(tǒng)。

背景技術：

1、隨著移動用戶數(shù)量的不斷增加，移動視頻流媒體的需求呈指數(shù)級增長，移動設備貢獻了超過75％的視頻觀看量。然而，不斷變化的網(wǎng)絡環(huán)境給移動用戶的流暢視頻播放帶來了重大挑戰(zhàn)。移動網(wǎng)絡的不穩(wěn)定性和波動經(jīng)常導致視頻卡頓、模糊以及加載時間延長等問題，嚴重影響了用戶滿意度和參與度。移動用戶對視頻質(zhì)量的期望越來越高，促使視頻流媒體服務提供商努力追求更高的分辨率和更好的用戶體驗。

2、動態(tài)自適應流媒體傳輸協(xié)議(dynamic?adaptive?streaming?over?http，dash)是一種廣泛應用的視頻流媒體技術，利用自適應比特率(adaptive?bitrate?streaming，abr)算法在波動的網(wǎng)絡條件下提升用戶體驗(quality?of?experience，qoe)。這些abr算法共同旨在確定每個視頻塊的最佳比特率，考慮當前的網(wǎng)絡條件。然而，在帶寬有限的情況下，它們在維持qoe方面面臨著挑戰(zhàn)，因為它們必須在視頻平滑性和質(zhì)量之間取得微妙的平衡。

3、超分辨率(super-resolution，sr)是一種強大的工具，可以從低分辨率圖像重建高分辨率圖像。研究人員已經(jīng)調(diào)查了將sr模型應用于視頻的可能性，并且最近的研究專注于利用這些模型來增強視頻流媒體?；趕r模型，我們有能力對在低帶寬環(huán)境中獲取的低清晰度視頻塊進行上采樣。然而，這個過程引入了額外的能量開銷，可能增加推理延遲，從而降低用戶的qoe。因此，在進行客戶端上采樣之前，針對移動設備對sr模型進行優(yōu)化至關重要。目標是在保持視頻質(zhì)量提升的同時，最小化能量開銷和推理時間。此外，獲取的視頻塊的清晰度也影響了運行sr的復雜性。確定要獲取的視頻塊的比特率和要應用的上采樣因子變成了一項具有挑戰(zhàn)性的任務。現(xiàn)有技術存在對于實現(xiàn)平衡能耗和視頻質(zhì)量的視頻傳輸方案的需要。

技術實現(xiàn)思路

1、發(fā)明目的：針對現(xiàn)有技術的不足，本發(fā)明提出一種面向移動端視頻的自適應超分辨率方法、裝置和系統(tǒng)，在進行視頻傳輸時進行動態(tài)的分辨率選擇和客戶端進行指定倍率的超分辨率，有效提高不同帶寬情況下的移動端視頻傳輸性能。

2、技術方案：根據(jù)本發(fā)明的第一方面，提供一種面向移動端視頻的自適應超分辨率方法，包括以下步驟：

3、建立適配移動端的多種倍率超分辨率模型，使用大規(guī)模數(shù)據(jù)集進行預訓練，并且針對每個目標視頻抽取指定幀進行模型的重訓練，經(jīng)訓練后的超分辨率模型用于部署在移動端設備上；

4、建立執(zhí)行超分倍數(shù)和比特率決策的強化學習智能決策體模型，智能決策體的行為a包含待下載的視頻塊比特率b和超分倍數(shù)u，智能決策體做出決策前獲取的環(huán)境狀態(tài)信息s包含下一個數(shù)據(jù)塊的不同比特率的大小和視頻質(zhì)量、緩沖區(qū)大小，以及加載前一個數(shù)據(jù)塊的時間和能源消耗，目標是最大化每個行動的累積獎勵ri，該ri與用戶的視頻觀看體驗qoe相關聯(lián)，并基于真實數(shù)據(jù)集訓練基礎的智能決策體模型，智能體做出的決策用于傳輸給移動端設備；

5、不斷收集每個用戶的視頻流數(shù)據(jù)，包括即時獎勵、重緩沖時間和估計帶寬，當系統(tǒng)性能下降滿足指定條件時，智能決策體使用當前用戶的歷史視頻塊來更新其策略網(wǎng)絡，利用新的策略網(wǎng)絡選擇下一個動作，使得視頻質(zhì)量能夠適配不同的移動端設備和網(wǎng)絡。

6、進一步地，超分辨率模型包含四個主要部分：淺層特征提取、深層特征提取、重建和后處理，淺層特征提取部分使用一個卷積層和prelu激活函數(shù)將輸入低分辨率圖像il轉(zhuǎn)換為特征空間，得到第一特征圖f0；深層特征提取部分利用兩對卷積層和prelu激活函數(shù)層對第一特征圖f0提取第二特征圖fi；重建部分再次使用一個卷積層作為過渡層將第二特征圖特征fi映射回高分辨率圖像空間，獲得殘差圖像特征ft，并將殘差圖像特征ft與輸入低分辨率圖像相加，得到超分辨率圖像fs；后處理部分通過像素重排層重新排列圖像，并通過剪輯節(jié)點將值限制在正常范圍內(nèi)。

7、進一步地，超分辨率模型訓練過程中損失函數(shù)采用l1損失函數(shù)：

8、

9、其中θ表示當前整個超分模型的參數(shù)，n表示用于訓練的視頻幀數(shù)，代表第i幀的超分結(jié)果，表示第i幀原始高分辨率的圖像。

10、進一步地，智能決策體模型中，行動的累積獎勵ri通過對未來所有可能獲得的視頻塊k的即時獎勵qoek采用折扣因子γ進行加權和求和來計算得到：

11、

12、其中qoek表示當前第k個視頻塊用戶的觀看體驗，其計算方法為：

13、qoek＝α×qk-β×(qk-qk-1)-η×pk-ω×ek

14、式中，qk表示第k個視頻塊的視頻質(zhì)量，pk表示對第k個視頻卡頓的懲罰，ei表示播放第k個視頻塊的能耗，α,β,η,ω分別代表視頻質(zhì)量、平滑度、卡頓、能耗對于qoe的影響系數(shù)。

15、進一步地，智能決策體模型訓練過程中利用優(yōu)勢估計來指導策略更新，提升智能體的決策能力，包括：

16、采納了通用優(yōu)勢估算gae方法，通過引入λ超參數(shù)來平衡偏差和方差，優(yōu)勢函數(shù)的定義基于即時獎勵、值函數(shù)和下一個狀態(tài)行動的優(yōu)勢：

17、

18、其中qoei表示即時獎勵，是第k個視頻塊用戶的觀看體驗，vφ(s)表示在當前的策略φ情況下從狀態(tài)s開始能獲取的總的回報，λ是gae參數(shù)，s′和a′分別代表當前視頻傳輸過程中的下一個狀態(tài)和行動；

19、結(jié)合ppo的策略損失和價值損失，策略損失度量了當前策略網(wǎng)絡和舊策略網(wǎng)絡選擇行動的概率比率與優(yōu)勢估計的乘積，通過下列公式計算策略損失：

20、

21、其中l(wèi)(s,a,θ′,θ)是當前狀態(tài)s、選定動作a，以及當前策略網(wǎng)絡參數(shù)θ和舊策略網(wǎng)絡參數(shù)θ′的損失函數(shù)，πθ(a,s)指的是根據(jù)當前策略網(wǎng)絡θ在狀態(tài)s中選擇動作a的概率，而(s,a)是根據(jù)舊策略網(wǎng)絡θ′在狀態(tài)s中動作a的優(yōu)勢估計，是優(yōu)勢函數(shù)的剪切版本，其中：

22、

23、其中∈為用于平衡政策更新性能引入的一個正值。

24、進一步地，自適應重訓練包括：利用計數(shù)器記錄移動端設備連續(xù)多次數(shù)據(jù)塊的即時獎勵為負的次數(shù)，當計數(shù)器達到閾值δ，激活在線重新訓練過程，重新訓練過程之后，計數(shù)器重置為0。

25、根據(jù)本發(fā)明的第二方面，提供一種面向移動端視頻的自適應超分辨率服務裝置，包括：

26、超分辨率模型構(gòu)建與訓練模塊，被配置為建立適配移動端的多種倍率超分辨率模型，使用大規(guī)模數(shù)據(jù)集進行預訓練，并且針對每個目標視頻抽取指定幀進行模型的重訓練，經(jīng)訓練后的超分辨率模型用于部署在移動端設備上；

27、智能決策體模型構(gòu)建與訓練模塊，被配置為建立執(zhí)行超分倍數(shù)和比特率決策的強化學習智能體模型，智能決策體的行為a包含待下載的視頻塊比特率b和超分倍數(shù)u，智能決策體做出決策前獲取的環(huán)境狀態(tài)信息s包含下一個數(shù)據(jù)塊的不同比特率的大小和視頻質(zhì)量、緩沖區(qū)大小，以及加載前一個數(shù)據(jù)塊的時間和能源消耗，目標是最大化每個行動的累積獎勵ri，該ri與用戶的視頻觀看體驗qoe相關聯(lián)，并基于真實數(shù)據(jù)集訓練基礎的智能決策體模型，智能體做出的決策用于傳輸給移動端設備；

28、自適應重訓練模塊，被配置為不斷收集每個用戶的視頻流數(shù)據(jù)，包括即時獎勵、重緩沖時間和估計帶寬，當系統(tǒng)性能下降滿足指定條件時，智能決策體使用當前用戶的歷史視頻塊來更新其策略網(wǎng)絡，利用新的策略網(wǎng)絡選擇下一個動作，使得視頻質(zhì)量能夠適配不同的移動端設備和網(wǎng)絡。

29、根據(jù)本發(fā)明的第三方面，提供一種智能決策和超分服務裝置，所述裝置包括：一個或多個處理器；存儲器；以及一個或多個程序，其中所述一個或多個程序被存儲在所述存儲器中，并且被配置為由所述一個或多個處理器執(zhí)行，所述程序被處理器執(zhí)行時實現(xiàn)第一方面所述的面向移動端視頻的自適應超分辨率方法的各步驟。

30、根據(jù)本發(fā)明的第四方面，提供一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如本發(fā)明第一方面所述的面向移動端視頻的自適應超分辨率方法的步驟。

31、根據(jù)本發(fā)明的第五方面，提供一種視頻傳輸系統(tǒng)，包括內(nèi)容分發(fā)網(wǎng)絡、服務端、客戶端，所述服務端被配置為執(zhí)行如第一方面所述的面向移動端視頻的自適應超分辨率方法或者采用如第二方面所述的超分服務裝置，或者采用如第三方面所述的智能決策和超分服務裝置，并將超分辨率模型和智能體所做的決策下發(fā)給客戶端，所述客戶端為部署了經(jīng)過服務端訓練的超分辨率模型的移動端設備，所述移動端設備按照所述服務端的智能決策體的決策采取相對應的動作，從內(nèi)容分發(fā)網(wǎng)絡拉取視頻，供用戶觀看。

32、有益效果：針對移動端視頻傳輸?shù)目D問題，本發(fā)明結(jié)合了自適應比特率和超分辨率模型來增強用戶的觀看體驗，通過建立合適的系統(tǒng)模型并設定優(yōu)化目標，基于強化學習算法動態(tài)調(diào)整比特率和超分辨率的選擇。搭建輕量化的超分辨率模型，確保其輕量級的特性以便于在資源有限的移動設備上高效地進行超分辨率。本發(fā)明填補了領域空白，同時考慮了視頻畫質(zhì)、流暢度和整體能耗，選擇合適的比特率和超分辨率。本發(fā)明具有廣泛的適用性，能夠有效提高移動設備的視頻傳輸效果和用戶的觀看體驗。