本發(fā)明涉及云游戲和云計算資源管理領(lǐng)域，具體涉及了一種基于感興趣區(qū)域的云游戲平臺自適應(yīng)帶寬優(yōu)化方法。

背景技術(shù)：

近年來，隨著寬帶技術(shù)的普及，GPU虛擬化技術(shù)的快速發(fā)展以及游戲產(chǎn)業(yè)的高速發(fā)展，越來越多的廠商開始推廣云游戲技術(shù)。

云游戲平臺是以云計算為基礎(chǔ)的游戲方式，服務(wù)器端收集客戶端的用戶輸入，游戲邏輯及游戲畫面渲染都在服務(wù)器端運(yùn)行，服務(wù)器將渲染完畢后的游戲畫面編碼為視頻流后通過網(wǎng)絡(luò)傳送給用戶。用戶不需要購買價格昂貴的處理器和顯卡，不需要下載容量龐大的游戲安裝文件，只需要有良好的網(wǎng)絡(luò)連接，以及基礎(chǔ)的視頻解壓能力即可進(jìn)行游戲。云游戲技術(shù)還可以讓用戶在移動終端上享受到以往只能在PC平臺上運(yùn)行的游戲。

云游戲平臺架構(gòu)主要由游戲用戶和云游戲服務(wù)提供商構(gòu)成。云游戲服務(wù)提供商提供若干種游戲供用戶選擇，用戶根據(jù)喜好選擇不同的游戲。用戶對不同的游戲類型有不同的畫質(zhì)要求，同時不同的游戲類型對網(wǎng)絡(luò)帶寬的消耗也不一樣。隨著游戲質(zhì)量的日益進(jìn)步，游戲的分辨率與游戲畫面的精細(xì)程度日益提高，從而導(dǎo)致游戲畫面編碼后產(chǎn)生的視頻大小也不斷提高。不斷提高的游戲視頻大小不但給云游戲提供商造成了網(wǎng)絡(luò)帶寬的成本壓力，也提高了云游戲用戶的使用門檻。因此在盡可能少的影響畫質(zhì)的前提下降低云游戲?qū)挼恼加茫軌驗樵朴螒蛱峁┥毯陀脩魩黼p贏。

根據(jù)生物學(xué)、認(rèn)知心理學(xué)和計算機(jī)科學(xué)等多個學(xué)科的研究成果，人類視覺系統(tǒng)(Human Visual System，HVS)面對復(fù)雜的場景時，能夠迅速將注意力集中在少數(shù)顯著的視覺對象上對其優(yōu)先處理?；谶@一思想，感興趣區(qū)域(Region of Interest，ROI)被提出并逐漸發(fā)展。從圖像或視頻畫面中提取感興趣區(qū)域有多種方法，如手工指定、利用外設(shè)采集用戶注視點、基于視覺注意模型提取、基于特定對象分割等方法。

在確定了感興趣區(qū)域的大小及位置之后，可以通過設(shè)置視頻編碼器的相關(guān)編碼參數(shù)，控制感興趣區(qū)域內(nèi)部和外部的視頻質(zhì)量，從而控制游戲視頻的大小。通過適當(dāng)?shù)姆椒ㄟx定感興趣區(qū)域的大小以及感興趣區(qū)域內(nèi)部和外部的視頻質(zhì)量，可以實現(xiàn)游戲視頻質(zhì)量與游戲視頻所需帶寬之間的平衡。

綜上所述，從云游戲提供商的角度出發(fā)，為了降低帶寬成本，同時保證游戲用戶的良好游戲體驗，云游戲平臺需要設(shè)計一種方法來選擇用戶的感興趣區(qū)域大小，使得云游戲提供商能夠在保證用戶體驗的前提下盡可能節(jié)約帶寬成本。

“H.J.Hong，C.F.Hsu，T.H.Tsai，C.Y.Huang，K.T.Chen and C.H.Hsu，“Enabling Adaptive Cloud Gaming in an Open-Source Cloud Gaming Platform”，IEEE Transactions on Circuits and Systems for Video Technology，Volume.25，Issue.12，Page 2078-2091，2015.”測量了游戲用戶體驗質(zhì)量與游戲視頻幀率和碼率之間的關(guān)系，并提出了調(diào)整游戲視頻幀率與碼率來調(diào)整云游戲視頻占用帶寬的自適應(yīng)優(yōu)化方法。該技術(shù)中調(diào)整游戲幀率和碼率屬于全局參數(shù)調(diào)節(jié)，沒有考慮游戲畫面中重要區(qū)域與非重要區(qū)域?qū)τ脩舻捏w驗質(zhì)量影響不同的因素，對用戶體驗質(zhì)量的影響較大。

“E.Cuervo，A.Wolman，L.P.Cox，K.Lebeck，A.Razeen，S.Saroiu and M.Musuvathi，“Kahawai:High-Quality Mobile Gaming Using GPU Offload”，in MobiSys，2015.”提出了云游戲服務(wù)端和客戶端均擁有完整的游戲程序與數(shù)據(jù)，通過協(xié)同工作的方式生成游戲畫面的技術(shù)?？蛻舳诉\(yùn)行游戲并生成低畫質(zhì)的畫面。服務(wù)器端分別運(yùn)行兩個游戲?qū)嵗傻彤嬞|(zhì)和高畫質(zhì)的畫面，并計算兩個畫面之間的差值，然后將差值畫面編碼后傳輸?shù)娇蛻舳?。客戶端將本地生成的低畫質(zhì)畫面與解碼后的差值畫面合并生成較高畫質(zhì)的畫面。該技術(shù)通過傳輸編碼后的差值畫面可以降低云游戲的帶寬需求。在該技術(shù)中，由于要求客戶端也需要擁有完整的游戲程序和數(shù)據(jù)，導(dǎo)致客戶端也需要安裝完整的游戲程序，與云游戲節(jié)約用戶端空間的初衷存在沖突。同時，由于客戶端也需要運(yùn)行游戲程序，這使得客戶端無法跨平臺跨終端進(jìn)行游戲，同時也提高了客戶端的硬件需求。

“M.S.Hossain，G.Muhammad，B.Song，M.M.Hassan，A.Alelaiwai and A.Alamri，“Audio-Visual Emotion-Aware Cloud Gaming Framework”，IEEE Transactions on Circuits and Systems for Video Technology，Volume.25，Issue.12，Page 2105-2118，2015.”提出了一種基于用戶音頻和視頻反饋的可感知用戶情緒的云游戲平臺框架。該技術(shù)通過調(diào)節(jié)游戲視頻畫面的顏色分量以及亮度和對比度，來增強(qiáng)游戲用戶的體驗質(zhì)量。該技術(shù)調(diào)節(jié)的參數(shù)(顏色分量、亮度及對比度)對用戶的體驗質(zhì)量的影響并不顯著。該技術(shù)無法實現(xiàn)帶寬的優(yōu)化。同時，通過用戶的音頻和視頻反饋的情緒分類和標(biāo)注如何保證準(zhǔn)確性仍存在一定的問題。

“W.Cai，Z.Hong，X.Wang，H.C.B.Chan and V.C.M.Leung，“Quality of Experience Optimization for Cloud Gaming System with Ad-hoc Cloudlet Assistance”，IEEE Transactions on Circuits and Systems for Video Technology，Volume.25，Issue.12，Page 2092-2104，2015.”該技術(shù)提出了局域網(wǎng)內(nèi)部的游戲用戶通過自組網(wǎng)的方式相互共享相似的游戲畫面，從而實現(xiàn)降低云游戲用戶總體帶寬需求的目標(biāo)。該技術(shù)的前提假設(shè)是局域網(wǎng)內(nèi)部的用戶大部分都在進(jìn)行相同的游戲，同時游戲畫面之間具有較高的相似性，然而在現(xiàn)實情況中該假設(shè)難以實現(xiàn)。另外，設(shè)備通過自組網(wǎng)共享游戲畫面，會增加移動終端的電量消耗，該技術(shù)缺乏對用戶共享計算能力的激勵措施，難以在現(xiàn)實情況中應(yīng)用。

技術(shù)實現(xiàn)要素：

針對目前云游戲平臺存在的帶寬占用過高問題，為了在滿足游戲用戶體驗的基礎(chǔ)上，盡可能降低云游戲運(yùn)營商的帶寬成本以及用戶的網(wǎng)絡(luò)帶寬需求，本發(fā)明提出了一種基于感興趣區(qū)域的云游戲平臺自適應(yīng)帶寬優(yōu)化方法。

為了實現(xiàn)上述目的，本發(fā)明的技術(shù)方案為：

一種基于感興趣區(qū)域的云游戲平臺自適應(yīng)帶寬優(yōu)化方法，包括以下步驟：

S1.將云游戲平臺運(yùn)行周期切割成若干個時間段；

S2.在每一個時間段開始時，中央控制單元獲取每個游戲用戶的帶寬信息；

S3.中央控制單元基于當(dāng)前收集的帶寬信息求解決策結(jié)果，其決策結(jié)果包括每個游戲用戶的感興趣區(qū)域大??；

S4.基于獲取的決策結(jié)果對每一個游戲用戶的游戲畫面進(jìn)行視頻編碼；

步驟S3中求解獲得決策結(jié)果的方式為：云游戲運(yùn)營商通過中央控制單元收集每個用戶當(dāng)前帶寬信息，通過貪心算法分配不同的感興趣區(qū)域大小給各個用戶，保證每個用戶的游戲視頻帶寬不超過其網(wǎng)絡(luò)帶寬，所有用戶占用的總帶寬不超過服務(wù)器出口帶寬，同時使整體的QoE指標(biāo)之和最大化；

步驟S4中進(jìn)行視頻編碼的方式為：云游戲服務(wù)商使用視頻編碼器，根據(jù)預(yù)先設(shè)定的各用戶的感興趣區(qū)域外部和內(nèi)部的QP差值(QP(Quantization Parameter)為量化步長，是H.264視頻編碼中用于衡量視頻壓縮程度的參數(shù)，取值為0-51。值越大，則視頻壓縮程度越高。QP差值表示了感興趣區(qū)域內(nèi)部和外部的量化步長差值，即感興趣區(qū)域內(nèi)部和外部的壓縮程度的差異。QP差值越大，說明感興趣區(qū)域內(nèi)外的畫質(zhì)差異越大)，與步驟S3中得到的感興趣區(qū)域大小共同生成畫面中每一個Macro Block(Macro Block宏區(qū)塊，是視頻編碼中的最小編碼單位，H.264編碼中默認(rèn)的宏區(qū)塊大小是16像素x16像素的矩形)的QP值，然后視頻編碼器接口進(jìn)行畫面編碼。

優(yōu)選的，步驟S3中求解獲得決策結(jié)果的方式具體為：假設(shè)有N個用戶連接到云游戲服務(wù)器上進(jìn)行游戲，云游戲提供商共提供K種游戲；令dⁱ(t)為用戶i在第t個時間段所分配的感興趣區(qū)域大??；為游戲類型k的用戶QoE與感興趣區(qū)域大小之間的函數(shù)關(guān)系，qⁱ(t)為用戶i在第t個時間段的QoE，則有Φ_k為游戲類型k的視頻帶寬與感興趣區(qū)域大小之間的函數(shù)關(guān)系，bⁱ(t)為用戶i在第t個時間段的游戲視頻帶寬，則有bⁱ(t)＝Φ_k(dⁱ(t))；使用貪心算法，依據(jù)用戶的帶寬信息在每一個時間段內(nèi)計算出滿足如下最優(yōu)化方程的決策結(jié)果；

$max\underset{i=1}{\overset{N}{\Σ}}{q}^i\left(t\right).$

優(yōu)選的，所述用戶i在第t個時間段的游戲視頻帶寬bⁱ(t)必須小于用戶i在第t個時間段的網(wǎng)絡(luò)帶寬Bⁱ(t)，即滿足下式；

$b^i\left(t\right)\≤B^i\left(t\right),\∀i.$

優(yōu)選的，用戶i在第t個時間段的感興趣區(qū)域大小必須大于或等于針對當(dāng)前游戲類型，用戶在進(jìn)行游戲時要獲得基本的用戶體驗所應(yīng)該選擇的最小感興趣區(qū)域大小；由下式確定：

$d^i\left(t\right)\≥d_{\min }\left(G\right(i\left)\right),\∀i$

其中，dⁱ(t)表示用戶i在第t個時間段所分配的感興趣區(qū)域大小，G(i)代表用戶i所選擇的游戲類型，d_min(G(i))表示用戶i要獲得最基本的用戶體驗所需要請求的最小感興趣區(qū)域大??；

整個表達(dá)式用于確保對每一個用戶i，在每一個時間段t，其所接收到的感興趣區(qū)域大小都能夠保證其獲得最基本的用戶體驗。

本發(fā)明感興趣區(qū)域的定義一般采用以屏幕中心點為中心，由程序指定相應(yīng)長度和寬度的矩形區(qū)域。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：本發(fā)明充分考慮了不同游戲類型對于用戶體驗質(zhì)量的影響，針對不同的游戲類型提出了對應(yīng)的視頻編碼參數(shù)選擇方式。同時，本發(fā)明還充分考慮了生物學(xué)、認(rèn)知心理學(xué)與計算機(jī)科學(xué)對人類視覺系統(tǒng)的研究成果，通過調(diào)整游戲畫面中感興趣區(qū)域大小，在盡可能少地影響用戶體驗質(zhì)量的前提下，降低云游戲?qū)挼恼加谩?/p>

附圖說明

圖1為現(xiàn)有云游戲平臺架構(gòu)圖。

圖2為基于感興趣區(qū)域的云游戲平臺自適應(yīng)帶寬優(yōu)化方法的流程圖。

具體實施方式

下面結(jié)合附圖對本發(fā)明做進(jìn)一步的描述，但本發(fā)明的實施方式并不限于此。

云游戲平臺

云游戲平臺是以云計算為基礎(chǔ)的游戲方式，服務(wù)器端收集客戶端的用戶輸入，游戲邏輯及游戲畫面渲染都在服務(wù)器端運(yùn)行，服務(wù)器將渲染完畢后的游戲畫面編碼為視頻流后通過網(wǎng)絡(luò)傳送給用戶。在客戶端，用戶只需要擁有良好的網(wǎng)絡(luò)連接、配備輸入輸出設(shè)備和具有基礎(chǔ)的視頻解壓能力。

感興趣區(qū)域

人類視覺系統(tǒng)處理較為復(fù)雜的場景時，會將其視覺注意力集中于該場景的少數(shù)幾個對象，并將這些對象優(yōu)先處理，力求在最短時間獲取場景中的主要信息，此過程稱為視覺注意過程，這些對象在場景中構(gòu)成的區(qū)域即為感興趣區(qū)域。

用戶體驗質(zhì)量

用戶體驗質(zhì)量(Quality of Experience)是用戶在與服務(wù)或者應(yīng)用交互的過程中，由用戶產(chǎn)生的對服務(wù)的一種主觀感受。在本發(fā)明中，用戶體驗質(zhì)量表示用戶對游戲畫質(zhì)的主觀感受。為了定量評價用戶體驗質(zhì)量，本發(fā)明采用相關(guān)客觀指標(biāo)表征用戶體驗質(zhì)量。針對游戲直播平臺中存在的運(yùn)營成本過高，觀眾分布不均衡等問題，本發(fā)明提出了一種基于感興趣區(qū)域的云游戲平臺自適應(yīng)帶寬優(yōu)化方法。該方法在滿足觀眾體驗的基礎(chǔ)上，實現(xiàn)了盡可能地降低運(yùn)營商的運(yùn)營成本。

本發(fā)明充分考慮了不同游戲類型對于用戶體驗質(zhì)量的影響，本發(fā)明針對不同的游戲類型選擇對應(yīng)的云游戲視頻編碼參數(shù)選擇算法，以達(dá)到基于感興趣區(qū)域的云游戲平臺自適應(yīng)帶寬優(yōu)化的目的。同時，本發(fā)明還充分考慮了生物學(xué)、認(rèn)知心理學(xué)與計算機(jī)科學(xué)對人類視覺系統(tǒng)的研究成果，通過調(diào)整游戲畫面中感興趣區(qū)域大小，在盡可能少地影響用戶體驗質(zhì)量的前提下，降低云游戲?qū)挼恼加谩?/p>

本發(fā)明的基本技術(shù)包括：用戶QoE模型、視頻帶寬模型、云游戲視頻編碼參數(shù)選擇算法。

用戶QoE模型

在云游戲平臺中，用戶QoE反映了游戲用戶對于游戲服務(wù)的滿意程度。用戶QoE是衡量云游戲平臺性能的重要指標(biāo)之一。

首先，本發(fā)明針對不同的游戲用戶選擇的不同游戲類型，定義了與游戲類型相關(guān)的QoE指標(biāo)，并定義了不同類型游戲的基本感興趣區(qū)域大小要求?；靖信d趣區(qū)域大小要求指的是，針對當(dāng)前游戲類型，游戲用戶在進(jìn)行游戲時，要獲得基本的用戶體驗所應(yīng)該選擇的最小感興趣區(qū)域大小。

$d^i\left(t\right)\≥d_{min}\left(G\right(i\left)\right),\∀i$

其中，dⁱ(t)表示用戶i在第t個時間段所分配的感興趣區(qū)域大小，G(i)表示用戶i所選擇的游戲類型，d_min(G(i))表示用戶i要獲得最基本的用戶體驗所需要請求的感興趣區(qū)域大小。整個表達(dá)式用于確保對每一個游戲用戶i，在每一個時間段t，其所接收到的游戲視頻感興趣區(qū)域大小都能保證其獲得最基本的用戶體驗。

本發(fā)明定義用戶QoE與用戶接收到的感興趣區(qū)域大小直接相關(guān)，具體定義為：

其中，為游戲類型k的用戶QoE與感興趣區(qū)域大小之間的函數(shù)關(guān)系。

視頻帶寬模型

在云游戲平臺中，游戲視頻所占用的帶寬與視頻畫面中感興趣區(qū)域大小以及感興趣區(qū)域內(nèi)部和外部的視頻質(zhì)量參數(shù)相關(guān)。在確定了感興趣區(qū)域內(nèi)部和外部的視頻質(zhì)量參數(shù)之后，游戲視頻所占用的帶寬與感興趣區(qū)域大小直接相關(guān)。本發(fā)明定義bⁱ(t)為用戶i在第t個時間段所占用的帶寬大小，具體定義為：

bⁱ(t)＝Φ_k(dⁱ(t))

其中，Φ_k為游戲類型k的視頻帶寬與感興趣區(qū)域大小之間的函數(shù)關(guān)系。

云游戲視頻編碼參數(shù)選擇算法

下面結(jié)合流程圖2和實施實例對基于感興趣區(qū)域的云游戲平臺自適應(yīng)帶寬優(yōu)化方法做進(jìn)一步的說明。

圖2為“基于感興趣區(qū)域的云游戲平臺自適應(yīng)帶寬優(yōu)化方法”的流程圖，具體步驟如下：

(S101)將云游戲平臺運(yùn)行周期切割成若干個時間段。

(S102)在每一個時間段開始時，中央控制單元獲取每個游戲用戶的帶寬信息。

(S103)中央控制單元基于當(dāng)前收集的帶寬信息求解決策結(jié)果，其決策結(jié)果包括每個游戲用戶的感興趣區(qū)域大小。

(S104)根據(jù)步驟(S103)的決策結(jié)果對每一個游戲用戶的游戲畫面進(jìn)行視頻編碼。

在一個具體實施方式中，步驟(S102)中當(dāng)前收集的信息包括用戶帶寬等信息。

在一個具體實施方式中，本發(fā)明使用貪心算法求解關(guān)于感興趣區(qū)域大小與視頻帶寬、用戶QoE之間構(gòu)成的優(yōu)化問題，得到每個用戶感興趣區(qū)域大小的決策結(jié)果。

定義如下優(yōu)化問題：

$max\underset{i=1}{\overset{N}{\Σ}}{q}^i\left(t\right)$

該優(yōu)化問題表示云游戲服務(wù)器上的N名用戶的QoE之和應(yīng)最大化。

該優(yōu)化問題還應(yīng)符合以下約束條件：

1、用戶i在第t個時間段的游戲視頻帶寬必須小于等于用戶i在第t個時間段的網(wǎng)絡(luò)帶寬Bⁱ(t)，即滿足下式：

$b^i\left(t\right)\≤B^i\left(t\right),\∀i$

2、所有用戶的游戲視頻帶寬之和必須小于等于服務(wù)器提供的出口帶寬C，即滿足下式：

$\underset{i=1}{\overset{N}{\Σ}}{b}^i\left(t\right)\≤C$

3、用戶i在第t個時間段的感興趣區(qū)域大小必須大于等于該用戶選擇的游戲的基本感興趣區(qū)域大小，即滿足下式：

$d^i\left(t\right)\≥d_{min}\left(G\right(i\left)\right),\∀i$

本發(fā)明提出了一種云游戲視頻編碼參數(shù)選擇算法。使用云游戲視頻編碼參數(shù)選擇算法求解步驟(S103)中的決策結(jié)果，該算法過程的偽代碼如下所示。

本發(fā)明提出了一種基于感興趣區(qū)域的云游戲平臺自適應(yīng)帶寬優(yōu)化方法，本發(fā)明詳細(xì)描述了云游戲視頻編碼參數(shù)選擇算法。本發(fā)明在具體實施時可以有多種方法，包括但不局限于：

1、使用預(yù)測算法獲得用戶的網(wǎng)絡(luò)帶寬；

2、針對游戲用戶QoE模型做小幅調(diào)整，比如添加感興趣區(qū)域內(nèi)部和外部的視頻編碼質(zhì)量參數(shù)作為QoE模型參數(shù)，添加用戶觀看距離作為QoE模型參數(shù)等。

3、使用不同的客觀指標(biāo)作為用戶QoE模型的具體實現(xiàn)，如SSIM、PSNR等。

本發(fā)明中，各模塊的結(jié)構(gòu)和連接方式都是可以有所變化的，在本發(fā)明技術(shù)方案的基礎(chǔ)上，凡根據(jù)本發(fā)明原理對個別算法模塊的結(jié)構(gòu)進(jìn)行的改進(jìn)和等同變換，均不應(yīng)排除在本發(fā)明的保護(hù)范圍之外。

本發(fā)明提出的系統(tǒng)工作流程中的關(guān)鍵數(shù)學(xué)模型和方法有：用戶QoE模型、視頻帶寬模型和云游戲視頻編碼參數(shù)選擇方法。用戶QoE模型表達(dá)了游戲用戶對于游戲服務(wù)的滿意程度，是本發(fā)明的基礎(chǔ)。本發(fā)明提出的云游戲視頻編碼參數(shù)選擇方法能根據(jù)有限的用戶網(wǎng)絡(luò)帶寬等信息，動態(tài)地做出用戶游戲畫面感興趣區(qū)域大小決策，在保證用戶QoE的基礎(chǔ)上，優(yōu)化云游戲運(yùn)營商的帶寬開銷以及云游戲用戶的網(wǎng)絡(luò)帶寬需求。本發(fā)明提出的云游戲視頻編碼參數(shù)選擇算法是本發(fā)明的核心內(nèi)容。

以上所述的本發(fā)明的實施方式，并不構(gòu)成對本發(fā)明保護(hù)范圍的限定。任何在本發(fā)明的精神原則之內(nèi)所作出的修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的權(quán)利要求保護(hù)范圍之內(nèi)。