一種帶寬分配方法、裝置及服務(wù)器的制造方法
【專利摘要】本發(fā)明公開了一種帶寬分配方法、裝置及服務(wù)器，包括：針對終端當前發(fā)起的終端業(yè)務(wù)，獲取該終端對應(yīng)的當前網(wǎng)絡(luò)狀態(tài)；基于該當前網(wǎng)絡(luò)狀態(tài)和各預設(shè)帶寬的各組合分別對應(yīng)的Q值，確定在該當前網(wǎng)絡(luò)狀態(tài)下從各預設(shè)帶寬中進行隨機選擇時所基于的分別與各預設(shè)帶寬對應(yīng)的隨機概率；各Q值分別對應(yīng)表征了在該當前網(wǎng)絡(luò)狀態(tài)下該終端采用各預設(shè)帶寬處理該終端業(yè)務(wù)所產(chǎn)生的累積動作回報的期望，該Q值越大，與該Q值對應(yīng)的隨機概率越大；按照分別與各預設(shè)帶寬對應(yīng)的隨機概率，從各預設(shè)帶寬中進行隨機選擇；為該終端業(yè)務(wù)分配所選擇出的預設(shè)帶寬。采用本發(fā)明提供的方法、裝置及服務(wù)器，解決了現(xiàn)有技術(shù)中無法為終端合理分配帶寬的問題。
【專利說明】一種帶寬分配方法、裝置及服務(wù)器
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及無線通信領(lǐng)域，尤其涉及一種帶寬分配方法、裝置及服務(wù)器。
【背景技術(shù)】
[0002]在目前的很多通信網(wǎng)絡(luò)中，例如TD-SCDMA (Time Division-Synchronous CodeDivision Multiple Access,時分同步碼分多址)網(wǎng)絡(luò)，當一個終端接入該網(wǎng)絡(luò)時,該網(wǎng)絡(luò)服務(wù)器先為該終端分配預設(shè)接入帶寬；當該終端接入該網(wǎng)絡(luò)后，該網(wǎng)絡(luò)服務(wù)器獲取該終端傳輸信道數(shù)據(jù)流量，分別和預設(shè)的上調(diào)帶寬門限值、下調(diào)帶寬門限值進行比較，當該終端傳輸信道數(shù)據(jù)流量大于該上調(diào)帶寬門限值時，上調(diào)為該終端分配的帶寬，當該終端傳輸信道數(shù)據(jù)流量小于該下調(diào)帶寬門限值時，下調(diào)為該終端分配的帶寬。
[0003]然而，由于不同業(yè)務(wù)對帶寬需求不同，該上調(diào)帶寬門限值和該下調(diào)帶寬門限值很難設(shè)置合適。例如，即時通訊業(yè)務(wù)對帶寬需求較低，而網(wǎng)頁瀏覽業(yè)務(wù)對帶寬需求較高，如果該上調(diào)帶寬門限值設(shè)置過低，則可能會造成對帶寬需求較低的終端的帶寬進行上調(diào)，導致網(wǎng)絡(luò)資源的利用率較低；而如果該上調(diào)帶寬門限值設(shè)置過高，則可能會造成對帶寬需求較高的終端的帶寬沒有進行上調(diào)，進而導致終端業(yè)務(wù)處理效率較低。同樣，該下調(diào)帶寬門限值也存在類似問題?？梢?，目前現(xiàn)有的帶寬分配機制不能對帶寬進行合理分配。
【發(fā)明內(nèi)容】
[0004]本發(fā)明實施例提供一種帶寬分配方法、裝置及服務(wù)器，用以解決現(xiàn)有技術(shù)中存在的不能對帶寬進行合理分配的問題。
[0005]本發(fā)明實施例提供一種帶寬分配方法，包括:
[0006]針對終端當前發(fā)起的終端業(yè)務(wù)，獲取所述終端對應(yīng)的當前網(wǎng)絡(luò)狀態(tài)；
[0007]基于所述當前網(wǎng)絡(luò)狀態(tài)和各預設(shè)帶寬的各組合分別對應(yīng)的Q值，確定在所述當前網(wǎng)絡(luò)狀態(tài)下從各預設(shè)帶寬中進行隨機選擇時所基于的分別與各預設(shè)帶寬對應(yīng)的隨機概率；各Q值分別對應(yīng)表征了在所述當前網(wǎng)絡(luò)狀態(tài)下所述終端采用各預設(shè)帶寬處理所述終端業(yè)務(wù)所產(chǎn)生的累積動作回報的期望，所述Q值越大，與所述Q值對應(yīng)的隨機概率越大；
[0008]按照分別與各預設(shè)帶寬對應(yīng)的隨機概率，從各預設(shè)帶寬中進行隨機選擇；
[0009]為所述終端業(yè)務(wù)分配所選擇出的預設(shè)帶寬。
[0010]本發(fā)明實施例提供一種帶寬分配裝置，包括:
[0011]獲取單元，用于針對終端當前發(fā)起的終端業(yè)務(wù)，獲取所述終端對應(yīng)的當前網(wǎng)絡(luò)狀態(tài)；
[0012]第一確定單元，用于基于所述當前網(wǎng)絡(luò)狀態(tài)和各預設(shè)帶寬的各組合分別對應(yīng)的Q值，確定在所述當前網(wǎng)絡(luò)狀態(tài)下從各預設(shè)帶寬中進行隨機選擇時所基于的分別與各預設(shè)帶寬對應(yīng)的隨機概率；各Q值分別對應(yīng)表征了在所述當前網(wǎng)絡(luò)狀態(tài)下所述終端采用各預設(shè)帶寬處理所述終端業(yè)務(wù)所產(chǎn)生的累積動作回報的期望，所述Q值越大，與所述Q值對應(yīng)的隨機概率越大；[0013]選擇單元，用于按照分別與各預設(shè)帶寬對應(yīng)的隨機概率，從各預設(shè)帶寬中進行隨機選擇；
[0014]分配單元，用于為所述終端業(yè)務(wù)分配所選擇出的預設(shè)帶寬。
[0015]本發(fā)明實施例提供一種服務(wù)器，包括上述帶寬分配裝置。
[0016]本發(fā)明有益效果包括:
[0017]本發(fā)明實施例提供的方法，基于當前網(wǎng)絡(luò)狀態(tài)和各預設(shè)帶寬的各組合分別對應(yīng)的Q值，確定各預設(shè)帶寬對應(yīng)的隨機概率，其中，Q值越大，對應(yīng)的隨機概率越大，基于各預設(shè)帶寬對應(yīng)的隨機概率，從各預設(shè)帶寬中進行隨機選擇，將選擇出的預設(shè)帶寬分配給終端業(yè)務(wù)，可見較大的Q值的對應(yīng)的預設(shè)帶寬被選擇出的概率也較大，由于Q值表征了在該當前網(wǎng)絡(luò)狀態(tài)下為終端業(yè)務(wù)分配預設(shè)帶寬所產(chǎn)生的累積回報的期望，即Q值越大表明分配的預設(shè)帶寬越合理，因此采用本發(fā)明實施例提供的方法能夠?qū)崿F(xiàn)對網(wǎng)絡(luò)帶寬進行更合理的分配。
【專利附圖】
【附圖說明】
[0018]附圖用來提供對本發(fā)明的進一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明實施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中:
[0019]圖1為本發(fā)明實施例提供的帶寬分配方法的流程圖；
[0020]圖2為本發(fā)明實施例1提供的帶寬分配方法的詳細流程圖；
[0021]圖3為本發(fā)明實施例2提供的帶寬分配裝置的結(jié)構(gòu)圖。
【具體實施方式】
[0022]為了給出合理分配帶寬的實現(xiàn)方案，本發(fā)明實施例提供了一種帶寬分配方法、裝置及服務(wù)器，以下結(jié)合說明書附圖對本發(fā)明的優(yōu)選實施例進行說明，應(yīng)當理解，此處所描述的優(yōu)選實施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。并且在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。
[0023]強化學習是一種從環(huán)境到行為映射的學習。在強化學習過程中，環(huán)境不告訴強化學習系統(tǒng)如何去產(chǎn)生正確的動作，而是對已產(chǎn)生的動作的好壞做出評價(即回報)。強化學習系統(tǒng)根據(jù)外部環(huán)境所提供的信息及自身的經(jīng)歷進行學習，在不斷的“動作-評價(回報)”的過程中獲得知識，改進自己的動作方案來適應(yīng)環(huán)境，以使累計動作回報達到最大化。
[0024]基于上述強化學習原理，本發(fā)明實施例提供一種帶寬分配方法，如圖1所示，包括:
[0025]步驟101、針對終端當前發(fā)起的終端業(yè)務(wù)，獲取該終端對應(yīng)的當前網(wǎng)絡(luò)狀態(tài)；
[0026]步驟102、基于該當前網(wǎng)絡(luò)狀態(tài)和各預設(shè)帶寬的各組合分別對應(yīng)的Q值，確定在該當前網(wǎng)絡(luò)狀態(tài)下從各預設(shè)帶寬中進行隨機選擇時所基于的分別與各預設(shè)帶寬對應(yīng)的隨機概率；各Q值分別對應(yīng)表征了在該當前網(wǎng)絡(luò)狀態(tài)下該終端采用各預設(shè)帶寬處理該終端業(yè)務(wù)所產(chǎn)生的累積動作回報的期望，該Q值越大，與該Q值對應(yīng)的隨機概率越大；
[0027]步驟103、按照分別與各預設(shè)帶寬對應(yīng)的隨機概率，從各預設(shè)帶寬中進行隨機選擇；
[0028]步驟104 、為該終端業(yè)務(wù)分配所選擇出的預設(shè)帶寬。
[0029]其中，當前網(wǎng)絡(luò)狀態(tài)具體可以由當前網(wǎng)絡(luò)可用帶寬、終端業(yè)務(wù)類型以及終端接入場強表征。
[0030]在步驟102中，具體可采用玻爾茲曼分布算法，基于該當前網(wǎng)絡(luò)狀態(tài)和各預設(shè)帶寬的各組合分別對應(yīng)的Q值、該當前網(wǎng)絡(luò)狀態(tài)出現(xiàn)的次數(shù)和當前可分配的最大預設(shè)帶寬，確定在該當前網(wǎng)絡(luò)狀態(tài)下從不超過該最大預設(shè)帶寬的各預設(shè)帶寬中進行隨機選擇時所基于的分別與不超過該最大預設(shè)帶寬的各預設(shè)帶寬對應(yīng)的隨機概率，該次數(shù)越大，不同Q值各自對應(yīng)的隨機概率的差異越大。
[0031]也可以采用其它算法確定在該當前網(wǎng)絡(luò)狀態(tài)下從不超過該最大預設(shè)帶寬的各預設(shè)帶寬中進行隨機選擇時所基于的分別與不超過該最大預設(shè)帶寬的各預設(shè)帶寬對應(yīng)的隨機概率，例如貪婪算法等。
[0032]進一步的，在步驟104，為該終端業(yè)務(wù)分配所選擇出的預設(shè)帶寬之后，還包括:
[0033]基于所選擇出的預設(shè)帶寬、當前可分配的最大預設(shè)帶寬、當前可分配的不為O的最小預設(shè)帶寬、在該當前網(wǎng)絡(luò)狀態(tài)下為該終端業(yè)務(wù)分配所選擇出的預設(shè)帶寬后的業(yè)務(wù)處理時間、在該當前網(wǎng)絡(luò)狀態(tài)下為該終端業(yè)務(wù)分配比選擇出的預設(shè)帶寬小預設(shè)數(shù)量的預設(shè)帶寬后的業(yè)務(wù)處理時間和為該終端業(yè)務(wù)分配兩個相差預設(shè)數(shù)量的預設(shè)帶寬后的兩個業(yè)務(wù)處理時間的差值閾值，確定在該當前網(wǎng)絡(luò)狀態(tài)下該終端采用所選擇出的預設(shè)帶寬處理該終端業(yè)務(wù)所產(chǎn)生的動作回報。
[0034]而當該終端業(yè)務(wù)不是該終端首次發(fā)起的終端業(yè)務(wù)時，在步驟102，確定在該當前網(wǎng)絡(luò)狀態(tài)下從各預設(shè)帶寬中進行隨機選擇時所基于的分別與各預設(shè)帶寬對應(yīng)的隨機概率之前，還包括:
[0035]基于該終端發(fā) 起的該終端業(yè)務(wù)的上一終端業(yè)務(wù)對應(yīng)的上一網(wǎng)絡(luò)狀態(tài)和該上一終端業(yè)務(wù)對應(yīng)的上一選擇出的預設(shè)帶寬的組合對應(yīng)的Q值、在該上一網(wǎng)絡(luò)狀態(tài)下選擇該上一選擇出的預設(shè)帶寬的次數(shù)、在該上一網(wǎng)絡(luò)狀態(tài)下該終端采用該上一選擇出的預設(shè)帶寬處理該上一終端業(yè)務(wù)所產(chǎn)生的動作回報、常數(shù)時間折現(xiàn)因子以及該當前網(wǎng)絡(luò)狀態(tài)和各預設(shè)帶寬的各組合分別對應(yīng)的Q值，更新該上一網(wǎng)絡(luò)狀態(tài)和該上一選擇出的預設(shè)帶寬的組合對應(yīng)的Q值。
[0036]下面結(jié)合附圖，以在TD-SCDMA網(wǎng)絡(luò)中分配上行帶寬為例，用具體實施例對本發(fā)明提供的帶寬分配方法、裝置及服務(wù)器進行詳細描述。
[0037]實施例1:
[0038]當終端首次發(fā)起一個終端業(yè)務(wù)時，可以為該終端業(yè)務(wù)隨機分配一個預設(shè)帶寬，各
預設(shè)帶寬的集合為A= {O, B1, a2, a3,......，an}，an為當前網(wǎng)絡(luò)具有的最大帶寬，且A中每兩
個相鄰預設(shè)帶寬相差預設(shè)數(shù)量。在本實施例中，A={0，16，32，……，256}，256為當前網(wǎng)絡(luò)具有的最大帶寬，A中每兩個相鄰預設(shè)帶寬相差16。當為終端業(yè)務(wù)分配預設(shè)帶寬O時，即表示拒絕該終端業(yè)務(wù)接入。
[0039]圖2為本發(fā)明實施I提供的帶寬分配方法的詳細流程圖，當終端不是首次發(fā)起一個終端業(yè)務(wù)時，觸發(fā)該流程，具體包括:
[0040]步驟201、獲取該終端的當前網(wǎng)絡(luò)狀態(tài)。
[0041]該當前網(wǎng)絡(luò)狀態(tài)St可以具體由當前網(wǎng)絡(luò)可用帶寬1、終端業(yè)務(wù)類型V以及終端接入場強h表征，即St= (h, V, I)。
[0042]在本實施例中，TD-SCDMA網(wǎng)絡(luò)中終端接入場強h具體為PCCPCH (Primary CommonControl Physical Channel,主公共控制物理信道)RSCP (Received Signal Code Power,接收信號功率)，he [-30, -103] dBm ；v e {1,2,……，V}，由1，2，……，V表征終端業(yè)務(wù)的具體業(yè)務(wù)類型，具體可采用DPI (Deep Packet Inspection,深度包檢測)技術(shù)獲取終端業(yè)務(wù)的具體業(yè)務(wù)類型；當前網(wǎng)絡(luò)可用帶寬I具體為當前網(wǎng)絡(luò)上行可用帶寬，I e [0，256]。
[0043]步驟202、更新該終端發(fā)起的當前終端業(yè)務(wù)的上一終端業(yè)務(wù)對應(yīng)的上一網(wǎng)絡(luò)狀態(tài)和為該上一終端業(yè)務(wù)分配的上一選擇出的預設(shè)帶寬的組合對應(yīng)的Q值，具體可采用如下公式更新:
[0044]
【權(quán)利要求】
1.一種帶寬分配方法，其特征在于，包括: 針對終端當前發(fā)起的終端業(yè)務(wù)，獲取所述終端對應(yīng)的當前網(wǎng)絡(luò)狀態(tài)； 基于所述當前網(wǎng)絡(luò)狀態(tài)和各預設(shè)帶寬的各組合分別對應(yīng)的Q值，確定在所述當前網(wǎng)絡(luò)狀態(tài)下從各預設(shè)帶寬中進行隨機選擇時所基于的分別與各預設(shè)帶寬對應(yīng)的隨機概率；各Q值分別對應(yīng)表征了在所述當前網(wǎng)絡(luò)狀態(tài)下所述終端采用各預設(shè)帶寬處理所述終端業(yè)務(wù)所產(chǎn)生的累積動作回報的期望，所述Q值越大，與所述Q值對應(yīng)的隨機概率越大； 按照分別與各預設(shè)帶寬對應(yīng)的隨機概率，從各預設(shè)帶寬中進行隨機選擇； 為所述終端業(yè)務(wù)分配所選擇出的預設(shè)帶寬。
2.如權(quán)利要求1所述的方法，其特征在于，所述當前網(wǎng)絡(luò)狀態(tài)由當前網(wǎng)絡(luò)可用帶寬、終端業(yè)務(wù)類型以及終端接入場強表征。
3.如權(quán)利要求1所述的方法，其特征在于，確定在所述當前網(wǎng)絡(luò)狀態(tài)下從各預設(shè)帶寬中進行隨機選擇時所基于的分別與各預設(shè)帶寬對應(yīng)的隨機概率，具體包括: 基于所述當前網(wǎng)絡(luò)狀態(tài)和各預設(shè)帶寬的各組合分別對應(yīng)的Q值、所述當前網(wǎng)絡(luò)狀態(tài)出現(xiàn)的次數(shù)和當前可分配的最大預設(shè)帶寬，確定在所述當前網(wǎng)絡(luò)狀態(tài)下從不超過所述最大預設(shè)帶寬的各預設(shè)帶寬中進行隨機選擇時所基于的分別與不超過所述最大預設(shè)帶寬的各預設(shè)帶寬對應(yīng)的隨機概率，所述次數(shù)越大，不同Q值各自對應(yīng)的隨機概率的差異越大。
4.如權(quán)利要求3所述的方法，其特征在于，具體采用如下公式確定在所述當前網(wǎng)絡(luò)狀態(tài)下從不超過所述最大預設(shè)帶寬的各預設(shè)帶寬中進行隨機選擇時所基于的分別與不超過所述最大預設(shè)帶寬的各預設(shè)帶寬對應(yīng)的隨機概率:
5.如權(quán)利要求1所述的方法，其特征在于，在為所述終端業(yè)務(wù)分配所選擇出的預設(shè)帶寬之后，還包括: 基于所選擇出的預設(shè)帶寬、當前可分配的最大預設(shè)帶寬、當前可分配的不為O的最小預設(shè)帶寬、在所述當前網(wǎng)絡(luò)狀態(tài)下為所述終端業(yè)務(wù)分配所選擇出的預設(shè)帶寬后的業(yè)務(wù)處理時間、在所述當前網(wǎng)絡(luò)狀態(tài)下為所述終端業(yè)務(wù)分配比選擇出的預設(shè)帶寬小預設(shè)數(shù)量的預設(shè)帶寬后的業(yè)務(wù)處理時間和為所述終端業(yè)務(wù)分配兩個相差預設(shè)數(shù)量的預設(shè)帶寬后的兩個業(yè)務(wù)處理時間的差值閾值，確定在所述當前網(wǎng)絡(luò)狀態(tài)下所述終端采用所選擇出的預設(shè)帶寬處理所述終端業(yè)務(wù)所產(chǎn)生的動作回報。
6.如權(quán)利要求5所述的方法，其特征在于，具體采用如下公式確定在所述當前網(wǎng)絡(luò)狀態(tài)下所述終端采用所選擇出的預設(shè)帶寬處理所述終端業(yè)務(wù)所產(chǎn)生的動作回報:
7.如權(quán)利要求1所述的方法，其特征在于，當所述終端業(yè)務(wù)為所述終端第N次發(fā)起的終端業(yè)務(wù)時，所述N大于1，在確定在所述當前網(wǎng)絡(luò)狀態(tài)下從各預設(shè)帶寬中進行隨機選擇時所基于的分別與各預設(shè)帶寬對應(yīng)的隨機概率之前，還包括: 基于所述終端發(fā)起的所述終端業(yè)務(wù)的上一終端業(yè)務(wù)對應(yīng)的上一網(wǎng)絡(luò)狀態(tài)和所述上一終端業(yè)務(wù)對應(yīng)的上一選擇出的預設(shè)帶寬的組合對應(yīng)的Q值、在所述上一網(wǎng)絡(luò)狀態(tài)下選擇所述上一選擇出的預設(shè)帶寬的次數(shù)、在所述上一網(wǎng)絡(luò)狀態(tài)下所述終端采用所述上一選擇出的預設(shè)帶寬處理所述上一終端業(yè)務(wù)所產(chǎn)生的動作回報、常數(shù)時間折現(xiàn)因子以及所述當前網(wǎng)絡(luò)狀態(tài)和各預設(shè)帶寬的各組合分別對應(yīng)的Q值，更新所述上一網(wǎng)絡(luò)狀態(tài)和所述上一選擇出的預設(shè)帶寬的組合對應(yīng)的Q值。
8.如權(quán)利要求7所述的方法，其特征在于，具體采用如下公式更新所述上一網(wǎng)絡(luò)狀態(tài)和所述上一選擇出的預設(shè)帶寬的組合對應(yīng)的Q值:
9.一種帶寬分配裝置，其特征在于，包括: 獲取單元，用于針對終端當前發(fā)起的終端業(yè)務(wù)，獲取所述終端對應(yīng)的當前網(wǎng)絡(luò)狀態(tài)； 第一確定單元，用于基于所述當前網(wǎng)絡(luò)狀態(tài)和各預設(shè)帶寬的各組合分別對應(yīng)的Q值，確定在所述當前網(wǎng)絡(luò)狀態(tài)下從各預設(shè)帶寬中進行隨機選擇時所基于的分別與各預設(shè)帶寬對應(yīng)的隨機概率；各Q值分別對應(yīng)表征了在所述當前網(wǎng)絡(luò)狀態(tài)下所述終端采用各預設(shè)帶寬處理所述終端業(yè)務(wù)所產(chǎn)生的累積動作回報的期望，所述Q值越大，與所述Q值對應(yīng)的隨機概率越大； 選擇單元，用于按照分別與各預設(shè)帶寬對應(yīng)的隨機概率，從各預設(shè)帶寬中進行隨機選擇； 分配單元，用于為所述終端業(yè)務(wù)分配所選擇出的預設(shè)帶寬。
10.如權(quán)利要求9所述的裝置，其特征在于，所述當前網(wǎng)絡(luò)狀態(tài)由當前網(wǎng)絡(luò)可用帶寬、終端業(yè)務(wù)類型以及終端接入場強表征。
11.如權(quán)利要求9所述的裝置，其特征在于，所述第一確定單元具體用于基于所述當前網(wǎng)絡(luò)狀態(tài)和各預設(shè)帶寬的各組合分別對應(yīng)的Q值、所述當前網(wǎng)絡(luò)狀態(tài)出現(xiàn)的次數(shù)和當前可分配的最大預設(shè)帶寬，確定在所述當前網(wǎng)絡(luò)狀態(tài)下從不超過所述最大預設(shè)帶寬的各預設(shè)帶寬中進行隨機選擇時所基于的分別與不超過所述最大預設(shè)帶寬的各預設(shè)帶寬對應(yīng)的隨機概率，所述次數(shù)越大，不同Q值各自對應(yīng)的隨機概率的差異越大。
12.如權(quán)利要求11所述的裝置，其特征在于，所述第一確定單元具體用于采用如下公式確定在所述當前網(wǎng)絡(luò)狀態(tài)下從不超過所述最大預設(shè)帶寬的各預設(shè)帶寬中進行隨機選擇時所基于的分別與不超過所述最大預設(shè)帶寬的各預設(shè)帶寬對應(yīng)的隨機概率:
13.如權(quán)利要求9所述的裝置，其特征在于，還包括: 第二確定單元，用于在為所述終端業(yè)務(wù)分配所選擇出的預設(shè)帶寬之后，基于所選擇出的預設(shè)帶寬、當前可分配的最大預設(shè)帶寬、當前可分配的不為O的最小預設(shè)帶寬、在所述當前網(wǎng)絡(luò)狀態(tài)下為所述終端業(yè)務(wù)分配所選擇出的預設(shè)帶寬后的業(yè)務(wù)處理時間、在所述當前網(wǎng)絡(luò)狀態(tài)下為所述終端業(yè)務(wù)分配比選擇出的預設(shè)帶寬小預設(shè)數(shù)量的預設(shè)帶寬后的業(yè)務(wù)處理時間和為所述終端業(yè)務(wù)分配兩個相差預設(shè)數(shù)量的預設(shè)帶寬后的兩個業(yè)務(wù)處理時間的差值閾值，確定在所述當前網(wǎng)絡(luò)狀態(tài)下所述終端采用所選擇出的預設(shè)帶寬處理所述終端業(yè)務(wù)所產(chǎn)生的動作回報。
14.如權(quán)利要求13所述的裝置，其特征在于，所述第二確定單元具體用于采用如下公式確定在所述當前網(wǎng)絡(luò)狀態(tài)下所述終端采用所選擇出的預設(shè)帶寬處理所述終端業(yè)務(wù)所產(chǎn)生的動作回報:
15.如權(quán)利要求9所述的裝置，其特征在于，還包括更新單元，用于當所述終端業(yè)務(wù)為所述終端第N次發(fā)起的終端業(yè)務(wù)時，所述N大于I，在確定在所述當前網(wǎng)絡(luò)狀態(tài)下從各預設(shè)帶寬中進行隨機選擇時所基于的分別與各預設(shè)帶寬對應(yīng)的隨機概率之前，基于所述終端發(fā)起的所述終端業(yè)務(wù)的上一終端業(yè)務(wù)對應(yīng)的上一網(wǎng)絡(luò)狀態(tài)和所述上一終端業(yè)務(wù)對應(yīng)的上一選擇出的預設(shè)帶寬的組合對應(yīng)的Q值、在所述上一網(wǎng)絡(luò)狀態(tài)下選擇所述上一選擇出的預設(shè)帶寬的次數(shù)、在所述上一網(wǎng)絡(luò)狀態(tài)下所述終端采用所述上一選擇出的預設(shè)帶寬處理所述上一終端業(yè)務(wù)所產(chǎn)生的動作回報、常數(shù)時間折現(xiàn)因子以及所述當前網(wǎng)絡(luò)狀態(tài)和各預設(shè)帶寬的各組合分別對應(yīng)的Q值，更新所述上一網(wǎng)絡(luò)狀態(tài)和所述上一選擇出的預設(shè)帶寬的組合對應(yīng)的Q值。
16.如權(quán)利要求15所述的裝置，其特征在于，所述更新單元具體用于采用如下公式更新所述上一網(wǎng)絡(luò)狀態(tài)和所述上一選擇出的預設(shè)帶寬的組合對應(yīng)的Q值:
17.一種服務(wù)器，其特征在于，包括權(quán)利要求9-16任一所述的帶寬分配裝置。
【文檔編號】H04W72/04GK103906238SQ201210568765
【公開日】2014年7月2日 申請日期:2012年12月24日 優(yōu)先權(quán)日:2012年12月24日
【發(fā)明者】梁立濤, 肖建華, 石勇, 王志明 申請人:中國移動通信集團北京有限公司