99] Pru (outage | at)。
[0100] 因此，在t時(shí)隙的實(shí)際成功傳輸速率也取決于中斷概率。即：
[0102] 對(duì)于網(wǎng)絡(luò)化MDP，本方案的理念為定義為一系列動(dòng)作的策略，其中，所述動(dòng)作將所 述回報(bào)最大化或?qū)⒊杀咀钚』?br>[0103] 為了解決上述隨機(jī)優(yōu)化問題，一種通用的方法為使用對(duì)于信度狀態(tài)的動(dòng)態(tài)編程， 其中，所述動(dòng)態(tài)編程為前一個(gè)動(dòng)作和觀測(cè)歷史中的充分統(tǒng)計(jì)量。t時(shí)隙時(shí)的信度狀態(tài)1^表 示為該狀態(tài)空間的概率分布。相應(yīng)地，t時(shí)隙時(shí)的狀態(tài)為概率由b 表示為b(s t)的 對(duì)應(yīng)元素給定。
[0104] 圖5所示的定向圖形化模型240示出了觀測(cè)值和實(shí)際狀態(tài)之間的關(guān)系。每個(gè)節(jié)點(diǎn) 代表一個(gè)隨機(jī)變量，箭頭代表?xiàng)l件概率，虛線代表兩個(gè)隨機(jī)變量是相等的。第一行隨機(jī)變量 包括系統(tǒng)的狀態(tài)，所述狀態(tài)形成第一級(jí)馬爾可夫鏈。第二行是一系列的觀測(cè)值。相鄰狀態(tài) 之間的箭頭為狀態(tài)轉(zhuǎn)移函數(shù)，而一種特定狀態(tài)與對(duì)應(yīng)的觀測(cè)值之間的箭頭為觀測(cè)函數(shù)。
[0105] 利用諸如時(shí)間戳的技術(shù)，可以確定時(shí)延步長(zhǎng)d的數(shù)量。所述觀測(cè)值為延遲了 d個(gè) 步長(zhǎng)的實(shí)際狀態(tài)。即，對(duì)于兩個(gè)隨機(jī)變量〇JPSt:
[0106] 〇t= S 1 d，t = d+1。
[0107] 因此，所述信度狀態(tài)為：
[0112] 第三個(gè)等式由FSMC信道模型中假設(shè)的第一級(jí)馬爾可夫?qū)傩缘玫剑琓d是所述d步概 率轉(zhuǎn)移矩陣。
[0113] 當(dāng)時(shí)延步長(zhǎng)數(shù)不易確定時(shí)，仍可以確定所述信度狀態(tài)。可以假設(shè)在t時(shí)隙，系統(tǒng)的 觀測(cè)值為〇 e 〇,這是根據(jù)B個(gè)信道的觀測(cè)值決定的。觀測(cè)函數(shù)0(.)本質(zhì)上描述了觀測(cè)值 0 e 〇和狀態(tài)s e s之間的概率關(guān)系。形式上，觀測(cè)值也是所采取的動(dòng)作的函數(shù)。但是，在 本示例中，所述觀測(cè)值與所采取的動(dòng)作無(wú)關(guān)，且被定義為：
[0114] 0 (s，〇) = Pr (〇 | s)。
[0115] 給定t+1，〇t+1時(shí)刻的新觀測(cè)值，則新的信度應(yīng)該反映在新狀態(tài)s Μ結(jié)束的可能性， 觀測(cè)值〇Μ的可能性，以及前一個(gè)信度分布ΙΛ根據(jù)前一個(gè)信度狀態(tài)以及當(dāng)前的觀測(cè)值更 新所述信度狀態(tài)的規(guī)則基于貝葉斯規(guī)則，被定義為：
[0116] b (st+1) = Pr (st+11 ot+1, b1)
[0118] 第二個(gè)等式基于這樣的事實(shí)：信道動(dòng)態(tài)參數(shù)與集群以及速率分配動(dòng)作無(wú)關(guān)。
[0119] CoMP系統(tǒng)的示例比網(wǎng)絡(luò)化MDP的示例簡(jiǎn)單，因?yàn)橹辉谧酉到y(tǒng)（BS)和中心控制器之 間存在時(shí)延。通常，在網(wǎng)絡(luò)化MDP中，子系統(tǒng)之間也存在時(shí)延。例如，因?yàn)閁E和BS之間的 信道相互獨(dú)立，系統(tǒng)狀態(tài)為馬爾可夫。因此，如果對(duì)所述系統(tǒng)狀態(tài)進(jìn)行理想的觀測(cè)，則這是 一個(gè)馬爾可夫決策過程（MDP)。然而，因?yàn)橹行目刂破髦荒苡^測(cè)到實(shí)際系統(tǒng)狀態(tài)的過時(shí)版 本，即，只能觀測(cè)到所述系統(tǒng)狀態(tài)的一部分，所以，這是一個(gè)部分可觀測(cè)的馬爾可夫決策過 程（P0MDP)。用于解決網(wǎng)絡(luò)化MDP模型的動(dòng)態(tài)編程方法的復(fù)雜性在于PSPACE，這給大狀態(tài) 空間和范圍的實(shí)現(xiàn)造成問題。貪婪策略使預(yù)期即時(shí)傳輸速率最大化，即，在t時(shí)隙采取的動(dòng) 作為：
[0121] 使用馬爾可夫鏈信道模型估算中斷概率。給定速率分配1^和集群動(dòng)作，則所述中 斷概率估算如下：
[0123] 這是信道處于分配的傳輸速率&大于信道容量C(s'）的狀態(tài)下的概率。可以看 出，在上行CoMP中，貪婪策略為最優(yōu)的策略。
[0124] 策略的最優(yōu)性基于這樣的事實(shí)：信道狀態(tài)的動(dòng)態(tài)與所采取的動(dòng)作無(wú)關(guān)。在范圍h =1時(shí)，所采取的最優(yōu)動(dòng)作是將以下公式最大化：
[0126] 這是用于將預(yù)期的回報(bào)最大化的貪婪策略中所給定的動(dòng)作。假設(shè)在范圍h中，其 中，h多1，優(yōu)化策略為貪婪策略。則，在范圍h+Ι中：
[0128] 因此，假設(shè)所述貪婪策略將上述等式中的第一項(xiàng)最大化，則為了最大化總預(yù)期回 報(bào)而采取的動(dòng)作為最大化第二項(xiàng)，這和范圍為1時(shí)的情況相同。因此，貪婪策略是CoMP集 群?jiǎn)栴}的最優(yōu)策略。
[0129] 圖6示出了用于集群和速率分配的系統(tǒng)130。中心控制器132包括信道預(yù)測(cè)塊136 和集群、功率和速率分配塊138,而無(wú)線網(wǎng)絡(luò)134包括無(wú)線網(wǎng)絡(luò)140。在信道預(yù)測(cè)塊136中 預(yù)測(cè)信道。基于無(wú)線網(wǎng)絡(luò)140中的信道測(cè)量預(yù)測(cè)信道。例如，還基于外線網(wǎng)絡(luò)140中的CSI 時(shí)延預(yù)測(cè)信道。或者，不考慮所述CSI時(shí)延。
[0130] 所述集群、功率和速率分配塊138基于用戶流量以及信道預(yù)測(cè)塊136的信道預(yù)測(cè) 作出決策。
[0131] 所述決策被傳遞到所述無(wú)線網(wǎng)絡(luò)140中。所述無(wú)線網(wǎng)絡(luò)140可以輸出其性能。
[0132] 圖7示出了用于集群和速率分配的系統(tǒng)150。時(shí)延補(bǔ)償集中于中心控制器152,所 述中心控制器152與無(wú)線網(wǎng)絡(luò)154進(jìn)行交互。數(shù)據(jù)庫(kù)156中存儲(chǔ)了歷史UE位置和速度的 信道信息。所存儲(chǔ)的數(shù)據(jù)包括UE的歷史位置和速度以及關(guān)于信道的信息。該信息從無(wú)線 網(wǎng)絡(luò)158中接收。
[0133] 控制塊160基于數(shù)據(jù)庫(kù)156中的信息以及無(wú)線網(wǎng)絡(luò)158中的信息作出決策。在控 制塊160中，信道模型基于所述數(shù)據(jù)庫(kù)156中存儲(chǔ)的信息、所述無(wú)線網(wǎng)絡(luò)158的性能以及所 述無(wú)線網(wǎng)絡(luò)158的CSI時(shí)延以及時(shí)間信息建立信道的模型。例如，使用FSMC信道模型?；?者，使用其他信道模型。信道模型162可以為有限狀態(tài)機(jī)器。
[0134] 然后，集群、功率和速率分配塊164基于信道模型162中的信道模型以及無(wú)線網(wǎng)絡(luò) 158中的信道測(cè)量作出決策。所述信道測(cè)量可以基于回程性能延遲大約5-10ms。確定UE 傳輸?shù)墓β屎退俾史峙?。同時(shí)，確定多個(gè)BS的集群。這可以通過多輸入多輸出（MHTO)實(shí) 現(xiàn)。伴隨著衰落，確定所述信道位于預(yù)期信道的X dB內(nèi)的概率。
[0135] 然后，無(wú)線網(wǎng)絡(luò)158基于中心控制器152的決策進(jìn)行操作。所述集群和速率分配 應(yīng)用于通信系統(tǒng)。
[0136] 圖8示出了分布式系統(tǒng)中用于集群和速率分配的系統(tǒng)170。一些計(jì)算是由中心控 制器172執(zhí)行的，一些計(jì)算是由無(wú)線網(wǎng)絡(luò)174執(zhí)行的。中心控制器172包含控制塊182。在 控制塊182中，中心信道模型184基于量化等級(jí)、狀態(tài)轉(zhuǎn)移函數(shù)以及來自于無(wú)線網(wǎng)絡(luò)174中 的本地信道模型180和本地信道模型180中的FSMC狀態(tài)索引的觀測(cè)函數(shù)或CSI時(shí)延建立 信道的模型。所述FSMC狀態(tài)索引在短信息中傳輸，而所述量化等級(jí)、狀態(tài)轉(zhuǎn)移函數(shù)、觀測(cè)函 數(shù)或CSI時(shí)延在長(zhǎng)信息中傳輸。例如，中心信道模型184為FSMC信道模型。中心信道模型 184確定預(yù)期的時(shí)延以及建模方法，以及信道狀態(tài)的數(shù)量，這些都被輸出到無(wú)線網(wǎng)絡(luò)174的 本地信道模型180中。
[0137] 集群、功率和速率分配塊186基于中心信道模型184的信道模型和用戶流量作出 決策。
[0138] 所述決策被輸出至無(wú)線網(wǎng)絡(luò)174中的本地節(jié)點(diǎn)176。本地節(jié)點(diǎn)176可以為基站。 本地節(jié)點(diǎn)176確定UE的信道測(cè)量、性能、位置以及速度。所述位置和速度存儲(chǔ)在數(shù)據(jù)庫(kù)178 中。所述數(shù)據(jù)庫(kù)178中存儲(chǔ)了信道信息、位置和速度。所述性能和信道測(cè)量被傳遞至本地 信道模型180。本地信道模型180可以為FSMC模型。
[0139] 圖9示出了用于估計(jì)CSI的系統(tǒng)190,其中，所述CSI造成了 CSI時(shí)延。信道歷史 觀測(cè)值存儲(chǔ)在信道歷史觀測(cè)值塊192中。例如，由FSMC模型建立信道的模型。所述FSMC 模型包括狀態(tài)轉(zhuǎn)移函數(shù)194和觀測(cè)函數(shù)196。
[0140] 所述觀測(cè)函數(shù)196為FSMC中的觀測(cè)函數(shù)。
[0141] CSI時(shí)延198為所述CSI時(shí)延。
[0142] 過時(shí)的信道狀態(tài)200中包含已知CSI。CSI信息確定之后，信道就發(fā)生了改變。
[0143] 所述狀態(tài)轉(zhuǎn)移函數(shù)194是馬爾可夫鏈中兩種狀態(tài)的概率。所述狀態(tài)轉(zhuǎn)移函數(shù)194、 觀測(cè)函數(shù)196、CSI時(shí)延198以及過時(shí)的信道狀態(tài)200用于確定信度狀態(tài)202。所述信度狀 態(tài)202為實(shí)際信道狀態(tài)的概率質(zhì)量函數(shù)（PMF)。
[0144] 基于所述信度狀態(tài)202作出最優(yōu)決策204。所述最優(yōu)決策為將平均總吞吐量最大 化的決策。
[0145] 圖10示出了確定控制器執(zhí)行的集群和速率分配的方法的流程圖340。首先，在 步驟348中，所述控制器接收來自網(wǎng)絡(luò)中的基站的信息。當(dāng)使用集中式方法時(shí)，使用網(wǎng)絡(luò) 中UE的位置和速度、CSI時(shí)延以及時(shí)間信息。同時(shí)，接收信道測(cè)量，所述信道測(cè)量可以延遲 5-10ms。當(dāng)使用集中式方法時(shí)，所述控制器還接收網(wǎng)絡(luò)的性能。在所述集中式方法中，位 置和速度信息存儲(chǔ)在包含信道信息、位置和速度的數(shù)據(jù)庫(kù)中。當(dāng)使用分布式方法時(shí)，可以接 收短消息和長(zhǎng)消息。所述短消息包括FSMC狀態(tài)索引，而長(zhǎng)消息包括量化等級(jí)、狀態(tài)轉(zhuǎn)移函 數(shù)以及觀測(cè)函數(shù)或CSI時(shí)延。
[0146] 在步驟342中，例如，使用FSMC建立信道的模型。在集中式方法中，從數(shù)據(jù)出中讀 出信道信息，例如，UE的歷史位置和速度。馬爾可夫鏈?zhǔn)窃跔顟B(tài)空間中經(jīng)歷從一種狀態(tài)轉(zhuǎn)移 到另一種狀態(tài)的數(shù)學(xué)系統(tǒng)。其特點(diǎn)通常是無(wú)記憶性。確定狀態(tài)轉(zhuǎn)移函數(shù)，其中，所述狀態(tài)轉(zhuǎn) 移函數(shù)是馬爾可夫鏈中兩種狀態(tài)的概率。同時(shí)，確定觀測(cè)函數(shù)。如果上行CoMP系統(tǒng)中，每 個(gè)小區(qū)有B個(gè)基站和一個(gè)UE，則從UE Uj的發(fā)射天線到BS b ^的接收天線上的信道的FSMC 的狀態(tài)空間為Sbl,uj，其中，i，j = 1，2,…，B。整個(gè)網(wǎng)絡(luò)化MDP系統(tǒng)的狀態(tài)空間為所有B2個(gè) FSMC的笛卡爾乘積。
[0148] 所述狀態(tài)空間的大小為凝其中，Μ是FSMC的狀態(tài)的數(shù)量。FSMC信道模型中給 出狀態(tài)轉(zhuǎn)移函數(shù)T :
[0151] 進(jìn)行復(fù)雜優(yōu)化。在t時(shí)隙，中心控制器選擇協(xié)作BS，為UE分配速率。^時(shí)刻的集 群動(dòng)作表示為Q[t]，其為整個(gè)網(wǎng)絡(luò)的一部分。作為B個(gè)元素的矢量的速率分配表示為：
[0152] =
[0153] 整體的動(dòng)作為：
[0154] a[t] = { Ω [t]，