本發(fā)明涉及無線通訊，特別涉及一種多ris輔助的無線網(wǎng)絡(luò)覆蓋優(yōu)化方法及裝置。

背景技術(shù)：

1、近年來由于無線數(shù)據(jù)流量急劇增加，人們對通信服務(wù)質(zhì)量的要求也在同步提升，這激發(fā)了對未來無線通信速度、質(zhì)量和安全性的強(qiáng)烈需求。為了實(shí)現(xiàn)這一愿景，可重構(gòu)智能表面（reconfigurable?intelligent?surface，簡稱ris）已經(jīng)成為無線通信的一種新興的范式，比傳統(tǒng)的解決方案具有顯著的優(yōu)勢。ris能夠通過反射向位于阻塞區(qū)域的用戶提供視距(los)鏈路，以提高傳統(tǒng)無線網(wǎng)絡(luò)的覆蓋范圍和容量。

2、為了進(jìn)一步提高無線網(wǎng)絡(luò)覆蓋率，一般會對ris輔助進(jìn)行無線網(wǎng)絡(luò)覆蓋優(yōu)化。然而，現(xiàn)有的研究主要集中在優(yōu)化ris的相移方面，即通過對調(diào)整ris的相位角來優(yōu)化網(wǎng)絡(luò)覆蓋，并且目前的研究主要集中在優(yōu)化單個ris的相移方面，由此來增強(qiáng)網(wǎng)絡(luò)覆蓋，但這種僅對ris相移的優(yōu)化方案存在一定的局限性，最終網(wǎng)絡(luò)覆蓋率的優(yōu)化效果有效。

技術(shù)實(shí)現(xiàn)思路

1、基于此，本發(fā)明的目的是提供一種多ris輔助的無線網(wǎng)絡(luò)覆蓋優(yōu)化方法及裝置，以解決背景技術(shù)當(dāng)中的至少一技術(shù)問題。

2、根據(jù)本發(fā)明實(shí)施例的一種多ris輔助的無線網(wǎng)絡(luò)覆蓋優(yōu)化方法，應(yīng)用于多ris輔助的無線通訊網(wǎng)絡(luò)當(dāng)中，所述方法包括以下步驟：

3、根據(jù)所述多ris輔助的無線通訊網(wǎng)絡(luò)的系統(tǒng)架構(gòu)，建立多ris輔助的無線通訊網(wǎng)絡(luò)的信道模型；

4、基于所述多ris輔助的無線通訊網(wǎng)絡(luò)的信道模型，構(gòu)建目標(biāo)獎勵函數(shù)；

5、以最大化目標(biāo)獎勵函數(shù)為目標(biāo)，以每個ris的部署位置及相位角為優(yōu)化變量，以每個ris的部署范圍及相位角范圍為約束條件，構(gòu)建優(yōu)化問題；

6、采用預(yù)設(shè)的深度確定性策略梯度算法來對所述優(yōu)化問題進(jìn)行迭代求解，得到優(yōu)化后的每個ris的部署位置及相位角，以對所述多ris輔助的無線通訊網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)覆蓋優(yōu)化。

7、另外，根據(jù)本發(fā)明上述實(shí)施例的一種多ris輔助的無線網(wǎng)絡(luò)覆蓋優(yōu)化方法，還可以具有如下附加的技術(shù)特征：

8、進(jìn)一步地，所述多ris輔助的無線通訊網(wǎng)絡(luò)的信道模型包括：

9、基站到網(wǎng)格點(diǎn) si的信道增益 ha,si、基站到ris的信道增益 ha,r、以及ris到網(wǎng)格點(diǎn) si的信道增益 ɡr,si，具體定義為:

10、

11、其中， si∈{ s1, s2,……, sk}，其中 k為基站服務(wù)范圍的網(wǎng)格總數(shù)， ε1、 ε2以及 ε3分別代表 ha,si、 ha,r和 ɡr,si的信道鏈路的rician因子， l1、 l2以及 l3分別代表 ha,si、 ha,r和 ɡr,si的路徑損耗，分別表示 ha,si、 ha,r和 ɡr,si的los分量，分別表示 ha,si、 ha,r和 ɡr,si的nlos分量。

12、進(jìn)一步地，所述目標(biāo)獎勵函數(shù)為：

13、

14、其中， rr( t)代表第 r個ris的目標(biāo)獎勵函數(shù)， m代表ris的個數(shù)。

15、進(jìn)一步地，所述多ris輔助的無線通訊網(wǎng)絡(luò)包括用于主基站輔助的ris以及用于干擾基站輔助的ris；

16、其中，用于主基站輔助的ris的目標(biāo)獎勵函數(shù)為：

17、 r( t)= r( t) rsrp+ r( t) sinr

18、其中，用于干擾基站輔助的ris的ris的目標(biāo)獎勵函數(shù)為：

19、 r( t)?= r( t) sinr

20、其中，

21、其中，

22、式中， r( t) rsrp代表參考信號接收功率的目標(biāo)獎勵函數(shù)， r( t) sinr代表信號與干擾加噪聲比的目標(biāo)獎勵函數(shù)，代表網(wǎng)格點(diǎn) si處的參考信號接收功率的目標(biāo)獎勵函數(shù)，代表網(wǎng)格點(diǎn) si處的信號與干擾加噪聲比的目標(biāo)獎勵函數(shù)， rsrpsi代表網(wǎng)格點(diǎn) si處的參考信號接收功率， sinrsi代表網(wǎng)格點(diǎn) si處的信號與干擾加噪聲比， thrsrp和 thsinr為對應(yīng)閾值。

23、進(jìn)一步地，其中：

24、

25、式中，代表主基站到網(wǎng)格點(diǎn) si處的信道增益矩陣、代表干擾基站到網(wǎng)格點(diǎn) si處的信道增益矩陣，代表主基站輔助的ris到網(wǎng)格點(diǎn) si的信道增益矩陣、代表干擾基站輔助的ris到網(wǎng)格點(diǎn) si的信道增益矩陣，代表主基站到主基站輔助的ris的信道增益矩陣、代表干擾基站到干擾基站輔助的ris的信道增益矩陣，和代表主基站和干擾基站的對角矩陣， x1和 x2分別代表主基站和干擾基站所要傳輸?shù)挠脩魯?shù)據(jù)量， v1代表主基站輔助的ris帶來的動態(tài)噪聲， n代表環(huán)境噪聲。

26、進(jìn)一步地，采用預(yù)設(shè)的深度確定性策略梯度算法來對所述優(yōu)化問題進(jìn)行迭代求解的步驟包括：

27、每隔預(yù)設(shè)時間 t，控制各ris在當(dāng)前狀態(tài)環(huán)境下和當(dāng)前策略網(wǎng)絡(luò)下選擇動作并執(zhí)行；

28、獲取各ris在執(zhí)行動作后環(huán)境返回的獎勵并觀察到下一個狀態(tài)，以獲得多組訓(xùn)練樣本，并將多組訓(xùn)練樣本存儲在經(jīng)驗(yàn)回放緩沖區(qū)當(dāng)中；

29、從所述經(jīng)驗(yàn)回放緩沖區(qū)當(dāng)中隨機(jī)抽取一個批次的訓(xùn)練樣本，并計(jì)算各ris在當(dāng)前策略網(wǎng)絡(luò)的?q?值，并通過最小化均方誤差來迭代更新策略網(wǎng)絡(luò)的參數(shù)，直到網(wǎng)絡(luò)收斂，輸出最終網(wǎng)絡(luò)參數(shù)，得到優(yōu)化后的每個ris的部署位置及相位角。

30、進(jìn)一步地，針對用于主基站輔助的ris，其更新策略網(wǎng)絡(luò)的參數(shù)的步驟包括：

31、采用預(yù)設(shè)的策略異步更新規(guī)則對策略網(wǎng)絡(luò)的ris的部署位置及相位角進(jìn)行異步更新；

32、其中，策略異步更新規(guī)則為使ris的部署位置更新頻率慢于相位角更新頻率，具體使在ris的部署位置固定下對相位角進(jìn)行最優(yōu)求解、然后再更新ris的部署位置，以此迭代直到收斂。

33、根據(jù)本發(fā)明實(shí)施例的一種多ris輔助的無線網(wǎng)絡(luò)覆蓋優(yōu)化裝置，所述裝置包括：

34、模型建立模塊，用于根據(jù)所述多ris輔助的無線通訊網(wǎng)絡(luò)的系統(tǒng)架構(gòu)，建立多ris輔助的無線通訊網(wǎng)絡(luò)的信道模型；

35、函數(shù)構(gòu)建模塊，用于基于所述多ris輔助的無線通訊網(wǎng)絡(luò)的信道模型，構(gòu)建目標(biāo)獎勵函數(shù)；

36、問題構(gòu)建模塊，用于以最大化目標(biāo)獎勵函數(shù)為目標(biāo)，以每個ris的部署位置及相位角為優(yōu)化變量，以每個ris的部署范圍及相位角范圍為約束條件，構(gòu)建優(yōu)化問題；

37、覆蓋優(yōu)化模塊，用于采用預(yù)設(shè)的深度確定性策略梯度算法來對所述優(yōu)化問題進(jìn)行迭代求解，得到優(yōu)化后的每個ris的部署位置及相位角，以對所述多ris輔助的無線通訊網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)覆蓋優(yōu)化。

38、根據(jù)本發(fā)明實(shí)施例的一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時實(shí)現(xiàn)如上述的多ris輔助的無線網(wǎng)絡(luò)覆蓋優(yōu)化方法。

39、根據(jù)本發(fā)明實(shí)施例的一種多ris輔助的無線網(wǎng)絡(luò)覆蓋優(yōu)化設(shè)備，包括存儲器、處理器以及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時實(shí)現(xiàn)如上述的多ris輔助的無線網(wǎng)絡(luò)覆蓋優(yōu)化方法。

40、與現(xiàn)有技術(shù)相比：通過以每個ris的部署位置及相位角作為優(yōu)化變量，一方面考慮了ris的部署位置及相位角，另一方面還考慮了多個ris之間的環(huán)境協(xié)同，從而將多個ris的部署位置及相位角進(jìn)行協(xié)同優(yōu)化，并采用能夠?qū)崿F(xiàn)多任務(wù)多智能體協(xié)作的深度確定性策略梯度算法來對優(yōu)化問題進(jìn)行求解，大幅提升了無線網(wǎng)絡(luò)覆蓋率優(yōu)化效果。