本發(fā)明涉及無(wú)線通信，特別涉及一種基于自適應(yīng)語(yǔ)義重構(gòu)的語(yǔ)義通信方法與系統(tǒng)。

背景技術(shù)：

1、近年來(lái)，語(yǔ)義通信作為滿足智能通信時(shí)代任務(wù)需求的關(guān)鍵技術(shù)，能夠克服與傳統(tǒng)通信系統(tǒng)相關(guān)的挑戰(zhàn)，受到業(yè)界廣泛關(guān)注。經(jīng)典語(yǔ)義通信框架的主要目標(biāo)是在滿足所需的保真度約束內(nèi)重建源序列，未考慮特定任務(wù)的需求。而在圖像傳輸?shù)葢?yīng)用中，不同的任務(wù)需要不同的圖像特征。因此，面向任務(wù)的語(yǔ)義通信框架應(yīng)運(yùn)而生，其僅傳輸與任務(wù)相關(guān)的信息，大大提高了傳輸效率。這為自動(dòng)駕駛汽車、機(jī)器人和其他智能實(shí)體高效處理、傳輸和分析海量視覺(jué)數(shù)據(jù)提供了一條新途徑。

2、面向任務(wù)的語(yǔ)義通信的主要挑戰(zhàn)在于如何從發(fā)送端的數(shù)據(jù)中提取最相關(guān)的語(yǔ)義信息，以促進(jìn)接收端任務(wù)的執(zhí)行。此外，由于無(wú)線信道具有隨機(jī)性，在訓(xùn)練過(guò)程中會(huì)影響前向傳播和后向傳播，信道狀態(tài)信息(channel?state?information,csi)的可用性也會(huì)受到影響，因此以端到端方式訓(xùn)練語(yǔ)義通信系統(tǒng)也是一項(xiàng)挑戰(zhàn)。這些挑戰(zhàn)可以通過(guò)基于信噪比的自適應(yīng)方案來(lái)解決，如基于自編碼器的深度聯(lián)合源信道編碼(jscc)方案、基于注意力模塊的深度jscc方案等。這些方案利用csi和深度學(xué)習(xí)(deep?learning,dl)輔助的語(yǔ)義提取技術(shù)，在不同的信息源和相關(guān)任務(wù)中展現(xiàn)出巨大的潛力。

3、盡管基于語(yǔ)義的通信架構(gòu)取得了顯著進(jìn)步，但傳輸過(guò)程中語(yǔ)義特征的丟失仍然不可避免，這會(huì)影響接收端的任務(wù)性能。傳統(tǒng)的糾錯(cuò)方法如低密度奇偶校驗(yàn)碼、重傳機(jī)制等雖能減輕數(shù)據(jù)丟失，但會(huì)帶來(lái)額外的開(kāi)銷和延遲。在極端不利的信道條件下，這些方法可能失效，導(dǎo)致通信可靠性和效率降低。此外，盡管人們對(duì)基于深度學(xué)習(xí)的語(yǔ)義通信圖像傳輸越來(lái)越感興趣，但很少有研究考慮動(dòng)態(tài)城市環(huán)境中語(yǔ)義壓縮率(semantic?compression?rate,scr)和語(yǔ)義損失率(semantic?loss?rate,slr)對(duì)語(yǔ)義通信性能的影響。

技術(shù)實(shí)現(xiàn)思路

1、發(fā)明目的：本發(fā)明目的在于提供一種基于自適應(yīng)語(yǔ)義重構(gòu)的語(yǔ)義通信方法(scasr)，通過(guò)所設(shè)計(jì)的基于自適應(yīng)語(yǔ)義重建的語(yǔ)義通信框架，實(shí)現(xiàn)在特定的信道信噪比、scr和slr上以最小的失真執(zhí)行目標(biāo)任務(wù)。

2、技術(shù)方案：為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采用如下技術(shù)方案：

3、一種基于自適應(yīng)語(yǔ)義重構(gòu)的語(yǔ)義通信方法，包括以下步驟：

4、步驟1：通過(guò)發(fā)送端處的語(yǔ)義編碼器獲得語(yǔ)義信息；

5、步驟2：通過(guò)語(yǔ)義壓縮器根據(jù)語(yǔ)義壓縮率scr對(duì)語(yǔ)義信息進(jìn)行壓縮，并根據(jù)語(yǔ)義損失率slr通過(guò)掩碼操作實(shí)現(xiàn)對(duì)傳輸過(guò)程中數(shù)據(jù)丟失的仿真，得到壓縮后的語(yǔ)義信息；

6、步驟3：將壓縮后的語(yǔ)義信息傳輸?shù)浇邮斩耍?/p>

7、步驟4：接收端利用語(yǔ)義重構(gòu)網(wǎng)絡(luò)將接收信號(hào)進(jìn)行重構(gòu)，得到重構(gòu)的語(yǔ)義信息；所述語(yǔ)義重構(gòu)網(wǎng)絡(luò)包括堆疊的多個(gè)殘差塊rb和注意特征塊afb組合；所述afb的輸入包括rb的輸出以及信道信噪比、scr和slr；

8、步驟5：將重構(gòu)后的語(yǔ)義信息通過(guò)語(yǔ)義解碼器，獲得目標(biāo)任務(wù)的結(jié)果。

9、作為優(yōu)選，所述步驟2中通過(guò)語(yǔ)義壓縮器對(duì)語(yǔ)義信息進(jìn)行壓縮，包括：

10、將語(yǔ)義信息y展平為一維向量；利用壓縮函數(shù)f(y,rc)將語(yǔ)義信息y壓縮成一個(gè)規(guī)模為m的向量z；其中，m根據(jù)scr確定；所述壓縮函數(shù)f(y,rc)由兩步組成，首先設(shè)計(jì)一個(gè)掩碼生成函數(shù)，規(guī)定scr＝rc，生成一個(gè)和y規(guī)模相同的掩碼向量m1，其只包含0或1，1的數(shù)量為m；然后將y中元素與m1的元素相乘，得到壓縮的語(yǔ)義信息z。

11、作為優(yōu)選，所述步驟2中通過(guò)掩碼操作實(shí)現(xiàn)對(duì)傳輸過(guò)程中數(shù)據(jù)丟失的仿真，包括：

12、通過(guò)語(yǔ)義壓縮器壓縮后的語(yǔ)義信息z通過(guò)物理信道傳輸，將信道系數(shù)h和噪聲n添加到z中，接收端接收到的語(yǔ)義信息為設(shè)slr為rl，接收端實(shí)際接收到的語(yǔ)義信息通過(guò)隨機(jī)數(shù)據(jù)損失函數(shù)傳遞；所述隨機(jī)數(shù)據(jù)損失函數(shù)由兩步組成，首先設(shè)計(jì)一個(gè)掩碼生成函數(shù)，規(guī)定slr＝rl，生成一個(gè)和規(guī)模相同的掩碼向量m2，其只包含0或1，1的數(shù)量為m2，m2根據(jù)slr確定，m2中0和1的位置是隨機(jī)的，以模擬隨機(jī)數(shù)據(jù)丟失的過(guò)程；然后將中元素與m2中的元素相乘，得到接收端實(shí)際接收到的語(yǔ)義信息。

13、作為優(yōu)選，所述步驟4中，語(yǔ)義重構(gòu)網(wǎng)絡(luò)的計(jì)算過(guò)程為：

14、設(shè)表示語(yǔ)義重構(gòu)網(wǎng)絡(luò)輸入的語(yǔ)義信息，則語(yǔ)義重構(gòu)網(wǎng)絡(luò)的輸出表示：

15、

16、其中，conv1(·)、conv2(·)和conv3(·)分別表示第一、第二和第三個(gè)卷積層，表示最后一個(gè)afb的輸出，k為rb和afb的迭代次數(shù)；計(jì)算為：

17、

18、其中，表示第(k-1)個(gè)afb的輸出，γ、rc和rl分別為信道信噪比、scr和slr，rbk(·)和afbk(·)分別表示第k個(gè)rb和第k個(gè)afb。

19、作為優(yōu)選，第k個(gè)rb的輸出計(jì)算為：

20、

21、其中，conv4(·)和conv5(·)分別表示rb中的第一、二卷積層，σ1(·)表示rb中的relu激活函數(shù)，s是一個(gè)比例因子。

22、作為優(yōu)選，在每個(gè)rb的后面放置一個(gè)afb，以提高網(wǎng)絡(luò)對(duì)信噪比、scr和slr的自適應(yīng)能力，設(shè)表示第k個(gè)rb輸出的特征，其中c為特征的數(shù)量，h×w為每個(gè)特征的大??；

23、首先，afb通過(guò)全局平均池化函數(shù)來(lái)處理特征

24、隨后，將與信噪比γ、scrrc和slrrl連接，形成上下文信息：

25、

26、再使用一個(gè)由兩個(gè)全連接層組成的神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)每個(gè)通道的權(quán)值系數(shù)上下文信息被傳遞到兩層fc神經(jīng)網(wǎng)絡(luò)，產(chǎn)生一個(gè)權(quán)重系數(shù)向量其中，fc1(·)和fc2(·)分別表示afb中的第一層和第二層全連接層，σ2(·)和σ3(·)分別表示afb中的relu和sigmoid激活函數(shù)；

27、最后，通過(guò)將特征與權(quán)重系數(shù)wk相乘，得到加權(quán)特征

28、進(jìn)一步地，通過(guò)一種編碼、解碼網(wǎng)絡(luò)和語(yǔ)義重構(gòu)網(wǎng)絡(luò)的聯(lián)合訓(xùn)練方法訓(xùn)練所述語(yǔ)義編碼器、語(yǔ)義解碼器和語(yǔ)義重構(gòu)網(wǎng)絡(luò)，以最小化目標(biāo)任務(wù)的損失函數(shù)；其中，編碼、解碼網(wǎng)絡(luò)的損失函數(shù)表示為：

29、

30、其中，表示經(jīng)過(guò)編碼、壓縮、信道傳輸、重構(gòu)和解碼后，在接收端得到的預(yù)測(cè)結(jié)果，xr表示真實(shí)值，下標(biāo)i標(biāo)記第i個(gè)分類，l表示分類的數(shù)量；

31、語(yǔ)義重構(gòu)網(wǎng)絡(luò)的損失函數(shù)表示為：

32、

33、其中，y表示輸入的語(yǔ)義信息，表示語(yǔ)義重構(gòu)網(wǎng)絡(luò)的輸出，下標(biāo)j標(biāo)記第j個(gè)特征，c表示特征的個(gè)數(shù)；

34、全局損失函數(shù)定義為：

35、

36、通過(guò)最小化全局損失函數(shù)，對(duì)模型參數(shù)θ、φ、ω進(jìn)行優(yōu)化。

37、作為優(yōu)選，訓(xùn)練所述語(yǔ)義編碼器、語(yǔ)義解碼器和語(yǔ)義重構(gòu)網(wǎng)絡(luò)的步驟，具體包括：

38、(1)對(duì)于每個(gè)訓(xùn)練輪次t，發(fā)送端從輸入數(shù)據(jù)中抽取b個(gè)樣本x＝[x1,x2,···,xb]進(jìn)行批量訓(xùn)練；

39、(2)對(duì)于每個(gè)樣本xi，隨機(jī)生成其通道信噪比γi、和

40、(3)通過(guò)語(yǔ)義編碼器eφ提取語(yǔ)義信息：yi＝eφ(xi)；

41、(4)通過(guò)語(yǔ)義壓縮器f，壓縮語(yǔ)義信息：zi＝f(yi,ric)；

42、(5)隨機(jī)生成通道系數(shù)和高斯白噪聲其中為噪聲方差，根據(jù)γi確定，i為單位矩陣；

43、(6)基于損失函數(shù)g計(jì)算接收到的語(yǔ)義信息：

44、

45、(7)利用語(yǔ)義重建網(wǎng)絡(luò)重建語(yǔ)義信息：

46、

47、(8)通過(guò)語(yǔ)義解碼器dθ計(jì)算預(yù)測(cè)結(jié)果為：

48、

49、(9)重復(fù)步驟(2)到步驟(8)，根據(jù)全局損失函數(shù)，計(jì)算出平均損失；

50、(10)采用自適應(yīng)矩估計(jì)算法來(lái)優(yōu)化模型參數(shù)θ、φ、ω；

51、(11)重復(fù)步驟(1)到步驟(10)，直到所有訓(xùn)練輪次結(jié)束，獲得參數(shù)近似最優(yōu)解。

52、本發(fā)明還提供的一種基于自適應(yīng)語(yǔ)義重構(gòu)的語(yǔ)義通信系統(tǒng)，包括發(fā)送端處的語(yǔ)義編碼器、語(yǔ)義壓縮器，接收端處的語(yǔ)義重構(gòu)網(wǎng)絡(luò)和語(yǔ)義解碼器；

53、所述語(yǔ)義編碼器，用于對(duì)輸入的數(shù)據(jù)進(jìn)行編碼得到語(yǔ)義信息；

54、所述語(yǔ)義壓縮器，用于對(duì)通過(guò)語(yǔ)義編碼器獲得語(yǔ)義信息根據(jù)語(yǔ)義壓縮率scr進(jìn)行壓縮，并根據(jù)語(yǔ)義損失率slr通過(guò)掩碼操作實(shí)現(xiàn)對(duì)傳輸過(guò)程中數(shù)據(jù)丟失的仿真，得到壓縮后的語(yǔ)義信息；

55、所述語(yǔ)義重構(gòu)網(wǎng)絡(luò)，用于將接收端接收到的壓縮后的語(yǔ)義信息進(jìn)行語(yǔ)義重構(gòu)，得到重構(gòu)的語(yǔ)義信息；所述語(yǔ)義重構(gòu)網(wǎng)絡(luò)包括堆疊的多個(gè)殘差塊rb和注意特征塊afb組合；所述afb的輸入包括rb的輸出以及信道信噪比、scr和slr；

56、所述語(yǔ)義解碼器，用于將重構(gòu)后的語(yǔ)義信息進(jìn)行解碼，獲得目標(biāo)任務(wù)的結(jié)果。

57、本發(fā)明還提供的一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序/指令，所述計(jì)算機(jī)程序/指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述基于自適應(yīng)語(yǔ)義重構(gòu)的語(yǔ)義通信方法的步驟。

58、有益效果：本發(fā)明提出了一種基于自適應(yīng)語(yǔ)義重建的面向任務(wù)的語(yǔ)義通信框架，通過(guò)掩碼操作和設(shè)計(jì)集成注意力機(jī)制的語(yǔ)義重建網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)語(yǔ)義信息的靈活壓縮、對(duì)傳輸過(guò)程中數(shù)據(jù)丟失的仿真和實(shí)現(xiàn)適應(yīng)不同環(huán)境的重構(gòu)效果。同時(shí)，本發(fā)明還設(shè)計(jì)了一種編碼、解碼網(wǎng)絡(luò)和語(yǔ)義重構(gòu)網(wǎng)絡(luò)的聯(lián)合訓(xùn)練方法，以最小化目標(biāo)任務(wù)的損失函數(shù)，獲得神經(jīng)網(wǎng)絡(luò)參數(shù)的近似最優(yōu)解。與現(xiàn)有的語(yǔ)義通信方案相比，所提出的scasr方案對(duì)不同的信噪比、scr和slr條件具有優(yōu)越的適應(yīng)性，而且能夠在通信中獲得更高的任務(wù)執(zhí)行性能和語(yǔ)義傳輸效益。

59、本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過(guò)本發(fā)明的實(shí)踐了解到。