本發(fā)明屬于無(wú)人機(jī)視頻編碼傳輸，特別是涉及一種信源信道聯(lián)合優(yōu)化的無(wú)人機(jī)視頻編碼傳輸方法與裝置。

背景技術(shù)：

1、無(wú)人機(jī)憑借成本低、機(jī)動(dòng)性高的優(yōu)勢(shì)，在越來(lái)越多的實(shí)際場(chǎng)景中得到推廣應(yīng)用。尤其在危險(xiǎn)復(fù)雜的環(huán)境中得到廣泛應(yīng)用，如緊急搜救、地質(zhì)災(zāi)害監(jiān)測(cè)、森林火災(zāi)探測(cè)等。與衛(wèi)星、臨空飛艇等平臺(tái)相比，無(wú)人機(jī)具有部署快、靈活性好等優(yōu)勢(shì)。它能迅速響應(yīng)應(yīng)急救援、對(duì)地觀測(cè)等任務(wù)，實(shí)現(xiàn)對(duì)目標(biāo)區(qū)域的重點(diǎn)覆蓋。另外，無(wú)人機(jī)作為空天地一體化信息網(wǎng)絡(luò)的末梢節(jié)點(diǎn)，還承擔(dān)著信息感知、編碼傳輸?shù)裙δ埽蓪?shí)現(xiàn)對(duì)目標(biāo)區(qū)域信息服務(wù)能力的局部增強(qiáng)。

2、在無(wú)人機(jī)運(yùn)用中，視頻采集與傳輸是其關(guān)鍵任務(wù)之一。無(wú)人機(jī)可通過機(jī)載攝像機(jī)拍攝目標(biāo)，并將壓縮編碼后的視頻通過機(jī)載數(shù)傳模塊傳輸出去。盡早獲取現(xiàn)場(chǎng)動(dòng)態(tài)信息，可為應(yīng)急救援贏得寶貴時(shí)間。及時(shí)清晰的視頻信息是制定高效任務(wù)規(guī)劃的核心依據(jù)。因此，無(wú)人機(jī)視頻編碼傳輸技術(shù)已成為當(dāng)前學(xué)術(shù)界和工業(yè)界共同關(guān)注的熱點(diǎn)問題。

3、然而，實(shí)現(xiàn)無(wú)人機(jī)視頻及時(shí)高效傳輸?shù)奶魬?zhàn)極大。首先，視頻具有信息量大、時(shí)效性強(qiáng)等特點(diǎn)。無(wú)人機(jī)視頻傳輸必須先通過視頻編碼消除信息冗余，但視頻編碼計(jì)算復(fù)雜度高、能耗大，對(duì)受能量強(qiáng)約束的無(wú)人機(jī)來(lái)說挑戰(zhàn)很大。其次，受位置移動(dòng)、信號(hào)干擾、信道快衰落等因素影響，無(wú)人機(jī)節(jié)點(diǎn)通信吞吐量動(dòng)態(tài)變化。如果視頻編碼碼率超過無(wú)人機(jī)節(jié)點(diǎn)信道傳輸容量，會(huì)導(dǎo)致?lián)砣麃G包，接收端視頻解碼花屏卡頓等問題。如何確保視頻編碼碼率與無(wú)人機(jī)節(jié)點(diǎn)信道傳輸能力相匹配具有很大挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述問題，本發(fā)明提出一種信源信道聯(lián)合優(yōu)化的無(wú)人機(jī)視頻編碼傳輸方法與裝置，該方法與裝置綜合考慮信源編碼與信道傳輸?shù)木幋a控制和資源分配。旨在通過視頻編碼參數(shù)優(yōu)化配置以及無(wú)人機(jī)發(fā)射功率的優(yōu)化分配，在滿足端到端時(shí)延、總可用功耗和信源信道碼率匹配的約束下，最小化端到端失真和能耗。

2、根據(jù)本發(fā)明的實(shí)施方式提供了一種信源信道聯(lián)合優(yōu)化的無(wú)人機(jī)視頻編碼傳輸方法，該方法包括以下步驟：

3、步驟s0，通過機(jī)載攝像機(jī)獲取無(wú)人機(jī)視頻；

4、步驟s1，基于所獲取的無(wú)人機(jī)視頻，構(gòu)建無(wú)人機(jī)信源編碼時(shí)延-功率-碼率-失真(delay-power-rate-distortion，d-p-r-d)模型，包括構(gòu)建無(wú)人機(jī)視頻編碼的視頻編碼碼率模型、編碼失真模型、編碼時(shí)延模型和編碼功率模型；

5、步驟s2，構(gòu)建無(wú)人機(jī)信道傳輸d-p-r-d模型，包括構(gòu)建無(wú)人機(jī)視頻的傳輸碼率模型、傳輸失真模型、傳輸時(shí)延模型和傳輸功率模型；

6、步驟s3，基于所構(gòu)建的信源編碼d-p-r-d模型和信道傳輸d-p-r-d模型，構(gòu)建信源信道聯(lián)合的非凸優(yōu)化問題；

7、步驟s4，采用變量替換、優(yōu)化問題近似等策略變換所構(gòu)建的非凸優(yōu)化問題得到變換后的優(yōu)化問題，并采用凸優(yōu)化工具求解該變換后的優(yōu)化問題，得到搜索范圍、量化步長(zhǎng)和發(fā)射功率的優(yōu)化解；

8、步驟s5，根據(jù)步驟s4獲得的優(yōu)化解對(duì)所拍攝的無(wú)人機(jī)視頻進(jìn)行編碼；

9、步驟s6，通過機(jī)載數(shù)傳模塊，將步驟s5編碼后的無(wú)人機(jī)視頻傳輸至地面接收裝置。

10、優(yōu)選的，所述步驟s1中，構(gòu)建無(wú)人機(jī)視頻編碼的視頻編碼碼率模型包括，給定視頻編碼的量化步長(zhǎng)q和搜索范圍λ，在時(shí)隙t，視頻編碼碼率re(λ，q；t)與量化步長(zhǎng)q和搜索范圍λ之間的關(guān)系式表示如下：

11、

12、其中，a、b、c和d是視頻編碼變換殘差模型的擬合系數(shù)，μ是介于(0，1)之間的參數(shù)，e＝2.71828。

13、可選地，在所述步驟s1中，構(gòu)建無(wú)人機(jī)視頻編碼的編碼失真模型包括，在時(shí)隙t，將視頻編碼失真de(re(λ，q；t))與視頻編碼碼率re(λ，q；t)間的關(guān)系建模為

14、de(rv(λ，q；t))＝c·(re(λ，q；t))-k?????(5)

15、其中，c，k為變量，且與視頻內(nèi)容有關(guān)。

16、可選地，在所述步驟s1中，構(gòu)建無(wú)人機(jī)視頻編碼的編碼時(shí)延模型包括，視頻編碼中，幀間編碼的p幀的編碼時(shí)延的計(jì)算公式如下：

17、

18、其中，n是一幀中所有預(yù)測(cè)單元的數(shù)量，(2λ+1)2表示對(duì)每個(gè)預(yù)測(cè)單元在三維空間范圍內(nèi)搜索比較的絕對(duì)差和(sum?ofabsolute?difference，sad)操作次數(shù)，r(q)表示在視頻編碼器中實(shí)際的sad操作次數(shù)與理論上sad操作次數(shù)的比值，cs是在給定cpu上進(jìn)行一次sad操作所需的時(shí)鐘周期數(shù)，fclk表示cpu的時(shí)鐘頻率，即每秒的cpu時(shí)鐘周期數(shù)。

19、可選地，在所述步驟s1中，構(gòu)建無(wú)人機(jī)視頻編碼的編碼功率模型包括，無(wú)人機(jī)視頻編碼的編碼功率計(jì)算公式如下：

20、

21、其中，k是cmos電路動(dòng)態(tài)電壓縮放模型中的常數(shù)，由電源電壓和電路的有效開關(guān)電容確定，fclk表示cpu的時(shí)鐘頻率，即每秒的cpu時(shí)鐘周期數(shù)。

22、優(yōu)選的，所述步驟s2中，構(gòu)建無(wú)人機(jī)視頻的傳輸碼率模型包括，在時(shí)隙t時(shí)，視頻接收端接收無(wú)人機(jī)信號(hào)的傳輸碼率的計(jì)算公式為：

23、rc(t)＝log2(1+snr(t))??(9)

24、且，接收端接收無(wú)人機(jī)發(fā)射信號(hào)的信噪比(signal?to?noise?ratio，snr)的計(jì)算公式為

25、

26、其中，ptr(t)表示時(shí)隙t時(shí)無(wú)人機(jī)的發(fā)射功率，pn表示噪聲功率；

27、且，在所述步驟s2中，構(gòu)建傳輸失真模型包括，視接收端的接收誤碼率(bit?errorrate，ber)為傳輸失真，其計(jì)算公式為：

28、

29、其中，erf(x)為誤差函數(shù)，且空對(duì)地鏈路的傳輸損耗latg(t)的計(jì)算公式如下：

30、

31、其中，e＝ηlos-ηnlos，ηlos和ηnlos與環(huán)境有關(guān)且分別對(duì)應(yīng)視距鏈路和非視距鏈路的傳輸損耗，fc表示載波頻率，c表示光速，π表示圓周率，h表示無(wú)人機(jī)的飛行高度，表示無(wú)人機(jī)與視頻接收端之間的距離，[xuav(t)，yuav(t)]t表示無(wú)人機(jī)的水平位置，[xuser，yuser]t表示視頻接收端的水平位置，且

32、其中，視距通信的概率plos表達(dá)式為

33、

34、其中，α和β是常系數(shù)，與無(wú)人機(jī)的飛行環(huán)境有關(guān)，表示視頻接收端與無(wú)人機(jī)之間的仰角，h表示無(wú)人機(jī)的飛行高度，e＝2.71828。

35、可選地，在所述步驟s2中，構(gòu)建傳輸時(shí)延模型包括，傳輸時(shí)延的計(jì)算公式為：

36、

37、其中，l為無(wú)人機(jī)發(fā)送數(shù)據(jù)單元的長(zhǎng)度，b表示無(wú)人機(jī)網(wǎng)絡(luò)帶寬，rc(t)為傳輸速率。

38、可選地，在所述步驟s2中，構(gòu)建傳輸功率模型包括，信道傳輸?shù)墓β时欢x為無(wú)人機(jī)的發(fā)射功率ptr(t)與射頻電路功率pc之和。

39、優(yōu)選的，在一個(gè)實(shí)施方式中，在所述步驟s3中，構(gòu)建非凸優(yōu)化問題如下：

40、

41、ptot(t)＝pe+pc+ptr(t)≤pmax???(12.e)

42、其中，de(re(λ，q；t))表示編碼失真，dc(ptr(t))表示傳輸失真，ρ1和ρ2均為正常數(shù)且其取值反映信源編碼失真、信道傳輸失真和無(wú)人機(jī)總功耗間的權(quán)衡，可根據(jù)用戶的偏好以及所構(gòu)建的多目標(biāo)優(yōu)化問題的帕累托邊界來(lái)選擇ρ1和ρ2。

43、分別表示視頻編碼碼率和傳輸碼率的時(shí)間平均。d(λ，q)表示編碼時(shí)延，l表示無(wú)人機(jī)發(fā)送數(shù)據(jù)單元的長(zhǎng)度，b表示無(wú)人機(jī)網(wǎng)絡(luò)帶寬，rc(t)為傳輸速率，d0∈[0，1]表示比例參數(shù)，dmax表示最大容忍時(shí)延，pe表示編碼功率，pc表示射頻電路功率，pmax表示最大無(wú)人機(jī)額定功率，t是一個(gè)足夠大的整數(shù)，ptr(t)表示無(wú)人機(jī)的發(fā)射功率，ptot(t)表示無(wú)人機(jī)編碼功率、射頻電路功率和無(wú)人機(jī)的發(fā)射功率的總和。

44、優(yōu)選的，在一個(gè)實(shí)施方式中，所述步驟s4具體包括以下步驟。

45、步驟s4-1，利用李雅普諾夫漂移懲罰技術(shù)將步驟s3的非凸優(yōu)化問題轉(zhuǎn)換成在每個(gè)時(shí)隙重復(fù)優(yōu)化的問題。

46、針對(duì)包含時(shí)間平均項(xiàng)的約束條件，該實(shí)施方式采用李雅普諾夫漂移懲罰技術(shù)對(duì)其進(jìn)行處理。具體地，引入一組虛擬隊(duì)列{x(t)}，并作如下定義

47、

48、其中，x(t)表示時(shí)隙t時(shí)虛擬隊(duì)列的長(zhǎng)度。

49、接著，定義李雅普諾夫函數(shù)其可以看作時(shí)隙t時(shí)約束違反的標(biāo)量度量。相應(yīng)地，李雅普諾夫漂移懲罰的函數(shù)表達(dá)式可以表示為δ(t)+v(de(re(λ，q；t))+ρ1dc(pt(t))+ρ2ptot(t))，其中，δ(t)＝l(t+1)-l(t)代表李雅普諾夫漂移，de(re(λ，q；t))+ρ1dc(pt(t))+ρ2ptot(t)是優(yōu)化問題的懲罰函數(shù)，v是一個(gè)非負(fù)系數(shù)，表征約束違反和最優(yōu)性間的權(quán)衡。

50、進(jìn)而可以得到李雅普諾夫漂移懲罰函數(shù)的上界，即

51、

52、其中，[x(t)]+＝max{x(t)，0}，表示rc(t)可能取得的最大值。

53、至此，復(fù)雜的時(shí)間序列優(yōu)化問題可以通過近似求解以每個(gè)時(shí)隙t時(shí)漂移懲罰函數(shù)的上界為目標(biāo)的優(yōu)化問題來(lái)實(shí)現(xiàn)。具體地，可以通過在每個(gè)時(shí)隙t重復(fù)優(yōu)化如下問題近似求解步驟s3中的非凸優(yōu)化問題：

54、

55、

56、ptot(t)≤pmax??(15.d)。

57、步驟s4-2，給定無(wú)人機(jī)的發(fā)射功率和視頻編碼搜索范圍，構(gòu)建并利用掛載在無(wú)人機(jī)上的機(jī)載處理器求解量化步長(zhǎng)優(yōu)化子問題。

58、通過引入一組松弛變量δ、ε、ξ、ω，等價(jià)變換目標(biāo)函數(shù)，并對(duì)非凸的約束條件進(jìn)行一階泰勒展開近似，近似構(gòu)建如下量化步長(zhǎng)優(yōu)化子問題：

59、

60、(ε，1，ξ)∈kexp?????????(17.c)

61、(δ，c，-ckξ)∈kexp??????(17.d)

62、

63、其中，表示一個(gè)任意給定的量化步長(zhǎng)局部迭代點(diǎn)，kexp表示一個(gè)指數(shù)錐，相關(guān)含義為c、k為變量且與視頻內(nèi)容有關(guān)，表示求偏導(dǎo)數(shù)運(yùn)算。

64、步驟s4-3，給定無(wú)人機(jī)的視頻編碼量化步長(zhǎng)q，構(gòu)建并利用掛載在無(wú)人機(jī)上的機(jī)載處理器求解無(wú)人機(jī)的功率控制及搜索范圍優(yōu)化子問題。

65、引入一組松弛變量δ、ε、ξ、ω、τ、ζ，等價(jià)變換目標(biāo)函數(shù)，并對(duì)非凸的約束條件進(jìn)行一階泰勒展開近似之后，近似構(gòu)建如下無(wú)人機(jī)發(fā)射功率控制及搜索范圍優(yōu)化子問題：

66、

67、τ≤d0dmax??????????(19.e)

68、(ε，1，ξ)∈kexp??????(19.f)

69、(δ，c，-ckξ)∈kexp????(19.g)

70、

71、z2＝2λ+1(19.1)

72、

73、ptot(t)≤pmax????(19.n)

74、其中，和分別表示任意給定的搜索范圍和發(fā)射功率局部迭代點(diǎn)，表示一個(gè)旋轉(zhuǎn)二次錐，相關(guān)含義為z1、z2和z3均為變量，coe≈0.003612(0.7422e-0.01113q+0.212)。

75、步驟s4-4，返回步驟s4-2直至收斂或達(dá)到最大迭代次數(shù)。

76、步驟s4-5，更新x(t+1)＝x(t)+re(λ，q；t)-rc(t)，t＝t+1，返回步驟s4-2直至t＝t+1。

77、根據(jù)本發(fā)明的另一個(gè)實(shí)施方式提供了一種信源信道聯(lián)合優(yōu)化的無(wú)人機(jī)視頻編碼傳輸裝置，包括：

78、機(jī)載攝像頭，其獲取無(wú)人機(jī)視頻；

79、機(jī)載處理器，其基于所獲取的無(wú)人機(jī)視頻進(jìn)行處理，包括獲取視頻編碼殘差，擬合殘差模型參數(shù)，構(gòu)建信道衰落模型，構(gòu)建信源信道聯(lián)合優(yōu)化問題，并進(jìn)行信源信道聯(lián)合優(yōu)化處理，得到視頻編碼的優(yōu)化解，以及根據(jù)獲得的優(yōu)化解編碼所述無(wú)人機(jī)視頻；

80、數(shù)傳模塊，其從所述機(jī)載處理器接收編碼后的無(wú)人機(jī)視頻，并傳送至地面接收裝置；

81、其中，所述機(jī)載處理器基于所獲取的無(wú)人機(jī)視頻進(jìn)行處理包括：

82、步驟s1，基于機(jī)載攝像頭所獲取的無(wú)人機(jī)視頻，構(gòu)建無(wú)人機(jī)的信源編碼d-p-r-d模型，包括構(gòu)建無(wú)人機(jī)視頻編碼的視頻編碼碼率模型、編碼失真模型、編碼時(shí)延模型和編碼功率模型；

83、步驟s2，構(gòu)建無(wú)人機(jī)的信道傳輸d-p-r-d模型，包括構(gòu)建無(wú)人機(jī)視頻傳輸碼率模型、傳輸失真模型、傳輸時(shí)延模型和傳輸功率模型；

84、步驟s3，基于所構(gòu)建的信源編碼d-p-r-d模型和信道傳輸d-p-r-d模型，構(gòu)建信源信道聯(lián)合的非凸優(yōu)化問題；

85、步驟s4，采用變量替換和優(yōu)化問題近似策略變換所構(gòu)建的非凸優(yōu)化問題，并采用凸優(yōu)化工具求解變換后的優(yōu)化問題，得到搜索范圍、量化步長(zhǎng)和發(fā)射功率的優(yōu)化解；

86、步驟s5，根據(jù)步驟s4獲得的優(yōu)化解對(duì)所拍攝的無(wú)人機(jī)視頻進(jìn)行編碼。

87、根據(jù)本發(fā)明的另一個(gè)實(shí)施方式提供了一種信源信道聯(lián)合優(yōu)化的無(wú)人機(jī)視頻編碼傳輸裝置，包括：

88、機(jī)載攝像頭，其獲取無(wú)人機(jī)視頻；

89、機(jī)載處理器，其基于所獲取的無(wú)人機(jī)視頻進(jìn)行處理，包括獲取視頻編碼殘差，擬合殘差模型參數(shù)，構(gòu)建信道衰落模型，構(gòu)建信源信道聯(lián)合優(yōu)化問題，并進(jìn)行信源信道聯(lián)合優(yōu)化處理，得到視頻編碼的優(yōu)化解；

90、機(jī)載編碼器，其根據(jù)從機(jī)載處理器獲得的優(yōu)化解編碼所述無(wú)人機(jī)視頻

91、數(shù)傳模塊，其從所述機(jī)載編碼器接收編碼后的無(wú)人機(jī)視頻，并傳送至地面接收裝置；

92、其中，所述機(jī)載處理器基于所獲取的無(wú)人機(jī)視頻進(jìn)行處理包括：

93、步驟s1，基于機(jī)載攝像頭所獲取的無(wú)人機(jī)視頻，構(gòu)建無(wú)人機(jī)的信源編碼d-p-r-d模型，包括構(gòu)建無(wú)人機(jī)視頻編碼的視頻編碼碼率模型、編碼失真模型、編碼時(shí)延模型和編碼功率模型；

94、步驟s2，構(gòu)建無(wú)人機(jī)的信道傳輸d-p-r-d模型，包括構(gòu)建無(wú)人機(jī)視頻傳輸碼率模型、傳輸失真模型、傳輸時(shí)延模型和傳輸功率模型；

95、步驟s3，基于所構(gòu)建的信源編碼d-p-r-d模型和信道傳輸d-p-r-d模型，構(gòu)建信源信道聯(lián)合的非凸優(yōu)化問題；

96、步驟s4，采用變量替換和優(yōu)化問題近似策略變換所構(gòu)建的非凸優(yōu)化問題，并采用凸優(yōu)化工具求解變換后的優(yōu)化問題，得到搜索范圍、量化步長(zhǎng)和發(fā)射功率的優(yōu)化解。

97、相比于現(xiàn)有技術(shù)，本發(fā)明至少具有以下有益效果。

98、(1)本發(fā)明的一種信源信道聯(lián)合優(yōu)化的無(wú)人機(jī)視頻編碼傳輸方法與裝置，通過數(shù)據(jù)擬合策略獲得視頻編碼變換殘差標(biāo)準(zhǔn)差的模型。在此基礎(chǔ)上，構(gòu)建包含視頻編碼量化步長(zhǎng)、搜索范圍及參考幀數(shù)的視頻編碼時(shí)延-功率-碼率-失真(delay-power-rate-distortion，d-p-r-d)的模型。此外，基于無(wú)人機(jī)視距傳播信道及萊斯衰落信道模型構(gòu)建無(wú)人機(jī)信道傳輸?shù)膁-p-r-d模型。構(gòu)建無(wú)人機(jī)信源編碼d-p-r-d模型和信道傳輸d-p-r-d模型是對(duì)無(wú)人機(jī)視頻編碼與傳輸?shù)娜轿?、?xì)粒度的理論建模分析，有利于對(duì)無(wú)人機(jī)視頻編碼與傳輸?shù)木?xì)化優(yōu)化控制。

99、(2)本發(fā)明的一種信源信道聯(lián)合優(yōu)化的無(wú)人機(jī)視頻編碼傳輸方法與裝置，基于上述設(shè)計(jì)的八維d-p-r-d模型，構(gòu)建一個(gè)信源信道聯(lián)合的無(wú)人機(jī)視頻編碼傳輸優(yōu)化問題，確保視頻編碼碼率與無(wú)人機(jī)節(jié)點(diǎn)信道傳輸能力的優(yōu)化匹配。并且在滿足端到端時(shí)延、最大功耗要求和信源信道碼率匹配的約束下，通過對(duì)視頻編碼量化步長(zhǎng)、搜索范圍以及無(wú)人機(jī)發(fā)射功率的聯(lián)合優(yōu)化與控制，最小化端到端失真和能耗，從而可通過無(wú)人機(jī)獲得及時(shí)清晰的視頻信息。

100、(3)本發(fā)明的一種信源信道聯(lián)合優(yōu)化的無(wú)人機(jī)視頻編碼傳輸方法與裝置，利用李雅普諾夫優(yōu)化策略將該所構(gòu)建的視頻編碼傳輸優(yōu)化問題分解為兩個(gè)獨(dú)立的子問題，即量化步長(zhǎng)優(yōu)化子問題和功率控制及搜索范圍優(yōu)化子問題。接著，設(shè)計(jì)一個(gè)兩階段迭代分治策略交替優(yōu)化上述兩個(gè)子問題，最后得到視頻編碼傳輸優(yōu)化問題的解。通過上述采用李雅普諾夫優(yōu)化策略和迭代分治策略，可以將變量緊密耦合、難以直接優(yōu)化求解的問題轉(zhuǎn)換成變量解耦、容易直接求解的優(yōu)化問題，有利于視頻的快速處理和高效傳輸，從而實(shí)現(xiàn)即時(shí)、流暢、清晰的無(wú)人機(jī)視頻傳輸。