一種基于分層表達(dá)的無人機(jī)視頻自適應(yīng)傳輸方法
【專利摘要】本發(fā)明公開了一種基于分層表達(dá)的無人機(jī)視頻自適應(yīng)傳輸方法，該方法包括視頻表達(dá)的分層結(jié)構(gòu)；所述分層結(jié)構(gòu)由下至上依次包括背景層、目標(biāo)層和增強(qiáng)層；根據(jù)不同的需求，選擇相應(yīng)的分層結(jié)構(gòu)進(jìn)行視頻的傳輸，通過運(yùn)動(dòng)目標(biāo)的分割，解決了視頻中獨(dú)立的運(yùn)動(dòng)物體壓縮后運(yùn)動(dòng)模糊無法辨識的問題。能夠提供清晰的全景圖像，或質(zhì)量較高的視頻序列。提高了輸出精度，極大的縮短了壓縮時(shí)間，很大程度上提高了工作效率。
【專利說明】一種基于分層表達(dá)的無人機(jī)視頻自適應(yīng)傳輸方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視屏傳輸方法，具體涉及一種基于分層表達(dá)的無人機(jī)視頻自適應(yīng)傳輸 方法。
【背景技術(shù)】
[0002] 無人機(jī)（UnmannedAerialVehicles,UAV)是當(dāng)今世界上軍用武器發(fā)展的一個(gè)熱 點(diǎn)，并將有可能成為21世紀(jì)空中作戰(zhàn)的主導(dǎo)力量，廣泛的用于戰(zhàn)場偵察、監(jiān)視、邊境巡邏、 電子偵察、目標(biāo)定位、跟蹤與識別等[1]。除此之外，無人機(jī)還可用于民用方面的勘探測繪、 公路巡視、場區(qū)監(jiān)控、水災(zāi)監(jiān)視等。就目前來看，大多數(shù)無人機(jī)的作用發(fā)揮是以機(jī)載監(jiān)視能 力為前提的，這將依賴于視頻、圖像的采集、壓縮和傳輸[2] [3] [4]。經(jīng)過幾十年的應(yīng)用與 發(fā)展，無人機(jī)的圖像傳輸系統(tǒng)已相對成熟和穩(wěn)定，但視頻卻因其巨大的數(shù)據(jù)量成為無人機(jī) 信息傳遞的瓶頸。從基本構(gòu)成來講，無人機(jī)視頻傳輸系統(tǒng)與民用視頻傳輸系統(tǒng)基本一致，都 由視頻采集模塊、視頻處理模塊、視頻壓縮模塊、視頻傳輸模塊、視頻解壓模塊、視頻分析模 塊、視頻顯示模塊組成（如圖1)。
[0003] 盡管如此，仍然無法將民用視頻傳輸系統(tǒng)中相對成熟的技術(shù)直接應(yīng)用于無人機(jī)視 頻傳輸系統(tǒng)，主要原因是這兩者在硬件設(shè)備的性能、傳輸信道的限制和實(shí)際應(yīng)用的環(huán)境等 方面都存在顯著的差別，導(dǎo)致系統(tǒng)設(shè)計(jì)時(shí)對各項(xiàng)指標(biāo)的要求不同，具體分析如下：
[0004] 1、壓縮性能的要求：無人機(jī)的飛行高度從幾百米到幾千米不等，即拍攝時(shí)被攝對 象與攝像機(jī)距離較遠(yuǎn)，單幀圖像所捕捉到的偵察區(qū)域較廣，因此，為了盡可能的詳細(xì)的描述 偵察區(qū)域的情況，無人機(jī)航攝視頻需要具有較高的分辨率。分辨率的提高不僅代表著對壓 縮失真的承受力降低，更代表著數(shù)據(jù)量的增加。但同時(shí)，無人機(jī)的傳輸信道為帶寬較窄的無 線信道，這就意味著，無人機(jī)視頻傳輸系統(tǒng)對視頻壓縮性能的要求更為苛刻，既要保證低失 真率又要達(dá)到高壓縮比。
[0005] 2、計(jì)算復(fù)雜度的要求：一方面，由于無人機(jī)的有效載荷受限，其所攜帶的硬件設(shè)備 在體積和重量上都有嚴(yán)格的要求，這直接體現(xiàn)為對數(shù)據(jù)存儲能力和處理能力的制約；另一 方面，在遠(yuǎn)程控制等應(yīng)用中，非常關(guān)注視頻信息的時(shí)效性，這不僅是對視頻傳輸速率提出要 求，更是對視頻處理速度提出要求。綜合以上兩方面因素可知，無人機(jī)視頻傳輸系統(tǒng)要求快 速且簡單的處理視頻，即要求低計(jì)算復(fù)雜度。
[0006] 3、可靠性的要求：在無人機(jī)數(shù)據(jù)傳輸過程中，不僅會因?yàn)闊o線信號會受到地形、地 物以及大氣等因素的影響引起帶寬的波動(dòng)，還可能受到外來的攻擊和攔截，這些都會導(dǎo)致 視頻數(shù)據(jù)的損壞或丟失。因此，無人機(jī)視頻傳輸系統(tǒng)還必須有加強(qiáng)可靠性和容錯(cuò)性的設(shè)計(jì)。
[0007] 4、靈活性的要求：除了以上幾點(diǎn)要求，無人機(jī)視頻傳輸系統(tǒng)還應(yīng)具有靈活應(yīng)對各 種突發(fā)狀況的能力，如適時(shí)調(diào)整數(shù)據(jù)收發(fā)速率來適應(yīng)帶寬的波動(dòng)；合理的減少數(shù)據(jù)備份來 應(yīng)對存儲資源的消耗；智能的選擇發(fā)送數(shù)據(jù)來響應(yīng)終端請求等等。
[0008] 綜上所述，無人機(jī)視頻傳輸系統(tǒng)的要求比民用的視頻傳輸系統(tǒng)要求更高更全面， 不僅要兼顧壓縮性能和計(jì)算復(fù)雜度，還要具有較高的可靠性和靈活性。
[0009]目前，廣泛應(yīng)用的無人機(jī)視頻傳輸系統(tǒng)主要利用基于標(biāo)準(zhǔn)的視頻編解碼器來壓縮 視頻，最常用的有M-JPEG和MPEG-2 [5]。其中，MPEG-2 [6]的性能較為優(yōu)越，它采用了運(yùn)動(dòng)補(bǔ) 償、DCT和量化等關(guān)鍵技術(shù)，其壓縮率可以達(dá)到幾百分之一，且在發(fā)生數(shù)據(jù)包丟失時(shí)有更好 的抗錯(cuò)性能。盡管如此，MPEG-2仍然不能完全滿足無人機(jī)視頻傳輸系統(tǒng)的苛刻要求。舉例來 看，一個(gè)幀率為25幀每秒、分辨率為標(biāo)準(zhǔn)高清（1920x1080)、8bit像素的數(shù)字視頻的數(shù)據(jù)量 是622Mbit/s，而無人機(jī)可用于視頻信號傳輸?shù)膶?shí)際帶寬一般只有幾Mbit/s，而MPEG-2很 難在保證質(zhì)量的同時(shí)達(dá)到如此高的壓縮率。就近兩年來看，新的視頻壓縮編碼標(biāo)準(zhǔn)H. 264/ AVC[7]以它卓越的性能越來越多的得到工業(yè)界的認(rèn)可，也逐步的在無人機(jī)研究領(lǐng)域占有一 定地位[8] [9]。但是，即使使用H. 264/AVC來進(jìn)行視頻壓縮，若想保留視頻的分辨率且在壓 縮時(shí)不造成可見的失真，往往也只能將原有的622Mbit/s的數(shù)據(jù)量降到8?15Mbit/s。
[0010] 除了標(biāo)準(zhǔn)的編碼器，也有大量的非標(biāo)準(zhǔn)化的視頻處理和壓縮算法，它們利用無人 機(jī)視頻的特點(diǎn)，通過利用全局運(yùn)動(dòng)估計(jì)、全局運(yùn)動(dòng)補(bǔ)償、感興趣區(qū)域的檢測、圖像拼接等技 術(shù)來實(shí)現(xiàn)更高的壓縮效率[10]?[18]。另外，考慮到無人機(jī)的任務(wù)特點(diǎn)，文獻(xiàn)[19] [20]提 出根據(jù)視頻的特征來檢測出感興趣區(qū)域，并在壓縮時(shí)充分考慮到該區(qū)域的重要性，對感興 趣區(qū)域和非感興趣區(qū)域采用不同的處理方法，這種方法可以在保證感興趣區(qū)域的質(zhì)量的同 時(shí)，大大的降低視頻數(shù)據(jù)量。但這些方法都只是單方面的解決了部分問題，卻無法在壓縮性 能、復(fù)雜度、可靠性和靈活性之間取得良好的綜合性能。為了在這種多方面相互制約和影響 的情況下取得全局最優(yōu)解，文獻(xiàn)[21]給出了一個(gè)概念性的解決方案，從理論上分析如何在 資源約束條件下滿足用戶多方面的需求。
[0011] 現(xiàn)有相關(guān)技術(shù)
[0012] 1：Videoadaptation:Concepts,technologies,andopenissues[21]
[0013] 該文給出了視頻自適應(yīng)解決方案，從理論上分析如何在資源約束條件下滿足用戶 多方面的需求，從而在壓縮性能、復(fù)雜度、可靠性和靈活性之間取得良好的綜合性能。圖2 所示的是視頻自適應(yīng)系統(tǒng)的概念性框架，即給定一個(gè)實(shí)體（Entity)，就可以通過確定自適 應(yīng)操作空間（AdaptationSpace)、資源空間（ResourceSpace)和用戶滿意度空間（Utility Space)三者之間的關(guān)系，來設(shè)計(jì)具體的自適應(yīng)解決方案。圖中資源空間內(nèi)陰影立方體代表 當(dāng)前應(yīng)用環(huán)境中的資源約束條件，在滿足此約束的前提下，可以存在多種自適應(yīng)解決方案， 這些方案共同組成了滿足該資源約束的自適應(yīng)操作集合。而視頻自適應(yīng)所要解決的問題 是：在滿足給定資源約束的自適應(yīng)操作集中選擇用戶滿意度最高的操作。
[0014] 該文提出了視頻自適應(yīng)概念性的框架，為視頻自適應(yīng)傳輸提供了良好的解決思 路，但是基于這樣一個(gè)理論性的框架，如何在具體應(yīng)用環(huán)境中起到良好的作用仍需要更深 入的探索和研究。
[0015] 2 :無人機(jī)序列圖像壓縮方法研究[12]
[0016] 該文章根據(jù)無人機(jī)的運(yùn)動(dòng)特點(diǎn)，求出序列圖像之間的重疊區(qū)域，將運(yùn)動(dòng)序列圖像 轉(zhuǎn)變成靜態(tài)圖像，然后以類EBC0T算法完成拼接圖像的壓縮。壓縮的實(shí)驗(yàn)結(jié)果顯示，該方 法在壓縮效率和運(yùn)行時(shí)間上均優(yōu)于H. 264等視頻壓縮標(biāo)準(zhǔn)，可較好地滿足無人機(jī)圖像的傳 輸需求。
[0017] 該文只發(fā)掘了無人機(jī)視頻重疊區(qū)域較大的特點(diǎn)，將運(yùn)動(dòng)序列圖像轉(zhuǎn)變成靜態(tài)圖像 進(jìn)行壓縮，但忽略了無人機(jī)視頻中存在獨(dú)立的運(yùn)動(dòng)物體，而實(shí)際應(yīng)用中這些獨(dú)立的運(yùn)動(dòng)物 體恰好可能是視頻中應(yīng)該重點(diǎn)關(guān)注的目標(biāo)。因此，這種方法雖然可以取得較好的壓縮性能， 但在視頻內(nèi)容表達(dá)方面存在欠缺，一方面，其壓縮后的視頻主觀質(zhì)量損失較重；另一方面， 視頻中的運(yùn)動(dòng)物體在壓縮后產(chǎn)生運(yùn)動(dòng)模糊，無法辨識。
[0018] 參考文獻(xiàn)：
[0019] [1]溫羨嶠，李英."從美國無人機(jī)的發(fā)展來看無人機(jī)未來戰(zhàn)爭中的應(yīng)用前景現(xiàn) 代防御技術(shù).2003年10月.
[0020] [2]AndreasBirk,BurkhardWiggerich,HeikoBillow,MaxPfingsthorn,Sorcn Schwertfeger"Safety，Security，andRescueMissionswithanUnmannedAerial Vehicle(UAV)JournalofIntelligent&RoboticSystems(28January2011),pp. 1-20
[0021] [3]G.Belloni，M.Feroli，AntonioFicola，StefanoPagnottel1i，and PaoloValigi，"ACOTS-BasedMiniUnmannedAerialVehicle(SR-H3)for Security,EnvironmentalMonitoringandSurveillanceOperations:Designand Test"，EUR0S，Vol. 44Springer(2008)，p. 73-82.
[0022] [4]Yu-chiLiu;Qiong_haiDai"'VisionAidedUnmannedAerialVehicle Autonomy:AnOverview"，2010 3rdInternationalCongressonImageandSignalPro cessing(CISP)，16-180ct. 2010,pp. 417-421
[0023] [5]Schaphorst,R.A.;''Anoverviewofvideocompressioninthe tacticalbattlefield,?,MilitaryCommunicationsConferenceIEEE，1l_140ct 1993,pp. 843-847vol.3
[0024] [6]ITU-T，IS0/IEC. 1994."Genericcodingofmovingpicturesand associatedaudioinformation-part2:video" ?ITU-TRec.H. 262|IS0/IEC 13818-2 (MPEG-2Video).
[0025] [7]ITU-T,IS0/IEC. 2005.^Advancedvideocodingforgenericaudiovisual services".ITU-TRec.H. 264 |IS0/IECIS14496-10.
[0026] [8]XiaolinChen，ShancongZhang，andJieLiu，"DesignofUAVvideo compressionsystembasedonH. 264encodingalgorithm"，EMEITIEEE(2011)，p. 2619-26 22.
[0027] [9]Bennett，B.，Dee，C.andNgugen，M.H./'OperationalconceptsofMPEG-4 H.264fortacticalDoDapplications" ;MILC0M2005,October17-20Atlantic City,NJ,
[0028] [10]M.BhaskaranandandJ.D.Gibson，"Low-complexityvideoencodingfor UAVreconnaissanceandsurveillance，，'inMilitaryCommunicationsConference(MI LC0M)，2011，pp. 1633 - 1638.
[0029] [11]崔麥會，周建軍，陳超.無人機(jī)視頻情報(bào)的壓縮傳輸技術(shù).電訊技術(shù).2007 年2月
[0030] [12]田金文，謝清鵬，譚毅華，柳健.無人機(jī)序列圖像壓縮方法研究.華中科技 大學(xué)學(xué)報(bào)，2005年12月
[0031] [13]M.HollerandR.Thoma."Imagesegmentationbasedonobject orientedmappingparameterestimation" ?SignalProcessing, 15(3):315 - 334, 1988. MultidimensionalSignalProcessing.
[0032] [14]A.Krutz,A.Glantz,andT.Sikora."Recentadvancesinvideocoding usingstaticbackgroundmodels".InPictureCodingSymposium(PCS)，2010,pages 462 - 465,dec. 2010.
[0033] [15]S.Yahyanejad,D.Wischounig-Strucl,M.Quaritsch,andB.Rinner. Incrementalmosaickingofimagesfromautonomous,small-scaleuavs.InAdvanced VideoandSignalBasedSurveillance(AVSS),2010SeventhIEEEInternational Conferenceon,pages329 - 336,29 2010-sept. 1 2010.
[0034] [16]Z.ZhuandH.Tang.Content-baseddynamic3dmosaics.InComputer VisionandPatternRecognitionWorkshop，2006.CVPRW' 06.Conferenceon,page 169,june2006.
[0035] [17]S.Yahyanejad,D.Wischounig-Strucl,M.Quaritsch,andB.Rinner. Incrementalmosaickingofimagesfromautonomous,small-scaleuavs.InAdvanced VideoandSignalBasedSurveillance(AVSS),2010SeventhIEEEInternational Conferenceon,pages329 - 336,29 2010-sept. 1 2010.
[0036] [18]朱云芳，葉秀清，顧偉康.視頻序列的全景圖拼接技術(shù).中國圖象圖形學(xué) 報(bào)，Vol. 11，No. 8,Aug.，2006
[0037] [19]H.ChengandJ.Wus.Adaptiveregionofinterestestimationforaerial surveillancevideo.InImageProcessing,2005.ICIP2005.IEEEInternational Conferenceon,volume3,pagesIII- 860 - 3,sept. 2005.
[0038] [20]N.Doulamis,A.Doulamis,D.Kalogeras,andS.Kollias.Lowbit-rate codingofimagesequencesusingadaptiveregionsofinterest.Circuitsand SystemsforVideoTechnology,IEEETransactionson,8 (8):928 - 934,dec1998.
[0039] [21]ChangSF，VetroA."Videoadaptation:Concepts，technologies，andopen issues".Proc.IEEE，93:148-158. 2005
【發(fā)明內(nèi)容】
[0040] 發(fā)明目的：為了解決現(xiàn)有技術(shù)中，無人機(jī)載荷受限、帶寬受限、應(yīng)用復(fù)雜、傳統(tǒng)的視 頻處理和壓縮方法都存在壓縮性能和計(jì)算復(fù)雜度不可兼得的缺點(diǎn)，不能充分的滿足其需求 的問題，本發(fā)明提供一種基于分層表達(dá)的無人機(jī)視頻自適應(yīng)傳輸方法，解決了現(xiàn)有技術(shù)的 不足。
[0041] 技術(shù)方案：一種基于分層表達(dá)的無人機(jī)視頻自適應(yīng)傳輸方法，其特征在于，該方法 包括視頻表達(dá)的分層結(jié)構(gòu)；所述分層結(jié)構(gòu)由下至上依次包括背景層、目標(biāo)層和增強(qiáng)層；
[0042] 所述背景層為：將一個(gè)包括多幀圖像的圖像組中所有圖像拼接成為一幅全景背景 圖，再利用圖像編碼的方式進(jìn)行壓縮；根據(jù)壓縮效果不等分為k個(gè)子層，由下至上依次為 0, 1, 2-k-1 ；
[0043]所述目標(biāo)層為：每一幀圖像只包含原始視頻中每一幀圖像的目標(biāo)區(qū)域，采用單獨(dú) 的幀間預(yù)測方法進(jìn)行壓縮；根據(jù)壓縮效果不等分為m個(gè)子層，由下至上依次為0, 1，2… m-1 ；
[0044] 所述增強(qiáng)層為：每一幀圖像對應(yīng)原始視頻的一幀完整圖像；根據(jù)壓縮效果不等分 為n個(gè)子層，由下至上依次為0, 1，2*"n-l;
[0045] 生成和傳輸結(jié)構(gòu)層次的方式從以下五種組合中選擇其一：背景層；目標(biāo)層；背景 層和目標(biāo)層；背景層和增強(qiáng)層；背景層、目標(biāo)層和增強(qiáng)層；
[0046] 進(jìn)一步的，包括背景層圖像的拼接和壓縮，具體包括以下步驟：
[0047] 2. 1)、圖像序列拼接：對圖像組中其余的N-1幀圖像按序進(jìn)行拼接，拼接操作包括 特征點(diǎn)對應(yīng)、坐標(biāo)映射和圖像合成；
[0048] 2. 1. 1)、特征點(diǎn)對應(yīng)：在待拼接的圖像中確定與基準(zhǔn)圖像中的特征點(diǎn)一一對應(yīng)的 點(diǎn)，利用現(xiàn)有算法提取特征點(diǎn)，再利用匹配算法得到對應(yīng)關(guān)系；或者直接在待拼接圖像中給 定范圍搜索與基準(zhǔn)圖像的特征點(diǎn)相似度最高的點(diǎn)；
[0049] 2. 1. 2)、坐標(biāo)映射：根據(jù)對應(yīng)的特征點(diǎn)對應(yīng)的位置關(guān)系，利用現(xiàn)有模型計(jì)算待拼接 圖像相對基準(zhǔn)圖像的坐標(biāo)變換；對所得的變換參數(shù)進(jìn)行壓縮、存儲和傳輸；
[0050] 2. 1. 3)、圖像合成：根據(jù)步驟2. 3. 2)的坐標(biāo)變換關(guān)系，將待拼接圖像中的每個(gè)像 素的位置變換到基準(zhǔn)圖像坐標(biāo)系，并將其像素值復(fù)制到對應(yīng)位置，若與基準(zhǔn)圖像的像素重 疊，則取兩幀圖像對應(yīng)位置像素的均值或選取其中一個(gè)值。
[0051] 2. 2)、圖像壓縮：對拼接結(jié)果采用現(xiàn)有圖像壓縮算法進(jìn)行質(zhì)量可分級的壓縮，形成 k個(gè)背景層子層；其中，背景層0為最低質(zhì)量的壓縮圖像，背景層1?背景層k-1為對背景 層〇的壓縮殘差的分級細(xì)化壓縮；通過多個(gè)背景層子層的疊加提高背景層的質(zhì)量；層級的 設(shè)置和每個(gè)層級的質(zhì)量根據(jù)網(wǎng)絡(luò)帶寬的變化進(jìn)行設(shè)置。
[0052] 進(jìn)一步的，生成和傳輸結(jié)構(gòu)層次的方式選擇背景層，一個(gè)圖像為N幀，具體包括以 下步驟：
[0053] 3. 1)、基準(zhǔn)圖像選?。喝D像組中的任意一巾貞，以基準(zhǔn)圖像的坐標(biāo)系作為拼接圖像 的坐標(biāo)系；
[0054] 3. 2)、基準(zhǔn)圖像特征點(diǎn)提?。豪矛F(xiàn)有算法提取特征點(diǎn)；
[0055] 3. 3)、圖像序列拼接：進(jìn)行步驟2. 1);
[0056] 3. 4)、圖像壓縮：進(jìn)行步驟2. 2)。通過對不同層的選擇，有效減少了運(yùn)算步驟，同 時(shí)可以達(dá)到高精度的圖片質(zhì)量。
[0057] 進(jìn)一步的，當(dāng)無人機(jī)所拍攝視屏中存在清晰的獨(dú)立運(yùn)動(dòng)目標(biāo)時(shí)，生成和傳輸結(jié)構(gòu) 層次的方式選擇背景層和目標(biāo)層；具體包括以下步驟：
[0058] 4. 1)運(yùn)動(dòng)目標(biāo)分割：通過對整個(gè)拍攝畫面進(jìn)行分析，區(qū)分全局運(yùn)動(dòng)和局部運(yùn)動(dòng)， 進(jìn)一步提取獨(dú)立運(yùn)動(dòng)目標(biāo)，并記錄運(yùn)動(dòng)目標(biāo)在對應(yīng)巾貞中的精確位置；
[0059] 4.2)背景層生成：將運(yùn)動(dòng)目標(biāo)從圖像中去除，只保留背景信息，進(jìn)行步驟2. 1)和 步驟2. 2)完成背景層的拼接和壓縮，生成具有不同質(zhì)量子層的背景層。
[0060] 4. 3)目標(biāo)層生成：對運(yùn)動(dòng)目標(biāo)單獨(dú)壓縮編碼，采用現(xiàn)有算法或?qū)δ繕?biāo)單獨(dú)建立運(yùn) 動(dòng)模型，建模后估計(jì)模型參數(shù)替代算法中的運(yùn)動(dòng)估算模塊；
[0061] 對目標(biāo)層進(jìn)行質(zhì)量可分級的壓縮，目標(biāo)層0為最低質(zhì)量的壓縮圖像，目標(biāo)層1?目 標(biāo)層m-1為對目標(biāo)層0的壓縮殘差的分級細(xì)化壓縮，通過疊加提高目標(biāo)層的質(zhì)量，層級的設(shè) 置和每個(gè)層級的質(zhì)量根據(jù)網(wǎng)絡(luò)帶寬的變化進(jìn)行設(shè)置。通過對獨(dú)立運(yùn)動(dòng)目標(biāo)的區(qū)分，改進(jìn)了 現(xiàn)有技術(shù)中對獨(dú)立運(yùn)動(dòng)目標(biāo)視頻完整性不足的現(xiàn)狀。
[0062]進(jìn)一步的，生成和傳輸結(jié)構(gòu)層次的方式選擇背景層和增強(qiáng)層，或者選擇背景層、目 標(biāo)層和增強(qiáng)層時(shí)；具體包括以下步驟：
[0063] 5. 1)根據(jù)實(shí)際需求設(shè)計(jì)視頻表達(dá)結(jié)構(gòu)，根據(jù)結(jié)構(gòu)組成選擇生成背景層/背景層和 目標(biāo)層；
[0064] 5. 2)增強(qiáng)層生成：利用背景層和/或目標(biāo)層進(jìn)行預(yù)測，或采用本層的幀間或幀內(nèi) 預(yù)測進(jìn)行獨(dú)立編碼；對增強(qiáng)層進(jìn)行質(zhì)量可分級的壓縮：增強(qiáng)層〇為最低質(zhì)量的壓縮圖像，增 強(qiáng)層1?增強(qiáng)層n-1為對增強(qiáng)層0的壓縮殘差的分級細(xì)化壓縮，通過疊加提高增強(qiáng)層的質(zhì) 量；層級的設(shè)置和每個(gè)層級的質(zhì)量可根據(jù)網(wǎng)絡(luò)帶寬的變化進(jìn)行設(shè)置。
[0065] 進(jìn)一步的，分層結(jié)構(gòu)的同一層的每個(gè)子層之間，通過層間預(yù)測減少冗余。
[0066] 進(jìn)一步的，分層結(jié)構(gòu)的不同層之間通過層間預(yù)測減少冗余。
[0067] 有益效果：根據(jù)無人機(jī)視頻的特征和需求，設(shè)計(jì)了一種新型的分層結(jié)構(gòu)的視頻表 達(dá)形式，即通過分層結(jié)構(gòu)表達(dá)對圖像進(jìn)行操作，這種表達(dá)與原始視頻或傳統(tǒng)壓縮碼流相比， 具有更高的壓縮效率、更靈活的組織方式和更便捷的操作接口。一方面，基于圖像拼接和目 標(biāo)分割的視頻壓縮，可以極大的降低壓縮時(shí)間、并保證壓縮質(zhì)量，很大程度上提高了工作效 率；另一方面，通過自適應(yīng)的選擇不同的傳輸結(jié)構(gòu)，可動(dòng)態(tài)的根據(jù)實(shí)際應(yīng)用限制進(jìn)行合理的 傳輸，避免數(shù)據(jù)丟失和擁塞。
【專利附圖】
【附圖說明】
[0068] 圖1為視頻傳輸系統(tǒng)流程圖
[0069] 圖2為視頻自適應(yīng)概念性框架
[0070] 圖3為無人機(jī)視頻自適應(yīng)傳輸系統(tǒng)流程圖
[0071] 圖4為分層結(jié)構(gòu)的視頻表達(dá)示意圖
[0072] 圖5為無人機(jī)仿真截圖
[0073] 圖6為航拍視頻拼接全景圖
[0074] 圖7為仿真視頻的壓縮性能比較
[0075] 圖8為實(shí)際航拍視頻拼接效果圖
[0076] 圖9為實(shí)際航拍視頻的壓縮性能比較
[0077] 圖10為存在獨(dú)立運(yùn)動(dòng)目標(biāo)的航拍圖
[0078] 圖11為背景和運(yùn)動(dòng)目標(biāo)分割效果示意圖
[0079] 圖12基于圖像拼接的背景層生成
[0080] 圖13背景層+目標(biāo)層的視頻表達(dá)結(jié)構(gòu)
[0081] 圖14背景層+目標(biāo)層+增強(qiáng)層的視頻表達(dá)結(jié)構(gòu)
【具體實(shí)施方式】
[0082] 下面結(jié)合附圖對本發(fā)明做更進(jìn)一步的解釋。
[0083]鑒于無人機(jī)的載荷受限、帶寬受限、應(yīng)用復(fù)雜等特點(diǎn)，傳統(tǒng)的視頻處理和壓縮方法 都存在壓縮性能和計(jì)算復(fù)雜度不可兼得的缺點(diǎn)，不能充分的滿足其需求。本發(fā)明欲采用視 頻自適應(yīng)技術(shù)來解決無人機(jī)視頻傳輸所存在的問題，采用分層結(jié)構(gòu)的視頻表達(dá)來描述視頻 的內(nèi)容和特征，并在此基礎(chǔ)上對不同內(nèi)容的視頻區(qū)域采用不同的壓縮方法，從而在滿足無 人機(jī)視頻傳輸?shù)募s束條件和用戶需求的前提下，實(shí)現(xiàn)高效的、快速的、可靠的、靈活的視頻 傳輸。
[0084] 本發(fā)明的技術(shù)方案首先提出一種針對無人機(jī)的視頻自適應(yīng)傳輸系統(tǒng)，該系統(tǒng)的流 程圖如圖3所示，其與傳統(tǒng)的無人機(jī)視頻傳輸系統(tǒng)的區(qū)別主要在于圖中粗線框的四個(gè)模 塊，分別為視頻表達(dá)生成模塊、視頻自適應(yīng)操作模塊、資源約束模塊和用戶滿意度模塊。在 實(shí)際操作中，與傳統(tǒng)無人機(jī)視頻傳輸方法不同的是，不直接對無人機(jī)視頻進(jìn)行的壓縮編碼， 而是利用一種具有更高的靈活性、可伸縮性和易操作性的表達(dá)形式對視頻進(jìn)行描述和刻 畫，這種表達(dá)形式可涵蓋不同質(zhì)量、不同分辨率、不同壓縮比的視頻。傳輸時(shí)，進(jìn)一步根據(jù)傳 輸條件的約束和用戶的需求自適應(yīng)的提取滿足應(yīng)用需求的壓縮視頻。
[0085] 本發(fā)明根據(jù)無人機(jī)視頻的特征和需求，設(shè)計(jì)一種新型的分層結(jié)構(gòu)的視頻表達(dá)形 式，這種表達(dá)與原始視頻或傳統(tǒng)壓縮碼流相比，具有較小的數(shù)據(jù)量、較靈活的組織方式和便 捷的操作接口。該視頻表達(dá)的具體結(jié)構(gòu)如圖4所示，圖中以16幀圖像為一個(gè)圖像組單元為 例，采用分層的形式來描述視頻。其中，背景層為最低層，采用圖像拼接的方式將一個(gè)圖像 組中所有圖像拼接起來成為一幅全景背景圖，再利用圖像編碼的方式進(jìn)行壓縮，背景層亦 可分為壓縮效果不等的k個(gè)子層；背景層之上為目標(biāo)層，該層的每一幀圖像只包含原始視 頻中每一幀圖像的目標(biāo)區(qū)域，該層可采用單獨(dú)的幀間預(yù)測方法來進(jìn)行壓縮，同樣，目標(biāo)層也 可以根據(jù)壓縮效果的不同分為m個(gè)子層；目標(biāo)層之上為增強(qiáng)層，增強(qiáng)層的每一幀圖像對應(yīng) 原始視頻的一幀完整圖像，并按照壓縮效果的差別分為n個(gè)子層。在該分層結(jié)構(gòu)中，從背景 層到目標(biāo)層再到增強(qiáng)層體現(xiàn)的是視頻內(nèi)容的增加，而每個(gè)層中從第〇到第k-1/m-l/n-l個(gè) 子層，對應(yīng)的是質(zhì)量或分辨率的遞增。同一層的每個(gè)子層之間可進(jìn)行層間預(yù)測來減少冗余， 而不同層之間可以進(jìn)行預(yù)測來進(jìn)一步減少冗余，也可以不進(jìn)行預(yù)測來保證獨(dú)立性。
[0086] 在實(shí)際的視頻傳輸應(yīng)用中，可以根據(jù)實(shí)際的帶寬限制，時(shí)延要求等，靈活的選擇生 成和傳輸結(jié)構(gòu)中的部分層次，如：背景層、或目標(biāo)層或背景層+目標(biāo)層、或背景層+增強(qiáng)層、 或背景層+目標(biāo)層+增強(qiáng)層。而其中每一層也可以選擇性的設(shè)置子層數(shù)。
[0087]無人機(jī)拍攝的視頻幀與幀之間往往有較大面積的重疊，并且兩幀之間差異主要體 現(xiàn)為全局運(yùn)動(dòng)，如圖5所。視頻幀率為30幀/秒，圖中的圖像是相鄰的9幀，他們之間的重 疊率達(dá)到90%以上，幀與幀之間存在較為簡單的全局平移運(yùn)動(dòng)。
[0088]若將航拍視頻中的圖像按照重疊區(qū)域匹配拼接，可以得到一幅較大范圍的全景 圖。圖6所示為1秒航拍視頻中30幀圖像拼接之后的全景圖，可見這30幀圖像中相鄰幀 之間有較大的重疊區(qū)域。
[0089]若對拼接后的圖像進(jìn)行壓縮，不僅可以減少壓縮時(shí)間并且可以降低數(shù)據(jù)量。以上 圖的仿真視頻為例，在普通CP上進(jìn)行壓縮，若采用H. 264對30幀采用I-P-P-P形式進(jìn)行壓 縮所需要的時(shí)間為26. 003s，而對30幀圖像進(jìn)行拼接再作為一幅圖像進(jìn)行壓縮所需要的時(shí) 間為2. 466s。圖7給出了兩種方法的壓縮性能比較，可以看出兩種方法壓縮后的視頻質(zhì)量 相差較小，且拼接以后再壓縮可以進(jìn)一步減少壓縮后的數(shù)據(jù)量。
[0090] 以上實(shí)驗(yàn)采用的是仿真視頻，相鄰幀之間主要是全局的平移運(yùn)動(dòng)，可充分說明，對 多幀視頻進(jìn)行拼接再壓縮可以在不影響壓縮質(zhì)量的前提下提高壓縮的時(shí)間和空間效率，非 常適用于計(jì)算和傳輸資源受限的無人機(jī)航拍視頻傳輸應(yīng)用。
[0091] 在實(shí)際的航拍視頻中，由于全局運(yùn)動(dòng)的復(fù)雜性，拼接后的圖像會有一定的質(zhì)量損 失，如圖8、圖9所示。采用該方法可能會一定程度上影響壓縮后的視頻質(zhì)量，但其壓縮的時(shí) 間和空間效率仍占主要優(yōu)勢。其中，采用H. 264進(jìn)行壓縮所需時(shí)間為24. 488s，采用基于拼 接的壓縮方法所需時(shí)間為1.32s，壓縮時(shí)間降低了 90%以上。而壓縮性能主要在低碼率時(shí) 體現(xiàn)優(yōu)勢。
[0092] 在以上實(shí)驗(yàn)中都假設(shè)航拍視頻中不存在獨(dú)立運(yùn)動(dòng)的物體，而在實(shí)際拍攝中也會出 現(xiàn)有獨(dú)立運(yùn)動(dòng)目標(biāo)的情況，如圖10所示，其中黑色車輛為運(yùn)動(dòng)物體，它體現(xiàn)在視頻中的運(yùn) 動(dòng)與全局運(yùn)動(dòng)不一致。
[0093] 對于存在獨(dú)立運(yùn)動(dòng)物體的視頻，采用基于拼接的壓縮方法會丟失運(yùn)動(dòng)物體的信 息，因此，需要將獨(dú)立運(yùn)動(dòng)目標(biāo)提取出來，單獨(dú)進(jìn)行壓縮。如圖11所示，左圖為背景拼接效 果圖，右圖為分割出的獨(dú)立運(yùn)動(dòng)物體。對背景層采用與以上實(shí)驗(yàn)相同的方法進(jìn)行壓縮，對 獨(dú)立的運(yùn)動(dòng)物體采用傳統(tǒng)的幀間預(yù)測進(jìn)行壓縮。所用的壓縮時(shí)間為3. 014s，相比H. 264的 27. 455s仍然降低了 90%以上。壓縮性能比H. 264略差，但在主觀質(zhì)量相當(dāng)?shù)那闆r下，碼率 有所下降。
[0094] 實(shí)施例一：
[0095] 如圖12所示，在無人機(jī)航程遠(yuǎn)，飛行高度高的情況下，傳輸帶寬較窄且延時(shí)較大， 傳統(tǒng)的視頻壓縮標(biāo)準(zhǔn)算法無法提供主觀質(zhì)量可接受的視頻圖像，且因壓縮復(fù)雜度高會進(jìn)一 步增大延時(shí)。此時(shí)，可采用本方案的極端實(shí)例，即只編碼傳輸背景層。該層采用圖像拼接的 方式將一個(gè)圖像組中所有圖像拼接起來成為一幅全景背景圖，再利用靜態(tài)圖像編碼的方式 進(jìn)行壓縮，背景層亦可分為壓縮效果不等的k(k>1)個(gè)子層。
[0096] 具體實(shí)現(xiàn)步驟如下（設(shè)一個(gè)圖像組由N幀組成）：
[0097] 步驟1)基準(zhǔn)圖像選取：基準(zhǔn)圖像為拼接過程中最先處理的圖像，后續(xù)的圖像根據(jù) 映射關(guān)系投影到該圖像的坐標(biāo)系統(tǒng)，即以基準(zhǔn)圖像的坐標(biāo)系作為拼接圖像的坐標(biāo)系?；鶞?zhǔn) 圖像可以取圖像組中的任意一巾貞，一般情況取第一巾貞或最后一巾貞或關(guān)鍵中貞。
[0098] 步驟2)基準(zhǔn)圖像特征點(diǎn)提?。嚎衫矛F(xiàn)有算法如Harris算子、Moravec算子、 Plessey算子、Forstner算子、SUSAN算子、SIFT算法等。
[0099]步驟3)圖像序列拼接：這一步主要對圖像組中其余的N-1幀圖像按照一定的順序 進(jìn)行拼接，拼接操作可分為特征點(diǎn)對應(yīng)、坐標(biāo)映射、圖像合成三個(gè)部分。
[0100] 3. 1)特征點(diǎn)對應(yīng)：在待拼接的圖像中確定與基準(zhǔn)圖像中的特征點(diǎn)一一對應(yīng)的點(diǎn)， 具體方法：可以先采用與步驟一相同方法提取特征點(diǎn)，再利用匹配算法得到對應(yīng)關(guān)系；或 者直接在待拼接圖像中給定范圍搜索與基準(zhǔn)圖像的特征點(diǎn)相似度最高的點(diǎn)。
[0101] 3. 2)坐標(biāo)映射：根據(jù)對應(yīng)的特征點(diǎn)對的位置關(guān)系，計(jì)算待拼接圖像相對基準(zhǔn)圖像 的坐標(biāo)變換，可采用平移模型、仿射模型、雙線性模型或透視投影模型。該步驟所獲得的變 換參數(shù)可以進(jìn)行壓縮、存儲和傳輸。
[0102] 3. 3)圖像合成：根據(jù)上步求得的變換關(guān)系，將待拼接圖像中的每個(gè)像素的位置變 換到基準(zhǔn)圖像坐標(biāo)系，并將其像素值復(fù)制到對應(yīng)位置。若與基準(zhǔn)圖像的像素重疊，則取兩幀 圖像對應(yīng)位置像素的均值或根據(jù)評判標(biāo)準(zhǔn)選取其中一個(gè)值。
[0103] 步驟4)圖像壓縮：對拼接結(jié)果采用現(xiàn)有圖像壓縮算法進(jìn)行質(zhì)量可分級的壓縮，如 圖五所示，背景層0為最低質(zhì)量的壓縮圖像，背景層1?k-1為對背景層0的壓縮殘差的分 級細(xì)化壓縮，可以通過疊加提高背景層的質(zhì)量。層級的設(shè)置和每個(gè)層級的質(zhì)量可依據(jù)網(wǎng)絡(luò) 帶寬的變化進(jìn)行設(shè)置。
[0104] 該實(shí)施例的視頻表達(dá)不僅可以提供拍攝環(huán)境的全景圖，還可以根據(jù)步驟三中提取 的變換參數(shù)從全景圖中還原所攝視頻的原貌。
[0105] 實(shí)施例二：
[0106] 在無人機(jī)飛行高度較低的情況下，所攝視頻中存在清晰的獨(dú)立運(yùn)動(dòng)目標(biāo)，僅采用 圖像拼接的方法進(jìn)行壓縮無法真實(shí)的反應(yīng)視頻中獨(dú)立運(yùn)動(dòng)目標(biāo)的特征，并且可能因?yàn)檫\(yùn)動(dòng) 目標(biāo)的位置變化對背景的遮擋使得拼接圖像中存在不可恢復(fù)的像素?fù)p失。此時(shí)，可以采用 背景層和目標(biāo)層結(jié)合的方案來對視頻內(nèi)容進(jìn)行表達(dá)和壓縮。如圖12所示，將運(yùn)動(dòng)目標(biāo)從背 景中分割出來，只對背景圖像進(jìn)行拼接形成背景層，而運(yùn)動(dòng)目標(biāo)單獨(dú)進(jìn)行表達(dá)和壓縮。
[0107] 具體實(shí)現(xiàn)步驟如下：
[0108] 步驟1)運(yùn)動(dòng)目標(biāo)分割：由于無人機(jī)視頻航拍視頻背景也存在運(yùn)動(dòng)，故需要通過對 整個(gè)運(yùn)動(dòng)場進(jìn)行分析，區(qū)分全局運(yùn)動(dòng)和局部運(yùn)動(dòng)，進(jìn)一步提取獨(dú)立運(yùn)動(dòng)目標(biāo)。并記錄運(yùn)動(dòng) 目標(biāo)在對應(yīng)巾貞中的精確位直。
[0109] 步驟2)背景層生成：將運(yùn)動(dòng)目標(biāo)從圖像中去除，只保留背景信息，并采用實(shí)例一 的方式對背景層進(jìn)行拼接、壓縮，生成具有不同質(zhì)量子層的背景層。
[0110] 步驟3)目標(biāo)層生成：即對運(yùn)動(dòng)目標(biāo)單獨(dú)壓縮編碼。該步驟可以采用標(biāo)準(zhǔn)算法；或 對目標(biāo)單獨(dú)建立運(yùn)動(dòng)模型，并估計(jì)模型參數(shù)，來代替標(biāo)準(zhǔn)算法中的運(yùn)動(dòng)估計(jì)模塊。目標(biāo)層也 可進(jìn)行質(zhì)量可分級的壓縮，如圖6所示，目標(biāo)層0為最低質(zhì)量的壓縮圖像，目標(biāo)層1?m-1 為對目標(biāo)層〇的壓縮殘差的分級細(xì)化壓縮，可以通過疊加提高目標(biāo)層的質(zhì)量。層級的設(shè)置 和每個(gè)層級的質(zhì)量可依據(jù)網(wǎng)絡(luò)帶寬的變化進(jìn)行設(shè)置。
[0111] 基于以上的視頻表達(dá)結(jié)構(gòu)，可以提供拍攝環(huán)境的全景圖；或運(yùn)動(dòng)目標(biāo)在全景圖的 中的運(yùn)動(dòng)軌跡跟蹤圖；或?qū)θ皥D拆分得到背景的視頻序列，再根據(jù)運(yùn)動(dòng)目標(biāo)是對應(yīng)幀中 的位置，還原拍攝視頻的原貌。
[0112] 實(shí)施例三：
[0113] 由于計(jì)算誤差的存在，背景拼接和目標(biāo)跟蹤都可能造成實(shí)際位置信息的偏差，使 得重建的視頻存在不可彌補(bǔ)的失真。而在實(shí)際應(yīng)用中，也存在對精確度要求較高的應(yīng)用。若 在傳輸帶寬或存儲設(shè)備允許的條件下，可以采用更為復(fù)雜的壓縮形式。此時(shí)，可以采用背景 層、目標(biāo)層和增強(qiáng)層結(jié)合的方案來對視頻內(nèi)容進(jìn)行表達(dá)和壓縮。如圖4所示，增強(qiáng)層是直 接對視頻幀進(jìn)行預(yù)測編碼，并可根據(jù)實(shí)際的條件生成不同的質(zhì)量層。此實(shí)施例中，目標(biāo)層為 可選生成，實(shí)際的組合方式可以為背景層+目標(biāo)層+增強(qiáng)層；或背景層+增強(qiáng)層。增強(qiáng)層可 以利用背景層和/或目標(biāo)層的信息進(jìn)行層間預(yù)測，也可只采用本層的幀間或幀內(nèi)預(yù)測進(jìn)行 編碼。
[0114] 具體實(shí)現(xiàn)步驟如下：
[0115] 步驟一：根據(jù)實(shí)際需求設(shè)計(jì)視頻表達(dá)結(jié)構(gòu)，根據(jù)結(jié)構(gòu)組成利用實(shí)施例一或?qū)嵤├?二的方法生成背景層或背景層+目標(biāo)層。
[0116] 步驟二：增強(qiáng)層生成：可以利用背景層和/或目標(biāo)層進(jìn)行預(yù)測，也可只采用本層的 幀間或幀內(nèi)預(yù)測進(jìn)行獨(dú)立編碼。增強(qiáng)層也可進(jìn)行質(zhì)量可分級的壓縮，如圖7所示，增強(qiáng)層0 為最低質(zhì)量的壓縮圖像，增強(qiáng)層1?n-1為對增強(qiáng)層0的壓縮殘差的分級細(xì)化壓縮，可以通 過疊加提高增強(qiáng)層的質(zhì)量。層級的設(shè)置和每個(gè)層級的質(zhì)量可依據(jù)網(wǎng)絡(luò)帶寬的變化進(jìn)行設(shè) 置。
[0117] 基于以上的視頻表達(dá)結(jié)構(gòu)，可以提供拍攝環(huán)境的全景圖；或獨(dú)立目標(biāo)的運(yùn)動(dòng)跟蹤 視頻；或較完整和較商質(zhì)量的視頻序列。
[0118] 以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對于本【技術(shù)領(lǐng)域】的普通技術(shù)人 員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng) 視為本發(fā)明的保護(hù)范圍。
【權(quán)利要求】
1. 一種基于分層表達(dá)的無人機(jī)視頻自適應(yīng)傳輸方法，其特征在于，該方法包括視頻表 達(dá)的分層結(jié)構(gòu)；所述分層結(jié)構(gòu)由下至上依次包括背景層、目標(biāo)層和增強(qiáng)層； 所述背景層為：將一個(gè)包括多幀圖像的圖像組中所有圖像拼接成為一幅全景背景 圖，再利用圖像編碼的方式進(jìn)行壓縮；根據(jù)壓縮效果不等分為k個(gè)子層，由下至上依次為 0, 1，2…k-1 ; 所述目標(biāo)層為：每一幀圖像只包含原始視頻中每一幀圖像的目標(biāo)區(qū)域，采用單獨(dú)的幀 間預(yù)測方法進(jìn)行壓縮；根據(jù)壓縮效果不等分為m個(gè)子層，由下至上依次為0, 1，2…m-1 ; 所述增強(qiáng)層為：每一幀圖像對應(yīng)原始視頻的一幀完整圖像；根據(jù)壓縮效果不等分為n 個(gè)子層，由下至上依次為〇，1，2…n-1; 生成和傳輸結(jié)構(gòu)層次的方式從以下五種組合中選擇其一：背景層；目標(biāo)層；背景層和 目標(biāo)層；背景層和增強(qiáng)層；背景層、目標(biāo)層和增強(qiáng)層。
2. 如權(quán)利要求1所述的一種基于分層表達(dá)的無人機(jī)視頻自適應(yīng)傳輸方法，其特征在 于，包括背景層圖像的拼接和壓縮，具體包括以下步驟： 2. 1)、圖像序列拼接：選擇一幀圖像作為基準(zhǔn)圖像，對圖像組中其余的N-1幀圖像按序 與基準(zhǔn)圖像進(jìn)行拼接，最終得到一幅由N幀圖像組成的全景圖，拼接操作包括特征點(diǎn)對應(yīng)、 坐標(biāo)映射和圖像合成； 2. 1. 1)、特征點(diǎn)對應(yīng)：在待拼接的圖像中確定與基準(zhǔn)圖像中的特征點(diǎn)一一對應(yīng)的點(diǎn)，利 用現(xiàn)有算法提取特征點(diǎn)，再利用匹配算法得到對應(yīng)關(guān)系；或者直接在待拼接圖像中給定范 圍搜索與基準(zhǔn)圖像的特征點(diǎn)相似度最高的點(diǎn)； 2. 1. 2)、坐標(biāo)映射：根據(jù)對應(yīng)的特征點(diǎn)對應(yīng)的位置關(guān)系，利用現(xiàn)有模型計(jì)算待拼接圖像 相對基準(zhǔn)圖像的坐標(biāo)變換；對所得的變換參數(shù)進(jìn)行壓縮、存儲和傳輸； 2. 1. 3)、圖像合成：根據(jù)步驟2. 3. 2)的坐標(biāo)變換關(guān)系，將待拼接圖像中的每個(gè)像素的 位置變換到基準(zhǔn)圖像坐標(biāo)系，并將其像素值復(fù)制到對應(yīng)位置，若與基準(zhǔn)圖像的像素重疊，則 取兩幀圖像對應(yīng)位置像素的均值或選取其中一個(gè)值。 2. 2)、圖像壓縮：對拼接結(jié)果采用現(xiàn)有圖像壓縮算法進(jìn)行質(zhì)量可分級的壓縮，形成k個(gè) 背景層子層；其中，背景層0為最低質(zhì)量的壓縮圖像，背景層1?背景層k-1為對背景層0 的壓縮殘差的分級細(xì)化壓縮；通過多個(gè)背景層子層的疊加提高背景層的質(zhì)量；層級的設(shè)置 和每個(gè)層級的質(zhì)量根據(jù)網(wǎng)絡(luò)帶寬的變化進(jìn)行設(shè)置。
3. 如權(quán)利要求2所述的一種基于分層表達(dá)的無人機(jī)視頻自適應(yīng)傳輸方法，其特征在 于，生成和傳輸結(jié)構(gòu)層次的方式選擇背景層時(shí)，一個(gè)圖像為N幀，具體包括以下步驟： 3. 1)、基準(zhǔn)圖像選取：取圖像組中的任意一幀，以基準(zhǔn)圖像的坐標(biāo)系作為拼接圖像的坐 標(biāo)系； 3. 2)、基準(zhǔn)圖像特征點(diǎn)提取：利用現(xiàn)有算法提取特征點(diǎn)； 3. 3)、圖像序列拼接：進(jìn)行步驟2. 1); 3. 4)、圖像壓縮：進(jìn)行步驟2. 2)。
4. 如權(quán)利要求2所述的一種基于分層表達(dá)的無人機(jī)視頻自適應(yīng)傳輸方法，其特征在 于，當(dāng)無人機(jī)所拍攝視屏中存在清晰的獨(dú)立運(yùn)動(dòng)目標(biāo)時(shí)，生成和傳輸結(jié)構(gòu)層次的方式選擇 背景層和目標(biāo)層；具體包括以下步驟： 4. 1)運(yùn)動(dòng)目標(biāo)分割：通過對整個(gè)拍攝畫面進(jìn)行分析，區(qū)分全局運(yùn)動(dòng)和局部運(yùn)動(dòng)，進(jìn)一 步提取獨(dú)立運(yùn)動(dòng)目標(biāo)，并記錄運(yùn)動(dòng)目標(biāo)在對應(yīng)幀中的精確位置； 4.2) 背景層生成：將運(yùn)動(dòng)目標(biāo)從圖像中去除，只保留背景信息，進(jìn)行步驟2. 1)和步驟 2. 2)完成背景層的拼接和壓縮，生成具有不同質(zhì)量子層的背景層。 4.3) 目標(biāo)層生成：對運(yùn)動(dòng)目標(biāo)單獨(dú)壓縮編碼，采用現(xiàn)有算法或?qū)δ繕?biāo)單獨(dú)建立運(yùn)動(dòng)模 型，建模后估計(jì)模型參數(shù)替代算法中的運(yùn)動(dòng)估算模塊； 對目標(biāo)層進(jìn)行質(zhì)量可分級的壓縮，目標(biāo)層〇為最低質(zhì)量的壓縮圖像，目標(biāo)層1?目標(biāo)層 m-1為對目標(biāo)層0的壓縮殘差的分級細(xì)化壓縮，通過疊加提高目標(biāo)層的質(zhì)量，層級的設(shè)置和 每個(gè)層級的質(zhì)量根據(jù)網(wǎng)絡(luò)帶寬的變化進(jìn)行設(shè)置。
5.如權(quán)利要求4所述的一種基于分層表達(dá)的無人機(jī)視頻自適應(yīng)傳輸方法，其特征在 于，生成和傳輸結(jié)構(gòu)層次的方式選擇背景層和增強(qiáng)層，或者選擇背景層、目標(biāo)層和增強(qiáng)層 時(shí)；具體包括以下步驟： 5. 1)根據(jù)實(shí)際需求設(shè)計(jì)視頻表達(dá)結(jié)構(gòu)，根據(jù)結(jié)構(gòu)組成選擇生成背景層/背景層和目標(biāo) 層； 5. 2)增強(qiáng)層生成：利用背景層和/或目標(biāo)層進(jìn)行預(yù)測，或采用本層的幀間或幀內(nèi)預(yù)測 進(jìn)行獨(dú)立編碼；對增強(qiáng)層進(jìn)行質(zhì)量可分級的壓縮：增強(qiáng)層0為最低質(zhì)量的壓縮圖像，增強(qiáng)層 1?增強(qiáng)層n-1為對增強(qiáng)層0的壓縮殘差的分級細(xì)化壓縮，通過疊加提高增強(qiáng)層的質(zhì)量；層 級的設(shè)置和每個(gè)層級的質(zhì)量可根據(jù)網(wǎng)絡(luò)帶寬的變化進(jìn)行設(shè)置。
6. 如權(quán)利要求1所述的一種基于分層表達(dá)的無人機(jī)視頻自適應(yīng)傳輸方法，其特征在 于，所述分層結(jié)構(gòu)的同一層的每個(gè)子層之間，通過層間預(yù)測減少冗余。
7. 如權(quán)利要求2所述的一種基于分層表達(dá)的無人機(jī)視頻自適應(yīng)傳輸方法，其特征在 于，所述分層結(jié)構(gòu)的不同層之間通過層間預(yù)測減少冗余。
【文檔編號】H04N7/18GK104349142SQ201410608007
【公開日】2015年2月11日 申請日期:2014年11月3日 優(yōu)先權(quán)日:2014年11月3日
【發(fā)明者】沈秋, 孔繁鏘, 李小凡, 代俁西 申請人:南京航空航天大學(xué)