專利名稱：混合無(wú)線環(huán)境下視頻傳輸?shù)哪芰靠刂葡到y(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種視頻傳輸控制技術(shù)領(lǐng)域的系統(tǒng)，具體是一種混合無(wú)線環(huán)境下視頻傳輸?shù)哪芰靠刂葡到y(tǒng)。

背景技術(shù)：
傳統(tǒng)的無(wú)線環(huán)境，是指發(fā)送端和接收端之間通過(guò)空間介質(zhì)傳播，屬于自由空間下的傳播模式；混合無(wú)線環(huán)境的傳播特征是指，信號(hào)的傳播不完全是在自由空間中傳播，而是人體信道和自由空間相結(jié)合的傳播模式。電磁波在人體周圍有兩條傳播路徑，一條是以人體為信道傳播，另一條是在自由空間中傳播。在這種混合無(wú)線環(huán)境下，由于人體的運(yùn)動(dòng)，會(huì)導(dǎo)致發(fā)送端和接收端節(jié)點(diǎn)之間的距離發(fā)生變化，傳輸路徑也會(huì)在自由空間和人體信道之間變化，使得信道的質(zhì)量產(chǎn)生一系列的變化。比如由于人體運(yùn)動(dòng)，節(jié)點(diǎn)之間的距離非常近，就依靠自由空間傳輸；如果節(jié)點(diǎn)在自由空間的距離很遠(yuǎn)，就會(huì)借用人體信道傳輸。在這種新型的混合無(wú)線環(huán)境下，信道會(huì)發(fā)生巨大的變化，傳統(tǒng)的自由空間環(huán)境下進(jìn)行的視頻傳輸模型便不再適用。這種混合無(wú)線環(huán)境的典型應(yīng)用就是無(wú)線人體區(qū)域網(wǎng)絡(luò)。
傳統(tǒng)的醫(yī)療監(jiān)控，是使用有線的傳感器，把重要的生理數(shù)據(jù)和視頻信息傳遞到醫(yī)療中心，達(dá)到監(jiān)控的效果。但是這種醫(yī)療監(jiān)控系統(tǒng)限制了被監(jiān)控對(duì)象的可移動(dòng)性，對(duì)于那些需要長(zhǎng)期進(jìn)行醫(yī)療保健的對(duì)象而言，也影響了人們的正常生活。在現(xiàn)代醫(yī)療保健領(lǐng)域，利用醫(yī)療傳感器進(jìn)行持續(xù)、遠(yuǎn)程的醫(yī)療監(jiān)控，而又能保證監(jiān)控對(duì)象的正常移動(dòng)成為了一項(xiàng)重大需求。無(wú)線人體區(qū)域網(wǎng)絡(luò)(Wireless BodyArea Network，WBAN)致力于解決這種需求。無(wú)線人體區(qū)域網(wǎng)絡(luò)是指，醫(yī)療傳感器節(jié)點(diǎn)被佩帶或植入在人體上，并通過(guò)無(wú)線方式發(fā)送采集到的數(shù)據(jù)信息。這些傳感器節(jié)點(diǎn)大多由電池驅(qū)動(dòng)，能量有限，并且在發(fā)射數(shù)據(jù)時(shí)不能對(duì)人體產(chǎn)生危害，限制了射頻的最大發(fā)射功率；而視頻信息的信息量龐大，對(duì)時(shí)延、丟包等現(xiàn)象敏感，會(huì)消耗大量的能量。所以在無(wú)線人體區(qū)域網(wǎng)絡(luò)的研究中，對(duì)視頻傳輸?shù)哪芰靠刂七M(jìn)行研究，是一個(gè)重要方面。
H.264視頻壓縮編解碼技術(shù)憑借其高效的編碼效率以及良好的網(wǎng)絡(luò)傳輸適應(yīng)性，逐漸成為了視頻通信中視頻壓縮的主流標(biāo)準(zhǔn)。為了適應(yīng)無(wú)線信道的時(shí)變和衰落特性，H.264視頻壓縮標(biāo)準(zhǔn)提出了一些新的容錯(cuò)技術(shù)，如參數(shù)集、靈活宏塊順序(Flexible Macroblock Ordering，F(xiàn)MO)等。H.264視頻編解碼技術(shù)中的數(shù)據(jù)分割，是指在對(duì)一個(gè)編碼片(slice)進(jìn)行編碼時(shí)，生成多種視頻流數(shù)據(jù)，這些視頻流數(shù)據(jù)被分配到不同的分組中，分別處理。視頻流數(shù)據(jù)按語(yǔ)法元素區(qū)分，分為A、B、C三個(gè)類型分區(qū)，在重建視頻時(shí)的重要性依次降低。并且在接收端，對(duì)于同一個(gè)編碼片，必須有A類信息的接收，否則B、C類的信息不能使用。所以怎樣對(duì)這些不同重要性的視頻流數(shù)據(jù)進(jìn)行保護(hù)和傳輸，成為了視頻傳輸中節(jié)約能量的一個(gè)重要研究方向。
經(jīng)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，關(guān)于對(duì)H.264視頻碼流的無(wú)線傳輸，降低能量的主要方法是從信源信道聯(lián)合編碼角度，對(duì)不同的視頻碼流采用不同的保護(hù)策略，Qian Zhang等在Circuits and Systems，2001.ISCAS(2001年“電路與系統(tǒng)國(guó)際討論會(huì)”)發(fā)表了“A Power-Optimized Joint Source Channel Coding forScalable Video Streaming over Wireless Channel”(“一種可分級(jí)視頻流在無(wú)線信道中的功率最優(yōu)聯(lián)合信源信道編碼”)，該文中提到對(duì)不同重要性的碼流進(jìn)行不等差錯(cuò)的信道冗余信息的增加，和采用不同的重傳機(jī)制等。但是沒(méi)有考慮到在發(fā)射碼流時(shí)，不同重要性的碼流可以采用不同的發(fā)射功率和發(fā)射時(shí)間等特點(diǎn)，來(lái)進(jìn)一步降低能量消耗。
經(jīng)檢索還發(fā)現(xiàn)，F(xiàn)an Zhang等在Real-Time Systems Symposium，2003.RTSS(2003年“實(shí)時(shí)系統(tǒng)討論會(huì)”)發(fā)表的“Throughput and Value Maximization inWireless Packet Scheduling under Energy and Time Constraints”(“無(wú)線分組調(diào)度下基于能量和時(shí)延限制的吞吐量和值的最大化”)中提出在多用戶情況下，對(duì)不同用戶分配不同的發(fā)射功率和發(fā)射時(shí)間來(lái)達(dá)到能量和時(shí)延的限制。但是這種機(jī)制是建立在不同用戶之間的數(shù)據(jù)完全獨(dú)立的條件下的，沒(méi)有考慮到同一節(jié)點(diǎn)發(fā)送的碼流之間具有很強(qiáng)的相關(guān)性這一特點(diǎn)。同樣，上述的文獻(xiàn)也沒(méi)有考慮混合無(wú)線環(huán)境下，無(wú)線信道會(huì)發(fā)生一系列巨大變化的特點(diǎn)。


發(fā)明內(nèi)容
本發(fā)明為了克服上述現(xiàn)有技術(shù)中的不足，提出了一種混合無(wú)線環(huán)境下視頻傳輸?shù)哪芰靠刂葡到y(tǒng)，是在混合無(wú)線環(huán)境下，基于H.264視頻壓縮編碼標(biāo)準(zhǔn)，根據(jù)信道反饋情況，調(diào)整信源編碼端的編碼參數(shù)，同時(shí)調(diào)整物理層發(fā)射時(shí)的發(fā)射功率和發(fā)射時(shí)間，進(jìn)而達(dá)到能量消耗最小化的目的。
本發(fā)明是通過(guò)如下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明包括發(fā)射端和接收端，接收端接收視頻流數(shù)據(jù)，根據(jù)接收到的視頻流數(shù)據(jù)生成信道反饋信息，并將信道反饋信息發(fā)回發(fā)送端，信道反饋信息包括當(dāng)前信道的平均丟包率和特定數(shù)據(jù)包是否丟失；發(fā)送端根據(jù)信道反饋信息調(diào)整發(fā)送參數(shù)，在新的發(fā)送參數(shù)限制下將視頻流數(shù)據(jù)發(fā)送給接收端； 其中，發(fā)送端包括信源編碼器、信道編碼器、調(diào)制器、功率放大器和信道反饋及控制單元，其中 信源編碼器將原始的視頻數(shù)據(jù)，按照當(dāng)前編碼方式，編碼出不同優(yōu)先級(jí)的視頻流數(shù)據(jù)，按打包順序和當(dāng)前打包方式進(jìn)行打包，得到適于傳輸?shù)囊曨l數(shù)據(jù)包； 信道編碼器負(fù)責(zé)對(duì)要傳輸?shù)囊曨l數(shù)據(jù)包增加用于糾錯(cuò)的信道冗余信息，使得在出現(xiàn)信道誤碼情況下，接收端進(jìn)行檢錯(cuò)和糾錯(cuò)，并把已編碼好的數(shù)據(jù)流發(fā)送給調(diào)制器； 調(diào)制器把信道編碼器編好的數(shù)據(jù)流，進(jìn)行符號(hào)影射，以便于在物理信道上發(fā)射； 功率放大器根據(jù)當(dāng)前發(fā)射功率和發(fā)射時(shí)間分配方式，將接收到的已映射符號(hào)按照特定的發(fā)射功率和發(fā)射時(shí)間，發(fā)射到物理信道上去； 信道反饋及控制單元接收接收端發(fā)回的信道反饋信息，通過(guò)信道反饋信息獲得編碼方式、打包順序、打包方式、發(fā)射功率和發(fā)射時(shí)間分配方式，其中編碼方式、打包順序通過(guò)信道反饋的平均丟包率得到，打包方式以及功率放大器的發(fā)射功率和發(fā)射時(shí)間分配方式通過(guò)平均丟包率和特定數(shù)據(jù)包是否丟失綜合得到，信道反饋及控制單元將獲得的編碼方式、打包順序、打包方式直接傳送給信源編碼器，將發(fā)射功率和發(fā)射時(shí)間分配方式作為指示信息，通過(guò)信源編碼器傳送給功率放大器。
所述接收端，其根據(jù)接收到的視頻流數(shù)據(jù)，統(tǒng)計(jì)出信道反饋信息，接收端根據(jù)實(shí)時(shí)傳輸協(xié)議的序列信息來(lái)統(tǒng)計(jì)當(dāng)前信道的平均丟包率，當(dāng)前信道的平均丟包率反映當(dāng)前的信道質(zhì)量；接收端通過(guò)檢測(cè)網(wǎng)絡(luò)打包中的網(wǎng)絡(luò)數(shù)據(jù)類型來(lái)檢測(cè)當(dāng)前編碼片的最高優(yōu)先級(jí)的數(shù)據(jù)包是否正確接收，最高優(yōu)先級(jí)的數(shù)據(jù)包即是特定數(shù)據(jù)包，特定的數(shù)據(jù)包是否正確接收反映特定數(shù)據(jù)包是否丟失。
所述信源編碼器，包括視頻編碼器和網(wǎng)絡(luò)打包器，其中 視頻編碼器按照編碼方式對(duì)原始的視頻數(shù)據(jù)進(jìn)行編碼壓縮，獲得信息冗余度低的視頻流數(shù)據(jù)，并按打包順序送往網(wǎng)絡(luò)打包器； 網(wǎng)絡(luò)打包器把視頻編碼器壓縮好的視頻流數(shù)據(jù)，按照打包方式進(jìn)行打包操作，獲得一個(gè)個(gè)的視頻數(shù)據(jù)包，有利于特定的網(wǎng)絡(luò)架構(gòu)傳輸，每次打包操作后按照打包的先后傳送給信道編碼器。
所述視頻編碼器，還包括數(shù)據(jù)分割可選模塊，在信道質(zhì)量不好的情況下，數(shù)據(jù)分割可選模塊對(duì)壓縮的視頻流數(shù)據(jù)進(jìn)行數(shù)據(jù)分割，有利于提高傳輸?shù)挠行院徒档湍芰肯摹?br> 所述視頻編碼器，其輸出的視頻流數(shù)據(jù)在送往網(wǎng)絡(luò)打包器時(shí)，不是固定地對(duì)同一編碼片的所有視頻流數(shù)據(jù)進(jìn)行統(tǒng)一傳送，而是根據(jù)視頻編碼器的輸出類型按照打包順序傳送。
所述信道反饋及控制單元，根據(jù)信道的平均丟包率得到編碼方式，并傳輸給信源編碼器，具體是指 當(dāng)信道的平均丟包率小于閾值一時(shí)，表明信道質(zhì)量良好，不使能信源編碼器中的數(shù)據(jù)分割可選模塊，對(duì)原始視頻流的一個(gè)編碼片，統(tǒng)一編碼，編碼出的視頻流數(shù)據(jù)具有相同的優(yōu)先級(jí)，都為最高優(yōu)先級(jí)，對(duì)這些視頻流數(shù)據(jù)按打包順序送往網(wǎng)絡(luò)打包器進(jìn)行打包； 當(dāng)信道的平均丟包率超過(guò)閾值一但小于閾值二時(shí)，表明信道質(zhì)量一般，使能信源編碼器中的數(shù)據(jù)分割可選模塊，對(duì)原始視頻流的一個(gè)編碼片，進(jìn)行數(shù)據(jù)分割，同一個(gè)編碼片的視頻流數(shù)據(jù)按照H.264編解碼標(biāo)準(zhǔn)的語(yǔ)法元素進(jìn)行分類，獲得三種視頻碼流類型，即碼流類型一、碼流類型二、碼流類型三，三種碼流類型在所述接收端重建視頻時(shí)，重要性依次降低，優(yōu)先級(jí)也依次降低，碼流類型一具有最高優(yōu)先級(jí)，如果碼流類型一數(shù)據(jù)包丟失，碼流類型二和碼流類型三的數(shù)據(jù)無(wú)法單獨(dú)進(jìn)行視頻重建，必須丟棄；碼流類型二或碼流類型三的數(shù)據(jù)丟失，碼流類型一獲得的數(shù)據(jù)對(duì)視頻重建仍有重要的作用，同一編碼片的三種碼流按照打包順序送往網(wǎng)絡(luò)打包器； 當(dāng)信道的平均丟包率超過(guò)閾值二時(shí)，表明信道質(zhì)量較差，使能數(shù)據(jù)分割可選模塊，對(duì)原始視頻流的一個(gè)編碼片，進(jìn)行數(shù)據(jù)分割，但只保留碼流類型一和選擇性的保留碼流類型二到傳送緩存中，丟棄碼流類型三，同一編碼片的兩種碼流按照打包順序送往網(wǎng)絡(luò)打包器。
所述閾值一和閾值二由重建視頻時(shí)所需的質(zhì)量要求決定。
所述信道反饋及控制單元，其生成視頻編碼器將信息冗余度低的視頻流數(shù)據(jù)送往網(wǎng)絡(luò)打包器的打包順序，打包順序具體如下 如果一個(gè)編碼片的視頻流數(shù)據(jù)都具有最高優(yōu)先級(jí)，直接送往網(wǎng)絡(luò)打包器； 如果一個(gè)編碼片的視頻流數(shù)據(jù)除最高優(yōu)先級(jí)外還有其他優(yōu)先級(jí)，則先傳送前一編碼片的非最高優(yōu)先級(jí)的視頻流數(shù)據(jù)，再傳送當(dāng)前編碼片的最高優(yōu)先級(jí)的視頻流數(shù)據(jù)，當(dāng)前編碼片中非最高優(yōu)先級(jí)的視頻流數(shù)據(jù)于下一次傳送。
所述信道反饋及控制單元，其生成網(wǎng)絡(luò)打包器對(duì)傳輸?shù)狡渲械囊曨l流數(shù)據(jù)進(jìn)行打包的打包方式，打包方式具體如下 若沒(méi)有使能信源編碼器中的數(shù)據(jù)分割可選模塊時(shí)，所有的視頻流數(shù)據(jù)都是最高優(yōu)先級(jí)，不考慮此編碼片的特定數(shù)據(jù)包是否丟失，對(duì)所有視頻流數(shù)據(jù)都進(jìn)行打包； 若使能了信源編碼器中的數(shù)據(jù)分割可選模塊，打包方式具體為 當(dāng)信道反饋信息中的特定數(shù)據(jù)包丟失時(shí)，表明當(dāng)前編碼片中最高優(yōu)先級(jí)視頻流數(shù)據(jù)已經(jīng)丟失，所以對(duì)同一編碼片中的非最高優(yōu)先級(jí)視頻流數(shù)據(jù)不進(jìn)行打包； 當(dāng)信道反饋信息中的特定數(shù)據(jù)包沒(méi)有丟失時(shí)，表明當(dāng)前編碼片中的最高優(yōu)先級(jí)視頻流數(shù)據(jù)已經(jīng)正確接收，對(duì)同一編碼片中的非最高優(yōu)先級(jí)視頻流數(shù)據(jù)進(jìn)行打包，如果當(dāng)前打包操作中不包含非最高優(yōu)先級(jí)視頻流數(shù)據(jù)，信道反饋及控制單元不進(jìn)行此操作。
所述信道反饋及控制單元，其根據(jù)功率最小化方法計(jì)算功率放大器的發(fā)射功率和發(fā)射時(shí)間分配方式，發(fā)射功率和發(fā)射時(shí)間分配方式具體如下 當(dāng)信源編碼器輸出的視頻流數(shù)據(jù)具有不同優(yōu)先級(jí)時(shí)，采用最優(yōu)化方法調(diào)整當(dāng)前時(shí)隙下功率放大器對(duì)每種視頻流數(shù)據(jù)發(fā)射時(shí)所需的發(fā)射功率和發(fā)射時(shí)間，以達(dá)到功率最小化； 當(dāng)信源編碼器輸出的視頻流數(shù)據(jù)只有一種優(yōu)先級(jí)時(shí)，所有的視頻流數(shù)據(jù)都具有最高優(yōu)先級(jí)，有兩種情況產(chǎn)生這種結(jié)果一種是由于信道質(zhì)量好，沒(méi)有使能數(shù)據(jù)分割；另一種是使能了數(shù)據(jù)分割，但是由于特定數(shù)據(jù)包的丟失，不再發(fā)送同一編碼片的非最高優(yōu)先級(jí)視頻流數(shù)據(jù)，只發(fā)送下一編碼片的最高優(yōu)先級(jí)視頻流數(shù)據(jù)。由于本發(fā)明的首要目的是降低能量消耗，適當(dāng)?shù)奶岣咂骄鶃G包率是可行的，在第一種情況下，通過(guò)降低最小發(fā)射功率的限制，使平均的發(fā)射功率降低。在第二種情況下，特定數(shù)據(jù)包丟失，接下來(lái)發(fā)射的數(shù)據(jù)相對(duì)重要性就提高，所以不應(yīng)降低最小發(fā)射功率的限制。
所述的信道編碼器和調(diào)制器，采用無(wú)線信道中常用的信道編碼方法和調(diào)制模式。
所述功率放大器，根據(jù)當(dāng)前的發(fā)射功率和發(fā)射時(shí)間分配方式來(lái)發(fā)射，發(fā)射功率和發(fā)射時(shí)間分配方式是在信道反饋及控制單元中依據(jù)功率最小化算法計(jì)算得到，同時(shí)通過(guò)信源編碼器傳送指示信息到功率放大器來(lái)實(shí)現(xiàn)的。
與現(xiàn)有技術(shù)相比，本發(fā)明具有如下效果本發(fā)明在保證時(shí)延和重建視頻質(zhì)量的情況下，可以使混合無(wú)線環(huán)境下視頻傳輸中的能量消耗降低20％以上，按照本發(fā)明進(jìn)行設(shè)計(jì)，無(wú)線人體區(qū)域網(wǎng)絡(luò)中節(jié)點(diǎn)的使用壽命就可以延長(zhǎng)20％以上。



圖1為本發(fā)明模塊結(jié)構(gòu)圖； 圖2為信源編碼器的結(jié)構(gòu)圖； 圖3為本發(fā)明實(shí)例示意圖； 其中，圖(a)為打包順序說(shuō)明圖，圖(b)為傳輸協(xié)議的封裝圖。

具體實(shí)施例方式 下面結(jié)合附圖對(duì)本發(fā)明的實(shí)施例作詳細(xì)說(shuō)明本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過(guò)程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。
如圖1所示，本實(shí)施例包括發(fā)射端和接收端， 接收端接收視頻流數(shù)據(jù)，根據(jù)接收到的視頻流數(shù)據(jù)生成信道反饋信息，并將信道反饋信息發(fā)回發(fā)送端，信道反饋信息包括當(dāng)前信道的平均丟包率和特定數(shù)據(jù)包是否丟失； 發(fā)送端根據(jù)信道反饋信息調(diào)整發(fā)送參數(shù)，在新的發(fā)送參數(shù)限制下將視頻流數(shù)據(jù)發(fā)送給接收端； 其中，發(fā)送端包括信源編碼器、信道編碼器、調(diào)制器、功率放大器和信道反饋及控制單元，其中 信源編碼器負(fù)責(zé)將原始的視頻數(shù)據(jù)，按照當(dāng)前編碼方式，編碼出不同優(yōu)先級(jí)的視頻流數(shù)據(jù)，按打包順序和當(dāng)前打包方式進(jìn)行打包，得到適于傳輸?shù)囊曨l數(shù)據(jù)包； 信道編碼器負(fù)責(zé)對(duì)要傳輸?shù)囊曨l數(shù)據(jù)包增加用于糾錯(cuò)的信道冗余信息，使得在出現(xiàn)信道誤碼情況下，接收端進(jìn)行檢錯(cuò)和糾錯(cuò)，并把已編碼好的數(shù)據(jù)流發(fā)送給調(diào)制器； 調(diào)制器把信道編碼器編好的數(shù)據(jù)流，進(jìn)行符號(hào)影射； 功率放大器根據(jù)當(dāng)前發(fā)射功率和發(fā)射時(shí)間分配方式，將接收到的已映射符號(hào)按照特定的發(fā)射功率和發(fā)射時(shí)間，發(fā)射到物理信道上去； 信道反饋及控制單元接收接收端發(fā)回的信道反饋信息，通過(guò)信道反饋信息獲得編碼方式、打包順序、打包方式、發(fā)射功率和發(fā)射時(shí)間分配方式，其中編碼方式、打包順序通過(guò)信道反饋的平均丟包率得到，打包方式以及功率放大器的發(fā)射功率和發(fā)射時(shí)間分配方式通過(guò)平均丟包率和特定數(shù)據(jù)包是否丟失綜合得到，信道反饋及控制單元將獲得的編碼方式、打包順序、打包方式直接傳送給信源編碼器，將發(fā)射功率和發(fā)射時(shí)間分配方式作為指示信息，通過(guò)信源編碼器傳送給功率放大器。
所述信源編碼器，采用先進(jìn)的H.264視頻編碼算法進(jìn)行視頻壓縮，H.264視頻編碼算法分為兩層，分別是視頻編碼層(VCL)和網(wǎng)絡(luò)提取層(NAL)，視頻編碼層主要規(guī)定如何有效地對(duì)原始的視頻數(shù)據(jù)進(jìn)行壓縮，即對(duì)視頻信息進(jìn)行編碼，去除冗余信息；網(wǎng)絡(luò)提取層主要負(fù)責(zé)為編碼后的視頻流數(shù)據(jù)進(jìn)行打包并提供頭信息，以適應(yīng)網(wǎng)絡(luò)傳輸或者媒體存儲(chǔ)的需要。本實(shí)施例中，這兩層分別處于視頻編碼器和網(wǎng)絡(luò)打包器中，如圖2所示。
如圖2所述，所述視頻編碼器包括數(shù)據(jù)分割可選模塊，根據(jù)是否使能這個(gè)模塊，編碼的輸出可以是同優(yōu)先級(jí)的碼流，也可以是不同優(yōu)先級(jí)的碼流，以適應(yīng)于多變的信道環(huán)境。
所述數(shù)據(jù)分割可選模塊，其對(duì)一個(gè)編碼片的視頻流數(shù)據(jù)，進(jìn)行語(yǔ)法元素的分割。封裝幀頭信息，包括宏塊類型、量化參數(shù)和運(yùn)動(dòng)矢量的為A型數(shù)據(jù)分區(qū)；封裝幀內(nèi)編碼信息，包括幀內(nèi)編碼模式和幀內(nèi)系數(shù)等為B型數(shù)據(jù)分區(qū)；封裝幀間編碼信息，包括幀間編碼模式和幀間系數(shù)等為C型數(shù)據(jù)分區(qū)。顯然對(duì)于重建視頻而言，A、B、C三類數(shù)據(jù)分區(qū)重要性依次降低，也可以稱他們的優(yōu)先級(jí)依次降低。
所述數(shù)據(jù)分割可選模塊，其在平均丟包率較高情況下，由于傳輸?shù)膬?nèi)容重要性不等同，優(yōu)先保證優(yōu)先級(jí)高的數(shù)據(jù)分區(qū)，有利于提高視頻通信質(zhì)量，換句話說(shuō)，在同等通信質(zhì)量保證下，也將有利于降低能量消耗。但由于獨(dú)立打包會(huì)增加一些打包信息，在平均丟包率低的條件下，不進(jìn)行數(shù)據(jù)分割，可以降低打包的開(kāi)銷。
所述視頻編碼器，其依據(jù)編碼方式進(jìn)行編碼操作，具體為 在信道反饋的平均丟包率小于S1時(shí)，認(rèn)為信道質(zhì)量比較好，不需要進(jìn)行數(shù)據(jù)分割，所以不使能數(shù)據(jù)分割可選模塊，對(duì)同一編碼片而言，編碼器的輸出是同一種優(yōu)先級(jí)的視頻流數(shù)據(jù)； 在信道反饋的平均丟包率大于S1而小于S2時(shí)，信道質(zhì)量一般，為了達(dá)到能量最小化，需要使能數(shù)據(jù)分割可選模塊，對(duì)同一編碼片而言，得到A、B、C三種不同優(yōu)先級(jí)的視頻流數(shù)據(jù)，在傳輸?shù)臅r(shí)候區(qū)別對(duì)待。當(dāng)信道反饋的平均丟包率大于S2時(shí)，認(rèn)為信道質(zhì)量比較差，但為了建立基本的視頻傳輸，同時(shí)又不能消耗太大的能量，仍然需要使能數(shù)據(jù)分割可選模塊。此時(shí)，對(duì)視頻重建不重要的C類數(shù)據(jù)分區(qū)應(yīng)該丟棄，同時(shí)可選擇性地丟棄部分B類數(shù)據(jù)分區(qū)。
本實(shí)施例中的S1、S2和S3選擇分別為0.5％、2％和5％。
所述視頻編碼器，對(duì)于其輸出的視頻流數(shù)據(jù)，首先放在編碼器緩沖中，按打包順序送給網(wǎng)絡(luò)打包器，視頻編碼器的輸出，有可能含A、B、C三種數(shù)據(jù)類型分區(qū)，按優(yōu)先級(jí)1、2、3來(lái)標(biāo)識(shí)，1最高，3最低。對(duì)于每一個(gè)編碼片的輸出，數(shù)據(jù)碼流的優(yōu)先級(jí)有1、2、3或1、2或全為1三種情況。H.264標(biāo)準(zhǔn)規(guī)定，對(duì)于同一編碼片的輸出，如果有數(shù)據(jù)分割，必須先傳輸A然后再B，接著C。但是并沒(méi)有規(guī)定A、B、C三類數(shù)據(jù)分區(qū)是否同時(shí)傳輸。
本實(shí)例的打包順序如圖3(a)所示，1、2、3為所述的優(yōu)先級(jí)，虛線之內(nèi)的為同一編碼片的輸出，但是視頻編碼器送往網(wǎng)絡(luò)打包器的順序是按照實(shí)線方格的順序來(lái)傳送的，并不是同一編碼片的所有視頻流數(shù)據(jù)同時(shí)傳送。同時(shí)，如果視頻編碼器的輸出視頻流數(shù)據(jù)優(yōu)先級(jí)全為1，則可以同時(shí)傳輸。
所述網(wǎng)絡(luò)打包器，對(duì)進(jìn)入其中的視頻流數(shù)據(jù)，并不是都進(jìn)行打包操作，具體依據(jù)的打包方式為具有優(yōu)先級(jí)為1的視頻流數(shù)據(jù)，都進(jìn)行打包操作，優(yōu)先級(jí)為2或3的視頻流數(shù)據(jù)，由信道反饋信息來(lái)決定。當(dāng)前編碼片的優(yōu)先級(jí)為1的數(shù)據(jù)包丟失時(shí)，則不對(duì)此編碼片的優(yōu)先級(jí)2和3的視頻流數(shù)據(jù)打包，否則，對(duì)網(wǎng)絡(luò)打包器中的所有視頻流數(shù)據(jù)都進(jìn)行打包。
所述網(wǎng)絡(luò)打包器，其打包操作按照RTP/UDP/IP的協(xié)議形式進(jìn)行打包。視頻編碼器輸出視頻流數(shù)據(jù)，按照包的形式封裝到每個(gè)NALU(網(wǎng)絡(luò)提取層單元)中，比如一個(gè)NALU中可以裝載一個(gè)編碼片，一個(gè)A/B/C的數(shù)據(jù)分割等。通過(guò)NALU的頭信息nal_unit_type指示負(fù)載數(shù)據(jù)的類型。如圖3(b)所示，NALU單元在面向包傳送的應(yīng)用中，編碼的圖像數(shù)據(jù)被封裝到傳輸協(xié)議中，本實(shí)施例使用RTP包(實(shí)時(shí)傳輸協(xié)議)，有利用進(jìn)行視頻的實(shí)時(shí)傳輸。每一個(gè)RTP數(shù)據(jù)報(bào)文都是由數(shù)據(jù)頭和有效載荷兩個(gè)部分組成。RTP數(shù)據(jù)報(bào)文再封裝成UDP報(bào)文，最后封裝成IP數(shù)據(jù)包在網(wǎng)絡(luò)中傳輸。
視頻數(shù)據(jù)包傳輸進(jìn)入信道編碼器，采用前向糾錯(cuò)技術(shù)(FEC)，對(duì)視頻數(shù)據(jù)流進(jìn)行異或操作，產(chǎn)生校驗(yàn)包，防止信道中產(chǎn)生的誤碼。雖然增加冗余信息會(huì)降低帶寬的利用率，但是在給定誤比特率下所需的接收功率降低，提高了功率效率。這是一般通信系統(tǒng)都使用的方法。
信道編碼模塊之后的信號(hào)源，需要進(jìn)行調(diào)制得到適合傳輸?shù)男问?。這里使用功率利用率較高的BPSK(二進(jìn)制相位調(diào)制)調(diào)制方式，發(fā)送的信息包含在載波的相位中，根據(jù)載波的相位不同，來(lái)表示二進(jìn)制中的0和1。
所述功率放大器，對(duì)于進(jìn)入其中的碼流，并不是按照固定的發(fā)射功率和固定的發(fā)射時(shí)間來(lái)發(fā)射的，這種分配機(jī)制要根據(jù)信道反饋信息來(lái)調(diào)整。信道反饋及控制單元根據(jù)得到的當(dāng)前信道的平均丟包率和特定數(shù)據(jù)包是否丟包，控制信源編碼器的輸出，同時(shí)控制對(duì)于信源編碼器不同的輸出采用不同的功率和時(shí)間分配。
從優(yōu)先級(jí)角度來(lái)看，信源編碼器的輸出，只有三種情況，即輸出的視頻流數(shù)據(jù)的優(yōu)先級(jí)有1，1、2和1、2、3。其中1、2和1、2、3兩種情況類似，可合并討論。
當(dāng)信源編碼器輸出三種優(yōu)先級(jí)的視頻流數(shù)據(jù)時(shí)，為使接收端很好地重建視頻，也就是重建視頻的PSNR(峰值信噪比)要足夠高，而PSNR是誤碼率的函數(shù)，所以要求他們?cè)趥鬏數(shù)臅r(shí)候有不同的誤碼率(BER)。誤碼率也就是在同等信道編碼條件下要求不同的信噪比。假定在每次發(fā)射的短暫時(shí)間內(nèi)噪聲功率是不變的，那么就要求具有不同的發(fā)射功率來(lái)滿足誤碼率的要求。低于這個(gè)發(fā)射功率，就不能保證重建視頻的質(zhì)量。等同于說(shuō)，對(duì)于三種優(yōu)先級(jí)的視頻流數(shù)據(jù)，最低發(fā)射功率的限制是不同的。同時(shí)對(duì)于三種視頻流數(shù)據(jù)，在發(fā)射時(shí)間的分配上也不是均等的，而是在保證要發(fā)送的視頻流數(shù)據(jù)在固定時(shí)隙內(nèi)全部發(fā)送前提下，使得能量的消耗最低。
假設(shè)在高斯白噪聲信道下，對(duì)于某個(gè)碼流k的發(fā)射功率可以表示為 其中A為天線增益，N為噪聲功率，Rk為碼流k的傳輸速率，B為信道帶寬。當(dāng)前的問(wèn)題可以簡(jiǎn)化為問(wèn)題 1≤k≤n 1≤k≤n 其中T為當(dāng)前傳輸?shù)目倳r(shí)間長(zhǎng)度，tk為碼流k所分配到的發(fā)射時(shí)間，Vk為對(duì)于碼流k需要傳輸?shù)臄?shù)據(jù)量，n為不同碼流的個(gè)數(shù)，這里設(shè)為3，PMINk為保證誤碼率要求下的最低發(fā)射功率，PMAX為保證不影響其他節(jié)點(diǎn)或影響人體健康的最大發(fā)射功率。
對(duì)于式(2)，可以通過(guò)Lagrange方法和Kuhn-Tucker條件，來(lái)獲得最優(yōu)的解Pk，tk。同理對(duì)于信道反饋的平均丟包率大于S2時(shí)，只需將n改為2即可。
當(dāng)信源輸出只有優(yōu)先級(jí)1的視頻流數(shù)據(jù)時(shí)，無(wú)法區(qū)分他們之間的差別。但是有兩種可能造成只有優(yōu)先級(jí)1的視頻流數(shù)據(jù)。一種是由于信道質(zhì)量好，沒(méi)有使能數(shù)據(jù)分割；另一種是使能了數(shù)據(jù)分割，但是由于特定數(shù)據(jù)包的丟失，只發(fā)送優(yōu)先級(jí)為1的數(shù)據(jù)。由于本實(shí)施例的首要目的是降低能量消耗，適當(dāng)?shù)奶岣咂骄鶃G包率是可行的。在第一種情況下，可以通過(guò)降低最小發(fā)射功率的限制，使平均的發(fā)射功率降低；在第二種情況下，特定數(shù)據(jù)包丟失，接下來(lái)發(fā)射的數(shù)據(jù)相對(duì)重要性就提高，所以不應(yīng)降低最小發(fā)射功率的限制。
通過(guò)這種發(fā)射功率和發(fā)射時(shí)間的分配機(jī)制，可以很好地控制各種優(yōu)先級(jí)數(shù)據(jù)的誤比特率，從而在重建視頻的基礎(chǔ)上，使得能量消耗最低。
權(quán)利要求
1、一種混合無(wú)線環(huán)境下視頻傳輸?shù)哪芰靠刂葡到y(tǒng)，包括發(fā)射端和接收端，其特征在于，
接收端接收視頻流數(shù)據(jù)，根據(jù)接收到的視頻流數(shù)據(jù)生成信道反饋信息，并將信道反饋信息發(fā)回發(fā)送端，信道反饋信息包括當(dāng)前信道的平均丟包率和特定數(shù)據(jù)包是否丟失；
發(fā)送端根據(jù)信道反饋信息調(diào)整發(fā)送參數(shù)，在新的發(fā)送參數(shù)限制下將視頻流數(shù)據(jù)發(fā)送給接收端；
其中，發(fā)送端包括信源編碼器、信道編碼器、調(diào)制器、功率放大器和信道反饋及控制單元，其中
信源編碼器負(fù)責(zé)將原始的視頻數(shù)據(jù)，按照當(dāng)前編碼方式，編碼出不同優(yōu)先級(jí)的視頻流數(shù)據(jù)，按打包順序和當(dāng)前打包方式進(jìn)行打包，得到適于傳輸?shù)囊曨l數(shù)據(jù)包；
信道編碼器負(fù)責(zé)對(duì)要傳輸?shù)囊曨l數(shù)據(jù)包增加用于糾錯(cuò)的信道冗余信息，使得在出現(xiàn)信道誤碼情況下，接收端進(jìn)行檢錯(cuò)和糾錯(cuò)，并把已編碼好的數(shù)據(jù)流發(fā)送給調(diào)制器；
調(diào)制器把信道編碼器編好的數(shù)據(jù)流，進(jìn)行符號(hào)影射；
功率放大器根據(jù)當(dāng)前發(fā)射功率和發(fā)射時(shí)間分配方式，將接收到的已映射符號(hào)按照特定的發(fā)射功率和發(fā)射時(shí)間，發(fā)射到物理信道上去；
信道反饋及控制單元接收接收端發(fā)回的信道反饋信息，通過(guò)信道反饋信息獲得編碼方式、打包順序、打包方式、發(fā)射功率和發(fā)射時(shí)間分配方式，其中編碼方式、打包順序通過(guò)信道反饋的平均丟包率得到，打包方式以及功率放大器的發(fā)射功率和發(fā)射時(shí)間分配方式通過(guò)平均丟包率和特定數(shù)據(jù)包是否丟失綜合得到，信道反饋及控制單元將獲得的編碼方式、打包順序、打包方式直接傳送給信源編碼器，將發(fā)射功率和發(fā)射時(shí)間分配方式作為指示信息，通過(guò)信源編碼器傳送給功率放大器。
2、根據(jù)權(quán)利要求1所述的混合無(wú)線環(huán)境下視頻傳輸?shù)哪芰靠刂葡到y(tǒng)，其特征是，所述接收端，其根據(jù)接收到的視頻流數(shù)據(jù)，統(tǒng)計(jì)出信道反饋信息，接收端根據(jù)實(shí)時(shí)傳輸協(xié)議的序列信息來(lái)統(tǒng)計(jì)當(dāng)前信道的平均丟包率，當(dāng)前信道的平均丟包率反映當(dāng)前的信道質(zhì)量；接收端通過(guò)檢測(cè)網(wǎng)絡(luò)打包中的網(wǎng)絡(luò)數(shù)據(jù)類型來(lái)檢測(cè)當(dāng)前編碼片的最高優(yōu)先級(jí)的數(shù)據(jù)包是否正確接收，最高優(yōu)先級(jí)的數(shù)據(jù)包即是特定數(shù)據(jù)包，特定的數(shù)據(jù)包是否正確接收反映特定數(shù)據(jù)包是否丟失。
3、根據(jù)權(quán)利要求1所述的混合無(wú)線環(huán)境下視頻傳輸?shù)哪芰靠刂葡到y(tǒng)，其特征是，所述信源編碼器，包括視頻編碼器和網(wǎng)絡(luò)打包器，其中
視頻編碼器按照編碼方式對(duì)原始的視頻數(shù)據(jù)進(jìn)行編碼壓縮，獲得信息冗余度低的視頻流數(shù)據(jù)，并按打包順序送往網(wǎng)絡(luò)打包器；
網(wǎng)絡(luò)打包器把視頻編碼器壓縮好的視頻流數(shù)據(jù)，按照打包方式進(jìn)行打包操作，獲得一個(gè)個(gè)的視頻數(shù)據(jù)包，有利于特定的網(wǎng)絡(luò)架構(gòu)傳輸，每次打包操作后按照打包的先后傳送給信道編碼器。
4、根據(jù)權(quán)利要求3所述的混合無(wú)線環(huán)境下視頻傳輸?shù)哪芰靠刂葡到y(tǒng)，其特征是，所述視頻編碼器，還包括數(shù)據(jù)分割可選模塊，在信道質(zhì)量不好的情況下，數(shù)據(jù)分割可選模塊對(duì)壓縮的視頻流數(shù)據(jù)進(jìn)行數(shù)據(jù)分割。
5、根據(jù)權(quán)利要求3所述的混合無(wú)線環(huán)境下視頻傳輸?shù)哪芰靠刂葡到y(tǒng)，其特征是，所述視頻編碼器，其輸出的視頻流數(shù)據(jù)在送往網(wǎng)絡(luò)打包器時(shí)，不是固定地對(duì)同一編碼片的所有視頻流數(shù)據(jù)進(jìn)行統(tǒng)一傳送，而是根據(jù)視頻編碼器的輸出類型按照打包順序傳送。
6、根據(jù)權(quán)利要求1所述的混合無(wú)線環(huán)境下視頻傳輸?shù)哪芰靠刂葡到y(tǒng)，其特征是，所述信道反饋及控制單元，根據(jù)信道的平均丟包率得到編碼方式，并傳輸給信源編碼器，具體是指
當(dāng)信道的平均丟包率小于閾值一時(shí)，表明信道質(zhì)量良好，不使能信源編碼器中的數(shù)據(jù)分割可選模塊，對(duì)原始視頻流的一個(gè)編碼片，統(tǒng)一編碼，編碼出的視頻流數(shù)據(jù)具有相同的優(yōu)先級(jí)，都為最高優(yōu)先級(jí)，對(duì)這些視頻流數(shù)據(jù)按打包順序送往網(wǎng)絡(luò)打包器進(jìn)行打包；
當(dāng)信道的平均丟包率超過(guò)閾值一但小于閾值二時(shí)，表明信道質(zhì)量一般，使能信源編碼器中的數(shù)據(jù)分割可選模塊，對(duì)原始視頻流的一個(gè)編碼片，進(jìn)行數(shù)據(jù)分割，同一個(gè)編碼片的視頻流數(shù)據(jù)按照H.264編解碼標(biāo)準(zhǔn)的語(yǔ)法元素進(jìn)行分類，獲得三種視頻碼流類型，即碼流類型一、碼流類型二、碼流類型三，三種碼流類型在所述接收端重建視頻時(shí)，重要性依次降低，優(yōu)先級(jí)也依次降低，碼流類型一具有最高優(yōu)先級(jí)，如果碼流類型一數(shù)據(jù)包丟失，碼流類型二和碼流類型三的數(shù)據(jù)無(wú)法單獨(dú)進(jìn)行視頻重建，必須丟棄；碼流類型二或碼流類型三的數(shù)據(jù)丟失，碼流類型一獲得的數(shù)據(jù)對(duì)視頻重建仍有重要的作用，同一編碼片的三種碼流按照打包順序送往網(wǎng)絡(luò)打包器；
當(dāng)信道的平均丟包率超過(guò)閾值二時(shí)，表明信道質(zhì)量較差，使能數(shù)據(jù)分割可選模塊，對(duì)原始視頻流的一個(gè)編碼片，進(jìn)行數(shù)據(jù)分割，但只保留碼流類型一和選擇性的保留碼流類型二到傳送緩存中，丟棄碼流類型三，同一編碼片的兩種碼流按照打包順序送往網(wǎng)絡(luò)打包器。
7、根據(jù)權(quán)利要求1所述的混合無(wú)線環(huán)境下視頻傳輸?shù)哪芰靠刂葡到y(tǒng)，其特征是，所述信道反饋及控制單元，其生成視頻編碼器將信息冗余度低的視頻流數(shù)據(jù)送往網(wǎng)絡(luò)打包器的打包順序，打包順序具體如下
如果一個(gè)編碼片的視頻流數(shù)據(jù)都具有最高優(yōu)先級(jí)，直接送往網(wǎng)絡(luò)打包器；
如果一個(gè)編碼片的視頻流數(shù)據(jù)除最高優(yōu)先級(jí)外還有其他優(yōu)先級(jí)，則先傳送前一編碼片的非最高優(yōu)先級(jí)的視頻流數(shù)據(jù)，再傳送當(dāng)前編碼片的最高優(yōu)先級(jí)的視頻流數(shù)據(jù)，當(dāng)前編碼片中非最高優(yōu)先級(jí)的視頻流數(shù)據(jù)于下一次傳送。
8、根據(jù)權(quán)利要求1所述的混合無(wú)線環(huán)境下視頻傳輸?shù)哪芰靠刂葡到y(tǒng)，其特征是，所述信道反饋及控制單元，其生成網(wǎng)絡(luò)打包器對(duì)傳輸?shù)狡渲械囊曨l流數(shù)據(jù)進(jìn)行打包的打包方式，打包方式具體如下
若沒(méi)有使能信源編碼器中的數(shù)據(jù)分割可選模塊時(shí)，所有的視頻流數(shù)據(jù)都是最高優(yōu)先級(jí)，不考慮此編碼片的特定數(shù)據(jù)包是否丟失，對(duì)所有視頻流數(shù)據(jù)都進(jìn)行打包；
若使能了信源編碼器中的數(shù)據(jù)分割可選模塊，打包方式具體為
當(dāng)信道反饋信息中的特定數(shù)據(jù)包丟失時(shí)，表明當(dāng)前編碼片中最高優(yōu)先級(jí)視頻流數(shù)據(jù)已經(jīng)丟失，所以對(duì)同一編碼片中的非最高優(yōu)先級(jí)視頻流數(shù)據(jù)不進(jìn)行打包；
當(dāng)信道反饋信息中的特定數(shù)據(jù)包沒(méi)有丟失時(shí)，表明當(dāng)前編碼片中的最高優(yōu)先級(jí)視頻流數(shù)據(jù)已經(jīng)正確接收，對(duì)同一編碼片中的非最高優(yōu)先級(jí)視頻流數(shù)據(jù)進(jìn)行打包，如果當(dāng)前打包操作中不包含非最高優(yōu)先級(jí)視頻流數(shù)據(jù)，信道反饋及控制單元不進(jìn)行此操作。
9、根據(jù)權(quán)利要求1所述的混合無(wú)線環(huán)境下視頻傳輸?shù)哪芰靠刂葡到y(tǒng)，其特征是，所述信道反饋及控制單元，其根據(jù)功率最小化方法計(jì)算功率放大器的發(fā)射功率和發(fā)射時(shí)間分配方式，發(fā)射功率和發(fā)射時(shí)間分配方式具體如下
當(dāng)信源編碼器輸出的視頻流數(shù)據(jù)具有不同優(yōu)先級(jí)時(shí)，采用最優(yōu)化方法調(diào)整當(dāng)前時(shí)隙下功率放大器對(duì)每種視頻流數(shù)據(jù)發(fā)射時(shí)所需的發(fā)射功率和發(fā)射時(shí)間，以達(dá)到功率最小化；
當(dāng)信源編碼器輸出的視頻流數(shù)據(jù)只有一種優(yōu)先級(jí)時(shí)，所有的視頻流數(shù)據(jù)都具有最高優(yōu)先級(jí)，有兩種情況產(chǎn)生這種結(jié)果一種是由于信道質(zhì)量好，沒(méi)有使能數(shù)據(jù)分割；另一種是使能了數(shù)據(jù)分割，但是由于特定數(shù)據(jù)包的丟失，不再發(fā)送同一編碼片的非最高優(yōu)先級(jí)視頻流數(shù)據(jù)，只發(fā)送下一編碼片的最高優(yōu)先級(jí)視頻流數(shù)據(jù)，在第一種情況下，通過(guò)降低最小發(fā)射功率的限制，使平均的發(fā)射功率降低，在第二種情況下，特定數(shù)據(jù)包丟失，接下來(lái)發(fā)射的數(shù)據(jù)相對(duì)重要性就提高，所以不降低最小發(fā)射功率的限制。
全文摘要
本發(fā)明是一種視頻傳輸控制技術(shù)領(lǐng)域的混合無(wú)線環(huán)境下視頻傳輸?shù)哪芰靠刂葡到y(tǒng)，包括發(fā)射端和接收端，接收端接收視頻流數(shù)據(jù)，根據(jù)接收到的視頻流數(shù)據(jù)生成信道反饋信息，并將信道反饋信息發(fā)回發(fā)送端，發(fā)送端包括信源編碼器、信道編碼器、調(diào)制器、功率放大器和信道反饋及控制單元，其中信道反饋及控制單元接收接收端發(fā)回的信道反饋信息，通過(guò)信道反饋的平均丟包率得到編碼方式、打包順序，通過(guò)平均丟包率和特定數(shù)據(jù)包是否丟失綜合得到打包方式以及功率放大器的發(fā)射功率和發(fā)射時(shí)間分配方式。本發(fā)明適用于無(wú)線人體區(qū)域網(wǎng)絡(luò)中能量受限的視頻傳輸。
文檔編號(hào)H04N7/64GK101340592SQ20081004167
公開(kāi)日2009年1月7日 申請(qǐng)日期2008年8月14日 優(yōu)先權(quán)日2008年8月14日
發(fā)明者韓書平, 良 錢, 申志坤, 靜 劉, 浩 蔡 申請(qǐng)人:上海交通大學(xué)