專利名稱：一種降低圖像傳輸系統(tǒng)時(shí)延的實(shí)現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像傳輸數(shù)據(jù)鏈領(lǐng)域，涉及一種降低圖像傳輸系統(tǒng)時(shí)延的實(shí)現(xiàn)方法。
背景技術(shù)：
圖像傳輸系統(tǒng)是一種集圖像的采集、處理和傳輸為一體的技術(shù)，隨著多媒體技術(shù)和無(wú)線傳輸技術(shù)的廣泛發(fā)展，圖像傳輸系統(tǒng)以其直觀方便、信息豐富的特點(diǎn)而廣泛應(yīng)用于工程的許多領(lǐng)域，也因此成為一個(gè)研究熱點(diǎn)。而時(shí)延在航天工程應(yīng)用尤其是圖像傳輸系統(tǒng)中，是一個(gè)重要的衡量系統(tǒng)好壞的指標(biāo)，系統(tǒng)的端到端時(shí)延通常要求較低。時(shí)延越低，則用戶可以越可以再更短的時(shí)間內(nèi)觀看到解碼圖像，從而以此為依據(jù)，做出指揮判斷。反之，若時(shí)延過(guò)高，則實(shí)時(shí)性就比較差，對(duì)于緊急情況尤其是用于精確制導(dǎo)控制的圖像傳輸系統(tǒng)就失去了意義。所以，研究降低系統(tǒng)時(shí)延的方法是很有必要。在圖像傳輸系統(tǒng)中，時(shí)延主要包括幾大部分圖像輸入輸出的傳輸時(shí)延、圖像編解碼處理時(shí)延、緩存時(shí)延和信道編解碼處理時(shí)延?？梢钥闯?，時(shí)延的產(chǎn)生主要是在圖像編解碼端產(chǎn)生。所以，系統(tǒng)時(shí)延的降低重點(diǎn)在于減少圖像編解碼的時(shí)延。目前已公開(kāi)發(fā)表的關(guān)于減少圖像編解碼端時(shí)延的方法主要分為兩類，第一類是研究圖像編碼中使用的碼率控制算法，通過(guò)盡量使每幀編碼數(shù)據(jù)接近于目標(biāo)碼率、減少編碼端緩沖數(shù)據(jù)的方法達(dá)到降低緩存時(shí)延的目的，但是這種策略只能實(shí)現(xiàn)一定時(shí)間內(nèi)編碼數(shù)據(jù)的平穩(wěn)，不能完全精確到每幀都恰好達(dá)到目標(biāo)碼率，而且算法通常比較復(fù)雜、計(jì)算量大；第二類是研究圖像編解碼的快速算法，從而減少圖像編解碼的處理時(shí)延，但是速度的提升不可避免的會(huì)帶來(lái)一定質(zhì)量的損耗。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問(wèn)題是克服現(xiàn)有技術(shù)的不足，提供了一種降低圖像傳輸系統(tǒng)時(shí)延的實(shí)現(xiàn)方法，通過(guò)對(duì)由圖像分割出的條帶數(shù)據(jù)的流水處理，降低了圖像傳輸系統(tǒng)的時(shí)延和實(shí)現(xiàn)資源。本發(fā)明的技術(shù)解決方案是—種降低圖像傳輸系統(tǒng)時(shí)延的實(shí)現(xiàn)方法，所述圖像傳輸系統(tǒng)包括圖像發(fā)送端和圖像接收端，其中，圖像發(fā)送端包括編碼單元；圖像接收端包括解碼單元，圖像發(fā)送端和圖像接收端根據(jù)以下步驟進(jìn)行圖像數(shù)據(jù)的傳輸圖像發(fā)送端接收輸入的圖像數(shù)據(jù)并劃分為條帶數(shù)據(jù)后輸出到編碼單元；編碼單元圖像采用并行處理的方式進(jìn)行條帶數(shù)據(jù)的接收，條帶數(shù)據(jù)的編碼和編碼后條帶數(shù)據(jù)的輸出；圖像發(fā)送端將編碼后條帶數(shù)據(jù)添加條帶頭后發(fā)送到圖像接收端；圖像接收端根據(jù)條帶頭提取出編碼后條帶數(shù)據(jù)，并將編碼后條帶數(shù)據(jù)輸出到解碼單元；所述解碼單元采用并行處理的方式進(jìn)行編碼后條帶數(shù)據(jù)的接收，編碼后條帶數(shù)據(jù)的解碼和條帶數(shù)據(jù)的輸出；圖像接收端根據(jù)條帶頭將解碼后恢復(fù)出的條帶數(shù)據(jù)組織成圖像數(shù)據(jù)后輸出。進(jìn)一步的，所述編碼單元采用至少兩個(gè)與條帶數(shù)據(jù)大小相同的緩存區(qū)對(duì)輸入的條帶數(shù)據(jù)進(jìn)行緩存和編碼。進(jìn)一步的，所述編碼單元的并行處理方式為對(duì)當(dāng)前時(shí)刻的條帶數(shù)據(jù)進(jìn)行編碼的同時(shí)，對(duì)前一時(shí)刻的編碼完成的編碼后條帶數(shù)據(jù)進(jìn)行輸出，并對(duì)下一時(shí)刻到達(dá)的條帶數(shù)據(jù)進(jìn)行接收。
進(jìn)一步的，所述條帶頭包括條帶標(biāo)志頭、條帶號(hào)，圖像接收端根據(jù)條帶標(biāo)志頭確定一個(gè)完整的編碼后條帶數(shù)據(jù)，并根據(jù)條帶后將解碼后恢復(fù)出的條帶數(shù)據(jù)組織成圖像數(shù)據(jù)。進(jìn)一步的，所述解碼單元采用至少兩個(gè)與編碼后條帶數(shù)據(jù)大小相同的緩存區(qū)對(duì)輸A的編碼后條帶數(shù)據(jù)進(jìn)行緩存和編碼。進(jìn)一步的，所述解碼單元的并行處理方式為對(duì)當(dāng)前時(shí)刻的編碼后條帶數(shù)據(jù)進(jìn)行解碼的同時(shí)，對(duì)前一時(shí)刻解碼后產(chǎn)生的條帶數(shù)據(jù)進(jìn)行輸出，并對(duì)下一時(shí)刻到達(dá)的編碼后條帶數(shù)據(jù)進(jìn)行接收。本發(fā)明與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn)本發(fā)明將圖像發(fā)送端將圖像數(shù)據(jù)劃分為多個(gè)條帶，以條帶數(shù)據(jù)為單元，通過(guò)并行處理方法，使多部分的處理時(shí)間重疊，從而達(dá)到降低系統(tǒng)時(shí)延的目的。該方法適用于按塊(即本發(fā)明所述的條帶為塊的集合)進(jìn)行圖像處理的視頻壓縮算法，如H. 264算法、MPEG4算法，易于工程化實(shí)現(xiàn)，且圖像質(zhì)量沒(méi)有損耗?，F(xiàn)有圖像傳輸系統(tǒng)圖像編碼端處理方式都是接收到一整幀圖像以后再啟動(dòng)壓縮編碼處理。而本發(fā)明以條帶數(shù)據(jù)為單元進(jìn)行圖像輸入與壓縮，輸入一個(gè)條帶數(shù)據(jù)以后就開(kāi)始進(jìn)行壓縮，在單幀圖像內(nèi)就開(kāi)啟了圖像輸入與編碼的并行處理，實(shí)現(xiàn)了圖像輸入時(shí)延與圖像壓縮編碼時(shí)延的重疊，有效降低了編碼端引起的系統(tǒng)時(shí)延?，F(xiàn)有圖像傳輸系統(tǒng)圖像接收端都是接收到一整幀圖像的碼流數(shù)據(jù)以后再啟動(dòng)解碼解壓縮處理，而本發(fā)明碼流結(jié)構(gòu)以編碼后條帶數(shù)據(jù)為單元進(jìn)行組織，所以圖像接收端在接收到一個(gè)編碼后條帶數(shù)據(jù)以后就可以啟動(dòng)解碼解壓縮，實(shí)現(xiàn)了碼流輸入緩沖時(shí)延與圖像解碼解壓縮時(shí)延的重疊，有效降低了解碼端引起的系統(tǒng)時(shí)延。由于本發(fā)明是以條帶數(shù)據(jù)為基本單元進(jìn)行處理，所以其耗用的內(nèi)存大多是以條帶為基本單元進(jìn)行分配。如對(duì)于本發(fā)明，其圖像編碼端的原始圖像輸入緩沖區(qū)至少可分配2個(gè)條帶大小，而對(duì)于現(xiàn)有技術(shù)，其原始圖像輸入緩沖區(qū)至少需分配2個(gè)整幀圖像大小，同理于圖像解碼端。因此，本發(fā)明具有耗用內(nèi)存資源少，節(jié)省內(nèi)存空間的特點(diǎn)。本發(fā)明對(duì)輸入圖像的復(fù)雜度沒(méi)有特定要求，無(wú)論是動(dòng)態(tài)大的復(fù)雜圖像還是動(dòng)態(tài)小的簡(jiǎn)單圖像均可以達(dá)到降低圖像傳輸系統(tǒng)時(shí)延的目的，具有廣泛的適應(yīng)性。而且算法實(shí)現(xiàn)簡(jiǎn)單、實(shí)時(shí)性高，易于工程實(shí)現(xiàn)。


圖I為本發(fā)明流程2為發(fā)送端并行處理示意圖；圖3為接收端并行處理示意圖4為本發(fā)明圖像發(fā)送端流程示意圖；圖5為本發(fā)明圖像接收端流程示意圖。
具體實(shí)施例方式如圖I所示流程圖，本發(fā)明包括下列步驟(I)經(jīng)過(guò)A/D采樣數(shù)字化后的原始數(shù)字圖像首先送入作為圖像發(fā)送端圖像采集單元的FPGA所構(gòu)建的FIFO中進(jìn)行緩沖，F(xiàn)PGA收集到一個(gè)條帶數(shù)據(jù)后向作為圖像發(fā)送端編碼單元的DSP發(fā)送一個(gè)中斷信號(hào)，DSP接收到此中 斷信號(hào)后觸發(fā)EDMA后臺(tái)操作快速接收FPGA發(fā)送過(guò)來(lái)一個(gè)條帶的圖像數(shù)據(jù)。(2)編碼單元DSP接收到一個(gè)條帶數(shù)據(jù)后就立即啟動(dòng)圖像編碼操作，對(duì)接收到的該條帶數(shù)據(jù)進(jìn)行編碼，并且使用EDMA對(duì)編碼后條帶碼流數(shù)據(jù)進(jìn)行輸出。編碼單元并行處理的方式如圖2所示，一幀圖像數(shù)據(jù)平分為n個(gè)條帶數(shù)據(jù)，其中Smk表示一個(gè)條帶數(shù)據(jù)的輸入時(shí)間，m為圖像幀號(hào)，k為條帶號(hào)，條帶號(hào)范圍為(l，n) ;Cmk表示一個(gè)條帶的編碼時(shí)間；Tmk表示一個(gè)條帶的碼流數(shù)據(jù)傳輸時(shí)間。圖2中，由于實(shí)際各條帶數(shù)據(jù)的復(fù)雜度不同，所以每個(gè)條帶的編碼時(shí)間和碼流數(shù)據(jù)長(zhǎng)度是不一致的，而傳輸速率是一定的，因此各個(gè)條帶的碼流數(shù)據(jù)傳輸時(shí)間也并不一樣，并且這個(gè)傳輸還涉及到碼率控制、數(shù)據(jù)緩存的過(guò)程，所以用圖2無(wú)法精確表示出其實(shí)際工作過(guò)程。圖2只是簡(jiǎn)單描述了發(fā)送端按條帶并行處理的一個(gè)過(guò)程。圖像發(fā)送端的所有工作，由于輸入一個(gè)條帶就開(kāi)始編碼并傳輸，相當(dāng)于圖像發(fā)送端的所有工作都提前了 n-1個(gè)條帶的時(shí)間，從而達(dá)到了降低圖像發(fā)送端時(shí)延的目的。(3)編碼單元以條帶數(shù)據(jù)為單元進(jìn)行編碼，每生成一個(gè)條帶的碼流數(shù)據(jù)，就對(duì)其重新進(jìn)行封裝，在條帶碼流數(shù)據(jù)前添加條帶頭信息。如表I所示，其中條帶標(biāo)志頭和條帶號(hào)用來(lái)識(shí)別區(qū)分一個(gè)完整條帶碼流數(shù)據(jù)，條帶編碼方式和與條帶量化值為圖像接收端的解碼單元所使用。表I
說(shuō)明j條帶標(biāo)志頭~條帶號(hào)條帶編碼方式條帶量化值
長(zhǎng)度 32bit6bitIbitIbit 到 7bit 之間(4)作為圖像接收端解碼單元的DSP通過(guò)EDMA在后臺(tái)進(jìn)行碼流的接收搬移操作。每收到一定量的碼流數(shù)據(jù)，EDMA就觸發(fā)完成中斷通知DSP的CPU，CPU對(duì)接收到的碼流數(shù)據(jù)進(jìn)行后續(xù)處理。同時(shí)，EDMA繼續(xù)對(duì)碼流數(shù)據(jù)進(jìn)行接收，并且使用EDMA對(duì)條帶恢復(fù)數(shù)據(jù)進(jìn)行輸出。(5)解碼單元DSP邊接收碼流數(shù)據(jù)邊對(duì)一個(gè)完整的條帶碼流數(shù)據(jù)進(jìn)行搜索。搜索原則為搜索條帶頭中的條帶標(biāo)志頭，一旦搜索到一個(gè)條帶標(biāo)志頭，則繼續(xù)搜索下一個(gè)條帶標(biāo)志頭，待搜索到兩個(gè)條帶標(biāo)志頭以后，則意味著接收到一個(gè)完整的條帶碼流數(shù)據(jù)，提取出實(shí)際條帶碼流數(shù)據(jù)并根據(jù)條帶頭信息進(jìn)行解碼處理，對(duì)解碼生成的條帶恢復(fù)數(shù)據(jù)進(jìn)行輸出，解碼單元并行處理的方式如圖3所示。其中-!^表示一個(gè)條帶的碼流數(shù)據(jù)輸入時(shí)間，m為圖像幀號(hào)，k為條帶號(hào)，條帶號(hào)范圍為(1，n) ;Dmk表示一個(gè)條帶碼流數(shù)據(jù)的解碼時(shí)間；Rmk表示一個(gè)條帶恢復(fù)數(shù)據(jù)的輸出時(shí)間。與步驟⑵的分析同理，實(shí)際中，各條帶碼流數(shù)據(jù)長(zhǎng)度不同，所以傳輸時(shí)間與解碼時(shí)間也不相同，因此用圖3無(wú)法精確表示出其實(shí)際工作過(guò)程。圖3只是簡(jiǎn)單描述了圖像接收端按條帶并行處理的過(guò)程。說(shuō)明圖像接收端的所有工作，由于碼流數(shù)據(jù)是以條帶碼流數(shù)據(jù)為單元進(jìn)行組織，所以可以接收到一個(gè)完整的條帶碼流數(shù)據(jù)后就開(kāi)始進(jìn)行解碼操作，從而達(dá)到了降低圖像接收端時(shí)延的目的。(6)對(duì)恢復(fù)出的條帶數(shù)據(jù)，根據(jù)條帶號(hào)將其存放到圖像接收端解碼圖像緩沖區(qū)，并根據(jù)條帶號(hào)判斷該條帶是否為最后一個(gè)條帶，如果是，則整幀解碼圖像恢復(fù)完成，可用于后續(xù)顯示等處理。這是由于圖像發(fā)送端是按照條帶號(hào)依 次按順序?qū)υ紬l帶數(shù)據(jù)進(jìn)行編碼和傳輸?shù)?，所以圖像接收端接收解碼恢復(fù)的條帶數(shù)據(jù)也是順序的。因此，待恢復(fù)出條帶號(hào)為最后一個(gè)條帶的條帶數(shù)據(jù)時(shí)，也意味著恢復(fù)出一整幀解碼圖像。實(shí)施例本實(shí)施例的實(shí)驗(yàn)條件為(I)輸入為720x576x8bit大小的數(shù)字視頻圖像，幀率為25f/s ；(2)編碼輸出碼率為2Mbps ；(3)條帶數(shù)據(jù)分辨率即條帶數(shù)據(jù)大小為720xl6x8bit。結(jié)合上面所述的試驗(yàn)條件，根據(jù)圖4和圖5的流程示意圖。圖像發(fā)送端(I)FPGA對(duì)接收到的數(shù)字圖像數(shù)據(jù)進(jìn)行緩存，當(dāng)緩存數(shù)據(jù)達(dá)到720xl6x8bit大小以后，給DSP —個(gè)中斷信號(hào)觸發(fā)EDMA對(duì)輸入圖像數(shù)據(jù)進(jìn)行搬移。EDMA搬移速率很高，其引起的搬移時(shí)延可忽略不計(jì)。根據(jù)幀率，F(xiàn)PGA接收緩存一個(gè)條帶數(shù)據(jù)的時(shí)間為
權(quán)利要求
1.一種降低圖像傳輸系統(tǒng)時(shí)延的實(shí)現(xiàn)方法，所述圖像傳輸系統(tǒng)包括圖像發(fā)送端和圖像接收端，其中，圖像發(fā)送端包括編碼單元；圖像接收端包括解碼單元， 其特征在于，圖像發(fā)送端和圖像接收端根據(jù)以下步驟進(jìn)行圖像數(shù)據(jù)的傳輸 圖像發(fā)送端接收輸入的圖像數(shù)據(jù)并劃分為條帶數(shù)據(jù)后輸出到編碼單元； 編碼單元圖像采用并行處理的方式進(jìn)行條帶數(shù)據(jù)的接收，條帶數(shù)據(jù)的編碼和編碼后條帶數(shù)據(jù)的輸出； 圖像發(fā)送端將編碼后條帶數(shù)據(jù)添加條帶頭后發(fā)送到圖像接收端； 圖像接收端根據(jù)條帶頭提取出編碼后條帶數(shù)據(jù)，并將編碼后條帶數(shù)據(jù)輸出到解碼單元; 所述解碼單元采用并行處理的方式進(jìn)行編碼后條帶數(shù)據(jù)的接收，編碼后條帶數(shù)據(jù)的解碼和條帶數(shù)據(jù)的輸出； 圖像接收端根據(jù)條帶頭將解碼后恢復(fù)出的條帶數(shù)據(jù)組織成圖像數(shù)據(jù)后輸出。
2.如權(quán)利要求I所述的一種降低圖像傳輸系統(tǒng)時(shí)延的實(shí)現(xiàn)方法，其特征在于所述編碼單元采用至少兩個(gè)與條帶數(shù)據(jù)大小相同的緩存區(qū)對(duì)輸入的條帶數(shù)據(jù)進(jìn)行緩存和編碼。
3.如權(quán)利要求I或2所述的一種降低圖像傳輸系統(tǒng)時(shí)延的實(shí)現(xiàn)方法，其特征在于所述編碼單元的并行處理方式為對(duì)當(dāng)前時(shí)刻的條帶數(shù)據(jù)進(jìn)行編碼的同時(shí)，對(duì)前一時(shí)刻的編碼完成的編碼后條帶數(shù)據(jù)進(jìn)行輸出，并對(duì)下一時(shí)刻到達(dá)的條帶數(shù)據(jù)進(jìn)行接收。
4.如權(quán)利要求I所述的一種降低圖像傳輸系統(tǒng)時(shí)延的實(shí)現(xiàn)方法，其特征在于所述條帶頭包括條帶標(biāo)志頭、條帶號(hào)，圖像接收端根據(jù)條帶標(biāo)志頭確定一個(gè)完整的編碼后條帶數(shù)據(jù)，并根據(jù)條帶后將解碼后恢復(fù)出的條帶數(shù)據(jù)組織成圖像數(shù)據(jù)。
5.如權(quán)利要求I所述的一種降低圖像傳輸系統(tǒng)時(shí)延的實(shí)現(xiàn)方法，其特征在于所述解碼單元采用至少兩個(gè)與編碼后條帶數(shù)據(jù)大小相同的緩存區(qū)對(duì)輸入的編碼后條帶數(shù)據(jù)進(jìn)行緩存和編碼。
6.如權(quán)利要求I或5所述的一種降低圖像傳輸系統(tǒng)時(shí)延的實(shí)現(xiàn)方法，其特征在于所述解碼單元的并行處理方式為對(duì)當(dāng)前時(shí)刻的編碼后條帶數(shù)據(jù)進(jìn)行解碼的同時(shí)，對(duì)前一時(shí)刻解碼后產(chǎn)生的條帶數(shù)據(jù)進(jìn)行輸出，并對(duì)下一時(shí)刻到達(dá)的編碼后條帶數(shù)據(jù)進(jìn)行接收。
全文摘要
本發(fā)明公開(kāi)了一種降低圖像傳輸系統(tǒng)時(shí)延的實(shí)現(xiàn)方法，圖像發(fā)送端接收輸入的圖像數(shù)據(jù)并劃分為條帶數(shù)據(jù)后輸出到編碼單元；編碼單元圖像采用并行的方式進(jìn)行條帶數(shù)據(jù)的接收，條帶數(shù)據(jù)的編碼和編碼后條帶數(shù)據(jù)的輸出；圖像發(fā)送端將編碼后條帶數(shù)據(jù)添加條帶頭后發(fā)送到圖像接收端；圖像接收端根據(jù)條帶頭提取出編碼后條帶數(shù)據(jù)，并將編碼后條帶數(shù)據(jù)輸出到解碼單元；所述解碼單元采用并行的方式進(jìn)行編碼后條帶數(shù)據(jù)的接收，編碼后條帶數(shù)據(jù)的解碼和條帶數(shù)據(jù)的輸出；圖像接收端根據(jù)條帶頭將解碼后恢復(fù)出的條帶數(shù)據(jù)組織成圖像數(shù)據(jù)后輸出。本發(fā)明通過(guò)對(duì)由圖像分割出的條帶數(shù)據(jù)的流水處理，降低了圖像傳輸系統(tǒng)的時(shí)延和圖像傳輸系統(tǒng)的實(shí)現(xiàn)資源。
文檔編號(hào)H04N7/26GK102752600SQ20121024380
公開(kāi)日2012年10月24日 申請(qǐng)日期2012年7月13日 優(yōu)先權(quán)日2012年7月13日
發(fā)明者國(guó)輝, 張寶薇, 王婷 申請(qǐng)人:航天恒星科技有限公司