一種基于Zynq平臺的高性能視頻處理及傳輸系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于Zynq平臺的高性能視頻處理及傳輸系統(tǒng)，系統(tǒng)設(shè)置于外部視頻源和上位PC機之間，主要包括：視頻輸入模塊，用于采集外部視頻源信號中的有效數(shù)據(jù)；VDMA模塊，將PL可編程邏輯模塊中的視頻信號高速傳輸?shù)酱鎯ζ髦校灰曨l處理模塊，完成復(fù)雜的視頻處理功能；AXI互聯(lián)模塊，連接PL可編程邏輯和PS處理系統(tǒng)；PS處理系統(tǒng)模塊，控制和管理整個系統(tǒng)；PCIe模塊，用于將視頻幀數(shù)據(jù)封裝為相應(yīng)的PCIe報文，并通過PCIe總線在系統(tǒng)和上位PC機之間高速傳送數(shù)據(jù)。本發(fā)明集高速采集、處理及傳輸高清視頻能力于一體，系統(tǒng)具備處理能力強、視頻質(zhì)量高、傳輸速度快等優(yōu)點。
【專利說明】
一種基于Zynq平臺的高性能視頻處理及傳輸系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及視頻處理技術(shù)和通信技術(shù)，具體涉及一種基于Zynq平臺的高清視頻處理及傳輸系統(tǒng)。
【背景技術(shù)】
[0002]隨著國民經(jīng)濟的發(fā)展和社會的進步，在廣播電視、智能交通、沉浸式顯示、安防監(jiān)控等領(lǐng)域?qū)σ曨l的清晰度、穩(wěn)定性和實時性要求越來越高，同時高清視頻信號的帶寬高、數(shù)據(jù)吞吐量大等特點也導(dǎo)致了高清圖像的采集、處理和傳輸成為難題，因此對高性能視頻處理及傳輸系統(tǒng)的需求也在不斷的增大。
[0003]一方面，早期的視頻處理方案多采用ARM，DSP，F(xiàn)PGA單一架構(gòu)實現(xiàn)，由于視頻處理要求極高的并行性，對大多數(shù)ARM處理器來說，都達不到數(shù)據(jù)帶寬和處理速度的要求。而對DSP和FPGA來說，雖然數(shù)據(jù)處理能力相比ARM有了一定程度的提升，但卻難以運行復(fù)雜的圖像、視頻處理算法。隨后的ARM+FPGA，ARM+DSP，DSP+FPGA等多芯片的擴展方案則具有系統(tǒng)結(jié)構(gòu)復(fù)雜，開發(fā)維護困難，功耗高，成本高等缺點。
[0004]Zynq是基于Xi Iinx全可編程Al I Programmable的可拓展處理平臺，其在單芯片內(nèi)完美的集成了基于高性能ARM Cortex_A9處理器的處理系統(tǒng)Processing System(PS)和Xilinx 28nm可編程邏輯ProgrammabIe Logic(PL)，為用戶提供了頂級的靈活性，可配置性和性能。與其他獨立的ARM處理器或者Xilinx FPGA在單板上相比，Zynq架構(gòu)具有整體性能提升、整體功耗降低、設(shè)計成本降低、設(shè)計靈活性增強等優(yōu)點。
[0005]另一方面，以往的方案對高清視頻的傳輸多采用以太網(wǎng)來實現(xiàn)，在數(shù)據(jù)的發(fā)送端和接收端分別進行壓縮和解壓處理，在系統(tǒng)實時性方面有所欠缺。而PCIe技術(shù)是第三代高性能的I/O總線，提供了高速率、穩(wěn)定、可靠的傳輸鏈路，特別適用于高清視頻信號的實時傳輸。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于提供一種高性能的視頻處理及傳輸系統(tǒng)，使得該系統(tǒng)同時具備強大的視頻處理能力，高速的數(shù)據(jù)傳輸能力和實時性強等優(yōu)點。
[0007]為了實現(xiàn)上述技術(shù)目的，本發(fā)明的技術(shù)方案是，一種基于Zynq平臺的高性能視頻處理及傳輸系統(tǒng)，設(shè)置于外部視頻源和上位PC機之間，所述高性能視頻處理系統(tǒng)包括:
[0008]PS處理系統(tǒng):用于控制和管理整個高性能視頻處理系統(tǒng)；
[0009]存儲器模塊，用于視頻圖像的暫存；
[0010]PL可編程邏輯模塊；
[0011]所述的PS處理系統(tǒng)分別與PL可編程邏輯模塊和存儲器通信連接；
[0012]PL可編程邏輯模塊包括:
[0013]視頻輸入模塊，用于采集外部視頻源信號中的有效屏幕數(shù)據(jù)；
[0014]VDMA模塊，通過PS處理系統(tǒng)完成PL可編程邏輯模塊和存儲器間的高速視頻數(shù)據(jù)交互；
[0015]AXI互聯(lián)模塊，用于PL可編程邏輯模塊和PS處理系統(tǒng)的互連；
[0016]視頻處理模塊，完成視頻處理功能；
[0017]PCIe模塊，用于將視頻幀數(shù)據(jù)封裝為相應(yīng)的PCIe報文或者將PCIe報文解碼，并通過PCI e總線在系統(tǒng)和上位PC機之間高速傳送數(shù)據(jù)；
[0018]性能監(jiān)測模塊，用于監(jiān)測VDMA模塊、存儲器和PCIe模塊的數(shù)據(jù)傳輸吞吐率。
[0019]所述的高性能視頻處理及傳輸系統(tǒng)，所述系統(tǒng)具備兩種不同的工作模式:處理實時采集視頻信號的在線模式和處理來自上位PC機歷史數(shù)據(jù)的離線模式，其中:
[0020]所述在線模式，視頻輸入模塊從外部視頻源采集有效的屏幕數(shù)據(jù)，檢測視頻數(shù)據(jù)的行場信號并判斷分辨率，并通過VDMA模塊將采集到的視頻高速發(fā)送到存儲器中供視頻處理模塊進行處理，最后將處理完畢數(shù)據(jù)再通過PCIe模塊封裝，并上傳到上位PC機進行顯示和存儲；
[0021]所述離線模式，PCIe模塊直接接收上位PC機發(fā)送過來的原始視頻數(shù)據(jù)，解碼之后通過VDMA模塊將其發(fā)送到存儲器中，視頻處理模塊從存儲器中獲取原始數(shù)據(jù)進行高速處理，最后將處理完畢數(shù)據(jù)由PCIe模塊封裝并回傳給上位PC機顯示和存儲。
[0022]所述的高性能視頻處理及傳輸系統(tǒng)，所述視頻輸入模塊包括:
[0023]視頻輸入接口模塊，用于接收外部圖像傳感器采集的實時視頻數(shù)據(jù)；
[0024]時序檢測子模塊，用于接收視頻輸入接口模塊采集的實時數(shù)據(jù)并檢測實時視頻數(shù)據(jù)的行場信號，根據(jù)這些信號判斷視頻圖像的分辨率，并提取有效的屏幕數(shù)據(jù)；
[0025]格式轉(zhuǎn)換子模塊，將提取的有效的屏幕數(shù)據(jù)由YUV格式轉(zhuǎn)換為容易進行圖像處理的RGB數(shù)據(jù)格式。
[0026]所述的高性能視頻處理及傳輸系統(tǒng)，所述VDMA模塊包括:
[0027]寫通道S2MM，用于將視頻幀信號寫入到系統(tǒng)存儲器中；
[0028]讀通道MM2S，用于從系統(tǒng)存儲器中讀取視頻幀信號；
[0029]數(shù)據(jù)搬運器子單元，在控制邏輯子單元的控制下執(zhí)行具體的DMA視頻數(shù)據(jù)迀移操作；
[0030]控制邏輯子單元，接收PS處理系統(tǒng)發(fā)出的配置信號來控制整個VDMA模塊的工作。
[0031]所述的高性能視頻處理及傳輸系統(tǒng)，所述視頻處理模塊包括:
[0032]DPC子單元，用于檢測和修正輸入視頻的缺陷像素；
[0033]CFA子單元，通過插值恢復(fù)視頻幀中每個像素點的其余兩種顏色分量，優(yōu)化圖像細(xì)節(jié)的明銳度；
[0034]CCM子單元，對RGB圖像進行色彩校正操作，包括調(diào)節(jié)白平衡、色偏、亮度、對比度；[°035] Gamma子單元，對視頻幀進行Gamma校正，減少視頻失真程度；
[0036]RGB2YUV子單元，將RGB色域空間信號轉(zhuǎn)化為YUV色域空間信號；
[0037]Enhance子模塊，執(zhí)行視頻圖像邊緣增強和降噪處理，最后進行輸出。
[0038]所述的高性能視頻處理及傳輸系統(tǒng)，所述PCIe模塊包括:
[0039]集成PCIe子模塊，用于將視頻幀信號、控制信號封裝為PCIe報文格式，接收上位PC機發(fā)送的事務(wù)層數(shù)據(jù)包并解碼；
[0040]PCIe DMA子模塊，為系統(tǒng)和上位PC機之間高速傳送數(shù)據(jù)提供控制邏輯和數(shù)據(jù)傳輸通道，包括:
[0041 ]接收模塊，接收上位PC機發(fā)送過來的原始視頻數(shù)據(jù)，解析完成之后發(fā)送到FIFO模塊中；發(fā)送模塊，接收FIFO模塊發(fā)送過來的已處理完畢數(shù)據(jù)，并將其發(fā)送到上位PC機;DMA控制、狀態(tài)模塊，接收PS處理系統(tǒng)的讀寫控制信號，控制發(fā)送和接收模塊的具體工作。
[0042]所述的高性能視頻處理及傳輸系統(tǒng)，所述PS處理系統(tǒng)通過AXI互聯(lián)模塊對整個系統(tǒng)的其余模塊進行控制和管理操作。
[0043]所述的高性能視頻處理及傳輸系統(tǒng)，所述性能監(jiān)測單元，分別用于監(jiān)測三個高性能的HPO、HP1、HP2端口和PCIe模塊的數(shù)據(jù)傳輸吞吐率，具體通過計數(shù)器計算有效的數(shù)據(jù)傳輸次數(shù)來計算每秒數(shù)據(jù)量，并將該數(shù)值加載到寄存器中供上位PC機讀取。
[0044]本發(fā)明的技術(shù)效果在于，本發(fā)明的有益效果:
[0045]1.系統(tǒng)結(jié)構(gòu)簡單，基于單一 Zynq架構(gòu)即可達到以往多芯片擴展方案的處理效果，即降低了整體成本和功耗，同時降低了系統(tǒng)開發(fā)和維護難度；
[0046]2.系統(tǒng)具備在線和離線兩種工作模式，可應(yīng)對不同的工作環(huán)境；
[0047]3.采用模塊化設(shè)計，充分利用PL可編程邏輯的靈活性，系統(tǒng)的擴展非常簡單；
[0048]4.采用PCIe總線協(xié)議以DMA方式傳輸高清視頻信號，傳輸效率高、誤碼率低、實時性好。
[0049]下面結(jié)合實施例和說明書附圖對本發(fā)明做進一步說明。
【附圖說明】
[0050]圖1為本系統(tǒng)的整體結(jié)構(gòu)示意圖；
[0051 ]圖2為本系統(tǒng)的具體模塊示意圖；
[0052]圖3為本系統(tǒng)中的視頻處理模塊示意圖。
[0053]圖4為本系統(tǒng)中的VDMA模塊示意圖；
[0054]圖5為本系統(tǒng)中的PCIe DMA子模塊示意圖。
【具體實施方式】
[0055]本實施例設(shè)置于外部視頻源和上位PC機之間，具體包括:PS處理系統(tǒng):用于控制和管理整個高性能視頻處理系統(tǒng);存儲器模塊，用于視頻圖像的暫存;PL可編程邏輯模塊;所述的PS處理系統(tǒng)分別與PL可編程邏輯模塊和存儲器通信連接;PL可編程邏輯模塊包括:視頻輸入模塊，用于采集外部視頻源信號中的有效屏幕數(shù)據(jù);VDMA模塊，通過PS處理系統(tǒng)完成PL可編程邏輯模塊和存儲器間的高速視頻數(shù)據(jù)交互;AXI互聯(lián)模塊，用于PL可編程邏輯模塊和PS處理系統(tǒng)的互連;視頻處理模塊，完成視頻處理功能;PCIe模塊，用于將視頻幀數(shù)據(jù)封裝為相應(yīng)的PCIe報文或者將PCIe報文解碼，并通過PCIe總線在系統(tǒng)和上位PC機之間高速傳送數(shù)據(jù);性能監(jiān)測模塊，用于監(jiān)測VDMA模塊、存儲器和PCIe模塊的數(shù)據(jù)傳輸吞吐率。
[0056]本系統(tǒng)視頻處理步驟如下:
[0057]步驟I，從外部視頻源或者上位PC機獲取高清原始視頻數(shù)據(jù)，并通過VDMA模塊傳送到系統(tǒng)存儲器中；步驟2，視頻處理模塊通過與之相連的VDMA模塊從存儲器中讀取高清視頻，并進行一系列復(fù)雜的視頻圖像處理操作;步驟3，已處理完畢的數(shù)據(jù)通過PCIe模塊以DMA方式高速傳輸?shù)缴衔籔C機進行顯示和存儲。
[0058]本實施例為應(yīng)對不同的工作環(huán)境具備了處理實時采集視頻信號的在線模式和處理來自上位PC機歷史數(shù)據(jù)的離線模式，具體數(shù)據(jù)流向如下:
[0059]在線模式下，由視頻輸入接口模塊采集外部實時視頻源之后進入時序檢測子模塊進行檢測、判斷和提取有效的屏幕數(shù)據(jù)，隨后由格式轉(zhuǎn)換子模塊將原始視頻數(shù)據(jù)轉(zhuǎn)換成更加容易進行視頻圖像處理的數(shù)據(jù)格式之后，由VDMA模塊負(fù)責(zé)把采集到的數(shù)據(jù)進行傳送，最后到達系統(tǒng)存儲器中。視頻處理模塊從系統(tǒng)存儲器中讀取采集的原始數(shù)據(jù)之后，進行一系列的視頻圖像處理操作，并通過VDMA模塊將處理完畢數(shù)據(jù)發(fā)送到存儲器中，最后由PCIe模塊進行相應(yīng)的封裝之后高速傳送到上位PC機。
[0060]離線模式下，PCIe模塊接收上位PC機發(fā)送過來的原始視頻數(shù)據(jù)包，進行解析之后，將其發(fā)送到FIFO模塊中，最后由VDMA模塊傳送到系統(tǒng)存儲器中。視頻處理模塊從存儲器中讀取原始數(shù)據(jù)之后進行相應(yīng)處理之后，最后由PCIe模塊將已處理數(shù)據(jù)回傳到上位PC機。[0061 ]其中視頻輸入模塊包括:視頻輸入接口模塊，用于接收外部圖像傳感器采集的實時視頻數(shù)據(jù);時序檢測子模塊，用于接收視頻輸入接口模塊采集的實時數(shù)據(jù)并檢測實時視頻數(shù)據(jù)的行場信號，根據(jù)這些信號判斷視頻圖像的分辨率，并提取有效的屏幕數(shù)據(jù);格式轉(zhuǎn)換子模塊，將提取的有效的屏幕數(shù)據(jù)由YUV格式轉(zhuǎn)換為容易進行圖像處理的RGB數(shù)據(jù)格式。
[0062]其中VDMA模塊包括:寫通道S2MM，用于將視頻幀信號寫入到系統(tǒng)存儲器中；讀通道MM2S，用于從系統(tǒng)存儲器中讀取視頻幀信號;數(shù)據(jù)搬運器子單元，在控制邏輯子單元的控制下執(zhí)行具體的DMA視頻數(shù)據(jù)迀移操作;控制邏輯子單元，接收PS處理系統(tǒng)發(fā)出的配置信號來控制整個VDMA模塊的工作。
[0063]其中視頻處理模塊包括:DPC子單元，用于檢測和修正輸入視頻的缺陷像素;CFA子單元，通過插值恢復(fù)視頻幀中每個像素點的其余兩種顏色分量，優(yōu)化圖像細(xì)節(jié)的明銳度；CCM子單元，對RGB圖像進行色彩校正操作，包括調(diào)節(jié)白平衡、色偏、亮度、對比度;Gamma子單元，對視頻幀進行Gamma校正，減少視頻失真程度;RGB2YUV子單元，將RGB色域空間信號轉(zhuǎn)化為YUV色域空間信號;Enhance子模塊，執(zhí)行視頻圖像邊緣增強和降噪處理，最后進行輸出。
[0064]其中PCIe模塊包括:集成PCIe子模塊，用于將視頻幀信號、控制信號封裝為PCIe報文格式，接收上位PC機發(fā)送的事務(wù)層數(shù)據(jù)包并解碼;PCIe DMA子模塊，為系統(tǒng)和上位PC機之間高速傳送數(shù)據(jù)提供控制邏輯和數(shù)據(jù)傳輸通道，包括:接收模塊，接收上位PC機發(fā)送過來的原始視頻數(shù)據(jù)，解析完成之后發(fā)送到FIFO模塊中；發(fā)送模塊，接收FIFO模塊發(fā)送過來的已處理完畢數(shù)據(jù)，并將其發(fā)送到上位PC機;DMA控制、狀態(tài)模塊，接收PS處理系統(tǒng)的讀寫控制信號，控制發(fā)送和接收模塊的具體工作。
[0065]其中PS處理系統(tǒng)通過AXI互聯(lián)模塊對整個系統(tǒng)的其余模塊進行控制和管理操作。
[0066]為了保證對系統(tǒng)進行實時監(jiān)控，本實施例還設(shè)置了性能監(jiān)測單元，分別用于監(jiān)測三個高性能的HP0、HP1、HP2端口和PCIe模塊的數(shù)據(jù)傳輸吞吐率，具體通過計數(shù)器計算有效的數(shù)據(jù)傳輸次數(shù)來計算每秒數(shù)據(jù)量，并將該數(shù)值加載到寄存器中供上位PC機讀取。
【主權(quán)項】
1.一種基于Zynq平臺的高性能視頻處理及傳輸系統(tǒng)，設(shè)置于外部視頻源和上位PC機之間，其特征在于，所述高性能視頻處理系統(tǒng)包括: PS處理系統(tǒng):用于控制和管理整個高性能視頻處理系統(tǒng)； 存儲器模塊，用于視頻圖像的暫存； PL可編程邏輯模塊； 所述的PS處理系統(tǒng)分別與PL可編程邏輯模塊和存儲器通信連接； PL可編程邏輯模塊包括: 視頻輸入模塊，用于采集外部視頻源信號中的有效屏幕數(shù)據(jù)； VDMA模塊，通過PS處理系統(tǒng)完成PL可編程邏輯模塊和存儲器間的高速視頻數(shù)據(jù)交互； AXI互聯(lián)模塊，用于PL可編程邏輯模塊和PS處理系統(tǒng)的互連； 視頻處理模塊，完成視頻處理功能； PCIe模塊，用于將視頻幀數(shù)據(jù)封裝為相應(yīng)的PCIe報文或者將PCIe報文解碼，并通過PCIe總線在系統(tǒng)和上位PC機之間高速傳送數(shù)據(jù)； 性能監(jiān)測模塊，用于監(jiān)測VDMA模塊、存儲器和PCIe模塊的數(shù)據(jù)傳輸吞吐率。2.如權(quán)利要求1所述的高性能視頻處理及傳輸系統(tǒng)，其特征在于，所述系統(tǒng)具備兩種不同的工作模式:處理實時采集視頻信號的在線模式和處理來自上位PC機歷史數(shù)據(jù)的離線模式，其中: 所述在線模式，視頻輸入模塊從外部視頻源采集有效的屏幕數(shù)據(jù)，檢測視頻數(shù)據(jù)的行場信號并判斷分辨率，并通過VDMA模塊將采集到的視頻高速發(fā)送到存儲器中供視頻處理模塊進行處理，最后將處理完畢數(shù)據(jù)再通過PCIe模塊封裝，并上傳到上位PC機進行顯示和存儲； 所述離線模式，PCIe模塊直接接收上位PC機發(fā)送過來的原始視頻數(shù)據(jù)，解碼之后通過VDMA模塊將其發(fā)送到存儲器中，視頻處理模塊從存儲器中獲取原始數(shù)據(jù)進行高速處理，最后將處理完畢數(shù)據(jù)由PCIe模塊封裝并回傳給上位PC機顯示和存儲。3.如權(quán)利要求1所述的高性能視頻處理及傳輸系統(tǒng)，其特征在于，所述視頻輸入模塊包括: 視頻輸入接口模塊，用于接收外部圖像傳感器采集的實時視頻數(shù)據(jù)； 時序檢測子模塊，用于接收視頻輸入接口模塊采集的實時數(shù)據(jù)并檢測實時視頻數(shù)據(jù)的行場信號，根據(jù)這些信號判斷視頻圖像的分辨率，并提取有效的屏幕數(shù)據(jù)； 格式轉(zhuǎn)換子模塊，將提取的有效的屏幕數(shù)據(jù)由YUV格式轉(zhuǎn)換為容易進行圖像處理的RGB數(shù)據(jù)格式。4.如權(quán)利要求1所述的高性能視頻處理及傳輸系統(tǒng)，其特征在于，所述VDMA模塊包括: 寫通道S2MM，用于將視頻幀信號寫入到系統(tǒng)存儲器中； 讀通道MM2S，用于從系統(tǒng)存儲器中讀取視頻幀信號； 數(shù)據(jù)搬運器子單元，在控制邏輯子單元的控制下執(zhí)行具體的DMA視頻數(shù)據(jù)迀移操作； 控制邏輯子單元，接收PS處理系統(tǒng)發(fā)出的配置信號來控制整個VDMA模塊的工作。5.如權(quán)利要求1所述的高性能視頻處理及傳輸系統(tǒng)，其特征在于，所述視頻處理模塊包括: DPC子單元，用于檢測和修正輸入視頻的缺陷像素； CFA子單元，通過插值恢復(fù)視頻幀中每個像素點的其余兩種顏色分量，優(yōu)化圖像細(xì)節(jié)的明銳度； CCM子單元，對RGB圖像進行色彩校正操作，包括調(diào)節(jié)白平衡、色偏、亮度、對比度； Gamma子單元，對視頻幀進行Gamma校正，減少視頻失真程度； RGB2YUV子單元，將RGB色域空間信號轉(zhuǎn)化為YUV色域空間信號； Enhance子模塊，執(zhí)行視頻圖像邊緣增強和降噪處理，最后進行輸出。6.如權(quán)利要求1所述的高性能視頻處理及傳輸系統(tǒng)，其特征在于，所述PCIe模塊包括: 集成PCIe子模塊，用于將視頻幀信號、控制信號封裝為PCIe報文格式，接收上位PC機發(fā)送的事務(wù)層數(shù)據(jù)包并解碼； PCIe DMA子模塊，為系統(tǒng)和上位PC機之間高速傳送數(shù)據(jù)提供控制邏輯和數(shù)據(jù)傳輸通道，包括: 接收模塊，接收上位PC機發(fā)送過來的原始視頻數(shù)據(jù)，解析完成之后發(fā)送到FIFO模塊中；發(fā)送模塊，接收FIFO模塊發(fā)送過來的已處理完畢數(shù)據(jù)，并將其發(fā)送到上位PC機;DMA控制、狀態(tài)模塊，接收PS處理系統(tǒng)的讀寫控制信號，控制發(fā)送和接收模塊的具體工作。7.如權(quán)利要求1所述的高性能視頻處理及傳輸系統(tǒng)，其特征在于，所述PS處理系統(tǒng)通過AXI互聯(lián)模塊對整個系統(tǒng)的其余模塊進行控制和管理操作。8.如權(quán)利要求1所述的高性能視頻處理及傳輸系統(tǒng)，其特征在于，所述性能監(jiān)測單元，分別用于監(jiān)測三個高性能的HP0、HP1、HP2端口和PCIe模塊的數(shù)據(jù)傳輸吞吐率，具體通過計數(shù)器計算有效的數(shù)據(jù)傳輸次數(shù)來計算每秒數(shù)據(jù)量，并將該數(shù)值加載到寄存器中供上位PC機讀取。
【文檔編號】H04N5/76GK106060462SQ201610413861
【公開日】2016年10月26日
【申請日】2016年6月13日
【發(fā)明人】徐德剛, 劉育峰, 蔡海明, 謝攀攀, 陽春華, 謝永芳, 桂衛(wèi)華
【申請人】中南大學(xué)