基于異構(gòu)平臺(tái)的全景視頻處理系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種處理系統(tǒng)及方法，具體地，涉及一種基于異構(gòu)平臺(tái)的全景視頻處理系統(tǒng)及方法。
【背景技術(shù)】
[0002]全景視頻處理系統(tǒng)是通過圖形拼接法或折反射面成像法采集得到360度全景視頻數(shù)據(jù)，將數(shù)據(jù)無(wú)縫地映射到實(shí)景空間的內(nèi)表面，從而建立起二維的數(shù)字實(shí)景空間。全景視頻處理系統(tǒng)分為視頻采集、視頻處理、視頻輸出三部分。
[0003]現(xiàn)有的大部分全景視頻處理系統(tǒng)在圖像處理時(shí)需要配備基于windows操作系統(tǒng)及X86架構(gòu)CPU的上位機(jī)，由上位機(jī)進(jìn)行多幅圖像拼接或折反射面展開的處理，無(wú)法適用于功耗低、體積小的場(chǎng)合。

【發(fā)明內(nèi)容】

[0004]針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于異構(gòu)平臺(tái)的全景視頻處理系統(tǒng)及方法，其適用于功耗低、體積小的場(chǎng)合。
[0005]根據(jù)本發(fā)明的一個(gè)方面，提供一種基于異構(gòu)平臺(tái)的全景視頻處理系統(tǒng)，其特征在于，包括相互連接的全方位視覺傳感器和視頻處理板，視頻處理板包括FPGA芯片、嵌入式視頻處理芯片、第三存儲(chǔ)器、第二存儲(chǔ)器，第三存儲(chǔ)器、FPGA芯片都與嵌入式視頻處理芯片連接，第二存儲(chǔ)器與FPGA芯片連接，F(xiàn)PGA芯片包括依次連接的色彩空間轉(zhuǎn)換模塊、采集數(shù)據(jù)緩沖模塊、處理器、第一存儲(chǔ)器，嵌入式視頻處理芯片包括依次連接的數(shù)據(jù)輸出模塊、系統(tǒng)控制模塊、數(shù)據(jù)編碼模塊。
[0006]優(yōu)選地，所述全方位視覺傳感器由折反射成像裝置及CMOS傳感器組成。
[0007]優(yōu)選地，所述FPGA芯片作為從處理芯片，負(fù)責(zé)完成圖像采集、色彩空間轉(zhuǎn)換、傳輸控制等簡(jiǎn)單的信號(hào)預(yù)處理操作，F(xiàn)PGA內(nèi)置的處理器執(zhí)行折反射面展開算法并將處理好的數(shù)據(jù)存放于第二存儲(chǔ)器中。
[0008]優(yōu)選地，所述第三存儲(chǔ)器由系統(tǒng)控制模塊、數(shù)據(jù)編碼模塊及數(shù)據(jù)輸出模塊共享。
[0009]優(yōu)選地，所述系統(tǒng)控制模塊負(fù)責(zé)讀取第一存儲(chǔ)器中的視頻數(shù)據(jù)并將其放入未處理數(shù)據(jù)段中；數(shù)據(jù)編碼模塊讀取這些數(shù)據(jù)進(jìn)行視頻數(shù)據(jù)的編碼并將其放入已處理數(shù)據(jù)段中；數(shù)據(jù)輸出模塊負(fù)責(zé)將已處理數(shù)據(jù)段中的數(shù)據(jù)通過以太網(wǎng)發(fā)送至播放器。
[0010]本發(fā)明還提供一種基于異構(gòu)平臺(tái)的全景視頻處理方法，其特征在于，其包括以下步驟:
[0011]步驟一，首先嵌入式視頻處理芯片作為系統(tǒng)主控芯片，負(fù)責(zé)完成自身系統(tǒng)控制模塊、數(shù)據(jù)編碼模塊、第三存儲(chǔ)器、數(shù)據(jù)輸出模塊的初始化；
[0012]步驟二，嵌入式視頻處理芯片復(fù)位FPGA芯片，F(xiàn)PGA芯片初始化內(nèi)部時(shí)鐘，而后初始化色彩空間轉(zhuǎn)換模塊、采集數(shù)據(jù)緩沖模塊、處理器及第一存儲(chǔ)器，處理器加載折反射面展開程序；
[0013]步驟三，F(xiàn)PGA芯片以一定的幀率采集全方位視覺傳感器的數(shù)據(jù)，采集到的數(shù)據(jù)在色彩空間轉(zhuǎn)換模塊中轉(zhuǎn)換為處理器可識(shí)別的圖像格式，經(jīng)由采集數(shù)據(jù)緩沖模塊送入第二存儲(chǔ)器中，第二存儲(chǔ)器以乒乓緩沖的形式分別存儲(chǔ)奇數(shù)幀及偶數(shù)幀圖像數(shù)據(jù)，F(xiàn)PGA硬核處理器按照奇偶的順序讀取圖像數(shù)據(jù)，進(jìn)行折反射面展開處理；
[0014]步驟四，嵌入式視頻處理芯片通過EMIF接口讀取經(jīng)FPGA芯片處理好的圖像數(shù)據(jù)，由系統(tǒng)控制模塊調(diào)用數(shù)據(jù)編碼模塊進(jìn)行H.264編碼，而后系統(tǒng)控制模塊108通過共享的第三存儲(chǔ)器讀取這些數(shù)據(jù)，對(duì)圖像數(shù)據(jù)進(jìn)行流媒體處理，通過數(shù)據(jù)輸出模塊對(duì)外輸出。
[0015]與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果:一，本發(fā)明處理性能強(qiáng)，整個(gè)系統(tǒng)核心處理器件由FPGA及達(dá)芬奇視頻處理器組成，由FPGA內(nèi)置硬核實(shí)現(xiàn)折反射面展開算法，由達(dá)芬奇芯片內(nèi)置DSP實(shí)現(xiàn)視頻編碼；二，本發(fā)明功耗低，板卡核心硬件均為低功耗設(shè)計(jì)，視頻處理卡功耗不大于20W，遠(yuǎn)低于X86架構(gòu)的視頻處理系統(tǒng)；三，本發(fā)明設(shè)備體積小，整板體積可以控制在3U標(biāo)準(zhǔn)結(jié)構(gòu)內(nèi)。
【附圖說明】
[0016]通過閱讀參照以下附圖對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯:
[0017]圖1為本發(fā)明基于異構(gòu)平臺(tái)的全景視頻處理系統(tǒng)的原理框圖。
[0018]圖2為本發(fā)明基于異構(gòu)平臺(tái)的全景視頻處理方法的流程圖。
【具體實(shí)施方式】
[0019]下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對(duì)本領(lǐng)域的普通技術(shù)人員來(lái)說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。
[0020]如圖1所示，本發(fā)明基于異構(gòu)平臺(tái)的全景視頻處理系統(tǒng)包括相互連接的全方位視覺傳感器和視頻處理板，視頻處理板包括FPGA芯片、嵌入式視頻處理芯片、第三存儲(chǔ)器、第二存儲(chǔ)器，第三存儲(chǔ)器、FPGA芯片都與嵌入式視頻處理芯片連接，第二存儲(chǔ)器與FPGA芯片連接，F(xiàn)PGA芯片包括依次連接的色彩空間轉(zhuǎn)換模塊、采集數(shù)據(jù)緩沖模塊、處理器、第一存儲(chǔ)器，嵌入式視頻處理芯片包括依次連接的數(shù)據(jù)輸出模塊、系統(tǒng)控制模塊、數(shù)據(jù)編碼模塊。全方位視覺傳感器由折反射成像裝置及CMOS傳感器組成。嵌入式視頻處理芯片為德州儀器公司的達(dá)芬奇型嵌入式視頻處理芯片。EMIF接口(外部存儲(chǔ)器接口)作為嵌入式視頻處理芯片與FPGA芯片的接口。FPGA芯片作為從處理芯片，負(fù)責(zé)完成圖像采集、色彩空間轉(zhuǎn)換、傳輸控制等簡(jiǎn)單的信號(hào)預(yù)處理操作，F(xiàn)PGA內(nèi)置的處理器執(zhí)行折反射面展開算法并將處理好的數(shù)據(jù)存放于第二存儲(chǔ)器中，待一幀圖像處理完成后，嵌入式視頻處理芯片經(jīng)EMIF接口將第二存儲(chǔ)器中數(shù)據(jù)搬移到第三存儲(chǔ)器中，調(diào)用H.264編碼算法及TS碼流封裝并將數(shù)據(jù)通過socket報(bào)文發(fā)送至遠(yuǎn)端流媒體播放器。第二存儲(chǔ)器和第三存儲(chǔ)器都采用DDR內(nèi)存。第一存儲(chǔ)器采用雙口 RAM(Random-Access Memory,隨機(jī)存取存儲(chǔ)器)。
[0021]全方位視覺傳感器采集的信號(hào)進(jìn)入FPGA芯片后，進(jìn)入色彩空間轉(zhuǎn)換模塊進(jìn)行格式轉(zhuǎn)換，生成可以