本發(fā)明屬視頻圖像應(yīng)用技術(shù)領(lǐng)域，涉及高分辨率視頻流數(shù)據(jù)的存儲，具體是一種視頻流像素級數(shù)據(jù)隨機實時訪問的存儲器及存儲方法。

二、

背景技術(shù)：

在視頻圖像應(yīng)用領(lǐng)域，數(shù)據(jù)流高分辨率視頻流像素級數(shù)據(jù)隨機實時訪問在視頻圖像的生成中必不可少，隨機實時訪問的流暢性、像素時鐘周期、讀取數(shù)據(jù)效率直接關(guān)系視頻圖像的質(zhì)量。

對于高分辨率視頻流數(shù)據(jù)處理系統(tǒng)來說，其中的存儲單元，除了需要足夠的存儲空間，足夠的數(shù)據(jù)訪問帶寬外，還需要將輸入圖像的像素數(shù)據(jù)能夠在幀內(nèi)的全部像素地址隨機讀寫，這種隨機讀寫功能對于圖像數(shù)據(jù)的全屏像素映射變換是必須的。

輸出圖像的每個像素點來自于源圖像數(shù)據(jù)的多個像素點的數(shù)據(jù)組合?，F(xiàn)有技術(shù)中，每個輸出圖像像素點所需要的源圖像四個像素點是相鄰的，但其在源圖像上的位置可能是隨機的，所以，依據(jù)算法提供的源圖像像素點的地址，再從存儲器中讀出此目的像素點所需要的四個像素點數(shù)據(jù)。

對于高分辨率視頻流數(shù)據(jù)的存儲，視頻流每幀圖像的像素點RGB值(24bit)由輸入圖像某相鄰的四個像素點按所占比例通過乘加運算獲得，即輸出圖像像素數(shù)據(jù)按此算法逐像素點、逐行生成輸出圖像的各個像素點。也就是說，每生成一個目的像素點都需要進行四次數(shù)據(jù)讀操作。一般源圖像存儲在SRAM中，獲取此四個像素點不僅需要耗費四倍的像素時鐘周期，還需要大容量SRAM來儲存，而大容量SRAM價格昂貴，對于處理高分辨率的圖像，特別是像素級數(shù)據(jù)的存儲，現(xiàn)有技術(shù)存在明顯的不足，不能滿足高分辨視頻圖像日益發(fā)展的需求。

三、

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是針對現(xiàn)有技術(shù)數(shù)據(jù)讀取周期長，需用大容量SRAM來儲存、價格昂貴的不足，提供一種能減少數(shù)據(jù)獲取周期和時間，降低存儲模塊費用，滿足隨機實時訪問的高分辨率視頻流數(shù)據(jù)的存儲器及存儲方法。

本發(fā)明的基本思路是：設(shè)置兩組模塊組合，每組由兩塊QDR2存儲模塊組成的存儲器，設(shè)置按照圖像數(shù)據(jù)相鄰的兩個奇行、偶行設(shè)置奇行存儲單元和偶行存儲單元。將圖像數(shù)據(jù)按照奇行、偶行分別存儲在不同存儲模塊單元中。兩組存儲單元采用乒乓緩存的方式分別存儲一半奇幀，一半偶幀并行工作，實現(xiàn)視頻流實時處理。使用像素數(shù)據(jù)冗余存儲的方法，在寫入數(shù)據(jù)過程中，將三個像素數(shù)據(jù)組合形成72bit的一次寫數(shù)據(jù)，除每行的第一次寫除外，每次寫都將上次的最后一個像素重復(fù)寫一次，確保每組的每次數(shù)據(jù)訪問是按兩個數(shù)據(jù)突發(fā)方式讀寫有效，實現(xiàn)用一個像素時鐘周期，同時讀寫4個像素值，滿足隨機實時訪問的高分辨率視頻流數(shù)據(jù)的存儲應(yīng)用要求。

本發(fā)明的目的是這樣達到的：

視頻流像素級數(shù)據(jù)隨機實時訪問的存儲器基于高性能圖像處理平臺應(yīng)用，平臺以FPGA為控制器。

存儲器為相同結(jié)構(gòu)的兩組模塊組成，每一組模塊采用兩塊相同的數(shù)據(jù)突發(fā)讀寫B(tài)urst 2的QDR2存儲模塊組合擴展構(gòu)成模塊組合，兩塊QDR2存儲模塊通過地址總線組、時鐘信號線組、控制信號線組和數(shù)據(jù)總線組并聯(lián)在一起，控制信號對兩塊QDR2存儲模塊同時進行控制。

在每一組存儲模塊組合中，設(shè)置結(jié)構(gòu)完全相同、專用于每次圖像數(shù)據(jù)訪問按兩個數(shù)據(jù)突發(fā)方式讀寫的存儲單元；存儲器的兩組存儲模塊組合分別按照圖像數(shù)據(jù)相鄰的兩個奇行、偶行設(shè)置為奇行存儲單元(QDR2_1)和偶行存儲單元(QDR2_2)，分別在(QDR2_1)中存儲奇行數(shù)據(jù)，在(QDR2_2)中存儲偶行數(shù)據(jù)。

在每一組QDR2存儲模塊組合中，所述兩塊QDR2存儲模塊通過地址總線組、時鐘信號線組、控制信號線組和數(shù)據(jù)總線組并聯(lián)在一起，設(shè)置以下線組：

(1)時鐘信號線組三組：c1_qdr_c[0]，c1_qdr_c_n[0]是讀差分時鐘；c1_qdr_cq[0]，c1_qdr_cq_n[0]是讀有效差分時鐘；c1_qdr_k[0]，c1_qdr_k_n[0]是讀寫地址、讀寫控制差分時鐘；

(2)數(shù)據(jù)總線組兩組；c1_qdr_d[0:35]是36位輸入數(shù)據(jù)，c1_qdr_q[0:35]是6位輸出數(shù)據(jù)；

(3)地址總線組一組：c1_qdr_sa[20:0]，由于兩個數(shù)據(jù)突發(fā)讀寫(Burst2)的特點，4M地址空間的總線寬度為21根；

(4)控制信號一組：c1_qdr_bw_n[0]，c1_qdr_bw_n[1]，c1_qdr_bw_n[2]c1_qdr_bw_n[3]是字節(jié)有效控制，每個字節(jié)是9個bit位，兩片QDR2分別對應(yīng)低18位數(shù)據(jù)和高18位數(shù)據(jù)；c1_qdr_r_n是讀控制信號；c1_qdr_w_n是寫控制信號。

所述每一組模塊組合采用兩塊相同的數(shù)據(jù)突發(fā)讀寫B(tài)urst 2的QDR2存儲模塊組合擴展構(gòu)成，每一塊QDR2存儲模塊空間大小為4M×18bit，每一組QDR2存儲模塊的空間大小為4M×36bit,兩組模塊組合組成的存儲器空間大小為4M×72bit，數(shù)據(jù)訪問帶寬為36bit×2×2×300MHz＝43.2Gbps；

每個奇行、偶行存儲單元存儲像素數(shù)據(jù)結(jié)構(gòu)相同的3個像素數(shù)據(jù)，每個像素數(shù)據(jù)結(jié)構(gòu)帶寬為24bit。

視頻流像素級數(shù)據(jù)隨機實時訪問的存儲器的存儲方法，其特征在于：

存儲器為相同結(jié)構(gòu)的兩組模塊組成，每一組模塊采用兩塊相同的數(shù)據(jù)突發(fā)讀寫B(tài)urst 2的QDR2存儲模塊組合擴展構(gòu)成模塊組合，兩塊QDR2存儲模塊通過地址總線組、時鐘信號線組、控制信號線組和數(shù)據(jù)總線組并聯(lián)在一起，控制信號對兩塊QDR2存儲模塊同時進行控制。

存儲器的每一組存儲模塊組合中，圖像數(shù)據(jù)按照相鄰的兩個奇行、偶行分別存儲在奇行存儲單元QDR2_1和偶行存儲單元QDR2_2，在QDR2_1中存儲奇行數(shù)據(jù)，在QDR2_2中存儲偶行數(shù)據(jù)，兩組存儲單元采用乒乓緩存的方式分別存儲奇幀一半圖像數(shù)據(jù)，偶幀一半圖像數(shù)據(jù)并行工作，實現(xiàn)視頻流實時處理。

每次圖像數(shù)據(jù)訪問按兩個數(shù)據(jù)突發(fā)方式讀寫的方式進行；每次數(shù)據(jù)訪問均按兩個數(shù)據(jù)突發(fā)方式Burst 2讀寫，每個數(shù)據(jù)位寬是36bit，兩個數(shù)據(jù)構(gòu)成72位位寬，拼接成每個像素數(shù)據(jù)結(jié)構(gòu)位寬為24bit的3個像素數(shù)據(jù)結(jié)構(gòu)。

使用像素數(shù)據(jù)冗余存儲的方法，在寫入數(shù)據(jù)過程中，將三個像素數(shù)據(jù)組合形成72bit的一次寫數(shù)據(jù)，除每行的第一次寫除外，每次寫都將上次的最后一個像素重復(fù)寫一次。

在寫入像素數(shù)據(jù)過程中，按照每個存儲模塊的每次訪問按兩個數(shù)據(jù)突發(fā)方式Burst 2讀寫，兩個數(shù)據(jù)的位寬共有72位，正好是三個像素位寬，存儲方式是將兩個數(shù)據(jù)中第一個的低24位對應(yīng)放三個像素中的第1個；兩個數(shù)據(jù)中的第二個的低24位對應(yīng)放三個像素中的第2個；第三個像素的高低12位分別放在兩個數(shù)據(jù)中的高12位空間。

在存儲器的兩組模塊中，圖像數(shù)據(jù)以奇行、偶行排列，當(dāng)圖像數(shù)據(jù)像素為2560×1600時，設(shè)第1、2行為分別存儲到兩個模塊組合中，3、4行分別存儲到兩個模塊組合中，依次類推，每組的奇行和偶行對應(yīng)像素的存儲器寫地址相同；第一行地址為0—(2560/2-1)，第二行也是0—(2560/2-1)；第3行地址為2560/2—(5120/2-1)，第4行也是2560/2—(5120/2-1)；依次類推，兩組存儲單元并行工作，實現(xiàn)乒乓方式的緩存機制和視頻流實時處理。

本發(fā)明的積極效果是：

1、利用每次冗余存儲的一個像素數(shù)據(jù)，來確保Burst 2突發(fā)方式讀寫有效，進而結(jié)合這種存儲結(jié)構(gòu)，實現(xiàn)用一個像素時鐘周期，同時讀寫4個像素值，大幅降低視頻流數(shù)據(jù)隨機實時訪問的時鐘周期，大幅提高視頻流數(shù)據(jù)隨機實時訪問的質(zhì)量，解決了現(xiàn)有技術(shù)中每生成一個目的像素點都需要進行四次數(shù)據(jù)讀操作，獲取此四個像素點需要耗費四倍的像素時鐘周期的技術(shù)難題。

2、本發(fā)明采用圖像數(shù)據(jù)奇行、偶行分別存儲的方式，數(shù)據(jù)訪問在不浪費帶寬資源的情況下，存儲空間得到充分利用，降低存儲器空間占用。

3、使用QDR2存儲模塊組成存儲模塊組合，在由存儲模塊組合構(gòu)成存儲器，解決了現(xiàn)有技術(shù)使用大容量SRAM價格昂貴的問題，有利于市場發(fā)展。

四、附圖說明

圖1是現(xiàn)有技術(shù)中四個像素點數(shù)據(jù)在源圖像中的位置排列狀況。

圖2是本發(fā)明的存儲器結(jié)構(gòu)示意圖。

圖3-圖4是本發(fā)明QDR2存儲模塊組合的實際電路原理圖。

圖5是圖像數(shù)據(jù)奇偶行像素連續(xù)寫組合形式。

圖6是寫3個像素的bit位組合形式。

圖7是圖像數(shù)據(jù)的奇行、偶行和奇偶幀在本發(fā)明的存儲器中存放示意圖。

五、具體實施方式

本實施例基于應(yīng)用視頻流圖像最大分辨率(2560×1600)，60Hz刷新率，需要的存儲空間：2560×1600×3×8bits＝11.72M bytes，圖像數(shù)據(jù)的訪問帶寬：2560×1600×60×24(bit)×4(4個像素點)＝23.6Gbps。

由于采用圖像數(shù)據(jù)流奇行、偶行分別存儲的方式，用于存儲圖像數(shù)據(jù)的存儲器不小于23.44MB。

參見附圖1。

現(xiàn)有技術(shù)中，對視頻流像素級數(shù)據(jù)隨機實時訪問，每個輸出圖像像素點所需要的源圖像四個像素點是相鄰的，但其在源圖像上的位置可能是隨機的。所以，依據(jù)源圖像像素點的地址，從存儲器中讀出此目的像素點所需要的四個像素點數(shù)據(jù)。四個像素點數(shù)據(jù)在源圖像中的位置排列狀況如圖1所示，如果每次讀取上下并列相鄰的兩個像素點，每生成一個目的像素點都需要進行四次數(shù)據(jù)讀操作。如果源圖像存儲在SRAM中，獲取此四個像素點需要耗費四倍的像素時鐘周期。另外，大容量SRAM價格昂貴，對于處理高分辨率的圖像，常規(guī)存儲技術(shù)不可行。

因此，提供一種能減少圖像數(shù)流存儲時間周期，大幅降低存儲模塊費用，滿足隨機實時訪問的高分辨率視頻流數(shù)據(jù)的存儲器及存儲方法非常必要。

參見附圖2～圖4。

本發(fā)明的視頻流像素級數(shù)據(jù)隨機實時訪問的存儲器基于高性能圖像處理平臺應(yīng)用，平臺以FPGA為控制器。存儲器選用具有讀寫?yīng)毩⒌膬商讛?shù)據(jù)總線，36bit/套，時鐘雙采樣，300MHz，并且按兩個數(shù)據(jù)突發(fā)讀寫B(tài)urst 2的QDR2存儲器。顯然，這種突發(fā)讀寫的兩個數(shù)據(jù)就是對應(yīng)相鄰兩個像素的。

存儲器為相同結(jié)構(gòu)的兩組模塊組成，每一組模塊采用兩塊相同的數(shù)據(jù)突發(fā)讀寫B(tài)urst 2的QDR2存儲模塊組合擴展構(gòu)成模塊組合，兩塊QDR2存儲模塊通過地址總線組、時鐘信號線組、控制信號線組和數(shù)據(jù)總線組并聯(lián)在一起，控制信號對兩塊QDR2存儲模塊同時進行控制。

在每一組存儲模塊組合中，設(shè)置結(jié)構(gòu)完全相同、專用于每次圖像數(shù)據(jù)訪問按兩個數(shù)據(jù)突發(fā)方式讀寫的存儲單元。存儲器的兩組存儲模塊組合分別按照圖像數(shù)據(jù)相鄰的兩個奇行、偶行設(shè)置為奇行存儲單元QDR2_1和偶行存儲單元QDR2_2，分別在QDR2_1中存儲奇行數(shù)據(jù)，在QDR2_2中存儲偶行數(shù)據(jù)，兩組存儲單元并行工作。兩組存儲單元采用乒乓緩存的方式分別存儲一半圖像數(shù)據(jù)奇幀，一半圖像數(shù)據(jù)偶幀并行工作，實現(xiàn)視頻流實時處理。

在每一組QDR2存儲模塊組合中，設(shè)置以下數(shù)據(jù)連接：

(1)時鐘信號線組三組：c1_qdr_c[0]，c1_qdr_c_n[0]是讀差分時鐘；c1_qdr_cq[0]，c1_qdr_cq_n[0]是讀有效差分時鐘；c1_qdr_k[0]，c1_qdr_k_n[0]是讀寫地址、讀寫控制差分時鐘；

(2)數(shù)據(jù)總線組兩組；c1_qdr_d[0:35]是36位輸入數(shù)據(jù)，c1_qdr_q[0:35]是6位輸出數(shù)據(jù)；

(3)地址總線組一組：c1_qdr_sa[20:0]，由于兩個數(shù)據(jù)突發(fā)讀寫(Burst 2)的特點，4M地址空間的總線寬度為21根；

(4)控制信號一組：c1_qdr_bw_n[0]，c1_qdr_bw_n[1]，c1_qdr_bw_n[2]c1_qdr_bw_n[3]是字節(jié)有效控制，每個字節(jié)是9個bit位，兩片QDR2分別對應(yīng)低18位數(shù)據(jù)和高18位數(shù)據(jù)；c1_qdr_r_n是讀控制信號；c1_qdr_w_n是寫控制信號。

參見圖5、圖6。

按照視頻流圖像像素的奇行、偶行分別將圖像數(shù)據(jù)存儲在存儲器的兩組奇行存儲單元QDR2_1和偶行存儲單元QDR2_2；每個存儲單元存儲像素數(shù)據(jù)結(jié)構(gòu)相同、帶寬為24bit3個像素數(shù)據(jù)3個；在每組4M×36bit的QDR2存儲單元中，每組的每次數(shù)據(jù)訪問均按兩個數(shù)據(jù)突發(fā)方式讀寫B(tài)urst 2，每個數(shù)據(jù)位寬是36bit，兩個數(shù)據(jù)構(gòu)成72bit位寬，拼接成每個像素數(shù)據(jù)結(jié)構(gòu)帶寬為24bit的3個像素數(shù)據(jù)結(jié)構(gòu)；

使用像素數(shù)據(jù)冗余存儲的方法，在寫入數(shù)據(jù)過程中，將三個像素數(shù)據(jù)組合形成72bit的一次寫數(shù)據(jù)，除每行的第一次寫除外，每次寫都將上次的最后一個像素重復(fù)寫一次。

如圖5所示，本實施例中，在QDR2-1中存儲奇行像素，在QDR2-2中存儲偶行像素。第一次存儲012，第2次存儲寫入時，重復(fù)第一次的最后一個像素“2”，第3次重復(fù)上一次的“4”，以此類推，直至寫入完成。

參見附圖6。

在寫入像素中，在寫入像素數(shù)據(jù)過程中，按照每個存儲模塊的每次訪問按兩個數(shù)據(jù)突發(fā)方式Burst 2讀寫，兩個數(shù)據(jù)的位寬共有72位，正好是三個像素位寬，存儲方式是將兩個數(shù)據(jù)中第一個的低24位對應(yīng)放三個像素中的第1個；兩個數(shù)據(jù)中的第二個的低24位對應(yīng)放三個像素中的第2個；第三個像素的高低12位分別放在兩個數(shù)據(jù)中的高12位空間。

參見附圖7。本實施例的圖像數(shù)據(jù)的奇行、偶行和奇、偶幀在存儲器中存放示意。在存儲器的兩組模塊中，圖像數(shù)據(jù)以奇行、偶行排列，當(dāng)圖像數(shù)據(jù)像素為2560×1600時，設(shè)第1、2行，即奇行、偶行，分別存儲到兩個模塊組合的奇行存儲單元QDR2_1和偶行存儲單元QDR2_2中，3、4行分別存儲到兩個模塊組合奇行存儲單元QDR2_1和偶行存儲單元QDR2_2中，依次類推，每組的奇行和偶行對應(yīng)像素的存儲器寫地址相同；第一行地址為0—(2560/2-1)，第二行也是0—(2560/2-1)；第3行地址為2560/2—(5120/2-1)，第4行也是2560/2—(5120/2-1)；依次類推。同時，兩組存儲單元采用乒乓緩存的方式分別存儲一半奇幀，一半偶幀并行工作。實現(xiàn)視頻流實時處理。

由上可知，QDR存儲單元的數(shù)據(jù)訪問在沒有浪費帶寬資源的情況下，存儲空間充分利用。本存儲單元的特點正是利用每次冗余存儲的一個像素數(shù)據(jù)，來確保Burst 2突發(fā)方式讀寫有效，進而結(jié)合這種存儲結(jié)構(gòu)，實現(xiàn)用一個像素時鐘周期，同時讀寫4個像素值，滿足高分辨率視頻流像素級數(shù)據(jù)隨機實時訪問的應(yīng)用要求。