數(shù)據(jù)存儲控制器及其數(shù)據(jù)處理方法
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)存儲控制器及其數(shù)據(jù)處理方法。其中，數(shù)據(jù)存儲控制器包括：數(shù)據(jù)收發(fā)接口，用于接收第一數(shù)據(jù)，第一數(shù)據(jù)為用于待處理的數(shù)據(jù)；處理模塊，與數(shù)據(jù)收發(fā)接口相連接，處理模塊為通過現(xiàn)場可編程門陣列形成的處理模塊，用于對第一數(shù)據(jù)進行預設(shè)處理，得到第二數(shù)據(jù)；以及數(shù)據(jù)存儲接口，與處理模塊相連接，用于將第二數(shù)據(jù)輸出到存儲介質(zhì)，存儲介質(zhì)用于存儲第二數(shù)據(jù)。通過本發(fā)明，解決了現(xiàn)有技術(shù)中對海量數(shù)據(jù)存儲的效率低的問題，達到了提高海量數(shù)據(jù)存儲的效率的目的。
【專利說明】數(shù)據(jù)存儲控制器及其數(shù)據(jù)處理方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及服務(wù)器領(lǐng)域，具體而言，涉及一種數(shù)據(jù)存儲控制器及其數(shù)據(jù)處理方法。

【背景技術(shù)】
[0002]近年來由于DNA測序、云計算、電子商務(wù)等應用產(chǎn)生了海量數(shù)據(jù)的處理需求(傳輸、分析運算、存儲、加解密等)，如一家基因測序公司每天DNA數(shù)據(jù)增加約4TB，總數(shù)據(jù)量是幾百個PB，進行分析所需要的服務(wù)器的數(shù)據(jù)讀寫流量大于20Gbps，這些需求對于目前普通的服務(wù)器及存儲設(shè)備都是無法有效滿足的。
[0003]類似DNA數(shù)據(jù)等數(shù)據(jù)具有非常高的重復性(大約99.5%都是相同)，在存儲DNA序列數(shù)據(jù)的時候，理論上應該能對其進行高壓縮比的重復數(shù)據(jù)刪除(Deduplicate)處理。目前，市面上服務(wù)器單機的網(wǎng)絡(luò)接口、CPU、內(nèi)存的配置有限(比如100-1000Mbps，4-8核，16GB)，如需要對數(shù)據(jù)進行壓縮或重復數(shù)據(jù)刪除處理，讀寫時間及CPU的負荷將大幅度增力口，導致數(shù)據(jù)分析所需要的時間大幅增加。如圖1所示，海量的DNA數(shù)據(jù)先從網(wǎng)口通過服務(wù)器PCI網(wǎng)卡驅(qū)動，傳到服務(wù)器內(nèi)存，然后由服務(wù)器主機CPU執(zhí)行相關(guān)的應用算法將其改變(重復數(shù)據(jù)刪除及復原)，再存放到服務(wù)器內(nèi)存，最后由PCI存儲控制器的驅(qū)動轉(zhuǎn)換成SCSI底層數(shù)據(jù)，存到磁盤陣列。對海量數(shù)據(jù)進行壓縮或去重復數(shù)據(jù)刪除處理時，讀寫時間及CPU的負荷將大幅度增加，導致數(shù)據(jù)分析所需要的時間大幅增加、效率低，系統(tǒng)反應慢。
[0004]目前，服務(wù)器主機板的構(gòu)架是基于個人計算機，通過PCI總線與網(wǎng)絡(luò)接口和存儲設(shè)備接口進行數(shù)據(jù)傳輸，并不適合用于處理高速高通的網(wǎng)絡(luò)存儲設(shè)備。例如，使用目前市場上的服務(wù)器(Intel X86，AMD及IBM Power主機構(gòu)架)對DNA數(shù)據(jù)進行去重的處理，海量的DNA數(shù)據(jù)通常要多次通過主機板的PCI總線、CPU和內(nèi)存，由于受到主機板的PCI總線、CPU和內(nèi)存的限制，DNA數(shù)據(jù)的存儲設(shè)備效率都非常低，導致DNA測序存儲設(shè)備投資占DNA測序系統(tǒng)的很大部分，而且由于DNA數(shù)據(jù)量的增加，這個投資比例將越來越大。
[0005]綜上可以看出，由于主機板的PCI總線、CPU和內(nèi)存的限制，現(xiàn)有的服務(wù)器架構(gòu)存在對海量數(shù)據(jù)存儲的效率低的問題。
[0006]針對現(xiàn)有技術(shù)中對海量數(shù)據(jù)存儲的效率低的問題，目前尚未提出有效的解決方案。


【發(fā)明內(nèi)容】

[0007]本發(fā)明的主要目的在于提供一種數(shù)據(jù)存儲控制器及其數(shù)據(jù)處理方法，以解決對海量數(shù)據(jù)存儲的效率低的問題。
[0008]為了實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了一種數(shù)據(jù)存儲控制器。根據(jù)本發(fā)明的數(shù)據(jù)存儲控制器包括:數(shù)據(jù)收發(fā)接口，用于接收第一數(shù)據(jù)，第一數(shù)據(jù)為用于待處理的數(shù)據(jù)；處理模塊，與數(shù)據(jù)收發(fā)接口相連接，處理模塊為通過現(xiàn)場可編程門陣列形成的處理模塊，用于對第一數(shù)據(jù)進行預設(shè)處理，得到第二數(shù)據(jù)；以及數(shù)據(jù)存儲接口，與處理模塊相連接，用于將第二數(shù)據(jù)輸出到存儲介質(zhì)，存儲介質(zhì)用于存儲第二數(shù)據(jù)。
[0009]進一步地，數(shù)據(jù)收發(fā)接口為光電接口。
[0010]進一步地，數(shù)據(jù)存儲接口包括串行連接小型計算機系統(tǒng)接口。
[0011]進一步地，現(xiàn)場可編程門陣列用于整合處理所述第一數(shù)據(jù)的底層算法。
[0012]進一步地，處理模塊包括存儲控制子模塊，與數(shù)據(jù)存儲接口相連接，用于將第二數(shù)據(jù)轉(zhuǎn)化為底層數(shù)據(jù)，數(shù)據(jù)存儲接口還用于輸出底層數(shù)據(jù)。
[0013]為了實現(xiàn)上述目的，根據(jù)本發(fā)明的另一方面，提供了一種用于上述數(shù)據(jù)存儲控制器的數(shù)據(jù)處理方法。根據(jù)本發(fā)明的數(shù)據(jù)處理方法包括:接收第一數(shù)據(jù)，第一數(shù)據(jù)為用于待處理的數(shù)據(jù)；通過現(xiàn)場可編程門陣列形成的處理模塊對第一數(shù)據(jù)進行預設(shè)處理，得到第二數(shù)據(jù)；以及輸出第二數(shù)據(jù)。
[0014]進一步地，預設(shè)處理包括去重處理和/或加密處理。
[0015]進一步地，在輸出第二數(shù)據(jù)之后，數(shù)據(jù)處理方法還包括:存儲介質(zhì)存儲第二數(shù)據(jù)。
[0016]進一步地，在輸出第二數(shù)據(jù)之后，數(shù)據(jù)處理方法還包括:將第二數(shù)據(jù)轉(zhuǎn)化為底層數(shù)據(jù)；以及輸出底層數(shù)據(jù)，存儲介質(zhì)存儲輸出的底層數(shù)據(jù)。
[0017]通過本發(fā)明，采用FPGA形成的處理模塊，對第一數(shù)據(jù)進行處理，使得對海量數(shù)據(jù)進行存儲的過程中，不再受制與服務(wù)器的內(nèi)存和CPU的運算能力的限制，直接通過處理模塊對海量數(shù)據(jù)進行處理，解決了現(xiàn)有技術(shù)中對海量數(shù)據(jù)存儲的效率低的問題，達到了提高海量數(shù)據(jù)存儲的效率的目的。

【專利附圖】

【附圖說明】
[0018]構(gòu)成本申請的一部分的附圖用來提供對本發(fā)明的進一步理解，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當限定。在附圖中:
[0019]圖1是根據(jù)現(xiàn)有技術(shù)中服務(wù)器數(shù)據(jù)處理的流程圖；
[0020]圖2是根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲控制器的結(jié)構(gòu)框圖；
[0021]圖3是根據(jù)本發(fā)明實施例優(yōu)選的數(shù)據(jù)存儲控制器的結(jié)構(gòu)框架圖；
[0022]圖4是根據(jù)本發(fā)明實施例另一可選的數(shù)據(jù)存儲控制器的結(jié)構(gòu)框架圖；以及
[0023]圖5是根據(jù)本發(fā)明實施例用于數(shù)據(jù)存儲控制器的數(shù)據(jù)處理方法的流程圖。

【具體實施方式】
[0024]需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結(jié)合實施例來詳細說明本發(fā)明。
[0025]為了使本【技術(shù)領(lǐng)域】的人員更好地理解本發(fā)明方案，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分的實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應當屬于本發(fā)明保護的范圍。
[0026]需要說明的是，本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應該理解這樣使用的數(shù)據(jù)在適當情況下可以互換，以便這里描述的本發(fā)明的實施例。此外，術(shù)語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
[0027]本發(fā)明實施例提供了一種數(shù)據(jù)存儲控制器，該數(shù)據(jù)存儲控制器可以用于對海量數(shù)據(jù)進行實時處理和存儲。
[0028]圖2是根據(jù)本發(fā)明實施例的數(shù)據(jù)存儲控制器的結(jié)構(gòu)框圖。如圖2所示，該數(shù)據(jù)存儲控制器包括:數(shù)據(jù)收發(fā)接口 10、處理模塊20和數(shù)據(jù)存儲接口 30。
[0029]數(shù)據(jù)收發(fā)接口 10用于接收第一數(shù)據(jù)，該第一數(shù)據(jù)為待處理的數(shù)據(jù)。
[0030]第一數(shù)據(jù)可以是任何數(shù)據(jù)，這里的第一數(shù)據(jù)特指海量數(shù)據(jù)，例如DNA數(shù)據(jù)等，預設(shè)處理可以是任意的對數(shù)據(jù)進行的處理，例如對數(shù)據(jù)進行去重處理、壓縮處理、加密處理等坐寸ο
[0031]處理模塊20與數(shù)據(jù)收發(fā)接口 10相連接，該處理模塊20為通過現(xiàn)場可編程門陣列(FPGA)形成的處理模塊，用于對第一數(shù)據(jù)進行預設(shè)處理，得到第二數(shù)據(jù)。
[0032]FPGA (Field — Programmable Gate Array),即現(xiàn)場可編程門陣列，它是在 PAL、GAL、CPLD等可編程器件的基礎(chǔ)上進一步發(fā)展的產(chǎn)物。它是作為專用集成電路(ASIC)領(lǐng)域中的一種半定制電路而出現(xiàn)的，既解決了定制電路的不足，又克服了原有可編程器件門電路數(shù)有限的缺點。通過對FPGA進行編程實現(xiàn)對數(shù)據(jù)處理的功能，形成處理模塊20。可以根據(jù)不同的數(shù)據(jù)處理，編程實現(xiàn)不同的處理模塊20，這樣可以滿足對數(shù)據(jù)處理的不同需求。
[0033]第二數(shù)據(jù)為對第一數(shù)據(jù)進行預設(shè)處理后的數(shù)據(jù)，其中，預設(shè)處理可以是去重處理，可以是加密處理，也可以是根據(jù)需要預設(shè)設(shè)置在FPGA中其他的處理方式，例如，對于當?shù)谝粩?shù)據(jù)為DNA數(shù)據(jù)時，則第二數(shù)據(jù)可以是對DNA數(shù)據(jù)進行去重處理后的數(shù)據(jù)。
[0034]本發(fā)明實施例中，通過采用FPGA形成的處理模塊對第一數(shù)據(jù)進行處理，無需將數(shù)據(jù)緩存到服務(wù)器的內(nèi)存中，也無需通過服務(wù)器的CPU來對第一數(shù)據(jù)進行存儲，從而避免由于服務(wù)器的內(nèi)存和CPU對數(shù)據(jù)處理的限制。
[0035]數(shù)據(jù)存儲接口 30與處理模塊20相連接，用于將第二數(shù)據(jù)輸出至存儲介質(zhì)40。
[0036]在處理模塊20對第一數(shù)據(jù)進行處理得到第二數(shù)據(jù)之后，通過數(shù)據(jù)存儲接口 30將第二數(shù)據(jù)存儲到存儲介質(zhì)40中。
[0037]根據(jù)本發(fā)明實施例，通過采用FPGA形成的處理模塊，對第一數(shù)據(jù)進行處理，使得對海量數(shù)據(jù)進行存儲的過程中，不再受制于服務(wù)器的內(nèi)存和CPU的運算能力的限制，直接通過處理模塊對海量數(shù)據(jù)進行處理，現(xiàn)有技術(shù)中對海量數(shù)據(jù)存儲的效率低的問題，達到了提高海量數(shù)據(jù)存儲的效率的目的。
[0038]本發(fā)明實施例，可以通過FPGA來整合大數(shù)據(jù)存儲通常需要的一些底層算法，比如在扇區(qū)上壓縮，加密，去重復等等算法。這些算法通常需要在CPU上面逐個進行，不但耗費CPU,而且會飽和通信頻道。采用FPGA來整合這些算法能夠提高數(shù)據(jù)存儲的效率。
[0039]通常，壓縮或加密處理將產(chǎn)生中間數(shù)據(jù)，比如將1G文件壓縮成5G，那么需要15G的存儲空間。在使用的時候還需要把5G的文件先復原到10G，還是需要15G。本發(fā)明實施例通過采用FPGA來處理數(shù)據(jù)，實現(xiàn)inline實時透明壓縮和加密，只需要5G的存儲。加密及壓縮可以同時在FPGA模塊上進行，不需要存儲中間數(shù)據(jù)。
[0040]優(yōu)選地，數(shù)據(jù)收發(fā)接口為光電接口。
[0041]數(shù)據(jù)收發(fā)接口可以是光纖網(wǎng)絡(luò)接口，例如，SFP或者ethernet光纖網(wǎng)絡(luò)接口，SFP(Small Form-factor Pluggables)可以簡單的理解為GBIC的升級版本。其中，GBIC(Gigabit Interface Converter的縮寫)是將千兆位電信號轉(zhuǎn)換為光信號的接口器件。GBIC設(shè)計上可以為熱插拔使用。GBIC是一種符合國際標準的可互換產(chǎn)品。SFP模塊體積比GBIC模塊減少一半，可以在相同面板上配置多出一倍以上的端口數(shù)量。
[0042]由于SFP光纖網(wǎng)絡(luò)接口的單元流量達到4xlOGbps，因此可以大大提高數(shù)據(jù)流量，進而提高數(shù)據(jù)存儲的效率。對于海量數(shù)據(jù)而言，具有明顯地提高數(shù)據(jù)存儲的效率。
[0043]優(yōu)選地，數(shù)據(jù)存儲接口包括串行連接小型計算機系統(tǒng)接口即SAS接口。
[0044]SAS是新一代的SCSI技術(shù)，和現(xiàn)在流行的Serial ATA(SATA)硬盤相同，都是采用串行技術(shù)以獲得更高的傳輸速度，并通過縮短連結(jié)線改善內(nèi)部空間等。SAS是并行SCSI接口之后開發(fā)出的全新接口。此接口的設(shè)計是為了改善存儲系統(tǒng)的效能、可用性和擴充性，提供與串行ATA(Serial ATA，縮寫為SATA)硬盤的兼容性。
[0045]SAS的接口技術(shù)可以向下兼容SATA。SAS系統(tǒng)的背板(Backpanel)既可以連接具有雙端口、高性能的SAS驅(qū)動器，也可以連接高容量、低成本的SATA驅(qū)動器。
[0046]由于SAS存儲接口的單元流量達到4x6Gbps(SSD磁盤)，因此，可以大大提高數(shù)據(jù)存儲的速度，提高數(shù)據(jù)存儲的效率。
[0047]優(yōu)選地，存儲介質(zhì)包括磁盤陣列。
[0048]優(yōu)選地,現(xiàn)場可編程門陣列采用Kintex晶片。使用Xilinx目前最高性能的Kintex晶片(超過400k門，大于600Gbps)。
[0049]使用高性能Xilinx的光纖網(wǎng)絡(luò)接口 IPCore，具有極高可靠性?；贔PGA的并行及Pipeline構(gòu)架，排除現(xiàn)有服務(wù)器構(gòu)架對數(shù)據(jù)流的瓶頸，大幅提高數(shù)據(jù)流量。
[0050]優(yōu)選地，處理模塊包括存儲控制子模塊，與存儲器相連接，用于將第二數(shù)據(jù)轉(zhuǎn)化為底層數(shù)據(jù)，并輸出給存儲器。存儲控制子模塊類似于現(xiàn)有技術(shù)中的存儲控制器。本發(fā)明實施例中，將存儲控制器集成在采用FPGA形成的處理模塊中。
[0051]下面結(jié)合圖3和圖4對本發(fā)明實施例進行詳細描述。
[0052]如圖3所述，當?shù)谝粩?shù)據(jù)為DNA數(shù)據(jù)時，SEP接收該數(shù)據(jù)，SFP光纖接口邏輯核進行預處理后，再經(jīng)過DNA數(shù)據(jù)去重及復原邏輯核也及是處理模塊，進行去重或者復原處理。去重處理或者復原處理后的數(shù)據(jù)經(jīng)過iSCSI邏輯核和SAS控制邏輯核處理后輸出至磁盤(Disk)陣列等存儲介質(zhì)進行存儲。其中，服務(wù)器主機CPU僅對數(shù)據(jù)處理過程進行控制，數(shù)據(jù)無需經(jīng)過CPU進行運算處理。
[0053]圖4與圖3類似，主要區(qū)別在于將圖3中DNA數(shù)據(jù)去重及復原處理變成加密處理，其中，加密處理可以是采用AES算法的加密處理。具體地處理過程與圖3所示的DNA數(shù)據(jù)處理類似，這里不做贅述。
[0054]ISCSI技術(shù)是一種由IBM公司研究開發(fā)的，是一個供硬件設(shè)備使用的可以在IP協(xié)議的上層運行的SCSI指令集，這種指令集合可以實現(xiàn)在IP網(wǎng)絡(luò)上運行SCSI協(xié)議，使其能夠在諸如高速千兆以太網(wǎng)上進行路由選擇。iSCSI技術(shù)是一種新儲存技術(shù)，該技術(shù)是將現(xiàn)有SCSI接口與以太網(wǎng)絡(luò)(Ethernet)技術(shù)結(jié)合，使服務(wù)器可與使用IP網(wǎng)絡(luò)的儲存裝置互相交換資料。
[0055]PCIE即PC1-Express的縮寫，是一種總線和接口標準，PCIe屬于高速串行點對點雙通道高帶寬傳輸。
[0056]本發(fā)明實施例是一塊圍繞Xilinx的FPGA晶片(Xilinx最高速的K-7)打造的高速高通網(wǎng)絡(luò)存儲控制器，通過把網(wǎng)絡(luò)加解包、4條1Gbps SFP高速網(wǎng)絡(luò)及高速存儲(SAS)接口等的FPGA邏輯核集成到一起形成處理模塊,并通過FPGA的并行處理及Pipeline構(gòu)架，使得存儲設(shè)備的數(shù)據(jù)流被大幅度的簡化，從而達到流量的大幅提高和幾乎沒有延遲的處理與高速高通存儲。
[0057]本發(fā)明實施例提供了一種用于數(shù)據(jù)存儲控制器的數(shù)據(jù)處理方法。該數(shù)據(jù)處理方法可以用于本發(fā)明實施例的數(shù)據(jù)存儲控制器，發(fā)明實施例的數(shù)據(jù)存儲控制器也可以用于執(zhí)行本發(fā)明實施例的數(shù)據(jù)處理方法。
[0058]圖5是根據(jù)本發(fā)明實施例的用于數(shù)據(jù)存儲控制器的數(shù)據(jù)處理方法的流程圖。如圖5所示，該數(shù)據(jù)處理方法包括步驟如下:
[0059]步驟S502，接收第一數(shù)據(jù)，第一數(shù)據(jù)為待處理的數(shù)據(jù)。
[0060]步驟S504，通過現(xiàn)場可編程門陣列形成的處理模塊對第一數(shù)據(jù)進行預設(shè)處理，得到第二數(shù)據(jù)。
[0061]步驟S506，輸出第二數(shù)據(jù)。
[0062]第一數(shù)據(jù)可以是任何數(shù)據(jù)，這里特指海量數(shù)據(jù)，例如DNA數(shù)據(jù)等，預設(shè)處理可以是任意的對數(shù)據(jù)進行的處理，例如對數(shù)據(jù)進行去重處理、壓縮處理、加密處理等等。
[0063]FPGA (Field — Programmable Gate Array),即現(xiàn)場可編程門陣列，它是在 PAL、GAL、CPLD等可編程器件的基礎(chǔ)上進一步發(fā)展的產(chǎn)物。它是作為專用集成電路(ASIC)領(lǐng)域中的一種半定制電路而出現(xiàn)的，既解決了定制電路的不足，又克服了原有可編程器件門電路數(shù)有限的缺點。通過對FPGA進行編程實現(xiàn)對數(shù)據(jù)處理的功能，形成處理模塊20?？梢愿鶕?jù)不同的數(shù)據(jù)處理，編程實現(xiàn)不同的處理模塊20，這樣可以滿足對數(shù)據(jù)處理的不同需求。
[0064]第二數(shù)據(jù)為對第一數(shù)據(jù)進行處理后的數(shù)據(jù)，例如，對于當?shù)谝粩?shù)據(jù)為DNA數(shù)據(jù)時，則第二數(shù)據(jù)可以是對DNA數(shù)據(jù)進行去重處理后的數(shù)據(jù)。
[0065]本發(fā)明實施例中，通過采用FPGA形成的處理模塊對第一數(shù)據(jù)進行處理，無需將數(shù)據(jù)緩存到服務(wù)器的內(nèi)存中，也無需通過服務(wù)器的CPU來對第一數(shù)據(jù)進行存儲，從而避免由于服務(wù)器的內(nèi)存和CPU對數(shù)據(jù)處理的限制。
[0066]根據(jù)本發(fā)明實施例，通過采用FPGA形成的處理模塊，對第一數(shù)據(jù)進行處理，使得對海量數(shù)據(jù)進行存儲的過程中，不再受制與服務(wù)器的內(nèi)存和CPU的運算能力的限制，直接通過處理模塊對海量數(shù)據(jù)進行處理，現(xiàn)有技術(shù)中對海量數(shù)據(jù)存儲的效率低的問題，達到了提高海量數(shù)據(jù)存儲的效率的目的。
[0067]優(yōu)選地，預設(shè)處理包括去重處理和/或加密處理。當然還可以是根據(jù)需要設(shè)置的其他處理方式。
[0068]優(yōu)選地，在輸出第二數(shù)據(jù)之后，數(shù)據(jù)處理方法還包括:存儲介質(zhì)存儲第二數(shù)據(jù)。
[0069]優(yōu)選地，在輸出第二數(shù)據(jù)之后，數(shù)據(jù)處理方法還包括:將第二數(shù)據(jù)轉(zhuǎn)化為底層數(shù)據(jù)；以及輸出底層數(shù)據(jù)，存儲介質(zhì)存儲輸出的底層數(shù)據(jù)。
[0070]綜上，本發(fā)明實施例能夠達到以下效果:
[0071]通過把網(wǎng)絡(luò)接口控制器和高速存儲控制器的功能集成到一個基于FPGA的并行控制器，使得其成本是市面上相同參數(shù)的網(wǎng)卡+存儲控制器價格的1/5。
[0072]存儲數(shù)據(jù)不通過服務(wù)器PCI總線及CPU和內(nèi)存，可以將中檔存儲設(shè)備升級到高速高通的高檔存儲設(shè)備。
[0073]使用高速FPGA晶片，在一塊板子上同時實現(xiàn)4xlOGbps的網(wǎng)絡(luò)，16Gbps的SAS存儲，及50倍的DNA序列數(shù)據(jù)壓縮。
[0074]由于不需要單獨的高速網(wǎng)絡(luò)接口卡和專用的高速存儲控制器，降低了成本。
[0075]基于FPGA的云加速器具有高度可擴展性，通過重新編程，可實現(xiàn)不同類型的海量數(shù)據(jù)處理應用，比如在FPGA的并行Pipeline數(shù)據(jù)流中直接進行SCSI底層的去重復算法實施，可以達到其他存儲設(shè)備不具備的高倍率壓縮。
[0076]以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，對于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1.一種數(shù)據(jù)存儲控制器，其特征在于，包括: 數(shù)據(jù)收發(fā)接口，用于接收第一數(shù)據(jù)，所述第一數(shù)據(jù)為待處理的數(shù)據(jù)； 處理模塊，與所述數(shù)據(jù)收發(fā)接口相連接，所述處理模塊為通過現(xiàn)場可編程門陣列形成的處理模塊，用于對所述第一數(shù)據(jù)進行預設(shè)處理，得到第二數(shù)據(jù)；以及 數(shù)據(jù)存儲接口，與所述處理模塊相連接，用于將所述第二數(shù)據(jù)輸出到存儲介質(zhì)，所述存儲介質(zhì)用于存儲所述第二數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲控制器，其特征在于，所述數(shù)據(jù)收發(fā)接口為光電接□。
3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲控制器，其特征在于，所述數(shù)據(jù)存儲接口包括串行連接小型計算機系統(tǒng)接口。
4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲控制器，其特征在于，所述現(xiàn)場可編程門陣列用于整合處理所述第一數(shù)據(jù)的底層算法。
5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲控制器，其特征在于，所述處理模塊包括存儲控制子模塊，與所述數(shù)據(jù)存儲接口相連接，用于將所述第二數(shù)據(jù)轉(zhuǎn)化為底層數(shù)據(jù)，所述數(shù)據(jù)存儲接口還用于輸出所述底層數(shù)據(jù)。
6.一種用于權(quán)利要求1至5任一項所述的數(shù)據(jù)存儲控制器的數(shù)據(jù)處理方法，其特征在于，包括: 接收第一數(shù)據(jù)，所述第一數(shù)據(jù)為用于待處理的數(shù)據(jù)； 通過現(xiàn)場可編程門陣列形成的處理模塊對所述第一數(shù)據(jù)進行預設(shè)處理，得到第二數(shù)據(jù)；以及 輸出所述第二數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理方法，其特征在于，所述預設(shè)處理包括去重處理和/或加密處理。
8.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理方法，其特征在于，在輸出所述第二數(shù)據(jù)之后，所述數(shù)據(jù)處理方法還包括: 存儲介質(zhì)存儲所述第二數(shù)據(jù)。
9.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理方法，其特征在于，在輸出所述第二數(shù)據(jù)之后，所述數(shù)據(jù)處理方法還包括: 將所述第二數(shù)據(jù)轉(zhuǎn)化為底層數(shù)據(jù)；以及 輸出所述底層數(shù)據(jù)，存儲介質(zhì)存儲輸出的底層數(shù)據(jù)。
【文檔編號】G06F13/38GK104267911SQ201410480315
【公開日】2015年1月7日 申請日期:2014年9月18日 優(yōu)先權(quán)日:2014年9月18日
【發(fā)明者】文武 申請人:湖南喜瑪拉云技術(shù)有限公司