一種大規(guī)模并發(fā)數(shù)據(jù)流處理裝置的制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種大規(guī)模并發(fā)數(shù)據(jù)流處理裝置，包括數(shù)據(jù)流采集模塊、數(shù)據(jù)流單元緩沖模塊和中央控制器，所述數(shù)據(jù)流采集模塊輸出端與數(shù)據(jù)流單元緩沖模塊輸入端電性連接，所述數(shù)據(jù)流單元緩沖模塊輸出端預(yù)輸入端電性連接，所述中央控制器與?數(shù)據(jù)流分揀模塊電性連接，所述中央控制器與數(shù)據(jù)流讀取模塊電性連接，所述中央控制器與任務(wù)調(diào)度模塊電性連接，所述中央控制器與總數(shù)據(jù)流存儲(chǔ)模塊電性連接，所述中央控制器與處理器電性連接。本發(fā)明，通過(guò)設(shè)置數(shù)據(jù)流分揀模塊，可對(duì)數(shù)據(jù)流進(jìn)行分揀，進(jìn)而將同類(lèi)數(shù)據(jù)存儲(chǔ)在同類(lèi)數(shù)據(jù)流存儲(chǔ)模塊內(nèi)，經(jīng)過(guò)任務(wù)調(diào)度模塊，可對(duì)同類(lèi)數(shù)據(jù)進(jìn)行調(diào)度處理，能提高數(shù)據(jù)流的處理效率。
【專(zhuān)利說(shuō)明】
一種大規(guī)模并發(fā)數(shù)據(jù)流處理裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及數(shù)據(jù)流處理設(shè)備技術(shù)領(lǐng)域，具體為一種大規(guī)模并發(fā)數(shù)據(jù)流處理裝置。
【背景技術(shù)】
[0002]目前，隨著信息技術(shù)的飛速發(fā)展和互聯(lián)網(wǎng)技術(shù)應(yīng)用的普及，網(wǎng)絡(luò)已經(jīng)成為人們?nèi)粘Ｉ钪兄匾囊徊糠?。近年?lái)，3G網(wǎng)絡(luò)和物聯(lián)網(wǎng)技術(shù)應(yīng)用的逐步展開(kāi)為人們的生活、工作帶來(lái)了極大的方便。然而，這些新技術(shù)的核心應(yīng)用關(guān)鍵之一就是大規(guī)模并發(fā)數(shù)據(jù)流處理問(wèn)題。所謂數(shù)據(jù)流就是從一個(gè)節(jié)點(diǎn)發(fā)往另一個(gè)節(jié)點(diǎn)的具有某種特征的數(shù)據(jù)單元構(gòu)成的連續(xù)不斷的信息流，數(shù)據(jù)流的處理和分析問(wèn)題要求處理節(jié)點(diǎn)具有一定的實(shí)時(shí)處理能力。人們可以通過(guò)緩沖處理、并行處理機(jī)制來(lái)解決實(shí)時(shí)處理問(wèn)題。然而，現(xiàn)實(shí)應(yīng)用中的數(shù)據(jù)流并非一個(gè)，在兩個(gè)處理節(jié)點(diǎn)間的數(shù)據(jù)流可能是成千上萬(wàn)個(gè)，這就形成了大規(guī)模并發(fā)數(shù)據(jù)流的處理需求。如3G通信視頻流的質(zhì)量實(shí)時(shí)分析問(wèn)題，在這個(gè)問(wèn)題中，數(shù)據(jù)抓取節(jié)點(diǎn)從3G骨干網(wǎng)絡(luò)上同時(shí)抓去上萬(wàn)門(mén)3G通話(huà)的IP包，并還原成上萬(wàn)個(gè)H.264視頻流，而3G視頻質(zhì)量分析系統(tǒng)需要提取這些視頻流在某一時(shí)刻的上萬(wàn)個(gè)靜態(tài)畫(huà)面，并進(jìn)行模糊度計(jì)算、塊效應(yīng)計(jì)算等工作。大規(guī)模并發(fā)數(shù)據(jù)流的實(shí)時(shí)處理問(wèn)題給業(yè)界帶來(lái)了極大的挑戰(zhàn)。如何構(gòu)建廉價(jià)的高性能處理裝置是一個(gè)具有挑戰(zhàn)性的研究課題。以流處理器為代表的新型計(jì)算裝置為解決這些困難帶來(lái)了曙光。流處理器是GPU走向通用計(jì)算領(lǐng)域的總稱(chēng)，因其內(nèi)部采用上百個(gè)Stream processor并行架構(gòu)而得名，其可以有效支持SPMD并行操作，非常適合做大規(guī)模并發(fā)數(shù)據(jù)流的處理工作，且其性能十分出眾。但是，由于同一個(gè)流處理器核心在同一時(shí)刻只能運(yùn)行同一個(gè)核心程序，而同時(shí)到來(lái)的大規(guī)模并發(fā)數(shù)據(jù)流的成千上萬(wàn)個(gè)數(shù)據(jù)流單元卻不一定具有同一處理特征，因而無(wú)法滿(mǎn)足流處理器進(jìn)行高性能處理的數(shù)據(jù)特征要求，無(wú)法使流處理器發(fā)揮其最大能力，進(jìn)而提高處理效率。

【發(fā)明內(nèi)容】

[0003]為了解決上述存在的問(wèn)題，本發(fā)明提供一種大規(guī)模并發(fā)數(shù)據(jù)流處理裝置。
[0004]本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn):
[0005]—種大規(guī)模并發(fā)數(shù)據(jù)流處理裝置，包括數(shù)據(jù)流采集模塊、數(shù)據(jù)流單元緩沖模塊和中央控制器，所述數(shù)據(jù)流采集模塊輸出端與數(shù)據(jù)流單元緩沖模塊輸入端電性連接，所述數(shù)據(jù)流單元緩沖模塊輸出端預(yù)輸入端電性連接，所述中央控制器與-數(shù)據(jù)流分揀模塊電性連接，所述中央控制器與數(shù)據(jù)流讀取模塊電性連接，所述中央控制器與任務(wù)調(diào)度模塊電性連接，所述中央控制器與總數(shù)據(jù)流存儲(chǔ)模塊電性連接，所述中央控制器與處理器電性連接。
[0006]作為本發(fā)明的進(jìn)一步優(yōu)化方案:所述總數(shù)據(jù)流存儲(chǔ)模塊內(nèi)部包括多個(gè)同類(lèi)數(shù)據(jù)流存儲(chǔ)模塊。所述中央控制器采用單片機(jī)。
[0007]與現(xiàn)有的技術(shù)相比，本發(fā)明的有益效果是:本發(fā)明通過(guò)設(shè)置數(shù)據(jù)流分揀模塊，可對(duì)數(shù)據(jù)流進(jìn)行分揀，進(jìn)而將同類(lèi)數(shù)據(jù)存儲(chǔ)在同類(lèi)數(shù)據(jù)流存儲(chǔ)模塊內(nèi)，經(jīng)過(guò)任務(wù)調(diào)度模塊，可對(duì)同類(lèi)數(shù)據(jù)進(jìn)行調(diào)度處理，能提高數(shù)據(jù)流的處理效率。
【附圖說(shuō)明】
[0008]圖1為本發(fā)明的結(jié)構(gòu)不意圖；
[0009]圖中:1-數(shù)據(jù)流采集模塊;2-數(shù)據(jù)流單元緩沖模塊;3-中央控制器;4-數(shù)據(jù)流分揀模塊;5-數(shù)據(jù)流讀取模塊;6-任務(wù)調(diào)度模塊;7-總數(shù)據(jù)流存儲(chǔ)模塊;71-同類(lèi)數(shù)據(jù)流存儲(chǔ)模塊;8-處理器。
【具體實(shí)施方式】
[0010]下面結(jié)合附圖與【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述:
[0011 ]如圖1所示，一種大規(guī)模并發(fā)數(shù)據(jù)流處理裝置，包括數(shù)據(jù)流采集模塊1、數(shù)據(jù)流單元緩沖模塊2和中央控制器3，數(shù)據(jù)流采集模塊I輸出端與數(shù)據(jù)流單元緩沖模塊2輸入端電性連接，數(shù)據(jù)流單元緩沖模塊2輸出端預(yù)輸入端電性連接，中央控制器3與數(shù)據(jù)流分揀模塊4電性連接，中央控制器3與數(shù)據(jù)流讀取模塊5電性連接，中央控制器3與任務(wù)調(diào)度模塊6電性連接，中央控制器3與總數(shù)據(jù)流存儲(chǔ)模塊7電性連接，中央控制器3與處理器8電性連接，總數(shù)據(jù)流存儲(chǔ)模塊7內(nèi)部包括多個(gè)同類(lèi)數(shù)據(jù)流存儲(chǔ)模塊71，中央控制器3采用單片機(jī)。
[0012]具體使用方式:本發(fā)明工作中，通過(guò)數(shù)據(jù)流采集模塊I采集數(shù)據(jù)流，通過(guò)數(shù)據(jù)流單元緩沖模塊2緩沖后，再通過(guò)數(shù)據(jù)流讀取模塊5讀取，再通過(guò)數(shù)據(jù)流分揀模塊4分揀，再存入總數(shù)據(jù)流存儲(chǔ)模塊7內(nèi)部同類(lèi)數(shù)據(jù)流存儲(chǔ)模塊71內(nèi)，最后經(jīng)任務(wù)調(diào)度模塊6調(diào)度給處理器8處理。
[0013]以上顯示和描述了本發(fā)明的基本原理、主要特征和優(yōu)點(diǎn)。本行業(yè)的技術(shù)人員應(yīng)該了解，本發(fā)明不受上述實(shí)施例的限制，上述實(shí)施例和說(shuō)明書(shū)中描述的只是說(shuō)明本發(fā)明的原理，在不脫離本發(fā)明精神和范圍的前提下，本發(fā)明還會(huì)有各種變化和改進(jìn)，這些變化和改進(jìn)都落入要求保護(hù)的本發(fā)明范圍內(nèi)。本發(fā)明要求保護(hù)范圍由所附的權(quán)利要求書(shū)及其等效物界定。
【主權(quán)項(xiàng)】
1.一種大規(guī)模并發(fā)數(shù)據(jù)流處理裝置，包括數(shù)據(jù)流采集模塊(I)、數(shù)據(jù)流單元緩沖模塊(2)和中央控制器(3)，其特征在于:所述數(shù)據(jù)流采集模塊(I)輸出端與數(shù)據(jù)流單元緩沖模塊(2)輸入端電性連接，所述數(shù)據(jù)流單元緩沖模塊(2)輸出端預(yù)輸入端電性連接，所述中央控制器(3)與數(shù)據(jù)流分揀模塊(4)電性連接，所述中央控制器(3)與數(shù)據(jù)流讀取模塊(5)電性連接，所述中央控制器(3)與任務(wù)調(diào)度模塊(6)電性連接，所述中央控制器(3)與總數(shù)據(jù)流存儲(chǔ)模塊(7)電性連接，所述中央控制器(3)與處理器(8)電性連接。2.根據(jù)權(quán)利要求1所述的一種大規(guī)模并發(fā)數(shù)據(jù)流處理裝置，其特征在于:所述總數(shù)據(jù)流存儲(chǔ)模塊(7)內(nèi)部包括多個(gè)同類(lèi)數(shù)據(jù)流存儲(chǔ)模塊(71)。3.根據(jù)權(quán)利要求1所述的一種大規(guī)模并發(fā)數(shù)據(jù)流處理裝置，其特征在于:所述中央控制器(3)采用單片機(jī)。
【文檔編號(hào)】G06F9/38GK106020781SQ201610345459
【公開(kāi)日】2016年10月12日
【申請(qǐng)日】2016年5月23日
【發(fā)明人】賴(lài)真霖, 文君
【申請(qǐng)人】成都四象聯(lián)創(chuàng)科技有限公司