間歇性能源海量數(shù)據(jù)處理系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種間歇性能源海量數(shù)據(jù)處理系統(tǒng)，它包括主、從云中樞服務(wù)器、第1至第11負(fù)載服務(wù)器、終端數(shù)據(jù)總線、負(fù)載總線和數(shù)據(jù)接口總線。所述主、從云中樞服務(wù)器的數(shù)據(jù)采集接口C分別通過終端數(shù)據(jù)總線與終端數(shù)據(jù)計算機(jī)相連接。主、從云中樞服務(wù)器的主從切換接口相連接。主、從云中樞服務(wù)器的第1至第11接口通過負(fù)載總線分別與第1至第11負(fù)載服務(wù)器相連接。所述主、從云中樞服務(wù)器的數(shù)據(jù)輸出接口B通過數(shù)據(jù)接口總線分別與用戶終端計算機(jī)相連接。所述主、從云中樞服務(wù)器的結(jié)構(gòu)相同，所述主云中樞服務(wù)器包括CPU、第一存儲單元、智能單元和電源模塊。本發(fā)明的優(yōu)點是處理速度快和安全可靠。
【專利說明】間歇性能源海量數(shù)據(jù)處理系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種間歇性能源海量數(shù)據(jù)處理系統(tǒng)，適用于風(fēng)電、太陽能等間歇性能源海量數(shù)據(jù)的存儲和處理，另外可以收集和存儲如實時天氣預(yù)報數(shù)據(jù)、歷史氣象數(shù)據(jù)等一起處理，為各種高級應(yīng)用提供數(shù)據(jù)支持，能夠顯著提高間歇性能源電廠的安全性和經(jīng)濟(jì)性。

【背景技術(shù)】
[0002]近年來，風(fēng)電、太陽能等間歇性能源發(fā)展迅速，對間歇性能源所產(chǎn)生的海量數(shù)據(jù)的存儲和處理被提到議事日程，經(jīng)檢索尚未發(fā)現(xiàn)相關(guān)的文獻(xiàn)報導(dǎo)。


【發(fā)明內(nèi)容】

[0003]本發(fā)明所要解決的技術(shù)問題是提供一種處理速度快和安全可靠的間歇性能源海量數(shù)據(jù)處理系統(tǒng)。
[0004]本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案:
本發(fā)明包括主云中樞服務(wù)器，從云中樞服務(wù)器、第I至第11負(fù)載服務(wù)器、終端數(shù)據(jù)總線、負(fù)載總線和數(shù)據(jù)接口總線；
所述主、從云中樞服務(wù)器的數(shù)據(jù)采集接口 C分別通過終端數(shù)據(jù)總線與終端數(shù)據(jù)計算機(jī)相連接，所述終端數(shù)據(jù)計算機(jī)中存有風(fēng)電、太陽能、天氣預(yù)報的原始數(shù)據(jù)；主、從云中樞服務(wù)器的主從切換接口 D相連接，所述主從切換接口 D依次傳送握手信號和同步信號；主、從云中樞服務(wù)器的第I至第11接口通過負(fù)載總線分別與第I至第11負(fù)載服務(wù)器相連接，所述第I至第11接口為標(biāo)準(zhǔn)的RJ-45接口 ；
所述主、從云中樞服務(wù)器的數(shù)據(jù)輸出接口B通過數(shù)據(jù)接口總線分別與用戶終端計算機(jī)相連接；
所述主、從云中樞服務(wù)器的結(jié)構(gòu)相同，所述主云中樞服務(wù)器包括CPU、第一存儲單元、智能單元和電源模塊；
所述CPU分別與第一存儲單元、智能單元雙向連接，所述第一存儲單元與智能單元雙向連接，所述電源模塊分別為所述CPU、第一存儲單元和智能單元提供直流電源；
所述智能單元由主控單元、第二存儲單元、第一內(nèi)部總線和第二內(nèi)部總線組成；所述主控單元為嵌入式32位處理器，所述主控單元與第二存儲單元相連接，所述主控單元的相應(yīng)接口通過第一內(nèi)部總線分別與所述主云中樞服務(wù)器的第I至第11接口相連接，所述主控單元的相應(yīng)接口通過第二內(nèi)部總線分別與主云中樞服務(wù)器的數(shù)據(jù)輸出接口 B、數(shù)據(jù)采集接口C、主從切換接口 D相連接；所述主控單元分別與所述第一存儲單元和所述CPU相連接。
[0005]本發(fā)明所述CPU的型號為Intel Xeon E5-2650 ;所述第一存儲單元由內(nèi)存和輔助存儲器組成，所述內(nèi)存的型號為ECC DDR3，所述輔助存儲器為SATA硬盤或移動存儲器；所述電源模塊的型號為94Y6668。
[0006]本發(fā)明所述嵌入式32位處理器的型號為ARM9，所述第二存儲單元的型號為DDR2+SDHC。
[0007]本發(fā)明的有益效果如下:
1、本發(fā)明能夠更高效快速的處理海量的數(shù)據(jù)，提供分辨率更高的數(shù)據(jù)，另外能夠使各種高級應(yīng)用(如風(fēng)電功率預(yù)測系統(tǒng))的計算結(jié)果具有更高的精度和準(zhǔn)確度，為電廠操作員和決策部門做出更優(yōu)的決策提供參考。
[0008]2、本發(fā)明能夠?qū)崟r采集的間歇性能源運行中產(chǎn)生的海量數(shù)據(jù)存儲于HDFS，完成PB (1PB=1024TB=1024*1024GB=1024*1024*1024MB)級別數(shù)據(jù)的存儲，而且數(shù)據(jù)存儲可靠性高，顯著提高了數(shù)據(jù)存儲的安全性。
[0009]3、本發(fā)明利用廉價的商用計算機(jī)集群搭建，大大節(jié)約了間歇性能源電廠的經(jīng)濟(jì)成本。
[0010]4、本發(fā)明有統(tǒng)一的數(shù)據(jù)訪問接口，能夠方便的供其他高級應(yīng)用調(diào)用，提高其他高級應(yīng)用開發(fā)的效率。

【專利附圖】

【附圖說明】
[0011]圖1為本發(fā)明所述系統(tǒng)的原理框圖。
[0012]圖2為主云中樞服務(wù)器的原理框圖。
[0013]圖3為主云中樞服務(wù)器中的智能單元的原理框圖。
[0014]圖4為智能單元中的主控單元的原理框圖。
[0015]圖5為本發(fā)明所述方法的海量數(shù)據(jù)的存儲和處理流程圖。

【具體實施方式】
[0016]由圖1-4所示的實施例可知，它包括主云中樞服務(wù)器，從云中樞服務(wù)器、第I至第11負(fù)載服務(wù)器、終端數(shù)據(jù)總線、負(fù)載總線和數(shù)據(jù)接口總線；
所述主、從云中樞服務(wù)器的數(shù)據(jù)采集接口 C分別通過終端數(shù)據(jù)總線與終端數(shù)據(jù)計算機(jī)相連接，所述終端數(shù)據(jù)計算機(jī)中存有風(fēng)電、太陽能、天氣預(yù)報的原始數(shù)據(jù)；主、從云中樞服務(wù)器的主從切換接口 D相連接，所述主從切換接口 D依次傳送握手信號和同步信號；主、從云中樞服務(wù)器的第I至第11接口通過負(fù)載總線分別與第I至第11負(fù)載服務(wù)器相連接，所述第I至第11接口為標(biāo)準(zhǔn)的RJ-45接口 ；
所述主、從云中樞服務(wù)器的數(shù)據(jù)輸出接口 B通過數(shù)據(jù)接口總線分別與用戶終端計算機(jī)相連接；
所述主、從云中樞服務(wù)器的結(jié)構(gòu)相同，所述主云中樞服務(wù)器包括CPU、第一存儲單元、智能單元和電源模塊；
所述CPU分別與第一存儲單元、智能單元雙向連接，所述第一存儲單元與智能單元雙向連接，所述電源模塊分別為所述CPU、第一存儲單元和智能單元提供直流電源；
所述智能單元由主控單元、第二存儲單元、第一內(nèi)部總線和第二內(nèi)部總線組成；所述主控單元為嵌入式32位處理器，所述主控單元與第二存儲單元相連接，所述主控單元的相應(yīng)接口通過第一內(nèi)部總線分別與所述主云中樞服務(wù)器的第I至第11接口相連接，所述主控單元的相應(yīng)接口通過第二內(nèi)部總線分別與主云中樞服務(wù)器的數(shù)據(jù)輸出接口 B、數(shù)據(jù)采集接口C、主從切換接口 D相連接；所述主控單元分別與所述第一存儲單元和所述CPU相連接。
[0017]所述CPU的型號為Intel Xeon E5-2650 ;所述第一存儲單元由內(nèi)存和輔助存儲器組成，所述內(nèi)存的型號為ECC DDR3，所述輔助存儲器為SATA硬盤或移動存儲器；所述電源模塊的型號為94Y6668。
[0018]所述嵌入式32位處理器的型號為ARM9，所述第二存儲單元的型號為DDR2+SDHC。
[0019]圖2所示的云中樞服務(wù)器具有重要的計算機(jī)屬性和特征，具有CPU、硬盤、內(nèi)存、夕卜設(shè)及接口，并具有操作系統(tǒng)(本實施例使用的是Linux系統(tǒng))、控制網(wǎng)絡(luò)和協(xié)議。整個機(jī)箱采用全鋼型機(jī)箱，符合工業(yè)標(biāo)準(zhǔn)，抗沖擊、抗振動、抗電磁干擾，具有長時間工作能力；為便于安裝，機(jī)箱采用標(biāo)準(zhǔn)4U機(jī)箱。下面對主、從云中樞服務(wù)器的主要外部接口(參考圖1-4)進(jìn)行說明:
(I)供電接口 A，使用標(biāo)準(zhǔn)的220V，50HZ交流電供電。
[0020](2)數(shù)據(jù)輸出接口 B，該接口與數(shù)據(jù)接口總線連接，為外部高級應(yīng)用訪問間歇性能源海量數(shù)據(jù)處理后的結(jié)果提供統(tǒng)一的訪問接口。另外在軟件上有統(tǒng)一的APKApplicat1nProgramming Interface,應(yīng)用程序編程接口),可以使高級應(yīng)用屏蔽底層數(shù)據(jù)處理細(xì)節(jié),有效降低并行編程難度，提高編程效率。
[0021](3)數(shù)據(jù)采集接口 C，與終端數(shù)據(jù)總線連接，終端數(shù)據(jù)計算機(jī)上保存有風(fēng)電、太陽能、天氣預(yù)報等原始數(shù)據(jù)，數(shù)據(jù)的采集支持OPC、Modbus等多種協(xié)議，也可通過文件流操作，進(jìn)行數(shù)據(jù)的傳輸，因此適用性廣。
[0022](4)主從切換接口 D，一般情況下為了保證系統(tǒng)的可靠性，云中樞服務(wù)器設(shè)置為主、從兩臺，通過主從切換接口 D保持實時通訊。在正常情況下，主云中樞服務(wù)器對數(shù)據(jù)的存儲和處理進(jìn)行統(tǒng)一的調(diào)度；當(dāng)主云中樞服務(wù)器發(fā)生故障時會自動切換至從云中樞服務(wù)器。
[0023](5)第I至第11接口:為標(biāo)準(zhǔn)的RJ-45接口，通過負(fù)載總線分別與第I至第11負(fù)載服務(wù)器通訊。主、從云中樞服務(wù)器僅僅作為整個系統(tǒng)的中樞，對數(shù)據(jù)的存儲和處理進(jìn)行統(tǒng)一的調(diào)度，而具體的數(shù)據(jù)存儲和處理由第I至第11負(fù)載服務(wù)器完成。各個負(fù)載服務(wù)器可以采用廉價的商用計算機(jī)集群，有效的節(jié)約了經(jīng)濟(jì)成本。對于數(shù)據(jù)存儲而言，主、從云中樞服務(wù)器相當(dāng)于Hadoop中NameNode,而各個負(fù)載服務(wù)器相當(dāng)于Hadoop中的DataNode。主、從云中樞服務(wù)器和各負(fù)載服務(wù)器共同完成間歇性能源海量數(shù)據(jù)的存儲與分布式計算。
[0024](6)擴(kuò)展接口 EX (見圖1-4):由于主、從云中樞服務(wù)器的第I至第11接口只能夠連接11臺負(fù)載服務(wù)器，但是隨著數(shù)據(jù)量的增大，11臺負(fù)載服務(wù)器不足以完成海量數(shù)據(jù)的存儲和處理時，可以通過擴(kuò)展接口 EX，增加擴(kuò)展卡，進(jìn)而部署更多的負(fù)載服務(wù)器。
[0025]間歇性能源終端數(shù)據(jù)通過終端數(shù)據(jù)總線與主、從云中樞服務(wù)器進(jìn)行通信，其中終端數(shù)據(jù)文件位于各個終端數(shù)據(jù)計算機(jī)上，主、從云中樞服務(wù)器通過數(shù)據(jù)采集所支持的0PC、Modbus等多種協(xié)議，通過主、從云中樞服務(wù)器的數(shù)據(jù)采集接口 C進(jìn)行通訊，利用已有的API，完成數(shù)據(jù)的采集；主、從云中樞服務(wù)器與各負(fù)載服務(wù)器共同完成間歇性能源海量數(shù)據(jù)的存儲與處理，其中主、從云中樞服務(wù)器支持主從切換，當(dāng)主云中樞服務(wù)器出現(xiàn)故障時，能夠在短時間內(nèi)切換到從云中樞服務(wù)器，保證了系統(tǒng)的可靠性，主從切換通過主、從云中樞服務(wù)器的主從切換接口 D保持實時通訊；各負(fù)載服務(wù)器通過負(fù)載總線與主、從云中樞服務(wù)器進(jìn)行通訊，通過主、從云中樞服務(wù)器的第I至第11端口，采用TCP/IP協(xié)議，負(fù)載服務(wù)器的數(shù)量可以隨著間歇性能源數(shù)據(jù)量的增加適當(dāng)?shù)脑黾?，?dāng)負(fù)載服務(wù)器數(shù)量超過11個后，可以通過主、從云中樞服務(wù)器的擴(kuò)展接口 EX增加擴(kuò)展卡，進(jìn)而增加負(fù)載服務(wù)器，以應(yīng)對更大規(guī)模的數(shù)據(jù)處理；處理后的數(shù)據(jù)通過數(shù)據(jù)輸出接口 B與數(shù)據(jù)接口總線連接，為各種高級應(yīng)用提供易于使用的數(shù)據(jù)訪問接口。
[0026]在圖2-4中，主、從云中樞服務(wù)器內(nèi)部各個組件通過內(nèi)部總線連接，這樣便于內(nèi)部各個部件和設(shè)備的擴(kuò)充，統(tǒng)一的總線標(biāo)準(zhǔn)可以很容易使不同設(shè)備間實現(xiàn)互聯(lián)互通。主、從云中樞服務(wù)器作為整個系統(tǒng)的中樞，完成對數(shù)據(jù)存儲和處理的統(tǒng)一調(diào)度。
[0027](I) CPU
CPU由運算器和控制器兩部分組成，主要完成處理指令、執(zhí)行操作、控制時間、處理數(shù)據(jù)功能，其中處理指令是指控制程序中指令的執(zhí)行順序。程序中的各指令之間是有嚴(yán)格順序的，必須嚴(yán)格按程序規(guī)定的順序執(zhí)行，才能保證主、從云中樞服務(wù)器工作的正確性；執(zhí)行操作表示一條指令的功能往往是由主、從云中樞服務(wù)器中的各個部件執(zhí)行一系列的操作來實現(xiàn)的，CPU要根據(jù)指令的功能，產(chǎn)生相應(yīng)的操作控制信號，發(fā)給相應(yīng)的部件，從而控制這些部件按指令的要求進(jìn)行動作；控制時間就是對各種操作實施時間上的定時，在一條指令的執(zhí)行過程中，在什么時間做什么操作均應(yīng)受到嚴(yán)格的控制，只有這樣，主、從云中樞服務(wù)器才能有條不紊地工作；處理數(shù)據(jù)即對數(shù)據(jù)進(jìn)行算術(shù)運算和邏輯運算，或進(jìn)行其他的信息處理，其功能主要是解釋主、從云中樞服務(wù)器指令以及處理主、從云中樞服務(wù)器中的數(shù)據(jù)，并執(zhí)行指令，一些通用的服務(wù)器CPU均可以采用，本實施例采用的是Intel Xeon E5-2650。
[0028](2)第一存儲單元
第一存儲單元主要由內(nèi)存和輔助存儲器組成，內(nèi)存是主、從云中樞服務(wù)器中與CPU進(jìn)行溝通的橋梁，主、從云中樞服務(wù)器中所有程序的運行都是在內(nèi)存中進(jìn)行的。一些通用的服務(wù)器內(nèi)存均可以采用，本實施例采用的是ECC DDR3內(nèi)存。ECC是一種新的內(nèi)存糾錯技術(shù)，在普通的內(nèi)存上，以前常常使用一種技術(shù)，即Parity,同位檢查碼(Parity check codes)被廣泛地使用在偵錯碼上，它們增加一個檢查位給每個字節(jié)，并且能夠偵測到一個字節(jié)中所有奇(偶)同位的錯誤，但Parity有一個缺點，當(dāng)計算機(jī)查到某個位有錯誤時，并不能確定錯誤在哪一個位，因此也就無法修正錯誤?；谏鲜銮闆r，產(chǎn)生了一種新的內(nèi)存糾錯技術(shù)，那就是ECC，因此本實施例采用ECC DDR3內(nèi)存，使主、從云中樞服務(wù)器具有很好的糾錯能力。
[0029]輔助存儲器用來存放數(shù)據(jù)文件，可以采用常用的SATA硬盤或移動存儲設(shè)備即可。
[0030](3)電源模塊
電源模塊為主、從云中樞服務(wù)器中CPU、第一存儲單元、智能單元等部件的正常運行供電，電源模塊保證了工作電源滿足系統(tǒng)的各項要求，具體如下:
①電源:單相220VAC+10%?220VAC-15%
②頻率:50HZ
③波形失真率:小于3%
(4)智能單元(見圖3、4)
智能單元是云中樞服務(wù)器一個很重要的組成部分，云中樞服務(wù)器與終端數(shù)據(jù)總線、數(shù)據(jù)接口總線、負(fù)載總線的連接以及主、從云中樞服務(wù)器的切換，均需要通過智能單元來完成。
[0031]在圖3、4中，智能單元內(nèi)部主要由主控單元和第二存儲單元組成，下面對主控單元和第二存儲單元進(jìn)行詳細(xì)的介紹。
[0032]①主控單元
主、從云中樞服務(wù)器與終端數(shù)據(jù)總線、數(shù)據(jù)接口總線、負(fù)載總線的連接，均是通過智能單元中的主控單元來完成。另外主控單元也用來與主、從云中樞服務(wù)器的CPU和第一存儲單元進(jìn)行通信，完成主、從云中樞服務(wù)器的調(diào)度，并且可以對主、從云中樞服務(wù)器的第一存儲單元中數(shù)據(jù)進(jìn)行操作。主控單元采用嵌入式無風(fēng)扇設(shè)計，超低功耗運行。
[0033]②第二存儲單元
第二存儲單元主要由ROM、RAM、Flash等組成。用來輔助主控單元，完成各個操作指令的執(zhí)行，并保存主、從云中樞服務(wù)器與終端數(shù)據(jù)總線、數(shù)據(jù)接口總線、負(fù)載總線通信過程中的實時運行信息以及主控單元狀態(tài)信息，并實時保存主、從云中樞運行狀態(tài)，為主、從云中樞服務(wù)器切換提供依據(jù)。
[0034]本發(fā)明的軟件是基于MapReduce模型完成的,MapReduce模型是Google開發(fā)的一種面向海量數(shù)據(jù)分析和處理的分布式計算模型，能夠利用大規(guī)模廉價服務(wù)器集群實現(xiàn)對海量數(shù)據(jù)的并行處理，具有良好的擴(kuò)展性和可靠性。其運行環(huán)境由客戶端、主節(jié)點(即主、從云中樞服務(wù)器)和工作節(jié)點(即各負(fù)載服務(wù)器)組成。客戶端將用戶的并行處理作業(yè)提交給主節(jié)點，主節(jié)點自動將作業(yè)分解為Map任務(wù)和Reduce任務(wù)，并將任務(wù)調(diào)度到工作節(jié)點；工作節(jié)點負(fù)責(zé)任務(wù)的執(zhí)行，開發(fā)人員向MapReduce模型提交的程序中僅僅需要定義Map函數(shù)和Reduce函數(shù)，Map操作對輸入數(shù)據(jù)進(jìn)行處理，產(chǎn)生一組中間的鍵值對集，Reduce操作對具有相同鍵的鍵值對進(jìn)行數(shù)據(jù)合并。
[0035]整個數(shù)據(jù)存儲和處理是基于MapReduce模型強大的開源系統(tǒng)Hadoop來實現(xiàn)的。Hadoop是一個開源的可運行于大型分布式集群上的并行編程框架，能夠更容易的開發(fā)并行處理海量數(shù)據(jù)的分布式計算平臺，具有可靠性、低成本、高效、可擴(kuò)展性等優(yōu)點，已經(jīng)應(yīng)用在各大互聯(lián)網(wǎng)公司的海量數(shù)據(jù)處理上，對于間歇性能源海量數(shù)據(jù)的處理，有很好的參考和借鑒價值。Hadoop這個名字不是一個縮寫，而是一個虛構(gòu)的名字。該項目的創(chuàng)建者DougCutting解釋Hadoop的得名:“這個名字是我孩子給一個棕黃色的大象玩具命名的。我的命名標(biāo)準(zhǔn)就是簡短，容易發(fā)音和拼寫，沒有太多的意義，并且不會被用于別處。小孩子恰恰是這方面的高手?！?br> 由圖5可知，間歇性能源海量數(shù)據(jù)處理流程主要分為海量數(shù)據(jù)存儲和海量數(shù)據(jù)處理兩部分，其中數(shù)據(jù)存儲主要負(fù)責(zé)存儲間歇性能源海量數(shù)據(jù)并拆分成若干數(shù)據(jù)分片；數(shù)據(jù)處理主要通過Map操作和Reduce操作，對間歇性能源海量數(shù)據(jù)進(jìn)行處理。
[0036](I)數(shù)據(jù)存儲:將海量的數(shù)據(jù)存儲于HDFS，HDFS是(Hadoop Distributed FileSystem) Hadoop分布式文件系統(tǒng)的縮寫，被設(shè)計成適合運行在通用硬件上的分布式文件系統(tǒng)，與現(xiàn)有分布式文件系統(tǒng)相比，HDFS有很多優(yōu)點，例如HDFS是一個高度容錯性的系統(tǒng)，適合部署在廉價的服務(wù)器上，能夠提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS中數(shù)據(jù)文件的目錄存儲于一個服務(wù)器，在HDFS中被稱為NameNode，對應(yīng)于圖1的主、從云中樞服務(wù)器，而具體的文件數(shù)據(jù)，拆分成若干塊，被稱為數(shù)據(jù)分片，冗余的存儲在不同服務(wù)器，HDFS中被稱為DataNode，對應(yīng)于圖1中的11個負(fù)載服務(wù)器，因此雖然具體的數(shù)據(jù)存儲在不同負(fù)載服務(wù)器上，但是在邏輯上，對于數(shù)據(jù)的訪問有統(tǒng)一的文件操作API(Applicat1n Programming Interface,應(yīng)用程序編程接口)，通過 Hadoop 提供的一系列API (Applicat1n Programming Interface,應(yīng)用程序編程接口)，API 是系統(tǒng)提供的一系列函數(shù)，以庫的形式存在，供用戶調(diào)用。
[0037](2)數(shù)據(jù)處理=MapReduce模型對數(shù)據(jù)的處理是并行處理的，對數(shù)據(jù)的處理拆分為若干個Map操作和Reduce操作，并被分配到不同的負(fù)載服務(wù)器上進(jìn)行計算，因此能夠高效快速的處理海量的數(shù)據(jù)，數(shù)據(jù)輸出可以供人機(jī)界面及其他高級應(yīng)用利用。對于數(shù)據(jù)如何進(jìn)行拆分以及如何進(jìn)行計算，過程比較復(fù)雜，為便于理解，通過下面的具體例子進(jìn)行詳細(xì)的說明:
以MapReduce模型在某區(qū)域性風(fēng)電場集中風(fēng)電輸出功率預(yù)測系統(tǒng)中的應(yīng)用為例，通過詳細(xì)說明一個作業(yè)的實現(xiàn)過程來介紹MapReduce模型。每一次計算請求稱為作業(yè),這里一個作業(yè)，指的是一次風(fēng)電場超短期輸出功率預(yù)測的執(zhí)行過程。風(fēng)電場超短期輸出功率預(yù)測的基本原理是根據(jù)風(fēng)電場各風(fēng)機(jī)歷史功率、風(fēng)速、風(fēng)向等參數(shù)，先預(yù)測風(fēng)速值，然后根據(jù)風(fēng)速與輸出功率的專家系統(tǒng)數(shù)據(jù)庫得出輸出功率的預(yù)測值，為完成一次功率預(yù)測計算請求，首先由客戶端(即用戶程序)將作業(yè)提交給主、從云中樞服務(wù)器，然后主、從云中樞服務(wù)器自動將其拆分成若干Map任務(wù)和Reduce任務(wù)，并分配到不同的負(fù)載服務(wù)器上執(zhí)行。Map任務(wù)將每臺風(fēng)機(jī)一段時間內(nèi)的歷史數(shù)據(jù)作為自己的輸入，經(jīng)過數(shù)據(jù)的篩選、計算等過程生成每臺風(fēng)機(jī)功率預(yù)測數(shù)據(jù)對:〈key，value〉，其表示的意義為〈風(fēng)場ID，風(fēng)機(jī)ID，時間，預(yù)測功率> ;等所有Map任務(wù)完成后,系統(tǒng)會生成若干個Reduce任務(wù),將相同風(fēng)場ID的〈key, value〉數(shù)據(jù)進(jìn)行總結(jié)，形成〈風(fēng)場ID，時間，預(yù)測功率 > 格式的數(shù)據(jù),進(jìn)而將Map操作和Reduce操作生成的中間文件匯總到最后的輸出文件中去，完成一次作業(yè)的執(zhí)行。
【權(quán)利要求】
1.一種間歇性能源海量數(shù)據(jù)處理系統(tǒng)，其特征在于包括主云中樞服務(wù)器、從云中樞服務(wù)器、第I至第11負(fù)載服務(wù)器、終端數(shù)據(jù)總線、負(fù)載總線和數(shù)據(jù)接口總線； 所述主、從云中樞服務(wù)器的數(shù)據(jù)采集接口 C分別通過終端數(shù)據(jù)總線與終端數(shù)據(jù)計算機(jī)相連接，所述終端數(shù)據(jù)計算機(jī)中存有風(fēng)電、太陽能、天氣預(yù)報的原始數(shù)據(jù)；主、從云中樞服務(wù)器的主從切換接口 D相連接，所述主從切換接口 D依次傳送握手信號和同步信號；主、從云中樞服務(wù)器的第I至第11接口通過負(fù)載總線分別與第I至第11負(fù)載服務(wù)器相連接，所述第I至第11接口為標(biāo)準(zhǔn)的RJ-45接口 ； 所述主、從云中樞服務(wù)器的數(shù)據(jù)輸出接口B通過數(shù)據(jù)接口總線分別與用戶終端計算機(jī)相連接； 所述主、從云中樞服務(wù)器的結(jié)構(gòu)相同，所述主云中樞服務(wù)器包括CPU、第一存儲單元、智能單元和電源模塊； 所述CPU分別與第一存儲單元、智能單元雙向連接，所述第一存儲單元與智能單元雙向連接，所述電源模塊分別為所述CPU、第一存儲單元和智能單元提供直流電源； 所述智能單元由主控單元、第二存儲單元、第一內(nèi)部總線和第二內(nèi)部總線組成；所述主控單元為嵌入式32位處理器，所述主控單元與第二存儲單元相連接，所述主控單元的相應(yīng)接口通過第一內(nèi)部總線分別與所述主云中樞服務(wù)器的第I至第11接口相連接，所述主控單元的相應(yīng)接口通過第二內(nèi)部總線分別與主云中樞服務(wù)器的數(shù)據(jù)輸出接口 B、數(shù)據(jù)采集接口C、主從切換接口 D相連接；所述主控單元分別與所述第一存儲單元和所述CPU相連接。
2.根據(jù)權(quán)利要求1所述間歇性能源海量數(shù)據(jù)處理系統(tǒng)，其特征在于所述CPU的型號為Intel Xeon E5-2650 ;所述第一存儲單元由內(nèi)存和輔助存儲器組成，所述內(nèi)存的型號為ECCDDR3，所述輔助存儲器為SATA硬盤或移動存儲器；所述電源模塊的型號為94Y6668。
3.根據(jù)權(quán)利要求1所述的間歇性能源海量數(shù)據(jù)處理系統(tǒng)，其特征在于所述嵌入式32位處理器的型號為ARM9，所述第二存儲單元的型號為DDR2+SDHC。
【文檔編號】H04L29/08GK104301402SQ201410511928
【公開日】2015年1月21日 申請日期:2014年9月29日 優(yōu)先權(quán)日:2014年9月29日
【發(fā)明者】梅華威, 米增強, 吳廣磊 申請人:華北電力大學(xué)（保定）