基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理裝置和方法
【專利摘要】本發(fā)明提供了一種基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理裝置和一種基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理方法,其中,所述裝置包括:數(shù)據(jù)加載模塊,用于將數(shù)據(jù)庫中待處理的數(shù)據(jù)加載至內(nèi)存數(shù)據(jù)網(wǎng)格中;數(shù)據(jù)劃分模塊,用于將加載至內(nèi)存數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)按照數(shù)據(jù)之間的關(guān)聯(lián)性劃分為至少一個數(shù)據(jù)集合;數(shù)據(jù)處理模塊,用于將每個數(shù)據(jù)集合分別交由內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)格節(jié)點(diǎn)進(jìn)行處理,并將每個數(shù)據(jù)集合的處理結(jié)果返回至所述數(shù)據(jù)庫。通過本發(fā)明的技術(shù)方案,可以將加載至內(nèi)存數(shù)據(jù)網(wǎng)格中待處理的數(shù)據(jù)分為多個數(shù)據(jù)集合,以便于內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)絡(luò)節(jié)點(diǎn)分別進(jìn)行處理,從而提高了數(shù)據(jù)處理的效率,同時減小了單個處理器進(jìn)行處理的負(fù)載壓力,縮減了數(shù)據(jù)處理的響應(yīng)時間。
【專利說明】基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理裝置和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)【技術(shù)領(lǐng)域】,具體而言,涉及一種基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理裝置和一種基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理方法。
【背景技術(shù)】
[0002]內(nèi)存數(shù)據(jù)網(wǎng)格(MDG)是一種面向廣域網(wǎng)上內(nèi)存資源共享的新型網(wǎng)格系統(tǒng)。它的主要目標(biāo)是在物理內(nèi)存不足的情況下,提高內(nèi)存密集型應(yīng)用或IO密集型應(yīng)用的系統(tǒng)性能。內(nèi)存數(shù)據(jù)網(wǎng)格被視為處理迅速、多樣和大數(shù)據(jù)量的大數(shù)據(jù)的一種方式。將數(shù)據(jù)存儲到內(nèi)存中,并使其分布到多個服務(wù)器上,該方法的目的是更容易獲取數(shù)據(jù)、改進(jìn)其可擴(kuò)展性和更好地進(jìn)行數(shù)據(jù)分析。
[0003]集團(tuán)ERP(Enterprise Resource Planning,企業(yè)資源計(jì)劃)系統(tǒng)具有數(shù)據(jù)量巨大,處理過程復(fù)雜耗時的特點(diǎn)。系統(tǒng)的數(shù)據(jù)量一般能夠達(dá)到幾十個G,甚至達(dá)到T的量級。同時由于ERP系統(tǒng)中有許多核心的算法,邏輯都相當(dāng)復(fù)雜,涉及到的數(shù)據(jù)量巨大,因此計(jì)算耗時較長,傳統(tǒng)的軟件算法結(jié)構(gòu)出現(xiàn)操作響應(yīng)時間長,服務(wù)器負(fù)載壓力大,瓶頸資源爭用、網(wǎng)絡(luò)傳輸壓力巨大等問題。
[0004]目前,相關(guān)技術(shù)中并沒有有效的技術(shù)方案來解決集團(tuán)ERP系統(tǒng)中遇到的上述技術(shù)問題。
【發(fā)明內(nèi)容】
[0005]本發(fā)明正是基于上述技術(shù)問題至少之一,提出了一種基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理方案,可以將加載至內(nèi)存數(shù)據(jù)網(wǎng)格中待處理的大量數(shù)據(jù)分為多個小的數(shù)據(jù)集合,以便于內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)絡(luò)節(jié)點(diǎn)分別進(jìn)行處理,從而提高了數(shù)據(jù)處理的效率,同時減小了單個處理器進(jìn)行處理的負(fù)載壓力,縮減了數(shù)據(jù)處理的響應(yīng)時間。
[0006]有鑒于此,本發(fā)明提出了一種基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理裝置,包括:數(shù)據(jù)加載模塊,用于將數(shù)據(jù)庫中待處理的數(shù)據(jù)加載至內(nèi)存數(shù)據(jù)網(wǎng)格中;數(shù)據(jù)劃分模塊,用于將加載至所述內(nèi)存數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)按照數(shù)據(jù)之間的關(guān)聯(lián)性劃分為至少一個數(shù)據(jù)集合;數(shù)據(jù)處理模塊,用于將所述至少一個數(shù)據(jù)集合中的每個數(shù)據(jù)集合分別交由所述內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)格節(jié)點(diǎn)進(jìn)行處理,并將所述每個數(shù)據(jù)集合的處理結(jié)果返回至所述數(shù)據(jù)庫。
[0007]在該技術(shù)方案中,通過將數(shù)據(jù)庫中待處理的數(shù)據(jù)加載至內(nèi)存數(shù)據(jù)網(wǎng)格中,使得待處理的數(shù)據(jù)能夠在數(shù)據(jù)處理之前一次性地全部加載至內(nèi)存數(shù)據(jù)網(wǎng)格中,避免了在進(jìn)行計(jì)算時,再分批地從數(shù)據(jù)庫中加載數(shù)據(jù)到內(nèi)存數(shù)據(jù)網(wǎng)格中導(dǎo)致的網(wǎng)絡(luò)延時,減少了數(shù)據(jù)計(jì)算等待的時間,確保了計(jì)算過程的實(shí)時性。
[0008]通過將加載至內(nèi)存數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)按照數(shù)據(jù)之間的關(guān)聯(lián)性分為至少一個數(shù)據(jù)集合,并將每個數(shù)據(jù)集合交由內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)格節(jié)點(diǎn)進(jìn)行處理,可以將加載至內(nèi)存數(shù)據(jù)網(wǎng)格中待處理的大量數(shù)據(jù)分為多個小的數(shù)據(jù)集合,以便于內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)絡(luò)節(jié)點(diǎn)分別進(jìn)行處理,由于多個小的數(shù)據(jù)集合在內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)絡(luò)節(jié)點(diǎn)是并行處理的,因此加快了數(shù)據(jù)處理的速度,同時由于將待處理的大量數(shù)據(jù)分為多個小的數(shù)據(jù)集合分別進(jìn)行處理,減小了單個處理器進(jìn)行處理的負(fù)載壓力,縮減了數(shù)據(jù)處理的響應(yīng)時間。比如,在MRP (Material Requirement planning,物料需求計(jì)劃)系統(tǒng)中,可以將其中一層的物料分為多個批次,以一個批次為一個計(jì)算單元交由不同的網(wǎng)格節(jié)點(diǎn)進(jìn)行處理,由于網(wǎng)格節(jié)點(diǎn)之間是并行處理的,因此提高了數(shù)據(jù)處理的效率。
[0009]在上述技術(shù)方案中,優(yōu)選地,所述數(shù)據(jù)處理模塊還包括:結(jié)果合并模塊,用于在所述每個數(shù)據(jù)集合都被處理完成之后,將所述每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行合并;所述數(shù)據(jù)處理模塊,還用于將所述數(shù)據(jù)的處理結(jié)果返回至所述數(shù)據(jù)庫。
[0010]在該技術(shù)方案中,由于從數(shù)據(jù)庫中加載數(shù)據(jù)時,是將待處理的數(shù)據(jù)一次性加載至內(nèi)存數(shù)據(jù)網(wǎng)格中的,因此通過在每個數(shù)據(jù)集合都處理完成之后,將每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行合并,并將合并后的處理結(jié)果返回至數(shù)據(jù)庫,使得返回至數(shù)據(jù)庫中的處理結(jié)果是加載至內(nèi)存數(shù)據(jù)網(wǎng)格中待處理數(shù)據(jù)整體的處理結(jié)果,避免了將多個小的數(shù)據(jù)集合的處理結(jié)果分別返回至數(shù)據(jù)庫中而造成數(shù)據(jù)結(jié)果的分散性,同時,由于將合并后的處理結(jié)果返回至數(shù)據(jù)庫,減少了對數(shù)據(jù)庫的訪問次數(shù),降低了數(shù)據(jù)庫的訪問壓力。
[0011]在上述技術(shù)方案中,優(yōu)選地,所述數(shù)據(jù)處理模塊還包括:監(jiān)測模塊,用于對所述每個數(shù)據(jù)集合的處理過程進(jìn)行監(jiān)測;所述結(jié)果合并模塊,還用于在所述監(jiān)測模塊監(jiān)測到所述每個數(shù)據(jù)集合都被處理完成之后,將所述每個數(shù)據(jù)結(jié)合的處理結(jié)果進(jìn)行合并。
[0012]在該技術(shù)方案中,由于網(wǎng)格節(jié)點(diǎn)的處理能力和處理速度可能不同,和/或不同數(shù)據(jù)集合中的數(shù)據(jù)量不同,因此每個網(wǎng)格節(jié)點(diǎn)對每個數(shù)據(jù)集合的處理時間可能不同,因此會出現(xiàn)有些數(shù)據(jù)集合已經(jīng)完成處理,但是有些數(shù)據(jù)集合正在處理的情況,如果盲目地將數(shù)據(jù)集合處理的結(jié)果進(jìn)行合并,可能合并后的處理結(jié)果并不包含其中一個或多個數(shù)據(jù)集合的處理結(jié)果,將會導(dǎo)致數(shù)據(jù)處理結(jié)果的不完整性,另一方面,可能多個數(shù)據(jù)集合都已完成處理,但是系統(tǒng)仍處于等待合并處理結(jié)果的狀態(tài)。因此通過對每個數(shù)據(jù)集合的處理過程進(jìn)行監(jiān)測,能夠確保及時得到所有數(shù)據(jù)集合處理完成的消息,并在獲知所有的數(shù)據(jù)集合都處理完成之后將每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行合并,提高了對處理結(jié)果合并時機(jī)的準(zhǔn)確性,優(yōu)化了系統(tǒng)的性能。
[0013]在上述技術(shù)方案中,優(yōu)選地,所述數(shù)據(jù)處理模塊還包括:持久化處理模塊,用于對所述處理結(jié)果進(jìn)行持久化處理;所述數(shù)據(jù)處理模塊,還用于將經(jīng)過所述持久化處理模塊處理后的所述處理結(jié)果返回至所述數(shù)據(jù)庫。
[0014]在該技術(shù)方案中,數(shù)據(jù)持久化是將內(nèi)存中的數(shù)據(jù)模塊轉(zhuǎn)換為存儲模型的過程,通過對處理結(jié)果進(jìn)行持久化處理,使得數(shù)據(jù)對應(yīng)的程序代碼重用性強(qiáng),并且可以提高程序代碼的可讀性,同時數(shù)據(jù)持久化可以對系統(tǒng)進(jìn)行自動優(yōu)化,減少對數(shù)據(jù)庫的訪問量,從而可以提聞系統(tǒng)運(yùn)行的效率。
[0015]在上述技術(shù)方案中,優(yōu)選地,所述待處理的數(shù)據(jù)包括:企業(yè)資源計(jì)劃系統(tǒng)中的數(shù)據(jù)。
[0016]在該技術(shù)方案中,由于企業(yè)資源計(jì)劃(ERP)系統(tǒng)中的數(shù)據(jù)量巨大,處理過程復(fù)雜耗時,而通過將ERP系統(tǒng)中的數(shù)據(jù)劃分為多個小的數(shù)據(jù)集合交由內(nèi)存數(shù)據(jù)網(wǎng)格中的不同的網(wǎng)格節(jié)點(diǎn)分別進(jìn)行處理,能夠確保ERP系統(tǒng)在大數(shù)據(jù)量、高并發(fā)、低速網(wǎng)絡(luò)的條件下,實(shí)現(xiàn)最短的響應(yīng)時間和穩(wěn)定的吞吐率。[0017]根據(jù)本發(fā)明的另一方面,還提出了一種基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理方法,包括:步驟202,將數(shù)據(jù)庫中待處理的數(shù)據(jù)加載至內(nèi)存數(shù)據(jù)網(wǎng)格中;步驟204,將加載至所述內(nèi)存數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)按照數(shù)據(jù)之間的關(guān)聯(lián)性劃分為至少一個數(shù)據(jù)集合;步驟206,將所述至少一個數(shù)據(jù)集合中的每個數(shù)據(jù)集合分別交由所述內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)格節(jié)點(diǎn)進(jìn)行處理,并將所述每個數(shù)據(jù)集合的處理結(jié)果返回至所述數(shù)據(jù)庫。
[0018]在該技術(shù)方案中,通過將數(shù)據(jù)庫中待處理的數(shù)據(jù)加載至內(nèi)存數(shù)據(jù)網(wǎng)格中,使得待處理的數(shù)據(jù)能夠在數(shù)據(jù)處理之前一次性地全部加載至內(nèi)存數(shù)據(jù)網(wǎng)格中,避免了在進(jìn)行計(jì)算時,再分批地從數(shù)據(jù)庫中加載數(shù)據(jù)到內(nèi)存數(shù)據(jù)網(wǎng)格中導(dǎo)致的網(wǎng)絡(luò)延時,減少了數(shù)據(jù)計(jì)算等待的時間,確保了計(jì)算過程的實(shí)時性。
[0019]通過將加載至內(nèi)存數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)按照數(shù)據(jù)之間的關(guān)聯(lián)性分為至少一個數(shù)據(jù)集合,并將每個數(shù)據(jù)集合交由內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)格節(jié)點(diǎn)進(jìn)行處理,可以將加載至內(nèi)存數(shù)據(jù)網(wǎng)格中待處理的大量數(shù)據(jù)分為多個小的數(shù)據(jù)集合,以便于內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)絡(luò)節(jié)點(diǎn)分別進(jìn)行處理,由于多個小的數(shù)據(jù)集合在內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)絡(luò)節(jié)點(diǎn)是并行處理的,因此加快了數(shù)據(jù)處理的速度,同時由于將待處理的大量數(shù)據(jù)分為多個小的數(shù)據(jù)集合分別進(jìn)行處理,減小了單個處理器進(jìn)行處理的負(fù)載壓力,縮減了數(shù)據(jù)處理的響應(yīng)時間。比如,在MRP (Material Requirement planning,物料需求計(jì)劃)系統(tǒng)中,可以將其中一層的物料分為多個批次,以一個批次為一個計(jì)算單元交由不同的網(wǎng)格節(jié)點(diǎn)進(jìn)行處理,由于網(wǎng)格節(jié)點(diǎn)之間是并行處理的,因此提高了數(shù)據(jù)處理的效率。
[0020]在上述技術(shù)方案中,優(yōu)選地,所述步驟206還包括:在所述每個數(shù)據(jù)集合都被處理完成之后,將所述每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行合并,得到所述數(shù)據(jù)的處理結(jié)果;將所述數(shù)據(jù)的處理結(jié)果返回至所述數(shù)據(jù)庫。
[0021]在該技術(shù)方案中,由于從數(shù)據(jù)庫中加載數(shù)據(jù)時,是將待處理的數(shù)據(jù)一次性加載至內(nèi)存數(shù)據(jù)網(wǎng)格中的,因此通過在每個數(shù)據(jù)集合都處理完成之后,將每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行合并,并將合并后的處理結(jié)果返回至數(shù)據(jù)庫,使得返回至數(shù)據(jù)庫中的處理結(jié)果是加載至內(nèi)存數(shù)據(jù)網(wǎng)格中待處理數(shù)據(jù)整體的處理結(jié)果,避免了將多個小的數(shù)據(jù)集合的處理結(jié)果分別返回至數(shù)據(jù)庫中而造成數(shù)據(jù)結(jié)果的分散性,同時,由于將合并后的處理結(jié)果返回至數(shù)據(jù)庫,減少了對數(shù)據(jù)庫的訪問次數(shù),降低了數(shù)據(jù)庫的訪問壓力。
[0022]在上述技術(shù)方案中,優(yōu)選地,所述步驟206還包括:對所述每個數(shù)據(jù)集合的處理過程進(jìn)行監(jiān)測;當(dāng)監(jiān)測到所述每個數(shù)據(jù)集合都被處理完成之后,將所述每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行合并。
[0023]在該技術(shù)方案中,由于網(wǎng)格節(jié)點(diǎn)的處理能力和處理速度可能不同,和/或不同數(shù)據(jù)集合中的數(shù)據(jù)量不同,因此每個網(wǎng)格節(jié)點(diǎn)對每個數(shù)據(jù)集合的處理時間可能不同,因此會出現(xiàn)有些數(shù)據(jù)集合已經(jīng)完成處理,但是有些數(shù)據(jù)集合正在處理的情況,如果盲目地將數(shù)據(jù)集合處理的結(jié)果進(jìn)行合并,可能合并后的處理結(jié)果并不包含其中一個或多個數(shù)據(jù)集合的處理結(jié)果,將會導(dǎo)致數(shù)據(jù)處理結(jié)果的不完整性,另一方面,可能多個數(shù)據(jù)集合都已完成處理,但是系統(tǒng)仍處于等待合并處理結(jié)果的狀態(tài)。因此通過對每個數(shù)據(jù)集合的處理過程進(jìn)行監(jiān)測,能夠確保及時得到所有數(shù)據(jù)集合處理完成的消息,并在獲知所有的數(shù)據(jù)集合都處理完成之后將每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行合并,提高了對處理結(jié)果合并時機(jī)的準(zhǔn)確性,優(yōu)化了系統(tǒng)的性能。[0024]在上述技術(shù)方案中,優(yōu)選地,所述步驟206還包括:對所述處理結(jié)果進(jìn)行持久化處理,將經(jīng)過持久化處理之后的所述處理結(jié)果返回至所述數(shù)據(jù)庫。
[0025]在該技術(shù)方案中,數(shù)據(jù)持久化是將內(nèi)存中的數(shù)據(jù)模塊轉(zhuǎn)換為存儲模型的過程,通過對處理結(jié)果進(jìn)行持久化處理,使得數(shù)據(jù)對應(yīng)的程序代碼重用性強(qiáng),并且可以提高程序代碼的可讀性,同時數(shù)據(jù)持久化可以對系統(tǒng)進(jìn)行自動優(yōu)化,減少對數(shù)據(jù)庫的訪問量,從而可以提聞系統(tǒng)運(yùn)行的效率。
[0026]在上述技術(shù)方案中,優(yōu)選地,所述待處理的數(shù)據(jù)包括:企業(yè)資源計(jì)劃系統(tǒng)中的數(shù)據(jù)。
[0027]在該技術(shù)方案中,由于企業(yè)資源計(jì)劃(ERP)系統(tǒng)中的數(shù)據(jù)量巨大,處理過程復(fù)雜耗時,而通過將ERP系統(tǒng)中的數(shù)據(jù)劃分為多個小的數(shù)據(jù)集合交由內(nèi)存數(shù)據(jù)網(wǎng)格中的不同的網(wǎng)格節(jié)點(diǎn)分別進(jìn)行處理,能夠確保ERP系統(tǒng)在大數(shù)據(jù)量、高并發(fā)、低速網(wǎng)絡(luò)的條件下,實(shí)現(xiàn)最短的響應(yīng)時間和穩(wěn)定的吞吐率。
[0028]通過以上技術(shù)方案,可以將加載至內(nèi)存數(shù)據(jù)網(wǎng)格中待處理的大量數(shù)據(jù)分為多個小的數(shù)據(jù)集合,以便于內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)絡(luò)節(jié)點(diǎn)分別進(jìn)行處理,從而提高了數(shù)據(jù)處理的效率,同時減小了單個處理器進(jìn)行處理的負(fù)載壓力,縮減了數(shù)據(jù)處理的響應(yīng)時間。
【專利附圖】
【附圖說明】
[0029]圖1示出了根據(jù)本發(fā)明的實(shí)施例的基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理裝置的示意框圖;
[0030]圖2示出了根據(jù)本發(fā)明的實(shí)施例的基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理方法的示意流程圖;
[0031]圖3示出了根據(jù)本發(fā)明的一個實(shí)施例的物料需求計(jì)劃的處理方法的示意流程圖;
[0032]圖4示出了根據(jù)本發(fā)明的另一個實(shí)施例的物料需求計(jì)劃處理方法的示意流程圖。
【具體實(shí)施方式】
[0033]為了能夠更清楚地理解本發(fā)明的上述目的、特征和優(yōu)點(diǎn),下面結(jié)合附圖和【具體實(shí)施方式】對本發(fā)明進(jìn)行進(jìn)一步的詳細(xì)描述。需要說明的是,在不沖突的情況下,本申請的實(shí)施例及實(shí)施例中的特征可以相互組合。
[0034]在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本發(fā)明,但是,本發(fā)明還可以采用其他不同于在此描述的其他方式來實(shí)施,因此,本發(fā)明的保護(hù)范圍并不受下面公開的具體實(shí)施例的限制。
[0035]圖1示出了根據(jù)本發(fā)明的實(shí)施例的基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理裝置的示意框圖。
[0036]如圖1所示,根據(jù)本發(fā)明的實(shí)施例的基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理裝置100,包括:數(shù)據(jù)加載模塊102,用于將數(shù)據(jù)庫中待處理的數(shù)據(jù)加載至內(nèi)存數(shù)據(jù)網(wǎng)格中;數(shù)據(jù)劃分模塊104,用于將加載至所述內(nèi)存數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)按照數(shù)據(jù)之間的關(guān)聯(lián)性劃分為至少一個數(shù)據(jù)集合;數(shù)據(jù)處理模塊106,用于將所述至少一個數(shù)據(jù)集合中的每個數(shù)據(jù)集合分別交由所述內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)格節(jié)點(diǎn)進(jìn)行處理,并將所述每個數(shù)據(jù)集合的處理結(jié)果返回至所述數(shù)據(jù)庫。[0037]在該技術(shù)方案中,通過將數(shù)據(jù)庫中待處理的數(shù)據(jù)加載至內(nèi)存數(shù)據(jù)網(wǎng)格中,使得待處理的數(shù)據(jù)能夠在數(shù)據(jù)處理之前一次性地全部加載至內(nèi)存數(shù)據(jù)網(wǎng)格中,避免了在進(jìn)行計(jì)算時,再分批地從數(shù)據(jù)庫中加載數(shù)據(jù)到內(nèi)存數(shù)據(jù)網(wǎng)格中導(dǎo)致的網(wǎng)絡(luò)延時,減少了數(shù)據(jù)計(jì)算等待的時間,確保了計(jì)算過程的實(shí)時性。
[0038]通過將加載至內(nèi)存數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)按照數(shù)據(jù)之間的關(guān)聯(lián)性分為至少一個數(shù)據(jù)集合,并將每個數(shù)據(jù)集合交由內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)格節(jié)點(diǎn)進(jìn)行處理,可以將加載至內(nèi)存數(shù)據(jù)網(wǎng)格中待處理的大量數(shù)據(jù)分為多個小的數(shù)據(jù)集合,以便于內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)絡(luò)節(jié)點(diǎn)分別進(jìn)行處理,由于多個小的數(shù)據(jù)集合在內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)絡(luò)節(jié)點(diǎn)是并行處理的,因此加快了數(shù)據(jù)處理的速度,同時由于將待處理的大量數(shù)據(jù)分為多個小的數(shù)據(jù)集合分別進(jìn)行處理,減小了單個處理器進(jìn)行處理的負(fù)載壓力,縮減了數(shù)據(jù)處理的響應(yīng)時間。比如,在MRP (Material Requirement planning,物料需求計(jì)劃)系統(tǒng)中,可以將其中一層的物料分為多個批次,以一個批次為一個計(jì)算單元交由不同的網(wǎng)格節(jié)點(diǎn)進(jìn)行處理,由于網(wǎng)格節(jié)點(diǎn)之間是并行處理的,因此提高了數(shù)據(jù)處理的效率。
[0039]在上述技術(shù)方案中,優(yōu)選地,所述數(shù)據(jù)處理模塊106還包括:結(jié)果合并模塊1062,用于在所述每個數(shù)據(jù)集合都被處理完成之后,將所述每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行合并;所述數(shù)據(jù)處理模塊106,還用于將所述數(shù)據(jù)的處理結(jié)果返回至所述數(shù)據(jù)庫。
[0040]在該技術(shù)方案中,由于從數(shù)據(jù)庫中加載數(shù)據(jù)時,是將待處理的數(shù)據(jù)一次性加載至內(nèi)存數(shù)據(jù)網(wǎng)格中的,因此通過在每個數(shù)據(jù)集合都處理完成之后,將每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行合并,并將合并后的處理結(jié)果返回至數(shù)據(jù)庫,使得返回至數(shù)據(jù)庫中的處理結(jié)果是加載至內(nèi)存數(shù)據(jù)網(wǎng)格中待處理數(shù)據(jù)整體的處理結(jié)果,避免了將多個小的數(shù)據(jù)集合的處理結(jié)果分別返回至數(shù)據(jù)庫中而造成數(shù)據(jù)結(jié)果的分散性,同時,由于將合并后的處理結(jié)果返回至數(shù)據(jù)庫,減少了對數(shù)據(jù)庫的訪問次數(shù),降低了數(shù)據(jù)庫的訪問壓力。
[0041]在上述技術(shù)方案中,優(yōu)選地,所述數(shù)據(jù)處理模塊106還包括:監(jiān)測模塊1064,用于對所述每個數(shù)據(jù)集合的處理過程進(jìn)行監(jiān)測;所述結(jié)果合并模塊1062,還用于在所述監(jiān)測模塊1064監(jiān)測到所述每個數(shù)據(jù)集合都被處理完成之后,將所述每個數(shù)據(jù)結(jié)合的處理結(jié)果進(jìn)行合并。
[0042]在該技術(shù)方案中,由于網(wǎng)格節(jié)點(diǎn)的處理能力和處理速度可能不同,和/或不同數(shù)據(jù)集合中的數(shù)據(jù)量不同,因此每個網(wǎng)格節(jié)點(diǎn)對每個數(shù)據(jù)集合的處理時間可能不同,因此會出現(xiàn)有些數(shù)據(jù)集合已經(jīng)完成處理,但是有些數(shù)據(jù)集合正在處理的情況,如果盲目地將數(shù)據(jù)集合處理的結(jié)果進(jìn)行合并,可能合并后的處理結(jié)果并不包含其中一個或多個數(shù)據(jù)集合的處理結(jié)果,將會導(dǎo)致數(shù)據(jù)處理結(jié)果的不完整性,另一方面,可能多個數(shù)據(jù)集合都已完成處理,但是系統(tǒng)仍處于等待合并處理結(jié)果的狀態(tài)。因此通過對每個數(shù)據(jù)集合的處理過程進(jìn)行監(jiān)測,能夠確保及時得到所有數(shù)據(jù)集合處理完成的消息,并在獲知所有的數(shù)據(jù)集合都處理完成之后將每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行合并,提高了對處理結(jié)果合并時機(jī)的準(zhǔn)確性,優(yōu)化了系統(tǒng)的性能。
[0043]在上述技術(shù)方案中,優(yōu)選地,所述數(shù)據(jù)處理模塊106還包括:持久化處理模塊1066,用于對所述處理結(jié)果進(jìn)行持久化處理;所述數(shù)據(jù)處理模塊106,還用于將經(jīng)過所述持久化處理模塊1066處理后的所述處理結(jié)果返回至所述數(shù)據(jù)庫。
[0044]在該技術(shù)方案中,數(shù)據(jù)持久化是將內(nèi)存中的數(shù)據(jù)模塊轉(zhuǎn)換為存儲模型的過程,通過對處理結(jié)果進(jìn)行持久化處理,使得數(shù)據(jù)對應(yīng)的程序代碼重用性強(qiáng),并且可以提高程序代碼的可讀性,同時數(shù)據(jù)持久化可以對系統(tǒng)進(jìn)行自動優(yōu)化,減少對數(shù)據(jù)庫的訪問量,從而可以提聞系統(tǒng)運(yùn)行的效率。
[0045]在上述技術(shù)方案中,優(yōu)選地,所述待處理的數(shù)據(jù)包括:企業(yè)資源計(jì)劃系統(tǒng)中的數(shù)據(jù)。
[0046]在該技術(shù)方案中,由于企業(yè)資源計(jì)劃(ERP)系統(tǒng)中的數(shù)據(jù)量巨大,處理過程復(fù)雜耗時,而通過將ERP系統(tǒng)中的數(shù)據(jù)劃分為多個小的數(shù)據(jù)集合交由內(nèi)存數(shù)據(jù)網(wǎng)格中的不同的網(wǎng)格節(jié)點(diǎn)分別進(jìn)行處理,能夠確保ERP系統(tǒng)在大數(shù)據(jù)量、高并發(fā)、低速網(wǎng)絡(luò)的條件下,實(shí)現(xiàn)最短的響應(yīng)時間和穩(wěn)定的吞吐率。
[0047]圖2示出了根據(jù)本發(fā)明的實(shí)施例的基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理方法的示意流程圖。
[0048]如圖2所示,根據(jù)本發(fā)明的實(shí)施例的基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理方法,包括:步驟202,將數(shù)據(jù)庫中待處理的數(shù)據(jù)加載至內(nèi)存數(shù)據(jù)網(wǎng)格中;步驟204,將加載至所述內(nèi)存數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)按照數(shù)據(jù)之間的關(guān)聯(lián)性劃分為至少一個數(shù)據(jù)集合;步驟206,將所述至少一個數(shù)據(jù)集合中的每個數(shù)據(jù)集合分別交由所述內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)格節(jié)點(diǎn)進(jìn)行處理,并將所述每個數(shù)據(jù)集合的處理結(jié)果返回至所述數(shù)據(jù)庫。
[0049]在該技術(shù)方案中,通過將數(shù)據(jù)庫中待處理的數(shù)據(jù)加載至內(nèi)存數(shù)據(jù)網(wǎng)格中,使得待處理的數(shù)據(jù)能夠在數(shù)據(jù)處理之前一次性地全部加載至內(nèi)存數(shù)據(jù)網(wǎng)格中,避免了在進(jìn)行計(jì)算時,再分批地從數(shù)據(jù)庫中加載數(shù)據(jù)到內(nèi)存數(shù)據(jù)網(wǎng)格中導(dǎo)致的網(wǎng)絡(luò)延時,減少了數(shù)據(jù)計(jì)算等待的時間,確保了計(jì)算過程的實(shí)時性。
[0050]通過將加載至內(nèi)存數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)按照數(shù)據(jù)之間的關(guān)聯(lián)性分為至少一個數(shù)據(jù)集合,并將每個數(shù)據(jù)集合交由內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)格節(jié)點(diǎn)進(jìn)行處理,可以將加載至內(nèi)存數(shù)據(jù)網(wǎng)格中待處理的大量數(shù)據(jù)分為多個小的數(shù)據(jù)集合,以便于內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)絡(luò)節(jié)點(diǎn)分別進(jìn)行處理,由于多個小的數(shù)據(jù)集合在內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)絡(luò)節(jié)點(diǎn)是并行處理的,因此加快了數(shù)據(jù)處理的速度,同時由于將待處理的大量數(shù)據(jù)分為多個小的數(shù)據(jù)集合分別進(jìn)行處理,減小了單個處理器進(jìn)行處理的負(fù)載壓力,縮減了數(shù)據(jù)處理的響應(yīng)時間。比如,在MRP (Material Requirement planning,物料需求計(jì)劃)系統(tǒng)中,可以將其中一層的物料分為多個批次,以一個批次為一個計(jì)算單元交由不同的網(wǎng)格節(jié)點(diǎn)進(jìn)行處理,由于網(wǎng)格節(jié)點(diǎn)之間是并行處理的,因此提高了數(shù)據(jù)處理的效率。
[0051]在上述技術(shù)方案中,優(yōu)選地,所述步驟206還包括:在所述每個數(shù)據(jù)集合都被處理完成之后,將所述每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行合并,得到所述數(shù)據(jù)的處理結(jié)果;將所述數(shù)據(jù)的處理結(jié)果返回至所述數(shù)據(jù)庫。
[0052]在該技術(shù)方案中,由于從數(shù)據(jù)庫中加載數(shù)據(jù)時,是將待處理的數(shù)據(jù)一次性加載至內(nèi)存數(shù)據(jù)網(wǎng)格中的,因此通過在每個數(shù)據(jù)集合都處理完成之后,將每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行合并,并將合并后的處理結(jié)果返回至數(shù)據(jù)庫,使得返回至數(shù)據(jù)庫中的處理結(jié)果是加載至內(nèi)存數(shù)據(jù)網(wǎng)格中待處理數(shù)據(jù)整體的處理結(jié)果,避免了將多個小的數(shù)據(jù)集合的處理結(jié)果分別返回至數(shù)據(jù)庫中而造成數(shù)據(jù)結(jié)果的分散性,同時,由于將合并后的處理結(jié)果返回至數(shù)據(jù)庫,減少了對數(shù)據(jù)庫的訪問次數(shù),降低了數(shù)據(jù)庫的訪問壓力。
[0053]在上述技術(shù)方案中,優(yōu)選地,所述步驟206還包括:對所述每個數(shù)據(jù)集合的處理過程進(jìn)行監(jiān)測;當(dāng)監(jiān)測到所述每個數(shù)據(jù)集合都被處理完成之后,將所述每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行合并。
[0054]在該技術(shù)方案中,由于網(wǎng)格節(jié)點(diǎn)的處理能力和處理速度可能不同,和/或不同數(shù)據(jù)集合中的數(shù)據(jù)量不同,因此每個網(wǎng)格節(jié)點(diǎn)對每個數(shù)據(jù)集合的處理時間可能不同,因此會出現(xiàn)有些數(shù)據(jù)集合已經(jīng)完成處理,但是有些數(shù)據(jù)集合正在處理的情況,如果盲目地將數(shù)據(jù)集合處理的結(jié)果進(jìn)行合并,可能合并后的處理結(jié)果并不包含其中一個或多個數(shù)據(jù)集合的處理結(jié)果,將會導(dǎo)致數(shù)據(jù)處理結(jié)果的不完整性,另一方面,可能多個數(shù)據(jù)集合都已完成處理,但是系統(tǒng)仍處于等待合并處理結(jié)果的狀態(tài)。因此通過對每個數(shù)據(jù)集合的處理過程進(jìn)行監(jiān)測,能夠確保及時得到所有數(shù)據(jù)集合處理完成的消息,并在獲知所有的數(shù)據(jù)集合都處理完成之后將每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行合并,提高了對處理結(jié)果合并時機(jī)的準(zhǔn)確性,優(yōu)化了系統(tǒng)的性能。
[0055]在上述技術(shù)方案中,優(yōu)選地,所述步驟206還包括:對所述處理結(jié)果進(jìn)行持久化處理,將經(jīng)過持久化處理之后的所述處理結(jié)果返回至所述數(shù)據(jù)庫。
[0056]在該技術(shù)方案中,數(shù)據(jù)持久化是將內(nèi)存中的數(shù)據(jù)模塊轉(zhuǎn)換為存儲模型的過程,通過對處理結(jié)果進(jìn)行持久化處理,使得數(shù)據(jù)對應(yīng)的程序代碼重用性強(qiáng),并且可以提高程序代碼的可讀性,同時數(shù)據(jù)持久化可以對系統(tǒng)進(jìn)行自動優(yōu)化,減少對數(shù)據(jù)庫的訪問量,從而可以提聞系統(tǒng)運(yùn)行的效率。
[0057]在上述技術(shù)方案中,優(yōu)選地,所述待處理的數(shù)據(jù)包括:企業(yè)資源計(jì)劃系統(tǒng)中的數(shù)據(jù)。
[0058]在該技術(shù)方案中,由于企業(yè)資源計(jì)劃(ERP)系統(tǒng)中的數(shù)據(jù)量巨大,處理過程復(fù)雜耗時,而通過將ERP系統(tǒng)中的數(shù)據(jù)劃分為多個小的數(shù)據(jù)集合交由內(nèi)存數(shù)據(jù)網(wǎng)格中的不同的網(wǎng)格節(jié)點(diǎn)分別進(jìn)行處理,能夠確保ERP系統(tǒng)在大數(shù)據(jù)量、高并發(fā)、低速網(wǎng)絡(luò)的條件下,實(shí)現(xiàn)最短的響應(yīng)時間和穩(wěn)定的吞吐率。
[0059]下面結(jié)合圖3至圖4,以物料需求計(jì)劃的處理方法詳細(xì)說明本發(fā)明的技術(shù)方案。
[0060]圖3示出了根據(jù)本發(fā)明的一個實(shí)施例的物料需求計(jì)劃的處理方法的示意流程圖。
[0061]如圖3所示,根據(jù)本發(fā)明的一個實(shí)施例的物料需求計(jì)劃的處理方法,包括:
[0062]步驟302,獲取需要運(yùn)算的物料范圍,即指定待處理的數(shù)據(jù)。
[0063]步驟304,對物料集合進(jìn)行分層,由于物料需求計(jì)劃是由最終產(chǎn)品分層展開到原材料,多層進(jìn)行計(jì)算,在其中一層物料計(jì)算完成之后,繼續(xù)進(jìn)行下一層物料的需求計(jì)劃。
[0064]步驟306,對每層物料進(jìn)行分批,針對每一層待處理的物料,分為多個批次,分別進(jìn)行處理。
[0065]步驟308,指定第一批物料。
[0066]步驟310,獲取物料需求和供給。
[0067]步驟312,得到下一個物料進(jìn)行需求平衡計(jì)算。
[0068]步驟314,創(chuàng)建物料計(jì)劃訂單。
[0069]針對每一層中的每一批次的物料,都執(zhí)行步驟310至步驟312。
[0070]步驟316,在所有批次的物料都計(jì)算完成之后,返回步驟306計(jì)算下一層物料。
[0071]圖4示出了根據(jù)本發(fā)明的另一個實(shí)施例的物料需求計(jì)劃處理方法的示意流程圖。
[0072]如圖4所示,根據(jù)本發(fā)明的另一個實(shí)施例的物料需求計(jì)劃處理方法,包括:[0073]步驟402,獲取需要運(yùn)算的物料范圍,即指定待處理的數(shù)據(jù)。
[0074]在確定需要運(yùn)算的物料范圍之后,將數(shù)據(jù)庫416中的所有物料需求和供給信息加載至內(nèi)存數(shù)據(jù)網(wǎng)格中的網(wǎng)格節(jié)點(diǎn)418中,以下的處理過程都是在內(nèi)存數(shù)據(jù)網(wǎng)格中進(jìn)行處理。
[0075]步驟404,獲取所有物料的所有需求和供給。
[0076]步驟406,對物料集合進(jìn)行分層,由于物料需求計(jì)劃是由最終產(chǎn)品分層展開到原材料,多層進(jìn)行計(jì)算,在其中一層物料計(jì)算完成之后,繼續(xù)進(jìn)行下一層物料的需求計(jì)劃。
[0077]步驟408,對每層物料進(jìn)行分批,針對每一層待處理的物料,分為多個批次,分別進(jìn)行處理。
[0078]步驟410,對于同一層物料的不同批次分別進(jìn)行任務(wù)封裝,每個批次對應(yīng)于一個任務(wù),在任務(wù)封裝完成之后,交由內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)格節(jié)點(diǎn)進(jìn)行處理,如圖中所示,將第一批物料的計(jì)算任務(wù)交由網(wǎng)格節(jié)點(diǎn)420進(jìn)行計(jì)算,將第二批物料的計(jì)算任務(wù)交由網(wǎng)格節(jié)點(diǎn)422進(jìn)行計(jì)算,將第η批物料的計(jì)算任務(wù)交由網(wǎng)格節(jié)點(diǎn)424進(jìn)行計(jì)算,在計(jì)算完成之后,對所有網(wǎng)格節(jié)點(diǎn)的處理結(jié)果進(jìn)行合并,并進(jìn)行數(shù)據(jù)持久化處理之后,返回至數(shù)據(jù)庫416中。
[0079]步驟412,任務(wù)狀態(tài)監(jiān)視器用于對每層中的所有批次的任務(wù)進(jìn)行監(jiān)視,在監(jiān)視到所有批次的任務(wù)都完成之后,執(zhí)行步驟414。
[0080]步驟414,所有批次的物料計(jì)算完成之后,返回步驟408繼續(xù)計(jì)算下一層物料。
[0081]圖3至圖4詳細(xì)介紹了根據(jù)本發(fā)明的技術(shù)方案對物料需求計(jì)劃的處理方法。由于本發(fā)明的技術(shù)方案是基于內(nèi)存數(shù)據(jù)網(wǎng)格對數(shù)據(jù)進(jìn)行的并行處理,并且在數(shù)據(jù)計(jì)算之前將所有待處理的數(shù)據(jù)都加載至內(nèi)存數(shù)據(jù)網(wǎng)格中,因此可以減少處理過程中對數(shù)據(jù)庫訪問及數(shù)據(jù)的交互,此外,通過內(nèi)存網(wǎng)格來執(zhí)行計(jì)算及數(shù)據(jù)庫訪問、持久化等操作,提高了整個處理過程的效率。
[0082]本領(lǐng)域的技術(shù)人員應(yīng)該理解,對于企業(yè)資源計(jì)劃ERP系統(tǒng)中大多數(shù)的核心計(jì)算都可以利用本發(fā)明的技術(shù)方案進(jìn)行實(shí)現(xiàn),以解決傳統(tǒng)ERP系統(tǒng)中嚴(yán)重的性能問題。對于其他系統(tǒng)中的數(shù)據(jù)處理也可以使用本申請技術(shù)方案的處理方法進(jìn)行處理,任何與本申請技術(shù)方案中提到的數(shù)據(jù)處理方法相關(guān)的技術(shù)方案,都應(yīng)在本申請的保護(hù)范圍之內(nèi)。
[0083]以上結(jié)合附圖詳細(xì)說明了本發(fā)明的技術(shù)方案,考慮到在ERP系統(tǒng)中,由于許多核心的算法的邏輯都相當(dāng)復(fù)雜,涉及到的數(shù)據(jù)量巨大,因此計(jì)算耗時較長,傳統(tǒng)的軟件算法結(jié)構(gòu)出現(xiàn)操作響應(yīng)時間長,服務(wù)器負(fù)載壓力大,瓶頸資源爭用、網(wǎng)絡(luò)傳輸壓力巨大等問題。本發(fā)明提出了一種基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理方案,可以將加載至內(nèi)存數(shù)據(jù)網(wǎng)格中待處理的大量數(shù)據(jù)分為多個小的數(shù)據(jù)集合,以便于內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)絡(luò)節(jié)點(diǎn)分別進(jìn)行處理,從而提高了數(shù)據(jù)處理的效率,同時減小了單個處理器進(jìn)行處理的負(fù)載壓力,縮減了數(shù)據(jù)處理的響應(yīng)時間。
[0084]以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已,并不用于限制本發(fā)明,對于本領(lǐng)域的技術(shù)人員來說,本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理裝置,其特征在于,包括: 數(shù)據(jù)加載模塊,用于將數(shù)據(jù)庫中待處理的數(shù)據(jù)加載至內(nèi)存數(shù)據(jù)網(wǎng)格中; 數(shù)據(jù)劃分模塊,用于將加載至所述內(nèi)存數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)按照數(shù)據(jù)之間的關(guān)聯(lián)性劃分為至少一個數(shù)據(jù)集合; 數(shù)據(jù)處理模塊,用于將所述至少一個數(shù)據(jù)集合中的每個數(shù)據(jù)集合分別交由所述內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)格節(jié)點(diǎn)進(jìn)行處理,并將所述每個數(shù)據(jù)集合的處理結(jié)果返回至所述數(shù)據(jù)庫。
2.根據(jù)權(quán)利要求1所述的基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理裝置,其特征在于,所述數(shù)據(jù)處理模塊包括:結(jié)果合并模塊,用于在所述每個數(shù)據(jù)集合都被處理完成之后,將所述每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行合并; 所述數(shù)據(jù)處理模塊,還用于將所述數(shù)據(jù)的處理結(jié)果返回至所述數(shù)據(jù)庫。
3.根據(jù)權(quán)利要求2所述的基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理裝置,其特征在于,所述數(shù)據(jù)處理模塊還包括:監(jiān)測模塊,用于對所述每個數(shù)據(jù)集合的處理過程進(jìn)行監(jiān)測; 所述結(jié)果合并模塊,還用于在所述監(jiān)測模塊監(jiān)測到所述每個數(shù)據(jù)集合都被處理完成之后,將所述每個數(shù)據(jù)結(jié)合的處理結(jié)果進(jìn)行合并。
4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理裝置,其特征在于,所述數(shù)據(jù)處理模塊還包括:持久化處理模塊,用于對所述處理結(jié)果進(jìn)行持久化處理; 所述數(shù)據(jù)處理模塊,還用于將經(jīng)過所述持久化處理模塊處理后的所述處理結(jié)果返回至所述數(shù)據(jù)庫。
5.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理裝置,其特征在于,所述待處理的數(shù)據(jù)包括:企業(yè)資源計(jì)劃系統(tǒng)中的數(shù)據(jù)。
6.一種基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理方法,其特征在于,包括: 步驟202,將數(shù)據(jù)庫中待處理的數(shù)據(jù)加載至內(nèi)存數(shù)據(jù)網(wǎng)格中; 步驟204,將加載至所述內(nèi)存數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)按照數(shù)據(jù)之間的關(guān)聯(lián)性劃分為至少一個數(shù)據(jù)集合; 步驟206,將所述至少一個數(shù)據(jù)集合中的每個數(shù)據(jù)集合分別交由所述內(nèi)存數(shù)據(jù)網(wǎng)格中的不同網(wǎng)格節(jié)點(diǎn)進(jìn)行處理,并將所述每個數(shù)據(jù)集合的處理結(jié)果返回至所述數(shù)據(jù)庫。
7.根據(jù)權(quán)利要求6所述的基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理方法,其特征在于,所述步驟206還包括: 在所述每個數(shù)據(jù)集合都被處理完成之后,將所述每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行合并,得到所述數(shù)據(jù)的處理結(jié)果; 將所述數(shù)據(jù)的處理結(jié)果返回至所述數(shù)據(jù)庫。
8.根據(jù)權(quán)利要求7所述的基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理方法,其特征在于,所述步驟206還包括: 對所述每個數(shù)據(jù)集合的處理過程進(jìn)行監(jiān)測; 當(dāng)監(jiān)測到所述每個數(shù)據(jù)集合都被處理完成之后,將所述每個數(shù)據(jù)集合的處理結(jié)果進(jìn)行I=I TT O
9.根據(jù)權(quán)利要求6至8中任一項(xiàng)所述的基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理方法,其特征在于,所述步驟206還包括:對所述處理結(jié)果進(jìn)行持久化處理,將經(jīng)過持久化處理之后的所述處理結(jié)果返回至所述數(shù)據(jù)庫。
10.根據(jù)權(quán)利要求6至8中任一項(xiàng)所述的基于內(nèi)存數(shù)據(jù)網(wǎng)格的數(shù)據(jù)處理方法,其特征在于,所述待處理的數(shù)據(jù)包括:企業(yè) 資源計(jì)劃系統(tǒng)中的數(shù)據(jù)。
【文檔編號】G06F17/30GK103488699SQ201310397217
【公開日】2014年1月1日 申請日期:2013年9月4日 優(yōu)先權(quán)日:2013年9月4日
【發(fā)明者】王海文 申請人:用友軟件股份有限公司