存在每個(gè)存儲(chǔ)卷/空間的編目中。該網(wǎng)莢管理器還將主動(dòng)到被動(dòng)處理節(jié)點(diǎn)映射保存在編目中。在實(shí)施例中，該信息通過(guò)其中一個(gè)數(shù)據(jù)庫(kù)管理實(shí)例輸入到所述編目中，并且實(shí)例會(huì)同步所有編目。此后，在方框940中，該過(guò)程結(jié)束。
[0054]現(xiàn)在參考圖10，圖10提供了添加新機(jī)器或從網(wǎng)莢中刪除現(xiàn)有機(jī)器時(shí)數(shù)據(jù)庫(kù)分區(qū)迀移的實(shí)施例流程圖。如圖所示，在方框1000中，網(wǎng)莢管理器(例如，圖5a至5b中的網(wǎng)莢管理器540a、540b、540c)能將處理節(jié)點(diǎn)添加至網(wǎng)莢以及從網(wǎng)莢中刪除處理節(jié)點(diǎn)。在方框1010中，網(wǎng)莢管理器接收待添加或待刪除的新節(jié)點(diǎn)(即，機(jī)器、資源)的信息。在方框1020中，網(wǎng)莢管理器更改分區(qū)-處理器映射。此時(shí)，該網(wǎng)莢管理器計(jì)算每個(gè)處理節(jié)點(diǎn)的分區(qū)數(shù)量，并且更改該分區(qū)到處理節(jié)點(diǎn)的映射圖。新的映射確保了可用節(jié)點(diǎn)間工作負(fù)荷的均衡。例如，原始的映射可能類似圖5a所示的結(jié)構(gòu)，新的映射可能類似于圖5b所示的結(jié)構(gòu)。在實(shí)施例中，為每個(gè)分區(qū)更改主動(dòng)到被動(dòng)處理節(jié)點(diǎn)的映射圖。
[0055]在方框1030中，網(wǎng)莢管理器在處理節(jié)點(diǎn)間迀移數(shù)據(jù)庫(kù)分區(qū)。如果添加節(jié)點(diǎn)，那么對(duì)于每個(gè)節(jié)點(diǎn)，網(wǎng)莢管理器創(chuàng)建、配置和啟動(dòng)主動(dòng)數(shù)據(jù)庫(kù)管理實(shí)例。該網(wǎng)莢管理器還通過(guò)將存儲(chǔ)空間從當(dāng)前處理節(jié)點(diǎn)卸載并迀移到新處理節(jié)點(diǎn)(例如，在圖5a和5b中，510c及510e中的556)從而將已識(shí)別的數(shù)據(jù)庫(kù)分區(qū)移動(dòng)至新指定的節(jié)點(diǎn)。如果存儲(chǔ)空間是一個(gè)直接附著存儲(chǔ)器，網(wǎng)莢管理器將數(shù)據(jù)復(fù)制到新指定的節(jié)點(diǎn)。網(wǎng)莢管理器還將存儲(chǔ)空間附著到新處理節(jié)點(diǎn)中的數(shù)據(jù)庫(kù)管理實(shí)例。
[0056]在方框1040中，網(wǎng)莢管理器保存映射信息。此時(shí)，網(wǎng)莢管理器將更新后的分區(qū)到處理節(jié)點(diǎn)的映射保存在每個(gè)數(shù)據(jù)庫(kù)管理實(shí)例編目上。數(shù)據(jù)庫(kù)管理器還將主動(dòng)到被動(dòng)處理節(jié)點(diǎn)的映射保存在編目上。在實(shí)施例中，該信息被輸入到其中一個(gè)所述數(shù)據(jù)庫(kù)管理實(shí)例的編目中，并且實(shí)例會(huì)同步其編目。此后，在方框1050中，該過(guò)程結(jié)束。
[0057]現(xiàn)在參照?qǐng)D11，圖11提供了示出網(wǎng)莢結(jié)構(gòu)范例的數(shù)據(jù)表50。如圖所示，所述數(shù)據(jù)表50包括以下信息，例如:網(wǎng)莢名、網(wǎng)莢用戶和安全信息、網(wǎng)莢網(wǎng)絡(luò)信息、數(shù)據(jù)庫(kù)管理實(shí)例訪問(wèn)信息、處理機(jī)器/節(jié)點(diǎn)列表、存儲(chǔ)空間/卷及其大小的列表、集群、配置及系統(tǒng)管理與監(jiān)控信息。在實(shí)施例中，數(shù)據(jù)表50可包括其他信息。此外，有些信息可從圖11所示的數(shù)據(jù)表中刪除。
[0058]現(xiàn)在參考圖12，圖12提供了示出數(shù)據(jù)庫(kù)編目范例的數(shù)據(jù)表60。如圖所示，所述數(shù)據(jù)表60包括以下信息，例如:數(shù)據(jù)庫(kù)結(jié)構(gòu)和元數(shù)據(jù)，架構(gòu)/數(shù)據(jù)庫(kù)結(jié)構(gòu)和元數(shù)據(jù)，數(shù)據(jù)表/架構(gòu)/數(shù)據(jù)庫(kù)結(jié)構(gòu)和元數(shù)據(jù)，數(shù)據(jù)庫(kù)分區(qū)結(jié)構(gòu)和元數(shù)據(jù)，分區(qū)數(shù)(N)，主動(dòng)分區(qū)到處理節(jié)點(diǎn)的映射，及主動(dòng)到被動(dòng)處理節(jié)點(diǎn)的映射。在實(shí)施例中，數(shù)據(jù)表60可包括其他信息。此外，有些信息可從圖12所示的數(shù)據(jù)表中刪除。
[0059]當(dāng)前發(fā)明將對(duì)MPP數(shù)據(jù)庫(kù)的關(guān)注改變?yōu)閷?duì)數(shù)據(jù)本身的關(guān)注，而不是專注于數(shù)據(jù)庫(kù)管理實(shí)例。在當(dāng)前發(fā)明中，首先給MPP數(shù)據(jù)庫(kù)系統(tǒng)分配資源池一機(jī)器/處理器、存儲(chǔ)器、以及可能的所述MPP數(shù)據(jù)庫(kù)系統(tǒng)允許訪問(wèn)/使用的內(nèi)存。這些資源、處理器、存儲(chǔ)器和其通信信道不必在開(kāi)始時(shí)就構(gòu)建網(wǎng)莢/集群(協(xié)作組)。隨著數(shù)據(jù)庫(kù)的建立及其分區(qū)策略的確定，所需的計(jì)算資源在需要時(shí)從分配的池中搶占，并作為集群來(lái)管理，然后啟動(dòng)必需數(shù)量的數(shù)據(jù)庫(kù)管理實(shí)例，在實(shí)例上物理創(chuàng)建所述數(shù)據(jù)庫(kù)分區(qū)(每個(gè)數(shù)據(jù)存儲(chǔ)器)。在本發(fā)明中，創(chuàng)建的數(shù)據(jù)庫(kù)分區(qū)的數(shù)量無(wú)需直接對(duì)應(yīng)或匹配機(jī)器(處理器)的實(shí)際數(shù)量。例如，如果只有5臺(tái)機(jī)器(處理器)可用，數(shù)據(jù)庫(kù)管理員仍然可以通過(guò)允許一臺(tái)機(jī)器(處理器)服務(wù)兩個(gè)分區(qū)來(lái)創(chuàng)建10個(gè)數(shù)據(jù)庫(kù)分區(qū)。當(dāng)有更多的機(jī)器可用時(shí)，分區(qū)可在后期迀移至可用的處理器。
[0060]雖然本發(fā)明提供了說(shuō)明性實(shí)施例，但此描述并不旨在限制本發(fā)明。所屬領(lǐng)域的技術(shù)人員在參考該描述后，將會(huì)明白說(shuō)明性實(shí)施例的各種修改和組合，以及其他實(shí)施例。因此，所附權(quán)利要求書意圖涵蓋任何此類修改或?qū)嵤├?br>【主權(quán)項(xiàng)】
1.一種大規(guī)模并行處理方法，其特征在于，包括: 在初始機(jī)上發(fā)起管理實(shí)例，所述管理實(shí)例生成與所述初始機(jī)對(duì)應(yīng)的初始分區(qū)； 確定處理數(shù)據(jù)庫(kù)所需的分區(qū)總數(shù)，所述分區(qū)總數(shù)包括所述初始分區(qū)； 確定處理所述數(shù)據(jù)庫(kù)的可用的額外機(jī)器的數(shù)量； 將所述初始機(jī)和所述額外機(jī)器一起分組到一個(gè)網(wǎng)莢； 在所述網(wǎng)莢的所述額外機(jī)器上啟動(dòng)所述管理實(shí)例以生成所述數(shù)據(jù)庫(kù)所需的分區(qū)總數(shù)。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述網(wǎng)莢具有跨時(shí)間的靈活成員關(guān)系。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，當(dāng)有處理所述數(shù)據(jù)庫(kù)的新機(jī)器可用時(shí)，所述網(wǎng)莢可隨時(shí)間擴(kuò)展以添加新機(jī)器。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括在所述管理實(shí)例已在所述額外機(jī)器上啟動(dòng)后，擴(kuò)展所述網(wǎng)莢以包含新機(jī)器。5.根據(jù)權(quán)利要求1所述的方法，其特征在于，重復(fù)所述確定額外機(jī)器的數(shù)量并將所述初始機(jī)和所述額外機(jī)分組到一起的步驟。6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分區(qū)的總數(shù)大于所述初始機(jī)和所述額外機(jī)器的總和。7.根據(jù)權(quán)利要求1所述的方法，其特征在于，其中一個(gè)所述額外機(jī)器運(yùn)行至少兩個(gè)管理實(shí)例。8.根據(jù)權(quán)利要求7所述的方法，其特征在于，還包括:將其中一個(gè)所述管理實(shí)例的從運(yùn)行兩個(gè)管理實(shí)例的額外機(jī)器上迀移至新機(jī)器。9.根據(jù)權(quán)利要求8所述的方法，其特征在于，當(dāng)所述新機(jī)器成為可用的處理所述數(shù)據(jù)庫(kù)的機(jī)器時(shí)，所述新機(jī)器便添加至所述網(wǎng)莢。10.根據(jù)權(quán)利要求1所述的方法，其特征在于，其中一個(gè)所述額外機(jī)器運(yùn)行至少兩個(gè)管理實(shí)例，每個(gè)所述管理實(shí)例直接對(duì)應(yīng)所述分區(qū)的其中一個(gè)。11.一種大規(guī)模并行處理方法，其特征在于，包括: 在初始機(jī)上發(fā)起管理實(shí)例，所述管理實(shí)例生成與所述初始機(jī)對(duì)應(yīng)的初始分區(qū)； 確定處理數(shù)據(jù)庫(kù)所需的分區(qū)總數(shù)，所述分區(qū)總數(shù)包括所述初始分區(qū)； 確定處理所述數(shù)據(jù)庫(kù)的可用的額外機(jī)器的數(shù)量，所述額外機(jī)器和所述初始機(jī)的總和小于所需的分區(qū)總數(shù)； 將所述初始機(jī)和所述額外機(jī)器一起分組到一個(gè)網(wǎng)莢； 在所述網(wǎng)莢的所述額外機(jī)器上啟動(dòng)所述管理實(shí)例以生成所述數(shù)據(jù)庫(kù)所需的分區(qū)總數(shù)。12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述網(wǎng)莢具有跨時(shí)間的靈活成員關(guān)系。13.根據(jù)權(quán)利要求11所述的方法，其特征在于，當(dāng)有處理所述數(shù)據(jù)庫(kù)的新機(jī)器可用時(shí)，所述網(wǎng)莢可隨時(shí)間擴(kuò)展以添加新機(jī)器。14.根據(jù)權(quán)利要求11所述的方法，其特征在于，還包括在所述管理實(shí)例已在所述額外機(jī)器上啟動(dòng)后，擴(kuò)展所述網(wǎng)莢以包含新機(jī)器。15.根據(jù)權(quán)利要求11所述的方法，其特征在于，周期性地重復(fù)所述確定額外機(jī)器的數(shù)量并將所述初始機(jī)和所述額外機(jī)分組到一起的步驟。16.根據(jù)權(quán)利要求11所述的方法，其特征在于，其中一個(gè)所述額外機(jī)器運(yùn)行至少兩個(gè)管理實(shí)例。17.根據(jù)權(quán)利要求16所述的方法，其特征在于，還包括:將其中一個(gè)所述管理實(shí)例的從運(yùn)行兩個(gè)管理實(shí)例的額外機(jī)器上迀移至新機(jī)器。18.根據(jù)權(quán)利要求17所述的方法，其特征在于，當(dāng)所述新機(jī)器成為可用的處理所述數(shù)據(jù)庫(kù)的機(jī)器時(shí)，所述新機(jī)器便添加至所述網(wǎng)莢。19.一種大規(guī)模并行處理系統(tǒng)，其特征在于，包括: 網(wǎng)莢中的初始機(jī)，所述初始機(jī)運(yùn)行與用于處理數(shù)據(jù)庫(kù)的初始分區(qū)對(duì)應(yīng)的管理實(shí)例；所述網(wǎng)莢中的額外機(jī)器，所述額外機(jī)器運(yùn)行用于處理所述數(shù)據(jù)庫(kù)的兩個(gè)管理實(shí)例，每個(gè)所述管理實(shí)例對(duì)應(yīng)一個(gè)額外分區(qū)。20.根據(jù)權(quán)利要求19所述的大規(guī)模并行處理系統(tǒng)，其特征在于，所述網(wǎng)莢具有靈活的成員關(guān)系，允許添加用于處理所述數(shù)據(jù)庫(kù)的新機(jī)器。21.根據(jù)權(quán)利要求20所述的大規(guī)模并行處理系統(tǒng)，其特征在于，所述運(yùn)行兩個(gè)管理實(shí)例的額外機(jī)器用于將其中一個(gè)所述管理實(shí)例迀移至所述新機(jī)器。
【專利摘要】一種大規(guī)模并行處理的實(shí)施例方法，包括：在初始機(jī)上發(fā)起管理實(shí)例，所述管理實(shí)例生成與所述初始機(jī)對(duì)應(yīng)的初始分區(qū)；確定處理數(shù)據(jù)庫(kù)所需的分區(qū)總數(shù)，所述分區(qū)總數(shù)包括所述初始分區(qū)；確定處理所述數(shù)據(jù)庫(kù)的可用的額外機(jī)器的數(shù)量；將所述初始機(jī)與所述額外機(jī)器一起分組到一個(gè)網(wǎng)莢；在所述網(wǎng)莢的額外機(jī)器上啟動(dòng)所述管理實(shí)例以生成所述數(shù)據(jù)庫(kù)所需的分區(qū)總數(shù)。本發(fā)明還公開(kāi)了其他實(shí)施例方法及一種可執(zhí)行這些方法的實(shí)施例系統(tǒng)。
【IPC分類】G06F17/30
【公開(kāi)號(hào)】CN104903887
【申請(qǐng)?zhí)枴緾N201380050060
【發(fā)明人】戴原, 沈秀棠, 卡米尼·杰格緹雅尼, 孫揚(yáng), 甘嘎瓦拉-普拉薩德·瓦拉庫(kù)汝, 楊柏
【申請(qǐng)人】華為技術(shù)有限公司
【公開(kāi)日】2015年9月9日
【申請(qǐng)日】2013年10月16日
【公告號(hào)】EP2898435A1, EP2898435A4, US20140108633, WO2014059927A1