數(shù)據(jù)處理方法
【專利摘要】本發(fā)明提供一種數(shù)據(jù)處理方法，用于在分散系統(tǒng)中不添加新的節(jié)點(diǎn)而提高數(shù)據(jù)處理速度。所述方法可包括以下步驟：計(jì)算相當(dāng)于分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的GPU的處理塊個(gè)數(shù)的核換算個(gè)數(shù)；合計(jì)所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的CPU的核具備個(gè)數(shù)和所述核換算個(gè)數(shù)來計(jì)算核合計(jì)個(gè)數(shù)；將分配到所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中的作業(yè)數(shù)據(jù)分割成相當(dāng)于所述核合計(jì)個(gè)數(shù)的作業(yè)單位數(shù)據(jù)；以及將作業(yè)單位數(shù)據(jù)中相當(dāng)于所述核具備個(gè)數(shù)的作業(yè)單位數(shù)據(jù)分配給所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中的CPU，并且將相當(dāng)于所述核換算個(gè)數(shù)的作業(yè)單位數(shù)據(jù)分配給所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中的GPU。
【專利說明】數(shù)據(jù)處理方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種在分散系統(tǒng)中處理數(shù)據(jù)的方法。

【背景技術(shù)】
[000引化doop和MapRe化ce是能夠用于實(shí)現(xiàn)分散計(jì)算的技術(shù)。在該種技術(shù)中越增加群 組的大小越進(jìn)一步增大數(shù)據(jù)的處理速度，但增加群組的大小是有限制的。因此，需要如下技 術(shù)；用于在該種群組中不添加新的節(jié)點(diǎn)，而加快數(shù)據(jù)處理速度的技術(shù)。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明所要解決的問題是提供一種用于在分散系統(tǒng)中不添加新的節(jié)點(diǎn)而提高數(shù) 據(jù)處理速度的數(shù)據(jù)處理方法。
[0004] 本發(fā)明所要解決的問題并不限于上述所涉及的問題，本領(lǐng)域技術(shù)人員從下述的記 載中能明確理解本發(fā)明沒有提及到的其他問題。
[0005] 為了解決上述問題，本發(fā)明的數(shù)據(jù)處理方法的一實(shí)施方式可包括W下步驟：計(jì)算 相當(dāng)于分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的GPU的處理塊個(gè)數(shù)的核換算個(gè)數(shù)；合計(jì)分散系統(tǒng)構(gòu)成 節(jié)點(diǎn)中所具備的CPU的核具備個(gè)數(shù)和核換算個(gè)數(shù)來計(jì)算核合計(jì)個(gè)數(shù)；將分配到分散系統(tǒng)構(gòu) 成節(jié)點(diǎn)中的作業(yè)數(shù)據(jù)分割成相當(dāng)于核合計(jì)個(gè)數(shù)的作業(yè)單位數(shù)據(jù)；W及將作業(yè)單位數(shù)據(jù)中相 當(dāng)于核具備個(gè)數(shù)的作業(yè)單位數(shù)據(jù)分配給分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中的CPU,并且將相當(dāng)于核換算 個(gè)數(shù)的作業(yè)單位數(shù)據(jù)分配給分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中的GPU。
[0006] 計(jì)算所述核合計(jì)個(gè)數(shù)的步驟可包括：參照核換算表來計(jì)算所述核換算個(gè)數(shù)，所述 核換算表W-個(gè)GPU處理塊個(gè)數(shù)的平均值為基準(zhǔn)，表示一個(gè)CPU核換算個(gè)數(shù)。
[0007] 計(jì)算所述核換算個(gè)數(shù)的步驟可包括：將與所述作業(yè)數(shù)據(jù)的屬性相關(guān)的GPU分配加 權(quán)值反映到計(jì)算出的核換算個(gè)數(shù)中來計(jì)算經(jīng)修正的核換算個(gè)數(shù)；計(jì)算所述核合計(jì)個(gè)數(shù)的步 驟可包括：合計(jì)所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的CPU的核具備個(gè)數(shù)和所述經(jīng)修正的核換 算個(gè)數(shù)來計(jì)算核合計(jì)個(gè)數(shù)。
[0008] 將與所述作業(yè)數(shù)據(jù)的屬性相關(guān)的GPU分配加權(quán)值反映到所述計(jì)算出的核換算個(gè) 數(shù)中來計(jì)算經(jīng)修正的核換算個(gè)數(shù)的步驟可包括：將相對于所述作業(yè)數(shù)據(jù)的CPU上的處理速 度和GPU上的處理速度進(jìn)行比較并將表示GPU上的處理速度的提高程度的速度提高指數(shù)作 為加權(quán)值來反映到所述計(jì)算出的核換算個(gè)數(shù)中。
[0009] 所述速度提高指數(shù)可通過參照表示與所述GPU上的處理速度的提高程度相關(guān)的 加權(quán)值的速度提高指數(shù)表來計(jì)算。
[0010] 相當(dāng)于所述核換算個(gè)數(shù)的作業(yè)單位數(shù)據(jù)分別分配給所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中的 GPU的步驟可進(jìn)一步包括；相當(dāng)于所述核換算個(gè)數(shù)的作業(yè)單位數(shù)據(jù)被分割成多個(gè)數(shù)據(jù)塊并 被分配給各個(gè)所述GPU,所述多個(gè)數(shù)據(jù)塊構(gòu)成為各自的大小與各個(gè)所述GPU的處理塊個(gè)數(shù) 成正比。
[0011] 在所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的CPU中的一個(gè)CPU上可包括；GPU控制核，用 于進(jìn)行將所述作業(yè)單位數(shù)據(jù)分配給所述GPU的控制計(jì)算。
[0012] 所述GPU控制核可被排除在所述核具備個(gè)數(shù)之外，且不被分配所述作業(yè)單位數(shù) 據(jù)。
[0013] 在所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的CPU中的一個(gè)CPU上可包括；作業(yè)單位數(shù)據(jù) 分配核，用于進(jìn)行將所述作業(yè)單位數(shù)據(jù)分配給另一CPU核的控制計(jì)算。
[0014] 所述作業(yè)單位數(shù)據(jù)分配核可被排除在所述核具備個(gè)數(shù)之外，且不被分配所述作業(yè) 單位數(shù)據(jù)。
[0015] 為了解決上述問題，本發(fā)明的數(shù)據(jù)處理方法的另一方式可包括W下步驟；W分散 系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的第一類型處理器為基準(zhǔn)，計(jì)算相當(dāng)于分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備 的多個(gè)第二類型處理器個(gè)數(shù)的處理器換算個(gè)數(shù)；合計(jì)分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的第一類 型處理器的個(gè)數(shù)和處理器換算個(gè)數(shù)來計(jì)算處理器合計(jì)個(gè)數(shù)；將分配到分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中 的作業(yè)數(shù)據(jù)分割成相當(dāng)于處理器合計(jì)個(gè)數(shù)的作業(yè)單位數(shù)據(jù)；將作業(yè)單位數(shù)據(jù)中相當(dāng)于第一 類型處理器的個(gè)數(shù)的作業(yè)單位數(shù)據(jù)分配給分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中的第一類型處理器；W及將 作業(yè)單位數(shù)據(jù)中相當(dāng)于處理器換算個(gè)數(shù)的作業(yè)單位數(shù)據(jù)分配給分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中的多 個(gè)第二類型處理器，相當(dāng)于處理器換算個(gè)數(shù)的作業(yè)單位數(shù)據(jù)被分割成多個(gè)數(shù)據(jù)塊并被分配 到多個(gè)第二類型處理器中的每一個(gè)中，所述多個(gè)數(shù)據(jù)塊構(gòu)成為各自的大小與多個(gè)第二類型 處理器中的每一個(gè)的單位時(shí)間作業(yè)處理量成正比。
[0016] 計(jì)算所述處理器換算個(gè)數(shù)的步驟可包括；將與所述作業(yè)數(shù)據(jù)的屬性相關(guān)的GPU分 配加權(quán)值反映到所述處理器換算個(gè)數(shù)中來計(jì)算經(jīng)修正的處理器換算個(gè)數(shù)；計(jì)算所述處理器 合計(jì)個(gè)數(shù)的步驟可包括：合計(jì)所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的所述第一類型處理器的個(gè) 數(shù)和所述經(jīng)修正的處理器換算個(gè)數(shù)來計(jì)算處理器合計(jì)個(gè)數(shù)。
[0017] 本發(fā)明的其他具體的事項(xiàng)包括在詳細(xì)的說明及圖中。

【專利附圖】

【附圖說明】
[0018] 圖1是用于說明本發(fā)明的一實(shí)施例的分散系統(tǒng)的示意圖。
[0019] 圖2是用于說明圖1所示的主節(jié)點(diǎn)的圖。
[0020] 圖3是用于說明圖1所示的從節(jié)點(diǎn)的圖。
[0021] 圖4是用于說明圖1所示的從節(jié)點(diǎn)的物理結(jié)構(gòu)的圖。
[0022] 圖5是用于說明本發(fā)明的一實(shí)施例的數(shù)據(jù)處理方法的示意圖。
[0023] 圖6是用于說明在本發(fā)明的一實(shí)施例的從節(jié)點(diǎn)中進(jìn)行數(shù)據(jù)處理的過程的圖。
[0024]圖7是用于說明構(gòu)成本發(fā)明的一實(shí)施例的分散系統(tǒng)的從節(jié)點(diǎn)中所具備的CPU和 GPU的圖。
[0025]圖8是用于說明計(jì)算相當(dāng)于構(gòu)成本發(fā)明的一實(shí)施例的分散系統(tǒng)的從節(jié)點(diǎn)中所具 備的GPU的處理塊個(gè)數(shù)的核換算個(gè)數(shù)的圖。
[0026] 圖9是表示根據(jù)本發(fā)明的一實(shí)施例將輸入數(shù)據(jù)分配給CPU和GPU的過程的圖。
[0027] 圖10是表示根據(jù)本發(fā)明的另一實(shí)施例將輸入數(shù)據(jù)分配給CPU和GPU的過程的圖。
[0028] 圖11是表示本發(fā)明的一實(shí)施例的數(shù)據(jù)處理方法的流程圖。
[0029] 圖12是表示本發(fā)明的另一實(shí)施例的數(shù)據(jù)處理方法的流程圖。
[0030] 附圖標(biāo)記說明

【權(quán)利要求】
1. 一種數(shù)據(jù)處理方法，包括以下步驟： 計(jì)算相當(dāng)于分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的GPU的處理塊個(gè)數(shù)的核換算個(gè)數(shù)； 合計(jì)所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的CPU的核具備個(gè)數(shù)和所述核換算個(gè)數(shù)來計(jì)算 核合計(jì)個(gè)數(shù)； 將分配到所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中的作業(yè)數(shù)據(jù)分割成相當(dāng)于所述核合計(jì)個(gè)數(shù)的作業(yè) 單位數(shù)據(jù)；以及 將作業(yè)單位數(shù)據(jù)中相當(dāng)于所述核具備個(gè)數(shù)的作業(yè)單位數(shù)據(jù)分配給所述分散系統(tǒng)構(gòu)成 節(jié)點(diǎn)中的CPU，并且將相當(dāng)于所述核換算個(gè)數(shù)的作業(yè)單位數(shù)據(jù)分配給所述分散系統(tǒng)構(gòu)成節(jié) 點(diǎn)中的GPU。
2. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其中， 計(jì)算所述核換算個(gè)數(shù)的步驟包括：參照核換算表來計(jì)算所述核換算個(gè)數(shù)，所述核換算 表以一個(gè)GPU處理塊個(gè)數(shù)的平均值為基準(zhǔn)，表示一個(gè)CPU核換算個(gè)數(shù)。
3. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其中， 計(jì)算所述核換算個(gè)數(shù)的步驟包括： 將與所述作業(yè)數(shù)據(jù)的屬性相關(guān)的GPU分配加權(quán)值反映到計(jì)算出的核換算個(gè)數(shù)中來計(jì) 算經(jīng)修正的核換算個(gè)數(shù)； 計(jì)算所述核合計(jì)個(gè)數(shù)的步驟包括： 合計(jì)所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的CPU的核具備個(gè)數(shù)和所述經(jīng)修正的核換算個(gè) 數(shù)來計(jì)算核合計(jì)個(gè)數(shù)。
4. 根據(jù)權(quán)利要求3所述的數(shù)據(jù)處理方法，其中， 將與所述作業(yè)數(shù)據(jù)的屬性相關(guān)的GPU分配加權(quán)值反映到所述計(jì)算出的核換算個(gè)數(shù)中 來計(jì)算經(jīng)修正的核換算個(gè)數(shù)的步驟包括： 將相對于所述作業(yè)數(shù)據(jù)的CPU上的處理速度和GPU上的處理速度進(jìn)行比較并將表示 GPU上的處理速度的提高程度的速度提高指數(shù)作為加權(quán)值來反映到所述計(jì)算出的核換算個(gè) 數(shù)中。
5. 根據(jù)權(quán)利要求4所述的數(shù)據(jù)處理方法，其中， 所述速度提高指數(shù)通過參照表示與所述GPU上的處理速度的提高程度相關(guān)的加權(quán)值 的速度提高指數(shù)表來計(jì)算。
6. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其中， 相當(dāng)于所述核換算個(gè)數(shù)的作業(yè)單位數(shù)據(jù)分別分配給所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中的GPU 的步驟進(jìn)一步包括： 相當(dāng)于所述核換算個(gè)數(shù)的作業(yè)單位數(shù)據(jù)被分割成多個(gè)數(shù)據(jù)塊并被分配給各個(gè)所述 GPU，所述多個(gè)數(shù)據(jù)塊構(gòu)成為各自的大小與各個(gè)所述GPU的處理塊個(gè)數(shù)成正比。
7. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其中， 在所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的CPU中的一個(gè)CPU上包括：GPU控制核，用于進(jìn)行 將所述作業(yè)單位數(shù)據(jù)分配給所述GPU的控制計(jì)算。
8. 根據(jù)權(quán)利要求7所述的數(shù)據(jù)處理方法，其中， 所述GPU控制核被排除在所述核具備個(gè)數(shù)之外，且不被分配所述作業(yè)單位數(shù)據(jù)。
9. 根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其中， 在所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的CPU中的一個(gè)CPU上包括：作業(yè)單位數(shù)據(jù)分配核， 用于進(jìn)行將所述作業(yè)單位數(shù)據(jù)分配給另一 CPU核的控制計(jì)算。
10. 根據(jù)權(quán)利要求9所述的數(shù)據(jù)處理方法，其中， 所述作業(yè)單位數(shù)據(jù)分配核被排除在所述核具備個(gè)數(shù)之外，且不被分配所述作業(yè)單位數(shù) 據(jù)。
11. 一種數(shù)據(jù)處理方法，包括以下步驟： 以分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的第一類型處理器為基準(zhǔn)，計(jì)算相當(dāng)于所述分散系統(tǒng)構(gòu) 成節(jié)點(diǎn)中所具備的多個(gè)第二類型處理器個(gè)數(shù)的處理器換算個(gè)數(shù)； 合計(jì)所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的所述第一類型處理器的個(gè)數(shù)和所述處理器換 算個(gè)數(shù)來計(jì)算處理器合計(jì)個(gè)數(shù)； 將分配到所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中的作業(yè)數(shù)據(jù)分割成相當(dāng)于所述處理器合計(jì)個(gè)數(shù)的 作業(yè)單位數(shù)據(jù)； 將作業(yè)單位數(shù)據(jù)中相當(dāng)于所述第一類型處理器的個(gè)數(shù)的作業(yè)單位數(shù)據(jù)分配給所述分 散系統(tǒng)構(gòu)成節(jié)點(diǎn)中的所述第一類型處理器；以及 將作業(yè)單位數(shù)據(jù)中相當(dāng)于所述處理器換算個(gè)數(shù)的作業(yè)單位數(shù)據(jù)分配給所述分散系統(tǒng) 構(gòu)成節(jié)點(diǎn)中的所述多個(gè)第二類型處理器， 相當(dāng)于所述處理器換算個(gè)數(shù)的作業(yè)單位數(shù)據(jù)被分割成多個(gè)數(shù)據(jù)塊并被分配到所述多 個(gè)第二類型處理器中的每一個(gè)中，所述多個(gè)數(shù)據(jù)塊構(gòu)成為各自的大小與所述多個(gè)第二類型 處理器中每一個(gè)的單位時(shí)間作業(yè)處理量成正比。
12. 根據(jù)權(quán)利要求11所述的數(shù)據(jù)處理方法，其中， 計(jì)算所述處理器換算個(gè)數(shù)的步驟包括： 將與所述作業(yè)數(shù)據(jù)的屬性相關(guān)的GPU分配加權(quán)值反映到所述處理器換算個(gè)數(shù)中來計(jì) 算經(jīng)修正的處理器換算個(gè)數(shù)； 計(jì)算所述處理器合計(jì)個(gè)數(shù)的步驟包括： 合計(jì)所述分散系統(tǒng)構(gòu)成節(jié)點(diǎn)中所具備的所述第一類型處理器的個(gè)數(shù)和所述經(jīng)修正的 處理器換算個(gè)數(shù)來計(jì)算處理器合計(jì)個(gè)數(shù)。
【文檔編號】G06F9/44GK104375824SQ201410397355
【公開日】2015年2月25日 申請日期:2014年8月13日 優(yōu)先權(quán)日:2013年8月13日
【發(fā)明者】士秀多 申請人:三星Sds株式會(huì)社