本發(fā)明涉及計算機，特別涉及一種提高任務穩(wěn)定性的優(yōu)化方法及終端。

背景技術：

1、目前的很多系統(tǒng)都存在海量大數(shù)據的任務執(zhí)行功能。在大數(shù)據場景下，系統(tǒng)主要都是通過mapperreduce的方式，即mr的方式來提高分布式任務的執(zhí)行效率的，其主要的原理是：map任務下，拆分map任務到各個分布式的節(jié)點中，由各個節(jié)點自身讀取數(shù)據，并處理數(shù)據后，保存處理結果數(shù)據在自身的節(jié)點中，之后各個reduce節(jié)點中會從map的子任務的節(jié)點的硬盤中讀取數(shù)據來進行后續(xù)的處理，如果某個節(jié)點上運行的map任務在將map中間結果傳送給reduce任務之前失敗將在另個節(jié)點上重新運行這個map任務以再次構建map中間結果。

2、在這種方式下，map中各個子任務存儲的結果數(shù)據都在本地磁盤中，只有一份數(shù)據；當某一個節(jié)點故障或者磁盤異常時，該磁盤的所有任務都將受到影響，無法讀取數(shù)據并繼續(xù)任務，而重新跑任務將會給任務執(zhí)行時間帶來很大的影響。

技術實現(xiàn)思路

1、本發(fā)明所要解決的技術問題是：提出一種提高任務穩(wěn)定性的優(yōu)化方法及終端，減少因磁盤節(jié)點故障等情況所增加的任務耗時，提高任務執(zhí)行的穩(wěn)定性。

2、為了解決上述技術問題，本發(fā)明采用的技術方案為：

3、一種提高任務穩(wěn)定性的優(yōu)化方法，包括如下步驟：

4、s1、預設分布式系統(tǒng)存儲文件，在每個根節(jié)點執(zhí)行對應的子任務時，將執(zhí)行的結果數(shù)據先后存入所述根節(jié)點對應的本地磁盤以及所述分布式系統(tǒng)存儲文件中；

5、s2、依次從每個所述根節(jié)點對應的所述本地磁盤讀取所述結果數(shù)據，同時判斷是否發(fā)生讀取異常，若是，則執(zhí)行步驟s3；

6、s3、從所述分布式系統(tǒng)存儲文件中讀取對應的所述根節(jié)點的所述結果數(shù)據。

7、為了解決上述技術問題，本發(fā)明采用的另一技術方案為：

8、一種提高任務穩(wěn)定性的優(yōu)化終端，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如下步驟：

9、s1、預設分布式系統(tǒng)存儲文件，在每個根節(jié)點執(zhí)行對應的子任務時，將執(zhí)行的結果數(shù)據先后存入所述根節(jié)點對應的本地磁盤以及所述分布式系統(tǒng)存儲文件中；

10、s2、依次從每個所述根節(jié)點對應的所述本地磁盤讀取所述結果數(shù)據，同時判斷是否發(fā)生讀取異常，若是，則執(zhí)行步驟s3；

11、s3、從所述分布式系統(tǒng)存儲文件中讀取對應的所述根節(jié)點的所述結果數(shù)據。

12、本發(fā)明的有益效果在于：提供一種提高任務穩(wěn)定性的優(yōu)化方法及終端，針對分布式任務，預設分布式系統(tǒng)存儲文件，從而在每個根節(jié)點執(zhí)行對應的子任務時，不僅將結果數(shù)據存至本地磁盤，還將結果數(shù)據另存在分布式系統(tǒng)存儲文件中，在讀取數(shù)據時優(yōu)先讀取本地磁盤的數(shù)據，而在發(fā)生讀取異常后再轉而執(zhí)行讀取分布式系統(tǒng)存儲文件上的數(shù)據，以本地磁盤為主，而以分布式系統(tǒng)存儲文件為輔聯(lián)動使用，有效減少因磁盤節(jié)點故障等情況所增加的任務耗時，提高任務執(zhí)行的穩(wěn)定性。

技術特征：

1.一種提高任務穩(wěn)定性的優(yōu)化方法，其特征在于，包括如下步驟：

2.根據權利要求1所述的一種提高任務穩(wěn)定性的優(yōu)化方法，其特征在于，所述讀取異常包括網路故障或所述本地磁盤故障。

3.根據權利要求2所述的一種提高任務穩(wěn)定性的優(yōu)化方法，其特征在于，所述步驟s2包括：

4.根據權利要求1所述的一種提高任務穩(wěn)定性的優(yōu)化方法，其特征在于，所述步驟s3包括：

5.根據權利要求1所述的一種提高任務穩(wěn)定性的優(yōu)化方法，其特征在于，所述將執(zhí)行的結果數(shù)據先后存入所述根節(jié)點對應的本地磁盤以及所述分布式系統(tǒng)存儲文件中包括：

6.一種提高任務穩(wěn)定性的優(yōu)化終端，其特征在于，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如下步驟：

7.根據權利要求6所述的一種提高任務穩(wěn)定性的優(yōu)化終端，其特征在于，所述讀取異常包括網路故障或所述本地磁盤故障。

8.根據權利要求7所述的一種提高任務穩(wěn)定性的優(yōu)化終端，其特征在于，所述步驟s2包括：

9.根據權利要求6所述的一種提高任務穩(wěn)定性的優(yōu)化終端，其特征在于，所述步驟s3包括：

10.根據權利要求6所述的一種提高任務穩(wěn)定性的優(yōu)化終端，其特征在于，所述將執(zhí)行的結果數(shù)據先后存入所述根節(jié)點對應的本地磁盤以及所述分布式系統(tǒng)存儲文件中包括：

技術總結
本發(fā)明公開了一種提高任務穩(wěn)定性的優(yōu)化方法及終端，預設分布式系統(tǒng)存儲文件，在每個根節(jié)點執(zhí)行對應的子任務時，將執(zhí)行的結果數(shù)據先后存入根節(jié)點對應的本地磁盤以及分布式系統(tǒng)存儲文件中；依次從每個根節(jié)點讀取結果數(shù)據，同時判斷是否發(fā)生讀取異常，若是，則執(zhí)行步驟S3；從分布式系統(tǒng)存儲文件中讀取對應的根節(jié)點的結果數(shù)據。本發(fā)明在每個根節(jié)點執(zhí)行對應的子任務時，不僅將結果數(shù)據存至本地磁盤，還將結果數(shù)據另存在分布式系統(tǒng)存儲文件中，在讀取數(shù)據時優(yōu)先讀取本地磁盤的數(shù)據，而在發(fā)生讀取異常后再轉而執(zhí)行讀取分布式系統(tǒng)存儲文件上的數(shù)據，有效減少因磁盤節(jié)點故障等所增加的任務耗時，提高任務執(zhí)行的穩(wěn)定性。

技術研發(fā)人員：劉德建,張少敏,郭孟祺,鄭坦,鄭錦斌,陳宏
受保護的技術使用者：福建天晴在線互動科技有限公司
技術研發(fā)日：
技術公布日：2024/10/10