技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于Hbase的節(jié)省網(wǎng)絡(luò)流量的MR運(yùn)行方法，屬于，本發(fā)明來(lái)解決網(wǎng)絡(luò)開(kāi)銷(xiāo)大，集權(quán)有網(wǎng)絡(luò)癱瘓的風(fēng)險(xiǎn)的問(wèn)題，采用的技術(shù)方案為：步驟如下：（1）、實(shí)現(xiàn)Mapreduce的InputFormat方法；（2）、獲取Hbase某張表的所有大的數(shù)據(jù)塊信息；（3）、根據(jù)每個(gè)數(shù)據(jù)塊，獲取他們的底層文件；（4）、將獲取到的所有數(shù)據(jù)塊的底層文件作為Mapreduce的輸入；以每個(gè)底層文件為計(jì)算單元，執(zhí)行mapreduce；（5）、執(zhí)行reduce，結(jié)束mapreduce。

技術(shù)研發(fā)人員：趙明超;牛碩;臧勇真
受保護(hù)的技術(shù)使用者：浪潮電子信息產(chǎn)業(yè)股份有限公司
文檔號(hào)碼：201610628407
技術(shù)研發(fā)日：2016.08.03
技術(shù)公布日：2017.01.04