映射化簡應(yīng)用的緩存管理方法和裝置的制造方法
【專利說明】映射化簡應(yīng)用的緩存管理方法和裝置
[0001]本發(fā)明涉及分布式文件系統(tǒng)，更具體地，涉及基于分布式文件系統(tǒng)的MapRe化ce應(yīng)用的緩存管理方法和裝置。
【背景技術(shù)】
[0002] 分布式文件系統(tǒng)值istributedFileSystem)是指文件系統(tǒng)管理的物理存儲資 源不一定直接連接在本地節(jié)點上，而是通過計算機網(wǎng)絡(luò)與節(jié)點相連。分布式文件系統(tǒng)的 設(shè)計基于客戶機/服務(wù)器模式。一個典型的網(wǎng)絡(luò)可能包括多個供多用戶訪問的服務(wù)器。 MapRe化ce是Google公司提出的一種用于大規(guī)模并行編程的軟件架構(gòu)。由于MapRe化ce 架構(gòu)可W實現(xiàn)大規(guī)模數(shù)據(jù)集（大于口B)的并行運算，并通過把對數(shù)據(jù)集的大規(guī)模操作分發(fā) 給網(wǎng)絡(luò)上的多個節(jié)點進行并行運算來實現(xiàn)伸縮性，因此被分布式文件系統(tǒng)廣泛應(yīng)用。概念 "Map(映射）"和"Re化ce(化簡）"及其主要思想，都是從函數(shù)式編程語言借來的。當(dāng)前的 MapRe化ce中間件實現(xiàn)要求應(yīng)用開發(fā)者指定一個Map(映射）函數(shù)，用來把一組鍵值對映射 成一些新的鍵值對化ey-valuepair),稱作中間鍵值對；此外還要求應(yīng)用開發(fā)者指定一個 Re化ce(化簡）函數(shù)，用來對Map函數(shù)輸出的中間鍵值對進行進一步處理。
[0003] 分布式文件系統(tǒng)需要將劃分的文件塊存儲在多個計算節(jié)點上，并且需要將每個文 件塊復(fù)制為多個副本保存在不同的計算節(jié)點上，對于需要反復(fù)迭代的計算，MapRe化ce執(zhí)行 每一次迭代的計算結(jié)果都需要寫入分布式文件系統(tǒng)的存儲介質(zhì)，再從存儲介質(zhì)中讀取出來 作為下一次迭代的輸入數(shù)據(jù)，由此對多個計算節(jié)點的文件塊進行讀寫操作時就不可避免地 產(chǎn)生了文件傳輸?shù)木W(wǎng)絡(luò)開銷W及計算延時。
[0004]現(xiàn)有的基于MapRe化ce架構(gòu)的分布式文件系統(tǒng)，例如M3R系統(tǒng)和Spark系統(tǒng)修改 現(xiàn)有的MapRe化ce機制，使處理作業(yè)所有的Map任務(wù)線程和Re化ce任務(wù)線程共享一個進程 的內(nèi)存空間，在化doop的基礎(chǔ)上實現(xiàn)了將數(shù)據(jù)一次性讀入內(nèi)存中，后續(xù)的處理直接在內(nèi)存 中操作，避免頻繁訪問分布式文件系統(tǒng)的存儲介質(zhì)，使用內(nèi)容操作代替存儲介質(zhì)訪問，然而 一旦作業(yè)的某個Map任務(wù)或Re化ce任務(wù)失敗需要重新計算，該作業(yè)其余所有的Map任務(wù)和 Re化ce任務(wù)都需要重新計算，耗費大量的計算資源。再例如化chyon和Redis系統(tǒng)提供了內(nèi) 存緩存管理（CacheMemoirManagement)，MapReduce作業(yè)中Mapper處理的結(jié)果可W緩存 在化chyon和Redis管理的內(nèi)存緩存中，后續(xù)的迭代計算可W直接從內(nèi)存緩存中讀取計算 所需的數(shù)據(jù)。然而，在化chyon系統(tǒng)和Redis系統(tǒng)中，按照預(yù)先設(shè)定的緩存分片大小把分布 式文件系統(tǒng)的存儲介質(zhì)中讀到內(nèi)存緩存中，W及按照預(yù)先設(shè)定的緩存分片大小將每次迭代 的中間計算結(jié)果寫入到內(nèi)存緩存，預(yù)先設(shè)定的緩存分片大小不同，讀取的性能有比較大的 差異，在設(shè)定的緩存分片大小比較大的情況，數(shù)據(jù)讀取的速度有可能比從存儲介質(zhì)中讀取 還慢，同時分配給Mapper的內(nèi)存緩存就會變少，使得同時能運行的Mapper數(shù)目受到限制， 影響性能；而在設(shè)定的緩存分片大小比較小的情況，需要讀取數(shù)據(jù)的次數(shù)增多，由于需要多 次的在分布式文件系統(tǒng)中打開/關(guān)閉文件，從而產(chǎn)生了較大的處理延時，而且隨著剩余內(nèi) 存緩存大小的增加，在同時運行的Mapper數(shù)目給定的情況下，會造成部分內(nèi)存緩存處于閑 置狀態(tài)，造成了浪費。
[0005] 因此，需要一種基于分布式文件系統(tǒng)的MapRe化ce應(yīng)用的緩存大小的配置方法， 能夠高效地緩存需要迭代計算的MapRe化ce作業(yè)的數(shù)據(jù)，提高內(nèi)存緩存的利用率，減小處 理延時。

【發(fā)明內(nèi)容】

[0006] 根據(jù)本發(fā)明的一個方面，提供了一種基于分布式文件系統(tǒng)的MapRe化ce應(yīng)用的緩 存管理方法，包括；接收需要迭代計算的MapRe化ce作業(yè)的Map任務(wù)處理請求；獲取處理 所述Map任務(wù)的參數(shù)，所述Map任務(wù)的參數(shù)包括待處理的數(shù)據(jù)大小、每條數(shù)據(jù)記錄的大小 和同時工作的Mapper的數(shù)目；獲取所述Map任務(wù)的緩存分片大小，其中所述Map任務(wù)的緩 存分片大小是根據(jù)所述Map任務(wù)的參數(shù)和Map緩存分片大小的訓(xùn)練模型計算得到的；將待 處理的數(shù)據(jù)按照所述緩存分片大小從所述分布式文件系統(tǒng)的存儲介質(zhì)讀到緩存中用于Map 任務(wù)處理；將所述Map任務(wù)處理的中間結(jié)果數(shù)據(jù)按照所述緩存分片大小寫入所述緩存中用 于后續(xù)的迭代計算。
[0007] 根據(jù)本發(fā)明的另一個方面，提供了一種基于分布式文件系統(tǒng)的MapRe化ce應(yīng)用的 緩存管理裝置，包括：接收模塊，被配置為接收需要迭代計算的MapRe化ce作業(yè)的Map任務(wù) 處理請求；第一獲取模塊，被配置為獲取所述Map任務(wù)的參數(shù)，所述Map任務(wù)的參數(shù)包括待 處理的數(shù)據(jù)大小、每條數(shù)據(jù)記錄的大小和同時工作的Mapper的數(shù)目；第二獲取模塊，被配 置為獲取所述Map任務(wù)的緩存分片大小，其中所述Map任務(wù)的緩存分片大小是根據(jù)所述Map 任務(wù)的參數(shù)和Map緩存分片大小訓(xùn)練模型計算得到的；第一讀取模塊，被配置為將待處理 的數(shù)據(jù)按照所述緩存分片大小從分布式文件系統(tǒng)的存儲介質(zhì)讀到緩存中用于Map任務(wù)處 理；第一寫入模塊，被配置為將Map任務(wù)處理的中間結(jié)果數(shù)據(jù)按照所述緩存分片大小寫入 所述緩存中用于后續(xù)的迭代計算。
[0008] 根據(jù)本發(fā)明實施例的基于分布式文件系統(tǒng)的MapRe化ce應(yīng)用的緩存管理方法和 裝置，能夠高效地緩存需要迭代計算的MapRe化ce作業(yè)的數(shù)據(jù)，提高內(nèi)存緩存的利用率，減 小處理延時。
【附圖說明】
[0009] 通過結(jié)合附圖對本公開示例性實施方式進行更詳細的描述，本公開的上述W及其 它目的、特征和優(yōu)勢將變得更加明顯，其中，在本公開示例性實施方式中，相同的參考標號 通常代表相同部件。
[0010] 圖1示出了適于用來實現(xiàn)本發(fā)明實施方式的示例性計算機系統(tǒng)/服務(wù)器12的框 圖。
[0011] 圖2示出根據(jù)本發(fā)明實施例的基于分布式文件系統(tǒng)的MapRe化ce應(yīng)用的緩存管理 方法。
[0012] 圖3示出MapRe化ce架構(gòu)的數(shù)據(jù)傳輸?shù)氖疽鈭D
[0013] 圖4示出根據(jù)本發(fā)明的實施例的基于分布式文件系統(tǒng)的MapRe化ce應(yīng)用的緩存管 理裝置400。
【具體實施方式】
[0014] 下面將參照附圖更詳細地描述本公開的優(yōu)選實施方式。雖然附圖中顯示了本公開 的優(yōu)選實施方式，然而應(yīng)該理解，可WW各種形式實現(xiàn)本公開而不應(yīng)被送里闡述的實施方 式所限制。相反，提供送些實施方式是為了使本公開更加透徹和完整，并且能夠?qū)⒈竟_的 范圍完整地傳達給本領(lǐng)域的技術(shù)人員。
[0015] 圖1示出了適于用來實現(xiàn)本發(fā)明實施方式的示例性計算機系統(tǒng)/服務(wù)器12的框 圖。圖1顯示的計算機系統(tǒng)/服務(wù)器12僅僅是一個示例，不應(yīng)對本發(fā)明實施例的功能和使 用范圍帶來任何限制。
[0016] 如圖1所示，計算機系統(tǒng)/服務(wù)器12W通用計算設(shè)備的形式表現(xiàn)。計算機系統(tǒng) /服務(wù)器12的組件可W包括但不限于；一個或者多個處理器或者處理單元16,系統(tǒng)存儲器 28,連接不同系統(tǒng)組件（包括系統(tǒng)存儲器28和處理單元16)的總線18。
[0017] 總線18表示幾類總線結(jié)構(gòu)中的一種或多種，包括存儲器總線或者存儲器控制器， 外圍總線，圖形加速端口，處理器或使用多種總線結(jié)構(gòu)中的任意總線結(jié)構(gòu)的局域總線。舉例 來說，送些體系結(jié)構(gòu)包括但不限于工業(yè)標準體系結(jié)構(gòu)（ISA)總線，微通道體系結(jié)構(gòu)（MAC) 總線，增強型ISA總線、視頻電子標準協(xié)會（VESA)局域總線W及外圍組件互連（PCI)總線。
[0018] 計算機系統(tǒng)/服務(wù)器12典型地包括多種計算機系統(tǒng)可讀介質(zhì)。送些介質(zhì)可W是 任何能夠被計算機系統(tǒng)/服務(wù)器12訪問的可用介質(zhì)，包括易失性和非易失性介質(zhì)，可移動 的和不可移動的介質(zhì)。
[0019] 系統(tǒng)存儲器28可W包括易失性存儲器形式的計算機系統(tǒng)可讀介質(zhì)，例如隨機存 取存儲器（RAM) 30和/或高速緩存存儲器32。計算機系統(tǒng)/服務(wù)器12可W進一步包括其 它可移動/不可移動的、易失性/非易失性計算機系統(tǒng)存儲介質(zhì)。僅作為舉例，存儲系統(tǒng)34 可W用于讀寫不可移動的、非易失性磁介質(zhì)（圖1未顯示，通常稱為"硬盤驅(qū)動器"）。盡管 圖1中未示出，可W提供用于對可移動非易失性磁盤（例如"軟盤"）讀寫的磁盤驅(qū)動器， W及對可移動非易失性光盤（例如CD-ROM,DVD-ROM或者其它光介質(zhì)）讀寫的光盤驅(qū)動器。 在送些情況下，每個驅(qū)動器可W通過一個或者多個數(shù)據(jù)介質(zhì)接口與總線18相連。存儲器28 可W包括至少一個程序產(chǎn)品，該程序產(chǎn)品具有一組（例如至少一個）程序模塊，送些程序模 塊被配置W執(zhí)行本發(fā)明各實施例的功能。
[0020] 具有一組（至少一個）程序模塊42的程序/實用工具40,可W存儲在例如存儲器 28中，送樣的程序模塊42包括一但不限于一操作系統(tǒng)、一個或者多個應(yīng)用程序、其它 程序模塊W及程序數(shù)據(jù)，送些示例中的每一個或某種組合中可能包括網(wǎng)絡(luò)環(huán)境的實現(xiàn)。程 序模塊42通常執(zhí)行本發(fā)明所描述的實施例中的功能和/或方法。
[0021] 計算機系統(tǒng)/服務(wù)器12也可W與一個或多個外部設(shè)備14(例如鍵盤、指向設(shè)備、 顯示器24等）通信，還可與一個或者多個使得用戶能與該計算機系統(tǒng)/服務(wù)器12交互的 設(shè)備通信，和/或與使得該計算機系統(tǒng)/服務(wù)器12能與一個或多個其它計算設(shè)備進行通信 的任何設(shè)備（例如網(wǎng)卡，調(diào)制解調(diào)器等等）通信。送種通信可W通過輸入/輸出（I/O)接 口 22進行。并且，計算機系統(tǒng)/服務(wù)器12還可W通過網(wǎng)絡(luò)適配器20與一個或者多個網(wǎng)絡(luò) (例如局域網(wǎng)（LAN),廣域網(wǎng)（WAN)和/或公共網(wǎng)絡(luò)，例如因特網(wǎng)）通信。如圖所示，網(wǎng)絡(luò)適 配器20通過總線18與計算機系統(tǒng)/