本發(fā)明涉及高性能計(jì)算領(lǐng)域以及分布式存儲(chǔ)系統(tǒng)領(lǐng)域；更具體地，本發(fā)明涉及一種面向高性能計(jì)算的分布式數(shù)據(jù)組織方法。
背景技術(shù)：
：：在高性能計(jì)算機(jī)系統(tǒng)上普遍使用分布式文件系統(tǒng)構(gòu)建集中共享的存儲(chǔ)環(huán)境以滿足應(yīng)用數(shù)據(jù)存儲(chǔ)和訪問的需求。典型系統(tǒng)如Lustre、GPFS、PVFS、Panasas等均為通用分布式共享文件系統(tǒng)，遵循POSIX存儲(chǔ)語(yǔ)義進(jìn)行存儲(chǔ)空間的組織和數(shù)據(jù)訪問，系統(tǒng)功能完備，設(shè)計(jì)復(fù)雜，在應(yīng)對(duì)高性能計(jì)算環(huán)境海量數(shù)據(jù)存儲(chǔ)、高并發(fā)數(shù)據(jù)訪問時(shí)存在很大的局限性，主要表現(xiàn)在以下方面：(1)層次式的目錄結(jié)構(gòu)在組織海量文件時(shí)效率低下，元數(shù)據(jù)操作語(yǔ)義復(fù)雜，存在元數(shù)據(jù)性能瓶頸；(2)數(shù)據(jù)訪問與單機(jī)文件系統(tǒng)相同，在高性能計(jì)算環(huán)境中傳統(tǒng)文件系統(tǒng)接口存在冗余，并且其在實(shí)現(xiàn)上與內(nèi)核VFS緊耦合，在接口描述、數(shù)據(jù)塊大小、緩存策略、數(shù)據(jù)一致性等方面受限頗多，不夠靈活。隨著互聯(lián)網(wǎng)和大數(shù)據(jù)的發(fā)展，以AmazonS3、OpenstackSwift等為代表的對(duì)象存儲(chǔ)逐漸發(fā)展起來(lái)。它是一種通過網(wǎng)絡(luò)提供數(shù)據(jù)訪問的對(duì)象存儲(chǔ)服務(wù)，目前作為一種面向多租戶的公共云存儲(chǔ)服務(wù)被廣泛應(yīng)用。對(duì)象存儲(chǔ)采用扁平化的數(shù)據(jù)組織方式并提供鍵值(Key-Value)的數(shù)據(jù)索引和元數(shù)據(jù)訪問，極大程度減輕了系統(tǒng)元數(shù)據(jù)管理開銷，提高了元數(shù)據(jù)性能和數(shù)據(jù)訪問效率。目前的對(duì)象存儲(chǔ)服務(wù)在接口和應(yīng)用場(chǎng)景等方面與高性能計(jì)算有很大的不同，因此無(wú)法直接用于構(gòu)建高性能計(jì)算機(jī)海量存儲(chǔ)系統(tǒng)。技術(shù)實(shí)現(xiàn)要素：針對(duì)現(xiàn)有技術(shù)中存在上述缺陷，本發(fā)明借鑒了對(duì)象存儲(chǔ)在數(shù)據(jù)組織、元數(shù)據(jù)管理以及數(shù)據(jù)訪問效率等方面的優(yōu)勢(shì)，將其和文件系統(tǒng)有機(jī)結(jié)合，提出了一種面向高性能計(jì)算的分布式數(shù)據(jù)組織方法，實(shí)現(xiàn)高性能計(jì)算環(huán)境海量數(shù)據(jù)的高效組織和訪問。根據(jù)本發(fā)明，提供了一種面向高性能計(jì)算的分布式數(shù)據(jù)組織方法，包括：由部署在計(jì)算節(jié)點(diǎn)的客戶端將來(lái)自應(yīng)用程序的I/O請(qǐng)求轉(zhuǎn)發(fā)給相應(yīng)的服務(wù)器端；服務(wù)器端接收并解析來(lái)自計(jì)算節(jié)點(diǎn)的I/O請(qǐng)求，最終將I/O請(qǐng)求交給I/O節(jié)點(diǎn)的本地文件系統(tǒng)或者遠(yuǎn)程I/O節(jié)點(diǎn)來(lái)處理。優(yōu)選地，在接口層將數(shù)據(jù)訪問和數(shù)據(jù)管理分離開來(lái)；其中，在計(jì)算節(jié)點(diǎn)端，客戶端僅向應(yīng)用程序提供精簡(jiǎn)的數(shù)據(jù)訪問接口，支持對(duì)應(yīng)用完全透明的POSIX形式的文件訪問操作；數(shù)據(jù)管理服務(wù)運(yùn)行在服務(wù)節(jié)點(diǎn)，對(duì)外提供數(shù)據(jù)管理工具，由此將POSIX文件訪問語(yǔ)義劃分為數(shù)據(jù)訪問和數(shù)據(jù)管理兩個(gè)平面，并且將數(shù)據(jù)訪問和數(shù)據(jù)管理兩個(gè)平面解耦。優(yōu)選地，將系統(tǒng)的數(shù)據(jù)對(duì)象分散在各個(gè)I/O節(jié)點(diǎn)上，每個(gè)I/O節(jié)點(diǎn)上的數(shù)據(jù)存儲(chǔ)均采用對(duì)象存儲(chǔ)中的扁平化數(shù)據(jù)組織方式，使用對(duì)象模型對(duì)傳統(tǒng)文件系統(tǒng)層次式的目錄樹結(jié)構(gòu)進(jìn)行弱化。優(yōu)選地，客戶端向應(yīng)用程序提供虛擬掛載點(diǎn)，應(yīng)用程序通過虛擬掛載點(diǎn)訪問該系統(tǒng)的服務(wù)，將應(yīng)用數(shù)據(jù)最終全部布置在I/O節(jié)點(diǎn)上的存儲(chǔ)服務(wù)輸出目錄下。在I/O節(jié)點(diǎn)上的存儲(chǔ)服務(wù)輸出目錄下設(shè)置用于放置數(shù)據(jù)對(duì)象的數(shù)據(jù)桶。優(yōu)選地，根據(jù)對(duì)象標(biāo)識(shí)，通過哈希取模的方式，將數(shù)據(jù)對(duì)象均勻分布在各個(gè)數(shù)據(jù)桶中。優(yōu)選地，通過統(tǒng)一存儲(chǔ)模塊實(shí)現(xiàn)了多個(gè)I/O節(jié)點(diǎn)存儲(chǔ)空間的聚合，并提供本地I/O和遠(yuǎn)程I/O兩種模式以實(shí)現(xiàn)對(duì)象的全局訪問。優(yōu)選地，采用本地優(yōu)先的數(shù)據(jù)布局策略，其中計(jì)算節(jié)點(diǎn)創(chuàng)建對(duì)象時(shí)優(yōu)先選擇本地存儲(chǔ)。優(yōu)選地，對(duì)象的元數(shù)據(jù)既包括傳統(tǒng)POSIX類型的元數(shù)據(jù)，又支持用戶自定義元數(shù)據(jù)。優(yōu)選地，使用Redis內(nèi)存數(shù)據(jù)庫(kù)集中存儲(chǔ)對(duì)象元數(shù)據(jù)信息，一條對(duì)象元數(shù)據(jù)信息對(duì)應(yīng)Redis內(nèi)存數(shù)據(jù)庫(kù)中的一個(gè)哈希鍵，其中鍵名是對(duì)象標(biāo)識(shí)，鍵值為對(duì)象元數(shù)據(jù)。本發(fā)明針對(duì)高性能計(jì)算應(yīng)用的數(shù)據(jù)存儲(chǔ)需求，對(duì)POSIX文件系統(tǒng)訪問語(yǔ)義進(jìn)行了精簡(jiǎn)，解耦數(shù)據(jù)訪問和數(shù)據(jù)管理，為應(yīng)用程序提供高效、輕量級(jí)的編程接口；采用分布式對(duì)象存儲(chǔ)技術(shù)進(jìn)行數(shù)據(jù)組織，突破傳統(tǒng)文件系統(tǒng)數(shù)據(jù)組織限制，實(shí)現(xiàn)更為高效的數(shù)據(jù)訪問協(xié)議，進(jìn)一步提升系統(tǒng)可擴(kuò)展能力；提出基于內(nèi)存的元數(shù)據(jù)管理方式，首次將高性能非關(guān)系鍵值數(shù)據(jù)庫(kù)引入高性能計(jì)算機(jī)系統(tǒng)，利用其優(yōu)良特性對(duì)外提供高效可擴(kuò)展的元數(shù)據(jù)服務(wù)。附圖說明結(jié)合附圖，并通過參考下面的詳細(xì)描述，將會(huì)更容易地對(duì)本發(fā)明有更完整的理解并且更容易地理解其伴隨的優(yōu)點(diǎn)和特征，其中：圖1示意性地示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例的面向高性能計(jì)算的分布式數(shù)據(jù)組織方法的示意圖。圖2示意性地示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例的面向高性能計(jì)算的分布式數(shù)據(jù)組織方法的底層數(shù)據(jù)組織。圖3示意性地示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例的面向高性能計(jì)算的分布式數(shù)據(jù)組織方法的對(duì)象元數(shù)據(jù)示例。圖4a和圖4b示意性地示出了基于8塊SSD的COSS和Lustre聚合帶寬對(duì)比。圖5a和圖5b示意性地示出了COSS和Lustre文件創(chuàng)建/刪除性能對(duì)比。需要說明的是，附圖用于說明本發(fā)明，而非限制本發(fā)明。注意，表示結(jié)構(gòu)的附圖可能并非按比例繪制。并且，附圖中，相同或者類似的元件標(biāo)有相同或者類似的標(biāo)號(hào)。具體實(shí)施方式為了使本發(fā)明的內(nèi)容更加清楚和易懂，下面結(jié)合具體實(shí)施例和附圖對(duì)本發(fā)明的內(nèi)容進(jìn)行詳細(xì)描述。高性能計(jì)算機(jī)的發(fā)展即將邁入E級(jí)時(shí)代，計(jì)算子系統(tǒng)規(guī)模不斷壯大，核心數(shù)目突破千萬(wàn)量級(jí)，同時(shí)支撐的應(yīng)用規(guī)模和復(fù)雜度也在不斷提升，海量數(shù)據(jù)存儲(chǔ)和超大規(guī)模并發(fā)訪問對(duì)存儲(chǔ)子系統(tǒng)的I/O帶寬、元數(shù)據(jù)性能、可擴(kuò)展能力、數(shù)據(jù)可管理性等方面提出了更高的要求。傳統(tǒng)以分布式共享文件系統(tǒng)為核心的存儲(chǔ)系統(tǒng)在數(shù)據(jù)組織、訪問接口等方面存在諸多限制，對(duì)整個(gè)高性能計(jì)算機(jī)存儲(chǔ)系統(tǒng)的可擴(kuò)展能力、I/O性能產(chǎn)生了不利影響。本發(fā)明將互聯(lián)網(wǎng)行業(yè)新興的對(duì)象存儲(chǔ)技術(shù)應(yīng)用于高性能計(jì)算領(lǐng)域，提出一種面向高性能計(jì)算的分布式數(shù)據(jù)組織方法，用于解決傳統(tǒng)文件系統(tǒng)組織海量文件數(shù)據(jù)時(shí)面臨的問題?；诒景l(fā)明提出的分布式數(shù)據(jù)組織方法，設(shè)計(jì)實(shí)現(xiàn)了原型系統(tǒng)，軟件架構(gòu)如圖1所示。(1)系統(tǒng)組成該系統(tǒng)主要由部署在計(jì)算節(jié)點(diǎn)10的客戶端11、部署在I/O節(jié)點(diǎn)20的服務(wù)器端21、部署在元數(shù)據(jù)節(jié)點(diǎn)30的元數(shù)據(jù)服務(wù)31(例如，基于鍵值的元數(shù)據(jù)服務(wù))、部署在服務(wù)節(jié)點(diǎn)40的數(shù)據(jù)管理工具41和數(shù)據(jù)管理接口42等關(guān)鍵模塊組成。由部署在計(jì)算節(jié)點(diǎn)10的客戶端11將來(lái)自應(yīng)用程序12的I/O請(qǐng)求轉(zhuǎn)發(fā)給相應(yīng)的服務(wù)器端21；服務(wù)器端21接收并解析來(lái)自計(jì)算節(jié)點(diǎn)的I/O請(qǐng)求，最終將I/O請(qǐng)求交給I/O節(jié)點(diǎn)的本地文件系統(tǒng)或者遠(yuǎn)程I/O節(jié)點(diǎn)20來(lái)處理。(2)應(yīng)用程序接口針對(duì)高性能計(jì)算環(huán)境的特點(diǎn)，該系統(tǒng)在接口層將數(shù)據(jù)訪問和數(shù)據(jù)管理分離開來(lái)。在計(jì)算節(jié)點(diǎn)端，客戶端僅向應(yīng)用程序提供精簡(jiǎn)的數(shù)據(jù)訪問接口(簡(jiǎn)單訪問接口)，支持對(duì)應(yīng)用完全透明的POSIX(可移植操作系統(tǒng)接口，PortableOperatingSystemInterface)形式的文件訪問操作；數(shù)據(jù)管理服務(wù)則運(yùn)行在單獨(dú)的節(jié)點(diǎn)上，稱為服務(wù)節(jié)點(diǎn)，對(duì)外提供了一套數(shù)據(jù)管理工具。如此，該系統(tǒng)將POSIX文件訪問語(yǔ)義劃分為數(shù)據(jù)訪問和數(shù)據(jù)管理兩個(gè)平面，并且將數(shù)據(jù)訪問和數(shù)據(jù)管理兩個(gè)平面解耦，向應(yīng)用程序提供更加高效、輕量級(jí)的編程接口。(3)數(shù)據(jù)組織該系統(tǒng)的數(shù)據(jù)對(duì)象分散在各個(gè)I/O節(jié)點(diǎn)20上，每個(gè)I/O節(jié)點(diǎn)20上的數(shù)據(jù)存儲(chǔ)均采用對(duì)象存儲(chǔ)中的扁平化數(shù)據(jù)組織方式，使用對(duì)象模型對(duì)傳統(tǒng)文件系統(tǒng)層次式的目錄樹結(jié)構(gòu)進(jìn)行弱化。如圖2所示，客戶端向應(yīng)用程序提供虛擬掛載點(diǎn)，應(yīng)用程序通過虛擬掛載點(diǎn)訪問該系統(tǒng)的服務(wù)，應(yīng)用數(shù)據(jù)最終全部位于I/O節(jié)點(diǎn)20上的存儲(chǔ)服務(wù)輸出目錄下。該目錄下將設(shè)置數(shù)據(jù)桶(Bucket0、Bucket1、…Bucket*、BucketN)，數(shù)據(jù)桶的數(shù)量可配置，“數(shù)據(jù)桶”用于放置數(shù)據(jù)對(duì)象(OB0、OB1、…OB*、OBN)。該系統(tǒng)根據(jù)對(duì)象標(biāo)識(shí)，即文件路徑名，通過哈希取模的方式將數(shù)據(jù)對(duì)象均勻分布在各個(gè)數(shù)據(jù)桶中。扁平化的數(shù)據(jù)組織相比傳統(tǒng)文件系統(tǒng)的目錄樹結(jié)構(gòu)索引層更加簡(jiǎn)潔，文件訪問協(xié)議更加高效，利于解決元數(shù)據(jù)性能瓶頸，進(jìn)一步提高了系統(tǒng)的可擴(kuò)展性。該系統(tǒng)通過統(tǒng)一存儲(chǔ)模塊實(shí)現(xiàn)了多個(gè)I/O節(jié)點(diǎn)存儲(chǔ)空間的聚合，并提供本地I/O和遠(yuǎn)程I/O兩種模式以實(shí)現(xiàn)對(duì)象的全局訪問，利于計(jì)算節(jié)點(diǎn)間的數(shù)據(jù)共享。為了更好的支持?jǐn)?shù)據(jù)訪問局部性，該系統(tǒng)采用本地優(yōu)先的數(shù)據(jù)布局策略，即計(jì)算節(jié)點(diǎn)創(chuàng)建對(duì)象時(shí)優(yōu)先選擇本地存儲(chǔ)，相比數(shù)據(jù)任意分布的布局策略訪問效率更高。(4)元數(shù)據(jù)管理對(duì)象的元數(shù)據(jù)既包括傳統(tǒng)POSIX類型的元數(shù)據(jù)，又支持用戶自定義元數(shù)據(jù)，如對(duì)象所在的I/O節(jié)點(diǎn)、計(jì)算階段號(hào)等。該系統(tǒng)使用Redis內(nèi)存數(shù)據(jù)庫(kù)集中存儲(chǔ)對(duì)象元數(shù)據(jù)信息，一條對(duì)象元數(shù)據(jù)信息對(duì)應(yīng)著Redis內(nèi)存數(shù)據(jù)庫(kù)中的一個(gè)哈希鍵，鍵名是對(duì)象標(biāo)識(shí)，即文件路徑名，鍵值為對(duì)象元數(shù)據(jù)，圖3是其中的一個(gè)示例。基于內(nèi)存緩存的Key-Value元數(shù)據(jù)管理使得系統(tǒng)元數(shù)據(jù)性能得到很大提升?！居幸嫘Ч?1)針對(duì)高性能計(jì)算應(yīng)用的數(shù)據(jù)存儲(chǔ)需求，對(duì)POSIX文件系統(tǒng)訪問語(yǔ)義進(jìn)行了精簡(jiǎn)，解耦數(shù)據(jù)訪問和數(shù)據(jù)管理，為應(yīng)用程序提供更加高效、輕量級(jí)的編程接口；(2)采用分布式對(duì)象存儲(chǔ)技術(shù)進(jìn)行數(shù)據(jù)組織，突破傳統(tǒng)文件系統(tǒng)數(shù)據(jù)組織限制，實(shí)現(xiàn)更為高效的數(shù)據(jù)訪問協(xié)議，進(jìn)一步提升系統(tǒng)可擴(kuò)展能力；(3)提出基于內(nèi)存的元數(shù)據(jù)管理方式，首次將高性能非關(guān)系鍵值數(shù)據(jù)庫(kù)引入高性能計(jì)算機(jī)系統(tǒng)，利用其優(yōu)良特性對(duì)外提供高效可擴(kuò)展的元數(shù)據(jù)服務(wù)。下面給出上述原型系統(tǒng)(為方便說明，稱為COSS)與Lustre文件系統(tǒng)在I/O聚合帶寬和元數(shù)據(jù)性能對(duì)比的情況：(1)實(shí)驗(yàn)環(huán)境實(shí)驗(yàn)在51臺(tái)SugonI620-G20服務(wù)器上進(jìn)行，其中10臺(tái)用于構(gòu)建COSS存儲(chǔ)環(huán)境(1個(gè)元數(shù)據(jù)節(jié)點(diǎn)，1個(gè)服務(wù)節(jié)點(diǎn)，8個(gè)I/O節(jié)點(diǎn))，9臺(tái)用于構(gòu)建Lustre存儲(chǔ)環(huán)境(1個(gè)元數(shù)據(jù)節(jié)點(diǎn)，8個(gè)數(shù)據(jù)服務(wù)節(jié)點(diǎn))，其余32臺(tái)作為計(jì)算節(jié)點(diǎn)。實(shí)驗(yàn)中所有數(shù)據(jù)存儲(chǔ)均使用SSD，節(jié)點(diǎn)間通信網(wǎng)絡(luò)使用InfiniBand網(wǎng)絡(luò)。服務(wù)器各項(xiàng)參數(shù)如表1中所示。表1：實(shí)驗(yàn)服務(wù)器的配置(2)聚合帶寬測(cè)試實(shí)驗(yàn)中使用MPI-tiotest進(jìn)行I/O聚合帶寬的測(cè)試。MPI-tiotest是文件系統(tǒng)帶寬標(biāo)準(zhǔn)測(cè)試工具Tiobench并行化版本。實(shí)驗(yàn)結(jié)果如圖4a(寫操作)和圖4b(讀操作)所示。(3)元數(shù)據(jù)性能測(cè)試測(cè)試內(nèi)容主要是文件創(chuàng)建/刪除的性能，該項(xiàng)測(cè)試使用的測(cè)試工具為Mdtest，實(shí)驗(yàn)結(jié)果如圖5a(文件創(chuàng)建操作)和圖5b(文件刪除操作)所示?？傊景l(fā)明借鑒了對(duì)象存儲(chǔ)在數(shù)據(jù)組織、元數(shù)據(jù)管理以及數(shù)據(jù)訪問效率等方面的優(yōu)勢(shì)，將其和文件系統(tǒng)有機(jī)結(jié)合，提出了一種面向高性能計(jì)算的分布式數(shù)據(jù)組織方法，實(shí)現(xiàn)高性能計(jì)算環(huán)境海量數(shù)據(jù)的高效組織和訪問。此外，需要說明的是，除非特別指出，否則說明書中的術(shù)語(yǔ)“第一”、“第二”、“第三”等描述僅僅用于區(qū)分說明書中的各個(gè)組件、元素、步驟等，而不是用于表示各個(gè)組件、元素、步驟之間的邏輯關(guān)系或者順序關(guān)系等?？梢岳斫獾氖牵m然本發(fā)明已以較佳實(shí)施例披露如上，然而上述實(shí)施例并非用以限定本發(fā)明。對(duì)于任何熟悉本領(lǐng)域的技術(shù)人員而言，在不脫離本發(fā)明技術(shù)方案范圍情況下，都可利用上述揭示的技術(shù)內(nèi)容對(duì)本發(fā)明技術(shù)方案作出許多可能的變動(dòng)和修飾，或修改為等同變化的等效實(shí)施例。因此，凡是未脫離本發(fā)明技術(shù)方案的內(nèi)容，依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對(duì)以上實(shí)施例所做的任何簡(jiǎn)單修改、等同變化及修飾，均仍屬于本發(fā)明技術(shù)方案保護(hù)的范圍內(nèi)。當(dāng)前第1頁(yè)1 2 3 當(dāng)前第1頁(yè)1 2 3