一種分布式集群系統(tǒng)的文件存儲方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及存儲技術(shù)領(lǐng)域，特別是涉及一種分布式集群系統(tǒng)的文件存儲方法及裝置。
【背景技術(shù)】
[0002]目前分布式集群存儲越來越流行，目的是通過高可擴展性來提供大容量和高性能。但是針對小文件(256K以下)，比如4K、8K、16K等小文件的存儲，體現(xiàn)不出其性能的優(yōu)勢。
[0003]現(xiàn)有技術(shù)中針對分布式集群存儲系統(tǒng)小文件提升的一種實現(xiàn)方案是:通過增加SSD硬盤把小文件存儲在SSD硬盤上，利用SSD硬盤的高速度來提升小文件性能。但由于SSD硬盤成本高，因此這種方式是通過增加硬件成本來提高性能的。這與通過廉價硬件構(gòu)建大規(guī)模集群存儲系統(tǒng)的初衷相違背。
[0004]因此，怎樣在不增加硬件成本的基礎(chǔ)上提升分布式集群存儲系統(tǒng)小文件存儲的性能變得尤為重要。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的是提供一種分布式集群系統(tǒng)的文件存儲方法及裝置，目的在于在不增加硬件成本的基礎(chǔ)上提升分布式集群存儲系統(tǒng)小文件存儲的性能。
[0006]為解決上述技術(shù)問題，本發(fā)明提供一種分布式集群系統(tǒng)的文件存儲方法，包括:
[0007]接收客戶端寫入文件的請求；
[0008]獲取待寫入文件的大小，將所述待寫入文件的大小值與預(yù)設(shè)閾值進行比較；
[0009]當(dāng)所述待寫入文件的大小小于所述預(yù)設(shè)閾值時，為所述待寫入文件分配預(yù)設(shè)大小的緩存；
[0010]將所述待寫入文件寫入所述緩存。
[0011]可選地，所述將所述待寫入文件寫入所述緩存包括:
[0012]將所述待寫入文件寫入所述緩存，并給所述客戶端返回寫入成功的確認信息。
[0013]可選地，在將所述待寫入文件寫入所述緩存之后還包括:
[0014]當(dāng)寫入所述緩存的文件總量達到預(yù)設(shè)固定容量后，將寫入所述緩存的文件寫入到磁盤中。
[0015]可選地，還包括:
[0016]接收客戶端發(fā)起讀取文件的請求；
[0017]獲取待讀取文件的大小，將所述待讀取文件的大小值與所述預(yù)設(shè)閾值進行比較；
[0018]當(dāng)所述待讀取文件的大小小于所述預(yù)設(shè)閾值時，為所述待讀取文件分配讀緩存空間；
[0019]將所述待讀取文件從磁盤中讀取至所述讀緩存空間；
[0020]從所述讀緩存空間中讀取所述待讀取文件。
[0021]可選地，在所述接收客戶端發(fā)起文件讀取的請求之后還包括:
[0022]檢測所述讀緩存空間中是否存在所述待讀取文件；如果有，則直接從所述讀緩存空間中進行讀取；如果否，則執(zhí)行后續(xù)操作。
[0023]本發(fā)明還提供了一種分布式集群系統(tǒng)的文件存儲裝置，包括:
[0024]接收模塊，用于接收客戶端寫入文件的請求；
[0025]比較模塊，用于獲取待寫入文件的大小，將所述待寫入文件的大小值與預(yù)設(shè)閾值進行比較；
[0026]分配模塊，用于當(dāng)所述待寫入文件的大小小于所述預(yù)設(shè)閾值時，為所述待寫入文件分配預(yù)設(shè)大小的緩存；
[0027]寫入模塊，用于將所述待寫入文件寫入所述緩存。
[0028]可選地，所述寫入模塊具體用于:
[0029]將所述待寫入文件寫入所述緩存，并給所述客戶端返回寫入成功的確認信息。
[0030]可選地，還包括:
[0031]寫入磁盤模塊，用于在將所述待寫入文件寫入所述緩存之后，當(dāng)寫入所述緩存的文件總量達到預(yù)設(shè)固定容量后，將寫入所述緩存的文件寫入到磁盤中。
[0032]可選地，還包括:
[0033]讀取模塊，用于接收客戶端發(fā)起讀取文件的請求；獲取待讀取文件的大小，將所述待讀取文件的大小值與所述預(yù)設(shè)閾值進行比較；當(dāng)所述待讀取文件的大小小于所述預(yù)設(shè)閾值時，為所述待讀取文件分配讀緩存空間；將所述待讀取文件從磁盤中讀取至所述讀緩存空間；從所述讀緩存空間中讀取所述待讀取文件。
[0034]可選地，所述讀取模塊還包括:
[0035]檢測單元，用于在所述接收客戶端發(fā)起文件讀取的請求之后，檢測所述讀緩存空間中是否存在所述待讀取文件；如果有，則直接從所述讀緩存空間中進行讀取；如果否，則執(zhí)行后續(xù)操作。
[0036]本發(fā)明所提供的分布式集群系統(tǒng)的文件存儲方法及裝置，接收客戶端寫入文件的請求；并獲取待寫入文件的大小，將待寫入文件的大小值與預(yù)設(shè)閾值進行比較；當(dāng)待寫入文件的大小小于預(yù)設(shè)閾值時，為待寫入文件分配預(yù)設(shè)大小的緩存；將待寫入文件寫入所述緩存。本發(fā)明通過為小文件存儲分配一定容量的緩存，而由于緩存由服務(wù)器內(nèi)存空間構(gòu)成，內(nèi)存的訪問速度較快，遠遠高于任何磁盤介質(zhì)，包括SSD硬盤，因此通過該緩存機制，能夠大幅提升小文件存儲的性能。
【附圖說明】
[0037]圖1為本發(fā)明所提供的分布式集群系統(tǒng)的文件存儲方法的一種【具體實施方式】的流程圖；
[0038]圖2為本發(fā)明所提供的分布式集群系統(tǒng)的文件存儲方法的一種【具體實施方式】中文件讀取的流程圖；
[0039]圖3為本發(fā)明所提供的分布式集群系統(tǒng)的文件存儲裝置的一種【具體實施方式】的結(jié)構(gòu)框圖。
【具體實施方式】
[0040]為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面結(jié)合附圖和【具體實施方式】對本發(fā)明作進一步的詳細說明。顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0041]本發(fā)明所提供的分布式集群系統(tǒng)的文件存儲方法的一種【具體實施方式】的流程圖如圖1所示，該方法包括:
[0042]步驟S101:接收客戶端寫入文件的請求；
[0043]步驟S102:獲取待寫入文件的大小，將所述待寫入文件的大小值與預(yù)設(shè)閾值進行比較；
[0044]步驟S103:當(dāng)所述待寫入文件的大小小于所述預(yù)設(shè)閾值時，為所述待寫入文件分配預(yù)設(shè)大小的緩存；
[0045]步驟S104:將所述待寫入文件寫入所述緩存。
[0046]具體地，可以在將待寫入文件寫入緩存之后，給客戶端返回寫入成功的確認信息。
[0047]進一步地，當(dāng)寫入緩存的文件總量達到預(yù)設(shè)固定容量后，將寫入緩存的文件寫入到磁盤中。
[0048]本發(fā)明所提供的分布式集群系統(tǒng)的文件存儲方法，接收客戶端寫入文件的請求；并獲取待寫入文件的大小，將待寫入文件的大小值與預(yù)設(shè)閾值進行比較；當(dāng)待寫入文件的大小小于預(yù)設(shè)閾值時，為待寫入文件分配預(yù)設(shè)大小的緩存；將待寫入文件寫入所述緩存。本發(fā)明通過為小文件存儲分配一定容量的緩存，而由于緩存由服務(wù)器內(nèi)存空間構(gòu)成，內(nèi)存的訪問速度較快，遠遠高于任何磁盤介質(zhì)，包括SSD硬盤，因此通過該緩存機制，能夠大幅提升小文件存儲的性能。
[0049]與上述寫入過程相對應(yīng)的，還包括對小文件進行讀取的過程。該過程的流程圖如圖2所以，其可以具體為:
[0050]步驟S201:接收客戶端發(fā)起讀取文件的請求；
[0051]步驟S202:獲取待讀取文件的大小，將所述待讀取文件的大小值與所述預(yù)設(shè)閾值進行比較；
[0052]步驟S203:當(dāng)所述待讀取文件的大小小于所述預(yù)設(shè)閾值時，為所述待讀取文件分配讀緩存空間；
[0053]步驟S204:將所述待讀取文件從磁盤中讀取至所述讀緩存空間；
[0054]步驟S205:從所述讀緩存空間中讀取所述待讀取文件。
[0055]作為一種【具體實施方式】，在所述接收客戶端發(fā)起文件讀取的請求之后還可以進一步包括:
[0056]檢測所述讀緩存空間中是否存在所述待讀取文件；如果有，則直接從所述讀緩存空間中進行讀??；如果否，則執(zhí)行后續(xù)操作。
[0057]下面對