日志存儲方法和裝置制造方法
【專利摘要】本發(fā)明實施例提供一種日志存儲方法和裝置。該方法包括：接收日志源發(fā)送的日志存儲請求；確定日志源發(fā)送日志數(shù)據(jù)的發(fā)送速率；根據(jù)日志數(shù)據(jù)的發(fā)送速率，確定包含有日志數(shù)據(jù)的日志的大小；根據(jù)日志的標識和日志源的IP地址，確定日志的存儲地址；根據(jù)日志的大小，采用預(yù)分配的方法，在與存儲地址對應(yīng)的磁盤中為日志分配磁盤空間；將包含有日志數(shù)據(jù)的日志存儲到與磁盤空間中。本方案通過確定日志大小以及日志的存儲地址，并通過在與該存儲地址對應(yīng)的磁盤中為日志預(yù)分配磁盤空間，能夠?qū)⑷罩敬鎯Φ筋A(yù)分配的磁盤空間中。由于該磁盤空間是根據(jù)日志大小分配的，因此能夠減少磁盤碎片，并提高日志服務(wù)器的磁盤的性能。
【專利說明】日志存儲方法和裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明實施例涉及計算機存儲技術(shù)，尤其涉及一種日志存儲方法和裝置。
【背景技術(shù)】
[0002]日志是日志源(例如網(wǎng)絡(luò)設(shè)備、系統(tǒng)及服務(wù)程序等)在運行時產(chǎn)生的名為log的事件記錄，是日志源運行時產(chǎn)生的數(shù)據(jù)的集合，每一行日志都記載著日期、時間、使用者及動作等相關(guān)操作的描述信息。日志記錄了日志源的生命周期，通過查閱與分析日志，可以獲知日志源在某個時刻所處的狀態(tài)。
[0003]日志服務(wù)器是一種對不同日志源運行產(chǎn)生并發(fā)送的日志進行記錄存儲的服務(wù)器裝置，一般具有比較大的磁盤存儲空間，以實現(xiàn)對不同日志源發(fā)送的日志進行分類存儲，例如，按日期分類存儲，在一些對時間統(tǒng)計需求比較高的場合，通常還需要按小時或分鐘等對日志文件進行分割存儲。
[0004]現(xiàn)有的日志存儲技術(shù)，一般是根據(jù)日志源發(fā)送的日志臨時分配相應(yīng)的磁盤存儲空間，從而達到將日志存儲到磁盤的目的。
[0005]上述日志存儲技術(shù)均存在以下缺陷:在集中式的日志存儲結(jié)構(gòu)中，也即當(dāng)多個日志源同時向日志服務(wù)器發(fā)送日志時，日志服務(wù)器會交替的往每個日志源對應(yīng)的日志存儲文件中寫入日志數(shù)據(jù)，導(dǎo)致單個日志在日志服務(wù)器的磁盤上的存儲區(qū)域不連續(xù)，進一步導(dǎo)致各個日志存儲文件中的日志數(shù)據(jù)的存儲區(qū)域交叉在一起，從而產(chǎn)生大量磁盤碎片，降低日志服務(wù)器的磁盤的性能。

【發(fā)明內(nèi)容】

[0006]本發(fā)明實施例提供一種日志存儲方法和裝置，以減少磁盤碎片，并提高日志服務(wù)器的磁盤的性能。
[0007]第一方面，本發(fā)明實施例提供了一種日志存儲方法，包括:
[0008]接收日志源發(fā)送的日志存儲請求，所述日志存儲請求包括:日志數(shù)據(jù)、包含有所述日志數(shù)據(jù)的日志的標識和日志源的IP地址；
[0009]確定日志源發(fā)送日志數(shù)據(jù)的發(fā)送速率；
[0010]根據(jù)日志數(shù)據(jù)的發(fā)送速率，確定包含有所述日志數(shù)據(jù)的日志的大小；
[0011]根據(jù)所述日志的標識和日志源的IP地址，確定日志的存儲地址；
[0012]根據(jù)所述日志的大小，采用預(yù)分配的方法，在與所述存儲地址對應(yīng)的磁盤中為所述日志分配磁盤空間；
[0013]將包含有所述日志數(shù)據(jù)的日志存儲到與所述磁盤空間中。
[0014]第二方面，本發(fā)明實施例還提供了一種日志存儲裝置，包括:
[0015]存儲請求接收模塊，用于接收日志源發(fā)送的日志存儲請求，所述日志存儲請求包括:日志數(shù)據(jù)、包含有所述日志數(shù)據(jù)的日志的標識和日志源的IP地址；
[0016]發(fā)送速率確定模塊，用于確定日志源發(fā)送日志數(shù)據(jù)的發(fā)送速率；[0017]日志大小確定模塊，用于根據(jù)日志數(shù)據(jù)的發(fā)送速率，確定包含有所述日志數(shù)據(jù)的日志的大小；
[0018]存儲地址確定模塊，用于根據(jù)所述日志的標識和日志源的IP地址，確定日志的存儲地址；
[0019]磁盤空間分配模塊，用于根據(jù)所述日志的大小，采用預(yù)分配的方法，在與所述存儲地址對應(yīng)的磁盤中為所述日志分配磁盤空間；
[0020]日志存儲模塊，用于將包含有所述日志數(shù)據(jù)的日志存儲到與所述磁盤空間中。
[0021]本發(fā)明實施例提供的日志存儲方法和裝置，通過日志源發(fā)送日志數(shù)據(jù)的發(fā)送速率，能夠確定日志大小，通過日志存儲請求中的日志的標識和日志源的IP地址，能夠確定日志的存儲地址，通過在與該存儲地址對應(yīng)的磁盤中為日志預(yù)分配磁盤空間，因此能夠?qū)⑷罩敬鎯Φ筋A(yù)分配的磁盤空間中。由于預(yù)分配的磁盤空間是根據(jù)日志大小分配的，因此能夠減少磁盤碎片，并提高日志服務(wù)器的磁盤的性能。
【專利附圖】

【附圖說明】
[0022]為了更清楚地說明本發(fā)明，下面將對本發(fā)明中所需要使用的附圖做一簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0023]圖1為本發(fā)明實施例一提供的一種日志存儲方法的流程圖；
[0024]圖2為本發(fā)明實施例二提供的一種日志存儲方法的流程圖；
[0025]圖3為本發(fā)明實施例三提供的一種日志存儲裝置的結(jié)構(gòu)示意圖。
【具體實施方式】
[0026]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明實施例中的技術(shù)方案作進一步詳細描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?？梢岳斫獾氖牵颂幩枋龅木唧w實施例僅用于解釋本發(fā)明，而非對本發(fā)明的限定，基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部內(nèi)容。
[0027]實施例一
[0028]請參閱圖1，為本發(fā)明實施例一提供的一種日志存儲方法的流程圖。本發(fā)明實施例的方法可以由以硬件和/或軟件實現(xiàn)的日志存儲裝置來執(zhí)行，該裝置典型的是配置于能夠提供日志存儲服務(wù)的服務(wù)器中。
[0029]如圖1所示,所述方法包括:
[0030]步驟110、接收日志源發(fā)送的日志存儲請求，所述日志存儲請求包括:日志數(shù)據(jù)、包含有所述日志數(shù)據(jù)的日志的標識和日志源的IP地址；
[0031]在本步驟中，日志源包括網(wǎng)絡(luò)設(shè)備、系統(tǒng)及服務(wù)程序等。日志數(shù)據(jù)是日志源在運行時產(chǎn)生的，日志數(shù)據(jù)記載著日志源的運行記錄，例如，日期、時間、使用者及相關(guān)操作等信息。日志是日志源在運行時產(chǎn)生的名為log的事件記錄，為日志數(shù)據(jù)的集合。日志源不間斷地產(chǎn)生日志數(shù)據(jù)，并對日志分配一個日志標識，也即日志ID。通常具有相同的事件主體、相同時間發(fā)生的日志具有相同的日志標識。
[0032]需要說明的是，本步驟中，可以同時接收不同日志源發(fā)送的日志存儲請求，并對不同的日志存儲請求進行并行處理。
[0033]步驟120、確定日志源發(fā)送日志數(shù)據(jù)的發(fā)送速率；
[0034]在本步驟中，可以通過監(jiān)測所述日志存儲請求，確定日志源發(fā)送日志數(shù)據(jù)的發(fā)送速率。換言之，當(dāng)監(jiān)測到的請求類型為日志存儲請求時，觸發(fā)監(jiān)測該日志存儲請求,從而確定日志源發(fā)送日志數(shù)據(jù)的發(fā)送速率。
[0035]步驟130、根據(jù)日志數(shù)據(jù)的發(fā)送速率，確定包含有所述日志數(shù)據(jù)的日志的大小；
[0036]在本步驟中，可以通過日志數(shù)據(jù)的發(fā)送速率和發(fā)送時長，確定包含有所述日志數(shù)據(jù)的日志的大小；也可以通過預(yù)先統(tǒng)計獲知日志數(shù)據(jù)的發(fā)送速率和日志大小的對應(yīng)關(guān)系，根據(jù)該對應(yīng)關(guān)系，將與當(dāng)前日志數(shù)據(jù)的發(fā)送速率對應(yīng)的日志大小確定為包含有所述日志數(shù)據(jù)的日志的大小，例如通過統(tǒng)計預(yù)設(shè)時間段(例如，I個月或3周等)內(nèi)的日志數(shù)據(jù)的發(fā)送速率與對應(yīng)的日志大小獲知該對應(yīng)關(guān)系。
[0037]步驟140、根據(jù)所述日志的標識和日志源的IP地址，確定日志的存儲地址；
[0038]本步驟具體是確定日志的存儲地址。示例性地，根據(jù)所述日志的標識和日志源的IP地址，根據(jù)預(yù)設(shè)日志存儲策略，確定日志的存儲地址為{磁盤名稱/日志ID/log/IP地址
/日期/時間}。
[0039]實際應(yīng)用中，一個業(yè)務(wù)的相關(guān)日志數(shù)據(jù)(即，一個業(yè)務(wù)下的應(yīng)用)對應(yīng)一個日志ID，例如，對于業(yè)務(wù)為QQ瀏覽器的業(yè)務(wù)日志來說，可以設(shè)置用戶注冊事件(QQ瀏覽器下的一個應(yīng)用)對應(yīng)一個日志ID，具有對應(yīng)的日志數(shù)據(jù)結(jié)構(gòu)，而用戶瀏覽事件(QQ瀏覽器下的另一個應(yīng)用)對應(yīng)另一個日志ID，相應(yīng)具有該日志ID對應(yīng)的日志數(shù)據(jù)結(jié)構(gòu)。當(dāng)然，實際應(yīng)用中，一個業(yè)務(wù)也可以只申請一個日志ID，某個業(yè)務(wù)申請一個日志ID還是多個日志ID，由業(yè)務(wù)開發(fā)人員根據(jù)業(yè)務(wù)的日志數(shù)據(jù)量，日志數(shù)據(jù)種類，并結(jié)合后續(xù)基于日志數(shù)據(jù)的統(tǒng)計需求綜合考慮。
[0040]步驟150、根據(jù)所述日志的大小，采用預(yù)分配的方法，在與所述存儲地址對應(yīng)的磁盤中為所述日志分配磁盤空間；
[0041]本步驟具體是在與步驟140確定的日志存儲地址對應(yīng)的磁盤中，為通過步驟130確定的日志大小分配與日志大小相匹配的磁盤空間。
[0042]步驟160、將包含有所述日志數(shù)據(jù)的日志存儲到與所述磁盤空間中。
[0043]本實施例的技術(shù)方案，通過日志源發(fā)送日志數(shù)據(jù)的發(fā)送速率，能夠確定日志大小，通過日志存儲請求中的日志的標識和日志源的IP地址，能夠確定日志的存儲地址，通過在與該存儲地址對應(yīng)的磁盤中為日志預(yù)分配磁盤空間，因此能夠?qū)⑷罩敬鎯Φ筋A(yù)分配的磁盤空間中。由于預(yù)分配的磁盤空間是根據(jù)日志大小分配的，因此能夠減少磁盤碎片，并提高日志服務(wù)器的磁盤的性能。
[0044]需要說明的是，現(xiàn)有技術(shù)中一般是等到日志需要存儲時，臨時為該日志分配存儲空間，導(dǎo)致日志被分散存儲到整個磁盤的不同區(qū)域，而不是連續(xù)地存儲在磁盤連續(xù)的簇中。換言之，磁盤在使用一段時間后，由于反復(fù)寫入和刪除的操作，磁盤中的空閑扇區(qū)會分散到整個磁盤中不連續(xù)的物理位置上，從而使日志不能存儲在磁盤連續(xù)的扇區(qū)里。這樣，再讀寫日志時就需要到不同的區(qū)域去讀取，增加了磁頭的來回移動，降低了磁盤的訪問速度。[0045]而本實施例的技術(shù)方案，通過預(yù)分配的方式，使得單個日志文件的數(shù)據(jù)始終存儲在磁盤上一片連續(xù)的空間中，由于日志首尾相接整齊存儲而減少磁盤碎片，因此能夠加快磁盤讀寫速度，并提高磁盤的整體性能和運行速度。
[0046]還需要說明的是，現(xiàn)有技術(shù)中需要定期進行磁盤碎片整理，磁盤碎片整理的時間和磁盤已使用的容量和磁盤碎片程度成正比，而且在進行磁盤碎片整理期間，磁盤的輸入輸出接口會被磁盤碎片整理程序占滿，基本無法進行正常的日志存儲服務(wù)，還會降低磁盤的壽命。
[0047]而本實施例的技術(shù)方案，采用預(yù)分配的方式，使得單個日志文件的數(shù)據(jù)始終存儲在磁盤上一片連續(xù)的空間中，而減少磁盤碎片，從而在磁盤碎片整理過程中，磁盤的輸入輸出接口既能提供磁盤碎片整理服務(wù)，又能提供日志存儲服務(wù)，也即保證了服務(wù)器性能的穩(wěn)定，不會因為日志的增多而性能下降，并能延長磁盤的使用壽命。
[0048]實施例二
[0049]請參閱圖2，為本發(fā)明實施例二提供的一種日志存儲方法的流程圖。本實施例在上述實施例的基礎(chǔ)上，提供了根據(jù)所述日志的大小，采用預(yù)分配的方法，在與所述存儲地址對應(yīng)的磁盤中為所述日志分配磁盤空間這一步驟的優(yōu)選方案。如圖2所示，該優(yōu)選方法，包括:
[0050]步驟210、根據(jù)所述日志的大小，確定該日志所需的磁盤中可用空間的分組；
[0051]在磁盤的空間管理方面，將磁盤上的每一個可用空間照近似大小分成若干個組，每個組的大小可以由系統(tǒng)管理員在運行初始時進行配置，也可以在文件系統(tǒng)格式化的時候根據(jù)磁盤容量確定。
[0052]步驟220、在所述分組內(nèi)查找區(qū)間大小大于或等于所述日志大小的區(qū)間；
[0053]每個組包括區(qū)間描述參數(shù)存儲區(qū)域和至少一個日志數(shù)據(jù)存儲區(qū)域，本步驟具體是查找日志數(shù)據(jù)存儲區(qū)域大小大于或等于所述日志大小的區(qū)間。
[0054]步驟230、將大于或等于所述日志大小的區(qū)間中的一個作為該日志的磁盤空間。
[0055]本實施例的技術(shù)方案，通過確定與該存儲地址對應(yīng)的磁盤中可用空間的分組所包含的區(qū)間的大小，將大于或等于所述日志大小的區(qū)間中的一個作為該日志的磁盤空間，能夠為日志預(yù)分配磁盤空間，由于預(yù)分配的磁盤空間是根據(jù)日志大小分配的，因此能夠減少磁盤碎片，并提高日志服務(wù)器的磁盤的性能。
[0056]實施例三
[0057]請參閱圖3，為本發(fā)明實施例三提供的一種日志存儲裝置的結(jié)構(gòu)示意圖。如圖3所示，該裝置包括:存儲請求接收模塊310、發(fā)送速率確定模塊320、日志大小確定模塊330、存儲地址確定模塊340、磁盤空間分配模塊350和日志存儲模塊360。
[0058]其中，存儲請求接收模塊310用于接收日志源發(fā)送的日志存儲請求，所述日志存儲請求包括:日志數(shù)據(jù)、包含有所述日志數(shù)據(jù)的日志的標識和日志源的IP地址；發(fā)送速率確定模塊320用于確定日志源發(fā)送日志數(shù)據(jù)的發(fā)送速率；日志大小確定模塊330用于根據(jù)日志數(shù)據(jù)的發(fā)送速率，確定包含有所述日志數(shù)據(jù)的日志的大??；存儲地址確定模塊340用于根據(jù)所述日志的標識和日志源的IP地址，確定日志的存儲地址；磁盤空間分配模塊350用于根據(jù)所述日志的大小，采用預(yù)分配的方法，在與所述存儲地址對應(yīng)的磁盤中為所述日志分配磁盤空間；日志存儲模塊360用于將包含有所述日志數(shù)據(jù)的日志存儲到與所述磁盤空間中。
[0059]本實施例的技術(shù)方案，通過日志源發(fā)送日志數(shù)據(jù)的發(fā)送速率，能夠確定日志大小，通過日志存儲請求中的日志的標識和日志源的IP地址，能夠確定日志的存儲地址，通過在與該存儲地址對應(yīng)的磁盤中為日志預(yù)分配磁盤空間，因此能夠?qū)⑷罩敬鎯Φ筋A(yù)分配的磁盤空間中。由于預(yù)分配的磁盤空間是根據(jù)日志大小分配的，因此能夠減少磁盤碎片，并提高日志服務(wù)器的磁盤的性能。
[0060]在上述方案中，發(fā)送速率確定模塊320具體用于通過監(jiān)測所述日志存儲請求，確定日志源發(fā)送日志數(shù)據(jù)的發(fā)送速率。
[0061]在上述方案中，磁盤空間分配模塊350包括:分組確定單元、區(qū)間查找單元和磁盤空間確定單元。
[0062]其中，分組確定單元用于根據(jù)所述日志的大小，確定該日志所需的磁盤中可用空間的分組；區(qū)間查找單元用于在所述分組內(nèi)查找區(qū)間大小大于或等于所述日志大小的區(qū)間；磁盤空間確定單元用于將大于或等于所述日志大小的區(qū)間中的一個作為該日志的磁盤空間。
[0063]本發(fā)明實施例提供的日志存儲裝置可執(zhí)行本發(fā)明任意實施例所提供的日志存儲方法，具備執(zhí)行方法相應(yīng)的功能模塊和有益效果。
[0064]最后應(yīng)說明的是:以上各實施例僅用于說明本發(fā)明的技術(shù)方案，而非對其進行限制；實施例中優(yōu)選的實施方式，并非對其進行限制，對于本領(lǐng)域技術(shù)人員而言，本發(fā)明可以有各種改動和變化。凡在本發(fā)明的精神和原理之內(nèi)所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【權(quán)利要求】
1.一種日志存儲方法，其特征在于，包括: 接收日志源發(fā)送的日志存儲請求，所述日志存儲請求包括:日志數(shù)據(jù)、包含有所述日志數(shù)據(jù)的日志的標識和日志源的IP地址； 確定日志源發(fā)送日志數(shù)據(jù)的發(fā)送速率； 根據(jù)日志數(shù)據(jù)的發(fā)送速率，確定包含有所述日志數(shù)據(jù)的日志的大??； 根據(jù)所述日志的標識和日志源的IP地址，確定日志的存儲地址； 根據(jù)所述日志的大小，采用預(yù)分配的方法，在與所述存儲地址對應(yīng)的磁盤中為所述日志分配磁盤空間； 將包含有所述日志數(shù)據(jù)的日志存儲到與所述磁盤空間中。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，確定日志源發(fā)送日志數(shù)據(jù)的發(fā)送速率，包括: 通過監(jiān)測所述日志存儲請求，確定日志源發(fā)送日志數(shù)據(jù)的發(fā)送速率。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述日志的大小，采用預(yù)分配的方法，在與所述存儲地址對應(yīng)的磁盤中為所述日志分配磁盤空間，包括: 根據(jù)所述日志的大小，確定該日志所需的磁盤中可用空間的分組； 在所述分組內(nèi)查找區(qū)間大小大于或等于所述日志大小的區(qū)間； 將大于或等于所述日志大小的區(qū)間中的一個作為該日志的磁盤空間。
4.一種日志存儲裝置，其特征在于，包括: 存儲請求接收模塊，用于接收日志源發(fā)送的日志存儲請求，所述日志存儲請求包括:日志數(shù)據(jù)、包含有所述日志數(shù)據(jù)的日志的標識和日志源的IP地址； 發(fā)送速率確定模塊，用于確定日志源發(fā)送日志數(shù)據(jù)的發(fā)送速率； 日志大小確定模塊，用于根據(jù)日志數(shù)據(jù)的發(fā)送速率，確定包含有所述日志數(shù)據(jù)的日志的大??； 存儲地址確定模塊，用于根據(jù)所述日志的標識和日志源的IP地址，確定日志的存儲地址； 磁盤空間分配模塊，用于根據(jù)所述日志的大小，采用預(yù)分配的方法，在與所述存儲地址對應(yīng)的磁盤中為所述日志分配磁盤空間； 日志存儲模塊，用于將包含有所述日志數(shù)據(jù)的日志存儲到與所述磁盤空間中。
5.根據(jù)權(quán)利要求1所述的裝置，其特征在于，發(fā)送速率確定模塊具體用于通過監(jiān)測所述日志存儲請求，確定日志源發(fā)送日志數(shù)據(jù)的發(fā)送速率。
6.根據(jù)權(quán)利要求1所述的裝置，其特征在于，磁盤空間分配模塊包括: 分組確定單元，用于根據(jù)所述日志的大小，確定該日志所需的磁盤中可用空間的分組； 區(qū)間查找單元，用于在所述分組內(nèi)查找區(qū)間大小大于或等于所述日志大小的區(qū)間；磁盤空間確定單兀，用于將大于或等于所述日志大小的區(qū)間中的一個作為該日志的磁盤空間。
【文檔編號】G06F12/02GK104021088SQ201410290387
【公開日】2014年9月3日 申請日期:2014年6月24日 優(yōu)先權(quán)日:2014年6月24日
【發(fā)明者】劉杰, 梁潤強, 歐吉增, 霍鍵聰, 史偉 申請人:廣東睿江科技有限公司