一種基于fics對象存儲的大文件數(shù)據(jù)的編輯方法與系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于FICS對象存儲的大文件數(shù)據(jù)的編輯方法與系統(tǒng)，其方法包括以下步驟：S1.文件存儲：對待存儲文件的每個數(shù)據(jù)進(jìn)行保存，并為待存儲文件生成文件地址；S2.文件編輯：通過對文件地址的處理實現(xiàn)文件編輯，包括以下四種情況：文件合并、文件分割、數(shù)據(jù)插入和數(shù)據(jù)剔除。本發(fā)明提供了一種基于FICS對象存儲的大文件數(shù)據(jù)的編輯方法與系統(tǒng)，在存儲過程中對文件的每個數(shù)據(jù)進(jìn)行保存，并為文件生成文件地址，在文件編輯過程中通過對文件地址的處理實現(xiàn)文件合并、文件分割、數(shù)據(jù)插入和數(shù)據(jù)剔除，提高了文件編輯速度，節(jié)省了文件編輯的占用空間。
【專利說明】
一種基于FI CS對象存儲的大文件數(shù)據(jù)的編輯方法與系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種基于FICS對象存儲的大文件數(shù)據(jù)的編輯方法與系統(tǒng)。
【背景技術(shù)】
[0002]文件存儲和文件編輯是用戶工作中所必不可少的一項任務(wù)，文件編輯主要包括文件合并、文件刪除、數(shù)據(jù)插入和數(shù)據(jù)剔除；
目前文件合并過程，在本地文件系統(tǒng)及其他分布式文件系統(tǒng)等的管理存儲上，需要將所有源文件的數(shù)據(jù)依次讀出，并寫入到新的文件中；目前的文件分割過程，本地文件系統(tǒng)及其他分布式文件系統(tǒng)等的管理的存儲上，需要將大文件的數(shù)據(jù)內(nèi)容全部依次讀取出來，分別寫入到小文件中，非常耗時的；如果合并或者分割的源文件是幾百G大小，那么，文件的合并或分割可能會消耗幾十分鐘，甚至幾小時；同時，也會消耗大量的存儲讀寫帶寬;并且，盡管源文件和目標(biāo)文件的絕大部分?jǐn)?shù)據(jù)內(nèi)容是相同的，但是，實際占用的磁盤空間依然是比較大的，是所用文件數(shù)據(jù)大小之和。
[0003]目前的數(shù)據(jù)插入或者數(shù)據(jù)剔除過程，在目前的本地文件系統(tǒng)及其他分布式文件系統(tǒng)等的管理的存儲上，需要將大文件編輯生成的新的數(shù)據(jù)內(nèi)容全部依次覆蓋寫一次，數(shù)據(jù)才能保存下來;這是非常耗時，耗帶寬的；例如:在一個幾百M或幾個G的信號數(shù)據(jù)文件中，excel或其他格式的文件，我們要插入10個字符，或者刪除10個字符，在保存文件時，必須將所有的內(nèi)容重新寫一次，非常耗時，耗帶寬。
[0004]目前文件編輯系統(tǒng)非常浪費時間和資源。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于FICS對象存儲的大文件數(shù)據(jù)的編輯方法與系統(tǒng)，在存儲過程中對文件的每個數(shù)據(jù)進(jìn)行保存，并為文件生成文件地址，在文件編輯過程中通過對文件地址的處理實現(xiàn)文件合并、文件分割、數(shù)據(jù)插入和數(shù)據(jù)剔除，提高了文件編輯速度，節(jié)省了文件編輯的占用空間。
[0006]本發(fā)明的目的是通過以下技術(shù)方案來實現(xiàn)的:一種基于FICS對象存儲的大文件數(shù)據(jù)的編輯方法，包括以下步驟:
51.文件存儲:對待存儲文件的每個數(shù)據(jù)進(jìn)行保存，并為待存儲文件生成文件地址；
52.文件編輯:通過對文件地址的處理實現(xiàn)文件編輯，包括以下四種情況:
(1)文件合并:將文件地址進(jìn)行合并；
(2)文件分割:將文件地址分割成多個子文件地址，并將分割出來的子文件地址分別賦予每個子文件；
(3)數(shù)據(jù)插入:為插入的數(shù)據(jù)生成數(shù)據(jù)地址，根據(jù)數(shù)據(jù)插入的位置將生成的數(shù)據(jù)地址插入對應(yīng)的文件地址中；
(4)數(shù)據(jù)剔除:將待剔除數(shù)據(jù)對應(yīng)的數(shù)據(jù)地址從對應(yīng)的文件地址中剔除。
[0007]所述的步驟SI包括以下子步驟: SI 1.依次輸入每個待存儲文件；
512.將當(dāng)前待存儲文件分為多個數(shù)據(jù)；
513.對每個數(shù)據(jù)進(jìn)行保存；
514.為每個數(shù)據(jù)生成一個數(shù)據(jù)地址，數(shù)據(jù)地址包括數(shù)據(jù)保存位置、數(shù)據(jù)在文件中的偏移和數(shù)據(jù)的長度；
515.將當(dāng)前待存儲文件中每個數(shù)據(jù)地址按照數(shù)據(jù)前后順序進(jìn)行合并，生成當(dāng)前待存儲文件的文件地址。
[0008]步驟S2中所述的文件合并包括以下子步驟:
5201.查詢所有待合并文件的文件地址；
5202.將所有文件地址按照設(shè)定順序進(jìn)行合并，生成新文件地址；
5203.將生成的新文件地址賦值給合成的目標(biāo)新文件，完成文件的合并操作；
步驟S2中所述的文件分割包括以下子步驟:
5211.查詢待分割文件的文件地址；
5212.將文件地址分割為多個子文件地址；
5213.將分割得到的子文件地址賦值給要生成的目標(biāo)子文件。
[0009]步驟S2中所述的數(shù)據(jù)插入包括以下子步驟:
5221.給定待插入數(shù)據(jù)，將待插入數(shù)據(jù)進(jìn)行保存，并為待插入數(shù)據(jù)生成相應(yīng)的數(shù)據(jù)地址；
5222.給定數(shù)據(jù)插入的源文件和在源文件中插入的位置；
5223.查詢源文件的文件地址，根據(jù)插入的位置將生成的數(shù)據(jù)地址插入文件地址中。
[0010]步驟S2中所述的數(shù)據(jù)剔除包括以下子步驟:
5231.給定源文件和源文件中的待剔除數(shù)據(jù)；
5232.查詢源文件的文件地址和待剔除數(shù)據(jù)的數(shù)據(jù)地址；
5233.將該數(shù)據(jù)地址從源文件的文件地址中刪除。
[0011 ] 一種基于FICS對象存儲的大文件數(shù)據(jù)的編輯系統(tǒng)，包括FICS對象存儲模塊和文件編輯模塊；
所述的FICS對象存儲模塊用于待存儲文件的每個數(shù)據(jù)進(jìn)行保存，并為該文件生成文件地址；
所述的文件編輯模塊用于對文件進(jìn)行地址的處理實現(xiàn)文件編輯，包括:
文件合并子模塊，用于對于文件地址進(jìn)行合并；
文件分割子模塊，用于將文件地址分割為多個子文件地址；
數(shù)據(jù)插入子模塊，用于將待插入數(shù)據(jù)的數(shù)據(jù)地址插入對應(yīng)的文件地址中；
數(shù)據(jù)剔除子模塊，用于將待剔除數(shù)據(jù)的數(shù)據(jù)地址從對應(yīng)的文件地址中刪除。
[0012]所述的FICS對象存儲模塊包括:
文件分解子模塊，用于將輸入的待存儲文件分為多個數(shù)據(jù)；
存儲數(shù)據(jù)庫，用于對分解得到的每個數(shù)據(jù)進(jìn)行保存；
數(shù)據(jù)地址生成子模塊，用于對每個數(shù)據(jù)生成數(shù)據(jù)地址，該數(shù)據(jù)地址包括數(shù)據(jù)保存位置、數(shù)據(jù)在文件中的偏移和數(shù)據(jù)的長度；
文件地址生成子模塊，用于將待存儲文件中每個數(shù)據(jù)地址按照數(shù)據(jù)前后順序進(jìn)行合并，對應(yīng)的文件地址。
[0013]本發(fā)明的有益效果是:在存儲過程中對文件的每個數(shù)據(jù)進(jìn)行保存，并為文件生成文件地址，在文件編輯過程中通過對文件地址的處理實現(xiàn)文件合并、文件分割、數(shù)據(jù)插入和數(shù)據(jù)剔除，提高了文件編輯速度，節(jié)省了文件編輯的占用空間。
【附圖說明】
[0014]圖1為本發(fā)明的方法流程圖；
圖2為生成文件地址的流程圖；
圖3為文件合并的示意圖；
圖4為文件分割的示意圖；
圖5為數(shù)據(jù)插入的原理示意圖；
圖6為數(shù)據(jù)剔除原理示意圖；
圖7為本發(fā)明的系統(tǒng)原理框圖。
【具體實施方式】
[0015]下面結(jié)合附圖進(jìn)一步詳細(xì)描述本發(fā)明的技術(shù)方案，但本發(fā)明的保護(hù)范圍不局限于以下所述。
[0016]如圖1所示，一種基于FICS對象存儲的大文件數(shù)據(jù)的編輯方法，包括以下步驟:
51.文件存儲:對待存儲文件的每個數(shù)據(jù)進(jìn)行保存，并為待存儲文件生成文件地址；
52.文件編輯:通過對文件地址的處理實現(xiàn)文件編輯，包括以下四種情況:
(1)文件合并:將文件地址進(jìn)行合并；
(2)文件分割:將文件地址分割成多個子文件地址，并將分割出來的子文件地址分別賦予每個子文件；
(3)數(shù)據(jù)插入:為插入的數(shù)據(jù)生成數(shù)據(jù)地址，根據(jù)數(shù)據(jù)插入的位置將生成的數(shù)據(jù)地址插入對應(yīng)的文件地址中；
(4)數(shù)據(jù)剔除:將待剔除數(shù)據(jù)對應(yīng)的數(shù)據(jù)地址從對應(yīng)的文件地址中剔除。
[0017]如圖2所示，所述的步驟SI包括以下子步驟:
511.依次輸入每個待存儲文件；
512.將當(dāng)前待存儲文件分為多個數(shù)據(jù)；
513.對每個數(shù)據(jù)進(jìn)行保存；
514.為每個數(shù)據(jù)生成一個數(shù)據(jù)地址，數(shù)據(jù)地址包括數(shù)據(jù)保存位置、數(shù)據(jù)在文件中的偏移和數(shù)據(jù)的長度；
515.將當(dāng)前待存儲文件中每個數(shù)據(jù)地址按照數(shù)據(jù)前后順序進(jìn)行合并，生成當(dāng)前待存儲文件的文件地址。
[0018]步驟S2中所述的文件合并包括以下子步驟:
5201.查詢所有待合并文件的文件地址；
5202.將所有文件地址按照設(shè)定順序進(jìn)行合并，生成新文件地址；
5203.將生成的新文件地址賦值給合成的目標(biāo)新文件，完成文件的合并操作；
如圖3所示，為文件合并的示意圖，以兩個待合成文件為例，分別為文件A和文件B;只需要將文件A和文件B的文件地址進(jìn)行合成，將合成得到的文件地址賦予目標(biāo)新文件C即可。
[0019]待合成文件也可以有多個，根據(jù)設(shè)定順序依次合成文件地址即可。
[0020]步驟S2中所述的文件分割包括以下子步驟:
5211.查詢待分割文件的文件地址；
5212.將文件地址分割為多個子文件地址；
5213.將分割得到的子文件地址賦值給要生成的目標(biāo)子文件。
[0021 ]如圖4所示，為文件分割的示意圖；以將待分割文件A分割為文件D和文件E為例，只需要將文件A的文件地址按照分割要求(對應(yīng)于文件中的數(shù)據(jù)的分割要求)進(jìn)行分割成兩個，再將分割成的兩個子文件地址賦予文件D和文件E即可。
[0022]分割成多個時同理。
[0023]步驟S2中所述的數(shù)據(jù)插入包括以下子步驟:
5221.給定待插入數(shù)據(jù)，將待插入數(shù)據(jù)進(jìn)行保存，并為待插入數(shù)據(jù)生成相應(yīng)的數(shù)據(jù)地址；
5222.給定數(shù)據(jù)插入的源文件和在源文件中插入的位置；
5223.查詢源文件的文件地址，根據(jù)插入的位置將生成的數(shù)據(jù)地址插入文件地址中。
[0024]如圖5所示，首先將待插入的數(shù)據(jù)進(jìn)行保存，并為待插入的數(shù)據(jù)生成數(shù)據(jù)地址N;然后給定數(shù)據(jù)插入的源文件A，以及在源文件A中插入的位置;接著查詢源文件A的文件地址；將數(shù)據(jù)地址N插入到文件地址的相應(yīng)位置，即可得到新文件F的文件地址，完成數(shù)據(jù)插入。
[0025]每個數(shù)據(jù)地址按照數(shù)據(jù)前后順序進(jìn)行合并);故根據(jù)在目標(biāo)文件中插入的位置，將數(shù)據(jù)地址N插入文件A的文件地址即可。
[0026]步驟S2中所述的數(shù)據(jù)剔除包括以下子步驟:
5231.給定源文件和源文件中的待剔除數(shù)據(jù)；
5232.查詢源文件的文件地址和待剔除數(shù)據(jù)的數(shù)據(jù)地址；
5233.將該數(shù)據(jù)地址從源文件的文件地址中刪除。
[0027]如圖6所示，給定源文件A和源文件A中待剔除的數(shù)據(jù)后，先查詢源文件A的文件地址，再查詢得到待剔除數(shù)據(jù)的數(shù)據(jù)地址，將該數(shù)據(jù)地址從源文件A的文件地址中刪除，即可得到新文件G的文件地址，完成數(shù)據(jù)剔除。
[0028]在本申請中，由于文件地址由多個數(shù)據(jù)地址構(gòu)成，而數(shù)據(jù)地址均包括數(shù)據(jù)保存位置、數(shù)據(jù)在文件中的偏移和數(shù)據(jù)的長度，故在已知文件地址的情況下，能夠根據(jù)構(gòu)成文件地址的多個數(shù)據(jù)地址讀取出文件中的所有數(shù)據(jù)，在文件地址變化時，讀出的文件中包含的數(shù)據(jù)也會發(fā)生變化；因此，實現(xiàn)編輯過程中(文件合并、文件分割、數(shù)據(jù)插入和數(shù)據(jù)剔除)，直接對文件地址進(jìn)行處理，就能夠?qū)崿F(xiàn)文件的編輯，從而提高了文件編輯速度，節(jié)省了文件編輯的占用空間。
[0029]如圖7所示，一種基于FICS對象存儲的大文件數(shù)據(jù)的編輯系統(tǒng)，包括FICS對象存儲模塊和文件編輯模塊；
所述的FICS對象存儲模塊用于待存儲文件的每個數(shù)據(jù)進(jìn)行保存，并為該文件生成文件地址；
所述的文件編輯模塊用于對文件進(jìn)行地址的處理實現(xiàn)文件編輯，包括:
文件合并子模塊，用于對于文件地址進(jìn)行合并； 文件分割子模塊，用于將文件地址分割為多個子文件地址；
數(shù)據(jù)插入子模塊，用于將待插入數(shù)據(jù)的數(shù)據(jù)地址插入對應(yīng)的文件地址中；
數(shù)據(jù)剔除子模塊，用于將待剔除數(shù)據(jù)的數(shù)據(jù)地址從對應(yīng)的文件地址中刪除。
[0030]所述的FICS對象存儲模塊包括:
文件分解子模塊，用于將輸入的待存儲文件分為多個數(shù)據(jù)；
存儲數(shù)據(jù)庫，用于對分解得到的每個數(shù)據(jù)進(jìn)行保存；
數(shù)據(jù)地址生成子模塊，用于對每個數(shù)據(jù)生成數(shù)據(jù)地址，該數(shù)據(jù)地址包括數(shù)據(jù)保存位置、數(shù)據(jù)在文件中的偏移和數(shù)據(jù)的長度；
文件地址生成子模塊，用于將待存儲文件中每個數(shù)據(jù)地址按照數(shù)據(jù)前后順序進(jìn)行合并，對應(yīng)的文件地址。
【主權(quán)項】
1.一種基于FICS對象存儲的大文件數(shù)據(jù)的編輯方法，其特征在于:包括以下步驟: 51.文件存儲:對待存儲文件的每個數(shù)據(jù)進(jìn)行保存，并為待存儲文件生成文件地址； 52.文件編輯:通過對文件地址的處理實現(xiàn)文件編輯，包括以下四種情況: (1)文件合并:將文件地址進(jìn)行合并； (2)文件分割:將文件地址分割成多個子文件地址，并將分割出來的子文件地址分別賦予每個子文件； (3)數(shù)據(jù)插入:為插入的數(shù)據(jù)生成數(shù)據(jù)地址，根據(jù)數(shù)據(jù)插入的位置將生成的數(shù)據(jù)地址插入對應(yīng)的文件地址中； (4)數(shù)據(jù)剔除:將待剔除數(shù)據(jù)對應(yīng)的數(shù)據(jù)地址從對應(yīng)的文件地址中剔除。2.根據(jù)權(quán)利要求1所述的一種基于FICS對象存儲的大文件數(shù)據(jù)的編輯方法，其特征在于:所述的步驟SI包括以下子步驟: SI 1.依次輸入每個待存儲文件； 512.將當(dāng)前待存儲文件分為多個數(shù)據(jù)； 513.對每個數(shù)據(jù)進(jìn)行保存； 514.為每個數(shù)據(jù)生成一個數(shù)據(jù)地址，數(shù)據(jù)地址包括數(shù)據(jù)保存位置、數(shù)據(jù)在文件中的偏移和數(shù)據(jù)的長度； 515.將當(dāng)前待存儲文件中每個數(shù)據(jù)地址按照數(shù)據(jù)前后順序進(jìn)行合并，生成當(dāng)前待存儲文件的文件地址。3.根據(jù)權(quán)利要求1所述的一種基于FICS對象存儲的大文件數(shù)據(jù)的編輯方法，其特征在于:步驟S2中所述的文件合并包括以下子步驟: 5201.查詢所有待合并文件的文件地址； 5202.將所有文件地址按照設(shè)定順序進(jìn)行合并，生成新文件地址； 5203.將生成的新文件地址賦值給合成的目標(biāo)新文件，完成文件的合并操作。4.根據(jù)權(quán)利要求1所述的一種基于FICS對象存儲的大文件數(shù)據(jù)的編輯方法，其特征在于:步驟S2中所述的文件分割包括以下子步驟: 5211.查詢待分割文件的文件地址； 5212.將文件地址分割為多個子文件地址； 5213.將分割得到的子文件地址賦值給要生成的目標(biāo)子文件。5.根據(jù)權(quán)利要求1所述的一種基于FICS對象存儲的大文件數(shù)據(jù)的編輯方法，其特征在于:步驟S2中所述的數(shù)據(jù)插入包括以下子步驟: 5221.給定待插入數(shù)據(jù)，將待插入數(shù)據(jù)進(jìn)行保存，并為待插入數(shù)據(jù)生成相應(yīng)的數(shù)據(jù)地址； 5222.給定數(shù)據(jù)插入的源文件和在源文件中插入的位置； 5223.查詢源文件的文件地址，根據(jù)插入的位置將生成的數(shù)據(jù)地址插入文件地址中。6.根據(jù)權(quán)利要求1所述的一種基于FICS對象存儲的大文件數(shù)據(jù)的編輯方法，其特征在于:步驟S2中所述的數(shù)據(jù)剔除包括以下子步驟: 5231.給定源文件和源文件中的待剔除數(shù)據(jù)； 5232.查詢源文件的文件地址和待剔除數(shù)據(jù)的數(shù)據(jù)地址； 5233.將該數(shù)據(jù)地址從源文件的文件地址中刪除。7.一種基于FICS對象存儲的大文件數(shù)據(jù)的編輯系統(tǒng)，其特征在于:包括FICS對象存儲模塊和文件編輯模塊； 所述的FICS對象存儲模塊用于待存儲文件的每個數(shù)據(jù)進(jìn)行保存，并為該文件生成文件地址； 所述的文件編輯模塊用于對文件進(jìn)行地址的處理實現(xiàn)文件編輯，包括: 文件合并子模塊，用于對于文件地址進(jìn)行合并； 文件分割子模塊，用于將文件地址分割為多個子文件地址； 數(shù)據(jù)插入子模塊，用于將待插入數(shù)據(jù)的數(shù)據(jù)地址插入對應(yīng)的文件地址中； 數(shù)據(jù)剔除子模塊，用于將待剔除數(shù)據(jù)的數(shù)據(jù)地址從對應(yīng)的文件地址中刪除。8.—種基于FICS對象存儲的大文件數(shù)據(jù)的編輯系統(tǒng)，其特征在于:所述的FICS對象存儲模塊包括: 文件分解子模塊，用于將輸入的待存儲文件分為多個數(shù)據(jù)； 存儲數(shù)據(jù)庫，用于對分解得到的每個數(shù)據(jù)進(jìn)行保存； 數(shù)據(jù)地址生成子模塊，用于對每個數(shù)據(jù)生成數(shù)據(jù)地址，該數(shù)據(jù)地址包括數(shù)據(jù)保存位置、數(shù)據(jù)在文件中的偏移和數(shù)據(jù)的長度； 文件地址生成子模塊，用于將待存儲文件中每個數(shù)據(jù)地址按照數(shù)據(jù)前后順序進(jìn)行合并，對應(yīng)的文件地址。
【文檔編號】G06F17/30GK106021217SQ201610359980
【公開日】2016年10月12日
【申請日】2016年5月27日
【發(fā)明人】李科, 韓志宏, 劉盾
【申請人】成都索貝數(shù)碼科技股份有限公司