一種基于fics對象存儲的數(shù)據(jù)剔除方法與系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于FICS對象存儲的數(shù)據(jù)剔除方法與系統(tǒng)，所述的方法包括以下步驟：S1.對待存儲文件的每個數(shù)據(jù)進行保存，并為待存儲文件生成文件地址；S2.給定源文件和源文件中待剔除的數(shù)據(jù)，通過對源文件的文件地址進行處理，實現(xiàn)數(shù)據(jù)剔除；所述的系統(tǒng)包括FICS對象存儲模塊和數(shù)據(jù)剔除模塊。本發(fā)明提供了一種基于FICS對象存儲的數(shù)據(jù)剔除方法與系統(tǒng)，在存儲過程中對文件的每個數(shù)據(jù)進行保存，并為文件生成文件地址；在數(shù)據(jù)剔除過程中給定源文件和源文件中待剔除的數(shù)據(jù)，通過對源文件的文件地址進行處理，實現(xiàn)數(shù)據(jù)剔除。
【專利說明】
一種基于FI CS對象存儲的數(shù)據(jù)剔除方法與系統(tǒng)
技術領域
[0001 ]本發(fā)明涉及一種基于FICS對象存儲的數(shù)據(jù)剔除方法與系統(tǒng)。
【背景技術】
[0002]數(shù)據(jù)剔除，即將指定文件中的指定數(shù)據(jù)刪除，在目前的本地文件系統(tǒng)及其他分布式文件系統(tǒng)等的管理的存儲上，需要將文件中的數(shù)據(jù)內(nèi)容全部依次覆蓋寫一次，在寫的過程中刪除數(shù)據(jù)，從而達到指定文件中剔除數(shù)據(jù)的目的;這是非常耗時，耗帶寬的；例如:在一個幾百M或幾個G的信號數(shù)據(jù)文件中，比如excel或其他格式的文件，我們要刪除10個字符，在保存文件時，必須將所有的內(nèi)容重新寫一次，非常耗時(可能要幾分鐘，甚至幾十分鐘)、耗帶寬。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供一種基于FICS對象存儲的數(shù)據(jù)剔除方法與系統(tǒng)，在存儲過程中對文件的每個數(shù)據(jù)進行保存，并為文件生成文件地址;在數(shù)據(jù)剔除過程中給定源文件和源文件中待剔除的數(shù)據(jù)，通過對源文件的文件地址進行處理，實現(xiàn)數(shù)據(jù)剔除。
[0004]本發(fā)明的目的是通過以下技術方案來實現(xiàn)的:一種基于FICS對象存儲的數(shù)據(jù)剔除方法，包括以下步驟:
51.對待存儲文件的每個數(shù)據(jù)進行保存，并為待存儲文件生成文件地址；
52.給定源文件和源文件中待剔除的數(shù)據(jù)，通過對源文件的文件地址進行處理，實現(xiàn)數(shù)據(jù)剔除。
[0005]所述的步驟SI包括以下子步驟:
511.依次輸入每個待存儲文件；
512.將當前待存儲文件分為多個數(shù)據(jù)；
513.對每個數(shù)據(jù)進行保存；
514.為每個數(shù)據(jù)生成一個數(shù)據(jù)地址，數(shù)據(jù)地址包括數(shù)據(jù)保存位置、數(shù)據(jù)在文件中的偏移和數(shù)據(jù)的長度；
515.將當前待存儲文件中每個數(shù)據(jù)地址按照數(shù)據(jù)前后順序進行合并，生成當前待存儲文件的文件地址。
[0006]所述的步驟S2包括以下子步驟:
521.給定源文件和源文件中的待剔除數(shù)據(jù)；
522.查詢源文件的文件地址和待剔除數(shù)據(jù)的數(shù)據(jù)地址；
523.將該數(shù)據(jù)地址從源文件的文件地址中刪除。
[0007]給定的源文件為通過步驟SI存儲的文件。
[0008]—種基于FICS對象存儲的數(shù)據(jù)剔除系統(tǒng)，包括:
FICS對象存儲模塊，用于對待存儲文件的每個數(shù)據(jù)進行保存，并為待存儲文件生成文件地址；
數(shù)據(jù)剔除模塊，用于給定源文件和源文件中待剔除的數(shù)據(jù)，通過對源文件的文件地址進行處理，實現(xiàn)數(shù)據(jù)剔除。
[0009]所述的FICS對象存儲模塊包括:
文件分解子模塊，用于將輸入的待存儲文件分為多個數(shù)據(jù)；
存儲數(shù)據(jù)庫，用于對分解得到的每個數(shù)據(jù)進行保存；
數(shù)據(jù)地址生成子模塊，用于對每個數(shù)據(jù)生成數(shù)據(jù)地址，該數(shù)據(jù)地址包括數(shù)據(jù)保存位置、數(shù)據(jù)在文件中的偏移和數(shù)據(jù)的長度；
文件地址生成子模塊，用于將待存儲文件中每個數(shù)據(jù)地址按照數(shù)據(jù)前后順序進行合并，對應的文件地址。
[0010]所述的數(shù)據(jù)剔除模塊包括:
數(shù)據(jù)給定子模塊，用于給定源文件和源文件中的待剔除數(shù)據(jù)；
地址查詢子模塊，用于查詢源文件的文件地址和待剔除數(shù)據(jù)的數(shù)據(jù)地址；
地址刪除子模塊，用于從源文件的文件地址中，將待剔除的數(shù)據(jù)地址刪除。
[0011 ]本發(fā)明的有益效果是:在存儲過程中對文件的每個數(shù)據(jù)進行保存，并為文件生成文件地址;在數(shù)據(jù)剔除過程中給定源文件和源文件中待剔除的數(shù)據(jù)，通過對源文件的文件地址進行處理，實現(xiàn)數(shù)據(jù)剔除。
【附圖說明】
[0012]圖1為本發(fā)明的方法流程圖；
圖2為生成文件地址的流程圖；
圖3為數(shù)據(jù)剔除的流程圖；
圖4為數(shù)據(jù)剔除的過程示意圖；
圖5為本發(fā)明的系統(tǒng)原理框圖。
【具體實施方式】
[0013]下面結合附圖進一步詳細描述本發(fā)明的技術方案，但本發(fā)明的保護范圍不局限于以下所述。
[0014]如圖1所示，一種基于FICS對象存儲的數(shù)據(jù)剔除方法，包括以下步驟:
51.對待存儲文件的每個數(shù)據(jù)進行保存，并為待存儲文件生成文件地址；
52.給定源文件和源文件中待剔除的數(shù)據(jù)，通過對源文件的文件地址進行處理，實現(xiàn)數(shù)據(jù)剔除。
[0015]如圖2所示，所述的步驟SI包括以下子步驟:
511.依次輸入每個待存儲文件；
512.將當前待存儲文件分為多個數(shù)據(jù)；
513.對每個數(shù)據(jù)進行保存；
514.為每個數(shù)據(jù)生成一個數(shù)據(jù)地址，數(shù)據(jù)地址包括數(shù)據(jù)保存位置、數(shù)據(jù)在文件中的偏移和數(shù)據(jù)的長度；
515.將當前待存儲文件中每個數(shù)據(jù)地址按照數(shù)據(jù)前后順序進行合并，生成當前待存儲文件的文件地址。
[0016]如圖3所示，所述的步驟S2包括以下子步驟:
521.給定源文件和源文件中的待剔除數(shù)據(jù)；
522.查詢源文件的文件地址和待剔除數(shù)據(jù)的數(shù)據(jù)地址；
523.將該數(shù)據(jù)地址從源文件的文件地址中刪除。
[0017]如圖4所示，給定源文件A和源文件A中待剔除的數(shù)據(jù)后，先查詢源文件A的文件地址，再查詢得到待剔除數(shù)據(jù)的數(shù)據(jù)地址，將該數(shù)據(jù)地址從源文件A的文件地址中刪除，即可得到新文件G的文件地址，完成數(shù)據(jù)剔除。
[0018]在本申請中，由于文件地址由多個數(shù)據(jù)地址構成，而數(shù)據(jù)地址均包括數(shù)據(jù)保存位置、數(shù)據(jù)在文件中的偏移和數(shù)據(jù)的長度，故在已知文件地址的情況下，能夠根據(jù)構成文件地址的多個數(shù)據(jù)地址讀取出文件中的所有數(shù)據(jù)，在文件地址變化時，讀出的文件中包含的數(shù)據(jù)也會發(fā)生變化；因此，實現(xiàn)數(shù)據(jù)剔除過程中，直接對文件地址進行剔除處理，就能夠?qū)崿F(xiàn)文件中的數(shù)據(jù)剔除，從而提高了數(shù)據(jù)剔除速度，節(jié)省了數(shù)據(jù)剔除占用的讀寫帶寬。
[0019]給定的源文件為通過步驟SI存儲的文件。
[0020]如圖5所示，一種基于FICS對象存儲的數(shù)據(jù)剔除系統(tǒng)，包括:
FICS對象存儲模塊，用于對待存儲文件的每個數(shù)據(jù)進行保存，并為待存儲文件生成文件地址；
數(shù)據(jù)剔除模塊，用于給定源文件和源文件中待剔除的數(shù)據(jù)，通過對源文件的文件地址進行處理，實現(xiàn)數(shù)據(jù)剔除。
[0021 ]所述的FICS對象存儲模塊包括:
文件分解子模塊，用于將輸入的待存儲文件分為多個數(shù)據(jù)；
存儲數(shù)據(jù)庫，用于對分解得到的每個數(shù)據(jù)進行保存；
數(shù)據(jù)地址生成子模塊，用于對每個數(shù)據(jù)生成數(shù)據(jù)地址，該數(shù)據(jù)地址包括數(shù)據(jù)保存位置、數(shù)據(jù)在文件中的偏移和數(shù)據(jù)的長度；
文件地址生成子模塊，用于將待存儲文件中每個數(shù)據(jù)地址按照數(shù)據(jù)前后順序進行合并，對應的文件地址。
[0022]所述的數(shù)據(jù)剔除模塊包括:
數(shù)據(jù)給定子模塊，用于給定源文件和源文件中的待剔除數(shù)據(jù)；
地址查詢子模塊，用于查詢源文件的文件地址和待剔除數(shù)據(jù)的數(shù)據(jù)地址；
地址刪除子模塊，用于從源文件的文件地址中，將待剔除的數(shù)據(jù)地址刪除。
【主權項】
1.一種基于FICS對象存儲的數(shù)據(jù)剔除方法，其特征在于:包括以下步驟:S1.對待存儲文件的每個數(shù)據(jù)進行保存，并為待存儲文件生成文件地址；S2.給定源文件和源文件中待剔除的數(shù)據(jù)，通過對源文件的文件地址進行處理，實現(xiàn)數(shù)據(jù)剔除。2.根據(jù)權利要求1所述的一種基于FICS對象存儲的數(shù)據(jù)剔除方法，其特征在于:所述的步驟SI包括以下子步驟: S11.依次輸入每個待存儲文件； S12.將當前待存儲文件分為多個數(shù)據(jù)； S13.對每個數(shù)據(jù)進行保存； S14.為每個數(shù)據(jù)生成一個數(shù)據(jù)地址，數(shù)據(jù)地址包括數(shù)據(jù)保存位置、數(shù)據(jù)在文件中的偏移和數(shù)據(jù)的長度； S15.將當前待存儲文件中每個數(shù)據(jù)地址按照數(shù)據(jù)前后順序進行合并，生成當前待存儲文件的文件地址。3.根據(jù)權利要求1所述的一種基于FICS對象存儲的數(shù)據(jù)剔除方法，其特征在于:所述的步驟S2包括以下子步驟: S21.給定源文件和源文件中的待剔除數(shù)據(jù)； S22.查詢源文件的文件地址和待剔除數(shù)據(jù)的數(shù)據(jù)地址； S23.將該數(shù)據(jù)地址從源文件的文件地址中刪除。4.根據(jù)權利要求1所述的一種基于FICS對象存儲的數(shù)據(jù)剔除方法，其特征在于:給定的源文件為通過步驟SI存儲的文件。5.一種基于FICS對象存儲的數(shù)據(jù)剔除系統(tǒng)，其特征在于:包括: FICS對象存儲模塊，用于對待存儲文件的每個數(shù)據(jù)進行保存，并為待存儲文件生成文件地址； 數(shù)據(jù)剔除模塊，用于給定源文件和源文件中待剔除的數(shù)據(jù)，通過對源文件的文件地址進行處理，實現(xiàn)數(shù)據(jù)剔除。6.根據(jù)權利要求5所述的一種基于FICS對象存儲的數(shù)據(jù)剔除系統(tǒng)，其特征在于:所述的FICS對象存儲模塊包括: 文件分解子模塊，用于將輸入的待存儲文件分為多個數(shù)據(jù)； 存儲數(shù)據(jù)庫，用于對分解得到的每個數(shù)據(jù)進行保存； 數(shù)據(jù)地址生成子模塊，用于對每個數(shù)據(jù)生成數(shù)據(jù)地址，該數(shù)據(jù)地址包括數(shù)據(jù)保存位置、數(shù)據(jù)在文件中的偏移和數(shù)據(jù)的長度； 文件地址生成子模塊，用于將待存儲文件中每個數(shù)據(jù)地址按照數(shù)據(jù)前后順序進行合并，對應的文件地址。7.根據(jù)權利要求5所述的一種基于FICS對象存儲的數(shù)據(jù)剔除系統(tǒng)，其特征在于:所述的數(shù)據(jù)剔除模塊包括: 數(shù)據(jù)給定子模塊，用于給定源文件和源文件中的待剔除數(shù)據(jù)； 地址查詢子模塊，用于查詢源文件的文件地址和待剔除數(shù)據(jù)的數(shù)據(jù)地址； 地址刪除子模塊，用于從源文件的文件地址中，將待剔除的數(shù)據(jù)地址刪除。
【文檔編號】G06F17/30GK106021537SQ201610359981
【公開日】2016年10月12日
【申請日】2016年5月27日
【發(fā)明人】李科, 劉盾, 韓志宏
【申請人】成都索貝數(shù)碼科技股份有限公司