本發(fā)明涉及數(shù)據(jù)優(yōu)化存儲，具體為一種基于人工智能的數(shù)據(jù)優(yōu)化存儲方法及大數(shù)據(jù)系統(tǒng)。

背景技術(shù)：

1、數(shù)據(jù)優(yōu)化存儲是一系列技術(shù)和方法的應(yīng)用，旨在提高數(shù)據(jù)存儲系統(tǒng)的性能、效率和經(jīng)濟性。在現(xiàn)代信息化社會，隨著人工智能數(shù)據(jù)量的爆炸式增長，如何高效地讀寫和存儲這些數(shù)據(jù)成為了技術(shù)發(fā)展的重要課題，在進行存儲之前，對應(yīng)平臺需讀寫此類數(shù)據(jù)，讀寫完畢后，再進行相關(guān)存儲。

2、公開號為cn116578568a的申請公開了基于人工智能的數(shù)據(jù)優(yōu)化存儲方法及大數(shù)據(jù)系統(tǒng)，鑒于完成調(diào)試的檢測報告語義挖掘網(wǎng)絡(luò)是結(jié)合多維度學習特征調(diào)試所得的，因此可以保障所得到的軟件缺陷-修復文本語義對的完整性和匹配性，以減少軟件缺陷-修復文本語義對出現(xiàn)偏差和混亂的概率。這樣一來，通過軟件缺陷-修復文本語義對進行選定軟件檢測數(shù)據(jù)的結(jié)構(gòu)化存儲決策觀點確定，能夠提升結(jié)構(gòu)化存儲決策觀點確定的精度和可信度，從而基于結(jié)構(gòu)化存儲決策觀點對選定軟件檢測數(shù)據(jù)進行準確高效的結(jié)構(gòu)化轉(zhuǎn)換，進而實現(xiàn)結(jié)構(gòu)化的存儲優(yōu)化。

3、其主要針對的是存儲過程中的數(shù)據(jù)優(yōu)化，保障所存儲的數(shù)據(jù)的完整性以及準確性，并未對存儲過程中的讀寫速率進行相關(guān)優(yōu)化，而且在正常的讀寫存儲過程中，針對于同階段的不同格式文件，按照時間的先后關(guān)系，對此類格式文件一一讀寫，但此種方式，較為緩慢，因?qū)?yīng)格式文件內(nèi)可能存在多組格式，會導致讀寫邏輯之間的相互轉(zhuǎn)換，導致其讀寫速率過于緩慢，從而導致存儲速率變慢。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于人工智能的數(shù)據(jù)優(yōu)化存儲方法及大數(shù)據(jù)系統(tǒng)，解決了對應(yīng)格式文件內(nèi)可能存在多組格式，會導致讀寫邏輯之間的相互轉(zhuǎn)換，導致其讀寫速率過于緩慢，從而導致存儲速率變慢的問題。

2、為實現(xiàn)以上目的，本發(fā)明通過以下技術(shù)方案予以實現(xiàn)：一種基于人工智能的數(shù)據(jù)優(yōu)化存儲方法，包括以下步驟：

3、s1)、對相關(guān)人工智能所關(guān)聯(lián)的同階段數(shù)據(jù)文件進行接收，并基于不同數(shù)據(jù)文件的相關(guān)屬性，識別單格式文件或多格式文件，并對多格式文件進行相關(guān)分析，從單格式文件中識別出是否存在同類格式文件，若存在，將同類格式文件標定為對應(yīng)多格式文件的附屬格式文件，若不存在，則確定待讀寫文件，包括：

4、s11、基于不同數(shù)據(jù)文件的相關(guān)屬性，確定多格式文件或單格式文件，針對于多格式文件，識別其內(nèi)部格式集合，并從若干個單格式文件中，識別本多格式文件的每組格式均對應(yīng)有相同格式的單格式文件，若存在，將此多格式文件標定為主文件，將相同格式的單格式文件標定為本主文件的附屬格式文件，其中多格式文件的每個格式的附屬格式文件只存在一組；

5、s12、采用步驟s11的方式，對其他主文件以及相關(guān)的附屬格式文件一一確認后，進行第一階段的數(shù)據(jù)讀寫，將相關(guān)主文件內(nèi)部不同的格式文件進行分離，并在分離處設(shè)置分離標記，再將同一格式文件的數(shù)據(jù)進行一一讀寫，本主文件以及相關(guān)的附屬格式文件全部讀寫完畢后，得到若干組單格式文件，再確認帶有分離標記的格式文件，將其進行組合并刪除分離標記，得到原始的主文件；

6、s13、針對于未標定為主文件或其他附屬格式文件的其他文件，均標定為待讀寫文件，并進行后續(xù)第二階段的讀寫處理；

7、s2)、基于所確定的待讀寫文件，將待讀寫文件中的多格式文件分離為若干個單格式文件，并基于過往不同單格式文件的讀寫速率數(shù)據(jù)，進行同批次文件分類，再對屬于同批次文件進行統(tǒng)一讀寫，包括：

8、s21、將多格式文件分離為若干個單格式文件，并在分離處設(shè)置分離標記，其分離方式與步驟s12中的文件分離方式一致，完成分離后，將所分離后的單格式文件再賦予一組文件標記，其文件標記為i，其中i代表待讀寫文件中的不同多格式文件，不同的多格式文件其標記i不一致；

9、s22、對多格式文件完成文件分離后，將分離后的單格式文件以及待讀寫文件中所存在的若干組單格式文件進行同類格式確認，將屬于同類格式的單格式文件作為同一格式文件，并將同一格式文件的數(shù)據(jù)進行一一讀寫，直至所有的同一格式文件讀寫完畢；

10、s23、針對于所剩余的不同格式的單格式文件，識別過往對應(yīng)單格式文件的上一組讀寫過程的讀寫速率，并依據(jù)時刻變化的讀寫速率，生成其對應(yīng)單格式文件的讀寫速率曲線，再將所有單格式文件的讀寫速率曲線置于同一坐標系內(nèi)，其坐標系的橫向坐標軸為時間線，其豎向坐標軸為讀寫速率；

11、在坐標系的y軸上，確定一組距離值為x1的間距區(qū)域，其中x1為預(yù)設(shè)值，其間距區(qū)域的邊線可對相關(guān)的讀寫速率曲線進行分割，且間距區(qū)域在y軸上從圓點o開始逐步向上移動，記錄每個移動過程其對應(yīng)讀寫速率曲線位于本間距區(qū)域范圍內(nèi)的部分線段，并確定部分線段位于對應(yīng)讀寫速率曲線的線長占比zb，隨著間距區(qū)域的移動，其線長占比zb也會跟隨發(fā)生變化，當zb≥y1時，將此讀寫速率曲線標定為可選定曲線，當zb＜y1時，不進行任何處理，其中y1為預(yù)設(shè)值，其間距區(qū)域在移動過程中，確認對應(yīng)間距區(qū)域所存在的可選定曲線的最大個數(shù)，并將屬于同一間距區(qū)域的可選定曲線所對應(yīng)的單格式標定為同批次格式；

12、若不同的同批次格式內(nèi)存在相同的單格式，則保留優(yōu)先選定的單格式，剔除后續(xù)所選定的單格式；

13、s24、將步驟s23中所確認的屬于同批次格式的單格式文件進行統(tǒng)一讀寫，不同的同批次格式對應(yīng)的單格式文件全部讀寫完畢后，再對所剩余的單格式文件進行一一讀寫；

14、s25、將帶有相同文件標記的單格式文件進行選取，再基于分離標記將單格式文件進行組合，完成組合后刪除內(nèi)部的文件標記以及分離標記，得到原始的多格式文件；

15、s3)、本階段的所有數(shù)據(jù)文件全部讀寫完畢后，對不同格式的數(shù)據(jù)文件進行存儲，針對不同格式的數(shù)據(jù)文件，采用不同的存儲區(qū)間進行對應(yīng)存儲；包括：

16、s31、針對于單格式文件，建立對應(yīng)格式的存儲區(qū)間，對不同的單格式文件進行存儲，每個不同存儲空間內(nèi)存儲對應(yīng)單格式的單格式文件；

17、s32、針對于多格式文件，識別內(nèi)部的格式是否對應(yīng)有存儲指定單格式的存儲區(qū)間，若只存在一組格式對應(yīng)存在有單格式的存儲區(qū)間，則將此多格式文件存儲于對應(yīng)單格式的存儲區(qū)間內(nèi)；

18、若存在多組格式對應(yīng)存在有單格式的存儲區(qū)間，則將多組格式的不同格式標定為待定格式，識別待定格式相關(guān)的文件內(nèi)容位于多格式文件總內(nèi)容的具體占比zz，并從多組zz中，選取一組最大值zz所對應(yīng)的待定格式，將此待定格式所對應(yīng)的單格式的存儲區(qū)間標定為選定區(qū)間，將此多格式文件存儲于選定區(qū)間內(nèi)；

19、若不存在任一一組格式對應(yīng)有單格式的存儲區(qū)間，則存儲至操作人員所建立的存儲區(qū)間內(nèi)，對此多格式文件進行存儲。

20、優(yōu)選的，一種基于人工智能的數(shù)據(jù)優(yōu)化存儲的大數(shù)據(jù)系統(tǒng)，包括：

21、文件格式識別端，對相關(guān)人工智能所關(guān)聯(lián)的同階段數(shù)據(jù)文件進行接收，并基于不同數(shù)據(jù)文件的相關(guān)屬性，識別單格式文件或多格式文件；

22、第一階段讀寫端，對多格式文件進行相關(guān)分析，從單格式文件中識別出是否存在同類格式文件，若存在，將同類格式文件標定為對應(yīng)多格式文件的附屬格式文件并進行讀寫，若不存在，則確定待讀寫文件；

23、第二階段讀寫端，基于所確定的待讀寫文件，將待讀寫文件中的多格式文件分離為若干個單格式文件，并基于過往不同單格式文件的讀寫速率數(shù)據(jù)，進行同批次文件分類，再對屬于同批次文件進行統(tǒng)一讀寫，不同的同批次格式對應(yīng)的單格式文件全部讀寫完畢后，再對所剩余的單格式文件進行一一讀寫；

24、文件分類存儲端，數(shù)據(jù)文件全部讀寫完畢后，對不同格式的數(shù)據(jù)文件進行存儲，針對不同格式的數(shù)據(jù)文件，采用不同的存儲區(qū)間進行對應(yīng)存儲。

25、本發(fā)明提供了一種基于人工智能的數(shù)據(jù)優(yōu)化存儲方法及大數(shù)據(jù)系統(tǒng)。與現(xiàn)有技術(shù)相比具備以下有益效果：

26、本發(fā)明通過針對對應(yīng)數(shù)據(jù)文件中的單格式文件以及多格式文件，針對存在對應(yīng)附屬格式文件的多格式文件，采用分批次同格式的讀取方式，對此類多格式文件以及附屬格式文件進行相關(guān)讀??；

27、針對于不存在附屬格式的多格式文件，采用文件分割的方式，確認單格式文件，再將同類單格式文件進行統(tǒng)一讀??；

28、針對于未出現(xiàn)同類格式的其他單格式文件，通過分析過往的讀寫速率曲線，分析其是否可進行同頻讀取，來確定同批次文件，并對同批次文件進行統(tǒng)一讀取，采用此種讀取方式，便可充分保障其讀寫速率，無需進行數(shù)據(jù)之間格式的來回調(diào)換，對讀寫速率進行了有效增強，在進行存儲之前獲取數(shù)據(jù)階段，保障獲取數(shù)據(jù)的速率得到有效增強，便進一步增強了整個階段文件的存儲速率；

29、后續(xù)，針對于不同格式的單文件或多文件，采用不同的方式對其進行存儲，便于后續(xù)對應(yīng)文件的相關(guān)提取，對存儲過程進行相關(guān)優(yōu)化。