本申請涉及數(shù)據(jù)處理領域及數(shù)字金融領域，尤其涉及一種基于lsm分級存儲的熱數(shù)據(jù)存儲方法、裝置、設備及介質(zhì)。
背景技術：
：：1、隨著數(shù)字金融行業(yè)與信息科技技術的快速發(fā)展，數(shù)據(jù)庫系統(tǒng)已成為存儲和管理大量數(shù)據(jù)的關鍵工具。在眾多數(shù)據(jù)庫系統(tǒng)中，基于lsm(log-structured?merge-tree，基于磁盤的數(shù)據(jù)結(jié)構(gòu))樹的數(shù)據(jù)庫因其高效的寫入性能而得到廣泛應用。lsm樹通過將數(shù)據(jù)分層存儲在不同的介質(zhì)上，實現(xiàn)了高吞吐量的寫入操作。2、在lsm樹模型中，數(shù)據(jù)首先寫入到內(nèi)存中的memtable(緩存表)結(jié)構(gòu)中。當memtable達到一定大小后，它會刷新到磁盤上形成一個sst(sorted?string?table，不可變數(shù)據(jù)存儲)。sst文件是不可變的，并隨著時間的推移，會生成多個sst文件。為了優(yōu)化存儲空間和查詢性能，系統(tǒng)會定期執(zhí)行compaction操作，將多個小的sst文件合并成更大的文件，同時刪除過期或重復的數(shù)據(jù)。3、然而，現(xiàn)有技術存在一些不足之處。尤其是在分級存儲系統(tǒng)中，雖然前幾級(如l0,l1)使用高速介質(zhì)(如nvme)以提高寫入性能，但最后一級(如l2)可能使用低速介質(zhì)(如hdd)，導致數(shù)據(jù)讀取性能下降。此外，由于lsm數(shù)據(jù)庫沒有對數(shù)據(jù)進行冷熱劃分，即使數(shù)據(jù)頻繁被讀取，也可能因compaction(壓縮合并)服務將其從l0層不斷向上層移動，直至被存儲在低速介質(zhì)上，影響讀取性能，通過提升熱數(shù)據(jù)存儲效率，進而提高熱數(shù)據(jù)讀取效率。因此，如何提高lsm數(shù)據(jù)庫中熱數(shù)據(jù)的存儲效率成為了目前亟待解決的技術問題。技術實現(xiàn)思路1、本申請?zhí)峁┝艘环N基于lsm分級存儲的熱數(shù)據(jù)存儲方法、裝置、設備及介質(zhì)，以提高lsm數(shù)據(jù)庫中熱數(shù)據(jù)的存儲效率。2、第一方面，本申請?zhí)峁┝艘环N基于lsm分級存儲的熱數(shù)據(jù)存儲方法，所述方法包括：3、基于lsm分級數(shù)據(jù)庫中各數(shù)據(jù)的熱度值和不可變數(shù)據(jù)存儲sst容量，確定熱度值閾值；4、將所述lsm分級數(shù)據(jù)庫中的所述熱度值大于或等于所述熱度值閾值的數(shù)據(jù)確定為熱數(shù)據(jù)，并將所述熱數(shù)據(jù)寫入高速介質(zhì)。5、第二方面，本申請還提供了一種基于lsm分級存儲的熱數(shù)據(jù)存儲裝置，所述裝置包括：6、熱度值閾值確定模塊，用于基于lsm分級數(shù)據(jù)庫中各數(shù)據(jù)的熱度值和不可變數(shù)據(jù)存儲sst容量，確定熱度值閾值；7、熱數(shù)據(jù)存儲模塊，用于將所述lsm分級數(shù)據(jù)庫中的所述熱度值大于或等于所述熱度值閾值的數(shù)據(jù)確定為熱數(shù)據(jù)，并將所述熱數(shù)據(jù)寫入高速介質(zhì)。8、第三方面，本申請還提供了一種計算機設備，所述計算機設備包括存儲器和處理器；所述存儲器用于存儲計算機程序；所述處理器，用于執(zhí)行所述計算機程序并在執(zhí)行所述計算機程序時實現(xiàn)如上述的基于lsm分級存儲的熱數(shù)據(jù)存儲方法。9、第四方面，本申請還提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時使所述處理器實現(xiàn)如上述的基于lsm分級存儲的熱數(shù)據(jù)存儲方法。10、本申請公開了一種基于lsm分級存儲的熱數(shù)據(jù)存儲方法、裝置、設備及介質(zhì)，所述基于lsm分級存儲的熱數(shù)據(jù)存儲方法包括基于lsm分級數(shù)據(jù)庫中各數(shù)據(jù)的熱度值和不可變數(shù)據(jù)存儲sst容量，確定熱度值閾值；將所述lsm分級數(shù)據(jù)庫中的所述熱度值大于或等于所述熱度值閾值的數(shù)據(jù)確定為熱數(shù)據(jù)，并將所述熱數(shù)據(jù)寫入高速介質(zhì)。通過上述方式，本申請通過智能識別并區(qū)分熱數(shù)據(jù)和冷數(shù)據(jù)，使得存儲資源得到更合理的分配，熱數(shù)據(jù)存儲在成本較高但訪問速度更快的高速介質(zhì)上，減少了數(shù)據(jù)檢索所需的時間，從而顯著提升了數(shù)據(jù)庫的查詢響應速度，隨著應用需求的變化，數(shù)據(jù)的熱度可能會發(fā)生變化，該方法允許系統(tǒng)根據(jù)實時的訪問模式動態(tài)調(diào)整數(shù)據(jù)的存儲策略，以適應不斷變化的需求，提高了lsm數(shù)據(jù)庫中熱數(shù)據(jù)的存儲效率。技術特征：1.一種基于lsm分級存儲的熱數(shù)據(jù)存儲方法，其特征在于，包括：2.根據(jù)權(quán)利要求1所述的基于lsm分級存儲的熱數(shù)據(jù)存儲方法，其特征在于，所述基于lsm分級數(shù)據(jù)庫中各數(shù)據(jù)的熱度值和不可變數(shù)據(jù)存儲sst容量，確定熱度值閾值之前，包括：3.根據(jù)權(quán)利要求2所述的基于lsm分級存儲的熱數(shù)據(jù)存儲方法，其特征在于，所述基于所述讀取頻率，確定所述lsm分級數(shù)據(jù)庫中各數(shù)據(jù)的熱度值，包括：4.根據(jù)權(quán)利要求3所述的基于lsm分級存儲的熱數(shù)據(jù)存儲方法，其特征在于，所述響應于數(shù)據(jù)查詢指令，在所述數(shù)據(jù)熱度表中查詢待選數(shù)據(jù)的熱度值之后，包括：5.根據(jù)權(quán)利要求2所述的基于lsm分級存儲的熱數(shù)據(jù)存儲方法，其特征在于，所述基于lsm分級數(shù)據(jù)庫中各數(shù)據(jù)的熱度值和不可變數(shù)據(jù)存儲sst容量，確定熱度值閾值，包括：6.根據(jù)權(quán)利要求5所述的基于lsm分級存儲的熱數(shù)據(jù)存儲方法，其特征在于，所述基于所述第一數(shù)據(jù)組、所述第二數(shù)據(jù)組和所述sst容量，確定所述熱度值閾值，包括：7.根據(jù)權(quán)利要求1至6任一項所述的基于lsm分級存儲的熱數(shù)據(jù)存儲方法，其特征在于，所述基于lsm分級數(shù)據(jù)庫中各數(shù)據(jù)的熱度值和不可變數(shù)據(jù)存儲sst容量，確定熱度值閾值之后，包括：8.一種基于lsm分級存儲的熱數(shù)據(jù)存儲裝置，其特征在于，包括：9.一種計算機設備，其特征在于，所述計算機設備包括存儲器和處理器；10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時使所述處理器實現(xiàn)如權(quán)利要求1至7中任一項所述的基于lsm分級存儲的熱數(shù)據(jù)存儲方法。技術總結(jié)本申請涉及數(shù)據(jù)處理領域及數(shù)字金融領域，公開了一種基于LSM分級存儲的熱數(shù)據(jù)存儲方法、裝置、設備及介質(zhì)，所述方法包括基于各數(shù)據(jù)的熱度值和SST容量，確定熱度值閾值；將熱度值大于或等于所述熱度值閾值的數(shù)據(jù)確定為熱數(shù)據(jù)，并將熱數(shù)據(jù)寫入高速介質(zhì)。通過上述方式，本申請通過智能識別并區(qū)分熱數(shù)據(jù)和冷數(shù)據(jù)，使得存儲資源得到更合理的分配，熱數(shù)據(jù)存儲在成本較高但訪問速度更快的高速介質(zhì)上，減少了數(shù)據(jù)檢索所需的時間，從而顯著提升了數(shù)據(jù)庫的查詢響應速度，隨著應用需求的變化，數(shù)據(jù)的熱度可能會發(fā)生變化，該方法允許系統(tǒng)根據(jù)實時的訪問模式動態(tài)調(diào)整數(shù)據(jù)的存儲策略，以適應不斷變化的需求，提高了LSM數(shù)據(jù)庫中熱數(shù)據(jù)的存儲效率。技術研發(fā)人員：宋小兵受保護的技術使用者：平安科技（深圳）有限公司技術研發(fā)日：技術公布日：2024/12/19