一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法及裝置的制造方法
【專利摘要】本發(fā)明提供了一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法及裝置，該方法包括：從原服務(wù)器中獲取數(shù)據(jù)量大于預(yù)設(shè)的拆分閾值的目標(biāo)表格；確定對所述目標(biāo)表格進(jìn)行拆分的控制參數(shù)；根據(jù)所述控制參數(shù)將所述目標(biāo)表格拆分為至少兩個目標(biāo)子表格；將所述至少兩個目標(biāo)子表格分別存儲到不同的替代服務(wù)器中，其中每個所述替代服務(wù)器中存儲一個所述目標(biāo)子表格。該裝置包括：篩選單元、確定單元、拆分單元及轉(zhuǎn)存單元。本方案能夠在訪問數(shù)據(jù)量較大的單個表格時降低單個服務(wù)器的負(fù)載。
【專利說明】
一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法及裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法及裝置。
【背景技術(shù)】
[0002]隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展與進(jìn)步，計(jì)算機(jī)被廣泛應(yīng)用于生活、生產(chǎn)中的各個領(lǐng)域。由于用戶數(shù)量以及數(shù)據(jù)復(fù)雜程度的增加，在銀行、醫(yī)院、汽車制造以及電商等應(yīng)用領(lǐng)域會產(chǎn)生大量的表格數(shù)據(jù)，例如銀行用于記錄賬戶流水的賬單、醫(yī)院用于存儲患者病歷的表格、汽車生產(chǎn)商用于記錄汽車生產(chǎn)過程的記錄表以及電商平臺用于存儲消費(fèi)者訂單的訂單表。一般表格數(shù)據(jù)都存儲在同一個服務(wù)器上，隨著表格數(shù)據(jù)量的不斷增加，服務(wù)器的可用存儲空間越來越小，需要對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存，以實(shí)現(xiàn)存儲更多的表格數(shù)據(jù)。
[0003]目前，對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法主要包括:根據(jù)業(yè)務(wù)類型或用戶群體對所有表格數(shù)據(jù)進(jìn)行劃分，將關(guān)系密切的表格數(shù)據(jù)存儲到同一個服務(wù)器上，從而將原有服務(wù)器上的表格數(shù)據(jù)轉(zhuǎn)存到多個服務(wù)器。
[0004]針對于現(xiàn)有技術(shù)對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法，僅能夠?qū)崿F(xiàn)將一個完整的表格數(shù)據(jù)轉(zhuǎn)存到其他服務(wù)器上，不能將同一個表格拆分后存儲到不同的服務(wù)器上，因而沒有解決對數(shù)據(jù)量較大的單個表格進(jìn)行訪問時單個服務(wù)器負(fù)載較高的問題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例提供了一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法及裝置，能夠在訪問數(shù)據(jù)量較大的單個表格時降低單個服務(wù)器的負(fù)載。
[0006]本發(fā)明實(shí)施例提供了一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法，包括:
[0007]從原服務(wù)器中獲取數(shù)據(jù)量大于預(yù)設(shè)的拆分閾值的目標(biāo)表格；
[0008]確定對所述目標(biāo)表格進(jìn)行拆分的控制參數(shù)；
[0009]根據(jù)所述控制參數(shù)將所述目標(biāo)表格拆分為至少兩個目標(biāo)子表格；
[0010]將所述至少兩個目標(biāo)子表格分別存儲到不同的替代服務(wù)器中，其中每個所述替代服務(wù)器中存儲一個所述目標(biāo)子表格。
[0011 ]優(yōu)選地，該方法進(jìn)一步包括:
[0012]獲取所述原服務(wù)器中數(shù)據(jù)量小于或等于所述拆分閾值的剩余表格；
[0013]將所述剩余表格劃分為至少兩個表格分組，每一個所述表格分組包括至少一個所述剩余表格；
[0014]將所述至少兩個表格分組分別存儲到不同的所述替代服務(wù)器中，其中每個所述替代服務(wù)器中存儲一個所述表格分組。
[0015]優(yōu)選地，所述將所述剩余表格劃分為至少兩個表格分組包括:
[0016]根據(jù)各個所述剩余表格之間關(guān)系的密切程度，將關(guān)系密切程度較高的所述剩余表格劃分到一個表格分組中，形成至少兩個所述表格分組。
[0017]優(yōu)選地，所述控制參數(shù)包括:拆分?jǐn)?shù)量及拆分形式，其中，所述拆分?jǐn)?shù)量等于對目標(biāo)表格進(jìn)行拆分后形成目標(biāo)子表格的數(shù)量，所述拆分形式為根據(jù)項(xiàng)目進(jìn)行拆分或根據(jù)變量進(jìn)行拆分。
[0018]優(yōu)選地，所述根據(jù)所述控制參數(shù)將所述目標(biāo)表格拆分為至少兩個目標(biāo)子表格包括:
[0019]當(dāng)所述拆分形式為根據(jù)項(xiàng)目進(jìn)行拆分時，將所述目標(biāo)表格包括的各個項(xiàng)目劃分為數(shù)量等于所述拆分?jǐn)?shù)量的項(xiàng)目組，每個所述項(xiàng)目組包括至少一個所述項(xiàng)目，針對于每一個所述項(xiàng)目組創(chuàng)建一個目標(biāo)子表格用于存儲該項(xiàng)目組包括的各個項(xiàng)目對應(yīng)的數(shù)據(jù)；
[0020]當(dāng)所述拆分形式為根據(jù)變量進(jìn)行拆分時，確定所述目標(biāo)表格中的一個項(xiàng)目作為變量，將所述變量的變化范圍劃分為數(shù)量等于所述拆分?jǐn)?shù)量的區(qū)間，針對于每一個所述區(qū)間創(chuàng)建一個目標(biāo)子表格用于存儲對應(yīng)所述變量位于該區(qū)間內(nèi)的各條數(shù)據(jù)。
[0021 ]優(yōu)選地，所述替代服務(wù)器包括:分布式存儲服務(wù)器。
[0022]本發(fā)明實(shí)施例還提供了一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的裝置，包括:篩選單元、確定單元、拆分單元及轉(zhuǎn)存單元；
[0023]所述篩選單元，用于從原服務(wù)器中獲取數(shù)據(jù)量大于預(yù)設(shè)的拆分閾值的目標(biāo)表格；
[0024]所述確定單元，用于確定對所述篩選單元獲取到的目標(biāo)表格進(jìn)行拆分的控制參數(shù)；
[0025]所述拆分單元，用于根據(jù)所述確定單元確定的控制參數(shù)，將所述篩選單元獲取到的目標(biāo)表格拆分為至少兩個目標(biāo)子表格；
[0026]所述轉(zhuǎn)存單元，用于將所述拆分單元拆分出的至少兩個目標(biāo)子表格分別存儲到不同的替代服務(wù)器中，其中每個所述替代服務(wù)器中存儲一個所述目標(biāo)子表格。
[0027]優(yōu)選地，
[0028]所述篩選單元，進(jìn)一步用于獲取所述原服務(wù)器中數(shù)據(jù)量小于或等于所述拆分閾值的剩余表格；
[0029]所述拆分單元，進(jìn)一步用于將所述篩選單元獲取到的剩余表格劃分為至少兩個表格分組，每一個所述表格分組包括至少一個所述剩余表格；
[0030]所述轉(zhuǎn)存單元，進(jìn)一步用于將所述拆分單元劃分出的至少兩個表格分組分別存儲到不同的所述替代服務(wù)器中，其中每個所述替代服務(wù)器中存儲一個所述表格分組。
[0031]優(yōu)選地，
[0032]所述拆分單元，用于根據(jù)各個所述剩余表格之間關(guān)系的密切程度，將關(guān)系密切程度較高的所述剩余表格分化到一個表格分組中，形成至少兩個所述表格分組。
[0033]優(yōu)選地，
[0034]當(dāng)所述確定單元確定出的控制參數(shù)包括拆分?jǐn)?shù)量及拆分形式，且所述拆分形式為根據(jù)項(xiàng)目進(jìn)行拆分時，
[0035]所述拆分單元，用于將所述目標(biāo)表格包括的各個項(xiàng)目劃分為數(shù)量等于所述拆分?jǐn)?shù)量的項(xiàng)目組，每個所述項(xiàng)目組包括至少一個所述項(xiàng)目，針對于每一個所述項(xiàng)目組創(chuàng)建一個目標(biāo)子表格用于存儲該項(xiàng)目組包括的各個項(xiàng)目對應(yīng)的數(shù)據(jù)；
[0036]當(dāng)所述確定單元確定出的控制參數(shù)包括拆分?jǐn)?shù)量及拆分形式，且所述拆分形式為根據(jù)變量進(jìn)行拆分時，
[0037]所述拆分單元，用于確定所述目標(biāo)表格中的一個項(xiàng)目作為變量，將所述變量的變化范圍劃分為數(shù)量等于所述拆分?jǐn)?shù)量的區(qū)間，針對于每一個所述區(qū)間創(chuàng)建一個目標(biāo)子表格用于存儲對應(yīng)所述變量位于該區(qū)間內(nèi)的各條數(shù)據(jù)。
[0038]本發(fā)明實(shí)施例提供了一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法及裝置，從原服務(wù)器中獲取數(shù)據(jù)量大于拆分閾值的目標(biāo)表格，根據(jù)確定出的控制參數(shù)將目標(biāo)表格拆分為至少兩個目標(biāo)子表格，將拆分形成的至少兩個目標(biāo)子表格分別存儲到不同的替代服務(wù)器中。這樣，將數(shù)據(jù)量較大的表格拆分為多個子表格后分別存儲到不同的服務(wù)器上，在對該表格進(jìn)行訪問時，由多個服務(wù)器共同執(zhí)行訪問請求，從各個子表格中獲取所需數(shù)據(jù)完成對該表格的訪問，從而降低了單個服務(wù)器的負(fù)載。
【附圖說明】
[0039]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0040]圖1是本發(fā)明一個實(shí)施例提供的一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法流程圖；
[0041 ]圖2是本發(fā)明另一個實(shí)施例提供的一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法流程圖；
[0042]圖3是本發(fā)明一個實(shí)施例提供的一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的裝置所在設(shè)備的示意圖；
[0043]圖4是本發(fā)明一個實(shí)施例提供的一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的裝置示意圖。
【具體實(shí)施方式】
[0044]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例，基于本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0045]如圖1所示，本發(fā)明實(shí)施例提供了一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法，該方法可以包括以下步驟:
[0046]步驟101:從原服務(wù)器中獲取數(shù)據(jù)量大于預(yù)設(shè)的拆分閾值的目標(biāo)表格；
[0047]步驟102:確定對所述目標(biāo)表格進(jìn)行拆分的控制參數(shù)；
[0048]步驟103:根據(jù)所述控制參數(shù)將所述目標(biāo)表格拆分為至少兩個目標(biāo)子表格；
[0049]步驟104:將所述至少兩個目標(biāo)子表格分別存儲到不同的替代服務(wù)器中，其中每個所述替代服務(wù)器中存儲一個所述目標(biāo)子表格。
[0050]本發(fā)明實(shí)施例提供了一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法，從原服務(wù)器中獲取數(shù)據(jù)量大于拆分閾值的目標(biāo)表格，根據(jù)確定出的控制參數(shù)將目標(biāo)表格拆分為至少兩個目標(biāo)子表格，將拆分形成的至少兩個目標(biāo)子表格分別存儲到不同的替代服務(wù)器中。這樣，將數(shù)據(jù)量較大的表格拆分為多個子表格后分別存儲到不同的服務(wù)器上，在對該表格進(jìn)行訪問時，由多個服務(wù)器共同執(zhí)行訪問請求，從各個子表格中獲取所需數(shù)據(jù)完成對該表格的訪問，從而降低了單個服務(wù)器的負(fù)載。
[0051]在本發(fā)明一個實(shí)施例中，從原服務(wù)器中獲取數(shù)據(jù)量小于或等于拆分閾值的剩余表格，將各個剩余表格劃分為至少兩個表格分組，將各個表格分組分別存儲到不同的替代服務(wù)器中。這樣，不但將數(shù)據(jù)量較大的表格拆分為多個子表格存儲到不同的服務(wù)器中，還將數(shù)據(jù)量較小的各個表格劃分為表格分組后存儲到不同的服務(wù)器中，現(xiàn)實(shí)了對表格數(shù)據(jù)進(jìn)行分散存儲，保證具有足夠的存儲空間存儲表格數(shù)據(jù)。
[0052]在本發(fā)明一個實(shí)施例中，在對數(shù)據(jù)量小于或等于拆分閾值的剩余表格進(jìn)行分組時，根據(jù)各個剩余分組之間關(guān)系的密切程度，將關(guān)系密切程度較高的剩余劃分到一個表格分組中，形成至少兩個表格分組，將關(guān)系密切程度較高的表格劃分到一個表格分組中，即將關(guān)系密切程度較高的表格存儲到同一個服務(wù)器上。由于關(guān)系密切程序較高的表格被同時訪問的可能性較大，將關(guān)系密切程序較高的表格存儲到一個服務(wù)器上可以提高對表格進(jìn)行訪問時的相應(yīng)速度。
[0053]在本發(fā)明一個實(shí)施例中，控制參數(shù)包括拆分?jǐn)?shù)量及拆分形式，通過拆分?jǐn)?shù)量控制對目標(biāo)表格進(jìn)行拆分后形成的目標(biāo)子表格的數(shù)量，拆分形式可以為根據(jù)項(xiàng)目進(jìn)行拆分或根據(jù)變量進(jìn)行拆分。通過拆分?jǐn)?shù)量控制對目標(biāo)表格進(jìn)行拆分的程度，通過拆分形式控制對目標(biāo)表格進(jìn)行拆分后各個目標(biāo)子表格中包括的內(nèi)容，從而能夠根據(jù)目標(biāo)表格的數(shù)據(jù)量大小及目標(biāo)表格包括的內(nèi)容對目標(biāo)表格進(jìn)行合理的拆分，提高了該對表格數(shù)據(jù)進(jìn)行在轉(zhuǎn)存的方法的適用性。
[0054]在本發(fā)明一個實(shí)施例中，當(dāng)拆分形式為根據(jù)項(xiàng)目進(jìn)行拆分時，將目標(biāo)表格包括的各個項(xiàng)目劃分為數(shù)量等于拆分?jǐn)?shù)量的項(xiàng)目組，每一個項(xiàng)目中包括至少一個項(xiàng)目，針對于每一個項(xiàng)目組創(chuàng)建一個目標(biāo)子表格，用該目標(biāo)子表格存儲該項(xiàng)目組包括的各個項(xiàng)目對應(yīng)的數(shù)據(jù)，通過這種拆分方式可以將不同的項(xiàng)目存儲到不同的服務(wù)器上，在訪問特定項(xiàng)目下某一數(shù)據(jù)時只需對該項(xiàng)目對應(yīng)的服務(wù)器進(jìn)行訪問，不需要對其他服務(wù)器進(jìn)行訪問，從而提高了服務(wù)器的利用率；當(dāng)拆分形式為根據(jù)變量進(jìn)行拆分時，確定目標(biāo)表格中的一個項(xiàng)目作為變量，將該變量的變化范圍劃分為數(shù)量等于拆分?jǐn)?shù)量的多個區(qū)間，針對于每一個區(qū)間創(chuàng)建一個目標(biāo)子表格，該目標(biāo)子表格用于存儲對應(yīng)變量位于該區(qū)間內(nèi)的各條數(shù)據(jù)，通過這種拆分方式可以保證在目標(biāo)子表格中存儲的每條數(shù)據(jù)都是完成的，適用于訪問內(nèi)容為完整數(shù)據(jù)的情況，從而實(shí)現(xiàn)對一個服務(wù)器進(jìn)行訪問便可以獲取所需的全部數(shù)據(jù)，提高服務(wù)器的相應(yīng)速度。
[0055]在本發(fā)明一個實(shí)施例中，用于存儲目標(biāo)子表格和/或表格分組的替代服務(wù)器可以是分布式存儲服務(wù)器，基于分布式存儲服務(wù)器的特定，可以對某一個服務(wù)器進(jìn)行訪問，也可以同時對多個服務(wù)器進(jìn)行訪問，提高該對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法的適用性。另外，分布式存儲服務(wù)器能夠?qū)崿F(xiàn)存儲空間的擴(kuò)展，以進(jìn)一步擴(kuò)大用于存儲表格數(shù)據(jù)的空間，延長服務(wù)器的服役時間。
[0056]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面以對銀行流水賬單進(jìn)行轉(zhuǎn)存為例，對本發(fā)明作進(jìn)一步地詳細(xì)描述。
[0057]如圖2所示，本發(fā)明實(shí)施例提供了一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法，該方法可以包括以下步驟:
[0058]步驟201:確定對表格數(shù)據(jù)進(jìn)行拆分的拆分閾值。
[0059]在本發(fā)明一個實(shí)施例中，設(shè)定一個表征表格數(shù)據(jù)量大小的拆分閾值，以該拆分閾值對原服務(wù)器上的表格進(jìn)行區(qū)別，以確定原服務(wù)器上的各個表格是否需要進(jìn)行拆分。
[0060]例如，銀行流水賬單現(xiàn)存儲于一個單獨(dú)的原服務(wù)器上，由于原服務(wù)器存儲空間的不足，現(xiàn)需要將原服務(wù)器上的流水賬單轉(zhuǎn)存到其他分布式存儲服務(wù)器上。原服務(wù)器中的每一個流水賬單對應(yīng)銀行的一個客戶，由于不同客戶所辦理的業(yè)務(wù)量不同，因而有的流水賬單的數(shù)據(jù)量較小，而有的流水賬單的數(shù)據(jù)量較大。確定拆分閾值為50M，用于區(qū)分?jǐn)?shù)據(jù)量較大的流水賬單和數(shù)據(jù)量較小的流水賬單。
[0061]步驟202:分別判斷原服務(wù)器中的每一個表格數(shù)據(jù)的數(shù)據(jù)量是否大于拆分閾值，如果是，執(zhí)行步驟203，否則執(zhí)行步驟206。
[0062]在本發(fā)明一個實(shí)施例中，針對于原服務(wù)器中存儲的每一個表格，將該表格的數(shù)據(jù)量與拆分閾值進(jìn)行比較，如果該表格的數(shù)據(jù)量大于拆分閾值，說明該表格的數(shù)據(jù)量較大，如果將該表格存儲在一臺服務(wù)器上，對該表格進(jìn)行訪問時存儲該表格的服務(wù)器的負(fù)載較大，服務(wù)器的響應(yīng)時間較長，因而需要將該服表格拆分存儲，將該表格確定為目標(biāo)表格，相應(yīng)地執(zhí)行步驟203;如果該表格的數(shù)據(jù)量小于或等于拆分閾值，說明該表格的數(shù)據(jù)量較小，將該表格存儲到一個服務(wù)器上，對該表格進(jìn)行訪問時服務(wù)器的負(fù)載也不會太大，因而可以將該表格完整的存儲到一個服務(wù)器上，將該表格確定為剩余表格，相應(yīng)地執(zhí)行步驟206。
[0063]例如，針對于銀行原服務(wù)器上的每一個流水賬單，判斷該流水賬單的數(shù)據(jù)量是否大于50M，如果是，針對于該流水賬單執(zhí)行步驟203，否則針對于該流水賬單執(zhí)行步驟206。
[0064]步驟203:確定對目標(biāo)表格進(jìn)行拆分的控制參數(shù)。
[0065]在本發(fā)明一個實(shí)施例中，根據(jù)目標(biāo)表格的中存儲數(shù)據(jù)的類型以及對目標(biāo)表格進(jìn)行訪問的形式，確定對目標(biāo)表格進(jìn)行拆分的控制參數(shù)，控制參數(shù)包括拆分?jǐn)?shù)量及拆分形式。拆分?jǐn)?shù)量用于控制將目標(biāo)表格拆分為多少個目標(biāo)子表格，根據(jù)替代服務(wù)器的個數(shù)以及目標(biāo)表格數(shù)據(jù)量的大小確定拆分?jǐn)?shù)量。拆分形式包括根據(jù)項(xiàng)目進(jìn)行拆分和根據(jù)變量進(jìn)行拆分，其中，根據(jù)項(xiàng)目進(jìn)行拆分是將目標(biāo)表格中包括的多個項(xiàng)目分別存儲到多個目標(biāo)子表格上，每一個目標(biāo)子表格上存儲一種或多種項(xiàng)目對應(yīng)的數(shù)據(jù)，使目標(biāo)子表格的數(shù)量等于拆分?jǐn)?shù)量；根據(jù)變量進(jìn)行拆分是將目標(biāo)表格中的一個項(xiàng)目作為變量，將變量的變化范圍劃分為數(shù)量等于拆分?jǐn)?shù)量的區(qū)間，針對于每一個區(qū)間創(chuàng)建一個目標(biāo)子表格，該目標(biāo)子表格用于存儲變量對應(yīng)數(shù)據(jù)位于該區(qū)間內(nèi)的各條數(shù)據(jù)。
[0066]例如，一個流水賬單表格中存儲中8000條數(shù)據(jù)，而用于轉(zhuǎn)存流水賬單的分布式存儲服務(wù)器共包括有10個服務(wù)器，確定控制參數(shù)中拆分?jǐn)?shù)量為10，同時確定控制參數(shù)中的拆分形式為根據(jù)變量進(jìn)行拆分，以銀行賬戶交易的訂單號為變量。
[0067]步驟204:根據(jù)控制參數(shù)將目標(biāo)表格拆分為對應(yīng)數(shù)量的目標(biāo)子表格。
[0068]在本發(fā)明一個實(shí)施例中，根據(jù)步驟203中確定的拆分?jǐn)?shù)量及拆分形式，將目標(biāo)表格拆分為數(shù)量等于拆分?jǐn)?shù)量的目標(biāo)子表格。當(dāng)拆分形式為根據(jù)項(xiàng)目進(jìn)行拆分時，首先對各個項(xiàng)目進(jìn)行分組，形成數(shù)量與拆分?jǐn)?shù)量相等的項(xiàng)目組，每一個項(xiàng)目組中包括至少一個項(xiàng)目，針對于每一個項(xiàng)目組創(chuàng)建一個目標(biāo)子表格，將該項(xiàng)目組中包括的各個項(xiàng)目以及各個項(xiàng)目對應(yīng)的具體數(shù)據(jù)存儲到該項(xiàng)目組對應(yīng)的目標(biāo)子表格中，從而將目標(biāo)表格拆分為對應(yīng)數(shù)量的目標(biāo)子表格。當(dāng)拆分形式為根據(jù)變量進(jìn)行拆分時，根據(jù)各個區(qū)間對應(yīng)變量的變化范圍，以及目標(biāo)表格中每一條數(shù)據(jù)中作為變量的項(xiàng)目的數(shù)值，將各條數(shù)據(jù)存儲到區(qū)間對應(yīng)的目標(biāo)子表格中，從而將目標(biāo)表格拆分為對應(yīng)數(shù)量的目標(biāo)子表格。
[0069]例如，根據(jù)流水賬單表格中訂單號的順序，將流水賬單表格中的8000條數(shù)據(jù)劃分為10組，每組包括800條數(shù)據(jù)，創(chuàng)建1個目標(biāo)子表格，每組對應(yīng)一個目標(biāo)子表格，將每個組中包括的800條數(shù)據(jù)存儲到對應(yīng)的目標(biāo)子表格中，形成10個目標(biāo)子表格。
[0070]步驟205:將各個目標(biāo)子表格存儲到替代服務(wù)器中，其中每個替代服務(wù)器中存儲一個目標(biāo)子表格，并結(jié)束當(dāng)前流程。
[0071]在本發(fā)明一個實(shí)施例中，將目標(biāo)表格拆分為對應(yīng)數(shù)量的目標(biāo)子表格后，將各個目標(biāo)子表格分別存儲到各個替代服務(wù)器中，其中每個服務(wù)器上最多存儲一個目標(biāo)子表格。
[0072]例如，分布式存儲服務(wù)器共包括有10個服務(wù)器，分別為服務(wù)器I至服務(wù)器10，步驟204中拆分出的10個目標(biāo)子表格分別為目標(biāo)子表格I至目標(biāo)子表格10，將目標(biāo)子表格I至目標(biāo)子表格10分別存儲到服務(wù)器I至服務(wù)器10上。
[0073]步驟206:獲取原服務(wù)器上各個數(shù)據(jù)量小于或等于拆分閾值的剩余表格。
[0074]在本發(fā)明一個實(shí)施例中，步驟202中判斷一個表格是數(shù)據(jù)量小于或等于拆分閾值的剩余表格后，對該剩余表格進(jìn)行暫存，當(dāng)步驟202完成對原服務(wù)器中所有表格進(jìn)行判斷后，獲取到原服務(wù)器上所有數(shù)據(jù)量小于或等于拆分閾值的剩余表格。
[0075]例如，銀行的原服務(wù)器上共查處有10萬個流水賬單表格，通過步驟202的判斷，其中有I萬個流水賬單表格的數(shù)據(jù)量大于50M，這I萬個流水賬單表格作為目標(biāo)表格依次執(zhí)行步驟203至步驟205后，被拆分為目標(biāo)子表格存儲到10個服務(wù)器上;剩余的9萬個流水賬單表格的數(shù)據(jù)量小于或等于50M，這9萬個流水賬單表格作為剩余表格被暫時存儲。
[0076]步驟207:將各個剩余表格劃分為至少兩個表格分組，每個表格分組包括至少一個剩余表格。
[0077]在本發(fā)明一個實(shí)施例中，在獲取到所有數(shù)據(jù)量小于拆分閾值的剩余表格后，根據(jù)各個剩余表格之間關(guān)系的密切程度，將關(guān)系密切程序較高的剩余表格劃分到一個表格分組，每個表格分組包括至少一個剩余表格，形成至少兩個表格分組。
[0078]例如，通過查詢每一個數(shù)據(jù)量小于或等于50M的流水賬單表格中記錄的交易信息，針對于每一個數(shù)據(jù)量小于或等于50M的流水賬單表格，確定該流水賬單表格所屬客戶的常用交易賬號，將常用交易賬號對應(yīng)的數(shù)據(jù)量小于或等于50M的流水賬單表格與該流水賬單表格劃分到一個表格分組中。因?yàn)橐粋€賬戶的支付對應(yīng)與另一個賬戶的收入，將經(jīng)常進(jìn)行交易的兩個賬戶對應(yīng)的流水賬單存儲到一個服務(wù)器上可以減小流水賬單表格尋址時間，提高服務(wù)器的響應(yīng)時間。這樣，將9萬個數(shù)據(jù)量小于或等于50M的流水賬單表格劃分為10個表格分組，10個表格分組分別為表格分組I至表格分組10，其中表格分組I及表格分組2中分別包括2萬個流水賬單表格，表格分組3及表格分組4中分別包括I萬個流水賬單表格，表格分組5至表格分組10中分別包括5000個流水賬單表格。
[0079]步驟208:將各個表格分組存儲到不同的替代服務(wù)器上，每一個替代服務(wù)器身上存儲一個表格分組。
[0080]在本發(fā)明一個實(shí)施例中，將各個數(shù)據(jù)量小于或等于拆分閾值的剩余表格劃分為至少兩個表格分組后，分別將各個表格分組存儲到不同的替代服務(wù)器上，每一個替代服務(wù)器上存儲一個表格分組。
[0081]例如，將表格分組I只表格分組10依次存儲到服務(wù)器I至服務(wù)器10上，完成對數(shù)據(jù)量小于50M的9萬個流水賬單表格的轉(zhuǎn)存。
[0082]如圖3、圖4所示，本發(fā)明實(shí)施例提供了一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的裝置。裝置實(shí)施例可以通過軟件實(shí)現(xiàn)，也可以通過硬件或者軟硬件結(jié)合的方式實(shí)現(xiàn)。從硬件層面而言，如圖3所示，為本發(fā)明實(shí)施例提供的對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的裝置所在設(shè)備的一種硬件結(jié)構(gòu)圖，除了圖3所示的處理器、內(nèi)存、網(wǎng)絡(luò)接口、以及非易失性存儲器之外，實(shí)施例中裝置所在的設(shè)備通常還可以包括其他硬件，如負(fù)責(zé)處理報(bào)文的轉(zhuǎn)發(fā)芯片等等。以軟件實(shí)現(xiàn)為例，如圖4所示，作為一個邏輯意義上的裝置，是通過其所在設(shè)備的CPU將非易失性存儲器中對應(yīng)的計(jì)算機(jī)程序指令讀取到內(nèi)存中運(yùn)行形成的。本實(shí)施例提供的對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的裝置，包括:篩選單元401、確定單元402、拆分單元403及轉(zhuǎn)存單元404;
[0083]篩選單元401，用于從原服務(wù)器中獲取數(shù)據(jù)量大于預(yù)設(shè)的拆分閾值的目標(biāo)表格；
[0084]確定單元402，用于確定對篩選單元401獲取到的目標(biāo)表格進(jìn)行拆分的控制參數(shù)；
[0085]拆分單元403，用于根據(jù)確定單元402確定的控制參數(shù)，將篩選單元401獲取到的目標(biāo)表格拆分為至少兩個目標(biāo)子表格；
[0086]轉(zhuǎn)存單元404，用于將拆分單元403拆分出的至少兩個目標(biāo)子表格分別存儲到不同的替代服務(wù)器中，其中每個替代服務(wù)器中存儲一個目標(biāo)子表格。
[0087]在本發(fā)明一個實(shí)施例中，
[0088]篩選單元401，進(jìn)一步用于獲取原服務(wù)器中數(shù)據(jù)量小于或等于拆分閾值的剩余表格；
[0089]拆分單元403，進(jìn)一步用于將篩選單元401獲取到的剩余表格劃分為至少兩個表格分組，每一個表格分組包括至少一個剩余表格；
[0090]轉(zhuǎn)存單元404，進(jìn)一步用于將拆分單元403劃分出的至少兩個表格分組分別存儲到不同的替代服務(wù)器中，其中每個替代服務(wù)器中存儲一個表格分組。
[0091]在本發(fā)明一個實(shí)施例中，拆分單元403，用于根據(jù)各個剩余表格之間關(guān)系的密切程度，將關(guān)系密切程度較高的剩余表格分化到一個表格分組中，形成至少兩個表格分組。
[0092]在本發(fā)明一個實(shí)施例中，當(dāng)確定單元402確定出的控制參數(shù)包括拆分?jǐn)?shù)量及拆分形式，且拆分形式為根據(jù)項(xiàng)目進(jìn)行拆分時，拆分單元403，用于將目標(biāo)表格包括的各個項(xiàng)目劃分為數(shù)量等于拆分?jǐn)?shù)量的項(xiàng)目組，每個項(xiàng)目組包括至少一個項(xiàng)目，針對于每一個項(xiàng)目組創(chuàng)建一個目標(biāo)子表格用于存儲該項(xiàng)目組包括的各個項(xiàng)目對應(yīng)的數(shù)據(jù)；當(dāng)確定單元402確定出的控制參數(shù)包括拆分?jǐn)?shù)量及拆分形式，且拆分形式為根據(jù)變量進(jìn)行拆分時，拆分單元403，用于確定目標(biāo)表格中的一個項(xiàng)目作為變量，將變量的變化范圍劃分為數(shù)量等于拆分?jǐn)?shù)量的區(qū)間，針對于每一個區(qū)間創(chuàng)建一個目標(biāo)子表格用于存儲對應(yīng)變量位于該區(qū)間內(nèi)的各條數(shù)據(jù)。
[0093]上述裝置內(nèi)的各單元之間的信息交互、執(zhí)行過程等內(nèi)容，由于與本發(fā)明方法實(shí)施例基于同一構(gòu)思，具體內(nèi)容可參見本發(fā)明方法實(shí)施例中的敘述，此處不再贅述。
[0094]本發(fā)明提供的各個實(shí)施例，至少具有如下有益效果:
[0095]1、本發(fā)明實(shí)施例中，從原服務(wù)器中獲取數(shù)據(jù)量大于拆分閾值的目標(biāo)表格，根據(jù)確定出的控制參數(shù)將目標(biāo)表格拆分為至少兩個目標(biāo)子表格，將拆分形成的至少兩個目標(biāo)子表格分別存儲到不同的替代服務(wù)器中。這樣，將數(shù)據(jù)量較大的表格拆分為多個子表格后分別存儲到不同的服務(wù)器上，在對該表格進(jìn)行訪問時，由多個服務(wù)器共同執(zhí)行訪問請求，從各個子表格中獲取所需數(shù)據(jù)完成對該表格的訪問，從而降低了單個服務(wù)器的負(fù)載。
[0096]2、本發(fā)明實(shí)施例中，除了將數(shù)據(jù)量較大的表格數(shù)據(jù)拆分后存儲到多個服務(wù)器中之夕卜，還將數(shù)據(jù)量較小的各個表格劃分為表格分組后存儲到不同的服務(wù)器上，實(shí)現(xiàn)了對表格數(shù)據(jù)進(jìn)行分散存儲，保證具有足夠的存儲空間對表格數(shù)據(jù)進(jìn)行存儲。
[0097]3、本發(fā)明實(shí)施例中，用于轉(zhuǎn)存表格數(shù)據(jù)的替代服務(wù)器可以是分布式存儲服務(wù)器，由于分布式存儲服務(wù)器具有較高的擴(kuò)展性，當(dāng)存儲空間不夠時可以擴(kuò)展更多的服務(wù)器以存儲表格數(shù)據(jù)，無需再次對表格數(shù)據(jù)進(jìn)行迀移，延長一次數(shù)據(jù)轉(zhuǎn)存后服務(wù)器的適用時間。
[0098]4、本發(fā)明實(shí)施例中，拆分參數(shù)中的拆分形式可以為根據(jù)項(xiàng)目進(jìn)行拆分，也可以為根據(jù)變量進(jìn)行拆分，根據(jù)項(xiàng)目進(jìn)行拆分適用于用戶訪問表格時只獲取其中一個項(xiàng)目的情況，根據(jù)變量進(jìn)行拆分適用于用于訪問表格時獲取完整數(shù)據(jù)條的情況。采用不同的拆分形式，以滿足對不同訪問形式的表格進(jìn)行拆分，一方面提高了服務(wù)器的響應(yīng)速度，另一方面提高了該對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法的適用性。
[0099]5、本發(fā)明實(shí)施例中，對數(shù)據(jù)量較小的表格進(jìn)行分組時，可以根據(jù)各個表格之間關(guān)系的密切程度，將密切程度較高的表格劃分到一個表格分組，存儲到一個替代服務(wù)器上，由于密切程度較高的表格同時被訪問的可能性較大，將密切程度較高的表格存儲到一個服務(wù)器上可以減少服務(wù)器需找表格所需的時間，提高服務(wù)器的響應(yīng)速度。
[0100]需要說明的是，在本文中，諸如第一和第二之類的關(guān)系術(shù)語僅僅用來將一個實(shí)體或者操作與另一個實(shí)體或操作區(qū)分開來，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個〃.....”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同因素。
[0101]本領(lǐng)域普通技術(shù)人員可以理解:實(shí)現(xiàn)上述方法實(shí)施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成，前述的程序可以存儲在計(jì)算機(jī)可讀取的存儲介質(zhì)中，該程序在執(zhí)行時，執(zhí)行包括上述方法實(shí)施例的步驟;而前述的存儲介質(zhì)包括:ROM、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)中。
[0102]最后需要說明的是:以上所述僅為本發(fā)明的較佳實(shí)施例，僅用于說明本發(fā)明的技術(shù)方案，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)所做的任何修改、等同替換、改進(jìn)等，均包含在本發(fā)明的保護(hù)范圍內(nèi)。
【主權(quán)項(xiàng)】
1.一種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的方法，其特征在于，包括: 從原服務(wù)器中獲取數(shù)據(jù)量大于預(yù)設(shè)的拆分閾值的目標(biāo)表格； 確定對所述目標(biāo)表格進(jìn)行拆分的控制參數(shù)； 根據(jù)所述控制參數(shù)將所述目標(biāo)表格拆分為至少兩個目標(biāo)子表格； 將所述至少兩個目標(biāo)子表格分別存儲到不同的替代服務(wù)器中，其中每個所述替代服務(wù)器中存儲一個所述目標(biāo)子表格。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括: 獲取所述原服務(wù)器中數(shù)據(jù)量小于或等于所述拆分閾值的剩余表格； 將所述剩余表格劃分為至少兩個表格分組，每一個所述表格分組包括至少一個所述剩余表格； 將所述至少兩個表格分組分別存儲到不同的所述替代服務(wù)器中，其中每個所述替代服務(wù)器中存儲一個所述表格分組。3.根據(jù)權(quán)利要求2所述的方法，其特征在于， 所述將所述剩余表格劃分為至少兩個表格分組包括: 根據(jù)各個所述剩余表格之間關(guān)系的密切程度，將關(guān)系密切程度較高的所述剩余表格劃分到一個表格分組中，形成至少兩個所述表格分組。4.根據(jù)權(quán)利要求1所述的方法，其特征在于， 所述控制參數(shù)包括:拆分?jǐn)?shù)量及拆分形式，其中，所述拆分?jǐn)?shù)量等于對目標(biāo)表格進(jìn)行拆分后形成目標(biāo)子表格的數(shù)量，所述拆分形式為根據(jù)項(xiàng)目進(jìn)行拆分或根據(jù)變量進(jìn)行拆分。5.根據(jù)權(quán)利要求4所述的方法，其特征在于， 所述根據(jù)所述控制參數(shù)將所述目標(biāo)表格拆分為至少兩個目標(biāo)子表格包括: 當(dāng)所述拆分形式為根據(jù)項(xiàng)目進(jìn)行拆分時，將所述目標(biāo)表格包括的各個項(xiàng)目劃分為數(shù)量等于所述拆分?jǐn)?shù)量的項(xiàng)目組，每個所述項(xiàng)目組包括至少一個所述項(xiàng)目，針對于每一個所述項(xiàng)目組創(chuàng)建一個目標(biāo)子表格用于存儲該項(xiàng)目組包括的各個項(xiàng)目對應(yīng)的數(shù)據(jù)； 當(dāng)所述拆分形式為根據(jù)變量進(jìn)行拆分時，確定所述目標(biāo)表格中的一個項(xiàng)目作為變量，將所述變量的變化范圍劃分為數(shù)量等于所述拆分?jǐn)?shù)量的區(qū)間，針對于每一個所述區(qū)間創(chuàng)建一個目標(biāo)子表格用于存儲對應(yīng)所述變量位于該區(qū)間內(nèi)的各條數(shù)據(jù)。6.根據(jù)權(quán)利要求1至5中任一所述的方法，其特征在于， 所述替代服務(wù)器包括:分布式存儲服務(wù)器。7.—種對表格數(shù)據(jù)進(jìn)行轉(zhuǎn)存的裝置，其特征在于，包括:篩選單元、確定單元、拆分單元及轉(zhuǎn)存單元； 所述篩選單元，用于從原服務(wù)器中獲取數(shù)據(jù)量大于預(yù)設(shè)的拆分閾值的目標(biāo)表格； 所述確定單元，用于確定對所述篩選單元獲取到的目標(biāo)表格進(jìn)行拆分的控制參數(shù)；所述拆分單元，用于根據(jù)所述確定單元確定的控制參數(shù)，將所述篩選單元獲取到的目標(biāo)表格拆分為至少兩個目標(biāo)子表格； 所述轉(zhuǎn)存單元，用于將所述拆分單元拆分出的至少兩個目標(biāo)子表格分別存儲到不同的替代服務(wù)器中，其中每個所述替代服務(wù)器中存儲一個所述目標(biāo)子表格。8.根據(jù)權(quán)利要求7所述的裝置，其特征在于， 所述篩選單元，進(jìn)一步用于獲取所述原服務(wù)器中數(shù)據(jù)量小于或等于所述拆分閾值的剩余表格； 所述拆分單元，進(jìn)一步用于將所述篩選單元獲取到的剩余表格劃分為至少兩個表格分組，每一個所述表格分組包括至少一個所述剩余表格； 所述轉(zhuǎn)存單元，進(jìn)一步用于將所述拆分單元劃分出的至少兩個表格分組分別存儲到不同的所述替代服務(wù)器中，其中每個所述替代服務(wù)器中存儲一個所述表格分組。9.根據(jù)權(quán)利要求8所述的裝置，其特征在于， 所述拆分單元，用于根據(jù)各個所述剩余表格之間關(guān)系的密切程度，將關(guān)系密切程度較高的所述剩余表格分化到一個表格分組中，形成至少兩個所述表格分組。10.根據(jù)權(quán)利要求7所述的裝置，其特征在于， 當(dāng)所述確定單元確定出的控制參數(shù)包括拆分?jǐn)?shù)量及拆分形式，且所述拆分形式為根據(jù)項(xiàng)目進(jìn)行拆分時， 所述拆分單元，用于將所述目標(biāo)表格包括的各個項(xiàng)目劃分為數(shù)量等于所述拆分?jǐn)?shù)量的項(xiàng)目組，每個所述項(xiàng)目組包括至少一個所述項(xiàng)目，針對于每一個所述項(xiàng)目組創(chuàng)建一個目標(biāo)子表格用于存儲該項(xiàng)目組包括的各個項(xiàng)目對應(yīng)的數(shù)據(jù)； 當(dāng)所述確定單元確定出的控制參數(shù)包括拆分?jǐn)?shù)量及拆分形式，且所述拆分形式為根據(jù)變量進(jìn)行拆分時， 所述拆分單元，用于確定所述目標(biāo)表格中的一個項(xiàng)目作為變量，將所述變量的變化范圍劃分為數(shù)量等于所述拆分?jǐn)?shù)量的區(qū)間，針對于每一個所述區(qū)間創(chuàng)建一個目標(biāo)子表格用于存儲對應(yīng)所述變量位于該區(qū)間內(nèi)的各條數(shù)據(jù)。
【文檔編號】G06F17/30GK106021492SQ201610339774
【公開日】2016年10月12日
【申請日】2016年5月20日
【發(fā)明人】宮志方, 楊培強(qiáng)
【申請人】浪潮軟件集團(tuán)有限公司