本發(fā)明涉及一種數(shù)據(jù)服務系統(tǒng)，具體涉及一種對供應商提供的數(shù)據(jù)進行服務的數(shù)據(jù)服務系統(tǒng)。

背景技術：

隨著虛擬數(shù)據(jù)的廣泛交易，推出了各種提供數(shù)據(jù)交易的數(shù)據(jù)服務平臺，數(shù)據(jù)服務平臺涉及供應商提供的數(shù)據(jù)的管理，包括數(shù)據(jù)存儲、價值評估、定價等一系列操作服務。目前的數(shù)據(jù)服務平臺不能有效的對供應商提供的數(shù)據(jù)進行管理。

技術實現(xiàn)要素：

針對上述技術問題，本發(fā)明提供一種能夠有效對供應商提供的數(shù)據(jù)進行有效管理的數(shù)據(jù)服務系統(tǒng)。

本發(fā)明采用的技術方案為：

本發(fā)明的實施例提供一種數(shù)據(jù)服務系統(tǒng)，包括服務器端和若干客戶端，所述服務器端用于對客戶端發(fā)送的數(shù)據(jù)進行管理，包括數(shù)據(jù)接收模塊，接收所述客戶端發(fā)送的數(shù)據(jù)，并將接收的數(shù)據(jù)發(fā)送給所述數(shù)據(jù)審核模塊；數(shù)據(jù)審核模塊，接收所述數(shù)據(jù)接收模塊發(fā)送的數(shù)據(jù)，并對接收的數(shù)據(jù)進行審核；數(shù)據(jù)評估模塊，接收所述數(shù)據(jù)審核模塊發(fā)送的審核數(shù)據(jù)，并對所述審核數(shù)據(jù)進行評估；數(shù)據(jù)定價模塊，基于所述數(shù)據(jù)評估模塊的評估結果，對評估后的數(shù)據(jù)進行定價；數(shù)據(jù)發(fā)布模塊，對所述數(shù)據(jù)定價模塊定價后的數(shù)據(jù)進行發(fā)布；數(shù)據(jù)存儲模塊，用于對數(shù)據(jù)接收模塊、數(shù)據(jù)審核模塊、數(shù)據(jù)定價模塊中的數(shù)據(jù)進行存儲；以及數(shù)據(jù)管理模塊，用于對數(shù)據(jù)接收模塊、數(shù)據(jù)審核模塊、數(shù)據(jù)定價模塊和數(shù)據(jù)存儲模塊中的數(shù)據(jù)進行管理。

優(yōu)選地，所述數(shù)據(jù)審核模塊將被審核的數(shù)據(jù)組裝為一個個元數(shù)據(jù)，在調(diào)用審核接口時，傳輸元數(shù)據(jù)ID進行審核，并為所有要進行審核的流數(shù)據(jù)添加一個時間戳，以便于數(shù)據(jù)的分頁讀取。

優(yōu)選地，所述數(shù)據(jù)審核模塊包括接收到要審核的元數(shù)據(jù)ID的通知審核接口和根據(jù)元數(shù)據(jù)ID查詢數(shù)據(jù)的審核狀態(tài)的查詢審核結果接口。

優(yōu)選地，所述數(shù)據(jù)評估模塊包括多個數(shù)據(jù)評估單元，每個數(shù)據(jù)評估單元基于預定的評估指標對經(jīng)數(shù)據(jù)審核模塊審核后的數(shù)據(jù)進行評估，并給出評估得分，在所有數(shù)據(jù)評估單元都給出評估得分后，通過指定的加權方法來確定數(shù)據(jù)的最終評估得分，以及為所有要進行評估的流數(shù)據(jù)添加一個時間戳，以便于數(shù)據(jù)的分頁讀取。

優(yōu)選地，所述預定的評估指標包括8項評估指標，分別為數(shù)據(jù)一致性、數(shù)據(jù)時效性、數(shù)據(jù)稀缺性、數(shù)據(jù)重復性、數(shù)據(jù)量、數(shù)據(jù)結構化程度、數(shù)據(jù)完整性和數(shù)據(jù)冗余度。

優(yōu)選地，每個數(shù)據(jù)評估單元基于以下公式(1)給出評估得分：

其中，P為數(shù)據(jù)評估單元給出的數(shù)據(jù)評估得分；f_i為數(shù)據(jù)的第i個數(shù)據(jù)評估指標的評估得分；w_i為第i個數(shù)據(jù)評估指標的權重；

所述數(shù)據(jù)的最終評估得分通過以下公式(2)得出：

其中，T為數(shù)據(jù)評估模塊給出的數(shù)據(jù)的最終得分，P_i為每個數(shù)據(jù)評估單元給出的數(shù)據(jù)評估得分，G_i為賦予的數(shù)據(jù)評估單元的重要度。

優(yōu)選地，所述數(shù)據(jù)一致性通過以下方法進行指標評估：

其中，H₁為數(shù)據(jù)一致性指標評估得分；L_a表示實際數(shù)據(jù)量；L_m為元數(shù)據(jù)記錄數(shù)據(jù)量；S_a為實際數(shù)據(jù)文件大小；S_m為元數(shù)據(jù)記錄文件大??；P為數(shù)據(jù)格式一致性，其使用文件后綴名判別，如果文件后綴名與元數(shù)據(jù)中記錄的數(shù)據(jù)名相同則賦值1，否則賦值為0；

所述數(shù)據(jù)時效性通過以下方法進行指標評估：

其中，H₄為數(shù)據(jù)時效性指標評估得分；T_f為記錄的最終時間，如無記錄時間，則使用元數(shù)據(jù)時間；T_s為記錄的起始時間，如無記錄時間，則使用元數(shù)據(jù)時間；T_n為當前時間；

所述數(shù)據(jù)冗余度通過以下方法進行指標評估：

其中，H₃為數(shù)據(jù)冗余度指標評估得分；c_i為第i條重復記錄出現(xiàn)的次數(shù)；R為記錄的總數(shù)；

所述數(shù)據(jù)完整性通過以下方法進行指標評估：

其中，H₂為數(shù)據(jù)完整性指標評估得分；a_ij為第i行、第j列數(shù)據(jù)是否為空值，如果是空值則取0，不是空值則取1；N為全體的數(shù)據(jù)個數(shù)，當數(shù)據(jù)商品共m行、n列，則N＝m×n，且m和n為自然數(shù)；

所述數(shù)據(jù)量通過以下方法進行指標評估：

其中，H₅為數(shù)據(jù)量指標評估得分；x為當前的數(shù)據(jù)量；O₁為評估全量數(shù)據(jù)量；O₂為元數(shù)據(jù)量；O₃是承諾數(shù)據(jù)；

所述數(shù)據(jù)重復性通過以下方法進行指標評估：

式中，fc表示重復性指標的得分，a_i表示某條重復記錄出現(xiàn)的次數(shù)；N為記錄的總數(shù)；其中，fc取值范圍為[0，1],fc值越大，信息重復性小，數(shù)據(jù)價值越高；

所述數(shù)據(jù)稀缺性通過以下方法進行指標評估：

其中，fx表示稀缺性指標的得分，y表示市場出現(xiàn)的相似數(shù)據(jù)商品的數(shù)據(jù)數(shù)量；x表示當前數(shù)據(jù)商品的數(shù)據(jù)數(shù)量，e為自然對數(shù)的底；

所述數(shù)據(jù)量通過以下方法進指標評估：

式中，fs表示數(shù)據(jù)量指標的得分，La表示實際數(shù)據(jù)量；Lm表示元數(shù)據(jù)記錄數(shù)據(jù)量；fs的取值范圍為[0,1]，當fs接近于0說明數(shù)據(jù)量遠小于元數(shù)據(jù)中的數(shù)據(jù)量；fs等于1時表明數(shù)據(jù)量符合元數(shù)據(jù)提供的數(shù)量。

優(yōu)選地，所述數(shù)據(jù)定價模塊基于所述數(shù)據(jù)評估模塊的評估結果以及客戶端的預期價格，按照數(shù)據(jù)的類型和不同的定價方式來對評估的數(shù)據(jù)進行定價。

優(yōu)選地，所述定價方式包括第一定價方式、第二定價方式和第三定價方式，其中所述第一定價方式為定價整塊數(shù)據(jù)的價位，第二定價方式為定價訪問一條數(shù)據(jù)的價位或者定價打包購買若干條數(shù)據(jù)的價位，第三定價方式為定價按月調(diào)用API查詢數(shù)據(jù)的價位；其中，對于文件數(shù)據(jù)采用第一定價方式進行定價，對于靜態(tài)表數(shù)據(jù)采用第一定價方式、第二定價方式或第三低價方式進行定價，對于動態(tài)流數(shù)據(jù)采用第二定價方式或者第三定價方式進行定價。

本發(fā)明的數(shù)據(jù)服務系統(tǒng)能夠對客戶端(供應商)提供的數(shù)據(jù)進行包括審核、評估、定價和發(fā)布等一系列服務操作，使得系統(tǒng)能夠與客戶端進行實時互動，并能夠根據(jù)客戶端實時輸入的數(shù)據(jù)動態(tài)進行動態(tài)更新，方便便捷，實時高效，經(jīng)濟適用性強。

附圖說明

圖1為本發(fā)明實施例提供的數(shù)據(jù)服務系統(tǒng)的結構示意圖。

具體實施方式

以下結合附圖對本發(fā)明的數(shù)據(jù)服務系統(tǒng)進行介紹。

圖1為本發(fā)明實施例提供的數(shù)據(jù)服務系統(tǒng)的結構示意圖。如圖1所示，本發(fā)明的實施例提供的數(shù)據(jù)服務系統(tǒng)，包括服務器端2和若干客戶端1，所述服務器端2用于對客戶端1發(fā)送的數(shù)據(jù)進行管理，通過網(wǎng)絡與客戶端1進行通訊連接?？蛻舳?可為提供數(shù)據(jù)的供應商，可為企業(yè)或者個人等，可通過電子設備，如手機、個人電腦等與服務器端2進行信息交互。

服務器端2可包括數(shù)據(jù)接收模塊21，通過數(shù)據(jù)接收端口接收所述客戶端發(fā)送的數(shù)據(jù)，并將接收的數(shù)據(jù)發(fā)送給所述數(shù)據(jù)審核模塊；數(shù)據(jù)審核模塊22，接收所述數(shù)據(jù)接收模塊發(fā)送的數(shù)據(jù)，并對接收的數(shù)據(jù)進行審核；數(shù)據(jù)評估模塊23，接收所述數(shù)據(jù)審核模塊發(fā)送的審核數(shù)據(jù)，并對所述審核數(shù)據(jù)進行評估；數(shù)據(jù)定價模塊24，基于所述數(shù)據(jù)評估模塊的評估結果，對評估后的數(shù)據(jù)進行定價；數(shù)據(jù)發(fā)布模塊25，對所述數(shù)據(jù)定價模塊定價后的數(shù)據(jù)進行發(fā)布；數(shù)據(jù)存儲模塊27，所述數(shù)據(jù)存儲模塊支持PB級的海量存儲和訪問、動態(tài)可插拔水平線性擴展以及適應未知的數(shù)據(jù)變化及應用擴展；所述數(shù)據(jù)存儲模塊基于分布式文件系統(tǒng)HDFS，兼容主流Hadoop發(fā)行版，具備Hadoop架構體系下的各種功能特點，同時提供多級索引、服務端計算、用戶角色權限控制、SQL接口、大表聯(lián)合查詢、查詢優(yōu)化等能力；以及對數(shù)據(jù)進行管理的數(shù)據(jù)管理模塊26。

以下，對本發(fā)明的數(shù)據(jù)服務系統(tǒng)的主要模塊進行介紹。

在本發(fā)明中，數(shù)據(jù)審核模塊22用于對客戶端1上傳的數(shù)據(jù)進行審核，保證數(shù)據(jù)完整、正確的進入后續(xù)模塊中進行操作。具體地，所述數(shù)據(jù)審核模塊將被審核的數(shù)據(jù)組裝為一個個元數(shù)據(jù)，在調(diào)用審核接口時，傳輸元數(shù)據(jù)ID進行審核，當查詢元數(shù)據(jù)詳情時，同樣是使用元數(shù)據(jù)ID去調(diào)用系統(tǒng)的接口進行查詢，并為所有要進行審核的流數(shù)據(jù)添加一個時間戳，以便于數(shù)據(jù)的分頁讀取。所述數(shù)據(jù)審核模塊可包括接收到要審核的元數(shù)據(jù)ID的通知審核接口和根據(jù)元數(shù)據(jù)ID查詢數(shù)據(jù)的審核狀態(tài)的查詢審核結果接口，具體地，可通過通知審核接口接收到要審核的數(shù)據(jù)ID，再調(diào)用外部系統(tǒng)提供的數(shù)據(jù)查詢接口，將dataId對應的數(shù)據(jù)詳情查詢過來，在系統(tǒng)中進行展示，并交由操作者進行審核，審核數(shù)據(jù)是否通過。

在實際操作中，數(shù)據(jù)審核模塊會提供一個展示審核數(shù)據(jù)列表的頁面，用以顯示由外部系統(tǒng)通過接口傳送進來的待審核的數(shù)據(jù)列表，及審核中或已審核的數(shù)據(jù)元列表，供審核操作者查看。操作者可以選擇待審核的數(shù)據(jù)列表，點擊進入詳情查看頁面，查看元數(shù)據(jù)的概要信息(此處需要調(diào)用外部系統(tǒng)的數(shù)據(jù)詳情查詢接口)，以及根據(jù)需要查詢數(shù)據(jù)的詳細信息。并決定是否審核通過。審核操作者審核的結果需要調(diào)用客戶端所在的外部系統(tǒng)的數(shù)據(jù)反饋接口，將審核狀態(tài)和審核相關信息反饋給外部系統(tǒng)。

所述數(shù)據(jù)評估模塊22可以對數(shù)據(jù)進行多用戶評估，最終加權得到最終評估結果，為后面的定價及數(shù)據(jù)分析提供依據(jù)，可包括多個數(shù)據(jù)評估單元，每個數(shù)據(jù)評估單元基于預定的評估指標對經(jīng)數(shù)據(jù)審核模塊審核后的數(shù)據(jù)進行評估，并給出評估得分，在所有數(shù)據(jù)評估單元都給出評估得分后，通過指定的加權方法來確定數(shù)據(jù)的最終評估得分，以及為所有要進行評估的流數(shù)據(jù)添加一個時間戳，以便于數(shù)據(jù)的分頁讀取。數(shù)據(jù)評估完成之后，可提供接口，以供評估時根據(jù)元數(shù)據(jù)的ID查詢評估數(shù)據(jù)的詳細信息。如果是流數(shù)據(jù)，則需要以分頁形式獲取展示。業(yè)務數(shù)據(jù)需要對流數(shù)據(jù)提供時間戳屬性，并在數(shù)據(jù)存儲模塊中保存已經(jīng)獲取過的時間戳，在時間戳之前的數(shù)據(jù)默認為都是已經(jīng)經(jīng)過查看評估的(數(shù)據(jù)較大時，操作者的評估可以根據(jù)需要進行抽樣查看)。此外，可提供一個展示評估數(shù)據(jù)列表的頁面，用以顯示已經(jīng)通過數(shù)據(jù)審核的數(shù)據(jù)列表，供評估操作者查看。評估操作者可以選擇待評估的數(shù)據(jù)列表，點擊進入多人評估的頁面，用以按照約定的指標，例如，包括數(shù)據(jù)一致性、數(shù)據(jù)時效性、數(shù)據(jù)稀缺性、數(shù)據(jù)重復性、數(shù)據(jù)量、數(shù)據(jù)結構化程度、數(shù)據(jù)完整性和數(shù)據(jù)冗余度的8項指標，對每個元數(shù)據(jù)的每一項進行打分，并將最終評估結果保存在數(shù)據(jù)存儲模塊27中。還可提供一個匯總頁面，設定一個最終評估期限，在到達期限或多人評估結果都到達后(在開發(fā)進度允許的情況下，可以實時顯示當前評估提交人數(shù)，評估完成百分比)，將多人的評估結果根據(jù)指定的加權方法計算出最終評估結果，進行保存。評估的結果需要調(diào)用外部系統(tǒng)的數(shù)據(jù)反饋接口，將評估狀態(tài)和評估相關信息反饋給外部系統(tǒng)。

優(yōu)選地，每個數(shù)據(jù)評估單元可基于以下公式(1)給出評估得分：

其中，P為數(shù)據(jù)評估單元給出的數(shù)據(jù)評估得分；f_i為數(shù)據(jù)的第i個數(shù)據(jù)評估指標的評估得分；w_i為第i個數(shù)據(jù)評估指標的權重，各權重可基于實際情況來確定，對于不同類型的數(shù)據(jù)，評估指標的權重可不同；

所述數(shù)據(jù)的最終評估得分通過以下公式(2)得出：

其中，T為數(shù)據(jù)評估模塊給出的數(shù)據(jù)的最終得分，P_i為每個數(shù)據(jù)評估單元給出的數(shù)據(jù)評估得分，G_i為賦予的數(shù)據(jù)評估單元的重要度，可根據(jù)實際情況來確定，可根據(jù)評分操作者的經(jīng)驗來設定，具有較多評分經(jīng)驗的人賦予較多的權值，n為數(shù)據(jù)評估單元的個數(shù)，數(shù)據(jù)評估單元的個數(shù)可根據(jù)實際情況來確定，可為5個，8個或者更多個。

優(yōu)選地，所述數(shù)據(jù)一致性通過以下方法進行指標評估：

其中，H₁為數(shù)據(jù)一致性指標評估得分；L_a表示實際數(shù)據(jù)量；L_m為元數(shù)據(jù)記錄數(shù)據(jù)量；S_a為實際數(shù)據(jù)文件大??；S_m為元數(shù)據(jù)記錄文件大?。籔為數(shù)據(jù)格式一致性，其使用文件后綴名判別，如果文件后綴名與元數(shù)據(jù)中記錄的數(shù)據(jù)名相同則賦值1，否則賦值為0；

所述數(shù)據(jù)時效性通過以下方法進行指標評估：

其中，H₄為數(shù)據(jù)時效性指標評估得分；T_f為記錄的最終時間，如無記錄時間，則使用元數(shù)據(jù)時間；T_s為記錄的起始時間，如無記錄時間，則使用元數(shù)據(jù)時間；T_n為當前時間；

所述數(shù)據(jù)冗余度通過以下方法進行指標評估：

其中，H₃為數(shù)據(jù)冗余度指標評估得分；c_i為第i條重復記錄出現(xiàn)的次數(shù)；R為記錄的總數(shù)；

所述數(shù)據(jù)完整性通過以下方法進行指標評估：

其中，H₂為數(shù)據(jù)完整性指標評估得分；a_ij為第i行、第j列數(shù)據(jù)是否為空值，如果是空值則取0，不是空值則取1；N為全體的數(shù)據(jù)個數(shù)，當數(shù)據(jù)商品共m行、n列，則N＝m×n，且m和n為自然數(shù)；

所述數(shù)據(jù)量通過以下方法進行指標評估：

其中，H₅為數(shù)據(jù)量指標評估得分；x為當前的數(shù)據(jù)量；O₁為評估全量數(shù)據(jù)量；O₂為元數(shù)據(jù)量；O₃是承諾數(shù)據(jù)；

所述數(shù)據(jù)重復性通過以下方法進行指標評估：

式中，fc表示重復性指標的得分，a_i表示某條重復記錄出現(xiàn)的次數(shù)；N為記錄的總數(shù)；其中，fc取值范圍為[0，1],fc值越大，信息重復性小，數(shù)據(jù)價值越高；

所述數(shù)據(jù)稀缺性通過以下方法進行指標評估：

其中，fx表示稀缺性指標的得分，y表示市場出現(xiàn)的相似數(shù)據(jù)商品的數(shù)據(jù)數(shù)量；x表示當前數(shù)據(jù)商品的數(shù)據(jù)數(shù)量，e為自然對數(shù)的底；

所述數(shù)據(jù)量通過以下方法進指標評估：

式中，fs表示數(shù)據(jù)量指標的得分，La表示實際數(shù)據(jù)量；Lm表示元數(shù)據(jù)記錄數(shù)據(jù)量；fs的取值范圍為[0,1]，當fs接近于0說明數(shù)據(jù)量遠小于元數(shù)據(jù)中的數(shù)據(jù)量；fs等于1時表明數(shù)據(jù)量符合元數(shù)據(jù)提供的數(shù)量。

所述數(shù)據(jù)定價模塊24基于所述數(shù)據(jù)評估模塊的評估結果以及客戶端的預期價格，按照數(shù)據(jù)的類型和不同的定價方式來對評估的數(shù)據(jù)進行定價，為后期的數(shù)據(jù)交易提供價格依據(jù)。當數(shù)據(jù)評估完成后，管理員直接操作定價模塊，根據(jù)用戶的預期價值，及元數(shù)據(jù)的評估結果，對數(shù)據(jù)進行最終定價。當元數(shù)據(jù)有更新時，更新的數(shù)據(jù)做為新的元數(shù)據(jù)，重新跑一次審核、評估、定價、發(fā)布的流程，跟原先的數(shù)據(jù)定價沒關系。定價成功后，數(shù)據(jù)定價模塊需調(diào)用外部系統(tǒng)的數(shù)據(jù)反饋接口，將定價結果反饋給外部系統(tǒng)。

優(yōu)選地，所述定價方式可包括第一定價方式、第二定價方式和第三定價方式，其中所述第一定價方式為定價整塊數(shù)據(jù)的價位，即整塊數(shù)據(jù)賣多少錢，第二定價方式為定價訪問一條數(shù)據(jù)的價位或者定價打包購買若干條數(shù)據(jù)的價位，即按條訪問，每條數(shù)據(jù)多少錢，或者總共多少錢可以購買多少條數(shù)據(jù)，第三定價方式為定價按月調(diào)用API查詢數(shù)據(jù)的價位，即按月調(diào)用API查詢數(shù)據(jù)需要多少錢；其中，對于文件數(shù)據(jù)可采用第一定價方式進行定價，對于靜態(tài)表數(shù)據(jù)可采用第一定價方式、第二定價方式或第三低價方式進行定價，對于動態(tài)流數(shù)據(jù)可采用第二定價方式或者第三定價方式進行定價。

所述數(shù)據(jù)存儲模塊27用于對前述各模塊中的數(shù)據(jù)進行存儲的數(shù)據(jù)庫，其架構在分布式文件系統(tǒng)之上的分布式列式數(shù)據(jù)庫系統(tǒng)，能夠為海量的結構化和半結構化數(shù)據(jù)提供高效存儲、實時處理及離線分析的完整解決方案。類似傳統(tǒng)數(shù)據(jù)倉庫，所述數(shù)據(jù)存儲模塊可存儲結構化和半結構化數(shù)據(jù)。與傳統(tǒng)數(shù)據(jù)庫倉庫系統(tǒng)相比，其顯著特點是：支持PB級的海量存儲和訪問；動態(tài)可插拔水平線性擴展，適應未知的數(shù)據(jù)變化及應用擴展。

所述數(shù)據(jù)存儲模塊基于分布式文件系統(tǒng)HDFS，兼容主流Hadoop發(fā)行版，具備Hadoop架構體系下的各種功能特點，同時提供多級索引、服務端計算、用戶角色權限控制、SQL接口、大表聯(lián)合查詢、查詢優(yōu)化等能力。主要功能包括：

1.數(shù)據(jù)存儲管理功能：支持海量結構化、半結構化的存儲；支持HFile、HBase、TextFile、SequenceFile、ORC、Parquet等多種存儲系統(tǒng)；支持以數(shù)據(jù)庫和表的方式對數(shù)據(jù)進行管理。

2.SQL實時短查詢：對全量數(shù)據(jù)的實時簡單查詢，包括單表多條件的組合查詢

3.SQL長查詢@OLAP：支持復雜的SQL分析功能，兼容多維分析模型，尤其對多表join做性能調(diào)優(yōu)

4.增強型局部多索引技術：基于底層K-V模型實現(xiàn)了tabular模型封裝，并支持對同一表多字段索引的支持，可分別配置條件字段和結果字段。

5.分布式事務機制：基于多版本數(shù)據(jù)模型實現(xiàn)了無狀態(tài)更新以及讀取的無鎖并行控制，事務處理能力和Google最新技術相當

6.流式數(shù)據(jù)寫入加速：通過客戶端并發(fā)、IO shortcut、及并發(fā)flush，精簡數(shù)據(jù)合并等技術，大幅提升系統(tǒng)的聚合寫入帶寬，同時保持低時延

7.服務端聚集計算框架：遵循數(shù)據(jù)計算結合的原則，通過MPP框架將計算分載到距離數(shù)據(jù)最近的存儲節(jié)點，有效分載數(shù)據(jù)分析運算在客戶端的計算壓力。

8.全文索引及后綴索引：支持對表中一列或多列構建全文索引，并支持實時或批量定時更新機制。對全文索引的檢索融合在SQL語法中，可與基于列的數(shù)據(jù)過濾條件無縫鏈接做組合查詢；同時可提供對字串類字段以后綴方式建索引，并提供與前綴索引相當?shù)牟樵冃阅堋?/p>

9.透明數(shù)據(jù)壓縮：同時支持軟件及硬件板卡的壓縮技術，壓縮功能有效隔離在底層存儲，可對上層透明獨立。

10.多租戶性能隔離：提供不同用戶基于表空間的配置，提供表粒度的隔離。

11.快速數(shù)據(jù)ETL：提供與外部多數(shù)據(jù)源的并發(fā)數(shù)據(jù)導入/導出通道。包括RDB、文件系統(tǒng)、數(shù)據(jù)總線等流式數(shù)據(jù)源。

所述數(shù)據(jù)管理模塊26用于對前述各模塊中的數(shù)據(jù)進行管理，主要操縱和管理數(shù)據(jù)存儲模塊27、用于建立、使用和維護數(shù)據(jù)庫的管理模塊。它主要對數(shù)據(jù)存儲模塊27(以下簡稱數(shù)據(jù)庫)進行統(tǒng)一的管理和控制，以保證數(shù)據(jù)庫的安全性和完整性。用戶可通過數(shù)據(jù)管理模塊26訪問數(shù)據(jù)庫中的數(shù)據(jù)，數(shù)據(jù)庫管理員也通過dbms進行數(shù)據(jù)庫的維護工作。它可使多個應用程序和用戶用不同的方法在同時或不同時刻去建立，修改和詢問數(shù)據(jù)庫，供用戶定義數(shù)據(jù)庫的模式結構與權限約束，實現(xiàn)對數(shù)據(jù)的追加、刪除等操作。

數(shù)據(jù)管理模塊是實現(xiàn)把用戶意義下抽象的邏輯數(shù)據(jù)處理，轉換成為計算機中具體的物理數(shù)據(jù)處理的模塊。有了數(shù)據(jù)管理模塊，就可以在抽象意義下處理數(shù)據(jù)，而不必顧及這些數(shù)據(jù)在計算機中的布局和物理位置。其具有以下功能：

(1)數(shù)據(jù)定義：數(shù)據(jù)管理模塊提供數(shù)據(jù)定義語言DDL(Data Definition Language)，供用戶定義數(shù)據(jù)庫的三級模式結構、兩級映像以及完整性約束和保密限制等約束。DDL主要用于建立、修改數(shù)據(jù)庫的庫結構。DDL所描述的庫結構僅僅給出了數(shù)據(jù)庫的框架，數(shù)據(jù)庫的框架信息被存放在數(shù)據(jù)字典(Data Dictionary)中。

(2)數(shù)據(jù)操作：數(shù)據(jù)管理模塊提供數(shù)據(jù)操作語言DML(Data Manipulation Language)，供用戶實現(xiàn)對數(shù)據(jù)的追加、刪除、更新、查詢等操作。

(3)數(shù)據(jù)庫的運行管理：數(shù)據(jù)庫的運行管理功能是數(shù)據(jù)管理模塊的運行控制、管理功能，包括多用戶環(huán)境下的并發(fā)控制、安全性檢查和存取限制控制、完整性檢查和執(zhí)行、運行日志的組織管理、事務的管理和自動恢復，即保證事務的原子性。

(4)數(shù)據(jù)組織、存儲與管理：數(shù)據(jù)管理模塊要分類組織、存儲和管理各種數(shù)據(jù)，包括數(shù)據(jù)字典、用戶數(shù)據(jù)、存取路徑等，需確定以何種文件結構和存取方式在存儲級上組織這些數(shù)據(jù)，如何實現(xiàn)數(shù)據(jù)之間的聯(lián)系。數(shù)據(jù)組織和存儲的基本目標是提高存儲空間利用率，選擇合適的存取方法提高存取效率。

(5)數(shù)據(jù)庫的保護：數(shù)據(jù)庫中的數(shù)據(jù)是信息社會的戰(zhàn)略資源，所以數(shù)據(jù)的保護至關重要。數(shù)據(jù)管理模塊對數(shù)據(jù)庫的保護通過4個方面來實現(xiàn)：數(shù)據(jù)庫的恢復、數(shù)據(jù)庫的并發(fā)控制、數(shù)據(jù)庫的完整性控制、數(shù)據(jù)庫安全性控制。數(shù)據(jù)管理模塊的其他保護功能還有系統(tǒng)緩沖區(qū)的管理以及數(shù)據(jù)存儲的某些自適應調(diào)節(jié)機制等。

(6)數(shù)據(jù)庫的維護：這一部分包括數(shù)據(jù)庫的數(shù)據(jù)載入、轉換、轉儲、數(shù)據(jù)庫的重組合重構以及性能監(jiān)控等功能，這些功能分別由各個使用程序來完成。

(7)通信：數(shù)據(jù)管理模塊具有與操作系統(tǒng)的聯(lián)機處理、分時系統(tǒng)及遠程作業(yè)輸入的相關接口，負責處理數(shù)據(jù)的傳送。數(shù)據(jù)管理模塊具有與網(wǎng)絡中其他軟件系統(tǒng)的通信功能以及數(shù)據(jù)庫之間的互操作功能。

數(shù)據(jù)管理模塊的技術特點包括：采用復雜的數(shù)據(jù)模型表示數(shù)據(jù)結構，數(shù)據(jù)冗余小，易擴充，實現(xiàn)了數(shù)據(jù)共享；具有較高的數(shù)據(jù)和程序獨立性，數(shù)據(jù)庫的獨立性有物理獨立性和邏輯獨立性；為用戶提供了方便的用戶接口；提供4個方面的數(shù)據(jù)控制功能，分別是并發(fā)控制、恢復、完整性和安全性。數(shù)據(jù)服務系統(tǒng)中各個應用程序所使用的數(shù)據(jù)由數(shù)據(jù)管理模塊統(tǒng)一規(guī)定，按照一定的數(shù)據(jù)模型組織和建立，由數(shù)據(jù)管理模塊統(tǒng)一管理和集中控制；增加了數(shù)據(jù)服務系統(tǒng)的靈活性。

本領域內(nèi)的技術人員應明白，本申請的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此，本申請可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實施例的形式。而且，本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學存儲器等)上實施的計算機程序產(chǎn)品的形式。

本申請是參照根據(jù)本申請實施例的方法、設備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設備的處理器以產(chǎn)生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設備上，使得在計算機或其他可編程設備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

盡管已描述了本申請的優(yōu)選實施例，但本領域內(nèi)的技術人員一旦得知了基本創(chuàng)造性概念，則可對這些實施例作出另外的變更和修改。所以，所附權利要求意欲解釋為包括優(yōu)選實施例以及落入本申請范圍的所有變更和修改。

顯然，本領域的技術人員可以對本申請實施例進行各種改動和變型而不脫離本申請實施例的精神和范圍。這樣，倘若本申請實施例的這些修改和變型屬于本申請權利要求及其等同技術的范圍之內(nèi)，則本申請也意圖包含這些改動和變型在內(nèi)。