本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及裝置。

背景技術(shù)：

隨著計算機技術(shù)和通訊技術(shù)的飛速發(fā)展，人們可以獲得越來越多的數(shù)字化信息，但同時也需要投入更多的時間對數(shù)字化信息進行組織和整理。例如在業(yè)務(wù)系統(tǒng)中，往往會因為代碼缺陷、業(yè)務(wù)定義變更、網(wǎng)絡(luò)延時等因素產(chǎn)生一些臟數(shù)據(jù)，例如一筆訂單的付款時間早于訂單的創(chuàng)建時間，這就是一條不符合業(yè)務(wù)邏輯的數(shù)據(jù)。在對數(shù)據(jù)做統(tǒng)計分析之前，需要將這些臟數(shù)據(jù)先過濾掉，以確保統(tǒng)計的準確性。數(shù)據(jù)清洗是一個減少數(shù)據(jù)錯誤和不一致性的過程，主要任務(wù)是檢測并刪除或改正將轉(zhuǎn)入數(shù)據(jù)庫的臟數(shù)據(jù)。另外，對這些臟數(shù)據(jù)進行分析歸類，并反饋給業(yè)務(wù)系統(tǒng)，也能幫助業(yè)務(wù)系統(tǒng)更好的定位代碼的缺陷，改進業(yè)務(wù)流程，從而提高數(shù)據(jù)的質(zhì)量。

目前，數(shù)據(jù)清洗一般需要制定清洗數(shù)據(jù)的規(guī)則，并且通過編寫一個數(shù)據(jù)清洗的程序讀取并解析這些規(guī)則，然后對數(shù)據(jù)進行清洗，這種規(guī)則一般比較固定，主要用來檢查并清洗數(shù)據(jù)的正確性、數(shù)據(jù)的一致性等等，如果對于動態(tài)的清洗，那么這種規(guī)則會有些不夠用了，從而現(xiàn)有的數(shù)據(jù)清洗的效率低。

技術(shù)實現(xiàn)要素：

鑒于上述問題，提出了本發(fā)明，以便提供一種克服上述問題或者至少部分地解決上述問題的數(shù)據(jù)處理方法及裝置。

為達到上述目的，本發(fā)明主要提供如下技術(shù)方案：

一方面，本發(fā)明實施例提供了一種數(shù)據(jù)處理方法，該方法包括：

接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)；

根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序；

根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。

另一方面，本發(fā)明實施例還提供一種數(shù)據(jù)處理裝置，該裝置包括：

接收單元，用于接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)；

生成單元，用于根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序；

清洗單元，用于根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。

借由上述技術(shù)方案，本發(fā)明實施例提供的技術(shù)方案至少具有下列優(yōu)點：

本發(fā)明實施例提供了一種數(shù)據(jù)處理方法及裝置，首先接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)，然后根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序，最后根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。與目前通過人工方式編寫特定的清洗程序?qū)Υ逑吹臄?shù)據(jù)文件進行清洗相比，本發(fā)明實施例首先接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)，然后根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序，最后根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。從而通過本發(fā)明可以自動生成與所述待清洗數(shù)據(jù)文件對應(yīng)的清洗程序，而無需再人工進行編寫特定的清洗程序代碼，進而提高了數(shù)據(jù)清洗的效率。

附圖說明

通過閱讀下文優(yōu)選實施方式的詳細描述，各種其他的優(yōu)點和益處對于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實施方式的目的，而并不認為是對本發(fā)明的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中：

圖1為本發(fā)明實施例提供的一種數(shù)據(jù)處理方法流程圖；

圖2為本發(fā)明實施例提供的另一種數(shù)據(jù)處理方法流程圖；

圖3為本發(fā)明實施例提供的一種數(shù)據(jù)處理裝置的組成框圖；

圖4為本發(fā)明實施例提供的另一種數(shù)據(jù)處理裝置的組成框圖。

具體實施方式

下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應(yīng)當(dāng)理解，可以以各種形式實現(xiàn)本公開而不應(yīng)被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠?qū)⒈竟_的范圍完整的傳達給本領(lǐng)域的技術(shù)人員。

為使本發(fā)明技術(shù)方案的優(yōu)點更加清楚，下面結(jié)合附圖和實施例對本發(fā)明作詳細說明。

本發(fā)明實施例提供了一種數(shù)據(jù)處理方法，如圖1所示，所述方法包括：

S101、接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)。

其中，所述待清洗的數(shù)據(jù)文件可以為表格數(shù)據(jù)文件、數(shù)據(jù)庫文件等，所述清洗參數(shù)是用于指定清洗數(shù)據(jù)文件的一些條件、參數(shù)等。對于本發(fā)明實施例，所述清洗參數(shù)具體可以為表格中的字段和與字段對應(yīng)設(shè)定的匹配條件，另外所述清洗參數(shù)中還可以包括清洗數(shù)據(jù)文件的順序號等，本發(fā)明實施例不做具體限定。

例如，接收到待清洗的學(xué)生數(shù)據(jù)表，和與學(xué)生數(shù)據(jù)表對應(yīng)的清洗參數(shù)為：對學(xué)生年齡字段中年齡小于15歲的數(shù)據(jù)進行清洗，并將年齡小于15歲的學(xué)生的年齡設(shè)置為16歲，則通過上述對學(xué)生數(shù)據(jù)表的清洗參數(shù)的設(shè)置，系統(tǒng)可以自動的將學(xué)生數(shù)據(jù)表中年齡小于15歲的學(xué)生年齡設(shè)置成16歲，從而實現(xiàn)了學(xué)生數(shù)據(jù)表的數(shù)據(jù)清洗。

需要說明的是，所述待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)可以通過客戶端界面進行上傳和輸入。例如，用戶上傳所述待清洗的數(shù)據(jù)文件到系統(tǒng)后，可以通過在客戶端界面中勾選數(shù)據(jù)字段的方式選擇相應(yīng)的需要清洗的字段名稱，然后在與該名稱對應(yīng)的位置上輸入匹配條件數(shù)據(jù)等，從而實現(xiàn)了待清洗的數(shù)據(jù)文件和與之對應(yīng)的清洗參數(shù)的輸入。

S102、根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序；

其中，生成的數(shù)據(jù)清洗程序可以是SQL(Structured Query Language， 數(shù)據(jù)庫查詢和程序設(shè)計語言)清洗程序。在本發(fā)明實施例中，根據(jù)步驟S101中的輸入的數(shù)據(jù)文件和與數(shù)據(jù)文件對應(yīng)的清洗參數(shù)，可以相應(yīng)的生成SQL數(shù)據(jù)清洗程序，從而可以通過該數(shù)據(jù)清洗程序?qū)?yīng)數(shù)據(jù)文件進行清洗。例如，步驟S101中接收到待清洗的學(xué)生數(shù)據(jù)表，和與學(xué)生數(shù)據(jù)表對應(yīng)的清洗參數(shù)為：對學(xué)生年齡字段中年齡小于15歲的數(shù)據(jù)進行清洗，并將年齡小于15歲的學(xué)生的年齡設(shè)置為16歲，則生成相應(yīng)的數(shù)據(jù)清洗程序可以為：UPDATE學(xué)生數(shù)據(jù)表SET年齡＝16WHERE年齡<15。

需要說明的是，對于特殊或是復(fù)雜的數(shù)據(jù)清理過程，用戶還可以直接將編寫好的數(shù)據(jù)清洗程序上傳到系統(tǒng)中，然后根據(jù)上傳的數(shù)據(jù)清洗程序直接對待清洗的數(shù)據(jù)文件進行清洗，從而提高了用戶體驗。

S103、根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。

對于本發(fā)明實施例，首先接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)，然后根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序，最后根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。從而通過本發(fā)明可以自動生成與所述待清洗數(shù)據(jù)文件對應(yīng)的清洗程序，而無需再人工進行編寫特定的清洗程序代碼，進而提高了數(shù)據(jù)清洗的效率。

本發(fā)明實施例提供了一種數(shù)據(jù)處理方法，首先接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)，然后根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序，最后根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。與目前通過人工方式編寫特定的清洗程序?qū)Υ逑吹臄?shù)據(jù)文件進行清洗相比，本發(fā)明實施例首先接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)，然后根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序，最后根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。從而通過本發(fā)明可以自動生成與所述待清洗數(shù)據(jù)文件對應(yīng)的清洗程序，而無需再人工進行編寫特定的清洗程序代碼，進而提高了數(shù)據(jù)清洗的效率。

本發(fā)明實施例提供了另一種數(shù)據(jù)處理方法，如圖2所示，所述方法包括：

S201、接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)。

其中，所述待清洗的數(shù)據(jù)文件可以為表格數(shù)據(jù)文件、數(shù)據(jù)庫文件等，所述清洗參數(shù)是用于指定清洗數(shù)據(jù)文件的一些條件、參數(shù)等。對于本發(fā)明實施例，所述清洗參數(shù)具體可以為表格中的字段和與字段對應(yīng)設(shè)定的匹配條件，另外所述清洗參數(shù)中還可以包括清洗數(shù)據(jù)文件的順序號等，本發(fā)明實施例不做具體限定。

需要說明的是，所述待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)可以通過客戶端界面進行上傳和輸入。例如，用戶上傳所述待清洗的數(shù)據(jù)文件到系統(tǒng)后，可以通過在客戶端界面中勾選數(shù)據(jù)字段的方式選擇相應(yīng)的需要清洗的字段名稱，然后在與該名稱對應(yīng)的位置上輸入匹配條件數(shù)據(jù)等，從而實現(xiàn)了待清洗的數(shù)據(jù)文件和與之對應(yīng)的清洗參數(shù)的輸入。

S202、根據(jù)所述待清洗的數(shù)據(jù)文件中字段的內(nèi)容，對所述清洗參數(shù)進行驗證。

其中，對所述清洗參數(shù)進行驗證，可以驗證所述清洗參數(shù)中的字段是否在待清洗的數(shù)據(jù)文件中存在，以及驗證清洗參數(shù)中與字段對應(yīng)的匹配條件類型是否符合待清洗的數(shù)據(jù)文件中字段的類型等，本發(fā)明實施例不做具體限定。

例如，待清洗的數(shù)據(jù)文件中存在姓名字段、性別字段、年齡字段和班級字段，若接收到的清洗參數(shù)為將身高字段小于等于160厘米的學(xué)生的年齡設(shè)置成為15歲，則根據(jù)所述待清洗的數(shù)據(jù)文件中字段的內(nèi)容對所述清洗參數(shù)進行驗證發(fā)現(xiàn)，待清洗的數(shù)據(jù)文件中不存在身高字段，因此所述清洗參數(shù)不能通過驗證；若接收到的清洗參數(shù)為將待清洗的數(shù)據(jù)文件中將姓名字段為王姓的人的姓名設(shè)置成15，則根據(jù)所述待清洗的數(shù)據(jù)文件中字段的內(nèi)容對所述清洗參數(shù)進行驗證發(fā)現(xiàn)，待清洗的數(shù)據(jù)文件中姓名字段對應(yīng)的類型為字符型，而將姓名字段為王姓的人的姓名設(shè)置成15為數(shù)值型，因此所述清洗參數(shù)也不能通過驗證。

S203a、若驗證通過，則根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序。

其中，生成的數(shù)據(jù)清洗程序可以是SQL(Structured Query Language，數(shù)據(jù)庫查詢和程序設(shè)計語言)清洗程序。在本發(fā)明實施例中，對于驗證通 過的清洗參數(shù)，可以相應(yīng)的生成SQL數(shù)據(jù)清洗程序，從而可以通過該數(shù)據(jù)清洗程序?qū)?yīng)數(shù)據(jù)文件進行清洗。例如，接收到待清洗的學(xué)生數(shù)據(jù)表，和與學(xué)生數(shù)據(jù)表對應(yīng)的清洗參數(shù)為：對學(xué)生年齡字段中年齡小于15歲的數(shù)據(jù)進行清洗，并將年齡小于15歲的學(xué)生的年齡設(shè)置為16歲，則生成相應(yīng)的數(shù)據(jù)清洗程序可以為：UPDATE學(xué)生數(shù)據(jù)表SET年齡＝16WHERE年齡<15。

需要說明的是，對于特殊或是復(fù)雜的數(shù)據(jù)清理過程，用戶還可以直接將編寫好的數(shù)據(jù)清洗程序上傳到系統(tǒng)中，然后根據(jù)上傳的數(shù)據(jù)清洗程序直接對待清洗的數(shù)據(jù)文件進行清洗，從而提高了用戶體驗。

進一步地，根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序之后，還可以根據(jù)待清洗數(shù)據(jù)文件中的數(shù)據(jù)內(nèi)容對生成的數(shù)據(jù)清洗程序進行驗證。需要說明的是，具體的驗證內(nèi)容可以根據(jù)實際的清洗參數(shù)進行配置，若清洗參數(shù)為對學(xué)生表中序列號為1至3的學(xué)生姓名設(shè)置為張翔、柳柳，則對數(shù)據(jù)清洗程序進行驗證發(fā)現(xiàn)，對學(xué)生表中序列號為1至3的學(xué)生姓名設(shè)置為張翔、柳柳中缺少對應(yīng)的一個學(xué)生姓名，因此對清洗程序驗證不通過。

對于本發(fā)明實施例，所述清洗參數(shù)中包括清洗順序信息，所述根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗包括：按照所述清洗順序信息，對所述待清洗的數(shù)據(jù)文件進行順序清洗。例如，接收到待清洗的學(xué)生數(shù)據(jù)表，所述學(xué)生數(shù)據(jù)表中包括姓名字段、性別字段、年齡字段、體重字段；和與學(xué)生數(shù)據(jù)表對應(yīng)的清洗參數(shù)為：清洗順序2對應(yīng)將學(xué)生數(shù)據(jù)表中年齡字段小于15歲的學(xué)生對應(yīng)的數(shù)據(jù)刪除；清洗順序1對應(yīng)將學(xué)生數(shù)據(jù)表中性別字段為女的學(xué)生對應(yīng)的數(shù)據(jù)刪除，則根據(jù)所述清洗順序，首先將學(xué)生數(shù)據(jù)表中性別字段為女的學(xué)生對應(yīng)的數(shù)據(jù)刪除，然后根據(jù)上述清洗數(shù)據(jù)文件之后，將學(xué)生數(shù)據(jù)表中年齡字段小于15歲的學(xué)生對應(yīng)的數(shù)據(jù)刪除。

S203b、若驗證未通過，則將驗證未通過的清洗參數(shù)存儲到系統(tǒng)日志當(dāng)中。

其中，所述步驟S203b是步驟S203a的并列步驟，在本發(fā)明實施例中，若所述清洗參數(shù)未通過，則將驗證未通過的清洗參數(shù)存儲到系統(tǒng)日志當(dāng)中，可以使后臺程序人員通過系統(tǒng)日志查看不能通過驗證的原因，從而根據(jù)查 看的內(nèi)容對清洗參數(shù)做出及時的修改，進而提高了用戶體驗。

S204a、根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。

對于本發(fā)明實施例，首先接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)，然后根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序，最后根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。從而通過本發(fā)明可以自動生成與所述待清洗數(shù)據(jù)文件對應(yīng)的清洗程序，而無需再人工進行編寫特定的清洗程序代碼，進而提高了數(shù)據(jù)清洗的效率。

S205a、接收清洗數(shù)據(jù)的查詢指令。

其中，所述查詢指令用于輸出所述待清洗的數(shù)據(jù)文件的詳細清洗信息。所述查詢指令可用于查詢清洗成功的數(shù)據(jù)條數(shù)和未能清洗成功的數(shù)據(jù)條數(shù)，以及查詢清洗成功的數(shù)據(jù)的詳細信息、未能清洗成功的數(shù)據(jù)的詳細信息等，本發(fā)明實施例不做具體限定。對于本發(fā)明實施例，系統(tǒng)根據(jù)清洗參數(shù)生成的清洗SQL語句，執(zhí)行數(shù)據(jù)的清洗，清洗完成以后，程序根據(jù)查詢未能清洗數(shù)據(jù)的SQL語句，將未能清洗的數(shù)據(jù)查詢出來，并且顯示給用戶，用戶如果修改了相應(yīng)的配置文件中的配置，或者修改了某些數(shù)據(jù)，點擊保存，那么程序會再次進行執(zhí)行，如此反復(fù)直到所有的清洗都執(zhí)行完畢，或者用戶主動中斷執(zhí)行。

本發(fā)明實施例提供了另一種數(shù)據(jù)處理方法，首先接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)，然后根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序，最后根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。與目前通過人工方式編寫特定的清洗程序?qū)Υ逑吹臄?shù)據(jù)文件進行清洗相比，本發(fā)明實施例首先接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)，然后根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序，最后根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。從而通過本發(fā)明可以自動生成與所述待清洗數(shù)據(jù)文件對應(yīng)的清洗程序，而無需再人工進行編寫特定的清洗程序代碼，進而提高了數(shù)據(jù)清洗的效率。

進一步地，本發(fā)明實施例提供一種數(shù)據(jù)處理裝置，如圖3所示，所述裝置包括：接收單元31、生成單元32、清洗單元33。

接收單元31，用于接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文 件對應(yīng)的清洗參數(shù)。

生成單元32，用于根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序。

清洗單元33，用于根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。

需要說明的是，本發(fā)明實施例提供的一種數(shù)據(jù)處理裝置所涉及各功能單元的其他相應(yīng)描述，可以參考圖1所示方法的對應(yīng)描述，在此不再贅述，但應(yīng)當(dāng)明確，本實施例中的裝置能夠?qū)?yīng)實現(xiàn)前述方法實施例中的全部內(nèi)容。

本發(fā)明實施例提供了一種數(shù)據(jù)處理裝置，首先接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)，然后根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序，最后根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。與目前通過人工方式編寫特定的清洗程序?qū)Υ逑吹臄?shù)據(jù)文件進行清洗相比，本發(fā)明實施例首先接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)，然后根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序，最后根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。從而通過本發(fā)明可以自動生成與所述待清洗數(shù)據(jù)文件對應(yīng)的清洗程序，而無需再人工進行編寫特定的清洗程序代碼，進而提高了數(shù)據(jù)清洗的效率。

進一步地，本發(fā)明實施例提供另一種數(shù)據(jù)處理裝置，如圖4所示，所述裝置包括：接收單元41、生成單元42、清洗單元43。

接收單元41，用于接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)。

生成單元42，用于根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序。

清洗單元43，用于根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。

進一步地，所述裝置還包括：驗證單元44。

所述驗證單元44，用于根據(jù)所述待清洗的數(shù)據(jù)文件中字段的內(nèi)容，對所述清洗參數(shù)進行驗證。

所述生成單元42，具體用于若所述清洗參數(shù)驗證通過，則根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序。

所述清洗單元43，具體用于按照所述清洗順序信息，對所述待清洗的數(shù)據(jù)文件進行順序清洗。

進一步地，所述裝置還包括：

存儲單元45，用于若所述清洗參數(shù)驗證未通過，則將驗證未通過的清洗參數(shù)存儲到系統(tǒng)日志當(dāng)中。

所述接收單元41，還用于接收清洗數(shù)據(jù)的查詢指令，所述查詢指令用于輸出所述待清洗的數(shù)據(jù)文件的詳細清洗信息。

需要說明的是，本發(fā)明實施例提供的另一種數(shù)據(jù)處理裝置所涉及各功能單元的其他相應(yīng)描述，可以參考圖2所示方法的對應(yīng)描述，在此不再贅述，但應(yīng)當(dāng)明確，本實施例中的裝置能夠?qū)?yīng)實現(xiàn)前述方法實施例中的全部內(nèi)容。

本發(fā)明實施例提供了另一種數(shù)據(jù)處理裝置，首先接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)，然后根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序，最后根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。與目前通過人工方式編寫特定的清洗程序?qū)Υ逑吹臄?shù)據(jù)文件進行清洗相比，本發(fā)明實施例首先接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)，然后根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序，最后根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。從而通過本發(fā)明可以自動生成與所述待清洗數(shù)據(jù)文件對應(yīng)的清洗程序，而無需再人工進行編寫特定的清洗程序代碼，進而提高了數(shù)據(jù)清洗的效率。

所述數(shù)據(jù)清洗裝置包括處理器和存儲器，上述接收單元、生成單元、清洗單元、驗證單元和存儲單元等均作為程序單元存儲在存儲器中，由處理器執(zhí)行存儲在存儲器中的上述程序單元來實現(xiàn)相應(yīng)的功能。

處理器中包含內(nèi)核，由內(nèi)核去存儲器中調(diào)取相應(yīng)的程序單元。內(nèi)核可以設(shè)置一個或以上，通過調(diào)整內(nèi)核參數(shù)來提高數(shù)據(jù)清洗的效率。

存儲器可能包括計算機可讀介質(zhì)中的非永久性存儲器，隨機存取存儲器(RAM)和/或非易失性內(nèi)存等形式，如只讀存儲器(ROM)或閃存(flash RAM)，存儲器包括至少一個存儲芯片。

本申請還提供了一種計算機程序產(chǎn)品，當(dāng)在數(shù)據(jù)處理設(shè)備上執(zhí)行時， 適于執(zhí)行初始化有如下方法步驟的程序代碼：接收待清洗的數(shù)據(jù)文件，和與所述待清洗的數(shù)據(jù)文件對應(yīng)的清洗參數(shù)；根據(jù)所述清洗參數(shù)生成數(shù)據(jù)清洗程序；根據(jù)所述數(shù)據(jù)清洗程序?qū)λ龃逑吹臄?shù)據(jù)文件進行清洗。

本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本申請的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此，本申請可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且，本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學(xué)存儲器等)上實施的計算機程序產(chǎn)品的形式。

本申請是參照根據(jù)本申請實施例的方法、設(shè)備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導(dǎo)計算機或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計算機或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

在一個典型的配置中，計算設(shè)備包括一個或多個處理器(CPU)、輸入/輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。

存儲器可能包括計算機可讀介質(zhì)中的非永久性存儲器，隨機存取存儲 器(RAM)和/或非易失性內(nèi)存等形式，如只讀存儲器(ROM)或閃存(flash RAM)。存儲器是計算機可讀介質(zhì)的示例。

計算機可讀介質(zhì)包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術(shù)來實現(xiàn)信息存儲。信息可以是計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計算機的存儲介質(zhì)的例子包括，但不限于相變內(nèi)存(PRAM)、靜態(tài)隨機存取存儲器(SRAM)、動態(tài)隨機存取存儲器(DRAM)、其他類型的隨機存取存儲器(RAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤只讀存儲器(CD-ROM)、數(shù)字多功能光盤(DVD)或其他光學(xué)存儲、磁盒式磁帶，磁帶磁磁盤存儲或其他磁性存儲設(shè)備或任何其他非傳輸介質(zhì)，可用于存儲可以被計算設(shè)備訪問的信息。按照本文中的界定，計算機可讀介質(zhì)不包括暫存電腦可讀媒體(transitory media)，如調(diào)制的數(shù)據(jù)信號和載波。

以上僅為本申請的實施例而已，并不用于限制本申請。對于本領(lǐng)域技術(shù)人員來說，本申請可以有各種更改和變化。凡在本申請的精神和原理之內(nèi)所作的任何修改、等同替換、改進等，均應(yīng)包含在本申請的權(quán)利要求范圍之內(nèi)。