技術(shù)編號(hào):40384709
提示:您尚未登錄,請點(diǎn) 登 陸 后下載,如果您還沒有賬戶請點(diǎn) 注 冊 ,登陸完成后,請刷新本頁查看技術(shù)詳細(xì)信息。本發(fā)明涉及數(shù)據(jù)處理,特別是一種etl過程中的數(shù)據(jù)檢測方法及系統(tǒng)。背景技術(shù)、在當(dāng)前的大數(shù)據(jù)處理環(huán)境中,etl過程是將數(shù)據(jù)從源系統(tǒng)遷移到目標(biāo)系統(tǒng)的關(guān)鍵環(huán)節(jié);etl過程的作用是將來自多個(gè)異構(gòu)數(shù)據(jù)源的數(shù)據(jù)統(tǒng)一清洗、轉(zhuǎn)換和加載到數(shù)據(jù)倉庫或數(shù)據(jù)湖的集中式數(shù)據(jù)平臺(tái)中,為后續(xù)的數(shù)據(jù)分析和商業(yè)智能應(yīng)用提供高質(zhì)量的數(shù)據(jù)支撐;然而,傳統(tǒng)的etl過程往往存在一些固有的問題和挑戰(zhàn),例如由于數(shù)據(jù)源的異構(gòu)性,不同來源的數(shù)據(jù)在格式、編碼、標(biāo)準(zhǔn)方面存在差異,在etl轉(zhuǎn)換過程中很容易導(dǎo)致數(shù)據(jù)不一致的情況出現(xiàn),此外并發(fā)處理和任務(wù)調(diào)...
注意:該技術(shù)已申請專利,請尊重研發(fā)人員的辛勤研發(fā)付出,在未取得專利權(quán)人授權(quán)前,僅供技術(shù)研究參考不得用于商業(yè)用途。
該專利適合技術(shù)人員進(jìn)行技術(shù)研發(fā)參考以及查看自身技術(shù)是否侵權(quán),增加技術(shù)思路,做技術(shù)知識(shí)儲(chǔ)備,不適合論文引用。
請注意,此類技術(shù)沒有源代碼,用于學(xué)習(xí)研究技術(shù)思路。