本申請涉及數(shù)據(jù)倉庫，尤其涉及一種數(shù)據(jù)分層分類的方法和裝置。

背景技術(shù)：

1、目前，在現(xiàn)代企業(yè)管理中，尤其是在鋼鐵產(chǎn)業(yè)互聯(lián)網(wǎng)行業(yè)，數(shù)據(jù)分層分類方法對于數(shù)據(jù)管理和決策支持至關(guān)重要。傳統(tǒng)的數(shù)據(jù)管理面臨數(shù)據(jù)來源多樣化、數(shù)據(jù)處理效率低、數(shù)據(jù)復(fù)用率低等問題。

2、傳統(tǒng)數(shù)據(jù)倉庫往往采用批處理方式進行數(shù)據(jù)加載和轉(zhuǎn)換，具體缺陷如下：

3、1、復(fù)雜的數(shù)據(jù)模型設(shè)計：

4、傳統(tǒng)數(shù)據(jù)倉庫通常使用星型或雪花型模型來組織數(shù)據(jù)，這些模型需要精心設(shè)計和優(yōu)化，以適應(yīng)不同的分析需求。但隨著數(shù)據(jù)量和復(fù)雜性的增加，模型設(shè)計變得更加復(fù)雜和困難。

5、2、處理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)能力不足：

6、傳統(tǒng)數(shù)據(jù)倉庫主要面向結(jié)構(gòu)化數(shù)據(jù)，對于半結(jié)構(gòu)化數(shù)據(jù)，如json(javascriptobject?notation，javascript對象表示法)、xml(extensible?markup?language，可擴展標(biāo)記語言)，處理能力有限。在當(dāng)前信息爆炸的時代，這限制了數(shù)據(jù)倉庫在全面利用企業(yè)數(shù)據(jù)上的潛力。

7、3、靈活性和擴展性不足：

8、傳統(tǒng)數(shù)據(jù)倉庫通常采用靜態(tài)模式和預(yù)定義的數(shù)據(jù)結(jié)構(gòu)，難以快速適應(yīng)業(yè)務(wù)需求的變化和新數(shù)據(jù)源的接入。這導(dǎo)致了數(shù)據(jù)倉庫在面對快速變化的業(yè)務(wù)環(huán)境時缺乏足夠的靈活性和擴展性。

9、4、難以支持實時分析和決策：

10、由于數(shù)據(jù)更新延遲和復(fù)雜的數(shù)據(jù)處理流程，傳統(tǒng)數(shù)據(jù)倉庫往往難以支持實時數(shù)據(jù)分析和即時決策。在需要快速響應(yīng)和實時調(diào)整策略的應(yīng)用場景中，這成為了一個重要的局限性。

技術(shù)實現(xiàn)思路

1、針對現(xiàn)有技術(shù)存在的問題，本申請?zhí)峁┮环N數(shù)據(jù)分層分類方案，提出一種新的數(shù)據(jù)的處理流程，從而實現(xiàn)對數(shù)據(jù)的分層和分類。

2、根據(jù)本申請的第一個方面，提供一種數(shù)據(jù)分層分類的方法，其特征在于，包括：

3、采集待進入數(shù)據(jù)倉庫的數(shù)據(jù)；

4、將采集的數(shù)據(jù)加載到所述數(shù)據(jù)倉庫的ods中；

5、對所述ods中的數(shù)據(jù)進行數(shù)據(jù)倉庫的預(yù)處理；

6、將處理后的數(shù)據(jù)傳輸至odsp中進行處理，獲得業(yè)務(wù)明細(xì)數(shù)據(jù)；

7、根據(jù)所述業(yè)務(wù)明細(xì)數(shù)據(jù)進行數(shù)據(jù)建模，確定所述業(yè)務(wù)明細(xì)數(shù)據(jù)的分類；以及

8、對數(shù)據(jù)建模后的數(shù)據(jù)進行分層處理，獲得所述業(yè)務(wù)明細(xì)數(shù)據(jù)的分層結(jié)果。

9、根據(jù)本申請的第二個方面，提供一種數(shù)據(jù)分層分類的裝置，其特征在于，包括：

10、采集模塊，用于采集待進入數(shù)據(jù)倉庫的數(shù)據(jù)；

11、加載模塊，用于將采集的數(shù)據(jù)加載到所述數(shù)據(jù)倉庫的ods中；

12、預(yù)處理模塊，用于對所述ods中的數(shù)據(jù)進行數(shù)據(jù)倉庫的預(yù)處理；

13、第一獲得模塊，用于將處理后的數(shù)據(jù)傳輸至odsp中進行處理，獲得業(yè)務(wù)明細(xì)數(shù)據(jù)；

14、確定模塊，用于根據(jù)所述業(yè)務(wù)明細(xì)數(shù)據(jù)進行數(shù)據(jù)建模，確定所述業(yè)務(wù)明細(xì)數(shù)據(jù)的分類；以及

15、第二獲得模塊，用于對數(shù)據(jù)建模后的數(shù)據(jù)進行分層處理，獲得所述業(yè)務(wù)明細(xì)數(shù)據(jù)的分層結(jié)果。

16、根據(jù)本申請的第三個方面，提供一種電子設(shè)備，包括：

17、處理器；以及

18、存儲器，存儲有計算機指令，當(dāng)所述計算機指令被所述處理器執(zhí)行時，使得所述處理器執(zhí)行第一個方面所述的方法。

19、根據(jù)本申請的第四個方面，提供一種非瞬時性計算機存儲介質(zhì)，存儲有計算機程序，當(dāng)所述計算機程序被多個處理器執(zhí)行時，使得所述處理器執(zhí)行第一個方面所述的方法。

20、根據(jù)本申請?zhí)峁┑臄?shù)據(jù)分層分類方案提供的新的數(shù)據(jù)的處理流程，展現(xiàn)清晰的數(shù)據(jù)管理和流程，數(shù)據(jù)處理流程非常靈活，數(shù)據(jù)質(zhì)量和一致性得到提高，并且從業(yè)務(wù)驅(qū)動的數(shù)據(jù)視角，支持多樣化的業(yè)務(wù)需求，優(yōu)化數(shù)據(jù)訪問和使用效率，增強業(yè)務(wù)部門的數(shù)據(jù)自治性。

技術(shù)特征：

1.一種數(shù)據(jù)分層分類的方法，其特征在于，包括：

2.如權(quán)利要求1所述的方法，其特征在于，所述對數(shù)據(jù)建模后的數(shù)據(jù)進行分層處理，獲得對所述業(yè)務(wù)明細(xì)數(shù)據(jù)的分層結(jié)果，包括：

3.如權(quán)利要求2所述的方法，其特征在于，所述對數(shù)據(jù)建模后的數(shù)據(jù)進行分層處理，獲得對所述業(yè)務(wù)明細(xì)數(shù)據(jù)的分層結(jié)果，還包括：

4.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述業(yè)務(wù)明細(xì)數(shù)據(jù)進行數(shù)據(jù)建模，確定所述業(yè)務(wù)明細(xì)數(shù)據(jù)的分類，包括：

5.如權(quán)利要求1至4任一項所述的方法，其特征在于，還包括：

6.如權(quán)利要求1至4任一項所述的方法，其特征在于，所述采集待進入數(shù)據(jù)倉庫的數(shù)據(jù)。包括：

7.如權(quán)利要求1至4任一項所述的方法，其特征在于，數(shù)據(jù)倉庫的預(yù)處理包括數(shù)據(jù)清洗、數(shù)據(jù)驗證、缺失值處理以及格式錯誤處理中的一個或多個，所述待進入數(shù)據(jù)倉庫的數(shù)據(jù)包括鋼鐵互聯(lián)網(wǎng)行業(yè)產(chǎn)生的數(shù)據(jù)。

8.一種數(shù)據(jù)分層分類的裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括存儲器和處理器，所述存儲器上存儲有計算機程序，所述處理器在執(zhí)行所述存儲器上的計算機程序時實現(xiàn)權(quán)利要求1至7中任一項所述的方法。

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至7中任一項所述的方法。

技術(shù)總結(jié)
本申請涉及一種數(shù)據(jù)分層分類的方法和裝置，該方法包括：采集待進入數(shù)據(jù)倉庫的數(shù)據(jù)；將采集的數(shù)據(jù)加載到所述數(shù)據(jù)倉庫的ODS中；對所述ODS中的數(shù)據(jù)進行數(shù)據(jù)倉庫的預(yù)處理；將處理后的數(shù)據(jù)傳輸至ODSP中進行處理，獲得業(yè)務(wù)明細(xì)數(shù)據(jù)；根據(jù)所述業(yè)務(wù)明細(xì)數(shù)據(jù)進行數(shù)據(jù)建模，確定所述業(yè)務(wù)明細(xì)數(shù)據(jù)的分類；以及對數(shù)據(jù)建模后的數(shù)據(jù)進行分層處理，獲得所述業(yè)務(wù)明細(xì)數(shù)據(jù)的分層結(jié)果。根據(jù)本申請的方案，展現(xiàn)清晰的數(shù)據(jù)管理和流程，數(shù)據(jù)處理流程非常靈活，數(shù)據(jù)質(zhì)量和一致性得到提高，并且從業(yè)務(wù)驅(qū)動的數(shù)據(jù)視角，支持多樣化的業(yè)務(wù)需求，優(yōu)化數(shù)據(jù)訪問和使用效率，增強業(yè)務(wù)部門的數(shù)據(jù)自治性。

技術(shù)研發(fā)人員：程夏瑩,萬仕龍,胡燕,王匯豐,黃天立,王來
受保護的技術(shù)使用者：歐冶云商股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30