本發(fā)明涉及數(shù)據(jù)中臺(tái)的，尤其是涉及一種數(shù)據(jù)中臺(tái)的任務(wù)管理方法。

背景技術(shù)：

1、在如今的大數(shù)據(jù)時(shí)代中的現(xiàn)有大數(shù)據(jù)處理中，使用數(shù)據(jù)中臺(tái)可以解放開發(fā)人員的生產(chǎn)力，極大的縮短數(shù)據(jù)價(jià)值的萃取過程，提高企業(yè)提煉數(shù)據(jù)價(jià)值的能力，但在現(xiàn)有的數(shù)據(jù)中臺(tái)中，數(shù)據(jù)分析和計(jì)算往往只通過本地的服務(wù)器進(jìn)行計(jì)算，布設(shè)成本高，且需要更大的面積進(jìn)行布設(shè)，變相提高了成本，且現(xiàn)有的計(jì)算結(jié)果的模板固定的，不能滿足現(xiàn)有操作人員的需求，同時(shí)計(jì)算的結(jié)果往往是客戶端進(jìn)行請(qǐng)求才會(huì)發(fā)送，

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種數(shù)據(jù)中臺(tái)的任務(wù)管理方法，形成物聯(lián)網(wǎng)的數(shù)據(jù)資源池，通過賬號(hào)權(quán)限模塊對(duì)賬號(hào)權(quán)限以及可調(diào)用的數(shù)據(jù)庫(kù)進(jìn)行限制，操作人員使用任務(wù)生成模板調(diào)用數(shù)據(jù)形成打包數(shù)據(jù)，通過任務(wù)管理模塊對(duì)打包數(shù)據(jù)進(jìn)行切割，分別為不同的計(jì)算方式，從而在分布式計(jì)算平臺(tái)上找到合適的架構(gòu)進(jìn)行計(jì)算，從而有更好的計(jì)算效率，將計(jì)算平臺(tái)和數(shù)據(jù)中臺(tái)分離，并使用數(shù)據(jù)中臺(tái)進(jìn)行數(shù)據(jù)的統(tǒng)籌分類，提高計(jì)算平臺(tái)的計(jì)算效率。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種數(shù)據(jù)中臺(tái)的任務(wù)管理方法，包括以下步驟：

3、s1：管理人員在后端登陸，對(duì)數(shù)據(jù)中臺(tái)的運(yùn)行進(jìn)行調(diào)控；

4、s2：操作人員依照賬號(hào)權(quán)限模塊進(jìn)行登陸，在前臺(tái)輸入任務(wù)數(shù)據(jù)，填充任務(wù)生成模板，生成對(duì)應(yīng)任務(wù)，并將任務(wù)加入任務(wù)管理模塊；

5、s3：數(shù)據(jù)同步模塊依照任務(wù)從對(duì)應(yīng)的數(shù)據(jù)庫(kù)中同步相應(yīng)數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)，任務(wù)管理模塊將任務(wù)進(jìn)行分割，生成計(jì)算任務(wù)，將數(shù)據(jù)倉(cāng)庫(kù)中的對(duì)應(yīng)數(shù)據(jù)依照計(jì)算任務(wù)進(jìn)行配給，形成打包數(shù)據(jù)；

6、任務(wù)管理模塊將打包數(shù)據(jù)經(jīng)過加密后，分發(fā)到分布式計(jì)算平臺(tái)，返回得到計(jì)算結(jié)果；

7、s4：使用數(shù)據(jù)中臺(tái)中的任務(wù)管理模塊對(duì)計(jì)算結(jié)果進(jìn)行整合，對(duì)應(yīng)任務(wù)結(jié)果模板生成結(jié)果；

8、s5：使用推送模塊對(duì)結(jié)果進(jìn)行相應(yīng)推送。

9、優(yōu)選的，所述步驟s1中，調(diào)控過程包括設(shè)置賬號(hào)權(quán)限模塊、設(shè)置任務(wù)生成模板、設(shè)置任務(wù)管理模塊、設(shè)置任務(wù)結(jié)果模板、設(shè)置推送模塊和運(yùn)行維護(hù)；

10、設(shè)置賬號(hào)權(quán)限模塊，包括部門、操作人、可用數(shù)據(jù)庫(kù)和操作記錄；

11、可用數(shù)據(jù)庫(kù)具體設(shè)置為，依照部門實(shí)際的權(quán)利管理，設(shè)置操作人能使用的數(shù)據(jù)庫(kù)；

12、設(shè)置任務(wù)生成模板，包括引用數(shù)據(jù)內(nèi)容、數(shù)據(jù)處理、任務(wù)生成、目標(biāo)地址和任務(wù)結(jié)果模板；

13、引用數(shù)據(jù)內(nèi)容具體包括數(shù)據(jù)庫(kù)名稱、引用內(nèi)容、開始時(shí)間和終止時(shí)間；

14、數(shù)據(jù)處理會(huì)記錄對(duì)引用數(shù)據(jù)內(nèi)容進(jìn)行數(shù)據(jù)分析或數(shù)據(jù)統(tǒng)計(jì)的要求；

15、任務(wù)生成會(huì)將對(duì)應(yīng)的引用數(shù)據(jù)內(nèi)容、數(shù)據(jù)處理、目標(biāo)地址和任務(wù)結(jié)果模板進(jìn)行打包得到任務(wù)，將任務(wù)發(fā)送到任務(wù)管理模塊；

16、任務(wù)管理模塊具體包括任務(wù)記錄、任務(wù)分割、計(jì)算次序、數(shù)據(jù)加密、任務(wù)派送、填充任務(wù)結(jié)果模板；

17、任務(wù)記錄負(fù)責(zé)記載當(dāng)前所有執(zhí)行的任務(wù)；任務(wù)分割對(duì)任務(wù)進(jìn)行分割，得到若干個(gè)計(jì)算任務(wù)；設(shè)置分割計(jì)算任務(wù)的線性排序?yàn)橛?jì)算次序；數(shù)據(jù)加密，對(duì)計(jì)算任務(wù)和配給數(shù)據(jù)進(jìn)行加密，得到加密數(shù)據(jù)；任務(wù)派送將加密數(shù)據(jù)進(jìn)行打包送往分布式計(jì)算平臺(tái)；填充任務(wù)結(jié)果模板，分布式計(jì)算平臺(tái)對(duì)加密數(shù)據(jù)進(jìn)行解密并計(jì)算，對(duì)任務(wù)管理模塊返回計(jì)算結(jié)果，任務(wù)管理模塊將計(jì)算結(jié)果依照計(jì)算次序填充到任務(wù)結(jié)果模板中，并將目標(biāo)地址進(jìn)行轉(zhuǎn)化，得到推送地址；

18、任務(wù)結(jié)果模板的設(shè)置方式有兩種，分別是固定模板和自定義模板；固定模板為管理人員設(shè)置任務(wù)生成模板時(shí)依照不同部門提供的模板；自定義模板，是操作人員自行設(shè)置的模板；

19、推送模塊用于主動(dòng)將內(nèi)容發(fā)送到客戶端。

20、優(yōu)選的，所述步驟s3中，將對(duì)應(yīng)數(shù)據(jù)同步到數(shù)據(jù)倉(cāng)庫(kù)的過程如下：

21、數(shù)據(jù)倉(cāng)庫(kù)具體包括貼源庫(kù)、數(shù)倉(cāng)庫(kù)、索引庫(kù)和任務(wù)庫(kù)，數(shù)據(jù)同步模塊包括數(shù)據(jù)接入同步和數(shù)據(jù)治理模塊，

22、數(shù)據(jù)接入同步模塊的工作過程如下：從數(shù)據(jù)源中獲取數(shù)據(jù)，包括兩種工作方式，一種是接口獲取，另一種是直接數(shù)據(jù)庫(kù)同步；在接口獲取中，依照引用數(shù)據(jù)內(nèi)容，定向定量的向數(shù)據(jù)庫(kù)獲取內(nèi)容，使用正則校驗(yàn)數(shù)據(jù)；在直接數(shù)據(jù)庫(kù)同步中，采用全量或增量的同步方式，同步到貼源庫(kù)中；

23、數(shù)據(jù)治理模塊對(duì)貼源庫(kù)中的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，包括生成數(shù)據(jù)標(biāo)注和數(shù)據(jù)索引，具體包括數(shù)據(jù)提取、數(shù)據(jù)清洗、數(shù)據(jù)修正、數(shù)據(jù)對(duì)比和數(shù)據(jù)關(guān)聯(lián)，進(jìn)而生成數(shù)據(jù)標(biāo)注和數(shù)據(jù)索引，分別儲(chǔ)存到數(shù)倉(cāng)庫(kù)和索引庫(kù)中；

24、任務(wù)庫(kù)用于存儲(chǔ)返回的計(jì)算結(jié)果、任務(wù)生成模板的相關(guān)數(shù)據(jù)以及任務(wù)管理模塊的相關(guān)數(shù)據(jù)。

25、優(yōu)選的，所述步驟s3中，對(duì)打包數(shù)據(jù)進(jìn)行分割并加密的過程如下：

26、進(jìn)行分割過程按照實(shí)際計(jì)算內(nèi)容分為邏輯計(jì)算和浮點(diǎn)計(jì)算兩種計(jì)算任務(wù)，并按照計(jì)算任務(wù)的線性順序設(shè)置計(jì)算次序，將計(jì)算次序記錄到任務(wù)管理模塊中，并對(duì)打包數(shù)據(jù)進(jìn)行加密。

27、優(yōu)選的，所述步驟s6中，推送模塊具體如下：

28、推送模塊包括推送碼、內(nèi)容碼、推送類型、推送地址、推送過程和推送去重；

29、推送碼為推送過程的標(biāo)識(shí)，用于標(biāo)定推送過程；

30、內(nèi)容碼為本次推送內(nèi)容的標(biāo)示，用于標(biāo)記推送的內(nèi)容；

31、推送類型包括http、tcp和udp三種方式；

32、推送地址為目標(biāo)的地址，對(duì)應(yīng)不同的推送類型有不同的推送地址；

33、推送過程包括直接轉(zhuǎn)發(fā)和處理轉(zhuǎn)發(fā)，直接轉(zhuǎn)發(fā)為推送對(duì)應(yīng)貼源庫(kù)中的內(nèi)容，處理轉(zhuǎn)發(fā)為推送任務(wù)庫(kù)中的內(nèi)容；

34、推送去重用于去除重復(fù)推送的內(nèi)容，包括識(shí)別過程和識(shí)別周期，識(shí)別過程會(huì)將發(fā)送內(nèi)容對(duì)應(yīng)的內(nèi)容碼保存，在識(shí)別周期中，發(fā)送過的內(nèi)容依據(jù)內(nèi)容碼進(jìn)行去重。

35、因此，本發(fā)明采用上述的一種數(shù)據(jù)中臺(tái)的任務(wù)管理方法，具有以下好處：

36、在本發(fā)明中，將計(jì)算平臺(tái)和數(shù)據(jù)中臺(tái)進(jìn)行了分離，不布設(shè)本地計(jì)算服務(wù)器進(jìn)行計(jì)算，而是使用數(shù)據(jù)中臺(tái)對(duì)計(jì)算任務(wù)進(jìn)行分類，再經(jīng)過加密后送往分布式計(jì)算按平臺(tái)，分類的計(jì)算任務(wù)，在分布式計(jì)算平臺(tái)中，能更方便的找到更好的是計(jì)算架構(gòu)，從而提高了計(jì)算效率，并設(shè)置了推送模塊，相比于客戶端找數(shù)據(jù)中臺(tái)發(fā)送請(qǐng)求，主動(dòng)向客戶端發(fā)送對(duì)應(yīng)的數(shù)據(jù)，可以有效提高交流效率，避免任務(wù)沒完成期間，客戶端的不停聯(lián)絡(luò)。

37、下面通過附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。

技術(shù)特征：

1.一種數(shù)據(jù)中臺(tái)的任務(wù)管理方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)中臺(tái)的任務(wù)管理方法，其特征在于：所述步驟s1中，調(diào)控過程包括設(shè)置賬號(hào)權(quán)限模塊、設(shè)置任務(wù)生成模板、設(shè)置任務(wù)管理模塊、設(shè)置任務(wù)結(jié)果模板、設(shè)置推送模塊和運(yùn)行維護(hù)；

3.根據(jù)權(quán)利要求2所述的一種數(shù)據(jù)中臺(tái)的任務(wù)管理方法，其特征在于：所述步驟s3中，將對(duì)應(yīng)數(shù)據(jù)同步到數(shù)據(jù)倉(cāng)庫(kù)的過程如下：

4.根據(jù)權(quán)利要求3所述的一種數(shù)據(jù)中臺(tái)的任務(wù)管理方法，其特征在于：所述步驟s3中，對(duì)打包數(shù)據(jù)進(jìn)行分割并加密的過程如下：

5.根據(jù)權(quán)利要求4所述的一種數(shù)據(jù)中臺(tái)的任務(wù)管理方法，其特征在于：所述步驟s6中，推送模塊具體如下：

技術(shù)總結(jié)
本發(fā)明公開了一種數(shù)據(jù)中臺(tái)的任務(wù)管理方法，屬于數(shù)據(jù)處理的領(lǐng)域；具體包括以下步驟：S1：管理人員在后端登陸，對(duì)數(shù)據(jù)中臺(tái)的運(yùn)行進(jìn)行調(diào)控；S2：生成對(duì)應(yīng)任務(wù)，并將任務(wù)加入任務(wù)管理模塊；S3：數(shù)據(jù)同步模塊依照任務(wù)從對(duì)應(yīng)的數(shù)據(jù)庫(kù)中同步相應(yīng)數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)，最終形成打包數(shù)據(jù)；經(jīng)過加密后，分發(fā)到分布式計(jì)算平臺(tái)，返回得到計(jì)算結(jié)果；S4：使用數(shù)據(jù)中臺(tái)中的任務(wù)管理模塊對(duì)計(jì)算結(jié)果進(jìn)行整合，對(duì)應(yīng)任務(wù)結(jié)果模板生成結(jié)果；S5：使用推送模塊對(duì)結(jié)果進(jìn)行相應(yīng)推送。本發(fā)明采用上述方法，實(shí)現(xiàn)了快速的任務(wù)生成，并合理地進(jìn)行了人物分割，分割的任務(wù)可以合理的在分布式計(jì)算平臺(tái)上分別計(jì)算，能有效的提高計(jì)算的效率，并能快速得到任務(wù)結(jié)果。

技術(shù)研發(fā)人員：郭鋒,吳宇晨
受保護(hù)的技術(shù)使用者：湖南超繪智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10