本申請(qǐng)涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、系統(tǒng)、設(shè)備及介質(zhì)。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)呈暴發(fā)式增長(zhǎng)，對(duì)于一個(gè)網(wǎng)絡(luò)對(duì)象，可能在同一時(shí)間有成千上萬(wàn)的戶使用，隨之會(huì)在同一時(shí)間產(chǎn)生大量的對(duì)該網(wǎng)絡(luò)對(duì)象操作的流數(shù)據(jù)，而為了實(shí)現(xiàn)低延遲的處理這些操作，通常采用高并發(fā)的方式將這些流數(shù)據(jù)中對(duì)應(yīng)的操作更新到數(shù)據(jù)庫(kù)。但高并發(fā)的方式，會(huì)將這些流數(shù)據(jù)分配到不同的計(jì)算節(jié)點(diǎn)來(lái)處理對(duì)應(yīng)的操作，這就必然造成多個(gè)處理節(jié)點(diǎn)對(duì)數(shù)據(jù)庫(kù)中的網(wǎng)絡(luò)對(duì)象的讀寫(xiě)因競(jìng)爭(zhēng)而出現(xiàn)的異步差錯(cuò)的現(xiàn)象。即多個(gè)處理節(jié)點(diǎn)的處理結(jié)果直接更新到數(shù)據(jù)庫(kù)中，如過(guò)處理結(jié)果的類型相同，則無(wú)法實(shí)現(xiàn)多個(gè)處理節(jié)點(diǎn)的有效合并導(dǎo)致數(shù)據(jù)丟失；此外，采用高并發(fā)的方式，會(huì)增加處理節(jié)點(diǎn)和數(shù)據(jù)庫(kù)的負(fù)擔(dān)，使得服務(wù)器橫向擴(kuò)展加劇，成本增加。

2、因此，亟需一種有效方案來(lái)解決上述問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)處理方法，以解決傳統(tǒng)的數(shù)據(jù)處理方式存在的數(shù)據(jù)處理出錯(cuò)，數(shù)據(jù)處理成本消耗過(guò)高的問(wèn)題。

2、本申請(qǐng)的第一方面提出一種數(shù)據(jù)處理方法，包括：

3、獲取實(shí)時(shí)流數(shù)據(jù)，確定所述流數(shù)據(jù)對(duì)應(yīng)的特征值，并將特征值相同的流數(shù)據(jù)分配到同一處理節(jié)點(diǎn)；

4、針對(duì)任一所述處理節(jié)點(diǎn)中的所述流數(shù)據(jù)，根據(jù)所述處理節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)確定處理所述流數(shù)據(jù)的處理策略；

5、按照所述處理策略對(duì)所述處理節(jié)點(diǎn)中的所述流數(shù)據(jù)進(jìn)行處理，得到所述流數(shù)據(jù)的處理結(jié)果，并將所述處理結(jié)果更新至數(shù)據(jù)庫(kù)。

6、在本申請(qǐng)的一些實(shí)施方式中，針對(duì)任一所述處理節(jié)點(diǎn)中的所述流數(shù)據(jù)，根據(jù)所述處理節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)確定處理所述流數(shù)據(jù)的處理策略，包括：

7、確定預(yù)設(shè)的用于周期性的處理所述流數(shù)據(jù)的窗口時(shí)間；

8、計(jì)算所述處理節(jié)點(diǎn)在相鄰的窗口時(shí)間內(nèi)接收到的任一所述流數(shù)據(jù)所對(duì)應(yīng)的增長(zhǎng)率，并判斷所述增長(zhǎng)率是否超過(guò)第一預(yù)定值；

9、若所述增長(zhǎng)率超過(guò)第一預(yù)定值，確定所述處理策略為第一處理策略，所述第一處理策略包括將所述窗口時(shí)間減少至第一預(yù)定時(shí)間；

10、若所述增長(zhǎng)率不超過(guò)所述第一預(yù)定值，確定所述處理策略為第二處理策略，所述第二處理策略包括將所述窗口時(shí)間設(shè)置為預(yù)設(shè)值。

11、在本申請(qǐng)的一些實(shí)施方式中，針對(duì)任一所述處理節(jié)點(diǎn)中的所述流數(shù)據(jù)，根據(jù)所述處理節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)確定處理所述流數(shù)據(jù)的處理策略，包括：

12、確定預(yù)設(shè)的用于周期性的處理所述流數(shù)據(jù)的窗口時(shí)間；

13、計(jì)算處理節(jié)點(diǎn)在相鄰的窗口時(shí)間內(nèi)接收到的所有流數(shù)據(jù)對(duì)應(yīng)的綜合增長(zhǎng)率，并判斷所述綜合增長(zhǎng)率是否超過(guò)第二預(yù)定值；

14、若所述增長(zhǎng)率超過(guò)第二預(yù)定值，確定所述處理策略為第一處理策略，所述第一處理策略包括將所述窗口時(shí)間減少至第一預(yù)定時(shí)間；

15、若所述增長(zhǎng)率不超過(guò)所述第二預(yù)定值，確定所述處理策略為第二處理策略，所述第二處理策略包括將所述窗口時(shí)間設(shè)置為預(yù)設(shè)值。

16、在本申請(qǐng)的一些實(shí)施方式中，針對(duì)任一所述處理節(jié)點(diǎn)中的所述流數(shù)據(jù)，根據(jù)所述處理節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)確定處理所述流數(shù)據(jù)的處理策略，包括：

17、確定處理節(jié)點(diǎn)的負(fù)載率，并判斷所述負(fù)載率是否超過(guò)第三預(yù)定值；

18、若所述負(fù)載率超過(guò)所述第三預(yù)定值，確定所述處理策略為第一處理策略，所述第一處理策略包括將所述窗口時(shí)間減少至第一預(yù)定時(shí)間。

19、在本申請(qǐng)的一些實(shí)施方式中，針對(duì)任一所述處理節(jié)點(diǎn)中的所述流數(shù)據(jù)，根據(jù)所述處理節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)確定處理所述流數(shù)據(jù)的處理策略，包括：

20、確定所述流數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)庫(kù)所在節(jié)點(diǎn)的負(fù)載率，并判斷所述負(fù)載率是否超過(guò)第四預(yù)定值；

21、若所述負(fù)載率超過(guò)第四預(yù)定值，確定所述處理策略為第三處理策略，所述第三處理策略包括將所述窗口時(shí)間增加至第二預(yù)定時(shí)間。

22、在本申請(qǐng)的一些實(shí)施方式中，針對(duì)任一所述處理節(jié)點(diǎn)中的所述流數(shù)據(jù)，根據(jù)所述處理節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)確定處理所述流數(shù)據(jù)的處理策略，包括：

23、若所述數(shù)據(jù)庫(kù)所在節(jié)點(diǎn)的負(fù)載率超過(guò)第四預(yù)定值，則獲取所述處理節(jié)點(diǎn)的負(fù)載率，并判斷所述處理節(jié)點(diǎn)的負(fù)載率是否超過(guò)第三預(yù)定值；

24、若所述處理節(jié)點(diǎn)的負(fù)載率超過(guò)第三預(yù)定值，確定所述處理策略為第四處理策略，所述第四處理策略包括將所述窗口時(shí)間減少至第一預(yù)定時(shí)間，并將所述處理結(jié)果更新到數(shù)據(jù)庫(kù)的間隔時(shí)間設(shè)置為所述窗口時(shí)間的預(yù)定倍數(shù)。

25、在本申請(qǐng)的一些實(shí)施方式中，針對(duì)任一所述處理節(jié)點(diǎn)中的所述流數(shù)據(jù)，根據(jù)所述處理節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)確定處理所述流數(shù)據(jù)的處理策略，包括：

26、若數(shù)據(jù)庫(kù)所在節(jié)點(diǎn)的負(fù)載率超過(guò)第四預(yù)定值，則獲取所有處理節(jié)點(diǎn)的負(fù)載率，并確認(rèn)負(fù)載率超過(guò)第三預(yù)定值的處理節(jié)點(diǎn)；

27、針對(duì)所述負(fù)載率超過(guò)第三預(yù)定值的處理節(jié)點(diǎn)，確定所述處理策略為第一處理策略，所述第一處理策略包括將所述窗口時(shí)間減少至第一預(yù)定時(shí)間。

28、本申請(qǐng)的第二方面還提出一種數(shù)據(jù)處理系統(tǒng)，包括：

29、數(shù)據(jù)分發(fā)模塊，用于獲取實(shí)時(shí)流數(shù)據(jù)，確定流數(shù)據(jù)對(duì)應(yīng)的特征值，并將特征值相同的流數(shù)據(jù)分配到同一處理節(jié)點(diǎn)；

30、策略制定模塊，用于根據(jù)所述處理節(jié)點(diǎn)和對(duì)應(yīng)的數(shù)據(jù)庫(kù)的業(yè)務(wù)狀態(tài)，為分配到同一處理節(jié)點(diǎn)的流數(shù)據(jù)制定處理策略；

31、數(shù)據(jù)處理模塊，用于執(zhí)行所述處理策略，以將分配到同一處理節(jié)點(diǎn)的流數(shù)據(jù)的處理結(jié)果更新到所述數(shù)據(jù)庫(kù)。

32、本申請(qǐng)的第三方面還提出一種計(jì)算機(jī)設(shè)備：至少一個(gè)通信接口；與所述至少一個(gè)通信接口相連接的至少一個(gè)總線；與所述至少一個(gè)總線相連接的至少一個(gè)處理器；與所述至少一個(gè)總線相連接的至少一個(gè)存儲(chǔ)器，其中，所述處理器被配置為執(zhí)行上述實(shí)施例中任意一項(xiàng)所述的數(shù)據(jù)處理方法。

33、本申請(qǐng)的第四方面還提出一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令用于執(zhí)行上述實(shí)施例中任意一項(xiàng)所述的數(shù)據(jù)處理方法。

34、本申請(qǐng)實(shí)施例提供的上述技術(shù)方案與現(xiàn)有技術(shù)相比具有如下優(yōu)點(diǎn)：本申請(qǐng)實(shí)施例提供的該方法，在將對(duì)應(yīng)的流數(shù)據(jù)根據(jù)特征值進(jìn)行聚合后再發(fā)送到同一個(gè)處理節(jié)點(diǎn)，使得對(duì)相同網(wǎng)絡(luò)對(duì)象進(jìn)行操作的流數(shù)據(jù)不會(huì)出現(xiàn)在不同的處理節(jié)點(diǎn)，進(jìn)而避免了不同處理節(jié)點(diǎn)對(duì)相同流數(shù)據(jù)的數(shù)據(jù)庫(kù)操作的沖突現(xiàn)象的產(chǎn)生。同時(shí)根據(jù)處理節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)確定流數(shù)據(jù)的處理策略，可以實(shí)現(xiàn)對(duì)流數(shù)據(jù)的高效的處理，因此可以有效降低傳統(tǒng)的為了實(shí)現(xiàn)高并發(fā)而帶來(lái)的計(jì)算成本的增加。

技術(shù)特征：

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述針對(duì)任一所述處理節(jié)點(diǎn)中的所述流數(shù)據(jù)，根據(jù)所述處理節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)確定處理所述流數(shù)據(jù)的處理策略，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述針對(duì)任一所述處理節(jié)點(diǎn)中的所述流數(shù)據(jù)，根據(jù)所述處理節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)確定處理所述流數(shù)據(jù)的處理策略，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述針對(duì)任一所述處理節(jié)點(diǎn)中的所述流數(shù)據(jù)，根據(jù)所述處理節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)確定處理所述流數(shù)據(jù)的處理策略，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述針對(duì)任一所述處理節(jié)點(diǎn)中的所述流數(shù)據(jù)，根據(jù)所述處理節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)確定處理所述流數(shù)據(jù)的處理策略，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述針對(duì)任一所述處理節(jié)點(diǎn)中的所述流數(shù)據(jù)，根據(jù)所述處理節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)確定處理所述流數(shù)據(jù)的處理策略，包括：

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述針對(duì)任一所述處理節(jié)點(diǎn)中的所述流數(shù)據(jù)，根據(jù)所述處理節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)確定處理所述流數(shù)據(jù)的處理策略，包括：

8.一種數(shù)據(jù)處理系統(tǒng)，其特征在于，包括：

9.一種計(jì)算機(jī)設(shè)備：至少一個(gè)通信接口；與所述至少一個(gè)通信接口相連接的至少一個(gè)總線；與所述至少一個(gè)總線相連接的至少一個(gè)處理器；與所述至少一個(gè)總線相連接的至少一個(gè)存儲(chǔ)器，其中，所述處理器被配置為執(zhí)行權(quán)利要求1-7中任意一項(xiàng)所述的數(shù)據(jù)處理方法。

10.一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令用于執(zhí)行權(quán)利要求1-7中任意一項(xiàng)所述的數(shù)據(jù)處理方法。

技術(shù)總結(jié)
本申請(qǐng)涉及一種數(shù)據(jù)處理方法、系統(tǒng)、設(shè)備及介質(zhì)，其中方法包括：獲取實(shí)時(shí)流數(shù)據(jù)，確定所述流數(shù)據(jù)對(duì)應(yīng)的特征值，并將特征值相同的流數(shù)據(jù)分配到同一處理節(jié)點(diǎn)；針對(duì)任一所述處理節(jié)點(diǎn)中的所述流數(shù)據(jù)，根據(jù)所述處理節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)確定處理所述流數(shù)據(jù)的處理策略；按照所述處理策略對(duì)所述處理節(jié)點(diǎn)中的所述流數(shù)據(jù)進(jìn)行處理，得到所述流數(shù)據(jù)的處理結(jié)果，并將所述處理結(jié)果更新至數(shù)據(jù)庫(kù)。避免了不同處理節(jié)點(diǎn)對(duì)相同流數(shù)據(jù)的數(shù)據(jù)庫(kù)操作的沖突現(xiàn)象的產(chǎn)生。同時(shí)根據(jù)處理節(jié)點(diǎn)的業(yè)務(wù)狀態(tài)確定流數(shù)據(jù)的處理策略，可以實(shí)現(xiàn)對(duì)流數(shù)據(jù)的高效的處理，進(jìn)一步有效降低傳統(tǒng)的為了實(shí)現(xiàn)高并發(fā)而帶來(lái)的計(jì)算成本的增加。

技術(shù)研發(fā)人員：周潔蕓
受保護(hù)的技術(shù)使用者：北京奇藝世紀(jì)科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10