本發(fā)明涉及大模型分布式數(shù)據(jù)傳輸，特別涉及一種大模型推理及訓(xùn)練的分布式傳輸方法及系統(tǒng)。

背景技術(shù)：

1、大模型的推理和訓(xùn)練是人工智能領(lǐng)域中的重要環(huán)節(jié)，它們涉及到復(fù)雜的算法和大量的計(jì)算資源。

2、相關(guān)技術(shù)中，在涉及本地終端與模型所在服務(wù)器的過(guò)程當(dāng)中，通常在本地終端側(cè)進(jìn)行數(shù)據(jù)處理，生成供服務(wù)器處理的樣本數(shù)據(jù)，之后，本地終端將樣本數(shù)據(jù)發(fā)送至服務(wù)器當(dāng)中，服務(wù)器中預(yù)存的大模型將對(duì)樣本數(shù)據(jù)進(jìn)行處理，或基于樣本數(shù)據(jù)進(jìn)行訓(xùn)練，從而達(dá)到結(jié)果生成或模型訓(xùn)練的目的。

3、然而，上述方法對(duì)于本地終端數(shù)據(jù)的保密性較差，容易造成用戶的隱私泄露問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明關(guān)于一種大模型推理及訓(xùn)練的分布式傳輸方法及系統(tǒng)，能夠降低服務(wù)器端的數(shù)據(jù)處理量，并且提高客戶端的隱私安全性，該技術(shù)方案如下：

2、一方面，提供了一種大模型推理及訓(xùn)練的分布式傳輸方法，該方法應(yīng)用于大模型推理及訓(xùn)練的分布式傳輸系統(tǒng)中，系統(tǒng)包括客戶端以及服務(wù)器；

3、客戶端與服務(wù)器通信連接；

4、客戶端配置有第一模型模塊，服務(wù)器配置有第二模型模塊，第一模型模塊與第二模型模塊組合后可得到目標(biāo)大模型；

5、該方法包括：

6、客戶端接收模型輸入數(shù)據(jù)以及與模型輸入數(shù)據(jù)對(duì)應(yīng)的模型目標(biāo)指令；將模型輸入數(shù)據(jù)以及模型目標(biāo)指令輸入第一模型模塊，輸出得到模型中間處理結(jié)果，將中間處理結(jié)果以及模型目標(biāo)指令發(fā)送至服務(wù)器；

7、服務(wù)器接收中間處理結(jié)果以及模型目標(biāo)指令；將中間處理結(jié)果以及目標(biāo)模型指令輸入第二模型模塊中，輸出得到模型處理結(jié)果，模型處理結(jié)果與模型目標(biāo)指令中指示的結(jié)果輸出類型對(duì)應(yīng)；向客戶端反饋模型處理結(jié)果。

8、在一個(gè)可選的實(shí)施例中，該方法還包括：

9、服務(wù)器獲取目標(biāo)大模型；基于縱向聯(lián)邦學(xué)習(xí)技術(shù)對(duì)目標(biāo)大模型進(jìn)行拆分，得到第一模型模塊以及第二模型模塊；將第一模型模塊發(fā)送至客戶端；

10、客戶端，接收并配置第一模型模塊。

11、在一個(gè)可選的實(shí)施例中，客戶端將中間處理結(jié)果以及模型目標(biāo)指令發(fā)送至服務(wù)器端，包括：

12、客戶端基于中間結(jié)果以及模型目標(biāo)指令，結(jié)合遠(yuǎn)程過(guò)程調(diào)用框架gprc分布式通信技術(shù)，生成至少一組分布式傳輸數(shù)據(jù)；將分布式傳輸數(shù)據(jù)發(fā)送至服務(wù)器。

13、在一個(gè)可選的實(shí)施例中，分布式傳輸數(shù)據(jù)的格式包括消息頭部分以及數(shù)據(jù)部分；

14、消息頭部分包括消息類型字部分、節(jié)點(diǎn)標(biāo)識(shí)字部分以及消息碼字部分。

15、在一個(gè)可選的實(shí)施例中，客戶端結(jié)合遠(yuǎn)程過(guò)程調(diào)用框架gprc分布式通信技術(shù)，生成至少一組分布式傳輸數(shù)據(jù)之后，包括：

16、客戶端對(duì)分布式傳輸數(shù)據(jù)進(jìn)行壓縮并切分，得到數(shù)據(jù)分片。

17、在一個(gè)可選的實(shí)施例中，服務(wù)器接收中間處理結(jié)果以及模型目標(biāo)指令，包括：

18、服務(wù)器接收數(shù)據(jù)分片；

19、對(duì)數(shù)據(jù)分片進(jìn)行解壓以及合并，得到中間處理結(jié)果以及模型目標(biāo)指令。

20、在一個(gè)可選的實(shí)施例中，該方法還包括：

21、客戶端向服務(wù)器發(fā)送握手請(qǐng)求；

22、服務(wù)器接收握手請(qǐng)求；基于握手請(qǐng)求發(fā)送驗(yàn)證證書(shū)；

23、客戶端以及服務(wù)器基于驗(yàn)證證書(shū)交換密鑰；響應(yīng)于密鑰交換完成，建立通信連接。

24、在一個(gè)可選的實(shí)施例中，模型目標(biāo)指令包括訓(xùn)練指令、結(jié)果輸出指令、模型切分指令、模型加載指令以及模型推理指令。

25、另一方面，提供了一種大模型推理及訓(xùn)練的分布式傳輸系統(tǒng)，該系統(tǒng)包括客戶端以及客戶端與服務(wù)器通信連接；

26、客戶端配置有第一模型模塊，服務(wù)器配置有第二模型模塊，第一模型模塊與第二模型模塊組合后可得到目標(biāo)大模型；

27、系統(tǒng)用于執(zhí)行如上任一的大模型推理及訓(xùn)練的分布式傳輸方法。

28、在一個(gè)可選的實(shí)施例中，客戶端配置有第一網(wǎng)卡以及第一圖形處理器（graphicsprocessing?unit，gpu）模塊，服務(wù)器端配置有第二網(wǎng)卡以及第二gpu模塊；

29、第一網(wǎng)卡與第一gpu模塊通信連接，第二網(wǎng)卡與第二gpu模塊通信連接。

30、本發(fā)明提供的技術(shù)方案帶來(lái)的有益效果至少包括：

31、通過(guò)在服務(wù)器與客戶端中進(jìn)行分布式服務(wù)器模型模塊的配置，并由客戶端在進(jìn)行初步的數(shù)據(jù)處理后，將中間數(shù)據(jù)發(fā)送至服務(wù)器，在服務(wù)器中對(duì)應(yīng)的模型模塊進(jìn)行處理的情況下，實(shí)現(xiàn)了服務(wù)器與客戶端之間對(duì)于大模型的分布式部署以及共同應(yīng)用，從而降低服務(wù)器端的數(shù)據(jù)處理量，同時(shí)提高客戶端的隱私安全性。

技術(shù)特征：

1.一種大模型推理及訓(xùn)練的分布式傳輸方法，其特征在于，所述方法應(yīng)用于大模型推理及訓(xùn)練的分布式傳輸系統(tǒng)中，所述系統(tǒng)包括客戶端以及服務(wù)器；

2.根據(jù)權(quán)利要求1所述的大模型推理及訓(xùn)練的分布式傳輸方法，其特征在于，所述方法還包括：

3.根據(jù)權(quán)利要求2所述的大模型推理及訓(xùn)練的分布式傳輸方法，其特征在于，所述客戶端將所述中間處理結(jié)果以及所述模型目標(biāo)指令發(fā)送至服務(wù)器，包括：

4.根據(jù)權(quán)利要求3所述的大模型推理及訓(xùn)練的分布式傳輸方法，其特征在于，所述分布式傳輸數(shù)據(jù)的格式包括消息頭部分以及數(shù)據(jù)部分；

5.根據(jù)權(quán)利要求3所述的大模型推理及訓(xùn)練的分布式傳輸方法，其特征在于，所述客戶端結(jié)合遠(yuǎn)程過(guò)程調(diào)用框架gprc分布式通信技術(shù)，生成至少一組分布式傳輸數(shù)據(jù)之后，包括：

6.根據(jù)權(quán)利要求5所述的大模型推理及訓(xùn)練的分布式傳輸方法，其特征在于，所述服務(wù)器接收所述中間處理結(jié)果以及所述模型目標(biāo)指令，包括：

7.根據(jù)權(quán)利要求3所述的大模型推理及訓(xùn)練的分布式傳輸方法，其特征在于，所述方法還包括：

8.根據(jù)權(quán)利要求1所述的大模型推理及訓(xùn)練的分布式傳輸方法，其特征在于，所述模型目標(biāo)指令包括訓(xùn)練指令、結(jié)果輸出指令、模型切分指令、模型加載指令以及模型推理指令。

9.一種大模型推理及訓(xùn)練的分布式傳輸系統(tǒng)，其特征在于，所述系統(tǒng)包括客戶端以及服務(wù)器；

10.根據(jù)要求9所述的大模型推理及訓(xùn)練的分布式傳輸系統(tǒng)，其特征在于，所述客戶端配置有第一網(wǎng)卡以及第一圖形處理器gpu模塊，所述服務(wù)器端配置有第二網(wǎng)卡以及第二gpu模塊；

技術(shù)總結(jié)
本發(fā)明涉及一種大模型推理及訓(xùn)練的分布式傳輸方法及系統(tǒng)，涉及大模型分布式數(shù)據(jù)傳輸技術(shù)領(lǐng)域。該方法包括：客戶端接收模型輸入數(shù)據(jù)以及與模型輸入數(shù)據(jù)對(duì)應(yīng)的模型目標(biāo)指令；將模型輸入數(shù)據(jù)以及模型目標(biāo)指令輸入第一模型模塊，輸出得到模型中間處理結(jié)果，將中間處理結(jié)果以及模型目標(biāo)指令發(fā)送至服務(wù)器；服務(wù)器將中間處理結(jié)果以及目標(biāo)模型指令輸入第二模型模塊中，輸出得到模型處理結(jié)果。在服務(wù)器中對(duì)應(yīng)的模型模塊進(jìn)行處理的情況下，實(shí)現(xiàn)了服務(wù)器與客戶端之間對(duì)于大模型的分布式部署以及共同應(yīng)用，從而降低服務(wù)器端的數(shù)據(jù)處理量，同時(shí)提高客戶端的隱私安全性。

技術(shù)研發(fā)人員：孫龍,陸呂健,車靜文,范秋楓,曹祥,劉洋
受保護(hù)的技術(shù)使用者：清華大學(xué)無(wú)錫應(yīng)用技術(shù)研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/23