本公開涉及人工智能，尤其涉及一種大模型應(yīng)用服務(wù)運(yùn)行追蹤方法和裝置。

背景技術(shù)：

1、目前，大模型應(yīng)用服務(wù)本地化技術(shù)正日益普及，越來越多的大模型應(yīng)用服務(wù)運(yùn)行在企業(yè)私有云環(huán)境中，大模型應(yīng)用服務(wù)在私有云環(huán)境中運(yùn)行不僅提升了業(yè)務(wù)系統(tǒng)的安全性和隱私保護(hù)能力，還通過減少外部依賴、增強(qiáng)自主可控性，為企業(yè)帶來了更靈活、高效的數(shù)據(jù)解決方案。

2、然而，大模型應(yīng)用服務(wù)在私有云環(huán)境中運(yùn)行時，可能會受到多種因素的影響，如硬件資源限制、網(wǎng)絡(luò)波動、數(shù)據(jù)輸入異常等，難以實時了解大模型應(yīng)用服務(wù)在各個運(yùn)行階段的狀態(tài)和性能，從而難以及時發(fā)現(xiàn)和解決潛在的問題，影響業(yè)務(wù)系統(tǒng)的穩(wěn)定性，通過對大模型應(yīng)用服務(wù)運(yùn)行鏈路中各鏈路節(jié)點(diǎn)進(jìn)行實時追蹤，可以及時發(fā)現(xiàn)和解決潛在的問題，提高業(yè)務(wù)系統(tǒng)的穩(wěn)定性，因此，如何實現(xiàn)大模型應(yīng)用服務(wù)運(yùn)行追蹤是非常重要的。

技術(shù)實現(xiàn)思路

1、本公開提供一種大模型應(yīng)用服務(wù)運(yùn)行追蹤方法和裝置，以至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。本公開的技術(shù)方案如下：

2、根據(jù)本公開實施例的第一方面，提供一種大模型應(yīng)用服務(wù)運(yùn)行追蹤方法，應(yīng)用于大模型應(yīng)用端，包括：獲取與大模型應(yīng)用端關(guān)聯(lián)的追蹤服務(wù)；向服務(wù)端發(fā)送服務(wù)注冊請求，其中，所述服務(wù)注冊請求中攜帶所述追蹤服務(wù)，用于所述服務(wù)端對所述大模型應(yīng)用端進(jìn)行認(rèn)證，并在認(rèn)證通過的情況下，注冊所述追蹤服務(wù)；接收所述服務(wù)端發(fā)送的服務(wù)注冊響應(yīng)；在所述服務(wù)注冊響應(yīng)指示所述追蹤服務(wù)注冊成功的情況下，將所述追蹤服務(wù)集成至所述大模型應(yīng)用端的待追蹤的大模型應(yīng)用服務(wù)中；采用與所述追蹤服務(wù)關(guān)聯(lián)的鏈路追蹤回調(diào)函數(shù)，對所述大模型應(yīng)用服務(wù)的運(yùn)行鏈路中各鏈路節(jié)點(diǎn)進(jìn)行追蹤。

3、根據(jù)本公開實施例的第二方面，提供了一種大模型應(yīng)用服務(wù)運(yùn)行追蹤裝置，應(yīng)用于大模型應(yīng)用端，包括：獲取模塊，用于獲取與大模型應(yīng)用端關(guān)聯(lián)的追蹤服務(wù)；注冊模塊，用于向服務(wù)端發(fā)送服務(wù)注冊請求，其中，所述服務(wù)注冊請求中攜帶所述追蹤服務(wù)，用于所述服務(wù)端對所述大模型應(yīng)用端進(jìn)行認(rèn)證，并在認(rèn)證通過的情況下，注冊所述追蹤服務(wù)；接收模塊，用于接收所述服務(wù)端發(fā)送的服務(wù)注冊響應(yīng)；集成模塊，用于在所述服務(wù)注冊響應(yīng)指示所述追蹤服務(wù)注冊成功的情況下，將所述追蹤服務(wù)集成至所述大模型應(yīng)用端的待追蹤的大模型應(yīng)用服務(wù)中；追蹤模塊，用于采用與所述追蹤服務(wù)關(guān)聯(lián)的鏈路追蹤回調(diào)函數(shù)，對所述大模型應(yīng)用服務(wù)的運(yùn)行鏈路中各鏈路節(jié)點(diǎn)進(jìn)行追蹤。

4、根據(jù)本公開實施例的第三方面，提供一種電子設(shè)備，包括：處理器；用于存儲所述處理器可執(zhí)行指令的存儲器；其中，所述處理器被配置為執(zhí)行所述指令，以實現(xiàn)如本公開第一方面實施例所述的大模型應(yīng)用服務(wù)運(yùn)行追蹤方法。

5、根據(jù)本公開實施例的第四方面，提供一種計算機(jī)可讀存儲介質(zhì)，當(dāng)所述計算機(jī)可讀存儲介質(zhì)中的指令由電子設(shè)備的處理器執(zhí)行時，使得電子設(shè)備能夠執(zhí)行如本公開第一方面實施例所述的大模型應(yīng)用服務(wù)運(yùn)行追蹤方法。

6、根據(jù)本公開實施例的第五方面，提供一種計算機(jī)程序產(chǎn)品，包括：計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實現(xiàn)如本公開第一方面實施例所述的大模型應(yīng)用服務(wù)運(yùn)行追蹤方法。

7、本公開的實施例提供的技術(shù)方案至少帶來以下有益效果：

8、在本技術(shù)方案中，通過獲取與大模型應(yīng)用端關(guān)聯(lián)的追蹤服務(wù)，確保了運(yùn)行追蹤的精準(zhǔn)性和針對性，使得運(yùn)行追蹤更加符合實際需求；接著，向服務(wù)端發(fā)送包含追蹤服務(wù)的服務(wù)注冊請求，服務(wù)端對大模型應(yīng)用端進(jìn)行認(rèn)證，并在認(rèn)證通過并注冊追蹤服務(wù)，提高了追蹤服務(wù)的安全性，進(jìn)而，大模型應(yīng)用端接收服務(wù)注冊響應(yīng)，并在服務(wù)注冊響應(yīng)指示追蹤服務(wù)注冊成功的情況下，將追蹤服務(wù)集成至待追蹤的大模型應(yīng)用服務(wù)中，通過采用與追蹤服務(wù)緊密關(guān)聯(lián)的鏈路追蹤回調(diào)函數(shù)，對大模型應(yīng)用服務(wù)的運(yùn)行鏈路中各鏈路節(jié)點(diǎn)進(jìn)行追蹤，實現(xiàn)了在不侵入大模型應(yīng)用服務(wù)的業(yè)務(wù)邏輯的情況下，對大模型應(yīng)用服務(wù)的運(yùn)行鏈路中各鏈路節(jié)點(diǎn)的運(yùn)行信息的實時監(jiān)控和追蹤，提高了運(yùn)行追蹤的可觀測性和高效性；其中，在將追蹤服務(wù)集成至大模型應(yīng)用端的待追蹤的大模型應(yīng)用服務(wù)中時，通過在大模型應(yīng)用服務(wù)中創(chuàng)建追蹤對象，以通過追蹤對象來承載追蹤服務(wù)，提高了大模型應(yīng)用服務(wù)運(yùn)行追蹤的靈活性，并實現(xiàn)了與大模型應(yīng)用服務(wù)的業(yè)務(wù)邏輯的解耦，進(jìn)而，獲取大模型應(yīng)用服務(wù)的運(yùn)行鏈路；將追蹤對象作為追蹤回調(diào)函數(shù)添加至運(yùn)行鏈路的配置信息中，實現(xiàn)了在不侵入大模型應(yīng)用服務(wù)的業(yè)務(wù)邏輯的情況下，對大模型應(yīng)用服務(wù)的運(yùn)行鏈路中各鏈路節(jié)點(diǎn)的運(yùn)行信息的實時監(jiān)控和追蹤；此外，對大模型應(yīng)用服務(wù)的運(yùn)行鏈路中各鏈路節(jié)點(diǎn)進(jìn)行追蹤之后，通過獲取各鏈路節(jié)點(diǎn)的鏈路追蹤數(shù)據(jù)，將各鏈路追蹤數(shù)據(jù)發(fā)送至服務(wù)端，以對各鏈路追蹤數(shù)據(jù)進(jìn)行存儲和展示，實現(xiàn)了各鏈路追蹤數(shù)據(jù)的長期保存和安全性，避免了數(shù)據(jù)丟失或損壞的風(fēng)險。另外，通過服務(wù)端提供的展示功能，可以直觀地呈現(xiàn)鏈路追蹤數(shù)據(jù)，幫助開發(fā)者和運(yùn)維人員快速定位問題和分析性能瓶頸。

9、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開。

技術(shù)特征：

1.一種大模型應(yīng)用服務(wù)運(yùn)行追蹤方法，其特征在于，應(yīng)用于大模型應(yīng)用端，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述服務(wù)注冊響應(yīng)指示所述追蹤服務(wù)注冊成功的情況下，將所述追蹤服務(wù)集成至所述大模型應(yīng)用端的待追蹤的大模型應(yīng)用服務(wù)中，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取與大模型應(yīng)用端關(guān)聯(lián)的追蹤服務(wù)，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述對各所述鏈路追蹤數(shù)據(jù)進(jìn)行存儲，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，對各所述鏈路追蹤數(shù)據(jù)進(jìn)行展示，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述對所述任一鏈路追蹤數(shù)據(jù)對應(yīng)的結(jié)構(gòu)追蹤數(shù)據(jù)進(jìn)行展示，包括：

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述方法還包括：

10.一種大模型應(yīng)用服務(wù)運(yùn)行追蹤裝置，其特征在于，應(yīng)用于大模型應(yīng)用端，包括：

技術(shù)總結(jié)
本公開提出一種大模型應(yīng)用服務(wù)運(yùn)行追蹤方法和裝置，方法包括：獲取與大模型應(yīng)用端關(guān)聯(lián)的追蹤服務(wù)；向服務(wù)端發(fā)送服務(wù)注冊請求；其中，服務(wù)注冊請求中攜帶追蹤服務(wù)，用于服務(wù)端對大模型應(yīng)用端進(jìn)行認(rèn)證，并在認(rèn)證通過的情況下，注冊追蹤服務(wù)；接收服務(wù)端發(fā)送的服務(wù)注冊響應(yīng)；在服務(wù)注冊響應(yīng)指示追蹤服務(wù)注冊成功的情況下，將追蹤服務(wù)集成至大模型應(yīng)用端的待追蹤的大模型應(yīng)用服務(wù)中；采用與追蹤服務(wù)關(guān)聯(lián)的鏈路追蹤回調(diào)函數(shù)，對大模型應(yīng)用服務(wù)的運(yùn)行鏈路中各鏈路節(jié)點(diǎn)進(jìn)行追蹤，由此，實現(xiàn)了在不侵入大模型應(yīng)用服務(wù)的業(yè)務(wù)邏輯的情況下，對大模型應(yīng)用服務(wù)的運(yùn)行鏈路中各鏈路節(jié)點(diǎn)的運(yùn)行信息進(jìn)行實時監(jiān)控和追蹤，提高了運(yùn)行追蹤的可觀測性和高效性。

技術(shù)研發(fā)人員：鄭嘉偉,曾文迪,陳宏杰,沈陽超
受保護(hù)的技術(shù)使用者：中電金信數(shù)字科技集團(tuán)股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10